特許 7114686 拡張現実装置及び位置決め方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-29

(45)【発行日】2022-08-08

(54)【発明の名称】拡張現実装置及び位置決め方法

(51)【国際特許分類】

   G01S 5/02 20100101AFI20220801BHJP

【ＦＩ】

G01S5/02 Z

【請求項の数】 2

【外国語出願】

(21)【出願番号】P 2020215384

(22)【出願日】2020-12-24

(65)【公開番号】P2021103168

(43)【公開日】2021-07-15

【審査請求日】2021-02-05

(31)【優先権主張番号】108147692

(32)【優先日】2019-12-25

(33)【優先権主張国・地域又は機関】TW

(73)【特許権者】

【識別番号】520510933

【氏名又は名称】エーディーエーティー テクノロジー カンパニー リミテッド

(74)【代理人】

【識別番号】100120891

【弁理士】

【氏名又は名称】林 一好

(74)【代理人】

【識別番号】100165157

【弁理士】

【氏名又は名称】芝 哲央

(74)【代理人】

【識別番号】100205659

【弁理士】

【氏名又は名称】齋藤 拓也

(74)【代理人】

【識別番号】100126000

【弁理士】

【氏名又は名称】岩池 満

(74)【代理人】

【識別番号】100185269

【弁理士】

【氏名又は名称】小菅 一弘

(72)【発明者】

【氏名】スー カイ－フン

(72)【発明者】

【氏名】リン ムー－ヘン

【審査官】佐藤 宙子

(56)【参考文献】

【文献】特開２０１９－１０１６９４（ＪＰ，Ａ）

【文献】特許第２９６１２６４（ＪＰ，Ｂ１）

【文献】国際公開第２０１９／１５５７１９（ＷＯ，Ａ１）

【文献】特開２０１７－１９１３５１（ＪＰ，Ａ）

【文献】特開２０１８－１２６８６２（ＪＰ，Ａ）

【文献】特開２０１９－１６８９７６（ＪＰ，Ａ）

【文献】特開２０１５－１８４０５６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０３２３８４４（ＵＳ，Ａ１）

【文献】米国特許第０９９１８２０４（ＵＳ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ５／００－５／１４

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

デプスセンサ及び慣性測定ユニットを含む電気装置用の位置決め方法であって、
前記慣性測定ユニットから取得した信号に基づいて、前記電気装置の初期位置や初期方向を計算する工程と、
データベースから環境点群を取得し、且つ前記初期位置及び前記初期方向に基づいて、前記環境点群から局所環境点群を取得する工程と、
前記デプスセンサによって読込点群を取得する工程と、
前記読込点群と前記局所環境点群とをマッチングして、前記電気装置の更新位置や更新方向を計算する工程と、
を備え、
前記読込点群と前記局所環境点群とをマッチングすることは、下記の方程（１）を解くことを含み、

【数1】

ｐ _ｉ は前記読込点群のｉ個目の点であり、ｑ _ｉ は前記局所環境点群のｉ個目の点であり、前記点ｑ _ｉ と前記点ｐ _ｉ とがマッチングし、ｗ _ｉ は前記点ｐ _ｉ 及び前記点ｑ _ｉ に対応する重みであり、Ｒは平行移動行列であり、ｔは変位ベクトルであり、且つＮは前記読込点群の点数であり、
前記重みｗ _ｉ は前記点ｑ _ｉ と（Ｒｐ _ｉ ＋ｔ）との間の距離と逆相関であり、
前記点ｐ _ｉ 及び前記点ｑ _ｉ の各々は、Ｘ座標、Ｙ座標、Ｚ座標、法線ベクトル及び曲率因子を含み、
前記読込点群から前記点ｐ _ｉ 及びその複数の近傍点を取得する工程と、
前記点ｐ _ｉ 及び前記近傍点に対して主成分分析を実行して、複数の特徴値及び複数の主成分を取得し、且つ前記特徴値のうちの最小となる方に対応する前記主成分を前記点ｐ _ｉ の前記法線ベクトルとして設置する工程と、
前記特徴値のうちの前記最小となる方を前記特徴値の合計で割って、前記曲率因子を計算する工程を更に備える位置決め方法。

【請求項2】

拡張現実装置であって、
慣性測定ユニットと、
デプスセンサと、
複数の工程を実行するように配置されるプロセッサと、
を含み、
前記複数の工程は、
前記慣性測定ユニットから取得した信号に基づいて、前記拡張現実装置の初期位置や初期方向を計算する工程と、
データベースから環境点群を取得し、且つ前記初期位置及び前記初期方向に基づいて、前記環境点群から局所環境点群を取得する工程と、
前記デプスセンサによって読込点群を取得する工程と、
前記読込点群と前記局所環境点群とをマッチングして、電気装置の更新位置や更新
方向を計算する工程と、
を備え、
前記読込点群と前記局所環境点群とをマッチングすることは、下記の方程（１）を解くことを含み、

【数2】

ｐ _ｉ は前記読込点群のｉ個目の点であり、ｑ _ｉ は前記局所環境点群のｉ個目の点であり、前記点ｑ _ｉ と前記点ｐ _ｉ とがマッチングし、ｗ _ｉ は前記点ｐ _ｉ 及び前記点ｑ _ｉ に対応する重みであり、Ｒは平行移動行列であり、ｔは変位ベクトルであり、Ｎは前記読込点群の点数であり、且つ前記重みｗ _ｉ は前記点ｑ _ｉ と（Ｒｐ _ｉ ＋ｔ）との間の距離と逆相関であり、
前記点ｐ _ｉ 及び前記点ｑ _ｉ の各々は、Ｘ座標、Ｙ座標、Ｚ座標、法線ベクトル及び曲率因子を含み、且つ前記複数の工程は、
前記読込点群から前記点ｐ _ｉ 及びその複数の近傍点を取得する工程と、
前記点ｐ _ｉ 及び前記近傍点に対して主成分分析を実行して、複数の特徴値及び複数の主成分を取得し、且つ前記特徴値のうちの最小となる方に対応する前記主成分を前記点ｐ _ｉ の前記法線ベクトルとして設置する工程と、
前記特徴値のうちの前記最小となる方を前記特徴値の合計で割って、前記曲率因子を計算する工程を更に含む、拡張現実装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、拡張現実装置又は汎用電気装置に適用可能な位置決め方法に関する。

【背景技術】

【0002】

計算要素と実空間との合わせたシーンに、空間的位置及び姿勢の認識が使用されている。一般的には、空間的位置及び姿勢の取得は、主に、慣性測定ユニットによって実施される。しかしながら、慣性測定ユニットは、長時期に使用されると、全体がドリフトして、位置情報が不足になる恐れがある。全地球測位システム（Ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ ｓｙｓｔｅｍ；ＧＰＳ）は、屋外現場で位置情報を取得するように用いられるが、屋内現場で信頼的ではない。ＧＰＳがない場合、自己位置推定とマッピングの同時実行（ＳＬＡＭ）によって、屋内現場における空間的位置及び姿勢を取得する。しかしながら、工業に適用される固定空間現場に対して、現場モデルの連続した更新は、余計であり計算資源が大量に消費されるが、人員が領域の間で絶えずに移動すれば、ＳＬＡＭが更に地図データのエラーを引き起こしてしまう。

【発明の概要】

【0003】

本公開内容の実施形態は、デプスセンサ及び慣性測定ユニットを含む電気装置用の位置決め方法であって、前記慣性測定ユニットから取得した信号に基づいて、前記電気装置の初期位置や初期方向を計算する工程と、データベースから環境点群を取得し、且つ前記初期位置及び前記初期方向に基づいて、前記環境点群から局所環境点群を取得する工程と、前記デプスセンサによって読込点群を取得する工程と、前記読込点群と前記局所環境点群とをマッチングして、前記電気装置の更新位置や更新方向を計算する工程と、を備える位置決め方法を提供する。

【0004】

ある実施形態において、前記読込点群と前記局所環境点群とをマッチングすることは、下記の方程（１）を解くことを含み、

【数1】

【0005】

方程（１）において、ｐ_ｉは前記読込点群のｉ個目の点であり、ｑ_ｉは前記局所環境点群のｉ個目の点であり、前記点ｑ_ｉと前記点ｐ_ｉとがマッチングし、ｗ_ｉは前記点ｐ_ｉ及び前記点ｑ_ｉに対応する重みであり、Ｒは平行移動行列であり、ｔは変位ベクトルであり、且つＮは前記読込点群の点数である。

【0006】

ある実施形態において、前記重みｗ_ｉは前記点ｑ_ｉと（Ｒｐ_ｉ＋ｔ）との間の距離と逆相関である。

【0007】

ある実施形態において、前記点ｐ_ｉ及び前記点ｑ_ｉの各々は、Ｘ座標、Ｙ座標、Ｚ座標及び法線ベクトルを含む。

【0008】

ある実施形態において、前記位置決め方法は、前記読込点群から前記点ｐ_ｉ及びその複数の近傍点を取得する工程と、前記点ｐ_ｉ及び前記近傍点に対して主成分分析を実行して、複数の特徴値及び複数の主成分を取得し、且つ前記特徴値のうちの最小となる方に対応する前記主成分を前記点ｐ_ｉの前記法線ベクトルとして設置する工程と、を更に備える。

【0009】

ある実施形態において、前記点ｐ_ｉ及び前記点ｑ_ｉの各々は、曲率因子を更に含み、且つ前記位置決め方法は、前記特徴値のうちの前記最小となる方を前記特徴値の合計で割って、前記曲率因子を計算する工程を更に備える。

【0010】

一方、本公開内容の実施形態は、拡張現実装置であって、慣性測定ユニットと、デプスセンサと、複数の工程を実行するように配置されるプロセッサと、を含み、前記複数の工程は、前記慣性測定ユニットから取得した信号に基づいて、前記拡張現実装置の初期位置や初期方向を計算する工程と、データベースから環境点群を取得し、且つ前記初期位置及び前記初期方向に基づいて、前記環境点群から局所環境点群を取得する工程と、前記デプスセンサによって読込点群を取得する工程と、前記読込点群と前記局所環境点群とをマッチングして、前記電気装置の更新位置や更新方向を計算する工程と、を備える拡張現実装置を提供する。

【発明の効果】

【0011】

上記装置及び方法において、慣性測定ユニットによって粗位置を確定した後で、点群レジストレーションによってこの位置を更新する。そのため、精確な位置を提供し、点群レジストレーションの計算を低減する。

【図面の簡単な説明】

【0012】

下記添付図面を参照すると、下記実施形態についての詳細な記述を読むことで、本発明をより全面的に理解することができる。

【0013】

【図1】一実施形態による拡張現実装置の適用シーンである。

【図2】一実施形態による拡張現実の模式的ブロック図である。

【図3】一実施形態による拡張現実装置の適用シーンの上面図である。

【図4】一実施形態による位置決め方法の流れ図である。

【図5】一実施形態による反復最近接点アルゴリズムの模式的流れ図である。

【図6】一実施形態による法線ベクトルの計算の模式図である。

【図7】一実施形態による位置決め方法の模式的流れ図である。

【発明を実施するための形態】

【0014】

以下、添付図面を参照して、本発明の具体的な実施形態をより詳しく説明するが、説明される実施形態は本発明を制限するためのものではなく、且つ操作についての記述は達成手順を制限するためのものではない。なお、素子を再構築した構造による同一の機能を持つ如何なる装置も、本発明の範囲内に含まれる。また、添付図面は単に説明するためのものであり、且つ実際の寸法として描かれていない。

【0015】

明細書において「第１の」、「第２の」、「第３の」等が使用される場合、同じ用語で記述するユニット又はデータを表すためのものであるが、特定の手順や順序に関わっていないことは、理解すべきである。

【0016】

本公開内容の位置決め方法は、点群、慣性測定ユニット（ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ；ＩＭＵ）及び点群レジストレーション（ｐｏｉｎｔ ｃｌｏｕｄ ｒｅｇｉｓｔｒａｔｉｏｎ；ＰＣＲ）の技術を採用する。デプスセンサによって空間の点群を抽出して、且つ空間での位置や方向を確定するように、点群とＩＭＵ及びＰＣＲとを合わせる。工業的適用において、位置決め技術は、コンピュータプログラムと現実環境との間の仮想及び真の関係との繋がりに用いられることができる。一方、拡張現実（ＡＲ）装置の対象設計は、人員が特定な場所でのタスクを完成するようにガイドする。一般的には、単一のＩＭＵを有する空間位置決めの欠点は、位置を精確に測定できず、且つ長時期に使用されると誤差を累積することである。提出される方法点群を走査することで、ＩＭＵを介して既知の環境における点群の粗位置を提供し、またＰＣＲアルゴリズムを介して走査された点群と環境の３Ｄモデルの点群をマッチングさせて精確な位置や方向を計算する。そのため、精確な空間的位置情報を得、ＡＲの複合現実の設計の信頼性を向上させることができる。

【0017】

図１は、一実施形態による拡張現実装置の適用シーンである。図１の実施形態において、ＡＲ装置１００は、スマートグラスであるが、マスク、スマートフォン、タブレット等であってもよい。ＡＲ装置１００の外観は、本公開内容に制限されない。ユーザーは、ＡＲ装置１００を装着して、屋内（例えば、１つ又は複数の工作機械１１０の設けられた工業環境）で移動することができる。工作機械１１０の点群が既知されるため、ＡＲ装置１００は、ＡＲ装置１００の位置を取得するように、工作機械１１０の点群を識別することができる。

【0018】

図２は、一実施形態による拡張現実装置の模式的ブロック図である。図２を参照すると、ＡＲ装置１００は、プロセッサ２１０と、慣性測定ユニット２２０と、デプスセンサ２３０と、通信モジュール２４０と、ディスプレイ２５０と、を備える。プロセッサ２１０は、中央処理ユニット、マイクロプロセッサ、マイクロコントローラ、デジタルシグナルプロセッサ、画像処理チップ、特定用途向け集積回路等であってよい。慣性測定ユニット２２０は、加速度センサ、角速度センサ、磁力計等を含んでよい。デプスセンサ２３０は、赤外線放射体、赤外線センサ、デュアルカメラ、構造化光感知装置又は被写界深度を検出可能な如何なる装置を含んでよい。通信モジュール２４０は、インターネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、セルラネットワーク、近場通信（ＮＦＣ）、赤外線（ＩＲ）、ブルートゥース（登録商標）、ＷｉＦｉ（登録商標）のような通信手段を提供可能な回路であってよい。ディスプレイ２５０は、有機ダイオード（ＯＬＥＤ）ディスプレイ、液晶ディスプレイ又は如何なる好適なディスプレイを含んでもよい。便宜上、図２にＡＲ装置１００の全ての部材を示していない。

【0019】

図３は、一実施形態による拡張現実装置の適用シーンの上面図である。図４は、一実施形態による位置決め方法の流れ図である。図３及び図４の実施形態において、ＡＲ装置１００は、屋内環境３００を移動する。下記方法の工程の各々は、ＡＲ装置１００のプロセッサ２１０、又はＡＲ装置１００から所望のデータを受信した後で計算結果をＡＲ装置１００に送信するクラウドサーバ（未図示）によって実行される。

【0020】

工程４２０において、慣性測定ユニット２２０から取得した信号に基づいて、初期位置や初期方向３０１を計算する。例えば、慣性測定ユニット２２０により測定された加速度値を積分して速度値を取得し、この速度値を積分して初期位置を取得し、且つ角加速度及び磁力の方向に基づいて初期方向３０１を取得する。

【0021】

工程４３０において、行列

【数2】

として表される点群（点集と呼ばれてもよい）を取得するように、デプスセンサ２３０によって点の走査を実行し、この行列は、複数の点を含み、ｉ個目の点がベクトルｐ_ｉとして表され、Ｍ、Ｎ及びｉは正整数である。Ｎは行列Ｐにおける点の数である。Ｍは各々のベクトルｐ_ｉの長さである。詳しくは、デプスセンサ２３０は、環境対象の各々の点とＡＲ装置１００との間の距離を取得するように、環境対象（例えば、工作機械１１０）を走査する。距離及びＡＲ装置１００の位置や方向に基づいて点の座標を計算する。そのため、各々のベクトルｐ_ｉは、少なくともＸ座標、Ｙ座標及びＺ座標を含む。ある実施形態において、各々のベクトルｐ_ｉは、法線ベクトル及び曲率因子（下記で説明する）を更に含む。ベクトルｐ_ｉを例として概して説明する。デプスセンサ２３０により生成される点群は読込点群と呼ばれる。

【0022】

工程４４０において、データベース４５０から環境点群を取得する。環境点群は、屋内環境３００における１つ又は複数の工作機械１１０の点群を含む。環境点群は、行列

【数3】

として表される。同様に、環境点群は、複数の点を含み、ｉ個目の点はベクトルｑ_ｉとして表される。環境点群を予め作成してよい。例えば、３Ｄファイルを点群に変換してよい。３Ｄファイルは、様々なソフトウェア（例えばＡｕｔｏｃａｄ、Ｓｏｌｉｄｗｏｒｋ又はＣａｔｉａ）により生成されてよい。実施形態において、デプスセンサ２３０は、ステッチング、ノイズフィルタリング、シャープニング、グリッド化等の処理によって、３Ｄファイル無しの環境点群を生成してよい。ある実施形態において、環境点群は、別のコンピュータシステムによって提供される。

【0023】

工程４４０において、初期推測を更に実行する。環境点群は、屋内環境における全ての対象の点を含み、且つ対象の何れも読込点群にマッチングすると、冗長性計算が存在する。ある実施形態において、デプスセンサ２３０は、初期位置や初期方向を有する視野３１０を計算するための視角を有する。環境点群のみから視野３１０における点を局所環境点群として抽出し、便宜上、この局所環境点群は相変わらずＱとして表される。計算を低減するように、局所環境点群と読込点群とをマッチングさせる。ある実施形態において、読込点群と局所環境点群との間に平行移動や変位の変換が存在する。この変換は、下記の方程（１）として書かれる。

【数4】

【0024】

Ｒは、寸法Ｍ×Ｍの平行移動行列であり、ｔは長さＭの変位ベクトルである。ある実施形態において、工程４２０において計算された初期方向及び初期位置によって平行移動行列Ｒ及び変位ベクトルｔを初期化する。実施形態において、平行移動行列Ｒ及び変位ベクトルｔはランダムに初期化される。

【0025】

工程４６０において、点群レジストレーション（ＰＣＲ）アルゴリズムを実行する。実施形態において、反復最近接点（ＩＣＰ）アルゴリズムを採用するが、他の実施形態において、他のレジストレーションアルゴリズムを採用してもよい。図５は、一実施形態によるＩＣＰアルゴリズムの模式的流れ図である。図５を参照すると、工程５１０において、点ｐ_ｉは（Ｒｐ_ｉ＋ｔ）に変換される。

【0026】

工程５２０において、点ｑ_ｉを快速に検索するように、局所環境点群Ｑに基づいてＫＤ木を生成する。他の実施形態において、ＢＳＰ木、ＫＤＢ木、Ｒ木、Ｒ＋木、ＣＥＬＬ木、四分木及び八分木のような他のデータ構造を採用してよい。

【0027】

工程５３０において、読込点群Ｐと局所環境点群Ｑとをマッチングし、つまり、各々の点ｐ_ｉの最近接点ｑ_ｉを検索して一対の（ｐ_ｉ，ｑ_ｉ）を形成する。注意すべきなのは、最近接点を検索する場合、点ｑ_ｉと変換された点（Ｒｐ_ｉ＋ｔ）との間の距離を計算する。点ｑ_ｉと（Ｒｐ_ｉ＋ｔ）との間の距離は、ユークリッド距離（つまり、差分ベクトルのＬ２－ノルム）又は他の好適な距離であってよい。

【0028】

工程５４０において、各対の（ｐ_ｉ，ｑ_ｉ）に対して重みｗ_ｉを計算する。重みｗ_ｉは点ｑ_ｉと（Ｒｐ_ｉ＋ｔ）との間の距離と逆相関し、且つこの距離が本明細書で実数ｄとして表される。例えば、実数ｄが閾値よりも大きくなると、重みｗ_ｉを０として設置する。実数ｄが閾値以下になると、重みｗ_ｉを実数ｄの逆関数又は減少関数として設置する。減少関数は、ｅ^－ｄのようなものであってよい。重みｗ_ｉは、点群の外れ値（例えば、背景）を除去することに用いられる。このように、背景がマッチング結果に影響を与えることはない。

【0029】

工程５５０において、行列Ｒ及びベクトルｔを計算するように、最適化アルゴリズムを実行し、これは下記の方程（２）として書かれる。

【数5】

【0030】

上記最適化アルゴリズムは、公式又は本公開内容で制限されない検索方法（例えば、遺伝的アルゴリズム）によって解かれることができる。例えば、公式は、下記の方程（３）～（５）を含んでよい。

【数6】

【数7】

【数8】

【0031】

次に、下記の方程（６）に基づいて行列Ｓを生成する。行列Ｓに対して、方程（７）で書かれるように、特異値分解（ＳＶＤ）を実行する。行列Ｕ及びＶに基づいて下記の方程（８）のように平行移動行列Ｒを計算する。

【数9】

【数10】

【数11】

【0032】

工程５６０において、更新が収束したかを確定する。例えば、平行移動行列Ｒ及び変位ベクトルｔの変化量が所定値よりも小さくなると、更新が収束したと確定する。ある実施形態において、特定回数の反復が実行されると、更新が収束したと確定する。収束されていないと、工程５１０に戻って、新しい平行移動行列Ｒ及び新しい変位ベクトルｔに基づいて点ｐ_ｉを変換する。

【0033】

図３及び図４を参照すると、工程４７０において、更新位置や更新方向を計算する。具体的に、読込点群と局所環境点群とがマッチングした後で、あるマッチングされた点ｑ_ｉが工作機械１１０に属すると、工作機械１１０がＡＲ装置１００の視野３１０内にあることを意味する。また、この対の（ｐ_ｉ，ｑ_ｉ）に基づいてＡＲ装置１００の工作機械１１０に対する距離や方向を取得することができるため、既知の工作機械１１０の位置により、更新位置及びＡＲ装置１００の方向の更新方向を計算することができる。工程４２０において計算された初期方向及び初期位置は、更新位置や更新方向により置換される。ある実施形態において、更に、更新位置や更新方向を拡張現実モジュール４１０に送信し、ディスプレイ２５０に何れの情報を表示するかを確定するように、この拡張現実モジュールはプロセッサ２１０により実行される。

【0034】

ある実施形態において、点群の各々の点について、付加法線ベクトル及び曲率因子を計算する。そのため、点ｐ_ｉ及び点ｑ_ｉの各々も長さ７のベクトル（ｘ，ｙ，ｚ，ｕ，ｖ，ｗ，ｃ）として表されることができる。（ｘ，ｙ，ｚ）の要素はＸ座標、Ｙ座標及びＺ座標である。（ｕ，ｖ，ｗ）の要素は法線ベクトルを構成し、且つｃは曲率因子である。図６は、一実施形態による法線ベクトルの計算の模式図である。図６を参照すると、点ｐ_ｉ（ｘ，ｙ，ｚ）を例として、小さい領域における点ｐ_ｉの近傍点６１０（又は予定数の近傍点）を取得する。点ｐ_ｉ及び近傍点６１０に対して主成分分析（ＰＣＡ）アルゴリズムを実行して、特徴値λ_１、λ_２及びλ_３及び主成分を取得する。特徴値λ_１、λ_２及びλ_３は降順で配列される。当業者であればＰＣＡアルゴリズムを知るべきであるため、それについて詳しく説明しない。各々の特徴値は、主成分の１つに対応する。各々の主成分は長さ３のベクトルである。最大特徴値λ_１に対応する主成分は、点ｐ_ｉ及び近傍点６１０を最大に表す基礎である。点ｐ_ｉ及び近傍点６１０がほぼ２つのベースラインにより跨がれる二次元表面にあるため、第３のベースラインはこの表面の法線ベクトルを表すべきである。言い換えれば、最小特徴値λ_３に対応する主成分は、点ｐ_ｉの法線ベクトル（ｕ，ｖ，ｗ）として設置される。なお、表面が平坦であれば、特徴値λ_３は比較的小さいべきであるが、表面が湾曲すると、特徴値λ_３は比較的大きいべきである。そのため、特徴値λ_３は、曲率因子ｃの計算に用いられることができる。ある実施形態において、下記の方程（９）で書かれるように、最小特徴値を３つの特徴値の合計で割って、曲率因子ｃを計算する。

【数12】

【0035】

読込点群及び局所環境点群の各々の点に対して上記操作を実行してよく、且つ最初のベクトル（ｘ，ｙ，ｚ）はベクトル（ｘ，ｙ，ｚ，ｕ，ｖ，ｗ，ｃ）に置換される。実施形態において、法線ベクトル及び曲率因子がマッチングの改善される対（ｐ_ｉ，ｑ_ｉ）のＩＣＰアルゴリズムのマッチングに加えられるため、各々の点についてより詳しく説明する。

【0036】

図７は、一実施形態による位置決め方法の模式的流れ図である。図７を参照すると、工程７１０において、慣性測定ユニットから取得した信号に基づいて、電気装置の初期位置や初期方向を計算する。工程７２０において、データベースから環境点群を取得し、且つ初期位置や初期方向に基づいて環境点群から局所環境点群を取得する。工程７３０において、デプスセンサによって読込点群を取得する。工程７４０において、読込点群と局所環境点群とをマッチングして、電気装置の更新位置や更新方向を計算する。しかしながら、図７における全ての工程については、上記で詳しく説明されるため、繰り返して説明しない。注意すべきなのは、図７における工程は、プログラムコード又は回路として達成されることができるが、且つ本公開内容はこれに限定されない。また、図７における方法は、ＡＲ装置１００又は例えばスマートフォン、タブレット又は如何なる好適なウェアラブル装置のような汎用電気装置に適用されることができる。電気装置は、少なくともプロセッサ、デプスセンサ及び慣性測定ユニットを含む。

【0037】

上記位置決め方法及びＡＲ装置において、点群情報、ＩＭＵ及びＰＣＲ技術を組み合わせることで、ＳＬＡＭ及びＩＭＵが屋内で位置及び配向情報を精確に提供できないという課題が解決される。更に、ＩＭＵの経時的なエラーの累積という課題も解決される。この位置決め方法は、例えば工場エリア又は屋内空間のような、３Ｄモデルを有する如何なる屋内環境又はＣＡＤソフトウェアにより設計される工作機械を有する屋内場所に適用されることができる。

【0038】

本発明のある実施形態を参照して本発明を相当詳しく記述したが、他の実施形態も可能である。そのため、添付の特許請求の範囲の精神や範囲は、本明細書に含まれる実施形態についての記述に限定されない。当業者であれは、本発明の範囲や精神から逸脱しない限り、本発明の構造に様々な修正や変化を加えてもよいことは明らかである。前記内容に鑑みて、本発明は、添付の特許請求の範囲の範囲内に含まれるものであれば、本発明の修正や変化を包含することを意図する。

【符号の説明】

【0039】

１００ ＡＲ装置
１１０ 工作機械
２１０ プロセッサ
２２０ 慣性測定ユニット
２３０ デプスセンサ
２４０ 通信モジュール
２５０ ディスプレイ
３００ 屋内環境
３１０ 視野
３０１ 初期方向
４１０ 拡張現実モジュール
４２０、４３０、４４０、４５０、４６０、４７０、５１０、５２０、５３０、５４０、５５０、５６０、７１０、７２０、７３０、７４０ 工程
６１０ 近傍点

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】