特許 7558373 拡張現実デバイスのためのニューラルネットワークを用いる地図支援慣性オドメトリ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-19

(45)【発行日】2024-09-30

(54)【発明の名称】拡張現実デバイスのためのニューラルネットワークを用いる地図支援慣性オドメトリ

(51)【国際特許分類】

   G01C 21/28 20060101AFI20240920BHJP

   G06T 7/70 20170101ALI20240920BHJP

   G06T 7/00 20170101ALI20240920BHJP

   G06V 10/82 20220101ALI20240920BHJP

   G01P 21/00 20060101ALI20240920BHJP

【ＦＩ】

G01C21/28

G06T7/70 Z

G06T7/00 350C

G06V10/82

G01P21/00

【請求項の数】 20

【外国語出願】

(21)【出願番号】P 2023197406

(22)【出願日】2023-11-21

(65)【公開番号】P2024075553

(43)【公開日】2024-06-04

【審査請求日】2024-01-23

(31)【優先権主張番号】18/058,573

(32)【優先日】2022-11-23

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

【氏名又は名称原語表記】Ｇｏｏｇｌｅ ＬＬＣ

【住所又は居所原語表記】１６００ Ａｍｐｈｉｔｈｅａｔｒｅ Ｐａｒｋｗａｙ ９４０４３ Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣＡ Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】チーユエ・チャン

(72)【発明者】

【氏名】ルカ・バラン

(72)【発明者】

【氏名】ユ・ホンシェン

(72)【発明者】

【氏名】ファン・フェンタオ

(72)【発明者】

【氏名】マヘシュ・ラマチャンドラン

(72)【発明者】

【氏名】グオ・チャオ

【審査官】西畑 智道

(56)【参考文献】

【文献】特開２０１９－０２３８６５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２２／０３０６０８９（ＵＳ，Ａ１）

【文献】米国特許第１１１１３８９４（ＵＳ，Ｂ１）

【文献】米国特許出願公開第２０１９／０１４６５９８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｃ ２１／００－２１／３６

Ｇ０１Ｃ ２３／００－２５／００

Ｇ０６Ｔ ７／７０

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ １０／８２

Ｇ０１Ｐ ２１／００

Ｇ０８Ｇ １／００－９９／００

(57)【特許請求の範囲】

【請求項1】

コンピュータの処理回路によって実行される方法であって、
慣性計測装置（ＩＭＵ）からＩＭＵデータを受け取るステップを含み、
前記ＩＭＵデータは回転速度および加速度の値を含み、前記ＩＭＵは、ある位置にある電子デバイスのカメラに接続されており、
前記方法は、
前記位置でのシーンの画像を表す画像データを受け取るステップと、
前記画像データおよび前記位置の近傍の地図に基づいて、前記ＩＭＵの第１の６自由度姿勢データを生成するステップと、
をさらに含み、
前記第１の６自由度姿勢データは、前記ＩＭＵの第１の位置および向きを表し、
前記方法は、
前記回転速度および前記加速度の前記値に基づいて前記ＩＭＵの第２の６自由度姿勢データを生成するステップをさらに含み、
前記第２の６自由度姿勢データは、前記ＩＭＵの第２の位置および向きを表し、
前記方法は、
前記第１の６自由度姿勢データおよび前記第２の６自由度姿勢データに基づいて、補正された６自由度姿勢データを生成するステップをさらに含み、
前記補正された６自由度姿勢データを生成するステップは、カルマンフィルタの状態を更新するために、前記第１の６自由度姿勢データおよび前記第２の６自由度姿勢データを前記カルマンフィルタに入力することを含み、
前記第１の６自由度姿勢データは、第１の頻度で前記カルマンフィルタへ入力され、
前記第２の６自由度姿勢データは、前記第１の頻度より高い第２の頻度で前記カルマンフィルタへ入力される、方法。

【請求項2】

前記カルマンフィルタの前記状態は、前記ＩＭＵの演算パラメータのうち１以上のパラメータの値を含み、
前記１以上のパラメータは、前記ＩＭＵの、バイアス、スケールファクタ、およびミスアライメントのうち少なくとも１つを含む、請求項１に記載の方法。

【請求項3】

前記補正された６自由度姿勢データを生成するステップは、更新後の前記状態の前記１以上のパラメータの値を用いて、前記ＩＭＵデータの誤差を補償することを含む、請求項２に記載の方法。

【請求項4】

前記第２の頻度は、前記第１の頻度の２倍である、請求項１に記載の方法。

【請求項5】

前記第２の頻度は、前記第１の頻度の１０倍である、請求項１に記載の方法。

【請求項6】

前記第２の６自由度姿勢データを生成するステップは、
前記ＩＭＵデータを畳み込みニューラルネットワークに入力することを含み、
前記第２の６自由度姿勢データは前記畳み込みニューラルネットワークの出力である、請求項１に記載の方法。

【請求項7】

前記ＩＭＵの前記演算パラメータの前記値は、前記ＩＭＵの温度の値を含む、請求項２に記載の方法。

【請求項8】

処理回路によって実行されると、前記処理回路に方法を実行させるコードを含み、前記方法は、
慣性計測装置（ＩＭＵ）からＩＭＵデータを受け取るステップを含み、
前記ＩＭＵデータは回転速度および加速度の値を含み、前記ＩＭＵは、ある位置にある電子デバイスのカメラに接続されており、
前記方法は、
前記位置でのシーンの画像を表す画像データを受け取るステップと、
前記画像データおよび前記位置の近傍の地図に基づいて、前記ＩＭＵの第１の６自由度姿勢データを生成するステップと、
をさらに含み、
前記第１の６自由度姿勢データは、前記ＩＭＵの第１の位置および向きを表し、
前記方法は、
前記回転速度および前記加速度の前記値に基づいて前記ＩＭＵの第２の６自由度姿勢データを生成するステップをさらに含み、
前記第２の６自由度姿勢データは、前記ＩＭＵの第２の位置および向きを表し、
前記方法は、
前記ＩＭＵの前記第１の６自由度姿勢データおよび前記ＩＭＵの前記第２の６自由度姿勢データに基づいて、補正された６自由度姿勢データを生成するステップをさらに含み、
前記ＩＭＵの前記補正された６自由度姿勢データを生成するステップは、
カルマンフィルタの状態を更新するために、前記第１の６自由度姿勢データおよび前記第２の６自由度姿勢データを前記カルマンフィルタに入力すること
を含み、
前記第１の６自由度姿勢データは、第１の頻度で前記カルマンフィルタへ入力され、
前記第２の６自由度姿勢データは、前記第１の頻度より高い第２の頻度で前記カルマンフィルタへ入力される、
コンピュータプログラム。

【請求項9】

前記カルマンフィルタの前記状態は、前記ＩＭＵの演算パラメータのうち１以上のパラメータの値を含み、
前記１以上のパラメータは、前記ＩＭＵの、バイアス、スケールファクタ、およびミスアライメントのうち少なくとも１つを含む、請求項８に記載のコンピュータプログラム。

【請求項10】

前記補正された６自由度姿勢データを生成するステップは、更新後の前記状態の前記１以上のパラメータの値を用いて、前記ＩＭＵデータの誤差を補償することを含む、請求項９に記載のコンピュータプログラム。

【請求項11】

前記第２の頻度は、前記第１の頻度の２倍である、請求項８に記載のコンピュータプログラム。

【請求項12】

前記第２の頻度は、前記第１の頻度の１０倍である、請求項８に記載のコンピュータプログラム。

【請求項13】

前記第２の６自由度姿勢データを生成するステップは、
前記ＩＭＵデータを畳み込みニューラルネットワークに入力することを含み、
前記第２の６自由度姿勢データは前記畳み込みニューラルネットワークの出力である、請求項８に記載のコンピュータプログラム。

【請求項14】

前記ＩＭＵの前記演算パラメータの前記値は、前記ＩＭＵの温度の値を含む、請求項９に記載のコンピュータプログラム。

【請求項15】

メモリと、
前記メモリに結合された処理回路と、
を備え、前記処理回路は、
慣性計測装置（ＩＭＵ）からＩＭＵデータを受け取り、前記ＩＭＵデータは回転速度および加速度の値を含み、前記ＩＭＵは、ある位置にある電子デバイスのカメラに接続されており、
前記位置でのシーンの画像を表す画像データを受け取り、
前記画像データおよび前記位置の近傍の地図に基づいて、前記ＩＭＵの第１の６自由度姿勢データを生成し、前記第１の６自由度姿勢データは、前記ＩＭＵの第１の位置および向きを表し、
前記回転速度および前記加速度の前記値に基づいて前記ＩＭＵの第２の６自由度姿勢データを生成し、前記第２の６自由度姿勢データは、前記ＩＭＵの第２の位置および向きを表し、
前記ＩＭＵの前記第１の６自由度姿勢データおよび前記ＩＭＵの前記第２の６自由度姿勢データに基づいて、補正された６自由度姿勢データを生成する
ように構成されており、
前記補正された６自由度姿勢データを生成するように構成されている前記処理回路は、
カルマンフィルタの値を更新するために、前記第１の６自由度姿勢データおよび前記第２の６自由度姿勢データを前記カルマンフィルタに入力する
ようにさらに構成されており、
前記第１の６自由度姿勢データは、第１の頻度で前記カルマンフィルタへ入力され、
前記第２の６自由度姿勢データは、前記第１の頻度より高い第２の頻度で前記カルマンフィルタへ入力される、装置。

【請求項16】

前記カルマンフィルタの前記状態は、前記ＩＭＵの演算パラメータのうち１以上のパラメータの値を含み、
前記１以上のパラメータは、前記ＩＭＵの、バイアス、スケールファクタ、およびミスアライメントのうち少なくとも１つを含む、請求項１５に記載の装置。

【請求項17】

前記処理回路は、更新後の前記状態の前記１以上のパラメータの値を用いて、前記ＩＭＵデータの誤差を補償するようにさらに構成されている、請求項１６に記載の装置。

【請求項18】

前記第２の頻度は、前記第１の頻度の２倍である、請求項１５に記載の装置。

【請求項19】

前記第２の頻度は、前記第１の頻度の１０倍である、請求項１５に記載の装置。

【請求項20】

前記第２の６自由度姿勢データを生成するように構成された前記処理回路は、
前記ＩＭＵデータを畳み込みニューラルネットワークに入力する
ようにさらに構成され、
前記第２の６自由度姿勢データは前記畳み込みニューラルネットワークの出力である、請求項１５に記載の装置。

【発明の詳細な説明】

【背景技術】

【0001】

背景
ビジュアルオドメトリは、開始位置に対して移動するカメラの６自由度（６ＤｏＦ）姿勢（位置および向き）、および場合によっては速度を推定するコンピュータビジョン技術である。動きが追跡されるとき、カメラは、ある領域を通してナビゲーションを行う。ビジュアルオドメトリは、カメラからの連続した画像を分析し、連続した画像に現れる画像内の物体を追跡することによって機能する。

【0002】

視覚慣性オドメトリ（ＶＩＯ：ｖｉｓｕａｌ ｉｎｅｒｔｉａｌ ｏｄｏｍｅｔｒｙ）は、慣性計測装置（ＩＭＵ）を使用して行われるビジュアルオドメトリである。ＩＭＵは加速度計およびジャイロスコープを有し、加速度および回転速度を出力する。これらを６ＤｏＦ姿勢に変換するために、加速度を位置に変換する２つの積分演算と、回転速度を向きに変換する１つの積分演算とを行う積分モジュールがある。それにも関わらず、ＩＭＵにはドリフト誤差があり、積分演算がドリフト誤差を悪化させるため、ＩＭＵから出力されるデータにより、姿勢が大きいレベルの誤差を含むことになる。

【0003】

この誤差に対処するため、従来のＶＩＯは、連続した画像の間でＩＭＵによって測定される変化が小さくなるように、画像を頻繁に更新する。場合によっては、従来のＶＩＯは、１０Ｈｚのレートで、すなわち０．１秒ごとに画像を撮影する。

【発明の概要】

【0004】

概要
本明細書に記載する実施態様は、拡張現実（ＡＲ）システムにおけるナビゲーションのための慣性オドメトリに関する。従来のＶＩＯでは、ＡＲスマートグラスのフレーム上のワールドフェイシングカメラ（ｗｏｒｌｄ－ｆａｃｉｎｇ ｃａｍｅｒａ）から画像を頻繁に生成する必要がある。こうした頻繁な画像生成により、ＡＲスマートグラスに電力を供給しているバッテリがすぐに消耗する可能性があるという問題が起こる可能性がある。バッテリを節約しながらＩＭＵのドリフト誤差を軽減するために、改良された慣性オドメトリは、カメラの第１の６ＤｏＦ姿勢を導出するために、画像に対するある位置の近傍の地図から自己位置推定を提供する。この第１の６ＤｏＦ姿勢は、ＩＭＵ固有値（ジャイロのバイアス、ジャイロのミスアライメントなど）から導出される補償された回転速度および加速度の測定値に基づく第２の予測された６ＤｏＦ姿勢と組み合わされる。第１の６ＤｏＦ姿勢および第２の６ＤｏＦ姿勢の各々は、補正された６ＤｏＦ姿勢およびＩＭＵ固有値を提供するために拡張カルマンフィルタ（ＥＫＦ）に入力される。いくつかの実施態様では、第２の６ＤｏＦ姿勢は、１０Ｈｚ～２００ＨｚのレートでＥＫＦに入力され、第１の６ＤｏＦ姿勢は、１Ｈｚ以下のレートでＥＫＦに入力される。いくつかの実施態様では、第２のＤｏＦ姿勢は、ニューラルネットワークを介して予測される。ニューラルネットワークによって使用されるリソースは、２００Ｈｚであっても、１０Ｈｚでカメラによって使用されるリソースよりもはるかに少ない。このように、地図とニューラルネットワーク／予測エンジンによって支援される慣性オドメトリは、はるかに少ない計算リソースを使用しながら正確なナビゲーションを提供することができ、その結果、ＡＲスマートグラスのバッテリ寿命が長くなる。

【0005】

１つの全体的な態様では、方法は、慣性計測装置（ＩＭＵ）からＩＭＵデータを受け取るステップを含むことができ、ＩＭＵデータは、回転速度、加速度、および温度の値を含み、ＩＭＵは、ある位置にあるスマートグラスデバイスのフレーム上でワールドフェイシングカメラに接続されている。本方法は、上記位置でのシーンの画像を表す画像データを受け取るステップも含むことができる。本方法は、画像データおよび上記位置の近傍の地図に基づいて、ＩＭＵの第１の６自由度姿勢データを生成するステップをさらに含むことができ、第１の６自由度姿勢データは、ワールド座標系におけるＩＭＵの第１の位置および向きを表す。本方法は、回転速度および加速度の値に基づいてＩＭＵの第２の６自由度姿勢データを生成するステップをさらに含むことができ、第２の６自由度姿勢データは、ワールド座標系におけるＩＭＵの第２の位置および向きを表す。本方法は、第１の６自由度姿勢データおよび第２の６自由度姿勢データに基づいて、補正された６自由度姿勢データを生成するステップをさらに含むことができる。

【0006】

別の全体的な態様では、コンピュータプログラム製品は非一時的記憶媒体を含み、コンピュータプログラム製品は、処理回路によって実行されると、処理回路に方法を実行させるコードを含む。上記方法は、慣性計測装置（ＩＭＵ）からＩＭＵデータを受け取るステップを含むことができ、ＩＭＵデータは、回転速度、加速度、および温度の値を含み、ＩＭＵは、ある位置にあるスマートグラスデバイスのフレーム上でワールドフェイシングカメラに接続されている。上記方法は、上記位置でのシーンの画像を表す画像データを受け取るステップも含むことができる。上記方法は、画像データおよび上記位置の近傍の地図に基づいて、ＩＭＵの第１の６自由度姿勢データを生成するステップをさらに含むことができ、第１の６自由度姿勢データは、ワールド座標系におけるＩＭＵの第１の位置および向きを表す。上記方法は、回転速度および加速度の値に基づいてＩＭＵの第２の６自由度姿勢データを生成するステップをさらに含むことができ、第２の６自由度姿勢データは、ワールド座標系におけるＩＭＵの第２の位置および向きを表す。上記方法は、第１の６自由度姿勢データおよび第２の６自由度姿勢データに基づいて、補正された６自由度姿勢データを生成するステップをさらに含むことができる。

【0007】

別の全体的な態様では、装置は、メモリと、メモリに結合された処理回路とを備える。処理回路は、慣性計測装置（ＩＭＵ）からＩＭＵデータを受け取るように構成することができ、ＩＭＵデータは、回転速度、加速度、および温度の値を含み、ＩＭＵは、ある位置にあるスマートグラスデバイスのフレーム上でワールドフェイシングカメラに接続されている。処理回路は、上記位置でのシーンの画像を表す画像データを受け取るように構成することもできる。処理回路は、画像データおよび上記位置の近傍の地図に基づいて、ＩＭＵの第１の６自由度姿勢データを生成するようにさらに構成することができ、第１の６自由度姿勢データは、ワールド座標系におけるＩＭＵの第１の位置および向きを表す。処理回路は、回転速度および加速度の値に基づいてＩＭＵの第２の６自由度姿勢データを生成するようにさらに構成することができ、第１の６自由度姿勢データは、ワールド座標系におけるＩＭＵの第２の位置および向きを表す。処理回路は、ＩＭＵの第１の６自由度姿勢データおよび６自由度姿勢データに基づいて、補正された６自由度姿勢データを生成するようにさらに構成することができる。

【0008】

１つまたは複数の実施態様の詳細を、添付の図面および以下の説明に示す。他の特徴は、説明および図面から、ならびに特許請求の範囲から明らかとなろう。

【図面の簡単な説明】

【0009】

【図1A】ユーザによって着用されている頭部装着型ウェアラブルデバイス例を示す図である。

【図1B】図１Ａに示す頭部装着型ウェアラブルデバイス例の正面図である。

【図1C】図１Ａに示す頭部装着型ウェアラブルデバイス例の背面図である。

【図2A】スマートグラスフレーム上の関連するＩＭＵを有するワールドフェイシングカメラ例を示す図である。

【図2B】ユーザがＡＲスマートグラスを使用して慣性オドメトリを行うことができるシーン例を示す図である。

【図2C】ワールドフェイシングカメラを介してＡＲスマートグラスで見られるようなシーン例を示す図である

【図3】本明細書に記載する改良された技術に従って地図支援慣性オドメトリを実行する装置例を示す図である。

【図4】地図支援慣性オドメトリを実行するフロー例を示すフローチャートである。

【図5】本明細書に記載する改良された技術に従って地図支援慣性オドメトリを実行する方法を示すフローチャートである。

【発明を実施するための形態】

【0010】

詳細な説明
本開示は、ＡＲスマートグラスを使用するナビゲーションのための慣性オドメトリに関する。従来のＶＩＯでは、ＡＲスマートグラスのフレーム上のワールドフェイシングカメラから画像を頻繁に生成する必要がある。こうした頻繁な画像生成の技術的な問題は、ＡＲスマートグラスに電力を供給しているバッテリがすぐに消耗する可能性があるということである。

【0011】

ＩＭＵのドリフト誤差を軽減するために、かつ本明細書に記載する実施態様に従って、上述した技術的課題に対する技術的解決法は、それぞれ、画像に対するある位置の近傍の地図からの自己位置推定からの、およびＩＭＵデータに基づく予測された６ＤｏＦ姿勢からの、第１の６ＤｏＦ姿勢および第２の６ＤｏＦ姿勢を組み合わせる。

【0012】

第１の自己位置推定に基づく６ＤｏＦ姿勢は、ＩＭＵから独立したワールド座標で６ＤｏＦ姿勢を提供する、ＡＲスマートグラスのワールドフェイシングカメラからの画像と組み合わされる、ある位置の近傍からの地図データ（例えば、Ｇｏｏｇｌｅ，ｉｎｃ．のＳｔｒｅｅｔＶｉｅｗ（登録商標）マップ）を使用するビジュアルポジショニングシステム（ｖｉｓｕａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）に基づく。いくつかの実施態様では、１０Ｈｚで画像を更新するのではなく、画像は、１Ｈｚ未満で更新される。これが達成可能であるのは、慣性オドメトリが、連続した画像に依存しなくなり、むしろ地図自己位置推定データと、より頻繁に更新される予測された６ＤｏＦ姿勢データとの組み合わせに基づくためである。

【0013】

第２の６ＤｏＦ姿勢は、ＩＭＵ固有値（例えば、ジャイロバイアス、ジャイロミスアライメント）から導出される補償された回転速度および加速度の測定値に基づく。いくつかの実施態様では、補償された回転速度および加速度の値を積分して６ＤｏＦ姿勢を生成するのではなく、補償された回転速度および加速度の値は、補償された回転速度および加速度の値から直接６ＤｏＦ姿勢を予測する予測エンジンに入力される。いくつかの実施態様では、予測エンジンはニューラルネットワークである。いくつかの実施態様では、第２の６ＤｏＦ姿勢は、１０Ｈｚ～２００Ｈｚの周波数で更新される。いくつかの実施態様では、予測エンジンは畳み込みニューラルネットワークを含む。

【0014】

第１の６ＤｏＦ姿勢および第２の６ＤｏＦ姿勢の各々は、補正された６ＤｏＦ姿勢およびＩＭＵ固有値を提供するために拡張カルマンフィルタ（ＥＫＦ）に入力することができる。ＥＫＦは、一組の測定値と更新方程式とに基づいて、状態および共分散行列を更新する。この場合に推定すべきＥＫＦの状態は、ワールド座標系での位置、向き、および速度、ジャイロおよび加速度計のバイアス、ジャイロおよび加速度計のスケールファクタ、ジャイロおよび加速度計のミスアライメント、ならびに加速度計の座標系からワールド座標系への変換を含む、９つの３要素ベクトル成分を有する、２７要素の状態ベクトルである。共分散行列は、状態推定値の誤差を表し、連続的な更新によって減少するため、共分散行列の大きさが閾値を下回ると、状態推定値はあるエポックで最終的なものになる。

【0015】

いくつかの実施態様では、ジャイロおよび加速度計のバイアス、ジャイロおよび加速度計のスケールファクタ、ならびにジャイロおよび加速度計のミスアライメントなどの状態ベクトルの要素は、ＩＭＵ固有パラメータを表す。ＩＭＵ固有パラメータおよびそれらの値は、ＩＭＵ出力補償モジュールにフィードバックすることができる。ＩＭＵ出力補償モジュールは、ドリフト誤差を補正するために、回転速度および加速度の値を補償するように構成されている。これらの補償された値は、その後、予測エンジンおよび／または積分モジュールへの入力として使用することができる。

【0016】

上述した技術的解決法の技術的利点は、地図およびニューラルネットワーク／予測エンジンによって支援される慣性オドメトリが、はるかに少ない計算リソースを使用しながら正確なナビゲーションを提供することができ、その結果、ＡＲスマートグラスのバッテリ寿命が長くなる、ということである。これが可能であるのは、予測エンジンからの第２の６ＤｏＦ姿勢に対する更新の各々が、１０Ｈｚで連続した画像を分析するよりもはるかに少ない計算リソースを使用し、ここで生成される画像は、はるかに低い周波数、例えば１Ｈｚ未満で生成されるためである。

【0017】

図１Ａは、ディスプレイ機能、アイトラッキング／視線追跡機能、およびコンピューティング／処理機能を含むスマートグラス例１００を着用している、ユーザを示す。図１Ｂは、図１Ａに示すスマートグラス例１００の正面図であり、図１Ｃは背面図である。スマートグラス例１００はフレーム１１０を含む。フレーム１１０は、フロントフレーム部分１２０と、それぞれのヒンジ部分１４０によってフロントフレーム部分１２０に回転可能に連結された一対のテンプルアーム部分１３０とを含む。フロントフレーム部分１２０は、レンズ１２７の形態のそれぞれの光学部分を取り囲むリム部分１２３を含み、ブリッジ部分１２９がリム部分１２３を接続している。テンプルアーム部分１３０は、それぞれのリム部分１２３の周辺部分でフロントフレーム部分１２０に、例えば枢動可能にまたは回転可能に、連結されている。いくつかの例では、レンズ１２７は矯正／度付きレンズである。いくつかの例では、レンズ１２７は、必ずしも矯正／処方パラメータを組み込まないガラスおよび／またはプラスチック部分を含む光学材料である。

【0018】

いくつかの例では、スマートグラス１００は、視覚的コンテンツがユーザに見えるように、例えば出力カプラ１０５で視覚的コンテンツを出力することができる、ディスプレイデバイス１０４を含む。図１Ｂおよび図１Ｃに示す例では、ディスプレイデバイス１０４は、単に考察および説明の目的で、２つのアーム部分１３０のうちの一方に設けられている。ディスプレイデバイス１０４は、コンテンツの両眼出力を提供するように、２つのアーム部分１３０の各々に設けてもよい。いくつかの例では、ディスプレイデバイス１０４は、透けて見えるニアアイディスプレイ（ｎｅａｒ ｅｙｅ ｄｉｓｐｌａｙ）であり得る。いくつかの例では、ディスプレイデバイス１０４は、ディスプレイ光源からの光を、斜めに（例えば、３０～４５度で）設置されたビームスプリッタとして機能するテレプロンプタガラスの一部分に投影するように構成することができる。ビームスプリッタは、ディスプレイ光源からの光を部分的に反射させる一方で残りの光を透過させる、反射値および透過値を可能にすることができる。こうした光学設計により、ユーザは、ディスプレイデバイス１０４によって出力されるコンテンツ（例えば、デジタル画像、ユーザインターフェース要素、仮想コンテンツなど）の隣に、現実世界の物理的項目をともに、例えばレンズ１２７を通して見ることができる。いくつかの実施態様では、導波路光学系を使用して、ディスプレイデバイス１０４にコンテンツを描写することができる。

【0019】

いくつかの例では、スマートグラス１００は、音声出力デバイス１０６（例えば、１つまたは複数のスピーカなど）、照明デバイス１０８、検知システム１１１、制御システム１１２、少なくとも１つのプロセッサ１１４、および外向き画像センサ、すなわちワールドフェイシングカメラ１１６のうちの１つまたは複数を含む。いくつかの例では、検知システム１１１は、さまざまな検知デバイスを含むことができ、制御システム１１２は、例えば、制御システム１１２の構成要素に動作可能に結合された１つまたは複数のプロセッサ１１４を含むさまざまな制御システムデバイスを含むことができる。いくつかの例では、制御システム１１２は、スマートグラス１００と他の外部デバイスとの間の通信および情報交換を提供する通信モジュールを含むことができる。いくつかの例では、頭部装着型スマートグラス１００は、視線の方向および動きを検出および追跡する視線追跡デバイス１１５を含む。視線追跡デバイス１１５によって取り込まれたデータを処理して、ユーザ入力として視線の方向および動きを検出および追跡することができる。図１Ｂおよび図１Ｃに示す例では、視線追跡デバイス１１５は、単に考察および説明の目的で、２つのアーム部分１３０のうちの一方に設けられている。図１Ｂおよび図１Ｃに示す配置例では、視線追跡デバイス１１５は、ディスプレイデバイス１０４と同じアーム部分１３０に設けられており、そのため、ユーザの視線は、物理的環境内の物体に関してだけでなく、ディスプレイデバイス１０４によって表示されるために出力されるコンテンツに関しても追跡することができる。いくつかの例では、視線、または視線追跡デバイス１１５は、ユーザの両眼の各々の視線追跡を提供するために、２つのアーム部分１３０の各々に設けてもよい。いくつかの例では、ディスプレイデバイス１０４は、視覚的コンテンツの両眼表示を提供するために、２つのアーム部分１３０の各々に設けてもよい。

【0020】

図２Ａは、スマートグラスフレーム１１０上のワールドフェイシングカメラ１１６の一例を示す図である。図２Ａに示すように、ワールドフェイシングカメラ１１６は、取り付けられた慣性計測装置（ＩＭＵ）２０２を有する。ＩＭＵ２０２は、回転速度を測定するように構成された一組のジャイロと、カメラが頭部および／もしくは身体またはユーザとともに移動する際にカメラ１１６の加速度を測定するように構成された加速度計とを含む。

【0021】

図２Ｂは、ユーザがＡＲスマートグラス１００を使用して慣性オドメトリを行うことができるシーン例２００を示す図である。図２Ｂに示すように、ユーザは、シーン２００内の位置２１０でシーン２００を見る。ユーザが、位置２１０からシーン２００を見ると、ワールドフェイシングカメラ１１６がシーン２００の一部分をディスプレイに表示し、その部分は、シーンの世界座標系におけるカメラ１１６の６ＤｏＦ姿勢によって決まる。ユーザがシーン２００内を移動すると、カメラは、ＩＭＵ２０２からのデータに基づいて、ナビゲーション（すなわち、シーン２００内でユーザがどの方向に移動しているかをユーザに知らせること）を提供することができる。

【0022】

図２Ｃは、ワールドフェイシングカメラ１１６を介してＡＲスマートグラス１００で見られるようなシーン例２００を示す図である。ＡＲスマートグラス１００は、ワールドフェイシングカメラからの画像をディスプレイに投影する。ユーザが西寄りの方向に移動した場合、ＩＭＵ２０２からのデータは、ユーザが西寄りの方向に移動していることを示すことができる。そして、スマートグラス１００は、例えば、ユーザがシーン２００内で移動する方向をユーザに知らせる矢印２２０を、画像の上でディスプレイに重ねることができる。このように、スマートグラスは、慣性オドメトリを使用してナビゲーションを提供することができる。

【0023】

図３は、処理回路３２０の一例を示す図である。処理回路３２０は、ネットワークインターフェース３２２、１つまたは複数の処理ユニット３２４、および非一時的メモリ３２６を含む。ネットワークインターフェース３２２は、ネットワークから受信した電子および／または光信号を、処理回路３２０が使用する電子形態に変換する、例えば、イーサネット（登録商標）アダプタ、トークンリングアダプタ、Ｂｌｕｅｔｏｏｔｈ（登録商標）アダプタ、ＷｉＦｉアダプタ、ＮＦＣアダプタなどを含む。一組の処理ユニット３２４は、１つまたは複数の処理チップおよび／またはアセンブリを含む。メモリ３２６は、揮発性メモリ（例えば、ＲＡＭ）と、１つまたは複数のＲＯＭ、ディスクドライブ、ソリッドステートドライブなどの不揮発性メモリとの両方を含む。一組の処理ユニット３２４およびメモリ３２６は、合わせて処理回路を形成し、この処理回路は、本明細書に記載するようなさまざまな方法および機能を実行するように構成および配置されている。

【0024】

いくつかの実施態様では、処理回路３２０の構成要素のうちの１つまたは複数は、メモリ３２６に格納された命令を処理するように構成されたプロセッサ（例えば、処理ユニット３２４）とすることができ、またはそうしたプロセッサを含むことができる。図３に示すようなそうした命令の例は、ＩＭＵマネージャ３３０、ニューラルネットワークマネージャ３４０、ビジュアルポジショニングシステムマネージャ３５０、および拡張カルマンフィルタマネージャ３６０を含む。さらに、図３に示すように、メモリ３２６は、さまざまなデータを記憶するように構成されており、こうしたデータについて、そうしたデータを使用するそれぞれのマネージャに関して説明する。

【0025】

ＩＭＵマネージャ３３０は、ＩＭＵデータ３３３を取得するように構成されている。いくつかの実施態様では、ＩＭＵマネージャ３３０は、ＩＭＵデータ３３３を無線で取得する。図３に示すように、ＩＭＵマネージャ３３０は、誤差補償マネージャ３３１および積分マネージャ３３２を含む。

【0026】

誤差補償マネージャ３３１は、ＥＫＦマネージャ３６０からＩＭＵ固有パラメータ値を受け取るように構成されている。誤差補償マネージャ３３１は、さらに、例えばＩＭＵマネージャ３３０からＩＭＵ出力（ＩＭＵデータ３３３）を受け取り、ＩＭＵ固有パラメータ値を使用して、ＩＭＵ出力をドリフト誤差に対して補償するように構成されている。そして、誤差補償マネージャ３３１は、誤差補償を実行した後、ＩＭＵデータ３３３を生成するように構成されている。

【0027】

積分マネージャ３３２は、ＩＭＵデータ３３３に対して積分演算（例えば、時間依存値の合計）を実行するように構成されている。特に、回転速度データ３３４は経時的に積分されて、向きを生成する。さらに、加速度データ３３５は２回にわたって積分されて、位置を生成する。したがって、積分マネージャ３３２は、ＩＭＵ出力、すなわち回転速度データ３３４および加速度データ３３５から、６ＤｏＦ姿勢（位置および向き）を生成する。

【0028】

ＩＭＵデータ３３３は、ＥＫＦマネージャ３６０によって決定されたＩＭＵ固有パラメータ値を使用してドリフト誤差が補償された、（ローカル座標系、すなわちＩＭＵの座標系とは対照的な）ワールド座標系におけるジャイロおよび加速度計の測定値、回転速度データ３３４、および加速度データ３３５を表す。さらに、ＩＭＵデータ３３３は、ジャイロおよび加速度計の測定値から導出される、６ＤｏＦ姿勢および移動データ、位置データ３３７、向きデータ３３８、および速度データ３３９を含む。最後に、いくつかの実施態様では、ＩＭＵデータ３３３はＩＭＵ温度データ３３６も含み、これは回転速度データ３３４および加速度データ３３５におけるさらなる誤差を示す可能性がある。

【0029】

ニューラルネットワークマネージャ３４０は、回転速度データ３３４および加速度データ３３５を入力として取得し、第２の位置データ３４４、第２の向きデータ３４６、および第２の速度データ３４８を含むニューラルネットワークデータ３４２を生成するように構成されている。いくつかの実施態様では、入力された回転速度データ３３４および加速度データ３３５は、生の、すなわちＩＭＵ固有パラメータ値によって補償される誤差を含むＩＭＵ出力値に作用する、誤差補償マネージャ３３１によって生成される。図３に示すように、ニューラルネットワークマネージャ３４０は、ニューラルネットワークトレーニングマネージャ３４１を含む。

【0030】

ニューラルネットワークトレーニングマネージャ３４１は、トレーニングデータ３４９を取り込み、層ならびにコスト関数および値に関するデータを含むニューラルネットワークデータ３４２を生成するように構成されている。いくつかの実施態様では、トレーニングデータ３４９は、ＡＲスマートグラスを着用し、頭部および身体の他の部分を動かしている人々の測定値から取得される動きデータとともに、それらの測定値から取得されたグランドトゥルース６ＤｏＦ姿勢データを含む。いくつかの実施態様では、トレーニングデータ３４９は、測定された６ＤｏＦ姿勢および速度と対になった、動きからの測定された回転速度および加速度を含む。

【0031】

加えて、いくつかの実施態様では、ニューラルネットワークマネージャ３４０は、ＩＭＵからの履歴データを使用して、第１の位置データ３４４、第１の向きデータ３４６、および第１の速度データ３４８を生成する。例えば、履歴データを使用して、以前の回転速度、加速度、および温度の、それらの結果としての６ＤｏＦ姿勢および動きの結果へのマップを用いてトレーニングデータ３４９が補強され、したがってニューラルネットワークがさらに精緻化される。

【0032】

いくつかの実施態様では、ニューラルネットワークマネージャ３４０によって表されるニューラルネットワークは、畳み込みニューラルネットワークであり、層は畳み込み層である。

【0033】

ビジュアルポジショニングシステム（ＶＰＳ）マネージャ３５０は、画像と、画像の位置の近傍の領域の地図とを入力として取り込み、第１の位置データ３５４、第１の向きデータ３５６を含むＶＰＳデータ３５２を生成するように構成されており、いくつかの実施態様では、ＶＰＳデータはまた、第１の速度データ３５８、すなわち、画像内の地図自己位置推定に基づく６ＤｏＦ姿勢も含む。いくつかの実施態様では、画像は、ＡＲスマートグラスのフレーム上のワールドフェイシングカメラ（例えば、１１６）を用いて取得される。

【0034】

画像の地図自己位置推定は、地図を使用して、ワールドフェイシングカメラの６ＤｏＦ姿勢のワールド座標を決定することである。いくつかの実施態様では、地図はＧｏｏｇｌｅ Ｍａｐｓ Ｓｔｒｅｅｔ Ｖｉｅｗ（登録商標）である。例えば、地図自己位置推定は、Ｇｏｏｇｌｅ（登録商標）ビジュアルポジショニングシステム（Ｖｉｓｕａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）または他の同様の地図などのシステムを使用して達成することができる。

【0035】

いくつかの実施態様では、ＶＰＳデータ３５２を生成する際のＶＰＳマネージャ３５０の精度レベルは、その位置を取り巻く環境によって決まる。例えば、屋内位置に対する精度要件はほぼ１～１０ｃｍであり得るが、屋外位置に対する精度要件はほぼ１～１０ｍであり得る。

【0036】

拡張カルマンフィルタ（ＥＫＦ）マネージャ３６０は、ＥＫＦデータ３６２に基づいて６ＤｏＦ姿勢の推定値を生成し、例えば、ある位置を通ってユーザをナビゲートするための、最終６ＤｏＦ姿勢データ３７０を返すように構成されている。

【0037】

ＥＫＦデータ３６２は、ＥＫＦマネージャ３６０によって更新される状態および共分散、ならびに更新方程式の一部である残差項および誤差項を表す。図３に示すように、ＥＫＦデータ３６２は、状態データ３６３、共分散行列データ３６４、残差データ３６５、残差勾配データ３６６、測定ノイズ行列データ３６７、およびプロセスノイズ行列データ３６８を含む。

【0038】

状態データ３６３は、ＥＫＦマネージャ３６０によって更新される状態ｘを表す。ここで、状態ｘは、１×３０配列であり、ｘ＝［ｖ，ｐ，ｑ_ｇ，ｑ_ａ，ｂ_ｇ，ｂ_ａ，ｓ_ｇ，ｓ_ａ，ｍ_ｇ，ｍ_ａ］であり、各１ｘ３要素は以下の通りである。

【0039】

・ｖは、ワールド座標系での速度であり、
・ｐは、ワールド座標系での位置であり、
・ｑ_ｇは、ワールド座標系に対するジャイロの（例えばオイラー角で表される）向きであり、
・ｑ_ａは、ワールド座標系に対する加速度計の向きであり、
・ｂ_ｇは、ジャイロのバイアス（固有パラメータ）であり、
・ｂ_ａは、加速度計のバイアス（固有パラメータ）であり、
・ｓ_ｇは、ジャイロのスケールファクタ（固有パラメータ）であり、
・ｓ_ａは、加速度計のスケールファクタ（固有パラメータ）であり、
・ｍ_ｇは、ジャイロのミスアライメント（固有パラメータ）であり、
・ｍ_ａは、加速度計のミスアライメント（固有パラメータ）である。

【0040】

共分散行列データ３６４は、３０×３０の共分散行列Ｐを表し、これは状態ｘの推定値の精度の尺度である。

【0041】

残差データ３６６は、残差ベクトル、すなわちイノベーションベクトルを表し、ここでは、ν_ｋ＝ｚ_ｋ－ｈ（ｘ_ｋ，ｋ）によって与えられ、式中、ｚ_ｋはエポックｋでの測定値であり、ｈ（ｘ_ｋ，ｋ）は、その観測のエポックｋでの予測値であり、エポックｋでの予測された状態ｘ_ｋの関数である。（エポックは、ＥＫＦで更新が発生する時間間隔であることに留意されたい）。例えば、ニューラルネットワーク観測値ｚ_ｋ＝［ｐ_ｎｋ，ｖ_ｎｋ，ｑ_ｎｋ］＋ｎ_１（式中、ｎ_１はニューラルネットワークの測定誤差、すなわちノイズである）に対して、予測値はｈ（ｘ_ｋ，ｋ）＝［ｐ_ｋ，ｖ_ｋ，ｑ_ｋ］であり、イノベーションν_ｋは差である。地図観測値は、ｚ_ｋ＝［ｐ_ｍｋ，ｑ_ｎｋ］＋ｍ_１であり、予測値ｈ（ｘ_ｋ，ｋ）＝［ｐ_ｋ，ｑ_ｋ］であり、したがって、イノベーションν_ｋは差である。

【0042】

残差勾配データ３６６は、状態ｘに対する残差ｙ（ｔ）の３×１０の勾配Ｈを表す。
測定ノイズ行列データ３６７は、３×３の測定ノイズ行列Ｒを表す。これは、測定ノイズの分散を表す。

【0043】

プロセスノイズ行列データ３６８は、３０×３０のプロセスノイズ行列Ｑを表す。これは、バイアスの緩慢な変化およびモデルの線形化に起因する誤差などのモデル誤差を表す。

【0044】

ＥＫＦマネージャ３６０は、以下の更新方程式を通して状態データ３６３および共分散行列データ３６４を更新する。

【0045】

【数1】

【0046】

（^＊）は状態更新方程式であり、（^＊＊）は共分散行列更新方程式であることに留意されたい。共分散行列Ｐの大きさは、許容範囲が達成されるまで、反復するたびに小さくなるはずである。許容範囲が達成されると、その状態が最終的な状態となり、その状態の回転行列が最終的な６ＤｏＦ姿勢データ３７０を提供する。

【0047】

ニューラルネットワークおよび地図からの観測値は、異なる周波数でＥＫＦマネージャ３６０に提供される可能性があることに留意されたい。これについては、図４に関して説明する。

【0048】

処理回路３２０の構成要素（例えば、モジュール、処理ユニット３２４）は、１つまたは複数のタイプのハードウェア、ソフトウェア、ファームウェア、オペレーティングシステム、ランタイムライブラリなどを含むことができる１つまたは複数のプラットフォーム（例えば、１つまたは複数の同様のまたは異なるプラットフォーム）に基づいて動作するように構成することができる。いくつかの実施態様では、処理回路３２０の構成要素は、デバイスのクラスタ（例えば、サーバファーム）内で動作するように構成することができる。こうした実施態様では、処理回路３２０の構成要素の機能性および処理は、デバイスのクラスタのいくつかのデバイスに分散させることができる。

【0049】

処理回路３２０の構成要素は、属性を処理するように構成された任意のタイプのハードウェアおよび／またはソフトウェアとすることができ、またはそうしたものを含むことができる。いくつかの実施態様では、図３の処理回路３２０の構成要素に示す構成要素の１つまたは複数の部分は、ハードウェアベースのモジュール（例えば、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、メモリ）、ファームウェアモジュール、および／またはソフトウェアベースのモジュール（例えば、コンピュータコードのモジュール、コンピュータで実行することができるコンピュータ可読命令のセット）とすることができ、またはそうしたものを含むことができる。例えば、いくつかの実施態様では、処理回路３２０の構成要素の１つまたは複数の部分は、少なくとも１つのプロセッサ（図示せず）によって実行されるように構成されたソフトウェアモジュールとすることができ、またはそうしたソフトウェアモジュールを含むことができる。いくつかの実施態様では、構成要素の機能性は、２つの構成要素として示す機能性を組み合わせて単一の構成要素にすることなど、図３に示すものとは異なるモジュールおよび／または異なる構成要素に含めることができる。

【0050】

図示しないが、いくつかの実施態様では、処理回路３２０の構成要素（またはその一部）は、例えば、データセンタ（例えば、クラウドコンピューティング環境）、コンピュータシステム、１つまたは複数のサーバ／ホストデバイスなどの中で動作するように構成することができる。いくつかの実施態様では、処理回路３２０の構成要素（またはその一部）は、ネットワーク内で動作するように構成することができる。したがって、処理回路３２０の構成要素（またはその一部）は、１つもしくは複数のデバイスおよび／または１つもしくは複数のサーバデバイスを含むことができるさまざまなタイプのネットワーク環境内で機能するように構成することができる。例えば、ネットワークは、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）などとすることができ、またはそうしたものを含むことができる。ネットワークは、例えば、ゲートウェイデバイス、ブリッジ、スイッチなどを使用して実装される無線ネットワークおよび／または無線ネットワークとすることができ、またはそうしたものを含むことができる。ネットワークは、１つまたは複数のセグメントを含むことができ、かつ／または、インターネットプロトコル（ＩＰ）および／またはプロプラエタリプロトコルなどのさまざまなプロトコルに基づく部分を有することができる。ネットワークは、インターネットの少なくとも一部を含むことができる。

【0051】

いくつかの実施態様では、検索システムの構成要素の１つまたは複数は、メモリに格納された命令を処理するように構成されたプロセッサとすることができ、またはそうしたプロセッサを含むことができる。例えば、ＩＭＵマネージャ３３０（および／またはその一部）、ニューラルネットワークマネージャ３４０（および／またはその一部）、ＶＰＳマネージャ３５０、およびＥＫＦマネージャ３６０（および／またはその一部）は、そうした命令の例である。

【0052】

いくつかの実施態様では、メモリ３２６は、ランダムアクセスメモリ、ディスクドライブメモリ、フラッシュメモリなどの任意のタイプのメモリとすることができる。いくつかの実施態様では、メモリ３２６は、処理回路３２０の構成要素に関連付けられた２つ以上のメモリコンポーネント（例えば、２つ以上のＲＡＭコンポーネントまたはディスクドライブメモリ）として実装することができる。いくつかの実施態様では、メモリ３２６は、データベースメモリとすることができる。いくつかの実施態様では、メモリ３２６は、非ローカルメモリとすることができ、または非ローカルメモリを含むことができる。例えば、メモリ３２６は、複数のデバイス（図示せず）によって共有されるメモリとすることができ、またはそうしたメモリを含むことができる。いくつかの実施態様では、メモリ３２６は、ネットワーク内のサーバデバイス（図示せず）に関連付け、処理回路３２０の構成要素にサービスを提供するように構成することができる
図４は、地図支援慣性オドメトリを実行するフロー例４００を示すフローチャートである。フロー４００は、処理回路３２０のメモリ３２６に常駐し、一組の処理ユニット３２４によって実行される、図３に関連して記載したソフトウェア構成体によって実行することができる。

【0053】

４１０において、ＩＭＵは、離散的な瞬間における回転速度および加速度を測定する。ＩＭＵはまた、その瞬間の温度も測定することができる。これらの値は、ＩＭＵドリフトに起因して、時間が長くなるに従い誤差が大きくなる可能性がある。

【0054】

４２０において、誤差補償マネージャ（例えば、誤差補償マネージャ３３１）は、ＩＭＵ固有パラメータ値に基づく誤差補償値を用いて、その瞬間の回転速度および加速度の値を補償して、誤差補償された回転速度および加速度の値を生成する。ＩＭＵ固有パラメータ値は、図３に関して定義した、以下の状態ベクトルの要素である。

【0055】

・ジャイロのバイアスｂ_ｇ、
・加速度計のバイアスｂ_ａ、
・ジャイロのスケールファクタｓ_ｇ、
・加速度計のスケールファクタｓ_ａ、
・ジャイロのミスアライメントｍ_ｇ、および
・加速度計のミスアライメントｍ_ａ。

【0056】

４３０において、ＩＭＵ積分器が、誤差補償された回転速度および加速度の値を積分して、積分された６ＤｏＦ姿勢および速度を生成する。具体的には、回転速度は、向きを生成するために１回加速され、加速度は、速度を生成するために１回積分され、位置を生成するためにもう１回積分される。６ＤｏＦ姿勢および速度はワールド座標系にある。

【0057】

４２０での誤差補償と４３０での積分とは、高頻度で、例えば約２００Ｈｚで発生する。

【0058】

４４０において、ニューラルネットワークモジュールが、第２の６ＤｏＦ姿勢および第２の速度を生成するための畳み込みニューラルネットワークモデルへの入力として、誤差補償された回転速度および加速度の値を取得する。ニューラルネットワークモジュールは、ニューラルネットワークモデリングを実行し、１０～２００Ｈｚのレートで第１の６ＤｏＦ姿勢および第１の速度を生成することができる。第１の６ＤｏＦ姿勢は、人の動きに対する制約を提供して、その制約がトレーニングデータに反映されるようにする。

【0059】

４５０において、（ＩＭＵに関連付けられた）ワールドフェイシングカメラが、低周波数、例えば５Ｈｚ未満で、ある位置におけるシーンの画像を取得する。

【0060】

４６０において、自己位置推定モジュールが、シーンのその位置に対応する地図データを取得する。

【0061】

４７０において、自己位置推定モジュールは、ビジュアルポジショニングシステムを使用して、ワールドフェイシングカメラの第１の６ＤｏＦ姿勢のためのワールド座標を決定する。ＶＰＳは、第２の６ＤｏＦ姿勢における空間誤差を制限するための誤差範囲制御を提供する。

【0062】

４８０において、ＥＫＦは、それぞれの周波数で、すなわち、１０～２００Ｈｚで第２の６自由度姿勢を取り込み、５Ｈｚ未満で第１の６自由度姿勢を取り込む。これは、最大でも２エポックごとにＶＰＳ測定値があり、大部分の場合、１０エポックごとにＶＰＳ測定値があり、一方、すべてのエポックにニューラルネットワーク測定値があることを意味する。次いで、ＥＫＦは、２００Ｈｚで６ＤｏＦ姿勢の正確な推定を行う。

【0063】

図５は、方法例５００を示すフローチャートである。方法５００は、処理回路３２０のメモリ３２６に常駐し、一組の処理ユニット３２４によって実行される、図３に関連して記載したソフトウェア構成体によって実行することができる。

【0064】

５０２において、ＩＭＵマネージャ（３３０）は、慣性計測装置（ＩＭＵ）からＩＭＵデータ（ＩＭＵデータ３３３）を受け取り、ＩＭＵデータは、回転速度（３３４）および加速度（３３５）の値を含み、ＩＭＵは、ある位置でスマートグラスデバイス（１００）のフレーム（１１０）上のワールドフェイシングカメラ（１１６）に接続されている。

【0065】

５０４において、ニューラルネットワークマネージャ（３４０）は、ＩＭＵデータに基づいてＩＭＵの第２の６自由度姿勢データ（３４４、３４６）を生成し、ＩＭＵの第２の６自由度姿勢データは、ワールド座標系におけるＩＭＵの位置および向きを表す。

【0066】

５０６において、ＶＰＳマネージャ（３５０）は、その位置でのシーンの画像を表す画像データを受け取る。

【0067】

５０８において、ＶＰＳマネージャは、画像データおよびその位置の近傍の地図（例えば、シーン２００）に基づいて、ＩＭＵの第１の６自由度姿勢データ（３５４、３５６）を生成し、ＩＭＵの第１の６自由度姿勢データは、ワールド座標系におけるＩＭＵの位置および向きを表す。

【0068】

５１０において、ＥＫＦマネージャ（３６０）は、ＩＭＵの第１の６自由度姿勢データおよびＩＭＵの第２の６自由度姿勢データに基づいて、ＩＭＵの補正された６自由度姿勢データ（３７０）を生成する。

【0069】

多くの実施態様について説明した。それにもかかわらず、本明細書の趣旨および範囲から逸脱することなく、さまざまな変更を行うことができることが理解されよう。

【0070】

ある要素が、別の要素上にある、別の要素に接続されている、別の要素に電気的に接続されている、別の要素に連結されている、または別の要素に電気的に連結されていると言う場合、その要素は、直接、他の要素の上にある、他の要素に接続されている、または他の要素に連結されている可能性があるか、または１つもしくは複数の介在要素が存在する場合があることもまた理解されよう。対照的に、ある要素が、直接別の要素の上にある、別の要素に直接接続されている、または別の要素に直接連結されていると言う場合、介在要素は存在しない。直接上にある、直接接続されている、または直接連結されているという用語は、詳細な説明全体を通して使用していない場合があるが、直接上にある、直接接続されている、または直接連結されているとして示す要素は、そういうものとしてみなすことができる。明細書に記載するかまたは図に示す関係例を記載するように、本出願の特許請求の範囲を補正することができる。

【0071】

記載した実施態様のいくつかの特徴を、本明細書に記載したように例示しているが、当業者であれば、多くの改変、置換、変更、および均等物が想到するであろう。したがって、添付の特許請求の範囲は、実施態様の範囲内にあるようなすべてのこうした変更および変形を包含することが意図されていることが理解されるべきである。これらは、限定ではなく、単に例として提示されており、形態および詳細におけるさまざまな変更を行ってもよいことが理解されるべきである。本明細書に記載する装置および／または方法のいずれの部分も、相互に排他的な組み合わせを除き、任意の組み合わせで組み合わせることができる。本明細書に記載する実施態様は、記載する異なる実施態様の機能、構成要素、および／または特徴のさまざまな組み合わせおよび／またはサブコンビネーションを含むことができる。

【0072】

加えて、図に示す論理フローは、望ましい結果を得るために、図示する特定の順序、または連続した順序を必須とするものではない。加えて、記載したフローに他のステップを設けてもよく、または、記載したフローからステップを削除してもよく、記載したシステムに他の構成要素を追加してもよく、または記載したシステム削除してもよい。したがって、他の実施態様も以下の特許請求の範囲内にある。

【図1A】

【図1B】

【図1C】

【図2A】

【図2B】

【図2C】

【図3】

【図4】

【図5】