(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-02
(45)【発行日】2023-06-12
(54)【発明の名称】拡張現実システムを用いた電磁追跡
(51)【国際特許分類】
G06F 3/02 20060101AFI20230605BHJP
G06F 3/01 20060101ALI20230605BHJP
【FI】
G06F3/02 400
G06F3/01 510
(21)【出願番号】P 2022021974
(22)【出願日】2022-02-16
(62)【分割の表示】P 2018555599の分割
【原出願日】2017-04-24
【審査請求日】2022-02-16
(32)【優先日】2016-04-26
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2017-03-30
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】514108838
【氏名又は名称】マジック リープ, インコーポレイテッド
【氏名又は名称原語表記】Magic Leap,Inc.
【住所又は居所原語表記】7500 W SUNRISE BLVD,PLANTATION,FL 33322 USA
(74)【代理人】
【識別番号】100078282
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】ブライアン バックノー
(72)【発明者】
【氏名】クリストファー ロペス
(72)【発明者】
【氏名】マイケル ウッズ
(72)【発明者】
【氏名】アリー エイチ.エム. アリー
(72)【発明者】
【氏名】ジェイムズ ウィリアム パーマー
(72)【発明者】
【氏名】エバン フランシス リンク
【審査官】木内 康裕
(56)【参考文献】
【文献】特開2004-201728(JP,A)
【文献】特開2000-215744(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/02
G06F 3/01
(57)【特許請求の範囲】
【請求項1】
拡張現実システムであって、前記拡張現実システムは、
制御および急速解除モジュールであって、前記制御および急速解除モジュールは、
第1の外側筐体コンポーネントおよび第2の外側筐体コンポーネントであって、前記第1の外側筐体コンポーネントおよび前記第2の外側筐体コンポーネントは、ともに結合される、第1の外側筐体コンポーネントおよび第2の外側筐体コンポーネントと、
前記第1の外側筐体コンポーネント上に位置付けられる1つ以上のボタンであって、前記1つ以上のボタンは、上部印刷回路基板にわたってオーバーレイされる、1つ以上のボタンと、
前記第1の外側筐体コンポーネントに接続されるが前記第2の外側筐体コンポーネントに接続されない第1の端部と、
前記第2の外側筐体コンポーネントに接続されるが前記第1の外側筐体コンポーネントに接続されない第2の端部と
を備える、制御および急速解除モジュールと、
前記制御および急速解除モジュールに接続されるローカル処理およびデータモジュールと、
前記第1の端部、前記ローカル処理およびデータモジュール、ならびに前記第2の端部を接続する電気導線と
を備え、
前記第1の外側筐体コンポーネントおよび前記第2の外側筐体コンポーネントは、前記第1の端部と前記第2の端部との間の電気接続が切断されるように前記第1の外側筐体コンポーネントおよび前記第2の外側筐体コンポーネントを引き離すことによって急速解除式に分断するために構成される、拡張現実システム。
【請求項2】
前記第1の外側筐体コンポーネントおよび前記第2の外側筐体コンポーネントは、機械的ラッチを向上させるための磁気結合構成とともに結合される、請求項1に記載の拡張現実システム。
【請求項3】
前記1つ以上のボタンは、円形ボタンまたは三角形ボタンのうちの少なくとも1つを備える、請求項1に記載の拡張現実システム。
【請求項4】
前記制御および急速解除モジュールに接続されるディスプレイをさらに備え、前記制御および急速解除モジュールは、前記ディスプレイと前記ローカル処理およびデータモジュールとの間に位置付けられ、前記電気導線はさらに、前記ディスプレイを通して延設される、請求項1に記載の拡張現実システム。
【請求項5】
前記上部印刷回路基板は、メス型接触ピンアレイの上部にオーバーレイされる、請求項1に記載の拡張現実システム。
【請求項6】
前記第2の外側筐体コンポーネントは、下側印刷回路基板を被覆し、前記下側印刷回路基板は、オス型接触ピンアレイの上部にオーバーレイされる、請求項5に記載の拡張現実システム。
【請求項7】
前記オス型接触ピンアレイは、前記メス型接触ピンアレイと噛合する、請求項6に記載の拡張現実システム。
【請求項8】
前記オス型接触ピンアレイまたは前記メス型接触ピンアレイのうちの少なくとも1つのピンは、各ピンの縦軸に沿って押下され得るようにばね荷重されるように構成される、請求項7に記載の拡張現実システム。
【請求項9】
前記ピンは、前記オス型接触ピンアレイのオス型ピン上に鍍着された伝導性材料を備えることができ、前記伝導性材料の幅は、少なくとも25μmであってもよい、請求項8に記載の拡張現実システム。
【請求項10】
前記オス型接触ピンアレイは、46個のオス型ピンを備え、前記メス型接触ピンアレイは、46個のメス型ピンを備える、請求項7に記載の拡張現実システム。
【請求項11】
前記オス型接触ピンアレイは、磁気インターフェースを介して、前記メス型接触ピンアレイと噛合し、前記磁気インターフェースは、略長方形であり、前記ピンアレイを囲繞し、1mm幅および4.8mm高である、請求項7に記載の拡張現実システム。
【請求項12】
前記オス型接触ピンアレイを囲繞する第1の磁石は、第1の極性を有し、前記メス型接触ピンアレイを囲繞する第2の磁石は、前記第1の極性と反対の第2の極性を有する、請求項11に記載の拡張現実システム。
【請求項13】
前記オス型接触ピンアレイまたは前記メス型接触ピンアレイのうちの少なくとも1つは、42~50mmの長さ、7~10mmの幅、および5mmの高さを有する、請求項6に記載の拡張現実システム。
【請求項14】
前記磁気結合構成は、磁石と、磁気受信機とを含み、前記磁石と前記磁気受信機とは、異なる外側筐体コンポーネント上に配置される、請求項2に記載の拡張現実システム。
【請求項15】
前記第1の外側筐体コンポーネントは、メス型ピンへの電気接続のためのオス型ピンを含み、
前記第2の外側筐体コンポーネントは、メス型ピンを含み、
前記オス型ピンおよび前記メス型ピンは、前記第1の外側筐体コンポーネントおよび前記第2の外側筐体コンポーネントが引き離されたときに急速解除式に分断するために構成される、請求項14に記載の拡張現実システム。
【請求項16】
前記磁石は、前記オス型ピンの周縁の周囲に配置され、
前記磁気受信機は、前記メス型ピンの周縁の周囲に配置される、請求項15に記載の拡張現実システム。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
本願は、2016年4月26日に出願され、SYSTEMS AND METHODS FOR AUGMENTED REALITYと題された、米国特許出願第62/328,003号、および2017年3月30日に出願され、ELECTROMAGNETIC TRACKING WITH AUGMENTED REALITY SYSTEMSと題された米国特許出願第62/479,111号に対する優先権の利益を主張するものであり、上記出願の全ては、全体が参照により本明細書中に援用される。
【0002】
本開示は、拡張現実システムの状況において、1つ以上のオブジェクトの位置または配向を特定するためのシステムおよび方法に関する。
【背景技術】
【0003】
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式でユーザに提示される。仮想現実、すなわち、「VR」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実、すなわち、「AR」シナリオは、典型的には、ユーザの周囲の実際の世界の視覚化の拡張として、デジタルまたは仮想画像情報の提示を伴う。
【発明の概要】
【課題を解決するための手段】
【0004】
頭部搭載型拡張現実(AR)デバイスは、装着者の環境内のオブジェクトの3次元仮想表現を提供することが可能であるように、装着者の頭部(または他の身体部分)の姿勢を追跡することができる。電磁(EM)追跡システムの実施形態は、頭部姿勢または身体ジェスチャを追跡するために使用されることができる。例えば、ハンドヘルドユーザ入力デバイスは、EMエミッタを含むことができ、頭部搭載型ARデバイスは、EMセンサを含むことができる。いくつかの実装では、EMエミッタは、EMセンサによって感知され得る、EM場を生成する。センサからのEM情報は、分析され、センサの場所および/または配向、それによって、装着者の頭部姿勢を決定することができる。EMエミッタおよびセンサは、追跡システムが複数の周波数で動作することを可能にする、時分割多重化(TDM)または動的周波数調整を利用してもよい。電圧利得制御は、センサではなく、送信機内で実装され、より小型かつ軽量のセンサ設計を可能にすることができる。EMセンサは、ノイズキャンセルを実装し、近傍オーディオスピーカによって生成されたEM干渉のレベルを低減させることができる。
【0005】
頭部搭載型ディスプレイシステムの実施形態は、装着者の眼の正面に位置付け可能なディスプレイと、ある周波数を有する磁場を生成するように構成される、電磁(EM)場エミッタと、その周波数において磁場を感知するように構成される、EMセンサと、EMセンサから、感知された磁場を示す信号を受信し、受信された信号を分析し、EMセンサの位置または配向を決定する、ようにプログラムされる、プロセッサとを備える。
【0006】
電磁(EM)追跡システムの実施形態は、第1の周波数を有する第1の磁場を生成するように構成される、第1の送信機コイルと、第2の周波数を有する第2の磁場を生成するように構成される、第2の送信機コイルと、第3の周波数を有する第3の磁場を生成するように構成される、第3の送信機コイルとを備える、EM場エミッタを備え、EM場エミッタは、第1の送信機コイル、第2の送信機コイル、および第3の送信機コイル間で電力を切り替えるように構成される、第1の時分割多重化(TDM)回路を備える。頭部搭載型拡張現実ディスプレイデバイスは、EM追跡システムの実施形態を備えることができる。
【0007】
電磁(EM)追跡システムの実施形態は、自動利得制御(AGC)回路および送信機コイルを備える、EM場エミッタと、AGC回路を伴わない、EMセンサとを備え、EMセンサは、センサコイルを備える。頭部搭載型拡張現実ディスプレイデバイスは、EM追跡システムの実施形態を備えることができる。
【0008】
本明細書に説明される主題の1つ以上の実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。
本発明は、例えば、以下を提供する。
(項目1)
制御および迅速解除モジュールを有するベルトパックであって、
第1の外側筐体コンポーネントおよび第2の外側筐体コンポーネントであって、前記第1の外側筐体コンポーネントおよび前記第2の外側筐体コンポーネントは、ともに結合される、第1の外側筐体コンポーネントおよび第2の外側筐体コンポーネントと、
第1の外側筐体上に位置付けられる1つ以上のボタンであって、前記1つ以上のボタンは、上部印刷回路基板にわたってオーバーレイされる、1つ以上のボタンと、
前記第1の外側筐体に接続される第1の端部と、
第2の筐体に接続される第2の端部と、
前記第1の外側筐体と第2の外側筐体との間に位置付けられるローカル処理およびデータモジュールと、
前記第1の外側筐体および前記第2の外側筐体との間に位置付けられる電気導線であって、前記電気導線は、前記第1の端部、前記ローカル処理およびデータモジュール、および前記第2の端部を接続する、電気導線と
を備える、ベルトパック。
(項目2)
前記第1の外側筐体コンポーネントおよび前記第2の外側筐体コンポーネントは、機械的ラッチを向上させるための磁気結合構成とともに結合される、項目1に記載のベルトパック。
(項目3)
前記1つ以上のボタンは、円形ボタンまたは三角形ボタンのうちの少なくとも1つを備える、項目1に記載のベルトパック。
(項目4)
前記第1の外側筐体と前記第2の外側筐体との間に位置付けられる、ディスプレイをさらに備え、前記電気導線はさらに、前記ディスプレイを通して延設される、項目1に記載のベルトパック。
(項目5)
前記上部印刷回路基板は、メス型接触ピンアレイの上部にオーバーレイされる、項目1に記載のベルトパック。
(項目6)
前記第2の筐体は、下側印刷回路基板を被覆し、前記下側印刷回路基板は、オス型接触ピンアレイの上部にオーバーレイされる、項目1に記載のベルトパック。
(項目7)
前記オス型接触ピンアレイは、前記メス型接触ピンアレイと噛合する、項目6に記載のベルトパック。
(項目8)
前記オス型接触ピンアレイまたは前記メス型接触ピンアレイのうちの少なくとも1つのピンは、各ピンの縦軸に沿って押下され得るようにばね荷重されるように構成される、項目7に記載のベルトパック。
(項目9)
前記ピンは、前記オス型接触ピン上に鍍着された伝導性材料を備えることができ、前記伝導性材料の幅は、少なくとも25μmであってもよい、項目8に記載のベルトパック。
(項目10)
前記オス型接触ピンアレイは、46個のオス型ピンを備え、前記メス型接触ピンアレイは、46個のメス型ピンを備える、項目7に記載のベルトパック。
(項目11)
前記オス型接触ピンアレイは、磁気インターフェースを介して、前記メス型接触ピンアレイと噛合し、前記磁気インターフェースは、略長方形であり、前記ピンアレイを囲繞し、約1mm幅および4.8mm高である、項目7に記載のベルトパック。
(項目12)
前記オス型ピンアレイを囲繞する第1の磁石は、第1の極性を有し、前記メス型ピンアレイを囲繞する第2の磁石は、前記第1の極性と反対の第2の極性を有する、項目11に記載のベルトパック。
(項目13)
前記オス型ピンアレイまたは前記メス型ピンアレイのうちの少なくとも1つは、約42~50mmの長さ、約7~10mmの幅、および約5mmの高さを有する、項目6に記載のベルトパック。
【図面の簡単な説明】
【0009】
【
図1】
図1は、人物によって視認されるある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、拡張現実シナリオの例証を描写する。
【
図2A】
図2A-2Dは、ウェアラブルシステムの実施例を図式的に図示する。
【
図2B】
図2A-2Dは、ウェアラブルシステムの実施例を図式的に図示する。
【
図2C】
図2A-2Dは、ウェアラブルシステムの実施例を図式的に図示する。
【
図2D】
図2A-2Dは、ウェアラブルシステムの実施例を図式的に図示する。
【
図3】
図3は、クラウドコンピューティングアセットとローカル処理アセットとの間の協調を図式的に図示する。
【
図4】
図4は、電磁(EM)追跡システムの例示的系統図を図式的に図示する。
【
図5】
図5は、電磁追跡システムの実施形態の例示的機能を説明する、フローチャートである。
【
図6】
図6は、ARシステムとともに組み込まれる、電磁追跡システムの実施例を図式的に図示する。
【
図7】
図7は、ARデバイスの状況における電磁追跡システムの実施例の機能を説明する、フローチャートである。
【
図8】
図8は、ARシステムの実施形態のコンポーネントの実施例を図式的に図示する。
【
図9A】
図9A-9Fは、迅速解除モジュールの実施例を図式的に図示する。
【
図9B】
図9A-9Fは、迅速解除モジュールの実施例を図式的に図示する。
【
図9C】
図9A-9Fは、迅速解除モジュールの実施例を図式的に図示する。
【
図9D】
図9A-9Fは、迅速解除モジュールの実施例を図式的に図示する。
【
図9E】
図9A-9Fは、迅速解除モジュールの実施例を図式的に図示する。
【
図9F】
図9A-9Fは、迅速解除モジュールの実施例を図式的に図示する。
【
図10】
図10は、頭部搭載型ディスプレイシステムを図式的に図示する。
【
図11A】
図11Aおよび11Bは、頭部搭載型ディスプレイに結合される電磁感知コイルの実施例を図式的に図示する。
【
図11B】
図11Aおよび11Bは、頭部搭載型ディスプレイに結合される電磁感知コイルの実施例を図式的に図示する。
【
図12A】
図12A-12Eは、電磁センサに結合され得る、フェライトコアの例示的構成を図式的に図示する。
【
図12B】
図12A-12Eは、電磁センサに結合され得る、フェライトコアの例示的構成を図式的に図示する。
【
図12C】
図12A-12Eは、電磁センサに結合され得る、フェライトコアの例示的構成を図式的に図示する。
【
図12D】
図12A-12Eは、電磁センサに結合され得る、フェライトコアの例示的構成を図式的に図示する。
【
図12E】
図12A-12Eは、電磁センサに結合され得る、フェライトコアの例示的構成を図式的に図示する。
【
図13A】
図13Aは周波数分割多重化される(FDM)EM送信機回路(EMエミッタ)の実施例を図式的に図示する、ブロック図である。
【
図13B】
図13Bは、周波数分割多重化されるEM受信機回路(EMセンサ)の実施例を図式的に図示する、ブロック図である。
【
図13C】
図13Cは、時分割多重化(TDM)されるEM送信機回路の実施例を図式的に図示する、ブロック図である。
【
図13D】
図13Dは、EM送信機のための動的に調整可能な回路の実施例を図式的に図示する、ブロック図である。
【
図13E】
図13Eは、
図13Dに示される回路を動的に調整することによって達成され得る、共振の実施例を示す、グラフである。
【
図13F】
図13Fは、時分割多重化EM送信機および受信機のためのタイミング図の実施例を図示する。
【
図13G】
図13Gは、時分割多重化EM送信機および受信機のための走査タイミングの実施例を図示する。
【
図13H】
図13Hは、EM追跡システム内のTDM受信機の実施例を図式的に図示する、ブロック図である。
【
図13I】
図13Iは、自動利得制御(AGC)を伴わないEM受信機の実施例を図式的に図示する、ブロック図である。
【
図13J】
図13Jは、AGCを採用するEM送信機の実施例を図式的に図示する、ブロック図である。
【
図14】
図14および15は、頭部搭載型ARシステム内の電磁追跡システムを用いた姿勢追跡の実施例を図示する、フローチャートである。
【
図15】
図14および15は、頭部搭載型ARシステム内の電磁追跡システムを用いた姿勢追跡の実施例を図示する、フローチャートである。
【
図16A】
図16Aおよび16Bは、ARシステムの他の実施形態のコンポーネントの実施例を図式的に図示する。
【
図16B】
図16Aおよび16Bは、ARシステムの他の実施形態のコンポーネントの実施例を図式的に図示する。
【
図17A】
図17Aは、電磁追跡システム内の送信機の中の共振回路の実施例を図式的に図示する。
【
図17C】
図17Cは、共振回路を通して流動する電流の実施例を示す、グラフである。
【
図17D】
図17Dおよび17Eは、電磁追跡システムのEM場送信機内の共振回路のための動的に調整可能な構成の実施例を図式的に図示する。
【
図17E】
図17Dおよび17Eは、電磁追跡システムのEM場送信機内の共振回路のための動的に調整可能な構成の実施例を図式的に図示する。
【
図17F】
図17Fは、
図17Eに示される例示的回路内のコンデンサC4の静電容量の値を変化させることによって動的に調整された共振の実施例を示す、グラフである。
【
図17G】
図17Gは、種々の共振周波数において達成される最大電流の実施例を示す、グラフである。
【
図18A】
図18Aは、オーディオスピーカに隣接する電磁場センサの実施例を図式的に示す、ブロック図である。
【
図18B】
図18Bは、センサおよび外部オーディオスピーカの両方からの入力を受信するノイズキャンセルシステムを伴う電磁場センサの実施例を図式的に示す、ブロック図である。
【
図18C】
図18Cは、信号が、反転され、追加され、オーディオスピーカによって生じる磁気干渉をキャンセルし得る方法の実施例を示す、グラフである。
【
図18D】
図18Dは、EM追跡システム内のEMセンサによって受信された干渉をキャンセルするための例示的方法を示す、フローチャートである。
【
図19】
図19は、ビジョンシステムの較正を補助する光のパターンの使用を図式的に示す。
【
図20A】
図20A-20Cは、ウェアラブルディスプレイデバイスのサブシステムまたはコンポーネントと併用可能な例示的回路のブロック図である。
【
図20B】
図20A-20Cは、ウェアラブルディスプレイデバイスのサブシステムまたはコンポーネントと併用可能な例示的回路のブロック図である。
【
図20C】
図20A-20Cは、ウェアラブルディスプレイデバイスのサブシステムまたはコンポーネントと併用可能な例示的回路のブロック図である。
【
図21】
図21は、IMU、電磁追跡センサ、および光学センサからの出力をマージする実施例を示す、グラフである。
【
図22A】
図22A-22Cは、頭部搭載型ディスプレイに結合される電磁感知コイルの付加的実施例を図式的に図示する。
【
図22B】
図22A-22Cは、頭部搭載型ディスプレイに結合される電磁感知コイルの付加的実施例を図式的に図示する。
【
図22C】
図22A-22Cは、頭部搭載型ディスプレイに結合される電磁感知コイルの付加的実施例を図式的に図示する。
【
図23A】
図23A-23Cは、電磁信号および音響信号を使用して頭部搭載型ディスプレイを再較正する実施例を図式的に図示する。
【
図23B】
図23A-23Cは、電磁信号および音響信号を使用して頭部搭載型ディスプレイを再較正する実施例を図式的に図示する。
【
図23C】
図23A-23Cは、電磁信号および音響信号を使用して頭部搭載型ディスプレイを再較正する実施例を図式的に図示する。
【
図24A】
図24A-24Dは、カメラまたは深度センサを使用して頭部搭載型ディスプレイを再較正する付加的実施例を図式的に図示する。
【
図24B】
図24A-24Dは、カメラまたは深度センサを使用して頭部搭載型ディスプレイを再較正する付加的実施例を図式的に図示する。
【
図24C】
図24A-24Dは、カメラまたは深度センサを使用して頭部搭載型ディスプレイを再較正する付加的実施例を図式的に図示する。
【
図24D】
図24A-24Dは、カメラまたは深度センサを使用して頭部搭載型ディスプレイを再較正する付加的実施例を図式的に図示する。
【
図25A】
図25Aおよび25Bは、電磁追跡システムと関連付けられ得る位置曖昧性を解決するための技法を図式的に図示する。
【
図25B】
図25Aおよび25Bは、電磁追跡システムと関連付けられ得る位置曖昧性を解決するための技法を図式的に図示する。
【発明を実施するための形態】
【0010】
図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図されない。
AR、VR、および位置特定システムの概要
【0011】
図1では、拡張現実場面(4)が、描写されており、AR技術のユーザには、人々、木々、建物を背景として、コンクリートプラットフォーム(1120)を特徴とする、実世界の公園のような設定(6)が見える。これらのアイテムに加え、AR技術のユーザはまた、実世界プラットフォーム(1120)上に立っているロボット像(1110)と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ(2)とが「見える」と知覚するが、これらの要素(2、1110)は、実世界には存在しない。結論から述べると、ヒト視知覚系は、非常に複雑であって、他の仮想または実世界画像要素の中で仮想画像要素の快適かつ自然な感覚で豊かな提示を促進する、VRまたはAR技術を生成することは、困難である。
【0012】
例えば、頭部装着型ARディスプレイ(またはヘルメット搭載型ディスプレイまたはスマートグラス)は、典型的には、ユーザの頭部に少なくとも緩く結合され、したがって、ユーザの頭部が移動すると、移動し得る。ユーザの頭部の運動が、ディスプレイシステムによって検出される場合、表示されているデータは、頭部姿勢の変化を考慮するように更新されることができる。
【0013】
実施例として、頭部装着型ディスプレイを装着するユーザが、ディスプレイ上の3次元(3-D)オブジェクトの仮想表現を視認し、3-Dオブジェクトが現れる面積の周囲を歩き回る場合、その3-Dオブジェクトは、視点毎に再レンダリングされ、彼らが、実空間を占有するオブジェクトの周囲を歩き回っているような知覚をユーザに与えることができる。頭部装着型ディスプレイが、仮想空間内に複数のオブジェクト(例えば、豊かな仮想世界)を提示するために使用される場合、頭部の姿勢の測定(例えば、ユーザの頭部の場所および配向)が、ユーザの動的に変化する頭部場所および配向に合致するように場面を再レンダリングし、仮想空間内への没入感の増加を提供するために使用されることができる。
【0014】
ARシステムでは、頭部の姿勢の検出または計算は、ユーザにとって意味をなす様式において、ディスプレイシステムが実世界内の空間を占有するように現れるように、仮想オブジェクトをレンダリングすることを促進することができる。加えて、ユーザの頭部またはARシステムと連動したハンドヘルドデバイス(「トーテム」とも称され得る)、触知デバイス、または他の実物理的オブジェクト等の実オブジェクトの位置および/または配向の検出もまた、ディスプレイシステムが、ディスプレイ情報をユーザに提示し、ユーザが、ARシステムのある側面と効率的に相互作用することを可能にすることを促進し得る。ユーザの頭部が、実世界内で動き回るにつれて、仮想オブジェクトは、仮想オブジェクトが実世界に対して安定したまま現れるように、頭部の姿勢に応じて再レンダリングされ得る。少なくともAR用途に関して、物理的オブジェクトと空間的に連動した仮想オブジェクトの設置(例えば、2または3次元において物理的オブジェクトに空間的に近接して現れるように提示される)は、些細な問題ではあり得ない。例えば、頭部の移動が、周囲環境の視点からの仮想オブジェクトの設置を有意に複雑にし得る。これは、視点が周囲環境の画像として捕捉され、次いで、エンドユーザに投影もしく表示されるかどうか、またはエンドユーザが周囲環境の視点を直接知覚するかどうかに当てはまる。例えば、頭部の移動は、エンドユーザの視野を変化させる可能性が高く、これは、種々の仮想オブジェクトがエンドユーザの視野に表示される場所に対する更新を要求する可能性が高いであろう。加えて、頭部移動は、多種多様な範囲および速度で生じ得る。頭部移動速度は、異なる頭部移動間においてだけではなく、単一頭部移動の範囲内またはそれを横断して変動し得る。例えば、頭部移動速度は、始点から増加し得(例えば、線形または非線形)、終点に到達するにつれて、減少し得、頭部の移動の始点と終点との間のある場所で最大速度を得る。高速頭部移動は、特定の表示または投影技術の能力さえ超え、均一および/または平滑運動としてエンドユーザに現れる画像をレンダリングし得る。
【0015】
頭部追跡正確度および待ち時間(例えば、ユーザがその頭部を移動させてから、画像が更新され、ユーザに表示されるまでの経過時間)は、VRおよびARシステムにとって課題となっている。特に、ユーザの視野の実質的部分を仮想要素で充填する、ディスプレイシステムに関して、頭部追跡の正確度が高く、頭部運動の最初の検出からディスプレイによってユーザの視覚系に配信される光の更新までの全体的システム待ち時間が非常に短い場合、有利である。待ち時間が長い場合、システムは、ユーザの前庭と視感覚系との間に不整合をもたらし、乗り物酔いまたは3D酔いにつながり得る、ユーザ知覚シナリオを生成させ得る。システム待ち時間が長い場合、仮想オブジェクトの見掛け場所は、高速頭部運動の間、不安定に現れ得る
【0016】
頭部装着型ディスプレイシステムに加え、他のディスプレイシステムもまた、正確かつ短い待ち時間の頭部の姿勢検出から恩恵を受け得る。これらとして、ディスプレイが、ユーザの身体に装着されず、例えば、壁または他の表面上に搭載される、頭部追跡型ディスプレイシステムが挙げられる。頭部追跡型ディスプレイは、場面上に窓のように作用し得、ユーザがその頭部を「窓」に対して移動させるにつれて、場面は、ユーザの変化する視点に合致するように、再レンダリングされる。他のシステムとして、頭部装着型ディスプレイが光を実世界上に投影する、頭部装着型投影システムが挙げられる。
【0017】
加えて、現実的拡張現実体験を提供するために、ARシステムは、ユーザと相互作用するように設計されてもよい。例えば、複数のユーザが、仮想ボールおよび/または他の仮想オブジェクトを用いて、ボールゲームをプレーしてもよい。1人のユーザが、仮想ボールを「キャッチ」し、ボールを別のユーザに投げ返してもよい。別の実施形態では、第1のユーザは、仮想ボールを打つためのトーテム(例えば、ARシステムに通信可能に結合される実際のバット)を提供されてもよい。他の実施形態では、仮想ユーザインターフェースは、ユーザが多くのオプションのうちの1つを選択することを可能にするために、ARユーザに提示されてもよい。ユーザは、トーテム、触知デバイス、ウェアラブルコンポーネントを使用し、または単に、仮想画面をタッチし、システムと相互作用してもよい。
【0018】
ユーザの頭部の姿勢および配向および空間内の実オブジェクトの物理的場所を検出することは、ARシステムが、仮想コンテンツを効果的で楽しむことのできる様式で表示することを可能にする。しかしながら、これらの能力は、ARシステムにとって重要であるが、達成することが困難である。言い換えると、ARシステムは、実オブジェクト(例えば、ユーザの頭部、トーテム、触知デバイス、ウェアラブルコンポーネント、ユーザの手等)の物理的場所を認識し、実オブジェクトの物理的座標をユーザに表示されている1つ以上の仮想オブジェクトに対応する仮想座標に相関させなければならない。これは、概して、1つ以上のオブジェクトの位置および配向を高速レートで追跡する非常に正確なセンサおよびセンサ認識システムを要求する。現在のアプローチは、満足のゆく速度または精度規格において位置特定を行わない。
【0019】
したがって、ARおよびVRデバイスの状況において、より優れた位置特定システムの必要がある。
例示的ARおよびVRシステムおよびコンポーネント
【0020】
図2A-2Dを参照すると、いくつかの一般的コンポーネントオプションが、図示される。
図2A-2Dの議論に従う、発明を実施するための形態の部分では、種々のシステム、サブシステム、およびコンポーネントが、ヒトVRおよび/またはARのための高品質かつ快適に知覚されるディスプレイシステムを提供する目的に対処するために提示される。
【0021】
図2Aに示されるように、ARシステムユーザ(60)は、ユーザの眼の正面に位置付けられるディスプレイシステム(62)に結合されるフレーム(64)構造を特徴とする、頭部搭載型コンポーネント(58)を装着するように描写される。スピーカ(66)が、描写される構成においてフレーム(64)に結合され、ユーザの外耳道に隣接して位置付けられる(一実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、立体/成形可能音制御を提供する)。ディスプレイ(62)は、有線導線または無線コネクティビティ等によって、ローカル処理およびデータモジュール(70)に動作可能に結合(68)されてもよく、これは、フレーム(64)に固定して取り付けられる、
図2Bの実施形態に示されるようにヘルメットまたは帽子(80)に固定して取り付けられる、ヘッドホン内に埋め込まれる、
図2Cの実施形態に示されるようにバックパック式構成においてユーザ(60)の胴体(82)に除去可能に取り付けられる、または
図2Dの実施形態に示されるようにベルト結合式構成においてユーザ(60)の臀部(84)に除去可能に取り付けられる等、種々の構成において搭載されてもよい。
【0022】
ローカル処理およびデータモジュール(70)は、電力効率の良いプロセッサまたはコントローラおよびフラッシュメモリ等のデジタルメモリを備えてもよく、両方とも、a)画像捕捉デバイス(カメラ等)、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、および/またはジャイロ等、フレーム(64)に動作可能に結合され得る、センサから捕捉されるデータの処理、キャッシュ、および記憶を補助するために、および/またはb)可能性として、そのような処理または読み出し後、ディスプレイ(62)への通過のために、遠隔処理モジュール(72)および/または遠隔データリポジトリ(74)を使用して、取得かつ/または処理され得るデータの処理、キャッシュ、および記憶を補助するために利用されてもよい。ローカル処理およびデータモジュール(70)は、有線または無線通信リンク等を介して、遠隔モジュール(72、74)が、相互に動作可能に結合され、ローカル処理およびデータモジュール(70)へのリソースとして利用可能であるように、これらの遠隔処理モジュール(72)および遠隔データリポジトリ(74)に動作可能に結合(76、78)されてもよい。
【0023】
一実施形態では、遠隔処理モジュール72は、データおよび/または画像情報を分析および処理するように構成される、1つ以上の比較的に高性能なプロセッサまたはコントローラを備えてもよい。一実施形態では、遠隔データリポジトリ(74)は、比較的に大規模なデジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成内の他のネットワーキング構成を通して利用可能であってもよい。一実施形態では、全てのデータは、記憶されてもよく、全ての計算は、ローカル処理およびデータモジュール内で行われ、任意の遠隔モジュールから完全に自律的な使用を可能にしてもよい。
【0024】
ここで
図3を参照すると、概略図は、例えば、ユーザの頭部(120)に結合される頭部搭載型コンポーネント(58)およびユーザのベルト(308)に結合されるローカル処理およびデータモジュール(70)内に常駐し得る、クラウドコンピューティングアセット(46)とローカル処理アセットとの間の協調を図示する。したがって、コンポーネント70はまた、
図3に示されるように、「ベルトパック」70とも称され得る。一実施形態では、1つ以上のサーバシステム(110)等のクラウド(46)アセットは、有線または無線ネットワーキング等を介して、(無線は、モバイル式のために好ましく、有線は、所望され得る、ある高帯域幅または高データ量転送のために好ましい)、前述のように、ユーザの頭部(120)およびベルト(308)に結合されるプロセッサおよびメモリ構成等のローカルコンピューティングアセットの一方または両方(40、42)に直接的に動作可能に結合(115)される。ユーザにローカルのこれらのコンピューティングアセットは同様に、
図8を参照して以下に議論される有線結合(68)等、有線および/または無線コネクティビティ構成(44)を介して、相互に動作可能に結合されてもよい。一実施形態では、ユーザの頭部(120)に搭載される低慣性および小型サブシステムを維持するために、ユーザとクラウド(46)との間の一次転送は、ベルト(308)に搭載されるサブシステムとクラウドとの間のリンクを介してもよく、頭部搭載型サブシステム(120)は、主に、例えば、パーソナルコンピューティング周辺コネクティビティ用途において現在採用されるような超広帯域(「UWB」)コネクティビティ等の無線コネクティビティを使用して、ベルトベースのサブシステム(308)にデータテザリングされる。
【0025】
効率的なローカルおよび遠隔の処理協調および
図2Aに示されるユーザインターフェースまたはユーザディスプレイシステム(62)またはその変形例等のユーザのための適切なディスプレイデバイスを用いることで、ユーザの現在の実際または仮想場所に関する1つの世界の側面は、ユーザに転送または「パス」され、効率的方式で更新され得る。言い換えると、世界のマップが、ユーザのARシステム上に部分的に常駐し、かつクラウドリソース内に部分的に常駐し得る記憶場所において、持続的に更新され得る。マップ(「パス可能世界モデル」とも称される)は、ラスタ画像、3-Dおよび2-D点、パラメータ情報、および実世界についての他の情報を備える、大型データベースであってもよい。ますます多くのARユーザが、その実環境についての情報を持続的に捕捉するにつれて(例えば、カメラ、センサ、IMU等を通して)、マップは、ますます正確かつ完全となる。
【0026】
前述のような構成を用いることで、クラウドコンピューティングリソース上に常駐し、そこから配信されることができる、1つの世界モデルが存在し、そのような世界は、リアルタイムビデオデータまたは同等物のパスを試みるために好ましい比較的に低帯域幅形態において、1人以上のユーザに「パス可能」となり得る。像の近くに立っている人(すなわち、
図1に示されるように)の拡張体験は、クラウドベースの世界モデルによって情報提供されてもよく、そのサブセットは、彼らおよび彼らのローカルディスプレイデバイスにパスされ、ビューを完成させてもよい。机上にあるパーソナルコンピュータと同程度に単純であり得る、遠隔ディスプレイデバイスに向かって着座している人が、その情報の同一セクションをクラウドから効率的にダウンロードし、それをそのディスプレイ上にレンダリングさせることもできる。実際、実際に像の近くに居る公園内に存在する1人の人物は、遠隔に位置する友人と公園内を散歩してもよく、友人は、仮想および拡張現実を通して参加する。本システムは、通りの場所、木々の場所、像の場所を把握する必要があるであろうが、クラウド上のその情報を用いることで、参加する友人は、クラウドから、シナリオの側面をダウンロードし、次いで、実際に公園内に居る人物に対してローカルな拡張現実に沿って歩行を開始することができる。
【0027】
3次元(3-D)点が、環境から捕捉されてもよく、それらの画像または点を捕捉するカメラの姿勢(例えば、世界に対するベクトルおよび/または原位置情報)が、これらの点または画像が、本姿勢情報と「タグ付けされる」、または関連付けられ得るように、決定されてもよい。次いで、第2のカメラによって捕捉された点は、第2のカメラの姿勢を決定するために利用されてもよい。言い換えると、第1のカメラからのタグ付けされた画像との比較に基づいて、第2のカメラを配向および/または位置特定することができる。次いで、本知識は、テクスチャを抽出すること、マップを作成すること、および実世界の仮想コピーを作成することのために利用されてもよい(その時点で、位置合わせされる2つのカメラが周囲に存在するため)。
【0028】
したがって、基礎レベルでは、一実施形態では、人物装着型システムは、3-D点およびその点を生成した2-D画像の両方を捕捉するために利用されることができ、これらの点および画像は、クラウド記憶および処理リソースに送信されてもよい。それらはまた、内蔵姿勢情報とともにローカルにキャッシュされてもよい(すなわち、タグ付けされた画像をキャッシュする)。したがって、クラウドは、すぐ使える状態の(すなわち、利用可能なキャッシュ内において)タグ付けされた2-D画像(すなわち、3-D姿勢とタグ付けされた)を3-D点とともに有し得る。ユーザが、動的なものを観察している場合、また、クラウドに、運動に関する付加的情報を送信してもよい(例えば、別の人物の顔を見ている場合、ユーザは、顔のテクスチャマップを撮影し、周囲世界がその他の点では基本的に静的であっても、それを最適化された周波数でプッシュすることができる)。オブジェクト認識装置およびパス可能世界モデルに関するさらなる情報は、「System and method for augmented and virtual reality」と題された米国特許公開第2014/0306866号(参照することによって本明細書にその全体として組み込まれる)とともに、Magic Leap, Inc.(Plantation, Florida)によって開発されたもの等の拡張および仮想現実システムに関連する、以下の付加的開示、すなわち、米国特許公開第2015/0178939号、米国特許公開第2015/0205126号、米国特許公開第2014/0267420号、米国特許公開第2015/0302652号、米国特許公開第2013/0117377号、および米国特許公開第2013/0128230号(それぞれ、参照することによってその全体として本明細書に組み込まれる)に見出され得る。
【0029】
GPSおよび他の位置特定情報が、そのような処理のための入力として利用されてもよい。ユーザの頭部、トーテム、手のジェスチャ、触知デバイス等の非常に正確な位置特定が、適切な仮想コンテンツをユーザに表示するために、有利であり得る。
【0030】
頭部搭載型デバイス(58)は、デバイスの装着者の眼の正面に位置付け可能なディスプレイを含んでもよい。ディスプレイは、ライトフィールドディスプレイを備えてもよい。ディスプレイは、複数の深度平面において画像を装着者に提示するように構成されてもよい。ディスプレイは、回折要素を伴う平面導波管を備えてもよい。本明細書に開示される実施形態のいずれかと併用可能なディスプレイ、頭部搭載型デバイス、および他のARコンポーネントの実施例は、米国特許公開第2015/0016777号に説明される。米国特許公開第2015/0016777号は、参照することによってその全体として本明細書に組み込まれる。
電磁位置特定の実施例
【0031】
高精度位置特定を達成するための1つのアプローチは、ユーザのARヘッドセット、ベルトパック、および/または他の補助デバイス(例えば、トーテム、触知デバイス、ゲーム器具等)上に方略的に設置される、電磁センサと結合される電磁場(EM)の使用を伴い得る。電磁追跡システムは、典型的には、少なくとも、電磁場エミッタと、少なくとも1つの電磁場センサとを備える。センサは、既知の分布を伴う電磁場を測定してもよい。電磁場エミッタは、ARヘッドセットの装着者の環境内の既知の空間(および/または時間的)分布を有する、電磁場を生成する。電磁場センサは、センサの場所において生成された電磁場を測定する。これらの測定および生成された電磁場の分布の知識に基づいて、エミッタに対する電磁場センサの姿勢(例えば、位置および/または配向)が、決定されることができる。故に、センサが取り付けられるオブジェクトの姿勢が、決定されることができる。
【0032】
ここで
図4を参照すると、電磁追跡システムの例示的系統図(例えば、Johnson & Johnson Corporationの子会社であるBiosense、Polhemus, Inc.(Colchester, Vermont)等の組織によって開発されたもの、Sixense Entertainment, Inc.(Los Gatos, California)、および他の追跡装置製造企業によって製造されたもの等)が、図示される。1つ以上の実施形態では、電磁追跡システムは、既知の磁場を放出するように構成される、電磁場エミッタ402を備える。
図4に示されるように、電磁場エミッタは、電力供給源(例えば、電流、バッテリ等)に結合され、電力を電磁場エミッタ402に提供してもよい。
【0033】
1つ以上の実施形態では、電磁場エミッタ402は、磁場を生成する、いくつかのコイル(例えば、相互に垂直に位置付けられ、場をX、Y、およびZ方向に生成する、少なくとも3つのコイル)を備える。本磁場は、座標空間(例えば、X-Y-Zデカルト座標空間)を確立するために使用される。これは、システムが、既知の磁場と関連してセンサの位置(例えば、(X,Y,Z)位置)をマップすることを可能にし、センサの位置および/または配向を決定することに役立つ。1つ以上の実施形態では、電磁センサ404a、404b等が、1つ以上の実オブジェクトに取り付けられてもよい。電磁センサ404は、放出される電磁場を通して電流が誘発され得る、より小さいコイルを備えてもよい。概して、「センサ」コンポーネント(404)は、エミッタ(402)によって放出される磁場から流入する磁束を捕捉するように位置付けられる/配向される立方体または他の容器等の小型構造内にともに結合される、3つの異なるように配向される(例えば、相互に対して直交して配向される等)コイルのセット等の小型コイルまたはループを備えてもよく、これらのコイルを通して誘発される電流を比較することによって、かつ相互に対するコイルの相対的位置および配向を把握することによって、エミッタに対するセンサの相対的位置および配向が、計算され得る。
【0034】
電磁追跡センサに動作可能に結合される、コイルおよび慣性測定ユニット(「IMU」)コンポーネントの挙動に関する1つ以上のパラメータが、電磁場エミッタが結合される座標系に対するセンサ(およびそれが取り付けられるオブジェクト)の位置および/または配向を検出するために、測定されてもよい。1つ以上の実施形態では、複数のセンサが、電磁エミッタと連動して使用され、座標空間内のセンサのそれぞれの位置および配向を検出してもよい。電磁追跡システムは、3つの方向(すなわち、X、Y、およびZ方向)において、さらに、2つまたは3つの配向角度において、位置を提供してもよい。1つ以上の実施形態では、IMUの測定は、コイルの測定と比較され、センサの位置および配向を決定してもよい。1つ以上の実施形態では、電磁(EM)データおよびIMUデータは両方とも、カメラ、深度センサ、および他のセンサ等の種々の他のデータ源とともに、位置および配向を決定するために組み合わせられてもよい。本情報は、コントローラ406に伝送されてもよい(例えば、無線通信、Bluetooth(登録商標)等)。1つ以上の実施形態では、姿勢(または位置および配向)は、従来のシステムにおいて比較的に高リフレッシュレートで報告されてもよい。従来、電磁場エミッタは、テーブル、手術台、壁、または天井等の比較的に安定した大型オブジェクトに結合され、1つ以上のセンサは、医療デバイス、ハンドヘルドゲームコンポーネント、または同等物等のより小型のオブジェクトに結合される。代替として、
図6を参照して以下に説明されるように、電磁追跡システムの種々の特徴が、採用され、より安定した大域座標系に対する空間内を移動する2つのオブジェクト間の位置および/または配向における変化またはデルタが追跡され得る、構成を生成してもよい。言い換えると、構成は、
図6に示されており、電磁追跡システムのバリエーションが、利用され、頭部搭載型コンポーネントとハンドヘルドコンポーネントとの間の位置および配向デルタを追跡し得る一方、(例えば、ユーザにローカルの室内環境の)大域座標系に対する頭部の姿勢は、システムの頭部搭載型コンポーネントに結合され得る外向き捕捉カメラを使用して、同時位置特定およびマッピング(「SLAM」)技法等によって別様に決定される。
【0035】
コントローラ406は、電磁場エミッタ402を制御してもよく、また、データを種々の電磁センサ404から捕捉してもよい。システムの種々のコンポーネントは、任意の電気機械的または無線/Bluetooth(登録商標)手段を通して相互に結合されてもよいことを理解されたい。コントローラ406はまた、既知の磁場および磁場に関連する座標空間に関するデータを備えてもよい。本情報は、次いで、既知の電磁場に対応する座標空間に関連してセンサの位置および配向を検出するために使用されてもよい。
【0036】
電磁追跡システムの1つの利点は、最小限の待ち時間および高分解能を伴って非常に正確な追跡結果を生成することができることである。加えて、電磁追跡システムは、必ずしも、光学追跡装置に依拠せず、ユーザの視線内にないセンサ/オブジェクトは、容易に追跡され得る。
【0037】
電磁場vの強度は、コイル送信機(例えば、電磁場エミッタ402)からの距離rの三次関数として低下することを理解されたい。したがって、アルゴリズムは、電磁場エミッタからの距離に基づいて、使用されてもよい。コントローラ406は、そのようなアルゴリズムを用いて、電磁場エミッタからの可変距離におけるセンサ/オブジェクトの位置および配向を決定するように構成されてもよい。センサが電磁エミッタから離れて移動するにつれて、電磁場の強度の急減を前提として、正確度、効率、および短待ち時間の観点から、最良結果が、より近い距離において達成され得る。典型的電磁追跡システムでは、電磁場エミッタは、電流(例えば、差込式電力供給源)によって給電され、電磁場エミッタから半径20フィート以内に位置するセンサを有する。センサと場エミッタとの間の半径が短いほど、AR用途を含む、多くの用途においてより望ましくあり得る。
【0038】
ここで
図5を参照すると、典型的電磁追跡システムの機能を説明する例示的フロー図が、簡単に説明される。502では、既知の電磁場が、放出される。1つ以上の実施形態では、磁場エミッタは、磁場を生成してもよく、各コイルは、電場を一方向(例えば、X、Y、またはZ)に生成させ得る。磁場は、任意の波形を用いて生成されてもよい。1つ以上の実施形態では、軸のそれぞれに沿った磁場成分は、他の方向に沿った他の磁場成分と若干異なる周波数で発振してもよい。504では、電磁場に対応する座標空間が、決定され得る。例えば、
図4の制御406は、電磁場に基づいて、エミッタの周囲の座標空間を自動的に決定してもよい。506では、センサ(既知のオブジェクトに取り付けられ得る)におけるコイルの挙動が、検出され得る。例えば、コイルにおいて誘発される電流が、計算されてもよい。他の実施形態では、コイルの回転または任意の他の定量化可能挙動が、追跡および測定されてもよい。508では、本挙動は、センサおよび/または既知のオブジェクトの位置または配向を検出するために使用されてもよい。例えば、コントローラ406は、センサにおけるコイルの挙動を種々の位置または配向に相関させる、マッピングテーブルを参考にしてもよい。これらの計算に基づいて、座標空間内の位置が、センサの配向とともに、決定されてもよい。
【0039】
ARシステムの状況では、電磁追跡システムの1つ以上のコンポーネントは、モバイルコンポーネントの正確な追跡を促進するために、修正される必要があり得る。前述のように、ユーザの頭部の姿勢および配向の追跡は、多くのAR用途において望ましくあり得る。ユーザの頭部の姿勢および配向の正確な決定は、ARシステムが、正しい仮想コンテンツをユーザに表示することを可能にする。例えば、仮想場面は、実際の建物の背後に隠れているモンスタを含み得る。建物と関連したユーザの頭部の姿勢および配向に応じて、仮想モンスタのビューは、現実的AR体験が提供されるように修正される必要があり得る。または、トーテム、触知デバイス、または仮想コンテンツと相互作用するある他の手段の位置および/または配向は、ARユーザがARシステムと相互作用することを可能にする際に重要であり得る。例えば、多くのゲーム用途では、ARシステムは、仮想コンテンツと関連した実オブジェクトの位置および配向を検出しなければならない。または、仮想インターフェースを表示するとき、トーテム、ユーザの手、触知デバイス、またはARシステムとの相互作用のために構成される任意の他の実オブジェクトの位置が、システムがコマンド等を理解するために、表示される仮想インターフェースと関連して把握されなければならない。光学追跡および他の方法を含む、従来の位置特定方法は、典型的には、長待ち時間および低分解能問題に悩まされ、仮想コンテンツのレンダリングを多くの拡張現実用途において困難にする。
【0040】
1つ以上の実施形態では、
図4および5に関連して議論される、電磁追跡システムは、放出される電磁場に関連して1つ以上のオブジェクトの位置および配向を検出するようにARシステムに適合されてもよい。典型的電磁システムは、大型かつ嵩張る電磁エミッタ(例えば、
図4における402)を有する傾向にあって、これは、頭部搭載型ARデバイスにとって問題となる。しかしながら、より小型の電磁エミッタ(例えば、ミリメートル範囲内)が、ARシステムの状況において既知の電磁場を放出するために使用されてもよい。
【0041】
ここで
図6を参照すると、電磁追跡システムは、ハンドヘルドコントローラ606の一部として組み込まれる電磁場エミッタ602とともに、示されるように、ARシステムとともに組み込まれてもよい。コントローラ606は、ARヘッドセット(またはベルトパック70)に対して独立して移動可能であることができる。例えば、ユーザは、コントローラ606をその手の中に保持することができる、またはコントローラは、ユーザの手または腕に搭載され得る(例えば、指輪またはブレスレットとして、またはユーザによって装着される手袋の一部として)。1つ以上の実施形態では、ハンドヘルドコントローラは、ゲームシナリオにおいて使用されるため、または豊かなユーザ体験をAR環境内で提供するため、またはユーザがARシステムと相互作用することを可能にするためのトーテムであってもよい(例えば、多自由度コントローラ)。他の実施形態では、ハンドヘルドコントローラは、触知デバイスであってもよい。さらに他の実施形態では、電磁場エミッタは、単に、ベルトパック70の一部として組み込まれてもよい。ハンドヘルドコントローラ606は、電磁場エミッタ602に給電する、バッテリ610または他の電力供給源を備えてもよい。電磁場エミッタ602はまた、他のコンポーネントに対する電磁場エミッタ602の位置および/または配向の決定を補助するように構成される、IMUコンポーネント650を備える、またはそれに結合されてもよいことを理解されたい。これは、電磁場エミッタ602およびセンサ(604)の両方がモバイル式である場合、特に有利であり得る。
図6の実施形態に示されるように、ベルトパックではなく、ハンドヘルドコントローラ内に電磁場エミッタ602を設置することは、電磁場エミッタがベルトパックにおいてリソースを競合するのではなく、むしろ、ハンドヘルドコントローラ606においてその独自のバッテリ源を使用することを確実にする。さらに他の実施形態では、電磁場エミッタ602は、ARヘッドセット上に配置されることができ、センサ604は、コントローラ606またはベルトパック70上に配置されることができる。
【0042】
1つ以上の実施形態では、電磁センサ(604)は、1つまたはそれを上回るIMUまたは付加的磁束捕捉コイル(608)等、他の感知デバイスとともに、ユーザのヘッドセット上の1つ以上の場所に設置されてもよい。例えば、
図6に示されるように、センサ(604、608)は、ヘッドセット(58)の片側または両側に設置されてもよい。これらのセンサは、非常に小型(故に、ある場合には、低感度であり得る)に加工されるため、複数のセンサを有することは、効率および精度を改良し得る。1つ以上の実施形態では、1つ以上のセンサはまた、ベルトパック70またはユーザの身体の任意の他の部分上に設置されてもよい。センサ(604、608)は、無線で、またはBluetooth(登録商標)を通して、センサ(およびそれが取り付けられるARヘッドセット)の姿勢および配向を決定する、コンピューティング装置と通信してもよい。1つ以上の実施形態では、コンピューティング装置は、ベルトパック70に常駐してもよい。他の実施形態では、コンピューティング装置は、ヘッドセット自体またはさらにハンドヘルドコントローラ606に常駐してもよい。コンピューティング装置は、ひいては、マッピングデータベース(例えば、パス可能世界モデル、座標空間等)を備え、姿勢を検出し、実オブジェクトおよび仮想オブジェクトの座標を決定してもよく、さらに、1つ以上の実施形態では、クラウドリソースおよびパス可能世界モデルに接続してもよい。
【0043】
前述のように、従来の電磁エミッタは、ARデバイスにおいて使用するために嵩張り過ぎ得る。したがって、電磁場エミッタは、従来のシステムと比較してより小型のコイルを使用して、コンパクトに加工されてもよい。しかしながら、電磁場の強度が場エミッタからの距離の三次関数として減少することを前提として、電磁センサ604と電磁場エミッタ602との間の半径が短いほど(例えば、約3~3.5フィート)、
図4に詳述されるもの等の従来のシステムと比較して、電力消費を低減させ得る。
【0044】
本側面は、1つ以上の実施形態では、コントローラ606および電磁場エミッタ602に給電し得る、バッテリ610の寿命を延長させるために利用されてもよい。または、他の実施形態では、本側面は、電磁場エミッタ602において磁場を生成するコイルのサイズを縮小させるために利用されてもよい。しかしながら、同一の強度の磁場を得るために、電力は、増加される必要があり得る。これは、ハンドヘルドコントローラ606においてコンパクトに嵌合し得る、コンパクトな電磁場エミッタユニット602を可能にする。
【0045】
いくつかの他の変更が、ARデバイスのために電磁追跡システムを使用するときに行われてもよい。本姿勢報告レートは、非常に良好であるが、ARシステムは、さらにより効率的な姿勢報告レートを要求してもよい。この目的を達成するために、IMUベースの姿勢追跡が、(加えて、または代替として)センサ内で使用されてもよい。有利には、IMUは、姿勢検出プロセスの効率を増加させるために、可能な限り安定したままでなければならない。IMUは、最大50~100ミリ秒、安定したままであるように加工されてもよい。いくつかの実施形態は、姿勢更新が10~20Hzのレートで報告されることを可能にし得る、外部姿勢推定器モジュールを利用してもよいことを理解されたい(例えば、IMUは、経時的にドリフトし得る)。IMUを合理的比率に安定して保つことによって、姿勢更新レートは、10~20Hzまで著しく低下され得る(従来のシステムにおけるより高い周波数と比較して)。
【0046】
電磁追跡システムが、例えば、10%デューティサイクルにおいて起動され得る場合(例えば、100ミリ秒毎にのみ接地にピングする)、これは、ARシステムにおける電力を節約する別の方法となるであろう。これは、電磁追跡システムが、100ミリ秒毎に10ミリ秒にわたってウェイクアップし、姿勢推定値を生成することを意味するであろう。これは、直接、電力消費節約につながり、ひいては、ARデバイスのサイズ、バッテリ寿命、およびコストに影響を及ぼし得る。
【0047】
1つ以上の実施形態では、デューティサイクルの本低減は、1つのみではなく、2つのハンドヘルドコントローラ(図示せず)を提供することによって方略的に利用されてもよい。例えば、ユーザは、2つのトーテム等を要求する、ゲームをプレーしてもよい。または、マルチユーザゲームでは、2人のユーザが、その独自のトーテム/ハンドヘルドコントローラを有し、ゲームをプレーしてもよい。1つではなく、2つのコントローラ(例えば、各手に対する対称コントローラ)が、使用されるとき、コントローラは、オフセットデューティサイクルで動作してもよい。同一概念はまた、例えば、マルチプレーヤゲームをプレーしている2人の異なるユーザによって利用されるコントローラにも適用されてもよい。
【0048】
ここで
図7を参照すると、ARデバイスの状況における電磁追跡システムを説明する例示的フロー図が、説明される。702では、ポータブル(例えば、ハンドヘルド)コントローラが、磁場を放出する。704では、電磁センサ(ヘッドセット、ベルトパック等上に設置される)が、磁場を検出する。706では、ヘッドセット/ベルトの姿勢(例えば、位置または配向)は、センサにおけるコイル/IMUの挙動に基づいて決定される。708では、姿勢情報が、コンピューティング装置(例えば、ベルトパックまたはヘッドセットにおける)に伝達される。710では、随意に、マッピングデータベース(例えば、パス可能世界モデル)は、実世界座標(例えば、ヘッドセット/ベルトの姿勢に関して決定される)と仮想世界座標を相関させるために調べられてもよい。712では、仮想コンテンツは、ARヘッドセットにおいてユーザに配信され、ユーザに表示されてもよい(例えば、本明細書に説明されるライトフィールドディスプレイを介して)。前述のフロー図は、例証目的にすぎず、限定として読み取られるべきではないことを理解されたい。
【0049】
有利には、
図6に概略されるものに類似する電磁追跡システムの使用は、姿勢追跡を可能にする(例えば、頭部位置および配向、トーテムおよび他のコントローラの位置および配向)。これは、ARシステムが、光学追跡技法と比較して、より高い正確度およびより短い待ち時間を伴って、仮想コンテンツを投影することを可能にする(少なくとも部分的に、決定された姿勢に基づいて)。
【0050】
図8を参照すると、多くの感知コンポーネントを特徴とする、システム構成が、図示される。頭部搭載型ウェアラブルコンポーネント(58)は、ここでは、
図9A-9Fを参照して以下に説明されるように、制御および急速解除モジュール(86)もまた特徴とする、物理的マルチコア導線を使用して、ベルトパック等のローカル処理およびデータモジュール(70)に動作可能に結合(68)されて示される。ローカル処理およびデータモジュール(70)は、ここでは、低電力Bluetooth(登録商標)等の無線接続によって、ハンドヘルドコンポーネント(606)に動作可能に結合(100)されてもよい。ハンドヘルドコンポーネント(606)はまた、低電力Bluetooth(登録商標)等の無線接続等によって、直接、頭部搭載型ウェアラブルコンポーネント(58)に動作可能に結合(94)されてもよい。概して、IMUデータが、種々のコンポーネントの座標姿勢検出にパスされる場合、数百または数千サイクル/秒またはより高い範囲内等、高周波数接続が、望ましい。センサ(604)および送信機(602)ペアリング等による電磁位置特定感知のためには、数十サイクル/秒が、適正であり得る。また、壁(8)等のユーザの周囲の実世界内の固定オブジェクトを表す、大域座標系(10)も示される。
【0051】
クラウドリソース(46)はまた、それぞれ、ローカル処理およびデータモジュール(70)に、頭部搭載型ウェアラブルコンポーネント(58)に、壁(8または大域座標系10に対して固定される他のアイテムに結合され得るリソースに動作可能に結合(42、40、88、90)されてもよい。壁(8)に結合される、または大域座標系(10)に対して既知の位置および/または配向を有する、リソースは、無線送受信機(114)、電磁エミッタ(602)および/または受信機(604)、赤外線LEDビーコン等の所与のタイプの放射線を放出または反射させるように構成されるビーコンまたは反射体(112)、セルラーネットワーク送受信機(110)、RADARエミッタまたは検出器(108)、LIDARエミッタまたは検出器(106)、GPS送受信機(118)、既知の検出可能パターン(122)を有するポスタまたはマーカ、およびカメラ(124)を含んでもよい。
【0052】
頭部搭載型ウェアラブルコンポーネント(58)は、赤外線カメラ(124)のための赤外線エミッタ(130)等のカメラ(124)検出器を補助するように構成される光エミッタ(130)に加え、図示されるような類似コンポーネントを特徴とする。頭部搭載型ウェアラブルコンポーネント(58)はまた、1つ以上の歪みゲージ(116)を特徴とし、これは、頭部搭載型ウェアラブルコンポーネント(58)のフレームまたは機械的プラットフォームに固定して結合され、電磁受信機センサ(604)またはディスプレイ要素(62)等のコンポーネント間のそのようなプラットフォームの偏向を決定するように構成されてもよく、
図8に描写される眼鏡様プラットフォーム上の突出部の上方の部分等のプラットフォームの薄い部分等においてプラットフォームの屈曲が生じた場合、それを理解することが重要であり得る。
【0053】
頭部搭載型ウェアラブルコンポーネント(58)はまた、プロセッサ(128)と、1つ以上のIMU(102)とを特徴とする。コンポーネントはそれぞれ、好ましくは、プロセッサ(128)に動作可能に結合される。ハンドヘルドコンポーネント(606)およびローカル処理およびデータモジュール(70)は、類似コンポーネントを特徴とするように図示される。
図8に示されるように、そのように多くの感知およびコネクティビティ手段を用いることで、そのようなシステムは、重く、電力を大量に消費し、大型で、かつ比較的に高価である可能性が高い。しかしながら、例証目的のために、そのようなシステムは、非常に高レベルのコネクティビティ、システムコンポーネント統合、および位置/配向追跡を提供するために利用されてもよい。例えば、そのような構成を用いることで、種々の主要モバイルコンポーネント(58、70、606)は、Wi-Fi、GPS、またはセルラー信号三角測量を使用して、大域座標系に対する位置の観点から位置特定されてもよく、ビーコン、電磁追跡(本明細書に説明されるように)、RADAR、およびLIDIRシステムはさらに、場所および/または配向情報およびフィードバックを提供してもよい。マーカおよびカメラもまた、相対および絶対位置および配向に関するさらなる情報を提供するために利用されてもよい。例えば、頭部搭載型ウェアラブルコンポーネント(58)に結合されて示されるもの等の種々のカメラコンポーネント(124)は、コンポーネント(58)が他のコンポーネントに対して配向される場所およびその状態を決定するために、同時位置特定およびマッピングプロトコル、すなわち、「SLAM」において利用され得る、データを捕捉するために利用されてもよい。
【0054】
図9A-9Fを参照すると、制御および急速解除モジュール86の種々の側面が、描写される。
図9Aを参照すると、2つの外側筐体コンポーネント(132、134)が、機械的掛止を用いて増強され得る、磁気結合構成を使用して、ともに結合される。関連付けられたシステムの動作のためのボタン(136)、例えば、オン/オフボタン(円形ボタン)および上/下音量制御(三角形ボタン)が、含まれてもよい。モジュール86の対向端部は、
図8に示されるように、ローカル処理およびデータモジュール(70)とディスプレイ(62)との間に延設される電気導線に接続されることができる。
【0055】
図9Bは、外側筐体(132)が除去され、ボタン(136)および下層上部印刷回路基板(138)が示される、部分的切断図を図示する。
図9Cを参照すると、ボタン(136)および下層上部印刷回路基板(138)が除去され、メス型接触ピンアレイ(140)が、可視である。
図9Dを参照すると、筐体(134)の反対部分が除去され、下側印刷回路基板(142)が、可視である。下側印刷回路基板(142)が除去され、
図9Eに示されるように、オス型接触ピンアレイ(144)が、可視である。
【0056】
図9Fの断面図を参照すると、オス型ピンまたはメス型ピンのうちの少なくとも1つが、各ピンの縦軸に沿って押下され得るように、ばね荷重されるように構成される。ピンは、「ポゴピン」と称され得、概して、銅または金等の非常に伝導性の材料から含んでもよい。伝導性材料は、ピン上に鍍着されてもよく(例えば、浸漬または電気めっき)、伝導性材料の幅は、例えば、ある場合には、金の少なくとも25μmであってもよい。組み立てられると、図示される構成は、46個のオス型ピンと46個の対応するメス型ピンを噛合させ、アセンブリ全体は、2つの筐体(132、134)を手動で引き離し、ピンアレイ(140、144)の周縁の周囲に配向される北および南磁石を使用して発生され得る、磁気インターフェース146荷重を克服させることによって、急速解除式に分断されてもよい。一実施形態では、46個のポゴピンを圧縮することからの約2kgの荷重が、磁気インターフェース(146)によって提供される約4kgの閉鎖維持力と対抗される。アレイ内のピンは、約1.3mmずつ分離されてもよく、ピンは、ツイストペアまたは他の組み合わせ等の種々のタイプの伝導性ラインに動作可能に結合され、USB3.0、HDMI(登録商標)2.0(デジタルビデオ用)、I2S(デジタルオーディオ用)、高速シリアルデータに対する遷移時間最短差動信号(TMDS)、汎用入/出力(GPIO)、およびモバイルインターフェース(例えば、MIPI)構成、バッテリ/電力接続、および一実施形態では、最大約4アンペアおよび5ボルトのために構成される、高電流アナログラインおよび接地等のインターフェースをサポートしてもよい。
【0057】
一実施形態では、磁気インターフェース(146)は、概して、長方形であって、ピンアレイ(140、144)を囲繞し、約1mm幅および4.8mm高さである。長方形磁石の内径は、約14.6mmである。オス型ピンアレイ(144)を囲繞する磁石は、第1の極性(例えば、北)を有してもよく、メス型ピンアレイ(140)を囲繞する磁石は、第2の(反対)極性(例えば、南)を有してもよい。ある場合には、各磁石は、対向磁石が対応する反対極性を有する、北および南極性の混合を備え、磁気引力を提供し、筐体(132、134)をともに保持することを補助する。
【0058】
アレイ(140、144)内のポゴピンは、4.0~4.6mmの範囲内の高さと、0.6~0.8mmの範囲内の直径とを有する。アレイ内の異なるピンは、異なる高さ、直径、およびピッチを有することができる。例えば、一実装では、ピンアレイ(140、144)は、約42~50mmの長さ、約7~10mmの幅、および約5mmの高さを有する。USB2.0および他の信号のためのピンアレイのピッチは、約1.3mmであることができ、高速信号のためのピンアレイのピッチは、約2.0~2.5mmであることができる。
【0059】
図10を参照すると、最小限にされたコンポーネント/特徴セットを有し、種々のコンポーネントの重量および大きさを低減させる、または最小限にし、例えば、
図10に特徴付けられるもの(58)等の比較的にスリムな頭部搭載型コンポーネントに到達することを可能にすることが有用である。したがって、
図8に示される種々のコンポーネントの種々の順列および組み合わせが、利用されてもよい。
ARシステム内の例示的電磁感知コンポーネント
【0060】
図11Aを参照すると、電磁感知コイルアセンブリ(604、例えば、筐体に結合される3つの個々のコイル)が、頭部搭載型コンポーネント(58)に結合されて示される。そのような構成は、付加的幾何学形状を全体的アセンブリに追加し、これは、望ましくない場合がある。
図11Bを参照すると、
図11Aの構成におけるように、コイルをボックスまたは単一筐体内に格納するのではなく、個々のコイルは、
図11Bに示されるように、頭部搭載型コンポーネント(58)の種々の構造の中に統合されてもよい。
図11Bは、X-軸コイル(148)、Y-軸コイル(150)、およびZ-軸コイル(152)のための頭部搭載型ディスプレイ58上の場所の実施例を示す。したがって、感知コイルは、頭部搭載型ディスプレイ(58)上またはそれを中心として空間的に分散され、電磁追跡システムによって、ディスプレイ(58)の位置特定および/または配向の所望の空間分解能または正確度を提供することができる。
【0061】
図12A-12Eは、電磁センサに結合されるフェライトコア1200a-1200eを使用して、場感度を増加させるための種々の構成を図示する。
図12Aは、立方体の形状における中実フェライトコア1200aを図示し、
図12Bは、相互から離間される複数の長方形ディスクとして構成されるフェライトコア1200bを示し、
図12Cは、単軸空気コアを有するフェライトコア1200cを示し、
図12Dは、3軸空気コアを有するフェライトコア1200dを示し、
図12Eは、複数のフェライトロッドを筐体(プラスチックから作製されてもよい)内に備えるフェライトコア1200eを示す。
図12B-12Eの実施形態1200b-1200eは、
図12Aの中実コア実施形態1200aより重量が軽く、質量を節約するために利用されてもよい。
図12A-12Eでは、立方体として示されるが、フェライトコアは、他の実施形態では、異なるように成形されることができる。
EM追跡システムのための周波数分割多重化、時分割多重化、および利得制御
【0062】
従来のEM追跡ソリューションは、典型的には、周波数分割多重化(FDM)回路設計または時分割多重化(TDM)回路設計のいずれかを採用する。しかしながら、FDM設計は、典型的には、より多くの電流を使用し、TDM設計は、典型的には、限定数のユーザのみをサポートする。以下にさらに説明されるように、FDMおよびTDM設計の両方を融合する回路設計は、両方の利点を達成し得る。そのような設計の利点は、従来の設計と比較して、印刷回路基板(PCB)の面積、材料コスト、使用される部品の数、および/または電流ドレインに関する節約を含むことができる。本設計はまた、複数のユーザに改良または最適性能をもたらすことができる。
【0063】
図13Aは、周波数分割多重化されるEM送信機(TX)回路1302の実施例を図式的に図示する、ブロック図である。EM送信機回路は、EM追跡システム内の3つの調整された直交コイルを駆動することができる。EM TXによって生成された時変EM場は、EM受信機によって感知されることができる(例えば、
図13Bを参照して説明される)。本回路は、マスタ制御ユニット(MCU)を使用して、3つの異なる無線周波数(RF)周波数(f1、f2、およびf3)における3つの異なるシンセサイザを制御し、その出力は、フィルタリングされ(例えば、帯域通過フィルタ(BPF)および随意のフェライトビーズ(FB)において)、増幅され(例えば、前置増幅器(PA)を介して)、個別のX、Y、Zコイルにフィードされる。回路はまた、各コイルの中への電流が一定のままであることを確実にする、電流感知制御回路(R-感知および電流制御)を採用する。本回路はまた、
図13Bを参照して説明されるEM受信機ユニットと通信するMCUに接続される、RF無線通信インターフェース(例えば、Bluetooth(登録商標)低エネルギー(BLE))を有する。
【0064】
図13Bは、周波数分割多重化されるEM受信機(RX)回路1304の実施例を図式的に図示する、ブロック図である。EM受信機は、3つの直交コイル(周波数f1で動作するX-コイル、周波数f2で動作するY-コイル、および周波数f3で動作するZ-コイル)を使用して、EM TX回路1302によって生成された時変EM信号を受信する(例えば、
図13A参照)。3つの信号は、並行して、個々に増幅され(例えば、前置増幅器(PA)を介して)、フィルタリングされる(例えば、帯域通過フィルタ(BPF)によって)。随意に、フィルタ出力はさらに、増幅されてもよい。増幅された出力は、次いで、アナログ/デジタル(ADC)の中にフィードされ、デジタル信号は、デジタル信号プロセッサ(DSP)によって処理される。DSPは、前置増幅器の利得を制御し、ADCを飽和しないように保つことができる。本受信機設計はまた、EM送信機と通信するDSP(またはMCU)に接続される、無線周波数(RF)通信リンクを有する(例えば、
図13Bを参照して説明される)。RFリンクは、Bluetooth(登録商標)低エネルギー(BLE)を含む、任意の好適な無線規格をサポートするように構成されることができる。
【0065】
図13Aおよび13Bに示されるEM TXおよびRX回路1302、1304(および
図13C-13Jを参照して以下に説明されるTXおよびRX回路)は、EM追跡のために使用されることができる。例えば、EM TX回路1302は、
図4を参照して説明される、EM場エミッタ402内で使用され、EM RX回路1304は、EM場センサ404内で使用されることができる。EM TXおよびRX回路の付加的実施形態は、例えば、低減された部品数、低減されたPCB面積、より低い材料コスト等の利点を提供することができ、複数のユーザに最適性能をもたらし得るように説明されるであろう。
【0066】
図13Cは、時分割多重化されるEM送信機回路1302の実施例を図式的に図示する、ブロック図である。本実施形態では、
図13AのFDM回路は、時分割多重化回路に変更されている。TDM回路は、3つの直交コイルに分割される、1つのみの経路を使用する。X、Y、およびZ-コイルは、それぞれ、周波数f1、f2、およびf3において動作し、EM受信機回路によって受信される時変EM場を生成する。TDM回路は、TDMタイミングプロトコルに従って、個別の時間t1、t2、およびt3においてこれらのコイルを動作させることができる(例えば、
図13Fおよび13G参照)。自動利得制御(AGC)は、送信機回路内に含まれることができる(
図13Iおよび13Jを参照して以下にさらに説明される)。各コイルは、MCUによって割り当てられる所望の周波数に動的に周波数調整されることができる。
動的周波数調整
【0067】
動的周波数調整は、各コイル上で共振を達成し、EM TX回路内の増加されたまたは最大の電流フローを取得するために使用されることができる。動的周波数調整は、複数のユーザに適応するために使用されることができる。
図13Dは、動的に調整可能な回路1306の実施例を図式的に図示する、ブロック図である。動的に調整可能な回路1306の他の実施形態は、
図17D-17Gを参照して説明される。
図13Dに示される回路では、伝送コイルは、インダクタL1によって表される。静的コンデンサ(C2)は、調整可能コンデンサ(C1)と並列である。本実施例では、コンデンサC1を調整することによってコイルによって生成される周波数は、周波数範囲16kHz~30kHzを網羅する。
図13Eは、
図13Dに示される回路1306を動的に調整することによって達成され得る、種々の周波数(16kHz~30kHz)における共振の実施例を示す、グラフである。複数のユーザに適応するために、例示的動的周波数調整回路は、ユーザあたり1つの伝送(TX)周波数を採用することができる。周波数割当の実施例は、表1に示される。
【表1】
時分割多重化
【0068】
いくつかの実施形態では、送信機上で時分割多重化を達成するために、送信機および受信機回路間の同期が、利用されてもよい。同期のための2つの可能性として考えられるシナリオが、以下に議論される。
【0069】
第1のシナリオは、受信機および送信機の両方のRF無線インターフェース(例えば、BLE)を通して同期を使用する。無線RFリンクは、送信機および受信機の両方のクロックを同期させるために使用されることができる。同期が達成された後、時分割多重化は、オンボードリアルタイムクロック(RTC)に参照されることができる。
【0070】
第2のシナリオは、電磁パルスを通して同期を使用する。EMパルスの飛行時間は、TDM回路内で典型的に使用される公差より有意に短く、無視されてもよい。TX EMパルスは、送信機によって、受信機クロックと送信機クロックとの間の時間差異を計算する、受信機に送信される。本時間差異は、RF無線リンクを経由して、既知のオフセットとして通信される、または無線インターフェース(例えば、BLE)クロック上の基準を調節するために使用される。
【0071】
いくつかの実施形態では、これらの同期シナリオの一方または両方が、実装されることができる。同期が完了された後、送信機および受信機のためのTDMに関する時間シーケンスが、確立されることができる。
図13Fは、TDMタイミング
図1308の実施例を図示する。X-コイル上のTXは、受信機のX、Y、およびZコイルがX-コイルによって生成された磁束を受信することを可能にする、第1の期間にわたってオンのまま留まるであろう。第1の期間の間、Y-コイルおよびZ-コイル上のTXは、実質的にオフである(例えば、コイルは、完全にオフである、またはその通常動作電圧をはるかに下回る(例えば、<10%、<5%、<1%等)電圧で動作する)。X-コイル伝送に続いて、Y-コイル上のTXは、オンになり(かつX-コイルは、実質的にオフになるであろう一方、Z-コイルは、実質的にオフのままである)、受信機上のX、Y、およびZコイルは、TX Y-コイルによって生成された磁束を受信するであろう。Y-コイル伝送に続いて、Z-コイル上のTXは、オンになり(かつY-コイルは、実質的にオフになるであろう一方、X-コイルは、実質的にオフのままである)、受信機のX、Y、およびZコイルは、TX Z-コイルによって生成された磁束を受信するであろう。本タイミングシーケンスは、次いで、EM送信機が動作する間、持続的に繰り返される。
【0072】
以下は、複数のユーザに適応する非限定的例証的実施例を説明する。例えば、それぞれ8つのTX周波数を要求する、2つの送信機を伴う、最大4人のユーザに適応する。概して、これらの周波数が、重複されない場合、有利である。そのような実施形態では、走査プロセスが、EM受信機によって実装され、特定の周波数が近接近度で使用されているかどうかを決定することができる。
図13Gは、走査タイミング1310の実施例を図示する。本走査は、初期化時およびユーザのセッションの間に周期的に、EM受信機1304によって行われることができる。走査は、送信機1302内のTXを意図的にオフにし、(受信機1304内の)RXを通して巡回させ、非意図的干渉の存在を測定することによって、実施されることができる。その周波数におけるエネルギーが存在することが決定された場合、代替周波数が、選択されることができる。本走査はまた、位置および配向(PnO)がそのスロット内で要求されないため、3つの直交コイルの1つまたは2つ(全3つではなく)を監視することによって短縮されることができる。
【0073】
図13Hは、EM追跡システム内の受信機1304の別の実施例を図式的に図示する、ブロック図である。
図13Bに図示される例示的FDM受信機と比較されるように、TDMスイッチが、3つの直交コイルからの個々の経路に取って代わっている。TDMスイッチは、RF無線インターフェース(例えば、BLE)によって制御されることができる。TDMスイッチは、
図13Fに図示されるタイミングプロトコル1308を利用することができる。
【0074】
種々の実施形態では、
図13C-13Hを参照して説明される時分割多重化TXおよび/またはRX回路は、以下の利点のうちの1つ以上のものを提供し得る。(A)電流ドレインおよびバッテリ寿命。送信機および受信機を時間多重化することによって、使用される電流の量が、低下され得る。本低減は、送信機等の高電流回路がもはや100%の時間を利用していないという事実から生じる。システムの電流ドレインは、
図13Aおよび13Bに示されるFDM回路と比較して、1/3をわずかに上回って低減されることができる。(B)材料コストの請求額。同一結果を達成するために使用されるコンポーネントの数は、上記に説明されるTDM実施形態において低減されている(
図13Aおよび13BにおけるFDM回路と比較して)。同一経路を通した信号の多重化は、部品数を低減させ、この場合、コンポーネントのコストもまた、FDM対応物と比較して1/3をわずかに上回って低減されるはずである。(C)PCB面積。部品低減の別の利点は、PCB面積において得られる節約であり得る。部品数は、ほぼ2/3低減され、したがって、PCB上で要求される空間も、低減される。
【0075】
他の可能性として考えられる利点は、TXおよびRX回路の低減された質量であり得る。例えば、
図13Aおよび13Bに示されるFDM TXおよびRX回路は、3つの直交コイル毎に別個のフィルタおよび増幅器経路を利用する。対照的に、
図13Cおよび13Hに図示されるTDM TXおよびRX回路は、フィルタおよび増幅器経路を共有する。
【0076】
センサ筐体を除去し、多重化し、頭部上のハードウェアを節約することに加え、信号対ノイズ比が、1つを上回るセットの電磁センサを有することによって増加されてもよく、各セットは、単一のより大きいコイルセットに対して比較的に小さい。また、概して、複数の感知コイルを近接近して有するために必要とされる、低側周波数限界が、帯域幅要件改良を促進するために改良されてもよい。多重化が、概して、時間的にRF信号の受信を拡散させ、概して、よりノイズの多い信号をもたらすという点において、概して、TD多重化とのトレードオフが存在する。したがって、より大きいコイル直径が、多重化システムのために使用されてもよい。例えば、多重化システムは、9mm辺寸法の立方体コイルセンサボックスを利用してもよく、非多重化システムは、類似性能のために、7mm辺寸法の立方体コイルボックスのみを利用してもよい。したがって、幾何学形状および質量を最小限にし、FDMおよびTDM回路の実施形態間で選択する際、トレードオフが存在し得る。
電磁追跡システムのための例示的自動利得制御
【0077】
図13Aおよび13Bを参照すると、FDM受信機(
図13B)は、閉ループ利得制御を実装する一方、FDM送信機(
図13A)は、利得制御を実装せず、受信されたレベルにかかわらず、その最大出力電力で伝送するままにされる。受信機の利得は、DSPによって設定されることができる。例えば、受信機コイル上の受信された電圧は、利得制御を有する第1の段の中に直接的にフィードされる。大電圧は、DSP内で決定されることができ、DSPは、自動的に、第1の段の利得を調節することができる。利得制御を受信機内に設置することは、必要とされないときでも、送信機内でより多くの電力を利用し得る。故に、自動利得制御(AGC、時として、適応利得制御とも称される)を送信機側(受信機側ではなく)上で採用することが有利であり得、これは、受信機システム内の空間(そうでなければAGCのために使用されるであろう)を節約し、それによって、はるかに小型かつポータブルな受信機を可能にし得る。
【0078】
図13Iは、自動利得制御(AGC)を利用しない、EM受信機1304の実施例を図式的に図示する、ブロック図である。第1の段は、もはやAGC回路ではなく(
図13Bと比較して)、受信機は、単に、一定利得を有するように設計される。コイル上で受信された電圧のレベルは、DSPによって決定され、DSPは、その情報を無線(例えば、BLE)リンクに提供する。本BLEリンクは、その情報を送信機に提供し、TXレベルを制御することができる(
図13J参照)。
【0079】
図13Jは、AGCを採用する、EM送信機1302の実施例を図式的に図示する、ブロック図である。
図13JのEM送信機1302は、
図13Iの受信機1304と通信することができる。無線リンク(例えば、BLE)は、受信された電圧レベル(受信機上のBLEリンクから)をMCUに通信する。増幅段は、MCUによって制御される、調節可能利得を有することができる。これは、要求される受信された電圧が小さいとき、送信機上の電流節約を可能にすることができる。
【0080】
故に、
図13Iおよび13JにおけるRXおよびTX回路実施例は、EM受信機1304の代わりに、EM送信機1302内でAGCを採用する。
図13Aおよび13BにおけるRXおよびTX回路実施例からの本変化は、TX電力が必要なときに低減させることを可能にされるであろうため、より小型のRX設計およびより電力効率的設計を可能にすることができる。
ユーザ頭部姿勢または手姿勢のEM追跡の実施例
【0081】
図14を参照すると、一実施形態では、ユーザがそのウェアラブルコンピューティングシステム(160)に電源を投入後、頭部搭載型コンポーネントアセンブリは、IMUおよびカメラデータ(カメラデータは、例えば、より多くのRAW処理能力が存在し得る、ベルトパックプロセッサ等のSLAM分析のために使用される)の組み合わせを捕捉し、実世界大域座標系(162)に対する頭部の姿勢(例えば、位置または配向)を決定および更新してもよい。ユーザはまた、ハンドヘルドコンポーネントを能動化し、例えば、拡張現実ゲーム(164)をプレーしてもよく、ハンドヘルドコンポーネントは、ベルトパックおよび頭部搭載型コンポーネント(166)の一方または両方に動作可能に結合される電磁送信機を備えてもよい。頭部搭載型コンポーネントに結合される1つ以上の電磁場コイル受信機セット(例えば、セットは、3つの異なるように配向される個々のコイルである)が、送信機から磁束を捕捉し、これは、頭部搭載型コンポーネントとハンドヘルドコンポーネント(168)との間の位置または配向差(または「デルタ」)を決定するために利用されてもよい。大域座標系に対する姿勢の決定を補助する頭部搭載型コンポーネントと、頭部搭載型コンポーネントに対するハンドヘルドの相対的場所および配向の決定を補助するハンドヘルドの組み合わせは、システムが、概して、各コンポーネントが大域座標系に対して位置する場所、したがって、ユーザの頭部の姿勢を決定することを可能にし、ハンドヘルド姿勢は、好ましくは、拡張現実画像特徴の提示と、ハンドヘルドコンポーネント(170)の移動および回転を使用した相互作用とのために、比較的に短待ち時間で追跡され得る。
【0082】
図15を参照すると、
図14のものに幾分類似するが、ユーザの頭部の姿勢およびハンドヘルド姿勢が、好ましくは、拡張現実画像特徴の提示と、ハンドヘルドコンポーネント(180)の移動および回転を使用した相互作用とのために、比較的に短待ち時間において追跡され得るように、システムが頭部搭載型コンポーネント(172)およびハンドヘルドコンポーネント(176、178)の両方の姿勢の決定を補助するために利用可能なより多くの感知デバイスおよび構成を有する、実施形態が、図示される。
例示的ステレオおよび飛行時間深度感知
【0083】
図16Aおよび16Bを参照すると、
図8のものに類似する構成の種々の側面が、示される。
図16Aの構成は、LIDAR(106)タイプの深度センサに加え、
図16Aの構成が、例証目的のために、例えば、ステレオ三角測量式深度センサ(受動ステレオ深度センサ、テクスチャ投影ステレオ深度センサ、または構造化光ステレオ深度センサ等)または飛行時間式深度センサ(LIDAR深度センサまたは変調放出深度センサ等)のいずれかであり得る、汎用深度カメラまたは深度センサ(154)を特徴とするという点において、
図8のものと異なる。さらに、
図16Aの構成は、付加的前向き「世界」カメラ(124、720p範囲の分解能が可能なセンサを有する、グレースケールカメラであってもよい)および比較的に高分解能「写真カメラ」(156、例えば、2メガピクセル以上の高い分解能が可能なセンサを有する、フルカラーカメラであってもよい)を有する。
図16Bは、
図16Bを参照して以下にさらに説明されるように、例証目的のために、
図16Aの構成の部分的直交図を示す。
【0084】
図16Aおよび前述のステレオ対飛行時間式深度センサに戻って参照すると、これらの深度センサタイプはそれぞれ、本明細書に開示されるようなウェアラブルコンピューティングソリューションとともに採用され得るが、それぞれ、種々の利点および不利点を有する。例えば、多くの深度センサは、黒色表面および光輝または反射表面に関する課題を有する。受動ステレオ深度感知は、深度カメラまたはセンサを用いて深度を計算するために三角測量を得るという比較的に単純な方法であるが、広視野(「FOV」)が要求される場合、課題となり得、比較的に有意なコンピューティングリソースを要求し得る。さらに、そのようなセンサタイプは、将来的特定のユースケースに重要であり得る、エッジ検出に関する課題を有し得る。受動ステレオは、無テクスチャ壁、低光状況、および繰り返されるパターンに関する課題を有し得る。受動ステレオ深度センサは、IntelおよびAquifi等の製造業者から利用可能である。テクスチャ投影を伴うステレオ(「能動ステレオ」としても知られる)は、受動ステレオに類似するが、テクスチャプロジェクタは、投影パターンを環境上にブロードキャストし、よりテクスチャが、ブロードキャストされ、より正確度が、深度計算のための三角測量において利用可能である。能動ステレオもまた、比較的に高算出リソースを要求し、広FOVが要求されるとき課題を提示し、幾分、エッジを検出する際に準最適であり得るが、無テクスチャ壁に効果的であって、低光において良好であって、概して、繰り返しパターンに関する問題を有していないという点において、受動ステレオの課題のうちのいくつかに対処する。能動ステレオ深度センサは、IntelおよびAquifi等の製造業者から利用可能である。
【0085】
Primesense, Inc.によって開発され、商標名Kinect下で利用可能なシステム、および、概して、単一カメラ/プロジェクタペアリングおよびプロジェクタを利用する、Mantis Vision, Inc.から利用可能なシステム等の構造化光を伴うステレオは、先験的に既知のドットのパターンをブロードキャストするように構成されるという点において特殊である。本質的に、システムは、ブロードキャストされるパターンを把握し、決定されるべき変数が深度であることを把握している。そのような構成は、算出負荷に関して比較的に効率的であり得、広FOV要件シナリオおよび他の近傍デバイスからブロードキャストされる周囲光およびパターンを伴うシナリオでは、課題となり得るが、多くのシナリオにおいて非常に効果的かつ効率的であり得る。PMD Technologies, A.G.およびSoftKinetic Inc.から利用可能なもの等の変調飛行時間タイプ深度センサを用いることで、エミッタは、振幅変調光の正弦波等の波を送信するように構成されてもよい。いくつかの構成では、近傍に、またはさらに重複して位置付けられ得る、カメラコンポーネントが、カメラコンポーネントのピクセルのそれぞれ上への戻り信号を受信し、深度マッピングが、決定/計算されてもよい。そのような構成は、幾何学形状が比較的にコンパクトであって、高正確度、および低算出負荷であり得るが、画像分解能(オブジェクトのエッジにおいて等)、多経路誤差(センサが反射または光輝角に照準され、いくつかの深度検出エイリアシングが存在するように、検出器が1つを上回る戻り経路を受信する結果となる等)の観点から課題となり得る。
【0086】
前述のLIDARとも称され得る、直接飛行時間センサが、LuminARおよびAdvanced Scientific Concepts, Inc.等の供給業者から利用可能である。これらの飛行時間構成を用いることで、概して、光のパルス(ピコ秒、ナノ秒、またはフェムト秒長の光のパルス等)は、その周囲に配向される世界を包むように本光ピングとともに送信される。次いで、カメラセンサ上の各ピクセルは、そのパルスが戻って来るのを待機し、光の速度を把握することで、各ピクセルにおける距離が、計算され得る。そのような構成は、変調飛行時間センサ構成の利点(無ベースライン、比較的に広いFOV、高正確度、比較的に低い算出負荷等)の多く、また、数百万ヘルツ等の比較的に高フレームレートを有し得る。それらはまた、比較的に高価であって、比較的に低分解能を有し、明るい光に敏感であって、かつ多経路誤差を受けやすい。それらはまた、比較的に大型であって、かつ重くあり得る。
【0087】
図16Bを参照すると、部分的上面図が、例証目的のために示され、ユーザの眼(12)と、視野(28、30)を伴うカメラ(14、赤外線カメラ等)と、眼(12)に向かって指向され、眼追跡、観察、および/または画像捕捉を促進する、光または放射線源(16、赤外線等)とを特徴とする。3つの外向き世界捕捉カメラ(124)が、深度カメラ(154)およびそのFOV(24)と、写真カメラ(156)およびそのFOV(26)と同様に、そのFOV(18、20、22)とともに示される。深度カメラ(154)から集められた深度情報は、重複FOVおよび他の前向きカメラからのデータを使用することによって強化されてもよい。例えば、システムは、深度センサ(154)からのサブVGA画像、世界カメラ(124)からの720p画像、場合によって、写真カメラ(156)からの2メガピクセルカラー画像のようなもので構成され得る。そのような構成は、共通FOVを共有する4つのカメラを有し、そのうちの2つは、異種可視スペクトル画像を伴い、1つは、色を伴い、3つ目は、比較的に低分解能深度を伴う。システムは、グレースケールおよびカラー画像においてセグメント化を行い、それらの画像を融合し、比較的に高分解能画像をそれらから作成し、いくつかのステレオ対応を得て、深度センサを使用して、ステレオ深度についての仮説を提供し、ステレオ対応を使用して、深度センサのみから利用可能なものより有意に良好であり得る、より精緻化された深度マップを得るように構成されてもよい。そのようなプロセスは、ローカルモバイル処理ハードウェア上で起動されてもよい、または可能性として、エリア内の他者からのデータとともに(近傍で相互からテーブルを横断して着座している2人等)クラウドコンピューティングリソースを使用して、起動され、非常に精緻化されたマッピングとなり得る。別の実施形態では、前述のセンサは全て、1つの統合されたセンサに組み合わせられ、そのような機能性を遂行してもよい。
EM追跡のための伝送コイルの例示的動的調整
【0088】
図17A-17Gを参照すると、動的伝送コイル調整構成の側面は、伝送コイルが直交軸あたり複数の周波数で最適に動作することを促進する電磁追跡のために示され、これは、複数のユーザが同一システム上で動作することを可能にする。典型的には、電磁追跡送信機は、直交軸あたり固定周波数で動作するように設計されるであろう。そのようなアプローチを用いることで、各伝送コイルは、動作の周波数においてのみ共振を作成する、静的一連の静電容量を用いて調整される。そのような共振は、コイルを通した最大可能電流を可能にし、これは、ひいては、生成される磁束を最大限にする。
図17Aは、固定動作周波数で共振を生成するために使用される、典型的共振回路1305を図示する。インダクタ「L」は、1mHのインダクタンスを有し、静電容量が52nFに設定される、単軸伝送コイルを表し、共振は、
図17Bに示されるように、22kHzで生成される。
図17Cは、周波数に対して
図17Aにプロットされた回路1305を通る電流を示し、電流は、共振周波数で最大であることを理解されたい。本システムが、任意の他の周波数で動作することが予期される場合、動作回路は、可能性として考えられる最大電流(22kHzの共振周波数で生じる)ではないであろう。
【0089】
図17Dは、電磁追跡システムの送信機1302の送信機回路1306のための動的に調整可能な構成の実施形態を図示する。
図17Dに示される例示的回路1306は、本明細書に説明されるEM場エミッタ402、602、1302の実施形態において使用されてもよい。
図17Dにおける回路は、発振電圧源1702と、伝送(TX)コイルと、高電圧(HV)コンデンサと、所望の共振周波数のための調整を提供するように選択され得る、コンデンサバンク1704内の複数の低電圧(LV)コンデンサとを含む。動的周波数調整は、コイル上で共振を達成し(所望の動的に調節可能周波数において)、最大電流を得るように設定されてもよい。動的に調整可能な回路1306の別の実施例は、
図17Eに示され、調整可能コンデンサ1706(「C4」)は、
図17Fに図示されるシミュレートされたデータに示されるように、共振を異なる周波数で生産するように調整されてもよい。調整可能コンデンサの調整は、
図17Dに示される回路に図式的に図示されるように、複数の異なるコンデンサ間での切替を含むことができる。
図17Eの実施形態に示されるように、電磁追跡器の直交コイルのうちの1つは、インダクタ「L」としてシミュレートされ、静的コンデンサ(「C5」)は、固定高電圧コンデンサである。本高電圧コンデンサは、共振に起因して、より高い電圧を被り、したがって、そのパッケージサイズは、概して、より大きくなるであろう。コンデンサC4は、異なる値を用いて動的に切り替えられる、コンデンサであって、したがって、より低い最大電圧を被り、概して、より小さい幾何学的パッケージであって、設置空間を節約することができる。インダクタL3はまた、共振周波数を微調整するために利用されることができる。
【0090】
図17Fは、
図17Eの回路1306によって達成され得る、共振の実施例を図示する。
図17Fでは、より高い曲線(248)は、コンデンサC5を横断する電圧Vmid-Voutを示し、より低い曲線(250)は、コンデンサC4を横断する電圧Voutを示す。C4の静電容量が、変動されるにつれて、共振周波数も、変化され(本実施例では、約22kHz~30kHz)、C5を横断する電圧(Vmid-Vout;曲線248)は、C4を横断するものより高い(Vout;曲線250)ことに留意されたい。これは、概して、複数の本コンデンサ、例えば、動作の共振周波数あたり1つのコンデンサが、概して、システム内で使用されるであろうため、C4上のより小さいパッケージ部分を可能にするであろう(例えば、
図17Dに示されるコンデンサバンク1704内の複数のLVコンデンサ参照)。
図17Gは、達成される最大電流が、コンデンサを横断する電圧にかかわらず、共振に続くことを図示する、電流対周波数のプロットである。故に、動的に調整可能な回路の実施形態は、複数の周波数を横断して送信機コイル内の増加または最大電流を提供し、単一EM追跡システムの複数のユーザのための改良または最適化された性能を可能にすることができる。
EM追跡システムのための例示的オーディオノイズキャンセル
【0091】
オーディオスピーカ(または任意の外部磁石)は、EM追跡システムのEM場エミッタによって生成された磁場に非意図的に干渉し得る、磁場を生成し得る。そのような干渉は、EM追跡システムによって提供される場所推定の正確度または信頼性を劣化させ得る。
【0092】
ARデバイスが進化するにつれて、それらは、より複雑となり、共存し、独立して実施する必要がある、より多くの技術を組み込む。EM追跡システムは、EMセンサの3-D位置(それによって、センサが取り付けられる、または組み込まれる、オブジェクトの3-D位置)を決定するために、磁束の微細な変化(EM場エミッタによって生成される)の受信(EMセンサによって)に依拠する。EM追跡センサコイルに近接して常駐する、オーディオスピーカは、真の位置を算出するEM追跡システムの能力に干渉し得る、磁束を放出し得る。
【0093】
図18A-18Cを参照すると、電磁追跡システムは、ヒト聴力のための可聴範囲より若干高い約30kHzを下回って機能するように境界されてもよい。
図18Aは、オーディオスピーカ1820がEMセンサ604に近接近する構成を示す。オーディオスピーカ1820は、時変電圧源1822および増幅器1824によって駆動される。スピーカ1820の磁場は、スピーカがノイズをEMセンサ604のコイルによって感知される磁場内に生成するため、EM追跡システムへの非意図的磁気干渉を生じさせ得る。いくつかの実装では、オーディオスピーカ1820とEMセンサ604との間の距離は、受信された干渉を低減させるように増加されることができる。しかし、スピーカからの磁束は、センサからの距離の3乗(1/r
3)ずつ減衰するため、大距離が非常にわずかな減衰を干渉に提供するような点が存在するであろう。オーディオスピーカ(例えば、
図2A-2Dに示されるスピーカ66)は、一般に、ARデバイス内で使用され、オーディオ体験をARデバイスの装着者に提供するであろう。したがって、オーディオスピーカは、同様にARデバイス上に配置されるEMセンサの比較的に近傍にあることが一般的であり得る(例えば、
図11Aに示される例示的ウェアラブルディスプレイデバイス58内のスピーカ66の近傍に配置されるEMセンサ604参照)。オーディオスピーカからの磁場は、EM追跡システムのEMセンサによって感知されるEM場に干渉し得る。
【0094】
図18Aを参照すると、そのような電磁追跡システムのために使用可能周波数内にノイズを生成する、いくつかのオーディオシステムが存在し得る。さらに、オーディオスピーカは、典型的には、電磁追跡システムにも干渉し得る、磁場および1つ以上のコイルを有する。
図18Bを参照すると、ブロック図が、電磁追跡システムのためのノイズキャンセルシステム1830の実施例のために示される。非意図的EM干渉は、既知のエンティティであるため(電圧源1822によってオーディオスピーカ1820に供給される信号が、既知である、または測定され得るため)、本知識は、オーディオスピーカ1820からのEM干渉をキャンセルし、EM追跡システムの性能を改良するために使用されることができる。言い換えると、システムによって生成されたオーディオ信号は、EMセンサ604のコイルによって受信されたスピーカからの磁気干渉を排除するために利用されてもよい。
図18Bに図式的に示されるように、ノイズキャンセル回路1830は、EMセンサ604からの破損信号1850aおよびオーディオシステムからの信号1850bを受け取るように構成されてもよい。ノイズキャンセルシステムは、信号1850a、1850bを組み合わせ、オーディオスピーカ1820から受信された干渉をキャンセルし、破損されていないセンサ信号1850cを提供することができる。
【0095】
図18Cは、オーディオ信号1850bが、反転され、破損されたセンサ信号1850aに追加され、干渉をキャンセルし、実質的に破損されていないセンサ信号1850cを提供し得る方法の例証的非限定的実施例を示す、プロットである。上のプロットV(noise)は、オーディオスピーカ1820によってEM追跡システムに追加されるノイズ信号1850bである。下のプロットV(cancel)は、反転されたオーディオ信号(例えば、-V(noise))であって、これらがともに追加されるとき、効果は、オーディオからのノイズ劣化がないものとなる。言い換えると、ノイズキャンセルシステムは、EM送信機コイルからの信号を表す真のEMセンサ信号V(sensor)とノイズ信号の和V(sensor)+V(noise)である、破損された信号1850aを受信する。反転されたオーディオ信号-V(noise)を破損された信号1850aに追加することによって、破損されていない信号V(sensor)1850cが、復元される。破損されていない信号1850cは、オーディオスピーカ604が存在しないかのようにセンサ604の応答を反映させ、したがって、EM送信機場をセンサ604の位置において反映させる。同等に、ノイズ信号1850bは、破損された信号1850aから減算され、破損されていない信号V(sensor)1850cを復元することができる。ノイズキャンセルは、ノイズ信号(例えば、オーディオスピーカからの)の実質的に全て(例えば、>80%、>90%、>95%、またはそれよりも多く)のキャンセルをもたらすことができる。本ノイズキャンセル技法は、オーディオスピーカノイズだけのキャンセルに限定されず、ノイズ信号の測定値(または推定値)が決定され得る場合(次いで、上記に説明されるように、EMセンサ信号から除去され得るように)、EMセンサ信号への他のノイズ干渉源にも適用されることができる。
【0096】
図18Dは、EM追跡システム内のEMセンサによって受信された干渉をキャンセルするための例示的方法1800を示す、フローチャートである。方法1800は、例えば、ローカル処理およびデータモジュール70等のARデバイス内のハードウェアプロセッサによって、またはEM追跡システム内のハードウェアプロセッサによって実施されることができる。ブロック1802では、本方法は、ノイズ信号を電磁センサから受信する。上記に説明されるように、ノイズ信号は、電磁干渉を生成する、近傍オーディオスピーカからの干渉によって生じ得る。ブロック1804では、本方法は、信号をEM干渉源から受信する。例えば、信号は、オーディオスピーカを駆動するために使用される信号1850bであることができる(例えば、
図18B参照)。ブロック1806では、ノイズ信号および干渉信号は、組み合わせられ、脱ノイズEM信号を取得する。例えば、干渉信号は、反転され、ノイズ信号に追加されることができる、または干渉信号は、ノイズ信号から減算されることができる。ブロック1808では、脱ノイズ信号は、EMセンサの場所を決定するために使用されることができる。脱ノイズ信号を使用して取得される場所(ノイズ信号の使用と比較して)は、より正確かつ信頼性がある。
【0097】
故に、前述は、EM追跡器センサに近接するオーディオスピーカによって生成される非意図的ノイズを除去するための方法を提供する。本方法は、オーディオについての既知の情報を使用し、それをEM追跡信号から除去する、ノイズキャンセル方法を採用する。本システムは、オーディオスピーカおよびEMセンサコイルの十分な物理的分離が達成されることができないときに使用されてもよい(干渉が十分に低くなるように)。前述では、干渉ノイズは、オーディオスピーカによって生成されるように説明されたが、これは、例証のためのものであって、限定ではない。前述の実施形態は、測定され、次いで、破損されたセンサ信号から減算され得る、任意の干渉信号に適用されることができる。
ビジョンシステムの例示的較正
【0098】
図19を参照すると、一実施形態では、光または他のエミッタの既知のパターン1900(円形パターン等)が、ビジョンシステムの較正を補助するために利用されてもよい。例えば、円形パターンが、基準として利用されてもよい。すなわち、パターンに結合されるオブジェクトが再配向される間、既知の配向を伴うカメラまたは他の捕捉デバイスがパターンの形状を捕捉するにつれて、ハンドヘルドトーテムデバイス606等のオブジェクトの配向が、決定され得る。そのような配向は、誤差決定および較正における使用のために、オブジェクト(例えば、トーテム)上の関連付けられたIMUから生じるものと比較されてもよい。
図19をさらに参照すると、光1900のパターンが、ハンドヘルドトーテム606(
図19では、円筒形として図式的に表される)上の光エミッタ(例えば、複数のLED)によって生産されてもよい。
図19に示されるように、トーテムが、ARヘッドセット58上のカメラによって真正面に視認されるとき、光1900のパターンは、円形に現れる。トーテム606が、他の配向において傾斜されると、パターン1900は、楕円形に現れる。光1900のパターンは、コンピュータビジョン技法を使用して識別されることができ、トーテム606の配向が、決定されることができる。
【0099】
種々の実装では、拡張現実デバイスは、1つ以上のコンピュータビジョン技法を実装し、光のパターンを識別する(または本明細書で使用または説明される他のコンピュータビジョンプロシージャを実施する)ように構成される、コンピュータビジョンシステムを含むことができる。コンピュータビジョン技法の非限定的実施例は、スケール不変特徴変換(SIFT)、スピードアップロバスト特徴(SURF)、配向FASTおよび回転BRIEF(ORB)、バイナリロバスト不変スケーラブルキーポイント(BRISK)、高速網膜キーポイント(FREAK)、Viola-Jonesアルゴリズム、Eigenfacesアプローチ、Lucas-Kanadeアルゴリズム、Horn-Schunkアルゴリズム、Mean-shiftアルゴリズム、視覚的同時位置推定およびマッピング(vSLAM)技法、シーケンシャルベイズ推定器(例えば、カルマンフィルタ、拡張カルマンフィルタ等)、バンドル調節、適応閾値化(および他の閾値化技法)、反復最近傍点(ICP)、セミグローバルマッチング(SGM)、セミグローバルブロックマッチング(SGBM)、特徴点ヒストグラム、種々の機械学習アルゴリズム(例えば、サポートベクトルマシン、k最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク(畳み込みまたは深層ニューラルネットワークを含む)、または他の教師あり/教師なしモデル等)等を含む。
ウェアラブルディスプレイデバイスのサブシステムの例示的回路
【0100】
図20A-20Cを参照すると、構成が、頭部搭載型コンポーネントおよびベルトパックコンポーネント等のウェアラブルコンピューティング構成の2つのサブシステムまたはコンポーネント間の回路を簡略化するための加算増幅器2002とともに示される。従来の構成では、電磁追跡センサ604のコイル2004(
図20Aの左)はそれぞれ、増幅器2006と関連付けられ、3つの明確に異なる増幅された信号が、加算増幅器2002および他のコンポーネント(例えば、
図20Bに示されるような処理回路)へのケーブル類を通して送信されることができる。図示される実施形態では、3つの明確に異なる増幅された信号は、加算増幅器2002に指向されてもよく、これは、有利に簡略化されたケーブル2008を辿って指向される1つの増幅された信号を生産し、各信号は、異なる周波数であってもよい。加算増幅器2002は、増幅器によって受信された全3つの信号を増幅させる、次いで、アナログ/デジタル変換後、(
図20Bに図示されるように)デジタル信号プロセッサを受信し、他端において信号を分離するように構成されてもよい。利得制御が、使用されてもよい。
図20Cは、周波数(F1、F2、およびF3)毎のフィルタを図示し、したがって、信号は、そのような段において分離され戻され、出力されてもよい。3つの信号は、算出アルゴリズム(例えば、センサ姿勢を決定する)によって分析されてもよく、位置または配向結果は、ARシステムによって使用されことができる(例えば、ユーザの瞬間頭部姿勢に基づいて、仮想コンテンツをユーザに適切に表示する)。
例示的EM追跡システム更新
【0101】
図21を参照すると、電磁(「EM」)追跡更新は、ポータブルシステムのための電力の観点から比較的に「高価」であり得、非常に高周波数の更新が可能ではない場合がある。「センサ融合」構成では、IMU等の別のセンサからのより頻繁に更新された位置特定情報は、比較的に高周波数であり得る、またはそうではあり得ない、光学センサ(例えば、カメラまたは深度カメラ)等の別のセンサからのデータとともに組み合わせられてもよい。これらの入力の全てを融合する正味の効果は、より低い需要をEMシステムにかけ、より迅速な更新を提供する。
【0102】
図11Bに戻って参照すると、分散型センサコイル構成が、ARデバイス58のために示される。
図22Aを参照すると、X、Y、Zの方向毎に1つの3つの直交感知コイルを含有する筐体等の単一電磁センサデバイス(604)を伴うARデバイス58が、上記に説明されるように、6自由度追跡のためにウェアラブルコンポーネント(58)に結合されてもよい。また、前述のように、そのようなデバイスは、
図22Bおよび22Cに示されるように、ウェアラブルコンポーネント(58)の異なる場所に取り付けられる3つのサブ部分(例えば、コイル)を伴って、統合解除されてもよい。
図22Cを参照すると、さらなる設計代替を提供するために、各個々のセンサコイルは、任意の所与の直交方向のための全体的磁束が、直交方向毎に単一コイルによってではなく、グループ(148、150、152)によって捕捉されるように、同様に配向されるコイルのグループと置換されてもよい。言い換えると、直交方向毎に1つのコイルではなく、より小さいコイルのグループが、利用され、その信号が、集約され、その直交方向のための信号を形成してもよい。頭部搭載型コンポーネント(58)等の特定のシステムコンポーネントが2つ以上の電磁コイルセンサセットを特徴とする、別の実施形態では、システムは、相互に最も近い(例えば、1cm、2cm、3cm、4cm、5cm、または10cm以内)センサおよびエミッタペアを選択的に利用し、システムの性能を改良または最適化するように構成されてもよい。
ウェアラブルディスプレイシステムを再較正する実施例
【0103】
図23A-23Cを参照すると、本明細書で議論されるもの等のウェアラブルコンピューティングシステムを再較正することが有用であり得、一実施形態では、送信機において生成された音響(例えば、超音波)信号は、受信機における音響センサ(例えば、マイクロホン)および音響飛行時間計算とともに、送信機と受信機との間の音伝搬遅延、それによって、送信機と受信機との間の距離を決定するために利用されてもよい(音の速度が既知であるため)。
図23Aは、一実施形態では、送信機上の3つのコイルが、正弦波のバーストで励起され、同時に、超音波変換器が、好ましくは、コイルのうちの1つと同一周波数の正弦波のバーストで励起され得ることを示す。
図23Bは、EM受信機が、X、Y、Zセンサコイルを使用して、3つのEM波と、マイクロホン(MIC)を使用して、音響超音波とを受信するように構成されてもよいことを図示する。総距離は、3つのEM信号の振幅から計算されてもよい。飛行時間(音伝搬遅延時間2300)は、音響(マイクロホン)応答2302のタイミングとEMコイル2304の応答を比較することによって計算されてもよい(例えば、
図23C参照)。これはまた、距離を計算するために使用されてもよい。電磁的に計算された距離と音響遅延時間2300の比較は、EM TXまたはRX回路を較正するために使用されることができる(例えば、補正係数によって)。
【0104】
図24Aを参照すると、別の実施形態では、カメラを特徴とする拡張現実システムにおいて、距離が、ハンドヘルドコントローラ(例えば、コントローラ606)等の別のデバイス上の既知のサイズ整合特徴(
図24Aでは矢印として描写される)のピクセル単位のサイズを測定することによって計算されてもよい。
【0105】
図24Bを参照すると、別の実施形態では、赤外線(「IR」)深度センサ等の深度センサを特徴とする拡張現実システムにおいて、距離が、そのような深度センサによって計算され、直接、コントローラに報告されてもよい。
【0106】
図24Cおよび24Dを参照すると、いったん総距離が、把握されると、カメラまたは深度センサのいずれかが、空間内の位置を決定するために使用されることができる。拡張現実システムは、1つ以上の仮想整合標的をユーザに投影するように構成されてもよい。ユーザは、コントローラを標的に整合させてもよく、システムは、EM応答からおよび仮想標的の方向に加えて以前に計算された距離からの両方から位置を計算することができる。ロール角度較正が、コントローラ上の既知の特徴とユーザから投影された仮想標的を整合させることによって行われてもよい。ヨーおよびピッチ角度は、仮想標的をユーザに提示し、ユーザに、コントローラ上の2つの特徴と標的(ライフルの照準を合わせるように)を整合させることによって較正されてもよい。
【0107】
図25Aおよび25Bを参照すると、EM追跡システムと関連付けられた固有の曖昧性が存在し得る。すなわち、受信機は、送信機の周囲の2つの対角線上の対向場所において類似応答を生成するであろう。例えば、
図25Aは、類似応答を生成する、ハンドヘルドデバイス606および残影デバイス606aを示す。そのような課題は、特に、送信機および受信機の両方が相互に対してモバイル性であり得るシステムにおいて関連する。
【0108】
一実施形態では、システムは、IMUセンサを使用して、ユーザが基準(例えば、対称)軸のプラス側に存在するかまたはマイナス側に存在するかを決定してもよい。世界カメラおよび深度カメラを特徴とする、上記に説明されるもの等のある実施形態では、システムは、その情報を使用して、ハンドヘルドコンポーネント(例えば、
図25Bにおけるハンドヘルド2500)が基準軸の正の側にあるかまたは負の側にあるかを検出することができる。ハンドヘルド2500が、カメラおよび/または深度センサの視野外にある場合、システムは、ハンドヘルドコンポーネント2500がユーザのすぐ背後にある180度ゾーン内にある、例えば、
図25Bに示されるように、残影位置2500aにあることを決定するように構成されてもよい(またはユーザが決定してもよい)。
付加的側面および利点
【0109】
第1の側面では、頭部搭載型ディスプレイシステムは、装着者の眼の正面に位置付け可能なディスプレイと、ある周波数を有する磁場を生成するように構成される、電磁(EM)場エミッタと、その周波数において磁場を感知するように構成される、EMセンサと、EMセンサから、感知された磁場を示す信号を受信し、受信された信号を分析し、EMセンサの位置または配向を決定するようにプログラムされる、プロセッサとを備える。
【0110】
第2の側面では、ディスプレイは、ライトフィールドディスプレイを備える、側面1に記載の頭部搭載型ディスプレイシステム。
【0111】
第3の側面では、EM場エミッタは、時分割多重化(TDM)回路を備える、側面1または側面2に記載の頭部搭載型ディスプレイシステム。
【0112】
第4の側面では、TDM回路は、複数の無線周波数(RF)送信機コイルのそれぞれにTDM切替される、単一増幅器回路を備える、側面3に記載の頭部搭載型ディスプレイシステム。
【0113】
第5の側面では、EM場エミッタは、周波数を動的に調整するように構成される、側面3または側面4に記載の頭部搭載型ディスプレイシステム。
【0114】
第6の側面では、周波数を動的に調整するために、EM場エミッタは、コンデンサの静電容量を変化させる、またはコンデンサバンク内の複数のコンデンサ間で選択するように構成される、側面5に記載の頭部搭載型ディスプレイシステム。
【0115】
第7の側面では、EM場エミッタは、第1の無線インターフェースを備え、EMセンサは、第2の無線インターフェースおよびTDM回路を備え、EM場エミッタおよびEMセンサは、第1の無線インターフェースと第2の無線インターフェースとの間の無線リンクを確立し、無線リンクを経由して同期させるように構成される、側面3-6のうちのいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0116】
第8の側面では、EM場エミッタは、EMパルスをEMセンサに伝送するように構成され、EM場エミッタまたはEMセンサは、EM場エミッタクロックとEMセンサクロックとの間のタイミング差異を決定するように構成される、側面3-7のうちのいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0117】
第9の側面では、EM場エミッタは、第1のコイルおよび第2のコイルを備え、EM場エミッタは、TDMタイミングプロトコルを適用するように構成され、第1のコイルは、第1の期間の間、伝送する一方、第2のコイルは、第1の期間の間、実質的に伝送せず、第2のコイルは、第1の期間と異なる、第2の期間の間、伝送する一方、第1のコイルは、第2の期間の間、実質的に伝送しない、側面7または側面8に記載の頭部搭載型ディスプレイシステム。
【0118】
第10の側面では、EMセンサは、第3の期間の間、その周波数における非意図的RF干渉を走査し、その周波数における非意図的RF干渉の存在の決定に応答して、その周波数と異なる代替周波数に切り替えるように構成される、側面7-9のうちのいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0119】
第11の側面では、EM場エミッタは、第3の期間の間、伝送を実質的に停止するように構成される、側面10に記載の頭部搭載型ディスプレイシステム。
【0120】
第12の側面では、EM場エミッタは、自動利得制御(AGC)回路を備える、側面1-11のうちのいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0121】
第13の側面では、EMセンサは、AGC回路を含まない、側面12に記載の頭部搭載型ディスプレイシステム。
【0122】
第14の側面では、EM場エミッタのAGC回路は、EMセンサ内でコイルに関する電圧レベルを受信し、少なくとも部分的に、受信された電圧レベルに基づいて、EM場エミッタの増幅段に関する利得を調節するように構成される、側面12または側面13に記載の頭部搭載型ディスプレイシステム。
【0123】
第15の側面では、頭部搭載型ディスプレイシステムはさらに、オーディオスピーカを備え、EMセンサは、ノイズキャンセル回路を備える、側面1-14のうちのいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0124】
第16の側面では、ノイズキャンセル回路は、第1の信号をEMセンサから受信し、第2の信号をオーディオスピーカから受信し、第1の信号および第2の信号を組み合わせ、ノイズキャンセル信号を提供するように構成される、側面15に記載の頭部搭載型ディスプレイシステム。
【0125】
第17の側面では、第1の信号および第2の信号を組み合わせるために、ノイズキャンセル回路は、(a)第2の信号を反転させ、反転された第2の信号を第1の信号に追加する、または(b)第2の信号を第1の信号から減算するように構成される、側面16に記載の頭部搭載型ディスプレイシステム。
【0126】
第18の側面では、ユーザ入力トーテムをさらに備え、ユーザ入力トーテムは、EM場エミッタを備える、側面1-17のうちのいずれか1項に記載の頭部搭載型ディスプレイシステム。
【0127】
第19の側面では、電磁(EM)追跡システムは、第1の周波数を有する第1の磁場を生成するように構成される、第1の送信機コイルと、第2の周波数を有する第2の磁場を生成するように構成される、第2の送信機コイルと、第3の周波数を有する第3の磁場を生成するように構成される、第3の送信機コイルとを備える、EM場エミッタを備え、EM場エミッタは、第1の送信機コイル、第2の送信機コイル、および第3の送信機コイル間で電力を切り替えるように構成される、第1の時分割多重化(TDM)回路を備える。
【0128】
第20の側面では、第1の送信機コイル、第2の送信機コイル、および第3の送信機コイルは、相互に直交軸に沿ってともに配置される、側面19に記載のEM追跡システム。
【0129】
第21の側面では、EM場エミッタは、第1の周波数、第2の周波数、または第3の周波数を動的に調整するように構成される、側面19または側面20に記載のEM追跡システム。
【0130】
第22の側面では、第1、第2、または第3の周波数を動的に調整し、EM場エミッタは、コンデンサの静電容量を変化させるために、またはコンデンサバンク内の複数のコンデンサ間で選択するように構成される、側面19-21のうちのいずれか1項に記載のEM追跡システム。
【0131】
第23の側面では、EM場エミッタは、自動利得制御(AGC)回路とともに構成される、側面19-22のうちのいずれか1項に記載のEM追跡システム。
【0132】
第24の側面では、AGC回路は、デジタル信号プロセッサ(DSP)と増幅段との間の制御ループを備える、側面23に記載のEM追跡システム。
【0133】
第25の側面では、EM場エミッタは、EMセンサ内のコイルに関する電圧レベルを受信し、少なくとも部分的に、受信された電圧レベルに基づいて、EM場エミッタの増幅段に関する利得を調節するように構成される、側面23または側面24に記載のEM追跡システム。
【0134】
第26の側面では、第1の周波数を有する第1の磁場を感知するように構成される第1の受信機コイルと、第2の周波数を有する第2の磁場を感知するように構成される第2の受信機コイルと、第3の周波数を有する第3の磁場を感知するように構成される第3の受信機コイルとを備える、EMセンサをさらに備え、EM場センサは、第1の受信機コイル、第2の受信機コイル、および第3の受信機コイル間で電力を切り替えるように構成される、第2の時分割多重化(TDM)回路を備える、側面19-25のうちのいずれか1項に記載のEM追跡システム。
【0135】
第27の側面では、EM追跡システムは、EM場エミッタとEMセンサとの間の無線リンクを介して、EM場エミッタおよびEMセンサを同期させるように構成される、側面26に記載のEM追跡システム。
【0136】
第28の側面では、EM場エミッタは、EMパルスをEMセンサに伝送するように構成され、EM場エミッタまたはEMセンサは、EM場エミッタクロックとEMセンサクロックとの間のタイミング差異を決定するように構成される、側面27に記載のEM追跡システム。
【0137】
第29の側面では、第1の期間の間、第1の送信機コイルは、第1の周波数を有する第1の磁場を生成するように構成され、その間、第2の送信機コイルおよび第3の送信機コイルは、個別の第2の磁場および第3の磁場を実質的に伝送せず、第1の受信機コイル、EMセンサの第2の受信機コイル、および第3の受信機コイルは、連続してアクティブ化されるように構成される、側面26-28のうちのいずれか1項に記載のEM追跡システム。
【0138】
第30の側面では、第1の期間に続く第2の期間の間、第2の送信機コイルは、第2の周波数を有する第2の磁場を生成するように構成され、その間、第1の送信機コイルおよび第3の送信機コイルは、個別の第1の磁場および第3の磁場を実質的に伝送しないように構成され、EMセンサの第1の受信機コイル、第2の受信機コイル、および第3の受信機コイルは、連続してアクティブ化されるように構成される、側面29に記載のEM追跡システム。
【0139】
第31の側面では、EMセンサは、使用時、周波数を走査するように構成される、側面26-30のうちのいずれか1項に記載のEM追跡システム。
【0140】
第32の側面では、第3の期間の間、第1の送信機コイルは、第1の磁場を実質的に伝送しないように構成され、第1の受信機コイルは、アクティブ化され、第1の周波数における干渉の存在を測定するように構成される、側面31に記載のEM追跡システム。
【0141】
第33の側面では、第1の周波数における干渉の検出に応答して、EM追跡システムは、第1の周波数を異なる周波数に変化させるように構成される、側面32に記載のEM追跡システム。
【0142】
第34の側面では、EMセンサは、磁気干渉源を表す干渉信号を受信し、少なくとも部分的に、干渉信号をキャンセルし、実質的に磁気干渉源のないセンサ信号を出力するように構成される、側面26-33のうちのいずれか1項に記載のEM追跡システム。
【0143】
第35の側面では、電磁(EM)追跡システムは、自動利得制御(AGC)回路および送信機コイルを備えるEM場エミッタと、AGC回路を伴わないEMセンサとを備え、EMセンサは、センサコイルを備える。
【0144】
第36の側面では、EMセンサは、センサコイル信号レベルをEM場エミッタに無線で通信するように構成され、EM場エミッタは、少なくとも部分的に、センサコイル信号レベルに基づいて、送信機コイルの利得を調節するように構成される、側面35に記載のEM追跡システム。
【0145】
第37の側面では、EM場エミッタは、送信機コイルによって放出される無線周波数を動的に調節するように構成される、側面35または側面36に記載のEM追跡システム。
【0146】
第38の側面では、EM場エミッタおよびEMセンサは、時分割多重化を使用して動作するように構成される、側面35-37のうちのいずれか1項に記載のEM追跡システム。
【0147】
第39の側面では、EMセンサは、磁気干渉源を表す干渉信号を受信し、少なくとも部分的に、干渉信号をキャンセルし、実質的に磁気干渉源のないセンサ信号を出力するように構成される、側面35-38のうちのいずれか1項に記載のEM追跡システム。
【0148】
第40の側面では、側面35-39のうちのいずれか1項に記載のEM追跡システムを備える、頭部搭載型拡張現実(AR)ディスプレイデバイス。
【0149】
第41の側面では、EMセンサは、ARディスプレイデバイスのフレーム上に配置される、側面40に記載の頭部搭載型ARディスプレイデバイス。
【0150】
第42の側面では、EM場エミッタは、ハンドヘルドユーザ入力トーテム内に配置される、側面40または側面41に記載の頭部搭載型ARディスプレイデバイス。
【0151】
第43の側面では、拡張現実ディスプレイシステムは、仮想画像を装着者の眼に投影するように構成される、ディスプレイと、ディスプレイを装着者の眼の正面に搭載するように構成される、フレームと、磁場を生成するように構成される、電磁(EM)場エミッタと、磁場を感知するように構成される、EMセンサであって、EM場エミッタまたはEMセンサのうちの一方は、フレームに機械的に結合され、EM場エミッタまたはEMセンサのうちの他方は、フレームに対して独立して移動可能な拡張現実ディスプレイシステムのコンポーネントに機械的に結合される、EMセンサと、EMセンサから、感知された磁場を示す信号を受信し、および受信された信号を分析し、EMセンサの位置または配向を決定するようにプログラムされる、ハードウェアプロセッサとを備える。
【0152】
第44の側面では、ディスプレイは、ライトフィールドディスプレイを備える、側面43に記載の拡張現実ディスプレイシステム。
【0153】
第45の側面では、コンポーネントは、ユーザ入力トーテムまたはベルトパックを備え、EMセンサは、フレームに機械的に結合され、EM場エミッタは、ユーザ入力トーテムまたはベルトパックに機械的に結合される、側面43または側面44に記載の拡張現実ディスプレイシステム。
【0154】
第46の側面では、オーディオスピーカをさらに備え、拡張現実ディスプレイシステムは、オーディオスピーカによって生成された感知される磁場における磁気干渉をキャンセルするように構成される、ノイズキャンセル回路を備える、側面43-45のうちのいずれか1項に記載の拡張現実ディスプレイシステム。オーディオスピーカは、フレームに機械的に結合されてもよい。
【0155】
第47の側面では、ノイズキャンセル回路は、第1の信号をEMセンサから受信し、第2の信号をオーディオスピーカから受信し、第1の信号および第2の信号を組み合わせ、ノイズキャンセル信号を提供するように構成される、側面46に記載の拡張現実ディスプレイシステム。
【0156】
第48の側面では、第1の信号および第2の信号を組み合わせるために、ノイズキャンセル回路は、(a)第2の信号を反転させ、反転された第2の信号を第1の信号に追加する、または(b)第2の信号を第1の信号から減算するように構成される、側面47に記載の拡張現実ディスプレイシステム。
【0157】
第49の側面では、EM場エミッタは、第1の周波数を有する第1の磁場を生成するように構成される、第1の送信機コイルと、第2の周波数を有する第2の磁場を生成するように構成される、第2の送信機コイルと、それぞれ、第1の送信機コイルと第2の送信機コイルとの間で電力を切り替えるように構成される、時分割多重化(TDM)回路とを備える、側面43-48のうちのいずれか1項に記載の拡張現実ディスプレイシステム。
【0158】
第50の側面では、TDM回路は、第1および第2の送信機コイルのそれぞれにTDM切替される、単一増幅器回路を備える、側面49に記載の拡張現実ディスプレイシステム。
【0159】
第51の側面では、第1の送信機コイルおよび第2の送信機コイルは、相互に直交軸に沿って配置される、側面49または側面50に記載の拡張現実ディスプレイシステム。
【0160】
第52の側面では、EM場エミッタは、第1の周波数または第2の周波数を動的に調整するように構成される、側面43-51のうちのいずれか1項に記載の拡張現実ディスプレイシステム。
【0161】
第53の側面では、第1の周波数または第2の周波数を動的に調整するために、EM場エミッタは、コンデンサの静電容量を変化させる、またはコンデンサバンク内の複数のコンデンサ間で選択するように構成される、側面52に記載の拡張現実ディスプレイシステム。
【0162】
第54の側面では、EM場エミッタは、第1の無線インターフェースを備え、EMセンサは、第2の無線インターフェースおよび第2のTDM回路を備え、EM場エミッタおよびEMセンサは、第1の無線インターフェースと第2の無線インターフェースとの間の無線リンクを確立し、無線リンクを経由して、EM場エミッタクロックとEMセンサクロックのタイミングを同期させるように構成される、側面43-53のうちのいずれか1項に記載の拡張現実ディスプレイシステム。
【0163】
第55の側面では、EM場エミッタは、EMパルスをEMセンサに伝送するように構成され、EM場エミッタまたはEMセンサは、EM場エミッタクロックとEMセンサクロックとの間のタイミング差異を決定するように構成される、側面43-54のうちのいずれか1項に記載の拡張現実ディスプレイシステム。別の側面では、側面43-54のうちのいずれか1項に記載のARディスプレイシステムは、EM場エミッタが、音響発生器を備え、EMセンサが、音響センサを備えるように構成されてもよい。ARディスプレイシステムは、少なくとも部分的に、音響信号と電磁信号との間の測定された遅延に基づいて、エミッタとセンサとの間の第1の距離の飛行時間を決定するように構成されてもよい。ARディスプレイシステムはさらに、少なくとも部分的に、電磁信号の振幅に基づいて、エミッタとセンサとの間の第2の距離を決定するように構成されてもよい。ARディスプレイシステムはさらに、少なくとも部分的に、第1の距離と第2の距離の比較に基づいて、システムを較正するように構成されてもよい。
【0164】
第56の側面では、EM場エミッタは、TDMタイミングプロトコルを適用するように構成され、第1の送信機コイルは、第1の期間の間、伝送する一方、第2の送信機コイルは、第1の期間の間、実質的に伝送せず、第2の送信機コイルは、第1の期間と異なる、第2の期間の間、伝送する一方、第1の送信機コイルは、第2の期間の間、実質的に伝送しない、側面49-55のうちのいずれか1項に記載の拡張現実ディスプレイシステム。
【0165】
第57の側面では、EM場エミッタは、第1の周波数において磁場を生成するように構成され、EMセンサは、第1の周波数において非意図的無線周波数(RF)干渉を走査し、第1の周波数における非意図的RF干渉の存在の決定に応答して、第1の周波数と異なる第2の周波数に切り替えるように構成される、側面43-56のうちのいずれか1項に記載の拡張現実ディスプレイシステム。
【0166】
第58の側面では、EM場エミッタは、自動利得制御(AGC)回路を備え、EMセンサ内でコイルに関する電圧レベルを受信し、少なくとも部分的に、受信された電圧レベルに基づいて、EM場エミッタの増幅段に関する利得を調節するように構成される、側面43-57のうちのいずれか1項に記載の拡張現実ディスプレイシステム。
【0167】
第59の側面では、ARディスプレイシステムが、頭部搭載型ARディスプレイと、EMエミッタと、EMセンサを備える、ポータブルユーザ入力デバイスとを備える、拡張現実(AR)ディスプレイシステムのための電磁(EM)追跡システムを動作させる方法が、提供される。本方法は、ポータブルユーザ入力デバイス内のEMエミッタによって、時変磁場を放出するステップと、EMセンサによって、時変磁場を検出するステップと、少なくとも部分的に、検出された磁場に基づいて、EMセンサの姿勢を決定するステップと、少なくとも部分的に、決定された姿勢に基づいて、ARディスプレイシステムのユーザに表示するための仮想コンテンツを決定するステップと、頭部搭載型ARディスプレイによって、仮想コンテンツを表示するステップとを含む。頭部搭載型ARディスプレイは、ライトフィールドディスプレイを備えてもよい。
【0168】
第60の側面では、EMエミッタおよびEMセンサを時間同期させるステップをさらに含む、側面59に記載の方法。
【0169】
第61の側面では、検出された磁場からの磁気干渉をキャンセルするステップをさらに含む、側面59または側面60に記載の方法。
【0170】
第62の側面では、EMセンサの姿勢と関連付けられた実世界座標と仮想コンテンツと関連付けられた仮想世界座標を相関させるステップをさらに含む、側面59-61のいずれか1項に記載の方法。
【0171】
第63の側面では、側面59-62のいずれか1項に記載の方法に従って動作される、ARディスプレイシステム。ARディスプレイシステムは、ライトフィールドディスプレイを備えてもよい。
付加的考慮点
【0172】
本明細書に説明される、および/または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、1つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および/または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ(例えば、サーバ)または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
【0173】
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、(適切な特殊化された実行可能命令を利用する)特定用途向けハードウェアまたは1つまたはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
【0174】
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および/または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール(またはデータ)はまた、無線ベースおよび有線/ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として(例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として)伝送され得、種々の形態(例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして)をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
【0175】
本明細書に説明される、および/または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能(例えば、論理または算術)またはステップを実装するための1つまたはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。
【0176】
本プロセス、方法、およびシステムは、ネットワーク(または分散)コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、パーソナルエリアネットワーク(PAN)、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線または無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。
【0177】
本発明は、対象デバイスを使用して行われ得る方法を含む。方法は、そのような好適なデバイスを提供するという行為を含んでもよい。そのような提供は、エンドユーザによって行われてもよい。換言すれば、「提供する」行為は、単に、エンドユーザが、対象方法において必須デバイスを提供するように、取得し、アクセスし、接近し、位置付けし、設定し、起動し、電源を入れ、または別様に作用することを要求する。本明細書で記載される方法は、論理的に可能である記載された事象の任意の順番で、および事象の記載された順番で実行されてもよい。
【0178】
本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。
【0179】
別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの1つ以上の特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせのバリエーションを対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。
【0180】
とりわけ、「~できる(can)」、「~し得る(could)」、「~し得る(might)」、「~し得る(may)」、「例えば(e.g.,)」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および/またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および/またはステップが、1つまたはそれを上回る実施形態に対していかようにも要求されること、または1つまたはそれを上回る実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および/またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「~を備える」、「~を含む」、「~を有する」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され(およびその排他的意味において使用されず)、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの1つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「a」、「an」、および「the」は、別様に規定されない限り、「1つ以上の」または「少なくとも1つ」を意味するように解釈されるべきである。本明細書で具体的に定義されないことを除いて、本明細書で使用される全ての技術的および科学的用語は、請求項の妥当性を維持されながら、可能な限り広義に一般的に理解される意味を与えられるべきである。
【0181】
本明細書で使用されるように、項目のリスト「のうちの少なくとも1つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「A、B、またはCのうちの少なくとも1つ」は、A、B、C、AおよびB、AおよびC、BおよびC、ならびにA、B、およびCを網羅することが意図される。語句「X、Y、およびZのうちの少なくとも1つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がX、Y、またはZのうちの少なくとも1つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Xのうちの少なくとも1つ、Yのうちの少なくとも1つ、およびZのうちの少なくとも1つがそれぞれ存在するように要求することを示唆することを意図されない。
【0182】
同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または連続的順序で実施されること、または全ての図示される動作が実施されることの必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で1つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、1つ以上の付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。
(項目1)
拡張現実ディスプレイシステムであって、
仮想画像を装着者の眼に投影するように構成されるディスプレイと、
上記ディスプレイを上記装着者の眼の正面に搭載するように構成されるフレームと、
磁場を生成するように構成される電磁(EM)場エミッタと、
上記磁場を感知するように構成されるEMセンサであって、上記EM場エミッタまたは上記EMセンサのうちの一方は、上記フレームに機械的に結合され、上記EM場エミッタまたは上記EMセンサのうちの他方は、上記フレームに対して独立して移動可能な上記拡張現実ディスプレイシステムのコンポーネントに機械的に結合される、EMセンサと、
ハードウェアプロセッサであって、
上記EMセンサから、感知された磁場を示す信号を受信することと、
上記受信された信号を分析し、上記EMセンサの位置または配向を決定することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、拡張現実ディスプレイシステム。
(項目2)
上記ディスプレイは、ライトフィールドディスプレイを備える、項目1に記載の拡張現実ディスプレイシステム。
(項目3)
上記コンポーネントは、ユーザ入力トーテムまたはベルトパックを備え、
上記EMセンサは、上記フレームに機械的に結合され、
上記EM場エミッタは、上記ユーザ入力トーテムまたは上記ベルトパックに機械的に結合される、
項目1に記載の拡張現実ディスプレイシステム。
(項目4)
オーディオスピーカをさらに備え、
上記拡張現実ディスプレイシステムは、上記オーディオスピーカによって生成された感知される磁場における磁気干渉をキャンセルするように構成されるノイズキャンセル回路を備える、
項目1に記載の拡張現実ディスプレイシステム。
(項目5)
上記ノイズキャンセル回路は、
第1の信号を上記EMセンサから受信することと、
第2の信号を上記オーディオスピーカから受信することと、
上記第1の信号および上記第2の信号を組み合わせ、ノイズキャンセル信号を提供することと
を行うように構成される、項目4に記載の拡張現実ディスプレイシステム。
(項目6)
上記第1の信号および上記第2の信号を組み合わせるために、上記ノイズキャンセル回路は、(a)上記第2の信号を反転させ、上記反転された第2の信号を上記第1の信号に追加すること、または(b)上記第2の信号を上記第1の信号から減算することを行うように構成される、項目5に記載の拡張現実ディスプレイシステム。
(項目7)
上記EM場エミッタは、
第1の周波数を有する第1の磁場を生成するように構成される第1の送信機コイルと、
第2の周波数を有する第2の磁場を生成するように構成される第2の送信機コイルと、
それぞれ、上記第1の送信機コイルと上記第2の送信機コイルとの間で電力を切り替えるように構成される、時分割多重化(TDM)回路と
を備える、項目1に記載の拡張現実ディスプレイシステム。
(項目8)
上記TDM回路は、上記第1および第2の送信機コイルのそれぞれにTDM切替される、単一増幅器回路を備える、項目7に記載の拡張現実ディスプレイシステム。
(項目9)
上記第1の送信機コイルおよび上記第2の送信機コイルは、相互に直交軸に沿って配置される、項目7に記載の拡張現実ディスプレイシステム。
(項目10)
上記EM場エミッタは、上記第1の周波数または上記第2の周波数を動的に調整するように構成される、項目7に記載の拡張現実ディスプレイシステム。
(項目11)
上記第1の周波数または上記第2の周波数を動的に調整するために、上記EM場エミッタは、コンデンサの静電容量を変化させるかまたはコンデンサバンク内の複数のコンデンサ間で選択するように構成される、項目10に記載の拡張現実ディスプレイシステム。
(項目12)
上記EM場エミッタは、第1の無線インターフェースを備え、上記EMセンサは、第2の無線インターフェースおよび第2のTDM回路を備え、上記EM場エミッタおよび上記EMセンサは、
上記第1の無線インターフェースと上記第2の無線インターフェースとの間の無線リンクを確立することと、
上記無線リンクを経由して、EM場エミッタクロックとEMセンサクロックのタイミングを同期させることと
を行うように構成される、項目7に記載の拡張現実ディスプレイシステム。
(項目13)
上記EM場エミッタは、EMパルスを上記EMセンサに伝送するように構成され、上記EM場エミッタまたは上記EMセンサは、EM場エミッタクロックとEMセンサクロックとの間のタイミング差異を決定するように構成される、項目7に記載の拡張現実ディスプレイシステム。
(項目14)
上記EM場エミッタは、TDMタイミングプロトコルを適用するように構成され、
上記第1の送信機コイルは、第1の期間の間、伝送する一方、上記第2の送信機コイルは、上記第1の期間の間、実質的に伝送せず、
上記第2の送信機コイルは、上記第1の期間と異なる、第2の期間の間、伝送する一方、上記第1の送信機コイルは、上記第2の期間の間、実質的に伝送しない、項目7に記載の拡張現実ディスプレイシステム。
(項目15)
上記EM場エミッタは、第1の周波数において上記磁場を生成するように構成され、上記EMセンサは、
上記第1の周波数において非意図的無線周波数(RF)干渉を走査することと、
上記第1の周波数における非意図的RF干渉の存在の決定に応答して、上記第1の周波数と異なる第2の周波数に切り替えることと
を行うように構成される、項目1に記載の拡張現実ディスプレイシステム。
(項目16)
上記EM場エミッタは、
自動利得制御(AGC)回路であって、
上記EMセンサ内でコイルに関する電圧レベルを受信することと、
少なくとも部分的に、上記受信された電圧レベルに基づいて、上記EM場エミッタの増幅段に関する利得を調節することと
を行うように構成される、自動利得制御(AGC)回路
を備える、項目1に記載の拡張現実ディスプレイシステム。
(項目17)
拡張現実(AR)ディスプレイシステムのための電磁(EM)追跡システムを動作させる方法であって、上記ARディスプレイシステムは、頭部搭載型ARディスプレイと、EMエミッタと、EMセンサを備えるポータブルユーザ入力デバイスとを備え、上記方法は、
上記ポータブルユーザ入力デバイス内のEMエミッタによって、時変磁場を放出することと、
上記EMセンサによって、上記時変磁場を検出することと、
少なくとも部分的に、上記検出された磁場に基づいて、上記EMセンサの姿勢を決定することと、
少なくとも部分的に、上記決定された姿勢に基づいて、上記ARディスプレイシステムのユーザに表示するための仮想コンテンツを決定することと、
上記頭部搭載型ARディスプレイによって、上記仮想コンテンツを表示することと
を含む、方法。
(項目18)
上記EMエミッタおよび上記EMセンサを時間同期させることをさらに含む、項目17に記載の方法。
(項目19)
上記検出された磁場からの磁気干渉をキャンセルすることをさらに含む、項目17に記載の方法。
(項目20)
上記EMセンサの姿勢と関連付けられた実世界座標と上記仮想コンテンツと関連付けられた仮想世界座標を相関させることをさらに含む、項目17に記載の方法。