(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-28
(45)【発行日】2024-09-05
(54)【発明の名称】拡張現実のためのシステムおよび方法
(51)【国際特許分類】
G06F 3/01 20060101AFI20240829BHJP
【ＦＩ】
G06F3/01 510
【請求項の数】
15
(21)【出願番号】P 2023115823
(22)【出願日】2023-07-14
(62)【分割の表示】P 2020537488の分割
【原出願日】2019-02-05
(65)【公開番号】P2023126474
(43)【公開日】2023-09-07
【審査請求日】2023-07-14
(31)【優先権主張番号】62/627,155
(32)【優先日】2018-02-06
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】514108838
【氏名又は名称】マジック リープ， インコーポレイテッド
【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．
【住所又は居所原語表記】７５００ Ｗ ＳＵＮＲＩＳＥ ＢＬＶＤ，ＰＬＡＮＴＡＴＩＯＮ，ＦＬ ３３３２２ ＵＳＡ
(74)【代理人】
【識別番号】100104824
【弁理士】
【氏名又は名称】穐場 仁
(74)【代理人】
【識別番号】100121463
【弁理士】
【氏名又は名称】矢口 哲也
(74)【代理人】
【識別番号】100137969
【弁理士】
【氏名又は名称】岡部 憲昭
(72)【発明者】
【氏名】ポール グレコ
【審査官】酒井 保
(56)【参考文献】
【文献】特開２０１５－１１８４４２（ＪＰ，Ａ）
【文献】特表２０１６－５３２１７８（ＪＰ，Ａ）
【文献】国際公開第２０１７／０３７９６２（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１７／０３０７８９１（ＵＳ，Ａ１）
【文献】特表２０１９－５２２８３２（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１６／０２５９４０４（ＵＳ，Ａ１）
【文献】特表２０１８－５１１１２２（ＪＰ，Ａ）
【文献】中国特許出願公開第１０７５３３２３３（ＣＮ，Ａ）
【文献】山添大丈，ヘッドマウントカメラ画像と固定カメラ画像を用いた頭部位置・姿勢推定，電子情報通信学会論文誌，J89-D(1)，(社)電子情報通信学会，2006年01月01日，14-26
【文献】木村亮太，拡張現実を用いた福祉車両の操縦支援システム，ロボティクスメカトロニクス講演会 2017 講演論文集，(社)日本機械学会，2017年05月09日，2A1-J08(1-4)，学術文献等DB
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１
(57)【特許請求の範囲】
【請求項1】
方法であって、前記方法は、
頭部装備型構成要素において位置の情報を示す環境的特性を受信することと、
前記受信された環境的特性に基づく前記頭部装備型構成要素の環境座標フレームにおける頭部装備型構成要素の姿勢を決定することと、
前記頭部装備型構成要素において、少なくとも１つの手持ち型構成要素の前記頭部装備型構成要素に対する相対的な位置の側面を受信することと、
頭部装備型構成要素座標フレームにおける前記少なくとも１つの手持ち型構成要素の相対的な手持ち型構成要素の姿勢を決定することと、
前記少なくとも１つの手持ち型構成要素において、前記頭部装備型構成要素に対する前記相対的な位置の側面を受信することと、
前記相対的な位置の側面を、前記頭部装備型構成要素座標フレームにおける相対的な手持ち型構成要素の姿勢に変換することと、
前記環境座標フレームにおける前記頭部装備型構成要素の姿勢を、前記少なくとも１つの手持ち型構成要素と共有すること、および、前記頭部装備型構成要素座標フレームにおける前記相対的な手持ち型構成要素の姿勢を、前記頭部装備型構成要素と共有することを実行することと、
前記相対的な手持ち型構成要素の姿勢に基づいて、前記環境座標フレームにおける前記頭部装備型構成要素の姿勢を更新することと、
前記環境座標フレームにおける前記頭部装備型構成要素の姿勢に基づいて、前記頭部装備型構成要素座標フレームにおける前記相対的な手持ち型構成要素の姿勢を更新することと
を含む、方法。
【請求項2】
前記相対的な手持ち型構成要素の姿勢を更新する前に、前記環境座標フレームにおける制御および処理モジュールから前記頭部装備型構成要素へ、前記相対的な位置の側面を送信することをさらに含む、請求項１に記載の方法。
【請求項3】
前記環境座標フレームにおける前記頭部装備型構成要素の姿勢を更新することは、前記頭部装備型構成要素座標フレームにおける前記相対的な手持ち型構成要素の姿勢を更新する前に実施される、請求項１に記載の方法。
【請求項4】
前記頭部装備型構成要素座標フレームにおける前記相対的な手持ち型構成要素の姿勢を、前記環境座標フレームにおける手持ち型構成要素の姿勢に変換することをさらに含む、請求項１に記載の方法。
【請求項5】
前記環境座標フレームにおける制御および処理モジュールから前記少なくとも１つの手持ち型構成要素へ、前記相対的な位置の側面を送信することをさらに含む、請求項１に記載の方法。
【請求項6】
前記環境座標フレームにおける手持ち型構成要素の姿勢を決定することをさらに含む、請求項５に記載の方法。
【請求項7】
前記頭部装備型構成要素と共有された前記相対的な手持ち型構成要素の姿勢を、前記環境座標フレームにおける前記手持ち型構成要素の姿勢で更新することをさらに含む、請求項６に記載の方法。
【請求項8】
環境的特性を受信することは、画像ベースの特徴抽出およびローカル化を備える、請求項１に記載の方法。
【請求項9】
前記環境座標フレームにおける前記頭部装備型構成要素の姿勢は、無線接続を介して前記少なくとも１つの手持ち型構成要素と共有される、請求項１に記載の方法。
【請求項10】
前記頭部装備型構成要素座標フレームにおける前記相対的な手持ち型構成要素の姿勢は、無線接続を介して前記頭部装備型構成要素と共有される、請求項１に記載の方法。
【請求項11】
前記少なくとも１つの手持ち型構成要素は、手持ち型コントローラを含む、請求項１に記載の方法。
【請求項12】
前記位置の情報を示す環境的特性は、前記頭部装備型構成要素に結合されたセンサを利用することによって前記頭部装備型構成要素において受信される、請求項１に記載の方法。
【請求項13】
複数のフィデューシャルが、前記少なくとも１つの手持ち型構成要素に結合される、請求項１に記載の方法。
【請求項14】
前記複数のフィデューシャルは、前記頭部装備型構成要素座標フレームにおける前記少なくとも１つの手持ち型構成要素の前記相対的な手持ち型構成要素の姿勢を決定するために利用される、請求項１３に記載の方法。
【請求項15】
赤外線スペクトルビーコンが、前記頭部装備型構成要素座標フレームにおける前記少なくとも１つの手持ち型構成要素の前記相対的な手持ち型構成要素の姿勢を決定するために利用される、請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願）
本出願は、２０１８年２月６日に出願された米国仮特許出願第６２／６２７１５５号の優先権およびその利益を主張し、その内容は、その全体が参照によって本明細書に援用される。
本出願は、２０１８年２月６日に出願された米国仮特許出願第６２／６２７１５５号の優先権およびその利益を主張し、その内容は、その全体が参照によって本明細書に援用される。
【0002】
（発明の分野）
本開示は、拡張現実システムの脈絡において１または複数の物体の位置および向きをローカル化（ｌｏｃａｌｉｚｅ）するためのシステムおよび方法に関する。
本開示は、拡張現実システムの脈絡において１または複数の物体の位置および向きをローカル化（ｌｏｃａｌｉｚｅ）するためのシステムおよび方法に関する。
【背景技術】
【0003】
（背景）
現代の計算およびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進してきた。「仮想現実」または「拡張現実」体験において、デジタル方式で再現された画像またはその一部は、それらが現実であるように見えるかまたは現実として知覚され得るかの態様で、ユーザへ提示される。仮想現実、換言すれば「ＶＲ」シナリオは、典型的に、他の実際の現実世界の視覚的入力に対する透過性のない、デジタルまたは仮想画像情報の提示を伴う。拡張現実、換言すれば「ＡＲ」シナリオは、典型的に、ユーザの周りの実際の世界の視覚化への拡張として、デジタルまたは仮想画像情報の提示を伴う。
現代の計算およびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進してきた。「仮想現実」または「拡張現実」体験において、デジタル方式で再現された画像またはその一部は、それらが現実であるように見えるかまたは現実として知覚され得るかの態様で、ユーザへ提示される。仮想現実、換言すれば「ＶＲ」シナリオは、典型的に、他の実際の現実世界の視覚的入力に対する透過性のない、デジタルまたは仮想画像情報の提示を伴う。拡張現実、換言すれば「ＡＲ」シナリオは、典型的に、ユーザの周りの実際の世界の視覚化への拡張として、デジタルまたは仮想画像情報の提示を伴う。
【0004】
例えば、図１を参照すると、拡張現実シーン（４）が描写されており、この拡張シーンでは、ＡＲ技術のユーザは、人々、木、背景の建物、およびコンクリートのプラットフォーム（１１２０）を特徴とする現実世界の公園のような情景（６）を見ている。これらのアイテムに加えて、ＡＲ技術のユーザはまた、現実世界のプラットフォーム（１１２０）上に建っているロボットの像（１１１０）、および飛んでいることによりマルハナバチの擬人化であるように見えるアニメのようなアバターキャラクター（２）を、これらの要素（２、１１１０）は現実世界には存在していないにもかかわらず、彼が「見ている」と知覚する。結論から言うと、人間の視覚的知覚系は非常に複雑であり、他の仮想画像要素または現実世界の画像要素の中での仮想画像要素の快適で自然感のある豊かな提示を促進するＶＲまたはＡＲ技術を生産することは難題である。
【0005】
例えば、頭部着用型ＡＲディスプレイ（または、ヘルメット装備型のディスプレイ、またはスマートグラス）は、典型的に、少なくとも緩くユーザの頭部に結合され、従って、ユーザの頭部が動くときに動く。ユーザの頭部の運動がディスプレイシステムによって検出される場合、表示されているデータは、頭部の姿勢の変化を考慮に入れるために更新され得る。
【0006】
例として、頭部着用型ディスプレイを着用しているユーザが、ディスプレイ上で３次元（３Ｄ）物体の仮想表現を眺め、３Ｄ物体が出現する区域の周りを歩く場合、その３Ｄ物体は、各々の視点に対して再レンダリングされ得、ユーザに、彼または彼女が現実の空間を占める物体の周りを歩いているという知覚を与える。頭部着用型ディスプレイが、仮想空間（例えば、豊かな仮想世界）内で複数の物体を提示するために用いられる場合、頭部の姿勢（すなわち、ユーザの頭部の場所および向き）の測定は、ユーザの動的に変化する頭部の場所および向きに適合するようにシーンを再レンダリングするために用いられ得、仮想空間への増加した没入感を提供し得る。
【0007】
ＡＲシステムでは、頭部の姿勢の検出または計算は、ユーザへ意味をなす態様で現実世界における空間を占めるように仮想物体が出現するように、ディスプレイシステムが仮想物体をレンダリングすることを促進し得る。加えて、ユーザの頭部またはＡＲシステムとの関係における、手持ち型デバイス（「トーテム」とも称され得る）、触覚型デバイス、または他の現実の物理的物体のような、現実の物体の位置および／または向きの検出はまた、ユーザがＡＲシステムの特定の側面と効果的に相互作用することを可能とするために、ディスプレイ情報をユーザに提示することにおいてディスプレイシステムを促進し得る。現実世界でユーザの頭部が動き回るにつれて、仮想物体は、頭部の姿勢の関数として再レンダリングされ得、それによって、仮想物体が現実世界に対して安定したままで出現する。ＡＲ用途のために少なくとも、物理的物体への空間的関係における仮想物体の設置（例えば、２次元または３次元における物理的物体の空間的に近くに出現するように提示される）は、些細でない問題であり得る。例えば、頭部の動きは、周囲の環境の眺めにおける仮想物体の設置を有意に複雑にし得る。そのようなことは、眺めが周囲の環境の画像として捕捉され、それからエンドユーザに投影または表示されるかどうか、または、エンドユーザが周囲の環境の眺めを直接的に知覚するかどうかということに当てはまる。例えば、頭部の動きは、エンドユーザの視野が変化することを引き起こし得、これは、種々の仮想物体がエンドユーザの視野内で表示される場所の更新を要求し得る。
【0008】
さらに、頭部の動きは、多種の範囲および速さ内で発生し得る。頭部の動きの速さはまた、頭部の異なる動きの間だけでなく、頭部の単一の動きの範囲内またはその範囲にわたっても変わり得る。例えば、頭部の動きの速さは、初めに開始するポイントから（例えば線形的にまたはそうでなく）増加し得、かつ終了するポイントが到達されるにつれて減少し得、頭部の動きの開始するポイントおよび終了するポイントの間のどこかで最大の速さを取得する。速い頭部の動きは、エンドユーザに均一かつ／または滑らかな運動として出現する画像をレンダリングするための特定のディスプレイまたは投影技術の能力を上回りさえし得る。
【0009】
頭部追跡の正確性およびレイテンシ（すなわち、ユーザが、彼または彼女の頭部を動かすときと、画像が更新されかつユーザへ表示されるときとの間の経過時間）は、ＶＲおよびＡＲシステムについての難題であった。特に、ユーザの視界の実質的な部分を仮想要素で満たすディスプレイシステムについては、頭部追跡の正確性が高いこと、および、頭部の運動の第１の検出から、ディスプレイによってユーザの視覚系へ送達される光の更新までの全体のシステムレイテンシが、非常に低いことが重大である。レイテンシが高い場合、システムは、ユーザの前庭系と視覚的感覚系との間の不適合を創出し得、かつ乗り物酔いまたはシミュレータ症へ導き得るユーザ知覚シナリオを生成し得る。システムレイテンシが高い場合、仮想物体の見かけの場所は、速い頭部の運動の間、不安定に出現することになる。
【0010】
頭部着用型ディスプレイシステムに加えて、他のディスプレイシステムは、正確かつ低レイテンシの頭部の姿勢の検出からの利益を受け得る。これらは、頭部被追跡ディスプレイシステムを含み、このシステムでは、ディスプレイはユーザの身体に着用されないが、例えば壁または他の表面上に装備される。頭部被追跡ディスプレイは、シーン上への窓のように振る舞い、ユーザが彼の頭部を「窓」に対して動かすにつれて、ユーザの変化する視点に適合するようにシーンが再レンダリングされる。他のシステムは、頭部着用型ディスプレイが現実世界上へ光を投影する頭部着用型投影システムを含む。
【0011】
加えて、本物のような拡張現実体験を提供するために、ＡＲシステムは、ユーザと相互作用するように設計され得る。例えば、複数のユーザが、仮想のボールおよび／または他の仮想物体で球技を行い得る。１人のユーザが仮想のボールを「キャッチ」し得、かつボールを別のユーザへ投げ返し得る。別の実施形態では、第１のユーザは、仮想のボールを打つために、トーテム（例えば、ＡＲシステムへ通信可能に結合された現実のバット）が提供され得る。他の実施形態では、ユーザが多くの選択肢のうちの１つを選択することを可能とするために、仮想ユーザインタフェースがＡＲユーザへ提示され得る。ユーザはトーテム、触覚型デバイス、ウェアラブル構成要素を用い得るか、または、単純に、システムと相互作用するための仮想スクリーンに触れ得る。
【0012】
ユーザの頭部の姿勢および向きを検出すること、および空間内の現実物体の物理的な場所を検出することは、ＡＲシステムが、効果的かつ愉快な態様で仮想コンテンツを表示することを可能とする。しかし、これらの性能は、ＡＲシステムにとっての要であるが、達成することが難しい。つまり、ＡＲシステムは、現実物体（例えば、ユーザの頭部、トーテム、触覚型デバイス、ウェアラブル構成要素、ユーザの手部等）の物理的な場所を認識しなければならず、かつ、現実物体の物理的な座標を、ユーザへ表示される１または複数の仮想物体に対応する仮想座標に相関させなければならない。このことは、高速で１または複数の物体の位置および向きを追跡する大いに正確なセンサおよびセンサ認識システムを要求する。現在の手法は、満足な速さまたは精密な標準でローカル化を遂行しない。
【0013】
従って、ＡＲデバイスおよびＶＲデバイスの脈絡におけるより良いローカル化システムに対するニーズが存在する。
本発明は、例えば、以下を提供する。
（項目１）
複数の感知構成要素を操作するユーザをローカル化する方法であって、前記方法は、
制御および処理モジュールによって第１の姿勢データを送信することと、
第１の構成要素において前記第１の姿勢データを受信することと、
前記第１の姿勢データを、前記制御および処理モジュールに基づく座標フレームにおける第１の構成要素の相対的な姿勢に変換することと、
前記変換された第１の構成要素の相対的な姿勢で、前記第１の構成要素と通信するディスプレイユニットを更新することと
を備える、方法。
（項目２）
第２の構成要素において前記第１の姿勢データを受信することと、
前記第１の姿勢データを、前記制御および処理モジュールに基づく座標フレームにおける第２の構成要素の相対的な姿勢に変換することと、
前記第２の構成要素の相対的な姿勢を前記第１の構成要素と共有することと、
前記変換された第２の構成要素の相対的な姿勢に基づいて、前記第１の構成要素の姿勢を更新することと
をさらに備える、項目１に記載の方法。
（項目３）
前記第１の構成要素は、頭部装備型ウェアラブル構成要素である、項目１または２に記載の方法。
（項目４）
前記第２の構成要素は、手持ち型構成要素である、項目３に記載の方法。
（項目５）
前記第１の構成要素は、手持ち型ウェアラブル構成要素である、項目１または２に記載の方法。
（項目６）
前記第２の構成要素は、頭部装備型構成要素である、項目５に記載の方法。
（項目７）
前記第１の姿勢データを送信することは、電磁場信号を送信することを備える、項目１に記載の方法。
（項目８）
前記電磁場信号は、可視スペクトル内にある、項目７に記載の方法。
（項目９）
前記電磁場信号は、赤外線スペクトル内にある、項目７に記載の方法。
（項目１０）
前記第１の姿勢データを受信することは、赤外線マーカーの視覚的捕捉を備える、項目１に記載の方法。
（項目１１）
前記第１の姿勢データを受信することは、フィデューシャルマーカーの視覚的捕捉を備える、項目２に記載の方法。
（項目１２）
複数の感知構成要素を操作するユーザをローカル化する方法であって、前記方法は、
頭部装備型構成要素において位置の情報を示す環境的特性を受信することと、
前記受信された環境的特性に基づく前記頭部装備型構成要素の環境座標フレームにおける頭部装備型構成要素の姿勢を決定することと、
少なくとも１つの手持ち型構成要素において前記少なくとも１つの手持ち型構成要素の前記頭部装備型構成要素に対する相対的な位置の側面を受信することと、
頭部装備型構成要素座標フレームにおける前記少なくとも１つの手持ち型構成要素の相対的な手持ち型構成要素の姿勢を決定することと、
前記環境座標フレームにおける前記決定された頭部装備型構成要素の姿勢を、前記少なくとも１つの手持ち型構成要素と共有すること、および、前記頭部装備型構成要素座標フレームにおける前記相対的な手持ち型構成要素の姿勢を、前記頭部装備型構成要素と共有することを実行することと、
前記頭部装備型座標フレームにおける前記少なくとも１つの手持ち型構成要素の前記相対的な姿勢を更新することと
を備える、方法。
（項目１３）
前記少なくとも１つの手持ち型構成要素の前記相対的な位置を更新する前に、前記環境座標フレームにおける制御および処理モジュールから前記頭部装備型構成要素へ、相対的な位置の側面を送信することをさらに備える、項目１２に記載の方法。
（項目１４）
前記少なくとも１つの手持ち型コントローラの前記相対的な位置を更新する前に、前記環境座標フレームにおける前記頭部装備型構成要素の姿勢を更新することをさらに備える、項目１３に記載の方法。
（項目１５）
前記頭部装備型座標フレームにおける前記少なくとも１つの手持ち型構成要素の前記相対的な位置を、前記環境的座標フレームにおける手持ち型構成要素の姿勢に変換することをさらに備える、項目１２に記載の方法。
（項目１６）
前記環境座標フレームにおける制御および処理モジュールから前記少なくとも１つの手持ち型構成要素へ、相対的な位置の側面を送信することをさらに備える、項目１２に記載の方法。
（項目１７）
前記環境座標フレームにおける手持ち型構成要素の姿勢を決定することをさらに備える、項目１６に記載の方法。
（項目１８）
前記頭部装備型構成要素と共有された前記相対的な手持ち型構成要素の姿勢を、前記環境座標フレームにおける前記手持ち型構成要素の姿勢で更新することをさらに備える、項目１７に記載の方法。
（項目１９）
環境的特性を受信することは、画像ベースの特徴抽出およびローカル化を備える、項目１２に記載の方法。
本発明は、例えば、以下を提供する。
（項目１）
複数の感知構成要素を操作するユーザをローカル化する方法であって、前記方法は、
制御および処理モジュールによって第１の姿勢データを送信することと、
第１の構成要素において前記第１の姿勢データを受信することと、
前記第１の姿勢データを、前記制御および処理モジュールに基づく座標フレームにおける第１の構成要素の相対的な姿勢に変換することと、
前記変換された第１の構成要素の相対的な姿勢で、前記第１の構成要素と通信するディスプレイユニットを更新することと
を備える、方法。
（項目２）
第２の構成要素において前記第１の姿勢データを受信することと、
前記第１の姿勢データを、前記制御および処理モジュールに基づく座標フレームにおける第２の構成要素の相対的な姿勢に変換することと、
前記第２の構成要素の相対的な姿勢を前記第１の構成要素と共有することと、
前記変換された第２の構成要素の相対的な姿勢に基づいて、前記第１の構成要素の姿勢を更新することと
をさらに備える、項目１に記載の方法。
（項目３）
前記第１の構成要素は、頭部装備型ウェアラブル構成要素である、項目１または２に記載の方法。
（項目４）
前記第２の構成要素は、手持ち型構成要素である、項目３に記載の方法。
（項目５）
前記第１の構成要素は、手持ち型ウェアラブル構成要素である、項目１または２に記載の方法。
（項目６）
前記第２の構成要素は、頭部装備型構成要素である、項目５に記載の方法。
（項目７）
前記第１の姿勢データを送信することは、電磁場信号を送信することを備える、項目１に記載の方法。
（項目８）
前記電磁場信号は、可視スペクトル内にある、項目７に記載の方法。
（項目９）
前記電磁場信号は、赤外線スペクトル内にある、項目７に記載の方法。
（項目１０）
前記第１の姿勢データを受信することは、赤外線マーカーの視覚的捕捉を備える、項目１に記載の方法。
（項目１１）
前記第１の姿勢データを受信することは、フィデューシャルマーカーの視覚的捕捉を備える、項目２に記載の方法。
（項目１２）
複数の感知構成要素を操作するユーザをローカル化する方法であって、前記方法は、
頭部装備型構成要素において位置の情報を示す環境的特性を受信することと、
前記受信された環境的特性に基づく前記頭部装備型構成要素の環境座標フレームにおける頭部装備型構成要素の姿勢を決定することと、
少なくとも１つの手持ち型構成要素において前記少なくとも１つの手持ち型構成要素の前記頭部装備型構成要素に対する相対的な位置の側面を受信することと、
頭部装備型構成要素座標フレームにおける前記少なくとも１つの手持ち型構成要素の相対的な手持ち型構成要素の姿勢を決定することと、
前記環境座標フレームにおける前記決定された頭部装備型構成要素の姿勢を、前記少なくとも１つの手持ち型構成要素と共有すること、および、前記頭部装備型構成要素座標フレームにおける前記相対的な手持ち型構成要素の姿勢を、前記頭部装備型構成要素と共有することを実行することと、
前記頭部装備型座標フレームにおける前記少なくとも１つの手持ち型構成要素の前記相対的な姿勢を更新することと
を備える、方法。
（項目１３）
前記少なくとも１つの手持ち型構成要素の前記相対的な位置を更新する前に、前記環境座標フレームにおける制御および処理モジュールから前記頭部装備型構成要素へ、相対的な位置の側面を送信することをさらに備える、項目１２に記載の方法。
（項目１４）
前記少なくとも１つの手持ち型コントローラの前記相対的な位置を更新する前に、前記環境座標フレームにおける前記頭部装備型構成要素の姿勢を更新することをさらに備える、項目１３に記載の方法。
（項目１５）
前記頭部装備型座標フレームにおける前記少なくとも１つの手持ち型構成要素の前記相対的な位置を、前記環境的座標フレームにおける手持ち型構成要素の姿勢に変換することをさらに備える、項目１２に記載の方法。
（項目１６）
前記環境座標フレームにおける制御および処理モジュールから前記少なくとも１つの手持ち型構成要素へ、相対的な位置の側面を送信することをさらに備える、項目１２に記載の方法。
（項目１７）
前記環境座標フレームにおける手持ち型構成要素の姿勢を決定することをさらに備える、項目１６に記載の方法。
（項目１８）
前記頭部装備型構成要素と共有された前記相対的な手持ち型構成要素の姿勢を、前記環境座標フレームにおける前記手持ち型構成要素の姿勢で更新することをさらに備える、項目１７に記載の方法。
（項目１９）
環境的特性を受信することは、画像ベースの特徴抽出およびローカル化を備える、項目１２に記載の方法。
【図面の簡単な説明】
【0014】
（図面の簡単な説明）
図面は、本発明の種々の実施形態の設計および有用性を図示する。図は正確な縮尺で描かれておらず、かつ、同様の構造または機能の要素は図全体にわたって類似の参照番号により表されることを留意されるべきである。本発明の種々の実施形態の、上記で記載された利点および目的、ならびに他の利点および目的を取得する方法をより良く認識するために、上記で簡単に説明された本発明のより詳細な説明が、付随する図面において図示される本発明の特有の実施形態の参照によって与えられる。これらの図面は、本発明の典型的な実施形態のみを描写しており、かつ、従ってその範囲の限定としてみなされるべきではないことを理解した上で、付随する図面の使用を通して、追加の具体性および詳細と共に、本発明を記載および説明する。
図面は、本発明の種々の実施形態の設計および有用性を図示する。図は正確な縮尺で描かれておらず、かつ、同様の構造または機能の要素は図全体にわたって類似の参照番号により表されることを留意されるべきである。本発明の種々の実施形態の、上記で記載された利点および目的、ならびに他の利点および目的を取得する方法をより良く認識するために、上記で簡単に説明された本発明のより詳細な説明が、付随する図面において図示される本発明の特有の実施形態の参照によって与えられる。これらの図面は、本発明の典型的な実施形態のみを描写しており、かつ、従ってその範囲の限定としてみなされるべきではないことを理解した上で、付随する図面の使用を通して、追加の具体性および詳細と共に、本発明を記載および説明する。
【0015】
【0016】
【0017】
【0018】
【0019】
【0020】
【0021】
【0022】
【0023】
【0024】
【0025】
【0026】
【発明を実施するための形態】
【0027】
（詳細な説明）
図２Ａ－図２Ｄを参照すると、いくつかの概略的な構成部品の選択肢が図示されている。図２Ａ－図２Ｄの議論に従う詳細な説明の部分では、人間のＶＲおよび／またはＡＲについての高品質で快適に知覚されるディスプレイシステムを提供する目標に取り組むために、種々のシステム、サブシステムおよび構成要素が提示される。
図２Ａ－図２Ｄを参照すると、いくつかの概略的な構成部品の選択肢が図示されている。図２Ａ－図２Ｄの議論に従う詳細な説明の部分では、人間のＶＲおよび／またはＡＲについての高品質で快適に知覚されるディスプレイシステムを提供する目標に取り組むために、種々のシステム、サブシステムおよび構成要素が提示される。
【0028】
図２Ａに示されるように、ＡＲシステムのユーザ（６０）は、ユーザの目の前方に位置付けられるディスプレイシステム（６２）に結合されたフレーム（６４）構造を特徴とする頭部装備型構成要素（５８）を着用して描写されている。スピーカ（６６）は、描写されている構成においてフレーム（６４）に結合され、かつ、ユーザの外耳道に隣接して位置付けられる（１つの実施形態では、ステレオサウンド制御／成形可能なサウンド制御を提供するために、示されていない別のスピーカがユーザの他の外耳道に隣接して位置付けられる）。ディスプレイ（６２）は、有線のリードまたは無線の接続による等で、ローカル処理およびデータモジュール（７０）に作用可能に結合される（６８）。ローカル処理およびデータモジュール（７０）は、フレーム（６４）に固定的に取り付けられるか、図２Ｂの実施形態に示されるようにヘルメットまたは帽子（８０）に固定的に取り付けられるか、ヘッドホンの中に埋め込まれるか、図２Ｃの実施形態に示されるようにバックパック式の構成でユーザ（６０）の胴体（８２）に取り外し可能に取り付けられるか、または、図２Ｄの実施形態に示されるようにベルト結合式の構成でユーザ（６０）の臀部（８４）に取り外し可能に取り付けられる等の各種の構成で装備され得る。
【0029】
ローカル処理およびデータモジュール（７０）は、電力効率プロセッサまたはコントローラと、フラッシュメモリ等のデジタルメモリとを備え得、その両方とも、データの処理、キャッシング、ストレージを支援するために利用され得る。そのデータは、ａ）フレーム（６４）に作用可能に結合され得るセンサ（画像捕捉デバイス（カメラ等）、赤外線ＩＲエミッタおよび受信器、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、ラジオデバイス、および／もしくは、ジャイロスコープ等）から捕捉され、かつ／または、ｂ）場合によりそのような処理または検索の後にディスプレイ（６２）に渡すことのために、リモート処理モジュール（７２）および／もしくはリモートデータリポジトリ（７４）を用いて獲得および／もしくは処理される。ローカル処理およびデータモジュール（７０）は、有線または無線の通信リンクを介して等で、リモート処理モジュール（７２）およびリモートデータリポジトリ（７４）に作用可能に結合され得（７６、７８）、それによって、これらのリモートモジュール（７２、７４）は、相互に作用可能に結合され、かつ、ローカル処理およびデータモジュール（７０）へのリソースとして利用可能である。
【0030】
１つの実施形態では、リモート処理モジュール（７２）は、データおよび／または画像情報を分析および処理するように構成された、１または複数の比較的強力なプロセッサまたはコントローラを備え得る。１つの実施形態では、リモートデータリポジトリ（７４）は、比較的大規模なデジタルデータストレージ設備を備え得、これは「クラウド」リソース構成において、インターネットまたは他のネットワーキング構成を通して利用可能であり得る。１つの実施形態では、全てのデータがストアされ、かつ、全ての計算がローカル処理およびデータモジュールにおいて遂行されて、任意のリモートモジュールからの完全に自律的な使用を可能とする。
【0031】
ここで図３を参照すると、概略図は、クラウド計算アセット（４６）とローカル処理アセットとの間の連携を図示する。ローカル処理アセットは、例えば、図３に示されるように、ユーザの頭（１２０）に結合される頭部装備型構成部品（５８）、ならびに、ユーザのベルト（３０８）に結合されるローカル処理およびデータモジュール（７０）（従って、構成要素７０は、「ベルトパック」７０とも称され得る）の中に常駐し得る。１つの実施形態では、１または複数のサーバシステム（１１０）等のクラウド（４６）アセットは、有線または無線のネットワーキング（無線は移動性のために好ましく、有線は所望され得る特定の高帯域幅または高データ量転送のために好ましい）を介して等で、上記で説明されたようにユーザの頭部（１２０）およびベルト（３０８）に結合されるローカルな計算アセット（プロセッサおよびメモリ構成等）のうちの一方または両方へ、直接的に（４０、４２）作用可能に結合される（１１５）。ユーザにローカルなこれらの計算アセットは、図８への参照において下記で議論される有線の結合（６８）等の有線および／または無線の接続構成（４４）を介して、相互にも作用可能に結合され得る。１つの実施形態では、ユーザの頭部（１２０）に装備される低慣性かつ小型のサブシステムを維持するために、ユーザとクラウド（４６）との間の主たる転送は、ベルト（３０８）に装備されたサブシステムとクラウドとの間のリンクを介し得、頭部装備型（１２０）サブシステムは、主として、例えば個人用計算周辺機器接続の用途において現在使用されるような、超広帯域幅（「ＵＷＢ」）接続等の無線の接続を用いて、ベルトベースの（３０８）サブシステムへデータテザリングされる。
【0032】
効率的なローカルな処理とリモート処理との連携、ならびに、図２Ａに示されるユーザインタフェースまたはユーザディスプレイシステム（６２）、またはその変更物等の、ユーザのための適当なディスプレイデバイスによって、ユーザの現在の実際の場所または仮想場所に適切な１世界の側面が、ユーザへ転送または「渡され」得、かつ効率的な手法で更新され得る。つまり、世界のマップは、部分的にユーザのＡＲシステム上に常駐し得かつ部分的にクラウドリソース内に常駐し得るストレージ場所で、継続的に更新され得る。
【0033】
マップ（「渡すことが可能な世界のモデル」とも称される）は、ラスタイメージと、３Ｄおよび２Ｄポイントと、パラメータの情報と、現実世界についての他の情報とを備える大きなデータベースであり得る。ますます多くのＡＲユーザが、彼らの現実環境についての情報を（例えばカメラ、センサ、ＩＭＵ等を通して）継続的に捕捉するにつれて、マップはますます正確かつ完璧になり得る。
【0034】
クラウド計算リソース上に常駐し得かつそこから配布され得る１世界のモデルが存在する上記で説明されたような構成では、そのような世界は、リアルタイムのビデオデータ類を渡し回ろうとするよりも好ましい比較的低い帯域幅の形式で、１または複数のユーザに「渡すことが可能」であり得る。像の近くに立っている人の拡張体験（すなわち、図１で示されているような）は、クラウドベースの世界のモデルによって情報を与えられ得、そのモデルのサブセットは、眺めを仕上げるために彼らおよび彼らのローカルディスプレイデバイスへ受け継がれ得る。机上に据え置かれているパーソナルコンピュータのように単純であり得るリモートディスプレイデバイスに向かって座っている人は、クラウドから情報の同一の区分を効率的にダウンロードし得、それを彼らのディスプレイ上でレンダリングし得る。実際、公園内の像の近くに実際に居る１人は、リモートに位置する友人を連れてその公園内を散歩し得、ここで、その友人は仮想現実および拡張現実を通して参加する。システムは、道がどこにあるか、木がどこにあるか、像がどこにあるかを知っている必要があるが、その情報はクラウド上にあり、参加する友人は、シナリオの側面をクラウドからダウンロードし得、それから、実際に公園内にいる人に対してローカルな拡張現実に沿って歩行を開始する。
【0035】
特徴または別様に３Ｄポイントは、環境から検出および捕捉または別様に抽出され得、かつ、その画像またはポイントを捕捉するカメラの姿勢（すなわち、世界に対するベクトル情報および／または原点位置情報）が決定され得、そのようにして、これらのポイントまたは画像は、この姿勢情報で「タグ付け」または関連付けをされ得る。それから、第２のカメラ（物理的に第２のカメラ、または同一のカメラであるが第２の瞬間のカメラいずれか）によって捕捉されるポイントが、第２のカメラの姿勢を決定するために利用され得る。つまり、第１のカメラからのタグ付けされた画像との比較に基づいて、第２のカメラを配向し得かつ／またはローカル化し得る。それから、この知識は、テクスチャを抽出し、マップを作製し、かつ現実世界の仮想コピーを創出するために利用され得る（例えば、２つのカメラが存在し、それらの周りで位置合わせされるか、または、共通して位置合わせされたデータを比較するために用いられ得る２つの瞬間が存在する）。
【0036】
そのため、ベースレベルにおいて、１つの実施形態では、人が着用するシステムは、３Ｄポイントおよびポイントを生産した２Ｄ画像の両方を捕捉するために利用され得、かつ、これらのポイントおよび画像は、クラウドストレージおよび処理リソースへ送り出され得る。それらはまた、埋め込まれた姿勢情報でローカルにキャッシュされ得る（すなわち、タグ付けされた画像をキャッシュする）。そのため、クラウドは、３Ｄポイントと共に、タグ付けされた２Ｄ画像（すなわち、３Ｄ姿勢でタグ付けされた）を準備のできた状態で（すなわち、利用可能なキャッシュ内に）有し得る。ユーザが何か動的なものを観測している場合、彼はまた、運動に適切な追加の情報をクラウドまで送り得る（例えば、別の人の顔を見ている場合、ユーザは顔のテクスチャマップを採取し、かつ、周辺世界が別様に基本的に静的であっても最適化された周波数でそれを押し上げ得る）。
【0037】
「渡すことが可能な世界のモデル」を創出するために用いられ得るポイントを捕捉するためには、世界に対するユーザの場所、姿勢および向きを正確に知ることが役に立つ。より詳しくは、ユーザの頭部の姿勢および（ユーザが、手持ち型構成要素を掴んでいる、身振りをしている等の場合）手部の姿勢を知ることが重要であり得るため、ユーザの位置は、粒度へローカル化されなければならない。１または複数の実施形態では、ＧＰＳおよび他のローカル化情報が、そのような処理への入力として利用され得る。ユーザの頭、トーテム、手部の身振り、触覚型デバイス等の大いに正確なローカル化は、適当な仮想コンテンツをユーザへ表示することにおいて非常に重要である。
【0038】
図４を参照すると、ＡＲシステムが、作用可能に結合された手持ち型コントローラ（６０６）を特徴として示される。１または複数の実施形態では、手持ち型コントローラは、「トーテム」と称され得、ゲーミング等の種々のユーザシナリオにおいて利用される。他の実施形態では、手持ち型コントローラは触覚デバイスであり得る。手持ち型コントローラ（６０６）は、下記で説明されるように、カメラ、ＩＭＵおよび他のデバイスを備え得る種々の相互接続された構成要素に動力を供給するために、バッテリまたは他の電源を備え得る。ローカル処理およびデータモジュール（７０）は、本明細書で説明されるように、クラウドリソース（６３０）に作用可能に結合され得、かつ頭部装備型ウェアラブル構成要素（５８）に作用可能に結合され得る。
【0039】
種々の実施形態では、種々の構成要素の計算、知覚力、および知覚性能を、例えば、構成要素が空間内で相互に対してどこに設置されかつ／もしくは向けられるか、どのローカルな環境のタイプ（例えば、部屋の幾何学形状、部屋内の物体の位置および／または向き等）をユーザが対処しているか、かつ／または、どの物体および特性が（例えば、ＳＬＡＭ分析を用いて）マップ化され得るか等の、ローカルな空間内でのユーザの動作に関係する種々の問題の強化された理解を有するように統合することが望まれ得る。
【0040】
図５を参照すると、部屋（２００）の上面図が示され、ここでユーザ（６０）は、概して、机（２０６）、コーヒーテーブル（２０４）、および利用されるときに部屋内へ弧を描いて開くように構成されたドア（２０２）の方を見て立っている。上記で説明されたように、種々の実施形態では、ウェアラブル計算システムは、頭部装備型構成要素（５８）、ローカル処理およびデータモジュール（７０）、および手持ち型構成要素（６０６）等の作用可能に結合された構成要素を備えている。また、上記で説明されたように、そのような構成要素の各々は、種々のセンサおよびプロセッサ、ならびに、カメラ、ＩＭＵおよびプロセッサ構成要素等の、それら自身の関連した性能を備え得る。それらの性能は、特に、位置および／または向きにおいて、そのような構成要素が相互に対して、かつ／または、それらの周りの環境の側面に対してどこにあるかを決定するために、１または複数のプロセッサによって利用される姿勢決定アルゴリズムへ、データを提供するように構成され得る（上記で説明されたような、いわゆる「姿勢」決定）。
【0041】
再び図５を参照すると、１つの実施形態では、手持ち型構成要素（６０６）ならびにローカル処理およびデータモジュール（７０）の、頭部装備型構成要素（５８）への相対的な近接は、相互に対してそのような構成要素の測位および／または向きを決定する点において有利であり得るが、人およびそのような構成要素の周りの環境に関する情報を収集するために最適化されないことがある。例えば、いくつかの位置および向きでは、ユーザ自身の身体は、手持ち型構成要素（６０６）を遮り得または別様に妨げ得、かつ頭部装備型構成要素（５８）と効率的に通信することを阻み得る。ユーザでない他の環境的要因は、遂行にも有害な影響を与え、例えば、機能的なドアとしてのその可動性質に起因して、構成要素（５８、７０、および／または６０６）に対する位置および／または向きを変化させ得る図５のドア（２０２）は、描写された構成において操作者（６０）からほとんど部屋全体にわたる。そのような構造の距離および角運動は、手持ち型構成要素（６０６）または頭部装備型構成要素（５８）のいずれかによって、簡単には検出可能でないことがある。
【0042】
図６Ａを参照すると、種々の実施形態では、上記で説明されたようなＢｌｕｅｔｏｏｔｈ（登録商標）または他の無線の接続モダリティを介して等で、操作者（６０）に結合される他の構成要素（５８、７０、および／または６０６）の処理およびストレージリソースへ無線で相互接続され得る、追加の手持ち型構成要素モジュール（６０６）等の１または複数の機器搭載構成要素を、計器装備がドア（２０２）の方へ向けられているそのようなドアの近くの位置等の、対象であると信頼される場所および向きに配置することが望まれ得る。つまり、追加の手持ち型構成要素モジュール（６０６）はある位置に配置され得、ここで、ユーザの手部の中に実際には保持されないが、むしろ、部屋または他の物体に対して位置付けられかつ向けられる（すなわち、机、床、または他の物体上の配置によるか、別の物体に結合される装備によって保持されるか、別の物体へ取り外し可能にかつ／または固定的に取り付けられるか等）。そのような構成では、追加の手持ち型構成要素モジュール（６０６）は、「支持」または「捕捉および処理」モジュール（６０６）と呼ばれ得る。１つの実施形態では、図６Ａに示されるような捕捉および処理モジュール（６０６）は、一時的な位置／向き構成で床またはいくつかの他の構造上に配置され得るか、または、図６Ｂの実施形態に示されるように、構造へ固定的に取り付けられ得る。図６Ｂの実施形態では、追加の捕捉および処理モジュール（６０６）は壁に結合され、再び近くのドア（２０２）に適切なデータの収集で支援するために選択された位置および向きで、かつ、再び追加の捕捉および処理モジュール（６０６）は、上記で説明されたもの等のＢｌｕｅｔｏｏｔｈ（登録商標）または他の無線の接続構成を介して等で、本システムの他の構成要素（５８、７０、６０６）に作用可能に結合される。
【0043】
そのような実施形態では、操作者（６０）へ物理的に結合される各々の構成要素（５８、７０、６０６）は、追加の捕捉および処理モジュール（６０６）内に常駐する追加のデータ捕捉および処理性能からの利益を受けるように構成され得る。ここでは、追加の捕捉および処理モジュール（６０６）は、手持ち型構成要素として利用される構成部品の追加のバージョンとして示される。図６Ｃは、複数の追加の捕捉および処理モジュール（６０６）が、それらの周りの世界を処理および分析することにおいて支援するように、操作者の環境の周りに位置付けられ得かつ向けられ得ることを図示する。複数の捕捉および処理モジュールは、異なる測定のために個々に最適化され得ることが認識される。例えば、ドアに近接する捕捉および処理モジュール（６０６）は、ドア（２０２）が開閉するときにのみ、ユーザ（６０）によって活用されるシステムのためにローカル化データを更新するように構成され得る。離れたところからの頭部装備型構成要素（５８）または手持ち型構成要素（６０６）上のセンサからのレイキャストまたはコーンキャストは、半開きのドアと閉められたドアとの間の差異を見分けることが可能でないことがあるのに対し、ドアの開閉の角方向に向けられた飛行時間センサを有するドアに近接するセンサは、ドア（２０２）（およびひいては部屋（２００））の更新された検出可能な特徴の位置を素早くかつより精密に決定し得る。
【0044】
同様にして、部屋（２００）の隅にある捕捉および処理モジュール（６０６）は、ユーザ（６０）が、それに近接しており、かつ、隅の捕捉および処理モジュール（６０６）の方へ少なくとも部分的に頭部の姿勢を方向付けることを検出したときに、ローカル化データをアクティブ化および提供し得る。そのような実施形態の利益は、ユーザが、壁または隅等の空間の物理的境界に接近するにつれて、頭部装備型構成要素（５０）または手持ち型構成要素（６０６）上のセンサがローカル化のために検出および抽出するためのより少数の特徴が存在し、かつ、捕捉および処理モジュール（６０６）は、ローカル化のための「灯台」効果を提供し得ることである。
【0045】
図７Ａおよび図７Ｂは、ハンドル（２１０）と、デスクトップスタンド（２１２）と、上述されたような、カメラ（１２４）、ＩＲエミッタおよび／または受信器、ＩＭＵ（１０２）、ＷｉＦｉ通信デバイス（１１４）、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信デバイス（１１５）、ならびに、適当に他のセンサに結合される埋め込み型および／またはモバイル型のプロセッサ（１２８）等を含むが、それらに限定されない構成部品とを備え得る、携帯用の追加の捕捉および処理モジュール（６０６）の実施形態を図示する。図７Ｃは、示されているような４つ等の複数の単色カメラデバイス（１２５）と、カラーカメラ（１２７）と、デプスカメラ（１２９）とを備えるカメラモジュール（１２４）の１つの実施形態のクローズアップ図を図示する。デプスカメラ（１２９）は、そのようなデプスカメラ（１２９）の捕捉インタフェースに対して空間内の画像要素を配置することにおいて支援するために、飛行時間データを利用するように構成される。
【0046】
図９Ａを参照すると、図５および図７Ａ－図７Ｃで特徴とされるもの等の構成は、種々の構成要素の相対的な姿勢を決定することにおいて利用され得る。ユーザは、操作者へも結合される手持ち型コントローラ（６０６）へ、操作者の手部（２１４）を介して等で作用可能に結合される頭部装備型ウェアラブル構成要素（５８）を着用状態にあり得る。頭部装備型ウェアラブル構成要素（５８）は、頭部装備型ウェアラブル構成要素（５８）の周りの部屋およびその要素等の環境に対する、場所および／もしくは向き等の頭部装備型ウェアラブル構成要素の姿勢の特定の側面、ならびに／または、部屋もしくはそこの物体（２１６）の形状等のそのような環境に関する特定の特性を決定するために、そこに結合されるセンサを利用するように構成され得る。
【0047】
手持ち型コントローラ（６０６）は、手持ち型コントローラ（６０６）の周りの環境に対する、場所および／もしくは向き等の手持ち型コントローラ（６０６）の姿勢の特定の側面、ならびに／または、そのような環境に関する特定の特性（部屋（２１８）の形状等）を決定するために、そこに結合されるセンサを利用するように構成され得る。
【0048】
手持ち型コントローラおよび頭部装備型ウェアラブル構成要素は、それらの作用可能な結合を介して（上記で説明されたようなＢｌｕｅｔｏｏｔｈ（登録商標）接続を介して等）、決定された姿勢情報を共有するように構成され得、それによって、相対的な位置付けおよび／または配向が、手持ち型コントローラと頭部装備型ウェアラブル構成要素との間で決定され得る（２２０）。そのような動作は、手持ち型コントローラと頭部装備型ウェアラブル構成要素との間の相対的な位置付けおよび／または配向に関する適時のリフレッシュ情報を維持するために、頻繁に更新され得る（２２２）。いずれかの構成要素のローカル化は、いずれかの座標フレームの関数として提供され得る。つまり、手持ち型構成要素は、「手持ち型構成要素フレームワーク」または「座標フレーム」におけるその位置および向きを決定するためにそのセンサを作動させ得、かつ、それから頭部装備型構成要素と結合して、それに同一のフレームワークにおけるその位置および向きを提供するために頭部装備型構成要素の相対的な位置を決定する。その反対も当てはまり、頭部装備型構成要素は、その位置および向きを決定し得、かつそれから頭部着用型構成要素に対するコントローラの位置および向きを決定し得、かつ、引き続いて頭部装備型構成要素フレームワークまたは頭部装備型座標フレームにおける手持ち型構成要素のためのローカル化を提供し得る。ユークリッド距離行列、４元数配向、または３次元回転行列等の、２つの間の行列変換は、構成要素間のそのような座標フレーム変換を促進するために使用され得る。
【0049】
いくつかの実施形態では、任意の１つの構成要素が、複数の他の構成要素に対してそれ自身をローカル化し得る。例えば、手持ち型コントローラ（６０６）は、頭部装備型構成要素（５８）ならびに捕捉および処理モジュール（６０６）に対するその位置を検出し得る。相対的な感知の手段は、さらに主観的であり得る。手部構成要素（６０６）は、頭部装備型構成要素（５８）上のＩＲ信号を検出するために、ＩＲアレイ追跡を利用し得、かつ、捕捉および処理モジュール（６０６）を検出するために、可視光トラッキング（特徴の検出および抽出またはフィデューシャル検出等）を用い得る。そのような点において、構成要素の１つのペアリングの間のような平行移動測定または回転測定は、最適化されたローカル化データセットを任意の所与の時間においてユーザに提供するために、構成要素の他のペアリングの間のような画像捕捉特徴検出を置換し得るかまたは補い得る。
【0050】
前の例を参照すると、ユーザが多くの検出可能な特徴を欠いている空の壁に接近する場合、システムが計算をなすために利用するための少数の感知される特徴を有することになるので、画像ベースの追跡を使用することは、正確性が減少し、レイテンシが増加することになる。しかし、制御および処理モジュール（６０６）が、ＩＲ信号、飛行時間パルスまたは電磁気的伝送等の追加の検出可能なデータを提供する場合、その制御および処理モジュールに対するユーザの回転および平行移動は、画像ベースの追跡センサによって、検出可能な特徴の欠如の不足を補償するために、任意のローカル化ロジックを少なくとも補い得る。
【0051】
図８Ｂを参照すると、図６Ａ－図６Ｃおよび図７Ａ－図７Ｃを参照して上記で説明されたもの等の構成は、種々の構成要素の相対的または絶対的な姿勢を決定することにおいて利用され得る。図８Ｂに示されるように、ユーザは、複数の手持ち型コントローラ（６０６）および／または固定的装備型（８）コントローラ（２２４）に作用可能に結合された頭部装備型ウェアラブル構成要素（５８）を着用状態にあり得、それら複数の手持ち型コントローラ（６０６）および／または固定的装備型（８）コントローラ（２２４）のうちの１つは、手持ち型結合を介して等で、操作者の身体へ物理的に結合され得る。頭部装備型ウェアラブル構成要素（５８）は、頭部装備型ウェアラブル構成要素（５８）の周りの環境（部屋等）に対する頭部装備型ウェアラブル構成要素の姿勢の特定の側面（場所および向き等）、ならびに／または、そのような環境に関する特定の特性（部屋の形状等）を決定するために、そこに結合されたセンサを利用するように構成され得る（２２６）。複数の手持ち型コントローラ（６０６）は、他の物体上に載置されるか、または他の物体へ固定的に装備されるように構成され得、そのうちの１つは、図６Ａ－図６Ｃおよび図７Ａ－図７Ｃにおける場合等で操作者へ物理的に結合され得、それら複数の手持ち型コントローラ（６０６）は、そのようなコントローラの周りの環境（部屋等）に対するそのようなコントローラの姿勢の特定の側面（場所および向き等）、ならびに／または、そのような環境に関する特定の特性（部屋の形状等）を決定するために、複数の手持ち型コントローラ（６０６）に結合されたセンサを利用するように構成され得る（２２８）。複数の手持ち型コントローラ（６０６）は、他の物体へ固定的に装備され得るか、他の物体上に載置され得るか、または操作者に結合され得、それら複数の手持ち型コントローラ（６０６）および頭部装備型ウェアラブル構成要素（５８）は、それらの作用可能な結合を介して（Ｂｌｕｅｔｏｏｔｈ（登録商標）接続を介して等）、決定された姿勢情報を共有するように構成され得、それによって、相対的な位置付けおよび／または配向は、複数の手持ち型コントローラ（６０６）のうちの１または複数と、頭部装備型ウェアラブル構成要素（５８）との間で決定され得る（２３０）。
【0052】
構成要素の各々の中での行列変換は、単純に構成要素の中での相対的な位置でない場合には、絶対的な位置を提供するために最適化され得る。例えば、固定的装備型構成要素の位置および向きが物理的環境において既知である場合には、手持ち型構成要素（６０６）または頭部装備型構成要素（５８）は、それらの固定的装備型構成要素に対するそれらのそれぞれの姿勢を決定し得、かつ、ひいては絶対的な姿勢と参照され得る「現実世界座標フレーム」または「環境座標フレーム」位置および向きを決定し得る。
【0053】
上記で議論されたように、他の中間座標フレームが存在し得るかまたは有用であり得ることが認識される。例えば、（手持ち型構成要素に結合された慣性測定ユニット、加速度計、またはカメラ等から）位置のデータの受信のみをする手持ち型コントローラは、「手持ち型座標フレーム」におけるその姿勢を決定し得、かつ、同様にして「頭部装備型座標フレーム」および姿勢情報のためにそのセンサが検出および抽出する。いくつかの実施形態において、開示されるセンサおよび感知構成要素を用いて位置を決定するためのローカル化システムおよびプロトコルは、中間座標フレームにおいて動作することのみを必要とし得、かつ、絶対的または完全な環境座標フレーム情報を必要としないことがある。
【0054】
そのような動作は、複数の手持ち型コントローラおよび／または固定的装備型コントローラと、頭部装備型ウェアラブル構成要素との間の、相対的な位置付けおよび／または配向に関する適時の情報を維持するために、頻繁に更新され得る（２３２）。
【0055】
図９Ａを参照すると、赤外線送信器等の送信要素、または、小さな複数の鏡、ガラスの球体、もしくは他の反射性要素等の反射器を表し得る小さなフィデューシャル（２４６）は、フィデューシャル（２４６）のうちの１または複数の間の既知または予め決定された寸法でのシステムのモジュールの間の位置および／または向きの速い決定を支援するために利用され得る。例えば、図９Ｂを参照すると、複数のフィデューシャル（２４６）が結合された頭部装備型構成要素（５８）の１つの実施形態では、フィデューシャル（２４６）の間の比較的長い既知の長さは、グローバル座標系に対して、または、カメラもしくは他のデバイスでフィデューシャルを追跡するように構成された別の構成要素に対して、空間内のそのような頭部装備型構成要素（５８）の相対的な位置および／もしくは向きを決定ならびに追跡することに利用され得る。図９Ｃは、そのような構築の位置付けおよび／または配向に関する追加の情報を提供するための、追加のフィデューシャル（２４６）を有する別の頭部装備型構成要素（５８）の構成を図示する。
【0056】
図９Ｄは、ローカル処理およびデータモジュール（７０）の構成を図示し、これにもまた、相対的な姿勢の決定を支援するための複数のフィデューシャル（２４６）が結合されている。図９Ｅは、ローカル処理およびデータモジュール（７０）の構成の別の実施形態を図示し、これには、相対的な姿勢の決定を支援するためのより多くの複数のフィデューシャル（２４６）が結合されている。
【0057】
図９Ｆは、手持ち型コントローラモジュール（６０６）の構成を図示し、これにもまた、相対的な姿勢の決定を支援するための複数のフィデューシャル（２４６）が結合されている。図２９Ｇは、手持ち型コントローラ（６０６）の構成の別の実施形態を図示し、これには、相対的な姿勢の決定を支援するための多くの複数のフィデューシャル（２４６）が結合されている。
【0058】
図９Ｈは、手持ち型コントローラモジュール（６０６）の構成を図示し、これには、相対的な姿勢の決定を支援するためのマルチフィデューシャルアレイ（２４８）が結合されている。サブ部分の既知の位置を有するそのようなフィデューシャルアレイは、それらの幾何学形状が、例えば、モバイル型計算システムのウェアラブル構成要素ほど多くの幾何学形状の制約がなく、追加の手持ち型コントローラモジュール（６０６）がコーヒーテーブル類に配置される等で、与えられ得るときに、姿勢の決定において有用であり得る。図９Ｉは、操作者（６０）に既に結合された１つの手持ち型コントローラ（６０６）に加えて、手持ち型コントローラモジュール（６０６）等の複数の追加のコントローラも、相互に相対的な構成要素の速い姿勢の決定を支援するためのフィデューシャル（２４６）が供給され得る構成を図示する。
【0059】
図１０を参照すると、図９Ａを参照して説明されたものなどの実施形態では、ユーザ（６０）は、手持ち型コントローラ（６０６）に作用可能に結合された頭部装備型ウェアラブル構成要素（５８）を着用状態にあり得る（２１４）。頭部装備型ウェアラブル構成要素（５８）は、頭部装備型ウェアラブル構成要素の周りの環境（部屋等）に対する、頭部装備型ウェアラブル構成要素の姿勢の特定の側面（場所および向き等）、ならびに／または、そのような環境に関する特定の特性（部屋の形状等）を決定するために、頭部装備型ウェアラブル構成要素に結合されたセンサを利用するように構成され得る（２１６）。操作者の手部に物理的に結合された手持ち型コントローラ等の手持ち型コントローラ（６０６）、および頭部装備型ウェアラブル構成要素は、頭部装備型ウェアラブル構成要素の姿勢に対する手持ち型コントローラの姿勢の特定の側面（場所および向き等）を決定するために、それらに結合された送信器／受信器ペアリング（単ラップ構成での赤外線スペクトルビーコンおよびセンサ等）、または、トランシーバ／反射器ペアリング（２ラップ構成での赤外線スペクトル送信器／受信器デバイスおよび反射器等）を介して等で、フィデューシャルを利用するように構成され得る（２３４）。手持ち型コントローラ（６０６）および頭部装備型ウェアラブル構成要素（５８）は、それらの作用可能な結合を介して（Ｂｌｕｅｔｏｏｔｈ（登録商標）接続を介して等）、決定された姿勢情報を共有するように構成され得、それによって、相対的な位置付けおよび／または配向が、手持ち型コントローラと頭部装備型ウェアラブル構成要素との間で決定され得る（２３６）。そのような動作は、手持ち型コントローラと頭部装備型ウェアラブル構成要素との間の相対的な位置付けおよび／または配向に関するリフレッシュ情報を維持するために、頻繁に更新され得る（２３８）。
【0060】
図１１を参照すると、図９Ｉに図示されたもの等の実施形態では、ユーザか、または壁（８）等の周辺の部屋の他の物体かに物理的に結合され得る複数の手持ち式コントローラ（６０６）に作用可能に結合された頭部装備型ウェアラブル構成要素（５８）を、ユーザ（６０）が着用状態にあり得る（２２４）。頭部装備型ウェアラブル構成要素（５８）は、頭部装備型ウェアラブル構成要素（５８）の周りの環境（部屋等）に対する頭部装備型ウェアラブル構成要素の姿勢の特定の側面（場所および向き等）、ならびに／または、そのような環境に関する特定の特性（部屋の形状等）を決定するために、頭部装備型ウェアラブル構成要素（５８）に結合されたセンサを利用するように構成され得る（２２６）。複数の手持ち型コントローラ（６０６）、および頭部装備型ウェアラブル構成要素（５８）は、頭部装備型ウェアラブル構成要素（５８）の姿勢に対する手持ち型コントローラ（６０６）の姿勢の特定の側面（場所および向き等）を決定するために、複数の手持ち型コントローラ（６０６）に結合された送信器／受信器ペアリング（単ラップ構成での赤外線スペクトルビーコンおよびセンサ等）またはトランシーバ／反射器ペアリングリング（２ラップ構成での赤外線スペクトル送信器／受信器デバイスおよび反射器等）等のフィデューシャル構成を利用するように構成され得る（２４０）。複数の手持ち型コントローラ（６０６）および頭部装備型ウェアラブル構成要素（５８）は、それらの作用可能な結合を介して（Ｂｌｕｅｔｏｏｔｈ（登録商標）接続を介して等）、決定された姿勢情報を共有するように構成され得、それによって、相対的な位置付けおよび／または配向が、複数の手持ち型コントローラ（６０６）と頭部装備型ウェアラブル構成要素（５８）との間で決定され得る（２４２）。そのような動作は、複数の手持ち型コントローラおよび／または固定的装備型コントローラと、頭部装備型ウェアラブル構成要素との間の相対的な位置付けおよび／または配向に関するリフレッシュ情報を維持するために、頻繁に更新され得る（２４４）。
【0061】
図１２Ａを参照すると、別の実施形態は、手持ち型コントローラ（６０６）の周期的な動き（２４８）が、手持ち型コントローラ（６０６）の異なる場所／向きからの追加の姿勢決定データのために、手持ち型コントローラ（６０６）に含有される計器装備をさらに活用するように利用され得る。つまり、操作者（６０）が特にドアの周辺の区域の動きに興味がある場合には、異なる観点、ベクトル、および／また向きからそのようなローカルな環境に関する追加の情報を捕捉するためのコントローラを備えるセンサを利用することにおいてコントローラを支援するために、操作者（６０）は手持ち型コントローラ（６０）を周りで振り（ｗａｉｖｅ）得る。
【0062】
そのような手持ち型の周期的な運動は、操作者が標的となる構造の間近にいることを要求し、かつ、これは所望されなかったり実用的でなかったりことがある。図１２Ｂの実施形態は、主題のドア（２０２）から比較的離れたユーザ（６０）を特徴とするが、２つの手持ち型コントローラ（６０６）は、対象のエリアに、１つは近くの壁に、かつ１つはドア（２０２）自体に装備される。図１２Ｃは、周期的な運動（２４８）および図２４Ｂにおけるような追加の感知デバイス（６０６）の両方を特徴とする実施形態を図示する。
【0063】
図１３は、図１１のものと同様の構成を図示し、この構成では、対象の物体または体積に関する情報のさらなる捕捉、ならびに、手持ち型コントローラ（６０６）と、１または複数の固定的装備型コントローラ（６０６）および頭部装備型ウェアラブル構成要素（５８）等の他のデバイスとに対するその位置付けおよび／または配向を促進するために、ユーザ（６０）が、周期的な運動または動きを介して等で、対象の物体または体積の周り（ドアまたは他の物体の周り等）で１または複数の手持ち型コントローラを動かすことが追加される。そのような動作は、複数の手持ち型コントローラおよび／または固定的装備型コントローラと、頭部装備型ウェアラブル構成要素との間での相対的な位置付けおよび／または配向に関するリフレッシュ情報を維持するために、頻繁に更新され得る（２７０）。
【0064】
本発明の種々の例示的な実施形態が、本明細書において説明される。非限定的な意味でこれらの例に参照がなされる。それらは、より広範に適用可能な本発明の側面を示すために提供される。
【0065】
本発明は、主題のデバイスを用いて遂行され得る方法を含む。方法は、そのような適切なデバイスを提供するアクトを備え得る。そのような提供は、エンドユーザによって遂行され得る。つまり、「提供する」アクトは、単に、エンドユーザが、取得、アクセス、接近、位置付け、設定、作動、起動、または別様に動作して主題の方法において必須のデバイスを提供することを要求するに過ぎない。本明細書に記載される方法は、論理的に可能である記載された事象の任意の順序で、かつ事象の記載された順序で実行され得る。
【0066】
本発明の例示的な側面が、材料選択および製造に関する詳細と共に上述された。本発明の他の詳細については、これらは、上記で参照された特許および刊行物と関連して理解され得、かつ当業者によって一般的に公知または理解され得る。共通してまたは論理的に使用されるような追加のアクトの観点から、本発明の方法ベースの側面について同一のことが当てはまり得る。
【0067】
また、説明される本発明の変更物の任意の随意的な特徴が、独立して、または本明細書で説明される特徴のうちの任意の１つまたは複数との組み合わせにおいて、述べられ請求され得ることが企図される。単数形の項目への参照は、複数形の同一の項目が存在する可能性を含む。より詳しくは、本明細書およびそれに関連付けられる請求項において用いられる場合、単数形「ａ」、「ａｎ」、「ｓａｉｄ」、および「ｔｈｅ」は、そうでないと具体的に陳述されない限りは、複数形の指示物を含む。つまり、冠詞の使用は、上記の説明および本開示に関連付けられる請求項において、主題の項目のうちの「少なくとも１つ」を可能にする。そのような請求項は、任意の随意的な要素を排除するように起草され得ることにさらに留意されたい。そのようにして、この陳述は、請求項の要素の記載と関連して、「ｓｏｌｅｌｙ」、「ｏｎｌｙ」の類の排除的用語の使用、または「否定的な」限定の使用のための先行する記載の根拠としての機能を果たすことが意図される。
【0068】
そのような排除的用語を使用することなく、本開示に関連付けられる請求項中の用語「ｃｏｍｐｒｉｓｉｎｇ」は、所与の数の要素がそのような請求項で列挙されるか、または特徴の追加がそのような請求項で述べられる要素の性質の変換としてみなされ得るかに関わらず、任意の追加の要素の包含を可能にする。本明細書において具体的に定義されたようなことを除いて、本明細書で用いられる全ての技術的かつ科学的な用語は、請求項の有効性を維持しながら、可能な限り広く共通して理解される意味として与えられるべきである。
【図1】
【図2A】
【図2B】
【図2C】
【図2D】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【図7A】
【図7B】
【図7C】
【図8A】
【図8B】
【図9A】
【図9B】
【図9C】
【図9D】
【図9E】
【図9F】
【図9G】
【図9H】
【図9I】
【図10】
【図11】
【図12A】
【図12B】
【図12C】
【図13】
