知財求人 - 知財ポータルサイト「IP Force」
特表2022-532826優先運動モデルを有する多層人工現実コントローラ姿勢追跡アーキテクチャ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-07-20
(54)【発明の名称】優先運動モデルを有する多層人工現実コントローラ姿勢追跡アーキテクチャ
(51)【国際特許分類】
G06F 3/01 20060101AFI20220712BHJP
G06T 19/00 20110101ALI20220712BHJP
【ＦＩ】
G06F3/01 570
G06T19/00 300B
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021554613
(86)(22)【出願日】2020-05-19
(85)【翻訳文提出日】2021-11-09
(86)【国際出願番号】 US2020033652
(87)【国際公開番号】W WO2020236843
(87)【国際公開日】2020-11-26
(31)【優先権主張番号】16/417,244
(32)【優先日】2019-05-20
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】515046968
【氏名又は名称】メタ プラットフォームズ テクノロジーズ， リミテッド ライアビリティ カンパニー
【氏名又は名称原語表記】ＭＥＴＡ ＰＬＡＴＦＯＲＭＳ ＴＥＣＨＮＯＬＯＧＩＥＳ， ＬＬＣ
(74)【代理人】
【識別番号】110002974
【氏名又は名称】特許業務法人Ｗｏｒｌｄ ＩＰ
(72)【発明者】
【氏名】リンデ， オスカー
(72)【発明者】
【氏名】ヤン， チョンユアン
【テーマコード（参考）】
5B050
5E555
【Ｆターム（参考）】
5B050AA08
5B050BA09
5B050CA07
5B050CA08
5B050DA04
5B050EA07
5B050FA02
5E555AA63
5E555BA38
5E555BB38
5E555BC08
5E555BE17
5E555CA10
5E555CA21
5E555CA29
5E555CA42
5E555CA44
5E555CB19
5E555CB21
5E555CB66
5E555CC05
5E555DA08
5E555DB32
5E555DB53
5E555DC19
5E555DC21
5E555DC84
5E555DD06
5E555EA20
5E555EA22
5E555FA00
(57)【要約】
２つの構成要素、視界（ＦＯＶ）追跡器および非ＦＯＶ追跡器を有するハンドヘルドコントローラ追跡サブシステムを含む人工現実システムが記載され、非ＦＯＶ追跡器は１つまたは複数のコントローラが視界内で追跡可能でないときに特殊な運動モデルを適用する。詳細には、通常の動作条件下で、ＦＯＶ追跡器はヘッドマウントディスプレイ（ＨＭＤ）に関する状態データおよびコントローラのコントローラ状態データ（速度、加速度など）を受信して、コントローラの推定姿勢を計算する。コントローラが追跡可能である場合（たとえば、視界内で塞がれずに）、次いで、ＦＯＶ追跡器によって計算された姿勢が使用され、非ＦＯＶ追跡器はバイパスされる。コントローラが視界内で追跡可能でなく、コントローラ状態データが１つまたは複数のコーナー追跡ケースのための起動条件を満たす場合、次いで、非ＦＯＶ追跡器は、特殊な運動モデルのうちの１つまたは複数を適用して、コントローラのコントローラ姿勢を計算する。
【選択図】図１Ａ
【選択図】図１Ａ
【特許請求の範囲】
【請求項1】
物理的環境を表す画像データを取り込むように構成された画像取込みデバイスと、人工現実コンテンツを出力するように構成されたヘッドマウントディスプレイ（ＨＭＤ）と、
コントローラ状態データに少なくとも部分的に基づいて、ハンドヘルドコントローラの位置および向きを表すコントローラ姿勢を特定するように構成された姿勢追跡器であって、前記ハンドヘルドコントローラに関する様々な運動挙動に関連付けられた複数の運動モデルを有する非ＦＯＶ追跡器を含み、前記複数の運動モデルの各々が１つまたは複数のそれぞれの起動条件に関連付けられ、前記非ＦＯＶ追跡器が、前記ハンドヘルドコントローラが前記画像データ内で追跡可能でないこと、および前記複数の運動モデルのうちの１つが起動されたとの判定に応答して、前記複数の運動モデルのうちの１つに従って前記コントローラ状態データを特定するように構成される、姿勢追跡器と、
前記コントローラ姿勢に従って前記人工現実コンテンツおよび少なくとも１つのグラフィカルオブジェクトを前記ＨＭＤに表示するためにレンダリングするように構成されたレンダリングエンジンと
を備える、人工現実システム。
【請求項2】
前記複数の運動モデルがサブサンプションアーキテクチャで構成され、前記非ＦＯＶ追跡器が、２つ以上の運動モデルが起動されたとの判定に応答して、前記複数の運動モデルのうちの２つ以上について前記運動モデルを並行して評価し、
最も高い優先度を有する評価された前記運動モデルに少なくとも部分的に基づいて、前記コントローラ状態データを特定する
ように構成されている、請求項１に記載の人工現実システム。
【請求項3】
前記姿勢追跡器が、前記画像データに少なくとも部分的に基づいて、画像ベースのコントローラ状態データを特定するように構成されたＦＯＶ追跡器をさらに備え、前記画像ベースのコントローラ状態データが、前記非ＦＯＶ追跡器への入力として提供され、
前記非ＦＯＶ追跡器が、前記複数の運動モデルのどれも起動されていないとの判定に応答して、前記画像ベースのコントローラ状態データに基づいて前記コントローラ状態データを特定する、
請求項１に記載の人工現実システム。
【請求項4】
前記非ＦＯＶ追跡器が、前記運動モデルに関連付けられた前記１つまたは複数のそれぞれの起動条件が、前記ハンドヘルドコントローラに関する運動挙動を示すコントローラ測定データに少なくとも部分的に基づいて満たされると判定したことに応答して、前記複数の運動モデルのうちの１つの運動モデルを起動するようにさらに構成されている、請求項１に記載の人工現実システム。
【請求項5】
前記ハンドヘルドコントローラが前記画像データ内で追跡可能でないとの前記判定が、前記画像データ内で検出可能な前記ハンドヘルドコントローラのエミッタの数が、所定のまたは構成可能なしきい値よりも小さいとの判定か、または
前記ハンドヘルドコントローラの前記位置が信用できないとの判定
を含む、請求項１に記載の人工現実システム。
【請求項6】
前記１つまたは複数のそれぞれの起動条件が、前記ハンドヘルドコントローラが前記視界内にないことの指示、および前記ハンドヘルドコントローラが前記ＨＭＤのしきい値距離内で動いているとの判定を含み、前記１つまたは複数のそれぞれの起動条件に関連付けられた前記複数の運動モデルのうちの前記１つが、仮想の肘に関連付けられた第２の位置の周りの前記ハンドヘルドコントローラに関連付けられた第１の位置の旋回に従って、前記コントローラ状態データを特定するように構成されている、
請求項１に記載の人工現実システム。
【請求項7】
第２のハンドヘルドコントローラをさらに備え、前記ハンドヘルドコントローラが、前記第２のハンドヘルドコントローラによって前記視界内で塞がれており、
前記起動条件が、前記ハンドヘルドコントローラと前記第２のハンドヘルドコントローラとの間の距離がしきい値を下回り、前記ハンドヘルドコントローラの加速度が前記第２のハンドヘルドコントローラの加速度と同期していないとの判定を含み、
前記運動モデルが、前記コントローラ状態データの１つまたは複数の位置の値を、仮想胴体の位置に対する固定位置として特定するように構成されている、
請求項１に記載の人工現実システム。
【請求項8】
第２のハンドヘルドコントローラをさらに備え、前記ハンドヘルドコントローラが、前記第２のハンドヘルドコントローラによって前記視界内で塞がれており、
前記起動条件が、前記ハンドヘルドコントローラと前記第２のハンドヘルドコントローラとの間の距離がしきい値を下回り、前記ハンドヘルドコントローラの加速度が前記第２のハンドヘルドコントローラの加速度と実質的に同期しているとの判定を含み、
前記運動モデルが、前記コントローラ状態データの１つまたは複数の位置の値を、前記第２のハンドヘルドコントローラの第２の位置に対する固定位置内に特定するように構成されている、
請求項１に記載の人工現実システム。
【請求項9】
前記ハンドヘルドコントローラが慣性測定ユニット（ＩＭＵ）をさらに備え、前記起動条件が、前記ＩＭＵによって提供された直近の絶対値が第１のしきい値を下回り、前記ＩＭＵによって提供された複数のバッファリングされた値の中の分散が第２のしきい値を下回るとの判定を含み、
前記運動モデルが、前記コントローラ状態データの１つまたは複数の位置の値を、世界基準フレームに対する固定位置内にあるように特定するように構成されている、
請求項１に記載の人工現実システム。
【請求項10】
前記姿勢追跡器が、前記画像データおよび前記ハンドヘルドコントローラに関する前記コントローラ状態データから、前記ハンドヘルドコントローラが前記視界内に再び入ったことを判定するように構成され、前記姿勢追跡器が、複数の表示フレームにわたって、前記ハンドヘルドコントローラが前記視界の外にある間に特定された第１のコントローラ姿勢、および前記ハンドヘルドコントローラが前記視界に再び入った後に特定された第２のコントローラ状態データに基づいて、前記コントローラ姿勢を補間するように構成されている、
請求項１に記載の人工現実システム。
【請求項11】
前記画像取込みデバイスが前記ＨＭＤと一体化されている、請求項１に記載の人工現実システム。
【請求項12】
前記画像データが赤外線画像データを含む、請求項１に記載の人工現実システム。
【請求項13】
ヘッドマウントディスプレイ（ＨＭＤ）を含む人工現実システムの画像取込みデバイスにより、物理的環境を表す画像データを取得することと、前記人工現実システムの非ＦＯＶ追跡器により、ハンドヘルドコントローラに関する様々な運動挙動に関連付けられた複数の運動モデルのうちの１つの運動モデルに従って、前記ハンドヘルドコントローラに関するコントローラ状態データを特定することであって、前記複数の運動モデルの各々が１つまたは複数のそれぞれの起動条件に関連付けられ、前記運動モデルに従って前記コントローラ状態データを前記特定することが、前記ハンドヘルドコントローラが前記画像データ内で追跡可能でないこと、および前記ハンドヘルドコントローラに関する運動挙動を示すコントローラ測定データが前記運動モデルに関連付けられた前記１つまたは複数の起動条件を満たすと判定したことに応答する、前記ハンドヘルドコントローラに関するコントローラ状態データを特定することと、
前記人工現実システムにより、前記コントローラ状態データに少なくとも部分的に基づいて、前記ハンドヘルドコントローラの位置および向きを表すコントローラ姿勢を特定することと、
前記人工現実システムにより、前記コントローラ姿勢に従って人工現実コンテンツおよび少なくとも１つのグラフィカルオブジェクトを前記ＨＭＤに表示するためにレンダリングすることと
を含む、方法。
【請求項14】
前記複数の運動モデルがサブサンプションアーキテクチャで構成され、前記方法が、前記１つまたは複数のそれぞれの起動条件が満たされた複数のモデルのうちの２つ以上について前記運動モデルを並行して評価することと、
最も高い優先度を有する評価された前記運動モデルに少なくとも部分的に基づいて、前記コントローラ状態データを特定することと
をさらに含む、請求項１３に記載の方法。
【請求項15】
前記人工現実システムのＦＯＶ追跡器により、前記画像データに少なくとも部分的に基づいて、前記ハンドヘルドコントローラに関する画像ベースのコントローラ状態データを特定することと、前記非ＦＯＶ追跡器への入力として前記画像ベースのコントローラ状態データを提供することと
をさらに含み、
前記非ＦＯＶ追跡器が、前記複数の運動モデルのどれも起動されていないと判定したことに応答して、前記画像ベースのコントローラ状態データに少なくとも部分的に基づいて、前記コントローラ状態データを特定する、
請求項１３に記載の方法。
【請求項16】
前記ハンドヘルドコントローラに関する前記運動挙動を示す前記コントローラ測定データが、前記運動モデルに関連付けられた前記１つまたは複数の起動条件を満たすと前記判定したことが、前記ハンドヘルドコントローラが前記視界内で追跡可能でなく、前記ハンドヘルドコントローラが前記ＨＭＤのしきい値距離内で動いていると判定することを含み、前記方法が、前記１つまたは複数のそれぞれの起動条件に関連付けられた前記運動モデルを評価することをさらに含み、前記運動モデルが、仮想の肘の第２の位置の周りの前記ハンドヘルドコントローラの第１の位置の旋回に従って、前記コントローラ状態データを特定するように構成される、
請求項１３に記載の方法。
【請求項17】
前記ハンドヘルドコントローラが、第２のハンドヘルドコントローラによって前記視界内で塞がれており、前記ハンドヘルドコントローラに関する前記運動挙動を示す前記コントローラ測定データが、前記運動モデルに関連付けられた前記１つまたは複数の起動条件を満たすと前記判定したことが、前記ハンドヘルドコントローラと前記第２のハンドヘルドコントローラとの間の距離がしきい値を下回ると判定することと、前記ハンドヘルドコントローラの加速度が前記第２のハンドヘルドコントローラの加速度と同期していないと判定することとを含み、
前記方法が、前記１つまたは複数のそれぞれの起動条件に関連付けられた前記運動モデルを評価することをさらに含み、前記運動モデルが、仮想胴体の位置に対する固定位置として前記コントローラ状態データの１つまたは複数の位置の値を特定するように構成される、
請求項１３に記載の方法。
【請求項18】
前記ハンドヘルドコントローラが、第２のハンドヘルドコントローラによって前記視界内で塞がれており、前記ハンドヘルドコントローラに関する前記運動挙動を示す前記コントローラ測定データが、前記運動モデルに関連付けられた前記１つまたは複数の起動条件を満たすと判定することが、前記ハンドヘルドコントローラと前記第２のハンドヘルドコントローラとの間の距離がしきい値を下回り、前記ハンドヘルドコントローラの加速度が前記第２のハンドヘルドコントローラの加速度と同期していると判定することを含み、
前記方法が、前記１つまたは複数のそれぞれの起動条件に関連付けられた前記運動モデルを評価することをさらに含み、前記運動モデルが、前記第２のハンドヘルドコントローラの第２の位置に対する固定位置内に前記コントローラ状態データの１つまたは複数の位置の値を特定するように構成される、
請求項１３に記載の方法。
【請求項19】
前記ハンドヘルドコントローラに関する前記運動挙動を示す前記コントローラ測定データが、前記運動モデルに関連付けられた前記１つまたは複数の起動条件を満たすと判定することが、前記ハンドヘルドコントローラの慣性測定ユニット（ＩＭＵ）によって提供された直近の絶対値が第１のしきい値を下回り、ＩＭＵによって提供された複数のバッファリングされた値の分散が第２のしきい値を下回ると判定することを含み、前記方法が、前記１つまたは複数のそれぞれの起動条件に関連付けられた前記運動モデルを評価することをさらに含み、前記運動モデルが、世界基準フレーム内の固定位置内に前記コントローラ状態データの１つまたは複数の位置の値を特定するように構成される、
請求項１３に記載の方法。
【請求項20】
実行されると、ヘッドマウントディスプレイ（ＨＭＤ）を含む人工現実システムの１つまたは複数のプロセッサに、画像取込みデバイスを介して物理的環境を表す画像データを取得することと、
ハンドヘルドコントローラに関する様々な運動挙動に関連付けられた複数の運動モデルのうちの１つの運動モデルに従って、前記ハンドヘルドコントローラに関するコントローラ状態データを特定することであって、前記複数の運動モデルの各々が１つまたは複数のそれぞれの起動条件に関連付けられ、前記運動モデルに従う前記コントローラ状態データの前記特定が、前記ハンドヘルドコントローラが前記画像データ内で追跡可能でないこと、および前記ハンドヘルドコントローラに関する運動挙動を示すコントローラ測定データが前記運動モデルに関連付けられた前記１つまたは複数の起動条件を満たすとの判定に応答する、前記ハンドヘルドコントローラに関するコントローラ状態データを特定することと、
前記コントローラ状態データに少なくとも部分的に基づいて、前記ハンドヘルドコントローラの位置および向きを表すコントローラ姿勢を特定することと、
前記コントローラ姿勢に従って人工現実コンテンツおよび少なくとも１つのグラフィカルオブジェクトを前記ＨＭＤに表示するためにレンダリングすることと
を行わせる命令を含む、非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、それらの内容がすべての目的のために全体として参照により本明細書に組み込まれる、２０１９年５月２０日に出願された米国特許出願第１６／４１７，２４４号の優先権を主張する。
本出願は、それらの内容がすべての目的のために全体として参照により本明細書に組み込まれる、２０１９年５月２０日に出願された米国特許出願第１６／４１７，２４４号の優先権を主張する。
【0002】
本開示は、一般に、仮想現実システム、混合現実システム、および／または拡張現実システムなどの人工現実システムに関し、より詳細には、人工現実システム用のコントローラを追跡することに関する。
【背景技術】
【0003】
人工現実システムは、コンピュータゲーム、健康と安全、産業、および教育などの多くの分野の用途でますます広く普及している。いくつかの例として、人工現実システムは、モバイルデバイス、ゲームコンソール、パーソナルコンピュータ、映画館、およびテーマパークに組み込まれている。一般に、人工現実は、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、混合現実（ＭＲ）、ハイブリッド現実、またはそれらの何らかの組合せおよび／もしくは派生物を含む場合がある、ユーザへの提示の前に何らかの方式で調整されている現実の一形態である。
【0004】
典型的な人工現実システムは、ユーザにコンテンツをレンダリングおよび表示するための１つまたは複数のデバイスを含む。一例として、人工現実システムは、ユーザが装着し、ユーザに人工現実コンテンツを出力するように構成されたヘッドマウントディスプレイ（ＨＭＤ）を組み込むことができる。人工現実コンテンツは、取り込まれたコンテンツ（たとえば、実世界の映像および／または画像）と組み合わされた完全生成コンテンツまたは生成コンテンツを含んでもよい。操作中、ユーザは、ハンドヘルドコントローラを利用して、アプリケーションと対話するか、または人工現実システムと対話することができる。人工現実コンテンツ内のグラフィカル要素の外観は、ハンドヘルドコントローラの位置および向きに基づいて決定されてもよい。
【発明の概要】
【0005】
一般に、本開示は人工現実（ＡＲ）システムを記載し、より具体的には、ヘッドマウントディスプレイ（ＨＭＤ）、１つまたは複数のハンドヘルドコントローラ、ならびに１つまたは複数のハンドヘルドコントローラの姿勢を特定および追跡するセンサまたはカメラを含む、ＡＲシステム用のコントローラ追跡サブシステムを記載する。
【0006】
センサまたはカメラを使用してハンドヘルドコントローラの姿勢を追跡する従来のＡＲシステムに関する技術上の問題は、ハンドヘルドコントローラがセンサまたはカメラの視界（ＦＯＶ）から離れる可能性があり、あるいは視界内にあるが、ユーザの手もしくは他の身体の一部、第２のハンドヘルドコントローラ、または物理的環境内の他のオブジェクトによってなど別のオブジェクトによって塞がれる可能性があることである。ＡＲシステムは、このように、ハンドヘルドコントローラに関する正確な姿勢を特定することができず、それにより、ＡＲシステムの操作に伴うユーザの不満および失望につながる可能性がある。
【0007】
前述の技術上の問題に対する技術的解決策として、いくつかの態様は、ハンドヘルドコントローラがＡＲシステムのセンサまたはカメラの視界内で追跡可能であるとき、ＡＲシステムのセンサまたはカメラによって提供された画像に基づいてハンドヘルドコントローラの姿勢を特定することができ、またハンドヘルドコントローラがセンサもしくはカメラの視界内で追跡可能でないとき、またはハンドヘルドコントローラが視界内の別のオブジェクトによって塞がれている場合、他の利用可能なデータおよび運動モデルを使用してハンドヘルドコントローラの姿勢を特定することができる、コントローラ追跡サブシステムを含む。
【0008】
たとえば、コントローラ追跡サブシステムは、２つの構成要素である、ＦＯＶ追跡構成要素（集団追跡構成要素とも呼ばれる）と、コントローラのうちの１つまたは複数がＡＲシステムのセンサおよびカメラの視界内で容易に追跡可能でないときに特殊な運動モデルを適用する非ＦＯＶ追跡構成要素（「コーナーケース」追跡構成要素とも呼ばれる）とを有することができる。詳細には、通常の動作条件下で、ＦＯＶ追跡構成要素は、ＨＭＤ状態データおよびコントローラ測定データ（速度、加速度など）を受信して、ハンドヘルドコントローラに関する画像ベースのコントローラ状態データを計算する。ハンドヘルドコントローラが追跡可能である（たとえば、視界内にある、塞がれていない、かつ静止していない）場合、画像ベースのコントローラ状態データはコントローラ姿勢を特定するために使用され、非ＦＯＶ追跡構成要素はバイパスされる。ハンドヘルドコントローラが視界内で追跡可能でなく、ハンドヘルドコントローラ測定データが１つまたは複数の追跡コーナーケースのための起動条件を満たす場合、非ＦＯＶ追跡構成要素は、１つまたは複数の起動された特殊な運動モデルを適用して、ハンドヘルドコントローラのうちの１つまたは複数に関するモデルベースのコントローラ状態データを計算する。モデルベースのコントローラ状態データは、次いで、コントローラ姿勢を特定するために使用される。
【0009】
例示的なコーナーケースには、ＨＭＤの近くのＨＭＤにくっつけられていないコントローラ、くっつけられていないハンドオーバーハンド、くっつけられたハンドオーバーハンド、信用できないコントローラの位置、および静止しているコントローラが含まれる。コーナーケースの各々は、起動条件に関連付けられた運動モデルが評価されるかどうかを判定する起動条件および停止条件を有することができる。コーナーケースのための挙動は、有限状態機械（ＦＳＭ）、およびハンドヘルドコントローラに関するモデルベースのコントローラ状態を特定するために使用され得る制約付き運動モデルを含むことができる。２つ以上のコーナーケースのための挙動は、表示フレーム生成サイクルの間に実現することができる。最も高い優先度の挙動に関連付けられた起動されたモデルの評価から得られた結果のモデルベースのコントローラ状態データは、ハンドヘルドコントローラの姿勢を特定するために使用することができる。
【0010】
上述された態様および以下に記載されるさらなる態様は、従来の人工現実システムの実装形態に対する技術的な改善点を提供することができ、ハンドヘルドコントローラがＡＲシステムのセンサおよび／もしくはカメラの視界内にない場合、またはハンドヘルドコントローラが塞がれているときに、ＡＲシステムがハンドヘルドコントローラの姿勢を特定することを可能にすることなどの、１つまたは複数の実際的な用途を提供することができる。結果として得られたコントローラ姿勢は、コントローラがＡＲシステムのセンサおよび／またはカメラの視界内で追跡可能でないときに人工現実システムによって人工現実コンテンツのより正確なレンダリングを提供するために使用することができる。
【0011】
１つまたは複数の例示的な態様では、人工現実システムは、物理的環境を表す画像データを取り込むように構成された画像取込みデバイスと、人工現実コンテンツを出力するように構成されたヘッドマウントディスプレイ（ＨＭＤ）と、コントローラ状態データに少なくとも部分的に基づいて、ハンドヘルドコントローラの位置および向きを表すコントローラ姿勢を特定するように構成された姿勢追跡器であって、ハンドヘルドコントローラに関する様々な運動挙動に関連付けられた複数の運動モデルを有する非ＦＯＶ追跡器を含み、複数の運動モデルの各々が１つまたは複数のそれぞれの起動条件に関連付けられ、非ＦＯＶ追跡器が、ハンドヘルドコントローラが画像データ内で追跡可能でないこと、および複数の運動モデルのうちの１つが起動されたとの判定に応答して、複数の運動モデルのうちの１つに従ってコントローラ状態データを特定するように構成される、姿勢追跡器と、コントローラ姿勢に従って人工現実コンテンツおよび少なくとも１つのグラフィカルオブジェクトをＨＭＤに表示するためにレンダリングするように構成されたレンダリングエンジンとを含む。
【0012】
１つまたは複数のさらなる例示的な態様では、方法は、ヘッドマウントディスプレイ（ＨＭＤ）を含む人工現実システムの画像取込みデバイスにより、物理的環境を表す画像データを取得することと、人工現実システムの非ＦＯＶ追跡器により、ハンドヘルドコントローラに関する様々な運動挙動に関連付けられた複数の運動モデルのうちの１つの運動モデルに従って、ハンドヘルドコントローラに関するコントローラ状態データを特定することであって、複数の運動モデルの各々が１つまたは複数のそれぞれの起動条件に関連付けられ、運動モデルに従ってコントローラ状態データを特定することが、ハンドヘルドコントローラが画像データ内で追跡可能でないこと、およびハンドヘルドコントローラに関する運動挙動を示すコントローラ測定データが運動モデルに関連付けられた１つまたは複数の起動条件を満たすと判定したことに応答する、ハンドヘルドコントローラに関するコントローラ状態データを特定することと、人工現実システムにより、コントローラ状態データに少なくとも部分的に基づいて、ハンドヘルドコントローラの位置および向きを表すコントローラ姿勢を特定することと、人工現実システムにより、コントローラ姿勢に従って人工現実コンテンツおよび少なくとも１つのグラフィカルオブジェクトをＨＭＤに表示するためにレンダリングすることとを含む。
【0013】
１つまたは複数のさらなる例示的な態様では、非一時的コンピュータ可読媒体は、実行されると、画像取込みデバイスを介して物理的環境を表す画像データを取得することと、ハンドヘルドコントローラに関する様々な運動挙動に関連付けられた複数の運動モデルのうちの１つの運動モデルに従って、ハンドヘルドコントローラに関するコントローラ状態データを特定することであって、複数の運動モデルの各々が１つまたは複数のそれぞれの起動条件に関連付けられ、運動モデルに従ってコントローラ状態データを特定することが、ハンドヘルドコントローラが画像データ内で追跡可能でないこと、およびハンドヘルドコントローラに関する運動挙動を示すコントローラ測定データが運動モデルに関連付けられた１つまたは複数の起動条件を満たすとの判定に応答する、ハンドヘルドコントローラに関するコントローラ状態データを特定することと、コントローラ状態データに少なくとも部分的に基づいて、ハンドヘルドコントローラの位置および向きを表すコントローラ姿勢を特定することと、コントローラ姿勢に従って人工現実コンテンツおよび少なくとも１つのグラフィカルオブジェクトをＨＭＤに表示するためにレンダリングすることとを人工現実システムの１つまたは複数のプロセッサに行わせる命令を含む。
【0014】
本開示の技法の１つまたは複数の例の詳細は、添付の図面および以下の説明に記載される。技法の他の特徴、目的、および利点は、説明および図面から、かつ特許請求の範囲から明らかになる。
【図面の簡単な説明】
【0015】
【図1A】本開示の技法により、人工現実システムの画像取込みデバイスの視界内で追跡可能でない１つまたは複数のハンドヘルドコントローラに対して姿勢追跡を実行する例示的な人工現実システムを描写する図である。
【図1B】本開示の技法により、人工現実システムの画像取込みデバイスの視界内で追跡可能でない１つまたは複数のハンドヘルドコントローラに対して姿勢追跡を実行する別の例示的な人工現実システムを描写する図である。
【図2】本開示の技法に従って動作する例示的なＨＭＤを描写する図である。
【図5】本開示の態様による、例示的な非ＦＯＶ追跡器の構成要素を示すブロック図である。
【図6】本開示の態様による、いくつかの場合において、視界内で追跡可能でないハンドヘルドコントローラのコントローラ姿勢を特定するための方法の例示的な動作を示すフローチャートである。
【図7】本開示の態様による、挙動を起動し、起動された挙動に関連付けられた運動モデルを評価するための方法の例示的な動作を示すフローチャートである。
【図8】本開示の態様による、挙動を起動し、起動された挙動に関連付けられた運動モデルを評価するための方法の例示的な動作を示すフローチャートである。
【図9】本開示の態様による、挙動を起動し、起動された挙動に関連付けられた運動モデルを評価するための方法の例示的な動作を示すフローチャートである。
【図10】本開示の態様による、挙動を起動し、起動された挙動に関連付けられた運動モデルを評価するための方法の例示的な動作を示すフローチャートである。
【図11】本開示の態様による、ハンドヘルドコントローラが視界内に再び入ったときにジッタを削減するための方法の例示的な動作を示すフローチャートである。
【図12A-12B】例示的な物理的環境および例示的な物理的環境に基づく例示的な人工現実コンテンツを示す図である。
【図13A-13B】例示的な物理的環境および例示的な物理的環境に基づく例示的な人工現実コンテンツを示す図である。
【図14A-14B】例示的な物理的環境および例示的な物理的環境に基づく例示的な人工現実コンテンツを示す図である。
【図15A-15B】例示的な物理的環境および例示的な物理的環境に基づく例示的な人工現実コンテンツを示す図である。
【発明を実施するための形態】
【0016】
図および説明の全体を通して、同様の参照文字は同様の要素を指す。
【0017】
図１Ａは、本開示の技法により、人工現実システムの画像取込みデバイスの視界内で追跡可能でない１つまたは複数のハンドヘルドコントローラ１１４に対して姿勢追跡を実行する例示的な人工現実システム１０を描写する図である。いくつかの例示的な実装形態では、人工現実システム１０は、ユーザ１１０によって操作される１つまたは複数のハンドヘルドコントローラ１１４の１つまたは複数の検出された姿勢に基づいて、グラフィカル要素を生成し、ユーザ１１０にレンダリングする。すなわち、本明細書に記載されたように、人工現実システム１０は、コントローラ１１４の特定の運動、構成、位置、および／または向きなどの、ユーザ１１０によって操作されるコントローラ１１４の姿勢に基づいて、１つまたは複数のグラフィカル要素１２６、１３６を提示する。
【0018】
図１Ａの例では、人工現実システム１０はヘッドマウントデバイス（ＨＭＤ）１１２を含む。図示されたように、ＨＭＤ１１２は、通常、ユーザ１１０によって装着され、人工現実コンテンツ１２２をユーザ１１０に提示するための電子ディスプレイおよび光学アセンブリを含む。加えて、ＨＭＤ１１２は、ＨＭＤ１１２の運動を追跡するための１つまたは複数の運動センサ（たとえば、加速度計）を含み、周囲の物理的環境の画像データを取り込むための１つまたは複数の画像取込みデバイス１３８、たとえば、カメラ、赤外線（ＩＲ）検出器、ドップラーレーダー、ラインスキャナなどを含んでもよい。
【0019】
いくつかの例示的な実装形態では、ＨＭＤ１１２は、スタンドアロンのモバイル人工現実システムとして動作する。他の実装形態では、人工現実システム１０は、場合によっては、ＨＭＤ１１２に加えて、またはその代わりに、コンソール１０６および／または１つもしくは複数の外部センサ９０を含むことができる。図１Ａに示された例では、コンソール１０６は、ゲームコンソール、ワークステーション、デスクトップコンピュータ、またはラップトップなどの、単一のコンピューティングデバイスとして図示されている。他の例では、コンソール１０６は、分散コンピューティングネットワーク、データセンタ、またはクラウドコンピューティングシステムなどの、複数のコンピューティングデバイスにわたって分散されてもよい。コンソール１０６、ＨＭＤ１１２、およびセンサ９０は、この例に示されたように、ネットワーク１０４を介して通信可能に結合されてもよく、ネットワーク１０４は、ＷｉＦｉ、メッシュネットワーク、または短距離無線通信媒体などの、有線または無線のネットワークであってもよい。
【0020】
一般に、人工現実システム１０は、実世界の３Ｄ物理的環境から取り込まれた情報を使用して、ユーザ１１０に表示するために人工現実コンテンツ１２２をレンダリングする。図１Ａの例では、ユーザ１１０は、ＨＭＤ１１２および／またはコンソール１１６上で実行される人工現実アプリケーションによって構築されレンダリングされた人工現実コンテンツ１２２を視る。一例として、人工現実コンテンツ１２２は、その中でユーザ１１０が１つまたは複数の仮想オブジェクト１２８Ａ、１２８Ｂとともにアバター１２０としてレンダリングされる、消費者ゲームアプリケーションであってもよい。いくつかの例では、人工現実コンテンツ１２２は、実世界の画像と仮想オブジェクトの混合、たとえば、混合現実および／または拡張現実を含んでもよい。他の例では、人工現実コンテンツ１２２は、たとえば、ビデオ会議アプリケーション、ナビゲーションアプリケーション、教育アプリケーション、訓練またはシミュレーションのアプリケーション、または人工現実を実装する他のタイプのアプリケーションであってもよい。
【0021】
動作中、人工現実アプリケーションは、基準フレーム、通常、ＨＭＤ１１２の視点用の姿勢情報を追跡および計算することにより、ユーザ１１０に表示するための人工現実コンテンツ１２２を構築する。基準フレームとしてＨＭＤ１１２を使用して、かつＨＭＤ１１２の現在の推定姿勢および１つまたは複数のコントローラ１１４の現在の推定姿勢により判定される現在の視界１３０に基づいて、人工現実アプリケーションは、いくつかの例では、ユーザ１１０の実世界の３Ｄ物理的環境の上に少なくとも部分的に重ね合わされ得る３Ｄ人工現実コンテンツをレンダリングする。このプロセスの間、人工現実アプリケーションは、移動情報およびユーザコマンドなどのＨＭＤ１１２および１つまたは複数のコントローラ１１４から受信された検知データ、ならびにいくつかの例では、外部カメラなどの任意の外部センサ９０からのデータを使用して、ユーザ１１０による運動および／または１つもしくは複数のコントローラ１１４の運動などの実世界の物理的環境内の３Ｄ情報を取り込む。検知データに基づいて、人工現実アプリケーションは、ＨＭＤ１１２の基準フレーム用の現在の姿勢、１つまたは複数のコントローラ１１４の現在の姿勢を特定し、ＨＭＤ１１２およびコントローラ１１４の現在の姿勢に従って、人工現実コンテンツ１２２をレンダリングする。本開示の技法によれば、人工現実システム１０は、１つまたは複数のコントローラ１１４がセンサまたはカメラの視界内で追跡可能であるとき、人工現実システム１０のセンサまたはカメラからのデータに基づいて、１つまたは複数のコントローラ１１４の姿勢を特定することができ、人工現実システム１０は、１つまたは複数のコントローラ１１４がセンサまたはカメラの視界内で追跡可能でないとき、運動モデルおよび利用可能なコントローラ測定データを使用することができる。
【0022】
より具体的には、本明細書にさらに記載されるように、ＨＭＤ１１２の画像取込みデバイス１３８は、画像取込みデバイス１３８の視界１３０内にある実世界の物理的環境内のオブジェクトを表す画像データを取り込む。これらのオブジェクトは１つまたは複数のコントローラ１１４を含むことができる。視界１３０は、通常、ＨＭＤ１１２の視点と対応する。図１Ａの示された例などのいくつがの例では、人工現実アプリケーションは、視界１３０内にあるユーザ１１０の手１３２の部分を人工現実コンテンツ１２２内の仮想の手１３６としてレンダリングする。仮想の手１３６は、手１３２が保持するコントローラ１１４の姿勢に従ってレンダリングすることができる。さらに、人工現実アプリケーションは、１つまたは複数のコントローラ１１４の姿勢に基づいて、仮想の剣１２６などの仮想オブジェクトをレンダリングすることができる。
【0023】
したがって、本開示の技法は、人工現実システムがコンテンツをレンダリングおよび表示するコンピュータ関連分野に対する具体的な技術的改善点を提供する。たとえば、本明細書に記載された人工現実システムは、コントローラ１１４が人工現実システム１０のセンサおよび／またはカメラの視界内で追跡可能であるかどうかにかかわらず、コントローラ１１４に関して特定された姿勢に基づいて人工現実コンテンツ上に重ね合わされたグラフィカル要素を生成およびレンダリングすることにより、人工現実アプリケーションのユーザ１１０などのユーザに高品質の人工現実体験を提供することができる。
【0024】
図１Ｂは、本開示の技法により、人工現実システム２０の画像取込みデバイスの視界内で追跡可能でない１つまたは複数のハンドヘルドコントローラに対して姿勢追跡を実行する別の例示的な人工現実システム２０を描写する図である。図１Ａの人工現実システム１０と同様に、いくつかの例では、図１Ｂの人工現実システム２０は、１つまたは複数のコントローラ１１４に関して特定された姿勢に基づいて、人工現実環境内でユーザが対話および操作するためのグラフィカル要素を提示および制御することができる。
【0025】
図１Ｂの例では、人工現実システム２０は、外部カメラ１０２Ａおよび１０２Ｂ（まとめて、「外部カメラ１０２」）と、ＨＭＤ１１２Ａ～１１２Ｃ（まとめて、「ＨＭＤ１１２」）と、コントローラ１１４Ａ、１１４Ｂ、および１１４Ｃ（まとめて、「コントローラ１１４」）と、センサ９０とを含む。図１Ｂに示されたように、人工現実システム２０は、ＨＭＤ１１２および／またはコンソール１０６上で実行される人工現実アプリケーションが、ユーザ１１０Ａ～１１０Ｃ（まとめて、「ユーザ１１０」）の各々に、それぞれのユーザのための対応する基準フレームの現在の視点に基づいて人工現実コンテンツを提示する、マルチユーザ環境を表す。すなわち、この例では、人工現実アプリケーションは、ＨＭＤ１１２およびそれぞれのコントローラ１１４の各々のための基準フレームに関する姿勢情報を追跡および計算することによって人工コンテンツを構築する。人工現実システム２０は、カメラ１０２、ＨＭＤ１１２、およびコントローラ１１４から受信されたデータを使用して、ＨＭＤ１１２の対応する基準フレーム内のコントローラ１１４に関する更新された姿勢情報を計算する際に使用するために、ユーザ１１０による運動などの実世界の環境内の３Ｄ情報、および／またはコントローラ１１４に関する追跡情報を取り込む。一例として、人工現実アプリケーションは、ＨＭＤ１１２Ｃに関して特定された現在の視点に基づいて、仮想オブジェクト１２８Ａ～１２８Ｃ（まとめて、「仮想オブジェクト１２８」）を有する人工現実コンテンツ１２２を、実世界のオブジェクト１０８Ａ～１０８Ｃ（まとめて、「実世界のオブジェクト１０８」）上に空間的に重ね合わされるようにレンダリングすることができる。さらに、ＨＭＤ１１２Ｃの視点から、人工現実システム２０は、ユーザ１１０Ａ、１１０Ｂに関する推定姿勢に基づいて、それぞれ、アバター１２０Ａ、１２０Ｂをレンダリングする。さらに、人工現実システム２０は、人工現実システム２０によって特定されたコントローラ１１４の姿勢に基づいて、グラフィカルオブジェクトをレンダリングすることができる。
【0026】
ＨＭＤ１１２の各々は、人工現実システム２０内で並行して動作する。図１Ｂの例では、ユーザ１１０の各々は、人工現実アプリケーション内の「プレーヤ」または「参加者」であってもよく、ユーザ１１０のいずれも、人工現実アプリケーション内の「見物人」または「観察者」であってもよい。ＨＭＤ１１２Ｃは、ユーザ１１０Ｃの手１３２Ｃが保持するコントローラ１１４Ｃを追跡し、手１３２Ｃが保持するコントローラ１１４Ｃが視界１３０内にあるときに、人工現実コンテンツ１２２内の仮想の手１３６として手１３２Ｃをレンダリングすることにより、図１ＡのＨＭＤ１１２と実質的に同様に動作することができる。ＨＭＤ１１２Ｃはまた、コントローラ１１４Ｃが視界１３０内にあるときにコントローラ１１４Ｃの特定された姿勢に基づいて、剣１２６などの仮想オブジェクトをレンダリングすることができる。コントローラ１１４Ｃは、Ｂｌｕｅｔｏｏｔｈなどの短距離無線通信の近距離通信を使用して、有線通信リンクを使用して、または他のタイプの通信リンクを使用して、ＨＭＤ１１２Ｃと通信することができる。
【0027】
ＨＭＤ１１２ＡおよびＨＭＤ１１２Ｂも、図１ＡのＨＭＤ１１２と実質的に同様に動作することができる。ＨＭＤ１１２Ｂは、ユーザ１１０Ｂが保持するコントローラ１１４Ａおよび１４４Ｂからユーザ入力を受信することができる。
【0028】
図１Ｂに示されたように、ＨＭＤ１１２Ｃのカメラ１３８を介して取り込まれた画像データに加えて、またはその代わりに、外部カメラ１０２からの入力データは、コントローラ１１４の特定の運動、構成、位置、および／または向きを追跡および検出するために使用されてもよい。
【0029】
図２は、本開示の技法に従って動作するように構成された例示的なＨＭＤ１１２およびコントローラ１１４を描写する図である。図２のＨＭＤ１１２は、図１Ａおよび図１ＢのＨＭＤ１１２のいずれかの例であってもよい。ＨＭＤ１１２は、本明細書に記載された技法を実施するように構成されたスタンドアロンのモバイル人工現実システムとして動作することができるか、または図１Ａ、図１Ｂの人工現実システム１０、２０などの人工現実システムの一部であってもよい。
【0030】
この例では、ＨＭＤ１１２は、前面剛体、およびＨＭＤ１１２をユーザに固定するバンドを含む。加えて、ＨＭＤ１１２は、人工現実コンテンツをユーザに提示するように構成された内向電子ディスプレイ２０３を含む。電子ディスプレイ２０３は、液晶ディスプレイ（ＬＣＤ）、量子ドットディスプレイ、ドットマトリクスディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、陰極線管（ＣＲＴ）ディスプレイ、電子インク、またはモノクロ、カラー、もしくは視覚出力を生成することが可能な任意の他のタイプのディスプレイなどの、任意の適切な表示技術であってもよい。いくつかの例では、電子ディスプレイは、ユーザの各眼に別々の画像を提供するための立体視ディスプレイである。いくつかの例では、ＨＭＤ１１２およびユーザの現在の視点に従って人工現実コンテンツをレンダリングするためにＨＭＤ１１２の位置および向きを追跡するとき、ＨＭＤ１１２の前面剛体に対するディスプレイ２０３の既知の向きおよび位置は、ローカル原点とも呼ばれる基準フレームとして使用される。基準フレームはまた、ＨＭＤ１１２に対するコントローラ１１４の位置および向きを追跡する際に使用されてもよい。他の例では、ＨＭＤ１１２は、眼鏡またはゴーグルなどの他のウェアラブルヘッドマウントディスプレイの形態を取ることができる。
【0031】
図２にさらに示されたように、この例では、ＨＭＤ１１２は、ＨＭＤ１１２の現在の加速度を示すデータを出力する１つもしくは複数の加速度計（慣性測定ユニットもしくは「ＩＭＵ」とも呼ばれる）、ＨＭＤ１１２の場所を示すデータを出力するＧＰＳセンサ、様々なオブジェクトからのＨＭＤ１１２の距離を示すデータを出力するレーダーもしくはソナー、または物理的環境内のＨＭＤ１１２もしくは他のオブジェクトの場所もしくは向きの指示を提供する他のセンサなどの、１つまたは複数の運動センサ２０６をさらに含む。その上、ＨＭＤ１１２は、物理的環境を表す画像データを出力するように構成された、ビデオカメラ、スチルカメラ、ＩＲスキャナ、ＵＶスキャナ、レーザースキャナ、ドップラーレーダースキャナ、深度スキャナなどの、統合された画像取込みデバイス１３８Ａおよび１３８Ｂ（まとめて、「画像取込みデバイス１３８」）を含んでもよい。いくつかの態様では、画像取込みデバイス１３８は、電磁スペクトル（たとえば、ＩＲ光）の可視スペクトルおよび不可視スペクトルから画像データを取り込むことができる。画像取込みデバイス１３８は、可視スペクトルから画像データを取り込む１つまたは複数の画像取込みデバイス、および不可視スペクトルから画像データを取り込む１つまたは複数の別個の画像取込みデバイスを含んでもよく、またはこれらは、同じ１つまたは複数の画像取込みデバイスに組み合わされてもよい。より具体的には、画像取込みデバイス１３８は、通常、ＨＭＤ１１２の視点に対応する、画像取込みデバイス１３８の視界１３０Ａ、１３０Ｂ内にある物理的環境内のオブジェクトを表す画像データを取り込む。ＨＭＤ１１２は内部制御ユニット２１０を含み、内部制御ユニット２１０は、内部電源、ならびにプログラム可能動作を実行して、検知データを処理し、ディスプレイ２０３に人工現実コンテンツを提示するための動作環境を提供する、１つまたは複数のプロセッサ、メモリ、およびハードウェアを有する１つまたは複数のプリント基板を含んでもよい。
【0032】
コントローラ１１４は、人工現実システム１０、２０と対話する際に使用するためのハンドヘルドコントローラであり得る。コントローラ１１４は、可視スペクトルまたは不可視スペクトル内で光を放射する１つまたは複数のエミッタ２０８を含むことができる。いくつかの例示的な実装形態では、コントローラ１１４は１０個以上のエミッタ２０８を含むことができる。いくつかの態様では、エミッタ２０８はＩＲエミッタであり得る。エミッタ２０８は、コントローラ１１４の姿勢を特定するために人工現実システム１０、２０によって使用され得るパターン（「集団」とも呼ばれる）で配列することができる。コントローラ１１４は、人工現実システム１０、２０が使用するための入力を提供することができる、ボタン、ダイヤルなどのユーザインターフェース機構を含むことができる。
【0033】
一例では、本明細書に記載された技法によれば、制御ユニット２１０は、検知された画像データに基づいて、コントローラ１１４の姿勢を特定するように構成される。画像取込みデバイス１３８の視界内にあるとき、人工現実システムは、画像データ内のコントローラ１４のエミッタ２０８のパターンを検出し、パターンを使用してコントローラ１１４の姿勢を特定することができる。コントローラ１１４が画像取込みデバイス１３８の視界内で追跡可能でないか、または視界１３０Ａ、１３０Ｂ内で塞がれているとき、人工現実システムは、以下にさらに記載されるように、特定のケースに固有の運動モデルとともにコントローラ１１４から取得された測定値を使用して、コントローラ１１４の姿勢を特定することができる。たとえば、画像データ内で検出可能なコントローラ１１４のエミッタが３つよりも少ない場合、コントローラ１１４は、画像データ内で追跡可能でないと判定されてもよい。制御ユニット２１０は、コントローラ１１４の推定姿勢の特定に基づいて、仮想オブジェクトおよび他の人工現実コンテンツをレンダリングすることができる。
【0034】
図３は、ハンドヘルドコントローラに対する姿勢追跡が、図１Ａ、図１Ｂの人工現実システム１０、２０の例示的なインスタンスによって実行される例を示すブロック図である。図３の例では、ＨＭＤ１１２は、ＨＭＤ１１２および／またはコントローラ１１４から受信された運動データおよび画像データなどの検知データに基づいて、本明細書に記載された技法に従って、ＨＭＤ１１２およびコントローラ１１４に対する姿勢追跡およびレンダリングを実行する。
【0035】
この例では、ＨＭＤ１１２は、いくつかの例では、オペレーティングシステム３０５を実行するためのコンピュータプラットフォームを提供する１つまたは複数のプロセッサ３０２およびメモリ３０４を含み、オペレーティングシステム３０５は、たとえば、組込み型のリアルタイムマルチタスキングオペレーティングシステム、または他のタイプのオペレーティングシステムであってもよい。次に、オペレーティングシステム３０５は、１つまたは複数のソフトウェア構成要素３１７を実行するためのマルチタスキング動作環境を提供する。プロセッサ３０２は、１つまたは複数のＩ／Ｏインターフェース３１５に結合され、Ｉ／Ｏインターフェース３１５は、同様のＩ／Ｏインターフェース３１９を介してコントローラ１１４と、かつキーボード、ゲームコントローラ、ディスプレイデバイス、画像取込みデバイス、他のＨＭＤなどの他のデバイスと通信するためのＩ／Ｏインターフェースを提供する。その上、１つまたは複数のＩ／Ｏインターフェース３１５、３１９は、ネットワーク１０４などのネットワークと通信するための１つまたは複数の有線または無線のネットワークインターフェースコントローラ（ＮＩＣ）を含んでもよい。さらに、プロセッサ３０２は、電子ディスプレイ２０３、運動センサ２０６、および画像取込みデバイス１３８に結合される。いくつかの例では、プロセッサ３０２およびメモリ３０４は、別個で個別の構成要素であってもよい。他の例では、メモリ３０４は、単一の集積回路内でプロセッサ３０２と併置されたオンチップメモリであってもよい。
【0036】
ＨＭＤ１１２のソフトウェアアプリケーション３１７は、人工現実アプリケーション全体を提供するように動作する。この例では、ソフトウェアアプリケーション３１７は、アプリケーションエンジン３４０と、レンダリングエンジン３２２と、姿勢追跡器３２６とを含む。
【0037】
一般に、アプリケーションエンジン３４０は、人工現実アプリケーション、たとえば、テレビ会議アプリケーション、ゲームアプリケーション、ナビゲーションアプリケーション、教育アプリケーション、訓練またはシミュレーションのアプリケーションなどを提供および提示する機能を含む。アプリケーションエンジン３４０は、たとえば、ＨＭＤ１１２上に人工現実アプリケーションを実装するための１つまたは複数のソフトウェアパッケージ、ソフトウェアライブラリ、ハードウェアドライバ、および／またはアプリケーションプログラミングインターフェース（ＡＰＩ）を含んでもよい。アプリケーションエンジン３４０による制御に応答して、レンダリングエンジン３２２は、ＨＭＤ１１２のアプリケーションエンジン３４０がユーザに表示するための３Ｄ人工現実コンテンツを生成する。
【0038】
アプリケーションエンジン３４０およびレンダリングエンジン３２２は、姿勢追跡器３２６によって特定された基準フレーム、通常、ＨＭＤ１１２の視点内のコントローラ１１４およびＨＭＤ１１２に関する現在の姿勢情報に従って、ユーザ１１０に表示するための人工現実コンテンツを構築する。現在の視点に基づいて、レンダリングエンジン３２２は３Ｄ人工現実コンテンツを構築し、３Ｄ人工現実コンテンツは、いくつかの場合では、ユーザ１１０の実世界の３Ｄ環境の上に少なくとも部分的に重ね合わされてもよい。このプロセスの間、姿勢追跡器３２６は、移動情報およびユーザコマンドなどのＨＭＤ１１２から受信された検知データおよびコントローラ１１４から受信されたコントローラ測定データ、ならびにいくつかの例では、外部カメラなどの任意の外部センサ９０（図１Ａ、図１Ｂ）からのデータに対して動作して、ユーザ１１０による運動、コントローラ１１４の位置および場所、ならびに／またはユーザ１１０に関する特徴追跡情報などの、実世界の環境内の３Ｄ情報を取り込む。検知データに基づいて、姿勢追跡器３２６は、ＨＭＤ１１２の基準フレーム内のＨＭＤ１１２およびコントローラ１１４の現在の姿勢を特定し、現在の姿勢に従って、ユーザ１１０に表示するための人工現実コンテンツを構築する。
【0039】
姿勢追跡器３２６は、ＦＯＶ追跡器３４２および非ＦＯＶ追跡器３４４を含む。ＦＯＶ追跡器３４２は、画像取込みデバイス１３８を介して取得された画像データおよびコントローラ１１４の測定データに対して動作して、コントローラ１１４が画像取込みデバイス１３８の視界内で追跡可能であるときにコントローラ１１４の推定姿勢を計算するために使用され得る画像ベースのコントローラ状態データを特定する。コントローラ１１４は、コントローラ１１４が視界内にあり、他のオブジェクトによって塞がれておらず、かつ静止していないときに、視界内で追跡可能であると見なすことができる。
【0040】
非ＦＯＶ追跡器３４２は、コントローラ１１４およびＨＭＤ１１２から取得された測定値に対して動作して、コントローラ１１４が画像取込みデバイス１３８の視界内で追跡可能でなく、測定値および他の利用可能なデータがコントローラ１１４および／またはＨＭＤ１１２の測位の特定のケースのための起動条件を満たすときに、コントローラ１１４の姿勢を特定する。
【0041】
【0042】
コントローラ１１４は、人工現実システム１０、２０とのユーザ対話のために提供するハンドヘルドコントローラであり得る。いくつかの態様では、コントローラ１１４は、エミッタ２０８と、運動センサ３０６と、Ｉ／Ｏインターフェース３１９とを含む。エミッタ２０８は、可視スペクトルまたは不可視スペクトル内で光を放射および／または反射することができる。たとえば、エミッタ２０８はＩＲスペクトル内で光を放射することができる。
【0043】
運動センサ２０６は、コントローラ１１４の現在の加速度を示すデータを出力する１つもしくは複数の加速度計（慣性測定ユニットもしくは「ＩＭＵ」とも呼ばれる）、コントローラ１１４の場所を示すデータを出力するＧＰＳセンサ、様々なオブジェクトからのコントローラ１１４の距離を示すデータを出力するレーダーもしくはソナー、または物理的環境内のコントローラ１１４もしくは他のオブジェクトの場所もしくは向きの指示を提供する他のセンサなどのセンサを含むことができる。
【0044】
図４は、ハンドヘルドコントローラに対する姿勢追跡が、図１Ａ、図１Ｂの人工現実システム１０、２０のコンソール１０６およびＨＭＤ１１２の例示的なインスタンスによって実行される例示的な実装形態を示すブロック図である。図４の例では、コンソール１０６は、ＨＭＤ１１２および／またはコントローラ１１４から受信された運動データならびにＨＭＤ１１２および／または外部センサから受信された画像データなどの検知データに基づいて、本明細書に記載された技法に従って、ＨＭＤ１１２に対する姿勢追跡およびレンダリングを実行する。
【0045】
この例では、図３と同様に、ＨＭＤ１１２は、いくつかの例では、オペレーティングシステム３０５を実行するためのコンピュータプラットフォームを提供する１つまたは複数のプロセッサ３０２およびメモリ３０４を含み、オペレーティングシステム３０５は、たとえば、組込み型のリアルタイムマルチタスキングオペレーティングシステム、または他のタイプのオペレーティングシステムであってもよい。次に、オペレーティングシステム３０５は、１つまたは複数のソフトウェア構成要素３１７を実行するためのマルチタスキング動作環境を提供する。その上、プロセッサ３０２は、電子ディスプレイ２０３、運動センサ２０６、および画像取込みデバイス１３８に結合される。
【0046】
一般に、コンソール１０６は、カメラ１０２（図１Ｂ）および／またはＨＭＤ１１２から受信された画像および追跡情報、ならびにコントローラ１１４からの測定データを処理して、ＨＭＤ１１２およびコントローラ１１４に対する姿勢追跡およびコンテンツレンダリングを実行するコンピューティングデバイスである。いくつかの例では、コンソール１０６は、ワークステーション、デスクトップコンピュータ、ラップトップ、またはゲームシステムなどの単一のコンピューティングデバイスである。いくつかの例では、プロセッサ４１２および／またはメモリ４１４などのコンソール１０６の少なくとも一部分は、クラウドコンピューティングシステム、データセンタにわたって、またはインターネット、別の公的もしくは専用の通信ネットワーク、たとえば、ブロードバンド、セルラー、Ｗｉ－Ｆｉ、ならびに／もしくはコンピューティングシステム、サーバ、およびコンピューティングデバイスの間でデータを送信するための他のタイプの通信ネットワークなどのネットワークにわたって分散されてもよい。
【0047】
図４の例では、コンソール１０６は、いくつかの例では、オペレーティングシステム４１６を実行するためのコンピュータプラットフォームを提供する１つまたは複数のプロセッサ４１２およびメモリ４１４を含み、オペレーティングシステム４１６は、たとえば、組込み型のリアルタイムマルチタスキングオペレーティングシステム、または他のタイプのオペレーティングシステムであってもよい。次に、オペレーティングシステム４１６は、１つまたは複数のソフトウェア構成要素４１７を実行するためのマルチタスキング動作環境を提供する。プロセッサ４１２は１つまたは複数のＩ／Ｏインターフェース４１５に結合され、Ｉ／Ｏインターフェース４１５は、キーボード、ゲームコントローラ、ディスプレイデバイス、画像取込みデバイス、ＨＭＤなどの外部デバイスと通信するためのＩ／Ｏインターフェースを提供する。その上、１つまたは複数のＩ／Ｏインターフェース４１５は、ネットワーク１０４などのネットワークと通信するための１つまたは複数の有線または無線のネットワークインターフェースコントローラ（ＮＩＣ）を含んでもよい。プロセッサ３０２、４１２の各々は、マルチコアプロセッサ、コントローラ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または等価の個別論理回路もしくは集積論理回路のうちの任意の１つまたは複数を備えることができる。メモリ３０４、４１４は、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、プログラマブル読取り専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、およびフラッシュメモリなどの、データおよび実行可能ソフトウェア命令を記憶するための任意の形態のメモリを備えることができる。
【0048】
コンソール１０６のソフトウェアアプリケーション４１７は、人工現実アプリケーション全体を提供するように動作する。この例では、ソフトウェアアプリケーション４１７は、アプリケーションエンジン４２０と、レンダリングエンジン４２２と、姿勢追跡器４２６とを含む。
【0049】
一般に、アプリケーションエンジン４２０は、人工現実アプリケーション、たとえば、テレビ会議アプリケーション、ゲームアプリケーション、ナビゲーションアプリケーション、教育アプリケーション、訓練またはシミュレーションのアプリケーションなどを提供および提示する機能を含む。アプリケーションエンジン４２０は、たとえば、コンソール１０６上に人工現実アプリケーションを実装するための１つまたは複数のソフトウェアパッケージ、ソフトウェアライブラリ、ハードウェアドライバ、および／またはアプリケーションプログラムインターフェース（ＡＰＩ）を含んでもよい。アプリケーションエンジン４２０による制御に応答して、レンダリングエンジン４２２は、ＨＭＤ１１２のアプリケーションエンジン３４０によってユーザに表示するための３Ｄ人工現実コンテンツを生成する。
【0050】
アプリケーションエンジン４２０およびレンダリングエンジン４２２は、姿勢追跡器４２６によって特定された基準フレーム、通常、ＨＭＤ１１２の視点内のＨＭＤ１１２およびコントローラ１１４に関する現在の姿勢情報に従って、ユーザ１１０に表示するための人工現実コンテンツを構築する。現在の視点に基づいて、レンダリングエンジン４２２は３Ｄ人工現実コンテンツを構築し、３Ｄ人工現実コンテンツは、いくつかの場合では、ユーザ１１０の実世界の３Ｄ環境の上に少なくとも部分的に重ね合わされてもよい。このプロセスの間、姿勢追跡器４２６は、ＨＭＤ１１２上のセンサからの画像データ、コントローラ１１４からの運動センサデータ、およびいくつかの例では、外部カメラなどの任意の外部センサ９０（図１Ａ、図１Ｂ）からのデータなどＨＭＤ１１２およびコントローラ１１４から受信した検知データに対して動作して、ユーザ１１０による運動、コントローラ１１４の運動、および／またはユーザ１１０に関する特徴追跡情報などの、実世界の環境内の３Ｄ情報を取り込む。検知データに基づいて、姿勢追跡器４２６は、ＨＭＤ１１２の基準フレーム内のＨＭＤ１１２およびコントローラ１１４の現在の姿勢を特定し、現在の姿勢に従って、ユーザ１１０に表示するために、１つまたは複数のＩ／Ｏインターフェース３１５、４１５を介してＨＭＤ１１２に通信するための人工現実コンテンツを構築する。
【0051】
図３に関して上述された姿勢追跡器３２６と同様に、姿勢追跡器４２６は、ＦＯＶ追跡器４４２および非ＦＯＶ追跡器４４４を含む。ＦＯＶ追跡器４４２は、画像取込みデバイス１３８または外部カメラ１０２を介して取得された画像データに対して動作して、コントローラ１１４が画像取込みデバイス１３８、１０２の視界内で追跡可能であるときに、コントローラ１１４に関する画像ベースのコントローラ状態データを特定する。コントローラ１１４は、コントローラ１１４が視界内にあり、他のオブジェクトによって塞がれておらず、かつ静止していないときに、視界内で追跡可能であると見なすことができる。
【0052】
非ＦＯＶ追跡器４４２は、コントローラ１１４およびＨＭＤ１１２から取得された測定値に対して動作して、コントローラ１１４が画像取込みデバイス１３８、１０２の視界内で追跡可能でなく、測定値および他の利用可能なデータがコントローラ１１４および／またはＨＭＤ１１２の測位の特定のケースのための起動条件を満たすときに、コントローラ１１４に関するモデルベースのコントローラ状態データを特定する。
【0053】
【0054】
図５は、本開示の態様による、例示的な非ＦＯＶ追跡器３４４（および４４４）の構成要素を示すブロック図である。いくつかの態様では、非ＦＯＶ追跡器３４４は、コントローラ１１４がカメラ１３８の視界内で追跡可能でなく、コントローラ１１４の状態が追跡コーナーケースに関連付けられた１つまたは複数の起動条件を満たすことができることを利用可能なデータが示すと判定したことに応答して、非ＦＯＶ追跡器３４４によって実行される動作に対応する複数の挙動５０２Ａ～Ｎ（挙動５０２と総称される）を含む。そのようなコーナーケースの例には、コントローラ１１４が静止していること、コントローラの位置が信用できず、視界の外にあり、ＨＭＤに近接していること、視界内にあるが、別のオブジェクトによって塞がれ、他のオブジェクトにくっつけられていること、視界内にあるが、別のオブジェクトによって塞がれ、他のオブジェクトにくっつけられていないことが含まれる。いくつかの態様では、塞いでいるオブジェクトは第２のハンドヘルドコントローラであり得る。他のコーナーケースが可能であり、本発明の主題の範囲内にある。
【0055】
非ＦＯＶ追跡器３４４は、コントローラ１１４から取得されたコントローラ測定値５１０を入力として受信することができる。コントローラ測定値５１０は、コントローラ１１４内の運動センサ２０６からの値を含むことができる。たとえば、コントローラ測定値は、直線加速度および角加速度、直線速度および角速度、ならびにコントローラ１１４から受信されるか、またはコントローラ１１４から受信されたデータから導出された他の運動関連データを含むことができる。入力されたコントローラ測定値５１０はまた、レーダー追跡または近距離通信距離追跡を使用して取得された距離測定値などの、ＨＭＤ１１２によって生成された非画像ベースのコントローラ測定値を含んでもよい。
【0056】
さらに、非ＦＯＶ追跡器３４４は、ＨＭＤ１１２から取得されたＨＭＤ状態データ５１２を受信することができる。ＨＭＤ状態データは、ＨＭＤ１１２の現在の姿勢を含むことができ、ＨＭＤ１１２とコントローラ１１４との間の位置関係を特定するために使用することができる。
【0057】
各挙動５０２は、挙動５０２に関連付けられた１つまたは複数の起動条件および１つまたは複数の停止条件を有することができる。起動条件は、挙動に関連付けられた追跡コーナーケースが現在存在するかどうかを判定するために、コントローラ測定値５１０およびＨＭＤ状態５１２に適用され得る規則、論理、発見的方法、および／またはパラメータ値を含むことができる。起動条件が満たされた場合、挙動５０２のための満たされた起動条件に関連付けられた運動モデル５０６、および起動条件に関連付けられた運動モデル５０６が起動される。
【0058】
反対に、挙動５０２に関連付けられた１つまたは複数の停止条件は、挙動に関連付けられたコーナーケースがもはや存在しないかどうかを判定するために、コントローラ測定値５１０およびＨＭＤ状態５１２に適用され得る規則、論理、発見的方法、および／またはパラメータ値を含むことができる。挙動５０２に関連付けられた停止条件が満たされた場合、挙動５０２および挙動５０２に関連付けられた運動モデル５０６が停止させられる。
【0059】
いくつかの態様では、挙動条件が満たされたことに応答して挙動およびその関連付けられた運動モデルが起動されると、挙動および関連付けられた運動モデルは、挙動および関連付けられた運動モデルのための停止条件が満たされるまで、起動状態に留まる。他の態様では、停止条件は任意選択であってもよく、挙動およびその関連付けられた運動モデルは、起動条件が満たされたままである限り起動され、起動条件がもはや満たされなくなると停止させられる。
【0060】
さらに、非ＦＯＶ追跡器３４４は、ＦＯＶ追跡器３４２から画像ベースのコントローラ状態データ５１４を受信することができる。画像ベースのコントローラ状態データ５１４は、ＨＭＤ状態データ５１２、コントローラ測定データ５１０、および画像取込みデバイス１３８からの画像データ５１８を使用して、コントローラ１１４の姿勢を特定しようと試みた結果としてＦＯＶ追跡器３４２によって生成された出力データであり得る。
【0061】
各挙動５０２は、関連付けられた運動モデル５０６を有することができる。挙動用の運動モデル５０６は、コントローラ１１４用のモデルベースのコントローラ状態データ５１６Ａ～Ｎ（まとめて、「モデルベースのコントローラ状態データ５１６」）がどのように特定されるかを規定する。たとえば、挙動５０２用の運動モデル５０６は、コントローラ測定データ５１０、ＨＭＤ状態データ５１２、およびコントローラ状態データ５１４を利用して、モデルベースのコントローラ状態データ５１６を特定することができる。
【0062】
各挙動５０２は、関連付けられた有限状態機械（ＦＳＭ）５０４を有することができる。挙動５０２に関連付けられたＦＳＭ５０４は、状態情報（起動、停止、など）、１つの状態から別の状態への遷移、および挙動に関連付けられた他の状態情報を記録することができる。挙動用のＦＳＭ５０４は、表示フレーム間の状態情報を保存することができ、モデルベースのコントローラ状態データ５１６を特定するために、挙動５０２に関連付けられた運動モデル５０６によって使用することができる。
【0063】
いくつかの態様では、挙動５０２Ａ～Ｎは優先度に関連付けられる。挙動の優先度は様々な方法で特定することができる。たとえば、優先度は、コーナーケースの発生の可能性、コーナーケースが発生した場合のユーザ体験の荒廃、コーナーケースが問題として報告された回数などに基づいて特定することができる。
【0064】
いくつかの実装形態では、挙動５０２Ａ～Ｎはサブサンプションアーキテクチャで編成することができる。サブサンプションアーキテクチャでは、コーナーケース用の挙動５０２Ａ～Ｎは、各挙動に優先度を付けるそれぞれのレイヤ内で編成される。図５に示された例では、最下層の挙動５０２Ｎが最も高い優先度の挙動である。最上層にある挙動５０２Ａは最も低い優先度の挙動である。モデルベースのコントローラ状態データ５１６の候補バージョンは、各起動された挙動に関連付けられた運動モデル５０６によって特定することができる。より高い（より低い優先度の）レイヤの運動モデル５０６に従って特定された候補のモデルベースのコントローラ状態データ５１６は、無視されるか、ブロックされるか、またはサブサンプションアーキテクチャでより低い（より高い優先度の）レイヤの挙動５０２によって特定された候補のモデルベースのコントローラ状態データ５１６によって置き換えることができる。
【0065】
いくつかの実装形態では、起動された挙動５０２は互いに並行して評価することができる。各起動された挙動５０２は、その関連付けられた運動モデル５０６、ならびに入力されたコントローラ測定データ５１０、ＨＭＤ状態データ５１２、および画像ベースのコントローラ状態データ５１４に基づいて、モデルベースのコントローラ状態データ５１６の候補バージョンを特定することができる。起動された挙動５０２の中で最も高い優先度を有するレイヤ内の運動モデル５０６によって特定されたモデルベースのコントローラ状態データ５１６の候補バージョンは、非ＦＯＶ追跡器３４４によって出力されるコントローラ状態データ５２０の最終バージョンとして使用することができる。
【0066】
挙動が起動されていない場合、非ＦＯＶ追跡器３４４はパススルーとして機能し、ＦＯＶ追跡器３４２によって特定され、非ＦＯＶ追跡器３４４に入力として提供された画像ベースのコントローラ状態データ５１４は、非ＦＯＶ追跡器３４４の出力されるコントローラ状態データ５２０として使用される。
【0067】
上記から理解されるように、コントローラ状態データ５２０は、最も高い優先度の起動された挙動に関連付けられた運動モデル５０６に基づいて特定される。挙動が起動されていない場合、コントローラ状態データ５２０は、画像ベースのコントローラ状態データ５１４に基づく。非ＦＯＶ追跡器３４４によって出力されたコントローラ状態データ５２０は、コントローラ１１４のコントローラ姿勢を特定するために姿勢追跡器３２６によって使用することができる。
【0068】
いくつかの場合では、挙動５０２用の運動モデル５０６は、コントローラ測定データ５１０、ＨＭＤ状態データ５１２、およびコントローラ状態データ５１４から利用可能な情報以外の情報を利用することができる。構成データ５２２はそのようなデータを記憶し提供することができる。たとえば、以下に記載されるように、いくつかの運動モデルは、モデルベースのコントローラ状態データ５１６用の位置データを特定するために、腕の平均長または頭部に対する胴体の平均位置を使用することができる。腕の平均長または頭部に対する胴体の平均位置は、運動モデル５０６によって使用するために構成データ５１６内に記憶することができる。
【0069】
図６は、本開示の態様による、いくつかの場合において、視界内で追跡可能でないハンドヘルドコントローラのコントローラ姿勢を特定するための方法の例示的な動作を示すフローチャート６００である。フローチャート６００に記載された例示的な動作は、周期的に、またはイベントに応答して実行することができる。たとえば、例示的な動作は、表示フレーム生成イベントに対する応答の一部として実行することができ、イベントは、人工現実システムに、ＨＭＤ１１２上の表示用の表示フレームをレンダリングさせる。
【0070】
ＦＯＶ追跡器は、ＨＭＤ１１２の１つまたは複数の画像取込みデバイス１３８からの画像データ、およびコントローラ１１４からのコントローラ測定データを受信することができる（６０２）。さらに、画像データは、ＨＭＤ１１２に外付けしたカメラまたはセンサによって提供される画像データを含むことができる。ＦＯＶ追跡器は、画像データおよびコントローラ測定データを使用して、画像ベースのコントローラ状態データを特定することができる（６０４）。
【0071】
ＦＯＶ追跡器は、コントローラ１１４が画像データ内で追跡可能であるかどうかを判定することができる（６０６）。いくつかの態様では、ＦＯＶ追跡器は、コントローラ１１４の少なくとも３つのエミッタ２０８が画像データ内で検出可能であり、コントローラが静止していないとコントローラ測定データが示す場合、コントローラ１１４が画像データ内で追跡可能であると判定することができる。いくつかの態様では、ＦＯＶ追跡器は、センサフュージョンを使用して、コントローラ１１４が画像データ内で追跡可能であるかどうかを判定することができる。
【0072】
コントローラ１１４が画像データ内で追跡可能であるとＦＯＶ追跡器が判定した場合（６０６のＹＥＳ分岐）、コントローラ姿勢は、ＦＯＶ追跡器によって特定された画像ベースのコントローラ状態データに基づいて特定することができる（６１０）。コントローラ１１４が画像データ内で追跡可能でないとＦＯＶ追跡器が判定した場合（６０６のＮＯ分岐）、非ＦＯＶ追跡器は、任意の非ＦＯＶ挙動が起動されているかどうか、または非ＦＯＶ起動条件が挙動に対して満たされているかどうかを判定する（６０８）。非ＦＯＶ追跡器は、コントローラ測定データ、ＨＭＤ状態データ、および／または画像ベースのコントローラ状態データに基づいて、任意の挙動起動条件が満たされているかどうかを判定することができる。起動条件が満たされておらず、挙動が現在起動されていない場合（６０８のＮＯ分岐）、次いで、コントローラ姿勢は、ＦＯＶ追跡器によって特定された画像ベースのコントローラ状態データに基づいて特定することができる（６１０）。
【0073】
少なくとも１つの挙動が起動されているか、または少なくとも１つの起動条件が満たされている場合（６０８のＹＥＳ分岐）、非ＦＯＶ追跡器は、起動された各挙動に関連付けられた運動モデルを評価することにより、候補のモデルベースのコントローラ状態データを特定することができる（６１２）。運動モデルは、必要に応じて、入力されたコントローラ測定データ、ＨＭＤ状態データ、および画像ベースのコントローラ状態値にアクセスして、挙動に関連付けられた候補のモデルベースのコントローラ状態データを特定することができる。コントローラ姿勢は、次いで、最も高い優先度の挙動に関連付けられた運動モデルによって生成された候補のモデルベースのコントローラ状態データに基づいて特定することができる（６１４）。
【0074】
姿勢追跡器は、コントローラが画像データ内で追跡可能である場合、または運動モデルが起動されていない場合、ＦＯＶ追跡器によって特定された画像ベースのコントローラ状態データに基づいてコントローラ姿勢を特定することができる。姿勢追跡器は、コントローラが画像データ内で（コントローラ姿勢を特定するために）追跡可能でなく、運動モデルが起動されている場合、非ＦＯＶ追跡器によって特定されたモデルベースのコントローラ状態データに基づいてコントローラ姿勢を特定することができる。レンダリングエンジンは、特定されたコントローラ姿勢およびＨＭＤ姿勢に基づいて、人工現実コンテンツをレンダリングすることができる（６１６）。
【0075】
【0076】
図７は、コントローラがＨＭＤの近くにあるが、ＨＭＤにくっつけられていないコーナーケースにおいてコントローラ姿勢を特定するための方法の例示的な動作を示すフローチャートである。このケースのための起動条件は、コントローラがＡＲシステムの画像取込みデバイスの視界内で追跡可能でないと判定することを含む（７０４のＮＯ分岐）。上述されたように、いくつかの態様では、コントローラが任意のカメラもしくはセンサの視界内に位置していない場合、コントローラが別のオブジェクトによって視界内で塞がれている場合、コントローラの位置が信用できない場合、またはコントローラが静止している場合、コントローラは視界内で追跡可能でない。図７のコーナーケースのためのさらなる起動条件は、コントローラとＨＭＤとの間の距離が、事前定義されるかまたは構成可能なしきい値よりも小さいことである（７０６のＮＯ分岐）。両方の起動条件が満たされた場合、コーナーケースに関連付けられた挙動および運動モデルが起動される。コントローラがＡＲシステムの画像取込みデバイスの視界内で追跡可能である場合（７０４のＹＥＳ分岐）、またはコントローラとＨＭＤとの間の距離が構成可能なしきい値よりも大きい場合（７０６のＹＥＳ分岐）、このコーナーケースのための起動条件は満たされず、方法は終了する。
【0077】
コーナーケースの挙動に関連付けられた運動モデルは、挙動が仮想の手またはコントローラに関連付けられた他のオブジェクトを仮想の肘の位置の周りに旋回させるために、候補のモデルベースのコントローラ状態データ内の位置の値を設定する（７０８）。仮想世界空間内の仮想の肘の位置は、構成データに記憶された事前定義されるかまたは構成可能な前腕の長さ、ならびに最新の既知のコントローラ位置およびヘッドセット位置に基づいて特定することができる。このケースにおける運動モデルは、「コントローラオンスティック」モデルと呼ぶことができ、ここで、スティックはユーザの腕を表す仮想の腕であり、仮想の肘はスティックの一方の端部にあり、コントローラの位置に関連付けられた仮想の手はスティックの他方の端部にある。
【0078】
いくつかの態様では、コーナーケースのための停止条件は、コントローラが視界内で追跡可能になったときにコントローラに対する追跡を再び取得することを含むことができる。
【0079】
図１２Ａおよび図１２Ｂは、図７を参照して上述されたコーナーケースの例示的な物理的環境を示す。図１２Ａは、ＨＭＤ１１２を装着し、ＨＭＤ１１２のしきい値距離１２０２内で手１３２にコントローラ１１４を保持するユーザの正面図である。図１２Ｂはユーザの側面図である。図１２Ｂにおいて見ることができるように、コントローラ１１４はＨＭＤ１１２上のカメラの視界１３０内にない。この例では、ユーザは、同じ仮想環境内の別のユーザの注意を迎えるかまたは引き付けるために、自分の腕を振っている可能性がある。仮想の手および腕は、運動モデルに基づいて振るように見えるようにレンダリングされてもよい。振る運動は、仮想の手を肘の周りに旋回させることによってレンダリングすることができる。
【0080】
図８は、第１のコントローラが視界内にあるが、第２のコントローラによって塞がれており、第１のコントローラが第２のコントローラに「くっつけられて」いないコーナーケースにおいてコントローラ姿勢を特定するための方法の例示的な動作を示すフローチャートである。このケースのための起動条件は、第１のコントローラが視界内にないと判定することを含む（８０４のＮＯ分岐）。コーナーケースのためのさらなる起動条件は、第１のコントローラと第２のコントローラとの間の距離が、事前定義されるかまたは構成可能なしきい値よりも小さいことである（８０６のＹＥＳ分岐）。またさらなる起動条件は、第１のコントローラの加速度値（コントローラ測定データから特定された）が第２のコントローラの加速度値と同期していないことである（８０８のＹＥＳ分岐）。上記の起動条件のすべてが満たされた場合、コーナーケースに関連付けられた運動モデルおよび挙動が起動される。コントローラがＡＲシステムの画像取込みデバイスの視界内で追跡可能である場合（８０４のＹＥＳ分岐）、第１のコントローラと第２のコントローラとの間の距離が構成可能なしきい値よりも大きい場合（８０６のＮＯ分岐）、または第１のコントローラの加速度値が第２のコントローラの加速度値と同期している場合（８０８のＮＯ分岐）、このコーナーケースのための起動条件は満たされず、次いで方法は終了する。
【0081】
コーナーケースの挙動に関連付けられた運動モデルは、第１のコントローラに関する候補のモデルベースのコントローラ状態データ内の位置の値を、ユーザの仮想胴体の位置に固定する（８１０）。仮想胴体の位置は、胴体とＨＭＤとの間の平均距離、ＨＭＤの姿勢、およびコントローラの向きを提供する構成データに基づいて特定することができる。
【0082】
いくつかの態様では、コーナーケースのための停止条件は、仮想（第２の）コントローラがカメラもしくはセンサの視界から離れること、または塞がれた（第１の）コントローラが視界内で追跡可能になることを含むことができる。
【0083】
図１３Ａおよび図１３Ｂは、図８を参照して上述されたコーナーケースの場合の例示的な物理的環境および例示的な人工現実コンテンツを示す。図１３Ａは、ＨＭＤ１１２を装着し、手１３２Ａにコントローラ１１４Ａを保持し、手１３２Ｂにコントローラ１１４Ｂを保持するユーザの正面図である。コントローラ１１４Ｂは、手１３２Ａおよび／またはコントローラ１１４Ａによって塞がれている。この例では、ユーザは仮想腕時計１３０２上のメニューと対話することができる。ユーザがメニューを操作するために自分の手を動かすにつれて、第１のコントローラ１１４Ａおよび第２のコントローラ１１４Ｂは、異なる加速度値を経験し、したがって互いにくっつけられていない。
【0084】
図１３Ｂは、図１３Ａに示された例のための例示的な人工現実コンテンツ１２２を示す。このコーナーケースの挙動用の運動モデルは、コントローラ１１４Ｂが塞がれ、コントローラ１１４Ａと同期して動いていないときに、仮想の手１３２４Ｂが仮想胴体１３０４から固定距離にレンダリングされるようにする。
【0085】
図９は、第１のコントローラが視界内にあるが、第２のコントローラによって塞がれ、第２のコントローラにくっつけられている追跡コーナーケースにおいてコントローラ姿勢を特定するための方法の例示的な動作を示すフローチャートである。このケースのための起動条件は、第１のコントローラが視界内で追跡可能でないと判定することを含む（９０４のＮＯ分岐）。コーナーケースのためのさらなる起動条件は、第１のコントローラと第２のコントローラとの間の距離が、事前定義されるかまたは構成可能なしきい値よりも小さいことである（９０６のＹＥＳ分岐）。またさらなる起動条件は、第１のコントローラの加速度値（コントローラ測定データから特定された）が第２のコントローラの加速度値と同期していることである（９０８のＹＥＳ分岐）。上記の起動条件のすべてが満たされた場合、コーナーケースのための運動モデルおよび挙動が起動される。コントローラがＡＲシステムの画像取込みデバイスの視界内で追跡可能である場合（９０４のＹＥＳ分岐）、第１のコントローラと第２のコントローラとの間の距離が構成可能なしきい値よりも大きい場合（９０６のＮＯ分岐）、または第１のコントローラの加速度値が第２のコントローラの加速度値と同期していない場合（９０８のＮＯ分岐）、このコーナーケースのための起動条件は満たされず、次いで方法は終了する。
【0086】
コーナーケースの挙動に関連付けられた運動モデルは、第１のコントローラに関する候補のモデルベースのコントローラ状態データ内の位置の値を、第２のコントローラの位置に対する固定位置に設定する（９１０）。
【0087】
いくつかの態様では、コーナーケースのための停止条件は、仮想（第２の）コントローラがカメラもしくはセンサの視界から離れること、または塞がれた（第１の）コントローラが視界内で追跡可能になること、または第１のコントローラの加速度値と第２のコントローラの加速度値がもはや同期していないを含むことができる。
【0088】
図１４Ａおよび図１４Ｂは、図９を参照して上述されたコーナーケースの例示的な物理的環境および例示的な人工現実コンテンツを示す。図１４Ａは、ＨＭＤ１１２を装着し、手１３２Ａにコントローラ１１４Ａを保持し、手１３２Ｂにコントローラ１１４Ｂを保持するユーザの側面図である。コントローラ１１４Ｂは、手１３２Ａおよび／またはコントローラ１１４Ａによって塞がれている場合がある。人工現実コンテンツは、ユーザが両手のグリップを使用して標的に向かって仮想銃を撃つシューティングゲームを含んでもよい。ユーザの手が両方とも同じオブジェクト（すなわち、銃）を握っており、したがって互いにくっつけられていると判定されるので、ユーザが標的を狙うために自分の手を動かすにつれて、第１のコントローラ１１４Ａおよび第２のコントローラ１１４Ｂは実質的に同じ加速度値を生成する。
【0089】
図１４Ｂは、図１４Ａに示された例のための例示的な人工現実コンテンツ１２２を示す。この例では、ユーザは仮想標的１４０４に仮想銃１４０２を向けている。このコーナーケースの挙動用の運動モデルは、仮想の手１４２４Ａが仮想の手１４２４Ｂの位置に対する固定位置にレンダリングされるようにする。
【0090】
図１０は、コントローラの位置が信用できないか、または視界内で静止しているコーナーケースにおいてコントローラ姿勢を特定するための方法の例示的な動作を示すフローチャートである。適度に信用できる位置の判定を可能にするにはコントローラがカメラから離れすぎた位置にある場合、コントローラの位置は信用できなくなる可能性がある。さらに、コントローラが静止している（たとえば、卓上または他の静止位置に配置された）場合、コントローラの位置は信用できなくなる可能性がある。この場合、運動センサデバイスからのノイズは、コントローラが実際には静止しているべきときに動いているように見せる可能性がある。どちらの場合にも、ユーザは、ジッタ（コントローラに関連付けられた仮想オブジェクトの位置が実際の場所の近くで振動する）またはフライアウェイゼンスナップ（コントローラに関連付けられた仮想オブジェクトが飛び去り、次いで実際の場所にすばやくジャンプする）を見るかもしれない。このケースのための起動条件は、コントローラの運動センサからの加速度値の直近のセットの絶対値が、事前定義されるかまたは構成可能なしきい値よりも小さいと判定することを含む（１００４のＹＥＳ分岐）。コーナーケースのためのさらなる起動条件は、運動センサの値のバッファリングされたセットの分散が、事前定義されるかまたは構成可能なしきい値よりも小さいことである（１００６のＹＥＳ分岐）。上記の起動条件の両方が満たされた場合、「静止中のコントローラ」コーナーケースのための運動モデルおよび挙動が起動される。コントローラの運動センサからの加速度値の直近のセットが、事前定義されるかもしくは構成可能なしきい値よりも大きい（１００４のＮＯ分岐）か、または運動センサの値のバッファリングされたセットの分散が、事前定義されるかもしくは構成可能なしきい値よりも大きい（１００６のＮＯ分岐）場合、このコーナーケースのための起動条件は満たされず、次いで方法は終了する。
【0091】
コーナーケースの挙動に関連付けられた運動モデルは、コントローラに関する候補のモデルベースのコントローラ状態データ内の位置の値を、世界基準フレーム内の固定位置に固定する（１００８）。
【0092】
いくつかの態様では、コーナーケースのための停止条件は、バッファリングされた運動センサのサンプルの分散が、所定のもしくは構成可能なしきい値を超えること、または直近の運動センサの値のサンプルの絶対値が、所定のもしくは構成可能なしきい値を超えることを含むことができる。
【0093】
図１１は、本開示の態様による、ハンドヘルドコントローラが視界内に再び入ったときにジッタを削減するための方法の例示的な動作を示すフローチャートである。姿勢追跡器は、コントローラが前の表示フレームの間に視界内で追跡可能であったかどうかを判定することができる（１１０４）。コントローラが前の表示フレームの間に視界内で追跡可能であった場合（１１０４のＹＥＳ分岐）、コントローラは視界に再び入っていない。したがって、ジッタ削減動作は必要でなく、方法は終了する。
【0094】
コントローラが前の表示フレームの間に視界内で追跡可能でなかった場合（１１０４のＮＯ分岐）、姿勢追跡器は、コントローラが現在の表示フレームに関して視界内で追跡可能であるかどうかを判定することができる（１１０６）。コントローラが前の表示フレーム内で追跡可能でなく、コントローラが現在の表示フレーム内で追跡可能でない場合、ジッタ削減動作は必要でなく、方法は終了する（１１０６のＮＯ分岐）。コントローラが前の表示フレーム内で追跡可能でなく、コントローラが現在の表示フレーム内で追跡可能である場合、コントローラは視界に再び入っている（１１０６のＹＥＳ分岐）。姿勢追跡器は、その位置がコントローラに対して決定された仮想オブジェクトが「ジャンプ」位置に見えることを防止するために、補間を使用して一連の表示フレームのためのコントローラ姿勢を特定することができる（１１０８）。詳細には、姿勢追跡器は、コントローラが視界の外側にあったときに非ＦＯＶ追跡器によって特定されたコントローラの位置と、コントローラが視界に再び入ったときにＦＯＶ追跡器によって特定されたコントローラの位置との間を補間することにより、コントローラ姿勢を特定することができる。
【0095】
図１５Ａおよび図１５Ｂは、図１１の方法によって実行される補間の一例を示す。図１５Ａは、第１のコントローラ１１４ＡがＨＭＤ１１２のカメラまたはセンサの視界１３０内にない物理的環境の初期状態を示す。一例として、ＨＭＤ１１２のユーザは、人工現実システム上に提供された仮想ボクシングゲームに参加している場合がある。
【0096】
図１５Ｂは、第１のコントローラ１１４ＡがＨＭＤ１１２の視界１３０に再び入った物理的環境の後続状態を示す。たとえば、ユーザは、コントローラ１１４を保持する手で「パンチ」を実行することができる。図１５Ｂに示された例では、非ＦＯＶ追跡器は、コントローラ１１４Ａの位置をＰ１に特定しており、ＦＯＶ追跡器はコントローラ１１４Ａの位置をＰ２に特定する。補間がない場合、手１３２Ａを表す仮想の手の経路は、後続の表示フレーム内のＰ３に進む前に、Ｐ１からＰ２にジャンプするように見える可能性がある。図１１に上述された方法を使用して、姿勢追跡器は、一連の表示フレームにわたって視界１３０の外から視界１３０の中までの仮想の手の遷移を円滑化するＰ１とＰ３との間の経路を補間することができる。図１５Ｂに示された例では、補間されていない経路がポイントＰ１、Ｐ２、およびＰ３を接続する実線によって表されている。補間された経路は、Ｐ１とＰ２を接続する破線によって表されている。補間の速度および持続期間は、人工現実コンテンツ内の活動の測定または推定に基づいて特定することができる。
【0097】
本開示の様々な態様の上記の説明は、人工現実システムのコンテキストで提示されている。本明細書に記載された技法は、画像または他のセンサデータを使用して、カメラまたはセンサの視界の中および外を移動することができるオブジェクトの位置を特定する他のタイプのシステムにおいても実施することができる。
【0098】
本開示に記載された技法は、少なくとも部分的に、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せに実装されてもよい。たとえば、記載された技法の様々な態様は、１つまたは複数のマイクロプロセッサ、ＤＳＰ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または任意の他の等価の集積論理回路もしくは個別論理回路、ならびにそのような構成要素の任意の組合せを含む、１つまたは複数のプロセッサ内に実装されてもよい。「プロセッサ」または「処理回路」という用語は、概して、単独の、もしくは他の論理回路と組み合わせる前述の論理回路、または任意の他の等価の回路のいずれかを指すことができる。ハードウェアを備える制御ユニットはまた、本開示の技法のうちの１つまたは複数を実行することができる。
【0099】
そのようなハードウェア、ソフトウェア、およびファームウェアは、本開示に記載された様々な動作および機能をサポートするために、同じデバイス内または別個のデバイス内に実装されてもよい。加えて、記載されたユニット、モジュール、または構成要素のいずれかは、個別だが相互動作可能な論理デバイスと一緒に、または別々に実装されてもよい。モジュールまたはユニットとしての様々な特徴の描写は、様々な機能的態様を強調するものであり、必ずしも、そのようなモジュールまたはユニットが別個のハードウェアまたはソフトウェアの構成要素によって実現されるべきであることを意味しない。むしろ、１つまたは複数のモジュールまたはユニットに関連付けられた機能は、別個のハードウェアもしくはソフトウェアの構成要素によって実行されるか、または共通もしくは別個のハードウェアもしくはソフトウェアの構成要素内に統合されてもよい。
【0100】
本開示に記載された技法はまた、命令を含むコンピュータ可読記憶媒体などのコンピュータ可読媒体内で具現化または符号化されてもよい。コンピュータ可読記憶媒体内で具現化または符号化された命令は、たとえば、命令が実行されたときに、プログラマブルプロセッサまたは他のプロセッサに方法を実行させることができる。コンピュータ可読記憶媒体には、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、プログラマブル読取り専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、ハードディスク、ＣＤ－ＲＯＭ、フロッピーディスク、カセット、磁気媒体、光学媒体、または他のコンピュータ可読媒体が含まれてもよい。
【0101】
本明細書において様々な例として記載されたように、本開示の技法は、人工現実システムを含むか、または人工現実システムと連携して実装されてもよい。記載されたように、人工現実は、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、混合現実（ＭＲ）、ハイブリッド現実、またはそれらの何らかの組合せおよび／もしくは派生物を含む場合がある、ユーザへの提示の前に何らかの方式で調整されている現実の一形態である。人工現実コンテンツは、取り込まれたコンテンツ（たとえば、実世界の写真）と組み合わされた完全生成コンテンツまたは生成コンテンツを含んでもよい。人工現実コンテンツは、映像、音声、触覚フィードバック、またはそれらの任意の組合せを含んでもよく、それらのいずれかは、単一のチャネルまたは複数のチャネル（視聴者への３次元効果を生成する立体ビデオなどの）で提示されてもよい。さらに、いくつかの実施形態では、人工現実は、たとえば、人工現実でコンテンツを作成するために使用され、かつ／または人工現実で使用される（たとえば、人工現実内で活動を実行する）アプリケーション、製品、アクセサリ、サービス、またはそれらの任意の組合せと関連付けられてもよい。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、スタンドアロンのＨＭＤ、モバイルデバイスもしくはコンピューティングシステム、または１人もしくは複数の視聴者に人工現実コンテンツを提供することが可能な任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上に実装されてもよい。
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12A-12B】
【図13A-13B】
【図14A-14B】
【図15A-15B】
【国際調査報告】