(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-03-17
(54)【発明の名称】適応的自由度（ＤＯＦ）選択を有する人工現実システム
(51)【国際特許分類】
G06T 19/00 20110101AFI20220310BHJP
G06F 3/04815 20220101ALI20220310BHJP
G06F 3/01 20060101ALI20220310BHJP
【ＦＩ】
G06T19/00 A
G06F3/0481 150
G06F3/01 570
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021532183
(86)(22)【出願日】2020-01-30
(85)【翻訳文提出日】2021-07-30
(86)【国際出願番号】 US2020015940
(87)【国際公開番号】W WO2020160308
(87)【国際公開日】2020-08-06
(31)【優先権主張番号】16/264,805
(32)【優先日】2019-02-01
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】515046968
【氏名又は名称】フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニー
【氏名又は名称原語表記】ＦＡＣＥＢＯＯＫ ＴＥＣＨＮＯＬＯＧＩＥＳ， ＬＬＣ
(74)【代理人】
【識別番号】110002974
【氏名又は名称】特許業務法人Ｗｏｒｌｄ ＩＰ
(72)【発明者】
【氏名】ランガナタン， アナンス
(72)【発明者】
【氏名】メリム， アンドリュー
(72)【発明者】
【氏名】パブリディス， イオアニス
【テーマコード（参考）】
5B050
5E555
【Ｆターム（参考）】
5B050AA03
5B050BA09
5B050CA07
5B050CA08
5B050EA26
5B050FA02
5B050FA05
5E555AA27
5E555BA04
5E555BA87
5E555BB04
5E555BC07
5E555BC08
5E555BE17
5E555CA42
5E555CA44
5E555CB66
5E555CC22
5E555DA08
5E555DB57
5E555DC43
5E555EA22
5E555FA00
(57)【要約】
基準系をトラッキングし、人工現実コンテンツをレンダリングするときの、適応的自由度（ＤＯＦ）選択を実装する人工現実システムが説明される。一例では、人工現実システムは、レンダリングされた人工現実コンテンツを出力するヘッドマウントディスプレイ（ＨＭＤ）を備える。性能モニタが、人工現実システムに関連する１つまたは複数の性能インジケータを決定する。自由度（ＤＯＦ）セレクタが、ポーズトラッカーが６ＤＯＦを使用して３Ｄ環境内のＨＭＤの１つまたは複数のポーズを計算する第１のモードと、ポーズトラッカーが３ＤＯＦを使用して１つまたは複数のポーズを計算する第２のモードとから選択するために、１つまたは複数のポリシーを性能インジケータに適用する。ポーズトラッカーは、選択されたモードに従って３Ｄ環境内のＨＭＤについての１つまたは複数のポーズを計算する。レンダリングエンジンが、計算されたポーズに基づいて人工現実アプリケーションのためにコンテンツをレンダリングする。
【選択図】図１Ａ
【選択図】図１Ａ
【特許請求の範囲】
【請求項1】
人工現実システムであって、人工現実コンテンツを出力するように構成されたヘッドマウントディスプレイ（ＨＭＤ）と、
３次元（３Ｄ）環境内の前記ＨＭＤの１つまたは複数のポーズを計算するように構成されたポーズトラッカーと、
前記人工現実システムに関連する１つまたは複数の性能インジケータを決定するように構成された、１つまたは複数のプロセッサ上で実行する、性能モニタと、
前記ポーズトラッカーが６自由度（６ＤＯＦ）を使用して前記ＨＭＤの前記１つまたは複数のポーズを計算するように構成された第１のモードと、前記ポーズトラッカーが３自由度（３ＤＯＦ）を使用して前記１つまたは複数のポーズを計算するように構成された第２のモードとから選択するために、１つまたは複数のポリシーを前記性能インジケータに適用するように構成された、自由度（ＤＯＦ）セレクタと、
計算された前記１つまたは複数のポーズに基づいて前記人工現実コンテンツをレンダリングするように構成されたレンダリングエンジンと
を備える人工現実システム。
【請求項2】
６ＤＯＦを使用して前記ＨＭＤの前記１つまたは複数のポーズを計算するために、前記ポーズトラッカーが、前記ＨＭＤによる回転運動と並進運動の両方に関する前記ＨＭＤの１つまたは複数のポーズを計算するようにさらに構成され、３ＤＯＦを使用して前記ＨＭＤの前記１つまたは複数のポーズを計算するために、前記ポーズトラッカーが、前記ＨＭＤによる回転運動に関するが、前記ＨＭＤによる並進運動には関さない前記ＨＭＤの前記１つまたは複数のポーズを計算するようにさらに構成され、
前記ＨＭＤによる前記回転運動が、前記ＨＭＤの垂直軸、前記ＨＭＤの横軸、または前記ＨＭＤの縦軸のうちの少なくとも１つの周囲の回転運動を含み、
前記ＨＭＤによる前記並進運動が、前記ＨＭＤの前記垂直軸、前記ＨＭＤの前記横軸、または前記ＨＭＤの前記縦軸のうちの少なくとも１つに沿った並進運動を含む、
請求項１に記載の人工現実システム。
【請求項3】
前記第１のモードと前記第２のモードとから選択するために、前記１つまたは複数のポリシーを前記性能インジケータに適用するために、ＤＯＦセレクタは、遷移条件が満たされたと決定するために、前記１つまたは複数のポリシーを、前記性能モニタによって決定される画像トラッキングの品質レベルと、前記性能モニタによって決定されるアイトラッキング品質とのうちの１つまたは複数に適用することと、
前記遷移条件が満たされたという前記決定に基づいて、前記第１のモードと前記第２のモードとから選択することと
を行うように構成された、請求項１または２に記載の人工現実システム。
【請求項4】
前記第１のモードと前記第２のモードとから選択するために、前記１つまたは複数のポリシーを前記性能インジケータに適用するために、ＤＯＦセレクタは、遷移条件が満たされたと決定するために、前記１つまたは複数のポリシーを、前記性能モニタによって決定される環境輝度のレベルと、前記人工現実システムによって現在トラッキングされている特徴の数と、前記性能モニタによって決定される現実世界特徴の画像テクスチャとのうちの１つまたは複数に適用することと、
前記遷移条件が満たされたという前記決定に基づいて、前記第１のモードと前記第２のモードとから選択することと
を行うように構成された、請求項１または２に記載の人工現実システム。
【請求項5】
前記第１のモードと前記第２のモードとから選択するために、前記１つまたは複数のポリシーを前記性能インジケータに適用するために、ＤＯＦセレクタは、遷移条件が満たされたと決定するために、前記１つまたは複数のポリシーを、前記性能モニタによって決定されるネットワーク性能またはレイテンシと、前記性能モニタによって決定される計算リソース使用量と、前記性能モニタによって決定されるジッタの測度とのうちの１つまたは複数に適用することと、
前記遷移条件が満たされたという前記決定に基づいて、前記第１のモードと前記第２のモードとから選択することと
を行うように構成された、請求項１または２に記載の人工現実システム。
【請求項6】
前記ＨＭＤが、前記性能モニタと、前記ＤＯＦセレクタと、前記ポーズトラッカーと、前記レンダリングエンジンとを備える、請求項１から５のいずれか一項に記載の人工現実システム。
【請求項7】
コンソールデバイスをさらに備え、前記コンソールデバイスが、前記性能モニタと、前記ＤＯＦセレクタと、前記ポーズトラッカーと、前記レンダリングエンジンとを備える、請求項１から５のいずれか一項に記載の人工現実システム。
【請求項8】
前記ポーズトラッカーが６ＤＯＦを使用して前記３Ｄ環境内の前記ＨＭＤの前記１つまたは複数のポーズを計算する前記第１のモードと、前記ポーズトラッカーが３ＤＯＦを使用して前記１つまたは複数のポーズを計算する前記第２のモードとから選択するために、前記１つまたは複数のポリシーを前記性能インジケータに適用するために、前記ＤＯＦセレクタは、前記ポーズトラッカーが６ＤＯＦを使用して前記３Ｄ環境内の前記ＨＭＤの前記１つまたは複数のポーズを計算する前記第１のモードを選択することから、前記ポーズトラッカーが３ＤＯＦを使用して前記３Ｄ環境内の前記ＨＭＤの前記１つまたは複数のポーズを計算する前記第２のモードを選択することに切り替えるために、前記１つまたは複数のポリシーを前記性能インジケータに適用するように構成され、前記ポーズトラッカーが、６ＤＯＦを使用して前記３Ｄ環境内の前記ＨＭＤについての前記１つまたは複数のポーズを計算することから、３ＤＯＦを使用して前記３Ｄ環境内の前記ＨＭＤについての前記１つまたは複数のポーズを計算することに切り替えるようにさらに構成された、
請求項１から７のいずれか一項に記載の人工現実システム。
【請求項9】
前記ポーズトラッカーが６ＤＯＦを使用して前記３Ｄ環境内の前記ＨＭＤの前記１つまたは複数のポーズを計算する前記第１のモードと、前記ポーズトラッカーが３ＤＯＦを使用して前記１つまたは複数のポーズを計算する前記第２のモードとから選択するために、前記１つまたは複数のポリシーを前記性能インジケータに適用するために、前記ＤＯＦセレクタは、前記ポーズトラッカーが３ＤＯＦを使用して前記３Ｄ環境内の前記ＨＭＤの前記１つまたは複数のポーズを計算する前記第２のモードを選択することから、前記ポーズトラッカーが６ＤＯＦを使用して前記３Ｄ環境内の前記ＨＭＤの前記１つまたは複数のポーズを計算する前記第１のモードを選択することに切り替えるために、前記１つまたは複数のポリシーを前記性能インジケータに適用するように構成され、前記ポーズトラッカーが、３ＤＯＦを使用して前記３Ｄ環境内の前記ＨＭＤについての前記１つまたは複数のポーズを計算することから、６ＤＯＦを使用して前記３Ｄ環境内の前記ＨＭＤについての前記１つまたは複数のポーズを計算することに切り替えるようにさらに構成された、
請求項１から７のいずれか一項に記載の人工現実システム。
【請求項10】
少なくとも１つのヘッドマウントディスプレイ（ＨＭＤ）を有する人工現実システムに関連する１つまたは複数の性能インジケータを決定することと、６自由度（６ＤＯＦ）を使用して３次元（３Ｄ）環境内の前記ＨＭＤの１つまたは複数のポーズが計算される第１のモードと、３自由度（３ＤＯＦ）を使用して前記１つまたは複数のポーズが計算される第２のモードとから選択するために、１つまたは複数のポリシーを前記性能インジケータに適用することと、
選択されたモードに従って前記３Ｄ環境内の前記ＨＭＤについての前記１つまたは複数のポーズを計算することと、
計算された前記１つまたは複数のポーズに基づいて人工現実コンテンツをレンダリングすることと、
前記ＨＭＤによって、レンダリングされた前記人工現実コンテンツを出力することと
を含む方法。
【請求項11】
６ＤＯＦを使用して前記ＨＭＤの前記１つまたは複数のポーズを計算することが、前記ＨＭＤによる回転運動と並進運動の両方に関する前記ＨＭＤの１つまたは複数のポーズを計算することを含み、３ＤＯＦを使用して前記ＨＭＤの前記１つまたは複数のポーズを計算することが、前記ＨＭＤによる回転運動に関するが、前記ＨＭＤによる並進運動には関さない前記ＨＭＤの前記１つまたは複数のポーズを計算することを含み、
前記ＨＭＤによる前記回転運動が、前記ＨＭＤの垂直軸、前記ＨＭＤの横軸、または前記ＨＭＤの縦軸のうちの少なくとも１つの周囲の回転運動を含み、
前記ＨＭＤによる前記並進運動が、前記ＨＭＤの前記垂直軸、前記ＨＭＤの前記横軸、または前記ＨＭＤの前記縦軸のうちの少なくとも１つに沿った並進運動を含む、
請求項１０に記載の方法。
【請求項12】
前記第１のモードと前記第２のモードとから選択するために、前記１つまたは複数のポリシーを前記性能インジケータに適用することは、遷移条件が満たされたと決定するために、前記１つまたは複数のポリシーを画像トラッキングの品質レベルに適用することと、
前記遷移条件が満たされたという前記決定に基づいて、前記第１のモードと前記第２のモードとから選択することと
を含む、請求項１０または１１に記載の方法。
【請求項13】
前記第１のモードと前記第２のモードとから選択するために、前記１つまたは複数のポリシーを前記性能インジケータに適用することは、遷移条件が満たされたと決定するために、前記１つまたは複数のポリシーをアイトラッキング品質に適用することと、
前記遷移条件が満たされたという前記決定に基づいて、前記第１のモードと前記第２のモードとから選択することと
を含む、請求項１０または１１に記載の方法。
【請求項14】
前記第１のモードと前記第２のモードとから選択するために、前記１つまたは複数のポリシーを前記性能インジケータに適用することは、遷移条件が満たされたと決定するために、前記１つまたは複数のポリシーを計算リソース使用量に適用することと、
前記遷移条件が満たされたという前記決定に基づいて、前記第１のモードと前記第２のモードとから選択することと
を含む、請求項１０または１１に記載の方法。
【請求項15】
命令を含む非一時的コンピュータ可読媒体であって、前記命令は、実行されたとき、１つまたは複数のプロセッサに、少なくとも１つのヘッドマウントディスプレイ（ＨＭＤ）を有する人工現実システムに関連する１つまたは複数の性能インジケータを決定することと、
６自由度（６ＤＯＦ）を使用して３次元（３Ｄ）環境内の前記ＨＭＤの１つまたは複数のポーズが計算される第１のモードと、３自由度（３ＤＯＦ）を使用して前記１つまたは複数のポーズが計算される第２のモードとから選択するために、１つまたは複数のポリシーを前記性能インジケータに適用することと、
選択されたモードに従って前記３Ｄ環境内の前記ＨＭＤについての前記１つまたは複数のポーズを計算することと、
計算された前記１つまたは複数のポーズに基づいて人工現実コンテンツをレンダリングすることと、
レンダリングされた前記人工現実コンテンツを出力することと
を行わせる、非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、その全体がすべての目的のために参照により本明細書に組み込まれる、２０１９年２月１日に出願された、米国出願第１６／２６４，８０５号からの優先権を主張する。
本出願は、その全体がすべての目的のために参照により本明細書に組み込まれる、２０１９年２月１日に出願された、米国出願第１６／２６４，８０５号からの優先権を主張する。
【0002】
本開示は、一般に、仮想現実システム、複合現実システムおよび／または拡張現実システムなど、人工現実システムに関し、より詳細には、ヘッドマウントディスプレイ（ＨＭＤ）および人工現実システムの他の構成要素に関する。
【背景技術】
【0003】
人工現実システムは、コンピュータゲーム、健康および安全、工業、ならびに教育などの多くの分野における適用例にとってますますユビキタスになっている。いくつかの例として、人工現実システムは、モバイルデバイス、ゲーミングコンソール、パーソナルコンピュータ、映画館、およびテーマパークに組み込まれている。概して、人工現実は、ユーザへの提示の前に何らかの様式で調整された形式の現実であり、これは、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、あるいはそれらの何らかの組合せおよび／または派生物を含み得る。
【0004】
一般的な人工現実システムは、ユーザに対してコンテンツをレンダリングおよび表示するための１つまたは複数のデバイスを含む。一例として、人工現実システムは、ユーザによって装着され、ユーザに人工現実コンテンツを出力するように構成された、ヘッドマウントディスプレイ（ＨＭＤ）を組み込み得る。特に、人工現実システムは、一般に、ＨＭＤなど、基準系の現在のポーズ（たとえば位置および向き）を計算し、現在のポーズに基づいてユーザへの表示のためのコンテンツを選択的にレンダリングする。人工現実コンテンツは、完全に生成されたコンテンツ、またはキャプチャされたコンテンツ（たとえば、現実世界のビデオおよび／または画像）と組み合わせられた生成されたコンテンツを含み得る。
【発明の概要】
【0005】
概して、本開示は、適応的自由度（ＤＯＦ：ｄｅｇｒｅｅｓ－ｏｆ－ｆｒｅｅｄｏｍ）選択を有する人工現実システムに関する。本明細書でさらに説明されるように、人工現実システムは、様々な動作条件を監視し、人工現実システムの１つまたは複数の基準系からの１つまたは複数のポーズを計算する際に使用するための異なるＤＯＦを適応的に選択し得る。人工現実システムは、ヘッドマウントディスプレイ（ＨＭＤ）のディスプレイなど、基準系を正確にトラッキングするシステムの能力に影響を及ぼし得る動作条件を監視し、基準系の現在の観察パースペクティブ（ｖｉｅｗｉｎｇ ｐｅｒｓｐｅｃｔｉｖｅ）に基づく良質人工現実コンテンツをレンダリングし得る。例示的な動作条件は、特徴トラッキング品質、特徴照明品質、ネットワーク性能、計算リソース使用量、またはシステムの能力に悪影響を及ぼし得る他のファクタを含む。人工現実システムは、リアルタイムまたは擬似リアルタイムでの１つまたは複数のポーズの計算のための異なるＤＯＦから適応的に選択するために、ポリシーを、監視される条件から決定された性能インジケータに適用し得る。たとえば、人工現実システムは、６ＤＯＦを使用してポーズ（たとえば、基準系の軸に沿った回転運動と並進運動の両方）を計算することと、または、３ＤＯＦのみを使用してポーズ（たとえば、基準系の軸に沿った回転運動のみ）を計算することとから選択するために、ポリシーを性能インジケータに適用し得る。
【0006】
したがって、本開示の技法は、人工現実システム内でコンテンツをレンダリングおよび表示するコンピュータ関連分野に対する特定の改善を提供し得る。たとえば、本明細書で説明される人工現実システムは、６ＤＯＦを使用してポーズを計算することによって、人工現実システムのユーザに高品質人工現実体験を提供し得る。さらに、そのようなシステムは、６ＤＯＦを使用してポーズが計算されることになった場合にユーザ体験が悪くなるであろうことを性能インジケータが示す場合、３ＤＯＦを使用してポーズを計算することにシームレスに切り替え得る。例として、本明細書で説明されるシステムは、６ＤＯＦを使用することを回避し得、ソフトウェア、ハードウェア、ネットワーク、または環境条件は、さもなければユーザ体験の劣化を引き起こすであろう。さらに、本明細書で説明される例示的なシステムは、方向感覚の喪失（ｄｉｓｏｒｉｅｎｔａｔｉｏｎ）、吐き気、「めまい（ｓｗｉｍｍｉｎｅｓｓ）」、および他の副作用など、人工現実システムの一部のユーザによって体験される悪影響を低減し得る。
【0007】
本発明の第１の態様によれば、人工現実システムであって、人工現実コンテンツを出力するように構成されたヘッドマウントディスプレイ（ＨＭＤ）と、３次元（３Ｄ）環境内のＨＭＤの１つまたは複数のポーズを計算するように構成されたポーズトラッカーと、人工現実システムに関連する１つまたは複数の性能インジケータを決定するように構成された、１つまたは複数のプロセッサ上で実行する、性能モニタと、ポーズトラッカーが６自由度（６ＤＯＦ）を使用してＨＭＤの１つまたは複数のポーズを計算するように構成された第１のモードと、ポーズトラッカーが３自由度（３ＤＯＦ）を使用して１つまたは複数のポーズを計算するように構成された第２のモードとから選択するために、１つまたは複数のポリシーを性能インジケータに適用するように構成された、自由度（ＤＯＦ）セレクタと、計算された１つまたは複数のポーズに基づいて人工現実コンテンツをレンダリングするように構成されたレンダリングエンジンとを備える、人工現実システムが提供される。
【0008】
６ＤＯＦを使用してＨＭＤの１つまたは複数のポーズを計算するために、ポーズトラッカーは、ＨＭＤによる回転運動と並進運動の両方に関するＨＭＤの１つまたは複数のポーズを計算するようにさらに構成され得る。
【0009】
３ＤＯＦを使用してＨＭＤの１つまたは複数のポーズを計算するために、ポーズトラッカーは、ＨＭＤによる回転運動に関するが、ＨＭＤによる並進運動には関さないＨＭＤの１つまたは複数のポーズを計算するようにさらに構成され得る。
【0010】
ＨＭＤによる回転運動は、ＨＭＤの垂直軸、ＨＭＤの横軸、またはＨＭＤの縦軸のうちの少なくとも１つの周囲の回転運動を含み得る。
【0011】
ＨＭＤによる並進運動は、ＨＭＤの垂直軸、ＨＭＤの横軸、またはＨＭＤの縦軸のうちの少なくとも１つに沿った並進運動を含み得る。
【0012】
第１のモードと第２のモードとから選択するために、１つまたは複数のポリシーを性能インジケータに適用するために、ＤＯＦセレクタは、遷移条件が満たされたと決定するために、１つまたは複数のポリシーを、性能モニタによって決定される画像トラッキングの品質レベルに適用するように構成され得る。ＤＯＦセレクタは、遷移条件が満たされたという決定に基づいて、第１のモードと第２のモードとから選択するようにさらに構成され得る。
【0013】
代替的に、および／または追加として、第１のモードと第２のモードとから選択するために、１つまたは複数のポリシーを性能インジケータに適用するために、ＤＯＦセレクタは、遷移条件が満たされたと決定するために、１つまたは複数のポリシーを、性能モニタによって決定されるアイトラッキング品質に適用するように構成され得る。ＤＯＦセレクタは、遷移条件が満たされたという決定に基づいて、第１のモードと第２のモードとから選択するようにさらに構成され得る。
【0014】
代替的に、および／または追加として、第１のモードと第２のモードとから選択するために、１つまたは複数のポリシーを性能インジケータに適用するために、ＤＯＦセレクタは、遷移条件が満たされたと決定するために、１つまたは複数のポリシーを、性能モニタによって決定される環境輝度のレベルに適用するように構成され得る。ＤＯＦセレクタは、遷移条件が満たされたという決定に基づいて、第１のモードと第２のモードとから選択するようにさらに構成され得る。
【0015】
代替的に、および／または追加として、第１のモードと第２のモードとから選択するために、１つまたは複数のポリシーを性能インジケータに適用するために、ＤＯＦセレクタは、遷移条件が満たされたと決定するために、１つまたは複数のポリシーを、人工現実システムによって現在トラッキングされている特徴の数に適用するように構成され得る。ＤＯＦセレクタは、遷移条件が満たされたという決定に基づいて、第１のモードと第２のモードとから選択するようにさらに構成され得る。
【0016】
代替的に、および／または追加として、第１のモードと第２のモードとから選択するために、１つまたは複数のポリシーを性能インジケータに適用するために、ＤＯＦセレクタは、遷移条件が満たされたと決定するために、１つまたは複数のポリシーを、性能モニタによって決定される現実世界特徴の画像テクスチャに適用するように構成され得る。ＤＯＦセレクタは、遷移条件が満たされたという決定に基づいて、第１のモードと第２のモードとから選択するようにさらに構成され得る。
【0017】
代替的に、および／または追加として、第１のモードと第２のモードとから選択するために、１つまたは複数のポリシーを性能インジケータに適用するために、ＤＯＦセレクタは、遷移条件が満たされたと決定するために、１つまたは複数のポリシーを、性能モニタによって決定されるネットワーク性能またはレイテンシに適用するように構成され得る。ＤＯＦセレクタは、遷移条件が満たされたという決定に基づいて、第１のモードと第２のモードとから選択するようにさらに構成され得る。
【0018】
ポーズトラッカーが６ＤＯＦを使用して３Ｄ環境内のＨＭＤの１つまたは複数のポーズを計算する第１のモードと、ポーズトラッカーが３ＤＯＦを使用して１つまたは複数のポーズを計算する第２のモードとから選択するために、１つまたは複数のポリシーを性能インジケータに適用するために、ＤＯＦセレクタは、ポーズトラッカーが６ＤＯＦを使用して３Ｄ環境内のＨＭＤの１つまたは複数のポーズを計算する第１のモードを選択することから、ポーズトラッカーが３ＤＯＦを使用して３Ｄ環境内のＨＭＤの１つまたは複数のポーズを計算する第２のモードを選択することに切り替えるために、１つまたは複数のポリシーを性能インジケータに適用するように構成され得る。ポーズトラッカーは、６ＤＯＦを使用して３Ｄ環境内のＨＭＤについての１つまたは複数のポーズを計算することから、３ＤＯＦを使用して３Ｄ環境内のＨＭＤについての１つまたは複数のポーズを計算することに切り替えるようにさらに構成され得る。
【0019】
代替的に、および／または追加として、ポーズトラッカーが６ＤＯＦを使用して３Ｄ環境内のＨＭＤの１つまたは複数のポーズを計算する第１のモードと、ポーズトラッカーが３ＤＯＦを使用して１つまたは複数のポーズを計算する第２のモードとから選択するために、１つまたは複数のポリシーを性能インジケータに適用するために、ＤＯＦセレクタは、ポーズトラッカーが３ＤＯＦを使用して３Ｄ環境内のＨＭＤの１つまたは複数のポーズを計算する第２のモードを選択することから、ポーズトラッカーが６ＤＯＦを使用して３Ｄ環境内のＨＭＤの１つまたは複数のポーズを計算する第１のモードを選択することに切り替えるために、１つまたは複数のポリシーを性能インジケータに適用するように構成され得る。ポーズトラッカーは、３ＤＯＦを使用して３Ｄ環境内のＨＭＤについての１つまたは複数のポーズを計算することから、６ＤＯＦを使用して３Ｄ環境内のＨＭＤについての１つまたは複数のポーズを計算することに切り替えるようにさらに構成され得る。
【0020】
本発明の第２の態様によれば、少なくとも１つのヘッドマウントディスプレイ（ＨＭＤ）を有する人工現実システムに関連する１つまたは複数の性能インジケータを決定することと、６自由度（６ＤＯＦ）を使用して３次元（３Ｄ）環境内のＨＭＤの１つまたは複数のポーズが計算される第１のモードと、３自由度（３ＤＯＦ）を使用して１つまたは複数のポーズが計算される第２のモードとから選択するために、１つまたは複数のポリシーを性能インジケータに適用することと、選択されたモードに従って３Ｄ環境内のＨＭＤについての１つまたは複数のポーズを計算すること、計算された１つまたは複数のポーズに基づいて人工現実コンテンツをレンダリングすることと、ＨＭＤによって、レンダリングされた人工現実コンテンツを出力することとを含む方法が、提供される。
【0021】
６ＤＯＦを使用してＨＭＤの１つまたは複数のポーズを計算することは、ＨＭＤによる回転運動と並進運動の両方に関するＨＭＤの１つまたは複数のポーズを計算することを含み得る。３ＤＯＦを使用してＨＭＤの１つまたは複数のポーズを計算することは、ＨＭＤによる回転運動に関するが、ＨＭＤによる並進運動には関さないＨＭＤの１つまたは複数のポーズを計算することを含み得る。ＨＭＤによる回転運動は、ＨＭＤの垂直軸、ＨＭＤの横軸、またはＨＭＤの縦軸のうちの少なくとも１つの周囲の回転運動を含み得る。ＨＭＤによる並進運動は、ＨＭＤの垂直軸、ＨＭＤの横軸、またはＨＭＤの縦軸のうちの少なくとも１つに沿った並進運動を含み得る。
【0022】
第１のモードと第２のモードとから選択するために、１つまたは複数のポリシーを性能インジケータに適用することは、遷移条件が満たされたと決定するために、１つまたは複数のポリシーを画像トラッキングの品質レベルに適用することを含み得る。第１のモードと第２のモードとから選択するために、１つまたは複数のポリシーを性能インジケータに適用することは、遷移条件が満たされたという決定に基づいて、第１のモードと第２のモードとから選択することをさらに含み得る。
【0023】
代替的に、および／または追加として、第１のモードと第２のモードとから選択するために、１つまたは複数のポリシーを性能インジケータに適用することは、遷移条件が満たされたと決定するために、１つまたは複数のポリシーをアイトラッキング品質に適用することを含み得る。第１のモードと第２のモードとから選択するために、１つまたは複数のポリシーを性能インジケータに適用することは、遷移条件が満たされたという決定に基づいて、第１のモードと第２のモードとから選択することをさらに含み得る。
【0024】
本発明の第３の態様によれば、命令を含む非一時的コンピュータ可読媒体であって、命令は、実行されたとき、１つまたは複数のプロセッサに、少なくとも１つのヘッドマウントディスプレイ（ＨＭＤ）を有する人工現実システムに関連する１つまたは複数の性能インジケータを決定することと、６自由度（６ＤＯＦ）を使用して３次元（３Ｄ）環境内のＨＭＤの１つまたは複数のポーズが計算される第１のモードと、３自由度（３ＤＯＦ）を使用して１つまたは複数のポーズが計算される第２のモードとから選択するために、１つまたは複数のポリシーを性能インジケータに適用することと、選択されたモードに従って３Ｄ環境内のＨＭＤについての１つまたは複数のポーズを計算すること、計算された１つまたは複数のポーズに基づいて人工現実コンテンツをレンダリングすることと、レンダリングされた人工現実コンテンツを出力することとを行わせる、非一時的コンピュータ可読媒体が提供される。
【0025】
本開示の技法の１つまたは複数の例の詳細は、添付の図面および以下の説明において記載される。本技法の他の特徴、目的、および利点は、説明および図面から、ならびに特許請求の範囲から明らかになろう。
【図面の簡単な説明】
【0026】
【図1A】本開示の技法による、基準系についての１つまたは複数のポーズを計算する際におよびユーザに対してコンテンツをレンダリングするときに使用するためのＤＯＦを適応的に選択する例示的な人工現実システムを示す図である。
【図1B】本開示の技法による、ユーザに対してコンテンツをレンダリングするときに１つまたは複数のポーズを計算する際に使用するためのＤＯＦを適応的に選択する別の人工現実システムを示す図である。
【図2】本開示の技法に従って動作する例示的なＨＭＤを示す図である。
【図5】本開示の技法による、レンダリングされた人工現実コンテンツを示す図である。
【図7】本開示の技法による、１つまたは複数のポーズを計算する際に使用するためのＤＯＦを適応的に選択するための例示的な動作を示すフローチャートである。
【発明を実施するための形態】
【0027】
同様の参照符号は、図および説明全体にわたって同様の要素を指す。
【0028】
図１Ａは、本開示の技法による、ユーザ１１０に対してコンテンツをレンダリングするときに基準系の１つまたは複数のポーズを計算する際に使用するための自由度（ＤＯＦ）を適応的に選択する例示的な人工現実システム１を示す図である。以下でさらに説明されるように、この例では、コンソール１０６および／またはＨＭＤ１１２は、人工現実システム１の性能インジケータを監視し、監視された性能インジケータへのポリシーの適用に基づいて、ＨＭＤ１１２のディスプレイなど、基準系のポーズ計算中に使用するためのＤＯＦの選択を適応的に実施する。説明されたように、このようにして、人工現実システム１は、ユーザ１１０に高品質およびより現実的な人工現実体験を提供し、通常ならば起こり得る不正確さを回避するように動作し得る。
【0029】
図１Ａの例では、人工現実システム１は、ＨＭＤ１１２と、コントローラ１１４Ａ～１１４Ｂ（まとめて、「コントローラ１１４」）と、コンソール１０６と、いくつかの例では、１つまたは複数のセンサー９０とを含む。示されているように、ＨＭＤ１１２は、一般に、ユーザ１１０によって装着され、ユーザに人工現実コンテンツ１２２を提示するための電子ディスプレイと光学アセンブリとを含む。さらに、ＨＭＤ１１２は、ＨＭＤの動きをトラッキングするための１つまたは複数のセンサー（たとえば、加速度計）を含み、周囲環境の画像データをキャプチャするための１つまたは複数の画像キャプチャデバイス、たとえば、カメラ、ラインスキャナなどを含み得る。各コントローラ１１４は、ユーザ１１０が、コンソール１０６、それぞれのＨＭＤ１１２、または人工現実システム１の別の構成要素への入力を提供するために使用し得る、入力デバイスである。この例では、コンソール１０６は、ゲーミングコンソール、ワークステーション、デスクトップコンピュータ、またはラップトップなど、単一のコンピューティングデバイスとして示されている。他の例では、コンソール１０６は、分散コンピューティングネットワーク、データセンター、またはクラウドコンピューティングシステムなど、複数のコンピューティングデバイスにわたって分散され得る。コンソール１０６、ＨＭＤ１１２、コントローラ１１４、およびセンサー９０は、この例に示されているように、ネットワーク１０４を介して通信可能に結合され得、ネットワーク１０４は、ＷｉＦｉ、メッシュネットワークまたは短距離ワイヤレス通信媒体など、ワイヤードまたはワイヤレスネットワークであり得る。ＨＭＤ１１２は、この例では、コンソール１０６と通信しているものとして、たとえば、コンソール１０６にテザリングされるかまたはコンソール１０６とワイヤレス通信しているものとして示されているが、いくつかの実装形態では、ＨＭＤ１１２は、スタンドアロンモバイル人工現実システムとして動作する。
【0030】
概して、人工現実システム１は、ユーザ１１０への表示のための人工現実コンテンツ１２２をレンダリングするために、現実世界の３Ｄ環境からキャプチャされた情報を使用する。図１Ａの例では、ユーザ１１０は、コンソール１０６および／またはＨＭＤ１１２上で実行する人工現実アプリケーションによって、構築およびレンダリングされた人工現実コンテンツ１２２を観察する。一例として、人工現実コンテンツ１２２は、家庭用ゲームアプリケーションであり得、ユーザ１１０がアバター１２０として、現実世界の像と仮想オブジェクトとの混合物、たとえば、混合現実および／または拡張現実とともに、いくつかの例では、そのようなものとしてレンダリングされる。他の例では、人工現実コンテンツ１２２は、たとえば、ビデオ会議アプリケーション、ナビゲーションアプリケーション、教育アプリケーション、トレーニングまたはシミュレーションアプリケーション、あるいは人工現実を実装する他のタイプのアプリケーションであり得る。
【0031】
動作中に、人工現実アプリケーションは、基準系、一般にＨＭＤ１１２の観察パースペクティブについてのポーズ情報をトラッキングおよび計算することによって、ユーザ１１０への表示のための人工コンテンツを構築する。現在の観察パースペクティブに基づいて、人工現実アプリケーションは、ユーザ１１０の現実世界の３Ｄ環境上に少なくとも部分的にオーバーレイされ得る３Ｄ人工現実コンテンツをレンダリングする。このプロセス中、人工現実アプリケーションは、ユーザ１１０による動きおよび／またはユーザ１１０に関する特徴トラッキング情報など、現実世界の環境内の３Ｄ情報をキャプチャするために、運動情報およびユーザコマンドなど、ＨＭＤ１１２から受信された検知されたデータと、いくつかの例では、外部カメラなど、任意の外部センサー９０からのデータとを使用する。検知されたデータに基づいて、人工現実アプリケーションは、ＨＭＤ１１２の基準系についての現在のポーズを決定し、現在のポーズに従って、人工現実コンテンツをレンダリングする。より詳細には、人工現実アプリケーションは、ＤＯＦのセットに関する動き（すなわち、回転および／または並進）を表す基準系、たとえばＨＭＤ１１２のディスプレイについての更新されたポーズ情報を計算するために、受信された情報を処理する。
【0032】
その上、本開示の技法によれば、人工現実アプリケーションは、人工現実システム１の現在の動作条件または特性に関する、アプリケーションによって決定された性能インジケータに基づいて、適応的ＤＯＦ選択を実施する。すなわち、本明細書でさらに説明されるように、人工現実アプリケーションは、人工現実コンテンツ１２２の品質に影響を及ぼし、劣化させ得る現在の性能インジケータを決定するために、動作条件を監視する。人工現実アプリケーションによって監視される例示的な動作条件は、特徴トラッキング品質、特徴照明品質、ネットワーク性能、計算リソース使用量、アイトラッキング品質、環境輝度、画像トラッキングに影響を及ぼす見通し線または他の可視性条件、画像テクスチャ、レンダリング品質、ネットワーク性能またはレイテンシ、計算リソース使用量、ジッタ、あるいは１つまたは複数の基準系についての更新されたポーズ情報を正確に計算するシステムの能力に悪影響を及ぼし得る任意の他のファクタを含む。
【0033】
人工現実アプリケーションは、ＨＭＤ１１２の基準系についての更新されたポーズを計算する際に使用されるべき推定された動き（すなわち、推定された回転および並進）のための許可されるＤＯＦ（ｐｅｒｍｉｓｓｉｂｌｅ ＤＯＦ）の異なるセットから、リアルタイムまたは擬似リアルタイムで動的に選択するために、１つまたは複数のポリシーを現在の性能インジケータに適応的に適用する。基準系についての更新されたポーズを決定し、現在の観察パースペクティブのためのコンテンツをレンダリングするとき、人工現実アプリケーションは、いくつかの例では、利用可能なＤＯＦのサブセットにすぎないことがある選択されたＤＯＦを使用して、現在の動きデータを処理する。言い換えれば、コントローラ１１４および／またはセンサー９０からの現在の動きデータキャプチャに基づいて、人工現実アプリケーションは、選択されたセットの許可されるＤＯＦのみに関する基準系の推定された運動を計算し、それにより、ユーザ１１０に高品質およびより現実的な人工現実体験を提供し、通常ならば起こり得る不正確さを回避するように動作する。
【0034】
いくつかの例では、各性能インジケータは、ユーザ１１０によって構成可能であり得る、ポリシーによって定義された対応する性能しきい値に関連する。いくつかの実装形態では、人工現実システム１は、遷移条件が満たされたかどうかを決定するために、ポリシーを性能インジケータに適用し、それにより、ＤＯＦの異なるセットの使用をトリガする。特定の性能インジケータについての性能しきい値を満たすかまたは超えると、人工現実システム１は、ＨＭＤ１１２の基準系についての更新されたポーズを計算する際に使用されるべき許可されるＤＯＦの異なるセットから動的に選択する。
【0035】
一例として、人工現実システム１は、現在の性能インジケータを決定するために動作条件および特性を監視し、基準系の計算された動きが完全６ＤＯＦに関して許可される第１のモード（たとえば、基準系の回転運動と並進運動の両方）と、基準系の動きが、３ＤＯＦのみに関して許可される第２のモード（たとえば、基準系の回転運動）とから動的に選択するために、ポリシーを性能インジケータに適用し得る。基準系についての更新されたポーズを計算するときの完全６ＤＯＦの使用は、３ＤＯＦの使用に勝る多数の利点を提供し得る。たとえば、ＨＭＤ１１２による回転動きおよび並進運動を許可することは、現実世界の運動をより正確に表す様式でのより現実的なおよび関与する人工現実コンテンツのレンダリングを可能にし得る。しかしながら、様々な性能インジケータの劣化は、基準系についてのポーズを正確に計算するかまたは完全６ＤＯＦに関する人工現実コンテンツをレンダリングする、人工現実システム１の能力に悪影響を及ぼし得る。たとえば、周辺光が低すぎる場合、または環境が十分な数のトラッキング可能特徴を欠く場合、コンソール１０６および／またはＨＭＤ１１２上で実行する人工現実アプリケーションは、特徴トラッキングを正確に実施することができないことがある。これは、人工現実アプリケーションが６ＤＯＦを使用してポーズを不正確に計算することを引き起こすことがあり、（たとえば、ＨＭＤ１１２の運動としてキャプチャされる）ユーザ１１０の現実世界の動きが、人工現実世界内のレンダリングされた動きと整合しないので、ユーザ１１０の体験に悪影響を及ぼし得る。別の例として、ネットワーク１０４のレイテンシが高くなりすぎるか、または人工現実システム１が、現在のローディングに基づいて、６ＤＯＦを使用してポーズを計算するのに十分なソフトウェアおよび／またはハードウェアリソースを有しない場合、ユーザ１１０は、スタッタリング（ｓｔｕｔｔｅｒｉｎｇ）、ラグ、低減されたフレームレート、または他の芳しくない結果を体験することがある。そのような状況では、人工現実アプリケーションは、ポーズ推定の計算に関して、基準系の動きが３ＤＯＦに関してのみ許可されるモード（たとえば、基準系の回転運動）に、自動的および動的に遷移し得る。３ＤＯＦの使用は、６ＤＯＦの使用のように体験の関与を提供しないことがあるが、３ＤＯＦを使用して計算されるポーズの正確さおよび／または品質は、これらの性能インジケータの劣化に対して６ＤＯＦよりもロバストであり得る。結果として、更新されたポーズに従ってレンダリングおよび表示されたコンテンツは、ユーザ１１０により現実的な体験を提供し得る。
【0036】
いくつかの例では、ポーズを計算するときのＤＯＦの異なるセットの使用からの適応的遷移は、監視された性能インジケータへのポリシーの適用に基づいて自動的である。他の例では、人工現実システム１は、ユーザ１１０など、ユーザからの確認を受信したことに応答して遷移を実施する。いくつかの例では、人工現実システム１が、６ＤＯＦを使用してＨＭＤ１１２のポーズを計算するようにデフォルト設定され得る。他の例では、人工現実システム２が、３ＤＯＦを使用してポーズを計算するようにデフォルト設定され得る。
【0037】
したがって、本開示の技法は、人工現実システム内でコンテンツをレンダリングおよび表示するコンピュータ関連分野に対する特定の技術改善を提供する。たとえば、本明細書で説明される人工現実システムは、許可されたときに完全６ＤＯＦを使用してポーズを計算することによって、人工現実アプリケーションのユーザ１１０など、ユーザに高品質人工現実体験を提供し得る。さらに、ユーザの体験を劣化させ得る検知動作条件および特性に応答して、そのようなシステムは、３ＤＯＦなど、ＤＯＦの低減されたセットを使用してポーズを計算することにシームレスに切り替えるように構成され得る。例として、本明細書で説明されるシステムは、６ＤＯＦを使用することを回避し得、ソフトウェア、ハードウェア、ネットワーク、または環境条件は、さもなければユーザ体験の劣化を引き起こすであろう。さらに、本明細書で説明される例示的なシステムは、方向感覚の喪失、吐き気、「めまい」、および他の副作用など、人工現実アプリケーションの一部のユーザによって体験される悪影響を低減し得る。
【0038】
図１Ｂは、本開示の技法による、ユーザ１１０Ａ～１１０Ｃ（まとめて、「ユーザ１１０」）に対してコンテンツをレンダリングするときに１つまたは複数のポーズを計算する際に使用するための自由度を適応的に選択する別の人工現実システム２を示す図である。この例では、人工現実システム２は、カメラ１０２Ａおよび１０２Ｂ（まとめて、「カメラ１０２」）と、ＨＭＤ１１２Ａおよび１１２Ｂ（まとめて、「ＨＭＤ１１２」）と、コントローラ１１４Ａ～１１４Ｄ（まとめて、「コントローラ１１４」）と、コンソール１０６と、モバイルデバイス１１８とを含む。モバイルデバイス１１８は、たとえば、モバイルフォン、ラップトップ、タブレットコンピュータ、スマートグラスなどのウェアラブルデバイス、携帯情報端末（ＰＤＡ）などであり得る。
【0039】
図１Ｂに示されているように、人工現実システム２は、コンソール１０６、ＨＭＤ１１２および／またはモバイルデバイス１１８上で実行する人工現実アプリケーションが、各ユーザに人工現実コンテンツを、そのユーザについての対応する基準系の現在の観察パースペクティブに基づいて提示する、マルチユーザ環境を表す。すなわち、この例では、人工現実アプリケーションは、ＨＭＤ１１２およびモバイルデバイス１１８の各々についての基準系についてのポーズ情報をトラッキングおよび計算することによって、人工コンテンツを構築する。人工現実システム２は、ＨＭＤ１１２またはモバイルデバイス１１８の対応する基準系についての更新されたポーズ情報を計算する際に使用するための、ユーザ１１０による動きならびに／またはユーザ１１０およびオブジェクト１０８Ａに関するトラッキング情報など、現実世界の環境内の３Ｄ情報をキャプチャするために、カメラ１０２、ＨＭＤ１１２、コントローラ１１４、およびモバイルデバイス１１８から受信されたデータを使用する。一例として、人工現実アプリケーションは、モバイルデバイス１１８について決定された現在の観察パースペクティブに基づいて、コンテンツオブジェクト１２８Ａ～１２８Ｃを、現実世界のオブジェクト１０８Ａ～１０８Ｃ（まとめて、「オブジェクト１０８」）上に空間的にオーバーレイされたものとして有する、人工現実コンテンツ１２２をレンダリングし得る。さらに、モバイルデバイス１１８のパースペクティブから、人工現実システム２は、それぞれ、ユーザ１１０Ａ、１１０Ｂについての推定された位置に基づいて、アバター１２０Ａ、１２０Ｂをレンダリングする。
【0040】
図１Ａに関して上記で説明された例と同様の様式で、人工現実システム２は、人工現実システム２の現在の動作条件または特性に関する、人工現実アプリケーションによって決定された性能インジケータに基づいて、適応的ＤＯＦ選択を実施する。このようにして、本明細書で説明されたように、人工現実システム２は、ユーザ１１０に高品質およびより現実的な人工現実体験を提供し、他の場合に起こり得る不正確さを回避するように動作し得る。
【0041】
図２は、本開示の技法に従って動作するように構成された例示的なＨＭＤ１１２を示す図である。図２のＨＭＤ１１２は、図１Ａおよび図１ＢのＨＭＤ１１２のいずれかの一例であり得る。ＨＭＤ１１２は、図１Ａ、図１Ｂの人工現実システム１、２など、人工現実システムの一部であり得るか、または、本明細書で説明される技法を実装するように構成されたスタンドアロンモバイル人工現実システムとして動作し得る。
【0042】
この例では、ＨＭＤ１１２は、ＨＭＤ１１２をユーザに固定するための前面剛体とバンドとを含む。さらに、ＨＭＤ１１２は、ユーザに人工現実コンテンツを提示するように構成された内向き（ｉｎｔｅｒｉｏｒ－ｆａｃｉｎｇ）電子ディスプレイ２０３を含む。電子ディスプレイ２０３は、液晶ディスプレイ（ＬＣＤ）、量子ドットディスプレイ、ドットマトリックスディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、陰極線管（ＣＲＴ）ディスプレイ、ｅ－ｉｎｋ、あるいは視覚出力を生成することが可能なモノクロ、カラー、または、他のタイプのディスプレイなど、任意の好適なディスプレイ技術であり得る。いくつかの例では、電子ディスプレイは、ユーザの各眼に別個の画像を提供するための立体視ディスプレイである。いくつかの例では、ＨＭＤ１１２の前面剛体に対するディスプレイ２０３の知られている向きおよび位置は、ＨＭＤ１１２およびユーザの現在の観察パースペクティブに従って人工現実コンテンツをレンダリングするためにＨＭＤ１１２の位置および向きをトラッキングするとき、ローカル原点とも呼ばれる基準系として使用される。
【0043】
図２にさらに示されているように、この例では、ＨＭＤ１１２は、３ＤＯＦ、一般にロール、ピッチおよびヨーに関するＨＭＤ１１２の現在の加速度を示すデータを出力する、（慣性測定ユニットまたは「ＩＭＵ」とも呼ばれる）１つまたは複数の加速度計など、１つまたは複数の動きセンサー２０６をさらに含む。その上、ＨＭＤ１１２は、周囲の現実世界の環境を表す画像データを出力するように構成された、ビデオカメラ、レーザースキャナ、ドップラーレーダースキャナ、深度スキャナなど、１つまたは複数の統合された画像キャプチャデバイス２０８を含み得る。ＨＭＤは、検知されたデータを処理し、ディスプレイ２０３上に人工現実コンテンツを提示するためにプログラム可能な動作を実行するための動作環境を提供するために、内部電源と、１つまたは複数のプロセッサ、メモリ、およびハードウェアを有する１つまたは複数のプリント回路基板とを含み得る、内部制御ユニット２１０を含み得る。
【0044】
一例では、本明細書で説明される技法によれば、制御ユニット２０１は、検知されたデータに基づいて、ＤＯＦの適応的に選択されたセットを使用してＨＭＤ１１２の基準系についての現在のポーズを計算することと、現在のポーズに従ってユーザに人工現実コンテンツを表示することとを行うように構成される。本明細書で説明されるように、本開示の技法によれば、制御ユニット２１０は、人工現実システムの現在の動作条件または特性に関する性能インジケータに基づいて、更新されたポーズを計算するとき、異なるＤＯＦの使用の間で適応的に遷移し得る。
【0045】
一例として、ＨＭＤ１１２の制御ユニット２１０は、６ＤＯＦを使用して位置および／または向きを決定するために第１のモードで動作するように構成され得る。たとえば、第１のモードで動作する間、ＨＭＤ１１２の制御ユニット２１０は、観察パースペクティブの回転変換（たとえば、ＨＭＤ１１２の垂直軸、横軸、または縦軸に沿った回転運動）と観察パースペクティブの並進変換（たとえば、ＨＭＤ１１２の垂直軸、横軸、または縦軸に沿った並進運動）の両方を使用して、人工現実環境内の１つまたは複数のポーズを決定するように構成される。ＨＭＤ１１２は、ポリシーの適用に基づいて、制御ユニット２１０が３ＤＯＦのみを使用して位置および／または向きを決定するように構成された第２のモードで動作することに動的に遷移し得る。たとえば、第２のモードで動作する間、ＨＭＤ１１２は、観察パースペクティブの並進変換を妨げながら、観察パースペクティブの回転変換のみを使用して、人工現実環境内の１つまたは複数のポーズを決定し得る。
【0046】
別の例では、ポーズ推定値をローカルに計算するのではなく、制御ユニット２１０は、本明細書で説明される技法による適応的ＤＯＦ選択を使用したポーズトラッキングのために、動きセンサー２０６からの動きデータおよび画像キャプチャデバイス２０８からの画像データなど、検知されたデータを図１Ａ、図１Ｂのコンソール１０６など、外部コンソールに中継する。情報は、性能テレメトリ、運動情報、ユーザコマンド、および人工現実環境中の３Ｄポーズをレンダリングすることに関連する他の情報を含み得る。中継されたデータに基づいて、コンソール１０６は、選択されたセットの許可されるＤＯＦのみに関するＨＭＤ１２の基準系の推定された運動を計算し、それにより、ユーザ１１０に高品質およびより現実的な人工現実体験を提供し、他の場合に起こり得る不正確さを回避するように動作する。
【0047】
図３は、図１Ａ、図１Ｂのコンソール１０６とヘッドマウントディスプレイ１１２との例示的な実装形態を示すブロック図である。図３の例では、コンソール１０６は、ＨＭＤ１１２および／または外部センサーから受信された動きデータおよび画像データなど、検知されたデータに基づいて、本明細書で説明される技法による適応的ＤＯＦ選択を使用して、ＨＭＤ１１２のポーズトラッキングを実施する。
【0048】
この例では、ＨＭＤ１１２は、いくつかの例では、オペレーションシステム３０５を実行するためのコンピュータプラットフォームを提供する１つまたは複数のプロセッサ３０２とメモリ３０４とを含み、オペレーションシステム３０５は、埋込み型リアルタイムマルチタスキングオペレーティングシステムであり得る。次に、オペレーティングシステム３０５は、１つまたは複数のソフトウェア構成要素３１７を実行するためのマルチタスキング動作環境を提供する。図２の例に関して説明されるように、プロセッサ３０２は、電子ディスプレイ３０６と、動きセンサー２０６と、画像キャプチャデバイス２０８とに結合される。いくつかの例では、プロセッサ３０２とメモリ３０４とは、別個の、個別構成要素であり得る。他の例では、メモリ３０４は、単一の集積回路内にプロセッサ３０２とコロケートされるオンチップメモリであり得る。
【0049】
概して、コンソール１０６は、人工現実環境内のＨＭＤ１１２についての１つまたは複数のポーズを計算するために、カメラ１０２（図１Ｂ）および／またはＨＭＤ１１２から受信された画像およびトラッキング情報を処理するコンピューティングデバイスである。いくつかの例では、コンソール１０６は、ワークステーション、デスクトップコンピュータ、ラップトップなど、単一のコンピューティングデバイスである。いくつかの例では、プロセッサ３５２および／またはメモリ３５４など、コンソール１０６の少なくとも一部分は、クラウドコンピューティングシステムにわたって、データセンターにわたって、あるいは、インターネット、別のパブリックまたはプライベート通信ネットワーク、たとえば、ブロードバンド、セルラー、Ｗｉ－Ｆｉ、および／または、コンピューティングシステムとサーバとコンピューティングデバイスとの間でデータを送信するための、他のタイプの通信ネットワークなど、ネットワークにわたって分散され得る。
【0050】
図３の例では、コンソール１０６は、いくつかの例では、オペレーションシステム３１６を実行するためのコンピュータプラットフォームを提供する１つまたは複数のプロセッサ３１２とメモリ３１４とを含み、オペレーションシステム３１６は、埋込み型リアルタイムマルチタスキングオペレーティングシステムであり得る。次に、オペレーティングシステム３１６は、１つまたは複数のソフトウェア構成要素３１７を実行するためのマルチタスキング動作環境を提供する。プロセッサ３１２は、結合されたＩ／Ｏインターフェース３１５であり、Ｉ／Ｏインターフェース３１５は、キーボード、ゲームコントローラ、ディスプレイデバイス、画像キャプチャデバイスなど、外部デバイスと通信するための１つまたは複数のＩ／Ｏインターフェースを提供する。その上、Ｉ／Ｏインターフェース３１５は、ネットワーク１０４など、ネットワークと通信するための１つまたは複数のワイヤードまたはワイヤレスネットワークインターフェースコントローラ（ＮＩＣ）を含み得る。プロセッサ３０２、３１２の各々は、マルチコアプロセッサ、コントローラ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、あるいは等価な個別論理回路または集積論理回路のうちの任意の１つまたは複数を含み得る。メモリ３０４、３１４は、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、プログラマブル読取り専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電子的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、およびフラッシュメモリなど、データおよび実行可能ソフトウェア命令を記憶するための任意の形式のメモリを含み得る。
【0051】
コンソール１０６のソフトウェアアプリケーション３１７は、人工現実アプリケーション全体を提供するように動作する。この例では、ソフトウェアアプリケーション３１７は、アプリケーションエンジン３２０と、レンダリングエンジン３２２と、性能モニタ３２４と、ポーズトラッカー３２６と、ＤＯＦセレクタ３２８とを含む。
【0052】
概して、アプリケーションエンジン３１４は、人工現実アプリケーション、たとえば、遠隔会議アプリケーション、ゲームアプリケーション、ナビゲーションアプリケーション、教育アプリケーション、トレーニングまたはシミュレーションアプリケーションなどを提供および提示するための機能性を含む。アプリケーションエンジン３１４は、たとえば、１つまたは複数のソフトウェアパッケージ、ソフトウェアライブラリ、ハードウェアドライバ、および／またはコンソール１０６上に人工現実アプリケーションを実装するためのアプリケーションプログラムインターフェース（ＡＰＩ）を含み得る。アプリケーションエンジン３２０による制御に応答して、レンダリングエンジン３２２は、コンテンツリポジトリ３３０からコンテンツを取り出し、ＨＭＤ１１２のアプリケーションエンジン３４０によってユーザへの表示のための３Ｄ人工現実コンテンツを構築する。
【0053】
アプリケーションエンジン３２０およびレンダリングエンジン３２２は、ポーズトラッカー３２６によって決定された基準系、一般にＨＭＤ１１２の観察パースペクティブについての現在のポーズ情報に従って、ユーザ１１０への表示のための人工コンテンツを構築する。現在の観察パースペクティブに基づいて、レンダリングエンジン３２２は、ユーザ１１０の現実世界の３Ｄ環境上に少なくとも部分的にオーバーレイされ得る３Ｄ人工現実コンテンツを構築する。このプロセス中、ポーズトラッカー３２６は、ユーザ１１０による動きおよび／またはユーザ１１０に関する特徴トラッキング情報など、現実世界の環境内の３Ｄ情報をキャプチャするために、運動情報およびユーザコマンドなど、ＨＭＤ１１２から受信された検知されたデータと、いくつかの例では、外部カメラなど、任意の外部センサー９０（図１Ａ、図１Ｂ）からのデータとに対して動作する。検知されたデータに基づいて、ポーズトラッカー３２６は、ＨＭＤ１１２の基準系についての現在のポーズを決定し、現在のポーズに従って、ユーザへの表示のためにＨＭＤ１１２への通信のための人工現実コンテンツを構築する。
【0054】
本開示の技法によれば、ＤＯＦセレクタ３２８は、人工現実システムの現在の動作条件または特性に関する、性能モニタ３２４によって決定された性能インジケータに基づいて、適応的ＤＯＦ選択を実施する。ＤＯＦセレクタ３２８は、推定された動き（すなわち、推定された回転および並進）のための許可される自由度の異なるセットから、リアルタイムまたは擬似リアルタイムで動的に選択するために、１つまたは複数のポリシーを現在の性能インジケータに適応的に適用する。ポーズトラッカー３２６は、ＨＭＤ１１２の基準系についての現在のポーズを計算するとき、選択された自由度を使用する。すなわち、現在の観察パースペクティブについてのＨＭＤ１１２についての更新されたポーズを決定するとき、ポーズトラッカー３２６は、いくつかの例では利用可能なＤＯＦのサブセットにすぎないことがある、ＤＯＦセレクタ３２８によって選択された自由度を使用して、現在の動きデータを処理する。言い換えれば、動きセンサー２０６、画像キャプチャデバイス２０８および／または任意の外部センサーからキャプチャされた現在のデータに基づいて、ポーズトラッカー３２６は、ＤＯＦセレクタ３２８によって選択されたセットの許可される自由度のみに関する基準系の推定された運動を計算し、それにより、ユーザ１１０に高品質およびより現実的な人工現実体験を提供し、他の場合に起こり得る不正確さを回避するように動作する。
【0055】
いくつかの例では、各性能インジケータは、ポリシーデータベースまたはルールセットの形態をとり得る、ポリシー３４４の各々によって定義された対応する性能しきい値に関連する。ＤＯＦセレクタ３２８は、遷移条件が満たされたかどうかを決定するために、ポリシー３４４のうちの１つまたは複数を、性能モニタ３２４によって計算された性能インジケータに適用し、それにより、ＤＯＦの異なるセットの使用をトリガする。特定の性能インジケータについての性能しきい値を満足するかまたは超えると、ＤＯＦセレクタ３２８は、ＨＭＤ１１２の基準系についての更新されたポーズを計算する際にポーズトラッカー３２６によって使用されるべき許可されるＤＯＦの異なるセットから動的に選択する。本明細書で説明されるように、一例では、性能モニタ３２４は、現在の性能インジケータを決定するために動作条件および特性を監視し得、ＤＯＦセレクタ３２８は、基準系の計算された動きが完全６ＤＯＦに関して許可される第１のモード（たとえば、基準系の回転運動と並進運動の両方）と、基準系の動きが、３ＤＯＦのみに関して許可される第２のモード（たとえば、基準系の回転運動）とから動的に選択するために、ポリシーを現在の性能インジケータに適用し得る。
【0056】
性能モニタ３２４によって計算される性能インジケータは、たとえば、画像トラッキング品質、アイトラッキング品質、環境輝度、見通し線、画像テクスチャ、現実世界特徴および対応する人工現実世界特徴の数、現実世界特徴の特性、または画像トラッキングに影響を及ぼす他の可視性条件、レンダリング品質、ネットワーク性能またはレイテンシ、計算リソース使用量、ジッタ、あるいはＨＭＤ１１２のポーズを計算するポーズトラッカー３２６の能力に悪影響を及ぼし得る他のファクタを含み得る。いくつかの例では、ユーザが、様々な性能インジケータについての基準またはしきい値を指定するポリシーを追加または削除するなど、性能インジケータを定義または構成し得る。性能インジケータを計算するために、ポーズトラッカー３２６は、フォトセンサーまたはフォトダイオード、ネットワークモニタ、ハードウェアモニタ、センサー、加速度計、ＩＭＵなど、１つまたは複数のセンサーからの入力に対して動作し得る。
【0057】
【0058】
この例では、図３と同様に、ＨＭＤ１１２は、いくつかの例では、オペレーションシステム３０５を実行するためのコンピュータプラットフォームを提供する１つまたは複数のプロセッサ３０２とメモリ３０４とを含み、オペレーションシステム３０５は、埋込み型リアルタイムマルチタスキングオペレーティングシステムであり得る。次に、オペレーティングシステム３０５は、１つまたは複数のソフトウェア構成要素４１７を実行するためのマルチタスキング動作環境を提供する。その上、（１つまたは複数の）プロセッサ３０２は、電子ディスプレイ３０６と、動きセンサー２０６と、画像キャプチャデバイス２０８とに結合される。
【0059】
図４の例では、ソフトウェア構成要素４１７は、人工現実アプリケーション全体を提供するように動作する。この例では、ソフトウェアアプリケーション４１７は、アプリケーションエンジン４４０と、レンダリングエンジン４２２と、性能モニタ４２４と、ポーズトラッカー４２６と、ＤＯＦセレクタ４２８とを含む。様々な例では、ソフトウェア構成要素４１７は、基準系についての現在のポーズ情報に従ってユーザ１１０への表示のための人工コンテンツを構築するために、図３のコンソール１０６のカウンターパート構成要素（たとえば、アプリケーションエンジン３２０、レンダリングエンジン３２２、性能モニタ３２４、ポーズトラッカー３２６、およびＤＯＦセレクタ３２８）と同様に動作する。たとえば、現在の観察パースペクティブに基づいて、レンダリングエンジン４２２は、ユーザ１１０の現実世界の３Ｄ環境上に少なくとも部分的にオーバーレイされ得る３Ｄ人工現実コンテンツを構築する。本開示の技法によれば、ＤＯＦセレクタ４２８は、人工現実システムの現在の動作条件または特性に関する、性能モニタ４２４によって決定された性能インジケータに基づいて、適応的ＤＯＦ選択を実施する。ＤＯＦセレクタ４２８は、推定された動き（すなわち、推定された回転および並進）のための許可されるＤＯＦの異なるセットから、リアルタイムまたは擬似リアルタイムで動的に選択するために、１つまたは複数のポリシーを現在の性能インジケータに適応的に適用する。ＤＯＦセレクタ４２８は、遷移条件が満たされたかどうかを決定するために、ポリシー４４４のうちの１つまたは複数を、性能モニタ４２４によって計算された性能インジケータに適用し、それにより、ＤＯＦの異なるセットの使用をトリガする。ポーズトラッカー４２６は、ＨＭＤ１１２の基準系についての現在のポーズを計算するとき、選択されたＤＯＦを使用し、それにより、ユーザ１１０に高品質およびより現実的な人工現実体験を提供し、他の場合に起こり得る不正確さを回避するように動作する。
【0060】
図５は、本開示の技法による、レンダリングされた人工現実コンテンツを示す図である。例の目的で、図５は、監視された性能インジケータに基づくポーズトラッキングおよびＤＯＦ選択がコンソール１０６によって実施される図３に関して説明される。しかしながら、図５は、他のシステム、ローカルポーズおよびＤＯＦ選択がＨＭＤ１１２によって実施される図４の例示的なシステムによって実装され得る。
【0061】
図５の例示的なシーン５０２Ａでは、ポーズトラッカー３２６は、ポーズトラッカー３２６が６ＤＯＦを使用して３Ｄ環境内のＨＭＤ１１２の１つまたは複数のポーズを計算する第１のモードで動作している。たとえば、第１のモードで動作する間、ポーズトラッカー３２６は、観察パースペクティブの回転変換（たとえば、ＨＭＤ１１２の垂直軸、横軸、または縦軸に沿った回転運動）と観察パースペクティブの並進変換（たとえば、ＨＭＤ１１２の垂直軸、横軸、または縦軸に沿った並進運動）の両方を使用して、ＨＭＤ１１２についての１つまたは複数のポーズを決定するために、検知された入力データ（たとえば、ＨＭＤ１１２からの動きおよび並進情報、１つまたは複数のカメラからの画像データなど）を処理する。コンソール１０６のレンダリングエンジン３２２は、計算されたポーズに基づいて人工現実コンテンツ１２２をレンダリングし、レンダリングされた人工現実コンテンツ１２２を、たとえばＨＭＤ１１２Ａによるユーザ１１０への表示のために人工現実シーン５０２Ａとして出力する。図５の例示的なシーン５０２Ａに示されているように、レンダリングエンジン３２２は、アバター１２０Ａ’として示されている第２の位置へのアバター１２０Ａの並進運動を示す、人工現実コンテンツをレンダリングした。
【0062】
図５の例示的なシーン５０２Ｂでは、ポーズトラッカー３２６は、ポーズトラッカー３２６が３ＤＯＦを使用して３Ｄ環境内のＨＭＤ１１２の１つまたは複数のポーズを計算する第２のモードで動作している。すなわち、この例では、ＤＯＦセレクタ３２８は、ポーズトラッカー３２６が６ＤＯＦを使用してＨＭＤ１１２のポーズを計算する第１のモードから、ポーズトラッカー３２６が３ＤＯＦを使用して１つまたは複数のポーズを計算する第２のモードに切り替えるために、１つまたは複数のポリシーを、性能モニタ３２４によって決定された性能インジケータに適用した。たとえば、第２のモードで動作している間、ポーズトラッカー３２６は、観察パースペクティブの回転変換のみを許可し、たとえば、準最適な動作条件による不正確なデータまたは近似値によって引き起こされ得る観察パースペクティブの並進変換を妨げることによって、ＨＭＤ１１２についての１つまたは複数のポーズを決定する。コンソール１０６のレンダリングエンジン３２２は、計算されたポーズに基づいて人工現実コンテンツ１２２をレンダリングし、レンダリングされたコンテンツを、たとえばＨＭＤ１１２Ａによるユーザ１１０への表示のために人工現実シーン５０２として出力する。図５の例示的なシーン５０２Ｂ中に示されているように、第２のモードで動作するとき、ポーズトラッカー３２６は、シーン５０２Ａの前の例の場合のように、検知された入力データを処理するときでも、並進運動を妨げる。すなわち、性能モニタ３２４が、１つまたは複数の性能インジケータが、入力データが不正確または低品質であり得ることを示すと決定したので、ＤＯＦセレクタ３２８は、ポーズトラッカー３２６が３ＤＯＦを使用して１つまたは複数のポーズを計算する第２のモードの選択を適応的にトリガした。その結果、検知された入力データ（たとえば、ＨＭＤ１１２からの動きおよび並進情報、１つまたは複数のカメラからの画像データなど）を処理する際に、ポーズトラッカー３２６は、更新されたポーズを決定するときに回転運動のみを可能にした。レンダリングエンジン３２２は、更新されたポーズに基づいてコンテンツをレンダリングし、この場合、シーン５０２Ｂ中のアバター１２０Ａ’として示されているように、アバター１２０Ａの第２の位置への並進運動は妨げられた。
【0063】
図６は、本開示の技法による、ポリシーリポジトリ６００としてポリシー３４４、４４４（図３、図４）の例示的な一実装形態を示すブロック図である。例の目的で、ポリシーリポジトリ６００は、図３のＤＯＦセレクタ３２８およびシステム３００に関して説明される。しかしながら、ポリシーリポジトリ６００は、図４のＤＯＦセレクタ４２８およびシステム４００など、他のシステムによって実装され得る。
【0064】
上記で説明されたように、性能モニタ３２４は、性能インジケータを計算するために、システム３００の現在の動作条件を監視する。ＤＯＦセレクタ３２８は、ポーズトラッカー３２６がＤＯＦの第１のセット（たとえば、６ＤＯＦ）を使用して３Ｄ環境内のＨＭＤ１１２の１つまたは複数のポーズを計算する第１のモードと、ポーズトラッカー３２６がＤＯＦの第２のセット（たとえば、３ＤＯＦ）を使用して１つまたは複数のポーズを計算する第２のモードとから選択するために、ポリシーリポジトリ６００のポリシー６０６のうちの１つまたは複数を、計算された性能インジケータに適用する。上記で説明された例では、ポリシーリポジトリ６００は、メモリ３０４、３１４に記憶され得る。
【0065】
この例では、ポリシーリポジトリ６００は複数のポリシー６０６を含む。各ポリシー６０６は、条件セット６０２Ａ～６０２Ｎ（まとめて、「条件セット６０２」）のうちの重視する１つと、複数のアクション６０４Ａ～６０４Ｎ（まとめて、「アクション６０４」）のうちの１つとに関連する。このようにして、各ポリシー６０６は、必要とされる条件のセット（条件セット６０２）を定義し、条件のセットをそれぞれのアクション６０４に関連付ける。たとえば、条件セット６０２がポリシー６０６のうちの所与の１つについて満たされると決定すると、ＤＯＦセレクタ３２８は、対応するアクション６０４を実行する。各アクション６０４は、対応する条件６０２が満たされると決定するときにＤＯＦセレクタ３２８がとるべきアクションを指定し、一般に、条件セットが満たされるときに使用すべきＤＯＦのセットを指定する。たとえば、ポリシー６００は、条件セット６０４に基づいて、ポーズトラッカー３２６が６ＤＯＦを使用してＨＭＤ１１２のポーズを計算する第１のモードと、ポーズトラッカー３２６が３ＤＯＦを使用してポーズを計算する第２のモードとの間の遷移の形態でアクションを定義し得る。いくつかの例では、ユーザが、各アクション６０４について指定されるアクションを構成または変更し得る。
【0066】
いくつかの例では、各条件セット６０２は、監視される条件から計算された１つまたは複数の性能インジケータと、１つまたは複数の性能インジケータの各々についての基準（たとえば、しきい値よりも大きい、しきい値よりも小さい、範囲内）とを指定する。性能インジケータの各々は、６ＤＯＦを使用してＨＭＤ１１２のポーズを正確に計算するポーズトラッカー３２６の能力に影響を及ぼし得る条件に関する。性能インジケータは、画像トラッキング品質、アイトラッキング品質、環境輝度、見通し線、画像テクスチャ、現実世界特徴および対応する人工現実世界特徴の数、現実世界特徴の特性、または画像トラッキングに影響を及ぼす他の可視性条件、レンダリング品質、ネットワーク性能またはレイテンシ、計算リソース使用量、ジッタ、あるいはＨＭＤ１１２のポーズを計算するシステム２の能力に悪影響を及ぼし得る他のファクタなど、様々な監視される条件について、様々な形式（たとえば、あるスケールでの現在の性能レベル、劣化割合、損失率など）で計算され得る。いくつかの例では、ユーザが、たとえば、条件によって指定されたしきい値および／または範囲を調整または変更することによって、条件セット６０２を追加または削除する、あるいは既存の条件セット６０２を編集するなど、条件セット６０２を定義または構成し得る。
【0067】
一例として、第１の条件セット（条件セット６０２）は、監視されるネットワークレイテンシから計算された性能インジケータについてのしきい値を指定する。性能モニタ３２４は、（場合によっては、ネットワーク性能データにアクセスするためにＩ／Ｏインターフェース３１５との通信によって）ネットワーク性能を監視し、（平均レイテンシ、最大レイテンシ、未加工レイテンシ時間などの）性能インジケータを決定する。ＤＯＦセレクタ３２８は、ネットワークレイテンシについての性能インジケータが、条件セット６０２Ａによってネットワークレイテンシについて指定する基準（しきい値レイテンシを超過するなど）を満たすかどうか、したがって、条件セット６０２Ａが満たされると決定するために、ポリシー６０２Ａを適用する。ＤＯＦセレクタ３２８は、ポリシーの適用に応答して動作する。たとえば、アクション６０４Ａは、ＤＯＦセレクタ３２８が、ポーズトラッカー３２６が高いネットワークレイテンシにより３ＤＯＦを使用して３Ｄ環境内のＨＭＤ１１２のポーズを計算する第２のモードを選択することを指定し得る。ネットワークレイテンシが満足なレベルに戻るときにポーズ計算のための６ＤＯＦの使用をトリガするために、カウンターパートポリシーが定義され得、所望される場合、ヒステリシスが、ＤＯＦの異なるセット間の過大な切替えを妨げるためにポリシーの基準内で定義され得る。
【0068】
より複雑な例として、ポリシー６０６Ｃの条件セット６０２Ｃは、（１）画像キャプチャデバイス２０８（図２）を使用してＨＭＤ１１２のアプリケーションエンジン３４０によって現在トラッキングされている現実世界特徴の数と、（２）コンソール１０６のアプリケーションエンジン３２０によって現在トラッキングされている現実世界特徴の数との合計についてのしきい値を指定し得る。これらの監視される条件に基づいて、性能モニタ３２４は、定義された性能インジケータを、トラッキングされた特徴全体の指定された合計として計算する。ＤＯＦセレクタ３２８は、ポリシー６０６Ｃを、定義された性能インジケータに適用する。たとえば、ＤＯＦセレクタ３２８は、トラッキングされた現実世界特徴の数の合計が、条件セット６０２Ｃによって指定されたしきい値よりも小さく、したがって、条件６０２Ｃが満たされると決定し得る。さらに、アクション６０４Ａは、ＤＯＦセレクタ３２８が、ポーズトラッカー３２６が３ＤＯＦを使用して３Ｄ環境内のＨＭＤ１１２のポーズを計算する第２のモードを選択することを指定し得る。このようにして、性能モニタ３２４およびＤＯＦセレクタ３２８は、ポーズトラッカー３２６に、ポーズトラッカー３２６が６ＤＯＦを使用してＨＭＤ１１２のポーズを計算する第１のモードから、ポーズトラッカー３２６が３ＤＯＦを使用して１つまたは複数のポーズを計算する第２のモードに切り替えさせ得る。同様に、人工現実システムによって現在トラッキングされている特徴の数が、定義するしきい値を満足するかまたは超えるときにポーズ計算のための６ＤＯＦの使用をトリガするために、カウンターパートポリシーが定義され得る。
【0069】
他の例では、所与の条件セット６０２が、複数の条件を定義し得、それらをもつ各々が、１つまたは複数の性能インジケータに関して定義され得る。このようにして、ポリシー６０６は、ルール、異なる性能インジケータのその特定の複雑な組合せに基づいて、トリガされるアクションを定義し得る。
【0070】
また別の例として、ポリシーリポジトリ６００は、条件６０２が満たされない場合、ＨＭＤ１１２のポーズを計算するためのデフォルトモードを指定する。たとえば、ＤＯＦセレクタ３２８は、ＨＭＤ１１２およびコンソール１０６のアプリケーションエンジンによって現在トラッキングされている現実世界特徴の数が、条件６０２Ｃによって必要とされる現実世界特徴の数についてのしきい値よりも大きく、したがって、条件６０２Ｃがもはや満たされないと決定する。この例では、３ＤＯＦをトリガするポリシーが満たされないので、ＤＯＦセレクタ３２８は、デフォルトポリシーを適用し得、デフォルトポリシーは、ＤＯＦセレクタ３２８に、６ＤＯＦを選択するように指示して、ポーズトラッカー３２６に、ポーズトラッカー３２６が３ＤＯＦを使用してＨＭＤ１１２のポーズを計算する第２のモードから、ポーズトラッカー３２６が６ＤＯＦを使用してポーズを計算する第１のモードに切り替えさせる。
【0071】
いくつかの例では、コンソール１０６、ＨＭＤ１１２、あるいは、クラウドベースサービスまたは管理プラットフォームなど、人工現実システムの別の構成要素は、ユーザ１１０または管理者がポリシーリポジトリ６００を編集し得るユーザインターフェースを提示する。ユーザインターフェースは、人工現実環境についてポーズ更新を計算し、コンテンツをレンディングするときの異なるＤＯＦを利用するモード間の遷移を制御するために、基準を性能インジケータに適用するためのルールとして、条件セットを定義するための入力および出力フィールドを含む、ポリシーを追加、削除、および編集するための様々なＵ／Ｉ機構を含み得る。
【0072】
図７は、本開示の技法による、１つまたは複数のポーズを計算する際に使用するためのＤＯＦを適応的に選択するための例示的な動作を示すフローチャートである。例の目的で、図７のフローチャートは、図３の例示的なコンソール１０６、ＨＭＤ１１２、および他の構成要素の動作に関して説明される。しかしながら、図７の動作は、図４のＨＭＤ１１２など、他のシステムによって実装され得る。
【0073】
動作中に、センサー９０が、動作条件を監視し、現在の動作条件を示すデータをコンソール１０６のプロセッサ３１２に出力する（７０２）。検知されたデータは、たとえば、人工現実システムの構成要素を監視し、監視しているデータを出力する、１つまたは複数の一体型または外部画像キャプチャデバイス、フォトセンサー、ネットワークモニタ、ハードウェアまたはソフトウェアリソースモニタなどを含み得る。同様に、ＨＭＤ１１２のプロセッサ３０２が、ＨＭＤ１１２の動作条件を監視し、検知されたデータをコンソール１０６のプロセッサ３１２に出力する（７０４）。ＨＭＤ１１２によって出力された情報は、たとえば、性能テレメトリ、運動情報、ユーザコマンド、トラッキングされた特徴の数、レイテンシなどの現在のネットワーク性能データ、ジッタ、バースト性、および／またはコンテンツをレンダリングすることに関係する他の情報を含み得る。
【0074】
コンソール１０６のプロセッサ３１２によって実行される性能モニタ３２４は、受信された性能情報を処理して、人工現実コンテンツ１２２の品質に影響を及ぼし得る１つまたは複数の性能インジケータを決定する。たとえば、性能モニタ３２４は、画像トラッキングの品質レベル、アイトラッキング品質、環境輝度、見通し線、画像テクスチャ、現実世界特徴および対応する人工現実世界特徴の数、現実世界特徴の特性、または画像トラッキングに影響を及ぼす他の可視性条件、レンダリング品質、ネットワーク性能またはレイテンシ、計算リソース使用量、ジッタ、あるいは完全６ＤＯＦを使用してＨＭＤ１１２のポーズを計算する人工現実システム２の能力に悪影響を及ぼし得る他のファクタなど、性能インジケータを決定し得る。
【0075】
コンソール１０６のＤＯＦセレクタ３２８は、ＨＭＤ１１２についてのポーズの計算のためのＤＯＦを適応的に選択するために、ポリシー３４４によって定義された条件セットを、計算された性能インジケータに適用する（７０８）。たとえば、ＤＯＦセレクタ３２８は、遷移条件が満たされたかどうかを決定するために、ポリシーを性能インジケータに適用する。１つまたは複数の性能インジケータに関する特定のポリシーについての条件セットを満たすと、ＤＯＦセレクタ３２８は、ポーズトラッカー３２６に、ＤＯＦの現在のセット（たとえば６ＤＯＦ）を使用してポーズを計算することから、ＤＯＦの第２のセット（たとえば３ＤＯＦ）を使用してポーズを計算することに遷移するように指示する。たとえば、特徴トラッキングが悪影響を及ぼされると決定すると、またはレンダリング品質が不十分である場合、ＤＯＦセレクタ３２８は、ポーズトラッカー３２６に、６ＤＯＦを使用してＨＭＤ１１２のポーズを計算することから、３ＤＯＦを使用してＨＭＤ１１２のポーズを計算することに遷移させ得る。別の例として、特徴トラッキングの品質またはレンダリング品質が改善する場合、ＤＯＦセレクタ３２８は、ポーズトラッカー３２６に、３ＤＯＦを使用してＨＭＤ１１２のポーズを計算することから、６ＤＯＦを使用してＨＭＤ１１２のポーズを計算することに遷移させ得る。
【0076】
ポーズトラッカー３２６は、選択されたＤＯＦを使用してＨＭＤ１１２についての１つまたは複数のポーズを計算する（７１２）。さらに、レンダリングエンジン３２２は、計算された１つまたは複数のポーズに従って人工現実コンテンツ１２２をレンダリングする（７１４）。コンソール１０６のプロセッサ３１２は、レンダリングされたコンテンツをＨＭＤ１１２に出力する（７１６）。次に、ＨＭＤ１１２のプロセッサ３０２は、ユーザ１１２など、ＨＭＤ１１２を装着するユーザに、レンダリングされたコンテンツを表示する（７１８）。図７のフローチャートは、図３の例示的なシステムに関して説明されるが、他の例では、上記で説明されたように、ポーズ計算、性能監視およびＤＯＦ選択のいずれかなど、様々な機能性が、ＨＭＤ１１２、コンソール１０６、またはそれらの組合せによって実装され得る。
【0077】
本開示で説明される技法は、少なくとも部分的に、ハードウェア、ソフトウェア、ファームウェアまたはそれらの任意の組合せで実装され得る。たとえば、説明される技法の様々な態様が、１つまたは複数のマイクロプロセッサ、ＤＳＰ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、あるいは任意の他の等価な集積論理回路または個別論理回路、ならびにそのような構成要素の任意の組合せを含む、１つまたは複数のプロセッサ内で実装され得る。「プロセッサ」または「処理回路」という用語は、概して、単独でまたは他の論理回路と組み合わせて、上記の論理回路のいずれか、あるいは任意の他の等価な回路を指し得る。ハードウェアを備える制御ユニットも、本開示の技法のうちの１つまたは複数を実施し得る。
【0078】
そのようなハードウェア、ソフトウェア、およびファームウェアは、本開示で説明される様々な動作および機能をサポートするために、同じデバイス内にまたは別個のデバイス内に実装され得る。さらに、説明されるユニット、モジュール、または構成要素のいずれかは、一緒に、または個別の、ただし相互運用可能な論理デバイスとして別個に、実装され得る。モジュールまたはユニットとしての異なる特徴の図は、異なる機能的態様を強調することが意図され、そのようなモジュールまたはユニットが別個のハードウェアまたはソフトウェア構成要素によって実現されなければならないことを必ずしも暗示するとは限らない。むしろ、１つまたは複数のモジュールまたはユニットに関連する機能性は、別個のハードウェアまたはソフトウェア構成要素によって実施されるか、あるいは共通のまたは別個のハードウェアまたはソフトウェア構成要素内に組み込まれ得る。
【0079】
本開示で説明される技法はまた、命令を含んでいる、コンピュータ可読記憶媒体など、コンピュータ可読媒体において具現されるかまたは符号化され得る。コンピュータ可読記憶媒体において埋め込まれるかまたは符号化される命令は、たとえば、命令が実行されるとき、プログラマブルプロセッサ、または他のプロセッサに方法を実施させ得る。コンピュータ可読記憶媒体は、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、プログラマブル読取り専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電子的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、ハードディスク、ＣＤ－ＲＯＭ、フロッピーディスク、カセット、磁気媒体、光媒体、または他のコンピュータ可読媒体を含み得る。
【0080】
本明細書の様々な例として説明されたように、本開示の技法は、人工現実システムを含むか、または人工現実システムとともに実装され得る。説明されたように、人工現実は、ユーザへの提示の前に何らかの様式で調整された形式の現実であり、これは、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、あるいはそれらの何らかの組合せおよび／または派生物を含み得る。人工現実コンテンツは、完全に生成されたコンテンツ、またはキャプチャされたコンテンツ（たとえば、現実世界の写真）と組み合わせられた生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組合せを含み得、それらのいずれも、単一のチャネルまたは複数のチャネルにおいて提示され得る（観察者に３次元効果をもたらすステレオビデオなど）。加えて、いくつかの実施形態では、人工現実は、たとえば、人工現実におけるコンテンツを作り出すために使用される、および／または人工現実において使用される（たとえば、人工現実におけるアクティビティを実施する）アプリケーション、製品、アクセサリ、サービス、またはそれらの何らかの組合せに関連付けられ得る。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、スタンドアロンＨＭＤ、モバイルデバイスまたはコンピューティングシステム、あるいは、１人または複数の観察者に人工現実コンテンツを提供することが可能な任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上に実装され得る。
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【国際調査報告】