知財求人 - 知財ポータルサイト「IP Force」
▶ マイクロソフト テクノロジー ライセンシング，エルエルシーの特許一覧
特開2024-125295手のジェスチャのやり取りを有する複合現実環境においてカメラの焦点を設定する技法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024125295
(43)【公開日】2024-09-18
(54)【発明の名称】手のジェスチャのやり取りを有する複合現実環境においてカメラの焦点を設定する技法
(51)【国際特許分類】
G06F 3/01 20060101AFI20240910BHJP
G06T 19/00 20110101ALI20240910BHJP
【ＦＩ】
G06F3/01 510
G06F3/01 570
G06T19/00 A
【審査請求】有
【請求項の数】35
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024081899
(22)【出願日】2024-05-20
(62)【分割の表示】P 2021561951の分割
【原出願日】2020-04-24
(31)【優先権主張番号】16/427,398
(32)【優先日】2019-05-31
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕ－ｒａｙ
(71)【出願人】
【識別番号】314015767
【氏名又は名称】マイクロソフト テクノロジー ライセンシング，エルエルシー
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(74)【代理人】
【識別番号】100108213
【弁理士】
【氏名又は名称】阿部 豊隆
(72)【発明者】
【氏名】レイ，マリア チェン
(72)【発明者】
【氏名】ジェイン，ヴィシャル
(72)【発明者】
【氏名】ダンギ，ヴィクラマディトヤ
(57)【要約】 （修正有）
【課題】カメラ動作中のオートフォーカスハンチングの発生を低減する。
【解決手段】複合現実ヘッドマウントディスプレイ（ＨＭＤ）装置内の焦点調節式ＰＶカメラは、ユーザーの手の場所及びモーションに基づいてトリガされるように構成されるオートフォーカスサブシステムと共に動作する。ＨＭＤ装置は、３次元においてユーザーの手の場所、動き及びジェスチャを検出及び追跡するために、周囲の物理環境から深度データをキャプチャするように構成される深度センサを備える。深度センサからの手追跡データは、ＰＶカメラの視野内の特定の関心領域（ＲＯＩ）内において、手の特性が検出されるか、そのサイズ、モーション、速度などを判定するために評価され得る。オートフォーカスサブシステムは、オートフォーカスハンチングの発生を低減するために、評価された手の特性を、ＰＶカメラのオートフォーカスを制御するための入力として使用する。
【選択図】図１８
【解決手段】複合現実ヘッドマウントディスプレイ（ＨＭＤ）装置内の焦点調節式ＰＶカメラは、ユーザーの手の場所及びモーションに基づいてトリガされるように構成されるオートフォーカスサブシステムと共に動作する。ＨＭＤ装置は、３次元においてユーザーの手の場所、動き及びジェスチャを検出及び追跡するために、周囲の物理環境から深度データをキャプチャするように構成される深度センサを備える。深度センサからの手追跡データは、ＰＶカメラの視野内の特定の関心領域（ＲＯＩ）内において、手の特性が検出されるか、そのサイズ、モーション、速度などを判定するために評価され得る。オートフォーカスサブシステムは、オートフォーカスハンチングの発生を低減するために、評価された手の特性を、ＰＶカメラのオートフォーカスを制御するための入力として使用する。
【選択図】図１８
【特許請求の範囲】
【請求項1】
オートフォーカス実装を最適化するためにヘッドマウントディスプレイ（ＨＭＤ）装置によって実行される方法であって、
視野（ＦＯＶ）にわたって前記ＨＭＤ装置を取り囲むローカル物理環境内のシーンをキャプチャするように構成された、前記ＨＭＤ装置におけるカメラのオートフォーカス動作を有効にすることであって、前記カメラは、前記ＨＭＤ装置に動作可能に結合される１つ又は複数のセンサの組のメンバーである、有効にすることと、
前記センサの組を使用して、ユーザーの手に関するデータを収集することと、
前記ユーザーの手に関する収集されたデータがオートフォーカスサブシステムの１つ又は複数の基準を満たさないことに基づいて、前記カメラの前記オートフォーカス動作を抑制することと
を含む方法。
視野（ＦＯＶ）にわたって前記ＨＭＤ装置を取り囲むローカル物理環境内のシーンをキャプチャするように構成された、前記ＨＭＤ装置におけるカメラのオートフォーカス動作を有効にすることであって、前記カメラは、前記ＨＭＤ装置に動作可能に結合される１つ又は複数のセンサの組のメンバーである、有効にすることと、
前記センサの組を使用して、ユーザーの手に関するデータを収集することと、
前記ユーザーの手に関する収集されたデータがオートフォーカスサブシステムの１つ又は複数の基準を満たさないことに基づいて、前記カメラの前記オートフォーカス動作を抑制することと
を含む方法。
【請求項2】
前記センサの組は、前記ＨＭＤ装置が動作する前記ローカル物理環境を記述するデータを集める、請求項１に記載の方法。
【請求項3】
前記ＨＭＤ装置は、シースルー複合現実ディスプレイを含み、前記シースルー複合現実ディスプレイを通して、ローカルユーザーは、前記ローカル物理環境を観察し、及び前記シースルー複合現実ディスプレイ上において、前記ＨＭＤ装置は、１つ又は複数の仮想オブジェクトをレンダリングする、請求項２に記載の方法。
【請求項4】
前記ＦＯＶにわたって前記カメラによってキャプチャされた前記シーン及び前記レンダリングされた仮想オブジェクトは、コンテンツとしてリモート演算装置に送信される、請求項３に記載の方法。
【請求項5】
前記ＦＯＶにわたって前記カメラによってキャプチャされた前記シーン及び前記レンダリングされた仮想オブジェクトは、前記ＨＭＤ装置により、記録される合成信号へと混合される、請求項３に記載の方法。
【請求項6】
前記ＦＯＶ内で関心領域（ＲＯＩ）を指定することを更に含み、前記オートフォーカスサブシステムの基準は、前記ユーザーの手の１つ又は複数が前記ＲＯＩ内で局所的であることを示す、前記収集されたデータを含む、請求項１に記載の方法。
【請求項7】
前記ＲＯＩは、前記ローカル物理環境内の３次元空間を含む、請求項６に記載の方法。
【請求項8】
前記ＲＯＩは、サイズ、形状又は場所の少なくとも１つにおいて動的に可変である、請求項６に記載の方法。
【請求項9】
前記ユーザーの手に関する前記収集されたデータが前記オートフォーカスサブシステムの１つ又は複数の基準を満たすかどうかを判定するために、前記１つ又は複数の手の特性を評価することを更に含む、請求項６に記載の方法。
【請求項10】
前記手の前記特性は、手の動きのペースを含む、請求項９に記載の方法。
【請求項11】
前記手の前記特性は、手のいずれの部分であるかを含む、請求項９に記載の方法。
【請求項12】
前記手の前記特性は、前記１つ又は複数の手が前記ＲＯＩ内に位置決めされる持続時間を含む、請求項９に記載の方法。
【請求項13】
前記カメラは、ＰＶ（写真／ビデオ）カメラを含み、及び前記センサの組は、前記ローカル物理環境内で深度データを収集して、それにより前記ＨＭＤ装置ユーザーの手の１つ又は複数を追跡するように構成される深度センサを含む、請求項１に記載の方法。
【請求項14】
コンピュータ可読命令を保存する１つ又は複数のハードウェアベースのコンピュータ可読メモリ装置であって、前記コンピュータ可読命令は、演算装置内の１つ又は複数のプロセッサによって実行されると、前記演算装置に、
ユーザーが物理環境内で前記演算装置を使用している間、前記ユーザーの１つ又は複数の手を追跡するためにデータをキャプチャすることと、
前記演算装置の視野（ＦＯＶ）内の関心領域（ＲＯＩ）を選択することであって、前記演算装置は、前記演算装置に結合されたシースルーディスプレイ上に１つ又は複数の仮想オブジェクトをレンダリングして、前記ユーザーが複合現実ユーザー体験として前記物理環境及び前記１つ又は複数の仮想オブジェクトを同時に見ることを可能にする、選択することと、
前記キャプチャされた手追跡データから、前記ユーザーの１つ又は複数の手の部分が前記ＲＯＩ内に位置しているかどうかを判定することと、
前記判定することに応答して、前記ＦＯＶ内の前記物理環境の少なくとも一部分を含むシーンをキャプチャするように構成された、前記演算装置上に配設されたカメラのオートフォーカス動作をトリガ又は無効化することと
を行わせ、
前記オートフォーカス動作は、前記ユーザーの１つ又は複数の手が前記ＲＯＩ内の前記ユーザーの焦点であることを示す、前記キャプチャされた手追跡データから導出された前記１つ又は複数の手の特性に応じてトリガされ、及び
前記オートフォーカス動作は、前記ユーザーの１つ又は複数の手が前記ＲＯＩ内で一時的なものであることを示す、前記キャプチャされた手追跡データから導出された前記１つ又は複数の手の特性に応じて無効化される、１つ又は複数のハードウェアベースのコンピュータ可読メモリ装置。
ユーザーが物理環境内で前記演算装置を使用している間、前記ユーザーの１つ又は複数の手を追跡するためにデータをキャプチャすることと、
前記演算装置の視野（ＦＯＶ）内の関心領域（ＲＯＩ）を選択することであって、前記演算装置は、前記演算装置に結合されたシースルーディスプレイ上に１つ又は複数の仮想オブジェクトをレンダリングして、前記ユーザーが複合現実ユーザー体験として前記物理環境及び前記１つ又は複数の仮想オブジェクトを同時に見ることを可能にする、選択することと、
前記キャプチャされた手追跡データから、前記ユーザーの１つ又は複数の手の部分が前記ＲＯＩ内に位置しているかどうかを判定することと、
前記判定することに応答して、前記ＦＯＶ内の前記物理環境の少なくとも一部分を含むシーンをキャプチャするように構成された、前記演算装置上に配設されたカメラのオートフォーカス動作をトリガ又は無効化することと
を行わせ、
前記オートフォーカス動作は、前記ユーザーの１つ又は複数の手が前記ＲＯＩ内の前記ユーザーの焦点であることを示す、前記キャプチャされた手追跡データから導出された前記１つ又は複数の手の特性に応じてトリガされ、及び
前記オートフォーカス動作は、前記ユーザーの１つ又は複数の手が前記ＲＯＩ内で一時的なものであることを示す、前記キャプチャされた手追跡データから導出された前記１つ又は複数の手の特性に応じて無効化される、１つ又は複数のハードウェアベースのコンピュータ可読メモリ装置。
【請求項15】
前記キャプチャされた手追跡データは、前記演算装置に動作可能に結合される前方を向いた深度センサからのものである、請求項１４に記載の１つ又は複数のハードウェアベースのコンピュータ可読メモリ装置。
【発明の詳細な説明】
【背景技術】
【0001】
背景
[0001] 複合現実ヘッドマウントディスプレイ（ＨＭＤ）装置は、複合現実体験の記録及び共有を含む様々なユーザー体験を促進するために、周囲の物理環境のスチール及び／又はビデオ画像をキャプチャする写真及びビデオ（ＰＶ）カメラを利用することができる。ＰＶカメラは、オートフォーカス、自動露出及び自動バランス機能を含むことができる。いくつかのシナリオでは、ＨＭＤ装置ユーザーの手の動きは、物理環境のシャープな画像を解像することを試みる間、オートフォーカスサブシステムのハンチングをもたらし得る。例えば、ＨＭＤ装置によってレンダリングされたホログラムとやり取りするときのユーザーの手の動きは、手がシーン内でカメラによって検出されるたびにカメラの再合焦をもたらす場合がある。このオートフォーカスのハンチング現象は、ローカルＨＭＤ装置でキャプチャされた複合現実ユーザー体験を視聴していることがあり得るローカルＨＭＤ装置ユーザー及びリモートユーザーの両方について、ユーザー体験の品質を低減する可能性がある。
[0001] 複合現実ヘッドマウントディスプレイ（ＨＭＤ）装置は、複合現実体験の記録及び共有を含む様々なユーザー体験を促進するために、周囲の物理環境のスチール及び／又はビデオ画像をキャプチャする写真及びビデオ（ＰＶ）カメラを利用することができる。ＰＶカメラは、オートフォーカス、自動露出及び自動バランス機能を含むことができる。いくつかのシナリオでは、ＨＭＤ装置ユーザーの手の動きは、物理環境のシャープな画像を解像することを試みる間、オートフォーカスサブシステムのハンチングをもたらし得る。例えば、ＨＭＤ装置によってレンダリングされたホログラムとやり取りするときのユーザーの手の動きは、手がシーン内でカメラによって検出されるたびにカメラの再合焦をもたらす場合がある。このオートフォーカスのハンチング現象は、ローカルＨＭＤ装置でキャプチャされた複合現実ユーザー体験を視聴していることがあり得るローカルＨＭＤ装置ユーザー及びリモートユーザーの両方について、ユーザー体験の品質を低減する可能性がある。
【発明の概要】
【0002】
概要
[0002] 複合現実ヘッドマウントディスプレイ（ＨＭＤ）装置内の焦点調節式ＰＶカメラは、ＰＶカメラ動作中のオートフォーカスハンチングの発生を低減するために、ユーザーの手の場所及びモーションに基づいてトリガされるように構成されるオートフォーカスサブシステムと共に動作する。ＨＭＤ装置は、３次元においてユーザーの手の場所、動き及びジェスチャを検出及び追跡するために、周囲の物理環境から深度データをキャプチャするように構成される深度センサを備える。深度センサからの手追跡データは、ＰＶカメラの視野（ＦＯＶ）内の特定の関心領域（ＲＯＩ）内において、手の特性 － ユーザーのいずれの手又は手のいずれの部分が検出されるか、そのサイズ、モーション、速度など － を判定するために評価され得る。オートフォーカスサブシステムは、オートフォーカスハンチングの発生を低減するために、評価された手の特性を、ＰＶカメラのオートフォーカスを制御するための入力として使用する。例えば、ユーザーがホログラムとやり取りする間に手のモーションを利用していると手の追跡が示す場合、オートフォーカスサブシステムは、ハンチング現象を低減するためにオートフォーカスのトリガを抑制することができる。
[0002] 複合現実ヘッドマウントディスプレイ（ＨＭＤ）装置内の焦点調節式ＰＶカメラは、ＰＶカメラ動作中のオートフォーカスハンチングの発生を低減するために、ユーザーの手の場所及びモーションに基づいてトリガされるように構成されるオートフォーカスサブシステムと共に動作する。ＨＭＤ装置は、３次元においてユーザーの手の場所、動き及びジェスチャを検出及び追跡するために、周囲の物理環境から深度データをキャプチャするように構成される深度センサを備える。深度センサからの手追跡データは、ＰＶカメラの視野（ＦＯＶ）内の特定の関心領域（ＲＯＩ）内において、手の特性 － ユーザーのいずれの手又は手のいずれの部分が検出されるか、そのサイズ、モーション、速度など － を判定するために評価され得る。オートフォーカスサブシステムは、オートフォーカスハンチングの発生を低減するために、評価された手の特性を、ＰＶカメラのオートフォーカスを制御するための入力として使用する。例えば、ユーザーがホログラムとやり取りする間に手のモーションを利用していると手の追跡が示す場合、オートフォーカスサブシステムは、ハンチング現象を低減するためにオートフォーカスのトリガを抑制することができる。
【0003】
[0003] オートフォーカスハンチングの低減は、有益であり得、なぜなら、オートフォーカスハンチングは、（頻繁なＰＶカメラレンズのモーションを検知し得る）ＨＭＤ装置ユーザーにとって望ましくない雑音となり得、またＰＶカメラによってキャプチャされた画像及びビデオの品質の劣化をもたらし得るからである。オートフォーカスハンチングの低減は、オートフォーカスモーター又は他のメカニズムによって消費される電力を低減することにより、ＨＭＤ装置の動作を改善することもできる。
【0004】
[0004] この概要は、詳細な説明で更に後述される概念の選択を簡単な形態で紹介するために提供される。この概要は、特許請求される主題の主要な特徴又は不可欠な特徴を識別することも、又は特許請求される主題の範囲の判定における支援として使用されることも意図したものではない。更に、特許請求される主題は、本開示の任意の部分に記述される任意の又はすべての欠点を解決する実装形態に限定されない。上述の主題は、コンピュータ制御された装置、コンピュータプロセス、演算システム又は１つ若しくは複数のコンピュータ可読ストレージ媒体などの製造物品として実装され得ることを理解されたい。これら及び様々な他の特徴について、以下の詳細な説明及び関連する図面の検討を読むことにより明らかとなるであろう。
【図面の簡単な説明】
【0005】
図面の説明
【図1】[0005]ユーザーが周囲の物理環境を見る間、ホログラムがヘッドマウントディスプレイ（ＨＭＤ）装置のシースルー複合現実表示システム上にレンダリングされる例示的な複合現実環境を示す。
【図2】[0006]ローカルＨＭＤ装置、リモートＨＭＤ装置及びリモートサービスがネットワーク上で通信し得る例示的な環境を示す。
【図3】[0007]ＨＭＤ装置の例示的なアーキテクチャを示す。
【図4】[0008]例示的な仮想オブジェクトとやり取りする物理環境内のローカルユーザーを示す。
【図5】[0008]例示的な仮想オブジェクトとやり取りする物理環境内のローカルユーザーを示す。
【図6】[0009]仮想オブジェクトが複合現実表示システムを使用してその上でレンダリングされる物理環境の視野を含む、ローカルユーザーの視点からのローカルＨＭＤ装置の例示的なＦＯＶを示す。
【図7】[0010]コンテンツがローカルＨＭＤ装置ユーザーからリモートユーザーに共有される例示的な構成を示す。
【図8】[0011]ローカルユーザーのＨＭＤ装置から送信された現実世界要素及び仮想オブジェクトを含む合成画像を表示するリモートタブレットコンピュータを操作するリモートユーザーを示す。
【図9】[0012]ローカルＨＭＤ装置のＦＯＶにおけるローカルユーザーの視点からの例示的な手のモーション及びジェスチャを示す。
【図10】[0012]ローカルＨＭＤ装置のＦＯＶにおけるローカルユーザーの視点からの例示的な手のモーション及びジェスチャを示す。
【図11】[0012]ローカルＨＭＤ装置のＦＯＶにおけるローカルユーザーの視点からの例示的な手のモーション及びジェスチャを示す。
【図12】[0013]水平方向ＦＯＶを表す例示的な球面座標系を示す。
【図13】[0013]垂直方向ＦＯＶを表す例示的な球面座標系を示す。
【図14】[0014]球面座標系を使用したローカルユーザーの視点からのＨＭＤ装置のＦＯＶ内の例示的な関心領域（ＲＯＩ）を示す。
【図15】[0015]様々なデータが例示を目的としてローカルＨＭＤ装置のオートフォーカスサブシステム内に入力として提供される図である。
【図16】[0016]ローカルＨＭＤ装置の深度センサによって検出され得る物理環境の例示的な項目の分類を示す。
【図17】[0017]コンテンツのフレームを処理する際にローカルＨＭＤ装置のオートフォーカスサブシステムによって実行される例示的なプロセスを示す。
【図18】[0018]オートフォーカスをトリガするか又は抑制するかを判定する際にオートフォーカスサブシステムによって使用される例示的な特性の分類を示す。
【図19】[0019]オートフォーカスサブシステムを利用するＨＭＤ装置又は他の適切な電子装置によって実行される例示的な方法のフローチャートである。
【図20】[0019]オートフォーカスサブシステムを利用するＨＭＤ装置又は他の適切な電子装置によって実行される例示的な方法のフローチャートである。
【図21】[0019]オートフォーカスサブシステムを利用するＨＭＤ装置又は他の適切な電子装置によって実行される例示的な方法のフローチャートである。
【図22】[0020]手のジェスチャのやり取りを有する複合現実環境でカメラの焦点を設定するように本技法を実装するために部分的に使用され得る、例示的なリモートサービス又はコンピュータシステムの概略ブロック図である。
【図23】[0021]手のジェスチャのやり取りを有する複合現実環境でカメラの焦点を設定するように本技法を実装するために少なくとも部分的に使用され得る、例示的なデータセンタのブロック図である。
【図24】[0022]手のジェスチャのやり取りを有する複合現実環境でカメラの焦点を設定するように本技法を実装するために使用され得る、スマートフォン又はタブレットコンピュータなどの演算装置の例示的なアーキテクチャの概略ブロック図である。
【図25】[0023]複合現実ＨＭＤ装置の例示的な例の絵画的な図である。
【図26】[0024]複合現実ＨＭＤ装置の例示的な例のブロック図である。
【発明を実施するための形態】
【0006】
[0025] 同様の参照符号は、図面において同様の要素を示す。要素は、そうでない旨が示されない限り、正確な縮尺で描かれていない。
【0007】
詳細な説明
[0026] 図１は、様々なユーザー体験を可能にするために、現実世界要素と、コンピュータ生成された仮想オブジェクトとを組み合わせる、ＨＭＤ装置１１０上でサポートされる例示的な複合現実環境１００を示す。ユーザー１０５は、シースルー複合現実表示システム上に仮想的にレンダリングされ、且ついくつかの実装形態ではオーディオ及び／又は触覚／触感を含み得る複合現実環境１００を体験するためにＨＭＤ装置１１０を利用することができる。この特定の非限定的な例では、ＨＭＤ装置ユーザーは、様々な建物、店舗などを有する都市の通りを含む現実世界都市のエリアを物理的に歩行する。ＨＭＤ装置によって提供される現実世界都市空間のシースルー複合現実表示システムのユーザーの視点からの（図１で破線によって表される）視野（ＦＯＶ）は、ユーザーが環境を通して移動することに伴って変化し、及び装置は、現実世界視野上にホログラフィック仮想オブジェクトをレンダリングすることができる。ここで、ホログラムは、会社を識別するタグ１１５、環境内の関心のある場所への道順１２０及びギフトボックス１２５を含む様々な仮想オブジェクトを含む。ＦＯＶ内の仮想オブジェクトは、複合現実体験を生成するために、３次元（３Ｄ）物理環境内の現実オブジェクトと共に共存する。仮想オブジェクトは、歩道上のギフトボックスなど、現実世界の物理環境との関係で位置決めすることもできるし、ユーザーに伴って移動する方向など、ユーザーとの関係で位置決めすることもできる。
[0026] 図１は、様々なユーザー体験を可能にするために、現実世界要素と、コンピュータ生成された仮想オブジェクトとを組み合わせる、ＨＭＤ装置１１０上でサポートされる例示的な複合現実環境１００を示す。ユーザー１０５は、シースルー複合現実表示システム上に仮想的にレンダリングされ、且ついくつかの実装形態ではオーディオ及び／又は触覚／触感を含み得る複合現実環境１００を体験するためにＨＭＤ装置１１０を利用することができる。この特定の非限定的な例では、ＨＭＤ装置ユーザーは、様々な建物、店舗などを有する都市の通りを含む現実世界都市のエリアを物理的に歩行する。ＨＭＤ装置によって提供される現実世界都市空間のシースルー複合現実表示システムのユーザーの視点からの（図１で破線によって表される）視野（ＦＯＶ）は、ユーザーが環境を通して移動することに伴って変化し、及び装置は、現実世界視野上にホログラフィック仮想オブジェクトをレンダリングすることができる。ここで、ホログラムは、会社を識別するタグ１１５、環境内の関心のある場所への道順１２０及びギフトボックス１２５を含む様々な仮想オブジェクトを含む。ＦＯＶ内の仮想オブジェクトは、複合現実体験を生成するために、３次元（３Ｄ）物理環境内の現実オブジェクトと共に共存する。仮想オブジェクトは、歩道上のギフトボックスなど、現実世界の物理環境との関係で位置決めすることもできるし、ユーザーに伴って移動する方向など、ユーザーとの関係で位置決めすることもできる。
【0008】
[0027] 図２は、ローカル及びリモートＨＭＤ装置が互いに且つリモートサービス２１５とネットワーク２２０上で通信し得る例示的な環境を示す。ネットワークは、演算装置間の通信を可能にするために様々なネットワーク接続装置から構成され得、且つローカルエリアネットワーク、ワイドエリアネットワーク、インターネット、ワールドワイドウェブなどの任意の１つ又は複数を含み得る。いくつかの実施形態では、装置間のアドホック（例えば、ピアツーピア）ネットワークは、破線矢印２２５によって代表的に示されるように、例えばWi-Fi、Bluetooth（登録商標）又は近距離通信（ＮＦＣ）を使用することにより生成することができる。ローカルユーザー１０５は、個々のリモートユーザー２０５によって操作されるリモートＨＭＤ装置２１０と通信し得るローカルＨＭＤ装置１１０を操作することができる。ＨＭＤ装置は、通常のコンピュータ（例えば、パーソナルコンピュータ、スマートフォン、タブレットコンピュータなど）のように様々なタスクを実行することができ、且つＨＭＤ装置の構成に基づいて更なるタスクを実行することもできる。タスクは、他のタスクのなかでも、電子メール又は他のメッセージの送信、ウェブのサーチ、写真又はビデオの送信、ホログラムとのやり取り、カメラを使用した周囲の物理環境のライブストリームの送信を含み得る。
【0009】
[0028] ＨＭＤ装置１１０及び２１０は、リモートサービス２１５などのリモート演算装置及びサービスと通信することができる。リモートサービスは、例えば、ＨＭＤ装置が、人工知能（ＡＩ）処理、データストレージ、データ分析などのリモートサービスによって提供される様々な解決策を活用することを可能にし得るデータセンタ内にセットアップされたクラウド演算プラットフォームであり得る。図２は、ＨＭＤ装置及びサーバーも示すが、ＨＭＤ装置は、スマートフォン、タブレットコンピュータ、ラップトップ、パーソナルコンピュータ及びこれらに類似したもの（図示されていない）などの他のタイプの演算装置と通信することもできる。例えば、ローカルＨＭＤ装置上で実装されるユーザー体験は、後述するように、リモートユーザーと共有することができる。ローカルユーザーがそのＨＭＤ装置上で観察する複合現実シーンの画像及びビデオは、サウンド及び他の体験要素と共に、リモート場所においてラップトップコンピュータ上で受け取ることができ、且つレンダリングすることができる。
【0010】
[0029] 図３は、ローカルＨＭＤ装置１１０などのＨＭＤ装置の例示的なシステムアーキテクチャを示す。図３には、様々なコンポーネントが描かれるが、列挙されるコンポーネントは、すべてを網羅したものではなく、且つ全地球測位システム（ＧＰＳ）、他の入出力装置（キーボード及びマウス）などのＨＭＤ装置の機能を促進する図示されてはない他のコンポーネントも可能である。ＨＭＤ装置は、中央処理ユニット（ＣＰＵ）、グラフィクス処理ユニット（ＧＰＵ）及び人工知能（ＡＩ）処理ユニットなどの１つ又は複数のプロセッサ３０５を有することができる。ＨＭＤ装置は、プロセッサ３０５によって実行可能であるデータ及び命令を保存し得るメモリ３１０を有することができる。メモリは、ランダムアクセスメモリ（ＲＡＭ）のような短期メモリ装置を含むことができ、且つフラッシュストレージ及び半導体ドライブ（ＳＳＤ）のような長期メモリ装置を更に含むことができる。
【0011】
[0030] ＨＭＤ装置１１０は、ユーザーがＨＭＤ装置とやり取りし得るように、様々なコンポーネントから構成されたＩ／Ｏ（入力／出力）システム３７０を含むことができる。例示的な且つすべてを網羅しないコンポーネントは、スピーカ３８０、ジェスチャサブシステム３８５及びマイクロフォン３９０を含む。矢印３８２によって代表的に示されるように、ジェスチャサブシステムは、ユーザーの手に関する深度データを集め、且つそれによりＨＭＤ装置が手の追跡を実行することを可能にし得る深度センサ３２０と相互運用することができる。
【0012】
[0031] 深度センサ３２０は、手に関する集められたデータを、ユーザーの手の動き及びジェスチャと関連する動作を取り扱うジェスチャサブシステム３８５に伝達することができる。ユーザーは、他のやり取りのなかでも、ホログラムの移動、ホログラムの選択、（例えば、ピンチモーションによる）ホログラムの縮小又は拡大などのＨＭＤ装置のディスプレイ上のホログラムとのやり取りを有することができる。ユーザーが制御し得る例示的なホログラムは、他のホログラムのなかでも、ボタン、メニュー、画像、ウェブに基づくサーチからの結果及びキャラクタフィギュアを含む。
【0013】
[0032] シースルー複合現実表示システム３５０は、マイクロディスプレイ又はイメージャ３５５と、ＨＭＤ装置１１０上に仮想オブジェクトをレンダリングするために表面レリーフ格子を使用する導波路に基づくディスプレイなどの複合現実ディスプレイ３６５とを含み得る。プロセッサ３０５（例えば、画像プロセッサ）は、画像がライトエンジン及び導波路ディスプレイ３６５を使用して表示され得るように、ビデオデータなどの画像データを提供するためにイメージャ３５５に動作可能に接続され得る。いくつかの実装形態では、複合現実ディスプレイは、射出瞳拡大装置（ＥＰＥ）（図示されていない）を含むニアアイディスプレイとして構成することができる。
【0014】
[0033] ＨＭＤ装置１１０は、複合現実環境内への統合型及び没入型の体験をユーザーに提供するために、多くのタイプのセンサ３１５を含み得る。深度センサ３２０及び写真／ビデオ（ＰＶ）カメラ３２５は、図示される例示的なセンサであるが、赤外線センサ、圧力センサ、モーションセンサなどの図示されていない他のセンサも可能である。深度センサは、構造化された光、受動型のステレオ、能動型のステレオ、飛行時間、パルス化飛行時間、フェイズド飛行時間又は光検出及び測距（ＬＩＤＡＲ）などの様々なタイプの深度検知技法を使用して動作することができる。通常、深度センサは、ＩＲ（赤外）光源と共に動作するが、いくつかのセンサは、ＲＧＢ（赤、緑、青）光源と共に動作し得る。一般に、深度センサは、ターゲットまでの距離を検知し、且つポイントクラウド表現を使用してターゲット又は物理環境の外部表面プロパティを表す画像を構築する。ポイントクラウドデータのポイント又は構造は、ローカルに、リモートサービスにおいて又はこれらの組合せでメモリ内に保存することができる。
【0015】
[0034] ＰＶカメラ３２５は、画像をキャプチャするか、ユーザーを取り囲む物理環境のビデオを記録するか、又はコンテンツをＨＭＤ装置１１０からリモートＨＭＤ装置２１０若しくは他の演算装置（例えば、タブレット若しくはパーソナルコンピュータ）などのリモート演算装置に送信するために、調整可能な焦点を有するように構成することができる。ＰＶカメラは、ＨＭＤ装置が動作する３次元（３Ｄ）物理空間内でシーンをキャプチャするためのＲＧＢカメラとして実装することができる。
【0016】
[0035] ＨＭＤ装置と関連するカメラサブシステム３３０は、少なくとも部分的にＰＶカメラのために使用され得、且つ自動露出サブシステム３３５、自動バランスサブシステム３４０及びオートフォーカスサブシステム３４５を含み得る。自動露出サブシステムは、カメラセンサに到達した光の量に従って画像の輝度の自動的な調節を実行することができる。自動バランスサブシステムは、白色が適切に表示されるように、照明に基づいて色差を自動的に補正することができる。オートフォーカスサブシステムは、ＰＶカメラのレンズを合焦することにより、キャプチャ及びレンダリングされた画像がシャープな状態にあることを保証することができ、これは、通常、画像センサとの関係におけるレンズの機械的移動によって実装される。
【0017】
[0036] 合成生成器３９５は、ＰＶカメラ３２５によってキャプチャされた物理世界のシーンと、ＨＭＤ装置によって生成された仮想オブジェクトの画像とを組み合わせた合成コンテンツを生成する。合成コンテンツは、記録することができるか、又はＨＭＤ装置、パーソナルコンピュータ、ラップトップ、タブレット、スマートフォン及びこれらに類似したものなどのリモート演算装置に送信することができる。通常の実装形態では、画像は、仮想オブジェクトの非ホログラフィック２Ｄ表現である。但し、代替的な実装形態では、データは、ホログラフィックコンテンツのリモートレンダリングを可能にするために、ローカルＨＭＤ装置からリモートＨＭＤ装置に送信することができる。
【0018】
[0037] 通信モジュール３７５は、リモートＨＭＤ装置２１０、リモートサービス２１５又は他の演算装置などの外部装置と情報を送受信するために使用することができる。通信モジュールは、例えば、ルーター若しくは類似のネットワーク接続装置との無線通信のためのネットワークインターフェイスコントローラ（ＮＩＣ）又はWi-Fi、Bluetooth（商標）若しくは近距離通信（ＮＦＣ）送信の１つ若しくは複数をサポートする無線機を含むことができる。
【0019】
[0038] 図４及び図５は、ユーザー１０５が、ＨＭＤ装置上のシースルー複合現実表示システムを通して、ユーザーによって観察可能であるホログラフィック仮想オブジェクトとやり取りする例示的な物理環境を示す（この例示的な例におけるホログラフィック仮想オブジェクトは、ＨＭＤ装置を通してのみ見ることができ、且つ例えば裸眼によって見ることを許容するために自由空間内に投影することができないことに留意されたい）。図４では、仮想オブジェクトは、垂直方向に方向付けされたパネル４０５及び円筒形オブジェクト４１０を含む。図５では、仮想オブジェクトは、水平方向に方向付けされた仮想建物モデル５０５を含む。仮想オブジェクトは、植物４１５及び写真４２０を含む物理環境の３Ｄ空間との関係で様々な場所に位置決めされる。ラベルが付与されていないが、床、壁又はドアも現実の物理環境の一部分である。
【0020】
[0039] 図６は、ＨＭＤ装置のユーザーの視点からのシースルーディスプレイを使用して見られる例示的な複合現実シーンの視野（ＦＯＶ）６０５を示す。ユーザー１０５は、物理世界の一部分並びにローカルＨＭＤ装置１１０によって生成された仮想オブジェクト４０５及び４１０のホログラムを観察することができる。ホログラムは、物理環境内の任意の場所に位置決めされ得るが、通常、例えばユーザーが適合的眼球離反運動の不一致から不快になることを極小化するために、ユーザーから５０センチメートル～５メートルに配置される。ユーザーは、通常、図９～図１１に示されるように且つ添付の文章に記述されるように、上下、左右及び内外の手のモーションの混合を使用してホログラムとやり取りする。やり取りは、いくつかの実装形態では、レンダリングされたホログラムの場所から離れたある程度の空間距離で発生し得る。例えば、仮想オブジェクト上に露出した仮想ボタンは、オブジェクトから離れた所定の距離でタッピングジェスチャを実施することにより、ユーザーによって押すことができる。所与の実装形態で利用される特定のユーザー－ホログラム間のやり取りは、変化し得る。
【0021】
[0040] 図７は、リモートユーザー２０５が、ローカルユーザーのＨＭＤ装置１１０からコンテンツ７１０をレンダリングするリモートタブレット装置７０５を操作する例示的な環境を示す。この例では、レンダリングは、ローカルＨＭＤ装置上のＰＶカメラによってキャプチャされたローカルユーザーの物理環境のシーンと、仮想オブジェクト４０５及び４１０の２Ｄ非ホログラフィックレンダリングとを含む合成コンテンツを含む。図８に示されるように、合成レンダリング８０５は、ローカルユーザーがローカルＨＭＤ装置上のシースルー複合現実ディスプレイを通して見るものと実質的に類似する。従って、リモートユーザーは、仮想オブジェクト４０５とやり取りするローカルユーザーの手並びにプラント、壁、写真及びドアを含む周囲の物理環境の一部分を観察することができる。リモート装置７０５における受け取られたコンテンツは、リアルタイムでストリーミングされるスチール画像及び／又はビデオを含むことができるか、又は記録されたコンテンツを含むことができる。いくつかの実装形態では、受け取られたコンテンツは、３Ｄホログラフィックコンテンツのリモートレンダリングを可能にするデータを含むことができる。
【0022】
[0041] 図９～図１１は、ローカルＨＭＤ装置１１０を操作しながらローカルユーザー１０５によって実施され得る例示的な手のモーション及びジェスチャを示す。図９は、符号９０５によって代表的に示されるように、ユーザーが仮想オブジェクト４０５を操作する際の、ユーザーの垂直方向（例えば、上方及び下方）の手の動きを示す。図１０は、符号１００５によって代表的に示されるように、仮想オブジェクト４０５を操作するためのユーザーの水平方向（例えば、左から右）の手の動きを示す。図１１は、符号１１０５によって代表的に示されるように、例えば「ブルーム」ジェスチャを実行することにより、複合現実空間内でのユーザーの出入りの動きを示す。ユーザーがローカルＨＭＤ装置を動作させる間、円形動き、定形動き、ユーザーの指を操作することを含む様々な手のジェスチャなど、図９～図１１に示されていない他の方向性動きも可能である。
【0023】
[0042] 図１２及び図１３は、水平方向及び垂直方向の視野（ＦＯＶ）を表す例示的な球面座標系を示す。通常の実装形態では、球面座標系は、物理環境内のポイントを調整するために、ユーザーから３Ｄ空間内のポイントまでの半径距離、ユーザーから３Ｄ空間内のポイントまでの方位角及びユーザーと３Ｄ空間内のポイント間の極角（又は海抜／高度）を使用することができる。図１２は、様々なセンサ、ディスプレイ及びローカルＨＭＤ装置１１０内のコンポーネントと関連する水平方向ＦＯＶを描いたユーザーの俯瞰図を示す。水平方向ＦＯＶは、その原点が例えばユーザーの眼間のＨＭＤ距離に配置された状態において、地面に平行に延在する軸を有する。異なるコンポーネントは、異なる角度の水平方向ＦＯＶαhを有することができ、これらは、通常、ユーザーの人間両眼ＦＯＶとの関係で相対的に狭い。図１３は、様々なセンサ、ディスプレイ及びローカルＨＭＤ装置内のコンポーネントと関連する垂直方向ＦＯＶαvを描いたユーザーの側面図を示し、ここで、垂直方向ＦＯＶ軸は、地面に垂直に延在し、且つＨＭＤ装置に原点を有する。ＨＭＤ装置内のコンポーネントの角度を有する垂直方向ＦＯＶも変化し得る。
【0024】
[0043] 図１４は、例示的な関心領域（ＲＯＩ）１４０５が示される例示的なＨＭＤ装置ＦＯＶ６０５を示す。ＲＯＩは、ＨＭＤ装置１１０のオートフォーカスサブシステムが手の動き又はジェスチャに対して合焦するかどうかを判定する際に利用し得るＨＭＤ装置ＦＯＶ６０５（図６）内の静的又は動的に定義された領域である。図１４に表示されるＲＯＩは、例示を目的としたものに過ぎず、通常の実装形態では、ユーザーは、ローカルＨＭＤ装置上のシースルー複合現実ディスプレイ上のコンテンツを見ている間にＲＯＩを認識しない。
【0025】
[0044] ＲＯＩ１４０５は、球面又は直交座標を使用して表現され得る３Ｄ空間領域として実装することができる。球面座標系を使用することにより、ＲＯＩは、いくつかの実装形態では、ユーザーからの計測された距離及び距離が方位角及び極角に対して有する影響に従って動的なものであり得る。通常、ＲＯＩは、ユーザーが注視する場所になる可能性が高いことから、表示システムＦＯＶの中央領域に配置され得るが、ＲＯＩは、中心から外れた場所などの表示システムＦＯＶ内の任意の場所に存在し得る。ＲＯＩは、ＦＯＶとの関係で静的な場所、サイズ及び形状を有し得るか、又はいくつかの実施形態では動的に配置、サイズ設定及び成形することもできる。従って、ＲＯＩは、実装形態に応じて、任意の静的又は動的な２Ｄ形状又は３Ｄ容積であり得る。仮想オブジェクトのホログラムとのやり取り中、図１４のユーザー１０５の手は、球面座標の組によって定義されるＲＯＩ内に配置することができる。
【0026】
[0045] 図１５は、データがカメラサブシステム３３０のオートフォーカスサブシステム３４５内に供給される例示的な図を示す。オートフォーカスサブシステムは、このデータを集合的に利用することにより、レンダリングされたホログラフィック仮想オブジェクトとのやり取り中、手の動きによって生成されるオートフォーカスハンチング現象を低減するようにオートフォーカス動作を制御する。
【0027】
[0046]オートフォーカスサブシステム内に供給されるデータは、ＰＶカメラ３２５及び深度センサ３２０又は他の前方を向いたセンサ１５２５からの物理環境を表すデータを含む。前方を向いたセンサからのデータは、深度センサ３２０によってキャプチャされた際の深度データを含み得るが、ユーザーの周囲の物理環境をキャプチャするために他のセンサを利用することもできる。従って、前方を向いたセンサ１５２５という用語は、本明細書では、物理環境をキャプチャする深度センサ、カメラ又は他のセンサの１つ又は複数のものの利用と、以下で更に詳述されるようにユーザーの手の動き及びジェスチャとを反映するために利用される。
【0028】
[0047] 図１６は、符号１６０５によって代表的に示されるように、物理環境から、深度データなどの前方を向いたセンサ１５２５によってピックアップされ、集められ得る例示的な項目の分類を示す。前方を向いたセンサ１５２５によってピックアップされ得る項目は、他のオブジェクトのなかでも、ユーザーの手１６１０、物理的な現実世界オブジェクト（例えば、椅子、ベッド、カウチ、テーブル）１６１５、人１６２０、構造（例えば、壁、床）１６２５を含み得る。前方を向いたセンサは、集められたデータからオブジェクトを認識できても又はできなくてもよいが、収集されたデータに基づいて環境の空間的マッピングを実行することができる。但し、ＨＭＤ装置は、ジェスチャ入力を可能にし、且つ本明細書で記述されるオートフォーカス動作に更に影響を及ぼすために、手を検出及び認識するように構成することができる。オートフォーカスサブシステムに送信される、図１５に示されるキャプチャされたデータは、以下で更に詳述するように、ＨＭＤ装置のユーザーと関連する手のデータを含む。
【0029】
[0048] 図１７は、オートフォーカスサブシステム３４５が、（例えば、コンテンツのストリーミング、ビデオの記録又は画像のキャプチャのために）コンテンツ１７０５の記録されたフレームを受け取り、且つキャプチャされた手のデータを使用してコンテンツのフレームに自動合焦する例示的な図を示す。オートフォーカスサブシステムは、ＨＭＤ装置がオートフォーカス動作をトリガするか又は抑制するかについて、満たされるか又は満たされないかに基づいて決定する１つ又は複数の基準を有するように構成することができる。
【0030】
[0049] オートフォーカス動作は、ディスプレイＦＯＶ（図１４）のＲＯＩ内のコンテンツに自動的に合焦するオートフォーカスサブシステムを含むことができる。基準を満たすことは、例えば、ユーザーが、ユーザーがその手をはっきりと見ることを所望する方式でその手を使用しており、手がＲＯＩ内のユーザーの焦点となっていることを示し得る。例えば、ユーザーがＲＯＩ内のホログラムとやり取りする場合、オートフォーカスサブシステムは、ユーザーの手に合焦することを所望しない場合があり、なぜなら、ユーザーの手は、ホログラムを制御するために通過する際に使用されるが、依然としてホログラムがユーザーの主要な関心のポイントであるからである。他の実施形態では、ユーザーの手は、ＲＯＩに一時的なものである場合があり、それにより合焦のための関心のポイントではない場合がある。逆に、ユーザーが、新しいホログラムを生成するため又はメニューを開くためなど、ホログラムとは別個の方式によってその手を使用する場合、オートフォーカスサブシステムは、ユーザーの手に合焦するように選択することができる。設定された基準は、ユーザーの手にスマートに合焦するか又は合焦しないように、オートフォーカスサブシステムに支援を提供し、それによりハンチング現象を低減し、リモートユーザーのためのライブストリーミング又はローカルユーザーのための再生時、記録されたコンテンツの品質を向上させる。要するに、基準の実装は、ユーザーの手がＦＯＶ内でユーザーにとっての関心のポイントであるかどうかを判定することを支援する。
【0031】
[0050] ステップ１７１０では、オートフォーカスサブシステムは、１つ又は複数の手がＲＯＩ内に存在するか否かを判定する。オートフォーカスサブシステムは、深度センサ３２０又は別の前方を向いたセンサ１５２５から手に関するデータを取得することができる。集められたデータは、ＲＯＩとの関係でユーザーの物理的な手の場所を評価するために、ディスプレイＦＯＶ上の対応する場所に対して調整することができる。これは、フレームごと又はフレームのグループを使用することにより実行することができる。
【0032】
[0051] ステップ１７１５では、ユーザーの手の１つ又は複数がＲＯＩに存在しない場合、オートフォーカスサブシステムは、ＲＯＩ内で検出された環境に自動合焦することにより、通常通り動作することを継続する。ステップ１７２０では、１つ又は複数の手がＲＯＩ内で検出された場合、オートフォーカスサブシステムは、手の特性が、ユーザーがホログラムとやり取りしていることを示しているか、又はユーザーの手が関心のポイントではないことを示しているかを判定する。ステップ１７３０では、ユーザーの手が関心のポイントであると判定された場合、オートフォーカスサブシステムは、ＲＯＩ内のコンテンツに対するカメラのオートフォーカス動作をトリガする。ステップ１７２５では、ユーザーの手が関心のポイントでないと判定された場合、オートフォーカスサブシステムは、カメラのオートフォーカス動作を抑制する。
【0033】
[0052] 図１８は、符号１８０５によって代表的に示されるように、オートフォーカス動作をトリガするか又は無効化するかを判定するためにオートフォーカスサブシステムによって使用される例示的な手の特性の分類を示す。特性は、ＲＯＩ１８１０内の及び周囲の手の動きのペースを含むことができ、これを使用することにより、オートフォーカスサブシステムは、キャプチャされた手のデータが、手のペースが予め設定される速度限度（例えば、メートル／秒を単位としたもの）を満たすか若しくは超過するか、又は満たさないか若しくは超過しないことを示す場合、焦点動作をトリガ又は抑制する。従って、例えば、手のデータが、手のペースが予め設定される速度限度を満たすことを示すとき、ＲＯＩ内に手が存在する場合でも、オートフォーカス動作を抑制することができる。これにより、ユーザーが前方を向いたセンサの前でその手を散発的に動かしたり手が一時的なものである場合に、レンズがハンチング現象に陥ることを防止する。
【0034】
[0053] オートフォーカス動作をトリガするか又は無効化するかに影響を及ぼし得る別の特性は、１つ又は複数の手がＲＯＩ内に位置決めされ、且つ（例えば、ＲＯＩの特定の領域内に）静的に配置される持続時間１８１５を含む。オートフォーカス動作は、１つ又は複数の手が、予め設定された閾値限度（例えば、３秒）を満たす持続時間にわたって静的に配置されない場合、無効化することができる。逆に、オートフォーカス動作は、１つ又は複数の手が、予め設定された閾値時間限度を満たす持続時間にわたってＲＯＩ内又はＲＯＩの領域内に静的に配置される際に実行することができる。
【0035】
[0054] オートフォーカス動作をトリガするか又は無効化するかを判定するために、検出された手のサイズ１８２０を利用することもできる。オートフォーカスサブシステムの判定における基準としてユーザーの手のサイズを使用することは、例えば、別のユーザーの手がオートフォーカス動作に影響を及ぼすことの防止を支援し得る。ユーザーの手のポーズ（例えば、手のポーズが装置入力を示すかどうか）１８２５は、オートフォーカス動作をトリガするか又は抑制するかを判定するために、オートフォーカスサブシステムによって使用することができる。例えば、特定のポーズは、無関係の又は散発的な手の動きであり得る一方、いくつかの手のポーズは、入力のために使用され得るか、又はユーザーが何かを指し示すものとして認識され得る。生産的なものであるとして識別される手のポーズは、オートフォーカスサブシステムがユーザーの手に合焦する理由であり得る。
【0036】
[0055] モーションの方向（例えば、前後、左右、内外、対角方向など）１８３０は、オートフォーカス動作をトリガするか又は抑制するかを判定するために利用することができる。ユーザーのいずれの手（例えば、左又は右手）が、前方を向いたセンサＦＯＶ内で検出されるか１８３５及び手のいずれの部分が検出されるか１８４０も、オートフォーカス動作をトリガするか又は抑制するかを判定する際に使用することができる。例えば、１つの手は、ＲＯＩ内のユーザーの関心のポイントについて相対的に大きい決定力を有することができる。例えば、ユーザーは、通常、ホログラムとやり取りするために１つの手を使用する場合があり、且つ従って、その手は、必ずしも関心のポイントではない。対照的に、反対の手は、メニューを開くために使用され得るか、複合現実空間内でポインタとして使用され得るか、又はさもなければユーザーにとっての関心のポイントである。図示されていない他の特性１８４５も、オートフォーカス動作をトリガするか又は抑制するかを判定する際に基準として使用することができる。
【0037】
[0056] 図１９～図２１は、ローカルＨＭＤ装置１１０又は他の適切な演算装置を使用して実行され得る例示的な方法１９００、２０００及び２１００のフローチャートである。具体的に記述されない限り、フローチャートで示され、且つ添付の文章に記述される方法又はステップは、特定の順序又はシーケンスに制約されない。加えて、方法又はそのステップのいくつかは、同時に発生するか又は実行され得、このような実装形態の要件に応じて、すべての方法又はステップが所与の実装形態で実行されることは、必須ではなく、且つ任意選択によりいくつかの方法又はステップを利用することができる。
【0038】
[0057] 図１９のステップ１９０５では、ローカルＨＭＤ装置は、視野（ＦＯＶ）上でローカルＨＭＤ装置を取り囲んでいるローカル物理環境内のシーンをキャプチャするように構成されたカメラのオートフォーカス動作を有効にする。ステップ１９１０では、ローカルＨＭＤ装置は、センサの組を使用して、ユーザーの手に関するデータを収集する。ステップ１９１５では、ローカルＨＭＤ装置は、ユーザーの手がオートフォーカスサブシステムの１つ又は複数の基準を満たさない場合、収集されたデータに基づいてカメラのオートフォーカス動作を抑制する。
【0039】
[0058] 図２０のステップ２００５では、演算装置は、物理環境内で演算装置を使用する間、ユーザーの１つ又は複数の手を追跡するためにデータをキャプチャする。ステップ２０１０では、演算装置は、演算装置の視野（ＦＯＶ）内で関心領域（ＲＯＩ）を選択する。ステップ２０１５では、演算装置は、キャプチャされた手追跡データから、ユーザーの１つ又は複数の手の一部分がＲＯＩ内に配置されるかどうかを判定する。ステップ２０２０では、演算装置は、シーンをキャプチャするように構成される、演算装置上に配設されたカメラのオートフォーカス動作をトリガ又は無効化する。
【0040】
[0059] 図２１のステップ２１０５では、演算装置は、ディスプレイ上に少なくとも１つのホログラムをレンダリングし、ホログラムは、既知の場所で物理環境内に配置された仮想オブジェクトを含む。ステップ２１１０では、演算装置は、深度センサを使用することにより、物理環境内のユーザーの１つ又は複数の手の場所追跡データをキャプチャする。ステップ２１１５では、演算装置は、場所追跡データから、ユーザーの１つ又は複数の手が既知の場所でホログラムとやり取りしているかどうかを判定する。ステップ２１２０では、演算装置は、ユーザーの１つ又は複数の手がホログラムとやり取りしていないという判定に応答して、オートフォーカスサブシステムの動作をトリガする。ステップ２１２５では、演算装置は、ユーザーの１つ又は複数の手がホログラムとやり取りしているという判定に応答して、オートフォーカスサブシステムの動作を抑制する。
【0041】
[0060] 図２２は、手のジェスチャのやり取りを有する複合現実環境でカメラの焦点を設定する本技法が実装され得るＰＣ（パーソナルコンピュータ）又はサーバーなどの例示的なコンピュータシステム２２００の概略ブロック図である。例えば、ＨＭＤ装置１１０は、コンピュータシステム２２００と通信することができる。コンピュータシステム２２００は、プロセッサ２２０５、システムメモリ２２１１及びシステムメモリ２２１１を含む様々なシステムコンポーネントをプロセッサ２２０５に結合するシステムバス２２１４を含む。システムバス２２１４は、メモリバス若しくはメモリコントローラ、周辺バス又は様々なバスアーキテクチャの任意のものを使用するローカルバスを含むバス構造のいくつかのタイプの任意のものであり得る。システムメモリ２２１１は、読み出し専用メモリ（ＲＯＭ）２２１７及びランダムアクセスメモリ（ＲＡＭ）２２２１を含む。スタートアップ時などのコンピュータシステム２２００内の要素間の情報の転送を支援する基本ルーチンを収容する基本入出力システム（ＢＩＯＳ）２２２５は、ＲＯＭ２２１７内に保存される。コンピュータシステム２２００は、内部に配設されたハードディスク（図示されていない）と読取り及び書込みを実行するハードディスクドライブ２２２８、着脱可能の磁気ディスク２２３３（例えば、フロッピーディスク）と読取り及び書込みを実行する磁気ディスクドライブ２２３０並びにＣＤ（コンパクトディスク）、ＤＶＤ（デジタル多用途ディスク）又は他の光学媒体などの着脱可能の光ディスク２２４３と読取り又は書き込みを実行する光ディスクドライブ２２３８を更に含むことができる。ハードディスクドライブ２２２８、磁気ディスクドライブ２２３０及び光ディスクドライブ２２３８は、ハードディスクドライブインターフェイス２２４６、磁気ディスクドライブインターフェイス２２４９及び光ドライブインターフェイス２２５２により、それぞれシステムバス２２１４に接続される。ドライブ及びその関連するコンピュータ可読ストレージ媒体は、コンピュータ可読命令、データ構造、プログラムモジュール及びコンピュータシステム２２００のための他のデータの不揮発性の保存を提供する。この例示的な例は、ハードディスク、着脱可能の磁気ディスク２２３３及び着脱可能の光ディスク２２４３を含むが、手のジェスチャのやり取りを有する複合現実環境内でカメラの焦点を設定するために、磁気カセット、フラッシュメモリカード、デジタルビデオディスク、データカートリッジ、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）及びこれらに類似したものなどのコンピュータによってアクセス可能であるデータを保存し得る他のタイプのコンピュータ可読ストレージ媒体を本技法のいくつかの用途で使用することもできる。加えて、本明細書で使用される「コンピュータ可読ストレージ媒体」という用語は、１つ又は複数の媒体タイプの例（例えば、１つ又は複数の磁気ディスク、１つ又は複数のＣＤなど）を含む。本明細書及び請求項を目的として、「コンピュータ可読ストレージ媒体」という語句及びその変形は、非一時的実施形態を包含するように意図され、且つ波、信号及び／又は他の一時的な及び／又は有体ではない通信媒体を含まない。
【0042】
[0061] オペレーティングシステム２２５５、１つ又は複数のアプリケーションプログラム２２５７、他のプログラムモジュール２２６０及びプログラムデータ２２６３を含むいくつかのプログラムモジュールは、ハードディスク、磁気ディスク２２３３、光ディスク２２４３、ＲＯＭ２２１７又はＲＡＭ２２２１上に保存することができる。ユーザーは、キーボード２２６６などの入力装置及びマウスなどのポインティング装置２２６８を通してコマンド及び情報をコンピュータシステム２２００に入力することができる。他の入力装置（図示されていない）は、マイクロフォン、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、スキャナ、トラックボール、タッチパッド、タッチスクリーン、接触感知装置、音声コマンドモジュール又は装置、ユーザーモーション又はユーザージェスチャキャプチャ装置又はこれらに類似したものを含むことができる。これら及び他の入力装置は、多くの場合、システムバス２２１４に結合されたシリアルポートインターフェイス２２７１を通してプロセッサ２２０５に接続されるが、パラレルポート、ゲームポート又はユニバーサルシリアルバス（ＵＳＢ）などの他のインターフェイスによって接続することもできる。モニタ２２７３又は他のタイプのディスプレイ装置もビデオアダプタ２２７５などのインターフェイスを介してシステムバス２２１４に接続される。モニタ２２７３に加えて、パーソナルコンピュータは、通常、スピーカ及びプリンタなどの他の周辺出力装置（図示されていない）も含む。図２２に示される例示的な例は、ホストアダプタ２２７８、スモールコンピュータシステムインターフェイス（ＳＣＳＩ）バス２２８３及びＳＣＳＩバス２２８３に接続された外部ストレージ装置２２７６も含む。
【0043】
[0062] コンピュータシステム２２００は、リモートコンピュータ２２８８などの１つ又は複数のリモートコンピュータに対する論理的接続を使用してネットワーク接続された環境で動作可能である。リモートコンピュータ２２８８は、別のパーソナルコンピュータ、サーバー、ルーター、ネットワークＰＣ、ピア装置又は他の一般的なネットワークノードとして選択され得、通常、コンピュータシステム２２００との関係で上述の要素の多く又はすべてを含むが、図２２には、単一の代表的なリモートメモリ／ストレージ装置２２９０のみが示される。図２２に描かれる論理的接続は、ローカルエリアネットワーク（ＬＡＮ）２２９３及びワイドエリアネットワーク（ＷＡＮ）２２９５を含む。このようなネットワーク接続環境は、多くの場合、例えば事務所、企業レベルのコンピュータネットワーク、イントラネット及びインターネットに配備される。
【0044】
[0063] ＬＡＮネットワーク接続環境で使用される際、コンピュータシステム２２００は、ネットワークインターフェイス又はアダプタ２２９６を通してローカルエリアネットワーク２２９３に接続される。ＷＡＮネットワーク接続環境で使用される際、コンピュータシステム２２００は、通常、広帯域モデム２２９８、ネットワークゲートウェイ又はインターネットなどのワイドエリアネットワーク２２９５上で通信を確立する他の手段を含む。内部又は外部のものであり得る広帯域モデム２２９８がシリアルポートインターフェイス２２７１を介してシステムバス２２１４に接続される。ネットワーク接続された環境では、コンピュータシステム２２００又はその一部分に関係するプログラムモジュールは、リモートメモリストレージ装置２２９０内に保存することができる。図２２に示されるネットワーク接続は、例示を目的とし、且つ手のジェスチャのやり取りを有する複合現実環境でカメラの焦点を設定するために、本技法の適用の特定の要件に応じて、コンピュータ間の通信リンクを確立する他の手段が使用され得ることに留意されたい。
【0045】
[0064] 図２３は、手のジェスチャのやり取りを有する複合現実環境でカメラの焦点を設定するように本技法を実装するために使用され得る、クラウド演算サービス又は分散型演算サービスを提供する例示的なデータセンタ２３００の高レベルのブロック図である。例えば、ＨＭＤ装置１０５は、受信ストリーミングコンテンツなどのデータセンタ２３００によって提供される解決策を利用することができる。複数のサーバー２３０１がデータセンタ管理コントローラ２３０２によって管理される。負荷バランサ２３０３は、単一サーバーが圧倒された状態になり得る状況を回避するために、サーバー２３０１上で要求及び演算の作業負荷を分散させる。負荷バランサ２３０３は、データセンタ２３００内のリソースの利用可能な容量及び性能を極大化させる。ルーター／スイッチ２３０４は、外部ネットワーク２３０５を介したサーバー２３０１間及びデータセンタ２３００と外部リソース及びユーザー（図示されていない）との間のデータトラフィックをサポートし、外部ネットワーク２３０５は、例えば、ローカルエリアネットワーク（ＬＡＮ）又はインターネットであり得る。
【0046】
[0065] サーバー２３０１は、スタンドアロン演算装置であり得、及び／又はこれらは、１つ又は複数のサーバー装置のラック内の個々のブレードとして構成され得る。サーバー２３０１は、他のデータベースエンティティとの通信を管理する入出力（Ｉ／Ｏ）コネクタ２３０６を有する。それぞれのサーバー２３０１上の１つ又は複数のホストプロセッサ２３０７は、複数の仮想機械（ＶＭ）２３０９をサポートするホストオペレーティングシステム（Ｏ／Ｓ）２３０８を稼働させる。それぞれのＶＭ２３０９は、サーバー上のそれぞれのＶＭ Ｏ／Ｓ２３１０が異なるか若しくは同じであるか、又は両方の混合体であるように、その独自のＯ／Ｓを稼働させることができる。ＶＭ Ｏ／Ｓ２３１０は、例えば、同じＯ／Ｓの異なるバージョンであり得る（例えば、異なるＶＭが、Windows（登録商標）オペレーティングシステムの異なる現在及び過去のバージョンを稼働させる）。加えて又は代わりに、ＶＭ Ｏ／Ｓ２３１０は、異なる製造者によって提供され得る（例えば、いくつかのＶＭは、Windows（登録商標）オペレーティングシステムを稼働させる一方、他のＶＭは、Linux（登録商標）オペレーティングシステムを稼働させる）。それぞれのＶＭ２３０９は、１つ又は複数のアプリケーション（Ａｐｐ）２３１１を稼働させることもできる。それぞれのサーバー２３０１は、ソフトウェアコード、データなどを保存するために、ホストプロセッサ２３０７及びＶＭ２３０９によってアクセス及び使用され得るストレージ２３１２（例えば、ハードディスクドライブ（ＨＤＤ）及びメモリ２３１３（例えば、ＲＡＭ）も含む。一実施形態では、ＶＭ２３０９は、本明細書に開示されるデータプレーンＡＰＩを利用することができる。
【0047】
[0066] データセンタ２３００は、顧客が、サーバー又は更なるネットワーク接続を追加する必要なしに必要に応じてアプリケーションを動的に提供又はスケーリングし得るプールされたリソースを提供する。これは、顧客が、アプリケーションごとに随時にインフラストラクチャを取得、提供及び管理する必要なしに自らが必要とする演算リソースを取得することを許容する。クラウド演算データセンタ２３００は、顧客が、その事業の現時点のニーズを満たすために、リソースを動的にスケールアップ又はスケールダウンすることを許容する。加えて、データセンタ事業者は、使用する必要がある際にのみ自らが使用するリソースについて支払いを行うように、使用量に基づくサービスを顧客に提供することもできる。例えば、顧客は、まず、そのアプリケーション２３１１を稼働させるためにサーバー２３０１1上で１つのＶＭ２３０９を使用することができる。アプリケーション２３１１に対する需要が増大した際、データセンタ２３００は、必要に応じて同じサーバー２３０１1上及び／又は新しいサーバー２３０１N上の更なるＶＭ２３０９を起動することができる。これらの更なるＶＭ２３０９は、アプリケーションの需要が後に低下した場合、無効化することができる。
【0048】
[0067] データセンタ２３００は、保証された可用性、災害復旧及びバックアップサービスを提供することができる。例えば、データセンタは、顧客のアプリケーションの一次場所としてサーバー２３０１1上で１つのＶＭ２３０９を指定することができると共に、第１ＶＭ又はサーバー２３０１1に障害が発生した場合、スタンバイ又はバックアップとして同じ又は異なるサーバー上で第２ＶＭ２３０９を起動することができる。データセンタ管理コントローラ２３０２は、顧客の介入を必要とすることなしに、一次ＶＭからバックアップＶＭに、到来するユーザー要求を自動的にシフトする。データセンタ２３００は、単一の場所として示されるが、サーバー２３０１は、更なる冗長性及び災害復旧能力を提供するために、地球にわたって複数の場所に分散され得ることを理解されたい。加えて、データセンタ２３００は、単一エンタープライズユーザーにサービスを提供するオンプレミスのプライベートシステム、複数の無関係の顧客に対してサービスを提供する公的にアクセス可能な分散システム又はこれらの両方の組合せであり得る。
【0049】
[0068] ドメイン名システム（ＤＮＳ）サーバー２３１４は、データセンタ２３００内において、すべてのロール、アプリケーション及びサービスのドメイン及びホスト名をＩＰ（インターネットプロトコル）アドレスに変換する。ＤＮＳログ２３１５は、そのドメイン名がロールによって変換されたレコードを維持する。ＤＮＳは、本明細書で一例として使用され、且つ他の名前変換サービス及びドメイン名ロギングサービスが依存性を識別するために使用され得ることを理解されたい。
【0050】
[0069] データセンタ健全性監視２３１６は、データセンタ２３００内の物理的システム、ソフトウェア及び環境の健全性を監視する。健全性監視２３１６は、問題がデータセンタ２３００内のサーバー、ブレード、プロセッサ又はアプリケーションについて検出された際又はネットワーク帯域幅又は通信の課題が生じた際、フィードバックをデータセンタマネージャに対して提供する。
【0051】
[0070] 図２４は、手のジェスチャのやり取りを有する複合現実環境でカメラの焦点を設定する本技法のためのスマートフォン、タブレットコンピュータ、ラップトップコンピュータ又はパーソナルコンピュータなどの演算装置の例示的なアーキテクチャ２４００を示す。図２４の演算装置は、オートフォーカスサブシステム内におけるハンチング現象の低減から受益し得るＨＭＤ装置１１０の代替でもあり得る。図２４には、いくつかのコンポーネントが描かれるが、本明細書に開示されるが、但し図示されない他のコンポーネントも演算装置と共に可能である。
【0052】
[0071] 図２４に示されるアーキテクチャ２４００は、１つ又は複数のプロセッサ２４０２（例えば、中央処理ユニット、専用の人工知能チップ、グラフィクス処理ユニットなど）、ＲＡＭ（ランダムアクセスメモリ）２４０６及びＲＯＭ（リードオンリーメモリ）２４０８を含むシステムメモリ２４０４及びアーキテクチャ２４００でコンポーネントを動作可能且つ機能的に結合するシステムバス２４１０を含む。スタートアップ時などにアーキテクチャ２４００内の要素間における情報の転送を支援する基本ルーチンを収容する基本入出力システムは、通常、ＲＯＭ２４０８内に保存される。アーキテクチャ２４００は、アプリケーション、ファイルシステム及びオペレーティングシステムを実装するために利用されるソフトウェアコード又は他のコンピュータ実行されるコードを保存するためのマスストレージ装置２４１２を更に含む。マスストレージ装置２４１２は、バス２４１０に接続されたマスストレージコントローラ（図示されていない）を通してプロセッサ２４０２に接続される。マスストレージ装置２４１２及びその関連するコンピュータ可読ストレージ媒体は、アーキテクチャ２４００のための不揮発性ストレージを提供する。本明細書に含まれるコンピュータ可読ストレージ媒体の説明は、ハードディスク又はＣＤ－ＲＯＭドライブなどのマスストレージ装置を参照するが、当業者は、コンピュータ可読ストレージ媒体は、アーキテクチャ２４００によってアクセスされ得る任意の利用可能なストレージ媒体であり得ることを理解し得る。
【0053】
[0072] 例として且つ限定ではなく、コンピュータ可読ストレージ媒体は、コンピュータ可読命令、データ構造、プログラムモジュール又は他のデータなどの情報の保存のための任意の方法又は技術で実装された揮発性及び不揮発性の着脱可能且つ非着脱可能の媒体を含むことができる。例えば、コンピュータ可読媒体は、限定を伴うことなしに、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ（消去可能プログラマブル読み取り専用メモリ）、ＥＥＰＲＯＭ（電気的消去可能プログラマブル読み取り専用メモリ）、フラッシュメモリ若しくは他の半導体メモリ技術、ＣＤ－ＲＯＭ、ＤＶＤ、ＨＤ－ＤＶＤ（ハイデフィニションＤＶＤ）、Blu-Ray若しくは他の光ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ若しくは他の磁気ストレージ装置又は望ましい情報を保存するために使用され得、且つアーキテクチャ２４００によってアクセスされ得る任意の他の媒体を含む。
【0054】
[0073] 様々な実施形態によれば、アーキテクチャ２４００は、ネットワークを通してリモートコンピュータに対する論理的接続を使用することにより、ネットワーク接続された環境で動作することができる。アーキテクチャ２４００は、バス２４１０に接続されたネットワークインターフェイスユニット２４１６を通してネットワークに接続することができる。ネットワークインターフェイスユニット２４１６は、他のタイプのネットワーク及びリモートコンピュータシステムに接続するために利用され得ることも理解されたい。アーキテクチャ２４００は、キーボード、マウス、タッチパッド、タッチスクリーン、ボタン及びスイッチ又は電子スタイラス（図２４に示されていない）などの制御装置も含むいくつかの他の装置からの入力を受け取り且つ処理するための入出力コントローラ２４１８も含み得る。同様に、入出力コントローラ２４１８は、出力を表示画面、ユーザーインターフェイス、プリンタ又は他のタイプの出力装置（これらも図２４に示されていない）に提供することもできる。
【0055】
[0074] 本明細書に記述されるソフトウェアコンポーネントは、プロセッサ２４０２内に読み込まれ且つ実行された際、プロセッサ２４０２及びアーキテクチャ２４００全体を汎用演算システムから、本明細書に提示される機能を促進するようにカスタマイズされた特殊目的演算システムに変換し得ることを理解することができる。プロセッサ２４０２は、任意の数のトランジスタ又は他の別個の回路要素から構築され得、これらは、個々に又は集合的に任意の数の状態をとることができる。更に詳細には、プロセッサ２４０２は、本明細書に開示されるソフトウェアモジュール内に含まれる実行可能命令に応答して有限状態機械として動作することができる。これらのコンピュータ実行可能命令は、プロセッサ２４０２が状態間で遷移する方式を規定し、それによりプロセッサ２４０２を構成するトランジスタ又は他の別個のハードウェア要素を変換することにより、プロセッサ２４０２を変換することができる。
【0056】
[0075] 本明細書に提示されるソフトウェアモジュールをエンコーディングすることにより、本明細書に提示されるコンピュータ可読ストレージ媒体の物理的構造を変換することもできる。物理的構造の特定の変換は、この説明の異なる実装形態で様々な要因に依存し得る。このような要因の例は、限定を伴うことなしに、コンピュータ可読ストレージ媒体を実装するために使用される技法、コンピュータ可読ストレージ媒体が一次又は二次ストレージとして特徴付けられるかどうか及びこれらに類似したものを含み得る。例えば、コンピュータ可読ストレージ媒体が半導体に基づくメモリとして実装される場合、本明細書に開示されるソフトウェアは、半導体メモリの物理的状態を変換することにより、コンピュータ可読ストレージ媒体上でエンコーディングすることができる。例えば、ソフトウェアは、トランジスタ、コンデンサ又は半導体メモリを構成する他の個別の回路要素の状態を変換することができる。ソフトウェアは、データをその上に保存するために、このようなコンポーネントの物理的状態を変換することもできる。
【0057】
[0076] 別の例として、本明細書に開示されるコンピュータ可読ストレージ媒体は、磁気又は光学技術を使用して実装することができる。このような実装形態では、本明細書に提示されるソフトウェアは、ソフトウェアがその内部にエンコーディングされる際、磁気又は光媒体の物理的状態を変換することができる。これらの変換は、所与の磁気媒体内の特定の場所の磁気特性を変更することを含み得る。これらの変換は、その場所の光学特性を変更するために所与の光学媒体内の特定の場所の物理的特徴又は特性を変更することも含み得る。物理的媒体の他の変換も本説明の範囲及び趣旨を逸脱することなしに可能であり、上述の例は、本説明を促進するためにのみ提供されるものである。
【0058】
[0077] 以上の内容に鑑み、本明細書に提示されるソフトウェアコンポーネントを保存及び実行するために、多くのタイプの物理的変換がアーキテクチャ２４００内で発生することを理解することができる。アーキテクチャ２４００は、ウェアラブル装置、ハンドヘルドコンピュータ、埋込み型のコンピュータシステム、スマートフォン、ＰＤＡ及び当業者に既知である他のタイプの演算装置を含む他のタイプの演算装置を含み得ることも理解することができる。アーキテクチャ２４００は、図２４に示されるコンポーネントのすべてを含まなくてもよいか、図２４に明示的に示されていない他のコンポーネントを含み得るか、又は図２４に示されるものと完全に異なるアーキテクチャを利用し得ることも想定される。
【0059】
[0078] 図２５は、シースルー複合現実表示システム２５００の１つの特定の例示的な例を示し、且つ図２６は、システム２５００の機能ブロック図を示す。例示的な表示システム２５００は、図の全体を通して描かれるＨＭＤ装置１１０に対する補足説明を提供する。表示システム２５００は、画像がレンズ２５０２を使用することによって（例えば、レンズ２５０２上への投射を使用することにより、レンズ２５０２に内蔵される１つ又は複数の導波路システムを使用することにより、及び／又は任意の他の適切な方式によって）表示され得るように、シースルー表示サブシステム２５０４の一部分を形成する１つ又は複数のレンズ２５０２を含む。表示システム２５００は、ユーザーによって見られる背景シーン及び／又は物理環境の画像を取得するように構成された１つ又は複数の外側を向いた画像センサ２５０６を更に含み、且つユーザーからの音声コマンドなどのサウンドを検出するように構成された１つ又は複数のマイクロフォン２５０８を含むことができる。外側を向いた画像センサ２５０６は、１つ又は複数の深度センサ及び／又は１つ又は複数の２次元画像センサを含み得る。代替実施形態では、上述のように、複合現実又は仮想現実表示システムは、シースルー表示サブシステムを内蔵する代わりに、外側を向いた画像センサのビューファインダモードを通して複合現実又は仮想現実画像を表示することができる。
【0060】
[0079] 表示システム２５００は、上述のように、ユーザーのそれぞれの眼の注視の方向又は焦点の方向若しくは場所を検出するように構成された注視検出サブシステム２５１０を更に含むことができる。注視検出サブシステム２５１０は、任意の適切な方式により、ユーザーの眼のそれぞれの注視方向を判定するように構成することができる。例えば、図示の例示的な例では、注視検出サブシステム２５１０は、光の閃光がユーザーのそれぞれの眼球から反射するようにするように構成された赤外光源などの１つ又は複数の閃光ソース２５１２と、ユーザーのそれぞれの眼球の画像をキャプチャするように構成された内側を向いたセンサなどの１つ又は複数の画像センサ２５１４とを含む。注視の方向を判定するために、画像センサ２５１４を使用して集められた画像データから判定されるユーザーの眼球からの閃光及び／又はユーザーの瞳の場所の変化を使用することができる。
【0061】
[0080] 加えて、ユーザーが注視するオブジェクト（例えば、表示された仮想オブジェクト及び／又は現実背景オブジェクト）を判定するために、ユーザーの眼から投射される視線が外部ディスプレイと交差する場所を使用することができる。注視検出サブシステム２５１０は、任意の適切な数及び構成の光源及び画像センサを有することができる。いくつかの実装形態では、注視検出サブシステム２５１０を省略することができる。
【0062】
[0081] 表示システム２５００は、更なるセンサを含むこともできる。例えば、表示システム２５００は、表示システム２５００の場所が判定されることを許容するために、全地球測位（ＧＰＳ）サブシステム２５１６を含むことができる。これは、ユーザーの隣接する物理環境内に配置され得る建物などの現実世界オブジェクトの識別を支援することができる。
【0063】
[0082] 表示システム２５００は、ユーザーが複合現実又は仮想現実ＨＭＤ装置の一部分としてシステムを着用する際、ユーザーの頭部の動き及び位置／向き／ポーズを検出するための１つ又は複数のモーションセンサ２５１８（例えば、慣性、多軸ジャイロスコープ又は加速度センサ）を更に含むことができる。モーションデータは、潜在的に眼追跡閃光データ及び外側を向いた画像データと共に、外側を向いた画像センサ２５０６からの画像内のぼやけについての補正を支援するために、注視検出のみならず画像安定化のために使用することができる。モーションデータの使用は、外側を向いた画像センサ２５０６からの画像デーが解像され得ない場合にも注視場所の変更の追跡を許容することができる。
【0064】
[0083] 加えて、モーションセンサ２５１８のみならず、マイクロフォン２５０８及び注視検出サブシステム２５１０も、ユーザーが、眼、首及び／又は頭のジェスチャを介してのみならず、いくつかの場合、口頭の命令を介して、表示システム２５００とやり取りし得るように、ユーザー入力装置として利用することができる。任意の他の適切なセンサ及び／又はセンサの組合せが特定の実装形態のニーズを満たすために利用され得ることから、図２５及び図２６に示され、且つ添付の文章に記述されるセンサは、例示を目的として含まれ、且つ決して限定を意図しないことを理解することができる。いくつかの実装形態では、例えば、（例えば、心拍及び呼吸数、血圧、脳の活動、体温などを検出するための）生体計測センサ又は（例えば、温度、湿度、高度、ＵＶ（紫外線）光レベルなどを検出するための）環境センサを利用することができる。
【0065】
[0084] 表示システム２５００は、通信サブシステム２５２６を通してセンサ、注視検出サブシステム２５１０、表示サブシステム２５０４及び／又は他のコンポーネントとの通信状態にある論理サブシステム２５２２及びデータストレージサブシステム２５２４を有するコントローラ２５２０を更に含むことができる。通信サブシステム２５２６は、表示システムが処理、保存、電力、データ及びサービスなどの遠隔配置されたリソースとの関連で動作することを促進することもできる。即ち、いくつかの実装形態では、ＨＭＤ装置は、リソース及び能力を異なるコンポーネント及びサブシステム間で分散させ得るシステムの一部分として稼働させることができる。
【0066】
[0085] ストレージサブシステム２５２４は、他のタスクのなかでも、例えばセンサからの入力を受け取り且つ解釈し、ユーザーの場所及び動きを識別し、表面再構築及び他の技法を使用して現実ブジェクトを識別し、及びオブジェクトがユーザーによって観察されることを可能にするようにオブジェクトまでの距離に基づいて表示を暗くする／フェードさせるために、論理サブシステム２５２２によって実行可能であるその上に保存された命令を含み得る。
【0067】
[0086] 表示システム２５００は、オーディオが複合現実又は仮想現実体験の一部分として利用され得るように、１つ又は複数のオーディオトランスデューサ２５２８（例えば、スピーカ、イヤフォンなど）を有するように構成される。電力管理サブシステム２５３０は、表示システム２５００内のコンポーネントに電力を供給するために、１つ又は複数の電池２５３１及び／又は保護回路モジュール（ＰＣＭ）並びに関連する充電器インターフェイス２５３４及び／又はリモート電力インターフェイスを含むことができる。
【0068】
[0087] 表示システム２５００は、例示を目的として記述され、且つ従って限定を意図したものではないことを理解することができる。表示装置は、本構成の範囲を逸脱することなしに、図示のもの以外の更なる及び／又は代替のセンサ、カメラ、マイクロフォン、入力装置、出力装置などを含み得ることを更に理解されたい。加えて、表示装置の且つその様々なセンサ及びサブコンポーネントの物理構成は、本構成の範囲を逸脱することなしに、様々な異なる形態を有することができる。
【0069】
[0088] ここで、すべての実施形態のすべてを網羅したリストとしてはなく、例示を目的として、手のジェスチャのやり取りを有する複合現実環境でカメラの焦点を設定する本技法の様々な例示的な実施形態を提示する。一例は、オートフォーカス実装を最適化するためにヘッドマウントディスプレイ（ＨＭＤ）によって実行される方法であって、視野（ＦＯＶ）にわたってＨＭＤ装置を取り囲むローカル物理環境内のシーンをキャプチャするように構成された、ＨＭＤ装置におけるカメラのオートフォーカス動作を有効にすることであって、カメラは、ＨＭＤ装置に動作可能に結合される１つ又は複数のセンサの組のメンバーである、有効にすることと、センサの組を使用して、ユーザーの手に関するデータを取得することと、ユーザーの手がオートフォーカスサブシステムの１つ又は複数の基準を満たさないことに関する収集されたデータに基づいて、カメラのオートフォーカス動作を抑制することとを含む方法を含む。
【0070】
[0089] 別の例では、センサの組は、ＨＭＤ装置が動作するローカル物理環境を記述するデータを集める。別の例では、ＨＭＤ装置は、シースルー複合現実ディスプレイを含み、シースルー複合現実ディスプレイを通して、ローカルユーザーは、ローカル物理環境を観察し、及びシースルー複合現実ディスプレイ上において、ＨＭＤ装置は、１つ又は複数の仮想オブジェクトをレンダリングする。別の例では、ＦＯＶにわたってカメラによってキャプチャされたシーン及びレンダリングされた仮想オブジェクトは、コンテンツとしてリモート演算装置に送信される。別の例では、ＦＯＶにわたってカメラによってキャプチャされたシーン及びレンダリングされた仮想オブジェクトは、ＨＭＤ装置により、記録される合成信号へと混合される。別の例では、方法は、ＦＯＶ内で関心領域（ＲＯＩ）を指定することを更に含み、オートフォーカスサブシステムの基準は、ユーザーの手の１つ又は複数がＲＯＩ内でローカルであることを示す、収集されたデータを含む。別の例では、ＲＯＩは、ローカル物理環境内の３次元空間を含む。別の例では、ＲＯＩは、サイズ、形状又は場所の少なくとも１つにおいて動的に可変である。別の例では、方法は、ユーザーの手に関する収集されたデータがオートフォーカスサブシステムの１つ又は複数の基準を満たすかどうかを判定するために、１つ又は複数の手の特性を評価することを更に含む。別の例では、手の特性は、手の動きのペースを含む。別の例では、手の特性は、手のいずれの部分であるかを含む。別の例では、手の特性は、１つ又は複数の手がＲＯＩ内に位置決めされる持続時間を含む。別の例では、手の特性は、１つ又は複数の手のサイズを含む。別の例では、手の特性は、１つ又は複数の手のポーズを含む。別の例では、手の特性は、１つ又は複数の手のモーションの方向を含む。別の例では、カメラは、ＰＶ（写真／ビデオ）カメラを含み、及びセンサの組は、ローカル物理環境内の深度データを収集し、それによりＨＭＤ装置ユーザーの手の１つ又は複数を追跡するように構成される深度センサを含む。
【0071】
[0090] 更なる例は、コンピュータ可読命令を保存する１つ又は複数のハードウェアベースの非一時的コンピュータ可読メモリ装置であって、演算装置内の１つ又は複数のプロセッサによって実行されると、演算装置に、ユーザーが物理環境内で演算装置を使用している間、ユーザーの１つ又は複数の手を追跡するためにデータをキャプチャすることと、演算装置の視野（ＦＯＶ）内の関心領域（ＲＯＩ）を選択することであって、演算装置は、演算装置に結合されたシースルーディスプレイ上に１つ又は複数の仮想オブジェクトをレンダリングして、ユーザーが複合現実ユーザー体験として物理環境及び１つ又は複数の仮想オブジェクトを同時に見ることを可能にする、選択することと、キャプチャされた手追跡データから、ユーザーの１つ又は複数の手の部分がＲＯＩ内に配置されているかどうかを判定することと、判定することに応答して、ＦＯＶ内の物理環境の一部分を少なくとも含むシーンをキャプチャするように構成される、演算装置上に配設されたカメラのオートフォーカス動作をトリガ又は無効化することとを行わせ、オートフォーカス動作は、ユーザーの１つ又は複数の手がＲＯＩ内のユーザーのピント位置であることを示す、キャプチャされた手追跡データから導出された１つ又は複数の手の特性に応じてトリガされ、及びオートフォーカス動作は、ユーザーの１つ又は複数の手がＲＯＩ内で一時的なものであることを示す、キャプチャされた手追跡データから導出された１つ又は複数の手の特性に応じて無効化される、１つ又は複数のハードウェアベースの非一時的コンピュータ可読メモリ装置を含む。
【0072】
[0091] 別の例では、キャプチャされた手追跡データは、演算装置に動作可能に結合される前方を向いた深度センサからのものである。別の例では、演算装置は、ヘッドマウントディスプレイ（ＨＭＤ）装置、スマートフォン、タブレットコンピュータ又は携帯型コンピュータを含む。別の例では、ＲＯＩは、ＦＯＶの中央領域に配置される。別の例では、実行された命令は、演算装置に、ＦＯＶのＲＯＩ内において物理環境内でキャプチャされた手追跡データを調整させる。
【0073】
[0092] 更なる例は、ユーザーの頭部に着用されるように構成された演算装置を含み、演算装置は、演算装置と関連するオートフォーカスサブシステムの望ましくないハンチング現象を低減するように構成され、これは、ホログラムをレンダリングするように構成されたディスプレイと、オートフォーカスサブシステムに動作可能に結合され、且つユーザーが配置される物理環境の調節可能に合焦された画像をキャプチャするように構成される調節可能焦点ＰＶ（写真／ビデオ）カメラと、３次元において物理環境に関する深度データをキャプチャするように構成された深度センサと、１つ又は複数のプロセッサと、コンピュータ可読命令を保存する１つ又は複数のハードウェアベースのメモリ装置とを含み、命令は、１つ又は複数のプロセッサによって実行されると、演算装置に、ディスプレイ上で少なくとも１つのホログラムをレンダリングすることであって、ホログラムは、既知の場所で物理環境内に配置された仮想オブジェクトを含む、レンダリングすることと、深度センサを使用することにより、物理環境内でユーザーの１つ又は複数の手の場所追跡データをキャプチャすることと、場所追跡データから、ユーザーの１つ又は複数の手が既知の場所でホログラムとやり取りしているかどうかを判定することと、ユーザーの１つ又は複数の手がホログラムとやり取りしていないという判定に応答してオートフォーカスサブシステムの動作をトリガすることと、ユーザーの１つ又は複数の手がホログラムとやり取りしているという判定に応答してオートフォーカスサブシステムの動作を抑制することとを行わせる。
【0074】
[0093] 別の例では、オートフォーカスサブシステムの動作は、ユーザーの１つ又は複数の手が内外動きを使用してホログラムとやり取りするという場所追跡データからの判定に応答して抑制される。
【0075】
[0094] 主題は、構造の特徴及び／又は方法の行為に固有の言語で記述されているが、添付の請求項で定義される主題は、必ずしも上述の特定の特徴又は行為に限定されないことを理解されたい。むしろ、上述の特定の特徴及び行為は、請求項を実装する例示的な形態として開示されるものである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【手続補正書】
【提出日】2024-06-04
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
オートフォーカス実装を最適化するためにユーザーによって動作可能なヘッドマウントディスプレイ（ＨＭＤ）装置によって実行される方法であって、
前記ＨＭＤ装置内に配設されたカメラのオートフォーカス動作を有効にすることであって、前記カメラは、視野（ＦＯＶ）にわたって前記ＨＭＤ装置を取り囲むローカル物理環境内のシーンをキャプチャするように構成され、前記カメラは、前記ＨＭＤ装置に動作可能に結合される１つ又は複数のセンサの組のメンバーである、ことと、
前記ユーザーの１つ又は複数の眼の前記ＦＯＶ内の焦点の位置を検出するように構成された、前記ＨＭＤ装置に１つ又は複数のセンサを含む、注視検出サブシステムを提供することと、
前記ＦＯＶ内で関心領域（ＲＯＩ）を指定することであって、前記オートフォーカスサブシステムの基準は、前記ユーザーが前記ＲＯＩ内の１つ又は複数の仮想オブジェクトとやり取りしていることを示す、検出された前記位置を含む、ことと、
オートフォーカスサブシステムの１つ又は複数の基準に従って前記カメラの前記オートフォーカス動作を制御するために検出された焦点位置を使用することと
を含む方法。
前記ＨＭＤ装置内に配設されたカメラのオートフォーカス動作を有効にすることであって、前記カメラは、視野（ＦＯＶ）にわたって前記ＨＭＤ装置を取り囲むローカル物理環境内のシーンをキャプチャするように構成され、前記カメラは、前記ＨＭＤ装置に動作可能に結合される１つ又は複数のセンサの組のメンバーである、ことと、
前記ユーザーの１つ又は複数の眼の前記ＦＯＶ内の焦点の位置を検出するように構成された、前記ＨＭＤ装置に１つ又は複数のセンサを含む、注視検出サブシステムを提供することと、
前記ＦＯＶ内で関心領域（ＲＯＩ）を指定することであって、前記オートフォーカスサブシステムの基準は、前記ユーザーが前記ＲＯＩ内の１つ又は複数の仮想オブジェクトとやり取りしていることを示す、検出された前記位置を含む、ことと、
オートフォーカスサブシステムの１つ又は複数の基準に従って前記カメラの前記オートフォーカス動作を制御するために検出された焦点位置を使用することと
を含む方法。
【請求項2】
前記センサの組は、前記ローカル物理環境を記述するデータを集める、請求項１に記載の方法。
【請求項3】
前記ＨＭＤ装置は、シースルー複合現実ディスプレイを含み、前記シースルー複合現実ディスプレイを通して、ローカルユーザーは、前記ローカル物理環境を観察し、及び前記シースルー複合現実ディスプレイ上において、前記ＨＭＤ装置は、１つ又は複数の仮想オブジェクトをレンダリングする、請求項２に記載の方法。
【請求項4】
前記ＦＯＶにわたって前記カメラによってキャプチャされた前記シーン及び前記レンダリングされた仮想オブジェクトは、コンテンツとしてリモート演算装置に送信される、請求項３に記載の方法。
【請求項5】
前記ＦＯＶにわたって前記カメラによってキャプチャされた前記シーン及び前記レンダリングされた仮想オブジェクトは、前記ＨＭＤ装置により、記録される合成信号へと混合される、請求項３に記載の方法。
【請求項6】
前記オートフォーカス動作は、前記ＦＯＶ内の前記物理環境の少なくとも一部分に基づいてトリガされる、請求項２に記載の方法。
【請求項7】
前記ＲＯＩは、前記ローカル物理環境内の３次元空間を含む、請求項１に記載の方法。
【請求項8】
前記ＲＯＩは、サイズ、形状又は位置の少なくとも１つにおいて動的に可変である、請求項１に記載の方法。
【請求項9】
前記センサの組は深度センサを含み、検出された前記位置が前記オートフォーカスサブシステムの１つ又は複数の基準を満たすかどうかを判定するために、ＨＭＤ装置ユーザーの手の１つ又は複数を追跡する前記深度センサを用いて、１つ又は複数の前記ユーザーの手の特性をキャプチャすることを更に含む、請求項１に記載の方法。
【請求項10】
前記手の前記特性は、手の動きのペースを含む、請求項９に記載の方法。
【請求項11】
前記手の前記特性は、手のいずれの部分であるかを含む、請求項９に記載の方法。
【請求項12】
前記手の前記特性は、前記１つ又は複数の手が前記ＲＯＩ内に位置決めされる持続時間を含む、請求項９に記載の方法。
【請求項13】
前記カメラは、ＰＶ（写真／ビデオ）カメラを含む、請求項１に記載の方法。
【請求項14】
コンピュータ可読命令を保存する１つ又は複数のハードウェアベースの非一時的コンピュータ可読メモリ装置であって、前記コンピュータ可読命令は、ユーザーによって利用可能な演算装置内の１つ又は複数のプロセッサによって実行されると、前記演算装置に、
前記ユーザーが物理環境内で前記演算装置を利用しながら、ユーザーの眼の焦点の位置についてのデータをキャプチャするために注視検出サブシステムを使用することと、
前記演算装置の視野（ＦＯＶ）内の関心領域（ＲＯＩ）を識別することであって、前記演算装置は、前記演算装置に結合されたシースルーディスプレイ上に１つ又は複数の仮想オブジェクトをレンダリングして、前記ユーザーが複合現実ユーザー体験として前記物理環境及び前記１つ又は複数の仮想オブジェクトを同時に見ることを可能にする、ことと、
キャプチャされた焦点位置データから、前記ユーザーが前記ＲＯＩ内に位置する仮想オブジェクトとやり取りする程度を判定することと、
前記判定することに応答して、前記ＦＯＶ内の前記物理環境の少なくとも一部分を含むシーンをキャプチャするように構成された、前記演算装置上に配設された前方を向いたカメラのオートフォーカス動作をトリガ又は無効化することと
を行わせ、
前記オートフォーカス動作は、前記仮想オブジェクトとのユーザーのやり取りが前記ＲＯＩ内の焦点であるという判定に応じてトリガされ、及び
前記オートフォーカス動作は、前記仮想オブジェクトとのユーザーのやり取りが前記ＲＯＩ内で一時的なものであるという判定に応じて無効化される、１つ又は複数のハードウェアベースの非一時的コンピュータ可読メモリ装置。
前記ユーザーが物理環境内で前記演算装置を利用しながら、ユーザーの眼の焦点の位置についてのデータをキャプチャするために注視検出サブシステムを使用することと、
前記演算装置の視野（ＦＯＶ）内の関心領域（ＲＯＩ）を識別することであって、前記演算装置は、前記演算装置に結合されたシースルーディスプレイ上に１つ又は複数の仮想オブジェクトをレンダリングして、前記ユーザーが複合現実ユーザー体験として前記物理環境及び前記１つ又は複数の仮想オブジェクトを同時に見ることを可能にする、ことと、
キャプチャされた焦点位置データから、前記ユーザーが前記ＲＯＩ内に位置する仮想オブジェクトとやり取りする程度を判定することと、
前記判定することに応答して、前記ＦＯＶ内の前記物理環境の少なくとも一部分を含むシーンをキャプチャするように構成された、前記演算装置上に配設された前方を向いたカメラのオートフォーカス動作をトリガ又は無効化することと
を行わせ、
前記オートフォーカス動作は、前記仮想オブジェクトとのユーザーのやり取りが前記ＲＯＩ内の焦点であるという判定に応じてトリガされ、及び
前記オートフォーカス動作は、前記仮想オブジェクトとのユーザーのやり取りが前記ＲＯＩ内で一時的なものであるという判定に応じて無効化される、１つ又は複数のハードウェアベースの非一時的コンピュータ可読メモリ装置。
【請求項15】
前記命令は、更に、前記演算装置に、手追跡データを、前記演算装置に動作可能に結合される深度センサからキャプチャさせ、キャプチャされた前記手追跡データを用いて前記カメラのオートフォーカス動作をトリガ又は無効化させる、請求項１４に記載の１つ又は複数のハードウェアベースの非一時的コンピュータ可読メモリ装置。
【請求項16】
前記演算装置は、ヘッドマウントディスプレイ（ＨＭＤ）装置、スマートフォン、タブレットコンピュータ又は携帯型コンピュータを含む、請求項１４に記載の１つ又は複数のハードウェアベースの非一時的コンピュータ可読メモリ装置。
【請求項17】
前記ＲＯＩは、前記ＦＯＶの中央領域に配置される、請求項１４に記載の１つ又は複数のハードウェアベースの非一時的コンピュータ可読メモリ装置。
【請求項18】
前記注視検出サブシステムは、１つ又は複数のユーザーの眼の画像をキャプチャするように構成された内側を向いたセンサを含む、請求項１７に記載の１つ又は複数のハードウェアベースの非一時的コンピュータ可読メモリ装置。
【請求項19】
ユーザーの頭部に着用されるように構成可能な演算装置であって、前記演算装置は、前記演算装置と関連するオートフォーカスサブシステムの望ましくないハンチング現象を低減するように構成され、前記演算装置は、
ホログラムをレンダリングするように構成されたディスプレイと、
前記オートフォーカスサブシステムに動作可能に結合され、前記ユーザーが配置される物理環境の調節可能に合焦された画像をキャプチャするように構成される調節可能焦点ＰＶ（写真／ビデオ）カメラと、
注視の方向、焦点の方向又は焦点の位置のうちの１つ又は複数を含む前記物理環境における前記ユーザーの注視を検出するように構成された注視検出サブシステムと、
１つ又は複数のプロセッサと、
コンピュータ可読命令を保存する１つ又は複数のハードウェアベースのメモリ装置とを含み、前記命令は、前記１つ又は複数のプロセッサによって実行されると、前記演算装置に、
前記ディスプレイ上で少なくとも１つのホログラムをレンダリングすることであって、前記ホログラムは、既知の位置で前記物理環境内に配置された仮想オブジェクトを含む、ことと、
前記注視検出サブシステムを用いて、前記物理環境における前記ユーザーの注視についての注視追跡データをキャプチャすることと、
前記注視追跡データから、前記ユーザーの１つ又は複数の手が前記既知の位置でホログラムとやり取りしているかどうかを判定することと、
前記ユーザーが前記ホログラムとやり取りしていないという判定に応答して前記オートフォーカスサブシステムの動作をトリガすることと、
前記ユーザーが前記ホログラムとやり取りしているという判定に応答して前記オートフォーカスサブシステムの動作を抑制することとを行わせる、演算装置。
ホログラムをレンダリングするように構成されたディスプレイと、
前記オートフォーカスサブシステムに動作可能に結合され、前記ユーザーが配置される物理環境の調節可能に合焦された画像をキャプチャするように構成される調節可能焦点ＰＶ（写真／ビデオ）カメラと、
注視の方向、焦点の方向又は焦点の位置のうちの１つ又は複数を含む前記物理環境における前記ユーザーの注視を検出するように構成された注視検出サブシステムと、
１つ又は複数のプロセッサと、
コンピュータ可読命令を保存する１つ又は複数のハードウェアベースのメモリ装置とを含み、前記命令は、前記１つ又は複数のプロセッサによって実行されると、前記演算装置に、
前記ディスプレイ上で少なくとも１つのホログラムをレンダリングすることであって、前記ホログラムは、既知の位置で前記物理環境内に配置された仮想オブジェクトを含む、ことと、
前記注視検出サブシステムを用いて、前記物理環境における前記ユーザーの注視についての注視追跡データをキャプチャすることと、
前記注視追跡データから、前記ユーザーの１つ又は複数の手が前記既知の位置でホログラムとやり取りしているかどうかを判定することと、
前記ユーザーが前記ホログラムとやり取りしていないという判定に応答して前記オートフォーカスサブシステムの動作をトリガすることと、
前記ユーザーが前記ホログラムとやり取りしているという判定に応答して前記オートフォーカスサブシステムの動作を抑制することとを行わせる、演算装置。
【請求項20】
前記オートフォーカスサブシステムの動作は、前記ホログラムとの前記ユーザーのやり取りが前記ユーザーの１つ又は複数の手の内外動きを含むという前記注視追跡データからの判定に応答して抑制される、請求項１９に記載の演算装置。
【請求項21】
オートフォーカス実装を最適化するためにユーザーによって動作可能なヘッドマウントディスプレイ（ＨＭＤ）装置によって実行される方法であって、
前記ＨＭＤ装置におけるカメラのオートフォーカス動作を有効にすることであって、前記カメラは、視野（ＦＯＶ）にわたって前記ＨＭＤ装置を取り囲むローカル物理環境内のシーンをキャプチャするように構成される、ことと、
前記ＨＭＤ装置にセンサを含む注視検出サブシステムを用いて、前記ＦＯＶ内の前記ユーザーの眼の焦点の位置を検出することと、
前記ＦＯＶ内の前記焦点の位置を用いて、オートフォーカスサブシステムの基準に従って前記カメラの前記オートフォーカス動作を制御することであって、前記基準は、前記ユーザーが前記ＦＯＶ内の仮想オブジェクトとやり取りしていることを示す、ことと
を含む方法。
前記ＨＭＤ装置におけるカメラのオートフォーカス動作を有効にすることであって、前記カメラは、視野（ＦＯＶ）にわたって前記ＨＭＤ装置を取り囲むローカル物理環境内のシーンをキャプチャするように構成される、ことと、
前記ＨＭＤ装置にセンサを含む注視検出サブシステムを用いて、前記ＦＯＶ内の前記ユーザーの眼の焦点の位置を検出することと、
前記ＦＯＶ内の前記焦点の位置を用いて、オートフォーカスサブシステムの基準に従って前記カメラの前記オートフォーカス動作を制御することであって、前記基準は、前記ユーザーが前記ＦＯＶ内の仮想オブジェクトとやり取りしていることを示す、ことと
を含む方法。
【請求項22】
ユーザーのヘッドマウントディスプレイ（ＨＭＤ）装置におけるカメラのオートフォーカス動作を有効にすることであって、前記カメラは、視野（ＦＯＶ）にわたって前記ＨＭＤ装置を取り囲む物理環境内のシーンをキャプチャするように構成される、ことと、
前記ＦＯＶ内の前記ユーザーの焦点の位置を用いて、基準に従って前記カメラの前記オートフォーカス動作を制御することであって、前記基準は、前記ユーザーが前記ＦＯＶ内の仮想オブジェクトとやり取りしていることを示す、ことと、
前記ユーザーの前記ＨＭＤ装置からのコンテンツをリモートユーザーの演算装置上にレンダリングすることであって、前記コンテンツは、前記仮想オブジェクトとの前記やり取りを含む、ことと
を含む方法。
前記ＦＯＶ内の前記ユーザーの焦点の位置を用いて、基準に従って前記カメラの前記オートフォーカス動作を制御することであって、前記基準は、前記ユーザーが前記ＦＯＶ内の仮想オブジェクトとやり取りしていることを示す、ことと、
前記ユーザーの前記ＨＭＤ装置からのコンテンツをリモートユーザーの演算装置上にレンダリングすることであって、前記コンテンツは、前記仮想オブジェクトとの前記やり取りを含む、ことと
を含む方法。
【請求項23】
前記仮想オブジェクトは、会社を識別するタグ、関心のある位置への方向及びギフトボックスを含む、請求項２１又は２２に記載の方法。
【請求項24】
前記仮想オブジェクトは、前記ローカル物理環境との関係で位置決めされる、請求項２１に記載の方法。
【請求項25】
前記仮想オブジェクトとの前記やり取りは、前記仮想オブジェクトを移動、選択、縮小又は拡大することを含む、請求項２１又は２２に記載の方法。
【請求項26】
前記やり取りは、前記仮想オブジェクトの位置から離れた空間距離で発生する、請求項２１又は２２に記載の方法。
【請求項27】
前記ＨＭＤ装置からのコンテンツを演算装置にレンダリングすることを更に含み、前記コンテンツは、前記ユーザーの前記やり取りを含む、請求項２１に記載の方法。
【請求項28】
前記ＦＯＶは、静的又は動的に定義された関心領域（ＲＯＩ）を含み、前記ユーザーは、前記ＲＯＩを認識していない、請求項２１又は２２に記載の方法。
【請求項29】
前記カメラの前記オートフォーカス動作は、前記基準に従って前記ＲＯＩ内のコンテンツに自動的に合焦することを含む、請求項２８に記載の方法。
【請求項30】
前記仮想オブジェクトは、前記ユーザーとの関係で位置決めされる、請求項２２に記載の方法。
【請求項31】
ヘッドマウントディスプレイ（ＨＭＤ）装置であって、
視野（ＦＯＶ）にわたって前記ＨＭＤ装置を取り囲む物理環境内のシーンをキャプチャするように構成されたカメラと、
プロセッサと、
命令を保存するメモリとを含み、前記命令は、前記プロセッサによって実行されると、前記ＨＭＤ装置に、
前記カメラのオートフォーカス動作を有効にすることと、
前記ＦＯＶ内の焦点の位置を検出することと、
検出された前記焦点の位置を用いて、基準に従って前記カメラの前記オートフォーカス動作を制御することであって、前記基準は、ユーザーが前記ＦＯＶ内の仮想オブジェクトとやり取りしていることを示す、こととを行わせる、ＨＭＤ装置。
視野（ＦＯＶ）にわたって前記ＨＭＤ装置を取り囲む物理環境内のシーンをキャプチャするように構成されたカメラと、
プロセッサと、
命令を保存するメモリとを含み、前記命令は、前記プロセッサによって実行されると、前記ＨＭＤ装置に、
前記カメラのオートフォーカス動作を有効にすることと、
前記ＦＯＶ内の焦点の位置を検出することと、
検出された前記焦点の位置を用いて、基準に従って前記カメラの前記オートフォーカス動作を制御することであって、前記基準は、ユーザーが前記ＦＯＶ内の仮想オブジェクトとやり取りしていることを示す、こととを行わせる、ＨＭＤ装置。
【請求項32】
前記やり取りは、前記仮想オブジェクトの位置から離れた空間距離で発生する、請求項３１に記載のＨＭＤ装置。
【請求項33】
前記命令は、更に、前記プロセッサによって実行されると、前記ＨＭＤ装置に、前記ユーザーの前記ＨＭＤ装置からのコンテンツをリモートユーザーの演算装置にレンダリングすることであって、前記コンテンツは、前記ユーザーの前記やり取りを前記リモートユーザーの前記演算装置上にレンダリングすることを含む、ことを行わせる、請求項３１に記載のＨＭＤ装置。
【請求項34】
前記ＦＯＶは、静的又は動的に定義された関心領域（ＲＯＩ）を含み、前記ユーザーは、前記ＲＯＩを認識していない、請求項３１に記載のＨＭＤ装置。
【請求項35】
前記カメラの前記オートフォーカス動作は、前記基準に従って前記ＲＯＩ内のコンテンツに自動的に合焦することを含む、請求項３４に記載のＨＭＤ装置。
【外国語明細書】