ホーム > 特許ランキング > バルブ コーポレーション
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-29
(45)【発行日】2024-12-09
(54)【発明の名称】パススルー画像処理によるヘッドマウントディスプレイ
(51)【国際特許分類】
G06T 19/00 20110101AFI20241202BHJP
G06F 3/01 20060101ALI20241202BHJP
G06F 3/0346 20130101ALI20241202BHJP
G06F 3/04815 20220101ALI20241202BHJP
【ＦＩ】
G06T19/00 300B
G06F3/01 510
G06F3/0346 421
G06F3/0346 422
G06F3/04815
【請求項の数】
11
(21)【出願番号】P 2021562835
(86)(22)【出願日】2020-04-22
(65)【公表番号】
(43)【公表日】2022-06-27
(86)【国際出願番号】 US2020029398
(87)【国際公開番号】W WO2020219601
(87)【国際公開日】2020-10-29
【審査請求日】2023-03-29
(31)【優先権主張番号】62/837,668
(32)【優先日】2019-04-23
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/848,332
(32)【優先日】2020-04-14
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】517160525
【氏名又は名称】バルブ コーポレーション
(74)【代理人】
【識別番号】110001737
【氏名又は名称】弁理士法人スズエ国際特許事務所
(72)【発明者】
【氏名】ロアー、チャールズ・エヌ
(72)【発明者】
【氏名】ストール、ゴードン・ウェイン
【審査官】渡部 幸和
(56)【参考文献】
【文献】特表２０１６－５３２１７８（ＪＰ，Ａ）
【文献】特開２００１－２１１４０３（ＪＰ，Ａ）
【文献】国際公開第２０１９／０７２４８３（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １９／００
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０４８ － ３／０４８９５
(57)【特許請求の範囲】
【請求項1】
ディスプレイ、第１のカメラ、および
第２のカメラ、を含む、ヘッドマウントディスプレイと、
１つ以上のプロセッサと、
コンピュータ実行可能命令を記憶する１つ以上の非一時的なコンピュータ可読媒体と、
を具備し、前記コンピュータ実行可能命令が、前記１つ以上のプロセッサによって実行されたときに、前記１つ以上のプロセッサに行為を実施させ、前記行為が、
１つ以上のトリガ事象に応じて、
前記第１のカメラを介して、現実世界の環境の第１の部分を表す第１の画像データをキャプチャすることと、
前記第２のカメラを介して、前記現実世界の環境の第２の部分を表す第２の画像データをキャプチャすることと、
ユーザの第１の目に対する前記第１のカメラの第１のオフセット、および前記ユーザの第２の目に対する前記第２のカメラの第２のオフセットを決定することと、
前記第１のオフセット、および前記第２のオフセットに少なくとも部分的に基づいて、深度マップを生成することと、
前記第１の画像データ、および前記第２の画像データを前記深度マップに投影することに少なくとも部分的に基づいて、第３の画像データを生成することと、
前記ディスプレイを介して、前記現実世界の環境の少なくとも一部を示す前記第３の画像データを表示することと、を含む、システム。
【請求項2】
前記ヘッドマウントディスプレイが、ボタンをさらに具備し、前記１つ以上のトリガ事象は、前記ボタンの押し込みを検出すること、を含む、請求項１に記載のシステム。
【請求項3】
前記１つ以上のトリガ事象は、前記ユーザが前記現実世界の環境の境界に近付いているという指示を受信することを含む、請求項１に記載のシステム。
【請求項4】
前記ユーザが、第１のユーザを含み、前記１つ以上のトリガ事象は、第２のユーザが前記現実世界の環境内にいるという指示を受信することを含む、請求項１に記載のシステム。
【請求項5】
前記第３の画像データが、前記ディスプレイ上に提示される仮想コンテンツと組み合わせて表示されるか、または前記第３の画像データが、前記ディスプレイの所定の部分上に表示されるかのうちの少なくとも１つである、請求項１に記載のシステム。
【請求項6】
前記第１のオフセットは、前記第１の目に対する前記第１のカメラの水平位置、前記第１の目に対する前記第１のカメラの垂直位置、または前記第１の目に対する前記第１のカメラの深度方向位置、の少なくとも１つに対応し、前記第２のオフセットは、前記第２の目に対する前記第２のカメラの水平位置、前記第２の目に対する前記第２のカメラの垂直位置、または前記第２の目に対する前記第２のカメラの深度方向位置、の少なくとも１つに対応する、請求項１に記載のシステム。
【請求項7】
前記第３の画像データを生成することは、１つ以上のコンピューティングデバイスに、前記深度マップ、前記第１の画像データ、および前記第２の画像データを送信することと、
前記１つ以上のコンピューティングデバイスから、前記第３の画像データを受信することと、を含む、請求項１に記載のシステム。
【請求項8】
１つ以上のトリガ事象に応じて、プロセッサによって、ヘッドマウントディスプレイの第１のカメラによってキャプチャされ、現実世界の環境の第１の部分を示す、第１の画像データを受信することと、
前記プロセッサによって、前記ヘッドマウントディスプレイの第２のカメラによってキャプチャされ、前記現実世界の環境の第２の部分を示す、第２の画像データを受信することと、
前記プロセッサによって、ユーザの第１の目に対する前記第１のカメラの第１のオフセットと、前記ユーザの第２の目に対する前記第２のカメラの第２のオフセットと、を決定することと、
前記プロセッサによって、前記第１のオフセットおよび前記第２のオフセットに少なくとも部分的に基づいて深度マップを生成することと、
前記プロセッサによって、前記第１の画像データ、および前記第２の画像データを前記深度マップに投影することに少なくとも部分的に基づいて、第３の画像データを生成することと、
前記ヘッドマウントディスプレイ上に、前記現実世界の環境の少なくとも一部を示す前記第３の画像データを表示することと、を含む、方法。
【請求項9】
前記１つ以上のトリガ事象は、前記ヘッドマウントディスプレイのボタンの押し込みを検出すること、
前記ヘッドマウントディスプレイを仮想現実モードからパススルーモードに移行させるための音声コマンドを検出すること、
前記ユーザが前記現実世界の環境の境界に近づいていることを検出すること、または
訪問者が前記現実世界の環境内にいることを検出すること、を含む、請求項８に記載の方法。
【請求項10】
前記第３の画像データは、前記ヘッドマウントディスプレイ上に提示された仮想コンテンツと組み合わせて表示される、請求項８に記載の方法。
【請求項11】
前記第１のオフセットは、前記第１の目に対する前記第１のカメラの水平位置、前記第１の目に対する前記第１のカメラの垂直位置、または前記第１の目に対する前記第１のカメラの深度方向位置、の少なくとも１つに対応し、前記第２のオフセットは、前記第２の目に対する前記第２のカメラの水平位置、前記第２の目に対する前記第２のカメラの垂直位置、または前記第２の目に対する前記第２のカメラの深度方向位置、の少なくとも１つに対応する、請求項８に記載の方法。
【発明の詳細な説明】
【関連出願の相互参照】
【0001】
これは、２０１９年４月２３日に出願された米国仮特許出願第６２／８３７，６６８号の優先権を主張する、２０２０年４月１４日に出願された米国特許出願第１６／８４８，３３２号の優先権を主張するＰＣＴ出願である。出願第１６／８４８，３３２号および同第６２／８３７，６６８号は、参照により全体が本明細書に組み込まれる。
【技術分野】
【0002】
[背景技術]
ヘッドマウントディスプレイは、エンジニアリング、医療、軍事、およびビデオゲームを含む、様々な用途で使用されている。場合によっては、ヘッドマウントディスプレイは、仮想現実または拡張現実環境の一部としてユーザに情報または画像を提示し得る。例えば、ビデオゲームをプレーしている間に、ユーザが、ヘッドマウントディスプレイを着用して、仮想環境内にユーザを没入させることができる。ヘッドマウントディスプレイは、没入型の体験を提供するが、物理的なまたは現実世界の視界を遮断する。結果として、ユーザは、物体（例えば、コントローラ）を拾い上げること、および／または現実世界の中の他の個人を認識することが困難であると感じる場合がある。加えて、ユーザは、現実世界（例えば、壁）の中の物理的な境界に気付かない場合がある。ヘッドマウントディスプレイを取り外すことにより、ユーザは見ることができる場合があるが、ヘッドマウントディスプレイを絶えず脱いだり身に着け直したりすることは面倒な場合があり、仮想環境と現実世界との間でユーザ自身を再向き付けすることを必要とする場合があり、かつ／または別様に仮想現実体験からそらされる場合がある。
ヘッドマウントディスプレイは、エンジニアリング、医療、軍事、およびビデオゲームを含む、様々な用途で使用されている。場合によっては、ヘッドマウントディスプレイは、仮想現実または拡張現実環境の一部としてユーザに情報または画像を提示し得る。例えば、ビデオゲームをプレーしている間に、ユーザが、ヘッドマウントディスプレイを着用して、仮想環境内にユーザを没入させることができる。ヘッドマウントディスプレイは、没入型の体験を提供するが、物理的なまたは現実世界の視界を遮断する。結果として、ユーザは、物体（例えば、コントローラ）を拾い上げること、および／または現実世界の中の他の個人を認識することが困難であると感じる場合がある。加えて、ユーザは、現実世界（例えば、壁）の中の物理的な境界に気付かない場合がある。ヘッドマウントディスプレイを取り外すことにより、ユーザは見ることができる場合があるが、ヘッドマウントディスプレイを絶えず脱いだり身に着け直したりすることは面倒な場合があり、仮想環境と現実世界との間でユーザ自身を再向き付けすることを必要とする場合があり、かつ／または別様に仮想現実体験からそらされる場合がある。
【図面の簡単な説明】
【0003】
詳細な説明を、添付の図を参照して説明する。図において、参照番号の左端の数字は、参照番号が最初に現れる図を識別する。異なる図における同じ、または同様の参照番号は、同様または同一の項目を示す。
【0004】
【図1】本開示の例示的な実施形態による、例示的な環境において例示的なヘッドマウントディスプレイを着用しているユーザを説明する。
【0005】
【0006】
【0007】
【0008】
【0009】
【発明を実施するための形態】
【0010】
ヘッドマウントディスプレイは、仮想現実環境でコンテンツを視認すること、およびコンテンツと相互作用するために、ユーザによって着用される。没入型の体験を提供するために、ヘッドマウントディスプレイは、ユーザの視野の大部分またはさらにすべてを網羅し得る。したがって、ヘッドマウントディスプレイは、現実世界からユーザの視覚を遮断し得、これにより、ユーザが物体につまずく、家具に衝突する、現実世界の中の個人を認めることができないなどの結果をもたらす場合がある。ヘッドマウントディスプレイを取り外すことにより、ユーザは現実世界を見ることができるが、ユーザが仮想現実環境と現実世界との間でユーザ自身をそれぞれ再向き付けする必要がある。いくつかのヘッドマウントディスプレイは、例えば、ユーザが現実世界をのぞき込むことを可能にするために開いているバイザを含み得る。しかしながら、かかる解決策は、仮想現実環境内へのユーザの没入を邪魔する。
【0011】
これらの不備を克服しようとする試みにおいて、いくつかのヘッドマウントディスプレイは、それぞれのユーザがユーザ自身のそれぞれのヘッドマウントディスプレイを取り外すことなく、現実世界を視認することを可能にするパススルー画像処理を可能にし得る。しかしながら、既存のパススルー画像処理は、かなり粗い応答時間を呈する傾向があり、ユーザの観点または視点からの現実世界を描写することができない場合があり、かつ／または歪む場合がある。結果として、ユーザはバランスを失うか、めまいを起こすか、方向がわからなくなるか、または病気になる可能性がある。
【0012】
本出願は、仮想現実（ＶＲ）環境で使用するためのヘッドマウントディスプレイ（ＨＭＤ）について部分的に説明する。本明細書に記載のシステムおよび方法は、ユーザを取り囲む現実世界の環境、現実世界の環境内でのユーザの場所、および／または現実世界の環境内でのユーザの姿勢に関する情報を決定し得る。かかる情報により、ＨＭＤは、パススルー方式で現実世界の環境の画像を、しかも、ユーザをＶＲ環境からそらさずに、表示することができる場合がある。場合によっては、ＨＭＤは、１つ以上のトリガ事象に基づいて、現実世界の環境の画像をパススルーすることができる。例えば、ＨＭＤを着用し、ユーザがＶＲ環境内に没入している間に、ユーザは、ユーザが現実世界の環境内を見回すことを可能にするボタンを作動させることができる。追加の例として、ユーザが疑わしい、または対象となる何かを聞いた場合、ユーザが現実世界の環境内で、あるアイテム（例えば、コントローラ）を位置特定することを望む場合、および／または訪問者がユーザの近傍に入った場合に、ＨＭＤは、現実世界の環境に関連付けられたコンテンツを表示し得る。場合によっては、コンテンツは、ユーザをＶＲ環境からそらすことを制限するための審美的な方法でユーザに提供され得る。例えば、コンテンツは、ＶＲ環境に関連付けられた仮想コンテンツへのオーバーレイとして提供され得る。かかる例では、ユーザは、ＨＭＤを着用し続けながら、ＶＲ環境内に没入したままでいることができる。したがって、本出願によるＨＭＤは、現実世界の環境とＶＲ環境との間でコンテンツを移送または表示するときにユーザ体験を増加させることができる。
【0013】
ＨＭＤは、ユーザの目に隣接して顔の上に着用されたディスプレイを有する前方を含み得る。ディスプレイは、ユーザが視認するための画像（または他のコンテンツ）を出力し得る。一実施例として、ユーザは、ＨＭＤを着用して、ゲームをプレーするか、または媒体コンテンツ（例えば、映画）を視認することができる。
【0014】
ＨＭＤは、現実世界の環境の画像をキャプチャするカメラを含み得る。場合によっては、カメラは、ディスプレイに装着することができ、かつ／またはＨＭＤの前方内に組み込まれ得る。さらに、または代替的に、カメラは、ＨＭＤの外部およびユーザの前方で画像をキャプチャするように前向きに面していてもよい。さらに、場合によっては、カメラは、ＨＭＤとは別個であり、環境全体に、またはユーザの他の部分（例えば、腰）に設置され得る。
【0015】
場合によっては、カメラは、カメラの光軸が平行であり、既知の距離だけ分離しているように、空間的に分離され得る。したがって、カメラは、わずかに異なる視認点から現実世界の環境の画像をキャプチャし得る。視認点間の情報の多様性を使用して、現実世界の環境の深度情報（すなわち、ステレオカメラ画像処理）を計算することができる。例えば、ＨＭＤおよび／または通信可能に連結されたコンピューティングデバイス（例えば、ゲームコンソール、パーソナルコンピュータなど）は、カメラによってキャプチャされた画像データを使用して、現実世界の環境に関連付けられた深度情報を生成することができる。
【0016】
例えば、カメラは、ＨＭＤの前方上で互いに水平方向および／または垂直方向に変位した、第１のカメラおよび第２のカメラを含み得る。場合によっては、第１のカメラは、ＨＭＤの第１の側面で前方上に位置し得、第２のカメラは、ＨＭＤの第２の側面で前方上に位置し得る。しかしながら、上述のように、第１のカメラおよび第２のカメラは、環境内の他の場所、および／またはユーザの他の部分の上に位置し得る。
【0017】
第１のカメラおよび／または第２のカメラによってキャプチャされた画像データは、現実世界の環境（例えば、部屋）の異なる視界を表し得る。第１のカメラおよび／または第２のカメラによってキャプチャされた画像（または画像データ）を比較することによって、ＨＭＤ（および／または別の通信可能に連結されたコンピューティングデバイス）は、（例えば、視差マッピングアルゴリズムを使用して）差異または視差を決定することができる。視差は、２つの画像内の対応する画像点の座標の差異を表し得る。視差（または視差値）は現実世界の環境内の深度に反比例するため、ＨＭＤ、および／またはゲームコンソールなどの別の通信可能に連結されたコンピューティングデバイスは、現実世界の環境（またはその一部分）に関連付けられた深度情報を決定し得る。場合によっては、深度情報は、ユーザの観点（すなわち、ユーザの視線）からであってもよい。
【0018】
深度情報を使用して、ＨＭＤ、および／またはゲームコンソールなどの別の通信可能に連結されたコンピューティングデバイスは、現実世界の環境（またはその一部分）の、深度マップまたは三次元（３Ｄ）メッシュを生成し得る。例えば、深度マップは、ユーザと現実世界の環境内の物体（例えば、部屋の壁、家具など）との間の距離を表し得る。さらに、または代替的に、ＨＭＤは、深度マップおよび／または３Ｄを生成するために利用される他のセンサを含み得る。例えば、ＨＭＤは、ユーザと現実世界の環境内の物体との間の距離を決定するための深度センサを含み得、ユーザが現実世界の環境の物体または境界に近接している（例えば、所定の近接または閾値の近接）ことを決定し得る。しかしながら、ＨＭＤまたはゲームコンソールは、深度マップおよび／または３Ｄメッシュを生成する際に使用するために、さらに、または代替的に、ライト検出および測距（ＬＩＤＡＲ）、超音波測距、立体視的な測距、構造化されたライトの分析、ドット投影、粒子投影、飛行時間の観測などを使用することができる。
【0019】
現実世界の環境の深度マップおよび／または３Ｄメッシュを生成すると、ＨＭＤ、および／またはゲームコンソールなどの別の通信可能に連結されたコンピューティングデバイスは、画像データを、深度マップおよび／または３Ｄメッシュに投影し得る。この意味で、画像データは、最初に、深度マップおよび／または３Ｄメッシュを生成するために利用され得、従属的に、深度マップおよび／または３Ｄメッシュに重ね合わされ得るか、オーバーレイされ得るか、または投影され得る。そうすることによって、ＨＭＤは、ユーザに対して現実世界の環境を描写するように、コンテンツを表示し得る。
【0020】
場合によっては、深度マップ、３Ｄメッシュ、ならびに／または第１のカメラおよび／もしくは第２のカメラによってキャプチャされた画像は、ユーザの姿勢または視点を考慮に入れるように修正され得る。例えば、カメラは、ユーザの目と（例えば、水平方向、垂直方向、および深度方向に）整列しない（すなわち、カメラはユーザの目の正確な位置にない）場合があるため、深度マップおよび／または３Ｄメッシュは、この矛盾を考慮に入れることができる。言い換えれば、第１のカメラおよび第２のカメラによってキャプチャされた画像データは、ユーザの視点とは異なる視点を表し得る。この矛盾を考慮に入れることができないと、不完全な現実世界の環境を説明する場合があり、ユーザは、深度値または画像データがユーザの視点からではないため、物体を拾い上げることが困難であると感じる場合がある。例えば、カメラは、ユーザの目の観点および／または深度とは異なる観点および／または深度から画像データをキャプチャする（すなわち、カメラは、ユーザの目と同じ水平方向、垂直方向、および／または深度方向の位置にない）ため、３Ｄメッシュは、このオフセットを考慮に入れて、ユーザに対して、現実世界の環境の歪んでいない視界を正確に描き、提示することができる。つまり、深度マップ、３Ｄメッシュ、および／または画像データは、第１のカメラおよび第２のカメラ、ならびにユーザの目（例えば、第１の目および／もしくは第２の目）または視野の座標位置（または場所）の差異（またはオフセット）に少なくとも部分的に基づいて修正され得る。したがって、ユーザに対して表示される現実世界の環境の画像は、ユーザの観点から現実世界の環境内の物体を正確に表現し得る。
【0021】
さらに、または代替的に、場合によっては、ＨＭＤおよび／または現実世界の環境は、ユーザの視線、視点、および／または視野を追跡するセンサを含み得る。例えば、ＨＭＤは、ユーザの目の瞳孔間の距離を測定するための瞳孔間距離（ＩＰＤ）センサ、および／またはユーザの目の視線の方向を検出する他のセンサを含み得る。かかるセンサを利用して、ユーザに対して現実世界の環境の画像を正確に描くように、ユーザの視点を決定することができる。
【0022】
パススルー画像処理により、ユーザは、同僚、コンピュータスクリーン、モバイルデバイスなどのような、現実世界の環境内の物体と相互作用し、物体を視認することができる場合がある。場合によっては、ユーザは、ＶＲ環境と現実世界の環境との間をトグルもしくはスイッチすることができるか、またはＨＭＤは、１つ以上のトリガ事象に応答して、ＶＲ環境と現実世界の環境との間を自動的にスイッチすることができる。つまり、ＨＭＤは、現実世界の環境がユーザに提示されるパススルーモードおよび／またはＶＲ環境がユーザに提示される仮想現実モードなどの１つ以上のモードを含み得る。一実施例として、ＨＭＤを着用している間に、ユーザが水を飲むことを望む場合がある。ＨＭＤを取り外すのではなく、ユーザは、現実世界の環境を表示させる、ＨＭＤ上のボタンを作動させる（例えば、二度押しする）ことができる。次に、ディスプレイは、現実世界の環境の画像を提示して、ユーザがユーザ自身のグラスの水を、しかも、ＨＭＤを脱がずに、位置特定することを可能にすることができる。その後、グラスの水を位置特定した後、ユーザは、ディスプレイにＶＲ環境の仮想コンテンツを提示させるように、ボタンを作動させる（例えば、一回押しする）ことができる。したがって、現実世界の環境を表すパススルー画像により、ユーザは、現実世界の環境をあちこち移動して、物体を、しかも、物体（例えば、家具）にぶつかることなく、位置特定することができる場合がある。さらなる実施例として、パススルー画像は、ユーザの現実世界の環境内に入ってくる別の個人を表し得る。ここで、ＨＭＤは、他の個人を検出し得、ユーザが他の個人を認識することができるか、または他の個人に気付かせることができるように、ディスプレイ上に画像を提示し得る。
【0023】
場合によっては、ユーザに表示される現実世界の環境に関連付けられたコンテンツは、ＶＲ環境内にあるものというユーザの感覚を維持するために部分的に透明であり得る。場合によっては、現実世界の環境に関連付けられたコンテンツは、仮想コンテンツと組み合わされ得るか、または現実世界の環境に関連付けられたコンテンツのみが提示され得る（例えば、１００パーセントのパススルー画像処理）。さらに、または代替的に、場合によっては、カメラによってキャプチャされた画像は、ディスプレイの全体上に提示され得るか、または特定の部分内に提示され得る。さらに、場合によっては、現実世界の環境に関連付けられたコンテンツは、どのコンテンツが現実世界の環境の一部であり、どのコンテンツがＶＲ環境の一部であるかをユーザに指示するように、点線で表示され得る。かかる提示により、ユーザは、近付く個人、騒動、および／またはユーザを取り囲む物体を見ることができる場合がある。特定の実装例または構成にかかわらず、ＨＭＤは、現実世界の環境に関連付けられたコンテンツを表示して、ユーザの視野内に入ってくる物体を警告、検出、または別様に認識するように機能し得る。
【0024】
場合によっては、ＨＭＤ、および／またはゲームコンソールなど、ＶＲ環境に関連付けられた他のコンピューティングデバイスは、現実世界の環境内の追跡システムと連動して動作し得る。追跡システムは、現実世界の環境内のユーザの位置を追跡するセンサを含み得る。かかる追跡を使用して、ユーザがＶＲ環境に没入している間に、環境内のユーザの場所および／またはユーザの姿勢もしくは視点など、ユーザを取り囲む現実世界の環境に関する情報を決定することができる。現実世界の環境内では、追跡システムは、ユーザの場所および／または姿勢を決定し得る。場合によっては、追跡システムは、現実世界の環境の中心に対するユーザの場所および／または姿勢を決定し得る。
【0025】
場合によっては、追跡システムは、現実世界の環境内に（例えば、可視または非可視の）ライトを発するライティング要素と、入射ライトを検出するセンサと、を含み得る。場合によっては、ユーザの場所および／または姿勢を検出するために、ＨＭＤは、マーカを含み得る。ライトを現実世界の環境に投影すると、マーカはライトを反射し得、センサはマーカによって反射された入射ライトをキャプチャし得る。キャプチャされた入射ライトを使用して、環境内のマーカの場所を追跡および／または決定することができ、これを使用して、ユーザの場所および／または姿勢を決定することができる。
【0026】
場合によっては、現実世界の環境内のユーザの場所および／または姿勢を利用して、ユーザに対して警告、指示、またはコンテンツを提示することができる。例えば、ユーザが現実世界の環境の壁に近付いて、（追跡システムを介して）ユーザおよび壁の場所を知る場合、ＨＭＤは、現実世界の環境内の壁を表す画像を表示し得る。つまり、カメラによってキャプチャされた画像を使用して（すなわち、深度値を介して）、ユーザが壁に近付いていることを決定することに加えて、またはそれに代わって、追跡システムは、現実世界の環境内のユーザの相対的な場所を決定することができる。かかる追跡は、現実世界の環境内の物体の深度（または設置）に正確に対応する画像を提示することを支援し得る。
【0027】
さらに、追跡システムから取得された画像またはデータを使用して、現実世界の環境の３Ｄモデル（またはメッシュ）を生成することができる。例えば、ユーザ、ＨＭＤ、追跡システム、ゲームコンソール、ならびに／または別の通信可能に連結されたコンピューティングデバイスの場所および／もしくは姿勢を知ることにより、現実世界の環境内のユーザの相対的な場所を決定することができる。この、ユーザの場所および／または姿勢を利用して、ユーザが見ている現実世界の環境の３Ｄモデルの対応する部分（すなわち、ユーザの視野）を決定することができる。例えば、カメラがユーザの視点に関連付けられていない画像をキャプチャすると、追跡システムは、ユーザの視線、姿勢、または視点を決定し得る。かかる情報を使用して、ユーザが現実世界の環境内のどこを見ているかを決定することができる。ユーザが現実世界の環境内のどこを見ているかを知ることを使用して、カメラによってキャプチャされた画像を修正することができる。そうすることで、ＨＭＤは、現実世界の環境を正確に表示し得る。
【0028】
ＨＭＤ、追跡システム、ゲームコンソール、および／または別の通信可能に連結されたコンピューティングデバイスは、カメラの画像データを使用して生成された深度マップおよび／または３Ｄメッシュを３Ｄモデルと比較して、現実世界の環境内のユーザの相対的な場所を決定することもできる。特定の実装例にかかわらず、現実世界の環境内のユーザの場所および／または姿勢を知ることで、ＨＭＤおよび／または別の通信可能に連結されたコンピューティングデバイスは、深度マップの点および／または３Ｄメッシュの点を現実世界の環境の３Ｄモデルに変換し得る。次に、カメラによってキャプチャされた画像は、ユーザの視点に対応する３Ｄモデル上に投影され得る。
【0029】
したがって、上記に鑑みて、本出願は、パススルー画像処理を提供してＶＲ体験を増強する、ＨＭＤについて考察する。パススルー画像処理は、ＶＲ環境のコンテンツおよび現実世界の環境に関連付けられたコンテンツを表示するときに、比較的シームレスな体験を提供し得る。かかるパススルー画像処理は、現実世界の環境に関連付けられたコンテンツを視認するための侵入性が低き、邪魔にならない解決策を提供する。場合によっては、現実世界の環境に関連付けられた情報またはコンテンツは、動き、音、ジェスチャ、事前構成された事象、ユーザの運動の変化などを含むが、これらに限定されない、トリガに応答して、ユーザに選択的に提供され得る。さらに、場合によっては、本出願によるＨＭＤは、ヘルメット、バイザ、ゴーグル、マスク、眼鏡、およびユーザの頭の上に着用される他のヘッドまたはアイウェアを含む、多くの形態をとり得る。
【0030】
本開示は、本明細書に開示される構造、機能、デバイス、およびシステムの原理の全体的な理解を提供する。本開示の１つ以上の実施例を、添付の図面において説明する。当業者は、本明細書に具体的に記載され、添付の図面において説明される、デバイスおよび／またはシステムが非限定的な実施形態であることを理解されよう。システムと方法との間のものを含む、１つの実施形態に関連して説明または記載される特徴を、他の実施形態の特徴と組み合わせることができる。かかる修正例および変形例は、添付の特許請求の範囲内に含まれることが意図される。
【0031】
図１は、環境１０２内に存在し、ＨＭＤ１０４を着用している、ユーザ１００を説明する。場合によっては、ユーザ１００は、ＨＭＤ１０４を着用して、ユーザ１００をＶＲ環境内に没入させることができる。場合によっては、ユーザ１００は、１つ以上のコントローラ１０６を使用してＶＲ環境内で相互作用し得る。ＨＭＤ１０４は、ユーザ１００、ならびに場合によっては、第１のカメラ１１０および／または第２のカメラ１１２などの画像キャプチャデバイスに、仮想コンテンツおよび／または画像を提供するためのディスプレイ１０８を含む。
【0032】
第１のカメラ１１０および／または第２のカメラ１１２は、環境１０２の画像をキャプチャし、環境１０２の画像を、ディスプレイ１０８上で視認するためにユーザ１００にパススルーすることができる。つまり、本明細書で詳細に考察されるように、第１のカメラ１１０および／または第２のカメラ１１２によってキャプチャされた画像は、ユーザ１００がＶＲ環境から離れ、かつ／またはＨＭＤ１０４を取り外す必要なしに、環境１０２を視認することを可能にするように、パススルー方式でユーザ１００に提示され得る。
【0033】
場合によっては、第１のカメラ１１０および／または第２のカメラ１１２は、ＨＭＤ１０４の前方内または前方近くに配設され得る。場合によっては、第１のカメラ１１０および／または第２のカメラ１１２は、ステレオカメラ、赤外線（ＩＲ）カメラ、深度カメラ、および／またはこれらの任意の組み合わせを表し得る。第１のカメラ１１０および／または第２のカメラ１１２によってキャプチャされた画像は、ユーザ１００を取り囲む環境１０２を表し得る。場合によっては、第１のカメラ１１０および／または第２のカメラ１１２は、ユーザ１００の前方で環境１０２の画像をキャプチャするように前向きに面していてもよい。場合によっては、第１のカメラ１１０および／または第２のカメラ１１２は、これらのカメラの光軸が平行であるように空間的に分離され得る。したがって、第１のカメラ１１０および／または第２のカメラ１１２によってキャプチャされた画像は、異なる視認点から環境１０２を表し得、環境１０２に関連付けられた深度情報を決定するように使用され得る（すなわち、ステレオカメラ画像処理）。しかしながら、場合によっては、第１のカメラ１１０および／または第２のカメラ１１２は、環境１０２内の他の場所に位置し得る。例えば、第１のカメラ１１０および／または第２のカメラ１１２は、環境１０２の床の上に位置し得、環境１０２内の机などの上に位置し得る。
【0034】
説明されるように、ＨＭＤ１０４は、ＨＭＤ１０４に関連付けられた動作を行うか、または別様に実施する、プロセッサ（複数可）１１４を含み得る。例えば、プロセッサ（複数可）１１４は、第１のカメラ１１０および／または第２のカメラ１１２に画像をキャプチャさせ、その後、第１のカメラ１１０および／または第２のカメラ１１２によってキャプチャされた画像を受信し、画像（または画像データ）を比較し、画像（または画像データ）間の差異を決定することができる。差異が環境１０２内の物体の深度に反比例する場合、プロセッサ（複数可）１１４は、環境１０２に関連付けられた深度情報を決定し得る（例えば、壁、家具、ＴＶなど）。
【0035】
場合によっては、深度情報を使用して、プロセッサ（複数可）１１４は、環境１０２の深度マップまたは３Ｄメッシュを生成し得る。例えば、説明されるように、ＨＭＤ１０４は、環境１０２の深度マップ１１８および／または環境１０２の３Ｄメッシュ１２０を記憶するか、または別様に環境１０２の深度マップ１１８および／または環境１０２の３Ｄメッシュ１２０へのアクセスを有する、メモリ１１６を含む。第１のカメラ１１０および／または第２のカメラ１１２によってキャプチャされた画像データが環境１０２の一部分を表す場合、それに応じて、深度マップ１１８および／または３Ｄメッシュ１２０は、環境１０２の一部分を表し得る。場合によっては、深度マップ１１８および／または３Ｄメッシュ１２０を生成すると、プロセッサ（複数可）１１４は、深度マップ１１８および／または３Ｄメッシュ１２０をメモリ１１６内に記憶し得る。
【0036】
第１のカメラ１１０および／もしくは第２のカメラ１１２によってキャプチャされた画像データ、深度マップ、ならびに／または３Ｄメッシュが、ユーザ１００の観点（すなわち、ユーザ１００の視点）からではない場合、ＨＭＤ１０４（および／または別の通信可能に連結されたコンピューティングデバイス）は、ユーザ１００の観点に対する（例えば、それぞれ第１の目および／または第２の目に対する）第１のカメラ１１０および／または第２のカメラ１１２の配置を考慮に入れることができる。つまり、ＨＭＤ１０４上に位置しようが、環境内の他の場所に位置しようが、第１のカメラ１１０および／または第２のカメラ１１２は、ユーザ１００の視点および／またはユーザ１００の観点に対応する画像をキャプチャしない。したがって、画像データ、または深度マップおよび／もしくは３Ｄメッシュ内の点は、この変位を考慮に入れるように、修正またはオフセットされ得る。
【0037】
場合によっては、ＨＭＤ１０４は、追跡システム１２２と関連して動作し得る。場合によっては、ＨＭＤ１０４は、ネットワーク１２４を介して追跡システム１２２に通信可能に連結し得る。例えば、ＨＭＤ１０４および追跡システム１２２は、ネットワーク１２４への無線接続を容易にするように、それぞれネットワークインターフェイス１２６および／またはネットワークインターフェイス１２８などの１つ以上のインターフェイスを含み得る。ネットワーク１２４は、データおよび／または音声ネットワークを含む、任意のタイプの通信ネットワークを表し、有線インフラストラクチャ（例えば、ケーブル、ＣＡＴ５、光ファイバケーブルなど）、無線インフラストラクチャ（例えば、ＲＦ、セルラー、マイクロ波、衛星、ＢｌｕｅｔｏｏｔｈＴＭなど）、および／または他の接続技術を使用して実装され得る。
【0038】
追跡システム１２２は、環境１０２内のユーザ１００、ＨＭＤ１０４、第１のカメラ１１０、および／または第２のカメラ１１２の姿勢を決定もしくは追跡する、構成要素を含み得る。この意味で、追跡システム１２２は、第１のカメラ１１０および／または第２のカメラ１１２が、ユーザ１００に対してパススルーするために、環境１０２の画像をキャプチャした時点における、ユーザ１００、ＨＭＤ１０４、第１のカメラ１１０、および／もしくは第２のカメラ１１２の場所、向き、ならびに／または姿勢を決定することができる。例えば、追跡システム１２２（および／または別のコンピューティングデバイス）は、追跡システム１２２によってキャプチャされた画像を分析および解析して、環境１０２内のユーザ１００および／またはユーザ１００の姿勢を識別することができる。例えば、場合によっては、追跡システム１２２は、ユーザ１００の場所、向き、および／または姿勢を決定するように動作する、プロジェクタ（複数可）１３０および／またはセンサ（複数可）１３２を含み得る。示されるように、場合によっては、追跡システム１２２は、環境１０２の壁に装着することができる。さらに、または代替的に、追跡システム１２２は、環境１０２内の他の場所（例えば、天井、床など）に装着することができる。
【0039】
プロジェクタ（複数可）１３０は、ライトおよび／または画像を生成し、環境１０２に投影するように構成されている。場合によっては、画像は、ユーザ１００に知覚可能な可視ライトの画像、ユーザ１００に知覚不可能な可視ライトの画像、非可視ライトを有する画像、またはこれらの組み合わせを含み得る。プロジェクタ（複数可）１３０は、画像を生成し、環境１０２内／環境１０２に投影することができる任意の数の技術とともに実装され得る。好適な技術としては、デジタルマイクロミラーデバイス（ＤＭＤ）、液晶オンシリコンディスプレイ（ＬＣＯＳ）、液晶ディスプレイ、３ＬＣＤなどが挙げられる。
【0040】
センサ（複数可）１３２としては、高解像度カメラ、赤外線（ＩＲ）検出器、センサ、３Ｄカメラ、ＩＲカメラ、ＲＧＢカメラなどが挙げられ得る。センサ（複数可）１３２は、可視ライトの波長、非可視ライトの波長、またはこれらの両方で環境１０２を画像処理するように構成されている。センサ（複数可）１３２は、環境１０２内の物体の深度、場所、向き、および／または姿勢を検出するための情報をキャプチャするように構成され得る。例えば、ユーザ１００が環境１０２のあちこちへ操縦するにつれて、センサ（複数可）１３２は、ユーザ１００の場所、向き、および／または姿勢を検出し得る。場合によっては、センサ（複数可）１３２は、環境１０２内のいくつかまたはすべての角度および場所をキャプチャし得る。代替的に、センサ（複数可）１３２は、環境１０２の規定の区域内で画像に焦点を合わせるか、または画像をキャプチャすることができる。
【0041】
プロジェクタ（複数可）１３０および／またはセンサ（複数可）１３２は、ＨＭＤ１０４のマーカ（複数可）１３４と連動して動作し得る。例えば、追跡システム１２２は、プロジェクタ（複数可）１３０を介して、環境１０２にライトを投影することができ、センサ（複数可）１３２は、マーカ（複数可）１３４の反射画像をキャプチャすることができる。キャプチャされた画像を使用して、追跡システム１２２のプロセッサ（複数可）１３６などの追跡システム１２２は、マーカ（複数可）１３４までの距離情報を決定し得る。さらに、または代替的に、追跡システム１２２は、環境１０２内のユーザ１００の姿勢（例えば、向き）を検出し得る。場合によっては、マーカ（複数可）１３４を使用して、ユーザ１００の視点を決定することができる。例えば、マーカ（複数可）１３４とユーザ１００の目との間の距離は、既知であってもよい。マーカ（複数可）１３４の画像データをキャプチャする際に、追跡システム１２２（および／または他の通信可能に連結されたコンピューティングデバイス）は、ユーザ１００の相対的な視点を決定し得る。したがって、追跡システム１２２は、ＨＭＤ１０４のマーカ（複数可）１３４を利用して、環境１０２内のユーザ１００の相対的な場所および／または姿勢を決定することができる。
【0042】
環境１０２についての特性を定義または決定するために、ゲームアプリケーションを開始すると、ＨＭＤ１０４は、ユーザ１００がＶＲ環境に没入している間に中で操縦することができる環境１０２の境界、周囲、または区域を定義するようにユーザ１００に要求し得る。一実施例として、プロセッサ（複数可）１１４は、ディスプレイ１０８に、環境１０２を歩き回り、環境１０２の境界（またはユーザ１００がＶＲ環境に没入している間に中で操縦する区域）を定義するように、ユーザ１００に命令を提示させ得る。ユーザ１００が環境１０２の周りを歩く際に、ＨＭＤ１０４は、第１のカメラ１１０および／または第２のカメラ１１２を介して環境１０２の画像をキャプチャすることができ、追跡システム１２２は、ユーザ１００を追跡することができる。その点で、環境１０２の境界を決定すると、追跡システム１２２は、区域の中央の場所（例えば、起点）を決定することができる。区域の中央の場所を知ることにより、ＨＭＤ１０４は、環境１０２内の物体またはシーンの相対的な場所を適切に表示することができる場合がある。場合によっては、中央の場所は、（Ｘ、Ｙ、Ｚ）デカルト座標系において（０、０、０）として表され得る。
【0043】
場合によっては、追跡システム１２２は、境界および／または中央の場所をＨＭＤ１０４に伝送し得る。例えば、ＨＭＤ１０４のプロセッサ（複数可）１１４は、境界１３８によって指示されるように、境界および／または中央の起点をメモリ１１６に記憶し得る。さらに、または代替的に、場合によっては、第１のカメラ１１０および／または第２のカメラ１１２によってキャプチャされた画像は、追跡システム１２２によってキャプチャされた画像に関連付けられ得る。例えば、区域を定義しながら、第１のカメラ１１０および／または第２のカメラ１１２によってキャプチャされた画像を使用して、環境１０２の深度マップを生成することができる。それに応じて、これらの深度マップを、環境１０２全体を通してユーザ１００を追跡することによって決定されるように、環境１０２内の特定の場所／姿勢に関連付けることができる。場合によっては、これらの深度マップを組み合わせて、または別様に使用して、環境１０２の３Ｄモデルまたはメッシュを生成することができる。ＨＭＤ１０４および／または追跡システム１２２から後続の画像データを受信する際に、環境１０２内のユーザ１００の場所を決定することができ、これは、環境１０２内、およびユーザの観点、場所、または姿勢からの深度情報を決定するのに役立つ場合がある。例えば、第１のカメラ１１０および／または第２のカメラ１１２によってキャプチャされた画像データがユーザ１００の視点に対応していない場合、追跡システム１２２は、マーカ（複数可）１３４からキャプチャされた画像を介してユーザ１００の視点を決定することができる。この視点を使用して、第１のカメラ１１０および／または第２のカメラ１１２によってキャプチャされた画像データを、ユーザ１００の視点を表すように修正することができる。
【0044】
例えば、ユーザ１００がＶＲ環境に従事し、環境１０２のあちこちへ操縦するにつれて、追跡システム１２２は、マーカ（複数可）１３４からの反射ライトを中央の場所と比較することによって、環境１０２内のＨＭＤ１０４の相対的な場所を決定し得る。この情報を使用して、ＨＭＤ１０４、追跡システム１２２、および／または別の通信可能に連結されたコンピューティングデバイス（例えば、ゲームコンソール）は、中央の場所からのＨＭＤ１０４の距離、または中央の場所に対するＨＭＤ１０４の場所を決定することができる。さらに、ＨＭＤ１０４、追跡システム１２２、および／または別の通信可能に連結されたコンピューティングデバイスは、環境１０２内のユーザ１００の視点などの姿勢を決定し得る。例えば、追跡システム１２２は、ユーザ１００が環境１０２の天井、壁、または床に向かって見ていることを決定し得る。かかる情報を使用して、ユーザの目または視点に対する、第１のカメラ１１０および／または第２のカメラ１１２の位置を修正するか、または別様に位置を考慮に入れることができる。
【0045】
場合によっては、追跡システム１２２は、固定された向きを有するシャーシに連結し得るか、またはシャーシが移動し得るように、シャーシがアクチュエータ（複数可）１４０に連結し得る。アクチュエータ１４０は、圧電アクチュエータ、モータ、リニアアクチュエータ、ならびにプロジェクタ（複数可）１３０および／またはセンサ（複数可）１３２などの追跡システム１２２のシャーシもしくは構成要素を変位または移動させるように構成された他のデバイスを含み得る。
【0046】
ＨＭＤ１０４は、さらに、または代替的に、リモートコンピューティングリソース１４２と連動して動作し得る。追跡システム１２２はまた、リモートコンピューティングリソース１４２に通信可能に連結し得る。いくつかの実施例では、ＨＭＤ１０４および／または追跡システム１２２は、リモートコンピューティングリソース１４２が、ＨＭＤ１０４および／または追跡システム１２２のコンピュータ処理能力をはるかに上回るコンピュータ処理能力を有し得ることを考慮して、リモートコンピューティングリソース１４２に通信可能に連結し得る。したがって、ＨＭＤ１０４および／または追跡システム１２２は、環境１０２の比較的複雑な分析を実施するため、および／または環境１０２の画像データのモデル（もしくはメッシュ）を生成するために、リモートコンピューティングリソース１４２を利用し得る。例えば、第１のカメラ１１０および／または第２のカメラ１１２は、ＨＭＤ１０４が、分析および処理のためにネットワーク１２４を介してリモートコンピューティングリソース１４２に提供し得る、画像データをキャプチャすることができる。場合によっては、リモートコンピューティングリソース１４２は、表示するためにコンテンツをＨＭＤ１０４に伝送し得る。例えば、第１のカメラ１１０および／または第２のカメラ１１２によってキャプチャされた画像をパススルーするようにＨＭＤ１０４を構成するトリガ事象（例えば、ボタンの押し込み）に応答して、リモートコンピューティングリソース１４２は、上にＨＭＤ１０４が第１のカメラ１１０および／または第２のカメラ１１２によってキャプチャされた画像を投影する、深度マップ、３Ｄメッシュ、および／または３Ｄモデルを伝送し得る。したがって、ユーザ１００に渡すために第１のカメラ１１０および／または第２のカメラ１１２によって取り込まれた画像は、処理するためにリモートコンピューティングリソース１４２に伝送され得、ＨＭＤ１０４は、ディスプレイ１０８上に表示されるコンテンツを受信し得る。
【0047】
説明されるように、リモートコンピューティングリソース１４２は、プロセッサ（複数可）１４４およびメモリ１４６を含み、メモリ１４６は、ＨＭＤ１０４のメモリ１１６に関して記載された構成要素のうちのいくつかもしくはすべてを記憶し得るか、または別様に当該構成要素へのアクセスを有し得る。例えば、メモリ１４６は、深度マップ１１８、３Ｄメッシュ１２０、および／または境界１３８へのアクセスを有し、深度マップ１１８、３Ｄメッシュ１２０、および／または境界１３８を利用することができる。リモートコンピューティングリソース１４２は、さらに、または代替的に、追跡システム１２２のメモリ１４８を記憶し得るか、または別様にメモリ１４８へのアクセスを有し得る。
【0048】
場合によっては、リモートコンピューティングリソース１４２は、環境１０２からリモートであってもよく、ＨＭＤ１０４は、ネットワークインターフェイス１２６を介して、およびネットワーク１２４上で、リモートコンピューティングリソース１４２に通信可能に連結し得る。リモートコンピューティングリソース１４２は、１つ以上のサーバとして実装され得、場合によっては、インターネットなどのネットワークを介して維持され、アクセス可能である、プロセッサ、ストレージ、ソフトウェア、データアクセスなどのコンピューティングインフラストラクチャとして実装されたネットワークアクセス可能なコンピューティングプラットフォームの一部分を形成し得る。リモートコンピューティングリソース１４２は、サービスを配信するシステムの物理的な場所および構成に関するエンドユーザの知識を必要としない。これらのリモートコンピューティングリソース１４２に関連付けられた一般的な表現としては、「オンデマンドコンピューティング」、「サービスとしてのソフトウェア（ＳａａＳ）」、「プラットフォームコンピューティング」、「ネットワークアクセス可能なプラットフォーム」、「クラウドサービス」、「データセンタ」などが挙げられ得る。
【0049】
場合によっては、環境１０２は、ネットワーク１２４および／または有線技術を介して、ＨＭＤ１０４、コントローラ１０６、追跡システム１２２、および／またはリモートコンピューティングリソース１４２に通信可能に連結するコンピュータ１５０（またはゲームアプリケーション、ゲームコンソール、ゲームシステム）を含み得る。場合によっては、コンピュータ１５０は、ＨＭＤ１０４、コントローラ１０６、追跡システム１２２、および／またはリモートコンピューティングリソース１４２によって実施可能なものなど、本明細書に記載のプロセスのうちのいくつかまたはすべてを実施し得る。例えば、コンピュータ１５０は、ユーザ１００の視点を考慮に入れるように、第１のカメラ１１０および／もしくは第２のカメラ１１２から受信した画像データ、または当該カメラに関連する深度マップを修正することができる。かかる例では、コンピュータ１５０は、ユーザ１００の視点、ならびに／またはユーザが位置する区域の起点（例えば、現実世界の環境の起点）および／もしくは仮想世界の起点に関する、指示を追跡システム１２２により決定するか、または追跡システム１２２から受信することができる。したがって、コンピュータは、追跡システム１２２から受信した指示に基づいて、第１のカメラ１１０および／または第２のカメラ１１２から受信した画像データ、または当該カメラに関連する深度マップを修正することができる。いくつかの実施形態では、画像データがカメラ１１０、１１２のうちの一方または両方によってキャプチャされた時間（複数可）（例えば、タイムスタンプ（複数可））を使用して、画像データをキャプチャする時間と、キャプチャされた画像データを表示する時間との間の時間の差異を決定することができる。例えば、最終的にユーザに表示される画像データは、画像データがカメラ（複数可）１１０および／または１１２によってキャプチャされた後、数十ミリ秒だけ遅延し得る。画像がＨＭＤ上に表示された時点で画像が物理的な世界に現れるように画像を提示するために、ピクセルデータを（例えば、回転方向の調節および／または並進方向の調節を通じて）修正することなどによって、この時間的な視差または不一致を考慮に入れるように画像データに調節を行うことができ、これにより、ユーザの頭の動きよりも遅れているように現れる画像の提示を回避する。いくつかの実施形態では、カメラ（複数可）１１０および／または１１２を追跡してタイムスタンプ情報を維持することができ、その結果、画像（複数可）をキャプチャする時点のカメラ（複数可）の姿勢は既知であり、またその結果、結果として生じる画像データが受信および処理される時点のカメラ（複数可）の姿勢を使用して、カメラの動きに依存する代わりに、空間的に画像を正確に表すことができる。さらに、コンピュータ１５０は、メモリ１１６、１４６、および／または１４８に関して記載された構成要素のうちのいくつかまたはすべてを記憶し得るか、または別様に当該構成要素へのアクセスを有し得る。
【0050】
本明細書で使用される場合、プロセッサ（複数可）１１４、１３６、１４４、および／またはコンピュータのプロセッサなどのプロセッサは、複数のプロセッサ、および／または複数のコアを有するプロセッサを含み得る。さらに、プロセッサ（複数可）は、異なるタイプの１つ以上のコアを備え得る。例えば、プロセッサ（複数可）は、アプリケーションプロセッサユニット、グラフィック処理ユニットなどを含み得る。１つの実装例では、プロセッサ（複数可）は、マイクロコントローラおよび／またはマイクロプロセッサを含み得る。プロセッサ（複数可）は、グラフィック処理ユニット（ＧＰＵ）、マイクロプロセッサ、デジタル信号プロセッサ、または当該技術分野で知られている他の処理ユニットもしくは構成要素を含んでもよい。代替的に、またはさらに、本明細書で機能的に説明されるのは、１つ以上のハードウェア論理構成要素によって少なくとも部分的に実施され得る。例えば、非限定的に、使用され得るハードウェア論理構成要素の例示的なタイプとしては、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップシステム（ＳＯＣ）、複合プログラマブル論理デバイス（ＣＰＬＤ）などが挙げられる。加えて、プロセッサ（複数可）の各々は、プログラム構成要素、プログラムデータ、および／または１つ以上のオペレーティングシステムを記憶することもできる、プロセッサ独自のローカルメモリを保有し得る。
【0051】
本明細書で使用される場合、メモリ１１６、１４６、１４８、および／またはコンピュータ１５０のメモリなどのメモリは、コンピュータ可読命令、データ構造、プログラム構成要素、または他のデータなどの情報の記憶のための任意の方法もしくは技術で実装される、揮発性および不揮発性メモリ、取り外し可能な媒体および取り外し不可能な媒体を含んでもよい。かかるメモリとしては、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）もしくは他の光学ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、ＲＡＩＤストレージシステム、または所望の情報を記憶するために使用することができ、かつコンピューティングデバイスからアクセスすることができる任意の他の媒体が挙げられ得るが、これらに限定されない。メモリは、コンピュータ可読記憶媒体（「ＣＲＳＭ」）として実装され得、これは、メモリに記憶された命令を実行するためにプロセッサ（複数可）によってアクセス可能な任意の利用可能な物理媒体であり得る。１つの基本的な実装例では、ＣＲＳＭは、ランダムアクセスメモリ（「ＲＡＭ」）およびフラッシュメモリを含み得る。他の実装例では、ＣＲＳＭは、読み出し専用メモリ（「ＲＯＭ」）、電気的に消去可能なプログラマブル読み出し専用メモリ（「ＥＥＰＲＯＭ」）、または所望の情報を記憶するために使用され得、かつプロセッサ（複数可）によってアクセスされ得る、任意の他の有形媒体を含み得るが、これらに限定されない。
【0052】
図２は、ＨＭＤ１０４の斜視図を説明する。ＨＭＤ１０４は、ユーザ１００の頭に固設される、前方２００および後方２０２を含み得る。例えば、ＨＭＤ１０４は、ＨＭＤ１０４の前方２００およびＨＭＤ１０４の後方２０２を動作可能に連結する、ストランド、コード、セクション、ストラップ、バンド、または他の部材を含み得る。前方２００は、アプリケーション（例えば、ビデオゲーム）によって出力された画像をレンダリングするように、ユーザ１００の目の前方または上に位置付けられるディスプレイ１０８を含む。上で考察されるように、ディスプレイ１０８は、ユーザ１００が視認する画像（フレーム）を出力して、ユーザ１００に、ＶＲ環境に没入したかのように画像を知覚させることができる。
【0053】
場合によっては、ＨＭＤ１０４の前方２００は、第１のカメラ１１０および／または第２のカメラ１１２を含み得る。第１のカメラ１１０および／または第２のカメラ１１２は、ユーザ１００がディスプレイ１０８上で視認するために、ＨＭＤ１０４の外部の（すなわち、環境１０２の）画像をキャプチャし得る。上記のように、第１のカメラ１１０および第２のカメラ１１２の光軸は、第１のカメラ１１０および／または第２のカメラ１１２によってキャプチャされた画像を使用して環境１０２の少なくとも一部分の深度情報を生成するように、平行であり、かつ所定の距離だけ分離していてもよい。しかしながら、場合によっては、上で考察されるように、ＨＭＤ１０４は、第１のカメラ１１０および／または第２のカメラ１１２を含まない場合がある。例えば、第１のカメラ１１０および／または第２のカメラ１１２は、環境１０２内の他の場所に位置し得る。
【0054】
いずれのシナリオでも、第１のカメラ１１０および／または第２のカメラ１１２は、ユーザ１００の視点に対応し得ない（すなわち、第１のカメラ１１０および／または第２のカメラ１１２がユーザ１００の目の実際の位置にないときの）画像をキャプチャする。しかしながら、本明細書に記載の技術を使用して、第１のカメラ１１０および／または第２のカメラ１１２によってキャプチャされた画像データを、ユーザ１００の視点に対する第１のカメラ１１０および／または第２のカメラ１１２の変位を考慮に入れるように修正することができる。
【0055】
例えば、ユーザ１００の視点を決定するために、ＨＭＤ１０４は、マーカ（複数可）１３４を含み得る。図２に示されるように、場合によっては、マーカ（複数可）１３４は、前方２００の角に、縁に、または周囲に沿って配設された、第１のマーカ２０４（１）、第２のマーカ２０４（２）、第３のマーカ２０４（３）、および／または第４のマーカ２０４（４）を含み得る。しかしながら、マーカ（複数可）１３４は、頂部、側面、または後方２０２などに沿って、ＨＭＤ１０４上の他の場所に位置し得る。場合によっては、マーカ（複数可）１３４は、追跡システム１２２のプロジェクタ（複数可）１３０が発した電磁放射線（例えば、赤外線）に応答する、赤外線要素、反射器、デジタルウォーターマーク、および／または画像を含み得る。さらに、または代替的に、マーカ（複数可）１３４は、追跡システム１２２のセンサ（複数可）１３２によってキャプチャされる電磁放射線（例えば、赤外線ライト）を発する追跡ビーコンを含み得る。つまり、プロジェクタ（複数可）１３０は、ライトを環境１０２に投影し、マーカ（複数可）１３４は、ライトを反射し得る。センサ（複数可）１３２が、マーカ（複数可）１３４および追跡システム１２２が反射する入射ライトをキャプチャし得るか、またはリモートコンピューティングリソース１４２などの別の通信可能に連結されたコンピューティングデバイスが、環境１０２内のマーカ（複数可）１３４の場所を追跡およびプロットして、ユーザ１００の運動、位置、姿勢、および／または向きを決定し得る。したがって、マーカ（複数可）１３４を使用して、ユーザ１００に表示される前に、第１のカメラ１１０および／または第２のカメラ１１２からの画像データを修正するか、調節するか、または別様に当該画像データに適合させる際に使用するようにユーザ１００の視点を指示することができる。
【0056】
図３は、環境３００内でＨＭＤ１０４を着用しているユーザ１００を説明する。図３は、ユーザ１００がＨＭＤ１０４を着用している間に仮想コンテンツ３０２を表示し、ＶＲ環境内で相互作用する、ＨＭＤ１０４のディスプレイ１０８を説明する。上で考察されるように、ＨＭＤ１０４は、ユーザ１００が環境１０２のあちこちに移動するにつれて、仮想コンテンツ３０２を表示し得る。
【0057】
追跡システム１２２を環境３００内に位置付けて、ユーザ１００を１つの場所から別の場所まで追跡し、環境内のユーザ１００の視点を決定することができる。例えば、追跡システム１２２は、ＨＭＤ１０４上のマーカ（複数可）１３４を利用して、ユーザ１００の姿勢（例えば、場所および向き）を決定することができる。場合によっては、ユーザ１００の姿勢は、環境３００の中央の場所に対して相対的であってもよい。例えば、中央の場所は、座標（０、０、０）を有し得、マーカ（複数可）１３４からの反射ライトを使用して、追跡システム１２２（またはリモートコンピューティングリソース１４２）は、座標空間（例えば、（Ｘ、Ｙ、Ｚ））内のユーザ１００の姿勢を決定し得る。追跡システム１２２は、ユーザ１００の観点または視点から環境３００内の物体の深度を決定することもできる。さらに、または代替的に、第１のカメラ１１０および／または第２のカメラ１１２から受信した画像データを使用して、環境３００内の深度を決定することができる。
【0058】
ＨＭＤ１０４は、環境３００内、ならびに／またはユーザ１００の視点内および／もしくはユーザ１００の前方にある、物体（例えば、家具、壁など）を用いて、仮想コンテンツ３０２の表示を調整し得る。言い換えれば、ユーザ１００に表示される環境３００（または現実世界）の物体は、環境３００内のユーザ１００の視点に対応し得る。例えば、ＨＭＤ１０４は、１つ以上のトリガ事象に少なくとも部分的に基づいて、第１のカメラ１１０および／または第２のカメラ１１２によってキャプチャされた画像データ（例えば、パススルー画像）を使用して、環境３００内の物体を表示し得る。つまり、ＨＭＤ１０４は、環境３００内の物体の実際の設置に対応する、ディスプレイ１０８上の場所に画像を表示するように構成され得る。第１のカメラ１１０および／または第２のカメラ１１２の画像データから生成された深度マップ、ならびに環境３００の３Ｄモデルまたはメッシュを利用して、ユーザ１００に提示されるパススルー画像は、環境３００内の実際の設置（すなわち、適切な深度値）に位置する物体を、ユーザ１００の視点から説明し、それによって、ユーザ１００が物体（例えば、コントローラ、グラスの水など）を拾い上げることを可能にすることができる。しかしながら、場合によっては、第１のカメラ１１０および／または第２のカメラ１１２からの画像データを継続的にキャプチャすることができ、トリガ事象を検出すると、ＨＭＤ１０４は、環境３００に関連付けられたコンテンツをユーザ１００に表示し得る。
【0059】
図３に示されるように、トリガ事象は、ユーザ１００が環境３００の境界に近付いている、または境界に迫っていることを決定することを含み得る。例えば、ユーザ１００は、環境３００の２つの壁３０６と３０８との間の角３０４に近付く場合がある。追跡システム１２２を介してユーザ１００の場所を知ることにより、ＨＭＤ１０４は、ユーザ１００が角３０４に迫っていることを指示するように、コンテンツをディスプレイ１０８上に表示することができる。例えば、示されるように、角３０４、および壁３０６、３０８の指示は、ディスプレイ１０８上に破線または点線として表示され得る。そうすることで、ユーザ１００には、ユーザ１００が壁にぶつかろうとしているという指示が提示される。場合によっては、図３に示されるように、角３０４、および壁３０６、３０８に関する指示またはコンテンツは、（ＨＭＤ１０４のディスプレイ１０８上に表示される仮想コンテンツと組み合わせて）オーバーレイされ得るか、または仮想コンテンツ３０２上に（または仮想コンテンツ３０２と組み合わせて）提示され得る。
【0060】
上記のように、第１のカメラ１１０および／または第２のカメラ１１２によってキャプチャされた画像データを、ユーザ１００の視点を考慮に入れるように修正することができる。さらに、または代替的に、深度マップ、３Ｄメッシュ、もしくは環境のモデルは、ユーザ１００の目または視点に対する、第１のカメラ１１０および／もしくは第２のカメラ１１２の場所を考慮に入れるか、または考慮することができる。したがって、第１のカメラ１１０および／または第２のカメラ１１２が、ユーザ１００とは異なり得る視点を有する場合、ＨＭＤ１０４上に提示する前に、画像データを修正して、ユーザの視点に調節することができる。
【0061】
図３は、角３０４、および／または壁３０６、３０８をディスプレイ１０８上に表示する特定の実装例を説明しているが、コンテンツは、没入型の仮想体験を中断することなくユーザ１００に適切に提供されるように、修正なしで、表示用に修正されるか、埋め込まれるか、マージされるか、積み重ねられるか、分割されるか、再レンダリングされるか、または別様に操作されるなど、異なる方法で提示され得る。例えば、場合によっては、コンテンツは、ディスプレイ１０８の特定の領域（例えば、上部右手角）に表示され得る。さらに、または代替的に、ディスプレイ１０８は、１００パーセントのパススルーを有するように、角３０４、および壁３０６、３０８に関連付けられたコンテンツのみを提示し得る。場合によっては、ＨＭＤ１０４は、ディスプレイ１０８上に、環境３００に関連付けられたコンテンツをフェードインさせ得る。
【0062】
図４は、環境４００内でＨＭＤ１０４を着用しているユーザ１００を説明する。場合によっては、ＨＭＤ１０４は、１つ以上のトリガ事象に少なくとも部分的に基づいて、パススルー画像を表示し得る。場合によっては、トリガ事象は、訪問者４０２が環境４００および／または環境４００内の規定の領域に入ったことを判定することを含み得る。図４に示されるように、ディスプレイ１０８は、ＨＭＤ１０４を着用しているユーザ１００に近付く訪問者４０２を描写する。ここで、訪問者４０２は、ユーザ１００に近付いているように現れ、したがって、ディスプレイ１０８は、第１のカメラ１１０および／または第２のカメラ１１２によってキャプチャされた画像を表示し得る。しかしながら、しかしながら、画像は、第１のカメラ１１０および／または第２のカメラ１１２とユーザ１００の視点との間の視点の差異を考慮に入れるように最初に修正され得る。場合によっては、ＨＭＤ１０４は、ＨＭＤ１０４を着用しているか、またはユーザ１００の閾値距離内に達する間に、マーカ（複数可）１３４を使用して決定されるように、訪問者４０２がユーザ１００の視点内および／またはユーザ１００の前方にいることに少なくとも部分的に基づいて、訪問者４０２を表示し得る。場合によっては、訪問者４０２を、動きセンサを介して検出し、追跡システム１２２などを介して、第１のカメラ１１０および／または第２のカメラ１１２からの画像データを分析することができる。
【0063】
図５および６は、本出願の実施形態によるプロセスを説明する。本明細書に記載のプロセスは、動作の順序を表す論理フロー図内のブロックの集合として説明され、これらのうちのいくつかまたはすべては、ハードウェア、ソフトウェア、またはこれらの組み合わせで実装され得る。ソフトウェアの文脈では、ブロックは、１つ以上のコンピュータ可読媒体に記憶されているコンピュータ実行可能命令を表し得、コンピュータ実行可能命令は、１つ以上のプロセッサによって実行されたときに、列挙される動作を実施するようにプロセッサをプログラムする。概して、コンピュータ実行可能命令は、特定の機能を実施するか、または特定のデータタイプを実装する、ルーチン、プログラム、オブジェクト、構成要素、データ構造などを含む。ブロックが記載される順番は、特に明記されない限り、限定として解釈されるべきではない。任意の数の記載されたブロックは、プロセス、または代替的なプロセスを実装するために任意の順番で、および／または並列に組み合わせられてもよく、ブロックのうちのすべてが実行される必要はない。考察のために、プロセスは、例えば、図１～４に関して記載されるものなどの、本明細書の実施例において記載される環境、アーキテクチャ、およびシステムを参照して記載されているが、プロセスは、多種多様な他の環境、アーキテクチャ、およびシステムにおいて実装され得る。
【0064】
図５は、環境１０２の３Ｄモデル、深度マップ、またはメッシュを生成するための例示的なプロセス５００を説明する。場合によっては、プロセス５００は、リモートコンピューティングリソース１４２によって実施され得る。しかしながら、ＨＭＤ１０４、追跡システム１２２、および／またはコンピュータ１５０は、プロセス５００の一部またはすべてをさらに実施し得る。
【0065】
５０２において、プロセス５００は、環境１０２内の区域を定義するための要求を伝送し得る。例えば、リモートコンピューティングリソース１４２は、要求をＨＭＤ１０４に伝送し、ユーザ１００が環境１０２の区域を定義することを要求し得る。場合によっては、区域は、ユーザ１００が、ＶＲ環境に没入しながら、中であちこち移動することを意図する区域を表し得る。要求を受信することに応答して、ＨＭＤ１０４のプロセッサ（複数可）１１４は、要求または要求に関連付けられた情報を、ディスプレイ１０８上に提示し得る。例えば、要求は、ＨＭＤ１０４を着用し、環境１０２を歩き回ることと、中でユーザがあちこち移動することを意図する区域を定義することと、を行うように、ユーザ１００に通知し得る。
【0066】
５０４において、プロセス５００は、環境１０２内でＨＭＤ１０４を追跡するための、およびユーザ１００がＨＭＤ１０４を着用して区域を定義するときの要求を伝送し得る。例えば、リモートコンピューティングリソース１４２は、ユーザ１００が区域を定義する間、環境１０２全体でユーザ１００を追跡するように追跡システム１２２に要求を伝送し得る。場合によっては、追跡システム１２２は、画像を環境１０２に投影するプロジェクタ（複数可）１３０、およびＨＭＤ１０４のマーカ（複数可）１３４を介して反射されたライトの画像をキャプチャするセンサ（複数可）１３２を介して、ユーザ１００を追跡し得る。場合によっては、リモートコンピューティングリソース１４２は、５０２の要求および５０４の要求を、同時にまたは実質的に同時に伝送し得る。
【0067】
５０６において、プロセス５００は、追跡システム１２２から第１の画像データを受信し得る。例えば、リモートコンピューティングリソース１４２は、追跡システム１２２から第１の画像データを受信し得、第１の画像データは、ユーザ１００が、区域を定義するように環境１０２をあちこち歩くときの、ＨＭＤ１０４および／またはユーザ１００の場所を表す。例えば、第１の画像データは、環境１０２内のマーカ（複数可）１３４の場所および／または姿勢を表し得る。リモートコンピューティングリソース１４２によって受信された第１の画像データは、画像が追跡システム１２２（またはセンサ（複数可）１３２）によってキャプチャされた時点のタイムスタンプを含み得る。
【0068】
５０８において、プロセス５００は、区域の特性を決定し得る。例えば、第１の画像データを受信することに少なくとも部分的に基づいて、リモートコンピューティングリソース１４２は、区域の境界または周囲を決定し得る。さらに、または代替的に、リモートコンピューティングリソース１４２は、第１の画像データに少なくとも部分的に基づいて、区域の中心または起点を決定し得る。場合によっては、起点は、デカルト座標系におけるＸ座標、Ｙ座標、およびＺ座標にそれぞれ対応する値（０、０、０）を有する３Ｄ空間内で定義され得る。したがって、追跡システム１２２および／またはリモートコンピューティングリソース１４２から後続の画像データを受信する際に、区域の起点に対するユーザ１００（および／またはＨＭＤ１０４）の相対的な場所を決定することができる。
【0069】
５１０において、プロセス５００は、ＨＭＤ１０４から第２の画像データを受信し得る。例えば、リモートコンピューティングリソース１４２は、ＨＭＤ１０４から第２の画像データを受信することができ、第２の画像データは、ユーザ１００が環境１０２の区域を定義する間、第１のカメラ１１０および／または第２のカメラ１１２によってキャプチャされた画像を表す。場合によっては、リモートコンピューティングリソース１４２によって受信された第２の画像データは、画像が第１のカメラ１１０および／または第２のカメラ１１２によってキャプチャされた時点のタイムスタンプを含み得る。つまり、第１のカメラ１１０および／または第２のカメラ１１２が画像をキャプチャする間、別の通信可能に連結されたコンピューティングデバイスが、環境１０２内のユーザ１００の姿勢を決定し得る。例えば、上述のように、第１のカメラ１１０および／または第２のカメラ１１２が画像をキャプチャする間、追跡システム１２２のプロセッサ（複数可）１３６は、プロジェクタ（複数可）１３０に、環境１０２に画像を投影させることができる。ＨＭＤ１０４のマーカ（複数可）１３４は、画像に関連付けられたライトを反射し得、センサ（複数可）１３２は、マーカ（複数可）１３４の反射画像をキャプチャし得る。かかる画像を使用して、環境１０２内のユーザ１００（および／もしくはＨＭＤ１０４）の深度、場所、向き、ならびに／または姿勢を決定することができ、第１のカメラ１１０および／または第２のカメラ１１２によってキャプチャされた画像データに関連付けることができる。
【0070】
５１２において、プロセス５００は、環境１０２の３Ｄモデル（またはメッシュ）を生成し得る。例えば、リモートコンピューティングリソース１４２は、第１の画像データおよび／または第２の画像データに少なくとも部分的に基づいて、環境１０２の３Ｄモデルを生成し得る。例えば、第２の画像データを使用して、リモートコンピューティングリソース１４２は、第１のカメラ１１０および／または第２のカメラ１１２によってそれぞれキャプチャされた画像を比較して、視差を決定することができる。次に、リモートコンピューティングリソース１４２は、環境１０２の３Ｄモデルを生成する際に使用するために、環境１０２の深度情報を決定することができる。さらに、リモートコンピューティングリソース１４２は、追跡システム１２２から受信した第１の画像データを利用して、環境１０２の深度マップまたは深度値を、区域および／または環境１０２内の特定の場所に関連付けることができる。場合によっては、リモートコンピューティングリソース１４２は、第１の画像データおよび／または第２の画像データがキャプチャされた時点のタイムスタンプを使用して、第１の画像データおよび第２の画像データ（もしくは当該画像データから生成された深度マップ）を比較するか、または関連付けることができる。場合によっては、環境１０２の３Ｄモデルを生成することは、環境内の物体を描くことを含み得る。例えば、リモートコンピューティングリソース１４２は、椅子などの、環境１０２内の物体（または体積）でＶＲ環境を拡張し得る。場合によっては、３Ｄモデルは、ＨＭＤ１０４および／または追跡システム１２２に伝送され得、ならびに／またはＨＭＤ１０４、追跡システム１２２、および／もしくはリモートコンピューティングリソース１４２のメモリに記憶され得る。
【0071】
図６は、ＨＭＤ１０４などのＨＭＤ上の画像をパススルーさせるための例示的なプロセス６００を説明する。場合によっては、プロセス６００は、環境１０２の３Ｄモデルが生成された後、プロセス５００の５１２から続けられてもよい。言い換えると、場合によっては、３Ｄモデルが生成された後、ＨＭＤ１０４は、パススルー画像を表示して、ユーザ１００がＶＲ環境と現実世界の環境（すなわち、環境１０２）との間をスイッチすることを可能にすることができる。場合によっては、プロセス６００は、リモートコンピューティングリソース１４２によって実施され得る。しかしながら、ＨＭＤ１０４、追跡システム１２２、および／またはコンピュータ１５０は、プロセス６００の一部またはすべてをさらに実施し得る。
【0072】
６０２において、プロセス６００は、ＨＭＤ１０４から第１の画像データを受信し得る。例えば、リモートコンピューティングリソース１４２は、ＨＭＤ１０４から第１の画像データを受信することができ、第１の画像データは、第１のカメラ１１０および／または第２のカメラ１１２によってキャプチャされた画像を表す。場合によっては、リモートコンピューティングリソース１４２は、ＨＭＤ１０４が、ユーザ１００によるボタンの押し込み、ユーザ１００による口頭コマンドの発行、環境１０２内で検出された動き（例えば、訪問者がユーザ１００に近付いていること）、および／またはユーザ１００が環境１０２の境界の閾値距離内に迫っているか、もしくは達していることなどといった、トリガ事象を検出することに少なくとも部分的に基づいて、第１の画像データを受信し得る。他の例では、リモートコンピューティングリソース１４２は、第１の画像データを継続的に受信することができ、これらの画像を、トリガ事象に少なくとも部分的に基づいて、パススルーするように構成され得る。例えば、ユーザ１００がＶＲ環境内に没入することができるため、ユーザ１００は、ＨＭＤ１０４のボタンを押して、ＨＭＤ１０４の外部にコンテンツを表示することができる。この意味で、ＨＭＤ１０４は、第１のカメラ１１０および／または第２のカメラ１１２によってキャプチャされた画像を表示するパススルーモードを含み得る。したがって、トリガ式を検出することに少なくとも部分的に基づいて、ＨＭＤ１０４のプロセッサ（複数可）１１４は、第１のカメラ１１０および／または第２のカメラ１１２に、環境１０２の画像をキャプチャさせ得る。
【0073】
６０４において、プロセス６００は、第１の画像データに少なくとも部分的に基づいて、深度マップおよび／または３Ｄメッシュを生成し得る。例えば、リモートコンピューティングリソース１４２は、第１の画像データがＨＭＤ１０４から（すなわち、ステレオカメラ画像処理を使用して）受信されることに少なくとも部分的に基づいて、深度マップおよび／または３Ｄメッシュを生成し得る。第１の画像データが環境１０２の一部分を表す場合、深度マップおよび／または３Ｄメッシュもまた、環境１０２の一部分の深度マップおよび／または３Ｄメッシュに対応し得る。さらに、または代替的に、ＨＭＤ１０４は、深度マップおよび／または３Ｄメッシュを生成し得る。例えば、第１のカメラ１１０および／または第２のカメラ１１２から画像データを受信すると、プロセッサ（複数可）１１４は、立体視的なカメラ画像処理を利用して、深度マップを生成することができる。場合によっては、深度マップを使用して、プロセッサ（複数可）１１４は、環境１０２の３Ｄメッシュを生成し得る。さらに、場合によっては、プロセッサ（複数可）１１４は、深度マップ１１８および／または３Ｄメッシュ１２０などの、深度マップおよび／または３Ｄメッシュをメモリ１１６内に記憶し得る。
【0074】
場合によっては、ＨＭＤ１０４、リモートコンピューティングリソース１４２、および／またはコンピュータ１５０は、深度マップおよび／または３Ｄメッシュを生成する前に、第１のカメラ１１０および／または第２のカメラ１１２から受信した第１の画像データを修正し得る。例えば、第１の画像データがユーザ１００の視点を表すことができない場合、第１の画像データを、第１のカメラ１１０および第２のカメラ１１２の視点とユーザ１００の視点との間の差異を考慮に入れるように、修正（例えば、転用、変換、歪曲など）することができる。場合によっては、ユーザ１００の視点は、追跡システム１２２、および環境１０２内のマーカ（複数可）１３４の位置を使用して決定され得る。さらに、または代替的に、深度マップおよび／または３Ｄメッシュを生成した後、深度マップおよび／または３Ｄメッシュを、ユーザ１００の視点に従って、またはユーザ１００の視点に少なくとも部分的に基づいて、修正することができる。
【0075】
６０６において、プロセス６００は、ＨＭＤ１０４の姿勢を表す、追跡システム１２２を形成する第２の画像データを受信し得る。例えば、リモートコンピューティングリソース１４２は、追跡システム１２２から、環境１０２内のＨＭＤ１０４に対応する第２の画像データを受信し得る。上で考察されるように、第２の画像データは、画像がプロジェクタ（複数可）１３０によって投影されることに応答して、ＨＭＤ１０４のマーカ（複数可）１３４が反射したライトを検出する、追跡システム１２２のセンサ（複数可）１３２によってキャプチャされ得る。
【0076】
６０８において、プロセス６００は、ＨＭＤ１０４の姿勢を決定し得る。例えば、第２の画像データを受信することに少なくとも部分的に基づいて、リモートコンピューティングリソース１４２は、環境１０２内のＨＭＤ１０４の姿勢を決定し得る。場合によっては、姿勢は、環境１０２内のＨＭＤ１０４の場所および／または環境１０２内のＨＭＤ１０４の向きを表し得る。つまり、リモートコンピューティングリソース１４２は、第１の画像データおよび／または第２の画像データを分析して、環境１０２の中心に対する、環境１０２内のユーザ１００の場所を決定することができる。かかる分析は、環境１０２の中心または環境１０２内の特定の区域に対する、ユーザ１００の相対的な場所、視線、および／または視点を決定し得る。
【0077】
６１０において、プロセス６００は、深度マップおよび／または３Ｄメッシュを、環境の３Ｄモデルに関連付けられた点に変換し得る。例えば、リモートコンピューティングリソース１４２は、姿勢（例えば、場所および向き）を利用して、環境１０２内のユーザ１００の場所および／または環境１０２内のユーザ１００の視点を決定することができる。リモートコンピューティングリソース１４２は、深度マップおよび／または３Ｄメッシュの点を、環境１０２の３Ｄモデルに関連付けられた点に変換し、それによって、ユーザ１００の視点を考慮に入れることができる。言い換えれば、リモートコンピューティングリソース１４２のプロセッサ（複数可）１４４は、深度マップおよび／または３Ｄメッシュの点を環境１０２の３Ｄモデルに関連付けられた点に変換することによって、環境１０２の３Ｄモデル内の点の深度値を位置特定するか、見つけるか、または決定することができる。姿勢を使用して、リモートコンピューティングリソース１４２は、６０４で生成された深度マップおよび／または３Ｄメッシュを、環境１０２の３Ｄモデルに転用することができる。かかる転用は、ユーザ１００に対する環境１０２（例えば、適切な深度値）を正確に描写するのに役立ち得る。つまり、第１の画像データは、第２の画像データおよび／または環境１０２の３Ｄモデルと一緒になって、ＨＭＤ１０４の絶対的な位置および／または視線を提供することができ、これは、適切な深度値または深度知覚でユーザ１００の視点を描写するのに役立ち得る。
【0078】
６１２において、プロセス６００は、第１の画像データを３Ｄモデルの一部分に投影して、第３の画像データを生成することができる。例えば、ユーザ１００の姿勢が既知であることで、リモートコンピューティングリソース１４２は、第１の画像データを環境１０２の３Ｄモデルの一部分に投影またはオーバーレイして、第３の画像データを生成することができる。場合によっては、第３の画像データを生成することは、第３の画像データの特定のピクセルについての深度値および／または色値をクロスブレンドまたは入力することを含み得る。例えば、第１の画像データがユーザ１００の視点を表すことができない場合、ユーザ１００の視点を描写する第３の画像データを生成するときに、第３の画像データは、特定のピクセルについての未定義の深度値／または色値を有し得る。ここで、色値を含まないピクセルには、近隣のピクセルからの色値、または近隣のピクセルの平均値を割り当てることができる。さらに、または代替的に、第３の画像データは、環境１００、パーティクルシステムなどの、以前の深度マップまたは３Ｄメッシュを使用して生成され得る。
【0079】
６１４において、プロセス６００は、第３の画像データをＨＭＤ１０４に伝送し得る。例えば、第１の画像データを３Ｄモデルの一部分に投影した後、リモートコンピューティングリソース１４２は、第３の画像データをＨＭＤ１０４に伝送することができ、第３の画像データは、３Ｄモデルの一部分に投影された第１の画像データを表す。
【0080】
６１４から、プロセス６００は、６０２にループして、後続の画像データを受信することができる。その結果、継続的なトリガ事象（例えば、ボタンの押し込み、音声コマンド、動き検出など）に応答して、ＨＭＤ１０４は、パススルーモードに移行して、ユーザ１００が環境１０２を、しかも、ＨＭＤ１０４を脱ぐ必要なしに、立ち去るための便利な方法を提供することができる。例えば、リモートコンピューティングリソース１４２は、追跡システム１２２から、ユーザ１００が区域の境界に近付いている、および／または環境１０２の壁に衝突しそうである、という指示を受信し得る。この指示を受信すると、リモートコンピューティングリソース１４２は、ＨＭＤ１０４から、ユーザの視点（すなわち、第１のカメラ１１０および／または第２のカメラ１１２によってキャプチャされた画像）を表す画像データを受信し得る。ユーザ１００の姿勢を決定すると、リモートコンピューティングリソース１４２は、画像データを環境１０２の３Ｄモデルに投影し、画像データをＨＭＤ１０４上に表示させることができる。この意味で、画像は、ユーザが現実世界の環境を、没入状態を断つ必要なしに、見ることを可能にするように、自動的にユーザ１００に「パススルー」され得る。
【0081】
上記の発明は、特定の実施例に関して記載されているが、本発明の範囲は、これらの特定の実施例に限定されないことを理解されたい。特定の動作要件および環境に適合するように変更された他の修正および変更は、当業者に明らかであるため、本発明は、開示の目的で選択された実施例に限定されたとみなされず、本発明の真の概念および範囲から逸脱しない全部の変更および修正に及ぶ。
【0082】
本出願は、特定の構造的特徴および／または方法論的行為を有する実施形態を記載するが、特許請求の範囲は、必ずしも説明される特定の特徴または行為に限定されないことを理解されたい。むしろ、特定の特徴および行為は、本出願の特許請求の範囲内にあるいくつかの実施形態を単に例示するものである。
以下に、本出願の当初の特許請求の範囲に記載された発明を付記する。
［１］
ディスプレイ、
第１のカメラ、および
第２のカメラ、を含む、ヘッドマウントディスプレイと、
１つ以上のプロセッサと、
コンピュータ実行可能命令を記憶する１つ以上の非一時的なコンピュータ可読媒体と、を具備し、前記コンピュータ実行可能命令が、前記１つ以上のプロセッサによって実行されたときに、前記１つ以上のプロセッサに行為を実施させ、前記行為が、
前記第１のカメラを介して、環境の第１の部分を表す第１の画像データをキャプチャすることと、
前記第２のカメラを介して、前記環境の第２の部分を表す第２の画像データをキャプチャすることと、
ユーザの第１の目に対する前記第１のカメラの第１のオフセット、および前記ユーザの第２の目に対する前記第２のカメラの第２のオフセットを決定することと、
前記第１の画像データ、前記第２の画像データ、前記第１のオフセット、および前記第２のオフセットに少なくとも部分的に基づいて、深度マップを生成することと、
１つ以上のコンピューティングデバイスに、前記深度マップ、前記第１の画像データ、および前記第２の画像データを伝送することと、
前記１つ以上のコンピューティングデバイスから、前記深度マップ、前記第１の画像データ、および前記第２の画像データに少なくとも部分的に基づいて、第３の画像データを受信することと、
前記ディスプレイを介して前記第３の画像データを表示することと、を含む、システム。
［２］
前記ヘッドマウントディスプレイが、ボタンをさらに具備し、
前記第１の画像データが、前記ボタンの押し込みを検出することに少なくとも部分的に基づいて、キャプチャされるか、または
前記第２の画像データが、前記ボタンの前記押し込みを検出することに少なくとも部分的に基づいて、キャプチャされるかのうちの少なくとも１つである、［１］に記載のシステム。
［３］
前記１つ以上の非一時的なコンピュータ可読媒体が、コンピュータ実行可能命令を記憶し、前記コンピュータ実行可能命令が、前記１つ以上のプロセッサによって実行されたときに、前記１つ以上のプロセッサに行為を実施させ、前記行為が、前記１つ以上のコンピューティングデバイスから、前記ユーザが前記環境の境界に近付いているという指示を受信することをさらに含み、
前記第１の画像データをキャプチャすることが、前記指示を受信することに少なくとも部分的に基づくか、または
前記第２の画像データをキャプチャすることが、前記指示を受信することに少なくとも部分的に基づくかのうちの少なくとも１つである、［１］に記載のシステム。
［４］
前記ユーザが、第１のユーザを含み、前記１つ以上の非一時的なコンピュータ可読媒体が、コンピュータ実行可能命令を記憶し、前記コンピュータ実行可能命令が、前記１つ以上のプロセッサによって実行されたときに、前記１つ以上のプロセッサに行為を実施させ、前記行為が、前記１つ以上のコンピューティングデバイスから、第２のユーザが前記環境内にいるという指示を受信することをさらに含み、
前記第１の画像データをキャプチャすることが、前記指示を受信することに少なくとも部分的に基づくか、または
前記第２の画像データをキャプチャすることが、前記指示を受信することに少なくとも部分的に基づくかのうちの少なくとも１つである、［１］に記載のシステム。
［５］
前記第３の画像データが、前記ディスプレイ上に提示される仮想コンテンツと組み合わせて表示されるか、または
前記第３の画像データが、前記ディスプレイの所定の部分上に表示されるかのうちの少なくとも１つである、［１］に記載のシステム。
［６］
方法であって、
ヘッドマウントディスプレイから、環境の少なくとも一部分を表す第１の画像データを受信することと、
追跡システムから、前記環境内のユーザの視点を指示する第２の画像データを受信することと、
前記第１の画像データまたは前記第２の画像データのうちの少なくとも１つに少なくとも部分的に基づいて、前記環境の少なくとも一部分に対応する深度マップを生成することと、
前記深度マップを前記環境の三次元（３Ｄ）モデルの一部分に関連付けることと、
前記環境の前記３Ｄモデルの前記一部分に前記第１の画像データを転置することと、
前記環境の前記３Ｄモデルの前記一部分に転置された前記第１の画像データを表す第３の画像データを生成することと、
前記第３の画像データを前記ヘッドマウントディスプレイに伝送することと、を含む、方法。
［７］
前記ヘッドマウントディスプレイに、前記環境の画像をキャプチャするための第１の要求を伝送することと、
前記ヘッドマウントディスプレイが前記環境の前記画像をキャプチャしている間に、前記追跡システムに、前記ヘッドマウントディスプレイの場所を追跡するための第２の要求を伝送することと、をさらに含む、［６］に記載の方法。
［８］
前記ヘッドマウントディスプレイから、前記環境の前記画像を表す第４の画像データを受信することと、
前記環境の前記画像をキャプチャしている間に、前記追跡システムから、前記ヘッドマウントディスプレイの前記場所を表す第５の画像データを受信することと、
前記第４の画像データおよび前記第５の画像データに少なくとも部分的に基づいて、前記環境の３Ｄモデルを生成することと、をさらに含む、請求項７に記載の方法。
［９］
前記深度マップを前記環境の前記３Ｄモデルの一部分に関連付けることが、前記深度マップの個々の点を前記３Ｄモデルの前記一部分の対応する個々の点に整列させることを含む、［６］に記載の方法。
［１０］
前記第３の画像データを伝送することが、前記ヘッドマウントディスプレイからの指示を受信することに少なくとも部分的に基づく、［６］に記載の方法。
［１１］
前記指示が、
前記ヘッドマウントディスプレイでボタンが押し込まれたこと、
前記環境内の運動を検出すること、
前記ユーザの所定の距離内の動きを検出すること、または
前記ユーザが前記環境の境界に近付いていることを決定することのうちの少なくとも１つに対応する、［１０］に記載の方法。
［１２］
第４の画像データを前記ヘッドマウントディスプレイに伝送することをさらに含み、前記第４の画像データが、仮想環境に関連付けられた仮想コンテンツを表し、前記ヘッドマウントディスプレイが、前記第３の画像データの少なくとも一部分を前記第４の画像データの少なくとも一部分と組み合わせて表示するように構成されている、［６］に記載の方法。
［１３］
前記環境の中心を決定することと、
前記第２の画像データに少なくとも部分的に基づいて前記環境内の前記ユーザの場所を決定することと、をさらに含み、
前記深度マップを３Ｄモデルの前記一部分に関連付けることが、前記環境の前記中心に対する前記ユーザの前記場所を決定することに少なくとも部分的に基づく、［６］に記載の方法。
［１４］
前記第３の画像データが、前記環境内の前記ユーザの前記視点を表す、［６］に記載の方法。
［１５］
システムであって、
ヘッドマウントディスプレイと、
第１のカメラと、
第２のカメラと、
１つ以上のプロセッサと、
コンピュータ実行可能命令を記憶する１つ以上の非一時的なコンピュータ可読媒体と、を具備し、前記コンピュータ実行可能命令が、前記１つ以上のプロセッサによって実行されたときに、前記１つ以上のプロセッサに行為を実施させ、前記行為が、
前記第１のカメラから、環境の第１の部分を表す第１の画像データを受信することと、
前記第２のカメラから、前記環境の第２の部分を表す第２の画像データを受信することと、
前記第１の画像データおよび前記第２の画像データに少なくとも部分的に基づいて、前記環境の一部分の第１の深度マップを生成することと、
追跡システムから、前記環境内のユーザの視点に対応するデータを受信することと、
前記第１の深度マップおよび前記データに少なくとも部分的に基づいて、第２の深度マップを生成することと、
前記第１の画像データおよび前記第２の画像データを前記第２の深度マップに投影することに少なくとも部分的に基づいて、第３の画像データを生成することと、
前記第３の画像データを前記ヘッドマウントディスプレイに伝送することと、を含む、システム。
［１６］
前記１つ以上の非一時的なコンピュータ可読媒体が、コンピュータ実行可能命令を記憶し、前記コンピュータ実行可能命令が、前記１つ以上のプロセッサによって実行されたときに、前記１つ以上のプロセッサに行為を実施させ、前記行為が、トリガ事象の指示を受信することをさらに含み、前記第３の画像データを伝送することが、前記指示を受信することに少なくとも部分的に基づく、［１５］に記載のシステム。
［１７］
前記指示が、
前記ヘッドマウントディスプレイを着用している前記ユーザの前方に別のユーザがいることを判定すること、または
前記ユーザが前記環境の境界に近付いていることを判定することのうちの少なくとも１つに対応する、［１６］に記載のシステム。
［１８］
前記１つ以上の非一時的なコンピュータ可読媒体が、コンピュータ実行可能命令を記憶し、前記コンピュータ実行可能命令が、前記１つ以上のプロセッサによって実行されたときに、前記１つ以上のプロセッサに行為を実施させ、前記行為が、仮想現実環境内の仮想コンテンツを表す第４の画像データを伝送することをさらに含む、［１５］に記載のシステム。
［１９］
前記データが、前記環境の中央の場所に対する前記環境内の前記ユーザの場所に対応する、［１５］に記載のシステム。
［２０］
前記１つ以上の非一時的なコンピュータ可読媒体が、コンピュータ実行可能命令を記憶し、前記コンピュータ実行可能命令が、前記１つ以上のプロセッサによって実行されたときに、前記１つ以上のプロセッサに行為を実施させ、前記行為が、
前記環境の３Ｄモデルを生成することと、
前記ユーザの前記視点に対応する前記３Ｄモデルの一部分を決定することと、をさらに含み、
前記第２の深度マップを生成することが、前記３Ｄモデルの前記一部分に少なくとも部分的に基づく、［１５］に記載のシステム。
以下に、本出願の当初の特許請求の範囲に記載された発明を付記する。
［１］
ディスプレイ、
第１のカメラ、および
第２のカメラ、を含む、ヘッドマウントディスプレイと、
１つ以上のプロセッサと、
コンピュータ実行可能命令を記憶する１つ以上の非一時的なコンピュータ可読媒体と、を具備し、前記コンピュータ実行可能命令が、前記１つ以上のプロセッサによって実行されたときに、前記１つ以上のプロセッサに行為を実施させ、前記行為が、
前記第１のカメラを介して、環境の第１の部分を表す第１の画像データをキャプチャすることと、
前記第２のカメラを介して、前記環境の第２の部分を表す第２の画像データをキャプチャすることと、
ユーザの第１の目に対する前記第１のカメラの第１のオフセット、および前記ユーザの第２の目に対する前記第２のカメラの第２のオフセットを決定することと、
前記第１の画像データ、前記第２の画像データ、前記第１のオフセット、および前記第２のオフセットに少なくとも部分的に基づいて、深度マップを生成することと、
１つ以上のコンピューティングデバイスに、前記深度マップ、前記第１の画像データ、および前記第２の画像データを伝送することと、
前記１つ以上のコンピューティングデバイスから、前記深度マップ、前記第１の画像データ、および前記第２の画像データに少なくとも部分的に基づいて、第３の画像データを受信することと、
前記ディスプレイを介して前記第３の画像データを表示することと、を含む、システム。
［２］
前記ヘッドマウントディスプレイが、ボタンをさらに具備し、
前記第１の画像データが、前記ボタンの押し込みを検出することに少なくとも部分的に基づいて、キャプチャされるか、または
前記第２の画像データが、前記ボタンの前記押し込みを検出することに少なくとも部分的に基づいて、キャプチャされるかのうちの少なくとも１つである、［１］に記載のシステム。
［３］
前記１つ以上の非一時的なコンピュータ可読媒体が、コンピュータ実行可能命令を記憶し、前記コンピュータ実行可能命令が、前記１つ以上のプロセッサによって実行されたときに、前記１つ以上のプロセッサに行為を実施させ、前記行為が、前記１つ以上のコンピューティングデバイスから、前記ユーザが前記環境の境界に近付いているという指示を受信することをさらに含み、
前記第１の画像データをキャプチャすることが、前記指示を受信することに少なくとも部分的に基づくか、または
前記第２の画像データをキャプチャすることが、前記指示を受信することに少なくとも部分的に基づくかのうちの少なくとも１つである、［１］に記載のシステム。
［４］
前記ユーザが、第１のユーザを含み、前記１つ以上の非一時的なコンピュータ可読媒体が、コンピュータ実行可能命令を記憶し、前記コンピュータ実行可能命令が、前記１つ以上のプロセッサによって実行されたときに、前記１つ以上のプロセッサに行為を実施させ、前記行為が、前記１つ以上のコンピューティングデバイスから、第２のユーザが前記環境内にいるという指示を受信することをさらに含み、
前記第１の画像データをキャプチャすることが、前記指示を受信することに少なくとも部分的に基づくか、または
前記第２の画像データをキャプチャすることが、前記指示を受信することに少なくとも部分的に基づくかのうちの少なくとも１つである、［１］に記載のシステム。
［５］
前記第３の画像データが、前記ディスプレイ上に提示される仮想コンテンツと組み合わせて表示されるか、または
前記第３の画像データが、前記ディスプレイの所定の部分上に表示されるかのうちの少なくとも１つである、［１］に記載のシステム。
［６］
方法であって、
ヘッドマウントディスプレイから、環境の少なくとも一部分を表す第１の画像データを受信することと、
追跡システムから、前記環境内のユーザの視点を指示する第２の画像データを受信することと、
前記第１の画像データまたは前記第２の画像データのうちの少なくとも１つに少なくとも部分的に基づいて、前記環境の少なくとも一部分に対応する深度マップを生成することと、
前記深度マップを前記環境の三次元（３Ｄ）モデルの一部分に関連付けることと、
前記環境の前記３Ｄモデルの前記一部分に前記第１の画像データを転置することと、
前記環境の前記３Ｄモデルの前記一部分に転置された前記第１の画像データを表す第３の画像データを生成することと、
前記第３の画像データを前記ヘッドマウントディスプレイに伝送することと、を含む、方法。
［７］
前記ヘッドマウントディスプレイに、前記環境の画像をキャプチャするための第１の要求を伝送することと、
前記ヘッドマウントディスプレイが前記環境の前記画像をキャプチャしている間に、前記追跡システムに、前記ヘッドマウントディスプレイの場所を追跡するための第２の要求を伝送することと、をさらに含む、［６］に記載の方法。
［８］
前記ヘッドマウントディスプレイから、前記環境の前記画像を表す第４の画像データを受信することと、
前記環境の前記画像をキャプチャしている間に、前記追跡システムから、前記ヘッドマウントディスプレイの前記場所を表す第５の画像データを受信することと、
前記第４の画像データおよび前記第５の画像データに少なくとも部分的に基づいて、前記環境の３Ｄモデルを生成することと、をさらに含む、請求項７に記載の方法。
［９］
前記深度マップを前記環境の前記３Ｄモデルの一部分に関連付けることが、前記深度マップの個々の点を前記３Ｄモデルの前記一部分の対応する個々の点に整列させることを含む、［６］に記載の方法。
［１０］
前記第３の画像データを伝送することが、前記ヘッドマウントディスプレイからの指示を受信することに少なくとも部分的に基づく、［６］に記載の方法。
［１１］
前記指示が、
前記ヘッドマウントディスプレイでボタンが押し込まれたこと、
前記環境内の運動を検出すること、
前記ユーザの所定の距離内の動きを検出すること、または
前記ユーザが前記環境の境界に近付いていることを決定することのうちの少なくとも１つに対応する、［１０］に記載の方法。
［１２］
第４の画像データを前記ヘッドマウントディスプレイに伝送することをさらに含み、前記第４の画像データが、仮想環境に関連付けられた仮想コンテンツを表し、前記ヘッドマウントディスプレイが、前記第３の画像データの少なくとも一部分を前記第４の画像データの少なくとも一部分と組み合わせて表示するように構成されている、［６］に記載の方法。
［１３］
前記環境の中心を決定することと、
前記第２の画像データに少なくとも部分的に基づいて前記環境内の前記ユーザの場所を決定することと、をさらに含み、
前記深度マップを３Ｄモデルの前記一部分に関連付けることが、前記環境の前記中心に対する前記ユーザの前記場所を決定することに少なくとも部分的に基づく、［６］に記載の方法。
［１４］
前記第３の画像データが、前記環境内の前記ユーザの前記視点を表す、［６］に記載の方法。
［１５］
システムであって、
ヘッドマウントディスプレイと、
第１のカメラと、
第２のカメラと、
１つ以上のプロセッサと、
コンピュータ実行可能命令を記憶する１つ以上の非一時的なコンピュータ可読媒体と、を具備し、前記コンピュータ実行可能命令が、前記１つ以上のプロセッサによって実行されたときに、前記１つ以上のプロセッサに行為を実施させ、前記行為が、
前記第１のカメラから、環境の第１の部分を表す第１の画像データを受信することと、
前記第２のカメラから、前記環境の第２の部分を表す第２の画像データを受信することと、
前記第１の画像データおよび前記第２の画像データに少なくとも部分的に基づいて、前記環境の一部分の第１の深度マップを生成することと、
追跡システムから、前記環境内のユーザの視点に対応するデータを受信することと、
前記第１の深度マップおよび前記データに少なくとも部分的に基づいて、第２の深度マップを生成することと、
前記第１の画像データおよび前記第２の画像データを前記第２の深度マップに投影することに少なくとも部分的に基づいて、第３の画像データを生成することと、
前記第３の画像データを前記ヘッドマウントディスプレイに伝送することと、を含む、システム。
［１６］
前記１つ以上の非一時的なコンピュータ可読媒体が、コンピュータ実行可能命令を記憶し、前記コンピュータ実行可能命令が、前記１つ以上のプロセッサによって実行されたときに、前記１つ以上のプロセッサに行為を実施させ、前記行為が、トリガ事象の指示を受信することをさらに含み、前記第３の画像データを伝送することが、前記指示を受信することに少なくとも部分的に基づく、［１５］に記載のシステム。
［１７］
前記指示が、
前記ヘッドマウントディスプレイを着用している前記ユーザの前方に別のユーザがいることを判定すること、または
前記ユーザが前記環境の境界に近付いていることを判定することのうちの少なくとも１つに対応する、［１６］に記載のシステム。
［１８］
前記１つ以上の非一時的なコンピュータ可読媒体が、コンピュータ実行可能命令を記憶し、前記コンピュータ実行可能命令が、前記１つ以上のプロセッサによって実行されたときに、前記１つ以上のプロセッサに行為を実施させ、前記行為が、仮想現実環境内の仮想コンテンツを表す第４の画像データを伝送することをさらに含む、［１５］に記載のシステム。
［１９］
前記データが、前記環境の中央の場所に対する前記環境内の前記ユーザの場所に対応する、［１５］に記載のシステム。
［２０］
前記１つ以上の非一時的なコンピュータ可読媒体が、コンピュータ実行可能命令を記憶し、前記コンピュータ実行可能命令が、前記１つ以上のプロセッサによって実行されたときに、前記１つ以上のプロセッサに行為を実施させ、前記行為が、
前記環境の３Ｄモデルを生成することと、
前記ユーザの前記視点に対応する前記３Ｄモデルの一部分を決定することと、をさらに含み、
前記第２の深度マップを生成することが、前記３Ｄモデルの前記一部分に少なくとも部分的に基づく、［１５］に記載のシステム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】