知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-11-18
(54)【発明の名称】ニアアイディスプレイにおける画像フレーム同期
(51)【国際特許分類】
G02B 27/02 20060101AFI20221111BHJP
H04N 13/344 20180101ALN20221111BHJP
【ＦＩ】
G02B27/02 Z
H04N13/344
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022500500
(86)(22)【出願日】2020-08-08
(85)【翻訳文提出日】2022-03-02
(86)【国際出願番号】 US2020045542
(87)【国際公開番号】W WO2021055117
(87)【国際公開日】2021-03-25
(31)【優先権主張番号】62/902,538
(32)【優先日】2019-09-19
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/696,135
(32)【優先日】2019-11-26
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】515046968
【氏名又は名称】メタ プラットフォームズ テクノロジーズ， リミテッド ライアビリティ カンパニー
【氏名又は名称原語表記】ＭＥＴＡ ＰＬＡＴＦＯＲＭＳ ＴＥＣＨＮＯＬＯＧＩＥＳ， ＬＬＣ
(74)【代理人】
【識別番号】110002974
【氏名又は名称】弁理士法人Ｗｏｒｌｄ ＩＰ
(72)【発明者】
【氏名】ランマン， ダグラス ロバート
(72)【発明者】
【氏名】チャオ， ヤン
(72)【発明者】
【氏名】クリアリー， ブルース エー．
(72)【発明者】
【氏名】メルシエ， オリビエ
(72)【発明者】
【氏名】バーチ， ロバート
【テーマコード（参考）】
2H199
5C061
【Ｆターム（参考）】
2H199CA23
2H199CA25
2H199CA32
2H199CA42
2H199CA43
2H199CA67
2H199CA73
2H199CA74
2H199CA83
2H199CA92
2H199CA96
5C061AA20
5C061AB18
(57)【要約】
方法が、ヘッドマウントディスプレイ（ＨＭＤ）によって表示されるためのビデオデータのフレームを提供することを含む。ピクセルデータが、ビデオデータフレームのうちの少なくともいくつかのピクセル中に符号化され、符号化されたピクセルデータは、ユーザにビデオデータのそれぞれのフレームを表示するためのＨＭＤの光学ブロックの焦点状態を定義する。所定の焦点状態が、光学ブロックの複数の利用可能な焦点状態から決定され、各焦点状態が、ビデオデータに基づいて生成される仮想画像の別の焦点面に対応する。符号化のために使用されるピクセルが、ＨＭＤによって表示可能であるフレームの領域の外側に配置され得る。
【選択図】図２Ｂ
【選択図】図２Ｂ
【特許請求の範囲】
【請求項1】
ヘッドマウントディスプレイ（ＨＭＤ）であって、画像光を提供するためのディスプレイモジュールと、
前記ディスプレイモジュールから前記画像光を受け取り、前記画像光によって搬送された仮想画像を提供するように構成された光学ブロックであって、前記光学ブロックが、表示された前記仮想画像の別の焦点面に各々対応する複数の焦点状態を有する、光学ブロックと、
前記複数の焦点状態のうちの相異なる焦点状態間で前記光学ブロックを選択可能に切り替えるように構成された可変焦点モジュールと、
コントローラであって、
前記ＨＭＤによって表示するためのビデオデータのフレームを受け取ることであって、前記フレームが、前記フレームの第１のピクセル中に符号化されたピクセルデータを含み、前記ピクセルデータが、前記光学ブロックの前記複数の焦点状態のうちの１つを示す、ビデオデータのフレームを受け取ることと、前記ＨＭＤを使用して前記フレームを表示するより前に、
前記ピクセルデータを読み取ることと、
前記ピクセルデータによって示された前記焦点状態に前記光学ブロックを設定するために、前記可変焦点モジュールを使用することと
を行うように構成されたコントローラと
を備える、ヘッドマウントディスプレイ（ＨＭＤ）。
【請求項2】
前記第１のピクセルが、前記フレームの表示可能な領域の外側に位置する、請求項１に記載のＨＭＤ。
【請求項3】
アイトラッキングデータを作り出すためにユーザの眼の位置または向きのうちの少なくとも一方を決定するためのアイトラッキングモジュールを備え、前記光学ブロックの前記焦点状態が、前記アイトラッキングデータに少なくとも部分的に基づいて決定される、請求項１または２に記載のＨＭＤ。
【請求項4】
前記可変焦点モジュールが光学要素を含み、前記光学要素が、前記光学要素と前記ディスプレイモジュールとの間の距離を変動させるように前記ディスプレイモジュールに対して移動可能である、請求項１から３のいずれか一項に記載のＨＭＤ。
【請求項5】
前記可変焦点モジュールが、制御可能光学パワーを有する可変焦点光学要素を含み、任意選択的に、前記可変焦点光学要素が、形状変化ポリマーレンズ、液体レンズ、アルバレスローマンレンズ、変形可能な膜ミラー、液晶（電気活性）レンズ、位相限定空間光変調器（ＳＬＭ）、またはパンチャラトナムベリー（ＰＢ）切替え可能レンズのうちの少なくとも１つを備える、
請求項１から４のいずれか一項に記載のＨＭＤ。
【請求項6】
ヘッドマウントディスプレイ（ＨＭＤ）を制御する方法であって、前記ＨＭＤによって表示するためのフレームを含むビデオデータを取得することと、
前記フレームの第１のピクセルに第１のピクセルデータを符号化することであって、符号化された前記第１のピクセルデータが、前記フレームを表示するための前記ＨＭＤの光学ブロックの焦点状態を示し、前記焦点状態が、前記光学ブロックの複数の焦点状態から選択され、各焦点状態が、前記ビデオデータの前記フレームに基づいて生成される仮想画像の別の焦点面に対応する、第１のピクセルデータを符号化することと
を含む、方法。
【請求項7】
前記第１のピクセルが、前記フレームの表示可能な領域の外側に位置する、請求項６に記載の方法。
【請求項8】
前記ビデオデータを取得することと、ビデオデータの複数のフレームの各フレームの第１のピクセルに前記第１のピクセルデータを符号化することとを含む、請求項６または７に記載の方法。
【請求項9】
前記フレームの前記第１のピクセル中に符号化された前記第１のピクセルデータを読み取ることと、前記フレームを表示するより前に、前記第１のピクセル中に符号化された前記第１のピクセルデータによって示された前記焦点状態に前記光学ブロックを設定することとを含み、任意選択的に、前記焦点状態に前記光学ブロックを設定することは、前記ＨＭＤのディスプレイモジュールが光を実質的に放出しない期間中に実施され、
任意選択的に、前記第１のピクセルデータによって示された前記焦点状態に前記光学ブロックを設定することが、前記光学ブロックの光学要素と前記ＨＭＤのディスプレイモジュールとの間の距離を変更することを含み、
任意選択的に、前記第１のピクセルデータによって示された前記焦点状態に前記光学ブロックを設定することは、前記光学ブロックの可変焦点光学要素の光学パワーを変更すること含む、
請求項６から８のいずれか一項に記載の方法。
【請求項10】
前記第１のピクセルデータを符号化することが、前記第１のピクセルの色座標または輝度のうちの少なくとも一方を含むパラメータを設定することを含み、前記パラメータの値が、前記光学ブロックの前記複数の焦点状態のうちの１つを示す、請求項６から９のいずれか一項に記載の方法。
【請求項11】
アイトラッキングデータを作り出すためにユーザの眼の位置または向きのうちの少なくとも一方を決定するためのアイトラッカーを使用することを含み、前記光学ブロックの前記焦点状態が、前記アイトラッキングデータに少なくとも部分的に基づいて決定される、請求項６から１０のいずれか一項に記載の方法。
【請求項12】
ヘッドマウントディスプレイ（ＨＭＤ）を制御する方法であって、前記ＨＭＤによって表示するための複数のビデオフレームを取得することであって、第１のデータが、前記ＨＭＤを使用して表示可能な領域の外側に位置する第１のピクセルを使用して、前記複数のビデオフレームのうちの少なくとも１つのビデオフレームに符号化され、前記第１のデータが、前記少なくとも１つのビデオフレームを表示するための前記ＨＭＤの光学ブロックの焦点状態を示す、複数のビデオフレームを取得することと、
前記少なくとも１つのビデオフレームを表示するより前に、前記第１のデータによって示された前記焦点状態に前記光学ブロックを設定することと、
前記光学ブロックが前記第１のデータによって示された前記焦点状態に設定された状態で、前記ＨＭＤのディスプレイモジュールによって前記少なくとも１つのビデオフレームを表示することと
を含む、方法。
【請求項13】
アイトラッキングデータを作り出すためにユーザの眼の位置または向きのうちの少なくとも一方を決定するためのアイトラッカーを使用することを含み、前記光学ブロックの前記焦点状態が、前記アイトラッキングデータに少なくとも部分的に基づいて決定される、請求項１２に記載の方法。
【請求項14】
前記焦点状態が、前記光学ブロックの複数の焦点状態から選択され、前記第１のデータが、前記第１のピクセルの色座標または輝度のうちの少なくとも一方を含むパラメータの値として符号化され、前記パラメータの前記値が、前記光学ブロックの前記複数の焦点状態のうちの１つを示す、請求項１２または１３に記載の方法。
【請求項15】
前記第１のデータによって示された前記焦点状態に前記光学ブロックを設定することが、前記光学ブロックの光学要素と前記ＨＭＤのディスプレイモジュールとの間の距離を変更することを含む、第１のピクセルデータによって示された前記焦点状態に前記光学ブロックを設定することが、前記光学ブロックの可変焦点光学要素の光学パワーを変更することを含む、
のうちの１つまたは複数である、請求項１２から１４のいずれか一項に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、一般に、ニアアイディスプレイデバイスに関する。より詳細には、本発明は、シーンにおけるオブジェクトの表示を、表示されるオブジェクトの深度位置または視覚調節と同期させることに関する。
【背景技術】
【0002】
ヘッドマウントディスプレイ（ＨＭＤ）は、人工現実システムにおいてユーザへの表示のための仮想環境をシミュレートするために使用され得る。たとえば、立体画像が、深度の錯覚をシミュレートするためにＨＭＤ内のディスプレイモジュール上に表示され得、ヘッドトラッキングセンサーが、仮想環境のどの部分がユーザによって観察されているかを推定するために使用され得る。しかしながら、そのようなシミュレーションは、既存のＨＭＤが正しくレンダリングすることができないことまたはさもなければ輻輳と調節との矛盾を補償することができないことから生じる、視覚疲労および吐き気を生じることがある。
【0003】
一般に、眼は、より近いオブジェクトに焦点を合わせるために収束し（互いのほうへ回転し）、より遠くにあるオブジェクトに焦点を合わせるために発散する（互いから離れて回転する）。したがって、輻輳は、単一の両眼視を取得または維持するための、反対方向における両方の眼の同時移動を表す。調節は、輻輳と結びつけられ、眼のレンズが近くのまたは遠くのオブジェクトに焦点を合わせるプロセスである。眼の調節中に、眼のレンズは、観察者からのオブジェクトの距離が変動するとき、オブジェクトのシャープな合焦画像を維持するために、光学パワーを変更する。
【0004】
いくつかのＨＭＤは、立体効果を使用することによって、ならびに、別の仮想オブジェクトを、別の焦点面または集束状態に置くことによって、別の知覚される距離において、仮想現実または拡張現実シーンにおけるオブジェクトを表示し得る。仮想オブジェクトの知覚される立体画像深度および位置には、輻輳／調節矛盾によって引き起こされる疲労または吐き気を低減するために、仮想オブジェクトの対応する焦点位置および集束距離が付随する必要がある。
【発明の概要】
【0005】
本発明の態様によれば、ヘッドマウントディスプレイ（ＨＭＤ）であって、画像光を提供するためのディスプレイモジュールと、ディスプレイモジュールから画像光を受け取り、画像光によって搬送された仮想画像を提供するように構成された光学ブロックであって、光学ブロックが、仮想画像の別の焦点面に各々対応する複数の焦点状態を有する、光学ブロックと、複数の焦点状態のうちの相異なる焦点状態間で光学ブロックを選択可能に切り替えるように構成された可変焦点モジュールと、コントローラであって、ＨＭＤによって表示するためのビデオデータのフレームを受け取ることであって、フレームが、フレームの第１のピクセル中に符号化されたピクセルデータを含み、ピクセルデータが、光学ブロックの複数の焦点状態のうちの１つを示す、ビデオデータのフレームを受け取ることと、ＨＭＤを使用してフレームを表示するより前に、ピクセルデータを読み取ることと、ピクセルデータによって示された焦点状態に光学ブロックを設定するために、可変焦点モジュールを使用することとを行うように構成されたコントローラとを備えるヘッドマウントディスプレイ（ＨＭＤ）が提供される。
【0006】
第１のピクセルは、フレームの表示可能な領域の外側に位置し得る。
【0007】
ＨＭＤは、アイトラッキングデータを作り出すためにユーザの眼の位置または向きのうちの少なくとも一方を決定するためのアイトラッキングモジュールを備え得、光学ブロックの焦点状態は、アイトラッキングデータに少なくとも部分的に基づいて決定される。
【0008】
可変焦点モジュールは光学要素を含み得、光学要素は、光学要素とディスプレイモジュールとの間の距離を変動させるようにディスプレイモジュールに対して移動可能である。
【0009】
可変焦点モジュールは、制御可能光学パワーを有する可変焦点光学要素を含み得る。可変焦点光学要素は、形状変化ポリマーレンズ、液体レンズ、アルバレスローマン（Ａｌｖａｒｅｚ－Ｌｏｈｍａｎｎ）レンズ、変形可能な膜ミラー、液晶（電気活性）レンズ、位相限定（ｐｈａｓｅ－ｏｎｌｙ）空間光変調器（ＳＬＭ）、またはパンチャラトナムベリー（ＰＢ：Ｐａｎｃｈａｒａｔｎａｍ－Ｂｅｒｒｙ）切替え可能レンズのうちの少なくとも１つを備え得る。
【0010】
本発明の別の態様によれば、ヘッドマウントディスプレイ（ＨＭＤ）を制御する方法であって、本方法は、ＨＭＤによって表示するためのフレームを含むビデオデータを取得することと、フレームの第１のピクセルに第１のピクセルデータを符号化することであって、符号化された第１のピクセルデータが、フレームを表示するためのＨＭＤの光学ブロックの焦点状態を示し、焦点状態が、光学ブロックの複数の焦点状態から選択され、各焦点状態が、仮想画像の別の焦点面に対応し、仮想画像が、ビデオデータのフレームに基づく、第１のピクセルデータを符号化することとを含む、方法が提供される。第１のピクセルは、フレームの表示可能な領域の外側に位置し得る。
【0011】
本方法は、ビデオデータを取得することと、ビデオデータの複数のフレームの各フレームの第１のピクセルに第１のピクセルデータを符号化することとを含み得る。
【0012】
本方法は、フレームの第１のピクセル中に符号化された第１のピクセルデータを読み取ることと、フレームを表示するより前に、第１のピクセル中に符号化された第１のピクセルデータによって示された焦点状態に光学ブロックを設定することとを含み得る。
【0013】
焦点状態に光学ブロックを設定することは、ＨＭＤのディスプレイモジュールが光を実質的に放出しない期間中に実施され得る。
【0014】
第１のピクセルデータを符号化することは、第１のピクセルの色座標または輝度のうちの少なくとも一方を含むパラメータを設定することを含み得、パラメータの値が、光学ブロックの複数の焦点状態のうちの１つを示す。
【0015】
本方法は、アイトラッキングデータを作り出すためにユーザの眼の位置または向きのうちの少なくとも一方を決定するためのアイトラッカーを使用することを含み得、光学ブロックの焦点状態は、アイトラッキングデータに少なくとも部分的に基づいて決定される。
【0016】
第１のピクセルデータによって示された焦点状態に光学ブロックを設定することは、光学ブロックの光学要素とＨＭＤのディスプレイモジュールとの間の距離を変更することを含み得る。
【0017】
第１のピクセルデータによって示された焦点状態に光学ブロックを設定することは、光学ブロックの可変焦点光学要素の光学パワーを変更することを含み得る。
【0018】
本発明のさらなる態様によれば、ヘッドマウントディスプレイ（ＨＭＤ）を制御する方法であって、本方法は、ＨＭＤによって表示するための複数のビデオフレームを取得することであって、第１のデータが、ＨＭＤを使用して表示可能な領域の外側に位置する第１のピクセルを使用して、複数のビデオフレームのうちの少なくとも１つのビデオフレームに符号化され、第１のデータが、少なくとも１つのビデオフレームを表示するためのＨＭＤの光学ブロックの焦点状態を示す、複数のビデオフレームを取得することと、少なくとも１つのビデオフレームを表示するより前に、第１のデータによって示された焦点状態に光学ブロックを設定することと、光学ブロックが第１のデータによって示された焦点状態に設定された状態で、ＨＭＤのディスプレイモジュールによって少なくとも１つのビデオフレームを表示することとを含む、方法が提供される。
【0019】
本方法は、アイトラッキングデータを作り出すためにユーザの眼の位置または向きのうちの少なくとも一方を決定するためのアイトラッカーを使用することを含み得、光学ブロックの焦点状態は、アイトラッキングデータに少なくとも部分的に基づいて決定される。
【0020】
焦点状態は、光学ブロックの複数の焦点状態から選択され得、第１のデータは、第１のピクセルの色座標または輝度のうちの少なくとも一方を含むパラメータの値として符号化され、パラメータの値は、光学ブロックの複数の焦点状態のうちの１つを示す。
【0021】
第１のデータによって示された焦点状態に光学ブロックを設定することは、光学ブロックの光学要素とＨＭＤのディスプレイモジュールとの間の距離を変更することを含み得る。
第１のピクセルデータによって示された焦点状態に光学ブロックを設定することは、光学ブロックの可変焦点光学要素の光学パワーを変更することを含み得る。
第１のピクセルデータによって示された焦点状態に光学ブロックを設定することは、光学ブロックの可変焦点光学要素の光学パワーを変更することを含み得る。
【0022】
本発明のまた別の態様によれば、ヘッドマウントディスプレイ（ＨＭＤ）を制御する方法であって、本方法は、ＨＭＤによって表示されるためのビデオデータを提供することであって、ビデオデータが、第１の焦点面上でユーザに表示するための第Ｎのフレームを含む、ビデオデータを提供することと、第１の焦点面に対応するＨＭＤの光学ブロックの焦点状態を決定することと、光学ブロックによって引き起こされるひずみを補償するために第Ｎのフレームに調整を適用することであって、調整された第Ｎのフレームのいくつかのピクセルが、ＨＭＤによって表示可能な領域の外側にある、調整を適用することと、第Ｎのフレームの第１のピクセル中に第１のピクセルデータを符号化することであって、第１のピクセルが、ＨＭＤによって表示可能な領域の外側にあり、符号化された第１のピクセルデータが、第１の焦点面上で第Ｎのフレームを表示するための光学ブロックの焦点状態を定義する、第１のピクセルデータを符号化することと、ＨＭＤ上で、第Ｎのフレームからの符号化された第１のピクセルデータを復号することと、復号された第１のピクセルデータに基づいて、第Ｎのフレームを表示するための決定された焦点状態に光学ブロックを設定することと、ＨＭＤのディスプレイ上でユーザに第Ｎのフレームを表示することとを含む、方法が提供される。
【0023】
本明細書で説明される態様のいずれかに含めるために好適なものとして説明される任意の特徴が、任意の組合せにおいて他の態様のいずれかに含めるためにも好適であることが諒解されよう。
【0024】
次に、本発明が、単に例として、および添付の図面を参照しながら説明される。
【図面の簡単な説明】
【0025】
【図1】少なくとも１つの実施形態による、ヘッドマウントディスプレイ（ＨＭＤ）の簡略ブロック図である。
【図2A-2B】少なくとも１つの実施形態による、移動可能な集束要素を含むＨＭＤの可変焦点モジュールの概略図である。
【図3A-3B】少なくとも１つの実施形態による、可変焦点要素を含むＨＭＤの可変焦点モジュールの概略図である。
【図4】少なくとも１つの実施形態による、フレーム表示を光学ブロックの焦点状態と同期させる方法のフローチャートである。
【図5】一実施形態による、観察可能なエリアの外側のピクセルを含む画像データの予歪されたフレームを示す図である。
【図6】少なくとも１つの実施形態による、ＨＭＤフレーム－焦点状態同期システムのための簡略機能ブロック図である。
【図7】一実施形態による、ヘッドマウントディスプレイの３Ｄ図である。
【図8】一実施形態による、例示的な仮想現実システムのブロック図である。
【発明を実施するための形態】
【0026】
以下の説明は、当業者が本発明を製作および使用することを可能にするために提示され、特定の適用例およびその要件のコンテキストにおいて提供される。開示される実施形態への様々な修正は、当業者に容易に明らかになり、本明細書で定義される一般的な原理は、本発明の範囲から逸脱することなく、他の実施形態および適用例に適用され得る。したがって、本発明は、開示される実施形態に限定されるものではなく、本明細書で開示される原理および特徴に一致する最も広い範囲を与えられるべきである。本開示全体にわたって、「ＨＭＤ」という用語は、ヘッドマウントディスプレイ、ニアアイディスプレイ、ウェアラブルディスプレイ、仮想現実（ＶＲ）ディスプレイ、拡張現実（ＡＲ）ディスプレイ、複合現実（ＭＲ）ディスプレイなどを含む。同様の参照番号は、図面全体にわたって同様の要素を示す。
【0027】
快適な観察体験を作成するために、ＨＭＤによって提示され、ユーザによって観察される仮想シーン内のロケーションに基づいて、ＨＭＤの焦点は調整されるべきである。たとえば、３次元（３Ｄ）仮想シーンが、ＨＭＤの電子ディスプレイ要素またはディスプレイモジュール（たとえば、ディスプレイパネル、プロジェクタなど）上に提示され、電子ディスプレイ要素からの画像光をユーザの眼に向ける光学ブロックの焦点長が、ユーザが見ている仮想シーン内のロケーションまたはオブジェクトに基づいて、可変焦点要素（たとえば、光学ブロック中のレンズシステムと電子ディスプレイ要素との間の距離を機械的に変更する要素、光学ブロック中のレンズシステム中の１つまたは複数のレンズの形状を変更する要素など）を使用して調整される。たとえば、ＨＭＤは、注視線を近似するためにユーザの眼をトラッキングし、注視線の推定された交点として、輻輳深度を含む注視点を決定する。注視点は、ＨＭＤによってユーザに提示される、仮想シーンの特定のフレームのためのオブジェクトまたは焦点の面を識別する。可変焦点要素は、次いで、光学ブロックの焦点長を調整して、注視点のための推定された輻輳深度において光学ブロックを集束させて、輻輳および調節が変化するとき、ユーザの眼を快適のゾーン中に保つ。
【0028】
ビデオデータの一連のフレーム中の各フレームの表示は、自然感覚観察体験を提供するために、光学ブロックの焦点状態の変化と同期されなければならない。画像表示データと光学制御データとが、人工現実システムの別個のデータ経路を介して提供され得、次いで、表示されるシーンを作り出すためにユーザの眼において組み合わせられ得る。２つのデータ経路間の誤同期（ｍｉｓ－ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ）が、たとえば、画像データ経路中のドロップされたまたは消失したフレームなどによりなど、いくつかの理由で発生することがある。画像データの各フレームが、それぞれの焦点面において表示されるための特定の補正を適用されるので、ドロップされたまたは消失したフレームの発生は、ユーザにとって不自然な観察体験を生じ得る。たとえば、一連のフレームにおいて第Ｎのフレームをドロップすることは、第（Ｎ＋１）のフレームが、第Ｎのフレームを対象にした補正を使用してＨＭＤを介してユーザに表示されることを生じ得る。２つのデータ経路のこの誤同期により、ユーザは、表示されたシーンにおける、ひずみ、ぶれ、または別のアーティファクトに気づき得る。
【0029】
図１は、一実施形態による、ＨＭＤ１００の簡略ブロック図である。ＨＭＤ１００は、ユーザにＡＲ／ＶＲコンテンツを表示するためのディスプレイシステム１０２と、コントローラ１０４と、任意選択的にアイトラッキングモジュール１０６とを含む。この特定のおよび非限定的な例では、ディスプレイシステム１０２は、画像光を提供するためのディスプレイモジュール１０８を含み、たとえば、および限定はしないが、液晶ディスプレイ（ＬＣＤ）、有機発光ディスプレイ（ＯＬＥＤ）、無機発光ディスプレイ（ＩＬＥＤ）、アクティブマトリックス有機発光ダイオード（ＡＭＯＬＥＤ）ディスプレイ、透明有機発光ダイオード（ＴＯＬＥＤ）ディスプレイ、走査ディスプレイ、プロジェクタ、またはそれらの組合せを含む。ディスプレイシステム１０２は、光学ブロック１１０をさらに含み、光学ブロック１１０の機能は、ディスプレイモジュールから画像光を受け取ることと、画像光によって搬送された仮想画像を提供することとである。光学ブロック１１０は、表示された仮想画像の別の焦点面に各々対応する、複数の焦点状態を有し、様々なレンズ、たとえば、屈折レンズ、フレネルレンズ、回折レンズ、能動または受動パンチャラトナムベリー位相（ＰＢＰ：Ｐａｎｃｈａｒａｔｎａｍ－Ｂｅｒｒｙ ｐｈａｓｅ）レンズ、液体レンズ、液晶レンズ、瞳孔複製導波路、格子構造、コーティングなどを含み得る。いくつかの実施形態では、光学ブロック１１０中の１つまたは複数の光学要素は、反射防止コーティングなど、１つまたは複数のコーティングを有し得る。
【0030】
光学ブロック１１０による画像光の拡大は、ディスプレイモジュール１０８が、より大きいディスプレイよりも、物理的により小さくなり、重さが減じ、少ない電力を消費することを可能にする。さらに、画像光の拡大は、表示されるコンテンツの視野を増加させ得る。たとえば、表示されるコンテンツの視野は、表示されるコンテンツが、ユーザの視野のほとんどすべて（たとえば、１５０度）、およびいくつかの場合にはすべてを使用して提示されるようなものである。
【0031】
光学ブロック１１０は、１つまたは複数の光学誤差を補正するように構築され得る。光学誤差の例は、たる形ひずみ、糸巻き形ひずみ、縦色収差、横色収差、球面収差、コマ収差、像面湾曲、非点収差などを含む。いくつかの実施形態では、表示のためにディスプレイモジュール１０８に提供されるコンテンツは予歪され、光学ブロック１１０が、そのコンテンツに基づいて生成された画像光をディスプレイモジュール１０８から受け取るとき、光学ブロック１１０はその予歪を補正する。
【0032】
ディスプレイシステム１０２は、図１に示されているように、光学ブロック１１０の一部であり得る、可変焦点モジュール１１２をさらに含み得る。可変焦点モジュール１１２の機能は、たとえば、輻輳調節矛盾（ｖｅｒｇｅｎｃｅ－ａｃｃｏｍｍｏｄａｔｉｏｎ ｃｏｎｆｌｉｃｔ）を補償すること、特定のユーザの視覚障害を補正すること、光学ブロック１１０の収差をオフセットすることなどのために、光学ブロック１１０の焦点を調整することである。可変焦点モジュール１１２は、光学ブロック１１０中のレンズシステムとディスプレイモジュール１０８との間の距離を機械的に変更する可変焦点要素（たとえば、図２Ａおよび図２Ｂ参照）、光学ブロック１１０中のレンズシステム中の１つまたは複数のレンズの形状を変更する可変焦点要素（たとえば、図３Ａおよび図３Ｂ参照）などを含む。
【0033】
コントローラ１０４は、焦点状態決定モジュール１１４と、シーンレンダリングモジュール１１６とを含む。コントローラ１０４は、複数のソフトウェアモジュールを実行する単一のプロセッサ、１つまたは複数のソフトウェアモジュールを実行する複数のプロセッサ、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、またはそれらの組合せを備え得る。いくつかの実施形態では、コントローラ１０４によって実施されるプロセスのうちのいくつかが、代わりに、たとえば仮想現実システムにおけるコンソールのプロセッサなど、ＨＭＤ１００とは別個である別のプロセッサによって実施され得る。
【0034】
焦点状態決定モジュール１１４は、複数の利用可能な焦点状態からの、光学ブロック１１０のどの焦点状態が、ビデオデータの各フレームを表示するために使用されるべきであるかを決定する。たとえば、焦点状態決定モジュール１１４は、たとえばＨＭＤ１００のアイトラッキングモジュール１０６などの様々なソースから、および、任意選択的に、１つまたは複数の（図示されていない）位置センサー、慣性測定センサー、ロケータなどを含む追加のソースから、検知された情報を受け取る。焦点状態決定モジュール１１４は、将来のフレームを表示するより前に、将来のフレームの輻輳深度を決定するために、受け取られた情報を使用する。たとえば、将来のフレームは、ビデオデータの次のフレームである。決定された輻輳深度は、輻輳および調節が変化するとき、ユーザの眼が快適のゾーン中にとどまるように、将来のフレームを表示するための光学ブロック１１０の焦点状態を決定するために使用される。特定のおよび非限定的な例として、焦点状態決定モジュール１１４は、決定された輻輳深度に対応する光学ブロック１１０の焦点状態をルックアップするために、テーブルを使用し得る。
【0035】
焦点状態決定モジュール１１４は、ＨＭＤ１００を介して表示されるべきであるビデオデータの各フレームについて、シーンレンダリングモジュール１１６に、決定された焦点状態データを提供する。シーンレンダリングモジュール１１６は、ビデオデータの各フレームに、各それぞれのフレームを表示するために使用されるべきである決定された焦点状態に固有の予歪を適用し得る。ビデオデータのフレームの表示が、光学ブロック１１０の焦点状態を設定することと正しく同期されるとき、光学ブロック１１０の焦点状態によって誘起されるひずみは、適用された予歪を補正し、ＨＭＤを介して表示される得られた仮想シーンは、ユーザにとって自然に見える。シーンレンダリングモジュール１１６は、ユーザの視線、輻輳深度（または調節深度）などに基づいて、被写界深度ぼけをも追加し得る。さらに、シーンレンダリングモジュール１１６は、アイトラッキングモジュール１０６、および、任意選択的に、１つまたは複数の位置センサー、慣性測定センサー、ロケータなどに基づいて、ディスプレイモジュール１０８上に表示されるべきコンテンツの一部分を決定する。
【0036】
以下でより詳細に説明されるように、シーンレンダリングモジュール１１６はまた、ビデオデータの、フレームのうちのいくつかにおける、または任意選択的に各フレームにおける、本明細書では「第１のピクセル」と呼ばれる１つまたは複数のピクセルを使用して、本明細書では「第１のピクセルデータ」と呼ばれるいくらかのピクセルデータを符号化し得る。本明細書では、「第１の」という用語は、フレームにおけるピクセルの順序または位置を暗示せず、むしろ、単なる識別子として使用される。たとえば、シーンレンダリングモジュール１１６は、第１のピクセルの色座標または輝度のうちの少なくとも一方など、パラメータの値を設定し得る。パラメータ値は、ビデオデータのそのフレームを正しく表示するための、光学ブロック１１０の決定された焦点状態を示す。一実施形態によれば、第１のピクセルデータは、ビデオデータのフレームの表示を、光学ブロック１１０の焦点状態を設定することと同期させるために使用され得る。有利には、ビデオデータの各フレームは、ビデオデータのそのフレームを正しく表示するために必要とされる光学ブロック１１０の焦点状態を識別する第１のピクセルデータを含み、それにより、各フレームの表示が光学ブロック１１０の焦点状態の設定と同期されることを確実にする。言い換えれば、いくつかのまたはすべてのフレームは、このフレームがどの焦点長または深度において表示されるべきであるかを示す「スタンプ」を含み得る。「スタンプ」エリアは、１つまたは複数のピクセルを含み得、ユーザに見えないことがある。非限定的な例として、ビデオデータの各フレームにおける第１のピクセルは、ＨＭＤ１００によって表示可能であるフレームの領域の外側に位置するピクセルである。
【0037】
可変焦点モジュール１１２は、多くの相異なるやり方で実装され得る。図１をさらに参照しながら図２Ａおよび図２Ｂを参照すると、可変焦点モジュール１１２は、モーター２００によって駆動される並進段２０２によってディスプレイモジュール１０８に対して移動可能な光学要素２１０を含む。光学要素２１０は、光学ブロック１１０の一部であり得る。いくつかの実施形態では、光学ブロック１１０全体が、並進段２０２によって移動可能である。可変焦点モジュール１１２は、光学ブロック１１０、ディスプレイモジュール１０８、またはその両方が光軸に沿って並進されることを可能にする他の構成要素をも含み得る。
【0038】
図２Ａは、仮想シーンのフレームＮについての焦点調整を提供するＨＭＤ１００の一例を示す。この例では、仮想シーンは、ユーザの眼２０６の視線が向けられる（すなわち、向かった（ｖｅｒｇｅｄ））ディスプレイモジュール１０８上に表示されるオブジェクト２０４を含む。オブジェクト２０４の仮想画像が、ディスプレイモジュール１０８の後ろに、射出瞳２０８から仮想距離ｄｉに位置する。図２Ａの例では、光学要素２１０は位置ｐｉにあり、これは、オブジェクト２０４の快適な観察を可能にするために距離ｄｉについての調節を提供する。
【0039】
図２Ｂは、仮想シーンの後続のフレームＮ＋１についての焦点調整を提供するＨＭＤ１００を示す。この例では、オブジェクト２０８が、仮想シーンにおいてユーザの眼２０６のほうへ移動される。その結果、オブジェクト２０８の仮想画像は、ディスプレイモジュール１０８のより近くに位置する。焦点状態決定モジュール１１４は、フレームＮ＋１を表示するための光学ブロック１１０の新しい焦点状態を決定する。モーター２００は、より近いオブジェクト２０８のための新しい深度ｄｆにおいてユーザ２０６に適応するように、位置ｐｉから新しい位置ｐｆに光学要素２１０を移動する。一例では、光学ブロック１１０の各焦点状態は、焦点長と眼の位置および／または向きとの組合せに対応し、輻輳深度の範囲についての調節を提供し、光学要素２１０の特定の位置に関連する。
【0040】
ユーザが遅延を知覚することなしに追加の計算を実施するための時間をも残しながら、新しい輻輳深度についての調節を提供するために、モーター２００が光学要素２１０を移動する速さは、人間の眼が調節を実施するレートによって制限され得る。たとえば、人間の眼の調節が、１０ジオプター／秒のピーク速度、１００ジオプター／秒２のピーク加速度を有し、ディスプレイモジュール１０８と光学ブロック１１０との間の距離を変更することが、仮想画像を約０．５ジオプター／ｍｍ移動すると仮定すると、モーター２００は、ユーザが、間違った深度において仮想オブジェクト２０４を知覚するのを防ぐために、１０／０．５＝２０ｍｍ／秒の最小速度、および１００／０．５＝２００ｍｍ／秒の最小加速度で並進段２０２を駆動する。先の値を満たす市販のアクチュエータがある。
【0041】
図３Ａおよび図３Ｂは、可変焦点光学要素３１０、たとえば、調節可能（ｔｕｎａｂｌｅ）または切替え可能焦点長をもつレンズまたはレンズのスタックを使用して、光学ブロック１１０の焦点長を調整するための代替の例示的なプロセスを示す。図２Ａおよび図２Ｂの例と同様に、図３Ａは、ユーザの眼３０２の視線が向けられるディスプレイモジュール１０８上に表示されるオブジェクト３００を含む仮想シーンのフレームＮについての焦点を提供するＨＭＤ１００の一例を示す。オブジェクト３００の仮想画像が、同様に、ディスプレイモジュール１０８の後ろである、射出瞳３０４から仮想距離ｄｉに位置する。図３Ａの例では、可変焦点モジュール１１２は、可変焦点光学要素３１０の光学（集束）パワー、たとえば、光学ブロック１１０の１つまたは複数のレンズの形状を変更して、レンズ形状Ｓ１で距離ｄ１についての調節を提供して、オブジェクト３００の快適な観察を可能にする。
【0042】
図３Ｂは、光学ブロック１１０の可変焦点光学要素３１０の光学パワーを変更することによって、仮想シーンの後続のフレームＮ＋１についての焦点を提供するＨＭＤ１００を示す。この例では、ユーザの眼３０２は、オブジェクト３０４が仮想シーンにおいてユーザ３０２のほうへ移動するとき、オブジェクト３０４を見るために位置および／または向きを変更し得る。その結果、オブジェクト３０４の仮想画像は、ディスプレイモジュール１０８の近くに位置する。図３Ａ中のオブジェクト３００よりも近い、ディスプレイモジュール１０８に近いオブジェクト３０４のロケーションに応答して、ユーザの眼３０２は、オブジェクト３０４を見るために回転し得る。焦点状態決定モジュール１１４は、フレームＮ＋１を表示するための光学ブロック１１０の新しい焦点状態を決定する。可変焦点モジュール１１４は、たとえば、新しいより近い輻輳深度ｄ２においてユーザ３０２に適応するように１つまたは複数のレンズの形状を形状Ｓ１から新しいレンズ形状Ｓ２に変更することによって、可変焦点光学要素３１０の光学パワーを変更する。上記で説明されたように、光学ブロック１１０の別の焦点状態は、別の焦点長に対応し、輻輳深度の範囲についての調節を提供し、焦点長に影響を及ぼすレンズ形状または他の調整可能な特性に関連し得る。焦点長を調整することまたは切り替えることが可能な例示的な可変焦点光学要素は、形状変化ポリマーレンズ、エレクトロウェッティングによる液体レンズ、アルバレスローマンレンズ、変形可能な膜ミラー、液晶（電気活性）レンズ、パンチャラトナムベリー位相（ＰＢＰ）レンズ、位相限定空間光変調器（ＳＬＭ）、および他の好適な構成要素を含む。
【0043】
図４は、仮想画像が、正しい焦点面においてユーザに表示されるように、ビデオデータのフレームの表示をＨＭＤ１００の光学ブロック１１０の制御と同期させるための方法の簡略フローチャートである。上記で説明されたように、可変焦点システムが、その焦点を動的に変化させて、ＨＭＤ１００を装着するユーザに提示される画像に焦点を合わせ得、これは、輻輳および調節が変化するとき、ユーザの眼を快適のゾーン中に保つ。
【0044】
ＨＭＤ１００の位置、向き、および／または移動が、ロケータとセンサーとの組合せを使用して決定され得、これは、図７および図８を参照しながら以下でより詳細に説明される。ＨＭＤ１００によって提示される仮想シーンの部分は、ユーザによって現在観察されている仮想シーンの一部分が、ＨＭＤ１００の位置、向き、および移動に基づいて決定され得るように、ＨＭＤ１００の様々な位置および向きにマッピングされ得る。ステップ４００（図４）において、ＨＭＤ１００は、ユーザが見ている決定された部分内のロケーションまたはオブジェクトに向かう視線方向を決定し得、この情報を使用して、そのロケーションまたはオブジェクトのための焦点を相応に調整し、すなわち、シーンにおけるオブジェクトが一連のビデオフレームのうちの第Ｎのフレームにおいて表示されるべきである焦点距離を決定し得る。ユーザが見ている仮想シーンの決定された部分内のロケーションまたはオブジェクトを決定するために、ＨＭＤ１００は、ユーザの眼の位置およびロケーションをトラッキングする。したがって、ＨＭＤ１００は、アイトラッキングデータを作り出すために、ユーザの各眼について眼の位置または向きを決定する。たとえば、ＨＭＤ１００のアイトラッキングモジュール１０６は、各眼の３Ｄ位置、ロール、ピッチ、およびヨーの少なくともサブセットをトラッキングし、各眼の３Ｄ注視点を決定するためにこれらの量を使用する。さらに、過去の眼の位置からの情報、ユーザの頭部の位置を記述する情報、およびユーザに提示されるシーンを記述する情報も、眼の３Ｄ注視点を決定するために使用され得る。仮想オブジェクトの３Ｄロケーションも、表示されるべき３Ｄ仮想シーンによって決定され得る。
【0045】
ステップ４０２において、決定された焦点距離に対応する光学ブロック１１０の焦点状態が決定され、これは、アイトラッキングデータに少なくとも部分的に基づき得る。たとえば、焦点状態決定モジュール１１４は、決定された焦点距離に対応する光学ブロック１１０の焦点状態をルックアップするために、テーブルを使用する。代替的に、焦点状態は別の好適なやり方で決定され、たとえば、焦点状態は、ディスプレイモジュール１０８によって表示されるべき各フレームについて事前決定され得る。
【0046】
随意のステップ４０４において、第Ｎのフレームは、調整を使用して、シーンレンダリングモジュール１１６によって予歪され得、その調整は、第Ｎのフレームに適用されたとき、光学ブロック１１０の決定された焦点状態によって補正されるかまたは取り消され、したがって、第Ｎのフレームは、ユーザに表示されたとき、ひずんでいるように見えないことになる。いくつかの実施形態では、光学ブロック１１０の各焦点状態は、光学ブロック１１０の焦点状態によってもたらされる光学誤差を補正するひずみ補正マップに関連する。したがって、第Ｎのフレームに適用される調整は、第ＮのフレームがＨＭＤ１００によって表示されているとき、光学ブロック１１０の決定された焦点状態に固有であり得る。したがって、光学ブロック１１０の制御は、光学ブロック１１０が、第Ｎのフレームを表示するための正しい時間において、決定された焦点状態に設定されるように、第Ｎの画像の表示と同期されなければならない。
【0047】
光学ブロック１１０の制御が第Ｎのフレームの表示と同期されることを確実にするために、光学ブロック１１０の決定された焦点状態を示すデータが、ステップ４０６において、第Ｎのフレームのための画像データ中に符号化される。また図５を参照すると、シーンレンダリングモジュール１１６が、第Ｎのフレームを予歪するための調整を適用するとき、その結果は、予歪されたフレーム５０２の１つまたは複数のピクセル、たとえば第１のピクセル５０４が、予歪が光学ブロック１１０によって取り消された後に、ＨＭＤ１００によって表示可能である領域５０６の外側に位置することになる。言い換えれば、あらゆるフレームのための画像データは、いくつかのピクセルが、ＨＭＤ１００によって表示され得ず、したがって、ユーザによって観察され得ないように、予歪され得る。一般に、これらの観察可能でないピクセルは、光学ブロック１１０における迷光を低減するために暗いままにされる。対比では、図４に示されている方法は、符号化された情報を含んでいるビデオデータのフレームを表示するための光学ブロック１１０の決定された状態を定義または識別する情報を符号化するために、第１のピクセル５０４を使用する。より詳細には、ステップ４０６において実施される符号化は、第１のピクセル５０４の色座標または輝度のうちの少なくとも一方を含むパラメータを設定することを含み、パラメータの値が、光学ブロック１１０の決定された焦点状態を示す。このコンテキストでは、「第１の」という用語は、特定のピクセルを指すための識別子として使用されるにすぎず、画像データにおけるそのピクセルの順序またはロケーションを暗示しない。
【0048】
ステップ４０８において、光学ブロック１１０の決定された焦点状態を定義する符号化されたデータを含む、第Ｎのフレームのための予歪された画像データは、ＨＭＤ１００のディスプレイインターフェースに提供される。第１のピクセル５０４のパラメータの値は、ステップ４１０において、画像データストリームから読み取られ、ステップ４１２において、光学ブロック１１０の焦点状態を、ユーザに第Ｎのフレームを表示するための決定された焦点状態に変更するかまたはさもなければ設定するために使用される。一実施形態では、光学ブロック１１０の焦点状態は、ユーザが、行われている変更を知覚しないように、ディスプレイモジュール１０８のバックライトが光を放出しないかまたは極めて少量の光（たとえば、０．０１％の照度）のみを放出する期間中に変更される。
【0049】
最後に、ステップ４１４において、第Ｎのフレームは、光学ブロック１１０が第Ｎのフレームについての決定された焦点状態に設定される間、ＨＭＤ１００を介してユーザに表示される。上記で説明されたプロセスは、輻輳および調節が変化するとき、ユーザの眼が快適のゾーン中に保たれるように、ビデオ画像データの一連のフレーム中の各フレームについて実施される。
【0050】
光学ブロック１１０が、十分に少数の別の焦点状態をサポートする実施形態では、ＨＭＤ１００によって表示され得ないフレームの領域内にあるピクセルの代わりに、観察可能なピクセルが、光学ブロック１１０の決定された焦点状態を示すデータを符号化するために使用され得る。
【0051】
次に図６を参照すると、仮想フレームを表示することと、表示される仮想像の焦点面に対応する焦点状態を設定することとの同期のプロセスのための簡略機能ブロック図が示されている。少なくとも１つの実施形態によれば、ユーザに仮想シーンを表示するためのデータ信号、および光学ブロック１１０の焦点状態を設定するためのデータは、有利に、単一のデータ経路をたどる。データ信号が単一のデータ経路に沿って提供されるので、ビデオデータのフレームが消失するかまたはドロップされる場合でも、ビデオデータのフレームを表示することと光学ブロック１１０の焦点状態を設定することとの間の同期は維持される。
【0052】
動作中、フレームソース６００（たとえば、仮想現実システムのコンソール）が、ＨＭＤ１００を介して表示されるためのコンテンツを提供する。光学ブロック１１０の焦点状態を示す第１のデータが、上記で説明されたように、各フレームの第１のピクセル中に符号化６０２され、これは、ＨＭＤ１００のオンボードまたはオフボードのいずれかで実施される。符号化された第１のデータを含むコンテンツは、ディスプレイインターフェース６０４を介してＨＭＤ１００のディスプレイシステム１０２に提供される。ビデオデータのフレームが、ディスプレイモジュール１０８によって表示されるためにディスプレイモジュール１０８に送信され、同時に、ビデオデータのフレーム中に符号化された第１のデータは、ＨＭＤ１００のオンボードで復号６０６され、たとえば、そのフレームの第１のピクセルのパラメータの値は、コントローラ１０４によってデータストリームから読み取られる。光学ブロック１１０は、第１のデータに基づいてビデオデータのフレームを正しく表示するための決定された焦点状態に設定され、たとえば、データストリームから読み取られた第１のピクセルのパラメータの値に基づいて光学ブロック１１０の焦点状態をルックアップするために、テーブルが使用される。ビデオデータのフレームは、ディスプレイドライバ６０８の制御下でディスプレイモジュール１０８によって表示され、光学ブロック１１０は、ユーザ６１０が、ひずみおよび／またはアーテファクトなどなしのビデオデータのフレームを観察するように、ビデオデータのフレームの予歪を補正するための正しい焦点状態に設定される。
【0053】
次に図７を参照すると、本明細書で開示される実施形態を実装するために好適であるヘッドマウントディスプレイ（ＨＭＤ）１００の例示的な図が示されている。より詳細には、ＨＭＤ１００は、拡張現実／仮想現実（ＡＲ／ＶＲ）環境へのより大きい程度の没入のための、ユーザの顔を囲むＡＲ／ＶＲウェアラブルディスプレイシステムの一例である。ＨＭＤ１００の機能は、コンピュータ生成された像で物理的現実世界の環境のビューを拡張すること、および／または、完全に仮想３Ｄ像を生成することである。ＨＭＤ１００は、前面本体７００と、バンド７０２とを含み得る。前面本体７００は、信頼できるおよび快適な様式でのユーザの眼の前への配置のために構成され、バンド７０２は、ユーザの頭部上で前面本体７００を固定するために伸張され得る。上記で説明されたディスプレイシステム１０２は、ユーザにＡＲ／ＶＲ像を提示するために、前面本体７００中に配置され得る。前面本体７００の側面７０４は、不透明であるか、または透明であり得る。
【0054】
いくつかの実施形態では、前面本体７００は、ロケータ７０６と、ＨＭＤ１００の加速度をトラッキングするための慣性測定ユニット（ＩＭＵ）７０８と、ＨＭＤ１００の位置をトラッキングするための位置センサー７１０とを含む。ＩＭＵ７０８は、ＨＭＤ１００の運動に応答して１つまたは複数の測定信号を生成する位置センサー７１０のうちの１つまたは複数から受け取られた測定信号に基づいて、ＨＭＤ１００の位置を示すデータを生成する電子デバイスである。位置センサー７１０の例は、１つまたは複数の加速度計、１つまたは複数のジャイロスコープ、１つまたは複数の磁力計、運動を検出する別の好適なタイプのセンサー、ＩＭＵ７０８の誤差補正のために使用されるタイプのセンサー、またはそれらの何らかの組合せを含む。位置センサー７１０は、ＩＭＵ７０８の外部に、ＩＭＵ７０８の内部に、またはそれらの何らかの組合せで位置し得る。
【0055】
ロケータ７０６は、仮想現実システムが、ＨＭＤ１００全体のロケーションおよび向きをトラッキングすることができるように、仮想現実システムの外部撮像デバイスによって追跡される。ＩＭＵ７０８および位置センサー７１０によって生成された情報は、ＨＭＤ１００の位置および向きのトラッキング正確さの改善のために、ロケータ７０６をトラッキングすることによって取得された位置および向きと比較され得る。正確な位置および向き情報は、ユーザが、３Ｄ空間において移動し、回転するので、適切な仮想風景をユーザに提示するために重要である。
【0056】
ＨＭＤ１００は、ＨＭＤ１００の一部または全部の周囲のローカルエリアの深度情報を記述するデータをキャプチャする、深度カメラアセンブリ（ＤＣＡ）７１２をさらに含み得る。そのために、ＤＣＡ７１２は、レーザーレーダー（ＬＩＤＡＲ）、または同様のデバイスを含み得る。深度情報は、３Ｄ空間におけるＨＭＤ１００の位置および向きの決定のより良好な正確さのために、ＩＭＵ７０８からの情報と比較され得る。
【0057】
ＨＭＤ１００は、リアルタイムでユーザの眼の向きおよび位置を決定するためのアイトラッキングモジュール１０６をさらに含み得る。眼の取得された位置および向きはまた、ＨＭＤ１００が、ユーザの視線方向を決定することと、それに応じてディスプレイシステム１０２によって生成された画像を調整することとを可能にする。一実施形態では、輻輳、すなわち、ユーザの眼視線の収束角が決定される。決定された、視線方向および輻輳角はまた、画角および眼の位置に応じて、視覚的アーティファクトのリアルタイム補償のために使用され得る。さらに、決定された、輻輳および視線角は、ユーザとの対話、オブジェクトをハイライトすること、オブジェクトを前景に持ってくること、追加のオブジェクトまたはポインタを作成することなどのために使用され得る。たとえば、前面本体７００に組み込まれた小さいスピーカーのセット（図示せず）を含む、オーディオシステムも提供され得る。
【0058】
次に図８を参照すると、図７のＨＭＤ１００と、様々なＡＲ／ＶＲアプリケーション、セットアップおよび較正手順、３Ｄビデオなどを記憶する外部コンソール８０２と、コンソール８０２を動作させ、および／またはＡＲ／ＶＲ環境と対話するための入出力（Ｉ／Ｏ）インターフェース８０４とを含む、ＡＲ／ＶＲシステム８００が示されている。ＨＭＤ１００は、物理的ケーブルを用いてコンソール８０２に「テザリング」されるか、またはＢｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉなど、ワイヤレス通信リンクを介してコンソール８０２に接続され得る。関連するＩ／Ｏインターフェース８０４を各々有する、複数のＨＭＤ１００があり得、各ＨＭＤ１００および（１つまたは複数の）Ｉ／Ｏインターフェース８０４はコンソール８０２と通信する。代替構成では、別のおよび／または追加の構成要素が、ＡＲ／ＶＲシステム８００中に含まれ得る。さらに、図７および図８に示されている構成要素のうちの１つまたは複数に関して説明される機能性は、いくつかの実施形態では、図７および図８に関して説明されるものとは異なる様式で構成要素の間で分散され得る。たとえば、コンソール８０２の機能性の一部または全部がＨＭＤ１００によって提供され得、その逆も同様である。ＨＭＤ１００は、そのような機能性を達成することが可能な処理モジュールを提供され得る。
【0059】
図７を参照しながら上記で説明されたように、ＨＭＤ１００は、眼の位置および向きをトラッキングする、視線角および収束角を決定するなどのためのアイトラッキングモジュール１０６と、３Ｄ空間におけるＨＭＤ１００の位置および向きを決定するためのＩＭＵ７０８と、外部環境をキャプチャするためのＤＣＡ７１２と、ＨＭＤ１００の位置を独立して決定するための（１つまたは複数の）位置センサー７１０と、ユーザに対してＡＲ／ＶＲコンテンツを表示するためのディスプレイシステム１０２とを含み得る。ディスプレイシステム１０２は、ディスプレイモジュール１０８と、光学ブロック１１０と、可変焦点モジュール１１２とを含み、それらのすべては図１を参照しながら上記で説明された。
【0060】
可変焦点モジュール１１２は可変焦点要素を含み、可変焦点要素は、光学ブロック１１０に、ＨＭＤ１００によって表示される仮想画像の焦点面を変動させて、輻輳および調節が変化するとき、ユーザの眼を快適のゾーン中に保つ。一実施形態では、可変焦点モジュール１１２は、光学ブロック１１０に対してディスプレイモジュール１０８を移動することによって、ディスプレイモジュール１０８と光学ブロック１１０との間の距離を物理的に変更する。代替的に、可変焦点モジュール１１２は、１つまたは複数のレンズの１つまたは複数の特性を調整することによって、仮想画像の焦点面を変更する。可変焦点モジュール１１２によって調整されるレンズの例示的な特性は、光路長、レンズ媒体の屈折率、レンズの形状などを含む。たとえば、可変焦点モジュール１１２は、形状変化ポリマーレンズ、液体レンズによるエレクトロウェッティング法、アルバレスローマンレンズ、変形可能な膜ミラー、液晶（電気活性）レンズ、または位相限定空間光変調器（ＳＬＭ）、パンチャラトナムベリー（ＰＢ）切替え可能レンズ、または任意の他の好適な構成要素、およびそれらの任意の組合せを使用して、仮想画像の焦点面を変更する。さらに、ＨＭＤ１００の２つのレンズを互いに対して移動することまたは並進させることも、仮想画像の焦点面を変動させるために使用され得る。一実施形態では、複数のＰＢレンズを備えるスタックが、複数の選択可能な焦点面を提供するように、バイナリ光学（すなわち、集束／焦点はずれ）パワー値（たとえば、０．１、０．２、０．４、０．８、１．６ジオプターなど）で構成され得る。可変焦点モジュール１１２は、図２Ａおよび図２Ｂを参照しながら説明されたように、トラック上でディスプレイモジュール１０８および／または光学ブロック１１０を移動して、それらの間の距離を変更する、アクチュエータまたはモーターを含み得る。代替的に、可変焦点モジュール１１２は、光学ブロック１１０中に含まれる１つまたは複数のレンズの特性を（たとえば、印加された電気信号を変動させることによって）変更するための、アクチュエータおよび他の構成要素または機構を含み得る。可変焦点モジュール１１２は、様々な実施形態では、光学ブロック１１０とは別個であるか、または光学ブロック１１０に統合され得る。
【0061】
光学ブロック１１０は、複数の利用可能な焦点状態のうちの相異なる焦点状態間で選択的に切り替えられ得る。光学ブロック１１０の各別の焦点状態は、ＨＭＤ１００によって表示される仮想画像の別の焦点面に対応する。任意の数の焦点状態が提供され得るが、限られた数の焦点状態が、人間の眼の感度に適応し、いくつかの実施形態がより少数の焦点状態を含むことを可能にする。
【0062】
Ｉ／Ｏインターフェース８０４は、ユーザがアクション要求を送り、コンソール８０２から応答を受け取ることを可能にするデバイスである。アクション要求は、特定のアクションを実施するための要求である。たとえば、アクション要求は、画像データまたはビデオデータのキャプチャを開始または終了するための命令、あるいはアプリケーション内で特定のアクションを実施するための命令であり得る。Ｉ／Ｏインターフェース８０４は、キーボード、マウス、ゲームコントローラ、またはアクション要求を受け取り、そのアクション要求をコンソール８０２に通信するための任意の他の好適なデバイスなど、１つまたは複数の図示されていない入力デバイスを含み得る。Ｉ／Ｏインターフェース８０４によって受け取られたアクション要求は、コンソール８０２に通信され、コンソール８０２は、そのアクション要求に対応するアクションを実施する。いくつかの実施形態では、Ｉ／Ｏインターフェース８０４は、Ｉ／Ｏインターフェース８０４の初期位置に対するＩ／Ｏインターフェース８０４の推定位置を示す較正データをキャプチャする図示されていないＩＭＵを含む。いくつかの実施形態では、Ｉ／Ｏインターフェース８０４は、コンソール８０２から受け取られた命令に従って、ユーザに触覚フィードバックを提供し得る。たとえば、アクション要求が受け取られたときに触覚フィードバックが提供され得るか、またはコンソール８０２がアクションを実施するときに、コンソール８０２が、Ｉ／Ｏインターフェース８０４に命令を通信して、Ｉ／Ｏインターフェース８０４が触覚フィードバックを生成することを引き起こす。
【0063】
コンソール８０２は、ＩＭＵ７０８とＤＣＡ７１２とアイトラッキングモジュール１０６とＩ／Ｏインターフェース８０４とのうちの１つまたは複数から受け取られた情報に従って、処理するためのコンテンツをＨＭＤ１００に提供し得る。図８に示されている例では、コンソール８０２は、アプリケーションストア８０６と、トラッキングモジュール８０８と、処理モジュール８１０とを含む。コンソール８０２のいくつかの実施形態は、図８に関して説明されるものとは異なるモジュールまたは構成要素を有し得る。同様に、以下でさらに説明される機能は、図７および図８に関して説明されるものとは異なる様式でコンソール８０２の構成要素の間で分散され得る。
【0064】
アプリケーションストア８０６は、コンソール８０２が実行するための１つまたは複数のアプリケーションを記憶し得る。アプリケーションは、プロセッサによって実行されたとき、ユーザへの提示のためのコンテンツを生成する命令のグループである。アプリケーションによって生成されたコンテンツは、ＨＭＤ１００またはＩ／Ｏインターフェース８０４の移動を介してユーザから受け取られた入力に応答したものであり得る。アプリケーションの例は、ゲームアプリケーション、プレゼンテーションおよび会議アプリケーション、ビデオ再生アプリケーション、または他の好適なアプリケーションを含む。
【0065】
トラッキングモジュール８０８は、１つまたは複数の較正パラメータを使用してＡＲ／ＶＲシステム８００を較正し得、ＨＭＤ１００またはＩ／Ｏインターフェース８０４の位置を決定する際の誤差を低減するように、１つまたは複数の較正パラメータを調整し得る。また、トラッキングモジュール８０８によって実施される較正は、ＨＭＤ１００中のＩＭＵ７０８および／または、もしあれば、Ｉ／Ｏインターフェース８０４中に含まれるＩＭＵから受け取られた情報を考慮する。さらに、ＨＭＤ１００のトラッキングが失われた場合、トラッキングモジュール８０８は、ＡＲ／ＶＲシステム８００の一部または全部を再較正し得る。
【0066】
トラッキングモジュール８０８は、ＨＭＤ１００またはＩ／Ｏインターフェース８０４の移動、ＩＭＵ７０８、またはそれらの何らかの組合せをトラッキングし得る。たとえば、トラッキングモジュール８０８は、ＨＭＤ１００からの情報に基づいて、ローカルエリアのマッピングにおいてＨＭＤ１００の基準点の位置を決定し得る。トラッキングモジュール８０８はまた、ＨＭＤ１００の基準点の位置、またはＩ／Ｏインターフェース８０４の基準点の位置を、それぞれ、ＨＭＤ１００の位置を示すＩＭＵ７０８からのデータを使用して、またはＩ／Ｏインターフェース８０４の位置を示すＩ／Ｏインターフェース８０４中に含まれるＩＭＵからのデータを使用して決定し得る。さらに、いくつかの実施形態では、トラッキングモジュール８０８は、位置またはＨＭＤ１００を示すＩＭＵ７０８からのデータの部分、ならびにＤＣＡ７１２からのローカルエリアの表現を使用して、ＨＭＤ１００の将来のロケーションを予測し得る。トラッキングモジュール８０８は、ＨＭＤ１００またはＩ／Ｏインターフェース８０４の推定または予測された将来の位置を処理モジュール８１０に提供する。
【0067】
処理モジュール８１０は、ＨＭＤ１００から受け取られた情報に基づいて、ＨＭＤ１００の一部または全部の周囲のエリア（「ローカルエリア」）の３Ｄマッピングを生成し得る。いくつかの実施形態では、処理モジュール８１０は、深度を算出する際に使用される技法に関連する、ＤＣＡ７１２から受け取られた情報に基づいて、ローカルエリアの３Ｄマッピングのための深度情報を決定する。様々な実施形態では、処理モジュール８１０は、深度情報を使用して、ローカルエリアのモデルを更新し、更新されたモデルに部分的に基づいて、コンテンツを生成し得る。
【0068】
処理モジュール８１０は、ＡＲ／ＶＲシステム８００内でアプリケーションを実行し、トラッキングモジュール８０８から、ＨＭＤ１００の位置情報、加速度情報、速度情報、予測された将来の位置、またはそれらの何らかの組合せを受け取る。受け取られた情報に基づいて、処理モジュール８１０は、ユーザへの提示のためにＨＭＤ１００に提供すべきコンテンツを決定する。たとえば、受け取られた情報が、ユーザが左を見ていることを示す場合、処理モジュール８１０は、仮想環境において、またはローカルエリアを追加のコンテンツで拡張する環境において、ユーザの移動を反映する、ＨＭＤ１００のためのコンテンツを生成する。さらに、処理モジュール８１０は、Ｉ／Ｏインターフェース８０４から受け取られたアクション要求に応答して、コンソール８０２上で実行しているアプリケーション内でアクションを実施し、そのアクションが実施されたというフィードバックをユーザに提供する。提供されるフィードバックは、ＨＭＤ１００を介した視覚または可聴フィードバック、あるいはＩ／Ｏインターフェース８０４を介した触覚フィードバックであり得る。
【0069】
いくつかの実施形態では、アイトラッキングモジュール１０６から受け取られたアイトラッキング情報（たとえば、ユーザの眼の向き）に基づいて、処理モジュール８１０は、ディスプレイモジュール１０８上でのユーザへの提示のために、ＨＭＤ１００に提供されたコンテンツの解像度を決定する。処理モジュール８１０は、ユーザの視線の中心窩領域において、ディスプレイモジュール１０８上の最大ピクセル解像度を有するコンテンツをＨＭＤ１００に提供し得る。処理モジュール８１０は、ディスプレイモジュール１０８の他の領域において、より低いピクセル解像度を提供し、したがって、ＡＲ／ＶＲシステム８００の電力消費を少なくし、ユーザの視覚体験を損なうことなしにコンソール８０２のコンピューティングリソースを節約し得る。いくつかの実施形態では、処理モジュール８１０はさらに、アイトラッキング情報を使用して、オブジェクトがディスプレイモジュール１０８上で表示されるところを調整して、輻輳調節矛盾を防ぎ、ならびに／または光学的ひずみおよび収差をオフセットすることができる。
【0070】
コントローラ１０４は、焦点状態決定モジュール１１４と、シーンレンダリングモジュール１１６とを含み、その両方が図１を参照しながら上記で説明された。シーンレンダリングモジュール１１６は、処理モジュール８１０から、仮想シーンを表示するためのコンテンツを受け取り、ディスプレイモジュール１０８上での表示のためのコンテンツを提供する。さらに、シーンレンダリングモジュール１１６は、アイトラッキングモジュール１０６、ＩＭＵ７０８、および位置センサー７１０からの情報に基づいて、コンテンツを調整する。シーンレンダリングモジュール１１６は、トラッキングモジュール８０８、位置センサー７１０、またはＩＭＵ７０８のうちの１つまたは複数に基づいて、ディスプレイモジュール１０８上に表示されるべきコンテンツの一部分を決定する。焦点状態決定モジュール１１４は、複数の利用可能な焦点状態からの、光学ブロック１１０のどの焦点状態が、ビデオデータの各フレームを表示するために使用されるべきであるかを決定し、シーンレンダリングモジュール１１６にそれに関係するデータを渡す。シーンレンダリングモジュール１１６は、前記各フレームの第１のピクセルを使用して、ビデオデータの各フレーム中に焦点状態データを符号化する。このようにして、ディスプレイモジュール１０８上での表示のためのビデオデータの各フレームは、それぞれのフレームがひずみなしに表示されることを生じることになる焦点状態に、光学ブロック１１０を設定する際に使用するためのデータを含む。
【0071】
本開示では、暗黙的にまたは明示的に別段に理解されない限りまたは別段に記載されていない限り、単数形で現れる単語は、その複数形の同等物を包含し、複数形で現れる単語は、その単数形の同等物を包含することを理解されたい。たとえば、コンテキストが別段に示さない限り、「ａ」または「ａｎ」などの単数形の参照は、「１つまたは複数の」を意味する。さらに、本明細書で説明される所与の構成要素または実施形態について、その構成要素についてリストされた可能な候補または代替形態のいずれも、概して、暗黙的にまたは明示的に別段に理解されない限りまたは別段に記載されていない限り、個々にまたは互いと組み合わせて使用され得ることを理解されたい。さらに、そのような候補または代替形態のリストは、暗黙的にまたは明示的に別段に理解されない限りまたは別段に記載されていない限り、例示的なものにすぎず、限定するものではないことを理解されよう。また、適切な場合、同様の参照番号は、理解の簡単のために、図面のいくつかの図全体にわたって、対応する部分を指し得ることを理解されたい。
【0072】
本明細書の説明および特許請求の範囲全体にわたって、「備える、含む（ｃｏｍｐｒｉｓｅ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「有する（ｈａｖｉｎｇ）」および「含んでいる（ｃｏｎｔａｉｎ）」という単語、ならびにその単語の変形、たとえば「備える、含む（ｃｏｍｐｒｉｓｉｎｇ）」および「備える、含む（ｃｏｍｐｒｉｓｅｓ）」などは、「限定はしないが含む」ことを意味し、他の構成要素を除外するものではない（および除外しない）。
【0073】
本発明の上記の実施形態に対する変形が、依然として添付の特許請求の範囲において定義されている本発明の範囲内に入りながら、行われ得ることが諒解されよう。本明細書で開示される各特徴は、別段に記載されていない限り、同じ、等価なまたは同様の目的を果たす代替特徴によって置き換えられ得る。したがって、別段に記載されていない限り、開示される各特徴は、一般的な一連の等価なまたは同様の特徴の一例にすぎない。
【0074】
本明細書で提供される、任意のおよびすべての例または例示的な言い回し（「たとえば（ｆｏｒ ｉｎｓｔａｎｃｅ）」、「など（ｓｕｃｈ ａｓ）」、「たとえば（ｆｏｒ ｅｘａｍｐｌｅ）」、「たとえば（ｅ．ｇ．）」、および同様の言い回し）の使用は、単に本発明をより良く例示するためのものであり、別段に主張されない限り、本発明の範囲に対する制限を示さない。
【0075】
本明細書で説明される任意のステップは、別段に記載されていない限りまたは別段にコンテキストが必要としない限り、任意の順序でまたは同時に実施され得る。
【0076】
本明細書で開示される特徴のすべては、そのような特徴および／またはステップのうちの少なくともいくつかが相互排他的である組合せを除いて、任意の組合せで組み合わせられ得る。特に、本発明の好ましい特徴は、本発明のすべての態様に適用可能であり、任意の組合せで使用され得る。同様に、本質的でない組合せで説明される特徴は、別々に（組み合わせずに）使用され得る。
【図1】
【図2A-2B】
【図3A-3B】
【図4】
【図5】
【図6】
【図7】
【図8】
【国際調査報告】