特許 7426413 ブレンドモード３次元ディスプレイシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-24

(45)【発行日】2024-02-01

(54)【発明の名称】ブレンドモード３次元ディスプレイシステムおよび方法

(51)【国際特許分類】

   H04N 13/271 20180101AFI20240125BHJP

   G06T 19/00 20110101ALI20240125BHJP

   H04N 13/275 20180101ALI20240125BHJP

   H04N 13/361 20180101ALI20240125BHJP

   H04N 13/344 20180101ALN20240125BHJP

   G02B 27/02 20060101ALN20240125BHJP

   G02B 30/52 20200101ALN20240125BHJP

【ＦＩ】

H04N13/271

G06T19/00 F

H04N13/275

H04N13/361

H04N13/344

G02B27/02 Z

G02B30/52

【請求項の数】 13

(21)【出願番号】P 2021569068

(86)(22)【出願日】2020-05-12

(65)【公表番号】

(43)【公表日】2022-07-25

(86)【国際出願番号】 US2020032459

(87)【国際公開番号】W WO2020236460

(87)【国際公開日】2020-11-26

【審査請求日】2023-05-02

(31)【優先権主張番号】62/851,773

(32)【優先日】2019-05-23

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】514108838

【氏名又は名称】マジック リープ， インコーポレイテッド

【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．

【住所又は居所原語表記】７５００ Ｗ ＳＵＮＲＩＳＥ ＢＬＶＤ，ＰＬＡＮＴＡＴＩＯＮ，ＦＬ ３３３２２ ＵＳＡ

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】テイラー， ロバート ブレイク

【審査官】佐野 潤一

(56)【参考文献】

【文献】特表２０１９－５１２７４１（ＪＰ，Ａ）

【文献】特表２０１９－５０７９０２（ＪＰ，Ａ）

【文献】特開２０１８－１５１４５９（ＪＰ，Ａ）

【文献】特開２００６－２０８８６８（ＪＰ，Ａ）

【文献】特開２０００－１５６８７６（ＪＰ，Ａ）

【文献】特開平０７－１１１６６４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １３／００

Ｇ０６Ｔ １９／００

Ｇ０２Ｂ ２７／０２

Ｇ０２Ｂ ３０／００

Ｇ０３Ｂ ３５／００

Ｇ０９Ｇ ３／００－５／００

(57)【特許請求の範囲】

【請求項1】

ブレンドモードにおいて３次元（「３Ｄ」）画像を表示するための方法であって、
３Ｄ画像データのフレームをレンダリングすることと、
前記３Ｄ画像データのフレームを分析し、深度データを生成することと、
前記深度データを使用して、前記３Ｄ画像データを、ｉ）近深度に対応する２次元（「２Ｄ」）画像データの少なくとも１つの近フレームと、ｉｉ）ある視点からの近深度より遠い遠深度に対応する２Ｄ画像データの少なくとも１つの遠フレームとにセグメント化することと、
それぞれ、前記近フレームおよび遠フレームを前記近深度および遠深度に表示することであって、前記近フレームおよび遠フレームは、同時に表示される、ことと
を含み、
前記深度データを使用して、前記３Ｄ画像データを前記２Ｄ画像データの近フレームと遠フレームとにセグメント化することは、
近深度範囲内の個別の深度を有する仮想オブジェクト／ピクセルの近専用セットを識別することと、
遠深度範囲内の個別の深度を有する仮想オブジェクト／ピクセルの遠専用セットを識別することと、
中央深度範囲内の個別の深度を有する仮想オブジェクト／ピクセルの近および遠重複セットを識別することと、
前記仮想オブジェクト／ピクセルの近専用セットを前記２Ｄ画像データの近フレームに追加することと、
前記仮想オブジェクト／ピクセルの遠専用セットを前記２Ｄ画像データの遠フレームに追加することと、
ブレンド分析を前記仮想オブジェクト／ピクセルの近および遠重複セット上で実施し、仮想オブジェクト／ピクセルの近重複セットおよび仮想オブジェクト／ピクセルの遠重複セットを識別することと、
前記仮想オブジェクト／ピクセルの近重複セットを前記２Ｄ画像データの近フレームに追加することと、
前記仮想オブジェクト／ピクセルの遠重複セットを前記２Ｄ画像データの遠フレームに追加することと
を含む、方法。

【請求項2】

前記近深度は、約１．９６ジオプタに対応し、
前記遠深度は、約０．６７ジオプタに対応する、請求項１に記載の方法。

【請求項3】

前記３Ｄ画像データのフレームは、
深度セグメント化データと、
ステレオカラーペアデータと、
実世界メッシュデータと
を備える、請求項１に記載の方法。

【請求項4】

前記３Ｄ画像データのフレームを分析し、前記深度データを生成することは、
視差マップを前記３Ｄ画像データのフレームから生成することと、
前記３Ｄ画像データのフレームを再投影することと
を含む、請求項１に記載の方法。

【請求項5】

前記ブレンド分析を前記仮想オブジェクト／ピクセルの近および遠重複セット上で実施することは、線形補間、非線形補間、および／または複数の線形補間を前記仮想オブジェクト／ピクセルの近および遠重複セットに対して実施することを伴う、請求項１に記載の方法。

【請求項6】

それぞれ、前記近フレームおよび遠フレームを前記近深度および遠深度に表示することは、
近深度に対応する２Ｄ画像データの左近フレームと、
ある視点からの前記近深度より遠い遠深度に対応する２Ｄ画像データの左遠フレームと、
前記近深度に対応する２Ｄ画像データの右近フレームと、
前記遠深度に対応する２Ｄ画像データの右遠フレームと
を表示することを含み、
前記左近フレームおよび前記左遠フレームは、同時に表示され、
前記右近フレームおよび前記右遠フレームは、同時に表示される、請求項１に記載の方法。

【請求項7】

前記左近フレームおよび前記左遠フレームは、ユーザの左眼に表示される、請求項６に記載の方法。

【請求項8】

前記右近フレームおよび前記右遠フレームは、ユーザの右眼に表示される、請求項６に記載の方法。

【請求項9】

前記左近フレームおよび前記右近フレームは、ユーザから第１の深度において前記ユーザに表示される、請求項６に記載の方法。

【請求項10】

前記左遠フレームおよび前記右遠フレームは、前記ユーザから第２の深度において前記ユーザに表示され、前記第２の深度は、前記第１の深度を上回る、請求項９に記載の方法。

【請求項11】

前記第１および第２の深度は、それぞれ、約１．９６ジオプタおよび約０．６７ジオプタに対応する、請求項１０に記載の方法。

【請求項12】

前記左近フレーム、前記左遠フレーム、前記右近フレーム、および前記右遠フレームが、ユーザに表示されると、前記ユーザは、３Ｄ画像を知覚する、請求項６に記載の方法。

【請求項13】

前記３Ｄ画像は、前記３Ｄ画像データのフレームに対応する、請求項１２に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、仮想現実、拡張現実、および複合現実結像、可視化、およびディスプレイシステムおよび方法に関する。特に、本開示は、ブレンドディスプレイモードを生成するための仮想現実、拡張現実、および複合現実結像、可視化、およびディスプレイシステムおよび方法に関する。

【背景技術】

【0002】

現代のコンピューティングおよびディスプレイ技術は、仮想現実（ＶＲ）、拡張現実（ＡＲ）、および複合現実（ＭＲ）システムの開発を促進している。ＶＲシステムは、ユーザが体験するためのシミュレートされた環境を作成する。これは、頭部搭載型ディスプレイを通して、コンピュータ生成画像をユーザに提示することによって行われることができる。本画像は、感覚体験を作成し、これは、ユーザをシミュレートされた環境内に没入させる。ＶＲシナリオは、典型的には、コンピュータ生成画像のみの提示を伴うのではなく、また、実際の実世界画像も含む。

【0003】

ＡＲシステムは、概して、実世界環境をシミュレートされた要素で補完する。例えば、ＡＲシステムは、ユーザに、頭部搭載型ディスプレイを介して、周囲実世界環境のビューを提供してもよい。しかしながら、コンピュータ生成画像はまた、ディスプレイ上に提示され、実世界環境を向上させることもできる。本コンピュータ生成画像は、実世界環境にコンテキスト的に関連する、要素を含むことができる。そのような要素は、シミュレートされたテキスト、画像、オブジェクト等を含むことができる。ＭＲシステムはまた、シミュレートされたオブジェクトを実世界環境の中に導入するが、これらのオブジェクトは、典型的には、ＡＲシステムにおけるものを上回る相互作用度を特徴とする。シミュレートされた要素は、多くの場合、リアルタイムで双方向となることができる。

【0004】

図１は、例示的ＡＲ／ＭＲ場面２を描写し、ユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム２０を特徴とする、実世界公園設定６が見える。これらのアイテムに加え、コンピュータ生成画像もまた、ユーザに提示される。コンピュータ生成画像は、例えば、実世界プラットフォーム２０上に立っている、ロボット像１０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１２とを含むことができるが、これらの要素１２、１０は、実際には、実世界環境内に存在しない。

【0005】

種々の光学システムは、ＶＲ、ＡＲ、またはＭＲシナリオを表示するために、画像を種々の深度に生成する。ヒトの視知覚系は、複雑であるため、他の仮想または実世界画像要素の中への仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、ＶＲ／ＡＲ／ＭＲ技術を生産することが困難である。３次元（「３Ｄ」）画像ディスプレイシステムは、輻輳・開散運動－遠近調節衝突問題を被る。本問題は、２つの光学深度に関連する生物学的プロセスが、衝突する深度信号を視認者／ユーザの脳に送信するときに生じる。輻輳・開散運動は、光学軸（軸）とある距離における視認者の注意の対象のオブジェクトを整合させるように回転させるための視認者の眼の傾向に関連する。両眼システムでは、光学軸が交差する点は、「輻輳・開散運動点」と呼ばれ得る。輻輳・開散運動の間の視認者の眼の回転量は、視認者の脳によって、推定深度として解釈される。遠近調節は、ある距離における視認者の注意の対象のオブジェクトに合焦させるための視認者の眼の水晶体の傾向に関連する。輻輳・開散運動の間の視認者の眼の焦点は、視認者の脳によって、別の推定深度として解釈される。輻輳・開散運動および遠近調節信号が、視認者の脳によって、同一または類似推定深度として解釈されるとき、３Ｄ視認体験は、視認者にとって自然かつ快適である。他方で、輻輳・開散運動および遠近調節信号が、視認者の脳によって、実質的に異なる推定深度として解釈されるとき、３Ｄ視認体験は、視認者にとって準最適であって、不快感（眼精疲労、頭痛等）および疲労をもたらし得る。そのような問題は、輻輳・開散運動－遠近調節衝突として知られる。

【0006】

ポータブルＶＲ／ＡＲ／ＭＲシステムは、サイズおよび可搬性問題点、バッテリ寿命問題点、システム過熱問題点、処理パワー、メモリ、帯域幅、データソース、コンポーネント待ち時間、および他のシステムおよび光学課題等の限界を有し、これは、ＶＲ／ＡＲ／ＭＲシステム性能に悪影響を及ぼし得る。これらの限界は、自然な輻輳・開散運動および遠近調節のための３Ｄ画像レンダリングの重要性を高める。

【0007】

例えば、輻輳・開散運動－遠近調節衝突を最小限にしながら、３Ｄ画像を視認者／ユーザにレンダリングおよび表示するためのシステムおよび技法、およびそれを行いながら、ポータブルＶＲ／ＡＲ／ＭＲシステムの限定されたグラフィカル処理能力における需要を最小限にするためのシステムおよび技法を含む、画像データを処理し、画像を表示するための改良されたシステムおよび技法が、必要とされる。改良されたシステムおよび技法は、これらの問題点に対処するために必要とされる。本明細書に説明されるシステムおよび方法は、これらおよび他の課題に対処するように構成される。

【0008】

必要とされるものは、旧来の技法および／または他の検討されるアプローチを改良するための技法または複数の技法である。本背景節に説明されるアプローチのうちのいくつかは、追求され得るアプローチであるが、必ずしも、以前に想起または追求されているアプローチではない。

【発明の概要】

【課題を解決するための手段】

【0009】

一実施形態では、ブレンドモードにおいて３次元（「３Ｄ」）画像を表示するための方法は、３Ｄ画像データのフレームをレンダリングするステップを含む。本方法はまた、３Ｄ画像データのフレームを分析し、深度データを生成するステップを含む。本方法はさらに、深度データを使用して、３Ｄ画像データを、ｉ）近深度に対応する、２次元（「２Ｄ」）画像データの少なくとも１つの近フレームと、ｉｉ）ある視点からの近深度より遠い、遠深度に対応する、２Ｄ画像データ少なくとも１つの遠フレームとにセグメント化するステップを含む。さらに、本方法は、それぞれ、近および遠フレームを近および遠深度に表示するステップを含む。近および遠フレームは、同時に表示される。

【0010】

１つ以上の実施形態では、近深度は、約１．９６ジオプタに対応し、遠深度は、約０．６７ジオプタに対応し得る。３Ｄ画像データのフレームは、深度セグメント化データと、ステレオカラーペアデータと、実世界メッシュデータとを含んでもよい。３Ｄ画像データのフレームを分析し、深度データを生成するステップは、視差マップを３Ｄ画像データのフレームから生成するステップと、３Ｄ画像データのフレームを再投影するステップとを含んでもよい。

【0011】

１つ以上の実施形態では、深度データを使用して、３Ｄ画像データを２Ｄ画像データの近および遠フレームにセグメント化するステップは、近深度範囲内の個別の深度を有する、仮想オブジェクト／ピクセルの近専用セットを識別するステップと、遠深度範囲内の個別の深度を有する、仮想オブジェクト／ピクセルの遠専用セットを識別するステップと、中央深度範囲内の個別の深度を有する、仮想オブジェクト／ピクセルの近および遠の重複セットを識別するステップとを含む。深度データを使用して、３Ｄ画像データを２Ｄ画像データの近および遠フレームにセグメント化するステップはまた、仮想オブジェクト／ピクセルの近専用セットを２Ｄ画像データの近フレームに追加するステップと、仮想オブジェクト／ピクセルの遠専用セットを２Ｄ画像データの遠フレームに追加するステップと、ブレンド分析を仮想オブジェクト／ピクセルの近および遠重複セット上で実施し、仮想オブジェクト／ピクセルの近重複セットおよび仮想オブジェクト／ピクセルの遠重複セットを識別するステップと、仮想オブジェクト／ピクセルの近重複セットを２Ｄ画像データの近フレームに追加するステップと、仮想オブジェクト／ピクセルの遠重複セットを２Ｄ画像データの遠フレームに追加するステップとを含んでもよい。ブレンド分析は、線形補間、非線形補間、および／または複数の線形補間を伴ってもよい。

【0012】

別の実施形態では、ブレンドモードにおいて３次元（「３Ｄ」）画像を表示するための方法は、３Ｄ画像データのフレームをレンダリングするステップを含む。本方法はまた、３Ｄ画像データのフレームを分析し、深度データを生成するステップを含む。本方法はさらに、深度データを使用して、３Ｄ画像データを２次元（「２Ｄ」）画像データの複数のフレームにセグメント化するステップを含む。さらに、本方法は、複数のフレームを表示するステップを含む。加えて、複数のフレームは、近深度に対応する、２Ｄ画像データの左近フレームと、ある視点からの近深度より遠い、遠深度に対応する、２Ｄ画像データの左遠フレームと、近深度に対応する、２Ｄ画像データの右近フレームと、遠深度に対応する、２Ｄ画像データの右遠フレームとを含む。左近フレームおよび左遠フレームは、同時に表示される。右近フレームおよび右遠フレームは、同時に表示される。

【0013】

１つ以上の実施形態では、左近フレームおよび左遠フレームは、ユーザの左眼に表示される。右近フレームおよび右遠フレームは、ユーザの右眼に表示されてもよい。

【0014】

１つ以上の実施形態では、左近フレームおよび右近フレームは、ユーザから第１の深度においてユーザに表示される。左遠フレームおよび右遠フレームは、ユーザから第２の深度においてユーザに表示されてもよく、第２の深度は、第１の深度を上回る。第１および第２の深度は、それぞれ、約１．９６および約０．６７ジオプタに対応する。左近フレーム、左遠フレーム、右近フレーム、および右遠フレームが、ユーザに表示されると、ユーザは、３Ｄ画像を知覚し得る。３Ｄ画像は、３Ｄ画像データのフレームに対応し得る。
本発明は、例えば、以下を提供する。
（項目１）
ブレンドモードにおいて３次元（「３Ｄ」）画像を表示するための方法であって、
３Ｄ画像データのフレームをレンダリングすることと、
前記３Ｄ画像データのフレームを分析し、深度データを生成することと、
前記深度データを使用して、前記３Ｄ画像データを、ｉ）近深度に対応する２次元（「２Ｄ」）画像データの少なくとも１つの近フレームと、ｉｉ）ある視点からの近深度より遠い遠深度に対応する２Ｄ画像データ少なくとも１つの遠フレームとにセグメント化することと、
それぞれ、前記近フレームおよび遠フレームを前記近深度および遠深度に表示することであって、前記近フレームおよび遠フレームは、同時に表示される、ことと
を含む、方法。
（項目２）
前記近深度は、約１．９６ジオプタに対応し、
前記遠深度は、約０．６７ジオプタに対応する、項目１に記載の方法。
（項目３）
前記３Ｄ画像データのフレームは、
深度セグメント化データと、
ステレオカラーペアデータと、
実世界メッシュデータと
を備える、項目１に記載の方法。
（項目４）
前記３Ｄ画像データのフレームを分析し、前記深度データを生成することは、
視差マップを前記３Ｄ画像データのフレームから生成することと、
前記３Ｄ画像データのフレームを再投影することと
を含む、項目１に記載の方法。
（項目５）
前記深度データを使用して、前記３Ｄ画像データを前記２Ｄ画像データの近フレームおよび遠フレームにセグメント化することは、
近深度範囲内の個別の深度を有する仮想オブジェクト／ピクセルの近専用セットを識別することと、
遠深度範囲内の個別の深度を有する仮想オブジェクト／ピクセルの遠専用セットを識別することと、
中央深度範囲内の個別の深度を有する仮想オブジェクト／ピクセルの近および遠重複セットを識別することと
を含む、項目１に記載の方法。
（項目６）
前記深度データを使用して、前記３Ｄ画像データを前記２Ｄ画像データの近フレームおよび遠フレームにセグメント化することはさらに、
前記仮想オブジェクト／ピクセルの近専用セットを前記２Ｄ画像データの近フレームに追加することと、
前記仮想オブジェクト／ピクセルの遠専用セットを前記２Ｄ画像データの遠フレームに追加することと、
ブレンド分析を前記仮想オブジェクト／ピクセルの近および遠重複セット上で実施し、仮想オブジェクト／ピクセルの近重複セットおよび仮想オブジェクト／ピクセルの遠重複セットを識別することと、
前記仮想オブジェクト／ピクセルの近重複セットを前記２Ｄ画像データの近フレームに追加することと、
前記仮想オブジェクト／ピクセルの遠重複セットを前記２Ｄ画像データの遠フレームに追加することと
を含む、項目６に記載の方法。
（項目７）
ブレンド分析は、線形補間、非線形補間、および／または複数の線形補間を伴う、項目６に記載の方法。
（項目８）
ブレンドモードにおいて３次元（「３Ｄ」）画像を表示するための方法であって、
３Ｄ画像データのフレームをレンダリングすることと、
前記３Ｄ画像データのフレームを分析し、深度データを生成することと、
前記深度データを使用して、前記３Ｄ画像データを２次元（「２Ｄ」）画像データの複数のフレームにセグメント化することと、
前記複数のフレームを表示することであって、前記複数のフレームは、
近深度に対応する２Ｄ画像データの左近フレームと、
ある視点からの前記近深度より遠い遠深度に対応する２Ｄ画像データの左遠フレームと、
前記近深度に対応する２Ｄ画像データの右近フレームと、
前記遠深度に対応する２Ｄ画像データの右遠フレームと
を備え、
前記左近フレームおよび前記左遠フレームは、同時に表示され、
前記右近フレームおよび前記右遠フレームは、同時に表示される、ことと
を含む、方法。
（項目９）
前記左近フレームおよび前記左遠フレームは、ユーザの左眼に表示される、項目８に記載の方法。
（項目１０）
前記右近フレームおよび前記右遠フレームは、ユーザの右眼に表示される、項目８に記載の方法。
（項目１１）
前記左近フレームおよび前記右近フレームは、前記ユーザから第１の深度においてユーザに表示される、項目８に記載の方法。
（項目１２）
前記左遠フレームおよび前記右遠フレームは、前記ユーザから第２の深度において前記ユーザに表示され、前記第２の深度は、前記第１の深度を上回る、項目１１に記載の方法。
（項目１３）
前記第１および第２の深度は、それぞれ、約１．９６および約０．６７に対応する、項目１２に記載の方法。
（項目１４）
前記左近フレーム、前記左遠フレーム、前記右近フレーム、および前記右遠フレームが、ユーザに表示されると、前記ユーザは、３Ｄ画像を知覚する、項目８に記載の方法。
（項目１５）
前記３Ｄ画像は、前記３Ｄ画像データのフレームに対応する、項目１４に記載の方法。

【図面の簡単な説明】

【0015】

下記に説明される図面は、例証目的のためだけのものである。図面は、本開示の範囲を限定することを意図するものではない。図面は、本開示の種々の実施形態の設計および有用性を図示する。図は、正確な縮尺で描かれておらず、類似構造または機能の要素は、図全体を通して同様の参照番号によって表されることに留意されたい。本開示の種々の実施形態の列挙されたおよび他の利点および目的を取得する方法をより深く理解するために、本開示のさらなる詳細な実施形態が、付随の図面に図示される、その具体的実施形態を参照することによって与えられるであろう。これらの図面は、本開示の典型的実施形態のみを描写し、したがって、その範囲の限定と見なされるべきではないことを理解した上で、本開示は、付随の図面の使用を通して、付加的特異性および詳細を伴って説明および解説されるであろう。

【0016】

【図1】図１は、例示的ＡＲシステムを使用したＡＲ／ＭＲ場面のユーザのビューを図示する。

【0017】

【図2】図２－５は、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステムを使用するユーザを図式的に描写する。

【図3】図２－５は、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステムを使用するユーザを図式的に描写する。

【図4】図２－５は、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステムを使用するユーザを図式的に描写する。

【図5】図２－５は、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステムを使用するユーザを図式的に描写する。

【0018】

【図6】図６は、いくつかの実施形態による、多面焦点システムの種々の平面を図式的に描写する。

【0019】

【図7】図７は、いくつかの実施形態による、ＶＲ／ＡＲ／ＭＲシステムを図式的に描写する。

【0020】

【図8】図８Ａおよび８Ｂは、いくつかの実施形態による、側面斜視図（図８Ａ）および背面斜視図（図８Ｂ）からの、複数の仮想オブジェクトを含む、３Ｄ画像を図式的に描写する。

【0021】

【図9】図９Ａおよび９Ｂは、側面斜視図（図９Ａ）および背面斜視図（図９Ｂ）からの、表示のために単一深度面上に投影された複数の仮想オブジェクトを含む、３Ｄ画像を図式的に描写する。

【0022】

【図10】図１０Ａは、いくつかの実施形態による、二重面ブレンドモードディスプレイシステムの近および遠遠近調節ゾーンおよび遠近調節重複ゾーンを図式的に描写する。図１０Ｂは、視認者からの距離とジオプタとの間の関係を図式的に描写する。

【0023】

【図11】図１１は、側面斜視図からの、表示のために単一深度面上に投影された複数の仮想オブジェクトを含む、３Ｄ画像を図式的に描写する。

【0024】

【図12】図１２は、側面斜視図からの、複数の仮想深度面を伴うブレンドモードディスプレイにおける複数の仮想オブジェクトを含む、３Ｄ画像を図式的に描写する。

【0025】

【図13A】図１３Ａは、側面斜視図からの、表示のために単一深度面上に投影された複数の仮想オブジェクトを含む、３Ｄ画像を図式的に描写する。

【0026】

【図13B】図１３Ｂは、側面斜視図からの、複数の仮想深度面を伴うブレンドモードディスプレイにおける複数の仮想オブジェクトを含む、３Ｄ画像を図式的に描写する。

【0027】

【図14】図１４Ａおよび１４Ｂは、側面斜視図（図１４Ａ）および背面斜視図（図１４Ｂ）からの、ブレンドモードディスプレイの一部として近深度面上に投影された複数の仮想オブジェクトを含む、３Ｄ画像を図式的に描写する。

【0028】

【図15】図１５Ａおよび１５Ｂは、側面斜視図（図１５Ａ）および背面斜視図（図１５Ｂ）からの、ブレンドモードディスプレイの一部として遠深度面上に投影された複数の仮想オブジェクトを含む、３Ｄ画像を図式的に描写する。

【0029】

【図16】図１６Ａおよび１６Ｂは、背面斜視図からの、複数の仮想オブジェクトを含む、３Ｄ画像のブレンドモードディスプレイを形成する、左および右近（図１６Ａ）および遠（図１６Ｂ）深度面を描写する。

【0030】

【図17】図１７は、いくつかの実施形態による、例証的コンピューティングシステムを図式的に描写する、ブロック図である。

【発明を実施するための形態】

【0031】

本開示の種々の実施形態は、単一実施形態または複数の実施形態における、仮想現実（ＶＲ）／拡張現実（ＡＲ）／複合現実（ＭＲ）のためのシステム、方法、および製造品を対象とする。本開示の他の目的、特徴、および利点は、詳細な説明、図、および請求項に説明される。

【0032】

種々の実施形態が、ここで、当業者が本開示を実践することを可能にするように、例証的実施例として提供される、図面を参照して詳細に説明されるであろう。着目すべきこととして、図および下記の実施例は、本開示の範囲を限定することを意味するものではない。本開示のある要素は、部分的または完全に、公知のコンポーネント（または方法またはプロセス）を使用して実装されてもよく、本開示の理解のために必要なそのような公知のコンポーネント（または方法またはプロセス）のそれらの部分のみが、説明され、そのような公知のコンポーネント（または方法またはプロセス）の他の部分の詳細な説明は、本開示を曖昧にしないように省略されるであろう。さらに、種々の実施形態は、例証として本明細書に参照されるコンポーネントの現在公知および将来的に公知となる均等物を包含する。

【0033】

本開示による、実施形態は、多くの場合、既製のコンポーネントとカスタムコンポーネントの組み合わせに依拠する、ＶＲ／ＡＲ／ＭＲシステムの実装の問題に対処する。ある場合には、既製のコンポーネントは、展開されることになるＶＲ／ＡＲ／ＭＲシステムのある所望の側面を実装するために必要とされる、特徴または性能特性の全てを保有していない。いくつかの実施形態は、展開されることになるＶＲ／ＡＲ／ＭＲシステムの所望の特徴または性能特性に適応するための能力を追加し、および／またはリソースを別の目的のために再利用するためのアプローチを対象とする。本明細書の付随の図および議論は、ＶＲ／ＡＲ／ＭＲシステムのための例示的環境、システム、方法、およびコンピュータプログラム製品を提示する。

【0034】

頭部搭載型視聴覚ディスプレイシステムおよび３Ｄ画像レンダリングシステムは、ＡＲ／ＭＲシステムから独立して実装されてもよいが、下記のいくつかの実施形態は、例証的目的のみのために、ＡＲ／ＭＲシステムに関連して説明される。本明細書に説明される３Ｄ画像レンダリングおよびディスプレイシステムはまた、ＶＲシステムと類似様式で使用されてもよい。
問題およびソリューションの概要

【0035】

上記に説明されるように、ＶＲ／ＡＲ／ＭＲシステムは、輻輳・開散運動－遠近調節衝突およびＶＲ／ＡＲ／ＭＲ体験の関連付けられる劣化につながり得る、３Ｄ画像レンダリングおよびディスプレイ限界を有する。ＶＲ／ＡＲ／ＭＲシステムはまた、サイズおよび可搬性、バッテリ寿命、システム過熱、処理パワー、メモリ、帯域幅、データソース、コンポーネント待ち時間、および他のシステムおよび光学課題等の限界を有し、これは、ＶＲ／ＡＲ／ＭＲシステム性能に悪影響を及ぼし得る。これらの限界は、グラフィカル処理および画像ディスプレイ需要の低減をもたらし、３Ｄ画像レンダリングおよびディスプレイを改良するための対抗課題となり得る。

【0036】

例えば、潜在的グラフィカル処理およびサイズ／可搬性問題点に起因して、ＶＲ／ＡＲ／ＭＲシステム、特に、頭部装着型システムは、移動する仮想オブジェクト（すなわち、離散モード）の平滑表示のために、最小限のフレームレート（例えば、６０Ｈｚ）において、カラー画像をフレームあたり１つの深度面にレンダリングおよび表示することが可能であるために十分なコンポーネントのみを含み得る。離散モードで動作するそのようなＶＲ／ＡＲ／ＭＲシステムの実施例は、図８Ａ－９Ｂに示される。図８Ａに図式的に示されるように、３Ｄ画像は、種々の深度面に隣接して３つの仮想オブジェクト（近および遠立方体８１０、８１２および１つの円柱８１４）を含む（深度面０の近傍に隣接する近立方体８１０および遠深度面１に隣接する遠立方体８１２および円柱８１４）。いくつかの実施形態では、近深度面０は、約１．９６ジオプタにあって、遠深度面１は、約０．６７ジオプタにある。図８Ｂは、図８Ａに示される３Ｄ画像の視認者の斜視図である。図８Ｂでは、視認者／ユーザ８１６の眼の追跡は、視認者の眼が近立方体８１０の場所と一致する輻輳・開散運動点８１８に輻輳することを示す。離散モードでは、単一深度面のみが、フレームあたり照明される（すなわち、画像がレンダリングおよび表示される）。図９Ａに図式的に示されるように、輻輳・開散運動点８１８が、深度面０の近傍に隣接する、近立方体８１０の場所と一致するため、３Ｄ画像の全てのコンテンツ（すなわち、近および遠立方体８１０、８１２および円柱８１４）が、近深度面０上に投影される。図９Ｂは、そのコンテンツが近深度面０上に投影された後の３Ｄ画像の視認者の斜視図である。近深度面０のみが、照明され、視認者８１６の眼は、近深度面０に遠近調節する。

【0037】

いくつかの実施形態では、単一深度面上への３Ｄ画像のコンテンツの全ての投影は、最小限の輻輳・開散運動－遠近調節衝突（例えば、最小限のユーザ不快感、眼精疲労、頭痛）のみを誘起する。これは、ヒトの脳が遠近調節と輻輳・開散運動との間で最大約０．７５ジオプタの不整合を許容するであろうように、遠近調節および輻輳・開散運動の緩結合が存在するためである。図１０Ａに示されるように、本±０．７５ジオプタ許容度は、近遠近調節ゾーン１０１０および遠遠近調節ゾーン１０１２に変換される。距離とジオプタとの間の逆関係のため、図１０Ｂに示されるように、遠遠近調節ゾーン１０１２は、より近い遠近調節ゾーン１０１０より大きい。図１０Ａに描写される実施形態では、近深度面０および遠深度面１を用いることで、±０．７５ジオプタ許容度はまた、遠近調節ゾーン重複１０１４内に該当するオブジェクト深度が、例えば、異なるスケールにおいて、異なる明度および／または色値等を伴って、近深度面０および遠深度面１の一方または両方に表示され得る、遠近調節ゾーン重複１０１４をもたらす。３Ｄ画像のコンテンツが全て、近遠近調節ゾーン１０１０または遠遠近調節ゾーン１０１２のいずれか内に位置し、視認者８１６の眼が、その深度面に輻輳する、実施形態では、その深度面上への３Ｄ画像のコンテンツの全ての投影は、最小限の輻輳・開散運動－遠近調節衝突のみを誘起する。

【0038】

いくつかの実施形態では、単一深度面上への３Ｄ画像のコンテンツの全ての投影は、ＶＲ／ＡＲ／ＭＲ体験に影響を及ぼす／限定するために十分なほど有意な輻輳・開散運動－遠近調節衝突（例えば、ユーザ不快感、眼精疲労、頭痛）を誘起し得る。例えば、図１０Ａに描写される実施形態では、遠立方体８１２および円柱８１４は、遠遠近調節ゾーン１０１２内かつ近遠近調節ゾーン１０１０の外側に位置する。視認者８１６の注意が、近立方体８１０に向けられるとき、図８Ｂに示されるように、視認者８１６には、依然として、視認者８１６の視野内に遠立方体８１２および円柱８１４が見え得る。遠立方体８１２および円柱８１４は、図１１に示されるように、その個別の深度における実世界コンテンツと光学的に同一様式で挙動しない。遠近調節推定深度（すなわち、近）と遠立方体８１２および円柱８１４に関する輻輳・開散運動推定深度（すなわち、遠）との間の不整合は、輻輳・開散運動－遠近調節衝突およびＶＲ／ＡＲ／ＭＲ体験の関連付けられる劣化（例えば、ユーザ不快感、眼精疲労、頭痛）をもたらし得る。

【0039】

さらに、遠立方体８１２および円柱８１４は、自然な遠近調節導入深度ぼけを有しないであろう。３Ｄ画像レンダリングを簡略化するために、近および遠立方体８１０、８１２および円柱８１４は全て、深度面０において完全鮮明度でレンダリングされる。３Ｄ画像コンテンツの鮮明度／ぼけは、脳が深度を推定するために使用する、別のキューを形成する。故に、鮮明度／ぼけ推定深度（すなわち、近の）と遠立方体８１２および円柱８１４に関する輻輳・開散運動推定深度（すなわち、遠）との間の不整合は、輻輳・開散運動－遠近調節衝突およびＶＲ／ＡＲ／ＭＲ体験の関連付けられる劣化を悪化させ得る。眼追跡誤差および深度面の切替における遅延に起因して、正しくない深度面を選択する可能性は、視認者にとっての輻輳・開散運動－遠近調節衝突を長引かせ得る。

【0040】

本明細書に説明される実施形態は、種々のＶＲ／ＡＲ／ＭＲシステムと併用するための３Ｄ画像レンダリングおよびディスプレイシステムおよび方法を含む。これらの３Ｄ画像レンダリングおよびディスプレイシステムおよび方法は、ディスプレイ３Ｄ画像を「ブレンドモード」でレンダリングし、消費されるシステムリソースを低減させながら、輻輳・開散運動－遠近調節衝突を最小限にし、それによって、上記に説明される問題点の多くに対処する。
例証的ＶＲ、ＡＲ、および／またはＭＲシステム

【0041】

続く説明は、それを用いて種々の３Ｄ画像レンダリングおよびディスプレイシステムの実施形態が実践され得る、例証的ＶＲ、ＡＲ、および／またはＭＲシステムに関する。しかしながら、実施形態はまた、他のタイプのディスプレイシステム（他のタイプのＶＲ、ＡＲ、および／またはＭＲシステムを含む）における用途にも適しており、したがって、実施形態は、本明細書に開示される例証的システムのみに限定されないことを理解されたい。

【0042】

本明細書に開示されるＶＲ／ＡＲ／ＭＲシステムは、コンピュータ生成画像（ビデオ／画像データ）をユーザに提示する、ディスプレイを含むことができる。いくつかの実施形態では、ディスプレイシステムは、ウェアラブルであって、これは、有利なこととして、より没入型のＶＲ／ＡＲ／ＭＲ体験を提供し得る。ＶＲ、ＡＲ、および／またはＭＲ仮想画像システム１００の種々のコンポーネントが、図２－５に描写される。仮想画像生成システム１００は、エンドユーザ５０によって装着されるフレーム構造１０２と、ディスプレイサブシステム１１０がエンドユーザ５０の眼の正面に位置付けられるように、フレーム構造１０２によって担持されるディスプレイサブシステム１１０と、スピーカ１０６がエンドユーザ５０の外耳道に隣接して位置付けられる（随意に、別のスピーカ（図示せず）がエンドユーザ５０の他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供する）ように、フレーム構造１０２によって担持されるスピーカ１０６とを含む。ディスプレイサブシステム１１０は、エンドユーザ５０の眼に、高レベルの画質および３次元知覚を伴って、物理的現実に対する拡張として快適に知覚され、かつ２次元コンテンツを提示可能であり得る、光パターンを提示するように設計される。ディスプレイサブシステム１１０は、フレームのシーケンスを高周波数で提示し、単一コヒーレント場面の知覚を提供する。

【0043】

図示される実施形態では、ディスプレイサブシステム１１０は、それを通してユーザが実オブジェクトから透明（または半透明）要素を介して直接光を視認することができる「光学シースルー」ディスプレイを採用する。透明要素は、多くの場合、「結合器」と称され、ディスプレイからの光を実世界のユーザの視野にわたって重畳する。この目的を達成するために、ディスプレイサブシステム１１０は、部分的に透明なディスプレイを含む。いくつかの実施形態では、透明ディスプレイは、電子的に制御されてもよい。いくつかの実施形態では、透明ディスプレイは、セグメント化された調光を含み、透明ディスプレイの１つ以上の部分の透明度を制御してもよい。いくつかの実施形態では、透明ディスプレイは、大域的調光を含み、透明ディスプレイの全体の透明度を制御してもよい。ディスプレイは、エンドユーザ５０の眼と周囲環境の間のエンドユーザ５０の視野に位置付けられ、周囲環境からの直接光がディスプレイを通してエンドユーザ５０の眼へ透過されるようなものである。

【0044】

図示される実施形態では、画像投影アセンブリは、光を部分的に透明なディスプレイに提供し、それによって、周囲環境からの直接光と組み合わせ、ディスプレイからユーザ５０の眼に透過される。投影サブシステムは、光ファイバ走査ベースの投影デバイスであってもよく、ディスプレイは、導波管ベースのディスプレイであってもよく、その中に投影サブシステムからの走査される光が、投入され、例えば、無限遠により近い単一光学視認距離（例えば、腕の長さ）における画像、複数の離散光学視認距離または焦点面における画像、および／または複数の視認距離または焦点面にスタックされ、立体３Ｄオブジェクトを表す、画像層を生成する。ライトフィールド内のこれらの層は、ヒト視覚系にともに連続して現れるように十分に近接してスタックされてもよい（すなわち、一方の層は、隣接する層の乱信号円錐域内にある）。加えて、または代替として、ピクチャ要素（すなわち、サブ画像）が、２つまたはそれを上回る層を横断して混成され、それらの層がより疎らにスタックされる場合でも、ライトフィールド内の層間の遷移の知覚される連続性を増加させてもよい（すなわち、一方の層は隣接する層の乱信号円錐域外にある）。ディスプレイサブシステム１１０は、単眼または両眼用であってもよい。

【0045】

仮想画像生成システム１００はまた、エンドユーザ５０の頭部５４の位置および移動および／またはエンドユーザ５０の眼の位置および眼間距離を検出するために、フレーム構造１０２に搭載される１つ以上のセンサ（図示せず）を含んでもよい。そのようなセンサは、画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープ）を含んでもよい。これらのセンサの多くは、その上にそれらが添着される、フレーム１０２が、ひいては、ユーザの頭部、眼、および耳に実質的に固定されるという仮定で動作する。

【0046】

仮想画像生成システム１００はまた、ユーザ配向検出モジュールを含んでもよい。ユーザ配向モジュールは、エンドユーザ５０の頭部５４の瞬間位置を検出し（例えば、フレーム１０２に結合されるセンサを介して）、センサから受信された位置データに基づいて、エンドユーザ５０の頭部５４の位置を予測してもよい。エンドユーザ５０の頭部５４の瞬間位置の検出は、エンドユーザ５０が見ている具体的実際のオブジェクトの決定を促進し、それによって、その実際のオブジェクトに関連して生成されるべき具体的仮想オブジェクトのインジケーションを提供し、さらに、仮想オブジェクトが表示されるべき位置のインジケーションを提供する。ユーザ配向モジュールはまた、センサから受信された追跡データに基づいて、エンドユーザ５０の眼を追跡してもよい。

【0047】

仮想画像生成システム１００はまた、多種多様な形態のいずれかをとり得る、制御サブシステムを含んでもよい。制御サブシステムは、いくつかのコントローラ、例えば、１つ以上のマイクロコントローラ、マイクロプロセッサまたは中央処理ユニット（ＣＰＵ）、デジタル信号プロセッサ、グラフィック処理ユニット（ＧＰＵ）、他の集積回路コントローラ、例えば、特定用途向け集積回路（ＡＳＩＣ）、ディスプレイブリッジチップ、ディスプレイコントローラ、プログラマブルゲートアレイ（ＰＧＡ）、例えば、フィールドＰＧＡ（ＦＰＧＡＳ）、および／またはプログラマブル論理コントローラ（ＰＬＵ）を含む。

【0048】

仮想画像生成システム１００の制御サブシステムは、中央処理ユニット（ＣＰＵ）と、グラフィック処理ユニット（ＧＰＵ）と、１つ以上のフレームバッファと、３次元場面データを記憶するための３次元データベースとを含んでもよい。ＣＰＵは、全体的動作を制御し得る一方、ＧＰＵは、３次元データベース内に記憶される３次元データからフレームをレンダリングし（すなわち、３次元場面を２次元画像に変換し）、これらのフレームをフレームバッファ内に記憶し得る。１つ以上の付加的集積回路が、フレームのフレームバッファの中への読込および／またはそこからの読取およびディスプレイサブシステム１１０の画像投影アセンブリの動作を制御してもよい。

【0049】

仮想画像生成システム１００の種々の処理コンポーネントは、分散型サブシステム内に物理的に含有されてもよい。例えば、図２－５に図示されるように、仮想画像生成システム１００は、有線導線または無線コネクティビティ１３６等によって、ローカルディスプレイブリッジ１４２、ディスプレイサブシステム１１０、およびセンサに動作可能に結合される、ローカル処理およびデータモジュール１３０を含んでもよい。ローカル処理およびデータモジュール１３０は、フレーム構造１０２に固定して取り付けられる（図２）、ヘルメットまたは帽子５６に固定して取り付けられる（図３）、エンドユーザ５０の胴体５８に除去可能に取り付けられる（図４）、またはベルト結合式構成においてエンドユーザ５０の腰６０に除去可能に取り付けられる（図５）等、種々の構成で搭載されてもよい。仮想画像生成システム１００はまた、有線導線または無線コネクティビティ１３８、１４０等によって、ローカル処理およびデータモジュール１３０およびローカルディスプレイブリッジ１４２に動作可能に結合される、遠隔処理モジュール１３２および遠隔データリポジトリ１３４を含んでもよく、これらの遠隔モジュール１３２、１３４が、相互に動作可能に結合され、ローカル処理およびデータモジュール１３０およびローカルディスプレイブリッジ１４２に対してリソースとして利用可能であるようになる。

【0050】

ローカル処理およびデータモジュール１３０およびローカルディスプレイブリッジ１４２はそれぞれ、パワー効率的プロセッサまたはコントローラおよびフラッシュメモリ等のデジタルメモリを含んでもよく、その両方とも、センサから捕捉され、および／または可能性として処理または読出後、ディスプレイサブシステム１１０への通過のために、遠隔処理モジュール１３２および／または遠隔データリポジトリ１３４を使用して取得および／または処理されたデータの処理、キャッシュ、および記憶を補助するために利用されてもよい。遠隔処理モジュール１３２は、データおよび／または画像情報を分析および処理するように構成される、１つ以上の比較的に強力なプロセッサまたはコントローラを含んでもよい。遠隔データリポジトリ１３４は、比較的に大規模なデジタルデータ記憶設備を含んでもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュール１３０およびローカルディスプレイブリッジ１４２において実施され、任意の遠隔モジュールからの完全に自律的な使用を可能にする。

【0051】

前述の種々のコンポーネント間の結合１３６、１３８、１４０は、有線または光学通信を提供するための１つ以上の有線インターフェースまたはポート、または無線通信を提供するためのＲＦ、マイクロ波、およびＩＲ等を介した１つ以上の無線インターフェースまたはポートを含んでもよい。いくつかの実装では、全ての通信は、有線であってもよい一方、他の実装では、全ての通信は、無線であってもよい。なおもさらなる実装では、有線および無線通信の選択肢は、図２－５に図示されるものと異なってもよい。したがって、有線または無線通信の特定の選択肢は、限定と見なされるべきではない。

【0052】

いくつかの実施形態では、ユーザ配向モジュールは、ローカル処理およびデータモジュール１３０および／またはローカルディスプレイブリッジ１４２内に含有される一方、ＣＰＵおよびＧＰＵは、遠隔処理モジュール内に含有される。代替実施形態では、ＣＰＵ、ＧＰＵ、またはその一部は、ローカル処理およびデータモジュール１３０および／またはローカルディスプレイブリッジ１４２内に含有されてもよい。３Ｄデータベースは、遠隔データリポジトリ１３４と関連付けられる、またはローカルで配置されることができる。

【0053】

いくつかのＶＲ、ＡＲ、および／またはＭＲシステムは、個別の深度面から生じるように現れる画像を生成するための深度面情報を内蔵される、複数の体積位相ホログラム、表面レリーフホログラム、または光誘導光学要素を使用する。換言すると、回折パターンまたは回折光学要素（ＤＯＥ）が、コリメート光（略平面波面を伴う光ビーム）がＬＯＥに沿って実質的に全内部反射されるにつれて、複数の場所において回折パターンと交差し、ユーザの眼に向かって出射するように、光誘導光学要素（ＬＯＥ、例えば、平面導波管）に内蔵される、またはその上にインプリント／エンボス加工され得る。ＤＯＥは、ＬＯＥからそれを通して出射する光が、輻輳され、特定の深度面から生じるように現れるように構成される。コリメート光は、光学集光レンズ（「集光器」）を使用して生成されてもよい。

【0054】

例えば、第１のＬＯＥは、光学無限遠深度面（０ジオプタ）から生じるように現れる、コリメート光を眼に送達するように構成されてもよい。別のＬＯＥは、２メートル（１／２ジオプタ）の距離から生じるように現れる、コリメート光を送達するように構成されてもよい。さらに別のＬＯＥは、１メートル（１ジオプタ）の距離から生じるように現れる、コリメート光を送達するように構成されてもよい。スタックされたＬＯＥアセンブリを使用することによって、複数の深度面は、作成され得、各ＬＯＥは、特定の深度面から生じるように現れる画像を表示するように構成されることが理解され得る。スタックは、任意の数のＬＯＥを含んでもよいことを理解されたい。しかしながら、少なくともＮ個のスタックされたＬＯＥが、Ｎ個の深度面を生成するために要求される。さらに、Ｎ、２Ｎ、または３Ｎ個のスタックされたＬＯＥが、ＲＧＢカラー画像をＮ個の深度面に生成するために使用されてもよい。

【0055】

３Ｄ仮想コンテンツをユーザに提示するために、ＶＲ、ＡＲ、および／またはＭＲシステムは、Ｚ方向に（すなわち、ユーザの眼から離れるように直交して）種々の深度面から生じるように現れるように、仮想コンテンツの画像をユーザの眼の中に投影する。換言すると、仮想コンテンツは、ＸおよびＹ方向において（すなわち、ユーザの眼の中心視軸に直交する２Ｄ平面において）変化し得るだけではなく、また、ユーザが、オブジェクトが非常に近距離または無限距離またはそれらの間の任意の距離にあるように知覚し得るように、Ｚ方向においても変化すると考えられ得る。他の実施形態では、ユーザは、複数のオブジェクトを異なる深度面において同時に知覚し得る。例えば、ユーザには、ユーザから３メートル離れた距離における仮想鳥と、ユーザから腕の長さ（約１メートル）における仮想コーヒーカップとが同時に見え得る。代替として、ユーザには、仮想ドラゴンが、無限遠から現れ、ユーザに向かって走って来るのが見え得る。

【0056】

多面焦点システムは、画像をユーザの眼からＺ方向において個別の固定距離に位置する複数の深度面の一部または全部上に投影させることによって、可変深度の知覚を作成する。ここで図６を参照すると、多面焦点システムは、フレームを固定深度面１５０（例えば、図６に示される６つの深度面１５０）に表示し得ることを理解されたい。ＭＲシステムは、任意の数の深度面１５０を含むことができるが、１つの例示的多面焦点システムは、６つの固定深度面１５０をＺ方向に有する。仮想コンテンツを６つの深度面１５０のうちの１つ以上のものに生成する際、３Ｄ知覚が、ユーザがユーザの眼から可変距離における１つ以上の仮想オブジェクトを知覚するように作成される。ヒトの眼が、遠く離れているように現れるオブジェクトより距離がより近いオブジェクトに対して敏感であることを前提として、より多くの深度面１５０が、図６に示されるように、眼のより近くに生成される。他の実施形態では、深度面１５０は、相互から等距離だけ離れて設置されてもよい。

【0057】

深度面位置１５０は、ジオプタで測定されてもよく、これは、メートルで測定された焦点距離の逆数と等しい、屈折力の単位である。例えば、いくつかの実施形態では、深度面ＤＰ１は、１／３ジオプタ離れてもよく、深度面ＤＰ２は、０．３ジオプタ離れてもよく、深度面ＤＰ３は、０．２ジオプタ離れてもよく、深度面ＤＰ４は、０．１５ジオプタ離れてもよく、深度面ＤＰ５は、０．１ジオプタ離れてもよく、深度面ＤＰ６は、無限遠（すなわち、０ジオプタ離れている）を表してもよい。他の実施形態は、深度面１５０を他の距離／ジオプタに生成してもよいことを理解されたい。したがって、仮想コンテンツを方略的に設置された深度面１５０に生成する際、ユーザは、仮想オブジェクトを３次元で知覚することが可能である。例えば、ユーザは、別の仮想オブジェクトが、深度面ＤＰ６における無限遠に現れる間、第１の仮想オブジェクトが、深度面ＤＰ１に表示されるとき、近接しているように知覚し得る。代替として、仮想オブジェクトは、最初に、深度面ＤＰ６に表示され、次いで、仮想オブジェクトがユーザに非常に近接して現れるまで、深度面ＤＰ５等に表示されてもよい。上記の実施例は、例証的目的のために有意に簡略化されていることを理解されたい。別の実施形態では、全６つの深度面は、ユーザから離れた特定の焦点距離上に集中されてもよい。例えば、表示されることになる仮想コンテンツが、ユーザから０．５メートル離れたコーヒーカップである場合、全６つの深度面は、コーヒーカップの種々の断面に生成され、ユーザに、コーヒーカップの非常に粒度が高い３Ｄビューを与え得る。

【0058】

いくつかの実施形態では、ＶＲ、ＡＲ、および／またはＭＲシステムは、多面焦点システムとして作用してもよい。換言すると、全６つのＬＯＥが、６つの固定深度面から生じるように現れる画像が、高速で連続して生成され、光源が、画像情報を、ＬＯＥ１、次いで、ＬＯＥ２、次いで、ＬＯＥ３等に急速に伝達するように、ほぼ同時に照明されてもよい。例えば、光学無限遠における空の画像を含む、所望の画像の一部が、時間１において投入されてもよく、光のコリメーションを留保するＬＯＥ（例えば、図６からの深度面ＤＰ６）が、利用されてもよい。次いで、より近い木の枝の画像が、時間２において投入されてもよく、１０メートル離れた深度面（例えば、図６からの深度面ＤＰ５）から生じるように現れる画像を作成するように構成される、ＬＯＥが、利用されてもよい。次いで、ペンの画像が、時間３において投入されてもよく、１メートル離れた深度面から生じるように現れる画像を作成するように構成される、ＬＯＥが、利用されてもよい。本タイプのパラダイムは、ユーザの眼および脳（例えば、視覚野）が入力を全て同一画像の一部であるように知覚するように、高速時系列方式で繰り返されることができる。

【0059】

ＶＲ、ＡＲ、および／またはＭＲシステムは、Ｚ軸（すなわち、深度面）に沿って種々の場所から生じるように現れ、３Ｄ体験／シナリオのための画像を生成する、画像を投影してもよい（すなわち、光ビームを発散または収束させることによって）。本願で使用されるように、光ビームは、限定ではないが、光源から照射される光エネルギー（可視および不可視光エネルギーを含む）の指向性投影を含む。種々の深度面から生じるように現れる画像を生成することは、その画像のためのユーザの眼の輻輳・開散運動および遠近調節に準拠し、輻輳・開散運動－遠近調節衝突を最小限にまたは排除する。

【0060】

ここで図７を参照すると、ＡＲまたはＭＲシステム７００の例示的実施形態（以降、「システム７００」と称される）が、図示される。システム７００は、スタックされた光誘導光学要素（以降、「ＬＯＥ７９０」と称される）を使用する。システム７００は、概して、１つ以上の画像生成プロセッサ７１０と、１つ以上の光源７２０と、１つ以上のコントローラ／ディスプレイブリッジ（ＤＢ）７３０と、１つ以上の空間光変調器（ＳＬＭ）７４０と、多面焦点システムとして機能する、スタックされたＬＯＥ７９０の１つ以上のセットとを含む。システム７００はまた、眼追跡サブシステム７５０を含んでもよい。

【0061】

画像生成プロセッサ７１０は、ユーザに表示されるべき仮想コンテンツを生成するように構成される。画像生成プロセッサ７１０は、仮想コンテンツと関連付けられる画像またはビデオを、３Ｄにおいてユーザに投影され得る、フォーマットに変換してもよい。例えば、３Ｄコンテンツを生成する際、仮想コンテンツは、特定の画像の部分が、特定の深度面に表示される一方、その他が、他の深度面に表示されるように、フォーマット化される必要があり得る。一実施形態では、画像は全て、特定の深度面に生成されてもよい。別の実施形態では、画像生成プロセッサ７１０は、ともに視認されると、仮想コンテンツがユーザの眼にコヒーレントかつ快適に現れるように、若干異なる画像を右および左眼に提供するようにプログラムされてもよい。

【0062】

画像生成プロセッサ７１０はさらに、メモリ７１２と、ＧＰＵ７１４と、ＣＰＵ７１６と、画像生成および処理のための他の回路網とを含んでもよい。画像生成プロセッサ７１０は、システム７００のユーザに提示されるべき所望の仮想コンテンツでプログラムされてもよい。いくつかの実施形態では、画像生成プロセッサ７１０は、システム７００内に格納されてもよいことを理解されたい。他の実施形態では、画像生成プロセッサ７１０および他の回路網は、システム７００に結合される、ベルトパック内に格納されてもよい。いくつかの実施形態では、画像生成プロセッサ７１０またはその１つ以上のコンポーネントは、ローカル処理およびデータモジュール（例えば、ローカル処理およびデータモジュール１３０）の一部であってもよい。上記に述べられたように、ローカル処理およびデータモジュール１３０は、フレーム構造１０２に固定して取り付けられる（図２）、ヘルメットまたは帽子５６に固定して取り付けられる（図３）、エンドユーザ５０の胴体５８に除去可能に取り付けられる（図４）、またはベルト結合式構成においてエンドユーザ５０の腰部６０に除去可能に取り付けられる（図５）等、種々の構成において搭載されてもよい。

【0063】

画像生成プロセッサ７１０は、所望の仮想コンテンツと関連付けられる光を投影する、光源７２０と、１つ以上の空間光変調器７４０とに動作可能に結合される。光源７２０は、コンパクトであって、かつ高分解能を有する。光源７２０は、コントローラ／ＤＢ７３０に動作可能に結合される。光源７２０は、種々の幾何学的構成に配置される、色特有ＬＥＤおよびレーザを含んでもよい。代替として、光源７２０は、各１つずつディスプレイの視野の具体的領域にリンクされる、同様の色のＬＥＤまたはレーザを含んでもよい。別の実施形態では、光源７２０は、放出面積および位置のセグメント化のためのマスクオーバーレイを伴う、白熱灯または蛍光灯等の広域エミッタを含んでもよい。光源７２０は、直接、図２Ｂにおけるシステム７００に接続されるが、光源７２０は、光ファイバ（図示せず）を介して、システム７００に接続されてもよい。システム７００はまた、光源７２０からの光をコリメートするように構成される、集光器（図示せず）を含んでもよい。

【0064】

ＳＬＭ７４０は、種々の例示的実施形態では、反射性（例えば、ＬＣＯＳ、ＦＬＣＯＳ、ＤＬＰ ＤＭＤ、またはＭＥＭＳミラーシステム）、透過性（例えば、ＬＣＤ）、または発光性（例えば、ＦＳＤまたはＯＬＥＤ）であってもよい。ＳＬＭ７４０のタイプ（例えば、速度、サイズ等）は、３Ｄ知覚の作成を改良するように選択されることができる。より高いリフレッシュレートで動作するＤＬＰ ＤＭＤが、定常システム７００の中に容易に組み込まれ得るが、ウェアラブルシステム７００は、より小さいサイズおよびパワーのＤＬＰを使用してもよい。ＤＬＰのパワーは、３Ｄ深度面／焦点面が作成される方法を変化させる。画像生成プロセッサ７１０は、ＳＬＭ７４０に動作可能に結合され、これは、光源７２０からの光を所望の仮想コンテンツでエンコーディングする。光源７２０からの光は、それがＳＬＭ７４０から反射する、そこから放出する、またはそれを通して通過するとき、画像情報でエンコーディングされてもよい。

【0065】

ＳＬＭ７４０からの光は、ＳＬＭ７４０によって１つの深度面および／または色のために画像データでエンコーディングされた光ビームが、ユーザの眼への送達のために、単一ＬＯＥ７９０に沿って事実上伝搬されるように、ＬＯＥ７９０に指向される。各ＬＯＥ７９０は、所望の深度面またはＦＯＶ角位置から生じるように現れる画像またはサブ画像をユーザの網膜上に投影するように構成される。光源７２０およびＬＯＥ７９０は、したがって、空間内の種々の深度面または位置から生じるように現れる、画像（同期して、コントローラ／ＤＢ７３０の制御下、ＳＬＭ７４０によってエンコーディングされる）を選択的に投影することができる。光源７２０およびＬＯＥ７９０のそれぞれを使用して、十分に高フレームレート（例えば、６０Ｈｚの事実上完全体積フレームレートにおいて、６つの深度面に関して３６０Ｈｚ）において、画像を順次投影することによって、システム７００は、３Ｄ画像内に同時に存在するように現れる、仮想オブジェクトの３Ｄ画像を種々の深度面に生成することができる。

【0066】

コントローラ／ＤＢ７３０は、画像生成プロセッサ７１０、光源７２０、およびＳＬＭ７４０と通信し、それに動作可能に結合され、ＳＬＭ７４０に、光源７２０からの光ビームを画像生成プロセッサ７１０からの適切な画像情報でエンコーディングするように命令することによって、画像の同期表示を協調させる。本システムは、画像生成プロセッサ７１０を含むが、コントローラ／ＤＢ７３０もまた、いくつかの実施形態では、例えば、メモリ７１２、ＧＰＵ７１４、および／またはＣＰＵ７１６のプロセスを含む、少なくともいくつかの画像生成プロセスを実施してもよい。いくつかの実施形態では、コントローラ／ＤＢ７３０は、例えば、メモリ７１２、ＧＰＵ７１４、および／またはＣＰＵ７１６等、画像生成プロセッサ７１０内に示される、１つ以上のコンポーネントを含んでもよい。

【0067】

システム７００はまた、ユーザの眼を追跡し、ユーザの輻輳・開散運動点を決定するように構成される、随意の眼追跡サブシステム７５０を含んでもよい。一実施形態では、システム７００は、画像が、図９Ａおよび９Ｂに示されるように、ユーザの輻輳・開散運動点と一致する、所望の深度面に生成されるように、眼追跡サブシステム７５０からの入力に基づいて、ＬＯＥ７９０のサブセットを照明するように構成される。例えば、ユーザの眼が、相互に平行である場合、システム７００は、画像が光学無限遠から生じるように現れるように、コリメートされた光をユーザの眼に送達するように構成される、ＬＯＥ７９０を照明してもよい。別の実施例では、眼追跡サブシステム７５０が、ユーザの輻輳・開散運動点が１メートル離れていることを決定する場合、その範囲内にほぼ合焦するように構成される、ＬＯＥ７９０が、代わりに、照明されてもよい。深度範囲全体に近似する深度面が、同時に（またはほぼ同時に）照明される、実施形態では、随意の眼追跡サブシステム７５０は、照明するための１つ以上の深度面を選定するために、ユーザの輻輳・開散運動点を決定するために要求されない。随意の眼追跡サブシステム７５０の必要性を排除することは、ＶＲ／ＡＲ／ＭＲシステム７００のサイズ、その処理要件、およびそのパワーおよびメモリ要件を低減させる。
例証的ブレンドモードレンダリングおよびディスプレイシステム

【0068】

図１２は、いくつかの実施形態による、３Ｄ画像をレンダリングおよび表示する「ブレンドモード」を描写する。ブレンドモードディスプレイは、少なくとも２つの離散深度面０、１の組み合わせから生成された合成ライトフィールドを提示する。遠近調節と輻輳・開散運動との間の許容度（例えば、±０．７５ジオプタ）に起因して、近深度面０および遠深度面１を相互の所定のジオプタ数（例えば、１．５ジオプタ）内に位置付けるようにレンダリングおよびディスプレイシステムを構成することによって、これらの２つの深度面０、１は、図１０Ａに示されるように、視認者の視覚のほぼカットオフ最小距離からほぼ無限遠までの３Ｄ視野全体を網羅することができる。ブレンドモード合成ライトフィールドは、２つの深度面０、１上に投影されるようなサブ画像のスカラーブレンドとして、２つの深度面０、１間の任意の位置に対する視認者の遠近調節をシミュレートする。２つの深度面０、１におけるサブ画像のスカラーブレンドを通して、ブレンドモード合成ライトフィールドは、１つ以上の仮想深度面１２１０に対する遠近調節をシミュレートすることができる。

【0069】

ブレンドモードは、視認者の遠近調節の忠実性を増加させ、より自然な深度知覚をもたらす。例えば、図１３Ａは、離散モードディスプレイシステムを描写し、近および遠立方体８１０、８１２および円柱８１４は、近深度面０に隣接する近立方体８１０に対する視認者８１６の輻輳・開散運動点の追跡に応答して、近深度面０上に投影される。近深度面０への投影は、近深度面０より遠深度面１に近い、遠立方体８１２および円柱８１４に関してさえ、近深度面０への視認者の遠近調節をもたらす。

【0070】

他方で、図１３Ｂは、いくつかの実施形態による、ブレンドモード合成ライトフィールドを描写する。ブレンドディスプレイモードでは、近および遠立方体８１０、８１２および円柱８１４は、本システムの光学軸（「Ｚ軸」）に沿って、近および遠立方体８１０、８１２および円柱８１４の個別の場所に隣接して個別の仮想深度面１３１０、１３１２、１３１４上に「仮想的に投影される」。近および遠立方体８１０、８１２および円柱８１４は、近および遠深度面０、１のみが実際に照明されるため、仮想的にのみ投影される。上記に説明されるように、仮想深度面１３１０、１３１２、１３１４上への仮想投影は、近および遠深度面０、１上に投影されたサブ画像のスカラーブレンドを通してシミュレートされる。

【0071】

図１４Ａ－１５Ｂは、いくつかの実施形態による、近および遠深度面０、１上に投影されたサブ画像のスカラーブレンドを通してブレンドされたライトフィールドのレンダリングおよび表示を描写する。図１４Ａ－１５Ｂに描写される実施形態のハードウェアリフレッシュレートは、約３６０Ｈｚであって、これは、ＲＧＢ色における１２０Ｈｚに匹敵する。レンダリングおよび表示システムは、相互に時間的に近い（すなわち、近深度面０に続いて、遠深度面１）２つの順次点滅をブレンドする、ヒト視覚系の傾向を利用することによって、６０Ｈｚ合成３Ｄライトフィールドをシミュレートする。これは、６つの点滅（例えば、Ｒ０Ｇ０Ｂ０Ｂ１Ｇ１Ｒ１）を伴う、事実上６０Ｈｚディスプレイを作成する。サブ画像をレンダリングするために、フレーム内の各ピクセルは、（例えば、３Ｄ画像データからの）最良の既知の深度データで深度タグ付けされる。次いで、本システムは、最良の既知の深度データを使用して、ピクセル毎に、２つのスカラー値を計算し、一方は、近深度面０への投影のためのものであって、他方は、遠深度面１への投影のためのものである。近深度面０より近いまたは遠深度面１より遠い、任意のオブジェクトのみが、個別の深度面０、１が照明されると投影される。スカラー値を計算するために使用されるブレンド分析は、線形補間、非線形補間、および／または１つ以上の線形補間を含んでもよい。当業者は、ブレンド分析が他の補間技法を含んでもよいことを理解するであろう。

【0072】

シリコン上液晶（ＬＣＯＳ）光源を伴うプロジェクタ等のディスプレイシステムは、各色を各深度面において順次点滅させる（例えば、Ｒ０Ｇ０Ｂ０Ｂ１Ｇ１Ｒ１、Ｒ０Ｒ１Ｇ０Ｇ１Ｂ０Ｂ１、またはある他の方式において）。走査式ファイバディスプレイ等のディスプレイシステムは、カラー画像を両深度面においてラスタ走査することによって、画像を各深度面において「同時に」点滅させることができる。

【0073】

図１４Ａは、３Ｄ画像のサブ画像がその上に表示されるときの、近深度面０に関するスカラー値を描写する。サブ画像が明るいほど、近深度面０においてより照明される。逆に言えば、サブ画像が暗いほど、近深度面０においてあまり照明されない。本実施形態では、スカラー値は、線形ブレンドを使用して決定される。図１４Ｂは、図１４Ａにおいて照明されるような近深度面０の視認者の斜視図を描写する。近深度面０により近い、近立方体８１０は、円柱８１４と比較して、近深度面０においてより明るい（すなわち、より照明される）。逆に言えば、近深度面０からより遠い、円柱８１４は、近立方体８１０と比較して、近深度面０においてより暗い（すなわち、あまり照明されない）。近立方体８１０または円柱８１４のいずれかと比較して、近深度面０からはるかに遠い、遠立方体８１２は、近深度面０においてほぼ黒色である（すなわち、照明されない）。

【0074】

図１５Ａは、３Ｄ画像のサブ画像がその上に表示されるときの、遠深度面１に関するスカラー値を描写する。サブ画像が明るいほど、遠深度面１においてより照明される。逆に言えば、サブ画像が暗いほど、遠深度面１においてあまり照明されない。図１５Ｂは、図１５Ａにおいて照明されるような遠深度面１の視認者の斜視図を描写する。遠深度面１により近い、遠立方体８１２は、円柱８１４と比較して、遠深度面１においてより明るい（すなわち、より照明される）。逆に言えば、遠深度面１からより遠い、円柱８１４は、遠立方体８１２と比較して、遠深度面１においてより暗い（すなわち、あまり照明されない）。遠立方体８１２または円柱８１４のいずれかと比較して、遠深度面１からはるかに遠い、近立方体８１０は、遠深度面１においてほぼ黒色である（すなわち、最小限に照明される）。

【0075】

線形ブレンドは、近および遠深度面０、１の同時（例えば、ファイバ走査ディスプレイ）またはほぼ同時の順次（例えば、ＬＣＯＳ光源を伴うプロジェクタ）照明が、ヒト視覚系によって、１つ以上のサブ画像として、対応する複数の仮想深度面１４１０、１４１２、１４１４において解釈されるように、近および遠深度面０、１におけるスカラー値をもたらす。

【0076】

図１６Ａおよび１６Ｂは、いくつかの実施形態による、ブレンドモード合成ライトフィールドの左および右深度面を描写する。具体的には、図１６Ａは、ブレンドモード合成ライトフィールドの左および右近深度面を描写し、図１６Ｂは、ブレンドモード合成ライトフィールドの左および右遠深度面を描写する。左および右サブ画像は、立体視をシミュレートするようにレンダリングされる。個別の近および遠深度面におけるサブ画像は、ヒト視覚系によって、１つ以上のサブ画像として、１つ以上の仮想深度面において解釈され、それによって、３Ｄ画像のための合成３Ｄライトフィールドを形成する。

【0077】

近および遠深度面における表示のためのサブ画像は、ブレンド分析を適用することによって、レンダリング／生成されてもよい。ブレンド分析は、線形補間、非線形補間（例えば、相補的シグモイドフォールオフ）、および／または１つ以上の線形補間（例えば、線形補間のルックアップテーブルを使用して、曲線に近似させる）を伴ってもよい。当業者は、ブレンド分析が他の補間技法を含んでもよいことを理解するであろう。３Ｄ画像のコンテンツは、「近専用」（すなわち、近深度面より近い）、「遠専用」（すなわち、遠深度面より遠い）、または「重複領域」（すなわち、近深度面と遠深度面との間の具体的領域）としてタグ付けされてもよい。近専用コンテンツは、近深度面のみに表示されてもよい。遠専用コンテンツは、遠深度面のみに表示されてもよい。重複領域コンテンツは、図１４Ｂおよび１５Ｂに示されるように、近および遠深度面の両方における表示のために、種々の技法を使用してブレンドされてもよい。

【0078】

３Ｄ画像コンテンツの各断片は、コンテンツを「近専用」、「遠専用」、および「重複領域」グループ内に設置するために使用される、最良の既知の深度を有する。最良の既知の深度は、深度セグメント化情報を伴う視差マップおよびタイルベースの再投影（深度バッファ内に記憶される）、ステレオカラーペア情報、および実世界メッシュ情報のうちの１つ以上のものを使用して生成されてもよい。最良の既知の深度情報はまた、コンテンツを「重複領域」グループ内でブレンドするために使用されてもよい。ステレオカラーペア情報は、２つの異なる視点を使用して３Ｄ画像コンテンツを投影することによって形成される、一対の２Ｄ画像に関連する。視差マップは、２つの異なる視点を使用して３Ｄ画像コンテンツを投影することによって形成される、２Ｄ画像間の差異を描写する。一実施形態では、視差マップは、３Ｄ画像コンテンツ内のピクセル毎に、異なる視点からの２つの投影された２Ｄ画像のそれぞれ内の投影されたピクセル間の距離を含む。実世界メッシュ情報は、ポリゴンを使用した画像データ（例えば、環境上に投影される、またはそこから捕捉される）のグラフィカル表現に関連する。

【0079】

近および遠深度面における表示のためのサブ画像が、レンダリングされた後、その表示は、グラフィカル処理ユニットおよびディスプレイデバイスに動作可能に結合される、ディスプレイコントローラによって制御されてもよい。

【0080】

ブレンドされたディスプレイモードを使用して、近および遠深度面を照明し、１つ以上の仮想深度面をシミュレートすることは、最小限のディスプレイおよびグラフィカル処理要件を伴って、合成３Ｄライトフィールドを提供する。さらに、合成３Ｄライトフィールドは、３Ｄ画像をより正確に再現し、それによって、離散モードディスプレイシステムで遭遇されるもの等の輻輳・開散運動－遠近調節衝突を低減させる。さらに、本明細書に説明されるもの等のブレンドモードディスプレイシステムは、眼追跡サブシステム（例えば、カメラ、ＩＲ光、処理ユニット、メモリ等）を伴わずに動作し、それによって、限定されたシステムリソースを伴うポータブル３Ｄディスプレイシステムへのハードウェアおよび処理需要を低減させることができる。
システムアーキテクチャ概要

【0081】

図１７は、本開示の実施形態を実装するために好適な例証的コンピューティングシステム１７００のブロック図である。コンピュータシステム１７００は、情報を通信するためのバス１７０６または他の通信機構を含み、これは、プロセッサ１７０７、システムメモリ１７０８（例えば、ＲＡＭ）、静的記憶デバイス１７０９（例えば、ＲＯＭ）、ディスクドライブ１７１０（例えば、磁気または光学）、通信インターフェース１７１４（例えば、モデムまたはＥｔｈｅｒｎｅｔ（登録商標）カード）、ディスプレイ１７１１（例えば、ＣＲＴまたはＬＣＤ）、入力デバイス１７１２（例えば、キーボード）、およびカーソル制御等のサブシステムおよびデバイスを相互接続する。

【0082】

本開示の一実施形態によると、コンピュータシステム１７００は、プロセッサ１７０７がシステムメモリ１７０８内に含有される１つ以上の命令の１つ以上のシーケンスを実行することによって、具体的動作を実施する。そのような命令は、静的記憶デバイス１７０９またはディスクドライブ１７１０等の別のコンピュータ可読／使用可能媒体からシステムメモリ１７０８の中に読み込まれてもよい。代替実施形態では、有線回路網が、本開示を実装するために、ソフトウェア命令の代わりに、またはそれと組み合わせて使用されてもよい。したがって、本開示の実施形態は、ハードウェア回路網および／またはソフトウェアの任意の具体的組み合わせに限定されない。一実施形態では、用語「論理」は、本開示の全部または一部を実装するために使用される、ソフトウェアまたはハードウェアの任意の組み合わせを意味するものとする。

【0083】

本明細書で使用されるような用語「コンピュータ可読媒体」または「コンピュータ使用可能媒体」は、実行のために命令をプロセッサ１７０７に提供する際に関わる、任意の媒体を指す。そのような媒体は、限定ではないが、不揮発性媒体および揮発性媒体を含む、多くの形態をとり得る。不揮発性媒体は、例えば、ディスクドライブ１７１０等の光学または磁気ディスクを含む。揮発性媒体は、システムメモリ１７０８等の動的メモリを含む。

【0084】

一般的形態のコンピュータ可読媒体は、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ－ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを伴う任意の他の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ（例えば、ＮＡＮＤフラッシュ、ＮＯＲフラッシュ）、任意の他のメモリチップまたはカートリッジ、またはそこからコンピュータが読み取ることができる、任意の他の媒体を含む。

【0085】

本開示のある実施形態では、本開示を実践するための命令のシーケンスの実行は、単一コンピュータシステム１７００によって実施される。本開示の他の実施形態によると、通信リンク１７１５（例えば、ＬＡＮ、ＰＴＳＮ、または無線ネットワーク）によって結合される、２つ以上のコンピュータシステム１７００が、相互に協調して本開示を実践するために要求される、命令のシーケンスを実施してもよい。

【0086】

コンピュータシステム１７００は、通信リンク１７１５および通信インターフェース１７１４を通して、プログラム、すなわち、アプリケーションコードを含む、メッセージ、データ、および命令を伝送および受信してもよい。受信されたプログラムコードは、受信されるにつれて、プロセッサ１７０７によって実行され、および／またはディスクドライブ１７１０または後の実行のための他の不揮発性記憶装置内に記憶されてもよい。記憶媒体１７３１内のデータベース１７３２は、データインターフェース１７３３を介してシステム１７００によってアクセス可能なデータを記憶するために使用されてもよい。

【0087】

上記に説明されるブレンドモード実施形態は、２つの深度面（例えば、近および遠深度面）を含むが、他の実施形態は、２つを上回る深度面を含んでもよい。深度面の数を増加させることは、それを用いて仮想深度面がシミュレートされる、忠実性を増加させる。しかしながら、本忠実性の増加は、現在のポータブル３Ｄレンダリングおよびディスプレイシステムにおいて利用可能なリソースを超え得る、ハードウェアおよび処理需要の増加によって相殺される。

【0088】

本開示のある側面、利点、および特徴が、本明細書に説明される。必ずしも、全てのそのような利点が、本開示の任意の特定の実施形態に従って達成され得るわけではないことを理解されたい。したがって、本開示は、必ずしも、本明細書に教示または提案され得るような他の利点を達成せずに、本明細書に教示されるような１つの利点または利点のグループを達成または最適化する様式において、具現化または実行されてもよい。

【0089】

実施形態は、付随の図面に関連して説明されている。しかしながら、図は、正確な縮尺で描かれていないことを理解されたい。距離、角度等は、単に、例証的であって、必ずしも、図示されるデバイスの実際の寸法およびレイアウトに対する正確な関係を保つわけではない。加えて、前述の実施形態は、当業者が、本明細書に説明されるデバイス、システム、方法、および同等物を作製および使用することを可能にするような詳細のレベルにおいて説明されている。様々な変形例も、可能性として考えられる。コンポーネント、要素、および／またはステップは、改変、追加、除去、または再配列されてもよい。

【0090】

本明細書に説明されるデバイスおよび方法は、有利なこととして、少なくとも部分的に、例えば、コンピュータソフトウェア、ハードウェア、ファームウェア、またはソフトウェア、ハードウェア、およびファームウェアの任意の組み合わせを使用して実装されることができる。ソフトウェアモジュールは、本明細書に説明される機能を実施するために、コンピュータのメモリ内に記憶される、コンピュータ実行可能コードを含むことができる。いくつかの実施形態では、コンピュータ実行可能コードは、１つ以上の汎用コンピュータによって実行される。しかしながら、当業者は、本開示に照らして、汎用コンピュータ上で実行されることになるソフトウェアを使用して実装され得る、任意のモジュールもまた、ハードウェア、ソフトウェア、またはファームウェアの異なる組み合わせを使用して実装されることができることを理解するであろう。例えば、そのようなモジュールは、完全に、集積回路の組み合わせを使用して、ハードウェア内に実装されることができる。代替として、または加えて、そのようなモジュールは、完全または部分的に、汎用コンピュータによってではなく、本明細書に説明される特定の機能を実施するように設計される、特殊コンピュータを使用して実装されることができる。加えて、少なくとも部分的に、コンピュータソフトウェアによって行われる、または行われ得る、方法が、説明される場合、そのような方法は、コンピュータまたは他の処理デバイスによって読み取られると、それに方法を行わせる、非一過性コンピュータ可読媒体上に提供され得ることを理解されたい。

【0091】

ある実施形態が、明示的に説明されているが、他の実施形態も、本開示に基づいて、当業者に明白となるであろう。

【0092】

本明細書に説明される種々のプロセッサおよび他の電子コンポーネントは、光を投影するための任意の光学システムと併用するために好適である。本明細書に説明される種々のプロセッサおよび他の電子コンポーネントは、また、音声コマンドを受信するための任意のオーディオシステムと併用するために好適である。

【0093】

本開示の種々の例示的実施形態が、本明細書に説明される。これらの実施例は、非限定的意味で参照される。それらは、本開示のより広義に適用可能な側面を例証するために提供される。種々の変更が、説明される本開示に行われてもよく、本開示の真の精神および範囲から逸脱することなく、均等物が代用されてもよい。加えて、多くの修正が、特定の状況、材料、組成物、プロセス、プロセス作用、またはステップを本開示の目的、精神、または範囲に適合させるために行われてもよい。さらに、当業者によって理解されるであろうように、本明細書で説明および例証される個々の変形例はそれぞれ、本開示の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離される、またはそれらと組み合わせられる、離散コンポーネントおよび特徴を有する。全てのそのような修正は、本開示と関連付けられた請求項に記載の範囲内であることが意図される。

【0094】

本開示は、本主題のデバイスを使用して実施され得る方法を含む。本方法は、そのような好適なデバイスを提供する行為を含んでもよい。そのような提供は、エンドユーザによって実施されてもよい。換言すると、「提供する」行為は、単に、エンドユーザが、本主題の方法において必要なデバイスを取得する、それにアクセスする、それに接近する、それを位置付ける、それを設定する、それをアクティブ化する、それに電源を入れる、または別様にそれを提供するように作用することを要求する。本明細書に列挙される方法は、論理的に可能な列挙されたイベントの任意の順序およびイベントの列挙された順序で行われてもよい。

【0095】

本開示の例示的側面が、材料選択および製造に関する詳細とともに、上記に記載されている。本開示の他の詳細に関して、これらは、上記で参照された特許および刊行物に関連して理解され、概して、当業者によって公知である、または理解され得る。同じことが、一般または論理的に採用されるような付加的作用の観点から、本開示の方法ベースの側面に関しても当てはまり得る。

【0096】

加えて、本開示は、随意に、種々の特徴を組み込む、いくつかの実施例を参照して説明されたが、本開示は、開示の各変形例に関して検討されるように説明または図示されるものに限定されるものではない。種々の変更が、説明される本開示に行われてもよく、均等物（本明細書に列挙されるか、またはある程度の簡潔目的のために含まれないかどうかにかかわらず）が、本開示の真の精神および範囲から逸脱することなく代用されてもよい。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値および任意の他の述べられた値または述べられた範囲内の介在値が、本開示内に包含されるものと理解されたい。

【0097】

また、説明される変形例の任意の随意の特徴は、独立して、または本明細書に説明される特徴のうちの任意の１つ以上のものと組み合わせて、記載および請求され得ることが検討される。単数形項目の言及は、複数の同一項目が存在する可能性を含む。より具体的には、本明細書および本明細書に関連付けられた請求項で使用されるように、単数形「ａ」、「ａｎ」、「ｓａｉｄ」、および「ｔｈｅ」は、別様に具体的に述べられない限り、複数の言及を含む。換言すると、冠詞の使用は、上記の説明および本開示と関連付けられる請求項における本主題の項目のうちの「少なくとも１つ」を可能にする。さらに、そのような請求項は、任意の随意の要素を除外するように起草され得ることに留意されたい。したがって、本文言は、請求項の要素の列挙と関連する「単に」、「のみ」、および同等物等の排他的専門用語の使用、または「消極的」限定の使用のための先行詞としての役割を果たすことが意図される。

【0098】

そのような排他的専門用語を使用しなければ、本開示と関連付けられる請求項における用語「～を備える（ｃｏｍｐｒｉｓｉｎｇ）」は、所与の数の要素がそのような請求項で列挙されるかどうかにかかわらず、任意の付加的要素の包含を可能にするものとする、または特徴の追加は、そのような請求項に記載される要素の性質を変換すると見なされ得る。本明細書で具体的に定義される場合を除いて、本明細書で使用される全ての技術および科学用語は、請求項の正当性を維持しながら、可能な限り広い一般的に理解されている意味を与えられるべきである。

【0099】

本開示の範疇は、提供される実施例および／または本明細書に限定されるべきではなく、むしろ、本開示と関連付けられた請求項の言語の範囲によってのみ限定されるべきである。

【0100】

前述の明細書では、本開示は、その具体的実施形態を参照して説明された。しかしながら、種々の修正および変更が、本開示のより広義の精神および範囲から逸脱することなく、そこに行われてもよいことが明白であろう。例えば、前述のプロセスフローは、プロセスアクションの特定の順序を参照して説明される。しかしながら、説明されるプロセスアクションの多くの順序は、本開示の範囲または動作に影響を及ぼすことなく、変更されてもよい。明細書および図面は、故に、限定的意味ではなく、例証と見なされるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13A】

【図13B】

【図14】

【図15】

【図16】

【図17】