知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024167359
(43)【公開日】2024-12-03
(54)【発明の名称】仮想、拡張、および複合現実システムおよび方法
(51)【国際特許分類】
G06T 19/00 20110101AFI20241126BHJP
G06F 3/01 20060101ALI20241126BHJP
【ＦＩ】
G06T19/00 600
G06F3/01 510
【審査請求】有
【請求項の数】19
【出願形態】ＯＬ
(21)【出願番号】P 2024150823
(22)【出願日】2024-09-02
(62)【分割の表示】P 2022533473の分割
【原出願日】2020-12-03
(31)【優先権主張番号】62/945,024
(32)【優先日】2019-12-06
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】514108838
【氏名又は名称】マジック リープ， インコーポレイテッド
【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．
【住所又は居所原語表記】７５００ Ｗ ＳＵＮＲＩＳＥ ＢＬＶＤ，ＰＬＡＮＴＡＴＩＯＮ，ＦＬ ３３３２２ ＵＳＡ
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】ロバート ブレイク テイラー
(57)【要約】
【課題】仮想、拡張、および複合現実システムおよび方法の提供。
【解決手段】３次元（「３Ｄ」）画像を表示するための方法は、３Ｄ画像データのフレームをレンダリングすることを含む。本方法はまた、３Ｄ画像データのフレームを分析し、最良の既知の深度データを生成することを含む。本方法はさらに、最良の既知の深度データを使用して、それぞれ、３Ｄ画像データを、近および遠深度に対応する２次元（「２Ｄ」）画像データの近および遠フレームにセグメント化することを含む。さらに、本方法は、それぞれ、近および遠深度において、２Ｄ画像データの近および遠フレームに対応する近および遠２Ｄ画像フレームをユーザに表示することを含む。
【選択図】図１６
【解決手段】３次元（「３Ｄ」）画像を表示するための方法は、３Ｄ画像データのフレームをレンダリングすることを含む。本方法はまた、３Ｄ画像データのフレームを分析し、最良の既知の深度データを生成することを含む。本方法はさらに、最良の既知の深度データを使用して、それぞれ、３Ｄ画像データを、近および遠深度に対応する２次元（「２Ｄ」）画像データの近および遠フレームにセグメント化することを含む。さらに、本方法は、それぞれ、近および遠深度において、２Ｄ画像データの近および遠フレームに対応する近および遠２Ｄ画像フレームをユーザに表示することを含む。
【選択図】図１６
【特許請求の範囲】
【請求項1】
３次元（「３Ｄ」）画像をユーザに表示するための方法であって、前記方法は、
３Ｄ画像データのフレームをレンダリングすることと、
前記３Ｄ画像データの前記フレームを分析することにより、深度データを生成することと、
近クリップおよび遠クリップのうちの一方を含む深度範囲内の個別の深度を有する仮想オブジェクト／ピクセルのセットを識別することと、
ユーザの眼が前記仮想オブジェクト／ピクセルのセットに対して輻輳・開散運動されるとき、前記仮想オブジェクト／ピクセルのセットをぼかすことであって、前記仮想オブジェクト／ピクセルをぼかすことは、前記仮想オブジェクト／ピクセルの深度と前記近クリップおよび前記遠クリップのそれぞれの前記一方または両方の深度との間の決定された差異／距離に基づいており、これにより、ぼかされた仮想オブジェクト／ピクセルを生成する、ことと、
前記ぼかされた仮想オブジェクト／ピクセルのセットを前記ユーザに表示することと
を含む、方法。
３Ｄ画像データのフレームをレンダリングすることと、
前記３Ｄ画像データの前記フレームを分析することにより、深度データを生成することと、
近クリップおよび遠クリップのうちの一方を含む深度範囲内の個別の深度を有する仮想オブジェクト／ピクセルのセットを識別することと、
ユーザの眼が前記仮想オブジェクト／ピクセルのセットに対して輻輳・開散運動されるとき、前記仮想オブジェクト／ピクセルのセットをぼかすことであって、前記仮想オブジェクト／ピクセルをぼかすことは、前記仮想オブジェクト／ピクセルの深度と前記近クリップおよび前記遠クリップのそれぞれの前記一方または両方の深度との間の決定された差異／距離に基づいており、これにより、ぼかされた仮想オブジェクト／ピクセルを生成する、ことと、
前記ぼかされた仮想オブジェクト／ピクセルのセットを前記ユーザに表示することと
を含む、方法。
【請求項2】
前記方法は、前記３Ｄ画像データの前記フレームを投影することにより、２次元（「２Ｄ」）画像フレームを生成することをさらに含み、
前記仮想オブジェクト／ピクセルのセットをぼかすことは、前記仮想オブジェクト／ピクセルのセットに対応する前記２Ｄ画像フレームの部分をぼかすことにより、部分的ぼけ２Ｄ画像フレームを生成することを含み、
前記ぼかされた仮想オブジェクト／ピクセルのセットを前記ユーザに表示することは、前記部分的ぼけ２Ｄ画像フレームを前記ユーザに表示することを含む、請求項１に記載の方法。
前記仮想オブジェクト／ピクセルのセットをぼかすことは、前記仮想オブジェクト／ピクセルのセットに対応する前記２Ｄ画像フレームの部分をぼかすことにより、部分的ぼけ２Ｄ画像フレームを生成することを含み、
前記ぼかされた仮想オブジェクト／ピクセルのセットを前記ユーザに表示することは、前記部分的ぼけ２Ｄ画像フレームを前記ユーザに表示することを含む、請求項１に記載の方法。
【請求項3】
前記方法は、仮想オブジェクト／ピクセルの第２のセットと前記ぼかされた仮想オブジェクト／ピクセルのセットとを組み合わせることにより、部分的ぼけ２次元（「２Ｄ」）画像フレームを生成することをさらに含み、
前記ぼかされた仮想オブジェクト／ピクセルのセットを前記ユーザに表示することは、前記部分的ぼけ２Ｄ画像フレームを前記ユーザに表示することを含む、請求項１に記載の方法。
前記ぼかされた仮想オブジェクト／ピクセルのセットを前記ユーザに表示することは、前記部分的ぼけ２Ｄ画像フレームを前記ユーザに表示することを含む、請求項１に記載の方法。
【請求項4】
前記方法は、個別の深度に基づいて、前記仮想オブジェクト／ピクセルのセットをぼかすことにより、前記ぼかされた仮想オブジェクト／ピクセルのセットを生成することをさらに含む、請求項１に記載の方法。
【請求項5】
前記方法は、前記仮想オブジェクト／ピクセルのセットのそれぞれを同一の程度にぼかすことをさらに含む、請求項４に記載の方法。
【請求項6】
前記方法は、前記仮想オブジェクト／ピクセルのセットのそれぞれを可変にぼかすことをさらに含み、
前記仮想オブジェクト／ピクセルのセットのそれぞれの個別のぼけの程度は、前記個別の深度に比例する、請求項４に記載の方法。
前記仮想オブジェクト／ピクセルのセットのそれぞれの個別のぼけの程度は、前記個別の深度に比例する、請求項４に記載の方法。
【請求項7】
前記ぼかすことの程度は、前記個別の深度に正比例する、請求項４に記載の方法。
【請求項8】
前記ぼかすことの程度は、前記個別の深度に線形的に比例すること、前記個別の深度に対数的に比例すること、前記個別の深度に非対称的に比例することのうちの１つである、請求項４に記載の方法。
【請求項9】
前記深度範囲は、前記遠クリップを含む、請求項１に記載の方法。
【請求項10】
前記遠クリップは、約１．１５ジオプタに対応する、請求項９に記載の方法。
【請求項11】
前記深度範囲は、前記近クリップを含む、請求項１に記載の方法。
【請求項12】
前記近クリップは、約２．７ジオプタに対応する、請求項１１に記載の方法。
【請求項13】
前記方法は、前記仮想オブジェクト／ピクセルのセットへの前記ユーザの輻輳・開散運動点を追跡することをさらに含む、請求項１に記載の方法。
【請求項14】
３次元（「３Ｄ」）画像を表示するための方法であって、前記方法は、
３Ｄ画像データのフレームを分析することにより、深度データを生成することと、
前記３Ｄ画像データ内の深度を有する仮想オブジェクト／ピクセルを識別することと、
前記仮想オブジェクト／ピクセルの深度と近クリップおよび遠クリップのそれぞれの一方または両方の深度との間の差異／距離を決定することと、
前記仮想オブジェクト／ピクセルの深度と前記近クリップおよび前記遠クリップのそれぞれの前記一方または前記両方の深度との間の前記決定された差異／距離に基づいて、前記仮想オブジェクト／ピクセルをぼかすことにより、ぼかされた仮想オブジェクト／ピクセルを生成することと、
前記ぼかされた仮想オブジェクト／ピクセルをユーザに表示することと
を含む、方法。
３Ｄ画像データのフレームを分析することにより、深度データを生成することと、
前記３Ｄ画像データ内の深度を有する仮想オブジェクト／ピクセルを識別することと、
前記仮想オブジェクト／ピクセルの深度と近クリップおよび遠クリップのそれぞれの一方または両方の深度との間の差異／距離を決定することと、
前記仮想オブジェクト／ピクセルの深度と前記近クリップおよび前記遠クリップのそれぞれの前記一方または前記両方の深度との間の前記決定された差異／距離に基づいて、前記仮想オブジェクト／ピクセルをぼかすことにより、ぼかされた仮想オブジェクト／ピクセルを生成することと、
前記ぼかされた仮想オブジェクト／ピクセルをユーザに表示することと
を含む、方法。
【請求項15】
前記方法は、
前記深度データを使用することにより、前記３Ｄ画像データを近深度および遠深度にそれぞれ対応する２次元（「２Ｄ」）画像データの近フレームおよび遠フレームにセグメント化することであって、前記２Ｄ画像データの前記近フレームおよび前記遠フレームのうちの少なくとも１つは、前記ぼかされた仮想オブジェクト／ピクセルを含む、ことと、
前記近深度および前記遠深度における前記２Ｄ画像データの前記近フレームおよび前記遠フレームにそれぞれ対応する近２Ｄ画像フレームおよび遠２Ｄ画像フレームをユーザに表示することと
をさらに含む、請求項１４に記載の方法。
前記深度データを使用することにより、前記３Ｄ画像データを近深度および遠深度にそれぞれ対応する２次元（「２Ｄ」）画像データの近フレームおよび遠フレームにセグメント化することであって、前記２Ｄ画像データの前記近フレームおよび前記遠フレームのうちの少なくとも１つは、前記ぼかされた仮想オブジェクト／ピクセルを含む、ことと、
前記近深度および前記遠深度における前記２Ｄ画像データの前記近フレームおよび前記遠フレームにそれぞれ対応する近２Ｄ画像フレームおよび遠２Ｄ画像フレームをユーザに表示することと
をさらに含む、請求項１４に記載の方法。
【請求項16】
前記近クリップおよび前記遠クリップの前記一方または前記両方は、前記近クリップを含む、請求項１４に記載の方法。
【請求項17】
前記近クリップおよび前記遠クリップの前記一方または前記両方は、前記遠クリップを含む、請求項１４に記載の方法。
【請求項18】
前記近クリップおよび前記遠クリップの前記一方または前記両方は、前記近クリップおよび前記遠クリップを含む、請求項１４に記載の方法。
【請求項19】
前記仮想オブジェクト／ピクセルは、前記仮想オブジェクト／ピクセルの深度と前記近クリップおよび前記遠クリップのそれぞれの前記一方または前記両方の深度との間の前記決定された差異／距離の線形関数または対数関数または非対称関数としてぼかされる、請求項１４に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本特許文書の開示の一部は、著作権保護を受けるべき資料を含有する。本著作権所有者は、本特許文書または本特許開示を誰が複写しても、それが特許商標局の特許ファイルまたは記録に現れる通りである限りでは異議はないが、その他の場合には、いかなる著作権も全て保有する。
【0002】
本開示は、仮想現実、拡張現実、および複合現実結像、可視化、およびディスプレイシステムおよび方法に関する。特に、本開示は、ディスプレイコンテンツをぼかすための仮想現実、拡張現実、および複合現実結像、可視化、およびディスプレイシステムおよび方法に関する。
【背景技術】
【0003】
現代のコンピューティングおよびディスプレイ技術は、仮想現実（ＶＲ）、拡張現実（ＡＲ）、および複合現実（ＭＲ）システムの開発を促進している。ＶＲシステムは、ユーザが体験するためのシミュレートされた環境を作成する。これは、頭部搭載型ディスプレイを通して、コンピュータ生成画像をユーザに提示することによって行われることができる。本画像は、感覚体験を作成し、これは、ユーザをシミュレートされた環境内に没入させる。ＶＲシナリオは、典型的には、コンピュータ生成画像のみの提示を伴うのではなく、また、実際の実世界画像も含む。
【0004】
ＡＲシステムは、概して、実世界環境をシミュレートされた要素で補完する。例えば、ＡＲシステムは、ユーザに、頭部搭載型ディスプレイを介して、周囲実世界環境のビューを提供してもよい。しかしながら、コンピュータ生成画像はまた、ディスプレイ上に提示され、実世界環境を向上させることもできる。本コンピュータ生成画像は、実世界環境にコンテキスト的に関連する、要素を含むことができる。そのような要素は、シミュレートされたテキスト、画像、オブジェクト等を含むことができる。ＭＲシステムはまた、シミュレートされたオブジェクトを実世界環境の中に導入するが、これらのオブジェクトは、典型的には、ＡＲシステムにおけるものを上回る相互作用度を特徴とする。シミュレートされた要素は、多くの場合、リアルタイムで双方向となることができる。
【0005】
図１は、例示的ＡＲ／ＭＲ場面２を描写し、ユーザには、人々、木々、背景における建物、およびコンクリートプラットフォーム２０を特徴とする、実世界公園設定６が見える。これらのアイテムに加え、コンピュータ生成画像もまた、ユーザに提示される。コンピュータ生成画像は、例えば、実世界プラットフォーム２０上に立っている、ロボット像１０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１２とを含むことができるが、これらの要素１２、１０は、実際には、実世界環境内に存在しない。
【0006】
種々の光学システムは、ＶＲ、ＡＲ、またはＭＲシナリオを表示するために、画像を種々の深度に生成する。
【0007】
ＶＲ／ＡＲ／ＭＲシステムは、ブレンドライトフィールドおよび離散ライトフィールドモードを含む、種々のディスプレイモードで動作することができる。ブレンドライトフィールドモード（「ブレンドモード」）では、ディスプレイが、２つまたはそれを上回る離散深度面に同時またはほぼ同時に表示される画像を含む、合成ライトフィールドを提示する。離散ライトフィールドモード（「離散モード」）では、ディスプレイが、単一深度面に表示される画像を含む、合成ライトフィールドを提示する。照明された深度面は、離散モードで制御可能である。いくつかのＶＲ／ＡＲ／ＭＲシステムは、視認者の焦点位置を決定するための眼追跡サブシステムを含む。そのようなシステムは、視認者の焦点位置に対応する深度面を照明することができる。
【0008】
ヒトの視知覚系は、複雑であるため、他の仮想または実世界画像要素の中への仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、ＶＲ／ＡＲ／ＭＲ技術を生産することが困難である。３次元（「３Ｄ」）画像ディスプレイシステムは、輻輳・開散運動－遠近調節衝突問題を被る。本問題は、２つの光学深度に関連する生物学的プロセスが、衝突する深度信号を視認者／ユーザの脳に送信するときに生じる。輻輳・開散運動は、光学軸（軸）とある距離における視認者の注意の対象のオブジェクトを整合させるように回転させるための視認者の眼の傾向に関連する。両眼システムでは、光学軸が交差する点は、「輻輳・開散運動点」と呼ばれ得る。輻輳・開散運動の間の視認者の眼の回転量は、視認者の脳によって、推定深度として解釈される。遠近調節は、ある距離における視認者の注意の対象のオブジェクトに合焦させるための視認者の眼の水晶体の傾向に関連する。輻輳・開散運動の間の視認者の眼の焦点は、視認者の脳によって、別の推定深度として解釈される。輻輳・開散運動および遠近調節信号が、視認者の脳によって、同一または類似推定深度として解釈されるとき、３Ｄ視認体験は、視認者にとって自然かつ快適である。他方で、輻輳・開散運動および遠近調節信号が、視認者の脳によって、実質的に異なる推定深度として解釈されるとき、３Ｄ視認体験は、視認者にとって準最適であって、不快感（眼精疲労、頭痛等）および疲労をもたらし得る。そのような問題は、輻輳・開散運動－遠近調節衝突として知られる。
【0009】
ぼけは、遠近調節と関連付けられる、別の深度キューである。視認者の眼が、特定の光学深度に合焦／遠近調節されると、他の光学深度に位置するオブジェクトは、焦点から外れて自然に現れる、すなわち、ぼける。ブレンドモードディスプレイは、２つまたはそれを上回る深度面に画像を提示することによって、自然にぼけを達成する。いくつかの離散モードディスプレイは、ぼけなしで画像を提示し、ある程度の輻輳・開散運動－遠近調節衝突および視認者不快感をもたらす。ブレンドモードディスプレイさえ、ある３Ｄ画像コンテンツのぼけから利点を享受し得る。例えば、そこでコンテンツが可視である（すなわち、視認者の眼に非常に近い）、最小限の距離（「最小クリップ」）に位置する、３Ｄ画像コンテンツは、視認者が、コンテンツに合焦されるときでさえ、自然にぼける。同様に、そこでコンテンツが可視である（すなわち、視認者の眼から離れた無限距離に向かって）最大距離（「遠クリップ」）に位置する、３Ｄ画像コンテンツは、視認者が、コンテンツに合焦されるときでさえ、自然にぼける。
【0010】
ポータブルＶＲ／ＡＲ／ＭＲシステムはまた、サイズおよび可搬性問題点、バッテリ寿命問題点、システム過熱問題点、処理電力、メモリ、帯域幅、データソース、コンポーネント待ち時間、および他のシステムおよび光学課題等の他の限界を有し、これは、ＶＲ／ＡＲ／ＭＲシステム性能に悪影響を及ぼし得る。これらの他の限界は、自然な輻輳・開散運動および遠近調節のための３Ｄ画像レンダリング技法を実装するときに、考慮されなければならない。
【0011】
例えば、輻輳・開散運動－遠近調節衝突を最小限にしながら、３Ｄ画像を視認者／ユーザにレンダリングおよび表示するためのシステムおよび技法、およびそれを行いながら、ポータブルＶＲ／ＡＲ／ＭＲシステムの限定されたグラフィカル処理能力における需要を最小限にするためのシステムおよび技法を含む、画像データを処理し、画像を表示するための改良されたシステムおよび技法が、必要とされる。改良されたシステムおよび技法は、これらの問題点に対処するために必要とされる。本明細書に説明されるシステムおよび方法は、これらおよび他の課題に対処するように構成される。
【0012】
必要とされるものは、旧来の技法および／または他の検討されるアプローチを改良するための技法または複数の技法である。本背景節に説明されるアプローチのうちのいくつかは、追求され得るアプローチであるが、必ずしも、以前に想起または追求されているアプローチではない。
【発明の概要】
【課題を解決するための手段】
【0013】
一実施形態では、離散モードにおいて３次元（「３Ｄ」）画像を表示するための方法は、３Ｄ画像データのフレームをレンダリングすることを含む。本方法はまた、３Ｄ画像データのフレームを分析し、最良の既知の深度データを生成することを含む。本方法はさらに、第１の深度範囲内の個別の最良の既知の深度を有する、第１のセットの仮想オブジェクト／ピクセルを識別することを含む。さらに、本方法は、第２の範囲内の個別の最良の既知の深度を有する、第２のセットの仮想オブジェクト／ピクセルを識別することを含む。加えて、本方法は、個別の最良の既知の深度に基づいて、第２のセットの仮想オブジェクト／ピクセルをぼかし、第２のセットの仮想オブジェクト／ピクセルを生成することを含む。本方法はまた、第１のセットの仮想オブジェクト／ピクセルおよびぼかされる第２のセットの仮想オブジェクト／ピクセルを、第１の深度範囲に対応する第１の深度において、ユーザに表示することを含む。
【0014】
１つまたはそれを上回る実施形態では、本方法はまた、個別の最良の既知の深度に基づいて、第１のセットの仮想オブジェクト／ピクセルをぼかし、第１のセットの仮想オブジェクト／ピクセルを生成することと、第２のセットの仮想オブジェクト／ピクセルおよびぼかされる第１のセットの仮想オブジェクト／ピクセルを、第２の深度範囲に対応する第２の深度において、ユーザに表示することとを含む。本方法はまた、３Ｄ画像データのフレームを投影し、２次元（「２Ｄ」）画像フレームを生成することを含んでもよい。第２のセットの仮想オブジェクト／ピクセルをぼかすことは、第２のセットの仮想オブジェクト／ピクセルに対応する、２Ｄ画像フレームの部分をぼかし、部分的ぼけ２Ｄ画像フレームを生成することを含んでもよい。第１のセットの仮想オブジェクト／ピクセルおよびぼかされた第２のセットの仮想オブジェクト／ピクセルをユーザに表示することは、部分的ぼけ２Ｄ画像フレームをユーザに表示することを含んでもよい。本方法はまた、第１のセットの仮想オブジェクト／ピクセルとぼかされた第２のセットの仮想オブジェクト／ピクセルとを組み合わせ、部分的ぼけ２次元（「２Ｄ」）画像フレームを生成することを含んでもよい。第１のセットの仮想オブジェクト／ピクセルおよびぼかされた第２のセットの仮想オブジェクト／ピクセルをユーザに表示することは、部分的ぼけ２Ｄ画像フレームをユーザに表示することを含んでもよい。個別の最良の既知の深度に基づいて、第２のセットの仮想オブジェクト／ピクセルをぼかし、ぼかされた第２のセットの仮想オブジェクト／ピクセルを生成することは、第２のセットの仮想オブジェクト／ピクセルのそれぞれを同一の程度にぼかすことを含んでもよい。
【0015】
１つまたはそれを上回る実施形態では、個別の最良の既知の深度に基づいて、第２のセットの仮想オブジェクト／ピクセルのそれぞれをぼかし、ぼかされた第２のセットの仮想オブジェクト／ピクセルを生成することは、第２のセットの仮想オブジェクト／ピクセルのそれぞれを可変にぼかすことを含み、第２のセットの仮想オブジェクト／ピクセルのそれぞれの個別のぼけの程度は、個別の最良の既知の深度に比例する。ぼけの程度は、個別の最良の既知の深度に正比例してもよい。第２の深度範囲は、遠クリップを含んでもよい。遠クリップは、約１．１５ジオプタに対応し得る。
【0016】
１つまたはそれを上回る実施形態では、個別の最良の既知の深度に基づいて、第２のセットの仮想オブジェクト／ピクセルをぼかし、ぼかされた第２のセットの仮想オブジェクト／ピクセルを生成することは、オブジェクト／ピクセルの最良の既知の深度が、最大閾値より大きいときに、オブジェクト／ピクセルを最大限にぼかすことを含む。オブジェクト／ピクセルを最大限にぼかすことは、オブジェクト／ピクセルを削除することを含んでもよい。ぼけの程度は、個別の最良の既知の深度に反比例してもよい。第２の深度範囲は、最小クリップを含んでもよい。最小クリップは、約２．７ジオプタに対応し得る。
【0017】
１つまたはそれを上回る実施形態では、個別の最良の既知の深度に基づいて、第２のセットの仮想オブジェクト／ピクセルをぼかし、ぼかされた第２のセットの仮想オブジェクト／ピクセルを生成することは、オブジェクト／ピクセルの最良の既知の深度が、最小閾値より小さいときに、オブジェクト／ピクセルを最大限にぼかすことを含む。オブジェクト／ピクセルを最大限にぼかすことは、オブジェクト／ピクセルを削除することを含む。ぼけの程度は、個別の最良の既知の深度に、線形的に、対数的に、または非対称的に、比例してもよい。
【0018】
別の実施形態では、３次元（「３Ｄ」）画像をブレンドモードで表示するための方法は、３Ｄ画像データのフレームをレンダリングすることを含む。本方法はまた、３Ｄ画像データのフレームを分析し、最良の既知の深度データを生成することを含む。本方法はさらに、鮮明な表示範囲外の最良の既知の深度を有する、仮想オブジェクト／ピクセルを識別することを含む。さらに、本方法は、最良の既知の深度に基づいて、仮想オブジェクト／ピクセルをぼかし、ぼけ仮想オブジェクト／ピクセルを生成することを含む。加えて、本方法は、最良の既知の深度データを使用し、３Ｄ画像データを、それぞれ、近および遠深度に対応する２次元（「２Ｄ」）画像データの近および遠フレームにセグメント化することを含む。２Ｄ画像データの近および遠フレームのうちの少なくとも１つは、ぼけ仮想オブジェクト／ピクセルを含む。本方法はまた、近および遠深度における、２Ｄ画像データの近および遠フレームに対応する、近および遠２Ｄ画像フレームをそれぞれ、ユーザに表示することを含む。
本発明は、例えば、以下を提供する。
（項目１）
離散モードにおいて３次元（「３Ｄ」）画像を表示するための方法であって、
３Ｄ画像データのフレームをレンダリングすることと、
前記３Ｄ画像データのフレームを分析し、最良の既知の深度データを生成することと、
第１の深度範囲内の個別の最良の既知の深度を有する第１のセットの仮想オブジェクト／ピクセルを識別することと、
第２の範囲内の個別の最良の既知の深度を有する第２のセットの仮想オブジェクト／ピクセルを識別することと、
個別の最良の既知の深度に基づいて、前記第２のセットの仮想オブジェクト／ピクセルをぼかし、ぼかされた第２のセットの仮想オブジェクト／ピクセルを生成することと、
前記第１のセットの仮想オブジェクト／ピクセルおよび前記ぼかされた第２のセットの仮想オブジェクト／ピクセルを、前記第１の深度範囲に対応する第１の深度において、ユーザに表示することと
を含む、方法。
（項目２）
ぼかされる第１のセットの仮想オブジェクト／ピクセルを生成するために、個別の最良の既知の深度に基づいて、前記第１のセットの仮想オブジェクト／ピクセルをぼかすことと、
前記第２のセットの仮想オブジェクト／ピクセルおよび前記ぼかされる第１のセットの仮想オブジェクト／ピクセルを、前記第２の深度範囲に対応する第２の深度において、ユーザに表示することと
をさらに含む、項目１に記載の方法。
（項目３）
２次元（「２Ｄ」）画像フレームを生成するために、前記３Ｄ画像データのフレームを投影することをさらに含み、
前記第２のセットの仮想オブジェクト／ピクセルをぼかすことは、部分的ぼけ２Ｄ画像フレームを生成するために、前記第２のセットの仮想オブジェクト／ピクセルに対応する前記２Ｄ画像フレームの部分をぼかすことを含み、
前記第１のセットの仮想オブジェクト／ピクセルおよび前記ぼかされた第２のセットの仮想オブジェクト／ピクセルを前記ユーザに表示することは、前記部分的ぼけ２Ｄ画像フレームを前記ユーザに表示することを含む、
項目１に記載の方法。
（項目４）
部分的ぼけ２次元（「２Ｄ」）画像フレームを生成するために、前記第１のセットの仮想オブジェクト／ピクセルと前記ぼかされた第２のセットの仮想オブジェクト／ピクセルとを組み合わせることをさらに含み、
前記第１のセットの仮想オブジェクト／ピクセルおよび前記ぼかされた第２のセットの仮想オブジェクト／ピクセルを前記ユーザに表示することは、前記部分的ぼけ２Ｄ画像フレームを前記ユーザに表示することを含む、
項目１に記載の方法。
（項目５）
個別の最良の既知の深度に基づいて、前記第２のセットの仮想オブジェクト／ピクセルをぼかし、ぼかされた第２のセットの仮想オブジェクト／ピクセルを生成することは、前記第２のセットの仮想オブジェクト／ピクセルのそれぞれを同一の程度にぼかすことを含む、項目１に記載の方法。
（項目６）
個別の最良の既知の深度に基づいて、前記第２のセットの仮想オブジェクト／ピクセルをぼかし、前記ぼかされた第２のセットの仮想オブジェクト／ピクセルを生成することは、前記第２のセットの仮想オブジェクト／ピクセルのそれぞれを可変にぼかすことを含み、
前記第２のセットの仮想オブジェクト／ピクセルのそれぞれの個別のぼけの程度は、前記個別の最良の既知の深度に比例する、
項目１に記載の方法。
（項目７）
前記ぼけの程度は、前記個別の最良の既知の深度に正比例する、項目６に記載の方法。
（項目８）
前記第２の深度範囲は、遠クリップを含む、項目７に記載の方法。
（項目９）
前記遠クリップは、約１．１５ジオプタに対応する、項目８に記載の方法。
（項目１０）
個別の最良の既知の深度に基づいて、前記第２のセットの仮想オブジェクト／ピクセルをぼかし、ぼかされた第２のセットの仮想オブジェクト／ピクセルを生成することは、前記オブジェクト／ピクセルの最良の既知の深度が、最大閾値より大きいときに、オブジェクト／ピクセルを最大限にぼかすことを含む、項目７に記載の方法。
（項目１１）
前記オブジェクト／ピクセルを最大限にぼかすことは、前記オブジェクト／ピクセルを削除することを含む、項目１０に記載の方法。
（項目１２）
前記ぼけの程度は、前記個別の最良の既知の深度に反比例する、項目６に記載の方法。
（項目１３）
前記第２の深度範囲は、最小クリップを含む、項目１２に記載の方法。
（項目１４）
前記最小クリップは、約２．７ジオプタに対応する、項目１３に記載の方法。
（項目１５）
個別の最良の既知の深度に基づいて、前記第２のセットの仮想オブジェクト／ピクセルをぼかし、ぼかされた第２のセットの仮想オブジェクト／ピクセルを生成することは、前記オブジェクト／ピクセルの最良の既知の深度が、最小閾値より小さいときに、オブジェクト／ピクセルを最大限にぼかすことを含む、項目１２に記載の方法。
（項目１６）
前記オブジェクト／ピクセルを最大限にぼかすことは、前記オブジェクト／ピクセルを削除することを含む、項目１５に記載の方法。
（項目１７）
前記ぼけの程度は、前記個別の最良の既知の深度に線形的に比例する、項目６に記載の方法。
（項目１８）
前記ぼけの程度は、前記個別の最良の既知の深度に対数的に比例する、項目６に記載の方法。
（項目１９）
前記ぼけの程度は、前記個別の最良の既知の深度に非対称的に比例する、項目６に記載の方法。
（項目２０）
３次元（「３Ｄ」）画像をブレンドモードで表示するための方法であって、
３Ｄ画像データのフレームをレンダリングすることと、
前記３Ｄ画像データのフレームを分析し、最良の既知の深度データを生成することと、
鮮明な表示範囲外の最良の既知の深度を有する仮想オブジェクト／ピクセルを識別することと、
ぼかされた仮想オブジェクト／ピクセルを生成するために、前記最良の既知の深度に基づいて、前記仮想オブジェクト／ピクセルをぼかすことと、
前記最良の既知の深度データを使用し、前記３Ｄ画像データを、それぞれ、近および遠深度に対応する２次元（「２Ｄ」）画像データの近および遠フレームにセグメント化することであって、２Ｄ画像データの前記近および遠フレームのうちの少なくとも１つは、前記ぼかされた仮想オブジェクト／ピクセルを含む、ことと、
近および遠深度における２Ｄ画像データの前記近および遠フレームに対応する近および遠２Ｄ画像フレームをそれぞれ、ユーザに表示することと
を含む、方法。
本発明は、例えば、以下を提供する。
（項目１）
離散モードにおいて３次元（「３Ｄ」）画像を表示するための方法であって、
３Ｄ画像データのフレームをレンダリングすることと、
前記３Ｄ画像データのフレームを分析し、最良の既知の深度データを生成することと、
第１の深度範囲内の個別の最良の既知の深度を有する第１のセットの仮想オブジェクト／ピクセルを識別することと、
第２の範囲内の個別の最良の既知の深度を有する第２のセットの仮想オブジェクト／ピクセルを識別することと、
個別の最良の既知の深度に基づいて、前記第２のセットの仮想オブジェクト／ピクセルをぼかし、ぼかされた第２のセットの仮想オブジェクト／ピクセルを生成することと、
前記第１のセットの仮想オブジェクト／ピクセルおよび前記ぼかされた第２のセットの仮想オブジェクト／ピクセルを、前記第１の深度範囲に対応する第１の深度において、ユーザに表示することと
を含む、方法。
（項目２）
ぼかされる第１のセットの仮想オブジェクト／ピクセルを生成するために、個別の最良の既知の深度に基づいて、前記第１のセットの仮想オブジェクト／ピクセルをぼかすことと、
前記第２のセットの仮想オブジェクト／ピクセルおよび前記ぼかされる第１のセットの仮想オブジェクト／ピクセルを、前記第２の深度範囲に対応する第２の深度において、ユーザに表示することと
をさらに含む、項目１に記載の方法。
（項目３）
２次元（「２Ｄ」）画像フレームを生成するために、前記３Ｄ画像データのフレームを投影することをさらに含み、
前記第２のセットの仮想オブジェクト／ピクセルをぼかすことは、部分的ぼけ２Ｄ画像フレームを生成するために、前記第２のセットの仮想オブジェクト／ピクセルに対応する前記２Ｄ画像フレームの部分をぼかすことを含み、
前記第１のセットの仮想オブジェクト／ピクセルおよび前記ぼかされた第２のセットの仮想オブジェクト／ピクセルを前記ユーザに表示することは、前記部分的ぼけ２Ｄ画像フレームを前記ユーザに表示することを含む、
項目１に記載の方法。
（項目４）
部分的ぼけ２次元（「２Ｄ」）画像フレームを生成するために、前記第１のセットの仮想オブジェクト／ピクセルと前記ぼかされた第２のセットの仮想オブジェクト／ピクセルとを組み合わせることをさらに含み、
前記第１のセットの仮想オブジェクト／ピクセルおよび前記ぼかされた第２のセットの仮想オブジェクト／ピクセルを前記ユーザに表示することは、前記部分的ぼけ２Ｄ画像フレームを前記ユーザに表示することを含む、
項目１に記載の方法。
（項目５）
個別の最良の既知の深度に基づいて、前記第２のセットの仮想オブジェクト／ピクセルをぼかし、ぼかされた第２のセットの仮想オブジェクト／ピクセルを生成することは、前記第２のセットの仮想オブジェクト／ピクセルのそれぞれを同一の程度にぼかすことを含む、項目１に記載の方法。
（項目６）
個別の最良の既知の深度に基づいて、前記第２のセットの仮想オブジェクト／ピクセルをぼかし、前記ぼかされた第２のセットの仮想オブジェクト／ピクセルを生成することは、前記第２のセットの仮想オブジェクト／ピクセルのそれぞれを可変にぼかすことを含み、
前記第２のセットの仮想オブジェクト／ピクセルのそれぞれの個別のぼけの程度は、前記個別の最良の既知の深度に比例する、
項目１に記載の方法。
（項目７）
前記ぼけの程度は、前記個別の最良の既知の深度に正比例する、項目６に記載の方法。
（項目８）
前記第２の深度範囲は、遠クリップを含む、項目７に記載の方法。
（項目９）
前記遠クリップは、約１．１５ジオプタに対応する、項目８に記載の方法。
（項目１０）
個別の最良の既知の深度に基づいて、前記第２のセットの仮想オブジェクト／ピクセルをぼかし、ぼかされた第２のセットの仮想オブジェクト／ピクセルを生成することは、前記オブジェクト／ピクセルの最良の既知の深度が、最大閾値より大きいときに、オブジェクト／ピクセルを最大限にぼかすことを含む、項目７に記載の方法。
（項目１１）
前記オブジェクト／ピクセルを最大限にぼかすことは、前記オブジェクト／ピクセルを削除することを含む、項目１０に記載の方法。
（項目１２）
前記ぼけの程度は、前記個別の最良の既知の深度に反比例する、項目６に記載の方法。
（項目１３）
前記第２の深度範囲は、最小クリップを含む、項目１２に記載の方法。
（項目１４）
前記最小クリップは、約２．７ジオプタに対応する、項目１３に記載の方法。
（項目１５）
個別の最良の既知の深度に基づいて、前記第２のセットの仮想オブジェクト／ピクセルをぼかし、ぼかされた第２のセットの仮想オブジェクト／ピクセルを生成することは、前記オブジェクト／ピクセルの最良の既知の深度が、最小閾値より小さいときに、オブジェクト／ピクセルを最大限にぼかすことを含む、項目１２に記載の方法。
（項目１６）
前記オブジェクト／ピクセルを最大限にぼかすことは、前記オブジェクト／ピクセルを削除することを含む、項目１５に記載の方法。
（項目１７）
前記ぼけの程度は、前記個別の最良の既知の深度に線形的に比例する、項目６に記載の方法。
（項目１８）
前記ぼけの程度は、前記個別の最良の既知の深度に対数的に比例する、項目６に記載の方法。
（項目１９）
前記ぼけの程度は、前記個別の最良の既知の深度に非対称的に比例する、項目６に記載の方法。
（項目２０）
３次元（「３Ｄ」）画像をブレンドモードで表示するための方法であって、
３Ｄ画像データのフレームをレンダリングすることと、
前記３Ｄ画像データのフレームを分析し、最良の既知の深度データを生成することと、
鮮明な表示範囲外の最良の既知の深度を有する仮想オブジェクト／ピクセルを識別することと、
ぼかされた仮想オブジェクト／ピクセルを生成するために、前記最良の既知の深度に基づいて、前記仮想オブジェクト／ピクセルをぼかすことと、
前記最良の既知の深度データを使用し、前記３Ｄ画像データを、それぞれ、近および遠深度に対応する２次元（「２Ｄ」）画像データの近および遠フレームにセグメント化することであって、２Ｄ画像データの前記近および遠フレームのうちの少なくとも１つは、前記ぼかされた仮想オブジェクト／ピクセルを含む、ことと、
近および遠深度における２Ｄ画像データの前記近および遠フレームに対応する近および遠２Ｄ画像フレームをそれぞれ、ユーザに表示することと
を含む、方法。
【図面の簡単な説明】
【0019】
本特許または出願申請書は、カラーで作成された少なくとも１つの図面を含有する。カラー図面を伴う本特許または特許出願公開文書の複写物は、要求および必要な手数料の支払に応じて、特許庁によって提供されるであろう。
【0020】
下記に説明される図面は、例証目的のためだけのものである。図面は、本開示の範囲を限定することを意図するものではない。本特許または出願申請書は、カラーで作成された少なくとも１つの図面を含有する。カラー図面を伴う本特許または特許出願公開文書の複写物は、必要な手数料の要求および支払に応じて、米国特許および商標局によって提供されるであろう。
【0021】
図面は、本開示の種々の実施形態の設計および有用性を図示する。図は、正確な縮尺で描かれておらず、類似構造または機能の要素は、図全体を通して同様の参照番号によって表されることに留意されたい。本開示の種々の実施形態の列挙されたおよび他の利点および目的を取得する方法をより深く理解するために、本開示のさらなる詳細な説明が、付随の図面に図示される、その具体的実施形態を参照することによって与えられるであろう。これらの図面は、本開示の典型的実施形態のみを描写し、したがって、その範囲の限定と見なされるべきではないことを理解した上で、本開示は、付随の図面の使用を通して、付加的特異性および詳細を伴って説明および解説されるであろう。
【0022】
【0023】
【0024】
【0025】
【0026】
【0027】
【0028】
【0029】
【0030】
【0031】
【0032】
【0033】
【0034】
【0035】
【0036】
【0037】
【発明を実施するための形態】
【0038】
詳細な説明
本開示の種々の実施形態は、単一実施形態または複数の実施形態における、仮想現実（ＶＲ）／拡張現実（ＡＲ）／複合現実（ＭＲ）のためのシステム、方法、および製造品を対象とする。本開示の他の目的、特徴、および利点は、発明を実施するための形態、図、および請求項に説明される。
本開示の種々の実施形態は、単一実施形態または複数の実施形態における、仮想現実（ＶＲ）／拡張現実（ＡＲ）／複合現実（ＭＲ）のためのシステム、方法、および製造品を対象とする。本開示の他の目的、特徴、および利点は、発明を実施するための形態、図、および請求項に説明される。
【0039】
種々の実施形態が、ここで、当業者が本開示を実践することを可能にするように、例証的実施例として提供される、図面を参照して詳細に説明されるであろう。着目すべきこととして、図および下記の実施例は、本開示の範囲を限定することを意味するものではない。本開示のある要素は、部分的または完全に、公知のコンポーネント（または方法またはプロセス）を使用して実装されてもよく、本開示の理解のために必要なそのような公知のコンポーネント（または方法またはプロセス）のそれらの部分のみが、説明され、そのような公知のコンポーネント（または方法またはプロセス）の他の部分の詳細な説明は、本開示を曖昧にしないように省略されるであろう。さらに、種々の実施形態は、例証として本明細書に参照されるコンポーネントの現在公知および将来的に公知となる均等物を包含する。
【0040】
本開示による、実施形態は、多くの場合、既製のコンポーネントとカスタムコンポーネントの組み合わせに依拠する、ＶＲ／ＡＲ／ＭＲシステムの実装の問題に対処する。ある場合には、既製のコンポーネントは、展開されることになるＶＲ／ＡＲ／ＭＲシステムのある所望の側面を実装するために必要とされる、特徴または性能特性の全てを保有していない。いくつかの実施形態は、展開されることになるＶＲ／ＡＲ／ＭＲシステムの所望の特徴または性能特性に適応するための能力を追加し、および／またはリソースを別の目的のために再利用するためのアプローチを対象とする。本明細書の付随の図および議論は、ＶＲ／ＡＲ／ＭＲシステムのための例示的環境、本システム、方法、およびコンピュータプログラム製品を提示する。
【0041】
頭部搭載型視聴覚ディスプレイシステムおよび３Ｄ画像レンダリングシステムは、ＡＲ／ＭＲシステムから独立して実装されてもよいが、下記のいくつかの実施形態は、例証的目的のみのために、ＡＲ／ＭＲシステムに関連して説明される。本明細書に説明される３Ｄ画像レンダリングおよびディスプレイシステムはまた、ＶＲシステムと類似様式で使用されてもよい。
（問題の概要およびソリューション）
（問題の概要およびソリューション）
【0042】
上記に説明されるように、ＶＲ／ＡＲ／ＭＲシステムは、輻輳・開散運動－遠近調節衝突およびＶＲ／ＡＲ／ＭＲ体験の関連付けられる劣化につながり得る、３Ｄ画像レンダリングおよびディスプレイ限界を有する。特に、離散モード、すなわち、画像がフレームあたり１つの深度面にレンダリング／表示される、モードにおける、遠近調節導入ぼけの欠如は、輻輳・開散運動－遠近調節衝突および関連付けられる視認者体験劣化を悪化させ得る。自然な視覚での遠近調節導入ぼけに起因して、ユーザが現在合焦している深度と異なる深度（すなわち、ジオプタ）に位置する、実世界コンテンツは、ヒト知覚の関数として、自然にぼけるであろう。ＶＲ／ＡＲ／ＭＲシステムはまた、サイズおよび可搬性、バッテリ寿命、システム過熱、処理電力、メモリ、帯域幅、データソース、コンポーネント待ち時間、および他のシステムおよび光学課題等の限界を有し、これは、ＶＲ／ＡＲ／ＭＲシステム性能に悪影響を及ぼし得る。これらの限界は、グラフィカル処理および画像ディスプレイ需要の低減をもたらし、３Ｄ画像レンダリングおよびディスプレイを改良するための対抗課題となり得る。
【0043】
例えば、潜在的グラフィカル処理およびサイズ／可搬性問題点に起因して、ＶＲ／ＡＲ／ＭＲシステム、特に、頭部装着型システムは、移動する仮想オブジェクト（すなわち、離散モード）の平滑表示のために、最小限のフレームレート（例えば、６０Ｈｚ）において、カラー画像をフレームあたり１つの深度面にレンダリングおよび表示することが可能であるために離散モードで動作することが可能であるように、十分なコンポーネントのみを含み得る。離散モードで動作するそのようなＶＲ／ＡＲ／ＭＲシステムの実施例は、図８Ａ－９Ｂに示される。図８Ａに図式的に示されるように、３Ｄ画像は、種々の深度面に隣接して３つの仮想オブジェクト（近および遠立方体８１０、８１２および１つの円柱８１４）を含む（深度面０の近傍に隣接する近立方体８１０および遠深度面１に隣接する遠立方体８１２および円柱８１４）。いくつかの実施形態では、近深度面０は、約１．９６ジオプタにあって、遠深度面１は、約０．６７ジオプタにある。図８Ｂは、図８Ａに示される３Ｄ画像の視認者の斜視図である。図８Ｂでは、視認者／ユーザ８１６の眼の追跡は、視認者の眼が近立方体８１０の場所と一致する輻輳・開散運動点８１８に輻輳することを示す。離散モードでは、単一深度面のみが、フレームあたり照明される（すなわち、画像がレンダリングおよび表示される）。図９Ａに図式的に示されるように、輻輳・開散運動点８１８が、深度面０の近傍に隣接する、近立方体８１０の場所と一致するため、３Ｄ画像の全てのコンテンツ（すなわち、近および遠立方体８１０、８１２および円柱８１４）が、近深度面０上に投影される。図９Ｂは、そのコンテンツが近深度面０上に投影された後の３Ｄ画像の視認者の斜視図である。近深度面０のみが、照明され、視認者８１６の眼は、近深度面０に遠近調節する。
【0044】
いくつかの実施形態では、単一深度面上への３Ｄ画像のコンテンツの全ての投影は、最小限の輻輳・開散運動－遠近調節衝突（例えば、最小限のユーザ不快感、眼精疲労、頭痛）のみを誘起する。これは、ヒトの脳が遠近調節と輻輳・開散運動との間で最大約０．７５ジオプタの不整合を許容するであろうように、遠近調節および輻輳・開散運動の緩結合が存在するためである。図１０Ａに示されるように、本±０．７５ジオプタ許容度は、近遠近調節ゾーン１０１０および遠遠近調節ゾーン１０１２に変換される。距離とジオプタとの間の逆関係のため、図１０Ｂに示されるように、遠遠近調節ゾーン１０１２は、より近い遠近調節ゾーン１０１０より大きい。図１０Ａに描写される実施形態では、近深度面０および遠深度面１を用いることで、±０．７５ジオプタ許容度はまた、遠近調節ゾーン重複１０１４内に該当するオブジェクト深度が、例えば、異なるスケールにおいて、異なる明度および／または色値等を伴って、近深度面０および遠深度面１の一方または両方に表示され得る、遠近調節ゾーン重複１０１４をもたらす。３Ｄ画像のコンテンツが全て、近遠近調節ゾーン１０１０または遠遠近調節ゾーン１０１２のいずれか内に位置し、視認者８１６の眼が、その深度面に輻輳する、実施形態では、その深度面上への３Ｄ画像のコンテンツの全ての投影は、最小限の輻輳・開散運動－遠近調節衝突のみを誘起する。
【0045】
いくつかの実施形態では、単一深度面上への３Ｄ画像のコンテンツの全ての投影は、ＶＲ／ＡＲ／ＭＲ体験に影響を及ぼす／限定するために十分なほど有意な輻輳・開散運動－遠近調節衝突（例えば、ユーザ不快感、眼精疲労、頭痛）を誘起し得る。例えば、図１０Ａに描写される実施形態では、遠立方体８１２および円柱８１４は、遠遠近調節ゾーン１０１２内かつ近遠近調節ゾーン１０１０の外側に位置する。視認者８１６の注意が、近立方体８１０に向けられるとき、図８Ｂに示されるように、視認者８１６には、依然として、視認者８１６の視野内に遠立方体８１２および円柱８１４が見え得る。遠立方体８１２および円柱８１４は、図１１に示されるように、その個別の深度における実世界コンテンツと光学的に同一様式で挙動しない。遠近調節推定深度（すなわち、近）と遠立方体８１２および円柱８１４に関する輻輳・開散運動推定深度（すなわち、遠）との間の不整合は、輻輳・開散運動－遠近調節衝突およびＶＲ／ＡＲ／ＭＲ体験の関連付けられる劣化（例えば、ユーザ不快感、眼精疲労、頭痛）をもたらし得る。
【0046】
さらに、遠立方体８１２および円柱８１４は、自然な遠近調節導入深度ぼけを有しないであろう。３Ｄ画像レンダリングを簡略化するために、近および遠立方体８１０、８１２および円柱８１４は全て、深度面０において完全鮮明度でレンダリングされる。上記に議論されるように、３Ｄ画像コンテンツの鮮明度／ぼけは、脳が深度を推定するために使用する、別のキューを形成する。故に、鮮明度／ぼけ推定深度（すなわち、近の）と遠立方体８１２および円柱８１４に関する輻輳・開散運動推定深度（すなわち、遠）との間の不整合は、輻輳・開散運動－遠近調節衝突およびＶＲ／ＡＲ／ＭＲ体験の関連付けられる劣化を悪化させ得る。図９Ａおよび９Ｂに描写される実施形態では、より遠いオブジェクト（すなわち、遠立方体８１２および円柱８１４）は、それらが近深度面０上に投影されるときに、完全鮮明度で現れる。近深度面０上のこれらの遠オブジェクトの鮮明度は、視認者にとっての輻輳・開散運動－遠近調節衝突を悪化させ得る。眼追跡誤差および深度面の切替における遅延に起因して、正しくない深度面を選択する可能性は、視認者にとっての輻輳・開散運動－遠近調節衝突を長引かせ得る。
【0047】
本明細書に説明される実施形態は、種々のＶＲ／ＡＲ／ＭＲシステムと併用するための３Ｄ画像レンダリングおよびディスプレイシステムおよび方法を含む。これらの３Ｄ画像レンダリングおよびディスプレイシステムおよび方法は、ディスプレイ３Ｄ画像を離散モードでぼけを伴ってレンダリングし、消費されるシステムリソースを低減させながら、輻輳・開散運動－遠近調節衝突を最小限にし、それによって、上記に説明される問題点の多くに対処する。
（例証的ＶＲ、ＡＲ、および／またはＭＲシステム）
（例証的ＶＲ、ＡＲ、および／またはＭＲシステム）
【0048】
続く説明は、それを用いて種々の３Ｄ画像レンダリングおよびディスプレイシステムの実施形態が実践され得る、例証的ＶＲ、ＡＲ、および／またはＭＲシステムに関する。しかしながら、実施形態はまた、他のタイプのディスプレイシステム（他のタイプのＶＲ、ＡＲ、および／またはＭＲシステムを含む）における用途にも適しており、したがって、実施形態は、本明細書に開示される例証的システムのみに限定されないことを理解されたい。
【0049】
本明細書に開示されるＶＲ／ＡＲ／ＭＲシステムは、コンピュータ生成画像（ビデオ／画像データ）をユーザに提示する、ディスプレイを含むことができる。いくつかの実施形態では、ディスプレイシステムは、ウェアラブルであって、これは、有利なこととして、より没入型のＶＲ／ＡＲ／ＭＲ体験を提供し得る。ＶＲ、ＡＲ、および／またはＭＲ仮想画像システム１００の種々のコンポーネントが、図２－５に描写される。仮想画像生成システム１００は、エンドユーザ５０によって装着されるフレーム構造１０２と、ディスプレイサブシステム１１０がエンドユーザ５０の眼の正面に位置付けられるように、フレーム構造１０２によって担持されるディスプレイサブシステム１１０と、スピーカ１０６がエンドユーザ５０の外耳道に隣接して位置付けられる（随意に、別のスピーカ（図示せず）がエンドユーザ５０の他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供する）ように、フレーム構造１０２によって担持されるスピーカ１０６とを含む。ディスプレイサブシステム１１０は、エンドユーザ５０の眼に、高レベルの画質および３次元知覚を伴って、物理的現実に対する拡張として快適に知覚され、かつ２次元コンテンツを提示可能であり得る、光パターンを提示するように設計される。ディスプレイサブシステム１１０は、フレームのシーケンスを高周波数で提示し、単一コヒーレント場面の知覚を提供する。
【0050】
図示される実施形態では、ディスプレイサブシステム１１０は、それを通してユーザが実オブジェクトから透明（または半透明）要素を介して直接光を視認することができる「光学シースルー」ディスプレイを採用する。透明要素は、多くの場合、「結合器」と称され、ディスプレイからの光を実世界のユーザの視野にわたって重畳する。この目的を達成するために、ディスプレイサブシステム１１０は、部分的に透明なディスプレイを含む。いくつかの実施形態では、透明ディスプレイは、電子的に制御されてもよい。いくつかの実施形態では、透明ディスプレイは、セグメント化された調光を含み、透明ディスプレイの１つまたはそれを上回る部分の透明度を制御してもよい。いくつかの実施形態では、透明ディスプレイは、大域的調光を含み、透明ディスプレイの全体の透明度を制御してもよい。ディスプレイは、エンドユーザ５０の眼と周囲環境の間のエンドユーザ５０の視野に位置付けられ、周囲環境からの直接光がディスプレイを通してエンドユーザ５０の眼へ透過されるようなものである。
【0051】
図示される実施形態では、画像投影アセンブリは、光を部分的に透明なディスプレイに提供し、それによって、周囲環境からの直接光と組み合わせ、ディスプレイからユーザ５０の眼に透過される。投影サブシステムは、光ファイバ走査ベースの投影デバイスであってもよく、ディスプレイは、導波管ベースのディスプレイであってもよく、その中に投影サブシステムからの走査される光が、投入され、例えば、無限遠により近い単一光学視認距離において（例えば、腕の長さ）における画像、複数の離散光学視認距離または焦点面における画像、および／または複数の視認距離または焦点面にスタックされ、立体３Ｄオブジェクトを表す、画像層を生成する。ライトフィールド内のこれらの層は、ヒト視覚系にともに連続して現れるように十分に近接してスタックされてもよい（すなわち、一方の層は、隣接する層の乱信号円錐域内にある）。加えて、または代替として、写真要素（すなわち、サブ画像）が、２つまたはそれを上回る層を横断して混成され、それらの層がより疎らにスタックされる場合でも、ライトフィールド内の層間の遷移の知覚される連続性を増加させてもよい（すなわち、一方の層は隣接する層の乱信号円錐域外にある）。ディスプレイサブシステム１１０は、単眼または両眼用であってもよい。画像投影システムは、ブレンドモードを生成可能であり得るが、システム制限（例えば、電力、熱、速度等）は、画像投影システムをフレームあたり単一視認距離を伴う離散モードに制限し得る。
【0052】
仮想画像生成システム１００はまた、エンドユーザ５０の頭部５４の位置および移動および／またはエンドユーザ５０の眼の位置および眼間距離を検出するために、フレーム構造１０２に搭載される１つまたはそれを上回るセンサ（図示せず）を含んでもよい。そのようなセンサは、画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープ）を含んでもよい。これらのセンサの多くは、その上にそれらが添着される、フレーム１０２が、ひいては、ユーザの頭部、眼、および耳に実質的に固定されるという仮定で動作する。仮想画像生成システム１００はまた、ユーザの眼を追跡するために、１つまたはそれを上回るユーザに向いたカメラを含んでもよい。
【0053】
仮想画像生成システム１００はまた、ユーザ配向検出モジュールを含んでもよい。ユーザ配向モジュールは、エンドユーザ５０の頭部５４の瞬間位置を検出し（例えば、フレーム１０２に結合されるセンサを介して）、センサから受信された位置データに基づいて、エンドユーザ５０の頭部５４の位置を予測してもよい。エンドユーザ５０の頭部５４の瞬間位置の検出は、エンドユーザ５０が見ている具体的な実際のオブジェクトの決定を促進し、それによって、その実際のオブジェクトに関連して生成されるべき具体的仮想オブジェクトのインジケーションを提供し、さらに、仮想オブジェクトが表示されるべき位置のインジケーションを提供する。ユーザ配向モジュールはまた、センサから受信された追跡データに基づいて、エンドユーザ５０の眼を追跡してもよい。
【0054】
仮想画像生成システム１００はまた、多種多様な形態のいずれかをとり得る、制御サブシステムを含んでもよい。制御サブシステムは、いくつかのコントローラ、例えば、１つまたはそれを上回るマイクロコントローラ、マイクロプロセッサまたは中央処理ユニット（ＣＰＵ）、デジタル信号プロセッサ、グラフィック処理ユニット（ＧＰＵ）、他の集積回路コントローラ、例えば、特定用途向け集積回路（ＡＳＩＣ）、ディスプレイブリッジチップ、ディスプレイコントローラ、プログラマブルゲートアレイ（ＰＧＡ）、例えば、フィールドＰＧＡ（ＦＰＧＡ）、および／またはプログラマブル論理コントローラ（ＰＬＵ）を含む。
【0055】
仮想画像生成システム１００の制御サブシステムは、中央処理ユニット（ＣＰＵ）と、グラフィック処理ユニット（ＧＰＵ）と、１つまたはそれを上回るフレームバッファと、３次元データを記憶するための３次元データベースとを含んでもよい。ＣＰＵは、全体的動作を制御し得る一方、ＧＰＵは、３次元データベース内に記憶される３次元データからフレームをレンダリングし（すなわち、３次元場面を２次元画像に変換し）、これらのフレームをフレームバッファ内に記憶し得る。１つまたはそれを上回る付加的集積回路が、フレームのフレームバッファの中への読込および／またはそこからの読取およびディスプレイサブシステム１１０の画像投影アセンブリの動作を制御してもよい。
【0056】
仮想画像生成システム１００の種々の処理コンポーネントは、分散型サブシステム内に物理的に含有されてもよい。例えば、図２－５に図示されるように、仮想画像生成システム１００は、有線導線または無線コネクティビティ１３６等によって、ローカルディスプレイブリッジ１４２、ディスプレイサブシステム１１０、およびセンサに動作可能に結合される、ローカル処理およびデータモジュール１３０を含んでもよい。ローカル処理およびデータモジュール１３０は、フレーム構造１０２に固定して取り付けられる（図２）、ヘルメットまたは帽子５６に固定して取り付けられる（図３）、エンドユーザ５０の胴体５８に除去可能に取り付けられる（図４）、またはベルト結合式構成においてエンドユーザ５０の腰６０に除去可能に取り付けられる（図５）等、種々の構成で搭載されてもよい。仮想画像生成システム１００はまた、有線導線または無線コネクティビティ１３８、１４０等によって、ローカル処理およびデータモジュール１３０およびローカルディスプレイブリッジ１４２に動作可能に結合される、遠隔処理モジュール１３２および遠隔データリポジトリ１３４を含んでもよく、これらの遠隔モジュール１３２、１３４が、相互に動作可能に結合され、ローカル処理およびデータモジュール１３０およびローカルディスプレイブリッジ１４２に対してリソースとして利用可能であるようになる。
【0057】
ローカル処理およびデータモジュール１３０およびローカルディスプレイブリッジ１４２はそれぞれ、電力効率的プロセッサまたはコントローラおよびフラッシュメモリ等のデジタルメモリを含んでもよく、その両方とも、センサから捕捉され、および／または可能性として処理または読出後、ディスプレイサブシステム１１０への通過のために、遠隔処理モジュール１３２および／または遠隔データリポジトリ１３４を使用して取得および／または処理されたデータの処理、キャッシュ、および記憶を補助するために利用されてもよい。遠隔処理モジュール１３２は、データおよび／または画像情報を分析および処理するように構成される、１つまたはそれを上回る比較的に強力なプロセッサまたはコントローラを含んでもよい。遠隔データリポジトリ１３４は、比較的に大規模なデジタルデータ記憶設備を含んでもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュール１３０およびローカルディスプレイブリッジ１４２において実施され、任意の遠隔モジュールからの完全に自律的な使用を可能にする。
【0058】
前述の種々のコンポーネント間の結合１３６、１３８、１４０は、有線または光学通信を提供するための１つまたはそれを上回る有線インターフェースまたはポート、または無線通信を提供するためのＲＦ、マイクロ波、およびＩＲ等を介した１つまたはそれを上回る無線インターフェースまたはポートを含んでもよい。いくつかの実装では、全ての通信は、有線であってもよい一方、他の実装では、全ての通信は、無線であってもよい。なおもさらなる実装では、有線および無線通信の選択肢は、図２－５に図示されるものと異なってもよい。したがって、有線または無線通信の特定の選択肢は、限定と見なされるべきではない。
【0059】
いくつかの実施形態では、ユーザ配向モジュールは、ローカル処理およびデータモジュール１３０および／またはローカルディスプレイブリッジ１４２内に含有される一方、ＣＰＵおよびＧＰＵは、遠隔処理モジュール内に含有される。代替実施形態では、ＣＰＵ、ＧＰＵ、またはその一部は、ローカル処理およびデータモジュール１３０および／またはローカルディスプレイブリッジ１４２内に含有されてもよい。３Ｄデータベースは、遠隔データリポジトリ１３４と関連付けられる、またはローカルで配置されることができる。
【0060】
いくつかのＶＲ、ＡＲ、および／またはＭＲシステムは、個別の深度面から生じるように現れる画像を生成するための深度面情報を内蔵される、複数の体積位相ホログラム、表面レリーフホログラム、または光誘導光学要素を使用する。換言すると、回折パターンまたは回折光学要素（ＤＯＥ）が、コリメート光（略平面波面を伴う光ビーム）がＬＯＥに沿って実質的に全内部反射されるにつれて、複数の場所において回折パターンと交差し、ユーザの眼に向かって出射するように、光誘導光学要素（ＬＯＥ、例えば、平面導波管）に内蔵される、またはその上にインプリント／エンボス加工され得る。ＤＯＥは、ＬＯＥからそれを通して出射する光が、輻輳され、特定の深度面から生じるように現れるように構成される。コリメート光は、光学集光レンズ（「集光器」）を使用して生成されてもよい。
【0061】
例えば、第１のＬＯＥは、光学無限遠深度面（０ジオプタ）から生じるように現れる、コリメート光を眼に送達するように構成されてもよい。別のＬＯＥは、２メートル（１／２ジオプタ）の距離から生じるように現れる、コリメート光を送達するように構成されてもよい。さらに別のＬＯＥは、１メートル（１ジオプタ）の距離から生じるように現れる、コリメート光を送達するように構成されてもよい。スタックされたＬＯＥアセンブリを使用することによって、複数の深度面は、作成され得、各ＬＯＥは、特定の深度面から生じるように現れる画像を表示するように構成されることが理解され得る。スタックは、任意の数のＬＯＥを含んでもよいことを理解されたい。しかしながら、少なくともＮ個のスタックされたＬＯＥが、Ｎ個の深度面を生成するために要求される。さらに、Ｎ、２Ｎ、または３Ｎ個のスタックされたＬＯＥが、ＲＧＢカラー画像をＮ個の深度面に生成するために使用されてもよい。
【0062】
３Ｄ仮想コンテンツをユーザに提示するために、ＶＲ、ＡＲ、および／またはＭＲシステムは、ブレンドまたは離散モードのいずれかにおいて、Ｚ方向に（すなわち、ユーザの眼から離れるように直交して）種々の深度面から生じるように現れるように、仮想コンテンツの画像をユーザの眼の中に投影する。換言すると、仮想コンテンツは、ＸおよびＹ方向において（すなわち、ユーザの眼の中心視軸に直交する２Ｄ平面において）変化し得るだけではなく、また、ユーザが、オブジェクトが非常に近距離または無限距離またはそれらの間の任意の距離にあるように知覚し得るように、Ｚ方向においても変化すると考えられ得る。他の実施形態では、ユーザは、複数のオブジェクトを異なる深度面において同時に知覚し得る。例えば、ユーザには、ユーザから３メートル離れた距離における仮想鳥と、ユーザから腕の長さ（約１メートル）における仮想コーヒーカップとが同時に見え得る。代替として、ユーザには、仮想ドラゴンが、無限遠から現れ、ユーザに向かって走って来るのが見え得る。
【0063】
多面焦点システムは、ブレンドまたは離散モードのいずれかにおいて、画像をユーザの眼からＺ方向において個別の固定距離に位置する複数の深度面の一部または全部上に投影させることによって、可変深度の知覚を作成する。ここで図６を参照すると、多面焦点システムは、フレームを固定深度面１５０（例えば、図６に示される６つの深度面１５０）に表示し得ることを理解されたい。ＭＲシステムは、任意の数の深度面１５０を含むことができるが、１つの例示的多面焦点システムは、６つの固定深度面１５０をＺ方向に有する。仮想コンテンツを６つの深度面１５０のうちの１つまたはそれを上回るものに生成する際、３Ｄ知覚が、ユーザがユーザの眼から可変距離における１つまたはそれを上回る仮想オブジェクトを知覚するように作成される。ヒトの眼が、遠く離れているように現れるオブジェクトより距離がより近いオブジェクトに対して敏感であることを前提として、より多くの深度面１５０が、図６に示されるように、眼のより近くに生成される。他の実施形態では、深度面１５０は、相互から等距離だけ離れて設置されてもよい。
【0064】
深度面位置１５０は、ジオプタで測定されてもよく、これは、メートルで測定された焦点距離の逆数と等しい、屈折力の単位である。例えば、いくつかの実施形態では、深度面ＤＰ１は、１／３ジオプタ離れてもよく、深度面ＤＰ２は、０．３ジオプタ離れてもよく、深度面ＤＰ３は、０．２ジオプタ離れてもよく、深度面ＤＰ４は、０．１５ジオプタ離れてもよく、深度面ＤＰ５は、０．１ジオプタ離れてもよく、深度面ＤＰ６は、無限遠（すなわち、０ジオプタ離れている）を表してもよい。他の実施形態は、深度面１５０を他の距離／ジオプタに生成してもよいことを理解されたい。したがって、仮想コンテンツを方略的に設置された深度面１５０に生成する際、ユーザは、仮想オブジェクトを３次元で知覚することが可能である。例えば、ユーザは、別の仮想オブジェクトが、深度面ＤＰ６における無限遠に現れる間、第１の仮想オブジェクトが、深度面ＤＰ１に表示されるとき、近接しているように知覚し得る。代替として、仮想オブジェクトは、最初に、深度面ＤＰ６に表示され、次いで、仮想オブジェクトがユーザに非常に近接して現れるまで、深度面ＤＰ５等に表示されてもよい。上記の実施例は、例証的目的のために有意に簡略化されていることを理解されたい。別の実施形態では、全６つの深度面は、ユーザから離れた特定の焦点距離上に集中されてもよい。例えば、表示されることになる仮想コンテンツが、ユーザから０．５メートル離れたコーヒーカップである場合、全６つの深度面は、コーヒーカップの種々の断面に生成され、ユーザに、コーヒーカップの非常に粒度が高い３Ｄビューを与え得る。
【0065】
いくつかの実施形態では、ＶＲ、ＡＲ、および／またはＭＲシステムは、多面焦点システムとして作用してもよい。換言すると、全６つのＬＯＥが、６つの固定深度面から生じるように現れる画像が、高速で連続して生成され、光源が、画像情報を、ＬＯＥ１、次いで、ＬＯＥ２、次いで、ＬＯＥ３等に急速に伝達するように、ほぼ同時に照明されてもよい。例えば、光学無限遠における空の画像を含む、所望の画像の一部が、時間１において投入されてもよく、光のコリメーションを留保するＬＯＥ（例えば、図６からの深度面ＤＰ６）が、利用されてもよい。次いで、より近い木の枝の画像が、時間２において投入されてもよく、１０メートル離れた深度面（例えば、図６からの深度面ＤＰ５）から生じるように現れる画像を作成するように構成される、ＬＯＥが、利用されてもよい。次いで、ペンの画像が、時間３において投入されてもよく、１メートル離れた深度面から生じるように現れる画像を作成するように構成される、ＬＯＥが、利用されてもよい。本タイプのパラダイムは、ユーザの眼および脳（例えば、視覚野）が入力を全て同一画像の一部であるように知覚するように、高速時系列方式で繰り返されることができる。
【0066】
ブレンドモードでは、そのような多面焦点システムは、ポータブルＶＲ、ＡＲ、および／またはＭＲシステムにおいて達成可能であり得ない、ディスプレイおよびプロセッサ速度の観点から、システム要件を有する。離散モードでは、そのような多面焦点システムは、面外コンテンツがシステム速度限界に起因してフリッカすることを防止するために、視認者の焦点位置に対応する単一深度面への光学深度にかかわらず、全ての３Ｄ画像コンテンツを投影し得る。
【0067】
ＶＲ、ＡＲ、および／またはＭＲシステムは、Ｚ軸（すなわち、深度面）に沿って種々の場所から生じるように現れ、３Ｄ体験／シナリオのための画像を生成する、画像を投影してもよい（すなわち、光ビームを発散または収束させることによって）。本願で使用されるように、光ビームは、限定ではないが、光源から照射される光エネルギー（可視および不可視光エネルギーを含む）の指向性投影を含む。種々の深度面から生じるように現れる画像を生成することは、その画像のためのユーザの眼の輻輳・開散運動および遠近調節に準拠し、輻輳・開散運動－遠近調節衝突を最小限にまたは排除する。
【0068】
ここで図７を参照すると、ＡＲまたはＭＲシステム７００の例示的実施形態（以降、「システム７００」と称される）が、図示される。システム７００は、スタックされた光誘導光学要素（以降、「ＬＯＥ７９０」と称される）を使用する。システム７００は、概して、１つまたはそれを上回る画像生成プロセッサ７１０と、１つまたはそれを上回る光源７２０と、１つまたはそれを上回るコントローラ／ディスプレイブリッジ（ＤＢ）７３０と、１つまたはそれを上回る空間光変調器（ＳＬＭ）７４０と、多面焦点システムとして機能する、スタックされたＬＯＥ７９０の１つまたはそれを上回るセットとを含む。システム７００はまた、眼追跡サブシステム７５０を含んでもよい。
【0069】
画像生成プロセッサ７１０は、ユーザに表示されるべき仮想コンテンツを生成するように構成される。画像生成プロセッサ７１０は、仮想コンテンツと関連付けられる画像またはビデオを、３Ｄにおいてユーザに投影され得る、フォーマットに変換してもよい。例えば、３Ｄコンテンツを生成する際、仮想コンテンツは、特定の画像の部分が、特定の深度面に表示される一方、その他が、他の深度面に表示されるように、フォーマット化される必要があり得る。一実施形態では、画像は全て、特定の深度面に生成されてもよい。別の実施形態では、画像生成プロセッサ７１０は、ともに視認されると、仮想コンテンツがユーザの眼にコヒーレントかつ快適に現れるように、若干異なる画像を右および左眼に提供するようにプログラムされてもよい。画像生成プロセッサ７１０はまた、画像またはビデオの一部をぼかすように構成されてもよい。
【0070】
画像生成プロセッサ７１０はさらに、メモリ７１２と、ＧＰＵ７１４と、ＣＰＵ７１６と、画像生成および処理のための他の回路網とを含んでもよい。画像生成プロセッサ７１０は、システム７００のユーザに提示されるべき所望の仮想コンテンツでプログラムされてもよい。いくつかの実施形態では、画像生成プロセッサ７１０は、システム７００内に格納されてもよいことを理解されたい。他の実施形態では、画像生成プロセッサ７１０および他の回路網は、システム７００に結合される、ベルトパック内に格納されてもよい。いくつかの実施形態では、画像生成プロセッサ７１０またはその１つまたはそれを上回るコンポーネントは、ローカル処理およびデータモジュール（例えば、ローカル処理およびデータモジュール１３０）の一部であってもよい。上記に述べられたように、ローカル処理およびデータモジュール１３０は、フレーム構造１０２に固定して取り付けられる（図２）、ヘルメットまたは帽子５６に固定して取り付けられる（図３）、エンドユーザ５０の胴体５８に除去可能に取り付けられる（図４）、またはベルト結合式構成においてエンドユーザ５０の腰部６０に除去可能に取り付けられる（図５）等、種々の構成において搭載されてもよい。
【0071】
画像生成プロセッサ７１０が、所望される仮想コンテンツと関連付けられる光を投影する、光源７２０と、１つまたはそれを上回る空間光変調器７４０とに動作可能に結合される。光源７２０は、コンパクトであって、かつ高分解能を有する。光源７２０は、コントローラ／ＤＢ７３０に動作可能に結合される。光源７２０は、種々の幾何学的構成に配置される、色特有ＬＥＤおよびレーザを含んでもよい。代替として、光源７２０は、各１つずつディスプレイの視野の具体的領域にリンクされる、同様の色のＬＥＤまたはレーザを含んでもよい。別の実施形態では、光源７２０は、放出面積および位置のセグメント化のためのマスクオーバーレイを伴う、白熱灯または蛍光灯等の広域エミッタを含んでもよい。光源７２０は、直接、図２Ｂにおけるシステム７００に接続されるが、光源７２０は、光ファイバ（図示せず）を介して、本システム７００に接続されてもよい。本システム７００はまた、光源７２０からの光をコリメートするように構成される、集光器（図示せず）を含んでもよい。
【0072】
ＳＬＭ７４０は、種々の例示的実施形態では、反射性（例えば、ＬＣＯＳ、ＦＬＣＯＳ、ＤＬＰ ＤＭＤ、またはＭＥＭＳミラーシステム）、透過性（例えば、ＬＣＤ）、または発光性（例えば、ＦＳＤまたはＯＬＥＤ）であってもよい。ＳＬＭ７４０のタイプ（例えば、速度、サイズ等）は、３Ｄ知覚の作成を改良するように選択されることができる。より高いリフレッシュレートで動作されるＬＰ ＤＭＤが、定常システム７００の中に容易に組み込まれ得るが、ウェアラブルシステム７００は、より小さいサイズおよび電力のＤＬＰを使用してもよい。ＤＬＰの電力は、３Ｄ深度面／焦点面が作成される方法を変化させる。画像生成プロセッサ７１０は、ＳＬＭ７４０に動作可能に結合され、これは、光源７２０からの光を所望の仮想コンテンツでエンコーディングする。光源７２０からの光は、それがＳＬＭ７４０から反射する、そこから放出する、またはそれを通して通過するとき、画像情報でエンコーディングされてもよい。
【0073】
ＳＬＭ７４０からの光は、ＳＬＭ７４０によって１つの深度面および／または色のために画像データでエンコーディングされた光ビームが、ユーザの眼への送達のために、単一ＬＯＥ７９０に沿って事実上伝搬されるように、ＬＯＥ７９０に指向される。各ＬＯＥ７９０が、所望される深度面またはＦＯＶ角位置から生じるように現れる画像またはサブ画像をユーザの網膜上に投影するように構成される。光源７２０およびＬＯＥ７９０は、したがって、空間内の種々の深度面または位置から生じるように現れる、画像（同期して、コントローラ／ＤＢ７３０の制御下、ＳＬＭ７４０によってエンコーディングされる）を選択的に投影することができる。光源７２０およびＬＯＥ７９０のそれぞれを使用して、十分に高フレームレート（例えば、６０Ｈｚの事実上完全体積フレームレートにおいて、６つの深度面に関して３６０Ｈｚ）において、画像を順次投影することによって、システム７００は、３Ｄ画像内に同時に存在するように現れる、仮想オブジェクトの３Ｄ画像を種々の深度面に生成することができる。
【0074】
コントローラ／ＤＢ７３０は、画像生成プロセッサ７１０、光源７２０、およびＳＬＭ７４０と通信し、それに動作可能に結合され、ＳＬＭ７４０に、光源７２０からの光ビームを画像生成プロセッサ７１０からの適切な画像情報でエンコーディングするように命令することによって、画像の同期表示を協調させる。本システムは、画像生成プロセッサ７１０を含むが、コントローラ／ＤＢ７３０もまた、いくつかの実施形態では、例えば、メモリ７１２、ＧＰＵ７１４、および／またはＣＰＵ７１６のプロセスを含む、少なくともいくつかの画像生成プロセスを実施してもよい。いくつかの実施形態では、コントローラ／ＤＢ７３０は、例えば、メモリ７１２、ＧＰＵ７１４、および／またはＣＰＵ７１６等、画像生成プロセッサ７１０内に示される、１つまたはそれを上回るコンポーネントを含んでもよい。
【0075】
システム７００はまた、ユーザの眼を追跡し、ユーザの輻輳・開散運動点／焦点を決定するように構成される、眼追跡サブシステム７５０を含んでもよい。一実施形態では、システム７００は、画像が、図９Ａおよび９Ｂに示されるように、ユーザの輻輳・開散運動点と一致する、所望の深度面に生成されるように、眼追跡サブシステム７５０からの入力に基づいて、離散モードにおいて、ＬＯＥ７９０のサブセットを照明するように構成される。例えば、ユーザの眼が、相互に平行である場合、システム７００は、画像が光学無限遠から生じるように現れるように、コリメートされた光をユーザの眼に送達するように構成される、ＬＯＥ７９０を照明してもよい。別の実施例では、眼追跡サブシステム７５０が、ユーザの輻輳・開散運動点が１メートル離れていることを決定する場合、その範囲内にほぼ合焦するように構成される、ＬＯＥ７９０が、代わりに、照明されてもよい。深度範囲全体に近似する深度面が、ブレンドモードにおいて、同時に（またはほぼ同時に）照明される、実施形態では、眼追跡サブシステム７５０は、照明するための１つまたはそれを上回る深度面を選定するために、ユーザの輻輳・開散運動点を決定するために要求されない。
（ぼけを伴う例証的ブレンドモードレンダリングおよびディスプレイ）
（ぼけを伴う例証的ブレンドモードレンダリングおよびディスプレイ）
【0076】
図１２Ａは、近および遠立方体８１０、８１２、および円柱８１４が、近深度面０に隣接する、近立方体８１０への視認者８１６の輻輳・開散運動点を追跡することに応答して、近深度面０上に投影される、離散モードディスプレイを描写する。近深度面０への投影は、近深度面０より遠深度面１により近い、遠立方体８１２および円柱８１４に関してさえ、視認者に近深度面０への遠近調節をもたらす。
【0077】
図９Ａおよび９Ｂに示される離散モードディスプレイを参照すると、遠立方体８１２および円柱８１４は、それらが、近深度面０より遠深度面１により近いにもかかわらず、完全鮮明度でレンダリングされる。上記に解説されるように、照明された面外オブジェクトの本鮮明度は、輻輳・開散運動－遠近調節衝突を悪化させ得る、遠近調節キューをもたらす。
【0078】
図１３は、いくつかの実施形態による、ぼけを伴う離散モードディスプレイを描写する。図９Ｂに示される離散モードディスプレイのように、図１３に示される離散モードディスプレイは、近深度面０に隣接する、近立方体８１０への視認者８１６の輻輳・開散運動点を追跡することに応答して、近および遠立方体８１０、８１２、および円柱８１４（図９Ａ参照）を近深度面０上に投影している。図９Ｂに示される離散モードディスプレイと異なり、図１３に示される離散モードディスプレイはまた、遠立方体８１２’および円柱８１４’をぼかし、これらの照明された面外オブジェクトのためのより自然な遠近調節キューを提供する。
【0079】
ディスプレイシステムは、図８Ａおよび８Ｂに示される３Ｄ画像データを分析し、その中に仮想オブジェクトに関する最良の既知の深度データを生成することができる。ディスプレイシステムは、３Ｄ画像データ内の視差マップおよび／または深度バッファ内のデータセットを使用して、最良の既知の深度データを生成してもよい。ディスプレイシステムは、次いで、最良の既知の深度データを分析し、１つまたはそれを上回るぼけオブジェクトを生成するためにぼかされるべき、１つまたはそれを上回るオブジェクトを識別することができる。１つまたはそれを上回るぼけオブジェクトは、１つまたはそれを上回る非ぼけオブジェクトとともに、次いで、視認者の輻輳・開散運動点／焦点に対応する深度面上に投影される。投影された画像は、照明された面外ぼけオブジェクトと、照明された面内鮮明オブジェクトとを含む、部分的ぼけ２Ｄ画像である。
【0080】
ディスプレイシステムはまた、ぼかされるべきオブジェクトの最良の既知の深度と、視認者の輻輳・開散運動点／焦点の深度とに基づいて、ぼけの強度を決定することができる。例えば、オブジェクトのぼけの強度は、その最良の既知の深度（例えば、オブジェクト内の全てのピクセルの最良の既知の深度の平均）と視認者の輻輳・開散運動点／焦点の深度との間の差異／距離に関連してもよい。ぼけと差異／距離との間の関係は、線形、対数、非対称等であってもよい。視認者の輻輳・開散運動点／焦点からその距離に基づいて、照明された面外オブジェクトのそれぞれを異なる程度までぼかすことは、これらのオブジェクトに関するさらにより自然な遠近調節キューを提供する。いくつかの実施形態では、照明された面外オブジェクトは全て、同一度にぼかされてもよい。これらの実施形態では、ぼけの強度は、照明された面外オブジェクトの全てにおいて、全てのピクセルの最良の既知の深度の平均に基づいてもよい。
【0081】
上記の実施形態は、照明された面外オブジェクトをぼかし、それらのオブジェクトに関するより自然な遠近調節キューを提供するための種々の異なる方法を含む。本ぼけは、ディスプレイシステムが離散ディスプレイモードにおいて、より自然な遠近調節キューを用いてオブジェクトを投影することを可能にし、それによって、ディスプレイシステム上の需要を低減させる。そのような低減された需要は、ディスプレイおよびプロセッサ速度、電力、および熱生成を含む。さらに、上記に説明される、ぼけオブジェクト識別およびぼけ強度決定ステップは、速度、電力、および熱生成の観点から、他のぼけ技法より効率的であり、プロセッサ性能を改良する。
（ぼけを伴う例証的ブレンドモードレンダリングおよびディスプレイ）
（ぼけを伴う例証的ブレンドモードレンダリングおよびディスプレイ）
【0082】
図１２Ｂは、いくつかの実施形態による、ブレンドモード合成ライトフィールドを描写する。ブレンドディスプレイモードでは、近および遠立方体８１０、８１２、および円柱８１４は、本システムの光学軸（「Ｚ軸」）に沿って、近および遠立方体８１０、８１２および円柱８１４の個別の場所に隣接する、個別の仮想深度面１２１０、１２１２、１２１４上に「仮想的に投影される」。近および遠深度面０、１のみが、実際には、照明されるため、近および遠立方体８１０、８１２、および円柱８１４のみが、仮想的に投影される。上記に説明されるように、仮想深度面１２１０、１２１２、１２１４上への仮想投影は、近および遠深度面０、１上に投影されたサブ画像のスカラーブレンドを通して、シミュレートされる。仮想深度面１２１０、１２１２、１２１４のそれぞれに投影される２Ｄ画像のレンダリングは、その中にオブジェクトのブレンドを含んでもよい。
【0083】
図１４は、いくつかの実施形態による、３Ｄ画像をレンダリングおよび表示する「ブレンドモード」を描写する。ブレンドモードディスプレイは、少なくとも２つの離散深度面０、１の組み合わせから生成された合成ライトフィールドを提示する。遠近調節と輻輳・開散運動との間の許容度（例えば、±０．７５ジオプタ）に起因して、近深度面０および遠深度面１を相互の所定のジオプタ数（例えば、１．５ジオプタ）内に位置付けるようにレンダリングおよびディスプレイシステムを構成することによって、これらの２つの深度面０、１は、図１０Ａに示されるように、視認者の視覚のほぼカットオフ最小距離からほぼ無限遠までの３Ｄ視野全体を網羅することができる。ブレンドモード合成ライトフィールドは、２つの深度面０、１上に投影されるようなサブ画像のスカラーブレンドとして、２つの深度面０、１間の任意の位置に対する視認者の遠近調節をシミュレートする。２つの深度面０、１におけるサブ画像のスカラーブレンドを通して、ブレンドモード合成ライトフィールドは、１つまたはそれを上回る仮想深度面１４１０に対する遠近調節をシミュレートすることができる。ブレンドモードは、視認者の遠近調節の忠実性を増加させ、より自然な深度知覚をもたらす。
【0084】
図１４に描写される実施形態では、近立方体８１０は、ディスプレイシステムの最小クリップピング距離２、すなわち、そこでオブジェクトがディスプレイシステムを使用してもはや視認者に可視ではない、距離に近接する。いくつかの実施形態では、最小クリップ２は、約３７ｃｍまたは２．７ｄｐｔであってもよい。図１５は、いくつかの実施形態による、近面０においてブレンドモードディスプレイシステムによって生成される画像を描写する。近立方体８１０が、最小クリップ２に隣接する場合でも、図１５における実施形態は、近立方体８１０を完全鮮明度にレンダリングする。近立方体８１０の鮮明度は、本システムの最小クリップ２の近くの実世界オブジェクトのぼけとは対照的であり、誤った遠近調節キューをもたらす。故に、本誤った遠近調節キューは、図１５における画像を視認する、本システムのユーザにおける輻輳・開散運動－遠近調節衝突を悪化させ得る。図１６における実施形態は、他方では、近立方体８１０’をぼかし、それによって、ディスプレイシステムの最小クリップ２近くのオブジェクトに関して、より自然な遠近調節キューを提供している。類似タイプのぼけは、遠クリップ（すなわち、無限遠）の近くのオブジェクトにも適用されることができる。いくつかの実施形態では、遠クリップは、約８７ｃｍまたは１．１５ｄｐｔであり得る。
【0085】
ディスプレイシステムは、図１４に示される３Ｄ画像データを分析し、仮想オブジェクトに関する最良の既知の深度データをその中に生成することができる。ディスプレイシステムは、３Ｄ画像データ内の視差マップおよび／または深度バッファ内のデータセットを使用して、最良の既知の深度データを生成してもよい。ディスプレイシステムは、次いで、最良の既知の深度データを分析し、オブジェクトまたはぼけオブジェクトを生成するためにぼかされるべき最小または遠クリップに隣接するオブジェクトを識別することができる。ぼけオブジェクトは、次いで、ブレンドモードにおいて表示される３Ｄ画像内のオブジェクトの場所に対応する、個別の深度面上に投影される。投影された画像は、近クリップぼけオブジェクトと、他のオブジェクトとを含む、完全ぼけ２Ｄ画像または部分的ぼけ２Ｄ画像であってもよい。
【0086】
ディスプレイシステムはまた、ぼかされるべきオブジェクトの最良の既知の深度および最小クリップまたは遠クリップの深度に基づいて、ぼけの強度を決定することができる。例えば、オブジェクトのぼけの強度は、その最良の既知の深度（例えば、オブジェクト内の全てのピクセルの最良の既知の深度の平均）と最小クリップまたは遠クリップとの間の差異／距離に関連してもよい。ぼけと差異／距離との間の関係は、線形、対数、非対称等であってもよい。最小クリップまたは遠クリップからのその距離に基づいて、各近クリップオブジェクトを異なる程度までぼかすことは、これらのオブジェクトに関するさらにより自然な遠近調節キューを提供する。代替として、全ての近クリップオブジェクトは、同一の程度にぼかされてもよい。近クリップオブジェクトは、それらが、その時点でオブジェクトが完全に除去され得る、クリップまたは遠クリップに到達するその一部となるまで、ぼかされる／フェードアウトされ得る。例えば、遠クリップに位置するオブジェクトは、視認者が、そのオブジェクトに輻輳していない限り、完全に除去されてもよい。他の実施形態では、仮想オブジェクトは、最小クリップおよび／または遠クリップを越えて、短距離に現れ得る。
【0087】
ブレンドモードディスプレイに関する、近クリップオブジェクトをぼかすための技法が、説明されてきたが、離散モードディスプレイがまた、近クリップオブジェクトを含む、３Ｄ画像を投影し得るため、そのような技法は、離散モードディスプレイにも等しく適用可能である。
【0088】
上記の実施形態は、近クリップオブジェクトをぼかし、それらのオブジェクトに関するより自然な遠近調節キューを提供するための種々の異なる方法を含む。本ぼけは、ディスプレイシステムが、ブレンドまたは離散ディスプレイモードにおいて、より自然な遠近調節キューを用いてオブジェクトを投影することを可能にし、それによって、ディスプレイシステム上の需要を低減させる。そのような低減された需要は、ディスプレイおよびプロセッサ速度、電力、および熱生成を含む。さらに、上記に説明されるぼけオブジェクト識別およびぼけ強度決定ステップは、速度、電力、および熱生成の観点から、他のぼけ技法より効率的であり、プロセッサ性能を改良する。
（システムアーキテクチャ概要）
（システムアーキテクチャ概要）
【0089】
図１７は、本開示の実施形態を実装するために好適な例証的コンピューティングシステム１７００のブロック図である。コンピュータシステム１７００は、情報を通信するためのバス１７０６または他の通信機構を含み、これは、プロセッサ１７０７、システムメモリ１７０８（例えば、ＲＡＭ）、静的記憶デバイス１７０９（例えば、ＲＯＭ）、ディスクドライブ１７１０（例えば、磁気または光学）、通信インターフェース１７１４（例えば、モデムまたはイーサネット（登録商標）カード）、ディスプレイ１７１１（例えば、ＣＲＴまたはＬＣＤ）、入力デバイス１７１２（例えば、キーボード）、およびカーソル制御等のサブシステムおよびデバイスを相互接続する。
【0090】
本開示の一実施形態によると、コンピュータシステム１７００は、プロセッサ１７０７がシステムメモリ１７０８内に含有される１つまたはそれを上回る命令の１つまたはそれを上回るシーケンスを実行することによって、具体的動作を実施する。そのような命令は、静的記憶デバイス１７０９またはディスクドライブ１７１０等の別のコンピュータ可読／使用可能媒体からシステムメモリ１７０８の中に読み込まれてもよい。代替実施形態では、有線回路網が、本開示を実装するために、ソフトウェア命令の代わりに、またはそれと組み合わせて使用されてもよい。したがって、本開示の実施形態は、ハードウェア回路網および／またはソフトウェアの任意の具体的組み合わせに限定されない。一実施形態では、用語「論理」は、本開示の全部または一部を実装するために使用される、ソフトウェアまたはハードウェアの任意の組み合わせを意味するものとする。
【0091】
本明細書で使用されるような用語「コンピュータ可読媒体」または「コンピュータ使用可能媒体」は、実行のために命令をプロセッサ１７０７に提供する際に関わる、任意の媒体を指す。そのような媒体は、限定ではないが、不揮発性媒体および揮発性媒体を含む、多くの形態をとり得る。不揮発性媒体は、例えば、ディスクドライブ１７１０等の光学または磁気ディスクを含む。揮発性媒体は、システムメモリ１７０８等の動的メモリを含む。
【0092】
一般的形態のコンピュータ可読媒体は、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ－ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを伴う任意の他の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ（例えば、ＮＡＮＤフラッシュ、ＮＯＲフラッシュ）、任意の他のメモリチップまたはカートリッジ、またはそこからコンピュータが読み取ることができる、任意の他の媒体を含む。
【0093】
本開示のある実施形態では、本開示を実践するための命令のシーケンスの実行は、単一コンピュータシステム１７００によって実施される。本開示の他の実施形態によると、通信リンク１７１５（例えば、ＬＡＮ、ＰＴＳＮ、または無線ネットワーク）によって結合される、２つまたはそれを上回るコンピュータシステム１７００が、相互に協調して本開示を実践するために要求される、命令のシーケンスを実施してもよい。
【0094】
コンピュータシステム１７００は、通信リンク１７１５および通信インターフェース１７１４を通して、プログラム、すなわち、アプリケーションコードを含む、メッセージ、データ、および命令を伝送および受信してもよい。受信されたプログラムコードは、受信されるにつれて、プロセッサ１７０７によって実行され、および／またはディスクドライブ１７１０または後の実行のための他の不揮発性記憶装置内に記憶されてもよい。記憶媒体１７３１内のデータベース１７３２は、データインターフェース１７３３を介してシステム１７００によってアクセス可能なデータを記憶するために使用されてもよい。
【0095】
上記に説明されるブレンドモード実施形態は、２つの深度面（例えば、近および遠深度面）を含むが、他の実施形態は、２つを上回る深度面を含んでもよい。深度面の数を増加させることは、それを用いて仮想深度面がシミュレートされる、忠実性を増加させる。しかしながら、本忠実性の増加は、現在のポータブル３Ｄレンダリングおよびディスプレイシステムにおいて利用可能なリソースを超え得る、ハードウェアおよび処理需要の増加によって相殺される。
【0096】
本開示のある側面、利点、および特徴が、本明細書に説明される。必ずしも、全てのそのような利点が、本開示の任意の特定の実施形態に従って達成され得るわけではないことを理解されたい。したがって、本開示は、必ずしも、本明細書に教示または提案され得るような他の利点を達成せずに、本明細書に教示されるような１つの利点または利点のグループを達成または最適化する様式において、具現化または実行されてもよい。
【0097】
実施形態は、付随の図面に関連して説明されている。しかしながら、図は、正確な縮尺で描かれていないことを理解されたい。距離、角度等は、単に、例証的であって、必ずしも、図示されるデバイスの実際の寸法およびレイアウトに対する正確な関係を保つわけではない。加えて、前述の実施形態は、当業者が、本明細書に説明されるデバイス、本システム、方法、および同等物を作製および使用することを可能にするような詳細のレベルにおいて説明されている。様々な変形例も、可能性として考えられる。コンポーネント、要素、および／またはステップは、改変、追加、除去、または再配列されてもよい。
【0098】
本明細書に説明されるデバイスおよび方法は、有利なこととして、少なくとも部分的に、例えば、コンピュータソフトウェア、ハードウェア、ファームウェア、またはソフトウェア、ハードウェア、およびファームウェアの任意の組み合わせを使用して実装されることができる。ソフトウェアモジュールは、本明細書に説明される機能を実施するために、コンピュータのメモリ内に記憶される、コンピュータ実行可能コードを含むことができる。いくつかの実施形態では、コンピュータ実行可能コードは、１つまたはそれを上回る汎用コンピュータによって実行される。しかしながら、当業者は、本開示に照らして、汎用コンピュータ上で実行されることになるソフトウェアを使用して実装され得る、任意のモジュールもまた、ハードウェア、ソフトウェア、またはファームウェアの異なる組み合わせを使用して実装されることができることを理解するであろう。例えば、そのようなモジュールは、完全に、集積回路の組み合わせを使用して、ハードウェア内に実装されることができる。代替として、または加えて、そのようなモジュールは、完全または部分的に、汎用コンピュータによってではなく、本明細書に説明される特定の機能を実施するように設計される、特殊コンピュータを使用して実装されることができる。加えて、少なくとも部分的に、コンピュータソフトウェアによって行われる、または行われ得る、方法が、説明される場合、そのような方法は、コンピュータまたは他の処理デバイスによって読み取られると、それに方法を行わせる、非一過性コンピュータ可読媒体上に提供され得ることを理解されたい。
【0099】
ある実施形態が、明示的に説明されているが、他の実施形態も、本開示に基づいて、当業者に明白となるであろう。
【0100】
本明細書に説明される種々のプロセッサおよび他の電子コンポーネントは、光を投影するための任意の光学システムと併用するために好適である。本明細書に説明される種々のプロセッサおよび他の電子コンポーネントはまた、音声コマンドを受信するための任意のオーディオシステムと併用するために好適である。
【0101】
本開示の種々の例示的実施形態が、本明細書に説明される。これらの実施例は、非限定的意味で参照される。それらは、本開示のより広義に適用可能な側面を例証するために提供される。種々の変更が、説明される本開示に行われてもよく、本開示の真の精神および範囲から逸脱することなく、均等物が代用されてもよい。加えて、多くの修正が、特定の状況、材料、組成物、プロセス、プロセス作用、またはステップを本開示の目的、精神、または範囲に適合させるために行われてもよい。さらに、当業者によって理解されるであろうように、本明細書で説明および例証される個々の変形例はそれぞれ、本開示の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離される、またはそれらと組み合わせられる、離散コンポーネントおよび特徴を有する。全てのそのような修正は、本開示と関連付けられた請求項に記載の範囲内であることが意図される。
【0102】
本開示は、本主題のデバイスを使用して実施され得る方法を含む。本方法は、そのような好適なデバイスを提供する行為を含んでもよい。そのような提供は、エンドユーザによって実施されてもよい。換言すると、「提供する」行為は、単に、エンドユーザが、本主題の方法において必要なデバイスを取得する、それにアクセスする、それに接近する、それを位置付ける、それを設定する、それをアクティブ化する、それに電源を入れる、または別様にそれを提供するように作用することを要求する。本明細書に列挙される方法は、論理的に可能な列挙されたイベントの任意の順序およびイベントの列挙された順序で行われてもよい。
【0103】
本開示の例示的側面が、材料選択および製造に関する詳細とともに、上記に記載されている。本開示の他の詳細に関して、これらは、上記で参照された特許および刊行物に関連して理解され、概して、当業者によって公知である、または理解され得る。同じことが、一般または論理的に採用されるような付加的作用の観点から、本開示の方法ベースの側面に関しても当てはまり得る。
【0104】
加えて、本開示は、随意に、種々の特徴を組み込む、いくつかの実施例を参照して説明されたが、本開示は、開示の各変形例に関して検討されるように説明または図示されるものに限定されるものではない。種々の変更が、説明される本開示に行われてもよく、均等物（本明細書に列挙されるか、またはある程度の簡潔目的のために含まれないかどうかにかかわらず）が、本開示の真の精神および範囲から逸脱することなく代用されてもよい。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値および任意の他の述べられた値または述べられた範囲内の介在値が、本開示内に包含されるものと理解されたい。
【0105】
また、説明される変形例の任意の随意の特徴は、独立して、または本明細書に説明される特徴のうちの任意の１つまたはそれを上回るものと組み合わせて、記載および請求され得ることが検討される。単数形項目の言及は、複数の同一項目が存在する可能性を含む。より具体的には、本明細書および本明細書に関連付けられた請求項で使用されるように、単数形「ａ」、「ａｎ」、「ｓａｉｄ」、および「ｔｈｅ」は、別様に具体的に述べられない限り、複数の言及を含む。換言すると、冠詞の使用は、上記の説明および本開示と関連付けられる請求項における本主題の項目のうちの「少なくとも１つ」を可能にする。さらに、そのような請求項は、任意の随意の要素を除外するように起草され得ることに留意されたい。したがって、本文言は、請求項の要素の列挙と関連する「単に」、「のみ」、および同等物等の排他的専門用語の使用、または「消極的」限定の使用のための先行詞としての役割を果たすことが意図される。
【0106】
そのような排他的専門用語を使用しなければ、本開示と関連付けられる請求項における用語「～を備える（ｃｏｍｐｒｉｓｉｎｇ）」は、所与の数の要素がそのような請求項で列挙されるかどうかにかかわらず、任意の付加的要素の包含を可能にするものとする、または特徴の追加は、そのような請求項に記載される要素の性質を変換すると見なされ得る。本明細書で具体的に定義される場合を除いて、本明細書で使用される全ての技術および科学用語は、請求項の正当性を維持しながら、可能な限り広い一般的に理解されている意味を与えられるべきである。
【0107】
本開示の範疇は、提供される実施例および／または本明細書に限定されるべきではなく、むしろ、本開示と関連付けられた請求項の言語の範囲によってのみ限定されるべきである。
【0108】
前述の明細書では、本開示は、その具体的実施形態を参照して説明された。しかしながら、種々の修正および変更が、本開示のより広義の精神および範囲から逸脱することなく、そこに行われてもよいことが明白であろう。例えば、前述のプロセスフローは、プロセスアクションの特定の順序を参照して説明される。しかしながら、説明されるプロセスアクションの多くの順序は、本開示の範囲または動作に影響を及ぼすことなく、変更されてもよい。明細書および図面は、故に、限定的意味ではなく、例証と見なされるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図11】
【図12A】
【図12B】
【図13】
【図14】
【図15】
【図16】
【図17】
