▶ アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナの特許一覧
特許7185303インテグラルイメージングおよびリレー光学部品を用いたヘッドマウント・ライトフィールド・ディスプレイ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-29
(45)【発行日】2022-12-07
(54)【発明の名称】インテグラルイメージングおよびリレー光学部品を用いたヘッドマウント・ライトフィールド・ディスプレイ
(51)【国際特許分類】
G02B 27/02 20060101AFI20221130BHJP
G02B 30/10 20200101ALI20221130BHJP
H04N 5/64 20060101ALI20221130BHJP
【ＦＩ】
G02B27/02 Z
G02B30/10
H04N5/64 511A
【請求項の数】
20
(21)【出願番号】P 2019548961
(86)(22)【出願日】2018-03-06
(65)【公表番号】
(43)【公表日】2020-04-02
(86)【国際出願番号】 US2018021087
(87)【国際公開番号】W WO2018165117
(87)【国際公開日】2018-09-13
【審査請求日】2021-03-05
(31)【優先権主張番号】62/469,097
(32)【優先日】2017-03-09
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】505167532
【氏名又は名称】アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナ
(74)【代理人】
【識別番号】100104411
【弁理士】
【氏名又は名称】矢口 太郎
(72)【発明者】
【氏名】フア、ホン
(72)【発明者】
【氏名】ファン、ヘクン
【審査官】堀部 修平
(56)【参考文献】
【文献】国際公開第２０１５／１８４４０９（ＷＯ，Ａ１）
【文献】国際公開第２０１５／１３４７４０（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１４／００３５９５９（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０２Ｂ ２７／０１ － ２７／０２
Ｇ０２Ｂ ３０／００ － ３０／６０
ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）
(57)【特許請求の範囲】
【請求項1】
ヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システムであって、当該システムの光軸に沿った選択された位置において、選択された３Ｄ場面のライトフィールドを生成するように構成された超小型ＩｎＩユニット（マイクロＩｎＩ）と、
リレー群であって、その内部に配置された可変焦点要素（ＶＦＥ）を有し、前記光軸上において前記選択された位置が光学的に共役となる位置に配置され、前記超小型ＩｎＩユニットによって生成された前記ライトフィールドを受け取って前記選択された３Ｄ場面の光軸上に中間３Ｄ場面を生成し、当該中間３Ｄ場面の光軸に沿って当該中間３Ｄ場面の位置を調整するように構成されているものである、前記リレー群と、
前記ヘッドマウント・ディスプレイ・システムのユーザによる観視のために、前記リレー群から受け取った前記中間３Ｄ場面を前記システムの射出瞳においてイメージングする接眼レンズ光学部品と
を有する、
ヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システム。
【請求項2】
請求項１記載のヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システムにおいて、前記超小型ＩｎＩユニット（マイクロＩｎＩ）は、制約された視野ゾーンを有する３Ｄ場面の全方向視差ライトフィールドを再現するように構成されているものである、ヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システム。
【請求項3】
請求項１または２記載のヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システムにおいて、前記接眼レンズ光学部品と光学的に連通して、前記ヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システムのユーザによる観視のために前記接眼レンズ光学部品に実世界視野を透過するシースルーユニットを有するものである、ヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システム。
【請求項4】
請求項１～３のいずれか１つに記載のヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システムにおいて、前記可変焦点要素（ＶＦＥ）は、前記射出瞳と光学的に共役な位置に配置されているものである、ヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システム。
【請求項5】
請求項１～４のいずれか１つに記載のヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システムにおいて、前記リレー群は、前記システムの光軸に沿って、第１のレンズ群と、第２のレンズ群であって、前記第１のレンズ群と当該第２のレンズ群との間に配置された前記可変焦点要素（ＶＦＥ）とを有する、前記第２のレンズ群とを有するものである、ヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システム。
【請求項6】
請求項５記載のヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システムにおいて、前記可変焦点要素（ＶＦＥ）は、前記第１のレンズ群の後側焦点距離に位置するものである、ヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システム。
【請求項7】
請求項１～６のいずれか１つに記載のヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システムにおいて、前記システムの視野は、前記可変焦点要素（ＶＦＥ）のオプティカルパワーとは独立しているものである、ヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システム。
【請求項8】
請求項５記載のヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システムにおいて、前記リレー群の横倍率は、【数17】
【請求項9】
請求項８記載のヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システムにおいて、ｔ２＝１／φ２であり、式中、ｔ２は前記システムの光軸に沿った前記可変焦点要素（ＶＦＥ）と前記第２のレンズ群との間の距離であり、φ２は前記第２のレンズ群のオプティカルパワーである、ヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システム。
【請求項10】
請求項１～９のいずれか１つに記載のヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システムにおいて、前記リレー群は対象空間においてテレセントリックである、ヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システム。
【請求項11】
請求項１～１０のいずれか１つに記載のヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システムにおいて、前記可変焦点要素（ＶＦＥ）は、前記光軸上において、前記リレー群の複合オプティカルパワーが前記可変焦点要素（ＶＦＥ）のオプティカルパワーから独立して一定に維持される位置に配置されるものである、ヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システム。
【請求項12】
請求項１～１１のいずれか１つに記載のヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システムにおいて、前記超小型ＩｎＩユニットは、マイクロディスプレイを含み、前記リレー群を通した前記マイクロディスプレイの対する画角は、前記可変焦点要素（ＶＦＥ）のオプティカルパワーから独立して一定に維持されるものである、ヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システム。
【請求項13】
請求項１～１２のいずれか１つに記載のヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システムにおいて、前記リレー群はダブルテレセントリックである、ヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システム。
【請求項14】
請求項１～１３のいずれか１つに記載のヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システムにおいて、前記接眼レンズ光学部品はウェッジ形状の自由曲面プリズムを有するものである、ヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システム。
【請求項15】
請求項１～１４のいずれか１つに記載のヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システムにおいて、前記リレー群は、接眼レンズを通して再構築された３Ｄ仮想場面の位置における前記光軸に沿った位置を最大で５ディオプトリまで調整するように構成されているものである、ヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システム。
【請求項16】
請求項１～１５のいずれか１つに記載のヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システムにおいて、前記可変焦点要素（ＶＦＥ）の焦点距離は、７５～１００ｍｍであるヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システム。
【請求項17】
請求項１～１６のいずれか１つに記載のヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システムにおいて、前記接眼レンズ光学部品の焦点距離は、２７．５ｍｍである、ヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システム。
【請求項18】
請求項１～１７のいずれか１つに記載のヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システムにおいて、前記システムの対角視野は３５°である、ヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システム。
【請求項19】
請求項１～１８のいずれか１つに記載のヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システムにおいて、１つの画素あたり２分（角度）の高さの光分解能を有するものである、ヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システム。
【請求項20】
請求項１～１９のいずれか１つに記載のヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システムにおいて、前記超小型ＩｎＩユニットは、マイクロレンズアレイを有し、前記マイクロレンズアレイの少なくとも１つのレンズ表面は、式【数18】
【発明の詳細な説明】
【技術分野】
【0001】
関連出願
本出願は、２０１７年３月９日付で出願された米国仮特許出願第６２／４６９，０９７号明細書の優先権の利益を主張し、その出願の全内容は、この参照により本明細書に組み込まれる。
本出願は、２０１７年３月９日付で出願された米国仮特許出願第６２／４６９，０９７号明細書の優先権の利益を主張し、その出願の全内容は、この参照により本明細書に組み込まれる。
【0002】
政府許認可権
本発明は、ＮＳＦによる認可を受けた登録番号１４２２６５３の下で政府の支援を受けて行われた。政府は、本発明において一定の権利を有する。
本発明は、ＮＳＦによる認可を受けた登録番号１４２２６５３の下で政府の支援を受けて行われた。政府は、本発明において一定の権利を有する。
【0003】
本発明は、ヘッドマウントディスプレイの分野に関し、より具体的には、排他的にではないが、インテグラルイメージング（ｉｎｔｅｇｒａｌ ｉｍａｇｉｎｇ：ＩｎＩ）に基づくヘッドマウントディスプレイに関する。
【背景技術】
【0004】
ニアアイディスプレイ（ｎｅａｒ－ｔｏ－ｅｙｅ ｄｉｓｐｌａｙ：ＮＥＤ）または頭部装着型ディスプレイ（ｈｅａｄ－ｗｏｒｎ ｄｉｓｐｌａｙ：ＨＷＤ）としても一般的に知られているヘッドマウントディスプレイ（ｈｅａｄ－ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ：ＨＭＤ）は、近年、大きい関心を得ており、広範囲の消費者向けアプリケーションのための技術推進に対する多大な努力を刺激している。例えば、ユーザの物質世界の直接視野へのデジタル情報の光学重畳を可能にし、現実世界へのシースルービジョンを維持する軽量の光学式シースルーＨＭＤ（ｏｐｔｉｃａｌ ｓｅｅ－ｔｈｒｏｕｇｈ ＨＭＤ：ＯＳＴ－ＨＭＤ）は、拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ：ＡＲ）アプリケーションに対する技術を可能にする鍵の１つである。広視野（ｆｉｅｌｄ－ｏｆ－ｖｉｅｗ：ＦＯＶ）、没入型ＨＭＤ（コンピュータが生成する仮想世界にユーザを没入させる）またはリモート操作による現実世界の高解像度映像捕捉は、仮想現実（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ：ＶＲ）アプリケーションに対する技術を可能にする鍵である。ＨＭＤは、ゲーム、シミュレーションおよび訓練、防衛、教育、並びに他の分野において無数のアプリケーションを見出している。
【0005】
ＶＲディスプレイとＡＲディスプレイとの両方の開発に対する高い有望性および最近達成された多大な進歩にも関わらず、長時間のＨＭＤの着用に関わる視覚的不快感を最小限に抑えることは、依然として未解決の課題である。視覚的不快感に対する主要な寄与要因の１つは、適正な焦点手がかり（調節手がかりおよび網膜像ぶれ効果を含む）をレンダリングする能力の不足による適合的眼球離反運動の不一致（ｖｅｒｇｅｎｃｅ－ａｃｃｏｍｍｏｄａｔｉｏｎ ｃｏｎｆｌｉｃｔ：ＶＡＣ）である。ＨＭＤのＶＡＣ問題は、画像源が眼から固定距離に位置する２Ｄ平坦表面であるという事実に由来する。図１は、典型的な単眼ＨＭＤの概略レイアウトを示し、主に、画像源としての２Ｄマイクロディスプレイと、マイクロディスプレイ上でレンダリングされた画像を拡大し、眼から固定距離に現れる虚像を形成する接眼レンズとを含む。ＯＳＴ－ＨＭＤは、仮想ディスプレイの光学通路と実際の場面の光学通路とを組み合わせるために眼の前に配置される光コンバイナ（例えば、ビームスプリッタ）を必要とする。従来のＨＭＤは、単眼または両眼、シースルーまたは没入型に関わらず、虚像面に対応する距離以外の距離に現れる可能性があるデジタル情報に対する適正な焦点手がかりをレンダリングする能力が不足している。その結果、従来のＨＭＤでは、自然な眼の調節反応および網膜ぼやけ効果を刺激することができない。ＨＭＤにおいて適正な焦点手がかりが欠如する問題によって、いくつかの視覚手がかりの不一致が起こる。例えば、従来の立体ＨＭＤでは、２つのわずかに異なる視線位置から観察される、両眼視差および３Ｄ場面の他の絵画的奥行き手がかりを伴う二次元（ｔｗｏ－ｄｉｍｅｎｓｉｏｎａｌ：２Ｄ）透視画像の対（それぞれの眼に対して１つずつ）によって、３Ｄ空間および形状の知覚が刺激される。したがって、従来の立体ＨＭＤは、調節手がかりおよび輻輳手がかりの不自然なデカップリングを強制する。調節深度に対する手がかりは、２Ｄ像面の奥行きによって決定され、３Ｄ場面の輻輳深度は、画像対によってレンダリングされる両眼視差によって決定される。ディスプレイによってレンダリングされる仮想オブジェクトに対する網膜像ぶれ手がかりは、自然な場面によって作成されるものと一致しない。多くの研究により、従来のＨＭＤにおける不適正にレンダリングされた焦点手がかりに関連するこれらの視覚手がかりの不一致は、様々な視覚的アーチファクトおよび視覚的性能の劣化に寄与する強力な裏付けとなる証拠が提供されている。
【0006】
以前に提案されたいくつかの手法は、体積ディスプレイ、超多視点オート・ステレオスコピック・ディスプレイ、インテグラル・イメージング・ベースのディスプレイ、ホログラフィックディスプレイ、多焦点面ディスプレイ、および演算多層ディスプレイを含む従来のステレオスコピックディスプレイの欠点を克服することができる。それらの膨大なハードウェア複雑性により、これらの異なる表示方法の多くは、ＨＭＤシステムの実装に適さない。他方では、多焦点面ディスプレイ、インテグラルイメージング、および演算多層手法は、一般的に、ライトフィールドディスプレイであることを指し、ヘッドマウントアプリケーションに適している。ＨＭＤにおけるそれらの使用は、ヘッドマウント・ライトフィールド・ディスプレイと呼ばれる。
【0007】
ヘッドマウント・ライトフィールド・ディスプレイは、異なる奥行きの３Ｄ場面の投影または３Ｄ場面によって放射され且つ異なる眼位から観察されると考えられる光線の方向のいずれかをサンプリングすることにより、真の３Ｄ場面をレンダリングする。それらのディスプレイは、適正なまたはほぼ適正な焦点手がかりをレンダリングし、従来のＶＲおよびＡＲディスプレイの適合的眼球離反運動の不一致問題に対処することができる。例えば、インテグラルイメージング（ＩｎＩ）ベースのディスプレイは、一見したところ３Ｄ場面によって放射され且つ異なる眼位から観察されると考えられる光線の方向を角度別にサンプリングすることにより、３Ｄ場面のライトフィールドを再構築する。図２に例示されるように、簡単なＩｎＩベースのディスプレイは、典型的には、表示パネルと、マイクロレンズアレイ（ｍｉｃｒｏｌｅｎｓ ａｒｒａｙ：ＭＬＡ）またはピンホールアレイである２Ｄアレイとを含む。ディスプレイは、２Ｄ要素画像の組をレンダリングし、その各々は、３Ｄ場面の異なる視点を表す。要素画像の対応する画素によって放射された円錐状の光線束は交差して光を放射し、３Ｄ空間を占めるように見える３Ｄ場面の知覚を一体化して作り上げる。２Ｄアレイを使用したＩｎＩベースのディスプレイは、水平方向と垂直方向との両方における全方向視差情報を有する３Ｄ形状の再構築を可能にし、それが、一次元視差バリアまたは円筒状のレンチキュラーレンズを使用した水平視差のみを有する従来のオート・ステレオスコピック・ディスプレイとの主な違いである。１９０８年のＬｉｐｐｍａｎｎによるその刊行物以来、ＩｎＩベースの技法は、実際の場面のライトフィールドの捕捉と、アイウェア・フリー・オート・ステレオスコピック・ディスプレイにおけるその使用との両方に対して幅広く探究されてきた。ＩｎＩベースの技法は、低い横分解能および縦分解能、狭い被写界深度（ｄｅｐｔｈ ｏｆ ｆｉｅｌｄ：ＤＯＦ）、並びに狭い視野角におけるその制限で知られている。他の全ての非ステレオスコピック３Ｄディスプレイ技法と比べて、ＩｎＩ技法の簡単な光学アーキテクチャは、ＨＭＤ光学システムと統合して着用可能なライトフィールドディスプレイを作成するという魅力を有する。
この出願の発明に関連する先行技術文献情報としては、以下のものがある（国際出願日以降国際段階で引用された文献及び他国に国内移行した際に引用された文献を含む）。
（先行技術文献）
（特許文献）
（特許文献１） 米国特許出願公開第２０１０／０２８９９７０号明細書
（特許文献２） 国際公開第２０１５／１３４７４０号
（特許文献３） 米国特許第３，６３２，１８４号明細書
（特許文献４） 米国特許出願公開第２０１３／０１００５２４号明細書
（特許文献５） 米国特許出願公開第２０１５／０２７７１２９号明細書
この出願の発明に関連する先行技術文献情報としては、以下のものがある（国際出願日以降国際段階で引用された文献及び他国に国内移行した際に引用された文献を含む）。
（先行技術文献）
（特許文献）
（特許文献１） 米国特許出願公開第２０１０／０２８９９７０号明細書
（特許文献２） 国際公開第２０１５／１３４７４０号
（特許文献３） 米国特許第３，６３２，１８４号明細書
（特許文献４） 米国特許出願公開第２０１３／０１００５２４号明細書
（特許文献５） 米国特許出願公開第２０１５／０２７７１２９号明細書
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかし、他のインテグラル・イメージング・ベースのディスプレイおよびイメージング技術のように、現在のＩｎＩベースのＨＭＤ方法は、いくつかの主要な制限、すなわち（１）狭い視野（対角線上で＜３０°）、（２）低い横分解能（視覚空間において約１０分（角度））、（３）低い縦分解能（視覚空間において約０．５ディオプトリ）、（４）狭い被写界深度（ＤＯＦ）（１０分（角度）の分解能基準に対して約１ディオプトリ）、（５）クロストーク・フリー・ビューに対する限られたアイボックス（＜５ｍｍ）、および（６）視野角の限られた分解能（１ビューあたり＞２０分（角度））に直面している。これらの制限は、高性能ソリューションとして技術を取り入れることに対する深刻な障害をもたらすだけでなく、調節および輻輳の矛盾問題に対処するための技術の効力を潜在的に弱める。
【課題を解決するための手段】
【0009】
したがって、本開示は、上記で要約される最先端技術の性能限界のいくつかの態様を克服する、インテグラルイメージングに基づく高性能ヘッドマウント・ライトフィールド・ディスプレイの方法、設計および実施形態を詳述する。
【0010】
上記で説明される課題に対応して、その観点の１つにおいて、本発明は、高い横分解能および縦分解能、大きい被写界深度、クロストーク・フリー・アイボックス、並びに視野角分解能の増加を提供するインテグラルイメージングに基づく高性能ＨＭＤを提供する。この目的のために、本発明は、ヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システムであって、当該システムの光軸に沿った選択された位置において、選択された３Ｄ場面のライトフィールドを生成するように構成された超小型ＩｎＩユニット（マイクロＩｎＩ）と、リレー群であって、その内部に配置された可変焦点要素（ＶＦＥ）を有する、前記リレー群とを有する。前記リレー群は前記光軸上において前記選択された位置が光学的に共役となる位置に配置され、前記超小型ＩｎＩユニットによって生成された前記ライトフィールドを受け取って前記選択された３Ｄ場面の光軸上に中間３Ｄ場面を生成するように構成することができる。また、前記リレー群は、前記中間３Ｄ場面の光軸に沿って前記中間３Ｄ場面の位置を調整するように構成することができる。さらに、前記ヘッドマウント・ディスプレイ・システムのユーザによる観視のために、前記リレー群から受け取った前記中間３Ｄ場面を前記システムの射出瞳においてイメージングする接眼レンズ光学部品が提供される。前記超小型ＩｎＩユニット（マイクロＩｎＩ）は、制約された視野ゾーンを有する３Ｄ場面の全方向視差ライトフィールドを再現するように構成することができる。さらに、前記接眼レンズ光学部品と光学的に連通して、前記ヘッドマウント・ディスプレイ・システムのユーザによる観視のために前記接眼レンズ光学部品に実世界視野を透過するシースルーユニットが提供されてもよい。前記可変焦点要素（ＶＦＥ）は、前記射出瞳と光学的に共役な位置に配置することができる。さらに、前記システムの視野は、前記可変焦点要素（ＶＦＥ）のオプティカルパワーとは独立しており、前記可変焦点要素（ＶＦＥ）は、前記光軸上において、前記リレー群の複合オプティカルパワーが前記可変焦点要素（ＶＦＥ）のオプティカルパワーから独立して一定に維持される位置に配置することができる。また、前記リレー群は対象空間においてテレセントリックであるか、若しくはダブルテレセントリックであってもよい。前記接眼レンズ光学部品はウェッジ形状の自由曲面プリズムを有してもよい。前記ヘッドマウント・ディスプレイ・インテグラル・イメージング（ＩｎＩ）システムの対角視野は３５°であり、１つの画素あたり２分（角度）の高さの光分解能を有してもよい。
【0011】
本発明の例示的な実施形態の前述の概要および以下の詳細な説明は、添付の図面と併せて読み進めるとさらに理解することができる。
【図面の簡単な説明】
【0012】
【図4A】図４Ａ～４Ｄは、本発明による、アパーチャアレイ（図４Ａ）、プログラマブル空間光変調器（図４Ｂ）、制御自在な指向性放射エンジン（ｃｏｎｔｒｏｌｌａｂｌｅ ｄｉｒｅｃｔｉｏｎａｌ ｅｍｉｓｓｉｏｎｓ ｅｎｇｉｎｅ）を有する表示源（図４Ｃ）、および例示的な制御自在な指向性放射エンジンとしての空間光変調器を有するバックライト源（図４Ｄ）を使用することにより、光線方向制御を提供するように構築されたマイクロＩｎＩユニットの例示的な構成を概略的に示すものである。
【図4B】図４Ａ～４Ｄは、本発明による、アパーチャアレイ（図４Ａ）、プログラマブル空間光変調器（図４Ｂ）、制御自在な指向性放射エンジン（ｃｏｎｔｒｏｌｌａｂｌｅ ｄｉｒｅｃｔｉｏｎａｌ ｅｍｉｓｓｉｏｎｓ ｅｎｇｉｎｅ）を有する表示源（図４Ｃ）、および例示的な制御自在な指向性放射エンジンとしての空間光変調器を有するバックライト源（図４Ｄ）を使用することにより、光線方向制御を提供するように構築されたマイクロＩｎＩユニットの例示的な構成を概略的に示すものである。
【図4C】図４Ａ～４Ｄは、本発明による、アパーチャアレイ（図４Ａ）、プログラマブル空間光変調器（図４Ｂ）、制御自在な指向性放射エンジン（ｃｏｎｔｒｏｌｌａｂｌｅ ｄｉｒｅｃｔｉｏｎａｌ ｅｍｉｓｓｉｏｎｓ ｅｎｇｉｎｅ）を有する表示源（図４Ｃ）、および例示的な制御自在な指向性放射エンジンとしての空間光変調器を有するバックライト源（図４Ｄ）を使用することにより、光線方向制御を提供するように構築されたマイクロＩｎＩユニットの例示的な構成を概略的に示すものである。
【図4D】図４Ａ～４Ｄは、本発明による、アパーチャアレイ（図４Ａ）、プログラマブル空間光変調器（図４Ｂ）、制御自在な指向性放射エンジン（ｃｏｎｔｒｏｌｌａｂｌｅ ｄｉｒｅｃｔｉｏｎａｌ ｅｍｉｓｓｉｏｎｓ ｅｎｇｉｎｅ）を有する表示源（図４Ｃ）、および例示的な制御自在な指向性放射エンジンとしての空間光変調器を有するバックライト源（図４Ｄ）を使用することにより、光線方向制御を提供するように構築されたマイクロＩｎＩユニットの例示的な構成を概略的に示すものである。
【図6A】図６Ａ～６Ｄは、本発明による、可変焦点リレー群の一部が接眼レンズに組み込まれた自由曲面導波路型プリズムを使用した光学式シースルーＩｎＩ－ＨＭＤ設計の例示的な構成を概略的に示すものであり、図６Ａは、ディスプレイ経路レイアウトを示すものであり、図６Ｂは、シースルー・ビュー・レイアウトを示すものであり、図６Ｃは、拡張シースルービューのための導波路プリズムの区分化された裏面を示すものであり、図６Ｄは、導波路プリズムの裏面の正面図を示すものである。
【図6B】図６Ａ～６Ｄは、本発明による、可変焦点リレー群の一部が接眼レンズに組み込まれた自由曲面導波路型プリズムを使用した光学式シースルーＩｎＩ－ＨＭＤ設計の例示的な構成を概略的に示すものであり、図６Ａは、ディスプレイ経路レイアウトを示すものであり、図６Ｂは、シースルー・ビュー・レイアウトを示すものであり、図６Ｃは、拡張シースルービューのための導波路プリズムの区分化された裏面を示すものであり、図６Ｄは、導波路プリズムの裏面の正面図を示すものである。
【図6C】図６Ａ～６Ｄは、本発明による、可変焦点リレー群の一部が接眼レンズに組み込まれた自由曲面導波路型プリズムを使用した光学式シースルーＩｎＩ－ＨＭＤ設計の例示的な構成を概略的に示すものであり、図６Ａは、ディスプレイ経路レイアウトを示すものであり、図６Ｂは、シースルー・ビュー・レイアウトを示すものであり、図６Ｃは、拡張シースルービューのための導波路プリズムの区分化された裏面を示すものであり、図６Ｄは、導波路プリズムの裏面の正面図を示すものである。
【図6D】図６Ａ～６Ｄは、本発明による、可変焦点リレー群の一部が接眼レンズに組み込まれた自由曲面導波路型プリズムを使用した光学式シースルーＩｎＩ－ＨＭＤ設計の例示的な構成を概略的に示すものであり、図６Ａは、ディスプレイ経路レイアウトを示すものであり、図６Ｂは、シースルー・ビュー・レイアウトを示すものであり、図６Ｃは、拡張シースルービューのための導波路プリズムの区分化された裏面を示すものであり、図６Ｄは、導波路プリズムの裏面の正面図を示すものである。
【図7A】図７Ａ～７Ｂは、本発明によるＩｎＩ－ＨＭＤ設計構成の２Ｄ光学レイアウトの例示的な構成を概略的に示すものであり、図７Ａは、ライトフィールドディスプレイ経路を示すものであり、図７Ｂは、シースルー経路を示すものである。
【図7B】図７Ａ～７Ｂは、本発明によるＩｎＩ－ＨＭＤ設計構成の２Ｄ光学レイアウトの例示的な構成を概略的に示すものであり、図７Ａは、ライトフィールドディスプレイ経路を示すものであり、図７Ｂは、シースルー経路を示すものである。
【図8A】図８Ａ～８Ｂは、軸上のフィールド（図８Ａ）およびＭＬＡの端部の近くの最も遠いＭＬＡ（マイクロレンズアレイ）要素のフィールド（図８Ｂ）に対する３ディオプトリの再構築された中央奥行き面（ｃｅｎｔｒａｌ ｄｅｐｔｈ ｐｌａｎｅ：ＣＤＰ）深度の変調伝達関数（ｍｏｄｕｌａｔｉｏｎ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ：ＭＴＦ）プロットを示すものである。
【図8B】図８Ａ～８Ｂは、軸上のフィールド（図８Ａ）およびＭＬＡの端部の近くの最も遠いＭＬＡ（マイクロレンズアレイ）要素のフィールド（図８Ｂ）に対する３ディオプトリの再構築された中央奥行き面（ｃｅｎｔｒａｌ ｄｅｐｔｈ ｐｌａｎｅ：ＣＤＰ）深度の変調伝達関数（ｍｏｄｕｌａｔｉｏｎ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ：ＭＴＦ）プロットを示すものである。
【図9A】図９Ａ～９Ｂは、ＭＬＡに対する軸上のフィールド（図９Ａ）およびＭＬＡの端部の近くの最も遠いＭＬＡ要素のフィールド（図９Ｂ）に対する２ディオプトリの再構築されたＣＤＰ深度のＭＴＦプロットを示すものである。
【図9B】図９Ａ～９Ｂは、ＭＬＡに対する軸上のフィールド（図９Ａ）およびＭＬＡの端部の近くの最も遠いＭＬＡ要素のフィールド（図９Ｂ）に対する２ディオプトリの再構築されたＣＤＰ深度のＭＴＦプロットを示すものである。
【図10A】図１０Ａ～１０Ｂは、ＭＬＡに対する軸上のフィールド（図１０Ａ）およびＭＬＡの端部の近くの最も遠いＭＬＡ要素のフィールド（図１０Ｂ）に対する０ディオプトリの再構築されたＣＤＰ深度のＭＴＦプロットを示すものである。
【図10B】図１０Ａ～１０Ｂは、ＭＬＡに対する軸上のフィールド（図１０Ａ）およびＭＬＡの端部の近くの最も遠いＭＬＡ要素のフィールド（図１０Ｂ）に対する０ディオプトリの再構築されたＣＤＰ深度のＭＴＦプロットを示すものである。
【図11A】図１１Ａ～１１Ｂは、ＭＬＡに対する軸上のフィールド（図１１Ａ）およびＭＬＡの端部の近くの最も遠いＭＬＡ要素のフィールド（図１１Ｂ）に対するＣＤＰから０．２５ディオプトリだけシフトされた再構築ポイントのＭＴＦプロットを示すものである。
【図11B】図１１Ａ～１１Ｂは、ＭＬＡに対する軸上のフィールド（図１１Ａ）およびＭＬＡの端部の近くの最も遠いＭＬＡ要素のフィールド（図１１Ｂ）に対するＣＤＰから０．２５ディオプトリだけシフトされた再構築ポイントのＭＴＦプロットを示すものである。
【図12A】図１２Ａ～１２Ｂは、ＭＬＡに対する軸上のフィールド（図１２Ａ）およびＭＬＡの端部の近くの最も遠いＭＬＡ要素のフィールド（図１２Ｂ）に対するＣＤＰから０．５ディオプトリだけシフトされた再構築ポイントのＭＴＦプロットを示すものである。
【図12B】図１２Ａ～１２Ｂは、ＭＬＡに対する軸上のフィールド（図１２Ａ）およびＭＬＡの端部の近くの最も遠いＭＬＡ要素のフィールド（図１２Ｂ）に対するＣＤＰから０．５ディオプトリだけシフトされた再構築ポイントのＭＴＦプロットを示すものである。
【図13A】図１３Ａ～１３Ｂは、ＭＬＡに対する軸上のフィールド（図１３Ａ）およびＭＬＡの端部の近くの最も遠いＭＬＡ要素のフィールド（図１３Ｂ）に対するＣＤＰから０．７５ディオプトリだけシフトされた再構築ポイントのＭＴＦプロットを示すものである。
【図13B】図１３Ａ～１３Ｂは、ＭＬＡに対する軸上のフィールド（図１３Ａ）およびＭＬＡの端部の近くの最も遠いＭＬＡ要素のフィールド（図１３Ｂ）に対するＣＤＰから０．７５ディオプトリだけシフトされた再構築ポイントのＭＴＦプロットを示すものである。
【図14A】図１４Ａ～１４Ｂは、ＭＬＡに対する軸上のフィールド（図１４Ａ）およびＭＬＡの端部の近くの最も遠いＭＬＡ要素のフィールド（図１４Ｂ）に対するＣＤＰから１ディオプトリだけシフトされた再構築ポイントのＭＴＦプロットを示すものである。
【発明を実施するための形態】
【0013】
ここで、図を参照すると、図全体を通して同様の要素に同様に番号が付けられており、図３Ａに示されるように、本発明によるＨＭＤシステム１００は、３つの主要なサブシステム、すなわちＩ）超小型ＩｎＩユニット（マイクロＩｎＩ）１３０と、ＩＩ）リレー群１２０であって、内部に配置された、ＩｎＩユニット１３０からライトフィールドを受け取るための可変焦点要素（ＶＦＥ）１２２を有する、リレー群１２０と、ＩＩＩ）リレー群１２０から調整された中間３Ｄ場面を受け取るための接眼レンズ光学部品１１０とを含む。図３Ｂに例示されるように、マイクロＩｎＩユニット１３０は、制約された視野ゾーンから見える３Ｄ場面の全方向視差ライトフィールドを再現することができ、全方向視差ライトフィールドは、水平視線方向と垂直視線方向との両方からの３Ｄ場面の視点の変化を提供する。制約された視野ゾーンは、光学的には、マイクロＩｎＩユニット１３０のアパーチャの制限に対応し、制約された視野ゾーンは、光学的には、表示システム１００の射出瞳と共役であり、視聴者の眼は、再構築された３Ｄ場面を見るように置かれる。リレー群１２０はマイクロＩｎＩユニット１３０によって再構築された３Ｄ場面の中間像を生成し、その中央奥行き面（ｃｅｎｔｒａｌ ｄｅｐｔｈ ｐｌａｎｅ：ＣＤＰ）の位置は調整可能なようになっている。接眼レンズ１１０の倍率に応じて、ＣＤＰの位置は、光学的無限大（０ディオプトリ）～２０ｃｍ（５ディオプトリ）の近さまで広がる大きい奥行き範囲で３Ｄ場面の知覚を生成するために、約０．５ｍｍ～数百ミリメートルの大きさまでの範囲で調整可能である。また、リレー群１２０は、再構築された３Ｄ場面ＡＯＢの凹面の反転を容易にすることもできる。接眼レンズ光学部品１１０は、視聴者の眼に調整可能な３Ｄライトフィールドをリイメージングし、３Ｄライトフィールドの調整可能な奥行き範囲を数メートルの遠さから数センチメートルの近さまで間隔がある幅広い奥行き体積空間に拡大する。ビームスプリッタ機能を有する光学部品であるシースルーユニット（図示せず）は、接眼レンズ光学部品１１０と光学的に連通して、シースルービューが望ましい場合に現世界場面を遮ることのない視野を光学的に可能にする。図３ＡのマイクロＩｎＩユニット１３０は、図３Ｂにさらに例示されるように、高解像度マイクロディスプレイおよびマイクロレンズアレイ（ＭＬＡ）１３２を含む。ＭＬＡ １３２のレンズレット１３３の焦点距離は、ｆＭＬＡとして示され、マイクロディスプレイ１３４とＭＬＡ １３２との間の間隙は、ｇとして示される。２Ｄ要素画像（それぞれ３Ｄ場面ＡＯＢの異なる視点を表す）の組は、高解像度マイクロディスプレイ１３４上に表示することができる。ＭＬＡ １３２を通して、各要素画像は、空間的にインコヒーレントなオブジェクトとして機能し、要素画像の画素によって放射された円錐状の光線束は、交差して、光を放射して３Ｄ空間を占めるように見える３Ｄ場面の知覚を一体化して作り上げる。再構築されたミニチュアシーンの中央奥行き面（ＣＤＰ）（ｚ０の奥行き範囲）は、ＭＬＡ １３２から測定された距離ｌｃｄｐに位置する。そのようなＩｎＩシステム１３０は、水平方向と垂直方向との両方における視差情報による３Ｄ表面形状ＡＯＢの再構築を可能にする。ユーザの観視のため、再構築された３Ｄ場面のライトフィールド（すなわち図３Ｂの曲線ＡＯＢ）は、リレー群１２０を介して接眼レンズ光学部品１１０に光学的に結合することができる。分解能優先ＩｎＩシステム（ｆＭＬＡ≠ｇ）では、再構築された３Ｄ場面の中央奥行き面ＣＤＰは、マイクロディスプレイ１３４と光学的に共役であり、その位置は、
【0014】
【数1】
【0015】
【数2】
【0016】
図３Ａ、４Ａに示されるように、任意選択で、アパーチャアレイ１３６（ＭＬＡ １３２のピッチと整合する光線制御アパーチャのグループを含む）は、マイクロディスプレイ１３４とＭＬＡ １３２との間に挿入することができる。各マイクロレンズ１３３に対応する小さいアパーチャは、望ましくない光線が隣接マイクロレンズ１３３に達することを阻止し、または近隣の要素画像からの光線がマイクロレンズ１３３に達することを阻止するとともに、意図された視野窓内の光線が光学部品を通して伝播し、アイボックスに達することを可能にする。例えば、アパーチャＡ１ブロックとアパーチャＡ２ブロックとの間の黒いゾーンは、ポイントＰ１からの破線の光線が、レンズレットＭＬＡ１に隣接するＭＬＡ２に達することを阻止する。阻止されたこれらの光線は、典型的には、ＩｎＩ表示システムにおいて観察される視野クロストークおよびゴースト像の主要な原因である。マイクロディスプレイ１３４からアパーチャアレイ１３６までの距離は、ｇａとして示され、アパーチャ開口部の直径は、ｐａとして示され、
【0017】
【数3】
【0018】
固定アパーチャサイズを有するアパーチャアレイ１３６の使用における欠点の１つは、要素画像のサイズが変化した場合、各要素画像の端部の近くに位置する画素に対する光線を部分的に阻止する場合があることである。図４Ａに例示されるように、レンズレットＭＬＡ１を通して伝播するはずのポイントＰ１からの光線のごく一部は、アパーチャＡ１とアパーチャＡ２との間の黒いゾーンによって阻止され、視聴者が各要素画像の端部の近くのポイントに対して画像明度の低減を観察するビネッティングのような効果を引き起こす。図４Ｂは、図４Ａのものの代替の構成を示し、アパーチャアレイ１３６は、プログラマブル空間光変調器（ｓｐａｔｉａｌ ｌｉｇｈｔ ｍｏｄｕｌａｔｏｒ：ＳＬＭ）１３５と交換され、その結果、各アパーチャのサイズおよび形状は、所望の光線の部分的阻止を回避するように動的に適応させることができる。図４Ｃは、本発明によるマイクロＩｎＩユニットの別の実施形態を示し、マイクロディスプレイ１３４およびアパーチャアレイ１３６は、制御自在な指向性放射を有する表示源１３１と交換され、発光方向は、各画素からの光線がそれらの対応するＭＬＡレンズレット１３３のみに達するように精密に制御することができる。図４Ｄは、そのような表示源１３１の１つの可能な構成を実証し、空間光変調器１３５は、非指向性放射を有するバックライト源１３８と、非自発光型マイクロディスプレイ１３７との間に挿入されている。空間光変調器１３５は、マイクロディスプレイ１３７に照射され、ＭＬＡ １３２に達する光線の円錐角をプログラムおよび制御するように設定することができる。
【0019】
従来のＩｎＩベースの表示システムは、典型的には、３Ｄ再構築ポイントの奥行きがＣＤＰの奥行きからシフトしているときの空間分解能の急速な劣化による限られた被写界深度（ＤＯＦ）に直面する。例えば、３Ｄ場面の体積は、視覚空間における空間分解能を３分（角度）またはより良好に維持するために、０．５ディオプトリ未満に制限する必要がある。図３Ａの例示的な構成においてなど、高空間分解能を維持しながらはるかに大きい３Ｄ場面の体積をレンダリングするため、電子制御される可変焦点要素１２２が内側に挟まれたリレー群１２０は、マイクロＩｎＩ １３０と接眼レンズ１１０との間に挿入される。例示的なＶＦＥ １２２は、液体レンズ、液晶レンズ、可変鏡、または他の任意の調整可能な光学技術（電気的に調整可能な光学技術など）を含む。異なる電圧をＶＦＥ １２２に印加することによってリレー群１２０のオプティカルパワーφＲを動的に制御することにより、リレー群１２０は、マイクロＩｎＩ １３０によって生成された再構築されたミニチュア３Ｄ場面の中間像Ａ'Ｏ'Ｂ'を形成する。リレーされた中間場面の中央奥行き位置ＣＤＰは、接眼レンズ１１０に対して軸方向に（光軸に沿って）調整可能である。その結果、接眼レンズ１１０による拡大された３Ｄ仮想場面の奥行き体積は、高い横分解能および縦分解能を維持しながら、非常に近く（例えば、５ディオプトリ）から非常に遠く（例えば、０ディオプトリ）に軸方向にシフトすることができる。
【0020】
図５は、図３Ａのリレー群１２０などの可変焦点リレー群１２０の例示的な構成を概略的に例示し、マイクロＩｎＩユニット１３０に隣接する前部レンズ群「前部リレー」１２６と、システムストップとして機能する中間に位置するＶＦＥ光学部品１２２と、接眼レンズ１１０に隣接する後部レンズ群「後部リレー」１２４とを含む。リレー群１２０の複合パワーφＲは、
【0021】
【数4】
【0022】
【数5】
【0023】
可変焦点リレーシステムの横倍率は、
【0024】
【数6】
【0025】
φｅは、接眼レンズ１１０のオプティカルパワーであり、ＺＲＣＤＰは、リレーされたＣＤＰから接眼レンズ１１０までの距離であると想定すると、接眼レンズ１１０を通した再構築された３Ｄ仮想場面の見かけのＣＤＰ位置は、
【0026】
【数7】
【0027】
接眼レンズ１１０を通した全システムの横倍率は、
【0028】
【数8】
【0029】
接眼レンズ１１０を通した全システムの視野（ＦＯＶ）は、ＦＯＶ＝
によって与えられ、式中、ｔ３は、接眼レンズ１１０と後部リレーレンズ１２４との間の間隔であり、ｚｘｐは、射出瞳と接眼レンズ１１０との間の間隔であり、ｈ０は、再構築された場面の画像高さであり、
ｕｖｆｅ＝［（１－ｚｘｐφｅ）－（ｚｘｐ＋（１－ｚｘｐφｅ）ｔ３）φ２］およびｈｖｆｅ＝［（１－ｚｘｐφｅ）－（ｚｘｐ＋（１－ｚｘｐφｅ）ｔ３）φ２］－［（ｚｘｐ＋（１－ｚｘｐφｅ）ｔ３）φ２＋（（１－ｚｘｐφｅ）－（ｚｘｐ＋（１－ｚｘｐφｅ）ｔ３）φ２）］ｔ２
をさらに定義する。
【数9】
ｕｖｆｅ＝［（１－ｚｘｐφｅ）－（ｚｘｐ＋（１－ｚｘｐφｅ）ｔ３）φ２］およびｈｖｆｅ＝［（１－ｚｘｐφｅ）－（ｚｘｐ＋（１－ｚｘｐφｅ）ｔ３）φ２］－［（ｚｘｐ＋（１－ｚｘｐφｅ）ｔ３）φ２＋（（１－ｚｘｐφｅ）－（ｚｘｐ＋（１－ｚｘｐφｅ）ｔ３）φ２）］ｔ２
をさらに定義する。
【0030】
接眼レンズ１１０の射出瞳と光学的に共役であるようにＶＦＥ １２２を設定すると（（すなわちｈｖｆｅ＝０）、眼の入射瞳は、ディスプレイ１３４を見るように置かれ、ｈｖｆｅ＝０を有し、ＦＯＶは、ＶＦＥ １２２のオプティカルパワーから独立している。式（９）の式は、
に簡略化される。
【数10】
【0031】
図５に例示されるように、可変焦点リレー群１２０の好ましい実施形態は、ＶＦＥ １２２が接眼レンズ１１０の射出瞳と光学的に共役となるようにするために（（すなわちｈｖｆｅ＝０）、前部リレー群２６の後側焦点距離にＶＦＥ １２２を配置すること（すなわちｔ１＝１／φ１）である。この好ましい実施形態を用いると、式（４）によって与えられるリレー群１２０の複合パワーφＲは、
【0032】
【数11】
【0033】
式（６）によって与えられる可変焦点リレーシステムの横倍率は、
【0034】
【数12】
【0035】
ｔ１＝１／φ１およびｈｖｆｅ＝０の場合、システムのＦＯＶは、
にさらに簡略化される。
【数13】
【0036】
式（１０）～（１３）によって実証されるように、好ましい方法でのＶＦＥ １２２の慎重な位置決めは、物体空間テレセントリシティのプロパティによる一定の主光線方向に起因して、リレー群１２０の複合オプティカルパワーがＶＦＥ １２２のオプティカルパワーから独立して一定に維持されることを保証する。式（１３）によってさらに実証されるように、接眼レンズ１１０を通したディスプレイの対する画角は、ＶＦＥ １２２のオプティカルパワーから独立して一定にさらに維持される。リレー群１２０に対して一定のオプティカルパワーを維持することは、ＣＤＰの焦点深度に関わらず、仮想的に再構築された３Ｄ場面が一定の視野を達成する上で役立つ。したがって、視線方向連動（ｇａｚｅ－ｃｏｎｔｉｎｇｅｎｔ）または時間多重化モードにおけるシームまたはアーチファクトなしで、３Ｄ場面のはるかに大きい体積を仮想的に知覚することができる。注目すべき点は、ｔ２＝１／φ２が満たされる場合、式（１２）によって与えられるリレー群１２０の横倍率を一定にさらに維持できることであり、それにより、可変焦点リレー群１２０は、ダブル・テレセントリック・システムになる。
【0037】
図３Ａの接眼レンズ１１０は、多くの異なる形態を取ることができる。例えば、光学式シースルーＨＭＤのコンパクトな光学設計を達成するため、ウェッジ形状の自由曲面プリズムを取り入れることができ、ウェッジ形状の自由曲面プリズムを通して、マイクロＩｎＩユニット１３０およびリレー群１２０によって再構築された３Ｄ場面は、拡大されて見られる。ＡＲシステムに対するシースルー能力を可能にするため、自由曲面プリズムによって現実世界場面に導入された視軸偏位および望ましくない収差を補正するように、表面の１つがビームスプリッタコーティングでコーティングされた自由曲面補正レンズを自由曲面プリズム接眼レンズに取り付けることができる。
【0038】
本発明の別の観点では、リレー群１２０の一部は、調整可能な中間３Ｄ場面が自由曲面接眼レンズの内側に形成されるように、自由曲面接眼レンズなどの接眼レンズ光学部品１１０に組み込むことができる。それに関連して、接眼レンズは、例えば、ウェッジ形状の自由曲面導波路型プリズムである。図６Ａは、複数の自由曲面光学表面によって形成された自由曲面導波路のようなプリズム８５０の概念を概略的に例示する。射出瞳は、拡大された３Ｄ場面を見るために使用の眼が置かれる場所に位置する。設計では、ＶＦＥ １２２に続く従来のリレー群２２０の一部は、プリズム８５０に組み込まれ、「ＶＦＥを有するリレー群」とラベル付けされたボックス内に含まれる自由曲面導波路型プリズム８５０の上部８５１によって機能が果たされる。３Ｄポイント（例えば、Ａ）から放射された光線は、最初に、リレー群２２０の最も近い光学要素１２６で屈折し、プリズム８５０内に透過し、中間像（例えば、Ａ'）を生成するために１または複数の自由曲面での反射が続く。中間像（例えば、Ａ'）の軸位置は、ＶＦＥ １２２によって調整可能である。後続の表面による複数の連続的な反射および出口表面８５５を通した最終的な屈折により、光線は、システムの射出瞳に達することができる。異なる要素画像からの複数の光線束が存在するが、これらの光線束は、明らかに同じオブジェクトポイントから放射されたものであり、その束の各々は、オブジェクトの異なるビューを表し、射出瞳の異なる位置に入射する。これらの光線束は、眼の前に位置する仮想３Ｄポイント（例えば、「Ａ」）を一体化して再構築する。複数の光学要素を必要とするよりむしろ、光学経路は、多面プリズム８５０内で自然に折り曲げられ、回転対称要素を使用した設計と比べて、光学部品の全体積および重量を実質的に低減する上で役立つ。従来のウェッジ形状の３面プリズムを使用した設計と比べて、導波路のような接眼レンズ設計は、リレー機能の一部を組み込み、スタンドアロンリレー群１２０を３面プリズムと組み合わせたものよりはるかにコンパクトなシステムを可能にする。コンパクト性の利点以外に、導波路のようなマルチフォールド接眼レンズ設計は、残りのリレー群およびマイクロＩｎＩユニットを水平方向においてこめかみ側の方に折り畳む能力を可能にするため、はるかに好ましいフォームファクタを提供する。マルチフォールドは、はるかに重量バランスの取れたシステムをもたらすのみならず、ウェッジ形状のプリズムを使用するよりも実質的に大きいシースルーＦＯＶも可能にする。
【0039】
ＡＲシステムに対するシースルー能力を可能にするため、接眼レンズ部分としてマーク付けされた図６Ａのプリズム８５０の裏面の下部８５３は、ビーム分割鏡としてコーティングすることができ、少なくとも２つの自由曲面光学表面を含む自由曲面補正レンズ８４０は、自由曲面プリズム８５０によって現実世界場面に導入された視軸偏位および望ましくない収差を補正するようにプリズム８５０の裏面に取り付けることができる。シースルー概略レイアウトは、図６Ｂに示される。仮想ライトフィールドからの光線は、プリズム８５０の裏面で反射し、現実世界場面からの光線は、自由曲面補正レンズ８４０およびプリズム８５０を通して透過する。自由曲面補正レンズ８４０の前面は、プリズム８５０の裏面の形状と整合する。自由曲面補正レンズ８４０の後面は、レンズがプリズム８５０と組み合わされる際に現実世界場面から光線に導入されるシフトおよび歪みを最小化するように最適化することができる。追加の補正レンズ「補正要素（ｃｏｍｐｅｎｓａｔｏｒ）」は、全システムのフットプリントおよび重量を著しく増加することはない。
【0040】
本発明の別の観点では、接眼レンズ部分としてマーク付けされた図６Ａのプリズム８５０の裏面の下部８５３は、２つのセグメント、すなわちセグメント８５３－１およびセグメント８５３－２に分割することができる。図６Ｃに概略的に例示されるように、８５３－１のセグメントは、マイクロＩｎＩユニットによって生成されたライトフィールドを受け取る反射性または部分反射性の表面である。また、８５３－１のセグメント上のビーム分割鏡コーティングは、現実世界場面からの光線の透過も可能にする。セグメント８５３－２は、透過性または半透過性の表面であり、マイクロＩｎＩユニット１３０によって生成されたライトフィールドを受け取らず、現実世界場面からの光線のみを受け取る。図６Ｄは、プリズム８５０の裏面の正面図を概略的に例示する。２つの表面セグメント８５３－１および８５３－２は、マイクロＩｎＩユニット１３０によって再構築された３Ｄライトフィールドを受け取るために必要なアパーチャ窓の上方境界で交差し、２つの別個の自由曲面によって作ることができる。異なる光路を有する２つの別個のセグメント８５３－１、８５３－２への裏面８５３の下部の分割は、仮想ディスプレイ経路の制約を受け取ることなく、ディスプレイ経路のＦＯＶを超えてシースルービューのＦＯＶを実質的に拡大する能力を提供する。図６Ｃに示されるように、自由曲面補正レンズ８４０は、自由曲面プリズム８５０によって現実世界場面に導入された視軸偏位および望ましくない収差を補正するようにプリズム８５０の裏面に取り付けることができる。仮想ライトフィールドからの光線は、プリズム８５０の裏面のセグメント８５３－１で反射し、現実世界場面からの光線は、プリズム８５０のセグメント８５３－１および８５３－２と自由曲面補正レンズ８４０との両方を通して透過する。表面セグメント８５３－２は、自由曲面補正レンズ８４０と組み合わされる際にシースルービューの視覚的アーチファクトを最小化するように最適化することができる。自由曲面補正レンズ８４０の前面は、プリズム８５０の表面セグメント８５３－１および８５３－２の形状と整合する。自由曲面補正レンズ８４０の後面は、自由曲面補正レンズ８４０がプリズム８５０と組み合わされる際に現実世界場面から光線に導入されるシフトおよび歪みを最小化するように最適化することができる。
【0041】
本発明のさらなる別の観点によれば、図７Ａは、図６Ａの概念システムを具体化する物理システムの光学設計を概略的に例示する。図７Ａは、ライトフィールドディスプレイ経路の２Ｄ光学レイアウトを例示し、図７Ｂは、シースルー経路の光学レイアウトを示す。ライトフィールドディスプレイの光学システムは、マイクロＩｎＩユニット、ＶＦＥを有するリレー群、および自由曲面導波路を含む。リレー群の一部は、導波路に組み込むことができる。マイクロＩｎＩユニットは、マイクロディスプレイＳ０、ピンホールアレイＳ１、およびマイクロレンズアレイＳ２を含む。リレー群は、４つのレンズと、市販のＶＦＥ（Ｏｐｔｏｔｕｎｅ Ｉｎｃ．によるＥｌｅｃｔｒｉｃａｌ Ｌｅｎｓ ＥＬ１０－３０）と、２つの自由曲面（表面Ｓ１９およびＳ２０）とを含む。自由曲面導波路型プリズム９００は、Ｓ１９、Ｓ２０、Ｓ２１、およびＳ２２としてそれぞれラベル付けされた複数の自由曲面光学表面によって形成することができる。本設計では、ＶＦＥに続く従来のリレー群の一部は、プリズム９００に組み込むことができ、表面Ｓ１９およびＳ２０によって機能を果たすことができる。３Ｄポイント（例えば、Ａ）から放射された光線は、最初に、プリズム９００の表面Ｓ１９で屈折し、中間像（例えば、Ａ'）を生成するために表面Ｓ２０での反射が続く。中間像（例えば、Ａ'）の軸位置は、ＶＦＥによって調整可能である。表面Ｓ２１'およびＳ２２－１でのもう２つの連続的な反射並びに表面Ｓ２１を通した最終的な屈折により、光線は、システムの射出瞳に達することができる。異なる要素画像からの複数の光線束が存在するが、これらの光線束は、明らかに同じオブジェクトポイントから放射され、その各々は、オブジェクトの異なるビューを表し、射出瞳の異なる位置に入射する。これらの光線束は、眼の前に位置する仮想３Ｄポイントを一体化して再構築する。導波路の表面Ｓ２１'で反射した光線は、全内部反射の条件を満たす必要がある。プリズム９００の裏面Ｓ２２－１、Ｓ２２－２は、現実世界場面のビューを阻止する没入型ＨＭＤシステムを構築するために、ミラーコーティングでコーティングすることができる。或いは、表面Ｓ２２－１は、図７Ｂに示されるように、補助レンズを使用した光学式シースルー能力が望ましい場合、ビームスプリッタコーティングでコーティングすることができる。
【0042】
本明細書で開示される設計では、Ｚ軸は、視線方向に沿い、Ｙ軸は、左右の瞳孔を結ぶ方向と位置合わせされた水平方向に平行であり、およびＸ軸は、頭の向きと位置合わせされた垂直方向にあることに留意すべきである。その結果、全導波路システムは、水平（ＹＯＺ）平面に対して対称であり、光学表面（Ｓ１９、Ｓ２０、Ｓ２１、およびＳ２２）は、水平なＹ軸に沿って非共軸であり、且つ垂直なＸ軸を中心として回転する。光学経路は、水平なＹＯＺ平面において折り曲げられる。この配置により、マイクロＩｎＩユニットおよび可変焦点リレー群は、ユーザの頭のこめかみ側に装着することができ、バランスの取れた人間工学的なシステムパッケージングを提供することができる。
【0043】
表１は、図７Ａのシステムの重要な性能仕様のいくつかを強調する。システムは、３Ｄ場面の真の３Ｄライトフィールドをレンダリングする能力を提供し、３５°の対角線のＦＯＶに対しており、視覚空間において１つの画素あたり２分（角度）の高さの光分解能を達成する。その上、システムは、単眼ディスプレイに対して約０．１ディオプトリの高い縦分解能を有し、０～５ディオプトリで調整可能な大きい奥行き範囲を提供する。その上、システムは、約０．５／ｍｍ２の高いビュー密度（ｖｉｅｗ ｄｅｎｓｉｔｙ）を達成し、ビュー密度σは、射出瞳の単位面積あたりの一意のビューの数として定義され、
によって与えられ、式中、Ｎは、ビューの総数であり、ＡＸＰは、表示システムの射出瞳の面積である。０．５／ｍｍ２のビュー密度は、０．２ディオプトリの距離に位置するオブジェクトに対する約１分（角度）の視野角分解能に等しい。クロストーク・フリー・ビューに対する射出瞳直径（ディスプレイのアイボックスとしても知られている）は、約６ｍｍである。この実施形態では、射出瞳直径は、市販のＶＦＥのアパーチャサイズによって制限され、別のより大きいアパーチャのＶＦＥを取り入れる場合、増加することができる。最後に、システムは、大きいシースルーＦＯＶ（水平方向に６５°および垂直方向に４０°より大きい）を提供する。本発明者らのプロトタイプで利用されるマイクロディスプレイは、８μｍのカラー画素および１９２０×１０８０の画素解像度を有する０．７インチ（約１．７７８ｃｍ）の有機発光ディスプレイ（ｏｒｇａｎｉｃ ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｓｐｌａｙ：ＯＬＥＤ）（ＳｏｎｙによるＥＣＸ３３５Ａ）である。しかし、光学設計自体は、異なる寸法のＯＬＥＤパネルまたは他のタイプのマイクロディスプレイ（６μｍより大きいカラー画素サイズを有する液晶ディスプレイなど）をサポートすることができる。
【数14】
【0044】
【表1】
【0045】
表２～５では、光学表面データの形態で図７Ａのシステムの例示的な実装形態が提供される。表２は、ディスプレイ経路の基本的なパラメータを要約する（単位：ｍｍ）。表３～５は、非球面の光学表面を定義する最適化係数を提供する。
【0046】
【表2】
【0047】
６μｍの小ささの画素を有する高解像度マイクロディスプレイは、高解像度の仮想再構築３Ｄ画像を達成するために取り入れられる。マイクロＩｎＩユニットに対するそのような高解像度画像を達成するため、具体的には、非球面によって形成されたマイクロレンズアレイ（ＭＬＡ）を設計することができる。ＭＬＡの非球面の各々は、
【0048】
【数15】
【0049】
【表3】
【0050】
シースルーＦＯＶの拡大を可能にするため、自由曲面導波路型プリズム９００は、表面Ｓ１９、Ｓ２０、Ｓ２１／Ｓ２１'、Ｓ２２－１、Ｓ２２－２とそれぞれラベル付けされた５つの自由曲面によって形成することができる。自由曲面補正レンズは、２つの自由曲面によって形成することができ、前面は、導波路プリズム９００の表面Ｓ２２－１およびＳ２２－２と同じ表面仕様を共有し、裏面は、表面Ｓ２３と示される。Ｓ２２－１の表面セグメントは、マイクロＩｎＩユニットによって生成されたライトフィールドを受け取る反射性または部分反射性の表面である。また、Ｓ２２－１のセグメント上のビーム分割鏡コーティングは、シースルー能力に対する現実世界場面からの光線の透過も可能にする。表面セグメントＳ２２－２は、透過性または半透過性の表面であり、マイクロＩｎＩユニットによって生成されたライトフィールドを受け取らず、現実世界場面からの光線のみを受け取る。
【0051】
Ｓ１９、Ｓ２０、Ｓ２１／Ｓ２１'、Ｓ２２－１、Ｓ２３を含む自由曲面は、
【0052】
【数16】
【0053】
設計プロセス中、表面セグメントＳ２２－１に対する仕様は、マイクロＩｎＩユニット、リレーレンズ群、および表面Ｓ１９、Ｓ２０、Ｓ２１／２１'、Ｓ２２－１から構成されるプリズム９００を通したライトフィールドディスプレイ経路の最適化後に得られた。最初に、ライトフィールドディスプレイ経路に対して、表面Ｓ２０およびＳ２２－１の必要なアパーチャ寸法が決定された。次いで、表面Ｓ２２－２が作成されたＳｏｌｉｄｗｏｒｋｓ（登録商標）などの３Ｄモデリングソフトウェアに表面Ｓ２０、Ｓ２１、Ｓ２２－１がインポートされた。表面Ｓ２２－２の形状は、次の要件、すなわち（１）ディスプレイ経路によって定義された表面Ｓ２２－１に必要なアパーチャの上方境界線に沿ってまたは上方境界線の上方で表面Ｓ２２－１と交差すること、（２）表面Ｓ２２－２と表面Ｓ２２－２との間の交差線に沿って、表面Ｓ２２－２上の交点における表面傾斜がほぼ整合することであるが、等しくない場合、表面Ｓ２２－１上のそれらの対応する点が、２つの表面がほぼ連続しているように見えることを保証し、それにより、整合する自由曲面補正レンズと組み合わされた際にシースルービューに対する視覚的アーチファクトが最小化されること、（３）表面Ｓ２２－２が、ディスプレイ経路によって定義された表面Ｓ２０に必要なアパーチャの下方境界線に沿ってまたは下方境界線の下方で表面Ｓ２０と交差すること、（４）表面Ｓ２１およびＳ２２－２間の全体的な厚さが最小化されることを満たすことにより、モデリングソフトウェアにおいて作成された。最後に、閉鎖性の自由曲面導波路型プリズムを作成するため、表面Ｓ２２－２の自由曲面形状は、表面Ｓ１９、Ｓ２０、Ｓ２１／２１'、Ｓ２２－１と組み合わされた３Ｄモデリングソフトウェアにおいて得られる。図７Ｂは、上記で説明される方法を通して、実質的に拡大されたシースルーＦＯＶを実証した。
【0054】
【表4】
【0055】
【表5】
【0056】
【表6】
【0057】
【表7】
【0058】
【表8】
【0059】
【表9】
【0060】
設計プロセス中、３つの代表波長４６５ｎｍ、５５０ｎｍ、６３０ｎｍが選択され、それらの波長は、選択されたＯＬＥＤマイクロディスプレイ内の青色、緑色および赤色エミッタのピーク発光スペクトルに対応する。ＭＬＡの合計で２１個のレンズレットがサンプリングされ、各々は、９つの要素画像ポイントを表し、合計で１８９のフィールドサンプルになる。画質を評価するため、接眼レンズと同じ倍率を有する理想的なレンズがシステムの射出瞳（視野窓）に配置され、それにより最終的な画像に対して２０．８３ｌｐ／ｍｍのカットオフ周波数が生じる（マイクロディスプレイの画素サイズによって制限される）。設計されたシステムの光学性能は、３つの設計波長に対する代表画角で評価された。調整可能なレンズＶＦＥの倍率を変更することにより、光学性能の著しい変性をもたらすことなく、中央奥行き面を大きい範囲（例えば、０～３ディオプトリ）で軸方向にシフトすることができる。図８～１０は、３、１、および０ディオプトリの深度でそれぞれ設定されたＣＤＰ上で再構築されたポイントに対する多色変調伝達関数（ＭＴＦ）をプロットする。各ＣＤＰ位置に対し、２組のＭＴＦがプロットされ、１つは、軸上ＭＬＡに対応するフィールドに対するものであり、１つは、端部の近くの最も遠いＭＬＡに対応するフィールドに対するものである。
【0061】
他方では、特定の調整可能な状態に対して再構築画像が中央奥行き面からシフトされる際に３Ｄ再構築ポイントの画質がどのように劣化するかを評価することが等しく重要である。これは、調整可能なレンズの倍率を変更することなく、中央奥行き面をわずかな距離だけシフトすることによって評価することができる。図１１～１４は、ＣＤＰから０．２５、０．５、０．７５、および１ディオプトリだけそれぞれシフトされた再構築ポイントに対する多色ＭＴＦをプロットする。各深度に対し、２組のＭＴＦがプロットされ、１つは、軸上ＭＬＡに対応するフィールドに対するものであり、１つは、端部の近くの最も遠いＭＬＡに対応するフィールドに対するものである。
【0062】
図１５は、６５°×４０°のＦＯＶに対する多色ＭＴＦをプロットする。ＦＯＶ全体にわたり、シースルー経路は、３０サイクル／度の周波数で５０％を超える平均ＭＴＦ値を達成し（２０／２０の正常視力に対応する）、６０サイクル／度の周波数でほぼ２０％の平均ＭＴＦ値を達成した（２０／１０の視力または０．５分（角度）の視力に対応する）。
【図1】
【図2】
【図3A】
【図3B】
【図4A】
【図4B】
【図4C】
【図4D】
【図5】
【図6A】
【図6B】
【図6C】
【図6D】
【図7A】
【図7B】
【図8A】
【図8B】
【図9A】
【図9B】
【図10A】
【図10B】
【図11A】
【図11B】
【図12A】
【図12B】
【図13A】
【図13B】
【図14A】
【図14B】
【図15】