IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ マジック リープ, インコーポレイテッドの特許一覧

特許7408621ディスプレイの両眼変形補償のためのシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-22
(45)【発行日】2024-01-05
(54)【発明の名称】ディスプレイの両眼変形補償のためのシステムおよび方法
(51)【国際特許分類】
   G02B 27/02 20060101AFI20231225BHJP
   H04N 5/64 20060101ALI20231225BHJP
【FI】
G02B27/02 Z
H04N5/64 511A
【請求項の数】 40
(21)【出願番号】P 2021500729
(86)(22)【出願日】2019-07-15
(65)【公表番号】
(43)【公表日】2021-11-11
(86)【国際出願番号】 US2019041795
(87)【国際公開番号】W WO2020014700
(87)【国際公開日】2020-01-16
【審査請求日】2022-07-14
(31)【優先権主張番号】62/698,015
(32)【優先日】2018-07-13
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】514108838
【氏名又は名称】マジック リープ, インコーポレイテッド
【氏名又は名称原語表記】Magic Leap,Inc.
【住所又は居所原語表記】7500 W SUNRISE BLVD,PLANTATION,FL 33322 USA
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】エドウィン, ライオネル アーネスト
(72)【発明者】
【氏名】ミラー, サミュエル エー.
【審査官】岩村 貴
(56)【参考文献】
【文献】国際公開第2018/048822(WO,A1)
【文献】米国特許出願公開第2010/0302276(US,A1)
【文献】米国特許出願公開第2018/0098056(US,A1)
【文献】国際公開第2017/123793(WO,A1)
【文献】特開2010-048998(JP,A)
【文献】米国特許出願公開第2014/0375681(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G02B 27/01-27/02
H04N 5/64
(57)【特許請求の範囲】
【請求項1】
エンドユーザによって使用される仮想画像生成システムのためのディスプレイサブシステムであって、
第1の導波管装置および第2の導波管装置と、
第1の投影サブアセンブリおよび第2の投影サブアセンブリであって、前記第1の投影サブアセンブリおよび第2の投影サブアセンブリは、少なくとも第1の光線および少なくとも第2の光線が、それぞれ、前記第1の導波管装置および第2の導波管装置から出射し、第1の単眼画像および第2の単眼画像を両眼画像として前記エンドユーザに表示するように、第1の光ビームおよび第2の光ビームを、それぞれ、前記第1の導波管装置および第2の導波管装置の中に導入するように構成される、第1の投影サブアセンブリおよび第2の投影サブアセンブリと、
光感知アセンブリであって、前記光感知アセンブリは、前記両眼画像として表示される第1の単眼画像および第2の単眼画像の間の不整合を示す少なくとも1つのパラメータを検出するように構成される、光感知アセンブリと
を備え、
前記光感知アセンブリは、前記第1の導波管装置および第2の導波管装置から外部結合された光を別個に検出するように構成される2つの独立感知配列を備える、ディスプレイサブシステム。
【請求項2】
前記第1の投影サブアセンブリおよび第2の投影サブアセンブリはそれぞれ、光を生成するように構成される1つ以上の光源と、前記光を個別の光ビームへとコリメートし、前記個別の光ビームを個別の導波管装置の中に結合するように構成される光学結合アセンブリとを備える、請求項1に記載のディスプレイサブシステム。
【請求項3】
各光学結合アセンブリは、個別の光を個別のコリメートされた光ビームへとコリメートするように構成されるコリメーション要素と、前記個別のコリメートされた光ビームを前記個別の導波管装置の中に光学的に結合するように構成される内部結合要素(ICE)とを備える、請求項2に記載のディスプレイサブシステム。
【請求項4】
前記第1の導波管装置および第2の導波管装置はそれぞれ、その中で個別のICEが、前記個別のコリメートされた光ビームを内部結合された光ビームとして光学的に結合するように構成される平面光学導波管と、個別の内部結合された光ビームを複数の直交光ビームに分裂させるために、前記平面光学導波管と関連付けられる直交瞳拡張(OPE)要素と、前記複数の直交光ビームを個別の平面光学導波管から出射する光線に分裂させるために、前記平面光学導波管と関連付けられる射出瞳拡張(EPE)要素とを備える、請求項3に記載のディスプレイサブシステム。
【請求項5】
前記個別の平面光学導波管は、光学的透明材料の単一板面から形成される単一基板を備える、請求項4に記載のディスプレイサブシステム。
【請求項6】
前記第1の導波管装置および第2の導波管装置は、それぞれ、前記エンドユーザの眼と周囲環境との間の視野内に位置付けられるように構成される部分的に透明なディスプレイ表面を有する、請求項1に記載のディスプレイサブシステム。
【請求項7】
前記エンドユーザによって装着されるように構成されるフレーム構造をさらに備え、前記第1の導波管装置および第2の導波管装置は、前記フレーム構造によって担持される左接眼レンズおよび右接眼レンズである、請求項1に記載のディスプレイサブシステム。
【請求項8】
前記フレーム構造は、前記左接眼レンズおよび右接眼レンズを担持するフレームと、その上に前記光感知アセンブリが添着されるブリッジとを備える、請求項7に記載のディスプレイサブシステム。
【請求項9】
前記フレーム構造は、前記ブリッジから延在する左カンチレバー式アームおよび右カンチレバー式アームを備え、前記左接眼レンズは、第1のカンチレバー式アームに添着され、第2の接眼レンズは、第2のカンチレバー式アームに添着される、請求項8に記載のディスプレイサブシステム。
【請求項10】
前記光感知アセンブリは、前記第1の導波管装置および第2の導波管装置に光学的に結合されるが、前記第1の導波管装置および第2の導波管装置から剛性的にデカップルされる、請求項7に記載のディスプレイサブシステム。
【請求項11】
前記第1の導波管装置および第2の導波管装置はそれぞれ、個別の第1の導波管装置および第2の導波管装置からの光を光感知アセンブリに光学的に結合するように構成される外部結合要素を備え、前記少なくとも1つの検出されるパラメータは、前記第1の導波管装置および第2の導波管装置から外部結合された光から導出される、請求項1に記載のディスプレイサブシステム。
【請求項12】
前記光感知アセンブリは、少なくとも1つの非結像センサを備え、前記少なくとも1つの検出されるパラメータは、前記少なくとも第1の光線が前記第1の導波管装置から出射する角度と、前記少なくとも第2の光線が前記第2の導波管装置から出射する角度とを示す、請求項1に記載のディスプレイサブシステム。
【請求項13】
前記少なくとも1つの検出されるパラメータは、それぞれ、前記少なくとも第1の光線および前記少なくとも第2の光線を表す2つの光線の強度を含む、請求項12に記載のディスプレイサブシステム。
【請求項14】
2つの代表的光線は、それぞれ、前記エンドユーザの視野外で、前記第1の導波管装置および第2の導波管装置から出射する、請求項13に記載のディスプレイサブシステム。
【請求項15】
前記光感知アセンブリは、少なくとも1つの結像センサを備え、前記少なくとも1つの検出されるパラメータは、それぞれ、前記第1の導波管装置および第2の導波管装置によって生成される第1の代表的仮想単眼画像および第2の代表的仮想単眼画像を含む、請求項1に記載のディスプレイサブシステム。
【請求項16】
前記第1の代表的仮想単眼画像および第2の代表的仮想単眼画像は、前記エンドユーザに表示される第1の仮想単眼画像および第2の仮想単眼画像の同じコピーである、請求項15に記載のディスプレイサブシステム。
【請求項17】
前記第1の代表的仮想単眼画像および第2の代表的仮想単眼画像は、前記エンドユーザに表示される第1の仮想単眼画像および第2の仮想単眼画像と別個の試験仮想単眼画像である、請求項15に記載のディスプレイサブシステム。
【請求項18】
前記試験仮想単眼画像は、前記エンドユーザの視野外で、個別の第1の導波管装置および第2の導波管装置によって表示される、請求項17に記載のディスプレイサブシステム。
【請求項19】
仮想画像生成システムであって、
請求項1に記載のディスプレイサブシステムと、
制御サブシステムであって、前記制御サブシステムは、前記光感知アセンブリによって検出された少なくとも1つのパラメータに基づいて、前記第1の単眼画像および第2の単眼画像の間の不整合を補正するように構成される、制御サブシステムと
を備える、仮想画像生成システム。
【請求項20】
前記第1の導波管装置および第2の導波管装置のための較正プロファイルを記憶するように構成されるメモリをさらに備え、前記制御サブシステムは、前記記憶された較正プロファイルを修正することによって、前記第1の単眼画像および第2の単眼画像の間の不整合を補正するように構成される、請求項19に記載の仮想画像生成システム。
【請求項21】
3次元場面を記憶するように構成されるメモリをさらに備え、前記制御サブシステムは、前記3次元場面の複数の合成画像フレームをレンダリングするように構成され、前記ディスプレイサブシステムは、前記複数の合成画像フレームを前記エンドユーザに順次表示するように構成される、請求項19に記載の仮想画像生成システム。
【請求項22】
エンドユーザによる使用のための仮想画像生成システムであって、
左接眼レンズおよび右接眼レンズと、
左投影サブアセンブリおよび右投影サブアセンブリであって、前記左投影サブアセンブリおよび右投影サブアセンブリは、左単眼画像および右単眼画像が、両眼画像として前記エンドユーザに表示されるように、光を前記左接眼レンズおよび右接眼レンズの中に投影するように構成される、左投影サブアセンブリおよび右投影サブアセンブリと、
光感知アセンブリであって、前記光感知アセンブリは、前記両眼画像として表示される左単眼画像および右単眼画像の間の不整合を示す少なくとも1つのパラメータを検出するように構成される、光感知アセンブリと、
前記エンドユーザによって装着されるように構成されるフレーム構造であって、前記フレーム構造は、それぞれ、前記左接眼レンズおよび右接眼レンズを前記エンドユーザの眼の正面に位置付けるように構成される、フレーム構造と、
制御サブシステムであって、前記制御サブシステムは、前記光感知アセンブリによって検出された少なくとも1つの検出されるパラメータに基づいて、前記左単眼画像および右単眼画像の間の不整合を補正するように構成される、制御サブシステムと
を備え、
前記光感知アセンブリは、前記左接眼レンズおよび右接眼レンズから外部結合された光を別個に検出するように構成される2つの独立感知配列を備える、仮想画像生成システム。
【請求項23】
前記左投影サブアセンブリおよび右投影サブアセンブリはそれぞれ、光を生成するように構成される1つ以上の光源と、前記光を個別の光ビームへとコリメートし、前記個別の光ビームを個別の接眼レンズの中に結合するように構成される光学結合アセンブリとを備える、請求項22に記載の仮想画像生成システム。
【請求項24】
各光学結合アセンブリは、個別の光を個別のコリメートされた光ビームへとコリメートするように構成されるコリメーション要素と、前記個別のコリメートされた光ビームを前記個別の接眼レンズの中に光学的に結合するように構成される内部結合要素(ICE)とを備える、請求項23に記載の仮想画像生成システム。
【請求項25】
前記左接眼レンズおよび右接眼レンズはそれぞれ、その中で個別のICEが、前記個別のコリメートされた光ビームを内部結合された光ビームとして光学的に結合するように構成される平面光学導波管と、個別の内部結合された光ビームを複数の直交光ビームに分裂させるために、前記平面光学導波管と関連付けられる直交瞳拡張(OPE)要素と、前記複数の直交光ビームを個別の平面光学導波管から出射する光線に分裂させるために、前記平面光学導波管と関連付けられる射出瞳拡張(EPE)要素とを備える、請求項24に記載の仮想画像生成システム。
【請求項26】
前記個別の平面光学導波管は、光学的透明材料の単一板面から形成される単一基板を備える、請求項25に記載の仮想画像生成システム。
【請求項27】
前記左投影サブアセンブリおよび右投影サブアセンブリは、前記フレーム構造によって担持され、前記光感知アセンブリは、前記フレーム構造によって担持される、請求項22に記載の仮想画像生成システム。
【請求項28】
前記フレーム構造は、前記左接眼レンズおよび右接眼レンズを担持するフレームと、その上に前記光感知アセンブリが添着されるブリッジとを備える、請求項22に記載の仮想画像生成システム。
【請求項29】
前記フレーム構造は、前記ブリッジから延在する左カンチレバー式アームおよび右カンチレバー式アームを備え、前記左接眼レンズは、前記左カンチレバー式アームに添着され、前記右接眼レンズは、前記右カンチレバー式アームに添着される、請求項28に記載の仮想画像生成システム。
【請求項30】
前記光感知アセンブリは、前記左接眼レンズおよび右接眼レンズに光学的に結合されるが、前記左接眼レンズおよび右接眼レンズから剛性的にデカップルされる、請求項22に記載の仮想画像生成システム。
【請求項31】
前記左接眼レンズおよび右接眼レンズはそれぞれ、個別の左接眼レンズおよび右接眼レンズからの光を前記光感知アセンブリに光学的に結合するように構成される外部結合要素を備え、前記少なくとも1つの検出されるパラメータは、前記左接眼レンズおよび右接眼レンズから外部結合された光から導出される、請求項22に記載の仮想画像生成システム。
【請求項32】
前記光感知アセンブリは、少なくとも1つの非結像センサを備え、前記少なくとも1つの検出されるパラメータは、光線が前記左接眼レンズから出射する角度と、第2の光線が前記右接眼レンズから出射する角度とを示す、請求項22に記載の仮想画像生成システム。
【請求項33】
前記少なくとも1つの検出されるパラメータは、それぞれ、第1の光線および第2の光線を表す2つの光線の強度を含む、請求項32に記載の仮想画像生成システム。
【請求項34】
代表的光線は、それぞれ、前記エンドユーザの視野外で、前記左接眼レンズおよび右接眼レンズから出射する、請求項33に記載の仮想画像生成システム。
【請求項35】
前記光感知アセンブリは、少なくとも1つの結像センサを備え、前記少なくとも1つの検出されるパラメータは、それぞれ、前記左接眼レンズおよび右接眼レンズによって生成される左代表的仮想単眼画像および右代表的仮想単眼画像を含む、請求項22に記載の仮想画像生成システム。
【請求項36】
前記左代表的仮想単眼画像および右代表的仮想単眼画像は、前記エンドユーザに表示される左仮想単眼画像および右仮想単眼画像の同じコピーである、請求項35に記載の仮想画像生成システム。
【請求項37】
前記左代表的仮想単眼画像および右代表的仮想単眼画像は、前記エンドユーザに表示される左仮想単眼画像および右仮想単眼画像と別個の試験仮想単眼画像である、請求項35に記載の仮想画像生成システム。
【請求項38】
前記試験仮想単眼画像は、前記エンドユーザの視野外で、個別の左接眼レンズおよび右接眼レンズによって表示される、請求項37に記載の仮想画像生成システム。
【請求項39】
前記左接眼レンズおよび右接眼レンズのための較正プロファイルを記憶するように構成されるメモリをさらに備え、前記制御サブシステムは、前記記憶された較正プロファイルを修正することによって、前記左単眼画像および右単眼画像の間の不整合を補正するように構成される、請求項22に記載の仮想画像生成システム。
【請求項40】
3次元場面を記憶するように構成されるメモリをさらに備え、前記制御サブシステムは、前記3次元場面の複数の合成画像フレームをレンダリングするように構成され、前記左接眼レンズおよび右接眼レンズは、前記複数の合成画像フレームを前記エンドユーザに順次表示するように構成される、請求項22に記載の仮想画像生成システム。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
本開示は、2018年7月13日に出願され、「SYSTEMS AND METHODS FOR DISPLAY BINOCULAR DEFORMATION COMPENSATION」と題された、米国仮出願第62/698,015号の優先権を主張する。本願は、完全に記載される場合と同様に、以下の特許出願および刊行物、すなわち、2014年11月27日に出願され、2015年7月23日に米国特許公開第2015/0205126号として公開された、米国特許出願第14/555,585号、2016年9月23日に出願され、2017年3月30日に米国特許公開第2017/0091996号として公開された、米国特許出願第15/274,823号、2016年11月2日に出願され、2017年5月4日に米国特許公開第2017/0124928号として公開された、米国特許出願第15/341,822号、2016年11月2日に出願され、2017年5月4日に米国特許公開第2017/0122725号として公開された、米国特許出願第15/341,760号、2017年1月12日に出願され、2017年7月13日に米国特許公開第2017/0199384号として公開された、米国特許出願第15/405,146号、2017年12月21日に出願された、米国仮特許出願第62/609,242号、2018年12月21日に出願され、2019年6月27日に米国特許公開第2019/0197982号として公開された、米国特許出願第16/230,169号、2019年1月17日に出願された、米国仮特許出願第16/250,931号、2019年1月17日に出願された、米国仮特許出願第16/251,017号、2018年7月13日に出願された、米国仮特許出願第62/698,015号、2018年12月19日に出願され、2019年6月20日に米国特許公開第2019/0187490号として公開された、米国特許出願第16/225,961号、2018年7月9日に出願され、2018年11月29日に米国特許公開第2018/0341112号として公開された、米国特許出願第16/030,713号、2019年6月11日に出願された、米国特許出願第16/437,229号、および2014年11月27日に出願され、2015年7月23日に米国特許公開第2015/0205126号として公開された、米国特許出願第14/555,585号のそれぞれの全体を参照することによって組み込む。
【0002】
本発明は、概して、1人以上のユーザのための双方向仮想または拡張現実環境を促進するように構成される、システムおよび方法に関する。
【背景技術】
【0003】
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式でユーザに提示される。仮想現実(VR)シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴う一方、拡張現実(AR)シナリオは、典型的には、エンドユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。
【0004】
例えば、図1を参照すると、拡張現実場面4が、描写されており、AR技術のユーザには、背景における人々、木々、建物を特徴とする実世界公園状設定6と、コンクリートプラットフォーム8とが見える。これらのアイテムに加え、AR技術のエンドユーザはまた、実世界プラットフォーム8上に立っているロボット像10と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ12とを「見ている」と知覚するが、これらの要素10、12は、実世界には存在しない。ヒトの視知覚系は、非常に複雑であって、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、VRまたはAR技術の生成は、困難である。
【0005】
VRおよびARシステムは、典型的には、エンドユーザの頭部に少なくとも緩く結合され、したがって、ユーザの頭部が移動すると移動する、頭部装着型ディスプレイ(またはヘルメット搭載型ディスプレイまたはスマートグラス)を採用する。エンドユーザの頭部の運動が、ディスプレイサブシステムによって検出される場合、表示されているデータは、頭部の姿勢(すなわち、ユーザの頭部の配向および/または場所)の変化を考慮するように更新されることができる。
【0006】
実施例として、頭部装着型ディスプレイを装着しているユーザが、3次元(3D)オブジェクトの仮想表現をディスプレイ上で視認し、3Dオブジェクトが現れる面積の周囲を歩く場合、その3Dオブジェクトは、視点毎に再レンダリングされ、エンドユーザに、実空間を占有するオブジェクトの周囲を歩いているという知覚を与えることができる。頭部装着型ディスプレイが、複数のオブジェクトを仮想空間内に提示するために使用される場合(例えば、豊かな仮想世界)、場面を再レンダリングして、エンドユーザの動的に変化する頭部の場所および配向に合致し、仮想空間で増加した没入感を提供するために、頭部の姿勢の測定を使用することができる。
【0007】
AR(すなわち、実および仮想要素の同時視認)を可能にする頭部装着型ディスプレイは、いくつかの異なるタイプの構成を有することができる。多くの場合、「ビデオシースルー」ディスプレイと称される、1つのそのような構成では、カメラが、実際の場面の要素を捕捉し、コンピューティングシステムが、仮想要素を捕捉された実場面上に重畳し、非透明ディスプレイが、複合画像を眼に提示する。別の構成は、多くの場合、「光学シースルー」ディスプレイと称され、エンドユーザは、ディスプレイサブシステム内の透明(または半透明)要素を通して見て、環境内の実オブジェクトからの光を直接視認することができる。多くの場合、「結合器」と称される、透明要素は、実世界のエンドユーザの視点にわたってディスプレイからの光を重畳する。
【0008】
VRおよびARシステムは、典型的には、投影サブシステムと、エンドユーザの視野の正面に位置付けられ、投影サブシステムが画像フレームを連続して投影する、ディスプレイ表面とを有する、ディスプレイサブシステムを採用する。真の3次元システムでは、ディスプレイ表面の深度は、フレームレートまたはサブフレームレートにおいて制御されることができる。投影サブシステムは、その中に1つ以上の光源からの光が異なる色の光を定義されたパターンで放出する、1つ以上の光ファイバと、光ファイバを所定のパターンで走査し、エンドユーザに連続して表示される画像フレームを作成する、走査デバイスとを含んでもよい。
【0009】
一実施形態では、ディスプレイサブシステムは、ユーザの視野と略平行であって、その中に光ファイバからの光が投入される、1つ以上の平面光学導波管を含む。1つ以上の線形回折格子が、導波管内に埋設され、導波管に沿って伝搬する入射光の角度を変化させる。光の角度を全内部反射(TIR)の閾値を超えて変化させることによって、光は、導波管の1つ以上の側方面から逃散する。線形回折格子は、低回折効率を有し、したがって、光が線形回折格子に遭遇する度に、一部の光エネルギーのみが、導波管から指向される。格子に沿った複数の場所において光を外部結合することによって、ディスプレイサブシステムの射出瞳は、効果的に増加される。ディスプレイサブシステムはさらに、光ファイバから生じる光をコリメートする、1つ以上のコリメーション要素と、コリメートされた光を導波管の縁にまたはそこから光学的に結合する、光学入力装置とを備えてもよい。
【発明の概要】
【課題を解決するための手段】
【0010】
本開示は、ARまたはVRシステムのコンポーネントであるデバイス等のディスプレイデバイス内で生じる、両眼変形を補償するための技法を説明する。
【0011】
少なくともいくつかの実施形態は、エンドユーザによって使用される仮想画像生成システムのためのディスプレイサブシステムを対象とする。サブシステムは、第1および第2の導波管装置と、少なくとも第1の光線および少なくとも第2の光線が、それぞれ、第1および第2の導波管装置から出射し、第1および第2の単眼画像を両眼画像としてエンドユーザに表示するように、第1および第2の光ビームを、それぞれ、第1および第2の導波管装置の中に導入するように構成される、第1および第2の投影サブアセンブリと、両眼画像として表示される第1および第2の単眼画像間の不整合を示す、少なくとも1つのパラメータを検出するように構成される、光感知アセンブリとを含むことができる。実施形態は、随意に、以下の側面のうちの1つ以上のものを含むことができる。
【0012】
いくつかの実施形態では、第1および第2の投影サブアセンブリはそれぞれ、光を生成するように構成される、1つ以上の光源と、光を個別の光ビームへとコリメートし、個別の光ビームを個別の導波管装置の中に結合するように構成される、光学結合アセンブリとを備える。
【0013】
いくつかの実施形態では、各光学結合アセンブリは、個別の光を個別のコリメートされた光ビームへとコリメートするように構成される、コリメーション要素と、個別のコリメートされた光ビームを個別の導波管装置の中に光学的に結合するように構成される、内部結合要素(ICE)とを備える。
【0014】
いくつかの実施形態では、第1および第2の導波管装置はそれぞれ、その中で個別のICEが、個別のコリメートされた光ビームを内部結合された光ビームとして光学的に結合するように構成される、平面光学導波管と、個別の内部結合された光ビームを複数の直交光ビームに分裂させるために、平面光学導波管と関連付けられる、直交瞳拡張(OPE)要素と、複数の直交光ビームを個別の平面光学導波管から出射する光線に分裂させるために、平面光学導波管と関連付けられる、射出瞳拡張(EPE)要素とを備える。
【0015】
いくつかの実施形態では、個別の平面光学導波管は、光学的透明材料の単一板面から形成される、単一基板を備え、第1および第2の導波管装置は、それぞれ、エンドユーザの眼と周囲環境との間の視野内に位置付けられるように構成される、部分的に透明なディスプレイ表面を有する。
【0016】
いくつかの実施形態では、ディスプレイサブシステムはさらに、エンドユーザによって装着されるように構成される、フレーム構造を備え、第1および第2の導波管装置は、フレーム構造によって担持される、左および右接眼レンズである。
【0017】
いくつかの実施形態では、フレーム構造は、左および右接眼レンズを担持する、フレームと、その上に光感知アセンブリが添着される、ブリッジとを備える。
【0018】
いくつかの実施形態では、フレーム構造は、ブリッジから延在する、左および右カンチレバー式アームを備え、左接眼レンズは、第1のカンチレバー式アームに添着され、第2の接眼レンズは、第2のカンチレバー式アームに添着される。
【0019】
いくつかの実施形態では、光感知アセンブリは、第1および第2の導波管装置に光学的に結合されるが、第1および第2の導波管装置から剛性的にデカップルされる。
【0020】
いくつかの実施形態では、第1および第2の導波管装置はそれぞれ、個別の第1および第2の導波管装置からの光を光感知アセンブリに光学的に結合するように構成される、外部結合要素を備え、少なくとも1つの検出されるパラメータは、第1および第2の導波管装置から外部結合された光から導出される。
【0021】
いくつかの実施形態では、光感知アセンブリは、第1および第2の導波管装置から外部結合された光を別個に検出するように構成される、2つの独立感知配列を備える。
【0022】
いくつかの実施形態では、光感知アセンブリは、第1および第2の導波管装置から外部結合された光を検出するように構成される、単一センサを備える。
【0023】
いくつかの実施形態では、光感知アセンブリは、第1および第2の導波管装置から外部結合された光を単一センサに伝搬するように構成される、光学導波管装置を備える。
【0024】
いくつかの実施形態では、光感知アセンブリは、少なくとも1つの非結像センサを備え、少なくとも1つの検出されるパラメータは、少なくとも第1の光線が第1の導波管装置から出射する角度と、少なくとも第2の光線が第2の導波管装置から出射する角度とを示す。
【0025】
いくつかの実施形態では、少なくとも1つの検出されるパラメータは、それぞれ、少なくとも第1の光線および少なくとも第2の光線を表す、2つの光線の強度を含み、2つの代表的光線は、それぞれ、エンドユーザの視野外で、第1および第2の導波管装置から出射する。
【0026】
いくつかの実施形態では、光感知アセンブリは、少なくとも1つの結像センサを備え、少なくとも1つの検出されるパラメータは、それぞれ、第1および第2の導波管装置によって生成される、第1および第2の代表的仮想単眼画像を含む。
【0027】
いくつかの実施形態では、第1および第2の代表的仮想単眼画像は、エンドユーザに表示される第1および第2の仮想単眼画像の同じコピーである。
【0028】
いくつかの実施形態では、第1および第2の代表的仮想単眼画像は、エンドユーザに表示される第1および第2の仮想単眼画像と別個の試験仮想単眼画像である。
【0029】
いくつかの実施形態では、試験仮想単眼画像は、エンドユーザの視野外で、個別の第1および第2の導波管装置によって表示される。
【0030】
少なくともいくつかの実施形態は、随意に、これらの側面のうちの1つ以上のものを含み得る、ディスプレイサブシステムと、光感知アセンブリによって検出された少なくとも1つのパラメータに基づいて、第1および第2の単眼画像間の不整合を補正するように構成される、制御サブシステムとを含む、仮想画像生成システムを対象とする。実施形態は、随意に、以下の側面のうちの1つ以上のものを含むことができる。
【0031】
いくつかの実施形態では、仮想画像生成システムはさらに、第1および第2の導波管装置のための較正プロファイルを記憶するように構成される、メモリを備え、制御サブシステムは、記憶された較正プロファイルを修正することによって、第1および第2の単眼画像間の不整合を補正するように構成される。
【0032】
いくつかの実施形態では、仮想画像生成システムはさらに、3次元場面を記憶するように構成される、メモリを備え、制御サブシステムは、3次元場面の複数の合成画像フレームをレンダリングするように構成され、ディスプレイサブシステムは、複数の画像フレームをエンドユーザに順次表示するように構成される。
【0033】
少なくともいくつかの実施形態は、エンドユーザによる使用のための仮想画像生成システムを対象とし、システムは、左および右接眼レンズ、左および右単眼画像が、両眼画像としてエンドユーザに表示されるように、光を左および右接眼レンズの中に投影するように構成される、左および右投影サブアセンブリと、両眼画像として表示される左および右単眼画像間の不整合を示す、少なくとも1つのパラメータを検出するように構成される、光感知アセンブリと、エンドユーザによって装着されるように構成される、フレーム構造であって、それぞれ、左および右接眼レンズをエンドユーザの眼の正面に位置付けるように構成される、フレーム構造と、光感知アセンブリによって検出された少なくとも1つの検出されるパラメータに基づいて、左および右単眼画像間の不整合を補正するように構成される、制御サブシステムとを備える。実施形態は、随意に、以下の側面のうちの1つ以上のものを含むことができる。
【0034】
いくつかの実施形態では、左および右投影サブアセンブリはそれぞれ、光を生成するように構成される、1つ以上の光源と、光を個別の光ビームへとコリメートし、個別の光ビームを個別の接眼レンズの中に結合するように構成される、光学結合アセンブリとを備える。
【0035】
いくつかの実施形態では、各光学結合アセンブリは、個別の光を個別のコリメートされた光ビームへとコリメートするように構成される、コリメーション要素と、個別のコリメートされた光ビームを個別の接眼レンズの中に光学的に結合するように構成される、内部結合要素(ICE)とを備える。
【0036】
いくつかの実施形態では、左および右接眼レンズはそれぞれ、その中で個別のICEが、個別のコリメートされた光ビームを内部結合された光ビームとして光学的に結合するように構成される、平面光学導波管と、個別の内部結合された光ビームを複数の直交光ビームに分裂させるために、平面光学導波管と関連付けられる、直交瞳拡張(OPE)要素と、複数の直交光ビームを個別の平面光学導波管から出射する光線に分裂させるために、平面光学導波管と関連付けられる、射出瞳拡張(EPE)要素とを備える。
【0037】
いくつかの実施形態では、個別の平面光学導波管は、光学的透明材料の単一板面から形成される、単一基板を備える。
【0038】
いくつかの実施形態では、左および右投影サブアセンブリは、フレーム構造によって担持され、光感知アセンブリは、フレーム構造によって担持される。
【0039】
いくつかの実施形態では、フレーム構造は、左および右接眼レンズを担持する、フレームと、その上に光感知アセンブリが添着される、ブリッジとを備える。
【0040】
いくつかの実施形態では、フレーム構造は、ブリッジから延在する、左および右カンチレバー式アームを備え、左接眼レンズは、左カンチレバー式アームに添着され、右接眼レンズは、右カンチレバー式アームに添着される。
【0041】
いくつかの実施形態では、光感知アセンブリは、左および右接眼レンズに光学的に結合されるが、左および右接眼レンズから剛性的にデカップルされる。
【0042】
いくつかの実施形態では、左および右接眼レンズはそれぞれ、個別の左および右接眼レンズからの光を光感知アセンブリに光学的に結合するように構成される、外部結合要素を備え、少なくとも1つの検出されるパラメータは、左および右接眼レンズから外部結合された光から導出される。
【0043】
いくつかの実施形態では、光感知アセンブリは、左および右接眼レンズから外部結合された光を別個に検出するように構成される、2つの独立感知配列を備える。
【0044】
いくつかの実施形態では、光感知アセンブリは、左および右接眼レンズから外部結合された光を検出するように構成される、単一センサを備える。
【0045】
いくつかの実施形態では、光感知アセンブリは、左および右接眼レンズから外部結合された光を単一センサに伝搬するように構成される、光学導波管装置を備える。
【0046】
いくつかの実施形態では、光感知アセンブリは、少なくとも1つの非結像センサを備え、少なくとも1つの検出されるパラメータは、光線が左接眼レンズから出射する角度と、第2の光線が右接眼レンズから出射する角度とを示す。
【0047】
いくつかの実施形態では、少なくとも1つの検出されるパラメータは、それぞれ、第1の光線および第2の光線を表す、2つの光線の強度を含む。
【0048】
いくつかの実施形態では、代表的光線は、それぞれ、エンドユーザの視野外で、左および右接眼レンズから出射する。
【0049】
いくつかの実施形態では、光感知アセンブリは、少なくとも1つの結像センサを備え、少なくとも1つの検出されるパラメータは、それぞれ、左および右接眼レンズによって生成される、左および右の代表的仮想単眼画像を含む。
【0050】
いくつかの実施形態では、左および右の代表的仮想単眼画像は、エンドユーザに表示される左および右仮想単眼画像の同じコピーである。
【0051】
いくつかの実施形態では、左および右の代表的仮想単眼画像は、エンドユーザに表示される左および右仮想単眼画像と別個の試験仮想単眼画像である。
【0052】
いくつかの実施形態では、試験仮想単眼画像は、エンドユーザの視野外で、個別の左および右接眼レンズによって表示される。
【0053】
いくつかの実施形態では、仮想画像生成システムはさらに、左および右接眼レンズのための較正プロファイルを記憶するように構成される、メモリを備え、制御サブシステムは、記憶された較正プロファイルを修正することによって、左および右単眼画像間の不整合を補正するように構成される。
【0054】
いくつかの実施形態では、仮想画像生成システムはさらに、3次元場面を記憶するように構成される、メモリを備え、制御サブシステムは、3次元場面の複数の合成画像フレームをレンダリングするように構成され、ディスプレイサブシステムは、複数の画像フレームをエンドユーザに順次表示するように構成される。
【0055】
少なくともいくつかの実施形態は、光を放出するように構成される、一対の投影アセンブリであって、第1の投影アセンブリおよび第2の投影アセンブリを備える、一対の投影アセンブリと、第1の投影アセンブリに光学的に結合される、第1の接眼レンズと、第2の投影アセンブリに光学的に結合される、第2の接眼レンズとを備える、一対の接眼レンズと、画像を捕捉するように構成される、一対の結像センサを備える、感知アセンブリであって、一対の結像センサは、第1の接眼レンズを経て第1の投影アセンブリに光学的に結合される、第1の結像センサと、第2の接眼レンズを経て第2の投影アセンブリに光学的に結合される、第2の結像センサとを備える、感知アセンブリと、一対の投影アセンブリおよび一対の結像センサと通信する、1つ以上のプロセッサであって、第2の結像センサによって捕捉された画像を表すデータを受信し、少なくとも部分的に、第2の結像センサから受信されたデータに基づいて、第1の投影アセンブリの動作を制御するように構成される、1つ以上のプロセッサとを備える、ディスプレイシステムを対象とする。実施形態は、随意に、以下の側面のうちの1つ以上のものを含むことができる。
【0056】
いくつかの実施形態では、1つ以上のプロセッサはさらに、第1の結像センサによって捕捉された画像を表すデータを受信し、少なくとも部分的に、第1の結像センサから受信されたデータに基づいて、第2の投影アセンブリの動作を制御するように構成される、請求項47に記載のディスプレイシステム。
【0057】
いくつかの実施形態では、少なくとも部分的に、第2の結像センサから受信されたデータに基づいて、第1の投影アセンブリの動作を制御するために、1つ以上のプロセッサは、少なくとも部分的に、第1および第2の結像センサから受信されたデータに基づいて、第1の投影アセンブリの動作を制御するように構成される。
【0058】
いくつかの実施形態では、少なくとも部分的に、第1の結像センサから受信されたデータに基づいて、第2の投影アセンブリの動作を制御するために、1つ以上のプロセッサは、少なくとも部分的に、第1および第2の結像センサから受信されたデータに基づいて、第2の投影アセンブリの動作を制御するように構成される。
【0059】
いくつかの実施形態では、感知アセンブリはさらに、一対の結像センサに物理的に結合される、伸長本体を備える。
【0060】
いくつかの実施形態では、第1の結像センサは、伸長本体の第1の遠位部分に物理的に結合され、第2の結像センサは、伸長本体の第2の遠位部分に物理的に結合される。
【0061】
いくつかの実施形態では、第1の結像センサは、第2の結像センサと側方に整合して伸長本体に物理的に結合される。
【0062】
いくつかの実施形態では、ディスプレイシステムはさらに、筐体構造を備え、感知アセンブリは、筐体構造の内側表面に搭載される。
【0063】
いくつかの実施形態では、1つ以上のプロセッサはさらに、第1のレンダリングカメラの視点からの仮想場面の画像を生成し、第1の投影アセンブリに、第1のレンダリングカメラの視点から生成されるような仮想場面の画像を表す光を放出させ、第2のレンダリングカメラの視点からの仮想場面の画像を生成し、第2の投影アセンブリに、第2のレンダリングカメラの視点から生成されるような仮想場面の画像を表す光を放出させるように構成される。
【0064】
いくつかの実施形態では、少なくとも部分的に、第2の結像センサから受信されたデータに基づいて、第1の投影アセンブリの動作を制御するために、1つ以上のプロセッサは、少なくとも部分的に、第2の結像センサから受信されたデータに基づいて、第1のレンダリングカメラの1つ以上の付帯パラメータを制御するように構成される。
【0065】
いくつかの実施形態では、1つ以上のプロセッサはさらに、第1の結像センサによって捕捉された画像を表すデータを受信し、少なくとも部分的に、第1の結像センサから受信されたデータに基づいて、第2の投影アセンブリの動作を制御するように構成され、少なくとも部分的に、第1の結像センサから受信されたデータに基づいて、第2の投影アセンブリの動作を制御するために、1つ以上のプロセッサは、少なくとも部分的に、第1の結像センサから受信されたデータに基づいて、第2のレンダリングカメラの1つ以上の付帯パラメータを制御するように構成される。
【0066】
少なくともいくつかの実施形態は、筐体構造と、光を放出するように構成される、一対の投影アセンブリと、筐体構造の内側表面に搭載される、光感知アセンブリと、一対の投影アセンブリを感知アセンブリに光学的に結合するように構成される、一対の接眼レンズと、一対の投影アセンブリおよび光感知アセンブリと通信する、1つ以上のプロセッサであって、少なくとも部分的に、光感知アセンブリから受信されたデータに基づいて、一対の投影アセンブリの動作を制御するように構成される、1つ以上のプロセッサとを備える、頭部搭載型ディスプレイシステムを対象とする。実施形態は、随意に、以下の側面のうちの1つ以上のものを含むことができる。
【0067】
いくつかの実施形態では、一対の接眼レンズ内の各接眼レンズは、個別の導波管装置と、一対の投影アセンブリの個別のものによって放出される光を個別の導波管装置の中に内部結合するように構成される、個別の内部結合要素と、個別の導波管装置内で誘導される一対の投影アセンブリの個別のものからの光を個別の導波管装置から外に結合するように構成される、個別の外部結合要素とを備える。
【0068】
いくつかの実施形態では、個別の外部結合要素の第1の部分は、個別の導波管装置内で誘導される一対の投影アセンブリの個別のものからの光を個別の導波管装置から外にユーザの個別の眼に向かって結合するように構成され、個別の外部結合要素の第2の部分は、個別の導波管装置内で誘導される一対の投影アセンブリの個別のものからの光を個別の導波管装置から外に光感知アセンブリに向かって結合するように構成される。
【0069】
いくつかの実施形態では、一対の接眼レンズ内の各接眼レンズは、個別の導波管装置内で誘導される一対の投影アセンブリの個別のものからの光を、個別の導波管装置から出射し、ユーザの個別の眼に指向される、複数の光線に分裂させるように構成される、個別の射出瞳拡張(EPE)要素を備える。
【0070】
いくつかの実施形態では、光感知アセンブリは、一対の接眼レンズから剛性的にデカップルされる。
【0071】
図2を参照すると、ディスプレイサブシステム20は、光を生成する、1つ以上の光源22と、光を放出する、光ファイバ24と、光ファイバ24の遠位端から出射する光を光ビーム36へとコリメートする、コリメーション要素26とを含むことができる。ディスプレイサブシステム20はさらに、それに対して、またはその中に光ファイバ24が固定-自由可撓性カンチレバーとして搭載される、圧電要素28と、圧電要素22に電気的に結合され、圧電要素28をアクティブ化し、電気的に刺激し、それによって、光ファイバ24の遠位端を支点34を中心として偏向32を作成する所定の走査パターンで振動させ、それによって、走査パターンに従ってコリメートされた光ビーム36を走査する駆動電子機器30とを備える。
【0072】
ディスプレイサブシステム20は、エンドユーザの視野と略平行である、平面光学導波管40と、平面光学導波管40と関連付けられる、回折光学要素(DOE)42と、平面光学導波管40の端部内に統合される、内部結合要素(ICE)42(DOEの形態をとる)とを含む、導波管装置38を備える。ICE42は、コリメーション要素26からコリメートされた光36を平面光学導波管40の中に内部結合および再指向する。コリメーション要素26からコリメートされた光ビーム36は、平面光学導波管40に沿って伝搬し、DOE42と交差し、平面光学導波管40のレンズ効果係数に応じた視認距離で集束される光線46として、光の一部を導波管装置38の面からエンドユーザの眼に向かって出射させる。したがって、光源22は、駆動電子機器30と併せて、空間的および/または時間的に変動する、光の形態でエンコードされた画像データを生成する。
【0073】
エンドユーザによって可視化される各ピクセルの場所は、平面光学導波管40から出射する光線48の角度に非常に依存する。したがって、異なる角度で導波管40から出射する光線48は、エンドユーザの視野内の異なる場所にピクセルを作成するであろう。例えば、ピクセルをエンドユーザの視野の右上に位置させることが所望される場合、コリメートされた光ビーム36は、ある角度において、導波管装置38の中に入力されてもよく、ピクセルをエンドユーザの視野の中心に位置させることが所望される場合、コリメートされた光ビーム36は、第2の異なる角度において、導波管装置38の中に入力されてもよい。したがって、光ファイバ24が、走査パターンに従って走査されるにつれて、光ファイバ24から生じる光ビーム36は、異なる角度で導波管装置38の中に入力され、それによって、ピクセルをエンドユーザの視野内の異なる場所に作成するであろう。したがって、エンドユーザの視野内の各ピクセルの場所は、平面光学導波管40から出射する光線48の角度に非常に依存し、したがって、これらのピクセルの場所は、ディスプレイサブシステム20によって生成された画像データ内にエンコードされる。
【0074】
導波管装置38に入射する光ビーム36の角度、したがって、平面光学導波管40に入射する光ビーム36の角度は、平面光学導波管40から出射する光線48の角度と異なるであろうが、導波管装置38に入射する光ビーム36の角度と平面光学導波管40から出射する光線48の角度との間の関係は、周知かつ予測可能であって、したがって、平面光学導波管40から出射する光線48の角度は、導波管装置38に入射するコリメートされた光ビーム36の角度から容易に予測されることができる。
【0075】
前述から、光ファイバ24から導波管装置38に入射する光ビーム36の実際の角度、したがって、エンドユーザに向かって導波管40から出射する光線48の実際の角度は、エンドユーザによって可視化されるピクセルの場所が、ディスプレイサブシステム20によって生成された画像データ内に適切にエンコードされるように、出射光線48の設計される角度と同じまたはほぼ同じまたは1対1の関係であることが理解され得る。しかしながら、異なるスキャナ間の製造公差だけではなく、ディスプレイサブシステム20をともに統合するために使用される接合材料の一貫性を変化させ得る、温度の変動等の変化する環境条件にも起因して、出射光線48の実際の角度は、補償を伴わない場合、出射光線48の設計された角度から変動し、それによって、エンドユーザの視野内の正しくない場所にあるピクセルを作成し、画像歪曲をもたらすであろう。
【0076】
いくつかの実施形態では、ディスプレイサブシステム20の2つの導波管装置38は、それぞれ、図3に図示されるように、左接眼レンズ70Lおよび右接眼レンズ70Rの形態をとってもよい。そのような接眼レンズ70L、70Rは、一対の両眼整合接眼レンズの中に組み込まれてもよい。各接眼レンズ70L、70Rは、内部では剛性であり得るが、そのような実施形態では、2つの接眼レンズ70L、70Rは、フレーム構造(図示せず)の形状因子により、相互に対して柔軟/変形可能であり得る。本変形問題点は、特に、フレーム構造の形状因子が、搬送、快適性、およびより審美的に魅力的な見た目を促進するために、より軽量で、薄く、かつ可撓性になるにつれて、有意になる。いくつかの状況では、2つの接眼レンズ70L、70Rの相対的移動は、歪曲および他の誤差をユーザの網膜上に投影されるべき仮想両眼画像の中に導入し得る。
【0077】
例えば、図4A-4Dに図示されるように、仮想コンテンツの例示的表現は、仮想画像生成システムの一部として、一対の接眼レンズ70L、70Rを通して提示され、それぞれ、左および右眼に知覚され得る。図4Aに示されるように、2つの接眼レンズ70L、70Rは、理想的様式において相互に整合される。言い換えると、2つの接眼レンズ70L、70Rの整合は、仮想画像生成システムの製造時以降、変化していない。したがって、仮想画像生成システムは、左および右単眼仮想コンテンツ72L、72Rを生成し、両眼整合仮想コンテンツ74として、2つの接眼レンズ70L、70Rを通してユーザの眼に提示し得る。
【0078】
しかしながら、2つの接眼レンズ70L、70Rの整合が、仮説上、仮想画像生成システムの製造時後のある時点で変化することになった場合、図4B、4C、および4Dのそれぞれにおける一対の接眼レンズ70L、70Rの整合は、図4Aのものと異なり得る。図4B、4C、および4Dに図示されるように、ピッチ軸、ロール軸、およびヨー軸を中心とした一対の接眼レンズ70L、70Rの整合の工場後の変化は、それぞれ、図4B、4C、および4Dに示されるように、両眼不整合仮想コンテンツ74として、左および右仮想コンテンツ72L、72Rが、一対の接眼レンズ70L、70Rを通して提示および知覚される結果をもたらし得る。左および右接眼レンズ70L、70R間のそのような不整合は、左および右仮想コンテンツ72L、72R間の知覚される平行移動および/または回転不整合をもたらし得る。さらに、研究は、両眼不整合が、生理学的疲労をヒト視覚系上に引き起こし得、ヒトが、それぞれ、4、6、および10弧分までのピッチ、ロール、およびヨー軸を中心とした仮想画像の両眼回転不整合に敏感であることを示す。下記にさらに詳細に説明されるように、両眼接眼レンズの不整合のための補償は、直接、左および右眼のために意図される光を引き出し、仮想画像内の相対的不整合を比較的に感知および補正するためのシステムおよび技法を用いて達成され得る。
【0079】
本発明の第1の側面によると、エンドユーザによって使用される仮想画像生成システムのためのディスプレイサブシステムが、提供される。ディスプレイサブシステムは、第1および第2の導波管装置を備える。一実施形態では、第1および第2の導波管装置は、それぞれ、エンドユーザの眼の正面に位置付けられるように構成される。別の実施形態では、第1および第2の導波管装置は、それぞれ、エンドユーザの眼と周囲環境との間の視野内に位置付けられるように構成される、部分的に透明なディスプレイ表面を有する。さらに別の実施形態では、ディスプレイサブシステムはさらに、エンドユーザによって装着されるように構成される、フレーム構造を備え、その場合、第1および第2の導波管装置は、フレーム構造によって担持される、左および右接眼レンズである。
【0080】
ディスプレイサブシステムはさらに、少なくとも第1の光線および少なくとも第2の光線が、それぞれ、第1および第2の導波管装置から出射し、第1および第2の単眼画像を両眼画像としてエンドユーザに表示するように、第1および第2の光ビームを、それぞれ、第1および第2の導波管装置の中に導入するように構成される、第1および第2の投影サブアセンブリを備える。
【0081】
一実施形態では、第1および第2の投影サブアセンブリはそれぞれ、光を生成するように構成される、1つ以上の光源と、光を個別の光ビームへとコリメートし、個別の光ビームを個別の導波管装置の中に結合するように構成される、光学結合アセンブリとを備える。光学結合アセンブリは、個別の光を個別のコリメートされた光ビームへとコリメートするように構成される、コリメーション要素と、個別のコリメートされた光ビームを個別の導波管装置の中に光学的に結合するように構成される、内部結合要素(ICE)とを備えてもよい。この場合、第1および第2の導波管装置はそれぞれ、その中で個別のICEが、個別のコリメートされた光ビームを内部結合された光ビームとして光学的に結合するように構成される、平面光学導波管(例えば、光学的透明材料の単一板面から形成される、単一基板)と、個別の内部結合された光ビームを複数の直交光ビームに分裂させるために、平面光学導波管と関連付けられる、直交瞳拡張(OPE)要素と、複数の直交光ビームを個別の平面光学導波管から出射する光線に分裂させるために、平面光学導波管と関連付けられる、射出瞳拡張(EPE)要素とを備えてもよい。
【0082】
本実施形態では、第1および第2の投影サブアセンブリはそれぞれさらに、制御信号に応答して、個別の1つ以上の光源によって生成される光を所定の走査パターンで走査するように構成される、走査デバイスを備えてもよい。各走査デバイスは、個別の1つ以上の光源によって生成された光を放出するように構成される、光ファイバと、所定の走査パターンに従って個別の光ファイバを変位させるように構成される、機械的駆動アセンブリとを備えてもよい。各機械的駆動アセンブリは、それに対して光ファイバが搭載される、圧電要素と、電気信号を圧電要素に伝達し、それによって、所定の走査パターンに従って光ファイバを振動させるように構成される、駆動電子機器とを備えてもよい。
【0083】
ディスプレイサブシステムはさらに、両眼画像として表示される第1および第2の単眼画像間の不整合を示す、少なくとも1つのパラメータを検出するように構成される、光感知アセンブリを備える。
【0084】
実施形態では、ディスプレイサブシステムはさらに、第1および第2の導波管装置を左および右接眼レンズとして担持する、フレームと、その上に光感知アセンブリが添着される、ブリッジとを有する、フレーム構造を備える。フレーム構造はさらに、ブリッジから延在する、左および右カンチレバー式アームを有してもよく、その場合、左接眼レンズは、左カンチレバー式アームに添着され、右接眼レンズは、右カンチレバー式アームに添着される。別の実施形態では、光感知アセンブリは、第1および第2の導波管装置に光学的に結合されるが、第1および第2の導波管装置から剛性的にデカップルされる。
【0085】
さらに別の実施形態では、第1および第2の導波管装置はそれぞれ、個別の第1および第2の導波管装置からの光を光感知アセンブリに光学的に結合するように構成される、外部結合要素を備え、その場合、検出されるパラメータは、第1および第2の導波管装置から外部結合された光から導出される。光感知アセンブリは、第1および第2の導波管装置から外部結合された光を別個に検出するように構成される、2つの独立感知配列を備えてもよい。または光感知アセンブリは、第1および第2の導波管装置から外部結合された光を検出するように構成される、単一センサを備えてもよい。この場合、光感知アセンブリは、第1および第2の導波管装置から外部結合された光を単一センサに伝搬するように構成される、光学導波管装置を備えてもよい。
【0086】
さらに別の実施形態では、光感知アセンブリは、少なくとも1つの非結像センサを備え、その場合、検出されるパラメータは、第1の光線が第1の導波管装置から出射する角度と、第2の光線が第2の導波管装置から出射する角度とを示してもよい。検出されるパラメータは、それぞれ、第1の光線および第2の光線を表す、2つの光線の強度を含んでもよい。2つの代表的光線は、それぞれ、エンドユーザの視野外で、第1および第2の導波管装置から出射してもよい。
【0087】
さらに別の実施形態では、光感知アセンブリは、少なくとも1つの結像センサを備え、その場合、検出されるパラメータは、それぞれ、第1および第2の導波管装置によって生成される、第1および第2の代表的仮想単眼画像を含んでもよい。第1および第2の代表的仮想単眼画像は、エンドユーザに表示される第1および第2の仮想単眼画像の同じコピーであってもよい。または第1および第2の代表的仮想単眼画像は、エンドユーザに表示される第1および第2の仮想単眼画像と別個の試験仮想単眼画像であってもよい。試験仮想単眼画像は、エンドユーザの視野外で、個別の第1および第2の導波管装置によって表示されてもよい。
【0088】
本発明の第2の側面によると、仮想画像生成システムは、上記に説明されるディスプレイサブシステムと、光感知アセンブリによって検出されたパラメータに基づいて、第1および第2の単眼画像間の不整合を補正するように構成される、制御サブシステムとを備える。一実施形態では、仮想画像生成システムはさらに、第1および第2の導波管装置のための較正プロファイルを記憶するように構成される、メモリを備え、その場合、制御サブシステムは、記憶された較正プロファイルを修正することによって、第1および第2の単眼画像間の不整合を補正するように構成されてもよい。別の実施形態では、仮想画像生成システムはさらに、3次元場面を記憶するように構成される、メモリを備え、その場合、制御サブシステムは、3次元場面の複数の合成画像フレームをレンダリングするように構成されてもよく、ディスプレイサブシステムは、複数の画像フレームをエンドユーザに順次表示するように構成されてもよい。
【0089】
本発明の第3の側面によると、エンドユーザによる使用のための仮想画像生成システムが、提供される。仮想画像生成システムは、左および右接眼レンズを備える。左および右接眼レンズは、それぞれ、エンドユーザの眼と周囲環境との間の視野内に位置付けられるように構成される、部分的に透明なディスプレイ表面を有してもよい。
【0090】
仮想画像生成システムはさらに、左および右単眼画像が、両眼画像としてエンドユーザに表示されるように、光を左および右接眼レンズの中に投影するように構成される、左および右投影サブアセンブリを備える。
【0091】
一実施形態では、左および右投影サブアセンブリはそれぞれ、光を生成するように構成される、1つ以上の光源と、光を個別の光ビームへとコリメートし、個別の光ビームを個別の接眼レンズの中に結合するように構成される、光学結合アセンブリとを備える。各光学結合アセンブリは、個別の光を個別のコリメートされた光ビームへとコリメートするように構成される、コリメーション要素と、個別のコリメートされた光ビームを個別の接眼レンズの中に光学的に結合するように構成される、内部結合要素(ICE)とを備えてもよい。左および右接眼レンズはそれぞれ、その中で個別のICEが、個別のコリメートされた光ビームを内部結合された光ビームとして光学的に結合するように構成される、平面光学導波管(例えば、光学的透明材料の単一板面から形成される、単一基板)と、個別の内部結合された光ビームを複数の直交光ビームに分裂させるために、平面光学導波管と関連付けられる、直交瞳拡張(OPE)要素と、複数の直交光ビームを個別の平面光学導波管から出射する光線に分裂させるために、平面光学導波管と関連付けられる、射出瞳拡張(EPE)要素とを備えてもよい。
【0092】
別の実施形態では、左および右投影サブアセンブリはそれぞれ、制御信号に応答して、個別の光源によって生成された光を所定の走査パターンで走査するように構成される、走査デバイスを備える。各走査デバイスは、個別の光源によって生成された光を放出するように構成される、光ファイバと、所定の走査パターンに従って個別の光ファイバを変位させるように構成される、機械的駆動アセンブリとを備えてもよい。各機械的駆動アセンブリは、それに対して光ファイバが搭載される、圧電要素と、電気信号を圧電要素に伝達し、それによって、所定の走査パターンに従って光ファイバを振動させるように構成される、駆動電子機器とを備えてもよい。
【0093】
仮想画像生成システムはさらに、両眼画像として表示される左および右単眼画像間の不整合を示す、少なくとも1つのパラメータを検出するように構成される、光感知アセンブリを備える。仮想画像生成システムはさらに、エンドユーザによって装着されるように構成される、フレーム構造を備える。フレーム構造は、それぞれ、左および右接眼レンズをエンドユーザの眼の正面に位置付けるように構成される。一実施形態では、左および右投影サブアセンブリは、フレーム構造によって担持され、光感知アセンブリは、フレーム構造によって担持される。別の実施形態では、フレーム構造は、左および右接眼レンズを担持する、フレームと、その上に光感知アセンブリが添着される、ブリッジとを備える。フレーム構造は、ブリッジから延在する、左および右カンチレバー式アームを備えてもよく、左接眼レンズは、左カンチレバー式アームに添着されてもよく、右接眼レンズは、右カンチレバー式アームに添着されてもよい。別の実施形態では、光感知アセンブリは、左および右接眼レンズに光学的に結合されるが、左および右接眼レンズから剛性的にデカップルされる。
【0094】
さらに別の実施形態では、左および右接眼レンズはそれぞれ、個別の左および右接眼レンズからの光を光感知アセンブリに光学的に結合するように構成される、外部結合要素を備え、その場合、検出されるパラメータは、左および右接眼レンズから外部結合された光から導出されることができる。光感知アセンブリは、左および右接眼レンズから外部結合された光を別個に検出するように構成される、2つの独立感知配列を備えてもよい。または感知アセンブリは、左および右接眼レンズから外部結合された光を検出するように構成される、単一センサを備えてもよい。この場合、光感知アセンブリは、左および右接眼レンズから外部結合された光を単一センサに伝搬するように構成される、光学導波管装置を備えてもよい。
【0095】
さらに別の実施形態では、光感知アセンブリは、少なくとも1つの非結像センサを備え、検出されるパラメータは、光線が左接眼レンズから出射する角度と、第2の光線が右接眼レンズから出射する角度とを示す。検出されるパラメータは、それぞれ、第1の光線および第2の光線を表す、2つの光線の強度を含んでもよい。2つの代表的光線は、それぞれ、エンドユーザの視野外で、第1および第2の導波管装置から出射してもよい。
【0096】
さらに別の実施形態では、光感知アセンブリは、少なくとも1つの結像センサを備え、その場合、検出されるパラメータは、それぞれ、左および右接眼レンズによって生成される、左および右の代表的仮想単眼画像を含んでもよい。左および右の代表的仮想単眼画像は、エンドユーザに表示される左および右仮想単眼画像の同じコピーであってもよい。または左および右の代表的仮想単眼画像は、エンドユーザに表示される左および右仮想単眼画像と別個の試験仮想単眼画像であってもよい。試験仮想単眼画像は、エンドユーザの視野外で、個別の左および右接眼レンズによって表示されてもよい。
【0097】
仮想画像生成システムはさらに、光感知アセンブリによって検出されたパラメータに基づいて、左および右単眼画像間の不整合を補正するように構成される、制御サブシステムを備える。一実施形態では、仮想画像生成システムはさらに、左および右接眼レンズのための較正プロファイルを記憶するように構成される、メモリを備え、その場合、制御サブシステムは、記憶された較正プロファイルを修正することによって、左および右単眼画像間の不整合を補正するように構成されてもよい。別の実施形態では、仮想画像生成システムはさらに、3次元場面を記憶するように構成される、メモリを備え、その場合、制御サブシステムは、3次元場面の複数の合成画像フレームをレンダリングするように構成されてもよく、ディスプレイサブシステムは、複数の画像フレームをエンドユーザに順次表示するように構成されてもよい。
本明細書は、例えば、以下の項目も提供する。
(項目1)
エンドユーザによって使用される仮想画像生成システムのためのディスプレイサブシステムであって、
第1の導波管装置および第2の導波管装置と、
第1の投影サブアセンブリおよび第2の投影サブアセンブリであって、前記第1の投影サブアセンブリおよび第2の投影サブアセンブリは、少なくとも第1の光線および少なくとも第2の光線が、それぞれ、前記第1の導波管装置および第2の導波管装置から出射し、第1の単眼画像および第2の単眼画像を両眼画像として前記エンドユーザに表示するように、第1の光ビームおよび第2の光ビームを、それぞれ、前記第1の導波管装置および第2の導波管装置の中に導入するように構成される、第1の投影サブアセンブリおよび第2の投影サブアセンブリと、
光感知アセンブリであって、前記光感知アセンブリは、前記両眼画像として表示される第1の単眼画像および第2の単眼画像の間の不整合を示す少なくとも1つのパラメータを検出するように構成される、光感知アセンブリと
を備える、ディスプレイサブシステム。
(項目2)
前記第1の投影サブアセンブリおよび第2の投影サブアセンブリはそれぞれ、光を生成するように構成される1つ以上の光源と、前記光を個別の光ビームへとコリメートし、前記個別の光ビームを個別の導波管装置の中に結合するように構成される光学結合アセンブリとを備える、項目1に記載のディスプレイサブシステム。
(項目3)
各光学結合アセンブリは、個別の光を個別のコリメートされた光ビームへとコリメートするように構成されるコリメーション要素と、前記個別のコリメートされた光ビームを前記個別の導波管装置の中に光学的に結合するように構成される内部結合要素(ICE)とを備える、項目2に記載のディスプレイサブシステム。
(項目4)
前記第1の導波管装置および第2の導波管装置はそれぞれ、その中で個別のICEが、前記個別のコリメートされた光ビームを内部結合された光ビームとして光学的に結合するように構成される平面光学導波管と、個別の内部結合された光ビームを複数の直交光ビームに分裂させるために、前記平面光学導波管と関連付けられる直交瞳拡張(OPE)要素と、前記複数の直交光ビームを個別の平面光学導波管から出射する光線に分裂させるために、前記平面光学導波管と関連付けられる射出瞳拡張(EPE)要素とを備える、項目3に記載のディスプレイサブシステム。
(項目5)
前記個別の平面光学導波管は、光学的透明材料の単一板面から形成される単一基板を備える、項目4に記載のディスプレイサブシステム。
(項目6)
前記第1の導波管装置および第2の導波管装置は、それぞれ、前記エンドユーザの眼と周囲環境との間の視野内に位置付けられるように構成される部分的に透明なディスプレイ表面を有する、項目1に記載のディスプレイサブシステム。
(項目7)
前記エンドユーザによって装着されるように構成されるフレーム構造をさらに備え、前記第1の導波管装置および第2の導波管装置は、前記フレーム構造によって担持される左接眼レンズおよび右接眼レンズである、項目1に記載のディスプレイサブシステム。
(項目8)
前記フレーム構造は、前記左接眼レンズおよび右接眼レンズを担持するフレームと、その上に前記光感知アセンブリが添着されるブリッジとを備える、項目7に記載のディスプレイサブシステム。
(項目9)
前記フレーム構造は、前記ブリッジから延在する左カンチレバー式アームおよび右カンチレバー式アームを備え、前記左接眼レンズは、第1のカンチレバー式アームに添着され、第2の接眼レンズは、第2のカンチレバー式アームに添着される、項目8に記載のディスプレイサブシステム。
(項目10)
前記光感知アセンブリは、前記第1の導波管装置および第2の導波管装置に光学的に結合されるが、前記第1の導波管装置および第2の導波管装置から剛性的にデカップルされる、項目7に記載のディスプレイサブシステム。
(項目11)
前記第1の導波管装置および第2の導波管装置はそれぞれ、個別の第1の導波管装置および第2の導波管装置からの光を光感知アセンブリに光学的に結合するように構成される外部結合要素を備え、前記少なくとも1つの検出されるパラメータは、前記第1の導波管装置および第2の導波管装置から外部結合された光から導出される、項目1に記載のディスプレイサブシステム。
(項目12)
前記光感知アセンブリは、前記第1の導波管装置および第2の導波管装置から外部結合された光を別個に検出するように構成される2つの独立感知配列を備える、項目11に記載のディスプレイサブシステム。
(項目13)
前記光感知アセンブリは、前記第1の導波管装置および第2の導波管装置から外部結合された光を検出するように構成される単一センサを備える、項目11に記載のディスプレイサブシステム。
(項目14)
前記光感知アセンブリは、前記第1の導波管装置および第2の導波管装置から外部結合された光を前記単一センサに伝搬するように構成される光学導波管装置を備える、項目13に記載のディスプレイサブシステム。
(項目15)
前記光感知アセンブリは、少なくとも1つの非結像センサを備え、前記少なくとも1つの検出されるパラメータは、前記少なくとも第1の光線が前記第1の導波管装置から出射する角度と、前記少なくとも第2の光線が前記第2の導波管装置から出射する角度とを示す、項目1に記載のディスプレイサブシステム。
(項目16)
前記少なくとも1つの検出されるパラメータは、それぞれ、前記少なくとも第1の光線および前記少なくとも第2の光線を表す2つの光線の強度を含む、項目15に記載のディスプレイサブシステム。
(項目17)
2つの代表的光線は、それぞれ、前記エンドユーザの視野外で、前記第1の導波管装置および第2の導波管装置から出射する、項目16に記載のディスプレイサブシステム。
(項目18)
前記光感知アセンブリは、少なくとも1つの結像センサを備え、前記少なくとも1つの検出されるパラメータは、それぞれ、前記第1の導波管装置および第2の導波管装置によって生成される第1の代表的仮想単眼画像および第2の代表的仮想単眼画像を含む、項目1に記載のディスプレイサブシステム。
(項目19)
前記第1の代表的仮想単眼画像および第2の代表的仮想単眼画像は、前記エンドユーザに表示される第1の仮想単眼画像および第2の仮想単眼画像の同じコピーである、項目18に記載のディスプレイサブシステム。
(項目20)
前記第1の代表的仮想単眼画像および第2の代表的仮想単眼画像は、前記エンドユーザに表示される第1の仮想単眼画像および第2の仮想単眼画像と別個の試験仮想単眼画像である、項目18に記載のディスプレイサブシステム。
(項目21)
前記試験仮想単眼画像は、前記エンドユーザの視野外で、個別の第1の導波管装置および第2の導波管装置によって表示される、項目20に記載のディスプレイサブシステム。
(項目22)
仮想画像生成システムであって、
項目1に記載のディスプレイサブシステムと、
制御サブシステムであって、前記制御サブシステムは、前記光感知アセンブリによって検出された少なくとも1つのパラメータに基づいて、前記第1の単眼画像および第2の単眼画像の間の不整合を補正するように構成される、制御サブシステムと
を備える、仮想画像生成システム。
(項目23)
前記第1の導波管装置および第2の導波管装置のための較正プロファイルを記憶するように構成されるメモリをさらに備え、前記制御サブシステムは、前記記憶された較正プロファイルを修正することによって、前記第1の単眼画像および第2の単眼画像の間の不整合を補正するように構成される、項目22に記載の仮想画像生成システム。
(項目24)
3次元場面を記憶するように構成されるメモリをさらに備え、前記制御サブシステムは、前記3次元場面の複数の合成画像フレームをレンダリングするように構成され、前記ディスプレイサブシステムは、前記複数の画像フレームを前記エンドユーザに順次表示するように構成される、項目22に記載の仮想画像生成システム。
(項目25)
エンドユーザによる使用のための仮想画像生成システムであって、
左接眼レンズおよび右接眼レンズと、
左投影サブアセンブリおよび右投影サブアセンブリであって、前記左投影サブアセンブリおよび右投影サブアセンブリは、左単眼画像および右単眼画像が、両眼画像として前記エンドユーザに表示されるように、光を前記左接眼レンズおよび右接眼レンズの中に投影するように構成される、左投影サブアセンブリおよび右投影サブアセンブリと、
光感知アセンブリであって、前記光感知アセンブリは、前記両眼画像として表示される左単眼画像および右単眼画像の間の不整合を示す少なくとも1つのパラメータを検出するように構成される、光感知アセンブリと、
前記エンドユーザによって装着されるように構成されるフレーム構造であって、前記フレーム構造は、それぞれ、前記左接眼レンズおよび右接眼レンズを前記エンドユーザの眼の正面に位置付けるように構成される、フレーム構造と、
制御サブシステムであって、前記制御サブシステムは、前記光感知アセンブリによって検出された少なくとも1つの検出されるパラメータに基づいて、前記左単眼画像および右単眼画像の間の不整合を補正するように構成される、制御サブシステムと
を備える、仮想画像生成システム。
(項目26)
前記左投影サブアセンブリおよび右投影サブアセンブリはそれぞれ、光を生成するように構成される1つ以上の光源と、前記光を個別の光ビームへとコリメートし、前記個別の光ビームを個別の接眼レンズの中に結合するように構成される光学結合アセンブリとを備える、項目25に記載の仮想画像生成システム。
(項目27)
各光学結合アセンブリは、個別の光を個別のコリメートされた光ビームへとコリメートするように構成されるコリメーション要素と、前記個別のコリメートされた光ビームを前記個別の接眼レンズの中に光学的に結合するように構成される内部結合要素(ICE)とを備える、項目26に記載の仮想画像生成システム。
(項目28)
前記左接眼レンズおよび右接眼レンズはそれぞれ、その中で個別のICEが、前記個別のコリメートされた光ビームを内部結合された光ビームとして光学的に結合するように構成される平面光学導波管と、個別の内部結合された光ビームを複数の直交光ビームに分裂させるために、前記平面光学導波管と関連付けられる直交瞳拡張(OPE)要素と、前記複数の直交光ビームを個別の平面光学導波管から出射する光線に分裂させるために、前記平面光学導波管と関連付けられる射出瞳拡張(EPE)要素とを備える、項目27に記載の仮想画像生成システム。
(項目29)
前記個別の平面光学導波管は、光学的透明材料の単一板面から形成される単一基板を備える、項目28に記載の仮想画像生成システム。
(項目30)
前記左投影サブアセンブリおよび右投影サブアセンブリは、前記フレーム構造によって担持され、前記光感知アセンブリは、前記フレーム構造によって担持される、項目25に記載の仮想画像生成システム。
(項目31)
前記フレーム構造は、前記左接眼レンズおよび右接眼レンズを担持するフレームと、その上に前記光感知アセンブリが添着されるブリッジとを備える、項目25に記載の仮想画像生成システム。
(項目32)
前記フレーム構造は、前記ブリッジから延在する左カンチレバー式アームおよび右カンチレバー式アームを備え、前記左接眼レンズは、前記左カンチレバー式アームに添着され、前記右接眼レンズは、前記右カンチレバー式アームに添着される、項目31に記載の仮想画像生成システム。
(項目33)
前記光感知アセンブリは、前記左接眼レンズおよび右接眼レンズに光学的に結合されるが、前記左接眼レンズおよび右接眼レンズから剛性的にデカップルされる、項目25に記載の仮想画像生成システム。
(項目34)
前記左接眼レンズおよび右接眼レンズはそれぞれ、個別の左接眼レンズおよび右接眼レンズからの光を前記光感知アセンブリに光学的に結合するように構成される外部結合要素を備え、前記少なくとも1つの検出されるパラメータは、前記左接眼レンズおよび右接眼レンズから外部結合された光から導出される、項目25に記載の仮想画像生成システム。
(項目35)
前記光感知アセンブリは、前記左接眼レンズおよび右接眼レンズから外部結合された光を別個に検出するように構成される2つの独立感知配列を備える、項目34に記載の仮想画像生成システム。
(項目36)
前記光感知アセンブリは、前記左接眼レンズおよび右接眼レンズから外部結合された光を検出するように構成される単一センサを備える、項目34に記載の仮想画像生成システム。
(項目37)
前記光感知アセンブリは、前記左接眼レンズおよび右接眼レンズから外部結合された光を前記単一センサに伝搬するように構成される光学導波管装置を備える、項目36に記載の仮想画像生成システム。
(項目38)
前記光感知アセンブリは、少なくとも1つの非結像センサを備え、前記少なくとも1つの検出されるパラメータは、光線が前記左接眼レンズから出射する角度と、第2の光線が前記右接眼レンズから出射する角度とを示す、項目25に記載の仮想画像生成システム。
(項目39)
前記少なくとも1つの検出されるパラメータは、それぞれ、第1の光線および第2の光線を表す2つの光線の強度を含む、項目38に記載の仮想画像生成システム。
(項目40)
代表的光線は、それぞれ、前記エンドユーザの視野外で、前記左接眼レンズおよび右接眼レンズから出射する、項目39に記載の仮想画像生成システム。
(項目41)
前記光感知アセンブリは、少なくとも1つの結像センサを備え、前記少なくとも1つの検出されるパラメータは、それぞれ、前記左接眼レンズおよび右接眼レンズによって生成される左代表的仮想単眼画像および右代表的仮想単眼画像を含む、項目25に記載の仮想画像生成システム。
(項目42)
前記左代表的仮想単眼画像および右代表的仮想単眼画像は、前記エンドユーザに表示される左仮想単眼画像および右仮想単眼画像の同じコピーである、項目41に記載の仮想画像生成システム。
(項目43)
前記左代表的仮想単眼画像および右代表的仮想単眼画像は、前記エンドユーザに表示される左仮想単眼画像および右仮想単眼画像と別個の試験仮想単眼画像である、項目41に記載の仮想画像生成システム。
(項目44)
前記試験仮想単眼画像は、前記エンドユーザの視野外で、個別の左接眼レンズおよび右接眼レンズによって表示される、項目43に記載の仮想画像生成システム。
(項目45)
前記左接眼レンズおよび右接眼レンズのための較正プロファイルを記憶するように構成されるメモリをさらに備え、前記制御サブシステムは、前記記憶された較正プロファイルを修正することによって、前記左単眼画像および右単眼画像の間の不整合を補正するように構成される、項目25に記載の仮想画像生成システム。
(項目46)
3次元場面を記憶するように構成されるメモリをさらに備え、前記制御サブシステムは、前記3次元場面の複数の合成画像フレームをレンダリングするように構成され、前記ディスプレイサブシステムは、前記複数の画像フレームを前記エンドユーザに順次表示するように構成される、項目25に記載の仮想画像生成システム。
(項目47)
ディスプレイシステムであって、
光を放出するように構成される一対の投影アセンブリであって、前記一対の投影アセンブリは、第1の投影アセンブリおよび第2の投影アセンブリを備える、一対の投影アセンブリと、
一対の接眼レンズであって、
前記第1の投影アセンブリに光学的に結合される第1の接眼レンズと、
前記第2の投影アセンブリに光学的に結合される第2の接眼レンズと
を備える、一対の接眼レンズと、
画像を捕捉するように構成される一対の結像センサを備える感知アセンブリであって、前記一対の結像センサは、
前記第1の接眼レンズを経て前記第1の投影アセンブリに光学的に結合される第1の結像センサと、
前記第2の接眼レンズを経て前記第2の投影アセンブリに光学的に結合される第2の結像センサと
を備える、感知アセンブリと、
前記一対の投影アセンブリおよび前記一対の結像センサと通信する1つ以上のプロセッサであって、前記1つ以上のプロセッサは、
前記第2の結像センサによって捕捉された画像を表すデータを受信することと、
少なくとも部分的に、前記第2の結像センサから受信されたデータに基づいて、前記第1の投影アセンブリの動作を制御することと
を行うように構成される、1つ以上のプロセッサと
を備える、ディスプレイシステム。
(項目48)
前記1つ以上のプロセッサはさらに、
前記第1の結像センサによって捕捉された画像を表すデータを受信することと、
少なくとも部分的に、前記第1の結像センサから受信されたデータに基づいて、前記第2の投影アセンブリの動作を制御することと
を行うように構成される、項目47に記載のディスプレイシステム。
(項目49)
少なくとも部分的に、前記第2の結像センサから受信されたデータに基づいて、前記第1の投影アセンブリの動作を制御するために、前記1つ以上のプロセッサは、
少なくとも部分的に、前記第1の結像センサおよび第2の結像センサから受信されたデータに基づいて、前記第1の投影アセンブリの動作を制御する
ように構成される、項目48に記載のディスプレイシステム。
(項目50)
少なくとも部分的に、前記第1の結像センサから受信されたデータに基づいて、前記第2の投影アセンブリの動作を制御するために、前記1つ以上のプロセッサは、
少なくとも部分的に、前記第1の結像センサおよび第2の結像センサから受信されたデータに基づいて、前記第2の投影アセンブリの動作を制御する
ように構成される、項目48に記載のディスプレイシステム。
(項目51)
前記感知アセンブリはさらに、
前記一対の結像センサに物理的に結合される伸長本体を備える、項目47に記載のディスプレイシステム。
(項目52)
前記第1の結像センサは、前記伸長本体の第1の遠位部分に物理的に結合され、前記第2の結像センサは、前記伸長本体の第2の遠位部分に物理的に結合される、項目51に記載のディスプレイシステム。
(項目53)
前記第1の結像センサは、前記第2の結像センサと側方に整合して前記伸長本体に物理的に結合される、項目51に記載のディスプレイシステム。
(項目54)
筐体構造をさらに備え、前記感知アセンブリは、前記筐体構造の内側表面に搭載される、項目47に記載のディスプレイシステム。
(項目55)
前記1つ以上のプロセッサはさらに、
第1のレンダリングカメラの視点からの仮想場面の画像を生成することと、
前記第1の投影アセンブリに、前記第1のレンダリングカメラの視点から生成されるような仮想場面の画像を表す光を放出させることと、
第2のレンダリングカメラの視点からの仮想場面の画像を生成することと、
前記第2の投影アセンブリに、前記第2のレンダリングカメラの視点から生成されるような仮想場面の画像を表す光を放出させることと
を行うように構成される、項目47に記載のディスプレイシステム。
(項目56)
少なくとも部分的に、前記第2の結像センサから受信されたデータに基づいて、前記第1の投影アセンブリの動作を制御するために、前記1つ以上のプロセッサは、
少なくとも部分的に、前記第2の結像センサから受信されたデータに基づいて、前記第1のレンダリングカメラの1つ以上の付帯パラメータを制御する
ように構成される、項目55に記載のディスプレイシステム。
(項目57)
前記1つ以上のプロセッサはさらに、
前記第1の結像センサによって捕捉された画像を表すデータを受信することと、
少なくとも部分的に、前記第1の結像センサから受信されたデータに基づいて、前記第2の投影アセンブリの動作を制御することと
を行うように構成され、
少なくとも部分的に、前記第1の結像センサから受信されたデータに基づいて、前記第2の投影アセンブリの動作を制御するために、前記1つ以上のプロセッサは、
少なくとも部分的に、前記第1の結像センサから受信されたデータに基づいて、前記第2のレンダリングカメラの1つ以上の付帯パラメータを制御する
ように構成される、項目55に記載のディスプレイシステム。
(項目58)
頭部搭載型ディスプレイシステムであって、
筐体構造と、
光を放出するように構成される一対の投影アセンブリと、
前記筐体構造の内側表面に搭載される光感知アセンブリと、
前記一対の投影アセンブリを前記感知アセンブリに光学的に結合するように構成される一対の接眼レンズと、
前記一対の投影アセンブリおよび前記光感知アセンブリと通信する1つ以上のプロセッサであって、前記1つ以上のプロセッサは、少なくとも部分的に、前記光感知アセンブリから受信されたデータに基づいて、前記一対の投影アセンブリの動作を制御するように構成される、1つ以上のプロセッサと
を備える、ディスプレイシステム。
(項目59)
前記一対の接眼レンズ内の各接眼レンズは、
個別の導波管装置と、
前記一対の投影アセンブリの個別のものによって放出される光を前記個別の導波管装置の中に内部結合するように構成される個別の内部結合要素と、
前記個別の導波管装置内で誘導される前記一対の投影アセンブリの個別のものからの光を前記個別の導波管装置から外に結合するように構成される個別の外部結合要素と
を備える、項目58に記載のディスプレイシステム。
(項目60)
前記個別の外部結合要素の第1の部分は、前記個別の導波管装置内で誘導される前記一対の投影アセンブリの個別のものからの光を前記個別の導波管装置から外にユーザの個別の眼に向かって結合するように構成され、
前記個別の外部結合要素の第2の部分は、前記個別の導波管装置内で誘導される前記一対の投影アセンブリの個別のものからの光を前記個別の導波管装置から外に前記光感知アセンブリに向かって結合するように構成される、
項目59に記載のディスプレイシステム。
(項目61)
前記一対の接眼レンズ内の各接眼レンズは、
個別の射出瞳拡張(EPE)要素であって、前記個別の射出瞳拡張(EPE)要素は、前記個別の導波管装置内で誘導される前記一対の投影アセンブリの個別のものからの光を、前記個別の導波管装置から出射してユーザの個別の眼に指向される複数の光線に分裂させるように構成される、個別の射出瞳拡張(EPE)要素
を備える、項目59に記載のディスプレイシステム。
(項目62)
前記光感知アセンブリは、前記一対の接眼レンズから剛性的にデカップルされる、項目59に記載のディスプレイシステム。
【0098】
本発明の付加的および他の目的、特徴、および利点は、詳細な説明、図、および請求項に説明される。
【図面の簡単な説明】
【0099】
本特許または出願申請書は、カラーで作成された少なくとも1つの図面を含有する。カラー図面を伴う本特許または特許出願公開文書の複写物は、要求および必要な手数料の支払に応じて、特許庁によって提供されるであろう。
【0100】
下記に説明される図面は、例証目的のためだけのものである。図面は、本開示の範囲を限定することを意図するものではない。
【0101】
下記に説明される図面は、例証目的のためだけのものである。図面は、本開示の範囲を限定することを意図するものではない。本特許または出願申請書は、カラーで作成された少なくとも1つの図面を含有する。カラー図面を伴う本特許または特許出願公開文書の複写物は、要求および必要な手数料の支払に応じて、米国特許庁によって提供されるであろう。
【0102】
図面は、本発明の好ましい実施形態の設計および有用性を図示し、類似要素は、共通参照番号によって参照される。本発明の前述および他の利点および目的が得られる方法をより深く理解するために、簡単に前述された本発明のより詳細な説明が、付随の図面に図示されるその具体的実施形態を参照することによって与えられるであろう。これらの図面は、本発明の典型的実施形態のみを描写し、したがって、その範囲の限定と見なされるべきではないことを理解した上で、本発明は、付随の図面の使用を通して付加的具体性および詳細とともに説明および記載されるであろう。
【0103】
図1図1は、先行技術の拡張現実生成デバイスによってエンドユーザに表示され得る、3次元拡張現実場面の写真である。
【0104】
図2図2は、拡張現実生成デバイス内で使用され得る、先行技術のディスプレイサブシステムの平面図である。
【0105】
図3図3は、図2の先行技術のディスプレイサブシステム内で使用され得る、左および右接眼レンズの平面図である。
【0106】
図4A図4Aは、左および右接眼レンズが整合されている、図3の左および右接眼レンズの平面図である。
【0107】
図4B図4Bは、左および右接眼レンズが、ピッチ軸を中心として回転不整合状態である、図3の左および右接眼レンズの平面図である。
【0108】
図4C図4Cは、左および右接眼レンズが、ロール軸を中心として回転不整合状態である、図3の左および右接眼レンズの平面図である。
【0109】
図4D図4Dは、左および右接眼レンズが、ヨー軸を中心として回転不整合状態である、図3の左および右接眼レンズの平面図である。
【0110】
図5図5は、本発明の一実施形態に従って構築された仮想画像生成システムのブロック図である。
【0111】
図6A図6Aは、図5の仮想画像生成システムを装着するために使用され得る、1つの技法の平面図である。
【0112】
図6B図6Bは、図5の仮想画像生成システムを装着するために使用され得る、別の技法の平面図である。
【0113】
図6C図6Cは、図5の仮想画像生成システムを装着するために使用され得る、さらに別の技法の平面図である。
【0114】
図6D図6Dは、図5の仮想画像生成システムを装着するために使用され得る、さらに別の技法の平面図である。
【0115】
図7図7は、図5の仮想画像生成システムにおいて使用するためのディスプレイサブシステムの一実施形態の平面図である。
【0116】
図8図8は、図7のディスプレイサブシステムにおいて使用するための平面光学導波管の一実施形態である。
【0117】
図9図9は、図5の仮想画像生成システムによって生成された例示的フレームの平面図である。
【0118】
図10図10は、図9の例示的フレームを生成するために使用され得る、1つの走査パターンの平面図である。
【0119】
図11図11は、別の例示的フレームを生成するために使用され得る、別の走査パターンの平面図である。
【0120】
図12図12は、さらに別の例示的フレームを生成するために使用され得る、さらに別の走査パターンの平面図である。
【0121】
図13図13は、さらに別の例示的フレームを生成するために使用され得る、さらに別の走査パターンの平面図である。
【0122】
図14A図14Aは、図7のディスプレイサブシステムにおいて使用するための左接眼レンズの一実施形態の平面図である。
【0123】
図14B図14Bは、図7のディスプレイサブシステムにおいて使用するための左接眼レンズの別の実施形態の平面図である。
【0124】
図14C図14Cは、図7のディスプレイサブシステムにおいて使用するための左接眼レンズのさらに別の実施形態の平面図である。
【0125】
図14D図14Dは、図7のディスプレイサブシステムにおいて使用するための左接眼レンズのさらに別の実施形態の平面図である。
【0126】
図14E図14Eは、図7のディスプレイサブシステムにおいて使用するための左接眼レンズのさらに別の実施形態の平面図である。
【0127】
図15図15は、線15-15に沿って得られた、図14Aの左接眼レンズの断面図である。
【0128】
図16図16は、線16-16に沿って得られた、図14Aの左接眼レンズの断面図である。
【0129】
図17A図17Aは、図14Aの導波管装置の斜視図であって、特に、無限視認距離に集束される出射光線を示す。
【0130】
図17B図17Bは、図14Aの導波管装置の斜視図であって、特に、第1の非無限視認距離に集束される出射光線を示す。
【0131】
図17C図17Cは、図14Aの導波管装置の斜視図であって、特に、第2の非無限視認距離に集束される出射光線を示す。
【0132】
図18図18は、線18-18に沿って得られた、図14Bの左接眼レンズの断面図である。
【0133】
図19図19は、線19-19に沿って得られた、図14Bの左接眼レンズの断面図である。
【0134】
図20図20は、図5の仮想画像生成システムにおいて使用するための、ディスプレイサブシステムおよび光センサアセンブリと関連付けられたフレーム構造の上面図である。
【0135】
図21図21は、図20のフレーム構造の正面図である。
【0136】
図22A図22Aは、図20のフレーム構造の上面図であって、左および右接眼レンズは、比較的に整合されている。
【0137】
図22B図22Bは、図20のフレーム構造の上面図であって、左および右接眼レンズは、比較的に不整合状態である。
【0138】
図23A図23Aは、ディスプレイ画面の斜視図であって、コリメートされた光ビームの1つのビーム角度とエンドユーザの視野(FOV)内のピクセルとの間の対応を示す。
【0139】
図23B図23Bは、ディスプレイ画面の斜視図であって、コリメートされた光ビームの別のビーム角度とエンドユーザの視野(FOV)内のピクセルとの間の対応を示す。
【0140】
図24図24は、x-z平面およびy-z平面上に投影された、図23Aのディスプレイ画面から出射する光線の角度の投影の斜視図である。
【0141】
図25図25は、図14Aのフレーム構造において使用するための光センサアセンブリの平面図である。
【0142】
図26A図26Aは、図25の感知アセンブリの直交センサの一実施形態の平面図である。
【0143】
図26B図26Bは、図25の感知アセンブリの直交センサの別の実施形態の平面図である。
【0144】
図26C図26Cは、図25の感知アセンブリの直交センサのさらに別の実施形態の平面図である。
【0145】
図27A図27Aは、例示的誘電層伝送-角度関係の略図である。
【0146】
図27B図27Bは、光検出器強度-電圧関係の略図である。
【0147】
図28A図28Aは、x-y平面に対して左接眼レンズから出射する光線を図示する、略図の斜視図である。
【0148】
図28B図28Bは、x-y平面上に投影された図23aの光線を図示する、略図の平面図である。
【0149】
図29A図29Aは、図25の感知アセンブリの4つの象限センサの一実施形態の平面図である。
【0150】
図29B図29Bは、図25の感知アセンブリの位置感知検出器(PSD)の一実施形態の平面図である。
【0151】
図30図30は、図5の仮想画像生成システムにおいて使用するための、ディスプレイサブシステムおよび別の光センサアセンブリと関連付けられたフレーム構造の上面図である。
【0152】
図31A図31Aは、図5の仮想画像生成システムにおいて使用するためのさらに別の光センサアセンブリの正面図である。
【0153】
図31B図31Bは、図31Aの光センサアセンブリの斜視図である。
【0154】
図32A図32Aは、図5の画像生成システムにおいて使用するための、ディスプレイサブシステムと関連付けられた正面筐体構造の斜視図である。
【0155】
図32B図32Bは、対応する背面筐体構造を伴う、図32Aの正面筐体構造の別の斜視図である。
【発明を実施するための形態】
【0156】
続く説明は、仮想現実および/または拡張現実システムにおいて使用されるべきディスプレイサブシステムおよび方法に関する。しかしながら、本発明は、仮想または拡張現実システムにおける用途に有用であるが、本発明は、その最も広範な側面では、そのように限定されない場合があることを理解されたい。
【0157】
図5を参照して、本発明に従って構築された仮想画像生成システム100の一実施形態が、ここで説明されるであろう。仮想画像生成システム100は、拡張現実サブシステムとして動作され、エンドユーザ50の視野内の物理的オブジェクトと混合された仮想オブジェクトの画像を提供してもよい。仮想画像生成システム100を動作させるときの2つの基本アプローチが存在する。第1のアプローチは、1つ以上の撮像機(例えば、カメラ)を採用し、周囲環境の画像を捕捉するものである。仮想画像生成システム100は、仮想画像を周囲環境の画像を表すデータの中に混合させる。第2のアプローチは、1つ以上の少なくとも部分的に透明な表面を採用し、それを通して周囲環境が、見られ、その上に仮想画像生成システム100が、仮想オブジェクトの画像を生成するものである。
【0158】
仮想画像生成システム100および本明細書に教示される種々の技法は、拡張現実および仮想現実サブシステム以外の用途でも採用されてもよい。例えば、種々の技法は、任意の投影またはディスプレイサブシステムに適用されてもよい、または移動が、頭部ではなく、エンドユーザの手によって行われ得る、ピコプロジェクタに適用されてもよい。したがって、多くの場合、拡張現実サブシステムまたは仮想現実サブシステムの観点から本明細書に説明されるが、本教示は、そのような使用のそのようなサブシステムに限定されるべきではない。
【0159】
少なくとも拡張現実用途のために、種々の仮想オブジェクトをエンドユーザ50の視野内の個別の物理的オブジェクトに対して空間的に位置付けることが望ましくあり得る。仮想オブジェクトはまた、本明細書では、仮想タグまたはタグまたはコールアウトとも称され、多種多様な形態、基本的に、画像として表されることが可能な任意の種々のデータ、情報、概念、または論理構造のいずれかをとってもよい。仮想オブジェクトの非限定的実施例として、仮想テキストオブジェクト、仮想数字オブジェクト、仮想英数字オブジェクト、仮想タグオブジェクト、仮想フィールドオブジェクト、仮想チャートオブジェクト、仮想マップオブジェクト、仮想計装オブジェクト、または物理的オブジェクトの仮想視覚表現が挙げられ得る。
【0160】
仮想画像生成システム100は、エンドユーザ50によって装着されるフレーム構造102と、ディスプレイサブシステム104がエンドユーザ50の眼52の正面に位置付けられるように、フレーム構造102によって担持されるディスプレイサブシステム104と、スピーカ106がエンドユーザ50の外耳道に隣接して位置付けられる(随意に、別のスピーカ(図示せず)がエンドユーザ50の他方の外耳道に隣接して位置付けられ、ステレオ/成形可能音制御を提供する)ように、フレーム構造102によって担持されるスピーカ106とを備える。ディスプレイサブシステム104は、エンドユーザ50の眼52に、高レベルの画質および3次元知覚を伴って、物理的現実に対する拡張として快適に知覚され得、かつ2次元コンテンツを提示可能であり得る、光ベースの放射パターンを提示するように設計される。ディスプレイサブシステム104は、フレームのシーケンスを高周波数で提示し、単一コヒーレント場面の知覚を提供する。
【0161】
図示される実施形態では、ディスプレイサブシステム104は、それを通してユーザが光を実オブジェクトから透明(または半透明)要素を介して直接光を視認することができる「光学シースルー」ディスプレイを採用する。透明要素は、多くの場合、「結合器」と称され、ディスプレイからの光を実世界のユーザの視野にわたって重畳する。ディスプレイサブシステム104は、左および右投影サブシステム108L、108Rと、その上に投影サブシステム108L、108Rが左および右単眼画像を投影する、左および右の部分的に透明なディスプレイ画面(または接眼レンズ)110L、110Rとを備える。下記にさらに詳細に説明されるであろうように、フレーム構造102は、接眼レンズ110を、それぞれ、両眼画像としてのエンドユーザ50への単眼画像の提示のために、エンドユーザ50の眼52の正面に位置付け、かつ周囲環境からの直接光が、接眼レンズ110を通して、それぞれ、エンドユーザ50の眼52に伝送されるように、接眼レンズ110をエンドユーザ50の眼52と周囲環境との間のエンドユーザ50の視野内に位置付けるように、2つの透明接眼レンズ110を担持するように設計される。
【0162】
図示される実施形態では、投影アセンブリ108L、108Rはそれぞれ、走査光を、それぞれ、部分的に透明な接眼レンズ110L、110Rに提供する。例えば、投影サブシステム108L、108Rはそれぞれ、光ファイバ走査ベースの投影デバイスの形態をとってもよく、接眼レンズ110L、110Rはそれぞれ、その中に個別の投影サブシステム108L、108Rからの走査光が、投入され、例えば、無限遠により近い単一光学視認距離(例えば、腕の長さ)における画像、複数の離散光学視認距離または焦点面における画像、および/または複数の視認距離または焦点面にスタックされ、立体3Dオブジェクトを表す、画像層を生産する、導波管ベースのディスプレイの形態をとってもよい。いくつかの実施形態では、それぞれ投影サブシステム108L、108Rは、シリコン上液晶(「LCoS」)コンポーネント等の空間光変調器(「SLM」)を備えてもよい。いくつかの実施形態では、投影サブシステム108L、108Rはそれぞれ、微小電気機械的(「MEMs」)走査ミラー等の別のタイプの走査デバイスを備えてもよい。1つ以上の実施形態において採用され得る、他の投影サブシステム構成の実施例は、2014年11月27日に出願され、2015年7月23日に米国特許公開第2015/0205126号として公開された、米国特許出願第14/555,585号(その全体が、参照することによって本明細書に組み込まれる)内に提供される。
【0163】
ライトフィールド内のこれらの層は、ヒト視覚副系にともに連続して現れるように十分に近接してスタックされてもよい(例えば、1つの層は、隣接する層の乱信号円錐域内にある)。加えて、または代替として、写真要素が、2つまたはそれを上回る層を横断して混成され、それらの層がより疎らにスタックされる場合でも、ライトフィールド内の層間の遷移の知覚される連続性を増加させてもよい(例えば、1つの層は隣接する層の乱信号円錐域外にある)。
【0164】
仮想画像生成システム100はさらに、エンドユーザ50の頭部54の位置および移動および/またはエンドユーザ50の眼の位置および眼間距離を検出するために、フレーム構造102に搭載される1つ以上のセンサ103(図20および21に示される)を備える。そのようなセンサは、画像捕捉デバイス(カメラ等)、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、および/またはジャイロスコープ)を含んでもよい。
【0165】
仮想画像生成システム100はさらに、エンドユーザ50の頭部54の瞬時位置を検出し、センサから受信された位置データに基づいて、エンドユーザ50の頭部54の位置を予測し得る、ユーザ配向検出モジュール112を備える。エンドユーザ50の頭部54の瞬時位置の検出は、エンドユーザ50が見ている具体的実際のオブジェクトの決定を促進し、それによって、その実際のオブジェクトのために生成されるべき具体的テキストメッセージのインジケーションを提供し、さらに、テキストメッセージがストリーミングされるべきテキスト領域のインジケーションを提供する。ユーザ配向モジュール112はまた、センサから受信された追跡データに基づいて、エンドユーザ50の眼52を追跡する。
【0166】
仮想画像生成システム100はさらに、多種多様な形態のいずれかをとり得る、制御サブシステムを備える。制御サブシステムは、いくつかのコントローラ、例えば、1つ以上のマイクロコントローラ、マイクロプロセッサまたは中央処理ユニット(CPU)、デジタル信号プロセッサ、グラフィック処理ユニット(GPU)、他の集積回路コントローラ、例えば、特定用途向け集積回路(ASIC)、プログラマブルゲートアレイ(PGA)、例えば、フィールドPGA(FPGAS)、および/またはプログラマブル論理コントローラ(PLU)を含む。いくつかの実施形態では、制御サブシステムは、例えば、実行可能命令の実行を通して、本明細書に説明される動作を実施する、1つ以上のプロセッサを含む、および/またはそれと通信する。
【0167】
図示される実施形態では、仮想画像生成システム100の制御サブシステムは、中央処理ユニット(CPU)114と、グラフィック処理ユニット(GPU)116と、1つ以上のフレームバッファ118と、3次元データを記憶するための3次元データベース120とを備える。CPU114は、全体的動作を制御する一方、GPU116は、3次元データベース120内に記憶される3次元データからフレームをレンダリングし(例えば、3次元場面を2次元画像に変換し)、これらのフレームをフレームバッファ116内に記憶する。図示されないが、1つ以上の付加的集積回路が、フレームのフレームバッファ116の中への読込および/またはそこからの読取およびディスプレイサブシステム104の投影アセンブリ108の動作を制御してもよい。
【0168】
仮想画像生成システム100はさらに、両眼画像として表示される左および右単眼画像間の不整合を示す、少なくとも1つのパラメータを感知するように構成される、光感知アセンブリ122を備える。図示される実施形態では、光感知アセンブリ122は、接眼レンズ110L、110Rの両方から出射する光線を感知することによって、これを遂行する。検出されるパラメータは、下記にさらに詳細に説明されるであろうように、接眼レンズ110上に表示される単眼画像の両眼整合を較正または再較正するために使用されてもよい。
【0169】
仮想画像生成システム100の種々の処理コンポーネントは、分散型サブシステム内に物理的に含有されてもよい。例えば、図6a-6dに図示されるように、仮想画像生成システム100は、有線導線または無線コネクティビティ136等によって、ディスプレイサブシステム104およびセンサに動作可能に結合される、ローカル処理およびデータモジュール130を備える。ローカル処理およびデータモジュール130は、フレーム構造102に固定して取り付けられる(図6a)、ヘルメットまたは帽子56に固定して取り付けられる(図6b)、ヘッドホン内に埋設される、エンドユーザ50の胴体58に除去可能に取り付けられる(図6c)、またはベルト結合式構成においてエンドユーザ50の腰60に除去可能に取り付けられる(図6d)等、種々の構成において搭載されてもよい。仮想画像生成システム100はさらに、有線導線または無線コネクティビティ138、140等によって、ローカル処理およびデータモジュール130に動作可能に結合される、遠隔処理モジュール132および遠隔データリポジトリ134を備え、これらの遠隔モジュール132、134は、相互に動作可能に結合され、ローカル処理およびデータモジュール130へのリソースとして利用可能となる。
【0170】
ローカル処理およびデータモジュール130は、電力効率的プロセッサまたはコントローラおよびフラッシュメモリ等のデジタルメモリを備えてもよく、両方とも、センサから捕捉され、および/または可能性として、そのような処理または読出後、ディスプレイサブシステム104への通過のために、遠隔処理モジュール132および/または遠隔データリポジトリ134を使用して取得および/または処理されたデータの処理、キャッシュ、および記憶を補助するために利用されてもよい。遠隔処理モジュール132は、データおよび/または画像情報を分析および処理するように構成される、1つ以上の比較的に強力なプロセッサまたはコントローラを備えてもよい。遠隔データリポジトリ134は、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であり得る、比較的に大規模なデジタルデータ記憶設備を備えてもよい。一実施形態では、全てのデータが、記憶され、全ての算出は、ローカル処理およびデータモジュール130で実施され、任意の遠隔モジュールからの完全に自律的使用を可能にする。
【0171】
前述の種々のコンポーネント間の結合136、138、140は、有線または光学通信を提供するための1つまたはそれを上回る有線インターフェースまたはポート、または無線通信を提供するためのRF、マイクロ波、およびIR等を介した1つまたはそれを上回る無線インターフェースまたはポートを含んでもよい。いくつかの実施形態では、全ての通信は、有線であってもよい一方、他の実施形態では、全ての通信は、無線であってもよい。なおもさらなる実施形態では、有線および無線通信の選択肢は、図6a-6dに図示されるものと異なってもよい。したがって、有線または無線通信の特定の選択肢は、限定と見なされるべきではない。
【0172】
図示される実施形態では、ユーザ配向モジュール112は、ローカル処理およびデータモジュール130内に含有される一方、CPU114およびGPU116は、遠隔処理モジュール132内に含有されるが、代替実施形態では、CPU114、GPU124、またはその一部は、ローカル処理およびデータモジュール130内に含有されてもよい。3Dデータベース120は、遠隔データリポジトリ134と関連付けられることができる。
【0173】
ここで図7を参照すると、各投影アセンブリ108は、光を生成する(例えば、異なる色の光を定義されたパターンで放出する)、1つ以上の光源150(1つのみが図7に示される)を含む。光源150は、多種多様な形態のいずれかをとる、例えば、それぞれ、ピクセル情報またはデータの個別のフレーム内で規定された定義されたピクセルパターンに従って、赤色、緑色、および青色のコヒーレントなコリメートされた光を生成するように動作可能なRGBレーザのセット(例えば、赤色、緑色、および青色光を出力可能なレーザダイオード)であってもよい。レーザ光は、高色飽和を提供し、非常にエネルギー効率的である。
【0174】
各投影アセンブリ108はさらに、制御信号に応答して、所定の走査パターンで光を走査する、走査デバイス152(1つのみが図7に示される)を備える。走査デバイス152は、1つ以上の光ファイバ154(例えば、単一モード光ファイバ)を備え、それぞれ、その中に光が光源150から受光される、近位端154aと、そこから光が接眼レンズ110に提供される、遠位端154bとを有する。走査デバイス152はさらに、光ファイバ154が搭載される、機械的駆動アセンブリ156を備える。駆動アセンブリ156は、走査パターンに従って支点158を中心として各光ファイバ154の遠位端154bを変位させるように構成される。
【0175】
この目的を達成するために、駆動アセンブリ156は、光ファイバ154が搭載される、圧電要素160を備え、駆動電子機器162は、電気信号を圧電要素160に伝達し、それによって、光ファイバ154の遠位端154bを走査パターンに従って振動させるように構成される。したがって、光源150および駆動電子機器162の動作は、空間的および/または時間的に変動する光の形態でエンコードされる画像データを生成する様式で協調される。光ファイバ走査技法の説明は、米国特許第2015/0309264号(参照することによって明示的に本明細書に組み込まれる)に提供される。
【0176】
各投影アセンブリ108はさらに、個別の走査デバイス152からの光を個別の接眼レンズ110の中に結合する、光学結合アセンブリ164を備える。光学結合アセンブリ164は、走査デバイス152によって放出される光をコリメートされた光ビーム200へとコリメートする、コリメーション要素166を備える。コリメーション要素166は、光ファイバ154から物理的に分離されるように図7に図示されるが、コリメーション要素は、「Microlens Collimator for Scanning Optical Fiber in Virtual/Augmented Reality System」と題された米国特許出願第15/286, 215号(参照することによって明示的に本明細書に組み込まれる)に説明されるように、「マイクロレンズ」配列において、各光ファイバ154の遠位端154bに物理的に搭載されてもよい。光学結合サブシステム164はさらに、内部結合要素(ICE)168、例えば、1つ以上の反射表面、回折格子、ミラー、ダイクロイックミラー、またはプリズムを備え、光を個別の接眼レンズ110の端部の中に光学的に結合する。
【0177】
各接眼レンズ110は、平面光学導波管172と、平面光学導波管172と関連付けられる、1つ以上の回折光学要素(DOE)174とを含む、導波管装置170の形態をとる。代替実施形態では、導波管装置170は、複数の平面光学導波管172と、それぞれ、平面光学導波管172と関連付けられる、DOE174とを備えてもよい。
【0178】
図8に最良に図示されるように、平面光学導波管172は、第1の端部176aと、第2の端部176bとを有し、第2の端部176bは、平面光学導波管172の長さ178に沿って第1の端部176aに対向する。平面光学導波管172は、第1の面180aと、第2の面180bとを有し、少なくとも第1および第2の面180a、180b(集合的に、180)は、平面光学導波管172の長さ178の少なくとも一部に沿って、少なくとも部分的に、内部反射光学経路(実線矢印182aおよび破線矢印182bによって図示され、集合的に、182)を形成する。平面光学導波管172は、光が定義された臨界角未満において面180に衝打するための実質的全内部反射(TIR)を提供する、種々の形態をとってもよい。
【0179】
DOE174(二重鎖線によって図7および8に図示される)は、TIR光学経路182を中断し、平面光学導波管172の長さ176の少なくとも一部に沿って延在する、平面光学導波管172の内部186と外部188との間の複数の光学経路(実線矢印184aおよび破線矢印184bによって図示され、集合的に、184)を提供する、多種多様な形態をとってもよい。図示される実施形態では、DOE174は、1つ以上の回折格子を備え、それぞれ、光を異なる方向に進行するいくつかのビームの中に分裂および回折させる、光波長のオーダーの周期的構造を伴う、光学コンポーネントとして特徴付けられることができる。回折格子は、例えば、基板上にフォトリソグラフ印刷され得る、表面ナノ隆起、ナノパターン、細隙等から成ることができる。DOE174は、見掛けオブジェクトの位置付けおよび見掛けオブジェクトの焦点面をもたらし得る。これは、フレーム毎、サブフレーム毎、またはさらにピクセル毎に達成されてもよい。
【0180】
図8に図示されるように、光は、TIR伝搬から生じる少なくともいくつかの反射または「バウンス」を伴って、平面光学導波管172に沿って伝搬する。いくつかの実施形態は、反射を促進し得る、例えば、薄膜、誘電コーティング、金属コーティング等、1つ以上の反射体を内部光学経路内に採用してもよいことに留意されたい。光は、平面光学導波管172の長さ178に沿って伝搬し、長さ178に沿って種々の位置においてDOE174と交差する。DOE174は、平面光学導波管172内に組み込まれる、または平面光学導波管172の面180のうちの1つ以上のものに当接または隣接してもよい。DOE174は、少なくとも2つの機能を遂行する。DOE174は、光の角度を偏移させ、光の一部をTIRから逃散させ、内部216から平面光学導波管172の面180の外部に出現させる。DOE174は、外部結合された光を視認距離に集束させる。したがって、平面光学導波管172の面180を通して見ると、1つ以上の視認距離においてデジタル画像が見える。
【0181】
2つの異なる角度のうちの1つにおいて導波管172に入射する、コリメートされた光ビーム200は、2つのTIR光学経路182a、182bのうちの1つを辿り、外部光学経路の2つのセットのうちの1つに沿って、平面光学導波管172から出射する光線202をもたらすであろう。すなわち、TIR光学経路182aによって表される角度において導波管172に入射する、コリメートされた光ビーム200aは、外部光学経路のセットに沿って平面光学導波管172から出射する光線202aをもたらし、TIR光学経路182bによって表される角度において導波管172に入射する、コリメートされた光ビーム200bは、外部光学経路のセットに沿って平面光学導波管172から出射する光線202bをもたらすであろう。
【0182】
前述から、ディスプレイサブシステム104は、1つ以上の仮想オブジェクトの単眼画像を各接眼レンズ100からユーザに提示する、ピクセル情報の一連の合成画像フレームを生成することが理解され得る。例えば、図9を参照すると、合成画像フレーム250は、水平行または線254a-254nに分割されるセル252a-252mとともに図式的に図示される。フレーム250の各セル252は、セル252が応答する個別のピクセルのための複数の色および/または強度毎に、値を規定してもよい。例えば、フレーム250は、ピクセル毎に、赤色256aのための1つ以上の値と、緑色256bのための1つ以上の値と、青色256cのための1つ以上の値とを規定してもよい。値256は、色毎のバイナリ表現、例えば、色毎の個別の4ビット数として規定されてもよい。フレーム250の各セル252は、加えて、振幅を規定する、値256dを含んでもよい。
【0183】
フレーム250は、1つ以上のフィールド、集合的に、258を含んでもよい。フレーム250は、単一フィールドから成ってもよい。代替として、フレーム250は、2つまたはさらにより多くのフィールド258a-258bを備えてもよい。フレーム250の完全な第1のフィールド258aのためのピクセル情報は、完全な第2のフィールド258bのためのピクセル情報の前に規定される、例えば、アレイ、順序付けられたリスト、または他のデータ構造(例えば、記録、リンクされたリスト)内の第2のフィールド258bのためのピクセル情報の前に生じてもよい。提示サブシステムが2つを上回るフィールド258a-258bを取り扱うように構成されると仮定して、第3またはさらに第4のフィールドが、第2のフィールド258bに追従してもよい。
【0184】
ここで図10を参照すると、フレーム250は、ラスタ走査パターン260を使用して生成される。ラスタ走査パターン260では、ピクセル268(1つのみ取り上げられる)は、連続して提示される。ラスタ走査パターン260は、典型的には、左から右に(矢印262a、262bによって示される)、次いで、上から下に(矢印264によって示される)ピクセル268を提示する。したがって、提示は、右上角から開始し、線の終了に到達するまで、第1の線266aを横断して左にトラバースしてもよい。ラスタ走査パターン260は、典型的には、次いで、下の次の線における左から開始する。提示は、1つの線の終了から次の線の開始まで戻るとき、一時的に、ブラックアウトまたはブランクにされてもよい。本プロセスは、最下線266nが、例えば、最右下ピクセル268において完了するまで、線毎に繰り返される。フレーム250が完成すると、新しいフレームが、開始され、再び、次のフレームの最上線の右に戻る。再び、提示は、次のフレームを提示するために左下から右上に戻る間、ブランクにされてもよい。
【0185】
ラスタ走査の多くの実施形態は、インタレース走査パターンと称されるものを採用する。インタレースラスタ走査パターンでは、第1および第2のフィールド258a、258bからの線は、インタレースされる。例えば、第1のフィールド258aの線を提示するとき、第1のフィールド258aのためのピクセル情報が、奇数線のみのために使用されてもよい一方、第2のフィールド258bのためのピクセル情報は、偶数線のみのために使用されてもよい。したがって、フレーム250(図9)の第1のフィールド258aの線は全て、典型的には、第2のフィールド258bの線の前に提示される。第1のフィールド258aは、第1のフィールド258aのピクセル情報を使用して提示され、線1、線3、線5等を連続して提示してもよい。次いで、フレーム250(図9)の第2のフィールド258bは、第2のフィールド258bのピクセル情報を使用することによって、第1のフィールド258aに続いて提示され、線2、線4、線6等を連続して提示してもよい。
【0186】
図11を参照すると、スパイラル走査パターン270が、ラスタ走査パターン260の代わりに使用され、フレーム250を生成してもよい。スパイラル走査パターン270は、コイルまたはループと命名され得る、1つ以上の完全な角度サイクル(例えば、360度)を含み得る、単一スパイラル走査線272から成ってもよい。図10に図示されるラスタ走査パターン260と同様に、スパイラル走査パターン270内のピクセル情報は、角度インクリメントとして、各シーケンシャルピクセルの色および/または強度を規定するために使用される。振幅または半径方向値274は、スパイラル走査線272の開始点276からの半径方向寸法を規定する。
【0187】
図12を参照すると、リサジュー走査パターン280が、代替として使用され、フレーム250を生成してもよい。リサジュー走査パターン280は、コイルまたはループと命名され得る、1つ以上の完全な角度サイクル(例えば、360度)を含み得る、単一リサジュー走査線282から成ってもよい。代替として、リサジュー走査パターン280は、2つ以上のリサジュー走査線282を含んでもよく、各位相は、相互に対して偏移され、リサジュー走査線282をネスト化する。ピクセル情報は、角度インクリメントとして、各シーケンシャルピクセルの色および/または強度を規定するために使用される。振幅または半径方向値は、リサジュー走査線282の開始点286からの半径方向寸法284を規定する。
【0188】
図13を参照すると、マルチフィールドスパイラル走査パターン290が、代替として使用され、フレーム250を生成してもよい。マルチフィールドスパイラル走査パターン290は、2つ以上の明確に異なるスパイラル走査線、集合的に、160、具体的には、4つのスパイラル走査線292a-160dを含む。スパイラル走査線292毎のピクセル情報は、フレームの個別のフィールドによって規定されてもよい。有利なこととして、複数のスパイラル走査線292は、単に、スパイラル走査線292の各連続するもの間の位相を偏移させることによってネスト化され得る。スパイラル走査線292間の位相差は、採用されるであろう、スパイラル走査線292の総数の関数である。例えば、4つのスパイラル走査線292a-292dは、90-度位相偏移によって分離されてもよい。例示的実施形態は、10の明確に異なるスパイラル走査線(例えば、サブスパイラル)を伴って、100Hzリフレッシュレートで動作してもよい。図9の実施形態と同様に、1つ以上の振幅または半径方向値は、スパイラル走査線292の開始点296からの半径方向寸法294を規定する。
【0189】
ディスプレイサブシステムを説明するさらなる詳細は、「Display Subsystem and Method」と題された米国特許出願第14/212, 961号と、「Planar Optical Waveguide Apparatus With Diffraction Elements(s) and Subsystem Employing Same」と題された米国特許出願第14/696,347号(参照することによって本明細書に組み込まれる)とに提供される。
【0190】
ここで図14A-14Eを参照すると、左接眼レンズ110Lの異なるバリエーションが、ここで説明されるであろう。左接眼レンズ110Lは、個別の投影サブアセンブリ108からの光を内部結合し、光をエンドユーザ50の左眼52に外部結合し、かつ光を光感知アセンブリ122に外部結合するために、1つ以上の回折光学要素(DOE)を利用する。右接眼レンズ110Rは、左接眼レンズ110Lと同じ様式で動作し、したがって、左接眼レンズ110Lに関する以下の開示は、右接眼レンズ110Rにも等しく適用されることを理解されたい。
【0191】
上記に議論されるように、左接眼レンズ110Lは、図14Aに図示されるように、こめかみに面した端部172aと、鼻に面した端部172bとを有する、矩形形状の平面光学導波管172を含む、導波管装置170の形態をとる。図15および16に最良に示されるように、導波管172は、例えば、ガラス、溶融シリカ、アクリル、またはポリカーボネート等の光学的に透明な材料の単一の一体型基板または平面であるが、代替実施形態では、導波管172は、同一平面または異なる平面においてともに接合される、光学的に透明な材料の別個の明確に異なる板から成ってもよい。
【0192】
ICE168は、投影アセンブリ108からコリメートされた光ビーム200を面180bを介して導波管172の中に受光するために、導波管172の面180b内に埋設されるが、代替実施形態では、ICE168は、コリメートされた光ビーム200を導波管172の中に内部結合された光ビームとして結合するために、導波管172の他の面180aまたはさらに縁に埋設されてもよい。図示される実施形態では、ICE168は、接眼レンズ172Lのこめかみに面した端部172aに位置付けられる。
【0193】
DOE174は、導波管172の中に光学的に結合されるコリメートされた光ビーム200の有効射出瞳を2次元拡張させるために、導波管172と関連付けられる(例えば、導波管172内に組み込まれる、または導波管172の面180a、180bのうちの1つ以上のものに当接または隣接する)。この目的を達成するために、DOE174は、内部結合された光ビーム200を直交光ビーム201の中に分裂させるために導波管172の面180bに隣接する、1つ以上の直交瞳拡張(OPE)要素174a(1つのみが図14Aに示される)と、各直交光ビーム201をエンドユーザ50の眼52に向かって導波管172の面180bから出射する外部結合された光線202の中に分裂させるために導波管172と関連付けられる、射出瞳拡張(EPE)要素174bとを備える。導波管172が明確に異なる板から成る、代替実施形態では、OPE要素174およびEPE要素174bは、導波管172の異なる板の中に組み込まれてもよい。
【0194】
OPE要素174aは、光を第1の軸(図14Aにおける垂直またはy-軸)に沿って中継し、第2の軸(図14Aにおける水平またはx-軸)に沿って光の有効射出瞳を拡張させる。特に、ICE168は、TIRを介した内部反射光学経路204aに沿った(この場合、水平またはx-軸に沿った)導波管172内の伝搬のために、コリメートされた光ビーム200を光学的に内部結合し、そうすることによって、OPE要素174aと繰り返し交差する。図示される実施形態では、OPE要素174aは、OPE要素174aとの各交差点において、内部結合された光ビーム200の一部(例えば、90%を上回る)が、TIRを介して内部反射光学経路204aに沿って導波管172内を伝搬し続け、内部結合された光ビーム200の残りの部分(例えば、10%未満)が、TIRを介して内部反射光学経路204bに沿って(この場合、垂直またはy-軸に沿って)EPE要素174bに向かって導波管172内を伝搬する、直交光ビーム201として回折されるように、比較的に低回折効率(例えば、50%未満)を有し、一連の対角線回折要素(x-軸に対して45度)を備える。光学経路204bは、光学経路204aに垂直または直交するように説明されるが、光学経路204bは、代替として、光学経路204aに対して斜めに配向されてもよいことを理解されたい。したがって、内部結合された光ビーム200を平行内部反射光学経路204bに沿って伝搬する複数の直交ビーム201の中に分割することによって、導波管装置170の中に内部結合されたコリメートされた光ビーム200の射出瞳は、OPE要素174aによってy-軸に沿って垂直に拡張される。
【0195】
EPE要素174bは、順に、第1の軸(図14Aにおける垂直またはy-軸)に沿って光の有効射出瞳をさらに拡張させる。特に、EPE要素174bは、OPE要素174aのように、図15および16に図示されるように、EPE要素174bとの各交差点において、各直交光ビーム201の一部(例えば、90%を上回る)が、個別の内部反射光学経路204bに沿って伝搬し続け、各直交光ビーム201の残りの部分が、導波管172の面180bから出射する(z-軸に沿って)、外部結合された光線202として回折されるように、比較的に低回折効率(例えば、50%未満)を有する。すなわち、光ビームがEPE要素174bに衝突する度に、その一部は、導波管172の面180bに向かって回折されるであろう一方、残りの部分は、個別の内部反射光学経路204bに沿って伝搬し続けるであろう。
【0196】
したがって、各直交光ビーム201を複数の外部結合された光線202に分割することによって、内部結合された光ビーム200の射出瞳はさらに、EPE要素174bによってy軸に沿って垂直に拡張され、オリジナルの内部結合された光ビーム200のより大きいバージョンに類似する、外部結合された光線202の2次元アレイをもたらす。
【0197】
光ビームレットを導波管172の面180bから外部結合する機能に加え、EPE要素174bは、画像または仮想オブジェクトの一部が、その焦点平面に合致する視認距離において、エンドユーザ50によって見られるように、光ビームレットの出力セットを所与の焦点平面に沿って集束させる役割を果たす。例えば、EPE要素174bが、線形回折パターンのみを有する場合、導波管172の面180bからエンドユーザ50の眼52に向かって出射する、外部結合された光線202は、図17aに示されるように、略平行であって、これは、エンドユーザ50の脳によって、光学無限遠における視認距離(焦点平面)からの光として解釈されるであろう。しかしながら、EPE要素174bが、線形回折パターン成分および半径方向対称回折パターン成分の両方を有する場合、導波管172の面180bから出射する、外部結合された光線202は、エンドユーザ50の眼52の視点からより発散してレンダリングされ(例えば、凸面曲率が、光波面上に付与されるであろう)、結果として生じる画像を網膜上に合焦させるために、眼52がより近い距離に遠近調節することを要求し、エンドユーザ50の脳によって、図17bに示されるように、光学無限遠より眼52に近い視認距離(例えば、4メートル)からの光として解釈されるであろう。導波管172の面180bから出射する、外部結合された光線202は、エンドユーザ50の眼52の視点からさらにより発散してレンダリングされ(例えば、より凸面の曲率が、光波面上に付与されるであろう)、結果として生じる画像を網膜上に合焦させるために、眼52がさらにより近い距離に遠近調節することを要求し得、エンドユーザ50の脳によって、図17cに示されるように、眼52により近い視認距離(例えば、0.5メートル)からの光として解釈されるであろう。
【0198】
左接眼レンズ110Lは、1つのみの焦点平面を有するように本明細書に説明されているが、関連付けられるOPE要素174aおよびEPE要素174bを伴う、複数の平面光学導波管172が、同時に、または並行して、米国特許公開第2015/0309264号および2015/0346490号(参照することによって明示的に本明細書に組み込まれる)に議論されるように、画像を複数の焦点平面に生成するために使用されることができることを理解されたい。
【0199】
図14Aに戻って参照すると、接眼レンズ110Lは、外部結合要素(例えば、DOE)190を含むことによって、直接、エンドユーザ50の眼52のために意図される光を引き出すために活用されてもよい。したがって、光は、エンドユーザ50の視野外にあって、光線202が接眼レンズ110から出射し、したがって、接眼レンズ110から出射する光線202を表す、場所と異なる、場所において、接眼レンズ110から出射する。下記にさらに詳細に説明されるであろうように、表示される左および右単眼画像間の不整合を示す、パラメータは、接眼レンズ110から外部結合された光から導出される。図示される実施形態では、外部結合DOE190は、接眼レンズ172Lの鼻に面した端部172bに位置付けられる。
【0200】
動作時、(ICE168を経て)接眼レンズ110Lの中に内部結合される、左眼のために意図される、投影サブシステム108によって放出される一部の光は、OPE要素174aの領域を通して辿って伝搬し、外部結合DOE190に到達し得る。したがって、外部結合DOE190は、図15に図示されるように、光センサアセンブリ122に向かって導波管172の面180bから出射する(z軸に沿って)、代表的外部結合光線203として、内部結合された光ビーム200の一部を外部結合する。図示される実施形態では、基板170は、その上に外部結合DOE190が搭載される、タブ173を備える。好ましくは、基板170のタブ173は、DOE190から出射する光がエンドユーザ50によって可視化され得ないように、エンドユーザ50の視野外にある。
【0201】
ここで図14Bを参照すると、別の左接眼レンズ110Lは、図14Aに図示される左接眼レンズ110Lに類似するが、OPE要素174aおよびEPE要素174bは、互いに90度クロックされ、例えば、EPE要素174は、図14Aに図示されるようにOPE要素174の下の代わりに、OPE要素174aと基板の鼻に面した端部172bとの間に位置する。図14Aに図示される左接眼レンズ110Lと同様に、OPE174aおよびEPE要素174bは、ICE168を介して導波管172の中に光学的に結合される、コリメートされた光ビーム200の有効射出瞳を2次元で拡張させる。すなわち、OPE要素174aは、内部結合された光ビーム200を直交光ビーム201に分裂させ、射出瞳拡張(EPE)要素174bは、各直交光ビーム201を、エンドユーザ50の眼52に向かって導波管172の面180bから出射する、外部結合された光線202に分裂させる。
【0202】
OPE要素174aは、光を第1の軸(図14Bにおける水平またはx軸)に沿って中継し、光の有効射出瞳を第2の軸(図14Bにおける垂直またはy軸)に沿って拡張させる。特に、ICE168は、内部反射性光学経路204aに沿った(この場合、水平またはx軸に沿った)TIRを介した導波管172内での伝搬のために、コリメートされた光ビーム200を光学的に内部結合し、そうすることによって、OPE要素174aと繰り返し交差する。図示される実施形態では、OPE要素174aは、比較的に低回折効率(例えば、50%未満)を有し、OPE要素174aとの交点の各点において、内部結合された光ビーム200の一部(例えば、90%を上回る)が、TIRを介して、内部反射性光学経路204aに沿って導波管172内を伝搬し続け、内部結合された光ビーム200の残りの部分(例えば、10%未満)が、TIRを介して、内部反射性光学経路204bに沿って(この場合、垂直またはy軸に沿って)、次いで、内部反射性経路204aに沿って(この場合、水平またはx軸に沿って)、EPE要素174bに向かって、導波管172内を伝搬する、直交光ビーム201として回折されるように、一連の対角線回折要素(x軸に対して45度)を備える。したがって、内部結合された光ビーム200を、平行内部反射性光学経路204bに沿って伝搬する、複数の直交ビーム201に分割することによって、導波管装置170の中に内部結合される、コリメートされた光ビーム200の射出瞳は、OPE要素174aによって、y軸に沿って垂直に拡張される。
【0203】
EPE要素174bは、ひいては、第1の軸(図14Bにおける水平またはx軸)に沿って、光の有効射出瞳をさらに拡張させる。特に、EPE要素174bは、OPE要素174aのように、図18および19に図示されるように、EPE要素174bとの交点の各点において、各直交光ビーム201の一部(例えば、90%を上回る)が、個別の内部反射性光学経路204aに沿って伝搬し続け、各直交光ビーム201の残りの部分が、導波管172の面180bから出射する(z軸に沿って)、外部結合された光線202として回折されるように、比較的に低回折効率(例えば、50%未満)を有する。すなわち、光ビームがEPE要素174bに衝打する度に、その一部は、導波管172の面180bに向かって回折されるであろう一方、残りの部分は、個別の内部反射性光学経路204bに沿って伝搬し続けるであろう。
【0204】
したがって、各直交光ビーム201を複数の外部結合された光線202の中に分割することによって、内部結合された光ビーム200の射出瞳は、EPE要素174bによってx-軸に沿って水平にさらに拡張され、オリジナルの内部結合された光ビーム200のより大きいバージョンに類似する、外部結合された光線202の2次元アレイをもたらす。
【0205】
図14Aにおける接眼レンズ110Lのように、図15における接眼レンズ110Lは、外部結合DOE190を接眼レンズ172Lの鼻に面した端部172bに含むことによって、直接、エンドユーザ50の眼52のために意図される光を引き出すために活用されてもよい。しかしながら、OPE要素174の領域のみを通して伝搬する代わりに、(ICE168を経て)接眼レンズ110Lの中に内部結合される、左眼のために意図された、投影サブシステム108によって放出される一部の光は、OPE要素174aおよびEPE要素174bの両方の領域を通して辿って伝搬し、外部結合DOE190に到達し得る。したがって、外部結合DOE190は、図18に図示されるように、光センサアセンブリ122に向かって導波管172の面180bから出射する(z軸に沿って)、代表的外部結合光線203として、内部結合された光ビーム200の一部を外部結合する。図示される実施形態では、基板170は、その上に外部結合DOE190が搭載される、タブ173を備える。好ましくは、基板170のタブ173は、DOE190から出射する光がエンドユーザ50によって可視化され得ないように、エンドユーザ50の視野外にある。いくつかの実施形態では、DOE190の機能性は、外部結合プリズムを用いて提供されてもよい。
【0206】
OPE要素174aおよびEPE要素174bは、x-y平面において非重複として図14Aおよび14Bに図示されるが、OPE要素174aおよびEPE要素174bは、x-y平面において、完全または少なくとも部分的に、相互に重複してもよいことに留意されたい。例えば、図14Cに図示されるように、別の左接眼レンズ110Lは、図14Aおよび14Bに図示される左接眼レンズ110Lに類似するが、導波管172は、三角形に成形され、OPE要素174aおよびEPE要素174bは、それぞれ、導波管172の対向面上に配置される。別の実施例として、図14Dに図示されるように、さらに別の左接眼レンズ110Lは、図14Aおよび14Bに図示される左接眼レンズ110Lに類似するが、導波管172は、不規則的に成形され、OPE要素174aおよびEPE要素174bは、それぞれ、導波管172の対向面上に配置される。図14Cおよび14DにおけるOPE要素174aおよびEPE要素174bの配列は、本明細書では、集合的に、DOE174a-bと称され得る。いくつかの実施形態では、OPE要素174aおよびEPE要素174bの機能性は、単一DOEを用いて提供されてもよい。また、さらに別の実施例として、図14Eに図示されるように、別の左接眼レンズ110Lは、図14Dに図示される左接眼レンズ110Lに類似するが、DOE174a-bはさらに、光を光センサアセンブリ122に向かって外部結合するように構成される。本理由から、図14Eの接眼レンズ110Lは、図14A-14Dを参照して上記に説明される外部結合DOE190等の専用外部結合DOEを含む必要はない。図14Eの実施例では、左接眼レンズ110LのDOE174a-bは、導波管172の鼻に面した端部172bの中に連続的に延在する。したがって、図14Eの左接眼レンズ110LのDOE174a-bの少なくとも一部は、エンドユーザ50のFOV外に位置付けられ得る。いくつかの実施例では、DOE174a-bのそのような部分は、図20-22B、30、および32A-32Bを参照して本明細書に説明されるもののうちの1つ以上のもの等のフレームまたは筐体構造の1つ以上の部分によって、物理的に隠され得る。
【0207】
図21を参照すると、フレーム構造102、ディスプレイサブシステム104、および光感知アセンブリ122の一実施形態が、ここで説明されるであろう。図示される実施形態では、フレーム構造102は、例えば、拡大鏡またはサングラスの形状における、比較的に軽量で、薄く、かつ可撓性の形状因子を有し、搬送、快適性、およびより審美的に魅力的な見た目を促進する。フレーム構造102は、個別の左および右接眼レンズ110L、110Rを担持するためのフレーム300だけではなく、それぞれ、左および右接眼レンズ110L、110Rと関連付けられる、個別の左および右投影サブアセンブリ108L、108Rと、一対の左および右つるのアーム302L、302Rと、つるのアーム302L、302R間のブリッジ304と、ブリッジ304に添着される、鼻当て306とを備える。フレーム構造102はまた、エンドユーザ50の頭部54の位置および移動を検出するためのビデオカメラの形態における、前向き左および右センサ103L、103Rを担持する。
【0208】
図示される実施形態では、フレーム300、アーム302L、302R、およびブリッジ304は、ともにモノリシックに統合されるが、代替実施形態では、これらのコンポーネントのいずれかは、離散部品から成ることができ、次いで、接合材料または締結具等の好適な界面接触コンポーネントを使用して、ともに統合される。つるのアーム302L、302Rは、エンドユーザ50の頭部54の個別のこめかみに係合し、フレーム300、したがって、エンドユーザ50の眼52の正面の左および右接眼レンズ110L、110Rを維持するように設計される。つるのアーム302L、302Rは、それぞれ、左および右ヒンジ308L、308Rを備え、フレーム構造102をエンドユーザ52の頭部54に適切に適合させるためのアーム302L、302Rの撓曲を促進してもよい。鼻当て306は、フレーム構造102を着用するとき、エンドユーザ52の鼻上に静止し、鼻およびこめかみの快適性を向上させるように構成される。鼻当て306は、付加的快適性のためにエンドユーザ52の鼻の形状に共形化する、凸面表面を有してもよい。
【0209】
フレーム300は、それぞれ、ブリッジ304から離れるように延在する、カンチレバーアーム部分312と、エンドユーザ52の眼52の平面と平行な平面において、個別のカンチレバーアーム部分312から延在する、添着アーム部分314とを有する、左および右カンチレバー式アーム310L、310Rを備える。左および右接眼レンズ110L、110Rは、それぞれ、好適な様式において、添着アーム部分314に添着され、左および右投影サブアセンブリ108L、108Rは、それぞれ、添着アーム部分314の外側端部に添着され、光線が、それぞれ、左および右接眼レンズ110L、110Rから出射し、左および右単眼画像を両眼画像としてエンドユーザ50に表示するように、それぞれ、左および右接眼レンズ110L、110Rの中への光ビームの導入を促進する。いくつかの実施形態では、左および右ヒンジ308L、308Rおよび/または左および右のつるのアーム302L、302Lは、直接、アーム部分314の左および右の遠位端に添着されてもよい。図20に示されるような左および右接眼レンズ110L、110Rは、図14A-14Dを参照して上記に説明されるような左および右接眼レンズ110L、110Rと同一または類似してもよい。したがって、左および右接眼レンズ110L、110Rは、上記に説明されるように、それぞれ、2つの投影サブシステム108L、108Rから放出される光を受光/内部結合するように構成される、左および右ICE(図20および21に示されない)と、それぞれ、光を光感知アセンブリ122に向かって外部結合するように構成される、左および右外部結合DOE190L、190Rと、OPEおよび/または射出瞳拡張EPE機能性を提供するように構成される、1つ以上の付加的DOE(図20および21に示されない)とを備える。
【0210】
いくつかの実施例では、図20に示されるような左および右接眼レンズ110L、110Rは、図14Eを参照して上記に説明されるような左および右接眼レンズ110L、110Rと同一または類似してもよい。したがって、左および右接眼レンズ110L、110Rはそれぞれ、投影サブシステム108L、108Rの個別のものから放出される光を受光/内部結合するように構成される、ICEと、OPEおよび/または射出瞳拡張EPE機能性を提供し、光を光感知アセンブリ122に向かって外部結合するように構成される、DOE174a-b(図20および21に示されない)とを備えてもよい。図14Cおよび14Dを参照して上記に述べられたように、DOE174a-bは、1つ以上のDOEコンポーネントの形態をとってもよい。
【0211】
図20に図示されるように、接眼レンズ110Lから外に外部結合DOE190を通して結合される、光は、光感知アセンブリ122に到達する前に、自由空間内を伝搬し得る。上記に説明されるように、右接眼レンズ110Rは、左接眼レンズ110Lのものに類似する光学アーキテクチャ(例えば、左接眼レンズ110Lの光学アーキテクチャの鏡映画像バージョン)とともに実装されてもよい。したがって、接眼レンズ110Rから外に個別の外部結合DOEを通して結合される、光は、上記に述べられた光感知アセンブリ122に到達する前に、自由空間内を伝搬し得る。
【0212】
光感知アセンブリ122は、中心に搭載されてもよく、図示される実施形態では、左および右接眼レンズ110L、110Rの両方からの光を測定するように、ブリッジ304の正面表面に添着される。したがって、光感知アセンブリ122は、下記にさらに詳細に説明されるであろうように、個別の左および右接眼レンズ110L、110Rの左および右DOE190L、190Rから出射する光線を感知する。
【0213】
図20に図示されるように、フレーム構造102、光感知アセンブリ122、および接眼レンズ110L、110Rは、光感知アセンブリ122が、左および右接眼レンズ110L、110Rの両方と光学的に結合されるが、左接眼レンズ110Lおよび右接眼レンズ110Rから剛性的に(物理的に)デカップルされるように構成される。言い換えると、それに対して光感知アセンブリ122が搭載されるかまたは位置付けられるフレーム構造102の部分は、それによって左および右接眼レンズ110L、110Rが担持または別様に支持されるフレーム構造102の部分(例えば、カンチレバー式アーム310L、310R)と、移動可能または柔軟に結合される。いくつかの実施例では、それに対して光感知アセンブリ122が搭載されるかまたは位置付けられるフレーム構造102の部分自体は、局所変形を最小限にし、光感知アセンブリ122とモノリシック構造を形成するように、比較的に剛性である。このように、接眼レンズ110L、110Rから剛性的にデカップルされる/それに柔軟に結合されるが、2つの接眼レンズ110Lおよび110R間に常駐し、それらに物理的に橋架する、フレーム構造102の一部上に搭載されることによって、光感知アセンブリ122は、本質的に、2つの接眼レンズ110L、110R間の相対的変形に非依存的となり得る。したがって、光感知アセンブリ122は、両眼変形分析および/またはオンライン仮想画像較正の目的のために、外部結合DOE190L、190Rから外に結合される光を客観的に観察するために非常に好適である。
【0214】
図22Aおよび22Bを参照すると、左および右接眼レンズ110L、110Rが、比較的に整合され、したがって、両眼調和可能仮想画像を提示する(例えば、仮想画像生成システム100のユーザに)ように構成されるように、フレーム構造102が機械的に理想的条件にあるとき(「状態A」)と、左および右接眼レンズ110L、110Rが相互に対して不整合状態にあるように、フレーム構造102が準理想的物理的(変形)条件(例えば、使用による磨耗、熱効果等の結果)にあるとき(「状態B」)との仮想画像生成システム100の動作が、示される。さらに、仮想コンテンツは、接眼レンズを含む、任意の物理的コンポーネントに対して、予測可能に移動しないことが見出されている。むしろ、仮想画像挙動は、光生成器(例えば、投影サブシステム)の内部および光生成器-接眼レンズインターフェース(例えば、ICEに対する投影サブシステムの位置付け)および熱および他の効果の関数である。
【0215】
図22Aに描写されるように、状態Aでは、仮想画像生成システム100は、左および右接眼レンズ110L、110Rの両方を通して、仮想単眼画像を表示するように動作する。すなわち、投影サブシステム108Lは、仮想コンテンツを表す光を左接眼レンズ110Lに向かって投影し、これは、ひいては、本光を内部結合し(例えば、ICEを通して)、上記に説明されるOPE174aおよびEPE174b等のOPEおよび/またはEPE機能性を提供するように構成される、DOEに向かって誘導する。誘導される光の大部分は、DOEを横断するにつれて、接眼レンズ110Lから出射し得る(例えば、ユーザの左眼に向かって指向される)が、本光の一部は、外部結合DOE190Lに向かって継続し、そこで、接眼レンズ110Lから外に光(光線203によって表される)として結合され、少なくとも部分的に、光感知アセンブリ122によって傍受されてもよい。投影サブシステム108Rは、右接眼レンズ110RおよびそのDOE(例えば、外部結合DOE190、ICE、OPE174a、およびEPE174b等)とともに、仮想コンテンツを提示し(例えば、ユーザの右眼に)、また、(例えば、外部結合DOE190Rを通して)該仮想コンテンツを表す光を外部結合し、光感知アセンブリ122に指向するように、状態Aにおける類似様式で動作してもよい。
【0216】
図22Bに描写されるように、状態Bでは、左および右接眼レンズ110L、110Rは、ヨー軸を中心として相互に少なくとも回転不整合状態であることが分かる。本変形(この場合、右カンチレバー式アーム310Rのアーム部分312のカンチレバー支持によって生じる)の結果として、さらに、光(光線203によって表される)が状態Bにおいて右接眼レンズ110Rの外部結合DOE190Rから出射する角度が、光(対応する光線203によって表される)が状態Aにおいて右接眼レンズ110Rの外部結合DOE190Rから出射する角度と異なり、また、光(光線203によって表される)が状態AおよびBの両方において左接眼レンズ110Lの外部結合DOE190Lから出射する角度とも異なることが分かる。光感知アセンブリ122の光能力によって、仮想画像生成システム100は、光感知アセンブリ122から出力されたデータに基づいて、2つの接眼レンズ110L、110R間のそのような変形/相対的不整合を検出することが可能であり得る。
【0217】
簡単に上記に議論されたように、DOE190L、190Rの両方から出射する光を検出することによって、光感知アセンブリ122は、個別の左および右接眼レンズ110L、110Rによって両眼画像として提示される左および右単眼画像間の不整合を示す、少なくとも第1のパラメータを感知し得る。仮想画像生成システム100の制御回路(例えば、CPU114)は、光感知アセンブリ122によって行われたそのような測定を表す、データを受信および処理し得る。仮想画像生成システム100の制御回路構成は、フレーム構造102が状態Aにあるときの光感知アセンブリ122上に入射する光から導出されるデータと、フレーム構造102が状態Bにあるときの光感知アセンブリ122上に入射する光に関して導出されるデータを事実上比較し、続いて、左および右接眼レンズ110L、110Rの相対的変形状態を定量化、特性評価、または別様に検出するように動作し得る。
【0218】
1つ以上の回転軸(例えば、ピッチ軸、ロール軸、および/またはヨー軸)を中心とした左および右接眼レンズ110L、110Rの相対的不整合の検出に応答して、仮想画像生成システム100は、1つ以上のオンライン仮想画像較正動作を実施し、両眼調和可能仮想画像(例えば、仮想画像生成システム100のユーザに)を提示する、または別様にそのような不整合を補償し得る。上記に説明されるように、そのような較正ルーチンは、接眼レンズ110L、110Rに関して記憶される平行移動および/または回転パラメータを更新するステップを含んでもよい。仮想画像は、GPU116または仮想画像生成システム100の制御サブシステムの他のコンポーネントによって事実上較正され得る。具体的には、そのような更新された平行移動および/または回転パラメータは、レンダリング空間またはそれと関連付けられる「仮想画面」内の「仮想カメラ」(「レンダリングカメラ」とも称される)の1つ以上の付帯パラメータを平行移動させる、回転させる、または別様に変換するために利用されてもよい。いくつかの実施例では、レンダリングカメラの1つ以上の固有のパラメータは、検出された両眼不整合に基づいて調節されてもよい。レンダリングプロセスにおけるレンダリングカメラの作成、調節、および使用について議論するさらなる詳細は、米国特許出願第15/274,823号および米国特許出願第16/250,931号(その両方とも、あらゆる目的のために、参照することによってその全体として明示的に本明細書に組み込まれる)に提供される。
【0219】
いくつかの実施形態では、1つ以上のレンダリングカメラが、ユーザの眼毎に採用されてもよい。したがって、これらの実施形態のうちのいくつかでは、仮想画像生成システム100は、左接眼レンズ110Lと関連付けられた第1のレンダリングカメラと、右接眼レンズ110Rと関連付けられた第2のレンダリングカメラとを採用してもよい。ピッチ、ロール、および/またはヨー軸を中心とした左および右接眼レンズ110L、110Rの不整合に対処するために、仮想画像生成システム100は、例えば、1つ以上の調節を、それぞれ、ピッチ、ロール、および/またはヨー軸を中心とした第1および第2のレンダリングカメラの一方または両方の配向に行ってもよい。例えば、図4Bに示されるものに類似する、ピッチ軸を中心とした不整合を補償するために、仮想画像生成システム100は、1つ以上の調節を行い、第2のレンダリングカメラをピッチ軸を中心として下向きに回転または傾斜させる、第1のレンダリングカメラをピッチ軸を中心として上向きに回転または傾斜させる、またはそれらの組み合わせを行ってもよい。代替として、または加えて、仮想画像生成システム100は、1つ以上の動作を実施し、右接眼レンズ110R上に提示される仮想画像を下向きに垂直に平行移動させる、左接眼レンズ110L上に提示される仮想画像を上向きに垂直に平行移動させる、または両方を行い、図4Bに示されるものに類似する、ピッチ軸を中心とした不整合を補償してもよい。同様に、図4Cに示されるものに類似する、ロール軸を中心とした不整合を補償するために、仮想画像生成システム100は、1つ以上の調節を行い、第2のレンダリングカメラをロール軸を中心として時計回りに回転または傾斜させる、第1のレンダリングカメラをロール軸を中心として反時計回りに回転または傾斜させる、またはそれらの組み合わせを行ってもよい。さらに、図4Dに示されるものに類似する、ヨー軸を中心とした不整合を補償するために、仮想画像生成システム100は、1つ以上の調節を行い、第2のレンダリングカメラをヨー軸を中心として左に回転または傾斜させる、第1のレンダリングカメラをヨー軸を中心として右に回転または傾斜させる、またはそれらの組み合わせを行ってもよい。代替として、または加えて、仮想画像生成システム100は、1つ以上の動作を実施し、右接眼レンズ110R上に提示される仮想画像を左に水平に平行移動させる、左接眼レンズ110L上に提示される仮想画像を右に水平に平行移動させる、または両方を行い、図4Dに示されるものに類似する、ヨー軸を中心とした不整合を補償してもよい。複数の軸を中心とした不整合を補償するために、仮想画像生成システム100は、回転および/または平行移動調節の組み合わせを第1および第2のレンダリングカメラおよび/または左および右仮想画像の一方または両方に行ってもよい。いくつかの実施形態では、仮想画像生成システム100は、所望の結果が達成されるまで、微細またはインクリメント調節を第1および第2のレンダリングカメラおよび/または左および右仮想画像の一方または両方の配向および/または位置に行うように、フィードバックループ上で動作してもよい。
【0220】
いくつかの実施形態では、仮想画像生成システム100は、相対的平行移動パラメータおよび相対的回転パラメータを含む、2つの接眼レンズ110L、110Rのための較正プロファイルを記憶してもよい。相対的平行移動パラメータは、2つの接眼レンズ110L、110Rのそれぞれの重心間の相対的距離に対応してもよく、相対的回転パラメータは、2つの接眼レンズ110L、110R間の相対的角度配向に対応してもよい。いくつかの実施例では、相対的平行移動パラメータは、接眼レンズ110Lのディスプレイ位置合わせ体積の頂点と接眼レンズ110Rのディスプレイ位置合わせ体積の頂点との間の距離に対応してもよい。同様に、これらの実施例のうちのいくつかでは、相対的回転パラメータは、接眼レンズ110Lのディスプレイ位置合わせ体積と接眼レンズ110Rのディスプレイ位置合わせ体積との間の相対的角度配向に対応してもよい。ディスプレイ位置合わせ体積およびそれと関連付けられるシステムおよび技法の実施例に関する付加的情報は、米国特許出願第16/251, 017号(その全体が、参照することによって本明細書に組み込まれる)に提供される。
【0221】
一実施形態では、光感知アセンブリ122によって感知される、画像不整合パラメータは、光線203が個別の左および右接眼レンズ110L、110Rから出射する角度を含む。この目的を達成するために、光感知アセンブリ122は、個別の左および右DOE190L、190Rから出射する光線203を独立して感知するために、2つの離散センサ(図示せず)を備える。図示される実施形態では、光感知アセンブリ122は、1つ以上の基準平面に対する光線203の角度を示すパラメータを感知する。例えば、これらの基準平面は、以下にさらに詳細に説明されるように、x-z平面、y-z平面、およびx-y平面を備えてもよい。着目すべきこととして、これらの基準平面は、平坦であってもよいが、各左および右接眼レンズ110L、110Rの外部表面は、代替として、湾曲され得るため、これらの基準平面もまた、湾曲されてもよい。
【0222】
また、簡潔に前述されたように、出射光線の角度は、画像フレーム内のピクセルの位置と非常に相関する。例えば、図23Aおよび23Bに図示されるように、投影サブシステム108のうちの1つからコリメートされた光ビーム200は、ICE168を介して、個別の接眼レンズ110に入射し、導波管172内を伝搬する。伝搬する光ビーム200の射出瞳は、例えば、図14A-14Eおよび図15-19の導波管172の面180bから出射する光線202に関して上記に説明されるように、DOE174によってx-軸およびy-軸に沿って拡張される。接眼レンズ110の中に入力されるコリメートされた光ビーム200に対応する、1つのみの光線202が、簡潔目的のために示されるが、典型的には、コリメートされた光ビーム200の走査角度に関連する出射光線202の全てのあらゆる角度を伴って、単一のコリメートされた光ビーム200に対応して接眼レンズ110から出射する、多くの光線202が存在するであろうことを理解されたい。
【0223】
コリメートされた光ビーム200は、投影サブシステム108によって走査され、光210aの入力円錐を生成し、本円錐内の各ビーム角度は、ユーザの視野(FOV)214内のピクセル212に対応する。図23Aに示されるように、コリメートされた光ビーム200が、1つの特定のビーム角度を有する場合、対応するピクセル212aは、FOV214の左下領域内で生成される一方、コリメートされた光ビーム200が、別の特定のビーム角度を有する場合、対応するピクセル212bは、FOV214の右上領域内に生成される。接眼レンズ110は、入力光円錐210aを導波管172の放出面180bに伝送し、光210bの出力円錐をもたらすことによって、x-y画像平面をエンドユーザ50に提示する。
【0224】
2つの接眼レンズ110L、110Rのそれぞれに対して、CPU114(図5に示される)が、単眼画像データを生成し、これは、ピクセルの色および強度を定義することに加え、個別の接眼レンズ110のための単眼画像のピクセルの場所を定義し、したがって、接眼レンズ110L、110Rの両方に関する同一ピクセルの定義された場所に対応する出射光線202の相対的設計角度、および光感知アセンブリ122によって感知される接眼レンズ110L、100Rの両方に関する出射光線202の実際の相対的角度に基づいて、個別の接眼レンズ110に対する投影サブシステム108によって生成された光ビーム200の角度を制御し、それによって、接眼レンズ110L、110Rの出射光線202の実際の相対的角度が、接眼レンズ110L、110Rの出射光線202の設計される相対的角度とほぼ同じである、すなわち、エンドユーザ50が合致する単眼画像を両眼画像として正しく知覚するように、接眼レンズ110L、110Rによって生産された単眼画像のピクセルが、可能な限り近似するように合致することを確実にする。
【0225】
例えば、図24を参照すると、3次元空間内の原点からの出射光線202の配向は、FOV214のx-y平面内のピクセル212の個別のx-およびy-座標に緊密に対応する、x-z平面216a上の1つと、y-z平面216b上の別のものとの2つの角度によって定義されてもよい。CPU114は、光感知アセンブリ122によって感知されるパラメータに基づいて、左および右接眼レンズ110L、110R毎のx-zおよびy-z平面216a、216bにおける出射光線202の実際の角度を決定し、接眼レンズ110L、110Rのそれぞれの対応するピクセル212に関する出射光線202の実際の角度と出射光線202の設計通りの角度との間の逸脱を算出し、投影サブシステム108の動作を修正し、接眼レンズ110L、110Rに関する出射光線202の相対的実際の角度と出射光線202の相対的設計通りの角度との間の相違を補償し、接眼レンズ110L、110Rによって生成される単眼画像に整合させてもよい。
【0226】
そのような相違を補正するために、CPU114は、投影サブシステム108に、接眼レンズ110L、110Rの一方または両方に関するコリメートされた光ビーム200の走査位置を調節するように命令してもよい。図示される実施形態では、個別の接眼レンズ110に関するコリメートされた光ビーム200の走査位置は、走査デバイス156の機械的応答が、所望のピクセル位置のための所望の機械的応答により一致するように、走査デバイス156(図7参照)の作動/駆動プロファイル(例えば、圧電要素160の駆動電子機器162によって提供される駆動電圧、駆動信号、駆動パターン等)を修正することによって調節されてもよい。別の実施例として、CPU114は、個別の接眼レンズ110Lに関する単眼画像データを修正し(例えば、ピクセル変調/ピクセル同期を修正することによって)、接眼レンズ110L、110Rに関する左および右単眼画像間の既知の不整合を補償してもよい。この場合、出射光線203の「正しくない角度」が、測定されるが、補正されない。さらに別の実施例として、コリメートされた光ビーム200の走査位置の修正および画像データの修正の組み合わせが、CPU114によって採用されてもよい。
【0227】
コリメートされた光ビーム200の走査位置および/または接眼レンズ110L、110Rの一方または両方に関する単眼画像データは、角度測定をリアルタイムで監視し、可能な限り迅速に対応する投影サブシステム108の一方または両方への調節をもたらし、処理および因果関係に起因する遅延を最小限にする、ソフトウェア/ハードウェアコントローラ(例えば、比例-積分-微分(PID)に類似する)を採用することによって、修正され、接眼レンズ110L、110Rの出射光線202の相対的実際の角度と接眼レンズ110L、110Rの出射光線202の所望の角度との間の不整合を補償することができる。代替として、ディスプレイサブシステム104は、同じ標的走査パターンが各画像フレームを生成するために使用される、反復システムであるため、前の画像フレームのために取得された角度測定が、算出および記憶されることができ、次いで、補正が、後続画像フレームに適用されることができる。高画像フレームレートが存在する場合、約数ミリ秒の遅延を被り得る。
【0228】
左および右接眼レンズ110L、100R毎に、光感知アセンブリ122は、x-zおよびy-z平面216a、216bに対する光線202のうちの少なくとも1つの強度を検出する。図14A-14Eおよび図15-19に図示される実施形態では、感知アセンブリ122は、個別の接眼レンズ110から出射または放出される光線202を表す、少なくとも1つの光線203(1つのみが本明細書に説明される)の強度を測定する。本実施形態では、代表的光線203は、出射光線202と異なり、出射光線202と異なる場所において、好ましくは、エンドユーザ50のFOV214外で、個別の接眼レンズ110の外部結合DOE190から出射する。
【0229】
一実施形態では、光感知アセンブリ122は、それぞれ、左および右接眼レンズ110L、110Rの左および右DOE190L、190Rから出射する光を別個に検出するために、2つの別個かつ独立したセンサ配列を備える。この場合、2つのセンサ配列は、そこからフレーム300の変形によって生じる左および右接眼レンズ110L、110R間の任意の不整合を検出するために、安定プラットフォームを提供するように、2つのセンサ配列間に変形が存在しないように、相互に剛性的に結合されることが重要である。そのような2つのセンサ配列の実施例は、図31A-31Bを参照して下記にさらに詳細に説明される。
【0230】
例えば、図25に図示されるように、光感知アセンブリ122は、左接眼レンズ110Lの左DOE190Lから出射する代表的光線203の角度を検出するための左非結像センサ配列220Lと、右接眼レンズ110Rの右DOE190Rから出射する代表的光線203の角度を検出するための右非結像センサ配列220Rとを備える。センサ配列220L、220Rはそれぞれ、接眼レンズ110の個別のDOE190から出射する代表的光線203の直交成分を感知するように構成される、一対の直交角度センサ222aおよび222b(集合的に、222)と、直交角度センサ222からの読取値が個別の接眼レンズ110内の光の強度に正規化され得るように、代表的光線203の絶対強度を感知するように構成される、正規化センサ224とを備える。すなわち、画像が、生成されると、ピクセル強度は、異なるピクセルの色に対応して変調される。したがって、光強度センサ224によって測定されたピクセル強度変調は、角度センサ222の測定を解釈するときに考慮され得る。
【0231】
図26Aをさらに参照すると、一対の角度センサ222a、222bは、それぞれ、一対の光強度センサ226a、226b(集合的に、226)と、一対の角度選択的誘電層228a、228b(集合的に、228)と、一対の円筒形レンズ(例えば、GRINレンズ)230a、230b(集合的に、230)とを備える。GRINレンズ230は、直接、個別の接眼レンズ110のDOE190に面し、誘電層228は、それぞれ、直接、GRINレンズ230の外向きに向いた表面に搭載され、光強度センサ226は、それぞれ、直接、誘電層228の外向きに向いた表面に搭載される。
【0232】
重要なこととして、各誘電層228の指向性性質は、光エネルギーが誘電層228(x-y平面に位置する)の平面に入射する角度の既知の関数として、光エネルギーを伝送する。例えば、図27Aに図示される例示的誘電層伝送-角度関係から分かるように、代表的光線203の角度が、誘電層228の平面(0度)の法線に近いほど、光強度センサ226に伝送される代表的光線203のエネルギーは、大きくなる。さらに、各光強度センサ226は、個別の誘電層228の平面に対して法線の角度において入射する光エネルギーの強度の既知の関数である、電圧を生成するであろう。例えば、図27Bに図示される例示的光検出器強度-電圧関係から分かるように、誘電層228に入射する光エネルギーの強度が高いほど、誘電層228によって生成される電圧は、大きくなる。その結果、代表的光線203が光強度センサ226の平面に入射する角度は、以下にさらに詳細に説明されるであろうように、これらの関係曲線から決定されることができる。図27Aおよび27Bに図示される関係曲線は、分析的に生成されてもよい、または単位あたり関連値を測定または較正し、それによって、より正確かつ較正された関係曲線をもたらすことによって、生成されてもよいことに留意されたい。
【0233】
また、入射光に対して法線の平面へのセンサ開口の投影が、入射光の入射角が大きいほど面積が減少する、「コサイン減衰」、および光センサの光学物理的特性に起因して、代表的光線203の角度を感知する一次手段として利用され得る、光強度センサ226自体が、ある程度の角度依存を有し、その場合、角度センサ222は、誘電層228を含まなくてもよい、または角度センサ222内の誘電層228の使用に加え、代表的光線203の角度を感知する二次または補助手段として利用されることができることに留意されたい。いずれの場合も、個別の光強度センサ226によって感知される電圧をある範囲の光入射角度と相関させる、光検出器強度-角度関係(図示せず)が、生成されてもよい。本光検出器強度-角度関係自体が、代表的光線203の角度を決定するために使用されることができる、または誘電層伝送-角度関係(図27A)および光検出器強度-電圧関係(図27B)から決定された代表的光線203の角度を確認するために使用されてもよい。
【0234】
着目すべきこととして、誘電層228は、代表的光線203からのエネルギーを同一入射角であるが、異なる半径方向に等しく伝送するであろうという点において、性質上、等方性であるため、感知アセンブリ122は、誘電層228の円形対称を分断し、それによって、代表的光線203の配向がx-zおよびy-z平面216a、216bの中に投影されることを可能にする。この目的を達成するために、円筒形レンズ230a、230bはそれぞれ、代表的光線203の第1および第2の直交成分(x-zおよびy-z平面216a、216bに対応する)を個別の誘電層228a、228bに通過させるように構成される。
【0235】
したがって、一方のレンズ230aは、代表的光線203aのエネルギーを水平(x-)成分に分離し、他方のレンズ230bは、代表的光線203bのエネルギーを垂直(y-)成分に分離する。したがって、一方の光強度センサ226aは、DOE190から出射する代表的光線203aの水平エネルギー成分のみを受信し、他方の光強度センサ224bは、DOE190を介して、代表的光線203bの垂直エネルギー成分のみを受信するであろう。x-zおよびy-z平面216a、216b上に投影された代表的光線202の角度は、次いで、以下に議論されるように、代表的光線203のこれらの水平および垂直成分から決定されることができる。
【0236】
着目すべきこととして、各角度センサ222は、例証における簡潔性および明確性の目的のために、1つの代表的光線203を検出するように説明されるが、角度センサ222はそれぞれ、実際には、多くの光線を検出し、したがって、角度センサ222の電圧出力は、代表的光線203の水平成分203aまたは垂直成分203bの合成を表すであろう。しかしながら、DOE190は、好ましくは、DOE190から出射する代表的光線203の角度が内部結合されたコリメートされたビーム200の具体的角度を前提として均一であるように、線形回折パターンを有する。
【0237】
図26Bに図示される代替実施形態では、円筒形レンズ230を使用するのではなく、外部結合DOE190自体が、上記に説明される円筒形レンズ230と同一様式において、1つの直交成分を角度センサ222aに通過させる部分と、他の直交成分を角度センサ222bに通過させる別の部分とに区画化されてもよい。図26Cに図示されるさらに別の代替実施形態では、角度センサ222はそれぞれ、代表的光線203を直交偏光された光線の中に偏光させ、次いで、誘電層228a、228bを介して、個別の光強度センサ226a、226bに通過されるように構成される、一対の偏光要素232a、232b(集合的に、232)を備える。
【0238】
さらに別の代替実施形態では、円筒形レンズまたは上記に説明される他のデバイスのいずれかの代わりに、誘電層228a、228b自体が、誘電層228が、もはや等方性ではなく、むしろ、異方性であって、1つの直交方向において他の直交方向においてより代表的光線203を通過させ、かつその逆も同様である傾向になるように、直交配向に歪まされることができる。異方性誘電層228は、直交様式において代表的光線203を完璧に伝送しないが、代表的光線203の角度は、x-zおよびy-z平面216a、216b上に投影されると、依然として、誘電層228の既知の直交伝送係数(すなわち、他の直交方向に対する1つの直交方向において各誘電層228によって伝送される光エネルギーの比率)に照らして決定されることができる。
【0239】
着目すべきこととして、開示されるような角度センサ220は、x-z平面216aまたはy-z平面216bにおける出射光線203の絶対角度が得られ得る、情報のみを感知可能である(例えば、30°の絶対角度は、+30°または-30°であり得る)。したがって、感知アセンブリ122は、x-z平面216aまたはy-z平面216bにおける出射光線203の相対角度を示す別のパラメータを感知する。図示される実施形態では、本検出されたパラメータは、x-zおよびy-z平面216a、216b上に投影された光線203の角度の符号が決定され得るように、コリメートされた光ビーム200が平面に投影される、象限を備える。
【0240】
例えば、図28Aに図示されるように、1つの出射光線203は、x-y平面216cに対して角度を形成する。すなわち、x-y平面216c上に投影されると、出射光線203は、図28Bに図示されるように、x-y平面216cに角度を形成し得る。そこに示されるように、出射光線203の角度は、x-y平面216cの第2の象限内に投影され、したがって、出射光線203がx-z平面216aにおいて成す角度が負の符号を有し、出射光線203がy-z平面216bにおいて成す角度が正の符号を有することが決定され得る。
【0241】
感知アセンブリ122は、コリメーション要素274からICE168に入射するコリメートされた光ビーム200が向けられる象限を検出することによって、出射光線203が投影される象限を間接的に検出するように構成される(図7に示される)。特に、感知アセンブリ122は、図14A-14Eおよび図15-19に示されるICE168に搭載され得る、1つ以上の象限センサ(図示せず)を備える。図29Aに図示されるように、4つの象限センサ232は、コリメートされた光ビーム200によるセンサ232のうちの1つのアクティブ化が光ビーム200が現在向けられている象限を示すであろうように、基準平面234の象限内で離間される。代替として、図29Bに図示されるように、感知アセンブリ122は、象限の交差点に心合される、象限位置感知検出器(PSD)236を備えてもよい。いずれの場合も、コリメートされた光ビーム200の角度位置が、個別の接眼レンズ110から出射する光線203の角度と相関性であるため、光線203がx-y平面216cの中に投影される象限は、コリメートされた光ビーム200が向けられる基準平面234の象限から導出されることができる。
【0242】
代替実施形態では、光線203がx-y平面216cの中に投影される象限は、単に、出射光線203の強度が感知アセンブリ122によって感知されるとき、走査パターン内の現在の走査位置の象限から推測されることができる。
【0243】
x-z平面216aおよびy-z平面216b上に投影された光線203の角度を決定する1つの方法が、ここで説明されるであろう。光強度センサ222が、90mVの電圧を測定すると仮定する。図22bに図示される例示的光検出器強度-電圧関係に従って、代表的光線203の絶対強度が、次いで、100nitsであると決定されることができる。
【0244】
角度センサ220aが、70mVの電圧を測定すると仮定する。図27Bに図示される例示的光検出器強度-電圧関係に従って、角度選択誘電層226aによって光強度センサ224aに伝送される代表的光線203の強度が、次いで、80nitsであると決定されることができる。したがって、100nitsの光線の既知の強度に基づいて、誘電層226aは、光エネルギーの80/100=80%を光強度センサ224aに伝送すると決定されることができる。図27Aに図示される例示的誘電層伝送-角度関係に従って、x-z平面216aに投影された代表的光線203の絶対角度が、次いで、20度であると決定されることができる。
【0245】
同様に、角度センサ220bが、65mVの電圧を測定すると仮定する。図27Bに図示される例示的光検出器強度-電圧関係に従って、角度選択誘電層226bによって光強度センサ224bに伝送される代表的光線203の強度が、次いで、75nitsであると決定されることができる。したがって、100nitsの光線の既知の強度に基づいて、誘電層226bは、光エネルギーの75/100=75%を光強度センサ224bに伝送すると決定されることができる。図27Aに図示される例示的誘電層伝送-角度関係に従って、y-z平面216aに投影された代表的光線203の絶対角度が、次いで、35度であると決定されることができる。
【0246】
センサ232またはPSD236が、x-y平面216c上に投影された代表的光線203の角度が、第3の象限内にあることを検出する場合、または別様にx-y平面216c上に投影された代表的光線203の角度が、コリメートされたビーム200の既知の走査角度の情報から導出される第3の象限内にあることが既知である場合、それぞれ、x-z平面216aおよびy-z平面216bの中に投影される代表的光線203の角度は両方とも、負であって、したがって、-20度および-35度であるはずであると決定されることができる。
【0247】
光感知アセンブリ122は、左および右接眼レンズ110L、110Rの個別の左および右DOE170L、170Rから出射する光を検出するための2つの別個かつ独立したセンサ配列を有するように説明されたが、他の実施形態では、光感知アセンブリ122は、左および右接眼レンズ110L、110Rの左および右DOE170L、170Rの両方から出射する光を検出するための単一センサ配列を有してもよい。
【0248】
例えば、ここで図30を参照すると、フレーム構造102によって担持される、別の光感知アセンブリ122’が、説明されるであろう。光感知アセンブリ122’は、単一センサ250と、平面光学導波管272と、平面光学導波管272と関連付けられる、左および右内部結合要素(ICE)268L、268Rおよび外部結合DOE290とを含む、導波管装置270とを備える。いくつかの実施例では、光感知アセンブリ122’は、図22A-22Bを参照して上記に説明される実施例のうちの1つ以上のものにおける光感知アセンブリ122として実装されてもよい。平面光学導波管272は、第1の端部276aと、第2の端部276bとを有し、第2の端部276bは、平面光学導波管272の長さ278に沿って、第1の端部276aに対向する。平面光学導波管272は、第1の面280aと、第2の面280b(集合的に、280)を有し、平面光学導波管272の長さ278の少なくとも一部に沿って、内部反射性光学経路(実線矢印282によって図示される)を形成する。平面光学導波管272は、光が定義された臨界角未満で面280に衝打するための実質的全内部反射(TIR)を提供する、種々の形態をとってもよい。
【0249】
左および右ICE268L、268Rは、それぞれ、代表的光線203を左および右接眼レンズ110L、110Rの左および右外部結合DOE170L、170Rから受光するために、導波管272の対向端276a、276bにおいて、導波管272の面280bに内蔵されるが、代替実施形態では、ICE268L、268Rは、代表的光線203を導波管272の中に内部結合された光ビームとして結合するために、導波管272の他の面180aまたはさらに縁に内蔵されてもよい。光は、平面光学導波管272に沿って伝搬し、少なくとも一部の反射または「バウンス」が、TIR伝搬から生じる。外部結合DOE290は、ICE268L、268Rと対照的に、光を導波管272の面180aから単一センサ250に向かって出射する代表的光線203として外部結合するために、導波管272の面280aに内蔵される。
【0250】
単一センサ250は、3次元において、それぞれ、左および右接眼レンズ110L、110Rの左および右DOE190L、190Rから出射する、代表的光線203の角度を感知するために、図25-26に図示されるセンサ配列220の形態のうちの1つをとることができる。この場合、角度検出が、左および右接眼レンズ110L、110Rの左および右DOE190L、190Rから出射する代表的光線203の角度が、代替として検出され得るように、時間多重化されることができる。
【0251】
別の実施形態では、左および右接眼レンズ170L、170Rから出射する代表的光線203は、点源(例えば、ピクセル)の角度場所の関数である、干渉パターン(投影された画像のフーリエ変換)をセンサ250の表面上に形成し得る。そのような干渉パターンを感知し、それから観察される点を推定し、それらを点の意図される角度場所と比較することは、左および右接眼レンズ170L、170R間の相対的ピッチおよびヨーを与えるであろう。ロールは、2つの接眼レンズ170L、170Rのそれぞれからの3つ以上の点を使用することによって求められることができる。
【0252】
他の実施形態では、結像ベースのアプローチもまた、仮想画像生成システム100によって採用され得、その場合、図30に図示される中心感知アセンブリ122’のセンサ250は、1つ以上の結像デバイス(例えば、カメラ、光ダイオード等)と、左および右接眼レンズ110L、110Rの左および右DOE190L、190Rから出射する光が、レンズ効果を受け、画像を結像センサ250上に形成するように、1つ以上のレンズ効果要素(図示せず)とを含む、またはその形態をとってもよい。結像ベースのアプローチは、ガラス基板上に統合される、従来的カメラと、屈折レンズ効果または「ウエハ」カメラとを採用することができる。そのような実施形態では、仮想画像生成システム100は、1つ以上の結像デバイスによって捕捉された画像に基づいて、2つの接眼レンズ110L、110R間の変形/相対的不整合を検出することが可能であり得る。いくつかの実施形態では、仮想画像生成システム100は、1つ以上の結像デバイスによって捕捉された画像を、左接眼レンズ110Lを通して知覚されるように意図されるような仮想画像、右接眼レンズ110Rを通して知覚されるように意図されるような仮想画像、知覚されるように意図されるような2つの前述の仮想画像の融合、またはそれらの組み合わせに対して評価することによって、2つの接眼レンズ110L、110R間の変形/相対的不整合を検出してもよい。いくつかの実施例では、そのような結像デバイスはまた、「実世界」(例えば、仮想画像生成システム100のユーザの正面の環境)の画像を捕捉することが可能な前向きに向いた画像センサ(例えば、カメラ103)として、二重の役割を果たすように構成されてもよい。
【0253】
したがって、感知アセンブリ122’の結像センサは、左および右接眼レンズ110L、110Rを介してエンドユーザ50に提示される、左および右単眼仮想画像の同じコピーを入手する。代替として、仮想画像生成システム100は、エンドユーザ50に提示される実際の仮想画像と別個に、試験単眼仮想画像を左および右接眼レンズ110L、110Rの中に投影してもよい(例えば、エンドユーザ50の視野外で数ピクセル)。
【0254】
いずれの場合も、仮想画像生成システム100の制御回路構成(例えば、CPU114)は、感知アセンブリ122’によって検出された単眼仮想画像(接眼レンズ110L、110Rによって両眼画像としてエンドユーザ50に提示される単眼仮想画像の表現として)を受信および比較し、単眼画像間の不整合が存在するかどうかを決定し得る。1つ以上の回転軸(例えば、ピッチ軸、ロール軸、および/またはヨー軸)を中心とした左および右接眼レンズ110L、110Rの相対的不整合の検出に応答して、仮想画像生成システム100は、上記に議論されるように、1つ以上のオンライン仮想画像較正動作を実施し、両眼調和可能仮想画像を提示する(例えば、仮想画像生成システム100のユーザに)、または別様にそのような不整合を補償する。
【0255】
上記に述べられたように、いくつかの実施形態では、本明細書に説明される光感知アセンブリ122は、左および右接眼レンズ110L、110Rの個別の左および右DOE170L、170Rから出射する光を検出するために、一対の感知デバイスを含んでもよい。例えば、図31Aは、図5の仮想画像生成システムにおいて使用するためのさらに別の光センサアセンブリ122”の正面図を描写する。いくつかの実施例では、光感知アセンブリ122”は、図22A-22Bを参照して上記に説明される実施例のうちの1つ以上のものにおける光感知アセンブリ122として実装されてもよい。光感知アセンブリ122”は、本体3110上または内に配置される、左および右センサ3150L、3150Rを含む。
【0256】
左および右センサ3150L、3150Rは、それぞれ、左および右接眼レンズ110L、110Rに光学的に結合されてもよく、本体3110を経て相互に剛性的に結合されてもよい。左および右センサ3150L、3150Rは、例えば、画像を捕捉するように構成される、カメラまたは他の結像デバイスの形態をってもよい。したがって、いくつかの実施形態では、左および右センサ3150L、3150Rは、それぞれ、単眼仮想画像を表す光を含み得る、左および右接眼レンズ110L、110Rによって外部結合された光を受光および結像するように構成されてもよい。例えば、図31Bは、その中で左および右センサ3150L、3150Rが、左および右接眼レンズ110L、110Rから外部結合されるような光線203を受光および結像する、図31Aの光センサアセンブリ122”の斜視図を描写する。上記に述べられたように、左および右センサ3150L、3150Rによって捕捉された画像は、それぞれ、左および右接眼レンズ110L、110Rを通して知覚されるように意図されるような左および右仮想画像、知覚されるように意図されるような2つの前述の仮想画像の融合、またはそれらの組み合わせに対して評価され、2つの接眼レンズ110L、110R間の変形/相対的不整合を検出または測定してもよい。いくつかの実施例では、仮想画像生成システム100は、左および右センサ3150L、3150Rによって捕捉された画像のそのような評価に基づいて、回転および/または平行移動調節を、それぞれ、2つの接眼レンズ110L、110Rと関連付けられる、2つのレンダリングカメラの一方または両方、および/または、それぞれ、2つの接眼レンズ110L、110Rを通して提示されることになる2つの仮想画像の一方または両方に行ってもよい。より具体的には、仮想画像生成システム100は、左および右センサ3150L、3150Rによって捕捉された画像を評価し、左および右センサ3150L、3150Rによって捕捉された画像の一方または両方と、左および右接眼レンズ110L、110Rを通して知覚されるように意図されるような左および右仮想画像の一方または両方との間の相違を識別および定量化してもよい。仮想画像生成システム100は、例えば、画像内の決定された相違に基づいて、前述の調節のうちの1つ以上のものを行ってもよい。いくつかの実施形態では、仮想画像生成システム100は、1つ以上の画像処理動作を実施し、左および右センサ3150L、3150Rによって捕捉された画像を融合させる、または別様に組み合わせてもよく、次いで、1つ以上の動作を実施し、結果として生じる組み合わせられた画像と、左および右接眼レンズ110L、110Rを通して知覚されるように意図されるような左および右仮想画像の融合との間の相違を識別および定量化してもよい。そのような実施形態では、仮想画像生成システム100は、例えば、画像内の決定された相違に基づいて、前述の調節のうちの1つ以上のものを行ってもよい。いくつかの実施例では、左および右仮想画像は、試験仮想単眼画像に対応してもよい。そのような試験仮想単眼画像は、例えば、格子模様パターンまたは他の所定の空間変動パターンに対応してもよい。
【0257】
光センサアセンブリ122”の本体3110は、左および右センサ3150L、3150R間の変形を最小限にし、そこから左および右接眼レンズ110L、110R間の不整合を検出するための安定プラットフォームとしての役割を果たすように設計されてもよい。したがって、いくつかの実施例では、光センサアセンブリ122”の本体3110は、金属(例えば、アルミニウム)、セラミック、ガラス、炭素繊維、またはその合成物等の比較的に剛性および/または高強度材料から作製されてもよい。さらに、左および右センサ3150L、3150Rは、左センサ3150Lが、右センサ3150Rと同一平面内に位置付けられるように、光センサアセンブリ122”の本体3110上および/または内に配置されてもよく、その逆も同様である。すなわち、左および右センサ3150L、3150Rは、相互に側方に整合されてもよく、本体3110は、そのような整合を維持する役割を果たし得る。したがって、いくつかの実施形態では、光センサアセンブリ122”の本体3110の1つ以上の表面は、幾何学的に平面であってもよい。いくつかの実施例では、光センサアセンブリ122”の本体3110の左および右遠位部分は、それぞれ、左および右センサ3150L、3150Rを受容および/または係合するように構成される、一対の穴または陥凹領域を特徴としてもよい。いくつかの実施形態では、左および右センサ3150L、3150Rは、接着剤の1つ以上の層、1つ以上の他の搭載ハードウェアコンポーネント、またはそれらの組み合わせを用いて、光センサアセンブリ122”の本体3110上または内に固着されてもよい。このように、左および右センサ3150L、3150Rおよび本体3110は、ともにモノリシックに統合されてもよい。図31Aおよび31Bに描写されるように、いくつかの実施例では、本体3110の形状は、直角プリズムのものに対応してもよい。しかしながら、光センサアセンブリ122”の本体3110は、種々の異なる伸長幾何学形状のいずれかをとってもよいことを理解されたい。
【0258】
いくつかの実施形態では、光センサアセンブリ122”の本体3110はさらに、ブラケット、貫通孔、スタンドオフ、ねじ山付きソケット、および同等物等、フレーム300への光センサアセンブリ122”の搭載または取付を有効にする、または別様に促進するように構成される、1つ以上の特徴を含んでもよい。いくつかの実施例では、1つ以上の別個の搭載ハードウェアコンポーネントは、ブラケット、スタンドオフ、スペーサ、接着剤層、ナット、ボルト、および同等物等、フレーム300への光センサアセンブリ122”の搭載または取付を有効にする、または別様に促進するために利用されてもよい。いくつかの実施形態では、左および右センサ3150L、3150Rの一方または両方と関連付けられる、回路構成コンポーネントは、光センサアセンブリ122”の本体3110上および/または内に配置されてもよい。いくつかの実施例では、1つ以上の光学コンポーネント(例えば、プリズム、ビームスプリッタ、ミラー、レンズ、自由形態光学要素等)は、光を左および右センサ3150L、3150Rに向かって再経路指定する、または別様に左および右センサ3150L、3150Rによって捕捉するために光を調整するように、左および右センサ3150L、3150Rおよび本体3110のうちの1つ以上のもの上および/または内に配置されてもよい。
【0259】
いくつかの実施形態では、光感知アセンブリ122”は、仮想画像生成システム100のディスプレイサブシステムの筐体構造の一部に搭載されてもよい。例えば、図32Aおよび32Bは、図5の画像生成システムにおいて使用するための、ディスプレイサブシステムと関連付けられた正面筐体構造3210の斜視図を描写する。いくつかの実施例では、光感知アセンブリ122”は、正面筐体構造3210の中心部分3212の内向きに向いた側に搭載される、または別様に取り付けられてもよい。他の実施例では、光感知アセンブリ122”は、図32Bに示されるように背面筐体構造3220の中心部分3222の外向きに向いた側に、搭載される、または別様に取り付けられてもよい。いずれの場合も、光感知アセンブリ122”は、正面および背面筐体構造3210、3220間に封入されてもよい。いくつかの実施形態では、正面および背面筐体構造3210、3220の一方または両方の部分は、プラスチック、金属、炭素繊維、またはその合成物から作製されてもよい。本明細書に説明されるシステムのうちの1つ以上のものにおいて採用され得る、筐体構造の付加的実施例は、米国特許出願第16/225,961号(その全体が、参照することによって本明細書に組み込まれる)に提供される。
【0260】
いくつかの実施形態では、仮想画像生成システム100のディスプレイサブシステムの1つ以上の付加的コンポーネントは、少なくとも部分的に、正面および背面筐体構造3210、3220間に位置付けられる、または格納されてもよい。そのような1つ以上のコンポーネントは、例えば、左および右投影サブシステム108L、108Rと、左および右接眼レンズ110L、110Rと、種々の他の電子および/または光学コンポーネントのいずれかとを含んでもよい。いくつかの実施例では、上記に説明されるようなフレーム300の機能的均等物である、またはそれに類似する、1つ以上のコンポーネントもまた、少なくとも部分的に、正面および背面筐体構造3210、3220間に位置付けられる、または格納されてもよい。これらの実施例のうちの少なくともいくつかでは、左および右接眼レンズ110L、110Rは、そのような1つ以上のコンポーネントによって担持されてもよい。いくつかの実施形態では、左および右接眼レンズ110L、110Rは、左および右接眼レンズ110L、110RのDOE174または174a-bが、ディスプレイサブシステムの装着者に暴露され得る一方、左および右接眼レンズ110L、110RのDOE190が、正面および背面筐体構造3210、3220の部分3212および3222間またはそれに近接して位置付けられるように、正面および背面筐体構造3210、3220間に配列されてもよい。したがって、これらの実施形態では、左および右接眼レンズ110L、110RのDOE190は、正面および背面筐体構造3210、3220によって隠され、したがって、ディスプレイサブシステムの装着者のFOV外にあり得る。同様に、図14Eの接眼レンズが利用される、実施形態に関して、左および右接眼レンズ110L、110Rは、各DOE174a-bの第1の部分が、ディスプレイサブシステムの装着者に暴露され、各DOE174a-bの第2の部分が、正面および背面筐体構造3210、3220の部分3212および3222間またはそれに近接する場所において、装着者のFOV外に位置付けられるように、正面および背面筐体構造3210、3220間に配列されてもよい。本発明の特定の実施形態が、図示および説明されたが、本発明を好ましい実施形態に限定することを意図するものではなく、種々の変化および修正が本発明の精神および範囲から逸脱することなく成されてもよいことが、当業者に明白となるであろうことを理解されたい。したがって、本発明は、請求項によって定義された本発明の精神および範囲内に含まれ得る、代替、修正、および均等物を網羅することが意図される。
図1
図2
図3
図4A
図4B
図4C
図4D
図5
図6A
図6B
図6C
図6D
図7
図8
図9
図10
図11
図12
図13
図14A
図14B
図14C
図14D
図14E
図15
図16
図17A
図17B
図17C
図18
図19
図20
図21
図22A
図22B
図23A
図23B
図24
図25
図26A
図26B
図26C
図27A
図27B
図28A
図28B
図29A
図29B
図30
図31A
図31B
図32A
図32B