IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティー オブ アリゾナの特許一覧

特表2022-547579瞳整合オクルージョン対応光学シースルー頭部搭載型ディスプレイ
<>
  • 特表-瞳整合オクルージョン対応光学シースルー頭部搭載型ディスプレイ 図1A
  • 特表-瞳整合オクルージョン対応光学シースルー頭部搭載型ディスプレイ 図1B
  • 特表-瞳整合オクルージョン対応光学シースルー頭部搭載型ディスプレイ 図1C
  • 特表-瞳整合オクルージョン対応光学シースルー頭部搭載型ディスプレイ 図2
  • 特表-瞳整合オクルージョン対応光学シースルー頭部搭載型ディスプレイ 図3
  • 特表-瞳整合オクルージョン対応光学シースルー頭部搭載型ディスプレイ 図4A
  • 特表-瞳整合オクルージョン対応光学シースルー頭部搭載型ディスプレイ 図4B
  • 特表-瞳整合オクルージョン対応光学シースルー頭部搭載型ディスプレイ 図4C
  • 特表-瞳整合オクルージョン対応光学シースルー頭部搭載型ディスプレイ 図5
  • 特表-瞳整合オクルージョン対応光学シースルー頭部搭載型ディスプレイ 図6
  • 特表-瞳整合オクルージョン対応光学シースルー頭部搭載型ディスプレイ 図7
  • 特表-瞳整合オクルージョン対応光学シースルー頭部搭載型ディスプレイ 図8
  • 特表-瞳整合オクルージョン対応光学シースルー頭部搭載型ディスプレイ 図9A
  • 特表-瞳整合オクルージョン対応光学シースルー頭部搭載型ディスプレイ 図9B
  • 特表-瞳整合オクルージョン対応光学シースルー頭部搭載型ディスプレイ 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-11-14
(54)【発明の名称】瞳整合オクルージョン対応光学シースルー頭部搭載型ディスプレイ
(51)【国際特許分類】
   G02B 27/02 20060101AFI20221107BHJP
   G09G 5/00 20060101ALI20221107BHJP
【FI】
G02B27/02 Z
G09G5/00 510A
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022516062
(86)(22)【出願日】2020-09-14
(85)【翻訳文提出日】2022-05-09
(86)【国際出願番号】 US2020050693
(87)【国際公開番号】W WO2021051068
(87)【国際公開日】2021-03-18
(31)【優先権主張番号】62/900,204
(32)【優先日】2019-09-13
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】517342844
【氏名又は名称】アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティー オブ アリゾナ
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】フア, ホン
(72)【発明者】
【氏名】ウィルソン, オースティン
【テーマコード(参考)】
2H199
5C182
【Fターム(参考)】
2H199CA12
2H199CA24
2H199CA25
2H199CA42
2H199CA45
2H199CA47
2H199CA49
2H199CA58
2H199CA63
2H199CA64
2H199CA65
2H199CA83
2H199CA85
5C182AA02
5C182AA03
5C182AB08
5C182AB35
5C182BA14
5C182BC22
5C182BC25
5C182BC26
5C182CA01
5C182DA44
(57)【要約】
コンパクトなオクルージョン対応光学シースルー頭部搭載型ディスプレイ(OCOST-HMD)が、二重巻経路を有し、ピクセル毎の相互オクルージョンと、仮想ビューと実際のビューとの間の正しいシースルー視認投象または瞳整合視認とをレンダリングすることが可能であるように説明される。例示的デバイスは、偏光器と、偏光ビームスプリッタと、対物レンズと、空間光変調器(SLM)と、接眼レンズと、4分の1波長板と、第1の方向にその上に入射する光を反射させ、第2の方向からその上に入射するマイクロディスプレイから受光された光を遷移させるように構成される、反射性光学要素とを含む。
【特許請求の範囲】
【請求項1】
オクルージョン対応光学シースルー頭部搭載型ディスプレイ(OCOST-HMD)であって、
偏光要素であって、前記偏光要素は、実場面からの光を受光し、その出力において、偏光を生成するように構成される、偏光要素と、
偏光ビームスプリッタ(PBS)と、
対物レンズと、
空間光変調器(SLM)と、
接眼レンズと、
4分の1波長板(QWP)と、
反射性光学要素であって、前記反射性光学要素は、第1の方向にその上に入射する光の実質的に全部または一部を反射させ、第2の方向からその上に入射するマイクロディスプレイから受光された光の実質的に全部または一部を遷移させるように構成される、反射性光学要素と
を備え、
前記SLMおよび前記対物レンズは、前記対物レンズを通して通過する光の少なくとも一部が、前記SLMから反射され、再び、前記対物レンズを通して伝搬することを可能にする第1の二重通過構成を形成し、
前記接眼レンズおよび前記反射性光学要素は、前記接眼レンズを通して通過する光の少なくとも一部が、前記反射性光学要素から反射され、再び、前記接眼レンズを通して伝搬することを可能にする第2の二重通過構成を形成する、
OCOST-HMD。
【請求項2】
前記PBSは、前記偏光を受光し、前記偏光を前記対物レンズに向かって反射させるように位置付けられ、
前記PBSは、前記第1の二重通過構成から出力された光を受光し、それを通して前記接眼レンズに向かって透過させ、前記マイクロディスプレイからの光を含む前記PBSが前記第2の二重通過構成から受光する光を、ヒトの眼の位置に向かって反射させるように位置付けられる、
請求項1に記載のOCOST-HMD。
【請求項3】
第1の反射表面をさらに備え、
前記PBSは、
前記偏光を受光し、それを通して前記偏光を前記対物レンズに向かって透過させることと、
前記第1の二重通過構成から出力される光を受光し、前記接眼レンズに向かって反射させることと、
前記マイクロディスプレイからの光を含む前記PBSが前記第2の二重通過構成から受光する光を、前記第1の反射表面に向かって反射させることと
を行うように位置付けられ、前記第1の反射表面は、その上に入射する光をヒトの眼の位置に向かって反射させるように位置付けられる、請求項1に記載のOCOST-HMD。
【請求項4】
前記SLMは、その上に入射する光を変調させるように構成される、請求項1に記載のOCOST-HMD。
【請求項5】
前記SLMは、オン-オフ変調モードで動作するように構成される、請求項4に記載のOCOST-HMD。
【請求項6】
前記マイクロディスプレイ上に提示される仮想画像に対応するオクルージョンマスクをさらに含み、前記オクルージョンマスクは、前記SLMの1つまたはそれを上回る領域の変調をもたらすために使用される、請求項1に記載のOCOST-HMD。
【請求項7】
前記マイクロディスプレイをさらに含む、請求項1に記載のOCOST-HMD。
【請求項8】
前記反射性光学要素は、前記マイクロディスプレイの表面上に位置付けられる、請求項7に記載のOCOST-HMD。
【請求項9】
前記マイクロディスプレイは、有機発光ダイオード(OLED)デバイスを含む、請求項7に記載のOCOST-HMD。
【請求項10】
前記QWPは、前記接眼レンズと前記反射性光学要素との間に位置付けられる、請求項1に記載のOCOST-HMD。
【請求項11】
前記QWPは、前記接眼レンズと前記PBSとの間に位置付けられる、請求項1に記載のOCOST-HMD。
【請求項12】
前記SLMは、シリコン上液晶(LCoS)デバイスを含む、請求項1に記載のOCOST-HMD。
【請求項13】
前記OCOST-HMDは、ルーフプリズムを使用せずに、正位画像を生成するように構成される、請求項1に記載のOCOST-HMD。
【請求項14】
前記OCOST-HMDは、ユーザの瞳、すなわち、中継瞳を、前記ユーザの眼の位置に戻るようにマッピングし、正しい視差が維持されることを可能にする瞳整合光学構成を提供する、請求項1に記載のOCOST-HMD。
【請求項15】
前記OCOST-HMDは、前記接眼レンズによって少なくとも1つの方向に限定されない視野(FOV)を生成するように構成される、請求項1に記載のOCOST-HMD。
【請求項16】
前記OCOST-HMDは、対角線上に40度を上回る視野(FOV)と、完全FOVにわたって20%変調コントラストを上回る光学性能とを有する、請求項1に記載のOCOST-HMD。
【請求項17】
前記OCOST-HMDは、1.0弧分の角分解能を伴う90度×40度のシースルー視野(FOV)を有する、請求項1に記載のOCOST-HMD。
【請求項18】
前記OCOST-HMDの少なくとも一部は、入射瞳を共役中間瞳場所に対して結像する2つの無限焦点4f中継器のセットに対応する、請求項1に記載のOCOST-HMD。
【請求項19】
前記OCOST-HMDは、単層、二重通過、瞳整合されたOCOST-HMDを形成する、請求項1に記載のOCOST-HMD。
【請求項20】
(a)前記対物レンズを含む対物レンズ群、または
(b)前記接眼レンズを含む接眼レンズ群
の一方または両方を備える、請求項1に記載のOCOST-HMD。
【請求項21】
オクルージョン対応光学シースルー頭部搭載型ディスプレイ(OCOST-HMD)であって、
実場面と関連付けられる偏光を生成するための偏光器と、
ビームスプリッタ(PBS)と、
対物レンズと、
空間光変調器(SLM)と、
接眼レンズと、
リターダと、
半ミラーであって、前記半ミラーは、第1の方向にその上に入射するオクルージョンマスクと関連付けられる光の実質的に全てを反射させ、第2の方向からその上に入射する仮想場面と関連付けられる光の実質的に全てを遷移させるように構成される、半ミラーと
を備え、
前記PBSは、
前記偏光を受光し、前記SLMに向かって指向させることと、
前記仮想場面と関連付けられる光を受光し、ユーザの眼によって視認するための位置に向かって指向させることと、
前記オクルージョンマスクと関連付けられる前記光を受光し、前記半ミラーに向かって指向させることと
を行うように位置付けられ、
前記SLMは、前記オクルージョンマスクの2次元形状に従って、その上に入射する光を変調させるように構成され、
前記OCOST-HMDは、正位画像を生成するように構成され、前記ユーザの瞳、すなわち、中継瞳の位置は、前記ユーザの眼の位置にマッピングされ、正しい視差が維持されることを可能にする、
OCOST-HMD。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
本願は、「Pupil Matched Occlusion-Capable Optical See-Through Head-Mounted Display」と題され、2019年9月13日に出願された、整理番号第62/900,204号を伴う、仮出願の優先権を主張する。上記の仮出願の内容全体は、本書の開示の一部として、参照することによって組み込まれる。
【0002】
本書における技術は、概して、頭部搭載型ディスプレイに関し、具体的には、広視野を伴う、頭部搭載型ディスプレイに関する。
【背景技術】
【0003】
シースルー頭部搭載型ディスプレイ(HMD)は、拡張現実システム内でデジタル情報と物理的場面をマージするための重要な実行可能な技術のうちの1つである。ビデオシースルーおよび光学シースルーディスプレイは両方とも、その一意の利点を有するが、光学シースルーHMD(OST-HMD)は、実場面分解能、視差、視野(FOV)、および画像待ち時間に関して、好ましい傾向にある。従来の光学シースルー頭部搭載型ディスプレイは、典型的には、実世界の光と仮想オブジェクトのものを均一に組み合わせるために、ビームスプリッタまたは回折格子等の光学コンバイナに依拠する。以前のシステムの付加的費用、付加的重量、付加的整列考慮点、および増加された占有面積は別として、従来のシステムのFOVは、シースルー対物レンズ光学系によって限定され、これは、典型的には、狭い。
【発明の概要】
【課題を解決するための手段】
【0004】
本明細書に開示される技法は、コンパクトなオクルージョン対応OCOST-HMD設計のための光学アーキテクチャを達成するために、種々の実施形態において実装されることができ、これは、特徴および利点の中でもとりわけ、対物レンズ光学系によって限定されない、広FOVを含む。開示される方法、システム、およびデバイスは、二重巻経路を利用して、ピクセル毎の相互オクルージョン、仮想ビューと実際のビューとの間の正しいシースルー視認投象または瞳整合視認、および非常に広シースルーFOVをレンダリングすることが可能である、OCOST-HMDをもたらす。
【0005】
開示される実施形態の一側面は、実場面からの光を受光し、その出力において、偏光を生成するように構成される、偏光要素と、偏光ビームスプリッタ(PBS)と、対物レンズと、空間光変調器(SLM)と、接眼レンズと、4分の1波長板(QWP)と、第1の方向にその上に入射する光の実質的に全部または一部を反射させ、第2の方向からその上に入射するマイクロディスプレイから受光された光の実質的に全部または一部を遷移させるように構成される、反射性光学要素とを含む、オクルージョン対応光学シースルー頭部搭載型ディスプレイ(OCOST-HMD)に関する。SLMおよび対物レンズは、対物レンズを通して通過する、光の少なくとも一部が、SLMから反射され、再び、対物レンズを通して伝搬することを可能にする、第1の二重通過構成を形成する。接眼レンズおよび反射性光学要素は、接眼レンズを通して通過する、光の少なくとも一部が、反射性光学要素から反射され、再び、接眼レンズを通して伝搬することを可能にする、第2の二重通過構成を形成する。
【図面の簡単な説明】
【0006】
図1A図1Aは、以前に提案された2層折畳式OCOST-HMD光学設計の概略図を図示する。
【0007】
図1B図1Bは、例示的実施形態による、単層OCOST-HMD光学システムの概略図を図示する。
【0008】
図1C図1Cは、例示的実施形態による、単層OCOST-HMD光学システムの別の構成を図示する。
【0009】
図2図2は、図1Bの例示的OCOST-HMDシステムの光学要素の一部の非折畳レイアウトを図示する。
【0010】
図3図3は、例示的実施形態による、プロトタイプOCOST-HMDの光学コンポーネントのレイアウトを図示する。
【0011】
図4A図4Aは、開示される実施形態による、例示的OCOST-HMDシステムの仮想ディスプレイ経路に関する変調伝達関数(MTF)プロットを図示する。
【0012】
図4B図4Bは、開示される実施形態による、例示的OCOST-HMDシステムの空間光変調器(SLM)経路に関するMTFプロットを図示する。
【0013】
図4C図4Cは、開示される実施形態による、例示的OCOST-HMDシステムのシースルー経路に関するMTFプロットを図示する。
【0014】
図5図5は、開示される実施形態による、例示的OCOST-HMDシステムに関する完全40度対角線視野(FOV)にわたるシースルー光学経路の歪曲グリッドを図示する。
【0015】
図6図6は、開示される実施形態による、例示的OCOST-HMDレイアウトおよびプロトタイプを図示する。
【0016】
図7A図7Aは、オクルージョン能力が有効にされていない、実世界および仮想場面の例示的拡張ビューを図示する。
【0017】
図7B図7Bは、オクルージョンマスクがSLM上に表示されるが、仮想コンテンツがOLEDディスプレイ上に示されていないときの、例示的実世界場面を図示する。
【0018】
図7C図7Cは、SLM上のマスクを用いて捕捉された例示的ビューと、仮想コンテンツが2つの実オブジェクト間に挿入されている、OLEDディスプレイ上に表示される仮想場面とを図示する。
【0019】
図8図8は、例示的実施形態による、SLM、OLED、および光学シースルー経路、ならびにカメラに関する、測定された軸上MTFプロットを示す。
【0020】
図9A図9Aは、オクルージョンが無効にされている、異なる背景場面明度値に関する、仮想オブジェクトの画像コントラスト劣化を図示する、例示的プロットを示す。
【0021】
図9B図9Bは、オクルージョンが有効にされている、異なる背景場面明度値に関する、仮想オブジェクトの画像コントラスト劣化を図示する、例示的プロットを示す。
【0022】
図10図10は、開示される技術のある側面を実装するために使用され得る、デバイスのブロック図を図示する。
【発明を実施するための形態】
【0023】
詳細な説明
開示される実施形態は、コンパクトなオクルージョン対応光学シースルー頭部搭載型ディスプレイ(OCOST-HMD)のための新規光学アーキテクチャに関し、これは、特徴および利点の中でもとりわけ、二重巻経路を伴う光学アーキテクチャを使用し、ピクセル毎の相互オクルージョン、仮想ビューと実際のビューとの間の正しいシースルー視認投象または瞳整合視認、および非常に広シースルー視野(FOV)をレンダリングすることが可能である、OCOST-HMDソリューションをもたらす。詳細な例示的実装および例示的プロトタイプシステムが、例証目的のために説明される。プロトタイプは、対角線上に40度を上回る仮想ディスプレイFOVと、完全FOVにわたって20%を上回る変調コントラストの光学性能を伴う、1,920×1,200ピクセルの分解能とをもたらす。さらに、20/20視覚に匹敵する1.0弧分の角分解能を伴う、90°×40°の広シースルーFOVが、達成されることができる。
【0024】
OST-HMDの開発は、多くの技術的課題を提示し、そのうちの1つは、別様に、相互オクルージョンとして知られる、空間内のデジタルオブジェクトと物理的オブジェクトとの間の光遮断挙動を正しくレンダリングするという課題である。拡張現実ディスプレイにおけるオクルージョンは、強力な深度キューであって、それがなければ、誤った色の位置合わせ、劣化した画像コントラスト、およびオブジェクト設置視差等の深刻な誤判断が、生じ得る。正しい相互オクルージョン関係を有するために、前景内の不透明仮想オブジェクトは、中実であるように現れ、背景内に位置する実オブジェクトをオクルードするべきであって、その逆も同様である。仮想および実オブジェクトを相互に混合するとき、不透明仮想オブジェクトは、完全に不透明であるように現れ、その背後に位置する実オブジェクトをオクルードするべきであって、実オブジェクトは、必然的に、実際のものの背後に位置する仮想オブジェクトのビューをオクルードするはずである。故に、2つのタイプのオクルージョン、すなわち、実場面オブジェクトが仮想のものをオクルードするものと、仮想オブジェクトが実場面をオクルードするものとが存在する。実オブジェクトによる仮想オブジェクトのオクルージョンは、多くの場合、簡単な方式において、例えば、仮想場面に対する実オブジェクトの場所が既知であるとき、単に、オクルードしている実オブジェクトが着座する、仮想オブジェクトをレンダリングしないことによって、達成されることができる。したがって、この場合、実オブジェクトによる仮想オブジェクトのオクルージョンは、単に、仮想オブジェクトによってオクルードされる、仮想オブジェクトの既知のデジタル的に重複される面積をレンダリングしないことによって、行われることができる。しかしながら、仮想のものによる実オブジェクトのオクルージョンは、実場面内の光の遮断を要求するため、はるかに複雑な問題を提示する。
【0025】
過去10年において、いくつかのOCOST-HMD概念が、提案されており、さらにより少ない設計が、プロトタイプ化されている。OCOST-HMDを実装するための既存の方法は、2つのタイプ、すなわち、直接光線遮断と、ピクセル毎の変調とに分類される。直接光線遮断方法は、シースルー場面からの光線を、それらを集束させずに、選択的に遮断する。これは、物理的オブジェクトの反射性性質を選択的に修正することによって、または実場面からの光を眼の近くに直接設置された空間光変調器(SLM)の単または複数の層を通して通過させることによって実装されることができる。例えば、いくつかの以前のシステムでは、頭部搭載型投影ディスプレイ(HMPD)デバイスを介して、物理的ものによる仮想オブジェクトの自然オクルージョンを作成することは、非オクルージョン性の物理的オブジェクト上の再帰反射性画面を使用して調査されており、これは、限定された設定内でのみ使用され得る。いくつかの以前のシステムでは、結像光学系を伴わずに、眼の近くに直接設置された透過性SLMを通して、オクルージョン機能が、調査されていた。SLMを介した直接光線遮断方法は、眼が、各実世界点からの単一光線が網膜に到達することを可能にする、ピンホール開口である場合、簡単かつ適正なソリューションであろう。代わりに、眼は、面積開口を有し、これは、実践的に、単層SLMを使用して、他の周囲オブジェクトからの光線を遮断せずに、オブジェクトからの眼によって見られる全ての光線を遮断することを不可能にする。
【0026】
いくつかの以前のシステムは、レンズなし算出多層OST-HMD設計を含み、これは、一対のスタックされた透過性SLMと、薄くて透明のバックライトと、高速光学シャッタとから成る。複数のオクルージョンパターンが、シースルービューのオクルージョン明視野が適切にレンダリングされ得るように、多層算出明視野方法を使用して、作成されることができる。多層明視野レンダリング方法は、理論上、単層光線遮断方法の限界のうちのいくつかを克服し得るが、有意に劣化したシースルービュー、オクルージョンマスクの限定された正確度、および低光量効率性等のいくつかの主要な限界を被る。好ましくない結果は、結像光学系の欠如、SLMの低光量効率性、および最も重要なこととして、瞳孔に対して近距離に位置するSLMの微細なピクセルによって生じる深刻な回折アーチファクトに起因し得る。
【0027】
開示される実施形態は、図2に示されるようなピクセル毎のオクルージョン方法(図2の実施形態は、本カテゴリに該当する)として分類されることができ、シースルービューの集束された画像が、SLMが、挿入され、オクルージョンマスクをレンダリングし、実世界場面を点毎に選択的に遮断する、変調平面に形成される。1つの以前のピクセル毎の変調方法は、2000年初期に開発されたELMOシリーズのプロトタイプを含む。ELMO-4プロトタイプは、4つのレンズと、2つのプリズムと、3つの光学ミラーとから成り、実場面の瞳整合直立オクルージョン対応ビューを提示するために、リング構造に配列される、2つの無限焦点4f中継器を形成する。別様に、投象補正として知られる、瞳整合オクルージョンは、正しい視差が維持され得るように、ユーザの瞳、すなわち、中継瞳を、ユーザの眼の位置に戻るようにマッピングする。当時、マイクロディスプレイおよびSLM技術によって限定されていたため、ELMOプロトタイプは、その両方とも、1.5インチQVGA(320×240)透過性LCDモジュールを使用していた、シースルーおよび仮想ディスプレイ経路の両方に関して、非常に低分解能を有する。本リング構造はさらに、現代の透過性LCDおよびマイクロディスプレイを伴う、3D印刷筐体を利用して改造されている。しかしながら、本リング状折畳式アーキテクチャは、非常に嵩張るパッケージを提示し、ユーザの顔の大部分を遮断する。加えて、透過性液晶ディスプレイ(LCD)をSLMとして利用することは、ビームスプリッタと結合されると、極度に低光量効率性(<20%)をもたらす。
【0028】
いくつかのシステムが、よりコンパクトな形状因子および高光効率性を達成するために、2つの光学経路を結合するための反射性SLMと組み合わせられた偏光ベースの光学系を利用する、x-立方体プリズムを提案することによって、これらの限界を克服するために試行されている。本設計は、OST-HMDオクルージョン問題に対する有望なソリューションのように見えるが、本ソリューションは、シースルー水平ビューを正位させることに失敗し、正しくない投象をもたらした。別のシステムは、プリズムおよび反射性SLMを使用して、コンパクトな高分解能OCOST-HMDを作成する、複雑な2層折畳式光学システムを提案している。SLMとしての反射性シリコン上液晶(LCoS)デバイスの利用を用いることで、本システムは、仮想およびシースルー経路の両方に関して、高輝度スループットおよび高光学分解能を可能にした。光学設計および予備実験は、望ましい形状因子および高光学性能に関してある潜在性を実証した。本同一2層折畳式光学系アーキテクチャに基づいて、いくつかのシステムが、既製の光学コンポーネントを使用して、高分解能OCOST-HMD作業プロトタイプを提供するために、設計および構築されている。ピクセル毎の相互オクルージョンをレンダリングすることが可能なプロトタイプは、オクルージョン対応OST-HMDを達成するために、シースルー経路のためのSLMとしての反射性LCoSと結合される、仮想ディスプレイ経路のためのOLEDマイクロディスプレイを利用し、30度の対角線FOVと、1,920×1,080ピクセル分解能とをもたらす。しかしながら、2層折畳式光学系アーキテクチャは、瞳がユーザの眼の正面に中継されるにつれて、整合された瞳または正しい視認投象をもたらすことに失敗する。加えて、オリジナルリング状アーキテクチャのように、2層折畳式アーキテクチャのシースルーFOVは、シースルー対物レンズ光学系によって入手可能なFOVに限定され、したがって、典型的には、狭い。これは、はるかに広い周辺視野にアクセスすることが重要な多くの用途にとって、有意な限界となる。
【0029】
故に、最先端OST-HMDは、実世界の光が眼に到達しないように選択的に遮断する能力を欠いている。結果として、OST-HMDを通して視認される、デジタル的にレンダリングされた仮想オブジェクトは、典型的には、「残影状」(または半透明)で現れ、常時、実世界の「正面」に浮動している。図7Aは、そのような残影状条件の1つの例証的実施例を提供する。
【0030】
開示される実施形態は、特徴および利点の中でもとりわけ、現在の最先端OCOST-HMDシステムの上記の限界を克服することに役立つ、ピクセル毎の変調に基づく、光学システムを提供する。開示される実施形態は、少なくとも部分的に、コンパクトな高分解能OCOST-HMDシステムのための二重通過光学アーキテクチャを利用することによって、本目標を達成する。
【0031】
開示される実施形態の実装は、それぞれ、ディスプレイ経路、SLM経路、およびシースルー経路と称される、3つのオーバーレイされた光学経路を含む、OCOST-HMDシステムを含む。開示される光学アーキテクチャは、ピクセル毎の相互オクルージョン、仮想ビューと実際のビューとの間の正しいシースルー視認投象または瞳整合視認、および非常に広シースルー視野レンダリングすることが可能である、OCOST-HMDソリューションをもたらす。
【0032】
異なる実施形態では、シースルーFOVの中心部分は、広周辺視覚を作成するためにオクルージョン対応であり得ることに留意されたい。光学システムの開示される光学設計アーキテクチャおよびカスタム最適化に基づいて、我々は、シースルー経路光学マスクのためのSLMとしての反射性LCoSと結合される、仮想ディスプレイ経路のためのOLEDマイクロディスプレイを利用する、ウェアラブル立体視プロトタイプシステムを実験的に実証した。さらに、OLEDは、プロトタイプの構造内で使用されるマイクロディスプレイの一実施例であって、他のディスプレイ技術も、開示される実施形態に基づいて、実装されてもよいことに留意されたい。プロトタイプは、対角線上に40度を上回る仮想ディスプレイFOVと、完全FOVにわたって20%を上回る変調コントラストの光学性能を伴う、分解能1,920×1,200ピクセルとをもたらす。さらに、本システムは、20/20視覚に匹敵する1.0弧分の角分解能を伴う、90°×40°の広シースルーFOVが可能である。プロトタイプは、約300グラムの総重量と、140mm(H)×130mm(W)×25mm(D)の立体寸法とを有し、良好に照明された周囲環境では、100:1を上回るダイナミックレンジを達成することが可能である。OST-HMDの光学性能はさらに、オクルージョンの有無別に比較され、明るい環境内の非オクルージョン性デバイスの仮想コンテンツコントラストの副次的影響を実証する。開示されるプロトタイプは、開示される実施形態による、OCOST-HMDシステムの例示的実装の例証の目的のために提供されることに留意されたい。
【0033】
図1Aは、以前に提案された2層折畳式OCOST-HMD光学設計の概略図を図示し、図1Bは、開示される実施形態の例示的実施形態による、OCOST-HMD光学システムを図示する。図1Bにおけるシステムは、瞳整合OCOST-HMD設計を提供する、二重通過単層アーキテクチャの一部である。
【0034】
図1Aのシステムでは、2つの折畳式ミラー108、124と、ルーフプリズム104と、PBS112とが、光学経路を2層光学アーキテクチャの中に折畳するために使用される。図1Aのシステムは、より単純には、2つの機構(対物レンズ106および接眼レンズ122)に分化され、Keplerian望遠鏡の基礎を形成することができる。さらに、本システムを通した光は、2つの明確に異なる成分、すなわち、仮想ディスプレイおよび実世界ビューにカテゴリ化されることができる。実世界ビューのための光経路は、矢印を囲繞する卵形で示される一方、仮想ディスプレイのための光経路は、矢印を含まず、OLEDディスプレイ120から、第1の45度表面ミラー108、および接眼レンズ122への経路から成る。図1Aに示される、簡略化されたアーキテクチャは、一連の設計制約および光学問題点を提示する。
【0035】
第1に、全てのガラス原料レンズ106、110を利用しながら、接眼レンズ122の正面の折畳された対物レンズ経路を第2の層として設置することは、厚さにおいて2倍も光学形状因子を増加させ、これは、比較的に嵩張り、かつ重いシステム設計につながる。次に、偏光ビームスプリッタ(PBS)112は、同一接眼レンズ122モジュールが、仮想ディスプレイおよび変調された実世界ビュー(組み合わせ画像が、眼位置126において視認される)を視認するために共有されるように、変調された実際のビュー102と仮想コンテンツ118と関連付けられる仮想ビューの光経路をともに組み合わせる。本システムは、単純望遠鏡のように構築されるため、これは、仮想ディスプレイおよび実世界ビュー経路を、実場面の単位拡大率を確実にするために、1:1共役として結合させ、光学マスク116およびディスプレイ120に同一光学要件を共有するように強いる。しかしながら、これは、SLM114およびマイクロディスプレイ120が、多くの場合、異なる技術を使用して実装され、同一技術仕様を共有せず、光学性能における不整合をもたらすため、問題をもたらす。本配列の別の限界は、シースルーFOVが、望遠鏡システムによって結像されているFOVに限定され、シースルー経路のためのトンネル視覚をもたらし、これが、拡張現実(AR)システムにとって望ましくないことである。加えて、図1Aの構成は、単一無限焦点4fシステムと見なされ得る。望遠鏡と同様に、本単一無限焦点4f設計は、共役瞳を光学中継器の他側に偏移させ、正しくない視点オフセットをもたらす。本正しくない視認投象は、オブジェクトが、それらが実際に存在する場所より近くに現れる結果をもたらし、したがって、オブジェクトと、手と、眼との間の深度差をもたらす。さらに、直立画像を生成するためのルーフプリズム104の含有は、本システムのコスト/サイズ/重量を追加する。
【0036】
図1Bは、例示的実施形態による、単層OCOST-HMD光学システムの概略図を図示する。本システムは、PBS136と、対物レンズ群138(1つまたはそれを上回るレンズを含むことができる)と、接眼レンズ群144(1つまたはそれを上回るレンズを含むことができる)とを使用し、これはまた、図2にさらに図示されるように、対物レンズ138および接眼レンズ144を通した第2の通過に起因して、2つの中継レンズ群を形成する。図1Bから明らかなように、本構成は、少数のコンポーネントおよび関連付けられる折畳された経路に起因して、コンパクトな形状因子を提供し、ピクセル毎のオクルージョン能力を可能にする。本二重通過システムは、単一光学層を可能にし、図1Aの構成と比較して、第1の表面ミラーおよびルーフプリズム等の重い光学系の使用をなくし、軽量ウェアラブルHMD設計とともに、大幅に低減された形状因子を作成する。用語「単層」は、OCOST-HMDの視認者が、接眼レンズ144を通して見るとき、視認者が、図1Bのシステム内の光学系の単層またはセットからのみ光を受光する一方、図1Aでは、視認者が、実世界ビューおよび仮想コンテンツのそれぞれから1つずつ、2つのセットの光学コンポーネントからの光を受光するであろうことを考慮することによって、さらに理解され得る。
【0037】
図1Bの説明は、光経路を3つの光経路、すなわち、ディスプレイ経路(正方形)、SLM経路(卵形)、およびシースルー経路(円形)に分割することによって促進される。単一PBS136は、同一接眼レンズ144および中継モジュールが、仮想ディスプレイおよび変調された実世界ビューを視認するために共有されるように、折畳式要素およびコンバイナの両方として作用し、変調された実際のビュー132(シースルーおよびSLM経路)と仮想コンテンツ152からの仮想ビュー(ディスプレイ経路)の光経路をともにマージする。図1Aの構成と異なり、図1Bの二重通過アーキテクチャは、中継器を利用して、対物レンズ138および接眼レンズ144が異なる焦点距離パラメータを有し、もはや1:1共役である必要はなく、全体的システムのための単位拡大率を維持しながら、実場面の単位拡大率を達成することを可能にすることによって、SLM経路とディスプレイ経路の分断を可能にする。異なる光学経路の本分断は、要素経路が異なるディスプレイ技術に対して具体的に設計されることを可能にする。
【0038】
図1Bにおける3つの経路、すなわち、ディスプレイ経路、SLM経路、およびシースルー経路はそれぞれ、その独自の光学性能を提供する。円形で識別される、シースルー経路からの光は、リターダ(例えば、偏光器134)を通して通過する。本例示的構成では、リターダは、光をS配向に偏光させる。S-偏光は、PBS136から反射される。対物レンズ138(またはレンズ群)が、次いで、物理的環境からの光を収集し、中間画像を、振幅ベースの反射性SLM(例えば、LCoS)140が設置される、その焦点面に形成する。SLM140は、実際のビューの不透明度を制御するために、偏光配向を操作し、オクルージョンマスク142をレンダリングすることができる。例えば、SLM140は、その中でSLM140上に入射する光が、選択的に反射される(SLMは、オフである)、またはピクセル毎にそれを通して透過されることを可能にされる、オン-オフ変調スキームを生成することができる。他の例示的変調スキームもまた、実装されることができる。
【0039】
上記の実施例では、SLM/LCoS140から反射された光は、SLM経路(円形)内でP配向に反転され、次いで、同一対物レンズ138を通して戻るように通過され、PBS136を通して通過し、接眼レンズ144を通して通過し、光学中継器を形成する。光は、次いで、4分の1波長板(QWP)146を通して伝達され(または別様に遅延され)、半ミラー148上に入射する、右旋円形(RHC)偏光方向を有する、光を生成する。半ミラー148は、第1の方向からその上に入射する光(例えば、図1Bの例示的構成では、上向きに進行する光)の実質的に全部または一部の反射が逆反射されることを可能にする一方、第2の方向からその上に入射する光(例えば、図1Bの構成では、マイクロディスプレイ150、例えば、OLEDから下向きに進行する光)の実質的に全部または一部がそれを通して通過することを可能にする、反射表面の1つの非限定的実施例である。そのような要素は、例えば、多層薄膜スタックとして、マイクロディスプレイの一部として、または独立型コンポーネントとして、設計されることができる。
【0040】
「半ミラー」148からの反射に応じて、RHC偏光は、左旋円形(LHC)偏光に反転され、LHC光は、次いで、QWP146および接眼レンズ144を通して戻るように通過し、光は、S-偏光に戻るように変換され、これは、次いで、PBS136によって、眼位置154において、ユーザの眼の中に反射される。ディスプレイ経路(正方形)では、OLEDディスプレイ150からの非偏光は、共有接眼レンズ144によって結像され、S-偏光は、PBS136によって、ユーザの眼の中に結合され、3つの高分解能のオーバーレイされた画像、すなわち、光学マスク142、実場面132、および仮想場面152を与える。図1A内に実装されるようなルーフプリズムを使用する代わりに、パリティスイッチ内の偶数のものが、図1Bの構成におけるシースルー画像が、直立かつ正位にあることを確実にし、これは、デジタル的に改変されることができないため、OCOST-HMDシステムにとって重要である。
【0041】
図1Cは、例示的実施形態による、単層OCOST-HMD光学システムの別の構成を図示する。図1Cは、実際のビュー162と仮想コンテンツ182を組み合わせるために、図1Bにおける構成と類似コンポーネントを有するが、偏光器164は、所望の変調に基づいて、実場面162からの光を修正し、PBS166を通して通過し、マスク188を実装する、SLM170上に入射する、P-偏光を生成する。故に、いくつかのコンポーネントの位置は、図1Bと比較して、再配列され、単層構成を提供する。図1Cの構成は、反射性表面186からの反射後、組み合わせられたビューを眼位置188に提供する際、図1Bの構成と類似特徴および利点を提供する。
【0042】
図1Bおよび1Cは、QWP146、176が、接眼レンズ144、174とマイクロディスプレイ150、180との間(または接眼レンズ144、174と半ミラー148、178との間)に位置付けられることを図示することに留意されたい。しかしながら、QWP146、176は、接眼レンズ144、174の両側に位置付けられることもできる。したがって、いくつかの実施形態では、QWP146、176は、PBS136、166と接眼レンズ144、174との間に位置付けられる。
【0043】
2層設計とは対照的に、開示される二重通過単層アーキテクチャは、光学経路が正しく瞳整合されることを可能にする。瞳場所を正しく判定するために、我々は、光学システムを、入射瞳を共役中間瞳場所に結像する、2つの無限焦点4f中継器のセットと見なし得る。図2は、図1Bの例示的OCOST-HMDシステムにおける光学要素の非折畳レイアウトを示す(非折畳経路のみが、図2に図示される)。第1の無限焦点中継器(左)は、接眼レンズ(一次接眼レンズ154として標識される)と、接眼レンズ自体である、第1のシステム中継レンズ(二次接眼レンズ154として標識される、中継器群208内の左レンズ)とを含む(図1Bの上部に示されるように、接眼レンズを通して通過する光は、OLED(マイクロディスプレイ150)から反射され、2回目として、接眼レンズ(二次接眼レンズ154)を通して通過する)ことが分かる。図2における第2の無限焦点中継器は、第2のシステム中継レンズ(中継器群内の右レンズ、二次対物レンズ138)と、対物レンズ(一次138対物レンズ)とを含み、第2のシステム中継レンズは、対物レンズと同一である(図1Bの下部に示されるように、対物レンズを通して通過する、光は、LCoS140から反射され、2回目として、対物レンズを通して通過する)。図2はさらに、入射瞳202、中間瞳210、および射出瞳216の位置を図示する。
【0044】
達成可能FOVにおける改良は、FOVが対物レンズのFOVによって限定される、図1Aの構成と、FOVが大幅に増加され得る、図1Bの構成を比較することによって観察されることができる。特に、シースルーFOVは、本質的に、水平方向(すなわち、紙の中への方向)において限定されない状態になり得、接眼レンズおよび対物レンズの範囲(またはビームスプリッタのサイズ)によってのみ限定される。水平方向におけるFOVの向上は、有益なこととして、OCOST-HMDシステムのための改良された周辺視認能力を提供するために使用されることができる。
【0045】
反射性LCoSSLMの選択肢に起因して、図1Bの例示的構成は、高コントラストを達成するために、SLM経路のための画像空間テレセントリシティを要求する。したがって、中間瞳x1から対物レンズまでの距離は、対物レンズの焦点距離(fobj)に等しくなければならない。我々が二重通過システムを有することを理解した上で、我々は、同一光学系を共有する、fobjおよび第2の中継レンズ焦点距離(fr2)が、等しく、システム射出瞳が、それ自体上に戻るように中継されることを可能にすると仮定することができる。我々は、次いで、システム焦点距離および入射瞳に関連する中間瞳の位置を方程式(1)となるように計算することができる。
【化1】

式中、feyeおよびfr1は、接眼レンズおよび第1の中継レンズの個別の焦点距離であって、Ereliefは、瞳距離であって、
【化1-1】
は、第1の中継レンズ後の中間瞳までの距離である。再び、本システムは、二重光学通過を利用するため、我々は、feyeをfr1に等しくなるように設定し、大幅に縮小された方程式(2)を得ることができる。
【化2】
【0046】
本システムが適切に瞳整合されるために、第1のレンズ群後の距離は、本システムの瞳距離(ER)に等しい、すなわち、l=Ereliefとならなければならない。本関係は、次いで、Erelief=feyeによって、適切な瞳整合および正しい視認投象を達成することを実証する、または換言すると、ディスプレイ経路は同様に、テレセントリックでなければならない。我々は、次いで、半FOV(θhalf)に基づいて、適切な眼クリアランス(Eclearance)を求めるために、必要とされる主平面(P)場所を、方程式(3)となるように判定することができる。
【化3】
式中、Depは、入射瞳の直径である。
【0047】
例示的プロトタイプ設計図1Bにおける光学レイアウトおよび上記の方程式(1)-(3)に説明される分析関係に基づいて、例示的カスタムプロトタイプシステムが、設計された。プロトタイプシステムの重要な仕様は、下記の表1に要約される。
【表1】
【0048】
例示的設計を駆動する重要なパラメータのうちの1つは、ディスプレイ技術の選択肢である。我々は、仮想ディスプレイ経路のために、0.85インチEmagin OLEDマイクロディスプレイを選定した。18.4mm~11.5mmの有効面積と、8:5のアスペクト比とを有する、eMagin OLEDは、1,920×1,200ピクセルの本来の分解能において、9.6μmのピクセルサイズをもたらす。本マイクロディスプレイに基づいて、我々は、>40°、すなわち、水平に34°および垂直に22°の対角線FOVと、マイクロディスプレイ空間内で53サイクル/mmまたは視覚的空間内で28.6サイクル/度のナイキスト周波数に対応する、ピクセルあたり1.06分弧の角分解能とを伴う、OCOST-HMDプロトタイプを達成することを目標とした。別個に、SLM経路に関して、我々は、プロジェクタから0.7インチの反射性LCoSを使用した。反射性SLMは、以前の研究において使用された光透過性SLMに一般に見出される、光効率性、コントラスト、および低回折アーチファクトにおけるその実質的利点のために選定された。
【0049】
選択されたLCoSは、1,400×1,050ピクセルの本来の分解能、10.7μmのピクセルピッチ、および4:3のアスペクト比をもたらす。SLMの異なるディスプレイ仕様に基づいて、我々は、>42.5°、すなわち、水平に34°および垂直に25.5°の光学マスク対角線FOVと、SLM空間内で47サイクル/mmまたは視覚的空間内で19.66サイクル/度のナイキスト周波数に対応する、ピクセルあたり1.45分弧の角分解能とを達成することを目標とした。さらに、我々のシステムは、1:1.22の中継拡大率を与える、24.4mmの対物レンズ焦点距離と、29.8mmの接眼レンズ焦点距離とを要求する。ビネットを引き起こさずに、眼窩内で約±25°の眼回転を可能にするために、我々は、10mmの射出瞳直径(EPD)を設定した。20mmの眼クリアランス距離が、大部分の頭部形状のための適合を可能にするために使用された。
【0050】
3つの光学経路にわたって高光学性能を達成するために、我々は、それぞれ、異なる光学経路および設計仕様に対応する、3つのズーム構成を使用して、本システムを最適化した。図3は、プロトタイプ設計の最終OCOST-HMDのレンズレイアウトを図示する。仮想ディスプレイ(接眼レンズ)のための光経路は、破線矩形で指定される光線によって示される一方、SLM(中継+接眼レンズ)のための光経路は、破線卵形で指定される光線によって示され、シースルー経路(対物レンズ+中継+接眼レンズ)は、破線円形で指定される光線によって示される。シースルー経路は、PBS後、マイクロディスプレイおよびSLM経路と重複し、したがって、仮想ディスプレイ光線のみが、瞳孔までトレースされることに留意されたい。
【0051】
全体として、図3におけるプロトタイプ実施例の最終レンズ設計は、5つの原料クラウンガラスレンズと、3つのアクリル非球面レンズと、2つのカスタムフリントガラスレンズとを含む、10のレンズを含む。2-6として標識される、レンズは、接眼レンズ群を形成する。8-12として標識される、レンズは、対物レンズ群を形成する。半ミラーは、4分の1波長板とOLED7との間の灰色要素として図示される。ワイヤグリッド偏光器およびQWPフィルムが、Moxtek製単一カスタムPBSと併せて、偏光を操作するために使用された。本システムは、OLEDマイクロディスプレイの優勢波長に従って、それぞれ、1、2および1の加重を伴う、3つの波長、すなわち、430、555、および625nmのために最適化された。本システムが、方程式(1)および(2)に従って、正しい視認投象のために適切に瞳整合されることを確実にするために、対物レンズおよび接眼レンズは、±0.5°未満の主光線逸脱を有するように最適化され、画像空間テレセントリシティを実証した。接眼レンズは、20mm~10mmEPDの眼クリアランスを達成するようにクロッピングされた。
【0052】
表2-9は、それぞれ、上記のプロトタイプシステムのための仮想ディスプレイ経路およびシースルー経路に関する光学系規格を提供する。両方の光学経路は、眼の入射瞳と一致する、システムの射出瞳から光線トレースされた。表内の用語「非球面」は、以下の方程式によって表され得る、非球面表面を指す。
【化4】
式中、zは、ローカルx、y、z座標系のz-軸に沿って測定された表面の撓みであって、cは、頂点曲率であって、rは、半径方向距離であって、kは、円錐定数であって、A-Eは、それぞれ、4次、6次、8次、10次、および12次変形係数である。表4-9は、それぞれ、非球面表面11、12、15、16、23、および24に関する非球面係数を提供する。
【表2】
【表3-1】
【表3-2】
【表4】
【表5】
【0053】
二重通過OCOST-HMDプロトタイプシステムのシミュレートされた光学性能が、ディスプレイ空間内の完全FOVにわたって査定され、空間周波数は、ミリメートルあたりサイクルの観点から特性評価される。提供される実施例では、シースルー経路の光学性能は、本システムを通して通過され、仮想およびマスクされた画像上に光学的にオーバーレイされる、場に従って、40°対角線に限定される。本場の外側の実場面からの光は、単一PBSのみを通して通過し、光学的に影響されず、そうでなければ、ヒトの眼の本来の分解能において見られるはずである。
【0054】
図4A-4Cは、仮想ディスプレイ、SLM、およびシースルー経路のいくつかの加重された場に関して、ヒトの眼に類似するように、4-mm瞳孔を用いて評価される、多色性変調伝達関数(MTF)曲線を示す。これらの図では、0、6、10、15、および20度の変調伝達関数が、4mm瞳径を伴う、横方向(Tan)および半径方向(Rad)対角線半FOVに関して評価され、53サイクル/mmのカットオフ空間周波数が、OCOST-HMDOLED光学経路(図4A)、OCOST-HMDSLM光学経路(図4B)、およびOCOST-HMDシースルー光学経路のための110サイクル/度(図4C)に関してプロットされる。図4Aから開始すると、OLEDディスプレイ光学性能は、9.6μmピクセルサイズに対応する、52サイクル/mmの設計されるナイキスト周波数において、完全場にわたって、約平均40%変調を保存する。図4Bに示される、LCoSの光学性能は、10.7μmピクセルサイズに対応する、47サイクル/mmの設計されるナイキスト周波数において、完全場にわたって、平均50%変調を実証する。最後に、図4Cは、1.0弧分分解能または20/20ヒト視力に対応する、110サイクル/mmのヒトの眼のカットオフ周波数において、15%の平均変調を維持する、シースルー光学性能を示す。
【0055】
図5は、仮想画像と重複される、完全40度対角線FOVにわたる、シースルー光学経路の歪曲グリッドを示す。図中では、実際かつ近軸のFOVは、ほぼ一致し、2つの間の高い合致を図示する。上記の表1に見られる我々の光学仕様に従って、シースルー経路は、完全場にわたって、<1%歪曲を有する。これは、デジタル的に補正され得る、ディスプレイ歪曲と異なり、シースルー経路が、補正され得ないため、重要である。マイクロディスプレイ(仮想画像)に関する歪曲が、5%を下回って保持された一方、SLM(光学マスク)に関する歪曲が、デジタル補正のために20%まで保持された。
【0056】
MTFおよび歪曲とともに、波面誤差およびスポット図等のいくつかの他のメトリックも、仮想ディスプレイ経路の光学性能を特性評価するために使用された。SLMおよびマイクロディスプレイ経路は両方とも、主として、側方色収差およびコマ収差に悩まされる。これは、停止位置が平衡軸外収差に移動されることを可能にしない、SLMおよびマイクロディスプレイ経路の両方において利用される非瞳形成式接眼レンズのテレセントリック設計に起因する。全体として、3つの経路のそれぞれ内の波面収差は、十分に低く、1つの波を下回る。場を横断した平均的二乗平均平方根(RMS)スポット径は、シースルー経路およびディスプレイ経路の両方に関して、9μmであるが、しかしながら、そのような大きな許容歪曲に起因して、SLM経路に関して、16.4μmまで跳ね上がる。これは、10.7μmピクセルサイズより大きくあるように現れるが、本差異は、主として、側方色収差に起因し、補正されることができる。
例示的システムプロトタイプおよび実験実証
【0057】
図6は、開示される実施形態による、例示的OCOST-HMDレイアウトおよびプロトタイプを図示する。パネル(a)は、平均的ヒト頭部を参照して完全に組み立てられたOCOST-HMD Solidwords CAD設計の正面図を示す。パネル(b)は、完全に組み立てられたOCOST-HMD CAD設計の側面図を示し、二重通過アーキテクチャに起因して、大幅に低減された形状因子を実証する。同一光学経路を通した光の複数通過に起因して、光学性能は、光学および機械的公差に敏感である。機械的設計に関して、個々のレンズは、より多くの補償を達成し、機械的設計内の累積公差を低下させ、最小MTF要件を満たすために、固定ねじによって保持された。パネル(c)および(d)は、それぞれ、図3における光学設計上に構築されるOCOST-HMDシステムの両眼プロトタイプの正面図および角度付けられた図を示し、25セント(コイン)をさらに図示し、サイズメトリックを提供する。プロトタイプ化されたOCOST-HMDシステムの全高および幅は、25mmの奥行と、50~70mmの調節可能眼内距離とを伴う、130mm×140mmであった。
【0058】
図7は、図3および6のプロトタイプ化されたOCOST-HMDのオクルージョン能力の定質的実証を示す。一般的オブジェクト(異なる色、形状、および印刷フォントを伴う、テキスト、缶、およびボックス)を備える、実世界背景場面が、いくつかの異なる空間周波数およびオブジェクト深度を提供するために使用され、これらのアイテムは、良好に照明された白色背景壁(約300~500cd/m2)に対して設置された。本実施例内で使用される仮想3D場面は、野猫の単純画像のものであった。図7におけるパネル(a)-(c)は、接眼レンズの射出瞳に設置されたデジタルカメラで捕捉された、画像のセットを示す。同一の16mmカメラレンズと、3.75μmピクセルピッチを伴う、1/3インチPoint Grey画像センサとが、典型的照明条件下でヒトの眼のF/#により良好に整合するために、増加された4mm開口と併用された。
【0059】
単に、OLEDマイクロディスプレイをオンにし、変調されたマスクをSLMに適用しないことによって、図7におけるパネル(a)は、オクルージョン能力が有効にされずに、実世界および仮想場面の拡張ビューを示す。シースルー経路をオクルードする、マスクがないと、カウボーイハットを伴う「野猫」の図(野猫のより良好な輪郭に関しては、パネル(b)参照)は、仮想ディスプレイと共有される背景場面の明度に起因して、色褪せて見え、透明および非現実的に現れる。これは、野猫の深度を空間的に曖昧にさせる。
【0060】
パネル(b)は、逆の状況、すなわち、オクルージョンマスクが、SLM上に表示されるが、仮想コンテンツが、OLEDディスプレイ上に示されない、実世界場面のビューを描写する。これは、マスクがシースルービューの重畳された部分を事実上遮断し得ることを検証する。
【0061】
パネル(c)は、SLM上にマスクを伴って捕捉されたビューと、OLEDディスプレイ上に表示される仮想場面とを示し、仮想野猫は、2つの実オブジェクト間に挿入され、本システムの相互オクルージョン能力を実証する。この場合、完全能力および正しい深度知覚が、改良されたコントラストとともに、レンダリングされる。野猫図の一部をオクルードするように意図される、WD-40缶の相対的場所を把握することによって、我々は、仮想ディスプレイ上のオクルードする缶の投影に対応する、ピクセルを、野猫レンダリングから除去した。再び、結果の有意性は、正しいオクルージョン関係が、深度の非平行感知をOST-HMD内の仮想画像に与えるために作成および使用され得ることである。
【0062】
開示される二重通過OCOST-HMDシステムは、我々の以前のOCOST-HMD設計より有意に改良された形状因子、視点投象、および技術仕様を用いて、実および仮想コンテンツの高光学性能およびダイナミックレンジを達成することができる。
【0063】
例示的光学性能試験結果:例示的システムの垂直および水平FOVが、光学経路毎に測定された。シースルーFOVは、水平に約34°および垂直に約26°のオクルージョン対応シースルーFOVを伴って、水平に約90°および垂直に約40°であった一方、仮想ディスプレイは、水平に約33.5°および垂直に約23°のFOVを有し、41.6°の測定された対角線完全FOVを与えたことが判定された。我々の改良された二重通過アーキテクチャおよび追加された光学中継器に起因して、LCoSは、仮想的に表示される場面を完全にオクルードすることができる。
【0064】
プロトタイプシステムの光学性能は、プロトタイプを通して3つの光学経路のMTF性能を特性評価することによって、さらに定量化された。Edmund Optic製の約回折限界25mmのカメラレンズと、1.55μmピクセルピッチの1/2.3インチPoint Gray画像センサとから成る、高性能カメラが、本システムの射出瞳に設置された。これは、ピクセルあたり約0.5弧分の角分解能をもたらし、プロトタイプの予期される性能より有意に高い。したがって、MTFに対する性能の損失は、カメラによって生じなかったと仮定される。カメラは、次いで、ある角度におけるマイクロディスプレイまたはシースルービュー内に設置された印刷標的のいずれかによって表示された、傾けられた縁標的の画像を捕捉した。仮想およびシースルー経路に関する性能の分離可能定量化を提供するために、傾けられた縁の仮想画像が、シースルー場面がSLMによって完全に遮断される間に撮影された。同様に、標的のシースルー画像が、オフにされたマイクロディスプレイを用いて撮影された。捕捉された傾けられた縁の画像は、Imatest(登録商標)ソフトウェアを使用して分析され、対応する光経路のMTFを取得した。
【0065】
図8は、SLM、OLED、および光学シースルー経路、ならびにカメラの測定された軸上MTF性能を、各個々の傾けられた縁とともに示す。カメラセンサとマイクロディスプレイとSLMのピクセルピッチ間の拡大率差に起因して、Imatest(登録商標)によるMTF測定の水平軸は、カメラとディスプレイとの間のピクセル拡大率差によってスケーリングされ、次いで、サイクル/mmの観点から、視覚的ディスプレイ空間内の空間周波数を定義するように変換された。プロトタイプ化された設計は、仮想ディスプレイのナイキスト周波数53サイクル/mmにおいて、50%を上回るコントラストと、SLM経路のための類似性能とを達成することが可能であった。一方、シースルー経路のための変調コントラストは、1弧分に対応する、110サイクル/mmのカットオフ周波数において、約15%であった。図8に示される曲線は、図3における軸上曲線に非常に類似し、オクルージョンモジュールを通した3つの光学経路の分解能が、元々設定された設計仕様およびヒト視認者を用いて、ほぼ無傷であることを実証する。
【0066】
我々は、異なる空間周波数に関する実世界場面明度の関数として、仮想ディスプレイと実世界場面との間の画像コントラストを測定した。10の線形段階において、黒色から白色に及ぶ、グレースケール中実画像が、LCDモニタ上に表示され、0~350cd/mの変動輝度を用いて、制御される背景場面を作成した。モニタは、OCOST-HMDシステムの約10cm正面に設置され、一連の実場面明度をシミュレートした。0.88~28.2サイクル/度に及ぶ空間周波数を伴う、正弦波格子パターンが、OLEDマイクロディスプレイ(仮想経路)上に表示され、異なる空間周波数における仮想場面の画像コントラストに及ぼされる場面明度の影響を評価した。仮想場面に対するコントラストの減少率が、次いで、プロットされ、オクルージョン有効(SLMは、シースルー光を遮断する)およびオクルージョンなし(SLMは、シースルー光を通過させる)と比較された。
【0067】
図9Aおよび9Bは、それぞれ、オクルードの有無別のシースルー経路を用いた、仮想オブジェクトコントラストのプロットを図示する。我々は、オクルージョンを伴わない仮想オブジェクトのコントラスト(図9A)が、300cd/mを上回る良好に照明された環境輝度に関して、ゼロまで急降下した一方、実場面のオクルージョンを伴う仮想標的のコントラスト(図9B)が、増加された明度にわたってほぼ一定であったことを観察することができる。我々はさらに、完全オクルージョンが有効および無効にされた状態で、本システムを通して、コリメートされた偏光解消光源を測定することによって、取得可能コントラスト比を測定した。オクルージョンシステムのダイナミックレンジは、100:1を上回ると判定された。
【0068】
開示される実施形態の一側面は、実場面からの光を受光し、その出力において、偏光を生成するように構成される、偏光要素と、偏光ビームスプリッタ(PBS)と、対物レンズと、空間光変調器(SLM)と、接眼レンズと、4分の1波長板(QWP)と、第1の方向にその上に入射する光の実質的に全部または一部を反射させ、第2の方向からその上に入射するマイクロディスプレイから受光された光の実質的に全部または一部を遷移させるように構成される、反射性光学要素とを含む、オクルージョン対応光学シースルー頭部搭載型ディスプレイ(OCOST-HMD)に関する。SLMおよび対物レンズは、対物レンズを通して通過する、光の少なくとも一部が、SLMから反射され、再び、対物レンズを通して伝搬することを可能にする、第1の二重通過構成を形成する。接眼レンズおよび反射性光学要素は、接眼レンズを通して通過する、光の少なくとも一部が、反射性光学要素から反射され、再び、接眼レンズを通して伝搬することを可能にする、第2の二重通過構成を形成する。
【0069】
一例示的実施形態では、PBSは、偏光を受光し、偏光を対物レンズに向かって反射させるように位置付けられ、PBSはまた、第1の二重通過構成から出力された光を受光し、それを通して接眼レンズに向かって透過させ、マイクロディスプレイからの光を含む、PBSが第2の二重通過構成から受光する、光を、ヒトの眼の位置に向かって反射させるように位置付けられる。別の例示的実施形態では、OCOST-HMDはさらに、第1の反射表面を含み、PBSは、(a)偏光を受光し、それを通して偏光を対物レンズに向かって透過させ、(b)第1の二重通過構成から出力される、光を受光し、接眼レンズに向かって反射させ、(c)マイクロディスプレイからの光を含む、PBSが第2の二重通過構成から受光する、光を、第1の反射表面に向かって反射させるように位置付けられる。本例示的実施形態では、第1の反射表面は、その上に入射する光をヒトの眼の位置に向かって反射させるように位置付けられる。
【0070】
一例示的実施形態によると、SLMは、その上に入射する光を変調させるように構成される。例えば、SLMは、オン-オフ変調モードで動作するように構成される。別の例示的実施形態では、OCOST-HMDはさらに、マイクロディスプレイ上に提示される仮想画像に対応する、オクルージョンマスクを含み、オクルージョンマスクは、SLMの1つまたはそれを上回る領域の変調をもたらすために使用される。さらに別の例示的実施形態では、OCOST-HMDはさらに、マイクロディスプレイを含む。さらに別の例示的実施形態では、反射性光学要素は、マイクロディスプレイの表面上に位置付けられる。別の例示的実施形態によると、マイクロディスプレイは、有機発光ダイオード(OLED)デバイスを含む。
【0071】
別の例示的実施形態では、QWPは、接眼レンズと反射性光学要素との間に位置付けられる。一例示的実施形態では、QWPは、接眼レンズとPBSとの間に位置付けられる。別の例示的実施形態では、SLMは、シリコン上液晶(LCoS)デバイスを含む。さらに別の例示的実施形態では、OCOST-HMDは、ルーフプリズムを使用せずに、正位画像を生成するように構成される。別の例示的実施形態では、OCOST-HMDは、ユーザの瞳、すなわち、中継瞳を、ユーザの眼の位置に戻るようにマッピングし、正しい視差が維持されることを可能にする、瞳整合光学構成を提供する。さらに別の例示的実施形態によると、OCOST-HMDは、接眼レンズによって少なくとも1つの方向に限定されない、視野(FOV)を生成するように構成される。
【0072】
別の例示的実施形態では、OCOST-HMDは、対角線上に40度を上回る視野(FOV)と、完全FOVにわたって20%変調コントラストを上回る、光学性能とを有する。一例示的実施形態では、OCOST-HMDは、1.0弧分の角分解能を伴う、90度×40度のシースルー視野(FOV)を有する。さらに別の例示的実施形態では、OCOST-HMDの少なくとも一部は、入射瞳を共役中間瞳場所に対して結像する、2つの無限焦点4f中継器のセットに対応する。別の例示的実施形態では、OCOST-HMDは、単層、二重通過、かつ瞳整合されたOCOST-HMDを形成する。いくつかの例示的実施形態のうちの1つでは、OCOST-HMDは、以下、すなわち、(a)対物レンズを含む、対物レンズ群、または(b)接眼レンズを含む、接眼レンズ群の一方または両方を含む。
【0073】
開示される実施形態の別の側面は、実場面と関連付けられる、偏光を生成するための、偏光器と、ビームスプリッタ(PBS)と、対物レンズと、空間光変調器(SLM)と、接眼レンズと、リターダと、第1の方向にその上に入射する、オクルージョンマスクと関連付けられる、光の実質的に全てを反射させ、第2の方向からその上に入射する、仮想場面と関連付けられる、光の実質的に全てを遷移させるように構成される、半ミラーとを含む、オクルージョン対応光学シースルー頭部搭載型ディスプレイ(OCOST-HMD)に関する。本構成では、PBSは、(a)偏光を受光し、SLMに向かって指向し、(b)仮想場面と関連付けられる、光を受光し、ユーザの眼によって視認するための位置に向かって指向し、(c)オクルージョンマスクと関連付けられる、光を受光し、半ミラーに向かって指向するように位置付けられる。SLMは、オクルージョンマスクの2次元形状に従って、その上に入射する光を変調させるように構成される。OCOST-HMDは、正位画像を生成するように構成され、ユーザの瞳、すなわち、中継瞳の位置は、ユーザの眼の位置にマッピングされ、正しい視差が維持されることを可能にする。
【0074】
図10は、開示される技術のある側面を実装するために使用され得る、デバイス1000のブロック図を図示する。例えば、図10のデバイスは、画像を捕捉および処理する、開示される画像センサ、および/またはマイクロディスプレイ、ならびにSLMと関連付けられる、種々のデータおよび信号を受信する、処理する、記憶する、表示のために提供する、および/または伝送し、仮想コンテンツおよびオクルージョンマスクの制御、表示、記憶、および処理、ならびに本明細書に開示される電子および光電子コンポーネントと関連付けられる、明度制御、光変調、または他の動作を可能にするために使用されることができる。デバイス1000は、少なくとも1つのプロセッサ1004および/またはコントローラと、プロセッサ1004と通信する、少なくとも1つのメモリ1002ユニットと、直接または間接的に、通信リンク1008を通して、他のエンティティ、デバイス、データベース、およびネットワークとのデータおよび情報の交換を可能にする、少なくとも1つの通信ユニット1006とを備える。通信ユニット1006は、1つまたはそれを上回る通信プロトコルに従って、有線および/または無線通信能力を提供してもよく、したがって、データおよび他の情報の適切な伝送および/または受信のために必要であり得る、適切な伝送機/受光機、アンテナ、回路網およびポート、ならびにエンコーディング/デコーディング能力を備えてもよい。図10の例示的デバイス1000は、本明細書に開示される種々の算出、方法、またはアルゴリズムを実施するために使用され得る、より大きいコンポーネント(例えば、サーバ、コンピュータ、タブレット、スマートフォン等)の一部として統合されてもよい。
【0075】
プロセッサ1004は、中央処理ユニット(CPU)を含み、例えば、ホストコンピュータの全体的動作を制御してもよい。ある実施形態では、プロセッサ1004は、メモリ1002内に記憶されるソフトウェアまたはファームウェアを実行することによって、これを遂行する。プロセッサ1004は、1つまたはそれを上回るプログラマブル汎用または特殊目的マイクロプロセッサ、デジタル信号プロセッサ(DSP)、プログラマブルコントローラ、特定用途向け集積回路(ASIC)、プログラマブル論理デバイス(PLD)、グラフィック処理ユニット(GPUs)、もしく同等物、またはそのようなデバイスの組み合わせであってもよい、もしくはそれを含んでもよい。
【0076】
メモリ1002は、コンピュータシステムのメインメモリであることができる、またはそれを含むことができる。メモリ1002は、任意の好適な形態のランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)、フラッシュメモリ、または同等物、もしくはそのようなデバイスの組み合わせを表す。使用時、メモリ1002は、とりわけ、機械命令のセットを含有してもよく、これは、プロセッサ1004によって実行されると、プロセッサ1004に、本開示の技術のある側面を実装するための動作を実施させる。
【0077】
本特許文書は、多くの詳細を含有するが、これらは、任意の発明または請求され得る内容の範囲に関する限界としてはなく、むしろ、特定の発明の特定の実施形態に特有であり得る、特徴の説明として解釈されるべきである。別個の実施形態の文脈において本特許文書に説明される、ある特徴はまた、単一実施形態内で組み合わせて実装されることができる。逆に言えば、単一実施形態の文脈に説明される、種々の特徴はまた、別個に、または任意の好適な副次的組み合わせにおいて、複数の実施形態内で実装されることができる。さらに、特徴は、ある組み合わせにおいて作用するように上記に説明され、最初にそのように請求される場合さえあるが、請求される組み合わせからの1つまたはそれを上回る特徴は、ある場合には、組み合わせから除外されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象としてもよい。
【0078】
同様に、動作は、特定の順序において図面に描写されるが、これは、そのような動作が、示される特定の順序または順次順序で実施される、または全ての図示される動作が、望ましい結果を達成するために実施されることを要求するものとして理解されるべきではない。さらに、本特許文書に説明される実施形態における種々のシステムコンポーネントの分離は、全ての実施形態においてそのような分離を要求するものとして理解されるべきではない。
【0079】
種々の開示される実施形態は、個々に、または集合的に、種々の光学コンポーネント、電子機器ハードウェア、および/またはソフトウェアモジュールならびにコンポーネントから成る、デバイス内に実装されてもよいことを理解されたい。これらのデバイスは、例えば、相互に通信可能に接続される、プロセッサ、メモリユニット、インターフェースを備えてもよく、デスクトップおよび/またはラップトップコンピュータからモバイルデバイスおよび同等物に及んでもよい。プロセッサおよび/またはコントローラは、記憶媒体上に記憶されるプログラムコードの実行に基づいて、種々の開示される動作を実施することができる。プロセッサおよび/またはコントローラは、例えば、少なくとも1つのメモリと、直接または間接的に、通信リンクを通して、他のエンティティ、デバイス、およびネットワークとのデータおよび情報の交換を可能にする、少なくとも1つの通信ユニットと通信することができる。通信ユニットは、1つまたはそれを上回る通信プロトコルに従って、有線および/または無線通信能力を提供してもよく、したがって、データおよび他の情報の適切な伝送および/または受信のために必要であり得る、適切な伝送機/受光機アンテナ、回路網およびポート、ならびにエンコーディング/デコーディング能力を備えてもよい。例えば、プロセッサは、電気信号または情報を開示されるセンサ(例えば、CMOSセンサ)から受信し、受信された情報を処理し、画像または他の着目情報を生成するように構成されてもよい。
【0080】
本明細書に説明される種々の情報およびデータ処理動作は、一実施形態では、ネットワーク化された環境内のコンピュータによって実行されるプログラムコード等のコンピュータ実行可能命令を含む、コンピュータ可読媒体内に具現化される、コンピュータプログラム製品によって実装されてもよい。コンピュータ可読媒体は、限定ではないが、読取専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、コンパクトディスク(CD)、デジタル多用途ディスク(DVD)等を含む、リムーバブルおよび非リムーバブル記憶デバイスを含んでもよい。したがって、本願に説明される、コンピュータ可読媒体は、非一過性記憶媒体を備える。概して、プログラムモジュールは、特定のタスクを実施する、または特定の抽象データタイプを実装する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含んでもよい。コンピュータ実行可能命令、関連付けられるデータ構造、およびプログラムモジュールは、本明細書に開示される方法のステップを実行するためのプログラムコードの実施例を表す。そのような実行可能命令または関連付けられるデータ構造の特定のシーケンスは、そのようなステップまたはプロセスに説明される機能を実装するための対応する行為の実施例を表す。
【0081】
いくつかの実装および実施例のみが、説明され、他の実装、向上、および変形例は、本特許文書に説明および図示される内容に基づいて行われることができる。
図1A
図1B
図1C
図2
図3
図4A
図4B
図4C
図5
図6
図7
図8
図9A
図9B
図10
【国際調査報告】