(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023052497
(43)【公開日】2023-04-11
(54)【発明の名称】相互遮蔽および不透明度制御能力を有する光学式シースルー型ヘッドマウントディスプレイのための装置
(51)【国際特許分類】
G02B 27/02 20060101AFI20230404BHJP
H04N 5/64 20060101ALI20230404BHJP
G02C 11/00 20060101ALN20230404BHJP
【FI】
G02B27/02 Z
H04N5/64 511A
G02C11/00
【審査請求】有
【請求項の数】1
【出願形態】OL
(21)【出願番号】P 2023006331
(22)【出願日】2023-01-19
(62)【分割の表示】P 2021147476の分割
【原出願日】2013-04-05
(31)【優先権主張番号】61/620,581
(32)【優先日】2012-04-05
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】61/620,574
(32)【優先日】2012-04-05
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】514108838
【氏名又は名称】マジック リープ, インコーポレイテッド
【氏名又は名称原語表記】Magic Leap,Inc.
【住所又は居所原語表記】7500 W SUNRISE BLVD,PLANTATION,FL 33322 USA
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】チュンユ ガオ
(72)【発明者】
【氏名】ユーシャン リン
(72)【発明者】
【氏名】ホン フア
(57)【要約】
【課題】コンパクトな光学式シースルー型ヘッドマウントディスプレイを提供すること。
【解決手段】本発明のディスプレイは、シースルー像パスの不透明度が変調されることができ、仮想像が、シースルー像の一部を遮蔽するように、かつその逆も然りであるように、シースルー像パスと仮想像パスを組み合わせることが可能である。ディスプレイは、ユーザによって視認される像を生成するためのマイクロディスプレイと、実世界内の外部景色からの光を修正し、遮蔽されることになるシースルービューの一部分を遮断するための空間光変調器と、外部景色からの入射光を受光し、光を空間光変調器上に集束させるように構成される対物光学系と、仮想像および変調されたシースルー像をマージするように構成されるビームスプリッタと、像を拡大するように構成される接眼レンズと、接眼レンズに面するように構成される射出瞳と、複数の反射表面とを備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
図面等に記載の発明。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願)
本出願は、2012年4月5日に出願された米国仮出願第61/620,574号、および2012年4月5日に出願された米国仮出願第61/620,581号に対して優先権を主張する。上記文献の開示内容は、その全体として参照することによって本願明細書において援用される。
【0002】
(政府ライセンス権利)
本発明は、一部、米軍によって与えられるSBIR契約番号W91CRB-12-C-0002の下に政府支援でなされた。政府は、本発明に一定の権利を有する。
【0003】
(発明の分野)
本発明は、概して、ヘッドマウントディスプレイに関し、より具体的には、排他的ではないが、実物体が、正面に位置するコンピュータでレンダリングされた仮想物体によって遮蔽され得る、またはその逆も然りである、不透明度制御および相互遮蔽能力を伴う、光学式シースルー型ヘッドマウントディスプレイに関する。
【背景技術】
【0004】
(発明の背景)
過去数十年にわたって、拡張現実(AR)技術が、医療および軍事訓練、エンジニアリング設計およびプロトタイピング、遠隔操作およびテレプレゼンス、ならびにパーソナルエンターテイメントシステム等、多くの用途分野に適用されている。シースルー型ヘッドマウントディスプレイ(ST-HMD)は、仮想ビューと物理的景色をマージするための拡張現実システムの実施可能技術の1つである。2つのタイプのST-HMD、すなわち、光学およびビデオがある(J. Rolland and H. Fuchs, “Optical versus video see-through head mounted displays,” In Fundamentals of Wearable Computers and Augmented Reality, pp.113-157,2001.)。ビデオシースルーアプローチの主要な短所として、シースルービューの画質の劣化、着信ビデオストリームの処理による像遅延、ハードウェア/ソフトウェア故障によるシースルービューの潜在的損失が挙げられる。対照的に、光学式シースルーHMD(OST-HMD)は、ビームスプリッタを通して、実世界の直接ビューを提供し、したがって、実世界のビューに最小限の影響を及ぼす。これは、ライブ環境へのユーザの認知が最重要である、要求水準が高い用途では、非常に好ましい。
【0005】
しかしながら、光学式シースルーHMDの開発は、複雑な技術的課題に直面している。重要な問題の1つは、OST-HMDにおける仮想ビューが、遮蔽能力の欠如のため、「ゴースト状」に現れ、実世界中に浮遊することである。
図1は、典型的OST-HMD(
図1a)を通して見られる拡張ビューおよび遮蔽可能OST-HMD(OCOST-HMD)システムを通して見られる拡張ビュー(
図1b)の比較図を示す。図中、仮想車両モデルは、実物体を表す、固体プラットフォーム上に重畳される。
図1aに示されるように、典型的ARビューにおいて適切な遮蔽管理を伴わない場合、車両は、プラットフォームと混合され、車両およびプラットフォームの奥行関係を区別することが困難となる。対照的に、
図1bに示されるように、適切な遮蔽管理を伴う場合、車両は、プラットフォームの一部分を遮断し、車両がプラットフォームの上部に着座することが明確に識別されることができる。遮蔽能力をARディスプレイに追加することによって、仮想物体を実環境内に現実的にマージすることを可能にする。そのような遮蔽対応能力は、ARディスプレイ技術に革新的影響をもたらし得、多くの拡張現実ベースの用途に非常に魅力的となる。
【0006】
OCOST-HMDシステムは、典型的には、2つの鍵となるサブシステムから成る。1つは、ユーザが、マイクロディスプレイ上に表示される拡大された像を見ることを可能にする、接眼レンズ光学系であり、もう1つは、実世界内の外部景色からの光を収集および変調させ、視認者に提示するとき、外部景色に及ぼす不透明度および遮蔽制御を可能にする、中継光学系である。真にポータブルかつ軽量のOCOST-HMDシステムを作成する鍵となる課題は、3つの不可欠な問題、すなわち、(1)有意な重量および体積をシステムに追加せず、2つのサブシステムの統合を可能にする、光学方式、(2)外部景色の座標系のパリティを維持する、適切な光学方法、(3)HMD開発者にとっての持続的夢である、洗練された形状因子を伴う、これらの光学サブシステムの設計を可能にする、光学設計方法に対処することである。いくつかの遮蔽可能光学ST-HMD概念が、開発されている(米国特許第7,639,208B1号、Kiyokawa, K., Kurata, Y., and Ohno, H., “An Optical See-through Display for Mutual Occlusion with a Real-time Stereo Vision System,” Elsevier Computer & Graphics, Special Issue on “Mixed Realities - Beyond Conventions,” Vol.25, No.5, pp.2765-779,2001.K. Kiyokawa, M. Billinghurst, B. Campbell, E. Woods,“An Occlusion-Capable Optical See-through Head Mount Display for Supporting Co-located Collaboration.”ISMAR 2003, pp. 133-141)。例えば、Kiyokawaらは、従来のレンズ、プリズム、およびミラーを使用して、ELMOシリーズ遮蔽ディスプレイを開発している。使用されている要素の数のためだけではなく、また、より重要なこととして、光学システムの回転対称性質のため、既存の遮蔽可能OST-HMDは、ヘルメット状の嵩張る形状因子を有する。これらは、重い重量および扱いにくい設計のため、専ら実験環境において使用されている。扱いにくいヘルメット状の形状因子は、多くの要求水準が高く、かつ新たな用途によるこの技術の容認を阻む。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】米国特許第7,639,208号明細書
【発明の概要】
【課題を解決するための手段】
【0008】
(発明の要約)
本発明は、不透明度制御および相互遮蔽能力を伴う、光学式シースルー型ヘッドマウントディスプレイ(OST-HMD)デバイスに関する。ディスプレイシステムは、典型的には、表示される仮想像を視認するための仮想ビューパスと、実世界における外部景色を視認するためのシースルーパスとから成る。本発明では、仮想ビューパスは、仮想像コンテンツを供給するための小型像ディスプレイユニットと、それを通してユーザが拡大された仮想像を視認する接眼レンズとを含む。シースルーパスは、直接、外部景色からの光を捕捉し、少なくとも1つの中間像を形成するための対物光学系と、シースルーパス内の中間像面またはその近傍に設置され、シースルービューの不透明度を制御および変調させるための空間光変調器(SLM)と、それを通して変調されたシースルービューが視認者によって見られる、接眼レンズ光学系とから成る。シースルーパス内では、対物光学系および接眼レンズはともに、実世界から視認者の眼に光を通過させるための中継光学系として作用する。コンパクトな形状因子を達成し、視点オフセットを低減させるために、シースルーパスは、いくつかの反射表面を通して、外部景色からの入射光を受け取る正面層と、正面層によって捕捉される光を視認者の眼の中に結合する背面層との2つの層に折り返される。シースルーパスは、同一の接眼レンズが、表示される仮想コンテンツおよび変調されたシースルー像を視認するために、両パスによって共有されるように、ビームスプリッタによって、仮想像パスとマージされる。マイクロディスプレイおよびSLMは、ビームスプリッタを通して、相互に光学的に共役し、ピクセルレベルの遮蔽操作を可能にする。本発明では、接眼レンズ、対物光学系、または両方は、回転対称レンズまたは非回転対称自由曲面光学系であってもよい。その有意な側面の1つでは、本発明は、接眼レンズ光学系、対物光学系、または両方において、自由曲面光学技術を利用し、コンパクトなかつ軽量のOCOST-HMD設計を達成し得る。
【0009】
光学パスを折り返すための反射表面は、屈折力を伴う、平面ミラー、球状、非球面、または自由曲面表面であってもよい。本発明の別の有意な側面では、反射表面のうちのいくつかは、自由曲面光学技術を利用してもよい。反射表面のうちのいくつかはまた、接眼レンズまたは対物光学系の一体部分であるように戦略的に設計されてもよく、反射表面は、コンパクトなディスプレイ設計を達成するために、光学パスの折り返しを促進するだけではなく、また、屈折力に寄与し、光学収差を補正する。例示的構成では、本発明は、接眼レンズまたは対物光学系として、1反射または多反射自由曲面プリズムを使用してもよく、プリズムは、屈折表面と、光学パスを折り返し、収差を補正するための1つまたは1つ以上の反射表面とから成る、単一光学要素である。
【0010】
本発明の別の有意な側面では、シースルーパス内の対物光学系は、少なくとも1つのアクセス可能中間像を形成し、その近傍に、SLMが、設置され、不透明度制御およびシースルー変調を提供する。本発明では、反射式SLMまたは伝送式SLMのいずれかが、遮蔽制御のために、シースルービューを変調させるために使用されてもよい。より長い対物光学系の後側焦点距離が、伝送式SLMより反射式SLMに要求される。反射式SLMは、伝送式SLMより高い光効率の利点を有し得る。
【0011】
本発明の別の有意な側面では、シースルーパスは、奇数または偶数の中間像を形成してもよい。奇数の中間像の場合、光学方法が、シースルーパス内のシースルービューを反転および/または逆転させるために提供される。例えば、シースルーパス内に伴われる反射の数に応じて、可能性として考えられる方法の実施例として、限定されないが、付加的反射または複数の反射の挿入、ルーフミラー表面の利用、または正立プリズムまたはレンズの挿入が挙げられる。偶数の中間像の場合、像正立要素は、シースルービュー内にパリティ変化が存在しない場合、必要とされない。例えば、複数の反射自由曲面プリズム構造(典型的には、3つ以上)が、接眼レンズまたは対物光学系または両方として利用されてもよく、これは、対物および/または接眼レンズプリズムの内側のシースルー光学パスを複数回折り返し、プリズムの内側に中間像を形成することを可能にし、正立ルーフ反射表面を使用する必要性を排除する。正立プリズムを排除する潜在的利点は、アプローチが、よりコンパクトな設計につながり得ることである。
本願明細書は、例えば、以下の項目も提供する。
(項目1)
シースルーパス(207)の不透明度が、変調されことができ、仮想ビューが、シースルービューの一部を遮蔽するように、かつその逆も然りであるように、前記シースルーパスと仮想ビューパス(205)を組み合わせることが可能であるコンパクトな光学式シースルー型ヘッドマウントディスプレイ(200)であって、前記ディスプレイは、
a.ユーザによって視認される像を生成するためのマイクロディスプレイ(250)であって、前記マイクロディスプレイは、それと関連付けられた仮想ビューパス(205)を有する、マイクロディスプレイと、
b.実世界内の外部景色からの光を修正し、遮蔽されることになる前記シースルービューの一部分を遮断するための空間光変調器(240)であって、前記空間光変調器は、それと関連付けられたシースルーパス(207)を有する、空間光変調器と、
c.前記外部景色からの入射光を受光し、前記光を前記空間光変調器(240)上に集束させるように構成される、対物光学系(220)と、
d.組み合わせられた像を生産する、マイクロディスプレイ(250)からの仮想像および空間光変調器を通過した外部景色の変調されたシースルー像をマージするように構成される、ビームスプリッタ(230)と、
e.前記組み合わせられた像を拡大するように構成される、接眼レンズ(210)と、
f.前記接眼レンズに面するように構成される、射出瞳(202)であって、前記ユーザは、前記仮想ビューが前記シースルービューの一部分を遮蔽する、前記仮想およびシースルービューの組み合わせられたビューを観察する、射出瞳と、
g.前記仮想ビューパス(205)および前記シースルーパス(207)を2つの層に折り返すように構成される、複数の反射表面と
を備え、
第1の反射表面(M1)は、前記ディスプレイの正面層上に配置され、前記外部景色から光を反射させるように配向され、前記対物光学系(220)は、前記ディスプレイの正面層上に配置され、第2の反射表面(M2)は、前記ディスプレイの正面層上に配置され、光を前記空間光変調器内に反射させるように配向され、前記空間光変調器(240)は、前記シースルーパス(207)の中間像面またはその近傍に配置され、前記ビームスプリッタ(230)を通して、前記シースルーパス(207)に沿って、前記対物光学系(220)および前記接眼レンズ(210)と光学連通し、前記マイクロディスプレイ(250)は、前記仮想ビューパス(205)に沿って、前記接眼レンズ(210)の焦点面に配置され、前記ビームスプリッタ(230)を通して、前記接眼レンズ(210)と光学連通し、前記ビームスプリッタ(230)は、前記シースルーパス(207)が、前記仮想ビューパス(205)とマージされ、前記シースルーパスおよび前記仮想ビューパスの両方からの光が、前記接眼レンズ(210)に指向されるように配置され、前記接眼レンズ(210)は、前記ディスプレイの背面層上に配置され、第3の反射表面(M3)は、前記ディスプレイの背面層上に配置され、前記接眼レンズから前記射出瞳(202)内に光を反射させるように配向され、
前記対物光学系(220)は、前記外部景色の光を受光し、前記対物光学系(220)は、前記外部景色の光を集束させ、シースルー像を前記空間光変調器(240)上に形成し、前記空間光変調器(240)は、前記シースルー像を修正し、遮蔽されることになる前記像の一部分を除去し、前記マイクロディスプレイ(250)は、仮想像を前記ビームスプリッタ(230)に投影し、前記空間光変調器(240)は、前記変調されたシースルー像を前記ビームスプリッタ(230)に伝送し、前記ビームスプリッタ(230)は、組み合わせられた像を生産する前記2つの像をマージし、前記仮想像が、前記シースルー像の一部分を遮蔽し、前記ビームスプリッタ(230)は、前記組み合わせられた像を前記接眼レンズ(210)に投影し、前記接眼レンズは、前記組み合わせられた像を前記射出瞳(202)に投影し、前記ユーザは、前記仮想像が前記外部景色の一部分を遮蔽する、前記組み合わせられた像を観察する、ディスプレイ。
(項目2)
前記空間光変調器は、伝送式空間光変調器であり、前記空間光変調器は、前記ビームスプリッタの正面に配置され、前記対物光学系からの光は、前記ビームスプリッタに到達する前に、前記空間光変調器を通して通過し、前記空間光変調器の不透明度は、前記外部景色の一部分からの光を遮断するように制御される、項目1に記載のディスプレイ。
(項目3)
前記空間光変調器は、反射式空間光変調器であり、前記空間光変調器は、前記ビームスプリッタの背後に配置され、前記対物光学系からの光は、前記ビームスプリッタを通して通過し、前記空間光変調器から前記ビームスプリッタに反射され、前記空間光変調器の反射率は、遮蔽されることにならない前記外部景色の一部からの光のみ反射させるように制御される、項目1に記載のディスプレイ。
(項目4)
中間像は、前記シースルーパス内の1つ以上の点で形成され、前記空間光変調器は、前記中間像面のうちの1つまたはその近傍に配置される、項目1に記載のディスプレイ。
(項目5)
前記反射表面(M1~M3)のうちの1つ以上は、前記光学パスを折り返し、前記光を集束させるための屈折力を伴う、独立表面である、項目1に記載のディスプレイ。
(項目6)
前記反射表面(M1~M3)のうちの1つ以上は、自由曲面表面である、項目1に記載のディスプレイ。
(項目7)
前記正面層内の前記第1および/または第2の反射表面は、前記対物光学系内に含有される、項目1に記載のディスプレイ。
(項目8)
前記背面層内の前記反射表面(M3)は、前記接眼レンズ内に含有される、項目1に記載のディスプレイ。
(項目9)
前記対物光学系は、複数の反射および屈折表面によって形成され、前記外部景色を前記空間光変調器内に結像させる、自由曲面プリズムである、項目1に記載のディスプレイ。
(項目10)
前記接眼レンズは、複数の反射および屈折表面によって形成され、前記仮想像および前記変調されたシースルー像を拡大させる、自由曲面プリズムである、項目1に記載のディスプレイ。
(項目11)
前記正面層内の前記第1および/または前記第2の反射表面(M1、M2)は、前記対物光学系内に含有される、項目9に記載のディスプレイ。
(項目12)
前記背面層内の前記第3の反射表面(M3)は、前記接眼レンズ内に含有される、項目10に記載のディスプレイ。
(項目13)
偶数の中間像は、前記シースルーパスに沿って形成され、前記視認者に提示される前記外部景色と前記シースルービューとの間のパリティを維持するように前記シースルービューを反転させる、項目1に記載のディスプレイ。
(項目14)
前記反射表面のうちの1つは、前記視認者に提示される前記外部景色と前記シースルービューとの間のパリティを維持するように前記シースルービューを逆転させるために、ルーフミラーによって置換される、項目1に記載のディスプレイ。
(項目15)
前記接眼レンズおよび前記対物光学系は両方とも、同じ光学構造を有する、項目1に記載のディスプレイ。
(項目16)
前記接眼レンズおよび前記対物光学系は両方とも、同じ形状の自由曲面プリズムである、項目15に記載のディスプレイ。
(項目17)
前記ビームスプリッタは、前記正面層上に配置される、項目1に記載のディスプレイ。
(項目18)
1つ以上の回折光学要素(DOE)プレートは、光学パス内に設置され、色収差を補正する、項目1に記載のディスプレイ。
(項目19)
前記対物光学系は、3つの光学表面、すなわち、屈折表面S4、反射表面S5、および屈折表面S6を備える1反射プリズムであり、前記接眼レンズは、3つの光学表面、すなわち、屈折表面S1、反射表面S2、および屈折表面S3を備える1反射プリズムであり、前記第2の反射表面(M2)は、前記対物光学系内に含有され、前記第3の反射表面(M3)は、前記接眼レンズ内に含有され、ルーフミラーが、前記第1の反射表面(M1)に取って代わり、前記シースルービューを反転させ、反射式空間光変調器が、前記外部景色からの光を変調するために使用される、項目1または3あるいは6~12のいずれかもしくは14に記載のディスプレイ。
(項目20)
前記ミラー(325)によって反射される外部景色からの入射光は、前記屈折表面S4を通して、前記対物光学系(320)に入射し、次いで、前記反射表面S5によって反射され、前記屈折表面S6を通して、前記対物光学系(320)から出射し、前記空間光変調器(340)上の焦点面に中間像を形成し、前記空間光変調器(340)は、前記シースルーパス内の光を変調し、前記遮蔽されることになる光を遮断し、前記空間光変調器は、前記変調された光を前記ビームスプリッタ(330)内に反射させ、前記マイクロディスプレイ(350)からの光は、前記ビームスプリッタ(330)に入射し、前記ビームスプリッタ(330)は、前記シースルーパス(307)内の変調された光と前記仮想ビューパス内の光(305)をマージし、視認するために、前記接眼レンズ(310)に向かって折り返し、前記ビームスプリッタ(330)からの光は、前記屈折表面S3を通して、前記接眼レンズ(310)に入射し、次いで、前記反射表面S2によって反射され、前記屈折表面S1を通して、前記接眼レンズ(310)から出射し、前記射出瞳(302)に到達し、前記視認者の眼は、仮想ビューおよび変調されたシースルービューの組み合わせられたビューが見えるように整合される、項目19に記載のディスプレイ。
(項目21)
前記対物光学系は、6つの光学表面、すなわち、屈折表面S4、反射表面S5、S4’、S5’、およびS6、ならびに屈折表面S7を備える4反射自由曲面プリズムであり、前記接眼レンズは、4つの光学表面、すなわち、屈折表面S1、反射表面S2、反射表面S1’および屈折表面S3を備える2反射プリズムであり、前記第1の反射表面(M1)および前記第2の反射表面(M2)は、前記対物光学系内に含有され、前記第3の反射表面(M3)は、前記接眼レンズ内に含有される、前記対物光学系は、前記対物光学系の内側に中間像(460)を形成し、偶数の中間像が、前記シースルーパスに沿って形成され、前記シースルービューを反転させ、反射式空間光変調器が、前記外部景色からの光を変調するために使用される、項目1または3あるいは6~13のいずれかに記載のディスプレイ。
(項目22)
外部景色からの入射光が、前記屈折表面S4を通して、対物光学系(420)に入射し、次いで、前記反射表面S5、S4’、S5’およびS6によって、連続して反射され、前記屈折表面S7を通して、前記対物光学系(420)から出射し、前記入射光は、前記空間光変調器(440)上の焦点面に中間像を形成し、前記空間光変調器は、前記シースルーパス内の光を変調し、前記遮蔽されることになる光を遮断し、前記空間光変調器は、前記変調された光を前記ビームスプリッタ(430)内に反射させ、前記マイクロディスプレイ(450)からの光は、前記ビームスプリッタ(430)に入射し、前記ビームスプリッタ(430)は、前記シースルーパス(407)内の変調された光と前記仮想ビューパス(405)内の光をマージし、視認するために、前記接眼レンズ(410)に向かって折り返し、前記ビームスプリッタからの光は、前記屈折表面S3を通して、前記接眼レンズ(410)に入射し、次いで、前記反射表面S1’およびS2によって、連続して反射され、前記屈折表面S1を通して、前記接眼レンズ(410)から出射し、前記射出瞳(402)に到達し、前記視認者の眼は、仮想ビューおよび変調されたシースルービューの組み合わせられたビューが見えるように整合される、項目21に記載のディスプレイ。
(項目23)
前記屈折表面S4および反射表面S4’は、同一の物理的表面であり、同一の一式の表面処方を保有する、項目21に記載のディスプレイ。
(項目24)
前記対物光学系は、3つの光学表面、すなわち、屈折表面S4、反射表面S5、および屈折表面S6を備える1反射プリズムであり、前記接眼レンズは、4つの光学表面、すなわち、屈折表面S1、反射表面S2、反射表面S1’、および屈折表面S3を備える2反射プリズムであり、前記第1の反射表面(M1)は、前記対物光学系内に含有され、前記第3の反射表面(M3)は、前記接眼レンズ内に含有され、ルーフミラー(527)が、前記第2の反射表面(M2)に取って代わり、前記シースルービューを反転させ、伝送式空間光変調器が、前記外部景色からの光を変調するために使用される、項目1または3あるいは6~12のいずれかもしくは14に記載のディスプレイ。
(項目25)
外部景色からの入射光は、前記屈折表面S4を通して、前記対物光学系(520)に入射し、次いで、前記反射表面S5によって反射され、前記屈折表面S6を通して、前記対物光学系(520)から出射し、前記ミラー(527)によって、前記背面層(517)に向かって折り返され、前記空間光変調器(540)上の焦点面に中間像を形成し、前記空間光変調器(540)は、前記シースルーパス内の光を変調し、前記遮蔽されることになる光を遮断し、前記空間光変調器は、前記変調された光を前記ビームスプリッタ(530)内に伝送し、前記マイクロディスプレイ(550)からの光は、前記ビームスプリッタ(530)に入射し、前記ビームスプリッタ(530)は、前記シースルーパス(507)内の変調された光と前記仮想ビューパス(505)内の光をマージし、視認するために、前記接眼レンズ(510)に向かって折り返し、前記ビームスプリッタからの光は、前記屈折表面S3を通して、前記接眼レンズ(510)に入射し、次いで、反射表面S1’およびS2によって、連続して反射され、前記屈折表面S1を通して、前記接眼レンズ(510)から出射し、射出瞳502に到達し、前記視認者の眼は、仮想ビューおよび変調されたシースルービューの組み合わせられたビューが見えるように整合される、項目24に記載のディスプレイ。
(項目26)
表面S1および反射表面S1’は、同一の物理的表面であり、同一の一式の表面処方を保有する、項目24に記載のシステム。
(項目27)
前記対物光学系は、5つの光学自由曲面表面、すなわち、屈折表面S4、反射表面S5、S4’およびS6、ならびに屈折表面S7を備える3反射プリズムであり、前記接眼レンズは、4つの光学表面、すなわち、屈折表面S1、反射表面S2、反射表面S1’、および屈折表面S3を備える2反射プリズムであり、前記第1の反射表面(M1)および前記第2の反射表面(M2)は、前記対物光学系内に含有され、前記第3の反射表面(M3)は、前記接眼レンズ内に含有され、前記対物光学系は、前記対物光学系の内側に中間像(660)を形成し、偶数の中間像が、前記シースルーパスに沿って形成され、前記シースルービューを反転させ、伝送式空間光変調器が、前記外部景色からの光を変調するために使用される、項目1または2あるいは6~13のいずれかに記載のディスプレイ。
(項目28)
外部景色からの入射光は、前記屈折表面S4を通して、対物光学系(620)に入射し、反射表面S5、S4’、およびS6によって、連続して反射され、前記屈折表面S7を通して、前記対物光学系(620)から出射し、前記入射光は、前記空間光変調器(640)上の焦点面に中間像を形成し、前記空間光変調器は、前記シースルーパス内の光を変調し、前記遮蔽されることになる光を遮断し、前記空間光変調器は、前記変調された光を前記ビームスプリッタ(630)内に伝送し、前記マイクロディスプレイ(650)からの光は、前記ビームスプリッタ(630)に入射し、前記ビームスプリッタ(630)は、前記シースルーパス(607)内の変調された光と前記仮想ビューパス(605)内の光をマージし、視認するために、前記接眼レンズ(610)に向かって折り返し、前記ビームスプリッタからの光は、前記屈折表面S3を通して、前記接眼レンズ(610)に入射し、次いで、前記反射表面S1’およびS2によって、連続して反射され、前記屈折表面S1を通して、前記接眼レンズ(610)から出射し、前記射出瞳(602)に到達し、前記視認者の眼は、仮想ビューおよび変調されたシースルービューの組み合わせられたビューが見えるように整合される、項目27に記載のディスプレイ。
(項目29)
前記屈折表面S1および前記反射表面S1’は、同一の物理的表面であり得、同一の一式の表面処方を保有する、項目27に記載のシステム。
(項目30)
前記屈折表面S4および前記反射表面S4’は、同一の物理的表面であり、同一の一式の表面処方を保有する、項目27に記載のシステム。
(項目31)
前記対物光学系は、4つの光学自由曲面表面、すなわち、屈折表面S4、反射表面S5、反射表面S4’、および屈折表面S6を備える2反射プリズムであり、前記接眼レンズは、4つの光学表面、すなわち、屈折表面S1、反射表面S2、反射表面S1’、および屈折表面S3を備える2反射プリズムであり、前記第1の反射表面(M1)は、前記対物光学系内に含有され、前記第3の反射表面(M3)は、前記接眼レンズ内に含有され、前記第2の反射表面(M1)は、ミラー(790)として、第1のビームスプリッタ(780)および中継レンズ(770)とともに、前記シースルーパスを折り返し、二次中間像を作成するように構成され、偶数の中間像が、前記シースルーパスに沿って形成され、前記シースルービューを反転させ、反射式空間光変調器が、前記外部景色からの光を変調するために使用される、項目1または3あるいは6~13のいずれかに記載のディスプレイ。
(項目32)
外部景色からの入射光は、屈折表面S4を通して、前記対物光学系(720)に入射し、前記反射表面S5、S4’によって連続して反射され、前記屈折表面S6を通して、前記対物光学系(720)から出射し、前記入射光は、前記第1のビームスプリッタ(780)によって、前記ミラー(790)上に反射され、中間像を形成し、前記ミラー(790)は、前記正面層からの光を前記中継レンズ(770)上に反射させ、前記中継レンズ(770)は、別の中間像を前記空間光変調器(740)上に形成し、前記空間光変調器は、前記シースルーパス内の光を変調し、前記遮蔽されることになる光を遮断し、前記空間光変調器は、前記変調された光を前記第2のビームスプリッタ(730)内に反射させ、前記マイクロディスプレイ(750)からの光は、前記第2のビームスプリッタ(730)に入射し、前記第2のビームスプリッタ(730)は、前記シースルーパス(707)内の変調された光と前記仮想ビューパス(705)内の光をマージし、視認するために、前記接眼レンズ(710)に向かって折り返し、前記ビームスプリッタからの光は、屈折表面S3を通して、前記接眼レンズ(710)に入射し、次いで、前記反射表面S1’およびS2によって、連続して反射され、前記屈折表面S1を通して、前記接眼レンズ(710)から出射し、射出瞳(702)に到達し、前記視認者の眼は、仮想ビューおよび変調されたシースルービューの組み合わせられたビューが見えるように整合される、項目31に記載のディスプレイ。
(項目33)
前記ミラー(790)および前記空間光変調器(740)の位置は、交換可能である、項目31に記載のディスプレイ。
(項目34)
前記対物光学系の光学表面のうちの1つ以上は、回転対象を伴う、または伴わない、非球面表面である、項目19~32のいずれかに記載のディスプレイ。
(項目35)
前記接眼レンズプリズムの光学表面のうちの1つ以上は、回転対象を伴う、または伴わない、非球面表面である、項目19~32のいずれかに記載のディスプレイ。
(項目36)
前記ビームスプリッタ(130)は、立方体またはプレートの形態であり、非偏光ビームスプリッタまたは偏光ビームスプリッタであり得る、項目1に記載のディスプレイ。
(項目37)
前記コンパクトな光学式シースルー型ヘッドマウントディスプレイは、単眼および双眼のうちの1つである、項目1~36のいずれかに記載のディスプレイ。
(項目38)
シースルーパス(307)の不透明度が、変調されことができ、仮想ビューが、シースルービューの一部を遮蔽するように、かつその逆も然りであるように、前記シースルーパスと仮想ビューパス(305)を組み合わせることが可能であるコンパクトな光学式シースルー型ヘッドマウントディスプレイ(300)であって、前記ディスプレイは、
a.ユーザによって視認される像を生成するためのマイクロディスプレイ(350)であって、前記マイクロディスプレイは、それと関連付けられた仮想ビューパス(305)を有する、マイクロディスプレイと、
b.実世界内の外部景色からの光を修正し、遮蔽されることになる前記シースルービューの一部分を遮断するための反射式空間光変調器(340)であって、前記空間光変調器は、それと関連付けられたシースルーパス(307)を有する、空間光変調器と、
c.前記外部景色からの入射光を受光し、前記光を前記空間光変調器(340)上に集束させるように構成される、外部景色に面した対物光学系(320)であって、前記対物光学系は、3つの光学自由曲面表面、すなわち、屈折表面S4、反射表面S5、および屈折表面S6を備える1反射自由曲面プリズムである、対物光学系と、
d.組み合わせられた像を生産する、デジタル的に生成されたマイクロディスプレイ(350)からの仮想像および空間光変調器を通過した外部景色の変調されたシースルー像をマージする、ビームスプリッタ(330)と、
e.前記組み合わせられた像を拡大するように構成される、接眼レンズ(310)であって、前記接眼レンズは、3つの光学自由曲面表面、すなわち、屈折表面S1、反射表面S2、および屈折表面S3を備える1反射自由曲面プリズムである、接眼レンズと、
f.前記接眼レンズに面するように構成される、射出瞳(302)であって、前記ユーザは、前記仮想ビューが前記シースルービューの一部分を遮蔽する、前記仮想およびシースルービューの組み合わせられたビューを観察する、射出瞳と、
g.前記外部景色からの光を前記対物光学系内に反射させるように構成される、ルーフミラー(325)であって、前記視認者に提示される前記外部景色と前記シースルービューとの間のパリティを維持するように、付加的反射を追加し、前記シースルービューを逆転させる、ルーフミラーと
を備え、
前記ミラー(325)は、前記ディスプレイの正面層(315)上に配置され、前記対物光学系(320)は、前記ディスプレイの正面層(315)上に配置され、前記空間光変調器(340)は、前記ビームスプリッタ(330)のある側に面した前記シースルーパスの中間像面またはその近傍の前記ディスプレイの背面層(317)上に配置され、前記マイクロディスプレイ(350)は、前記ビームスプリッタ(330)の異なる側に面した前記ディスプレイの背面層(317)上に配置され、前記ビームスプリッタ(330)は、前記シースルーパス(307)が、前記仮想ビューパス(305)とマージされ、マージされたパスからの光が、前記接眼レンズ(310)に指向されるように配置され、前記接眼レンズ(210)は、前記ディスプレイの背面層(317)上に配置され、
前記ミラー(325)によって反射される外部景色からの入射光は、前記屈折表面S4を通して、前記対物光学系(320)に入射し、次いで、前記反射表面S5によって反射され、前記屈折表面S6を通して、対物プリズム(320)から出射し、前記空間光変調器(340)上の焦点面に中間像を形成し、前記空間光変調器(340)は、前記シースルーパス内の光を変調し、前記シースルービューの一部分を遮蔽し、前記空間光変調器は、前記変調された光を前記ビームスプリッタ(330)内に反射させ、前記マイクロディスプレイ(350)からの光は、前記ビームスプリッタ(330)に入射し、前記ビームスプリッタ(330)は、前記シースルーパス(307)内の変調された光と前記仮想ビューパス(305)内の光をマージし、視認するために、前記接眼レンズ(310)に向かって折り返し、前記ビームスプリッタからの光は、前記屈折表面S3を通して、前記接眼レンズ(310)に入射し、次いで、前記反射表面S2によって反射され、前記屈折表面S1を通して、前記接眼レンズ(310)から出射し、前記射出瞳(302)に到達し、前記視認者の眼は、仮想ビューおよび変調されたシースルービューの組み合わせられたビューが見えるように整合される、ディスプレイ。
(項目39)
シースルーパス(407)の不透明度が、変調されことができ、仮想ビューが、シースルービューの一部を遮蔽するように、かつその逆も然りであるように、前記シースルーパスと仮想ビューパス(405)を組み合わせることが可能であるコンパクトな光学式シースルー型ヘッドマウントディスプレイ(400)であって、前記ディスプレイは、
a.ユーザによって視認される像を生成するためのマイクロディスプレイ(450)であって、前記マイクロディスプレイは、それと関連付けられた仮想ビューパス(405)を有する、マイクロディスプレイと、
b.外部景色からの光を修正し、遮蔽されることになる前記シースルービューの一部分を遮断するための反射式空間光変調器(440)であって、前記空間光変調器は、それと関連付けられたシースルーパス(407)を有する、空間光変調器と、
c.前記外部景色からの入射光を受光し、前記光を前記空間光変調器(440)上に集束させるように構成される、外部景色に面した対物光学系(420)であって、前記対物光学系(420)は、6つの光学自由曲面表面、すなわち、屈折表面S4、反射表面S5、S4’、S5’、およびS6、ならびに屈折表面S7を備える4反射自由曲面プリズムであり、前記対物光学系は、前記対物光学系の内側に中間像を形成するように構成される、対物光学系と、
d.組み合わせられた像を生産する、デジタル的に生成されたマイクロディスプレイ(450)からの仮想像および空間光変調器(440)を通過した外部景色の変調されたシースルー像をマージするように構成される、ビームスプリッタ(430)と、
e.前記組み合わせられた像を拡大するように構成される、接眼レンズ(410)であって、前記接眼レンズ(410)は、4つの光学自由曲面表面、屈折表面S1、反射表面S2、反射表面S1’、および屈折表面S3を備える2反射自由曲面プリズムである、接眼レンズと、
f.前記接眼レンズに面するように構成される、射出瞳(402)であって、前記ユーザは、前記仮想ビューが前記シースルービューの一部分を遮蔽する、前記仮想およびシースルービューの組み合わせられたビューを観察する、射出瞳と
を備え、
前記対物光学系(420)は、前記ディスプレイの正面層(415)上に配置され、前記空間光変調器(440)は、前記ビームスプリッタ(430)のある側に面した前記シースルーパスの中間像面またはその近傍の前記ディスプレイの背面層(417)上に配置され、前記マイクロディスプレイ(450)は、前記ビームスプリッタ(430)の異なる側に面した前記ディスプレイの背面層(415)上に配置され、前記ビームスプリッタ(430)は、前記シースルーパス(407)が、前記仮想ビューパス(405)とマージされ、マージされたパスからの光が、前記接眼レンズ(410)に指向されるように配置され、前記接眼レンズ(410)は、前記ディスプレイの背面層(417)上に配置され、
前記外部景色からの入射光は、前記屈折表面S4を通して、前記対物光学系(420)に入射し、次いで、前記反射表面S5、S4’、S5’、およびS6によって、連続して反射され、前記屈折表面S7を通して、対物プリズム(420)から出射し、前記入射光は、前記空間光変調器(440)上の焦点面に中間像を形成し、前記空間光変調器は、前記シースルーパス内の光を変調し、前記シースルービューの一部分を遮蔽し、前記空間光変調器は、前記変調された光を前記ビームスプリッタ(430)内に反射させ、前記マイクロディスプレイ(450)からの光は、前記ビームスプリッタ(430)に入射し、前記ビームスプリッタ(430)は、前記シースルーパス(407)内の変調された光と前記仮想ビューパス(405)内の光をマージし、視認するために、前記接眼レンズ(410)に向かって折り返し、前記ビームスプリッタからの光は、前記屈折表面S3を通して、前記接眼レンズ(410)に入射し、次いで、前記反射表面S1’およびS2によって、連続して反射され、前記屈折表面S1を通して、前記接眼レンズ(410)から出射し、前記射出瞳(402)に到達し、前記視認者の眼は、仮想ビューおよび変調されたシースルービューの組み合わせられたビューが見えるように整合される、ディスプレイ。
(項目40)
前記屈折表面S4および前記反射表面S4’は、同一の物理的表面であり、同一の一式の表面処方を保有する、項目39に記載のシステム。
(項目41)
シースルーパス(507)の不透明度が、変調されことができ、仮想ビューが、シースルービューの一部を遮蔽するように、かつその逆も然りであるように、前記シースルーパスと仮想ビューパス(505)を組み合わせることが可能であるコンパクトな光学式シースルー型ヘッドマウントディスプレイ(500)であって、前記ディスプレイは、
a.ユーザによって視認される像を生成するためのマイクロディスプレイ(550)であって、前記マイクロディスプレイは、それと関連付けられた仮想ビューパス(505)を有する、マイクロディスプレイと、
b.外部景色からの光を修正し、遮蔽されることになる前記シースルービューの一部分を遮断するための伝送式空間光変調器(540)であって、前記空間光変調器は、それと関連付けられたシースルーパス(507)を有する、空間光変調器と、
c.前記外部景色からの入射光を受光し、前記光を前記空間光変調器(540)上に集束させるように構成される、外部景色に面した対物光学系(520)であって、前記対物光学系は、3つの光学自由曲面表面、すなわち、屈折表面S4、反射表面S5、および屈折表面S6を備える1反射自由曲面プリズムである、対物光学系と、
d.組み合わせられた像を生産する、デジタル的に生成されたマイクロディスプレイ(550)からの仮想像および空間光変調器を通過した外部景色の変調されたシースルー像をマージするように構成される、ビームスプリッタ(530)と、
e.前記組み合わせられた像を拡大するように構成される、接眼レンズ(510)であって、前記接眼レンズは、3つの光学自由曲面表面、すなわち、屈折表面S1、反射表面S2、反射表面S1’、および屈折表面S3を備える2反射自由曲面プリズムである、接眼レンズと、
f.前記接眼レンズに面するように構成される、射出瞳(502)であって、前記ユーザは、前記仮想ビューが前記シースルービューの一部分を遮蔽する、前記仮想およびシースルービューの組み合わせられたビューを観察する、射出瞳と、
g.前記対物光学系からの光を前記空間光変調器内に反射させるように構成される、ルーフミラー(527)であって、前記ルーフミラーは、前記視認者に提示される前記外部景色と前記シースルービューとの間のパリティを維持するように、前記シースルーパスに付加的反射を追加し、前記シースルービューを逆転させる、ルーフミラーと
を備え、
前記対物光学系(520)は、前記ディスプレイの正面層(515)上に配置され、前記ミラー(525)は、前記ディスプレイの正面層(515)上に配置され、前記空間光変調器(540)は、前記ミラー(527)と前記ビームスプリッタ(530)との間の前記シースルーパスの中間像面またはその近傍の前記ディスプレイの背面層(517)上に配置され、前記マイクロディスプレイ(550)は、前記ビームスプリッタ(530)の異なる側に面した前記ディスプレイの背面層上に配置され、前記ビームスプリッタ(530)は、前記シースルーパス(507)が、前記仮想ビューパス(505)とマージされ、マージされたパスからの光が、前記接眼レンズ(510)に指向されるように配置され、前記接眼レンズ(510)は、前記ディスプレイの背面層上に配置され、
前記外部景色からの入射光は、前記屈折表面S4を通して、前記対物光学系(520)に入射し、次いで、前記反射表面S5によって反射され、前記屈折表面S6を通して、前記対物光学系(520)から出射し、前記ミラー(527)によって、前記背面層(517)に向かって折り返され、前記空間光変調器(540)上の焦点面に中間像を形成し、前記空間光変調器(540)は、前記シースルーパス内の光を変調し、前記シースルービューの一部分を遮蔽し、前記空間光変調器は、前記変調された光を前記ビームスプリッタ(530)内に伝送し、前記マイクロディスプレイ(550)からの光は、前記ビームスプリッタ(530)に入射し、前記ビームスプリッタ(530)は、前記シースルーパス(507)内の変調された光と前記仮想ビューパス(505)内の光をマージし、視認するために、前記接眼レンズ(310)に向かって折り返し、前記ビームスプリッタからの光は、前記屈折表面S3を通して、前記接眼レンズ(510)に入射し、次いで、前記反射表面S1’およびS2によって、連続して反射され、前記屈折表面S1を通して、前記接眼レンズ(510)から出射し、射出瞳502に到達し、前記視認者の眼は、仮想ビューおよび変調されたシースルービューの組み合わせられたビューが見えるように整合される、ディスプレイ。
(項目42)
前記屈折表面S1および前記反射表面S1’は、同一の物理的表面であり、同一の一式の表面処方を保有する、項目41に記載のシステム。
(項目43)
シースルーパス(607)の不透明度が、変調されことができ、仮想ビューが、シースルービューの一部を遮蔽するように、かつその逆も然りであるように、前記シースルーパスと仮想ビューパス(605)を組み合わせることが可能であるコンパクトな光学式シースルー型ヘッドマウントディスプレイ(600)であって、前記ディスプレイは、
a.ユーザによって視認される像を生成するためのマイクロディスプレイ(650)であって、前記マイクロディスプレイは、それと関連付けられた仮想ビューパス(605)を有する、マイクロディスプレイと、
b.外部景色からの光を修正し、遮蔽されることになる前記シースルービューの一部分を遮断するための伝送式空間光変調器(640)であって、前記空間光変調器は、それと関連付けられたシースルーパス(607)を有する、空間光変調器と、
c.前記外部景色からの入射光を受光し、前記光を前記空間光変調器(640)上に集束させるように構成される、外部景色に面した対物光学系(620)であって、前記対物光学系(620)は、5つの光学自由曲面表面、すなわち、屈折表面S4、反射表面S5、S4’、およびS6、ならびに屈折表面S7を備える3反射自由曲面プリズムであり、前記対物光学系は、前記対物光学系の内側に中間像を形成するように構成される、対物光学系と、
d.組み合わせられた像を生産する、デジタル的に生成されたマイクロディスプレイ(650)からの仮想像および空間光変調器(640)を通過した外部景色の変調されたシースルー像をマージするように構成される、ビームスプリッタ(630)と、
e.前記組み合わせられた像を拡大するように構成される、接眼レンズ(610)であって、前記接眼レンズ(610)は、4つの光学自由曲面表面、すなわち、屈折表面S1、反射表面S2、反射表面S1’、および屈折表面S3を備える2反射自由曲面プリズムである、接眼レンズと、
f.前記接眼レンズに面するように構成される、射出瞳(602)であって、前記ユーザは、前記仮想ビューが前記シースルービューの一部分を遮蔽する、前記仮想およびシースルービューの組み合わせられたビューを観察する、射出瞳と
を備え、
前記対物光学系(620)は、前記ディスプレイの正面層(615)上に配置され、前記空間光変調器(640)は、前記ビームスプリッタ(630)のある側に面した前記シースルーパスの中間像面またはその近傍の前記ディスプレイの背面層(617)上に配置され、前記マイクロディスプレイ(650)は、前記ビームスプリッタ(630)の異なる側に面した前記ディスプレイの背面層上に配置され、前記ビームスプリッタ(630)は、前記シースルーパス(607)が、前記仮想ビューパス(605)とマージされ、マージされたパスからの光が、前記接眼レンズ(610)に指向されるように配置され、前記接眼レンズ(610)は、前記ディスプレイの背面層上に配置され、
前記外部景色からの入射光は、前記屈折表面S4を通して、前記対物光学系(620)に入射し、前記反射表面S5、S4’、およびS6によって、連続して反射され、前記屈折表面S7を通して、前記対物光学系(620)から出射し、前記入射光は、前記空間光変調器(640)上の焦点面に中間像を形成し、前記空間光変調器は、前記シースルーパス内の光を変調し、前記シースルービューの一部分を遮蔽し、前記空間光変調器は、前記変調された光を前記ビームスプリッタ(630)内に伝送し、前記マイクロディスプレイ(650)からの光は、前記ビームスプリッタ(630)に入射し、前記ビームスプリッタ(630)は、前記シースルーパス(607)内の変調された光と前記仮想ビューパス(605)内の光をマージし、視認するために、前記接眼レンズ(610)に向かって折り返し、前記ビームスプリッタからの光は、前記屈折表面S3を通して、前記接眼レンズ(610)に入射し、次いで、前記反射表面S1’およびS2によって、連続して反射され、前記屈折表面S1を通して、前記接眼レンズ(610)から出射し、前記射出瞳(602)に到達し、前記視認者の眼は、仮想ビューおよび変調されたシースルービューの組み合わせられたビューが見えるように整合される、ディスプレイ。
(項目44)
前記屈折表面S1および前記反射表面S1’は、同一の物理的表面および同一の一式の表面処方を保有する、項目43に記載のシステム。
(項目45)
前記屈折表面S4および前記反射表面S4’は、同一の物理的表面であり、同一の一式の表面処方を保有する、項目43に記載のシステム。
(項目46)
シースルーパス(707)の不透明度が、変調されことができ、仮想ビューが、シースルービューの一部を遮蔽するように、かつその逆も然りであるように、前記シースルーパスと仮想ビューパス(705)を組み合わせることが可能であるコンパクトな光学式シースルー型ヘッドマウントディスプレイ(700)であって、前記ディスプレイは、
a.ユーザによって視認される像を生成するためのマイクロディスプレイ(750)であって、前記マイクロディスプレイは、それと関連付けられた仮想ビューパス(705)を有する、マイクロディスプレイと、
b.外部景色からの光を修正し、遮蔽されることになる前記シースルービューの一部分を遮断するための反射式空間光変調器(740)であって、前記空間光変調器は、それと関連付けられたシースルーパス(707)を有する、空間光変調器と、
c.前記外部景色からの入射光を受光し、前記光を前記空間光変調器(740)上に集束させるように構成される、外部景色に面した対物光学系(720)であって、前記対物光学系(720)は、4つの光学自由曲面表面、すなわち、屈折表面S4、反射表面S5、S4’、および屈折表面S6を備える2反射自由曲面プリズムである、対物光学系と、
d.前記シースルーパスをミラー(790)上に反射させるように構成される、第1のビームスプリッタ(780)と、
e.前記空間光変調器(740)上に別の中間像を生成するように構成される、中継レンズ(770)と、
f.組み合わせられた像を生産する、マイクロディスプレイ(750)からの仮想像および空間光変調器(740)を通過した外部景色の変調されたシースルー像をマージするように構成される、第2のビームスプリッタ(730)と、
g.前記組み合わせられた像を拡大するように構成される、接眼レンズ(710)であって、前記接眼レンズ(710)は、4つの光学自由曲面表面、すなわち、屈折表面S1、反射表面S2、反射表面S1’、および屈折表面S3を備える2反射自由曲面プリズムである、接眼レンズと、
h.前記接眼レンズに面するように構成される、射出瞳(702)であって、前記ユーザは、前記仮想ビューが前記シースルービューの一部分を遮蔽する、前記仮想およびシースルービューの組み合わせられたビューを観察する、射出瞳と、
i.前記シースルーパスを折り返す、ミラー(790)と
を備え、
前記対物光学系(720)は、前記ディスプレイの正面層(715)上に配置され、前記第1のビームスプリッタ(780)は、前記ディスプレイの正面層上に配置され、前記ミラー(790)は、前記空間光変調器に面した前記対物光学系(720)の焦点面において、前記ディスプレイの正面層上に配置され、前記空間光変調器(740)は、前記第2のビームスプリッタ(730)に面した前記ディスプレイの背面層(717)上に配置され、前記中継は、前記第1および第2のビームスプリッタ間に配置され、前記マイクロディスプレイ(750)は、前記第2のビームスプリッタ(730)に面した前記ディスプレイの背面層上に配置され、前記第2のビームスプリッタ(730)は、前記ビームスプリッタからの光伝送の方向が、前記接眼レンズ(710)に面するように配置され、前記接眼レンズ(710)は、前記ディスプレイの背面層上に配置され、
前記外部景色からの入射光は、前記屈折表面S4を通して、対物プリズム(720)に入射し、前記反射表面S5、S4’によって連続して反射され、前記屈折表面S6を通して、対物プリズム(720)から出射し、前記入射光は、前記第1のビームスプリッタ(780)によって、前記ミラー(790)上に反射され、中間像を形成し、前記ミラーは、前記正面層からの光を前記中継レンズ(770)上に反射させ、前記中継レンズ(770)は、前記空間光変調器(740)上に別の中間像を形成し、前記空間光変調器は、前記シースルーパス内の光を変調し、遮蔽されることになる前記光を除去し、前記空間光変調器は、前記変調された光を前記第2のビームスプリッタ(730)内に反射させ、前記マイクロディスプレイ(750)からの光は、前記第2のビームスプリッタ(730)に入射し、前記第2のビームスプリッタ(730)は、前記シースルーパス(707)内の変調された光と前記仮想ビューパス(705)内の光をマージし、視認するために、前記接眼レンズ(710)に向かって折り返し、前記ビームスプリッタからの光は、前記屈折表面S3を通して、前記接眼レンズ(710)に入射し、次いで、前記反射表面S1’およびS2によって、連続して反射され、前記屈折表面S1を通して、前記接眼レンズ(710)から出射し、前記射出瞳(702)に到達し、前記視認者の眼は、仮想ビューおよび変調されたシースルービューの組み合わせられたビューが見えるように整合される、ディスプレイ。
【0012】
前述の概要および本発明の例示的実施形態の以下の発明を実施するための形態は、添付の図面と併せて読まれることによって、さらに理解され得る。
【図面の簡単な説明】
【0013】
【
図1】
図1は、遮蔽能力を伴わないもの(
図1a)と、遮蔽能力を伴うもの(
図1b)との、光学式シースルーHMDを通してみられる、ARビューを図式的に図示する。
【
図2】
図2は、単眼光学モジュールとして示される、本発明による例示的光学レイアウトを図式的に図示する。
【
図3】
図3は、自由曲面光学技術に基づく、本発明による好ましい実施形態を図式的に図示する。実施形態は、1反射接眼レンズプリズム、1反射対物プリズム、反射式SLM、およびルーフ反射表面から成る。
【
図4】
図4は、自由曲面光学技術に基づく、本発明による別の好ましい実施形態を図式的に図示する。実施形態は、2反射接眼レンズプリズム、4反射対物プリズム、および反射式SLMから成る。
【
図5】
図5は、自由曲面光学技術に基づく、本発明による別の好ましい実施形態を図式的に図示する。実施形態は、2反射接眼レンズプリズム、1反射対物プリズム、伝送式SLM、およびルーフ反射表面から成る。
【
図6】
図6は、自由曲面光学技術に基づく、本発明による別の好ましい実施形態を図式的に図示する。実施形態は、2反射接眼レンズプリズム、3反射対物プリズム、および伝送式SLMから成る。
【
図7】
図7は、自由曲面光学技術に基づく、本発明による別の好ましい実施形態を図式的に図示する。実施形態は、2反射接眼レンズプリズム、2反射対物プリズム、反射式SLM、および中継レンズから成る。
【
図8】
図8は、
図3における例示的レイアウトに基づく、本発明によるOCOST-HMDシステムの例示的設計を図式的に図示する。
【
図9】
図9は、3mm瞳孔径を使用して評価されたカットオフ周波数401ps/mm(線対/ミリメートル)での
図8における設計の仮想ディスプレイパスの多色変調伝達関数(MTF)のフィールドマッププロットを図示する。
【
図10】
図10は、同じ自由曲面構造を有する、接眼レンズおよび対物光学系を伴う
図3における例示的レイアウトに基づく、本発明によるOCOST-HMDシステムの例示的設計を図式的に図示する。
【
図11】
図11は、3mm瞳孔径を使用して評価されたカットオフ周波数401ps/mm(線対/ミリメートル)での
図10における設計の仮想ディスプレイパスの多色変調伝達関数(MTF)のフィールドマッププロットを図示する。
【
図12】
図12は、本発明による、像処理パイプラインの実施例のブロック図を描写する。
【
図13】
図13は、表1:接眼レンズプリズムの表面1の光学表面処方を示す。
【
図14】
図14は、表2:接眼レンズプリズムの表面2の光学表面処方を示す。
【
図15】
図15は、表3:接眼レンズプリズムの表面3の光学表面処方を示す。
【
図16】
図16は、表4:接眼レンズプリズムの位置および配向パラメータを示す。
【
図17】
図17は、表5:対物プリズムの表面4の光学表面処方を示す。
【
図18】
図18は、表6:対物プリズムの表面5の光学表面処方を示す。
【
図19】
図19は、表7:対物プリズムの表面6の光学表面処方を示す。
【
図20】
図20は、表8:対物プリズムの位置および配向パラメータを示す。
【
図21】
図21は、表9:DOEプレート882および884のための表面パラメータを示す。
【
図22】
図22は、表10:自由曲面プリズムの表面1の光学表面処方を示す。
【
図23】
図23は、表11:自由曲面プリズムの表面2の光学表面処方を示す。
【
図24】
図24は、表12:自由曲面プリズムの表面3の光学表面処方を示す。
【
図25】
図25は、表13:接眼レンズとしての自由曲面プリズムの位置および配向パラメータを示す。
【発明を実施するための形態】
【0014】
(発明の詳細な説明)
本発明による実施形態は、添付の図面に関して完全に説明される。説明は、本発明の理解を提供するために記載される。しかしながら、本発明は、これらの詳細を伴わずに実践されることができることが明白であろう。さらに、本発明は、種々の形態で実装されてもよい。しかしながら、以下に説明される本発明の実施形態は、本明細書に記載される実施形態に限定されるように構築されるものではない。むしろ、これらの実施形態、図面、および実施例は、例証であり、本発明を曖昧にすることを回避することを意図する。
【0015】
遮蔽可能光学式シースルー型ヘッドマウントディスプレイ(OCOST-HMD)システムは、典型的には、表示される仮想像を視認するための仮想ビューパスと、実世界における外部景色を視認するためのシースルーパスとから成る。以下、仮想ビューパスを通して観察される仮想像は、仮想ビューと称され、シースルーパスを通して観察される外部景色は、シースルービューと称される。本発明のいくつかの実施形態では、仮想ビューパスは、仮想像コンテンツを供給するためのマイクロディスプレイユニットと、それを通してユーザが拡大された仮想像を視認する、接眼レンズとを含む。シースルーパスは、外部景色からの光を捕捉し、少なくとも1つの中間像を形成するための対物光学系と、シースルーパス内の中間像面またはその近傍に設置され、シースルービューの不透明度を制御および変調させるための空間光変調器(SLM)と、それを通して変調されたシースルービューが、視認者によって見られる、接眼レンズとから成る。シースルーパス内では、対物光学系および接眼レンズはともに、実世界から視認者の眼に光を通過させるための中継光学系として作用する。シースルーパス内の中間像は、シースルー像と称され、SLMによって変調される中間像は、変調されたシースルー像と称される。OCOST-HMDは、仮想ビューがシースルービューの一部分を遮蔽する、仮想およびシースルービューの組み合わせられたビューを生産する。
【0016】
いくつかの実施形態、本発明は、シースルーパスの不透明度が、変調されことができ、仮想ビューが、シースルービューの一部を遮蔽するように、かつその逆も然りであるように、シースルーパス207と仮想ビューパス205を組み合わせることが可能であるコンパクトな光学式シースルー型ヘッドマウントディスプレイ200を備え、ディスプレイは、
a.ユーザによって視認される像を生成するためのマイクロディスプレイ250であって、マイクロディスプレイは、それと関連付けられた仮想ビューパス205を有する、マイクロディスプレイと、
b.実世界内の外部景色からの光を修正し、遮蔽されることになるシースルービューの一部分を遮断するための空間光変調器240であって、空間光変調器は、それと関連付けられたシースルーパス207を有する、空間光変調器と、
c.外部景色からの入射光を受光し、光を空間光変調器240上に集束させるように構成される、対物光学系220と、
d.組み合わせられた像を生産する、マイクロディスプレイからの仮想像250および空間光変調器を通過した外部景色の変調されたシースルー像をマージするように構成される、ビームスプリッタ230と、
e.組み合わせられた像を拡大するように構成される、接眼レンズ210と、
f.接眼レンズに面するように構成される、射出瞳202であって、ユーザは、仮想ビューがシースルービューの一部分を遮蔽する、仮想およびシースルービューの組み合わせられたビューを観察する、射出瞳と、
g.仮想ビューパス205およびシースルーパス207を2つの層に折り返すように構成される、複数の反射表面と
を備える。
【0017】
いくつかの実施形態では、少なくとも3つの反射表面が、仮想およびシースルーパスを2つの層に折り返すために使用される。第1の反射表面(M1)は、ディスプレイの正面層上に位置し、光を外部景色から反射させるように配向される。対物光学系220は、ディスプレイの正面層上に位置する。第2の反射表面(M2)は、ディスプレイの正面層上に位置し、光を空間光変調器内に反射させるように配向される。空間光変調器240は、シースルーパス207の中間像面またはその近傍に位置し、シースルーパス207に沿って、ビームスプリッタ230を通して、対物光学系220および接眼レンズ210と光学連通する。マイクロディスプレイ250は、接眼レンズ210の焦点面に位置し、仮想ビューパス205にそって、ビームスプリッタ230を通して、接眼レンズ210と光学連通する。ビームスプリッタ230は、シースルーパス207が、仮想ビューパス205とマージされ、シースルーパスおよび仮想ビューパスの両方からの光が、接眼レンズ210に指向されるように配向される。接眼レンズ210は、ディスプレイの背面層上に位置する。第3の反射表面(M3)は、ディスプレイの背面層上に位置し、光を接眼レンズから射出瞳202内に反射させるように配向される。
【0018】
いくつかの実施形態では、対物光学系220は、外部景色の光を受光し、外部景色の光を集束させ、シースルー像を空間光変調器240上に形成する。空間光変調器240は、シースルー像を修正し、遮蔽されることになる像の一部分を除去する。マイクロディスプレイ250は、仮想像をビームスプリッタ230に投影する。空間光変調器240は、修正されたシースルー像をビームスプリッタ230に伝送し、ビームスプリッタ230は、組み合わせられた像を生産する2つの像をマージし、仮想像がシースルー像の一部分を遮蔽する。ビームスプリッタ230は、次いで、組み合わせられた像を接眼レンズ210に投影し、接眼レンズは、像を射出瞳202に投影する。
【0019】
いくつかの実施形態では、本発明は、実世界における外部景色と仮想ビューを組み合わせることが可能な光学式シースルー型ヘッドマウントディスプレイ200から成り、外部景色の不透明度は、変調され、デジタル的に生成された仮想ビューが、外部景色の一部を遮蔽し、かつその逆も然りである。本発明は、仮想像を伝送する、マイクロディスプレイ250と、外部景色からの光を修正するための空間光変調器240と、外部景色を捕捉する、対物光学系220と、マイクロディスプレイ250からのデジタル的に生成された仮想像と、空間光変調器からの修正された外部景色をマージするように構成される、ビームスプリッタ230と、仮想像および修正された外部景色を拡大する接眼レンズ210と、ユーザが、仮想像および修正された外部景色の組み合わせられたビューを観察する、射出瞳202とを備える。
【0020】
いくつかの実施形態では、少なくとも3つの反射表面が使用され、仮想ビューパス205およびシースルーパス207を2つの層に折り返す。対物光学系220は、ディスプレイの正面層上に位置する一方、接眼レンズ210は、ディスプレイの背面層上に位置する。一連のミラーが使用され、空間光変調器、ビームスプリッタ、および接眼レンズを通して、光学パスに沿って、光を誘導してもよい。空間光変調器240は、シースルーパス内の中間像面またはその近傍に位置する。マイクロディスプレイ250は、マイクロディスプレイからの光がビームスプリッタ230内に伝送されるように、ビームスプリッタ230に面する。ビームスプリッタ230は、マイクロディスプレイおよび空間光変調器からの光を組み合わせ、ビームスプリッタからの光伝送方向が、接眼レンズ210に面するように配向される。接眼レンズ210は、ビームスプリッタからの光が、接眼レンズを通して通過され、射出瞳内に伝送されるように位置する。
【0021】
いくつかの実施形態では、対物光学系220は、外部景色の像を受信し、像を空間光変調器240に反射または屈折させる。空間光変調器240は、外部景色からの光を修正し、遮蔽されることになる像の一部分を除去し、光をビームスプリッタ内に伝送または反射させる。マイクロディスプレイ250は、仮想像をビームスプリッタ230に伝送し、ビームスプリッタ230は、組み合わせられた像を生産する2つの像をマージし、仮想像205が、外部景色の像の一部分を遮蔽する。ビームスプリッタ230は、組み合わせられた像を接眼レンズ210に投影し、像を射出瞳208に通過させる。したがって、ユーザは、仮想像が、外部景色の一部分を遮蔽するように現れる、組み合わせられた像を観察する。
【0022】
図2は、本発明による、コンパクトなOCOST-HMDシステムを達成するための概略レイアウト200を図示する。本例示的レイアウト200では、仮想ビューパス205(破線で図示される)は、仮想ビューの光伝搬パスを表し、ディスプレイコンテンツを供給するためのマイクロディスプレイ250と、それを通してユーザが表示されるコンテンツの拡大された像を視認する、接眼レンズ210とから成り、シースルーパス207(実線で図示される)は、シースルービューの光伝搬パスを表し、実世界における外部景色からの光を視認者の眼に通過させるための中継光学系として作用する、対物光学系220および接眼レンズ210の両方から成る。コンパクトな形状因子を達成し、視点オフセットを低減させるために、シースルーパス207は、いくつかの反射表面M1~M3を通して、視認者の眼の正面において、2つの層に折り返される。外部景色からの入射光を受け取る正面層215は、主に、対物光学系220と、必要反射表面M1およびM2とを含有する。正面層によって捕捉された光を視認者の眼の中に結合する、背面層217は、主に、接眼レンズ210と、付加的折り返しミラーM3等の他の必要光学構成要素とを含有する。正面層215では、反射表面M1は、外部景色からの入射光を対物光学系220に向かって指向し、対物光学系220を通して通過後、光は、背面層217に向かって、反射表面M2を通して折り返される。シースルーパス207内の対物光学系220は、少なくとも1つのアクセス可能中間像を形成する。空間光変調器(SLM)240は、典型的には、対物光学系の後側焦点面である、アクセス可能中間像の場所またはその近傍に設置され、シースルービューの不透明度制御およびシースルー変調を提供する。本発明では、SLMは、それを通して通過する、またはそれによって反射される、光ビームの強度を変調させることができる、光制御デバイスである。SLMは、反射式SLM、例えば、反射型液晶素子(LCoS)ディスプレイパネルまたはデジタルミラーデバイス(DMD)、または伝送式SLM、例えば、液晶ディスプレイ(LCD)パネルのいずれかであることができる。両タイプのSLMは、シースルーパス207内の遮蔽制御のために、シースルービューを変調するために使用されてもよい。
図2(a)は、反射式SLMを使用する例示的構成を図示する一方、
図2(b)は、伝送式SLMの使用を図示する。対物光学系220の焦点面位置に応じて、SLM240は、
図2(a)における反射式SLMを伴うSLM2の位置、または
図2(b)における伝送式SLMを伴うSLM1の位置に設置されることができる。ビームスプリッタ230は、同一の接眼レンズ210が、表示される仮想コンテンツおよび変調されたシースルービューを視認するために共有されるように、シースルーパス207を折り返し、それと仮想ビューパス205をマージする。反射表面M3は、仮想ビューパス205およびシースルーパス207を射出瞳202に指向させ、視認者の眼は、混合された仮想および実ビューを観察する。反射表面M1~M3は、独立型要素(例えば、ミラー)であり得る、または接眼レンズ210または対物光学系220の一体部分であるように戦略的に設計され得るかのいずれかである。マイクロディスプレイ250およびSLM240は両方とも、対物光学系220の焦点面に位置し、ビームスプリッタ230を通して相互に光学的に共役し、シースルービューに及ぼすピクセルレベルの不透明度制御を可能にする。SLM240、マイクロディスプレイ250、およびビームスプリッタ230を組み立てるユニットは、例示的図に示されるように、背面層内に含まれるが、組み合わせユニットを対物光学系のより近くに設置することが好ましくあるように、接眼レンズの後側焦点距離が、対物光学系のものより大きいとき、正面層に組み込まれてもよい。前述のアプローチは、コンパクトなOCOST-HMD解決策および最小限のビュー軸シフトを達成することを可能にする。
【0023】
その利点の1つとして、光学レイアウト200は、限定ではないが、回転対称光学系および非回転対称自由曲面光学系を含む、多くのタイプのHMD光学系に可用性を有する。光学パスを折り返すための反射表面M1~M3は、屈折力を伴う、平面ミラー、球状、非球面、または自由曲面表面であってもよい。反射表面のうちのいくつかは、自由曲面光学技術を利用してもよい。反射表面のうちのいくつかはまた、接眼レンズ210または対物光学系220の一体部分であるように戦略的に設計されてもよく、反射表面は、コンパクトなディスプレイ設計を達成するための光学パスの折り返しを促進するだけではなく、また、屈折力に寄与し、光学収差を補正する。
図3に示される例示的構成では、本発明は、接眼レンズおよび対物光学系として、1反射自由曲面プリズムの使用を実証し、プリズムは、2つの屈折表面と、光学パスを折り返し、収差を補正するための1つの反射表面とから成る、単一光学要素である。構成の他の実施例では、多反射自由曲面プリズムが、実証される。
【0024】
本発明の別の有意な側面では、SLM240にアクセス可能な中間像に加え、シースルーパス207は、対物光学系220、または接眼レンズ210、または両方によって、付加的中間像260を形成してもよい。例えば、多反射自由曲面プリズム構造(典型的には、3つ以上)は、接眼レンズまたは対物光学系または両方として利用されてもよく、対物および/または接眼レンズプリズムの内側のシースルーパスを複数回折り返し、プリズムの内側に中間像を形成することを可能にする。その結果、シースルーパス207は、合計で奇数または偶数の中間像をもたらし得る。2つ以上の中間像を作成する潜在的利点は、延長光学パス長、長後側焦点距離、および実ビューの正立要素の排除の利益である。
【0025】
作成される中間像の総数およびシースルーパス207内で使用される反射表面の総数に応じて、シースルービュー正立方法は、シースルーパスのシースルービューを反転および/または逆転させ、シースルービューの座標系のパリティを維持し、視認者に反転または逆転されたシースルービューが見えないように防止するために必要とされ得る。シースルービュー正立方法に関して、具体的には、本発明は、2つの異なる像正立戦略を検討する。合計で偶数の反射が、シースルーパス207内に伴われるとき、シースルービューの座標系のパリティに変化を誘発せず、接眼レンズ210および対物光学系220の形態は、偶数の中間像が、シースルーパス207内に作成されるように設計されるであろう。奇数の反射が、シースルーパス207内に奇数の中間像とともに存在するとき、パリティ変化を誘発し、反射表面M1からM3のうちの1つは、シースルービュー正立のためのルーフミラー表面によって、置換されてもよい。ルーフ反射を使用したビュー正立を伴う、好ましい実施形態は、
図3および5に関連して、以下に論じられる。中間像を使用したビュー正立を伴う、好ましい実施形態は、
図4、6、および7に関連して、以下に論じられる。
【0026】
その有意な側面のうちの1つでは、本発明は、接眼レンズ、対物光学系、または両方内に自由曲面光学技術を利用して、コンパクトかつ軽量のOCOST-HMDを達成してもよい。
図3は、自由曲面光学技術に基づく、本発明によるコンパクトなOCOST-HMD設計の例示的アプローチのブロック
図300を示す。背面層317内の接眼レンズ310は、3つの光学自由曲面表面、すなわち、屈折表面S1、反射表面S2、および屈折表面S3を備える、1反射自由曲面プリズムである。仮想ビューパス305では、マイクロディスプレイ350から放出された光線は、屈折表面S3を通して、接眼レンズ310に入射し、次いで、反射表面S2によって反射され、屈折表面S1を通して、接眼レンズ310から出射し、射出瞳302に到達し、視認者の眼は、マイクロディスプレイ350の拡大された仮想像が見えるように整合される。正面層315内の対物光学系320もまた、3つの光学自由曲面表面、すなわち、屈折表面S4、反射表面S5、および屈折表面S6から成る、1反射自由曲面プリズムである。シースルーパス307では、対物光学系320は、接眼レンズ310とともに機能し、シースルービューのための中継光学系として作用する。ミラー325によって反射される外部景色からの入射光は、屈折表面S4を通して、対物光学系320に入射し、次いで、反射表面S5によって反射され、屈折表面S6を通して、対物光学系320から出射し、光変調のために、SLM340上のその焦点面に中間像を形成する。ビームスプリッタ330は、シースルーパス307内の変調された光と仮想ビューパス305内の光をマージし、視認するために、接眼レンズ310に向かって折り返す。ビームスプリッタ330は、ワイヤグリッドタイプビームスプリッタ、偏光立方体ビームスプリッタ、または他の類似タイプビームスプリッタであってもよい。本アプローチでは、SLM340は、反射式SLMであり、概略レイアウト200のSLM2位置に位置し、ビームスプリッタ330を通して、マイクロディスプレイ350に光学的に共役される。
【0027】
本例示的レイアウト300では、概略レイアウト200の反射表面M2は、自由曲面反射表面S5として、対物プリズム320の統合された部分であるように戦略的に設計され、概略レイアウト200の反射表面M3は、自由曲面反射表面S2として、接眼レンズプリズム310の統合された部分であるように戦略的に設計され、概略レイアウト200の反射表面M1は、シースルーパス307内の反射の総数が5(奇数)であることを前提として、ビュー正立のために、ルーフタイプミラー325として設計される。
【0028】
本例示的レイアウト300では、接眼レンズ310および対物光学系320は、同じ自由曲面プリズム構造を有してもよい。接眼レンズおよび対物光学系のために同じ構造を使用する利点は、1つのプリズムの光学設計戦略が、他に容易に適用されることができ、光学設計を簡略化するのに役立つことである。接眼レンズおよび対物光学系の対称構造もまた、コマ収差、歪曲、および側方色等の奇数次収差を補正するのに役立つ。
【0029】
図4は、自由曲面光学技術に基づく、本発明によるコンパクトなOCOST-HMD設計の別の例示的アプローチのブロック
図400を示す。一例示的実装では、接眼レンズ410は、2反射プリズムであり、対物光学系420は、4反射プリズムである。対物光学系420の内側に、中間像460が、形成され、シースルービューを正立させ、正立ルーフ反射表面を使用する必要を排除する。正立プリズムを排除する潜在的利点は、本システム構造が、対物プリズムの内側の光学パスを複数回折り返すことによって、よりコンパクトな設計につながり得ることである。背面層417内の接眼レンズ410は、4つの光学自由曲面表面、すなわち、屈折表面S1、反射表面S2、反射表面S1’、および屈折表面S3から成る。仮想ビューパス405では、マイクロディスプレイ450から放出される光線は、屈折表面S3を通して、接眼レンズ410に入射し、次いで、反射表面S1’およびS2によって、連続して反射され、屈折表面S1を通して、接眼レンズ410から出射し、射出瞳402に到達し、視認者の眼は、マイクロディスプレイ450の拡大された仮想像が見えるように整合される。屈折表面S1および反射表面S1’は、同一の物理的表面であり、同一の一式の表面処方を保有してもよい。正面層415内の対物光学系420は、6つの光学自由曲面表面、すなわち、屈折表面S4、反射表面S5、S4’、S5’、およびS6、ならびに屈折表面S7から成る。シースルーパス407では、対物光学系420は、接眼レンズ410とともに機能し、シースルービューのための中継光学系として作用する。実世界における外部景色からの入射光は、屈折表面S4を通して、対物光学系420に入射し、次いで、反射表面S5、S4’、S5’、およびS6によって、連続して反射され、屈折表面S7を通して、対物光学系420から出射し、光変調のために、SLM440上のその焦点面に中間像を形成する。屈折表面S4および反射表面S4’は、同一の物理的表面であり、同一の一式の表面処方を保有してもよい。反射表面S5および反射表面S5’は、同一の物理的表面であり、同一の一式の表面処方を保有してもよい。ビームスプリッタ430は、シースルーパス407内の変調された光と仮想ビューパス405内の光をマージし、視認するために、接眼レンズ410に向かって折り返す。ビームスプリッタ430は、ワイヤグリッドタイプビームスプリッタ、偏光立方体ビームスプリッタ、または他の類似タイプビームスプリッタであってもよい。本アプローチでは、SLM440は、反射式SLMであり、概略レイアウト200のSLM2位置に位置し、ビームスプリッタ430を通して、マイクロディスプレイ450に共役される。
【0030】
本例示的レイアウト400では、概略レイアウト200の反射表面M2は、反射表面S6として、対物光学系420の統合された部分として戦略的に設計され、概略レイアウト200の反射表面M3は、反射表面S2として、接眼レンズ410の統合された部分として戦略的に設計され、概略レイアウト200の反射表面M1は、反射表面S5として、対物光学系420の統合された部分として設計される。中間像460は、実ビュー正立のために、対物光学系410の内側に形成される。シースルーパス407内の反射の総数が、8(偶数)であることを前提として、ルーフミラーは、任意の反射表面上に要求されない。
【0031】
図5は、自由曲面光学技術に基づく、本発明によるコンパクトなOCOST-HMD設計の別の例示的アプローチのブロック
図500を示す。本アプローチは、伝送式SLMの使用を促進する。接眼レンズ510は、2反射プリズムであり、対物光学系520は、1反射プリズムである。ルーフミラー527は、対物プリズム520の上部に設置され、シースルービューを反転させ、シースルーパス507を背面層517に向かって折り返す。背面層517内の接眼レンズ510は、4つの光学自由曲面表面、すなわち、屈折表面S1、反射表面S2、反射表面S1’、および屈折表面S3から成る。仮想ビューパス505では、マイクロディスプレイ550から放出される光線は、屈折表面S3を通して、接眼レンズ510に入射し次いで、反射表面S1’およびS2によって、連続して反射され、屈折表面S1を通して、接眼レンズ510から出射し、射出瞳502に到達し、視認者の眼は、マイクロディスプレイ550の拡大された仮想像が見えるように整合される。屈折表面S1および反射表面S1’は、同一の物理的表面であり、同一の一式の表面処方を保有してもよい。正面層515内の対物光学系520は、3つの光学自由曲面表面、すなわち、屈折表面S4、反射表面S5、および屈折表面S6から成る。シースルーパス507では、対物光学系520は、接眼レンズ510とともに機能し、シースルービューのための中継光学系として作用する。実世界における外部景色からの入射光は、屈折表面S4を通して、対物光学系520に入射し、次いで、反射表面S5によって反射され、屈折表面S6を通して、対物光学系520から出射し、ミラー527によって、背面層517に向かって折り返され、光変調のために、SLM540上のその焦点面に中間像を形成する。ビームスプリッタ530は、シースルーパス507内の変調された光と仮想ビューパス505内の光をマージし、視認するために、マージされた光を接眼レンズ510に向かって折り返す。ビームスプリッタ530は、ワイヤグリッドタイプビームスプリッタ、偏光立方体ビームスプリッタ、または他の類似タイプビームスプリッタであってもよい。本アプローチでは、SLM540は、伝送式SLMであり、概略レイアウト200のSLM1位置に位置し、ビームスプリッタ530を通して、マイクロディスプレイ550に共役される。
【0032】
本例示的レイアウト500では、概略レイアウト200の反射表面M1は、反射表面S5として、対物光学系520の統合された部分として戦略的に設計され、概略レイアウト200の反射表面M3は、反射表面S2として、接眼レンズ510の統合された部分として戦略的に設計され、概略レイアウト200の反射表面M2は、シースルーパス507内の反射の総数が、5(奇数)であることを前提として、ビュー正立のためのルーフタイプミラー527として設計される。
【0033】
図6は、自由曲面光学技術に基づく、本発明によるコンパクトなOCOST-HMD設計の別の例示的アプローチのブロック
図600を示す。本アプローチもまた、伝送式SLMの使用を促進する。一例示的実装では、接眼レンズ610は、2反射自由曲面プリズムであり、対物光学系620は、3反射自由曲面プリズムである。対物光学系620の内側に、中間像660が、形成され、シースルービューを正立させる。背面層617内の接眼レンズ610は、4つの光学自由曲面表面、すなわち、屈折表面S1、反射表面S2、反射表面S1’、および屈折表面S3から成る。仮想ビューパス605では、マイクロディスプレイ650から放出される光線は、屈折表面S3を通して、接眼レンズ610に入射し、次いで、反射表面S1’およびS2によって、連続して反射され、屈折表面S1を通して、接眼レンズ610から出射し、射出瞳602に到達し、視認者の眼は、マイクロディスプレイ650の拡大された仮想像が見えるように整合される。屈折表面S1および反射表面S1‘は、同一の物理的表面であり、同一の一式の表面処方を保有してもよい。正面層615内の対物光学系620は、5つの光学自由曲面表面、すなわち、屈折表面S4、反射表面S5、S4’、およびS6、ならびに屈折表面S7から成る。シースルーパス607では、対物光学系620は、接眼レンズ610とともに機能し、シースルービューのための中継光学系として作用する。実世界における外部景色からの入射光は、屈折表面S4を通して、対物光学系620に入射し、反射表面S5、S4’、およびS6によって、連続して反射され、屈折表面S7を通して、対物光学系620から出射し、光変調のために、SLM640上のその焦点面に中間像を形成する。屈折表面S4および反射表面S4’は、同一の物理的表面であり、同一の一式の表面処方を保有してもよい。ビームスプリッタ630は、シースルーパス607内の変調された光と仮想ビューパス605内の光をマージし、視認するために、接眼レンズ610に向かって折り返す。ビームスプリッタ630は、ワイヤグリッドタイプビームスプリッタ、偏光立方体ビームスプリッタ、または他の類似タイプビームスプリッタであってもよい。本アプローチでは、SLM640は、伝送式SLMであり、概略レイアウト200のSLM1位置に位置し、ビームスプリッタ630を通して、マイクロディスプレイ650に共役される。
【0034】
本例示的レイアウト600では、概略レイアウト200の反射表面M1は、反射表面S5として、対物光学系620の統合された部分として戦略的に設計され、概略レイアウト200の反射表面M2は、反射表面S6として、対物光学系620の統合された部分として戦略的に設計され、概略レイアウト200の反射表面M3は、反射表面S2として、接眼レンズ610の統合された部分として戦略的に設計される。中間像660は、実ビュー正立のために、対物光学系610の内側に形成される。シースルーパス607内の反射の総数が、6(偶数)であることを前提として、ルーフミラーは、任意の反射表面上に要求されない。
【0035】
図7は、自由曲面光学技術に基づく、本発明によるコンパクトなOCOST-HMD設計の別の例示的アプローチのブロック
図700を示す。一例示的実装では、接眼レンズおよび対物光学系は両方とも、2反射自由曲面プリズムであり、ほぼ同じ構造を有する。接眼レンズおよび対物レンズが同じ構造を有する利点は、1つのプリズムの光学設計戦略が、他に容易に適用されることができ、光学設計を簡略するのに役立つことである。接眼レンズおよび対物プリズムの対称構造はまた、コマ収差、歪曲、および側方色等の奇数次収差を補正するのに役立ち得る。背面層717内の接眼レンズ710は、4つの光学自由曲面表面、すなわち、屈折表面S1、反射表面S2、反射表面S1’、および屈折表面S3から成る。仮想ビューパス705では、マイクロディスプレイ750から放出される光線は、屈折表面S3を通して、接眼レンズ710に入射し、次いで、反射表面S1’およびS2によって、連続して反射され、屈折表面S1を通して、接眼レンズ710から出射し、射出瞳702に到達し、視認者の眼は、マイクロディスプレイ750の拡大された仮想像が見えるように整合される。屈折表面S1および反射表面S1’は、同一の物理的表面であり、同一の一式の表面処方を保有してもよい。正面層715内の対物光学系720は、4つの光学自由曲面表面、すなわち、屈折表面S4、反射表面S5、S4’、および屈折表面S6から成る。シースルーパス707では、対物光学系720は、接眼レンズ710とともに機能し、シースルービューのための中継光学系として作用する。実世界における外部景色からの入射光は、屈折表面S4を通して、対物光学系720に入射し、反射表面S5、S4’によって、連続して反射され、屈折表面S6を通して、対物光学系720から出射し、その焦点面において中間像760を形成する。ビームスプリッタ780は、背面層715から対物光学系720の焦点面に位置付けられるミラー790に向かって、シースルーパス707を折り返す。シースルーパス707は、ミラー790によって、背面層715に向かって反射される。中継レンズ770は、ビュー変調のために、概略レイアウト200のSLM2位置において、中間像760の像を作成するために使用される。ビームスプリッタ730は、シースルーパス707内の変調された光と仮想ビューパス705内の光をマージし、視認するために、接眼レンズ710に向かって折り返す。本アプローチでは、SLM740は、反射式SLMであり、ビームスプリッタ730を通して、マイクロディスプレイ750に共役される。中間像760が、SLM740に共役されるという事実のため、SLM740およびミラー790の位置は、交換可能である。
【0036】
本例示的レイアウト700では、概略レイアウト200の反射表面M1は、反射表面S5として、対物光学系720の統合された部分として戦略的に設計され、概略レイアウト200の反射表面M3は、反射表面S2として、接眼レンズ710の統合された部分として戦略的に設計され、概略レイアウト200の反射表面M2は、ミラー790として、対物光学系710の焦点面に位置付けられ、シースルーパス707を仮想ビューパス705に向かって折り返し、中間像760は、実ビュー正立のために、対物光学系720の焦点面に形成される。シースルーパス707内の反射の総数が、8(偶数)であることを前提として、ルーフミラーは、任意の反射表面上に要求されない。
【0037】
図8は、
図3に描写される例示的アプローチに基づく、例示的設計800を図式的に図示する。設計は、水平方向(X-軸方向)に31.7度および垂直方向(Y-軸方向)に25.6度である、対角線FOV40度、射出瞳径(EPD)8mm(非ビネット)、および眼との隙間18mmを達成した。設計は、5:4縦横比および1280×1024ピクセル分解能を伴う、0.8インチマイクロディスプレイに基づく。マイクロディスプレイは、有効面積15.36mmおよび12.29mmならびにピクセルサイズ12umを有する。設計は、マイクロディスプレイと同一のサイズおよび分解能のSLMを使用した。偏光立方体ビームスプリッタは、仮想ビューパスおよびシースルーパスを組み合わせるために使用される。DOEプレート882および884は、色収差を補正するために使用される。システムは、43mm(X)×23mm(Y)×44.5mm(Z)として測定される。入射瞳886と射出瞳802との間の視点シフトは、それぞれ、Y方向に0.6mmおよびZ方向に67mmである。
【0038】
接眼レンズ810の例示的光学処方は、表1-4に一覧化される。接眼レンズ810内の3つの光学表面は全て、アナモフィック非球面表面(AAS)である。AAS表面の球欠高さは、以下によって定義される。
【化1】
式中、zは、局所x、y、z座標系のz-軸に沿って測定された自由曲面表面の球欠高さであり、c
xおよびCyは、それぞれ、xおよびy軸における、頂点曲率であり、K
xおよび
yは、それぞれ、xおよびy軸における、円錐定数であり、AR、BR、CR、およびDRは、円錐からの4次、6次、8次、および10次変形の回転対称部分であり、AP、BP、CP、およびDPは、円錐からの4次、6次、8次、および10次変形の非回転対称成分である。
表1:接眼レンズプリズムの表面1の光学表面処方(
図13参照)
表2:接眼レンズプリズムの表面2の光学表面処方(
図14参照)
表3:接眼レンズプリズムの表面3の光学表面処方(
図15参照)
表4:接眼レンズプリズムの位置および配向パラメータ(
図16参照)
【0039】
対物光学系820の例示的光学処方は、表5-8に一覧化される。対物光学系820内の3つの光学表面は全て、アナモフィック非球面表面(AAS)である。
表5:対物レンズプリズムの表面4の光学表面処方(
図17参照)
表6:対物レンズプリズムの表面5の光学表面処方(
図18参照)
表7:対物レンズプリズムの表面6の光学表面処方(
図19参照)
表8:対物レンズプリズムの位置および配向パラメータ(
図20参照)
【0040】
DOEプレート882および884の例示的光学処方は、表9に一覧化される。
表9:DOEプレート882および884のための表面パラメータ(
図21参照)
【0041】
図9は、3mm瞳孔径を使用して評価されたカットオフ周波数401ps/mm(線対/ミリメートル)での仮想ディスプレイパスの多色変調伝達関数(MTF)のフィールドマップを示す。401ps/mmカットオフ周波数は、マイクロディスプレイのピクセルサイズから判定された。プロットは、我々の設計が、カットオフ周波数におけるそのMTF値が、15%をわずかに下回る、2つの上ディスプレイ角を除き、大部分のフィールドに対して、非常に良好な性能を有することを示す。FOV全体にわたって、仮想ディスプレイパスの歪曲は、2.9%未満である一方、シースルーパスの歪曲は、0.5%未満である。光学系単独の総推定重量は、眼あたり33グラムである。
【0042】
図10は、
図3に描写される例示的アプローチに基づく、例示的設計1000を図式的に図示する。設計は、水平(X-方向)に35.2度および垂直(Y-方向)に20.2度を伴う、対角線FOV40度、射出瞳径(EPD)8mm(非ビネット)、および眼との隙間18mmを達成した。設計は、16:9縦横比および1280×720ピクセル分解能を伴う、0.7インチマイクロディスプレイに基づく。設計は、マイクロディスプレイと同一のサイズおよび分解能のSLMを使用した。ワイヤグリッドプレートビームスプリッタは、仮想ビューパスおよびシースルーパスを組み合わせるために使用される。同一の自由曲面プリズムは、接眼レンズおよび対物光学系として使用される。
【0043】
自由曲面プリズムの例示的光学処方は、表10-15に一覧化される。プリズム内の2つの表面は、アナモフィック非球面表面(AAS)であり、1つは、非球面表面(ASP)である。ASP表面の球欠高さは、以下によって定義される。
【化2】
式中、zは、局所x、y、z座標系のz-軸に沿って測定される表面の球欠高さであり、cは、頂点曲率であり、kは、円錐定数であり、AからJは、それぞれ、4次、6次、8次、10次、12次、14次、16次、18次、および20次変形係数である。
【0044】
表10:自由曲面プリズムの表面1の光学表面処方(
図22参照)。
表11:自由曲面プリズムの表面2の光学表面処方(
図23参照)。
表12:自由曲面プリズムの表面3の光学表面処方(
図24参照)。
表13:接眼レンズとしての自由曲面プリズムの位置および配向パラメータ(
図25参照)。
【0045】
図11は、3mm瞳孔径を使用して評価されたカットオフ周波数401ps/mm(線対/ミリメートル)での仮想ディスプレイパスの多色変調伝達関数(MTF)のフィールドマップを示す。プロットは、我々の設計が、大部分のフィールドに対して非常に良好な性能を有することを示す。
【0046】
図12は、本発明のために必要な像処理パイプラインの実施例のブロック図を描写する。最初に、外部景色の奥行マップが、適切な奥行感知手段を使用して抽出される。次いで、仮想物体が、奥行マップと比較され、遮蔽が生じる領域を判定する。マスク生成アルゴリズムが、所定の遮蔽領域に従って、バイナリマスク像を作成する。マスク像は、次いで、空間光変調器上に表示され、外部景色の中間像内の遮蔽される領域からの光を遮断する。仮想物体の仮想像は、マイクロディスプレイ上にレンダリングおよび表示される。視認者は、本発明のディスプレイデバイスを通して、仮想像および外部景色の変調されたシースルー像の組み合わせられた像を観察する。
【0047】
先行技術と比較して、本発明は、本発明がヘッドマウントディスプレイとしてより容易に装着可能である、コンパクトな形態に圧縮されることを可能にする、折り返された像パスを特徴とする。先行技術(米国特許第7,639,208B1号)では、光学パスは、回転対称レンズを使用して、線形に配列される。その結果、先行技術の遮蔽式ディスプレイは、頭部上に装着するために扱いにくい、長い望遠鏡状形状を有する。本発明は、反射表面を使用して、それに対して空間光変調器、マイクロディスプレイ、およびビームスプリッタが、眼の正面に線形にではなく、頭部の上部に搭載される、2つの層に像パスを折り返す。
【0048】
先行技術は、反射式空間光変調器のみに依拠する一方、本発明は、反射または伝送式空間光変調器のいずれかを使用してもよい。さらに、先行技術は、外部像を変調させるための偏光ビームスプリッタを要求する一方、本発明は、偏光を必要としない。
【0049】
本発明は、層に配列されるため、接眼レンズおよび対物光学系は、先行技術の場合のように、必ずしも、共線形ではない。対物光学系はまた、必ずしも、テレセントリックではない。
【0050】
先行技術では、システムの光学系のため、世界のビューは、シースルービューのミラー反射である。本発明では、折り返された像パスが、ルーフミラーが、ユーザのビューと外部景色との間のパリティを維持するように挿入されることを可能にする。これは、ユーザの視点から本発明をより機能的にする。
【0051】
先行技術と比較して、本発明は、自由曲面光学技術を利用して、システムがさらによりコンパクトに作製されることを可能にする。自由曲面光学表面は、ミラーが光パスを折り返す必要がなくなり得るように、複数回、光を内部反射させるように設計されることができる。
【0052】
本発明では、光学パスを折り返すための反射表面は、屈折力を伴う、平面ミラー、球状、非球面、または自由曲面表面であってもよい。本発明の有意な側面は、反射表面のうちのいくつかが、自由曲面光学技術を利用し、光学性能およびコンパクト性を向上させるのに役立つことにある。本発明では、反射表面のうちのいくつかは、接眼レンズまたは対物光学系の一体部分であるように戦略的に設計され、反射表面は、コンパクトなディスプレイ設計を達成するための光学パスの折り返しを促進するだけではなく、また、屈折力に寄与し、光学収差を補正する。例えば、
図2では、反射表面M1~M3は、接眼レンズおよび対物光学系と別個の一般的ミラーとして示された。
図3では、ミラーのうちの2つ(M2およびM3)は、S2およびS5として、自由曲面接眼レンズおよび対物プリズム内に組み込まれる自由曲面表面である。
図4では、4反射自由曲面表面が、自由曲面対物プリズム内に組み込まれ、2反射自由曲面表面が、自由曲面接眼レンズプリズム内に組み込まれた。
図5では、1自由曲面表面が、対物プリズム内にあり、2自由曲面表面が、ルーフプリズムに加え、接眼レンズ内にあった。
図6では、3自由曲面表面が、対物内にあり、2自由曲面表面が、接眼レンズ内にある。
図7では、2反射自由曲面ミラーが、対物レンズ内にあり、2自由曲面ミラーが、ミラー790およびビームスプリッタ780に加え、接眼レンズ内にある。
【0053】
我々の発明は、システムを通してみられるシースルービューが、正しく正立されることを確実にする(反転または逆転のいずれも行われず)。2つの異なる光学方法が、シースルーパス内に形成された中間像の数およびシースルーパス内に伴われる反射の数に応じて、これを達成するために、我々の実施形態では利用された。奇数の中間像の場合、光学方法が、シースルーパス内のシースルービューを反転および/または逆転させるために提供される。例えば、シースルーパス内に伴われる反射の数に応じて、可能性として考えられる方法の実施例として、限定されないが、付加的反射または複数の反射の挿入、ルーフミラー表面の利用、または正立レンズの挿入が挙げられる。偶数の中間像の場合、像正立要素は、パリティ変化が必要とされない場合、必要とされない。例えば、多反射自由曲面プリズム構造(典型的には、3つ以上)は、接眼レンズまたは対物光学系または両方として利用されてもよく、対物および/または接眼レンズプリズムの内側のシースルー光学パスを複数回折り返し、プリズムの内側に中間像を形成し、シースルービューを正立させることを可能にし、正立ルーフ反射表面の使用の必要性を排除する。
【0054】
図3では、1つの中間像のみが、シースルーパス内で作成される。本構造は、325のためにルーフプリズムを利用し、正立されたシースルービューを適切に作成した。
【0055】
図4では、4反射自由曲面プリズムが、対物光学系として利用され、2つの中間像(SLMのための1つ440と、プリズムの内側の1つ460)を作成した。加えて、合計8つの反射がシースルーパス内に伴われたが、これは、パリティ変化につながらない。したがって、正立されたビューが、作成される。対物および接眼レンズの構造が、同一の結果の場合、交換されてもよいことは、特筆に値する。
【0056】
図5では、1つの中間像は、SLMのために、シースルーパス内に作成される。本設計は、ルーフプリズム527を利用し、シースルービューを正立させた。
【0057】
図6では、3反射自由曲面プリズムが、対物光学系として利用され、2つの中間像(SLMのために1つ640と、プリズムの内側に1つ660)を作成した。加えて、合計6つの反射がシースルーパス内に伴われたが、パリティ変化にはつながらない。したがって、正立されたビューが、作成される。対物および接眼レンズの構造が、同一の結果の場合、交換されてもよいことは、特筆に値する。
【0058】
図7では、対物光学系720は、2の反射のみ利用し、ビームスプリッタ780およびミラー790の組み合わせは、シースルーパス内に2つの中間像(SLMのための1つ740と、付加的1つ760)の作成を促進した。加えて、合計8つの反射が、シースルーパス内に伴われた。したがって、正立されたシースルービューが、作成された。
【0059】
シースルー型ヘッドマウントディスプレイが、ユーザに、HMDを伴わないその通常のビューとして、現実的経験を提供する、外部景色のパリティを維持することは、非常に重要である。
【0060】
本発明の好ましい実施形態が図示および説明されたが、添付の請求項の範囲を超えず、修正が行われてもよいことは、当業者に容易に明白となるであろう。請求項に列挙される参照番号は、例示であり、特許庁による検討を容易にするためだけのものであり、いかようにも限定するものではない。いくつかの実施形態では、本特許出願に提示される図は、角度、寸法の比率等を含め、正確な縮尺で描かれる。いくつかの実施形態では、図は、代表にすぎず、請求項は、図の寸法によって限定されない。
【0061】
以下の請求項において列挙される参照番号は、本特許出願の検討を容易にするためだけのものであり、例示であり、請求項の範囲を図面内の対応する参照番号を有する特定の特徴に限定することをいかようにも意図しない。