ホーム > 特許ランキング > クリアル・ソシエテ・アノニム
特許7320057観察者に対する正しい単眼奥行き手がかりを持つライトフィールド複合現実システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-25
(45)【発行日】2023-08-02
(54)【発明の名称】観察者に対する正しい単眼奥行き手がかりを持つライトフィールド複合現実システム
(51)【国際特許分類】
G02B 30/10 20200101AFI20230726BHJP
G02B 27/02 20060101ALI20230726BHJP
H04N 13/344 20180101ALI20230726BHJP
H04N 13/346 20180101ALI20230726BHJP
【ＦＩ】
G02B30/10
G02B27/02 Z
H04N13/344
H04N13/346
【請求項の数】
18
(21)【出願番号】P 2021519564
(86)(22)【出願日】2019-12-20
(65)【公表番号】
(43)【公表日】2022-05-23
(86)【国際出願番号】 IB2019061156
(87)【国際公開番号】W WO2020157562
(87)【国際公開日】2020-08-06
【審査請求日】2022-01-20
(31)【優先権主張番号】19154832.0
(32)【優先日】2019-01-31
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】519171480
【氏名又は名称】クリアル・ソシエテ・アノニム
(74)【代理人】
【識別番号】100069556
【弁理士】
【氏名又は名称】江崎 光史
(74)【代理人】
【識別番号】100111486
【弁理士】
【氏名又は名称】鍛冶澤 實
(74)【代理人】
【識別番号】100191835
【弁理士】
【氏名又は名称】中村 真介
(74)【代理人】
【識別番号】100208258
【弁理士】
【氏名又は名称】鈴木 友子
(74)【代理人】
【識別番号】100221981
【弁理士】
【氏名又は名称】石田 大成
(72)【発明者】
【氏名】スルカ・トマシュ
(72)【発明者】
【氏名】キルシェ・ルシオ
【審査官】近藤 幸浩
(56)【参考文献】
【文献】米国特許出願公開第２０１６／００７７３３６（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１７／０２０８３１４（ＵＳ，Ａ１）
【文献】中国特許出願公開第１０８８０３２９５（ＣＮ，Ａ）
【文献】国際公開第２０１８／０９１９８４（ＷＯ，Ａ１）
【文献】特表２００８－５１１８７４（ＪＰ，Ａ）
【文献】特表平０８－５０６４２９（ＪＰ，Ａ）
【文献】特開２０１２－０１３９０８（ＪＰ，Ａ）
【文献】国際公開第２０１２／１３２２８９（ＷＯ，Ａ１）
【文献】特表２０１６－５１７０３６（ＪＰ，Ａ）
【文献】特開２００１－０２１８５３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０２Ｂ ３０／１０
Ｇ０２Ｂ ２７／０２
Ｇ０２Ｂ ２７／０１
Ｈ０４Ｎ １３／３４４
Ｈ０４Ｎ １３／３４６
(57)【特許請求の範囲】
【請求項1】
光学光変調器を照らす入射ライトフィールドを生成する、ピンライトアレイと、入射ライトフィールドを変調して変調仮想ライトフィールドを生成するように構成されている光学光変調器と、
変調仮想ライトフィールドを反射するように構成されていて、観察者の眼のアイボックス領域を投影軸線に沿って画定する、投影仮想ライトフィールドを投影するように構成されているコンバイナーと
を備える、観察者に着用されるライトフィールド複合現実システムにおいて、
投影仮想ライトフィールドが、投影軸線に沿って、
前記ピンライトアレイの出射瞳をアイボックスと光学光変調器の仮想画像との内側に形成し、
前記光学光変調器の仮想画像を、前記出射瞳の前に、すなわちコンバイナーと出射瞳の間に、出射瞳から１５ｃｍより短い距離で、又は出射瞳の後ろに、すなわちコンバイナーに対向する方向において出射瞳から離れて、さらに形成して、そして
投影仮想ライトフィールドと自然光との両方が、コンバイナーを経由してアイボックス内に投影されるように、現実世界からの自然光をアイボックスに透過するように、前記コンバイナーがさらに構成されていて、
前記コンバイナーは、投影仮想ライトフィールドが複数の焦点の１つにて反射されるくぼんだ楕円体形状を持つ第１反射面を備える半透明な第１要素を備え、
前記ライトフィールド複合現実システムが、前記ピンライトアレイをコリメートそして再結像し、かつ仮想画像を出射瞳の前に形成するように構成されているレンズを備えているか、又は
前記ライトフィールド複合現実システムが、前記ピンライトアレイをコリメートそして再結像するレンズと、仮想画像を出射瞳の後ろに形成するように構成されているＳＬＭ再結像レンズとを備えている、
ライトフィールド複合現実システム。
【請求項2】
前記光学光変調器が空間光変調器であって、前記空間光変調器と組み合わせで、出射瞳の後ろの仮想画像の位置を決定する、コリメータと、ビームスプリッターと、再結像レンズとを備える、請求項１に記載のシステム。
【請求項3】
前記投影仮想ライトフィールドを前記第１要素の第１反射面に向かって反射する実質的に平らな半透明の反射面を持つ半透明な第２要素を前記コンバイナーがさらに備える、請求項１に記載のシステム。
【請求項4】
前記第１要素と前記第２要素とは、自然光を観察者の眼に向かって透過する、請求項３に記載のシステム。
【請求項5】
前記コンバイナーは、前記第１反射面上で反射がある間は、所定の回折角度の仮想ライトフィールドが遮断されるように構成されているホログラフィ要素を備える、請求項１に記載のシステム。
【請求項6】
前記コンバイナーは、前記第１反射面上で反射がある間は、所定の回折角度の仮想ライトフィールドが遮断されるように構成されているフレネル型要素を備える、請求項１に記載のシステム。
【請求項7】
前記コンバイナーは、自然光の全て又は大半の他の可視波長を透過しながら、仮想ライトフィールドの狭いスペクトラル帯を反射するように構成されている、請求項１に記載のシステム。
【請求項8】
前記ピンライトアレイと前記コンバイナーとは、前記投影軸線に垂直な軸線の一側に配置されていて、前記光学光変調器は、前記軸線の前記一側に対向する側に配置されている、請求項１に記載のシステム。
【請求項9】
前記光学光変調器は、前記コンバイナーの前記第１反射面上に備えられている、請求項１に記載のシステム。
【請求項10】
前記光学光変調器は、入射ライトフィールドが光学光変調器によって前記アイボックス領域（１２１）に向かって反射される透過状態と、入射ライトフィールドが反射されない遮断状態とに各セルを設定可能である、セルの行列を備える、請求項９に記載のシステム。
【請求項11】
前記ピンライトアレイは、入射ライトフィールドピンライトを発する複数の作動点光源と、複数の非作動点光源とを備え、前記ピンライトアレイにおける作動点光源及び非作動点光源の空間配置は、出射瞳の位置又はサイズを変えるように、時間で可変である、請求項１に記載のシステム。
【請求項12】
仮想補正点のような現実シーンからの仮想補正ライトフィールド上で、前記光学光変調器上に表示されている画像成分のデジタル変調によって実施される光学変調の効果を投影仮想ライトフィールドがシミュレートするように、画像成分は前記光学光変調器上に表示される、請求項１に記載のシステム。
【請求項13】
投影仮想ライトフィールドは、アイボックスと現実世界の領域との間に配置された補正レンズの効果をシミュレートできるようにする、請求項１２に記載のシステム。
【請求項14】
投影仮想ライトフィールドが観察者の眼の向きに応じて前記アイボックス内に投影されるように、観察者の眼の向きについての情報を提供する視線追跡装置をさらに備える、請求項１に記載のシステム。
【請求項15】
観察者の眼の向きに応じて、仮想画像の平面内にて、投影仮想ライトフィールドの少なくとも１部分を空間的にずらすため、前記投影仮想ライトフィールドと相互作用するようにさらに構成されているＦＯＶ光学装置を備える、請求項１４に記載のシステム。
【請求項16】
前記ＦＯＶ光学装置は、観察者の眼の向きに応じて、投影軸線に沿った投影仮想ライトフィールドの仮想画像の少なくとも１部分をずらすようにさらに構成されている、請求項１５に記載のシステム。
【請求項17】
光学光変調器を照らす入射ライトフィールドを生成するピンライトアレイと、入射ライトフィールドを変調して変調仮想ライトフィールドを生成するように構成されている光学光変調器と、
変調仮想ライトフィールドを反射するように構成されていて、観察者の眼のアイボックス領域を投影軸線に沿って画定する、投影仮想ライトフィールドを投影するように構成されているコンバイナーと
を備える、ライトフィールド複合現実システムにおいて、
投影仮想ライトフィールドが、投影軸線に沿って、
前記ピンライトアレイの出射瞳をアイボックスと光学光変調器の仮想画像との内側に形成し、
前記光学光変調器の仮想画像を、前記出射瞳の前に、すなわちコンバイナーと出射瞳の間に、出射瞳から１５ｃｍより短い距離で、又は出射瞳の後ろに、すなわちコンバイナーに対向する方向において出射瞳から離れて、さらに形成して、そして
投影仮想ライトフィールドと自然光との両方が、コンバイナーを経由してアイボックス内に投影されるように、現実世界からの自然光をアイボックスに透過するように、前記コンバイナーがさらに構成されていて、
前記コンバイナーは、投影仮想ライトフィールドが複数の焦点の１つにて反射されるくぼんだ楕円体形状を持つ第１反射面を備える半透明な第１要素を備え、
前記ライトフィールド複合現実システムが、前記ピンライトアレイをコリメートそして再結像し、かつ仮想画像を出射瞳の前に形成するように構成されているレンズを備えているか、又は
前記ライトフィールド複合現実システムが、前記ピンライトアレイをコリメートそして再結像するレンズと、仮想画像を出射瞳の後ろに形成するように構成されているＳＬＭ再結像レンズとを備えている
ライトフィールド複合現実システムを備える、着用可能な装置。
【請求項18】
前記コンバイナーが少なくとも１つのレンズに備えられていて、前記ピンライトアレイと前記光学光変調器とが、テンプルのヒンジ又は別の部分に備えられている、複合現実メガネを備える、請求項１７に記載の着用可能な装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、人工的に作成されたライトフィールドと現実世界のライトフィールドを混合する光コンバイナーに関する。本開示は、さらに、ニアアイライトフィールド複合現実システムに関するものである。
【背景技術】
【0002】
複合現実（混合現実）ハードウェアは、現実世界の画像と人工的に生成された画像を人間の目に届けることを前提としていて、これらはいわゆるコンバイナーによって結合される必要がある。このようなコンバイナーは、現実世界からの光に対して透明な光学素子で構成されている。すなわち、外光を観察者の目の瞳孔に通過させる一方で、画像作成要素から人工的に作成された仮想画像のライトフィールドを観察者の瞳孔に導く。このような画像作成要素は、表示装置又はプロジェクタであり得る。現実のライトフィールドと人工的ライトフィールドは、観察者が実像と仮想像を視覚的な問題なく見られるように理想的に組み合わせる必要がある。そのためには、人工的に作られた画像内の異なる仮想物体を、異なる任意の焦点距離で表示する必要がある。この機能は、現在はまだきちんと解決されていない。
【0003】
目は可変レンズを含んでいて、実際の世界では、目の網膜上にはっきりとした画像を投影するために、観察される物体の距離に焦点を合わせる必要がある。他の距離にある物体は焦点が合わず、網膜上のそのイメージはぼやけてしまう。しかし、従来の３Ｄ（三次元）表示装置やプロジェクタでは、平面的なスクリーンから両眼に画像を投影するか、走査型レーザービームや射出瞳孔の開口数がほぼゼロのライトフィールドを用いて網膜に直接投影していた。前者の場合、光学系で平面スクリーンの光学像の距離に目の焦点を合わせる必要がある。
【0004】
ここでそして以下、「光学像」という用語は、光学系を通して見た物体の見かけの位置を意味するものである。平面スクリーン上に表示された写真は、全てがはっきりとしてるか、又はボケがすでに存在していて、目の調節ではボケを解消できない。目が表示装置の光学像の距離以外に焦点を合わせると、表示された写真の網膜像がぼやけてしまう。網膜投影では、網膜上に投影された絵の常に焦点の合った画像が作られ、眼球の調節は画像のサイズと位置にのみ影響を与える。常時焦点が合っているライトフィールドには、光路上のチリやホコリ、まつ毛、目の浮きなど、あらゆる欠陥の影が映る。
【0005】
人工的に投影された３Ｄシーンのライトフィールドに正しい単眼奥行きキュー（手がかり）を作るためのいくつかの概念が提案されていた。それらには、
（ｉ）ホログラフィック表示装置、
（ｉｉ）可変レンズやベンディングミラーのような高速バリフォーカル光学素子と、デジタルマイクロミラーデバイス（ＤＭＤ）のような高速ディスプレイを組み合わせたニアアイプロジェクタ、
（ｉｉｉ）表示装置の光学像の距離を能動的に制御し、目の焦点距離の測定値又は推定値に応じて表示画像に対応するボケを作り出す光学系を備えた表示装置、
（ｉｖ）マイクロレンズアレイ又はポイントライトアレイのバックライトによって表示画像を空間的に多重化する表示装置、あるいは
（ｖ）２つ又は３つの焦点距離の画像を提供する、光路長拡張器のコンバイナー又は多層導波路
が含まれる。
（ｉ）ホログラフィック表示装置、
（ｉｉ）可変レンズやベンディングミラーのような高速バリフォーカル光学素子と、デジタルマイクロミラーデバイス（ＤＭＤ）のような高速ディスプレイを組み合わせたニアアイプロジェクタ、
（ｉｉｉ）表示装置の光学像の距離を能動的に制御し、目の焦点距離の測定値又は推定値に応じて表示画像に対応するボケを作り出す光学系を備えた表示装置、
（ｉｖ）マイクロレンズアレイ又はポイントライトアレイのバックライトによって表示画像を空間的に多重化する表示装置、あるいは
（ｖ）２つ又は３つの焦点距離の画像を提供する、光路長拡張器のコンバイナー又は多層導波路
が含まれる。
【0006】
これらの概念はそれぞれ、なんらかの長所と短所を持っている。（ｉ）ホログラフィック表示装置は、理論的には、人工的な３Ｄシーンの完全な正しいライトフィールドを提供する性能を持つが、回折や色のアーチファクトに悩まされ、また、大量の入力データ、コヒーレントな光源、光の高解像度の位相及び振幅変調を必要とする。（ｉｉ）高速可変焦点レンズとミラーは繊細な部品であり、その光学特性には光学的不完全性がある。（ｉｉｉ）スクリーンの光学像の距離を能動的に制御し、表示される画像に人工的なボケを加える表示装置には、目の焦点距離の測定又は推定と、その結果としてのプロジェクタの光学系及びデジタルのボケの適合が必要である。この概念は、個人の目の違いによる複雑な測定誤差があり、実際には正しいライトフィールドを提供するものではなく、ライトフィールドの効果を模倣しているに過ぎない。例えば、急速に動く眼に対しては正しい微小視差効果を与えられない。（ｉｖ）マイクロレンズアレイや透明な空間光変調器を用いた点光源バックライトによる画像の空間多重化の概念で商業的に魅力的な画像解像度を達成するには、特別な小ピッチの高解像度表示装置が必要となる。これは、目の焦点距離に応じて網膜画像にボケを正しくするために、人工的なシーンの各画像点が同じ瞬間に複数回表示されるためである。マイクロレンズアレイの概念は非透過型表示を含むものであり、点光源アレイは大型であるため、拡張現実（ＡＲ）用途でのシースルー表示装置としての利用は複雑である。（ｖ）光路拡張器や多層膜導波路は、２つや３つの少ない焦点面で画像を作成するため、表示画像を焦点面間で意図的に切り替える必要があり、目に見えるアーチファクトが発生する。
【0007】
ネマティック液晶や有機発光ダイオードを用いた画像の時間的多重化に基づく他の複数の概念は、これらの表示装置の短いリフレッシュタイムに悩まされる。
【0008】
最も使用されているタイプの複合現実コンバイナーは、固定された焦点面に画像を提供するホログラフィック回折格子を備えた導波路（導波路を積み重ねたものが、複数の焦点面の提供に使用可能である）、ビームスプリッターを備えたドーム形状の半透明ミラー、又は楕円体コンバイナーに基づいている。楕円体コンバイナーは、これまでライトフィールドには使用されていない。これらのコンバイナーの共通の特徴は、平坦な表示装置の画像をある一定の距離に配置することである。
【0009】
特許文献１（ＷＯ２０１８０９１９８４Ａ１）は、人工ライトフィールドと実世界の光を混合する可能なコンバイナーのいくつかの実施形態とともに、逐次的なライトフィールド投影の基本的機構を開示している。
【先行技術文献】
【特許文献】
【0010】
【文献】国際公開第２０１８／０９１９８４号
【発明の概要】
【0011】
本開示は、デジタル処理された情報をユーザの眼に投影し、現実世界の光と混合する電子装置及び光学装置に関するものである。より具体的には、仮想シーンのピンライトアレイを作成し、対応する仮想ライトフィールドを眼の至近距離から眼に投影し、投影仮想ライトフィールドが現実世界から眼に入る自然光と重畳するライトフィールド複合現実システムに関するものである。ここでいう近接とは、投影された対応する仮想ライトフィールドと眼の間の距離が１５ｃｍ未満であることとみてよい。
【0012】
投影された仮想ライトフィールドは、受像眼が、現実世界と同様に、投影された視覚シーン内の異なる距離の物体に自然に焦点を変え、その現実的なボケと被写界奥行きを観察できるような特性を有する。ライトフィールド複合現実システムによって生成された投影された仮想ライトフィールドは、正しい単眼的な奥行きの手がかりを持つ画像を観察者に提供する。
【0013】
ライトフィールド複合現実システムは、常に合焦している複数のライトフィールド成分を時間的に多重化し、観察者の瞳孔に順次投影することで、投影された仮想ライトフィールドを生成する。観察者は、自然な視覚の遅延により、構成されたライトフィールドを知覚し、正しい眼球の調節やそれに伴う画像のボケのような現実的な単眼的な奥行きの手がかりを体験する。これにより、仮想的な物体と現実の物体を視覚的に混合可能である。
【0014】
特に、本開示は、観察者が着用するライトフィールド複合現実システムであって、光学光変調器を照らす入射ライトフィールドを生成するピンライトアレイと、入射ライトフィールドを変調して変調された仮想ライトフィールドを生成するように構成された光変調器と、変調された仮想ライトフィールドを反射して、投影軸線に沿ってアイボックス領域を定義する投影仮想ライトフィールドを投影するように構成されたコンバイナーと、を備えるシステムに関するものである。
【0015】
投影された仮想ライトフィールドは、投影軸線に沿って、
ピンライトアレイの出射瞳をアイボックスと光学光変調器の仮想画像との内側に形成し、
光学光変調器の仮想画像を、出射瞳の前に、すなわちコンバイナーと出射瞳の間に、出射瞳から１５ｃｍより短い距離で、又は出射瞳の後ろに、すなわちコンバイナーに対向する方向において出射瞳から離れて、さらに形成する。
ピンライトアレイの出射瞳をアイボックスと光学光変調器の仮想画像との内側に形成し、
光学光変調器の仮想画像を、出射瞳の前に、すなわちコンバイナーと出射瞳の間に、出射瞳から１５ｃｍより短い距離で、又は出射瞳の後ろに、すなわちコンバイナーに対向する方向において出射瞳から離れて、さらに形成する。
【0016】
コンバイナーはさらに、現実世界からアイボックスに向けて自然光を透過するように構成されていて、投影された仮想ライトフィールドと自然光の両方が、コンバイナーを介してアイボックス内に投影される。
【0017】
コンバイナーは、人工的に生成された３Ｄシーンにおいて、現実的な有限の被写界奥行きの観察者の知覚と正しい視覚的調節を作り出す、現実的な単眼奥行き手がかりを有する仮想ライトフィールドを、現実世界の光と組み合わせる。このライトフィールドの複合現実システムは、実質的に無限でほぼ連続した奥行きの範囲、高い画像解像度、低い画像持続性を提供し、信頼性の高い現在大量生産されている部品で実現可能であり、複合現実の適用（アプリケーション）用の小型フォームファクターの眼鏡に組み込めるものである。
【0018】
ライトフィールド型複合現実システムは、あらゆる人間、動物、カメラの眼に複合現実の体験を提供可能である。
【0019】
ライトフィールドの複合現実システムのユーザは、現実と仮想の３Ｄシーンのリアルな混合を体験可能である。ライトフィールド複合現実システムは、３Ｄの仮想現実及び拡張現実の情報を、正しい眼調節の快適さで伝えるのに適している。
【0020】
本開示はさらに、ライトフィールド複合現実システムを構成する着用可能な装置にも関し、この着用可能な装置は、小さなフォームファクタを有し、自然に観察される現実世界に文脈上のデジタル情報を重ね合わせる日常的な着用可能なアイウェアとして使用可能である。
【図面の簡単な説明】
【0021】
【発明を実施するための形態】
【0022】
図１は、一実施形態による、複合現実の適用（アプリケーション）のために観察者が着用するライトフィールド複合現実システムを示す。ライトフィールド複合現実システムは、空間光変調器（ＳＬＭ）２０を照らす入射ライトフィールド１００を生成するピンライトアレイ１０を備える。入射ライトフィールド１００は、典型的には、複数の入射ピンホール開口ライトフィールド（図１では、３つの入射ピンホール開口ライトフィールド１０１、１０１’、１０１’’が表されている）で構成される。空間光変調器２０は、入射ライトフィールド１００を変調して、変調仮想ライトフィールド１１１を生成するように構成されている。
【0023】
ピンライトアレイ１０は、電磁スペクトルの可視範囲の光を放つが、電磁スペクトルの可視範囲外の光、例えば、電磁スペクトルの近赤外（ＮＩＲ）又は紫外（ＵＶ）範囲の光を放出可能でもある。ピンライトアレイ１０は、干渉性光又は非干渉性光を発光可能である。ピンライトアレイ１０に使用できる代表的な光源には、ＬＥＤ、ＶＣＳＥＬ又はＬＤが含まれる。ピンライトアレイ１０は、単一の発光部又は行列構成として予め定義された空間構成でグループ化された複数の発光部があり得る。ピンライトアレイ１０は、定義された発散又は開口数（ＮＡ）を有する光を放出できる。
【0024】
ライトフィールド型複合現実システムは、オプションのフーリエフィルタ３０をさらに備えてもよい。偏光フィルタは、偏光プリズムに替えて、ソリッドステートフィルタによっても同様に提供可能である。
【0025】
フーリエフィルタ３０は、ＳＬＭ２０上で反射及び回折される、変調仮想ライトフィールド１１１から０次よりも高い回折成分を除去し、変調及びフィルタリングされた仮想ライトフィールド１１２を生成するように構成可能である。
【0026】
ライトフィールド複合現実システムは、変調及びフィルタリングされた仮想ライトフィールド１１２を反射して、投影軸線１７０に沿ってアイボックス領域１２１を規定する投影仮想ライトフィールド１１０を投影するように構成されたコンバイナー４０をさらに備える。投影仮想ライトフィールド１１０は、アイボックス１２１内に、出射瞳１２２に対応するピンライトの仮想画像開口を形成する。出射瞳１２２は、入射ピンホール開口ライトフィールド１０１に対応する複数のピンライト仮想像１２０（図２では３つのピンライト仮想像１２０、１２０’、１２０’’が表されている）で構成されている。出射瞳１２２は、ピンライト仮想像１２０の配列の位置によって規定される。出射瞳１２２は、投影仮想ライトフィールド１１０が少なくとも部分的に眼の瞳孔に入る程度の広さであることが望ましい。瞳孔がコンバイナー４０に対して相対的に動いている場合であっても、投影仮想ライトフィールド１１０の少なくとも一部を瞳孔に投影するために、出射瞳１２２は瞳孔よりも大きくできる。
【0027】
投影仮想ライトフィールド１１０は、投影軸線１７０に沿ってＳＬＭ２０の仮想画像１１４をさらに形成する。
【0028】
アイボックス１２１内の出射瞳１２２は、所与のピンライト仮想画像１２０又はピンライトアレイ１０内の所与のピンライト仮想画像１２０を選択することによって、横方向に、すなわち投影軸線１７０に垂直な方向に変位可能である。
【0029】
ＳＬＭ２０は、デジタルマイクロミラーデバイス（ＤＭＤ）、シリコン上の強誘電性液晶（ＦＬＣＯＳ）、又は他の適切な光の強度と位相の空間変調器を使用して構成可能である。
【0030】
図１の実施形態では、ライトフィールド型複合現実システムは、仮想画像１１４が、投影軸線１７０に沿って、コンバイナー４０に対向する方向に出射瞳１２２から離れて形成されるように構成されている。
【0031】
図１では、観察者の眼９０がさらに表されている。ライトフィールド型複合現実システムが観察者に装着されると、出射瞳１２２は観察者の眼９０の中に形成され、仮想画像１１４は観察者の眼９０の収容範囲外に形成される。例えば、図１では、仮想画像１１４は、観察者の眼９０の後方遠くに形成されている。
【0032】
コンバイナー４０は、投影仮想ライトフィールド１１０と自然光８０の両方が、コンバイナー４０を介して、アイボックス１２１内に投影されるように、現実世界８０からアイボックス１２１に向けて自然光を透過させるようにさらに構成されている。
【0033】
ライトフィールド型複合現実システムが観察者に装着されると、コンバイナー４０は、現実世界８０からの自然光を観察者の眼９０に向けて透過させる。コンバイナー４０は、このようにして、投影仮想ライトフィールド１１０と現実世界からの光８０の両方が網膜９２上に投影されるように、投影仮想ライトフィールド１１０と自然光８０の両方を、観察者の眼９０に向かって、例えば観察者の眼９０の瞳孔１３０に向かって投影できる。
【0034】
一実施形態では、コンバイナー４０は、凹状かつ楕円形の形状を持つ第１の反射面４３を備える半透明の第１の要素４１を備えてもよい。そのような構成では、変調及びフィルタリングされた仮想ライトフィールド１１２が第１の焦点で入射し、投影仮想ライトフィールド１１０が第２の焦点で反射される。第２焦点では、投影仮想ライトフィールド１１０が観察者の眼９０に向かって反射できる。
【0035】
コンバイナー４０は、２Ｄ平面で描かれているが、具体的な実現では、３次元全てにおいての折り畳みを使用してもよい。コンバイナー４０は、一般的な自由形状の表面を備えられる。
【0036】
図１の実施形態では、ライトフィールド型複合現実システムは、コリメータ５０、例えば、コリメートレンズ又は部分的コリメートレンズ、ビームスプリッター６０、及び再結像レンズ７０を備えてもよい。ビームスプリッター６０は、ＳＬＭ２０がＤＭＤを使用する場合には全内部反射プリズム（ＴＩＲ）を備えてもよく、ＳＬＭ２０がＦＬＣＯＳを使用する場合には偏光プリズムを備えてもよい。再結像レンズ７０は、投影軸線１７０に沿って、コンバイナー４０に対向する方向に出射瞳１２２から離れた位置に、換言すると、コンバイナー４０に対向する方向に出射瞳１２０から離れた位置に、仮想画像１１４）を形成するように構成されている。ライトフィールド型複合現実システムが観察者に装着されると、仮想画像１１４は、観察者の眼球９０の収容範囲から外れた位置に配置される。
【0037】
図１では、観察者の眼９０の位置のみが描かれていることに留意されたい。眼のレンズ９１上の投影仮想ライトフィールド１１０の歪みは図示されていない。光学系、すなわちコンバイナー４０の位置と焦点距離、場合によってはコリメータ５０の位置と焦点距離、再結像レンズ７０、さらにはＳＬＭ２０の位置が、ＳＬＭ２０の像を置くことで、仮想像１１４の位置が決定される。例えば、仮想画像１１４は、観察者の眼９０の後方遠く（図１の描図に対応）に存在することがあるし、又は、観察者の眼９０の前方約１５ｃｍ未満（図２ｂ参照）のように、眼９０の近くに存在することがある。仮想画像１１４は、観察者のいる範囲から外れていなければならず、そうでなければ、画像が他の距離にある画像と異なって見える明確な平面を作り出すことになる。
【0038】
光学系はピンライトアレイ１０の出射瞳１２２を、観察者の眼から瞳孔１３０の近く、理想的には観察者の眼９０の内側に、置く。
【0039】
コンバイナー４０は、赤、緑、青の色の波長のような変調及びフィルタリングされた仮想ライトフィールド１１２の狭いスペクトル帯を反射する一方で、現実世界８０からの他の可視波長の全て又は大部分を透過するように調整可能である。
【0040】
図２ａは、別の実施形態によるライトフィールド複合現実システムを示していて、ニアアイライトフィールドプロジェクタは、ビームスプリッター６０を持たない。ビームスプリッター６０に替えて、レンズ５２が、コリメータとピンライトアレイ再結像素子の同時機能を結合するように構成されている。ニアアイライトフィールドプロジェクタは、任意選択のフーリエフィルタ３０と、ＳＬＭ再結像レンズ３２とをさらに備えている。ＳＬＭ再結像レンズ３２は、コンバイナー４０の前（ＳＬＭ２０とコンバイナー４０の間）に、ＳＬＭ２０の第１仮想像１１４’を形成するように構成されている。楕円体状のコンバイナー４０の第１焦点は、仮想画像１１４の中心に位置する。この構成では、ＳＬＭ再結像レンズ３２は、出射瞳１２２を観察者の眼９０の内部に配置する。仮想像は、投影軸線１７０に沿って、コンバイナー４０に対向する方向に出射瞳１２２から離れて形成される。仮想像は、図２ａには表されていないが、（図１のような）投影仮想ライトフィールド１１０の投影で見られるはずである。
【0041】
ライトフィールド型複合現実システムが観察者に装着されると、仮想画像は、観察者の眼９０の収容範囲外の後方遠くに形成される。
【0042】
図２ｂは、図２ａの実施形態の変形例によるライトフィールド複合現実システムを描いていて、ニアアイライトフィールドプロジェクタは、ＳＬＭ再結像レンズ３２を備えていない。ライトフィールド複合現実システムは、コリメータとピンライトアレイの再結像素子の機能を組み合わせたレンズ５２を備えていて、観察者の眼９０の収容範囲外に仮想画像１１４を形成するように構成されている。この構成では、仮想像１１４は、投影軸線１７０に沿って、コンバイナー４０と出射瞳１２２の間に形成される。例えば、仮想像１１４は、投影軸線１７０に沿って、出射瞳１２２から１５ｃｍ未満の距離、好ましくは１０ｃｍ未満の距離で形成可能である。
【0043】
ライトフィールド型複合現実システムが観察者に装着されると、仮想画像１１４は、観察者の眼９０の近くかつ前方に、例えば観察者の眼の５ｃｍ未満に、観察者の眼９０の収容範囲外に位置する。
【0044】
図２ｃは、ライトフィールド複合現実システムの別の実施形態を示していて、コンバイナー４０は、実質的に平坦な半透明の反射面４５を有する半透明の第２要素４２をさらに備えている。ＳＬＭ再結像レンズ３２から来る変調及びフィルタリングされた仮想ライトフィールド１１２は、第２要素４２の反射面４５上で、凹状かつ楕円形の第１要素４１の第１反射面４３に向かって反射される。コンバイナー４０のこの構成により、現実世界８０からの光を透過させ、反射した投影仮想ライトフィールド１１０を、出射瞳１２２を形成するような変調フィルタリングされた仮想ライトフィールド１１２から反射可能である。この構成では、第２要素４２の近くに第１仮想像１１４’が形成される。この仮想像は、投影軸線１７０に沿って、コンバイナー４０に対向する方向に出射瞳１２２から離れて形成される（仮想像は、図２ｃには表されていないが、投影仮想ライトフィールド１１０の投影の中で見られるはずである）。ライトフィールド型複合現実システムが観察者に装着されると、投影仮想ライトフィールド１１０は、観察者の眼９０の瞳孔１３０に反射され、投影仮想ライトフィールド１１０と現実世界８０からの光の両方が観察者の眼の網膜９２に投影されるようになる。
【0045】
図３は、ライトフィールド複合現実システムのさらに別の実施形態を示していて、コンバイナー４０はミラー４４のアレイを備える。ミラー４４のアレイは、投影仮想ライトフィールド１１０のピンライトの出射瞳１２２と一致する。ミラー４４は、観察者の眼９０の瞳孔１３０が動ける領域を包含するアイボックス１２１内に、投影仮想ライトフィールド１１０を投影できるように傾斜している。この構成では、仮想画像１１４は、投影軸線１７０に沿って、コンバイナー４０に対向する方向に出射瞳１２２から離れて形成される。ライトフィールド型複合現実システムが観察者に装着されると、観察者の眼９０の近くに第１の仮想画像１１４’が形成され、仮想画像１１４は、観察者の眼９０内、網膜上に形成される。
【0046】
この構成では、ライトフィールド複合現実システムは、部分的なコリメータとして、また、（フーリエ変換レンズのような）ピンライト再結像素子として機能するように構成されたレンズ５２を備えてもよい。ライトフィールド複合現実システムは、ＳＬＭ２０がＦＬＣＯＳを使用する場合には、偏光フィルタをさらに備えてもよい。
【0047】
【0048】
図４ｂでは、コンバイナー４０のミラー４４のアレイは、格子４４ａに配置されたサブミラーのアレイによって、又は単一の大きなミラー４４ｂとして、表されている。いずれの場合も、ミラー４４、４４ａ、４４ｂのアレイは、透明な板に刻印されている。より一般的には、ミラーのアレイは、他の任意の適切な手段によって作成された透明板内の反射面を備えることがある。
【0049】
ライトフィールドプロジェクタは、許容可能な出射瞳１２２を実現するフーリエフィルタ３０を必ずしも必要としない。これは、ＳＬＭ２０の仮想画像１１４が観察者の眼９０の収容範囲外に配置されている場合である。例えば、ＳＬＭ２０の仮想像１１４が観察者の眼の後ろにある場合や、観察者の眼９０の前に近い（例えば１５ｃｍ未満の）場合である。このような構成では、ＳＬＭ２０によって変調された光の０次よりも高い回折成分は、主要ではない役割をしている。
【0050】
高次の回折成分の強度は、ＳＬＭ２０上の変調画像の「ランダム化」によって低減できる。ＳＬＭ２０上に現れる各バイナリサブフレームの画像は、画像内の明確な周波数の出現を低減し、したがって、出射瞳１２２の位置におけるそのフーリエ変換画像内の回折衛星の強度を低減するように、具体的に変換できる。回折フィルタは、以下でさらに説明するように、コンバイナー４０自体にも実装できる。
【0051】
図５は、ライトフィールド複合現実システムが、ピンライトアレイ１０と、ＳＬＭ２０と、くぼんていて楕円体形状又は自由形状のコンバイナー４０とを備える別の実施形態を示す。図１の構成と比較して、ライトフィールド複合現実システムは、コリメータ５０と、ビームスプリッター６０と、再結像レンズ７０とを備えていない。また、ライトフィールド複合現実システムは、変調仮想ライトフィールド１１１がコンバイナー４０上で反射されるようなフーリエフィルタ３０も備えていない。
【0052】
光路からの「黒」すなわち「オフ」の画素の排除は、ＳＬＭ２０へ及びＳＬＭ２０からの、入射変調仮想ライトフィールド１１１と、反射投影仮想ライトフィールド１１０とをフィルタリングする偏光フィルタによって実現できる。
【0053】
反射光路におけるＳＬＭ２０によって変調された光のフィルタリングは、コンバイナー４０によって、又は、ＳＬＭ２０がＦＬＣＯＳを使用する場合には、ＳＬＭ２０の表面に配置された単一の偏光フィルタ（図示せず）によって実施可能である。ＳＬＭ２０がＤＭＤを用いている場合、反射光路においてＳＬＭ２０で変調された光のフィルタリングは、コンバイナー４０の選択的角度反射性により、ＤＭＤでのオフ画素に対応する比較的高角度の光線を光路から排除することで実施可能である。
【0054】
コンバイナー４０の選択角度反射率は、コンバイナー４０の表面で特定の波長を有する入射ライトフィールド１００の限られた範囲の入射角度を反射するように調整されたブラッググレーティングによって得られる。ブラッググレーティングは、屈折率の異なる材料の多層蒸着や、ホログラム記録媒体の露光によって形成できる。また、ブラッググレーティングは、コンバイナー４０の第１反射面４３上、コンバイナー４０の内部、又はコンバイナー４０の反対側の表面に形成できる。
【0055】
図６は、図５の実施形態の変形例態様を示し、ライトフィールド複合現実システムは、ピンライトアレイ１０と、ＳＬＭ２０とを備え、コンバイナー４０は、ホログラフィックパターンを備えるホログラフィック反射器４６を備えている。ホログラフィック反射器４６は、コンバイナー４０の第１の反射面での反射時に、変調仮想ライトフィールド１１１の回折角が拒絶されるように構成可能である。例えば、ここでは、ホログラフィック反射器４６は、回折フィルタとして機能する。
【0056】
ライトフィールド生成は前の実施形態と同じであるが、コンバイナー４０は、反射器４６のホログラフィックパターンによる反射を提供する。ホログラフィックパターン４６は、ＳＬＭ２０がＤＭＤを使用する場合に、高次の回折角の反射及び「オフ状態」の角度の反射を拒絶するフィルタリングを実行可能である。
【0057】
図７は、図５の実施形態の別の変形態様を示し、コンバイナー４０はフレネル型素子４８を備える。フレネル型素子４８は、コンバイナー４０の第１反射面４３での反射の際に、変調仮想ライトフィールド１１１の回折角が拒絶されるように構成可能である。
【0058】
フレネル反射器４８は、概ね、楕円体の１つの焦点から別の焦点へと、変調仮想ライトフィールド１１１を反射する楕円体の半透明又は選択的に透明な表面を持つおろしのような（ｇｒａｔｅｄ）面にできる。おろしのような面４８は、可視光の大部分を透過し、ピンライトアレイ１０及び投影仮想ライトフィールド１１０の波長を反射する２つの透明材料（図７に示すような）の間の境界面として埋め込み可能である。
【0059】
代替的に又は組み合わせて、投影仮想ライトフィールド１１０の０次よりも高い回折成分が眼の瞳孔１３０に入らないように、ＳＬＭ２０の十分に小さいピッチを使用することで、ライトフィールド１１０の回折角を低減できる。
【0060】
図８は、図３のライトフィールド型複合現実システムの構成の別の変形態様を示し、傾斜したマイクロミラー４４の位置にピンライト１０のピンライト仮想像１２０を形成する光学素子として機能する自由形状の反射器５４を備えている。
【0061】
図９は、図５のライトフィールド複合現実システムの構成のさらに別の変形例を示す図であり、コンバイナー４０は、ホログラフィック又はフレネル型の選択的反射器４６を備える。このライトフィールド複合現実システムは、投影仮想ライトフィールド１００をＳＬＭ２０に導き、それからコンバイナー４０のフレネル型の選択反射器４６に導く光学素子として機能する自由形状の反射器５４をさらに備えている。反射器５４とコンバイナー４０のフレネル型の選択反射器４６は、鑑賞者の瞳孔１３０の近くにピンライトの仮想画像１２０を形成する。
【0062】
図３から図９の実施形態では、ピンライトアレイ１０及びコンバイナー４０は、投影軸線１７０に垂直な軸線１７１の一方の側に配置されている。空間光変調器２０は、軸線１７１の対向する側に配置されている。この構成は、軽量小型のフォームファクターの着用可能な光フィールド複合現実システムに適している。
【0063】
図１０及び図１１は、複合現実アプリケーション用の小型のフォームファクターの眼鏡に特に適したライトフィールド複合現実システムの別の実施形態を示す。この構成では、ピンライトアレイ１０は、コンバイナー４０を直接照らす。そして、ピンライトアレイ１０は、ユースケースに応じて観察者の眼９０の前又は後ろに配置可能な出射瞳１２２内でコンバイナー４０によって画像化される。ピンライトアレイ１０は、好ましくはコンバイナー４０と出射瞳１２２との間に配置される。
【0064】
本実施形態では、コンバイナー４０は、第１反射面４３を有するガラス基板４７と、第１反射面４３上に配置された光学光変調器２０とを備えている。光変調器２０は、その特定のピンライトアレイ１０の位置から表示されなければならない画像に応じて、投影仮想ライトフィールド１１０の伝搬の局所的変更を可能にする。好ましくは、ピンライトアレイ１０は、光変調器２０を完全に照射する。
【0065】
光学光変調器２０は、所望のセルに電気信号を与えることによって、透過状態（図１０の数字２ａで表される）又は遮断状態（図１０の数字２ｂで表される）に個別に設定可能なマイクロメートルサイズのセルの行列を備えることがある。各セルの透過状態又は遮断状態は、通常、数マイクロ秒以内に変化する。
【0066】
光学光変調器２０は、ゲルマニウムアンチモンテルル合金（Ｇｅ２Ｓｅ２Ｔｅ５）のように、結晶からアモルファス、及びその逆に、その相状態が電気的に可変な光学的相変化材料（Ｏ－ＰＣＭ）で作られていることがある。また、光学光変調器２０は、その位相状態が液体から結晶、及びその逆に電気的に可変な液晶材料で作られていることもある。
【0067】
セルの透過状態では、ピンライトアレイ１０から来る入射ライトフィールド１００は、光学光変調器２０を通過可能で、そしてガラス基板４７によってアイボックス領域１２１に向かって反射可能であり、ライトフィールド複合現実システムが観察者に装着されている場合には、観察者の眼９０に向かって反射可能である。セルの遮断状態では、ピンライトアレイ１０から来る入射ライトフィールド１００は、光変調器２０を通過不能で、ガラス基板４７によってアイボックス領域１２１に向かって反射不能である。
【0068】
ガラス基板４７の光学特性は、第１反射面４３上又はコンバイナー４０自体に微細構造パターンを用いることで達成できる。ガラス基板４７の光学特性は、さらに、ピンライトアレイ１０から来る入射ライトフィールド１００を、アイボックス領域１２１（観察者の眼９０の前）に位置するピンライト仮想像１２０に方向転換するために記録された体積ホログラムを使用することによって達成できる。
【0069】
図１１には、ピンライトアレイ１０の３つの入射ライトフィールドピンライト１００、１００’及び１００’’と、対応するピンライト仮想画像１２０、１２０’及び１２０’’が示されている。
【0070】
ピンライトアレイ１０で発生した複数の入射ライトフィールド１００について、ガラス基板４７と光変調器２０とを備えるコンバイナー４０での上述の反射（又は無反射）を合計することで、複数のピンライト仮想像１２１からなる出射瞳１２２が形成される。ライトフィールド型複合現実システムが観察者に装着された場合、出射瞳１２２は、観察者の眼球内、網膜上に位置する。
【0071】
一実施形態では、ライトフィールド型複合現実システムは、着用可能な装置に備えられるものとなり得る。図１２は、ライトフィールド型複合現実システムを構成する複合現実眼鏡２５の可能な構成を示す。例えば、コンバイナー４０は、レンズ２４の一方に備えられてもよく、それぞれのレンズに備えられてもよい。ピンライトアレイ１０及びＳＬＭ２０は、テンプルのヒンジ部分又は別の部分に備えられてもよい。図示の例では、電池とサポート電子機器を備える追加ユニット８１が、アイウェアコード２３に設けられている。本発明のライトフィールド型複合現実システムは、度付きメガネや補正メガネなどの任意のメガネが備えるものにしてよい。
【0072】
ピンライトアレイ１０は、それぞれが入射ライトフィールドピンライト１００を放つように構成された複数のピンライトを備えることがある。作動サブセットは、それぞれが入射ライトフィールドピンライト１００を放出する複数の作動する点光源を備えることがある。非作動サブセットは、作動せず、入射ライトフィールドピンライト１００を出さない他の点光源からなる。ピンライトアレイ１０の点光源が作動サブセットにあることと、非作動サブセットにあることは、時間的に可変である。
【0073】
ピンライトアレイ１０において入射ライトフィールド１００を発する作動点光源のサブセットを空間的かつ一時的に変更することによって、ピンライトアレイ１０からの作動している入射ライトフィールド１００のピンライト仮想像１２０が現れる出射瞳１２２の位置の移動、あるいはサイズの変更が可能である。任意の種類の視線追跡と組み合わせて、投影された情報の最大値が観察者の瞳孔９１に入るように、出射瞳１２２を常に投影できる。
【0074】
図１３は、図１のものと同様のライトフィールド複合現実システムを示し、画像成分５３は、投影仮想ライトフィールド１１０が、仮想シーンにおいて異なる光学的距離に配置された複数の物体によって生成されたかのように生成されるように、（ＳＬＭのような）光学光変調器２０に表示される。例えば、投影仮想ライトフィールド１１０は、投影軸線１７０に沿って、出射瞳１２０からコンバイナー４０に対向する方向（光学的に観察者の眼の後方）に離れて配置された仮想物体点５４によって生成されたかのように生成される。仮想物体点５４は、出射瞳１２０から異なる距離に配置されることがある。光学的変換は、（投影光線１１１の方向を決定する）作動しているピンライトに同期して順次表示される光学光変調器２０の対応する位置に、仮想物体点５４の（複数の）画像成分５３を表示することによって行われる。
【0075】
投影仮想ライトフィールド１１０は、したがって、光学光変調器２０に表示された画像成分５３のデジタル変換によって、仮想補正点５８のような現実的なシーンから仮想補正ライトフィールド５７に実行される任意の光学的変換の効果をシミュレート可能である。このように投影仮想ライトフィールド１１０により、アイボックス１２１と仮想補正点５８を有する現実世界８０（ｒｅａｌ ｗｏｒｄ）の領域との間に配置された補正（及び処方の）レンズ５６の効果をシミュレートできる。数字５５は、コンバイナー４０を介して投影された、入射した仮想補正ライトフィールド５７の補正された光線に対応する。
【0076】
図１４ａは、実施形態によるライトフィールド型複合現実システムの図示である。コリメートレンズ又は部分コリメートレンズ５０と、ビームスプリッター６０と、再結像レンズとのような複数の光学素子は、「光学」の箱（の絵）及び数字１４０で表現されている。光学１４０及び光変調器２０は、入射ライトフィールド１００を変調仮想ライトフィールド１１１及び／又は変調されてフィルタリングされた仮想ライトフィールド１１２に誘導し、光学的に変換する。ライトフィールド型複合現実システムは、光学光変調器２０上に画像を作成する信号を、生成し、フォーマットし、エクスポートする表示制御電子機器１４１を備える。照明制御電子機器１４２は、ピンライトアレイ１０の特定の点光源に特定の時間に依存した方法で電力を供給する信号を生成、フォーマット、及びエクスポートする。表示制御電子機器１４１と点光源制御電子機器１４２の間で送信される同期信号１４３は、どの画像成分が光変調器２０上で照明されるかと、ピンライトアレイ１０のどの特定の点光源によって照明されるかとを制御する。画像信号１４４は、光変調器２０上に画像成分のシーケンスを作成する条件付きの電子信号を持つ。照明信号１４５は、点光源アレイ１０の点光源からの発光のシーケンスを引き起こす条件付きの電子信号を持つ。
【0077】
ライトフィールド型複合現実システムは、表示制御電子機器１４１を制御する視線追跡装置１４６をさらに備える。視線追跡装置１４６は、観察者の眼９０の向きに関する情報を提供する一方で、表示制御電子機器１４１は、観察者の眼９０の向きに応じた画像を提供する。投影仮想ライトフィールド１１０は、このようにして、観察者の眼９０の向きに応じて、アイボックス（図１４ａには図示せず）内に投影される。
【0078】
例えば、図１４ｂ及び図１４ｃは、眼９０と光学系１４０との間の２つの異なる距離について、観察者の眼９０が下向きになっているときのライトフィールド複合現実システムを示している。図１４ｄ及び図１４ｅは、眼９０と光学系１４０との間の２つの異なる距離に対して、観察者の眼９０が上向きになっているときのライトフィールド複合現実システムを示す。視線追跡装置１４６は、観察者の眼９０の向きを検出し、表示制御電子機器１４１は、観察者の眼の向きに応じて、投影仮想ライトフィールド１１０の１部分をアイボックス（図示せず）内に提供するように光学系１４０を制御する。図１４ｆは、視線追跡機能を備えたライトフィールド型複合現実システムの図１４ａから図１４ｄを組み合わせた表現を示し、これにより、投影される情報の最大値が常にアイボックス１２１内にあるような方法で出射瞳１２２を投影可能である。
【0079】
図１５ａから図１５ｅはライトフィールド複合現実システムを示し、ここでは、視線追跡装置１４６は、移動するアイボックス及び観察者の視野（ＦＯＶ）（実視野サイズ）を考慮するために表示制御電子機器１４１を制御するように、さらに構成されている。そのために、ライトフィールド複合現実システムは、狭いＦＯＶでは高い角度解像度の画像を、広いＦＯＶでは低い角度解像度の画像を用いて、投影仮想ライトフィールド１１０を生成するように構成されている。ライトフィールド複合現実システムは、仮想画像１１４の平面内で、また場合によっては投影軸線１７０に沿って、投影仮想ライトフィールド１１０の少なくとも１部分を空間的にずらすことによって、投影仮想ライトフィールド１１０と相互作用ように構成されたＦＯＶ光学装置（図示せず）を備えることがある。ＦＯＶ光学装置は、偏向プリズム及び／又はオフセットレンズを備え、投影仮想ライトフィールド１１０を所定の角度だけ偏向可能である。ＦＯＶ光学装置は、投影仮想ライトフィールド１１０の少なくとも１部分の仮想像１１４を投影軸線１７０に沿ってずらすように構成された結像レンズをさらに備えることがある。
【0080】
図１５ａから図１５ｃは、観察者の眼９０が下向きの場合に、狭いＦＯＶで高角解像度画像を有する投影仮想ライトフィールド１１０（図１５ｃ）、広いＦＯＶで低角解像度画像を有する投影仮想ライトフィールド１１０（図１５ｂ）、及びその２つの組み合わせ（図１５ａ）を生成するライトフィールド複合現実システムを示す。図１５ｄ及び図１５ｅは、ライトフィールド型複合現実システムが、観察者の眼９０が上向きの場合に、狭いＦＯＶでは高角解像度の画像で（図１５ｅ）、高角解像度の画像と低角解像度の画像の組み合わせで（図１５ｆ）、投影仮想ライトフィールド１１０を投影している様子を示す。
【0081】
狭いＦＯＶを移動する部分を「中心窩で捉えたこと」と呼ぶ。これは、高解像度のライトフィールドを眼の焦点に投影する。投影仮想ライトフィールド１１０を順次投影すれば、広いＦＯＶ部分でもライトフィールドを提供できる。順次投影することで、狭いＦＯＶと広いＦＯＶの画像をつなぎ合わせられるようになる。広いＦＯＶ部分は、角度分解能や色分解能が低く、２色分解能のみの場合もある。
【0082】
図１６Ａから図１６Ｃは、ライトフィールド複合現実システムの例示的な構成を示し、コンバイナー４０は、マイクロミラー４４を持つ移動アイボックスを備える。移動アイボックス４０は、視線追跡装置１４６によって制御され、投影仮想ライトフィールド１１０の１部分をアイボックス（図示せず）内に提供するように、観察者の眼９０の向きに応じて移動する。
次に、本発明による別の観点からの実施形態を列挙する。
（１）光学光変調器を照らす入射ライトフィールドを生成する、ピンライトアレイと、
入射ライトフィールドを変調して変調仮想ライトフィールドを生成するように構成されている光学光変調器と、
変調仮想ライトフィールドを反射するように構成されていて、観察者の眼のアイボックス領域を投影軸線に沿って画定する、投影仮想ライトフィールドを投影するように構成されているコンバイナーと
を備える、観察者に着用されるライトフィールド複合現実システムにおいて、
投影仮想ライトフィールドが、投影軸線に沿って、
前記ピンライトアレイの出射瞳をアイボックスと光学光変調器の仮想画像との内側に形成し、
前記光学光変調器の仮想画像を、前記出射瞳の前に、すなわちコンバイナーと出射瞳の間に、出射瞳から１５ｃｍより短い距離で、又は出射瞳の後ろに、すなわちコンバイナーに対向する方向において出射瞳から離れて、さらに形成して、そして
投影仮想ライトフィールドと自然光との両方が、コンバイナーを経由してアイボックス内に投影されるように、現実世界からの自然光をアイボックスに透過するように、コンバイナーがさらに構成されている、ライトフィールド複合現実システム。
（２）光学光変調器は空間光変調器を備える、（１）に記載のライトフィールド複合現実システム。
（３）コンバイナーは、投影仮想ライトフィールドが複数の焦点の１つにて反射されるくぼんだ楕円体形状を持つ第１反射面を備える半透明な第１要素を備える、（１）に記載のライトフィールド複合現実システム。
（４）空間光変調器と組み合わせで仮想画像の位置を決定する、
コリメータと、ビームスプリッターと、再結像レンズとを備える（３）に記載のライトフィールド複合現実システム。
（５）仮想画像は、出射瞳の後ろである、（４）に記載のライトフィールド複合現実システム。
（６）仮想画像を出射瞳の前に形成するように構成されていて、コリメータの機能とピンライトアレイ再結像要素の機能とを組み合わせるレンズをさらに備える、（２）に記載のライトフィールド複合現実システム。
（７）仮想画像を光学光変調器とコンバイナーとの間に形成するように構成されているＳＬＭ再結像レンズを備える、（６）に記載のライトフィールド複合現実システム。
（８）投影仮想ライトフィールドを第１要素の第１反射面に向かって反射する実質的に平らな半透明の反射面を持つ半透明な第２要素をコンバイナーがさらに備える、（２）に記載のライトフィールド複合現実システム。
（９）第１要素と第２要素とは、自然光を観察者の眼に向かって透過する、（８）に記載のライトフィールド複合現実システム。
（１０）コンバイナーは、第１反射面上の反射の間は仮想ライトフィールドの回折角度が拒絶されるように構成されているホログラフィ要素を備える、（２）に記載のライトフィールド複合現実システム。
（１１）コンバイナーは、第１反射面上の反射の間は仮想ライトフィールドの回折角度が拒絶されるように構成されているフレネル型要素を備える、（２）に記載のライトフィールド複合現実システム。
（１２）コンバイナーは、ピンライト仮想画像と一致するミラーのアレイを備え、ミラーは、傾斜されていて投影仮想ライトフィールドをアイボックス内に投影する、（２）に記載のライトフィールド複合現実システム。
（１３）部分コリメータ及びピンライト再結像要素として機能するレンズを備える、（１２）に記載のライトフィールド複合現実システム。
（１４）ピンライト再結像要素として作用する再結像レンズを備える、（１２）に記載のライトフィールド複合現実システム。
（１５）コンバイナーは、自然光の全て又は大半の他の可視波長を透過しながら、仮想ライトフィールドの狭いスペクトラル帯を反射するように構成されている、（１）に記載のライトフィールド複合現実システム。
（１６）ピンライトアレイとコンバイナーとは、投影軸線に垂直な軸線の一側に配置されていて、
光学光変調器は、軸線の前記一側に対向する側に配置されている、（１）に記載のライトフィールド複合現実システム。
（１７）光学変調器は、コンバイナーの第１反射面上に備えられている、（３）に記載のライトフィールド複合現実システム。
（１８）光学光変調器は、入射ライトフィールドが光学光変調器によってアイボックス領域に向かって反射される透過状態と、入射ライトフィールドが反射されない遮断状態とに各セルを設定可能である、セルの行列を備える、（１７）に記載のライトフィールド複合現実システム。
（１９）ピンライトアレイは、入射ライトフィールドピンライトを発する複数の作動点光源と、複数の非作動点光源とを備え、
ピンライトアレイにおける作動点光源及び非作動点光源の空間配置は、出射瞳の位置又はサイズを変えるように、時間で可変である、（１）に記載のライトフィールド複合現実システム。
（２０）仮想補正点のような現実シーンからの仮想補正ライトフィールド上で、光学光変調器上に表示されている画像成分のデジタル変調によって実施される光学変調の効果を投影仮想ライトフィールドがシミュレートするように、画像成分は光学光変調器上に表示される、（１）に記載のライトフィールド複合現実システム。
（２１）投影仮想ライトフィールドは、アイボックスと現実世界の領域との間に配置された補正レンズの効果をシミュレートできるようにする、（２０）に記載のライトフィールド複合現実システム。
（２２）投影仮想ライトフィールドが観察者の眼の向きに応じてアイボックス内に投影されるように、観察者の眼の向きについての情報を提供する視線追跡装置をさらに備える、（１）に記載のライトフィールド複合現実システム。
（２３）視線追跡装置は、仮想画像の平面内にて、投影仮想ライトフィールドの少なくとも１部分を空間的にずらすようにさらに構成されている、（２２）に記載のライトフィールド複合現実システム。
（２４）視線追跡装置は、投影軸線に沿った投影仮想ライトフィールドの仮想画像の１部分をずらすようにさらに構成されている、（２３）に記載のライトフィールド複合現実システム。
（２５）光学光変調器を照らす入射ライトフィールドを生成するピンライトアレイと、
入射ライトフィールドを変調して変調仮想ライトフィールドを生成するように構成されている光学光変調器と、
変調仮想ライトフィールドを反射するように構成されていて、アイボックス領域を投影軸線に沿って画定する、投影仮想ライトフィールドを投影するように構成されているコンバイナーと
を備える、ライトフィールド複合現実システムにおいて、
投影仮想ライトフィールドが、投影軸線に沿って、
前記ピンライトアレイの出射瞳をアイボックスと光学光変調器の仮想画像との内側に形成し、
前記光学光変調器の仮想画像を、前記出射瞳の前に、すなわちコンバイナーと出射瞳の間に、出射瞳から１５ｃｍより短い距離で、又は出射瞳の後ろに、すなわちコンバイナーに対向する方向において出射瞳から離れて、さらに形成して、そして
投影仮想ライトフィールドと自然光との両方が、コンバイナーを経由してアイボックス内に投影されるように、現実世界からの自然光をアイボックスに透過するように、コンバイナーがさらに構成されている、ライトフィールド複合現実システムを備える、着用可能な装置。
（２６）コンバイナーが少なくとも１つのレンズに備えられていて、ピンライトアレイと光学光変調器とが、テンプルのヒンジ又は別の部分に備えられている、複合現実メガネを備える、（２５）に記載の着用可能な装置。
次に、本発明による別の観点からの実施形態を列挙する。
（１）光学光変調器を照らす入射ライトフィールドを生成する、ピンライトアレイと、
入射ライトフィールドを変調して変調仮想ライトフィールドを生成するように構成されている光学光変調器と、
変調仮想ライトフィールドを反射するように構成されていて、観察者の眼のアイボックス領域を投影軸線に沿って画定する、投影仮想ライトフィールドを投影するように構成されているコンバイナーと
を備える、観察者に着用されるライトフィールド複合現実システムにおいて、
投影仮想ライトフィールドが、投影軸線に沿って、
前記ピンライトアレイの出射瞳をアイボックスと光学光変調器の仮想画像との内側に形成し、
前記光学光変調器の仮想画像を、前記出射瞳の前に、すなわちコンバイナーと出射瞳の間に、出射瞳から１５ｃｍより短い距離で、又は出射瞳の後ろに、すなわちコンバイナーに対向する方向において出射瞳から離れて、さらに形成して、そして
投影仮想ライトフィールドと自然光との両方が、コンバイナーを経由してアイボックス内に投影されるように、現実世界からの自然光をアイボックスに透過するように、コンバイナーがさらに構成されている、ライトフィールド複合現実システム。
（２）光学光変調器は空間光変調器を備える、（１）に記載のライトフィールド複合現実システム。
（３）コンバイナーは、投影仮想ライトフィールドが複数の焦点の１つにて反射されるくぼんだ楕円体形状を持つ第１反射面を備える半透明な第１要素を備える、（１）に記載のライトフィールド複合現実システム。
（４）空間光変調器と組み合わせで仮想画像の位置を決定する、
コリメータと、ビームスプリッターと、再結像レンズとを備える（３）に記載のライトフィールド複合現実システム。
（５）仮想画像は、出射瞳の後ろである、（４）に記載のライトフィールド複合現実システム。
（６）仮想画像を出射瞳の前に形成するように構成されていて、コリメータの機能とピンライトアレイ再結像要素の機能とを組み合わせるレンズをさらに備える、（２）に記載のライトフィールド複合現実システム。
（７）仮想画像を光学光変調器とコンバイナーとの間に形成するように構成されているＳＬＭ再結像レンズを備える、（６）に記載のライトフィールド複合現実システム。
（８）投影仮想ライトフィールドを第１要素の第１反射面に向かって反射する実質的に平らな半透明の反射面を持つ半透明な第２要素をコンバイナーがさらに備える、（２）に記載のライトフィールド複合現実システム。
（９）第１要素と第２要素とは、自然光を観察者の眼に向かって透過する、（８）に記載のライトフィールド複合現実システム。
（１０）コンバイナーは、第１反射面上の反射の間は仮想ライトフィールドの回折角度が拒絶されるように構成されているホログラフィ要素を備える、（２）に記載のライトフィールド複合現実システム。
（１１）コンバイナーは、第１反射面上の反射の間は仮想ライトフィールドの回折角度が拒絶されるように構成されているフレネル型要素を備える、（２）に記載のライトフィールド複合現実システム。
（１２）コンバイナーは、ピンライト仮想画像と一致するミラーのアレイを備え、ミラーは、傾斜されていて投影仮想ライトフィールドをアイボックス内に投影する、（２）に記載のライトフィールド複合現実システム。
（１３）部分コリメータ及びピンライト再結像要素として機能するレンズを備える、（１２）に記載のライトフィールド複合現実システム。
（１４）ピンライト再結像要素として作用する再結像レンズを備える、（１２）に記載のライトフィールド複合現実システム。
（１５）コンバイナーは、自然光の全て又は大半の他の可視波長を透過しながら、仮想ライトフィールドの狭いスペクトラル帯を反射するように構成されている、（１）に記載のライトフィールド複合現実システム。
（１６）ピンライトアレイとコンバイナーとは、投影軸線に垂直な軸線の一側に配置されていて、
光学光変調器は、軸線の前記一側に対向する側に配置されている、（１）に記載のライトフィールド複合現実システム。
（１７）光学変調器は、コンバイナーの第１反射面上に備えられている、（３）に記載のライトフィールド複合現実システム。
（１８）光学光変調器は、入射ライトフィールドが光学光変調器によってアイボックス領域に向かって反射される透過状態と、入射ライトフィールドが反射されない遮断状態とに各セルを設定可能である、セルの行列を備える、（１７）に記載のライトフィールド複合現実システム。
（１９）ピンライトアレイは、入射ライトフィールドピンライトを発する複数の作動点光源と、複数の非作動点光源とを備え、
ピンライトアレイにおける作動点光源及び非作動点光源の空間配置は、出射瞳の位置又はサイズを変えるように、時間で可変である、（１）に記載のライトフィールド複合現実システム。
（２０）仮想補正点のような現実シーンからの仮想補正ライトフィールド上で、光学光変調器上に表示されている画像成分のデジタル変調によって実施される光学変調の効果を投影仮想ライトフィールドがシミュレートするように、画像成分は光学光変調器上に表示される、（１）に記載のライトフィールド複合現実システム。
（２１）投影仮想ライトフィールドは、アイボックスと現実世界の領域との間に配置された補正レンズの効果をシミュレートできるようにする、（２０）に記載のライトフィールド複合現実システム。
（２２）投影仮想ライトフィールドが観察者の眼の向きに応じてアイボックス内に投影されるように、観察者の眼の向きについての情報を提供する視線追跡装置をさらに備える、（１）に記載のライトフィールド複合現実システム。
（２３）視線追跡装置は、仮想画像の平面内にて、投影仮想ライトフィールドの少なくとも１部分を空間的にずらすようにさらに構成されている、（２２）に記載のライトフィールド複合現実システム。
（２４）視線追跡装置は、投影軸線に沿った投影仮想ライトフィールドの仮想画像の１部分をずらすようにさらに構成されている、（２３）に記載のライトフィールド複合現実システム。
（２５）光学光変調器を照らす入射ライトフィールドを生成するピンライトアレイと、
入射ライトフィールドを変調して変調仮想ライトフィールドを生成するように構成されている光学光変調器と、
変調仮想ライトフィールドを反射するように構成されていて、アイボックス領域を投影軸線に沿って画定する、投影仮想ライトフィールドを投影するように構成されているコンバイナーと
を備える、ライトフィールド複合現実システムにおいて、
投影仮想ライトフィールドが、投影軸線に沿って、
前記ピンライトアレイの出射瞳をアイボックスと光学光変調器の仮想画像との内側に形成し、
前記光学光変調器の仮想画像を、前記出射瞳の前に、すなわちコンバイナーと出射瞳の間に、出射瞳から１５ｃｍより短い距離で、又は出射瞳の後ろに、すなわちコンバイナーに対向する方向において出射瞳から離れて、さらに形成して、そして
投影仮想ライトフィールドと自然光との両方が、コンバイナーを経由してアイボックス内に投影されるように、現実世界からの自然光をアイボックスに透過するように、コンバイナーがさらに構成されている、ライトフィールド複合現実システムを備える、着用可能な装置。
（２６）コンバイナーが少なくとも１つのレンズに備えられていて、ピンライトアレイと光学光変調器とが、テンプルのヒンジ又は別の部分に備えられている、複合現実メガネを備える、（２５）に記載の着用可能な装置。
【符号の説明】
【0083】
１０ ピンライトアレイ
２ａ 透過状態
２ｂ 遮断状態
２０ 光学光変調器、空間光変調器（ＳＬＭ），
２１ テンプル
２２ ヒンジ
２３ アイウェアコード
２４ レンズ
２５ 複合現実メガネ
３０ フーリエフィルタ
３２ ＳＬＭ再結像レンズ
４０ コンバイナー
４１ 第１要素
４２ 第２要素
４３ 第１反射面
４４ ミラーのアレイ
４５ 第２反射面
４６ ホログラフィック又はフレネル反射器
４７ ガラス基板
４８ フレネル型のコンバイナー
５０ コリメート又はコリメートレンズ
５２ レンズ
５３ 画像成分
５４ 仮想物体点
５５ 補正された光線
５６ 仮想補正レンズｖ
５７ 仮想補正ライトフィールド
５８ 仮想補正点
６０ ビームスプリッター
７０ 再結像レンズ
８０ 現実世界から来るライトフィールド
８１ 追加ユニット
９０ 観察者の眼
９１ 眼のレンズ
９２ 網膜
１００ 入射ライトフィールド
１０１、１０１’、１０１’’ ピン開口ライトフィールド
１１０ 投影仮想ライトフィールド
１１１ 変調仮想ライトフィールド
１１２ 変調及びフィルタリングされた仮想ライトフィールド
１１４ 仮想画像
１１４’ 第１仮想画像
１２０ ピンライト仮想画像
１２１ アイボックス領域
１２２ ピンライト仮想画像開口、出射瞳
１３０ 瞳孔
１４０ 光学
１４１ 表示制御電子装置
１４２ 照明制御電子装置
１４３ 同期信号
１４４ 画像信号
１４５ 照明信号
１４６ 視線追跡装置
１７０ 投影軸線
１７１ 投影軸線に直交する軸線
２ａ 透過状態
２ｂ 遮断状態
２０ 光学光変調器、空間光変調器（ＳＬＭ），
２１ テンプル
２２ ヒンジ
２３ アイウェアコード
２４ レンズ
２５ 複合現実メガネ
３０ フーリエフィルタ
３２ ＳＬＭ再結像レンズ
４０ コンバイナー
４１ 第１要素
４２ 第２要素
４３ 第１反射面
４４ ミラーのアレイ
４５ 第２反射面
４６ ホログラフィック又はフレネル反射器
４７ ガラス基板
４８ フレネル型のコンバイナー
５０ コリメート又はコリメートレンズ
５２ レンズ
５３ 画像成分
５４ 仮想物体点
５５ 補正された光線
５６ 仮想補正レンズｖ
５７ 仮想補正ライトフィールド
５８ 仮想補正点
６０ ビームスプリッター
７０ 再結像レンズ
８０ 現実世界から来るライトフィールド
８１ 追加ユニット
９０ 観察者の眼
９１ 眼のレンズ
９２ 網膜
１００ 入射ライトフィールド
１０１、１０１’、１０１’’ ピン開口ライトフィールド
１１０ 投影仮想ライトフィールド
１１１ 変調仮想ライトフィールド
１１２ 変調及びフィルタリングされた仮想ライトフィールド
１１４ 仮想画像
１１４’ 第１仮想画像
１２０ ピンライト仮想画像
１２１ アイボックス領域
１２２ ピンライト仮想画像開口、出射瞳
１３０ 瞳孔
１４０ 光学
１４１ 表示制御電子装置
１４２ 照明制御電子装置
１４３ 同期信号
１４４ 画像信号
１４５ 照明信号
１４６ 視線追跡装置
１７０ 投影軸線
１７１ 投影軸線に直交する軸線
【図1】
【図2a】
【図2b】
【図2c】
【図3】
【図4a】
【図4b】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14a】
【図14b】
【図14c】
【図14d】
【図14e】
【図14f】
【図15a】
【図15b】
【図15c】
【図15d】
【図15e】
【図16a】
【図16b】
【図16c】