▶ アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナの特許一覧
特表2024-510164時分割多重化方式を使用して、インテグラルイメージングに基づくライトフィールドディスプレイの性能を向上させる装置および方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-06
(54)【発明の名称】時分割多重化方式を使用して、インテグラルイメージングに基づくライトフィールドディスプレイの性能を向上させる装置および方法
(51)【国際特許分類】
G02B 30/10 20200101AFI20240228BHJP
H04N 13/307 20180101ALI20240228BHJP
H04N 13/344 20180101ALI20240228BHJP
【ＦＩ】
G02B30/10
H04N13/307
H04N13/344
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023555125
(86)(22)【出願日】2022-03-03
(85)【翻訳文提出日】2023-10-31
(86)【国際出願番号】 US2022018605
(87)【国際公開番号】W WO2022192054
(87)【国際公開日】2022-09-15
(31)【優先権主張番号】63/158,707
(32)【優先日】2021-03-09
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】505167532
【氏名又は名称】アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナ
(74)【代理人】
【識別番号】100104411
【弁理士】
【氏名又は名称】矢口 太郎
(72)【発明者】
【氏名】フア、ホン
(72)【発明者】
【氏名】ワン、ズアン
【テーマコード（参考）】
2H199
【Ｆターム（参考）】
2H199BA19
2H199BA29
2H199BB03
2H199BB08
2H199BB27
2H199BB43
(57)【要約】
【要約】 時分割多重化方式を用いたインテグラルイメージングに基づくライトフィールドディスプレイ。
【選択図】 図３Ａ
【選択図】 図３Ａ
【特許請求の範囲】
【請求項1】
時分割多重化インテグラル画像（ＩｎＩ）ライトフィールドディスプレイであって、要素画像のセットをレンダリングするように構成された複数の画素を含むマイクロディスプレイであって、それぞれの要素画像は３Ｄシーンの異なる透視視野を提供する、マイクロディスプレイと、
前記マイクロディスプレイの前記要素画像からの光を受光するために、そこから選択された距離で前記マイクロディスプレイと光通信するように配置されたマイクロレンズアレイであって、前記マイクロレンズアレイは、前記マイクロレンズアレイを横切って前記マイクロディスプレイと光学的に共役であるそれに関連する中心深度平面を有し、前記マイクロレンズアレイは、前記要素画像から光線束を受光して、前記中央深度平面に関する対応する再構成点で統合画像を作成し、前記３Ｄシーンのライトフィールドを再構成するように構成された、マイクロレンズアレイと、
前記マイクロレンズアレイと光通信可能に配置され、前記マイクロレンズアレイによって伝送された光を受光し、前記受光した光を前記３Ｄシーンの前記ライトフィールドに伝送するように構成された切替可能アレイと
を有する、時分割多重化インテグラル画像（ＩｎＩ）ライトフィールドディスプレイ。
【請求項2】
前記請求項に記載の時分割多重化インテグラル画像（ＩｎＩ）ライトフィールドディスプレイにおいて、前記切替可能アレイは、前記要素画像の選択されたものからの光を選択的に前記中心深度平面に導くように構成されるものである、時分割多重化インテグラル画像（ＩｎＩ）ライトフィールドディスプレイ。
【請求項3】
前記請求項のいずれか１項に記載の時分割多重化インテグラル画像（ＩｎＩ）ライトフィールドディスプレイにおいて、前記マイクロディスプレイは、前記マイクロディスプレイ上の前記要素画像のレンダリングを前記切替可能アレイの切替と同期させて、前記マイクロディスプレイおよび前記切替可能アレイを同期した時分割多重方式で動作させるように構成されるものである、時分割多重化インテグラル画像（ＩｎＩ）ライトフィールドディスプレイ。
【請求項4】
前記請求項のいずれか１項に記載の時分割多重化インテグラル画像（ＩｎＩ）ライトフィールドディスプレイにおいて、前記マイクロレンズアレイは、同じ焦点距離を有するマイクロレンズのアレイを含む、時分割多重化インテグラル画像（ＩｎＩ）ライトフィールドディスプレイ。
【請求項5】
前記請求項のいずれか１項に記載の時分割多重化インテグラル画像（ＩｎＩ）ライトフィールドディスプレイにおいて、前記切替可能アレイは、前記マイクロレンズと前記中心深度平面との間の位置に配置されている、時分割多重化インテグラル画像（ＩｎＩ）ライトフィールドディスプレイ。
【請求項6】
前記請求項のいずれか１項に記載の時分割多重化インテグラル画像（ＩｎＩ）ライトフィールドディスプレイにおいて、前記切替可能アレイは、前記マイクロレンズと前記マイクロディスプレイとの間の位置に配置されている、時分割多重化インテグラル画像（ＩｎＩ）ライトフィールドディスプレイ。
【請求項7】
前記請求項のいずれか１項に記載の時分割多重化インテグラル画像（ＩｎＩ）ライトフィールドディスプレイにおいて、前記切替可能アレイは、前記マイクロレンズアレイからの光線を通過させるためにオンにする、または光線の通過を阻止するためにオフにすることができる切替可能要素を含むものである、時分割多重化インテグラル画像（ＩｎＩ）ライトフィールドディスプレイ。
【請求項8】
前記請求項のいずれか１項に記載の時分割多重化インテグラル画像（ＩｎＩ）ライトフィールドディスプレイにおいて、前記プログラム可能な切替可能アレイは、シャッターアレイを有する、時分割多重化インテグラル画像（ＩｎＩ）ライトフィールドディスプレイ。
【請求項9】
前記請求項のいずれか１項に記載の時分割多重化インテグラル画像（ＩｎＩ）ライトフィールドディスプレイにおいて、前記プログラム可能な切替可能アレイは、切替可能光源アレイを有する、時分割多重化インテグラル画像（ＩｎＩ）ライトフィールドディスプレイ。
【請求項10】
前記請求項のいずれか１項に記載の時分割多重化インテグラル画像（ＩｎＩ）ライトフィールドディスプレイにおいて、前記マイクロディスプレイは、自己放射性である、時分割多重化インテグラル画像（ＩｎＩ）ライトフィールドディスプレイ。
【請求項11】
前記請求項のいずれか１項に記載の時分割多重化インテグラル画像（ＩｎＩ）ライトフィールドディスプレイにおいて、前記マイクロディスプレイは、透過性である、時分割多重化インテグラル画像（ＩｎＩ）ライトフィールドディスプレイ。
【請求項12】
前記請求項のいずれか１項に記載の時分割多重化インテグラル画像（ＩｎＩ）ライトフィールドディスプレイにおいて、前記マイクロディスプレイは、空間光変調器を有する、時分割多重化インテグラル画像（ＩｎＩ）ライトフィールドディスプレイ。
【請求項13】
前記請求項のいずれか１項に記載の時分割多重化インテグラル画像（ＩｎＩ）ライトフィールドディスプレイにおいて、前記マイクロディスプレイは、液晶ディスプレイとデジタルミラー装置のうちの１若しくはそれ以上から構成されるものである、時分割多重化インテグラル画像（ＩｎＩ）ライトフィールドディスプレイ。
【請求項14】
前記請求項のいずれか１項に記載の時分割多重化インテグラル画像（ＩｎＩ）ライトフィールドディスプレイにおいて、前記３Ｄシーンの前記ライトフィールドからの光を受光するために、前記中心深度平面から距離ｚ０離れた位置に配置された接眼レンズを有する、時分割多重化インテグラル画像（ＩｎＩ）ライトフィールドディスプレイ。
【請求項15】
前記請求項のいずれか１項に記載の時分割多重化インテグラル画像（ＩｎＩ）ライトフィールドディスプレイにおいて、前記切替可能アレイの各切替可能要素の開口部サイズは、前記マイクロレンズアレイの各小型レンズの開口部サイズよりも小さく、各小型レンズが前記切替可能アレイの複数の要素を覆うものである、時分割多重化インテグラル画像（ＩｎＩ）ライトフィールドディスプレイ。
【請求項16】
前記請求項のいずれか１項に記載の時分割多重化インテグラル画像（ＩｎＩ）ライトフィールドディスプレイにおいて、前記切替可能アレイは、各切替可能要素の前記開口部サイズよりも小さいサイズの複数の画素化要素を有するものである、時分割多重化インテグラル画像（ＩｎＩ）ライトフィールドディスプレイ。
【請求項17】
前記請求項のいずれか１項に記載の時分割多重化インテグラル画像（ＩｎＩ）ライトフィールドディスプレイにおいて、前記マイクロディスプレイとマイクロレンズアレイとの間に配置され、光通信可能なバリアアレイを有するものである、時分割多重化インテグラル画像（ＩｎＩ）ライトフィールドディスプレイ。
【請求項18】
前記請求項１～１６のいずれか１項に記載の時分割多重化インテグラル画像（ＩｎＩ）ライトフィールドディスプレイにおいて、前記マイクロディスプレイとマイクロレンズアレイとの間に配置され、光通信可能な開口部アレイを有するものである、時分割多重化インテグラル画像（ＩｎＩ）ライトフィールドディスプレイ。
【請求項19】
前記請求項１８記載の時分割多重化インテグラル画像（ＩｎＩ）ライトフィールドディスプレイにおいて、前記マイクロディスプレイから前記開口部アレイまでの距離をａと表し、前記開口部アレイの開口部の直径をｄＡと表し、【数23】
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、２０２１年３月９日に出願された米国仮出願第６３／１５８、７０７号の優先権の利益を主張するものであり、その出願の全内容は参照により本明細書に組み込まれる。
【0002】
本発明は、ライトフィールドディスプレイに関し、より詳細には、時分割多重方式を使用したインテグラルイメージングに基づくライトフィールドディスプレイに関するものであるが、これに限定されるものではない。
【背景技術】
【0003】
インテグラルイメージング（ＩｎＩ）に基づくライトフィールドディスプレイは、既知の輻輳焦点調節競合（ｖｅｒｇｅｎｃｅ－ａｃｃｏｍｍｏｄａｔｉｏｎ ｃｏｎｆｌｉｃｔ）を緩和するために、正しいフォーカスキュー（ｆｏｃｕｓ ｃｕｅｓ）で真の３Ｄシーンを実現する大きな機会を提供する。しかし、解決しなければならない主な課題は、空間分解能と奥行き解像度のトレードオフである。前記奥行き解像度を高めるには、３Ｄシーンをレンダリングするために、視野数と呼ばれる別個の視野の数を増やす必要があるが、前記視野数を増やすと、シーンの前記空間分解能が犠牲になることが多い。本開示では、高い空間分解能を維持しながら、視野数、ひいては奥行き解像度を潜在的に増加させることができる、本発明による時間多重化IｎIに基づくライトフィールドディスプレイの設計について説明する。
【0004】
従来の立体ディスプレイは、両眼視差やその他の絵画的な奥行き手がかりを持つ、両眼に１つずつの、一対の二次元（２Ｄ）透視画像によって３Ｄシーンの知覚を可能にするものであるが、一般的に、正しい網膜ぼけ効果をレンダリングし、自然な眼の収容反応を刺激する能力が欠けており、これがよく知られた前記輻輳焦点調節競合（ＶＡＣ）問題につながる。フォーカスキューをレンダリングし、前記ＶＡＣ問題を克服できる可能性のあるディスプレイ方法として、立体ディスプレイ、ホログラフィックディスプレイ、多焦点平面ディスプレイ、マックスウェル視ディスプレイ、ライトフィールドディスプレイなどが実証されている。これらの方法の中でも、インテグラルイメージングに基づく（ＩｎＩに基づく）ライトフィールドディスプレイは、３Ｄシーンの異なる深さの３Ｄ点から放射されるように見える指向性光線を再現することによって、３Ｄシーンを再構成することができ、したがって、自然な視聴シーンと同様の正しいフォーカスキューをレンダリングすることができる。
【0005】
図１は、一般的なＩｎＩに基づくヘッドマウントディスプレイ（ＨＭＤ）システムの構成を示しており、マイクロディスプレイ、マイクロレンズアレイ（ＭＬＡ）、接眼レンズから構成されている。前記マイクロディスプレイには、３Ｄシーンの異なる透視視野を含む一連の要素画像（ＥＩ）が表示される。前記ＭＬＡの各小型レンズは、前記マイクロディスプレイ上のＥＩに対応し、再構成された３Ｄシーンの１つの方向サンプルを作成するために、中心深度平面（ＣＤＰ）上に前記ＥＩの共役画像を形成する。本明細書で使用する前記ＣＤＰとは、前記ＭＬＡを横切る前記マイクロディスプレイの平面と光学的に共役な平面を指す。再構成された３Ｄシーンは、適切な深度情報を提供する接眼レンズを通して、観察者によって視野窓（接眼レンズの射出瞳とも呼ばれる）で観察される。従来の２Ｄディスプレイと対比されるライトフィールド３Ｄディスプレイの明確な特徴は、３Ｄシーンの点（例えばＰ）をレンダリングする複数の明確な要素視野が、目の瞳孔を前記視野窓に置くことによって観察されることである。
【0006】
観察者の目の収容状態は、知覚される画像に重要な役割を果たす。例えば、図１は、対応する要素画像上の３つの異なる画素、Ｏ１、Ｏ２、Ｏ３を通して、３Ｄ点Ｏのレンダリングを示している。対応する３つのマイクロレンズによって結像され、異なるＥＩ上の対応する点（画素）からの光線束は点Ｏに収束し、さらに接眼レンズを通して瞳孔に投影される。眼球が再構成された３Ｄシーンの再構成点Ｏの深さに収容されると、異なるＥＩ上の対応する点（画素）からの光線束は、図１に示されるように、網膜上の焦点画像Ｏ'に収束する。他の深さの再構成点（例えば点Ｐ）の場合、個々の画素の画像は網膜上で互いに空間的にずれるため、網膜ぼやけが生じる。前記網膜のぼやけのレベルは、再構成の深さの差と目の調節によって変化する。
【0007】
このようなライトフィールド・レンダリング・アプローチは、没入型仮想現実（ＶＲ）および光学シースルー拡張現実もしくは複合現実（ＡＲ／ＭＲ）アプリケーション用のＨＭＤ設計にすでに適用されている。例えば、ＬａｎｍａｎとＬｕｅｂｋｅは、マイクロディスプレイとマイクロレンズアレイ（ＭＬＡ）を視聴者の目の前に配置することで、ニアアイ没入型ライトフィールドディスプレイを実証した。ＨｕａとＪａｖｉｄｉは、マイクロＩｎＩユニットとシースルー自由形状拡大接眼レンズを組み合わせることで、光学シースルーＬＦ－ＨＭＤシステムを実証した（図２Ａ）。さらに最近では、ＨｕａｎｇとＨｕａが、３ディオプター以上の被写界深度にわたって約３分角の高い空間分解能を提供する光学シースルーＬＦ－ＨＭＤシステムを実証した（図２Ｂ）。このような研究は、フォーカスキューをレンダリングするためのＬＦ－ＨＭＤシステムの潜在的な能力を実証し、したがって、従来の立体ディスプレイにおける周知のＶＡＣ問題に対処することに成功したが、既存のＬＦ－ＨＭＤプロトタイプのいずれも、最先端のマイクロディスプレイ技術を使用して、人間の視覚に匹敵する十分に高い空間分解能を提供することができない。本発明者らは、再構成された３Ｄシーンの空間分解能が、適切な視野密度と妥当なアイボックスを達成するために妥協されるべきであることが重要な課題であると認識している。
【発明の概要】
【0008】
上記で開示した、このような満たされていないニーズに応えて、他の考慮事項とともに、本開示では、高い空間分解能を維持しながら、視認数およびしたがって深さ解像度を増加させることができる、時間多重化ＩｎＩに基づくライトフィールドディスプレイの例示的な設計について説明する。その態様の１つにおいて、本発明は、高速プログラム可能な切替可能アレイ（例えば、シャッターアレイまたは切替可能光源アレイなど）を組み込むことができ、前記プログラム可能なアレイが時分割多重化方式で動作することにより、ディスプレイ上の複数の要素画像セットのレンダリングを同期させる。そうすることで、本発明の例示的な装置および方法は、わずかに異なる視角から３Ｄシーンをレンダリングする複数の要素画像セットの間を迅速に切り替えることができる。その結果、前記空間分解能を犠牲にすることなく、前記視野数および視野密度を倍増させることができる。その別の態様において、本発明は、前記視認密度およびアイボックスのサイズを損なうことなく前記空間分解能を向上させる装置および方法を提供することができ、そのようないくつかの例示的な装置および方法は、本明細書でさらに開示されるように実装され、実験的に検証されている。我々の計算によれば、本発明に従ってＩｎＩステムのシステムパラメータを適切に選択することにより、人間の視覚に匹敵する高空間分解能システムを達成することができる。概念実証システムを構築し、提案手法の検証を実証した。
【0009】
したがって、その一態様において、本発明は、時分割多重化インテグラルイメージング（ＩｎＩ）ライトフィールドディスプレイと、要素画像のセットをレンダリングするように構成された複数の画素を含むマイクロディスプレイであって、各要素画像は３Ｄシーンの異なる透視視野を提供する、マイクロディスプレイと、前記マイクロディスプレイから選択された距離で前記マイクロディスプレイと光通信して配置され、前記マイクロディスプレイの要素画像からの光を受光するマイクロレンズアレイであって、前記マイクロレンズアレイは、前記マイクロレンズアレイを横切って前記マイクロディスプレイと光学的に共役であるそれに関連する中心深度平面を有し、前記マイクロレンズアレイは、前記要素画像から光線束を受光して、前記中央深度平面に関する対応する再構成点で統合画像を作成し、前記３Ｄシーンのライトフィールドを再構成するように構成された、マイクロレンズアレイと、前記マイクロレンズアレイと光通信可能に配置され、前記マイクロレンズアレイによって伝送された光を受光し、前記受光した光を前記３Ｄシーンの前記ライトフィールドに伝送するように構成された切替可能アレイとを有する、前記マイクロレンズアレイとを提供する。前記切替可能アレイは、前記要素画像の選択されたものからの光を選択的に前記中心深度平面に導くように構成されてもよく、および／または、前記マイクロディスプレイは、前記マイクロディスプレイ上の前記要素画像のレンダリングを前記切替可能アレイの切替と同期させて、前記マイクロディスプレイおよび前記切替可能アレイを同期した時分割多重方式で動作させるように構成されてもよい。前記マイクロレンズアレイは、同じ焦点距離を有するマイクロレンズのアレイを含むことができる。
【0010】
さらなる態様において、前記切替可能アレイは、前記マイクロレンズアレイと前記中心深度平面との間の位置に配置されてもよく、および／または、前記マイクロレンズアレイと前記マイクロディスプレイとの間の位置に配置されてもよい。前記切替可能アレイは、前記マイクロレンズアレイからの光線を通過させるためにオンにする、または光線の通過を阻止するためにオフにすることができる切替可能要素を含んでもよい。前記プログラム可能な切替可能アレイは、シャッターアレイおよび／または切替可能光源アレイを含んでもよい。前記マイクロディスプレイは、自己放射性または透過性であってもよく、および／または空間光変調器を含んでもよい。前記切替可能アレイの各切替可能要素の開口部サイズは、前記マイクロレンズアレイの各小型レンズの開口部サイズよりも小さくてもよく、前記各小型レンズが切替可能アレイの複数の要素を覆うようにしてもよい。前記切替可能アレイは、各切替可能要素の前記開口部サイズよりも小さいサイズの複数の画素化要素を含んでもよい。バリアアレイは、前記マイクロディスプレイとマイクロレンズアレイとの間に、それと光通信可能に配置されてもよい。
【0011】
さらに、本発明は、前記３Ｄシーンの前記ライトフィールドからの光を受光するために、前記中心深度平面から距離ｚ０離れた位置に配置された接眼レンズを含むことができる。前記マイクロディスプレイとマイクロレンズアレイの間には、それと光学的に連通する開口部アレイが配置されていてもよい。前記マイクロディスプレイから前記開口部アレイまでの距離をａと表し、前記開口部アレイの開口部の直径をｄＡと表す。
【0012】
【数1】
【0013】
ここで、ｐＥｌは要素画像の寸法であり、ｇは前記マイクロディスプレイから前記マイクロレンズアレイまでの距離であり、ｐＭＬＡはＭＬＡのピッチである。
【図面の簡単な説明】
【0014】
本発明の例示的な実施形態に関する前述の要約および以下の詳細な説明は、添付の図面と併せて読むことにより、さらに理解できる。
【図4】図４は、図３Ａの前記装置の表示サイクルのフェーズ１の状態に関する、時分割多重化ＩｎＩに基づくライトフィールド表示（例えば、図中の２ｘ２ＥＩおよび４相時分割多重化）の動作原理を概略的に示している。
【図5】図５Ａ～５Ｄは、本発明によるフェーズ１における重要な面における構成要素およびフットプリントの状態を模式的に示す図であり、図５Ａはマイクロディスプレイ上の要素画像を模式的に示し、図５Ｂはシャッターアレイの状態を模式的に示し、図５Ｃは中心深度平面上の中間画像を模式的に示し、図５Ｄは視野窓における要素視野分布を模式的に示している。
【図7】図７Ａ～７Ｄは、本発明によるフェーズ２における重要な面における構成要素およびフットプリントの状態を模式的に示す図であり、図７Ａはマイクロディスプレイ上の要素画像を模式的に示し、図７Ｂはシャッターアレイの状態を模式的に示し、図７Ｃは中心深度平面上の中間画像を模式的に示し、図７Ｄは視野窓における要素視野分布を模式的に示している。
【図8】図８は、従来のＩｎＩシステムのレイアウトを模式的に示しており、３Ｄ点がレンダリングされ（例えば、図では２ｘ２の要素視野）、中心深度平面（ＣＤＰ）で再構成され、ＭＬＡの形状と配置に応じて、視野窓での要素視野分布も示されている。
【図9】図９Ａ～９Ｂは、本発明による時分割多重化時の小画素化素子で構成されたシャッターアレイのサブ開口部のレイアウトを模式的に示す図であり、図９Ａは、フェーズ１中にオンに設定されたシャッタＳ１を模式的に示し、図９Ｂは、フェーズ１中にオンに設定されたシャッタＳ２を模式的に示している。
【図10】図１０Ａ～１０Ｂは、本発明による視野曲線因子を高めるための例示的な時分割多重化ＩｎＩに基づくライトフィールドディスプレイを概略的に示す図であり、図１０Ａは表示サイクルのフェーズ１の状態を概略的に示し、図１０Ｂは表示サイクルのフェーズ２の状態を概略的に示している。
【図13】図１３Ａ～１３Ｂは、指向性マイクロディスプレイが利用される、本発明による例示的な時分割多重化ＩｎＩディスプレイシステムのレイアウトを模式的に示しており（例えば、図中の４ｘ４要素視野および４相時分割多重化）、図１３Ａは、表示サイクルの第１相の状態を模式的に示しており、図１３Ｂは、表示サイクルの第２相の状態を模式的に示している。
【発明を実施するための形態】
【0015】
ここで図を参照すると、全体を通して同様の要素には同様の番号が付されており、図３は、本発明による例示的な時分割多重化ＩｎＩに基づく３Ｄライトフィールドディスプレイ１００の回路図であり、これは、マイクロディスプレイ１０２、マイクロレンズアレイ（ＭＬＡ）１０４、切替可能シャッターアレイ（ＳＡ）１０６などの高速プログラマブル切替可能アレイ、および接眼レンズ光学系１０８を含むことができる。前記マイクロディスプレイ１０２は、発光する有機発光ディスプレイ（ＯＬＥＤ）のような自己発光型ディスプレイであってもよいし、照明光源を変調する液晶ディスプレイ（ＬＣＤ）やデジタルミラー装置（ＤＭＤ）のような空間光変調器（ＳＬＭ）であってもよい。ＳＬＭの場合、前記マイクロディスプレイ１０２は、その照明源を透過または反射させて２Ｄ画像パターンを作成することにより、透過モードまたは反射モードのいずれかで機能することができる。
【0016】
前記マイクロディスプレイ１０２は、異なるセットの要素画像（ＥＩ）１０１をレンダリングすることができ、各要素画像１０１は３Ｄシーンの透視視野を提供する。前記マイクロディスプレイ１０２は、前記ＭＬＡ１０４から距離ｇだけ離して配置することができる。前記ＭＬＡ１０４は、同じ焦点距離を有するマイクロレンズ１０５のアレイを含むことができる。前記マイクロディスプレイ１０２上にレンダリングされた前記要素画像１０１の各々は、前記ＭＬＡ１０４の対応するマイクロレンズを通して中心深度平面（ＣＤＰ）１０９上に結像される。前記マイクロレンズ１０５の横倍率によっては、前記要素画像１０１の共役画像が前記ＣＤＰ１０９上で重なることがある。前記ＭＬＡ１０４は、３Ｄライトフィールドの指向性サンプリングの生成に役立つ。前記要素画像１０１からの光線束は、前記対応するマイクロレンズ１０５に入り、対応する再構成点（例えば点Ｐ）で統合され、３Ｄシーンの前記ライトフィールドを再構成する。各ＥＩ１０１の透視内容を変更することにより、異なる深さのオブジェクトをレンダリングすることができる。前記切替可能なシャッターアレイ１０６は、前記マイクロディスプレイ１０２からの光線を通過させるためにオンにしたり、光線の通過を阻止するためにオフにしたりすることができる切替可能な素子のアレイを含むことができる。（図３Ａ）前記シャッターアレイ１０６は、前記ＭＬＡ１０４の両側に隣接して（例えば、前後に隣接して）配置することができる。前記シャッターアレイ１０６とＭＬＡ１０４との間の隙間は、不可逆圧縮に伴う悪い副作用を低減するために最小にすることができる。前記シャッタアレイ１０６は、前記マイクロディスプレイ１０２上にＥＩ１０１の異なるセットをレンダリングし、選択された開口部セットのオン状態およびオフ状態に同期して前記ＭＬＡ１０４によって時分割多重化方式で撮像することができるように、前記ＭＬＡ１０４を通る異なる光線経路間（例えば、図３Ａの白の斜線経路対グレーの斜線経路）の迅速な切り替えを提供することができる。前記時分割多重化されたＥＩ１０１のセットは、再構成された３Ｄシーンに対してレンダリングされる透視視野の数を効果的に増加させることができる。例えば、図３Ａに示されるように、ＥＩ１０１の２つのセットおよび前記ＳＡ１０６の２つの状態を単に時分割多重化することによって、再構成点Ｐに対する視野の数が２倍になる。
【0017】
前記接眼レンズ１０８は、前記ＣＤＰ１０９から距離Ｚ０離れて配置されてもよく、一体型撮像ユニット（マイクロディスプレイ１０２およびＭＬＡ１０４を含む）によって形成された再構成された３Ｄシーンを拡大し、再構成された３Ｄシーンを視覚空間に結像させることができる。前記接眼レンズ１０８は、従来の回転対称レンズ群であるシングレットまたはダブレット、またはモノリシック自由形状プリズムなどの任意の適切な構成で提供されてもよい。前記接眼レンズ１０８は、前記再構成された３Ｄシーンからの前記光線束を、観察者が拡大された仮想３Ｄシーンを観察するために眼球の瞳孔を置くことができる視野窓１１０上に投影することができる。要素視野からの各光線束の軌跡は、図３Ａの小さな正方形で概念的に図示されている。前記視野窓１１０上の前記光線の軌跡の実際の形状は、主に前記マイクロレンズ１０５の開口部の形状に依存する。例えば、前記マイクロレンズ１０５の開口部の形状が円形であれば、光線軌跡も円形になる。
【0018】
図３Ｂは、２Ｄシャッターアレイ１０６の概略レイアウトを示し、図３Ｃは、時分割多重化方式によってレンダリングされた２Ｄ視野窓１１０の概略レイアウトを示す。各切替可能要素の開口部サイズｄＳＡは、好ましくは、前記小型レンズ１０５の開口部サイズｄＭＬＡよりも小さく、各小型レンズ１０５が前記シャッターアレイ１０６の複数の要素をカバーするようにする。各小型レンズ１０５の下の異なるシャッター素子をオンまたはオフにすることによって、前記小型レンズ１０５の異なる部分が選択され、異なるＥＩ１０１のセットの画素からの光線束が撮像される。例えば、図３Ａ～３Ｂにおいて、前記シャッターアレイ１０６の白色要素（Ｓ１）をオンにすることによって、各小型レンズ１０５の上半分が選択され、第１のＥＩ１０１のセット（図３Ａにおいて実線で図示）によってレンダリングされた画素からの光線が撮像されて、３Ｄシーンの前記ライトフィールドの一部（例えば点Ｐ）が再構成される。同様に、前記シャッターアレイ１０６の灰色の要素がオンに切り替えられると、各小型レンズ１０５の下半分が選択され、第２のＥＩ１０１のセット（図３Ａの破線と灰色の網掛けで図示）によってレンダリングされた画素からの光線が撮像されて、前記３Ｄシーンのライトフィールドの第２の部分（例えば点Ｐ）が再構成される。前記小型レンズ１０５の異なる部分を通して要素画像１０１の前記異なるセットによってレンダリングされた前記光線束は、前記視野窓１１０上の異なる位置に投影され、視野アの目の瞳孔上の特徴的な視野入口位置を形成する。シャッターサイズとマイクロレンズアレイピッチの比に応じて、提案された時分割多重化の方法、それに応じて視野数と視野密度を増加させることができる。
【0019】
前記シャッターアレイ１０６は、既存の空間光変調器（ＳＬＭ）技術を応用することができる。しかしながら、画素充填率の低い典型的なＳＬＭの画素構造により、深刻な回折効果が誘発される可能性がある。画素化された開口部構造による回折効果を最小化するには、８５％以上の画素充填率が必要であるが、市販の透過型液晶ディスプレイの充填率は、この要求をはるかに下回っている。しかし、シリコン液晶（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ ｏｎ Ｓｉｌｉｃｏｎ：ＬＣｏＳ）技術など、いくつかの市販の反射型空間光変調器の充填率と切替速度は、この要件を満たすことができる。しかし、ＬＣｏＳは反射型であるため、それを前記ＭＬＡ開口部面に結像させるためのリレー光学系が必要となり、システム容積が大幅に増大する。
【0020】
図４～図７Ｄは、本発明による例示的な４相時間多重化ＩｎＩに基づくライトフィールドディスプレイ１００の動作原理をさらに示しており、この図では、説明のために２ｘ２の要素画像１０１のみが示されている。この図では、前記シャッタアレイ１０６の開口部サイズは、前記ＭＬＡ１０４の各小型レンズ１０５が４つのサブ開口部に分割され、それぞれが前記４相時分割多重化サイクルの位相に対応し、各サブ開口部または位相に対して対応するＥＩ１０１セットがレンダリングされるように、前記小型レンズ１０５ピッチの半分であってもよい。図４と図６はそれぞれ、全表示サイクルの２つの異なるフェーズを示している。各フェーズにおいて、前記光線が前記小型レンズ１０５の対応するサブ開口部を通過できるように、前記シャッタの１セット（例えばフェーズ１ではＳ１、フェーズ２ではＳ２）のみがオンに切り替えられた。一方、開放されたシャッタセットに対応する右透視視野を有する１セットのＥＩ１０１が前記マイクロディスプレイ１０２に表示される。例えば、Ｐ１，１、Ｐ１，２、Ｐ１，３およびＰ１，４は、３次元点Ｐを再構成するために前記マイクロディスプレイ１０２上に表示された前記ＥＩ１０１セット１の隣接する４つの前記要素画像１０１上の画素を表す、図５Ａ。前記マイクロディスプレイ１０２上のこれら４つの点は、前記マイクロ小型レンズ１０５の前記対応するサブ開口部によって撮像され、前記ＣＤＰ１０９上にそれぞれＰ'１，１、Ｐ'１，２、Ｐ'１，３、Ｐ'１，４の４つの画像を形成する、図４、５Ｃ。これらの４つの点から放射された光線は、前記対応する開放シャッタセットを通過し、再構成された点Ｐに収束し、その後、前記接眼レンズ１０８による前記視野窓１１０で４つの要素視野を形成する（図４）。１）前記マイクロディスプレイ１０２上にレンダリングされた画素、２）対応する開放シャッタセット、３）前記ＣＤＰ１０９上の画素の投影、および４）フェーズ１に対する前記視野窓面１１０上のそれらの光線軌跡が、それぞれ図５Ａ～５Ｄに実線で示されている。これらの図では、他のフェーズの前記画素レンダリングと光線軌跡も示されているが、破線の輪郭線が使用されている。最初の添え字は、表示サイクルの前記４つのフェーズのうちのフェーズ番号（１、２、３、４）を示し、２番目の添え字は視野番号を示す。例えば、表示サイクルのフェーズ１では、シャッタセットＳ１がオンになり、Ｐ１，１、Ｐ１，２、Ｐ１，３、Ｐ１，４を含むＥＩ１０１のセットが表示される（図５Ａ）。前記ＣＤＰ１０９上には４つの中間画像Ｐ'１，１、Ｐ'１，２、Ｐ'１，３、Ｐ'１，４が形成され、図５Ｃ、光線は４つの要素視野、Ｖ１，１、Ｖ１，２、Ｖ１，３、Ｖ１，４にそれぞれ対応する４つのサブ窓で構成される視野領域Ｖ１のみを通過することができる、図５Ｄ。図７Ａ－７Ｄは、フェーズ２における１）前記マイクロディスプレイ１０２面上の画素、２）開放シャッタセット、３）前記ＣＤＰ１０９上の画像、および４）前記視野窓１１０面上の前記光線軌跡の状態をそれぞれ示している。各フェーズでは、前記開放シャッタセットに対応する要素視野のみがレンダリングされ、図４および図６の前記視野窓１１０で白く表示された視野領域（Ｖ１およびＶ２）として示される。前記シャッターアレイ１０６と要素画像１０１の異なるセットとを時分割多重化方式で組み合わせることにより、全表示サイクル中に全ての前記要素視野を人間の目で統合的に受信することができる。シャッタサイズと前記マイクロレンズ１０５のピッチの比率は、表示サイクルにおける位相数に依存する。前記全表示サイクルが４つのフェーズを含む可能性がある図４と図６に示すケースでは、前記シャッター開口部のサイズは前記マイクロレンズ１０５ピッチの半分に等しい。本発明に従って異なる視野分布を達成するために、前記ＭＬＡ１０４レンズピッチに対する前記シャッターサイズの他の比率を選択できることは明らかである。
【0021】
図４～図７Ｄで説明した方式は、Ｍが１より大きいＭ相時分割多重化にも容易に適応できることは注目に値する。前記シャッタアレイ１０６の前記開口部素子は、複数の画素化素子を含んでいてもよいことはさらに注目に値する。例えば、小さな画素からなる空間光変調器がプログラマブルシャッタアレイ１０６として採用されることがあり、したがって、前記開口部素子の各々が複数の画素化素子から構成されることがある。このような画素化された開口部素子により、異なる画素化素子セットをグループ化することで、前記サブ開口部が大きな面積を有し、互いに重なり合うことを可能にする。このようなサブ開口部の重なりは、前記時分割多重化されたサブ視野窓１１０の重なりをもたらすことができ、空間分解能および深度分解能の潜在的な改善をもたらす。この効果は、以下でさらに実証される。
【0022】
提案された時分割多重化ＩｎＩに基づくライトフィールドディスプレイが、本発明に従って異なる構成でどのように表示性能を高めることができるかを示すために、まず、図８に示すような、シャッターアレイ１０６ない1組の要素画像１０１に対する従来のＩｎＩに基づくライトフィールドディスプレイの概略レイアウト８００を用いて、主要なパラメトリック関係を導出する。前記ＭＬＡ８０４は、同じ焦点距離ｆＭＬＡを有するマイクロレンズ８０５のアレイを含むことができる。前記マイクロディスプレイ８０２と前記ＭＬＡ８０４との間のギャップをｇと表記し、前記ＭＬＡ８０４から前記ＣＤＰ８０９までの距離をｌＣＤＰと表記する（図８）。前記再構成されたシーンのＣＤＰ８０９と前記接眼レンズ８０８との間の距離はｚ０であり、前記視野窓８１０は前記接眼レンズ８０８から距離ＺＸＰだけ離れた位置にある。前記ギャップｇが前記焦点距離ｆＭＬＡと等しいか、またはそれより小さい場合、仮想ＣＤＰ８０９が前記マイクロディスプレイ８０２の左側に形成され、前記小型レンズから出る光線束は発散しているように見える。前記ギャップｇが前記焦点距離ｆＭＬＡより大きい場合、前記マイクロディスプレイ８０２の右側に実際のＣＤＰ８０９が形成され、前記小型レンズから出た光線束は、図８に示すように、前記ＣＤＰ８０９に向かって収束しているように見える。
【0023】
前記ＣＤＰ８０９が前記ＭＬＡ８０４を介した前記マイクロディスプレイ８０２の光学共役像であることを考えると、その位置は以下で与えられる。
【0024】
【数2】
【0025】
ここで、ｍＭＬＡは前記ＭＬＡ８０４の横倍率であり、ｍＭＬＡは次の式で与えられる。
【0026】
【数3】
【0027】
図８に示されるように、前記視野窓８１０上の要素視野の前記光線軌跡および前記視野窓８１０上の全ての前記要素視野８０１の分布は、前記ＭＬＡ８０４の形状および配置に依存する。前記ＭＬＡ８０４のピッチをｐＭＬＡと表記し、前記マイクロレンズの直径をｄＭＬＡと表記する。そして、前記視野窓８１０面上の要素視野の軌跡サイズｄは、次式で表すことができる。
【0028】
【数4】
【0029】
ここで、ｆｅｙｐｉｅｃｅは前記接眼レンズの焦点距離である。
【0030】
隣接する２つの要素視野間の横方向の変位、すなわち前記視野窓８１０上の前記要素視野分布のピッチｓは、以下のように表すことができる。
【0031】
【数5】
【0032】
要素視野の軌跡曲線因子αは、要素視野の前記光線軌跡サイズｄと、隣接する２つの視野の軌跡間の前記ピッチｓとの比として定義される。
【0033】
【数6】
【0034】
図８の例に示すように、前記曲線因子αは、前記ＭＬＡ８０４の物理的配置と前記マイクロディスプレイ８０２からの前記光線束の開口部数（ＮＡ）によって制限されるため、典型的には０から８の範囲である。曲線因子が低いと、大きな回折効果や視野不連続のアーチファクトが生じる可能性があることに留意されたい。
【0035】
ＩｎＩに基づくライトフィールドディスプレイの視野サンプリング特性は、単位面積当たりの視野数として定義される視野密度αｖｉｅｗによって特徴付けることができる。これは、前記視野窓上の要素視野のピッチによって定義される面積の逆数を計算することによって求めることができる。ここでは簡単のため、図５Ａ～５Ｄに示すように、前記要素視野が前記視野窓１１０上に矩形配列で均等に分布し、各要素視野の前記光線軌跡も真四角であると仮定する。円形開口部小型レンズアレイまたは他の円形開口部アレイが利用される場合、前記光線軌跡は、図８に示されるように円形であってもよい。この場合、視野密度は以下の式により表すことができる。
【0036】
【数7】
【0037】
再構成された３Ｄシーンをレンダリングするすべての前記要素視野の前記軌跡寸法の合計は、３Ｄ再構成されたシーンの前記ライトフィールドを観察することができる、ディスプレイの前記視野窓１１０またはアイボックス（Ｄｅｙｅｂｏｘと表記）の寸法を定義する。水平方向または垂直方向の前記アイボックスの合計サイズは、前記ＣＤＰ１０９上の再構成された点に対応する異なるＥＩ１０１からの前記光線束を積分することによって近似的に求めることができ、以下のように推定される。
【0038】
【数8】
【0039】
ここで、Ｎは３Ｄ元点の再構成に使用される水平方向または垂直方向の視野数であり、前記ＣＤＰ１０９上の前記ＭＬＡ１０４の横倍率ｍＭＬＡに等しい。
【0040】
回折による画像劣化を考慮することなく、前記視野窓１１０で観察される再構成された３Ｄシーンの角度分解能は次式で表すことができる。
【0041】
【数9】
【0042】
ここで、ｐは前記マイクロディスプレイ１０２上の画素サイズである。高い空間分解能を提供するディスプレイを実現するためには、βの値を小さくすることが望まれる。
【0043】
ＩｎＩに基づくライトフィールドディスプレイでは、大きな被写界深度を持つ３Ｄシーンのレンダリングが可能で、縦方向の奥行き解像度が高く、画像アーチファクトが少なく、前記よく知られた輻輳焦点調節競合（ＶＡＣ）問題を緩和するための正確な焦点調節キューが得られるライトフィールドディスプレイを実現するために、高い視野密度αｖｉｅｗが望まれる。視野密度とこれらのディスプレイ性能指標との間の解析的関係は、ＨｕａｎｇとＨｕａによって徹底的に研究されている。式（６）で示されるように、前記視線密度αｖｉｅｗは、要素視線分布のピッチｓの２乗に反比例する。一方、式（４）が示唆するように、隣接する２つの要素視野間の前記光線軌跡のピッチｓは、前記ＭＬＡ１０４の光学倍率ｍＭＬＡに反比例し、前記ＭＬＡ１０４のピッチｐＭＬＡに比例する。したがって、前記小型レンズによる光学倍率を低くして、高い視野密度を達成することが望まれる。しかしながら、式（７）により示唆されるように、前記アイボックスサイズＤｅｙｅｂｏｘは、前記視野窓１０１上の前記要素視野の前記光線軌跡ピッチに正比例し、これは、前記小型レンズの低い光学倍率が選択される場合、小さなアイボックスが得られることを示唆する。さらに、式（８）によって示唆されるように、前記ＭＬＡ１０４の倍率が大きいと、画素あたりの角度分解能の値が大きくなり、ディスプレイとしての空間分解能が悪くなり、画質が低下する。
【0044】
同様のパラメトリック関係は、図３Ａに示されるように、本発明に従って提案される３Ｄライトフィールドをレンダリングするための前記時分割多重化システムおよび方法についても導出される。しかしながら、図８に示された従来のＩｎＩに基づくディスプレイ方法とは異なり、３Ｄシーンをレンダリングするための前記要素視野は、同時にレンダリングされるのではなく、時分割多重化された方式でレンダリングされる。図３Ａに示されるように、４ｘ４個の異なる要素視野を通して３Ｄ画像点Ｐを再構成するために、これら１６個の要素視野は４組の要素画像１０１に分割され、前記要素画像１０１の各組は４個の要素視野から構成される。前記要素画像１０１の４つのセットは、図４－７Ｄによって説明されるように、４相時分割多重方式でレンダリングされる。
【0045】
一般化された構成では、時分割多重化されたライトフィールドの全ての前記要素視野をレンダリングするために、異なる位相に対する要素視野の異なるセットが互いに組み合わされる。図３Ａ～７Ｄに示されるように、ある位相において、スイッチオンされた隣接するシャッター素子（例えば図４のＳ１）間のピッチはｐＳＡと表記される。これは、同じ位相でレンダリングされる前記要素視野のピッチを決定する。しかし、時分割多重方式によって組み合わされた前記要素視野の有効ピッチは、はるかに小さい。これは、水平方向と垂直方向にそれぞれ１つの位相でレンダリングされた隣接する視野の間に組み合わされる位相の数、ＭＨとＭＶに依存する。必要な総位相Ｍは、Ｍ＝ＭＨ＊ＭＶとして与えられる。一般性を損なうことなく、水平方向と垂直方向に同じ数の視野が組み合わされると仮定する（すなわち、ＭＨ＝ＭＶ）。Ｍ相時分割多重システムでは、シャッター上の隣接する組み合わされたサブ開口部の有効ピッチは次式で表すことができる。
【0046】
【数10】
【0047】
図３Ａに示すように、前記組み合わされた要素視野の間で均等な分布を確保するためには，後続の２つのフェーズでスイッチオンされた前記シャッター要素間の横方向変位ΔｄＳＡ－ＨとΔｄＳＡ－Ｖを、それぞれ水平方向と垂直方向で注意深く選択する必要がある。一般性を損なうことなく、水平方向と垂直方向で同じ横変位（すなわち，ΔｄＳＡ－Ｈ＝ΔｄＳＡ－Ｖ＝ΔｄＳＡ）を仮定するとしよう。異なる位相（例えば図４のＳ１とＳ２）でスイッチオンされる前記隣接シャッタ素子間の横変位ΔｄＳＡは以下の関係を満たすはずである。
【0048】
【数11】
【0049】
この場合、図３Ｃに示すように、前記視野窓１１０上の各要素視野の前記光線軌跡サイズｄＴＭは、前記小型レンズの前記開口サイズｄＭＬＡの代わりに、前記シャッタ要素の開口サイズｄＳＡに依存する。同様に、前記視野窓１１０上で組み合わされた２つの隣接する要素視野間の前記光線軌跡ピッチｓＴＭは、ＭＬＡ１０４の前記小型レンズピッチｐＭＬＡの代わりに、前記シャッタ開口部の有効ピッチｐＳＡ．ｅｆｆに依存する。前記視野窓１１０上の前記光線軌跡サイズｄＴＭと、時分割多重化ＩｎＩシステムにおける同じマイクロレンズに対応する２つの隣接する要素視野間の横方向の変位ΔｄＴＭは、次式で表すことができる。
【0050】
【数12】
【0051】
【数13】
【0052】
式（１１）および（１２）と同様に、時分割多重化ＩｎＩシステムの前記視野窓１１０における前記要素視野の前記有効ピッチｓＴＭは、前記シャッタ上の隣接する組み合わされるサブ開口部の有効ピッチに依存し、これは次式で表すことができる。
【0053】
【数14】
【0054】
時分割多重化システムにおける前記要素視野の前記曲線因子は次のように表される。
【0055】
【数15】
【0056】
従来のシステムとは異なり、要素視野の前記曲線因子は、ＭＬＡ１０４の前記曲線因子ではなく、前記シャッタアレイ１０６の曲線因子に依存する。これにより、先に述べたように前記サブ開口部が互いに重なり合うことができるので、前記要素視野の曲線因子の大きな範囲が可能になり、後続の実装および実施形態で説明される。これにより、１より大きい曲線因子が可能になり、ＭＬＡ１０４の物理的な曲線因子の制限を克服し、潜在的にＩｎＩシステムの実装の幅を広げることができる。
【0057】
時分割多重レンダリング法では、各マイクロレンズは、Ｍ相の要素視野のＭセットをレンダリングするために使用される。これは、３Ｄ点の再構成に使用される視野の数が、ＭＬＡ１０４の横方向の倍率ｍＭＬＡに等しくなくなることを意味する。したがって、時分割多重システムの水平方向または垂直方向のいずれかにおける前記視野窓１１０またはアイボックスの寸法は、次式で表される。
【0058】
【数16】
【0059】
回折効果を考慮しなければ、時分割多重化システムにおいて前記視野窓１１０で観察される再構成シーンの角度分解能は、同じ式（８）で表すことができる。
【0060】
式（１）～（１５）によって特徴付けられるパラメトリックな関係に基づいて、本発明に従って提案される時分割多重化方式の実施形態を実装するいくつかの異なる方法があり、異なるアプリケーションの要求に従って、全体的な表示品質の改善の異なる側面を達成することができる。
【0061】
実施例１：視界密度優先方式
上述したパラメトリックな関係に基づいて、時分割多重化ライトフィールドシステムの本発明に従った１つの可能な実装は、所定のアイボックスのサイズを維持し、同じピッチおよび同じ光学倍率の小型レンズを使用しながら、要素視野の数および視野密度を増加させることである。視野密度を高めるための４相時分割多重化システム１００の概略レイアウトを図３Ａに示す。式（９）で示されるように、時分割多重化方式によってレンダリングできる視野の総数は、前記シャッターアレイ１０６の有効ピッチｐＳＡ．ｅｆｆに対するＭＬＡ１０４のピッチｐＭＬＡの比に依存する。所与のＭＬＡ１０４に対して、より小さい有効シャッターピッチサイズを選択すると、より多くの要素視野１０１を提供するが、目がちらつきの影響を受けずに時分割多重化方式でそれらを見ることができるように、要素視野１０１の前記Ｍセットを十分に速くレンダリングできるように、前記シャッターアレイ１０６と前記マイクロディスプレイのリフレッシュレートを高くする必要がある。最新のディスプレイ技術のリフレッシュレートの限界を考慮すると、図３Ａに示されるように、４段階のレンダリング工程には２の比率が推奨される。
上述したパラメトリックな関係に基づいて、時分割多重化ライトフィールドシステムの本発明に従った１つの可能な実装は、所定のアイボックスのサイズを維持し、同じピッチおよび同じ光学倍率の小型レンズを使用しながら、要素視野の数および視野密度を増加させることである。視野密度を高めるための４相時分割多重化システム１００の概略レイアウトを図３Ａに示す。式（９）で示されるように、時分割多重化方式によってレンダリングできる視野の総数は、前記シャッターアレイ１０６の有効ピッチｐＳＡ．ｅｆｆに対するＭＬＡ１０４のピッチｐＭＬＡの比に依存する。所与のＭＬＡ１０４に対して、より小さい有効シャッターピッチサイズを選択すると、より多くの要素視野１０１を提供するが、目がちらつきの影響を受けずに時分割多重化方式でそれらを見ることができるように、要素視野１０１の前記Ｍセットを十分に速くレンダリングできるように、前記シャッターアレイ１０６と前記マイクロディスプレイのリフレッシュレートを高くする必要がある。最新のディスプレイ技術のリフレッシュレートの限界を考慮すると、図３Ａに示されるように、４段階のレンダリング工程には２の比率が推奨される。
【0062】
前記視野密度向上方式では、前記ＭＬＡ１０４、接眼レンズ１０８、およびそれらの相対間隔の光学仕様は、図８に示すように、従来の非多重化方式のものと同じになるように選択する。その結果、式（１５）で与えられる総アイボックスサイズ、および式（８）で与えられるＭ相多重化システムの空間分解能は、非多重化システムのそれらのパラメータと同じになる。ただし、多重化システムの前記総視野数は、非多重化システムのＭ倍になる。式（１３）によって与えられる隣接する要素視野１０１の前記光線軌跡ピッチは、非多重化システムよりも時分割多重化システムの方が大幅に小さくなり、対応する視野密度は大幅に高くなる。
【0063】
比較のため、表１に図３Ａに示す４相時分割多重化方式の光学仕様を示し、シャッターアレイ１０６を用いない図８に示す非時分割多重化方式にも同じ光学仕様を適用する。この設計例では、前記マイクロディスプレイの前記画素ピッチｐは８ｕｍである。前記ＭＬＡ１０４の全てのマイクロレンズの焦点距離は３ｍｍである。前記ＭＬＡ１０４のマイクロレンズ直径ｄＭＬＡと前記小型レンズピッチは共に１ｍｍである。前記接眼レンズ１０８の焦点距離は１８ｍｍであり、ＣＤＰ１０９と接眼レンズ１０８の距離は１８ｍｍである。前記視野窓１１０は前記接眼レンズ１０８の後方２４ｍｍの位置にある。前記シャッターアレイ１０６のピッチｐＳＡは１ｍｍ、前記シャッターアレイ１０６系の前記開口部サイズｄＳＡは前記時分割方式の場合０．５ｍｍである。
【0064】
【表1】
【0065】
表２は、図３Ａの本発明による視野密度優先時分割多重化ＩｎＩシステム１００と図８の従来のInI表示システム８００との間の視野パラメータの比較を示す。本発明による前記時分割多重化ＩｎＩシステム１００は、前記従来の非時分割多重化システムと同じアイボックスサイズと角度分解能を有するが、本発明による前記時分割多重化システムでは、前記視野数と前記視野密度が４倍であることが分かる。
【0066】
【表2】
【0067】
実施例２：曲線因子方式の視野
要素視野の前記曲線因子は、ライトフィールドディスプレイの前記空間分解能と視覚的外観の両方において非常に重要な役割を果たす。従来のＩｎＩに基づくディスプレイでは、式（５）で示唆されるように、前記要素視野の前記曲線因子は前記マイクロレンズ配置の前記物理的制約によって制限され、典型的には０から１の間である。上述したパラメトリックな関係に基づいて、時分割多重化ライトフィールドシステムの別の代替構成は、前記視野の総数またはアイボックスサイズおよび空間解像度などの所与の視野ラメータセットを維持しながら、前記要素視野の前記曲線因子を高めるために前記多重化仕様を適応させることである。式（１４）によって示唆されるように、時分割多重化システムにおける視野曲線因子は、前記サブ開口部サイズｄＳＡと前記有効サブ開口部ピッチｐＳＡ．ｅｆｆとの間の比によって定義される。図９Ａ～９Ｂによって示されるように、図３Ａの前記シャッターアレイ１０６は、液晶ディスプレイアレイやデジタルミラーデバイスアレイのような小さなプログラム可能な画素化素子で作ることができる。このような画素化装置では、個々の画素のオン状態またはオフ状態を独立してアドレス指定することができる。このような場合、前記サブ開口部サイズｄＳＡは、異なる画素グループ化によって、前記有効サブ開口部ピッチｐＳＡ．ｅｆｆよりも大きくすることができるので、時分割多重化システムの前記曲線因子を１よりも大きくすることができ、隣接する要素視野の光線軌跡重複を可能にし、その結果、視野の不連続による画像アーチファクトを最小限に抑えることができる。前記時分割多重化されたサブ視野窓の重複はまた、空間分解能および深さ分解能の潜在的な改善を提供することができる。前記第１の開口部セットからの前記第２のサブ開口部セットの横方向変位ΔｄＳＡが、前記サブ開口部のサイズｄＳＡよりも小さい場合、時分割多重化された前記２つのサブ開口部セットによってレンダリングされた前記対応する要素視野の前記光線軌跡は、前記視野窓上で重複し、曲線因子が１よりも大きくなる。前記第１の開口部セットからの第２のサブ開口部セットの横方向変位ΔｄＳＡが前記サブ開口部のサイズｄＳＡよりも大きい場合、前記対応する要素視野の前記光線軌跡は前記視野窓上で重ならず、曲線因子は１未満となる。
要素視野の前記曲線因子は、ライトフィールドディスプレイの前記空間分解能と視覚的外観の両方において非常に重要な役割を果たす。従来のＩｎＩに基づくディスプレイでは、式（５）で示唆されるように、前記要素視野の前記曲線因子は前記マイクロレンズ配置の前記物理的制約によって制限され、典型的には０から１の間である。上述したパラメトリックな関係に基づいて、時分割多重化ライトフィールドシステムの別の代替構成は、前記視野の総数またはアイボックスサイズおよび空間解像度などの所与の視野ラメータセットを維持しながら、前記要素視野の前記曲線因子を高めるために前記多重化仕様を適応させることである。式（１４）によって示唆されるように、時分割多重化システムにおける視野曲線因子は、前記サブ開口部サイズｄＳＡと前記有効サブ開口部ピッチｐＳＡ．ｅｆｆとの間の比によって定義される。図９Ａ～９Ｂによって示されるように、図３Ａの前記シャッターアレイ１０６は、液晶ディスプレイアレイやデジタルミラーデバイスアレイのような小さなプログラム可能な画素化素子で作ることができる。このような画素化装置では、個々の画素のオン状態またはオフ状態を独立してアドレス指定することができる。このような場合、前記サブ開口部サイズｄＳＡは、異なる画素グループ化によって、前記有効サブ開口部ピッチｐＳＡ．ｅｆｆよりも大きくすることができるので、時分割多重化システムの前記曲線因子を１よりも大きくすることができ、隣接する要素視野の光線軌跡重複を可能にし、その結果、視野の不連続による画像アーチファクトを最小限に抑えることができる。前記時分割多重化されたサブ視野窓の重複はまた、空間分解能および深さ分解能の潜在的な改善を提供することができる。前記第１の開口部セットからの前記第２のサブ開口部セットの横方向変位ΔｄＳＡが、前記サブ開口部のサイズｄＳＡよりも小さい場合、時分割多重化された前記２つのサブ開口部セットによってレンダリングされた前記対応する要素視野の前記光線軌跡は、前記視野窓上で重複し、曲線因子が１よりも大きくなる。前記第１の開口部セットからの第２のサブ開口部セットの横方向変位ΔｄＳＡが前記サブ開口部のサイズｄＳＡよりも大きい場合、前記対応する要素視野の前記光線軌跡は前記視野窓上で重ならず、曲線因子は１未満となる。
【0068】
図１０Ａ～１０Ｂは、本発明に従ってライトフィールドディスプレイの前記視野曲線因子を高めるための４相時分割多重化システム１０００の例示的な概略レイアウトを示す。図１０Ａは、第１相の光線経路および第１のアクティブなサブ開口部セットＳ１の対応する配置を示し、図１０Ｂは、第２相の光線経路および第２のアクティブなサブ開口部セットＳ２の対応する配置を示す。ここでは，アドレス指定可能な小画素で構成されたプログラム可能なシャッターアレイ１００６が利用され、開口したサブ開口部のサイズｄＳＡと有効ピッチｐＳＡ．ｅｆｆがデジタル制御できるようになっている。図１０Ａ～１０Ｂに示すように、各要素視野の前記光線束サイズが大きくなるように、より多くの制御可能な画素をグループ化することによって、大きなサブ開口部サイズを得ることができる。
【0069】
一例として、前記視野曲線因子を高め、ひいては前記視野密度を高めるための４相時分割多重仕様について、前記シャッタアレイ１０６として透過型ＬＣに基づく画素アレイ１００６を使用する以外は、前記非時分割多重化方式について表１に示したものと同じ光学仕様を使用する。前記ＬＣ画素アレイ１００６は１２５ｕｍの画素ピッチを有し、適切な画素分解能を有するので、その全体寸法は前記ＭＬＡ１００４のサイズに適合する。前記マイクロレンズの前記各１ｍｍ開口部の下には、合計８ｘ８の画素化素子がある。図９Ａ～９Ｂは、前記第１および第２のサブ開口部のセット、それぞれＳ１およびＳ２の設計パラメータを示す。前記シャッターの各サブ開口部のサイズｄＳＡは６画素に設定され、同じマイクロレンズに対応する前記隣接するサブ開口部間の横方向のずれΔｄＳＡ１は２画素に設定される。全体として、サブ開口部の前記第１のセットＳ１はサブ開口部の前記第２のセットと４画素だけ重なる。この場合、前記有効シャッターピッチｐＳＡ．ｅｆｆは４画素となる。前記第１セットのサブ開口部によってレンダリングされた前記要素視野の前記光線軌跡と前記第２セットのサブ開口部によってレンダリングされた前記要素視野の前記光線軌跡は３３％重なり、有効視野曲線因子は１．５となる。表３は、この時分割多重化方式の前記視野パラメータと空間分解能を示している。
【0070】
【表3】
【0071】
実施例３：空間分解能優先方式
上述したパラメトリック関係に基づいて、本発明による時分割多重化ライトフィールドシステムの更なる例示的な代替構成は、前記視野の総数や視野密度などの所定の視野パラメータのセットを維持しながら、前記再構成された３Ｄシーンの空間解像度を高めるために前記多重化方式を適応させることである。式（８）が示唆するように、再構成された３Ｄシーンの画素あたりの前記角度分解能は、前記ＭＬＡの光学倍率ｍＭＬＡに正比例する。前記ＭＬＡの光学倍率ｍＭＬＡが低いほど、画素あたりの前記角度分解能の値は小さくなり、ディスプレイとして高い空間分解能と良好な画質が得られる。式（８）は、さらに、前記角度分解能が前記マイクロディスプレイの画素ピッチｐ、前記ＣＤＰと前記接眼レンズ間の距離ｚ０、前記接眼レンズの焦点距離ｆｅｙｅｐｉｅｃｅ、および前記接眼レンズと視野窓面間の距離ｚＸＰに依存することを示唆している。従って、全視野数やアイボックスなどの所定の視野パラメータ仕様のセットに対して、時分割多重化システムの光学仕様を非多重化システムとは異なるように最適化することで、同じ視野パラメータを生成しながら、空間分解能の歩留まりを向上させることができる。
上述したパラメトリック関係に基づいて、本発明による時分割多重化ライトフィールドシステムの更なる例示的な代替構成は、前記視野の総数や視野密度などの所定の視野パラメータのセットを維持しながら、前記再構成された３Ｄシーンの空間解像度を高めるために前記多重化方式を適応させることである。式（８）が示唆するように、再構成された３Ｄシーンの画素あたりの前記角度分解能は、前記ＭＬＡの光学倍率ｍＭＬＡに正比例する。前記ＭＬＡの光学倍率ｍＭＬＡが低いほど、画素あたりの前記角度分解能の値は小さくなり、ディスプレイとして高い空間分解能と良好な画質が得られる。式（８）は、さらに、前記角度分解能が前記マイクロディスプレイの画素ピッチｐ、前記ＣＤＰと前記接眼レンズ間の距離ｚ０、前記接眼レンズの焦点距離ｆｅｙｅｐｉｅｃｅ、および前記接眼レンズと視野窓面間の距離ｚＸＰに依存することを示唆している。従って、全視野数やアイボックスなどの所定の視野パラメータ仕様のセットに対して、時分割多重化システムの光学仕様を非多重化システムとは異なるように最適化することで、同じ視野パラメータを生成しながら、空間分解能の歩留まりを向上させることができる。
【0072】
図１１は、再構成された３Ｄシーンの合計２ｘ２視野を維持しながら、ライトフィールドディスプレイの前記空間解像度を高めるための４相時分割多重化システム１１００の概略レイアウトを示す。比較のために、図９Ａ～９Ｂは、同じ２ｘ２視野をもたらす多重化なしの従来のＩｎＩに基づくディスプレイ方式の概略レイアウトを示す。両方のシステムで合計２ｘ２の視野を達成するために、前記４相多重化方式のＭＬＡの光学倍率ｍＭＬＡは、従来の非多重化システムの光学倍率の半分に選ばれている。式（２）によって示唆されるように、前記ＭＬＡ１０４の光学倍率の制御は、前記マイクロディスプレイとＭＬＡ１０４との間のギャップを調整するか、前記ＭＬＡ１０４の焦点距離を調整するか、またはその両方を調整することによって達成することができる。比較の便宜上、図１１に示す例では、前記マイクロディスプレイと前記ＭＬＡ１０４のギャップを調整しながら、前記ＭＬＡ１０４の焦点距離、ピッチ、マイクロレンズ径などの光学仕様は、非多重化システムで使用する前記ＭＬＡ１０４と同じものを使用している。しかし、図１１の前記時分割多重化方式では、図９Ａ～９Ｂの前記非多重化方式に比べて２倍の空間分解能が得られる。Ｍ相の時分割多重化方式がもたらす解像度の向上の大きさは、前記シャッターアレイの有効ピッチｐＳＡ．ｅｆｆに対するＭＬＡ１０４のピッチｐＭＬＡの比に依存する。位相数が多ければ多いほど、前記シャッターアレイと前記マイクロディスプレイのリフレッシュレートが高くなり、前記Ｍセットの要素視野を十分な速さでレンダリングできるようになるため、目のちらつきの影響を受けずに時分割多重化方式で見ることができるようになる。最新のディスプレイ技術のリフレッシュレートの限界を考慮すると、４倍の分解能向上には２の比率が推奨される。
【0073】
前述したように、式（８）は、前記角度分解能の前記マイクロディスプレイ画素ピッチｐ、前記ＭＬＡ１０４の光学倍率、前記ＣＤＰ１０９と前記接眼レンズ１０８との距離ｚ０、前記接眼レンズ１０８の焦点距離、ｆｅｙｅｐｉｅｃｅ、および前記接眼レンズ１０８と視野窓面１１０との距離ｚＸＰへの依存性を示唆している。したがって、分解能を向上させる方式では、式（８）で与えられる前記空間分解能と、式（９）から（１５）で与えられる前記視野パラメータの間のバランスを得るために、前記ＭＬＡ１０４、接眼レンズ１０８、およびそれらの相対的な間隔の光学仕様を一緒に最適化しなければならない。したがって、分解能優先方式の可能な実施形態は、図１１に示す例に限定されないものとする。前記マイクロディスプレイ１０２の画素ピッチが同じであるという仮定の下で、図９Ａ、９Ｂおよび１１に示す両方のシステムは、それぞれ合計２ｘ２の視野をレンダリングすることができる。
【0074】
【表4】
【0075】
比較のため、表４に４相時分割多重方式の光学仕様を２セット示す。第１のセット（実施例１）は、図１１に示す実施例に対応し、マイクロディスプレイ１０２を採用し、物体：画像の関係が異なる以外は、前記非時分割多重方式について表１に示すものと同じ光学仕様を採用している。前記マイクロディスプレイ１０２とＭＬＡ１０４の間のギャップｇは４．５ｍｍから６ｍｍに変更され、前記ＭＬＡ１０４とＣＤＰ１０９の間の距離は９ｍｍから６ｍｍに変更された。表４の第２の実施例（実施例２）は、前記第１の実施例と同じ空間分解能と視認数を得るシステム仕様に対応するが、図９Ａ～９Ｂの前記非多重化方式の視認密度とアイボックスサイズは同じである。第２の設計例では、前記マイクロディスプレイ１０２の画素ピッチｐは、前記第１の実施例と同じ８ｕｍである。前記ＭＬＡ１０４の全ての前記マイクロレンズ１０５は同じ焦点距離２．５７ｍｍを有する。前記ＭＬＡ１０４の前記マイクロレンズ直径ｄＭＬＡと前記小型レンズピッチは共に１ｍｍである。前記接眼レンズ１０８の焦点距離は２４ｍｍであり、ＣＤＰ１０９と接眼レンズ１０８の距離は２４ｍｍである。前記視野窓は前記接眼レンズ１０８の２４ｍｍ後方に位置する。前記シャッターアレイ１０６のピッチｐＳＡは１ｍｍ、前記シャッターアレイ１０６の開口サイズｄＳＡは０．５ｍｍである。表５は、前記２つの異なる時分割多重化構成間の視野パラメータと空間分解能の比較を示す。非多重化システムの比較データは表５にある。
【0076】
【表5】
【0077】
実施例４：視野クロストーク低減を伴う時分割多重化方式
先に示した全ての例示的な実施態様の中で、前記クロストーク問題を低減するために、ＭＬＡ１２０４と同じピッチを有する光線制限光学開口部のアレイからなる開口部アレイ１２０７を前記マイクロディスプレイ１２０２とＭＬＡ１２０４との間に挿入することができる。図１２に模式的に示されるように、各マイクロレンズ１２０５に対応する前記開口部は、所望の光線のみが伝搬して前記接眼レンズに到達することを許容するが、隣接する要素画像１２０１からの望ましくない光線が前記対応するマイクロレンズ１２０５に到達することは阻止する。例えば、ＥＩ１とＥＩ２との間の前記開講部アレイ１２０７上の不透明部分（黒い実線で示される）は、前記要素画像ＥＩ１から発せられた破線の光線が前記マイクロレンズＭＬ１に隣接する前記マイクロレンズＭＬ２に到達するのを阻止する。これらのブロックされた光線は、ＩｎＩディスプレイシステムで一般的に観察されるクロストークとゴースト画像の主な原因である。前記マイクロディスプレイ１２０２から前記開口部アレイ１２０７までの距離はａと表記され、開口部開口の直径はｄＡと表記される。前記クロストークを低減するために、これらのパラメータは以下の制約を満たす必要がある。
先に示した全ての例示的な実施態様の中で、前記クロストーク問題を低減するために、ＭＬＡ１２０４と同じピッチを有する光線制限光学開口部のアレイからなる開口部アレイ１２０７を前記マイクロディスプレイ１２０２とＭＬＡ１２０４との間に挿入することができる。図１２に模式的に示されるように、各マイクロレンズ１２０５に対応する前記開口部は、所望の光線のみが伝搬して前記接眼レンズに到達することを許容するが、隣接する要素画像１２０１からの望ましくない光線が前記対応するマイクロレンズ１２０５に到達することは阻止する。例えば、ＥＩ１とＥＩ２との間の前記開講部アレイ１２０７上の不透明部分（黒い実線で示される）は、前記要素画像ＥＩ１から発せられた破線の光線が前記マイクロレンズＭＬ１に隣接する前記マイクロレンズＭＬ２に到達するのを阻止する。これらのブロックされた光線は、ＩｎＩディスプレイシステムで一般的に観察されるクロストークとゴースト画像の主な原因である。前記マイクロディスプレイ１２０２から前記開口部アレイ１２０７までの距離はａと表記され、開口部開口の直径はｄＡと表記される。前記クロストークを低減するために、これらのパラメータは以下の制約を満たす必要がある。
【0078】
【数17】
【0079】
【数18】
【0080】
ここで、ｐＥＩは要素画像の寸法であり、ｐＭＬＡは前記ＭＬＡのピッチである。前記開口部アレイ１２０７は、印刷された固定開口部アレイ１２０７または空間光変調器である。
【0081】
実施例５：制御可能な指向性光源による時分割多重方式
図３Ａに示すＩｎＩに基づくライトフィールドディスプレイ１００の時分割多重化方式は、前記ＭＬＡ１０４に隣接して配置された切替可能なシャッターアレイ１０６を利用する。各マイクロレンズ１０５下の異なるシャッター素子をオンまたはオフにすることによって、前記小型レンズ１００５の異なる部分を通る異なる光線経路の間で迅速に切り替えることができ、前記マイクロディスプレイ１０２上にレンダリングされ、前記ＭＬＡ１０４によって時分割多重化された様式で撮像される要素画像１０１の異なるセットの画素からの光線束を可能にする。切替可能なシャッタアレイ１２０７の使用は、前記シャッタアレイの透過率または反射率が制限される可能性があるため、潜在的に光損失につながる可能性がある（図１２）。自己発光型マイクロディスプレイ１０２が利用される場合、図３Ａの例示的な構成１００には切替可能なシャッターアレイ１０６が使用される。前記マイクロディスプレイ１０２は、照明源を変調する液晶ディスプレイ（ＬＣＤ）機器（反射型または透過型）またはデジタルミラー機器（ＤＭＤ）などの非自己発散型ＳＬＭ型ディスプレイ技術に基づくことができる。これらの非発光型ディスプレイ技術は、反射型ＳＬＭの場合はフロントライト、透過型ＳＬＭの場合はバックライトなど、いずれも照明光源を必要とする。このような非発光型ディスプレイ技術を採用する構成においても、異なる光線路を迅速に切り替える機構として、切替可能なシャッターアレイ１０６を使用することは可能である。本発明に従った代替構成は、時分割多重方式でＭＬＡ１０４の前記マイクロレンズ開口部の異なる部分に向けて光線を選択的に出力または「放出」することができるマイクロディスプレイを作成することであり、以下、これを「指向性マイクロディスプレイ」と呼ぶ。本発明によるこのような指向性マイクロディスプレイは、ＭＬＡ１０４と協働し、前記ＭＬＡ１０４を通る異なる光線経路を迅速に切り替えて、切替可能な開口部アレイ１０６の使用と同じ光学機能を達成することができる。
図３Ａに示すＩｎＩに基づくライトフィールドディスプレイ１００の時分割多重化方式は、前記ＭＬＡ１０４に隣接して配置された切替可能なシャッターアレイ１０６を利用する。各マイクロレンズ１０５下の異なるシャッター素子をオンまたはオフにすることによって、前記小型レンズ１００５の異なる部分を通る異なる光線経路の間で迅速に切り替えることができ、前記マイクロディスプレイ１０２上にレンダリングされ、前記ＭＬＡ１０４によって時分割多重化された様式で撮像される要素画像１０１の異なるセットの画素からの光線束を可能にする。切替可能なシャッタアレイ１２０７の使用は、前記シャッタアレイの透過率または反射率が制限される可能性があるため、潜在的に光損失につながる可能性がある（図１２）。自己発光型マイクロディスプレイ１０２が利用される場合、図３Ａの例示的な構成１００には切替可能なシャッターアレイ１０６が使用される。前記マイクロディスプレイ１０２は、照明源を変調する液晶ディスプレイ（ＬＣＤ）機器（反射型または透過型）またはデジタルミラー機器（ＤＭＤ）などの非自己発散型ＳＬＭ型ディスプレイ技術に基づくことができる。これらの非発光型ディスプレイ技術は、反射型ＳＬＭの場合はフロントライト、透過型ＳＬＭの場合はバックライトなど、いずれも照明光源を必要とする。このような非発光型ディスプレイ技術を採用する構成においても、異なる光線路を迅速に切り替える機構として、切替可能なシャッターアレイ１０６を使用することは可能である。本発明に従った代替構成は、時分割多重方式でＭＬＡ１０４の前記マイクロレンズ開口部の異なる部分に向けて光線を選択的に出力または「放出」することができるマイクロディスプレイを作成することであり、以下、これを「指向性マイクロディスプレイ」と呼ぶ。本発明によるこのような指向性マイクロディスプレイは、ＭＬＡ１０４と協働し、前記ＭＬＡ１０４を通る異なる光線経路を迅速に切り替えて、切替可能な開口部アレイ１０６の使用と同じ光学機能を達成することができる。
【0082】
例えば、図１３Ａ～１３Ｂは、図３Ａ～３Ｃに図示された時分割多重化と同様の機能を実現するために、上記で説明したように指向性照明を生成する指向性マイクロディスプレイ１３０２を利用する、本発明による４相時分割多重化ＩｎＩに基づくライトフィールドシステム１３００の例示的な光学レイアウトを示す。本発明による指向性マイクロディスプレイは、切替可能な光源アレイ１３１０（例えばＬＥＤアレイ）、バリアアレイ１３１２、ＭＬＡ１３０４、および空間光変調器（ＳＬＭ１３１４）、図１３Ａ～１３Ｂを含むことができる。図１３Ａ～１３Ｂの前記ＭＬＡ１３０４は、積分イメージング目的に必要な前記主ＭＯＡ１３０４と区別するために「ＭＬＡ２」とラベル付けされていることは注目に値する。さらに、前記マイクロディスプレイ１３０２の概略レイアウトは、バックライト光源を必要とする透過型ＳＬＭ１３１４の使用を想定している。前記レイアウトは、フロントライト光源を必要とする反射型ＳＬＭ１３１４用に容易に変更することができる。前記光源アレイ１３１０は、それぞれが同じ寸法ｄｃｅｌｌを有する複数の光源セル１３１６を含むことができ、前記光源セル１３１６のピッチｐｃｅｌｌは、前記要素画像のピッチｐＥＩと同じである。各セル１３１６は、要素光源セル１３１６とみなすことができ、前記ＳＬＭ１３１４の一部に表示された対応する前記要素画像に必要なバックライトを提供する。各セル１３１６は、図１３Ａ～１３Ｂの前記光源アレイ１３１０上に矩形として示される光源セル１３１６のアレイ１３１０を含むことができる。これらの光源セル１３１６は、例えば個々の発光ダイオード（ＬＥＤ）のように、個別に制御可能である。各光源セル１３１６は、同じセル１３１６の他のユニットとは独立してオンまたはオフに切り替えることができる。各光源セル１３１６に取り付けられた前記バリアアレイ１３１２は、隣接するセル１３１６間の前記クロストークを防止し、前記マイクロレンズアレイ１３１３の機械的マウントを提供するために設けられる。前記マイクロレンズアレイ１３１３の各マイクロ小型レンズは、光源からの光を変調して、前記ＳＬＭ１３１４上にレンダリングされたその対応する要素画像のための指向性バックライトを生成することができる。前記ＳＬＭ１３１４は、前記光源セル１３１６からの光を変調し、積分イメージング用の前記要素画像をレンダリングする。図１３Ａ～１３Ｂに示されるように、光源セル１３１６内で前記光源セル１３１６のオン／オフを切り替えることにより、図３Ａのシャッターアレイと同様に、前記主ＭＬＡ１３０４を通る光線経路を選択する機能を生成することができる。例えば、図１３Ａ～１３Ｂにおいて、４相時分割多重化指向性マイクロディスプレイ１３０２を生成するために、各光源セル１３１６は、前記４相時分割多重化サイクルの位相およびレンダリングされる対応するＥＩセットにそれぞれ対応する、２ｘ２の光源セル１３１６を含み得る。図１３Ａ～１３Ｂは、全表示サイクルの２つの異なるフェーズを示す。各フェーズにおいて、前記光源アレイ１３１０内の前記光源セル１３１６の１つのセットのみがオンにされ、前記対応するセットによる放出光が、前記マイクロレンズアレイ１３１３の光学特性によって制御される所望の方向の光線で前記ＳＬＭ１３１４を照明する。これらの所望の光線は、前記主ＭＬＡ１３０４の前記マイクロレンズ開口部の選択部分に向かって伝搬し続ける。前記光源ユニットのオン・オフ状態は、ターゲット３Ｄシーンを再構成するための正しい透視視野を表す前記要素画像の対応するセットのレンダリングと同期させることができる。例えば、図１３Ａでは、前記光源の上部ユニット（白い長方形で示す）によって生成された光線は、前記ＳＬＭ１３１４上にレンダリングされた前記要素画像の第１のセットによって変調される。前記ＳＬＭ１３１４によって変調された光線は、要素視野Ｖ１を生成するために、前記マイクロレンズ開口部の底部に向かって伝搬される。図１３Ｂにおいて、前記光源の底部ユニットによって生成された前記光線は、前記ＳＬＭ１３１４上にレンダリングされた前記第２のセットの要素画像によって変調される。前記ＳＬＭ１３１４によって変調された光線は、要素ビューＶ２を生成するために、前記マイクロレンズ開口部の上部に向かって伝搬される。本実施形態では、光源アレイ１３１０内の光源セル１３１６の数が、表示サイクルにおける位相の数を決定する。例えば、図１４は、４相時分割多重化システムを示す。前記光源セル１３１６の各々は、前記イメージングＭＬＡ１３０４内の前記マイクロレンズの各々に対応するサブ開口部を生成する。
【0083】
図１４は、前記主イメージングＭＬＡ１３０４と共に指向性マイクロディスプレイ１３０２のパラメータを示す。前記光源セル１３１６と前記マイクロレンズアレイ１３１３との間の距離をＩＢＬと表す。前記マイクロレンズアレイ１３１３によって結像された前記光源セル１３１６は、前記主イメージングＭＬＡ１３０４の平面に対して光学的に共役であることが望まれる。したがって、前記距離ＩＢＬは、以下の式を満たすことが望まれる。
【0084】
【数19】
【0085】
ここで、ｍＭＬＡ２はマイクロレンズアレイ１３１３の横倍率であり、次式で表すことができる。
【0086】
【数20】
【0087】
前記視野窓平面に投影される前記要素視野の曲線因子は、各光源ユニットの物理的サイズおよび隣接する光源セル１３１６間のピッチに依存する、
【0088】
【数21】
【0089】
クロストークのないシステムを可能にするために、前記光源セル１３１６の画像は前記ＭＬＡ１３０４のサイズより大きくないことが望ましく、次式で表される。
【0090】
【数22】
【0091】
前記システムをクロストークのない状態に維持しながら１の視野曲線因子を達成するために、前記マイクロレンズアレイ１３１３の焦点距離は、前記各光源セル１３１６の像が前記主撮像ＭＬＡ１３０４の前記ピッチと正確に同じになるように良好に選択されるべきである。したがって、前記ＭＬＡ１３０４の焦点距離および光源アレイ１３１０からマイクロレンズアレイ１３１３までの距離は、式（１７）～（２０）に従って注意深く選択されるべきである。
【0092】
図１４に示された前記光源セル１３１６の各々は、画素化されたシャッターアレイの前記画素に類似した複数の発光素子を含むことができることは、さらに注目に値する。前記発光素子の各々は、個々にオンまたはオフにすることができる。図１５Ａ～１５Ｂは、本発明による２ｘ２の光源セル１３１６を有する光源アレイ１５１０の設計を示している。前記セル１３１６の各々は、要素画像パターンをレンダリングするためにＳＬＭ１３１４の対応する１つの部分を照明する。本発明による前記時分割多重化ＩｎＩの４つの位相において３Ｄライトフィールドを再構成するために２ｘ２の要素視野をレンダリングするためのＳＬＭ１３１４上の照明された領域に対応する。前記光源セル１３１６の寸法をｄｃｅｌｌと表す。前記光源セル１３１６の各々は、個別に制御可能な発光素子の２Ｄアレイ（例えば、図１５Ａ～１５Ｂに小さな正方形として示されるＬＥＤ素子の８ｘ８アレイ）を含むことができる。このアレイ形式では、各セル１３１６内の異なる数の前記光源素子をグループ化することによって、図９Ａ～９Ｂにおける前記サブ開口部に相当する有効発光領域を定義することにより、前記発光ユニットｄｕｎｉｔのサイズを制御することができる。また、前記隣接する光源セル１３１６間の横方向の間隔を調整することによって、前記発光源のピッチｐｃｅｌｌを制御することもできる。最後に、セル１３１６内の前記隣接する光源セル１３１６間の横方向の変位Δｄｕｎｉｔを調整することによって、前記視野曲線因子を制御することができる。図１５Ａ～１５Ｂに示す例では、各発光ユニット１３１６は６ｘ６発光素子のアレイを含むことができ、各セル１３１６は８ｘ８の素子を含むことができる。図１５Ａは、第１セットの要素画像をレンダリングするための前記発光セルの配置を示し、一方、前記光源セル１３１６間の前記ピッチはｐｃｅｌｌである。図１５Ｂは、第２セットの要素画像をレンダリングするための前記発光セル１３１６の配置を示しており、この場合、前記発光ユニットは、前記第１セットの要素画像をレンダリングするための最初の対応する発光ユニットから２素子だけシフトされている。異なる位相間の照明領域の重なりを容易に見ることができる。この重なりにより、前記システムは視野曲線因子１．５を有することができる。図１５Ａ～１５Ｂの例示的な構成により、例えば図９Ａ～９Ｂに示したものと同様の効果が得られる。
【0093】
実験プロトタイプ
図３Ａの回路図に基づいて、図１６に示すような時分割多重化ＩｎＩに基づくライトフィールドシステム１６００の概念実証プロトタイプを実装した。プロトタイプで使用した前記マイクロディスプレイ１６０２は、ソニー製の０．７インチ有機発光ディスプレイ（ＯＬＥＤ）で、カラー画素ピッチは８μｍ、画素解像度は１９２０ｘ１０８０（ＥＣＸ３５５Ｂ）であった。使用した前記ＭＬＡ１６０４は、Ｆｒｅｓｎｅｌ Ｔｅｃｈｎｏｌｏｇｉｅｓ（ｈｔｔｐｓ：ｗｗｗ．ｆｒｅｓｎｅｌｔｅｃｈ．ｃｏｍ）のＭＬＡ６３０である。焦点距離は３．３ｍｍ、レンズピッチは１ｍｍである。前記シャッターアレイ１６０６はＪＨＤＬＣＭ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏｍｐａｎｙ（ＪＨＤ１２８６４）の透過型ＬＣＤを使用した。画素数は１２８ｘ６４で、画素ピッチは０．５ｍｍだった。このような大きな画素サイズにより、前記ＬＣＤ上の１画素が１つのシャッターに相当するため、前記システムは画素構造の回折の影響を受けなかった。全画像サイクルには４つのフェーズが含まれる。前記ＭＬＡ１６０４の横倍率は２に設定され、合計４ｘ４の要素ビューをレンダリングした。前記接眼レンズ１６０８は、焦点距離２７ｍｍの市販の接眼レンズ１６０８であった。全体として、前記プロトタイプシステム１６００は、約６ｍｍｘ６ｍｍの視野窓サイズを達成するように設計され、再構成された３Ｄシーンの各点に対して、合計４ｘ４の視野がシステムによってレンダリングされた。前記視野密度は約０．４４ｍｍ－２であり、これは前記視野窓における１．５ｍｍの要素視野ピッチに相当する。焦点距離２７ｍｍの接眼レンズ１６０８と組み合わせた場合、表示画素あたりの角度分解能は、視空間内で約２．０４分角であった。
図３Ａの回路図に基づいて、図１６に示すような時分割多重化ＩｎＩに基づくライトフィールドシステム１６００の概念実証プロトタイプを実装した。プロトタイプで使用した前記マイクロディスプレイ１６０２は、ソニー製の０．７インチ有機発光ディスプレイ（ＯＬＥＤ）で、カラー画素ピッチは８μｍ、画素解像度は１９２０ｘ１０８０（ＥＣＸ３５５Ｂ）であった。使用した前記ＭＬＡ１６０４は、Ｆｒｅｓｎｅｌ Ｔｅｃｈｎｏｌｏｇｉｅｓ（ｈｔｔｐｓ：ｗｗｗ．ｆｒｅｓｎｅｌｔｅｃｈ．ｃｏｍ）のＭＬＡ６３０である。焦点距離は３．３ｍｍ、レンズピッチは１ｍｍである。前記シャッターアレイ１６０６はＪＨＤＬＣＭ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏｍｐａｎｙ（ＪＨＤ１２８６４）の透過型ＬＣＤを使用した。画素数は１２８ｘ６４で、画素ピッチは０．５ｍｍだった。このような大きな画素サイズにより、前記ＬＣＤ上の１画素が１つのシャッターに相当するため、前記システムは画素構造の回折の影響を受けなかった。全画像サイクルには４つのフェーズが含まれる。前記ＭＬＡ１６０４の横倍率は２に設定され、合計４ｘ４の要素ビューをレンダリングした。前記接眼レンズ１６０８は、焦点距離２７ｍｍの市販の接眼レンズ１６０８であった。全体として、前記プロトタイプシステム１６００は、約６ｍｍｘ６ｍｍの視野窓サイズを達成するように設計され、再構成された３Ｄシーンの各点に対して、合計４ｘ４の視野がシステムによってレンダリングされた。前記視野密度は約０．４４ｍｍ－２であり、これは前記視野窓における１．５ｍｍの要素視野ピッチに相当する。焦点距離２７ｍｍの接眼レンズ１６０８と組み合わせた場合、表示画素あたりの角度分解能は、視空間内で約２．０４分角であった。
【0094】
本発明のこれらおよび他の利点は、前述の明細書から当業者には明らかであろう。したがって、本発明の広範な発明概念から逸脱することなく、上述の実施形態に変更または修正を加えることができることは、当業者には認識されるであろう。したがって、本発明は、本明細書に記載された特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の範囲および精神の範囲内にあるすべての変更および修正を含むことが意図されていることが理解されるべきである。
【0095】
参考文献
以下の参考文献は、参照によりその全体が本明細書に組み込まれる。
１．Ｈ．Ｈｕａ，「Ｅｎａｂｌｉｎｇ ｆｏｃｕｓ ｃｕｅｓ ｉｎ ｈｅａｄ－ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙｓ，」Ｐｒｏｃｅｅｄｉｎｇ ｏｆ ｔｈｅ ＩＥＥＥ １０５（５）， ８０５－８２４（２０１７）．
２．Ｇ．Ｅ．Ｆａｖａｌｏｒａ，「Ｖｏｌｕｍｅｔｒｉｃ ３Ｄ ｄｉｓｐｌａｙｓ ａｎｄ ａｐｐｌｉｃａｔｉｏｎ ｉｎｆｒａｓｔｒａｃｔｕｒｅ，」Ｃｏｍｐｕｔｅｒ， ３８（８），３７－４４（２００５）．
３．Ｈ．Ｙｕ，Ｋ，Ｌｅｅ，Ｊ．Ｐａｒｋ，ａｎｄ Ｙ．Ｐａｒｋ，「Ｕｌｔｒａｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ ｄｙｎａｍｉｃ ３Ｄ ｈｏｌｏｇｒａｐｈｉｃ ｄｉｓｐｌａｙ ｂｙ ａｃｔｉｖｅ ｃｏｎｔｒｏｌ ｏｆ ｖｏｌｕｍｅ ｓｐｅｃｋｌｅ ｆｉｅｌｄｓ，」Ｎａｔｕｒｅ Ｐｈｏｔｏｎｉｃｓ １１（３）， １８６（２０１７）
４．Ｇ．Ｌｉ，Ｄ．Ｌｅｅ，Ｙ．Ｊｅｏｎｇ，Ｊ．Ｃｈｏ，ａｎｄ Ｂ．Ｌｅｅ，「Ｈｏｌｏｇｒａｐｈｉｃ ｄｉｓｐｌａｙ ｆｏｒ ｓｅｅ－ｔｈｒｏｕｇｈ ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ ｕｓｉｎｇ ｍｉｒｒｏｒ－ｌｅｎｓ ｈｏｌｏｇｒａｐｈｉｃ ｏｐｔｉｃ ｅｌｅｍｅｎｔ」Ｏｐｔ．Ｌｅｔｔｅｒｓ ４１（１１），２４８６－２４８９（２０１６）
５，Ｓ．Ｌｉｕ ａｎｄ Ｈ．Ｈｕａ，「Ａ ｓｙｓｔｅｍａｔｉｃ ｍｅｔｈｏｄ ｆｏｒ ｄｅｓｉｇｎｉｎｇ ｄｅｐｔｈ－ｆｕｓｅｄ ｍｕｌｔｉ－ｆｏｃａｌ ｐｌａｎｅ ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ ｄｉｓｐｌａｙｓ，」Ｏｐｔ．Ｅｘｐｒｅｓｓ １８（１１），１１５６２－１１５７３（２０１０）
６．Ｊ．Ｒｏｌｌａｎｄ， Ｍ．Ｋｒｕｇｅｒ，ａｎｄ Ａ．Ｇｏｏｎ，「Ｍｕｌｔｉｆｏｃａｌ Ｐｌａｎｅｓ ｈｅａｄ－ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙｓ，」Ｏｐｔ．３９（１９），３２０９－３２１５（２０００）．
７．Ｓ．Ｂ．Ｋｉｍ ａｎｄ Ｊ．Ｈ．Ｐａｒｋ，「Ｏｐｔｉｃａｌ ｓｅｅ－ｔｈｒｏｕｇｈ Ｍａｘｗｅｌｌｉａｎ ｎｅａｒ－ｅｙｅ ｄｉｓｐｌａｙ ｗｉｔｈ ａｎ ｅｎｌａｒｇｅｄ ｅｙｅｂｏｘ，」Ｏｐｔ．Ｌｅｔｔｅｒｓ ４３（４），７６７－７７０（２０１８）
８．Ｈ．Ｈｕａ ａｎｄ Ｂ．Ｊａｖｉｄｉ，「Ａ ３Ｄ ｉｎｔｅｇｒａｌ ｉｍａｇｉｎｇ ｏｐｔｉｃａｌ ｓｅｅ－ｔｈｒｏｕｇｈ ｈｅａｄ－ｍｏｕｔｅｄ ｄｉｓｐｌａｙ，」Ｏｐｔ．Ｅｘｐｒｅｓｓ，２２（１１），１３４８４－１３４９１（２０１４）．
９．Ｇ．Ｗｅｔｚｓｔｅｉｎ，Ｄ．Ｌａｎｍａｎ，Ｍ．Ｈｉｒｓｃｈ ａｎｄ Ｒ．Ｒａｓｋａｒ，「Ｔｅｎｓｏｒ ｄｉｓｐｌａｙｓ：Ｔｅｎｓｏｒ ｄｉｓｐｌａｙｓ：Ｃｏｍｐｒｅｓｓｉｖｅ ｌｉｇｈｔ ｆｉｅｌｄ ｓｙｎｔｈｅｓｉｓ ｕｓｉｎｇ ｍｕｌｔｉｌａｙａｒ ｗｉｔｈ ｄｉｒｅｃｔｉｏｎａｌ ｂａｃｋｌｉｇｈｔｓ，」Ｐｒｏｃ．ａｃｍ ｓｉｇｇｒａｐｈ，（２０１２）．
１０．Ｄ．ｌａｎｍａｎ ａｎｄ Ｄ．ｌｕｅｂｋｅ，「Ｎｅａｒ－ｅｙｅ ｌｉｇｈｔ ｆｉｅｌｄ ｄｉｓｐｌａｙｓ，」ＡＣＭ Ｔｒａｎｓ．Ｇｒａｐｈ．３２（６），１－１０（２０１３）．
１１．Ｈ．Ｈｕａｎｇ ａｎｄ Ｈ．Ｈｕａ，「Ｈｉｇｈ－ｐｅｒｆｏｒｍａｎｃｅ ｉｎｔｅｇｒａｌ－ｉｍａｇｉｎｇ－ｂａｓｅｄ ｌｉｇｈｔ ｆｉｅｌｄ ａｕｇｍｅｎｔｅｄ ｄｉｓｐｌａｙ ｕｓｉｎｇ ｆｒｅｅｆｏｒｍ ｏｐｔｉｃｓ，」Ｏｐｔ．Ｅｘｐｒｅｓｓ２６（１３），１７５７８－１７５９０（２０１８）．
１２．Ｂ．Ｌｉｕ，Ｘ．Ｓａｎｇ，Ｘ．Ｙｕ，Ｘ．Ｇａｏ，Ｌ．Ｌｉｕ，Ｃ．Ｇａｏ，Ｐ．Ｗａｎｇ，Ｙ．Ｌｅ，ａｎｄ Ｊ．Ｄｕ，「Ｔｉｍｅ－ｍｕｌｔｉｐｅｘｅｄ ｆｉｅｌｄ ｄｉｓｐｌａｙ ｗｉｔｈ １２０－ｄｅｇｒｅｅ ｗｉｄｅ ｖｉｅｗｉｎｇ ａｎｇｌｅ」，Ｏｐｔ．Ｅｘｐｒｅｓｓ２７（２４），ｐｐ．３５７２８－３５７３９（２０１９）．
１３．Ｈ．Ｈｕａｎｇ ａｎｄ Ｈ．Ｈｕａ，「Ｇｅｎｅｒａｌｉｚｅｄ ｍｅｔｈｏｄｓ ａｎｄ ｓｔｒａｔｅｇｉｅｓ ｆｏｒ ｍｏｄｅｌｉｎｇ ａｎｄ ｏｐｔｉｍｉｚｉｎｇ ｔｈｅ ｏｐｔｉｃｓ ３Ｄ ｈｅａｄ－ｍｏｕｔｅｄ ｌｉｇｈｔ ｆｉｅｌｄ ｄｉｓｐｌａｙｓ，」Ｏｐｔ．Ｅｘｐｒｅｓｓ２７（１８），２５１５４－２５１７１（２０１９）．
１４．Ｈ．Ｈｕａｎｇ ａｎｄ Ｈ．Ｈｕａ，「Ｓｙｓｔｅｍａｔｉｃ ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ ａｎｄ ｏｐｔｉｍｉｚａｔｉｏｎ ｏｆ ３Ｄ ｌｉｇｈｔ ｄｉｓｐｌａｙｓ，」Ｏｐｔ．Ｅｘｐｒｅｓｓ ２５（１６），１８５０８－１８５２５（２０１７）．
１５．Ｊ．Ｈ．Ｐａｒｋ，Ｓ．Ｗ．Ｍｉｎ，Ｓ．Ｊｕｎｇ，ａｎｄ Ｂ．Ｌｅｅ．「Ａｎａｌｙｓｉｓ ｏｆ ｖｉｅｗｉｎｇ ｐａｒａｍｅｔｅｒｓ ｆｏｒ ｔｗｏ ｄｉｓｐｌａｙ ｍｅｔｈｏｄｓ ｂａｓｅｄ ｏｎ ｉｎｔｅｇｒａｌ ｐｈｏｔｏｇｒａｐｈｙ．」Ａｐｐｌｉｅｄ Ｏｐｔｉｃｓ ４０，ｎｏ．２９ ５２１７－５２３２（２００１）．
１６．Ｘ．Ｗａｎｇ，Ｙ．Ｑｉｎ，Ｈ．Ｈｕａ，Ｙ．Ｈ．Ｌｅｅ，ａｎｄ Ｔ．Ｗｕ．「Ｄｉｇｉｔａｌ ｓｗｉｔｈｃａｂｌｅ ｍｕｌｔｉ－ｆｏｃａｌ ｌｅｎｓ ｆｒｅｅｆｏｒｍ ｏｐｔｉｃｓ．」Ｏｐｔ．Ｅｘｐｒｅｓｓ １６．２６（８）：１１００７－１７（２０１８）．
１７．Ｘ．Ｗａｎｇ，ａｎｄ Ｈ．Ｈｕａ．「Ｄｉｇｉｔａｌｌｙ Ｓｗｉｔｈｃｈａｂｌｅ Ｍｉｒｏｌｅｎｓ Ａｒｒａｙ ｆｏｒ Ｉｎｔｅｇｒａｌ Ｉｍａｇｉｎｇ．」ＳＩＤ Ｓｙｍｐｏｓｉｕｍ Ｄｉｇｅｓｔ ｏｆ Ｔｅｃｈｎｉｃａｌ Ｐａｐｅｒｓ．Ｖｏｌ．５１．Ｎｏ．（２０２０）
１８．Ｍ．Ｘｕ ａｎｄ Ｈ．Ｈｕａ，「Ｆｉｎｉｔｅ ｄｅｐｔｈ ａｎｄ ｖａｒｉｆｏｃａｌ ｈｅａｄ－ｍｏｕｔｅｄ ｄｉｓｐｌａｙ ｂａｓｅｄ ｏｎ ｇｅｏｍｅｔｒｉｃａｌ ｌｉｇｈｔｇｕｉｄｅ，」Ｏｐｔ．Ｅｘｐｒｅｓｓ ２８（８），１２１２１－１２１３７（２０２０）．
以下の参考文献は、参照によりその全体が本明細書に組み込まれる。
１．Ｈ．Ｈｕａ，「Ｅｎａｂｌｉｎｇ ｆｏｃｕｓ ｃｕｅｓ ｉｎ ｈｅａｄ－ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙｓ，」Ｐｒｏｃｅｅｄｉｎｇ ｏｆ ｔｈｅ ＩＥＥＥ １０５（５）， ８０５－８２４（２０１７）．
２．Ｇ．Ｅ．Ｆａｖａｌｏｒａ，「Ｖｏｌｕｍｅｔｒｉｃ ３Ｄ ｄｉｓｐｌａｙｓ ａｎｄ ａｐｐｌｉｃａｔｉｏｎ ｉｎｆｒａｓｔｒａｃｔｕｒｅ，」Ｃｏｍｐｕｔｅｒ， ３８（８），３７－４４（２００５）．
３．Ｈ．Ｙｕ，Ｋ，Ｌｅｅ，Ｊ．Ｐａｒｋ，ａｎｄ Ｙ．Ｐａｒｋ，「Ｕｌｔｒａｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ ｄｙｎａｍｉｃ ３Ｄ ｈｏｌｏｇｒａｐｈｉｃ ｄｉｓｐｌａｙ ｂｙ ａｃｔｉｖｅ ｃｏｎｔｒｏｌ ｏｆ ｖｏｌｕｍｅ ｓｐｅｃｋｌｅ ｆｉｅｌｄｓ，」Ｎａｔｕｒｅ Ｐｈｏｔｏｎｉｃｓ １１（３）， １８６（２０１７）
４．Ｇ．Ｌｉ，Ｄ．Ｌｅｅ，Ｙ．Ｊｅｏｎｇ，Ｊ．Ｃｈｏ，ａｎｄ Ｂ．Ｌｅｅ，「Ｈｏｌｏｇｒａｐｈｉｃ ｄｉｓｐｌａｙ ｆｏｒ ｓｅｅ－ｔｈｒｏｕｇｈ ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ ｕｓｉｎｇ ｍｉｒｒｏｒ－ｌｅｎｓ ｈｏｌｏｇｒａｐｈｉｃ ｏｐｔｉｃ ｅｌｅｍｅｎｔ」Ｏｐｔ．Ｌｅｔｔｅｒｓ ４１（１１），２４８６－２４８９（２０１６）
５，Ｓ．Ｌｉｕ ａｎｄ Ｈ．Ｈｕａ，「Ａ ｓｙｓｔｅｍａｔｉｃ ｍｅｔｈｏｄ ｆｏｒ ｄｅｓｉｇｎｉｎｇ ｄｅｐｔｈ－ｆｕｓｅｄ ｍｕｌｔｉ－ｆｏｃａｌ ｐｌａｎｅ ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ ｄｉｓｐｌａｙｓ，」Ｏｐｔ．Ｅｘｐｒｅｓｓ １８（１１），１１５６２－１１５７３（２０１０）
６．Ｊ．Ｒｏｌｌａｎｄ， Ｍ．Ｋｒｕｇｅｒ，ａｎｄ Ａ．Ｇｏｏｎ，「Ｍｕｌｔｉｆｏｃａｌ Ｐｌａｎｅｓ ｈｅａｄ－ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙｓ，」Ｏｐｔ．３９（１９），３２０９－３２１５（２０００）．
７．Ｓ．Ｂ．Ｋｉｍ ａｎｄ Ｊ．Ｈ．Ｐａｒｋ，「Ｏｐｔｉｃａｌ ｓｅｅ－ｔｈｒｏｕｇｈ Ｍａｘｗｅｌｌｉａｎ ｎｅａｒ－ｅｙｅ ｄｉｓｐｌａｙ ｗｉｔｈ ａｎ ｅｎｌａｒｇｅｄ ｅｙｅｂｏｘ，」Ｏｐｔ．Ｌｅｔｔｅｒｓ ４３（４），７６７－７７０（２０１８）
８．Ｈ．Ｈｕａ ａｎｄ Ｂ．Ｊａｖｉｄｉ，「Ａ ３Ｄ ｉｎｔｅｇｒａｌ ｉｍａｇｉｎｇ ｏｐｔｉｃａｌ ｓｅｅ－ｔｈｒｏｕｇｈ ｈｅａｄ－ｍｏｕｔｅｄ ｄｉｓｐｌａｙ，」Ｏｐｔ．Ｅｘｐｒｅｓｓ，２２（１１），１３４８４－１３４９１（２０１４）．
９．Ｇ．Ｗｅｔｚｓｔｅｉｎ，Ｄ．Ｌａｎｍａｎ，Ｍ．Ｈｉｒｓｃｈ ａｎｄ Ｒ．Ｒａｓｋａｒ，「Ｔｅｎｓｏｒ ｄｉｓｐｌａｙｓ：Ｔｅｎｓｏｒ ｄｉｓｐｌａｙｓ：Ｃｏｍｐｒｅｓｓｉｖｅ ｌｉｇｈｔ ｆｉｅｌｄ ｓｙｎｔｈｅｓｉｓ ｕｓｉｎｇ ｍｕｌｔｉｌａｙａｒ ｗｉｔｈ ｄｉｒｅｃｔｉｏｎａｌ ｂａｃｋｌｉｇｈｔｓ，」Ｐｒｏｃ．ａｃｍ ｓｉｇｇｒａｐｈ，（２０１２）．
１０．Ｄ．ｌａｎｍａｎ ａｎｄ Ｄ．ｌｕｅｂｋｅ，「Ｎｅａｒ－ｅｙｅ ｌｉｇｈｔ ｆｉｅｌｄ ｄｉｓｐｌａｙｓ，」ＡＣＭ Ｔｒａｎｓ．Ｇｒａｐｈ．３２（６），１－１０（２０１３）．
１１．Ｈ．Ｈｕａｎｇ ａｎｄ Ｈ．Ｈｕａ，「Ｈｉｇｈ－ｐｅｒｆｏｒｍａｎｃｅ ｉｎｔｅｇｒａｌ－ｉｍａｇｉｎｇ－ｂａｓｅｄ ｌｉｇｈｔ ｆｉｅｌｄ ａｕｇｍｅｎｔｅｄ ｄｉｓｐｌａｙ ｕｓｉｎｇ ｆｒｅｅｆｏｒｍ ｏｐｔｉｃｓ，」Ｏｐｔ．Ｅｘｐｒｅｓｓ２６（１３），１７５７８－１７５９０（２０１８）．
１２．Ｂ．Ｌｉｕ，Ｘ．Ｓａｎｇ，Ｘ．Ｙｕ，Ｘ．Ｇａｏ，Ｌ．Ｌｉｕ，Ｃ．Ｇａｏ，Ｐ．Ｗａｎｇ，Ｙ．Ｌｅ，ａｎｄ Ｊ．Ｄｕ，「Ｔｉｍｅ－ｍｕｌｔｉｐｅｘｅｄ ｆｉｅｌｄ ｄｉｓｐｌａｙ ｗｉｔｈ １２０－ｄｅｇｒｅｅ ｗｉｄｅ ｖｉｅｗｉｎｇ ａｎｇｌｅ」，Ｏｐｔ．Ｅｘｐｒｅｓｓ２７（２４），ｐｐ．３５７２８－３５７３９（２０１９）．
１３．Ｈ．Ｈｕａｎｇ ａｎｄ Ｈ．Ｈｕａ，「Ｇｅｎｅｒａｌｉｚｅｄ ｍｅｔｈｏｄｓ ａｎｄ ｓｔｒａｔｅｇｉｅｓ ｆｏｒ ｍｏｄｅｌｉｎｇ ａｎｄ ｏｐｔｉｍｉｚｉｎｇ ｔｈｅ ｏｐｔｉｃｓ ３Ｄ ｈｅａｄ－ｍｏｕｔｅｄ ｌｉｇｈｔ ｆｉｅｌｄ ｄｉｓｐｌａｙｓ，」Ｏｐｔ．Ｅｘｐｒｅｓｓ２７（１８），２５１５４－２５１７１（２０１９）．
１４．Ｈ．Ｈｕａｎｇ ａｎｄ Ｈ．Ｈｕａ，「Ｓｙｓｔｅｍａｔｉｃ ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ ａｎｄ ｏｐｔｉｍｉｚａｔｉｏｎ ｏｆ ３Ｄ ｌｉｇｈｔ ｄｉｓｐｌａｙｓ，」Ｏｐｔ．Ｅｘｐｒｅｓｓ ２５（１６），１８５０８－１８５２５（２０１７）．
１５．Ｊ．Ｈ．Ｐａｒｋ，Ｓ．Ｗ．Ｍｉｎ，Ｓ．Ｊｕｎｇ，ａｎｄ Ｂ．Ｌｅｅ．「Ａｎａｌｙｓｉｓ ｏｆ ｖｉｅｗｉｎｇ ｐａｒａｍｅｔｅｒｓ ｆｏｒ ｔｗｏ ｄｉｓｐｌａｙ ｍｅｔｈｏｄｓ ｂａｓｅｄ ｏｎ ｉｎｔｅｇｒａｌ ｐｈｏｔｏｇｒａｐｈｙ．」Ａｐｐｌｉｅｄ Ｏｐｔｉｃｓ ４０，ｎｏ．２９ ５２１７－５２３２（２００１）．
１６．Ｘ．Ｗａｎｇ，Ｙ．Ｑｉｎ，Ｈ．Ｈｕａ，Ｙ．Ｈ．Ｌｅｅ，ａｎｄ Ｔ．Ｗｕ．「Ｄｉｇｉｔａｌ ｓｗｉｔｈｃａｂｌｅ ｍｕｌｔｉ－ｆｏｃａｌ ｌｅｎｓ ｆｒｅｅｆｏｒｍ ｏｐｔｉｃｓ．」Ｏｐｔ．Ｅｘｐｒｅｓｓ １６．２６（８）：１１００７－１７（２０１８）．
１７．Ｘ．Ｗａｎｇ，ａｎｄ Ｈ．Ｈｕａ．「Ｄｉｇｉｔａｌｌｙ Ｓｗｉｔｈｃｈａｂｌｅ Ｍｉｒｏｌｅｎｓ Ａｒｒａｙ ｆｏｒ Ｉｎｔｅｇｒａｌ Ｉｍａｇｉｎｇ．」ＳＩＤ Ｓｙｍｐｏｓｉｕｍ Ｄｉｇｅｓｔ ｏｆ Ｔｅｃｈｎｉｃａｌ Ｐａｐｅｒｓ．Ｖｏｌ．５１．Ｎｏ．（２０２０）
１８．Ｍ．Ｘｕ ａｎｄ Ｈ．Ｈｕａ，「Ｆｉｎｉｔｅ ｄｅｐｔｈ ａｎｄ ｖａｒｉｆｏｃａｌ ｈｅａｄ－ｍｏｕｔｅｄ ｄｉｓｐｌａｙ ｂａｓｅｄ ｏｎ ｇｅｏｍｅｔｒｉｃａｌ ｌｉｇｈｔｇｕｉｄｅ，」Ｏｐｔ．Ｅｘｐｒｅｓｓ ２８（８），１２１２１－１２１３７（２０２０）．
【図1】
【図2A】
【図2B】
【図3A】
【図3B】
【図3C】
【図4】
【図5A】
【図5B】
【図5C】
【図5D】
【図6】
【図7A】
【図7B】
【図7C】
【図7D】
【図8】
【図9A】
【図9B】
【図10A】
【図10B】
【図11】
【図12】
【図13A】
【図13B】
【図14】
【図15A】
【図15B】
【図16】
【国際調査報告】