(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-04-01
(54)【発明の名称】高解像度３Ｄディスプレイ
(51)【国際特許分類】
G02B 30/10 20200101AFI20220325BHJP
G02F 1/13 20060101ALI20220325BHJP
G02F 1/29 20060101ALI20220325BHJP
H04N 13/307 20180101ALI20220325BHJP
H04N 13/324 20180101ALI20220325BHJP
H04N 13/346 20180101ALI20220325BHJP
【ＦＩ】
G02B30/10
G02F1/13 505
G02F1/29
H04N13/307
H04N13/324
H04N13/346
【審査請求】未請求
【予備審査請求】有
(21)【出願番号】P 2021547321
(86)(22)【出願日】2020-02-18
(85)【翻訳文提出日】2021-10-07
(86)【国際出願番号】 IL2020050182
(87)【国際公開番号】W WO2020170246
(87)【国際公開日】2020-08-27
(31)【優先権主張番号】62/806,948
(32)【優先日】2019-02-18
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/856,766
(32)【優先日】2019-06-04
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/894,999
(32)【優先日】2019-09-03
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】521355773
【氏名又は名称】アールエヌブイテック リミテッド
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】アリエリ，ヨエル
(72)【発明者】
【氏名】ギルボア，シェイ シャロム
【テーマコード（参考）】
2H088
2H199
2K102
5C061
【Ｆターム（参考）】
2H088EA05
2H088EA45
2H088EA48
2H088GA02
2H088GA03
2H088GA04
2H088HA06
2H088HA12
2H088HA18
2H088HA25
2H199BA20
2H199BA29
2H199BA62
2H199BA63
2H199BA69
2H199BB03
2H199BB10
2H199BB27
2H199BB42
2H199BB44
2K102AA21
2K102BA07
2K102BC04
2K102BD08
2K102DC09
2K102DD02
2K102EA21
2K102EB10
5C061AA06
5C061AB16
(57)【要約】
【課題】
【解決手段】３次元画像の投影のタイムベース多重化によって画像の解像度を増大させるためのデバイスは、画素のアレイを備える２次元ディスプレイを含む。画素の前方に光学素子のアレイが配置されている。光学素子は、画素から放出された光を屈折させて、複数の角度の複数の平行光ビームに構成するよう構成されている。画素の前方に調整可能光偏向デバイスのアレイが配置されている。調整可能光偏向デバイスの各々は、画素によって放出された光を偏向させるように構成されている。少なくとも１つのコントローラは、（１）３次元画像の表示のために設定された３次元情報に従って、画素の各々により放出される光の強度又は色のうち少なくとも１つを変動させるように、及び、（２）人間の視覚システムの画像積分期間中に光偏向デバイスの偏向角を変化させるように構成されている。
【選択図】図１
【解決手段】３次元画像の投影のタイムベース多重化によって画像の解像度を増大させるためのデバイスは、画素のアレイを備える２次元ディスプレイを含む。画素の前方に光学素子のアレイが配置されている。光学素子は、画素から放出された光を屈折させて、複数の角度の複数の平行光ビームに構成するよう構成されている。画素の前方に調整可能光偏向デバイスのアレイが配置されている。調整可能光偏向デバイスの各々は、画素によって放出された光を偏向させるように構成されている。少なくとも１つのコントローラは、（１）３次元画像の表示のために設定された３次元情報に従って、画素の各々により放出される光の強度又は色のうち少なくとも１つを変動させるように、及び、（２）人間の視覚システムの画像積分期間中に光偏向デバイスの偏向角を変化させるように構成されている。
【選択図】図１
【特許請求の範囲】
【請求項1】
３次元画像の投影のタイムベース多重化によって前記画像の解像度を増大させるためのデバイスであって、複数の画素のアレイを含む２次元ディスプレイと、
前記画素の前方に配置され、前記アレイ上に規定された近隣画素のサブアレイの各画素から放出された光を屈折させて複数の角度の複数の平行光ビームに構成するよう構成された光学素子のアレイと、
それぞれが前記画素の前方に搭載された複数の調整可能光偏向デバイスのアレイであって、前記複数の調整可能光偏向デバイスの各々は前記画素によって放出された前記光を偏向させるように構成されている、調整可能光偏向デバイスのアレイと、
（１）３次元（３Ｄ）画像の表示のために設定された３Ｄ情報に従って、前記画素の各々により放出される光の強度又は色のうち少なくとも１つを変動させるように、及び、（２）人間の視覚システムの画像積分期間中に複数回、前記光偏向デバイスの偏向角を変化させるように構成された、少なくとも１つのコントローラと、
を備えるデバイス。
【請求項2】
前記光学素子のアレイはマイクロレンズアレイであり、前記２次元ディスプレイは前記マイクロレンズアレイの焦点面に位置付けられている、請求項１に記載のデバイス。
【請求項3】
各マイクロレンズ及び対応する近隣画素のサブアレイはセルを規定し、更に、隣接するマイクロレンズ間に配置されて隣接するセル間のクロストークを防止するように構成されたバリアを備える、請求項２に記載のデバイス。
【請求項4】
各マイクロレンズに対応する近隣画素のサブアレイの各々は２つ以上の画素を含む、請求項２に記載のデバイス。
【請求項5】
各調整可能光偏向デバイスは、前記近隣画素のサブアレイの各画素により放出された光を画素の幅よりも小さい量だけ偏向させる、請求項１に記載のデバイス。
【請求項6】
前記調整可能光偏向デバイスは、調節可能マイクロプリズム、液晶システム、微小電気機械システム、電気光学デバイス、液晶偏光格子デバイス、又はマイクロミラーのうち１つ以上を含む、請求項１に記載のデバイス。
【請求項7】
前記調整可能光偏向デバイスはマイクロプリズムのアレイ及び対応する液晶システムを含み、各マイクロプリズムの偏向角は対応する液晶システムの活性化によって調整可能である、請求項６に記載のデバイス。
【請求項8】
前記画素はＲＧＢ画素であり、前記赤、緑、及び青の画素の各々のフィルファクタは約２５％であり、前記タイムベース多重化の結果として、前記赤、緑、及び青の画素の各々からの光は前記画素のアレイの全体から放出されているように知覚される、請求項１に記載のデバイス。
【請求項9】
前記画素のアレイ及び前記集束素子と同一平面内にある第１の偏光子アレイと第２の偏光子アレイとを更に備え、画素によって放出された前記光ビームが前記第１及び第２の偏光子アレイを通過する場合、前記光ビームの第１の部分は第１の方向に偏光され、前記光ビームの第２の部分は前記第１の方向に対して垂直な第２の方向に偏光される、請求項１に記載のデバイス。
【請求項10】
前記光学素子のアレイはマイクロレンズアレイであり、各マイクロレンズ及びそれに平行な近隣画素のサブアレイは３Ｄ画素を規定し、所与の３Ｄ画素の画素によって放出された光線の少なくとも一部は、前記第１及び第２の偏光子アレイを通過した後、異なる３Ｄ画素に関連付けられたマイクロレンズを通過するように方向を変えられる、請求項９に記載のデバイス。
【請求項11】
前記画素はＲＧＢ画素であり、前記偏光子アレイを通過する場合の前記赤、緑、及び青の画素の各々のフィルファクタは約１２．５％であり、前記タイムベース多重化の結果として、前記赤、緑、及び青の画素の各々からの光は前記画素のアレイの全体から放出されているように知覚される、請求項１０に記載のデバイス。
【請求項12】
前記画素はＲＧＢ画素であり、更に１つ以上のカラーフィルタを備え、前記カラーフィルタの各々は赤、緑、又は青の光のうち１つだけを通過させるように構成されている、請求項１に記載のデバイス。
【請求項13】
前記光学素子のアレイはマイクロレンズアレイであり、各マイクロレンズ及びそれに平行な近隣画素のサブアレイはセルを規定し、隣接するセルの前記カラーフィルタは赤、緑、又は青の光を交互に通過させるよう周期的にパターニングされている、請求項１２に記載のデバイス。
【請求項14】
前記マイクロレンズアレイによって生じる屈折を無効にするように前記マイクロレンズアレイと協調的に配置できる着脱可能マイクロレンズアレイを更に備える、請求項２に記載のデバイス。
【請求項15】
前記調整可能光偏向デバイスは前記画素のアレイと前記光学素子のアレイとの間に位置付けられている、請求項１に記載のデバイス。
【請求項16】
前記光学素子のアレイは前記画素のアレイと前記複数の調整可能光偏向デバイスのアレイとの間に位置付けられている、請求項１に記載のデバイス。
【請求項17】
前記３Ｄ情報は、以下のステップ、すなわち、（１）表示される複数のポイントについて、（ｘ、ｙ、ｚ、Ｒ、Ｇ、Ｂ）ベクトルデータによって３Ｄデータの行列を生成すること、
（２）表示される各ポイントごとに、そのポイントから各マイクロレンズ中心までの全てのベクトルの方向を計算することによって、扇形光線を生成すること、
（３）表示される各ポイントごとに、セルを通過するベクトルに最も近い角度を有するＲ、Ｇ、及び／又はＢサブピクセルを選択することによって、表示されるポイントの光線を生成する適正なＲ、Ｇ、及び／又はＢサブピクセルを決定すること、
（４）表示される各ポイントごとに、例えば表示されるポイントの前記ＲＧＢ光を生成するため、前記適正な強度で前記適正なＲ及び／又はＧ及び／又はＢサブピクセルをオンにすること、
（５）調整可能光偏向デバイスを用いる場合、各Ｒ及び／又はＧ及び／又はＢサブピクセルの時間的画像位置を考慮して、ステップ（１）から（４）を実行すること、
を含むアルゴリズムに従って設定される、請求項１に記載のデバイス。
【請求項18】
各マイクロレンズは平坦面及び球面を含み、前記球面は前記２次元ディスプレイの方を向いている、請求項２に記載のデバイス。
【請求項19】
ライトフィールドの画像のタイムベース多重化によって前記画像の解像度を増大させるための装置であって、複数のセンサで構成された２次元センサアレイと、
前記センサの前方に配置され、前記ライトフィールドからの光を屈折させて１つ以上のセンサ上に集束するよう構成された光学素子のアレイと、
前記センサの前方に配置され、調整可能偏向角に従って前記ライトフィールドから受け取った光の伝搬角を偏向させるように構成された調整可能光偏向デバイスのアレイと、
前記光偏向デバイスの前記偏向角を調整するように構成されたコントローラと、
を備える装置。
【請求項20】
前記調整可能光偏向デバイスは、調節可能マイクロプリズム、液晶システム、微小電気機械システム、電気光学デバイス、液晶偏光格子デバイス、調節可能格子、又はマイクロミラーのうち１つ以上を含む、請求項１９に記載の装置。
【請求項21】
３次元画像の投影のタイムベース多重化によって前記画像の解像度を増大させるための方法であって、前記画像は、複数の画素のアレイを含む２次元ディスプレイと、前記アレイ上に規定された近隣画素のサブアレイの各画素から放出された光を屈折させて複数の角度の複数の平行光ビームに構成するよう構成された光学素子のアレイと、少なくとも１つのコントローラと、前記画素の前方に搭載された複数の調整可能光偏向デバイスのアレイと、によって発生され、前記複数の調整可能光偏向デバイスの各々は前記画素によって放出された前記光を偏向させるように構成され、前記方法は、前記少なくとも１つのコントローラによって、３次元（３Ｄ）画像の表示のための３Ｄ情報に従って、前記画素の各々により放出される光の強度又は色のうち少なくとも１つを選択することと、
前記コントローラによって、人間の視覚システムの画像積分期間中に複数回、前記光偏向デバイスの偏向角を調整することと、
を含む方法。
【請求項22】
前記選択するステップは、以下のステップ、すなわち、（１）表示される複数のポイントについて、（ｘ、ｙ、ｚ、Ｒ、Ｇ、Ｂ）ベクトルデータによって３Ｄデータの行列を生成すること、
（２）表示される各ポイントごとに、そのポイントから各マイクロレンズ中心までの全てのベクトルの方向を計算することによって、扇形光線を生成すること、
（３）表示される各ポイントごとに、セルを通過するベクトルに最も近い角度を有するＲ、Ｇ、及び／又はＢサブピクセルを選択することによって、表示されるポイントの光線を生成する適正なＲ、Ｇ、及び／又はＢサブピクセルを決定すること、
（４）表示される各ポイントごとに、例えば表示されるポイントのＲＧＢ光を生成するため、適正な強度で前記適正なＲ及び／又はＧ及び／又はＢサブピクセルをオンにすること、
（５）調整可能光偏向デバイスを用いる場合、各Ｒ及び／又はＧ及び／又はＢサブピクセルの時間的画像位置を考慮して、ステップ（１）から（４）を実行すること、
を有するアルゴリズムに従うことを含む、請求項２１に記載の方法。
【請求項23】
前記調整可能光偏向デバイスは、マイクロプリズム、液晶システム、微小電気機械システム、電気光学デバイス、液晶偏光格子デバイス、又はマイクロミラーのうち１つ以上を含む、請求項２１に記載の方法。
【請求項24】
前記光学素子のアレイはマイクロレンズアレイであり、前記調整可能光偏向デバイスはマイクロプリズムのアレイ及び対応する液晶システムを含み、前記調整するステップは、液晶システムを活性化することによって対応するマイクロプリズムの偏向角を調整することを含む、請求項２１に記載の方法。
【請求項25】
前記光学素子のアレイはマイクロレンズアレイであり、更に、前記マイクロレンズアレイによって生じる屈折を無効にするように前記マイクロレンズアレイに対して着脱可能マイクロレンズアレイを解放可能に取り付けることを含む、請求項２１に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本出願は、２０１９年２月１８日に出願された米国仮特許出願第６２／８０６，９４８号、２０１９年６月４日に出願された米国仮特許出願第６２／８５６，７６６号、及び２０１９年９月３日に出願された米国仮特許出願第６２／８９４，９９９号の優先権の利益を主張する。これらの内容は全体が援用により本願に含まれる。
本出願は、２０１９年２月１８日に出願された米国仮特許出願第６２／８０６，９４８号、２０１９年６月４日に出願された米国仮特許出願第６２／８５６，７６６号、及び２０１９年９月３日に出願された米国仮特許出願第６２／８９４，９９９号の優先権の利益を主張する。これらの内容は全体が援用により本願に含まれる。
【0002】
本発明は、いくつかの実施形態において、高解像度かつ大視野の３次元ディスプレイに関し、更に具体的には、限定ではないが、３次元画像の投影のタイムベース多重化によって画像の解像度を増大させるためのデバイスに関する。また、本発明は、いくつかの実施形態において、高解像度でライトフィールド（light field）を撮像するためのデバイスに関し、具体的には、限定ではないが、ライトフィールドのタイムベース多重化によって解像度を増大させるための装置に関する。
【背景技術】
【0003】
２次元ディスプレイから３次元画像を投影するため、様々な方法が開発されている。立体法は、２つのオフセット画像を視聴者の左目と右目へ別々に提示する。次いで、これらの２次元画像を脳内で組み合わせて３Ｄの奥行き知覚を与える。立体表示では、３Ｄ画像情報は単一の表示面に限定される。奥行き知覚と目の調節との混乱によって、疲れ目、眼精疲労、吐き気が生じたり、物体距離に対する目の調節が遅くなったりする。
【0004】
正確に焦点が合った３Ｄ画像の感覚を与えることができる様々なタイプの３Ｄディスプレイがある。ボリュームディスプレイ（volumetric display）は、物理的機構を用いて３Ｄ空間内に光の点を表示する。３Ｄ画像の各ボクセル（voxel）は特定の空間位置に物理的に配置され、その位置から観察者の方へ光を反射又は放出する。３Ｄボリュームディスプレイのボクセルは組み合わされてリアルな３Ｄ画像を形成する。しかしながらボリュームディスプレイには、低解像度、大きい物理的サイズ、システムの複雑さを含む様々な問題がある。これらの問題のため、ボリュームディスプレイは一般的に使用するには高価かつ扱いにくいものである。
【0005】
３Ｄディスプレイの第２のカテゴリはホログラフィックディスプレイである。ホログラフィックディスプレイは、光の屈折を利用して物体の仮想３次元画像を生成するタイプのディスプレイである。これらのディスプレイでは、物体の光波面が再構築される。この技術の欠点は非常に複雑であることである。また、極めて詳細な波面を生成するには、ごく少数しか存在しない空間光変調器（ＳＬＭ：Spatial Light Modulator）が必要である。
【0006】
自然な網膜焦点キュー（retinal focus cue）を提供できる別の３Ｄディスプレイ技術は、ライトフィールド（ＬＦ：Light Field）ディスプレイと呼ばれるものである。ＬＦディスプレイは、多層ＬＣＤパネルを使用し、表示時に圧縮アルゴリズムを用いる。平坦なフォームファクタのＬＦ３Ｄディスプレイは、両目に見える照明画素を制御することによって、目の輻輳角（convergence angle）と焦点角（focus angle）を同時に生成できる。また、照明画素からの光ビームの方向も制御される。しかしながらこの技法には、表示できる視野及び角度分解能が限られているという欠点がある。
【0007】
プレノプティックカメラ（plenoptic camera）としても既知であるライトフィールドカメラは、シーンから発するライトフィールドと、光ビームが空間内で進行する方向とに関する情報を捕捉する。これは、光強度のみを記録する従来のカメラとは対照的である。ライトフィールドカメラの１つのタイプは、高解像度のセンサアレイの前方に配置されたマイクロレンズアレイを用いて、強度、色、及び方向の情報を検知する。ライトフィールドカメラの別のタイプは、マルチカメラアレイである。マイクロレンズアレイを備えたライトフィールドカメラの欠点は、解像度が低いことである。高い角度分解能で方向情報を検知するためには、高いフィルファクタ（fill factor）と解像度で多数のセンサの前方に各マイクロレンズを配置しなければならない。この要求により、現在既知であるライトカメラ（light camera）の性能が制限されている。
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明の目的は、高い解像度と広い視野で３Ｄシーンを生成し、目の疲れ、眼精疲労、及びフィールド調節が遅くなること等の問題を回避する３Ｄディスプレイを提供することである。また、本発明の目的は、マルチカメラアレイを必要とすることなく、高い角度分解能を含む高い解像度でライトフィールドを撮像するためのデバイスを提供することである。
【課題を解決するための手段】
【0009】
これらの目的は、いくつかの実施形態において、２次元ディスプレイから表示される３次元画像を高解像度で見せるように、そのディスプレイから表示される有効画素数を増加させることによって達成される。有効画素数の増加は、人間の視覚システムの積分期間中に画素によって放出される光ビームを何度も偏向させる調整可能光偏向デバイスを用いて実行される。
【0010】
例えば、従来のスクリーンが個別に光を放出する１０の画素を含み、放出された光がマイクロレンズを介してコリメートされた場合、全ての角度からスクリーンを見る視聴者は１０の異なる画素を識別する。本発明の実施形態に従った調整可能光偏向デバイスを用いると、人間の視覚システムの積分期間中にこのデバイスが８回調整された場合、全ての角度からスクリーンを見る視聴者は８０の画素を識別する。事実上、スクリーンは、スクリーン内の物理的画素の８倍の画素が存在するのと同様に見える。従って、得られる３Ｄ画像は高解像度で視認され、目の疲れ又は同様の問題は生じない。同様の原理が、ライトフィールド撮像デバイスの有効センサ数を増加させるために適用される。
【0011】
第１の実施形態に従って、３次元画像の投影のタイムベース多重化によって画像の解像度を増大させるためのデバイスが開示される。デバイスは、複数の画素のアレイを備える２次元ディスプレイを含む。光学素子のアレイは、アレイ上に規定された近隣画素のサブアレイの各画素から放出された光を屈折させて、複数の角度の複数の平行光ビームに構成するよう構成されている。画素の前方に、複数の調整可能光偏向デバイスのアレイが搭載されている。複数の調整可能光偏向デバイスの各々は、画素によって放出された光を偏向させるように構成されている。少なくとも１つのコントローラは、（１）３次元（３Ｄ）画像の表示のために設定された３Ｄ情報に従って、画素の各々により放出される光の強度又は色のうち少なくとも１つを変動させるように、及び、（２）人間の視覚システムの画像積分期間中に複数回、光偏向デバイスの偏向角を変化させるように構成されている。
【0012】
有利な点として、偏向角を変化させることで３次元画像は多重化され、これにより視聴者の視野内の複数の視点から見られる。このように複数の角度から画像を見ることで、実質的に有効画素の密度を増大させ、これによって視聴者の画像解像能力を向上させる。画像積分時、視聴者は、有効画素数が増加した高解像度の画像を見たと感じる。更に、３次元画像のそれぞれ偏向されたビューにおいて、スクリーンから放出される偏向光線は、最初に２次元ディスプレイから放出された光線を正確に再現する。また、この装置は、視聴者の数やスクリーンに対する視聴者の位置にかかわらず、同じように良好に機能する。高い角度分解能と広い視野を有し、更に、奥行き知覚と観察者の目の調節との適合性を有する画像が知覚される。
【0013】
第１の態様に従った別の実施例において、光学素子のアレイはマイクロレンズアレイであり、２次元ディスプレイはマイクロレンズアレイの焦点面に位置付けられている。有利な点として、２次元ディスプレイがアレイの焦点面に位置付けられている場合、画素から放出される全ての光線は対応するマイクロレンズによって集光され、コリメート光ビームとして投影される。
【0014】
第１の態様に従った別の実施例において、光学素子のアレイはマイクロレンズアレイであり、各マイクロレンズ及び対応する近隣画素のサブアレイはセルを規定する。デバイスは更に、隣接するマイクロレンズ間に配置されて隣接するセル間のクロストークを防止するように構成されたバリアを備える。有利な点として、隣接するセル間のクロストークの防止は画像のぼけを防止する。
【0015】
第１の態様に従った別の実施例において、光学素子のアレイはマイクロレンズアレイであり、各マイクロレンズに対応する近隣画素のサブアレイの各々は２つ以上の画素を含む。有利な点として、１つのマイクロレンズ当たり１つだけの画素でなく、各マイクロレンズによって２つ以上の画素からの光を偏向させることにより、光を偏向させる角度の数を増加させ、従って画像の視野を拡大する。
【0016】
第１の態様に従った別の実施例において、各調整可能光偏向デバイスは、近隣画素のサブアレイの各画素により放出された光を画素の幅よりも小さい量だけ偏向させる。有利な点として、画素の幅よりも小さい量の画像の変位は、画像を超解像度で表示することを可能とする。
【0017】
第１の態様に従った別の実施例において、調整可能光偏向デバイスは、調節可能マイクロプリズム、液晶システム、微小電気機械システム、電気光学デバイス、液晶偏光格子デバイス、又はマイクロミラーのうち１つ以上を含む。任意選択的に、調整可能光偏向デバイスはマイクロプリズムのアレイ及び対応する液晶システムを含み、各マイクロプリズムの偏向角は対応する液晶システムの活性化によって調整可能である。有利な点として、液晶システムは、各マイクロプリズムを伝搬する光の偏向角を連続的に又は離散的に変化させるように細かく制御することができる。
【0018】
第１の態様に従った別の実施例において、画素はＲＧＢ画素であり、赤、緑、及び青の画素の各々のフィルファクタは約２５％であり、タイムベース多重化の結果として、赤、緑、及び青の画素の各々からの光は画素のアレイの全体から放出されているように知覚される。有利な点として、装置はこれにより、フィルファクタに比べて高い比率で画像の有効解像度を増大させることができる。
【0019】
第１の態様に従った別の実施例では、画素のアレイ及びマイクロレンズアレイと同一平面内に第１の偏光子アレイ及び第２の偏光子アレイがある。画素によって放出された光ビームが第１及び第２の偏光子アレイを通過する場合、光ビームの第１の部分は第１の方向に偏光され、光ビームの第２の部分は第１の方向に対して垂直な第２の方向に偏光される。任意選択的に、各マイクロレンズ及びそれに平行な近隣画素のサブアレイは３Ｄ画素を規定し、所与のセルの画素によって放出された光線の少なくとも一部は、第１及び第２の偏光子アレイを通過した後、異なる３Ｄ画素に関連付けられたマイクロレンズを通過するように方向を変えられる。有利な点として、偏光子を用いて、近隣マイクロレンズを通るように画素からの光の方向を変えることにより、装置は表示画像の視野を拡大することができる。方向を変えた画素からの画像の「欠けている（missing）」部分は、時間多重化によって補われる。任意選択的に、画素はＲＧＢ画素であり、偏光子アレイを通過する場合の赤、緑、及び青の画素の各々のフィルファクタは約１２．５％であり、タイムベース多重化の結果として、赤、緑、及び青の画素の各々からの光は、画素アレイ全体から放出されているように知覚される。有利な点として、装置はこれにより、フィルファクタに比べて高い比率で画像の有効解像度を増大させることができる。
【0020】
第１の態様に従った別の実施例において、画素はＲＧＢ画素であり、デバイスは１つ以上のカラーフィルタを含む。カラーフィルタの各々は、赤、緑、又は青の光のうち１つだけを通過させるように構成されている。任意選択的に、各マイクロレンズ及びそれに平行な近隣画素のサブアレイは３Ｄ画素を規定し、隣接するセルのカラーフィルタは、赤、緑、又は青の光を交互に通過させるよう周期的にパターニングされている。有利な点として、カラーフィルタを用いて近隣マイクロレンズを通るように光の一部の方向を変えるので、装置は表示画像の視野を拡大することができる。阻止された画素の「欠けている場所（missing place）」は、時間多重化によって完全にするか又は補うことができる。このようにして得られる画像は、高い解像度と広い視野で視認することができる。
【0021】
第１の態様に従った別の実施例において、光学素子のアレイはマイクロレンズアレイであり、マイクロレンズアレイによって生じる屈折を無効にするようにマイクロレンズアレイと協調的に着脱可能マイクロレンズアレイを配置できる。有利な点として、着脱可能マイクロレンズアレイにより、ディスプレイは従来の２次元形式の画像を表示することができる。
【0022】
第１の態様に従った別の実施例において、調整可能光偏向デバイスは画素のアレイと光学素子のアレイとの間に位置付けられている。第１の態様に従った別の実施例において、光学素子のアレイは画素のアレイと複数の調整可能光偏向デバイスのアレイとの間に位置付けられている。有利な点として、マイクロレンズアレイ及び調整可能光偏向デバイスの効果は累積的であるので、それらを装置内の交換可能な場所に配置して、装置構成の柔軟性を得ることができる。
【0023】
第１の態様に従った別の実施例において、３Ｄ情報は、以下のステップ、すなわち、（１）表示される複数のポイントについて、（ｘ、ｙ、ｚ、Ｒ、Ｇ、Ｂ）ベクトルデータによって３Ｄデータの行列を生成すること、（２）表示される各ポイントごとに、そのポイントから各マイクロレンズ中心までの全てのベクトルの方向を計算することによって、扇形光線を生成すること、（３）表示される各ポイントごとに、セルを通過するベクトルに最も近い角度を有するＲ、Ｇ、及び／又はＢサブピクセルを選択することによって、表示されるポイントの光線を生成する適正なＲ、Ｇ、及び／又はＢサブピクセルを決定すること、（４）表示される各ポイントごとに、例えば表示されるポイントのＲＧＢ光を生成するため、適正な強度で適正なＲ及び／又はＧ及び／又はＢサブピクセルをオンにすること、（５）偏向デバイスを用いる場合、各Ｒ及び／又はＧ及び／又はＢサブピクセルの時間的画像位置を考慮して、ステップ（１）から（４）を実行すること、を含むアルゴリズムに従って設定される。有利な点として、このアルゴリズムは、表示される固有の各画像を変更する場合はいつでも実施することができる。
【0024】
第１の態様に従った別の実施例において、光学素子のアレイはマイクロレンズアレイであり、各マイクロレンズは平坦面及び球面を含み、球面は２次元ディスプレイの方を向いている。有利な点として、そのような状況における球面は、マイクロレンズアレイよりも小さい屈折率を有し得ると共に平坦面を形成するサポート内に収容されるか、又はこのサポートによって支持することができる。
【0025】
第２の態様に従って、ライトフィールドの画像のタイムベース多重化によって画像の解像度を増大させるための装置が開示される。装置は、複数のセンサで構成された２次元センサアレイを含む。センサの前方に光学素子のアレイが配置されている。光学素子のアレイは、ライトフィールドからの光を屈折させて１つ以上のセンサ上に集束するよう構成されている。センサの前方に調整可能光偏向デバイスのアレイが配置され、これは、調整可能偏向角に従ってライトフィールドから受け取った光の伝搬角を偏向させるように構成されている。コントローラは、光偏向デバイスの偏向角を調整するように構成されている。
【0026】
有利な点として、屈折角又は偏向角を時間の関数として変化させることによって、シーンの異なる角度からの光ビームがセンサによって記録される。この結果、シーンの異なる角度の画像が時間の関数として記録される。このように複数の角度から画像を変化させることによって、有効センサ解像度が実質的に増大し、これによりセンサがライトフィールドを撮像する能力が向上する。
【0027】
第２の態様に従った別の実施例において、調整可能光偏向デバイスは、マイクロプリズム、液晶微小電気機械システム、電気光学デバイス、液晶偏光格子デバイス、調節可能格子、又はマイクロミラーのうち１つ以上を含む。有利な点として、これらの材料で作製された調整可能光偏向デバイスは、各マイクロプリズムの偏向角を連続的に又は離散的に変化させるように細かく制御することができるシステムである。
【0028】
第３の態様に従って、３次元画像の投影のタイムベース多重化によって画像の解像度を増大させるための方法が開示される。画像は、複数の画素のアレイを含む２次元ディスプレイによって発生される。画素の前方に光学素子のアレイが配置されている。集束素子は、アレイ上に規定された近隣画素のサブアレイの各画素から放出された光を屈折させて、複数の角度の複数の平行光ビームに構成するよう構成されている。画素の前方に、複数の調整可能光偏向デバイスのアレイが搭載されている。複数の調整可能光偏向デバイスの各々は、画素によって放出された光を偏向させるように構成されている。２次元ディスプレイは少なくとも１つのコントローラも有する。この方法は、少なくとも１つのコントローラによって、３次元（３Ｄ）画像の表示のための３Ｄ情報に従って、画素の各々により放出される光の強度又は色のうち少なくとも１つを選択することと、コントローラによって、人間の視覚システムの画像積分期間中に複数回、光偏向デバイスの偏向角を調整することと、を含む。
【0029】
有利な点として、偏向角を変化させることで３次元画像は多重化され、これにより視聴者の視野内の複数の視点から見られる。このように複数の角度から画像を見ることで、実質的に画素の解像度を増大させ、これによって視聴者の画像解像能力を向上させる。画像積分時、視聴者は、有効画素数が増加した高解像度の画像を見たと感じる。更に、３次元画像のそれぞれ偏向されたビューにおいて、スクリーンから放出される偏向光線は、最初に２次元ディスプレイから放出された光線を正確に再現する。また、この方法は、視聴者の数やスクリーンに対する視聴者の位置にかかわらず、同じように良好に機能する。高い角度分解能と広い視野を有し、更に、奥行き知覚と観察者の目の調節との適合性を有する画像が知覚される。
【0030】
第３の態様に従った別の実施例において、選択するステップは、以下のステップ、すなわち、（１）表示される複数のポイントについて、（ｘ、ｙ、ｚ、Ｒ、Ｇ、Ｂ）ベクトルデータによって３Ｄデータの行列を生成すること、（２）表示される各ポイントごとに、そのポイントから各マイクロレンズ中心までの全てのベクトルの方向を計算することによって、扇形光線を生成すること、（３）表示される各ポイントごとに、セルを通過するベクトルに最も近い角度を有するＲ、Ｇ、及び／又はＢサブピクセルを選択することによって、表示されるポイントの光線を生成する適正なＲ、Ｇ、及び／又はＢサブピクセルを決定すること、（４）表示される各ポイントごとに、例えば表示されるポイントのＲＧＢ光を生成するため、適正な強度で適正なＲ及び／又はＧ及び／又はＢサブピクセルをオンにすること、（５）調整可能光偏向デバイスを用いる場合、各Ｒ及び／又はＧ及び／又はＢサブピクセルの時間的画像位置を考慮して、ステップ（１）から（４）を実行すること、を有するアルゴリズムに従うことを含む。有利な点として、このアルゴリズムは、表示される固有の各画像を変更する場合はいつでも実施することができる。
【0031】
第３の態様に従った別の実施例において、調整可能光偏向デバイスは、調節可能マイクロプリズム、液晶システム、微小電気機械システム、電気光学デバイス、液晶偏光格子デバイス、又はマイクロミラーのうち１つ以上を含む。任意選択的に、調整可能光偏向デバイスはマイクロプリズムのアレイ及び対応する液晶システムを含み、調整するステップは、液晶システムを活性化することによって対応するマイクロプリズムの偏向角を調整することを含む。有利な点として、これらの材料で作製された調整可能光偏向デバイスは、各マイクロプリズムの偏向角を連続的に又は離散的に変化させるように細かく制御することができるシステムである。
【0032】
第３の態様に従った別の実施例において、集束素子はマイクロレンズアレイを含み、方法は更に、マイクロレンズアレイによって生じる屈折を無効にするようにマイクロレンズアレイに対して着脱可能マイクロレンズアレイを解放可能に取り付けることを含む。有利な点として、着脱可能マイクロレンズアレイにより、ディスプレイは従来の２次元形式の画像を表示することができる。
【0033】
以下の図面及び詳細な説明を検討することで、当業者には、本開示の他のシステム、方法、特徴、及び利点が明らかとなろう。全てのそのような追加のシステム、方法、特徴、及び利点は、この記載内に含まれること、本開示の範囲内にあること、及び、添付の特許請求の範囲によって保護されることが意図される。
【図面の簡単な説明】
【0034】
本発明のいくつかの実施形態は、添付図面を参照して単なる例示として本明細書に記載されている。これより図面を具体的に参照するが、示されている詳細事項は例示であり、本発明の実施形態を説明のため検討する目的のものであることを強調しておく。この点に関して、図面と関連付けた記載により、どのように本発明の実施形態を実施できるかが当業者に明らかになる。
【0035】
【図1】本発明の実施形態に従った、３次元画像の投影のタイムベース多重化のためのデバイスのコンポーネントを示す概略図である。
【図2】本発明の実施形態に従った、２Ｄディスプレイを介して投影されて３次元のように見える光ビームの概略図である。
【図3】本発明の実施形態に従った、複数のセルを含む３Ｄディスプレイのマイクロレンズアレイの概略図である。
【図4】本発明の実施形態に従った３Ｄディスプレイの単一のセルの概略図であり、光ビームが画素によって放出され、マイクロレンズによって屈折及びコリメートされている。
【図5】本発明の実施形態に従った３Ｄディスプレイの複数のセルの概略図であり、光ビームが画素によって放出され、マイクロレンズによって屈折及びコリメートされている。
【図6A】本発明の実施形態に従った、画素アレイ、マイクロレンズ、及び調整可能光偏向デバイスを有する３Ｄディスプレイの単一のセルの概略図である。
【図6C】本発明の実施形態に従った、ＲＧＢアレイ、マイクロレンズ、及び調整可能光偏向デバイスを有する３Ｄディスプレイの単一のセルの概略図である。
【図7A】本発明の実施形態に従った、３Ｄディスプレイを介してユーザの両目に投影されている２つの多重化光ビームの概略図である。
【図7B】本発明の実施形態に従った、３Ｄディスプレイを介してユーザの両目に投影されている３つの多重化光ビームの概略図である。
【図8】本発明の実施形態に従った、マイクロレンズ、調整可能光偏向デバイス、及び視野を拡大するため用いられる偏光子を備える３Ｄディスプレイの単一のセルの概略図である。
【図9】本発明の実施形態に従った、偏光子を備える３つの隣接セルの概略図であり、偏光子が投影画像の視野を拡大することを示している。
【図11】本発明の実施形態に従った、マイクロレンズ、調整可能光偏向デバイス、及びＲＧＢフィルタを備えた３Ｄディスプレイの概略図である。
【図12】本発明の実施形態に従った、マイクロレンズ、調整可能光偏向デバイス、及びＲＧＢフィルタを備え、単一のＲＧＢ画素が各マイクロレンズに対応する３Ｄディスプレイの概略図である。
【図13】本発明の実施形態に従ったライトフィールド撮像システムの概略図である。
【図14】本発明の実施形態に従った、光ビームがマイクロレンズで屈折されてセンサへ誘導されるライトフィールド撮像システムの機構の概略図である。
【図15A】本発明の実施形態に従った、調整可能光偏向デバイスを備えたライトフィールド撮像システムの概略図である。
【図16】本発明の実施形態に従った、第１のマイクロレンズアレイの効果を打ち消すために使用できる第２のマイクロレンズアレイと組み合わせたマイクロレンズアレイの概略図である。
【図17】本発明の実施形態に従った、マイクロレンズの球面が２次元ディスプレイに向かい合っているマイクロレンズアレイの代替的な実施形態の概略図である。
【図18】本発明の実施形態に従った、マイクロレンズアレイの面内で用いられる代替的な光学システムの概略図である。
【発明を実施するための形態】
【0036】
本発明は、いくつかの実施形態において、高解像度かつ大視野の３次元ディスプレイに関し、更に具体的には、限定ではないが、３次元画像の投影のタイムベース多重化によって画像の解像度を増大させるためのデバイスに関する。また、本発明は、いくつかの実施形態において、高解像度でライトフィールドを撮像するためのデバイスに関し、具体的には、限定ではないが、ライトフィールドのタイムベース多重化によって解像度を増大させるための装置に関する。
【0037】
本発明の少なくとも１つの実施形態を詳細に説明する前に、本発明が、その適用例において、以下の記載で述べられている及び／又は図面及び／又は実施例で示されているコンポーネント及び／又は方法の構成及び配置の詳細に限定されないことを理解するべきである。本発明は他の実施形態も可能であり、又は、様々な手法で実施もしくは実行することが可能である。
【0038】
図１は、３次元画像の投影のタイムベース多重化のためのデバイス１０の要素を示す概略図である。デバイス１０は、スクリーン２０、光学素子アレイ３０、調整可能光偏向デバイス４０、及びコントローラ５０を含む。
【0039】
スクリーン２０は、画像を表示することに適した任意のディスプレイとすればよい。本開示で用いる場合、「スクリーン」及び「２次元ディスプレイ」という用語は交換可能に使用される。好適な実施形態において、スクリーン２０は８Ｋ解像度の超高密度２次元ディスプレイを有する。８Ｋ ＵＨＤ（７６８０×４３２０画素）は、Ｒｅｃ．２０２０（ＵＨＤＴＶ）規格で規定される最も高い解像度である。８Ｋディスプレイの利点は、投影される画像が多重化の前でも高解像度であることである。
【0040】
スクリーン２０は、複数の画素２２の２次元アレイとして構成されている。画素２２は、単色（すなわちグレースケール）又はＲＧＢ画素とすることができる。
【0041】
図示されている実施形態において、光学素子アレイ３０は、スクリーン２０に対して平行に搭載されたマイクロレンズ３２のアレイから成る。マイクロレンズアレイ３０は画素２２の前方に位置している。つまり、画素２２によって放出された光はマイクロレンズアレイ３０を通過する。本開示で用いる場合、マイクロレンズとは、直径が１ｍｍ未満の小型レンズであり、直径は例えば１０マイクロメータ又は１マイクロメータ程度の小ささである。マイクロレンズ３２は、例えばガラス、コロイド粒子、又はナノリソグラフィによってパターニングされた液体等、当業者に既知である多くの材料で作製され得る。マイクロレンズアレイ３０は、支持基板（図１には示されていない）上に配置することができる。
【0042】
マイクロレンズアレイ３０は、２次元アレイに形成された複数のマイクロレンズ３２を含む。各マイクロレンズ３２は、平坦面３３と球状凸面３６を有する。例示されている実施形態では、球面３６は２次元ディスプレイから離れる方向を向いている。しかしながら、球面３６が２次元ディスプレイ２０に面する方向を向くことも可能である。好ましくは、スクリーン２０はマイクロレンズアレイ３０の焦点面に位置している。２次元ディスプレイ２０がアレイ３０の焦点面に位置付けられている場合、画素２２から放出される全ての光ビームは対応するマイクロレンズ３２によって集光され、コリメート光ビーム（すなわち、全ての光線が同一方向を向いた光ビーム）として投影される。
【0043】
調整可能光偏向デバイス４０も画素２２の前方に搭載されている。例示されている実施形態では、光偏向デバイス４０は調節可能マイクロプリズム４２から成る。マイクロプリズム４２は、ディスプレイ２０及びマイクロレンズアレイ３０の面に対してある角度に配置されている。マイクロプリズム４２は動的である。つまり、マイクロプリズム４２の角度は、適切な電気光学デバイスの動作によって調整可能である。例示されている実施形態では、各マイクロプリズム４２は液晶ベースのシステム４４の動作によって調整可能である。液晶システムは、電気入力に基づいて形状、角度、屈折率、又は偏光を変化させるように構成できる。液晶は、コレステリック相、スメクチック相、又はネマチック相とすることができる。調整可能光偏向デバイス４０は、代替的に又は追加的に、電気光学デバイス、液晶偏光格子（ＬＣＰＧ：liquid crystal polarization grating）デバイス、マイクロミラー、又は光ビームの伝搬角を偏向及び制御することができる他の任意の既知のデバイスを含み得る。
【0044】
例示されている実施形態では、調整可能光偏向デバイス４０はスクリーン２０とマイクロレンズアレイ３０との間に配置されている。この配置は単なる例示であり、マイクロレンズアレイ３０と調整可能光偏向デバイス４０の位置を逆にして、マイクロレンズアレイ３０をスクリーン２０と調整可能光偏向デバイス４０との間に配置することも可能である。
【0045】
コントローラ５０は、スクリーン２０及び調整可能光偏向デバイス４０に命令を与える。これらの機能は、異なるサブコントローラによって実行できる。例えば、スクリーンをスクリーンコントローラ５２によって制御し、偏向デバイス４０を偏向コントローラ５４によって制御することができる。
【0046】
コントローラ５０はコンピュータプログラム製品を含み得る。コンピュータプログラム製品は、本発明の態様をプロセッサに実行させるためのコンピュータ可読プログラム命令を有する１又は複数のコンピュータ可読記憶媒体を含み得る。コンピュータ可読記憶媒体は、命令実行デバイスによって用いられる命令を保持及び記憶できる有形のデバイスとすることができる。コンピュータ可読記憶媒体は、限定ではないが例として、電子記憶デバイス、磁気記憶デバイス、光学記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、又は前述のものの任意の適切な組み合わせとすればよい。
【0047】
コントローラ５０及びそのサブコントローラは、ユーザから命令を受信するようにプログラムすることができる。例えばユーザは、コントローラ５０及び／又はスクリーンコントローラ５２を用いて、３次元画像を表示するための３次元情報に従って、画素２２の各々により放出される光の強度又は色のうち少なくとも１つを選択することができる。この選択は、以下で更に説明されるアルゴリズムに従うことを含み得る。
【0048】
ユーザは同様に、コントローラ５０及び／又は偏向コントローラ５４を用いて、人間の視覚システムの積分時間（ｔ）中に複数回、光偏向デバイス４０の偏向角を調整することができる。
【0049】
人間の視覚システムは、平均して約０．１秒おきに画像を積分することができる。この時間を本明細書では「視覚積分時間（visual integration time）」と称する。動作中、ユーザはコントローラ５０を用いて、視覚積分時間をｎ個の離散期間ｔ１～ｔｎに分割する命令を与えることができる。ｔ１～ｔｎの各期間中に、画像がスクリーン２０から表示され、その光がマイクロレンズアレイ３０及び調整可能光偏向デバイス４０を介して屈折する。期間と期間との間に、調整可能光偏向デバイス４０の偏向角（例えばプリズム４２の偏向角）を変化させる。あるいは、偏向角の変化は連続的としてもよい。偏向角が変化すると、画素２２によって発生した画像を見る視野角が変化する。この結果、時間（ｔ）中に画像の投影はｎ回多重化される。時間（ｔ）の終了時に目が知覚する画像は、画像の単一の表示を見る場合に比べ、解像度が高く、かつ有効画素数が増えたものとなる。
【0050】
図２から図７Ｂは、どのようにスクリーン２０及びマイクロレンズアレイ３０を用いて３Ｄディスプレイを生成するか、並びに、どのようにデバイス１０の各コンポーネントが画素２２からの３Ｄ画像の伝送に影響を及ぼすかを示す。
【0051】
図２は、通常どのようにスクリーン２０を用いて３次元表示を表現するかを基本レベルで示す。例示の目的のため、スクリーン２０によって投影される３次元物体が、スクリーン２０の後方の異なる面内にポイント２４及び２６を有すると考えることができる。これに相当する、照明されるか又は自己照明する現実の３Ｄ物体（例えば電球）は、ポイント２４及び２６から全ての方向に光線を放出する。同様に、ディスプレイ２０から本物そっくりの３Ｄシーンを表示するため、ディスプレイ２０の各ポイント（例えば各画素２２）は、実際は全て同一面内にあるが、多くの異なる色、強度、及び角度の光線を同時に放出する。このため観察者は、視差効果に従って、３Ｄ物体の画像をどの角度からも異なるように観察することができる。
【0052】
一例として、画素２８はスクリーン２０上の１つの任意のポイントである。観察者がどの角度からもポイント２４及び２６を見ることを可能とするため、画素２８は、異なる色及び異なる強度の光線を同時に異なる角度へ放出しなければならない。図示されている例では、画素２８は、ポイント２４から放出されているように見える光線６１を放出し、更に、ポイント２６から放出されているように見える光線６３を放出する。これと同じ解析がスクリーン２０上の画素２２の各々に適用される。スクリーン２０上の全ての画素２２が適切な色、強度、及び角度の光線を同時に放出することで、これらの光線が３Ｄ物体の全てのポイントから来ているように見える連続した光線に見える場合、観察者はどの視点からも３次元の画像を視認する。
【0053】
図３は、前方にマイクロレンズアレイ３０を備えた図２のスクリーン２０を示す。スクリーン２０はマイクロレンズアレイ３０の焦点面に位置付けられている。マイクロレンズアレイ３０は様々なマイクロレンズ３２を含み、各マイクロレンズ３２は１つ以上の画素２２と同一平面内にある。例示されている実施形態では、各マイクロレンズ３２は１群の画素２２に向かい合っている。本明細書では、各マイクロレンズに向かい合っている画素群を画素の「サブアレイ」とも称する。
【0054】
スクリーン２０とマイクロレンズ３０の組み合わせは、３Ｄ画素１４から成る３Ｄディスプレイ１２を形成する。各３Ｄ画素１４は、１つのマイクロレンズ３２とスクリーン２０の少なくとも１つの対応する画素２２とを含むセル３４から構成される。本開示で用いる場合、「セル」及び「３Ｄ画素」という用語は交換可能に使用される。上記で検討したように、スクリーン２０は任意の既知の２次元ディスプレイとすればよく、画素２２は単色又はＲＧＢとすればよい。異なるセル３４間のクロストークを防止するため、異なるセル３４間には任意選択的にバリア３６、３８が設けられる。
【0055】
図４は、３Ｄディスプレイ１２の単一の３Ｄ画素１４を通る光ビームの伝送を示す。図３と同様、３Ｄ画素１４又はセル３４は、画素２２、バリア３６及び３８、並びにマイクロレンズ３２を含む。画素２２はマイクロレンズ３２の焦点面に位置付けられている。例示されている実施形態では、画素２２はＲＧＢ画素である。
【0056】
上述のように、３Ｄディスプレイ１２からリアルな３Ｄ画像を得るため、ディスプレイ１２上の各ポイントが、異なる色、強度、及び角度を有する多くの光線を同時に放出することで、観察者は視差効果によって異なる角度から異なるように物体を視認する。従って、各セル３４は３Ｄディスプレイ１２の個々の画素１４と同等であるので、各セル３４は、異なる色、強度、及び角度を有する多くの光線を同時に放出する。各セル３４がこれら多くの異なる光線を生成するため、スクリーン２０の異なるＲＧＢ画素２２が用いられる。例えば、物体の任意のポイント２４の方向から来る特定の強度及び色の光線を生成するため、また、これと同時に、物体の別の任意のポイント２６の方向から来る別の強度及び色を有する異なる光線を生成するため、ＲＧＢ画素２１が、理論上ポイント２４から来る光線と同じ強度及び色の光を放出し、これと同時にＲＧＢ画素２３が、理論上ポイント２６から来る光線と同じ強度及び色の光を放出する。スクリーン２０、従って画素２２の各々は、マイクロレンズアレイ３０のマイクロレンズ３２の焦点面に位置付けられているので、各セル３４において、各ＲＧＢ画素から放出された全ての光線はそのセル３４のマイクロレンズ３２により集光され、例えばビーム６１ａ、６１ｂ、６１ｃ、６３ａ、６３ｂ、６３ｃのようなコリメート光ビームとして投影される。各コリメート光ビーム６１、６３は、各ビームを放出している画素とセル３４の光軸３１とが生成する角度に向けられている。ＲＧＢ画素２１、２３は光軸３１に対して特定の角度に位置付けられており、これらの角度は、セル３４から発した光ビームを見ている観察者に対する物体のポイント２４、２６の角度と同様である。このため、セル３４を見ている観察者にとって、光ビーム６１、６３はそれぞれポイント２１又は２３から来るように見える。観察者の網膜上で、各ＲＧＢ画素２２からの各光ビームは一点に集束される。記載されているセル３４の動作は、表示される３Ｄ物体上の他の全てのポイントに当てはまる（ポイント２４、２６以外にも）ので、観察者は３Ｄ物体を視認する。
【0057】
視聴者が左右又は上下の次元に視野角をシフトした場合、３Ｄ物体の知覚は継続する。有利な点として、３Ｄディスプレイ１２の各セル３４からの光線はコリメートされて狭ビームを形成するので、観察者は表示された物体をその「リアルな」距離で視認し、目の疲れ、眼精疲労、及び吐き気は防止される。
【0058】
次に図５を参照すると、３Ｄディスプレイ１２のより包括的な機構が示されている。この図では、複数のセル３４が単一の面内に示されており、各セル３４は、１つのマイクロレンズ３２と、マイクロレンズ３２の焦点面に位置付けられた少なくとも２つの画素２２と、任意選択的に２つのバリア３６、３８と、を備えている。個別セル３４の各々は、図４に関連付けて上述したように機能する。従って、例えばポイント２４のような３Ｄ物体の１つのポイントを生成するため、各セル３４は、理論上ポイント２４から来るはずの光線の強度及び色と同じ強度及び色を有する光ビームを生成する。各セル３４はこのビームをそれぞれ異なる伝搬角で生成する。これを達成するのは、理論上ポイント２４から来るはずの光線の強度及び色と同じ強度及び色を有する光を放出するがセル３４の光軸に対して適切な角度に位置付けられている各セル内の適切な１又は複数のＲＧＢ画素２２である。この結果、観察者には、３Ｄディスプレイ１２の全てのセル３４からの扇形の全ビームがポイント２４から来ているように視認される。同様に、例えばポイント２６のような３Ｄ物体１５の別のポイントを生成するため、各セル３４は、ポイント２６から来るはずの光線の強度及び色と同じ強度及び色を有する光ビームを生成し、セル３４の光軸に対して適切な角度に配向された１又は複数の適切なＲＧＢ画素２２からの光の伝搬に基づいて、各セルは、ポイント２６から来るはずの光線の強度及び色と同じ強度及び色を有する光ビームを生成する。従って、観察者には、３Ｄディスプレイ１２の全てのセル３４からの扇形の全ビームがポイント２６から来ているように視認される。視聴者が左右又は上下の次元に視野角をシフトした場合、３Ｄ物体の知覚は継続する。
【0059】
上述したシステムは様々な利点を有する。３Ｄディスプレイ１２は、３Ｄ物体の適正なポイントから来ているように見える適正な角度を有する多数の光ビームを生成するので、多くの異なる観察者が同時に、３Ｄディスプレイ１２に対する各自の位置に応じた異なる角度で物体を見るのに適している。更に、３Ｄディスプレイ１２の各セル３４からの光ビームは狭ビームにコリメートされて投影されるので、観察者はその「リアルな」場所の物体を視認する。目の疲れ、眼精疲労、及び吐き気は防止される。
【0060】
しかしながら、図４及び図５に示されている３Ｄディスプレイ１２が提供する３Ｄ解像度は依然として限られている。各セル３４のＲＧＢ画素２２の数が限られているので、生成することができる異なる角度のビームは限定される。３Ｄ物体の多くの近接したポイントが各セル３４の同一のＲＧＢ画素２２によって再構築される可能性があり、このため再構築の角度分解能は低減する。更に、所与のＲＧＢ画素２２内のＲ、Ｇ、及びＢサブピクセルのフィルファクタが限られているので、Ｒ、Ｇ、及びＢサブピクセルの各々は角度範囲全体をカバーせず、従って再構築の角度分解能は低減する。
【0061】
３Ｄ解像度を増大するために可能な１つの手法は、マイクロレンズ３２に対する画素２２の視角（angular subtense）を小さくするため、マイクロレンズ３２の焦点距離を長くすることである。しかしながら、焦点距離を長くすると、それに応じて視野が限定される。別のアプローチは、視野を広くするため、ＲＧＢ画素２２の数を増加させることである。しかしながら、これはマイクロレンズの開口寸法を増大させ、それに応じて３Ｄディスプレイの横方向解像度が低下する。
【0062】
本開示は、各セル３４内のＲＧＢ画素２２の有効数を増加させる別のアプローチを提供する。各セル３４において、マイクロレンズ３２の前又は後に調整可能光偏向デバイス４０を追加する。調整可能光偏向デバイス４０は、人間の視覚システムの画像解像度期間内で１度以上、離散的に又は連続的に調整され、これによって視聴者に見える画素数を実質的に増倍（multiply）させる。
【0063】
図６Ａを参照すると、３Ｄディスプレイ１２のセル３４は、２Ｄディスプレイスクリーンの少なくとも１つのＲＧＢ画素２２と、少なくとも１つのマイクロレンズ３２と、２つの任意選択的なバリア３６、３８と、を含む。セル３４は調整可能光偏向デバイス４０も含む。偏向デバイス４０は一実施形態において、マイクロプリズム４２及び液晶システム４４から構成される。液晶システム４４は、図１に関連付けて上述したように、マイクロプリズム４２の角度を偏向させるよう動作可能である。調整可能光偏向デバイス４０は、追加的に又は代替的に、電気光学デバイス、液晶偏光格子、マイクロミラー、又は、光ビームの伝搬角を偏向及び制御することができる他の任意の既知のデバイスとしてもよい。光ビームの屈折角又は偏向角を時間の関数として変化させた場合、ＲＧＢ画素２２の異なる角度の異なる画像が得られる。
【0064】
図６Ｂは、２つの別個の時点で視聴者の目に見える２つのＲＧＢ画素２１、２３の画像を示す。偏向デバイス４０の１つの偏向状態において、画素２１、２３はＲＧＢ画素２１ａ及び２３ａとして視認され、偏向デバイスの別の偏向状態において、それらはＲＧＢ画素２１ｂ、２３ｂとして視認される。従ってＲＧＢ画素２１ｂ、２３ｂは、例えばＲＧＢ画素２１ａ、２３ａの間のような異なる位置に位置付けられているように知覚される。偏向の結果、ＲＧＢ画素の有効数は増加し、３Ｄディスプレイの全角度分解能は向上する。
【0065】
一実施形態において、画素２１、２３の知覚される偏向は画素の幅よりも小さい。画像の変位が画素の幅よりも小さいので、画像を超解像度で表示することが可能となる。
【0066】
各セル３４の光ビームの偏向角は連続的に又は離散的に何度も変動され得るので、各画素の画像は、画像積分時間中の異なる部分では異なる角度で見ることができる。
【0067】
図６Ｃは、少なくとも１つのＲＧＢ画素を備えた３Ｄディスプレイの単一のセル３４を示す。各ＲＧＢ画素２２はサブピクセルＲ、Ｇ、及びＢを備え、例えば、Ｒサブピクセル２５、Ｇサブピクセル２７、及びＢサブピクセル２９を備えている。サブピクセルＲ、Ｇ、及びＢの各々のフィルファクタは１００％よりも低いので、Ｒ、Ｇ、及びＢサブピクセルによって「カバーされる」のは角度範囲全体よりも小さい範囲である。従って、投影画像の角度分解能は低減する。更に、各サブピクセルＲ、Ｇ、及びＢの視角が限られているので、セル３４の角度分解能は限られている。調整可能光偏向デバイス４０を用いて、屈折角及び偏向角を時間の関数として変えることにより、サブピクセルＲ、Ｇ、及びＢの異なる角度の異なる画像が得られる。
【0068】
図６Ｄは、図６Ｃのセル３４内のＲサブピクセル２５の異なる画像を示す。偏向デバイス４０の１つの偏向状態において、ＲサブピクセルはＲサブピクセル２５ａとして視認され、偏向デバイス４０の別の偏向状態において、ＲサブピクセルはＲサブピクセル２５ｂとして視認され、第３の偏向状態において、ＲサブピクセルはＲサブピクセル２５ｃとして視認される。これに応じてＲサブピクセルの光線はセル３４から異なる方向に放出し、それぞれビーム６５ａ、６５ｂ、及び６５ｃとして現れる。これと同じプロセスが、３Ｄディスプレイ全体でセル３４の各々においてＲ、Ｇ、及びＢサブピクセルの各々で行われる。これにより、Ｒ、Ｇ、及びＢサブピクセルの有効数が増加し、従って各サブピクセルのフィルファクタが増大する。
【0069】
２Ｄディスプレイとは異なり、３Ｄディスプレイでは、画素又はサブピクセルが１００％よりも大幅に低いフィルファクタを有するディスプレイが望ましい。このようなシステムでは、各画素の視角が小さいので、高い角度分解能の３Ｄ画像を発生することができる。しかしながらそれに応じて、このようなシステムでは、２Ｄディスプレイからの画素の変調を用いて複数の画像を表示する必要がある。このため、実質的な画素の増倍によって低いフィルファクタを補償する。
【0070】
特に、ＲＧＢ画素を備えたディスプレイでは、Ｒ、Ｇ、及びＢサブピクセルの各々はディスプレイの約２５％を占め、ディスプレイの残り部分は機械的コンポーネントによって占有される。タイムベース多重化の効果は、各ＲサブピクセルがＧ及びＢサブピクセルをカバーしている空間まで多重化されるように、及びその逆になるように、Ｒ、Ｇ、及びＢサブピクセルの有効数を増加させることである。このため、赤、緑、及び青のサブピクセルの各々からの光は、画素アレイ全体から放出されているように知覚される。
【0071】
偏向状態を変動させることに加えて、サブピクセルの強度及び色を連続的に又は離散的に変動させることも可能である。この変動によってもＲＧＢ画素の有効数は増加する。これに応じてフィルファクタが増大し、３Ｄディスプレイの角度分解能が向上する。
【0072】
図７Ａは、２つの光ビーム６１、６３が３Ｄディスプレイを介して３回多重化されてユーザの目に投影されることを示す概略図である。図７Ｂは、本発明の実施形態に従って、３つの多重化された光ビーム６１、６３、６５が３Ｄディスプレイを介してユーザの目に投影されることを示す概略図である。図７Ａ及び図７Ｂで見られるように、多重化の効果は、光ビーム６１、６３、６５の有効解像度を、この例では３倍増大させることである。
【0073】
ここで図８を参照すると、３次元画像の投影のタイムベース多重化のためのデバイスの第２の実施形態１１０が開示されている。デバイス１１０はほとんどの点でデバイス１０と同様であるので、同様の要素は、「１」で始まること以外は同様の参照番号を有する。デバイス１１０が前述の実施形態と異なる点は、２つのマイクロレンズアレイ１３０と同一平面内にある第１の偏光子アレイ１７０及び第２の偏光子アレイ１７２を含むことである。例示されている実施形態では、第１の偏光子アレイ１７０は画素アレイ１２０に隣接し、第２の偏光子アレイ１７２は画素アレイ１２０とマイクロレンズアレイ１３０との間に提供されている。この構成は単なる例示であり、他の構成も可能である。偏光子１７０、１７２によって、デバイス１１０は、前述の実施形態よりも広い視野で３Ｄ画像を表示することができる。
【0074】
動作中、第１の偏光子アレイ１７０は、偏光子１７２の偏光方向に平行な偏光方向を有する第１の群の偏光子１７３と、偏光子１７２の偏光方向に垂直な偏光方向を有する第２の群の偏光子１７４と、を含む。偏光子１７３、１７４は画素アレイ１２０に沿って交互に位置決めされ、各偏光子１７３、１７４は異なる画素又は画素群に対して平行であるので、隣接するセルから放出される光は偏光子１７３又は１７４によって交互に偏光される。例えば、奇数番号の画素１７５及び１７７から放出される光は偏光子１７２の偏光方向に平行な偏光方向を有する偏光子１７３によって偏光され、偶数番号の画素１７６及び１７８から放出される光は偏光子１７２の偏光方向に垂直な偏光方向を有する偏光子１７４によって偏光される。従って、画素１７５及び１７７からそれぞれ放出される光線１６５及び１６７は偏光子１７２の偏光方向に平行な方向に偏光され、偏光子１７２を通過する。一方、画素１７６及び１７８からそれぞれ放出される光線１６６及び１６８は偏光子１７２の偏光方向に垂直な方向に偏光されるので、偏光子１７２によって阻止される。偏光子１７０、１７２は図８に示された位置に厳密に配置する必要はなく、セル１３４内の画素の一部の光を透過させると共にセル内の画素の他の部分の光を阻止する機能を達成する限り、セル１３４内の任意の面内に配置することができる。
【0075】
図９は、偏光子１７０、１７２、１７４を備えた３つの隣接するセル１３５、１３７、１３９の概略図であり、投影画像の視野を拡大する偏光子１７２、１７４、１７６の効果を例示している。セル１３５、１３７、１３９の各々は、少なくとも１つのＲＧＢ画素を含む。例示されている実施形態において、各セルは、複数の画素を含む画素のサブアレイを有する。例えば、セル１３７は画素１８３、１８４、及び１８５を有する。各セルは、少なくとも１つのマイクロレンズ１３２及び少なくとも１つの偏向デバイス１４０も有する。図８に関連付けて上述したように、各セルは、第１の偏光方向の偏光子１７２ａ、１７２ｂ、１７２ｃも有する。偏光子１７３ａ、１７３ｂ、１７３ｃ、及び１７４ａ、１７４ｂ、１７４ｃは、各セルの画素を交互にカバーしている。各偏光子１７３は偏光子１７２の偏光方向に平行な偏光方向を有し、各偏光子１７４は偏光子１７２の偏光方向に垂直な偏光方向を有する。セル１３５、１３７、１３９の間にバリアは存在しない。
【0076】
特に、この実施形態では、セル１３５及び１３７又はセル１３７及び１３９のような２つの隣接セルの偏光子１７２の偏光方向は相互に直交している。上述したように、偏光子によって、例えばセル１３５の画素１８４により放出される光線１９４等、いくつかの画素の光線はその偏光子１７２ｂを通過する。一方、セル１３５の偏光子１７２ａ及びセル１３７に隣接するセル１３９の偏光子１７２ｃの偏光方向は偏光子１７２ｂの偏光方向に垂直であるので、セル１３７内の阻止される画素１８３及び１８５によって放出される光線１９３及び１９５等の光線は、それぞれ隣接セル１３５、１３９のみで偏光子１７２ａ及び１７２ｃを通過することができる。この結果、各セルの広角光投影が得られるので、画像の視野を拡大することが可能となる。言い換えると、隣接するセルに光を放射する画素を用いて、広い視野で見ることができる像（figure）を生成できる。いずれかの特定のセル内の画素の「欠けている場所」は、上述のように偏向デバイス１４０を用いてそのセルの画素の画像の角度を偏向させることによって補うか又は完全にすることができる。当業者に認められるように、各セル１３４の偏光子１７３、１７４は、そのセルを通過するよう設計された光の極性に関連付けなければならない。
【0077】
この実施形態では、偏光子の効果によって、各セルの画素の半分だけがそのセルを介して光を放出できるので、赤、緑、及び青のサブピクセルの各々のフィルファクタはわずか約１２．５％である。タイムベース多重化の結果として、赤、緑、及び青の画素の各々からの光は、画素アレイ全体から放出されているように知覚される。
【0078】
図１０は、３次元画像の投影のタイムベース多重化のためのデバイスの別の実施形態２１０を示す。図８及び図９の実施形態１１０と同様、実施形態２１０は広い視野で３Ｄ画像を表示するように構成されている。実施形態２１０はほとんどの点で前述の実施形態と同様であるので、同様の要素には、「２」で始まること以外は同様の参照番号を割り当てる。
【0079】
各セル２３４は、例えば画素２８３、２８４、及び２８５のような２Ｄスクリーンの少なくとも１つのＲＧＢ画素と、少なくとも１つの偏向デバイス２４０と、マイクロレンズ２３２と、を含む。更に、赤色フィルタ２９０のようなフィルタも存在する。従って、画素２８３ｒのようなＲＧＢ画素の赤サブピクセルによって放出される光線２９３ｒのような光線は、赤色フィルタ２９０を通過する。しかしながら、セル２３４内のＲＧＢ画素の緑及び青サブピクセルによって放出される２８３ｇ及び２８３ｂのような光線は、赤色フィルタ２９０によって阻止される。フィルタ２９０は、セル２３４の画素の一部の光を透過させると共にセル２３４の画素の他の部分の光を阻止するという本明細書に記載されている機能を達成するため、セル２３４の内部のいずれかの面内、又はセル２３４の外部に位置付けることができる。
【0080】
図１１は、図１０に示されている種類のセルから構成された３Ｄディスプレイの一部を示す。図１１は３Ｄディスプレイの３つの隣接セル２３５、２３７、及び２３９を示す。各セルは、２Ｄスクリーン２２０の少なくとも１つのＲＧＢ画素を含む。簡略化のため、１群のＲ、Ｇ、Ｂサブピクセルのみを備えたＲＧＢ画素が１つだけ図示されている。各セルは、少なくとも１つの偏向デバイス（図示せず）及びマイクロレンズ２３２も含む。更に、各セルはフィルタ２９０を有する。
【0081】
３Ｄディスプレイの隣接するセルのフィルタ２９０は、赤、緑、又は青の光を交互に通過させるよう周期的にパターニングされている。フィルタによって、各セルのフィルタ２９０と同じ色を有するそのセルのサブピクセルＲ、Ｇ、及びＢにより放出される光線は、フィルタ２９０を通過する。フィルタ２９０と異なる色のサブピクセルによって放出される光線は、フィルタによって阻止される。例えば、セル２３５は赤色フィルタを有する。光線２３５ｒのようなＲサブピクセルの光線はそのセルのＲフィルタ２９０を通過するが、Ｇ及びＢサブピクセルによって放出される光線はＲフィルタによって阻止される。しかしながら、セル２３５内の阻止されたＧ及びＢサブピクセルによって放出される光線は、隣接するセル２３７及び２３９のフィルタ２９０を通過することができる。例えば、光線２３５ｇはセル２３７のＧフィルタを通過し、光線２５２ｂはセル２３９のＢフィルタを通過することができる。この結果、広い視野の広角光投影が得られる。各セル内の画素の「欠けている場所」は、上述したように、偏向デバイス２４０を用いて画素の画像を偏向させることによって完全にすることができる。
【0082】
ここで図１２を参照すると、３Ｄディスプレイの各セルがＲサブピクセル、Ｇサブピクセル、又はＢサブピクセルのうち１つだけを含む事例に、図１１の実施形態の原理が拡張されている。要素２２２は２Ｄディスプレイ２２０の単一のＲＧＢ画素を表し、要素２３５、２３７、及び２３９は３Ｄディスプレイの３つのセルを表す。セル２３５、２３７、及び２３９の各々は、ＲＧＢ画素２２２のＲサブピクセル、Ｇサブピクセル、又はＢサブピクセルだけを含む。図１１の実施形態と同様、光線が特定のフィルタ２９０だけを通過するので、各セルの視野は拡大し、画素の「欠けている場所」は、偏向デバイスを用いて画素の画像を偏向させることによって完全になる。この実施形態の利点は、広い視野と高い角度分解能を達成することに加えて、３Ｄディスプレイの各セルの寸法が２Ｄディスプレイ画素２２２の寸法と同等であるために３Ｄディスプレイの高い横方向解像度が得られることである。
【0083】
上述した実施形態は単なる例であり、視野を拡大するために任意の種類のフィルタ、セルの配置、及びフィルタの配置又は順序を適用することができる。
【0084】
図１３は、上述した実施形態に関連付けて検討される原理に従って実施され得るライトフィールド撮像システム３１０のコンポーネントを示す。ライトフィールド撮像デバイス３１０は前述の実施形態と同様のコンポーネントを有するので、同様の要素は、「３」で始まること以外は同様の参照番号を用いて言及される。
【0085】
ライトフィールド撮像システム３１０は、マイクロレンズアレイ等の光学素子アレイ３３０、及びその焦点面に位置付けられた２Ｄセンサアレイ３２０から成る。マイクロレンズアレイ内の各マイクロレンズ３３２は、ライトフィールド撮像システム３１０における１つの画素又はセル３３４を表す。各画素３１４は、１つのマイクロレンズ３３２及び２Ｄセンサアレイ３２０の少なくとも１つのセンサから成る。２Ｄセンサアレイ３２０は、単色、ＲＧＢ、ハイパースペクトル、及び／又は偏光検出センサを含む、いずれかの既知の２Ｄセンサアレイとすればよい。
【0086】
図１４を参照すると、ライトフィールド撮像システム３１０の１つの画素又はセル３３４が図示されている。各画素３３４は、マイクロレンズアレイの１つのマイクロレンズ３３２と、マイクロレンズの焦点面に位置付けられた２Ｄセンサアレイ３２０のセンサ３２１、３２３のような少なくとも２つのセンサと、から成る。シーンの任意のポイントから発する光線がマイクロレンズアレイ３３０に当たると、各マイクロレンズ３３２は光線束をその焦点面に収束する。各光線束は、その主光線の方向に応じて異なるセンサへ誘導される。例えば、光線束３６１の光線は誘導されてセンサ３２１上に集束し、光線束３６３の光線は誘導されてセンサ３２３上に集束する。従って、光線３６１、３６３の強度及び色が記録されるだけでなく、それらの方向も記録される。任意選択的に、偏光を記録するため偏光子を挿入してもよい。
【0087】
図１４のシステムでは、ライトフィールド撮像システム３１０の各画素又はセル３３４内のセンサ３２２の数が限られているので、角度分解能の潜在的な可能性が限られている。これに応じて、記録することができる光線束の異なる角度も限られており、シーン内の角度が近いポイントは画素の同一センサ上に記録され得るので、角度分解能は低減する。このシステムの別の制限は視野が限られていることであり、これもライトフィールド撮像システムの各画素内のセンサ数に依存する。しかしながら、各画素３２２内のセンサ数を増加させるとマイクロレンズ３２２の開口寸法が増大し、従って撮像システム３１０の横方向解像度が低減する。
【0088】
図１５Ａを参照すると、マイクロレンズの寸法を大きくすることなく各画素又はセル３３４内のセンサ３２２の有効数を増加させるため、調整可能光偏向デバイス３４０が追加されている。調整可能光偏向デバイス３４０は、液晶システム、液晶プログラマブル格子、電気光学デバイス、マイクロミラー、又は光線の伝搬角を偏向及び制御できる他の任意のデバイスを含み得る。調整可能光偏向デバイス３４０は、前述の実施形態を参照して記載されているデバイス４０、１４０、２４０と同様のデバイスとすればよい。具体的には、偏向デバイス３４０はコントローラを用いて制御可能とすることができる。１つの例示的な実施形態において、デバイス３４０は調節可能マイクロプリズムである。偏向デバイス３４０は、マイクロレンズアレイの前又は後に横方向に配置することができる。
【0089】
図１５Ａに示されているように、ライトフィールド撮像システム３１０の画素又はセル３３４は、センサ３２１、３２３等のいくつかのセンサと、１つのマイクロレンズ３３２と、調整可能光偏向デバイス３４０と、を含む。デバイス３４０の屈折角又は偏向角を時間の関数として変化させることによって、シーンの異なる角度の画像が時間の関数として記録される。言い換えると、デバイス３４０の屈折角又は偏向角を時間の関数として変化させることによって、各画素３３４のセンサ３２２の異なる画像が取得され、これにより有効画素数を増加させる。
【0090】
図１５Ｂは、２つの異なる時点でセンサ３２１及び３２３によって観察される画像を示す。調整可能光偏向デバイス３４０の１つの偏向状態では、センサは画素位置３２１ａ及び３２３ａに位置付けられているように見え、調整可能光偏向デバイス３４０の別の偏向状態では、センサは画素位置３２１ｂ及び３２３ｂに位置付けられているように見える。センサ３２１ｂ及び３２３ｂは、センサアレイ３２０の面内に物理的に位置付けられているセンサとは異なる角度に位置付けられているように見える。例えば、センサ３２１ｂ及び３２３ｂはセンサ３２１ａと３２３ａとの間に位置付けられているように見えるので、シーンからの異なる方向を有する別の光線束も記録される。この現象を特徴付ける別の考え方は、センサ３２２上に表示される画像がセンサ上の元の位置に対して変位して見えるということである。従って、この構成はセンサ３２２の有効数を増加させる。
【0091】
各画素３３４の光ビームの伝搬角は、調整可能光偏向デバイス３４０の動作によって連続的に又は離散的に変動し得る。各センサ３２２の画像が異なる時点で異なる角度に見えるように、デバイス３４０を多くの異なる角度に何度も変化させることができる。その結果として、記録シーンを時間で多重化し、それによりライトフィールド撮像システムの全体的な解像度を増大させることによって、センサ３２２の有効密度を増大させる。
【0092】
３Ｄディスプレイ１０とライトフィールド撮像システムが相互に極めて類似していることは認められよう。これら２つのデバイスの相違は、３Ｄディスプレイ１０では２Ｄディスプレイ２０の画素２２が光を放出し、ライトフィールド撮像システム３１０では検出器アレイ３２０の画素が光を受け取ることである。従って、３Ｄディスプレイスクリーンに関連付けて上述した、例えば調節可能偏向デバイス及び／又は偏光子及び／又はフィルタを用いるアイディアのような、横方向解像度及び／又は角度分解能の増大及び／又は視野の拡大のための全てのアイディア及び実施形態は、ライトフィールド撮像においても実施され得る。
【0093】
３Ｄディスプレイ１０又はライトフィールド撮像システム３１０の他のコンポーネントの様々な代替的な構成を実施することができる。例えば、すでに開示した実施形態では、マイクロレンズアレイ３０は微小球形レンズを含む。これらのレンズは、２次元すなわち左右及び上下の双方で特定ポイントから来るように見える扇形ビームを生成する。微小球形レンズを用いずに、微小円柱レンズアレイを用いて、「左右」のような１次元のみで扇形ビームを生成することも可能である。この場合、１次元用の偏向デバイスを使用すればよい。また、様々な実施形態で検討した偏光子及びフィルタも、２次元又は１次元のいずれかとすることができる。
【0094】
また、図１６を参照すると、３Ｄディスプレイのマイクロレンズアレイ３０（球形又は円柱形）は、「ターンオン（turn on）」及び「ターンオフ（turn off）」デバイスを含み得る。「ターンオン」とは、デバイスがマイクロレンズアレイとして作用すると共に光学撮像システムが３Ｄディスプレイ又はライトフィールド撮像システムとして作用することを意味し、「ターンオフ」とは、デバイスが通常の２Ｄディスプレイ又は撮像システムとして作用することを意味する。これは、いずれかの既知の「ターンオン」及び「ターンオフ」マイクロレンズアレイデバイスによって達成できる。例えば図１６において、正マイクロレンズアレイ３０は、負マイクロレンズアレイデバイス４３０で覆われてフラットパネルを形成する。２つのデバイス３０、４３０の屈折率が異なる場合、各マイクロレンズ３２は正及び負のマイクロレンズから成り、全体的な屈折力（optical power）はゼロではない。２つのデバイスの屈折率が等しい場合、各マイクロレンズ３２の全体的な屈折力はゼロである。正及び／又は負のマイクロレンズアレイは、液晶又は電気光学材料等のいずれかの制御可能材料から製造することができる。
【0095】
更に、図１７の実施形態では、マイクロレンズアレイ５３０の球形部は、２Ｄディスプレイスクリーン５２０から離れる方でなく２Ｄディスプレイスクリーン５２０の方を向いている。また、球形部は、マイクロレンズアレイ５３０よりも小さい屈折率を有し得ると共に平坦面を形成するサポート５１９内に収容されるか、又はサポート５１０によって支持することができる。
【0096】
更に、図１８の実施形態では、マイクロレンズの代わりに別の光学素子６３０が用いられる。上述したようにビームを集束しコリメートする機能を実行するならば、いかなる光学素子又は光学素子アレイであってもよい。
【0097】
更に、光ビームの伝搬角を偏向及び制御するために用いられる調整可能光偏向デバイス４０は任意の構成とすることができ、例えば、１つのセルもしくは画素に対して１つの偏向デバイス４０、各セルもしくは画素に対していくつかの偏向デバイス４０、いくつかのセルもしくは画素に対して１つの偏向デバイス、又は、３Ｄディスプレイもしくはライトフィールド撮像システム全体に対して１つの偏向デバイスとすればよい。
【0098】
偏向デバイス４０は、１次元偏向用又は２次元偏向用とすることができる。
【0099】
セル又は画素の光ビームの伝搬角を偏向及び制御するために用いられる偏向デバイス４０は、調節可能プリズム、回転ミラー、可動偏向レンズ、調節可能格子、又は光の伝搬角を偏向及び制御できる他の任意のデバイスとすればよい。
【0100】
更に、光偏向デバイスを用いて有効画素数を増倍させるのではなく、微小振動によって同じ効果を発生させることも可能である。人間の視覚システムの積分期間中に、画素アレイ、光学素子アレイ、偏光子、及び／又はフィルタ、又はデバイス全体を、視聴者に対して複数の物理的位置に及び／又は角度配向に位置付けるように、極めて少量だけ複数回振動させることができる。この結果、視聴者は、各位置でデバイスによって表示される３Ｄ画像を結合した累積３Ｄ画像（cumulative 3D image）を見る。
【0101】
また、有効画素数を増加させるために偏向デバイスを用いて画素から放出される光ビームの伝搬角を偏向及び制御するという概念を、通常の２Ｄディスプレイで使用して、例えば有効画素数を増加させ、それにより横方向解像度を増大させることができる。
【0102】
有効画素数を増加させるために偏向デバイスを用いて各画素で光ビームの伝搬角を偏向及び制御するという概念を、カメラのような通常の撮像システムで使用して、解像度を増大させることも可能である。
【0103】
偏向デバイスを用いて光ビームの伝搬角を偏向及び制御するという概念を、カメラのような任意の撮像システムで用いて、撮像システムの視野を安定化させることも可能である。撮像システムの視野が安定していない場合、画像は検出器アレイ上で画素から画素へ「ジャンプ」する。偏向デバイスを用いてシーンの光線の伝搬角を偏向及び制御することで、シーンの光線を画像の「ジャンプ」と反対方向に偏向させ、これにより画像を安定化させる。
【0104】
各セルにおける光ビームの偏向角は、各偏向デバイスに応じて連続的に又は離散的に変動し得る。
【0105】
３Ｄディスプレイの各セルは、１つだけのＲＧＢ画素を含むか、又は１つだけのＲサブピクセル、Ｇサブピクセル、もしくはＢサブピクセルを含むことができる。また、ライトフィールド撮像システムの各画素には、１つだけのＲＧＢセンサが存在するか、又は１つだけのＲセンサ、Ｇセンサ、もしくはＢセンサが存在し得る。
【0106】
光ビームの伝搬角を偏向及び制御するために用いられるデバイス４０は、マイクロレンズアレイ３０の後方すなわちマイクロレンズアレイと画素アレイ２０との間に、又はマイクロレンズアレイ３０の前方に位置付けることができる。
【0107】
開示されている実施形態の概念は、例えば画像プロジェクタによって画像がスクリーンに投影される映画スクリーン等、照明された３Ｄスクリーンに拡張することができる。ＴＩ－ＤＬＰ（登録商標）のように、スクリーンの各「画素」は回転ミラーで構成することができ、特定の時点で、画像プロジェクタと同期されているスクリーンの各「画素」における各ミラーが、画像プロジェクタによって投影される特定の光線を適切な色と強度で適正な角度に偏向させるので、観察者は、３Ｄ物体の特定のポイントから来る扇形光線の全体を見ることができる。画像プロジェクタを用いて適切に変動するＲＧＢ画像でスクリーンを照明することにより、また、ミラーの偏向角を制御及び変動させることにより、いかなる時点でも、適正な色と強度を有する適正な光線が特定のミラーによって偏向されるので、その時点で物体の適正なポイントから来ているように見える。物体の各ポイントの扇形光線の全ての光線が目の積分期間中に生成される限り、正確な時間でないとしても、物体は正しく視認される。
【0108】
３Ｄディスプレイで３Ｄ画像を生成するためのアルゴリズムは、以下のステップを含み得る。（１）３Ｄデータの行列を生成する。つまり、表示される各ポイントごとに、（ｘ、ｙ、ｚ、Ｒ、Ｇ、Ｂ）データによってベクトルを指定する。この行列のための３Ｄ情報は、ＣＴもしくはＮＭＲスキャナ等の様々なデバイスから、又はＫｉｎｅｃｔ（登録商標）等の３次元カメラから、又はライトフィールドカメラから取得され得る。また、３Ｄ情報は、２つ以上のカメラを使用し、視差効果に適したアルゴリズムを利用することで、２次元写真撮影によって取得され得る。（２）表示される各ポイントごとに、そのポイントから各マイクロレンズ中心までの全てのベクトルの方向を計算することによって、扇形光線を生成する。（３）セルを通過するベクトルに最も近い角度を有するＲ及び／又はＧ及び／又はＢサブピクセルを選択することによって、表示されるポイントの光線を生成する各セル内の適正なＲ及び／又はＧ及び／又はＢサブピクセルを決定する。（４）例えば表示されるポイントのＲＧＢ光を生成するため、適正な強度で適正なＲ及び／又はＧ及び／又はＢサブピクセルをオンにする。（５）偏向デバイスを用いる場合、各Ｒ及び／又はＧ及び／又はＢサブピクセルの時間的画像位置を考慮して、上記したものと同じステップを実行する。このアルゴリズムのための３Ｄデータは、３Ｄカメラで直接取得することによって、又は既知のアルゴリズムを用いて２つの視差画像を３Ｄデータに変換することによって取得できる。
【0109】
本出願から生じる特許の期間中、多くのタイプのスクリーン及び２Ｄディスプレイが開発されることが予想される。スクリーン及び２Ｄディスプレイという用語の範囲は、全てのそのような新しい技術を推測的に（a priori）含むことが意図される。
【0110】
本明細書で用いる場合、「約」という用語は±１０％を指す。
【0111】
「備える（comprise）」、「備えている（comprising）」、「含む（include）」、「含んでいる（including）」、「有している（having）」という語句、及びそれらの同根語（conjugate）は、「限定ではないが以下を含む」を意味する。この用語は、「～から成る（consisting of）」及び「基本的に～から成る（consisting essentially of）」という用語を包含する。
【0112】
「基本的に～から成る」という語句は、組成物又は方法が追加の成分及び／又はステップを含み得るが、ただし、追加の成分及び／又はステップが特許請求される組成物又は方法の基本的な新規の特徴を実質的に変更しない場合に限ることを意味する。
【0113】
本明細書で用いる場合、単数形「a（１つの）」「an（１つの）」及び「the（その）」は、文脈上明らかに他の意味に指示される場合を除いて複数形の言及を含む。例えば、「化合物」又は「少なくとも１つの化合物」という用語は、複数の化合物を含み、それらの混合物も含み得る。
【0114】
「例示的な（exemplary）」という言葉は、本明細書で用いる場合、「例（example）、実例（instance）、又は例示（illustration）として機能すること」を意味する。「例示的な」として記載される実施形態は、必ずしも、他の実施形態よりも好適又は有利であると解釈されず、及び／又は、他の実施形態からの特徴を組み込むことを除外しない。
【0115】
「任意選択的に（optionally）」という言葉は、本明細書で用いる場合、「いくつかの実施形態では提供され、他の実施形態では提供されない」を意味する。本発明のいかなる特定の実施形態も、複数の「任意選択的な（optional）」特徴が矛盾しない限り、そういった特徴を含み得る。
【0116】
本出願全体を通して、本発明の様々な実施形態を範囲の形式で提示することができる。範囲の形式の記載は、単に便宜上及び簡略化のためのものであり、本発明の範囲に対する変更できない限定として解釈するべきでないことを理解しなければならない。従って、ある範囲の記載は、具体的に開示された全ての可能な部分範囲（subrange）、及び、その範囲内の個々の数値を有すると見なすべきである。例えば、１から６までといった範囲の記載は、例えば１から３、１から４、１から５、２から４、２から６、３から６等の具体的に開示されたサブ範囲、及び、例えば１、２、３、４、５、６等、その範囲内の個々の数を有すると見なすべきである。これは、範囲の広さにかかわらず適用される。
【0117】
本明細書において数値範囲が示される場合はいつでも、その示された範囲内で挙げられたいかなる数字（小数又は整数）も含むことが意図される。第１の指示数と第２の指示数「との間の範囲」、及び、第１の指示数「から」第２の指示数「までの範囲」という語句は、本明細書において交換可能に用いられ、第１及び第２の指示数、並びにそれらの間の全ての小数及び整数を含むことが意図される。
【0118】
明確さのため別個の実施形態の文脈で記載されている本発明のいくつかの特徴は、組み合わせて単一の実施形態で提供してもよいことは認められよう。逆に、簡潔さのため単一の実施形態の文脈で記載されている本発明の様々な特徴は、それぞれ別個に、又はいずれかの適切なサブコンビネーション（subcombination）で、又は適宜、本発明の他のいずれかの記載された実施形態で提供してもよい。様々な実施形態の文脈で記載されているいくつかの特徴は、そういった要素なしでは実施形態が動作不能である場合を除いて、それらの実施形態の不可欠な特徴とは見なされない。
【0119】
本明細書で言及される全ての公報、特許、及び特許出願は、個々の各公報、特許、又は特許公報が援用により本願に含まれると明確かつ個別に指摘されている場合と同じ程度に、援用により全体が本明細書に含まれる。更に、本出願における引用文献の言及又は識別は、そのような引用文献が本発明に対する従来技術として利用可能であることを認めたと解釈するべきではない。セクションの見出しが用いられる限りにおいて、それらは必ずしも限定と解釈するべきではない。
【0120】
更に、本出願の１又は複数の優先権書類はいずれも援用により全体が本願に含まれる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【図6D】
【図7A】
【図7B】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15A】
【図15B】
【図16】
【図17】
【図18】
【国際調査報告】