7049274 より豊富なカラーサンプリング用のプレノプティック・サブアパーチャ・ビュー・シャッフリング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-03-29

(45)【発行日】2022-04-06

(54)【発明の名称】より豊富なカラーサンプリング用のプレノプティック・サブアパーチャ・ビュー・シャッフリング

(51)【国際特許分類】

   H04N 5/3745 20110101AFI20220330BHJP

   H04N 5/374 20110101ALI20220330BHJP

【ＦＩ】

H04N5/3745

H04N5/374

【請求項の数】 18

(21)【出願番号】P 2018567183

(86)(22)【出願日】2017-06-27

(65)【公表番号】

(43)【公表日】2019-07-11

(86)【国際出願番号】 EP2017065922

(87)【国際公開番号】W WO2018002097

(87)【国際公開日】2018-01-04

【審査請求日】2020-06-22

(31)【優先権主張番号】16305822.5

(32)【優先日】2016-06-30

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】518341334

【氏名又は名称】インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】ドラジック，ヴァルター

(72)【発明者】

【氏名】シューベルト，アルノー

(72)【発明者】

【氏名】ル スクアルネック，ニコラ

【審査官】西谷 憲人

(56)【参考文献】

【文献】特開２０１１－２１７４１１（ＪＰ，Ａ）

【文献】特開２０１５－０４６７４４（ＪＰ，Ａ）

【文献】特開平０５－０９５５１７（ＪＰ，Ａ）

【文献】特開２０１４－１３２６３２（ＪＰ，Ａ）

【文献】米国特許第０４５８９０３０（ＵＳ，Ａ）

【文献】韓国公開特許第１０－２０１４－００６１２３４（ＫＲ，Ａ）

【文献】特開平０９－１３０８１８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／３７４５

Ｈ０４Ｎ ５／３７４

(57)【特許請求の範囲】

【請求項1】

カラーフィルタアレイで覆われた画像センサを用いて多重の画像を生成する方法であって、
複屈折結晶材料から作られる電気光学偏光変調器の複屈折を示さない第１の状態を用いて、第１の画像セットを生成することであって、前記電気光学偏光変調器が、メインレンズと、レンズのマイクロアレイとの間に配置されることと、
前記電気光学偏光変調器の複屈折を示す第２の状態を用いて、第２の画像セットを生成することと、
前記第２の画像セットの各画素値の２倍から前記第１の画像セットの各画素値を減算することにより情報を決定することと、
前記減算後に最終画像セットを生成することと、
を含む方法。

【請求項2】

前記第２の状態は、電気的電圧が印可されると、実現される、請求項１に記載の方法。

【請求項3】

前記電気光学偏光変調器が、元は前記第１の状態であり、前記電気光学偏光変調器に電圧が印加された後で前記第２の状態に変化し、
前記電気光学偏光変調器が、電圧がない状態で前記第１の状態に戻る、請求項１に記載の方法。

【請求項4】

前記第２の状態にある前記電気光学偏光変調器が、前記メインレンズから受信される光に基づいて、第１のアパーチャにマップされる第１の光線と、前記第１のアパーチャの上方に位置する第２のアパーチャとにマップされる第２の光線とを生成し、
前記第１のアパーチャ及び前記第２のアパーチャは前記レンズのマイクロアレイに関連付けられる、請求項１に記載の方法。

【請求項5】

前記レンズのマイクロアレイは、前記メインレンズとセンサとの間に配置される、請求項１に記載の方法。

【請求項6】

前記第１の光線及び前記第２の光線が、相異なる屈折角度を有する、請求項４に記載の方法。

【請求項7】

前記第１の光線及び前記第２の光線が、相異なる屈折率を有する、請求項４に記載の方法。

【請求項8】

前記第１の光線及び前記第２の光線が、互いに垂直な方向に偏光される、請求項４に記載の方法。

【請求項9】

前記第１の光線及び前記第２の光線が、相異なる伝搬距離を備えて生成される、請求項４に記載の方法。

【請求項10】

カラーフィルタアレイで覆われた画像センサを用いて多重の画像を生成するシステムであって、
レンズのマイクロアレイの前に配置された、複数のアパーチャに関連するメインレンズと、
前記レンズのマイクロアレイと前記メインレンズとの間に配置された電気的に制御される、複屈折結晶材料から作られる電気光学偏光変調器であって、複屈折を示さない第１の状態と複屈折を示す第２の状態との間で機能する電気光学偏光変調器と、
前記電気光学偏光変調器の前記第１の状態を用いて、第１の画像セットを生成し、更に前記電気光学偏光変調器の前記第２の状態を用いて、第２の画像セットを生成するように構成されたプロセッサと、を含み、
前記プロセッサは、更に、減算後に最終画像セットを生成するために、前記第２の画像セットの各画素値の２倍から前記第１の画像セットの各画素値を減算することにより情報を決定するように構成された、
システム。

【請求項11】

前記第２の状態は、電気的電圧が印可されると、実現される、請求項１０に記載のシステム。

【請求項12】

前記電気光学偏光変調器が、元は前記第１の状態であり、前記電気光学偏光変調器に電圧が印加された後で前記第２の状態に変化し、
前記電気光学偏光変調器が、電圧がない状態で前記第１の状態に戻る、請求項１１に記載のシステム。

【請求項13】

前記複屈折結晶材料が、液晶（ＬＣ）である、請求項１０に記載のシステム。

【請求項14】

前記第２の状態にある前記電気光学偏光変調器が、前記メインレンズから受信される光に基づいて、第１のアパーチャにマップされる第１の光線と、前記第１のアパーチャの上方に位置する第２のアパーチャとにマップされる第２の光線とを生成し、
前記第１のアパーチャ及び前記第２のアパーチャは前記レンズのマイクロアレイに関連付けられる、請求項１０に記載のシステム。

【請求項15】

前記レンズのマイクロアレイは、前記メインレンズとセンサとの間に配置される、請求項１０に記載のシステム。

【請求項16】

前記レンズのマイクロアレイと前記センサとの間の距離が、１０マイクロメートルを超えるが１００マイクロメートル未満である、請求項１５に記載のシステム。

【請求項17】

前記第１の光線及び前記第２の光線が、互いに垂直な方向に偏光される、請求項１４に記載のシステム。

【請求項18】

前記第１の光線及び前記第２の光線が、相異なる伝搬距離を備えて生成される、請求項１７に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

技術分野
本開示は、一般にデジタル画像処理に関し、特にデモザイキングを用いるプレノプティック撮像技術に関する。

【背景技術】

【0002】

背景
このセクションは、読者に技術の様々な態様を紹介するように意図されており、技術の様々な態様は、以下で説明及び／又は請求される本発明の様々な態様と関係し得る。この論考は、よりよい理解を促進するために、読者に背景情報を提供する際に役立つと考えられる。従って、これらの文言が、この観点で読まれるべきであり、先行技術の承認として読まれるべきではないことを理解されたい。

【0003】

シーンの明視野の捕捉は、計算写真術の分野における古くからの関心だった。しかしながら、手持ち式プレノプティックカメラの最近の公開は、明視野撮像の可能性を大衆市場に導入した。プレノプティックカメラは、マイクロレンズアレイを用いるが、マイクロレンズアレイは、メインレンズの画像平面に、且つ１つのマイクロ画像（サブ画像とも呼ばれる）が投影される光センサアレイの前に配置される。メインレンズとセンサとの間にマイクロレンズアレイを配置することによって、プレノプティックカメラは、カメラに入る光束の位置、強度及び色に加えて、カメラに入る光束の方向を捕捉する。次に、捕捉されたデータは、シーンにわたるわずかに相異なる視点からの水平及び垂直に整列されたビューのマトリックスを提供するために、逆多重化される。従って、各マイクロ画像は、捕捉されたシーンのエリアを描き、そのマイクロ画像に関連する各画素は、メインレンズ射出瞳上の一定のサブアパーチャ位置の視点からこの一定のエリアを示す。次に、シーンの生画像は、光センサアレイのそれぞれの部分から取得された全てのマイクロ画像の和の結果として取得される。

【0004】

明視野と共に、奥行き推定又は捕捉後再合焦などの多数の自然な用途が生じた。生データ変換は、複雑であり、且つ解決される必要のある幾つかの問題を含む。１つのかかる問題は、正確な色変換の問題である。デモザイキングプロセスは、モザイクされた捕捉生データからシーンの色内容を回復することを目標とする。残念なことに、フルカラー画像再構成を妨げる多くの実際的な問題が存在する。幾何演算を実行する場合に、別の問題が発生する。これらの演算は、補間された色値の貧弱な計算による誤差を引き起こすことが多い。これらや他の問題は、デモザイキングプロセスによって取り組まれる問題など、完全な回復及び色変換に影響する。従って、捕捉された生データを用いて、よりよい色回復を提供できる改善された技術の必要がある。

【発明の概要】

【0005】

概要
複数のアパーチャを有するレンズのマイクロアレイの前にメインレンズを配置したプレノプティックカメラを用いて、相異なる色強度及び特性の複数の画像を生成するためのシステム及び方法である。一実施形態において、方法は、電気光学偏光変調器の第１の状態を用いて、第１の画像セットを捕捉することと、電気光学偏光変調器の第２の状態を用いて、第２の画像セットを捕捉することと、を含む。変調器は、前記メインレンズと、複数のアパーチャを備えたレンズアレイとの間に配置される。続いて、第２の画像セットに関する情報が、第１のセットに関する情報から減算される。最終画像セットが減算後に生成され、前記最終画像セットが、色強度及び特性を向上させるようにする。

【0006】

別の実施形態において、複数のアパーチャに関連するレンズのマイクロアレイの前に配置されたメインレンズと、マイクロレンズとレンズアレイとの間に配置された電気的に制御される電気光学変調器とを含む、相異なる色強度及び特性の複数の画像を生成するためのシステムが提供される。電気光学変調器は、電圧の印加で、第１の状態と第２の状態との間で機能する。電気光学偏光変調器の前記第１の状態を用いて、第１の画像セットを捕捉するための手段と、電気光学偏光変調器の第２の状態を用いて、第２の画像セットを捕捉するための手段と、が提供される。向上された色強度及び特性を備えた最終画像セットを生成するために、捕捉された画像の第１のセットに関する情報から第２の画像セットに関する情報を減算するように構成されるプロセッサも又、提供される。

【0007】

追加の特徴及び利点が、本開示の技術を通して実現される。本発明の他の実施形態及び態様は、本明細書で詳細に説明され、且つ請求される本発明の一部と考えられる。利点及び特徴と共に本発明のよりよい理解のために、説明及び図面を参照する。

【0008】

図面の簡単な説明
本開示は、添付の図を参照し、決して限定的ではない以下の実施形態及び実行例によって、よりよく理解され例示されよう。

【0009】

図１～４において、表現された図は、純粋に機能エンティティである例を提供し、必ずしも物理的に別個のエンティティに対応するわけではない。即ち、それらは、ソフトウェアかハードウェアの形で開発され得、又は１つ又は複数のプロセッサを含む１つ又は幾つかの集積回路において実現され得る。

【0010】

可能な限り、同じ参照数字は、図の全体にわたって、同じ又は同様の部分を指すために用いられる。

【図面の簡単な説明】

【0011】

【図1】デモザイキングプロセスにおいて用いられるカラーフィルタアレイ（ＣＦＡ）を示すブロック図表現である。

【図2A】カラーフィルタアレイ（ＣＦＡ）パターンで捕捉された画像及びマイクロレンズアレイの描写である。

【図2B】カラーフィルタ及びマイクロレンズアレイを用いて捕捉された逆多重化画像の実例である。

【図3A】一実施形態に従って、通常及び異常状態の両方の画素マッピングに対するサブアパーチャ用の図の描写である。

【図3B】図３Ａに示されている実施形態のズームされた一層詳細な描写を提供する。

【図4】一実施形態に従って上記で説明されたプロセスの流れ図表現である。

【発明を実施するための形態】

【0012】

説明
本発明の図及び説明が、本発明の明確な理解に適した要素を示すために簡略化され、一方で明確にするために、典型的なデジタルマルチメディアコンテンツ送出方法及びシステムにおいて見出される多くの他の要素を削除することを理解されたい。しかしながら、かかる要素が、当該技術分野においてよく知られているので、かかる要素の詳細な説明は、本明細書では提供されない。本明細書における開示は、全てのかかる変形及び修正に向けられている。

【0013】

通常のカメラにおいて、時間の決まった露光中にカメラの内部で、対象から反射又は放射された光を感光性表面上で実画像に合焦させるために、レンズが用いられる。電子画像センサを用いると、電荷が、各画素において生成され、次にそれが、処理されて、更なる使用のためにデジタル画像ファイルに格納される。従来の写真術において、焦点面は、ほぼ平面又は焦平面である。焦点面は、カメラの光学軸に垂直である。

【0014】

対照的に、プレノプティックカメラにおいて、各マイクロ画像は、捕捉されたシーンのエリアを描写し、そのマイクロ画像に関連する各画素は、メインレンズ射出瞳上の一定のサブアパーチャ位置の視点からこの一定の領域を示す。次に、シーンの生画像が、全てのマイクロ画像の和の結果として取得され、生画像は、明視野の角度情報を含む。従って、生画像における隣接画素は、各画素が、相異なるビューに対応するので、相異なる角度情報を含む。

【0015】

図１は、デモザイキングプロセスにおいて使用されるカラーフィルタアレイ（ＣＦＡ）を用いたプレノプティックマイクロ画像マトリックスの描写である。カラーフィルタアレイは、不完全なカラーサンプルからフルカラー画像を再構成するために、カラーフィルタアレイを使用するデモザイキングプロセス及びデジタル画像処理技術において用いられる。カラーサンプルは、ＣＦＡで覆われた１つ又は複数の画像センサの出力であることが多い。カラーフィルタアレイは、１つ又は複数の画像センサの前におけるカラーフィルタモザイクである。商業的に最も一般的に用いられるＣＦＡ構成は、ベイヤーフィルタである。図１の例は、かかるフィルタの例を提供する。図示のように、奇数行用の交互の赤色（Ｒ）及び緑色（Ｇ）フィルタは、点在された緑色（Ｇ）及び青色（Ｂ）フィルタを含む介在行と偶数行で更に交互にされる。

【0016】

この例において、赤色又は青色フィルタの２倍の緑色フィルタが存在して、緑色光に対する人間の目のより高い感度に応える。ＣＦＡのカラーサブサンプリングは、その性質上、エイリアシングに帰着し、従って、補間によって導入された偽色アーチファクト（色エイリアス）を低減するために、光学アンチエイリアシングフィルタが、画像センサとレンズとの間の光路に配置される。センサの各画素が、カラーフィルタの背後にあるので、出力は、画素値のアレイであり、各画素値は、３つのフィルタカラーの１つにおける生の強度を表す。ベイヤーフィルタは、均一なグリッド上で多変量補間を用いるＣＦＡの例である。従って、単一の成分ではなく、全ての色成分用の色レベルを各画素用に評価するために、アルゴリズムが必要とされる。従来のデモザイキングアルゴリズムは、ＣＦＡ又は他のフィルタから出力された、かかる空間的にアンダーサンプリングされたカラーチャンネルからのフルカラー画像を再構成する。

【0017】

かかるアルゴリズムに含まれる数学的演算は、それが、同じ色成分の近くの例に基づくので単純である。かかる補間アルゴリズムの最も単純な方法は、同じカラーチャネルの隣接画素を単にコピーする最近傍補間に依存する。しかしながら、かかるフィルタは、画像の詳細及び質が重要ないかなる用途にも適していない。加えて、これらの方法は、均質な画像領域において優れた結果を得ることができるが、それらは、純色ＣＦＡと共に用いられた場合に、エッジ及び詳細を備えた領域において激しいデモザイキングアーチファクトを被りやすい。より洗練されたデモザイキングアルゴリズムは、カラー画像内の画素の空間及び／又はスペクトル相関を活用するが、しかしそれらは、図２Ｂを参照することによって一層詳細に分かるように、やはり問題となる。

【0018】

図２Ａは、プレノプティックカメラを用いて、カラーフィルタアレイ（ＣＦＡ）パターン及び六角レンズグリッドで得られた画像を示す例示的な実施形態である。図２Ａは、プレノプティックカメラにおけるマイクロ画像の外観を描く。より明るい陰は、緑色（Ｇ）を表し、一方で最も暗い陰は、青色（Ｂ）を表し、中間モノクロ階調は、赤色（Ｒ）を表す。この例において、各画素は、メインレンズの射出瞳のサブアパーチャによって照射される。六角サンプリング、レンズと画素グリッドとの間の残留回転、及びＣＦＡ故に、ひとたびサブアパーチャビューが逆多重化されると、後続のビューは、幾つかのエリアにおいて、ビューから情報又は色が欠ける可能性がある。

【0019】

シーンにおけるビュー又は対象の欠けた部分を回復するために、プレノプティックカメラによって取得された生データをデモザイクし、次にビューを回復するように逆多重化することが可能である。問題は、ほとんどの例において、これが、ビュー上の色アーチファクトにつながるということである。隣接画素構成が、相異なる角度情報を含むプレノプティック生画像上で用いられる事例を検討する（マイクロレンズ下の各画素は、相異なるビューに対応する）。この場合における生プレノプティック画像のデモザイキングは、角度情報を潜在的に誤って混合する。いわゆるビュークロストークアーチファクトを生成する隣接色値を補間する従来のアルゴリズムにおいて、これは、誤った結果をもたらす。更に、デモザイクされた生画像から取得されたビューからの視差推定が、更に大きな誤差を被りやすいことが示された。

【0020】

図２Ｂは、説明されるような逆多重化画像の実例である。図２Ｂの図示された例において、シーンは、１つ又は複数の対象のビュー又は画像を提供される。画像は、この図２Ｂにおいてプレノプティックカメラによって捕捉された。図２Ｂのビューを見ると、提示されているシーンにおける画像を認識するのは困難である。対象の全体的な輪郭は、図２Ｂにおいて見えるが、しかし詳細な対象認識を可能にするためには、十分な情報が画像には提供されていない。陰、強度、及び色が完全に欠けたわけではない例においてさえ、補色情報は、ほとんどの例において問題となる離れた画素から補間される必要がある。後者は、欠けた色が、画像にとっては近くでさえないような他の対象から、良くても推定（又は憶測さえ）されることを意味する。

【0021】

図２Ｂにおいて、デモザイクされた画像は、やはり色情報を欠いているが、しかし画像は、適切な手法で逆多重化される。デモザイキングなしでは、生データは、デモザイクされずにシーンのビューへと逆多重化されることを要求する。これは、色アーチファクトの発生を回避することに役立ち、且つクロストークによって生成されるような欠けた色情報を回復することに役立つ。ブロックマッチング技術が、画素視差を推定するために使用され得る。続いて、信頼できる推定視差が、シーンの冗長サンプリングを活用して、画像及びビューをデモザイクために使用される必要がある。結果は、最先端の方法と比較して、色アーチファクトを含まない。正確なビュー逆多重化及び推定視差のサブ画素精度は、より高品質のデモザイクされたビューの空間解像度につながる。品質におけるこの改善は、追加の超解像度ステップの複雑さを担わずに達成することができる。一実施形態において、この概念は、はるかに豊富な色取得用の手段を提供するために用いることができる。この実施形態において、電気光学偏光変調器が用いられる。一実施形態において、電気光学偏光変調器は、電圧が印加された場合に複屈折に変えられる媒体である。

【0022】

複屈折は、光線が当たった場合に、２つの屈折光線の生成を引き起こす結晶材料の特性である。この特性は、媒体における原子の非等方性分布故であり、且つ結晶メッシュ構造が強く非等方性である結晶媒体において生じる。石英及び方解石は、複屈折を示す天然素材である。それらの媒体を用いると、非偏光光線が、特定の方位にあるそれらの媒体表面の１つに当たった場合に、２つの光線が屈折で生成される。これらの光線の１つは、１つの偏光特性を有し、もう一方は、わずかに異なる偏光特性を有する。スネル－デカルトの法則：ｎ_ｉｓｉｎθ_ｉ＝ｎ_ｒｓｉｎθ_ｒに従うと、この式でｎ_ｉ及びｎ_ｒは、入射及び屈折媒体のそれぞれの（且つ相異なる）屈折率であり、θ_ｉ及びθ_ｒは、入射角度及び屈折角度である。

【0023】

複屈折媒体において、スネル－デカルトの法則に従う光線は、常光線と呼ばれ、媒体は、１つの常光線屈折率ｎｏを有する。生成される第２の光線は、別の屈折ｎ_ｅを経験し、それは、異常光線屈折率ｎｅを有する、且つ常光線に垂直に偏光される材料内の或る方向に伝搬する。複屈折媒体において、２つの光線が、相異なる伝搬方向を備えて生成される。

【0024】

複屈折材料は、スネルの法則に従って光線を屈折させるが、しかし媒体における有効屈折率は、入力偏光状態、及び屈折光線が結晶軸に対して作る角度に依存する。複屈折材料において、２つのタイプの光線が、通常及び異常として定義され得る。常光線は、スネルの原理、即ちｎ ｓｉｎθ＝ｎ_０ ｓｉｎθ’に従って屈折され、この式で「０」は、常光線屈折率を表す。異常光線用に、複屈折の事例において、屈折の法則は、ｎ ｓｉｎθ＝ｎ（θ_ｗ）ｓｉｎθ’を提供し、この式で、複屈折材料における有効屈折率は、角度θ_ｗの関数である。角度θ_ｗは、結晶軸ベクトル「ａ」と屈折波ベクトル「ｋ」との間の角度である。加えて、光線ベクトル「ｓ」は、エネルギ伝搬の方向を指し示すベクトルであるが、波ベクトル「ｋ」には従わず、ベクトル「ｋ」に対して小さな角度を作る。等方性媒体において、ベクトル「ｋ」及び「ｓ」は、同じである。従って、ほとんどの光学設計用に、ベクトル「ｋ」は、考慮されなければならない。これらの事例において、角度θ_ｗは、次のように定義される。

【数1】

有効屈折率は、

【数2】

によって定義される。
この式で、ｎ_０は、常光線屈折率であり、ｎ_ｅは、異常光線屈折率である。

【数3】

及び

【数4】

間の角度αは、

【数5】

によって定義され、この場合に

【数6】

であり、及び
ベクトル

【数7】

及び

【数8】

は、両方とも結晶軸ベクトル

【数9】

と共面である。波ベクトル

【数10】

は、法線に沿って波面を指し示し、一方で、

【数11】

は、エネルギ伝搬の方向に沿って指し示す。

【0025】

図３Ａは、通常状態及び異常状態両方の画素マッピングに対するサブアパーチャ用の図を図示する。示されているように、複数の光線（一般に３２０として示されている）が、参照数字３２５によって示されている電気光学変調器を通過する。図の右側に、一般に参照数字３２７によって示されているメインレンズの射出瞳がある。このメインレンズ出口は、参照数字３５２によって集合的に示されているように、サブアパーチャＶ１～Ｖ１２に更に分割される。この実施形態において、電気的に制御可能な複屈折媒体が提供される。当業者によって認識され得るように、様々なかかる媒体が利用可能である。１つのかかる例は、ツイストネマティック液晶（ＴＮ）を組み込む媒体にすることが可能である。ＴＮ液晶は、一実施形態において、透明酸化インジウムスズ（ＩＴＯ）電極を有する２つのガラスプレート間に挟むことができる。一例では、セルの接地状態で、ＴＮセルに電圧が印加されない状態において、サブアパーチャは、常光線を表現する緑色ラインに従って、マイクロ画像当たり１つの単独の画素上にそれぞれ撮像される。

【0026】

図３Ｂは、ライン３１０にわたって示されているようなエリア３１０を描写する、ズームされた一層詳細なピクチャを提供する。このズームされたピクチャ（３１０）において、１つのマイクロレンズ、及びＣＦＡ（ベイヤーＣＦＡなど）からの赤色－緑色画素の１つの列が描写される。赤色部分は、３１２によって図示され、緑色部分は、参照数字３１５によって図示されている。３１０の実例は、各サブアパーチャが１つの画素に整列されるように、常光線が、どのようにマップされるかを示す。理解を助けるために、最初に図３Ａに提供されるような異常光線３３０に従うことで開始し、且つ逆の順序で図３Ｂのより詳細なエリアへと逆に異常光線３３０に従うのがよりよい。これは、画素からサブアパーチャ方向に走るフローに帰着する。

【0027】

図３Ａを見て、左から右へと光線に従うと、異常光線３２０は、電気光学変調器の緑色光線路に従う。それは、そのマイクロレンズの光学中心と交差し、次に複屈折セルに当たる。セルは、印加電圧でその「異常」状態にあり、従ってこの時、２つの光線、即ち、常光線として屈折する緑色及び異常光線として屈折する青色光線が生成される。両方が、メインレンズの射出瞳に当たると、常光線は、１つのサブアパーチャ上で終わり、一方で異常光線は、上の１つのサブアパーチャへとマップする。これは、我々が、射出瞳から始める場合に、サブアパーチャＶ１１常光線が、緑色画素である一番底の画素に当たることを意味する。同じＶ１１サブアパーチャから、異常光線は、底から２番目の画素に当たり、その画素は、赤色である。

【0028】

プレノプティック画像に色情報を追加するには、２つの画像が連続して撮られることを必要とする。第１の画像は、通常状態におけるセルでｔ０に撮られる。センサ上の画素は、次の状態を記録する。
ＰＶ（ｔ０，Ｖ１１），ＰＲ（ｔ０，Ｖ１０），ＰＶ（ｔ０，Ｖ９），ＰＲ（ｔ０，Ｖ８），．．．

【0029】

第２の画像は、異常状態におけるセルでｔ１に撮られる。シーンに偏光現象が存在しない場合に、等しい強度の２つの光線が生成される。
ＰＶ（ｔ１，Ｖ１１）／２＋ＰＶ（ｔ１，Ｖ１２）／２，ＰＲ（ｔ１，Ｖ１０）／２＋ＰＲ（ｔ１，Ｖ１１）／２，ＰＶ（ｔ１，Ｖ９）／２＋ＰＶ（ｔ１，Ｖ１０）／２，ＰＲ（ｔ１，Ｖ８）／２＋ＰＲ（ｔ１，Ｖ９）／２，．．．

【0030】

図３を見ると、アパーチャの境界が、増加した色情報から利益を得ていないことが明白であるが、しかし境界画素は、マイクロ画像クロストーク及び口径食のために、いずれにしても廃棄される。従って、一実施形態において、第１の画像は、境界線ではない画素用の第２のショットの２倍から減算される。これは、底から２番目の画素であり、次のように定義することができる。ＰＲ＝２×［ＰＲ（ｔ１，Ｖ１０）／２＋ＰＲ（ｔ１，Ｖ１１）／２］－ＰＲ（ｔ０，Ｖ１０）

【0031】

ｔ＝０及びｔ＝１（ｔ０及びｔ１）における２つのシーン間に動きがない場合に、
ＰＲ＝２×［ＰＲ（ｔ１，Ｖ１０）／２＋ＰＲ（ｔ１，Ｖ１１）／２］－ＰＲ（ｔ０，Ｖ１０）＝ＰＲ（Ｖ１０）＋ＰＲ（Ｖ１１）－ＰＲ（Ｖ１０）＝ＰＲ（Ｖ１１）
従って、サブアパーチャＶ１１用の赤色成分が生成され、一方でｔ０におけるショットから、サブアパーチャＶ１１用の緑色成分も又存在する。

【0032】

画素の残りにこの概念を適用すると、２つのシーンショットが、ｔ０及びｔ１で生成される場合に、これらから、従来の方法を用いて通常提供されるより２倍多くの解像度情報を可能にする画素値の線形結合が取得され得る。一例において、このシステムにおいて用いられる追加コンポーネントは、ツイストネマティック（ＴＮ）セルである。

【0033】

液晶（ＬＣ）は、常光線屈折率ｎ０と異常光線屈折率ｎｅとの間の値に大きな差を有し得る。幾つかの事例において、MLC-9200-100（表示用途用の液晶の屈折率）と名付けられたＬＣ混合物は、非常に大きな差であるｎｅ－ｎ０＞０．２を有することで知られているが、しかし図３からのセルの厚さを低減するために必要とされる。この厚さは、マイクロレンズアレイとセンサとの間のセルの配置とまだ適合しないが、しかしそれは、厚さで数ｍｍに減少するので、射出瞳とマイクロレンズアレイとの間に配置することができる。（マイクロレンズからセンサへの距離は、１０～１００マイクロメートルの範囲である）。

【0034】

図４は、一実施形態に従って上記で説明したプロセスの流れ図表現である。図４は、複数のアパーチャを有するレンズアレイの前にメインレンズを配置したプレノプティックカメラを用いて、相異なる色強度及び特性の複数の画像を生成する方法用のステップを図示する。図４においてステップ４１０に示されているように、第１の画像セットが、電気光学偏光変調器の第１の状態を用いて捕捉される。一実施形態において、変調器は、前記メインレンズと、複数のアパーチャを備えたレンズアレイとの間に配置される。ステップ４２０において、第２の画像セットが、電気光学偏光変調器の第２の状態を用いて捕捉される。ステップ４３０において、第２の画像セットに関する情報は、例えば構成されたプロセッサなどを用いて、第１のセットに関する情報から減算される。ステップ４４０において、最終画像セットが減算後に生成され、前記最終画像セットが、色強度及び特性を向上させるようにする。一実施形態において、相異なる色強度及び特性の複数の画像を生成するためのシステムが、図４の方法ステップ並びに図３Ａ及び３Ｂの配置を行うために使用され得る。この実施形態において、メインレンズ（３１０）は、複数のアパーチャに関連するレンズアレイ（３５２）の前に配置される。図３Ａに示されているような電気的に制御される電気光学変調器（３２５）は、示されているマイクロレンズとレンズアレイとの間に配置することができる。電気光学変調器は、電圧が印加されると、２つの状態（図３Ａの３３０及び３４０）の間で機能する。次に、図４に関連して説明されているように、第１の画像セットは、電気光学偏光変調器の第１の状態を用いて捕捉され、第２の画像セットも又、電気光学偏光変調器の第２の状態を用いて捕捉される。続いて、向上された色強度及び特性を備えた最終画像セットを生成する（図４の４４０）ために、捕捉された画像の第１のセットに関する情報から前記第２の画像セットに関する情報を減算するように構成されるプロセッサが、システムに組み込まれ得る。このようにして、プレノプティックカメラが非常に乏しい色情報を伝える非常に複雑な状況においてさえ、豊富な色情報が、取得され得る。
（付記１）
多重の画像を生成する方法であって、
電気光学偏光変調器の第１の状態を用いて、第１の画像セットを生成すること（４１０）であって、前記変調器が、メインレンズと、複数のアパーチャを備えたレンズのマイクロアレイとの間に配置されることと、
電気光学偏光変調器の第２の状態を用いて、第２の画像セットを生成すること（４２０）と、
前記第１のセットに関する情報から前記第２の画像セットに関する情報を計算すること（４３０）と、
前記減算後に最終画像セットを生成すること（４４０）と、
を含む方法。
（付記２）
多重の画像を生成するシステムであって、
複数のアパーチャに関連するレンズのマイクロアレイ（３５２）の前に配置されたメインレンズ（３１０）と、
前記レンズのマイクロアレイと前記メインレンズとの間に配置された電気的に制御される電気光学変調器（３２５）であって、電圧の印加で、第１の状態（３４０）と第２の状態（３３０）との間で機能する電気光学変調器（３２５）と、
電気光学偏光変調器の前記第１の状態を用いて、第１の画像セットを生成する手段と、
電気光学偏光変調器の前記第２の状態を用いて、第２の画像セットを生成する手段と、
向上された色強度及び特性を備えた最終画像セットを生成する（４４０）ために、捕捉された画像の前記第１のセットに関する情報から前記第２の画像セットに関する情報を計算するように構成されたプロセッサ（４３０）と、
を含むシステム。
（付記３）
マイクロ画像クロストークを生成するアパーチャから生成された境界画素が、前記計算ステップに先立って廃棄される、付記１に記載の方法又は付記２に記載のシステム。
（付記４）
前記電気光学偏光変調器が、元は第１の状態であり、前記電気光学偏光変調器に電圧が印加された後で第２の状態に変化する、付記１若しくは３に記載の方法又は付記２若しくは３に記載のシステム。
（付記５）
前記電気光学偏光変調器が、電圧がない状態でその第１の元の状態に戻る、付記４に記載の方法又は付記４に記載のシステム。
（付記６）
前記電気光学偏光変調器が、複屈折結晶材料から作られる、付記１若しくは４に記載の方法又は付記２若しくは４に記載のシステム。
（付記７）
前記複屈折結晶材料が、液晶（ＬＣ）である、付記６に記載の方法又は付記６に記載のシステム。
（付記８）
第１の光線が、第１の下部アパーチャと、前記第１の下部アパーチャの上方に位置する第２のアパーチャとにマップされるように、前記電気光学偏光変調器が、前記メインレンズから受信される光の２つの同期光線を生成する、付記１若しくは７に記載の方法又は付記２若しくは６に記載のシステム。
（付記９）
前記プレノプティックカメラが、前記マイクロレンズアレイと前記メインレンズとの間に配置されたセンサを有する、付記１に記載の方法又は付記２に記載のシステム。
（付記１０）
前記マイクロレンズアレイと前記センサとの間の距離が、１０マイクロメートルを超えるが１００マイクロメートル未満である、付記９に記載の方法又は付記９に記載のシステム。
（付記１１）
前記第１及び前記第２の光線が、相異なる屈折角度を有する、付記８に記載の方法又は付記８に記載のシステム。
（付記１２）
前記第１及び第２の光線が、相異なる屈折率を有する、付記１１に記載の方法又は付記１１に記載のシステム。
（付記１３）
前記第１の常光線及び前記第２の異常光線が、互いに垂直な方向に偏光される、付記１２に記載の方法又は付記１２に記載のシステム。
（付記１４）
前記２つの常光線及び異常光線が、相異なる伝搬距離を備えて生成される、付記１３に記載の方法又は付記１３に記載のシステム。

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図4】