特許 7528051 改善された解像度を用いたプレノプティック・サブアパーチャ・ビュー・シャッフリング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-26

(45)【発行日】2024-08-05

(54)【発明の名称】改善された解像度を用いたプレノプティック・サブアパーチャ・ビュー・シャッフリング

(51)【国際特許分類】

   H04N 23/55 20230101AFI20240729BHJP

   H04N 23/60 20230101ALI20240729BHJP

   H04N 25/10 20230101ALI20240729BHJP

【ＦＩ】

H04N23/55

H04N23/60 500

H04N25/10

【請求項の数】 19

【外国語出願】

(21)【出願番号】P 2021207302

(22)【出願日】2021-12-21

(62)【分割の表示】P 2018567102の分割

【原出願日】2017-06-27

(65)【公開番号】P2022046601

(43)【公開日】2022-03-23

【審査請求日】2022-01-12

(31)【優先権主張番号】16305821.7

(32)【優先日】2016-06-30

(33)【優先権主張国・地域又は機関】EP

【前置審査】

(73)【特許権者】

【識別番号】518341334

【氏名又は名称】インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】ル スクアルネック，ニコラ

(72)【発明者】

【氏名】シューベルト，アルノー

(72)【発明者】

【氏名】ドラジック，ヴァルター

【審査官】淀川 滉也

(56)【参考文献】

【文献】米国特許出願公開第２０１４／０３５４７７７（ＵＳ，Ａ１）

【文献】特開２０１６－００９９８３（ＪＰ，Ａ）

【文献】韓国公開特許第１０－２０１４－００６１２３４（ＫＲ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／５５

Ｈ０４Ｎ ２５／１０

Ｈ０４Ｎ ２３／６０

(57)【特許請求の範囲】

【請求項1】

高解像度画像を生成する方法であって、
第１の非励起状態にある電気的に制御可能な光学的媒体を用いて第１のプレノプティックデータセットを捕捉することと、
第２の励起状態にある前記電気的に制御可能な光学的媒体を用いて第２のプレノプティックデータセットを捕捉することであって、前記第２の励起状態において前記電気的に制御可能な光学的媒体に電圧を印加する、捕捉することと、
前記捕捉された第１のプレノプティックデータセットを前記捕捉された第２のプレノプティックデータセットの２倍から減算することと、
を含む方法。

【請求項2】

前記電気的に制御可能な光学的媒体が、複屈折媒体である、請求項１に記載の方法。

【請求項3】

前記減算ステップ後に、最終画像セットを生成することを更に含む、請求項１に記載の方法。

【請求項4】

前記電気的に制御可能な光学的媒体の両端にわたって電圧を印加することによって、前記電気的に制御可能な光学的媒体を、前記電気的に制御可能な光学的媒体に光線が当たった場合に前記光線に基づく２つの同期光線セットを生成する状態に変換することを更に含む、請求項１に記載の方法。

【請求項5】

高解像度画像を生成する方法であって、
第１の非励起状態にある複屈折媒体を用いて第１のプレノプティックデータセットを捕捉することと、
第２の励起状態にある前記複屈折媒体を用いて第２のプレノプティックデータセットを捕捉することであって、前記第２の励起状態において前記複屈折媒体に電圧を印加する、捕捉することと、
前記捕捉された第１のプレノプティックデータセットを前記捕捉された第２のプレノプティックデータセットの２倍から減算することと、
を含む方法。

【請求項6】

前記複屈折媒体の両端にわたって電圧を印加することによって、前記複屈折媒体を、前記複屈折媒体に光線が当たった場合に前記光線に基づく２つの同期光線セットを生成する状態に変換することと、
前記２つの同期光線セットを相異なるアパーチャセットにマップすることと、
を更に含む、請求項５に記載の方法。

【請求項7】

前記２つの同期光線セットが、それぞれ緑色及び青色であり、前記相異なるアパーチャセットにおける前記マップされたアパーチャの幾つかが共有される、請求項６に記載の方法。

【請求項8】

前記第２の励起状態が、電圧のない状態で前記第１の非励起状態に戻る、請求項５に記載の方法。

【請求項9】

前記複屈折媒体の両端にわたって電圧を印加することによって、前記複屈折媒体を、前記複屈折媒体に光線が当たった場合に前記光線に基づく２つの同期光線セットを生成する状態に変換することであって、前記２つの同期光線セットの第１の同期光線セットが前記２つの同期光線セットの第２の同期光線セットと相異なる第１の屈折角を有する、変換することを更に含む、請求項５に記載の方法。

【請求項10】

前記第１の同期光線セット及び前記第２の同期光線セットが、相異なる方向に伝搬する、請求項９に記載の方法。

【請求項11】

前記第１の同期光線セット及び前記第２の同期光線セットが、相異なる屈折率を有する、請求項１０に記載の方法。

【請求項12】

前記第１の同期光線セット及び前記第２の同期光線セットが、相異なる伝搬距離を有する、請求項１１に記載の方法。

【請求項13】

第１の非励起状態にある電気的に制御可能な光学的媒体を用いて第１のプレノプティックデータセットを捕捉することと、
第２の励起状態にある前記電気的に制御可能な光学的媒体を用いて第２のプレノプティックデータセットを捕捉することであって、前記第２の励起状態において前記電気的に制御可能な光学的媒体に電圧を印加する、捕捉することと、
前記捕捉された第１のプレノプティックデータセットを前記捕捉された第２のプレノプティックデータセットの２倍から減算することと、
を行うように構成されたプロセッサを含むプレノプティックカメラ。

【請求項14】

前記電気的に制御可能な光学的媒体が、複屈折媒体である、請求項１３に記載のプレノプティックカメラ。

【請求項15】

前記複屈折媒体が、電圧の印加で、前記第１の非励起状態と前記第２の励起状態との間で切り替わる、請求項１４に記載のプレノプティックカメラ。

【請求項16】

前記プロセッサが、前記捕捉された第１のプレノプティックデータセットを前記捕捉された第２のプレノプティックデータセットの２倍から減算した後に、最終画像セットを生成することを行うように更に構成される、請求項１３に記載のプレノプティックカメラ。

【請求項17】

前記プロセッサが、前記電気的に制御可能な光学的媒体の両端にわたって電圧を印加することによって、前記電気的に制御可能な光学的媒体を、前記電気的に制御可能な光学的媒体に光線が当たった場合に前記光線に基づく２つの同期光線セットを生成する状態に変換することを行うように更に構成される、請求項１３に記載のプレノプティックカメラ。

【請求項18】

前記２つの同期光線セットが、相異なる屈折率を有する、請求項１７に記載のプレノプティックカメラ。

【請求項19】

前記２つの同期光線セットが、相異なる伝搬距離を有する、請求項１８に記載のプレノプティックカメラ。

【発明の詳細な説明】

【技術分野】

【0001】

技術分野
本開示は、一般にデジタル画像処理に関し、特にデモザイキングを用いるプレノプティック撮像技術に関する。

【背景技術】

【0002】

背景
このセクションは、読者に技術の様々な態様を紹介するように意図されており、技術の様々な態様は、以下で説明及び／又は請求される本発明の様々な態様と関係し得る。この論考は、よりよい理解を促進するために、読者に背景情報を提供する際に役立つと考えられる。従って、これらの文言が、この観点で読まれるべきであり、先行技術の承認として読まれるべきではないことを理解されたい。

【0003】

写真術は、光又は他の電磁放射を記録することによって、耐久性のある画像を作成する。画像は、画像センサによって電子的に、又は感光性材料によって化学的に捕捉される。通常のカメラにおいて、時間の決まった露光中にカメラの内部で、対象から反射又は放射された光を感光性表面上で実画像に合焦させるために、レンズが用いられる。電子画像センサを用いると、電荷が、各画素において生成され、次にそれが、処理されて、更なる使用のためにデジタル画像ファイルに格納される。従来の写真術において、焦点面は、ほぼ平面又は焦平面である。焦点面は、カメラの光学軸に垂直であり、被写界深度は、平面に沿って一定である。対照的に、プレノプティックカメラにおいて、各マイクロ画像は、捕捉されたシーンのエリアを描写し、そのマイクロ画像に関連する各画素は、メインレンズ射出瞳上の一定のサブアパーチャ位置の視点からこの一定の領域を示す。次に、シーンの生画像が、全てのマイクロ画像の和の結果として取得され、生画像は、明視野の角度情報を含む。従って、生画像における隣接画素は、各画素が、相異なるビューに対応するので、相異なる角度情報を含む。

【0004】

プレノプティックカメラは、マイクロレンズアレイを用いるが、マイクロレンズアレイは、メインレンズの画像平面に、且つ１つのマイクロ画像（サブ画像とも呼ばれる）が投影される光センサアレイの前に配置される。メインレンズとセンサとの間にマイクロレンズアレイを配置することによって、プレノプティックカメラは、カメラに入る光束の位置、強度及び色に加えて、カメラに入る光束の方向を捕捉する。次に、捕捉されたデータは、シーンにわたるわずかに相異なる視点からの水平及び垂直に整列されたビューのマトリックスを提供するために、逆多重化される。従って、各マイクロ画像は、捕捉されたシーンのエリアを描き、そのマイクロ画像に関連する各画素は、メインレンズ射出瞳上の一定のサブアパーチャ位置の視点からこの一定のエリアを示す。次に、シーンの生画像は、光センサアレイのそれぞれの部分から取得された全てのマイクロ画像の和の結果として取得される。

【0005】

手持ち式プレノプティックカメラの最近の公開は、明視野撮像の可能性を大衆市場に導入した。この新しい能力は、多数の明視野用途の導入における興味を急に増加させた。幾つかの人気のある用途には、奥行き推定又は捕捉後再合焦に集中することが含まれる。生データ変換は、複雑であり、且つ解決される必要のある幾つかの問題を含む。１つのかかる問題は、優れた解像度を提供することに関する問題を伴う。従って、捕捉された生データを用いて、よりよい画像解像度を提供できる改善された技術の必要がある。

【発明の概要】

【0006】

概要
追加の特徴及び利点は、本開示の技術を通して実現される。本発明の他の実施形態及び態様は、本明細書で詳細に説明され、且つ請求される本発明の一部と考えられる。利点及び特徴と共に本発明のよりよい理解のために、説明及び図面を参照する。

【0007】

プレノプティックカメラを用いて高解像度画像を生成するシステム及び方法が提供される。一実施形態において、メインレンズと複数のアパーチャを有するレンズアレイとの間に配置された複屈折媒体を用いることによって、動作の第１の非励起状態において第１の画像セットを捕捉することを含む。次に、第１の画像セットの各画素は、第１のアパーチャセットにマップされる。次に、第１の非励起状態は、前記複屈折媒体の両端にわたって電圧を印加することによって、第２の励起状態になるようにされる。第２の画像セットが、第２の励起状態において捕捉され、第２の画像の第２の画素セットが、第２のアパーチャセットにマップされる。各第１及び第２の画像セット用の値が計算され、前記第１の画像セットに関連する値は、前記第２の画像セットから計算された値の少なくとも２倍から減算される。

【0008】

図面の簡単な説明
本開示は、添付の図を参照し、決して限定的ではない以下の実施形態及び実行例によって、よりよく理解され例示されよう。

【0009】

図１～４において、表現された図は、純粋に機能エンティティである例を提供し、必ずしも物理的に別個のエンティティに対応するわけではない。即ち、それらは、ソフトウェアかハードウェアの形で開発され得、又は１つ又は複数のプロセッサを含む１つ又は幾つかの集積回路において実現され得る。

【0010】

可能な限り、同じ参照数字は、図の全体にわたって、同じ又は同様の部分を指すために用いられる。

【図面の簡単な説明】

【0011】

【図1】デモザイキングプロセスにおいて用いられるカラーフィルタアレイ（ＣＦＡ）を示すブロック図である。

【図2A】カラーフィルタアレイ（ＣＦＡ）パターンで捕捉されたプレノプティックマイクロ画像の描写である。

【図2B】カラーフィルタ及びマイクロレンズアレイを用いて捕捉された逆多重化画像の実例である。

【図3A】一実施形態に従って、通常及び異常状態の両方の画素マッピングに対するサブアパーチャ用の図の描写である。

【図3B】図３Ａに示されている実施形態によって提供されるような通常状態のより詳細な画素マッピングを提供するズーム画像の実例である。

【図3C】図３Ａに示されている実施形態によって提供されるような通常状態のより詳細な画素マッピングを提供するズーム画像の実例である。

【図4】一実施形態による、図３におけるプロセスの流れ図描写である。

【発明を実施するための形態】

【0012】

説明
本発明の図及び説明が、本発明の明確な理解に適した要素を示すために簡略化され、一方で明確にするために、典型的なデジタルマルチメディアコンテンツ送出方法及びシステムにおいて見出される多くの他の要素を削除することを理解されたい。しかしながら、かかる要素が、当該技術分野においてよく知られているので、かかる要素の詳細な説明は、本明細書では提供されない。本明細書における開示は、全てのかかる変形及び修正に向けられている。

【0013】

図１は、デモザイキングプロセスにおいて使用されるカラーフィルタアレイ（ＣＦＡ）を用いたプレノプティックマイクロ画像マトリックスの先行技術の描写である。デモザイキングは、当業者には周知のように、図１で用いられるＣＦＡなどのフィルタで覆われた画像センサから出力された不完全なカラーサンプルを再構成することによって、画像を処理するための技術である。カラーフィルタアレイは、不完全なカラーサンプルからフルカラー画像を再構成するために、カラーフィルタアレイを使用するデモザイキングプロセス及びデジタル画像処理技術において用いられる。カラーサンプルは、ＣＦＡで覆われた１つ又は複数の画像センサの出力であることが多い。カラーフィルタアレイは、１つ又は複数の画像センサの前におけるカラーフィルタモザイクである。商業的に最も一般的に用いられるＣＦＡ構成は、ベイヤーフィルタである。図１の先行技術の例は、かかるフィルタの例を提供する。図示のように、奇数行用の交互の赤色（Ｒ）及び緑色（Ｇ）フィルタは、点在された緑色（Ｇ）及び青色（Ｂ）フィルタを含む介在行と偶数行で更に交互にされる。これは、ベイヤーパターンが、各次元（垂直及び水平）において２つの相異なる色画素の周期を備えた周期パターンであるからである。水平全方向において、単一の周期は、緑色画素及び赤色画素、又は青色画素及び緑色画素のどちらかを含む。垂直方向において、単一の周期は、緑色画素及び青色画素、又は赤色画素及び緑色画素のどちらかを含む。

【0014】

この例におけるように最終結果として、赤色又は青色フィルタの二倍の緑色フィルタが存在して、緑色光に対する人間の目のより高い感度に応える。ＣＦＡのカラーサブサンプリングは、その性質上、エイリアシングに帰着し、従って光学アンチエイリアシングフィルタが、補間によって導入された偽色アーチファクト（色エイリアス）を低減するために、画像センサとレンズとの間の光路に配置される。センサの各画素が、カラーフィルタの背後にあるので、出力は、画素値のアレイであり、各画素値は、３つのフィルタカラーの１つにおける生の強度を表す。ベイヤーフィルタは、均一なグリッド上で多変量補間を用いるＣＦＡの例である。従って、単一の成分ではなく、全ての色成分用の色レベルを各画素用に評価するために、アルゴリズムが必要とされる。従来のデモザイキングアルゴリズムは、ＣＦＡ又は他のフィルタから出力された、かかる空間的にアンダーサンプリングされたカラーチャンネルからのフルカラー画像を再構成する。

【0015】

かかるアルゴリズムに含まれる数学的演算は、それが、同じ色成分の近くの例に基づくので単純である。かかる補間アルゴリズムの最も単純な方法は、同じカラーチャネルの隣接画素を単にコピーする最近傍補間に依存する。しかしながら、かかるフィルタは、画像の詳細及び質が重要ないかなる用途にも適していない。加えて、これらの方法は、均質な画像領域において優れた結果を得ることができるが、それらは、純色ＣＦＡと共に用いられた場合に、エッジ及び詳細を備えた領域において激しいデモザイキングアーチファクトを被りやすい。より洗練されたデモザイキングアルゴリズムは、カラー画像内の画素の空間及び／又はスペクトル相関を活用するが、しかしそれらは、図２Ｂを参照することによって一層詳細に分かるように、やはり問題となる。図２Ａは、プレノプティックカメラによって捕捉されたマイクロ画像を図示する例示的な実施形態である。各画素は、メインレンズの射出瞳のサブアパーチャによって照射される。複数のレンズを通したサンプリング故に、ひとたびサブアパーチャビューが逆多重化されると、最終画像は、従来の撮像システムと比較した場合に、低解像度を有する可能性がある。これらの技術は、図３及び４に関連して、より詳細に説明される。この解像度は、いかなる追加センサも要求せずに、大いに向上させることができる。図２Ａにおいて、より明るい陰は、緑色（Ｇ）を表し、一方で最も暗い陰は、青色（Ｂ）を表し、中間モノクロ階調は、赤色（Ｒ）を表す。この例において、各画素は、メインレンズの射出瞳のサブアパーチャによって照射される。

【0016】

六角サンプリング、レンズと画素グリッドとの間の残留回転、及びＣＦＡ故に、ひとたびサブアパーチャビューが逆多重化されると、後続のビューは、幾つかのエリアにおいて、ビューから情報又は色が欠ける可能性がある。シーンにおけるビュー又は対象の欠けた部分を回復するために、プレノプティックカメラによって取得された生データをデモザイクし、次にビューを回復するように逆多重化することが可能である。問題は、ほとんどの例において、これが、ビュー上の色アーチファクトにつながるということである。隣接画素構成が、相異なる角度情報を含むプレノプティック生画像上で用いられる事例を検討する（マイクロレンズ下の各画素は、相異なるビューに対応する）。この場合における生プレノプティック画像のデモザイキングは、角度情報を潜在的に誤って混合する。いわゆるビュークロストークアーチファクトを生成する隣接色値を補間する従来のアルゴリズムにおいて、これは、誤った結果をもたらす。

【0017】

更に、デモザイクされた生画像から取得されたビューからの視差推定が、更に大きな誤差を被りやすいことが示された。図２Ｂは、説明されるような逆多重化画像の実例である。図２Ｂの図示された例において、シーンは、１つ又は複数の対象のビュー又は画像を提供される。画像は、プレノプティックカメラによって捕捉された。図２Ｂのビューを見ると、提示されているシーンの画像を認識するのは困難である。対象の全体的な輪郭は、図２Ｂにおいて見えるが、しかし詳細な対象認識を可能にするためには、十分な情報が画像には提供されていない。陰、強度、及び色が完全に欠けたわけではない例においてさえ、補色情報は、ほとんどの例において問題となる離れた画素から補間される必要がある。これは、解像度に大きく影響する。図２Ｂにおいて、デモザイクされた画像は、やはり情報を欠いているが、しかし画像は、適切な手法で逆多重化される。デモザイキングなしでは、生データは、デモザイクされずにシーンのビューへと逆多重化されることを要求する。解像度の向上は、低い光及びより高いノイズにおける一層貧弱な性能に結びつくより小さな「セル」を用いる一層高解像度のセンサの使用を要求する。しかしながら、かかる質の追加センサセルが用いられる場合でさえ、この技術は、すぐに限界に遭遇する。図３及び４に関連して説明されるような本技術は、優れた性能に適したオリジナルセンサのどれもが、改善された最終解像度品質でやはり使用され得るように、光学解像度を向上させる手法を提供する。

【0018】

一実施形態において、電圧の印加で複屈折媒体に変わる媒体が用いられる。複屈折は、光線が当たった場合に、２つの屈折光線の生成を引き起こす結晶材料の特性である。この特性は、媒体における原子の非等方性分布故であり、且つ結晶メッシュ構造が強く非等方性である結晶媒体において生じる。石英及び方解石は、複屈折を示す天然素材である。それらの媒体を用いると、非偏光光線が、特定の方位にあるそれらの媒体表面の１つに当たった場合に、２つの光線が屈折で生成される。これらの光線の１つは、１つの偏光特性を有し、もう一方は、わずかに異なる偏光特性を有する。スネル－デカルトの法則：ｎ_iｓｉｎθ_i＝ｎ_rｓｉｎθ_rに従うと、この式でｎ_i及びｎ_rは、入射及び屈折媒体のそれぞれの（且つ相異なる）屈折率であり、θ_i及びθ_rは、入射角度及び屈折角度である。

【0019】

複屈折材料は、スネルの法則に従って光線を屈折させるが、しかし媒体における有効屈折率は、入力偏光状態、及び屈折光線が結晶軸に対して作る角度に依存する。複屈折材料において、２つのタイプの光線が、通常及び異常として定義され得る。常光線は、スネルの原理、即ちｎ ｓｉｎθ＝ｎ₀ ｓｉｎθ’に従って屈折され、この式で「０」は、常光線屈折率を表す。

【0020】

複屈折媒体において、スネル－デカルトの法則に従う光線は、常光線と呼ばれ、媒体は、１つの常光線屈折率ｎ₀を有する。生成される第２の光線は、別の屈折ｎ_eを経験し、それは、異常光線屈折率ｎ_eを有する、且つ常光線に垂直に偏光される材料内の或る方向に伝搬する。複屈折媒体において、２つの光線が、相異なる伝搬方向を備えて生成される。

【0021】

異常光線用に、複屈折の事例において、屈折の法則は、ｎ ｓｉｎθ＝ｎ（θ_w）ｓｉｎθ’を提供し、この式で、複屈折材料における有効屈折率は、角度θ_wの関数である。角度θ_wは、結晶軸ベクトル「ａ」と屈折波ベクトル「ｋ」との間の角度である。加えて、光線ベクトル「ｓ」は、エネルギ伝搬の方向を指し示すベクトルであるが、波ベクトル「ｋ」には従わず、ベクトル「ｋ」に対して小さな角度を作る。等方性媒体において、ベクトル「ｋ」及び「ｓ」は、同じである。従って、ほとんどの光学設計用に、ベクトル「ｋ」は、考慮されなければならない。これらの事例において、角度θ_wは、次のように定義される。

【数1】

有効屈折率は、

【数2】

によって定義される。
この式で、ｎ₀は、常光線屈折率であり、ｎ_eは、異常光線屈折率である。

【数3】

間の角度αは、

【数4】

によって定義され、この場合に

【数5】

であり、及びベクトル

【数6】

は、両方とも結晶軸ベクトル

【数7】

と共面である。波ベクトル

【数8】

は、法線に沿って波面を指し示し、一方で、

【数9】

は、エネルギ伝搬の方向に沿って指し示す。

【0022】

図３Ａは、通常状態及び異常状態両方の画素マッピングに対するサブアパーチャ用の図を図示する。示されているように、複数の光線（一般に３２０として示されている）が、参照数字３２５によって示されている媒体を通過する。図の右側に、一般に参照数字３２７によって示されているメインレンズの射出瞳がある。このメインレンズ出口は、参照数字３５２によって集合的に示されているように、サブアパーチャＶ１～Ｖ１２に更に分割される。この実施形態において、媒体３３０は、電気的に制御可能である。一実施形態において、複屈折材料が用いられるが、しかし当業者によって認識され得るように、様々な類似の媒体が利用可能である。一例において、複屈折媒体を提供するために、ツイストネマティック液晶（ＴＮ）を組み込む媒体が用いられる。ＴＮ液晶は、一実施形態において、透明酸化インジウムスズ（ＩＴＯ）電極を有する２つのガラスプレート間に挟むことができる。一例では、セルの接地状態で、ＴＮセルに電圧が印加されない状態において、サブアパーチャは、常光線を表現する緑色ラインに従って、マイクロ画像当たり１つの単独の画素上にそれぞれ撮像される。

【0023】

図３Ａは、１つのマイクロレンズを示し、１つの画素列は、常光線が、２つのサブアパーチャ画素（常光線に対応する１つ、異常光線に対応する１つ）に各センサ画素をどのようにマップするかを示す。物事が、異常光線に関してどのように働くかを理解するために、画素からサブアパーチャへと逆に青色光線（より暗い陰で示されている）に従うのがよりよい。１つの画素を去ると、異常光線は、青色経路（図における暗い灰色）に従う。それは、そのマイクロレンズの光学中心と交差し、次に複屈折セル３２５に当たる。セルは、印加電圧でその「異常」状態にあり、従ってこの時、２つの光線、即ち、常光線として屈折する緑色及び異常光線として屈折する青色が生成される。両方が、メインレンズの射出瞳に当たると、常光線は、１つのサブアパーチャ上で終わり、一方で異常光線は、別のサブアパーチャへとマップする。これは、１つが、正常状態において射出瞳から始まる場合に、メインサブアパーチャ（緑色ｖ２～ｖ１２、ｖ１３～ｖ２３）の常光線が、センサ画素に当たり、二次サブアパーチャが、落とされて無視されることを意味する。「異常」状態において、光の一部は、メインサブアパーチャ（図における緑色又は明るい灰色－常光線として）から来て、光の別の部分は、二次サブアパーチャ（青色ｖ１～ｖ１１～ｖ１４～ｖ２４）から来る。これは、通常状態で一度、且つ異常状態で一度、変調器でセンサを読み出すことによって、２倍の解像度を捕捉できるようにする。後の処理は、より高い解像度の画像を回復する。

【0024】

図３Ｂ及び３Ｃは、それぞれ、図３Ａのエリア３１０のより詳細な実例を提供する。より具体的には、図３Ｂは、常（緑色－明るい灰色）光線をより詳細に示し、一方で図３Ｃは、異常（青又は暗い灰色）光線をより詳細に示す。このように、図３Ａの通常状態（緑色）及び異常状態（青色）の画素マッピングに対するサブアパーチャは、図３Ｂ及び３Ｃにおいて提供される詳細を見ることによってより明白になる。

【0025】

通常状態において、画素ｖ１～ｖ１１は読み出され、間の画素（例えばｖ１／２＋ｖ２／２．．．ｖ１１／２＋ｖ１２／２）（示されていない光線）は、サブアパーチャ間に落ち込む。プレノプティック画像に解像度情報を追加するには、２つの画像が連続して撮られることを必要とする。第１の画像は、通常状態におけるセルでｔ０に撮られる。センサ上の画素は、次の状態を記録する。
Ｐ（ｔ０，ｖ２），Ｐ（ｔ０，ｖ４），Ｐ（ｔ０，ｖ６），．．．，Ｐ（ｔ０，ｖ１２），Ｐ（ｔ０，ｖ１３），Ｐ（ｔ０，ｖ１５），Ｐ（ｔ０，ｖ１７），．．．，Ｐ（ｔ０，ｖ２３）
第２の画像は、異常状態におけるセルでｔ１に撮られる。シーンに偏光現象が存在しない場合に、等しい強度の２つの光線が生成される。
Ｐ（ｔ₀，ｖ１）／２＋Ｐ（ｔ₀，ｖ２）／２，Ｐ（ｔ₀，ｖ３）／２＋Ｐ（ｔ₀，ｖ４）／２
従って、
第１の画像が、境界線でない画素用の第２のショットの２倍から減算された場合：一実施形態ごとに、ｖ１、ｖ２４を回復すること、従って単に１２の画素を有するセンサで２４の値を読み出すことが可能である。

【0026】

画素の残りにこの概念を適用すると、２つのシーンショットが、ｔ０及びｔ１で生成される場合に、これらから、従来の方法を用いて通常提供されるより二倍多くの解像度情報を可能にする画素値の線形結合が取得され得る。一例において、このシステムにおいて用いられる追加コンポーネントは、ツイストネマティック（ＴＮ）セルである。

【0027】

このシステムにおいて用いられる追加コンポーネントは、ＴＮセルである。液晶は、常光線屈折率ｎ₀と異常屈折率ｎ_eとの間の値に大きな差を有し得る。幾つかの事例において、例えば当業者に周知のようなＭＬＣ－９２００－１００と名付けられたＬＣ混合物は、非常に大きな差であるｎ_e－ｎ₀＞０．２を有し得る。しかしながら、幾つかの実施形態において、これは、セルの厚さを低減するために必要とされる。この厚さは、マイクロレンズアレイとセンサとの間のセルの配置と適合するように調整される必要があり、従って、いかなるサイズ低減も、ある用途において有用になり得る（たとえ数ｍｍであっても）。

【0028】

図４は、一実施形態に従って上記で説明したプロセスの流れ図表現である。図４は、複数のアパーチャを有するレンズアレイの前にメインレンズを配置したプレノプティックカメラを用いて、相異なる色強度及び特性の複数の画像を生成する方法用のステップを図示する。図４においてステップ４１０に示されているように、第１の画像セットが、電気光学偏光変調器の第１の状態を用いて捕捉される。一実施形態において、変調器は、前記メインレンズと複数のアパーチャを備えたレンズアレイとの間に配置される。ステップ４２０において、第２の画像セットが、電気光学偏光変調器の第２の状態を用いて捕捉される。ステップ４３０において、第２の画像セットに関する情報は、例えば構成されたプロセッサなどを用いて、第１のセットに関する情報から減算される。ステップ４４０において、最終画像セットが減算後に生成され、前記最終画像セットが、解像度を向上させるようにする。一実施形態において、相異なる色強度及び特性の複数の画像を生成するためのシステムは、図４の方法ステップ並びに図３Ａ及び３Ｂの配置を行うために用いることができる。この実施形態において、メインレンズ（３１０）は、複数のアパーチャに関連するレンズアレイ（３５２）の前に配置される。図３Ａに示されているような電気的に制御される電気光学変調器（３２５）は、示されているマイクロレンズとレンズアレイとの間に配置することができる。電気光学変調器は、電圧が印加されると、２つの状態（図３Ａの３３０及び３４０）の間で機能する。次に、図４に関連して説明されているように、第１の画像セットは、電気光学偏光変調器の第１の状態を用いて捕捉され、第２の画像セットも又、電気光学偏光変調器の第２の状態を用いて捕捉される。続いて、向上された色強度及び特性を備えた最終画像セットを生成する（図４の４４０）ために、捕捉された画像の第１のセットに関する情報から前記第２の画像セットに関する情報を減算するように構成されるプロセッサが、システムに組み込まれ得る。このようにして、プレノプティックカメラが非常に乏しい色情報を伝える非常に複雑な状況においてさえ、豊富な色情報が、取得され得る。

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図3C】

【図4】