ホーム > 特許ランキング > ＡＩＲＹ３Ｄ ＩＮＣ．
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-15
(45)【発行日】2023-03-24
(54)【発明の名称】奥行取得のためのライトフィールド画像処理方法
(51)【国際特許分類】
H04N 25/10 20230101AFI20230316BHJP
G06T 7/557 20170101ALI20230316BHJP
G06T 7/90 20170101ALI20230316BHJP
G06T 7/00 20170101ALI20230316BHJP
H04N 13/257 20180101ALI20230316BHJP
H04N 13/271 20180101ALI20230316BHJP
H04N 13/239 20180101ALI20230316BHJP
G03B 35/08 20210101ALI20230316BHJP
G02B 3/00 20060101ALI20230316BHJP
G02B 5/00 20060101ALI20230316BHJP
H04N 23/55 20230101ALI20230316BHJP
H04N 23/54 20230101ALI20230316BHJP
H04N 23/60 20230101ALI20230316BHJP
【ＦＩ】
H04N25/10
G06T7/557
G06T7/90 D
G06T7/00 300B
H04N13/257
H04N13/271
H04N13/239
G03B35/08
G02B3/00 A
G02B5/00 Z
H04N23/55
H04N23/54
H04N23/60
【請求項の数】
20
(21)【出願番号】P 2020530983
(86)(22)【出願日】2018-12-05
(65)【公表番号】
(43)【公表日】2021-02-18
(86)【国際出願番号】 CA2018051554
(87)【国際公開番号】W WO2019109182
(87)【国際公開日】2019-06-13
【審査請求日】2021-12-01
(31)【優先権主張番号】62/594,718
(32)【優先日】2017-12-05
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】518434533
【氏名又は名称】エアリー３ディー インコーポレイティド
【氏名又は名称原語表記】ＡＩＲＹ３Ｄ ＩＮＣ．
【住所又は居所原語表記】５４４５ Ｇａｓｐｅ Ａｖｅｎｕｅ， Ｓｕｉｔｅ ２３０ Ｍｏｎｔｒｅａｌ， ＱｕｅｂｅｃＨ２Ｔ ３Ｂ２ ＣＡＮＡＤＡ
(74)【代理人】
【識別番号】110002664
【氏名又は名称】弁理士法人相原国際知財事務所
(72)【発明者】
【氏名】サーリ、 ジョナサン イコラ
(72)【発明者】
【氏名】チョ， ジ－ホ
【審査官】西谷 憲人
(56)【参考文献】
【文献】特開２０１１－００２３８７（ＪＰ，Ａ）
【文献】国際公開第２０１３／１７９５３８（ＷＯ，Ａ１）
【文献】特開２０１７－０１７６９０（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１１／０１７４９９８（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２５／１０
Ｇ０６Ｔ ７／５５７
Ｇ０６Ｔ ７／９０
Ｇ０６Ｔ ７／００
Ｈ０４Ｎ １３／２５７
Ｈ０４Ｎ １３／２７１
Ｈ０４Ｎ １３／２３９
Ｇ０３Ｂ ３５／０８
Ｇ０２Ｂ ３／００
Ｇ０２Ｂ ５／００
Ｈ０４Ｎ ２３／５５
Ｈ０４Ｎ ２３／５４
Ｈ０４Ｎ ２３／６０
(57)【特許請求の範囲】
【請求項1】
シーンの三次元画像データを捕捉する方法であって、ａ）回折された光学波面を生成するよう、格子軸に沿った格子間隔を有する回折格子パターンに従って前記シーンから生じる光学波面を回折することと、
ｂ）各々が色フィルタと関連付けられた複数の感光画素を含む画素アレイを使用して、近接場領域内で前記回折された光学波面を検出し、画素データを獲得することであって、前記色フィルタは、一次色と関連付けられた異なる隣接した画素が前記回折された光学波面の全サイクルにわたって前記回折された光学波面の異なる空間的部分を検出するように配列された前記一次色及び１つ以上の二次色を定義した色モザイクを形成して前記検出をすることと、
ｃ）前記一次色及び前記二次色に従って、前記画素データを対応する一次色チャネル及び二次色チャネルに解析することと、
ｄ）前記一次色チャネルと関連付けられた前記回折された光学波面の強度プロファイルの主基底成分及び主変調成分を判定することと、
ｅ）前記二次色チャネルの各々と関連付けられた前記回折された光学波面の強度プロファイルの二次基底成分及び二次変調成分を判定することと、
ｆ）前記主基底成分及び前記二次基底成分を使用して、前記シーンの２Ｄ画像を再構築することと、
ｇ）少なくとも１つの色放射伝達関数を使用して、前記シーンの奥行マップを作成することと、
を備え、
前記色放射伝達関数のそれぞれは、前記一次色チャネル及び前記二次色チャネルのうちの対応する１つの色チャネルと関連するとともに、前記一次色チャネル及び前記二次色チャネルのうちの関連する１つの色チャネルの主変調成分又は二次変調成分から物体距離情報を提供するよう較正されている方法。
【請求項2】
各々の色放射伝達関数は、前記関連する色チャネルの前記回折された光学波面の前記強度プロファイルを、前記検出するステップのために使用される画像捕捉デバイスの対応する焦点平面に関連付ける、請求項１に記載の方法。
【請求項3】
ステップｅ）の二次基底成分及び二次変調成分を判定することは、隣接したバンクが強め合う干渉オフセットまたは弱め合う干渉オフセットを有するかどうかを判定するために、前記画素の隣接したバンクについての前記一次色チャネルと関連付けられた前記回折された光学波面の前記強度プロファイルを使用することを含む、請求項１または２に記載の方法。
【請求項4】
ステップｇ）の前記奥行マップを作成することは、前記主変調成分及び前記関連する色放射伝達関数を使用して、粗い奥行マップを作成することを含む、請求項１～３のいずれか１項に記載の方法。
【請求項5】
前記粗い奥行マップを作成することは、前記一次色チャネルについての相対的な奥行情報を、それに関連付けられた前記主変調成分から獲得することと、
前記相対的な奥行情報と、前記一次色チャネルと関連付けられた前記色放射伝達関数との比較から、前記一次色チャネルについての絶対的な奥行情報を獲得することと、
を含む、請求項４に記載の方法。
【請求項6】
前記一次色チャネルは、緑色チャネルであり、前記二次色チャネルは、赤色チャネル及び青色チャネルであり、
前記関連する色放射伝達関数はそれぞれ、緑色放射伝達関数（ＧＲＴＦ）、赤色放射伝達関数（ＲＲＴＦ）、及び青色放射伝達関数（ＢＲＴＦ）を定義する、請求項１～５のいずれか１項に記載の方法。
【請求項7】
前記色モザイクは、Ｂａｙｅｒパターンである、請求項６に記載の方法。
【請求項8】
前記画素アレイは、前記格子間隔よりも短い、前記格子軸に沿った画素ピッチを有する請求項１～７のいずれか１項に記載の方法。
【請求項9】
前期画素ピッチの前記格子間隔に対する比率は実質的に２に等しい請求項８に記載の方法。
【請求項10】
主基底成分及び主変調成分を判定することは、それぞれ、前記一次色に関連した隣接画素バンクから強度画素データを加算し及び減算することを含む請求項１～９のいずれか１項に記載の方法。
【請求項11】
回折された光学波面を生成するよう、非一時的コンピュータ可読記憶媒体に記憶され、シーンから生じ、格子軸に沿った格子間隔を有する回折格子パターンに従って回折された光学波面から前記シーンの三次元画像データを獲得するためのコンピュータ実行可能命令を有する、前記非一時的コンピュータ可読記憶媒体であって、前記回折された光学波面は、各々が色フィルタと関連付けられた複数の感光画素を含む画素アレイを使用して近接場領域で検出されて、画素データを獲得し、
前記色フィルタは、一次色と関連付けられた異なる隣接した画素が前記回折された光学波面の全サイクルにわたって前記回折された光学波面の異なる空間的部分を検出するように配列された前記一次色及び１つ以上の二次色を定義した色モザイクを形成し、
前記コンピュータ実行可能命令は、前記画素データを受信したプロセッサによって実行されるとき、前記プロセッサに、
ａ）前記一次色及び前記二次色に従って、前記画素データを対応する一次色チャネル及び二次色チャネルに解析することと、
ｂ）前記一次色チャネルと関連付けられた前記回折された光学波面の強度プロファイルの主基底成分及び主変調成分を判定することと、
ｃ）前記二次色チャネルの各々と関連付けられた前記回折された光学波面の強度プロファイルの二次基底成分及び二次変調成分を判定することと、
ｄ）前記主基底成分及び前記二次基底成分を使用して、前記シーンの２Ｄ画像を再構築することと、
ｅ）少なくとも１つの色放射伝達関数を使用して、前記シーンの奥行マップを作成することと、
を実行させる、前記非一時的コンピュータ可読記憶媒体であって、
前記色放射伝達関数のそれぞれは、前記一次色チャネル及び前記二次色チャネルのうちの対応する１つの色チャネルと関連するとともに、前記一次色チャネル及び前記二次色チャネルのうちの関連する１つの色チャネルの主変調成分又は二次変調成分から物体距離情報を提供するよう較正されている非一時的コンピュータ可読記憶媒体。
【請求項12】
各々の色放射伝達関数は、前記関連する色チャネルの前記回折された光学波面の前記強度プロファイルを、前記検出するステップのために使用される画像捕捉デバイスの対応する焦点平面に関連付ける、請求項１１に記載の非一時的コンピュータ可読記憶媒体。
【請求項13】
ステップｃ）の二次基底成分及び前記二次変調成分を判定することは、隣接したバンクが強め合う干渉オフセットまたは弱め合う干渉オフセットを有するかどうかを判定するために、前記画素の隣接したバンクについての前記一次色チャネルと関連付けられた前記回折された光学波面の前記強度プロファイルを使用することを含む、請求項１１又は１２に記載の非一時的コンピュータ可読記憶媒体。
【請求項14】
ステップｅ）の前記奥行マップを作成することは、前記主変調成分及び前記関連する色放射伝達関数を使用して、粗い奥行マップを作成することを含む、請求項１１～１３のいずれか１項に記載の非一時的コンピュータ可読記憶媒体。
【請求項15】
前記粗い奥行マップを作成することは、前記一次色チャネルについての相対的な奥行情報を、それに関連付けられた前記主変調成分から獲得することと、
前記相対的な奥行情報と、前記一次色チャネルと関連付けられた前記色放射伝達関数との比較から、前記一次色チャネルについての絶対的な奥行情報を獲得することと、
を含む、請求項１４に記載の非一時的コンピュータ可読記憶媒体。
【請求項16】
前記一次色チャネルは、緑色チャネルであり、前記二次色チャネルは、赤色チャネル及び青色チャネルであり、
前記関連する色放射伝達関数はそれぞれ、緑色放射伝達関数（ＧＲＴＦ）、赤色放射伝達関数（ＲＲＴＦ）、及び青色放射伝達関数（ＢＲＴＦ）を定義する、請求項１１～１５のいずれか１項に記載の非一時的コンピュータ可読記憶媒体。
【請求項17】
前記色モザイクは、Ｂａｙｅｒパターンである、請求項１６に記載の非一時的コンピュータ可読記憶媒体。
【請求項18】
前記画素アレイは、前記格子間隔よりも短い、前記格子軸に沿った画素ピッチを有する請求項１１～１７のいずれか１項に記載の非一時的コンピュータ可読記憶媒体。
【請求項19】
前期画素ピッチの前記格子間隔に対する比率は実質的に２に等しい請求項１８に記載の非一時的コンピュータ可読記憶媒体。
【請求項20】
主基底成分及び主変調成分を判定することは、それぞれ、前記一次色に関連した隣接画素バンクから強度画素データを加算し及び減算することを含む請求項１１～１９のいずれか１項に記載の非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
全体的な技術分野は、撮像システム及び方法に関し、特に、奥行取得及び三次元（３Ｄ）撮像のためのライトフィールド撮像デバイス及び画像処理方法に関する。
【背景技術】
【0002】
従来の撮像ハードウェアは、簡易化された二次元（２Ｄ）平面への複合的な三次元（３Ｄ）シーンの投影を伴い、入射光において特有な次元性を失う。情報の損失は、入射光の時間平均強度Ｉを直接測定することができるにすぎず、その位相φ、または波ベクトルｋ、または角周波数ω、
を直接測定しない、電荷結合素子（ＣＣＤ）または相補型金属酸化膜半導体（ＣＭＯＳ）センサアレイなど、二乗検出器の性質の直接の結果である。
【0003】
この制約内で作動して、プレノプティックカメラは、複数の同時に取得された画像の比較分析、複雑な機械学習、及び／もしくは再構築技術のいずれかを通じて、または能動的照明器及びセンサの使用を通じて奥行情報を回復することを強いられる。プレノプティックカメラは概して、
Ｐ＝Ｐ（ｘ，ｙ，λ，ｔ，Ｖｘ，Ｖｙ，Ｖｚ，ｐ） （２）
によって観察者またはポイント上で衝突したライトフィールドをパラメータ化する、「プレノプティック関数」を通じてシーンを記述し、ｘ及びｙ座標は、位置（Ｖｘ、Ｖｙ、Ｖｚ）において観察者によって目撃されるように、波長λ、及び偏光角ｐに対する、時間ｔにおける特定の画像平面を定義する。それらは、単一または複数のセンサに基づくシステムであってもよく、現在のプレノプティックカメラは、最低でも、センサアレイのいずれかの所与の画素によって検出された光の強度に唯一依存することがある。特に、立体視覚またはマイクロレンズ効果などの既存の解決策は、奥行を識別するために必要とされる様々な視野に適合するよう複数のセンサまたはセンサ分割を採用することによって、全体的な画像品質及びセンサフットプリントを犠牲にする。
Ｐ＝Ｐ（ｘ，ｙ，λ，ｔ，Ｖｘ，Ｖｙ，Ｖｚ，ｐ） （２）
によって観察者またはポイント上で衝突したライトフィールドをパラメータ化する、「プレノプティック関数」を通じてシーンを記述し、ｘ及びｙ座標は、位置（Ｖｘ、Ｖｙ、Ｖｚ）において観察者によって目撃されるように、波長λ、及び偏光角ｐに対する、時間ｔにおける特定の画像平面を定義する。それらは、単一または複数のセンサに基づくシステムであってもよく、現在のプレノプティックカメラは、最低でも、センサアレイのいずれかの所与の画素によって検出された光の強度に唯一依存することがある。特に、立体視覚またはマイクロレンズ効果などの既存の解決策は、奥行を識別するために必要とされる様々な視野に適合するよう複数のセンサまたはセンサ分割を採用することによって、全体的な画像品質及びセンサフットプリントを犠牲にする。
【0004】
ランダムな二値オクルージョンマスク及び符号化開口は、パッケージングまたは全体的なフットプリントへの最小の影響と共に単一のセンサの解決策を提供する他の既存のアプローチである。しかしながら、圧縮センシング及び非線形再構築技術における発展にも関わらず、それらの解決策は、大容量の画像辞書及び計算コストが伴うことによって妨げられたままである。
【0005】
タイムオブフライト及び構造化された光に基づく技術は、パルス化され、パターン化され、または変調された連続した波の赤外線光によりシーンを能動的に照射し、照射された光パターンにおける全往復移動時間または僅かな変化を介して奥行を判定する。それらの技術は、画像分割の影響を受けないが、それらは概して、その両方が電力消費と共に全体的なデバイスのフットプリントを増大させる、追加の能動的赤外線放射器及び検出器を必要とする。同様に、それらの技術は、干渉信号、鏡面反射、及び周囲赤外線を感知しやすい傾向があり、よって、それらの野外での実行可能性を制限する。
【0006】
上記説明された様々な画像捕捉ハードウェアの技術的制限及び複雑性は、ライトフィールド捕捉技術の拡散への著しい障壁を表し、ライトフィールド画像を処理する複雑性は、著しいゲーティング因子を残す。まず、現代のカメラ解像度における未加工且つ非圧縮の従来の二次元（ｘ、ｙ）画像は、サイズにおいて５０メガバイトの位数にあることがある。同等の四次元（ｘ、ｙ、ｕ、ｖ）ライトフィールド画像は、ギガバイトに近い、より大きい規模の位数である。そのようなデータサイズは、バス帯域幅及びメモリ転送速度と共に純粋な記憶空間の利用可能性の観点から、従来のコンピューティングシステム及び携帯電話システムの制限を押し上げる。したがって、実用的なライトフィールドデバイスは、モバイルデバイスに典型的な現代のシステムオンチップアーキテクチャを使用して機能するために、莫大且つ効率的な圧縮を必要とする。
【0007】
立体視覚アプローチは、ライトフィールドシーンを再構築することができる前の特徴マッチング及び整流を含む複雑な計算ステップを本質的に必要とする。マイクロレンズ効果アプローチは、ハードウェアにより誘導された、画像のダウンサンプルされた性質に起因して、本来のカメラ解像度において画像を戻すために画像内の画素数と共に計算コストにおいて指数関数的に増加する集中的非線形再構築アルゴリズムを必要とする。タイムオブフライト及び他の能動的照射アプローチは、強度画像を捕捉しないことが多く、二次モノクロまたはカラー捕捉デバイスを必要とする。捕捉された奥行マップは次いで、ライトフィールドシーンを処理することができる前に、強度画像によりステッチされる必要がある。赤外線カメラシステムは、強度捕捉デバイスに対して非常に低い解像度を有することが多い。このハードウェアの制限は、奥行マップ空間分解能を強度画像の空間分解能に一致させるために、更なるソフトウェアに基づくアップサンプリングを必要とする。
【0008】
したがって、直接のハードウェア圧縮及び効率的な計算再構築アルゴリズムを組み合わせることができる３Ｄライトフィールド画像を取得及び処理する技術の開発において課題が残る。
【発明の概要】
【0009】
本説明は概して、奥行マッピング及び他の３Ｄ撮像用途のためのライトフィールド撮像技術に関する。
【0010】
本説明は、３Ｄ撮像用途において、光学波面センサによって獲得されたライトフィールド画像データを処理する方法を提供する。特に、開示される方法は、シーンから発散する光学波面に関するライトフィールド情報から観察可能なシーンの３Ｄまたは奥行画像を生成または再構築するために使用されてもよい。
【0011】
一態様に従って、シーンの三次元画像データを捕捉する方法が提供され、方法は、
ａ）回折された光学波面を生成するよう、格子軸に沿った格子間隔を有する回折格子パターンに従ってシーンから生じる光学波面を回折することと、
ｂ）各々が色フィルタと関連付けられた複数の感光画素を含む画素アレイを使用して、近接場領域内で回折された光学波面を検出し、それによって、画素データを獲得することであって、色フィルタは、一次色と関連付けられた異なる隣接した画素が当該回折された光学波面の全サイクルにわたって回折された光学波面の異なる空間的部分を検出するように配列された一次色及び１つ以上の二次色を定義した色モザイクを形成し、画素アレイは、格子間隔よりも短い格子軸に沿った画素ピッチを有する、検出することと、
ｃ）当該一次色及び二次色に従って、画素データを対応する一次色チャネル及び二次色チャネルに解析することと、
ｄ）一次色チャネルと関連付けられた回折された光学波面の強度プロファイルの主基底成分及び主変調成分を判定することと、
ｅ）二次チャネルの各々と関連付けられた回折された光学波面の強度プロファイルの二次基底成分及び二次変調成分を判定することと、
ｆ）主基底成分及び二次基底成分を使用して、シーンの２Ｄ画像を再構築することと、
ｇ）当該色チャネルの関連する１つの変調成分から物体距離情報を提供するよう較正された少なくとも１つの色放射伝達関数を使用して、シーンの奥行マップを作成することと、
を含む。
ａ）回折された光学波面を生成するよう、格子軸に沿った格子間隔を有する回折格子パターンに従ってシーンから生じる光学波面を回折することと、
ｂ）各々が色フィルタと関連付けられた複数の感光画素を含む画素アレイを使用して、近接場領域内で回折された光学波面を検出し、それによって、画素データを獲得することであって、色フィルタは、一次色と関連付けられた異なる隣接した画素が当該回折された光学波面の全サイクルにわたって回折された光学波面の異なる空間的部分を検出するように配列された一次色及び１つ以上の二次色を定義した色モザイクを形成し、画素アレイは、格子間隔よりも短い格子軸に沿った画素ピッチを有する、検出することと、
ｃ）当該一次色及び二次色に従って、画素データを対応する一次色チャネル及び二次色チャネルに解析することと、
ｄ）一次色チャネルと関連付けられた回折された光学波面の強度プロファイルの主基底成分及び主変調成分を判定することと、
ｅ）二次チャネルの各々と関連付けられた回折された光学波面の強度プロファイルの二次基底成分及び二次変調成分を判定することと、
ｆ）主基底成分及び二次基底成分を使用して、シーンの２Ｄ画像を再構築することと、
ｇ）当該色チャネルの関連する１つの変調成分から物体距離情報を提供するよう較正された少なくとも１つの色放射伝達関数を使用して、シーンの奥行マップを作成することと、
を含む。
【0012】
この方法のいくつかの実装態様では、各々の色放射伝達関数は、関連する色チャネルの回折された光学波面の強度プロファイルを、当該検出するステップのために使用される画像捕捉デバイスの対応する焦点平面に関連付ける。物体距離情報は、物体（ｚ）～２Ｄ画像×ＣＲＴＦとなるような関係から獲得されてもよく、ｚは、画像捕捉デバイスの焦点平面からのシーン内の所与の物体の距離であり、２Ｄ画像は、ステップｆ）において再構築された２Ｄ画像であり、ＣＲＴＦは、焦点平面からの極座標ｒ、φ、θ、画素数ｎ、及び入射波長λの適合された５Ｄ関数から獲得された放射伝達関数である。
【0013】
この方法のいくつかの実装態様では、ステップｅ）の二次基底成分及び二次変調成分を判定することは、隣接したバンクが強め合う干渉オフセットまたは弱め合う干渉オフセットを有するかどうかを判定するために、当該画素の当該隣接したバンクについての一次色チャネルと関連付けられた回折された光学波面の強度プロファイルを使用することを含む。
【0014】
この方法のいくつかの実装態様では、ステップｆ）の２Ｄ画像を再構築することは、主基底成分を使用して、二次基底成分を正規化することを含む。
【0015】
この方法のいくつかの実装態様では、ステップｆ）の２Ｄ画像を再構築することは、
－当該物体距離情報を獲得するために、主変調成分及び関連する色放射伝達関数を使用することと、
－当該２Ｄ画像内の光学波面の回折からのアーチファクトを補償するために、当該物体距離情報を考慮して二次変調成分及び関連する色放射伝達関数を使用することと、
を含む。
－当該物体距離情報を獲得するために、主変調成分及び関連する色放射伝達関数を使用することと、
－当該２Ｄ画像内の光学波面の回折からのアーチファクトを補償するために、当該物体距離情報を考慮して二次変調成分及び関連する色放射伝達関数を使用することと、
を含む。
【0016】
この方法のいくつかの実装態様では、ステップｇ）の奥行マップを作成することは、主変調成分及び関連する色放射伝達関数を使用して、粗い奥行マップを作成することを含む。
【0017】
この方法のいくつかの実装態様では、
粗い奥行マップを作成することは、
－一次色チャネルについての相対的な位相情報を、それに関連付けられた主変調成分から獲得することと、
－当該相対的な位相情報と、当該一次色チャネルと関連付けられた色放射伝達関数との比較から、一次色チャネルについての絶対的な位相情報を獲得することと、
を含む。
粗い奥行マップを作成することは、
－一次色チャネルについての相対的な位相情報を、それに関連付けられた主変調成分から獲得することと、
－当該相対的な位相情報と、当該一次色チャネルと関連付けられた色放射伝達関数との比較から、一次色チャネルについての絶対的な位相情報を獲得することと、
を含む。
【0018】
奥行マップを作成することはまた、１つ以上の二次変調成分及び関連する色放射伝達関数を使用して、当該粗い奥行マップを補正することを含んでもよい。
【0019】
この方法のいくつかの実装態様では、当該粗い奥行マップを補正することは、
－各々の二次色チャネルについての相対的な位相情報を、それに関連付けられた主変調成分から獲得することと、
－当該相対的な位相情報と、関連する二次色チャネルと関連付けられた色放射伝達関数との比較から、各々の二次色チャネルについての絶対的な位相情報を獲得することと、
を含む。
－各々の二次色チャネルについての相対的な位相情報を、それに関連付けられた主変調成分から獲得することと、
－当該相対的な位相情報と、関連する二次色チャネルと関連付けられた色放射伝達関数との比較から、各々の二次色チャネルについての絶対的な位相情報を獲得することと、
を含む。
【0020】
この方法のいくつかの実装態様では、色モザイクは、当該二次色のうちの２つを定義する。
【0021】
この方法のいくつかの実装態様では、一次色チャネルは、緑色チャネルであり、二次色チャネルは、赤色チャネル及び青色チャネルであり、当該関連する色放射伝達関数はそれぞれ、緑色放射伝達関数ＧＲＴＦ、赤色放射伝達関数ＲＲＴＦ、及び青色放射伝達関数ＢＲＴＦを定義する。色モザイクは、Ｂａｙｅｒパターンであってもよい。ステップｇ）の奥行マップを作成することは、
ｉ．
－緑色チャネルについての相対的な位相情報を、それに関連付けられた主変調成分から獲得することと、
－当該相対的な位相情報と、緑色放射伝達関数ＧＲＴＦとの比較から、緑色チャネルについての絶対的な位相情報を獲得することと、
によって、粗い奥行マップを作成することと、
ｉｉ．
－赤色及び青色チャネルについての相対的な位相情報を、それに関連付けられた主変調成分から獲得することと、
－当該相対的な位相情報と、赤色放射伝達関数ＲＲＴＦ及び青色放射伝達関数ＢＲＴＦとの比較から、赤色及び青色チャネルについての絶対的な位相情報を獲得することと、
によって当該粗い奥行マップを補正することと、
を含んでもよい。
ｉ．
－緑色チャネルについての相対的な位相情報を、それに関連付けられた主変調成分から獲得することと、
－当該相対的な位相情報と、緑色放射伝達関数ＧＲＴＦとの比較から、緑色チャネルについての絶対的な位相情報を獲得することと、
によって、粗い奥行マップを作成することと、
ｉｉ．
－赤色及び青色チャネルについての相対的な位相情報を、それに関連付けられた主変調成分から獲得することと、
－当該相対的な位相情報と、赤色放射伝達関数ＲＲＴＦ及び青色放射伝達関数ＢＲＴＦとの比較から、赤色及び青色チャネルについての絶対的な位相情報を獲得することと、
によって当該粗い奥行マップを補正することと、
を含んでもよい。
【0022】
別の態様に従って、非一時的コンピュータ可読記憶媒体に記憶され、シーンから生じ、格子軸に沿った格子間隔を有する回折格子パターンに従って回折された、回折された光学波面からシーンの三次元画像データを獲得するためのコンピュータ実行可能命令をそ有する、当該非一時的コンピュータ可読記憶媒体であって、回折された光学波面は、各々が色フィルタと関連付けられた複数の感光画素を含む画素アレイを使用して近接場領域内で回折されて、それによって、画素データを獲得し、色フィルタは、一次色と関連付けられた異なる隣接した画素が当該回折された光学波面の全サイクルにわたって回折された光学波面の異なる空間的部分を検出するように配列された一次色及び１つ以上の二次色を定義した色モザイクを形成し、画素アレイは、格子間隔よりも短い格子軸に沿った画素ピッチを有し、コンピュータ実行可能命令は、画素データを受信したプロセッサによって実行されるとき、プロセッサに、
ａ）当該一次色及び二次色に従って、画素データを対応する一次色チャネル及び二次色チャネルに解析することと、
ｂ）一次色チャネルと関連付けられた回折された光学波面の強度プロファイルの主基底成分及び主変調成分を判定することと、
ｃ）二次チャネルの各々と関連付けられた回折された波面の強度プロファイルの二次基底成分及び二次変調成分を判定することと、
ｄ）主基底成分及び二次基底成分を使用して、シーンの２Ｄ画像を再構築することと、
ｅ）当該色チャネルの関連する１つの変調成分から物体距離情報を提供するよう較正された少なくとも１つの色放射伝達関数を使用して、シーンの奥行マップを作成することと、
を実行させる、非一時的コンピュータ可読記憶媒体が提供される。
ａ）当該一次色及び二次色に従って、画素データを対応する一次色チャネル及び二次色チャネルに解析することと、
ｂ）一次色チャネルと関連付けられた回折された光学波面の強度プロファイルの主基底成分及び主変調成分を判定することと、
ｃ）二次チャネルの各々と関連付けられた回折された波面の強度プロファイルの二次基底成分及び二次変調成分を判定することと、
ｄ）主基底成分及び二次基底成分を使用して、シーンの２Ｄ画像を再構築することと、
ｅ）当該色チャネルの関連する１つの変調成分から物体距離情報を提供するよう較正された少なくとも１つの色放射伝達関数を使用して、シーンの奥行マップを作成することと、
を実行させる、非一時的コンピュータ可読記憶媒体が提供される。
【0023】
いくつかの実装態様では、各々の色放射伝達関数は、関連する色チャネルの回折された光学波面の強度プロファイルを、当該検出するステップのために使用される画像捕捉デバイスの対応する焦点平面に関連付ける。物体距離情報は、物体（ｚ）～２Ｄ画像×ＣＲＴＦとなるような関係から獲得され、ｚは、画像捕捉デバイスの焦点平面からのシーン内の所与の物体の距離であり、２Ｄ画像は、ステップｄ）において再構築された２Ｄ画像であり、ＣＲＴＦは、放射伝達関数である。ＣＲＴＦの値は、焦点平面からの極座標ｒ、φ、θ、画素数ｎ、及び入射波長λのフィッティング関数から獲得される。
【0024】
いくつかの実装態様では、ステップｃ）の二次基底成分及び二次変調成分を判定することは、隣接したバンクが強め合う干渉オフセットまたは弱め合う干渉オフセットを有するかどうかを判定するために、当該画素の当該隣接したバンクについての一次色チャネルと関連付けられた回折された光学波面の強度プロファイルを使用することを含む。
【0025】
いくつかの実装態様では、ステップｄ）の２Ｄ画像を再構築することは、主基底成分を使用して、二次基底成分を正規化することを含む。
【0026】
いくつかの実装態様では、ステップｄ）の２Ｄ画像を再構築することは、
－当該物体距離情報を獲得するために、主変調成分及び関連する色放射伝達関数を使用することと、
－当該２Ｄ画像内の光学波面の回折からのアーチファクトを補償するために、当該物体距離情報を考慮して二次変調成分及び関連する色放射伝達関数を使用することと、
を含む。
－当該物体距離情報を獲得するために、主変調成分及び関連する色放射伝達関数を使用することと、
－当該２Ｄ画像内の光学波面の回折からのアーチファクトを補償するために、当該物体距離情報を考慮して二次変調成分及び関連する色放射伝達関数を使用することと、
を含む。
【0027】
いくつかの実装態様では、ステップｅ）の奥行マップを作成することは、主変調成分及び関連する色放射伝達関数を使用して、粗い奥行マップを作成することを含む。粗い奥行マップを作成することは、
－一次色チャネルについての相対的な位相情報を、それに関連付けられた主変調成分から獲得することと、
－当該相対的な位相情報と、当該一次色チャネルと関連付けられた色放射伝達関数との比較から、一次色チャネルについての絶対的な位相情報を獲得することと、
を含んでもよい。
－一次色チャネルについての相対的な位相情報を、それに関連付けられた主変調成分から獲得することと、
－当該相対的な位相情報と、当該一次色チャネルと関連付けられた色放射伝達関数との比較から、一次色チャネルについての絶対的な位相情報を獲得することと、
を含んでもよい。
【0028】
いくつかの実装態様では、奥行マップを作成することは、１つ以上の二次変調成分及び関連する色放射伝達関数を使用して、当該粗い奥行マップを補正することを含む。当該粗い奥行マップを補正することは、
－各々の二次色チャネルについての相対的な位相情報を、それに関連付けられた主変調成分から獲得することと、
－当該相対的な位相情報と、関連する二次色チャネルと関連付けられた色放射伝達関数との比較から、各々の二次色チャネルについての絶対的な位相情報を獲得することと、
を含んでもよい。
－各々の二次色チャネルについての相対的な位相情報を、それに関連付けられた主変調成分から獲得することと、
－当該相対的な位相情報と、関連する二次色チャネルと関連付けられた色放射伝達関数との比較から、各々の二次色チャネルについての絶対的な位相情報を獲得することと、
を含んでもよい。
【0029】
いくつかの実装態様では、色モザイクは、当該二次色のうちの２つを定義する。
【0030】
いくつかの実装態様では、一次色チャネルは、緑色チャネルであり、二次色チャネルは、赤色チャネル及び青色チャネルであり、当該関連する色放射伝達関数はそれぞれ、緑色放射伝達関数ＧＲＴＦ、赤色放射伝達関数ＲＲＴＦ、及び青色放射伝達関数ＢＲＴＦを定義する。色モザイクは、Ｂａｙｅｒパターンであってもよい。ステップｅ）の奥行マップを作成することは、
ｉ．
－緑色チャネルについての相対的な位相情報を、それに関連付けられた主変調成分から獲得することと、
－当該相対的な位相情報と、緑色放射伝達関数との比較から、緑色チャネルについての絶対的な位相情報を獲得することと、
によって、粗い奥行マップを作成することと、
ｉｉ．
－赤色及び青色チャネルについての相対的な位相情報を、それに関連付けられた主変調成分から獲得することと、
－当該相対的な位相情報と、赤色放射伝達関数及び青色放射伝達関数との比較から、赤色及び青色チャネルについての絶対的な位相情報を獲得することと、
によって、当該粗い奥行マップを補正することと、
を含んでもよい。
ｉ．
－緑色チャネルについての相対的な位相情報を、それに関連付けられた主変調成分から獲得することと、
－当該相対的な位相情報と、緑色放射伝達関数との比較から、緑色チャネルについての絶対的な位相情報を獲得することと、
によって、粗い奥行マップを作成することと、
ｉｉ．
－赤色及び青色チャネルについての相対的な位相情報を、それに関連付けられた主変調成分から獲得することと、
－当該相対的な位相情報と、赤色放射伝達関数及び青色放射伝達関数との比較から、赤色及び青色チャネルについての絶対的な位相情報を獲得することと、
によって、当該粗い奥行マップを補正することと、
を含んでもよい。
【0031】
別の態様に従って、シーンの三次元画像データを捕捉する方法が提供され、方法は、
ａ）回折された波面を生成するよう、格子軸に沿った格子間隔を有する回折格子パターンに従ってシーンから生じる光学波面を回折することと、
ｂ）各々が色フィルタと関連付けられた複数の感光画素を含む画素アレイを使用して、近接場領域内で回折された光学波面を検出し、それによって、画素データを獲得することであって、色フィルタは、一次色及び１つ以上の二次色を定義した色モザイクを形成する、検出するステップと、
ｃ）当該一次色及び二次色に従って、画素データを対応する一次色チャネル及び二次色チャネルに解析することと、
ｄ）一次色チャネルと関連付けられた回折された光学波面の強度プロファイルの主基底成分及び主変調成分を判定することと、
ｅ）二次チャネルの各々と関連付けられた回折された波面の強度プロファイルの二次基底成分及び二次変調成分を判定することと、
ｆ）当該色チャネルの関連する１つの変調成分から物体距離情報を提供するよう較正された少なくとも１つの色放射伝達関数を使用して、シーンの奥行マップを作成することと、
を含む。
ａ）回折された波面を生成するよう、格子軸に沿った格子間隔を有する回折格子パターンに従ってシーンから生じる光学波面を回折することと、
ｂ）各々が色フィルタと関連付けられた複数の感光画素を含む画素アレイを使用して、近接場領域内で回折された光学波面を検出し、それによって、画素データを獲得することであって、色フィルタは、一次色及び１つ以上の二次色を定義した色モザイクを形成する、検出するステップと、
ｃ）当該一次色及び二次色に従って、画素データを対応する一次色チャネル及び二次色チャネルに解析することと、
ｄ）一次色チャネルと関連付けられた回折された光学波面の強度プロファイルの主基底成分及び主変調成分を判定することと、
ｅ）二次チャネルの各々と関連付けられた回折された波面の強度プロファイルの二次基底成分及び二次変調成分を判定することと、
ｆ）当該色チャネルの関連する１つの変調成分から物体距離情報を提供するよう較正された少なくとも１つの色放射伝達関数を使用して、シーンの奥行マップを作成することと、
を含む。
【0032】
いくつかの実装態様では、画素アレイは、格子間隔以上の格子軸に沿った画素ピッチを有し、当該方法は、色彩的に依存した集束光学系を使用して、シーンから生じる光学波面を収束する事前ステップを更に含む。
【0033】
いくつかの実装態様では、各々の色放射伝達関数は、関連する色チャネルの回折された光学波面の強度プロファイルを、当該検出するステップのために使用される画像捕捉デバイスの対応する焦点平面に関連付ける。
【0034】
いくつかの実装態様では、ステップｆ）の奥行マップを作成することは、主変調成分及び関連する色放射伝達関数を使用して、粗い奥行マップを作成することを含む。粗い奥行マップを作成することは、
－一次色チャネルについての相対的な位相情報を、それに関連付けられた主変調成分から獲得することと、
－当該相対的な位相情報と、当該一次色チャネルと関連付けられた色放射伝達関数との比較から、一次色チャネルについての絶対的な位相情報を獲得することと、
を含んでもよい。
－一次色チャネルについての相対的な位相情報を、それに関連付けられた主変調成分から獲得することと、
－当該相対的な位相情報と、当該一次色チャネルと関連付けられた色放射伝達関数との比較から、一次色チャネルについての絶対的な位相情報を獲得することと、
を含んでもよい。
【0035】
いくつかの実装態様では、奥行マップを作成することは、１つ以上の二次変調成分及び関連する色放射伝達関数を使用して、当該粗い奥行マップを補正することを含む。当該粗い奥行マップを補正することは、
－各々の二次色チャネルについての相対的な位相情報を、それに関連付けられた主変調成分から獲得することと、
－当該相対的な位相情報と、関連する二次色チャネルと関連付けられた色放射伝達関数との比較から、各々の二次色チャネルについての絶対的な位相情報を獲得することと、
を含んでもよい。
－各々の二次色チャネルについての相対的な位相情報を、それに関連付けられた主変調成分から獲得することと、
－当該相対的な位相情報と、関連する二次色チャネルと関連付けられた色放射伝達関数との比較から、各々の二次色チャネルについての絶対的な位相情報を獲得することと、
を含んでもよい。
【0036】
いくつかの実装態様では、一次色チャネルは、緑色チャネルであり、二次色チャネルは、赤色チャネル及び青色チャネルであり、当該関連する色放射伝達関数はそれぞれ、緑色放射伝達関数ＧＲＴＦ、赤色放射伝達関数ＲＲＴＦ、及び青色放射伝達関数ＢＲＴＦを定義する。色モザイクは、Ｂａｙｅｒパターンであってもよい。ステップｆ）の奥行マップを作成することは、
ｉ．
－緑色チャネルについての相対的な位相情報を、それに関連付けられた主変調成分から獲得することと、
－当該相対的な位相情報と、緑色放射伝達関数との比較から、緑色チャネルについての絶対的な位相情報を獲得することと、
によって粗い奥行マップを作成することと、
ｉｉ．
－赤色及び青色チャネルについての相対的な位相情報を、それに関連付けられた主変調成分から獲得することと、
－当該相対的な位相情報と、赤色放射伝達関数及び青色放射伝達関数のそれぞれとの、並びに当該緑色放射伝達関数との比較から、赤色チャネル及び青色チャネルについての絶対的な位相情報を獲得することと、
によって、当該粗い奥行マップを補正することと、
を含んでもよい。
ｉ．
－緑色チャネルについての相対的な位相情報を、それに関連付けられた主変調成分から獲得することと、
－当該相対的な位相情報と、緑色放射伝達関数との比較から、緑色チャネルについての絶対的な位相情報を獲得することと、
によって粗い奥行マップを作成することと、
ｉｉ．
－赤色及び青色チャネルについての相対的な位相情報を、それに関連付けられた主変調成分から獲得することと、
－当該相対的な位相情報と、赤色放射伝達関数及び青色放射伝達関数のそれぞれとの、並びに当該緑色放射伝達関数との比較から、赤色チャネル及び青色チャネルについての絶対的な位相情報を獲得することと、
によって、当該粗い奥行マップを補正することと、
を含んでもよい。
【0037】
更なる別の態様に従って、非一時的コンピュータ可読記憶媒体に記憶され、シーンから生じ、格子軸に沿った格子間隔を有する回折格子パターンに従って回折された、回折された光学波面からシーンの三次元画像データを獲得するためのコンピュータ実行可能命令を有する、非一時的コンピュータ可読記憶媒体であって、回折された光学波面は、各々が色フィルタと関連付けられた複数の感光画素を含む画素アレイを使用して近接場領域内で回折されて、それによって、画素データを獲得し、色フィルタは、一次色及び１つ以上の二次色を定義した色モザイクを形成し、コンピュータ実行可能命令は、画素データを受信したプロセッサによって実行されるとき、プロセッサに、
ａ）当該一次色及び二次色に従って、画素データを対応する一次色チャネル及び二次色チャネルに解析することと、
ｂ）一次色チャネルと関連付けられた回折された光学波面の強度プロファイルの主基底成分及び主変調成分を判定することと、
ｃ）二次チャネルの各々と関連付けられた回折された波面の強度プロファイルの二次基底成分及び二次変調成分を判定することと、
ｄ）当該色チャネルの関連する１つの変調成分から物体距離情報を提供するよう較正された少なくとも１つの色放射伝達関数を使用して、シーンの奥行マップを作成することと、
を実行させる、非一時的コンピュータ可読記憶媒体が提供される。
ａ）当該一次色及び二次色に従って、画素データを対応する一次色チャネル及び二次色チャネルに解析することと、
ｂ）一次色チャネルと関連付けられた回折された光学波面の強度プロファイルの主基底成分及び主変調成分を判定することと、
ｃ）二次チャネルの各々と関連付けられた回折された波面の強度プロファイルの二次基底成分及び二次変調成分を判定することと、
ｄ）当該色チャネルの関連する１つの変調成分から物体距離情報を提供するよう較正された少なくとも１つの色放射伝達関数を使用して、シーンの奥行マップを作成することと、
を実行させる、非一時的コンピュータ可読記憶媒体が提供される。
【0038】
いくつかの実装態様では、画素アレイは、格子間隔以上の格子軸に沿った画素ピッチを有し、当該方法は、色彩的に依存した集束光学系を使用して、シーンから生じる光学波面を収束する事前ステップを更に含む。
【0039】
いくつかの実装態様では、各々の色放射伝達関数は、関連する色チャネルの回折された光学波面の強度プロファイルを、当該検出するステップのために使用される画像捕捉デバイスの対応する焦点平面に関連付ける。
【0040】
いくつかの実装態様では、ステップｄ）の奥行マップを作成することは、主変調成分及び関連する色放射伝達関数を使用して、粗い奥行マップを作成することを含む。
【0041】
いくつかの実装態様では、粗い奥行マップを作成することは、
－一次色チャネルについての相対的な位相情報を、それに関連付けられた主変調成分から獲得することと、
－当該相対的な位相情報と、当該一次色チャネルと関連付けられた色放射伝達関数との比較から、一次色チャネルについての絶対的な位相情報を獲得することと、
を含む。
－一次色チャネルについての相対的な位相情報を、それに関連付けられた主変調成分から獲得することと、
－当該相対的な位相情報と、当該一次色チャネルと関連付けられた色放射伝達関数との比較から、一次色チャネルについての絶対的な位相情報を獲得することと、
を含む。
【0042】
いくつかの実装態様では、粗い奥行マップを作成することは、１つ以上の二次変調成分及び関連する色放射伝達関数を使用して、当該粗い奥行マップを補正することを含む。当該粗い奥行マップを補正することは、
－各々の二次色チャネルについての相対的な位相情報を、それに関連付けられた主変調成分から獲得することと、
－当該相対的な位相情報と、関連する二次色チャネルと関連付けられた色放射伝達関数との比較から、各々の二次色チャネルについての絶対的な位相情報を獲得することと、
を含んでもよい。
－各々の二次色チャネルについての相対的な位相情報を、それに関連付けられた主変調成分から獲得することと、
－当該相対的な位相情報と、関連する二次色チャネルと関連付けられた色放射伝達関数との比較から、各々の二次色チャネルについての絶対的な位相情報を獲得することと、
を含んでもよい。
【0043】
いくつかの実装態様では、一次色チャネルは、緑色チャネルであり、二次色チャネルは、赤色チャネル及び青色チャネルであり、当該関連する色放射伝達関数はそれぞれ、緑色放射伝達関数ＧＲＴＦ、赤色放射伝達関数ＲＲＴＦ、及び青色放射伝達関数ＢＲＴＦを定義する。色モザイクは、Ｂａｙｅｒパターンであってもよい。
【0044】
いくつかの実装態様では、ステップｄ）の奥行マップを作成することは、
ｉ．
－緑色チャネルについての相対的な位相情報を、それに関連付けられた主変調成分から獲得することと、
－当該相対的な位相情報と、緑色放射伝達関数との比較から、緑色チャネルについての絶対的な位相情報を獲得することと、
によって、粗い奥行マップを作成することと、
ｉｉ．
－赤色チャネル及び青色チャネルについての相対的な位相情報を、それに関連付けられた主変調成分から獲得することと、
－当該相対的な位相情報と、赤色放射伝達関数及び青色放射伝達関数のそれぞれとの、並びに当該緑色放射伝達関数との比較から、赤色チャネル及び青色チャネルについての絶対的な位相情報を獲得することと、
によって、当該粗い奥行マップを補正することと、
を含む。
ｉ．
－緑色チャネルについての相対的な位相情報を、それに関連付けられた主変調成分から獲得することと、
－当該相対的な位相情報と、緑色放射伝達関数との比較から、緑色チャネルについての絶対的な位相情報を獲得することと、
によって、粗い奥行マップを作成することと、
ｉｉ．
－赤色チャネル及び青色チャネルについての相対的な位相情報を、それに関連付けられた主変調成分から獲得することと、
－当該相対的な位相情報と、赤色放射伝達関数及び青色放射伝達関数のそれぞれとの、並びに当該緑色放射伝達関数との比較から、赤色チャネル及び青色チャネルについての絶対的な位相情報を獲得することと、
によって、当該粗い奥行マップを補正することと、
を含む。
【0045】
態様に従って、奥行取得のための画像処理方法が提供される。方法は、連続したライトフィールドまたは観察可能なシーンから入射する波面の離散化されたサンプリングを表すライトフィールド画像データを処理することを可能にする。ライトフィールド画像データは、回折格子アセンブリによって回折され、任意選択で、画像データ画素のアレイにマッピングされたモザイク色パターンに従って後続でスペクトル的にフィルタリングされた入射波面の空間的分散を表す画像データ画素のアレイを形成する。回折格子アセンブリは、回折格子アセンブリの前方に設けられた集束光学素子によって生じることがある、入射波面の拡散の湾曲及び速度に関連する角度依存回折パターンを有する回折された波面を生成するために使用される。色の用途では、回折された波面は更に、下層の色フィルタアレイによって２つ以上の離散スペクトル成分にスペクトル的にフィルタリングされてもよい。このスペクトル的にフィルタリングされた、回折された波面の強度は、典型的にはデータ画素の行及び列の画像フレームに配列された、ライトフィールド画像データを提供するよう下層の画素によって最終的に測定される。このライトフィールド画像データは概して、画素レベルにおいてサンプリングされた、元の波面に関する強度、スペクトル、及び角度情報の集合である。本画像処理方法は、奥行マップを取得し、観察されたシーンのライトフィールド画像を再構築するよう、このライトフィールド画像データを処理することができる。
【0046】
いくつかの実装態様では、画像処理方法は、以下のステップのうちの少なくともいくつかを含むことができる。
－モザイク色パターンに従って、画像データ画素を複数の個々のスペクトルまたは色チャネルに分割すること。色チャネルは、少なくとも１つの主色チャネル及び少なくとも１つの二次色チャネルを含むことができ、各々の色チャネルは、画像データ画素の一部を包含する。主色チャネルは、二次色チャネルとは異なり、全サイクルにわたって回折された波面の異なる空間的部分（すなわち、位相成分）をサンプリングする画素を含む。例として、１つのとり得る実装態様では、画像データ画素は、緑色、赤色、及び青色チャネルに分割されてもよく、緑色チャネルは、赤色及び青色チャネル（Ｂａｙｅｒパターン）と比較して、二重にサンプリングされ、主チャネルとして作用し、赤色及び青色チャネルのいずれかまたは両方は、二次チャネルとして作用する。
－主色チャネルと関連付けられた基底成分及び変調成分を判定すること。概して、ライトフィールド画像データは、基底成分及び変調成分を含む変調された関数として表されてもよい。基底成分は、シーンの従来の２Ｄ画像を獲得することができる非位相依存光学波面を表し、変調成分は、回折格子アセンブリによって生成された入射波面への位相依存摂動からもたらされる。
－主チャネルの基底成分及び変調成分から、少なくとも１つの二次チャネルの基底成分及び変調成分を判定すること。
－主基底成分を正規化基底系として使用して、主基底成分及び二次基底成分を使用してシーンのフルカラー２Ｄ画像を再構築すること。
－主変調成分、及び、任意選択で、二次変調成分（複数可）から奥行マップを作成すること。
－モザイク色パターンに従って、画像データ画素を複数の個々のスペクトルまたは色チャネルに分割すること。色チャネルは、少なくとも１つの主色チャネル及び少なくとも１つの二次色チャネルを含むことができ、各々の色チャネルは、画像データ画素の一部を包含する。主色チャネルは、二次色チャネルとは異なり、全サイクルにわたって回折された波面の異なる空間的部分（すなわち、位相成分）をサンプリングする画素を含む。例として、１つのとり得る実装態様では、画像データ画素は、緑色、赤色、及び青色チャネルに分割されてもよく、緑色チャネルは、赤色及び青色チャネル（Ｂａｙｅｒパターン）と比較して、二重にサンプリングされ、主チャネルとして作用し、赤色及び青色チャネルのいずれかまたは両方は、二次チャネルとして作用する。
－主色チャネルと関連付けられた基底成分及び変調成分を判定すること。概して、ライトフィールド画像データは、基底成分及び変調成分を含む変調された関数として表されてもよい。基底成分は、シーンの従来の２Ｄ画像を獲得することができる非位相依存光学波面を表し、変調成分は、回折格子アセンブリによって生成された入射波面への位相依存摂動からもたらされる。
－主チャネルの基底成分及び変調成分から、少なくとも１つの二次チャネルの基底成分及び変調成分を判定すること。
－主基底成分を正規化基底系として使用して、主基底成分及び二次基底成分を使用してシーンのフルカラー２Ｄ画像を再構築すること。
－主変調成分、及び、任意選択で、二次変調成分（複数可）から奥行マップを作成すること。
【0047】
いくつかの実装態様では、変調成分は、奥行マップを生成することができる、入射光学波面に関する角度または位相情報を提供することができる。特に、変調成分に包含される角度位相及び奥行は、画像捕捉デバイスのレンズシステムによって生成された波面の拡散及び傾きの速度を介してリンク付けされてもよい。したがって、いくつかの実装態様では、画像捕捉デバイスの焦点位置を知ることが、絶対的な奥行マッピングに対して必要とされるが、相対的な奥行マッピングに対しては必要とされない。
【0048】
変調成分に包含される波面拡散情報は、変調成分によって提供される相対的な位相情報から絶対的な位相情報を獲得するよう、事前に較正された、センサ特有色彩放射伝達関数（ＣＲＴＦ）と比較されてもよい。いくつかの実装態様では、変調成分によって提供される相対的な位相情報は、ＣＲＴＦを使用して波面拡散にマッピングされてもよく、この波面拡散自体は、画像捕捉デバイスの焦点平面に対する物体位置に対応する。いくつかの実装態様では、粗い奥行マップは、二次変調成分によって粗い奥行マップを補正または強化することができる、主変調成分によって提供されてもよい。
【0049】
いくつかの従来の技術では、奥行マッピングは、ステレオカメラのような、各々の平面内での２つの異なるライトフィールド視点の間の相違を生成することによって達成されてもよい。すなわち、そのような従来の技術は、必然的に奥行を与えないが、２つ以上の平面の間の相違または視差などから、奥行ライトフィールド情報を計算する。対照的に、本技術のいくつかでは、極座標内の物体の波面の角拡散は、極座標内で測定され、それは、ライトフィールドの比較を通じて相違を生成する必要なく、角拡散を奥行に直接マッピングすることができるが、そのようにすることも排除しない。言い換えると、本技術のいくつかは、本質的に奥行情報を捕捉し、次いで、ライトフィールド画像を構築するためにこの奥行情報を使用する。
【0050】
上記説明されたステップの前、間、または後に他の方法及び処理ステップが実行されてもよいことに留意されたい。また、用途に応じて、ステップのうちの１つ以上の順序は異なってもよく、ステップのうちのいくつかは省略されてもよく、繰り返されてもよく、及び／または組み合わされてもよい。
【0051】
別の態様に従って、そこに記憶されたコンピュータプログラムを有する非一時的コンピュータ可読記憶媒体が提供され、コンピュータプログラムは、ライトフィールド画像データを処理し、及び／または特徴付けるように動作可能であり、コンピュータプログラムは、本明細書で開示される方法の様々なステップを実行するよう１つ以上のプロセッサに命令する。
【0052】
本説明の他の特徴及び利点は、添付図面を例としてのみ参照すると仮定して、その特定の実施形態の以下の非限定的な説明を読むとより明白になるであろう。
【図面の簡単な説明】
【0053】
【図1】本技術を使用して処理されることになるライトフィールド画像データを獲得するために使用することができるライトフィールド捕捉デバイスの実施例の概略的な斜視図である。
【図3】本技術を使用して処理されることになるライトフィールド画像データを獲得するために使用することができる、前側照射構成にあるライトフィールド捕捉デバイスの別の実施例の概略的な側面図である。
【図4】本技術を使用して処理されることになるライトフィールド画像データを獲得するために使用することができる、後側照射構成にあるライトフィールド捕捉デバイスの別の実施例の概略的な側面図である。
【図5】本技術を使用して処理されることになるライトフィールド画像データを獲得するために使用することができるライトフィールド捕捉デバイスの別の実施例の概略的な部分的な分解側面図であり、デバイスを通じた光の波面の伝播が概略的に表される。
【図6A】本技術を使用して処理されることになるライトフィールド画像データを獲得するために使用することができるライトフィールド捕捉デバイスの他の実施例の概略的な部分的に透明な上面図であり、ここで、回折格子の格子軸は、画素軸のいずれとも位置合わせされない。
【図6B】本技術を使用して処理されることになるライトフィールド画像データを獲得するために使用することができるライトフィールド捕捉デバイスの他の実施例の概略的な部分的に透明な上面図であり、ここで、回折格子の格子軸は、画素軸のいずれとも位置合わせされない。
【図7】本技術を使用して処理されることになるライトフィールド画像データを獲得するために使用することができるライトフィールド捕捉デバイスの別の実施例の概略的な斜視図であり、回折格子アセンブリが格子縞パターンを定義するよう行及び列の両方に交互に配列された直交して方位付けられた回折格子の２つの組を含む。
【図8】本技術を使用して処理されることになるライトフィールド画像データを獲得するために使用することができるライトフィールド捕捉デバイスの別の実施例の概略的な側面図である。ライトフィールド捕捉デバイスは、回折格子アセンブリの前方に配置され、回折格子アセンブリに到達する前にシーンから生じる光学波面を空間的－スペクトル的に拡散する集束光学系を含む。
【図9】とり得る実施形態に従った、画像処理方法のフローチャートである。
【図10】１つの変形に従った色放射伝達関数を構築するデータの取得を例示する図である。
【図12】Ａ及びＢは、色放射伝達関数の例示的な表現である。
【図13】測定する光の均一な強度を知ることにより二次色彩放射伝達関数を獲得し、角度または距離に応じて二次色チャネル変調を獲得する技術を例示する。
【図14】正規化された、シーン独立の値を取得して、二次色彩放射伝達関数をナビゲートするために一次放射色彩伝達関数を使用する技術を例示する。
【発明を実施するための形態】
【0054】
本説明では、過度に図面を阻害しないよう、図面における同様の特徴に対して同様の参照符号が与えられており、いくつかの要素は、それらが先の図において既に特定されている場合にいくつかの図において示されないことがある。図面の要素は、本実施形態の要素及び構造を明確に例示する上で強調されるので、必ずしも縮尺通りに表されないことが理解されるべきである。
【0055】
本説明では、他に述べられない限り、用語「接続された（ｃｏｎｎｅｃｔｅｄ）」及び「結合された（ｃｏｕｐｌｅｄ）」と共に、その変形及び派生は、２つ以上の要素の間の直接または間接的のいずれかでのいずれかの接続または結合を指す。要素の間の接続または結合は、機械的、光学的、電気的、動作的、またはそれらの組み合わせであってもよい。また、他に示されない限り、１つの要素の別の要素に対する位置または方位を示す位置的な記述及び他の同様の用語は、説明を容易にかつ簡潔にするために本明細書で使用され、図面のコンテキストにおいて解釈されるべきであり、限定するものと考えられるべきでないことを認識されたい。そのような空間的に相対的な用語は、図面において例示される方位に加え、本実施形態の使用または動作における異なる方位を網羅することを意図することを理解されたい。特に、本説明では、２つの要素の間の相対的な空間的関係を指定する際の用語「その上（ｏｖｅｒ）」及び「その下（ｕｎｄｅｒ）」は、２つの要素が相互に直接接触し、または１つ以上の介在要素によって相互に分離される、のいずれかであってもよいことを表すことに留意されたい。本説明では、用語「ａ」、「ａｎ」、及び「ｏｎｅ」は、「少なくとも１つの（ａｔ ｌｅａｓｔ ｏｎｅ）」を意味するために定義され、すなわち、それらの用語は、他に特に指定されない限り、複数の項目を排除しない。
【0056】
本説明は概して、３Ｄ撮像用途において、シーンの三次元画像データを捕捉し、光学波面センサによって獲得されたライトフィールド画像データを処理する技術に関する。特に、本説明は、シーンから発散する光学波面に関するライトフィールド情報から観察可能なシーンの３Ｄもしくは奥行画像、または組み合わされた２Ｄ画像及び奥行マップを生成または構築する技術を開示する。
【0057】
本説明では、用語「提供する（ｐｒｏｖｉｄｉｎｇ）」は、広義に使用され、それに限定されないが、使用のために利用可能とし、取得し、獲得し、アクセスし、供給し、受信し、割り当て、及び取り出すことを指す。例として、いくつかの実装態様では、処理されることになるライトフィールド画像データを提供することは、ライトフィールド捕捉デバイスを使用してライトフィールド画像データを直接取得し、よって、取得されたライトフィールド画像データを利用可能にする動作を伴うことができる。しかしながら、他の実装態様では、ライトフィールド画像データを提供することは、例えば、データベースまたは記憶媒体から、前に取得されたライトフィールド画像データを取り出しまたは受信する動作を伴うことができる。
【0058】
いくつかの実装態様では、本技術は、適切な色彩符号化機構と対になった１つ以上の回折光学素子と共に、３Ｄ撮像におけるその使用により回折の色彩依存の特定の操作及び比較を伴う。いくつかの実装態様では、３Ｄ画像に処理されることになるライトフィールド画像データは、モザイク色パターンに従って、回折格子及びスペクトルフィルタリングによる回折の後のライトフィールドの空間的－スペクトル分散を表す画像データ画素のアレイを形成する。
【0059】
いくつかの実装態様では、本明細書で開示される技術は、光学波面の回折の色彩依存、入射の角度、位相、及び偏光の直接の測定を可能にする、生成された干渉または回折格子パターンの特定の空間的－スペクトルサブサンプリングを通じた、観察可能なシーンから生じる光学波面の強度だけでなく、波長にも感度が高い。したがって、ライトフィールド撮像デバイス、例えば、奥行カメラは、典型的には光強度を記録するにすぎない従来のカメラよりも多くの情報を取得することができる。ライトフィールド捕捉デバイスによって捕捉された未加工画像データは、それに限定されないが、３Ｄ奥行マップ抽出、３Ｄ表面再構築、及び画像再集束などを含む複数の機能を提供する様々な方式において使用または処理されてもよい。用途に応じて、観察可能なシーンのライトフィールド画像データは、１つ以上の静止画像またはビデオストリームとして取得されてもよい。すなわち、各々の個々の捕捉されたフレームは概して、個々のライトフィールドシーンを生成するための全ての関連する情報を包含する。それらのフレーム、及びそれらの後続のライトフィールドシーンは、ビデオストリームのように作用するように組み合わされ、連続して再生されてもよい。
【0060】
例えば、ユーザがシーンの捕捉された画像の焦点、視点、及び／または視野の奥行を変更することを可能にする、強化された奥行センシング及び他の３Ｄ撮像能力を必要とし、またはそれらから利点を得ることができる撮像用途において本技術を使用することができる。非限定的な典型的な観察可能なシーンの例は、人が携帯電話でそれらの前向きカメラを使用して自撮りしていること、車が横断している歩行者との交差点及び停止標識に近づいていること、車が詰まった駐車スポットに駐車しようとしていること、並びに個人の手が仮想または拡張現実シーンと相互作用するようジェスチャすること、などを含む。
【0061】
本技術は、限定することなく、プレノプティック記述を使用したライトフィールド撮像用途、回折の色彩依存の比較分析を通じた測距用途、及び単一センサの単一画像奥行取得用途を含む、様々なタイプの３Ｄ撮像システム及び方法において適用または実装されてもよい。本技術の特定の実装態様の非包括的な有利性及び利点は、それらの関数を実行より少ない電力を採用する受動的センシング様式との互換性、減少したフットプリントを有する単一センサアーキテクチャとの互換性、２Ｄ性能を保ちつつ奥行マッピング関数を可能にすること、既存の画像センサハードウェア及び製造工程への単純且つ低コストの統合、従来のＣＭＯＳ及びＣＣＤ画像センサとの互換性、並びにデュアルカメラまたは奥行検出のための能動的照明システムを備えたカメラなどの複数の構成要素に対する必要性を除去することを含むことができる。
【0062】
本説明では、用語「光（ｌｉｇｈｔ）」及び「光学（ｏｐｔｉｃａｌ）」は、電磁気スペクトルのいずれかの適切な領域における放射を指すために使用される。特に、用語「光」及び「光学」は、可視光に限定されないが、限定することなく、テラヘルツ（ＴＨｚ）、赤外線（ＩＲ）、及び紫外線（ＵＶ）スペクトル帯域を含む不可視領域の電磁気スペクトルも含むことができる。いくつかの実装態様では、用語「光」及び「光学」は、遠紫外線における約１７５ナノメートル（ｎｍ）からテラヘルツの範囲にある約３００マイクロメートル（μｍ）まで、例えば、可視スペクトルの青端における約４００ナノメートルから電気通信波長における約１５５０ナノメートルまで、または典型的な赤－緑－青（ＲＧＢ）色フィルタのスペクトル範囲に一致する約４００ナノメートル～約６５０ナノメートルの範囲にある波長を有する電磁気放射を網羅することができる。しかしながら、当業者は、それらの波長範囲が例示的な目的のために提供され、本技術がそれらの範囲を超えて動作してもよいことを理解するであろう。
【0063】
本説明では、用語「色（ｃｏｌｏｒ）」及び「色彩（ｃｈｒｏｍａｔｉｃ）」、並びにその変形及び派生は、可視電磁気放射（赤、緑、及び青）の人間の感知のそれらの通常のコンテキストにおいて使用されるだけでなく、より広義に、電磁気スペクトルのいずれかの適切な領域上でのスペクトル特性（例えば、回折、透過、反射、分光、吸収）を記述するためにも使用される。このコンテキストでは、他に指定されない限り、用語「色」及び「色彩」、並びにそれらの派生は、用語「スペクトル（ｓｐｅｃｔｒａｌ）」及びその派生と交換可能に使用されてもよい。
【0064】
本技術は、様々なタイプのライトフィールド捕捉デバイスにより捕捉された未加工ライトフィールド画像データを処理するために使用されてもよい。そのようなデバイスの非限定的な実施例は、以下で説明され、図１～図１１において例示される。本明細書で説明される画像処理技術を使用して処理することができるライトフィールド画像データを取得することが可能なライトフィールド捕捉デバイスの他の非限定的な実施例は、それらの全体を参照することによってその内容が本明細書に組み込まれる、共同出願された国際特許出願第ＰＣＴ／ＣＡ２０１７／０５０６８６号において開示される。
【0065】
発明の別の態様に従って、コンピュータによって実行されるとき、本明細書で開示される画像処理方法の様々なステップを実行することができる、コンピュータ実行可能命令を記憶したコンピュータ可読メモリが提供される。
【0066】
本明細書で使用されるように、用語「コンピュータ可読メモリ（ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｍｏｒｙ）」は、本明細書で開示される画像処理方法の様々なステップの実施のために実行可能命令を記憶及び通信することができる非一時的且つ有形コンピュータ製品を指すことが意図される。コンピュータ可読メモリは、例えば、ランダムアクセスメモリ（ＲＡＭ）もしくは動的ＲＡＭなどの一時的記憶ユニット、ハードディスクなどの永続的記憶装置、ＣＤもしくはＤＶＤ（リライタブルもしくはライトワンス／リードオンリ）などの光学式記憶装置、フラッシュメモリ、及び／または他の非一時的メモリ技術を含む、いずれかのコンピュータデータ記憶装置またはそのような装置のアセンブリであってもよい。当業者によって理解することができるように、複数のそのような記憶装置が設けられてもよい。コンピュータ可読メモリは、コンピュータと関連付けられた様々な機能と関連してコンピュータ可読メモリに記憶された命令を実行するように構成されたコンピュータと関連付けられてもよく、結合されてもよく、または含まれてもよい。
【0067】
本明細書で使用されるように、用語「コンピュータ（ｃｏｍｐｕｔｅｒ）」は、本明細書で開示される画像処理方法の様々なステップを実行するために必要とされる命令を少なくとも部分的に制御及び実行することができる、電子回路を含むいずれかのコンピューティングユニットもしくはコンピューティングデバイス、またはプロセシングユニットもしくはプロセシングデバイスを広義に差す。コンピュータは、プロセシングユニットとして集合的に動作するように構成された、汎用コンピュータ、中央処理装置（ＣＰＵ）、マイクロプロセッサ、マイクロコントローラ、プロセシングコア、もしくは他の処理リソース、またはそのようなコンピュータもしくは処理リソースのいずれかの組み合わせによって具体化されてもよい。例えば、いくつかの実装態様では、本明細書で説明される画像処理方法を実施するプロセシングユニットは、システムオンチップ（ＳｏＣ）上で稼働する画像信号プロセッサ（ＩＳＰ）もしくはデジタルシグナルプロセッサ（ＤＳＰ）、グラフィックプロセシングユニット（ＧＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはそれらの組み合わせであってもよい。
【0068】
いくつかの実装態様では、本明細書で開示される処理方法のステップの全ては、単一のプロセッサによって達成されてもよく、他の実装態様では、そのような方法のステップのうちの１つ以上は、異なるプロセッサ上でまたは異なる物理位置において実行されてもよいことが容易に理解されたい。更に、いくつかの実装態様では、画像データの処理は、ライトフィールドの取得を実行するのと同一のデバイス、例えば、電話またはタブレットによって実行されてもよく、他の実装態様では、ライトフィールド画像データは、異なる位置またはデバイスに伝送されてもよく、別個に処理されてもよい。
【0069】
いくつかの実装態様では、観察可能なシーンから入射する連続光学波面の離散化サンプリングを表すライトフィールド画像データに対して処理し、またはそうでなければ動作する方法が提供される。ライトフィールド画像データは、回折格子アセンブリによる回折、任意選択で、画像データ画素のアレイにマッピングされたモザイク色パターンに従った後続のスペクトルフィルタリングの後の光学波面の空間的分散を表す画像データ画素のアレイとして提供されてもよい。
【0070】
図１及び図２を参照して、いくつかの実施形態に従った、シーンの三次元データを捕捉する方法のコンテキストにおいて使用されてもよい、観察可能なシーン２２に関する未加工ライトフィールドまたは奥行画像データを捕捉するライトフィールド捕捉デバイス２０の実施例の概略的な表現が提供される。本説明では、用語「ライトフィールド捕捉デバイス（ｌｉｇｈｔ ｆｉｅｌｄ ｃａｐｔｕｒｅ ｄｅｖｉｃｅ）」は、シーンから発散するライトフィールドまたは波面を表し、画像平面における光強度に関する情報だけでなく、例えば、そこから光線がデバイスに入る方向及びライトフィールドのスペクトルなどの他のライトフィールドパラメータに関する情報をも包含する、未加工画像データを捕捉することが可能ないずれかの画像捕捉デバイスを広義に差す。
【0071】
ライトフィールド捕捉デバイス２０は、シーン２２から生じる光学波面２６を受信するように構成された回折格子アセンブリまたは構造２４を含む。回折格子アセンブリ２４は、各々が格子軸３０、及び格子軸３０に沿った格子間隔３４を有する回折格子パターンまたは屈折率変調パターン３２を有する、少なくとも１つの回折格子２８を含むことができる。図１及び図２では、回折格子アセンブリ２４は、単一の回折格子２８を含むが、以下で説明されるように、他のデバイスでは、１つよりも多い回折格子が設けられてもよい。回折格子２８は、入来する光学波面２６を回折し、それによって、回折された光学波面３６を生成するように構成される。
【0072】
なおも図１及び図２を参照して、ライトフィールド捕捉デバイス２０はまた、回折格子アセンブリ２４の下に配置され、回折された光学波面３６をシーン２２に関するライトフィールド画像データとして検出するように構成された複数の感光画素４０を含む画素アレイ３８を含む。ライトフィールド捕捉デバイス２０はまた、画素アレイ３８の上に配置された色フィルタアレイ４２を含むことができる。色フィルタアレイ４２は、各々が感光画素の１つと関連付けられた複数の色フィルタ４４を含む。色フィルタは、モザイク色パターンに配列され、各々の色フィルタは、色フィルタアレイ４２内でそれぞれの位置において色情報を捕捉するよう波長によって入射光をフィルタリングする。色フィルタアレイ４２は、複数の感光画素４０による回折された波面３６の検出の前に、モザイク色パターンに従って回折された波面３６を空間的及びスペクトル的にフィルタリングするように構成される。画素アレイによるその検出の前に回折格子アセンブリによって生成された回折された波面の直接空間的－色彩的サブサンプリングを実行するために色フィルタアレイを設けることによって、ライトフィールド捕捉デバイスは、以下で更に説明されるように、そのスペクトルコンテンツだけでなく、光の入射波面の角度及び強度にも感度が高くなることがある。
【0073】
用途または使用に応じて、ライトフィールド捕捉デバイスは、様々な画像センサアーキテクチャ及び画素アレイ構成を使用して実装されてもよい。例えば、ライトフィールド捕捉デバイスは、画素アレイ及び色フィルタアレイを含む既に存在する画像センサの最上部に回折格子アセンブリを追加または結合することによって単純に実装されてもよい。例えば、既存の画像センサは、従来の２Ｄ ＣＭＯＳまたはＣＣＤ撮像装置であってもよい。しかしながら、他の実装態様では、ライトフィールド捕捉デバイスは、その構成要素（例えば、回折格子アセンブリ、画素アレイ、色フィルタアレイ）の全てまたはほとんどを組み込んだ別個の、専用の、及び／またはカスタム設計されたデバイスとして実装されてもよく、一体的にパッケージ化されてもよい。
【0074】
例えば、図３及び図４を参照して、いくつかの実装態様では、ライトフィールド捕捉デバイス２０は、前側照射構成（図３）では、回折格子アセンブリと画素アレイとの間で、または後側照射構成（図４）では、画素アレイ３８の下に、のいずれかに配置された画素アレイ回路８６を含むことができる。特に、回折格子アセンブリ２４は、前側照射アーキテクチャ（図３）のケースでは重なったシリコン層に直接エッチング処理されてもよく、または後側照射アーキテクチャ（図４）のケースではマイクロレンズアレイ６４及び色フィルタアレイ４２の上に直接置かれてもよい。マイクロレンズアレイ６４は、画素アレイ３８の上に配置され、複数のマイクロレンズ６６を含む。各々のマイクロレンズ６６は、感光画素４０の対応する１つに光学的に結合され、その対応する感光画素４０上のそれに入射する回折された波面３６の空間的部分に集束するように構成される。
【0075】
前側照射技術では、画素アレイ回路８６は、色フィルタ４４をそれらの対応する感光画素４０に接続する金属配線のアレイ（例えば、複数の金属相互接続層を組むシリコン層）を含む。一方で、後側照射技術は、回折格子アセンブリ２４によって光学波形２６の回折により生じた回折された波面３６を直接サンプリングする機会を提供する。光が画素アレイ３８に到達する前に画素アレイ回路８６の金属配線のアレイを通過する必要がなく、それは、そうでなければ光の損失をもたらすので、周期性が増加してより活動的な回折格子設計を実装することができる。また、図２に示されるように、より短い光学スタック構成は、回折格子アセンブリ２４が画素アレイ３８の受光面６８に更に近くに近接して位置付けられることを可能にし、それによって、画素バンクの間で望ましくないクロストークを生じさせる、高次回折効果のリスクを減少させることができる。同様に、減少した画素サイズは、既存の撮像ウェルによる回折格子の直接のサブサンプリングを可能にすることができる。
【0076】
前の段落において導入された構成要素と共に、ライトフィールド捕捉デバイスの他のとり得る構成要素の構造、構成、及び動作に関する更なる詳細が以下で説明される。
【0077】
図１及び図２に戻り、回折格子２８は、色フィルタアレイ４２にわたって延在する格子基板４６を含む。格子基板４６は、周期的な屈折率変調パターン３２が形成された上面４８、及び庭面５０を有する。格子基板４６は、回折された波面３６がそれを通じて透過することを許容するスペクトル動作範囲において透明または十分に透明な材料から作成される。そのような材料の非限定的な実施例は、酸化シリコン（ＳｉＯｘ）、ポリマ、コロイド粒子、ＳＵ－８フォトレジスト、及びガラスを含む。例えば、いくつかの実装態様では、回折格子２８は、約４００ナノメートルから約１５５０ナノメートルまでの範囲にある波長帯において光学波面２６を回折するように構成されてもよい。
【0078】
回折は、電磁気またはその他であるかに関わらず、波面が物理的物体または屈折率摂動に直面するときに発生する。波面は、物体の境界の周りで湾曲する傾向がある。周期的またはその他であるかに関わらず、波面が複数の物体に直面する場合、対応するウェーブレットは、Ｙｏｕｎｇの重スリット実験によって証明されたように、初期の直面から或る程度の距離を離れて干渉することがある。この干渉は、元の直面からの距離に応じて、「回折格子パターン」または「回折パターン」または「干渉パターン」と称される、独特なパターンを生じさせ、それは、波面の入射角及びスペクトル成分、並びに直面された物体の全体的なサイズ、形状、及び相対的な空間関係の影響を受けやすい。この干渉は、Ｈｕｙｇｅｎｓ－Ｆｒｅｓｎｅｌの原理によって説明されるように、各々の対応するウェーブレットの発達する相対的な前面を通じて説明することができる。
【0079】
本説明では、用語「回折格子（ｄｉｆｆｒａｃｔｉｏｎ ｇｒａｔｉｎｇ）」、または単純に「格子（ｇｒａｔｉｎｇ）」は概して、それに入射する光学波面の振幅及び／または位相を空間的に変調する周期的に変調された光学特性（例えば、屈折率変調パターン）を有する周期的構造を指す。回折格子は、透過回折マスク（ＴＤＭ）とも称されてもよい。回折格子は、その空間間隔、格子間隔が光の波長とほぼ等しくまたは僅かに長い（例えば、最大で数倍長い）、回折素子の周期的配列（例えば、交互に尾根及び溝）を含むことができる。回折格子に入射する範囲の波長を包含する光学波面は、回折すると、その振幅及び位相が修正され、結果として、空間－時間依存の回折された波面が生成される。概して、回折格子は、入力光学波面の各々の波長が異なる方向に出力されるようにスペクトル的に分散的である。しかしながら、動作スペクトル範囲を超える相当な無彩色反応を示す回折格子が存在し、いくつかの実装態様において使用されてもよい。例えば、いくつかの実装態様では、回折格子は、対象のスペクトル範囲において無彩色であってもよく、対象のスペクトル範囲の中心波長に対して設計されてもよい。特に、Ｂａｙｅｒパターン化色フィルタアレイのケースでは、回折格子を、緑色チャネル、すなわち、約５３２ナノメートルの中心波長の周りで最適化することができる。回折格子が無彩色であるとき、それは、回折された波面の回折パターンの色彩サブサンプリングを提供する色フィルタアレイのモザイク色パターンであることに留意されたい。
【0080】
回折格子を形成する回折素子が透過または反射するかどうかに応じて、回折格子は、「透過格子」または「反射格子」と称される。本明細書で説明される回折格子は、透過格子であるが、反射格子の使用も先験的（ａ ｐｒｉｏｒｉ）に排除されない。回折格子はまた、回折素子の性質に応じて、「振幅格子」または「位相格子」に分類されてもよい。振幅格子では、格子によって生じる初期波面への摂動は、直接振幅変調の結果であり、位相格子では、それらの摂動は、格子材料の屈折率の周期的変動によって生じる光の相対的なグループ速度の特定の変調の結果である。本明細書で説明される回折格子は、位相格子であるが、他の実装態様では、振幅格子も使用されてもよい。
【0081】
図１及び図２では、回折格子２８は、位相格子、特に、二値位相格子であり、それに対して屈折率変調パターン３２は、格子間隔３４において周期的に間隔を空けられ、また格子間隔３４において周期的に間隔を空けられた一連の溝５４と交互配置された一連の尾根５２を含む。よって、屈折率変調パターン３２の空間プロファイルは、２レベル階段関数または矩形波関数を示し、それに対し、格子間隔３４は、格子軸３０に沿った、１つの尾根５２及び１つの隣接した溝５４の幅の合計に対応する。格子間隔３４は、約１マイクロメートルから約２０マイクロメートルまでの範囲にあってもよいが、他の値も可能である。図１及び図２では、溝５４は空であるが（すなわち、それらは空気により充填される）、それらは代わりに、尾根材料の屈折率とは異なる屈折率を有する材料により充填されてもよい。また、用途に応じて、回折格子２８は、格子間隔３４に対する尾根幅の比率として定義されるデューティサイクルと実質的に等しく、または５０％異なるデューティサイクルを有してもよい。回折格子２８の別のパラメータは、ステップ高５６、すなわち、尾根５２と溝５４との間の段階における差である。例えば、ステップ高５６は、約０．２マイクロメートルから約１マイクロメートルまでの範囲にあってもよい。いくつかのシナリオでは、ステップ高５６は、回折格子２８が隣接した尾根５２と溝５４との間で予め定められた光学経路差を生じさせるように選択されてもよい。例えば、ステップ高５６は、光学波面の入射の所与の波長及び角度において（例えば、その中心波長）、尾根と溝との間の半波長光学経路差をもたらすよう制御されてもよい。もちろん、他の用途では、他の光学経路差値が使用されてもよい。
【0082】
図１及び図２における回折格子２８は線形であり、または矩形波屈折率変調パターン３２を形成する並列した尾根５２及び溝５４の交互の組から構成された一次元の、二値位相格子であるが、他のライトフィールド捕捉デバイスは、格子間隔、デューティサイクル、及びステップ高の間で少なくとも１つが可変である回折格子、格子軸に垂直な非直線の特徴を有する回折格子、より精巧な屈折率プロファイルを有する回折格子、及び２Ｄ回折格子など、異なるタイプの回折格子を採用してもよいことに留意されたい。
【0083】
なおも図１及び図２を参照して、画素アレイ３８は、それ自体が回折格子アセンブリ２４の下に配置された、色フィルタアレイ４２の下に配置された複数の感光画素４０を含む。本技術では、感光画素４０によってライトフィールド画像データとして検出された電磁気放射は、画素アレイ３８に到達する前に回折されており、空間的－色彩的にフィルタリングされている、シーン２２から入射する光学波面２６に対応する。画素アレイ３８は、ＣＭＯＳまたはＣＣＤ画像センサによって具体化されてもよいが、他のタイプの光検出器アレイが代わりに使用されてもよい。上記言及されたように、画素アレイ３８は、スペクトルのいずれかの適切な領域内で電磁気放射を検出するように構成されてもよい。画素アレイ３８の各々の感光画素４０は、それに入射する回折された波面３６の空間的部分を蓄積電荷に変換することができ、蓄積電荷の量は、画素４０によって集光及び記録された光の量に比例する。各々の感光画素４０は、感光面、及び画素レベルにおいて信号を処理し、読み取り機などの他の電子機器と通信するための関連する画素回路を含むことができる。
【0084】
図１及び図２を参照して、感光画素４０は、２つの直交する画素軸５８、６０によって定義された行及び列の矩形グリッドに配列されてもよい。行及び列の数は、画素アレイ３８の解像度を定義する。例えば、いくつかの実装態様では、画素アレイ３８は、少なくとも１６画素の解像度を有することができるが、他の用途では、最大で４０メガ画素以上を含む広範な他の解像度値が使用されてもよい。感光画素４０が図１及び図２では２Ｄアレイに編成されるが、他の用途では、それらは代わりに線形アレイとして構成されてもよいことに留意されたい。
【0085】
画素アレイ３８はまた、画素ピッチ６２によって特徴付けられてもよい。本説明では、用語「画素ピッチ（ｐｉｘｅｌ ｐｉｔｃｈ）」は概して、個々の画素４０の間の間隔を指し、典型的には、隣接した画素４０の間の中心から中心の距離として定義される。画素アレイ３８の物理的配列に応じて、２つの直交する画素軸５８、６０に沿った画素ピッチ６２は同一であってもよく、または同一でなくてもよい。画素ピッチはまた、任意の軸に沿って、例えば、２つの直交する画素軸５８、６０に対して４５度に方位付けられた対角軸に沿って定義されてもよいことに留意されたい。また、本技術では、関連する画素ピッチ６２は、図１及び図２に表されるように、重なった回折格子２８の格子軸３０に沿った１つであることに留意されたい。以下で更に詳細に説明されるように、いくつかの実施形態では、回折格子２８の格子間隔３４は、格子軸３０に沿った画素アレイ３８の画素ピッチ６２よりも大きくなるように選択され、言い換えれば、格子軸３０に沿った画素ピッチ６２は、格子間隔３４よりも小さい。例えば、いくつかの実装態様では、格子軸３０に沿った画素ピッチ６２は、１マイクロメートル以下から１０マイクロメートルまでの範囲にあってもよいが、他の実装態様では、異なる画素ピッチ値が使用されてもよい。
【0086】
本説明では、用語「画素データ（ｐｉｘｅｌ ｄａｔａ）」は、各々の個々の画素によって捕捉された画像情報を指し、統合間隔にわたって各々の個々の画素によって吸収された光学エネルギーの総量を示す強度データを含むことができる。全ての画素４０からの画素データを組み合わせることは、シーン２２の周りの「未加工」ライトフィールド画像データを生み出す。本技術では、シーン２２から入射する光学波面２６が検出の前に回折され、空間的及びスペクトル的にフィルタリングされることを理由に、ライトフィールド画像データは、入射波面２６の強度に関する情報だけでなく、入射のその角度、位相、及びスペクトル成分などの他のライトフィールドパラメータに関する情報をも提供する。特に、本技術は、以下で更に説明されるように、画素アレイ３８によって捕捉された強度に基づく回折パターンからの奥行または他のライトフィールド情報の回復または抽出を可能にすることができることを理解されたい。
【0087】
図１及び図２を参照して、色フィルタアレイ４２は、画素アレイ３８により空間的に記録され、その結果、各々の色フィルタ４４は、感光画素４０の対応する１つに光学的に結合される。すなわち、各々の色フィルタ４４は、単一の感光画素４０を覆い、その結果、色フィルタ４４と感光画素４０との間の１対１の関係またはマッピングが存在する。しかしながら、他の実装態様では、各々の色フィルタは、複数の感光画素の少なくとも２つの対応する１つに光学的に結合されてもよい。しかしながら、両方の構成では、色フィルタアレイ４２及び画素アレイ３８は共に、以下で詳述及び説明されるように、重なった回折格子アセンブリ２４によって生じる回折された波面の直接空間的－色彩的サンプリングを可能にする。
【0088】
図１及び図２では、色フィルタ４４は、モザイク色パターンまたは構成に従って物理的に編成される。色フィルタは、一次色と関連付けられた異なる隣接した画素が回折された光学波面の全サイクルにわたって回折された光学波面の異なる空間的部分を検出するように配列された一次色及び１つ以上の二次色を定義した色モザイクを形成する。いくつかの実装態様では、各々の色フィルタ４４は、赤色通過フィルタ、緑色通過フィルタ、及び青色通過フィルタのうちの１つである。例えば、図１及び図２では、色フィルタアレイ４２のモザイク色パターンは、Ｂａｙｅｒパターンであり、Ｂａｙｅｒパターンでは、交互の赤色（Ｒ）及び緑色（Ｇ）フィルタの行と格子縞パターンに配列された色フィルタは、交互の緑色（Ｇ）及び青色（Ｂ）フィルタの行と交互配置される。Ｂａｙｅｒパターンは、赤色または青色フィルタの２倍多くの緑色フィルタを包含し、その結果、モザイク色パターンの緑色成分は、一次的な主色または「密にサンプリングされた」成分と称されてもよく、赤色成分及び青色成分の両方は、二次色または「疎にサンプリングされた」成分と称されてもよい。他の用途では、モザイク色パターンは、より精巧なＢａｙｅｒタイプパターン、例えば、ｎ個の画素単位セルを有するＢａｙｅｒタイプパターンによって具体化されてもよく、ｎは、４より多い整数である。もちろん、本技術は、Ｂａｙｅｒタイプパターンに限定されず、それに限定されないが、ＲＧＢ、ＲＧＢ－ＩＲ、ＲＧＢ－Ｗ、ＣＹＧＭ、ＣＹＹＭ、ＲＧＢＥ、ＲＧＢＷ ＃１、ＲＧＢＷ ＃２、ＲＧＢＷ ＃３、及びモノクロを含むいずれかの適切なモザイク色パターンに適用されてもよい。いくつかの実装態様では、色フィルタアレイ４２は、ハイパースペクトル撮像及びフィルタリング技術、または干渉法フィルタリング技術を含むよう、標準的な可視的なＢａｙｅｒパターンを超えて拡張されてもよいことに留意されたい。そのようなケースでは、回折格子２８の設計（例えば、格子間隔３４）は、増大したスペクトルサンプリング範囲に適合するよう調節されてもよい。
【0089】
ここで図５を参照して、モノクロ撮像用途に対して適切なライトフィールド捕捉デバイス２０の概略的な部分的な分解側面図が示される。ライトフィールド捕捉デバイス２０は、感光画素４０の画素アレイ３８の最上部に配置された回折格子２８、及び関連する色フィルタアレイ４２を含む点で、図１及び図２に示された１つとの類似点を共有する。回折格子２８は、５０％のデューティサイクル並びに尾根５２及び溝５４の交互の組から構成された周期的屈折率変調パターン３２を有する二値位相透過格子である。図５はまた、デバイス２０を通じた光の伝播を概略的に表す。動作中、ライトフィールド捕捉デバイス２０は、観察可能なシーン２２を取り囲む視野を有する。回折格子２８は、その入力側上でシーン２２から入射する光学波面２６（実線）を受け、その出力側上で、回折された光学波面３６（実線）を生成するよう光学波面２６を回折し、回折された光学波面３６は、それによる検出のために画素アレイ３８に向かって色フィルタアレイ４２を通じて伝播する。簡易化のために、図５における入来する光学波面２６は、標準的な入射において回折格子２８上で衝突する平面波の波面に対応する。しかしながら、本技術は、ライトフィールド捕捉デバイスの視野内の任意の角度において回折格子２８に入射する任意の形状の光学波面に対して実装されてもよい。
【0090】
なおも図５を参照して、回折された波面３６は、その外形が回折格子２８の形状寸法、光学波面２６の入射の波長及び角度、並びに画素アレイ３８の受光面６８に対応する観察平面の位置の関数である、回折パターンによって特徴付けられてもよい。観察平面では、回折された波面３６の回折パターンは、画素アレイ３８の受光面６８内の格子軸３０に沿った空間的に変化する強度プロファイル７０によって特徴付けられてもよい。図５では、格子軸３０は、画素軸５８と平行であることに留意されたい。
【0091】
共同出願された国際特許出願第ＰＣＴ／ＣＡ２０１７／０５０６８６号において説明されるように、回折格子２８及び画素アレイ３８は、画素アレイ３８の受光面６８が、回折格子２８の近接場回折領域、または単純に近接場内に位置付けられるように交互に配置される。近接場回折領域では、回折格子を通過する波の回折パターンを計算するためにＦｒｅｓｎｅｌ回折理論を使用することができる。遠視野Ｆｒａｕｎｈｏｆｅｒ回折理論とは異なり、Ｆｒｅｓｎｅｌ回折は、波面の屈曲を説明し、干渉波の相対的な位相の計算を可能にする。近接場内で回折された波面３６を検出するために、本技術は、屈折率変調パターン３２が形成され、回折が発生する回折格子２８の上面４８と、回折された波面３６が検出される下層の画素アレイ３８の受光面６８との間の十分に短い分離距離７２を維持することを伴ってもよい。いくつかの実装態様では、これは、分離距離７２が光学波面２６の中心波長の約１０倍短くなるよう選択することを伴ってもよい。
【0092】
近接場回折領域では、周期的回折格子２８によって生じる回折された波面３６の強度プロファイル７０は概して、回折格子２８の格子間隔３４に実質的に一致する空間間隔７４と共に、回折格子２８の屈折率変調パターン３２に実質的に一致する形状を有する。例えば、図５では、画素アレイ３８の感光画素４０によって検出された回折された波面３６の回折パターンは、二値位相回折格子２８の屈折率変調パターン３２のものと実質的に一致する矩形波、または２段階の強度プロファイル７０を有する。本説明では、用語「一致（ｍａｔｃｈ）」及びその派生は、検出され回折された波面３６の強度プロファイル７０と回折格子２８の周期的な屈折率変調パターン３２との間の「厳密な（ｅｘａｃｔ）」または「完全な（ｐｅｒｆｅｃｔ）」一致だけでなく、「実質的な（ｓｕｂｓｔａｎｔｉａｌ）」、「ほぼ（ａｐｐｒｏｘｉｍａｔｅ）」、または主観的な（ｓｕｂｊｅｃｔｉｖｅ）」一致をも網羅することを理解されるべきである。したがって、用語「一致」は、本明細書では、２つの特徴が同一であり、または相互の何らかの予め定められた許容範囲内にあるかのいずれかである状態を指すことを意図している。周期的な回折格子による近接場回折の別の特徴は、図５における実線の波面と破線との間の比較から分かるように、回折格子２８上の入来する光学波面２６の入射７６の角度が変わると、回折された波面３６の強度プロファイル７０が、格子軸３０に沿って横方向にシフトされるが、実質的に、その間隔７４及び形状を維持することである。
【0093】
図５に例示される実施形態では、色フィルタアレイ４２は、図５が交互の緑色（Ｇ）フィルタ及び青色（Ｂ）フィルタの行を表すＢａｙｅｒパターンを有する。図５はまた、デバイス２０を通じた光の伝播を概略的に表す。動作中、回折格子２８は、上記言及されたように、シーン２２から生じる光学波面２６を受けて回折して、回折された光学波面３６を生成する。色フィルタアレイ４２は、下層の画素アレイ３８によるその検出の前に、回折された光学波面３６を受けて空間的－スペクトル的にフィルタリングする。したがって、ライトフィールド捕捉デバイス２０の動作は、色フィルタアレイ４２及び下層の画素アレイ３８を含むセンサ構造の最上部に配置された周期的な回折格子２８の提供によって有効にされる、直接的に空間的－色彩的にサンプリングされた回折された波面３６に基づいている。
【0094】
下層の画素アレイ３８に光学的に結合されると、回折格子２８は、光位相情報を標準的な２Ｄ画像と畳み込み、その結果、検出された回折された波面３６の回折パターンの強度プロファイル７０は概して、変調成分Ｉｍｏｄ及び基底成分Ｉｂａｓｅを含む変調された関数Ｉ～Ｉｍｏｄ（奥行情報）×Ｉｂａｓｅ（２Ｄ画像）として記述されてもよい。基底成分Ｉｂａｓｅは、その前方に回折格子２８が存在しなかった場合の画素アレイ３８によって検出される非位相依存光学波面を表す。言い換えると、基底成分Ｉｂａｓｅを単独で検出することは、シーン２２の従来の２Ｄ画像が獲得されることを可能にする。一方、基底成分Ｉｂａｓｅと比較して全体的に小さい（例えば、約０．１から約０．３までの範囲にあるＩｂａｓｅに対するＩｍｏｄの比率）変調成分Ｉｍｏｄは、入射光学波面２６の位相の直接の結果であり、その結果、入射角におけるいずれかの境界または僅かな差は、画素アレイ３８にわたって空間的にサンプリングされた周期的な電気的応答としてそれ自体を明示する。入射角度への感度、したがって、角度解像度は、回折格子２８の特定の設計に依存する。
【0095】
色フィルタアレイ４２による空間的－スペクトル的フィルタリングの後の画素アレイ３８によって検出された回折された波面３６の強度プロファイル７０は、赤色フィルタによってフィルタリングされた回折された波面３６の部分、緑色フィルタによってフィルタリングされた回折された波面３６の部分、及び青色フィルタによってフィルタリングされた回折された波面３６の部分の組み合わせまたは重ね合わせであることを理解されたい。そのようにして、標準的なＲＧＢ Ｂａｙｅｒパターンを例として使用して、強度プロファイルＩの変調成分Ｉｍｏｄ及び基底成分Ｉｂａｓｅは、以下のようにそれらのそれぞれの色成分に分割されてもよい。
ＩＲ～Ｉｍｏｄ，Ｒ（奥行情報）×Ｉｂａｓｅ，Ｒ（２Ｄ画像） （３）
ＩＧ～Ｉｍｏｄ，Ｇ（奥行情報）×Ｉｂａｓｅ，Ｇ（２Ｄ画像） （４）
ＩＢ～Ｉｍｏｄ，Ｂ（奥行情報）×Ｉｂａｓｅ，Ｂ（２Ｄ画像） （５）
ＩＲ～Ｉｍｏｄ，Ｒ（奥行情報）×Ｉｂａｓｅ，Ｒ（２Ｄ画像） （３）
ＩＧ～Ｉｍｏｄ，Ｇ（奥行情報）×Ｉｂａｓｅ，Ｇ（２Ｄ画像） （４）
ＩＢ～Ｉｍｏｄ，Ｂ（奥行情報）×Ｉｂａｓｅ，Ｂ（２Ｄ画像） （５）
【0096】
図５では、強度プロファイルＩＧ及びＩＢは、破線及び点線のそれぞれにおいて表される。いくつかの実装態様では、それらの個々の色チャネルは、個々の色チャネルライトフィールドシーンを生成するよう独立して扱われてもよい。それらの個々のシーンは、各々がその自身のそれぞれのファイルを有する個々の色チャネルにおいて画像を伝送することができるので、画像圧縮だけでなく、奥行及びシーン分析のための両方の別のキューを提供するよう比較されてもよい。
【0097】
なおも図５を参照して、上記言及されたように、いくつかの実施形態では、画素アレイ３８は、回折格子２８の格子間隔３４よりも短い格子軸３０に沿った画素ピッチ６２を有する。これは、画素アレイ３８の受光面６８が回折格子２８の近接場内にあるとき、格子軸３０に沿った画素アレイ３８の画素ピッチ６２も、検出された回折された波面３６の格子軸３０に沿った強度プロファイル７０の空間間隔７４よりも短いことを意味する。この条件が満たされるとき、検出された回折された波面３６の強度プロファイル７０の全間隔は、画素アレイ３８の少なくとも２つの隣接した画素バンクによってサンプリングされ、それらの画素バンクの各々は、全サイクルにわたって強度プロファイル７０の異なる空間的部分をサンプリングする。本説明では、用語「画素バンク（ｐｉｘｅｌ ｂａｎｋ）」は、重なった回折格子の格子軸に垂直な線に沿って配列された画素アレイの感光画素のグループを指す。すなわち、２つの隣接した画素バンクは、格子軸に沿った画素ピッチに対応する距離だけ相互に分離される。例えば、図５では、画素アレイ３８の各々の画素バンクは、ページの平面に垂直に延長する。
【0098】
用途に応じて、格子軸３０に沿った画素アレイ３８の画素ピッチ６２に対する回折格子２８の格子間隔３４の比率Ｒは、いくつかの値を取ることができる。いくつかの実装態様では、比率Ｒは、２以上であってもよく（すなわち、Ｒ≧２）、または１よりも大きい正の整数に等しくてもよく（すなわち、Ｒ＝（ｎ＋１）、ｎ＝｛１、２、…｝）、または２の累乗の整数に等しくてもよい（すなわち、Ｒ＝２ｎ、ｎ＝｛１、２、…｝）、などである。いくつかの実装態様では、格子間隔３４が格子軸３０に沿った画素ピッチ６２よりも大きいだけでなく、画素ピッチ６２にあまり近くにならないことが有益となることがあり、または必要とされることがある。例えば、いくつかの実装態様では、格子間隔３４は、隣接した画素バンクの各々の対が、その空間的変調速度がナイキスト速度の近くまたはナイキスト速度において回折格子２８の特性によって要求される、結果として起こる変調された回折された波面３６を十分にサブサンプリングすることを可能にするよう、下層の画素バンクピッチ６２の少なくとも約２倍であることが有利となることがある。このナイキストまたはナイキストの近いサブサンプリングは、標準的な信号処理技術によって測定された信号Ｉから変調成分Ｉｍｏｄを直接除去することを可能にすることができる。除去されると、変調信号Ｉｍｏｄは、基底成分Ｉｂａｓｅとは独立して操作されてもよい。
【0099】
例えば、図５では、格子軸３０に沿った画素ピッチ６２に対する格子間隔３４の比率Ｒは、２に実質的に等しい。そのようなケースでは、隣接した画素バンクは、検出された回折された波面３６の強度プロファイル７０の相補的な空間位相、すなわち、相互に１８０度だけ位相シフトされた強度プロファイル７０の空間的部分をサンプリングすることを理解されたい。これは、｜φｂａｎｋ，ｎ＋１－φｂａｎｋ，ｎ｜＝π、のように数学的に表されてもよく、φｂａｎｋ，ｎ＋１及びφｂａｎｋ，ｎは、画素アレイ３８の（ｎ＋１）番目及びｎ番目の画素バンクによってそれぞれ測定された強度プロファイル７０の空間位相である。そのような構成は、入射波面の前面の相互作用から生じる干渉パターンのサブサンプリングを通じた変調成分Ｉｍｏｄ及び基底成分Ｉｂａｓｅの直接デコンボリューションを可能にすることができる。
Ｉｂａｓｅ＝１／２［Ｉ（ｂａｎｋｎ）＋Ｉ（ｂａｎｋｎ＋１）］ （６）
Ｉｍｏｄ＝１／２［Ｉ（ｂａｎｋｎ）－Ｉ（ｂａｎｋｎ＋１）］ （７）
Ｉｂａｓｅ＝１／２［Ｉ（ｂａｎｋｎ）＋Ｉ（ｂａｎｋｎ＋１）］ （６）
Ｉｍｏｄ＝１／２［Ｉ（ｂａｎｋｎ）－Ｉ（ｂａｎｋｎ＋１）］ （７）
【0100】
式（６）及び（７）におけるＩ（ｂａｎｋｎ）±Ｉ（ｂａｎｋｎ＋１）は概して、関連する画素バンク内の全ての行の画素によって測定された強度を合計することによって獲得されることに留意されたい。
【0101】
なおも図５を参照して、回折格子２８は、５０％のデューティサイクル（すなわち、等しい幅の尾根５２及び溝５４）を有し、各々の感光画素４０は、尾根５２の対応する１つまたは溝５４の対応する１つのいずれかの下に、及びいずれかと垂直に位置合わせされて位置付けられる。しかしながら、他の用途では、他の配列が使用されてもよい。
【0102】
標準的なＲＧＢ Ｂａｙｅｒパターンでは、赤色及び青色フィルタが常に隣接した画素バンクに位置するため、疎にサンプリングされた赤色及び青色成分と関連付けられた、信号ＩＲ及びＩＢは、相互に逆位相にある。一方、緑色フィルタが全ての画素バンクに存在するため、密にサンプリングされた緑色成分と関連付けられた、信号ＩＧは、同相及び不一致の位相の寄与の両方を包含する。
【0103】
図５では、回折格子２８は、下層の画素アレイ３８に対して方位付けられ、その結果、格子軸３０は、２つの直交する画素軸５８、６０の１つと平行である。図６Ａ及び図６Ｂを参照して、他の用途では、格子軸３０は代わりに、直交する画素軸５８、６０に対して斜めであってもよい。そのような構成では、格子軸３０に沿った画素ピッチ６２は、格子間隔よりも短いままであってもよいことに留意されたい。また、上記定義されたものなどの画素バンク、すなわち、重なった回折格子２８の格子軸３０を横断する線に沿って配列された画素のグループも、斜め構成において定義されてもよいことに留意されたい。例えば、図６Ａは、尾根５２の下に位置する第１の画素バンクに属する画素４０１の第１のグループ、及び隣接した溝５４に位置する第２の画素バンクに属する画素４０２の第２のグループを含む。
【0104】
これまでに説明された実施例では、回折格子アセンブリは、単一の回折格子に含まれる。しかしながら、図７を参照して、他のケースでは、回折格子アセンブリ２４は、複数の回折格子２８ａ、２８ｂを含み、回折格子２８ａ、２８ｂは、色フィルタアレイ４２上に配置された二次元格子アレイに配列される。図７では、回折格子アセンブリ２４は、１６個の回折格子を含むが、この数は、他の用途では変わってもよい。例えば、用途に応じて、回折格子アセンブリ２４内の回折格子２８ａ、２８ｂの数は、１から最大で１００万までの範囲にあってもよい（例えば、２０メガ画素の画素アレイ３８は、その最上部で最大で２８０万個の回折格子を有する）。それらの格子軸の方位以外で、図７における回折格子２８は同一であるが、これは、本技術の要件ではないことに留意されたい。
【0105】
図７では、回折格子２８は、回折格子２８の第１の組８０ａ及び回折格子２８の第２の組８０ｂを含み、第１の組８０ａの回折格子２８の格子軸３０ａは、第２の組８０ｂの回折格子２８の格子軸３０ｂに垂直に延長する。図７では、第１の組８０ａ及び第２の組８０ｂの回折格子２８は、行及び列の両方に交互に配列され、格子縞パターンをもたらす。もちろん、他の用途では、直交して方位付けられた格子のいずれかの他の適切な正規または非正規の配列、パターン、またはモザイクが想定されてもよい。
【0106】
いくつかの用途では、ライトフィールド捕捉デバイスは、回折格子の前方に波面調整光学系を含むことができる。波面調整光学系は、回折格子アセンブリに到達する前に、シーンから入射する光学波面を集光し、方向付け、透過し、反射し、屈折し、分光し、回折し、コリメートし、集束し、またはそうでなければ作用するように構成されてもよい。波面調整光学系は、レンズ、ミラー、フィルタ、光ファイバ、並びにいずれかの他の適切な反射、屈折、及び／または回折光学素子などを含むことができる。いくつかの実装態様では、波面調整光学系は、ライトフィールド捕捉デバイスによってサンプリングすることができる方式において入射波面を修正するよう位置付けられ、修正するよう構成された集束光学系を含むことができる。
【0107】
ここで図８を参照して、ライトフィールド捕捉デバイス２０の別のとり得る実施例が例示され、シーンと回折格子アセンブリ２４との間の光学波面２６の光経路に配置された分光光学系８４を含む。分光光学系８４は、入来する光学波面２６を受け、分光するように構成される。分光光学系８４は、電磁気ビームがそれを通過するにつれて波長に応じて空間的拡散の影響を受ける（例えば、色彩収差によって）、いずれかの光学素子または光学素子の組み合わせによって具体化されてもよい。図８では、分光光学系８４は、簡易化のために、集束レンズである。しかしながら、他の実施形態では、分光光学系８４は、回折格子アセンブリ２４に衝突する前に光学波面２６を分光するよう共に作用する（例えば、それらの固有の色彩収差に起因して）より多くの数の光学素子（例えば、集束及び焦点外れ光学系）を含む光学スタックとして設けられてもよいことを理解されたい。
【0108】
例示を目的として、図８では、シーン２２から生じる光学波面２６は、光の複数の波長、例えば、緑色成分（破線）及び青色成分（点線）を包含する波の重ね合わせであることが想定される。分光光学系８４とのそのエネルギー依存相互作用の性質による、光学波面２６の各々の色成分は、僅かに異なる光学経路に従い、回折格子２８によって導入された位相シフトにおける色彩依存につながる。言い換えると、回折格子２８によって生じる角度依存回折を通じてサンプリングされる、光学波面２６の色彩拡散は、光学波面２６に関する粗い奥行情報を提供するために利用されてもよい。そのようなシナリオでは、以下で説明されるように、奥行情報のより微細な詳細は、色フィルタアレイ４２によってサンプリングされるように、それらの光学経路差に起因して相互に位相シフトされた、変調成分Ｉｍｏｄ，Ｒ及びＩｍｏｄ，Ｂの比較分析から獲得されてもよい。すなわち、赤色及び青色光が色彩収差を理由に分光光学系８４によって異なって集束されるため、この差は、奥行取得のより微細な詳細を提供することができる。
【0109】
図９を参照して、シーンからのライトフィールドに対応するライトフィールド画像データを処理する方法２００の実施形態のフローチャートが示される。ライトフィールド画像データは、例えば、ローリングまたはグローバルシャッタのような工程を通じて、上記説明されたライトフィールド捕捉デバイス（例えば、図８における１つ）などのライトフィールド捕捉デバイス２０または別のライトフィールド捕捉デバイスにより獲得されてもよい。
【0110】
図１０のライトフィールド捕捉デバイス２０によって捕捉された画像データは、観察可能なシーン２２から入射する連続したライトフィールドまたは波面２６の離散化サンプリングを表す。この離散化は、様々な光学処理及び相互作用、デバイス２０の有限開口サイズに起因した視野の制限、どの情報に焦点を当てまたは伝送することができるかに関してレンズによって課される制限、画素のサイズに起因したサブサンプリング解像度に関する制限、などを通じて行われてもよい。図７のデバイス２０では、（Ｘ、Ｙ、Ｚ）における完全に連続したライトフィールド２６は、離散化された（Ｘ、Ｙ）平面に投影され、画素アレイ３８の画素４０によって色及び空間的強度に対してサブサンプリングされる。位相成分（Ｚ）も、回折格子アセンブリ２４の提供に起因して測定されてもよい。この位相測定も、全ライトフィールド２６の離散化サブサンプリングであり、この離散化は、回折格子アセンブリ２４の格子設計及び配列によって制御される。図７のデバイス２０は、撮像に本来的に関与する離散化処理を通じて損失した何らかの情報を維持することを目的とする。特に、回折格子アセンブリ２４の位相に基づく性質は、そうでなければ測定不可能であり、期せずに角度依存になる波面の位相上の既知の摂動を生じさせるために使用される。これは、測定されたライトフィールド画像データを記述するために使用することができる追加の変数及び独立した変数を追加する。
【0111】
なおも図７を参照して、画像捕捉デバイス２０に入射する光２６は、入来する光２６を集光及び集束するよう作用する肉眼光学素子（図７には示されず、デバイスが回折格子アセンブリの前方に配置された集束光学系を含む、図８を参照）に最初に直面してもよい。この光学素子は、透過または反射のいずれかのレンズ、ミラー、または光ファイバケーブルであってもよい。この光学素子はまた、赤外線及び紫外線光を除外することによって可視波長に対してスペクトル的に光をフィルタリングしてもよく、またはそれらのスペクトル領域は、別個の肉眼フィルタによって光学スタック内の別のポイントにおいて疎にフィルタリングされてもよい。
【0112】
入射光２６を集束するこの光学素子の能力は、光学素子の集束面からの光の元の距離及び光学素子の集束力に関連する。入射光が集点距離もしくは過焦点距離、または光学無限遠から生じるとき、その波面は概して、非常に少数の画素４０上に効果的に厳密に集束される。不十分に収束され、または非常に強く収束された光は、画素アレイ３８にわたって拡散し続け、複数の画素４０上で拡大することができる湾曲した波面につながる。
【0113】
集束された光は次いで、撮像システムの上に配置された回折格子アセンブリ２４（すなわち、色フィルタアレイ４２及び画素アレイ３８）に直面する。図７では、回折格子アセンブリ２４は、行及び列の両方に交互に配列された（格子縞パターン）直交して方位付けられた回折格子２８ａ、２８ｂの２つ組から成る透過回折構造である。回折格子アセンブリ２４は、集束光学素子の後に形成された波面の屈曲及び拡散の速度に関連する角度的に依存した回折パターンを有する回折された波面３６を生成するために使用される。
【0114】
回折された波面３６は更に、下層の色フィルタアレイ４０によって２つ以上の離散スペクトル成分にスペクトル的にフィルタリングされる。このスペクトル的にフィルタリングされた、回折された波面の強度は、下層の画素４０によって最終的に測定され、画素４０によって捕捉された光の強度を表す電気信号に変換される。電気信号は次いで、典型的には、データ画素の行及び列の画像フレームに配列またはフォーマットされた、「未加工」ライトフィールド画像データにデジタル化されてもよい。このライトフィールド画像データは概して、Ｉ＝角度情報（波長、回折格子アセンブリ位置）＋２Ｄ（波長、画素位置）として要約することができる、画素レベルにおいてサンプリングされた元の波面に関する強度、スペクトル、及び角度情報の集合である。本説明は、観察されたシーン２２のライトフィールド画像を再構築するようこのライトフィールド画像データが処理される、画像処理技術を開示する。用途に応じて、本技術は、捕捉されたライトフィールド画像データから、フル解像度２Ｄ画像、３Ｄポイントクラウド、奥行マップ／画像、及び／または線形的に再構築されたライトフィールド画像を提供することができる。
【0115】
図９に戻り、いくつかの実装態様では、画像処理方法２００は、一次色及び少なくとも１つの二次色に従って、対応する一次色チャネル及び二次色チャネルに画像データを解析するステップ２０２を含むことができる。複数の個々のスペクトルまたは色チャネルへの未加工ライトフィールド画像データの分割または解析は、個々の部分画像を形成する。このステップ２０２は概して、ハードウェア読み出しレベルにおいて行われる。個々の画素が読み出され、色フィルタモザイクが既知である。例えば標準的なＢａｙｅｒパターン化を使用した１２メガ画素カメラについて、６メガ画素の緑色チャネル、３メガ画素の青色チャネル、及び３メガ画素の赤色チャネルが存在する。
【0116】
上記言及されたように、各々の色チャネル内の未加工ライトフィールド画像データは、変調成分Ｉｍｏｄ及び基底成分Ｉｂａｓｅを含む変調された関数Ｉ～Ｉｍｏｄ（奥行情報）×Ｉｂａｓｅ（２Ｄ画像）として表されてもよい。基底成分Ｉｂａｓｅは、それからシーンの従来の２Ｄ画像を獲得することができる非位相依存光学波面を表す。変調成分Ｉｍｏｄは、回折格子アセンブリ２４によって生成された入射波面への位相依存摂動からもたらされる。したがって、標準的なＲＧＢ Ｂａｙｅｒパターンのケースでは、各々の色チャネルの強度プロファイルは、ＩＮ～Ｉｍｏｄ，Ｎ（奥行情報）×Ｉｂａｓｅ，Ｎ（２Ｄ画像）として記述されてもよく、Ｎ＝色またはスペクトルチャネル、例えば、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）であり、式（３）～（５）を参照されたい。上記言及されたように、本技術は、Ｂａｙｅｒタイプパターンに限定されないが、いずれかの適切なモザイク色パターンに適用されてもよい。
【0117】
回折格子アセンブリ２４が回折格子２８ａ、２８ｂの複数の組を含む（例えば、図７にあるように、異なる方位、異なる格子間隔、または他の異なる特性を有する）用途では、図９の方法２００は、それに回折格子２８ａ、２８ｂの複数の組が配列された２Ｄ格子アレイのパターンに従ってスペクトルチャネルを解析または分割するステップを含むことができる。例えば、図７では、解析された赤色、緑色、及び青色チャネルの各々の１つは、回折格子２８ａの第１の組と関連付けられた第１のサブチャネル及び回折格子２８ｂの第２の組と関連付けられた第２のサブチャネルに再度解析される。このステップは、垂直に方位付けられた格子２８ａのデータ画素が水平に方位付けられた格子２８ｂから分離され、独立して扱われることを保証する。これは、垂直及び水平に方位付けられた格子の反応が相互に独立して扱われることを可能にすることができ、それは、処理速度を高めることができる。
【0118】
ステップ２０２のいくつかの実装態様では、それにライトフィールド画像データが解析される色チャネルは、主色チャネル及び１つ以上の二次または補助色チャネルを含む。本説明では、主色チャネルは、全ての画素バンク内に画素を有する色チャネルであり、その結果、隣接した画素バンク内の主色チャネルの画素は、全サイクルにわたって回折された波面３６の強度プロファイルの異なる空間的部分をサンプリングする。上記言及されたように、画素バンクは、本明細書では、重なった回折格子２８ａ、２８ｂの格子軸３０ａ、３０ｂに垂直な線に沿って配列された画素アレイ３８の画素４０のグループを指す。いくつかの実装態様では、全ての画素バンク内に画素を有する１つよりも多い色が存在する場合、２つ以上の主チャネルが存在してもよい。
【0119】
図７のデバイス２０では、緑色画素が全ての画素バンクに存在するので、緑色チャネルは主色チャネルである。これは、ｎ番目の画素バンク内の緑色画素が、（ｎ±１）番目の画素バンク内の緑色画素によってサンプリングされた空間位相に対して１８０度位相シフトされた、回折された波面３６の強度プロファイルの空間位相をサンプリングすることを意味する。結果として、より密にサンプリングされた緑色画素と関連付けられた信号ＩＧは、同相及び不一致の位相の貢献の両方を包含する。言い換えると、回折された波面３６の強度プロファイルの相補位相は、交互の画素バンク内で緑色画素によってサンプリングされる。一方、全ての赤色画素が回折された波面３６の強度プロファイルの同一の第１の空間位相をサンプリングし、全ての青色画素が回折された波面３６の強度プロファイルの同一の第２の空間位相をサンプリングするので、赤色及び青色チャネルは二次色チャネルであり、第１及び第２の空間位相は、相互に１８０度だけ位相シフトされる。これは、隣接した画素バンク内の信号ＩＲ及びＩＢが相互に逆位相にあることを意味する。もちろん、他のモザイク色パターンは、主チャネル及び二次チャネルとして異なる色チャネルを使用してもよい。
【0120】
なおも図９を参照して、方法２００のいくつかの実装態様はまた、回折格子アセンブリ２４によって信号に与えられる変調の局所的影響が除去される、粗い未加工基底成分を提供または抽出するために主色チャネルを使用するステップ２０４を含むことができる。
【0121】
図７の実施例では、主色チャネルは、下層の回折パターンの変調成分を取り消すことができる両方の主要な位相成分をサンプリングすることができる、より密にサンプリングされた緑色チャネルである。数学的に、このステップは、以下の式を使用して、Ｉｍｏｄ，Ｇを取り消すことによって、ＩＧ～Ｉｍｏｄ，Ｇ×Ｉｂａｓｅ，ＧからＩｂａｓｅ，Ｇを抽出することを伴うことができる。
Ｉｂａｓｅ，Ｇ＝１／２［ＩＧ（ｂａｎｋｎ）＋ＩＧ（ｂａｎｋｎ＋１）］ （８）
Ｉｂａｓｅ，Ｇ＝１／２［ＩＧ（ｂａｎｋｎ）＋ＩＧ（ｂａｎｋｎ＋１）］ （８）
【0122】
代わりに、変調成分Ｉｍｏｄ，Ｇは、フーリエフィルタリングによって除去されてもよい。
【0123】
方法２００はまた、シーン２２に関する粗い位相／奥行情報を獲得するために使用される、粗い未加工変調成分を提供または抽出するために主色チャネルを使用するステップ２０６を含むことができる。
【0124】
再度、図７の実施例では、主色チャネルは、より密にサンプリングされた緑色チャネルである。数学的に、このステップは、以下の式を使用して、Ｉｂａｓｅ，Ｇを取り消すことによって、ＩＧ～Ｉｍｏｄ，Ｇ×Ｉｂａｓｅ，ＧからＩｍｏｄ，Ｇを抽出することを伴うことができる。
Ｉｍｏｄ，Ｇ＝１／２［ＩＧ（ｂａｎｋｎ）－ＩＧ（ｂａｎｋｎ＋１）］ （９）
Ｉｍｏｄ，Ｇ＝１／２［ＩＧ（ｂａｎｋｎ）－ＩＧ（ｂａｎｋｎ＋１）］ （９）
【0125】
変調成分Ｉｍｏｄ，Ｇは、ライトフィールド画像及び／または奥行マップを生成することができる、入射光学波面に関する粗い角度または位相情報を提供することができる。上記説明されたように、変調成分Ｉｍｏｄ，Ｇは、画素ごとの波面の位相差を表し、その結果、Ｉｍｏｄ，Ｇは、シーン２２からの入射光学波面２６の位相または拡散に関する情報を包含する。特に、変調成分Ｉｍｏｄ，Ｇは、入射波面２６の緑色成分の傾斜／角度拡散（例えば、回折格子アセンブリ２４の前方にある集束光学系によって生じる、図８を参照）、及び回折格子アセンブリ２４によって生じる位相オフセットの結果である。
【0126】
図９を参照して、方法２００は更に、Ｉｂａｓｅ，Ｇ及びＩｍｏｄ，Ｇをそれぞれ使用して、ＩＲ～Ｉｍｏｄ，Ｒ×Ｉｂａｓｅ，Ｒ及びＩＢ～Ｉｍｏｄ，Ｂ×Ｉｂａｓｅ，Ｂから獲得することができる二次青色及び赤色チャネルの未加工基底成分Ｉｂａｓｅ，Ｒ及びＩｂａｓｅ，Ｂ、並びに未加工変調成分Ｉｍｏｄ，Ｒ及びＩｍｏｄ，Ｂを判定するステップ２０８を含むことができる。
【0127】
いくつかの実装態様では、ＩＧ（ｂａｎｋｎ）とＩＧ（ｂａｎｋｎ＋１）との間の差は、回折格子によって与えられた変調パターンの標識を付与することができる。すなわち、ＩＧ（ｂａｎｋｎ）＜ＩＧ（ｂａｎｋｎ＋１）である場合、次いで、ｂａｎｋｎが弱め合う干渉を受け、ｂａｎｋｎ＋１が強め合う干渉を受け、ＩＧ（ｂａｎｋｎ）＞ＩＧ（ｂａｎｋｎ＋１）である場合はその逆であると結論付けることができる。したがって、ＩＧ（ｂａｎｋｎ）＜ＩＧ（ｂａｎｋｎ＋１）であり、ｂａｎｋｎ内に赤色画素、ｂａｎｋｎ＋１内に青色画素があるシナリオでは、ＩＲ（ｂａｎｋｎ）＜Ｉｂａｓｅ，Ｒであり、ＩＢ（ｂａｎｋｎ＋１）＞Ｉｂａｓｅ，Ｂであり、その結果、Ｉｂａｓｅ，Ｒ＝ＩＲ（ｂａｎｋｎ）＋Ｉｍｏｄ，Ｒであり、Ｉｂａｓｅ，Ｂ＝ＩＢ（ｂａｎｋｎ＋１）－Ｉｍｏｄ，Ｂであると推論することができる。したがって、［ＩＧ（ｂａｎｋｎ）－ＩＧ（ｂａｎｋｎ＋１）］の標識を知っていることは、（Ｉｂａｓｅ，Ｒ、Ｉｍｏｄ，Ｒ）及び（Ｉｂａｓｅ，Ｂ、及びＩｍｏｄ，Ｂ）を獲得するよう、強め合う位相オフセットまたは弱め合う位相オフセットをＩＲ（ｂａｎｋｎ）及びＩＢ（ｂａｎｋｎ＋１）に適用するかどうかを判定することを可能にすることができる。
【0128】
赤色光についての位相オフセットの振幅、すなわち、Ｉｍｏｄ，Ｒを獲得するために、Ｉｍｏｄ，ＧからＩｍｏｄ，Ｒを導出するために、画像捕捉デバイスにおいて緑色光の波面拡散と赤色光の波面拡散との間の関係（例えば、回折格子及び集束光学系によって生じる）を使用することができる。同様に、青色光についての位相オフセットの振幅、すなわち、Ｉｍｏｄ，Ｂを獲得するために、Ｉｍｏｄ，ＧからＩｍｏｄ，Ｂを導出するために、画像捕捉デバイスにおいて緑色光の波面拡散と青色光の波面拡散との間の関係（例えば、回折格子及び集束光学系によって生じる）を使用することができる。いくつかの実装態様では、波面拡散に関する微細な角度情報は、以下で説明されるように、位相シフトされた赤色二次変調成分Ｉｍｏｄ，Ｒ及び青色二次変調成分Ｉｍｏｄ，Ｂから獲得されてもよい。最終的に、赤色及び青色基底成分は、Ｉｂａｓｅ，Ｒ＝ＩＲ（ｂａｎｋｎ）＋Ｉｍｏｄ，Ｒ及びＩｂａｓｅ，Ｂ＝ＩＢ（ｂａｎｋｎ＋１）－Ｉｍｏｄを使用して獲得されてもよい。
【0129】
なおも図９を参照して、方法は、例えば、緑色基底成分Ｉｂａｓｅ，ＧをＩｂａｓｅ，Ｒ及びＩｂａｓｅ，Ｂについての正規化基底関数系として使用することによって、従来のデモザイク処理アルゴリズムによって使用される同様の方式において、シーン２２のフルカラー２Ｄ画像を再構築するために、未加工基底成分Ｉｂａｓｅ，Ｇ、Ｉｂａｓｅ，Ｒ、及びＩｂａｓｅ，Ｂを使用するステップ２１０を含むことができる。このフルカラー２Ｄ画像は、その前方で回折格子アセンブリ２４なしに、画素アレイ３８によって捕捉される位相独立未加工画像を表す。２Ｄ画像のこの生成は、以下の非限定的な理由：圧縮のために２Ｄ情報から奥行情報を分離すること、表示のために予測されるように、画像信号プロセッサ（ＩＳＰ）に２Ｄ画像を提供することが可能であること、及び２Ｄ画像がライトフィールド成分のうちの１つであること、のうちの１つ以上に対して実行されてもよい。
【0130】
なおも図９を参照して、いくつかの実装態様では、方法２００は、主色チャネルの変調成分Ｉｍｏｄ，Ｇから、及び任意選択で、二次色チャネルの変調成分Ｉｍｏｄ，Ｒ及びＩｍｏｄ，Ｂからシーンの奥行マップを作成するステップ２１２を含むことができる。このステップは主に、色チャネルの関連する１つの変調成分から物体距離情報を提供するよう較正された少なくとも１つの色放射伝達関数も伴う。
【0131】
いくつかの実装態様では、色放射伝達関数（ＣＲＴＦ）は、カメラから離れた物体の距離に対する角度に応じて回折格子の回折格子パターンに関連する。言い換えると、ＣＲＴＦは、シーンの先験的な知識なしに、回折格子の２つの位相成分ｐｈａｓｅ０及びｐｈａｓｅ１８０に対して与えられた変調を定量化することを可能にすることができる。
【0132】
説明のみを目的とし、本説明の範囲を限定することなく、図１０に示されるように、カメラからの距離が大きくなるにつれて、カメラが白色光点源の画像を予め定められた間隔で捕捉している状況を考慮してみる。回折格子を有しないカメラのケースでは、センサは、図１０にも示されるように、下層のＢａｙｅｒパターンに応じて白色光の全体的な強度を空間的－色彩的にサンプリングする。白色光源のこの空間的－色彩的サンプリングは、所与の色フィルタアレイ構成要素のスペクトル的に依存した透過によってフィルタリングされた白色光のスペクトル強度に大体比例して各々の画素によって測定された電圧をもたらす。
ＰｉｘｅｌＲｅｄ∝Ｉｎｔｅｎｓｉｔｙ（λ）×Ｔｒａｎｓｍｉｓｓｉｏｎ（λ） （１０．１）
または、
ＰｉｘｅｌＲｅｄ＝２Ｄ（Ｒｅｄ） （１０．２）
ＴＤＭの変調された成分も、画素バンクから画素バンクへと変化する。
Ｐｉｘｅｌｎ∝Ｉｎｔｅｎｓｉｔｙ（λ）×Ｔｒａｎｓｍｉｓｓｉｏｎ（λ）×ＭｏｄｕｌａｔｉｏｎＰｈａｓｅ０（λ，ｚ） （１１．１）
Ｐｉｘｅｌ（ｎ＋１）∝Ｉｎｔｅｎｓｉｔｙ（λ）×Ｔｒａｎｓｍｉｓｓｉｏｎ（λ）×ＭｏｄｕｌａｔｉｏｎＰｈａｓｅ１８０（λ，ｚ） （１１．２）
ＰｉｘｅｌＲｅｄ∝Ｉｎｔｅｎｓｉｔｙ（λ）×Ｔｒａｎｓｍｉｓｓｉｏｎ（λ） （１０．１）
または、
ＰｉｘｅｌＲｅｄ＝２Ｄ（Ｒｅｄ） （１０．２）
ＴＤＭの変調された成分も、画素バンクから画素バンクへと変化する。
Ｐｉｘｅｌｎ∝Ｉｎｔｅｎｓｉｔｙ（λ）×Ｔｒａｎｓｍｉｓｓｉｏｎ（λ）×ＭｏｄｕｌａｔｉｏｎＰｈａｓｅ０（λ，ｚ） （１１．１）
Ｐｉｘｅｌ（ｎ＋１）∝Ｉｎｔｅｎｓｉｔｙ（λ）×Ｔｒａｎｓｍｉｓｓｉｏｎ（λ）×ＭｏｄｕｌａｔｉｏｎＰｈａｓｅ１８０（λ，ｚ） （１１．２）
【0133】
下層の色フィルタが回折格子（すなわち、格子間隔よりも短い格子軸に沿った画素ピッチを有する画素アレイ）によって生じる摂動周波数よりも大きい速度において光を空間的－色彩的にサンプリングする、Ｂａｙｅｒパターン化センサのケースでは、図１０示されるように、３つの色チャネルは、
ＰｉｘｅｌＲｅｄ＝２Ｄ（Ｒｅｄ）×ＭｏｄｕｌａｔｉｏｎＰｈａｓｅ０（λ，ｚ） （１２．１）
ＰｉｘｅｌＧｒｅｅｎ１＝２Ｄ（Ｇｒｅｅｎ）×ＭｏｄｕｌａｔｉｏｎＰｈａｓｅ１８０（λ，ｚ） （１２．２）
ＰｉｘｅｌＧｒｅｅｎ２＝２Ｄ（Ｇｒｅｅｎ）×ＭｏｄｕｌａｔｉｏｎＰｈａｓｅ０（λ，ｚ） （１２．３）
ＰｉｘｅｌＢｌｕｅ＝２Ｄ（Ｂｌｕｅ）×ＭｏｄｕｌａｔｉｏｎＰｈａｓｅ１８０（λ，ｚ） （１２．４）
ＰｉｘｅｌＲｅｄ＝２Ｄ（Ｒｅｄ）×ＭｏｄｕｌａｔｉｏｎＰｈａｓｅ０（λ，ｚ） （１２．１）
ＰｉｘｅｌＧｒｅｅｎ１＝２Ｄ（Ｇｒｅｅｎ）×ＭｏｄｕｌａｔｉｏｎＰｈａｓｅ１８０（λ，ｚ） （１２．２）
ＰｉｘｅｌＧｒｅｅｎ２＝２Ｄ（Ｇｒｅｅｎ）×ＭｏｄｕｌａｔｉｏｎＰｈａｓｅ０（λ，ｚ） （１２．３）
ＰｉｘｅｌＢｌｕｅ＝２Ｄ（Ｂｌｕｅ）×ＭｏｄｕｌａｔｉｏｎＰｈａｓｅ１８０（λ，ｚ） （１２．４）
【0134】
または、上記発展した形式論を使用して、
【0135】
【0136】
Ｂａｙｅｒパターン化センサのケースでは、画像に対する回折格子の影響を除去することができ、または、言い換えると、１つの色チャネルに両方の位相成分をサンプリングさせることによって、奥行情報を抽出することができる。
Ｐｉｘｅｌｎ＝Ｉｎｔｅｎｓｉｔｙ（ｎ）×ｐｈａｓｅ０（ｚ） （１４．１）
Ｐｉｘｅｌｎ＋１＝Ｉｎｔｅｎｓｉｔｙ（ｎ＋１）×ｐｈａｓｅ１８０（ｚ） （１４．２）
Ｐｉｘｅｌｎ＝Ｉｎｔｅｎｓｉｔｙ（ｎ）×ｐｈａｓｅ０（ｚ） （１４．１）
Ｐｉｘｅｌｎ＋１＝Ｉｎｔｅｎｓｉｔｙ（ｎ＋１）×ｐｈａｓｅ１８０（ｚ） （１４．２）
【0137】
【0138】
色彩放射伝達関数は、画像から強度を除去するために、２つの主色チャネルの変調された成分の間の差を使用し、正規化された値が、両方の位相成分を有さず、したがって、その強度が可変である他の２つの色チャネルを、両方の２Ｄ画像だけでなく、回折格子変調または奥行情報と関連付けることを可能にする。
【0139】
図１０において想定されるのと同様の実験は、二次色チャネルに対して実行されてもよい。このケースでは、角度または距離の関数として二次色チャネル変調を測定するために、光の既知の均一な強度を使用することができる。これは、図１３に示されるように、二次色彩放射伝達関数をもたらす。
【0140】
図１４を参照して、シーンの先験的な知識なしに作用する、一次放射色彩伝達関数は、二次色彩放射伝達関数をナビゲートするために、正規化された、シーン独立の値を取得するために使用されてもよい。適切な変調値が二次色チャネルに対して既知である場合、回折格子の効果は、２Ｄ画像、並びに二次及び一次放射伝達関数値における差に対して補正されてもよく、それらのそれぞれの画素値は、奥行性能を更に高めるために比較されてもよい。
【0141】
この概念は、同一の処理方法を通じたレンズシステム、並びにその無彩色収差及び色彩的に依存した焦点差にも拡張されてもよい。
【0142】
いくつかの実施形態では、変調成分Ｉｍｏｄ，Ｇに包含される未加工波面拡散情報は、シーン２２の粗い奥行マップを生み出すために、適切な緑色放射伝達関数（ＧＲＴＦ）と比較されてもよい。特に、Ｉｍｏｄ，Ｇは、相対的な位相情報を提供することができ、較正されたセンサ特有ＧＲＴＦとの比較は、１つがＩｍｏｄ，Ｇによって提供される相対的な位相情報から絶対的な位相情報を獲得することを可能にすることができる。言い換えると、これは、Ｉｍｏｄ，Ｇによって提供される相対的な位相情報が、ＧＲＴＦを使用して波面拡散にマッピングされてもよく、この波面拡散自体は、焦点平面に対する物体位置に対応することを意味する。
【0143】
任意選択で、Ｉｍｏｄ，Ｇ及びＧＲＴＦから獲得された粗い奥行マップは、二次色チャネルからのデータ（例えば、Ｉｍｏｄ，Ｒ、Ｉｍｏｄ，Ｂ、並びにそれらの関連する赤色放射伝達関数ＲＲＴＦ及び青色放射伝達関数ＢＲＴＦ）を使用して補正または強化されてもよい。これは、３つの色チャネルに対する変調成分Ｉｍｏｄ，Ｇ、Ｉｍｏｄ，Ｒ、及びＩｍｏｄ，Ｂの直接の比較は、物体距離を確立するために、各々の色チャネルに対して測定されたＣＲＴＦを通じて行われることを意味する。
【0144】
上記言及されたように、ＣＲＴＦの各々の１つは、画像捕捉デバイス２０の焦点平面に応じて、直接測定された波面拡散の経験的適合をもたらす。焦点面からの様々な距離で撮影された較正画像のこれらの疎なデータセットのコレクションは、カメラからの距離の関数として適合され、画像の変調成分Ｉｍｏｄ，Ｇ（主）、及びＩｍｏｄ，Ｒ、Ｉｍｏｄ，Ｂ（副）によって測定され、回折格子アセンブリ２４によってサンプリングされるように、焦点面からの距離の関数としての波面の放射状に拡張された広がりの直接的な経験的な測定値を提供する。それらの関数は、Ｉｍｏｄ，Ｇ、Ｉｍｏｄ，Ｒ、及びＩｍｏｄ，Ｂから付与された測定された相対的な位相／波面拡散情報を画像センサからの絶対的な物体距離、したがって、奥行（ｚ）に直接マッピングする方法を提供する。
物体（ｚ）～ＲＧＢ ２Ｄ画像×ＣＲＴＦ（ｒ，φ，θ，ｎ，λ） （１０）
ｚは、シーン２２内の所与の物体の画像捕捉デバイスの検出平面からの距離であり、ＲＧＢ ２Ｄ画像は、Ｉｂａｓｅ，Ｇ、Ｉｂａｓｅ，Ｒ、及びＩｂａｓｅ，Ｂによって付与された未加工２Ｄ画像であり、ＣＲＴＦは、画像の焦点平面からの極座標ｒ、φ、θ、画素数ｎ（したがって、画素アレイ３８上の空間位置）、及び入射波長λの適合された５Ｄ関数である。ＣＲＴＦは、回折素子及び撮像素子によってサンプリングされたような全てのスペクトル要素に対して単一の画像においてサンプリングされてもよい。すなわち、全てのＣＲＴＦは、白色光を使用して１回捕捉されてもよく、色フィルタアレイによって直接サブサンプリングされてもよい。それらの関数は、回折格子アセンブリ２４の設計を通じて適応されてもよい。ＣＲＴＦは、回折格子アセンブリ２４の回折格子２８の配列からもたらされる回折パターンのマイクロサブサンプリングの肉眼的記述をもたらすことができる。絶対的な奥行の実装態様では、奥行精度を増大させるために、汎用ＲＴＦを使用してもよく、または色特有ＣＲＴＦを使用してもよいことに留意されたい。
物体（ｚ）～ＲＧＢ ２Ｄ画像×ＣＲＴＦ（ｒ，φ，θ，ｎ，λ） （１０）
ｚは、シーン２２内の所与の物体の画像捕捉デバイスの検出平面からの距離であり、ＲＧＢ ２Ｄ画像は、Ｉｂａｓｅ，Ｇ、Ｉｂａｓｅ，Ｒ、及びＩｂａｓｅ，Ｂによって付与された未加工２Ｄ画像であり、ＣＲＴＦは、画像の焦点平面からの極座標ｒ、φ、θ、画素数ｎ（したがって、画素アレイ３８上の空間位置）、及び入射波長λの適合された５Ｄ関数である。ＣＲＴＦは、回折素子及び撮像素子によってサンプリングされたような全てのスペクトル要素に対して単一の画像においてサンプリングされてもよい。すなわち、全てのＣＲＴＦは、白色光を使用して１回捕捉されてもよく、色フィルタアレイによって直接サブサンプリングされてもよい。それらの関数は、回折格子アセンブリ２４の設計を通じて適応されてもよい。ＣＲＴＦは、回折格子アセンブリ２４の回折格子２８の配列からもたらされる回折パターンのマイクロサブサンプリングの肉眼的記述をもたらすことができる。絶対的な奥行の実装態様では、奥行精度を増大させるために、汎用ＲＴＦを使用してもよく、または色特有ＣＲＴＦを使用してもよいことに留意されたい。
【0145】
上記説明された実装態様は、画素サンプリング周波数が格子パターンの周期よりも高い状況に適用され、本明細書で説明される処理方法は、いくつかの例では、それに対してサンプリング周波数が格子間隔以下である（または言い換えると、画素アレイが格子間隔以上である格子軸に沿った画素ピッチを有する）同様の撮像デバイスと関連して有効であり得ることを容易に理解されよう。そのようなケースでは、格子の動作によって２Ｄ画像において生成された色彩的に依存したぼやけパターンが存在せず、両方の位相成分が既に各々の格子に含まれるので、２Ｄ画像を再構築するステップが省略されてもよい。そのような実施形態では、信号のマイクロ色彩依存及び関連するものが損失されるが、マイクロ色彩依存はなお、奥行情報を提供するために有効であることがある。言い換えると、関連する色放射伝達関数と組み合わされた異なる色チャネルの提供は、焦点位置におけるそれらの相対的な差を獲得するために、異なる色チャネルの比較を通じて奥行情報を提供することができる。
【0146】
もちろん、本説明の範囲から逸脱することなく、多くの修正が上記説明された実施形態に対して行われてもよい。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】