特許 6228300 プレノプティックカメラの分解能の改良

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6228300

(24)【登録日】2017年10月20日

(45)【発行日】2017年11月8日

(54)【発明の名称】プレノプティックカメラの分解能の改良

(51)【国際特許分類】

   G06T 5/50 20060101AFI20171030BHJP

   H04N 5/225 20060101ALI20171030BHJP

   G02B 3/00 20060101ALI20171030BHJP

【ＦＩ】

   G06T5/50

   H04N5/225 410

   G02B3/00 A

【請求項の数】28

【全頁数】32

(21)【出願番号】特願2016-525068(P2016-525068)

(86)(22)【出願日】2014年12月17日

(65)【公表番号】特表2017-504082(P2017-504082A)

(43)【公表日】2017年2月2日

(86)【国際出願番号】US2014070880

(87)【国際公開番号】WO2015100105

(87)【国際公開日】20150702

【審査請求日】2016年10月27日

(31)【優先権主張番号】61/920,709

(32)【優先日】2013年12月24日

(33)【優先権主張国】US

(31)【優先権主張番号】61/920,710

(32)【優先日】2013年12月24日

(33)【優先権主張国】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】511214406

【氏名又は名称】ライトロ，インコーポレイテッド

【氏名又は名称原語表記】Ｌｙｔｒｏ，Ｉｎｃ．

(74)【代理人】

【識別番号】110001656

【氏名又は名称】特許業務法人谷川国際特許事務所

(72)【発明者】

【氏名】マイア，グラハム バトラー

(72)【発明者】

【氏名】リアン，チア−カイ

(72)【発明者】

【氏名】ピッツ，コルビン

(72)【発明者】

【氏名】クラドック，カール ウォーレン

(72)【発明者】

【氏名】エヌジー，イェー−レン

【審査官】 高野 美帆子

(56)【参考文献】

【文献】 特開２０１２−２４２８４１（ＪＰ，Ａ）

【文献】 特表２０１３−５３１８０７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ５／５０

Ｇ０２Ｂ ３／００

Ｇ０２Ｂ １３／００−１３／２６

Ｈ０４Ｎ ５／２２２−５／２５７

(57)【特許請求の範囲】

【請求項1】

センサ、メインレンズおよび複数のマイクロレンズを有するライトフィールド画像撮影デバイスについて最適な変数の集合を特定する方法であり、
前記ライトフィールド画像撮影デバイスの属性を規定する第１の複数の変数を含む第１の構成である、前記ライトフィールド画像撮影デバイスの前記第１の構成を選択することと、
プロセッサにおいて、前記第１の構成の前記メインレンズおよび前記複数のマイクロレンズを通した受光のシミュレーションによってメリット関数を適用して、第１のメリット関数値を計算することと、
前記プロセッサにおいて、前記第１の複数の変数の少なくとも１つを反復的に摂動して、前記メリット関数を適用して前記最適な変数の集合を特定することと、
出力デバイスにおいて、前記最適な変数の集合を含む出力を提供することとを含み、
前記第１の構成を選択する前に、
それぞれ前記ライトフィールド画像撮影デバイスのセンサ上の位置を含む試験フィールドポイントである、１つまたは複数の試験フィールドポイントを規定することと、
それぞれ前記複数のマイクロレンズに対して規定される試験再構成面位置である、１つまたは複数の試験再構成面位置を規定することとをさらに含み、
前記メリット関数を適用することは、前記試験フィールドポイントおよび前記試験再構成面位置での前記メインレンズおよび前記複数のマイクロレンズを通した受光をシミュレーションすることを含む、方法。

【請求項2】

前記メリット関数を適用することは、
前記試験フィールドポイントから第１の試験フィールドポイントを選択することと、
前記試験再構成面位置から第１の試験再構成面位置を選択することと、
前記第１の試験フィールドポイントおよび前記第１の試験再構成面位置での受光をシミュレーションして第１の光線補正関数を生成することと、
オブジェクト空間にターゲットを配置することと、
前記第１の光線補正関数を用いて、前記第１の構成を光線追跡し、前記第１の試験再構成面位置に対してリフォーカスされた第１の擬似撮影ライトフィールドを作ることと、
前記第１の擬似撮影ライトフィールドに基づいて前記第１のメリット関数値を計算することとを含む、請求項１記載の方法。

【請求項3】

前記メリット関数を適用することは、
複数の反復を行うことをさらに含み、各反復は、
前記試験フィールドポイントから新しい試験フィールドポイントを選択することと、
前記試験再構成面位置から新しい試験再構成面位置を選択することと、
前記新しい試験フィールドポイントおよび前記新しい試験再構成面位置での受光をシミュレーションし、新しい光線補正関数を生成することと、
オブジェクト空間にターゲットを配置することと、
前記新しい光線補正関数を用いて前記第１の構成を光線追跡し、前記第１の試験再構成面位置に対してリフォーカスされた新しい擬似撮影ライトフィールドを作ることとを含み、
前記第１のメリット関数値を計算することは、前記反復において作られた前記新しい擬似撮影ライトフィールドに基づいて前記第１のメリット関数値を計算することを含む、請求項２記載の方法。

【請求項4】

前記第１のメリット関数値は、
焦点距離と、
主光線角度と、
最小中心ガラス厚さと、
最大中心ガラス厚さと、
色収差の最小化と
より成る群から選択される属性を測定する２次元メリット関数に基づく、請求項１記載の方法。

【請求項5】

試験フィールドポイントと試験再構成面位置との他の組合せと比較してより低い分解能を備える、試験フィールドポイントおよび試験再構成面位置の１つまたは複数の低分解能の組合せを特定することと、
前記他の組合せについて他の重みを確立することと、
前記ライトフィールド画像撮影デバイスによるライトフィールド画像の生成において、前記低分解能の組合せから得られたライトフィールドデータが、前記他の組合せから得られたライトフィールドデータより小さい影響を有するように、前記低分解能の組合せについて低分解能の重みを確立することとをさらに含む、請求項１記載の方法。

【請求項6】

前記属性は、前記画像撮影デバイスのメインレンズのメインレンズ属性を含み、前記メインレンズは、理想メインレンズ設計よりの収差を含み、
前記理想メインレンズ設計と比べて、前記収差は、前記ライトフィールド画像撮影デバイスにより撮影されたライトフィールドデータの分解能についてより大きな一貫性を備える、請求項１記載の方法。

【請求項7】

前記属性は、前記画像撮影デバイスのメインレンズのメインレンズ属性を含み、
前記メインレンズ属性は、
前記メインレンズの厚さと、
前記メインレンズの半径と、
前記メインレンズの屈折率と、
前記メインレンズのアッベ数とより成る群から選択される、請求項６記載の方法。

【請求項8】

前記メインレンズのスポットサイズの二乗平均の平方根が、前記複数のマイクロレンズのうちのマイクロレンズの直径の１から３倍の間となるように、前記メインレンズが構成される、請求項６記載の方法。

【請求項9】

前記収差は実質的な球面収差を含む、請求項６記載の方法。

【請求項10】

前記属性は、前記画像撮影デバイスの位相マスクの位相マスク属性を含み、前記メインレンズは実質的な理想メインレンズ設計を有し、
前記位相マスクは、位相シフトが瞳位置の関数として変化するような前記メインレンズを通過する光の波面上に位相シフトを伝え、
前記理想メインレンズ設計と比較して、前記位相マスクは、前記メインレンズとともに、前記ライトフィールド画像撮影デバイスによって撮影されたライトフィールドデータの分解能についてより大きな一貫性を備える、請求項１記載の方法。

【請求項11】

前記位相マスクは、三次位相板を含む、請求項１０記載の方法。

【請求項12】

前記第１の複数の変数のうち少なくとも１つを反復的に摂動することおよび前記メリット関数を適用することは、前記最適な変数の集合が特定されるまで複数の反復を行うことを含み、各反復は、
前記複数の変数のうち少なくとも１つを摂動し、前記ライトフィールド画像撮影デバイスの第１の構成とは異なる前記ライトフィールド画像撮影デバイスの第２の構成を規定し、前記第２の構成は、前記属性を規定する第２の複数の変数を含むことと、
前記第２の構成の前記メインレンズおよび前記複数のマイクロレンズを通した受光のシミュレーションによって前記メリット関数を適用し、第２のメリット関数値を計算することと、
前記第２のメリット関数値を前記第１のメリット関数値と比較し、比較結果を得ることと、
前記比較結果に基づいて、前記第２の複数の変数が、最適な変数の集合であるかを決定することと、
前記第２の複数の変数が、前記最適な変数の集合でない場合は、前記第１の複数の変数を前記第２の複数の変数と等しく設定することとを含む、請求項１記載の方法。

【請求項13】

センサ、メインレンズおよび複数のマイクロレンズを有するライトフィールド画像撮影デバイスについて最適な変数の集合を特定するコンピュータプログラムを記録した記憶媒体であり、
非一時的な記憶媒体と、
前記ライトフィールド画像撮影デバイスの属性を規定する第１の複数の変数を含む第１の構成である、前記ライトフィールド画像撮影デバイスの前記第１の構成の選定を受信し、
前記第１の構成の前記メインレンズおよび前記複数のマイクロレンズを通した受光のシミュレーションによってメリット関数を適用し、第１のメリット関数値を計算し、
前記第１の複数の変数の少なくとも１つを反復的に摂動して、前記メリット関数を適用して前記最適な変数の集合を特定し、
出力デバイスに対して、前記最適な変数の集合を含む出力を提供させる工程を少なくとも１つのプロセッサに対して行わせるように構成され、該媒体上で符号化されるコンピュータプログラムコードとを含み、
前記コンピュータプログラムコードは、前記第１の構成の選定を受信する前に、
それぞれ前記ライトフィールド画像撮影デバイスの前記センサ上の位置を含む試験フィールドポイントである、１つまたは複数の試験フィールドポイントを規定し、
それぞれ前記複数のマイクロレンズに対して規定される試験再構成面位置である、１つまたは複数の試験再構成面位置を規定する工程を、少なくとも１つのプロセッサに対して行わせるようにさらに構成され、
前記メリット関数を適用することは、前記試験フィールドポイントおよび前記試験再構成面位置での前記メインレンズおよび前記複数のマイクロレンズを通した受光をシミュレーションすることを含む、記憶媒体。

【請求項14】

前記少なくとも１つのプロセッサに対して前記メリット関数を適用させるように構成された前記コンピュータプログラムコードは、
前記試験フィールドポイントから第１の試験フィールドポイントを選択し、
前記試験再構成面位置から第１の試験再構成面位置を選択し、
前記第１の試験フィールドポイントおよび前記第１の試験再構成面位置での受光をシミュレーションして第１の光線補正関数を生成し、
オブジェクト空間にターゲットを配置し、
前記第１の光線補正関数を用いて、前記第１の構成を光線追跡し、前記第１の試験再構成面位置に対してリフォーカスされた第１の擬似撮影ライトフィールドを作り、
前記第１の擬似撮影ライトフィールドに基づいて前記第１のメリット関数値を計算する工程を、前記少なくとも１つのプロセッサに対して行わせるように構成されたコンピュータプログラムコードを含む、請求項１３記載の記憶媒体。

【請求項15】

前記少なくとも１つのプロセッサに対して前記メリット関数を適用させるように構成された前記コンピュータプログラムコードは、
複数の反復を行うことと、各反復が、
前記試験フィールドポイントから新しい試験フィールドポイントを選択することと、
前記試験再構成面位置から新しい試験再構成面位置を選択することと、
前記新しい試験フィールドポイントおよび前記新しい試験再構成面位置における受光をシミュレーションして新しい光線補正関数を作ることと、
オブジェクト空間にターゲットを配置することと、
前記新しい光線補正関数を用いて前記第１の構成を光線追跡し、前記第１の試験再構成面位置に対してリフォーカスされた新しい擬似撮影ライトフィールドを作ることとを含む工程を、前記少なくとも１つのプロセッサに対して行わせるように構成されたコンピュータプログラムコードを含み、
前記少なくとも１つのプロセッサに対して前記第１のメリット関数値を計算させるように構成された前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサに対して前記反復において作られた前記新しい擬似撮影ライトフィールドに基づいて前記第１のメリット関数値を計算させるように構成されたコンピュータプログラムコードを含む、請求項１４記載の記憶媒体。

【請求項16】

前記属性は、前記画像撮影デバイスのメインレンズのメインレンズ属性を含み、前記メインレンズは、理想メインレンズ設計よりの収差を含み、
前記理想メインレンズ設計と比べて、前記収差は、前記ライトフィールド画像撮影デバイスにより撮影されたライトフィールドデータの分解能についてより大きな一貫性を備える、請求項１３記載の記憶媒体。

【請求項17】

前記属性は、前記画像撮影デバイスのメインレンズのメインレンズ属性を含み、前記メインレンズ属性は、
前記メインレンズの厚さと、
前記メインレンズの半径と、
前記メインレンズの屈折率と、
前記メインレンズのアッベ数とより成る群から選択される、請求項１６記載の記憶媒体。

【請求項18】

前記収差は実質的な球面収差を含む、請求項１７記載の記憶媒体。

【請求項19】

前記属性は、前記画像撮影デバイスの位相マスクの位相マスク属性を含み、前記メインレンズは実質的な理想メインレンズ設計を有し、
前記位相マスクは、位相シフトが瞳位置の関数として変化するような前記メインレンズを通過する光の波面上に位相シフトを伝え、
前記理想メインレンズ設計と比較して、前記位相マスクは、前記メインレンズとともに、前記ライトフィールド画像撮影デバイスによって撮影されたライトフィールドデータの分解能についてより大きな一貫性を備え、
前記位相マスクは、三次位相板を含む、請求項１３記載の記憶媒体。

【請求項20】

前記少なくとも１つのプロセッサに対して前記第１の複数の変数のうち少なくとも１つを反復的に摂動させて、前記メリット関数を適用させるように構成された前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサに対して前記最適な変数の集合が特定されるまで複数の反復を行わせるように構成されたコンピュータプログラムコードを含み、前記少なくとも１つのプロセッサに対して前記複数の反復を行わせるように構成された前記コンピュータプログラムコードは、
前記第１の複数の変数のうち少なくとも１つを摂動し、前記ライトフィールド画像撮影デバイスの前記第１の構成とは異なる前記ライトフィールド画像撮影デバイスの第２の構成を規定し、前記第２の構成は、前記属性を規定する第２の複数の変数を含むことと、
前記第２の構成の前記メインレンズおよび前記複数のマイクロレンズを通した受光のシミュレーションによって前記メリット関数を適用し、第２のメリット関数値を計算することと、
前記第２のメリット関数値を前記第１のメリット関数値と比較し、比較結果を取得することと、
前記比較結果に基づいて、前記第２の複数の変数が、最適な変数の集合であるかを決定することと、
前記第２の複数の変数が、前記最適な変数の集合でない場合は、前記第１の複数の変数を前記第２の複数の変数と等しく設定することとの工程を、各反復において、前記プロセッサに対して行わせるように構成されたコンピュータプログラムコードを含む、請求項１３記載の記憶媒体。

【請求項21】

センサ、メインレンズおよび複数のマイクロレンズを有するライトフィールド画像撮影デバイスについて最適な変数の集合を特定するシステムであり、
前記ライトフィールド画像撮影デバイスの属性を規定する第１の複数の変数を含む第１の構成である、前記ライトフィールド画像撮影デバイスの前記第１の構成を選択し、
前記第１の構成の前記メインレンズおよび前記複数のマイクロレンズを通した受光のシミュレーションによってメリット関数を適用して、第１のメリット関数値を計算し、
前記第１の複数の変数の少なくとも１つを反復的に摂動して、前記メリット関数を適用して前記最適な変数の集合を特定するように構成されたプロセッサと、
前記最適な変数の集合を含む出力を提供するように構成され、前記プロセッサに通信可能に結合される出力デバイスとを含み、
前記プロセッサは、
それぞれ前記ライトフィールド画像撮影デバイスの前記センサ上の位置を含む試験フィールドポイントである、１つまたは複数の試験フィールドポイントを規定し、
それぞれ前記複数のマイクロレンズに対して規定される試験再構成面位置である、１つまたは複数の試験再構成面位置を規定するようにさらに構成され、
前記プロセッサは、前記試験フィールドポイントおよび前記試験再構成面位置での前記メインレンズおよび前記複数のマイクロレンズを通した受光のシミュレーションによって前記メリット関数を適用するようにさらに構成される、システム。

【請求項22】

前記プロセッサは、
前記試験フィールドポイントから第１の試験フィールドポイントを選択することと、
前記試験再構成面位置から第１の試験再構成面位置を選択することと、
前記第１の試験フィールドポイントおよび前記第１の試験再構成面位置での受光をシミュレーションして第１の光線補正関数を生成することと、
オブジェクト空間にターゲットを配置することと、
前記第１の光線補正関数を用いて、前記第１の構成を光線追跡し、前記第１の試験再構成面位置に対してリフォーカスされた第１の擬似撮影ライトフィールドを作ることと、
前記第１の擬似撮影ライトフィールドに基づいて前記第１のメリット関数値を計算することとによって、前記メリット関数を適用するようにさらに構成される、請求項２１記載のシステム。

【請求項23】

前記プロセッサは、
複数の反復を行うことによって前記メリット関数を適用するようにさらに構成され、各反復は、
前記試験フィールドポイントから新しい試験フィールドポイントを選択することと、
前記試験再構成面位置から新しい試験再構成面位置を選択することと、
前記新しい試験フィールドポイントおよび前記新しい試験再構成面位置における受光をシミュレーションし、新しい光線補正関数を作ることと、
オブジェクト空間にターゲットを配置することと、
前記新しい光線補正関数を用いて前記第１の構成を光線追跡し、前記第１の試験再構成面位置に対してリフォーカスされた新しい擬似撮影ライトフィールドを作ることとを含み、
前記プロセッサは、前記反復において作られた前記新しい擬似撮影ライトフィールドに基づいて前記第１のメリット関数値を計算することによって前記第１のメリット関数値を計算するようにさらに構成される、請求項２２記載のシステム。

【請求項24】

前記属性は、前記画像撮影デバイスのメインレンズのメインレンズ属性を含み、前記メインレンズは、理想メインレンズ設計よりの収差を含み、
前記理想メインレンズ設計と比べて、前記収差は、前記ライトフィールド画像撮影デバイスにより撮影されたライトフィールドデータの分解能についてより大きな一貫性を備える、請求項２１記載のシステム。

【請求項25】

前記属性は、前記画像撮影デバイスのメインレンズのメインレンズ属性を含み、前記メインレンズ属性は、
前記メインレンズの厚さと、
前記メインレンズの半径と、
前記メインレンズの屈折率と、
前記メインレンズのアッベ数とより成る群から選択される、請求項２４記載のシステム。

【請求項26】

前記収差は実質的な球面収差を含む、請求項２４記載のシステム。

【請求項27】

前記属性は、前記画像撮影デバイスの位相マスクの位相マスク属性を含み、前記メインレンズは実質的な理想メインレンズ設計を有し、
前記位相マスクは、位相シフトが瞳位置の関数として変化するような前記メインレンズを通過する光の波面上に位相シフトを伝え、
前記理想メインレンズ設計と比較して、前記位相マスクは、前記メインレンズとともに、前記ライトフィールド画像撮影デバイスによって撮影されたライトフィールドデータの分解能についてより大きな一貫性を備え、
前記位相マスクは、三次位相板を含む、請求項２１記載のシステム。

【請求項28】

前記プロセッサは、前記第１の複数の変数のうち少なくとも１つを反復的に摂動し、前記最適な変数の集合が特定されるまで複数の反復を行うことによって前記メリット関数を適用するようにさらに構成され、前記プロセッサは、各反復において、
前記第１の複数の変数のうち少なくとも１つを摂動し、前記ライトフィールド撮影デバイスの前記第１の構成とは異なる前記ライトフィールド画像撮影デバイスの第２の構成を規定し、前記第２の構成は、前記属性を規定する第２の複数の変数を含み、
前記第２の構成の前記メインレンズおよび前記複数のマイクロレンズを通した受光のシミュレーションによって前記メリット関数を適用し、第２のメリット関数値を計算し、
前記第２のメリット関数値を前記第１のメリット関数値と比較し、比較結果を取得し、
前記比較結果に基づいて、前記第２の複数の変数が、最適な変数の集合であるかを決定し、
前記第２の複数の変数が、前記最適な変数の集合でない場合は、前記第１の複数の変数を前記第２の複数の変数と等しく設定するようにさらに構成される、請求項２１記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１３年１２月２４日に出願された米国仮出願シリアル番号第６１／９２０，７０９号「収差メインレンズを用いたプレノプティックカメラの分解能（Plenoptic Camera Resolution Using an Aberrated Main Lens）」（代理人案件番号ＬＹＴ０９５−ＰＲＯＶ）の利益を主張し、その開示は、参照によりその全体として本明細書に取り込まれる。

【0002】

本出願は、２０１３年１２月２４日に出願された米国仮出願シリアル番号第６１／９２０，７１０号「ライトフィールド収差補正（Light Field Aberration Correction）」（代理人案件番号ＬＹＴ１５０−ＰＲＯＶ）の利益を主張し、その開示は、参照によりその全体として本明細書に取り込まれる。

【0003】

本出願は、２００９年１月２６日に出願され、現米国特許第８，２４３，１５７号である米国実用特許出願第１２／２７８，７０８号「光学収差の補正（Correction of Optical Aberrations）」（代理人案件番号ＳＯＴＬ．Ｐ１１６）に関連し、その開示は、参照によりその全体として本明細書に取り込まれる。

【0004】

本出願は、２０１３年２月２２日に出願された米国実用特許出願第１３／７７４，９７１号「ライトフィールド画像処理におけるマイクロレンズ位置変動の補償（Compensating for Variation in Microlens Position During Light-Field Image Processing）」（代理人案件番号ＬＹＴ０２１）に関連し、その開示は、参照によりその全体として本明細書に取り込まれる。

【0005】

本出願は、２０１３年２月２２日に出願された米国実用特許出願第１３／７７４，９２５号「ライトフィールド画像処理におけるセンサ飽和およびマイクロレンズ変調の補償（Compensating for Sensor Saturation and Microlens Modulation During Light-Field Image Processing）」（代理人案件番号ＬＹＴ０１９）に関連し、その開示は、参照によりその全体として本明細書に取り込まれる。

【0006】

本出願は、２０１２年１１月２８日に出願された米国実用特許出願第１３／６８８，０２６号「ライトフィールド処理における強化被写界深度およびパースペクティブの可変中心（Extended Depth of Field and Variable Center of Perspective in Light-Field Processing）」（代理人案件番号ＬＹＴ００３）に関連し、その開示は、参照によりその全体として本明細書に取り込まれる。

【0007】

本出願は、本出願と同日に出願された米国実用特許出願第１４／５７３，３１９号「ライトフィールド収差補正（Light Field Aberration Correction）」（代理人案件番号ＬＹＴ１５０）に関連し、その開示は、参照によりその全体として本明細書に取り込まれる。

【0008】

本開示は、ライトフィールド画像撮影デバイス設計のためのシステムおよび方法に関し、より詳しくは、ライトフィールド画像撮影デバイスのメインレンズおよび／または位相マスクの変数を最適化するためのシステムおよび方法に関する。

【背景技術】

【0009】

カメラのレンズは、画像を撮影するカメラの能力において大きな影響力を有する。より詳しくは、カメラレンズは、得られる画像の鮮鋭度および分解能はもちろん、カメラのズーム能力に影響する。これまでのカメラでは、レンズはしばしば、レンズを介して画像センサ上に受光した光に焦点を合わせるように設計されている。

【0010】

ライトフィールドカメラのレンズ設計は、これまでのカメラのものと有意に異なる。これまでのカメラの分解能は、そのレンズおよびセンサの機能となる。レンズが系の分解能を制限することのないように、レンズの焦点スポットサイズは、フィルムのグレインサイズまたは原寸の画像面に対する検出器の画素サイズ以下でなければならない。

【0011】

これに対して、ライトフィールドカメラの分解能は、例えば合焦される主レンズであるメインレンズ、マイクロレンズアレイ、センサの画素サイズ、センサの画素角感度を含む数多くの因子に依存する。このようにライトフィールドカメラにおけるレンズの最適化とは、独特の課題を抱えるものであり、多くの場合、ライトフィールドカメラに関する最適化メインレンズは、必ずしも、可能な限り最小のスポットサイズを提供するものではない。

【発明の概要】

【0012】

様々な実施形態によれば、本明細書に記載した技術のシステムおよび方法は、ライトフィールドカメラの構成要素、特にメインレンズおよび位相マスクといった構成要素の最適化を促進する。レンズ系は、カメラ分解能を増すように最適化されうる。様々な実施形態は、メインレンズ、位相マスクおよび／または他の変数を設計および／または最適化するための改良されたシステムおよび方法を提供する。

【0013】

１つの方法によれば、最適化処理の開始前にセットアップが行われうる。１つまたは複数の試験フィールドポイントおよび／または試験再構成面の位置がユーザにより選択され、最適化処理の動作の間、各カメラ構成の有効性を評価するために用いられうる。さらに、最適化されるカメラ設計は、複数の属性を有しうる。１つまたは複数のこれらは、ユーザによって選択され、最適化処理で変数として用いられうる。第１の変数の集合が選択され、初期構成として用いられうる。

【0014】

最適化処理は、初期構成に関する初期メリット値の計算を含みうる。次いで、１つまたは複数の変数を変更することにより系が摂動され、新しい構成を生成しうる。次いで新しい構成について新しいメリット値が計算されうる。新しいメリット値は、初期メリット値と比較されうる。比較結果に基づいて、再び系が摂動されて他の新しい構成を生成しうる。システムは、各サイクルにおいて、新しい構成が生成され、評価され、先の構成と比較されるようなサイクルを反復しうる。変数のさらなる摂動が性能の改良をもたらさない最適な構成に方法が到達するまで、この処理を継続しうる。

【0015】

メリット関数は、ユーザにより特定された試験フィールドポイントおよび試験再構成面位置の中から試験フィールドポイントおよび試験再構成面位置を選択することにより計算されうる。構成は、光線補正関数を生成して構成に関するライトフィールドデータを理想化された結果に写像しうるシミュレータに伝えられうる。ターゲットは、その画像が画像空間内の共役フィールドおよび再構成面位置に相当するように、オブジェクト空間に配置されて測定されうる。構成は光線追跡（ray-trace）されて、対応する再構成面位置に対してリフォーカスされうる擬似撮影ライトフィールドを作りうる。光学的伝達関数の計算および所望の値を得るために用いられうる。

【0016】

他の試験フィールドポイントおよび／または試験再構成面位置は、すべての試験フィールドポイントおよび試験再構成面位置が評価されるまで選択されてよい。結果であるメリット関数値は、光学的伝達関数の計算より得られた値に基づいて生成されうる。メリット関数値は、先に記載したように、次いで最適化処理で用いられうる。

【図面の簡単な説明】

【0017】

添付の図面は、いくつかの実施形態を例示している。明細書とともに、それらは実施形態の原理の説明に役立つ。当業者は、図面に例示された特定の実施形態は単なる例であって範囲を限定する意図ではないことがわかるであろう。

【0018】

【図1】図１は、ライトフィールド画像の一部分を示している。

【図2】図２は、一実施形態によるライトフィールド撮影デバイスのための構成の例を示している。

【図3】図３は、一実施形態によるライトフィールド撮影デバイスに通信可能に結合された後処理システムにおける後処理を実行するための構成の例を示している。

【図4】図４は、一実施形態によるライトフィールドカメラのための構成の例を示している。

【図5】図５は、一実施形態による、記載した方法を実行するためのハードウェア構成を示すブロック図である。

【図6】図６は、実レンズ系および理想レンズ系間の座標の写像（mapping）の例を示す図である。

【図7】図７は、理想メインレンズよりもたらされ、ライトフィールドセンサにおける１つのマイクロレンズ上で完全に焦点を合わせている光線を示す図である。

【図8】図８は、収差なしでの理想レンズについて投影パターンの断面を示す図である。

【図9】図９は、収差なしでの理想レンズについて、４次元空間の他の可視化を示す光線空間図（ray space diagram）である。

【図10】図１０は、ラムダ単位での選択された再構成面に対する理想メインレンズをもつ系の分解能の模式図である。

【図11】図１１は、理想メインレンズをもつライトフィールドカメラに対する収差メインレンズをもつライトフィールドカメラの、分解能対ラムダの図である。

【図12】図１２は、一実施形態による、データベース５１１を示す概略ブロック図である。

【図13】図１３は、一実施形態による、ライトフィールドカメラ設計アルゴリズムのためのセットアップ手順を実行する方法を示すフロー図である。

【図14】図１４は、一実施形態による、カメラ構成要素の設計を最適化するためのライトフィールドカメラ設計アルゴリズムを実行する方法を示すフロー図である。

【図15】図１５は、一実施形態による、図１４のようなメリット関数の計算を実行する方法を示すフロー図である。

【図16】図１６は、図８のような投影パターン断面を示す図であるが、球面収差を有するレンズをもつ。

【図17】図１７は、球面収差をもつレンズの光線空間図である。

【図18】図１８は、図８のような投影パターンの断面を示す図であるが、三次位相板で変更を加えた理想レンズについてのものである。

【図19】図１９は、射出瞳における、三次位相板をもつ理想レンズの光線空間図である。

【0019】

定義
本明細書で与えられる説明のため、以下の定義を用いる。
収差：偶然または意図的に生じるメインレンズの特徴であり、結果として理想レンズの特性からのメインレンズの逸脱を生じる。
属性：カメラ設計の特性。
構成：カメラ設計の属性の変数についてのある値の集合によって規定されるカメラ設計。
深度：オブジェクトおよび／または対応する画像サンプルとカメラのマイクロレンズアレイとの間の変位を表すもの。
デプスマップ（depth map）：ライトフィールド画像に対応する２次元マップであり、ライトフィールド画像内の多様な画素サンプルのそれぞれについての深度を示す。
ディスク：１つのマイクロレンズを通過する光によって照射されるライトフィールド画像内の領域で、円形または他の好適な形状でありうる。
強化被写界深度（ＥＤＯＦ）画像：より大きな深度範囲に沿って合焦するオブジェクトを有するように処理される画像。
フィールドポイント：画像センサ上の特定の位置。
画像：それぞれ色を特定する、画素値または画素の２次元配列。
画像処理アルゴリズム：画像を修正するための任意のコンピュータ実行手順。
ラムダ（λ）：マイクロレンズアレイのマイクロレンズの焦点距離と同等な距離。
ライトフィールド画像：センサで撮影されたライトフィールドデータの表現を含む画像。
メインレンズ：マイクロレンズアレイまたはセンサに当たる前に、それを通してカメラに光が入射する光学構造または構造。
メリット関数：カメラ設計に適用され、１つまたは複数のメリット関数値を生成することが可能なアルゴリズム。
メリット関数値：カメラ設計の性能を記述する値であり、好ましいメリット関数値は、より大きいまたはより小さいものでありうる。
マイクロレンズ：小型レンズで、通常、同様のマイクロレンズ配列内のひとつ。
摂動する：比較の目的のための測定手法において、それにより系、構成および／または変数が変更されることによる手順。
位相マスク：メインレンズとともに用いられ、光の波面上の位相シフトを伝えるカメラの構成要素。
光線補正関数（ray correction function）：実メインレンズの使用に対応する実際の画像空間内の４次元光の光線座標と理想メインレンズの使用に対応する理想空間内の４次元光の光線座標とを変換する関数。
再構成面：ライトフィールド画像が生成されるライトフィールド内の面。
再構成面位置：再構成面の位置であり、普通、マイクロレンズアレイからの変位（ラムダの倍数単位）の観点で表現される。
擬似撮影ライトフィールド：ライトフィールドカメラの構成の性能のシミュレーションにより撮影されたライトフィールドを表すもの。
変数：属性の測定に用いることが可能であり、変更してカメラ性能を変えることが可能な測度。
重み：構成要素の組合せの構築において、特定の構成要素に伴う重要度の数値的表現。

【0020】

また、用語決定を容易にするために、用語「カメラ」は、本明細書において、画像撮影デバイスまたは他のデータ取得デバイスを指して用いる。そうしたデータ取得デバイスとは、２次元画像データ、３次元画像データおよび／またはライトフィールドデータを含むが限定されないシーンの表現となるデータを取得、記録、測定、推定、決定および／または演算するための任意のデバイスまたはシステムとすることが可能である。そうしたデータ取得デバイスは、シーンの表現となるデータを取得するために光学系、センサおよび画像処理電子機器を含みうるものであり、本技術において周知の技術を用いる。当業者は、多種のデータ取得デバイスを本開示とともに用いることが可能であること、およびこの開示がカメラに限定されないことがわかるであろう。そのため、本明細書において用語「カメラ」を使用することは、例示および例であることを意図しているが、本開示の範囲を限定するものと考えられるべきではない。特に、本明細書におけるいかなるそうした用語の使用についても、画像データを取得するための任意の好適なデバイスを指すものと考えられるべきである。

【0021】

以下の説明において、ライトフィールドカメラの構成要素を設計および／または選択するためのいくつかの技術および方法を記載する。当業者は、これらの様々な技術および方法が、個別におよび／または互いの任意の好適な組み合わせで実行可能であることがわかるであろう。

【0022】

構成
少なくとも１つの実施形態において、本明細書に記載のシステムおよび方法は、Ng et al.のLight-field photography with a hand-held plenoptic capture device, Technical Report CSTR 2005-02, Stanford Computer Scienceに含まれるライトフィールド撮影デバイスにより撮影されたライトフィールド画像とともに実行可能であるが、その記載に限定するものではない。ここで図２を参照すると、例えばカメラ８００であるライトフィールド撮影デバイスを示すブロック図を示している。ここで図３もまた参照すると、一実施形態による、例えばカメラ８００であるライトフィールド撮影デバイスと通信可能に結合された後処理システムにおいて後処理を実行するための構成を示すブロック図を示している。当業者は、図２および３に示す特定の構成が単に例であること、カメラ８００について他の構成が可能であることがわかるであろう。さらに当業者は、図２および３の構成に示されるいくつかの構成要素は任意であり、省略または再構成しうることがわかるであろう。

【0023】

少なくとも１つの実施形態において、カメラ８００は、光学系８０１、画像センサ８０３（画素撮影のための複数の独立したセンサを含む）およびマイクロレンズアレイ８０２を具備するライトフィールド画像データ取得デバイス８０９を含むライトフィールドカメラでありうる。光学系８０１は、例えば、カメラ８００への光の量を選択可能にするための開口８１２およびマイクロレンズアレイ８０２に向けて光の焦点を合わせるメインレンズ８１３を含みうる。少なくとも１つの実施形態において、マイクロレンズアレイ８０２は、センサ８０３を介したライトフィールド画像データを取得、撮影、抽出、記録および／または得ることを容易にするように、カメラ８００の光路（メインレンズ８１３およびセンサ８０３の間）に配置および／または組み込まれうる。ここで図４もまた参照すると、一実施形態による本開示の方法を実行するためのライトフィールドカメラ８００についての構成の例を示している。図は縮尺通りに示されていない。図４は、概念の形態で、こうした構成要素が相互に作用して被写体９０１についてライトフィールドデータを撮影するような、開口８１２、メインレンズ８１３、マイクロレンズアレイ８０２およびセンサ８０３の間の関係を示している。

【0024】

少なくとも１つの実施形態において、ライトフィールドカメラ８００はまた、画像データを撮影、取得、格納および／または処理するためのカメラ８００の動作を制御するために入力することをユーザに対して可能とするユーザインタフェース８０５を含みうる。

【0025】

少なくとも１つの実施形態において、ライトフィールドカメラ８００はまた、ライトフィールド画像データを取得、抽出、記録および／または得ることを容易にする制御回路８１０を含みうる。例えば、制御回路８１０は、ライトフィールド画像データの取得タイミング、取得、抽出、撮影、記録および／または得ることの速度を管理および／または制御（自動的に、またはユーザ入力に応じて）しうる。

【0026】

少なくとも１つの実施形態において、カメラ８００は、例えば画像センサ８０３により出力される画像データを格納するメモリ８１１を含みうる。こうしたメモリ８１１は、外部および／または内部メモリを含みうる。少なくとも１つの実施形態において、メモリ８１１は、カメラ８００から独立するデバイスおよび／または位置で提供されることが可能である。

【0027】

例えば、カメラ８００は、センサ８０３により出力されたままの加工していないライトフィールド画像データ、および／または圧縮画像データファイルなどのそれらの表現を格納しうる。また、２０１０年２月１０日出願の関連の米国実用出願シリアル番号第１２／７０３，３６７号「ライトフィールドカメラ画像、ファイルおよび構成データ、およびその使用、格納、通信方法（Light-field Camera Image, File and Configuration Data, and Method of Using, Storing and Communicating Same）」（代理人案件番号ＬＹＴ３００３）に記載のように、メモリ８１１はまた、デバイス８０９の特性、パラメータ、および／または構成（まとめて「構成データ」）を表すデータを格納することが可能である。

【0028】

少なくとも１つの実施形態において、撮影された画像データは、後処理回路８０４に与えられる。そうした回路８０４は、図２に示すようにライトフィールド画像データ取得デバイス８０９内に配置もしくは統合されうるか、または図３に示すようにそれはライトフィールド画像データ取得デバイス８０９とは独立する外部の構成要素内にありうる。そうした独立する構成要素は、ライトフィールド画像データ取得デバイス８０９に対してローカルまたはリモートでありうる。画像データ８２１を回路８０４に伝達するために、任意の好適な有線または無線プロトコルを用いることが可能であり、例えば、カメラ８００は、インターネット、セルラーデータネットワーク、Ｗｉ−Ｆｉネットワーク、Ｂｌｕｅｔｏｏｔｈ(登録商標)通信プロトコルおよび／またはその他の好適な手段を経由して画像データ８２１および／または他のデータを伝達可能である。

【0029】

そうした独立する構成要素は、種々の演算装置のいずれかを含んでよく、限定されるものではないが、コンピュータ、スマートフォン、タブレット、カメラおよび／またはデジタル情報を処理するその他のデバイスを含む。そうした独立する構成要素は、ユーザ入力部８１５および／または表示画面８１６などの追加的機能を含みうる。所望の場合、ライトフィールド画像データを、ユーザに対して表示画面８１６上に表示しうる。

【0030】

本開示のシステムおよび方法は、図２のカメラ８００および／または図３の後処理システム上で実行されうる。あるいは、システムおよび方法は、情報を受信、格納および提示する設備を備えた任意の電子機器デバイス上で実行可能である。そうした電子機器デバイスは、例えば、デスクトップコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ等でありうる。

【0031】

本明細書では、コンピュータ内での実行に関してシステムを記載しているが、当業者は、本明細書に記載の技術が、他のコンテキストで、実際にはユーザ入力を受信および／または処理可能な任意の好適なデバイスにおいて実行可能であることがわかるであろう。従って、以下の記載は、範囲を限定するためというよりも、例として様々な実施形態を示すことを意図している。

【0032】

図５を参照すると、一実施形態による、記載した方法を実施するためのハードウェア構成を示すブロック図を示している。そうしたある構成を、例えば、コンピュータまたは他のデバイス５０１内のシステムの技術を実行するために用いることが可能である。デバイス５０１は、情報を受信、格納および／または提示し、かつ、そうした情報とともにユーザ入力を受信するための設備を備えた任意の電子機器デバイスでありうる。

【0033】

少なくとも１つの実施形態において、デバイス５０１は、当業者にとって周知のいくつかのハードウェア構成要素を具備する。入力デバイス５０２は、ユーザ５００からの入力を受信する任意の要素とすることが可能であり、例えば、キーボード、マウス、スタイラス、接触感知画面（タッチスクリーン）、タッチパッド、トラックボール、加速度計、５ウェイスイッチ、マイクロホン等を含む。入力は、任意の好適な形式で与えることが可能であり、例えば、ポイント、タップ、タイプ、ドラッグおよび／または発声のうちの１つまたは複数を含む。

【0034】

データ格納部５０６は、デジタル形式データのため任意の磁気的、光学的、電子的記憶デバイスとすることが可能であり、例としては、フラッシュメモリ、磁気ハードドライブ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等を含む。少なくとも１つの実施形態において、まとめてデータベース５１１と称される１つまたは複数のデータベースを含みうるデータ格納部５０６は情報を格納し、それは以下に記載する技術に従って利用および／または表示されることが可能である。他の実施形態においては、データベース５１１は、他の場所に格納可能であり、かつ、ユーザ５００に対して提示が必要なときにデバイス５０１によって検索可能である。データベース５１１は、様々な目的のために使用されうるものであり、種々のファイル、メタデータおよび／または他のデータを含みうる１つまたは複数のデータの集合を含みうる。

【0035】

表示画面５０３は、例えばデータベース５１１からの項目である情報および／またはユーザにとって有用な情報を提供するそうした項目において実行された工程の結果を、図表で表示する任意の要素とすることが可能である。そうした出力は、例えば、ライトフィールドカメラ構成要素の加工していないデータ、データ可視化、図示等を含みうる。そうした情報は、限定されるものではないが、リスト、チャート、グラフ等を含む種々の形態で表示画面５０３により表示されうる。所望の出力のいくつかのみを一度に提示する際の少なくとも１つの実施形態において、スクロール機構などの動的制御は、入力デバイス５０２を介して利用可能で、現在表示されている情報の変更および／または情報の表示方法を変更しうる。

【0036】

プロセッサ５０４は、周知の技術に従って、ソフトウェアの指示下で、データ上での動作を実行するための従来のマイクロプロセッサとすることが可能である。メモリ５０５は、ソフトウェア動作中のプロセッサ５０４による使用のための、本技術分野で公知であるような構造および構成を具備するランダムアクセスメモリとすることが可能である。

【0037】

データ格納部５０６は、デバイス５０１の他の構成要素に関してローカルまたはリモートとすることが可能である。少なくとも１つの実施形態において、デバイス５０１は、必要なときにリモートデータ記憶デバイスからデータを検索するように構成される。デバイス５０１および他の構成要素間のそうした通信は、イーサネット(登録商標)接続によって、インターネットなどのコンピューティングネットワークを経由して、セルラーネットワークを経由して、またはその他の適切な手段によって、無線で行うことが可能である。他の電子機器デバイスとのこうした通信は、例として与えるものであり、必要ではない。

【0038】

少なくとも１つの実施形態において、データ格納部５０６は、ＣＤ−ＲＯＭ、ＤＶＤ、フラッシュドライブ、ＵＳＢハードドライブ等の形式で着脱可能である。データベース５１１は、デバイス５０１の外部のソースからデータ格納部５０６へ入ることが可能であり、着脱可能でデータ格納部５０６がデバイス５０１に結合された後に遅れて表示される。他の実施形態では、データ格納部５０６は、デバイス５０１内に固定されている。

【0039】

一実施形態では、本開示のシステムは、スタンドアロンにおいてでもクライアント／サーバ構成においてでも、任意の好適なコンピュータプログラミング言語で書かれたソフトウェアとして実行されうる。あるいは、それをハードウェア内に実装および／または埋め込んでもよい。

【0040】

ライトフィールドの概略
ライトフィールド画像はしばしば、カメラ８００の開口８１２の複数の投影（円形または他の形状でありうる）を含み、各投影はカメラの焦点面上の異なる視点から得られる。ライトフィールド画像は、センサ８０３上で撮影されうる。メインレンズ８１３およびセンサ８０３間のマイクロレンズアレイ８０２の介在により、センサ８０３上に形成される開口８１２の画像が生じ、アレイ８０２における各マイクロレンズがセンサ８０３上にメインレンズ開口８１２の小型画像を投影する。これらの開口の形状をもつ投影を、本明細書においてディスクと称するが、円形形状である必要はない。用語「ディスク」は、円形領域に限定されることを意図するものではないが、任意の形状の領域を適用可能である。

【0041】

ライトフィールド画像は、カメラ８００（または他の撮影デバイス）の焦点面上に当たる光の光線を記述する４次元の情報を含む。２つの空間次元（本明細書では、ｘおよびｙと称する）は、ディスクそれら自体により表現される。例えば、幅４００および高さ３００の直交（Cartesian）パターンに配置される１２００００ディスクをもつライトフィールド画像の空間分解能は、４００×３００である。２つの角度次元（本明細書では、ｕおよびｖと称する）は、個々のディスク内で画素として表現される。例えば、１０×１０の直交パターンとして配置される各ディスク内の１００個の画素をもつライトフィールド画像の角度分解能は、１０×１０である。このライトフィールド画像は、（４００，３００，１０，１０）という４次元（ｘ，ｙ，ｕ，ｖ）分解能を有する。ここで図１を参照すると、そうしたライトフィールド画像の２ディスク×２ディスクの部分の例を示しており、ディスク１０２および個々の画素２０３の図示を含み、例示目的として、各ディスク１０２は直径を１０個の画素２０３とする。

【0042】

少なくとも１つの実施形態において、４次元ライトフィールド表現は、投影および再構成の処理を通して２次元画像に低減されうる。その開示が参照により本明細書にその全体として組み込まれる、２０１３年２月２２日出願の関連の米国実用出願シリアル番号第１３／７７４，９７１号「ライトフィールド画像処理におけるマイクロレンズ位置変動の補償（Compensating for Variation in Microlens Position During Light-Field Image Processing）」（代理人案件番号ＬＹＴ０２１）でより詳細に記載されているように、投影の仮想表面が取り入れられてよく、仮想表面での代表的な光線の交差を演算することが可能である。各代表的な光線の色は、その対応画素の色と等しいとしてよい。

【0043】

任意の数の画像処理技術を用いて、カラーアーティファクトを低減、投影アーティファクトを低減、ダイナミックレンジを広げる、および／または別の方法で画像品質を改良することが可能である。例えば変調、復調およびデモザイクを含むそうした技術の例は、その開示が参照により本明細書に組み込まれる２０１３年２月２２日出願の関連の米国出願シリアル番号第１３／７７４，９２５号「ライトフィールド画像処理におけるセンサ飽和およびマイクロレンズ変調の補償（Compensating for Sensor Saturation and Microlens Modulation During Light-Field Image Processing）」（代理人案件番号ＬＹＴ０１９）に記載されている。

【0044】

特に、処理は、それにおいて画像のすべての部分に焦点が合う強調被写界深度（ＥＤＯＦ）画像上で実行可能である。しかしながら、そうした処理工程は、ライトフィールドデータそれ自体ならびにデプスマップ精度が、サンプリング、プレフィルタリングおよびノイズレベルの面において、強い深度依存変動を有しうるため、ＥＤＯＦ画像上における従来の操作に限定された使用となりうる。ＥＤＯＦ全体を１つの２次元画像として出力する処理は、特に空間的に不安定性が高い処理技術を画像の強調化に用いる際に、不要のアーティファクトを招きうる。従って、少なくとも１つの実施形態においては、階層的な画像処理技術を用いる。

【0045】

ライトフィールドの光線補正関数
R. Ngの“Digital Light Field Photography,” Dissertation, Department of Computer Science, Stanford University, June 2006および２００９年１月２６日に出願の、Ｎｇ ｅｔ ａｌ．、米国特許出願シリアル番号第１２／２７８，７０８号「光学収差の補正（Correction of Optical Aberrations）」において論じられているように、ライトフィールドカメラは、メインレンズの収差をデジタル処理で補正することが可能である。これまでの２次元カメラでは、レンズ内の収差はレンズを大きなスポットサイズに合焦させることとなり、結果として分解能を減少させる。

【0046】

しかしながら、ライトフィールドカメラにおいては、ライトフィールドセンサが、射出瞳の異なる部分からの小さな光線束を測定する。事前にレンズ系を知ることで、測定した光線束に対して任意の所望のレンズ構成に倣うようにデジタル処理で再整列可能である。例えば、光線は、再分類されて理想レンズ系に合わせることが可能であり、その結果、系の分解能を最大限にすることが可能である。これはまた、ゆがみなどのレンズからの他の非理想的なものを除去する（または低減する）効果をも有する。

【0047】

以下は、実レンズ系および理想レンズ系間の写像を見出すために使用可能な手順の例である。カメラの物理的な記録は、座標（ｘ´，ｙ´，ｕ´，ｖ´）により示される収差光線空間と呼ばれ、これらの座標は理想光線空間（ｘ，ｙ，ｕ，ｖ）への明確な再写像が可能である。これら２つの空間の間での写像は、レンズの設計を知ること、センサ上の各画素中心から外側の光線を追跡することにより演算可能である。

【0048】

中心画素に関して、実レンズ系および理想レンズ系間の座標の写像例を、図６の図６００に示している。光線は、起源６１０で出射される。光線は、実レンズ６２０のすべての要素から実世界へと追跡される。その後光線は、対応する理想レンズ６３０の理想モデルを介して追跡される。光線は、センサ面上の終端６４０で終端し、光線の４次元座標が記録される。出射時の光線の４次元座標（すなわち、起源６１０における）と、終端時の光線の４次元座標（すなわち、終端６４０における）との差異が、その特定の画素についての補正ベクトルである。この処理は、所謂、光線補正関数を規定する。

【0049】

理想レンズ
理想レンズは、ワールド座標におけるポイントを画像座標におけるポイントへ写像する性質を有する。これは、それがゼロ幅の完全な焦点を有し、回折を無視することを意味する。図７は、理想メインレンズ（図示せず）からもたらされ、かつ、ライトフィールドセンサ７２０に近接する１つのマイクロレンズ７１０上で完全に合焦される光線を示す図７００である。マイクロレンズの断面を示している。投影中、サンプルは、それらの４次元座標および再構成面に基づく再構成画像へ散らされる。再構成面の位置は、「ラムダ」（λ）を単位として規定される。この単位ラムダは、マイクロレンズの焦点距離と同等な物理的距離を有する。系の起源は、マイクロレンズの面にあり、λ＝０として規定される。

【0050】

投影パターンの断面は、ラムダの関数として投影パターンを理解する直感的な手法である。図８は、収差なしの理想レンズへの投影パターン断面を示す図８００である。横軸８１０は、ラムダでパターンを示し、縦軸８２０は、レンズ中心を通る断面である。示すように、多数の面８３０は、不良（すなわち、不均一）投影パターンを有しうる。

【0051】

光線がλ＝０に投影される場合、すべてのサンプルが退化する。従って、再構成された２次元出力画像においては、各マイクロレンズの幾何学的中心で、唯一データが存在する。このことは本質的に、λ＝０での画像の分解能をマイクロレンズの光線そのものの分解能に制限する。これを、分解能における「ラムダゼロホール」と称する。サンプリングパターンが多く退化し、同様に再構成の分解能を制限するような他のラムダの値は多数ある。

【0052】

光線空間図９００と呼ばれる、４次元空間の他の可視化を図９に示している。ボックス９１０による縦列は、１つのマイクロレンズに当たる、ｘ方向におけるその直径に沿うすべての光線に対応している。縦列の各ボックスは、１つの画素に対応する。各ボックスの中心のドット９２０は、画素の幾何学的中心を表している。縦列は、マイクロレンズを六角形に充填していることによりわずかにずれている。各ボックスの幅および高さが、実世界のシーンにおいて全般にわたって集積するであろう画素の空間幅および角度幅に対応する。従って、より幅広い／より高さのあるボックスは、そのシーン内のより大きな物理的範囲にあわせて集積するにつれて、より低分解能の画素に対応する。

【0053】

図９における中央の図９３０は、再構成面がλ＝０にある理想メインレンズを示している。この面で、ボックスは、完全な矩形で、それぞれ等しい高さおよび幅となっている。左の図９４０および右の図９５０は、それぞれ再構成面がλ＝＋１０およびλ＝−１０にある。再構成面位置の変更である一般にリフォーカスと呼ばれる操作は、ラムダでの正の変化については時計回りに、または負の変化については反時計回りにそれぞれ光線空間図を変形することに相当する。ここで、各画素が集積する面積は、図でｘ方向に、等しく＋１０および−１０延ばされる。この再度の拡大は、シーンにおいてより大きな空間的面積に相当し、結果としてより低い分解能となる。これは、再構成面がλ＝０における光学焦点からさらに移動すればするほど、それに伴って分解能が低下するため、リフォーカス可能な総範囲を制限するというライトフィールドカメラの本質的な性質である。

【0054】

図８および９は、ライトフィールドカメラで理想レンズを用いる異なる制限を示している。結果となるライトフィールドカメラの分解能は、これらの制限の組み合わせである。図１０は、単位をラムダとして、Ｘ軸１０２０上に選択された再構成面をとり、それに対してＹ軸１０１０上に理想メインレンズをもつ系の分解能をとった模式図１０００を示している。全体的な包括的機能は、ラムダで示す画素の集積幅の変化により決定される。分解能におけるより大きな中央のくぼみ１０３０は、「ラムダゼロホール」に起因する。他の小さなくぼみ１０４０は、他の大きな投影パターンの退化による。パターンの全体的な形状は、それが増加して大きなラムダ値となるように投影されるにつれて、系の分解能は低下することを示す。

【0055】

理想レンズの数学的記述
メインレンズが理想レンズである場合、ライトフィールドカメラは、４次元空間における正規格子上でライトフィールドをサンプリングするものである。サンプルｐ_ｉの４次元座標（ｓ_ｉ，ｔ_ｉ，ｕ_ｉ，ｖ_ｉ）は、
ｓ_ｉ＝Ｍｉｃｒｏｌｅｎｓ（ｐ_ｉ）．ｘ（）、
ｔ_ｉ＝Ｍｉｃｒｏｌｅｎｓ（ｐ_ｉ）．ｙ（）、
ｕ_ｉ＝Ｃｅｎｔｅｒ（Ｍｉｃｒｏｌｅｎｓ（ｐ_ｉ））．ｘ（）−ｐ_ｉ．ｘ（）、
ｖ_ｉ＝Ｃｅｎｔｅｒ（Ｍｉｃｒｏｌｅｎｓ（ｐ_ｉ））．ｙ（）−ｐ_ｉ．ｙ（）
となり、

【0056】

ここで、（ｓ，ｔ）は、マイクロレンズアレイ面上で規定される空間座標であり、（ｕ，ｖ）は、角度座標である。Ｍｉｃｒｏｌｅｎｓ（ｐ_ｉ）は、ｐ_ｉをカバーするマイクロレンズを特定する。Ｃｅｎｔｅｒ（）は、マイクロレンズ中心におけるセンサ面座標を演算する。関数ｘ（）およびｙ（）は、マイクロレンズアレイ／センサアレイ面上のマイクロレンズ／センサの空間座標を返す。

【0057】

ライトフィールドサンプルが、特定の再構成面λに対して投影される場合、サンプルの２次元投影座標は、
ｘ_ｉ（，）＝ｓ_ｉ−λｕ_ｉ、
ｙ_ｉ（，）＝ｔ_ｉ−λｖ_ｉ
となる。

【0058】

いくつかの場合において、図１０に示すように投影されたサンプルの分布が、λ＝０の場合などで不利となるであろうということを知ることができる。

【0059】

しかしながら、レンズ系に収差を導入する場合、４次元座標は規則性を欠くようになり、それは投影座標についても同様である。例えば、球面収差をレンズに加えると、４次元座標（ｓ_ｉ，ｔ_ｉ，ｕ_ｉ，ｖ_ｉ）は、
ｓ_ｉ＝Ｍｉｃｒｏｌｅｎｓ（ｐ_ｉ）．ｘ（）＋α（ｒ_ｉ）^３、
ｔ_ｉ＝Ｍｉｃｒｏｌｅｎｓ（ｐ_ｉ）．ｙ（）＋α（ｒ_ｉ）^３、
ｕ_ｉ＝Ｃｅｎｔｅｒ（Ｍｉｃｒｏｌｅｎｓ（ｐ_ｉ））．ｘ（）−ｐ_ｉ．ｘ（）、
ｖ_ｉ＝Ｃｅｎｔｅｒ（Ｍｉｃｒｏｌｅｎｓ（ｐ_ｉ））．ｙ（）−ｐ_ｉ．ｙ（）
となる。

【0060】

ここで、ｒｉ＝（ｕ_ｉ＊ｕ_ｉ＋ｖ_ｉ＊ｖ_ｉ）^０．５である。この手法において、空間座標は、マイクロレンズの形状および角度座標の非線形関数となる。角度座標が十分に大きい場合、投影座標は、理想的な座標から十分に離れ、再構成面内に準ランダムに配置されたサンプルを生じる。特に、十分に大きい変化は、λ＝０における不利な再構成面を打ち消すであろう。図１１は、分解能対ラムダの図１１００であり、理想レンズ１１１０のライトフィールドカメラ対収差メインレンズ１１２０のライトフィールドカメラに関する。

【0061】

ライトフィールドカメラのレンズ設計
これまでのレンズの設計は、形状的にできるだけ理想に近づくように動作するレンズを設計することをゴールとしている。レンズ設計者は、レンズ性能を改良する多数の選択肢を持つ。通常の選択肢は、より高い屈折率、かつ、より小さいばらつきのガラスを用いることおよび／または非球面の表面を用いることにより、要素数が増す。これらの選択肢のすべては、対して最適となるように、設計へより多くの変数を加える影響を有する。また、これらの選択肢の多くが、レンズのコストを増す影響を持つ。

【0062】

先に論じたように、理想レンズが実際に最適な解決策とならないことから、ライトフィールドカメラのレンズ設計はこれまでのものとは異なる。収差をレンズに加えることは、すべての再構成面でのサンプル分布を準ランダム化することにより、かつ、リフォーカス可能な範囲に渡って鮮明な画素を均等に広げることにより、カメラ性能を改良することを可能とする。

【0063】

レンズ設計に導入すべき収差の量および種類は、系のｆ値、マイクロレンズの直径、マイクロレンズの焦点距離およびセンサの画素サイズなどの多数の因子に依存する。他の変動も可能であるが、経験則では、レンズスポットサイズの二乗平均の平方根はマイクロレンズ直径の１および３倍の間であるべきである。

【0064】

少なくとも１つの実施形態において、最適な設計を見出すために自動レンズ設計ツールが用いられる。これらのツールは、規定されたメリット関数に対して迅速に数百万の設計を反復して試験する。システムは、厚さ、半径、屈折率、アッベ数等の様々な系の変数を自動的に摂動する。これらの変動のそれぞれについて、システムはユーザ定義でありうるいくつかのメリット関数に基づいて値を計算する。少なくとも１つの実施形態において、設計プログラムは、できるだけ少ないサイクルで系の変数を最適な構成に向けて動かすように試みるアルゴリズムを含む。

【0065】

少なくとも１つの実施形態において、メリット関数は、ターゲット画像のシミュレーションに基づく。画像の例としては、黒と白の遷移よりなる傾斜エッジターゲット（slant edge target）でありうる。得られた画像のエッジに対して垂直に２次元フーリエ変換を取ることにより、系の光学的伝達関数を計算することができる。光学的伝達関数から、例えば特定の周波数における変調伝達関数（ＭＴＦ）である、異なる値を抽出することができる。例えば、設計者は、１０、２５、５０ラインペアパーミリメートル（line pairs per millimeter）でのＭＴＦに関心を寄せるかもしれない。

【0066】

ターゲット画像のサイズは、重要な検討事項となる。画像が大きければ大きいほど、追跡のためにより多くの光線が必要となるであろうシミュレーションが、より遅くなる。しかしながら、ターゲットが小さすぎると、精密な再構成を作るために撮影されるであろうライトフィールドが十分でなく、測定が有効でなくなるであろう。ターゲットのサイズはまた、ラムダの絶対値と対応すべきである。少なくとも１つの実施形態において、シミュレーションされるターゲットの画像は、所与のラムダにおける焦点サイズの概ね５倍の大きさとする。

【0067】

図１２は、一実施形態によるデータベース５１１を示す概略ブロック図である。データベース５１１は、様々なデータ構造を含んでよく、その例を図１２に示している。

【0068】

より詳細には、データベース５１１は、属性１２１０、構成１２２０、メリット関数１２３０、メリット関数値１２４０、試験フィールドポイント１２５０、試験再構成面位置１２６０、光線補正関数１２７０、擬似撮影ライトフィールド１２８０および／または組合せ重み１２９０を含みうる。これらのデータ構造は、本明細書で論じられる情報および／またはアルゴリズムに関し、そのいくつかはすでに記載している。

【0069】

属性１２１０は、例えばカメラ８００であるライトフィールドカメラの設計の様々な態様に関しうる。例えば、属性１２１０は、寸法、材料選定、性能仕様、許容誤差および／またはカメラ８００の様々な構成要素に関係する他の測度を含みうる。属性１２１０は、本開示の方法に従って変形することおよび／または最適化することが可能であるカメラ８００の態様を好適に含みうる。

【0070】

属性１２１０は、これまでの２次元（２Ｄ）カメラに関する属性および／またはライトフィールドカメラ特有の属性を含みうる。ライトフィールドカメラ特有の属性は、限定されるものではないが、マイクロレンズアレイの構成、メインレンズおよび／または画像センサに対するマイクロレンズアレイの位置に関しうる。

【0071】

いくつかの実施形態では、属性１２１０は、カメラ８００のメインレンズ設計に関連する１つまたは複数のメインレンズ属性１２１２を含みうる。そうしたメインレンズ属性１２１２は、限定されるものではないが、メインレンズの１つまたは複数の構成要素についての厚さ、半径、屈折率およびアッベ数を含む。

【0072】

付加的に、または代替的に、属性１２１０は、カメラ８００の位相マスクの設計に関する１つまたは複数の位相マスク属性１２１４を含みうる。続いて記載されるように、位相マスクはメインレンズとともに用いられうる。位相マスク属性１２１４は、例えば、位相マスクによって適用される位相シフトのパラメータを含みうる。

【0073】

構成１２２０は、カメラ８００の構成でありうる。そのため、各構成１２２０は、多数の変数１２２２を含みうるものであり、そのそれぞれは属性１２１０のひとつと関係する。変数１２２２は、本開示の方法に従って、計算的に変更および／または最適化されうる。変数１２２２の別個の組み合わせが構成１２２０となりうる。構成１２２０は、本開示の方法によって評価されるカメラ８００の構成のすべてを任意に含みうるか、あるいは、最適な構成のみおよび／または現在比較されている構成を、構成１２２０において保持してもよい。

【0074】

メリット関数１２３０は、構成１２２０の性能の評価に用いられる１つまたは複数のアルゴリズムを含みうる。例としてのメリット関数の適用について、以下に示し、記載する。

【0075】

メリット関数値１２４０は、構成１２２０へのメリット関数１２３０の適用より得られる値でありうる。そのため、メリット関数値１２４０は、構成１２２０の各構成につき１つのメリット関数値を任意に格納しうる。メリット関数値１２４０は、それにより構成１２２０の性能が評価されるスコアとして機能しうる。そのため、２つの構成１２２０についてのメリット関数値１２４０は、いずれの構成１２２０がより優れているかを決定するために互いを比較するようにしてよい。

【0076】

特に、メリット関数値１２４０は、カメラ８００の動作の、例えば焦点距離、主光線角度、メインレンズまたはメインレンズ構成要素の最小中心ガラス厚さ、メインレンズまたはメインレンズ構成要素の最大中心ガラス厚さおよび／または色収差の最小化等である品質のただひとつに基づいてそれぞれ決定されうる。あるいは、メリット関数値１２４０は、それぞれ、カメラ８００の動作の、例えば（限定はされないが）上記に列挙したもののうちどれでも複数の品質を組み合わせたものでありうる。

【0077】

試験フィールドポイント１２５０は、試験対象であるカメラ８００のセンサ上の１つまたは複数の位置の定義を含みうる。試験フィールドポイント１２５０は、例えば、メリット関数１２３０の適用中にシミュレーションされた特定のセンサ画素についての直交座標である。

【0078】

同様に、試験再構成面位置１２６０は、試験対象であるカメラ８００の１つまたは複数の再構成面位置の定義を含みうる。試験再構成面位置１２６０はカメラ８００のマイクロレンズアレイの位置に対して格納および試験されうる。より詳細には、試験再構成面位置１２６０は、例えば、本開示のように、ラムダの倍数単位で格納および利用されうる。

【0079】

光線補正関数１２７０は、実レンズ系および理想レンズ系の座標間で写像するために用いられる１つまたは複数のアルゴリズムを含みうる。光線補正関数の一例については、図６の議論において上記で述べている。

【0080】

擬似撮影ライトフィールド１２８０は、構成１２２０の各構成における、カメラ８００によって撮影されたライトフィールドデータのシミュレーションを含みうる。擬似撮影ライトフィールド１２８０は、構成１２２０の各構成について、あるいは現在評価および／または比較されている構成１２２０についてのみの擬似撮影ライトフィールドを含みうる。

【0081】

組合せ重み１２９０は、フィールドポイントおよび再構成面位置の組み合わせに適用される重みを含みうる。各組合せ重み１２９０は、１つの特定のフィールドポイントおよび１つの特定の再構成面位置のみから成る組み合わせに適用しうる。あるいは、各組合せ重み１２９０は、フィールドポイントの範囲および／または再構成面位置の範囲を含む組み合わせに適用しうる。組合せ重み１２９０は、その後ライトフィールドデータ処理において用いて、最終的なライトフィールド画像を作る際に、ライトフィールドデータの高品質の部分に対して、低品質の部分よりも重く重み付けさせることが可能となりうる。これについては、以下にさらに記載する。

【0082】

図１３、１４および１５は、様々な実施形態によるライトフィールドカメラの設計を高めるおよび／または最適化するための方法を示す。これらは、以下に示し、説明される。

【0083】

セットアップ
図１３は、一実施形態による、ライトフィールドカメラ設計アルゴリズムに関するセットアップ手順実行の方法１３００を示すフロー図である。方法１３００は、例えば、図５のデバイス５０１などである演算装置で行われ、図２および３のカメラ８００などのライトフィールド画像撮影デバイスの設計を整えるために用いられうる。方法１３００は、開始（１３１０）され、以下の通りに進みうる。
１．ステップ１３２０において、ユーザは、試験対象となるフィールドポイントまたはセンサ上の位置を規定する。これらは、図１２の試験フィールドポイント１２５０でありうる。
２．ステップ１３３０において、ユーザは、試験対象の（１つまたは複数の）ラムダ値を規定する。これらは、図１２の試験再構成面位置１２６０でありうるもので、先に概説したように、ラムダの倍数として表現されうる。
３．ステップ１３４０において、ユーザは、初期レンズ設計形式を与え、変数（半径、厚さ、屈折率等）として所望のパラメータを設定する。このステップは、図１２の属性１２１０および構成１２２０の提供をもたらしうる。方法１３００は、その後終了（１３９０）しうる。

【0084】

最適化
図１４は、一実施形態による、ライトフィールドカメラ設計アルゴリズムを実行し、メインレンズおよび／または任意の位相マスクなどであるカメラ構成要素の設計の最適化する方法１４００を示すフロー図である。方法１４００は、例えば、図５のデバイス５０１などである演算装置で行われ、図２および３のカメラ８００などであるライトフィールド画像撮影デバイスを設計するために用いられうる。方法１４００は、開始（１４１０）され、以下の通りに進みうる。
１．ステップ１４２０において、規定されたライトフィールドメリット関数から、初期メリット値が計算される。これには、図１２にも示すように、メリット関数値１２４０を取得するように、ステップ１３４０において選択された初期構成に基づいた図１２のメリット関数１２３０の適用が必要となりうる。
２．ステップ１４３０において、系は、設定された変数のうちの１つを変更することによって摂動される。これには、カメラ８００の新しい構成１２２０を作るように、変数１２２２の１つの変更が必要となりうる。
３．ステップ１４４０において、新しいメリット関数値が計算される。これには、新しいメリット関数値１２４０を取得するように、ステップ１４３０において作られた構成に基づいた図１２のメリット関数１２３０（例えば、ステップ１４２０で用いられる同じメリット関数）の適用が必要となりうる。
４．ステップ１４５０において、新しいメリット関数値１２４０を初期メリット関数値１２４０と比較しうる。
５．ステップ１４６０において、メリット関数値が改良されたか悪化されたかに基づいて、システムは、新たな摂動された系を生成する。これには、カメラ８００の新しい構成１２２０を作るように、再度、変数１２２２の１つの変更が必要となりうる。
６．クエリ１４７０において、決定は、終了条件が成立しているかどうかによりなされうる。多数の終了条件は、同時に適用されうるものであり、限定される必要はないが、ユーザにより方法１４００を終了するとき、方法１４００で平衡に到達して良好なカメラ８００の設計の最適化が示されたとき、一定数の反復を行ったとき、所定時間の間で方法１４００を継続したとき等を含みうる。終了条件が成立する場合、方法１４００は終了（１４９０）しうる。しない場合、方法１４００は、ステップ１４４０に戻り、終了条件が成立するまで、ステップ１４４０、ステップ１４５０、ステップ１４６０、クエリ１４７０を通して反復して継続しうる。

【0085】

方法１４００は、ある構成から離れるように系を摂動することで、該構成と比較して、望ましい性能を欠く結果となるとき（低下するメリット関数値１２４０の計算により決定されることにより）、平衡に達しているとみなされうる。そして該構成は、カメラ８００について最適な構成であるとみなされうる。少なくとも１つの実施形態において、局所的に最適な解決策にとらわれることがないように、システムは多くの異なる摂動を行い、並行して多くのパスに沿った最適化を追うことが可能である。このようにすれば、例えば、それらのメリット関数値１２４０を比較して最も望ましいメリット関数値１２４０をもつ最適な構成を選択することにより取得される様々な最適な構成の中から、最適な選択肢が選ばれうる。

【0086】

ライトフィールドメリット関数の計算
図１５は、一実施形態による、図１４のステップ１４２０および／またはステップ１４４０を実行するために行われうるメリット関数計算を実行する方法を示すフロー図である。ステップ１４２０は、例えば、図５のデバイス５０１などである演算装置で行われうる。ステップ１４２０は、開始（１５１０）され、以下の通りに進みうる。
１．ステップ１５２０において、第１のフィールドポイントおよびラムダ値が選択される。これには、ステップ１３２０およびステップ１３３０において選択されたそれらから１つの試験フィールドポイント１２５０および１つの試験再構成面位置１２６０を選択することが必要となりうる。
２．ステップ１５３０において、構成がシミュレータに渡されて、図６に示すように光線補正関数を生成する。
３．ステップ１５４０において、その画像が画像空間内の共役フィールドおよびラムダ（再構成面位置）に対応するように、ターゲットをオブジェクト空間に配置して測定する。
４．ステップ１５５０において、構成を光線追跡し、擬似撮影ライトフィールドを作る。これは、対応するラムダ値（すなわち、対応する再構成面位置）に対してリフォーカスされる。
５．ステップ１５６０において、光学的伝達関数が計算され、所望の値が演算されて、レンズ設計ソフトウェアに返される。これらの所望の値は、最終的に、関連したメリット関数値１２４０を取得するために用いられうる。
６．クエリ１５７０において、終了条件が成立しているかどうかにより、決定がなされうる。多数の終了条件は、同時に適用されうるものであり、限定される必要はないが、試験フィールドポイント１２５０および試験再構成面位置１２６０のすべての組み合わせが尽きたとき、メリット関数計算処理をユーザが終了するとき等を含みうる。終了条件が成立する場合、ステップ１４２０は終了（１５９０）しうる。終了条件が成立しない場合、ステップ１４２０は、ステップ１５８０へ進みうる。
７．ステップ１５８０において、試験フィールドポイントおよび試験再構成面位置の新しい組み合わせが選択されうる。これは、ステップ１５２０でのように行われうる。ステップ１４２０は、ステップ１５３０に戻り、終了条件が成立するまで、ステップ１５３０、ステップ１５４０、ステップ１５５０、ステップ１５６０、クエリ１５７０およびステップ１５８０を通して反復して継続しうる。

【0087】

図１５でのようなステップ１４２０の動作を含む、図１３の方法１３００および図１４の方法１４００の結果は、カメラ８００の１つまたは複数の最適な構成となりうる。こうした最適な構成において、ユーザ５００によって選択された変数１２２２は、結果として最良な取得可能なメリット関数値１２４０となるレベルにありうる。メリット関数を認識するライトフィールドは、これまでのレンズ設計のメリット関数と同様に組み合わせることが可能である。よくある例としてはメリット関数を含むものであるが、焦点距離、主光線角度、最小および最大中心ガラス厚さ、色収差の最小化等に対して最適化する２次元変数が数百ある。

【0088】

球面収差ライトフィールドレンズ
いくつかの特定の収差は、ライトフィールドカメラレンズによく適している。特に球面収差は、その大きさが光線の射出瞳位置にのみ依存するため、有用な収差である。

【0089】

図１６は、図８でのような投影パターン断面１６００を示すが、球面収差を有するレンズを備える。示すように、サンプル座標の変更が、ラムダ範囲中で準ランダムなサンプル分布をもたらしうる。レンズが球面収差のみを有する場合、このサンプルパターンは、レンズの全視野に渡って均一となるだろう。これは、コマ収差または非点収差などに対して言うことはできないものであり、それはそれらの大きさが、レンズの光軸からのフィールドの径方向の距離に依存しているからである。

【0090】

図１７は、球面収差をもつレンズについての光線空間図１７００を示している。上記光線空間図は、ライトフィールドカメラにおいて球面収差の他の興味深い性質を示す。中央の図１７１０に示すように、λ＝０において、各画素は、光線空間内でもはや等しいサイズの矩形ではない。代わりに、図は「Ｓ」字形状にゆがんでいる。結果として、各画素の境界領域の幅が示しているように、図中央の画素は「シャープ」であり、上方および下方の画素は「ぼやけて」いる。左方の図１７２０に示すように、λ＝−１０において、図は反時計回りに変形されている。ここでぼやけている画素およびシャープな画素が反転するため、上方および下方の画素はシャープとなるが、中央の画素はよりぼやける。これは、理想レンズと比較して、負のラムダ値においてライトフィールドカメラの分解能が増す効果を持つ。逆にλ＝１０におけるすべての画素は、右方の図１７３０に示すように、よりぼやけるようになるため、正のラムダでの分解能は、理想レンズをもつ系よりもより低くなる。カメラからさらに離れる実世界のオブジェクトに相当する正のラムダとして、正のラムダにおけるこの分解能の損失は、許容可能なトレードオフとすることが可能である。通常のカメラは、光学的な無限遠をλ＝７などの一定のラムダ値とするように、カメラの焦点を合わせるように構成する。従って、λ＝７を過ぎたシステムの分解能は問題にならないものであり、それは実オブジェクトがもうそれらの面に合焦することはないためである。

【0091】

ライトフィールドカメラ用三次位相板
ライトフィールドカメラ専用レンズの設計への代替としては、代わりに理想または理想に近いレンズとともに位相マスクを用いることがある。位相マスクは、瞳位置の関数として変化する位相シフトを波面上に伝える。従って、該マスクは、レンズの射出瞳などの任意の瞳面位置に配置されることが可能である。位相マスクの例は、三次位相板（cubic phase mask）である。このタイプの位相マスクは、通常、波面符号化（Wavefront coding）で用いられる。この系の利点は、既製品のレンズをその光学的な規格や特性を知る必要なく用いることが可能であることである。

【0092】

図１８は、図８でのような投影パターン断面１８００を示しているが、三次位相板で変形を加えた理想レンズのものである。サンプル座標の変更が、ラムダ範囲中で準ランダムかつ非対称なサンプル分布をもたらしうる。球面収差の場合と同様に、サンプルパターンは視野全体に渡って均一となるであろう。しかしながら、収差は奇数乗に依存するため（即ち、奇数である指数を有する）、球面収差のように径方向に対称的でない（負の数の偶数乗は常に正であるが、負の数の奇数乗は負であるため）。

【0093】

図１９は、射出瞳において三次位相板をもつ理想レンズについての光線空間図１９００を示している。球面収差の「Ｓ」形状の代わりに、三次位相板の光線空間図は「Ｕ」形状を有する。中央の図１９１０に示すように、λ＝０において、「ぼやけて」いる画素とシャープな画素とが再び混在している。球面収差の場合との比較で大きな違いは、「シャープ」な画素が、正のラムダ範囲と負のラムダ範囲との間で平等にバランスを保っていることである。これは、理想レンズおよび球面収差レンズの両者と比較して、カメラのシャープなリフォーカス可能範囲がさらに拡大する効果を持つ。

【0094】

任意の収差および最適化
球面収差および三次位相板は、ライトフィールドカメラ内の性能を改良する非理想レンズ系の２つの簡単な例である。しかしながら、少なくとも１つの実施形態において、システムは、系内で規定される自由変数の全てに渡って最適化して、これらの特定の例に関して必ずしも好ましい結果を示すわけではない。最適化を十分長く行うことが可能であれば、結果として得られる設計が、最小（または最大）の規定されたメリット関数である。

【0095】

デジタル絞り（Digital Aperturing）
上記３つの例は、（ｘ，ｙ，ｕ，ｖ）座標の変更を伴うサンプルが、それらが最もシャープとなる特定のラムダ範囲を有することを示している。ライトフィールドフォトグラフィの他の利点は、投影中に、収差を補正可能であるだけでなくサンプルに重み付けすることも可能であることである。これは、ある画素が、不良である、ノイズがある、ぼやけていることがわかっている場合に、その重要度の重みを減らすことが可能、またはそれを再構成から除去することさえ可能であることを意味している。例えば、波面符号化の例において、λ＝０における再構成は図の上方および下方のサンプルについて重みを減らすことが可能である。結果として得られる画像は、すべてのサンプルを平等に用いた再構成画像よりもよりシャープとなるはずである。これは、２次元フォトグラフィにおけるレンズの絞りに類似している。撮影者は、通常、画像の鮮鋭度を増すために最大限の開口からレンズを絞っていくであろう。同様に、λ＝１０またはλ＝−１０に対してリフォーカスする場合、再構成の鮮鋭度を増すために、それぞれ上半分のサンプルまたは下半分のサンプルについて、重みを減らすことが可能である。

【0096】

上記の説明および参照した図面は、可能な実施形態に関して特定の詳細を説明している。当業者は、本明細書に記載の技術が他の実施形態において実施されうることを十分理解するであろう。まず、構成要素の特定の名称、大文字で記載した用語、属性、データ構造、もしくはその他のプログラミングまたは構造的態様は、必須または重大ではなく、本明細書に記載の技術を実装する機構は、異なる名称、形式またはプロトコルを具備しうる。さらに、システムは、記載のようなハードウェアおよびソフトウェアの組み合わせを介して、またはハードウェア要素の全体において、またはソフトウェア要素の全体において実行されうる。また、本明細書に記載の様々なシステムの構成要素間における特定の機能の分割は、単なる例示であって必須ではなく、１つのシステム構成要素により行われる機能は、代わりに複数の構成要素により行われてもよく、複数の構成要素により行われる機能は、代わりに１つの構成要素により行われてもよい。

【0097】

明細書中での「一実施形態」または「実施形態」の参照は、該実施形態に関連する特定の特徴、構造、特性が、少なくとも１つの実施形態に含まれることを意味する。明細書中の様々な状況において現れる「１つの実施形態において」というフレーズは、必ずしも同じ実施形態の全てを指しているわけではない。

【0098】

いくつかの実施形態においては、単一でまたは任意の組み合わせでのいずれかで、上述した技術を行うシステムまたは方法を含みうる。他の実施形態は、非一時的なコンピュータ読み取り可能な記憶媒体および、演算装置または他の電子機器デバイス内のプロセッサに対して上述した技術を行わせるために該媒体上で符号化されるコンピュータプログラムコードを含むコンピュータプログラム製品を含みうる。

【0099】

先のいくつかの部分は、演算装置のメモリ内のデータビット上でのアルゴリズムおよび動作の記号的な表現の観点で表されている。これらのアルゴリズム的な記載および表現は、データ処理分野の当業者によって用いられ、他の当業者に対して彼らの作業の実体を最も効果的に伝える手段である。アルゴリズムは、ここで、および一般に、所望の結果を導く首尾一貫した一連の工程（指示）であるように表されている。工程は、物理量の物理的な操作を必要とするものである。必ずしもそうではないが、通常これらの量は、格納、転送、組み合わせ、比較または別に操作されることが可能である電気的、磁気的または光学的な信号の形式をとる。主として通常の使用の理由のために、これらの信号をビット、値、要素、シンボル、文字、用語、数などと時折称することは簡便である。さらに、一般性を欠くことなく、物理量の物理的な操作を必要とする工程のうち特定の配列を、モジュールまたはコードデバイスと時折称することもまた簡便である。

【0100】

しかしながら、これらおよび同様の用語のすべては、適切な物理量と関係するものであり、かつ、単にこれらの量に適用される都合のよいラベルであることに注意されるべきである。はっきりと以下で論じるものとは別に具体的に述べるものでなければ、「処理」または「演算」または「計算」または「表示」または「決定」等の用語を用いての議論が、コンピュータシステムメモリまたは記録部または情報を格納、伝送、または表示する他のそうしたデバイス内で物理的（電子的）量として表現されるデータを扱い変換するような、コンピュータシステムまたは類似の電子演算モジュールおよび／またはデバイスの動作および処理を指すものであることは、明細書を通して容易にわかるところである。

【0101】

ある態様は、本明細書に記載の処理工程および指示をアルゴリズムの形式で含む。本明細書に記載の処理工程および指示は、ソフトウェア、ファームウェアおよび／またはハードウェア内で具現化されることが可能であり、ソフトウェア内で具現化の場合は内部に存在させるようにダウンロードされて、種々の動作システムによって用いられる異なるプラットフォームから動作可能であることに注意するべきである。

【0102】

いくつかの実施形態は、本明細書に記載の動作を行う装置に関する。この装置は、必要な目的のために特別に構築されうるか、またはそれは演算装置内に格納されるコンピュータプログラムによって選択的に活性化または再構成される汎用性演算装置を含みうる。そうしたコンピュータプログラムは、限定するものではないが、フロッピーディスク、光ディスク、ＣＤ−ＲＯＭ、光磁気ディスク、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、ソリッドステートドライブ、磁気または光カード、特定用途向け集積回路（ＡＳＩＣ）を含む任意のタイプのディスク、および／または電子的指示の格納に適し、かつ、それぞれコンピュータシステムバスに結合される任意のタイプの媒体などのコンピュータ読み取り可能な記憶媒体に格納されうる。さらに、本明細書で参照する演算装置は、１つのプロセッサを含みうるか、または増加した演算機能のための多様なプロセッサ設計を用いる構成でありうる。

【0103】

本明細書に示すアルゴリズムおよび表示は、本質的に、特定の演算装置、仮想化システムまたは他の装置に関係付けられるものではない。様々な汎用システムもまた、本明細書における教示に基づくプログラムとともに用いてよく、またはそれは、必要な方法の工程を行うためのより具体化された装置を構築するために有用であることを証明しうる。種々のこれらのシステムのために必要な構造は、本明細書で提供される記載から明らかであろう。また、本明細書で述べた技術は、特定のプログラミング言語について記載されていない。種々のプログラミング言語を用いて本明細書に記載の技術を実行してよく、特定の言語に関する上記のいずれの参照も、例示目的のためのみに提供されている。

【0104】

従って、様々な実施形態において、本明細書に記載の技術は、ソフトウェア、ハードウェアおよび／またはコンピュータシステム、演算装置または他の電子デバイスを制御するための他の要素、もしくはそれらの任意の組合せまたは複数のそれらとして実行可能である。そうした電子デバイスは、この分野において周知の技術によれば、例えば、プロセッサ、入力デバイス（キーボード、マウス、タッチパッド、トラックパッド、ジョイスティック、トラックボール、マイクロホンおよび／または任意のそれらの組合せなど）、出力デバイス（例えば画面および／またはスピーカ等）、メモリ、長期保存格納装置（例えば、磁気的格納装置および／または光学的格納装置等）および／またはネットワーク結合性を含むことが可能である。そうした電子デバイスは、ポータブルまたは非ポータブルでありうる。本明細書に記載の技術を実行するために用いられうる電子デバイスの例には、携帯電話、携帯情報端末、スマートフォン、キオスク、サーバコンピュータ、企業向け演算装置、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、家庭用電子デバイス、テレビ、セットトップボックス等を含む。本明細書に記載の技術を実行するための電子デバイスは、例えば、Ｌｉｎｕｘ(登録商標)、ワシントン州レッドモンドのＭｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎより入手可能なＭｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ、カリフォルニア州クパチーノのＡｐｐｌｅ Ｉｎｃ．より入手可能なＭａｃ ＯＳ Ｘ、カリフォルニア州クパチーノのＡｐｐｌｅ Ｉｎｃ．より入手可能なｉＯＳ、カリフォルニア州マウンテンヴューのＧｏｏｇｌｅ， Ｉｎｃ．より入手可能なＡｎｄｒｏｉｄおよび／またはデバイス上での使用に適合するその他の動作システムなどの任意の動作システムを用いてよい。

【0105】

様々な実施形態では、本明細書に記載の技術は、分散型処理環境、ネットワーク型演算環境またはウェブ型演算環境内で実行可能である。要素は、クライアント演算装置、サーバ、ルータおよび／または他のネットワークまたは非ネットワークの構成要素上で実行可能である。いくつかの実施形態では、本明細書に記載の技術は、クライアント／サーバ構成を用いて実行されて、いくつかの構成要素は、１つまたは複数のクライアント演算装置上で実行され、他の構成要素は１つまたは複数のサーバ上で実行される。一実施形態では、本開示の技術の実行中に、クライアントはサーバからの内容をリクエストし、かつ、サーバはリクエストに応じて内容を返す。そうしたリクエストおよびレスポンスを可能にするため、かつ、それによってユーザがそうした相互作用を開始および制御し、現れた内容を見ることが可能となるようなユーザインタフェースを備えるために、クライアント演算装置にはブラウザがインストールされうる。

【0106】

いくつかの実施形態では、記載の技術を実行するためのネットワーク構成要素のいずれかまたはすべては、有線または無線または任意のそれらの組み合わせのいずれかである任意の好適な電子ネットワークを用いることと、そうした通信を可能にするための任意の好適なプロトコルを用いることとにより互いに通信可能に結合されうる。そうしたネットワークの一例はインターネットであるが、本明細書に記載の技術は、他のネットワークを用いても同様に実行可能である。

【0107】

限られた数の実施形態を本明細書に記載しているが、上記記載の利益を有する当業者は、特許請求の範囲から逸脱しない他の実施形態が考えられうることを十分理解しているであろう。また、明細書中で用いた言語は、主として可読性および教授目的のために選択され、発明の主題を定める、または限定するために選択されたものとなりうるものではないことが留意されるべきである。従って、この開示は例示を意図しているが、限定するものではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】