特許 6978833 ライトフィールドカメラによって取り込まれたイメージに生じる口径食効果を補正する方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6978833

(24)【登録日】2021年11月16日

(45)【発行日】2021年12月8日

(54)【発明の名称】ライトフィールドカメラによって取り込まれたイメージに生じる口径食効果を補正する方法及び装置

(51)【国際特許分類】

   H04N 5/232 20060101AFI20211125BHJP

   G03B 15/00 20210101ALI20211125BHJP

   G03B 11/00 20210101ALI20211125BHJP

   H04N 5/225 20060101ALI20211125BHJP

【ＦＩ】

   H04N5/232 290

   G03B15/00 B

   G03B11/00

   H04N5/225 410

【請求項の数】9

【外国語出願】

【全頁数】31

(21)【出願番号】特願2016-242261(P2016-242261)

(22)【出願日】2016年12月14日

(65)【公開番号】特開2017-139743(P2017-139743A)

(43)【公開日】2017年8月10日

【審査請求日】2019年12月2日

(31)【優先権主張番号】15307003.2

(32)【優先日】2015年12月15日

(33)【優先権主張国】EP

(73)【特許権者】

【識別番号】518341334

【氏名又は名称】インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】セイフィ モズデフ

(72)【発明者】

【氏名】ドラジック，ヴァルテール

(72)【発明者】

【氏名】ケルビリユ，ポール

【審査官】 津幡 貴生

(56)【参考文献】

【文献】 米国特許出願公開第２０１５／０１３０９０７（ＵＳ，Ａ１）

【文献】 国際公開第２００７／０８８９６５（ＷＯ，Ａ１）

【文献】 特開２０１５−１４４３２７（ＪＰ，Ａ）

【文献】 特表２０１２−５２４４６７（ＪＰ，Ａ）

【文献】 特開２０１２−１８６７６４（ＪＰ，Ａ）

【文献】 特開２００６−２５３９７０（ＪＰ，Ａ）

【文献】 特開２０１５−２０１７２２（ＪＰ，Ａ）

【文献】 特表平０８−５０９８５２（ＪＰ，Ａ）

【文献】 特開２０１０−０５４３２０（ＪＰ，Ａ）

【文献】 特開平０６−１４０６１２（ＪＰ，Ａ）

【文献】 国際公開第２０１０／１２０５９１（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１２／０２２９６８３（ＵＳ，Ａ１）

【文献】 中国特許出願公開第１９５９３４１（ＣＮ，Ａ）

【文献】 韓国公開特許第１０−２０１５−００５４６１５（ＫＲ，Ａ）

【文献】 中国特許出願公開第１０２２８２５９０（ＣＮ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−２５７

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １１／００

(57)【特許請求の範囲】

【請求項1】

複数のフォトサイトを含むイメージセンサアレイを備えたライトフィールドカメラによって取り込まれたイメージに生じる、口径食効果を補正する方法であって、
各フォトサイトから輝度値を取得することと、
各フォトサイトの口径食効果を補償するための重み値の組を取得することであって、前記重み値の組が前記ライトフィールドカメラの現在の設定と関連づけられていることと、
各フォトサイトの前記輝度値を、前記取得された前記重み値の組に基づいて変更することと、
を含み、
前記ライトフィールドカメラがさらに、カラーフィルタの異なる色が各フォトサイトと関連づけられているカラーフィルタアレイを備え、
前記重み値が、
ランバート物体イメージが取り込まれたときの各フォトサイトの輝度値を受け取ることと、
フォトサイト上のカラーフィルタの色の最大輝度値を、前記受け取った輝度値から決定することと、
前記フォトサイト上の前記カラーフィルタの前記色による影響を受けた輝度値を補正する補正値を取得することと、
フォトサイトの重み値を、前記フォトサイトの前記輝度値、前記補正値、及び色の前記最大輝度値に基づいて計算することと、
によって計算される、方法。

【請求項2】

前記重み値が、
ランバート物体イメージが取り込まれたときの各フォトサイトの輝度値を受け取ることと、
前記受け取った輝度値から最大輝度値を決定することと、
前記最大輝度値を、前記ランバート物体イメージが取り込まれたときの各フォトサイトの前記それぞれの輝度値で割ることと、
によって計算される、請求項１に記載の方法。

【請求項3】

前記計算するステップがさらに、
値を、ある色の前記最大輝度値を前記フォトサイトの輝度値で割ることによって決定することと、
前記決定された値に前記補正値を乗算することと、
を含む、請求項１に記載の方法。

【請求項4】

前記フォトサイトの輝度値を閾値と比較することと、
前記フォトサイトの前記輝度値が前記閾値未満である場合、前記フォトサイトの前記重み値を０に等しく設定することと、
をさらに含む、請求項１から３のいずれか一項に記載の方法。

【請求項5】

各フォトサイトの輝度値を変更することが、各フォトサイトの輝度値に、各フォトサイトと関連づけられたそれぞれの重み値を乗算することによって実行される、請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記ライトフィールドカメラがさらに、重み値及び補正値の組を記憶する記憶装置を備え、重み値の前記それぞれの組が前記ライトフィールドカメラのそれぞれの設定と関連づけられ、それぞれの重み値が前記それぞれのフォトサイトと関連づけられ、前記それぞれの補正値により、フォトサイト上のカラーフィルタの前記色によって影響を受けた輝度値を補正する、請求項１に記載の方法。

【請求項7】

複数のフォトサイトを含むイメージセンサアレイを備えたライトフィールドカメラによって取り込まれたイメージに生じる、口径食効果を補正するデバイスであって、各フォトサイトの口径食効果を補償するための重み値の組を記憶する記憶装置を備える、デバイスと、
ライトフィールドカメラによって取り込まれた各フォトサイトの輝度値を取得するように、
各フォトサイトの重み値の組を取得するように、かつ
各フォトサイトの前記輝度値を、前記取得された重み値の組に基づいて変更するように
構成されたプロセッサと、を備え、
前記ライトフィールドカメラがさらに、カラーフィルタの異なる色が各フォトサイトと関連づけられているカラーフィルタアレイを備え、
前記重み値が、
ランバート物体イメージが取り込まれたときの各フォトサイトの輝度値を受け取ることと、
フォトサイト上のカラーフィルタの色の最大輝度値を、前記受け取った輝度値から決定することと、
前記フォトサイト上の前記カラーフィルタの前記色による影響を受けた輝度値を補正する補正値を取得することと、
フォトサイトの重み値を、前記フォトサイトの前記輝度値、前記補正値、及び色の前記最大輝度値に基づいて計算することと、
によって計算される、デバイス。

【請求項8】

通信ネットワークからダウンロード可能な、及び／又はコンピュータによって読取り可能な媒体に記録された、及び／又はプロセッサによって実行可能な、コンピュータプログラム製品であって、請求項１から６の少なくとも一項による方法のステップを実施するためのプログラムコード命令を含む、コンピュータプログラム。

【請求項9】

非一時的な有形コンピュータ可読媒体であって、これに記録され、プロセッサによって実行することができるコンピュータプログラムを、請求項１から６の少なくとも一項による方法のステップを実施するためのプログラムコード命令を含めて備える、非一時的な有形コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は一般に、多視点画像（multiple views imaging）の分野に関し、特に、ライトフィールドカメラを使用する多重ライトフィールド（multiple lightfields）に関する。

【背景技術】

【0002】

ライトフィールドカメラは、イメージセンサを横切る各光束に沿って進む光の量を、主レンズとイメージセンサの間に配置されているマイクロレンズアレイを使用して測定することができる。次に、このライトフィールドは後処理されて、その場面の異なる視点からのイメージが再構築される。ライトフィールドはまた、使用者がそのイメージの焦点を変えることも可能にする。

【0003】

図１は、ライトフィールドカメラの例示的な構成を示す。ライトフィールドカメラ１は、イメージセンサアレイ１３と結合されたレンズ構成を備える。イメージセンサアレイ１３は、Ｘ列とＹ行からなる格子の形に配置された、大きい数ｐのフォトサイト（photosites）１３１、１３２、１３３〜１３ｐを備え、ｐはＸ×Ｙに相当する要素の数である。カラーフィルタアレイ１２がイメージセンサアレイ１３の上に配置される。カラーフィルタアレイ１２では通常、ＲＧＢ（赤、緑及び青）カラーフィルタをイメージセンサアレイ１３の上に配置する。このＲＧＢ配置は、たとえばベイヤーフィルタモザイクとすることができる。レンズ構成は、主レンズとも呼ばれる一次レンズ１０と、ｍが正の整数である複数のｍ個のマイクロレンズ１１１、１１２、１１ｍを含む、小型レンズアレイ１１とを含む。マイクロレンズ１１１、１１２、１１ｍは、複数のフォトサイト１３１、１３２、１３３〜１３ｐに光学的に結合されるように配置される。フォトサイト１３１、１３２、１３３〜１３ｐの番号は、ライトフィールドカメラによって取得された場面の視像の番号に対応する１つのマイクロレンズと光学的に関連づけられる。異なる視像を得るために、生イメージ（すなわち、イメージセンサアレイ１３により取り込まれたカラーセンサデータ）がデモザイクされてから、逆多重化される。デモザイクステップの後で、ＲＧＢイメージデータ値が、各視像のそれぞれのフォトサイト位置で取得される。

【0004】

ライトフィールドカメラによる場面の取込イメージは、視像逆多重化、すなわち２Ｄ生イメージから４Ｄライトフィールドへのデータ変換を受けなければならない。逆多重化処理は、生イメージのフォトサイトを、ある特定の入射角の光線を取り込むすべてのフォトサイト１３１が、サブアパーチャー画像（sub-aperture view）を生成する同一のイメージとして保存されるように再編成することから成る。各サブアパーチャー画像は、ある異なる角度のもとでの場面の投影像である。サブアパーチャー画像の組はブロックマトリクスを生成し、中心のサブアパーチャー画像は、主レンズの中心部分を通過する光線を取り込むフォトサイトを記憶する。実際、光線の角度情報は、マイクロレンズイメージ中心に対するマイクロレンズイメージ内の相対的フォトサイト位置によってもたらされる。

【0005】

ライトフィールドカメラを使用する際の欠点の１つは、周辺サブアパーチャー画像に暗い視像（輝度値が小さいことによる）を生じさせる口径食効果（vignetting effect：ヴィネット（ヴィネッティング）効果）である。

【0006】

図１は、屈折光エネルギーが周辺サブアパーチャー画像では小さいことによるライトフィールドカメラのこのような欠点を示す。破線は、口径食効果により屈折光エネルギーが小さい光線を表す。

【0007】

主レンズの光学的欠陥により、入射角が大きければ大きいほど屈折される光エネルギーが小さくなる。２Ｄモードでは、その結果がイメージの輝度不均一性になり、隅部が中心よりも暗くなる。ライトフィールドカメラでは、周辺サブアパーチャー画像は、中心サブアパーチャー画像と比較してあまりに暗いので使用不能である。図１に示されるように、周辺サブアパーチャー画像１０２（マイクロレンズイメージの中心に対して周辺に位置するフォトサイト１３１及び１３３を集めたものによる）は、視像１０２が露光不足であり、したがってノイズが多いために暗すぎることが主な理由で、使用可能ではない。一方、主レンズ中心を通ってフォトサイト１３２まで進む光線を取り込んだ、中心配置のフォトサイト１３２を集めたものによる中心サブアパーチャー画像１０１は、視像１０１がより適切に露光され、ノイズが少ないので使用可能である。

【0008】

図２は、図１に描かれたイメージセンサアレイ１３の拡大図である。中心フォトサイト１３２は、主レンズ中心を通ってフォトサイト１３２まで進んだ光線を取り込み、周辺フォトサイト１３１及び１３３は、中心フォトサイト１３２と比べて傾斜した角度で入ってくる光線を取り込み、周辺フォトサイト１３１及び１３３の輝度レベルは、いくつかの理由により小さい。第１には、傾斜した角度で入ってくる光は、イメージ隅部まで進むべき経路がより長い。第２には、軸を外れた点から見た瞳孔（pupil）は円ではなく楕円であり、中心フォトサイト１３２から見た丸い瞳孔よりも面積が小さい。第３には、光はイメージ中心には直角の入射角で当たるが、イメージ隅部には角度ｂで当たる。すべてのコサイン係数が合わさった効果は、輝度がイメージ隅部に向かって低下するｃｏｓ^４則（コサイン四乗則）になる。

【0009】

図３は、センサの中心部分の、イメージアレイ１３からの白色信号のイメージを示す。このイメージでは、口径食効果は対称的ｃｏｓ^４則（コサイン四乗則）低下にほぼ従う。中心マイクロレンズのフォトサイトについては、口径食効果はたとえば、ｃｏｓ^４則（コサイン四乗則）係数又はガウス低下関数によって公式化することができる。

【0010】

その低下は、ｃｏｓ^４則又は他の任意の低下計算によってシミュレーションすることができるが、これらの低下は単なる理論的低下計算の結果にすぎない。したがって、周辺フォトサイトにおける明るさ低下をより正確に推定するために、較正ステップが使用されることがある。

【0011】

さらに、信号振幅問題とは別に、これらの口径食効果はまた、コンテンツ認識デモザイク法を適用する場合にカラーアーティファクトを招く。

【0012】

参照文献、２０１５年３月２０日、Ｎ．Ｓａｂａｔｅｒ、Ｍ．Ｓｅｉｆｉ、Ｖ．Ｄｒａｚｉｃ、Ｇ．Ｓａｎｄｒｉ、及びＰ．Ｐｅｒｅｚ、「Ａｃｃｕｒａｔｅ Ｄｉｓｐａｒｉｔｙ Ｅｓｔｉｍａｔｉｏｎ ｆｏｒ Ｐｌｅｎｏｐｔｉｃ Ｉｍａｇｅｓ」、ｈｔｔｐ：／／ｌｉｎｋ．ｓｐｒｉｎｇｅｒ．ｃｏｍ／ａｒｔｉｃｌｅ／１０．１００７％２Ｆ９７８−３−３１９−１６１８１−５＿４２／ｌｏｏｋｉｎｓｉｄｅ／０００．ｐｎｇによれば、輝度レベルの差（中心と周辺の間）は、対応する白色イメージ（すなわち、ランバート光放射型物体（Lambertian light-emitting type object）のイメージ）によって生データを分割することにより得られる重み付け行列を使用して、低減させることができる。

【0013】

上記の参照文献では、白色イメージを重み付け行列とみなすことが、すべてのマイクロレンズについて口径食を数学的にモデル化することよりも、計算的に効率的であると説明されている。すべてのマイクロレンズについて口径食効果を数学的にモデル化することは、カメラの固有のパラメータ、又は各レンズの設計についての正確な知識が不足しているので実際的ではない。参照文献で提案されている解決策のいくつかの問題は、フォトサイト上のマイクロレンズイメージの位置がカメラパラメータに、たとえばカメラのズーム及び焦点調節に依存するので、カメラパラメータ（ズーム／焦点調節）が変更されるときにはいつも、重み付け行列を計算するためにランバート光放射型物体イメージが取り込まれる必要があることである。すなわち、カメラパラメータ（ズーム／焦点調節）が変更されるときにいつも、重み付け行列を計算する目的のためにランバート光放射型物体イメージを取り込むのは実際的ではない。

【0014】

加えて、参照文献欧州特許出願１５３０６０５９．５では、傾斜フィルタを一次レンズとフォトサイト組の間の止め開口の位置に導入することによって口径食問題を解決する方法を開示している。この手法の欠点は、フォトサイト上のマイクロレンズイメージの位置を推定するために、カメラの焦点調節／ズームを変更するときにはいつもランバート光放射型物体イメージが取り込まれる必要が依然としてあるということである。

【先行技術文献】

【特許文献】

【0015】

【特許文献1】欧州特許出願１５３０６０５９．５

【非特許文献】

【0016】

【非特許文献1】２０１５年３月２０日、Ｎ．Ｓａｂａｔｅｒ、Ｍ．Ｓｅｉｆｉ、Ｖ．Ｄｒａｚｉｃ、Ｇ．Ｓａｎｄｒｉ、及びＰ．Ｐｅｒｅｚ、「Ａｃｃｕｒａｔｅ Ｄｉｓｐａｒｉｔｙ Ｅｓｔｉｍａｔｉｏｎ ｆｏｒ Ｐｌｅｎｏｐｔｉｃ Ｉｍａｇｅｓ」、ｈｔｔｐ：／／ｌｉｎｋ．ｓｐｒｉｎｇｅｒ．ｃｏｍ／ａｒｔｉｃｌｅ／１０．１００７％２Ｆ９７８−３−３１９−１６１８１−５＿４２／ｌｏｏｋｉｎｓｉｄｅ／０００．ｐｎｇ

【発明の概要】

【0017】

本開示は、プレノプティックカメラ（plenoptic camera）とも呼ばれるライトフィールドカメラ（lightfield camera）によって取り込まれたイメージに生じる口径食効果を克服する、新規の方法及び装置を提案する。

【0018】

本原理によれば、複数のフォトサイトを含むイメージセンサアレイを備えたライトフィールドカメラによって取り込まれたイメージに生じる、口径食効果を補正する方法が開示される。この方法は、各フォトサイトから輝度値を取得するステップと、各フォトサイトの口径食効果を補償するための重み値の組を取得するステップであって、重み値の組がライトフィールドカメラの現在の設定と関連づけられているステップと、各フォトサイトの輝度値を、取得された重み値の組に基づいて変更するステップとを含む。

【0019】

本原理はまた、複数のフォトサイトを含むイメージセンサアレイと、主レンズと、イメージセンサアレイと主レンズの間に設置されたマイクロレンズと、主レンズとマイクロレンズの間の、主レンズからある距離のところに配置され、その距離に相当する焦点距離を有する追加レンズとを備えるライトフィールドカメラによって取り込まれたイメージに生じる、口径食効果を補正する方法に関する。この方法は、各フォトサイトから輝度値を取得するステップと、各フォトサイトの口径食効果を補償するための重み値の組を取得するステップと、各フォトサイトの輝度値を、取得された重み値の組に基づいて変更するステップとを含む。

【0020】

本原理はまた、複数のフォトサイトを含むイメージセンサアレイと、主レンズと、イメージセンサアレイと主レンズの間に設置されたマイクロレンズとを備えるライトフィールドカメラによって取り込まれたイメージに生じる、口径食効果を補正するデバイスに関し、このデバイスは、ライトフィールドカメラのそれぞれの設定と関連づけられている各フォトサイトの口径食効果を補償するための重み値の組を記憶する記憶要素を備え、プロセッサがイメージセンサアレイ及び記憶装置と通信することができる。プロセッサは、各フォトサイトの輝度値を取得するように、ライトフィールドカメラの現在の設定と関連づけられている各フォトサイトの重み値の組を取得するように、かつ各フォトサイトの輝度値を、取得された重み値の組に基づいて変更するように、構成される。

【0021】

本原理はまた、複数のフォトサイトを含むイメージセンサアレイと、各フォトサイトの口径食効果を補償するための重み値の組を記憶する記憶装置と、プロセッサとを備えるライトフィールドカメラによって取り込まれたイメージに生じる、口径食効果を補正するデバイスに関する。プロセッサは、ライトフィールドカメラによって取り込まれた各フォトサイトの輝度値を取得するように、各フォトサイトの重み値の組を取得するように、かつ各フォトサイトの輝度値を、重み値の取得された組に基づいて変更するように、構成される。

【0022】

本原理はまた、主レンズと、マイクロレンズと、複数のフォトサイトを含むイメージセンサアレイとを備えるライトフィールドカメラに関し、フォトサイトは、ライトフィールドカメラによって取り込まれたイメージに生じる口径食効果を補償するように調整された、それぞれの感度を有する。

【0023】

本原理はまた、ライトフィールドカメラの複数のフォトサイトを含むイメージセンサアレイを、別のライトフィールドカメラのフォトサイトが均一の感度を有することを除けばライトフィールドカメラと同じ構成を備える別のライトフィールドカメラを使用して、製造する方法に関する。この方法は、別のライトフィールドカメラを用いてランバート物体イメージを取り込むステップと、別のライトフィールドカメラの各フォトサイトの、ランバート物体イメージに生じる口径食効果を補償するための重み値の組を、取り込まれたランバート物体イメージに基づいて計算するステップと、それぞれの感度が、計算された重み値の組に応じて調整されたフォトサイトを含む、イメージセンサアレイを製造するステップとを含み、それぞれの重み値は、ライトフィールドカメラのそれぞれのフォトサイトとも、別のライトフィールドカメラのそれぞれのフォトサイトとも、関連づけられている。

【0024】

本原理はまた、複数のレンズと、複数のマイクレンズを含む小型レンズアレイと、主レンズとマイクロレンズの間の、主レンズからある距離のところに配置された、追加レンズとを含むイメージセンサアレイを備えるライトフィールドカメラであって、追加レンズがその距離に相当する焦点距離を有し、イメージセンサアレイが複数のフォトサイトを含むライトフィールドカメラの、複数のフォトサイトを含むイメージセンサアレイを、別のライトフィールドカメラのフォトサイトが均一の感度を有することを除けばライトフィールドカメラと同じ構成を備える別のライトフィールドカメラを使用して、製造する方法に関する。この方法は、別のライトフィールドカメラを用いてランバート物体イメージを取り込むステップと、別のライトフィールドカメラの各フォトサイトの、ランバート物体イメージに生じる口径食効果を補償するための重み値の組を、取り込まれたランバート物体イメージに基づいて計算するステップと、それぞれの感度が、計算された重み値の組に応じて調整されたフォトサイトを含む、イメージセンサアレイを製造するステップとを含み、それぞれの重み値は、ライトフィールドカメラのそれぞれのフォトサイトとも、別のライトフィールドカメラのそれぞれのフォトサイトとも、関連づけられている。

【図面の簡単な説明】

【0025】

【図1】ライトフィールドカメラの例示的な構成を示す図である。

【図2】図１に描かれたイメージセンサアレイの拡大図である。

【図3】図１のフォトサイトの中心の白色信号のイメージを示す図である。

【図4】本開示の一実施形態による追加レンズを備えたライトフィールドカメラの例示的な構成を示す図である。

【図5】センサアレイ周辺の口径食効果及びカラーフィルタ効果を示す図である。

【図6】本開示の一実施形態による、ライトフィールドカメラを具現化するデバイスのハードウェア構成を示す図である。

【図7】本開示の一実施形態による、ライトフィールドカメラを使用して各フォトサイトの重み値の組を計算するための例示的な流れ図である。

【図8】本開示の代替実施形態による、各フォトサイトの重み値の組をカラーチャネルに基づいて計算するための例示的な流れ図である。

【図9】本開示の一実施形態による、計算されたそれぞれの重み値を各フォトサイトからの出力信号に適用するための構成の例示的な図である。

【図10】本開示の一実施形態による、計算された重み値の組を各フォトサイトの輝度値の組に適用するための例示的な流れ図である。

【図11】本開示の第２の実施形態によるライトフィールドカメラの例示的な構成を示す図である。

【図12】本開示の第２の実施形態による、各フォトサイトの重み値を計算するための例示的な流れ図である。

【図13】本開示の一変形形態による、各フォトサイトのフィルファクタを計算するための例示的な流れ図である。

【図14】本開示の一実施形態による、複数のフォトサイトを含むイメージセンサアレイを製造するための例示的な流れ図である。

【発明を実施するための形態】

【0026】

本開示は当業者によって実施できることが予想され、それによって、図に示された要素の一部については詳細に説明されない。たとえば、携帯電話、タブレット、デジタルスチルカメラ、ラップトップコンピュータ、デスクトップコンピュータ、デジタルテレビジョンなどの、プロセッサをベースとするデバイスは詳細に説明される必要がないであろう。また、提示される開示は、プログラミング技法を使用して、たとえば、そういうものとして本明細書では説明されないＡＰＩ（アプリケーションプログラミングインターフェース）を使用して、実施できることに留意されたい。最後に、図の同様の番号は類似の要素を表す。以下では色処理に言及されるが、図は白黒である。すなわち、図に色（白黒以外）を使用することは、提示された構成概念を理解するのに不必要であることにも留意されたい。

【0027】

図４は、本開示の一実施形態による追加レンズを備えたライトフィールドカメラの例示的な構成を示す。技術参照文献の１つ、ＥＰ１５３０５９８８．６では、追加レンズ２１を一次レンズ１０と小型レンズアレイ１１の間に、マイクロレンズイメージの位置がカメラのズーム／焦点調節に依存しないように設置するという構成概念を開示している。追加レンズ２１は、一次レンズ１０と小型レンズアレイ１１の間で固定位置に配置される。たとえば、ライトフィールドカメラ１の製造中に、又はライトフィールドカメラ１が製造された後に、追加レンズ２１が、一次レンズ１０から距離Ｌ１で、かつ小型レンズアレイ１１から距離Ｌ２のところに移される、又は追加される。追加レンズ２１の焦点距離は、一次レンズ１０と追加レンズ２１の間の距離Ｌ１に相当する値に等しい。

【0028】

追加レンズ２１は、ライトフィールドカメラ１の焦点調節距離／ズームパラメータのすべての組について、マイクロイメージ中心の一組を推定するのに寄与する。言い換えると、この解決策によってマイクロイメージの中心は、異なるズーミング又は焦点調節の設定であっても推定することができる。

【0029】

追加レンズ２１の焦点距離が距離Ｌ１と等しいので、マイクロレンズ１１０、１１ｉの中心を通過する主光線３０１、３０２及び３０ｉは、ライトフィールドカメラ１の光軸２００１と平行になる。すなわち、追加レンズを出てから小型レンズアレイ１１のマイクロレンズの中心を通過する光線は、ライトフィールドカメラ１の光軸２００１と平行になる。追加レンズ２１の焦点距離を距離Ｌ１に設定することが、小型レンズアレイ１１の下でイメージセンサアレイ１３上に形成されるマイクロイメージの中心間で一定の距離を可能にする。隣接する２つのマイクロイメージの中心間の距離は、対応する小型レンズアレイ１１の中心間の距離、参照符号Ｌ、に等しい。イメージセンサアレイ１３上のマイクロイメージの中心の規則的配置が、ライトフィールドカメラ１を較正する場合に、このような中心を決定するときの助けになる。さらに、追加レンズ２１の焦点距離が、距離Ｌ１が変化するとき（たとえば、ズーミング又は焦点調節のとき）もＬ１に等しくなるように制御されるので、イメージセンサアレイ１３上のマイクロイメージの中心の位置は変化しない。このような技法を使用することが、主レンズ１０のズーミング及び／又は焦点調節パラメータが変わるごとにいつもマイクロイメージの中心を決定することを回避する助けになる。ｉ番目マイクロレンズ１１ｉを例にとると、光線３０ｉは、追加レンズ２１から出力されたときに光軸２００１と平行になり、この光線３０ｉが当たる点は、マイクロレンズ１１ｉの下に形成されたマイクロイメージの中心３４ｉになり、主レンズ１０のいかなる焦点距離及び／又はズーミングパラメータでも、すなわち、いかなる距離Ｌ１の値でも、同じ点に光線３０ｉが当たる。

【0030】

追加レンズ２１を使用することによって、マイクロイメージの中心は、ズーミング又は焦点調節の設定にかかわらず、センサアレイ１３上の同じ位置で取り込むことができ、それにより、フォトサイトの感度を変更することが、背景の項で述べた技術的問題を解決するのにより効果的になる。

【0031】

本開示の１つの例示的な実施形態では、所要のフォトサイト感度の計算が、図４に示された追加レンズ２１を有することにより行われる。いくつかの例示的な実施形態では、追加レンズ２１の設置は、ライトフィールドカメラ１が単焦点カメラである限り、所要のフォトサイト感度の計算に必要とされない（言い換えると、ライトフィールドカメラ１がズーム／焦点調節設定の機能を有していない場合、追加レンズ２１は必要とされない）可能性があり、或は、重み値の組をそれぞれのズーム／焦点調節設定と関連づける手段があるときには必要とされない可能性がある。

【0032】

本開示の１つの例示的な実施形態では、較正ステップが、均一に照明された、光を全方向に等しく放射する白色物体（以後、「ランバート物体」と呼ばれる）を取り込むことによって実行される。取り込まれるこのようなランバート物体イメージは、均一に白色であるはずと予想されるが、取り込まれるイメージは実際には、口径食及びカラーフィルタ効果により均一に白色にならない。イメージセンサアレイ１３上に配置されているＲＧＢ（赤、緑、及び青）カラーフィルタは輝度レベルに影響を及ぼし、このカラーフィルタの影響は補償されなければならない。

【0033】

同時に、輝度レベルが、機械的キャッツアイ口径食による機械的キャッツアイ口径食の閾値（以後、「最小閾値」と呼ぶ）未満のフォトサイト１３１、１３２、１３３〜１３ｐがいくつかある。

【0034】

図５は、センサアレイの周辺への口径食効果及びカラーフィルタ効果を示す。

【0035】

センサの周辺及び中心から遠くのフォトサイトの中には、機械的キャッツアイ口径食による場合に、いかなる使用可能な光も全く受光しないものもある。したがって、本開示では、口径食低下効果が補償されるフォトサイトと補償されないフォトサイトとを区別するために、最小閾値が事前設定される。一部のフォトサイトは、前レンズ開口、後レンズ開口及び絞り開口による「影」の中にある（言い換えると、このようなフォトサイトは光を受光しない）。最小閾値は、フォトサイトが機械的キャッツアイ口径食により光をいつも受光しているのかどうかを判定するように選択することができる。最小閾値の一例は、１のうちの０．１である。本開示では、最小閾値未満である輝度値のフォトサイトは、機械的キャッツアイ口径食により使用可能光を受光していないと判定されるので、補償されない。

【0036】

本開示の別の実施形態では、各フォトサイトの輝度値は増大（又は低減）させることができ、或は、各フォトサイトの感度を、純色量をサンプリングするために使用されるカラーフィルタの効果を補正するように設計することもできる。たとえば、青色フィルタの後のフォトサイトは感度をより高く設計して、緑色フィルタの後に配置されたフォトサイトと同じ値を理想白色信号に対応して取り込むことができる。詳細なステップは、後で本明細書のこの部分で説明される。

【0037】

図６は、本開示の様々な実施形態を開示する、デバイスのハードウェア構成を示す図である。図６には、デバイス５がライトフィールドカメラ１（又は１Ａ、本明細書の後の部分で説明される）を含むことが描かれているが、ライトフィールドカメラ１は、デバイス５とは別個に構成することができる。デバイス５は、たとえば、デスクトップ又はパーソナルコンピュータ、スマートフォン、スマートウォッチ、タブレット、携帯電話、携帯情報端末（「ＰＤＡ」）などの任意のデバイス、並びに、エンドユーザとライトフィールドカメラ１の間の情報の伝達を容易にする他のデバイスとすることができる。ライトフィールドカメラ１はまた、デバイス５と同等のハードウェア構成を内部に有することもできる。

【0038】

デバイス５は、アドレス及びデータの、クロック信号もまた搬送する、バス５４によって互いに接続されている以下の要素、すなわち、プロセッサ５１（又はＣＰＵ）と、ＲＯＭ（読み出し専用メモリ）型の不揮発性メモリ５２と、ランダムアクセスメモリすなわちＲＡＭ ５３と、無線インターフェース（ＲＸ）５６と、データの伝送に適合されたインターフェース５５（ＴＸ）と、ライトフィールドカメラ１と、ユーザに情報を表示するように、かつ／又はデータ若しくはパラメータを入力するように適合されたＭＭＩ（マンマシンインターフェース）５８（Ｉ／Ｆアプリケーション）とを備える。

【0039】

メモリ５２及び５３の説明で用いられる「レジスタ」又は「記憶装置」という用語は、上述のメモリのそれぞれにおいて、小容量のメモリ区域並びに大容量のメモリ区域を示す（そのようなメモリ内に格納されるプログラム全体、又はそのようなメモリのために受信又は復号されたデータを表すデータの全部又は一部、をイネーブルにする）。

【0040】

ＲＯＭ ５２は、プログラム「ｐｒｏｇ」を含む。本開示に特有の、かつ以下で説明される、方法のステップを実施するアルゴリズムは、ＲＯＭ ５２メモリ内に記憶され、これらのステップを実施するデバイス５と結合される。電源が投入されると、プロセッサ５１は、これらのアルゴリズムの命令をロードし実行する。

【0041】

ＲＡＭ ５３は特に、レジスタ及び／又はメモリ内に、デバイス５の切換えを担うプロセッサ５１のオペレーティングプログラム、受信パラメータ（たとえば、変調、符号化、ＭＩＭＯ（多入力多出力）、フレームの繰り返しに関するパラメータ）、送信パラメータ（たとえば、変調、符号化、ＭＩＭＯ、フレームの繰り返しに関するパラメータ）、無線インターフェース５６によって受信及び復号されたデータに対応する着信データ、アプリケーションのインターフェース５８において送信されるように形成された復号データ、主レンズ１０のパラメータ、及び／又は、マイクロレンズアレイのマイクロレンズによって形成されたマイクロイメージの中心を表す情報を含む。

【0042】

図６に関して説明されたものとは別のデバイス５の構造が本開示と互換性がある。特に、様々な代替実施形態によれば、デバイス５は、全くのハードウェア実現によって、たとえば専用構成要素の形で（たとえば、ＡＳＩＣ（特定用途向け集積回路）又はＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＶＬＳＩ（大規模集積）として）、又は装置に埋め込まれたいくつかの電子構成要素の形で、さらにはハードウェア要素とソフトウェア要素の混合の形で、実施することができる。

【0043】

無線インターフェース５６及びインターフェース５５は、ＩＥＥＥ８０２．１１（Ｗｉ−Ｆｉ）、ＩＭＴ−２０００規格（３Ｇとも呼ばれる）準拠の標準規格、３ＧＰＰ ＬＴＥ（４Ｇとも呼ばれる）準拠の標準規格、ＩＥＥＥ８０２．１５．１（ブルートゥース（登録商標）とも呼ばれる）など、１つ又はいくつかの通信標準規格に従った信号の受信及び送信に適合されている。

【0044】

一代替実施形態によれば、デバイス５は、いかなるＲＯＭも含まずにＲＡＭだけを含み、本開示に特有の方法のステップを実施するアルゴリズムがこのＲＡＭに記憶される。

【0045】

図７は、本開示の一実施形態による、ライトフィールドカメラを使用して各フォトサイトの重み値の組を計算するための例示的な流れ図を示す。計算された重み値ｗ（ｕ，ｖ）を使用して、位置（ｕ，ｖ）におけるフォトサイトの輝度値に乗算することができる。この流れ図に記述されたステップは、プロセッサ５１によって実行することができる。この例示的な流れ図では、（ｕ，ｖ）は、センサアレイ１３面上のｉ番目フォトサイトの座標を示す。「ｕ」及び「ｖ」の各値は、処理されるべきフォトサイトの番号ｉに応じてステップ７（Ｓ７）でインクリメントされる。

【0046】

ステップ１（Ｓ１）で、プロセッサ５１は、ライトフィールドカメラ１が、光を均一に全方向に放射するランバート物体のイメージを取り込むと、すべてのフォトサイト１３１、１３２、１３３〜１３ｐの輝度値を受け取る。

【0047】

輝度値は、色成分の重み付け合計を用いて計算することができる。たとえば、輝度値は次式を用いて計算することができる。

【0048】

ｌ（ｕ，ｖ）＝ｈ＿ｒｅｄ×ｑ＿ｒｅｄ＋ｈ＿ｇｒｅｅｎ×ｑ＿ｇｒｅｅｎ＋ｈ＿ｂｌｕｅ×ｑ＿ｂｌｕｅ

【0049】

たとえば、輝度ｌ（ｕ，ｖ）＝（（ｑ＿ｒｅｄ×２９９）＋（ｑ＿ｇｒｅｅｎ×５８７）＋（ｑ＿ｂｌｕｅ×１１４））／１０００である。フォトサイト１３１、１３２、１３３〜１３ｐの輝度値を計算するための他の技法が本開示の原理に従って使用されてもよい。

【0050】

ステップ１で、プロセッサ５１はまた、各フォトサイト１３１、１３２、１３３〜１３ｐの輝度値を、その最大値がフォトサイトで得ることができる最大の大きさにまで変換されるように、正規化する。

【0051】

たとえば、８ビットセンサの２５５は、
ｌ’（ｕ，ｖ）＝２５５×ｌ（ｕ，ｖ）／ｍａｘ＿ｌ
ここで、ｌ’（ｕ，ｖ）は（ｕ、ｖ）のフォトサイト位置の正規化輝度値を表し、ｌ（ｕ，ｖ）は（ｕ、ｖ）のフォトサイト位置の輝度値を表し、ｍａｘ＿ｌは全フォトサイト１３１、１３２、１３３〜１３ｐの中の最大輝度値を表す。

【0052】

ステップ２（Ｓ２）で、プロセッサ５１は、正規化最大輝度値ｍａｘ＿ｌ’を決定し登録する。１つの例示的な実施形態では、プロセッサ５１は、全フォトセットの輝度値ｌ（ｕ，ｖ）をＲＡＭ ５３又はＲＯＭ ５２などのメモリに一時的に登録することができ、また、登録された全輝度値から最大輝度値ｍａｘ＿ｌを決定することができる。プロセッサ５１は、正規化最大輝度値ｍａｘ＿ｌ’をメモリに同様に登録する。最大輝度値ｍａｘ＿ｌを有するフォトサイト１３１、１３２、１３３〜１３ｐは通常、センサアレイ１３の中心部の近くに位置する。

【0053】

各フォトサイト１３１、１３２、１３３〜１３ｐの重み値の組（重み行列）の計算が、ステップ３（Ｓ３）〜７（Ｓ７）で行われる。

【0054】

前述のように、センサアレイ１３の周辺、及びセンサアレイ１３の中心から遠くのフォトサイト１３１、１３２、１３３〜１３ｐの中には、機械的キャッツアイ口径食により、場合によってはいかなる使用可能光も全く受光することができないものもある。したがって、本開示では、ｍｉｎ＿ｔｈｒｅｓｈｏｌｄが用意され決定される。本開示のシステムでは、閾値未満である輝度値ｌ（ｕ，ｖ）のフォトサイト１３１、１３２、１３３〜１３ｐは機械的キャッツアイ口径食による影響を受けているとみなし、これらのフォトサイト１３１、１３２、１３３〜１３ｐの設定重み値は０に等しい。

【0055】

ステップ３（Ｓ３）で、プロセッサ５１は、ｉ番目フォトサイト１３１、１３２、１３３〜１３ｐの輝度値ｌ（ｕ，ｖ）がｍｉｎ＿ｔｈｒｅｓｈｏｌｄ未満であるかどうかを判定する。ｉ番目フォトサイトの輝度値ｌ（ｕ，ｖ）がｍｉｎ＿ｔｈｒｅｓｈｏｌｄ値未満であると判定された場合、処理はステップ４（Ｓ４）へ進む。値ｌ（ｕ，ｖ）がｍｉｎ＿ｔｈｒｅｓｈｏｌｄ以上であると判定された場合には、処理はステップ５（Ｓ５）へ進む。

【0056】

ステップ４（Ｓ４）で、このｉ番目フォトサイト１３１、１３２、１３３〜１３ｐの輝度値ｌ（ｕ，ｖ）が閾値未満であると判定されている場合、プロセッサ５１は、このフォトサイトの重み値を０に等しく設定する。

【0057】

ステップ５（Ｓ５）で、プロセッサ５１は、このｉ番目フォトサイト１３１、１３２、１３３〜１３ｐの重み値を計算する。
次に、プロセッサ５１は、メモリから値ｍａｘ＿ｌを読み出し、次いで、位置（ｕ，ｖ）におけるフォトサイトの補正重み値である比ｗ（ｕ，ｖ）＝ｍａｘ＿ｌ／ｌ（ｕ，ｖ）を計算することによって、ｉ番目フォトサイトの重み値ｗ（ｕ，ｖ）を計算する。この例では、ｗ（ｕ，ｖ）が、赤、緑及び青成分を補正するのに使用される。

【0058】

特定の実施形態が本明細書では説明されているが、輝度値の計算又は重み値の計算がこの実施形態に限定されないこと、並びに、この実施形態に対して多くの修正及び追加が本開示の範囲内で加えられ得ることを理解されたい。

【0059】

ステップ６（Ｓ６）で、プロセッサ５１は、このｉ番目フォトサイトの計算された重み値をメモリに記憶する（重み行列記憶装置８７）。追加レンズ２１がライトフィールドカメラに設置されない場合には、センサアレイ１３上のマイクロレンズイメージの位置は、カメラパラメータに、たとえばカメラのズーム及び焦点調節に、依存することに留意されたい。追加レンズ２１が設置されない場合には、計算された重み値の組が、添付の図には記載されていない手段によって検出される現在のズーム／焦点調節設定と関連づけられたメモリに、登録されなければならない。重み値はさらに、センサアレイ１３面上の対応するフォトサイト（ｕ，ｖ）の輝度値に適用するために、センサアレイ１３面上のフォトサイトの位置（ｕ，ｖ）と関連づけることができる。言い換えると、センサアレイ１３面上のフォトサイトの位置（ｕ，ｖ）に対して計算された重み値は、後で説明されるステップ１１４（Ｓ１１４）で、センサアレイ１３面上の同じフォトサイトの位置（ｕ，ｖ）で取り込まれた輝度値に乗算するために使用される。

【0060】

ステップ７（Ｓ７）で、プロセッサ５１は、これがアレイ内の最後のフォトサイトであるかどうかを判定する。あるフォトサイトが最後のフォトサイトであるかどうかを判定する例示的な方法の１つは、処理するフォトサイト番号ｉと、メモリに事前登録されている最大フォトサイト番号ｉ_ｍａｘとを比較することである。たとえば、１００×１００の合計で１００００個のフォトサイトがセンサアレイ１３面上に配置されている場合、プロセッサ５１は、ｉ＝９９９９（「ｉ」が０から９９９９の整数である場合）のフォトサイトの重み値が計算されるとループを終了させる。あるフォトサイトが最後のフォトサイトではない場合、プロセッサ５１は、フォトサイト番号ｉをインクリメントし、ステップ３（Ｓ３）に戻る。これが、あるフォトサイトが最後のフォトサイトｉ_ｍａｘであると判定された場合には、重み値の組（ｉ＝０からｉ＝９９９９まで１００００個のフォトサイトの重み値の組など）が計算されているので、処理が終了される。

【0061】

この流れ図では、読者が本開示を容易に理解できるようにするために、処理されるフォトサイトはｉ番目の形で表現されている。しかし、当業者には、異なる計算の形を使用できることが理解されよう。たとえば、処理されるべきフォトサイトが（ｕ，ｖ）の形をとることができ、その場合、処理は、ｕ＝ｕ_ｍａｘ及びｖ＝ｖ_ｍａｘ（たとえば、１００×１００のセンサでｕ_ｍａｘ＝９９及びｖ_ｍａｘ＝９９（「ｕ」及び「ｖ」が０から９９までの整数である場合））のフォトサイトの計算が完了すると終了される。

【0062】

図８は、各フォトサイトの重み値の組をカラーチャネルに基づいて計算する代替実施形態の例示的な流れ図を示す。前述のように、各カラーチャネルによってもたらされる効果が異なり得るので、各フォトサイト１３１、１３２、１３３〜１３ｐの上に配置されたカラーフィルタに応じて重み値を変えなければならない。この流れ図に記載された方法全体がプロセッサ５１によって実行される。この例示的な流れ図では、（ｕ，ｖ）は、センサアレイ１３の面上のｉ番目フォトサイトの座標を示す。「ｕ」及び「ｖ」の各値は、処理されるべきフォトサイトの番号ｉに応じてステップ８０（Ｓ８０）でインクリメントされる。言うまでもなく、各フォトサイトに対応するカラーフィルタの色を検出する手段がある。

【0063】

ステップ１０（Ｓ１０）で、プロセッサ５１は、ライトフィールドカメラ１が、光を均一に全方向に放射するランバート物体のイメージを取り込むと、フォトサイト１３１、１３２、１３３〜１３ｐの輝度値ｌ（ｕ，ｖ）を受け取る。図７のステップ１（Ｓ１）で述べたように、取り込まれた輝度値を正規化するステップが実行される。先述のように、ｌ’（ｕ，ｖ）、ｍａｘ＿ｌ’及びｑ’（ｍａｘ，ｃｏｌｏｒ）はそれぞれ正規化輝度値を表す。

【0064】

ステップ２０（Ｓ２０）で、プロセッサ５１は、ベイヤーフィルタなどのカラーフィルタで構成される各色の正規化最大輝度値ｑ’＿（ｍａｘ，ｃｏｌｏｒ）を受信信号（全輝度値）から決定する。１つの例示的な実施形態では、プロセッサ５１は、全フォトサイト１３１、１３２、１３３〜１３ｐの輝度値を、それぞれのフォトサイト１３１、１３２、１３３〜１３ｐの上に配置されたカラーフィルタのそれぞれの色を関連づけることによって、一時的に登録することができる。たとえば、プロセッサ５１は、赤のカラーフィルタが上に配置されたフォトサイト１３１、１３２、１３３〜１３ｐには色の「赤」を関連づけて、輝度値を登録することができる。そうすると、プロセッサ５１は、色ごとの最大輝度値を登録された全輝度値から捜し出すことができる。プロセッサ５１は、それぞれの最大輝度値をメモリに登録することができる。たとえば、カラーフィルタが赤色、緑色及び青色で構成されている場合、それぞれの色ごとに正規化最大輝度値（ｑ’＿（ｍａｘ．ｒｅｄ）、ｑ’＿（ｍａｘ．ｇｒｅｅｎ）、ｑ’＿（ｍａｘ．ｂｌｕｅ））が決定される。最大輝度値を有するフォトサイト１３１、１３２、１３３〜１３ｐは通常、イメージセンサアレイ１３の中心部の近くに位置する。

【0065】

各フォトサイトの重み値の組の計算が、ステップ３０（Ｓ３０）〜ステップ８０（Ｓ８９）で行われる。ステップ３０（Ｓ３０）で、プロセッサ５１は、ｉ番目フォトサイトの正規化輝度値ｌ’（ｕ，ｖ）がｍｉｎ＿ｔｈｒｅｓｈｏｌｄ未満であるかどうかを判定する。正規化輝度値のｌ’（ｕ，ｖ）がｍｉｎ＿ｔｈｒｅｓｈｏｌｄ値未満であると判定された場合、処理はステップ４０（Ｓ４０）へ進む。値ｌ’（ｕ，ｖ）の値がｍｉｎ＿ｔｈｒｅｓｈｏｌｄ以上であると判定された場合には、処理はステップ５０（Ｓ５０）へ進む。

【0066】

ステップ４０（Ｓ４０）で、このｉ番目フォトサイトの正規化輝度値が閾値未満であると判定されているので、プロセッサ５１は、このｉ番目フォトサイトが機械的キャッツアイ口径食により光を受光しないと判定する。プロセッサ５１は、このｉ番目フォトサイトの重み値を０に等しく設定する。

【0067】

ステップ５０（Ｓ５０）で、プロセッサ５１は、このｉ番目フォトサイト上のカラーフィルタの色を決定し、このフォトサイト上のカラーフィルタの色に対する補正値を得る。

【0068】

ステップ６０（６０）で、プロセッサ５１は、このｉ番目フォトサイトの、たとえば次式を用いて計算できる重み値を計算する。
ｗ（ｕ，ｖ）＝ｈ＿ｃｏｌｏｒ×ｑ’＿（ｍａｘ，ｃｏｌｏｒ）／ｌ’（ｕ，ｖ）

【0069】

ｌ’（ｕ，ｖ）は、ランバート物体がライトフィールドカメラ１によって取り込まれたときに、位置（ｕ，ｖ）のフォトサイトで測定された正規化輝度値である。ｑ’＿（ｍａｘ，ｃｏｌｏｒ）は、ランバート物体がライトフィールドカメラ１によって取り込まれたときに、イメージセンサアレイ１３で測定された色ごとの正規化最大輝度値である。ｈ＿ｃｏｌｏｒは、フォトサイト上に配置されているカラーフィルタの色（たとえば、赤、緑及び青）に対応する既定補正値である。

【0070】

たとえば、座標（ｕ，ｖ）のｉ番目フォトサイト上のカラーフィルタが赤色である場合、重み値は次式を用いて計算される。
ｗ（ｕ，ｖ）＝ｈ＿ｃｏｌｏｒ（ｒｅｄ）×ｑ’＿（ｍａｘ．ｒｅｄ）×１／ｌ’（ｕ，ｖ）

【0071】

ステップ７０（Ｓ７０）で、プロセッサ５１は、このｉ番目フォトサイトの計算された重み値を登録する。このステップで、追加レンズ２１がライトフィールドカメラに設置されていない場合には、計算された重み値の組をメモリに、現在のズーム／焦点調節設定と関連させて登録することができる。

【0072】

ステップ８０（Ｓ８０）で、プロセッサ５１は、処理するフォトサイト番号ｉと、メモリに事前登録することができる最大フォトサイト番号ｉ_ｍａｘとを比較することによって、これが最後のフォトサイトであるかどうかを判定する。あるフォトサイトが最後のフォトサイトであると判定された場合、処理は終了される。あるフォトサイトが、重み値の計算がされる最後のフォトサイトではないと判定された場合には、プロセッサ５１は、そのフォトサイト番号ｉをインクリメントし、ステップ３０（Ｓ３０）に戻って次のフォトサイト（ｉ＋１番目フォトサイト）の重み値を計算する。

【0073】

この流れ図では、読者が本開示を容易に理解できるようにするために、処理されるフォトサイトはｉ番目の形で表現されている。しかし、当業者には、異なる計算の形を使用できることが理解されよう。たとえば、処理されるべきフォトサイトが（ｕ，ｖ）の形をとることができ、その場合、処理は、ｕ＝ｕ_ｍａｘ及びｖ＝ｖ_ｍａｘ（たとえば、１００×１００のセンサでｕ_ｍａｘ＝９９及びｖ_ｍａｘ＝９９（「ｕ」及び「ｖ」が０から９９までの整数である場合））のフォトサイトの計算が完了すると終了される。

【0074】

［第１の実施形態］
図９は、本開示の一実施形態による、計算されたそれぞれの重み値を各フォトサイトからの出力信号に適用するための構成の例示的な図を示す。計算された重み値の組は、イメージが取り込まれるときに生じた口径食効果を補償するために、それぞれ各フォトサイトの輝度値に適用される。

【0075】

図９に示されるように、イメージセンサアレイ１３によって取り込まれた信号は、行アクセスドライバ８１、列増幅器８２及びアナログ利得８３を介して、アナログ−デジタル変換デバイス８４へ送られる。クロック発生８０が、命令が実行される速度を統制する。重み値の組がプロセッサ５１によって計算され、重み行列記憶装置８７の中に登録される。取り込まれた信号がデジタルストリームに変換された後、各フォトサイトからの信号には、口径食効果を補償するために乗算器８６において、対応する重み値を乗算することができる。或は、各フォトサイトからの信号は、デジタルストリームに変換される前に増大させることができる。この実施態様においては、各フォトサイトのサイズ又はフィルファクタを変更して各フォトサイトの感度を調整する必要がない。口径食効果は、計算された重み値の組（重み行列）に応じて、イメージを取り込んだ後に補償される。ライトフィールドカメラ１の現在の設定（ズーム／焦点調節など）を検出する手段が添付の図には示されていないが、ライトフィールドカメラ１は、そのような手段を有するように構成することができる。

【0076】

この実施形態の一変形形態では、重み行列記憶装置８７に記憶された重み値の組は、ユーザによって更新することができる。ユーザは、重み値の組（重み行列の組）を外部のソースからダウンロードすることができ、或は、前述の較正ステップのいくつかを使用して重み値の組を取得し、取得した重み値の組を重み行列記憶装置８７の中に登録する。この実施形態は、追加レンズ２１を用いる場合でも用いない場合でも有用であり得る。追加レンズ２１を用いても、口径食効果を変えるいくつかの要因があり得る。１つの場合は、主レンズが変更されたときである。これは口径食効果を変え、したがって、重みは再計算される必要がある。別の場合では、カメラのバイアス又はノイズが口径食効果を変える。このバイアスは、時間が経過すると現れる（温度、機械的変化、物理的変化などによってもたらされるバイアス）。口径食効果を変えるいくつか他の要因があり、相対的配置の変化に応じて重み値の組をユーザが変更できることは、これらの状況を補償する助けになる。

【0077】

重み値の組は、光学的セットアップの所与のチューニングを用いてランバート物体を取り込み、次に、上述のアルゴリズムを用いて重み値の組を計算することによって、直接計算することができ、次に、外部インターフェースを介してアップロードすることができる。この場合、重み値の組（重み行列）がカメラ内でプログラム可能であるので、追加レンズ２１の使用は必要がない可能性がある。重み値の組が限定的なハードウェアで実施されない場合、ユーザはシステムを、適切なときに（ズーム／焦点調節変更）ランバート物体を使用して、較正することができる。重み値の組は、本明細書に記載のアルゴリズムに従って計算され、次に、重み値の組は、ランバート物体が取り込まれたときのライトフィールドカメラ１の設定と関連づけられたメモリ（重み行列記憶装置８７）に記憶することができる。

【0078】

図１０は、本開示の一実施形態による、計算された重み値の組を各フォトサイトの輝度値の組に適用するための例示的な流れ図を示す。この流れ図に示された処理全体が、プロセッサ５１によって実行される。以下の説明で、（ｕ，ｖ）はセンサアレイ面１３上のフォトサイトの座標を指す。

【0079】

ステップ１１１（Ｓ１１１）で、プロセッサ５１は、各フォトサイト１３１、１３２、１３３〜１３ｐから、ライトフィールドカメラ１によって取り込まれた輝度値を取得し、正規化する。

【0080】

ステップ１１２（Ｓ１１２）で、プロセッサ５１は、記憶装置（重み行列記憶装置８７など）にアクセスして各フォトサイト１３１、１３２、１３３〜１３ｐの重み値の組を取得する。重み値の組は、ライトフィールドカメラ１の現在のズーム／焦点調節設定と関連づけることができる。前述のように、ライトフィールドカメラ１は、現在の設定（ズーム／焦点調節など）を検出する手段を有し、現在の設定はメモリに記憶される。現在のズーム／焦点調節設定と関連づけられた重み値の組が記憶装置（重み行列記憶装置８７）に見出されると判定された場合、処理はステップ１１４（Ｓ１１４）へ進む。現在のズーム／焦点調節設定と関連づけられた重み値の組が見出されないと判定された場合には、処理はステップ１１３（Ｓ１１３）へ進む。一変形形態では、追加レンズ２１をライトフィールドカメラ１に設置することができる。この場合、センサアレイ１３上のマイクロレンズイメージの組の位置が固定されているので、重み値の組は、それぞれのズーム／焦点調節設定と関連づけられなくてよい。

【0081】

ステップ１１３（Ｓ１１３）で、プロセッサ５１はユーザに、図７又は図８に示された重み値の組の計算ステップを実行するように促し、或はユーザに、現在のズーム／焦点調節設定と関連づけられた重み値の組を登録するように促す。重み値の組は、インターネット又は製造者のサイトなど、外部ソースから取得することができる。プロンプトは、ＭＭＩ（マンマシンインターフェース）８５を介してメッセージを示すこと、又は音声メッセージを出力することなどによる、当技術分野で知られている任意の方法で行うことができる。

【0082】

ステップ１１４（Ｓ１１４）で、プロセッサ５１は、各フォトサイトからの輝度値に、対応する重み値を乗算する。計算された重み値ｗ（ｕ，ｖ）を使用して、位置（ｕ，ｖ）におけるフォトサイトの輝度値に乗算することができる。各フォトサイトの輝度値に、対応する重み値を乗算することによって、口径食効果により影響を受ける各フォトサイトの輝度値が増加される。最終的に、ライトフィールドカメラ１に取り込まれるイメージに対する口径食効果が補償されることになる。

【0083】

［第２の実施形態］
以下の第２の実施形態は、各フォトサイトの感度を追加のハードウェア構成を用いて調整することに関連している。

【0084】

図１１は、本開示の第２の実施形態によるライトフィールドカメラの例示的な構成を示す。図１に描かれたライトフィールドカメラ１との違いは、感度がそれぞれ調整されるフォトサイト１３１Ａ、１３２Ａ、１３３Ａ〜１３ｐＡを含むイメージセンサアレイ１３Ａである。他の構成は、図１に描かれたライトフィールドカメラ１とほとんど同じとすることができる。第２の実施形態では、相対的に高い輝度値を出力する中心フォトサイト１３２Ａは、中心フォトサイト１３２Ａのサイズを低減させることによって、又は中心フォトサイト１３２Ａのフィルファクタを、フォトサイトの表面を覆うか、又は隠して調整することによって、捕捉する光子が少なくなるように設計される。この実施形態では、各フォトサイト１３１Ａ、１３２Ａ、１３３Ａ〜１３ｐＡのハードウェア構成が変更されるので、イメージの中心がズーム／焦点調節設定にかかわらず同じ位置にいつもあるように設定するには、追加レンズ２１が設置される必要があり得る。しかし、追加レンズ２１の設置は、ライトフィールドカメラ１Ａが単焦点カメラである限り、必要とされない可能性がある（言い換えると、ライトフィールドカメラ１Ａがズーム／焦点調節設定の機能を有していない場合、追加レンズ２１は必要とされない可能性がある）。

【0085】

各フォトサイト１３１、１３２、１３３〜１３ｐの輝度値に、対応する重み値を乗算することによって、輝度値を計算的に変更することに関連がある第１の実施形態とは異なり、第２の実施形態は、各フォトサイト１３１Ａ、１３２Ａ、１３３Ａ〜１３ｐＡの感度を、各フォトサイト１３Ａ１、１３２Ａ、１３３Ａ〜１３ｐＡのハードウェア構成を変えることによって調整することに関連がある。言い換えると、第２の実施形態は、フォトサイト１３１Ａ、１３２Ａ、１３３Ａ〜１３ｐＡの輝度値を均一にすることに関連しており、これは、全フォトサイト１３１Ａ、１３２Ａ、１３３Ａ〜１３ｐＡの出力を、取り込まれたランバート物体イメージに対して相対的に同じ輝度値にすることを目的としている。この目的は、周辺フォトサイト１３１Ａ及び１３３Ａと比較して多くの光子を捕捉する中心フォトサイト１３２Ａの感度を低減させることによって、又は周辺フォトサイト１３１Ａ及び１３３Ａの感度を高めることによって、実現することができる。

【0086】

上述のように、本開示の第２の実施形態は、イメージセンサアレイ１３Ａに含まれる各フォトサイト１３１Ａ、１３２Ａ、１３３Ａ〜１３ｐＡの感度を設計（調整）することに関連している。各フォトサイト１３１Ａ、１３２Ａ、１３３Ａ〜１３ｐＡの感度は、それぞれの重み値を考慮して調整される。各フォトサイト１３１Ａ、１３２Ａ、１３３Ａ〜１３ｐＡで捕捉される光子の数は、各フォトサイト１３１Ａ、１３２Ａ、１３３Ａ〜１３ｐＡのサイズ又はフィルファクタに比例し得る。製造段階又は製造前段階で、本明細書に記載されている重み値の組の計算が行われ、次に各フォトサイト１３１Ａ、１３２Ａ、１３３Ａ〜１３ｐＡのサイズ又はフィルファクタが、フォトサイト１３１、１３２、１３３〜１３Ａ及び１３１Ａ、１３２Ａ、１３３Ａ〜１３ｐＡの計算された重み値の組に応じて設計（調整）され得る。

【0087】

図１２は、本開示の第２の実施形態による、フォトサイトの重み値（重み行列）の組を計算するための例示的な流れ図を示す。重み値の組の計算が、図１に描かれている別のライトフィールドカメラ１を使用して行われることを理解するのは重要である。ライトフィールドカメラ１は、イメージセンサアレイ１３を除いて、図１１に描かれているライトフィールドカメラ１Ａと同じ構成を有する。フォトサイト１３１、１３２、１３３〜１３ｐを含むライトフィールドカメラ１のイメージセンサアレイ１３の感度は調整されていない。言い換えると、ライトフィールドカメラ１のフォトサイト１３１、１３２、１３３〜１３ｐの感度は均一である。また、ライトフィールドカメラ１がライトフィールドカメラ１Ａと同じフォトサイト構成（フォトサイトの数及び配向）を有することを理解するのも重要である。以下の説明では、（ｕ，ｖ）は、センサアレイ面１３又は１３Ａ上のフォトサイトの座標を指す。

【0088】

ステップ１２１（Ｓ１２１）で、ライトフィールドカメラ１は、光を均等に全方向へ放射するランバート物体を取り込み、信号をプロセッサ５１へ送る。言い換えると、ステップ１２１（Ｓ１２１）で、プロセッサ５１は、ランバート物体イメージがライトフィールドカメラ１によって取り込まれたときの、ライトフィールドカメラ１の各フォトサイト１３１、１３２、１３３〜１３ｐの輝度値を取得する。以下の表は、小型レンズアレイ１１の中心にある１つのマイクロレンズに対応する１１×１１の合計で１２１個のフォトサイト１３１、１３２、１３３〜１３ｐの輝度値の一例を示す。

【0089】

【表1】

【0090】

この例では、最大輝度値は２２０である。

【0091】

ステップ１２２（Ｓ１２２）で、各フォトサイト１３１、１３２、１３３〜１３ｐの輝度値は、その最大値がフォトサイトで得ることができる最大の大きさにまで変換されるように、正規化することができる。

【0092】

たとえば、８ビットセンサの２５５では、

【0093】

ｌ’（ｕ，ｖ）＝２５５×ｌ（ｕ，ｖ）／ｍａｘ＿ｌ（ｕ， ｖ）
となる。

【0094】

以下の表２は、１つのマイクロレンズに対応する１１×１１の合計で１２１個のフォトサイト１３１、１３２、１３３〜１３ｐの正規化輝度値の一例を示す。

【0095】

【表2】

【0096】

強調表示された値は、輝度値が最小閾値（ｍｉｎ＿ｔｈｒｅｓｈｏｌｄ）を超えるフォトサイトである。この例示的な実施形態では、２５を最小閾値に設定している（ｍｉｎ＿ｔｈｒｅｓｈｏｌｄ＝２５）。これらの強調表示されたフォトサイトは、各フォトサイト１３１Ａ、１３２Ａ、１３３Ａ〜１３ｐＡによって取り込まれる光の強度を均一化するために、そのサイズ又はフィルファクタが、取り込まれる光子を低減させるように変更する必要がある。

【0097】

ステップ１２３（Ｓ１２３）で、プロセッサ５１は、ｉ番目フォトサイト１３１、１３２、１３３〜１３ｐの正規化輝度値が最小閾値（ｍｉｎ＿ｔｈｒｅｓｈｏｌｄ）以上であるかどうかを判定する。最小閾値（ｍｉｎ＿ｔｈｒｅｓｈｏｌｄ）は任意の事前設定値であり、メモリに記憶される。

【0098】

ステップ１２４（Ｓ１２４）で、プロセッサ５１は、ｉ番目フォトサイト１３１、１３２、１３３〜１３ｐの重み値を、このｉ番目フォトサイト１３１、１３２、１３３〜１３ｐの正規化輝度値が最小閾値（ｍｉｎ＿ｔｈｒｅｓｈｏｌｄ）以上である場合に、最小閾値（ｍｉｎ＿ｔｈｒｅｓｈｏｌｄ）をｉ番目フォトサイト１３１、１３２、１３３〜１３ｐの正規化輝度値で割ることによって、計算する。

【0099】

重み値の計算には、次式を用いることができる。
（外１）

【0100】

或は、重み値は次式で計算することができる。
ｗ（ｕ，ｖ）＝ｍｉｎ＿ｔｈｒｅｓｈｏｌｄ／ｍａｘ（ｌ’（ｕ，ｖ），ｍｉｎ＿ｔｈｒｅｓｈｏｌｄ）

【0101】

ステップ１２５（Ｓ１２５）で、プロセッサ５１は、ｉ番目フォトサイト１３１、１３２、１３３〜１３ｐの計算された重み値をメモリに、センサアレイ面１３上のフォトサイト１３１、１３２、１３３〜１３ｐの座標（ｕ，ｖ）と関連させて登録する。たとえば、プロセッサ５１は、重み値ｗをセンサアレイ面１３上のフォトサイトの位置（ｕ，ｖ）と関連させて登録し、それにより、その計算された重み値が、ライトフィールドカメラ１Ａのセンサアレイ面１３Ａ上の同じ座標（ｕ，ｖ）のフォトサイト１３１Ａ、１３２Ａ、１３３Ａ〜１３ｐＡに適用される。

【0102】

ステップ１２７（Ｓ１２７）で、プロセッサ５１は、フォトサイト１３１、１３２、１３３〜１３ｐの正規化輝度値が最小閾値（ｍｉｎ＿ｔｈｒｅｓｈｏｌｄ）以上ではないと判定された場合に、重み値を「１」に設定する。

【0103】

ステップ１２６（Ｓ１２６）で、プロセッサ５１は、このｉ番目フォトサイト１３１、１３２、１３３〜１３ｐが最後のものであるかどうかを判定する。これが最後のフォトサイト１３１、１３２、１３３〜１３ｐであるかどうかをプロセッサ５１が判定できる例示的な方法の１つは、処理するフォトサイト番号ｉと、メモリに事前登録されている最大フォトサイト番号ｉ_ｍａｘとを比較することである。たとえば、１００×１００の合計で１００００個のフォトサイトがデバイス５に備えられている場合、プロセッサ５１は、ｉ＝９９９９（「ｉ」が０から９９９９の整数である場合）のフォトサイトの重み値が計算されるとループを終了させる。この場合、このフォトサイトが最後のフォトサイトではないならば、プロセッサ５１は、フォトサイト番号ｉをインクリメントし、ステップ１２３（Ｓ１２３）に戻る。これが最後のフォトサイトｉ_ｍａｘであるならば、重み値の組（重み行列）が計算されているので、処理が終了される。

【0104】

この流れ図では、読者が本開示を容易に理解できるようにするために、処理されるフォトサイトはｉ番目の形で表現されている。しかし、当業者には、異なる計算の形を使用できることが理解されよう。たとえば、処理されるべきフォトサイトが（ｕ，ｖ）の形をとることができ、その場合、処理は、ｕ＝ｕ_ｍａｘ及びｖ＝ｖ_ｍａｘ（たとえば、１００×１００のセンサでｕ_ｍａｘ＝９９及びｖ_ｍａｘ＝９９（「ｕ」及び「ｖ」が０から９９までの整数である場合））のフォトサイトの計算が完了すると終了される。

【0105】

次表は、１つのマイクロレンズに対応する各フォトサイト１３１、１３２、１３３〜１３ｐの計算された重み値の組を示す。

【0106】

【表3】

それぞれの重み値に応じて、たとえば次式を用いて、その感度が調整されるフォトサイトが強調表示されている。
Ｓｕｒｆａｃｅ（ｕ，ｖ）＝ｍａｘｉｍｕｍ＿ｓｕｒｆａｃｅ×ｗ（ｕ，ｖ）
ｍａｘｉｍｕｍ＿ｓｕｒｆａｃｅは、ｍｉｎ＿ｔｈｒｅｓｈｏｌｄ輝度値に達するフォトサイトのサイズ又はフィルファクタを指す。上記の例では、ｍａｘｉｍｕｍ＿ｓｕｒｆａｃｅは、輝度値２５に達する周辺フォトサイトのサイズ又はフィルファクタによって定義される。

【0107】

たとえば、１つ前の表中で輝度値が２５５に達する中心フォトサイトでは、サイズ又はフィルファクタは、次式により調整することができる。

【0108】

Ｓｉｚｅ（又はＦｉｌｌ Ｆａｃｔｏｒ）（ｕ，ｖ）＝ｍａｘｉｍｕｍ＿ｓｕｒｆａｃｅ（又はＦｉｌｌ Ｆａｃｔｏｒ）×０．０９８

【0109】

それぞれのフォトサイト１３１Ａ、１３２Ａ、１３３Ａ〜１３ｐＡの感度の調整は、各フォトサイト１３１Ａ、１３２Ａ、１３３Ａ〜１３ｐＡの受光面を部分的に隠すキャッシュを置くこと、又は各フォトサイト１３１Ａ、１３２Ａ、１３３Ａ〜１３ｐＡの前にマスクを作ることによって実施して、各フォトサイト１３１Ａ、１３２Ａ、１３３Ａ〜１３ｐＡのフィルファクタを低減させることができる。

【0110】

フォトサイト１３１Ａ、１３２Ａ、１３３Ａ〜１３ｐＡの感度を変更するための代替方法は、グレーフィルタパターンを設計し、これを、白色イメージを取り込むときに観測される高い値を減衰させるように、（たとえば、蒸着技法によって）フォトサイト１３１Ａ、１３２Ａ、１３３Ａ〜１３ｐＡの上に印刷することである。

【0111】

中心フォトサイトのサイズ又はフィルファクタを低減させることによって、フォトサイトの感度が低減する。この結果、ノイズが多い、暗いイメージになる。ノイズを低減させるには、カメラ露光時間を増加させればよい。露光時間を増加させると、明るく、口径食のないイメージを得ることができる。すなわち、露光時間は、取り込まれるイメージの明るさを考慮して調整されてよい。

【0112】

第２の実施形態の代替実施態様では、口径食効果による影響を受ける周辺フォトサイト１３１Ａ、１３２Ａ、１３３Ａ〜１３ｐＡは、より多くの光子を、第１の実施形態で説明されたステップ（図７及び図８に記載）によって計算される重み値の組に基づいて捕捉するように設計することができる。周辺フォトサイトのフィルファクタ又はサイズは、計算された重み値を考慮して増加させることができる。
ｗ’（ｕ，ｖ）＝ｍａｘ＿ｌ’／ｍａｘ（ｌ’（ｕ，ｖ），ｍｉｎ＿ｔｈｒｅｓｈｏｌｄ）
ｍａｘ＿ｌ’は、フォトサイトで得ることができる最大の大きさにまで変換されている正規化最大輝度値を指す。ｌ’（ｕ，ｖ）は、座標（ｕ，ｖ）に位置するフォトサイトの正規化輝度値を指す。８ビットセンサが使用される場合、式は下記とすることができる。
ｗ’（ｕ，ｖ）＝２５５／ｍａｘ（ｌ’（ｕ，ｖ），ｍｉｎ＿ｔｈｒｅｓｈｏｌｄ）
Ｓｕｒｆａｃｅ（ｕ，ｖ）＝ｍｉｎｉｍｕｍ＿ｓｕｒｆａｃｅ×ｗ’（ｕ，ｖ）
ｍｉｎｉｍｕｍ＿ｓｕｒｆａｃｅは、製造されることが望まれる最小フォトサイトのサイズ又はフィルファクタを指し、最大輝度に達するフォトサイトのサイズに対応する。上記の例では、ｍｉｎｉｍｕｍ＿ｓｕｒｆａｃｅは、前記の表中の輝度値２５５に達する中心フォトサイトのサイズ又はフィルファクタによって定義される。

【0113】

別の代替実施態様では、周辺フォトサイトのフィルファクタ又はサイズは、「Ｓｍａｘ」で示される最大有意フィルファクタ（値「Ｓｍａｘ」はセンサの製造者によって設定され、たとえばＳｍａｘ＝０．９）と、「Ｓｍｉｎ」で示される最小値（値「Ｓｍｉｎ」はセンサの製造者によって設定され、たとえばＳｍｉｎ＝０．２）とを考慮して増加させることができる。２つの隣接するフォトサイトの中心間の距離は「ＰｈｏｔｏＳｉｚｅ」で示される（２つの各隣接フォトサイト間の距離は、式を有効に保つためにセンサアレイ１３の上で一定又は均一であると仮定されている）。キャッツアイの閾値を「ｍｉｎ＿ｔｈｒｅｓｈｏｌｄ」で示し、また正規化輝度値［００１０１］をｌ’（ｕ，ｖ）と示すと、センサアレイ面１３上の座標（ｕ，ｖ）におけるフォトサイトのフィルファクタ又はサイズは、次式で計算することができる。
Ｓｕｒｆａｃｅ（ｕ，ｖ）＝（ａ（ｌ’（ｕ，ｖ）−ｍｉｎ＿ｔｈｒｅｓｈｏｌｄ）＋Ｓｍａｘ）×ＰｈｏｔｏＳｉｚｅ
ａ＝（Ｓｍｉｎ−Ｓｍａｘ）／（２５５−ｍｉｎ＿ｔｈｒｅｓｈｏｌｄ）

【0114】

たとえば、（ｕ，ｖ）のフォトサイトの元のフィルファクタ又はサイズは、ＰｈｏｔｏＳｉｚｅのサイズの０．５である。Ｓｍｉｎ＝０．３及びＳｍａｘ＝０．９と仮定すると、フォトサイトの最小フィルファクタ又はサイズは、ＰｈｏｔｏＳｉｚｅの０．３になり、最大はＰｈｏｔｏＳｉｚｅの０．９になる。ｍｉｎ＿ｔｈｒｅｓｈｏｌｄ＝２０、ｌ’（ｕ，ｖ）＝ｍｉｎ＿ｔｈｒｅｓｈｏｌｄであるフォトサイトでは、フォトサイトのフィルファクタ又はサイズは、ＰｈｏｔｏＳｉｚｅの０．９になる必要があり、したがって、フォトサイトの元のフィルファクタ又はサイズよりも大きく、またｌ’（ｕ，ｖ）＝２５５であるフォトサイトでは、ＰｈｏｔｏＳｉｚｅの０．３になる必要があり、これはフォトサイトの元のフィルファクタ又はサイズよりも小さい。

【0115】

図１３は、本開示の第２の実施形態によるフォトサイトについて、フォトサイトのフィルファクタ又はサイズｆの組を計算するための例示的な流れ図を示す。

【0116】

ステップ１３１（Ｓ１３１）で、ライトフィールドカメラ１は、光を均等に全方向へ放射するランバート物体を取り込み、信号をプロセッサ５１へ送る。言い換えると、ステップ１３１（Ｓ１３１）で、プロセッサ５１は、ランバート物体イメージがライトフィールドカメラ１によって取り込まれたときの、ライトフィールドカメラ１のフォトサイト１３１、１３２、１３３〜１３ｐそれぞれの輝度値を取得する。

【0117】

ステップ１３２（Ｓ１３２）で、各フォトサイト１３１、１３２、１３３〜１３ｐの輝度値は、その最大値がフォトサイトで得ることができる最大の大きさ（８ビットセンサでは２５５）にまで変換されるように、正規化することができる。
ｌ’（ｕ，ｖ）＝２５５×ｌ（ｕ，ｖ）／ｍａｘ＿ｌ（ｕ，ｖ）

【0118】

ステップ１３３（Ｓ１３３）で、プロセッサ５１は、ｉ番目フォトサイト１３１、１３２、１３３〜１３ｐのフィルファクタｆを次式によって計算する。
Ｓｕｒｆａｃｅ（ｕ，ｖ）＝（ａ（ｌ’（ｕ，ｖ）−ｍｉｎ＿ｔｈｒｅｓｈｏｌｄ）＋Ｓｍａｘ）×ＰｈｏｔｏＳｉｚｅ
ａ＝（Ｓｍｉｎ−Ｓｍａｘ）／（２５５−ｍｉｎ＿ｔｈｒｅｓｈｏｌｄ）

【0119】

ステップ１３４（Ｓ１３４）で、プロセッサ５１は、ｉ番目フォトサイト１３１、１３２、１３３〜１３ｐの計算されたフィルファクタｆをメモリに、センサアレイ面１３上のフォトサイト１３１、１３２、１３３〜１３ｐの位置（ｕ，ｖ）と関連させて登録する。たとえば、プロセッサ５１は、フィルファクタｆをセンサアレイ面１３上のフォトサイトの位置（ｕ，ｖ）と関連させて登録し、それにより、その計算されたフィルファクタｆが、ライトフィールドカメラ１Ａのセンサアレイ面１３Ａ上の同じ位置（ｕ，ｖ）のフォトサイト１３１Ａ、１３２Ａ、１３３Ａ〜１３ｐＡに適用される。

【0120】

ステップ１３５（Ｓ１３５）で、プロセッサ５１は、このｉ番目フォトサイト１３１、１３２、１３３〜１３ｐが最後のものであるかどうかを判定する。これが最後のフォトサイト１３１、１３２、１３３〜１３ｐであるかどうかをプロセッサ５１が判定できる例示的な方法の１つは、処理するフォトサイト番号ｉと、メモリに事前登録されている最大フォトサイト番号ｉ_ｍａｘとを比較することである。たとえば、１００×１００の合計で１００００個のフォトサイトがデバイス５に備えられている場合、プロセッサ５１は、ｉ＝９９９９（「ｉ」が０から９９９９の整数である場合）のフォトサイトの重み値が計算されるとループを終了させる。この場合、このフォトサイトが最後のフォトサイトではないならば、プロセッサ５１は、フォトサイト番号ｉをインクリメントし、ステップ１３３（Ｓ１３３）に戻る。これが最後のフォトサイトｉ_ｍａｘであるならば、重み値の組（重み行列）が計算されているので、処理が終了される。

【0121】

この流れ図では、読者が本開示を容易に理解できるようにするために、処理されるフォトサイトはｉ番目の形で表現されている。しかし、当業者には、異なる計算の形を使用できることが理解されよう。たとえば、処理されるべきフォトサイトが（ｕ，ｖ）の形をとることができ、その場合、処理は、ｕ＝ｕ_ｍａｘ及びｖ＝ｖ_ｍａｘ（たとえば、１００×１００のセンサでｕ_ｍａｘ＝９９及びｖ_ｍａｘ＝９９（「ｕ」及び「ｖ」が０から９９までの整数である場合））のフォトサイトの計算が完了すると終了される。

【0122】

別の変形実施態様（周辺フォトサイトのフィルファクタ又はサイズを増加させる）は、取り込まれるイメージが、フォトサイトのフィルファクタ又はサイズを低減させる実施形態と比較して全体的に明るくノイズが少ないので、露光時間を調整する必要がない。

【0123】

図１４は、本開示の一実施形態による、複数のフォトサイトを含むイメージセンサアレイを製造するための例示的な流れ図を示す。

【0124】

ライトフィールドカメラ１を使用して、均一に照明された、光を均等に全方向へ放射するランバート物体を取り込み、信号をプロセッサ５１へ送る。言い換えると、ステップ１４１（Ｓ１４１）で、別のライトフィールドカメラ１のプロセッサ５１（又は、ライトフィールドカメラ１とは別個に構成されているデバイス５のプロセッサ５１）は、ランバート物体イメージがライトフィールドカメラ１によって取り込まれたときの、各フォトサイト１３１、１３２、１３３〜１３ｐそれぞれの輝度値を取得する。

【0125】

ステップ１４２（Ｓ１４２）で、イメージに生じた口径食効果を補正するための重み値の組（重み行列）（又は新フィルファクタ）を、取り込まれたランバート物体イメージに基づいて計算する。

【0126】

ステップ１４３（Ｓ１４３）で、フォトサイト１３１Ａ、１３２Ａ、１３３Ａ〜１３ｐＡを含むイメージセンサアレイ１３Ａを製造する。フォトサイトそれぞれの感度は、別のライトフィールドカメラ１のフォトサイト１３１、１３２、１３３〜１３ｐの各座標と関連がある計算された重み値の組（又は新フィルファクタ）に応じて調整されている。上述のように、重み値ｗ（又は新フィルファクタｆ）は、ライトフィールドカメラ１のセンサアレイ面１３上のフォトサイト１３１、１３２、１３３〜１３ｐの座標と関連づけられて登録される。ライトフィールドカメラ１は、ライトフィールドカメラ１のフォトサイト１３１、１３２、１３３〜１３ｐの感度が調整されていない（言い換えると、ライトフィールドカメラ１のフォトサイト１３１、１３２、１３３〜１３ｐの感度は均一である）ことを除けば、ライトフィールドカメラ１Ａと同じ構成を含む。したがって、別のライトフィールドカメラ１のフォトサイト１３１、１３２、１３３〜１３ｐの数及び配置は、ライトフィールドカメラ１Ａのフォトサイト１３１Ａ、１３２Ａ、１３３Ａ〜１３ｐＡと同じである。製造段階では、センサアレイ面１３上のそれぞれの座標と関連づけられたそれぞれの重み値（又は新フィルファクタｆ）に応じて、それぞれのフォトサイト１３１Ａ、１３２Ａ、１３３Ａ〜１３ｐＡの感度を調整する。たとえば、センサアレイ面１３Ａ上の座標（０，５）のフォトサイト１３１Ａ、１３２Ａ、１３３Ａ〜１３ｐＡの感度が、センサアレイ面１３上の座標（０，５）と関連づけられた重み値（又は新フィルファクタｆ）に応じて調整される。

【0127】

フォトサイト１３１Ａ、１３２Ａ、１３３Ａ〜１３ｐＡの感度を調整するための他のすべての様々な実施態様が、本発明で使用されてもよいことを理解されたい。

【0128】

上記の開示された表又は式、又は流れ図は、様々な実施形態の原理を提示するための例にすぎない。式、閾値、輝度値の計算、又は重み値の計算は、上記に限定されず、多くの修正及び追加を本発明の範囲内で上記に加えることができる。本開示の一実施形態によれば、ユーザが、重み値の組（重み行列の組）を外部のソースからダウンロードすること、又は本明細書に詳述された較正ステップによって重み値の組を取得することができ、またユーザが、取得された重み値の組を重み行列記憶装置８７に登録する。重み行列記憶装置８７は、それぞれのズーム／焦点調節設定にそれぞれが関連づけられた重み値の組を記憶する。このシステムは、重み値の組を、ライトフィールドカメラ１によって取り込まれたイメージに生じる口径食効果を補正するように、重み行列記憶装置８７からの現在のズーム／焦点調節設定に適合させることを見い出すことができる。したがって、各フォトサイト１３１、１３２、１３３〜１３ｐの輝度値を変更することは、上記の部分で述べた技術的問題を解決するのに有効になる。

【0129】

本開示の別の実施形態によれば、ライトフィールドカメラ１Ａの各フォトサイト１３１Ａ、１３２Ａ、１３３Ａ〜１３ｐＡの感度が、別のライトフィールドカメラ１を使用して計算された重み値の組に応じて調整される。ライトフィールドカメラ１Ａはさらに、マイクロイメージ中心の１つの組を推定するのに寄与する追加レンズ２１を、ライトフィールドカメラ１の焦点調節距離／ズームパラメータのすべての組に対して備えることができる。したがって、各フォトサイト１３１Ａ、１３２Ａ、１３３Ａ〜１３ｐＡの感度を変更することは、上記の部分で述べた技術的問題を解決するのに有効になる。

【0130】

当然ながら、本開示は先述の実施形態に限定されない。特に、本開示は、ライトフィールドカメラ１又は１Ａに限定されず、また、これらを制御及び／又は構成する方法、並びにこの制御／較正方法を実現するハードウェア回路にも及ぶ。

【0131】

ライトフィールドカメラ１又は１Ａによって取り込まれたイメージに生じる口径食効果を補正する本明細書に記載の方法は、プロセッサ５１によって実行される命令によって実施することができ、このような命令（及び／又は実施によって生成されるデータ値）は、プロセッサ可読媒体に記憶することができ、この媒体としては、たとえば、集積回路、ソフトウェア担体又は他の記憶デバイスがあり、たとえば、ハードディスク、コンパクトディスケット（「ＣＤ」）、光ディスク（たとえば、デジタル多用途ディスク又はデジタルビデオディスクと呼ばれることが多いＤＶＤ）、ランダムアクセスメモリ（「ＲＡＭ」）又は読み出し専用メモリ（「ＲＯＭ」）などがある。命令は、プロセッサ可読媒体上に有形に具現化されたアプリケーションプログラムの形をとることができる。命令は、たとえば、ハードウェア、ファームウェア、ソフトウェア、又は組合せの形とすることができる。命令は、たとえば、オペレーティングシステム、別個のアプリケーション、又はこれら２つの組合せの形で見出すことができる。したがって、プロセッサ５１は、たとえば、処理を実行するように構成されたデバイスとしても、処理を実行するための命令を有するプロセッサ可読媒体を含むデバイス（記憶デバイスなど）としても、特徴づけることができる。さらに、プロセッサ可読媒体は、命令に加えて、又はその代わりに、一実施態様によって生成されたデータ値を記憶することもできる。

【0132】

当業者には明らかであるように、諸実施態様では、たとえば記憶又は伝送することができる情報を搬送するようにフォーマットされた様々な信号を生成することができる。情報は、たとえば、ある方法を実施するための命令、又は記載された実施態様の１つによって生成されたデータを含むことができる。たとえば、信号は、記載された実施形態のシンタックスを書き込む、又は読み出すための規則をデータとして搬送するように、又は記載の実施形態によって書き込まれた実際のシンタックス値をデータとして搬送するように、フォーマットすることができる。このような信号は、たとえば電磁波として（たとえば、スペクトルの無線周波数部分を使用）、又はベースバンド信号としてフォーマットすることができる。このフォーマット化は、たとえば、データストリームを符号化すること、及び搬送波を符号化データストリームで変調することを含むことができる。信号が搬送する情報は、たとえば、アナログ又はデジタル情報とすることができる。信号は、知られているように、様々な異なる有線又は無線リンクを介して伝送することができる。信号は、プロセッサ可読媒体に記憶することができる。

【0133】

いくつかの実施態様が説明された。しかしながら、様々な修正を加えることができることを理解されたい。たとえば、別々の実施態様の要素を結合、補足、修正、又は除去して別の実施態様を作り出すことができる。加えて、当業者には、開示されたものの代わりに別の構造及び処理を代用できること、並びに、その結果としての実施態様が、少なくとも実質的に同じ機能を、少なくとも実質的に同じように実行して、開示された実施態様と少なくとも実質的に同じ結果が得られること、が理解されよう。したがって、上記及び他の実施態様が本出願によって企図されている。
上述の実施形態の一部又は全部は、以下の付記のように記載され得るが、以下には限定されない。
（付記１）
複数のフォトサイト（１３１、１３２、１３３、１３ｐ）を含むイメージセンサアレイ（１３）を備えたライトフィールドカメラ（１）によって取り込まれたイメージに生じる、口径食効果を補正する方法であって、
各フォトサイト（１３１、１３２、１３３、１３ｐ）から輝度値を取得するステップ（Ｓ１１１）と、
各フォトサイト（１３１、１３２、１３３、１３ｐ）の口径食効果を補償するための重み値の組を取得するステップであって、前記重み値の組が前記ライトフィールドカメラ（１）の現在の設定と関連づけられているステップ（Ｓ１１２）と、
各フォトサイト（１３１、１３２、１３３、１３ｐ）の前記輝度値を、前記取得された前記重み値の組に基づいて変更するステップ（Ｓ１１４）と、
を含む方法。
（付記２）
前記重み値が、
ランバート物体イメージが取り込まれたときの各フォトサイト（１３１、１３２、１３３、１３ｐ）の輝度値を受け取るステップ（Ｓ１）と、
前記受け取った輝度値から最大輝度値を決定するステップ（Ｓ２）と、
前記最大輝度値を、前記ランバート物体イメージが取り込まれたときの各フォトサイト（１３１、１３２、１３３、１３ｐ）の前記それぞれの輝度値で割るステップ（Ｓ５）と、
によって計算される、付記１に記載の方法。
（付記３）
前記ライトフィールドカメラ（１）がさらに、カラーフィルタの異なる色が各フォトサイト（１３１、１３２、１３３、１３ｐ）と関連づけられているカラーフィルタアレイ（１２）を備え、
前記重み値が、
ランバート物体イメージが取り込まれたときの各フォトサイト（１３１、１３２、１３３、１３ｐ）の輝度値を受け取るステップ（Ｓ１０）と、
フォトサイト（１３１、１３２、１３３、１３ｐ）上のカラーフィルタの色の最大輝度値を、前記受け取った輝度値から決定するステップ（Ｓ２０）と、
前記フォトサイト（１３１、１３２、１３３、１３ｐ）上の前記カラーフィルタの前記色による影響を受けた輝度値を補正する補正値を取得するステップ（Ｓ５０）と、
フォトサイト（１３１、１３２、１３３、１３ｐ）の重み値を、前記フォトサイト（１３１、１３２、１３３、１３ｐ）の前記輝度値、前記補正値、及び色の前記最大輝度値に基づいて計算するステップ（Ｓ６０）と、
によって計算される、付記１に記載の方法。
（付記４）
前記計算するステップがさらに、
値を、ある色の前記最大輝度値を前記フォトサイト（１３１、１３２、１３３、１３ｐ）の輝度値で割ることによって決定するステップと、
前記決定された値に前記補正値を乗算するステップ（Ｓ６０）と、
を含む、付記３に記載の方法。
（付記５）
前記フォトサイト（１３１、１３２、１３３、１３ｐ）の輝度値を閾値と比較するステップ（Ｓ３、Ｓ３０）と、
前記フォトサイト（１３１、１３２、１３３、１３ｐ）の前記輝度値が前記閾値未満である場合、前記フォトサイト（１３１、１３２、１３３、１３ｐ）の前記重み値を０に等しく設定するステップ（Ｓ４、Ｓ４０）と、
をさらに含む、付記２から４のいずれか一項に記載の方法。
（付記６）
各フォトサイト（１３１、１３２、１３３、１３ｐ）の輝度値を変更する前記ステップが、各フォトサイト（１３１、１３２、１３３、１３ｐ）の輝度値に、各フォトサイト（１３１、１３２、１３３、１３ｐ）と関連づけられたそれぞれの重み値を乗算することによって実行される（Ｓ１１４）、付記１から５のいずれか一項に記載の方法。
（付記７）
前記ライトフィールドカメラ（１）がさらに、重み値及び補正値の組を記憶する記憶装置（８７）を備え、重み値の前記それぞれの組が前記ライトフィールドカメラ（１）のそれぞれの設定と関連づけられ、それぞれの重み値が前記それぞれのフォトサイト（１３１、１３２、１３３、１３ｐ）と関連づけられ、前記それぞれの補正値により、フォトサイト（１３１、１３２、１３３、１３ｐ）上の前記カラーフィルタの前記色によって影響を受けた輝度値を補正する、付記１に記載の方法。
（付記８）
複数のフォトサイト（１３１、１３２、１３３〜１３ｐ）を含むイメージセンサアレイ（１３）を備えたライトフィールドカメラ（１）によって取り込まれたイメージに生じる、口径食効果を補正するデバイス（５）であって、各フォトサイト（１３１、１３２、１３３、１３ｐ）の口径食効果を補償するための重み値の組を記憶する記憶装置（８７）を備えるデバイスと、
ライトフィールドカメラ（１）によって取り込まれた各フォトサイト（１３１、１３２、１３３〜１３ｐ）の輝度値を取得するように、
各フォトサイト（１３１、１３２、１３３〜１３ｐ）の重み値の組を取得するように、かつ
各フォトサイト（１３１、１３２、１３３〜１３ｐ）の前記輝度値を、前記取得された重み値の組に基づいて変更するように
構成されたプロセッサ（５１）と、を備えるデバイス（５）。
（付記９）
前記ライトフィールドカメラ（１）がさらに、
主レンズ（１０）と、
前記イメージセンサアレイ（１３）と前記主レンズ（１０）の間に設置された、複数のマイクロレンズ（１１１、１１２、１３３、１１ｍ）を含む小型レンズアレイ（１１）と、
前記主レンズ（１０）と前記マイクロレンズ（１１１、１１２、１３３、１１ｍ）の間の、前記主レンズ（１０）から距離（Ｌ１）のところに配置された追加レンズ（２１）と、
を含み、前記追加レンズ（２１）が前記距離（Ｌ１）に相当する焦点距離を有する、付記８に記載のデバイス（５）。
（付記１０）
主レンズ（１０）と、
マイクロレンズ（１１１、１１２、１１ｎ）と、
複数のフォトサイト（１３１Ａ、１３２Ａ、１３３Ａ〜１３ｐＡ）を含むイメージセンサアレイ（１３Ａ）と、
を備えるライトフィールドカメラ（１Ａ）であって、
前記フォトサイト（１３１Ａ、１３２Ａ、１３３Ａ〜１３ｐＡ）が、前記ライトフィールドカメラ（１Ａ）によって取り込まれたイメージに生じる口径食効果を補償するように調整されたそれぞれの感度を有する、ライトフィールドカメラ（１Ａ）。
（付記１１）
前記主レンズ（１０）と前記マイクロレンズ（１１１、１１２、１３３、１１ｍ）の間の、前記主レンズ（１０）から距離（Ｌ１）のところに配置された追加レンズ（２１）をさらに備え、前記追加レンズ（２１）が前記距離（Ｌ１）に相当する焦点距離を有する、付記１０に記載のライトフィールドカメラ（１Ａ）。
（付記１２）
各フォトサイト（１３１Ａ、１３２Ａ、１３３Ａ〜１３ｐＡ）の感度が、各フォトサイト（１３１Ａ、１３２Ａ、１３３Ａ〜１３ｐＡ）と関連づけられた重み値に基づいて調整される、付記１０又は１１に記載のライトフィールドカメラ（１Ａ）。
（付記１３）
各フォトサイト（１３１Ａ、１３２Ａ、１３３Ａ〜１３ｐＡ）の前記重み値が、別のライトフィールドカメラ（１）のフォトサイト（１３１、１３２、１３３〜１３ｐ）が均一の感度を有することを除けば前記ライトフィールドカメラ（１Ａ）と同じ構成を備える、前記別のライトフィールドカメラ（１）の前記イメージセンサアレイ（１３）と通信できるプロセッサ（５１）によって、
ランバート物体イメージが前記別のライトフィールドカメラ（１）によって取り込まれたときの、前記別のライトフィールドカメラ（１）の各フォトサイト（１３１、１３２、１３３〜１３ｐ）の輝度値を取得して、
前記別のライトフィールドカメラ（１）の各フォトサイト（１３１、１３２、１３３〜１３ｐ）の輝度値が最小閾値（ｍｉｎ＿ｔｈｒｅｓｈｏｌｄ）以上であるかどうかを判定して、かつ
それぞれの重み値を、前記別のライトフィールドカメラ（１）の各フォトサイト（１３１、１３２、１３３〜１３ｐ）の輝度値が最小閾値（ｍｉｎ＿ｔｈｒｅｓｈｏｌｄ）以上である場合には、前記最小閾値（ｍｉｎ＿ｔｈｒｅｓｈｏｌｄ）を前記別のライトフィールドカメラ（１）の各フォトサイト（１３１、１３２、１３３〜１３ｐ）で割ることによって得られるそれぞれの値に設定し、それ以外は１に設定して
計算される、付記１２に記載のライトフィールドカメラ（１Ａ）。
（付記１４）
通信ネットワークからダウンロード可能な、及び／又はコンピュータによって読取り可能な媒体に記録された、及び／又はプロセッサによって実行可能な、コンピュータプログラム製品であって、付記１から７の少なくとも一項による方法のステップを実施するためのプログラムコード命令を含む、コンピュータプログラム製品。
（付記１５）
非一時的な有形コンピュータ可読媒体であって、これに記録され、プロセッサによって実行することができるコンピュータプログラム製品を、付記１から７の少なくとも一項による方法のステップを実施するためのプログラムコード命令を含めて備える、非一時的な有形コンピュータ可読媒体。

【符号の説明】

【0134】

１ ライトフィールドカメラ
１Ａ ライトフィールドカメラ
５ デバイス
１０ 主レンズ
１１ 小型レンズアレイ
１２ カラーフィルタアレイ
１３ イメージセンサアレイ
１３Ａ イメージセンサアレイ
２１ 追加レンズ
３０ｉ 光線
３４ｉ マイクロレンズの中心
５１ プロセッサ
５２ メモリ、不揮発性メモリ
５３ ＲＡＭ
５４ バス
５５ インターフェース（ＴＸ）
５６ 無線インターフェース（ＲＸ）
５８ マンマシンインターフェース（Ｉ／Ｆアプリケーション）
８０ クロック発生
８１ 行アクセスドライバ
８２ 列増幅器
８３ アナログ利得
８４ アナログ−デジタル変換デバイス
８５ マンマシンインターフェース
８６ 乗算器
８７ 重み行列記憶装置
１０１ 中心サブアパーチャー画像、視像
１０２ 周辺サブアパーチャー画像、視像
１１１ マイクロレンズ
１１ｉ マイクロレンズ
１１ｍ マイクロレンズ
１３１ フォトサイト
１３２ フォトサイト
１３３ フォトサイト
１３ｐ フォトサイト
３０１ 主光線
３０２ 主光線
３０ｉ 主光線
２００１ 光軸
Ｌ１ 距離
Ｌ２ 距離

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】