特許 6064040 ライトフィールドの取り込み及び操作を改善するための光学系の最適化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6064040

(24)【登録日】2016年12月22日

(45)【発行日】2017年1月18日

(54)【発明の名称】ライトフィールドの取り込み及び操作を改善するための光学系の最適化

(51)【国際特許分類】

   H04N 5/232 20060101AFI20170106BHJP

   H04N 5/343 20110101ALI20170106BHJP

   H04N 5/369 20110101ALI20170106BHJP

【ＦＩ】

   H04N5/232 Z

   H04N5/335 430

   H04N5/335 690

【請求項の数】17

【全頁数】38

(21)【出願番号】特願2015-511581(P2015-511581)

(86)(22)【出願日】2013年5月6日

(65)【公表番号】特表2015-520992(P2015-520992A)

(43)【公表日】2015年7月23日

(86)【国際出願番号】US2013039760

(87)【国際公開番号】WO2013169671

(87)【国際公開日】20131114

【審査請求日】2015年7月23日

(31)【優先権主張番号】61/644,851

(32)【優先日】2012年5月9日

(33)【優先権主張国】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】511214406

【氏名又は名称】ライトロ，インコーポレイテッド

【氏名又は名称原語表記】Ｌｙｔｒｏ，Ｉｎｃ．

(74)【代理人】

【識別番号】100077539

【弁理士】

【氏名又は名称】飯塚 義仁

(72)【発明者】

【氏名】ナイト，ティモシー ジェームズ

(72)【発明者】

【氏名】ピッツ，コルビン

(72)【発明者】

【氏名】エークリー，クルト バートン

(72)【発明者】

【氏名】ロマネンコ，ユーリー アレクサンドロビッチ

(72)【発明者】

【氏名】クラドック，カール ウォーレン

【審査官】 佐藤 直樹

(56)【参考文献】

【文献】 特開２０１１−１３５１７０（ＪＰ，Ａ）

【文献】 特開２０１０−０２０１００（ＪＰ，Ａ）

【文献】 国際公開第２０１１／０８１１８７（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ５／３４３

Ｈ０４Ｎ ５／３６９

(57)【特許請求の範囲】

【請求項1】

少なくとも１つのセンサと処理回路とを含み、前記処理回路が視覚出力を生成するべく取り込まれたライトフィールド画像データを処理するように構成された、ライトフィールド画像取り込み装置において、取り込まれたライトフィールド画像データのサイズを減らす方法であって、
前記少なくとも１つのセンサで、マイクロレンズアレイの出力を表すライトフィールド画像データを取り込むことと、
前記少なくとも１つのセンサの読出しモードを決定することと、
前記取り込まれたライトフィールド画像データのデータサイズを減らすために、前記決定された読出しモードに従って、かつ前記少なくとも１つのセンサ上のピクセルのライトフィールド座標に基づき空間的に変化するように、前記取り込まれたライトフィールド画像データを前処理することと、ここで、前記前処理は前記ライトフィールド座標の関数として変化するように行われるものであり、
前記取り込まれ前処理されたライトフィールド画像データを前記処理回路に送ることと、
を含む、方法。

【請求項2】

前記取り込まれたライトフィールド画像データの前処理が、前記取り込まれたライトフィールド画像データに、サブサンプリング、ビンニング、及び再サンプリングからなる群から選択された少なくとも１つを行うことを含む、請求項１に記載の方法。

【請求項3】

前記取り込まれたライトフィールド画像データの前処理が、前記取り込まれたライトフィールド画像データにサブサンプリング、ビンニング、及び再サンプリングからなる群から選択された少なくとも１つを行う前に、前記取り込まれたライトフィールド画像データをフィルタリングすることを含む、請求項２に記載の方法。

【請求項4】

前記取り込まれたライトフィールド画像データの前処理が、前記少なくとも１つのセンサ上の少なくとも１つのピクセルのライトフィールド座標に基づいて、前記少なくとも１つのセンサ上の前記少なくとも１つのピクセルをスキップすることを含む、請求項１に記載の方法。

【請求項5】

前記取り込まれたライトフィールド画像データの前処理の前に、
前記取り込まれたライトフィールド画像データの少なくとも一部を、前記少なくとも１つのセンサのローカルメモリにバッファすることと、
前記ローカルメモリから前記取り込まれたライトフィールド画像データの少なくとも一部にアクセスすることと、
をさらに含む、請求項１に記載の方法。

【請求項6】

前記決定された読出しモードに従って前記取り込まれたライトフィールド画像データを前処理することが、ピクセル毎に構成された読出しモードに従って前記取り込まれたライトフィールド画像データを処理することを含む、請求項１に記載の方法。

【請求項7】

前記ピクセル毎に構成された読出しモードに従って前記取り込まれたライトフィールド画像データを処理することが、ピクセルをピクセル毎に処理するために、
ビットマスクと、
少なくとも１つのビットマスクタイルと、
少なくとも１つの重み画像タイルと、
ピクセル毎のオフセットと、
のうちの少なくとも１つを用いることを含む、請求項６に記載の方法。

【請求項8】

前記取り込まれたライトフィールド画像データの前処理が、前記少なくとも１つのセンサ上の少なくとも１つのピクセルのライトフィールド座標に基づいて、可変のビット深度及び可変のピクセル最大値のうちの少なくとも１つを用いることを含む、請求項１に記載の方法。

【請求項9】

前記取り込まれたライトフィールド画像データの前処理が、前記ライトフィールド画像データにライトフィールドアウェア処理を行うことを含む、請求項１に記載の方法。

【請求項10】

前記取り込まれたライトフィールド画像データの前処理が、
前記決定された読出しモードに従って前記取り込まれたライトフィールド画像データの少なくとも１つのフレームを処理することと、
第２の異なる読出しモードに従って前記取り込まれたライトフィールド画像データの少なくとも１つの他のフレームを処理することと、
を含む、請求項１に記載の方法。

【請求項11】

前記取り込まれたライトフィールド画像データの前処理が、前記取り込まれたライトフィールド画像データを複数の異なるパスで読み出すことを含む、請求項１に記載の方法。

【請求項12】

前記少なくとも１つのセンサが、電荷結合素子（ＣＣＤ）イメージセンサを含み、指定された読出しモードに従う前記取り込まれたライトフィールド画像データの前処理が、前記電荷結合素子（ＣＣＤ）イメージセンサを用いて前記指定された読出しモードを実施することを含む、請求項１に記載の方法。

【請求項13】

前記電荷結合素子（ＣＣＤ）イメージセンサを用いて前記指定された読出しモードを実施することが、飛越し走査方式の電荷結合素子（ＣＣＤ）イメージセンサを用いて解像度低減読出しモードを実施することを含む、請求項１２に記載の方法。

【請求項14】

ライトフィールド画像取り込み装置で用いられるコンピュータプログラムであって、前記ライトフィールド画像取り込み装置は少なくとも１つのセンサと処理回路とを含み、前記処理回路は視覚出力を生成するべく取り込まれたライトフィールド画像データを処理するように構成され、前記コンピュータプログラムは取り込まれたライトフィールド画像データのサイズを減らす方法を実行するものであり、前記コンピュータプログラムが、プロセッサで実行されるときに、前記ライトフィールド画像取り込み装置に、
前記少なくとも１つのセンサで、マイクロレンズアレイの出力を表すライトフィールド画像データを取り込ませ、
前記少なくとも１つのセンサの読出しモードを決定させ、
前記取り込まれたライトフィールド画像データのデータサイズを減らすために、前記決定された読出しモードに従って、かつ前記少なくとも１つのセンサ上のピクセルのライトフィールド座標に基づき空間的に変化するように、前記取り込まれたライトフィールド画像データを前処理させ、ここで、前記前処理は前記ライトフィールド座標の関数として変化するように行われるものであり、
前記取り込まれ前処理されたライトフィールド画像データを前記処理回路に送らせる、
ように構成された、コンピュータプログラム。

【請求項15】

前記コンピュータプログラムが、前記ライトフィールド画像取り込み装置に、
前記決定された読出しモードに従って前記取り込まれたライトフィールド画像データの少なくとも１つのフレームを処理すること、及び
第２の異なる読出しモードに従って前記取り込まれたライトフィールド画像データの少なくとも１つの他のフレームを処理すること、
によって、前記取り込まれたライトフィールド画像データを前処理させるように構成される、請求項１４に記載のコンピュータプログラム。

【請求項16】

ライトフィールド画像取り込み装置であって、
マイクロレンズアレイと、
前記マイクロレンズアレイの出力を表すライトフィールド画像データを取り込むように構成された少なくとも１つのセンサと、
前記少なくとも１つのセンサの読出しモードを決定し、前記取り込まれたライトフィールド画像データのデータサイズを減らすために、前記決定された読出しモードに従って、かつ前記少なくとも１つのセンサ上のピクセルのライトフィールド座標に基づき空間的に変化するように、前記取り込まれたライトフィールド画像データを前処理するように構成されたプリプロセッサと、ここで、前記前処理は前記ライトフィールド座標の関数として変化するように行われるものであり、
視覚出力を生成するべく前記取り込まれ前処理されたライトフィールド画像データを処理するように構成された処理回路と、
を備える装置。

【請求項17】

前記プリプロセッサが、
前記決定された読出しモードに従って前記取り込まれたライトフィールド画像データの少なくとも１つのフレームを処理すること、及び
第２の異なる読出しモードに従って前記取り込まれたライトフィールド画像データの少なくとも１つの他のフレームを処理すること、
によって、前記取り込まれたライトフィールド画像データを前処理するように構成される、請求項１６に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願への相互参照
本願は、参照によりその開示全体が本明細書に組み込まれる、２０１２年５月９日に出願された「Ｏｐｔｉｍｉｚａｔｉｏｎ ｏｆ Ｏｐｔｉｃａｌ Ｓｙｓｔｅｍｓ ｆｏｒ Ｉｍｐｒｏｖｅｄ Ｌｉｇｈｔ Ｆｉｅｌｄ Ｃａｐｔｕｒｅ ａｎｄ Ｍａｎｉｐｕｌａｔｉｏｎ」と題する米国特許仮出願整理番号第６１／６４４，８５１号（代理人整理番号ＬＹＴ０６４−ＰＲＯＶ）に基づく優先権を主張するものである。

【0002】

本願は、参照によりその開示全体が本明細書に組み込まれる、２０１１年２月１５日に出願された「３Ｄ Ｌｉｇｈｔ Ｆｉｅｌｄ Ｃａｍｅｒａｓ， Ｉｍａｇｅｓ ａｎｄ Ｆｉｌｅｓ， ａｎｄ Ｍｅｔｈｏｄｓ ｏｆ Ｕｓｉｎｇ， Ｏｐｅｒａｔｉｎｇ， Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ｖｉｅｗｉｎｇ Ｓａｍｅ」と題する米国実用特許出願（Ｕｔｉｌｉｔｙ Ａｐｐｌｉｃａｔｉｏｎ）整理番号第１３／０２７，９４６号（代理人整理番号ＬＹＴ３００６）に関する。

【背景技術】

【0003】

本発明は、ライトフィールド画像データの取り込み及び操作の改善に向けて光学系を最適化するシステム及び方法に関する。

【0004】

例えば、ライトフィールドスチールカメラ及びビデオカメラなどのライトフィールド取り込み装置は、ライトフィールド画像データを取り込む、及び随意的に処理するのに用いることができる。いくつかのライトフィールド取り込み装置はまた、ユーザ入力を受け取り、ユーザ入力で動作し、画像及び／又は他のタイプのデータを表示するか又は他の方法で出力することができる。ライトフィールド取り込み装置は、センサ（ＣＣＤ又はＣＭＯＳセンサなど）、マイクロレンズアレイ、主レンズ、及び／又はレンズアレイを含む、ライトフィールド画像データを取り込むのに用いられる種々の異なる光学部品を含むことができる。

【0005】

ライトフィールド取り込み装置は、そうするのに適するあらゆる方法を用いてライトフィールド画像データを取り込むことができる。こうした方法の一例は、限定ではなしに、Ｎｇ他のＬｉｇｈｔ ｆｉｅｌｄ ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ ｈａｎｄ−ｈｅｌｄ ｐｌｅｎｏｐｔｉｃ ｃａｐｔｕｒｅ ｄｅｖｉｃｅ、Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＣＳＴＲ ２００５−０２、Ｓｔａｎｆｏｒｄ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅで説明されるように、イメージセンサ（例えば、ＣＣＤ又はＣＭＯＳセンサ）の上にマイクロレンズアレイを用いることを含む。他の例は、それぞれ独自のレンズ及びセンサを有する独立して制御される複数のカメラ、単一の共有センサ上に結像するカメラのアレイ、プレノプティックレンズ、及び／又はこれらのあらゆる組み合わせの使用を含む。

【0006】

多くの環境において、ライトフィールド取り込み装置は、高度に変調された４Ｄデータの形態のライトフィールド画像データを取り込み、次いで、該データを、ユーザが見ることができる２Ｄ及び／又は３Ｄ出力画像を生成するべく処理することができる。こうした処理の例は、再合焦された画像、パララックスビュー画像又は遠近感を変えた画像、全焦点又は拡張被写界深度（ＥＤＯＦ）画像、深度マップ、３Ｄ／立体画像、及びこれらのあらゆる組み合わせを生成することを含むことができる（しかしこれらに限定されない）。

【発明の概要】

【発明が解決しようとする課題】

【0007】

こうしたライトフィールド画像データの処理は、計算リソース、メモリバンド幅、及び／又は電力要件の面で高価となることがある。したがって、多くの従来のシステムでは、ライトフィールドの取り込みを容易にするために、画質、処理時間、解像度などを犠牲にする。したがって、ユーザは、一方ではライトフィールド画像の取り込みの融通性及び能力と、他方では高レベルの画質及び解像度との間で、トレードオフを強いられる。

【課題を解決するための手段】

【0008】

本発明の種々の実施形態によれば、ライトフィールド取り込み装置の光学系は、取り込まれたライトフィールド画像データを改善するように最適化される。こうした改善は、（限定はされないが）画質、処理効率、及び生成画像の解像度を含む１つ以上のメトリクスによって測ることができる。種々の実施形態によれば、本明細書で列挙される光学系の最適化のうちの１つ以上を含むライトフィールド取り込み装置によって取り込まれているライトフィールド画像データを処理するために、複数の方法、システム、及びアルゴリズムのうちのいずれかを適用することができる。

【0009】

種々の実施形態によれば、ライトフィールド取り込み装置の光学系は、結果的に、処理がより安価及び／又は容易な、取り込まれたライトフィールド画像データ（スチールとビデオとの両方）をもたらすように最適化される。例えば、少なくとも１つの実施形態において、光学系は、その計算コストが種々の処理制約及び／又はリソース制約内に収まる、より安価な処理手法を用いるときに、改善された品質又は解像度をもたらすように最適化される。したがって、ライトフィールドカメラの光学系は、こうした光学系のサイズ及び／又はコストを縮小する及び／又は品質を高めるように最適化することができる。こうした最適化は、例えばスマートフォンなどのモバイルデバイスとの関連で処理能力及び／又はデバイスサイズが制限されることがある状況では特に有用な場合がある。

【0010】

種々の実施形態によれば、本発明は、以下の構成部品又は態様のうちの１つ以上を、単独に又はあらゆる適切な組み合わせで含むことができる。
・ライトフィールド画像データを取り込むためにマイクロレンズアレイと併せて用いられてもよいデジタルイメージセンサのセンサ読出し機能を、読出しモードがライトフィールド画像データ取り込みに合わされるように修正すること。特に、ピクセルのビンニング又はスキップによってデータサイズの削減を行う読出しモードは、結果的にライトフィールド画像データの劣化があまり生じないように最適化される。
・センサ上に形成されるライトフィールド画像のディスクパターンに基づいて、センサのカラーフィルタアレイ（ＣＦＡ）グリッドレイアウト／パターンを修正すること。これは、例えば、より詳細に後述するように、そのライトフィールド座標に基づいて各ピクセルのＣＦＡカラーを選択することを含むことができる。
・露光時間及びピクセルゲインなどのピクセル特性を、以下でより詳細に定義されるように、ピクセルのライトフィールド座標の関数として変化させること。
・センサ及び／又はマイクロレンズアレイのマイクロレンズ上のピクセルの位置のジッタリング。
・センサピクセルの整数の垂直ピッチ及び／又は水平ピッチを有するディスク画像をもたらすためにマイクロレンズアレイの設計及び主レンズの設計並びに光学系内の位置を修正すること。この場合、整数ピッチは、より安価な、より速い、及び／又はより高品質の処理手法を可能にするように選択される。
・光学系の最大容認可能主光線角（ｃｈｉｅｆ ｒａｙ ａｎｇｌｅ：ＣＲＡ）を増加させるためにマイクロレンズアレイ及び主レンズの設計を修正すること。
・センサの利用可能な読出しモード及び／又は読出し機能に基づいて、デジタルイメージセンサの上にマイクロレンズアレイを位置決めすること及び／又は配向すること。

【0011】

添付図は、本発明のいくつかの実施形態を示し、その説明と共に、実施形態に係る本発明の原理を解説するのに役立つ。図面に示された特定の実施形態は単なる例示であり、本発明の範囲を限定することを意図されないことを当業者は認識するであろう。

【図面の簡単な説明】

【0012】

【図1A】一実施形態に係るライトフィールド取り込み装置の例示的なアーキテクチャを示す図である。

【図1B】一実施形態に係る本発明を実装するためのライトフィールド取り込み装置の例示的なアーキテクチャを示す図である。

【図2】ライトフィールド画像の一部を示す図である。

【図3A】光線がマイクロレンズを透過してデジタルセンサのピクセルに照射されることを描画する図である。

【図3B】主レンズ開口の像がデジタルセンサ上に投影される際に重ならないようにマイクロレンズアレイが位置決めされる、ライトフィールド取り込み装置の構成を描画する図である。

【図4】４Ｄライトフィールド表現を２Ｄ画像に落とすための投影及び再構築の例を描画する図である。

【図5】一実施形態に係るライトフィールド取り込み装置の別の例示的なアーキテクチャを示す図である。

【図6】一実施形態に係る取り込まれたライトフィールド画像データのサイズを減らす方法を描画する流れ図である。

【図7】中央矩形を有するライトフィールド画像の一部を示す図である。

【図8】一実施形態に係るライトフィールドディスク画像間の縁部に近い又は縁部上のピクセルをスキップする読出しモードに関するフォトダイオードの例示的な配列を描画する図である。

【図9】一実施形態に係るライトフィールド取り込み装置の別の例示的なアーキテクチャを示す図である。

【図10】一実施形態に係るライトフィールドから取り込まれるカラー情報の品質を改善するためにカラーフィルタアレイ（ＣＦＡ）を修正する方法を描画する流れ図である。

【図11】一実施形態に係るライトフィールド取り込み装置の別の例示的なアーキテクチャを示す図である。

【図12】一実施形態に係るピクセル特性を修正する方法を描画する流れ図である。

【図13】一実施形態に係るライトフィールド取り込み装置の別の例示的なアーキテクチャを示す図である。

【図14】一実施形態に係る光学系構成部品にジッタを導入する方法を描画する流れ図である。

【図15】一実施形態に係るライトフィールドデータの置き換えの例である。

【図16】一実施形態に係るライトフィールドデータの置き換えの例である。

【図17A】光学系の例である。

【図17B】ディスクを有するライトフィールド画像の例である。

【図17C】ライトフィールド画像のサブサンプリングパターンの例である。

【図17D】ライトフィールド画像のサブサンプリングされた部分の置き換えの例である。

【図18A】光学系の例である。

【図18B】ディスクを有するライトフィールド画像の例である。

【図18C】ライトフィールド画像のサブサンプリングパターンの例である。

【図18D】ライトフィールド画像のサブサンプリングされた部分の置き換えの例である。

【図19】一実施形態に係るライトフィールド画像取り込み装置に用いられるマイクロレンズアレイを決定及び構成する方法を描画する流れ図である。

【図20】２つの例示的なマイクロレンズアレイの上視図である。

【図21】図２０の表面の例示的な３Ｄプロットである。

【図22】傾けられたマイクロレンズのマイクロレンズアレイを通る例示的な２Ｄスライスを描画する図である。

【図23A】傾けられたＭＬＡ側壁の角度の最適化の例を描画する図である。

【図23B】傾けられたＭＬＡ側壁の角度の最適化の例を描画する図である。

【発明を実施するための形態】

【0013】

本明細書で提供される説明の目的上、以下の定義が用いられる。
・取り込み：スチール取り込み又はビデオ取り込みのいずれか又は両方を指すことができる。
・画像：それぞれ色を指定するピクセル値又はピクセルの二次元アレイ。
・ライトフィールド画像：センサで取り込まれるライトフィールド画像データの表現を含む画像。
・マイクロレンズ：通常同様のマイクロレンズのアレイにある、小さなレンズ。
・カラーフィルタアレイ（ｃｏｌｏｒ ｆｉｌｔｅｒ ａｒｒａｙ：ＣＦＡ）：カラー情報を取り込むためにイメージセンサのピクセルセンサの上に位置するモザイクのカラーフィルタ。

【0014】

光学系は、本明細書では、センサ（ＣＣＤ又はＣＭＯＳセンサなど）、マイクロレンズアレイ、主レンズ、及び／又はレンズアレイを含むあらゆる適切なライトフィールド取り込み装置の光路のいずれかの又はすべての構成部品を包含するように定義される。

【0015】

ライトフィールド取り込み装置は、本明細書では、ライトフィールド画像データを取り込む、随意的にライトフィールド画像データを処理する、随意的にユーザ入力を受け取る及びユーザ入力で動作する、及び随意的に画像及び／又は他のタイプのデータを表示するか又は他の方法で出力することができるあらゆる装置として定義される。ライトフィールド取り込み装置の例は、ライトフィールドスチールカメラ及びビデオカメラを含む（しかしこれらに限定されない）。

【0016】

加えて、名前付けを簡単にするために、「カメラ」という用語は、本明細書では、画像取り込み装置又は他の画像データ収集装置を指すのに用いられる。こうしたデータ収集装置は、二次元画像データ、三次元画像データ、及び／又はライトフィールド画像データを含むがこれらに限定されないシーンを表すデータを収集、記録、測定、推定、決定、及び／又は計算するためのあらゆる装置又はシステムとすることができる。こうしたデータ収集装置は、当該技術分野では周知の技術を用いてシーンを表すデータを収集するための光学系、センサ、及び画像処理電子装置を含むことがある。多くのタイプのデータ収集装置を本発明と組み合わせて用いることができることと、本発明がカメラに限定されないことを当業者は認識するであろう。したがって、本明細書での「カメラ」という用語の使用は、例証及び例示となることを意図しているが、本発明の範囲を限定すると考えられるべきではない。具体的には、本明細書でのこうした用語のどの使用も、画像データを収集するのに適するあらゆる装置を指すと考えられるべきである。

【0017】

以下の説明では、ライトフィールド取り込み及び操作の改善に向けて光学系を最適化するいくつかの技術及び方法が説明される。これらの種々の技術及び方法を、単独に及び／又は互いとのあらゆる適切な組み合わせで行うことができることを当業者は認識するであろう。

【0018】

［アーキテクチャ］
少なくとも１つの実施形態において、本明細書に記載のシステム及び方法は、Ｎｇ他のＬｉｇｈｔ ｆｉｅｌｄ ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ ｈａｎｄ−ｈｅｌｄ ｐｌｅｎｏｐｔｉｃ ｃａｐｔｕｒｅ ｄｅｖｉｃｅ、Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＣＳＴＲ ２００５−０２、Ｓｔａｎｆｏｒｄ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅで説明されるものを含むがこれに限定されないライトフィールド取り込み装置によって取り込まれるライトフィールド画像との関連で実装することができる。ここで図１Ａを参照すると、一実施形態に係るライトフィールドカメラ１００において本発明を実装するためのアーキテクチャを描画するブロック図が示されている。ライトフィールドカメラ１００の例は、ライトフィールドスチールカメラ及びビデオカメラを含む（しかしこれらに限定されない）。図１Ａに示された特定の構成は単なる例示であり、ライトフィールドカメラ１００に関する他のアーキテクチャが可能であることを当業者は認識するであろう。図１Ａの構成に示された構成部品のうちのいくつかは随意的なものであり、省略又は再構成されてもよいことを当業者はさらに認識するであろう。

【0019】

図示のように、ライトフィールドカメラ１００はライトフィールド取り込み装置１０９の一例であり、名前付けを簡単にするために用語は交換可能に用いられるが、あらゆる適切なライトフィールド取り込み装置１０９をカメラ１００の代わりに用いることができる。ライトフィールド取り込み装置１０９は、光学系１０１、マイクロレンズアレイ１０２、及びイメージセンサ１０３（ピクセルを取り込むための複数の個々のセンサを含む）を含む。光学系１０１は、例えば、選択可能な量の光がライトフィールドカメラ１００に入ることを可能にする開口１１２と、マイクロレンズアレイ１０２の方に光を合焦するための主レンズ１１３とを含んでもよい。少なくとも１つの実施形態において、マイクロレンズアレイ１０２は、センサ１０３を介するライトフィールド画像データの収集、取り込み、サンプリング、記録、及び／又は取得を容易にするようにカメラ１００の光路に（主レンズ１１３とセンサ１０３との間に）配置され及び／又は組み込まれてもよい。すこし図１Ｂを参照すると、一実施形態に係る本発明を実装するためのライトフィールドカメラ１００のアーキテクチャの例が示されている。図面は縮尺通りに描かれていない。図１Ｂは、被写体１１７に関するライトフィールド画像データを取り込むように構成部品が相互作用するものとして、開口１１２と、主レンズ１１３と、マイクロレンズアレイ１０２と、センサ１０３との関係性を概念的形態で示す。

【0020】

再び図１Ａを参照すると、センサ１０３からのライトフィールド画像データを、処理回路１０４で処理し、出力装置１１６上に出力として提示することができる。少なくとも１つの実施形態において、出力装置１１６で提示される出力は、処理回路１０４によって生成される場合のライトフィールド画像データの２Ｄ画像又は投影とすることができる。

【0021】

少なくとも１つの実施形態において、ライトフィールドカメラ１００はまた、ライトフィールド画像データの収集、サンプリング、記録、及び／又は取得を容易にするための制御回路１１０を含んでもよい。例えば、制御回路１１０は、ライトフィールド画像データの収集タイミング、収集速度、サンプリング、取り込み、記録、及び／又は取得を（自動的に又はユーザ入力に応答して）管理及び／又は制御してもよい。

【0022】

少なくとも１つの実施形態において、取り込まれたライトフィールド画像データは処理回路１０４に提供される。処理回路１０４は、ライトフィールド取り込み装置１０９に配置又は一体化されてもよく（図１Ａに示すように）、又はライトフィールド取り込み装置１０９の外部の別個の構成部品にあってもよい。こうした別個の構成部品は、ライトフィールド画像取り込み装置１０９に対してローカルであっても又はリモートであってもよい。ライトフィールド画像データを回路１０４に伝送するためにあらゆる適切な有線又は無線プロトコルを用いることができ、例えば、装置１０９は、インターネット、セルラデータネットワーク、ＷｉＦｉネットワーク、ＢｌｕｅＴｏｏｔｈ（登録商標）通信プロトコル、及び／又はあらゆる他の適切な手段を介してライトフィールド画像データ及び／又は他のデータを伝送することができる。

【0023】

一般に、処理回路１０４は、例えば、静止画像、２Ｄビデオストリームなどのあらゆる出力を生成するために、ライトフィールドセンサ１０３から受信したライトフィールド画像データに対して動作する。種々の実施形態では、処理回路１０４は、（限定はされないが）以下で及び関連する相互参照出願で説明される方法を含む、ライトフィールド画像データから静止画像、２Ｄ画像などを生成するのに適するあらゆる方法を用いることができる。

【0024】

少なくとも１つの実施形態において、ライトフィールドカメラ１００はまた、カメラ１００の画像データを取り込む、収集する、記憶する、及び／又は処理する動作を制御するためのユーザ入力をユーザが提供できるようにする、ユーザインターフェース１０５を含んでもよい。少なくとも１つの実施形態において、好み選択画面でユーザによって指定される場合の又はデフォルトに基づいて提供される場合のユーザの好みも用いられてもよい。ユーザ入力は、タッチスクリーン、ボタン、キーボード、ポインティングデバイス、及び／又はこれらに類似のものなどのあらゆる適切なユーザ入力装置１１１を介してユーザインターフェース１０５に提供することができる。したがって、入力装置１１１で受信した入力は、処理回路１０４及び制御回路１１０のいずれかを制御及び／又は構成するのに用いることができる。

【0025】

少なくとも１つの実施形態において、カメラ１００は、ライトフィールドセンサからの（潜在的に処理回路１０４によって処理される）画像データ出力を記憶するためのメモリなどの１つ以上の記憶装置１１４を含む。メモリは、外部メモリ及び／又は内部メモリを含むことができる。少なくとも１つの実施形態において、メモリは、カメラ１００とは別個の装置及び／又は場所に設けることができる。

【0026】

例えば、カメラ１００は、生ライトフィールド画像データを、センサ１０３による出力及び／又は圧縮された画像データファイルなどのその表現として記憶してもよい。加えて、２０１０年２月１０日に出願された「Ｌｉｇｈｔ ｆｉｅｌｄ Ｃａｍｅｒａ Ｉｍａｇｅ， Ｆｉｌｅ ａｎｄ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｄａｔａ， ａｎｄ Ｍｅｔｈｏｄ ｏｆ Ｕｓｉｎｇ， Ｓｔｏｒｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｎｇ Ｓａｍｅ」と題する関連する米国実用特許出願（Ｕｔｉｌｉｔｙ Ａｐｐｌｉｃａｔｉｏｎ）整理番号１２／７０３，３６７号（代理人整理番号ＬＹＴ３００３）で説明されるように、メモリはまた、装置１０９の特徴、パラメータ、及び／又は構成（総称して「構成データ」）を表すデータを記憶することができる。

【0027】

［概要］
ライトフィールド画像は、しばしば、カメラ１００の開口１１２の複数の投影（円形又は他の形状の場合がある）を含み、各投影は、カメラ１００の焦点面上の異なる有利な点からとられる。ライトフィールド画像は、センサ１０３上に取り込まれてもよい。主レンズ１１３とセンサ１０３との間にマイクロレンズアレイ１０２が介在することで、センサ１０３上に開口１１２の像が形成され、アレイ１０２の各マイクロレンズがセンサ１０３上に主レンズ開口１１２の小さい像を投影する。これらの開口形状の投影が本明細書ではディスクと呼ばれるが、それらは円形の形状である必要はない。

【0028】

ライトフィールド画像は、カメラ１００（又は他の取り込み装置）の焦点面上に当たる光線を記述する４次元の情報を含む。２つの空間次元（本明細書ではｘ及びｙと呼ばれる）がディスク自体によって表される。例えば、幅４００及び高さ３００のカルテシアンパターンに配列される１２０，０００個のディスクを有するライトフィールド画像の空間分解能は４００×３００である。２つの角度次元（本明細書ではｕ及びｖと呼ばれる）が個々のディスク内のピクセルとして表される。例えば、１０×１０カルテシアンパターンとして配列される各ディスク内に１００ピクセルを有するライトフィールド画像の角度分解能は１０×１０である。このライトフィールド画像は、（４００，３００，１０，１０）の４Ｄ（ｘ，ｙ，ｕ，ｖ）分解能を有する。ここで図２を参照すると、ディスク２０１及び個々のピクセル２０３の描写を含むこうしたライトフィールド画像２００の２ディスク×２ディスク部分の例が示されており、例証する目的で各ディスク２０１は１０個のピクセル２０３にわたる。

【0029】

したがって、ライトフィールド取り込み装置１０９のセンサ１０３上に形成された画像は、４Ｄライトフィールド画像データの組をエンコードする「ディスク画像」と呼ばれる小さい画像の組を含む（しかしそれらは円形の形状である必要はない）。センサ１０３上の各ピクセル２０３は、特定の４Ｄライトフィールド座標に対応するものとして解釈されてもよく、この場合、２つの次元がセンサ上のその空間位置を指定し、２つの次元が該ピクセル２０３に入射する光の角度又は方向情報を指定する。２Ｄ方向情報が、メンバーのディスク画像内のピクセル２０３の２Ｄ位置によってエンコードされる。

【0030】

ライトフィールドカメラ内のライトフィールドにおける多くの光線が単一のピクセル２０３の照射に寄与する。ここで図３Ａを参照すると、代表光線２０２Ａ、２０２Ｄを含む光線２０２がアレイ１０２のマイクロレンズ２０１Ｂを透過してセンサ１０３のセンサピクセル２０３Ａ、２０３Ｂに照射される例が示されている。

【0031】

図３Ａの例では、実線の光線２０２Ａ、２０２Ｂ、２０２Ｃはセンサピクセル２０３Ａに照射され、一方、点線の光線２０２Ｄ、２０２Ｅ、２０２Ｆはセンサピクセル２０３Ｂに照射される。各センサピクセル２０３での値は、これに照射されるすべての光線２０２の放射照度の和によって求められる。例証及び説明する目的で、しかしながら、これは各センサピクセル２０３で単一の幾何学的光線２０２を識別するのに有用な場合がある。該光線２０２は、該センサピクセル２０３に照射されるすべての光線２０２の代表となるように選ばれてもよく、したがって本明細書では代表光線２０２と呼ばれる。こうした代表光線２０２は、特定のマイクロレンズ２０１の中央を通り、且つ特定のセンサピクセル２０３の中央に照射される光線として選ばれてもよい。図３Ａの例では、光線２０２Ａ及び２０２Ｄが代表光線として描かれ、両光線２０２Ａ、２０２Ｄはマイクロレンズ２０１Ｂの中央を通り、この場合、光線２０２Ａは、センサピクセル２０３Ａに照射されるすべての光線２０２を表し、光線２０２Ｄは、センサピクセル２０３Ｂに照射されるすべての光線２０２を表す。

【0032】

センサピクセル２０３とそれらの代表光線２０２との間には１対１の関係性が存在することがある。この関係性は、マイクロレンズアレイ１０２に対する主レンズ開口１１２の（見かけの）サイズ及び位置を、開口１１２の像がセンサ１０３上に投影される際に重ならないように構成することによって実現され得る。ここで図３Ｂを参照すると、主レンズ開口１１２の像がセンサ１０３上に投影される際に重ならないようにマイクロレンズアレイ１０２が位置決めされる、カメラ１００などのライトフィールド取り込み装置の構成の例が示されている。図３Ｂに描画された光線２０２は、それらがすべてマイクロレンズ２０１のうちの１つの中央を通ってライトフィールドセンサ８０３のピクセル２０３の中央に進むので代表光線２０２である。

【0033】

少なくとも１つの実施形態において、４Ｄライトフィールド表現を、投影及び再構築のプロセスを経て２Ｄ画像に落とすことができる。ここで図４を参照すると、こうしたプロセスの例が示されている。仮想投影面４０１が導入されてもよく、各代表光線２０２と投影面４０１との交点が計算される。投影面４０１は、平面であっても又は非平面であってもよい。平面である場合、これはマイクロレンズアレイ１０２及びセンサ１０３に平行であっても又は平行でなくてもよい。一般に、投影面４０１は、マイクロレンズアレイ１０２及びセンサ１０３に対してあらゆる任意の場所に位置決めされてもよい。各代表光線２０２の色は、その対応するピクセル２０３の色と等しいと解釈されてもよい。少なくとも１つの実施形態において、センサ１０３のピクセル２０３は、Ｂａｙｅｒパターンなどの規則的パターンに配列され且つフルカラーピクセルに変換されるフィルタを含んでもよい。こうした変換は、投影された光線２０２を差異なく再構築できるように投影前に行うことができる。代替的に、各色チャネルに関して別個の再構築を行うことができる。

【0034】

投影面４０１上の画像ピクセル４０２の色は、該画像ピクセル４０２のドメイン内の投影面４０１と交わる代表光線２０２の色を合計することによって計算されてもよい。ドメインは、画像ピクセル４０２の境界内にあってもよく、又は画像ピクセル４０２の境界を越えて延びてもよい。合計は、異なる代表光線２０２が合計に異なる割合だけ寄与するように重みづけされてもよい。光線の重みは、例えば、特定のピクセル４０２の中央に対する、光線２０２と投影面４０１とが交わる場所の関数として割り当てられてもよい。例えば、バイリニア重みづけアルゴリズム、バイキュービック重みづけアルゴリズム、及び／又はガウス重みづけアルゴリズムを含む、あらゆる適切な重みづけアルゴリズムを用いることができる。

【0035】

再合焦された２Ｄ画像への投影中に、代表光線２０２は、マイクロレンズアレイ１０２に平行な仮想投影面４０１と交わるが、そこから変位される。仮想投影面４０１がマイクロレンズアレイ１０２の前方にある（シーンにより近い）場合、再構築された２Ｄ画像は、ライトフィールドカメラ１００の最良焦点シーン面の前方の仮想投影面４０１で合焦される（ライトフィールドカメラ１００からより遠い）。同様に、仮想投影面４０１がマイクロレンズアレイ１０２の後方にある（シーンからより遠い）場合、再構築された２Ｄ画像は、ライトフィールドカメラ１００の最良焦点シーン面の後方の仮想投影面４０１で合焦される。そのシーン深度が仮想投影面４０１の結像深度に対応するシーンの中のオブジェクトは本質的に正確に合焦され、シーンの中の他のオブジェクトは、該シーン深度からのそれらの変位に伴い増加するブラーを有する状態で投影される。

【0036】

深度マップは、それぞれシーンの中の可視点に対応する結像側の点（主レンズ１１３の結像側の点）の組である。シーンの中の点は、そこから放出された光が直接又は高度な鏡面から反射することによって主レンズ１１３の前方の節点に届く場合に見ることができる。対応関係は、シーン点から放出された光が、対応する結像側の点で主レンズ１１３によってベストフォーカスされるということである。

【0037】

深度マップにおける結像側の点の位置はデカルト座標で指定されてもよく、この場合、ｘ及びｙは、ライトフィールドセンサ１０３上に投影される際の位置を示し（主レンズ１１３の光軸に沿ってシーンの方に見たときにｘは右に正であり、ｙは上に正である）、深度ｄは、マイクロレンズアレイ１０２の表面からの垂直距離（シーンに近づく方に正、シーンから離れる方に負）。ｘ及びｙの単位は、ピクセル２０３、すなわちセンサ１０３のピクセルピッチであってもよい。ｄの単位はλであってもよく、この場合、１λの距離は、あらゆるシーン点からの光錐の直径がマイクロレンズアレイ１０２のピッチに等しい値だけそれに沿って変化する距離に対応する（マイクロレンズアレイ１０２のピッチは、隣接するマイクロレンズ２０１の中央間の平均距離である）。

【0038】

したがって、主レンズ１１３に直接見えるシーン側の点に関して、光学焦点面上のシーン深度での点は、（マイクロレンズ）表面での結像深度に対応する。最良焦点面よりもライトフィールドカメラ１００から遠いシーン深度での点は、最良焦点面よりも主レンズ１１３により近接した結像深度の点に対応する。したがって、最良焦点面よりもライトフィールドカメラ１００から遠いシーン深度での点は、正の深度値を有する。最良焦点面よりもカメラ１００により近いシーン深度での点は、最良焦点面よりも主レンズ１１３から遠い結像深度の点に対応する。したがって、最良焦点面よりもカメラ１００により近いシーン深度での点は、負の深度値を有する。

【0039】

本発明の種々の実施形態によれば、取り込まれたライトフィールド画像データを改善するためにライトフィールド取り込み装置１０９の光学系を最適化するようにあらゆる数の修正を行うことができる。こうした修正の例が本明細書で説明される。これらの修正を単独に又はあらゆる適切な組み合わせで適用できることを当業者は認識するであろう。

【0040】

［センサ読出しの修正］
少なくとも１つの実施形態によれば、デジタルイメージセンサ、例えば、ライトフィールドセンサ１０３のセンサ読出し機能が修正される。センサ読出しの修正は、センサの読出しモードがライトフィールド画像データの取り込みに合わせられるようにライトフィールド画像データを取り込むために、マイクロレンズアレイ、例えばマイクロレンズアレイ１０２と併せて用いることができる。読出しモードは、結果的にライトフィールド画像データの劣化があまり生じないように最適化される。多くの異なる読出しの修正が本明細書に列挙されるが、この列挙は例示的なものである。これらの修正のいずれか又はすべては、単独に又はあらゆる適切な組み合わせで適用することができる。

【0041】

ここで図５を参照すると、一実施形態に係るライトフィールド取り込み装置１０９の別の例示的なアーキテクチャが示されている。図５に描画するように、ライトフィールドセンサ１０３は、バッファ部５０２及び前処理部５０３を含む。前処理部５０３は、フィルタ５０４及びデータ削減部５０６をさらに含む。一般に、ライトフィールドセンサ１０３は、（例えば、図１Ａ〜図４と組み合わせて説明されるように）マイクロレンズアレイ１０２の出力からライトフィールド画像データ５０１を取り込むことができる。ライトフィールド画像データ５０１のうちのいくつか又はすべては、バッファ部５０２にバッファする及び／又は前処理部５０３に送ることができる。

【0042】

前処理部５０３は、どのような感知できるほどの劣化もなしに、取り込まれたライトフィールド画像データのデータサイズを減らすために、読出しモード５０７に従ってライトフィールド画像データ５０１を処理することができる。前処理部５０３は、前処理されたライトフィールド画像データを、例えば２Ｄ画像を生成するために、さらなるプロセッサに関する処理回路１０４に出力することができる。

【0043】

少なくとも１つの実施形態において、フィルタ５０４は、ライトフィールド画像データ５０１のサイズを減らすためにライトフィールド画像データ５０１をフィルタする。フィルタされたライトフィールド画像データは、バッファ部５０２に格納することができる。データ削減部５０６は、ライトフィールド画像データ５０１にアクセスすることができる、及び／又はバッファ部５０２からのフィルタされたライトフィールド画像データにアクセスすることができる。データ削減部５０６は、ライトフィールド画像データのサイズを減らすために１つ以上の機構を実装することができる。いくつかの実施形態では、データ削減部５０６は、ライトフィールドデータのサイズを減らすために、ピクセル２０３のスキップ、ピクセル２０３のビンニング、ピクセル２０３のサブサンプリング、ピクセル２０３の再サンプリング、ピクセル毎の動作、ピクセル毎の値、ビットマスク、ビットマスクタイル、重み画像タイル、ビット深度の修正、ピクセル最大、ルックアップテーブル、マルチパス読出し、ライトフィールドアウェア処理、及び飛越し走査方式のセンサ、のうちの１つ又は複数を用いる。

【0044】

ここで図６を参照すると、取り込まれたライトフィールド画像データのサイズを減らす方法を描画する流れ図が示されている。図６の方法は、図５の構成部品及びデータに関して説明される。

【0045】

少なくとも１つの実施形態において、１つ以上のライトフィールドセンサ１０３が、マイクロレンズアレイ１０２の出力からライトフィールド画像データ５０１を取り込む６０１。取り込まれたライトフィールド画像データのデータサイズを減らすために、１つ以上のライトフィールドセンサ１０３で取り込まれたライトフィールド画像データ５０１が、指定された読出しモードに従って前処理される６０２。例えば、前処理部５０３は、ライトフィールド画像データ５０１のサイズを減らすために読出しモード５０７に従ってライトフィールド画像データ５０１を処理することができる。取り込まれ前処理されたライトフィールド画像データが、次いで、処理回路１０４に送られる６０３。

【0046】

［センサ画像データの事前フィルタリング］
少なくとも１つの実施形態において、画像データ５０１は、センサ１０３から読み出される前にフィルタされる。サブサンプリング、ビンニング、又は再サンプリング後読出しモードが用いられるとき、フィルタリングは、サブサンプリング、ビンニング、又は再サンプリングの前に行うことができる。例えば、１つの読出しモードは列のスキップを含むことがあり、このスキップを行う前にセンサデータに水平フィルタが適用されてもよい。

【0047】

一般に、フィルタリングは、水平、垂直、又は二次元とすることができる。二次元フィルタは分離可能であっても又は分離可能でなくてもよい。フィルタリングは、提供されるマスクを伴う画像データの直接的な畳み込みとして実装されてもよい。少なくとも１つの実施形態において、フィルタリングは、同色のピクセル２０３群に適用されてもよい。例えば、少なくとも１つの実施形態において、異なるピクセル２０３が異なる色を表すイメージセンサ（例えば、Ｂａｙｅｒセンサなどのカラーフィルタアレイ（ＣＦＡ）を用いるセンサ）に同色フィルタリングを用いることができる。代替的に、こうした画像のフィルタリングは、例えばデモザイク処理アルゴリズム内で複数の色からのピクセル２０３を考慮するために実施されてもよい。

【0048】

フィルタリングは、ピクセル２０３のアレイから行が読み出される際に該行をバッファするのにセンサ自体の少量のメモリを用いて実施することができ、こうした行のバッファリングは、公知の技術に従って行うことができる。フィルタリング動作は、これらのバッファされた行に適用されてもよく、垂直フィルタ又は二次元フィルタの場合、バッファされる行の数は、垂直次元でのフィルタのタップの数と少なくとも同じくらいの大きさである必要がある場合がある。

【0049】

データがローカルバッファ（バッファ部５０２など）においてフィルタされると、データがセンサ１０３から最終的に出力される前に、（限定はされないが）サブサンプリング、ビンニング、又は再サンプリングを含む後続の動作が適用されてもよい。

【0050】

こうしたセンサ機能の１つの利点は、例えばセンサ画像がサブサンプリングされ、オンカメラライブビュー動作用にＬＣＤ画面に合うようにスケーリングされるときに、（場合によっては高度に）変調されたライトフィールド画像データを、サブサンプリング前に事前フィルタすることである。十分に大きい事前フィルタリング動作なしに、高度に変調されたライトフィールド画像データをサブサンプリングし、次いでダウンスケーリングすることは、結果的に、エイリアジングパターンに起因して最終的な画像に魅力のないアーチファクトを生じることがある。

【0051】

フィルタリングは、空間的に変化してもよく、又はライトフィールド画像全体にわたって一様であってもよい。空間的に変化するフィルタの場合、変化は、フィルタされているピクセル２０３のライトフィールド座標の関数であってもよく、こうした手法は、ライトフィールド画像の高度に変調された領域に、より大きいフィルタリング（したがってより大量のピクセル集約）を適用するのに用いることができる。

【0052】

［ピクセルのライトフィールド座標に基づくスキップ］
少なくとも１つの実施形態において、センサ読出しモードは、行又は列の１つおきのスキップなどの或る（センサ−表面）一様な手法及び／又はライトフィールド忘却型手法を用いてピクセル２０３をスキップするのではなく、ピクセル２０３をそれらのライトフィールド座標に基づいてスキップすることができる。

【0053】

上述したように、マイクロレンズアレイ１０２をセンサ１０３よりも上におくことによって取り込まれたライトフィールド画像は、多数のディスク２０１からなることができる。ディスク２０１の中央により近いピクセル２０３は、より良好に照射される傾向があり、ディスク２０１の境界により近いピクセル２０３よりも高い信号対ノイズ比（ＳＮＲ）を有する。このようなライトフィールド画像では、４Ｄ座標空間の２つの方向次元がディスク２０１内のピクセル２０３の位置を指し、ディスク２０１の中央により近接したピクセル２０３だけがセンサ１０３から確実に読み出されるようにするために、これらの方向次元の関数としてスキップされるべきピクセル２０３の選択が行われてもよい。

【0054】

例えば、図７に描画するように、各ディスク画像２０１の直径が約１０個のセンサピクセル２０３であるようなライトフィールドセンサ１０３及びマイクロレンズアレイ１０２の構成を考えると、ピクセル２０３の８×８中央矩形７３１を該矩形７３１がディスク２０１内にほぼ十分に収まるように各ディスク２０１に関して画定することができる。センサ１０３は、該センサ１０３からデータが読み出される前に８×８矩形７３１を連続したブロックに詰め込むのに用いられ得るピクセルデータの行をバッファするために或る量のローカルメモリを組み込んでもよい。

【0055】

センサピクセル２０３がカラーフィルタアレイ（ＣＦＡ）の下にあることに起因して単色である少なくとも１つの実施形態において、中央矩形７３１は、それらが詰め込まれた後で結果として得られる画像が結果として得られる画像のスパンにわたるＣＦＡパターンの合法的な例であるように一緒に詰め込むように選択可能である。（Ｒ，ＧＲ，ＧＢ，Ｂ）Ｂａｙｅｒセンサの場合、矩形７３１は、（例えば）同色のピクセル（例えば、Ｒ）が各８×８ブロックの左上にあるように選択可能である。

【0056】

スキップするピクセル２０３の場所及び／又は一緒に詰め込むピクセル領域は、多くの可能な方法のいずれかで指定されてもよい。１つの例は、各ディスク２０１の中央のセンサ座標を提供することである。このデータはまた、この目的専用の小さいローカルメモリ（図示せず）におけるセンサに格納されてもよい。

【0057】

［ピクセル毎の読出し動作］
種々の実施形態では、本発明のシステム及び方法は、十分に構成可能な、ピクセル毎に指定又は構成されてもよい、センサ読出しパターンを提供する。

【0058】

少なくとも１つの実施形態において、すべてのピクセル２０３に関して該ピクセル２０３がスキップされるか否かを指定するビットマスクが提供されてもよく、スキップされないピクセル２０３は、センサ１０３から出力されるデータに一緒に詰め込まれてもよい。こうしたビットマスクは、センサ１０３のローカルメモリにプログラムされてもよく、又はセンサ１０３がアクセスできるＤＲＡＭ又は他のメモリに提供されてもよい。さらに、読出しパターンの迅速な切換えを可能にするために複数のビットマスクがセンサにプログラムされてもよい。

【0059】

別の実施形態では、１つ以上のビットマスクタイルが提供されてもよく、これらのタイルは、どのピクセル２０３がスキップされるかを指定するために異なるセンサ領域にわたって繰返し用いられてもよい。

【0060】

さらなる実施形態では、読み出されるか又はスキップされるピクセル２０３を指定するビットマスクではなく、重み画像又は１つ以上の重み画像タイルが提供されてもよい。前述のビットマスク手法と同様に、読出しパターンはピクセル毎に指定されてもよい。しかしながら、こうした手法では、ピクセル２０３がスキップされるかどうかを指定する各ピクセルの対応するビットマスクＢｏｏｌｅａｎ入力ではなく、ピクセル毎の重み係数（すなわち、倍数因子）が指定されてもよく、この場合、こうした重みは読み出されるピクセル値と乗算される。さらに、こうしたピクセル毎の重みづけ動作と併せて、読出し中にピクセル２０３のあらゆる他のスキップ、ビンニング、再サンプリング、又は集約が行われてもよい。

【0061】

別の実施形態では、ピクセル毎の重みづけデータを提供することに加えて又はその代わりに、ピクセル毎のオフセット値が提供されてもよく、この場合、読出しピクセル値は、次式に従って計算され、計算されたピクセル値は、以下のように合法的なピクセル値範囲にクランプされる。

【0062】

ＰｉｘｅｌＶａｌｕｅ’＝ＣＬＡＭＰ（ＰｅｒＰｉｘｅｌＯｆｆｓｅｔ＋ＰｅｒＰｉｘｅｌＷｅｉｇｈｔ^＊ＰｉｘｅｌＶａｌｕｅ，０，ＭＡＸ）
（ピクセル値’＝ＣＬＡＭＰ（ピクセル毎のオフセット＋ピクセル毎の重みづけ^＊ピクセル値，０，最大））

【0063】

スキップのピクセル毎の指定によって可能となる１つの（多くの）可能な読出しパターン（のうちの１つ）は、ランダム又は擬似ランダムパターン、例えば、スキップされるピクセル２０３がランダムに現れる場所の組を有する繰返しタイルパターンである。

【0064】

少なくとも１つの実施形態において、本明細書に記載の算術演算は、標準固定小数点演算を用いて実施されてもよい。

【0065】

［読出しビット深度の修正］
少なくとも１つの実施形態において、ライトフィールド処理アルゴリズム内で行われる大量のピクセル集約を活用するために、デジタルイメージセンサ１０３の読出しビット深度を修正することができる。各生ピクセル２０３をエンコードするのに適切な数のビットを使用し、生線形値からエンコードされた値へのマッピング関数を定義することによって、所与の数のピクセル／秒を達成するためのセンサからの読出しデータ転送速度（バイト／秒で測定される）を低減させることができる。ピクセル２０３のライトフィールド座標及び／又はセンサ１０３上のライトフィールドディスクパターンを利用するのにあらゆる適切なエンコーディングを用いることができる。

【0066】

１つの例示的なエンコーディングは、可変の数のビット毎ピクセルで生データを出力し、この場合、センサ露光中に「より良好に」又は「より多く」光を取り込むピクセル２０３は、より高いビット深度でエンコードされるそれらの対応する値を有することができる。マイクロレンズアレイ１０２の下のセンサ１０３上に取り込まれるライトフィールド画像に関して（例えば前述のアーキテクチャに従って）、結果として得られるディスク画像は、ディスク２０１の中央により近づくにつれてより多くの光が取り込まれたピクセル２０３を有し、したがって、ディスク縁部のピクセルに対して、ディスク中央部のピクセルをエンコードするのにより多くのビットが用いられ得る。

【0067】

別の例示的なエンコーディングは、ピクセル値がクランプされるピクセル固有の最大値を使用してもよい。例えば、多くの場合、ライトフィールド画像の中のディスク２０１の中央部に近いピクセルは、過飽和の場合を除いて、ディスク２０１の縁部に近いピクセルよりもかなり明るい。ディスク縁部ピクセルは、ディスク中央部ピクセルが保持できる値よりも小さい最大値にクランプされ得る。

【0068】

さらなる実施形態は、ビット深度が可変の方法とピクセル最大が可変の方法との組合せを使用してもよい。こうした読出しパターンの例は、ディスク中央部ピクセル２０３に関して値を［０，４０９５］の範囲内でエンコードするのに１２ビット毎ピクセル（ｂｐｐ）を使用してもよく、ディスク縁部ピクセル２０３に関して値を［０，１０２３］の範囲内でエンコードするのに６ｂｐｐを使用してもよい（この場合、１０２４個のピクセル値の範囲内で６４個の可能なエンコードされた値が等間隔にされる）。

【0069】

別の例示的な実施形態では、センサ値をエンコードされた値にマッピングするのに１つ以上のルックアップテーブルを用いることができ、ルックアップテーブルはユーザによってプログラムされてもよく、どのルックアップテーブルをどの所与のピクセル２０３に適用するかの選択は、そのライトフィールド座標に従って、例えばそのディスク２０１の中央に対するその位置に従って決定される。異なるルックアップテーブル、さらにはルックアップテーブル内の異なるエントリは、様々なビット長であっても又は様々なビット長でなくてもよく、センサから読み出される一連のピクセル２０３は、一緒に詰め込まれるどのような可変サイズのピクセル値も有することができる。

【0070】

事前フィルタリングの実施形態と同様に、少なくとも１つの実施形態において、こうしたピクセルビット深度の修正は、センサのインターフェースで読み出される前にピクセル２０３の少数のバッファされた行に対して動作する論理によって実施されてもよい。

【0071】

［プログレッシブマルチパス読出し］
少なくとも１つの実施形態において、センサ画像データは、複数のパスで読み出すことができ、各パスは、センサ１０３にわたって間隔をおいて配置され且つ他のパスによって読み出される行と交互に配置される行の組を読み出す。こうした読出し方法は、データのその後の処理によってオブジェクトの動きからのカメラの動きの解放（ｄｉｓｅｎｔａｎｇｌｅｍｅｎｔ）及びＨＤＲイメージングなどの特徴を可能にする。

【0072】

多くのパス及び各パスによって読み出される対応する行の組は、配線接続されてもよく、又はそれらはプログラム可能であってもよい。

【0073】

［読出し中にライトフィールドアウェア処理を行うこと］
少なくとも１つの実施形態において、センサ１０３から読み出されるデータが何らかの方法で処理されるように、イメージセンサ１０３上でライトフィールドアウェア処理を行うことができる。ライトフィールドアウェア処理動作の例は、以下を含む（しかしこれらに限定されない）。
・ライトフィールド画像データを「ディスクのアレイ」フォーマットから「サブ開口画像のアレイ」フォーマットに置き換えること。
・例えば、再合焦することによって、全焦点又は拡張被写界深度（ＥＤＯＦ）画像をもたらすことによって、若しくは視差を有する又は遠近感を変えた画像をもたらすことによって、４Ｄデータを２Ｄ画像に変換すること。

【0074】

［異なるフレームにわたる異なる読出しパターン］
少なくとも１つの実施形態において、異なるフレームに関して、特にビデオに関して異なる読出しパターンを提供することができる。一般に、本明細書に記載の読出しモードの実施形態のいずれも異なるフレームにわたって変えてもよい。

【0075】

［ＣＣＤセンサ上のライトフィールド画像の読出し］
少なくとも１つの実施形態において、本明細書に記載の画像読出しモードの少なくともいくつかは、イメージセンサ１０３が製作されるときにマイクロレンズアレイの幾何学的形状の一部又はすべてが既知であるか又は決定される場合に、電荷結合素子（ＣＣＤ）イメージセンサ１０３を用いて実施することができる。ＣＭＯＳイメージセンサとは異なり、ＣＣＤは、一般に、個々にアドレス指定可能なピクセル２０３を有さず、読出しを電荷移動に依拠する。これは、ピクセルの読出しの局所的順序及びパターンが半導体デバイス自体の設計において固定されるため、こうしたイメージセンサ１０３上で任意の読出しモードを実施することに関する課題を呈する。

【0076】

ピクセル２０３を、特定のマイクロレンズアレイの幾何学的形状に依存するか又はマイクロレンズイメージングに大変都合のよい特定の順序又は様態で読み出す、フル解像度又は解像度低減読出しモードを実施する１つの方法は、インターライン、フレーム−インターライン伝達、又は飛越し走査方式のあらゆる他のタイプのＣＣＤイメージセンサ１０３を用いることである。イメージセンサ１０３は、本明細書に記載の読出しモード（単数又は複数）の実施を可能にするために、ライトフィールドマイクロレンズアレイ１０２の幾何学的形状に従って配列されたピクセル毎のマイクロレンズ、フォトダイオード、伝達ゲート、垂直電荷結合素子（ＶＣＣＤ）、及び／又は他の慣例的なイメージセンサ部品と共に構築される。他の点では、イメージセンサ１０３は、ＣＣＤイメージセンサに適するどのような様態で構築されてもよい。

【0077】

ここで図８を参照すると、一実施形態に係るライトフィールドディスク画像間の縁部に近い又は縁部上のピクセル２０３をスキップする読出しモードに関するフォトダイオード７０１の例示的な配列が示されている。図８は、六角形のライトフィールドマイクロレンズアレイパターン７０３を有する８フィールドインターレース読出しイメージングセンサに関するフォトダイオード７０１及びＶＣＣＤ７０２の論理的配列を描画する。伝達ゲート（又は金属層のあらゆる他の部品）、開口、カラーフィルタアレイ、及びピクセル毎のマイクロレンズは、明快にするために省略されている。図面は縮尺通りに描かれていない。この例では、フィールド１、２、３、及び４の読み出しは、マイクロレンズアレイ画像の中央のピクセル２０３だけをカバーする半解像度モードを与える。

【0078】

［イメージセンサのカラーフィルタアレイパターンの変化］
少なくとも１つの実施形態において、イメージセンサの上のマイクロレンズアレイ、例えば、センサ１０３の上のマイクロレンズアレイ１０２を考えると、ライトフィールドから取り込まれるカラー情報の品質を改善するために、イメージセンサ１０３に適用されるカラーフィルタアレイ（ＣＦＡ）パターンを修正することができる。各ピクセル２０３に対して選ばれた色は、そのライトフィールド座標の関数であっても（又は関数でなくても）よい。

【0079】

ここで図９を参照すると、一実施形態に係るライトフィールド取り込み装置１０９の別の例示的なアーキテクチャが示されている。図９に描画するように、ライトフィールドセンサ１０３は、ディスクパターン９０１（例えば、センサ１０３上に形成される取り込まれたライトフィールド画像データにおけるディスク１０２の配列を指定する）、カラーフィルタアレイ（ＣＦＡ）グリッドレイアウト９０２、及びＣＦＡモディファイア９０３を含む。本発明の技術によれば、ＣＦＡモディファイア９０３は、ディスクパターン９０１に基づいてＣＦＡグリッドレイアウト９０２を修正することができる。

【0080】

ここで図１０を参照すると、一実施形態に係るライトフィールドから取り込まれるカラー情報の品質を改善するためにカラーフィルタアレイ（ＣＦＡ）を修正する方法を描画する流れ図が示されている。例証する目的で、図１０の方法は、図９の構成部品及びデータに関して説明される。

【0081】

少なくとも１つの実施形態において、ＣＦＡモディファイア９０３が、ディスクパターン９０１の構成にアクセスする１００１。ＣＦＡモディファイア９０３は、次いで、マイクロレンズアレイ１０２の出力から取り込まれるカラー情報の品質を改善するためにカラーフィルタアレイ（ＣＦＡ）をどのように修正するかを決定する１００２。ＣＦＡモディファイア９０３は、次いで、その決定に従ってＣＦＡグリッドレイアウト９０２を修正する１００３。次いで、ライトフィールドセンサ１０３が、ディスクパターン９０１及び修正されたＣＦＡグリッドレイアウト１０２に従ってマイクロレンズアレイ１０２の出力からライトフィールド画像データを取り込む１００４。ライトフィールドセンサ１０３は、次いで、取り込まれたライトフィールド画像データを処理回路１０４に送る１００５。

【0082】

種々の実施形態では、カラーフィルタアレイは、一部のピクセル２０３にカラーフィルタを適用しないこと、カラーフィルタ通過帯域を変化させること、及び／又はカラーフィルタアレイパターンのランダム化を含むがこれらに限定されない種々の方法で修正することができる。

【0083】

種々の実施形態では、ＣＦＡパターンの修正は、以下を含むがこれらに限定されない。

【0084】

［一部のピクセルにカラーフィルタを適用しないこと］
マイクロレンズアレイ１０２によって強く変調される光を受光するピクセル２０３は、同じ露光時間中にピクセル２０３によって取り込まれるフォトンの量を増加させるために、カラーフィルタを有さなくてもよい。後の処理段階で、カラーフィルタされていないピクセル２０３を、輝度信号（モノクロ画像）のソースとして用いることができ、それらのクロミナンス成分を近傍のピクセル２０３から補間することができる。

【0085】

［カラーフィルタ通過帯域を変化させること］
より少ない光を受光するピクセル２０３は、より広い通過帯域（減色）のカラーフィルタを有することができ、一方、より多くの光を受光するピクセル２０３は、より狭い通過帯域を有することができる。例えば、マイクロレンズ画像の縁部の方のピクセル２０３は、シアン／マゼンタ／イエローのカラーフィルタパターンを有することができ、一方、マイクロレンズ画像の中央部の方のピクセル２０３は、赤／緑／青のカラーフィルタパターンを有することができる。これは、縁部ピクセル２０３がそれらのカラーフィルタであまり信号を減弱させないようにし、光センサに到達するフォトンの数を増加させることができる。

【0086】

［カラーフィルタアレイパターンのランダム化］
カラーフィルタアレイパターンの規則性に起因して起こり得る問題を低減させるために、カラーフィルタアレイ配列をランダム化することができる。各ピクセル２０３の上のカラーフィルタのタイプを記録し、処理ソフトウェア／ハードウェアに知らせることができる。

【0087】

［イメージセンサのピクセル特性の変化］
イメージセンサ１０３の上に位置決めされるマイクロレンズアレイ１０２を考えると、センサ角度応答、並びにマイクロレンズアレイ１０２及び／又は主レンズ１１３の光学特徴に依存する種々の因子に起因して、各マイクロレンズ２０１の下のそれらの位置に基づいて、異なる量の光が異なるピクセル２０３によって取り込まれることがある。少なくとも１つの実施形態において、個々のピクセル特性を、これらの影響を補償するために及びより一様な（又は意図的に一様でない）サンプリングをもたらすために各ピクセル２０３のライトフィールド座標に基づいて調整することができる。

【0088】

ここで図１１を参照すると、一実施形態に係るライトフィールド取り込み装置１０９の別の例示的なアーキテクチャが示されている。図１１に描画するように、ライトフィールドセンサ１０３はピクセルモディファイア１１０６を含む。一般に、ピクセルモディファイア１１０６は、ピクセル２０３のライトフィールド座標にアクセスし、ピクセル２０３のライトフィールド座標に基づいてピクセル２０３の特性に、対応する修正を行うことができる。

【0089】

ここで図１２を参照すると、一実施形態に係るピクセル特性を修正する方法を描画する流れ図が示されている。図１２の方法は、図１１の構成部品及びデータに関して説明される。

【0090】

センサ１０３は、マイクロレンズアレイ１０２の出力から、各ピクセル２０３の特性を含むライトフィールド画像データを取り込む１２０１。次いで、ライトフィールド画像データに含まれる１つ以上のピクセル値のそれぞれに関して、ピクセルモディファイア１１０６が、ピクセル２０３の座標１１３０にアクセスし、ライトフィールド取り込み装置１０９の他の特徴に起因する一様でないサンプリングを補償するべくピクセル２０３の１つ以上の特性を調整することによってピクセル２０３を修正する１２０２。例えば、ピクセルモディファイア１１０６は、座標１１０３に基づいて特性１１０４を調整することによってピクセル２０３を修正することができる。修正された１つ以上のピクセル２０３を含む取り込まれたライトフィールド画像データが、次いで、処理回路１０４に送られる１２０３。

【0091】

調整可能なピクセル特性の例は、以下を含むがこれらに限定されない。
・各ピクセル２０３に固有の露光時間。
・ピクセル増幅器、列増幅器、行増幅器、及び／又はあらゆる他のアナログ又はデジタル増幅ステージで信号に印加されるあらゆる種類の利得。
・フォトダイオード、あらゆる増幅器、デジタル／アナログ変換器（ＤＡＣ）、及び／又はあらゆる他の処理ステージで信号に印加されるあらゆる種類のバイアス及び／又はオフセット。

【0092】

これらの特性はピクセル毎に変えてもよく、及び／又はそれらはピクセル２０３のグループ毎に変えてもよい。例えば、少なくとも１つの実施形態において、一定の数のパラメータの異なる組が存在することができ、各ピクセル２０３は、これらのパラメータの組のうちの１つに従って構成することができる。

【0093】

これらの特性を調整する方法は、以下を含むがこれらに限定されない。
・半導体のあらゆる種類の製作後局所的トリミング。
・画像露光の前にデジタル信号又はアナログ信号として提供される、設定可能なピクセル毎の又はピクセル群毎の露光スケール又はオフセット、信号利得、信号バイアス、又は信号オフセットを（例えば、ハードウェアにおいて）実装すること。
・製造時間中に半導体ヒューズに記憶される設定可能なピクセル毎の又はピクセル群毎の露光スケール又はオフセット、信号利得、信号バイアス、又は信号オフセットを（例えば、ハードウェアにおいて）実装すること。
・画像読出し中にデジタル信号又はアナログ信号として同期的に提供されるピクセル毎の又はピクセル群毎の信号利得、信号バイアス、又は信号オフセットを（例えば、ハードウェアにおいて）実装すること。

【0094】

［ピクセル及び／又はマイクロレンズの移動／ジッタリング］
上述したように、少なくとも１つの実施形態において、センサ１０３上のピクセル２０３は、正方形パターンなどの規則的パターンに配列されてもよい。同様に、マイクロレンズアレイ１０２上のレンズ２０１もまた、正方形パターン又は六角形パターンなどの規則的パターンに配列されてもよい。しかしながら、これらの規則的パターンのいずれか又は両方を位置の小さいランダムな変動が導入されるように乱すことに利点が存在し得る。こうした位置のランダムな変動を本明細書では「ジッタ」と呼び、ジッタの導入を本明細書では「ジッタリング」と呼ぶ。サンプル位置のジッタリングがエイリアジングをノイズに変換することが、コンピュータグラフィックスの分野ではよく知られている。例えば、Ｃｏｏｋ， Ｒｏｂｅｒｔ Ｌ．、Ｓｔｏｃｈａｓｔｉｃ Ｓａｍｐｌｉｎｇ ｉｎ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ、ＡＣＭ Ｔｒａｎｓ． Ｇｒａｐｈ．５、１（１９８６）を参照されたい。マイクロレンズ２０１及びピクセル２０３の位置が、カメラ１００に入るライトフィールドのサンプルパターンを本質的に決めるので、これらの利点はライトフィールドのサンプリングから生じることもある。関連する利点は、ライトフィールドの再投影におけるサンプルパターンの規則性も低減され得ることである。付加的な利点が同様に存在することがある。

【0095】

ここで図１３を参照すると、一実施形態に係るライトフィールド取り込み装置１０９の別の例示的なアーキテクチャが示されている。図１３に描画するように、ライトフィールド取り込み装置１０９はジッタモジュール１３０１を含む。ジッタモジュール１３０１は、マイクロレンズアレイ１０２及び／又はライトフィールドセンサ１０３にジッタを導入するように構成される。

【0096】

ここで図１４を参照すると、一実施形態に係る光学系構成部品にジッタを導入する方法を描画する流れ図が示されている。図１４の方法は、図１３の構成部品及びデータに関して説明される。

【0097】

少なくとも１つの実施形態において、開口１１２及び主レンズ１１３を通過した光１３０３が得られる。図１３に描画するように、光１３０２がカメラ１００に入り、光１３０３が光学系１０１を出る。ジッタモジュール１３０１が、例えばマイクロレンズアレイ１０２におけるレンズ２０１の位置及び／又は１つ以上のライトフィールドセンサ１０３におけるピクセル２０３の位置を変化させることによって、ランダム変動を導入する１４０２。

【0098】

ランダム変動の導入に続いて、例えばマイクロレンズアレイ１０２及びライトフィールドセンサ１０３によって得られた光１３０３からライトフィールド画像データ１３０４が取り込まれる１４０３。取り込まれたライトフィールド画像データ１３０４が処理回路１０４に送られる１４０４。

【0099】

ジッタパターンはどのようなスケールでもランダムであり得る。１つの極端な例では、パターンは、或る範囲にわたって、すなわち、マイクロレンズアレイ１０２全体又はセンサ１０３全体にわたって延びてもよい。他の極端な例では、パターンは、マイクロレンズアレイ１０２又はセンサ１０３にわたって繰り返される小さいタイルであってもよい。これらの極端な例の間に、より大きいタイル及びより大きいタイルのランダムパターンが存在する。タイリングの動機は、サンプル位置を適正に解釈するのに必要なテーブルがより小さくてすむため、処理費用の削減である場合がある。ジッタ導入後サンプリングの利点の多くは、かなり小さいタイルで生じ得る。例えば、各ディスクにおける数十のピクセル２０３に関してピクセルジッタの同じパターンが実装されてもよい。

【0100】

少なくとも１つの実施形態において、センサ１０３上のピクセル２０３は、真にジッタ導入された位置を有することができる。代替的に、ピクセル２０３は、規則的なグリッド上に位置するが、各ピクセル位置におかれるレンズに調整を行うことによってジッタ導入されたように見せることができる（これらのレンズは、センサ１０３に当たる光を電子ピクセル構造体の感光部の方に案内することを意図される）。センサ１０３自体に変更を加えるのではなくセンサ１０３の表面上の光学系だけを調整することは、安上がりになり、より大きいタイリングで実施することができる。ピクセルジッタは、ピクセルサイズの変更と併せて行うことができ、これはまた、センサ１０３に直接、又はセンサ１０３の表面上の光学系に変更を加えることによって導入することができる。

【0101】

少なくとも１つの実施形態において、マイクロレンズ位置及び／又はピクセル位置のジッタリングは、２つのレンズが確実にディスクの直径よりも近接して配置されない状態で行われる。したがって、ディスクの重なりが回避され、そうしなければピクセル値が適正に解釈されなくなることがある。近接性の制約は、ランダムジッタリングで満たされてもよい。代替的に、マイクロレンズの位置に対する付加的な制約として近接性の制約を満たすことがより効率的な場合がある。例えば、アニーリングアルゴリズムは、ほぼランダムなジッタと最小距離制約との両方を同時に実施可能にし得る。特に、ジッタは、タイル全体にわたってランダムに導入することができ、最小距離制約が違反される場合、サンプルに再びジッタ導入することができ、このプロセスは、制約が満たされるまで繰り返すことができる。

【0102】

［整数ピッチディスク画像のための設計］
少なくとも１つの実施形態において、センサピクセル２０３の整数の垂直ピッチ及び／又は水平ピッチを有するディスク画像をもたらすようにマイクロレンズアレイ１０２及び主レンズ１１３設計並びに光学系１０１内の位置に修正を加えることができ、この場合、整数ピッチは、より安価な、より速い、及び／又はより高品質の処理手法を可能にするように選ばれる。こうした手法は、以下で説明されるものを含む（しかしこれらに限定されない）。

【0103】

センサ１０３上のディスク画像のピッチは、マイクロレンズアレイ１０２のピッチ、センサ１０３からのその分離、及び主レンズ１１３の射出瞳との距離によって支配される。これらのパラメータを適切に選ぶこと、且つまたマイクロレンズアレイ１０２がセンサ１０３に対して空間的に回転しないことを保証することは、水平方向及び垂直方向のいずれか又は両方のディスクピッチが整数であるライトフィールドディスク画像が取り込まれることを可能にする。

【0104】

ディスクピッチが整数値であることに加えて、適用可能な別の設計上の制約は、マイクロレンズアレイ１０２のマイクロレンズ２０１の各行がセンサピクセル２０３の行に平行であるようにセンサ１０３の上にマイクロレンズアレイ１０２が確実に適正に位置合わせされるようにすることである。これは、リソグラフィ製造手法に加えてウェーハ間（ｗａｆｅｒ−ｔｏ−ｗａｆｅｒ）製造技術を用いることができる。

【0105】

例えば、図１Ａ、図１Ｂ、図２、及び図７を再び参照すると、主レンズ１１３及びマイクロレンズアレイ１０２は、センサ１０３上のセンサピクセル２０３の整数の垂直ピッチ及び／又は水平ピッチを有するディスク画像２０１（又は中央矩形６０１）をもたらすように配列することができる。代替的に又は組み合わせて、マイクロレンズアレイ１０２とセンサ１０３との分離は、センサ１０３上のセンサピクセル２０３の整数の垂直ピッチ及び／又は水平ピッチを容易にするように選択することができる。代替的に又は組み合わせて、マイクロレンズアレイ１０２は、センサ１０３に対して確実に空間的に回転しないように構成することができる。代替的に又は組み合わせて、マイクロレンズアレイ１０２は、マイクロレンズアレイ１０２のマイクロレンズ２０１の各行がセンサ１０３のセンサピクセル２０３の行に平行であるようにセンサ１０３上で確実に適正に位置合わせされるように構成することができる。

【0106】

少なくとも１つの実施形態において、主レンズ１１３は可動主レンズである。主レンズ１１３は、主レンズ１１３が動く際に（例えば、ズームする際に）センサ１０３上のディスク画像ピッチが一定且つ整数のままであることを保証する設計とすることができる。例えば、主レンズ１１３は、すべての焦点距離に関して（センサ寸法に対して）ライトフィールドセンサ１０３のセンサ表面から十分なだけ遠くに射出瞳を有してもよい。

【0107】

［サブ開口画像のアレイへの置き換え］
少なくとも１つの実施形態において、光学系は、取り込まれたライトフィールドディスク画像２０１が正方格子上の整数ピッチディスクを有するように構成され、各ディスク画像２０１は、ソースピクセル２０３の正方形のＮ×Ｎ領域内に収まる。さらに、ライトフィールド画像データは、Ｎｇ他で説明されるように、その「ディスクのアレイ」表現からその等価な「サブ開口画像のアレイ」表現に置き換えられる。こうした置き換えは、以下の場所のいずれかにおいて又はあらゆる他の適切な位置で起こり得る。
・センサ１０３から読み出される生ライトフィールド画像データが既にその置き換えられたレイアウトであるように、センサ１０３自体上。
・カメラ処理フロー内のカメラシステム・オン・チップ（ＳｏＣ）などの、センサ１０３に接続される処理要素上。
・ファイルに保存されているライトフィールド画像データ上。

【0108】

データの置き換えは、生ドメイン（すなわち、データをデモザイク処理する前）において又はフルカラーに変換された後のライトフィールド画像データに対して（例えば、ＲＧＢドメイン又はＹＵＶドメインにおいて）なされてもよい。

【0109】

このレイアウトで表されるライトフィールド画像データは、はるかに少ない高周波数変調を有し得る。ライトフィールド画像データをこのレイアウトで構成する利点は、例えば以下を含むことがある。
・ライトフィールド画像データを２Ｄ画像であったかのように処理する、例えばデモザイク処理する（生ライトフィールド画像データの場合）、ＪＰＥＧエンコーディングする、一連のこうしたフレームをビデオエンコーディングするなどの能力向上。これは、このフォーマットでエンコードされるライトフィールド画像データが単に２Ｄ画像の地図帳（ａｔｌａｓ）のように見えるという事実に起因する。「ディスクのアレイ」として表されるとき、ライトフィールド画像データは、データに標準２Ｄ画像アルゴリズムが適用される場合にしばしばデータが劣化することになるディスクパターンに起因する高周波数変調パターンを含む。
・データのライトフィールド処理をより安価に、効率よく、又はより速く行う能力。

【0110】

カラーフィルタアレイ（ＣＦＡ）（例えば、Ｂａｙｅｒセンサ）と共にセンサを用いて取り込まれた生ライトフィールド画像データにこうした置き換えを行う場合、置き換え後のライトフィールド画像データは、データ範囲にわたってもはや一様なカラーパターンを含まないことがある。例えば、図１５に描画するように、２×２ディスク２０１を有し、各ディスク２０１が３×３ピクセル（Ｎ＝３）である、ライトフィールド画像２００を考えると、これは、各画像が２×２ピクセル２０３を有する、３×３サブ開口画像でのサブ開口画像グリッド１５０３Ａに置き換えることができる可能性がある。

【0111】

別の実施形態では、図１６に描画するように、ライトフィールド画像データが置き換え後はＢａｙｅｒモザイクパターンなどの生ＣＦＡパターンの合法的な例であるように、ＣＦＡパターンをセンサ上で修正することができる。これをライトフィールド画像２００に実施する１つの方法は、ディスク画像のディスクのカラーパターンが合法的なモザイクパターンである状態で各ディスク画像２０１を一様な色にするＣＦＡを用いることである。これは、それぞれ２×２ピクセルの３×３サブ開口画像でのサブ開口画像グリッド１５０３Ｂに置き換えることができる。

【0112】

［特定の深度に高分解能で再合焦するための生置き換え］
少なくとも１つの実施形態において、生Ｂａｙｅｒドメインにおける取り込まれたライトフィールド画像データの高速並べ替えを可能にする整数ディスクピッチを有する取り込まれたライトフィールド画像をもたらす光学系が実装され、したがって、結果として得られる並べ替えられたライトフィールド画像データを、特定の深度に合焦される２Ｄ画像として直接解釈し、標準２Ｄ画像処理アルゴリズムを用いて処理（デモザイク処理を含む）して、表示又は出力可能な最終画像をもたらすことができる。

【0113】

少なくとも１つの実施形態において、光学系は、以下のように特徴付けられることがある。
・正方形詰込み、整数Ｎ、及び適正な位置合わせを有するマイクロレンズアレイ（ＭＬＡ）１０２。
・以下のように特定の焦点面（固定焦点カメラでの。この焦点面は無限遠の焦点面に近いことがある）を見ることを可能にするためのビデオ及び／又はライブビュー設定用の光学系。
・サブ開口画像の行にわたるピクセル２０３の数がマイクロレンズアレイ１０２の行にわたるマイクロレンズ２０１の数とほぼ同じであるという点で、サブ開口画像が「ＭＬＡ解像度」で見られる、主レンズ１１３の仮想開口内の位置の組に対応するすべてのサブ開口画像の組を考える。
・仮想開口の周辺部の点に対応する最端のサブ開口画像がそれぞれＬ／２ピクセルだけシフトされるときに、特定の焦点面に合焦されるシーンオブジェクトが、Ｎｇ他で説明される「シフト及び追加（ｓｈｉｆｔ−ａｎｄ−ａｄｄ）」再合焦法によって生成される出力画像に合焦されるようにＬを定義する。シフトの方向は、考慮中の特定の焦点面が、光学的に取り込まれる焦点面（Ｎｇ他参照）の「前」又は「後ろ」のいずれにあるかによって決定される。
・作動時に、カメラ１００は、後述する方法に従ってパラメータＬによって上記のように特徴付けられる焦点面に再合焦する。
・Ｎ及びＬは、Ｎ／Ｌが整数であるように選択される。Ｐ＝Ｎ／Ｌとする。
・センサは、Ｎ×Ｎピクセルごとに繰り返すＰ×Ｐピクセルの単一のブロックを読み出すことができる読出しモードを有する。
・マイクロレンズアレイ１０２は、各Ｐ×Ｐ読出しブロックがマイクロレンズアレイ１０２に対応するピクセル２０３のディスク２０１の中央の近くにあるように、センサ１０３と位置合わせされる。

【0114】

ここで図１７Ａ〜図１７Ｄを参照すると、Ｎ×Ｎピクセル２０３ごとに繰り返すＰ×Ｐピクセル２０３の単一のブロックを読み出すことができる読出しモードを有する例示的なセンサ１０３が示されている。図１７Ａは、焦点面１７１１、マイクロレンズアレイ１０２、及びセンサ１０３を有する光学系１０１Ａを描画する。図１７Ａでは、焦点面１７１１とマイクロレンズアレイ１０２との距離は、マイクロレンズアレイ１０２とセンサ１０３との距離の４倍（すなわち、Ｌ＝４）である。図１７Ｂは、各ディスク２０１が８×８ピクセル（Ｎ＝８）である２×２ディスク２０１を有するライトフィールド画像２００Ａを描画する。ライトフィールド画像２００Ａは、光学系１０１Ａの構成部品によって生成することができる。図１７Ｃは、ライトフィールド画像２００Ａのサブサンプリングパターン１７０４Ａを描画する。図１７Ｄは、サブサンプリングパターン１７０４Ａを用いてとられるライトフィールド画像２００Ａのサブサンプリングされた部分１７０６Ａ及びＬ＝Ｎ／２の対応する置き換え１７０７Ａを描画する。置き換え１７０７Ａ投影内で、Ｂａｙｅｒモザイクピクセル２０３は、デモザイク処理のためにＸ／Ｙ近隣ピクセルとＵ／Ｖ近隣ピクセルとの両方に隣接する。

【0115】

ここで図１８Ａ〜図１８Ｄを参照すると、Ｎ×Ｎピクセル２０３ごとに繰り返すＰ×Ｐピクセル２０３の単一のブロックを読み出すことができる読出しモードを有する別の例示的なセンサ１０３が示されている。図１８Ａは、焦点面１７１１、マイクロレンズアレイ１０２、及びセンサ１０３を有する光学系１０１Ｂを描画する。図１８Ａでは、焦点面１７１１とマイクロレンズアレイ１０２との距離は、マイクロレンズアレイ１０２とセンサ１０３との距離の３倍（すなわち、Ｌ＝３）である。図１８Ｂは、各ディスク２０１が９×９ピクセル（Ｎ＝９）である２×２ディスク２０１を有するライトフィールド画像２００Ｂを描画する。ライトフィールド画像２００Ｂは、光学系１０１Ｂの構成部品によって生成することができる。図１８Ｃは、ライトフィールド画像２００Ｂのサブサンプリングパターン１７０４Ｂを描画する。図１８Ｄは、サブサンプリングパターン１７０４Ｂを用いてとられるライトフィールド画像２００Ｂのサブサンプリングされた部分１７０６Ｂ及びＬ＝Ｎ／３の対応する置き換え１７０７Ｂを描画する。置き換え１７０７Ｂ投影内で、Ｂａｙｅｒモザイクピクセル２０３は、デモザイク処理のためにＸ／Ｙ近隣ピクセルとＵ／Ｖ近隣ピクセルとの両方に隣接する。

【0116】

作動時に、カメラ１００は、Ｐ×Ｐブロックから画像をサブサンプリングし、結果として得られる画像をアセンブルする。Ｌが正の場合（バックグラウンドにおいて）、各Ｐ×Ｐブロック内のピクセル２０３が中心点を中心として反転される（図１８Ｄ）。Ｌが負の場合、ピクセル２０３は所定位置のままである。

【0117】

少なくとも１つの実施形態において、結果として得られる画像は以下の特性を有する。
・パラメータＬによって特徴付けられる焦点面に合焦される。
・結果として得られる画像は、センサ幅^＊Ｐ／Ｎピクセル幅及びセンサ高さ^＊Ｐ／Ｎピクセル高さである。４０００×３０００センサ（１２ＭＰ）、Ｎ＝１０、及びＬ＝５の場合、出力画像は８００×６００ピクセルである。
・結果として得られるＢａｙｅｒ画像の各ピクセル２０３は、そのＸ／Ｙ近隣ピクセルとＵ／Ｖ近隣ピクセルとの両方に隣接する。
・被写界深度は光学系のＰ倍であり、実際には若干拡張した被写界深度を有する画像をもたらす。

【0118】

この手法の１つの利点は、拡張被写界深度（ＥＤＯＦ）ビデオ及びライブビューを非常に効率的に作成できることである。Ｂａｙｅｒモザイクでの投影は、Ｘ，Ｙ，Ｕ，Ｖ空間での真の近隣ピクセルと共にデモザイク処理を可能にする。この方法はまた、結果として比較的高解像度の出力をもたらす。

【0119】

［整数ピッチ六角形マイクロレンズアレイレイアウト］
少なくとも１つの実施形態において、ライトフィールド光学系は、マイクロレンズ２０１が例えば六角格子などの非方形格子にレイアウトされる、マイクロレンズアレイ１０２を含み、この場合、格子は、各次元において整数ピッチを達成するために１つの次元において（例えば、垂直方向又は水平方向に）引き伸ばされてもよい。例えば、六角形レイアウトを有するマイクロレンズアレイ１０２では、マイクロレンズピッチは、結果的にＮ＝１０ピクセルのセンサ上の水平ディスクピッチをもたらすように選ばれてもよいが、この場合、垂直ディスクピッチは、Ｎ^＊ＳＱＲＴ（３）／２＝８．６６ピクセルとなるであろう。マイクロレンズアレイレイアウトを垂直方向に４％引き伸ばすことで、結果的に９の垂直ピッチがもたらされる。

【0120】

［センサ１０３の利用可能な読出しモードに基づくセンサ１０３の上のマイクロレンズアレイ１０２の位置決め及び／又は配向］
少なくとも１つの実施形態において、センサ１０３の読出しモードに基づいてセンサ１０３の上のマイクロレンズアレイ１０２の位置及び配向を決定することができる。マイクロレンズアレイ１０２及びイメージセンサ１０３を考えると、イメージセンサ１０３の上のマイクロレンズアレイ１０２の最適な配向及び位置を決定することができる。少なくとも１つの実施形態において、この配向及び位置が、次いで、マイクロレンズアレイ１０２が所定位置に固定される前に製造プロセス中にマイクロレンズアレイ１０２に適用される。

【0121】

ここで図１９を参照すると、一実施形態に係るライトフィールド画像取り込み装置１０９に用いられるマイクロレンズアレイ１０２を決定及び構成する方法を描画する流れ図が示されている。この方法は、図１Ａ、図１Ｂ、及び図５の構成部品に関して説明される。

【0122】

最初に、マイクロレンズアレイ１０２の特徴を取得する１９０１。次いで、センサ１０３の読出しモードを含むセンサ１０３の特徴を取得する１９０２。マイクロレンズアレイ１０２の特徴及びイメージセンサ１０３の読出しモードを含むセンサ１０３の特徴に基づいてマイクロレンズアレイ１０２の最適な構成が決定される１９０３。ライトフィールド取り込み装置１０９の製造中にマイクロレンズアレイ１０２に適用するのに最適な構成が記憶装置に格納される１９０４。最適な構成は、例えば、カメラ１００を製造するのに用いられる製造機器に格納することができる。

【0123】

少なくとも１つの実施形態において、システムは、イメージセンサ平面（Ｚ軸）と直交する軸を中心としたマイクロレンズアレイ１０２の（潜在的にすべての）物理的回転と、イメージセンサ平面（ＸＹ軸）に平行な平面内のマイクロレンズアレイ１０２のすべての物理的平行移動との組を考慮する。また、システムは、センサ１０３のすべての読出しモード（例えば、ビンニング、スキップ、再サンプリング、スケーリング、及び／又はこれらのいくつかの組み合わせを含む）の組を考慮する。各センサ読出しモードに関して、以下の因子を計算及び考慮することによってマイクロレンズアレイ１０２の２つの異なる配向／位置を比較することができる。
・読出しピクセル２０３の平均変調とすべてのピクセル２０３の平均変調との比。例えば、読出しモードが垂直方向と水平方向との両方にサイズＮの周期的パターンに従ってピクセル２０３をスキップすると仮定する。最小限の変調を有する領域に存在する読出しピクセル２０３の数を最大にするマイクロレンズアレイ１０２の平行移動が、そうでないものよりも好ましいであろう。
・解像度低減読出しモードの場合に該読出しモードによってライトフィールドのどの区域が取り込まれるか。各読出しフレームにおけるサンプルの組は、それらのライトフィールド座標に関して解釈することができる。所与のモードに関するこのサンプル分布の形状は、マイクロレンズアレイ１０２の平行移動及び回転と共に変化し、或る分布は他の分布よりも良いであろう。例えば、読出しモードが垂直方向と水平方向との両方にサイズＮの周期的パターンに従ってピクセル２０３をスキップし、各ライトフィールドディスク画像がセンサ１０３上のＮ×Ｎピクセル四方内に偶然収まると仮定する。中央ピクセル２０３が各マイクロレンズ１０２の下で確実に読み出されるようにするマイクロレンズアレイ１０２の平行移動及び回転が、中央サブ開口画像をもたらす。例えば、Ｎｇ他を参照されたい。
・所与の読出しモードでイメージセンサ１０３によって適用されるあらゆるスケーリング、ビンニング、及び／又は再サンプリング中にライトフィールドのどの部分が一緒に混合されるか。ライトフィールド画像のスケーリング、ビンニング、又はサブサンプリングされたバージョンの各出力ピクセルは、センサピクセル２０３の組合せとして計算されてもよい（加重平均であってもよい）。特定のマイクロレンズアレイの位置を評価するために適用され得る１つの基準は、出力ピクセルを計算するのに用いられたセンサピクセル２０３の組のライトフィールド座標の方向情報の範囲（ｓｐｒｅａｄ）である。各出力ピクセルの方向座標のより大きい平均をもたらす位置の選択により、出力画像のエイリアジングアーチファクトをより少なくすることができる。

【0124】

［大きい主光線角（ＣＲＡ）に対処するためのＭＬＡ設計］
主レンズ１１３としてのテレセントリックレンズと共に用いることを意図されたセンサ１０３の性能は、マイクロレンズ２０１がそれら独自の局所的表面に垂直な（又はより垂直に近い）光線を受光するようにマイクロレンズ２０１を主レンズ１１３の光軸の方に傾けることによって（潜在的に劇的に）改善することができる。例えば、図１Ｂを参照すると、マイクロレンズアレイ１０２のレンズは、主レンズ１１３の光軸の方に傾けることができる。

【0125】

ここで図２０を参照すると、２つの例示的なマイクロレンズアレイ１０２の上視図が示されている。上視図２００１は、平面マイクロレンズアレイ１０２Ａを描画する。上視図２００２は、傾けられたマイクロレンズアレイ１０２Ｂを描画する。上視図２００２において、各マイクロレンズ２０１は、光軸（ｘ，ｙ＝０，０）の方に傾けられる。ここで図２１も参照すると、図２０に描画された上視図の例示的な３Ｄプロットが示されている。３Ｄプロット２１０１Ａは平面マイクロレンズアレイ１０２Ａに対応する。３Ｄプロット２１０１Ｂは傾けられたマイクロレンズアレイ１０２Ｂに対応する。図２０及び図２１の色つきバージョンでは、赤は高い高さ（ｅｌｅｖａｔｉｏｎ）を示し、一方、青は低い高さを示す。

【0126】

ここで図２２を参照すると、傾けられたマイクロレンズ２０１を含むマイクロレンズアレイ１０２を通る例示的な２Ｄスライス２２０１が示されている。２Ｄスライス２２０１は、傾けられた各マイクロレンズ２０１がその近隣マイクロレンズに平面でどのようにして接合されるかを示す。光線の入射媒体が空気の場合、平面は、主レンズ１１３の射出瞳の中央から来る光線に平行であるように配向される。光線の入射媒体が空気ではない、したがって１よりも大きい屈折率を有する場合、平面は、主レンズの中央から来る光線の屈折角度に平行であるように配向される。これは、主レンズ１１３の射出瞳の中央で観察者が見た場合のこれらの散乱面の影響を最小にするためになされる。主レンズのＦ値及び口径食、並びにレンズ表面からの散乱、反射、及び内部全反射を考慮に入れるために、傾けられたＭＬＡ側壁の角度のさらなる最適化を行うことができる。

【0127】

ここで図２３Ａ及び図２３Ｂを参照すると、傾けられたＭＬＡ側壁の角度の異なるタイプの最適化の２つの例が示されている。図２３Ａでは、ＭＬＡ１０２は、入射媒体２３０１（例えば、ガラス、ポリマー、又は他の光透過性材料であってもよい）の下縁から媒体２３０１とセンサ１０３との間に空隙２３０４がある状態で形状設定される。主レンズ１１３の射出瞳から届く光線２０２は、媒体２３０１に当たるときに屈折する。ＭＬＡ１０２の平面２３０２は、入射光の屈折角度に適合するように且つ光線２０２をセンサ１０３上に適正に合焦するように形状設定及び配向される。

【0128】

図２３Ｂでは、ＭＬＡ１０２は、入射媒体２３０１の上縁から媒体２３０１とセンサ１０３との間に空隙がない状態で形状設定される。ここで、主レンズ１１３の射出瞳から届く光線２０２は、入射媒体２３０１の上縁から形状設定されるＭＬＡ１０２の平面２３０２に当たるときに屈折する。したがって、この実施形態では、平面２３０２は、空気中の入射光の角度に適合するように且つ光線２０２をセンサ１０３上に適正に合焦するように形状設定及び配向される。

【0129】

本発明は、可能な実施形態に関して特に詳細に説明されている。本発明が他の実施形態で実施されてもよいことが当業者には分かるであろう。最初に、構成部品の特定の名前付け、用語の大文字使用、属性、データ構造、又はあらゆる他のプログラミング又は構造的態様は、必須でも重要でもなく、本発明又はその特徴を実装する機構は、異なる名前、フォーマット、又はプロトコルを有してもよい。さらに、システムは、説明したようにハードウェア及びソフトウェアの組合せを介して、又は完全にハードウェア要素において、又はソフトウェア要素において実装されてもよい。また、本明細書に記載の種々のシステム構成部品間の機能性の特定の分割は単なる例示であり、必須ではなく、単一のシステム構成部品によって行われる機能が、代わりに複数の構成部品によって行われてもよく、複数の構成部品によって行われる機能が、代わりに単一の構成部品によって行われてもよい。

【0130】

種々の実施形態では、本発明は、前述の技術を行うためのシステム又は方法として単独で又はあらゆる組み合わせで実装することができる。別の実施形態では、本発明は、一時的でないコンピュータ可読記憶媒体と、コンピューティングデバイス又は他の電子装置のプロセッサに前述の技術を行わせるために媒体上にエンコードされるコンピュータプログラムコードとを備えるコンピュータプログラム製品として実装することができる。

【0131】

本明細書での「一実施形態（ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）、（ａｎ ｅｍｂｏｄｉｍｅｎｔ）」への言及は、実施形態と組み合わせて説明される特定の特徴、構造、又は特色が本発明の少なくとも１つの実施形態に含まれることを意味する。本明細書の種々の場所での「少なくとも１つの実施形態において」という文言の出現は、必ずしもすべて同じ実施形態を言及するものではない。

【0132】

上記のいくつかの部分は、コンピューティングデバイスのメモリ内のデータビットに対する動作のアルゴリズム及び記号表現で提示される。これらのアルゴリズム記述及び表現は、研究の実体を他の当業者に最も効果的に伝えるためにデータ処理分野の当業者によって用いられる手段である。アルゴリズムは、ここでは、一般に、所望の結果につながる自己矛盾のない一連のステップ（命令）と考えられる。ステップは、物理量の物理的操作を必要とするものである。普通は、必ずしもそうではないが、これらの量は、記憶する、伝送する、組み合わせる、比較する、及び他の方法で操作することができる電気信号、磁気信号、又は光信号の形態をとる。主として一般使用のために、これらの信号をビット、値、要素、記号、文字、用語、数字などで言及することが時には便利である。さらに、物理量の物理的操作を必要とするステップの或る構成を、一般性を失わずにモジュール又はコード装置として言及することも時には便利である。

【0133】

しかしながら、これらの及び類似の用語のすべては、適切な物理量と関連付けられ、これらの量に付される便利なラベルにすぎないことに留意されたい。以下の解説から明らかなように特にそれ以外の指定のない限り、説明の全体を通して、「処理する」又は「計算する」又は「算出する」又は「表示する」又は「決定する」などの用語を用いる説明は、コンピュータシステムメモリ又はレジスタ若しくは他のこうした情報記憶装置、伝送装置、又は表示装置内の物理（電子）量として表されるデータを操作及び変換するコンピュータシステム又は類似の電子コンピューティングモジュール及び／又は装置のアクション及びプロセスを指すことが分かる。

【0134】

本発明の或る態様は、アルゴリズムの形態の本明細書に記載のプロセスステップ及び命令を含む。本発明のプロセスステップ及び命令は、ソフトウェア、ファームウェア、及び／又はハードウェアで具体化することができ、ソフトウェアで具体化されるときに、種々のオペレーティングシステムによって用いられる異なるプラットフォーム上に存在し、動作するように、ダウンロードすることができることに注目されたい。

【0135】

本発明はまた、本明細書での動作を行うための装置に関する。この装置は、必要とされる目的のために特別に構築されてもよく、又はこれはコンピューティングデバイスに格納されたコンピュータプログラムによって選択的にアクティブ化又は再構成される汎用コンピューティングデバイスを備えてもよい。こうしたコンピュータプログラムは、限定ではないが、フロッピー（登録商標）ディスク、光ディスクを含むあらゆるタイプのディスク、ＣＤ−ＲＯＭ、光磁気ディスク、読出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、ソリッドステートドライブ、磁気カード又は光学カード、特定用途向け集積回路（ＡＳＩＣ）、又は電子命令を格納するのに適する、それぞれコンピュータシステムバスに結合されるあらゆるタイプのメディアなどの、コンピュータ可読記憶媒体に格納されてもよい。さらに、本明細書で言及されるコンピューティングデバイスは、単一のプロセッサを含んでもよく、又はコンピューティング能力向上のために複数のプロセッサ設計を使用するアーキテクチャであってもよい。

【0136】

本明細書で提示されるアルゴリズム及び表示は、どのような特定のコンピューティングデバイス、仮想化されたシステム、又は他の装置にも本質的に関係付けられない。種々の汎用システムが本明細書の教示に係るプログラムと共に用いられてもよく、又は必要とされる方法ステップを行うためにより特化された装置を構築することが便利な場合がある。種々のこれらのシステムに必要とされる構造は、本明細書で提供される説明から分かるであろう。加えて、本発明は、どのような特定のプログラミング言語にも関連して説明されない。本明細書に記載の本発明の教示を実施するために種々のプログラミング言語が用いられてもよく、特定の言語への上記のどの言及も本発明を可能にするベストモードの開示のために提供されることが理解されるであろう。

【0137】

したがって、種々の実施形態では、本発明は、コンピュータシステム、コンピューティングデバイス、又は他の電子装置、又はこれらのあらゆる組み合わせ又は複数を制御するためのソフトウェア要素、ハードウェア要素、及び／又は他の要素として実装することができる。こうした電子装置は、例えば、当該技術分野では周知の技術に従って、プロセッサ、入力装置（キーボード、マウス、タッチパッド、トラックパッド、ジョイスティック、トラックボール、マイクロフォン、及び／又はその任意の組合せなど）、出力装置（画面、スピーカ、及び／又はこれらに類似のものなど）、メモリ、長期ストレージ（磁気ストレージ、光学ストレージ、及び／又はこれらに類似のものなど）、及び／又はネットワーク接続性を含むことができる。こうした電子装置は、携帯可能であっても又は携帯可能でなくてもよい。本発明を実装するのに用いられ得る電子装置の例は、移動電話、パーソナルデジタルアシスタント、スマートフォン、キオスク、サーバコンピュータ、企業コンピューティングデバイス、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、消費者電子装置、テレビ、セットトップボックスなどを含む。本発明を実装するための電子装置は、例えば、Ｌｉｎｕｘ（登録商標）、ワシントン州ＲｅｄｍｏｎｄのＭｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎから入手可能なＭｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）、米国カリフォルニア州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ Ｉｎｃ．から入手可能なＭａｃ ＯＳ Ｘ、米国カリフォルニア州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ Ｉｎｃ．から入手可能なｉＯＳ、及び／又は装置上で用いるのに適するあらゆる他のオペレーティングシステムなどのどのようなオペレーティングシステムを用いてもよい。

【0138】

本発明は、限られた数の実施形態に関して説明されているが、本明細書に記載の本発明の範囲から逸脱しない他の実施形態が考案され得ることが上記の説明の恩恵を受ける当業者には分かるであろう。加えて、本明細書で用いられる言語は、主として読みやすさ及び教示の目的で選択されており、発明的な主題を線引きする又は制限するように選択されていないことに注意されたい。したがって、本発明の開示は、例証となるが、請求項に記載の本発明の範囲を限定しないことを意図される。

【図1A】

【図1B】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17A】

【図17B】

【図17C】

【図17D】

【図18A】

【図18B】

【図18C】

【図18D】

【図19】

【図20】

【図21】

【図22】

【図23A】

【図23B】