特許 5989076 異なる種類の撮像装置を有するモノリシックカメラアレイを用いた画像の撮像および処理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5989076

(24)【登録日】2016年8月19日

(45)【発行日】2016年9月7日

(54)【発明の名称】異なる種類の撮像装置を有するモノリシックカメラアレイを用いた画像の撮像および処理

(51)【国際特許分類】

   H04N 5/345 20110101AFI20160825BHJP

   H04N 5/353 20110101ALI20160825BHJP

   H04N 5/225 20060101ALI20160825BHJP

   H04N 5/232 20060101ALI20160825BHJP

【ＦＩ】

   H04N5/335 450

   H04N5/335 530

   H04N5/225 D

   H04N5/232 H

   H04N5/232 Z

【請求項の数】20

【全頁数】29

(21)【出願番号】特願2014-264372(P2014-264372)

(22)【出願日】2014年12月26日

(62)【分割の表示】特願2011-510681(P2011-510681)の分割

【原出願日】2009年5月20日

(65)【公開番号】特開2015-109667(P2015-109667A)

(43)【公開日】2015年6月11日

【審査請求日】2015年1月23日

(31)【優先権主張番号】61/054,694

(32)【優先日】2008年5月20日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】510298045

【氏名又は名称】ペリカン イメージング コーポレイション

(74)【代理人】

【識別番号】100106002

【弁理士】

【氏名又は名称】正林 真之

(72)【発明者】

【氏名】ヴェンカタラマン カーティク

(72)【発明者】

【氏名】ジャビ アマンディープ エス．

(72)【発明者】

【氏名】マリス ロバート エイチ．

【審査官】 鈴木 明

(56)【参考文献】

【文献】 特開２００６−０３３４９３（ＪＰ，Ａ）

【文献】 国際公開第２００７／０８３５７９（ＷＯ，Ａ１）

【文献】 特開平０９−１８１９１３（ＪＰ，Ａ）

【文献】 特表２００７−５２０１０７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／３０−５／３７８

Ｈ０４Ｎ ５／２２２−５／２５７

(57)【特許請求の範囲】

【請求項1】

シーンの画像を撮像するように構成された複数のカメラを含むカメラアレイであって、
各カメラは、
少なくとも一つのレンズ素子と少なくとも１つの開口を備えた光学系と、
画素の２次元アレイと画像パラメータを制御するための制御回路とを含むセンサーと、
前記複数のカメラの動作パラメータを制御するように構成されたコントローラと、
視差確認測定モジュールを含む画像処理パイプラインモジュールと、を含み、
前記複数のカメラは、中央カメラを含み、
前記複数のカメラは、
前記中央カメラの上の少なくとも１個のカメラ、
前記中央カメラの下の少なくとも１個のカメラ、
前記中央カメラの左側の少なくとも１個のカメラ、及び
前記中央カメラの右側の少なくとも１個のカメラを含み、
前記複数のカメラで撮像された画像は、異なる閉塞セットを含み、
前記複数のカメラのうち第１のカメラの前記閉塞セットは、前記複数のカメラのうち第２のカメラから見えるシーンの部分であって、前記第１のカメラの視野から塞がれ、
前記複数のカメラのうち同一の画像特性及びスペクトルフィルタを有するカメラは、前記中央カメラの上と前記中央カメラの下とを含む位置、及び前記中央カメラの左側と前記中央カメラの右側とを含む位置からなる群から選択される位置に配置され、
前記画像処理パイプラインモジュールは、前記視差確認測定モジュールを含み、
前記視差確認測定モジュールは、
前記複数のカメラで撮像した画像を用いて、
前記撮像された画像に対応する画像データを受信し、
前記中央カメラの閉塞セットに対応する画像データを特定し、
前記中央カメラの閉塞セットに対応する画像データを考慮することを省略することを除いて画像を撮像したカメラの位置を考慮した、すべての画像全体で一貫している視差−誘導変化を検出すること、により視差を測定するように構成され、
前記視差確認測定モジュールは、さらに、測定された視差を利用して、前記複数のカメラで撮像された画像において可視物体までの距離を推定するように構成されている、カメラアレイ。

【請求項2】

前記視差確認測定モジュールは、さらに測定された視差を利用して深度マップを生成するように構成されている、請求項１に記載のカメラアレイ。

【請求項3】

前記画像処理パイプラインモジュールはさらに、前記複数のカメラにより撮像した画像と前記視差確認測定モジュールからの視差の測定値を用いて、複数の撮像した画像の視差補償を行い、少なくとも１つの高解像度画像を生成するように構成された超解像度モジュールを含む、請求項１に記載のカメラアレイ。

【請求項4】

前記視差に関する情報は、深度マップを含む、請求項３に記載のカメラアレイ。

【請求項5】

前記超解像度モジュールは、焦点面のような少なくとも１つの距離を選択し、深度マップで焦点面に近接していない深度の少なくとも１つのより高い解像度画像の画素にぼけを適用するように構成される、請求項４に記載のカメラアレイ。

【請求項6】

カメラアレイは、３×３のカメラのアレイを含む、請求項１に記載のカメラアレイ。

【請求項7】

カメラアレイは、４×４のカメラのアレイを含む、請求項１に記載のカメラアレイ。

【請求項8】

カメラアレイは、５×５のカメラのアレイを含む、請求項１に記載のカメラアレイ。

【請求項9】

各カメラは、ベイヤーフィルタ、１つ以上の青フィルタ、１つ以上の緑フィルタ、１つ以上の赤フィルタ、１つ以上のシフトされたスペクトルフィルタ、１つ以上の近赤外線フィルタ、および１つ以上のハイパースペクトルフィルタからなる群から選択され、特定の光のスペクトル帯域を通過させるように構成されたスペクトルフィルタを含む、請求項１に記載のカメラアレイ。

【請求項10】

少なくとも２つのカメラは赤フィルタを含み、少なくとも２つのカメラは緑フィルタを含み、少なくとも２つのカメラは青フィルタを含む、請求項１に記載のカメラアレイ。

【請求項11】

少なくとも２つのカメラは近赤外線フィルタを含む、請求項１０に記載のカメラアレイ。

【請求項12】

少なくとも１つのカメラは、多色カメラと近赤外線フィルタを有するカメラとからなる群から選択される、請求項１に記載のカメラアレイ。

【請求項13】

前記複数のカメラは、第１の光のスペクトル帯域を通過させるように構成されたスペクトルフィルタを含む、少なくとも１つの第１のタイプのカメラと、第２の光のスペクトル帯域を通過させるように構成されたスペクトルフィルタを含む、少なくとも１つの第２のタイプのカメラと、を含む、請求項１に記載のカメラアレイ。

【請求項14】

異なる種類のフィルタを含む前記カメラの制御回路は、前記カメラが動作パラメータにおける少なくとも１つの差異で動作するように構成される請求項１３に記載のカメラアレイ。

【請求項15】

前記動作パラメータにおける少なくとも１つの差異は、露出時間、ゲイン、及びバックレベルオフセットからなる群から選択される少なくとも１つの画像化パラメータを含む、請求項１４に記載のカメラアレイ。

【請求項16】

前記複数のカメラは、異なるタイプのカメラの対称的な分布、及び異なるタイプのカメラの不規則な分布からなる群から選択されるカメラの分布を含む、請求項１３に記載のカメラアレイ。

【請求項17】

前記カメラアレイは、
各カメラの光学系を構成するレンズ素子のアレイと、
全ての画素と各カメラの制御回路が形成された単一の半導体基板と、
を含むモノリシックカメラアレイアセンブリである、請求項１に記載のカメラアレイ。

【請求項18】

前記複数のカメラが分離した半導体基板上に形成されている、請求項１に記載のカメラアレイ。

【請求項19】

シーンの画像を撮像するように構成された複数のカメラを含むカメラアレイであって、各カメラは、分離した半導体基板上に形成され、
各カメラは、
少なくとも一つのレンズ素子と少なくとも１つの開口を備えた光学系と、
画素の２次元アレイと画像パラメータを制御するための制御回路とを含むセンサーと、
少なくとも１つのスペクトルフィルタが前記カメラに含まれ、特定の光のスペクトル帯域を通過させるように構成された前記スペクトルフィルタと、
前記複数のカメラの動作パラメータを制御するように構成されたコントローラと、
視差確認測定モジュールを含む画像処理パイプラインモジュールと、を含み、
前記複数のカメラは、中央カメラを含み、
前記複数のカメラは、
前記中央カメラの上の少なくとも１個のカメラ、
前記中央カメラの下の少なくとも１個のカメラ、
前記中央カメラの左側の少なくとも１個のカメラ、及び
前記中央カメラの右側の少なくとも１個のカメラを含み、
前記複数のカメラは、第１の光のスペクトル帯域を通過させるように構成されたスペクトルフィルタを含む、少なくとも１つの第１のタイプのカメラと、第２の光のスペクトル帯域を通過させるように構成されたスペクトルフィルタを含む、少なくとも１つの第２のタイプのカメラと、を含み、
異なる種類のフィルタを含む前記カメラの制御回路は、前記カメラが動作パラメータにおける少なくとも１つの差異で動作するように構成され、
前記複数のカメラのうち同一の画像特性及びスペクトルフィルタを有するカメラは、前記中央カメラの上と前記中央カメラの下とを含む位置、及び前記中央カメラの左側と前記中央カメラの右側とを含む位置からなる群から選択される位置に配置され、
前記複数のカメラで撮像された画像は、異なる閉塞セットを含み、
前記複数のカメラのうち第１のカメラの前記閉塞セットは、複数のカメラのうち第２のカメラから見えるシーンの部分であって、前記第１のカメラの視野から塞がれ、
前記画像処理パイプラインモジュールは、前記視差確認測定モジュールを含み、
前記視差確認測定モジュールは、
前記複数のカメラで撮像した画像を用いて、
前記撮像された画像に対応する画像データを受信し、
前記中央カメラの閉塞セットに対応する画像データを特定し、
前記中央カメラの閉塞セットに対応する画像データを考慮することを省略することを除いて画像を撮像したカメラの位置を考慮した、すべての画像全体で一貫している視差−誘導変化を検出すること、により視差を測定するように構成され、
前記視差確認測定モジュールは、さらに測定された視差を利用して深度マップを生成するように構成されている、カメラアレイ。

【請求項20】

複数のカメラを形成するモノリシック集積モジュールを含むカメラアレイであって、
前記モノリシック集積モジュールは、
前記複数のカメラのそれぞれの光学系を形成するレンズ素子のアレイであって、
各カメラの光学系は、少なくとも一つのレンズ素子と少なくとも１つの開口を備え、
全ての画素と各カメラの制御回路が形成された単一の半導体基板と、
少なくとも１つのスペクトルフィルタが前記カメラに含まれ、特定の光のスペクトル帯域を通過させるように構成された前記スペクトルフィルタと、
前記複数のカメラの動作パラメータを制御するように構成されたコントローラと、
視差確認測定モジュールを含む画像処理パイプラインモジュールと、を含み、
前記複数のカメラは、中央カメラを含み、
前記複数のカメラは、
前記中央カメラの上の少なくとも１個のカメラ、
前記中央カメラの下の少なくとも１個のカメラ、
前記中央カメラの左側の少なくとも１個のカメラ、及び
前記中央カメラの右側の少なくとも１個のカメラを含み、
前記複数のカメラは、第１の光のスペクトル帯域を通過させるように構成されたスペクトルフィルタを含む、少なくとも１つの第１のタイプのカメラと、第２の光のスペクトル帯域を通過させるように構成されたスペクトルフィルタを含む、少なくとも１つの第２のタイプのカメラと、を含み、
異なる種類のフィルタを含む前記カメラの制御回路は、前記カメラが動作パラメータにおける少なくとも１つの差異で動作するように構成され、
前記複数のカメラのうち同一の画像特性及びスペクトルフィルタを有するカメラは、前記中央カメラの上と前記中央カメラの下とを含む位置、及び前記中央カメラの左側と前記中央カメラの右側とを含む位置からなる群から選択される位置に配置され、
前記複数のカメラで撮像された画像は、異なる閉塞セットを含み、
前記複数のカメラのうち第１のカメラの前記閉塞セットは、複数のカメラのうち第２のカメラから見えるシーンの部分であって、前記第１のカメラの視野から塞がれ、
前記画像処理パイプラインモジュールは、前記視差確認測定モジュールを含み、
前記視差確認測定モジュールは、
前記複数のカメラで撮像した画像を用いて、
前記撮像された画像に対応する画像データを受信し、
前記中央カメラの閉塞セットに対応する画像データを特定し、
前記中央カメラの閉塞セットに対応する画像データを考慮することを省略することを除いて画像を撮像したカメラの位置を考慮した、すべての画像全体で一貫している視差−誘導変化を検出すること、により視差を測定するように構成され、
前記視差確認測定モジュールは、さらに測定された視差を利用して深度マップを生成するように構成されている、カメラアレイ。

【発明の詳細な説明】

【技術分野】

【0001】

発明者：ヴェンカタラマン カーティク、ジャビ アマンディープ エス．、マリス ロバート エイチ．

【0002】

（関連出願）
本出願は、２００８年５月２０日に出願された「Ｍｏｎｏｌｉｔｈｉｃ Ｉｎｔｅｇｒａｔｅｄ Ａｒｒａｙ ｏｆ Ｈｅｔｅｒｏｇｅｎｅｏｕｓ Ｉｍａｇｅ Ｓｅｎｓｏｒｓ」という発明の名称の米国特許出願第６１／０５４，６９４号の優先権を主張するものであり、その全体が参照により本明細書に援用される。

【0003】

（技術分野）
本発明は、複数の異なる種類の撮像装置を含む画像センサに関し、より詳細には、カスタムフィルタ、センサおよび様々な構成の光学系を有する複数のウェハレベル撮像装置を備える画像センサに関する。

【背景技術】

【0004】

（背景技術）
画像センサは、カメラおよび他の撮像機器において画像を撮像するために用いられる。通常の撮像機器において、光は、撮像機器の一端における開口（アパーチャ）を介して侵入し、レンズのような光学素子により画像センサへ向けられる。多くの撮像機器において、１または複数の光学素子の層は、画像センサに集光するために開口と画像センサとの間に配置される。画像センサは、光学素子を介して受光した光から信号を生成する画素からなる。一般に用いられる画像センサは、ＣＣＤ（電荷結合素子）画像センサおよびＣＭＯＳ（相補型金属酸化半導体）センサを含む。

【発明の概要】

【発明が解決しようとする課題】

【0005】

フィルタは、画素上の特定波長の光を選択的に透過するために、画像センサにおいてしばしば用いられる。ベイヤーフィルタモザイクは、しばしば画像センサを形成する。ベイヤーフィルタは、各カラー画素上のＲＧＢカラーフィルタの１つを配置したカラーフィルタアレイである。ベイヤーフィルタパターンは、５０％の緑フィルタ、２５％の赤フィルタおよび２５％の青フィルタを含む。各画素が、光および色の全範囲ではない色成分の強度を示す信号を生成するため、各画素に対する一連の赤、緑および青の値を補間するためにデモザイク（ｄｅｍｏｓａｉｃｉｎｇ）が行われていた。

【0006】

画像センサは、様々な性能制限を受けやすい。画像センサに対する性能制限は、とりわけ、ダイナミックレンジ、信号対ノイズ比（ＳＮＲ）および低光感度を含む。ダイナミックレンジは、画素により撮像されうる最大可能信号対総ノイズ信号の比として定義される。通常、画像センサのウェルキャパシティは、画像センサにより撮像されうる最大可能信号を制限する。最大可能信号は、入射照明の強度および露出期間（例えば、積分時間およびシャッター幅）に依存する。ダイナミックレンジは、無次元量のデシベル（ｄＢ）として表されうる。

【数1】

通常、撮像された画像におけるノイズレベルは、ダイナミックレンジのフロアに影響を与える。よって、８ビット画像に対して、最良の条件は、ＲＭＳノイズレベルが１ビットであると推定される４８ｄＢであろう。しかし、実際には、ＲＭＳノイズレベルは、１ビットよりも高く、さらにダイナミックレンジを低減させてしまう。

【0007】

撮像された画像の信号対ノイズ比（ＳＮＲ）は、特に、画質の基準となる。一般に、画素によってより多くの光が捉えられると、ＳＮＲは高くなる。撮像された画像のＳＮＲは、通常、画素の集光性能に関連する。

【0008】

一般的に、ベイヤーフィルタは、低光感度を有する。低い光レベルにおいて、各画素の集光性能は、各画素上の低信号レベル入射により制限される。また、画素にわたるカラーフィルタは、画素に到達する信号をさらに制限する。ＩＲ（赤外線）フィルタはまた、近赤外線信号からの、有益な情報を伝達することができる光応答を低減させてしまう。

【0009】

画像センサのこれらの性能制限は、設計制限の性質により、モバイルシステムのために設計されたカメラにおいて非常に大きくなる。モバイルカメラでの画素は、通常、デジタルスチルカメラ（ＤＳＣ）の画素よりもかなり小さい。集光能力における制限、減少したＳＮＲ、ダイナミックレンジにおける制限、および低い光シーンに対する低減された感度によって、モバイルカメラにおけるカメラは、低い性能を示す。

【課題を解決するための手段】

【0010】

実施形態は、基板上に作製され、各撮像装置が複数のセンサ素子を含む複数の撮像装置を用いる、カメラアレイ、カメラアレイを含む撮像機器、および／または画像撮像方法を提供する。複数の撮像装置は、基板の第１の位置上に形成される第１の撮像装置と、基板の第２の位置上に形成される第２の撮像装置と、を少なくとも含む。第１の撮像装置および第２の撮像装置は、同一の画像特性または異なる画像特性を有してもよい。

【0011】

一実施形態において、第１の画像特性および第２の撮像装置は、異なる画像特性を有する。画像特性は、とりわけ、撮像装置の大きさ、撮像装置に含まれる画素の種類、撮像装置の形状、撮像装置と関連付けられたフィルタ、撮像装置の露出時間、撮像装置と関連付けられた開口サイズ、撮像装置と関連付けられた光学素子の構成、撮像装置のゲイン、撮像装置の解像度、および撮像装置の動作時間を含んでもよい。

【0012】

一実施形態において、第１の撮像装置は、光スペクトルを透過するフィルタを含む。第２の撮像装置はまた、第１の撮像装置と同一の光スペクトルを透過する同一種類のフィルタを含むが、第１の撮像装置により撮像された画像からサブピクセル位相でシフトされた画像を撮像する。第１の撮像装置および第２の撮像装置からの画像は、高い解像度の画像を得るために、超解像度処理を用いて組み合わせられる。

【0013】

一実施形態において、第１の撮像装置は、第１の光スペクトルを透過する第１のフィルタを含み、第２の撮像装置は、第２の光スペクトルを透過する第２のフィルタを含む。第１の撮像装置および第２の撮像装置からの画像は、その後、より高い品質の画像を得るために、処理される。

【0014】

一実施形態において、レンズ素子は、撮像装置へ光を向け、かつ焦点を合わせるように設けられる。各レンズ素子は、１の撮像装置へ光を焦点合わせする。各レンズ素子が１の撮像装置と関連付けられているため、各レンズ素子は、狭光スペクトルで設計され、かつ構成されてもよい。さらに、レンズ素子の厚さは、低減されてもよく、カメラアレイの厚さ全体が減少する。レンズ素子は、ウェハレベルオプティクス（ＷＬＯ）技術を用いて作製される。

【0015】

一実施形態において、複数の撮像装置は、近赤外線スペクトルを受光するために専用の少なくとも１つの近赤外線撮像装置を含む。近赤外線撮像装置から生成された画像は、ノイズを低減しかつ画像の品質を向上させるためにカラーフィルタを有する他の撮像装置から生成された画像と結合されてもよい。

【0016】

一実施形態において、複数の撮像装置は、ズーム機能を提供するレンズ素子と関連付けられてもよい。異なる撮像装置は、異なる視野を有し、かつ異なるレベルのズーム機能を提供するように異なる焦点距離のレンズと関連付けられてもよい。一のズームレベルから他のズームレベルへのスムーズな遷移を提供するような機構が設けられてもよい。

【0017】

一または複数の実施形態において、複数の撮像装置は、少なくとも１つの高ダイナミックレンジ画像、パノラマ画像、高スペクトル画像、対象物との距離、および高フレームレートビデオを得るように適合され、動作されてもよい。

【0018】

本明細書に記載された特徴および利点は、全てを包含するものではなく、特に、多くのさらなる特徴および利点は、図面、明細書および特許請求の範囲を参照した当業者にとって自明であろう。さらに、本明細書中で用いられた文言は、原則的に可読性および教授の目的のために選択されたものであり、本発明の対象を表現または制限するように選択されたものではないことを留意されたい。

【図面の簡単な説明】

【0019】

【図1】図１は、一実施形態に係る複数の撮像装置を有するカメラアレイの平面図である。

【図2A】図２Ａは、一実施形態に係るレンズ素子を有するカメラアレイの斜視図である。

【図2B】図２Ｂは、一実施形態に係るカメラアレイの断面図である。

【図3A】図３Ａは、一実施形態に係る画像の次元における変化に応じたレンズ素子の高さにおける変化を示す断面図である。

【図3B】図３Ｂは、一実施形態に係る画像の次元における変化に応じたレンズ素子の高さにおける変化を示す断面図である。

【図3C】図３Ｃは、レンズ素子の異なる大きさに応じて変化する主光線角度を示す図である。

【図4】図４は、一実施形態に係る撮像機器での機能ブロック図である。

【図5】図５は、一実施形態に係る画像処理パイプラインモジュールの機能ブロック図である。

【図6】図６Ａから６Ｅは、一実施形態に係る異なる種類の撮像装置の異なるレイアウトを有するカメラアレイの平面図である。

【図7】図７は、一実施形態に係る複数の撮像装置により撮像された低解像度画像から向上した画像を生成する処理を示すフローチャートである。

【発明を実施するための形態】

【0020】

ここで、本発明の好ましい実施形態について図面を参照しながら説明する。図面の参照番号は、同一又は機能的に類似する構成要素を示す。また、図面において、各参照番号の最も左の数字は、参照番号が最初に用いられた図面に対応する。

【0021】

実施形態は、異なる画像特性の複数の撮像装置を用いて画像を撮像する分散型の手法の使用に関する。各撮像装置は、撮像装置が他の撮像装置により撮像された他の画像に対してサブ−ピクセル量だけ移動した画像を撮像するような手法で、他の撮像装置から空間的に移動していてもよい。各撮像装置はまた、異なるフィルタを有する分離した光学素子を含み、異なる動作パラメータ（例えば、露出時間）で動作してもよい。解像度が向上した画像を得るために画像が処理されることにより、はっきりとした画像が生成される。各撮像装置は、ウェハレベルオプティクス（ＷＬＯ）技術を用いて製造された光学素子と関連付けられていてもよい。

【0022】

センサ素子又は画素は、カメラアレイにおける個々の光検出素子を示す。センサ素子又は画素は、とりわけ、従来のＣＩＳ（ＣＭＯＳイメージセンサ）、ＣＣＤ（電荷結合素子）、高ダイナミックレンジ画素、多重スペクトル画素およびそれらの様々な代替手段を含む。

【0023】

撮像装置は、画素の２次元アレイを示す。各撮像装置のセンサ素子は、類似した物理的特性を有し、同一の光学的な構成要素からの光を受光する。さらに、各撮像装置におけるセンサ素子は、同一のカラーフィルタと関連付けられてもよい。

【0024】

カメラアレイは、単一の構成要素として機能するように設計された撮像装置の集合を示す。カメラアレイは、様々な装置に搭載または実装する単一のチップ上に製造されてもよい。

【0025】

カメラアレイのアレイは、２以上のカメラアレイの集合体を示している。２以上のカメラアレイは、単一のカメラアレイにわたって拡張された機能性を提供するように、連動して動作してもよい。

【0026】

撮像装置の画像特性は、撮像した画像と関連付けられた画像の特性またはパラメータを示している。画像特性は、とりわけ、撮像装置の大きさ、撮像装置に含まれる画素の型、撮像装置の形状、撮像装置と関連付けられたフィルタ、撮像装置の露出時間、撮像装置と関連付けられた開口（アパーチャ）の大きさ、撮像装置と関連付けられた光学素子の構成、撮像装置のゲイン、撮像装置の解像度、および撮像装置の動作時間を含んでいてもよい。

【0027】

（カメラアレイの構造）
図１は、本実施形態に係る、撮像装置１Ａ〜ＮＭを備えるカメラアレイ１００の平面図である。カメラアレイ１００は、複数の撮像装置１Ａ〜ＮＭを含むように、半導体チップ上に作製される。各撮像装置１Ａ〜ＮＭは、複数の画素（例えば、０．３２メガピクセル）を含んでもよい。一実施形態において、撮像装置１Ａ〜ＮＭは、図１に示すように、格子形式で配置される。他の実施形態において、撮像装置は、非格子形式で配置される。例えば、撮像装置は、円形パターン、ジグザグパターンまたは散乱パターンで配置されてもよい。

【0028】

カメラアレイは、２以上の型の異なる種類の撮像装置を含んでもよく、各撮像装置は、２以上のセンサ要素または画素を含んでもよい。撮像装置のいずれか１つは、異なる画像特性を有していてもよい。あるいは、２以上の異なる型は、同一型の撮像装置が同一の画像特性を共有するものであってもよい。

【0029】

一実施形態において、各撮像装置１Ａ〜ＮＭは、独自のフィルタおよび／または光学素子（例えば、レンズ）を有する。特に、各撮像装置１Ａ〜ＮＭまたは撮像装置群は、光の特定波長を受光するために、スペクトルカラーフィルタと関連付けられていてもよい。例示のフィルタは、ハイパースペクトルが画像化の需要に適合するために、ベイヤー（Ｂａｙｅｒ）パターン（Ｒ、Ｇ、Ｂまたはそれらの補色Ｃ、Ｍ、Ｙ）で用いられる従来のフィルタ、ＩＲ（赤外線）カットフィルタ、近赤外線フィルタ、偏光フィルタおよびカスタムフィルタを含む。いくつかの撮像装置は、信号−ノイズ比が増加するため、可視光全体および近赤外線の両方の受光を許容するために、フィルタを有していなくてもよい。フィルタの正確な数は、カメラアレイにおける撮像装置の数と同様であってもよい。さらに、各撮像装置１Ａ〜ＮＭまたは撮像装置群は、異なる光学的特性（例えば、焦点距離）または異なる大きさの開口を有するレンズを介して光を受光してもよい。

【0030】

一実施形態において、カメラアレイは、他の関連する回路を含む。他の関連する回路は、とりわけ、画像化パラメータを制御する回路および物理的なパラメータを検出するセンサを含んでもよい。制御回路は、露出時間、ゲインおよびバックレベルオフセットのような画像化パラメータを制御してもよい。センサは、動作温度における暗電流を測定するための暗画素を含んでもよい。暗電流は、基板が被害を受ける熱クリープに対するオン・ザ・フライ補償のために測定されてもよい。

【0031】

一実施形態において、画像パラメータを制御する回路は、各撮像装置が独立して、または各撮像装置を同期させた手法において、動作させてもよい。（シャッターのオープンと類似した）カメラアレイにおける様々な撮像装置のための露出期間の開始は、いくつかの撮像装置が光に対して同時に露出される間に、撮像シーンが連続してサンプリングされるために重複する手法において交互になっていてもよい。Ｎ回露出／秒で撮像シーンをサンプリングする従来のビデオカメラにおいて、露出時間／サンプリングは、１／Ｎ秒に制限される。複数の撮像装置では、複数の撮像装置が交互の手法において画像を撮像するように動作されるため、このように露出時間／サンプリングが制限されることはない。

【0032】

各撮像装置は、独立して動作されうる。全部またはほとんどの動作は、個別化されうる各個別の撮像装置と関連付けられている。一実施形態において、マスター設定がプログラムされ、このようなマスター設定からのずれ（例えば、オフセットまたはゲイン）は、各撮像装置に対して設定される。ずれは、高ダイナミックレンジ、ゲイン設定、積分時間設定、デジタル処理設定またはそれらの組み合わせのような機能を反映してもよい。これらのずれは、特定のカメラアレイのために、低いレベル（例えば、ゲインにおけるずれ）において、または高いレベル（例えば、ＩＳＯ番号における差異、これは、その後、コンテクスト／マスター制御レジスタにより特定されるようなゲイン、積分時間、またはそれら以外に対するデルタへ自動的に変換される）において特定されうる。マスター値の設定およびマスター値からのずれにより、制御抽出の高いレベルは、多くの動作に対して、単純化したプログラミングモデルを容易にするように達成されうる。一実施形態において、撮像装置に対するパラメータは、対象用途のために適宜固定される。他の実施形態において、撮像装置に対するパラメータは、高度の柔軟性およびプログラミング性を許容するように構成される。

【0033】

一実施形態において、既存の携帯電話および他の携帯装置で使用されるカメライメージセンサのために、カメラアレイは、ドロップイン交換（ｄｒｏｐ−ｉｎ ｒｅｐｌａｃｅｍｅｎｔ）として設計される。この目的のために、カメラアレイは、ほぼ同一の解像度であるが、多くの写真の状況において従来のイメージセンサを超えるカメラアレイの解像度を達成した、従来のイメージセンサと物理的な互換性があるように設計されてもよい。増大したパフォーマンスを利用して、本実施形態のカメラアレイは、従来のイメージセンサと比べて同等またはより高品質の画像を取得するために、より少ない画素を含んでいてもよい。あるいは、撮像装置における画素の大きさは、同等の成果が達成されるものの、従来のイメージセンサの画素と比べて減少してもよい。

【0034】

シリコン領域を増加させずに従来のイメージセンサの行数に一致させるためには、個々の撮像装置に対するロジックオーバーヘッドは、シリコン領域において制約されることが好ましい。一実施形態において、画素制御ロジックの多くは、各撮像装置に適用可能な機能のより小さなセットを備える全てのまたはほとんどの撮像装置に共通な機能の単一集合である。この実施形態において、撮像装置に対する従来の外部インターフェースは、撮像装置にとってデータ出力があまり増加しないために用いられる。

【0035】

一実施形態において、撮像装置を含むカメラアレイは、Ｍメガピクセルの従来のイメージセンサを置き換える。カメラアレイは、Ｎ×Ｎの撮像装置を含んでおり、各センサは、Ｎ^２／Ｍの画素を含む。カメラアレイの各画素はまた、従来のイメージセンサを置き換えるような同一のアスペクト比を有する。表１は、従来のイメージセンサを置き換える本発明に係るカメラアレイの構成例を一覧表にしたものである。

【表1】

【0036】

表１中の超解像度係数は、推測値であり、実効解像度値は、処理によって達成される実際の超解像度係数を基本とするものとは異なってもよい。

【0037】

カメラアレイにおける撮像装置の数は、とりわけ他の要因として（ｉ）解像度、（ｉｉ）視差、（ｉｉｉ）感度、および（ｉｖ）ダイナミックレンジに基づいて、求められてもよい。撮像装置の大きさに対する第１の要因は、解像度である。解像度の視点から、撮像装置の数の範囲は、２×２個から６×６個であることが好ましく、これは、６×６個よりも大きいアレイの大きさでは、超解像度処理により再作成されない周波数情報が破壊される可能性があるためである。例えば、２×２個の撮像装置での８メガピクセル解像度は、各撮像装置に２メガピクセルを有するように要求するであろう。同様にして、５×５個の撮像装置での８メガピクセル解像度は、各撮像装置に０．３２メガピクセルを有するように要求するであろう。

【0038】

撮像装置の数を制約しうる第２の要因は、視差および閉塞（ｏｃｃｌｕｓｉｏｎ）の問題である。撮像された画像における対象物に対して、撮像装置の視野から塞がれる背景シーンの部分は、「閉塞セット」と呼ばれる。２つの撮像装置が２つの異なる位置から対象物を撮像したとき、各撮像装置の閉塞セットは異なる。よって、他の撮像装置ではない一の撮像装置により撮像されたシーン画素が存在しうる。この閉塞の問題を解決するために、撮像装置の所与の型に対する撮像装置の特定の最小セットを含むことが望まれている。

【0039】

撮像装置の数でのより低い限界をもたらす第３の要因は、低光状況における感度の問題である。低い光感度を向上させるために、近赤外線スペクトラムを検出する撮像装置が求められうる。近赤外線撮像装置のような調整を行うために、カメラアレイにおける撮像装置の数は、増加させることが求められうる。

【0040】

撮像装置の大きさを決定する第４の要因は、ダイナミックレンジである。カメラアレイにおいてダイナミックレンジを提供するために、同一のフィルタ型（彩度（ｃｈｒｏｍａ）または輝度（ｌｕｍａ））のいくつかの撮像装置を提供すると都合がよい。同一フィルタ型の各撮像装置は、その後、異なる開口を同時に動作させてもよい。異なる開口で撮像された画像は、高ダイナミックレンジを生成するように処理されてもよい。

【0041】

これらの要因に基づくと、撮像装置の数は、２×２個から６×６個であることが好ましい。４×４個および５×５個の構成は、２×２個および３×３個の構成よりもより好ましい。これは、４×４個および５×５個の構成が、閉塞問題を解決するために十分な撮像装置の数を提供する可能性があり、感度およびダイナミックレンジが増大するためである。同時に、これらのアレイの大きさから解像度を再生するために要求されるコンピュータへの負荷は、６×６個のアレイにおいて要求されるものと比較して、少量である。一方、６×６個以上のアレイは、光学ズームおよび複数スペクトル画像化のような付加的な特徴を提供するために用いられうる。

【0042】

その他には、輝度サンプリングに貢献する撮像装置の数が考慮される。近赤外線サンプリングに貢献するアレイにおける撮像装置が、達成される解像度を減少させないことを確実にすることにより、近赤外線撮像装置からの情報は、輝度撮像装置により撮像された解像度に追加される。このために、少なくとも５０％の撮像装置は、輝度および／または近赤外線スペクトルをサンプリングするために用いられうる。４×４個の撮像装置を有する一実施形態において、４個の撮像装置は、輝度をサンプリングし、４個の撮像装置は、近赤外線をサンプリングし、残りの８個の撮像装置は、２つの彩度（赤および青）をサンプリングする。５×５個の撮像装置を有する他の実施形態において、９個の撮像装置は、輝度をサンプリングし、８個の撮像装置は、近赤外線をサンプリングし、残りの８個の撮像装置は、２つの彩度（赤および青）をサンプリングする。さらに、これらのフィルタを有する撮像装置は、視差による閉塞に対処するために、カメラアレイ内に対称的に配置されてもよい。

【0043】

一実施形態において、カメラアレイにおける撮像装置は、所定の間隔で互いに空間的に離間される。空間的な離間が増加することにより、撮像装置により撮像された画像間での視差は、増加しうる。この増加した視差は、より正確な距離情報が重要であるという利点がある。２つの撮像装置間の離間はまた、人間の目と目の離間に近似するように増加してもよい。人間の目と目の離間に近似させることにより、現実的で立体的な３Ｄ画像は、適切な３Ｄ表示装置上の得られた画像を表現するように提供されてもよい。

【0044】

一実施形態において、複数のカメラアレイは、空間制約を解消するために、装置上の異なる位置で提供される。カメラアレイの１つは、制限された空間内に適合するように設計されてもよいが、他のカメラアレイは、装置の他の制限された空間において配置されてもよい。例えば、総数で２０個の撮像装置が要求されたが、取得可能な空間が、装置のいずれの側にも提供される１×１０個のカメラのみしか許容しない場合、それぞれ１０個の撮像装置を含む２つのカメラアレイは、装置の両側の取得可能な空間上に配置されてもよい。各カメラアレイは、基板上に作製されてもよく、マザーボードまたは装置の他の部品に固定されてもよい。複数のカメラアレイから収集された画像は、所望の解像度およびパフォーマンスの画像を生成するように処理されてもよい。

【0045】

単一の撮像装置に対する設計は、他の型の撮像装置をそれぞれ含む異なるカメラアレイに適用されてもよい。空間的な距離、カラーフィルタおよび同一のまたは他のセンサとの組み合わせのようなカメラアレイにおける他の変化量は、異なる画像化特性を有するカメラアレイを製造するために変更されてもよい。このように、様々なカメラアレイの組み合わせは、スケールメリットの利益を維持しつつ、製造されてもよい。

【0046】

（ウェハレベルオプティクス集積）
一実施形態において、カメラアレイは、ウェハレベルオプティクス（ＷＬＯ）技術を用いている。ＷＬＯ技術は、ガラスウェハ上に光学素子をモールドし、その後に、撮像装置を有する光学素子を直接的にモノリシックの統合モジュールにパッケージ化する。ＷＬＯ処理は、他の処理と共に、ダイヤモンド−チューンド（ｄｉａｍｏｎｄ−ｔｕｒｎｅｄ）モールドを用いてガラス基板上に各プラスチックレンズ素子を作製する工程を含んでもよい。

【0047】

図２Ａは、一実施形態に係るウェハレベルオプティクス２１０およびカメラアレイ２３０を備えるカメラアレイアセンブリ２００の斜視図である。ウェハレベルオプティクス２１０は、複数のレンズ素子２２０を含み、各レンズ素子２２０は、カメラアレイ２３０における２５個の撮像装置２５０のうちの１つを担っている。なお、カメラアレイアセンブリ２００は、カメラアレイ２３０全体を覆っている単一の大きなレンズと比べてより狭い空間を占める、より小さいレンズ素子のアレイを有する。

【0048】

図２Ｂは、一実施形態に係るカメラアレイアセンブリ２５０の断面図である。カメラアレイアセンブリ２５０は、上部レンズウェハ２６２と、下部レンズウェハ２６８と、複数の撮像装置が形成される基板２７８と、スペーサ２５８，２６４，２７０と、を含む。カメラアレイアセンブリ２５０は、封止部２５４内でパッケージ化される。上部スペーサ２５８は、封止部２５４と上部レンズウェハ２６２との間に配置される。複数の光学素子２８８は、上部レンズウェハ２６２上に形成される。中間スペーサ２６４は、上部レンズウェハ２６２と下部レンズウェハ２６８と間に配置される。他の光学素子対２８６は、下部レンズウェハ２６８上に形成される。下部スペーサ２７０は、下部レンズウェハ２６８と基板２７８との間に配置される。スルーシリコンビア２７４はまた、撮像装置からの信号を伝達する経路に設けられる。上部レンズウェハ２６２は、光を遮断するために光遮断材料２８４（例えば、クロム）を部分的にコーティングしてもよい。上部レンズウェハ２６２の大部分の部材は、下部レンズウェハ２６８および撮像装置へ光を通過させる開口として機能する光遮断材料２８４がコーティングされない。図２Ｂの一実施形態において、フィルタ２８２は、下部レンズウェハ２６８上に形成される。光遮断材料２８０（例えば、クロム）はまた、光遮断器として機能させるために、下部レンズウェハ２６８および基板２７８上にコーティングしてもよい。表面のうち、底面は、裏面再配線層（ＲＤＬ）および半田ボール２７６で覆われる。

【0049】

一実施形態において、カメラアレイアセンブリ２５０は、５×５アレイの撮像装置を含む。カメラアレイアセンブリ２５０は、幅Ｗが７．２ｍｍであり、長さが８．６ｍｍである。カメラアレイにおける各撮像装置は、幅Ｓが１．４ｍｍであってもよい。光学構成要素全体の高さｔ１は、約１．２６ｍｍであり、カメラアレイアセンブリ全体の高さｔ２は、２ｍｍ以下である。

【0050】

図３Ａおよび３Ｂは、ｘｙ平面内での大きさの変化に従うレンズ素子の高さの変化を示すブロック図である。図３Ｂにおけるレンズ素子３２０は、図３Ａにおけるレンズ素子３１０に比べて、１／ｎ倍の大きさである。レンズ素子３２０の直径Ｌ／ｎが倍数ｎによって直径Ｌよりも小さくなるため、レンズ素子３２０の高さｔ／ｎはまた、倍数ｎによってレンズ素子３１０の高さｔよりも小さくなる。よって、より小さなレンズ素子のアレイを用いることにより、カメラアレイアセンブリの高さを非常に低くすることができる。高さが低くなったカメラアレイアセンブリは、主光線角度の向上、ひずみの低減、色収差の向上のようなより高い光学特性を有するレスアグレッシブレンズを設計するために用いられる。

【0051】

図３Ｃは、カメラアレイアセンブリの厚さを低減することにより主光線角度（ＣＲＡ）を向上させることを示している。ＣＲＡ１は、カメラアレイ全体を覆う単一のレンズに対する主光線角度である。カメラアレイとレンズとの間の距離が増加することにより主光線角度は低減されるが、厚さ制限は、カメラアレイとレンズとの間の距離の増加を制限する。よって、単一レンズ素子を有するカメラアレイに対するＣＲＡ１は、大きくなり、その結果、光学的な性能が低下する。ＣＲＡ２は、他の寸法と同様の厚さで拡大されるカメラアレイにおける撮像装置に対する主光線角度である。ＣＲＡ２は、従来のカメラアレイのＣＲＡ２と同様のまま維持され、主光線角度における向上をもたらさない。しかし、図３Ｃに示すような撮像装置とレンズ素子との距離を変更することにより、カメラアレイアセンブリにおける主光線角度ＣＲＡ３は、ＣＲＡ１またはＣＲＡ２と比べて減少し、その結果、より高い光学的性能が得られる。上述したように、本発明に係るカメラアレイは、厚さの低減が求められており、したがって、レンズ素子およびカメラアレイの距離は、主光線角度を向上させるように増加されてもよい。

【0052】

また、レンズ素子は、各レンズ素子が光の狭帯域に向くように設計するために、広い光スペクトルを占める従来のレンズ素子と比べて、より高いまたは同等の性能を発揮させる、より厳密な設計制限を受け易い。例えば、可視光または近赤外線スペクトルを受光する撮像装置は、この光のスペクトル帯域に特化したレンズ素子を有していてもよい。他の光スペクトルを検出する撮像装置に対して、レンズ素子は、焦点面が光の異なるスペクトル帯域と同一であるために、異なる焦点距離を有していてもよい。異なる光の波長にわたる焦点面のマッチングは、撮像装置において撮像された画像の鮮明さを増加させ、かつ縦色収差を低減させる。

【0053】

小さなレンズ素子の他の利点は、とりわけ、コストの削減、材料使用量の削減、および製造工程の削減を含む。ｘおよびｙ次元での大きさがｎ^２のレンズを提供することにより（したがって、厚さは１／ｎとなる）、レンズ素子を製造するためのウェハサイズもまた、低減されてもよい。このコストおよび材料使用量の削減は非常に大きい。さらに、レンズ基板の数が低減されると、製造工程の工数が削減され、かつ生産量に付随するコストが削減される。本発明に係るカメラアレイに対する画素の大きさが従来のイメージセンサと実質的に同一となりうるため、撮像装置に対してレンズアレイを検知するように要求する配置の正確さは、通常、従来の撮像装置の場合よりも厳しくはない。

【0054】

一実施形態において、ＷＬＯ製造工程は、（ｉ）レンズをモールドする前に基板上にレンズ素子遮断部をめっきすることによりレンズ素子遮断部を組み込む工程と、（ｉｉ）基板に孔をエッチングして、基板を介してレンズの２面モールドを行う工程と、を含んでいる。基板における孔のエッチングには、プラスチックと基板とでインデックスの不一致が生じないようにするという利点がある。この手法では、全てのレンズ素子に対して自然な遮断を形成する（レンズの周縁を黒く塗ることと同様な）光吸収基板が用いられうる。

【0055】

一実施形態において、フィルタは、撮像装置の一部分である。他の実施形態において、フィルタは、ＷＬＯシステムの一部分である。

【0056】

（画像化システムおよび処理パイプライン）
図４は、一実施形態に係る、撮像システム４００を示す機能ブロック図である。画像化システム４００は、他の構成要素と共に、カメラアレイ４１０と、画像処理パイプラインモジュール４２０と、コントローラ４４０と、を含んでもよい。カメラアレイ４１０は、上述の図１および２を参照して詳細を説明したように、２以上の撮像装置を含む。画像４１２は、カメラアレイ４１０における２以上の撮像装置により撮像される。

【0057】

コントローラ４４０は、カメラアレイ４１０の様々な動作パラメータを制御するハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせである。コントローラ４４０は、ユーザまたは他の外部構成要素から入力４４６を受信し、動作信号４４２を送信して、カメラアレイ４１０を制御する。コントローラ４４０はまた、画像処理パイプラインモジュール４２０へ情報４４４を送信して、画像４１２の処理を支援してもよい。

【0058】

画像処理パイプラインモジュール４２０は、カメラアレイ４１０から受信した画像を処理するハードウェア、ファームウェア、ソフトウェアまたはこれらの組み合わせである。画像処理パイプラインモジュール４２０は、例えば、以下の図５を参照して詳細を説明するように、複数の画像を処理する。処理された画像４２２は、その後、ディスプレイ、ストレージ、送信部またはさらなる処理へ送信される。

【0059】

図５は、一実施形態に係る画像処理パイプラインモジュール４２０を示す機能ブロック図である。画像処理パイプラインモジュール４２０は、他の構成要素と共に、アップストリームパイプライン処理モジュール５１０と、画像画素相関モジュール５１４と、視差確認測定モジュール５１８と、視差補償モジュール５２２と、超解像度モジュール５２６と、アドレス変換モジュール５３０と、アドレス位相オフセット校正モジュール５５４と、ダウンストリーム色処理モジュール５６４と、を含んでもよい。

【0060】

アドレス位相オフセット校正モジュール５５４は、製造工程におけるカメラアレイ特性評価、またはそれに続く再校正処理の間に作成される校正データを記憶する記憶装置である。校正データは、撮像装置における物理的な画素５７２のアドレスと画像の論理的なアドレス５４６、５４８との間のマッピングを示している。

【0061】

アドレス変換モジュール５３０は、アドレス位相オフセット校正モジュール５５４に記憶された校正データに基づいて、正規化を行う。特に、アドレス変換モジュール５３０は、撮像装置における個々の画素の「物理」アドレスを、撮像装置における個々の画素の「論理」アドレス５４８へ変換する、またはその逆の処理を行う。高解像度処理で解像度が改善された画像を作成するために、個々の撮像装置における対応する画素間の位相差が解像のために必要とされる。超解像度処理は、得られた画像における各画素について、各撮像装置からの入力画素セットが常にマッピングされること、および各撮像装置に対する位相オフセットが得られた画像における画素の位置に対して既知であることの役割を担ってもよい。アドレス変換モジュール５３０は、一連の処理で、画像４１２における物理アドレスを得られた画像の論理アドレスへ変換することにより、このような位相差を解消する。

【0062】

撮像装置５４０により撮像された画像４１２は、アップストリームパイプライン処理モジュール５１０へ提供される。アップストリームパイプライン処理モジュール５１０は、１または複数の黒レベル校正及び調整、固定されたノイズ補償、光学ＰＳＦ（ｐｏｉｎｔ ｓｐｒｅａｄ ｆｕｎｃｔｉｏｎ：点拡がり関数）デコンボリューション、ノイズ削減、並びにクロストーク削減を行ってもよい。アップストリームパイプライン処理モジュール５１０により画像が処理された後に、画像画素相関モジュール５１４は、撮像された対象物がカメラアレイへ近づくと、より明瞭となる視差を計数するための計算を行う。特に、画像画素相関モジュール５１４は、視差を補償するように、異なる撮像装置により撮像された画像の一部を位置合わせする。一実施形態において、画像画素相関モジュール５１４は、閾値を有する近接する画素の平均値間の差を比較し、この差が閾値を超えた場合には、視差の存在する可能性のフラグを立てる。閾値は、カメラアレイの動作条件の関数として動的に変化してもよい。さらに、近接する画素の平均値の計算はまた、選択された撮像装置の特定の動作条件に適合しており、選択された撮像装置の特定の動作条件を反映してもよい。

【0063】

その後、画像は、視差確認測定モジュール５１８により処理され、視差を検出および測定する。一実施形態において、視差検出は、ランニング（ｒｕｎｎｉｎｇ）画素相関モニタにより実現される。この動作は、同様の集積時間条件を有する撮像装置にわたる論理画素空間において、実行される。シーンが事実上の無限大である場合には、撮像装置からのデータは、高い相関があり、ノイズに基づく変化量のみに依存する。しかし、対象物がカメラに十分近い場合には、視差効果は、撮像装置間の相関を変化させるように導入される。撮像装置の空間的なレイアウトによると、視差−誘導変化の性質は、常に全ての撮像装置にわたっている。測定制度の制限内で、撮像装置対の間の相関差は、他の撮像装置対の間の相関差および他の撮像装置にわたる相関差を示す。この情報の冗長性は、他の撮像装置対上で同一のまたは類似の計算を行うことにより、高い精度の視差確認および測定を可能にする。他の撮像装置対に視差が存在する場合には、視差は、撮像装置の位置を考慮したシーンのほぼ同一の物理的な位置において生じなければならない。視差の測定は、様々なペア−ワイズ測定のトラックを保つこと、およびサンプルデータに適合する最小二乗（または類似の統計量）として「実際の」視差の差異を計算することにより、同時に実現されてもよい。視差を検出する他の方法は、フレームからフレームまでの垂直および水平高周波数画像素子を検出および追跡するステップを含んでいてもよい。

【0064】

視差補償モジュール５２２は、超解像度処理により要求された位相オフセット情報の制度よりも大きい視差の差異を導くようなカメラアレイに十分近接した対象物を含む画像を処理する。視差補償モジュール５２２は、超解像度処理の前に、視差確認測定モジュール５１８で生成された示唆情報に基づく走査線を用いて、さらに、物理画素アドレスと論理画素アドレスとの間のマッピングを調整する。この処理中に２つのケースが発生する。通常のケースでは、アドレスおよびオフセットの調整は、他の撮像装置において、入力画素が、画像ワイズ対応画素に対応する位置へ移動したときに要求される。この場合には、超解像度処理の前に、視差に対するさらなる処理が要求されることはない。通常ではないケースでは、画素または画素群は、閉塞セットを露出するような手法で移動される。この場合には、視差補償処理は、超解像度処理における閉塞セットの画素が考慮されないことを示すタグ付けされた画素データを生成する。

【0065】

特定の撮像装置に対する示唆の変化が正確に求められた後に、視差情報５２４は、アドレス変換モジュール５３０へ送信される。アドレス変換モジュール５３０は、アドレス位相オフセット校正モジュール５５４からの校正データ５５８と共に、視差情報５２４を用いて、論理画素アドレスの計算に適用される適切なＸおよびＹオフセットを求める。アドレス変換モジュール５３０はまた、超解像度処理により作成された結果画像４２８における画素に対する特定の撮像装置の画素への関連サブピクセルオフセットを求める。アドレス変換モジュール５３０は、視差情報５２４を考慮して、示唆を計数する物理アドレス５４６を提供する。

【0066】

視差補償を行った後に、画像は、以下に詳細を説明するように、超解像度モジュール５２６により、低解像度画像から高解像度合成画像４２２を取得するように処理される。高解像度合成画像４２２は、その後、ダウンストリーム色処理モジュール５６４へ供給され、ホワイトバランス、カラー補正、ガンマ補正、ＲＧＢからＹＵＶへの補正、エッジ認識鮮明化、コントラスト促進および圧縮の動作のうち１または複数の処理が行われる。

【0067】

画像処理パイプラインモジュール４２０は、画像のさらなる処理のための構成要素を含んでもよい。例えば、画像処理パイプラインモジュール４２０は、単一の画素検出または画素検出の一群により生じた画像中の異常を補正する補正モジュールを含んでもよい。補正モジュールは、カメラアレイ、カメラアレイとは別の構成要素、または超解像度モジュール５２６の一部分として、同一のチップ上に統合されていてもよい。

【0068】

（超解像度処理）
一実施形態において、超解像度モジュール５２６は、撮像装置５４０により撮像された低解像度画像を処理することによって、高解像度合成画像を生成する。合成画像全体の画像品質は、個々の撮像装置のいずれか１つにより撮像された画像よりも高い。すなわち、個々の撮像装置が相乗的に動作すると、サブサンプリングなしであっても、スペクトルの狭い部分を撮像する個々の撮像装置の能力を用いて、高品質画像にそれぞれ寄与する。超解像度に関連付けられた画像情報は、以下のように表現されてもよい。

【数2】

Ｗ_ｋは、ｋ個の各撮像装置で撮像された、各ＬＲ画像（ｙ_ｋ）に対するＨＲシーン（ｘ）（ぼけ、モーションおよびサブサンプリング）の寄与を示し、ｎ_ｋは、ノイズ寄与を示す。

【0069】

図６Ａから図６Ｅは、本発明の実施形態に係る超過像度処理を介して高解像度画像を取得するための様々な撮像装置の構成を示している。図６Ａから図６Ｅにおいて、「Ｒ」は、赤フィルタを有する撮像装置を示し、「Ｇ」は、緑フィルタを有する撮像装置を示し、「Ｂ」は、青フィルタを有する撮像装置を示し、「Ｐ」は、可視スペクトル全体および近赤外線にわたる検出感度を有する多色撮像装置を示し、「Ｉ」は、近赤外線フィルタを有する撮像装置を示す。多色撮像装置は、可視スペクトルおよび近赤外線の全ての部分（例えば、６５０ｎｍから８００ｎｍ）からの画像をサンプリングしてもよい。図６Ａの実施形態において、撮像装置の中央の行および列は、多色撮像装置を含む。カメラアレイの残りの領域は、緑フィルタ、青フィルタおよび赤フィルタを有する撮像装置で満たされる。図６Ａの実施形態は、近赤外線スペクトルのみを検出する撮像装置は含んでいない。

【0070】

図６Ｂの実施形態は、従来のベイヤーフィルタマッピングと類似する構成を有する。この実施形態は、多色撮像装置または近赤外線撮像装置を含んでいない。上述の図１を参照して詳細を説明したように、図６Ｂの実施形態は、個々の画素に対してマッピングされるのではなく各カラーフィルタが各撮像装置に対してマッピングされる点で、従来のベイヤーフィルタの構成とは異なっている。

【0071】

図６Ｃは、多色撮像装置が対称的な格子縞模様のパターンを形成する実施形態を示している。図６Ｄは、４つの近赤外線撮像装置が提供される実施形態を示している。図６Ｅは、不規則な撮像装置を備える実施形態を示している。図６Ａから図６Ｅの実施形態は、一例に過ぎず、様々な撮像装置のレイアウトが用いられてもよい。

【0072】

多色撮像装置および近赤外線撮像装置を使用することの利点は、これらのセンサが低い照明条件において高い品質の画像を撮像しうることである。多色撮像装置または近赤外線撮像装置により撮像された画像は、標準色撮像装置から取得された画像のノイズ除去のために用いられる。

【0073】

複数の低解像度画像を集合させることによる解像度の増加の根拠は、異なる低解像度画像がわずかに異なる同一シーンの視点を示すという事実に基づいている。ＬＲ画像が画素の整数ユニットにより全て移動した場合には、各画像は、その後、実質的に同一の情報を含む。したがって、ＬＲ画像において、ＨＲ画像を生成するために用いられうる新たな情報は存在しない。実施形態に係る撮像装置では、列または行における各撮像装置が、その近傍の撮像装置からの距離の固定サブピクセルであるように、撮像装置のレイアウトは、プリセットされ、かつ制御されてもよい。ウェハレベル製造およびパッケージ処理は、撮像装置の正確な情報を、超解像度処理で要求されるサブピクセル精度で実現することを許容する。

【0074】

スペクトル検出素子を異なる撮像装置に分離することの問題は、撮像装置の物理的な分離により生じる視差である。撮像装置が対称的に配置されていることを確実にすることにより、少なくとも２つの撮像装置が、前景（フォアグランド）対象物のエッジ周辺の画素を撮像することができる。このように、前景対象物のエッジ周辺の画素は、閉塞を回避することと同様に、解像度を増加させるように集合されてもよい。他の視差に関する問題は、色のサンプリングである。色のサンプリングの問題は、多色撮像装置における視差情報を用いて、色をフィルタした撮像装置からの色のサンプリング精度を向上させることにより、低減されてもよい。

【0075】

一実施形態において、近赤外線撮像装置は、可視スペクトル撮像装置と比較された、相対輝度差を求めるために用いられる。対象物は、可視スペクトルおよび近赤外線スペクトルにより撮像された画像における差が得られる、異なる材料反射率を有する。低い照明条件において、近赤外線撮像装置は、ノイズ比に対してより高い信号を示す。したがって、近赤外線センサからの信号は、輝度画像を改善するために用いられる。近赤外線画像から輝度画像への細部（ディティール）の転送は、超解像度処理を介して、異なる撮像装置からのスペクトル画像を統合する前に、行われてもよい。このように、シーンについてのエッジ情報は、超解像度処理において効果的に用いられうるエッジ保存画像を構築するように改善されてもよい。近赤外線撮像装置を使用することの利点は、ノイズ（例えば、ｎ）に対する評価の改善がオリジナルのＨＲシーン（ｘ）のよりよい評価をもたらす式（２）から明らかである。

【0076】

図７は、一実施形態に係る複数の撮像装置により撮像されたＬＲ画像からＨＲ画像を生成する処理を示すフローチャートである。まず、７１０において、輝度画像、近赤外線画像および彩度画像は、カメラアレイにおける撮像装置により撮像される。その後、７１４において、撮像された画像上で、撮像装置の物理アドレスから改善された画像の論理アドレスへマッピングするために、正規化が行われる。その後、７２０において、撮像装置間の空間的な分離による撮像装置の視界における差を解決するために、視差補償が行われる。その後、７２４において、超解像輝度画像、超解像近赤外線画像、および超解像彩度画像を取得するために、超解像度処理が行われる。

【0077】

その後、７２８において、照明条件が予め設定されたパラメータよりも優れているか判定する。照明条件が予め設定されたパラメータよりも優れている場合には、処理は、７３０において、超解像輝度画像に対する超解像近赤外線画像の正規化を続行する。その後、７４２において、焦点復帰（ｆｏｃｕｓ ｒｅｃｏｖｅｒｙ）が行われる。一実施形態では、７４２において、ＰＳＦ（ｐｏｉｎｔ ｓｐｒｅａｄ ｆｕｎｃｔｉｏｎ：点拡がり関数）を用いて各チャネル当たりのぼけを修正する焦点復帰が行われる。その後、７４６において、超解像度画像は、近赤外線画像および輝度画像に基づいて、処理される。その後、７５０において、合成された画像が構築される。

【0078】

７２８において、照明条件が予め設定されたパラメータよりも優れていない場合には、７３４において、超解像近赤外線画像および超解像輝度画像が調整される。その後、７３８において、超解像輝度画像は、超解像近赤外線画像を用いてノイズ除去される。その後、処理は、７４２において、焦点復帰が行われるように続行され、照明条件が予め設定されたパラメータよりも優れている場合と同様の処理を繰り返す。その後、処理は終了する。

【0079】

（近赤外線画像を有するカラー画像の画像融合）
ＣＭＯＳ撮像装置のスペクトル応答は、通常、６５０ｎｍから８００ｎｍにわたる近赤外線領域では非常に良く、８００ｎｍから１０００ｎｍの領域では十分に良い。近赤外線撮像装置は彩度情報を有していないが、近赤外線撮像装置が相対的にノイズフリーであるため、このスペクトル領域における情報は、低い照明条件において有益である。よって、近赤外線撮像装置は、低い照明条件下でのカラー画像のノイズ除去のために用いられる。

【0080】

一実施形態において、近赤外線撮像装置からの画像は、可視光撮像装置からの他の画像と融合される。融合処理の前に、視点の違いを解決するために、近赤外線撮像装置と可視光撮像装置との間で、登録（ｒｅｇｉｓｔｒａｔｉｏｎ）が行われる。登録処理は、オフラインであり、ワンタイムの処理ステップにおいて行われる。登録が行われた後、近赤外線画像上の輝度情報は、可視光画像上の各格子点に対応する格子点を挿入される。

【0081】

近赤外線画像と可視光画像との画素対応が達成された後、ノイズ除去およびディティール転送処理が実行されうる。ノイズ除去処理により、近赤外線画像から可視光画像への信号情報の転送が、融合画像のＳＮＲ全体を向上させることができる。ディティール転送は、近赤外線画像および可視光画像におけるエッジが、融合画像における対象物の可視性全体を向上するように、保存され、かつ強調されることを確実にする。

【0082】

一実施形態において、近赤外線フラッシュは、近赤外線撮像装置により画像を撮像している間の近赤外線光源として機能する。近赤外線フラッシュを用いることの利点は、他の理由と共に、（ｉ）興味のある対象物上への不快な照明を防ぐことができる、（ｉｉ）対象物のアンビエント色を防ぐことができる、（ｉｉｉ）赤目効果を防ぐことができることである。

【0083】

一実施形態において、近赤外線のみの通過を許容する可視光フィルタは、近赤外線画像化のための光学系を最適化するために用いられる。可視光フィルタは、光フィルタが近赤外線画像におけるより鮮明なディティールをもたらすために、近赤外線光学系転送機能を向上させる。その後、このディティールは、例えば、Ｅｒｉｃ Ｐ． Ｂｅｎｎｅｔｔらによる「Ｍｕｌｔｉｓｐｅｃｔｒａｌ Ｖｉｄｅｏ Ｆｕｓｉｏｎ」 Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ （ＡＣＭ ＳＩＧＧＲＡＰＨ Ｐｒｏｃｅｅｄｉｎｇｓ） （Ｊｕｌｙ ２５， ２００６）に記載されるように、二重両側フィルタ（ｄｕａｌ ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）を用いて可視光画像へ転送され、これは、その全体が本明細書に参照により援用される。

【0084】

（撮像装置において異なる露出によるダイナミックレンジの算出）
自動露出（ＡＥ）アルゴリズムは、撮像されるシーンに対する適切な露出を得るために重要となる。ＡＥアルゴリズムの設計は、撮像された画像のダイナミックレンジに影響を及ぼす。ＡＥアルゴリズムは、要求された画像が、カメラアレイの感度範囲のリニア領域の範囲内にあることを許容する露出値を算出する。リニア領域は、この領域内で優れた信号対ノイズ比が得られるため好ましい。露出値が非常に低い場合、写真は、アンダー飽和となり、一方で、露出値が非常に高い場合、写真は、オーバー飽和となる。従来のカメラにおいて、反復処理は、測定された写真輝度と、閾値を下回る予め規定された輝度との差を低減するために必要とされる。この反復処理は、収束に長い時間が要求され、容認できないシャッター遅延をもたらす場合がある。

【0085】

一実施形態において、複数の撮像装置により撮像された画像の写真輝度は、独立して測定される。特に、複数の撮像装置は、異なる露出を有する画像を撮像し、適切な露出を計算するための時間を低減するように設定される。例えば、５×５個の撮像装置を有するカメラアレイにおいて、８個の彩度撮像装置および９個の近赤外線撮像装置が設けられ、各撮像装置は、異なる露出が設定されてもよい。近赤外線撮像装置は、シーンの低い光態様を撮像するために用いられ、彩度撮像装置は、シーンの高い照明態様を撮像するために用いられる。この結果、合計で１７の露出が可能となる。各撮像装置に対する露出が因数２による隣接する撮像装置からのオフセットである場合には、例えば、２^１７の最大ダイナミックレンジまたは１０２ｄＢが得られうる。このダイナミックレンジは、８ビット画像出力を有する従来のカメラにおいて達成できる標準的な４８ｄＢよりも非常に大きい。

【0086】

各瞬間において、複数の撮像装置それぞれからのレスポンス（アンダー露出、オーバー露出または最適露出）は、それに続く瞬間においてどの程度の露出が必要とされるかに基づいて、分析される。可能な露出範囲において、複数の露出を同時に問い合わせる能力は、一度に一回の露出のみがテストされる場合と比較される検索を促進させる。適切な露出を算出する処理時間を低減することにより、シャッター遅延およびショットとショットのラグが低減されてもよい。

【0087】

一実施形態において、ＨＤＲ画像は、各露出に対して撮像装置のレスポンスを線形化した後の画像を組み合わせることにより、複数の露出から合成される。撮像装置からの画像は、撮像装置の視点の差を計上するための組み合わせの前に、登録されてもよい。

【0088】

一実施形態において、少なくとも１つの撮像装置は、ＨＤＲ画像を生成するＨＤＲ画素を含む。ＨＤＲ画素は、高いダイナミックレンジシーンを撮像することに特化した画素である。ＨＤＲ画素は、他の画素と比べて高い性能を示すが、ＨＤＲ画素は、低い照明条件において、近赤外線撮像装置と比べて低い性能を示す。低い照明条件における性能を向上させるために、近赤外線撮像装置からの信号は、ＨＤＲ撮像装置からの信号と共に、異なる照明条件にわたるより優れた品質の画像を実現するために用いられる。

【0089】

一実施形態において、ＨＤＲ画像は、例えば、Ｐａｕｌ Ｄｅｂｅｖｅｃらによる「Ｒｅｃｏｖｅｒｉｎｇ Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｒａｄｉａｎｃｅ Ｍａｐｓ ｆｒｏｍ Ｐｈｏｔｏｇｒａｐｈｓ」 Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ （ＡＣＭ ＳＩＧＧＲＡＰＨ Ｐｒｏｃｅｅｄｉｎｇｓ）， （Ａｕｇｕｓｔ １６， １９９７）に記載されるように、処理することにより複数の撮像装置により撮像された画像を処理することによって得られ、これは参照によりその全体が本明細書に援用される。撮像装置を用いて複数の露出を同時に撮像する能力は、低減しうる、または除去されうるシーンにおける対象物の動きによって生じる生成物（ａｒｔｉｆａｃｔｓ）のために有利となる。

【0090】

（複数の撮像装置によるハイパースペクトル画像化）
一実施形態において、複数のスペクトル画像は、複数の撮像装置により描画され、シーンにおける対象物の区分け、または認識を容易にする。スペクトル反射率はほとんどの実世界の対象物においてスムーズに変化するため、スペクトル反射率は、複数のカラーフィルタを有する撮像装置を用いて複数のスペクトル次元におけるシーンを撮像することにより、および主成分分析（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔｓ Ａｎａｌｙｓｉｓ：ＰＣＡ）を用いて撮像された画像を解析することにより、推定されてもよい。

【0091】

一実施形態において、カメラアレイにおける撮像装置の１／２は、基本的なスペクトル次元（Ｒ、ＧおよびＢ）においてサンプリングすることに充てられ、残りのカメラアレイにおける撮像装置の１／２は、シフトされた基本的なスペクトル次元（Ｒ’、Ｇ’およびＢ’）においてサンプリングすることに充てられる。シフトされた基本的なスペクトル次元は、特定の波長（例えば、１０ｎｍ）による基本的なスペクトル次元からシフトされる。

【0092】

一実施形態において、画素対応および非線形補間は、シーンのサブピクセルでシフトされた視野を占めるように行われる。その後、シーンのスペクトル反射率は、例えば、Ｊ．Ｐ．Ｓ． Ｐａｒｋｋｉｎｅｎ， Ｊ． Ｈａｌｌｉｋａｉｎｅｎ ａｎｄ Ｔ． Ｊａａｓｋｅｌａｉｎｅｎ， 「Ｃｈａｒａｃｔｅｒｉｓｔｉｃ Ｓｐｅｃｔｒａ ｏｆ Ｍｕｎｓｅｌｌ Ｃｏｌｏｒｓ」 Ｊ． Ｏｐｔ． Ｓｏｃ． Ａｍ．， Ａ ６：３１８ （Ａｕｇｕｓｔ １９８９）に記載されるように、一連の直交スペクトル基底関数を用いて合成されてもよく、これは参照によりその全体が本明細書に援用される。基底関数は、相関行列のＰＣＡにより導かれる固有ベクトルであり、相関行列は、例えば、シーンの各点におけるスペクトルを再構成する実世界材料の広範囲のスペクトル分布を示すマンセル・カラー・チップ（総数１２５７）により測定された、スペクトル反射率を記憶しているデータベースから導かれる。

【0093】

一見すると、カメラアレイにおける異なる撮像装置を介してシーンの異なるスペクトル画像を撮像することは、より高い次元のスペクトルのサンプリングに対して解像度を交換するように思われる。しかし、いくつかの失われた解像度は、回復しうる。複数の撮像装置は、各撮像装置の各サンプリンググリッドが他方からシフトするサブピクセルによりオフセットされた、異なる次元にわたってシーンをサンプリングする。一実施形態において、撮像装置の２つのサンプリンググリッドが重複することはない。つまり、全ての撮像装置からの全てのサンプリンググリッドの重複は、高密度で、おそらく非均一な、点のモンタージュである。散乱データ補間方法は、例えば、Ｓｈｉａｏｆｅｎ Ｆａｎｇらによる「Ｖｏｌｕｍｅ Ｍｏｒｐｈｉｎｇ Ｍｅｔｈｏｄｓ ｆｏｒ Ｌａｎｄｍａｒｋ Ｂａｓｅｄ ３Ｄ Ｉｍａｇｅ Ｄｅｆｏｒｍａｔｉｏｎ」 ｂｙ ＳＰＩＥ ｖｏｌ． ２７１０， ｐｒｏｃ． １９９６ ＳＰＩＥ Ｉｎｔｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ， ｐａｇｅ ４０４−４１５， Ｎｅｗｐｏｒｔ Ｂｅａｃｈ， ＣＡ （Ｆｅｂｒｕａｒｙ １９９６）に記載されるように、各スペクトル画像に対する、この非均一な各サンプルにおけるスペクトル密度を求めるために用いられてもよく、これは参照によりその全体が本明細書に援用される。このように、異なるスペクトルフィルタを用いて、シーンをサンプリングする処理における特定量の解像度の損失は、回復されうる。

【0094】

上述したように、画像区分および対象物認識は、対象物のスペクトル反射率を求めることにより容易になる。この状況は、カメラのネットワークを用いて、一のカメラから他のカメラへの操作可能領域から対象物が移動したときに対象物を捕捉する、セキュリティ用途において頻繁に生じる。各領域は、異なるカメラにより撮像された各画像における異なる外観を対象物に持たせうる、独自の照明条件（蛍光灯、白熱灯、Ｄ６５等）を有していてもよい。ハイパースペクトルモードにおいて、これらのカメラが画像を撮像した場合、全ての画像は、対象物の認識性能を向上するために、同一の光源へ変換されてもよい。

【0095】

一実施形態において、複数の撮像装置を有するカメラアレイは、医療診断画像を提供するために用いられる。診断試料の全てのスペクトルデジタル画像は、医師および医療従事者が診断結果において、より高い確証を認識できるため、正確な診断に寄与する。カメラアレイにおける撮像装置は、全てのスペクトルデータを提供するためにカラーフィルタが設けられてもよい。このようなカメラアレイは、例えば、Ａｎｄｒｅｓ Ｗ． Ｍａｒｔｉｎｅｚらによる「Ｓｉｍｐｌｅ Ｔｅｌｅｍｅｄｉｃｉｎｅ ｆｏｒ Ｄｅｖｅｌｏｐｉｎｇ Ｒｅｇｉｏｎｓ： Ｃａｍｅｒａ Ｐｈｏｎｅｓ ａｎｄ Ｐａｐｅｒ−Ｂａｓｅｄ Ｍｉｃｒｏｆｌｕｉｄｉｃ Ｄｅｖｉｃｅｓ ｆｏｒ Ｒｅａｌ−Ｔｉｍｅ， Ｏｆｆ−Ｓｉｔｅ Ｄｉａｇｎｏｓｉｓ」Ａｎａｌｙｔｉｃａｌ Ｃｈｅｍｉｓｔｒｙ （Ａｍｅｒｉｃａｎ Ｃｈｅｍｉｃａｌ Ｓｏｃｉｅｔｙ） （Ａｐｒｉｌ １１， ２００８）に記載されるように、診断情報を撮像し、遠隔地へ送信するために、携帯電話に実装されてもよく、これは参照によりその全体が本明細書に援用される。さらに、複数の撮像装置を含むカメラアレイは、創傷や、発疹や、他の症状の画像キャプチャの信頼性を向上させるために、大きな被写界深度を画像に提供してもよい。

【0096】

一実施形態において、狭スペクトルバンドパスフィルタを有する小型撮像装置（例えば、２０〜５００画素を含む）は、シーンにおける周囲の特徴およびローカル光源を生成するために用いられる。小型撮像装置を用いることにより、露出およびホワイトバランス特定は、より速い速度で、より正確に求められる。スペクトルバンドパスフィルタは、通常のカラーフィルタ、または、約４００ｎｍの可視スペクトルに及ぶカメラアレイの数を許容する適切なバンドパス幅の回折素子であってもよい。これらの撮像装置は、より高いフレームレートおよび得られたデータ（その画像内容を用いても、または用いなくてもよい）で、同一のカメラアレイにおける他のより大きな撮像装置の露出およびホワイトバランスを制御するために情報を処理するように動作する。小型撮像装置はまた、カメラアレイ内に散在されてもよい。

【0097】

（複数の撮像装置を用いた光学ズーム実装）
一実施形態において、カメラアレイにおける撮像装置のサブセットは、望遠レンズを含む。撮像装置のサブセットは、非望遠レンズを有する撮像装置と同様な他の画像化特性を有していてもよい。この撮像装置のサブセットからの画像は、組み合わされ、超解像度望遠レンズを形成するために超解像度処理される。他の実施形態において、カメラアレイは、異なるズーム倍率を提供する２以上の倍率のレンズが装備された２以上の撮像装置のサブセットを含む。

【0098】

カメラアレイの実施形態は、超解像度を介した画像の収集により、その最終的な解像度を達成しうる。３倍の光学ズームを有する５×５個の撮像装置を提供した場合を例に取ると、１７個の撮像装置が輝度（Ｇ）をサンプリングし、８個の撮像装置が彩度（ＲおよびＢ）をサンプリングするために用いられた場合、１７個の輝度撮像装置は、１７個の撮像装置のセットにおいていずれか１つの撮像装置により達成されるどの解像度よりも４倍以上高い解像度を許容する。撮像装置の数が５×５個から６×６個に増加した場合には、追加で１１個のさらなる撮像装置が利用可能となる。３倍ズームレンズが取り付けられた、８メガピクセルの従来の画像センサと比べると、３倍ズームにおいて、追加した１１個のうち８個の撮像装置が輝度（Ｇ）のサンプリングのために設けられ、残りの３個の撮像装置が彩度（ＲおよびＢ）および近赤外線のサンプリングのために設けられたとき、従来の画像センサの６０％の解像度が達成される。この大幅な減少は、彩度サンプリング（または近赤外線サンプリング）と輝度サンプリングとの比である。より高い解像度で彩度画像を再サンプリングするための彩度（および近赤外線）画像以前の認識として、３倍ズームでの超解像度輝度画像を用いることにより、減少した彩度と輝度とのサンプリング比は、若干オフセットされる。

【0099】

６×６個の撮像装置では、従来の画像センサの解像度と同等の解像度は、１倍ズームにおいて達成される。３倍ズームにおいて、３倍ズームが装備された従来の画像センサの解像度の６０％と同等の解像度は、同一の撮像装置により得られる。また、３倍ズームにおける解像度を有する従来の画像センサと比べて３倍ズームにおける輝度解像度は、減少している。しかし、減少した輝度解像度は、従来の画像センサの光学系が、クロストークおよび光学収差によって、３倍ズームにおいて性能が低減しているということによりオフセットされる。

【0100】

複数の撮像装置により達成されるズーム動作は、以下の利点を有している。第１に、達成されたズームの質は、レンズ素子が焦点距離における各変化に対して調整されうることによって、従来の画像センサにおいて達成されるどのズームよりも非常に高い。従来の画像センサにおいて、光学収差および像面湾曲は、固定された焦点距離に対する収差のみの補正を必要とする固定されたレンズ素子よりも可動素子を有するズームレンズのほうが非常に困難であり、レンズの動作範囲全体にわたって補正される必要がある。また、撮像装置における固定されたレンズは、所与の高さに対する固定された主線角度（ｃｈｉｅｆ ｒａｙ ａｎｇｌｅ）を有し、可動ズームレンズを有する従来の画像センサと同様ではない。第２に、撮像装置は、光学追跡高さの過大な増加なしに光学ズームレンズのシミュレーションを可能にする。低減された高さは、ズーム機能を有するカメラアレイであっても薄いモジュールの実装を可能にする。

【0101】

いくつかの実施形態に係るカメラアレイにおける光学ズームの特定の基準を裏付けるように要求されたオーバーヘッドは、表２に示される。

【表2】

【0102】

一実施形態において、撮像装置における画素は、最も広い角度視野から最大倍率へのスムーズなズーム機能を提供するために所望されたズーム量に対応する大きさおよび解像度を有する出力画像上にマッピングされる。得られる画像情報は、画像の中央領域がその外部の領域よりも高い解像度を有するものであるため、高い倍率のレンズが、低い倍率のレンズとして同一の視野の中心を有するとみなせる。３以上の明確な倍率の場合には、異なる解像度のネスト領域（ｎｅｓｔｅｄ ｒｅｇｉｏｎｓ）は、中央に向かって増加する解像度が設けられてもよい。

【0103】

最大の望遠効果を有する画像は、望遠レンズが装備された撮像装置の超解像度能力により求められた解像度を有している。最も広い視野を有する画像は、以下の２つの手法のうち少なくとも１つでフォーマットされうる。第１に、広視野画像は、広角レンズを有する撮像装置のセットにより求められた解像度である均一な解像度を有する画像としてフォーマットされてもよい。第２に、広視野画像は、画像の中央部分の解像度が望遠レンズを装備した撮像装置のセットの超解像度能力により求められた高解像度画像としてフォーマットされてもよい。低解像度領域において、画像領域当たりの低減された画素の数は、多数の「デジタルな」画素にわたってスムーズに補間される。このような画像において、画素情報は、高い解像度領域から低い解像度領域への移行がスムーズに行われるように、処理され、補間されてもよい。

【0104】

一実施形態において、不均衡な数の画素が各画像の中央部分に集中するので、ズームは、アレイレンズの一部または全部に樽状の歪みを導入することにより達成される。この実施形態において、各画像は、樽状の歪みを除去するように処理されるべきである。広角画像を生成するために、中央に近い画素は、外側の画素がスーパーサンプリングされることに対して、サブサンプリングされる。ズームが行われると、撮像装置の周辺における画素は、次第に廃棄され、撮像装置の中央近傍の画素のサンプリングが増加する。

【0105】

一実施形態において、ミップマップフィルタは、光学素子の特定のズーム範囲（例えば、カメラアレイの１×および３×ズームスケール）間であるズームスケールにおいて描画される画像を許容するように設けられる。ミップマップは、ベースライン画像を伴う、最適化された画像セットが予め計算される。３×ズーム輝度画像と関連付けられた画像セットは、３×から１×へ下がったベースラインスケールから生成されうる。この画像セットにおける各画像は、３×ズーム画像のベースラインのバージョンであるが、低減された詳細度である。所望のズームレベルでの画像の描画は、（ｉ）１×ズームで画像を撮り、かつ所望のズームレベルに対するシーンの範囲を計算する（例えば、出力画像を作成するために、ベースライン画像においてどの画素が、要求されたスケールにおいて描画されるために必要であるか）、（ｉｉ）シーンの範囲セットにおける各画素に対して、３×ズーム輝度画像によりカバーされた画像における画素であるか否かを判定する、（ｉｉｉ）３×ズーム輝度画像において得られる画素である場合には、その後、出力画像を作成するために、最も近接する２つのミップマップ画像を選択し、かつ２つのミップマップ画像から対応する画素を（平滑化フィルタを用いて）補間する、（ｉｖ）３×ズーム輝度画像において得られる画素でない場合には、その後、出力画像を作成するために、１×輝度画像のベースラインから画素を選択し、かつ所望のスケールへスケールアップする、によって、ミップマップを用いて達成される。ミップマップを用いることにより、スムーズな光学ズームは、２つの所与の個別のレベル間（例えば、１×ズームと３×ズーム）のどの点でシミュレートされてもよい。

【0106】

（ビデオ画像の撮像）
一実施形態において、カメラアレイは、高フレーム画像シーケンスを生成する。カメラアレイにおける撮像装置は、撮像画像とは独立して動作されうる。従来の画像センサと比べて、カメラアレイは、フレームレートをＮ倍に上げた（Ｎは撮像装置の数）画像を撮像してもよい。さらに、各撮像装置に対するフレームピリオドは、低光状況下での動作を向上させるように重複してもよい。解像度を増加させるために、撮像装置のサブセットは、高解像度の画像を作成するために、同期された手法で動作してもよい。この場合、最大フレームレートは、同期された手法において動作された撮像装置の数により低減される。高速ビデオフレームレートは、通常ビデオレートでのスローモーションビデオ再生を可能にする。

【0107】

一例として、２つの輝度撮像装置（緑色撮像装置または近赤外線撮像装置）、２つの青色撮像装置および２つの緑色撮像装置は、高解像度１０８０ｐ画像を得るために用いられる。４つの輝度撮像装置（２つの緑色撮像装置および２つの近赤外線撮像装置、または３つの緑色撮像装置および１つの近赤外線撮像装置）と共に、１つの青色撮像装置および１つの赤色撮像装置の置換を用いて、彩度撮像装置は、１０８０ｐのビデオに対して１２０フレーム／秒を達成するようにアップサンプリングされうる。高フレームレートの撮像機器に対しては、フレームレートの数は、直線的にスケールアップしてもよい。標準解像度（４８０ｐ）の動作に対して、２４０フレーム／秒のフレームレートは、同一のカメラアレイを用いて達成されてもよい。

【0108】

高解像度画像センサ（例えば、８メガピクセル）を有する従来の撮像機器は、低解像度画像（例えば、１０８０ｐ３０、７２０ｐ３０および４８０ｐ３０）を撮像するために、ビニング（ｂｉｎｎｉｎｇ）またはスキッピング（ｓｋｉｐｐｉｎｇ）を用いる。ビニングでは、撮像装置における列および行は、ノイズを低減している間に目的とするビデオ解像度を達成するために、電荷、電圧または画素ドメインにおいて補間される。スキッピングでは、センサの電力消費を抑制するために、列および行がスキップされる。これらの技術の双方により画質が抑制される。

【0109】

一実施形態において、カメラアレイにおける撮像装置は、ビデオ画像を撮像するように選択的に作動される。例えば、９個の撮像装置（１個の近赤外線撮像装置を含む）が、１０８０ｐ（１９２０×１０８０画素）画像を得るために用いられてもよいが、６個の撮像装置（１個の近赤外線撮像装置を含む）が、７２０ｐ（１２８０×７２０画素）画像を得るために用いられてもよく、または、４個の撮像装置（１個の近赤外線撮像装置を含む）が、４８０ｐ（７２０×４８０画素）画像を得るために用いられてもよい。撮像装置と、目的とするビデオ画像との間の一対一の画素対応精度が存在するため、従来のアプローチよりも高い解像度が達成される。さらに、撮像装置のサブセットのみが画像を撮像するように達成されるため、非常に大きな電力の節約も達成される。例えば、１０８０ｐでは、電力消費の６０％の低減が達成され、４８０ｐでは、電力消費の８０％の低減が達成される。

【0110】

ビデオ画像を撮像するために近赤外線撮像装置を用いる利点は、近赤外線撮像装置からの情報が、各ビデオ画像からノイズを除去するために用いられうるためである。このように、実施形態のカメラアレイは、低い光感度を示し、非常に低い照明条件において動作可能である。一実施形態において、超解像度処理は、高解像度ビデオ画像を得るために、複数の撮像装置からの画像で行われる。近赤外線撮像装置からの画像の結合を伴う、超解像度処理のノイズ低減特性は、非常にノイズが小さい画像が得られる。

【0111】

一実施形態において、高ダイナミックレンジ（ＨＤＲ）ビデオ撮像は、より多くの撮像装置の作動により可能である。例えば、５×５個のカメラアレイで作動する１０８０ｐのビデオ撮像モードにおいて、９個のカメラのみが作動する。１６個のカメラのサブセットは、非常に高いダイナミックレンジを有するビデオ出力を達成するために、２または４つのセットにおける停止により、露出オーバーおよび露出アンダーとなりうる。

【0112】

（複数の撮像装置に対する他の用途）
一実施形態において、複数の撮像装置は、シーンにおける対象物との距離の推定に用いられる。画像における各点との距離についての情報が、画像成分のｘおよびｙ座標における範囲と共に、カメラアレイにおいて取得できるため、画像成分の大きさは、求められうる。さらに、物理的なアイテムの絶対的な大きさおよび形状が、他の参照情報なしに測定されうる。例えば、足の画像を撮ることができ、得られた情報は、適切な靴のサイズの正確な推定に用いられてもよい。

【0113】

一実施形態において、被写界深度の低減は、距離情報を用いたカメラアレイにより撮像された画像においてシミュレーションされる。本発明に係るカメラアレイは、非常に増加した被写界深度を有する画像を作成する。しかし、長い被写界深度は、ある用途では望ましくない場合がある。このような場合、特定の距離またはいくつかの距離は、画像に対する「ベストフォーカス」距離として選択されてもよく、視差情報からの距離（ｚ）情報に基づいてもよく、画像は、例えば、シンプルなガウスぼかしを用いて、画素それぞれをぼかすことができる。一実施形態において、カメラアレイから得られる深度マップは、トーンマッピングアルゴリズムが、レベルを導くために、深度情報を用いたマッピングを行うこと可能にするために使用され、それにより、３Ｄ効果を強調または誇張する。

【0114】

一実施形態において、異なる大きさの開口は、開口ダイバーシティ（ａｐｅｒｔｕｒｅ ｄｉｖｅｒｓｉｔｙ）を得るために設けられる。開口の大きさは、被写界深度に対する直接的な関係を有する。しかし、小規模なカメラにおいて、開口は、一般的に、カメラアレイに届く光と同等の光を許容するために、可能な限り大きくなる。異なる撮像装置は、異なる大きさの開口を介して光を受光してもよい。大きな被写界深度を作成するための撮像装置に対して、開口は、低減されるが、他の撮像装置は、受光する光を最大にするために大きな開口を有していてもよい。異なる開口サイズのセンサ画像からの画像を結合することにより、大きな被写界深度の画像は、画質を犠牲にすることなく、取得されうる。

【0115】

一実施形態において、本発明に係るカメラアレイは、視点におけるオフセットから撮像された画像に基づいて、再び焦点合わせされる。従来のプレノプティックカメラとは異なり、本発明のカメラアレイから得られる画像は、解像度の過度の損失に悩まされることはない。しかし、本発明に係るカメラアレイは、プレノプティックカメラと比べて、再び焦点合わせするスパース（ｓｐａｒｓｅ）データ点を作成する。スパースデータ点を解消するために、スパースデータ点からのデータを再び焦点合わせするように補間が行われてもよい。

【0116】

一実施形態において、カメラアレイにおける各撮像装置は、異なる重心（ｃｅｎｔｒｏｉｄ）を有する。すなわち、各撮像装置の光学系は、各撮像装置に対する視野が、わずかに重複するが、大部分が、大きな視野の明確なタイルを構成するように設計され、配置される。各タイルからの画像は、単一の高解像度画像を描画するために、共にパノラマ式にステッチされる

【0117】

一実施形態において、カメラアレイは、分離した基板上に形成されてもよく、空間的に分離した同一のマザーボード上に実装されてもよい。各撮像装置上のレンズ素子は視野の隅が基板に対する垂線をわずかに包含するように、配置されてもよい。よって、他の撮像装置に対して９０度回転した各撮像装置を有するマザーボードに４個の撮像装置が実装された場合、視野は、４つのわずかに重複したタイルとなる。これは、ＷＬＯレンズ素子の単一の設計を許容し、かつ撮像装置のチップがパノラマ画像の異なるタイルを撮像するために用いられることを許容するものである。

【0118】

一実施形態において、１または複数の撮像装置のセットは、重複した視野を有するパノラマ画像を作成するようにステッチされた画像を撮像するように配置されるが、他の撮像装置または撮像装置のセットは、タイル表示された画像を生成した、視野を包含する。この実施形態は、異なる特性を有する撮像装置に対して異なる効果的な解像度を提供する。例えば、彩度解像度よりも高い輝度解像度を有することが望ましい。よって、いくつかの撮像装置のセットは、パノラマ式にステッチされた視野を有する輝度を検出してもよい。少数の撮像装置は、輝度撮像装置のステッチされた視野を包含する視野を有するクロミナンス（ｃｈｏｒｏｍｉｎａｎｃｅ）を検出するために用いられてもよい。

【0119】

一実施形態において、複数の撮像装置を有するカメラアレイは、マザーボードが画像のアスペクト比を変えるために手動で折り曲げられてもよいように、フレキシブルなマザーボード上に実装される。例えば、撮像装置のセットは、マザーボードの静止状態において、撮像装置のすべての視野がほぼ同一であるように、フレキシブルなマザーボード上の水平線において実装されてもよい。４個の撮像装置が存在する場合、ディティールの半分の大きさである被写体画像におけるディティールが個々の撮像装置により解決されうるため、個々の撮像装置それぞれの二重解像度を有する画像が得られる。垂直円筒の一部を形成するようにマザーボードが折り曲げられた場合、撮像装置は、外側を向く。部分的に折り曲げられると、被写体画像の幅は、２重になるが、被写体画像における各点が４つの撮像装置よりも２つの視野にあるため、解決されうるディティールは、低減される。最大折り曲げにおいて、被写体画像は、４倍広くなるが、被写体画像において解決されうるディティールは、さらに低減される。

【0120】

（オフライン再構成および処理）
画像化システム４００により処理される画像は、フラッシュ装置またはハードディスクのような記憶装置上の画像データの保存前または保存と共に、プレビューされてもよい。一実施形態において、画像またはビデオデータは、当初カメラアレイにより撮像された、十分なライトフィールドデータセットおよび他の有益な画像情報を含む。他の従来のフィルムフォーマットもまた、用いられうるであろう。記憶された画像またはビデオは、再生されてもよく、様々な有線または無線通信方法で他の装置へ転送されてもよい。

【0121】

一実施形態において、ツールは、リモートサーバによりユーザへ提供される。リモートサーバは、画像またはビデオに対する、リポジトリおよびオフライン処理エンジンの双方として機能してもよい。また、一般のＦｌｉｋｒ、Ｐｉｃａｓａｗｅｂ、Ｆａｃｅｂｏｏｋ等のような写真共有コミュニティの一部として圧縮されたアプレットは、画像をインタラクディブに、個々にまたは協同して操作されることを許容しうる。さらに、画像編集プログラムへのソフトウェアプラグインは、デスクトップおよびラップトップのようなコンピュータ装置上での撮像機器４００により生成された画像を処理するために提供されてもよい。

【0122】

本明細書に記載された様々なモジュールは、コンピュータ内に記憶されたコンピュータプログラムにより選択的に動作された、または再構成された汎用コンピュータを備えてもよい。このようなコンピュータプログラムは、例えば、それらに限定されてないが、フロッピーディスク（登録商標）、光学ディスク、ＣＤ−ＲＯＭ、磁気光学ディスク、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気又は光学カード、特定用途向け集積回路（ＡＳＩＣ）、または電子的な命令を記憶するために好ましいいずれかの媒体のような、いずれかのディスクを含む、コンピュータ可読媒体に記憶されてもよく、それぞれがコンピュータシステムバスに接続されてもよい。さらに、本明細書に示すコンピュータは、単一のプロセッサを含んでもよく、計算能力を増強させるために設計した複数のプロセッサを用いたアーキテクチャであってもよい。

【0123】

本発明の特定の実施形態および用途が本明細書に示され、説明されているが、本発明は、本明細書に開示された明確な構成および要素に限定されるものではないことが理解されるべきであり、様々な改良、変更および変形が、係属中の特許請求の範囲に規定された本発明の趣旨および範囲から逸脱せずに、本発明の方法および装置の配置、動作、および詳細においてなされうることが理解されるべきである。

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図6D】

【図6E】

【図7】