特許 5786149 汎用的に詰め合わせたピクセル配列のカメラシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5786149

(24)【登録日】2015年8月7日

(45)【発行日】2015年9月30日

(54)【発明の名称】汎用的に詰め合わせたピクセル配列のカメラシステムおよび方法

(51)【国際特許分類】

   H04N 9/07 20060101AFI20150910BHJP

【ＦＩ】

   H04N9/07 A

【請求項の数】33

【全頁数】35

(21)【出願番号】特願2011-502091(P2011-502091)

(86)(22)【出願日】2009年3月27日

(65)【公表番号】特表2011-528866(P2011-528866A)

(43)【公表日】2011年11月24日

(86)【国際出願番号】US2009038510

(87)【国際公開番号】WO2009120928

(87)【国際公開日】20091001

【審査請求日】2012年3月15日

(31)【優先権主張番号】61/072,301

(32)【優先日】2008年3月28日

(33)【優先権主張国】US

(31)【優先権主張番号】61/194,725

(32)【優先日】2008年9月30日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】500382473

【氏名又は名称】ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】100143568

【弁理士】

【氏名又は名称】英 貢

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニー株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(72)【発明者】

【氏名】シュリー ケイ ナヤル

(72)【発明者】

【氏名】安間 文仁

(72)【発明者】

【氏名】光永 知生

【審査官】 内田 勝久

(56)【参考文献】

【文献】 特開２００７−２５９３４４（ＪＰ，Ａ）

【文献】 特開２００７−０２７６０４（ＪＰ，Ａ）

【文献】 特開２００２−２０９２２３（ＪＰ，Ａ）

【文献】 特開２００６−２１１４７８（ＪＰ，Ａ）

【文献】 特開２００４−３３６４６８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ９／０４ 〜 ９／１１

(57)【特許請求の範囲】

【請求項1】

カラーフィルタアレイであって、該カラーフィルタアレイは複数の１次フィルタおよび複数の２次フィルタを備え、前記複数の１次フィルタ及び前記複数の２次フィルタの各々は特定のスペクトル応答性を有し、前記複数の１次フィルタ及び前記複数の２次フィルタの各々は複数の画素における対応する画素上に形成され、
前記複数の１次フィルタはさらに、フィルタの第１部分集合及びフィルタの第２部分集合を備え、
前記フィルタの第１部分集合は、前記複数の１次フィルタのうち第１スペクトル応答性を有する１次フィルタを含み、
前記第１部分集合の前記１次フィルタの各々は、水平及び垂直の両方向に、当該１次フィルタの中心から隣接する前記第１部分集合の前記１次フィルタの中心までを測れば、当該１次フィルタに対応する画素の長さの約２倍の距離だけ、互いに分離されるように配置され、
前記フィルタの第２部分集合は、前記複数の１次フィルタのうち、前記第１スペクトル応答性とは異なる第２スペクトル応答性を有する１次フィルタを含み、
前記第２部分集合の前記１次フィルタの各々は、水平及び垂直の両方向に、当該１次フィルタの中心から隣接する前記第２部分集合の前記１次フィルタの中心までを測れば、当該１次フィルタに対応する画素の長さの約２倍の距離だけ、互いに分離されるように配置され、
前記複数の２次フィルタはさらに、フィルタの第３部分集合を備え、
前記フィルタの第３部分集合は、前記複数の２次フィルタのうち、前記第１スペクトル応答性及び前記第２スペクトル応答性と異なる第３スペクトル応答性を有する２次フィルタを含み、
前記第３部分集合の前記２次フィルタの各々は、水平及び垂直の両方向に、当該２次フィルタの中心から隣接する前記第３部分集合の前記２次フィルタの中心までを測れば、当該２次フィルタに対応する画素の長さの約４倍の距離だけ、互いに分離されるように配置され、かつ、前記第１部分集合の４つの前記１次フィルタの各々が、当該２次フィルタの斜め上下方向に隣接するように配置され、かつ、前記第２部分集合の前記１次フィルタが垂直方向に隣接するように配置されている、
カラーフィルタアレイ。

【請求項2】

請求項１に記載のカラーフィルタアレイにおいて、前記第３スペクトル応答性は、前記第１スペクトル応答性及び前記第２スペクトル応答性と高い相関関係を有する、カラーフィルタアレイ。

【請求項3】

請求項１に記載のカラーフィルタアレイにおいて、前記第１部分集合の前記１次フィルタは、２ｐのサンプリングピッチを有する第１の矩形格子状に配置され、前記第２部分集合の前記１次フィルタは、２ｐのサンプリングピッチを有する第２の矩形格子状に配置され、前記第３部分集合の前記２次フィルタは、４ｐのサンプリングピッチを有する第３の矩形格子状に配置され、ここに、ｐは前記複数の画素の各々の画素サイズである、カラーフィルタアレイ。

【請求項4】

請求項１に記載のカラーフィルタアレイにおいて、前記複数の１次フィルタの各々は前記複数の２次フィルタの各々よりも大きな透過率を有する、カラーフィルタアレイ。

【請求項5】

請求項１に記載のカラーフィルタアレイにおいて、
前記複数の１次フィルタはさらに、フィルタの第４部分集合を備え、
前記フィルタの第４部分集合は、前記複数の１次フィルタのうち、前記第１スペクトル応答性、前記第２スペクトル応答性、及び前記第３スペクトル応答性と異なる第４スペクトル応答性を有する１次フィルタを含み、
前記第４部分集合の前記１次フィルタの各々は、水平及び垂直の両方向に、当該１次フィルタの中心から隣接する前記第４部分集合の前記１次フィルタの中心までを測れば、当該１次フィルタに対応する画素の長さの約２倍の距離だけ、互いに分離されるように配置され、
前記複数の２次フィルタはさらに、フィルタの第５部分集合、第６部分集合、及び第７部分集合を備え、
前記フィルタの第５部分集合、第６部分集合、及び第７部分集合は、それぞれ、第５スペクトル応答性、第６スペクトル応答性、及び第７スペクトル応答性を有する２次フィルタを含み、前記第５スペクトル応答性、前記第６スペクトル応答性、及び前記第７スペクトル応答性の各々は、前記第１スペクトル応答性、前記第２スペクトル応答性、前記第３スペクトル応答性、及び前記第４スペクトル応答性と異なり、
前記第５部分集合、前記第６部分集合、及び前記第７部分集合の前記２次フィルタの各々は、水平及び垂直の両方向に、当該２次フィルタの中心から隣接するそれぞれ前記第５部分集合、前記第６部分集合、及び前記第７部分集合の前記２次フィルタの中心までを測れば、当該２次フィルタに対応する画素の長さの約４倍の距離だけ、互いに分離されるように配置され、かつ、前記第１部分集合の４つの前記１次フィルタの各々が、当該２次フィルタの斜め上下方向に隣接するように配置され、かつ、前記第２部分集合の前記１次フィルタが垂直方向に隣接するように配置されている、
カラーフィルタアレイ。

【請求項6】

画像を生成する方法において、該方法は、
カラーフィルタアレイを設けるカラーフィルタアレイ準備ステップであって、該カラーフィルタアレイは、
複数の１次フィルタおよび複数の２次フィルタを備え、前記複数の１次フィルタ及び前記複数の２次フィルタの各々は特定のスペクトル応答性を有し、前記複数の１次フィルタ及び前記複数の２次フィルタの各々は複数の画素における対応する画素上に形成され、
前記複数の１次フィルタはさらに、フィルタの第１部分集合及びフィルタの第２部分集合を備え、
前記フィルタの第１部分集合は、前記複数の１次フィルタのうち第１スペクトル応答性を有する１次フィルタを含み、
前記第１部分集合の前記１次フィルタの各々は、水平及び垂直の両方向に、当該１次フィルタの中心から隣接する前記第１部分集合の前記１次フィルタの中心までを測れば、当該１次フィルタに対応する画素の長さの約２倍の距離だけ、互いに分離されるように配置され、
前記フィルタの第２部分集合は、前記複数の１次フィルタのうち、前記第１スペクトル応答性とは異なる第２スペクトル応答性を有する１次フィルタを含み、
前記第２部分集合の前記１次フィルタの各々は、水平及び垂直の両方向に、当該１次フィルタの中心から隣接する前記第２部分集合の前記１次フィルタの中心までを測れば、当該１次フィルタに対応する画素の長さの約２倍の距離だけ、互いに分離されるように配置され、
前記複数の２次フィルタはさらに、フィルタの第３部分集合を備え、
前記フィルタの第３部分集合は、前記複数の２次フィルタのうち、前記第１スペクトル応答性及び前記第２スペクトル応答性と異なる第３スペクトル応答性を有する２次フィルタを含み、
前記第３部分集合の前記２次フィルタの各々は、水平及び垂直の両方向に、当該２次フィルタの中心から隣接する前記第３部分集合の前記２次フィルタの中心までを測れば、当該２次フィルタに対応する画素の長さの約４倍の距離だけ、互いに分離されるように配置され、かつ、前記第１部分集合の４つの前記１次フィルタの各々が、当該２次フィルタの斜め上下方向に隣接するように配置され、かつ、前記第２部分集合の前記１次フィルタが垂直方向に隣接するように配置されている、該カラーフィルタアレイ準備ステップと、
前記カラーフィルタアレイを使って単一の画像をキャプチャする画像キャプチャステップであって、前記画像に対応して前記複数の１次フィルタおよび前記複数の２次フィルタからの情報を取得する、該画像キャプチャステップと、ならびに
前記複数の１次フィルタおよび前記複数の２次フィルタからの前記情報を使って、複数の異なる画像タイプの、複数の異なる画像を生成するステップと、
を有する、方法。

【請求項7】

請求項６に記載の方法において、前記第３スペクトル応答性は、前記第１スペクトル応答性及び前記第２スペクトル応答性と高い相関関係を有するものとした、方法。

【請求項8】

請求項６に記載の方法において、前記第１部分集合の前記１次フィルタは、２ｐのサンプリングピッチを有する第１の矩形格子状に配置され、前記第２部分集合の前記１次フィルタは、２ｐのサンプリングピッチを有する第２の矩形格子状に配置され、前記第３部分集合の前記２次フィルタは、４ｐのサンプリングピッチを有する第３の矩形格子状に配置され、ここに、ｐは前記複数の画素の各々の画素サイズである、方法。

【請求項9】

請求項６に記載の方法において、前記複数の画像タイプは、モノクローム画像、高ダイナミックレンジのモノクローム画像、３色画像、高ダイナミックレンジの３色画像およびマルチスペクトル画像のうち少なくとも２つとした、方法。

【請求項10】

請求項６に記載の方法において、前記複数の１次フィルタのそれぞれは、前記複数の２次フィルタの各々よりも大きな透過率を有する、方法。

【請求項11】

請求項６に記載の方法において、
前記カラーフィルタアレイの前記複数の１次フィルタはさらに、フィルタの第４部分集合を備え、
前記フィルタの第４部分集合は、前記複数の１次フィルタのうち、前記第１スペクトル応答性、前記第２スペクトル応答性、及び前記第３スペクトル応答性と異なる第４スペクトル応答性を有する１次フィルタを含み、
前記第４部分集合の前記１次フィルタの各々は、水平及び垂直の両方向に、当該１次フィルタの中心から隣接する前記第４部分集合の前記１次フィルタの中心までを測れば、当該１次フィルタに対応する画素の長さの約２倍の距離だけ、互いに分離されるように配置され、
前記カラーフィルタアレイの前記複数の２次フィルタはさらに、フィルタの第５部分集合、第６部分集合、及び第７部分集合を備え、
前記フィルタの第５部分集合、第６部分集合、及び第７部分集合は、それぞれ、第５スペクトル応答性、第６スペクトル応答性、及び第７スペクトル応答性を有する２次フィルタを含み、前記第５スペクトル応答性、前記第６スペクトル応答性、及び前記第７スペクトル応答性の各々は、前記第１スペクトル応答性、前記第２スペクトル応答性、前記第３スペクトル応答性、及び前記第４スペクトル応答性と異なり、
前記第５部分集合、前記第６部分集合、及び前記第７部分集合の前記２次フィルタの各々は、水平及び垂直の両方向に、当該２次フィルタの中心から隣接するそれぞれ前記第５部分集合、前記第６部分集合、及び前記第７部分集合の前記２次フィルタの中心までを測れば、当該２次フィルタに対応する画素の長さの約４倍の距離だけ、互いに分離されるように配置され、かつ、前記第１部分集合の４つの前記１次フィルタの各々が、当該２次フィルタの斜め上下方向に隣接するように配置され、かつ、前記第２部分集合の前記１次フィルタが垂直方向に隣接するように配置されている、方法。

【請求項12】

請求項６に記載の方法において、さらに、エラーを計算することによって前記カラーフィルタアレイにおける各フィルタの前記スペクトル応答性を高めるステップを有する、方法。

【請求項13】

請求項１２に記載の方法において、前記エラーは、色再現エラー、反射率再構築エラー、信号対雑音比およびダイナミックレンジのうち少なくとも１つとした、方法。

【請求項14】

請求項６に記載の方法において、さらに、前記複数の１次フィルタからの情報を使ってモノクローム画像を生成するステップを有する、方法。

【請求項15】

請求項１４に記載の方法において、さらに、前記複数の２次フィルタからの情報を使って低露出モノクローム画像を生成し、該低露出モノクローム画像を前記モノクローム画像と組み合わせることによって、ハイダイナミックレンジ画像を生成するステップを有する、方法。

【請求項16】

請求項６に記載の方法において、さらに、前記複数の１次フィルタからの前記情報を使って３色画像を生成するステップを有する、方法。

【請求項17】

請求項１６に記載の方法において、前記複数の１次フィルタからの前記情報を組み合わせるために、色再現マトリクスおよび線形変換を使って前記３色画像を生成する、方法。

【請求項18】

請求項１７に記載の方法において、さらに、前記複数の２次フィルタからの前記情報を使って低露出３色画像を生成し、該低露出３色画像を前記３色画像と組み合わせることによって、ハイダイナミックレンジ３色画像を生成するステップを有する、方法。

【請求項19】

請求項１８に記載の方法において、前記複数の１次フィルタからの前記情報を使って、前記複数の２次フィルタからの前記情報のエイリアシングを推定することによって前記低露出３色画像を生成する、方法。

【請求項20】

請求項６に記載の方法において、さらに、マルチスペクトル画像を生成するステップを有し、前記２次フィルタからの前記情報をアンチエイリアシングし、また前記２次フィルタからの前記アンチエイリアシングした情報および前記複数の１次フィルタからの前記情報を使用して、前記マルチスペクトル画像のためのスペクトル反射率を再構築する、方法。

【請求項21】

カメラシステムにおいて、該カメラシステムはカラーフィルタアレイを備え、該カラーフィルタアレイは、複数の１次フィルタおよび複数の２次フィルタを備え、前記複数の１次フィルタ及び前記複数の２次フィルタの各々は特定のスペクトル応答性を有し、前記複数の１次フィルタ及び前記複数の２次フィルタの各々は複数の画素における対応する画素上に形成され、
前記複数の１次フィルタはさらに、フィルタの第１部分集合及びフィルタの第２部分集合を備え、
前記フィルタの第１部分集合は、前記複数の１次フィルタのうち第１スペクトル応答性を有する１次フィルタを含み、
前記第１部分集合の前記１次フィルタの各々は、水平及び垂直の両方向に、当該１次フィルタの中心から隣接する前記第１部分集合の前記１次フィルタの中心までを測れば、当該１次フィルタに対応する画素の長さの約２倍の距離だけ、互いに分離されるように配置され、
前記フィルタの第２部分集合は、前記複数の１次フィルタのうち、前記第１スペクトル応答性とは異なる第２スペクトル応答性を有する１次フィルタを含み、
前記第２部分集合の前記１次フィルタの各々は、水平及び垂直の両方向に、当該１次フィルタの中心から隣接する前記第２部分集合の前記１次フィルタの中心までを測れば、当該１次フィルタに対応する画素の長さの約２倍の距離だけ、互いに分離されるように配置され、
前記複数の２次フィルタはさらに、フィルタの第３部分集合を備え、
前記フィルタの第３部分集合は、前記複数の２次フィルタのうち、前記第１スペクトル応答性及び前記第２スペクトル応答性と異なる第３スペクトル応答性を有する２次フィルタを含み、
前記第３部分集合の前記２次フィルタの各々は、水平及び垂直の両方向に、当該２次フィルタの中心から隣接する前記第３部分集合の前記２次フィルタの中心までを測れば、当該２次フィルタに対応する画素の長さの約４倍の距離だけ、互いに分離されるように配置され、かつ、前記第１部分集合の４つの前記１次フィルタの各々が、当該２次フィルタの斜め上下方向に隣接するように配置され、かつ、前記第２部分集合の前記１次フィルタが垂直方向に隣接するように配置されている、
カメラシステム。

【請求項22】

請求項２１に記載のカメラシステムにおいて、前記複数の画素の前記対応する画素はサブミクロン画素とした、カメラシステム。

【請求項23】

請求項２１に記載のカメラシステムにおいて、前記第３スペクトル応答性は、前記第１スペクトル応答性及び前記第２スペクトル応答性と高い相関関係を有する、カメラシステム。

【請求項24】

請求項２１に記載のカメラシステムにおいて、前記第１部分集合の前記１次フィルタは、２ｐのサンプリングピッチを有する第１の矩形格子状に配置され、前記第２部分集合の前記１次フィルタは、２ｐのサンプリングピッチを有する第２の矩形格子状に配置され、前記第３部分集合の前記２次フィルタは、４ｐのサンプリングピッチを有する第３の矩形格子状に配置され、ここに、ｐは前記複数の画素の各々の画素サイズである、カメラシステム。

【請求項25】

請求項２１に記載のカメラシステムにおいて、前記複数の１次フィルタのそれぞれは、前記複数の２次フィルタの各々よりも大きな透過率を有する、カメラシステム。

【請求項26】

画像処理システムにおいて、該システムは、複数の１次フィルタおよび複数の２次フィルタを備えたカラーフィルタアレイからの画像に対応する情報を受信し、前記複数の１次フィルタおよび前記複数の２次フィルタからの前記情報を使って、複数の異なる画像タイプの、複数の異なる前記画像を生成するように構成されたプロセッサを備え、
前記複数の１次フィルタ及び前記複数の２次フィルタの各々は特定のスペクトル応答性を有し、前記複数の１次フィルタ及び前記複数の２次フィルタの各々は複数の画素における対応する画素上に形成され、
前記複数の１次フィルタはさらに、フィルタの第１部分集合及びフィルタの第２部分集合を備え、
前記フィルタの第１部分集合は、前記複数の１次フィルタのうち第１スペクトル応答性を有する１次フィルタを含み、
前記第１部分集合の前記１次フィルタの各々は、水平及び垂直の両方向に、当該１次フィルタの中心から隣接する前記第１部分集合の前記１次フィルタの中心までを測れば、当該１次フィルタに対応する画素の長さの約２倍の距離だけ、互いに分離されるように配置され、
前記フィルタの第２部分集合は、前記複数の１次フィルタのうち、前記第１スペクトル応答性とは異なる第２スペクトル応答性を有する１次フィルタを含み、
前記第２部分集合の前記１次フィルタの各々は、水平及び垂直の両方向に、当該１次フィルタの中心から隣接する前記第２部分集合の前記１次フィルタの中心までを測れば、当該１次フィルタに対応する画素の長さの約２倍の距離だけ、互いに分離されるように配置され、
前記複数の２次フィルタはさらに、フィルタの第３部分集合を備え、
前記フィルタの第３部分集合は、前記複数の２次フィルタのうち、前記第１スペクトル応答性及び前記第２スペクトル応答性と異なる第３スペクトル応答性を有する２次フィルタを含み、
前記第３部分集合の前記２次フィルタの各々は、水平及び垂直の両方向に、当該２次フィルタの中心から隣接する前記第３部分集合の前記２次フィルタの中心までを測れば、当該２次フィルタに対応する画素の長さの約４倍の距離だけ、互いに分離されるように配置され、かつ、前記第１部分集合の４つの前記１次フィルタの各々が、当該２次フィルタの斜め上下方向に隣接するように配置され、かつ、前記第２部分集合の前記１次フィルタが垂直方向に隣接するように配置されている、画像処理システム。

【請求項27】

請求項２６に記載の画像処理システムにおいて、前記プロセッサは、さらに、前記複数の１次フィルタからの前記情報を使ってモノクローム画像を生成するように構成されている、画像処理システム。

【請求項28】

請求項２７に記載の画像処理システムにおいて、前記プロセッサは、さらに、前記複数の２次フィルタからの情報を使って低露出モノクローム画像を生成し、該低露出モノクローム画像を前記モノクローム画像と組み合わせることによって、ハイダイナミックレンジ画像を生成するように構成されている、画像処理システム。

【請求項29】

請求項２６に記載の画像処理システムにおいて、前記プロセッサは、さらに、前記複数の１次フィルタからの前記情報を使って３色画像を生成するように構成されている、画像処理システム。

【請求項30】

請求項２６に記載の画像処理システムにおいて、前記プロセッサは、さらに、前記複数の１次フィルタからの前記情報を組み合わせるため、色再現マトリクスおよび線形変換を使って３色画像を生成するように構成されている、画像処理システム。

【請求項31】

請求項３０に記載の画像処理システムにおいて、前記プロセッサは、さらに、前記複数の２次フィルタからの前記情報を使って低露出３色画像を生成し、該低露出３色画像を前記３色画像と組み合わせることによって、ハイダイナミックレンジ３色画像を生成するように構成されている、画像処理システム。

【請求項32】

請求項３１に記載の画像処理システムにおいて、前記プロセッサは、さらに、前記複数の１次フィルタからの前記情報を使って前記複数の２次フィルタからの前記情報のエイリアシングを推定することにより、前記低露出３色画像を生成するように構成されている、画像処理システム。

【請求項33】

請求項２６に記載の画像処理システムにおいて、前記プロセッサは、さらに、マルチスペクトル画像を生成するように構成され、前記２次フィルタからの前記情報をアンチエイリアシングし、前記２次フィルタからの該アンチエイリアシングされた情報および前記複数の１次フィルタからの前記情報を使用して、前記マルチスペクトル画像のスペクトル反射率を再構築する、画像処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、２００８年３月２８日に出願された米国特許仮出願第６１／０７２，３０１および２００８年９月３０日に出願された米国特許仮出願第６１／１９４，７２５の優先権の恩恵を主張し、これらの全内容を参照により本願明細書に組み込むものとする。

【0002】

（カラー図面に関する注意）
本明細書または出願ファイルにはカラーで作製した少なくとも１つの図面を含んでいる。カラー図面を伴うこの特許または特許出願公報の写しは、必要な手数料の請求および支払いにより、特許商標庁によって提供される。

【0003】

とはいえ、若干の読み手はカラー図面が手に入らないと思われるため、本明細書の記載は、色調のない図面や画像を記述する努力しており、したがって、説明が明らかに冗長になっているかもしれない。

【0004】

（著作権に関する注意）
本特許明細書文献の開示の一部は著作権保護の対象となる資料を含んでいる。本著作権者は、特許商標庁の特許ファイルまたは記録にあるように、本特許明細書文献または特許情報開示のいずれかをファクシミリ複製することに異存はないが、それ以外は、全ての著作権を有する。

【0005】

本発明は、汎用的に詰め合わせたピクセル配列のカメラシステムおよび方法に関する。

【背景技術】

【0006】

ほとんどのデジタルカメラおよびカムコーダ（ビデオカメラ）は、単独のイメージセンサ、例えば電荷結合デバイス（ＣＣＤ：charge coupled device）イメージセンサまたは相補性金属−酸化膜半導体（ＣＭＯＳ：complementary metal-oxide semiconductor）イメージセンサを有する。これらイメージセンサは、カラーフィルタアレイまたはモザイクを使用し、このカラーフィルタアレイまたはモザイクは、色取得のため、ＣＣＤまたはＣＭＯＳイメージセンサの前方に形成した、異なるスペクトルフィルタを詰め合わせたアソートメント（一式揃え）である。

【0007】

一般に使用されるカラーフィルタアレイまたはモザイクは、図１に示すベイヤ（Bayer）モザイクである。図に示すように、ベイヤモザイクは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のカラーフィルタを含み、緑（Ｇ）のカラーフィルタをチェック格子状に配置し、赤（Ｒ）と青（Ｂ）のカラーフィルタは線形的に順次配置する。３色フィルタアレイを使用する１つの理由は、３色感知は測色的色再現性に関してほぼ十分だからである。さらに、この画素配列は、半導体イメージセンサで色情報を検出する唯一の実用的手法であると一般に考えられている。しかし、ベイヤモザイクはその能力に限界があり、なぜなら、スペクトル情報の量に限界があるからである。すなわち、ベイヤモザイクは赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色に関するスペクトル情報を提供するだけである。さらに、補間技術および他の技術を利用して、失われたスペクトル情報を埋めるとともに、これら手法は通常、カラーエイリアシングおよび他のアーチファクトを示す合成画像を生ずる。例えば、図２はグラウンドトゥルース画像２１０と、ベイヤモザイクを使ってキャプチャした信号に適用するバイキュービック（双三次）補間から生じる他のカラーエイリアシングおよび他のアーチファクトの影響を受けた画像２２０との相違を示す。破線で囲んだ領域２２２は、画像２２０におけるカラーエイリアシングおよび他のアーチファクトの影響を受けた部分を特定するものである。

【0008】

近年、画像検出能力を高めるために、ピクセル（画素）詰め合わせ配列（アソートメント）を使用する新しい画像検出技術が現れた。ハイダイナミックレンジ（ＨＤＲ）合成においては、様々な透過率を持つ減光フィルタのモザイクが使用されてきた。高感度画像形成に対するこの手法では、入射する放射光のかなり大きな部分を収集するパンクロマチック画素を使って、標準ベイヤモザイクを構築する。

【発明の概要】

【発明が解決しようとする課題】

【0009】

これら先進技術にもかかわらず、上述のモザイクおよびカメラシステムには限界がある。例えば、これらモザイクおよびカメラシステムは１つの特別なタイプの出力画像の生成に使用される。

【0010】

よって、従来技術のこれらおよび他の欠点を克服する汎用的に詰め合わせたピクセル配列のカメラシステムおよび方法を提供することが望ましい。

【課題を解決するための手段】

【0011】

様々な実施形態によれば、汎用的に詰め合わせたピクセル配列のカメラ機構を提供する。いくつかの実施形態では、図４に示すような、カラーフィルタを豊富に詰め合わせたカラーフィルタアレイまたはモザイクを使った、汎用的詰め合わせピクセル配列のカメラシステムおよび方法を提供する。カラーフィルタアレイを画像形成またはカメラシステムに使用し、この場合、様々な色分解特性（または複数の色）を持つ複数のフィルタのうち１つを各画素に結合させる。カラーフィルタアレイにおけるカラーフィルタそれぞれは、画質の特定の属性を高めることができる。これら属性としては、例えば、色再現性、スペクトル分解能、ダイナミックレンジ、感度がある。カラーフィルタアレイにおけるフィルタそれぞれがキャプチャする情報を使うことによって、これら汎用的詰め合わせピクセル配列のカメラ機構により、ユーザーは１つのキャプチャした画像から様々な画像タイプ（例えば、モノクローム画像、ハイダイナミックレンジ（ＨＤＲ）モノクローム画像、３色（ＲＧＢ）画像、ＨＤＲのＲＧＢ画像および／またはマルチスペクトル画像）を生成することができる。

【0012】

いくつかの実施形態では、これら機構は、図４に示すように、カラーフィルタアレイの空間的およびスペクトル的なレイアウトを決める手法を提供することができる。例えば、測色的および分光的色再現性、ダイナミックレンジおよび信号対雑音比（ＳＮＲ）に関する変数のバランスをとるためにコストまたはエラー処理の手法を用いる、汎用的詰め合わせピクセル配列のカメラシステムおよび方法を提供する。

【0013】

いくつかの実施形態では、これら機構は、様々な画像タイプを再構築するデモザイク処理の手法を提供することができる。例えば、アンダーサンプリングしたチャネルの再構築のためのサブミクロン画素およびアンチエイリアシングの手法を有する汎用的詰め合わせピクセル配列のカメラシステムおよび方法を提供する。特に、特定のフィルタからの情報を使用して、残りのフィルタによってキャプチャされた情報からエイリアシングを除去する。

【0014】

これら機構は様々な用途に使用することができる。例えば、カラーフィルタアレイの空間的およびスペクトル的なレイアウトを向上させるこれらの機構は、汎用的詰め合わせピクセル配列のカメラシステムで使用することができる。カメラシステムは１つの画像をキャプチャすることができ、カラーフィルタアレイにおける各フィルタからの情報を使って、１つのキャプチャされた画像から複数の画像タイプで画像を生成するために、スペクトル分解能、ダイナミックレンジおよび空間分解能間におけるバランスをとる、すなわちトレードオフする。これら画像タイプとしては、例えば、モノクローム画像、ハイダイナミックレンジ（ＨＤＲ）のモノクローム画像、３色 （ＲＧＢ）画像、ＨＤＲのＲＧＢ画像および／またはマルチスペクトル画像がある。

【0015】

いくつかの実施形態では、カラーフィルタアレイを提供し、該アレイは、複数の１次フィルタおよび複数の２次フィルタを含み、各フィルタは特定のスペクトル応答性を有し、また各フィルタは複数の画素における対応する画素上に形成し、前記複数の１次フィルタおよび前記複数の２次フィルタそれぞれは画質の属性を高め、該複数の１次フィルタおよび該複数の２次フィルタを使って取得した情報を使用して、空間分解能および画質のバランスをとって複数の画像タイプで画像を生成する、カラーフィルタアレイを提供する。

【0016】

いくつかの実施形態では、画像を生成する方法を提供する。該方法は、カラーフィルタアレイを設けるカラーフィルタアレイ準備ステップであって、該カラーフィルタアレイは、複数の１次フィルタおよび複数の２次フィルタを備え、各フィルタは特定のスペクトル応答性を有し、また各フィルタは複数の画素における対応する画素上に形成し、前記複数の１次フィルタおよび前記複数の２次フィルタそれぞれは画質の属性を高め、また該複数の１次フィルタおよび該複数の２次フィルタを使って取得した情報を使用して、空間分解能と画質とのバランスをとるものとした、該カラーフィルタアレイ準備ステップと、前記カラーフィルタアレイを使って画像をキャプチャした画像キャプチャステップであって、該画像に対応して前記複数の１次フィルタおよび前記複数の２次フィルタからの情報を取得する、該ス画像キャプチャテップと、ならびに前記複数の１次フィルタおよび前記複数の２次フィルタからの情報を使って、複数の画像タイプで画像を生成するステップとを有する。

【0017】

いくつかの実施形態では、カメラシステムを提供する。該システムは、カラーフィルタアレイを備え、該カラーフィルタアレイは、複数の１次フィルタおよび複数の２次フィルタを備え、各フィルタは特有のスペクトル応答性を有し、各フィルタは複数の画素における対応する画素上に形成し、前記複数の１次フィルタおよび前記複数の２次フィルタそれぞれは画質の属性を高め、該複数の１次フィルタおよび該複数の２次フィルタを使って取得した情報を使用して、空間分解能と画質とのバランスをとり、複数の画像タイプで画像を生成する。

【0018】

いくつかの実施形態では、画像処理システムを提供する。該システムは、カラーフィルタアレイから画像に対応する情報を受信するように構成されるプロセッサを備え、該カラーフィルタアレイは、複数の１次フィルタおよび複数の２次フィルタを具え、各フィルタは特定のスペクトル応答性を有し、また各フィルタは複数の画素における対応する画素上に形成し、前記複数の１次フィルタおよび前記複数の２次フィルタそれぞれは画質の属性を高め、該複数の１次フィルタおよび該複数の２次フィルタを使って取得した情報を使用して、空間分解能と画質とのバランスをとり、また前記複数の１次フィルタおよび前記複数の２次フィルタからの情報を使って、複数の画像タイプで画像を生成する。

【図面の簡単な説明】

【0019】

【図1】ベイヤモザイクの例を示す説明図である。

【図2】本発明のいくつかの実施形態によるグラウンドトゥルース画像と、図１のベイヤモザイクを使ってキャプチャした信号に適用するバイキュービック補間による、カラーエイリアシングおよび他のアーチファクトを示す画像との相違を示す説明図である。

【図3】本発明のいくつかの実施形態による、様々な画素サイズに対して計算した変調伝達関数（ＭＴＦ）を示す説明図である。

【図4】本発明のいくつかの実施形態による、カラーフィルタアレイすなわち配列を示す説明図である。

【図5】図４に示すカラーフィルタアレイのナイキストまたは使用可能な周波数領域および本発明のいくつかの実施形態によるサブミクロン画素の光学的分解能を示す説明図である。

【図6】本発明のいくつかの実施形態による、図４のカラーフィルタアレイにおける７種類の強化フィルタ（例えば、ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇのフィルタ）のスペクトル応答を示す図である。

【図7】本発明のいくつかの実施形態による、図４に示すようなカラーフィルタアレイを有するカメラシステムを使ってキャプチャした１枚の画像から複数の画像タイプを生成するシステムの概略図である。

【図8】本発明のいくつかの実施形態による、アンチエイリアシングの手法によって第２フィルタから計算した低露出ＲＧＢ画像の例を説明する図である。

【図9】本発明のいくつかの実施形態による、原画像の１枚のキャプチャした画像から生成した円形ゾーンプレート（ＣＺＰ）と複数の画像を説明する図である。

【図10】本発明のいくつかの実施形態による、図９に示す生成した画像に対して計算した変調伝達関数（ＭＴＦ）を説明する図である。

【図11】本発明のいくつかの実施形態による、１つのキャプチャした画像から生成した画像の追加例を示す図である。

【図12】本発明のいくつかの実施形態による、１つのキャプチャした画像から生成した画像の追加例を示す図である。

【図13】本発明のいくつかの実施形態による、各カラーフィルタが２つの露出（明るい露出と暗い露出）を有する５つの異なるカラーフィルタ（緑（Ｇ）、赤（Ｒ）、青（Ｂ）、黄（Ｙ）、エメラルド（Ｅ））を含む８×８カラーフィルタアレイを説明する図である。

【図14】本発明のいくつかの実施形態による、図１３に示すカラーフィルタアレイのナイキストまたは使用可能な周波数領域を説明する図である。

【図15】本発明のいくつかの実施形態による、５つの異なるカラーフィルタ （緑（Ｇ）、赤（Ｒ）、青（Ｂ）、黄（Ｙ）、エメラルド（Ｅ））を含む９×９カラーフィルタアレイを説明する図である。

【図16】本発明のいくつかの実施形態による、図１３に示すカラーフィルタアレイのナイキストまたは使用可能な周波数領域を示す説明図である。

【図17】本発明のいくつかの実施形態による、図１３と図１５に示すカラーフィルタアレイを使って生成した画像のエイリアシング効果を低減するために使用することのできる、方向平滑化の手法を示す説明図である。

【図18】本発明のいくつかの実施形態による、図１３と図１５に示すカラーフィルタアレイの中の１つを有するカメラシステムを使ってキャプチャした１つの画像から生成した画像の追加例を説明する図である。

【発明を実施するための形態】

【0020】

様々な実施形態による、汎用的に詰め合わせたピクセル配列のカメラ機構を提供する。いくつかの実施形態では、図４に示すようなカラーフィルタの豊富な詰め合わせ（リッチアソートメント）にした、カラーフィルタアレイまたはモザイクを使用した汎用的に詰め合わせたピクセル配列のカメラシステムおよび方法を提供する。カラーフィルタアレイは、異なる色分解特性（または複数の色）を有する複数のフィルタのうち１つを各画素に結合させた、画像形成またはカメラシステムに使用する。カラーフィルタアレイにおけるカラーフィルタの各々は、画質の特別な属性を高めることができる。これら属性としては、例えば色再現性、スペクトル分解能、ダイナミックレンジ、感度がある。カラーフィルタアレイにおけるフィルタの各々によってキャプチャされる情報を使用することにより、ユーザーはこれら汎用的に詰め合わせたピクセル配列のカメラ機構により、１つのキャプチャした画像から様々な画像タイプ（例えば、モノクローム画像、ハイダイナミックレンジ（ＨＤＲ）のモノクローム画像、３色（ＲＧＢ）画像、ＨＤＲのＲＧＢ画像、および／またはマルチスペクトル画像を生成することができる。

【0021】

いくつかの実施形態では、これら機構は、図４に示すもののように、カラーフィルタアレイの空間およびスペクトルレイアウトを決定する手法を提供することができる。例えば、測色的および分光的色再現性、ダイナミックレンジおよび信号対雑音比（ＳＮＲ）に関する変数のバランスをとるためにコスト的手法またはエラー的手法を使用する汎用的に詰め合わせたピクセル配列のカメラシステムおよび方法を提供する。

【0022】

いくつかの実施形態では、これらの機構は様々な画像タイプを再構築するためのデモザイク処理の手法を提供することができる。例えば、アンダーサンプルのチャネルを再構築するサブミクロン画素およびアンチエイリアシングの手法を含む、汎用的に詰め合わせたピクセル配列のカメラシステムおよび方法を提供する。特に、残りのフィルタによってキャプチャされた情報からエイリアシングを取り除くために、特定のフィルタからの情報を使用する。

【0023】

これらの機構は様々な用途で使用することができる。例えば、カラーフィルタアレイの空間およびスペクトルレイアウトを高めるためのこれら機構は、汎用的に詰め合わせたピクセル配列のカメラシステムで使用することができる。カメラシステムは１つの画像をキャプチャすることができ、カラーフィルタアレイ内のフィルタの各々からの情報を使って、スペクトル分解能、ダイナミックレンジおよび空間分解能のバランスをとるまたはトレードオフして、１つのキャプチャされた画像から複数の画像タイプで画像を生成することができる。これら画像タイプとしては、例えばモノクローム画像、ハイダイナミックレンジ （ＨＤＲ）のモノクローム画像、３色（ＲＢＧ）画像、ＨＤＲのＲＧＢ画像、および／またはマルチスペクトル画像がある。

【0024】

いくつかの実施形態では、サブミクロン画素を有するイメージセンサを具えた、汎用的に詰め合わせピクセル配列のカメラ機構を提供する。一般には、サブミクロン画素を具えた画像センサの分解能は、光学的分解能の限界を超えるとされてきた。

【0025】

このようなカメラシステムの製作にあたり、光学画像システムの分解能には、回折や収差などの複数の要因によって限界があることに留意されたい。収差はレンズ設計において修正することができるが、回折は回避することのできない限界である。円形開口を有するレンズの２次元解析パターンは一般にエアリーディスクと称され、エアリーディスクの幅はシステムの最大分解能の限界を定める。これは一般に下記のように定められる。すなわち、

【0026】

【数1】

【0027】

ここで、Ｉ₀はエアリー回折パターンの中心の強度であり、Ｊ₁はオーダー１の第１種ベッセル関数であり、θは観測角度（すなわち、円形開口の軸線と、開口中心および観測点を結ぶラインとの間における角度)である。尚、ｚ ＝ πｑ／λＮであり、ここで、ｑは観測面における光軸からの半径方向距離であり、λは入射光の波長であり、Ｎはシステムのｆ数である。理想的なレンズの場合、この回折パターンは焦点画像の点広がり関数（ＰＳＦ）であり、ＰＳＦのフーリエ変換を光学画像システムの分解能の特徴付けに使用する。この量は、一般に変調伝達関数 （ＭＴＦ）と称される。このような画像システムのＭＴＦは、入射光の波長λとｆ数Ｎから直接計算することができる。これはＭＴＦ_opt （λ，Ｎ） ＝ Ｆ（Ｉ（θ））と表され、ここで、Ｆ（ ）はフーリエ変換を示す。

【0028】

尚、画素は一般に矩形であり、その有限のサイズは画像システムの分解能の特性に影響を与える。イメージセンサの変調伝達関数（ＭＴＦ）は、矩形関数のフーリエ変換として近似することができる。
これは、ＭＴＦ_sensor（ｐ） ＝ Ｆ（ｓ（ｔ））と表される。この矩形関数ｓ（ｔ）は下記の様に表すことができる。すなわち、

【0029】

【数2】

【0030】

ここで、ｐは画素サイズであり、ζは開口比であり、これはオンチップマイクロレンズの使用により、通常１とされる。

【0031】

尚、カメラシステム（例えば、レンズおよびセンサを含む）の全体的な基本的光学的分解能は、周波数領域においてＭＴＦ ＝ ＭＴＦ_opt（λ，Ｎ）・ＭＴＦ_sensor（ｐ）と表すことができる。これを計算するには、λ＝５５５ｎｍ（一般に、人間の目における感度のピークに対応する）とＮ = ｆ／５．６（これは、例えば消費者向け写真で一般に使用される瞳孔の大きさ）を使用する。これらの値で、基本的なＭＴＦを画素サイズｐによって決める。

【0032】

様々な画素サイズのＭＴＦを図３に示す。図に示すように、０．７０μｍ（最も左側の曲線３０５で示す）、１．００μｍ（曲線３１０で示す）、１．２５μｍ（曲線３１５で示す）、１．７５μｍ（曲線３２０で示す）の画素サイズに対するＭＴＦを計算する。画素サイズｐ ＝ １．００μｍのＭＴＦは、０．２５ｆｓで約０．１である、ここで、ｆｓはイメージセンサのサンプリング周波数である。尚、ＭＴＦが０．１以下の場合には、人間の目はコントラストを認識することができない。また、ｐ ＝ １．００μｍの画素サイズのイメージセンサにおける光学的分解能の限界は、イメージセンサのナイキスト周波数の半分である。よって、図３はサブミクロン画素を有するセンサの分解能が光学的分解能の限界を超えていることを示している。

【0033】

いくつかの実施形態では、カラーフィルタの詰め合わせが豊富なカラーフィルタアレイまたはモザイクを使用した汎用的に詰め合わせたピクセル配列のカメラシステムおよび方法を提供する。重ねて、図３に示すように、１．０μｍの画素サイズに関しては、レンズ開口からの回折および画素による平均化に基因して、ＭＴＦの組合せは、サンプリング周波数ｆｓの約１／４の光学的分解能の限界となる。ここで、ｆｓ = １／Δｓであり、Δｓはサンプリングピッチである。これを利用したいくつかの実施形態による模範的なカラーフィルタアレイ、すなわち配列４００を図４に示す。上述したように、カラーフィルタアレイを、異なる色分解特性（または複数の色）を有する複数のフィルタのうち１つを各画素に結合した、画像形成またはカメラシステムに使用する。用語「カラー」は、一般的に、フィルタまたはそのフィルタから取得したその色に関する画素値を指す。図４に示すように、カラーフィルタアレイ４００は、１次フィルタ（すなわち、カラーフィルタａ，ｂ，ｃ）および２次フィルタ（すなわち、カラーフィルタｄ，ｅ，ｆ，ｇ)を有する。

【0034】

カラーフィルタアレイ４００におけるａ，ｂ，ｃでマーク付けした画素（「１次フィルタ」と総称する）は、サンプリングピッチΔｓ_a,b,c = ２ｐの矩形格子における３個の異なるスペクトル画像をキャプチャする。したがって、ａ，ｂ，ｃのナイキスト周波数はｎ_a,b,c = ｆｓ_a,b,c／２ = ｆｓ／４である。尚、回折に基因して、フィルタａ，ｂ，ｃはエイリアシングを起こさないことに留意されたい。というのも、光学的分解能の限界はサンプリング周波数ｆｓの１／４だからである。これらエイリアシング・フリーの画素ａ，ｂ，ｃは、高分解能モノクローム画像および高分解能ＲＧＢ画像のような高分解能画像の再構築に使用することができる。

【0035】

カラーフィルタアレイ４００におけるｄ，ｅ，ｆ，ｇとマーク付けした画素（「２次フィルタ」と総称する）は、異なるスペクトルフィルタを通して矩形格子に入射した画像をサンプリングする。各第２フィルタのサンプリングピッチはΔｓ_d,e,f,g = ４ｐであり、ナイキスト周波数はｆｎ_d,e,f,g = ｆｓ_d,e,f,g／２ = ｆｓ／８である。

【0036】

カラーフィルタアレイ４００のナイキスト周波数の説明をさらに行うために、ナイキストまたは使用可能な周波数領域５００を図５に示す。図示のように、１次フィルタのナイキスト領域は、点線５１０によって示す周波数空間のほぼ正方形の部分に位置し、２次フィルタのナイキスト領域は、点線５２０によって示す周波数空間のほぼ正方形の部分に位置する。

【0037】

さらに図５には、上述のように、陰影付き領域５３０で示すサブミクロン画素の光学的分解能の限界も示す。尚、２次フィルタのナイキスト周波数（点線５２０で示す）は光学的分解能の限界よりも低いので、エイリアシングアーチファクトの可能性がある。しかし、本明細書に示すように、これらエイリアシングアーチファクトは、１次フィルタを使って取得するデモザイク画像からの高周波数情報を使って除去することができる。

【0038】

カラーフィルタアレイ４００を使用し、複数の画像特性を同時にキャプチャすることができる。しかし、各特性の忠実性にはトレードオフの存在する可能性があることに留意されたい。例えば、カラーフィルタアレイ４００の１次フィルタを使用して、高分解能でモノクローム画像および標準ＲＧＢ画像を再構築する。ハイダイナミックレンジ（ＨＤＲ）画像に関しては、２次フィルタを使い、かつ空間分解能を低減することによって、スペクトル分解能を向上する。

【0039】

別の実施例では、ダイナミックレンジおよびスペクトルを犠牲にすることによって、高空間分解能を得ることができる。つまり、モノクローム画像は高い空間分解能を有する。空間分解能を犠牲にすることにより、スペクトルの質が向上する。分解能をさらに犠牲にすることにより、スペクトルの質の向上に加えてダイナミックレンジが拡大する。

【0040】

いくつかの実施形態では、１次フィルタおよび２次フィルタのフィルタスペクトルを高めるためにコスト関数またはエラー関数を使用することができる。コスト関数には、いくつかの項、例えば色再現性の品質（例えば、ＲＧＢ画像に関する）、反射率の再構築（例えば、マルチスペクトル画像に関する）およびダイナミックレンジ（例えば、ＨＤＲ画像に関する）を組み込むことができる。

【0041】

ｍ番目のチャネルにおける画素で測定した値ｘ_m（ここでｍは１次または２次のフィルタａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇのうち１つ）は、下記の方程式で表される。すなわち、

【0042】

【数3】

【0043】

ここで、ｉ（λ）は照明のスペクトルパワー分布、ｒ（λ）はシーンポイントのスペクトル反射率、およびｃ_m（λ）はカメラのｍ番目のカラーチャネルにおけるスペクトル応答である。波長λを等間隔のＬポイントでサンプリングする際のｘ_mは下記の離散方程式で表すことができる。すなわち、

【0044】

【数4】

【0045】

さらに、上述の方程式を行列（マトリス）式で書き直すと、Ｘ =Ｃ^TＩＲとなり、ここで、Ｘ = ［ｘ_a, ｘ_b, . . . ｘ_g］^T， Ｃ = ［ｃ_m（λ_l） ］であり、Ｉは離散照明サンプルｉ（λ_l）で構成される対角マトリックスであり、Ｒ = ［ｒ（λ_l）］である。

【0046】

いくつかの実施形態では、１次および２次のフィルタに対応する色再現エラーを決定することができる。例えば、ＨＤＲのＲＧＢ画像を得るには、カラーフィルタアレイ４００の１次フィルタを使用して高露出ＲＧＢ画像を再構築することができ、カラーフィルタアレイ４００の２次フィルタを使用して低露出画像を再構築することができる。いくつかの実施形態では、１次フィルタおよび２次フィルタのスペクトル応答は最高の色再現性を生ずる。尚、様々な色評価指標をフィルタの色再現性の評価に使用することができ、これら指標は、基準素材を測定した色とその既知の色との差異を最小にするコスト関数を使用することができる。

【0047】

いくつかの実施形態では、色の違いを計算するには、人間の視覚の直接測定に基づく、多くの他の色空間を定義する基礎となるＣＩＥ １９３１ ＸＹＺ色空間（国際照明委員会作成）を使用することができる。ＣＩＥ ＸＹＺ３刺激値からのＲＧＢ３刺激値（いくつかのデジタルカメラまたはカラーモニタで採用）の計算は、線形変換である。ＣＩＥ ＸＹＺ３刺激値はＹ = Ａ^TＩＲと定義することができ、ここで、Ｙは真の３刺激値を表し、ＡはＣＩＥ ＸＹＺカラーマッチング関数、即ち、

【0048】

【数5】

の行列（マトリクス）である。１次フィルタ、すなわち

【数6】

に対応する推定ＣＩＥ３刺激値は、最適な線形変換、すなわち

【数7】

と表すことができ、ここで、Ｘ′= ［ｘ_a, ｘ_b, ｘ_c］^Tである。変換Ｔ′は色差が最小、すなわちｍｉｎ‖Ｙ−Ｔ′Ｘ′‖^２ になるよう決定することができる。同様に、２次フィルタ、すなわち

【数8】

に対応する推定ＣＩＥ３刺激値は、

【数9】

と表すことができ、ここで、Ｘ″= ［ｘ_d, ｘ_e, ｘ_f, ｘ_g］^Tである。
尚、真のカラーＹと１組のＮ個の実世界対象物（オブジェクト）セットに対する推定カラー

【数10】

との間における色差の平均的な大きさは、カメラシステムの色再現性を数値化する測定基準として使用することができる。１次および２次のフィルタに対応する色再現エラーは、下記の方程式によって表すことができる。すなわち、

【数11】

【0049】

いくつかの実施形態では、スペクトル分布の再構築によって導入されるエラーを決定することができる。例えば、スペクトル分布は線形モデルを使って再構築することができる。モデルは線形なので、再構築は効率的で安定している。再構築のための線形モデルは一組の直交スペクトル基底関数ｂ_k（λ）のセットとして表すことができる。すなわち、

【数12】

ここで、σ_kはスカラー係数で、Ｋは基底関数の個数である。上述の方程式をコスト関数に代入することによって、コストまたはエラー関数は下記の方程式によって表すことができる。すなわち、

【数13】

これら方程式はＸ= Ｆ・σと書くことができ、ここで、ＦはＭ×Ｋの行列（マトリクス）で、

【数14】

であり、Ｍはカラーフィルタチャネル（例えば、図４のカラーフィルタアレイ４００は７個のチャネルを持っているので、Ｍ＝７）の数であり、σ = ［σ_k］である。スペクトル分布は‖Ｆ・σ−Ｘ‖^２ を最小にすることによって再構築される。尚、ほとんどの材料のスペクトル反射率は平滑で、一般には正であることに留意すべきである。したがって、再構築手法は下記のような制約された最小化式として表すことができる。すなわち、

【数15】

ただしＢ・σ≧０であり、 ここで、

【数16】

は平滑化制約、αは平滑化パラメータ、１≧Ｌ，１≧ｋ≧Ｋ、

【数17】

Ｂ = ［ｂ_k（λ_l）］である。この正規化された最小化は２次計画法を使って解くことができる。マルチスペクトル画像の平均平方再構築誤差Ｒ（Ｃ）は、下記の様に表すことができる。すなわち、

【数18】

ここで、σ_n はｎ番目の対象物（オブジェクト）の実際の係数を表し、

【数19】

は再構築する係数を表す。尚、いくつかの実施形態では、基底関数Ｋの個数は８で、平滑化パラメータαは６４．０に設定される。

【0050】

いくつかの実施形態では、コスト関数はダイナミックレンジの拡大と信号対雑音比（ＳＮＲ）とのバランスをとる手法を含むことができる。上述したように、ＨＤＲ画像を得るために、２次フィルタ（例えば、カラーフィルタアレイ４００のフィルタｄ，ｅ，ｆ，ｇ）は１次フィルタ（例えば、カラーフィルタアレイ４００のフィルタａ，ｂ，ｃ）よりも低い透過率を有する。これにより、２次フィルタの信号対雑音比（ＳＮＲ）の低下が起こる可能性がある。このようなトレードオフは１次フィルタと２次フィルタとの露出比β = ｅ_max／ｅ_minに基づいて制御することができる。ここで、ｅ_max は１次フィルタの平均露出で、ｅ_min は２次フィルタの平均露出である。よって、βは上述した方程式Ｘ = Ｃ^TＩＲのＣによって決めることができ、ここで決まった値βは、ダイナミックレンジの拡大と信号対雑音比の低減とのバランスをとるために使用することができる。

【0051】

いくつかの実施形態では、ダイナミックレンジは、次式

【数20】

と定義することができ、ここで、
Ｖ_full は検出器の飽和容量（例えば、Ｖ_full = 3500ｅ）を表し、Ｎ_r はイメージセンサの読み取りノイズの二乗平均平方根（ＲＭＳ）である。検出器の読み取りノイズのＲＭＳは、

【数21】

と定義することができる。例えば、Ｎ_dark は３３ｅと設定することができる。図４のカラーフィルタアレイ４００を使ういくつかの実施形態では、Ｎ_r は変わらないが、最大検出可能なグレーレベルはβＶ_full となる。従って、カラーフィルタアレイ４００を使うカメラシステムのダイナミックレンジは下記の様に表すことができる。

【0052】

【数22】

いくつかの実施形態では、信号対雑音比は

【数23】

と定めることができ、ここで、Ｖは信号でＮは雑音である。２次フィルタに対応する信号は、露出βを使ってＶ″_ｍａｘ ＝ Ｖ′_ｍａｘ／βと表すことができ、ここで、Ｖ′_ｍａｘは１次フィルタによる信号である。１次フィルタによる信号が飽和していない場合には、２次フィルタによる信号は１次信号から決定することができる。１次信号が飽和しているときの２次フィルタの信号対雑音比は、モザイク４００を使ったカメラシステムにとって最悪の信号雑音比であり、以下のように表される。

【0053】

【数24】

ここで、

【数25】

である。ＳＮＲ_GAP とＤＲ_GAP が大きいとき、カメラシステムの信号対雑音比およびダイナミックレンジの点で性能が高いので、下記のコスト関数を使用することができる。すなわち、

【数26】

【0054】

いくつかの実施形態では、上述のコスト関数の各々を組み合わせて、全体のコスト関数を得ることができる。例えば、上述のコスト関数の各々は特定の画質度を表すので、全体のコスト関数は個々のコストの加重和として表すことができる。すなわち、

【0055】

【数27】

【0056】

尚、重み係数（例えば、ｗ₁，ｗ₂，ｗ₃）は、カメラシステムを使用または製造する用途の画質要求に従って決めることができる。例えば、いくつかの実施形態では、ｗ_１＝１．０，ｗ_２＝１．０，ｗ_３＝１．０を使用して、全体のコスト関数を決めることができる。尚、フィルタは正数のスペクトル応答性（Ｃは正数）を持っているので、Ｃの向上または最適化は下記の様に表すことができる。

【0057】

【数28】

【0058】

いくつかの実施形態では、初期推定値をフィルタのスペクトル応答性に割り当てることができる。つまり、Ｃの中で７つのスペクトル応答関数を求めるために、初期推定値を最適化手法と共に使用することができる。１つの例では、フィルタ応答に対する初期推定値を市販の一組の光学バンドパスフィルタおよびオンチップフィルタによるセットから選択することができる。別の例では、市販のフィルタを１つ以上の上述したコスト関数に基づいて、７個のチャネルの各々に割り当てることができる（例えば、色再現エラーに基づく一組の１７７個の市販フィルタよりなるセットからの割り当てる）。よって、１次フィルタＣ_０′および２次フィルタＣ_０″は下記のように決定される。

【0059】

【数29】

【0060】

ここで、Ｃ_０は一組の市販フィルタである。

【0061】

７個のフィルタそれぞれに対する７つの初期推定値の割り当てに応じてｃ＝ａｒｇｍｉｎ_ｃＧの条件付き非線形最小化を行うために、反復適用を使用することができる。例えば、スペクトル応答性を決めるためにＭａｔｈｗｏｒｋｓ（登録商標）、Ｍａｔｈｌａｂ（登録商標）または他の適切なコンピュータプログラムを使用することができる。Ｍａｔｈｌａｂ（登録商標）を使う際には、ＦＭＩＮＣＯＮルーチンを使用して、上述のような条件付き非線形多変数関数の最小値を求めることができる。また一方で、条件付き非線形多変数関数の最小値を求めるには、その他の適切なコンピュータプログラムも使うことができる。

【0062】

図６は図４のカラーフィルタアレイ４００における７個の機能強化したフィルタのスペクトル応答性を示す。スペクトル応答の決定にコスト関数を使用することによって、またコスト関数の色再現項の結果として、曲線６０５、６１０、６１５でそれぞれ表される１次フィルタａ，ｂ，ｃは、赤、緑、青のフィルタにほぼ類似するスペクトル応答性を持つことに留意されたい。したがって、１次フィルタを使用して、可視光スペクトルのほぼ全体をカバーするＲＧＢ画像取得することができる。

【0063】

さらに、２次フィルタｄ，ｅ，ｆ，ｇ（それぞれ曲線６２０、６２５、６３０、６３５によって示す）によってキャプチャしたスペクトルは、それらのスペクトル応答性に関係なく、１次フィルタを使って取得した画像と大きく相互に関連する。この結果、２次フィルタによって生成した画像のアンチエイリアシングを行うことができる。さらにコスト関数の特性により、２次フィルタは１次フィルタよりも低い露出または透過率を持つ。したがって、１次フィルタおよび２次フィルタを使ってハイダイナミックレンジ情報を取得することができ、また７個のフィルタは異なるスペクトルを持ち、可視スペクトルをサンプリングするので、それらの再構築した画像を使用して、各シーンポイントにおける完全なスペクトル分布、すなわちマルチスペクトル画像の平滑な推測を取得することができる。

【0064】

下記の表１は、カラーフィルタアレイ４００の初期および機能強化した一組の７個のフィルタによるセットにおける、全体コスト関数の色再現性ならびにスペクトル再構築成分のエラー、推定ダイナミックレンジ、信号対雑音比を示す。さらに図１は、ベイヤモザイクにおける赤、緑、青フィルタにおける全体コスト関数の色再現性およびスペクトル再構築成分のエラー、推定ダイナミックレンジ、ならびに信号対雑音比も示す。

【0065】

【表1】

【0066】

コスト関数を使って汎用的に詰め合わせピクセル配列のカラーフィルタアレイにおけるフィルタのスペクトル応答性を高めると、表１の各エラーは減少した。また、信号対雑音比の低下は約２．３ｄＢで低く保たれるとともに、ダイナミックレンジは約４．６ｄＢ向上した。さらに、全体的なコスト関数の色再現性およびスペクトル再構築成分のエラーはベイヤモザイクの方が高いことに留意されたい。

【0067】

図７は、本発明のいくつかの実施形態によるカラーフィルタアレイを有するカメラシステムを使って１つのキャプチャした画像から複数の画像タイプを生成するシステム７００の概略図である。

【0068】

図７に示すように、カメラシステム７００は、１次フィルタ７１２および２次フィルタ７１４を有するカラーフィルタアレイ７１０を備える。上述したように、カラーフィルタアレイ７１０は図４のカラーフィルタアレイ４００と類似のものとすることができる。１次フィルタ７１２は３個のカラーフィルタａ，ｂ，ｃ２を有し、２次フィルタ７１４は４個のカラーフィルタｄ，ｅ，ｆ，ｇを有する。１次フィルタは、サンプリングピッチΔｓ_a,b,c = ２ｐで矩形格子上における３つの異なるスペクトル画像をキャプチャし、２次フィルタはそれぞれ、異なるスペクトルフィルタによりサンプリングピッチΔｓ_d,e,f,g = ４ｐで矩形格子における入射画像をサンプリングする。

【0069】

図７にも示す様に、１次フィルタ７１２および２次フィルタ７１４から取得した情報を使用して、複数のタイプの画像、例えばモノクローム画像７２０、ハイダイナミックレンジ（ＨＤＲ）のモノクローム画像７３０、３色（ＲＧＢ）画像７４０、ＨＤＲのＲＧＢ画像７６０、マルチスペクトル画像７７０を生成することができる。いくつかの実施形態では、アンチエイリアシングとともに、マルチモーダルデモザイク処理の手法を高分解能画像の生成に適用する。

【0070】

図４のカラーフィルタアレイ４００に戻って説明すると、各画素には１つの測色（色測定）があることに留意されたい。他の色は、例えば、画像のタイプ（例えば、モノクローム画像、ＨＤＲモノクローム画像、ＲＧＢ画像、ＨＤＲのＲＧＢ画像、マルチスペクトル画像など）に関係なく、例えば、高分解能の出力画像を再構築するために、隣接する画素によって取得した情報から推定する。この手法は一般に「デモザイク処理（demosaicing）」と称される。

【0071】

Λ_ｍを、チャネルｍ ∈｛ａ，ｃ，ｄ，ｅ，ｆ，ｇ｝に対する一組の画素位置（ｉ、ｊ）よりなるセットとして示すと、各フィルタのマスク関数は以下のように定義される。

【0072】

【数30】

【0073】

図４のカラーフィルタアレイ４００または図７のカラーフィルタアレイ７１０では、７タイプの色チャネル、すなわち、ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇがある。したがって、観測データ、ｙ（ｉ，ｊ）は下記のように表すことができる。

【0074】

【数31】

ここで、ｘ_m はｍ番目のチャネルにおける最大解像度画像である。

【0075】

図７に戻って説明すると、モノクローム画像７２０は、１次フィルタ７１２から取得した情報を使って、１つのキャプチャした画像から生成することができる。上したように、１次フィルタ７１２がキャプチャした情報はエイリアシングの影響を受けない。よって、７２２では、カラーフィルタアレイ７１０における他の１次フィルタ７１２からの線形補間を使って、１次フィルタ７１２における１つの欠落情報を推定することができる。

【0076】

高分解能のモノクローム画像７２０は、１次フィルタの測定した情報を使って再構築することができる。これは、下記のように表すことができる。

【数32】

ここで、

【数33】

は、１次フィルタ(例えば、図４の１次フィルタａ，ｂ，ｃ)で画素を補間することによって取得した最大解像度画像である。補間については、有限インパルス応答（ＦＩＲ）フィルタＦ（ｉ，ｊ）を使用することができ、下記のように表すことができる。

【数34】

ここで、ｖ ＝ ａ, ｂまたはｃ、＊は畳み込みを示し、また

【数35】

である。例えば、いくつかの実施形態では、全ての周波数を通す３０ｘ×３０のサイズのＦＩＲフィルタを求めるのに、Ｍａｔｈｗｏｒｋｓ（登録商標）、Ｍａｔｈｌａｂ（登録商標）のｆｉｒｌ関数を使うことができ、これによって、補間による高周波数の損失を最小限にすることができる。

【0077】

いくつかの実施形態では、１次フィルタ７１２および２次フィルタ７１４から取得した情報を使うことによって、１つのキャプチャされた画像から、ＨＤＲ（ハイダイナミックレンジ）のモノクローム画像７３０を生成することができる。ハイダイナミックレンジのモノクローム画像（例えば、画像７３０）を生成するために、低露出モノクローム画像７３２を構築することができる。７３４では、２次フィルタ７１４（例えば、図４の４個の２次フィルタｄ，ｅ，ｆ，ｇ）からの情報を使って、低露出モノクローム画像７３２を構築する。これら２次フィルタ７１４は低い露出を持ち、共同して可視スペクトル全体をカバーする。

【0078】

例えば、フィルタａ（例えば、図４に示すカラーフィルタアレイ４００のフィルタａ）を持つ画素のモノクローム値を計算することができる。図４に示すように、カラーフィルタアレイ４００は、各画素ａの周りに対角線上に配置した４個の異なる２次的な画素（例えば、画素ｄ，ｅ，ｆ，ｇ）を有する。よって、各画素ａのモノクローム値は、４個の隣接する２次的な画素における測定の平均として計算することができ、下記のように表すことができる。

【0079】

【数36】

尚、半画素位相シフトによって起こるエイリアシングは、対角線上に隣接する４個の画素を加えることによってなくなる。このとき、画素ａでの値を他の画素に対して補間して、低露出モノクローム画像７３２（Ｉ_LEM）を生じ、これは、以下のように表すことができる。

【0080】

【数37】

ここで、

【数38】

そして

である。

【0081】

低露出モノクローム画像７３２の取得後、ステップ７３６で、例えば１次フィルタ７１２を使って生成したモノクローム画像７２０および２次フィルタ７１４を使って生成した低露出モノクローム画像７３２などの、異なる露出のモノクローム画像およびそれらに関連する情報を組み合わせることによって、ＨＤＲのモノクローム画像７３０を生成することができる。

【0082】

いくつかの実施形態では、３色（ＲＧＢ）画像７４０を１次フィルタ７１２で取得した情報を使ってキャプチャした１つの画像から生成することができる。図６で先に述べたように、図４の１次フィルタａ，ｂ，ｃのようなカラーフィルタアレイ７１０で使用する１次フィルタ７１２は、赤、緑、青のフィルタに類似するスペクトル応答性を有する。ステップ７４２，７４４では、１次フィルタを使って計算する

【0083】

【数39】

の画像内における情報を組み合わせるために、色再現マトリクスＴ′およびＨ′（ＣＩＥのＸＹＺ３刺激値からｓＲＧＢ３刺激値への線形変換）を使って３色（ＲＧＢ）画像７４０を構築することができる。ＲＧＢ画像は下記のように表すことができる。

【数40】

【0084】

上述したように、ＲＧＢ画像の色再現のため色差を計算するよう、人間の視覚に関する直接測定に基づき、多くの他の色空間を定義する基礎となる、ＣＩＥの１９３１ＸＹＺ色空間（国際照明委員会作成）を使用することができる。ＣＩＥのＸＹＺ３刺激値からｓＲＧＢ３刺激値（デジタルカメラやカラーモニタに採用されている）への計算は線形変換である。ＣＩＥのＸＹＺ３刺激値はＹ = Ａ^TＩＲと定義することができ、ここでＹは真の３刺激値を表し、ＡはＣＩＥのＸＹＺカラーマッチング関数、すなわち、

【0085】

【数41】

のマトリクスである。１次フィルタ、すなわち、

【数42】

に対応する推定されるＣＩＥ３刺激値は、最適の線形変換、すなわち、

【数43】

と表すことができ、ここでＸ′ = ［ｘ_a, ｘ_b, ｘ_c］^T
である。変換Ｔ′は、色差を最小限にするように定められる。すなわち、
ｍｉｎ‖Ｙ−Ｔ′Ｘ′‖^２いくつかの実施形態では、カラーフィルタアレイ７１０の１次フィルタ７１２および２次フィルタ７１４から取得した情報を使って、１つのキャプチャした画像からＨＤＲのＲＧＢ画像７６０を生成することができる。ハイダイナミックレンジ３色画像（例えば、画像７６０）を生成するために、低露出３色画像７５０を構築することができる。

【0086】

最大解像度による２次フィルタ画像である、

【数44】

を、双線形補間を使用し、ｄ，ｅ，ｆ，ｇの画素を使ってそれぞれ計算することができる。しかし、これは深刻なエイリアシングとなる。いくつかの実施形態では、２次フィルタ画像のエイリアシングをステップ７５２で１次フィルタ画像である、

【数45】

からの情報を使って推定することができる。図６の重複部分に示すように、１次フィルタ７１２および２次フィルタ７１４のスペクトル間には強い相関関係がある。例えば、フィルタｅに対応する最大解像度での画像、すなわち、

【数46】

をアンチエイリアシングする場合、フィルタｅはフィルタａと強い相関関係を持つ。したがって、各フィルタｅの場所の補間された最大解像度でのフィルタａの画像

【数47】

をサンプリングすることができる。これらのものはフィルタｅの最大解像度での画像の計算に使用することができ、下記のように表すことができる。

【数48】

ここで、Ω（ ）は双線形補間を表す。エイリアシングは補間されるものから最初の画像

【数49】

を引くことによって推測することができる。その後、チャネルｅのエイリアシングの最終的な推定を得るために、上述の差異を、ａとｅの画素のフィルタ透過比であるΨ_ae によって拡縮し、ａとｅの画素における露出の差異を考慮する。推定したエイリアシングΨ_aeは下記のように表すことができる。

【0087】

【数50】

ここで、Ψ_aeは、以下の通りである

【数51】

である。
よって、ステップ７５４で、アンチエイリアシングされる画像

【数52】

は次式、すなわち、

【数53】

と計算することができる。さらに、その他のアンチエイリアシングされた２次フィルタは同様に計算することができる。

【0088】

図８は、アンチエイリアシングの手法によって、２次フィルタから計算された低露出ＲＧＢ画像の例を示す。例えば、画像８１０はアンチエイリアシングのない２次フィルタ７１４から計算された低露出ＲＧＢ画像を示す。尚、エイリアシングによって生じた擬似カラーアーチファクト８１２が存在する。画像８２０は、１次フィルタ７１２における１次フィルタを持つ画素を使って計算したダウンサンプルされた画像、すなわち、

【0089】

【数54】

を示す。そして画像８３０はダウンサンプルした画像８２０とチャネルａの最大解像度での画像を使って推定したエイリアシングＹ_e（ｉ，Ｊ）を示す。尚、画像８３０の輝度を視覚化するために増強する。したがって、画像８４０は、画像８３０を使ってアンチエイリアシングの後に取得した低露出ＲＧＢ画像であり、これは、エイリアシングの推定を提供する。画像８４０はアンチエイリアシング手法の有効性を示し、擬似カラーアーチファクト（例えば、画像８２０におけるアーチファクト８１２）を除去することができる。

【0090】

低露出ＲＧＢ画像は７５６で２次フィルタ画像に色再現マトリクスを掛けることによって得ることができ、下記のように表すことができる。

【0091】

【数55】

ここで、Ｔ″は、色再現マトリクスであり、ＨはＣＩＥのＸＹＺからＲＧＢへの線形変換である。

【0092】

低露出ＲＧＢ７５０を取得した後、ステップ７５８で、異なる露出の３色（ＲＧＢ）画像と、例えば、ＲＧＢ画像７４０および低露出ＲＧＢ画像７５０などのそれらの関連情報とを組み合わせることにより、ＨＤＲ（ハイダイナミックレンジ）のＲＧＢ画像７６０を生成することができる。

【0093】

いくつかの実施形態では、マルチスペクトル画像７７０は、カラーフィルタアレイ７１０の１次フィルタ７１２および２次フィルタ７１４からの情報を使って、１つのキャプチャした画像から生成することができる。マルチペクトル画像７７０に関しては、対象物のスペクトル反射率は、ステップ７７２で、画像

【0094】

【数56】

とアンチエイリアシングした画像

【数57】

を使って再構築することができる。いくつかの実施形態では、ＨＤＲのＲＧＢ画像７６０は、カラーフィルタアレイ ７１０の１次フィルタ７１２および２次フィルタ７１４から得た情報を使って、１つのキャプチャした画像から生成することができる。

【0095】

先に述べた様に、スペクトル分布は、方程式の最小化、‖Ｆ・σ−Ｘ‖^２ によって再構築することができる。いくつかの実施形態では、再構築手法は条件付き最小化として下記のように表すことができる。

【0096】

【数58】

ただし、Ｂ・σ≧０、ここで、

【数59】

は平滑化条件付き、αは平滑化パラメータ、すなわち、

【数60】

である。この正規化された最小化は２次計画法を使って解くことができる。

【0097】

図９は円形ゾーンプレート（ＣＺＰ）の原画像９１０といくつかの実施形態による原画像９１０の１つのキャプチャした画像から生成した複数の画像９２０，９３０，９４０，９５０である。グラウンドトゥルースとしての原画像９１０は、ｆ数５．６、および画素サイズ１．０μｍを持つレンズの回折限定モデルを使って計算したＣＺＰ画像を示す。画像をキャプチャするよう、複数の１次フィルタおよび複数の２次フィルタを持つ汎用的に詰め合わせたピクセル配列のカラーフィルタアレイまたはモザイク（例えば、カラーフィルタアレイ４００、カラーフィルタアレイ７１０等）を有するカメラシステムを使って、複数の画像タイプ、例えば、デモザイクしたモノクローム画像９２０、デモザイクした３色（ＲＧＢ）画像９３０、デモザイクしてアンチエイリアシングした低露出モノクローム画像９４０、およびデモザイクしてアンチエイリアシングした低露出モノクローム画像９５０を生成することができる。

【0098】

図１０は、９１０、９２０、９３０、９４０、９５０の各画像の変調伝達関数（ＭＴＦ）の計算を示す。図に示すように、曲線１０１０は原画像９１０と関連し、曲線１０２０は、モノクローム画像９２０および３色（ＲＧＢ）画像９３０に関連し、曲線１０３０は低露出モノクローム画像９４０と関連し、そして曲線１０４０は低露出３色（ＲＧＢ）画像９５０と関連する。尚、カラーフィルタアレイの１次フィルタを使って生成したモノクローム画像９２０および３色 （ＲＧＢ）画像９３０の曲線１０１０は、原画像９１０と関連する曲線１０２０とほぼ類似し。また、低露出モノクローム画像９４０は、０．１７５４ｆｓで約０．１のＭＴＦを持ち、一方低露出３色（ＲＧＢ）画像９５０は０．１６４７ｆｓで約０．１のＭＴＦを持つ。標準のモノクローム画像およびＲＧＢ画像に関しては、一般に０．２１２５ｆｓで起こる。これにより、複数の１次フィルタおよび複数の２次フィルタを持つカラーフィルタアレイとマルチモーダルデモザイク処理の手法を使うカメラ機構によって、ユーザーが復元画像の空間分解能と放射分析的詳細特性との間におけるトレードオフの制御を行うことができることを実証する。

【0099】

１つのキャプチャした画像から生成した画像の他の例を図１１および図１２に示す。尚、図１１のグラウンドトゥルース画像１１１０および図１２の１２１０は、ｆ数５．６、および１．０μｍの画素サイズを持つレンズの回折限定モデルを使って計算する。図１１の画像１１２０および図１２の画像１２２０は、１次フィルタおよび２次フィルタを持つ、汎用的に詰め合わせたピクセル配列のカラーフィルタアレイまたはモザイクを持つカメラシステムを使ってキャプチャした原画像の例を示す。図１１の画像１１３０および図１２の画像１２３０は、原画像１１２０と１２２０のそれぞれと１次フィルタから取得した情報を使って生成したデモザイクしたモノクローム画像の例を示す。図１１の画像１１４０および図１２の画像１２４０は、原画像１１２０，１２２０のそれぞれと、１次フィルタおよび２次フィルタから取得した情報を使って生成したＨＤＲ（ハイダイナミックレンジ）のモノクローム画像の例を示す。図１１の画像１１５０および図１２の画像１２５０は、原画像１１２０，１２２０のそれぞれと１次フィルタから取得した情報を使って生成した３色（ＲＧＢ）画像の例を示す。図１１の画像１１６０および図１２の画像１２６０は、原画像１１２０，１２２０のそれぞれと１次フィルタおよび２次フィルタから取得した情報を使って生成したＨＤＲ（ハイダイナミックレンジ）の３色（ＲＧＢ）画像の例を示す。

【0100】

モノクローム画像およびＲＧＢ画像における飽和領域の質感および色は、対応するＨＤＲ（ハイダイナミックレンジ）画像において視認できるようになることに留意されたい。図１１および図１２にも示すように、ハイダイナミックレンジ３色（ＲＧＢ）画像よりもハイダイナミックレンジモノクローム画像内の方がより詳細に表示される。

【0101】

さらに、図１１および図１２は、１次フィルタおよび２次フィルタから取得、計算した情報を使って生成したマルチスペクトル画像の例を示す。例えば、図１１の画像１１７０および図１２の画像１２７０は、同調フィルタと冷却ＣＣＤカメラを使ってキャプチャしたいくつかの静止シーンの３１バンドマルチスペクトル画像（１０ｎｍ間隔で、４００〜７００ｎｍ）を示す。対応する再構築したスペクトル反射率曲線１１８０，１２８０は、再構築したスペクトル反射率（点線で表示）がグラウンドトゥルース画像のスペクトル反射率とほぼ同一であることを示す。

【0102】

代案として、いくつかのカメラシステムは異なる汎用的に詰め合わせたピクセル配列のカラーフィルタアレイを使ってシーンの１つの画像をキャプチャし、画像解像度、ダイナミックレンジ、およびスペクトル詳細特性の間におけるトレードオフの制御を行い、複数の画像タイプで画像を生成することができる。

【0103】

例えば、図１３は、５個の異なるカラーフィルタ、例えば、緑（Ｇ）、赤（Ｒ）、青（Ｂ）、黄（Ｙ）、エメラルド（Ｅ）を含む８×８のカラーフィルタアレイ１３００の例を示す。各カラーフィルタは２つの露出、例えば、明るい露出および暗い露出を持ち、この場合、色（Ｃ）は明るい画素を示し、色（Ｃ′）は暗い画素を示す。例えば、画素Ｇは明るい緑の画素、画素Ｇ′は暗い緑の画素を示す。

【0104】

図１３に示すように、明および暗の緑チャネルは、水平方向と垂直方向に２行毎にサンプリングを行い、また対角線方向に各行毎にサンプリングを行う。よって、明および暗の緑チャネルの水平方向および垂直方向のサンプリング周波数はｆ_HV／２であり、明および暗の緑チャネルにおける対角線方向のサンプリング周波数はｆ_D である。ここで、ｆ_HVは水平方向および垂直方向のサンプリング周波数であり、ｆ_D はイメージセンサの対角線方向のサンプリング周波数である。さらに、明および暗の緑チャネルの水平方向および垂直方向のナイキスト周波数は、サンプリング周波数の半分、すなわちｆ_HV／４であるとともに、明および暗の緑チャネルにおける対角線方向のナイキスト周波数はｆ_D／２である。図１３に戻って説明すると、明および暗の赤、青、黄およびエメラルドのチャネルは水平方向および垂直方向に４行毎にサンプリングし、対角線方向には２行毎にサンプリングする。したがって、明および暗の赤、青、黄、エメラルドにおけるチャネルの水平方向および垂直方向のサンプリング周波数はｆ_HV／４であり、対応する対角線方向のサンプリング周波数はｆ_D／２である。したがって、明および暗の赤、青、黄、エメラルドにおけるチャネルの水平方向および垂直方向のナイキスト周波数はｆ_HV／８で、対応する対角線方向のナイキスト周波数はｆ_D／４である。

【0105】

図１３のカラーフィルタアレイ１３００のナイキスト周波数をさらに説明するために、周波数領域内のナイキストまたは使用可能な周波数領域１４００を図１４に示す。図面に示すように、明および暗の緑チャネルのナイキスト領域は、実線１４１０で示すほぼ正方形の領域に位置し、明および暗の赤、青、黄、エメラルドにおけるチャネルのナイキスト領域は点線１４２０で示すほぼ正方形の領域に位置する。

【0106】

本発明のいくつかの実施形態によるカラーフィルタアレイの別の例において、図１５は５個の異なるカラーフィルタ、例えば、緑（Ｇ）、赤（Ｒ）、青（Ｂ）、黄（Ｙ）、エメラルド（Ｅ）を含む９×９のカラーフィルタアレイ１５００の例を示す。

【0107】

図１５に示すように、緑のチャネルは水平方向および垂直方向には各行毎にサンプリングし、また対角線方向に各行毎にサンプリングする。よって、暗い緑チャネルの水平方向および垂直方向のサンプリング周波数はｆ_HVであり、緑チャネルの対角線方向のサンプリング周波数はｆ_D である。さらに、緑のチャネルの水平方向および垂直方向のナイキスト周波数はサンプリング周波数の半分、すなわちｆ_HV／２であり、緑チャネルの対角線方向のナイキスト周波数はｆ_D／２である。図１５に戻って説明すると、赤、青、黄、エメラルドのチャネルは水平方向および垂直方向には２列毎にサンプリングし、対角線方向には２列毎にサンプリングする。よって、赤、青、黄、エメラルドチャネルの水平方向および垂直方向のサンプリング周波数はｆ_HV／２であり、対応する対角線方向のサンプリング周波数はｆ_D／２である。したがって、赤、青、黄、エメラルドのチャネルの水平方向および垂直方向のナイキスト周波数はｆ_HV／４であり、対応する対角線方向のナイキスト周波数はｆ_D／４である。

【0108】

カラーフィルタアレイ１５００のナイキスト周波数を図１６にさらに説明する。図１６は、緑チャネルのナイキスト領域が実線１６１０で示すほぼダイアモンド形状の領域に位置し、赤、青、黄、エメラルドのチャネルのナイキスト領域が、点線１６２０で示すほぼダイアモンド形状の領域に位置することを示す。

【0109】

同様に、上述のように、本発明のいくつかの実施形態による図１３のカラーフィルタアレイ１３００または図１５のカラーフィルタアレイ１５００などのカラーフィルタアレイを有するカメラシステムを使って、１つのキャプチャした画像から複数の画像のタイプを生成することができる。例えば、図１３のカラーフィルタアレイ１３００の２つの露出を持つ５個のカラーフィルタから得た情報を、モノクローム画像、ハイダイナミックレンジ（ＨＤＲ）モノクローム画像、３色（ＲＧＢ）画像、ＨＤＲのＲＧＢ画像、およびマルチスペクトル画像の生成に使用することができる。別の例では、図１５のカラーフィルタアレイ１５００の５個のカラーフィルタから取得した情報を使用して、複数のタイプの画像、例えばモノクローム画像および３色（ＲＧＢ）画像を生成することができる。また上述のように、アンチエイリアシングとともにデモザイク処理を施す手法を適用して複数のタイプの画像を生成することができる。

【0110】

いくつかの実施形態では、 カラーフィルタアレイ１３００，１５００のうち一方を使用し、局部的色分布の線形回帰モデルを使ってエイリアシング効果を低減することができる。例えば、小さな局部領域（例えば、変色エッジ）には強い色間の相関関係があるとされている。画像内のこれら局部的色分布は下記の線形回帰モデルによって表すことができる。

【0111】

【数61】

ここで、

である。カラーフィルタアレイ１３００または１５００の位置（ｉ，ｊ）の画素は、(R_i,j, g_i,j, b_i,j, y_i,j, e_i,j), (r_i,j, G_i,j, b_i,j, y_i,j, e_i,j)， (r_i,j, g_i,j, B_i,j, y_i,j, e_i,j)， (r_i,j, g_i,j, b_i,j, Y_i,j, e_i,j)，(r_i,j, g_i,j, b_i,j, y_i,j, E_i,j)のいずれかで表すことができ、ここで、R_i,j、G_i,j、B_i,j、Y_i,j、E_i,jはカラーフィルタアレイの既知の赤、緑、青、黄、エメラルドを示し、r_i,j, g_i,j, b_i,j, y_i,j, e_i,jはカラーフィルタアレイの未知のコンポーネントを示す。さらに、r_i,j, g_i,j, b_i,j, y_i,j, e_i,jの推定は、以下のもの、すなわち、

【数62】

で示す。
結果として、Ｖ_GRおよびＭ_R は下記のようになる。

【数63】

これら表示を用いて、Ｒのエイリアシングを推定することができる。

【0112】

いくつかの実施形態では、カラーフィルタアレイ１３００または１５００のうち一方を使用し、方向平滑化を用いてエイリアシング効果を低減することができる。例えば、アンチエイリアシングの計算コストを下げるために、局部的統計値（例えば、Ｖ_GG，Ｖ_GR，Ｍ_G，Ｍ_R）を計算する際に、方向平滑化を使うことができる。図１７に示すように、カラーフィルタアレイ１７１０の局部的領域方向に沿う１次元の平滑化をステップ１７２０に適用し、色１７３０の１次元信号を取得する。その後、アンチエイリアシングの手法をステップ１７４０で１次元色信号１７３０に適用する。アンチエイリアシング後、各位相の色データをステップ１７５０で取得する。その後、アンチエイリアシングした１次元色データを使って、ステップ１７６０で局部的統計値（例えば、Ｖ_GG，Ｖ_GR，Ｍ_G，Ｍ_R)を計算することができる。

【0113】

尚、方向平滑化手法は、どの適切な方向にも適用することができる。例えば、平滑化手法は、水平方向、垂直方向、右上対角線方向である

【数64】

の方向および右下対角線方向である

【数65】

の方向に適用することができる。尚、平滑化の方向は局部的な肌理（きめ）の方向の少なくとも一部(例えば、水平ストライプの水平方向の平滑化)に基づいて選択することができる。

【0114】

いくつかの実施形態では、いくつかの方向（例えば、水平方向、垂直方向、右上対角線方向、右下対角線方向）の方向平滑化の手法を行い、アンチエイリアシング、局部的統計値の計算、および出力色補間も各方向に関して行う。アンチエイリアシングした１次元信号の勾配および局部的な色変動の大きさを測定することによって、各方向の残りのエイリアシングを評価することができる。いくつかの実施形態では、最小の残りのエイリアシングを提供する方向を、補間フィルタの適切な方向として選択することができる。

【0115】

図１８は原画像１８１０の一部分と、いくつかの実施形態による原画像１８１０の１つのキャプチャした画像から生成した複数の画像１８２０，１８３０，１８４０，１８５０を示す。画像をキャプチャするために、各々が２つの露出(例えば、明るい露出および暗い露出)を持つ５個の異なるカラーフィルタを有する、図１３のカラーフィルタアレイ１３００のような汎用的に詰め合わせピクセル配列のカラーフィルタアレイカメラシステムおよび上述のアンチエイリアシングの手法を使って、例えば、モノクローム画像１８２０、３色（ＲＧＢ）画像１８３０、ハイダイナミックレンジ （ＨＤＲ）モノクローム画像１８４０およびＨＤＲのＲＧＢ画像１８５０を生成することができる。尚、空間分解能を犠牲にすることによって、スペクトルおよびダイナミックレンジの質を向上させることができることに留意されたい。

【0116】

いくつかの実施形態では、カメラ機構と関連して使用するハードウェアは、画像プロセッサ、画像キャプチャ装置（図４に示す汎用的に詰め合わせピクセル配列のカラーフィルタアレイを具える）および画像記憶装置を有することができる。画像プロセッサは、本明細書に記載の画像および画像関連データを処理することのできる任意の適切な装置とすることができる。例えば、画像プロセッサは、コンピュータのような汎用装置や、クライアント、サーバ、画像キャプチャ装置（カメラ、ビデオレコーダー、スキャナ、携帯電話、携帯情報端末など）などの専用の装置であってもよい。尚、これら汎用装置または専用装置は、プロセッサ（マイクロプロセッサ、デジタル信号プロセッサ、コントローラなど）、メモリ、通信インタフェース、表示コントローラ、入力装置などの適切なコンポーネントを具えることができる。画像キャプチャ装置は、携帯カメラ、ビデオカメラまたはレコーダー、コンピュータカメラ、スキャナ、携帯電話、携帯情報端末、閉回路のテレビジョンカメラ、セキュリティカメラ、インターネットプロトコルカメラなどの、画像および／または映像をキャプチャする任意の適切な装置とすることができる。画像キャプチャ装置は、本明細書に記載の汎用的に詰め合わせたピクセル配列のカラーフィルタアレイを有することができる。画像の記憶装置は、メモリ（例えば不揮発性メモリ）、外部装置へのインタフェース（サムドライブ、メモリスティック、ネットワークサーバまたは他の記憶またはターゲット装置）、ディスクドライブ、ネットワークドライブ、データベース、サーバなどの画像を記憶する任意の適切な装置とすることができる。

【0117】

このように、本発明は、汎用的に詰め合わせたピクセル配列のカメラシステムおよび方法を提供する。

【0118】

本発明を上述した実施形態で説明したが、これらは例として説明ものであり、添付の特許請求の範囲によってのみ限定される本発明の主旨や範囲から逸脱することなく、本発明の実施の詳細においては多くの変更が可能である。本明細書で記載した実施形態は種々の方法で組み合わせたり、組み替えたりすることができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】