特許 6134879 透明フィルタピクセルを備えるイメージングシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6134879

(24)【登録日】2017年5月12日

(45)【発行日】2017年5月31日

(54)【発明の名称】透明フィルタピクセルを備えるイメージングシステム

(51)【国際特許分類】

   H04N 9/07 20060101AFI20170522BHJP

   H04N 5/357 20110101ALI20170522BHJP

   H04N 5/372 20110101ALI20170522BHJP

   H04N 5/374 20110101ALI20170522BHJP

【ＦＩ】

   H04N9/07 D

   H04N9/07 A

   H04N5/335 570

   H04N5/335 720

   H04N5/335 740

【請求項の数】14

【外国語出願】

【全頁数】22

(21)【出願番号】特願2013-57224(P2013-57224)

(22)【出願日】2013年3月19日

(65)【公開番号】特開2013-198160(P2013-198160A)

(43)【公開日】2013年9月30日

【審査請求日】2013年5月14日

【審判番号】不服2015-9574(P2015-9574/J1)

【審判請求日】2015年5月25日

(31)【優先権主張番号】61/612,819

(32)【優先日】2012年3月19日

(33)【優先権主張国】US

(31)【優先権主張番号】13/736,768

(32)【優先日】2013年1月8日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】509245706

【氏名又は名称】アプティナ イメージング コーポレイション

【氏名又は名称原語表記】Ａｐｔｉｎａ Ｉｍａｇｉｎｇ Ｃｏｒｐｏｒａｔｉｏｎ

(74)【代理人】

【識別番号】100091915

【弁理士】

【氏名又は名称】本城 雅則

(74)【代理人】

【識別番号】100099106

【弁理士】

【氏名又は名称】本城 吉子

(72)【発明者】

【氏名】マルコ ムリナール

(72)【発明者】

【氏名】ブライアン キーラン

【合議体】

【審判長】 清水 正一

【審判官】 戸次 一夫

【審判官】 渡邊 聡

(56)【参考文献】

【文献】 特開２００７−２８８３９５（ＪＰ，Ａ）

【文献】 特開２０１１−０５５０３８（ＪＰ，Ａ）

【文献】 特開２００８−０７８９２２（ＪＰ，Ａ）

【文献】 特表２００７−５２０１６６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

H04N 9/04 -9/11

H04N 5/30 -5/378

(57)【特許請求の範囲】

【請求項1】

複数の画像センサピクセルのアレイを有する画像センサであって、複数の画像センサピクセルの前記アレイは、赤色光に応じて複数の赤色画像信号を生成するように構成された複数の赤色画像センサピクセルと、青色光に応じて複数の青色画像信号を生成するように構成された複数の青色画像センサピクセルと、少なくとも赤色光、緑色光および青色光に応じて、複数の白色画像信号を生成するように構成された複数の透明画像センサピクセルと、を含む、画像センサと、
前記複数の赤色画像信号、前記複数の青色画像信号および前記複数の白色画像信号に、前記複数の赤色画像信号、前記複数の青色画像信号および前記複数の白色画像信号に関連付けられた複数のノイズ相関を増大させるよう、複数のフィルタ処理作用を実施するように構成された処理回路と、を含み、
前記処理回路は、前記複数の赤色画像信号および前記複数の白色画像信号から赤色差値を生成し、
前記複数の青色画像信号および前記複数の白色画像信号から青色差値を生成し、
クロマフィルタを前記青色差値および前記赤色差値に適用して、フィルタ処理された差値を生成し、
前記複数の白色画像信号を、前記フィルタ処理された差値に加算するものである、ことを特徴とするイメージングシステム。

【請求項2】

前記処理回路は、少なくとも２５個の画像センサピクセルによって生成される複数の画像信号の重み付け和を生成することによって、任意の色の各画像センサピクセルに対して、前記複数のフィルタ処理作用を実施するように構成される、ことを特徴とする請求項１に記載のイメージングシステム。

【請求項3】

前記処理回路は、前記複数の赤色画像信号、前記複数の青色画像信号および前記複数の白色画像信号に、複数の白色バランス作用を実施するように構成される、ことを特徴とする請求項１に記載のイメージングシステム。

【請求項4】

前記処理回路は、前記白色画像信号に色補正マトリクスを適用するように構成され、前記色補正マトリクスは、各白色画像信号から緑色画像信号を抽出する、ことを特徴とする請求項３に記載のイメージングシステム。

【請求項5】

前記画像センサは、複数の画像センサピクセルのさらなるアレイをさらに含む、ことを特徴とする請求項１に記載のイメージングシステム。

【請求項6】

前記イメージングシステムは、複数の画像センサピクセルの少なくとも一つのアレイを有するさらなる画像センサをさらに含む、ことを特徴とする請求項１に記載のイメージングシステム。

【請求項7】

画像センサを使用して、複数の画像信号を処理する方法であって、前記画像センサは複数の画像センサピクセルのアレイと処理回路とを含み、前記複数の画像センサピクセルは、複数の赤色画像センサピクセル、複数の青色画像センサピクセルおよび複数の透明画像センサピクセルを含み、前記方法は、
前記複数の赤色画像センサピクセルによって、赤色光に応じて複数の赤色画像信号を生成するステップと、
前記複数の青色画像センサピクセルによって、青色光に応じて複数の青色画像信号を生成するステップと、
前記複数の透明画像センサピクセルによって、少なくとも赤色光、緑色光、および青色光に応じて複数の白色画像信号を生成するステップと、
前記処理回路によって、前記複数の赤色画像信号、前記複数の青色画像信号および前記複数の白色画像信号に、前記複数の赤色画像信号、前記複数の青色画像信号および前記複数の白色画像信号に関連付けられた複数のノイズ相関を増大させるよう複数のフィルタ処理作用を実施するステップと、
を含み、
前記複数のフィルタ処理作用を実施するステップは、前記複数の赤色画像信号および前記複数の白色画像信号から赤色差値を生成し、
前記複数の青色画像信号および前記複数の白色画像信号から青色差値を生成し、
クロマフィルタを前記青色差値および前記赤色差値に適用して、フィルタ処理された差値を生成し、
前記複数の白色画像信号を、前記フィルタ処理された差値に加算する、各ステップを含む、ことを特徴とする方法。

【請求項8】

前記複数のフィルタ処理作用を実施するステップは、
任意の色の各画像センサピクセルに対して、少なくとも２５個の画像センサピクセルによって生成された複数の画像信号の重み付け和を生成するステップを含む、
ことを特徴とする請求項７に記載の方法。

【請求項9】

複数の画像センサピクセルのアレイと処理回路とを有する画像センサを使用して、複数の画像信号を処理する方法であって、複数の画像センサピクセルの前記アレイは、第一の色の光に反応する画像センサピクセルの第一のグループと、第二の色の光に反応する画像センサピクセルの第二のグループと、第三の色の光に反応する画像センサピクセルの第三のグループとを含み、前記方法は、
画像センサピクセルの前記第一のグループによって、前記第一の色の光に応じて、第一の複数の画像信号を生成するステップと、
画像センサピクセルの前記第二のグループによって、前記第二の色の光に応じて、第二の複数の画像信号を生成するステップと、
画像センサピクセルの前記第三のグループによって、少なくとも前記第一および第二の色の光に応じて、第三の複数の画像信号を生成するステップと、
前記処理回路によって、前記第一の複数の画像信号、前記第二の複数の画像信号および前記第三の複数の画像信号に、前記第一の複数の画像信号、前記第二の複数の画像信号および前記第三の複数の画像信号に関連付けて複数のノイズ相関を増大させる複数のフィルタ処理作用を実施するステップと、を含み、
前記フィルタ処理作用は、前記第一の複数の画像信号および前記第三の複数の画像信号から第一の差値を生成し、
前記複数の第二の画像信号および前記複数の第三の画像信号から第二の差値を生成し、
クロマフィルタを前記第一の差値および前記第二の差値に適用して、フィルタ処理された差値を生成し、
前記複数の第三の画像信号を、前記フィルタ処理された差値に加算する、各処理を含む、ことを特徴とする方法。

【請求項10】

前記第一の複数の画像信号を生成するステップは、赤色光に応じて複数の赤色画像信号を生成するステップを含み、前記第二の複数の画像信号を生成するステップは、青色光に応じて複数の青色画像信号を生成するステップを含み、前記第三の複数の画像信号を生成するステップは、少なくとも赤色および青色光に応じて複数の白色画像信号を生成するステップを含む、
ことを特徴とする請求項９に記載の方法。

【請求項11】

前記第一の複数の画像信号、前記第二の複数の画像信号および前記第三の複数の画像信号に複数のフィルタ処理作用を実施するステップは、
前記第一の複数の画像信号、前記第二の複数の画像信号および前記第三の複数の画像信号に、無限インパルス応答フィルタを実施するステップを含む、
ことを特徴とする請求項９に記載の方法。

【請求項12】

複数の画像センサピクセルのアレイを有する画像センサであって、複数の画像センサピクセルの前記アレイは、第一の色の光に応じて第一の複数の画像信号を生成するように構成された画像センサピクセルの第一のグループと、第二の色の光に応じて第二の複数の画像信号を生成するように構成された画像センサピクセルの第二のグループと、少なくとも前記第一および第二の色の光に応じて第三の複数の画像信号を生成するように構成された画像センサピクセルの第三のグループとを含む、画像センサと、
前記第一の複数の画像信号、前記第二の複数の画像信号および前記第三の複数の画像信号に、前記第一の複数の画像信号、前記第二の複数の画像信号および前記第三の複数の画像信号に関連付けられて複数のノイズ相関を増大させる、複数のフィルタ処理作用を実施するように構成された処理回路と、
を含み、
前記フィルタ処理作用は、前記第一の複数の画像信号および前記第三の複数の画像信号から第一の差値を生成し、
前記複数の第二の画像信号および前記複数の第三の画像信号から第二の差値を生成し、
クロマフィルタを前記第一の差値および前記第二の差値に適用して、フィルタ処理された差値を生成し、
前記複数の第三の画像信号に、前記フィルタ処理された差値を加算する、各処理を含む、ことを特徴とするイメージングシステム。

【請求項13】

画像センサピクセルの前記第一のグループは、赤色光に応じて複数の赤色画像信号を生成するように構成された複数の赤色画像センサピクセルを含み、画像センサピクセルの前記第二のグループは、青色光に応じて複数の青色画像信号を生成するように構成された複数の青色画像センサピクセルを含み、画像センサピクセルの前記第三のグループは、少なくとも赤色光および青色光に応じて複数の白色画像信号を生成するように構成された複数の透明画像センサピクセルを含む、
ことを特徴とする請求項１２に記載のイメージングシステム。

【請求項14】

画像センサピクセルの前記第一のグループは、赤色光に応じて複数の赤色画像信号を生成するように構成された複数の赤色画像センサピクセルを含み、画像センサピクセルの前記第二のグループは、緑色光に応じて複数の緑色画像信号を生成するように構成された複数の緑色画像センサピクセルを含み、画像センサピクセルの前記第三のグループは、少なくとも赤色光および緑色光に応じて複数の白色画像信号を生成するように構成された複数の透明画像センサピクセルを含む、
ことを特徴とする請求項１２に記載のイメージングシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０１３年１月８日に出願された米国特許出願整理番号13/736,768ならびに、２０１２年３月１９日に出願された米国仮特許出願整理番号No.61/612,819の優先権の利益を享受する権利を主張し、米国特許出願整理番号13/736,768ならびに米国仮特許出願整理番号No.61/612,819は参照によってその全体が本明細書に組み込まれる。

【0002】

本出願は、概してイメージングデバイスに関し、特に、透明画素を備えるイメージングデバイスに関する。

【背景技術】

【0003】

画像センサは、通常、画像を捕捉するために、携帯電話、カメラおよびコンピュータなどの電子デバイスで使用される。典型的な配置においては、電子デバイスは、ピクセル行およびピクセル列に配列された画素のアレイを備える。回路は、画素からの画像信号を読み出すために各ピクセル列に通常、結合される。

【0004】

従来のイメージングシステムは、可視光スペクトルがＢａｙｅｒモザイクパターンで配列された赤、緑および青色（ＲＧＢ）画素によってサンプリングされる単一の画像センサを使用する。Ｂａｙｅｒモザイクパターンは、お互いに対して対角線上の逆側に位置する二つの緑色ピクセルとそれ以外の角が赤色および青色である、２×２の画素のセルの繰り返しで構成される。しかしながら、Ｂａｙｅｒパターンは、画素から捕捉される画像信号におけるノイズ比（ＳＮＲ）に対する信号の制限のため、ピクセルサイズをより小さくして、画像センサのさらなる小型化を可能にするのは容易ではない。

【0005】

ＳＮＲを改善する一手段は、弱光レベルにおける露光を増加させることによって利用可能な画像信号を増大させることであり、弱光レベルでは、ＳＮＲは画像品質を制限する。従来の一方法は、サブトラクティブ（減法混色）フィルタの使用であり、例えば、赤、緑、青色の画素は、シアン、マゼンタおよび黄色の画素で置換される。しかしながら、これらの信号は、概して、大部分の従来の画像表示を駆動することを可能にするために、ＲＧＢもしく幾つかの等価な出力画像信号へと変換されなければならない。この変換は、ノイズを増幅する可能性のある色補正マトリクス（ＣＣＭ）を使用して捕捉された画像信号の改変を含むため、露光増大の効果が犠牲にされる。

【発明の概要】

【発明が解決しようとする課題】

【0006】

したがって、画像信号を捕捉して処理する改良された手段を備えるイメージングデバイスを提供することができることが望ましい。

【課題を解決するための手段】

【0007】

画像信号によって生成される画像信号におけるノイズを低減するために、透明画素フィルタを有する画像センサおよび画像処理技術（例えば、クロマデモザイク、ポイントフィルタの適用など）を例示する、種々の実施形態が記述される。

【0008】

画像センサは、赤色光に応じて赤色画像信号を生成する赤色画素と、青色光に応じて青色画像信号を生成する青色画素と、少なくとも赤色光、緑色光、青色光（例えば、白色光）に応じて白色画像信号を生成する透明画像センサピクセルとを含む、画像センサピクセルのアレイを有してもよい。画素は、異なる色の多数の画素を各々が含む、ピクセルユニットセルのアレイに配列されてもよい。画像センサは、赤、青、白色画像信号に関連付けられたノイズ相関を増大させるために、赤、青、および白色画像信号にフィルタ処理作用を実施する処理回路へと結合されてもよい。処理回路は、例えば、画素アレイにおける少なくとも２５個の画素によって生成される画像信号の重み付け和を生成するステップによって任意の画素に対してフィルタ処理作用を実施してもよい。重み付け和は、調整可能な重み（例えば、観察された画像特性に基づいて調製される重み）を含んでもよい。重み付け和は、複数のタイムフレーム間に、または、複数の画像センサから捕捉された画像信号用に生成されてもよい。複数のタイムフレーム用に重み付け和を生成するステップによって、処理回路は、画像信号のノイズを低減するのに成功しつつ、画素のカーネルのサイズを縮小してもよい。

【0009】

本実施例は単に例示的なものにすぎない。概して、画像センサピクセルのアレイは、任
意の所望の色の画像センサピクセル（例えば、任意の色の光に反応する画像センサピクセ
ル）を含んでもよい。例えば、画像センサピクセルのアレイは、第一の色の光に反応する
画像センサピクセルの第一のグループと、第二の色の光に反応する画像センサピクセルの
第二のグループと、第三の色の光（例えば、赤、青、および白色光）に反応する画像セン
サピクセルの第三のグループと、を含んでもよい。第一の画像信号は第一のスペクトル応
答レベル（例えば、画像センサピクセルの第一のグループによって受信される光の周波数
の関数として積分された信号電力レベル）を有し、第二の画像信号は第二のスペクトル応
答レベル（例えば、画像センサピクセルの第二のグループによって受信される光の周波数の関数として積分された信号電力レベル）を有し、第三の画像信号は、第三のスペクトル
応答レベル（例えば、画像センサピクセルの第三のグループによって受信される光の周波
数の関数として積分された信号電力レベル）を有してもよい。第三の画像信号は、第一お
よび第二のスペクトル応答レベルよりも大きいスペクトル応答レベルを有してもよい（例
えば、第三のスペクトル応答レベルは、第一および第二のスペクトル応答レベルの和の７
５％よりも大きい可能性がある）。換言すると、第三の画像信号は、第一および第二の画
像信号よりも広範な範囲の光周波数に応じて捕捉されてもよい。

【0010】

処理回路は、所望の場合には、第一、第二、および第三の画像信号を使用して、推定輝度値（例えば、ＬＣＨ空間における輝度値）を生成してもよい。処理回路は、第一、第二および第三の画像信号を派生三原色空間（例えば、線形ｓＲＧＢ空間、ＣＩＥ空間、ＸＹＺ空間、Ｂａｙｅｒ空間など）へと変換することによって、変換された第一、第二および第三の画像信号を生成してもよい。処理回路は、例えば、第一、第二および第三の画像信号の線形の組み合わせを実施することによって、変換された第一、第二および第三の画像信号を生成してもよい。処理回路は、変換された第一、第二および第三の画像信号を組み合わせることによって、派生輝度値（例えば、ＬＣＨ空間における輝度値）を生成してもよい。処理回路は、派生輝度値を推定輝度値と比較して、派生輝度値が推定輝度値に近づくように（例えば、派生輝度値が、推定輝度値に十分に一致するように）、変換された第一、第二および第三の画像信号を改変してもよい。

【0011】

処理回路は、所望の場合には、処理回路を有する画像センサを使用して、第一の色の第一の画像信号と、第一の色とは異なる第二の色の第二の画像信号と、白色画像信号とを含む画像データを処理してもよい。処理回路は、白色画像信号を使用して、第一および第二の色とは異なる第三の色の第三の画像信号を生成してもよい。処理回路は、派生輝度値を形成するために、第一の画像信号、第二の画像信号および第三の画像信号を組み合わせ、第一の画像信号、第二の画像信号および白色画像信号から推定輝度値を計算してもよい。処理回路は、第一、第二および第三の画像信号を白色画像信号と組み合わせることによって派生輝度値を形成してもよい。

【0012】

処理回路は、派生輝度値および推定輝度値を使用して、第一の画像信号、第二の画像信号および第三の画像信号を改変してもよい。例えば、処理回路は、派生輝度値および推定輝度値に基づいてスケーリング値を計算し、生成されたスケーリング値で第一、第二および第三の画像信号を乗算してもよい。処理回路は、重み付けファクタを使用して、第一、第二および第三の画像信号の線形の組み合わせを計算することによって派生輝度値を形成するために、第一、第二および第三の画像信号を組み合わせてもよい。

【0013】

処理回路は、所望の場合には、捕捉された画像信号に無限インパルス応答（ＩＩＲ）フィルタ処理を実施してもよい。処理回路は、画素１９０によって捕捉された画像信号の特性に基づいて、捕捉された画像信号に適用されるフィルタ（例えば、図６−図８に関連して記述されるようなフィルタ）を調整することによって、ＩＩＲフィルタ処理を実施してもよい。ＩＩＲフィルタ処理の実施は、捕捉された画像信号を処理回路が処理する効率を増大させる可能性がある。

【0014】

処理回路は、所望の場合には、赤、青および白色画像信号に白色バランス作用を実施してもよい。処理回路は、各白色画像信号から緑色画像信号などの異なる色の画像信号を抽出するために、白色画像信号に対して色補正マトリクスを適用してもよい。処理回路は、輝度値を形成するために、（例えば、赤、青、緑および白色画像信号の線形の組み合わせもしくは重み付け和を計算することによって）赤色画像信号、青色画像信号、緑色画像信号および白色画像信号を組み合わせてもよい。処理回路は、スケーリング値を生成するために、輝度値で、白色画像信号を除算してもよい。処理回路は、スケーリング値で赤、緑および青色画像信号を乗算することによって、赤、緑および青色画像信号を改変してもよい。スケーリング値は、赤、緑および青色画像信号に作用するとき、ポイントフィルタとして機能してもよい。所望の場合には、任意の色の画素が、白色画素と組み合わせて使用されてもよい。所望の場合には、処理回路は、複数の画素アレイからの画像信号、複数の画像センサ上の画素アレイからの画像信号、および／もしくは複数のタイムフレーム間に捕捉された画像信号にこれらの作用を実施してもよい。

【0015】

透明画素および関連するフィルタ処理技術は、中央処理装置、メモリ、入力−出力回路、イメージングデバイスを含むシステムで実施され、イメージングデバイスは、ピクセルアレイ、ピクセルアレイ上に光の焦点を合わせるためのレンズ、データ変換回路をさらに含む。

【図面の簡単な説明】

【0016】

【図1】本発明の一実施形態に従う、イメージングシステムを有する例示的な電子デバイスの図である。

【図2】本発明の一実施形態に従う、ピクセルアレイ、ならびに、画像センサにおける列ラインに沿った画素からピクセルデータを読み出すための関連付けられた制御回路の例示的な図である。

【図3】本発明の実施形態に従う、透明フィルタピクセルを有する例示的なピクセルユニットセルの図である。

【図4】本発明の実施形態に従う、透明フィルタピクセルを有する例示的なピクセルユニットセルの図である。

【図5】本発明の実施形態に従う、透明フィルタピクセルを有する例示的なピクセルユニットセルの図である。

【図6】本発明の一実施形態に従う、フィルタ処理されたピクセルアレイから受信された画像信号を処理するための、イメージングシステムにおける処理回路によって実施されうる例示的なステップのフローチャートである。

【図7】本発明の一実施形態に従う、フィルタ処理されたピクセルアレイから受信された画像信号をデモザイクおよびフィルタ処理するための、イメージングシステムにおける処理回路によって実施されうる例示的なステップのフローチャートである。

【図8】本発明の一実施形態に従う、フィルタ処理されたピクセルアレイから受信された画像信号に対してポイントフィルタを適用するための、イメージングシステムにおける処理回路によって実施されうる例示的なステップのフローチャートである。

【図9】本発明の一実施形態に従う、図１の実施形態を使用するプロセッサシステムのブロック図である。

【発明を実施するための最良の形態】

【0017】

デジタルカメラ、コンピュータ、携帯電話および他の電子デバイスなどの電子デバイスは、画像を捕捉するために、入射光を集める画像センサを含む。画像センサは、画素のアレイを含んでもよい。画像センサにおけるピクセルは、入射光を画像信号へと変換するフォトダイオードなどの感光性素子を含んでもよい。画像センサは、任意の数（例えば、何百もしくは何千もしくはそれ以上）のピクセルを含んでもよい。典型的な画像センサは、例えば、何十万もしくは何百万ものピクセル（例えば、メガピクセル）を有する可能性がある。画像センサは、画素を操作するための回路などの制御回路、および、感光性素子によって生成される電荷に対応する画像信号を読み出すための読み出し回路を含んでもよい。読み出し回路は、デバイスにおける電力消費を低減するため、ならびに、ピクセル読み出し動作を改善するために、有効化したり無効化したりすることが可能な、ピクセルの各列に結合された選択可能な読み出し回路を含んでもよい。

【0018】

図１は、画像を捕捉するために画像センサを使用する例示的な電子デバイスの図である。図１の電子デバイス１０は、カメラ、携帯電話、ビデオカメラ、もしくはデジタル画像データを捕捉する他のイメージングデバイスなどのポータブル電子デバイスであってもよい。カメラモジュール１２は、入射光をデジタル画像データへと変換するために使用されてもよい。カメラモジュール１２は、一つ以上のレンズ１４と一つ以上の対応する画像センサ１６を含んでもよい。画像捕捉動作の間、その場からの光は、レンズ１４によって画像センサ１６上に焦点を合わせられてもよい。画像センサ１６は、処理回路１８へと提供されるべき対応するデジタル画像データへと、アナログピクセルデータを変換するための回路を含んでもよい。所望の場合には、カメラモジュール１２は、レンズ１４のアレイと、対応する画像センサ１６のアレイを提供されてもよい。

【0019】

処理回路１８は、一つ以上の集積回路（例えば、画像処理回路、マイクロプロセッサ、ランダムアクセスメモリおよび不揮発性メモリなどの記憶デバイス）を含み、カメラモジュール１２から分離された、および／もしくはカメラモジュール１２の一部を形成するコンポーネント（例えば、画像センサ１６を含む集積回路の一部を形成する回路もしくは画像センサ１６に関連付けられたモジュール１２内の集積回路）を使用して実施されてもよい。カメラモジュール１２によって捕捉された画像データは、処理回路１８を使用して処理され、かつ格納されてもよい。処理された画像データは、所望の場合には、処理回路１８に結合された有線および／もしくはワイヤレス通信パスを使用して外部機器（例えば、コンピュータもしくは他のデバイス）へ提供されてもよい。

【0020】

図２に示されるように、画像センサ１６は、画像センサピクセル１９０（時には、本明細書で画素１９０とも称される）ならびに制御および処理回路１２２を含むピクセルアレイ２００を含んでもよい。アレイ２００は、例えば、何百もしくは何千もの行および列の画像センサピクセル１９０を含んでもよい。制御回路１２２は、行デコーダ回路１２４および列デコーダ回路１２６に結合されてもよい。行デコーダ回路１２４は、制御回路１２２から行アドレスを受信し、制御パス１２８を介してピクセル１９０へと、リセット、行選択、伝送、および読み出し制御信号などの対応する行制御信号を供給してもよい。列ライン４０などの一つ以上の導線は、アレイ２００におけるピクセル１９０の各列へと結合されてもよい。列ライン４０は、ピクセル１９０から画像信号を読み出すため、かつ、ピクセル１９０へとバイアス信号（例えば、バイアス電流もしくはバイアス電圧）を供給するために使用されてもよい。ピクセル読み出し動作の間、アレイ２００におけるピクセル行は、行デコーダ回路１２４を使用して選択され、当該ピクセル行における画素１９０に関連付けられた画像データは、列ライン４０に沿って読み出すことができる。

【0021】

列デコーダ回路１２６は、サンプルアンドホールド回路、増幅器回路、アナログデジタル変換回路、バイアス回路、列メモリ、列回路を選択的に有効化もしくは無効化するためのラッチ回路、または、ピクセル１９０を操作し、かつ、ピクセル１９０から画像信号を読み出すための、アレイ２００における一つ以上のピクセル列に結合された他の回路を含んでもよい。列デコーダ回路１２６は、列ライン４０の選択されたサブセット上の列回路へと、電力を選択的に提供するために使用されてもよい。列デコーダ回路１２６に関連付けられた信号処理回路などの読み出し回路（例えば、サンプルアンドホールド回路およびアナログデジタル変換回路）は、選択されたピクセル列におけるピクセル用に、パス２１０を介して、プロセッサ１８（図１）へとデジタル画像データを供給するために使用されてもよい。

【0022】

画素１９０などの画像センサピクセルは、従来、色フィルタアレイを提供され、色フィルタアレイによって、Ｂａｙｅｒモザイクパターンに配列された対応する赤、緑および青色画像センサピクセルを使用して、単一の画像センサが、赤、緑および青色（ＲＧＢ）の光をサンプリングすることが可能になる。Ｂａｙｅｒモザイクパターンは、青色画素の対角線の反対側の赤色画素に隣接し、かつ、お互いに対して対角線上の逆側に位置する二つの緑色画素を備える、２×２の画素のユニットセルの繰り返しで構成される。しかしながら、Ｂａｙｅｒモザイクパターンに関連する、ノイズ比（ＳＮＲ）に対する信号の制限によって、画像センサ１６などの画像センサのサイズを減少させることは困難になる。したがって、画像を捕捉する改良された手段を備えた画像センサを提供できることが望ましい。

【0023】

一実施例として本明細書で時に議論される、適切な一実施例においては、図３に示されるように、Ｂａｙｅｒパターンにおける緑色ピクセルが透明画素によって置換される。図３に示されるように、画素１９０のユニットセル１９２は、青色（Ｂ）画素の対角線の反対側にある赤色（Ｒ）画素に隣接し、かつ、お互いに対して対角線上の逆側にある二つの透明画素（本明細書では、ときには、白色（Ｗ）画素と称される）から形成されてもよい。ユニットセル１９２における白色画素１９０は、可視光スペクトルにわたった光を透過する（例えば、白色ピクセル１９０は白色光を捕捉することができる）視覚的に透明な色のフィルタで形成されてもよい。透明画素１９０は、透明色フィルタを形成する材料および／もしくは画像センサピクセルを形成する材料（例えば、シリコン）によって定義される自然感度を有してもよい。透明画素１９０の感度は、所望の場合には、さらに良好な色再生用および／もしくは色素などの吸光剤の使用を介したさらに良好なノイズ特性用に調製されてもよい。ユニットセル１９２は、赤、白および青色画素１９０のモザイクを形成するために、画素アレイ２００にわたって繰り返されてもよい。本方法においては、赤色画素は、赤色光に応じて赤色画像信号を生成し、青色画素は、青色光に応じて青色画像信号を生成し、白色画素は、白色光に応じて白色画像信号を生成してもよい。白色画像信号は、赤、青および／もしくは緑色光の任意の適切な組み合わせに応じて、白色画素によって生成されてもよい。

【0024】

図３のユニットセル１９２は、単に例示的なものにすぎない。所望の場合には、任意の色の画素が、ユニットセル１９２における白色画素の対角線上の反対側に隣接して形成されてもよい。例えば、ユニットセル１９４は、図４に示されるように、緑色（Ｇ）画素の対角線上の反対側にある赤色画素に隣接し、かつ、お互いに対角線上の反対側に形成された二つの白色画素１９０によって定義されてもよい。さらに別の適切な配置においては、ユニットセル１９６は、図５の実施例に示されるように、緑色画素の対角線上の反対側にある青色画素に隣接し、かつ、お互いに対角線上の反対側に形成された二つの白色画素１９０によって定義されてもよい。

【0025】

白色画素Ｗは、緑色画素などの、より狭い色フィルタ（例えば、可視光スペクトルのサブセットにわたる光を透過するフィルタ）を有する画素と比較してさらなる光を集めることによって、画素１９０によって捕捉される画像信号の信号対雑音比（ＳＮＲ）を増加させるのに役立つ可能性がある。白色画素Ｗは、ＳＮＲが時には画像品質を制限する可能性のある弱光条件において、ＳＮＲを特に改善する可能性がある。（例えば、図３−図５に示されたような）白色画素を有する画素アレイ２００から集められた画像信号は、多くの画像ディスプレイ（例えば、ディスプレイスクリーン、モニタなど）を駆動するために使用される回路およびソフトウェアと互換性を有するように、赤、緑および青色画像信号へと変換されてもよい。この変換は、概して、色補正マトリクス（ＣＣＭ）を使用する、捕捉された画像信号の改変を含む。注意が払われない場合には、色補正動作は、ノイズを不必要に増幅する可能性がある。

【0026】

適切な一配置においては、ＣＣＭによって生成されたノイズは、集められた画像信号に
対してＣＣＭを適用する前に、強いノイズ除去（例えば、クロマノイズ除去）を実施する
ことによって低減されてもよい。クロマノイズ除去は、画素１９０によって集められた画
像信号に対してクロマフィルタを適用することによって、処理回路１８（図１）によって
実施されてもよい。クロマフィルタは、異なる色の画素からの画像信号（例えば、赤、白および青色の画像信号）間のノイズ相関を増大させるのに役立つ可能性がある。異なる色
の画素からの画像信号間のノイズ相関を増大させることによって、ＣＣＭによるノイズ増
幅を低減させ、それによって、最終的な画像品質を改善することにつながる。別の配置に
おいては、ＣＣＭによって増幅されたノイズは、捕捉された画像信号に対して、いわゆる
“ポイントフィルタ”を適用することによって補償される可能性がある。ポイントフィル
タは、ＣＣＭを利用して生成された赤、緑および青色画像信号の品質を高めるために、高
適合度の白色画像信号を使用してもよい。所望の場合には、画像センサ１６は、最終的な
画像における改善された輝度特性をもたらすために、ＣＣＭによるノイズ増幅を低減させ
るため、クロマノイズ除去とポイントフィルタの双方を実施してもよい。

【0027】

図６は、ピクセルアレイ２００（例えば、緑色画素のないピクセルアレイ）などのフィルタ処理されたピクセルアレイによって集められた画像信号を処理するために、図１の処理回路１８などの処理回路によって実施されうる例示的なステップのフローチャートを示す。図６のステップは、例えば、図３−図５に示されるように、白色画素を有するユニットセルを使用して捕捉される画像信号におけるノイズを低減させるため、処理回路１８によって実施されてもよい。

【0028】

ステップ１００において、画像センサ１６は、その場から画像信号を捕捉してもよい。
画像センサ１６によって捕捉された画像信号は、白色ピクセルで集められた光に応じて生成される白色画像信号を含んでもよい。所望の場合には、画像信号は、使用される画素の構成に依存して（例えば、図３のユニットセル１９２が使用される場合には、画像信号は赤、白および青色画像信号を含み、図４のユニットセル１９４が使用される場合には、画像信号は赤、白および緑色画像信号を含むなど）、一つ以上の赤色画像信号、青色画像信号もしくは緑色画像信号を含んでもよい。図６の実施例においては、赤（Ｒ’）、白（Ｗ’）および青（Ｂ’）色画像信号が捕捉されてもよい。赤色画像信号は、第一のスペクトル応答値（赤色画像センサピクセルによって受信される光の周波数の関数として積分された信号電力レベル）を有し、青色画像信号は第二のスペクトル応答値を有し、白色画像信号（例えば、標準ＣＩＥ光源Ｅで可視光スペクトルにわたって等しいエネルギー放射体に対して広範な感度を有する白色画像信号）は、例えば、第一および第二のスペクトル応答値の和のうちの７５％より大きな第三のスペクトル応答値を有してもよい。画像信号は、各画素１９０によって捕捉された光に対応する画像値を有してもよい（例えば、赤色画像信号は、赤色画像値を含み、青色画像信号は青色画像値を含んでもよい、など）。捕捉された画像信号は、画像処理用に処理回路１８へと伝送されてもよい。

【0029】

ステップ１０２において、白色バランス作用が捕捉された画像信号上に実施されてもよい。図６の実施例においては、白色バランス赤色画像信号（Ｒ）、白色バランス白色画像信号（Ｗ）および白色バランス青色画像信号（Ｂ）が生成されてもよい。

【0030】

ステップ１０４において、処理回路１８は、白色バランス画像信号から、赤、白および青色画像データを抽出するために、白色バランス画像信号をデモザイクし、かつ、クロマフィルタを適用してもよい。クロマフィルタは、白色バランス画像信号をクロマノイズ除去するために適用されてもよい。処理回路１８は、例えば、同時に、連続的に、または間隔をあけて、画像信号をデモザイクし、クロマフィルタを適用してもよい。クロマフィルタを適用し、かつ、画像信号をデモザイクする本プロセスは、本明細書では、時には、“クロマデモザイク”と称されることもある。クロマフィルタは、各色の画像信号間のノイズ相関を増大させる可能性がある（例えば、赤、白および青色チャネルにおけるノイズ変動は、相関して、ともに増大したり、低減したりする可能性がある）。例えば、処理回路１８は、赤、白および緑色画像信号間の相関ノイズを、赤、白および緑色画像信号に関連付けられる全ノイズのうちの７０％以上に増大させる可能性がある。

【0031】

ノイズ相関を増大させることによって、処理回路１８は、ＣＣＭが画像信号に適用されたときに生成されるノイズ増幅量を減少させる可能性がある。画像信号のクロマデモザイクによって、不明な色の画像信号（例えば、画素によって生成されていない色の画像信号）を利用可能な色の画像信号から決定できることがある。本実施例においては、ユニットセル１９２（図３）において緑色フィルタが使用されていないため、緑色画像信号は、集められた画像信号からは不明である可能性がある。緑色画像信号は、白、赤および青色画像信号を使用して（例えば、減算演算を実施することによって）決定されてもよい。概して、任意の基本的な加法混色の色（例えば、赤、緑および青）は、利用可能な色の画像信号を使用して決定されてもよい。表示システムは、しばしば赤、緑および青色ピクセルを使用して画像を表示するため、画素アレイ２００上で使用される色フィルタに関係なく、赤、緑および青色画像信号を生成することが望ましい。

【0032】

ステップ１０６において、処理回路１８は、赤色画像データ、白色画像データおよび青色画像データに対して、色補正マトリクス（ＣＣＭ）を適用してもよい。ＣＣＭは、例えば、赤、緑および青色画像データを生成するために、白色画像データから緑色画像データを抽出してもよい。例えば、ＣＣＭは、画像データを、標準赤色、標準緑色および標準青色画像データ（時には、まとめて、線形ｓＲＧＢ画像データもしくは単にｓＲＧＢ画像データと称される）へと変換してもよい。別の適切な配置においては、ＣＣＭは、赤および／もしくは青色画像データから緑色画像データを抽出してもよい。所望の場合には、ガンマ補正処理が、線形ｓＲＧＢ画像データに実施されてもよい。ガンマ補正後に、ｓＲＧＢ画像データは、画像表示デバイスを使用して表示するために使用されてもよい。幾つかの場合においては、ＣＣＭを赤、白および青色画像データに対して適用することによって生成されるノイズ増幅をさらに軽減するために、（例えば、ｓＲＧＢ画像データにポイントフィルタを適用することによって）さらなるノイズ除去を提供することが望ましいこともある。処理回路１８は、任意のステップ１０８の間、ｓＲＧＢ画像データのさらなる処理用に、白色画像データを保存してもよい。

【0033】

任意のステップ１０８において、処理回路１８は、画像データに対して（例えば、赤、白および青色画像データに対してＣＣＭを適用した後に生成されるｓＲＧＢ画像データに対して）ポイントフィルタを適用してもよい。ポイントフィルタは、補正ｓＲＧＢデータを生成するために、ｓＲＧＢ画像データに作用してもよい。ポイントフィルタは、赤、白および青色画像データに対してＣＣＭを適用することによって引き起こされるノイズ増幅をさらに低減するために役立つ可能性がある。表示システムを使用して表示されるとき、補正ｓＲＧＢデータは、したがって、ポイントフィルタ適用前のｓＲＧＢデータと比較すると、より良好な画像品質（例えば、より良好な輝度特性）を提供する。

【0034】

図７は、画素アレイ２００から受信された画像信号をデモザイクし、かつフィルタ処理するために、処理回路１８によって実施される可能性がある例示的なステップのフローチャートを示す。図７のステップは、例えば、赤、白および青色画像データにおいて十分なノイズ相関を生成するために、画素１９０によって集められた赤、白および青色画像信号にクロマデモザイクを実施するために、処理回路１８によって実施されてもよい。図７のステップは、例えば、図６のステップ１０４の一部として実施されてもよい。

【0035】

ステップ１１０において、処理回路１８は、白色画像データ（例えば、各画素用の白色画像値）を生成するために、白色画像信号をデモザイクしてもよい。別の適切な配置においては、白色画像値は、利用可能な画素１９０の組み合わせ用に生成されてもよい。白色画像値は、赤、白および青色画像信号の間のノイズ相関を増大させるために、赤および青色画像信号を使用して差値を計算するために使用されてもよい。

【0036】

ステップ１１２において、処理回路１８は、各ピクセルに対して、赤色画像値から白色画像値を減算することによって赤色差値を生成してもよい。処理回路１８は、青色画像値から白色画像値を減算することによって青色差値を生成してもよい。赤色差値は、例えば、各赤色画素に対して計算され、青色差値は、画素アレイ２００の各青色画素に対して計算されてもよい。

【0037】

ステップ１１４において、処理回路１８は、クロマフィルタを使用して、赤色差値および青色差値をフィルタ処理してもよい。クロマフィルタは、例えば、画素１９０のカーネルにわたって計算された差値の重み付け平均（例えば、ステップ１１２の実施によって計算された差値の集合の重み付け平均）を実施することによって、赤および青色差値に対して適用されてもよい。画素のカーネルは、クロマフィルタ処理が実施される画素アレイ２００における画素のサブセットとして定義されてもよい（例えば、カーネルは、画素アレイ２００における幾つかもしくは全ての画素を含んでもよい）。例えば、５ピクセル×５ピクセルのカーネルが使用されるとき、クロマフィルタ処理を実施する際に、差値の重み付け平均は画素アレイ２００における画素１９０の５ピクセル×５ピクセルのサブセットに対して計算される（例えば、差値の重み付け和は、画素アレイ２００における周囲の２５個の画素における差値を使用して任意の画素１９０に対して計算されてもよい）。概して、任意の所望のサイズのカーネルが使用されてもよい。

【0038】

ステップ１１６において、クロマフィルタ処理された赤色画像値およびクロマフィルタ処理された青色画像値を其々生成するために、白色画像値が、クロマフィルタ処理された赤色差値およびクロマフィルタ処理された青色差値に対して加算されてもよい。

【0039】

ステップ１１８において、処理回路１８は、ノイズ相関が増大した赤色画像データおよび青色画像データ（例えば、クロマデモザイクされた赤および青色画像データ）を生成するために、クロマフィルタ処理された赤色画像値およびクロマフィルタ処理された青色画像値をデモザイクしてもよい。デモザイクされた白色画像データならびにクロマデモザイクされた赤色および青色画像データは、その後、図６のステップ１０６に関連して上述されたように、標準赤、標準緑および標準青色（ｓＲＧＢ）画像データを生成するために、ＣＣＭを使用して操作されてもよい。

【0040】

図７は単に例示的なものにすぎない。所望の場合には、処理回路１８は、赤および青色差値を生成する前に、クロマフィルタ処理された赤および青色画像値をデモザイクしてもよい（例えば、処理回路１８は、ステップ１１２の前にステップ１１８を実施してもよい）。

【0041】

差値のクロマフィルタ処理は、十分に大きなカーネルの画素１９０にわたって実施され
る場合には、赤および青色画像信号由来のごくわずかなノイズが、クロマフィルタ処理後
（例えば、ステップ１１４の実施後）に赤および青色差値に残存する可能性がある。例え
ば、カーネルが１５ピクセル×１５ピクセル以上のサイズを有する場合には、クロマフィ
ルタ処理は、クロマフィルタ処理された赤および青色差値におけるノイズを無視できるレ
ベルまで低減する可能性がある。所望の場合には、画素１９０のカーネルは、複数の画素
アレイ２００に位置する画素、複数の画像センサ１６に位置する画素、および／もしくは
、（例えば、一時的なノイズ除去を考慮するために）複数のタイムフレーム間に使用され
る画素を含んでもよい。白色画像値がクロマフィルタ処理された差値に加算されるとき、
白色画像値におけるノイズは、差値におけるノイズにおいて優位を占める可能性がある。
本方法においては、ステップ１１８で生成された赤および青色画像データにおけるノイズ
は、白色画像データにおけるノイズと実施的に等しい可能性がある。赤および青色画像デ
ータにおけるノイズは、したがって、高い相関を有し、結果としてＣＣＭによるノイズ増
幅を低減させる。本プロセスは、Ｂａｙｅｒパターンが画素アレイ２００に対して使用さ
れる場合よりも、ＣＣＭによるノイズ増幅をより小さくする可能性がある。

【0042】

ＣＣＭは、ステップ１０６（図６）において線形ｓＲＧＢデータを生成するために、赤、白および青色画像データに作用してもよい。例えば、ＣＣＭは、標準緑色データを生成するために、白色画像データから情報を抽出してもよい。白色画像データ（例えば、ステップ１０４において生成されたデモザイクされた白色画像データ）は、ＣＣＭが画像データに作用した後、保存されてもよい。ｓＲＧＢ画像データは、輝度−クロマ（彩度）−色相（ＬＣＨ）空間などの他の三次元空間で表されてもよい。ＬＣＨ空間においては、輝度チャネル（Ｌ）は、画像センサ１６によって捕捉された画像の明るさに関連し、クロマチャネル（Ｃ）は、画像の色飽和度に関連し、色相チャネルは、画像の特定の色（例えば、赤色、紫色、黄色、緑色など）に関連しうる。表示された画像のノイズおよび鮮明さの認知は、輝度チャネルにおけるノイズと信号の変化によって影響を受ける可能性がある。画像データにおけるＳＮＲは、ｓＲＧＢデータをＬＨＣデータへと変換し、（白色画像信号の広範なスペクトルによって、画像全体の明るさと良好な相関を有する）白色画像値で輝度チャネルにおける輝度値を置換し、ＬＨＣデータをｓＲＧＢデータへと戻すことによって改善される可能性がある。本方法においては、ＣＣＭによって引き起こされたノイズ増幅は、観察者が表示された画像を観察する際にノイズが特に顕著である、輝度チャネルにおいて抑制される可能性がある。

【0043】

図６の任意のステップ１０８に関連して上述されたように、ポイントフィルタは、白色画像データを使用して補正ｓＲＧＢデータを生成するために、線形ｓＲＧＢデータに対して適用されてもよい。ポイントフィルタは、隣接する画素１９０からの情報なしで単一の画素１９０に作用するが、クロマデモザイクは、単一の画素１９０における画像信号に適用されるときに、複数の画素（例えば、画素のカーネル）からの画像信号（例えば、差値）を必要とすることがある。例えば、ポイントフィルタは、各画素に対して、標準赤色値、標準緑色値および標準青色値に作用してもよい。ｓＲＧＢデータにポイントフィルタ作用を実施するために、処理回路１８は、元（生）の輝度信号を計算するために、赤色画像データ、白色画像データおよび青色画像データ（例えば、ＣＣＭ適用前の画像データ）を使用してもよい。元の輝度信号は、白色画像データ、赤色画像データおよび青色画像データの線形の組み合わせ（例えば、重み付け和）であってもよい。所望の場合には、白色画像データは、線形の組み合わせにおいて、赤および青色画像データよりもさらに重み付けされてもよい。処理回路１８は、（例えば、画像データに対してＣＣＭを適用後）標準赤、標準緑および標準青色画像データの線形の組み合わせである、包含された輝度信号を計算してもよい。所望の場合には、包含された輝度信号を計算するために使用された線形の組み合わせにおける重みは、元の輝度信号を計算するために使用された重みに実質的に類似していてもよい。重みは、ポイントフィルタの“強さ”（例えば、ポイントフィルタがｓＲＧＢデータを変形もしくは補正する程度）を改変するために調整されてもよい。
処理回路１８は、最も単純な場合においては、包含された輝度信号によって元の輝度信号を除算することによって、スケーリング値（例えば、色補正された画像値に対して適用されるスケーリング値）を生成してもよい。所望の場合には、スケーリングファクタは、分子および分母を含んでもよい。スケーリング値の分子および／もしくは分母は、元の輝度信号および包含された輝度信号の重み付け和を含んでもよい。スケーリング値は、ポイントフィルタの強さを調整するために変化することが可能な調整可能な重み付けパラメータを含んでもよい（例えば、重み付けパラメータは、ポイントフィルタの強さをゼロから最大の強さまで調整するために連続的に変化してもよい）。ｓＲＧＢデータ（例えば、標準赤、緑および青色画像データ）に対してポイントフィルタを適用するために、処理回路１８は、補正ｓＲＧＢデータを生成するためにスケーリング値でｓＲＧＢデータを乗算してもよい。例えば、処理回路１８は、スケーリング値で標準赤色画像データを乗算し、スケーリング値で標準緑色画像データを乗算するなどしてもよい。所望の場合には、補正ｓＲＧＢデータは、（例えば、補正ｓＲＧＢデータをＬＣＨ空間へと変換することで）ポイントフィルタ適用前にほぼ保存された色相およびクロマチャネルを有してもよい。補正ｓＲＧＢデータは、白色画像信号の継承された適合度によって、改善されたノイズおよび／もしくは鮮明さを有する可能性がある。

【0044】

最も単純な場合においては、元の輝度信号は、白色画像データによって見積もられてもよい。図８は、（一実施例として）赤、白および青色画像データに対してＣＣＭを適用後、ｓＲＧＢデータに対して（最も単純な場合には）ポイントフィルタを適用するために、処理回路１８によって実施される可能性のある例示的なステップのフローチャートを示す。処理回路１８は、例えば、画素アレイ２００における各画素１９０用にｓＲＧＢデータに対してポイントフィルタを適用してもよい。図８のステップは、例えば、図６のステップ１０８の一部として実施されてもよい。

【0045】

ステップ１３０において、処理回路１８は、（例えば、ＣＣＭ適用後）赤、緑および青色画像データを組み合わせることによって、任意の画素１９０用に包含された輝度値（例えば、ＬＣＨ空間における輝度値）を生成してもよい。包含された輝度値は、例えば、赤、緑および青色画像データの線形の組み合わせとして計算されてもよい。

【0046】

ステップ１３２において、処理回路１８は包含された輝度値で白色画像値を除算することによってスケーリング値を生成してもよい。所望の場合には、スケーリングファクタは、包含された輝度値と白色画像値との重み付け和で白色画像値を除算することによって生成されてもよい。スケーリングファクタは、ポイントフィルタの強さを調整するために変化することのできる調整可能な重み付けパラメータを含んでもよい（例えば、重み付けパラメータは、ゼロから最大の強さまでポイントフィルタの強さを調整するために連続的に変化してもよい）。スケーリング値は、例えば、ｓＲＧＢデータに作用する演算子であってもよい。

【0047】

ステップ１３４において、処理回路１８は、補正ｓＲＧＢデータ（例えば、補正標準赤、緑および青色画像データ）を生成するために、スケーリング値でｓＲＧＢデータを乗算してもよい。例えば、処理回路１８は、スケーリング値で標準赤色画像データを乗算し、スケーリング値で標準緑色画像データを乗算するなどしてもよい。補正ｓＲＧＢデータは、所望の場合には、画像ディスプレイに提供されてもよい。補正ｓＲＧＢデータは、ポイントフィルタの適用前のｓＲＧＢデータと比較されると、改善されたノイズおよび／もしくは鮮明さを有する可能性がある。

【0048】

図６−図８の実施例は単に例示的なものにすぎない。任意の所望の色フィルタが、色画像信号を得るために、図３−図５に示された白色フィルタと組み合わせて使用されてもよい。所望の色フィルタの任意の組み合わせ（例えば、赤色フィルタ、緑色フィルタ、シアンフィルタ、赤外フィルタ、紫外フィルタ、青色フィルタ、黄色フィルタ、マゼンタフィルタ、紫色フィルタなどの任意の組み合わせ）が使用されてもよい。所望の場合には、任意の他の適切な三次元空間が、ポイントフィルタ作用を実施するために使用されてもよい。

【0049】

所望の場合には、任意の数の画像センサ１６上に形成された、任意の数の画素アレイ２００が、画像を捕捉するために使用されてもよい。使用される各画素アレイは、例えば、異なる色の画像信号用に使用されてもよい。例えば、第一の画素アレイは、白色画像信号を生成するための透明フィルタを有し、第二の画素アレイは、赤色画像信号を生成するための赤色フィルタを有し、第三の画素アレイは、青色画像信号を生成するための青色フィルタを有してもよい。これらの各アレイからの画像信号は、クロマデモザイクされる、および／もしくはポイントフィルタを使用して操作されてもよい。各画素アレイは、所望の場合には、画像センサ１６などのデバイス１０における異なる画像センサ上に形成されてもよい（例えば、複数の画像センサ１６がデバイス１０に形成されてもよい）。このような一実施形態は、例えば、より短いカメラの焦点距離およびより薄いカメラモジュールを提供する可能性がある。

【0050】

図９は、イメージングデバイス２０００（例えば、透明色フィルタおよび上述された動作用の技術を使用する、図１−図８のイメージングセンサ１６などのイメージングデバイス２０００）を含むデジタルカメラなどの典型的なプロセッサシステム３００を簡略化された形式で示す。プロセッサシステム３００は、イメージングデバイス２０００を含む可能性のあるデジタル回路を有する例示的なシステムである。限定することなく、このようなシステムは、コンピュータシステム、スチールもしくはビデオカメラシステム、スキャナ、マシンビジョン、自動車ナビゲーション、ビデオ電話、監視システム、オートフォーカスシステム、スタートラッカシステム、動作検出システム、手ぶれ補正システム、およびイメージングデバイスを使用する他のシステムを含む可能性がある。

【0051】

プロセッサシステム３００は、概して、シャッターボタン３９７が押されたとき、デバイス２０００のピクセルアレイ２００上に画像の焦点を合わせるためのレンズ３９６と、中央処理装置（ＣＰＵ）３９５とを含み、中央処理装置３９５は、マイクロプロセッサのように、カメラおよび一つ以上の画像フロー機能を制御し、バス３９３を介して一つ以上の入力／出力（Ｉ／Ｏ）デバイス３９１と通信する。イメージングデバイス２０００もまた、バス３９３を介してＣＰＵ３９５と通信する。システム３００は、ランダムアクセスメモリ（ＲＡＭ）３９２も含み、バス３９３を介してＣＰＵ３９５と通信するフラッシュメモリなどのリムーバブルメモリ３９４も含むことができる。イメージングデバイス２０００は、単一の集積回路上もしくは異なるチップ上にメモリ記憶装置とともに、もしくはメモリ記憶装置なしで、ＣＰＵと組み合わせられてもよい。バス３９３は単一バスとして図示されているが、システムコンポーネントを相互接続するために使用される一つ以上のバスもしくはブリッジもしくは他の通信パスであってもよい。

【0052】

一実施形態に従い、イメージングシステムは、画像センサピクセルのアレイを有するイメージセンサを含むように提供され、画像センサピクセルのアレイは、赤色光に応じて赤色画像信号を生成するように構成された赤色画像センサピクセルと、青色光に応じて青色画像信号を生成するように構成された青色画像センサピクセルと、少なくとも赤色光、緑色光および青色光に応じて白色画像信号を生成するように構成された透明画像センサピクセルと、赤色画像信号、青色画像信号および白色画像信号に対して、赤色画像信号、青色画像信号および白色画像信号に関連付けられたノイズ相関を増加させるフィルタ処理動作を実施するように構成された処理回路と、を含む。
別の実施形態に従い、処理回路は、赤色画像信号、青色画像信号および白色画像信号に関連付けられるノイズ相関を、赤色画像信号、青色画像信号および白色画像信号に関連付けられる全ノイズのうちの７０％よりも大きく増大させるように構成される。

【0053】

別の実施形態に従い、処理回路は、少なくとも２５個の画像センサピクセルによって生成された画像信号の重み付け和を生成することによって、任意の色の各画像センサピクセル用にフィルタ処理作用を実施するように構成される。

【0054】

別の実施形態に従い、処理回路は、赤色画像信号、青色画像信号および白色画像信号にバランス作用を実施するように構成される。

【0055】

別の実施形態に従い、処理回路は、色補正マトリクスを白色画像信号に対して適用するように構成され、色補正マトリクスは、各白色画像信号から緑色画像信号を抽出する。

【0056】

別の実施形態に従い、画像センサは、画像センサピクセルのさらなるアレイをさらに含む。

【0057】

別の実施形態に従い、イメージングシステムは、画像センサピクセルのアレイを少なくとも一つ有するさらなる画像センサをさらに含む。

【0058】

一実施形態に従い、第一の色の第一の画像信号、第一の色とは異なる第二の色の第二の画像信号、および白色画像信号を含む画像データを、処理回路を有する画像センサを使用して処理する方法は、処理回路によって、白色画像信号を使用して、第一および第二の色とは異なる第三の色の第三の画像信号を生成するステップと、処理回路によって、派生輝度値を形成するために第一の画像信号、第二の画像信号および第三の画像信号を組み合わせるステップと、処理回路によって、第一の画像信号、第二の画像信号および白色画像信号に基づいて推定輝度値を計算するステップと、処理回路によって、派生輝度値および推定輝度値を使用して、第一の画像信号、第二の画像信号および第三の画像信号を改変するステップと、を含むように提供される。

【0059】

別の実施形態に従い、方法は、処理回路によって、派生輝度値および推定輝度値に基づいてスケーリング値を計算するステップをさらに含み、第一の画像信号、第二の画像信号および第三の画像信号を改変するステップは、生成されたスケーリング値で、第一の画像信号、第二の画像信号および第三の画像信号を乗算するステップを含む。

【0060】

別の実施形態に従い、派生輝度値を形成するために、第一の画像信号、第二の画像信号および第三の画像信号を組み合わせるステップは、重み付けファクタを使用して、第一の画像信号、第二の画像信号および第三の画像信号の線形の組み合わせを計算するステップを含む。

【0061】

別の実施形態に従い、派生輝度値を形成するために第一の画像信号、第二の画像信号および第三の画像信号を組み合わせるステップは、派生輝度値を形成するために、第一の画像信号、第二の画像信号および第三の画像信号と白色画像信号を組み合わせるステップをさらに含む。
別の実施形態に従い、白色画像信号を使用して、第三の色の第三の画像信号を生成するステップは、色補正マトリクスを使用して、白色画像信号から第三の画像信号を抽出するステップを含む。

【0062】

別の実施形態に従い、第一の画像信号は赤色画像信号を含み、第二の画像信号は青色画像信号を含み、第三の画像信号は緑色画像信号を含む。

【0063】

別の実施形態に従い、第一の画像信号は赤色画像信号を含み、第二の画像信号は緑色画像信号を含み、第三の画像信号は青色画像信号を含む。

【0064】

別の実施形態に従い、第一の画像信号は青色画像信号を含み、第二の画像信号は緑色画像信号を含み、第三の画像信号は赤色画像信号を含む。

【0065】

一実施形態に従い、システムは、中央処理装置、メモリ、入力−出力回路、イメージングデバイスを含むように提供され、イメージングデバイスは、ピクセルアレイ、ピクセルアレイ上の画像に焦点を合わせるレンズ、画素のアレイを有する画像センサを含み、画素のアレイは、赤色光に応じて赤色画像信号を生成するように構成された赤色画素と、青色光に応じて青色画像信号を生成するように構成された青色画素と、少なくとも赤色光、緑色光および青色光に応じて白色画像信号を生成するように構成された透明画素と、少なくとも赤色画像信号、青色画像信号および緑色画像信号の線形の組み合わせに対する白色画像信号の比であるスケーリング値を生成し、かつ、生成されたスケーリング値を使用して、赤色画像信号、青色画像信号および緑色画像信号を改変するように構成された処理回路と、を含む。

【0066】

別の実施形態に従い、画素のアレイは、一つの赤色画素、一つの青色画素、および二つの透明画素を各々含む、多数のピクセルユニットセルを含む。

【0067】

別の実施形態に従い、処理回路は、赤色画像信号、青色画像信号および白色画像信号に関連付けられるノイズ相関を増大させるために、赤色画像信号、青色画像信号および白色画像信号にフィルタ処理作用を実施すようにさらに構成される。

【0068】

別の実施形態に従い、処理回路は、白色画像信号と赤色画像信号との間、および白色画像信号と青色画像信号との間に差値を生成するようにさらに構成される。

【0069】

別の実施形態に従い、処理回路は、生成された差値を使用して、赤色画像信号、青色画像信号および白色画像信号にフィルタ処理作用を実施するようにさらに構成される。

【0070】

一実施形態に従い、画像センサを使用して画像信号を処理する方法は、画像センサが画像センサピクセルのアレイと処理回路とを含み、画像センサピクセルが赤色画像センサピクセル、青色画像センサピクセルおよび透明画像センサピクセルを含むように提供され、方法は、赤色画像センサピクセルによって、赤色光に応じて赤色画像信号を生成するステップと、青色画像センサピクセルによって、青色光に応じて青色画像信号を生成するステップと、透明画像センサピクセルによって、少なくとも赤色光、緑色光および青色光に応じて白色画像信号を生成するステップと、処理回路によって、赤色画像信号、青色画像信号および白色画像信号に関連付けられたノイズ相関を増大させるために、赤色画像信号、青色画像信号および白色画像信号にフィルタ処理作用を実施するステップと、を含む。

【0071】

別の実施形態に従い、フィルタ処理作用を実施するステップは、赤色画像信号、青色画像信号および白色画像信号に関連付けられたノイズ相関を、赤色画像信号、青色画像信号および白色画像信号に関連付けられた全ノイズのうちの７０％よりも大きく増大させるステップを含む。

【0072】

別の実施形態に従い、フィルタ処理作用を実施するステップは、任意の色の各画像センサピクセル用に少なくとも２５個の画像センサピクセルによって生成された画像信号の重み付け和を生成するステップを含む。

【0073】

一実施形態に従い、画像センサを使用して画像信号を処理する方法は、画像センサが画像センサピクセルのアレイと処理回路とを有し、画像センサピクセルのアレイが第一の色の光に反応する画像センサピクセルの第一のグループと、第二の色の光に反応する画像センサピクセルの第二のグループと、第三の色の光に反応する画像センサピクセルの第三のグループとを含むように提供され、方法は、画像センサピクセルの第一のグループによって、第一の色の光に応じて第一の画像信号を生成するステップと、画像センサピクセルの第二のグループによって、第二の光に応じて第二の画像信号を生成するステップと、画像センサピクセルの第三のグループによって、少なくとも第一および第二の色の光に応じて第三の画像信号を生成するステップと、処理回路によって、第一の画像信号、第二の画像信号および第三の画像信号に関連付けられたノイズ相関を増大させる、第一の画像信号、第二の画像信号および第三の画像信号におけるフィルタ処理作用を実施するステップとを含む。

【0074】

別の実施形態に従い、第一の画像信号は第一のスペクトル応答レベルを有し、第二の画像信号は、第二のスペクトル応答レベルを有し、少なくとも第一および第二の色の光に応じて第三の画像信号を生成するステップは、第一および第二の信号応答レベルの和の７５％よりも大きい第三のスペクトル応答レベルを有する第三の画像信号を生成するステップを含む。

【0075】

別の実施形態に従い、第一の画像信号を生成するステップは、赤色光に応じて赤色画像信号を生成するステップを含み、第二の画像信号を生成するステップは、青色光に応じて青色画像信号を生成するステップを含み、第三の画像信号を生成するステップは、少なくとも赤色および青色光に応じて白色画像信号を生成するステップを含む。

【0076】

別の実施形態に従い、赤色画像信号は第一のスペクトル応答レベルを有し、青色画像信号は第二のスペクトル応答レベルを有し、白色画像信号を生成するステップは、第一および第二のスペクトル応答レベルの和の７５％よりも大きい第三のスペクトル応答レベルを有する白色画像信号を生成するステップを含む。

【0077】

別の実施形態に従い、第一の画像信号、第二の画像信号および白色画像信号にフィルタ処理作用を実施するステップは、第一の画像信号、第二の画像信号、および第三の画像信号に無限インパルス応答フィルタを実施するステップを含む。

【0078】

一実施形態に従い、画像センサを使用して画像信号を処理する方法が提供され、画像センサは、処理回路と、第一の色の光に応じて第一の画像信号を生成する画像センサピクセルの第一のグループと、第二の色の光に応じて第二の画像信号を生成する画像センサピクセルの第二のグループと、第三の色の光に応じて第三の画像信号を生成する画像センサピクセルの第三のグループとを含み、第一の画像信号は第一のスペクトル応答を有し、第二の画像信号は第二のスペクトル応答を有し、第三の画像信号は、第一および第二のスペクトル応答よりも大きい第三のスペクトル応答を有し、方法は、処理回路によって、第一の画像信号、第二の画像信号および第三の画像信号を使用して、推定輝度値を生成するステップと、処理回路によって、第一、第二および第三の画像信号を派生三原色空間へと変換することによって、変換された第一の画像信号、変換された第二の画像信号および変換された第三の画像信号を生成するステップと、処理回路によって、変換された第一、第二および第三の画像信号を組み合わせることによって派生輝度値を生成するステップと、処理回路によって、派生輝度値が推定輝度値に近づくように、変換された第一、第二および第三の画像信号を改変するステップと、を含む。

【0079】

別の実施形態に従い、第一、第二および第三の画像信号を派生三原色空間へと変換するステップは、第一、第二および第三の画像信号を標準赤−緑−青色空間へと変換するステップを含む。

【0080】

別の実施形態に従い、変換された第一、第二および第三の画像信号を生成するステップは、第一、第二および第三の画像信号の線形の組み合わせを生成するステップを含む。

【0081】

別の実施形態に従い、第一の画像信号は、赤色光に応じて画像センサピクセルの第一のグループによって捕捉された赤色画像信号を含み、第二の画像信号は、青色光に応じて画像センサピクセルの第二のグループによって捕捉された青色画像信号を含み、第三の画像信号は、少なくとも青色光および赤色光に応じて画像センサピクセルの第三のグループによって捕捉された白色画像信号を含み、第一、第二および第三の画像信号の線形の組み合わせを生成するステップは、赤、青および白色画像信号を使用して、線形の組み合わせを生成するステップを含む。

【0082】

一実施形態に従い、イメージングシステムは、画像センサピクセルのアレイを有する画像センサを含むように提供され、画像センサピクセルのアレイは、第一の色の光に応じて第一の画像信号を生成するように構成された画像センサピクセルの第一のグループと、第二の色の光に応じて第二の画像信号を生成するように構成された画像センサピクセルの第二のグループと、少なくとも第一および第二の色の光に応じて第三の画像信号を生成するように構成された画像センサピクセルの第三のグループと、第一の画像信号、第二の画像信号および第三の画像信号に関連付けられたノイズ相関を増大させるフィルタ処理作用を、第一の画像信号、第二の画像信号および第三の画像信号に実施するように構成された処理回路と、を含む。

【0083】

別の実施形態に従い、第一の画像信号は第一のスペクトル応答レベルを有し、第二の画像信号は第二のスペクトル応答レベルを有し、第三の画像信号は、第一および第二のスペクトル応答レベルの和の７５％よりも大きい第三のスペクトル応答レベルを有する。

【0084】

別の実施形態に従い、画像センサピクセルの第一のグループは、赤色光に応じて赤色画像信号を生成するように構成された赤色画像センサピクセルを含み、画像センサピクセルの第二のグループは、青色光に応じて青色画像信号を生成するように構成された青色画像センサピクセルを含み、画像センサピクセルの第三のグループは、少なくとも赤色光および青色光に応じて白色画像信号を生成するように構成された透明画像センサピクセルを含む。

【0085】

別の実施形態に従い、画像センサピクセルの第一のグループは、赤色光に応じて赤色画像信号を生成するように構成された赤色画像センサピクセルを含み、画像センサピクセルの第二のグループは、緑色光に応じて緑色画像信号を生成するように構成された緑色画像センサピクセルを含み、画像センサピクセルの第三のグループは、少なくとも赤色光および緑色光に応じて白色画像信号を生成するように構成された透明画像センサピクセルを含む。

【0086】

前述された事柄は、他の実施形態でも実施することが可能な、本発明の原則を単に例示するものである。
ことを特徴とする請求項３３に記載のイメージングシステム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】