特許 6842691 カラー画像撮像素子、カラー画像撮像装置及びカラー画像撮像方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6842691

(24)【登録日】2021年2月25日

(45)【発行日】2021年3月17日

(54)【発明の名称】カラー画像撮像素子、カラー画像撮像装置及びカラー画像撮像方法

(51)【国際特許分類】

   H04N 9/07 20060101AFI20210308BHJP

【ＦＩ】

   H04N9/07 A

【請求項の数】9

【全頁数】16

(21)【出願番号】特願2017-8086(P2017-8086)

(22)【出願日】2017年1月20日

(65)【公開番号】特開2018-117301(P2018-117301A)

(43)【公開日】2018年7月26日

【審査請求日】2019年11月12日

(73)【特許権者】

【識別番号】397038037

【氏名又は名称】学校法人成蹊学園

(74)【代理人】

【識別番号】110000420

【氏名又は名称】特許業務法人エム・アイ・ピー

(72)【発明者】

【氏名】杉山 賢二

【審査官】 大室 秀明

(56)【参考文献】

【文献】 特開昭６２−２７７８７９（ＪＰ，Ａ）

【文献】 特開昭６０−２５４８９２（ＪＰ，Ａ）

【文献】 特開平０３−０７８３８８（ＪＰ，Ａ）

【文献】 特開２０１１−１４６８９３（ＪＰ，Ａ）

【文献】 特開２００５−３５４５８５（ＪＰ，Ａ）

【文献】 特開２００５−１８４７８６（ＪＰ，Ａ）

【文献】 特表２０１３−５２６１７０（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００７／０１５９５４１（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−５／２５７

Ｈ０４Ｎ ９／０４−９／１１

(57)【特許請求の範囲】

【請求項1】

単一のイメージセンサの各受光セルの上に可視光全域の光を透過させる色フィルタを配置してなる単板式のカラー画像撮像素子であって、
前記色フィルタは、
前記光に含まれる３つの原色成分のうち第１の原色成分を、その余の原色成分より多く透過させる第１の淡色フィルタと、
前記光に含まれる３つの原色成分のうち第２の原色成分を、その余の原色成分より多く透過させる第２の淡色フィルタと、
前記光に含まれる３つの原色成分のうち第３の原色成分を、その余の原色成分より多く透過させる第３の淡色フィルタと、
を含むカラー画像撮像素子。

【請求項2】

単一のイメージセンサの各受光セルの上に可視光全域の光を透過させる色フィルタを配置してなる単板式のカラー画像撮像素子であって、
前記色フィルタは、
前記光に含まれる３つの原色成分のうち第１の原色成分を、その余の原色成分より少なく透過させる第１の淡色フィルタと、
前記光に含まれる３つの原色成分のうち第２の原色成分を、その余の原色成分より少なく透過させる第２の淡色フィルタと、
前記光に含まれる３つの原色成分のうち第３の原色成分を、その余の原色成分より少なく透過させる第３の淡色フィルタと、
を含み、
前記第１の淡色フィルタを含むセルと、前記第２の淡色フィルタを含むセルと、前記第３の淡色フィルタを含むセルは、前記各セルの一部に白色フィルタを含むカラー画像撮像素子。

【請求項3】

請求項１または２に記載のカラー画像撮像素子を備える単板式のカラー画像撮像装置であって、
前記第１の淡色フィルタに対応する第１の淡色画像と前記第２の淡色フィルタに対応する第２の淡色画像と前記第３の淡色フィルタに対応する第３の淡色画像を取得する手段と、
３種類の前記淡色画像をマトリックス演算により白色成分と白色との色差成分に変換する手段と、
前記白色成分と前記色差成分をマトリックス演算により３種類の原色画像に変換する手段と、
を含むカラー画像撮像装置。

【請求項4】

前記白色成分の鮮鋭化処理を実行する手段と、
前記白色成分のエッジに合わせて前記色差成分の急峻化処理と平坦化処理を実行する手段とを含む、
請求項３に記載のカラー画像撮像装置。

【請求項5】

請求項１または２に記載のカラー画像撮像素子を備える単板式のカラー画像撮像装置であって、
前記カラー画像撮像素子の全セルに対応するＲＡＷ画像からローパスフィルタを使用して低周波数帯域に存在する白色成分を分離する手段と、
前記白色成分と前記ＲＡＷ画像の残差から色差成分を取得する手段と、
前記白色成分と前記色差成分をマトリックス演算により３種類の原色画像に変換する手段と、
を含むカラー画像撮像装置。

【請求項6】

前記分離する手段は、
前記白色成分に対する前記色差成分の相対量に応じて前記ローパスフィルタのカットオフ周波数を適応的に制御することを特徴とする、
請求項５に記載のカラー画像撮像装置。

【請求項7】

前記色差成分の小振幅成分をカットするノイズ軽減手段を含み、該ノイズ軽減手段は、前記イメージセンサにおける光電変換された画像信号のゲインの大きさに応じてカットする小振幅の値を適応的に制御することを特徴とする、
請求項５または６に記載のカラー画像撮像装置。

【請求項8】

請求項１または２に記載のカラー画像撮像素子を使用してカラー画像を撮像する方法であって、
前記第１の淡色フィルタに対応する第１の淡色画像と前記第２の淡色フィルタに対応する第２の淡色画像と前記第３の淡色フィルタに対応する第３の淡色画像を取得するステップと、
３種類の前記淡色画像をマトリックス演算により白色成分と白色との色差成分に変換するステップと、
前記白色成分と前記色差成分をマトリックス演算により３種類の原色画像に変換するステップと、
を含むカラー画像撮像方法。

【請求項9】

請求項１または２に記載のカラー画像撮像素子を使用してカラー画像を撮像する方法であって、
前記カラー画像撮像素子の全セルに対応するＲＡＷ画像からローパスフィルタを使用して低周波数帯域に存在する白色成分を分離するステップと、
前記白色成分と前記ＲＡＷ画像の残差から色差成分を取得するステップと、
前記白色成分と前記色差成分をマトリックス演算により３種類の原色画像に変換するステップと、
を含むカラー画像撮像方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、単一のイメージセンサを用いてカラー画像を効率的かつ高画質に撮像するための撮像とそれにより撮像された画像の補間方法に関し、特に特徴的なカラーフィルタ配列とそれに対応した補間処理により、高品質で情報圧縮に適したカラー画像信号を得るための撮像及び信号処理に関する。

【背景技術】

【0002】

＜カラー画像システム＞
動画像に限らずカラー画像信号は、Ｒ(Red, 赤),Ｇ(Green, 緑),Ｂ(Blue, 青)の３原色により形成され、撮像や表示はこの形態で行われている。一方、伝送や記録のための形態は、輝度とふたつの色差により形成されるコンポーネントカラー信号が使われる。これらは３原色から所定の変換により得られ、さらに色差がサブサンプリングされる場合が多い。具体的には、サブサンプリングされない４：４：４、水平方向に２分の１にサブサンプリングされた４：２：２、水平と垂直の両方で２分の１にサブンサンプリングされた４：２：０がある。各動画像カラーフォーマットは、規格で詳細に定義されており、テレビ放送などで広く使われている。

【0003】

＜カラー撮像＞
カラー画像撮像では、Ｒ,Ｇ,Ｂそれぞれのイメージセンサを持つ３板方式と、一枚のイメージセンサでセル(画素)ごとにＲ,Ｇ,Ｂを振り分ける単板方式がある。３板方式は、近年特殊な存在になりつつあり、スチルカメラでは存在せず、動画像でも3860×2160画素の４Ｋ画像カメラでは、ほぼすべてが単板方式になっている。

【0004】

単板の場合、Ｒ,Ｇ,Ｂの各色フィルタを受光セル(画素)に配置するが、３種類のフィルタがなるべく同等で均一になるようにする。しかし、２次元的に３等分することは容易で無いので、図１（ａ）に示されるようなBayer配列と呼ばれるものが一般的で、Ｇに半分を、ＲとＢにそれぞれ４分の１を割り振る。Ｇの割合を他より多くするのは、Ｇの輝度成分に占める割合が最も高く、輝度信号の解像度を落とさないようにするためである。

【0005】

これと異なるものとしては、補色を用いたものがある。Ｒ,Ｇ,Ｂの代わりにシアン(Ｒの補色)Ｃ＝Ｇ＋Ｂ，マゼンタ(Ｇの補色)Ｍ＝Ｒ＋Ｂ，黄色(Ｂの補色)Ｙ＝Ｒ＋Ｇを用いる。補色の色成分としては、Ｒ成分は(Ｙ＋Ｍ−Ｃ)／２，白色成分は(Ｙ＋Ｃ＋Ｍ)／２なので、１／２倍されるので、撮像で生じた暗電流ノイズが軽減される。CCDセンサーにおいて、主にビデオカメラ用に使われていたが、補色フィルタの分光特性は、必ずしも理想的なものではないので色再現性が悪い。図１（ｂ）は、１色をＧのままとしたもので、色再現性を改善したものであるが、４色になるので、解像度的には必ずしも有利でなくなる。

【0006】

また、Ｒ,Ｇ,Ｂに加えて白色(Ｗ)を用いたものも提案されている。その配置を図１（ｃ）に示すが、ＲとＢはBayer配列と同じで、Ｇの半分がＷに換えられている。Ｗフィルタは赤外及び紫外のみを除去した可視光をすべて透過するフィルタで、光エネルギーを有効に使えるので、補色フィルタと同様にノイズが軽減される。色再現性も良いので、近年注目されている。

【0007】

＜色プレーン補間処理(デモザイキング)＞
単板式カラー撮像装置では、イメージセンサから得られる画像(RAW画像)の各色は、セル(画素)が間引かれた状態になっているので、欠損画素を補間して全画素が揃った色プレーンを得る必要がある（例えば、特許文献１）。この欠損色補完処理は、デモザイキングと呼ばれている。基本的な処理としては、各色プレーンにおいて、その間引き構造に対応した２次元補間フィルタにより行う。Bayer配列の場合、ＧとＲ(Ｂ)で間引き構造が異なるので、補間フィルタは別のものとなる。この場合に、得られる解像度は間引き構造に応じたもので、２次元的にＧで半分、Ｒ,Ｂでは４分の１となってしまう。

【0008】

改良された手法では、画像の局所形状に応じて適応的に補間を切り替えるものがある。適応処理がうまく機能すると解像度は改善するが、誤補間となる可能性がある。また、Ｒ,Ｇ,Ｂ各色間の相関を利用した方法もあり、色間の相関が高い、即ち彩度が低い画像において有効であるが、高彩度部分で誤補間となる危険性がある。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】特開２００３−１７９９４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0010】

カラー画像撮像方法は、３原色のＲ(赤),Ｇ(緑),Ｂ(青)のカラーフィルタを用いる。単板式カラー画像撮像装置のイメージセンサでは、これらをセル(画素)ごとに配置する。この場合、各色の画素数は最も多いＧでも全体の半分なので、その空間解像度は、単色(モノクロ)や３板センサより大幅に劣る。デモザイキングにより各色プレーンを得るが、それから変換される輝度信号は周波数特性が悪く、デモザイキングに起因するムラがある。この様に輝度成分に劣化があると、情報圧縮の際の動き補償画像間予測において予測残差を生じやすく、発生情報量が不必要に多くなる。

【0011】

本発明は、上記従来技術における課題に鑑みてなされたものであり、高品質で情報圧縮に適したカラー画像信号を得るための構成を提供することを目的とする。

【課題を解決するための手段】

【0012】

本発明者は、高品質で情報圧縮に適したカラー画像信号を得るための構成につき鋭意検討した結果、以下の構成に想到し、本発明に至ったのである。

【0013】

すなわち、本発明によれば、単一のイメージセンサの各受光セルの上に可視光全域の光を透過させる色フィルタを配置してなる単板式のカラー画像撮像素子であって、前記色フィルタは、第１の原色成分をより多く透過させる第１の淡色フィルタと、第２の原色成分をより多く透過させる第２の淡色フィルタと、第３の原色成分をより多く透過させる第３の淡色フィルタと、を含むカラー画像撮像素子が提供される。

【0014】

また、本発明によれば、単一のイメージセンサの各受光セルの上に可視光全域の光を透過させる色フィルタを配置してなる単板式のカラー画像撮像素子であって、前記色フィルタは、第１の原色成分をより少なく透過させる第１の淡色フィルタと、第２の原色成分をより少なく透過させる第２の淡色フィルタと、第３の原色成分をより少なく透過させる第３の淡色フィルタと、を含むカラー画像撮像素子が提供される。

【0015】

また、本発明によれば、前記カラー画像撮像素子を備える単板式のカラー画像撮像装置であって、前記第１の淡色フィルタに対応する第１の淡色画像と前記第２の淡色フィルタに対応する第２の淡色画像と前記第３の淡色フィルタに対応する第３の淡色画像を取得する手段と、３種類の前記淡色画像をマトリックス演算により白色成分と色差成分に変換する手段と、前記白色成分と前記色差成分をマトリックス演算により３種類の原色画像に変換する手段と、を含むカラー画像撮像装置が提供される。

【0016】

さらに、本発明によれば、前記カラー画像撮像素子を備える単板式のカラー画像撮像装置であって、前記カラー画像撮像素子の全セルに対応するＲＡＷ画像からローパスフィルタを使用して低周波数帯域に存在する白色成分を分離する手段と、前記白色成分と前記ＲＡＷ画像の残差から色差成分を取得する手段と、前記白色成分と前記色差成分をマトリックス演算により３種類の原色画像に変換する手段と、を含むカラー画像撮像装置が提供される。

【発明の効果】

【0017】

上述したように、本発明によれば、高品質で情報圧縮に適したカラー画像信号を得るための構成が提供される。

【図面の簡単な説明】

【0018】

【図1】図１は従来例の単板式カラー撮像装置のカラーフィルタ配置を示す図である。

【図2】図２は第１の実施形態の淡色カラーフィルタ配置を示す図である。

【図3】図３は第１の実施形態の単板カラー撮像装置の機能ブロックを示す図である。

【図4】図４は第１の実施形態における部分型フィルタ構造を示す図である。

【図5】図５は第２の実施形態の淡色カラーフィルタ配置を示す図である。

【図6】図６は第３の実施形態の単板式カラー撮像装置の機能ブロックを示す図である。

【図7】図７はRAW画像空間周波数スペクトルの様子を示す図である。

【図8】図８はスペクトル検出帯域と分離フィルタ特性を示す図である。

【発明を実施するための形態】

【0019】

以下、本発明を図面に示した実施の形態をもって説明するが、本発明は、図面に示した実施の形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜、その説明を省略するものとする。

【0020】

＜第１の実施形態＞
本発明の第１の実施形態の単板式カラー画像撮像装置について説明する。図２に本実施形態の単板式カラー画像撮像装置が備える色フィルタとその配置を示す。なお、本実施形態の特徴は色フィルタであり、撮像センサにおける他の機能(光学系、色フィルタ以外のセル構造、データ転送方法など)は、通常の単板式カラー画像撮像装置と共通である。

【0021】

本実施形態の単板式カラー画像撮像装置では、Ｒ,Ｇ,Ｂカラーフィルタの代わりに、可視光全域の光をある程度透過させる淡色のカラーフィルタを用いる。具体的な色は、Ｒ,Ｇ,Ｂに白色成分が加算され、淡色となったＰ(Pink),Ｌ(Light Green),Ｓ(Sky Blue)となる。淡色カラーフィルタＰは、第１の原色成分（Ｒ成分）をその余の原色成分（Ｇ成分，Ｂ成分）よりも多く透過させ、淡色カラーフィルタＬは、第２の原色成分（Ｇ成分）をその余の原色成分（Ｒ成分，Ｂ成分）よりも多く透過させ、淡色カラーフィルタＳは、第３の原色成分（Ｂ成分）をその余の原色成分（Ｒ成分，Ｇ成分）よりも多く透過させる。Ｒ,Ｇ,ＢからＰ,Ｌ,Ｓへの変換マトリックスは、淡色カラーフィルタにおけるＲ,Ｇ,Ｂ各成分の光の透過程度であるが、淡色カラーフィルタにおいて、最も多く透過させる原色以外の二つの原色成分の透過率をwとして、次の変換行列式で表わされる。

【0022】

【数1】

【0023】

ここで、他色をすべての透過させる色の半分、すなわちw=0.5とすると、次式のようになる。

【0024】

【数2】

【0025】

従来のＲ,Ｇ,Ｂのまま(w=0)と比較すると、使われるＲ,Ｇ,Ｂ成分は２倍になる。本実施形態の特徴をより強くする場合は、Ｗ成分を多くし、例えばw=0.75とする。逆に、Ｗ成分を少なくし、例えばw=0.25とすると、従来のＲ,Ｇ,Ｂのままに近づく。

【0026】

＜色フィルタ配置＞
図２に本実施形態の色フィルタ配置を示す。図２（ａ）に示すPLSL配置は、ベイヤー配置のＲ,Ｇ,Ｂを、そのまま白色成分を加え、Ｐ,Ｌ,Ｓとしたもので、Ｌが1/2で,ＰとＳがそれぞれ1/4存在する。wの値が小さく、比較的従来型に近い処理の場合は、この配置が妥当である。

【0027】

図２（ｂ）に示すPLPS配置は、ＰとＬを入れ替えたもので、Ｐが1/2で、Ｌが1/4となる。Ｒ,Ｇ,Ｂでは、輝度に多く含まれるＧの割合を増やし、輝度の解像度を維持していたが、Ｐ,Ｌ,Ｓでは、白色が全画素にあるので、Ｇを多くする必要性が薄れるためである。

【0028】

図２（ｃ）に示すPLSW配置は、PLSLに対して片方のＬを白色Ｗにしたもので、図１（ｃ）に示した従来のRGBWでＷはそのままで、Ｒ,Ｇ,ＢをＰ,Ｌ,Ｓにしたものとも言える。白色Ｗは、Ｌでw=1.0としたとも見れる。前述のようにＬを多くする必要性が薄れているので、Wとしてしまうことで、wの平均値を上げることになる。

【0029】

＜逆変換と特性＞
カラー画像としては、最終的にＲ,Ｇ,Ｂ信号が必要となるが、Ｐ,Ｌ,ＳからＲ,Ｇ,Ｂへの変換は、輝度色差信号からＲＧＢ信号への変換などと同様に、マトリックス演算で実現できる。これはＲ,Ｇ,ＢからＰ,Ｌ,Ｓへの変換の逆変換であり、(1)式に対応するものは次式で表される。

【0030】

【数3】

【0031】

w=0.5の場合、すなわち(2)式の逆変換は、次式で表される。

【0032】

【数4】

【0033】

このようにして得られたＲ,Ｇ,Ｂ画像信号は、基本的に従来のＲ,Ｇ,Ｂ画像信号と同等であるが、撮像で生じるノイズが画質に与える影響において特徴を持つ。具体的には、輝度成分に近いＷ(白色)成分が多くなるので、輝度成分に含まれるノイズが軽減される。w=0.5の場合の具体例を示すと、白色成分Wは、次式となり、P, L, Sの和を半分にすることで得られる。

【0034】

【数5】

【0035】

これは、従来のＲ,Ｇ,Ｂ撮像と同じノイズがＰ,Ｌ,Ｓのセルで生じた場合、Wでのノイズは半分になることを意味する。P, L, SからWへ変換ゲインをG_Wとすると、wとの関係は、次式となり、wが大きい程、ノイズ軽減効果は高くなる。

【0036】

【数6】

【0037】

一方、w=0.5の場合の色差成分は、R-Gを例にすると、次式となり、信号成分と共にノイズも２倍になる。

【0038】

【数7】

【0039】

これを変換ゲインG_Cとすると、wとの関係は、次式となり、w が1.0に近い値は現実的でないことが分かる。

【0040】

【数8】

【0041】

色差成分誤差に対する視感度は、輝度成分誤差に対する視感度よりかなり低いので、w < 0.5での画質は、そのままでも視覚特性に適合する。また、高い空間周波数に対する色感度は、色差成分に関して大幅に低いので、色差成分にノイズ軽減処理を適用することを前提にすると、w > 0.5も可能になる。

【0042】

＜現像処理＞
次にＲＡＷ画像データからＲ,Ｇ,Ｂ画像データを得るまでの現像処理について説明する。図３に本実施形態の単板カラー画像撮像装置の機能ブロックを示す。イメージセンサ１の各受光セルの上述した淡色カラーフィルタを配置してなるカラー画像撮像素子で得られた各セルの光電変換値(ＲＡＷ画像データ)は、デモザイキング２に与えられる。デモザイキング２は、一般的なＲ,Ｇ,Ｂに対する処理と同様にＰ,Ｌ,Ｓ等の各色プレーンの欠損画素を補間して、全画素の揃った各色プレーンを出力する。本実施形態では、補間処理は固定の線形フィルタにより行う。補間された信号を直ぐにＲ,Ｇ,Ｂに変換して出力しても良いが、成分ごとの処理を施すことで、本実施形態の効果をより高めることができる。

【0043】

補間されたＰ,Ｌ,Ｓ等の各色プレーン信号は、淡色マトリックス３に与えられる。淡色マトリックス３は、白色成分Ｗ,色差成分R-W,色差成分B-Wの３成分への変換を行う。この処理は、Ｒ,Ｇ,Ｂへの変換とＷ形成及び減算処理を同時に行なうことになるが、Ｒ,Ｇ,Ｂへの変換の係数を変更するのみで実現できる。なお、Ｗ,R-W,B-Wは、白色Ｗを輝度Ｙとして、Ｙ,R-Y,B-Yでも良い。

【0044】

変換されたＷ信号はＷ補正器４へ、R-W信号はR-W補正器５へ、B-W信号はB-W補正器６に与えられる。各補正器は、各信号に適した補正が行なわれるが、R-W補正器５とB-W補正器６では、Ｗ補正器４で補正されたＷ’信号も使われる。Ｗ補正器４では、デモザイキングでの周波数の劣化分を補う形での鮮鋭化処理を行う。R-W補正器５とB-W補正器６では、エッジであるＷの大きな変換点では、Ｗと相似の急峻化処理を、その他の部分では平坦化処理を行なう。補正されたＷ信号、R-W信号、B-W信号は、原色マトリックス７に与えられる。原色マトリックス７は、Ｒ,Ｇ,Ｂへの変換を行うが、これはR=(R-W)+W、G=W-R-B、B=(B-W)+Wで実現できる。得られたＲ,Ｇ,Ｂ信号は、Ｒ信号出力８、Ｇ信号出力９、Ｂ信号出力１０より出力される。

【0045】

＜淡色カラーフィルター＞
本実施形態を実現するためには、上述した淡色のカラーフィルタが必要になる。通常のカラーフィルタは、透明フィルム素材に染料を染み込ませるなどして作られ、透過における分光特性により、そのフィルタの色が決まる。現在のＲ,Ｇ,Ｂのカラーフィルタを、淡色(Ｐ,Ｌ,Ｓ)化するには、安易な方法としては、染料の量を減らして阻止される光の量を減らすことにより実現される。しかし、通常は抑圧される波長(色)について、完全に均一の特性でなくても、十分抑圧されていれば問題無いが、半分程度も透過させる場合は、透過率の違いが問題になる。例えばＲをＰにした場合、波長が近いＧより波長が遠いＢの方が、減衰は大きくなりやすい。この様な、フィルタ特性の理想との乖離に対する対策が必要になる。ここでは、３種類の方法を示す。

【0046】

第１の方法は、マトリックスの変更である。透過率のばらつきが顕著でない場合は、それを許容し、変換マトリックス自体が、その特性のものとする。この場合の式は、次式のように少し異なったWが存在することになる。

【0047】

【数9】

【0048】

逆変換は、この行列に対して求めるので、Ｒ,Ｇ,Ｂは逆変換により適正に得られる。ただし、各Wはセンサにより変化することになるので、逆変換では固有のWが必要になる。

【0049】

第２の方法は、染料の調整で、極力一定のWを得る手法である。先の例のようにＧの透過率がＢより高い場合、透過率を高めることはできないので、Ｇの透過率をさげるため、Ｇのみを抑圧する色(マゼンタ)の染料を僅かに追加する。

【0050】

第３の方法は、白色フィルタ(つまりフィルタなし)を、空間的にある程度の面積で設ける方法である。この様子を図４に示す。最も簡単なのは、図４（ａ）に示すように、左右分割で、１セル(画素)において左右の左半分のみにＲ,Ｇ,Ｂフィルタを設け、残り半分を白色フィルタとする。この場合、光学フィルタにより１セル内の光の変化は抑圧されているが、完全に均一になっている訳では無いので、若干のアンバランスを生じる。なお、左右で無く、上下や斜めに分割しても良いが、同様の問題は残る。

【0051】

少なくとも上下左右にバランスが取れる方法としては、図４（ｂ）に示すように、中央部分のみにセルより小さいフィルタをおく方法、また、図４（ｃ）に示すように、中央部分に穴を開けてフィルタ無しとする方法もある。いずれの場合も、各セルでは中央に集光されるので、中央部の面積は、中央を除いた周辺部より小さくなる。また、フィルタ無しでは、可視光外も受光してしまうので、白色フィルタを設けるのが望ましいが、フィルタの無い部分のみにする必要は無く、セル全体を覆うように白色フィルタを設けても構わない。

【0052】

＜第２の実施例形態＞
本発明の第２の実施形態の単板式カラー画像撮像装置について説明する。図５に本実施形態の色フィルタとその配置を示す。なお、本実施形態と上述した第１の実施形態との違いは色フィルタであり、他は共通である。本実施形態では、第１の実施形態で用いた原色系淡色カラーフィルタの代わりに、可視光全域の光を透過させるフィルタであって、３種類の原色成分のうち１の原色成分のみの透過率を減じた補色系淡色カラーフィルタを用いる。具体的な色は、白色からＲを減じたものは明るいシアンでＡ(Aqua)、Ｇを減じたものは明るいマゼンタでＶ(Violet)、Ｂを減じたものは明るい黄色でＥ(Lemon)とする。補色系淡色カラーフィルタＡは、第１の原色成分（Ｒ成分）をその余の原色成分（Ｇ成分，Ｂ成分）よりも少なく透過させ、補色系淡色カラーフィルタＶは、第２の原色成分（Ｇ成分）をその余の原色成分（Ｒ成分，Ｂ成分）よりも少なく透過させ、補色系淡色カラーフィルタＥは、第３の原色成分（Ｂ成分）をその余の原色成分（Ｒ成分，Ｇ成分）よりも少なく透過させる。なお、Lemonは、第１の実施形態でLight GreenをＬとしたので、区別するために２文字目のＥとする。Ｒ,Ｇ,ＢからＡ,Ｖ,Ｅへの変換マトリックスは、第１の実施形態で用いた原色系淡色フィルタと同様にＲ,Ｇ,Ｂ各成分の光の透過程度であるが、補色系淡色カラーフィルタにおいて、各原色成分の透過に対して透過が減らされる（阻止される）割合をc(color)として、次の変換マトリックスで表わされる。

【0053】

【数10】

【0054】

c=0.5の場合は次式になる。

【0055】

【数11】

【0056】

減じる割合を増やしてc=2/3とすると次式になる。

【0057】

【数12】

【0058】

なお、c=1とすると、純粋な補色フィルターになる。

【0059】

図５に本実施例形態の色フィルタ配置を示す。図５（ａ）に示すAVEV配置は、ベイヤー配置のＲ,Ｇ,Ｂを、そのままＡ,Ｖ,Ｅとしたもので、Ｖが1/2で、ＡとＥがそれぞれ1/4存在する。図５（ｂ）に示すAWEW配置は、Ｖを白色Ｗにしたもので、変換式は次式に変わる。

【0060】

【数13】

【0061】

これは、白色と白色に２種類の色差を加えたもので、輝度色差信号Y,Cb,Crと似た形になっている。

【0062】

Ａ,Ｖ,ＥからＲ,Ｇ,Ｂへの変換で、(10)式に対する逆変換の一般式は、次式の変換マトリックスで表わされる。

【0063】

【数14】

【0064】

c=0.5とした(11)式に対応する逆変換は、次式になる。

【0065】

【数15】

【0066】

c=2/3とした(12)式に対応する逆変換は、次式になる。

【0067】

【数16】

【0068】

A,V,EからWへ変換ゲインG_Wとcの関係を示すと、次式となり、cが小さい程ノイズ軽減効果は高くなる。

【0069】

【数17】

【0070】

一方、色差成分の変換ゲインG_Cとcの関係は、次式となり、c が0に近い値は現実的でないことが分かる。

【0071】

【数18】

【0072】

G_W, G_Cを第１の実施形態と比較すると、第１の実施形態ではw=0.5でG_W=1/2, G_C=2となるのに対し、第２の実施形態のc=0.5では、G_W=1/2.5, G_C=2となり、同一G_CでG_Wがより小さくなるので、ノイズ軽減効果上有利となる。これは、一般的な原色フィルタと補色フィルタの特徴と同一傾向であり、この点では補色フィルタが優れるが、分光特性の点では原色フィルタが優れるので、単純に優劣は決められない。

【0073】

＜第３の実施形態＞
本発明の第３の実施形態の単板式カラー画像撮像装置について説明する。図６は、本実施形態の単板式カラー画像撮像装置の機能ブロックを示したものである。本実施例形態は、より画質を高めるための画像信号処理を追加したもので、イメージセンサ１と淡色カラーフィルタからなるカラー画像撮像素子の構成は、第１の実施例形態や第２の実施例形態と同じである。

【0074】

本実施形態は、ＲＡＷ画像に対する直接フィルタリングで、Ｗ成分の周波数特性を重視したデモザイキング処理を実現するものである。本実施形態では、イメージセンサの全画素にＷ成分を持つので、ＲＡＷ画像の周波数成分は、低い周波数帯域にＷ成分が、高い周波数帯域に色差成分が存在する。スペクトルの広がり方としては、図８(ａ)に示すように、Ｗ成分は広く、色差成分は狭い。これに合わせた空間フィルタでＷ成分と色差成分を分離することで、広帯域のＷ成分を得ることができる。ただし、高周波数成分除去で得られるのは純粋な白色成分ではなく、図２(ａ)に示すPLSL配置の場合はＬのセル数が他の２倍あるので、その成分W_lは次式のようになる。

【0075】

【数19】

【0076】

Gが(1-w)/4だけ他より多いので、W_lは若干輝度に近いものになる。

【0077】

ＲＡＷ画像の２次元周波数スペクトルを図７に示す。図７において、μは水平周波数, νは垂直周波数で、末端はイメージセンサのセル数で決まる最高周波数である。スペクトルにおいて、DC(μ=0, ν=0)成分はＷ_lである。μ, ν軸上の高い周波数に、Ｗ_lに対するＰ,Ｓの差分すなわちＲ,Ｂ色差成分Cr=R-W_l , Cb=B-W_lがあり、μ, ν共に高い周波数となる部分には、さらにＷ_lに対するＬ差分すなわちＧ色差成分Cg=G-W_lがある。３成分すべてある場所は、単にCと示されている。スペクトルの広がりは、Ｗ_lがCは狭いので、２次元フィルタでＷ_lを分離する場合のカットオフ(半減)周波数は、図８（ｂ）に示す点線のようになる。なお、フィルター色や配列を変えても、スペクトルの概要は変化しない。

【0078】

本実施形態では、Ｗ成分とＣ成分が多重化されているので、分離に伴うクロストークが問題となる。エッジなどでは、Ｗ成分のスペクトルが広がり、高い周波数成分がＣに混入する。最高周波数にまで達すると、偽色を生じる可能性があるので、最高周波数成分は光学フィルタで除去されるのが望ましい。一方、Ｃ信号が急峻に変化している部分では、色差の高い周波数成分がＷ成分に混入し、形状歪となる。しかし、Ｗ信号もエッジである可能が高く、Ｗ信号の高い周波数への混入となるので、視覚的には分かり難い。

【0079】

図６に示す機能ブロックに基づいて、本実施形態の単板式カラー画像撮像装置が実行する処理について説明する。イメージセンサ１で得たＲＡＷ画像データは、ＷＣ分離器１１に与えられる。ＷＣ分離器１１は、画像の部分ごと色差成分のスペクトル状況を掌握し、Ｗ（白色）成分と比較してＣ（色差）成分が弱い場合はＷ広帯域とし、Ｃが強い場合はＣ広帯域とする。分離フィルタ（空間フィルタ）のカットオフ周波数は、ＷにおいてＷ広帯域が全帯域の85％、Ｃ広帯域が50％とする。これは８タップ程度の可変型のＬＰＦ(ローパスフィルタ)で、垂直及び水平の分離型処理とする。すなわち、ＷＣ分離器１１は、Ｗ成分に対するＣ成分の相対量に応じてＬＰＦのカットオフ周波数を適応的に制御する。そして、Ｃ信号は、ＬＰＦを通過したＷ信号と元RAW画像の残差により得る。

【0080】

Ｃスペクトルの検出は、当然Ｃの帯域であるが、DC成分は通過させないので、比較的帯域は狭いものになる。検出値は、Ｗのスペクトルと比較される。あらかじめ中程度のフィルタ特性でＷとＣを分離しておくと、Ｗ,Ｃそれぞれの検出は容易になる。これらのフィルタの特性を１次元で図８（ｂ）に示す。図８（ｂ）の横軸は正規化された水平周波数で、1.0はセル画素数で決まる最高周波数である。

【0081】

ＷＣ分離器１１で分離されたＷ信号は、そのまま使うことができる。一方、Ｃ信号は、色差復調器１２で高い周波数成分からベースバンドに変換される。これは、各色成分に対する変調のキャリアに相当する信号を乗じて復調する。または、通常のデモザイキングと同様に、各成分の画素のみを用いて補間しても良い。得られたR-W信号とB-W信号は、波形補正ノイズ軽減器１３に与えられる。

【0082】

波形補正ノイズ軽減器１３は、図３に示したR-W補正器５やB-W補正器６と同様な補正処理と共に、ノイズ軽減を行なう。この処理は、一般的な非線形低域通過フィルタで、小振幅成分のみ低域通過フィルタを通過させるものである。その際、フィルタの強さとなる小振幅の値(非線形特性)を、イメージセンサ１での光電変換された画像信号の増幅度(ゲイン)により制御する。本来イメージセンサの各セルで暗電流により生じるノイズは変わらないので、ゲインが高いとそれだけノイズも増幅される。従って、ゲインに比例してフィルタを作用させる小振幅の値も大きくする。すなわち、波形補正ノイズ軽減器１３は、イメージセンサ１における光電変換された画像信号のゲインの大きさに応じてカットする小振幅の値を適応的に制御する。

【0083】

このような処理を、γ補正後のＲ,Ｇ,Ｂやそれから形成された色差信号に施した場合、高彩度部分で輝度信号の周波数特性劣化を招き、画質が低下する。これは、非線形変換であるγ補正により、輝度信号成分の一部が色差信号として伝送されるためで、彩度が高い程、通過帯域が狭い程顕著になる。しかし、本来の色差成分に対する視感度は、輝度より遥かに低いので、γ補正を行なう前に帯域制限すれば、前記のような輝度成分の劣化は生じない。また、色差信号は基本的に変化が少ないので、非線形フィルタによるノイズ軽減の効果は高い。

【0084】

この様に処理されたR-W信号とB-W信号は、原色マトリックス７に与えられる。原色マトリックス７は、第１の実施形態と同様なものであり、Ｗ,R-W,B-WをＲ,Ｇ,Ｂへと変換する。変換されたＲ信号はγ補正器１４に、Ｇ信号はγ補正器１５に、Ｂ信号はγ補正器１６に与えられる。γ補正器１４，１５、１６では、ガンマ補正(y = x^0.45)の処理が行われる。ガンマ補正されたＲ,Ｇ,Ｂ信号は、Ｒ信号出力８、Ｇ信号出力９、Ｂ信号出力１０より出力される。ガンマ補正は動画像では規格上必要な処理であるが、本実施例ではγ補正の前にノイズ軽減処理を行なうのが特徴である。

【0085】

以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、当業者が推考しうるその他の実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

【符号の説明】

【0086】

１…イメージセンサ、２…デモザイキング、３…淡色マトリックス、４…Ｗ補正器、５…R-W補正器、６…B-W補正器、７…原色マトリックス、８…Ｒ信号出力、９…Ｇ信号出力、１０…Ｂ信号出力、１１…ＷＣ分離器、１２…色差復調器、１３…波形補正ノイズ軽減器、１４，１５，１６…γ補正器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】