特許 5943393 撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5943393

(24)【登録日】2016年6月3日

(45)【発行日】2016年7月5日

(54)【発明の名称】撮像装置

(51)【国際特許分類】

   G02B 5/20 20060101AFI20160621BHJP

   H04N 9/07 20060101ALI20160621BHJP

【ＦＩ】

   G02B5/20 101

   H04N9/07 C

   H04N9/07 A

【請求項の数】15

【全頁数】31

(21)【出願番号】特願2013-513940(P2013-513940)

(86)(22)【出願日】2012年5月10日

(86)【国際出願番号】JP2012003068

(87)【国際公開番号】WO2012153532

(87)【国際公開日】20121115

【審査請求日】2015年4月10日

(31)【優先権主張番号】特願2011-106740(P2011-106740)

(32)【優先日】2011年5月11日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】304021417

【氏名又は名称】国立大学法人東京工業大学

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(72)【発明者】

【氏名】田中 正行

(72)【発明者】

【氏名】紋野 雄介

(72)【発明者】

【氏名】奥富 正敏

(72)【発明者】

【氏名】菊地 直

(72)【発明者】

【氏名】小宮 康宏

【審査官】 中村 博之

(56)【参考文献】

【文献】 特開２００９−２９０６０７（ＪＰ，Ａ）

【文献】 特開２００９−２８４０１０（ＪＰ，Ａ）

【文献】 特開２００５−２８６６４９（ＪＰ，Ａ）

【文献】 特開２００７−１０３４０１（ＪＰ，Ａ）

【文献】 特表２０１１−５２８８６６（ＪＰ，Ａ）

【文献】 特開２０１１−１４５４４８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０２Ｂ ５／２０

Ｈ０４Ｎ ９／０７

(57)【特許請求の範囲】

【請求項1】

分光感度特性が異なる５種類以上のカラーフィルタを有し、前記５種類以上のカラーフィルタの中で少なくとも２種類のカラーフィルタを注目カラーフィルタとして、前記注目カラーフィルタから第１の方向に沿った両側に第１の間隔で配置される２つの前記カラーフィルタは同じ種類であり、且つ前記第１の方向と異なる第２の方向に沿った両側に第２の間隔で配置される２つの前記カラーフィルタの種類は同じ種類となるように前記５種類以上のカラーフィルタを２次元状に配置したカラーフィルタアレイと、
前記カラーフィルタアレイにおけるいずれかの種類の前記カラーフィルタによって覆われ、受光量に応じた画素信号を生成する複数の画素を有する撮像素子と、
前記注目カラーフィルタとして前記カラーフィルタアレイ上に配置された種類のカラーフィルタに覆われた画素を１画素ずつ順次注目画素に指定し、前記注目画素から前記第１の方向に沿った両側に前記第１の間隔で配置される２つの前記画素が生成する前記画素信号に基づいて第１の微分情報を算出し、前記注目画素から前記第２の方向に沿った両側に前記第２の間隔で配置される２つの前記画素が生成する前記画素信号に基づいて第２の微分情報を算出する微分情報取得部とを備える
ことを特徴とする撮像装置。

【請求項2】

請求項１に記載の撮像装置であって、前記第１の間隔および前記第２の間隔は等しいことを特徴とする撮像装置。

【請求項3】

請求項２に記載の撮像装置であって、前記カラーフィルタは５〜８種類であり、前記第１の間隔および前記第２の間隔は１画素分の間隔であることを特徴とする撮像装置。

【請求項4】

請求項１から請求項３のいずれかに記載の撮像装置であって、
前記カラーフィルタはマトリックス状に配置され、
前記第１の方向及び前記第２の方向と行方向との間の角度は４５°となり、前記第１の方向及び前記第２の方向と列方向との間の角度は４５°となるように構成される
ことを特徴とする撮像装置。

【請求項5】

請求項１から請求項３のいずれかに記載の撮像装置であって、前記カラーフィルタはマトリックス状に配置され、前記第１の方向は行方向と一致し、前記第２の方向は列方向と一致することを特徴とする撮像装置。

【請求項6】

請求項１から請求項５のいずれかに記載の撮像装置であって、
前記注目カラーフィルタとして配置された前記少なくとも２種類のカラーフィルタの中で２種類のカラーフィルタが隣接しており、
互いに隣接する該２種類のカラーフィルタの一方に覆われた前記画素のみにおいて前記第１の間隔および前記第２の間隔が１画素分の間隔である
ことを特徴とする撮像装置。

【請求項7】

請求項１から請求項３のいずれかに記載の撮像装置であって、
前記カラーフィルタは、マトリックス状に配置され、
前記５種類以上のカラーフィルタの中の第１のカラーフィルタは、全行及び全列においてそれぞれ、行方向及び列方向に沿って１画素おきに配置される
ことを特徴とする撮像装置。

【請求項8】

請求項１から請求項３のいずれかに記載の撮像装置であって、前記カラーフィルタはマトリックス状に配置され、前記５種類以上のカラーフィルタの中の第１のカラーフィルタは市松状に配置されることを特徴とする撮像装置。

【請求項9】

請求項１から請求項８のいずれかに記載の撮像装置であって、前記５種類以上のカラーフィルタ中の特定の種類以外のカラーフィルタが同じ割合となるように配置されることを特徴とする撮像装置。

【請求項10】

請求項１から請求項９のいずれかに記載の撮像装置であって、前記注目カラーフィルタから前記第１の方向に沿って両側に前記第１の間隔で配置される同じ種類の２つのカラーフィルタの分光感度特性のピーク波長は、前記注目カラーフィルタから前記第２の方向に沿って両側に前記第２の間隔で配置される同じ種類の２つのカラーフィルタの分光感度特性のピーク波長に隣接することを特徴とする撮像装置。

【請求項11】

請求項１から請求項９のいずれかに記載の撮像装置であって、前記注目カラーフィルタから前記第１の方向に沿って両側に前記第１の間隔で配置される同じ種類の２つのカラーフィルタの分光感度特性のピーク波長は、注目カラーフィルタの分光感度特性のピーク波長に隣接することを特徴とする撮像装置。

【請求項12】

請求項１から請求項１１のいずれかに記載の撮像装置であって、前記微分情報取得部は、前記第１の間隔及び前記第２の間隔が１画素分の間隔である画素が生成する画素信号のみを用いて前記第１の微分情報及び前記第２の微分情報を算出することを特徴とする撮像装置。

【請求項13】

請求項１から請求項１２のいずれかに記載の撮像装置であって、
前記注目カラーフィルタから、前記第１の方向および前記第２の方向のなす角を当分割する第３の方向に沿った両側に第３の間隔で配置される２つの前記カラーフィルタは同じ種類のカラーフィルタであり、
前記注目カラーフィルタから、前記第３の方向に垂直な第４の方向に沿った両側に第４の間隔で配置される２つの前記カラーフィルタは同じ種類のカラーフィルタであり、
前記微分情報取得部は、前記注目画素から前記第３の方向に沿った両側に前記第３の間隔で配置される２つの前記画素が生成する前記画素信号に基づいて第３の微分情報を算出し、前記注目画素から前記第４の方向に沿った両側に前記第４の間隔で配置される２つの前記画素が生成する前記画素信号に基づいて第４の微分情報を算出する
ことを特徴とする撮像装置。

【請求項14】

請求項１から請求項１３のいずれかに記載の撮像装置であって、前記画像処理部は、少なくとも、複数の前記画素信号によって構成される画像信号にエッジ強調処理を施すエッジ強調部、前記画像信号における全体または局所のコントラストを算出するコントラスト処理部、前記画像信号に相当する画像の特徴量を抽出する特徴量抽出部、及び前記画素を覆う前記カラーフィルタと異なるすべての種類のカラーフィルタの色信号成分に相当する前記画素信号を補間する補間処理部の何れか一つを含むことを特徴とする撮像装置。

【請求項15】

請求項１から請求項１３のいずれかに記載の撮像装置であって、
すべての前記画素に前記画素信号を生成させ出力させる通常駆動と、前記通常駆動とは異なる間引き駆動を実行する撮像素子駆動部を備え、
前記撮像素子における複数の前記画素が配置される受光面を分割することにより、包含する前記画素の数が等しい複数の画素ブロックが形成され、
前記撮像素子駆動部は、前記間引き駆動において、前記画素ブロック内の所定の位置の単一の前記画素である間引き画素を覆う前記カラーフィルタを前記画素ブロックのカラーフィルタとみなした全画素ブロックのカラーフィルタの配列が前記カラーフィルタアレイにおける前記カラーフィルタと同じ配列になるように、前記間引き画素を前記撮像素子に出力させ、
前記微分情報取得部は、前記撮像素子が前記間引き駆動を実行する場合に、全前記画素ブロックを注目画素ブロックに指定し、前記注目画素ブロックから前記第１の方向に沿った両側に前記第１の間隔と前記第１の方向に沿った前記画素ブロックの画素数とを乗じた間隔で配置される２つの前記画素ブロックの前記間引き画素が生成する前記画素信号に基づいて第３の微分情報を算出し、前記注目画素ブロックから前記第２の方向に沿った両側に前記第２の間隔と前記第２の方向に沿った前記画素ブロックの画素数とを乗じた間隔で配置される２つの前記画素ブロックの前記間引き画素が生成する前記画素信号に基づいて第４の微分情報を算出する
ことを特徴とする撮像装置。

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

本出願は、２０１１年５月１１日に出願された日本国特許出願２０１１−１０６７４０号の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。

【技術分野】

【0002】

本発明は、色再現性を向上させながら、様々な画像処理に使用される勾配情報（微分情報）を高い精度で取得可能にさせる撮像装置に関する。

【背景技術】

【0003】

フルカラー画像を撮像するために、ＲＧＢの３色のカラーフィルタを撮像素子に設けた撮像装置が知られている。撮像した画像から様々な情報の検出や、画像に対する様々な処理に用いるために、画像の勾配情報を取得することが知られている。従来の撮像装置では、カラーフィルタのバンド数が少ないため、各バンドに対応した画像信号成分のサンプル密度は比較的高く、色補間により生成した補間画像に基づく勾配情報は十分に高い精度であった。

【0004】

ところで、被写体の忠実な色再現を目的として、マルチバンド画像撮影が注目されている。マルチバンド画像撮影のために、複数のカメラを用いた撮影、または複数回の撮影を行うことが考えられる。しかし、このようなマルチバンド画像撮影には専用の撮影システムが必要であった。そこで、４バンド以上のカラーフィルタを配置した単板のマルチバンド撮像素子を用いることにより、１台の撮像装置で１枚の撮影によりマルチバンド画像撮影を実行することが提案されている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００３−８７８０６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１においては、マルチバンド化したカラーフィルタアレイ（ＣＦＡ）が用いられている。しかし、バンド数の増加に伴い、単一のバンドのサンプル密度が低くなる。単一のバンドのサンプル密度が低くなると、共通の方向の勾配情報の取得が困難となり、処理の煩雑化及び、例えば、勾配情報の方向を合わせるための変換による高周波成分の情報欠落のように勾配情報の精度の低減化を生じることが問題であった。勾配情報の精度の低減化は後の処理にも影響を及ぼし、例えば、偽色の発生などの原因となり得る。

【0007】

したがって、上記のような問題点に鑑みてなされた本発明では、マルチバンド化を図りながら、基準となるカラーフィルタ（画素）の両側に配置されるカラーフィルタを使用して勾配情報を取得するとき、基準のカラーフィルタとして少なくとも２種類のカラーフィルタを指定して、共通する少なくとも２つの方向の勾配情報を取得可能な撮像装置の提供を目的とする。

【課題を解決するための手段】

【0008】

上述した諸課題を解決すべく、本発明による撮像装置は、
分光感度特性が異なる５種類以上のカラーフィルタを有し、５種類以上のカラーフィルタの中で少なくとも２種類のカラーフィルタを注目カラーフィルタとして、注目カラーフィルタから第１の方向に沿った両側に第１の間隔で配置される２つのカラーフィルタは同じ種類であり、且つ第１の方向と異なる第２の方向に沿った両側に第２の間隔で配置される２つのカラーフィルタの種類は同じ種類となるように５種類以上のカラーフィルタを２次元状に配置したカラーフィルタアレイと、
カラーフィルタアレイにおけるいずれかの種類の前記カラーフィルタによって覆われ、受光量に応じた画素信号を生成する複数の画素を有する撮像素子と、
注目カラーフィルタとしてカラーフィルタアレイ上に配置された種類のカラーフィルタに覆われた画素を１画素ずつ順次注目画素に指定し、注目画素から第１の方向に沿った両側に第１の間隔で配置される２つの画素が生成する画素信号に基づいて第１の微分情報を算出し、注目画素から第２の方向に沿った両側に第２の間隔で配置される２つの画素が生成する画素信号に基づいて第２の微分情報を算出する微分情報取得部とを備える
ことを特徴とするものである。

【発明の効果】

【0009】

上記のように構成された本発明に係る撮像装置によれば、カラーフィルタのマルチバンド化を図りながら、基準となるカラーフィルタ（画素）の両側に配置されるカラーフィルタを使用して勾配情報を取得するとき、基準となるカラーフィルタとして少なくとも２種類のカラーフィルタを指定して、共通する少なくとも２つの方向において高精度の勾配情報を取得可能である。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施形態に係るカラーフィルタアレイが設けられた撮像素子を有するデジタルカメラの概略構成を示すブロック図である。

【図2】ＣＦＡにおけるカラーフィルタの配置を示す配列図である。

【図3】図２のカラーフィルタの分光感度特性である。

【図4】第１の画素ブロックの構成を説明するための画素の配列図である。

【図5】第１の画素ブロックの中心の画素のカラーフィルタの種類を第１の画素ブロックのカラーフィルタの種類とみなすことによる第１の画素ブロックのカラーフィルタの配列図である。

【図6】第２の画素ブロックの構成を説明するための画素の配列図である。

【図7】第２の画素ブロックの中心の画素のカラーフィルタの種類を第１の画素ブロックのカラーフィルタの種類とみなすことによる第２の画素ブロックのカラーフィルタの配列図である。

【図8】第３の画素ブロックの構成を説明するための画素の配列図である。

【図9】第３の画素ブロックの中心の画素のカラーフィルタの種類を第３の画素ブロックのカラーフィルタの種類とみなすことによる第３の画素ブロックのカラーフィルタの配列図である。

【図10】画像信号処理部の構成を概略的に示すブロック図である。

【図11】Ｇ、Ｃｙ、Ｏｒ、Ｂ、Ｒ原画像信号成分の構造を説明するための概念図である。

【図12】ＭＢデモザイク処理部によって実行されるデモザイク処理を説明するための概念図である。

【図13】ＭＢデモザイク処理部の構成を概略的に示すブロック図である。

【図14】５バンドのカラーフィルタを有する第１の変形例のカラーフィルタアレイを示す配列図である。

【図15】５バンドのカラーフィルタを有する第２の変形例のカラーフィルタアレイの構成を示す配列図である。

【図16】図１５のカラーフィルタ配列において第１の画素ブロックの構成を説明するための画素の配列図である。

【図17】図１５のカラーフィルタ配列において第２の画素ブロックの構成を説明するための画素の配列図である。

【図18】５バンドのカラーフィルタを有する第３の変形例のカラーフィルタアレイの構成を示す配列図である。

【図19】５バンドのカラーフィルタを有する第４の変形例のカラーフィルタアレイの構成を示す配列図である。

【図20】５バンドのカラーフィルタを有する第５の変形例のカラーフィルタアレイの構成を示す配列図である。

【図21】５バンドのカラーフィルタを有する第６の変形例のカラーフィルタアレイの構成を示す配列図である。

【図22】６バンドのカラーフィルタを有する第７の変形例のカラーフィルタアレイの構成を示す配列図である。

【図23】６バンドのカラーフィルタを有する第８の変形例のカラーフィルタアレイの構成を示す配列図である。

【図24】６バンドのカラーフィルタを有する第９の変形例のカラーフィルタアレイの構成を示す配列図である。

【図25】７バンドである第１０の変形例のカラーフィルタアレイにおけるカラーフィルタの分光感度特性である。

【図26】７バンドのカラーフィルタを有する第１０の変形例のカラーフィルタアレイの構成を示す配列図である。

【図27】７バンドである第１１の変形例のカラーフィルタアレイにおけるカラーフィルタの分光感度特性である。

【図28】７バンドである第１２の変形例のカラーフィルタアレイにおけるカラーフィルタの分光感度特性である。

【図29】７バンドである第１３の変形例のカラーフィルタアレイにおけるカラーフィルタの分光感度特性である。

【図30】７バンドのカラーフィルタを有する第１１の変形例のカラーフィルタアレイの構成を示す配列図である。

【図31】７バンドのカラーフィルタを有する第１２の変形例のカラーフィルタアレイの構成を示す配列図である。

【図32】７バンドのカラーフィルタを有する第１３の変形例のカラーフィルタアレイの構成を示す配列図である。

【図33】８バンドである第１４の変形例のカラーフィルタアレイにおけるカラーフィルタの分光感度特性である。

【図34】８バンドのカラーフィルタを有する第１４の変形例のカラーフィルタアレイの構成を示す配列図である。

【図35】８バンドである第１５の変形例のカラーフィルタアレイにおけるカラーフィルタの分光感度特性である。

【図36】８バンドのカラーフィルタを有する第１５の変形例のカラーフィルタアレイの構成を示す配列図である。

【図37】９バンドである第１６の変形例のカラーフィルタアレイにおけるカラーフィルタの分光感度特性である。

【図38】９バンドのカラーフィルタを有する第１６の変形例のカラーフィルタアレイの構成を示す配列図である。

【図39】１０バンドである第１７の変形例のカラーフィルタアレイにおけるカラーフィルタの分光感度特性である。

【図40】１０バンドである第１８の変形例のカラーフィルタアレイにおけるカラーフィルタの分光感度特性である。

【図41】１０バンドのカラーフィルタを有する第１７の変形例のカラーフィルタアレイの構成を示す配列図である。

【図42】１０バンドのカラーフィルタを有する第１８の変形例のカラーフィルタアレイの構成を示す配列図である。

【発明を実施するための形態】

【0011】

以下、本発明を適用した実施形態について、図面を参照して説明する。図１は、本発明の一実施形態に係るカラーフィルタアレイを有する撮像素子が設けられたデジタルカメラの概略構成を示すブロック図である。

【0012】

デジタルカメラ１０は、撮影光学系１１、撮像素子２０、センサ駆動部１２、システムバス１３、画像信号処理部３０、バッファメモリ１４、システムコントローラ１５、画像表示部１６、画像記録部１７、及び操作部１８などによって構成される。

【0013】

撮影光学系１１は、光軸が撮像素子２０の受光部２１の中心を通るように垂直に配置され、撮像素子２０に結合される。撮影光学系１１は複数のレンズ（図示せず）によって構成され、被写体の光学像を受光部２１に結像させる。なお、撮影光学系１１は、デジタルカメラ１０に固定されていてもよいし、着脱可能な交換式であってもよい。

【0014】

撮像素子２０は、例えばＣＭＯＳエリアセンサであり、受光部２１、垂直走査回路２２、水平読出回路２３、及びＡ／Ｄコンバータ２４によって構成される。前述のように、撮影光学系１１により被写体の光学像が受光部２１に形成される。

【0015】

受光部２１には、マトリックス状に複数の画素（図示せず）が配置される。また、受光部２１上において、ＯＢ（オプティカルブラック）領域２１ｂと有効撮影領域２１ｅとが定められる。ＯＢ領域２１ｂに配置されるＯＢ画素は受光面が遮光されており、黒色の基準となる暗電流をＯＢ画素信号として出力する。また、有効撮影領域２１ｅはＣＦＡ（図１において図示せず）によって覆われており、各画素は５バンドのカラーフィルタのいずれかによって覆われる。

【0016】

図２に示すように、ＣＦＡ２１ａにはＧ（グリーン）カラーフィルタ、Ｃｙ（シアン）カラーフィルタ、Ｏｒ（オレンジ）カラーフィルタ、Ｂ（ブルー）カラーフィルタ、及びＲ（レッド）カラーフィルタの５バンドのカラーフィルタが設けられる。したがって、各画素では、対応するカラーフィルタの透過バンドの光の受光量に応じた画素信号が生成される。なお、図３に示すように、Ｇ、Ｃｙ、Ｏｒ、Ｂ、Ｒカラーフィルタは、異なる分光感度特性を有する。なお、本実施形態において分光感度特性が異なるとは、ピーク波長の値、または半値幅の中心値が異なることを意味する。

【0017】

ＣＦＡ２１ａでは、４行４列のカラーフィルタ繰返し単位２１ｕが行方向及び列方向に繰返し配置される。図２に示すように、カラーフィルタ繰返し単位２１ｕ内には、８個のＧカラーフィルタ、２個のＣｙカラーフィルタ、２個のＯｒカラーフィルタ、２個のＢカラーフィルタ、及び２個のＲカラーフィルタが配置される。

【0018】

ＣＦＡ２１ａでは、Ｃｙカラーフィルタ、Ｏｒカラーフィルタ、Ｂカラーフィルタ、及びＲカラーフィルタのいずれかと、Ｇカラーフィルタとが市松模様状に配置される。すなわち、Ｇカラーフィルタは全行全列において、１画素おきに繰返し配置される。例えば、図２における左上を基準として、１、３行目には２、４列目にＧカラーフィルタが配置される。また、２、４行目には、１、３列目にＧカラーフィルタが配置される。

【0019】

また、Ｇカラーフィルタ、Ｂカラーフィルタ、及びＣｙカラーフィルタが並ぶ行及び列が、列方向及び行方向に１画素おきに繰返し配置される。例えば、図２において、１行１列目及び３行３列目にＢカラーフィルタが配置され、１行３列目及び３行１列目にＣｙカラーフィルタが配置される。

【0020】

また、Ｇカラーフィルタ、Ｒカラーフィルタ、及びＯｒカラーフィルタが並ぶ行及び列が、行方向及び列方向に１画素おきに繰返し配置される。例えば、図２において、２行４列目及び４行２列目にＲカラーフィルタが配置され、２行２列目及び３行３列目にＯｒカラーフィルタが配置される。

【0021】

上述のようなカラーフィルタ繰返し単位では、Ｇカラーフィルタの割合が最大であり全体の５０％を占めている。また、任意の位置の画素において、斜め方向に隣接する画素に対応するカラーフィルタのバンドは等しい。

【0022】

例えば、図２に示すように、いずれのＧカラーフィルタにおいても、斜方に隣接するカラーフィルタはすべてＧカラーフィルタである。したがって、任意のＧカラーフィルタの右斜め上及び左斜め下にはＧカラーフィルタが配置され、互いに同じバンドのカラーフィルタである。また、右斜め下及び左斜め上にはＧカラーフィタが配置され、互いに同じバンドのカラーフィルタである。

【0023】

また、いずれのＣｙカラーフィルタにおいても、斜方に沿ってＲカラーフィルタまたはＯｒカラーフィルタによって挟まれる。詳細に説明すると、任意のＣｙカラーフィルタの右斜め上及び左斜め下にはＯｒカラーフィルタが配置され、互いに同じバンドのカラーフィルタである。また、右斜め下及び左斜め上にはＲカラーフィルタが配置され、互いに同じバンドのカラーフィルタである。

【0024】

Ｏｒカラーフィルタ、Ｂカラーフィルタ、及びＲカラーフィルタにおいても、同様であって、斜め方向に隣接するカラーフィルタ同士は同じバンドのカラーフィルタとなる。

【0025】

上述のようなＣＦＡ２１ａが設けられた画素において、透過したバンドの光の受光量に応じた画素信号が生成される。垂直走査回路２２により画素信号を出力させる画素の行が選択され、水平読出回路２３により画素信号を出力させる画素の列が選択される（図１参照）。

【0026】

垂直走査回路２２及び水平読出回路２３はセンサ駆動部１２に駆動される。デジタルカメラ１０には、通常読出しモードと、第１〜第３の間引き読出しモードが設けられる。それぞれのモードにおいて、読出す全画素から１画素ずつ画素信号が出力されるように、垂直走査回路２２及び水平読出回路２３は制御される。出力された画素信号はＡ／Ｄコンバータ２４によりデジタル信号に変換される。受光部２１に配置されるすべての画素の画素信号が１フレームのＲＡＷデータが原画像信号に定められる。

【0027】

なお、静止画を撮影するとき等のように高い解像度が求められる場合に、通常読出しモードで撮像素子２０は駆動され、全画素から画素信号が生成される。また、撮影待機中における調光及び合焦動作のための情報の検出時や、動画像の撮影時等のように高い動解像度が求められる場合に第１〜第３の間引き読出しモードで撮像素子２０は駆動される。

【0028】

第１の間引き読出しモードでは、図４に示すように、３行３列に並ぶ画素ｐｘによって構成される第１の画素ブロックｐｂ１毎に、第１の画素ブロックｐｂ１の中心の画素ｐｘのみから画素信号が出力される。

【0029】

なお、第１の画素ブロックｐｂ１が出力する画素信号の色信号成分を第１の画素ブロックｐｂ１のカラーフィルタの種類とみなすと、図５に示すように、第１の画素ブロックｐｂ１のカラーフィルタの配列は、ＣＦＡ２１ａにおけるカラーフィルタの配列と同じである。したがって、第１の間引き読出しモードで出力させた原画像信号は、画像信号処理部３０において通常読出しモードで出力させた原画像信号と同じ画像処理を施すことが可能である。

【0030】

第２の間引き読出しモードでは、図６に示すように、５行５列に並ぶ画素ｐｘによって構成される第２の画素ブロックｐｂ２毎に、第２の画素ブロックｐｂ２の中心の画素ｐｘのみから画素信号が出力される。

【0031】

なお、第２の画素ブロックｐｂ２が出力する画素信号の色信号成分を第２の画素ブロックｐｂ２のカラーフィルタの種類とみなすと、図７に示すように、第２の画素ブロックｐｂ２のカラーフィルタの配列は、ＣＦＡ２１ａにおけるカラーフィルタの配列と同じである。したがって、第２の間引き読出しモードで出力させた原画像信号は、画像信号処理部３０において通常読出しモードで出力させた原画像信号と同じ画像処理を施すことが可能である。

【0032】

第３の間引き読出しモードでは、図８に示すように、７行７列に並ぶ画素ｐｘによって構成される第３の画素ブロックｐｂ３毎に、第３の画素ブロックｐｂ３の中心の画素ｐｘのみから画素信号が出力される。

【0033】

なお、第３の画素ブロックｐｂ３が出力する画素信号の色信号成分を第３の画素ブロックｐｂ３のカラーフィルタの種類とみなすと、図９に示すように、第３の画素ブロックｐｂ３のカラーフィルタの配列は、ＣＦＡ２１ａにおけるカラーフィルタの配列と同じである。したがって、第３の間引き読出しモードで出力させた原画像信号は、画像信号処理部３０において通常読出しモードで出力させた原画像信号と同じ画像処理を施すことが可能である。

【0034】

なお、画素ブロックが大きくなるほど、すなわち画素ブロックに含まれる画素の数が多くなると、読出し速度は速くなる一方で解像度は低下する。それゆえ、要求される読出し速度または解像度に応じて第１〜第３の間引き読出しモードは選択される。

【0035】

撮像素子２０、バッファメモリ１４、画像信号処理部３０、システムコントローラ１５、画像表示部１６、画像記録部１７、操作部１８、及びセンサ駆動部１２は、システムバス１３を介して電気的に接続される（図１参照）。システムバス１３に接続されるこれらの部位は、システムバス１３を介して互いに様々な信号やデータを送受信することが可能である。

【0036】

撮像素子２０から出力される原画像信号はバッファメモリ１４に送信され、格納される。バッファメモリ１４はＳＤＲＡＭ等であって、比較的高速なアクセス速度を有し、画像信号処理部３０のワークエリアとして用いられる。また、バッファメモリ１４は、システムコントローラ１５がデジタルカメラ１０の各部位を制御するためのプログラムを実行する際のワークエリアとしても用いられる。

【0037】

画像信号処理部３０は、後に詳細に説明するデモザイキング処理を原画像信号に施し、補間画像信号を生成する。さらに、画像信号処理部３０は、補間画像信号に対して所定の画像処理を施す。なお、補間画像信号は必要に応じて、ＲＧＢ画像信号に変換される。

【0038】

所定の画像処理の施された補間画像信号およびＲＧＢ画像信号は、画像表示部１６に送信される。画像表示部１６は多原色モニタ（図１において図示せず）及びＲＧＢモニタ（図１において図示せず）を有している。多原色モニタ及びＲＧＢモニタはカラー液晶表示素子（図示せず）やバックライト装置（図示せず）を備え、補間画像信号及びＲＧＢ画像信号に相当する画像が表示される。

【0039】

なお、画像表示部１６は、デジタルカメラ１０の背面や側面に設けられる。また、画像表示部１６は、比較的小型の表示素子（図示せず）と拡大光学系（図示せず）とで構成されるＥＶＦ（電子ビューファインダ）であってもよい。さらには両方の形態を有し、使用状況に応じて切替え可能に構成されてもよい。また、画像表示部１６は、有機ＥＬ表示素子等であってもよい。

【0040】

画像信号処理部３０から出力される補間画像信号及びＲＧＢ画像信号は、画像記録部１７にも送信され、格納される。なお、画像記録部１７は、内蔵式或いはコネクタ（図示せず）を介して接続可能なフラッシュメモリである。

【0041】

デジタルカメラ１０の各部位は、システムコントローラ１５によって制御される。各部位を制御するための制御信号がシステムコントローラ１５からシステムバス１３を介して各部位に入力される。

【0042】

なお、画像信号処理部３０及びシステムコントローラ１５は、ＣＰＵ（中央処理装置）等の任意の好適なプロセッサ上で実行されるソフトウェアとして構成したり、処理ごとに特化した専用のプロセッサによって構成したりすることもできる。

【0043】

システムコントローラ１５は、パワーボタン（図示せず）、レリーズボタン（図示せず）、及びダイヤル（図示せず）などの入力機構を有する入力部１８に接続される。使用者によるデジタルカメラ１０の様々な操作入力が入力部１８に検知される。入力部１８に検知される操作入力に応じて、システムコントローラ１５はデジタルカメラ１０の各部位を制御する。

【0044】

次に、画像信号処理部３０の構成について図１０を用いて説明する。画像信号処理部３０は、ＯＢ減算処理部３１、マルチバンド（ＭＢ）デモザイク処理部４０（画像処理システム）、ＮＲ処理部３２、ＭＢ−ＲＧＢ変換部３３、色変換処理部３４、及び色ガンマ補正処理部３５によって構成される。

【0045】

バッファメモリ１４から出力される原画像信号は、ＯＢ減算処理部３１に送信される。ＯＢ減算処理部３１では、ＯＢ画素に生成されたＯＢ画素信号によって各画素信号を減じることによって各画素信号の黒レベルの調整を行う。

【0046】

ＯＢ減算処理部３１から出力される画素信号はＭＢデモザイク処理部４０に送信される。前述のように、原画像信号を構成する画素信号は５バンドの中のいずれか一つの色信号成分のみを有する。すなわち、原画像信号は、図１１に示すように、Ｇ原画像信号成分（（ａ）参照）、Ｃｙ原画像信号成分（（ｂ）参照）、Ｏｒ原画像信号成分（（ｃ）参照）、Ｂ原画像信号成分（（ｄ）参照）、Ｒ原画像信号成分（（ｅ）参照）によって構成される。後述するようにＭＢデモザイク処理部４０におけるデモザイク処理により、全色信号成分が補間される。すなわち、全画素信号は５つの色信号成分を有するように、補間される。

【0047】

デモザイク処理の施された原画像信号は、補間画像信号としてＮＲ処理部３２に送信される（図１０参照）。ＮＲ処理部３２においてコアリング処理やメディアンフィルタ処理等のノイズ低減化処理が実行され、補間画像信号からノイズが除去される。ノイズの除去された補間画像信号は、一時的にバッファメモリ１４に格納される。

【0048】

デジタルカメラ１０が補間画像信号を記録する記録モードに設定されている場合には、バッファメモリ１４に格納された補間画像信号に、必要に応じて圧縮処理が施され、所定のフォーマットに応じて生成された補間画像ファイルとして画像記録部１７に格納される。

【0049】

なお、補間画像ファイル中には、後に画像を再生するときに参照される色再現情報がタグ情報として付加される。なお、色再現情報としては、撮影光学系１１の分光透過率、撮像素子２０の分光感度、撮影時に被写体に照射した光の分光放射輝度、被写体の分光反射率を推定する処理のために参照される被写体固有の統計情報などが含まれる。

【0050】

デジタルカメラ１０の動作モードがマルチバンドの画像を再生する画像再生モードに設定されている場合、ＮＲ処理部３２によりノイズの除去された補間画像信号は色変換処理部３４に送信される。

【0051】

色変換処理部３４は、多原色モニタ１６ｍｂのモニタプロファイル等に関する情報（モニタプロファイル情報）を予め取得する。また、色変換処理部３４は、デジタルカメラ１０の周囲の照明光の分光放射輝度に関する情報（観察照明分光分布情報）を多原色モニタ１６ｍｂの近傍に設けられた光センサ（図示せず）から取得する。色変換処理部３４は、モニタプロファイル情報及び観察照明分光分布情報を用いて補間画像信号に色変換処理を施す。色変換処理の施された補間画像信号は、多原色モニタ１６ｍｂに送信される。

【0052】

上述の色変換処理により、被写体がデジタルカメラ１０の周囲の照明光で照射されているような色合いで、多原色モニタ１６ｍｂに表示される。それゆえ、使用者は再現性を向上させた画像を観察可能である。

【0053】

デジタルカメラ１０では、従来のＲＧＢのみを色信号成分として有するＲＧＢ画像信号を格納及び表示可能である。デジタルカメラ１０がＲＧＢ画像信号を記録する記録モードに設定されている場合には、ノイズの除去された補間画像信号がＭＢ−ＲＧＢ変換処理部３３に送信される。

【0054】

ＭＢ−ＲＧＢ変換処理部３３では、補間画像信号に対してＲＧＢ変換処理が施される。５バンドの色信号成分によって構成される補間画像信号が、ＲＧＢの３バンドの色信号成分によって構成されるＲＧＢ画像信号に変換される。ＲＧＢ画像信号は、一時的にバッファメモリ１４に格納され、必要に応じて圧縮処理が施され、所定のフォーマットに応じて生成されたＲＧＢ画像ファイルとして画像記録部１７に格納される。

【0055】

デジタルカメラ１０がＲＧＢの３バンドの画像を再生する画像再生モードに設定されている場合には、ＲＧＢ画像信号は色・ガンマ補正処理部３５に送信される。色・ガンマ補正処理部３５は、ＲＧＢモニタ１６ｒｇｂのモニタプロファイルを予め取得する。色・ガンマ補正処理部３５では、取得したモニタプロファイルを用いてＲＧＢ画像信号に対して色補正処理及びガンマ補正処理を施す。これらの補正処理が施されたＲＧＢ画像信号はＲＧＢモニタ１６ｒｇｂに送信され、ＲＧＢ画像信号に相当する画像が表示される。

【0056】

次に、デモザイク処理について図１２を用いて説明する。図１２は、ＭＢデモザイク処理部４０によって実行されるデモザイク処理を説明するための概念図である。

【0057】

前述のように、原画像信号ＯＩＳは各画素信号が５バンドのいずれかの色信号成分のみを有している。原画像信号ＯＩＳは、Ｇ原画像信号成分ｇＯＩＳ、Ｃｙ原画像信号成分ｃｙＯＩＳ、Ｏｒ原画像信号成分ｏｒＯＩＳ、Ｂ原画像信号成分ｂＯＩＳ、及びＲ原画像信号成分ｒＯＩＳに分割される。

【0058】

また、原画像信号ＯＩＳの全画素信号を用いて全画素に対して適応的カーネル関数が算出される（図１２における“ａＫ”参照）。適応的カーネル関数と、Ｇ原画像信号成分ｇＯＩＳとを用いて適応的ガウシアン補間法によりＧ原画像信号成分ｇＯＩＳにおける欠落した画素信号が補間され、参照画像信号ＲＩＳ（一次参照画像）が生成される（図１２における“ａＧＵ”参照）。

【0059】

適応的カーネル関数、参照画像信号ＲＩＳ、及びＧ原画像信号成分ｇＯＩＳを用いて適応的ジョイントバイラテラル補間法（図１２における“ａＪＢＵ”参照）によりＧ原画像信号成分ｇＯＩＳにおける欠落した画素信号が補間され、Ｇ補間画像信号成分ｇＩＩＳが生成される。

【0060】

Ｇ原画像信号成分ｇＯＩＳの代わりに、Ｃｙ原画像信号成分ｃｙＯＩＳを用いて同様の処理を施すことによりＣｙ補間画像信号成分ｃｙＩＩＳが生成される。同様にして、Ｏｒ補間画像信号成分ｏｒＩＩＳ、Ｂ補間画像信号成分ｂＩＩＳ、及びＲ補間画像信号成分ｒＩＩＳが生成される。全色信号成分を有する画素信号を全画素に対して生成することにより補間画像信号ＩＩＳが生成される。

【0061】

次に、このようなデモザイク処理を実行するＭＢデモザイク処理部４０の構成及び機能を、図１３を用いて説明する。ＭＢデモザイク処理部４０は、分配部４１、微分値算出部４２、適応的カーネル算出部４３、参照画像作成部４４、及び補間画像作成部４５によって構成される。

【0062】

ＭＢデモザイク処理部４０に受信される原画像信号は、分配部４１に入力される。分配部４１では、微分値算出部４２、参照画像作成部４４、及び補間画像作成部４５に、必要に応じた色信号成分が分配される。

【0063】

微分値算出部４２には、原画像信号を構成する全画素信号が送信される。微分値算出部４２では、画素毎に２方向の微分値（微分情報）が算出される。微分値の算出のために、全画素が順番に注目画素に指定される。指定された注目画素の右斜め上及び左斜め下に隣接する画素の画素信号の差と、右斜め下及び左斜め上に隣接する画素の画素信号の差とが微分値として算出される。

【0064】

なお、前述のように、いずれの画素を注目画素とする場合でも、右斜め上及び左斜め下の画素では同じ色信号成分の画素信号が生成され、右斜め下及び左斜め上の画素では同じ色信号成分の画素信号が生成される。それゆえ、上述の微分値は、注目画素を中心とする局所的な画像における両斜め方向の勾配を示している。全画素に対して算出された微分値は、適応的カーネル算出部４３に送信される。

【0065】

なお、全画素に対して算出された微分値は、適応的カーネル算出部４３だけでなく、ＮＲ処理部３２、ＭＢ−ＲＧＢ変換処理部３３、色変換処理部３４、及び色・ガンマ補正処理部３５にも送信される。微分値は、それぞれの部位における処理に用いられる。

【0066】

適応的カーネル算出部４３では、微分値に基づいて、画素毎に適応的カーネル関数が算出される。適応的カーネル関数の算出のために、すべての画素が順番に注目画素に指定される。また、注目画素を中心とする注目画素の周囲の７行７列に配置される画素が周囲画素に指定される。注目画素及び周囲画素の指定を終えると、注目画素に対する共分散行列Ｃｘの逆行列が算出される。

【0067】

逆行列は、（１）式に注目画素及び周囲画素の微分値を代入することにより算出される。

【0068】

【数1】

【0069】

なお、（１）式において、Ｎ_ｘは周囲画素の画素位置集合であり、｜Ｎ_ｘ｜は画素位置集合の画素数である。また、Ｚ_ｕ（ｘ_ｊ）は、周囲画素ｘ_ｊのｕ方向の微分値であり、Ｚ_ｖ（ｘ_ｊ）は周囲画素ｘ_ｊのｖ方向の微分値である。なお、図２に示すように、ｕ方向とは右斜め下から左斜め上に向かう方向であり、ｖ方向とは左斜め下から右斜め上に向かう方向である。

【0070】

注目画素の共分散行列が算出されると、次に注目画素に対するカーネル関数の大きさを表すパラメータμ_ｘが算出される。パラメータμ_ｘの算出のために、共分散行列Ｃ_ｘの固有値λ_１、λ_２が算出される。固有値の積λ_１×λ_２が閾値Ｓと比較される。固有値の積λ_１×λ_２が閾値Ｓ以上である場合には、パラメータμ_ｘは１と計算される。一方、固有値の積λ_１×λ_２が閾値Ｓより小さい場合には、（Ｓ／（λ_１×λ_２））の四乗根がパラメータμ_ｘとして計算される。

【0071】

パラメータμ_ｘの算出後、注目画素に対する適当的カーネル関数が算出される。適応的カーネル関数ｋ_ｘ（ｘ_ｊ−ｘ）は（２）式により算出される。

【0072】

【数2】

【0073】

（２）式において、ｘ_ｊは周囲画素の座標であり、ｘは注目画素の座標であり、Ｒは４５°の回転行列であり、ｈは所定の設計パラメータであり、例えば１に定められる。

【0074】

全画素に対して算出された適応的カーネル関数ｋ_ｘ（ｘ_ｊ−ｘ）は、参照画像作成部４４及び補間画像作成部４５に送信される。参照画像作成部４４では、原画像信号中に最も要素数の多いＧ色信号成分（第１の色信号成分）が分配部４１から送信される。参照画像作成部４４では、適応的ガウシアン補間法により全体の１／２の画素に対してのみ存在するＧ色信号成分の補間が行われ、参照画像信号が生成される。

【0075】

適応的ガウシアン補間法を用いたＧ原画像信号成分における欠落した画素信号の補間について説明する。Ｇ原画像信号成分において補間される画素、すなわち原画像信号においてＧ色信号成分を有さない画素が順番に注目画素に指定される。注目画素を中心とする注目画素の周囲の７行７列の画素が周囲画素に指定される。

【0076】

注目画素の画素信号は、周囲画素のＧ色信号成分及び適応的カーネル関数に基づいて（３）式により算出される。

【0077】

【数3】

【0078】

なお、ω_ｘは（４）式により算出される。Ｍ_ｘｉはバイナリマスクであり、周囲画素がＧ色信号成分を有するときに１であり、周囲画素がＧ色信号成分を有さないときには０である。Ｓ_ｘｉは周囲画素のＧ色信号成分である。

【0079】

【数4】

【0080】

注目画素に指定された全画素に対して補間されたＧ色信号成分と、Ｇ原画像信号成分とにより構成される参照画像信号は、補間画像作成部４５に送信される。補間画像作成部４５には、前述のように適応的カーネル関数ｋ_ｘ（ｘ_ｉ−ｘ）、及び参照画像信号が適応的カーネル算出部４３及び参照画像作成部４４から送信される。また、前述のように、補間画像作成部４５には、分配部４１からＧ原画像信号成分、Ｃｙ原画像信号成分、Ｏｒ原画像信号成分、Ｂ原画像信号成分、及びＲ原画像信号成分が順番に送信される。

【0081】

補間画像作成部４５では、適応的ジョイントバイラテラレル補間法により、生成されていない色信号成分が全画素に対して補間される。例えば、全体の１／２の画素に対してのみ存在するＧ色信号成分を用いて、他の画素のＧ色信号成分が補間される。

【0082】

同様に、それぞれ１／８の画素に対してのみ存在するＣｙ色信号成分、Ｏｒ色信号成分、Ｂ色信号成分、及びＲ色信号成分を用いて、他の画素のＣｙ色信号成分、Ｏｒ色信号成分、Ｂ色信号成分、及びＲ色信号成分が補間される。全色信号成分の補間により、全色信号成分を有する全画素信号によって構成される補間画像信号が生成される。なお、Ｇ色信号成分に関しては参照画像の作成において補間されているが、参照画像を用いた補間が別に行われる。

【0083】

適応的ジョイントバイラテラル補間法を用いた各色信号成分の補間について、Ｇ色信号成分を例にして説明する。Ｇ色信号成分の補間が行われるべき画素、すなわち原画像信号においてＧ色信号成分を有さない画素が順番に注目画素に指定される。注目画素を中心とする注目画素の周囲の７行７列の画素が周囲画素に指定される。

【0084】

注目画素の色信号成分は、周囲画素のＧ色信号成分、適応的カーネル関数、及び参照画像信号に基づいて（５）式により算出される。

【0085】

【数5】

【0086】

なお、（５）式において、Ｉ_ｘｉは参照画像における周囲画素の画素値、Ｉ_ｘは参照画像における注目画素の画素値である。ｒ（Ｉ_ｘｉ−Ｉ_ｘ）は、注目画素と周囲画素との画素値の差分に応じた重み付けである。

【0087】

注目画素に対するＧ色信号成分の補間により、Ｇ補間画像信号成分が生成される。以後、同様にＣｙ色信号成分、Ｏｒ色信号成分、Ｂ色信号成分、及びＲ色信号成分もＧ色信号成分と同様に補間が行われ、Ｃｙ補間画像信号成分、Ｏｒ補間画像信号成分、Ｂ補間画像信号成分、及びＲ補間画像信号成分が生成される。このように全色信号成分の補間により補間画像信号が生成される。

【0088】

以上のような構成の第１の実施形態のＣＦＡによれば、５バンド以上のカラーフィルタを有しながら、色補間を行う前に全画素に対する共通の２方向の微分値、即ち勾配情報を取得することが可能である。

【0089】

一般的に自然画像では、高周波成分においてバンド間の相関が強いことが知られている。したがって、各バンドの画像は同じエッジ構造を有する。そこで、すべてのバンドの勾配情報は等しいと仮定される。それゆえ、何れの色信号成分の微分値であっても、後の画像処理などに用いるのに十分な精度が得られる。本実施形態のように微分値を取得する２色同士の相関が高い場合には、より高精度な情報を取得可能である。

【0090】

さらに、全画素で共通の方向の微分値を取得することにより、画素毎に異なる方向の微分値を取得する場合に比べて、処理の簡素化が可能である。また、勾配情報の方向を合わせるための変換による高周波成分の情報欠落を低減化した高精度の勾配情報を取得可能である。

【0091】

精度の高い勾配情報を用いれば、上述のように欠落する色信号成分の補間に用いることによって偽色の発生を低減化する補間が可能である。さらに、精度の高い勾配情報を用いることにより、精度の高いノイズ除去処理、マルチバンドからＲＧＢへの変換処理、色変換処理、及び色・ガンマ補正処理を実行することが可能である。

【0092】

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。

【0093】

例えば、上記の実施形態において、５バンドのカラーフィルタ配置が定められているが、任意の画素を挟む２画素のカラーフィルタが同じとなるようなカラーフィルタの配置であれば、本実施形態と同様の効果が得られる。

【0094】

例えば、図１４に示すようにＧ、Ｃｙ、Ｏｒ、Ｂ、Ｒカラーフィルタを配置したＣＦＡ２１００ａであっても、本実施形態と同様の効果が得られる。ＣＦＡ２１００ａでは、何れの画素を注目画素としても微分値の算出に用いる画素に必ず相関の高い色が含まれる。すなわち、Ｏｒカラーフィルタの斜方には必ずＲカラーフィルタが配置されている。微分値を算出する際に相関の高い色が必ず含まれることにより、高精度の微分値を算出可能である。

【0095】

また、図１５に示すように、Ｇ、Ｃｙ、Ｏｒ、Ｂ、Ｒカラーフィルタを配置したＣＦＡ２１０１ａであっても、すべての画素において右斜め上と左斜め下の画素のカラーフィルタのバンドは同じであり、左斜め上と右斜め下の画素ｐｘのカラーフィルタのバンドも同じである。したがって、本実施形態のように、原画像信号から直接微分値を算出することが可能である。

【0096】

また、ＣＦＡ２１０１ａにおいても、本実施形態のように間引き読出しも可能である。例えば、図１６に示すように、３行３列に並ぶ画素ｐｘによって構成される第１の画素ブロックｐｂ１毎に画素信号を読出すことも可能である。本実施形態と同様に、第１の画素ブロックｐｂ１の中心の画素ｐｘのカラーフィルタの種類を第１の画素ブロックｐｂ１のカラーフィルタの種類とみなして、第１の画素ブロックｐｂ１のカラーフィルタの配列は、ＣＦＡ２１ａの配列と同じとなる。

【0097】

さらには、例えば、図１７に示すように、５行５列に並ぶ画素ｐｘによって構成される第２の画素ブロックｐｂ２毎に画素信号を読出すことも可能である。本実施形態と同様に、第２の画素ブロックｐｂ２の中心の画素ｐｘのカラーフィルタの種類を第２の画素ブロックｐｂ２のカラーフィルタの種類とみなして、第２の画素ブロックｐｂ２のカラーフィルタの配列は、ＣＦＡ２１ａの配列と同じである。

【0098】

また、本実施形態においては、注目画素の微分値の算出に用いる２画素は注目画素に隣接する構成であるが、注目画素から等間隔であれば隣接しなくてもよい。例えば、注目画素から２画素分右で２画素分上の画素と、２画素分左で２画素分下の画素との差分を算出することにより微分値を算出してもよい。

【0099】

注目画素に隣接する画素から、全画素に対して共通の方向の微分値を取得可能なカラーフィルタの種類は５〜８種類に限定される。一方で、注目画素から等間隔の画素から微分値を取得するカラーフィルタの種類は５〜８種類に限定されず、９種類以上のカラーフィルタを用いて構成することも可能である。

【0100】

したがって、注目画素に隣接する２画素のカラーフィルタの種類が異なっていても、注目画素から等間隔だけ離れた２画素のカラーフィルタの種類が同じとなるようなカラーフィルタの配列であれば、本実施形態と同様の効果を得ることは可能である。

【0101】

例えば、図１８及び図１９に示すカラーフィルタアレイ２１０２ａ、２１０３ａを用いても、本実施形態と同様の効果を得ることが可能である。すなわち、ＣＦＡ２１０２ａ、２１０３ａにおいて、いずれの画素ｐｘを注目画素としても、注目画素から２画素分右で２画素分上の画素と、２画素分左で２画素分下の画素とのカラーフィルタの種類は同じになる。また、注目画素から２画素分左で２画素分上の画素と、２画素分右で２画素分下の画素とのカラーフィルタの種類は同じになる。

【0102】

また、本実施形態においては、ｕ方向及びｖ方向ともに微分値算出に用いる画素は注目画素から１画素分の間隔を有する構成であるが、ｕ方向とｖ方向とで間隔が異なっていてもよい。間隔に応じた長さで除すことにより微分値を算出可能である。

【0103】

また、本実施形態においては、注目画素のｕ方向及びｖ方向に対して微分値が算出される構成であるが、算出される微分値の方向はｕ方向及びｖ方向に限定されない。異なる２方向の微分値が算出可能なカラーフィルタ配列であって、その配列に応じて画素信号を読出し微分値を算出すれば本実施形態と同様の効果を得ることが可能である。

【0104】

例えば、本実施形態におけるＣＦＡ２１ａでは、何れの画素を注目画素としても、注目画素から行方向に沿った両側に２画素分離れた２画素のカラーフィルタの種類は同じであり、注目画素から列方向に沿った両側に２画素分はなれた２画素のカラーフィルタの種類も同じである。したがって、ＣＦＡ２１ａから出力される原画像信号において、注目画素から行方向に２画素分離れた２画素の画素信号に基づいて微分値を算出し、列方向に２画素分離れた２画素の画素信号に基づいて微分値を算出する構成であれば、本実施形態と同様の効果が得られる。

【0105】

また、本実施形態においては、微分値を取得する方向は２方向であるが、微分値を取得する方向は２方向に限定されない。何れの画素においても少なくとも２つの共通の方向の微分値を算出可能なカラーフィルタ配列であって、その配列に応じて画素信号を読出し、微分値を算出すれば、本実施形態と同様の効果が得られる。

【0106】

例えば、本実施形態におけるＣＦＡ２１ａでは、何れの画素を注目画素としても、注目画素から行方向に沿った両側に２画素分離れた２画素のカラーフィルタの種類は同じであり、注目画素から列方向に沿った両側に２画素分離れた２画素のカラーフィルタの種類は同じであり、注目画素からｕ方向に沿った両側に２画素分離れた２画素のカラーフィルタの種類は同じであり、注目画素からｖ方向に沿った両側に２画素分離れた２画素のカラーフィルタの種類も同じである。したがって、４方向それぞれ２画素分離れた２画素の画素信号に基づいて微分値を算出する構成であれば、本実施形態と同様の効果が得られる。微分値を取得する方向を増加させることにより、より精度の高い勾配情報を取得可能である。

【0107】

また、画素毎に、微分値を算出する画素の間隔が異なっていてもよい。例えば、ＣＦＡ２１ａでは、Ｇカラーフィルタでは注目画素から行方向および列方向に沿った両側に２画素分離れた２画素のカラーフィルタの種類は同じである。さらに、Ｇカラーフィルタ以外の４種類のカラーフィルタでは注目画素から行方向および列方向に沿った両側に１画素分離れた２画素のカラーフィルタの種類は同じである。したがって、ＣＦＡ２１ａから出力される原画像信号において、画素の種類に応じて異なる画素間隔である微分値を算出する構成であれば、本実施形態と同様の効果が得られる。

【0108】

また、図２０に示すようなハニカム構造の撮像素子に対しても、第１の実施形態と同様の効果を得ることが可能である。図２０に示すＣＦＡ２１０４ａにおいては、何れの画素を注目画素としても、行方向から６０°方向に沿った両側に２画素分離れた２画素のカラーフィルタの種類は同じであり、列方向から３０°方向に沿った両側に２画素分離れた２画素のカラーフィルタの種類も同じである。

【0109】

また、図２１に示すように、行列状に配列された画素を４５°傾けた構成の撮像素子に対しても、第１の実施形態と同様の効果を得ることが可能である。図２１に示すＣＦＡ２１０５ａにおいては、何れの画素を注目画素としても、注目画素から行方向及び列方向に沿った両側に離れた２画素のカラーフィルタの種類は同じである。

【0110】

また、本実施形態では５バンドのカラーフィルタがＣＦＡ２１ａに設けられる構成であるが、６バンド以上のカラーフィルタが設けられてもよい。

【0111】

例えば、図２２に示すようにＣ１〜Ｃ６カラーフィルタの６バンドのカラーフィルタが配置されたＣＦＡ２１０６ａによっても、何れの画素ｐｘにおいてもｕ方向及びｖ方向に微分値を算出可能である。また、ＣＦＡ２１０６ａによれば、本実施形態と同様に、５行５列に並ぶ画素ｐｘによって構成される第２の画素ブロックの中心に配置された単一の画素ｐｘの画素信号のみを出力して画素ブロック毎の微分値を算出することも可能である。

【0112】

また、図２３、図２４に示すようにＣ１〜Ｃ６カラーフィルタの６バンドのカラーフィルタが配置されたＣＦＡ２１０７ａ、２１０８ａによっても、何れの画素ｐｘにおいてもｕ方向及びｖ方向に２画素分の間隔で離れた画素ｐｘを用いて微分値を算出可能である。

【0113】

また、例えば、図２５に示す分光感度を有するＣ１〜Ｃ７カラーフィルタを用いた、図２６に示すＣＦＡ２１０９ａであっても、本実施形態と同様の効果が得られる。また、ＣＦＡ２１０９ａによれば、本実施形態と同様に、５行５列に並ぶ画素ｐｘによって構成される第２の画素ブロックの中心に配置された単一の画素の画素信号のみを出力して画素ブロック毎の微分値を算出することも可能である。

【0114】

また、図２７〜図２９に示す分光感度を有するＣ１〜Ｃ７カラーフィルタをそれぞれ用いた、図３０〜３２に示すＣＦＡ２１１０ａ、２１１１ａ、２１１２ａによっても、何れの画素ｐｘにおいてもｕ方向及びｖ方向に２画素分の間隔で離れた画素を用いて微分値を算出可能である。

【0115】

また、例えば、図３３に示す分高感度を有するＣ１〜Ｃ８カラーフィルタを用いた、図３４に示すＣＦＡ２１１３ａによっても、何れの画素ｐｘにおいてもｕ方向及びｖ方向に微分値を算出可能である。また、ＣＦＡ２１１３ａによれば、本実施形態と同様に、３行３列、５行５列、及び７行７列に並ぶ画素ｐｘによってそれぞれ構成される第１、第２、第３の画素ブロックの中心に配置された単一の画素ｐｘの画素信号のみを出力して画素ブロック毎の微分値を算出することも可能である。

【0116】

また、図３５に示す分光感度を有するＣ１〜Ｃ８カラーフィルタを用いた、図３６に示すＣＦＡ２１１４ａによっても、何れの画素ｐｘにおいてもｕ方向及びｖ方向に２画素分の間隔で離れた画素ｐｘを用いて微分値を算出可能である。

【0117】

また、例えば、図３７に示す分光感度を有するＣ１〜Ｃ９カラーフィルタを用いた、図３８に示すＣＦＡ２１１５ａによっても、何れの画素ｐｘにおいてもｕ方向及びｖ方向に２画素分の間隔で離れた画素ｐｘを用いて微分値を算出可能である。また、ＣＦＡ２１１５ａによれば、本実施形態と同様に、５行５列に並ぶ画素ｐｘによって構成される第２の画素ブロックの中心に配置された単一の画素ｐｘの画素信号のみを出力して画素ブロック毎の微分値を算出することも可能である。

【0118】

また、例えば、図３９、４０に示す分光感度を有するＣ１〜Ｃ１０カラーフィルタをそれぞれ用いた、図４１、４２に示すＣＦＡ２１１６ａ、２１１７ａによっても、何れの画素ｐｘにおいてもｕ方向及びｖ方向に２画素分の間隔で離れた画素ｐｘを用いて微分値を算出可能である。なお、ＣＦＡ２１１６ａ、２１１７ａは、８行８列に並ぶ画素によりカラーフィルタ繰返し単位が構成される。また、ＣＦＡ２１１６ａ、２１１７ａによれば、本実施形態と同様に、３行３列に並ぶ画素ｐｘによって構成される第１の画素ブロックの中心に配置された単一の画素ｐｘの画素信号のみを出力して画素ブロック毎の微分値を算出することも可能である。

【0119】

また、本実施形態では、通常読出しモードにおいて、全画素信号を用いて微分値を算出する構成であるが、微分値を算出する画素は全画素でなくてもよい。

【0120】

例えば、図３０に示すＣＦＡ２１１０ａにおいては、Ｃ１、Ｃ２、Ｃ４、Ｃ６、Ｃ７カラーフィルタについてのみ微分値を算出してもよい。ＣＦＡ２１１０ａにおいては、いずれの画素を注目画素としても、ｕ方向、ｖ方向、行方向、および列方向にそれぞれ注目画素から両側に２画素分離れた２画素のカラーフィルタの種類は同じであり、微分値を算出可能である。しかし、上述の種類のカラーフィルタ（Ｃ１、Ｃ２、Ｃ４、Ｃ６、Ｃ７）を有する画素を注目画素とする場合には、ｕ方向およびｖ方向にそれぞれ注目画素から両側に１画素分離れた２画素のカラーフィルタの種類が同じであり、微分値を算出可能である。

【0121】

また、ＣＦＡ２１１０ａにおけるＣ４カラーフィルタのようにサンプル密度が最大である画素の画素信号のみを用いて、微分値を算出してもよい。特に、本実施形態のように、ベイヤー配列のＧカラーフィルタと同様に、全体の５０％の割合で１種類のカラーフィルタが設けられる構成であれば、全画素から算出した微分値に比べて精度が低下するものの、当該１種類のカラーフィルタの画素信号のみから微分値を算出し、後の信号処理に利用可能である。

【0122】

微分値の最適な算出方法は、ＣＦＡによって異なっている。図２に示すＣＦＡ２１ａの場合には、いずれの画素を注目画素としても、注目画素に隣接する画素からｕ方向およびｖ方向の微分値を算出可能である。さらに、ＣＦＡ２１ａの場合には、いずれの画素を注目画素としても、注目画素から行方向および列方向に沿って２画素分離れた２画素から微分値を算出可能である。このように任意のＣＦＡにおいても、複数の方法により微分値を算出可能な場合がある。このようなＣＦＡに対しては、算出された微分値を用いた後の信号処理および処理速度などの観点から最適な微分値算出方法を選択可能である。ただし、注目画素から２画素分離れた画素から算出された微分値よりも、注目画素に隣接する画素から算出された微分値の方が高精度である。さらに、微分値を算出しない画素が存在するよりも全画素位置において微分値が算出される構成の方が好ましい。

【0123】

また、本実施形態では、フレームレートの高速化のために、間引き読出し可能な構成であるが、間引きによる偽像の発生を低下させるために、画素加算して読出してもよい。

【0124】

例えば、本実施形態における第１の間引き読出しモードにおいては、第１の画素ブロックｐｂ１（図３参照）の中心から右上と左下に配置される２画素ｐｘは同じ種類のカラーフィルタを有する。そこで、２画素ｐｘの画素信号を加算させて、第１の画素ブロックｐｂ１の画素信号として出力される。出力される画素信号の色信号成分を第１の画素ブロックｐｂ１のカラーフィルタのバンドとすると、第１の画素ブロックｐｂ１のカラーフィルタの配列は、ＣＦＡ２１ａにおけるカラーフィルタの配列と同じである。

【0125】

また、本実施形態における第２の間引き読出しモードにおいては、第２の画素ブロックｐｂ２（図５参照）の中心と４隅とに配置される５画素は同じ種類のカラーフィルタを有する。そこで、５画素の画素信号を加算させて、第２の画素ブロックｐｂ２の画素信号として出力される。出力される画素信号の色信号成分を第２の画素ブロックｐｂ２のカラーフィルタのバンドとすると、第２の画素ブロックｐｂ２のカラーフィルタの配列は、ＣＦＡ２１ａにおけるカラーフィルタの配列と同じである。

【0126】

また、本実施形態では、間引き読出しモードでは、３行３列、５行５列、または７行７列に並ぶ画素を画素ブロックとして、間引き読出しをする構成であるが、４行４列の画素によって構成されるカラーフィルタ繰り返し単位に対しては、（２ｋ＋３）行（２ｋ＋３）列の画素（ｋは０以上の整数）によって構成される画素ブロック中の所定の位置の単一の画素から画素信号を読出してもよい。このような構成の画素ブロックであれば、ＣＦＡ２１ａにおけるカラーフィルタの配列と画素ブロックのカラーフィルタの配列は同じになる。

【0127】

また、本実施形態では、間引き読出しをするときには、画素ブロックの中心の画素から画素信号を出力させる構成であるが、画素ブロック内の何れの位置の画素から画素信号を出力させてもよい。

【0128】

また、本実施形態では、算出した微分値を適応的カーネル算出部４３、ＮＲ処理部３２、ＭＢ−ＲＧＢ変換処理部３３、色変換処理部３４、及び色・ガンマ補正処理部３５に送信する構成であるが少なくともいずれか一つに送信する構成であってもよいし、微分値に基づいたいかなる処理に用いられてもよい。例えば、エッジ強調処理、局所のコントラスト算出処理、特徴量抽出処理等に用いることも可能である。

【符号の説明】

【0129】

１０ デジタルカメラ
２０ 撮像素子
２１ａ、２１００ａ、２１０１ａ、２１０２ａ、２１０３ａ、２１０４ａ、２１０５ａ、２１０６ａ、２１０７ａ、２１０８ａ、２１０９ａ、２１１０ａ、２１１１ａ、２１１２ａ、２１１３ａ、２１１４ａ、２１１５ａ、２１１６ａ、２１１７ａ カラーフィルタアレイ（ＣＦＡ）
２１ｕ カラーフィルタ繰返し単位
３０ 画像信号処理部
４０ マルチバンドデモザイク（ＭＢ）処理部
ｐｂ１〜ｐｂ３ 第１〜第３の画素ブロック
ｐｘ 画素

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】

【図42】