特許 5748513 撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5748513

(24)【登録日】2015年5月22日

(45)【発行日】2015年7月15日

(54)【発明の名称】撮像装置

(51)【国際特許分類】

   H04N 9/07 20060101AFI20150625BHJP

   H04N 5/232 20060101ALI20150625BHJP

【ＦＩ】

   H04N9/07 C

   H04N9/07 A

   H04N5/232 Z

【請求項の数】6

【全頁数】30

(21)【出願番号】特願2011-49128(P2011-49128)

(22)【出願日】2011年3月7日

(65)【公開番号】特開2012-186705(P2012-186705A)

(43)【公開日】2012年9月27日

【審査請求日】2014年2月21日

(73)【特許権者】

【識別番号】313003417

【氏名又は名称】株式会社ザクティ

(74)【代理人】

【識別番号】110001933

【氏名又は名称】特許業務法人 佐野特許事務所

(74)【代理人】

【識別番号】100085501

【弁理士】

【氏名又は名称】佐野 静夫

(74)【代理人】

【識別番号】100124132

【弁理士】

【氏名又は名称】渋谷 和俊

(74)【代理人】

【識別番号】100128842

【弁理士】

【氏名又は名称】井上 温

(74)【代理人】

【識別番号】100129562

【弁理士】

【氏名又は名称】山本 昌則

(74)【代理人】

【識別番号】100141092

【弁理士】

【氏名又は名称】山本 英生

(72)【発明者】

【氏名】恒川 法和

【審査官】 鈴木 肇

(56)【参考文献】

【文献】 特開２００４−２６６７７４（ＪＰ，Ａ）

【文献】 特開２００２−０７７７２４（ＪＰ，Ａ）

【文献】 特開２００９−００５２３２（ＪＰ，Ａ）

【文献】 特開２００６−２１７４１６（ＪＰ，Ａ）

【文献】 特開２０１０−１７１５４８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ９／０４ − ９／１１

Ｈ０４Ｎ ５／２２２− ５／２５７

(57)【特許請求の範囲】

【請求項1】

複数の受光画素から成り、前記複数の受光画素に複数色の色フィルタを設けた単板方式の撮像素子と、
前記撮像素子上における抽出領域内の受光画素信号から出力画像の画像データを生成する信号処理部と、を備えた撮像装置において、
前記信号処理部は、前記出力画像の各画素に対して複数の色信号が割り当てられるように前記抽出領域内の受光画素信号に対して色補間処理を実行することで前記出力画像の画像データを生成し、
前記抽出領域内の受光画素数である入力画素数と前記出力画像の画素数である出力画素数とに応じて前記色補間処理の内容を制御することで、前記出力画像の空間周波数特性を制御する
ことを特徴とする撮像装置。

【請求項2】

前記信号処理部は、前記入力画素数に対する前記出力画素数の比の変化に伴って前記色補間処理の内容を変化させることで、前記出力画像の空間周波数特性を変化させる
ことを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記信号処理部は、
前記比が第１の比である場合、前記色補間処理として第１の色補間処理を実行し、
前記比が第１の比よりも大きな第２の比である場合、前記色補間処理として第２の色補間処理を実行し、
前記第１の色補間処理による平滑化の強度は前記第２の色補間処理による平滑化の強度よりも大きい、或いは、前記第２の色補間処理によるエッジ強調の強度は前記第１の色補間処理によるエッジ強調の強度よりも大きい
ことを特徴とする請求項２に記載の撮像装置。

【請求項4】

指定されたズーム倍率に応じて前記抽出領域の大きさを設定する抽出領域設定部を更に備え、
前記ズーム倍率の変化に伴って前記抽出領域の大きさが変化し、
前記信号処理部は、前記ズーム倍率の変化に連動して前記出力画像の空間周波数特性を変化させる
ことを特徴とする請求項１〜請求項３の何れかに記載の撮像装置。

【請求項5】

前記信号処理部は、前記入力画素数及び前記出力画素数と、前記受光画素信号に基づく動き情報又は当該撮像装置の動きを検出するセンサの検出結果に基づく動き情報とに応じて、前記出力画像の空間周波数特性を制御する
ことを特徴とする請求項１〜請求項４の何れかに記載の撮像装置。

【請求項6】

複数の受光画素から成る撮像素子と、
前記撮像素子上における抽出領域内の受光画素信号から出力画像の画像データを生成する信号処理部と、を備えた撮像装置において、
前記信号処理部は、前記抽出領域内の受光画素数である入力画素数と、前記出力画像の画素数である出力画素数と、前記受光画素信号に基づく動き情報又は当該撮像装置の動きを検出するセンサの検出結果に基づく動き情報とに応じて、前記出力画像の空間周波数特性を制御する
ことを特徴とする撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、デジタルカメラ等の撮像装置に関する。

【背景技術】

【0002】

撮像素子における全受光画素領域の内、一部分の領域内の受光画素信号のみを利用し、出力画像を得る方法が提案されている（例えば、特許文献１参照）。このような方法は、図２８（ａ）及び（ｂ）に示すような方法であると考えることができる。

【0003】

図２８（ａ）及び（ｂ）に示す方法では、ユーザの指定ズーム倍率に応じた大きさを有する抽出枠（抽出領域）を撮像素子３３上に設定し、抽出枠内の受光画素信号からＤ_ＩＮメガの画像データを得た後、Ｄ_ＩＮメガの画像を縮小することで規定のＤ_ＯＵＴメガ（例えば２メガ）の画像データを出力画像の画像データとして得る。Ｄ_ＩＮ≧Ｄ_ＯＵＴであり、ＲＡＷズーム倍率が大きくなるに従ってＤ_ＩＮはＤ_ＯＵＴに近づく。従って、ＲＡＷズーム倍率が増加するに伴い、抽出枠が小さくなって出力画像の画角が小さくなる。即ち、ＲＡＷズーム倍率を上げることで、画質劣化を伴うことなく、光学ズーム倍率が上がったかのような効果が得られる。また、信号処理における初期の段階で画像データ量を縮減できるため、高フレームレートが必要となる動画像撮影にとってＲＡＷズームは特に有益である。

【0004】

図２８（ａ）の画像９０１及び９０２は、夫々、ＲＡＷズーム倍率が比較的小さいときに得られる８メガの入力画像及び２メガの出力画像であり、図２８（ｂ）の画像９１１及び９１２は、夫々、ＲＡＷズーム倍率が比較的大きいとき（ＲＡＷズーム倍率が上限倍率に一致するとき）に得られる２メガの入力画像及び２メガの出力画像である。即ち、図２８（ａ）のケースでは、√（Ｄ_ＯＵＴ／Ｄ_ＩＮ）＝０．５であり、図２８（ｂ）のケースでは、√（Ｄ_ＯＵＴ／Ｄ_ＩＮ）＝１．０である。

【0005】

２メガの出力画像９０２にて表現可能な最大の空間周波数は８メガの入力画像９０１のそれよりも低い。一方、２メガの出力画像９１２にて表現可能な最大の空間周波数は２メガの入力画像９１１のそれと同等である。しかしながら、従来の一手法では、比（Ｄ_ＯＵＴ／Ｄ_ＩＮ）の如何に関わらず、即ちＲＡＷズーム倍率の如何に関わらず、同じ信号処理（例えば、デモザイキング処理）を行っていた。

【0006】

尚、ノイズ除去を目的として、入力画像（ＲＡＷデータ）に対してフィルタリング処理を成す技術が提案されている（例えば、特許文献２参照）。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１０−１７１５４８号公報

【特許文献2】特開２００８−１５３９１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

入力画像又は出力画像に対して行われる信号処理が√（Ｄ_ＯＵＴ／Ｄ_ＩＮ）＝１である状態に適した信号処理である場合において、√（Ｄ_ＯＵＴ／Ｄ_ＩＮ）が実際には０．５である場合、８メガの入力画像９０１では表現できるが２メガの出力画像９０２では表現できない高周波の空間周波数成分が出力画像９０２に混入し、出力画像９０２に折り返し歪みが発生することがある。折り返し歪みは、偽色やノイズとなって現れる。

【0009】

このような折り返し歪みの発生を抑制すべく、信号処理に、平滑化（ローパスフィルタ）の機能を内在させておくこともできる。しかし、信号処理に一律に平滑化の機能を内在させておくと、√（Ｄ_ＯＵＴ／Ｄ_ＩＮ）＝１である場合において信号を無駄に平滑化してしまい、出力画像の解像力が不足することがある。

【0010】

折り返し歪みの抑制と解像力不足の抑制をバランス良く両立させることが有益であることは言うまでもない。尚、特許文献２の方法では、このような両立は実現されない。

【0011】

そこで本発明は、折り返し歪みの抑制と解像力不足の抑制をバランス良く両立させることが可能な撮像装置を提供することを目的とする。

【課題を解決するための手段】

【0012】

本発明に係る撮像装置は、複数の受光画素から成る撮像素子と、前記撮像素子上における抽出領域内の受光画素信号から出力画像の画像データを生成する信号処理部と、を備えた撮像装置において、前記信号処理部は、前記抽出領域内の受光画素数である入力画素数と、前記出力画像の画素数である出力画素数とに応じて、前記出力画像の空間周波数特性を制御することを特徴とする。

【0013】

これにより、入力画像数及び出力画像数に応じて適切な空間周波数制御を成すことができ、折り返し歪みの抑制と解像力不足の抑制をバランス良く両立させることも可能となる。

【0014】

具体的には例えば、前記信号処理部は、前記入力画素数に対する前記出力画素数の比の変化に伴って、前記出力画像の空間周波数特性を変化させる。

【0015】

より具体的には例えば、前記撮像素子は、前記複数の受光画素に複数色の色フィルタを設けた単板方式の撮像素子であり、前記信号処理部は、前記出力画像の各画素に対して複数の色信号が割り当てられるように前記抽出領域内の受光画素信号に対して色補間処理を実行することで前記出力画像の画像データを生成し、前記比の変化に伴って前記色補間処理の内容を変化させることで、前記出力画像の空間周波数特性を変化させる。

【0016】

これにより、元々必要な色補間処理の中で空間周波数制御を実現することができ、空間周波数制御用の専用処理を設ける必要ななくなる。

【0017】

より具体的には例えば、前記信号処理部は、前記比が第１の比である場合、前記色補間処理として第１の色補間処理を実行し、前記比が第１の比よりも大きな第２の比である場合、前記色補間処理として第２の色補間処理を実行し、前記第１の色補間処理による平滑化の強度は前記第２の色補間処理による平滑化の強度よりも大きい、或いは、前記第２の色補間処理によるエッジ強調の強度は前記第１の色補間処理によるエッジ強調の強度よりも大きい。

【0018】

また例えば、指定されたズーム倍率に応じて前記抽出領域の大きさを設定する抽出領域設定部を当該撮像装置に更に設けてもよい。そして例えば、前記ズーム倍率の変化に伴って前記抽出領域の大きさが変化し、前記信号処理部は、前記ズーム倍率の変化に連動して前記出力画像の空間周波数特性を変化させる。

【0019】

また例えば、前記信号処理部は、前記入力画素数及び前記出力画素数と、前記受光画素信号に基づく動き情報又は当該撮像装置の動きを検出するセンサの検出結果に基づく動き情報とに応じて、前記出力画像の空間周波数特性を制御する。

【0020】

これにより、動き情報をも考慮した上で、最適な空間周波数制御を成すことが可能となる。

【発明の効果】

【0021】

本発明によれば、折り返し歪みの抑制と解像力不足の抑制をバランス良く両立させることが可能な撮像装置を提供することが可能である。

【図面の簡単な説明】

【0022】

【図1】本発明の実施形態に係る撮像装置の概略全体ブロック図である。

【図2】図１の撮像部の内部構成図である。

【図3】撮像素子における受光画素配列を示す図（ａ）と、撮像素子の有効画素領域を示す図（ｂ）である。

【図4】撮像素子における色フィルタ配列を示す図である。

【図5】有効画素領域と抽出枠とＲＡＷ画像との関係を示す図である。

【図6】撮像装置の一部ブロック図である。

【図7】抽出枠とＲＡＷ画像と変換結果画像との関係を示す図である。

【図8】撮像装置の一部ブロック図である。

【図9】ＹＵＶ画像と最終結果画像とを示す図である。

【図10】総合ズーム倍率、光学ズーム倍率、電子ズーム倍率及びＲＡＷズーム倍率の関係例を示す図である。

【図11】注目画素と対象画素との関係を示す図である。

【図12】色補間処理に用いられるフィルタを示す図（ａ）（ｃ）と、フィルタの各要素に対応する受光画素信号の値を示す図（ｂ）（ｄ）である。

【図13】基本色補間処理にてＧ信号を生成する際に用いられるフィルタを示す図である。

【図14】基本色補間処理にてＲ信号を生成する際に用いられるフィルタを示す図である。

【図15】基本色補間処理にてＢ信号を生成する際に用いられるフィルタを示す図である。

【図16】撮像装置の一部ブロック図である。

【図17】ＲＡＷズーム倍率が０．５倍の条件下における、入力ＲＡＷ画像及び出力ＲＡＷ画像を示す図（ａ）と入力ＲＡＷ画像及び出力ＲＡＷ画像の変調伝達関数を示す図（ｂ）（ｃ）である（ぶれによる劣化無し）。

【図18】ＲＡＷズーム倍率が１．０倍の条件下における、入力ＲＡＷ画像及び出力ＲＡＷ画像を示す図（ａ）と入力ＲＡＷ画像及び出力ＲＡＷ画像の変調伝達関数を示す図（ｂ）（ｃ）である（ぶれによる劣化無し）。

【図19】本発明の第１実施例に係り、色補間処理にてＧ信号を生成する際に用いられるフィルタを示す図である。

【図20】本発明の第１実施例に係り、色補間処理にてＧ信号を生成する際に用いられるフィルタを示す図である。

【図21】本発明の第２実施例に係り、色補間処理にてＲ信号を生成する際に用いられるフィルタを示す図である。

【図22】ＲＡＷズーム倍率が０．５倍の条件下における、入力ＲＡＷ画像及び出力ＲＡＷ画像を示す図（ａ）と入力ＲＡＷ画像及び出力ＲＡＷ画像の変調伝達関数を示す図（ｂ）（ｃ）である（ぶれによる劣化有り）。

【図23】ＲＡＷズーム倍率が１．０倍の条件下における、入力ＲＡＷ画像及び出力ＲＡＷ画像を示す図（ａ）と入力ＲＡＷ画像及び出力ＲＡＷ画像の変調伝達関数を示す図（ｂ）（ｃ）である（ぶれによる劣化有り）。

【図24】撮像装置の一部ブロック図である。

【図25】本発明の第３実施例に係り、色補間処理にてＧ信号を生成する際に用いられるフィルタを示す図である。

【図26】本発明の第４実施例に係る撮像装置の一部ブロック図である。

【図27】本発明の第４実施例に係る撮像装置の変形一部ブロック図である。

【図28】従来技術に係り、ＲＡＷズームの概要を説明するための図である。

【発明を実施するための形態】

【0023】

以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、物理量、状態量又は部材等を参照する記号又は符号を付記することによって該記号又は符号に対応する情報、物理量、状態量又は部材等の名称を省略又は略記することがある。例えば、ＲＡＷズーム倍率を記号ＺＦ_ＲＡＷによって表す場合、ＲＡＷズーム倍率ＺＦ_ＲＡＷを、例えば倍率ＺＦ_ＲＡＷ又は単にＺＦ_ＲＡＷに表記する場合もある。

【0024】

図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、符号１１〜２８によって参照される各部位を有する。撮像装置１は、デジタルビデオカメラであり、動画像及び静止画像を撮影可能となっていると共に動画像撮影中に静止画像を同時に撮影することも可能となっている。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。尚、表示部２７及び／又はスピーカ２８は、撮像装置１の外部装置（不図示）に設けられたものである、と解釈することも可能である。

【0025】

撮像部１１は、撮像素子を用いて被写体の撮影を行う。図２は、撮像部１１の内部構成図である。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子（固体撮像素子）３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、撮像部１１の画角を調節するためのズームレンズ３０及び焦点を合わせるためのフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ＣＰＵ２３からの制御信号に基づき、光学系３５内におけるズームレンズ３０及びフォーカスレンズ３１の位置並びに絞り３２の開度が制御される。

【0026】

撮像素子３３は、水平及び垂直方向に複数の受光画素が配列されることによって形成される。撮像素子３３の各受光画素は、光学系３５及び絞り３２を介して入射した被写体の光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２（Analog Front End）に出力する。

【0027】

ＡＦＥ１２は、撮像素子３３（各受光画素）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから映像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度はＣＰＵ（Central Processing Unit）２３によって制御される。映像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して必要な画像処理を施し、画像処理後の画像についての映像信号を生成する。マイク１４は、撮像装置１の周辺音をアナログの音声信号に変換し、音声信号処理部１５は、このアナログの音声信号をデジタルの音声信号に変換する。

【0028】

圧縮処理部１６は、映像信号処理部１３からの映像信号及び音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。内部メモリ１７は、ＤＲＡＭ（Dynamic Random Access Memory）などから成り、各種のデータを一時的に保存する。記録媒体としての外部メモリ１８は、半導体メモリや磁気ディスクなどの不揮発性メモリであり、圧縮処理部１６による圧縮後の映像信号及び音声信号を記録する。

【0029】

伸張処理部１９は、外部メモリ１８から読み出された圧縮された映像信号及び音声信号を伸張する。伸張処理部１９による伸張後の映像信号又は映像信号処理部１３からの映像信号は、表示処理部２０を介して、液晶ディスプレイ等から成る表示部２７に送られて画像として表示される。また、伸張処理部１９による伸張後の音声信号は、音声出力回路２１を介してスピーカ２８に送られて音として出力される。

【0030】

ＴＧ（タイミングジェネレータ）２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＣＰＵ２３は、撮像装置１内の各部位の動作を統括的に制御する。操作部２６は、動画像の撮影及び記録の開始／終了を指示するための録画ボタン２６ａ、静止画像の撮影及び記録を指示するためのシャッタボタン２６ｂ、並びに、ズーム倍率を指定するためのズームボタン２６ｃ等を有し、ユーザによる各種操作を受け付ける。操作部２６に対する操作内容はＣＰＵ２３に伝達される。操作部２６はタッチパネルを含んでいても良い。

【0031】

撮像装置１の動作モードには、画像（静止画像又は動画像）の撮影及び記録が可能な撮影モードと、外部メモリ１８に記録された画像（静止画像又は動画像）を表示部２７に再生表示する再生モードと、が含まれる。操作部２６に対する操作に応じて、各モード間の遷移は実施される。以下の説明は、特に述べない限り、撮影モードにおける撮像装置１の動作説明である。

【0032】

撮影モードでは、所定のフレーム周期にて周期的に被写体の撮影が行われ、被写体の撮影画像が順次取得される。画像を表す映像信号を画像データとも呼ぶ。或る画素に対する画像データを、画素信号と呼ぶこともある。或る画像の大きさ又は画像領域の大きさを、画像サイズとも呼ぶ。注目画像又は注目画像領域の画像サイズを、注目画像を形成する画素の数又は注目画像領域に属する画素の数にて表現することができる。

【0033】

尚、本明細書では、或る画像の画像データのことを単に画像と言うこともある。従って、例えば、或る画像の生成、取得、記録、加工、変形、編集又は保存とは、当該画像の画像データの生成、取得、記録、加工、変形、編集又は保存を意味する。また、画像データの圧縮及び伸張は、本発明の本質とは関係ないため、以下の説明では、画像データの圧縮及び伸張の存在を無視する。従って例えば、或る画像についての圧縮された画像データを記録することを、単に、画像データを記録する又は画像を記録すると表現する。

【0034】

図３（ａ）は、撮像素子３３の有効画素領域３３_Ａ内の受光画素配列を示している。図３（ｂ）に示す如く、撮像素子３３の有効画素領域３３_Ａは長方形形状を有しており、その長方形の一頂点を撮像素子３３の原点と捉える。原点が有効画素領域３３_Ａの左上隅に位置するものとする。図３（ｂ）に示す如く、撮像素子３３の水平方向における有効画素数Ｍ_Ｈと垂直方向における有効画素数Ｍ_Ｖとの積（Ｍ_Ｈ×Ｍ_Ｖ）に相当する個数の受光画素が二次元配列されることによって、有効画素領域３３_Ａが形成される。Ｍ_Ｈ及びＭ_Ｖは、２以上の整数であり、例えば、数１００〜数１０００の範囲内の値をとる。以下では、説明の具体化のため、Ｍ_Ｈ＝４０００且つＭ_Ｖ＝２０００、であるとする。また、１００００００を１メガとも呼ぶ。従って、（４０００×２０００）は８メガとも称される。

【0035】

有効画素領域３３_Ａ内の各受光画素をＰ_Ｓ［ｘ，ｙ］にて表す。ここで、ｘ及びｙは整数である。撮像素子３３において、上下方向は垂直方向に対応し、左右方向は水平方向に対応する。撮像素子３３において、受光画素Ｐ_Ｓ［ｘ，ｙ］の右側、左側、上側、下側に隣接する受光画素は、夫々、受光画素Ｐ_Ｓ［ｘ＋１，ｙ］、Ｐ_Ｓ［ｘ−１，ｙ］、Ｐ_Ｓ［ｘ，ｙ−１］、Ｐ_Ｓ［ｘ，ｙ＋１］である。各受光画素は、光学系３５及び絞り３２を介して入射した被写体の光学像を光電変換し、該光電変換によって得られた電気信号を受光画素信号として出力する。

【0036】

撮像装置１は、１枚のイメージセンサのみを用いる、いわゆる単板方式を採用している。即ち、撮像素子３３は、単板方式の撮像素子である。図４は、撮像素子３３の各受光画素の前面に配置された色フィルタの配列を示している。図４に示される配列は、一般に、ベイヤー配列と呼ばれる。色フィルタには、光の赤成分のみを透過させる赤フィルタと、光の緑成分のみを透過させる緑フィルタと、光の青成分のみを透過させる青フィルタと、がある。赤フィルタは、受光画素Ｐ_Ｓ［２ｎ_Ａ，２ｎ_Ｂ−１］の前面に配置され、青フィルタは、受光画素Ｐ_Ｓ［２ｎ_Ａ−１，２ｎ_Ｂ］の前面に配置され、緑フィルタは、受光画素Ｐ_Ｓ［２ｎ_Ａ−１，２ｎ_Ｂ−１］又はＰ_Ｓ［２ｎ_Ａ，２ｎ_Ｂ］の前面に配置される。ここで、ｎ_Ａ及びｎ_Ｂは整数である。尚、図４並びに後述の図１３（ａ）等において、赤フィルタに対応する部位をＲにて表し、緑フィルタに対応する部位をＧにて表し、青フィルタに対応する部位をＢにて表す。

【0037】

赤フィルタ、緑フィルタ、青フィルタが前面に配置された受光画素を、夫々、赤受光画素、緑受光画素、青受光画素とも呼ぶ。赤受光画素、緑受光画素及び青受光画素は、夫々、光学系の入射光の、赤成分、緑成分及び青成分にのみ反応する。各受光画素は、自身の前面に配置された色フィルタを介して自身に入射した光を光電変換によって電気信号に変換し、得られた電気信号を受光画素信号として出力する。

【0038】

各受光画素信号はＡＦＥ１２によって増幅されると共にデジタル化され、増幅及びデジタル化された各受光画素信号はＲＡＷデータとしてＡＦＥ１２から出力される。但し、以下の説明では、説明の簡略化上、ＡＦＥ１２における信号デジタル化及び信号増幅の存在を無視し、受光画素から出力される受光画素信号そのものもＲＡＷデータと呼ぶ。

【0039】

図５には、撮像素子３３の有効画素領域３３_Ａ内に抽出枠ＥＦが設定される様子が示されている。抽出枠ＥＦは矩形枠であって、抽出枠ＥＦのアスペクト比は有効画素領域３３_Ａのアスペクト比と等しく且つ抽出枠ＥＦの中心位置と有効画素領域３３_Ａの中心位置は一致しているものとする。そして、抽出枠ＥＦ内の受光画素信号から形成される二次元画像、即ち、抽出枠ＥＦ内のＲＡＷデータを画像データとして持つ二次元画像を、ＲＡＷ画像と呼ぶ。ＲＡＷ画像を抽出画像と呼ぶこともできる。また、説明の具体化及び簡略化のため、本実施形態で述べられる任意の画像のアスペクト比は抽出枠ＥＦのアスペクト比と同じであるとする。尚、抽出枠ＥＦ内の領域を抽出領域（又は抽出対象領域）と呼ぶことができる。従って、本実施形態における抽出枠を抽出領域（又は抽出対象領域）と読み替えても良く、後述の抽出枠設定部を抽出領域設定部又は抽出対象領域設定部と読み替えても良い。抽出枠の設定又は変化等は抽出領域の設定又は変化等と同義であり、抽出枠の大きさの設定又は変化等は抽出領域の大きさの設定又は変化等と同義である。

【0040】

本実施形態では、抽出枠ＥＦの大きさ変化によって画像サイズ変化を実現するＲＡＷズームという概念が導入される。ＲＡＷズームによる画像サイズの変化の度合いをＲＡＷズーム倍率と呼ぶ。図６は、ＲＡＷズームに関与する部位のブロック図である。例えば、抽出枠設定部５０を図１のＣＰＵ２３にて実現することができ、色補間処理部５１及び解像度変換部５２を図１の映像信号処理部１３に設けておくことが可能である。

【0041】

抽出枠設定部５０には、ＲＡＷズーム倍率が入力される。詳細は後述されるが、ユーザ操作に基づいてＲＡＷズーム倍率が設定される。ユーザ操作とは、ユーザが操作部２６に対して成す操作を指す。抽出枠設定部５０は、ＲＡＷズーム倍率に従って抽出枠ＥＦの大きさを設定する。抽出枠ＥＦに属する受光画素の個数を（Ｄ_ＩＮ×１００００００）で表す（Ｄ_ＩＮは正の実数）。抽出枠設定部５０は、読み出し制御部としても機能し、抽出枠ＥＦに属するＤ_ＩＮメガ分の受光画素からＤ_ＩＮメガ分のＲＡＷデータを読み出す。読み出されたＤ_ＩＮメガ分のＲＡＷデータは色補間処理部５１に与えられる。換言すれば、Ｄ_ＩＮメガ分のＲＡＷデータを画像データとして持つＲＡＷ画像が色補間処理部５１に与えられる。

【0042】

１つのＲＡＷデータは、赤、緑及び青の何れか１つについての色信号である。従って、ＲＡＷデータによって表される二次元画像には、赤の色信号が色フィルタ配列に従ってモザイク状に配置される（緑及び青についても同様）。色補間処理部５１は、Ｄ_ＩＮメガ分のＲＡＷデータに対して色補間処理を実行することにより、Ｄ_ＩＮメガ個の画素から成る色補間画像（換言すれば、Ｄ_ＩＮメガの画像サイズを有する色補間画像）を生成する。周知のデモザイキング処理を色補間処理として利用することができる。色補間画像の１つ１つの画素には、互いに異なる色信号としてのＲ、Ｇ及びＢ信号が割り当てられる、或いは、輝度信号Ｙと色差信号Ｕ及びＶが割り当てられる。以下の説明では、色補間処理によってＲＡＷデータからＲ、Ｇ及びＢ信号が生成されるものとし、Ｒ、Ｇ及びＢ信号によって表現される画像データをＲＧＢデータとも呼ぶ。そうすると、色補間処理部５１によって生成される色補間画像は、Ｄ_ＩＮメガ分のＲＧＢデータを有する。Ｄ_ＩＮメガ分のＲＧＢデータは、Ｄ_ＩＮメガ分のＲ信号とＤ_ＩＮメガ分のＧ信号とＤ_ＩＮメガ分のＢ信号とから成る（後述のＤ_ＯＵＴ分のＲＧＢデータ又はＹＵＶデータ等も同様）。

【0043】

解像度変換部５２は、色補間画像の画像サイズをＤ_ＩＮメガからＤ_ＯＵＴメガに変換する解像度変換を行い、解像度変換後の色補間画像（即ち、Ｄ_ＯＵＴメガの画像サイズを有する色補間画像）を変換結果画像として生成する。解像度変換は、公知の再標本化によって実現される。解像度変換部５２にて生成される変換結果画像は、Ｄ_ＯＵＴメガ個の画素から成り、Ｄ_ＯＵＴメガ分のＲＧＢデータを有する。Ｄ_ＯＵＴは正の実数であって、Ｄ_ＩＮ≧Ｄ_ＯＵＴを満たす。Ｄ_ＩＮ＝Ｄ_ＯＵＴである場合、解像度変換部５２にて生成される変換結果画像は、色補間処理部５１にて生成される色補間画像と一致する。

【0044】

解像度変換部５２には、Ｄ_ＯＵＴの値が入力される。ユーザは、操作部２６に対する所定操作によってＤ_ＯＵＴの値を指定することができる。或いは、Ｄ_ＯＵＴの値は固定値であっても良い。以下の説明では、特に断りなき限り、Ｄ_ＯＵＴ＝２であるとする。そうすると、Ｄ_ＩＮは２以上且つ８以下である（上述したように、Ｍ_Ｈ＝４０００且つＭ_Ｖ＝２０００であることを想定しているため；図３（ｂ）参照））。

【0045】

図７（ａ）及び（ｂ）を参照して、ＲＡＷズーム倍率と抽出枠ＥＦとの関係等を説明する。図７（ａ）、（ｂ）における破線矩形枠ＥＦ_３１１、ＥＦ_３２１は、夫々、ＲＡＷズーム倍率が０．５倍、１．０倍の時における抽出枠ＥＦである。図７（ａ）には、ＲＡＷズーム倍率が０．５倍の時におけるＲＡＷ画像３１２及び変換結果画像３１３が示されており、図７（ｂ）には、ＲＡＷズーム倍率が１倍の時におけるＲＡＷ画像３２２及び変換結果画像３２３が示されている。

【0046】

抽出枠設定部５０は、
定義式：（ＲＡＷズーム倍率）
＝√（（変換結果画像の画像サイズ）／（抽出枠ＥＦの画像サイズ））
＝√（（Ｄ_ＯＵＴメガ）／（Ｄ_ＩＮメガ））
＝√（Ｄ_ＯＵＴ／Ｄ_ＩＮ）
に従って、ＲＡＷズーム倍率から抽出枠ＥＦの画像サイズ（大きさ）を決定する。即ち、（Ｄ_ＯＵＴ／Ｄ_ＩＮ）の正の平方根がＲＡＷズーム倍率と一致（又は略一致）するように、抽出枠ＥＦの大きさ（換言すれば、抽出枠ＥＦの画像サイズ）を決定する。本実施形態では、Ｄ_ＯＵＴ＝２であることを想定しているため、ＲＡＷズーム倍率の可変範囲は０．５倍以上且つ１倍以下の範囲である。

【0047】

ＲＡＷズーム倍率が０．５倍の時には、上記定義式より抽出枠ＥＦの画像サイズは８メガとなるため、図７（ａ）に示す如く、有効画素領域３３_Ａと同じ大きさを有する抽出枠ＥＦ_３１１が設定され、結果、８メガの画像サイズを有するＲＡＷ画像３１２が読み出される。この場合、解像度変換部５２は、ＲＡＷ画像３１２に基づく８メガの画像サイズを有する色補間画像（不図示）を水平及び垂直方向に夫々１／２に縮小し、これによって２メガの画像サイズを有する変換結果画像３１３を生成する。尚、図７（ａ）では、図示の便宜上、抽出枠ＥＦ_３１１が有効画素領域３３_Ａの外枠よりも若干小さく示されている。

【0048】

ＲＡＷズーム倍率が１倍の時には、上記定義式より抽出枠ＥＦの画像サイズは２メガとなるため、図７（ｂ）に示す如く、有効画素領域３３_Ａ内に２メガの画像サイズを有する抽出枠ＥＦ_３２１が設定され、結果、２メガの画像サイズを有するＲＡＷ画像３２２が読み出される。この場合、解像度変換部７２は、ＲＡＷ画像３２２に基づく２メガの画像サイズを有する色補間画像（不図示）を、変換結果画像３２３として出力する。

【0049】

上記定義式並びに図７（ａ）及び（ｂ）からも理解されるように、ＲＡＷズーム倍率が増加するに伴って抽出枠ＥＦが小さくなって、変換結果画像の画角が小さくなる。即ち、ＲＡＷズーム倍率を上げることで、画質劣化を伴うことなく、光学ズーム倍率が上がったかのような効果が得られる。変換結果画像の画角とは、変換結果画像にて表現される撮影空間の範囲を角度にて表したものである（変換結果画像以外の任意の画像の画角、及び、有効画素領域３３_Ａ上に結像する画像の画角についても同様）。

【0050】

ＲＡＷズーム倍率に基づく解像度変換によって画像サイズが低減されると、その分だけ、後段の信号処理（ＹＵＶ変換や信号圧縮など）における演算負荷が軽減される。よって、信号処理についての時間的制約が比較的厳しい動画像の撮影及び記録時において、ＲＡＷズームの利用は特に有益である。

【0051】

撮像装置１では、上述のＲＡＷズームに加えて、光学ズーム及び電子ズームを成すこともできる。図８は、撮影によって取得されるべき画像の画角調整に特に関与する部位のブロック図である。図８に示される全ての部位を撮像装置１に設けておくことができる。ズーム主制御部６０は、例えば、ＣＰＵ２３によって実現される。光学ズーム処理部６１は、例えば、図２のドライバ３４及びズームレンズ３０によって実現される。ＹＵＶ変換部５３及び電子ズーム処理部５４は、例えば、図１の映像信号処理部１３内に設けられる。

【0052】

ユーザによる、ズームボタン２６ｃに対する操作をズーム操作と呼ぶ。ズーム主制御部６０は、ズーム操作に従って総合ズーム倍率を決定し、該総合ズーム倍率から光学ズーム倍率、ＲＡＷズーム倍率及び電子ズーム倍率を設定する。抽出枠設定部５０は、ズーム主制御部６０にて設定されたＲＡＷズーム倍率に従い、抽出枠ＥＦの大きさを設定する。

【0053】

光学ズーム処理部６１は、有効画素領域３３_Ａ上に形成される画像の画角がズーム主制御部６０にて設定された光学ズーム倍率に従った画角となるようにズームレンズ３０の位置を制御する。即ち、光学ズーム処理部６１は、光学ズーム倍率に従ってズームレンズ３０の位置を制御することにより、撮像素子３３の有効画素領域３３_Ａ上に形成される画像の画角を設定する。光学ズーム倍率が或る倍率を起点としてｋ_Ｃ倍になれば、有効画素領域３３_Ａ上に形成される画像の画角は、撮像素子３３の水平及び垂直方向の夫々において、１／ｋ_Ｃ倍となる（ｋ_Ｃは正の数であって、例えば２倍）。

【0054】

ＹＵＶ変換部５３は、解像度変換部５２にて得られた変換結果画像の画像データのデータ形式をＹＵＶ変換によってＹＵＶ形式に変換することでＹＵＶ画像を生成する。即ち、変換結果画像のＲ、Ｇ及びＢ信号を輝度信号Ｙと色差信号Ｕ及びＶに変換し、これによって得られた輝度信号Ｙと色差信号Ｕ及びＶを有するＹＵＶ画像を生成する。輝度信号Ｙと色差信号Ｕ及びＶによって表現される画像データをＹＵＶデータとも呼ぶ。そうすると、ＹＵＶ変換部５３にて生成されるＹＵＶ画像は、Ｄ_ＯＵＴメガ分のＹＵＶデータを有する。

【0055】

電子ズーム処理部５４は、ズーム主制御部６０にて設定された電子ズーム倍率に従う電子ズーム処理をＹＵＶ画像に施すことで最終結果画像を生成する。電子ズーム処理とは、図９に示す如く電子ズーム倍率に応じた大きさを有する切り出し枠をＹＵＶ画像の画像領域内に設定し、ＹＵＶ画像上における切り出し枠内の画像（以下、切り出し画像という）に対して画像サイズ拡大処理を施して得た画像を最終結果画像として生成する処理を指す。電子ズーム倍率が１倍のとき、切り出し枠の画像サイズはＹＵＶ画像の画像サイズと一致し（従って、最終結果画像はＹＵＶ画像と一致し）、電子ズーム倍率が増大するにつれて切り出し枠の画像サイズは小さくなる。最終結果画像の画像サイズを、ＹＵＶ画像の画像サイズと一致させることができる。最終結果画像の画像データを、表示部２７に表示することができると共に外部メモリ１８に記録することができる。

【0056】

総合ズーム倍率、光学ズーム倍率、電子ズーム倍率及びＲＡＷズーム倍率を、夫々、記号ＺＦ_ＴＯＴ、ＺＦ_ＯＰＴ、ＺＦ_ＥＬ及びＺＦ_ＲＡＷにて表す。そうすると、
ＺＦ_ＴＯＴ＝ＺＦ_ＯＰＴ×ＺＦ_ＥＬ×ＺＦ_ＲＡＷ×２
である。従って、最終結果画像の画角は、総合ズーム倍率が増大するにつれて減少する。

【0057】

本実施形態では、光学ズーム倍率及び電子ズーム倍率の夫々の可変範囲が１倍以上且つ１０倍以下の範囲であるとする。そうすると、総合ズーム倍率の可変範囲は１倍以上且つ２００倍以下の範囲になる。図１０に、倍率ＺＦ_ＴＯＴ、ＺＦ_ＯＰＴ、ＺＦ_ＥＬ及びＺＦ_ＲＡＷの関係例を示す。実線折れ線３４０_ＯＰＴは倍率ＺＦ_ＴＯＴ及びＺＦ_ＯＰＴ間の関係を示し、実線折れ線３４０_ＥＬは倍率ＺＦ_ＴＯＴ及びＺＦ_ＥＬ間の関係を示し、破線折れ線３４０_ＲＡＷは倍率ＺＦ_ＴＯＴ及びＺＦ_ＲＡＷ間の関係を示している。
１≦ＺＦ_ＴＯＴ≦２０を満たす範囲内においては、倍率ＺＦ_ＥＬは１倍に固定される一方で、倍率ＺＦ_ＴＯＴが１倍から２０倍へと増大するにつれて、倍率ＺＦ_ＯＰＴが１倍から１０倍へと増大すると共に倍率ＺＦ_ＲＡＷが０．５倍から１倍へと増大する。
２０≦ＺＦ_ＴＯＴ≦２００を満たす範囲内においては、倍率ＺＦ_ＯＰＴは１０倍に固定されると共に倍率ＺＦ_ＲＡＷは１倍に固定され、一方で、倍率ＺＦ_ＴＯＴが２０倍から２００倍へと増大するにつれて倍率ＺＦ_ＥＬが１倍から１０倍へと増大する。
１≦ＺＦ_ＴＯＴ≦２０を満たす範囲内においては、倍率ＺＦ_ＴＯＴの変化に伴って倍率ＺＦ_ＲＡＷも変化し、倍率ＺＦ_ＲＡＷの変化に伴って抽出枠ＥＦの大きさ（従って、抽出枠ＥＦ内の受光画素数）も変化する。

【0058】

次に、色補間処理について詳細に説明する。色補間処理では、図１１に示す如く、抽出枠ＥＦ内の１つの受光画素を注目画素として捉え、注目画素に対応する対象画素のＲ、Ｇ及びＢ信号を生成する。対象画素は、色補間画像上の画素である。抽出枠ＥＦ内の各受光画素を順次注目画素に設定して、各注目画素に対して色補間処理を順次行うことにより、色補間画像の全画素に対するＲ、Ｇ及びＢ信号が生成される。以下の説明において述べられるフィルタとは、特に記述なき限り、色補間処理に用いられる空間フィルタを指す。

【0059】

受光画素Ｐ_Ｓ［ｐ，ｑ］が注目画素である場合、５×５のフィルタサイズを有する、図１２（ａ）のフィルタＦＩＬ_Ａを用いて色補間処理を実行することができ、この場合、下記式（１）に従って得た値Ｖ_Ａが、受光画素Ｐ_Ｓ［ｐ，ｑ］に対応する対象画素の信号値になる。ｐ及びｑは自然数である。ｋ_Ａ１〜ｋ_Ａ２５はフィルタＦＩＬ_Ａのフィルタ係数である。受光画素Ｐ_Ｓ［ｐ，ｑ］が注目画素である場合、図１２（ｂ）に示す如く、ａ_１〜ａ_２５は、夫々、受光画素
P_S[p-2,q-2],P_S[p-1,q-2],P_S[p,q-2],P_S[p+1,q-2],P_S[p+2,q-2],
P_S[p-2,q-1],P_S[p-1,q-1],P_S[p,q-1],P_S[p+1,q-1],P_S[p+2,q-1],
P_S[p-2,q ],P_S[p-1,q ],P_S[p,q ],P_S[p+1,q ],P_S[p+2,q ],
P_S[p-2,q+1],P_S[p-1,q+1],P_S[p,q+1],P_S[p+1,q+1],P_S[p+2,q+1],
P_S[p-2,q+2],P_S[p-1,q+2],P_S[p,q+2],P_S[p+1,q+2],P_S[p+2,q+2]
の受光画素信号の値である。

【0060】

【数1】

【0061】

或いは、受光画素Ｐ_Ｓ［ｐ，ｑ］が注目画素である場合、７×７のフィルタサイズを有する、図１２（ｃ）のフィルタＦＩＬ_Ｂを用いて色補間処理を実行することができ、この場合、下記式（２）に従って得た値Ｖ_Ｂが、受光画素Ｐ_Ｓ［ｐ，ｑ］に対応する対象画素の信号値になる。ｋ_Ｂ１〜ｋ_Ｂ４９はフィルタＦＩＬ_Ｂのフィルタ係数である。受光画素Ｐ_Ｓ［ｐ，ｑ］が注目画素である場合、図１２（ｄ）に示す如く、ｂ_１〜ｂ_４９は、夫々、
受光画素
P_S[p-3,q-3],P_S[p-2,q-3],P_S[p-1,q-3],P_S[p,q-3],P_S[p+1,q-3],P_S[p+2,q-3],P_S[p+3,q-3],
P_S[p-3,q-2],P_S[p-2,q-2],P_S[p-1,q-2],P_S[p,q-2],P_S[p+1,q-2],P_S[p+2,q-2],P_S[p+3,q-2],
P_S[p-3,q-1],P_S[p-2,q-1],P_S[p-1,q-1],P_S[p,q-1],P_S[p+1,q-1],P_S[p+2,q-1],P_S[p+3,q-1],
P_S[p-3,q ],P_S[p-2,q ],P_S[p-1,q ],P_S[p,q ],P_S[p+1,q ],P_S[p+2,q ],P_S[p+3,q ],
P_S[p-3,q+1],P_S[p-2,q+1],P_S[p-1,q+1],P_S[p,q+1],P_S[p+1,q+1],P_S[p+2,q+1],P_S[p+3,q+1],
P_S[p-3,q+2],P_S[p-2,q+2],P_S[p-1,q+2],P_S[p,q+2],P_S[p+1,q+2],P_S[p+2,q+2],P_S[p+3,q+2],
P_S[p-3,q+3],P_S[p-2,q+3],P_S[p-1,q+3],P_S[p,q+3],P_S[p+1,q+3],P_S[p+2,q+3],P_S[p+3,q+3]
の受光画素信号の値である。

【0062】

【数2】

【0063】

色補間処理部５１は、注目画素を中心とする所定領域内の緑受光画素の受光画素信号を抽出し、抽出した受光画素信号を混合することで対象画素のＧ信号を生成する（但し、抽出した受光画素信号が１つの場合には、抽出した受光画素信号そのものを対象画素のＧ信号にすることができる）。同様に、
色補間処理部５１は、注目画素を中心とする所定領域内の赤受光画素の受光画素信号を抽出し、抽出した受光画素信号を混合することで対象画素のＲ信号を生成する（但し、抽出した受光画素信号が１つの場合には、抽出した受光画素信号そのものを対象画素のＲ信号にすることができる）。同様に、
色補間処理部５１は、注目画素を中心とする所定領域内の青受光画素の受光画素信号を抽出し、抽出した受光画素信号を混合することで対象画素のＢ信号を生成する（但し、抽出した受光画素信号が１つの場合には、抽出した受光画素信号そのものを対象画素のＢ信号にすることができる）。

【0064】

［基本色補間処理］
図１３（ａ）〜（ｃ）、図１４（ａ）〜（ｄ）及び図１５（ａ）〜（ｄ）に、基本的な色補間処理（以下、基本色補間処理という）の内容を示す。

【0065】

基本色補間処理によってＧ信号を生成する際、色補間処理部５１は、
図１３（ａ）に示す如く注目画素が緑受光画素であるなら、フィルタ４０１を用いて対象画素のＧ信号を生成し、
図１３（ｂ）又は（ｃ）に示す如く注目画素が赤受光画素又は青受光画素であるなら、フィルタ４０２を用いて対象画素のＧ信号を生成する。

【0066】

基本色補間処理によってＲ信号を生成する際、色補間処理部５１は、
図１４（ａ）に示す如く注目画素が赤受光画素であるなら、フィルタ４０１を用いて対象画素のＲ信号を生成し、
図１４（ｂ）に示す如く注目画素が緑受光画素Ｐ_Ｓ［２ｎ_Ａ−１，２ｎ_Ｂ−１］であるなら、フィルタ４０３を用いて対象画素のＲ信号を生成し、
図１４（ｃ）に示す如く注目画素が緑受光画素Ｐ_Ｓ［２ｎ_Ａ，２ｎ_Ｂ］であるなら、フィルタ４０４を用いて対象画素のＲ信号を生成し、
図１４（ｄ）に示す如く注目画素が青受光画素であるなら、フィルタ４０５を用いて対象画素のＲ信号を生成する。

【0067】

図１５（ａ）〜（ｄ）に示す如く、基本色補間処理によってＢ信号を生成する際に用いるフィルタは、基本色補間処理によってＲ信号を生成する際に用いるフィルタと同様である。これは、後述の第１〜第４実施例における色補間処理においても当てはまる。但し、注目画素が赤受光画素であるときに用いられるフィルタ及び注目画素が青受光画素であるときに用いられるフィルタは、Ｒ信号を生成する場合とＢ信号を生成する場合との間で逆であり、注目画素が緑受光画素Ｐ_Ｓ［２ｎ_Ａ−１，２ｎ_Ｂ−１］であるときに用いられるフィルタ及び注目画素が緑受光画素Ｐ_Ｓ［２ｎ_Ａ，２ｎ_Ｂ］であるときに用いられるフィルタは、Ｒ信号を生成する場合とＢ信号を生成する場合との間で逆である（後述の第１〜第４実施例の色補間処理においても同様）。

【0068】

フィルタ４０１〜４０５の夫々は、フィルタＦＩＬ_Ａの例である。
フィルタ４０１におけるフィルタ係数ｋ_Ａ１〜ｋ_Ａ２５の内、ｋ_Ａ１３のみが１であり、その他のフィルタ係数は全てゼロである。
フィルタ４０２におけるフィルタ係数ｋ_Ａ１〜ｋ_Ａ２５の内、ｋ_Ａ８、ｋ_Ａ１２、ｋ_Ａ１４及びｋ_Ａ１８のみが１であり、その他のフィルタ係数は全てゼロである。
フィルタ４０３におけるフィルタ係数ｋ_Ａ１〜ｋ_Ａ２５の内、ｋ_Ａ１２及びｋ_Ａ１４のみが１であり、その他のフィルタ係数は全てゼロである。
フィルタ４０４におけるフィルタ係数ｋ_Ａ１〜ｋ_Ａ２５の内、ｋ_Ａ８及びｋ_Ａ１８のみが１であり、その他のフィルタ係数は全てゼロである。
フィルタ４０５におけるフィルタ係数ｋ_Ａ１〜ｋ_Ａ２５の内、ｋ_Ａ７、ｋ_Ａ９、ｋ_Ａ１７及びｋ_Ａ１９のみが１であり、その他のフィルタ係数は全てゼロである。

【0069】

図１３（ａ）に示す如く注目画素が緑受光画素であるときに基本色補間処理によってＧ信号を生成した場合（即ち、緑受光画素に対応する対象画素のＧ信号を基本色補間処理によって生成した場合）、当該Ｇ信号についての空間周波数特性は、色補間処理前後で変化しない。一方で、ＲＡＷズーム倍率が０．５倍であるときに生成される変換結果画像３１３（図７（ａ）参照）において表現可能な最大の空間周波数は、ＲＡＷ画像３１２のそれよりも小さい。従って仮に、ＲＡＷズーム倍率が０．５倍であるときに、緑受光画素に対応する対象画素のＧ信号を基本色補間処理によって生成したならば、２メガの変換結果画像３１３にて表現できない高周波の空間周波数成分が変換結果画像３１３に混入し、変換結果画像３１３に折り返し歪みが発生することがある。折り返し歪みは、例えば、いわゆる偽色やノイズとして現われる。従って、ＲＡＷズーム倍率が比較的小さい場合（例えば０．５倍である場合）において、緑受光画素に対応する対象画素のＧ信号を生成する際、平滑化機能を色補間処理に持たせた方が良い。

【0070】

逆に、図１３（ｂ）のフィルタ４０２は平滑化の機能を有するため、図１３（ｂ）に示す如く注目画素が赤受光画素であるときに基本色補間処理によってＧ信号を生成した場合（即ち、赤受光画素に対応する対象画素のＧ信号を基本色補間処理によって生成した場合）、ＲＡＷ画像には含まれていた高周波の空間周波数成分が基本色補間処理により減衰される。一方で、ＲＡＷズーム倍率が１倍であるときに生成される変換結果画像３２３（図７（ｂ）参照）において表現可能な最大の空間周波数は、ＲＡＷ画像３２２のそれと同じである。従って仮に、ＲＡＷズーム倍率が１倍であるときに、赤受光画素に対応する対象画素のＧ信号を基本色補間処理によって生成したならば、フィルタ４０２の平滑化機能により、変換結果画像３２３の解像力（resolving power）が不足することがある。故に、ＲＡＷズーム倍率が比較的大きい場合（例えば１倍である場合）において、赤受光画素に対応する対象画素のＧ信号を色補間処理によって生成する際、Ｇ信号の高周波成分を強調又は復元する機能を色補間処理に持たせた方が良い。
青受光画素に対応する対象画素のＧ信号を生成する場合も同様である。また、対象画素のＲ信号及びＢ信号を生成する場合にも、上述と同様のことが当てはまりうる。

【0071】

上述の事項に鑑み、図１６に示す如く、色補間処理部５１は、ＲＡＷズーム倍率に応じて色補間処理に用いるフィルタの内容を制御し、これによって色補間処理後の画像の空間周波数特性を制御する。色補間画像、変換結果画像、ＹＵＶ画像及び最終結果画像の夫々は、色補間処理部５１によって空間周波数特性が制御されるべき、色補間処理後の画像である。説明の具体化のため、以下の説明では、主として変換結果画像に着目した上で、空間周波数特性の制御方法を説明するが、変換結果画像における空間周波数特性の制御及び変化は、色補間画像、ＹＵＶ画像又は最終結果画像における空間周波数特性の制御及び変化でもある。

【0072】

色補間処理部５１（及び解像度変換部５２）は、抽出枠ＥＦ内の受光画素数（即ち、抽出枠ＥＦに属する受光画素の個数）を表すＤ_ＩＮメガと、変換結果画像の画素数を表すＤ_ＯＵＴメガとの比“Ｄ_ＯＵＴ／Ｄ_ＩＮ”に応じて、変換結果画像の空間周波数特性を制御することができる。この際、色補間処理部５１（及び解像度変換部５２）は、比“Ｄ_ＯＵＴ／Ｄ_ＩＮ”の変化に伴って色補間処理の内容（色補間処理に用いるフィルタの内容）を変化させることで変換結果画像の空間周波数特性を変化させることができる。ＲＡＷズーム倍率の変化は比“Ｄ_ＯＵＴ／Ｄ_ＩＮ”の変化をもたらすのであるから、色補間処理部５１（及び解像度変換部５２）は、ＲＡＷズーム倍率又は総合ズーム倍率の変化に連動して変換結果画像の空間周波数特性を変化させるとも言える。

【0073】

記述の簡略化上、変換結果画像の空間周波数特性の制御を、以下、単に周波数特性制御とも言う。周波数特性制御は、色補間画像、ＹＵＶ画像又は最終結果画像の空間周波数特性の制御でもある。周波数特性制御の具体的方法又はそれに関連する方法の具体例として、以下に第１〜第４実施例を示す。矛盾なき限り、第１〜第４実施例の内、複数の実施例を組み合わせることが可能であり、或る実施例で記載した事項を他の実施例に適用することもできる。

【0074】

＜＜第１実施例＞＞
色補間処理による周波数特性制御の第１実施例を説明する。後述の幾つかの実施例においては、手振れ等に由来するぶれがＲＡＷ画像に含まれることを想定するが、第１実施例及び後述の第２実施例では、ＲＡＷ画像にぶれが含まれていないことを想定する。

【0075】

今、図１７（ａ）に示す入力ＲＡＷ画像４５１及び出力ＲＡＷ画像４５２と、図１８（ａ）に示す入力ＲＡＷ画像４６１及び出力ＲＡＷ画像４６２と、を考える。入力ＲＡＷ画像４５１及び４６１はＲＡＷ画像の例である。出力ＲＡＷ画像４５２は、ＺＦ_ＲＡＷ＝０．５の条件の下で、入力ＲＡＷ画像４５１に対して解像度変換部５２の解像度変換を施して得た画像である。即ち、出力ＲＡＷ画像４５２は、入力ＲＡＷ画像４５１の画像サイズを水平及び垂直方向の夫々において１／２に減少させて得たＲＡＷ画像である。出力ＲＡＷ画像４６２は、ＺＦ_ＲＡＷ＝１．０の条件の下で、入力ＲＡＷ画像４６１に対して解像度変換部５２の解像度変換を施して得た画像である。即ち、出力ＲＡＷ画像４６２は、入力ＲＡＷ画像４６１と同じものである。

【0076】

図１７（ｂ）及び（ｃ）の曲線ＭＴＦ_４５１及びＭＴＦ_４５２は、夫々、入力ＲＡＷ画像４５１及び出力ＲＡＷ画像４５２の変調伝達関数（ＭＴＦ；modulation transfer function）を表している。図１８（ｂ）及び（ｃ）の曲線ＭＴＦ_４６１及びＭＴＦ_４６２は、夫々、入力ＲＡＷ画像４６１及び出力ＲＡＷ画像４６２の変調伝達関数を表している。Ｆ_Ｎは、入力ＲＡＷ画像４５１及び４６１におけるナイキスト周波数を表している。

【0077】

ＺＦ_ＲＡＷ＝０．５であるとき、垂直及び水平方向の夫々において出力ＲＡＷ画像の画素数は入力ＲＡＷ画像のそれの１／２である。故に、出力ＲＡＷ画像４５２のナイキスト周波数は０．５Ｆ_Ｎとなる。即ち、出力ＲＡＷ画像４５２において表現可能な最大の空間周波数は、入力ＲＡＷ画像４５１において表現可能な最大の空間周波数の半分である。
一方、ＺＦ_ＲＡＷ＝１．０であるとき、垂直及び水平方向の夫々において出力ＲＡＷ画像の画素数は入力ＲＡＷ画像のそれと等しい。従って、出力ＲＡＷ画像４６２のナイキスト周波数は１．０Ｆ_Ｎとなる。即ち、出力ＲＡＷ画像４６２において表現可能な最大の空間周波数は、入力ＲＡＷ画像４６１において表現可能な最大の空間周波数と等しい。

【0078】

このようなＲＡＷズーム倍率ＺＦ_ＲＡＷに応じた周波数特性の相違を考慮し、第１実施例における色補間処理では、上述の折り返し歪み及び解像力不足を抑制すべく、図１９（ａ）及び（ｂ）に示すフィルタを色補間処理に用いる。

【0079】

即ち、ＺＦ_ＲＡＷ＝０．５の条件下においてＧ信号を生成する際、色補間処理部５１は、
図１９（ａ）に示す如く注目画素が緑受光画素であるなら、フィルタ５０１を用いて対象画素のＧ信号を生成し、
図１９（ｂ）に示す如く注目画素が赤受光画素であるなら、フィルタ５１１を用いて対象画素のＧ信号を生成する（注目画素が青受光画素であるときも同様）。
一方、ＺＦ_ＲＡＷ＝１．０の条件下においてＧ信号を生成する際、色補間処理部５１は、
図１９（ａ）に示す如く注目画素が緑受光画素であるなら、フィルタ５０２を用いて対象画素のＧ信号を生成し、
図１９（ｂ）に示す如く注目画素が赤受光画素であるなら、フィルタ５１２を用いて対象画素のＧ信号を生成する（注目画素が青受光画素であるときも同様）。

【0080】

フィルタ５０１、５０２、５１１及び５１２の夫々は、フィルタＦＩＬ_Ａの例である（図１２（ａ）参照）。
フィルタ５０１におけるフィルタ係数ｋ_Ａ１〜ｋ_Ａ２５の内、ｋ_Ａ１３が８であり、ｋ_Ａ３、ｋ_Ａ７、ｋ_Ａ９、ｋ_Ａ１１、ｋ_Ａ１５、ｋ_Ａ１７、ｋ_Ａ１９及びｋ_Ａ２３は１であり、その他のフィルタ係数は全てゼロである。
フィルタ５０２及び５１１のフィルタ係数は、夫々、図１３（ａ）及び（ｂ）のフィルタ４０１及び４０２のフィルタ係数と同じである。
フィルタ５１２におけるフィルタ係数ｋ_Ａ１〜ｋ_Ａ２５の内、ｋ_Ａ８、ｋ_Ａ１２、ｋ_Ａ１４及びｋ_Ａ１８が６であり、ｋ_Ａ２、ｋ_Ａ４、ｋ_Ａ６、ｋ_Ａ１０、ｋ_Ａ１６、ｋ_Ａ２０、ｋ_Ａ２２及びｋ_Ａ２４は（−１）であり、その他のフィルタ係数は全てゼロである。

【0081】

フィルタ５０１はＲＡＷ画像を平滑化する機能を有する一方、フィルタ５０２はＲＡＷ画像を平滑化する機能を有さない（ＲＡＷ画像の平滑化は、ＲＡＷデータ又は受光画素信号の平滑化と同義である）。従って、フィルタ５０１を用いた色補間処理による平滑化の強度はフィルタ５０２を用いた色補間処理による平滑化の強度（即ちゼロ）よりも大きいと言える。結果、フィルタ５０１を用いてＧ信号を生成した場合、Ｇ信号の空間周波数の高域成分が減衰するが、フィルタ５０２を用いてＧ信号を生成した場合には、そのような減衰は発生しない。

【0082】

フィルタ５１１はＲＡＷ画像を平滑化する機能を有する一方、フィルタ５１２はＲＡＷ画像のエッジを強調する機能を有する（ＲＡＷ画像のエッジの強調は、ＲＡＷデータ又は受光画素信号のエッジの強調と同義である）。従って、フィルタ５１２を用いた色補間処理によるエッジ強調の強度はフィルタ５１１を用いた色補間処理によるエッジ強調の強度（即ち、ゼロ）よりも大きいと言える。結果、フィルタ５１１を用いてＧ信号を生成した場合、Ｇ信号の空間周波数の高域成分が減衰するが、フィルタ５１２を用いてＧ信号を生成した場合には、Ｇ信号の空間周波数の高域成分はあまり減衰しない又は増大する。或いは、色補間処理によるＧ信号の空間周波数の高域成分の減衰度合いは、フィルタ５１２を用いた方が、フィルタ５１１を用いるよりも少ない。

【0083】

このように、色補間処理部５１は、ＲＡＷズーム倍率に応じて色補間処理の内容を制御することで、折り返し歪みの抑制と解像力不足の抑制を両立させる。但し、ここにおける空間周波数はＧ信号の空間周波数である。具体的には、ＺＦ_ＲＡＷ＝０．５の場合には、フィルタ５０１及び５１１の平滑化機能により、変換結果画像における折り返し歪みが抑制される。一方、ＺＦ_ＲＡＷ＝１．０の場合には、フィルタ５０２及び５１２を用いることで変換結果画像の解像度不足が解消又は軽減する。

【0084】

代表例としてＺＦ_ＲＡＷ＝０．５の場合とＺＦ_ＲＡＷ＝１．０の場合のフィルタを示したが、ＺＦ_ＲＡＷ＝０．５又はＺＦ_ＲＡＷ＝１．０の場合も含め、０．５≦ＺＦ_ＲＡＷ≦１．０の場合には、ＺＦ_ＲＡＷが減少するにつれてフィルタによる平滑化の強度を増加させればよい或いはＺＦ_ＲＡＷが増大するにつれてフィルタによるエッジ強調の強度を増加させればよい。例えば、
Ｆ_ＲＡＷ＝０．７の条件下においてＧ信号を生成する際、色補間処理部５１は、
図２０（ａ）に示す如く注目画素が緑受光画素であるなら、フィルタ５０３を用いて対象画素のＧ信号を生成し、
図２０（ｂ）に示す如く注目画素が赤受光画素であるなら、フィルタ５１３を用いて対象画素のＧ信号を生成する（注目画素が青受光画素であるときも同様）。
フィルタ５０３におけるフィルタ係数ｋ_Ａ１〜ｋ_Ａ２５の内、ｋ_Ａ１３が１０であり、ｋ_Ａ７、ｋ_Ａ９、ｋ_Ａ１７及びｋ_Ａ１９は１であり、その他のフィルタ係数は全てゼロである。
フィルタ５１３におけるフィルタ係数ｋ_Ａ１〜ｋ_Ａ２５の内、ｋ_Ａ８、ｋ_Ａ１２、ｋ_Ａ１４及びｋ_Ａ１８が８であり、ｋ_Ａ２、ｋ_Ａ４、ｋ_Ａ６、ｋ_Ａ１０、ｋ_Ａ１６、ｋ_Ａ２０、ｋ_Ａ２２及びｋ_Ａ２４は（−１）であり、その他のフィルタ係数は全てゼロである。

【0085】

フィルタ５０１及び５０３はＲＡＷ画像を平滑化する機能を有するが、フィルタ５０１を用いた色補間処理による平滑化の強度はフィルタ５０３を用いた色補間処理による平滑化の強度よりも大きい。フィルタ５１２及び５１３はＲＡＷ画像のエッジを強調する機能を有するが、フィルタ５１２を用いた色補間処理によるエッジ強調の強度はフィルタ５１３を用いた色補間処理によるエッジ強調の強度よりも大きい。

【0086】

Ｒ、Ｇ及びＢ信号の内、Ｇ信号の空間周波数特性の変化が視覚的に最も目立つ。従って、ＲＡＷズーム倍率に応じた周波数特性制御をＧ信号のみに適用し、Ｒ信号及びＢ信号については基本色補間処理を用いる。

【0087】

＜＜第２実施例＞＞
但し、ＲＡＷズーム倍率に応じた色補間処理の変更を、Ｒ信号及びＢ信号の生成にも適用することができる。この方法を、第２実施例として説明する。ここではＲ信号に対する色補間処理のみを説明するが、Ｂ信号に対する色補間処理もＲ信号のそれと同様とすることができる。

【0088】

ＺＦ_ＲＡＷ＝０．５の条件下においてＲ信号を生成する際、色補間処理部５１は、
図２１（ａ）に示す如く注目画素が赤受光画素であるなら、フィルタ５５１を用いて対象画素のＲ信号を生成し、
図２１（ｂ）に示す如く注目画素が緑受光画素Ｐ_Ｓ［２ｎ_Ａ−１，２ｎ_Ｂ−１］であるなら、フィルタ５６１を用いて対象画素のＲ信号を生成する。
ＺＦ_ＲＡＷ＝１．０の条件下においてＲ信号を生成する際、色補間処理部５１は、
図２１（ａ）に示す如く注目画素が赤受光画素であるなら、フィルタ５５２を用いて対象画素のＲ信号を生成し、
図２１（ｂ）に示す如く注目画素が緑受光画素Ｐ_Ｓ［２ｎ_Ａ−１，２ｎ_Ｂ−１］であるなら、フィルタ５６２を用いて対象画素のＲ信号を生成する。

【0089】

フィルタ５５１、５５２及び５６１の夫々はフィルタＦＩＬ_Ａの例であり、フィルタ５６２はフィルタＦＩＬ_Ｂの例である（図１２（ａ）及び（ｃ）参照）。
フィルタ５５１におけるフィルタ係数ｋ_Ａ１〜ｋ_Ａ２５の内、ｋ_Ａ１３が８であり、ｋ_Ａ３、ｋ_Ａ１１、ｋ_Ａ１５及びｋ_Ａ２３は１であり、その他のフィルタ係数は全てゼロである。
フィルタ５５２及び５６１のフィルタ係数は、夫々、図１４（ａ）及び（ｂ）のフィルタ４０１及び４０３のフィルタ係数と同じである。
フィルタ５６２におけるフィルタ係数ｋ_Ｂ１〜ｋ_Ｂ４９の内、ｋ_Ｂ２４及びｋ_Ｂ２６が６であり、ｋ_Ｂ１０、ｋ_Ｂ１２、ｋ_Ｂ２２、ｋ_Ｂ２８、ｋ_Ｂ３８及びｋ_Ｂ４０は（−１）であり、その他のフィルタ係数は全てゼロである。

【0090】

フィルタ５５１はＲＡＷ画像を平滑化する機能を有する一方、フィルタ５５２はＲＡＷ画像を平滑化する機能を有さない。従って、フィルタ５５１を用いた色補間処理による平滑化の強度はフィルタ５５２を用いた色補間処理による平滑化の強度（即ちゼロ）よりも大きいと言える。結果、フィルタ５５１を用いてＲ信号を生成した場合、Ｒ信号の空間周波数の高域成分が減衰するが、フィルタ５５２を用いてＲ信号を生成した場合には、そのような減衰は発生しない。

【0091】

フィルタ５６１はＲＡＷ画像を平滑化する機能を有する一方、フィルタ５６２はＲＡＷ画像のエッジを強調する機能を有する。従って、フィルタ５６２を用いた色補間処理によるエッジ強調の強度はフィルタ５６１を用いた色補間処理によるエッジ強調の強度（即ち、ゼロ）よりも大きいと言える。結果、フィルタ５６１を用いてＲ信号を生成した場合、Ｒ信号の空間周波数の高域成分が減衰するが、フィルタ５６２を用いてＲ信号を生成した場合には、Ｒ信号の空間周波数の高域成分はあまり減衰しない又は増大する。或いは、色補間処理によるＲ信号の空間周波数の高域成分の減衰度合いは、フィルタ５６２を用いた方が、フィルタ５６１を用いるよりも少ない。

【0092】

このように、色補間処理部５１は、ＲＡＷズーム倍率に応じて色補間処理の内容を制御することで、折り返し歪みの抑制と解像力不足の抑制を両立させる。但し、ここにおける空間周波数はＲ信号の空間周波数である。具体的には、ＺＦ_ＲＡＷ＝０．５の場合には、フィルタ５５１及び５６１の平滑化機能により、変換結果画像における折り返し歪みが抑制される。一方、ＺＦ_ＲＡＷ＝１．０の場合には、フィルタ５５２及び５６２を用いることで変換結果画像の解像度不足が解消又は軽減する。

【0093】

代表例としてＺＦ_ＲＡＷ＝０．５の場合とＺＦ_ＲＡＷ＝１．０の場合のフィルタを示したが、ＺＦ_ＲＡＷ＝０．５又はＺＦ_ＲＡＷ＝１．０の場合も含め、０．５≦ＺＦ_ＲＡＷ≦１．０の場合には、第１実施例と同様、ＺＦ_ＲＡＷが減少するにつれてフィルタによる平滑化強度を増加させればよい或いはＺＦ_ＲＡＷが増大するにつれてフィルタによるエッジ強調強度を増加させればよい。後述の他の実施例においても同様である。

【0094】

注目画素が緑受光画素Ｐ_Ｓ［２ｎ_Ａ，２ｎ_Ｂ］又は青受光画素であるときに用いられるフィルタの例の図示及び説明は割愛するが、注目画素が緑受光画素Ｐ_Ｓ［２ｎ_Ａ，２ｎ_Ｂ］又は青受光画素であるときにも、上述と同様の主旨に従い、ＲＡＷズーム倍率に応じたフィルタを色補間処理に用いればよい。

【0095】

＜＜第３実施例＞＞
色補間処理による周波数特性制御の第３実施例を説明する。第３実施例では、ＲＡＷ画像の撮影時において撮像装置１に動きが発生し、これによって、ぶれによる劣化がＲＡＷ画像に含まれたことを想定する。

【0096】

今、図２２（ａ）に示す入力ＲＡＷ画像４７１及び出力ＲＡＷ画像４７２と、図２３（ａ）に示す入力ＲＡＷ画像４８１及び出力ＲＡＷ画像４８２と、を考える。入力ＲＡＷ画像４７１及び４８１はＲＡＷ画像の例である。但し、入力ＲＡＷ画像４７１及び４８１の夫々には、ぶれによる劣化が含まれているものとする。出力ＲＡＷ画像４７２は、ＺＦ_ＲＡＷ＝０．５の条件の下で、入力ＲＡＷ画像４７１に対して解像度変換部５２の解像度変換を施して得た画像である。即ち、出力ＲＡＷ画像４７２は、入力ＲＡＷ画像４７１の画像サイズを水平及び垂直方向の夫々において１／２に減少させて得たＲＡＷ画像である。出力ＲＡＷ画像４８２は、ＺＦ_ＲＡＷ＝１．０の条件の下で、入力ＲＡＷ画像４８１に対して解像度変換部５２の解像度変換を施して得た画像である。即ち、出力ＲＡＷ画像４８２は、入力ＲＡＷ画像４８１と同じものである。

【0097】

図２２（ｂ）及び（ｃ）の曲線ＭＴＦ_４７１及びＭＴＦ_４７２は、夫々、入力ＲＡＷ画像４７１及び出力ＲＡＷ画像４７２の変調伝達関数（ＭＴＦ；modulation transfer function）を表している。図２３（ｂ）及び（ｃ）の曲線ＭＴＦ_４８１及びＭＴＦ_４８２は、夫々、入力ＲＡＷ画像４８１及び出力ＲＡＷ画像４８２の変調伝達関数を表している。Ｆ_Ｎは、入力ＲＡＷ画像４７１及び４８１におけるナイキスト周波数を表している。

【0098】

ぶれによる劣化のため、入力ＲＡＷ画像４７１及び４８１に含まれうる最大の空間周波数は、ナイキスト周波数Ｆ_Ｎよりも小さく、図２２（ｂ）及び図２３（ｂ）の例では（０．７×Ｆ_Ｎ）程度である。曲線ＭＴＦ_４７１及びＭＴＦ_４８１の内、周波数が（０．７×Ｆ_Ｎ）以上の部分４９０は、劣化に基づく周波数成分に相当し、被写体を反映したものではない（曲線ＭＴＦ_４８２も同様）。
ＺＦ_ＲＡＷ＝０．５であるとき、垂直及び水平方向の夫々において出力ＲＡＷ画像の画素数は入力ＲＡＷ画像のそれの１／２である。故に、出力ＲＡＷ画像４７２のナイキスト周波数は０．５Ｆ_Ｎとなる。
一方、ＺＦ_ＲＡＷ＝１．０であるとき、垂直及び水平方向の夫々において出力ＲＡＷ画像の画素数は入力ＲＡＷ画像のそれと等しい。故に、出力ＲＡＷ画像４８２のナイキスト周波数は１．０Ｆ_Ｎとなる。しかしながら、入力ＲＡＷ画像４８１に含まれうる最大の空間周波数がナイキスト周波数Ｆ_Ｎより小さいため、出力ＲＡＷ画像４８２に含まれうる最大の空間周波数もナイキスト周波数Ｆ_Ｎより小さい。

【0099】

ぶれによる劣化が含まれている場合においても、第１又は第２実施例と同様のフィルタを色補間処理に用いることができ、これによって折り返し歪み及び解像力不足の抑制を図ることができる。

【0100】

但し、ぶれによる劣化がＲＡＷ画像に含まれていない場合を基準として、ぶれによる劣化がＲＡＷ画像に含まれている場合には、変調伝達関数が劣化しているため、その劣化をも考慮してフィルタのフィルタ係数を決定することができる。即ち例えば、色補間処理部５１は、ぶれによる劣化がＲＡＷ画像に含まれているケース（以下、ケースα_ＢＬＵＲと呼ぶ）とぶれによる劣化がＲＡＷ画像に含まれていない場合（以下、ケースα_{ＮＯＮＢＬＵＲ}と呼ぶ）との間で色補間処理の内容を互いに異ならせても良い（即ち、色補間処理で用いるフィルタのフィルタ係数を互いに異ならせても良い）。ケースα_ＢＬＵＲ及びα_{ＮＯＮＢＬＵＲ}間において、色補間処理の内容の一部のみを互いに異ならせても良いし、色補間処理の内容の全部を互いに異ならせても良い。

【0101】

これを実現すべく、第３実施例では、図２４に示す如く、動き情報を生成する動き検出部６２を撮像装置１に追加し、ＲＡＷズーム倍率及び動き情報に基づいて色補間処理の内容を決定する。図２４に示すブロック図は、図１６に示すブロック図に動き検出部６２を追加したものである。

【0102】

動き検出部６２を、例えば、撮像装置１の動きを検出する動きセンサにて形成することができる。動きセンサは、例えば、撮像装置１の角加速度を検出する角加速度センサ又は撮像装置１の加速度を検出する加速度センサである。動き検出部６２が動きセンサにて形成されている場合、動き検出部６２は、動きセンサによって検出された撮像装置１の動きを表す動き情報を生成する。動きセンサの検出結果に基づく動き情報は、少なくとも撮像装置１の動きの大きさを表す動き大きさ情報を含み、撮像装置１の動きの向きを表す動き向き情報をも更に含みうる。
或いは、動き検出部６２は、撮像素子３３からの受光画素信号に基づいて動き情報を生成してもよい。この場合、動き検出部６２は、例えば、時間的に隣接する２回の撮影によって得られた２枚の画像（ＲＡＷ画像、色補間画像、変換結果画像、ＹＵＶ画像又は最終結果画像）の画像データから当該２枚の画像間のオプティカルフローを導出し、該オプティカルフローから上記動き大きさ情報及び動き向き情報を含む動き情報を生成することができる。

【0103】

第３実施例に係る色補間処理部５１は、ＲＡＷズーム倍率と動き情報に基づいて色補間処理に用いるフィルタの内容を制御し、これによって、色補間処理後の画像の空間周波数特性を制御する。

【0104】

説明の具体化上、今、ＲＡＷ画像６００（不図示）のＲＡＷデータが色補間処理部５１に入力された場合を考える。色補間処理部５１は、ＲＡＷ画像６００に対して求められた動き情報に基づき、ＲＡＷ画像６００がケースα_ＢＬＵＲ及びα_{ＮＯＮＢＬＵＲ}のどちらに当てはまるか判断する。例えば、動き情報によって示される撮像装置１の動きの大きさが所定値以上の場合には、ケースα_ＢＬＵＲがＲＡＷ画像６００に当てはまる（即ち、ぶれによる劣化がＲＡＷ画像６００に含まれている）と判断し、そうでない場合には、ケースα_{ＮＯＮＢＬＵＲ}がＲＡＷ画像６００に当てはまる（即ち、ぶれによる劣化がＲＡＷ画像６００に含まれていない）と判断する。

【0105】

そして、ケースα_{ＮＯＮＢＬＵＲ}がＲＡＷ画像６００に当てはまる場合には、第１実施例で述べた方法によって（即ち、図１９（ａ）のフィルタ５０１及び５０２を用いた色補間処理によって）対象画素のＧ信号を生成する一方、ケースα_ＢＬＵＲがＲＡＷ画像６００に当てはまる場合には、図２５のフィルタ６０１及び６０２を用いた色補間処理によって対象画素のＧ信号を生成する。

【0106】

ケースα_ＢＬＵＲにおいて、フィルタ６０１は、ＺＦ_ＲＡＷ＝０．５であって且つ注目画素が緑受光画素である場合に用いられ、フィルタ６０２は、ＺＦ_ＲＡＷ＝１．０であって且つ注目画素が緑受光画素である場合に用いられる。フィルタ６０１及び６０２の夫々は、フィルタＦＩＬ_Ａの例である（図１２（ａ）参照）。フィルタ６０１のフィルタ係数ｋ_Ａ１３が１２である点を除き、フィルタ６０１は図１９（ａ）のフィルタ５０１と同じものである。フィルタ６０２は、図１９（ａ）のフィルタ５０２と同じものである。

【0107】

ケースα_ＢＬＵＲ及びα_{ＮＯＮＢＬＵＲ}において得られたＲＡＷ画像６００を、夫々、符号６００_ＢＬＵＲ及び６００_{ＮＯＮＢＬＵＲ}にて表すと、ＲＡＷ画像６００_ＢＬＵＲ及び６００_{ＮＯＮＢＬＵＲ}の変調伝達関数は、夫々、図２２（ａ）の曲線ＭＴＦ_４７１及び図１７（ａ）の曲線ＭＴＦ_４５１のようになる。従って、ＲＡＷ画像６００_ＢＬＵＲに含まれる高周波成分の量は、ＲＡＷ画像６００_{ＮＯＮＢＬＵＲ}のそれよりも比較的少ない。故に、ＺＦ_ＲＡＷ＝０．５の条件下において、ＲＡＷ画像６００_ＢＬＵＲに適用すべきフィルタの平滑化強度は、ＲＡＷ画像６００_{ＮＯＮＢＬＵＲ}に適用すべきそれよりも小さくて済む。言い換えれば、ＺＦ_ＲＡＷ＝０．５の条件下において、ＲＡＷ画像６００_ＢＬＵＲに適用するフィルタの平滑化強度をＲＡＷ画像６００_{ＮＯＮＢＬＵＲ}に適用するそれよりも小さくしたほうが、過度の平滑化が抑制される。過度の平滑化は望ましくない。このような観点から、ケースα_ＢＬＵＲ及びα_{ＮＯＮＢＬＵＲ}間において、色補間処理に用いるフィルタ（５０１及び６０１）を互いに異ならせる。図２５のフィルタ６０１を用いた色補間処理による平滑化の強度は、図１９（ａ）のフィルタ５０１を用いた色補間処理による平滑化の強度よりも小さい。

【0108】

一方、ＺＦ_ＲＡＷ＝１．０の場合、ＲＡＷ画像の空間周波数成分と同等の空間周波数成分を変換結果画像上で表現できるため、解像力不足の抑制を優先し、用いるフィルタをケースα_ＢＬＵＲ及びα_{ＮＯＮＢＬＵＲ}間で同じにしている（図１９（ａ）のフィルタ５０２及び図２５のフィルタ６０２を参照）。但し、フィルタ６０２をフィルタ５０２と異ならせることも可能である。

【0109】

また、撮像装置１の動きの大きさが増大すれば、ぶれによる劣化の度合いが増大し、ＲＡＷ画像６００に高周波成分が含まれにくくなる。逆に、ケースα_ＢＬＵＲにおいても、撮像装置１の動きの大きさが小さければ、ＲＡＷ画像６００に比較的多くの高周波成分が含まれやすい。従って、ケースα_ＢＬＵＲにおいて、色補間処理部５１は、ＲＡＷズーム倍率を考慮しつつ、動き大きさ情報に応じた色補間処理を行ってもよい。例えば、動き大きさ情報にて示される撮像装置１の動きの大きさが第１の大きさである場合と第２の大きさである場合とで、色補間処理の内容を互いに異ならせても良い（即ち、色補間処理で用いるフィルタのフィルタ係数を互いに異ならせても良い）。ここで、第１の大きさと第２の大きさは互いに異なる。

【0110】

注目画素が緑受光画素であるときにＧ信号を生成する場合のフィルタについて説明したが、注目画素が赤又は青受光画素であるときにＧ信号を生成する場合、及び、注目画素が緑、赤又は青受光画素であるときにＲ又はＢ信号を生成する場合も、上述と同様の主旨に従い、ＲＡＷズーム倍率及び動き情報に応じたフィルタを色補間処理に用いればよい。

【0111】

＜＜第４実施例＞＞
第４実施例を説明する。第１〜第３実施例に示すものを含む上述の周波数特性制御は、色補間処理の内容制御によって実現されているが、上述の周波数特性制御と同等の周波数特性制御を、色補間処理以外の処理にて実現してもよい。例えば、図２６又は図２７に示されるような構成を撮像装置１に設けても良い。フィルタリング部７１は、例えば、図１の映像信号処理部１３に設けられる。

【0112】

図２６又は図２７の構成では、ＲＡＷ画像の画像データであるＤ_ＩＮメガのＲＡＷデータが各受光画素よりフィルタリング部７１に入力される。フィルタリング部７１は、ＲＡＷズーム倍率に応じたフィルタリング、又は、ＲＡＷズーム倍率及び動き情報に応じたフィルタリングを、ＲＡＷ画像に対して（即ち、Ｄ_ＩＮメガのＲＡＷデータに対して）実行する。フィルタリング部７１におけるフィルタリングは、空間フィルタリングであっても良いし、周波数フィルタリングであっても良い。

【0113】

図２６又は図２７における色補間処理部５１は、フィルタリング部７１を介して供給されるＲＡＷデータに対して、図１３（ａ）等を参照して説明した基本色補間処理を実行する。フィルタリング部７１を介して供給されるＲＡＷデータは、基本的に、フィルタリング部７１によるフィルタリング後のＲＡＷデータであるが、フィルタリング部７１に入力されるＲＡＷデータがそのままフィルタリング部７１を介して色補間処理部５１に供給されることもある。フィルタリング部７１によるフィルタリング及び色補間処理部５１による基本色補間処理を経て得られたＤ_ＩＮメガのＲＧＢデータは、色補間画像の画像データとして解像度変換部５２に送られる。符号５０、５２〜５４、６０及び６１によって参照される各部位の動作は、上述したものと同様である。

【0114】

フィルタリング部７１は、ＲＡＷズーム倍率に応じて（換言すれば、比“Ｄ_ＯＵＴ／Ｄ_ＩＮ”に応じて）、又は、ＲＡＷズーム倍率及び動き情報に応じて、ＲＡＷデータの空間周波数特性を制御することができる。ＲＡＷデータの空間周波数特性の制御によって、変換結果画像の空間周波数特性も制御されることになる。この際、フィルタリング部７１は、比“Ｄ_ＯＵＴ／Ｄ_ＩＮ”の変化に伴ってフィルタリングの内容を変化させることで変換結果画像の空間周波数特性を変化させることができる。ＲＡＷズーム倍率の変化は比“Ｄ_ＯＵＴ／Ｄ_ＩＮ”の変化をもたらすのであるから、フィルタリング部７１は、ＲＡＷズーム倍率又は総合ズーム倍率の変化に連動して変換結果画像の空間周波数特性を変化させるとも言える。

【0115】

色補間処理部５１から得られる色補間画像及び解像度変換部５２から得られる変換結果画像の空間周波数特性が、第４実施例の構成と第１、第２又は第３実施例の構成との間で同等となるように、フィルタリング部７１は、ＲＡＷズーム倍率に応じたフィルタリング、又は、ＲＡＷズーム倍率及び動き情報に応じたフィルタリングを、ＲＡＷ画像に対して（即ち、Ｄ_ＩＮメガのＲＡＷデータに対して）実行する。これを実現するために、フィルタリング部７１は、以下のような動作を行うことができる。

【0116】

例えば、フィルタリング部７１は、ＺＦ_ＲＡＷ＜ＺＨ_ＴＨ１の場合にのみ、フィルタリング部７１へ入力されるＲＡＷデータに対してローパスフィルタによるフィルタリングを実行し、ＺＦ_ＲＡＷ≧ＺＨ_ＴＨ１の場合には、フィルタリングを成すことなくフィルタリング部７１へ入力されるＲＡＷデータをそのまま色補間処理部５１に送る。ここで、ＺＨ_ＴＨ１は、０．５＜ＺＨ_ＴＨ１≦１．０を満たす所定の閾値であり、例えば、ＺＨ_ＴＨ１＝１．０である。

【0117】

或いは例えば、フィルタリング部７１は、ＺＦ_ＲＡＷの値に関わらず常にフィルタリング部７１へ入力されるＲＡＷデータに対してローパスフィルタによるフィルタリングを実行し、ＺＦ_ＲＡＷが１から０．５へと減少するにつれて、当該ローパスフィルタの強度を増大させる。例えば、ローパスフィルタのカットオフ周波数を低減することは、ローパスフィルタの強度を増大させることに属する。

【0118】

上記ローパスフィルタの強度を動き情報に応じて変更することも可能である。即ち例えば、フィルタリング部７１は、自身に入力されるＲＡＷデータによるＲＡＷ画像がケースα_ＢＬＵＲ及びα_{ＮＯＮＢＬＵＲ}のどちらに当てはまるのかを動き情報に基づいて判断し、ケースα_ＢＬＵＲ及びα_{ＮＯＮＢＬＵＲ}間において、フィルタリングの内容を互いに異ならせても良い。より具体的には例えば、ＺＦ_ＲＡＷ＝０．５の条件下において、第３実施例と同等の作用が得られるように、ケースα_ＢＬＵＲにおけるＲＡＷ画像に対して成すローパスフィルタの強度をケースα_{ＮＯＮＢＬＵＲ}におけるそれよりも弱くする。

【0119】

尚、フィルタリング部７１によるフィリタリングと色補間処理部５１による色補間処理の実行順序を逆にすることもできる。即ち、色補間処理の実行後にフィルタリング部７１によるフィリタリングを行うようにしても良い。

【0120】

第４実施例によっても、第１、第２又は第３実施例と同様の効果が得られる。但し、第４実施例では、色補間処理部５１とは別にフィルタリング部７１が必要になる。従って、色補間処理の中でＲＡＷズーム倍率等に応じた周波数特性制御を成すことができる第１〜第３実施例の方が、処理速度及び処理負荷量の面でメリットがある。

【0121】

＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１〜注釈４を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

【0122】

［注釈１］
図１６等に示される構成では、色補間処理の実行後に画像データの量をＤ_ＩＮメガからＤ_ＯＵＴメガに変更する解像度変換が成されているが、それらの処理の実行順序を逆にすることも可能である。即ち、ＲＡＷズーム倍率（又はＤ_ＯＵＴの値）に基づく解像度変換によってＤ_ＩＮメガのＲＡＷデータをＤ_ＯＵＴメガのＲＡＷデータに変換した後、Ｄ_ＯＵＴメガのＲＡＷデータに対して色補間処理を実行することでＤ_ＯＵＴメガのＲＧＢデータ（即ち、変換結果画像の画像データ）を生成するようにしてもよい。実際には、上記解像度変換と色補間処理を同時に行うことができる。

【0123】

［注釈２］
図１６等に示される構成では、ＲＧＢデータの生成後に、ＹＵＶ変換部５３によるＹＵＶ変換を行うようにしているが、最終的にＹＵＶデータを作るのであれば、色補間処理によって一気にＹＵＶデータを生成するようにしても良い。

【0124】

［注釈３］
図１の撮像装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい。

【0125】

［注釈４］
例えば、以下のように考えることができる。
撮像装置１には、特定信号処理によって、撮像素子３３上における抽出枠ＥＦ内の受光画素信号から出力画像の画像データを生成する特定信号処理部を備えている。変換結果画像、ＹＵＶ画像又は最終結果画像の夫々は、出力画像の一種である。特定信号処理は、抽出枠ＥＦ内の受光画素信号から出力画像の画像データを生成するために、抽出枠ＥＦ内の受光画素信号及び抽出枠ＥＦ内の受光画素信号に基づく信号に対して成される処理である。

【0126】

特定信号処理部は、色補間処理部５１及び解像度変換部５２を含んで構成され、或いは、フィルタリング部７１、色補間処理部５１及び解像度変換部５２を含んで構成され、更に、ＹＵＶ変換部５３、電子ズーム処理部５４及びフィルタリング部７１を更に含みうる。従って、第１〜第３実施例における特定信号処理は色補間処理及び解像度変換を含み、第４実施例における特定信号処理はフィルタリング（フィルタリング部７１のフィルタリング）、色補間処理及び解像度変換を含む。図１６等には示されていないが、特定信号処理に、ノイズ低減処理などが更に含まれていても構わない。特定信号処理部は、比（Ｄ_ＯＵＴ／Ｄ_ＩＮ）に応じて特定信号処理を制御することにより出力画像の空間周波数特性を制御することができる。より具体的には、特定信号処理部は、比（Ｄ_ＯＵＴ／Ｄ_ＩＮ）の変化に伴って特定信号処理の内容（色補間処理の内容又はフィルタリングの内容）を変化させることにより出力画像の空間周波数特性を変化させることができる。

【符号の説明】

【0127】

１ 撮像装置
１１ 撮像部
３３ 撮像素子
３３_Ａ 有効画素領域
５０ 抽出枠設定部
５１ 色補間処理部
５２ 解像度変換部
６２ 動き検出部
７１ フィルタリング部
Ｐ_Ｓ［ｘ，ｙ］ 受光画素
ＥＦ 抽出枠

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】