特許 6525139 画像検出装置、画像検出方法及び撮影装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6525139

(24)【登録日】2019年5月17日

(45)【発行日】2019年6月5日

(54)【発明の名称】画像検出装置、画像検出方法及び撮影装置

(51)【国際特許分類】

   H04N 9/07 20060101AFI20190527BHJP

   H04N 5/232 20060101ALI20190527BHJP

【ＦＩ】

   H04N9/07 A

   H04N5/232

【請求項の数】9

【全頁数】22

(21)【出願番号】特願2015-46743(P2015-46743)

(22)【出願日】2015年3月10日

(65)【公開番号】特開2016-167728(P2016-167728A)

(43)【公開日】2016年9月15日

【審査請求日】2017年12月26日

(73)【特許権者】

【識別番号】311015207

【氏名又は名称】リコーイメージング株式会社

(74)【代理人】

【識別番号】100078880

【弁理士】

【氏名又は名称】松岡 修平

(74)【代理人】

【識別番号】100183760

【弁理士】

【氏名又は名称】山鹿 宗貴

(72)【発明者】

【氏名】松本 健児

【審査官】 大室 秀明

(56)【参考文献】

【文献】 特開平０９−０７４５２４（ＪＰ，Ａ）

【文献】 特開２０１２−０９００９０（ＪＰ，Ａ）

【文献】 特開２００７−３１５７７０（ＪＰ，Ａ）

【文献】 特開２０１４−０５３８８３（ＪＰ，Ａ）

【文献】 特開２０１４−２０９６８９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−５／２５７

Ｈ０４Ｎ ９／０４−９／１１

(57)【特許請求の範囲】

【請求項1】

所定の画素配置を有する撮像素子と、
撮影光学系の最も被写体側に位置する光学素子から前記撮像素子の受光面までの間の光路に配置された透光性部材と、
前記撮像素子の受光面に対して前記撮影光学系による被写体像を相対的に振動させるために、前記透光性部材を少なくとも１つの状態で振動させる加振手段と、
前記透光性部材の異なる振動の状態下において、前記撮像素子に取り込まれた被写体像を撮像して得た画像に対し、色補間処理を含む所定の信号処理を施して色差信号を生成する信号生成手段と、
撮像時における前記透光性部材の振動の状態が互いに異なる少なくとも一対の画像の色差信号に基づいて該画像内に発生する画像劣化の検出を行う検出手段と、
を備える、
画像検出装置。

【請求項2】

前記加振手段は、
前記透光性部材を振動させることにより、前記各対の色差信号が持つ色情報が、画像劣化が発生する画像劣化発生領域で互いに補色の関係となるように、前記撮像素子の受光面上での被写体像の入射位置を画素間隔に応じた量だけ変位させる、
請求項１に記載の画像検出装置。

【請求項3】

前記加振手段は、
前記透光性部材を振動させることにより、前記撮像素子の受光面上での被写体像の入射位置を該撮像素子の画素配置に応じた方向に奇数画素分の距離だけ変位させる、
請求項１または請求項２に記載の画像検出装置。

【請求項4】

前記検出手段は、
前記各対の色差信号の差分値と加算値の少なくとも一方を演算し、
演算結果に基づいて画像劣化の検出を行う、
請求項１から請求項３の何れか一項に記載の画像検出装置。

【請求項5】

前記信号生成手段は、
前記所定の信号処理を施すことにより、前記色差信号と組になる輝度信号を生成し、
前記検出手段は、
前記輝度信号にも基づいて画像劣化の検出を行う、
請求項１から請求項４の何れか一項に記載の画像検出装置。

【請求項6】

前記透光性部材は、
前記撮像素子の受光面の直前に配置された平行平面形状ガラスである、
請求項１から請求項５の何れか一項に記載の画像検出装置。

【請求項7】

前記加振手段は、
前記透光性部材に一定の周波数の、光軸方向に振幅を有する正弦波の振動を加えるものであり、
前記異なる振動の状態は、
前記一定の周波数と前記振幅の少なくとも一方が異なる状態である、
請求項１から請求項６の何れか一項に記載の画像検出装置。

【請求項8】

請求項１から請求項７の何れか一項に記載の画像検出装置を有する撮影装置であって、
前記撮影装置の筺体が静止状態であるか否かを判定する静止状態判定手段
を備え、
前記静止状態判定手段により前記撮影装置の筺体が静止状態であると判定すると、前記画像検出装置による撮像を行う、
撮影装置。

【請求項9】

撮影光学系の最も被写体側に位置する光学素子から所定の画素配置を有する撮像素子の受光面までの間の光路に配置された透光性部材を、少なくとも１つの状態で振動させることにより、該受光面に対して該撮影光学系による被写体像を相対的に振動させるステップと、
前記透光性部材の異なる振動の状態下において、前記撮像素子に取り込まれた被写体像を撮像して得た画像に対し、色補間処理を含む所定の信号処理を施して色差信号を生成するステップと、
撮像時における前記透光性部材の振動の状態が互いに異なる少なくとも一対の画像の色差信号に基づいて該画像内に発生する画像劣化の検出を行うステップと、
を含む、
画像検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像内の画像劣化を検出する画像検出装置及び画像検出方法並びに撮影装置に関する。

【背景技術】

【0002】

撮像素子の画素ピッチと同程度以上の高周波成分を含む被写体を撮像すると、偽色（色モアレ）等のモアレが発生して、撮影画像が劣化することが知られている。そこで、この種の画像劣化を除去するための種々の技術が提案されている。例えば特許文献１に、撮影画像内に発生する偽色を検出することが可能な撮影装置の具体的構成が記載されている。

【0003】

特許文献１に記載の撮影装置は、合焦状態の被写体を撮像し、次いで、非合焦状態の被写体を撮像する。非合焦状態の撮影画像では、被写体のコントラストが低下して高周波成分が低減されるため、合焦状態の撮影画像に発生していた偽色も低減される。そこで、特許文献１に記載の撮影装置は、合焦状態の撮影画像の色差信号と非合焦状態の撮影画像の色差信号との差分値をブロック毎に演算し、差分値の大きいブロックを偽色が発生しているブロックとして検出する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１１−１０９４９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

このように、特許文献１に記載の撮影装置では、コントラストが高く偽色が発生している被写体と、コントラストが低く偽色の発生が低減された被写体とを比較処理で検出することにより、偽色の発生を検出している。しかし、非合焦状態の撮影画像では、合焦状態の撮影画像と比べて偽色の発生が軽減されるだけであることから、色差信号の差分値が偽色の発生しているブロックにおいても大きくはならない。そのため、特許文献１に記載の撮影装置では、偽色を精度良く検出することが難しい。

【0006】

本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、画像劣化を精度良く検出することが可能な画像検出装置、画像検出方法及び撮影装置を提供することである。

【課題を解決するための手段】

【0007】

本発明の一実施形態に係る画像検出装置は、撮影光学系を介して、所定の画素配置を有する撮像素子に入射される光路中に配置された透光性部材と、透光性部材に、所定の振動を加える加振手段と、透光性部材の振動によって変化した複数の画像間の差異に基づいて、何れかの画像内に発生する画像劣化の検出を行う検出手段とを備える。

【0008】

また、本発明の一実施形態に係る画像検出装置は、所定の画素配置を有する撮像素子と、撮影光学系の最も被写体側に位置する光学素子から撮像素子の受光面までの間の光路に配置された透光性部材と、撮像素子の受光面に対して撮影光学系による被写体像を相対的に振動させるために、透光性部材を少なくとも１つの状態で振動させる加振手段と、透光性部材の異なる振動の状態下において、撮像素子に取り込まれた被写体像を撮像して得た画像に対し、色補間処理を含む所定の信号処理を施して色差信号を生成する信号生成手段と、撮像時における透光性部材の振動の状態が互いに異なる少なくとも一対の画像の色差信号に基づいて該画像内に発生する画像劣化の検出を行う検出手段とを備える。

【0009】

本発明の一実施形態によれば、撮像素子の受光面に対して撮影光学系による被写体像を相対的に振動させることにより、振動前後の画像において高周波成分を含む領域で異なる色の画像劣化が発生して、画像間の変化が大きくなりやすい。そのため、画像劣化を精度良く検出することが可能となる。

【0010】

また、本発明の一実施形態において、加振手段は、透光性部材を振動させることにより、各対の色差信号が持つ色情報が、画像劣化が発生する画像劣化発生領域で互いに補色の関係となるように、撮像素子の受光面上での被写体像の入射位置を画素間隔に応じた量だけ変位させる構成としてもよい。

【0011】

また、本発明の一実施形態において、加振手段は、透光性部材を振動させることにより、撮像素子の受光面上での被写体像の入射位置を該撮像素子の画素配置に応じた方向に奇数画素分の距離だけ変位させる構成としてもよい。

【0012】

また、本発明の一実施形態において、検出手段は、各対の色差信号の差分値と加算値の少なくとも一方を演算し、演算結果に基づいて画像劣化の検出を行う構成としてもよい。

【0013】

また、本発明の一実施形態において、信号生成手段は、所定の信号処理を施すことにより、色差信号と組になる輝度信号を生成する構成としてもよい。この構成において、検出手段は、各対の輝度信号にも基づいて画像劣化の検出を行う。

【0014】

また、本発明の一実施形態において、透光性部材は、例えば撮像素子の受光面の直前に配置された平行平面形状ガラスである。

【0015】

また、本発明の一実施形態において、加振手段は、透光性部材に一定の周波数の、光軸方向に振幅を有する正弦波の振動を加える構成としてもよい。この場合、加振手段による異なる振動の状態とは、例えば、振動の周波数と振幅の少なくとも一方が異なる状態である。

【0016】

また、本発明の一実施形態に係る撮影装置は、上記の画像検出装置と、撮影装置の筐体が静止状態であるか否かを判定する静止状態判定手段を備えており、静止状態判定手段により撮影装置の筐体が静止状態であると判定すると、画像検出装置による画像劣化の検出を行う。

【0017】

また、本発明の一実施形態に係る画像検出方法は、撮影光学系の最も被写体側に位置する光学素子から所定の画素配置を有する撮像素子の受光面までの間の光路に配置された透光性部材を、少なくとも１つの状態で振動させることにより、該受光面に対して該撮影光学系による被写体像を相対的に振動させるステップと、透光性部材の異なる振動の状態下において、撮像素子に取り込まれた被写体像を撮像して得た画像に対し、色補間処理を含む所定の信号処理を施して色差信号を生成するステップと、撮像時における透光性部材の振動の状態が互いに異なる少なくとも一対の画像の色差信号に基づいて該画像内に発生する画像劣化の検出を行うステップとを含む。

【発明の効果】

【0018】

本発明の一実施形態によれば、画像劣化を精度良く検出することが可能な画像検出装置、画像検出方法及び撮影装置が提供される。

【図面の簡単な説明】

【0019】

【図1】本発明の実施形態の撮影装置の構成を示すブロック図である。

【図2】本発明の実施形態の撮影装置に備えられる撮像ユニットの構成を示す分解斜視図である。

【図3】本発明の実施形態の撮像ユニットに備えられる固体撮像素子の受光面に入射される光線の軌跡を模式的に示す図である。

【図4】本発明の実施形態におけるＬＰＦ駆動の説明を補助する図である。

【図5】本発明の実施形態におけるシステムコントローラによる偽色検出フローを示す図である。

【図6】本発明の実施形態において撮影される被写体に関する図である。

【図7】本発明の実施形態において撮影される被写体に関する図である。

【図8】本発明の実施形態の色空間内においてプロットされる各色差信号を示す図である。

【図9】本発明の実施形態において所定の共振周波数で加振されたときのカバーガラスの状態を示す図である。

【発明を実施するための形態】

【0020】

以下、本発明の実施形態の撮影装置について図面を参照しながら説明する。以下においては、本発明の一実施形態として、デジタル一眼レフカメラについて説明する。なお、撮影装置は、デジタル一眼レフカメラに限らず、例えば、ミラーレス一眼カメラ、コンパクトデジタルカメラ、ビデオカメラ、カムコーダ、タブレット端末、ＰＨＳ（Personal Handy phone System）、スマートフォン、フィーチャフォン、携帯ゲーム機など、撮影機能を有する別の形態の装置に置き換えてもよい。

【0021】

［撮影装置１全体の構成］
図１は、本実施形態の撮影装置１の構成を示すブロック図である。図１に示されるように、撮影装置１は、システムコントローラ１００、操作部１０２、駆動回路１０４、撮影レンズ１０６、絞り１０８、シャッタ１１０、撮像ユニット１１２、信号処理回路１１４、画像処理エンジン１１６、バッファメモリ１１８、カード用インタフェース１２０、ＬＣＤ（Liquid Crystal Display）制御回路１２２、ＬＣＤ１２４、ＲＯＭ（Read Only Memory）１２６、ジャイロセンサ１２８、加速度センサ１３０、地磁気センサ１３２及びＧＰＳ（Global Positioning System）センサ１３４を備えている。なお、撮影レンズ１０６は複数枚構成であるが、図１においては便宜上一枚のレンズとして示す。また、撮影レンズ１０６の光軸ＡＸと同じ方向をＺ軸方向と定義し、Ｚ軸方向と直交し且つ互いに直交する二軸方向をそれぞれＸ軸方向（水平方向）、Ｙ軸方向（垂直方向）と定義する。

【0022】

操作部１０２には、電源スイッチやレリーズスイッチ、撮影モードスイッチなど、ユーザが撮影装置１を操作するために必要な各種スイッチが含まれる。ユーザにより電源スイッチが操作されると、図示省略されたバッテリから撮影装置１の各種回路に電源ラインを通じて電源供給が行われる。

【0023】

システムコントローラ１００は、ＣＰＵ（Central Processing Unit）及びＤＳＰ（Digital Signal Processor）を含む。システムコントローラ１００は電源供給後、ＲＯＭ１２６にアクセスして制御プログラムを読み出してワークエリア（不図示）にロードし、ロードされた制御プログラムを実行することにより、撮影装置１全体の制御を行う。

【0024】

レリーズスイッチが操作されると、システムコントローラ１００は、例えば、固体撮像素子１１２ａ（後述の図２参照）により撮像された画像に基づいて計算された測光値や、撮影装置１に内蔵された露出計（不図示）で測定された測光値に基づき適正露出が得られるように、駆動回路１０４を介して絞り１０８及びシャッタ１１０を駆動制御する。より詳細には、絞り１０８及びシャッタ１１０の駆動制御は、プログラムＡＥ（Automatic Exposure）、シャッタ優先ＡＥ、絞り優先ＡＥなど、撮影モードスイッチにより指定されるＡＥ機能に基づいて行われる。また、システムコントローラ１００はＡＥ制御と併せてＡＦ（Autofocus）制御を行う。ＡＦ制御には、アクティブ方式、位相差検出方式、像面位相差検出方式、コントラスト検出方式等が適用される。また、ＡＦモードには、中央一点の測距エリアを用いた中央一点測距モード、複数の測距エリアを用いた多点測距モード、全画面の距離情報に基づく全画面測距モード等がある。システムコントローラ１００は、ＡＦ結果に基づいて駆動回路１０４を介して撮影レンズ１０６を駆動制御し、撮影レンズ１０６の焦点を調整する。なお、この種のＡＥ及びＡＦの構成及び制御については周知であるため、ここでの詳細な説明は省略する。

【0025】

図２は、撮像ユニット１１２の構成を示す分解斜視図である。図２に示されるように、撮像ユニット１１２は、固体撮像素子１１２ａを備えている。被写体からの光束（被写体光束）は、撮影レンズ１０６、絞り１０８、シャッタ１１０を通過して固体撮像素子１１２ａの受光面にて受光される。なお、固体撮像素子１１２ａの受光面は、Ｘ軸及びＹ軸を含むＸＹ平面である。固体撮像素子１１２ａは、ベイヤ型カラーフィルタが受光面の各画素毎に一体的に配置された単板式カラーＣＣＤ（Charge Coupled Device）イメージセンサである。したがって、固体撮像素子１１２ａは、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の画像信号を生成して出力する。なお、固体撮像素子１１２ａは、ＣＣＤイメージセンサに限らず、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやその他の種類の撮像装置に置き換えられてもよい。固体撮像素子１１２ａはまた、補色系カラーフィルタを搭載したものであってもよい。また、固体撮像素子１１２ａに搭載されたカラーフィルタは、撮像素子１１２ａの受光面に対して移動可能であるように該受光面と分離して配置された構成としてもよい。

【0026】

信号処理回路１１４は、固体撮像素子１１２ａより入力される画像信号に対してクランプ、デモザイク（色補間）等の所定の信号処理を施して、画像処理エンジン１１６に出力する。画像処理エンジン１１６は、信号処理回路１１４より入力される画像信号に対してマトリクス演算、Ｙ／Ｃ分離、ホワイトバランス等の所定の信号処理を施して輝度信号Ｙ、色差信号Ｃｂ、Ｃｒを生成し、ＪＰＥＧ（Joint Photographic Experts Group）等の所定のフォーマットで圧縮する。バッファメモリ１１８は、画像処理エンジン１１６による処理の実行時、処理データの一時的な保存場所として用いられる。また、撮影画像の保存形式は、ＪＰＥＧ形式に限らず、最小限の画像処理（例えばクランプ）しか施されないＲＡＷ形式であってもよい。

【0027】

カード用インタフェース１２０のカードスロットには、メモリカード２００が着脱可能に差し込まれている。

【0028】

画像処理エンジン１１６は、カード用インタフェース１２０を介してメモリカード２００と通信可能である。画像処理エンジン１１６は、生成された圧縮画像信号（撮影画像データ）をメモリカード２００（又は撮影装置１に備えられる不図示の内蔵メモリ）に保存する。

【0029】

また、画像処理エンジン１１６は、生成された輝度信号Ｙ、色差信号Ｃｂ、Ｃｒをフレームメモリ（不図示）にフレーム単位でバッファリングする。画像処理エンジン１１６は、バッファリングされた信号を所定のタイミングで各フレームメモリから掃き出して所定のフォーマットのビデオ信号に変換し、ＬＣＤ制御回路１２２に出力する。ＬＣＤ制御回路１２２は、画像処理エンジン１１６より入力される画像信号を基に液晶を変調制御する。これにより、被写体の撮影画像がＬＣＤ１２４の表示画面に表示される。ユーザは、ＡＥ制御及びＡＦ制御に基づいて適正な輝度及びピントで撮影されたリアルタイムのスルー画（ライブビュー）を、ＬＣＤ１２４の表示画面を通じて視認することができる。

【0030】

画像処理エンジン１１６は、ユーザにより撮影画像の再生操作が行われると、操作により指定された撮影画像データをメモリカード２００又は内蔵メモリより読み出して所定のフォーマットの画像信号に変換し、ＬＣＤ制御回路１２２に出力する。ＬＣＤ制御回路１２２が画像処理エンジン１１６より入力される画像信号を基に液晶を変調制御することで、被写体の撮影画像がＬＣＤ１２４の表示画面に表示される。

【0031】

［振れ補正部材の駆動に関する説明］
図２に示されるように、撮像ユニット１１２は、像振れ補正ユニット１１２Ａを備えている。なお、図２において、像振れ補正ユニット１１２Ａについては、便宜上、一部の構成要素のみを示す。像振れ補正ユニット１１２Ａは、振れ補正部材を駆動させる。本実施形態において、振れ補正部材は、固体撮像素子１１２ａである。なお、振れ補正部材は、固体撮像素子１１２ａに限らず、撮影レンズ１０６内に含まれる一部のレンズなど、光軸ＡＸを基準として物理的に動かされることにより、固体撮像素子１１２ａの受光面上での被写体像の入射位置をシフトさせることが可能な別の構成であってもよく、又は、これらと固体撮像素子１１２ａのうち２つ以上の部材を組み合わせた構成であってもよい。

【0032】

像振れ補正ユニット１１２Ａは、撮影装置１の筺体の露光中の振動（いわゆる手振れ）による像振れを補正するために振れ補正部材を光軸ＡＸと直交する平面内（すなわち、ＸＹ平面内）で撮影装置１の筺体の振動に応じて微小に駆動（振動）させるだけでなく、撮影装置１の露光中に被写体像を画素ピッチ分（つまり極めて微小量）移動させることによる光学的なローパスフィルタ（ＬＰＦ：Low Pass Filter）効果（偽色等のモアレの軽減）が得られるように振れ補正部材を光軸ＡＸと直交する平面内で更に微小に駆動（微小回転）させる。以下、説明の便宜上、振れ補正部材を像振れ補正で駆動させることを「像振れ補正駆動」と記し、振れ補正部材を光学的なＬＰＦと同様の効果が得られるように駆動させることを「ＬＰＦ駆動」と記す。

【0033】

（像振れ補正駆動に関する説明）
ジャイロセンサ１２８は、像振れ補正を制御するための情報（撮像装置１の筺体の振動）を検出するためのセンサである。具体的には、ジャイロセンサ１２８は、撮影装置１に加わる二軸周り（Ｘ軸周り、Ｙ軸周り）の角速度を検出し、検出された二軸周りの角速度をＸＹ平面内（換言すると、固体撮像素子１１２ａの受光面内）の振れを示す振れ検出信号としてシステムコントローラ１００に出力する。

【0034】

図２に示されるように、像振れ補正ユニット１１２Ａは、撮影装置１が備えるシャーシ等の構造物に固定された固定支持基板１１２Ａａを備えている。固定支持基板１１２Ａａは、固体撮像素子１１２ａが搭載された可動ステージ（不図示）をスライド可能に支持している。

【0035】

可動ステージと対向する固定支持基板１１２Ａａの面上には、二対のボイスコイルモータ（不図示）が取り付けられている。ボイスコイルモータは、磁気回路（ヨーク及び磁石）並びに駆動用コイルを備えている。駆動用コイルが磁気回路の磁界内において電流を受けることにより、駆動力が発生する。可動ステージ（固体撮像素子１１２ａ）は、発生した駆動力により、固定支持基板１１２Ａａに対してＸＹ平面内で微小に駆動される。

【0036】

各駆動用コイルの近傍位置には、ホール素子（不図示）が取り付けられている。ホール素子は、磁石の磁力を検出して、可動ステージ（固体撮像素子１１２ａ）のＸＹ平面内の位置を示す位置検出信号をシステムコントローラ１００に出力する。一対のホール素子により可動ステージ（固体撮像素子１１２ａ）のＹ軸方向位置及び傾き（回転）が検出され、もう一対のホール素子により可動ステージ（固体撮像素子１１２ａ）のＸ軸方向位置及び傾き（回転）が検出される。

【0037】

システムコントローラ１００は、ジャイロセンサ１２８より出力される振れ検出信号及び各ホール素子より出力される位置検出信号に基づいて各ボイスコイルモータに流す電流のバランスを崩さないようにデューティ比を計算する。システムコントローラ１００は、計算されたデューティ比で各ボイスコイルモータに駆動電流を流し、固体撮像素子１１２ａを像振れ補正駆動する。これにより、固体撮像素子１１２ａが重力や外乱等に抗して規定の位置に保持されつつ固体撮像素子１１２ａの受光面上での像振れが補正（別の言い方によれば、受光面上での被写体像の入射位置が振れないように固体撮像素子１１２ａの位置が調整）される。

【0038】

（ＬＰＦ駆動に関する説明）
次に、ＬＰＦ駆動に関する説明を行う。本実施形態において、像振れ補正ユニット１１２Ａは、各ボイスコイルモータに所定の駆動電流を流すことにより、一回の露光期間に対して、ＸＹ平面内において所定の軌跡を描くように可動ステージ（固体撮像素子１１２ａ）を駆動して、被写体像を固体撮像素子１１２ａの検出色（Ｒ、Ｇ又はＢ）の異なる複数の画素に入射させる。これにより、光学的なＬＰＦと同様の効果が得られる。

【0039】

図４（ａ）、図４（ｂ）は、ＬＰＦ駆動の説明を補助する図である。同図に示されるように、固体撮像素子１１２ａの受光面上には、複数の画素ＰＩＸが所定の画素ピッチＰでマトリックス状に並べて配置されている。説明の便宜上、同図の各画素ＰＩＸについて、前面に配置されたフィルタ色に対応させて符号（Ｒ、Ｇ、Ｂの何れか１つ）を付す。

【0040】

図４（ａ）は、固体撮像素子１１２ａが光軸ＡＸを中心とする正方形軌跡を描くように駆動される例を示す。この正方形軌跡は、例えば固体撮像素子１１２ａの画素ピッチＰを一辺とした正方形の閉じた経路とすることができる。図４（ａ）の例では、固体撮像素子１１２ａは、Ｘ軸方向とＹ軸方向とに１画素ピッチＰ単位で交互に且つ正方形経路となるように駆動される。

【0041】

図４（ｂ）は、固体撮像素子１１２ａが光軸ＡＸを中心とする回転対称な円形軌跡を描くように駆動される例を示す。この円形軌跡は、例えば固体撮像素子１１２ａの画素ピッチＰの√２／２倍を半径ｒとする円形の閉じた経路とすることができる。

【0042】

なお、画素ピッチＰを含む駆動軌跡の情報は、システムコントローラ１００の内部メモリ又はＲＯＭ１２６に予め保持されている。

【0043】

図４（ａ）（又は図４（ｂ））に例示されるように、露光期間中、固体撮像素子１１２ａが駆動軌跡の情報に基づいて所定の正方形軌跡（又は円形軌跡）を描くように駆動されると、被写体像が４つのカラーフィルタＲ、Ｇ、Ｂ、Ｇ（４つ（二行二列）の画素ＰＩＸ）に均等に入射される。これにより、光学的なＬＰＦと同等の効果が得られる。すなわち、何れのカラーフィルタ（画素ＰＩＸ）に入射された被写体像も、その周辺のカラーフィルタ（画素ＰＩＸ）に必ず入射されるため、恰も光学的なＬＰＦを被写体像が通過したときと同等の効果（偽色等のモアレの軽減）が得られる。

【0044】

なお、ユーザは、操作部１０２を操作することにより、像振れ補正駆動、ＬＰＦ駆動のそれぞれのオン／オフを切り替えることができる。

【0045】

［異物除去に関する説明］
図２に示される撮像ユニット１１２において、像振れ補正ユニット１１２Ａと押さえ枠１１２Ｂは、ねじ等で締結固定される。像振れ補正ユニット１１２Ａと押さえ枠１１２Ｂとの間には、固体撮像素子１１２ａ、ゴムシート１１２ｂ、ＩＲ（Infra-Red）吸収硝子１１２ｃ、カバーガラス１１２ｄ（透明部材）、スポンジシート１１２ｅ及び受光面保護カバー１１２ｆが配置されている。言いかえると、ＩＲ（Infra-Red）吸収硝子１１２ｃ、カバーガラス１１２ｄ（透明部材）は、固体撮像素子１１２ａ（受光面）と撮影レンズ１０６との間に配置されている。

【0046】

具体的には、固体撮像素子１１２ａには、受光面と一体的に構成され固体撮像素子１１２ａとユニット化された受光面保護カバー１１２ｆが配置されている。また、固体撮像素子１１２ａには、受光面（画素毎にカラーフィルタが配置された画素配置領域）の四辺を囲う矩形枠状のゴムシート１１２ｂが接着されている。また、固体撮像素子１１２ａの前方であって被写体光束の光路上には、固体撮像素子１１２ａ側から順に、受光面保護カバー１１２ｆから所定の間隔を空けて赤外線を吸収（すなわち、赤外線の透過をカット）するＩＲ吸収硝子１１２ｃ、固体撮像素子１１２ａ全体を保護するカバーガラス１１２ｄが配置されている。固体撮像素子１１２ａの画素配置領域は、ゴムシート１１２ｂと受光面保護カバー１１２ｆとによって規定されるスペース内に、カラーフィルタと共に封止されている。そのため、固体撮像素子１１２ａの画素配置領域には直接的には塵埃等の異物が付着しない。また、受光面保護カバー１１２ｆとカバーガラス１１２ｄとの間に、スポンジシート１１２ｅが配置されている。スポンジシート１１２ｅは、被写体光束の光路と干渉しないように矩形枠状に形成されている。

【0047】

受光面保護カバー１１２ｆは、被写体光束の光路上に位置する領域（光学面）の周囲がゴムシート１１２ｂ、カバーガラス１１２ｄ及びスポンジシート１１２ｅ等により取り囲われている。そのため、受光面保護カバー１１２ｆの光学面には、塵埃等の異物が実質的に付着しない。一方、カバーガラス１１２ｄの光学面（特にシャッタ１１０側に位置する前面）には、塵埃等の異物が付着する虞がある。

【0048】

そこで、図２に示されるように、カバーガラス１１２ｄの光学面（背面側の光学面）の下部周縁領域（被写体光束の光路外）に、圧電素子１１２ＰＺＴが配置されている。圧電素子１１２ＰＺＴは、Ｘ軸方向に長尺な形状を有しており、その表面には対をなす対向電極が形成されている。圧電素子１１２ＰＺＴは、対向電極及びフレキケーブル１１２ＦＰＣを介してシステムコンピュータ１００と接続されている。

【0049】

圧電素子１１２ＰＺＴは、システムコンピュータ１００により対向電極間で分極方向に電圧が印加されるとＺ軸の矢羽根側の方向（−Ｚ軸方向）に屈曲し、システムコンピュータ１００により対向電極間で分極方向と逆方向に電圧が印加されるとＺ軸の矢じり側の方向（＋Ｚ軸方向）に屈曲する。圧電素子１１２ＰＺＴに印加される電圧は、交流電圧である。そのため、圧電素子１１２ＰＺＴは、電圧印加中、±Ｚ軸方向に交流電圧の周波数に応じた周期で振動（微視的には光学面が略正弦波振動）する。

【0050】

例えば、操作部１０２に備えられるクリーニングモードスイッチが押されることにより、圧電素子１１２ＰＺＴが振動して、カバーガラス１１２ｄが加振される。カバーガラス１１２ｄが加振されることにより、カバーガラス１１２ｄの光学面に付着した異物が振るい落される。また、スポンジシート１１２ｅは、カバーガラス１１２ｄから伝わる振動を吸収する。そのため、固体撮像素子１１２ａ、ゴムシート１１２ｂ及び受光面保護カバー１１２ｆは、カバーガラス１１２ｄの振動の影響を実質的に受けない。

【0051】

［画像劣化（偽色）の検出に関する説明］
次に、本実施形態において撮影画像内に発生する画像劣化（モアレの一種である偽色）を検出する方法について説明する。図５は、システムコントローラ１００により実行される偽色検出フローを示す。図５に示される偽色検出フローは、例えば、レリーズスイッチが押された時点で開始される。

【0052】

［図５のＳ１１（状態の判定）］
本処理ステップＳ１１では、撮影装置１の筺体が静止状態であるか否かが判定される。例示的には、ジャイロセンサ１２８より入力される振れ検出信号のうち一定周波数以上の信号成分の振幅が一定期間継続してある閾値以内に収まる場合に静止状態と判定される。撮影装置１の筺体の静止状態として、典型的には、撮影装置１が三脚に固定された状態が挙げられる。なお、静止状態を含めた撮影装置１の姿勢はジャイロセンサ１２８に代えて、加速度センサ１３０、地磁気センサ１３２、ＧＰＳセンサ１３４など、他のセンサより出力される情報を用いて検出されてもよい。また、検出精度を向上させるため、例えばセンサ・フュージョン技術を適用し、これらのセンサより出力される情報が複合的に用いられるようにしてもよい。

【0053】

撮影装置１が低速シャッタスピード設定下の手持ち撮影状態など、静止状態にない場合は、手振れ（あるいは被写体振れ）による被写体のボケに起因して偽色がそもそも発生し難い。従って、本実施形態では、撮影装置１の筺体が静止状態である（すなわち、偽色が発生しやすい状態である）と判定された場合に限り（Ｓ１１：ＹＥＳ）、撮影画像内の偽色を検出すべく、処理ステップＳ１２（第一画像の撮影）以降が実行される。撮影装置１の筺体が静止状態にない場合は、処理ステップＳ１２（第一画像の撮影）以降が実行されないため、システムコントローラ１００の処理負荷が軽減される。処理ステップＳ１２（第一画像の撮影）以降が実行されない旨は、撮影者に例えばＬＣＤ１２４の表示画面等を通じて通知されてもよい。なお、撮影画像内の偽色の検出を重視したい場合は、撮影装置１が静止状態であるか否かに拘わらず処理ステップＳ１２（第一画像の撮影）以降が実行されてもよい。この場合、処理ステップＳ１２（第一画像の撮影）以降が実行される旨は、撮影者に例えばＬＣＤ１２４の表示画面等を通じて通知されてもよい。また、静止状態の判定閾値は撮影装置１に設定されたシャッタスピードに応じて変更されてもよい。

【0054】

［図５のＳ１２（第一画像の撮影）］
図６（ａ）、図７（ａ）は、撮影される被写体の一部であって、それぞれ異なる部分を拡大して示す図である。図６（ａ）に示される被写体は、固体撮像素子１１２ａの画素ＰＩＸの画素ピッチＰと同ピッチで明暗が交互に現れる斜め縞模様であり、図７（ａ）に示される被写体は、画素ピッチＰと同ピッチで明暗が交互に現れる縦縞模様である。説明の便宜上、図６（ａ）に示される被写体のうち太実線で囲まれた６×６マスの被写体を「斜め縞被写体６ａ」と記し、図７（ａ）に示される被写体のうち太実線で囲まれた６×６マスの被写体を「縦縞被写体７ａ」と記す。

【0055】

本処理ステップＳ１２では、ＡＥ制御及びＡＦ制御に基づいて適正な輝度及びピントで被写体画像（第一画像）が撮影される。ここでは、斜め縞被写体６ａと縦縞被写体７ａの何れにもピントが合っているものとする。

【0056】

図６（ｂ）、図７（ｂ）はそれぞれ、固体撮像素子１１２ａの各画素ＰＩＸの取り込まれる斜め縞被写体６ａ、縦縞被写体７ａを模式的に示す図であり、固体撮像素子１１２ａの受光面を被写体側から正面視した図である。図６（ｂ）及び図７（ｂ）では、図４と同様に、各画素ＰＩＸについて、前面に配置されたフィルタ色に対応させて符号（Ｒ、Ｇ、Ｂの何れか１つ）を付す。図６（ｂ）、図７（ｂ）の各図中、黒塗りの画素ＰＩＸは、縞模様の暗部分を取り込んだことを示し、白塗りの画素ＰＩＸは、縞模様の明部分を取り込んだことを示す。また、説明の便宜上、図６（ｂ）、図７（ｂ）の各図に画素のアドレス（数字１〜８、符号イ〜チ）を付す。なお、厳密には、撮影レンズ１０６の結像作用によって、被写体は上下左右が反転した状態で固体撮像素子１１２ａ上に結像される。一例として、「斜め縞被写体６ａ」の左上角の部分は、固体撮像素子１１２ａ上では右下角の部分として結像する。しかし、本実施形態では、説明の煩雑化を避けるため、「斜め縞被写体６ａ」の左上角の部分は、図６（ｂ）の左上角の部分に対応するものとして説明する。

【0057】

［図５のＳ１３（カバーガラス１１２ｄの加振）］
本処理ステップＳ１３では、カバーガラス１１２ｄが圧電素子１１２ＰＺＴにより所定の共振周波数で加振される。図９（ａ）〜図９（ｅ）の各図に、それぞれ異なる共振周波数で加振されたときのカバーガラス１１２ｄの状態を誇張して示す。図９（ａ）〜図９（ｅ）の各図の濃淡は、カバーガラス１１２ｄの振幅を示す。カバーガラス１１２ｄは、例えば基本振動の２倍以上の共振周波数で加振される。そのため、カバーガラス１１２ｄには、図９（ａ）〜図９（ｅ）の各図に示されるように、腹や節が面内の複数個所に現れるように振動する。

【0058】

カバーガラス１１２ｄの光学面は、加振されていない状態では、その全面に亘って光軸ＡＸと直交した姿勢（以下、説明の便宜上「直交状態」と記す。）を保つ。また、カバーガラス１１２ｄの光学面は、加振されている状態では、図９（ａ）〜図９（ｅ）の各図に示されるように、光軸ＡＸに対して局所的に（特に節周辺の領域で）傾いた状態（以下、説明の便宜上「局所傾斜状態」と記す。）となる。

【0059】

図３に、固体撮像素子１１２ａの受光面に入射される光線の軌跡を模式的に示す。図３中、符号Ｌ（実線）は、光軸ＡＸと平行な方向に伝播する光線であって、カバーガラス１１２ｄに入射される前までの光線の軌跡を示す。符号Ｌ’（破線）及び符号Ｌ”（一点鎖線）は、カバーガラス１１２ｄに入射された後の光線の軌跡を示す。軌跡Ｌ’は、光軸ＡＸに直交状態（加振されていないか、加振中に光軸ＡＸに直交する瞬間の状態）のカバーガラス１１２ｄの光学面（直交状態の領域）に入射された光線の軌跡を示し、軌跡Ｌ”は、加振されて、光軸ＡＸに対して傾斜した瞬間の状態のカバーガラス１１２ｄの光学面（局所傾斜状態の領域）に入射された光線の軌跡を誇張して示す。

【0060】

図３に示されるように、光線が、カバーガラス１１２ｄに垂直に入射している状態では、伝播方向と直交する面内（直交状態の領域）に入射されることから、カバーガラス１１２ｄを屈折することなく直交透過して（入射光線の延長線上に射出して）、固体撮像素子１１２ａの受光面に入射される（図３の軌跡Ｌ’参照）。また、光線が、カバーガラス１１２ｄに対して傾斜して（非直交で）入射している状態では、伝播方向に対して斜めに傾いた面内（局所傾斜状態の領域）に入射されることから、カバーガラス１１２ｄにて屈折されて光線の射出位置が入射光線の延長線上に対して変わり、固体撮像素子１１２ａの受光面に入射される（図３の軌跡Ｌ”参照）。

【0061】

図３の軌跡Ｌ’と軌跡Ｌ”とを比較すると判るように、光線は、カバーガラス１１２ｄの加振による傾斜状態の変化に応じて、固体撮像素子１１２ａの受光面内における入射位置が刻々と変化する。

【0062】

［図５のＳ１４（第二画像の撮影）］
本処理ステップＳ１４においても、第一画像撮影時のＡＥ制御及びＡＦ制御に基づいて被写体画像（第二画像）が撮影される。第二画像の撮影完了後、第一画像と第二画像を用いた画像劣化検出処理を開始する旨が撮影者に告知されてもよい。

【0063】

図６（ｃ）、図７（ｃ）はそれぞれ、図６（ｂ）、図７（ｂ）と同様の図であり、固体撮像素子１１２ａの各画素ＰＩＸの取り込まれる斜め縞被写体６ａ、縦縞被写体７ａを模式的に示す。図６、図７の各図（ｂ）、（ｃ）に示されるように、固体撮像素子１１２ａの受光面上での被写体像の入射位置は、処理ステップＳ１３（カバーガラス１１２ｄの加振）におけるカバーガラス１１２ｄの加振状態に応じて刻々と変化（シフト）する。図６、図７の各図（ｂ）、（ｃ）の例では、カバーガラス１１２ｄが加振されることにより、固体撮像素子１１２ａの受光面上での被写体像の入射位置が左方向（Ｘ軸の矢羽根側の方向）に１画素分の距離だけシフトした瞬間を示している。

【0064】

処理ステップＳ１２（第一画像の撮影）にて撮影された第一画像、処理ステップＳ１４（第二画像の撮影）にて撮影された第二画像の何れの画像信号も、上述した信号処理（クランプ、デモザイク、マトリクス演算、Ｙ／Ｃ分離、ホワイトバランス等）が施されて、輝度信号Ｙ、色差信号Ｃｂ、Ｃｒに変換される。以下、説明の便宜上、処理ステップＳ１２（第一画像の撮影）にて撮影された第一画像の色差信号（Ｃｂ、Ｃｒ）を「第一色差信号」と記し、処理ステップＳ１４（第二画像の撮影）にて撮影された第二画像の色差信号（Ｃｂ、Ｃｒ）を「第二色差信号」と記す。また、「注目画素」とは、少なくともデモザイク処理された後の各画像の画素を指すものとする。

【0065】

［図５のＳ１５（電気的なＬＰＦ処理）］
本実施形態では、詳しくは後述するが、第一色差信号と第二色差信号との信号差分値や信号加算値に基づいて偽色の発生が検出される。しかし、コントラストの高いエッジ部分では、偽色が発生していなくても、第一色差信号と第二色差信号との信号差分値が大きくなることがある。この場合、エッジ部分において偽色が発生していると誤検出される虞がある。また、詳しくは後述するが、信号差分値や信号加算値の演算に用いられる第一色差信号と第二色差信号は、同一の被写体像を写す画素の色差信号ではあるが、処理ステップＳ１３（カバーガラス１１２ｂの加振）にて固体撮像素子１１２ａに対して被写体像がシフトされたことが原因で、それぞれ、アドレスが異なる画素を用いてデモザイク処理されている。そのため、第一色差信号と第二色差信号は、同一の被写体像を写す画素の色差信号であるにも拘わらず色情報が極僅かに異なる場合がある。そこで、本処理ステップＳ１５では、画像信号（輝度信号Ｙ、色差信号Ｃｂ、Ｃｒ）に対してＬＰＦ処理が施される。ＬＰＦ処理によって画像がぼかされることで、エッジ部分における偽色の誤検出が抑えられると共に第一色差信号と第二色差信号との色情報の誤差が抑えられる。

【0066】

［図５のＳ１７（色差信号の差分値の演算）］
斜め縞被写体６ａ及び縦縞被写体７ａは、固体撮像素子１１２ａの画素ＰＩＸの画素ピッチＰと同ピッチの高周波成分を含む。そのため、斜め縞被写体６ａ及び縦縞被写体７ａの画像信号が処理ステップＳ１２（第一画像の撮影）、処理ステップＳ１４（第二画像の撮影）においてデモザイク処理されると、偽色が発生する。

【0067】

具体的には、図６（ｂ）の例では、Ｇ成分の画素ＰＩＸの輝度が高く、Ｒ及びＢ成分の画素ＰＩＸの輝度が低い。そのため、デモザイク処理後の各画素ＰＩＸの色情報はＧ成分が支配的となって、斜め縞被写体６ａに緑色の偽色が発生する。一方、図６（ｃ）の例では、図６（ｂ）の例とは反対に、Ｒ及びＢ成分の画素ＰＩＸの輝度が高く、Ｇ成分の画素ＰＩＸの輝度が低い。そのため、デモザイク処理後の各画素ＰＩＸの色情報はＲ及びＢ成分が支配的となって、斜め縞被写体６ａに紫色の偽色が発生する。

【0068】

また、図７（ｂ）の例では、Ｂ成分の画素ＰＩＸの輝度が高く、Ｒ成分の画素ＰＩＸの輝度が低い。そのため、デモザイク処理後の各画素ＰＩＸの色情報はＢとＧとの混色成分となって、青と緑との中間色（例えばシアン色中心の近傍色）の偽色が発生する。一方、図７（ｃ）の例では、図７（ｂ）の例とは反対に、Ｒ成分の画素ＰＩＸの輝度が高く、Ｂ成分の画素ＰＩＸの輝度が低い。そのため、デモザイク処理後の各画素ＰＩＸの色情報はＲとＧとの混色成分となって、赤と緑の中間色（橙色中心の近傍色）の偽色が発生する。

【0069】

図８は、Ｃｂ、Ｃｒの二軸で定義される色空間を示す。図８中、符号６ｂは、図６（ｂ）の例において注目画素で発生する緑色の偽色に対応するプロットであり、符号６ｃは、図６（ｃ）の例において注目画素で発生する紫色の偽色に対応するプロットであり、符号７ｂは、図７（ｂ）の例において注目画素で発生する青と緑との中間色の偽色に対応するプロットであり、符号７ｃは、図７（ｃ）の例において注目画素で発生する赤と緑の中間色の偽色に対応するプロットである。下記は、各プロットの座標情報を示す。なお、原点Ｏは座標（０,０）である。
プロット６ｂ：（Ｃｂ，Ｃｒ）＝（−Ｍ，−Ｎ）
プロット６ｃ：（Ｃｂ，Ｃｒ）＝（Ｍ，Ｎ）
プロット７ｂ：（Ｃｂ，Ｃｒ）＝（Ｍ’，−Ｎ’）
プロット７ｃ：（Ｃｂ，Ｃｒ）＝（−Ｍ’＋α，Ｎ’＋β）
但し、Ｍ，Ｎ，Ｍ’，Ｎ’，α，βは何れも正数である。

【0070】

図８に示されるように、本実施形態では、固体撮像素子１１２ａの画素ＰＩＸの画素ピッチＰと同程度の高周波成分の被写体像を取り込んだときに発生する偽色の色自体が、受光面に対する被写体像の入射位置をシフトさせることによって変化することを利用して、注目画素において偽色が発生するかどうかを検出している。より詳細には、高周波成分の被写体像が取り込まれる注目画素において、第一色差信号と第二色差信号が持つ色情報が互いに補色の関係となる部分を、偽色が発生する部分であると判断し検出している。

【0071】

本実施形態では、上記の補色関係を得るべく、受光面上での被写体像の入射位置が左方向（水平の画素の並び方向）に１画素分シフトされる画素が注目画素（すなわち、偽色が発生しているかどうかの検出が行われる画素）となっているが、本発明はこれに限らない。例示的には、左方向の代わりに又は左方向に加えて、右方向（水平の画素の並び方向）上方向（垂直な画素の並び方向）、下方向（垂直な画素の並び方向）、右上、右下、左上、左下の各斜め方向（水平、垂直の各並び方向に対して４５度をなす方向）など、画素配置に応じた他の方向にシフトされる画素を注目画素としてもよい。また、例示的には、１画素分の距離の代わりに又は１画素分の距離に加えて、３画素分、５画素分など、他の奇数画素分の距離、又は、半画素分又は半画素分＋奇数画素分（例えば１．５画素分、２．５画素分等）だけシフトされる画素を注目画素としてもよい。このような注目画素で高周波成分の被写体像が取り込まれる場合も、第一色差信号と第二色差信号が持つ色情報が互いに補色の関係となることから、偽色の発生が検出できる。

【0072】

本処理ステップＳ１７では、アドレスが同一の注目画素毎に、第一色差信号と第二色差信号との差分値（Ｃｂ_ｓｕｂ，Ｃｒ_ｓｕｂ）が演算される。具体的には、本処理ステップＳ１７では、第一色差信号のＣｂ、ＣｒをそれぞれＣｂ１、Ｃｒ１と定義し、これと同一アドレスの第二色差信号のＣｂ、ＣｒをそれぞれＣｂ２、Ｃｒ２と定義した場合に、差分値（Ｃｂ_ｓｕｂ，Ｃｒ_ｓｕｂ）が次式により演算される。
Ｃｂ_ｓｕｂ＝Ｃｂ１−Ｃｂ２
Ｃｒ_ｓｕｂ＝Ｃｒ１−Ｃｒ２

【0073】

［図５のＳ１８（第一の距離情報の演算）］
本処理ステップＳ１８では、アドレスが同一の注目画素毎に、第一色差信号と第二色差信号との色空間内での距離（第一の距離情報Saturation__sub）が次式により演算される。
Saturation__sub＝√（Ｃｂ_ｓｕｂ^２＋Ｃｒ_ｓｕｂ^２）

【0074】

第一の距離情報Saturation__subは、図８の各プロット対（プロット６ｂとプロット６ｃ、プロット７ｂとプロット７ｃ）の例でそれぞれ、２√（Ｍ^２＋Ｎ^２）、√｛（２Ｍ’−α）^２＋（２Ｎ’＋β）^２｝となる。

【0075】

図８の各ブロット対の位置関係から把握されるように、第一色差信号と第二色差信号が持つ色情報が強い補色関係にあるほど第一の距離情報Saturation__subが大きくなり、第一色差信号と第二色差信号が持つ色情報が補色関係にない（例えば同様の色相である）ほど第一の距離情報Saturation__subが小さくなる。すなわち、第一の距離情報Saturation__subは、偽色発生領域でなければ理想的にはゼロであり、偽色が強く発生する偽色発生領域ほど大きくなる。

【0076】

［図５のＳ１９（色差信号の加算値の演算）］
本処理ステップＳ１９では、アドレスが同一の注目画素毎に、第一色差信号と第二色差信号との加算値（Ｃｂ’_ａｄｄ，Ｃｒ’_ａｄｄ）が演算される。

【0077】

具体的には、本処理ステップＳ１９では、暫定加算値（Ｃｂ_ａｄｄ，Ｃｒ_ａｄｄ）が次式により演算される。
Ｃｂ_ａｄｄ＝Ｃｂ１＋Ｃｂ２
Ｃｒ_ａｄｄ＝Ｃｒ１＋Ｃｒ２

【0078】

次いで、暫定加算値の平均値（Ｃｂ_ｍｅａｎ，Ｃｒ_ｍｅａｎ）が次式により演算される。
Ｃｂ_ｍｅａｎ＝Ｃｂ_ａｄｄ／２
Ｃｒ_ｍｅａｎ＝Ｃｒ_ａｄｄ／２

【0079】

次いで、加算値（Ｃｂ’_ａｄｄ，Ｃｒ’_ａｄｄ）が次式により演算される。
Ｃｂ’_ａｄｄ＝Ｃｂ_ａｄｄ−Ｃｂ_ｍｅａｎ
Ｃｒ’_ａｄｄ＝Ｃｒ_ａｄｄ−Ｃｒ_ｍｅａｎ

【0080】

［図５のＳ２０（第二の距離情報の演算）］
本処理ステップＳ２０では、アドレスが同一の注目画素毎に、加算値（Ｃｂ’_ａｄｄ，Ｃｒ’_ａｄｄ）に基づいて色空間内における第二の距離情報Saturation__addが次式により演算される。
Saturation__add＝√（Ｃｂ’_ａｄｄ^２＋Ｃｒ’_ａｄｄ^２）

【0081】

第二の距離情報Saturation__addは、図８の各プロット対（プロット６ｂとプロット６ｃ、プロット７ｂとプロット７ｃ）の例でそれぞれ、ゼロ、√（α^２＋β^２）となる。

【0082】

ここで、第一、第二の各色差信号は、画像撮影時の光源、露出条件、ホワイトバランス等の影響を受けて変化する。しかし、第一、第二の各色差信号が同じように変化するため、色空間内における互いの相対距離（すなわち、第一の距離情報Saturation__sub）は変化が少ない。

【0083】

一方、第二の距離情報Saturation__addは、第一、第二の各色差信号が画像撮影時の光源、露出条件、ホワイトバランス等の影響を受けて色空間の原点Ｏの位置に対して変化すると、大きく変化する。そこで、処理ステップＳ１９（色差信号の加算値の演算）では、第二の距離情報Saturation__addを暫定加算値（Ｃｂ_ａｄｄ，Ｃｒ_ａｄｄ）を用いて即座には演算せず、上記影響による原点Ｏに対する位置の変化を相殺又は軽減すべく（上記影響により、原点Ｏから離れた第一色差信号と第二色差信号との中点を原点Ｏに近付けるべく）、加算値（Ｃｂ’_ａｄｄ，Ｃｒ’_ａｄｄ）が演算されている。

【0084】

図８の各プロット対の位置関係から把握されるように、第一色差信号と第二色差信号が持つ色情報が補色関係にある場合は、互いの符号が逆となることから加算値（Ｃｂ’_ａｄｄ，Ｃｒ’_ａｄｄ）が小さくなって、第二の距離情報Saturation__addが小さくなる。また、強い補色関係であるほど第二の距離情報Saturation__addが小さくなって、理想的にはゼロとなる。一方、第一色差信号と第二色差信号が持つ色情報が補色関係にない（例えば同様の色相である）場合は、互いの符号が同一となることから、加算値（Ｃｂ’_ａｄｄ，Ｃｒ’_ａｄｄ）が大きくなって、第二の距離情報Saturation__addが大きくなる。すなわち、第二の距離情報Saturation__addは、偽色発生領域でなければ大きくなり、偽色発生領域であれば小さくなる。

【0085】

［図５のＳ２１（輝度信号の差分値の演算）］
説明の便宜上、処理ステップＳ１２（第一画像の撮影）にて撮影された第一画像の輝度信号Ｙを「第一輝度信号」と記し、処理ステップＳ１４（第二画像の撮影）にて撮影された第二画像の輝度信号Ｙを「第二輝度信号」と記す。本処理ステップＳ２１では、アドレスが同一の注目画素毎に、第一輝度信号と第二輝度信号との差分値Ｙ_ｄｉｆｆが演算される。具体的には、本処理ステップＳ２１では、第一輝度信号をＹ１と定義し、第二輝度信号をＹ２と定義した場合に、差分値Ｙ_ｄｉｆｆが次式により演算される。
Ｙ_ｄｉｆｆ＝｜Ｙ１−Ｙ２｜

【0086】

［図５のＳ２２（偽色発生領域の判定）］
本処理ステップＳ２２では、アドレスが同一の注目画素毎に、偽色発生領域であるか否かが判定される。具体的には、次の条件（１）〜（３）が全て満たされる場合に、当該画素が偽色発生領域であると判定される。

【0087】

・条件（１）
上述したように、第一の距離情報Saturation__subが大きいほど第一色差信号と第二色差信号が持つ色情報が強い補色関係となることから、当該画素が偽色発生領域である可能性が高い。そこで、条件（１）は次のように規定される。
条件（１）：Saturation__sub≧閾値Ｔ１

【0088】

・条件（２）
上述したように、第二の距離情報Saturation__addが小さいほど第一色差信号と第二色差信号が持つ色情報が強い補色関係となることから、当該画素が偽色発生領域である可能性が高い。そこで、条件（２）は次のように規定される。
条件（２）：Saturation__add≦閾値Ｔ２

【0089】

処理ステップＳ１２（第一画像の撮影）にて撮影された第一画像と処理ステップＳ１４（第二画像の撮影）にて撮影された第二画像の一方だけで大きな像振れが発生した場合を考える。この場合、第一色差信号と第二色差信号との差分が大きくなって、偽色が誤検出される虞がある。そこで、条件（３）は次のように規定される。
条件（３）：Ｙ_ｄｉｆｆ≦閾値Ｔ３

【0090】

すなわち、差分値Ｙ_ｄｉｆｆが閾値Ｔ３よりも大きい場合は、上記の誤検出の虞があることから、当該画素に対する偽色の検出が行われない（当該画素が偽色発生領域でないものとして処理される。）。

【0091】

なお、条件（１）と条件（２）は、当該画素が偽色発生領域であるか否かを直接的に判定する条件となっている。そこで、別の実施形態では、条件（１）と条件（２）の少なくとも一方が満たされる場合に、当該画素が偽色発生領域であると判定されるようにしてもよい。

【0092】

また、ユーザは、操作部１０２を操作して閾値Ｔ１〜Ｔ３を設定変更することにより、偽色の検出感度を変更することができる。

【0093】

［図５のＳ２３（偽色の検出）］
本処理ステップＳ２３では、偽色の有無が検出される。例示的には、処理ステップＳ２２（偽色発生領域の判定）において偽色発生領域と判定された画素数（又は全有効画素数のうち偽色発生領域と判定された画素の割合）が所定の閾値以上である場合に、偽色有りという検出結果となり（Ｓ２３：ＹＥＳ）、該画素数（又は割合）が所定の閾値未満である場合に、偽色無しという検出結果となる（Ｓ２３：ＮＯ）。

【0094】

［図５のＳ２４（撮影画像の保存）］
本処理ステップＳ２４は、処理ステップＳ２３（偽色の検出）にて偽色無しという検出結果が得られた場合（Ｓ２３：ＮＯ）に実行される。本処理ステップＳ２４では、処理ステップＳ１２（第一画像の撮影）にて撮影された第一画像及び処理ステップＳ１４（第二画像の撮影）にて撮影された第二画像について偽色が検出されなかったとして、その少なくとも一方がメモリカード２００（又は撮影装置１に備えられる不図示の内蔵メモリ）に保存される。この時点で撮影動作が完了した旨が撮影者に告知されてもよい。特に、処理ステップＳ１４（第二画像の撮影）で第一画像と第二画像を用いた偽色検出処理を開始する旨が撮影者に告知されている場合には、撮影動作が完了したことが撮影者に伝わる。これにより、撮影者は次の作業、例えば撮影装置１の状態（セッティング）の変更に進むことができる。

【0095】

［図５のＳ２５（ＬＰＦ駆動下での撮像）］
本処理ステップＳ２５は、処理ステップＳ２３（偽色の検出）にて偽色有りという検出結果が得られた場合（Ｓ２３：ＹＥＳ）に実行される。本処理ステップＳ２５では、処理ステップＳ１２（第一画像の撮影）にて撮影された第一画像及び処理ステップＳ１４（第二画像の撮影）にて撮影された第二画像について偽色が検出されたことから、ＬＰＦ駆動が実行される。既にＬＰＦ駆動下での撮像が行われていた場合は、より強い光学的なＬＰＦ効果（偽色等のモアレの軽減）が得られるように、固体撮像素子１１２ａの駆動周期（回転周期）や駆動振幅（回転半径）が調整される。すなわち、偽色を軽減するためのより有利な撮影条件に変更される。そのうえで、被写体の撮像（第三画像の撮影）が行われる。つまり、偽色が検出された場合には第三画像の撮影が行われる。そのため、処理ステップＳ１４（第二画像の撮影）にて偽色検出処理を開始する旨が撮影者に告知されている場合、撮影者は第三画像の撮影が完了するまで、撮影装置１の状態（セッティング）を維持することができる。

【0096】

本実施形態によれば、カバーガラス１１２ｄを加振させて固体撮像素子１１２ａの受光面上での被写体像の入射位置をシフトさせることにより、画素ピッチＰと同程度以上の高周波成分の被写体像が取り込まれた場合に、異なる偽色（互いに補色の関係となる偽色）が発生し、差分の大きい画像が生成される構成となっている。偽色の検出に差分の大きい画像が用いられることから、偽色が精度良く検出される。

【0097】

以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。

【0098】

上記の実施形態では、ＬＰＦ駆動を実行することにより、画像全体に対して光学的に偽色の除去を施しているが、本発明はこれに限らない。偽色は、画像処理を用いて除去されてもよい。画像処理の場合は、偽色を画像全体に限らず局所的に（例えば偽色検出領域と判定された画素毎に）除去することもできる。

【0099】

また、上記の実施形態では、処理ステップＳ２２（偽色発生領域の判定）において、閾値Ｔ１〜Ｔ３が各画素に対する全ての判定において不変であるが、本発明はこれに限らない。

【0100】

例えば、システムコントローラ１００によるＡＦ制御により、画像内でピントが合っているとみなせる範囲（合焦エリアであり、例示的には被写界深度に収まる範囲）は既知である。合焦状態の被写体はコントラストが高く、高周波成分を含みやすいため、偽色が発生しやすい。一方、非合焦状態の被写体はコントラストが低く、高周波成分を含み難いため、偽色が発生し難い。そこで、処理ステップＳ２２（偽色発生領域の判定）において、合焦エリア内の画素に対する判定を行う場合とそれ以外の画素に対する判定を行う場合とで、閾値Ｔ１〜Ｔ３を異なる値に変更してもよい。例示的には、合焦エリア内の画素では偽色が発生している可能性が高いことから、検出感度が高くなるような閾値設定（例えば閾値Ｔ１を低い値に設定）を行い、それ以外の画素では偽色が発生している可能性が低いことから、検出感度が低くなるような閾値設定（例えば閾値Ｔ１を高い値に設定）を行う。これにより、偽色の検出精度がより一層向上する。

【0101】

また、カバーガラス１１２ｄは定常波で振動する。この場合、カバーガラス１１２ｄの加振周波数を変えない限り、腹及び節が同じ位置に現れるため、局所傾斜状態となる領域の分布が不変である。上記の実施形態では、カバーガラス１１２ｄが一定の共振周波数で加振されるため、局所傾斜状態が発生する領域の分布が不変である。別の実施形態では、カバーガラス１１２ｄの加振周波数が連続的又は段階的に変えられてもよい。この場合、加振周波数が変えられる毎に局所傾斜状態となる領域の分布が変化する。

【0102】

別の実施形態における偽色検出フローを図５に示される偽色検出フローを援用して説明する。別の実施形態では、カバーガラス１１２ｄは、図９（ａ）〜図９（ｅ）に例示されるような異なるパターンで順次振動される。例示的には、被写体は、相異なる少なくとも２つの振動パターン下で撮像される。この場合、偽色は、異なる振動パターン下で撮像された画像間の変化に基づいて検出することが可能である。また、単一パターンの振動下において、第一画像と第ニ画像の撮影間隔を、振動周期λに対してｎλ＋λ／２（ｎ：ゼロまたは自然数）として撮影する。この場合、各画像が撮影された瞬間の振動波形が異なることから、固体撮像素子１１２ａの受光面上での被写体像の入射位置が各画像の撮影時で異なる。したがって、このような構成においても、各画像間の変化に基づいて偽色を検出することが可能である。

【0103】

別の実施形態では、カバーガラス１１２ｄが加振されていない時の撮影画像（すなわち、処理ステップＳ１２（第一画像の撮影）にて撮影された第一画像）と図９（ａ）の振動パターン時の撮影画像、第一画像と図９（ｂ）の振動パターン時の撮影画像、第一画像と図９（ｃ）の振動パターン時の撮影画像、第一画像と図９（ｄ）の振動パターン時の撮影画像、第一画像と図９（ｅ）の振動パターン時の撮影画像のそれぞれについて、処理ステップＳ１７（色差信号の差分値の演算）から処理ステップＳ２２（偽色発生領域の判定）までの一連の処理が実行され、それぞれの判定結果に基づいて処理ステップＳ２３（偽色の検出）が実行される。すなわち、別の実施形態では、カバーガラス１１２ｄの振動パターンが変更され、振動の状態が変わる毎に被写体が撮像され、複数の撮影画像を用いて偽色の検出が行われる。振動パターンが変更される毎に局所傾斜状態となる領域の分布が変化し、これに伴い注目画素も変わる。そのため、撮影画像内の様々な領域を対象に偽色の検出を行うことが可能となる。

【0104】

偽色検出のために加振される部材は、カバーガラス１１２ｄに限らず、固体撮像素子１１２ａの受光面の前方においてカバーガラス１１２ｄに代えて又は追加的に配置された別の光学部材であってもよい。このような光学部材として、例えば、ＩＲカットフィルタ、ＵＶカットフィルタ、ＩＲ−ＵＶカットフィルタが挙げられる。また、偽色検出のために、固体撮像素子１１２ａに搭載されたカラーフィルタ自体が加振される構成を採用してもよい。

【符号の説明】

【0105】

１ 撮影装置
１００ システムコントローラ
１０２ 操作部
１０４ 駆動回路
１０６ 撮影レンズ
１０８ 絞り
１１０ シャッタ
１１２ 撮像ユニット
１１２Ａ 像振れ補正ユニット
１１２Ａａ 固定支持基板
１１２Ｂ 押さえ枠
１１２ａ 固体撮像素子
１１２ｂ ゴムシート
１１２ｃ ＩＲ吸収硝子
１１２ｄ カバーガラス（透明部材）
１１２ｅ スポンジシート
１１２ＦＰＣ フレキケーブル
１１２ＰＺＴ 圧電素子
１１４ 信号処理回路
１１６ 画像処理エンジン
１１８ バッファメモリ
１２０ カード用インタフェース
１２２ ＬＣＤ制御回路
１２４ ＬＣＤ
１２６ ＲＯＭ
１２８ ジャイロセンサ
２００ メモリカード

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】