特許 6579369 画像処理装置、画像処理方法及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6579369

(24)【登録日】2019年9月6日

(45)【発行日】2019年9月25日

(54)【発明の名称】画像処理装置、画像処理方法及び画像処理プログラム

(51)【国際特許分類】

   H04N 5/225 20060101AFI20190912BHJP

   H04N 5/243 20060101ALI20190912BHJP

   H04N 5/232 20060101ALI20190912BHJP

   H04N 1/40 20060101ALI20190912BHJP

【ＦＩ】

   H04N5/225 300

   H04N5/243

   H04N5/232 930

   H04N1/40

【請求項の数】12

【全頁数】24

(21)【出願番号】特願2015-159924(P2015-159924)

(22)【出願日】2015年8月13日

(65)【公開番号】特開2017-38318(P2017-38318A)

(43)【公開日】2017年2月16日

【審査請求日】2018年7月10日

(73)【特許権者】

【識別番号】311015207

【氏名又は名称】リコーイメージング株式会社

(74)【代理人】

【識別番号】100078880

【弁理士】

【氏名又は名称】松岡 修平

(74)【代理人】

【識別番号】100183760

【弁理士】

【氏名又は名称】山鹿 宗貴

(72)【発明者】

【氏名】村松 功一

【審査官】 高野 美帆子

(56)【参考文献】

【文献】 特開２０１０−０１０８８１（ＪＰ，Ａ）

【文献】 特開２０１２−１７５５９７（ＪＰ，Ａ）

【文献】 特開２００１−０４５５０６（ＪＰ，Ａ）

【文献】 特開平１１−３４１３６９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−５／２５７

Ｈ０４Ｎ １／４０

(57)【特許請求の範囲】

【請求項1】

固体撮像素子と、
前記固体撮像素子の受光面と被写体像とを相対的に移動させる移動手段と、
前記移動手段による移動の前に撮像された第一画像と前記移動の後に撮像された第二画像とで互いの色が補色の関係となる画像内の領域をモアレ発生領域として検出する検出手段と、
検出されたモアレ発生領域とモアレの発生が無い領域の少なくとも一方の領域に対して所定の処理を施すことにより、互いの領域を識別可能にする識別処理手段と、
を備え、
前記移動手段は、
前記第一画像と前記第二画像の色が、前記モアレ発生領域で互いに補色の関係となるように、前記受光面と前記被写体像とを前記固体撮像素子の画素間隔に応じた距離だけ移動させる、
画像処理装置。

【請求項2】

前記識別処理手段は、
前記検出手段により検出された前記画像内のモアレ発生領域又はモアレの発生が無い領域の少なくとも一方に特定の情報を重畳する、
請求項１に記載の画像処理装置。

【請求項3】

前記特定の情報は、
特定の色の画像、特定のパターンの画像又はこれらの組み合わせよりなる画像である、
請求項２に記載の画像処理装置。

【請求項4】

前記検出手段は、
前記モアレ発生領域内のモアレ強度を検出し、
前記識別処理手段は、
前記検出手段により検出されたモアレ強度に応じて前記モアレ発生領域に重畳すべき前記特定の情報を決定する、
請求項２又は請求項３に記載の画像処理装置。

【請求項5】

前記識別処理手段は、
前記検出手段により検出されたモアレ強度に応じて濃度の異なる色の画像を前記モアレ発生領域に重畳する、
請求項４に記載の画像処理装置。

【請求項6】

前記検出手段は、
撮像条件の異なる少なくとも一対の画像を取得し、
取得された対となる画像に基づいて前記モアレ発生領域の検出を行う、
請求項１から請求項５の何れか一項に記載の画像処理装置。

【請求項7】

前記検出手段は、
前記対となる画像に基づいて所定の閾値判定を行い、
前記閾値判定の結果に基づいて前記モアレ発生領域の検出を行う、
請求項６に記載の画像処理装置。

【請求項8】

前記対となる画像を電子シャッタを用いて撮像することが可能な撮像手段
を備える、
請求項６又は請求項７に記載の画像処理装置。

【請求項9】

前記撮像手段により撮像された画像を所定の表示画面に表示させる表示手段と、
撮影操作を受けた時、前記撮像手段により撮像された画像を保存する保存手段と、
を備え、
前記表示手段は、
前記撮影操作を受ける前、前記識別処理手段による識別処理が施された画像を前記表示画面に表示する、
請求項８に記載の画像処理装置。

【請求項10】

前記識別処理手段は、
自動焦点調節の指示操作が行われると、前記表示画面に表示されている画像内の前記モアレ発生領域又はモアレの発生が無い領域の少なくとも一方に識別処理を施し、
前記自動焦点調節の指示操作が解除されると、前記画像内の前記モアレ発生領域又はモアレの発生が無い領域の少なくとも一方に施されている識別処理を停止する、
請求項９に記載の画像処理装置。

【請求項11】

コンピュータに実行させる画像処理方法であって、
固体撮像素子の受光面と被写体像とを相対的に移動させる移動段階と、
前記移動段階での移動の前に撮像された第一画像と前記移動の後に撮像された第二画像とで互いの色が補色の関係となる画像内の領域をモアレ発生領域として検出する段階と、
検出されたモアレ発生領域とモアレの発生が無い領域の少なくとも一方の領域に対して所定の処理を施すことにより、互いの領域を識別可能にする段階と、
を含み、
前記移動段階にて、
前記第一画像と前記第二画像の色が、前記モアレ発生領域で互いに補色の関係となるように、前記受光面と前記被写体像とを前記固体撮像素子の画素間隔に応じた距離だけ移動させる、
画像処理方法。

【請求項12】

請求項１１に記載の画像処理方法をコンピュータに実行させるための画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、モアレに関する画像処理を行う画像処理装置、画像処理方法及び画像処理プログラムに関する。

【背景技術】

【0002】

撮像素子の画素ピッチと同程度以上の高周波成分を含む被写体を撮像すると、偽色（色モアレ）等のモアレが発生して、撮影画像が劣化することが知られている。そこで、モアレを除去するための種々の技術が提案されている。例えば特許文献１に、撮影画像内に発生する偽色を検出することが可能な撮影装置の具体的構成が記載されている。

【0003】

特許文献１に記載の撮影装置は、合焦状態の被写体を撮像し、次いで、非合焦状態の被写体を撮像する。非合焦状態の撮影画像では、被写体のコントラストが低下して高周波成分が低減されるため、合焦状態の撮影画像に発生していた偽色も低減される。そこで、特許文献１に記載の撮影装置は、合焦状態の撮影画像の色差信号と非合焦状態の撮影画像の色差信号との差分値をブロック毎に演算し、差分値の大きいブロックを偽色が発生しているブロックとして検出し、検出された偽色を補正する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１１−１０９４９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、特許文献１に記載の撮影装置では、実際に撮影した画像をドット・バイ・ドット表示して観察しなければ、撮影画像内で偽色がどのように発生しているかをユーザに正確に把握させる術がない。そのため、例えば、ユーザが偽色の発生する被写体を変更して撮影する等の、偽色による画像劣化に対する根本的な解決策を取ることが難しいという問題が指摘される。

【0006】

本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、画像内のモアレの発生をユーザに把握させるのに好適な画像処理装置、画像処理方法及び画像処理プログラムを提供することである。

【課題を解決するための手段】

【0007】

本発明の一実施形態に係る画像処理装置は、固体撮像素子と、固体撮像素子の受光面と被写体像とを相対的に移動させる移動手段と、移動手段による移動の前に撮像された第一画像と移動の後に撮像された第二画像とで互いの色が補色の関係となる画像内の領域をモアレ発生領域として検出する検出手段と、検出されたモアレ発生領域とモアレの発生が無い領域の少なくとも一方の領域に対して所定の処理を施すことにより、互いの領域を識別可能にする識別処理手段とを備える。移動手段は、第一画像と第二画像の色が、モアレ発生領域で互いに補色の関係となるように、受光面と被写体像とを固体撮像素子の画素間隔に応じた距離だけ移動させる。

【0008】

本発明の一実施形態によれば、ユーザは、画像内のモアレ発生領域をそれ以外の領域に対して識別することにより、画像内のモアレの発生を把握することができる。

【0009】

また、本発明の一実施形態において、識別処理手段は、検出手段により検出された画像内のモアレ発生領域又はモアレの発生が無い領域の少なくとも一方に特定の情報を重畳する構成としてもよい。

【0010】

また、本発明の一実施形態において、特定の情報は、例えば、特定の色の画像、特定のパターンの画像又はこれらの組み合わせよりなる画像である。

【0011】

また、本発明の一実施形態において、検出手段は、モアレ発生領域内のモアレ強度を検出する構成としてもよい。この場合、識別処理手段は、検出手段により検出されたモアレ強度に応じてモアレ発生領域に重畳すべき特定の情報を決定してもよい。

【0012】

また、本発明の一実施形態において、識別処理手段は、検出手段により検出されたモアレ強度に応じて濃度の異なる色の画像をモアレ発生領域に重畳する構成としてもよい。

【0013】

また、本発明の一実施形態において、検出手段は、撮像条件の異なる少なくとも一対の画像を取得し、取得された対となる画像に基づいてモアレ発生領域の検出を行う構成としてもよい。

【0014】

また、本発明の一実施形態において、検出手段は、対となる画像に基づいて所定の閾値判定を行い、閾値判定の結果に基づいてモアレ発生領域の検出を行う構成としてもよい。

【0015】

また、本発明の一実施形態に係る画像処理装置は、対となる画像を電子シャッタを用いて撮像することが可能な撮像手段を備える構成としてもよい。

【0016】

また、本発明の一実施形態に係る画像処理装置は、撮像手段により撮像された画像を所定の表示画面に表示させる表示手段と、撮影操作を受けた時、撮像手段により撮像された画像を保存する保存手段とを備える構成としてもよい。この場合、表示手段は、撮影操作を受ける前、識別処理手段による識別処理が施された画像を表示画面に表示してもよい。

【0017】

また、本発明の一実施形態において、識別処理手段は、自動焦点調節の指示操作が行われると、表示画面に表示されている画像内のモアレ発生領域又はモアレの発生が無い領域の少なくとも一方に識別処理を施し、自動焦点調節の指示操作が解除されると、画像内のモアレ発生領域又はモアレの発生が無い領域の少なくとも一方に施されている識別処理を停止する構成としてもよい。

【0018】

また、本発明の一実施形態に係る画像処理方法は、コンピュータに実行させる方法であって、固体撮像素子の受光面と被写体像とを相対的に移動させる移動段階と、移動段階での移動の前に撮像された第一画像と移動の後に撮像された第二画像とで互いの色が補色の関係となる画像内の領域をモアレ発生領域として検出する段階と、検出されたモアレ発生領域とモアレの発生が無い領域の少なくとも一方の領域に対して所定の処理を施すことにより、互いの領域を識別可能にする段階とを含む。移動段階では、第一画像と第二画像の色が、モアレ発生領域で互いに補色の関係となるように、受光面と被写体像とを固体撮像素子の画素間隔に応じた距離だけ移動させる。

【0019】

また、本発明の一実施形態に係る画像処理プログラムは、上記の画像処理方法をコンピュータに実行させるためのプログラムである。

【発明の効果】

【0020】

本発明の一実施形態によれば、画像内のモアレの発生をユーザに把握させるのに好適な画像処理装置、画像処理方法及び画像処理プログラムが提供される。

【図面の簡単な説明】

【0021】

【図1】本発明の一実施形態に係る撮影装置の構成を示すブロック図である。

【図2】本発明の一実施形態に係る撮影装置に備えられる像振れ補正装置の構成を概略的に示す図である。

【図3】本発明の一実施形態に係る撮影装置に備えられる像振れ補正装置の構成を概略的に示す図である。

【図4】本発明の一実施形態におけるＬＰＦ駆動の説明を補助する図である。

【図5A】本発明の一実施形態におけるシステムコントローラによる偽色処理フローを示す図である。

【図5B】本発明の一実施形態におけるシステムコントローラによる偽色処理フローを示す図である。

【図6】本発明の一実施形態において撮影される被写体に関する図である。

【図7】本発明の一実施形態において撮影される被写体に関する図である。

【図8】本発明の一実施形態の色空間内においてプロットされる各色差信号を示す図である。

【図9】本発明の一実施形態においてＬＣＤの表示画面に表示される偽色識別画面を示す図である。

【図10】本発明の変形例においてＬＣＤの表示画面に表示される偽色識別画面を示す図である。

【発明を実施するための形態】

【0022】

以下、本発明の一実施形態に係る撮影装置について図面を参照しながら説明する。以下においては、本発明の一実施形態として、デジタル一眼レフカメラについて説明する。なお、撮影装置は、デジタル一眼レフカメラに限らず、例えば、ミラーレス一眼カメラ、コンパクトデジタルカメラ、ビデオカメラ、カムコーダ、タブレット端末、ＰＨＳ（Personal Handy phone System）、スマートフォン、フィーチャフォン、携帯ゲーム機など、撮影機能を有する別の形態の装置に置き換えてもよい。

【0023】

［撮影装置１全体の構成］
図１は、本発明の一実施形態に係る撮影装置１の構成を示すブロック図である。図１に示されるように、撮影装置１は、システムコントローラ１００、操作部１０２、駆動回路１０４、撮影レンズ１０６、絞り１０８、シャッタ１１０、像振れ補正装置１１２、信号処理回路１１４、画像処理エンジン１１６、バッファメモリ１１８、カード用インタフェース１２０、ＬＣＤ（Liquid Crystal Display）制御回路１２２、ＬＣＤ１２４、ＲＯＭ（Read Only Memory）１２６、ジャイロセンサ１２８、加速度センサ１３０、地磁気センサ１３２及びＧＰＳ（Global Positioning System）センサ１３４を備えている。なお、撮影レンズ１０６は複数枚構成であるが、図１においては便宜上一枚のレンズとして示す。また、撮影レンズ１０６の光軸ＡＸと同じ方向をＺ軸方向と定義し、Ｚ軸方向と直交し且つ互いに直交する二軸方向をそれぞれＸ軸方向（水平方向）、Ｙ軸方向（垂直方向）と定義する。

【0024】

操作部１０２には、電源スイッチやレリーズスイッチ、撮影モードスイッチなど、ユーザが撮影装置１を操作するために必要な各種スイッチが含まれる。ユーザにより電源スイッチが操作されると、図示省略されたバッテリから撮影装置１の各種回路に電源ラインを通じて電源供給が行われる。

【0025】

システムコントローラ１００は、ＣＰＵ（Central Processing Unit）及びＤＳＰ（Digital Signal Processor）を含む。システムコントローラ１００は電源供給後、ＲＯＭ１２６にアクセスして制御プログラムを読み出してワークエリア（不図示）にロードし、ロードされた制御プログラムを実行することにより、撮影装置１全体の制御を行う。

【0026】

レリーズスイッチが押されると、システムコントローラ１００は、例えば、固体撮像素子１１２ａ（後述の図２参照）により撮像された画像に基づいて計算された測光値や、撮影装置１に内蔵された露出計（不図示）で測定された測光値に基づき適正露出が得られるように、駆動回路１０４を介して絞り１０８及びシャッタ１１０を駆動制御する。より詳細には、絞り１０８及びシャッタ１１０の駆動制御は、プログラムＡＥ（Automatic Exposure）、シャッタ優先ＡＥ、絞り優先ＡＥなど、撮影モードスイッチにより指定されるＡＥ機能に基づいて行われる。

【0027】

また、システムコントローラ１００はＡＥ制御と併せてＡＦ（Autofocus）制御を行う。ＡＦ制御には、アクティブ方式、位相差検出方式、像面位相差検出方式、コントラスト検出方式等が適用される。また、ＡＦモードには、複数の測距エリアを用いた多点測距モード、全画面の距離情報に基づく全画面測距モード等がある。システムコントローラ１００は、ＡＦ結果に基づいて駆動回路１０４を介して撮影レンズ１０６を駆動制御し、撮影レンズ１０６の焦点を調整する。なお、この種のＡＥ及びＡＦの構成及び制御については周知であるため、ここでの詳細な説明は省略する。

【0028】

図２及び図３は、像振れ補正装置１１２の構成を概略的に示す図である。図２及び図３に示されるように、像振れ補正装置１１２は、固体撮像素子１１２ａを備えている。被写体からの光束は、撮影レンズ１０６、絞り１０８、シャッタ１１０を通過して固体撮像素子１１２ａの受光面１１２ａａにて受光される。なお、固体撮像素子１１２ａの受光面１１２ａａは、Ｘ軸及びＹ軸を含むＸＹ平面である。

【0029】

固体撮像素子１１２ａは、透過波長選択素子としてベイヤ型画素配置のカラーフィルタを有する単板式カラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。固体撮像素子１１２ａは、受光面１１２ａａ上の各画素で結像した光学像を光量に応じた電荷として蓄積して、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の画像信号を生成して出力する。

【0030】

なお、固体撮像素子１１２ａは、ＣＭＯＳイメージセンサに限らず、ＣＣＤ（Charge Coupled Device）イメージセンサやその他の種類の撮像装置に置き換えられてもよい。固体撮像素子１１２ａはまた、補色系フィルタを搭載したものであってもよいし、画素毎に何れかのカラーフィルタを配置していれば、ベイヤ配列等の周期的なカラー配列を有するフィルタである必要はない。

【0031】

信号処理回路１１４は、固体撮像素子１１２ａより入力される画像信号に対してクランプ、デモザイク（色補間）等の所定の信号処理を施して、画像処理エンジン１１６に出力する。

【0032】

画像処理エンジン１１６は、信号処理回路１１４より入力される画像信号に対してマトリクス演算、Ｙ／Ｃ分離、ホワイトバランス等の所定の信号処理を施して輝度信号Ｙ、色差信号Ｃｂ、Ｃｒを生成し、ＪＰＥＧ（Joint Photographic Experts Group）等の所定のフォーマットで圧縮する。

【0033】

バッファメモリ１１８は、画像処理エンジン１１６による処理の実行時、処理データの一時的な保存場所として用いられる。また、撮影画像の保存形式は、ＪＰＥＧ形式に限らず、最小限の画像処理（例えばクランプ）しか施されないＲＡＷ形式であってもよい。

【0034】

カード用インタフェース１２０のカードスロットには、メモリカード２００が着脱可能に差し込まれている。

【0035】

画像処理エンジン１１６は、カード用インタフェース１２０を介してメモリカード２００と通信可能である。画像処理エンジン１１６は、生成された圧縮画像信号（撮影画像データ）をメモリカード２００（又は撮影装置１に備えられる不図示の内蔵メモリ）に保存する。

【0036】

また、画像処理エンジン１１６は、生成された輝度信号Ｙ、色差信号Ｃｂ、Ｃｒをフレームメモリ（不図示）にフレーム単位でバッファリングする。画像処理エンジン１１６は、バッファリングされた信号を所定のタイミングで各フレームメモリから掃き出して所定のフォーマットのビデオ信号に変換し、ＬＣＤ制御回路１２２に出力する。ＬＣＤ制御回路１２２は、画像処理エンジン１１６より入力される画像信号を基に液晶を変調制御する。これにより、被写体の撮影画像がＬＣＤ１２４の表示画面に表示される。ユーザは、ＡＥ制御及びＡＦ制御に基づいて適正な輝度及びピントで撮影されたリアルタイムのスルー画（ライブビュー）を、ＬＣＤ１２４の表示画面を通じて視認することができる。

【0037】

画像処理エンジン１１６は、ユーザにより撮影画像の再生操作が行われると、操作により指定された撮影画像データをメモリカード２００又は内蔵メモリより読み出して所定のフォーマットの画像信号に変換し、ＬＣＤ制御回路１２２に出力する。ＬＣＤ制御回路１２２が画像処理エンジン１１６より入力される画像信号を基に液晶を変調制御することで、被写体の撮影画像がＬＣＤ１２４の表示画面に表示される。

【0038】

［振れ補正部材の駆動に関する説明］
像振れ補正装置１１２は、振れ補正部材を駆動させる。本発明の一実施形態において、振れ補正部材は、固体撮像素子１１２ａである。なお、振れ補正部材は、固体撮像素子１１２ａに限らず、撮影レンズ１０６内に含まれる一部のレンズなど、光軸ＡＸを基準として物理的に動かされることにより、固体撮像素子１１２ａの受光面１１２ａａ上での被写体像の入射位置をシフトさせることが可能な別の構成であってもよく、又は、これらと固体撮像素子１１２ａのうち２つ以上の部材を組み合わせた構成であってもよい。

【0039】

像振れ補正装置１１２は、像振れを補正するために振れ補正部材を光軸ＡＸと直交する平面内（すなわち、ＸＹ平面内）で微小に駆動（振動）させるだけでなく、被写体像が画素ピッチ分ぼかされることによる光学的なローパスフィルタ（ＬＰＦ：Low Pass Filter）効果（偽色等のモアレの軽減）が得られるように振れ補正部材を光軸ＡＸと直交する平面内で微小に駆動（微小回転）させる。以下、説明の便宜上、振れ補正部材を像振れ補正で駆動させることを「像振れ補正駆動」と記し、振れ補正部材を光学的なＬＰＦと同様の効果が得られるように駆動させることを「ＬＰＦ駆動」と記す。

【0040】

（像振れ補正駆動に関する説明）
ジャイロセンサ１２８は、像振れ補正を制御するための情報を検出するセンサである。具体的には、ジャイロセンサ１２８は、撮影装置１に加わる二軸周り（Ｘ軸周り、Ｙ軸周り）の角速度を検出し、検出された二軸周りの角速度をＸＹ平面内（換言すると、固体撮像素子１１２ａの受光面１１２ａａ内）の振れを示す振れ検出信号としてシステムコントローラ１００に出力する。

【0041】

図２及び図３に示されるように、像振れ補正装置１１２は、撮影装置１が備えるシャーシ等の構造物に固定された固定支持基板１１２ｂを備えている。固定支持基板１１２ｂは、固体撮像素子１１２ａが搭載された可動ステージ１１２ｃをスライド可能に支持している。

【0042】

可動ステージ１１２ｃと対向する固定支持基板１１２ｂの面上には、磁石Ｍ_ＹＲ、Ｍ_ＹＬ、Ｍ_ＸＤ、Ｍ_ＸＵが取り付けられている。また、固定支持基板１１２ｂには、磁性体であるヨークＹ_ＹＲ、Ｙ_ＹＬ、Ｙ_ＸＤ、Ｙ_ＸＵが取り付けられている。ヨークＹ_ＹＲ、Ｙ_ＹＬ、Ｙ_ＸＤ、Ｙ_ＸＵはそれぞれ、固定支持基板１１２ｂから可動ステージ１１２ｃを回り込んで磁石Ｍ_ＹＲ、Ｍ_ＹＬ、Ｍ_ＸＤ、Ｍ_ＸＵと対向する位置まで延びた形状を持ち、磁石Ｍ_ＹＲ、Ｍ_ＹＬ、Ｍ_ＸＤ、Ｍ_ＸＵとの間に磁気回路を構成する。また、可動ステージ１１２ｃには、駆動用コイルＣ_ＹＲ、Ｃ_ＹＬ、Ｃ_ＸＤ、Ｃ_ＸＵが取り付けられている。駆動用コイルＣ_ＹＲ、Ｃ_ＹＬ、Ｃ_ＸＤ、Ｃ_ＸＵが磁気回路の磁界内において電流を受けることにより、駆動力が発生する。可動ステージ１１２ｃ（固体撮像素子１１２ａ）は、発生した駆動力により、固定支持基板１１２ｂに対してＸＹ平面内で微小に駆動される。

【0043】

対応する磁石、ヨーク及び駆動用コイルはボイスコイルモータを構成する。以下、便宜上、磁石Ｍ_ＹＲ、ヨークＹ_ＹＲ及び駆動用コイルＣ_ＹＲよりなるボイスコイルモータに符号ＶＣＭ_ＹＲを付し、磁石Ｍ_ＹＬ、ヨークＹ_ＹＬ及び駆動用コイルＣ_ＹＬよりなるボイスコイルモータに符号ＶＣＭ_ＹＬを付し、磁石Ｍ_ＸＤ、ヨークＹ_ＸＤ及び駆動用コイルＣ_ＸＤよりなるボイスコイルモータに符号ＶＣＭ_ＸＤを付し、磁石Ｍ_ＸＵ、ヨークＹ_ＸＵ及び駆動用コイルＣ_ＸＵよりなるボイスコイルモータに符号ＶＣＭ_ＸＵを付す。

【0044】

各ボイスコイルモータＶＣＭ_ＹＲ、ＶＣＭ_ＹＬ、ＶＣＭ_ＸＤ、ＶＣＭ_ＸＵ（駆動用コイルＣ_ＹＲ、Ｃ_ＹＬ、Ｃ_ＸＤ、Ｃ_ＸＵ）は、システムコントローラ１００の制御下でＰＷＭ（Pulse Width Modulation）駆動される。ボイスコイルモータＶＣＭ_ＹＲとＶＣＭ_ＹＬは、固体撮像素子１１２ａの下方であって、水平方向（Ｘ軸方向）に所定の間隔を空けて並べて配置されており、ボイスコイルモータＶＣＭ_ＸＤとＶＣＭ_ＸＵは、固体撮像素子１１２ａの側方であって、垂直方向（Ｙ軸方向）に所定の間隔を空けて並べて配置されている。

【0045】

固定支持基板１１２ｂ上であって駆動用コイルＣ_ＹＲ、Ｃ_ＹＬ、Ｃ_ＸＤ、Ｃ_ＸＵの各近傍位置には、ホール素子Ｈ_ＹＲ、Ｈ_ＹＬ、Ｈ_ＸＤ、Ｈ_ＸＵが取り付けられている。ホール素子Ｈ_ＹＲ、Ｈ_ＹＬ、Ｈ_ＸＤ、Ｈ_ＸＵはそれぞれ、磁石Ｍ_ＹＲ、Ｍ_ＹＬ、Ｍ_ＸＤ、Ｍ_ＸＵの磁力を検出して、可動ステージ１１２ｃ（固体撮像素子１１２ａ）のＸＹ平面内の位置を示す位置検出信号をシステムコントローラ１００に出力する。具体的には、ホール素子Ｈ_ＹＲ及びＨ_ＹＬにより可動ステージ１１２ｃ（固体撮像素子１１２ａ）のＹ軸方向位置及び傾き（回転）が検出され、ホール素子Ｈ_ＸＤ及びＨ_ＸＵにより可動ステージ１１２ｃ（固体撮像素子１１２ａ）のＸ軸方向位置及び傾き（回転）が検出される。

【0046】

システムコントローラ１００は、ボイスコイルモータ用のドライバＩＣを内蔵している。システムコントローラ１００は、ジャイロセンサ１２８より出力される振れ検出信号及びホール素子Ｈ_ＹＲ、Ｈ_ＹＬ、Ｈ_ＸＤ、Ｈ_ＸＵより出力される位置検出信号に基づいて、ドライバＩＣの定格電力（許容電力）を超えない範囲内において各ボイスコイルモータＶＣＭ_ＹＲ、ＶＣＭ_ＹＬ、ＶＣＭ_ＸＤ、ＶＣＭ_ＸＵ（駆動用コイルＣ_ＹＲ、Ｃ_ＹＬ、Ｃ_ＸＤ、Ｃ_ＸＵ）に流す電流のバランスを崩さないようにデューティ比を計算する。

【0047】

システムコントローラ１００は、計算されたデューティ比で各ボイスコイルモータＶＣＭ_ＹＲ、ＶＣＭ_ＹＬ、ＶＣＭ_ＸＤ、ＶＣＭ_ＸＵに駆動電流を流し、固体撮像素子１１２ａを像振れ補正駆動する。これにより、固体撮像素子１１２ａが重力や外乱等に抗して規定の位置に保持されつつ固体撮像素子１１２ａの受光面１１２ａａ上での像振れが補正（別の言い方によれば、受光面１１２ａａ上での被写体像の入射位置が振れないように固体撮像素子１１２ａの位置が調整）される。

【0048】

（ＬＰＦ駆動に関する説明）
次に、ＬＰＦ駆動に関する説明を行う。本発明の一実施形態において、像振れ補正装置１１２は、ボイスコイルモータＶＣＭ_ＹＲ、ＶＣＭ_ＹＬ、ＶＣＭ_ＸＤ、ＶＣＭ_ＸＵに所定の駆動電流を流すことにより、一回の露光期間に対して、ＸＹ平面内において所定の軌跡を描くように可動ステージ１１２ｃ（固体撮像素子１１２ａ）を駆動して、被写体像を固体撮像素子１１２ａの検出色（Ｒ、Ｇ又はＢ）の異なる複数の画素に入射させる。これにより、光学的なＬＰＦと同様の効果が得られる。

【0049】

図４（ａ）、図４（ｂ）は、ＬＰＦ駆動の説明を補助する図である。同図に示されるように、固体撮像素子１１２ａの受光面１１２ａａ上には、複数の画素ＰＩＸが所定の画素ピッチＰでマトリックス状に並べて配置されている。説明の便宜上、同図の各画素ＰＩＸについて、前面に配置されたフィルタ色に対応させて符号（Ｒ、Ｇ、Ｂの何れか１つ）を付す。

【0050】

図４（ａ）は、固体撮像素子１１２ａが光軸ＡＸを中心とする正方形軌跡を描くように駆動される例を示す。この正方形軌跡は、例えば固体撮像素子１１２ａの画素ピッチＰを一辺とした正方形の閉じた経路とすることができる。図４（ａ）の例では、固体撮像素子１１２ａは、Ｘ軸方向とＹ軸方向とに１画素ピッチＰ単位で交互に且つ正方形経路となるように駆動される。

【0051】

図４（ｂ）は、固体撮像素子１１２ａが光軸ＡＸを中心とする回転対称な円形軌跡を描くように駆動される例を示す。この円形軌跡は、例えば固体撮像素子１１２ａの画素ピッチＰの√２／２倍を半径ｒとする円形の閉じた経路とすることができる。

【0052】

なお、画素ピッチＰを含む駆動軌跡の情報は、システムコントローラ１００の内部メモリ又はＲＯＭ１２６に予め保持されている。

【0053】

図４（ａ）（又は図４（ｂ））に例示されるように、露光期間中、固体撮像素子１１２ａが駆動軌跡の情報に基づいて所定の正方形軌跡（又は円形軌跡）を描くように駆動されると、被写体像が４つのカラーフィルタＲ、Ｇ、Ｂ、Ｇ（４つ（二行二列）の画素ＰＩＸ）に均等に入射される。これにより、光学的なＬＰＦと同等の効果が得られる。すなわち、何れのカラーフィルタ（画素ＰＩＸ）に入射された被写体像も、その周辺のカラーフィルタ（画素ＰＩＸ）に必ず入射されるため、恰も光学的なＬＰＦを被写体像が通過したときと同等の効果（偽色等のモアレの軽減）が得られる。

【0054】

なお、ユーザは、操作部１０２を操作することにより、像振れ補正駆動のオン／オフやＬＰＦ駆動のモードを切り替えることができる。ＬＰＦ駆動のモードには、例えば「解像度優先」、「バランス」、「偽色軽減優先」がある。

【0055】

「解像度優先」モードは、解像度を重視するモードであり、振れ補正部材（固体撮像素子１１２ａ）をＬＰＦ駆動させないモードである。「バランス」モードは、解像度と偽色とのバランスを考慮したモードであり、振れ補正部材（固体撮像素子１１２ａ）を第一の微小駆動量でＬＰＦ駆動させるモードである。「偽色軽減優先」モードは、偽色の軽減を重視するモードであり、振れ補正部材（固体撮像素子１１２ａ）を第一の微小駆動量よりも大きい第二の微小駆動量でＬＰＦ駆動させるモードである。

【0056】

［偽色の検出及び報知に関する説明］
次に、本発明の一実施形態において撮影画像内に発生する、モアレの一種である偽色を検出する方法及び検出された偽色をユーザに報知する方法について説明する。図５Ａ及び図５Ｂは、システムコントローラ１００により実行される偽色処理フローを示す。図５Ａ及び図５Ｂに示される偽色処理フローは、例えば、レリーズスイッチが半押しされた時点、すなわち、ＡＦの指示操作が行われた時点で開始される。

【0057】

［図５ＡのＳ１１（ＡＥ制御及びＡＦ制御）］
本処理ステップＳ１１では、レリーズスイッチが半押しされたことにより、ＡＥ制御及びＡＦ制御が行われる。

【0058】

［図５ＡのＳ１２（状態の判定）］
本処理ステップＳ１２では、撮影装置１が静止状態であるか否かが判定される。例示的には、ジャイロセンサ１２８より入力される振れ検出信号のうち一定周波数以上の信号成分の振幅が一定期間継続してある閾値以内に収まる場合に静止状態と判定される。撮影装置１の静止状態として、典型的には、撮影装置１が三脚に固定された状態が挙げられる。

【0059】

なお、静止状態を含めた撮影装置１の姿勢はジャイロセンサ１２８に代えて、加速度センサ１３０、地磁気センサ１３２、ＧＰＳセンサ１３４など、他のセンサより出力される情報を用いて検出されてもよい。また、検出精度を向上させるため、例えばセンサ・フュージョン技術を適用し、これらのセンサより出力される情報が複合的に用いられるようにしてもよい。

【0060】

撮影装置１が低速シャッタスピード設定下の手持ち撮影状態など、静止状態にない場合は、手振れ（あるいは被写体ぶれ）による被写体のボケに起因して偽色がそもそも発生し難い。従って、本発明の一実施形態では、撮影装置１が静止状態である（すなわち、偽色が発生しやすい状態である）と判定された場合に限り（Ｓ１２：ＹＥＳ）、撮影画像内の偽色を検出し、これをユーザに報知すべく、処理ステップＳ１３（ＬＰＦ駆動設定の読み込み）以降が実行される。

【0061】

撮影装置１が静止状態にない場合は、処理ステップＳ１３（ＬＰＦ駆動設定の読み込み）以降が実行されないため、システムコントローラ１００の処理負荷が軽減される。処理ステップＳ１３（ＬＰＦ駆動設定の読み込み）以降が実行されない旨は、撮影者に例えばＬＣＤ１２４の表示画面等を通じて通知されてもよい。

【0062】

なお、撮影画像内の偽色の検出・ユーザへの報知を重視したい場合は、撮影装置１が静止状態であるか否かに拘わらず処理ステップＳ１３（ＬＰＦ駆動設定の読み込み）以降が実行されてもよい。この場合、処理ステップＳ１３（ＬＰＦ駆動設定の読み込み）以降が実行される旨は、撮影者に例えばＬＣＤ１２４の表示画面等を通じて通知されてもよい。また、静止状態の判定閾値は撮影装置１に設定されたシャッタスピードに応じて変更されてもよい。

【0063】

［図５ＡのＳ１３（ＬＰＦ駆動設定の読み込み）］
本処理ステップＳ１３では、振れ補正部材（固体撮像素子１１２ａ）のＬＰＦ駆動に関する情報として、ＬＰＦ駆動の設定モードの情報が読み込まれる。

【0064】

［図５ＡのＳ１４（第一画像の撮影）］
図６（ａ）、図７（ａ）は、撮影される被写体の一部であって、それぞれ異なる部分を拡大して示す図である。図６（ａ）に示される被写体は、固体撮像素子１１２ａの画素ＰＩＸの画素ピッチＰと同ピッチで明暗が交互に現れる斜め縞模様であり、図７（ａ）に示される被写体は、画素ピッチＰと同ピッチで明暗が交互に現れる縦縞模様である。説明の便宜上、図６（ａ）に示される被写体のうち太実線で囲まれた６×６マスの被写体を「斜め縞被写体６ａ」と記し、図７（ａ）に示される被写体のうち太実線で囲まれた６×６マスの被写体を「縦縞被写体７ａ」と記す。

【0065】

本処理ステップＳ１４では、ＡＥ制御及びＡＦ制御に基づいて適正な輝度及びピントで被写体画像（第一画像）が撮影される。ここでは、斜め縞被写体６ａと縦縞被写体７ａの何れにもピントが合っているものとする。

【0066】

なお、第一画像は、シャッタ（フォーカルプレーンシャッタ）１１０による衝撃を防ぐと共に画面の暗転を最小限に抑えるべく、シャッタ１１０ではなく電子シャッタを用いて撮影される。

【0067】

図６（ｂ）、図７（ｂ）はそれぞれ、固体撮像素子１１２ａの各画素ＰＩＸの取り込まれる斜め縞被写体６ａ、縦縞被写体７ａを模式的に示す図であり、固体撮像素子１１２ａの受光面１１２ａａを被写体側から正面視した図である。図６（ｂ）及び図７（ｂ）では、図４と同様に、各画素ＰＩＸについて、前面に配置されたフィルタ色に対応させて符号（Ｒ、Ｇ、Ｂの何れか１つ）を付す。図６（ｂ）、図７（ｂ）の各図中、黒塗りの画素ＰＩＸは、縞模様の暗部分を取り込んだことを示し、白塗りの画素ＰＩＸは、縞模様の明部分を取り込んだことを示す。また、説明の便宜上、図６（ｂ）、図７（ｂ）の各図に画素のアドレス（数字１〜８、符号イ〜チ）を付す。

【0068】

なお、厳密には、撮影レンズ１０６の結像作用によって、被写体は上下左右が反転した状態で固体撮像素子１１２ａ上に結像される。一例として、「斜め縞被写体６ａ」の左上角の部分は、固体撮像素子１１２ａ上では右下角の部分として結像する。しかし、本発明の一実施形態では、説明の煩雑化を避けるため、「斜め縞被写体６ａ」の左上角の部分は、図６（ｂ）の左上角の部分に対応するものとして説明する。

【0069】

［図５ＡのＳ１５（スルー画の表示）］
本処理ステップＳ１５では、処理ステップＳ１４（第一画像の撮影）にて撮影された第一画像がＬＣＤ１２４の表示画面にスルー画として表示される。

【0070】

［図５ＡのＳ１６（固体撮像素子１１２ａのシフト）］
本処理ステップＳ１６では、可動ステージ１１２ｃが駆動されて、固体撮像素子１１２ａが１画素分の距離だけ右方向（図６のＸ軸の矢じり側の方向）にシフトされる。

【0071】

［図５ＡのＳ１７（第二画像の撮影）］
本処理ステップＳ１７においても、第一画像撮影時のＡＥ制御及びＡＦ制御に基づいて被写体画像（第二画像）が撮影される。第二画像の撮影完了後、第一画像と第二画像を用いた偽色検出処理を開始する旨が撮影者に告知されてもよい。

【0072】

なお、第二画像も第一画像と同様に、シャッタ（フォーカルプレーンシャッタ）１１０による衝撃を防ぐと共に画面の暗転を最小限に抑えるべく、シャッタ１１０ではなく電子シャッタを用いて撮影される。

【0073】

図６（ｃ）、図７（ｃ）はそれぞれ、図６（ｂ）、図７（ｂ）と同様の図であり、固体撮像素子１１２ａの各画素ＰＩＸの取り込まれる斜め縞被写体６ａ、縦縞被写体７ａを模式的に示す。図６、図７の各図（ｂ）、（ｃ）に示されるように、固体撮像素子１１２ａの受光面１１２ａａ上での被写体像の入射位置は、処理ステップＳ１６（固体撮像素子１１２ａのシフト）における固体撮像素子１１２ａのシフト量に応じて（受光面１１２ａａ上で左方向に１画素分の距離だけ）シフトする。

【0074】

附言するに、本処理ステップＳ１７における撮影条件は、処理ステップＳ１４（第一画像の撮影）における撮影時に対して、固体撮像素子１１２ａが１画素分の距離だけ右方向にシフトされた点以外は同一である。そのため、第二画像は、実質的に、第一画像に対して１画素分右方向にシフトした範囲を撮影したものとなっている。図６、図７の各図（ｂ）、（ｃ）から判るように、第二画像において、被写体は、第一画像に対して全体的に１画素分の距離だけ左方向にシフトした位置に写る。

【0075】

処理ステップＳ１４（第一画像の撮影）にて撮影された第一画像、処理ステップＳ１７（第二画像の撮影）にて撮影された第二画像の何れの画像信号も、上述した信号処理（クランプ、デモザイク、マトリクス演算、Ｙ／Ｃ分離、ホワイトバランス等）が施されて、輝度信号Ｙ、色差信号Ｃｂ、Ｃｒに変換される。以下、説明の便宜上、処理ステップＳ１４（第一画像の撮影）にて撮影された第一画像の色差信号（Ｃｂ、Ｃｒ）を「第一色差信号」と記し、処理ステップＳ１７（第二画像の撮影）にて撮影された第二画像の色差信号（Ｃｂ、Ｃｒ）を「第二色差信号」と記す。また、「注目画素」とは、少なくともデモザイク処理された後の各画像の画素を指すものとする。

【0076】

なお、第一画像、第二画像の何れの画像も、処理ステップＳ１３（ＬＰＦ駆動設定の読み込み）にて読み込まれた設定モードの情報に従い、ＬＰＦ駆動下で撮影されてもよい。

【0077】

また、上記の例では、一枚の画像（第一画像）を撮影後、固体撮像素子１１２ａをシフトして一枚の画像（第二画像）を撮影しているが、別の例では、複数枚の画像を撮影し、その中から一枚の画像（第一画像）を選択し、固体撮像素子１１２ａをシフトした後、再び複数枚の画像を撮影し、その中から一枚の画像（第二画像）を選択するようにしてもよい。

【0078】

また、上記の例では、第一画像をＬＣＤ１２４の表示画面にスルー画として表示しているが、別の例では、第二画像をＬＣＤ１２４の表示画面にスルー画として表示してもよく、また、第一画像、第二画像をＬＣＤ１２４の表示画面にスルー画として順次表示してもよい。また、第一画像、第二画像以外のタイミングで撮影された他の画像をＬＣＤ１２４の表示画面にスルー画として表示してもよい。

【0079】

［図５ＡのＳ１８（電気的なＬＰＦ処理）］
本発明の一実施形態では、詳しくは後述するが、第一色差信号と第二色差信号との信号差分値や信号加算値に基づいて偽色の発生が検出される。しかし、コントラストの高いエッジ部分では、偽色が発生していなくても、第一色差信号と第二色差信号との信号差分値が大きくなることがある。この場合、エッジ部分において偽色が発生していると誤検出される虞がある。

【0080】

また、詳しくは後述するが、信号差分値や信号加算値の演算に用いられる第一色差信号と第二色差信号は、同一の被写体像を写す画素の色差信号ではあるが、処理ステップＳ１６（固体撮像素子１１２ａのシフト）にて固体撮像素子１１２ａがシフトされたことが原因で、それぞれ、アドレスが異なる画素を用いてデモザイク処理されている。そのため、第一色差信号と第二色差信号は、同一の被写体像を写す画素の色差信号であるにも拘わらず色情報が極僅かに異なる場合がある。

【0081】

そこで、本処理ステップＳ１８では、画像信号（輝度信号Ｙ、色差信号Ｃｂ、Ｃｒ）に対してＬＰＦ処理が施される。ＬＰＦ処理によって画像がぼかされることで、エッジ部分における偽色の誤検出が抑えられると共に第一色差信号と第二色差信号との色情報の誤差が抑えられる。

【0082】

［図５ＡのＳ１９（アドレスの変換）］
本発明の一実施形態では、撮影画像内において偽色が発生する偽色発生領域が画素単位で検出される。この場合、偽色の検出精度を向上させるため、同一の被写体像が入射される注目画素同士で信号差分値や信号加算値を演算することが望ましい。

【0083】

そこで、本処理ステップＳ１９では、同一の被写体像が同一アドレスの画素に入射されたものとして処理されるように、処理ステップＳ１７（第二画像の撮影）にて撮影された第二画像を構成する各画素のアドレスが、処理ステップＳ１６（固体撮像素子１１２ａのシフト）における固体撮像素子１１２ａのシフト量（換言すると、固体撮像素子１１２ａの受光面１１２ａａ上での被写体像の入射位置のシフト量）に応じて変換される。

【0084】

一例として、図６（ｃ）の画素ＰＩＸｂのアドレス（ハ，２）は、被写体像の入射位置のシフト量に応じて右方向に１画素シフトしたときに位置する画素、すなわち、画素ＰＩＸｂと同一の被写体像を取り込む画素ＰＩＸａ（図６（ｂ）参照）と同一のアドレス（ニ，２）に変換される。

【0085】

［図５ＡのＳ２０（色差信号の差分値の演算）］
斜め縞被写体６ａ及び縦縞被写体７ａは、固体撮像素子１１２ａの画素ＰＩＸの画素ピッチＰと同ピッチの高周波成分を含む。そのため、斜め縞被写体６ａ及び縦縞被写体７ａの画像信号が処理ステップＳ１４（第一画像の撮影）、処理ステップＳ１７（第二画像の撮影）においてデモザイク処理されると、偽色が発生する。

【0086】

具体的には、図６（ｂ）の例では、Ｇ成分の画素ＰＩＸの輝度が高く、Ｒ及びＢ成分の画素ＰＩＸの輝度が低い。そのため、デモザイク処理後の各画素ＰＩＸの色情報はＧ成分が支配的となって、斜め縞被写体６ａに緑色の偽色が発生する。一方、図６（ｃ）の例では、図６（ｂ）の例とは反対に、Ｒ及びＢ成分の画素ＰＩＸの輝度が高く、Ｇ成分の画素ＰＩＸの輝度が低い。そのため、デモザイク処理後の各画素ＰＩＸの色情報はＲ及びＢ成分が支配的となって、斜め縞被写体６ａに紫色の偽色が発生する。

【0087】

また、図７（ｂ）の例では、Ｂ成分の画素ＰＩＸの輝度が高く、Ｒ成分の画素ＰＩＸの輝度が低い。そのため、デモザイク処理後の各画素ＰＩＸの色情報はＢとＧとの混色成分となって、青と緑との中間色（例えばシアン色中心の近傍色）の偽色が発生する。一方、図７（ｃ）の例では、図７（ｂ）の例とは反対に、Ｒ成分の画素ＰＩＸの輝度が高く、Ｂ成分の画素ＰＩＸの輝度が低い。そのため、デモザイク処理後の各画素ＰＩＸの色情報はＲとＧとの混色成分となって、赤と緑の中間色（橙色中心の近傍色）の偽色が発生する。

【0088】

図８は、Ｃｂ、Ｃｒの二軸で定義される色空間を示す。図８中、符号６ｂは、図６（ｂ）の例において注目画素で発生する緑色の偽色に対応するプロットであり、符号６ｃは、図６（ｃ）の例において注目画素で発生する紫色の偽色に対応するプロットであり、符号７ｂは、図７（ｂ）の例において注目画素で発生する青と緑との中間色の偽色に対応するプロットであり、符号７ｃは、図７（ｃ）の例において注目画素で発生する赤と緑の中間色の偽色に対応するプロットである。下記は、各プロットの座標情報を示す。なお、原点Ｏは座標（０,０）である。
プロット６ｂ：（Ｃｂ，Ｃｒ）＝（−Ｍ，−Ｎ）
プロット６ｃ：（Ｃｂ，Ｃｒ）＝（Ｍ，Ｎ）
プロット７ｂ：（Ｃｂ，Ｃｒ）＝（Ｍ’，−Ｎ’）
プロット７ｃ：（Ｃｂ，Ｃｒ）＝（−Ｍ’＋α，Ｎ’＋β）
但し、Ｍ，Ｎ，Ｍ’，Ｎ’，α，βは何れも正数である。

【0089】

図８に示されるように、本発明の一実施形態では、固体撮像素子１１２ａの画素ＰＩＸの画素ピッチＰと同程度の高周波成分の被写体像を取り込んだときに発生する偽色の色自体が、受光面１１２ａａ上での被写体像の入射位置をシフトさせることによって変化することを利用して、偽色が発生する箇所（注目画素）を検出している。より詳細には、高周波成分の被写体像が取り込まれる注目画素において、第一色差信号と第二色差信号が持つ色情報が互いに補色の関係となる部分を、偽色が発生する部分であると判断し検出している。

【0090】

本発明の一実施形態では、上記の補色関係を得るべく、受光面１１２ａａ上での被写体像の入射位置が左方向（水平の画素の並び方向）に１画素分シフト（固体撮像素子１１２ａが被写体像に対して右方向に１画素分シフト）されているが、本発明はこれに限らない。

【0091】

シフト方向は、例示的には、右方向（水平の画素の並び方向）であってもよく、又は、上方向（垂直な画素の並び方向）、下方向（垂直な画素の並び方向）、右上、右下、左上、左下の各斜め方向（水平、垂直の各並び方向に対して４５度をなす方向）など、画素配置に応じた他の方向であってもよいし、併用してもよい。

【0092】

また、シフト距離は、例示的には、３画素分、５画素分など、他の奇数画素分の距離であってもよく、また、半画素分又は半画素分＋奇数画素分（例えば１．５画素分、２．５画素分等）であってもよく（すなわち、ｎ画素分又は（ｍ＋０．５）画素分（但し、ｎ＝奇数の自然数，ｍ＝０又は奇数の自然数）の何れかであればよく）、シフト駆動する機構の精度に応じて選択できることもできる。

【0093】

また、シフト距離は、撮影対象の被写体や撮影条件によっては、偶数画素分及びその近傍（例えば１．９〜２．１画素分等）以外の距離であればよい。これらの量（方向及び距離）で受光面１１２ａａ上での被写体像の入射位置がシフトされる場合も、高周波成分の被写体像が取り込まれる（偽色が発生する）注目画素において、第一色差信号と第二色差信号が持つ色情報が互いに補色の関係となることから、偽色の発生が検出できる。

【0094】

本処理ステップＳ２０では、処理ステップＳ１９（アドレスの変換）におけるアドレス変換後において、アドレスが同一の注目画素毎に、第一色差信号と第二色差信号との差分値（Ｃｂ_ｓｕｂ，Ｃｒ_ｓｕｂ）が演算される。具体的には、本処理ステップＳ２０では、第一色差信号のＣｂ、ＣｒをそれぞれＣｂ１、Ｃｒ１と定義し、これと同一アドレスの第二色差信号のＣｂ、ＣｒをそれぞれＣｂ２、Ｃｒ２と定義した場合に、差分値（Ｃｂ_ｓｕｂ，Ｃｒ_ｓｕｂ）が次式により演算される。
Ｃｂ_ｓｕｂ＝Ｃｂ１−Ｃｂ２
Ｃｒ_ｓｕｂ＝Ｃｒ１−Ｃｒ２

【0095】

［図５ＡのＳ２１（第一の距離情報の演算）］
本処理ステップＳ２１では、アドレスが同一の注目画素毎に、第一色差信号と第二色差信号との色空間内での距離（第一の距離情報Saturation__sub）が次式により演算される。
Saturation__sub＝√（Ｃｂ_ｓｕｂ^２＋Ｃｒ_ｓｕｂ^２）

【0096】

第一の距離情報Saturation__subは、図８の各プロット対（プロット６ｂとプロット６ｃ、プロット７ｂとプロット７ｃ）の例でそれぞれ、２√（Ｍ^２＋Ｎ^２）、√｛（２Ｍ’−α）^２＋（２Ｎ’＋β）^２-｝となる。

【0097】

図８の各プロット対の位置関係から把握されるように、第一色差信号と第二色差信号が持つ色情報が強い補色関係にあるほど第一の距離情報Saturation__subが大きくなり、第一色差信号と第二色差信号が持つ色情報が補色関係にない（例えば同様の色相である）ほど第一の距離情報Saturation__subが小さくなる。すなわち、第一の距離情報Saturation__subは、偽色発生領域でなければ理想的にはゼロであり、偽色が強く発生する偽色発生領域ほど大きくなる。

【0098】

［図５ＡのＳ２２（色差信号の加算値の演算）］
本処理ステップＳ２２では、アドレスが同一の注目画素毎に、第一色差信号と第二色差信号との加算値（Ｃｂ’_ａｄｄ，Ｃｒ’_ａｄｄ）が演算される。

【0099】

具体的には、本処理ステップＳ２２では、暫定加算値（Ｃｂ_ａｄｄ，Ｃｒ_ａｄｄ）が次式により演算される。
Ｃｂ_ａｄｄ＝Ｃｂ１＋Ｃｂ２
Ｃｒ_ａｄｄ＝Ｃｒ１＋Ｃｒ２

【0100】

次いで、暫定加算値の平均値（Ｃｂ_ｍｅａｎ，Ｃｒ_ｍｅａｎ）が次式により演算される。
Ｃｂ_ｍｅａｎ＝Ｃｂ_ａｄｄ／２
Ｃｒ_ｍｅａｎ＝Ｃｒ_ａｄｄ／２

【0101】

次いで、加算値（Ｃｂ’_ａｄｄ，Ｃｒ’_ａｄｄ）が次式により演算される。
Ｃｂ’_ａｄｄ＝Ｃｂ_ａｄｄ−Ｃｂ_ｍｅａｎ
Ｃｒ’_ａｄｄ＝Ｃｒ_ａｄｄ−Ｃｒ_ｍｅａｎ

【0102】

［図５ＡのＳ２３（第二の距離情報の演算）］
本処理ステップＳ２３では、アドレスが同一の注目画素毎に、加算値（Ｃｂ’_ａｄｄ，Ｃｒ’_ａｄｄ）に基づいて色空間内における第二の距離情報Saturation__addが次式により演算される。
Saturation__add＝√（Ｃｂ’_ａｄｄ^２＋Ｃｒ’_ａｄｄ^２）

【0103】

第二の距離情報Saturation__addは、図８の各プロット対（プロット６ｂとプロット６ｃ、プロット７ｂとプロット７ｃ）の例でそれぞれ、ゼロ、√（α^２＋β^２）となる。

【0104】

ここで、第一、第二の各色差信号は、画像撮影時の光源、露出条件、ホワイトバランス等の影響を受けて変化する。しかし、第一、第二の各色差信号が同じように変化するため、色空間内における互いの相対距離（すなわち、第一の距離情報Saturation__sub）は変化が少ない。

【0105】

一方、第二の距離情報Saturation__addは、第一、第二の各色差信号が画像撮影時の光源、露出条件、ホワイトバランス等の影響を受けて色空間の原点Ｏの位置に対して変化すると、大きく変化する。そこで、処理ステップＳ２２（色差信号の加算値の演算）では、第二の距離情報Saturation__addを暫定加算値（Ｃｂ_ａｄｄ，Ｃｒ_ａｄｄ）を用いて即座には演算せず、上記影響による原点Ｏに対する位置の変化を相殺又は軽減すべく（上記影響により、原点Ｏから離れた第一色差信号と第二色差信号との中点を原点Ｏに近付けるべく）、加算値（Ｃｂ’_ａｄｄ，Ｃｒ’_ａｄｄ）が演算されている。

【0106】

図８の各プロット対の位置関係から把握されるように、第一色差信号と第二色差信号が持つ色情報が補色関係にある場合は、互いの符号が逆となることから加算値（Ｃｂ’_ａｄｄ，Ｃｒ’_ａｄｄ）が小さくなって、第二の距離情報Saturation__addが小さくなる。また、強い補色関係であるほど第二の距離情報Saturation__addが小さくなって、理想的にはゼロとなる。一方、第一色差信号と第二色差信号が持つ色情報が補色関係にない（例えば同様の色相である）場合は、互いの符号が同一となることから、加算値（Ｃｂ’_ａｄｄ，Ｃｒ’_ａｄｄ）が大きくなって、第二の距離情報Saturation__addが大きくなる。すなわち、第二の距離情報Saturation__addは、偽色発生領域でなければ大きくなり、偽色発生領域であれば小さくなる。

【0107】

［図５ＡのＳ２４（輝度信号の差分値の演算）］
説明の便宜上、処理ステップＳ１４（第一画像の撮影）にて撮影された第一画像の輝度信号Ｙを「第一輝度信号」と記し、処理ステップＳ１７（第二画像の撮影）にて撮影された第二画像の輝度信号Ｙを「第二輝度信号」と記す。本処理ステップＳ２４では、アドレスが同一の注目画素毎に、第一輝度信号と第二輝度信号との差分値Ｙ_ｄｉｆｆが演算される。具体的には、本処理ステップＳ２４では、第一輝度信号をＹ１と定義し、第二輝度信号をＹ２と定義した場合に、差分値Ｙ_ｄｉｆｆが次式により演算される。
Ｙ_ｄｉｆｆ＝｜Ｙ１−Ｙ２｜

【0108】

［図５ＡのＳ２５（偽色発生領域の判定）］
本処理ステップＳ２５では、アドレスが同一の注目画素毎に、偽色発生領域であるか否かが判定される。具体的には、次の条件（１）〜（３）が全て満たされる場合に、当該画素が偽色発生領域であると判定される。

【0109】

・条件（１）
上述したように、第一の距離情報Saturation__subが大きいほど第一色差信号と第二色差信号が持つ色情報が強い補色関係となることから、当該注目画素が偽色発生領域である可能性が高い。そこで、条件（１）は次のように規定される。
条件（１）：Saturation__sub≧閾値Ｔ１

【0110】

・条件（２）
上述したように、第二の距離情報Saturation__addが小さいほど第一色差信号と第二色差信号が持つ色情報が強い補色関係となることから、当該注目画素が偽色発生領域である可能性が高い。そこで、条件（２）は次のように規定される。
条件（２）：Saturation__add≦閾値Ｔ２

【0111】

処理ステップＳ１４（第一画像の撮影）にて撮影された第一画像と処理ステップＳ１７（第二画像の撮影）にて撮影された第二画像の一方だけで大きな像振れが発生した場合を考える。この場合、第一色差信号と第二色差信号との差分が大きくなって、偽色が誤検出される虞がある。そこで、条件（３）は次のように規定される。
条件（３）：Ｙ_ｄｉｆｆ≦閾値Ｔ３

【0112】

すなわち、差分値Ｙ_ｄｉｆｆが閾値Ｔ３よりも大きい場合は、上記の誤検出の虞があることから、当該注目画素に対する偽色の検出が行われない（当該注目画素が偽色発生領域でないものとして処理される。）。

【0113】

なお、条件（１）と条件（２）は、当該注目画素が偽色発生領域であるか否かを直接的に判定する条件となっている。そこで、別の実施形態では、条件（１）と条件（２）の少なくとも一方が満たされる場合に、当該注目画素が偽色発生領域であると判定されるようにしてもよい。

【0114】

また、ユーザは、操作部１０２を操作して閾値Ｔ１〜Ｔ３を設定変更することにより、偽色の検出感度を変更することができる。

【0115】

［図５ＢのＳ２６（偽色の検出）］
本処理ステップＳ２６では、偽色の有無が検出される。例示的には、処理ステップＳ２５（偽色発生領域の判定）において偽色発生領域と判定された注目画素数（又は全有効画素数のうち偽色発生領域と判定された注目画素の割合）が所定の閾値以上である場合に、偽色有りという検出結果となり（Ｓ２６：ＹＥＳ）、該注目画素数（又は割合）が所定の閾値未満である場合に、偽色無しという検出結果となる（Ｓ２６：ＮＯ）。

【0116】

［図５ＢのＳ２７（偽色識別画面の表示）］
本処理ステップＳ２７では、偽色識別画面がＬＣＤ１２４の表示画面に表示される。

【0117】

図９に、偽色識別画面の一例を示す。図９の例では、ＬＣＤ１２４の表示画面にテレビモニタＴＶ１の画面が写っている。テレビモニタＴＶ１の画面は、微小な画素が密に並ぶ空間周波数の高い被写体であることから、偽色が発生しやすい。そのため、図９の例では、処理ステップＳ２５（偽色発生領域の判定）において、テレビモニタＴＶ１の画面が写る領域に属する全ての画素で偽色が発生しているものと判定される。

【0118】

本処理ステップＳ２７では、ＬＣＤ１２４の表示画面に表示されるスルー画のうち、偽色が発生していると判定された画素に対応する偽色発生領域（図９の例では、テレビモニタＴＶ１の画面全域）に特定の情報が重畳される。

【0119】

本発明の一実施形態では、特定の情報は、スルー画内において、偽色が発生していると判定された画素に対応する偽色発生領域とそれ以外の領域とをユーザに視覚的に識別させるための画像情報である。図９の例では、スルー画内に写るテレビモニタＴＶ１の画面全域に特定の色の画像が重畳される。ユーザは、スルー画内に重畳された特定の色の画像を視認することにより、偽色がどのように発生しているかを容易に把握することができる。これにより、ユーザは、例えば、偽色が発生する被写体を外した構図で撮影を行ったり、ＬＰＦ駆動のモードを偽色に合わせて適切に設定したりすることができる。

【0120】

なお、スルー画に重畳される特定の情報は、特定の色の画像に限らない。他の例としては、特定のパターンの画像、特定の色及びパターンの組み合わせよりなる画像が挙げられる。

【0121】

［図５ＢのＳ２８（半押し操作解除判定）］
本処理ステップＳ２８では、レリーズスイッチの半押しが解除されたか否かが判定される。

【0122】

［図５ＢのＳ２９（ＬＰＦ駆動のモード設定画面の表示）］
本処理ステップＳ２９は、処理ステップＳ２８（半押し操作解除判定）にてレリーズスイッチの半押しが解除されたと判定された場合（Ｓ２８：ＹＥＳ）に実行される。本処理ステップＳ２９では、ＬＰＦ駆動のモード設定画面がＬＣＤ１２４の表示画面に表示される。ユーザは、操作部１０２を操作することにより、モード設定画面を通じてＬＰＦ駆動のモードを任意で設定変更することができる。

【0123】

［図５ＢのＳ３０（半押し操作判定）］
本処理ステップＳ３０では、所定の条件下で（例えば、ＬＰＦ駆動のモード設定画面に対する終了操作が行われてから所定時間経過するまでの間に）レリーズスイッチが半押しされたか否かが判定される。本処理ステップＳ３０にて所定の条件下でレリーズスイッチが半押しされたと判定されると（Ｓ３０：ＹＥＳ）、本フローチャートの処理は、処理ステップＳ１１（ＡＥ制御及びＡＦ制御）に戻る。

【0124】

［図５ＢのＳ３１（全押し操作判定）］
本処理ステップＳ３１は、処理ステップＳ２８（半押し操作解除判定）にてレリーズスイッチの半押しが解除されていないと判定された場合（Ｓ２８：ＮＯ）に実行される。本処理ステップＳ３１では、レリーズスイッチが全押しされたか否かが判定される。本処理ステップＳ３１にてレリーズスイッチが全押しされていないと判定されると（Ｓ３１：ＮＯ）、本フローチャートの処理は、処理ステップＳ１１（ＡＥ制御及びＡＦ制御）に戻る。

【0125】

［図５ＢのＳ３２（本撮影）］
本処理ステップＳ３２は、処理ステップＳ３１（全押し操作判定）にてレリーズスイッチが全押しされたと判定される場合（Ｓ３１：ＹＥＳ）に実行される。本処理ステップＳ３２では、レリーズスイッチの全押し操作に従い、本撮影（全押しされた時点の静止画の取り込み）が行われる。なお、本撮影は、処理ステップＳ２６（偽色の検出）にて偽色有りという検出結果が得られている場合には、ＬＰＦ駆動下で行われてもよい。

【0126】

［図５ＢのＳ３３（本撮影画像の保存）］
本処理ステップＳ３３では、処理ステップＳ３２（本撮影）にて本撮影された本撮影画像がメモリカード２００（又は撮影装置１に備えられる不図示の内蔵メモリ）に保存される。また、本撮影画像に代えて又は追加して、処理ステップＳ１４（第一画像の撮影）にて撮影された第一画像及び処理ステップＳ１７（第二画像の撮影）にて撮影された第二画像の少なくとも一方がメモリカード２００（又は撮影装置１に備えられる不図示の内蔵メモリ）に保存されてもよい。

【0127】

［図５ＢのＳ３４（偽色識別画面の表示の停止）］
本処理ステップＳ３４は、処理ステップＳＳ３０（半押し操作判定）にて所定の条件下でレリーズスイッチが半押しされていないと判定された場合（Ｓ３０：ＮＯ）又は処理ステップＳ３３（本撮影画像の保存）が行われた後に実行される。本処理ステップＳ３４では、偽色識別画面の表示が停止、すなわち、スルー画に重畳されていた特定の情報（例えば特定の色の画像）が消去される。これにより、ＬＣＤ１２４の表示画面の表示は通常のスルー画に戻る。

【0128】

このように、本発明の一実施形態によれば、ユーザは、スルー画内に重畳された特定の色の画像を視認することにより、偽色がどのように発生しているかを容易に把握することができる。これにより、ユーザは、例えば、偽色が発生する被写体を外した構図で撮影を行ったり、ＬＰＦ駆動のモードを偽色に合わせて適切に設定したりすることができる。

【0129】

以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。

【0130】

上記の実施形態では、図５Ｂの処理ステップＳ２７（偽色識別画面の表示）にて偽色が発生していると判定された画素に対応する偽色発生領域に１つの種類の情報（特定の色の画像）が重畳されているが、本発明はこれに限らない。例えば、本発明の変形例では、偽色発生領域に発生する偽色の強度に応じて異なる種類の情報が重畳されてもよい。

【0131】

図１０に、本発明の変形例における偽色識別画面を示す。図１０に示される偽色識別画面には、３台のテレビモニタＴＶ２〜ＴＶ４が写っている。テレビモニタＴＶ２の画面には強い偽色が発生し、テレビモニタＴＶ３の画面には中程度の偽色が発生し、テレビモニタＴＶ４の画面には弱い偽色が発生している。

【0132】

本変形例では、例えば第一の距離情報Saturation__subや第二の距離情報Saturation__addに基づいて偽色発生領域における偽色の強度が検出され、検出された強度に応じて重畳すべき画像情報が決定される。本変形例では、濃度の濃い色の画像がテレビモニタＴＶ２の画面に重畳され、中程度の濃度の色の画像がテレビモニタＴＶ３の画面に重畳され、濃度の薄い色の画像がテレビモニタＴＶ４の画面に重畳される。

【0133】

本変形例によれば、ユーザは、スルー画内に重畳された画像情報を視認することにより、どの程度の強さの偽色がどの位置に発生しているかを容易に把握することができる。

【0134】

また、上記の実施形態では、ＬＰＦ駆動を実行することにより、画像全体に対して光学的に偽色の除去を施しているが、本発明はこれに限らない。偽色は、画像処理を用いて除去されてもよい。画像処理の場合は、偽色を画像全体に限らず局所的に（例えば偽色発生領域と判定された注目画素毎に）除去することもできる。

【0135】

また、上記の実施形態では、固体撮像素子１１２ａ自体をシフトさせることにより、受光面１１２ａａ上での被写体像の入射位置をシフトさせているが、本発明はこれに限らない。例えば、別の振れ補正部材（撮影レンズ１０６内に含まれる一部のレンズなど）を偏心駆動させることにより、受光面１１２ａａ上での被写体像の入射位置をシフトさせてもよく、また、撮影レンズ１０６の光路内に光軸ＡＸに対して垂直よりやや傾けて配置された平行平板を光軸ＡＸ周りに回転させたり、頂角可変プリズム、固体撮像素子１１２ａのカバーガラス（カバーガラスに付着した塵等を除去するための加振機能を備えたもの）等を駆動させたりすることにより、受光面１１２ａａ上での被写体像の入射位置をシフトさせてもよい。

【0136】

また、上記の実施形態では、処理ステップＳ２５（偽色発生領域の判定）において、閾値Ｔ１〜Ｔ３が各画素に対する全ての判定において不変であるが、本発明はこれに限らない。

【0137】

例えば、システムコントローラ１００によってＡＦ制御が行われることにより、画像内でピントが合っているとみなせる範囲（合焦エリアであり、例示的には被写界深度に収まる範囲）が求まる。合焦エリア（合焦状態）の被写体はコントラストが高く、高周波成分を含みやすいため、偽色が発生しやすい。一方、合焦エリア外（非合焦状態）の被写体はコントラストが低く、高周波成分を含み難いため、偽色が発生し難い。

【0138】

そこで、処理ステップＳ２５（偽色発生領域の判定）では、演算によって求まった合焦エリア内の画素に対する判定を行う場合と合焦エリア外の画素に対する判定を行う場合とで、閾値Ｔ１〜Ｔ３が異なる値に変更されてもよい。例示的には、合焦エリア内の画素では偽色が発生している（目立つ）可能性が高いことから、検出感度が高くなるような閾値設定（例えば閾値Ｔ１を低い値に設定）を行い、それ以外の画素では偽色が発生している可能性が低い（目立たない）ことから、検出感度が低くなるような閾値設定（例えば閾値Ｔ１を高い値に設定）を行うか、偽色検出の処理自体が省略される。これにより、偽色の検出精度がより一層向上したり、検出速度が向上したりする。

【0139】

また、上記の実施形態では、一対の画像（処理ステップＳ１４（第一画像の撮影）にて撮影された第一画像と処理ステップＳ１７（第二画像の撮影）にて撮影された第二画像）を用いて偽色の検出が行われているが、別の実施形態では、３枚以上の画像を用いて偽色の検出が行われてもよい。

【0140】

また、上記の実施形態では、偽色発生領域にのみ特定の情報が重畳されているが、本発明はこれに限らない。例えば、偽色発生領域以外の領域、すなわち、偽色の発生が無い領域にのみ特定の情報が重畳されてもよく、また、偽色発生領域と偽色の発生が無い領域の両方の領域に互いに異なる特定の情報が重畳されてもよい。この場合も、ユーザは、偽色発生領域と偽色の発生が無い領域とを視覚的に識別することができる。

【符号の説明】

【0141】

１ 撮影装置
１００ システムコントローラ
１０２ 操作部
１０４ 駆動回路
１０６ 撮影レンズ
１０８ 絞り
１１０ シャッタ
１１２ 像振れ補正装置
１１２ａ 固体撮像素子
１１２ａａ （固体撮像素子の）受光面
１１２ｂ 固定支持基板
１１２ｃ 可動ステージ
１１４ 信号処理回路
１１６ 画像処理エンジン
１１８ バッファメモリ
１２０ カード用インタフェース
１２２ ＬＣＤ制御回路
１２４ ＬＣＤ
１２６ ＲＯＭ
１２８ ジャイロセンサ
２００ メモリカード
Ｃ_ＹＲ、Ｃ_ＹＬ、Ｃ_ＸＤ、Ｃ_ＸＵ 駆動用コイル
Ｈ_ＹＲ、Ｈ_ＹＬ、Ｈ_ＸＤ、Ｈ_ＸＵ ホール素子
Ｍ_ＹＲ、Ｍ_ＹＬ、Ｍ_ＸＤ、Ｍ_ＸＵ 磁石
ＰＩＸ 画素
ＶＣＭ_ＹＲ、ＶＣＭ_ＹＬ、ＶＣＭ_ＸＤ、ＶＣＭ_ＸＵ ボイスコイルモータ
Ｙ_ＹＲ、Ｙ_ＹＬ、Ｙ_ＸＤ、Ｙ_ＸＵ ヨーク

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】