特許 6206299 撮像装置および撮像画像の色補正方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6206299

(24)【登録日】2017年9月15日

(45)【発行日】2017年10月4日

(54)【発明の名称】撮像装置および撮像画像の色補正方法

(51)【国際特許分類】

   H04N 9/07 20060101AFI20170925BHJP

   H04N 5/232 20060101ALI20170925BHJP

   H04N 9/64 20060101ALI20170925BHJP

【ＦＩ】

   H04N9/07 C

   H04N5/232 290

   H04N9/64 R

【請求項の数】8

【全頁数】20

(21)【出願番号】特願2014-73329(P2014-73329)

(22)【出願日】2014年3月31日

(65)【公開番号】特開2015-65635(P2015-65635A)

(43)【公開日】2015年4月9日

【審査請求日】2016年4月25日

(31)【優先権主張番号】特願2013-178595(P2013-178595)

(32)【優先日】2013年8月29日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(72)【発明者】

【氏名】太田 侑子

【審査官】 西谷 憲人

(56)【参考文献】

【文献】 国際公開第２０１０／１１６９２２（ＷＯ，Ａ１）

【文献】 特開２０１１−１０９４９６（ＪＰ，Ａ）

【文献】 特開２００６−１８０２１０（ＪＰ，Ａ）

【文献】 特開２００４−２８９３８３（ＪＰ，Ａ）

【文献】 特開２００９−２０１０９４（ＪＰ，Ａ）

【文献】 特開２０１３−０９８８０５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ９／０７

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ９／６４

(57)【特許請求の範囲】

【請求項1】

被写体にフォーカスが合っているフォーカス画像、および前記被写体にフォーカスが合っていないデフォーカス画像を撮像する撮像部と、
前記フォーカス画像から輝度が飽和状態となっている飽和画素を検出する飽和画素検出部と、
前記デフォーカス画像から飽和画素に対応する色を検出する色検出部と、
前記フォーカス画像の飽和画素を、前記検出された色の画素に補正する色補正部と
を有し、
前記色検出部は、
複数の前記デフォーカス画像同士を比較して、比較元のデフォーカス画像に対する色の変化が他のデフォーカス画像より大きいデフォーカス画像を選択する選択部と、
前記フォーカス画像と選択されたデフォーカス画像とを比較し、色が変化している色変化画素を検出する色変化画素検出部と、
前記飽和画素のうち、前記色変化画素となっている画素を表す補正対象画素を検出する補正対象検出部と、
を備える、撮像装置。

【請求項2】

前記色補正部は、前記フォーカス画像の前記補正対象画素の色を、選択されたデフォーカス画像の前記補正対象画素に対応する画素の色に補正すること
を特徴とする請求項１に記載の撮像装置。

【請求項3】

前記飽和画素検出部は、飽和画素が存在する場合、所定分ずつデフォーカスさせたデフォーカス画像を前記撮像部から取得すると共に、各デフォーカス画像が得られる毎に、前記飽和画素に対応する前記デフォーカス画像の画素の飽和の有無を検出し、
前記飽和画素に対応する画素の不飽和が検出された場合、前記色検出部は、前記不飽和が検出された前記デフォーカス画像における、前記飽和画素に対応する画素の色を検出し、前記色補正部は、前記検出した画素の色に、前記フォーカス画像の前記飽和画素を補正し、前記デフォーカスを所定回数繰り返しても、前記飽和画素に対応する画素が飽和状態である場合、前記色検出部は、前記飽和画素の近傍の不飽和画素から前記飽和画素に対応する色の画素を生成し、前記色補正部は、前記生成した画素の色に、前記フォーカス画像の前記飽和画素を補正すること
を特徴とする請求項１に記載の撮像装置。

【請求項4】

前記色検出部は、前記飽和画素の近傍の不飽和画素の赤、青、緑の各画素値から、前記飽和画素の赤、青、緑の各画素値の比の予測値を演算し、前記飽和画素の赤、青、緑の各予測値のうち、値が最も大きな予測値を、飽和値に近い所定の不飽和値に設定すると共に、他の予測値を、前記各画素値の比を保持する値に設定し、
前記色補正部は、前記設定された各予測値で前記フォーカス画像の前記飽和画素の色を補正すること
を特徴とする請求項３に記載の撮像装置。

【請求項5】

前記撮像部から取得した隣接するフレームのデフォーカス画像の各画素値に最も変化がある最変化画像を検出する最変化画像検出部と、
前記撮像部から取得したフォーカス画像の前記飽和画素と同位置となる前記最変化画像の画素と、前記最変化画像の前フレームのデフォーカス画像の、前記飽和画素と同位置の画素との間で、各画素値が大きく異なる画素の有無を検出する第１の検出部と、
前記第１の検出部で検出された画素値が大きく異なる画素と、前記最変化画像の前々フレームのデフォーカス画像の同位置の画素とを比較し、各画素値が大きく異なる画素の有無を検出する第２の検出部と、をさらに備え、
前記色補正部は、前記第２の検出部で検出された画素値が大きく異なる画素と同位置の、前記フォーカス画像の画素を、前記第２の検出部で検出された画素値が大きく異なる画素が存在するデフォーカス画像よりも前のフレームのデフォーカス画像の、前記画素値が大きく異なる画素と同位置の画素で補正すること
を特徴とする請求項１に記載の撮像装置。

【請求項6】

前記色補正部は、前記第２の検出部で検出された画素値が大きく異なる画素に近い位置の画素と同位置となる前記フォーカス画像の前記飽和画素に対しては、前記第２の検出部で検出された画素値が大きく異なる画素が存在するデフォーカス画像の同位置の画素で補正し、前記第２の検出部で検出された画素値が大きく異なる画素から遠い位置の画素と同位置となる前記フォーカス画像の前記飽和画素に対しては、前記最変化画像の同位置の画素で補正すること
を特徴とする請求項５に記載の撮像装置。

【請求項7】

前記色補正部は、前記第２の検出部で画素値が大きく異なる画素が検出されない場合、前記フォーカス画像の前記飽和画素と同位置となる前記最変化画像の画素と、前記最変化画像の前フレームのデフォーカス画像の、前記飽和画素と同位置の画素との間で、前記第１の検出部で各画素値が大きく異なるものと判別された画素と同位置の画素となる、前記最変化画像の前々フレームのデフォーカス画像の画素で、前記フォーカス画像の同位置の画素を補正し、また、前記フォーカス画像の前記飽和画素と同位置となる前記最変化画像の画素と、前記最変化画像の前フレームのデフォーカス画像の、前記飽和画素と同位置の画素との間で、前記第２の検出部で各画素値が大きく異なるものと判別された画素以外の画素と同位置の、前記最変化画像の画素を用いて、前記フォーカス画像の同位置の画素を補正すること
を特徴とする請求項５または請求項６に記載の撮像装置。

【請求項8】

撮像制御部が、被写体にフォーカスが合っているフォーカス画像と、前記被写体にフォーカスが合っていないデフォーカス画像を撮像するように撮像部を制御する撮像制御工程と、
飽和画素検出部が、前記フォーカス画像から輝度が飽和状態となっている飽和画素を検出する飽和画素検出工程と、
色検出部が、前記デフォーカス画像から飽和画素に対応する色を検出する色検出工程と、
色補正部が、前記フォーカス画像の飽和画素を、前記検出された色の画素に補正する色補正工程と
を有し、
前記色検出工程は、
複数の前記デフォーカス画像同士を比較して、比較元のデフォーカス画像に対する色の変化が他のデフォーカス画像より大きいデフォーカス画像を選択する選択工程と、
前記フォーカス画像と選択されたデフォーカス画像とを比較し、色が変化している色変化画素を検出する色変化画素検出工程と、
前記飽和画素のうち、前記色変化画素となっている画素を表す補正対象画素を検出する補正対象検出工程と、
を備える、撮像画像の色補正方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えば静止画像を撮像する静止画像撮像装置または動画像を撮像する動画像撮像装置等に設けて好適な撮像装置および撮像方法に関する。特に、撮像画像の輝度が一定値以上高くなることで発色が薄くなる箇所を良好に発色させた撮像画像を得ることを可能とした撮像装置および撮像画像の色補正方法に関する。

【背景技術】

【0002】

デジタルカメラ装置等の撮像装置において、撮像画像中の一定値以上の高い輝度を示す撮像箇所の色が、輝度を上げて撮像しているにもかかわらず、発色が薄くなる現象が知られている。この現象は、例えば発光ダイオード（ＬＥＤ）等の、輝度が高い点灯物を撮像した際に多く現れる現象である。

【0003】

特許文献１（特開平５−７３３６号公報）には、撮像画像のダイナミックレンジを拡大可能な撮像装置が開示されている。この撮像装置の場合、露光時間を変えて複数回撮像した画像を合成する。これにより、撮像画像のダイナミックレンジを見かけ上、拡大している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平５−７３３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、例えば周囲が暗い状態で、撮像画像全体の一部にＬＥＤ等の点灯物が存在する被写体を撮像することを考える。この場合、多くの撮像光を取り込むべくアイリスが大きく開口される。これにより、全体の輝度が上がるため、全体的に明るい撮像画像が得られる。

【0006】

しかし、全体の輝度が上がることで、元々輝度が高いＬＥＤ等の点灯物の部分的な撮像箇所の輝度がさらに上がる。このため、ＬＥＤ等の点灯物の部分的な撮像箇所の発色が、さらに薄くなる問題を生ずる。

【0007】

なお、アイリスを絞ることで、ＬＥＤ等の点灯物の部分的な撮像箇所の発色を良好とすることができるが、撮像画像全体が暗くなる不都合を生ずる。さらに、撮像画像全体が暗くなると、撮像信号を増幅する増幅器の利得が大きな利得に変更され、ノイズの多い撮像画像となる。このため、アイリスを絞ることで、ＬＥＤ等の点灯物の部分的な撮像箇所の発色を良好とできても、結果的にノイズの多い撮像画像しか得られないこととなる。

【0008】

また、特許文献１に開示されている撮像装置の場合、撮像画像全体の明るさと、部分的に明るい撮像箇所の明るさの差が想定する以上に大きい場合、部分的に明るい撮像箇所の色は、再現困難となる問題がある。

【0009】

本発明は、上述の課題に鑑みてなされたものであり、輝度が一定値以上高くなることで発色が薄くなる箇所を良好に発色させた撮像画像を得ることを可能とした撮像装置および撮像画像の色補正方法の提供を目的とする。

【課題を解決するための手段】

【0010】

上述した課題を解決するための手段として、本発明は、被写体にフォーカスが合っているフォーカス画像、および被写体にフォーカスが合っていないデフォーカス画像を撮像する撮像部と、フォーカス画像から輝度が飽和状態となっている飽和画素を検出する飽和画素検出部と、デフォーカス画像から飽和画素に対応する色を検出する色検出部と、フォーカス画像の飽和画素を、検出された色の画素に補正する色補正部とを有する。

【0011】

上述した課題を解決するための手段として、本発明は、撮像制御部が、被写体にフォーカスが合っているフォーカス画像と、被写体にフォーカスが合っていないデフォーカス画像を撮像するように撮像部を制御する撮像制御工程と、飽和画素検出部が、フォーカス画像から輝度が飽和状態となっている飽和画素を検出する飽和画素検出工程と、色検出部が、デフォーカス画像から飽和画素に対応する色を検出する色検出工程と、色補正部が、フォーカス画像の飽和画素を、検出された色の画素に補正する色補正工程とを有する。

【発明の効果】

【0012】

本発明は、輝度が一定値以上高くなることで発色が薄くなる箇所を、良好に発色させた撮像画像を得ることができる。

【図面の簡単な説明】

【0013】

【図1】図１は、本発明を適用した第１の実施の形態となる撮像装置の要部のブロック図である。

【図2】図２は、第１の実施の形態となる撮像装置の機能ブロック図である。

【図3】図３は、第１の実施の形態となる撮像装置の色再現補正処理の流れを示すフローチャートである。

【図4】図４は、第１の実施の形態となる撮像装置において、徐々にデフォーカスすることで得られる撮像画像を示す図である。

【図5】図５は、第１の実施の形態となる撮像装置において、本発明は、飽和箇所を補正することで、本来の発色を得ることができた撮像画像を示す図である。

【図6】図６は、本発明の第２の実施の形態となる撮像装置の撮像動作の流れを示すフローチャートである。

【図7】図７は、元画像の本来得られるべき輝度分布、部分的な飽和箇所を示す輝度分布、デフォーカス画像の輝度分布、およびアイリスを絞ることで得られた撮像画像の輝度分布を示す図である。

【図8】図８は、元画像の本来得られるべき輝度分布、部分的な飽和箇所を示す輝度分布、デフォーカス画像の輝度分布、およびアイリスを絞っても、部分的な飽和箇所が残っている輝度分布を示す図である。

【図9】図９は、第２の実施の形態の撮像装置における、デフォーカス制御を行っても残ってしまう部分的な飽和箇所を、近傍の不飽和画素で近似する動作を説明するための図である。

【図10】図１０は、第２の実施の形態の撮像装置における、デフォーカス制御を行っても残ってしまう部分的な飽和箇所を、近辺の不飽和画素で近似する際の予測演算を説明するための図である。

【図11】図１１は、第３の実施の形態の撮像装置の色再現補正処理の流れを示すフローチャートである。

【図12】図１２は、第３の実施の形態の撮像装置の色再現補正処理の第１の流れにおいて、デフォーカス画像から選択した画素を合焦画像に当て嵌める動作を説明するための図である。

【図13】図１３は、第３の実施の形態の撮像装置の色再現補正処理の第２の流れにおいて、デフォーカス画像から選択した画素を合焦画像に当て嵌める動作を説明するための図である。

【図14】図１４は、第３の実施の形態の撮像装置の色再現補正処理において、合焦画像に当て嵌めるデフォーカス画像の画素を説明するための図である。

【発明を実施するための形態】

【0014】

以下、添付図面を参照して、本発明の実施の形態となる撮像装置を詳細に説明する。

【0015】

（第１の実施の形態）
図１に、本発明の第１の実施の形態となる撮像装置のブロック図を示す。この図１は、撮像装置の要部を概略的に示した図である。この図１に示すように第１の実施の形態の撮像装置は、撮像レンズ１、レンズ駆動機構２、アイリス機構３、イメージセンサ４、相関二重サンプリング回路（ＣＤＳ）５、およびアナログ可変増幅器６を有している。また、撮像装置は、信号処理部７、ＲＡＭ８、ＲＯＭ９、およびＣＰＵ１０を有している。ＲＡＭは、「Random Access Memory」の略記である。ＲＯＭは、「Read Only Memory」の略記である。ＣＰＵは、「Central Processing Unit」の略記である。

【0016】

レンズ駆動機構２は、撮像レンズ１を、図１中点線で示す光軸方向に沿って移動させることで、被写体に焦点を合わせるフォーカス制御、被写体に対して焦点が合わない状態とするデフォーカス制御、拡大制御および縮小制御等を行う。アイリス機構３は、イメージセンサ４に入射させる撮像光の光量を制御する。

【0017】

イメージセンサ４としては、ＣＣＤイメージセンサが設けられている。なお、ＣＣＤイメージセンサの代わりに、ＣＭＯＳイメージセンサを設けてもよい。ＣＣＤは、「Charge Coupled Device」の略記である。また、ＣＭＯＳは、「Complementary Metal-Oxide Semiconductor」の略記である。イメージセンサ４は、レンズ駆動機構２の制御に対応して、被写体のフォーカスが合ったフォーカス画像、および被写体にフォーカスが合っていないデフォーカス画像を撮像する。イメージセンサ４は、撮像部の一例として機能する。

【0018】

相関二重サンプリング回路（ＣＤＳ）５は、イメージセンサ４で撮像された撮像画像の撮像信号から各種ノイズを除去する。アナログ可変増幅器６は、ノイズが除去された撮像信号を、可変制御された利得で増幅して出力する。信号処理部７は、増幅された撮像信号に所定の信号処理を施して、図示しない後段の回路に供給する。

【0019】

ＲＡＭ８は、信号処理部７およびＣＰＵ１０等の、いわゆるワークテーブルとなっている。輝度レベルが飽和している箇所の色再現補正処理をソフトウェアで実行する場合、その画像処理プログラムは、例えばＲＯＭ９に記憶される。

【0020】

図２に、本発明の第１の実施の形態となる撮像装置の機能ブロック図を示す。図２に示すように、撮像装置は、撮像部２１、飽和画素検出部２２、色補正部２３、および色検出部２４の各機能を有する。色検出部２４は、選択部３１、色変化画素検出部３２、および補正対象検出部３３の各機能を有する。

【0021】

飽和画素検出部２２は、フォーカス画像から輝度が飽和状態となっている飽和画素を検出する。色検出部２４は、デフォーカス画像から飽和画素に対応する色を検出する。色補正部２３は、フォーカス画像の飽和画素を、検出された色の画素に補正する。また、色検出部２４の選択部３１は、複数のデフォーカス画像同士を比較して、比較元のデフォーカス画像に対する色の変化が他のデフォーカス画像より大きいデフォーカス画像を選択する。例えば、選択部３１は、色の変化が最も大きいデフォーカス画像を選択する。選択部３１が、色の変化が所定の閾値より大きいデフォーカス画像のうちいずれか１つを選択してもよい。また、選択部３１が、色の変化が所定の閾値より大きく、かつ、色の変化が最も大きいデフォーカス画像を選択してもよい。色検出部２４の色変化画素検出部３２は、フォーカス画像と選択されたデフォーカス画像とを比較し、色が変化している色変化画素を検出する。色検出部２４の補正対象検出部３３は、飽和画素のうち、色変化画素となっている画素を表す補正対象画素を検出する。

【0022】

このような実施の形態の撮像装置の各機能は、全てをハードウェアで実現してもよいし、全てをソフトウェアで実現してもよい。または、一部をハードウェアで実現し、残りをソフトウェアで実現してもよい。あくまでも一例であるが、以下に説明する実施の形態の場合、撮像部２１を図１に示すイメージセンサ４でハードウェアとして実現している。また、飽和画素検出部２２〜色検出部２４、および選択部３１〜補正対象検出部３３は、ＲＯＭ９に記憶されている画像処理プログラムをＣＰＵ１０が実行することで、ソフトウェアとして実現している。

【0023】

図３は、ＣＰＵ１０における色再現補正処理の流れを示すフローチャートである。ＣＰＵ１０は、静止画像の撮像開始操作が指定されたタイミングで、ＲＯＭ９に記憶されている画像処理プログラムに従って、図３のフローチャートに示す処理を開始する。なお、撮像開始操作が指定されたタイミングとは、例えばユーザによりシャッターボタンが操作されたタイミング、または、タイマで計時される所定の時刻となった際に自動的に撮像制御を行う自動シャッターの撮像タイミング等である。

【0024】

ステップＳ１では、ＣＰＵ１０が、フォーカスを合焦状態とするようにレンズ駆動機構２を制御し、イメージセンサ４から合焦画像（フォーカス画像）を取得する。このフォーカス画像は、相関二重サンプリング回路５によりノイズ除去され、アナログ可変増幅器６により増幅され、信号処理部７に供給される。ＣＰＵ１０は、ステップＳ２において、信号処理部７に供給されたフォーカス画像をＲＡＭ８に一時的に記憶制御する。また、ＣＰＵ１０は、フォーカス画像の色相および彩度の情報を検出し、ＲＡＭ８に一時的に記憶制御する。

【0025】

次に、ＣＰＵ１０は、ステップＳ３において、フォーカスが合焦状態となっている位置から徐々にデフォーカスの度合いが大きくなるように、所定移動距離分ずつ、撮像レンズ１を移動させるように、レンズ駆動機構２を制御する。また、ＣＰＵ１０は、所定移動距離分ずつ、撮像レンズ１を移動させる毎にイメージセンサ４で得られたデフォーカス画像を、それぞれＲＡＭ８に一時的に記憶制御する。そして、ＣＰＵ１０は、ステップＳ４において、各デフォーカス画像の色相および彩度を検出し、ＲＡＭ８に一時的に記憶制御する。

【0026】

すなわち、実施の形態の撮像装置が、例えば６０ｆｐｓ（フレーム/秒）で撮像画像をエンコード処理する場合、ＣＰＵ１０は、６フレームの間でフォーカス位置をフルレンジ動作させるように、レンズ駆動機構２を制御する。また、ＣＰＵ１０は、６フレーム分の画面全体の色相および彩度の情報を取得する。

【0027】

次に、ＣＰＵ１０は、ステップＳ５において、例えば１枚のフォーカス画像およびそれぞれデフォーカスの度合いが異なる５枚のデフォーカス画像の、計６枚の撮像画像がＲＡＭ８に記憶されたか否か（取得されたか否か）を判別する。ＣＰＵ１０は、６枚分の撮像画像が取得されていない場合（ステップＳ５：Ｎｏ）、ステップＳ３に処理を戻し、撮像画像の取得枚数が６枚となるまで、上述のデフォーカス画像の取得を継続して行う。なお、この例では、撮像画像の取得枚数を６枚としたが、これは一例である。２枚、３枚、９枚等の設計等により定めた所定の枚数でよい。

【0028】

次に、ＣＰＵ１０は、６枚分の撮像画像が取得済みの場合（ステップＳ５：Ｙｅｓ）、ステップＳ６において、隣接するフレームの撮像画像の色相および彩度を比較し、最も変化がある最変化画像を選択する。具体的には、ＣＰＵ１０は、ＲＡＭ８に記憶されている撮像画像のうち、フォーカス画像および最初に取得されたデフォーカス画像の色相および彩度を比較する。次に、ＣＰＵ１０は、ＲＡＭ８に記憶されている撮像画像のうち、最初に取得されたデフォーカス画像および２番目に取得されたデフォーカス画像の色相および彩度を比較する。次に、ＣＰＵ１０は、ＲＡＭ８に記憶されている撮像画像のうち、２番目に取得されたデフォーカス画像および３番目に取得されたデフォーカス画像の色相および彩度を比較する。このようにＣＰＵ１０は、隣接するフレームの撮像画像の色相および彩度を比較する動作を、ＲＡＭ８に記憶されている撮像画像の枚数に対応する回数分、繰り返し実行する。

【0029】

図４の（ａ）〜(ｆ)の符号を付した各図は、ＲＡＭ８に記憶された６枚の撮像画像の例を示している。図４の（ａ）の符号を付した図は、フォーカス画像の一例を示している。図４の（ｂ）の符号を付した図は、１枚目のデフォーカス画像の一例を示している。また、図４の（ｃ）〜(ｆ)の符号を付した図は、それぞれ２枚目のデフォーカス画像〜５枚目のデフォーカス画像の一例を示している。図４の（ｂ）〜(ｆ)の符号を付した各図を見比べてわかるように、（ｂ）〜(ｆ)の符号を付した各図は、徐々にデフォーカスの度合いが大きくなる図となっている。

【0030】

また、図４の（ａ）〜(ｆ)の符号を付した各図に示す電源ボタン１５からは、機器内部に設けられたＬＥＤ（発光ダイオード）からの光が、電源マークに模られた透明部材を介して機器外部に出射している。このため、電源ボタン１５は、高輝度で発光するボタンとなっている。この高輝度で発光する電源ボタン１５は、フォーカスが合った状態で撮像すると、輝度レベルが飽和状態となり、白色に発光するボタンとして撮像される。

【0031】

しかし、図４の（ｂ）〜(ｆ)の符号を付した各図に示すように、徐々にデフォーカスしながら撮像すると、画像全体が徐々に、ぼやけた画像となるが、輝度レベルが飽和状態となっていた電源ボタン１５の色は、本来の色が再現されて表示されるようになる。この例で説明すると、図４の（ａ）〜（ｃ）の符号を付した各図では、電源ボタン１５の色は、白色または白色に近い色で表示される。しかし、徐々にデフォーカスしながら撮像すると、図４の（ｄ）〜(ｆ)の符号を付した各図では、電源ボタン１５の色が、徐々に電源ボタン１５本来の色である黄緑色で表示されるようになる。

【0032】

この図４に示す例の場合、ＣＰＵ１０は、ステップＳ６において、最初に、図４の（ａ）の符号を付したフォーカス画像の色相および彩度と、図４の（ｂ）の符号を付した１枚目のデフォーカス画像の色相および彩度とを比較する。また、ＣＰＵ１０は、図４の（ｂ）の符号を付した１枚目のデフォーカス画像の色相および彩度と、図４の（ｃ）の符号を付した２枚目のデフォーカス画像の色相および彩度とを比較する。ＣＰＵ１０は、このような比較処理を繰り返し実行制御する。そして、ＣＰＵ１０は、最後に、図４の（ｅ）の符号を付した４枚目のデフォーカス画像の色相および彩度と、図４の（ｆ）の符号を付した５枚目のデフォーカス画像の色相および彩度とを比較する。そして、ＣＰＵ１０は、隣接するフレームの撮像画像の色相および彩度を比較し、最も変化がある最変化画像（彩度が変化した色相がある画像）を選択する。

【0033】

次に、ステップＳ７において、ＣＰＵ１０は、フォーカス画像で赤（Ｒ），緑（Ｇ），青（Ｂ）の各値が、全て所定値以上の画素を検出する。例えば、ＲＧＢの各画素値が８ビットで、白色の際には、ＲＧＢの各画素値がそれぞれ２５５となる場合、ＣＰＵ１０は、ステップＳ７において、ＲＧＢの各画素値がそれぞれ２３０以上の画素を検出する（第１条件）。

【0034】

次に、ＣＰＵ１０は、ステップＳ８において、フォーカス画像と、ステップＳ６で選択した最変化画像とを比較し、最変化画像の各画素のうち、フォーカス画像の各画素と比較して、明度が下がり、かつ、彩度が上がった画素を検出する（第２条件）。

【0035】

次に、ＣＰＵ１０は、ステップＳ９において、上述の第１条件および第２条件を満たす画素を検出する。すなわち、第１条件を満たす画素とは、輝度レベルが飽和状態（または飽和に近い状態）となっており、本来の色が発色されていない可能性の高い画素である。また、第２の条件である、明度が下がり、かつ、彩度が上がった画素とは、デフォーカスにより、輝度レベルが下がることで、本来の色を発色するようになった画素である。このため、第１の条件および第２の条件を満たす画素を検出することで、フォーカス画像において、本来の色を発色していない画素（補正対象画素）を検出することができる。図４の例で説明すると、電源ボタン１５の発光箇所に対応する画素（＝電源マークに模られた透明部材に対応する画素）を検出することができる。

【0036】

次に、ＣＰＵ１０は、ステップＳ１０において、フォーカス画像の補正対象画素の色を、最変化画像の補正対象画素に対応する画素の色に変更する。すなわち、図４の例で説明すると、ＣＰＵ１０は、フォーカス画像の電源ボタン１５の電源マークに模られた透明部材に対応する画素の色を、例えば図４の（ｆ）の符号の図の電源ボタン１５の画素の色に変更する。これにより、図５の（ａ）の符号の図に示すように、輝度レベルが飽和状態となることで、フォーカス画像上において白色に表示されていた電源ボタン１５の色を、図５の（ｂ）の符号の図に示すように、電源ボタン１５本来の色（例えば黄緑色）で表示することができる。

【0037】

以上の説明から明らかなように、本発明の第１の実施の形態となる撮像装置は、ＣＰＵ１０が、イメージセンサ４を介して、フォーカス画像、および複数のデフォーカス画像を取得する。また、ＣＰＵ１０は、フォーカス画像から輝度が飽和状態となっている補正対象画素を検出すると共に、各デフォーカス画像から補正対象画素に対応する色を検出する。

【0038】

具体的には、補正対象画素を検出する場合、ＣＰＵ１０は、各デフォーカス画像同士を比較して、色の変化が大きいデフォーカス画像を選択してフォーカス画像と比較し、色が変化している色変化画素を検出する。ＣＰＵ１０は、フォーカス画像の飽和画素のうち、色変化画素となっている画素を補正対象画素として検出する。そして、フォーカス画像の補正対象画素の色を、各デフォーカス画像から検出された補正対象画素に対応する画素の色に補正する。

【0039】

これにより、全体的に明るく、かつ、高輝度の箇所でもその箇所本来の色で発色させた撮像画像（フォーカス画像）を得ることができる。このため、例えば鉄道の車掌用カメラに表示される車側灯の色、および機器のランプ等を、本来の明るくかつ鮮やかな色で表示することができる。

【0040】

単に点灯物の飽和した色を濃くするだけであれば、アイリス機構３を絞り、イメージセンサ４に対する入射光量を少なくする方法が簡単である。しかし、アイリス機構３を絞ると、色検出の間にノイズが増加する。また、輝度系が変化して、アイリス機構３を戻したときに映像が変化する不都合を生ずる。さらに、アイリス機構３を絞ることで、アナログ可変増幅器６の利得が上がるため、輝度レベルが飽和状態のままとなり、点灯物等の色が濃くならない等の不都合を生ずる。

【0041】

この実施の形態の撮像装置のようにデフォーカスしていくと、点灯物以外のほとんどの部分の明度が下がり、高輝度で発光している部分の光が分散して、点灯物本来の色が表示されるようになる。また、元々白色の箇所、および輝度が低い箇所は、デフォーカス制御しても、ほとんど色は変わらない。これは、アイリス機構３を絞る場合と原理的に似ている。

【0042】

しかし、アイリス機構３を絞ると、明るさが大きく変わるのに対し、上述のデフォーカス制御では、フルレンジ動作させてもそれほど明るさは変わらない。このため、実施の形態の撮像装置は、上述のアイリス機構３を絞った場合の不都合を防止したうえで、全体的に明るく、かつ、高輝度の箇所でもその箇所本来の色で発色させた撮像画像（フォーカス画像）を得ることができる。

【0043】

（第２の実施の形態）
次に、本発明の第２の実施の形態となる撮像装置の説明をする。この第２の実施の形態の撮像装置は、デフォーカス制御を行っても輝度レベルが飽和状態となっている画素の色を、近辺の不飽和画素から近似するものである。なお、この第２の実施の形態と上述の第１の実施の形態とでは、この点のみが異なる。このため、以下、両者の差異の部分の説明のみ行い、重複した説明は省略する。

【0044】

図６のフローチャートに、第２の実施の形態の撮像装置のＣＰＵ１０における色再現補正処理の流れを示す。ＣＰＵ１０は、静止画像の撮像開始操作が指定されたタイミングで、ＲＯＭ９に記憶されている画像処理プログラムに従って、図６のフローチャートに示す処理を開始する。

【0045】

ステップＳ２１では、ＣＰＵ１０が、フォーカスを合焦状態とするようにレンズ駆動機構２を制御し、イメージセンサ４からフォーカス画像を取得し、輝度レベルが飽和状態となっている画素（領域）を検出する。

【0046】

ステップＳ２２では、ＣＰＵ１０が、上述のようにデフォーカス制御を行い、デフォーカス画像を取得する。そして、ＣＰＵ１０は、ステップＳ２３において、輝度レベルが飽和状態となっている画素が、取得したデフォーカス画像において不飽和状態となったか否かを判別する。なお、ステップＳ２３において、輝度レベルが飽和状態となっている画素が、依然として飽和状態となっている場合、ステップＳ２２に処理を戻し、再度デフォーカス制御を行ってもよい。この場合、デフォーカス制御および飽和状態の有無の検出を所定回数、繰り返し行うこととなる。

【0047】

図７の（ａ）〜(ｄ)の符号を付した各図は、それぞれイメージセンサ４の１ライン分の輝度レベルの一例を示している。横軸が１ラインの各画素位置（順に読み出される時間）を、縦軸が各画素値を示している。図７の（ａ）の符号を付した図は、フォーカス画像の本来の輝度レベルを示している。図７の（ｂ）の符号を付した図は、フォーカス画像の一部の画素（飽和領域Ａ）が、２５０の輝度レベルで飽和状態となっていることを示す図である。

【0048】

また、図７の（ｃ）の符号を付した図は、デフォーカス制御を行うことで、デフォーカス画像における飽和領域Ａの飽和状態が解消されたことを示す図である。また、図７（ｄ）は、アイリス機構３を絞り、イメージセンサ４に対する入射光量を削減することで、飽和領域Ａの飽和状態が解消されたことを示す図である。

【0049】

ＣＰＵ１０は、ステップＳ２３において、デフォーカス画像における輝度レベルが飽和状態となっていた飽和領域Ａが、図７の符号（ｃ）の図のように不飽和状態となったか否かを判別する。ＣＰＵ１０は、飽和領域Ａが飽和しなくなったものと判別した場合は、処理をステップＳ２４に進める（ステップＳ２３：Ｙｅｓ）。これに対して、ＣＰＵ１０は、飽和領域Ａが飽和状態のままであると判別した場合は、処理をステップＳ２７に進める（ステップＳ２３：Ｎｏ）。

【0050】

すなわち、図８の（ａ）〜(ｄ)の符号を付した各図は、それぞれイメージセンサ４の１ライン分の輝度レベルの一例を示しており、図８の（ａ）の符号を付した図は、フォーカス画像の本来の輝度レベルを示している。図８の（ｂ）の符号を付した図は、フォーカス画像の一部の画素（飽和領域Ａ）が、２５０の輝度レベルで飽和状態となっていることを示す図である。また、図８の（ｃ）の符号を付した図は、デフォーカス制御を行うことで得られたデフォーカス画像の飽和領域Ａの飽和状態が解消されていないことを示す図である。また、図８（ｄ）は、アイリス機構３を絞り、イメージセンサ４に対する入射光量を削減しても、飽和領域Ａの飽和状態が解消されていないことを示す図である。ＣＰＵ１０は、図８の（ｃ）の符号を付した図のように、デフォーカス制御を行っても、飽和領域Ａの飽和状態が解消されていないものと判別した場合に、ステップＳ２３からステップＳ２７に処理を進める。

【0051】

ＣＰＵ１０は、飽和領域Ａが飽和しなくなったものと判別することで処理をステップＳ２４に進めると、飽和領域Ａの飽和が解消されたデフォーカス画像から、飽和領域Ａに相当する各画素の画素値を検出し、処理をステップＳ２５に進める。ステップＳ２５では、ＣＰＵ１０が、検出したＲＧＢの各画素値のうち、最も値の大きい画素値を、飽和レベルに近い不飽和レベルとすると共に、他の画素の画素値を、元のＲＧＢの画素値の比率を維持する値とする。

【0052】

例えば、飽和レベルとなる画素値が２５０で、検出したＲＧＢの各画素値が２００、２１０、２２０であった場合、ＣＰＵ１０は演算を行い、最も値の大きい画素値であるＢの画素値を、飽和レベル２５０に近い不飽和レベル２３０の値とする。また、ＣＰＵ１０は演算を行い、Ｒの画素値およびＧの画素値を、元の画素値の比率を維持するように、それぞれ２１０，２２０の画素値とする（ＲＧＢ＝２１０，２２０，２３０）。

【0053】

ＣＰＵ１０は、このように演算した各画素値を補間画素値（補正画素値）とし、ステップＳ２６において、フォーカス画像の飽和領域Ａの画素値を、演算した補間画素値（補正画素値）に置き換える。これにより、第１の実施の形態の撮像装置と同様に、全体的に明るく、かつ、高輝度の箇所でもその箇所本来の色で発色させた撮像画像（フォーカス画像）を得ることができる。

【0054】

一方、ＣＰＵ１０は、デフォーカス制御を行っても飽和領域Ａが飽和したままである場合、処理をステップＳ２７に進め、飽和領域Ａから所定の画素分離れた複数の点の画素の画素値をそれぞれ検出する。換言すると、ステップＳ２７では、ＣＰＵ１０が、飽和領域Ａの近傍の不飽和領域の複数の点の画素(近傍不飽和画素)の画素値をそれぞれ検出する。そして、ＣＰＵ１０は、処理をステップＳ２８に進め、各点の画素値から飽和領域Ａの画素値の比率を演算する。

【0055】

具体的に説明すると、図９の（ａ）の符号を付した図は、フォーカス画像の本来の輝度レベルを示している。これに対して、図９の（ｂ）の符号を付した図は、デフォーカス制御を行っても、デフォーカス画像の飽和領域Ａが飽和したままの状態で残っていることを示している。この場合、ＣＰＵ１０は、ステップＳ２７において、飽和領域Ａから所定の画素分離れた不飽和領域における、図１０に示す点ａのＲＧＢの各画素値、および点ｂのＲＧＢの各画素値を検出する。すなわち、図１０に示す点ｃは、飽和領域ＡのＲＧＢの各画素値を示している。図１０に示す点ｂは、飽和領域Ａの点ｃから所定の画素分離れた位置におけるＲＧＢの各画素値を示している。図１０に示す点ａは、不飽和領域の点ｂから、さらに所定の画素分離れた位置におけるＲＧＢの各画素値を示している。

【0056】

ＣＰＵ１０は、ステップＳ２７およびステップＳ２８において、点ａにおけるＲＧＢの各画素値Ｒａ，Ｇａ，Ｂａ、および点ｂにおけるＲＧＢの各画素値Ｒｂ，Ｇｂ，Ｂｂから、点ｃにおける各画素値Ｒｃ，Ｇｃ，Ｂｃの比率(＝飽和領域Ａの各画素の画素値の比率)を予測演算する。

【0057】

この予測演算により算出された点ｃにおける各画素値Ｒｃ，Ｇｃ，Ｂｃの比率が「３００：１００：２００」であったとすると、ＣＰＵ１０は、ステップＳ２５において、一番大きな画素値のＲｃの画素の画素値を２３０の画素値とする。これと共に、ＣＰＵ１０は、上述の「３００：１００：２００」の比率を維持すべく、Ｇｃの画素値として７７の値を算出し、Ｂｃの画素値として１５５の値を算出する。そして、ＣＰＵ１０は、ステップＳ２６において、フォーカス画像の飽和領域Ａの各画素の画素値を、このように算出したＲｃ，Ｇｃ，Ｂｃの２３０，７７，１５５の画素値である補正画素値に置き換える。

【0058】

これにより、デフォーカス制御を行うことで、依然として飽和領域が残っている場合でも、この飽和領域の各画素の画素値を、飽和領域近傍の不飽和領域の近傍不飽和画素で近似した画素の補正画素値に置換することができる。このため、第１の実施の形態の撮像装置と同様に、全体的に明るく、かつ、高輝度の箇所でもその箇所本来の色で発色させた撮像画像（フォーカス画像）を得ることができる。

【0059】

（第３の実施の形態）
次に、本発明の第３の実施の形態となる撮像装置の説明をする。この第３の実施の形態の撮像装置は、フォーカス画像（合焦画像）の飽和領域Ａの各画素を、各デフォーカス画像から選択した、より正確な画素（本来の色の画素）で補正可能としたものである。なお、この第３の実施の形態と上述の各実施の形態とでは、この点のみが異なる。このため、以下、差異の部分の説明のみ行い、重複した説明は省略する。

【0060】

図１１のフローチャートに、第３の実施の形態の撮像装置のＣＰＵ１０における色再現補正処理の流れを示す。ＣＰＵ１０は、静止画像の撮像開始操作が指定されたタイミングで、ＲＯＭ９に記憶されている画像処理プログラムに従って、図１１のフローチャートに示す処理を開始する。

【0061】

図１１のフローチャートにおいて、ステップＳ１〜ステップＳ７では、上述のようにＣＰＵ１０が、合焦画像（フォーカス画像）および複数枚のデフォーカス画像を取得する。そして、隣接するフレームの撮像画像と比較して、色相および彩度に最も変化がある最変化画像を選択する。また、合焦画像（フォーカス画像）の画素で、飽和状態となっている画素（ＲＧＢの各画素値が所定値以上の画素（第１条件））を検出する。これにより、処理は、ステップＳ３１に進む。

【0062】

ステップＳ３１では、ＣＰＵ１０が、最変化画像中の第１条件に対応する第１の検出画素と、最変化画像の前フレーム（フレームａ）画像中の第１条件に対応する第２の検出画素とを比較する。

【0063】

具体的には、図１２において、（ａ）の符号を付した図は、合焦画像（フォーカス画像）を示している。また、図１２の（ｂ）〜（ｆ）の符号を付した図は、デフォーカス画像を示している。この例は、デフォーカス画像として、第１〜第５のデフォーカス画像が順に取得された例である。また、図１２の（ｅ）の符号を付した図に示す第４のデフォーカス画像が、最変化画像として選択された例である。また、図１２の（ａ）の符号を付した図に示す、点線の四角で囲って示す３つの○は、フォーカス画像中における飽和画素を示している。さらに、図１２の（ｂ）〜（ｆ）の符号を付した図に示す３つの○は、フォーカス画像中における飽和画素と同じ位置の画素を示している。

【0064】

この図１２を用いてステップＳ３１の処理を説明すると、ＣＰＵ１０は、図１２の（ｅ）の符号を付した図に示す最変化画像中の、合焦画像の飽和画素と同じ位置の第１の検出画素と、図１２の（ｄ）の符号を付した図に示すフレームａの画像中の、合焦画像の飽和画素と同じ位置の第２の検出画素とを比較する。ＣＰＵ１０は、ステップＳ３２において、比較の結果、最変化画像中の第１の検出画素と、フレームａ中の第２の検出画素との間に、ＲＧＢの各画素値が大きく異なる画素が存在するか否かを判別する。

【0065】

ここで、図１４に、デフォーカスの度合いに応じて発生する色の広がりを模式的に示す。図１４の（ａ）の符号を付した図は、飽和状態となっている合焦画像（フォーカス画像）の各領域の画素を示している。図１４の（ｂ）の符号を付した図は、図１２の（ｂ）の符号を付した図に示す第１のデフォーカス画像の、デフォーカスの度合いに応じた色の広がりを示している。図１４の（ｃ）の符号を付した図は、図１２の（ｃ）の符号を付した図に示す第２のデフォーカス画像（フレームｂ）の、デフォーカスの度合いに応じた色の広がりを示している。図１４の（ｄ）の符号を付した図は、図１２の（ｄ）の符号を付した図に示す第３のデフォーカス画像（フレームａ）の、デフォーカスの度合いに応じた色の広がりを示している。図１４の（ｅ）の符号を付した図は、図１２の（ｅ）の符号を付した図に示す第４のデフォーカス画像（最変化画像）の、デフォーカスの度合いに応じた色の広がりを示している。なお、図１４の（ｂ）〜（ｅ）の各符号を付した各図中における、それぞれ二点鎖線で示す円は、飽和状態となっている合焦画像の隣接する２つの領域を示している。

【0066】

図１４の（ｂ）〜（ｅ）の各符号を付した図からわかるように、デフォーカスの度合いが大きくなるに連れ、各飽和画素に対応する色の広がりが大きくなる。そして、各飽和画素の色の広がりが大きくなるに連れ、隣接する各画素の広がった各色同士の重なり合う範囲が徐々に広くなる。このため、現在フレームよりも前フレームの方が、色同士の重なり合う範囲が狭い。従って、現在フレームと前フレームの同画素同士を比較すると、前フレームから現在フレームにかけて、色同士の重なり合いが広がった範囲を検出できる。ステップＳ３１およびステップＳ３２においては、このように色同士が重なり合う範囲が変化する最変化画像中の第１の検出画素と、フレームａ中の第２の検出画素とを比較し、ＲＧＢの各画素値が大きく異なる画素が存在するか否かを判別している。

【0067】

次に、ＲＧＢの各画素値が大きく異なる画素が存在しないものと判別した場合（ステップＳ３２：Ｎｏ）、ＣＰＵ１０は、処理を上述のステップＳ８に進める。ＣＰＵ１０は、ステップＳ８に処理を進めると、フォーカス画像と、ステップＳ６で選択した最変化画像とを比較し、最変化画像の各画素のうち、フォーカス画像の各画素と比較して、明度が下がり、かつ、彩度が上がった画素を検出する（第２条件）。

【0068】

次に、ＣＰＵ１０は、ステップＳ９において、上述の第１条件および第２条件を満たす画素を検出する。すなわち、第１条件を満たす画素とは、輝度レベルが飽和状態（または飽和に近い状態）となっており、本来の色が発色されていない可能性の高い画素である。また、第２の条件である、明度が下がり、かつ、彩度が上がった画素とは、デフォーカスにより、輝度レベルが下がることで、本来の色を発色するようになった画素である。このため、第１の条件および第２の条件を満たす画素を検出することで、フォーカス画像において、本来の色を発色していない画素（補正対象画素）を検出することができる。図４の例で説明すると、電源ボタン１５の発光箇所に対応する画素（＝電源マークに模られた透明部材に対応する画素）を検出することができる。

【0069】

次に、ＣＰＵ１０は、ステップＳ１０において、フォーカス画像の補正対象画素の色を、最変化画像の補正対象画素に対応する画素の色に変更する。すなわち、図４の例で説明すると、ＣＰＵ１０は、フォーカス画像の電源ボタン１５の電源マークに模られた透明部材に対応する画素の色を、例えば図４の（ｆ）の符号の図の電源ボタン１５の画素の色に変更する。これにより、図５の（ａ）の符号の図に示すように、輝度レベルが飽和状態となることで、フォーカス画像上において白色に表示されていた電源ボタン１５の色を、図５の（ｂ）の符号の図に示すように、電源ボタン１５本来の色（例えば黄緑色）で表示することができる。

【0070】

次に、ステップＳ３２において、最変化画像中の第１の検出画素と、フレームａ中の第２の検出画素との間に、ＲＧＢの各画素値が大きく異なる画素が存在するものと判別した場合（ステップＳ３２：Ｙｅｓ）、ＣＰＵ１０は、処理をステップＳ３３に進める。ステップＳ３３では、ＣＰＵ１０が、図１２の（ｄ）の符号を付した図、および図１４の（ｄ）の符号を付した図の斜線の領域に示すように、フレームａの、ＲＧＢの各画素値が大きく異なる画素を第３の検出画素とする。図１４の（ｄ）の符号を付した図において、点線の円は、図１４の（ｅ）の符号を付した図に示す最変化画像の色の広がりの範囲を示している。この最変化画像の色の広がりの範囲と、第３のデフォーカス画像の色の広がりの範囲とを見比べてわかるように、最変化画像の色の広がりの範囲と、第３のデフォーカス画像の色の広がりの範囲との差の領域に対応する画素が、ＲＧＢの各画素値が大きく異なる第３の検出画素として検出される。また、ＣＰＵ１０は、図１２の（ｃ）の符号を付した図に示す、最変化画像の前々フレームであるフレームｂ中における、第３の検出画素と同位置の画素を第４の検出画素とする。そして、ＣＰＵ１０は、第３の検出画素と第４の検出画素を比較し、ステップＳ３４において、比較の結果、第３の検出画素と第４の検出画素との間に、ＲＧＢの各画素値が大きく異なる画素が存在するか否かを判別する。

【0071】

ＲＧＢの各画素値が大きく異なる画素が存在するものと判別した場合（ステップＳ３４：Ｙｅｓ）、ＣＰＵ１０は、処理をステップＳ３５に進める。ステップＳ３５では、ＣＰＵ１０が、例えば図１２の（ｃ）の符号を付した図、および図１４の（ｃ）の符号を付した図の斜線で示す領域のように、ＲＧＢの各画素値が大きく異なる画素を第５の検出画素とする。なお、図１４の（ｃ）の符号を付した図において、点線の円は、図１４の（ｄ）の符号を付した図に示す第３のデフォーカス画像の色の広がりの範囲を示している。この第３のデフォーカス画像の色の広がりの範囲と、第２のデフォーカス画像の色の広がりの範囲とを見比べてわかるように、第３のデフォーカス画像の色の広がりの範囲と、第２のデフォーカス画像の色の広がりの範囲との差の領域に対応する画素が、ＲＧＢの各画素値が大きく異なる第５の検出画素として検出される。ＣＰＵ１０は、図１２の（ａ）および（ｂ）の符号を付した図に示すように、合焦画像の第５の検出画素と同位置の画素に、フレームｂの前フレーム（第１のフォーカス画像）の同位置の画素の値を当て嵌めて、ステップＳ３６に処理を進める。

【0072】

すなわち、各デフォーカス画像は、デフォーカスの度合いが大きくなるほど、色同士が重なり合う範囲が大きくなる。反対に、合焦画像に対して時間的に近い時間に撮像されたデフォーカス画像ほど、色同士が重なり合う範囲が小さいため、各位置の画素が正しい色で発色している可能性が高い。このため、ＣＰＵ１０は、第３の検出画素と第４の検出画素との間における、ＲＧＢの各画素値が大きく異なる第５の検出画素と同位置の合焦画像の画素を、色同士の重なりが少なく、本来の色が発色している可能性の高い第１のデフォーカス画像の第５の検出画素と同位置の画素で補正する（色の正確性を重視）。これにより、不正確な色で補正される可能性のある、合焦画像の第５の検出画素と同位置の画素を、正確な画素（本来の色の画素）で補正できる。

【0073】

次に、ステップＳ３６では、ＣＰＵ１０が、図１２の（ａ）および（ｃ）の符号を付した図に示すように、合焦画像の第５の検出画素と同位置の画素以外の画素に、フレームｂ（第２のデフォーカス画像）の同位置の画素の値を当て嵌めて、処理をステップＳ３７に進める。すなわち、フレームｂ（第２のデフォーカス画像）の第５の検出画素と同位置の画素以外の画素は、第５の検出画素とは異なり、ＲＧＢの各画素値が大きく異なる画素ではない。ただ、第５の検出画素に近い画素である。また、各デフォーカス画像の発色の濃さは、デフォーカス画像の度合いが大きくなるに連れ、徐々に濃くなる傾向にある。このため、ＣＰＵ１０は、第５の検出画素に近い位置の画素に対応する合焦画像の画素を補正処理する場合、第５の検出画素に対応する画素を選択した第１のフォーカス画像に隣接する第２のフォーカス画像（フレームｂ）から、第５の検出画素と同位置の画素以外の画素を選択し、対応する合焦画像の画素に当て嵌める。これにより、色の濃さと正確性を共に備えた画素で補正処理を行うことができる。

【0074】

次に、ステップＳ３７では、ＣＰＵ１０が、図１２の（ａ）および（ｅ）の符号を付した図に示すように、合焦画像の第１の条件の画素中の第３の検出画素（第３のデフォーカス画像）と同位置の画素以外の画素に、最変化画像の値を当て嵌める。すなわち、合焦画像の各画素において、「第５の検出画素に対応する位置の画素」と、「第３の検出画素と同位置の画素以外の画素」との位置は、離れている。このため、ＣＰＵ１０は、発色の濃さを優先し、合焦画像の第３の検出画素と同位置の画素以外の画素に、最変化画像の値、そのものを用いて処理を行う。これにより、図１１のフローチャートの処理が終了する。

【0075】

一方、ステップＳ３４において、第３の検出画素と第４の検出画素との間に、ＲＧＢの各画素値が大きく異なる画素が存在しないものと判別した場合（ステップＳ３４：Ｎｏ）、ＣＰＵ１０は、処理をステップＳ３８に進める。ステップＳ３８では、ＣＰＵ１０が、図１３の（ａ）および（ｃ）の符号を付した図に示すように、合焦画像の第３の検出画素と同位置の画素に、フレームｂ（第２のデフォーカス画像）の同位置の画素の値を当て嵌めて、処理をステップＳ３９に進める。これにより、補正する画素の色の濃さと正確性を兼ね備えた補正処理を行うことができる。

【0076】

ステップＳ３９では、ＣＰＵ１０が、図１３の（ａ）および（ｅ）の符号を付した図に示すように、合焦画像の第１の条件の画素中の第３の検出画素と同位置の画素以外の画素に、最変化画像の同位置の画素の値を当て嵌める。すなわち、この場合、ＣＰＵ１０は、発色の濃さを優先し、合焦画像の第３の検出画素と同位置の画素以外の画素に、最変化画像の値、そのものを用いて処理を行い、図１１のフローチャートの処理が終了する。これにより、発色性を優先した補正を行うことができる。

【0077】

以上の説明から明らかなように、第３の実施の形態となる撮像装置は、隣接するフレームのデフォーカス画像の色相および彩度に最も変化があるデフォーカス画像（最変化画像）を検出する。合焦画像の補正対象画素と同位置となる最変化画像の画素と、最変化画像の前フレームのデフォーカス画像の、補正対象画素と同位置の画素との間で、ＲＧＢの各画素値が大きく異なる画素の有無を検出する（ステップＳ３２）。

【0078】

画素値が大きく異なる画素が存在する場合、画素値が大きく異なる画素と、最変化画像の前々フレームのデフォーカス画像の同位置の画素とを比較し、ＲＧＢの各画素値が大きく異なる画素の有無を検出する（ステップＳ３４）。

【0079】

画素値が大きく異なる画素が存在する場合、画素値が大きく異なる画素と同位置の合焦画像の画素を、画素値が大きく異なる画素が存在するデフォーカス画像の前フレームのデフォーカス画像の、画素値が大きく異なる画素と同位置の画素で補正する（ステップＳ３５：正確性を優先）。なお、「画素値が大きく異なる画素が存在するデフォーカス画像の前フレーム」の概念は、１フレーム前のデフォーカス画像でもよいし、複数フレーム前のデフォーカス画像でもよいものと理解されたい。

【0080】

また、各デフォーカス画像間で画素値が大きく異なる画素に近い位置の画素と同位置となる合焦画像の補正対象画素に対しては、画素値が大きく異なる画素が存在するデフォーカス画像の同位置の画素で補正する（ステップＳ３６：正確性および発色性を共に備えた画素を選択）。

【0081】

また、各デフォーカス画像間で画素値が大きく異なる画素から遠い位置の画素と同位置となる合焦画像の補正対象画素に対しては、隣接するフレームのデフォーカス画像の色相および彩度に最も変化があるデフォーカス画像（最変化画像）の同位置の画素で補正する（発色性を優先：ステップＳ３７）。

【0082】

また、画素値が大きく異なる画素が存在しない場合、合焦画像の補正対象画素と同位置となる最変化画像の画素と、最変化画像の前フレームのデフォーカス画像の、補正対象画素と同位置の画素との間で、ＲＧＢの各画素値が大きく異なるものと判別された画素と同位置の画素となる、最変化画像の前々フレームのデフォーカス画像の画素で、合焦画像の同位置の画素を補正する（ステップＳ３８：正確性および発色性を共に備えた画素を選択）。

【0083】

また、合焦画像の補正対象画素と同位置となる最変化画像の画素と、最変化画像の前フレームのデフォーカス画像の、補正対象画素と同位置の画素との間で、ＲＧＢの各画素値が大きく異なるものと判別された画素以外の画素と同位置の、最変化画像の画素を用いて、合焦画像の同位置の画素を補正する（ステップＳ３９：発色性を優先）。

【0084】

これにより、各デフォーカス画像の中から、最適な画素（正確性を優先した画素、発色性を優先した画素等）を選択的に用いて、合焦画像の補正対象画素の補正を行うことができる。このため、合焦画像の補正対象画素を、より正確な色で表示できる他、上述の各実施の形態と同様の効果を得ることができる。

【0085】

上述の各実施の形態は、例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な各実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。各実施の形態および各実施の形態の変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0086】

１ 撮像レンズ
２ レンズ駆動機構
３ アイリス機構
４ イメージセンサ
５ 相関二重サンプリング回路（ＣＤＳ）
６ アナログ可変増幅器
７ 信号処理部
８ ＲＡＭ
９ ＲＯＭ
１０ ＣＰＵ
１５ 電源ボタン
２１ 撮像部
２２ 飽和画素検出部
２３ 色補正部
２４ 色検出部
３１ 選択部
３２ 色変化画素検出部
３３ 補正対象検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】