特許 5883654 画像信号処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5883654

(24)【登録日】2016年2月12日

(45)【発行日】2016年3月15日

(54)【発明の名称】画像信号処理装置

(51)【国際特許分類】

   G02B 7/28 20060101AFI20160301BHJP

   G03B 13/36 20060101ALI20160301BHJP

   G02B 7/36 20060101ALI20160301BHJP

   H04N 5/232 20060101ALI20160301BHJP

【ＦＩ】

   G02B7/28 N

   G03B13/36

   G02B7/36

   H04N5/232 H

【請求項の数】8

【全頁数】14

(21)【出願番号】特願2012-885(P2012-885)

(22)【出願日】2012年1月6日

(65)【公開番号】特開2013-140297(P2013-140297A)

(43)【公開日】2013年7月18日

【審査請求日】2014年9月12日

(73)【特許権者】

【識別番号】000153443

【氏名又は名称】株式会社 日立産業制御ソリューションズ

(74)【代理人】

【識別番号】100100310

【弁理士】

【氏名又は名称】井上 学

(72)【発明者】

【氏名】大渕 麻莉

(72)【発明者】

【氏名】塩川 淳司

【審査官】 辻本 寛司

(56)【参考文献】

【文献】 特開平０８−０５４５５８（ＪＰ，Ａ）

【文献】 特開２００７−０２５５５９（ＪＰ，Ａ）

【文献】 特開２００６−２１５３９１（ＪＰ，Ａ）

【文献】 特開２０１０−１１７６１６（ＪＰ，Ａ）

【文献】 特開２０１０−０９６７９０（ＪＰ，Ａ）

【文献】 特開２００４−３０９７３９（ＪＰ，Ａ）

【文献】 特開２０１０−２８６７９１（ＪＰ，Ａ）

【文献】 特開２０１１−１５０２８１（ＪＰ，Ａ）

【文献】 特開２００７−０６５０４８（ＪＰ，Ａ）

【文献】 特開２００７−２８６４７４（ＪＰ，Ａ）

【文献】 特開２０１１−０４３７７６（ＪＰ，Ａ）

【文献】 特開２００２−１８２１０６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０２Ｂ ７／２８

Ｇ０２Ｂ ７／３６

Ｇ０３Ｂ １３／３６

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

フォーカスレンズを備える撮像部と、
焦点評価値を算出する対象となる評価領域から所定値以上の輝度が存在する領域を除外して、前記評価領域の前記焦点評価値を算出する評価値算出部と、
前記焦点評価値に基づいて合焦となるように前記フォーカスレンズを移動するシステム制御部と、を備え、
前記システム制御部は、前記評価領域における前記所定値以上の輝度が存在する領域が閾値以上の場合に、前記評価領域を拡大させ、拡大した評価領域における前記所定値以上の輝度が存在する領域が閾値以上の場合に前記フォーカスレンズを予め設定した所定の位置に移動する、
ことを特徴とする画像信号処理装置。

【請求項2】

フォーカスレンズを備える撮像部と、
焦点評価値を算出する対象となる評価領域を分割した分割領域から所定値以上の輝度が存在する分割領域を除外して、前記評価領域の前記焦点評価値を算出する評価値算出部と、
前記焦点評価値に基づいて合焦となるように前記フォーカスレンズを移動するシステム制御部と、を備え、
前記システム制御部は、前記評価領域における前記所定値以上の輝度が存在する分割領域が閾値以上の場合に前記評価領域の分割数を増加させ、分割数が増加した前記評価領域における前記所定値以上の輝度が存在する分割領域が閾値以上の場合に前記フォーカスレンズを予め設定した所定の位置に移動することを特徴とする画像信号処理装置。

【請求項3】

請求項２に記載の画像信号処理装置において、
前記評価値算出部は、第一の閾値を超える輝度値を有する画素の数が第二の閾値を超えた前記分割領域を高輝度領域とし、
前記システム制御部は、前記第一の閾値を映像信号の輝度分布に応じて制御すること、を特徴とする画像信号処理装置。

【請求項4】

請求項１乃至３のいずれかに記載の画像信号処理装置であって、
前記システム制御部は、フォーカスレンズを所定の位置に移動制御したのち、所定のタイミングで再びレンズ制御を開始することを特徴とする画像信号処理装置。

【請求項5】

請求項４記載の画像信号処理装置であって、
前記所定のタイミングとは、映像信号の輝度分布が所定の量以上変化した場合であることを特徴とする画像信号処理装置。

【請求項6】

請求項４記載の画像信号処理装置であって、
前記所定のタイミングとは、所定時間が経過した場合であることを特徴とする画像信号処理装置。

【請求項7】

請求項４記載の画像信号処理装置であって、
加速度を検知する加速度検知部を備え、
前記所定のタイミングとは、前記加速度検知部から得られる情報が所定の量以上変化した場合であること、を特徴とする画像信号処理装置。

【請求項8】

請求項１乃至７のいずれかに記載の画像信号処理装置であって、
前記システム制御部によって移動制御される前記フォーカスレンズの所定の位置は、撮影モードに応じて切り替わることを特徴とする画像信号処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像信号処理装置に関する。

【背景技術】

【0002】

本技術分野の背景技術として、例えば、特許文献１がある。該公報には、「[課題] 点光源がある場面でも合焦位置を正しく且つ容易に判定して合焦すること。[解決手段] 互いに大きさが異なる複数の焦点評価値算出エリアを画像に対して設定し、レンズドライバ５５によりフォーカスレンズ５２を移動させながら、各焦点評価値算出エリアごとに画像のコントラストの焦点評価値を算出する焦点評価値算出手段、フォーカスレンズ５２の合焦位置を判定するための合焦判定エリアを、画像における点光源の有無に基づいて複数の焦点評価値算出エリアから選択するエリア選択手段、および、合焦判定エリアにおける焦点評価値に基づいてフォーカスレンズ５２の合焦位置を判定し、レンズドライバ５５により合焦位置にフォーカスレンズ５２を移動させる合焦制御手段としてＣＰＵ７０を備えた。」と記載されている（要約参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０−２８６７９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１では、点光源下におけるＡＦ動作性能を向上する手法が述べられているが、本手法を適用しても点光源の数が多いシーンや高輝度の被写体が画面の大部分に存在するようなシーンにおいて、点光源が存在する領域の信号を用いて焦点評価値を算出し、該評価値を用いてＡＦ制御することがあり、その結果ＡＦ制御が不安定になる可能性がある。

【0005】

そこで、本発明は、ＡＦ制御、特に点光源のあるシーンに対応したＡＦ制御において、高輝度の領域が極度に多い被写体においても制御が不安定になることを抑制した画像信号処理装置の提供するものである。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本願において開示される発明のうち代表的なものの概要を簡単に説明すれば次の通りである。
（１）フォーカスレンズを備える撮像手段と、前記フォーカスレンズを合焦点に移動させるために用いる焦点評価値を算出する対象となる領域内から所定値以上の輝度が存在する領域を特定し、前記所定値以上の輝度が存在する領域を焦点評価値算出対象から除外して焦点評価値を算出する評価値算出手段と、前記評価値算出手段により算出した焦点評価値に基づいて合焦となるように制御するシステム制御部と、を備え、前記システム制御部は、前記焦点評価値を算出する対象となる領域に対する前記所定値以上の輝度が存在する領域の割合が閾値以上の場合に、前記フォーカスレンズを予め設定した所定の位置に移動制御することを特徴とする画像信号処理装置である。

【発明の効果】

【0007】

本発明によれば、点光源が多くあるシーンにおいてもＡＦ制御が不安定になることを抑制した画像信号処理装置を提供することができる。

【図面の簡単な説明】

【0008】

【図1】本発明における基本構成の一例を説明する図である。

【図2】点光源が存在しない一般的な被写体におけるコントラストの強弱を判定するための焦点評価値の一例を説明する図である。

【図3】点光源が存在する被写体における焦点評価値の一例を説明する図である。

【図4】画面内に設定された領域の一例を説明する図である。

【図5】点光源が多いシーンでの輝度対応ＡＦ制御の一例を説明する図である。

【図6】点光源が多いシーンでの輝度対応ＡＦ制御の処理の流れの一例を示す図である。

【図7】ステップＳ６０２（図６）の領域設定・点光源検出処理の詳細な流れの一例を示す図である。

【図8】光源の少ない夜間のシーンなどのコントラストの低いシーンにおけるＡＦ制御の一例を説明する図である。

【図9】光源の少ない夜間のシーンなどのコントラストの低いシーンでのＡＦ制御の処理の流れの一例を示す図である。

【図10】光源の少ない夜間のシーンなどのコントラストの低いシーンでの輝度対応ＡＦ制御の処理の流れの一例を示す図である。

【図11】フォーカスレンズ位置を所定の位置に制御後、輝度分布の変化を検出した場合にレンズ制御を再開する処理の流れの一例を示す図である。

【図12】フォーカスレンズを所定の位置に制御後、所定の時間が経過した場合にレンズ制御を再開する処理の流れの一例を示す図である。

【図13】フォーカスレンズを所定の位置に制御後、所定の加速度が検出された場合にレンズ制御を再開する処理の流れの一例を示す図である。

【図14】輝度検出部１０４（図１）において点光源を検出する際に用いる第一の閾値（閾値１）を映像信号の輝度分布に応じて制御する処理の流れの一例を示す図である。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態を図面を用いて説明する。

【0010】

（１）システム構成
ここでは、点光源の数が多いなどの高輝度画素が多いシーンにおいても高い安定性のＡＦ制御を実現する手段のシステム構成の一例を図を用いて説明する。

【0011】

図１は、本発明における基本構成の一例を説明する図である。撮像部１０１は、被写体からの入射光の光量を調整する絞りＤ１０１、該絞りを通った光の焦点を調節するためのフォーカスレンズＤ１０２、該フォーカスレンズを通った光を光電変換し画像信号として出力する撮像素子Ｄ１０３を適宜用いて構成される。

【0012】

領域設定部１０２は、システム制御部１０８からの命令で、焦点評価値を算出する対象となる領域を、任意の大きさ、位置に設定する。分割領域設定部１０３は、システム制御部１０８からの命令で、領域設定部１０２が設定した領域内に任意の大きさ及び縦横任意の数で領域を設定する。輝度検出部１０４は、システム制御部１０８からの命令で、分割領域設定部１０３が設定した領域ごとに点光源の有無を検出する。評価値算出部１０５は、システム制御部１０８からの命令で、輝度検出部１０４から得た情報を用いて、焦点評価値算出対象領域から点光源が存在する領域を除外した領域の画像信号を用いて焦点評価値を算出する。焦点評価値とは、例えば、指定された領域の画像信号の輪郭部分の強さを検出するための、画像信号のラインごとに高周波成分を積算した信号である。

【0013】

画像処理部１０６は、システム制御部１０８からの命令で、画像信号にノイズ除去、ガンマ補正、輪郭強調、フィルタ処理、ズーム処理、手ぶれ補正、画像認識などの画像信号処理及び、ＴＶやストレージなどの出力機器の信号フォーマットに変換する出力インタフェース処理を行う。出力インタフェース処理とは、例えば、ＮＴＳＣやＰＡＬのビデオ出力に変換するものであり、例えば、ＨＤＭＩ信号に変換するものであり、例えば、ネットワーク伝送のために所定の信号に変換するものである。外部装置１０７は、例えば、各種設定を保存するために用いるＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）や、角速度センサや加速度センサなどの各種センサ、フラッシュメモリなどの外部装置である。システム制御部１０８は、撮像部１０１、領域設定部１０２、領域分割部１０３、輝度検出部１０４、評価値算出部１０５、画像処理部１０６、外部装置１０７を適宜制御する。

【0014】

ＡＦ部１０９は、ＡＦ制御に必要なブロック群を示す。以上の構成により、輝度検出部１０４が、点光源が存在する領域を特定し、特定結果を用いて評価値算出部１０５が焦点評価値算出対象領域から点光源が存在する領域を除外して焦点評価値を算出することができるため、点光源のあるシーンにおいても精度よくＡＦを実現することができる。さらに、システム制御部１０８が、輝度検出部１０４によって検出された点光源領域の総面積が所定の面積を超えた場合に、フォーカスレンズを所定の位置に移動制御することによって、高輝度画素の多いシーンにおいても安定したＡＦ制御を実現することができる。
（２）焦点評価値の算出について
図２は、点光源が存在しない一般的な被写体におけるコントラストの強弱を判定するための焦点評価値の一例を説明する図である。横軸はフォーカスレンズの位置を表わし、縦軸は焦点評価値を表わす。以下では、被写体に焦点が合うフォーカスレンズ位置を合焦点と呼ぶ。一般的な被写体では、フォーカスレンズが合焦点に近づくほど輪郭部分が強くなるため焦点評価値のレベルが増加し、離れるほど輪郭部分が弱くなり減少する。そのため、焦点評価値のピーク位置にフォーカスレンズを移動制御することで、正確に被写体に合焦させることができる。

【0015】

図３は、点光源が存在する被写体における焦点評価値の一例を説明する図である。本来の合焦点は図の（Ａ）に示すフォーカスレンズ位置だが、図３では（Ａ）地点の焦点評価値がピークになっていない。これは、点光源は合焦点から遠いほどぼけて大きく見えるため、合焦点から遠いほど輪郭部分が強くなり、その結果焦点評価値が合焦点よりも大きな値となってしまうためである。そのため、点光源が存在する被写体に対して焦点評価値が最大の位置にフォーカスレンズを動かす従来のＡＦ制御を行うと（Ｂ）の偽合焦点を合焦点としてフォーカスレンズを停止させることになる。偽合焦点とは、本実施例では、本来の合焦点ではないにもかかわらずＡＦ制御によってフォーカスレンズが停止するフォーカスレンズ位置をいう。フォーカスレンズが偽合焦点で止まることにより、いわゆるピンボケが発生する。

【0016】

図４は、画面内に設定された焦点評価値算出対象領域及び分割領域の一例を説明する図である。４０１で示す一番外側の枠は、画面の外枠を示す。４０２で示す枠は、焦点評価値算出対象領域であり、該領域は合焦させたい被写体ではなく背景に合焦してしまういわゆる後ピンを防ぐために、画面よりも小さくなるよう設定するのが望ましいが、画面の外枠と同じ大きさやそれ以上の大きさにしても構わない。４０３は、４０２の枠内に分割領域設定部１０３が設定した領域のひとつを示す。本実施例では、４０２の枠を縦横に八分割した場合を例に説明する。なお、分割数はこれに限られるものではなく、種々変更可能であり、例えば、分割数を、４０２の枠内の画素と同じにすれば、画素単位で点光源の検出を実現することができる。なお、分割領域設定部１０３をハードウェアで実現する場合、分割数が多すぎるとハードウェアコストが増加するが、性能向上のために分割数を増やしても構わないし、処理コスト削減のために分割数を減らしても構わない。
（３）点光源が多いシーンでの輝度対応ＡＦ制御
図５及び図６を用いて、点光源が多いシーンでの輝度対応ＡＦ制御について説明する。図５は、点光源が多いシーンでの輝度対応ＡＦ制御の一例を説明する図である。５０１で示す枠は、４０２の枠と同様に、画面内に設定された焦点評価値算出対象領域である。５０２は、５０１の枠内に存在する点光源を示す。この状態において、分割領域設定部１０３により分割された領域のうち、輝度検出部１０４によって点光源があると判定された領域は、例えば５０３の網掛けで示した通りになる。

【0017】

図６は、点光源が多いシーンでの輝度対応ＡＦ制御の処理の流れの一例を示す図である。図６の処理は、システム制御部１０８によって実行される。本手法は、領域設定部１０２が設定した焦点評価値算出対象領域内に、分割領域設定部１０３が任意の数の領域を設定し、輝度検出部１０４が各領域内の点光源の有無を判定し、点光源ありと判定された領域の面積が予め設定した所定の閾値よりも大きい場合にフォーカスレンズの位置を所定の位置に移動制御するものである。ＡＦ制御が開始されると、ステップＳ６０１で、システム制御部１０８は、焦点評価値算出対象領域内に設定する分割領域の数を取得する。このとき、領域の数はＥＥＰＲＯＭ（外部装置１０７）などに縦方向横方向それぞれの値を保存し、それを用いても構わないし、定数を用いても構わない。また、画面内に設定する分割領域の総数を、ｎ０として保持しておく。ステップＳ６０２で、システム制御部１０８は、領域設定部１０２及び分割領域設定部１０３が画面内に例えば図４のように領域を設定するよう命令し、輝度検出部１０４が、設定された分割領域ごとに点光源の有無を検出するよう命令する。ステップＳ６０２の処理の詳細については後述する。ステップＳ６０３では、システム制御部１０８は、輝度検出部１０４から、点光源が存在する領域に関する情報を取得する。このとき、点光源が存在する領域数をｎ１として保持しておく。

【0018】

ステップＳ６０４では、取得した点光源が存在する領域数ｎ１と閾値を比較し、ｎ１の方が大きい場合に、焦点評価値算出対象領域から除外する領域が多くＡＦ制御に十分な焦点評価値が得られないものとし、ステップＳ６０５に遷移する。このとき、閾値はＥＥＰＲＯＭなどに値を保存し、それを用いても構わない。また、領域数ｎ１ではなく、ｎ１を用いて算出した高輝度画素数と閾値を比較しても構わない。ステップＳ６０５では、フォーカスレンズを所定の位置（ｄ０）に移動制御し、処理を終了する。このとき、所定の位置とはＥＥＰＲＯＭなどにあらかじめ設定した値を用いても構わない。例えば、至近距離に被写体があることが稀である環境で本画像信号処理装置を用いる場合は、装置から数メートルの位置で焦点が合うようなフォーカスレンズ位置をｄ０とするなど、環境に応じてｄ０の値を調整可能にすると良い。

【0019】

ステップＳ６０４でｎ１が閾値以下であると判定された場合は、焦点評価値算出対象領域から高輝度領域を除外してもＡＦ制御に十分な焦点評価値が得られるものとし、ステップＳ６０６に遷移する。ステップＳ６０６では、システム制御部１０８は、ステップＳ６０３で得た点光源存在領域情報を評価値算出部１０５に設定し、焦点評価値算出対象から点光源が存在する領域を除外して焦点評価値を算出するよう命令する。ステップＳ６０７では、ステップＳ６０６で算出した焦点評価値を用いてフォーカスレンズを一定量制御する。ステップＳ６０８では、フォーカスレンズが合焦点にあるか否かを判定し、合焦点にある場合は処理を終了する。合焦点に無い場合は、ステップＳ６０２に戻り、一連の処理を行う。なお、ステップＳ６０８の判定で、合焦していないと判断された場合に、ステップＳ６０２ではなくステップＳ６０３に遷移するよう制御すると、合焦するまで、焦点評価値を算出する対象となる領域の数は一定となるため、一度フォーカスレンズの制御が開始したら、合焦点でフォーカスレンズが停止するまで、先の図２で示したような安定した高精度の焦点評価値を得ることができる。シーンの変化への追従性を重視してステップＳ６０２に遷移するか、焦点評価値の安定性を重視してステップＳ６０３に遷移するかは、本画像信号処理装置を使用する環境に応じて決定すれば良い。

【0020】

本実施例では、点光源が存在する領域を焦点評価値算出対象から除外する輝度対応ＡＦ制御において、除外する対象となる領域が増大しＡＦ制御に十分な焦点評価値を得ることができない場合に、フォーカスレンズを所定の位置に制御することによってＡＦ制御が不安定になることを防ぐことができる。以上の処理により、点光源が多いシーンにおいても安定した輝度対応ＡＦ制御を実現することができる。

【0021】

なお、本実施例では、点光源が存在する領域ｎ１が閾値より大きいと、直ちにステップＳ６０５に遷移する例を示したが、この段階でステップＳ６０２に戻り、領域設定を広くしたり分割数を多くすることによって、焦点評価値算出対象領域に対する点光源が存在する領域の割合が小さくなるように処理がなされた後、当該処理後も閾値以下とならない場合に、ステップＳ６０５に遷移するようにしても構わない。また、ここで用いられる閾値は予め設定された領域の数に限らず、焦点評価値算出対象領域に対する許容しうる点光源が存在する領域の割合や、許容しうる点光源の総面積を閾値として用いても構わず、種々設定可能である。

【0022】

図７は、ステップＳ６０２の領域設定・点光源検出処理の詳細な流れの一例を示す図である。ステップＳ７０１では、領域設定部１０２が画面内にシステム制御部１０８によって設定された情報を用いて、例えば図４のように領域を設定する。ステップＳ７０２では、輝度検出部１０４が、画素ごとに信号レベルを閾値１と比較し、閾値１よりも値が大きければ該画素は点光源の一部であると判定し、ステップＳ７０３で高輝度画素カウンタを１インクリメントする。このとき、高輝度画素カウンタはステップＳ７０１で設定した領域ごとに用意しておき、各画素が所属する領域の高輝度画素カウンタをインクリメントする。ステップＳ７０２で信号レベルが閾値１よりも小さければステップＳ７０４の判定を行う。ステップＳ７０４では、輝度検出部１０４が、ステップＳ７０１で設定した全ての領域の画素についてステップＳ７０２の判定をしたか否かを判定し、していない場合はステップＳ７０２に戻り、一連の処理を行う。全ての画素について判定が完了している場合は、ステップＳ７０５に進む。ステップＳ７０５では、輝度検出部１０４が、領域ごとの高輝度画素カウンタの値と閾値２の値を比較し、カウンタの値が閾値２よりも大きければステップＳ７０６に進む。ステップＳ７０６では、輝度検出部１０４が、注目領域に点光源が存在すると判定する。ステップＳ７０５で、カウンタの値が閾値２よりも小さければステップＳ７０７に進む。ステップＳ７０７では、輝度検出部１０４が、全ての領域についてステップＳ７０５の判定をしたか否かを判定し、していない場合にはステップＳ７０５に戻り、一連の処理を行う。全ての領域について判定が完了している場合は処理を終了する。なお、前記閾値１及び前記閾値２はＥＥＰＲＯＭ（外部装置１０７）などに値を保存し、それを用いても構わない。また、ステップＳ７０２の判定で、注目画素のみの信号レベルを閾値１と比較するのではなく、周辺画素との重みづけ平均によって算出した値を閾値１と比較しても構わない。これにより、キズやノイズの影響を軽減することができる。本実施例では、図７の処理をハードウェアで行うことを想定しているが、ソフトウェアで行ってももちろん構わない。以上の処理により、領域ごとに点光源の有無を判定し、点光源が存在する領域を特定することができる。
（４）精度の良いＡＦ制御に不十分な焦点評価値が算出された場合のＡＦ制御
図８、図９、図１０を用いて、精度の良いＡＦ制御に不十分な焦点評価値が算出された場合のＡＦ制御について説明する。
図８は、光源の少ない夜間のシーンなどのコントラストの低いシーンにおけるＡＦ制御の一例を説明する図である。８０１で示す枠は、４０２の枠と同様に、画面内に設定された焦点評価値算出対象領域である。８０２は被写体であり、夜間などのコントラストの低いシーンを想定している。図８のようなコントラストの低いシーンでは、精度の良いＡＦ制御に十分な焦点評価値を得ることが難しく、結果としてフォーカスレンズ制御が不安定になることがある。

【0023】

図９は、光源の少ない夜間のシーンなどのコントラストの低いシーンでのＡＦ制御の処理の流れの一例を示す図である。図９の処理は、システム制御部１０８によって実行される。本手法は、領域設定部１０２が設定した焦点評価値算出対象領域内の信号を用いて焦点評価値を算出し、算出した焦点評価値が閾値よりも小さい場合にフォーカスレンズを所定の位置に移動制御するものである。ＡＦ制御が開始されると、ステップＳ９０１で、システム制御部１０８は、焦点評価値算出対象領域を設定する位置及び大きさを取得する。このとき、領域の位置及び大きさはＥＥＰＲＯＭ（外部装置１０７）などに値を保存し、それを用いても構わないし、定数を用いても構わない。ステップＳ９０２で、システム制御部１０８は、領域設定部１０２が画面内に焦点評価値算出対象領域を設定するよう命令する。ステップＳ９０３では、システム制御部１０８は、焦点評価値算出対象領域の信号を用いて焦点評価値を算出するよう命令する。ステップＳ９０４では、ステップＳ９０３で算出した焦点評価値と閾値を比較し、評価値の方が小さい場合にステップＳ９０５に遷移する。このとき、閾値はＥＥＰＲＯＭなどに値を保存し、それを用いても構わない。ステップＳ９０５では、フォーカスレンズを所定の位置（ｄ０）に移動制御し、処理を終了する。このとき、所定の位置とはＥＥＰＲＯＭなどにあらかじめ設定した値を用いても構わない。例えば、至近距離に被写体があることが稀である環境で本画像信号処理装置を用いる場合は、装置から数メートルの位置で焦点が合うようなフォーカスレンズ位置をｄ０とするなど、環境に応じてｄ０の値を調整可能にすると良い。ステップＳ９０４で評価値が閾値以上であると判定された場合はステップＳ９０６に遷移する。ステップＳ９０６、ステップＳ９０７の処理は、ステップＳ６０７、ステップＳ６０８と同様なので省略する。本実施例では、被写体のコントラストが低い場合など、精度の良いＡＦ制御に十分な焦点評価値を得られない場合に、フォーカスレンズを所定の位置に移動制御することによってＡＦ制御が不安定になることを防ぐことができる。以上の処理により、コントラストが低いシーンにおいても安定したＡＦ制御を実現することができる。

【0024】

図１０は、光源の少ない夜間のシーンなどのコントラストの低いシーンでの輝度対応ＡＦ制御の処理の流れの一例を示す図である。図１０の処理は、システム制御部１０８によって実行される。本手法は、領域設定部１０２が設定した焦点評価値算出対象領域内に、分割領域設定部１０３が任意の数の領域を設定し、輝度検出部１０４が各領域内の点光源の有無を判定し、評価値算出部１０５が、点光源があると判定された領域を焦点評価値算出対象から除外して焦点評価値を算出し、算出した焦点評価値が閾値よりも小さい場合にフォーカスレンズを所定の位置に移動制御するものである。ステップＳ１００１からステップＳ１００３は、ステップＳ６０１からステップＳ６０３までと同様の処理を行なう。ステップＳ１００４では、システム制御部１０８は、ステップＳ１００３で得た点光源存在領域情報を評価値算出部１０５に設定し、焦点評価値算出対象から点光源が存在する領域を除外して輝度対応焦点評価値を算出するよう命令する。ステップＳ１００５では、ステップＳ１００４で算出した輝度対応焦点評価値と閾値を比較し、評価値の方が小さい場合にステップＳ１００６に遷移する。このとき、閾値はＥＥＰＲＯＭなどに値を保存し、それを用いても構わない。ステップＳ１００６では、フォーカスレンズを所定の位置（ｄ０）に移動制御し、処理を終了する。このとき、所定の位置とはＥＥＰＲＯＭなどにあらかじめ設定した値を用いても構わない。例えば、至近距離に被写体があることが稀である環境で本画像信号処理装置を用いる場合は、装置から数メートルの位置で焦点が合うようなフォーカスレンズ位置をｄ０とするなど、環境に応じてｄ０の値を調整可能にすると良い。ステップＳ１００５で評価値が閾値以上であると判定された場合はステップＳ１００７に遷移する。ステップＳ１００７、ステップＳ１００８の処理は、ステップＳ６０７、ステップＳ６０８と同様なので省略する。本実施例では、被写体のコントラストが低い場合など、精度の良い輝度対応ＡＦ制御に十分な焦点評価値を得られない場合に、フォーカスレンズを所定の位置に移動制御することによって輝度対応ＡＦ制御が不安定になることを防ぐことができる。以上の処理により、コントラストが低いシーンにおいても安定した輝度対応ＡＦを実現することができる。
（５）フォーカスレンズ移動制御後にレンズ制御を再開するタイミング
図１１、図１２、図１３を用いて、ステップＳ６０５，ステップＳ９０５、ステップＳ１００６でフォーカスレンズを所定の位置に移動制御した後に所定のタイミングでフォーカスレンズ制御を再開する処理について説明する。図１１及び図１２の処理は、フォーカスレンズを所定の位置に移動制御後、フォーカスレンズ制御が再開するまで所定のタイミングで繰り返し行なう。

【0025】

図１１は、フォーカスレンズを所定の位置に移動制御後、輝度分布の変化を検出した場合にレンズ制御を再開する処理の流れの一例を示す図である。図１１の処理は、システム制御部１０８によって実行される。ステップＳ１１０１では、システム制御部１０８が、例えば、画像処理部１０６が有する輝度分布検出部から映像信号の輝度分布情報y0を取得する。輝度分布情報とは、例えば、焦点評価値算出対象領域内の画素の平均輝度である。ステップＳ１１０２では、現在の輝度分布情報ｙ０と前回の輝度分布情報ｙ１を比較し、ｙ０とｙ１に所定の値以上の差があれば輝度分布が変化したとしてステップＳ１１０３に遷移する。ステップＳ１１０３では、システム制御部１０８はフォーカスレンズの制御を再開する。ステップＳ１１０４では、ｙ０をｙ１に保存する。ステップＳ１１０２で、ｙ０とｙ１に所定の値以上の差がない場合は、ステップＳ１１０４に遷移する。本実施例では、フォーカスレンズ制御が不安定にならないようフォーカスのレンズを所定の位置に移動制御した後でも、被写体が変化した場合などのフォーカスレンズ制御を再開すべきタイミングを検出し、適切なタイミングでフォーカスレンズ制御を再開することができる。これにより、フォーカスレンズ位置が常に固定された状態に陥ることを防ぐことができる。以上の処理により、フォーカスレンズの制御が不安定にならず、かつ、適切なＡＦ制御を実現することができる。

【0026】

図１２は、フォーカスレンズを所定の位置に移動制御後、所定の時間が経過した場合にレンズ制御を再開する処理の流れの一例を示す図である。図１２の処理は、システム制御部１０８によって実行される。ステップＳ６０５，ステップＳ９０５、ステップＳ１００６で、フォーカスレンズを所定の位置に移動制御すると同時にタイマーカウントを開始するものとする。ステップＳ１２０１では、現在のタイマーカウントの値ｔ０を取得する。ステップＳ１２０２では、ｔ０が所定の値よりも大きい場合にステップＳ１２０３に遷移する。ステップＳ１２０３では、システム制御部１０８はフォーカスレンズの制御を再開する。ステップＳ１２０２で、ｔ０が所定の値以下である場合は処理を終了する。本実施例では、フォーカスレンズ制御が不安定にならないようフォーカスのレンズを所定の位置に移動制御した後でも、所定時間経過後にフォーカスレンズ制御を再開することで、フォーカスレンズ位置が常に固定された状態に陥ることを防ぐ。以上の処理により、フォーカスレンズの制御が不安定にならず、かつ、適切なＡＦ制御を実現することができる。

【0027】

図１３は、フォーカスレンズを所定の位置に移動制御後、外部装置１０７として備えられた加速度センサから得られた加速度が所定の値を超えた場合にレンズ制御を再開する処理の流れの一例を示す図である。図１３の処理は、システム制御部１０８によって実行される。ステップＳ１３０１では、システム制御部１０８は加速度センサから加速度情報を取得する。ステップＳ１３０２では、ステップＳ１３０１で取得した加速度情報と閾値を比較し、取得した加速度情報が閾値よりも小さい場合は処理を終了する。取得した加速度情報が閾値以上である場合はステップＳ１３０３に遷移する。ステップＳ１３０３では、システム制御部１０８はフォーカスレンズの制御を再開する。本実施例では、フォーカスレンズ制御が不安定にならないようフォーカスのレンズを所定の位置に移動制御した後でも、加速度センサが所定の加速度を検出した場合にフォーカスレンズ制御を再開することで、フォーカスレンズ位置が常に固定された状態に陥ることを防ぐ。以上の処理により、フォーカスレンズの制御が不安定にならず、かつ、適切なＡＦ制御を実現することができる。
（６）映像信号の輝度分布に応じた閾値制御
図１４は、輝度検出部１０４において点光源を検出する際に用いる第一の閾値（閾値１）を映像信号の輝度分布に応じて制御する処理の流れの一例を示す図である。図１４の処理は、システム制御部１０８によって実行される。ステップＳ１４０１は、ステップＳ７０１と同様の処理である。ステップＳ１４０２では、システム制御部１０８は、例えば、画像処理部１０６が有する輝度分布検出部から映像信号の輝度分布情報を取得する。輝度分布情報とは、例えば、焦点評価値算出対象領域内の画素の平均輝度である。ステップＳ１４０３では、ステップＳ１４０２で取得した輝度分布情報から閾値１を算出する。このとき、輝度分布情報と閾値１の対応テーブルをＥＥＰＲＯＭなどに保存しておき、それを用いて閾値１を決定しても良いし、輝度分布情報から閾値１を算出する関数式を保持しそれを使用しても構わない。関数式を用いる場合、近似値でない正確な値を使用でき、かつ、テーブルとして保存しておく方法に比べて保持するデータを削減できる。ステップＳ１４０４以降の処理は、ステップＳ７０２の処理と同様である。本実施例では、全体的に暗いシーンに点光源が存在する場合と、通常の明るさのシーンに強い点光源が存在する場合とで、点光源を検出する閾値を動的に変更するため、点光源でない被写体を点光源だと誤検知したり、暗いシーンに存在する弱い点光源を検知できなかったりすることを防ぐことができる。以上の処理により、常に適切な輝度対応ＡＦ制御を実現することができる。

【0028】

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、各閾値や移動制御される所定の位置はユーザが選択した撮影モードに応じて切り替わるような構成であっても構わない。また、例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0029】

また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0030】

４０１…外枠、４０２…焦点評価値算出対象領域、４０３…分割領域、５０１…焦点評価値算出対象領域、５０２…点光源、５０３…点光源領域、８０１…焦点評価値算出対象領域、８０２…被写体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】