特許 6039184 自動焦点調節装置、撮像装置及び自動焦点調節方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6039184

(24)【登録日】2016年11月11日

(45)【発行日】2016年12月7日

(54)【発明の名称】自動焦点調節装置、撮像装置及び自動焦点調節方法

(51)【国際特許分類】

   G02B 7/28 20060101AFI20161128BHJP

   G02B 7/36 20060101ALI20161128BHJP

   G03B 13/36 20060101ALI20161128BHJP

   H04N 5/232 20060101ALI20161128BHJP

【ＦＩ】

   G02B7/28 N

   G02B7/36

   G03B13/36

   H04N5/232 H

   H04N5/232 Z

【請求項の数】5

【全頁数】14

(21)【出願番号】特願2012-1675(P2012-1675)

(22)【出願日】2012年1月6日

(65)【公開番号】特開2013-142728(P2013-142728A)

(43)【公開日】2013年7月22日

【審査請求日】2014年12月25日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100086483

【弁理士】

【氏名又は名称】加藤 一男

(72)【発明者】

【氏名】石井 和憲

【審査官】 小倉 宏之

(56)【参考文献】

【文献】 特開２０１１−２５７７７３（ＪＰ，Ａ）

【文献】 特開２００９−１３９６８８（ＪＰ，Ａ）

【文献】 特開２００９−０７５１６８（ＪＰ，Ａ）

【文献】 特開２００６−０９１２９３（ＪＰ，Ａ）

【文献】 特開２００９−１７７５０３（ＪＰ，Ａ）

【文献】 特開２０１０−１４５９６５（ＪＰ，Ａ）

【文献】 特開２０１０−１５６８５０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０２Ｂ ７／２８

Ｇ０２Ｂ ７／３６

Ｇ０３Ｂ １３／３６

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

フォーカスレンズを含む撮像光学系を通過した被写体からの光を光電変換して電気信号に変換する撮像素子と、前記フォーカスレンズを光軸方向に往復駆動させて取得される焦点評価値の変化を用いて焦点調節を行う微小駆動モード、及び、前記フォーカスレンズを所定の方向に連続して駆動させて取得される焦点評価値の変化を用いて焦点調節を行う山登り駆動モードを実行する制御手段と、前記撮像素子から出力される電気信号のうち、所定の被写体を含む第１の焦点検出領域に対応する電気信号から前記焦点評価値を生成する生成手段と、を有する自動焦点調節装置であって、
前記制御手段は、前記微小駆動モードを用いて方向判別制御を行った後に合焦判別制御を実行するモードを有しており、
前記合焦判別制御は、前記山登り駆動モードを用いて合焦判別を行う第１の合焦判別制御と、前記山登り駆動モードを用いずに前記微小駆動モードを用いて合焦判別を行う第２の合焦判別制御を有しており、
前記制御手段は、前記所定の被写体の大きさが所定値よりも大きいと判定された場合、前記第１の合焦判別制御を行い、前記所定の被写体の大きさが前記所定値以下であると判定された場合、前記第２の合焦判別制御を行うことを特徴とする自動焦点調節装置。

【請求項2】

前記生成手段は、前記所定の被写体を含む第１の焦点検出領域及び前記前記第１の焦点検出領域よりも広い第２の焦点検出領域に対応する電気信号から前記焦点評価値を生成し、
前記制御手段は、前記所定の被写体の大きさが前記所定値以下であり且つ前記第２の焦点検出領域の合焦状態が合焦と判定された場合、前記第２の合焦判別制御を行うことを特徴とする請求項１に記載の自動焦点調節装置。

【請求項3】

前記第１の焦点検出領域は、所定の顔の大きさに基いて設定されることを特徴とする請求項１又は２に記載の自動焦点調節装置。

【請求項4】

請求項１乃至３の何れか一項に記載の自動焦点調節装置を有することを特徴とする撮像装置。

【請求項5】

フォーカスレンズを含む撮像光学系を通過した被写体からの光を光電変換して電気信号に変換する撮像工程と、前記フォーカスレンズを光軸方向に往復駆動させて取得される焦点評価値の変化を用いて焦点調節を行う微小駆動モード、または、前記フォーカスレンズを所定の方向に連続して駆動させて取得される焦点評価値の変化を用いて焦点調節を行う山登り駆動モードを実行する制御工程と、前記撮像工程で出力される電気信号のうち、所定の被写体を含む第１の焦点検出領域に対応する電気信号から前記焦点評価値を生成する生成工程と、を有する自動焦点調節方法であって、
前記制御工程は、前記微小駆動モードを用いて方向判別制御を行った後に合焦判別制御を実行するモードを有しており、
前記合焦判別制御は、前記山登り駆動モードを用いて合焦判別を行う第１の合焦判別制御と、前記山登り駆動モードを用いずに前記微小駆動モードを用いて合焦判別を行う第２の合焦判別制御を有しており、
前記制御工程において、前記所定の被写体の大きさが所定値よりも大きいと判定された場合、前記第１の合焦判別制御を行い、前記所定の被写体の大きさが前記所定値以下であると判定された場合、前記第２の合焦判別制御を行うことを特徴とする自動焦点調節方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像対象に人物などの予め定められた被写体を含む場合に、撮影画面内の被写体領域を検出して、その検出結果に基づいて焦点調節を行う撮像装置における自動焦点調節装置及び方法に関する。

【背景技術】

【0002】

ビデオカメラ等の撮像装置のオートフォーカス（ＡＦ）制御では、次のＴＶ−ＡＦ方式が主流である。この方式では、撮像素子を用いて生成された映像信号の鮮鋭度（コントラスト状態）を示すＡＦ評価信号を生成し、該ＡＦ評価信号における焦点評価値が最大となるフォーカスレンズの位置を探索する。また、人物を撮影する場合において、主人物被写体に安定したピント合わせを行うために、顔検出機能を有する撮像装置が知られている。例えば、認識された顔検出領域を含む焦点検出領域を設定し、焦点検出を行う撮像装置が提案されている（特許文献１参照）。また、人物の目を検出し、その目に基づいて焦点検出を行う撮像装置が提案されている（特許文献２参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００６−２２７０８０号公報

【特許文献2】特開２００１−２１５４０３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記の撮影画面から顔を検出し、検出顔に対してＡＦ制御を行う顔ＡＦ制御において、検出顔が低コントラストであったり、逆光により暗くなっていたりした場合、ボケている状態と誤って、ピントが大きくふわついたりして、不安定な動作となってしまう可能性がある。また、被写体が横や後を向いてしまったりして、顔を検出することが不可能となり、意図した顔を追従することが難しくなることもある。この場合に、例えば、誤って低コントラストの背景にＡＦ枠が移動してしまい、ピントが大きくふわついたりして、顔ＡＦ制御が不安定な動作となってしまう可能性も考えられる。これにより、特に動画撮影の場合、このふわつきが記録されてしまう可能性があるために、撮影者に不快感を与えてしまう。

【0005】

ここで、ピントが大きくふわついて見える要因として、次の点が挙げられる。すなわち、後述のＴＶ―ＡＦ方式の２種類の動作モード（微小駆動動作モードと山登り駆動動作モード）のうち、合焦している状態であるにも関わらず、山登り駆動動作モードで動作してしまうからである。これは、低コントラストである場合、焦点評価値の変化が得られにくく、また、ボケている状態と判別がつかずに、山登り駆動動作モードに誤って移行してしまうことがあるためである。微小駆動動作モードは、ピントのボケが見えないようにフォーカスレンズを細かく往復駆動させ安定性を重視した動作モードである。これに対して、山登り駆動動作モードは、ボケたところから素早く合焦位置へ移動させるためにフォーカスレンズを高速に動かすといった応答性を重視した動作モードである。そのために、合焦している状態から、誤って山登り駆動動作モードを実行してしまうと、ボケが目立ってしまうことになる。上述したように、合焦しているところからピントが大きくふわついたりしてしまうと、撮影者に対して不快感を与えてしまう。

【0006】

本発明の目的は、上述したような事態を鑑みてなされたものであり、顔などのＡＦ制御の安定性を向上させることができる自動焦点調節装置及び方法などを提供することにある。

【課題を解決するための手段】

【0007】

本発明の自動焦点調節装置は、フォーカスレンズを含む撮像光学系を通過した被写体からの光を光電変換して電気信号に変換する撮像素子と、前記フォーカスレンズを光軸方向に往復駆動させて取得される焦点評価値の変化を用いて焦点調節を行う微小駆動モード、及び、前記フォーカスレンズを所定の方向に連続して駆動させて取得される焦点評価値の変化を用いて焦点調節を行う山登り駆動モードを実行する制御手段と、前記撮像素子から出力される電気信号のうち、所定の被写体を含んで設定された焦点検出領域に対応する電気信号から前記焦点評価値を生成する生成手段と、を有する。そして、前記制御手段は、前記微小駆動モードを用いて方向判別制御を行った後に合焦判別制御を実行するモードを有しており、前記合焦判別制御は、前記山登り駆動モードを用いて合焦判別を行う第１の合焦判別制御と、前記山登り駆動モードを用いずに前記微小駆動モードを用いて合焦判別を行う第２の合焦判別制御を有している。前記制御手段は、前記所定の被写体の大きさが所定値よりも大きいと判定された場合、前記第１の合焦判別制御を行い、前記所定の被写体の大きさが前記所定値以下であると判定された場合、前記第２の合焦判別制御を行う。

【0008】

また、本発明の自動焦点調節方法は、フォーカスレンズを含む撮像光学系を通過した被写体からの光を光電変換して電気信号に変換する撮像工程と、前記フォーカスレンズを光軸方向に往復駆動させて取得される焦点評価値の変化を用いて焦点調節を行う微小駆動モード、または、前記フォーカスレンズを所定の方向に連続して駆動させて取得される焦点評価値の変化を用いて焦点調節を行う山登り駆動モードを実行する制御工程と、前記撮像工程において出力される電気信号のうち、所定の被写体を含んで設定された焦点検出領域に対応する電気信号から前記焦点評価値を生成する生成工程と、を有する。そして、前記制御工程は、前記微小駆動モードを用いて方向判別制御を行った後に合焦判別制御を実行するモードを有しており、前記合焦判別制御は、前記山登り駆動モードを用いて合焦判別を行う第１の合焦判別制御と、前記山登り駆動モードを用いずに前記微小駆動モードを用いて合焦判別を行う第２の合焦判別制御を有している。前記制御工程において、前記所定の被写体の大きさが所定値よりも大きいと判定された場合、前記第１の合焦判別制御を行い、前記所定の被写体の大きさが前記所定値以下であると判定された場合、前記第２の合焦判別制御を行う。

【発明の効果】

【0009】

本発明によれば、応答性を重視した第２の焦点調節動作モードにより安定した焦点調節が達成できる被写体条件ではないと判定された場合にはこのモードを制限する。したがって、顔などのＡＦ制御の安定性を向上させることができ、撮影者に与える不快感を軽減することが可能な自動焦点調節装置及び方法を提供できる。

【図面の簡単な説明】

【0010】

【図1】本発明の自動焦点調節装置を備えるビデオカメラの構成を示すブロック図。

【図2】本発明の一実施例における顔ＡＦ制御処理を示すフローチャート。

【図3】本発明の一実施例における顔ＡＦ安定可否判定処理を示すフローチャート。

【図4】ＴＶ−ＡＦ処理における微小駆動動作モードを説明するための図。

【図5】ＴＶ−ＡＦ処理における山登り駆動動作モードを説明するための図。

【図6】他の実施例における顔ＡＦ制御処理を示すフローチャート。

【図7】他の実施例における顔ＡＦ安定可否判定処理を示すフローチャート。

【図8】顔枠および通常枠の設定の例を示す図。

【発明を実施するための形態】

【0011】

本発明の特徴は、応答性を重視した第２の焦点調節動作モードにより安定した焦点調節が達成できる被写体条件（被写体領域の大きさ、暗さなどの被写体検出結果、特定被写体の追尾などの被写体制御状態、各ＡＦ枠の焦点評価値などの被写体の状況に関する条件）であると判定された場合にはこのモードをフォーカスレンズの駆動制御として実行し、第２の焦点調節動作モードにより安定した焦点調節が達成できる被写体条件ではないと判定された場合にはこのモードを制限して安定性を重視した第１の焦点調節動作モードを実行することにある。この考え方に基づき、本発明の焦点調節装置及び方法は、課題を解決するための手段のところで述べた様な基本的な構成を有する。後述の実施例で説明する様に、撮影画面内に設定された焦点検出領域から得られる焦点評価値を用いる安定性を重視した第１の焦点調節動作モードは、例えば、フォーカスレンズを所定駆動量ずつ往復駆動させて焦点調節を実行する微小駆動動作を含むモードである。また、応答性を重視した第２の焦点調節動作モードは、例えば、フォーカスレンズを所定方向に連続して第１の焦点調節動作モードよりも高速に駆動させて焦点調節を実行する山登り駆動動作と前記微小駆動動作とを組み合わせたモードである。

【0012】

以下、本発明の実施例を説明する。図１は、本発明の実施例である自動焦点調節装置を含むビデオカメラ（撮像装置）の構成を示す。以下の実施例では、ビデオカメラについて説明するが、本発明はデジタルスチルカメラ等の他の撮像装置にも適用できる。

【0013】

＜第１の実施例＞
第１の実施例に係る撮像装置としてのビデオカメラの主要部の構成を示す図１において、１０１は第１の固定レンズ群、１０２は光軸方向に移動して変倍を行い焦点距離を変化させることができる変倍レンズ、１０３は絞りである。また、１０４は第２の固定レンズ群、１０５は変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えたフォーカスコンペンセータレンズ（「フォーカスレンズ」とも記す）である。第１の固定レンズ群１０１、変倍レンズ１０２、絞り１０３、第２の固定レンズ群１０４及びフォーカスレンズ１０５により撮像光学系が構成される。

【0014】

１０６は、ＣＣＤセンサやＣＭＯＳセンサにより構成される光電変換素子としての撮像素子である。撮像素子１０６は、フォーカスレンズを含む撮像光学系により形成された被写体像を撮像して光電変換による電気信号を出力する。１０７は、撮像素子１０６の出力をサンプリングし、ゲイン調整するＣＤＳ／ＡＧＣ回路である。１０８はカメラ信号処理回路であり、ＣＤＳ／ＡＧＣ回路１０７からの出力信号に対して各種の画像処理を施し、映像信号を生成する。１０９はＬＣＤ等により構成されるモニタであり、カメラ信号処理回路１０８からの映像信号を表示する。１１５は記録部であり、カメラ信号処理回路１０８からの映像信号を磁気テープ、光ディスク、半導体メモリ等の記録媒体に記録する。

【0015】

１１０は、変倍レンズ１０２を移動させるためのズーム駆動源である。１１１は、フォーカスレンズ１０５を移動させるためのフォーカシング駆動源である。ズーム駆動源１１０及びフォーカシング駆動源１１１は、ステッピングモータ、ＤＣモータ、振動型モータ及びボイスコイルモータ等のアクチュエータにより構成される。１１２は、ＣＤＳ／ＡＧＣ回路１０７からの全画素の出力信号のうち焦点検出に用いられる領域（後述の所定の被写体を含んで設定された焦点検出領域）の信号のみを通すＡＦゲートである。すなわち、ＡＦゲートは、次のＡＦ信号処理回路１１３などと共に、生成手段を構成する。ＡＦ信号処理回路１１３は、ＡＦゲート１１２を通過した信号から高周波成分や輝度差成分ないしコントラスト最大値（ＡＦゲート１１２を通過した信号の輝度レベルの最大値と最小値の差分）等を抽出してＡＦ評価信号を生成する。すなわち、ＡＦ信号処理回路は、撮像素子から出力される電気信号のうち、所定の被写体を含んで設定された焦点検出領域に対応する電気信号から焦点評価値を生成する生成手段を構成する。ＡＦ評価信号は、カメラ／ＡＦマイクロコンピュータ（単に「マイクロコンピュータ」とも記す）１１４に出力される。ＡＦ評価信号は、撮像素子１０６からの出力信号に基づいて生成される映像信号の鮮鋭度（コントラスト状態）を表すものであるが、鮮鋭度は撮像光学系の焦点状態によって変化するので、結果的にＡＦ評価信号は撮像光学系の焦点状態を表す信号となる。

【0016】

制御手段であるマイクロコンピュータ１１４は、ビデオカメラ全体の動作の制御を司ると共に、フォーカシング駆動源１１１を制御してフォーカスレンズ１０５を駆動制御するＡＦ制御を行う。すなわち、制御手段は、撮影画面内に設定された焦点検出領域から得られる焦点評価値を用いてフォーカスレンズを駆動制御して焦点調節をも行う。マイクロコンピュータ１１４は、ＡＦ制御として、ＴＶ−ＡＦ方式でのＡＦ制御（単に「ＴＶ−ＡＦ」とも記す）を行う。顔検出部１１６は、映像信号に対して公知の顔検出処理を施して、撮影画面内の人物の顔（所定の被写体）を検出し、その検出結果をマイクロコンピュータ１１４に送信する。マイクロコンピュータ１１４は、上記検出結果に基づき、撮影画面内の顔を含む領域に顔枠を追加するようにＡＦゲート１１２へ情報を送信する。ここで、顔検出部１１６により複数の人物の顔を検出した場合には、顔の位置、顔のサイズ、もしくは撮影者の指示によって優先順位をつける主顔判定処理部があり、この主顔判定処理部によって最も優先と判断された顔を主顔（主被写体）とする。例えば、撮影者の指示によって選択された顔が最も優先度が高く、続いて顔の位置が画面中央に近い程、そして、顔のサイズが大きい程、優先度が高くなるように判定を行う。但し、この限りではない。顔検出処理としては、例えば、画像データで表される各画素の階調色から、肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法がある。また、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔検出を行う方法等もある。本実施例では、顔検出処理の方法については、上述した方法に限られず、どのような方法を用いてもよい。

【0017】

次に、マイクロコンピュータ１１４が実行する顔ＡＦ制御処理について説明する。図２は、図１におけるマイクロコンピュータ１１４が実行する顔ＡＦ制御処理を示すフローチャートである。本処理は、マイクロコンピュータ１１４内に格納されたコンピュータプログラムに従って実行され、例えば、１フィールド画像を生成するための撮像素子１０６からの撮像信号の読み出し周期にて繰り返し実行される。図２において、まず、顔検出部１１６から、最新の映像信号に対して顔検出処理を実行した結果を取得する（Ｓｔｅｐ２０１）。次いで、Ｓｔｅｐ２０２で、Ｓｔｅｐ２０１の結果、顔が存在する場合には、Ｓｔｅｐ２０５へ移行し、顔が存在しない場合には、Ｓｔｅｐ２０３へ移行する。Ｓｔｅｐ２０３では、画面上の所定の固定された位置にＡＦゲート１１２により領域（「ＡＦ枠」とも記す）を設定し、後述する山登り制限フラグをクリアし（Ｓｔｅｐ２０４）、ＴＶ−ＡＦ制御を実行する（Ｓｔｅｐ２０９）。一方、Ｓｔｅｐ２０５では、顔検出部１１６で検出された結果から、主顔の位置にＡＦ枠（顔枠）を設定する。さらに、顔枠を含み被写体に追従しない所定のＡＦ枠（通常枠）を設定する。

【0018】

次に、顔ＡＦ制御において、顔枠内に含まれる被写体が低コントラストとなる可能性があり、安定性を重視した顔ＡＦ制御が必要である被写体条件か否かを判定する顔ＡＦ安定可否判定処理を実行する（Ｓｔｅｐ２０６）。これは、後述する本発明の特徴部である。その結果を受けて、Ｓｔｅｐ２０７で山登り制限フラグがセットされている場合には、後述するＴＶ−ＡＦ制御に用いられる山登り移行カウンタをクリアし（Ｓｔｅｐ２０８）、そして、ＴＶ−ＡＦ制御処理（Ｓｔｅｐ２０９）を実行し、本処理を終了する。また、山登り制限フラグがセットされていない場合には（Ｓｔｅｐ２０７でＮｏ）、ＴＶ−ＡＦ制御処理（Ｓｔｅｐ２０９）を実行する。ＴＶ−ＡＦ制御処理については、後に詳細な説明をする公知の微小駆動動作モードと山登り駆動動作モードを組み合わせた方式であり、焦点評価値が最大となるように、フォーカスレンズを駆動させながら、焦点評価値の増減を判定し、合焦点を探索する方法である。

【0019】

次に、発明の特徴である第１の実施例における顔ＡＦ安定可否判定処理について説明する。図３は、本実施例における顔ＡＦ安定可否判定処理のフローチャートである。この顔ＡＦ安定可否判定処理は、顔枠内に含まれる被写体が低コントラストとなる可能性があり、安定した顔ＡＦ制御を実行することが困難である被写体条件か否かを判定する処理である。まず、Ｓｔｅｐ３０１で、顔サイズが所定サイズ以下かどうか判定する。ここで、所定サイズとは、画面サイズの８％未満の画面に対して顔のサイズが小さすぎるかどうかを判定している。制御手段のマイクロコンピュータ１１４は、第１の焦点調節動作モードと、このモードとはフォーカスレンズの駆動制御態様が異なり被写体の距離変化に対応させた追従駆動動作を行う第２の焦点調節動作モードとを有している。そして、制御手段は、フォーカスレンズを駆動制御して焦点調節を行う上で、第２の焦点調節動作モードにより安定した焦点調節が達成できる被写体条件であると判定された場合にはこのモードをフォーカスレンズの駆動制御として実行する。一方、第２の焦点調節動作モードにより安定した焦点調節が達成できる被写体条件ではないと判定された場合には第２の焦点調節動作モードを制限する。ここでは、こうした判定を、少なくとも検出手段による検出結果から得られる被写体領域の大きさ（ここでは顔サイズ）に基づき行うために、上記ステップを実行するのである。。

【0020】

顔サイズが所定サイズ以下である場合（Ｓｔｅｐ３０１でＹｅｓ）、通常枠の合焦度を判定する（Ｓｔｅｐ３０２）。通常枠は、顔枠を含むように顔枠よりも広範囲な領域に設定される枠であり、画面全体の合焦状態に基づいて、安定性を重視した顔ＡＦ制御を実行した方が良い状態（被写体条件）か否かを判定しやすくする枠である。ここで、合焦度とは、ＡＦ枠内の高周波成分の最大ピークホールド値（輝度信号の最大値）を輝度差成分（コントラスト最大値）で除算し、正規化した値（簡易合焦度）を用いる。ピントが合っている状態では、最大ピークホールド値が高く、輝度差成分も高い。ピントが大ボケの状態では、最大ピークホールド値は減少するが、輝度差成分は変化が少ない。よって、簡易合焦度により、被写体のピントが合っているか否かの状態を大まかに得られる。そして、経験的に、ＡＦ枠内の高周波成分の最大ピークホールド値を輝度差成分で除算した結果が、０．５以上を合焦、０．２５以上０．５以下を小ボケ、０．２５以下を大ボケと判断する。但し、合焦度の判定方法については、この限りではなく、合焦状態にあるかどうかを判別することができればよい。そして、通常枠が合焦であると判定された場合には（Ｓｔｅｐ３０３でＹｅｓ）、山登り制限フラグをセットし（Ｓｔｅｐ３０４）、この処理を終了する。通常枠が合焦でないと判定された場合には（Ｓｔｅｐ３０３でＮｏ）、Ｓｔｅｐ３０５へ移行する。以上の判定処理は、本発明の特徴とするところであり、顔のサイズが小さい場合、顔が大きい場合と比較して、解像感が落ちてしまい、低コントラストになりやすい。その際に、画面全体が合焦している状態であるにも関わらず山登り駆動動作モードに移行してしまうと、顔ＡＦ制御が不安定になってしまう。よって、山登り駆動動作モードを制限することが必要になるのである。本実施例では、生成手段のＡＦ信号処理回路は、所定の被写体を含む第１の焦点検出領域とこの焦点検出領域よりも大きい第２の焦点検出領域に対応する電気信号から焦点評価値をそれぞれ生成する。そして、制御手段は、検出手段による検出結果から得られた被写体領域の大きさが所定の大きさ以下であり且つ第２の焦点検出領域の合焦状態が合焦と判定された場合に、第２の焦点調節動作モードを制限することができるように上記ステップを実行するのである。ここでは、焦点検出領域内の所定の周波数成分の輝度信号の最大値を上記輝度差成分で除算して算出された値が所定の値以上の場合に合焦であると判定する。

【0021】

次に、顔サイズが所定サイズより大きい場合（Ｓｔｅｐ３０１でＮｏ）、顔枠が暗いかどうかを判定するしきい値を設定する（Ｓｔｅｐ３０５）。そして、まず、顔枠の輝度のピーク値が第１の所定値以下かどうかを判定する（Ｓｔｅｐ３０６）。顔枠の輝度のピーク値が第１の所定値以下の場合（Ｓｔｅｐ３０６でＹｅｓ）、顔枠のコントラスト値が第２の所定値以下かどうかを判定する（Ｓｔｅｐ３０７）。顔枠のコントラスト値が第２の所定値以下の場合（Ｓｔｅｐ３０７でＹｅｓ）、顔枠の高周波成分のピーク値が第３の所定値以下かどうかを判定する（Ｓｔｅｐ３０８）。ここで、コントラスト値とは、輝度信号レベルの最大値と最小値の差分である。顔枠の高周波成分のピーク値が第３の所定値以下の場合（Ｓｔｅｐ３０８でＹｅｓ）、山登り制限フラグをセットし（Ｓｔｅｐ３１０）、この処理を終了する。逆に、Ｓｔｅｐ３０６、Ｓｔｅｐ３０７、Ｓｔｅｐ３０８で、各比較値が各所定値以上の場合には（Ｓｔｅｐ３０６でＮｏ、Ｓｔｅｐ３０７でＮｏ、Ｓｔｅｐ３０８でＮｏ）、山登り制限フラグをクリアする（Ｓｔｅｐ３０９）。この判定処理は、本発明の特徴とするところであり、逆光や夜景のシーンを撮影している場合に、顔が暗くなり、低コントラストとなりやすい。その際に、山登り駆動動作モードに移行してしまうと、顔ＡＦ制御が不安定になってしまう。よって、少なくとも顔枠内の輝度値が小さく、かつ、低コントラストである場合には、山登り駆動動作モードを制限することが必要になってくるのである。ここで、第１、第２、第３の所定値は、経験的に各比較値の取りうる値の約２５％、約２０％、約１０％ぐらいに設定すればよい。但し、レンズ、撮像システムの構成により変わってくると考えられるので、この限りではない。本実施例では、焦点評価値に基づいて検出手段により検出された被写体が所定の暗さより暗いと判定された場合に、第２の焦点調節動作モードを制限することができるように上記ステップを実行する。ここでは、焦点評価値において、少なくとも焦点検出領域内の所定の周波数成分の輝度信号の最大値が所定の値よりも小さく且つ各水平ラインの輝度信号の最も明るい信号と最も暗い信号の差の最大値であるコントラストピーク値（コントラスト最大値）が所定の値よりも小さい場合に、被写体が暗いと判定する。

【0022】

図４は、図２のＴＶ−ＡＦ処理におけるＳｔｅｐ２０９で実行されるフォーカスレンズ１０５の微小駆動動作モードを説明するための図である。図４において、横軸は時間を、縦軸はフォーカスレンズ１０５の位置を示している。また、図中上方において、映像信号の垂直同期信号を示している。図４に示すように、期間Ａの間に撮像素子１０６に蓄積された電荷（図中、斜線楕円で示す）に対する焦点評価値ＥＶ_Ａが時刻Ｔ_Ａで取り込まれ、期間Ｂの間に撮像素子１０６に蓄積された電荷に対する焦点評価値ＥＶ_Ｂが時刻Ｔ_Ｂで取り込まれる。また、期間Ｃの間に撮像素子１０６に蓄積された電荷に対する焦点評価値ＥＶ_Ｃが時刻Ｔ_Ｃで取り込まれる。そして、時刻Ｔ_Ｄでは、焦点評価値ＥＶ_Ａ、ＥＶ_Ｂ、ＥＶ_Ｃを比較して、ＥＶ_Ａ＞ＥＶ_ＢかつＥＶ_Ｃ＞ＥＶ_Ｂであれば、微小駆動の駆動（振動）中心を移動させる。一方、ＥＶ_Ａ＜ＥＶ_ＢまたはＥＶ_Ｃ＜ＥＶ_Ｂあれば、振動中心を移動させない。このように、フォーカスレンズ１０５を移動させながら焦点評価値が増加する方向を判定したり、焦点評価値が最も大きくなるフォーカスレンズ１０５の位置（ピーク位置）を探したりするのが微小駆動動作モードである。なお、焦点評価値の変化から合焦状態か否かを判定するためにフォーカスレンズ１０５を微小駆動させる制御は、合焦確認制御ということもできる。また、焦点評価値の変化から合焦方向を判定するためにフォーカスレンズ１０５を微小駆動させる制御は、合焦方向判別制御ということもできる。以上のモードが第１の焦点調節動作モードであり、フォーカスレンズを所定の駆動量ずつ往復駆動させて焦点調節を実行する微小駆動動作モードである。

【0023】

次に、山登り駆動動作モードについて、図５を用いて説明する。山登り駆動動作モードでは、フォーカスレンズ１０５を高速で駆動して、その間に得られた焦点評価値がピークとなるピーク位置又はその近傍を検出する。図５には、山登り駆動動作モード時におけるフォーカスレンズ１０５の移動と焦点評価値の変化との関係を示している。ここで、Ａの動きでは、焦点評価値がピークを越えて減少するので、ピーク位置（合焦位置）の存在を確認することができ、山登り駆動動作モードを終了して微小駆動動作モードに移行する、一方、Ｂの動きではピークが無く、単調に減少しているので、フォーカスレンズ１０５の駆動方向が誤りであると判定できる。この場合は、駆動方向を反転して山登り駆動動作モードを続ける。以上のモードが第２の焦点調節動作モードであり、フォーカスレンズを所定の方向に連続して前記第１の焦点調節動作モードよりも高速に駆動させて焦点調節を実行する山登り駆動動作モードである。

【0024】

そして、図２におけるＳｔｅｐ２０９のＴＶ−ＡＦ処理は、微小駆動動作モードにより合焦方向を判定し、山登り駆動動作モードへ移行し、山登り駆動動作モードにより合焦位置を探索し、再度微小駆動動作モードへ移行し、合焦確認を行うことを繰り返して実行する。ここで、この微小駆動動作モードで合焦方向を判定し、山登りへ移行する際に、駆動（振動）中心を移動させる方向が連続して同方向に移動しているかどうかで判定する。つまり、駆動中心を移動させる方向が連続している場合に、カウントアップしていき、所定のカウント値を超えた場合に山登り駆動動作モードへ移行する。これが、図２におけるＳｔｅｐ２０８で用いられた山登り移行カウンタであり、この山登り移行カウンタをクリアすることにより、山登り駆動動作モードへ移行することを禁止することが可能となる。また、所定のカウント値は、簡易な合焦度に応じて変更することができ、大ボケの場合は、３カウント、小ボケの場合は、５カウントとなり、合焦位置に近くなるにつれて、所定のカウント値は多くなる。ここで、本実施例では、山登り移行カウンタをクリアすることで山登り駆動動作モードへの移行を禁止したが、前述の所定のカウント値を増やすことで山登り駆動動作モードへの移行を制限してもよい。例えば、大ボケの場合は、５カウント、小ボケの場合は、１０カウントとする。

【0025】

ここで、顔枠および通常枠の設定例について、図８を用いて説明する。図８（ａ）は、撮像画面内に顔枠Ａと通常枠Ｂとを設定した例を示す。通常枠Ｂが撮像画面の中央を中心として設定されると共に、顔認識がなされた位置に対して顔枠Ａが設定される。本実施例では、顔枠Ａの焦点評価値と通常枠Ｂの焦点評価値を加算してＴＶ−ＡＦ制御を行う。これにより、顔枠Ａが低コントラストとなった場合にも、通常枠Ｂの焦点評価値で、安定した顔ＡＦ制御を実現することができる。但し、山登り制限フラグがセットされていない場合には、顔枠Ａのみで顔ＡＦ制御を行ってもよい。図８（ｂ）は、Ｓｔｅｐ２０３で設定される通常枠のみでＴＶ−ＡＦ制御を行う場合の例である。ここで、撮像画面内に通常枠のみを設定する場合、図８（ａ）に例示される状態から単純に顔枠Ａを削除して、通常枠Ｂのみで焦点評価値を検出しＴＶ−ＡＦ制御を行うことができる。ただし、これに限らず、撮影者が撮像画面の中央に被写体を配置する場合が多いことを考慮し、通常枠Ｂよりも小さい通常枠Ｃを、画面中央を中心としてさらに設定するようにしてもよい。この場合、通常枠Ｂおよび通常枠Ｃそれぞれから取得された焦点評価値を加算してＴＶ−ＡＦ制御を行う。

【0026】

＜第２の実施例＞
第２の実施例におけるマイクロコンピュータ１１４が実行する顔ＡＦ制御処理について説明する。図６は、図１におけるマイクロコンピュータ１１４が実行する顔ＡＦ制御処理を示すフローチャートである。本処理は第１の実施例における顔ＡＦ制御処理と基本的に同じであるので、図２と共通する動作については下２桁を図２と同数字にして説明に代え、異なる動作についてのみ説明する。まず、顔検出結果を取得し（Ｓｔｅｐ６０１）、顔が存在した場合（Ｓｔｅｐ６０２でＹｅｓ）、顔有りフラグ、および後述する顔追尾許可フラグをセットする（Ｓｔｅｐ６１０、Ｓｔｅｐ６１１）。顔有りフラグは、顔が検出された場合にセットし、その後、顔が検出されなくなった場合に、顔枠に対してＡＦ制御をそのまま継続するか否かを示すフラグである。そして、第１の実施例と同様に、ＡＦ枠を設定し（Ｓｔｅｐ６０５）、後述する第２の実施例における顔ＡＦ安定可否判定処理を実行する（Ｓｔｅｐ６０６）。顔ＡＦ安定可否判定処理が実行された後は、第１の実施例同様である。

【0027】

次に、顔が存在しなかった場合（Ｓｔｅｐ６０２でＮｏ）、顔有りフラグがセットされているかどうかを判定する（Ｓｔｅｐ６１２）。顔有りフラグがセットされていない場合には（Ｓｔｅｐ６１２でＮｏ）、顔枠に対してＡＦ制御を実行しないため、第１の実施例と同様に、画面の所定の位置にＡＦ枠を設定し（Ｓｔｅｐ６０３）、山登り制限フラグをクリアして（Ｓｔｅｐ６０４）、ＴＶ−ＡＦ制御を実行する（Ｓｔｅｐ６０９）。

【0028】

顔有りフラグがセットされている場合には（Ｓｔｅｐ６１２でＹｅｓ）、顔追尾許可フラグがセットされているかどうかを判定する（Ｓｔｅｐ６１３）。顔追尾許可フラグがセットされている場合には（Ｓｔｅｐ６１３でＹｅｓ）、顔追尾処理を実行する（Ｓｔｅｐ６１７）。顔追尾が実行されている場合には（Ｓｔｅｐ６１８でＹｅｓ）、Ｓｔｅｐ６０５へ移行し、顔ＡＦ制御を継続する。顔追尾が実行されていない場合には（Ｓｔｅｐ６１８でＮｏ）、顔追尾許可フラグをクリアし（Ｓｔｅｐ６１９）、Ｓｔｅｐ６１４へ移行する。ここで、Ｓｔｅｐ６１７における顔追尾処理とは、検出されていた顔が横を向いてしまったりして、顔が検出できなくなった場合に、撮像画面内の一部の領域であり最後に検出された顔検出領域を基準画像とし、基準画像に基づいて公知の追尾処理を行うことにより、検出されていた顔に対して追従させるための処理である。これにより、一時的に検出できなくなった場合に、被写体が移動しても、ピントを合わせて追従することができる。顔追尾処理は、例えば、特徴量抽出手段によって前記基準画像の色差データ（色情報）、輝度などを取得し、ヒストグラムを生成する。それを追尾したい被写体の色の特徴を示すテンプレートとして記憶し、近隣の探索領域について色差データなどのヒストグラムとの相互相関（マッチング）を計算し、相関値が高い領域が追尾対象物を探知したと判定する。この処理を繰り返し実行する。そして、相関値が所定値以下となった場合に、追尾継続ができていないと判断し、追尾の実行を中止するものである。また、顔枠の設定については、顔追尾実行中は顔追尾結果に基づいて設定する。制御手段は、撮像画面内の特定の被写体を追尾している状態であると判定された場合に、前記第２の焦点調節動作モードを制限する。この際、制御手段は、前記特定の被写体の領域を特定することができなくなる直前の特定の被写体の領域を基準画像とし、基準画像における特徴量を抽出し、前記特徴量との相互相関が高く特定の被写体であると想定される領域を追尾する。

【0029】

次に、顔追尾許可フラグがセットされていない場合（Ｓｔｅｐ６１３でＮｏ）、顔消失処理を実行する（Ｓｔｅｐ６１４）。そして、顔消失処理が実行されている場合には（Ｓｔｅｐ６１５でＹｅｓ）、Ｓｔｅｐ６０５へ移行し、顔ＡＦ制御を継続する。顔消失処理が実行されていない場合には（Ｓｔｅｐ６１５でＮｏ）、顔有りフラグをクリアし（Ｓｔｅｐ６１６）、Ｓｔｅｐ６０３へ移行後、顔有りフラグがセットされていない場合（Ｓｔｅｐ６１２でＮｏ）同様の処理を実行する。

【0030】

ここで、Ｓｔｅｐ６１４における顔消失処理とは、顔が検出された後、顔が検出できなくなったり、顔追尾処理が終了した場合に実行されるものであり、所定期間、顔枠をそのまま維持する処理である。これは、次の様な処理である。一時的に顔が検出できなくなった、または顔追尾が実行できなくなった場合に、再度、現在の顔枠位置の近傍に顔が検出できるかもしれない。その間に、ＡＦ枠を異なる位置に設定してしまうと、被写体は存在するのに背景等の別の被写体にピント合わせを実行し、再度、顔が検出できたときに、またピントを合わせ直すというように、ピント合わせが不安定となってしまう。このことを防ぐために顔消失処理が行われるである。ここでいう所定期間とは、経験的に５フレーム程度でよいが、この限りではない。そして、顔消失処理中は、顔枠は現在位置を保持させる。下記の様に、制御手段は、特定の被写体の領域を消失していると判定された場合に、第２の焦点調節動作モードを制限する。

【0031】

次に、発明の特徴である第２の実施例における顔ＡＦ安定可否判定処理について説明する。図７は、本実施例における顔ＡＦ安定可否判定処理のフローチャートである。まず、顔追尾実行中かどうかを判定する（Ｓｔｅｐ７０１）。顔追尾実行中である場合には（Ｓｔｅｐ７０１でＹｅｓ）、山登り制限フラグをセットし（Ｓｔｅｐ７０４）、処理を終了する。顔追尾実行中でない場合には（Ｓｔｅｐ７０１でＮｏ）、顔消失処理中かどうかを判定する（Ｓｔｅｐ７０２）。これが本発明の特徴となる部分であり、顔追尾処理は、顔が検出できなくなった後、ピント合わせの追従を可能にすることができる。ただし、例えば、類似した色の特徴をもつ被写体が周囲にある場合に、誤追尾してしまったりする可能性がある。その場合、意図した被写体とは異なる背景のコントラストがない被写体に顔枠を設定してしまい、顔ＡＦ制御が不安定となってしまう可能性がある。しかも、顔追尾実行中に、山登り駆動動作モードをするような被写体の距離変化が起きた場合には、絵柄の変化が大きいために、追尾の精度自体に信頼性が低くなってくると考えられるし、逆に、山登り駆動動作モードを実行してしまうと大きく絵柄を変化させてしまい、追尾の性能を低下させてしまう可能性がある。よって、顔追尾実行中は、山登り駆動動作モードを禁止する必要がある。

【0032】

次に、顔消失処理中である場合には（Ｓｔｅｐ７０２でＹｅｓ）、山登り制限フラグをセットし（Ｓｔｅｐ７０４）、処理を終了する。顔消失処理中でない場合には（Ｓｔｅｐ７０２でＮｏ）、山登り制限フラグをクリアし（Ｓｔｅｐ７０３）、処理を終了する。これが本発明の特徴となる部分であり、顔消失処理は、顔が再度、現在位置の近傍に検出されるかもしれないことを想定して、所定期間、顔枠を維持させる。つまり、顔枠の位置に被写体が存在するとは限らない。コントラストが全くない被写体かもしれない。そのような不明瞭な状態であるために、山登りへ移行させるのは不適切である。また、現状を維持する想定であるために、ピント合わせも大きなピント変化を伴う制御を実行するべきではない。よって、顔消失中は、山登り駆動動作モードを禁止する必要がある。

【0033】

以上説明したように、本発明の実施例では、顔ＡＦ制御において、顔枠内が低コントラストとなるような撮影シーンや顔ＡＦ制御の制御状態などにおいて、山登り駆動動作モードへの移行を禁止する。このことで、安定した顔ＡＦ制御を実現し、ふわつきによる撮影者の不快感を軽減することができる。

【0034】

上記実施例の機能を実現するソフトウェアのプログラムを、記録媒体から直接或いは有線／無線通信を用いて、プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含まれる。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を構成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

【0035】

以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明はこれら特定の実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施例の一部を適宜組み合わせてもよい。

【符号の説明】

【0036】

１０５‥‥フォーカスレンズ、１０６‥‥ＣＣＤ（撮像素子）、１１３‥‥ＡＦ信号処理回路（生成手段）、１１４‥‥カメラ／ＡＦマイクロコンピュータ（制御手段）、１１６‥‥顔検出部（検出手段）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】