特許 7594396 焦点調節装置及び方法、及び撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-26

(45)【発行日】2024-12-04

(54)【発明の名称】焦点調節装置及び方法、及び撮像装置

(51)【国際特許分類】

   G02B 7/28 20210101AFI20241127BHJP

   G03B 13/32 20210101ALI20241127BHJP

   G03B 13/36 20210101ALI20241127BHJP

   H04N 23/67 20230101ALI20241127BHJP

   H04N 23/611 20230101ALI20241127BHJP

   H04N 23/667 20230101ALI20241127BHJP

【ＦＩ】

G02B7/28 N

G03B13/32

G03B13/36

H04N23/67 100

H04N23/611

H04N23/667

【請求項の数】 26

(21)【出願番号】P 2020157676

(22)【出願日】2020-09-18

(65)【公開番号】P2022051280

(43)【公開日】2022-03-31

【審査請求日】2023-09-15

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】本宮 英育

(72)【発明者】

【氏名】友定 俊彦

(72)【発明者】

【氏名】浅野 元透

(72)【発明者】

【氏名】横関 誠

【審査官】岡田 弘

(56)【参考文献】

【文献】特開２００８－１７０６４５（ＪＰ，Ａ）

【文献】国際公開第２０１４／１０９１２４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０２Ｂ ７／２８－７／４０

Ｈ０４Ｎ ５／２２２－５／２５７

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０－２３／７６

Ｈ０４Ｎ ２３／９０－２３／９５９

(57)【特許請求の範囲】

【請求項1】

撮像手段により撮影光学系を介して入射する光を光電変換して、繰り返し出力される画像信号から、主被写体の候補となる主被写体候補を検出する検出手段と、
前記主被写体候補から、前記主被写体を選択する選択手段と、
前記撮影光学系に含まれるフォーカスレンズの位置を移動させるための操作手段の操作情報を取得する取得手段と、
オートフォーカスモードが設定され、前記操作手段が操作されていない場合に、前記選択手段により選択された前記主被写体に合焦するように前記フォーカスレンズを制御する焦点調節手段と、を有し、
前記選択手段は、前記操作手段が操作されている場合に、
前記フォーカスレンズの合焦位置に基づいて前記主被写体を選択するとともに、選択した前記主被写体を固定し、
前記操作手段が操作されておらず、且つ、主被写体が固定されていない場合とは異なる条件に基づいて主被写体を選択し、
前記検出手段は、前記操作手段が操作されているか否かに応じたパラメータ設定に基づいて、主被写体の候補となる主被写体候補を検出する
ことを特徴とする焦点調節装置。

【請求項2】

前記選択手段は、前記操作手段が操作されている場合に、前記フォーカスレンズの合焦位置に最も近い主被写体候補を、前記主被写体として選択することを特徴とする請求項１に記載の焦点調節装置。

【請求項3】

前記選択手段は、前記操作手段が操作され、且つ、選択されている前記主被写体の合焦状態が、前記フォーカスレンズの焦点深度に基づいて設定された状態より低い場合に、主被写体を選択し直すことを特徴とする請求項１または２に記載の焦点調節装置。

【請求項4】

前記取得手段は、前記操作手段の操作による前記フォーカスレンズの合焦位置の移動方向を取得し、
前記選択手段は、前記合焦位置の移動方向に存在する主被写体候補から、前記主被写体を選択し直す
ことを特徴とする請求項３に記載の焦点調節装置。

【請求項5】

撮像手段により撮影光学系を介して入射する光を光電変換して、繰り返し出力される画像信号から、主被写体の候補となる主被写体候補を検出する検出手段と、
前記主被写体候補から、前記主被写体を選択する選択手段と、
前記撮影光学系に含まれるフォーカスレンズの位置を移動させるための操作手段の操作情報を取得する取得手段と、
オートフォーカスモードが設定され、前記操作手段が操作されていない場合に、前記選択手段により選択された前記主被写体に合焦するように前記フォーカスレンズを制御する焦点調節手段と、を有し、
前記検出手段は、前記操作手段が操作されているか否かに応じたパラメータ設定に基づいて、主被写体の候補となる主被写体候補を検出し、
前記選択手段は、前記操作手段が操作されている場合に、前記フォーカスレンズの合焦位置に基づいて前記主被写体を選択するとともに、選択した前記主被写体を固定する
ことを特徴とする焦点調節装置。

【請求項6】

前記選択手段は、前記操作手段が操作されている場合に、前記フォーカスレンズの合焦位置に最も近い主被写体候補を、前記主被写体として選択することを特徴とする請求項５に記載の焦点調節装置。

【請求項7】

前記選択手段は、前記操作手段が操作され、且つ、選択されている前記主被写体の合焦状態が、前記フォーカスレンズの焦点深度に基づいて設定された状態より低い場合に、主被写体を選択し直すことを特徴とする請求項５または６に記載の焦点調節装置。

【請求項8】

前記取得手段は、前記操作手段の操作による前記フォーカスレンズの合焦位置の移動方向を取得し、
前記選択手段は、前記合焦位置の移動方向に存在する主被写体候補から、前記主被写体を選択し直す
ことを特徴とする請求項７に記載の焦点調節装置。

【請求項9】

撮像手段により撮影光学系を介して入射する光を光電変換して、繰り返し出力される画像信号から、主被写体の候補となる主被写体候補を検出する検出手段と、
前記主被写体候補から、前記主被写体を選択する選択手段と、
前記撮影光学系に含まれるフォーカスレンズの位置を移動させるための操作手段の操作情報を取得する取得手段と、
オートフォーカスモードが設定され、前記操作手段が操作されていない場合に、前記選択手段により選択された前記主被写体に合焦するように前記フォーカスレンズを制御する焦点調節手段と、を有し、
前記選択手段は、前記操作手段が操作されている場合に、
前記フォーカスレンズの合焦位置に基づいて前記主被写体を選択するとともに、選択した前記主被写体を固定し、
前記操作手段が操作されておらず、且つ、主被写体が固定されていない場合とは異なる条件に基づいて主被写体を選択し、
前記検出手段は、
前記画像信号から、第１の特徴を有する第１の領域を検出する第１の検出手段と、
前記画像信号から、前記第１の領域に関係し、第２の特徴を有する第２の領域を検出する第２の検出手段と、を有し、
前記操作手段が操作されている場合、前記第１の領域が検出できていなくても、前記第２の領域が検出できていれば、前記第２の領域を前記主被写体候補とし、
前記操作手段が操作されていない場合、前記第１の領域が検出できていなくても、以前に前記第１の領域が検出できていれば、前記第２の領域を前記主被写体候補とする
ことを特徴とする焦点調節装置。

【請求項10】

前記第１の検出手段は、顔領域を検出し、前記第２の検出手段は、頭部領域を検出することを特徴とする請求項９に記載の焦点調節装置。

【請求項11】

撮像手段により撮影光学系を介して入射する光を光電変換して、繰り返し出力される画像信号から、主被写体の候補となる主被写体候補を検出する検出手段と、
前記主被写体候補から、前記主被写体を選択する選択手段と、
前記撮影光学系に含まれるフォーカスレンズの位置を移動させるための操作手段の操作情報を取得する取得手段と、
オートフォーカスモードが設定され、前記操作手段が操作されていない場合に、前記選択手段により選択された前記主被写体に合焦するように前記フォーカスレンズを制御する焦点調節手段と、を有し、
前記選択手段は、
前記操作手段が操作されている場合に、
前記フォーカスレンズの合焦位置に基づいて前記主被写体を選択するとともに、選択した前記主被写体を固定し、
前記操作手段が操作されておらず、且つ、主被写体が固定されていない場合とは異なる条件に基づいて主被写体を選択し、
前記検出手段は、
前記画像信号から、第１の特徴を有する第１の領域を検出する第１の検出手段と、
前記画像信号から、前記第１の領域に関係し、第２の特徴を有する第２の領域を検出する第２の検出手段と、を有し、
前記第１の領域および前記第２の領域の情報に基づいて、前記主被写体候補を検出し、
前記第１の検出手段は、前記操作手段が操作されている場合と、操作されていない場合とで、検出のし易さが異なるパラメータ設定にて前記第１の領域を検出する
ことを特徴とする焦点調節装置。

【請求項12】

前記パラメータ設定は大きさを含み、前記操作手段が操作されている場合に、前記操作手段が操作されていない場合よりも、前記第１の領域として検出する領域の大きさの下限を小さくすることを特徴とする請求項１１に記載の焦点調節装置。

【請求項13】

前記パラメータ設定は前記第１の領域を検出する画像の範囲を含み、前記第１の検出手段は、前記操作手段が操作されている場合に、前記操作手段が操作されていない場合よりも、より広い範囲で前記第１の領域を検出することを特徴とする請求項１１または１２に記載の焦点調節装置。

【請求項14】

前記パラメータ設定は信頼性を含み、前記操作手段が操作されている場合に、前記操作手段が操作されていない場合よりも、前記第１の領域として検出する領域の信頼性の下限を低くすることを特徴とする請求項１１乃至１３のいずれか１項に記載の焦点調節装置。

【請求項15】

前記検出手段は、前記操作手段が操作されている場合に、前記第１の領域および前記第２の領域の少なくともいずれか一方に含まれる被写体を主被写体候補として検出し、前記操作手段が操作されていない場合に、前記第１の領域に含まれる被写体および過去に主被写体候補として検出された前記第２の領域に含まれる被写体を主被写体候補として検出することを特徴とする請求項９乃至１４のいずれか１項に記載の焦点調節装置。

【請求項16】

前記撮像手段から出力された画像信号に基づいて、画像を表示する表示手段を更に有し、
オートフォーカスモードが設定され、且つ、前記操作手段が操作されていない場合に、前記表示手段に表示された画像上に、前記選択手段により選択された主被写体を示す第１の表示を行い、
前記操作手段が操作されている場合に、前記表示手段に表示された画像上に、前記第１の表示と、前記検出手段により検出された主被写体候補を示す第２の表示とを行う
ことを特徴とする請求項１乃至１５のいずれか１項に記載の焦点調節装置。

【請求項17】

前記検出手段により前記主被写体候補として検出されてから、前記第２の表示を行う時間を、前記主被写体候補ごとにそれぞれ設定する設定手段を更に有することを特徴とする請求項１６に記載の焦点調節装置。

【請求項18】

請求項１乃至１７のいずれか１項に記載の焦点調節装置と、
前記撮像手段と
を有することを特徴とする撮像装置。

【請求項19】

前記撮影光学系を更に有することを特徴とする請求項１８に記載の撮像装置。

【請求項20】

前記撮影光学系が着脱可能であることを特徴とする請求項１８に記載の撮像装置。

【請求項21】

撮像手段により撮影光学系を介して入射する光を光電変換して、繰り返し出力される画像信号から、主被写体の候補となる主被写体候補を検出する検出工程と、
前記主被写体候補から、前記主被写体を選択する選択工程と、
前記撮影光学系に含まれるフォーカスレンズの位置を移動させるための操作手段の操作情報を取得する取得工程と、
オートフォーカスモードが設定され、前記操作手段が操作されていない場合に、前記選択工程で選択された前記主被写体に合焦するように前記フォーカスレンズを制御する焦点調節工程と、を有し、
前記選択工程では、前記操作手段が操作されている場合に、
前記フォーカスレンズの合焦位置に基づいて前記主被写体を選択するとともに、選択した前記主被写体を固定し、
前記操作手段が操作されておらず、且つ、主被写体が固定されていない場合とは異なる条件に基づいて主被写体を選択し、
前記検出工程では、前記操作手段が操作されているか否かに応じたパラメータ設定に基づいて、主被写体の候補となる主被写体候補を検出する
ことを特徴とする焦点調節方法。

【請求項22】

撮像手段により撮影光学系を介して入射する光を光電変換して、繰り返し出力される画像信号から、主被写体の候補となる主被写体候補を検出する検出工程と、
前記主被写体候補から、前記主被写体を選択する選択工程と、
前記撮影光学系に含まれるフォーカスレンズの位置を移動させるための操作手段の操作情報を取得する取得工程と、
オートフォーカスモードが設定され、前記操作手段が操作されていない場合に、前記選択工程で選択された前記主被写体に合焦するように前記フォーカスレンズを制御する焦点調節工程と、を有し、
前記検出工程では、前記操作手段が操作されているか否かに応じたパラメータ設定に基づいて、主被写体の候補となる主被写体候補を検出し、
前記選択工程では、前記操作手段が操作されている場合に、前記フォーカスレンズの合焦位置に基づいて前記主被写体を選択するとともに、選択した前記主被写体を固定する
ことを特徴とする焦点調節方法。

【請求項23】

撮像手段により撮影光学系を介して入射する光を光電変換して、繰り返し出力される画像信号から、主被写体の候補となる主被写体候補を検出する検出工程と、
前記主被写体候補から、前記主被写体を選択する選択工程と、
前記撮影光学系に含まれるフォーカスレンズの位置を移動させるための操作手段の操作情報を取得する取得工程と、
オートフォーカスモードが設定され、前記操作手段が操作されていない場合に、前記選択工程で選択された前記主被写体に合焦するように前記フォーカスレンズを制御する焦点調節工程と、を有し、
前記選択工程では、前記操作手段が操作されている場合に、
前記フォーカスレンズの合焦位置に基づいて前記主被写体を選択するとともに、選択した前記主被写体を固定し、
前記操作手段が操作されておらず、且つ、主被写体が固定されていない場合とは異なる条件に基づいて主被写体を選択し、
前記検出工程は、
前記画像信号から、第１の特徴を有する第１の領域を検出する第１の検出工程と、
前記画像信号から、前記第１の領域に関係し、第２の特徴を有する第２の領域を検出する第２の検出工程と、を有し、
前記操作手段が操作されている場合、前記第１の領域が検出できていなくても、前記第２の領域が検出できていれば、前記第２の領域を主被写体候補とし、
前記操作手段が操作されていない場合、前記第１の領域が検出できていなくても、以前に前記第１の領域が検出できていれば、前記第２の領域を前記主被写体候補とする
ことを特徴とする焦点調節方法。

【請求項24】

撮像手段により撮影光学系を介して入射する光を光電変換して、繰り返し出力される画像信号から、主被写体の候補となる主被写体候補を検出する検出工程と、
前記主被写体候補から、前記主被写体を選択する選択工程と、
前記撮影光学系に含まれるフォーカスレンズの位置を移動させるための操作手段の操作情報を取得する取得工程と、
オートフォーカスモードが設定され、前記操作手段が操作されていない場合に、前記選択工程で選択された前記主被写体に合焦するように前記フォーカスレンズを制御する焦点調節工程と、を有し、
前記選択工程では、前記操作手段が操作されている場合に、
前記フォーカスレンズの合焦位置に基づいて前記主被写体を選択するとともに、選択した前記主被写体を固定し、
前記操作手段が操作されておらず、且つ、主被写体が固定されていない場合とは異なる条件に基づいて主被写体を選択し、
前記検出工程は、
前記画像信号から、第１の特徴を有する第１の領域を検出する第１の検出工程と、
前記画像信号から、前記第１の領域に関係し、第２の特徴を有する第２の領域を検出する第２の検出工程と、
前記第１の領域および前記第２の領域の情報に基づいて、前記主被写体候補を検出する第３の検出工程と、を有し、
前記第１の検出工程では、前記操作手段が操作されている場合と、操作されていない場合とで、検出のし易さが異なるパラメータ設定にて前記第１の領域を検出する
ことを特徴とする焦点調節方法。

【請求項25】

コンピュータを、請求項１乃至１７のいずれか１項に記載の焦点調節装置の各手段として機能させるためのプログラム。

【請求項26】

請求項２５に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、焦点調節装置及び方法、及び撮像装置に関する。

【背景技術】

【0002】

従来のオートフォーカス（ＡＦ）制御において、合焦したい被写体に対して、ユーザーがＡＦ枠を指定しなければならないことがあった。しかしながら、例えば、取材等で使用される肩担ぎタイプのカメラ等では、ＡＦ枠を操作するための操作装置を操作者が操作し易い場所に設置することが難しいことがある。

【0003】

そこで、特許文献１には、操作者が行うマニュアルフォーカス（ＭＦ）操作によってピントが合わせられた被写体に対して、ＡＦ枠を自動で設定する技術が開示されている。

【0004】

さらに、特許文献２には、操作者が行うマニュアルフォーカス操作の結果、ピントが合わせられた位置が顔検出領域内であれば、顔が検出されれば顔に、顔が検出されなければ顔以外の被写体にＡＦ枠を設定して、自動追尾及びＡＦを行う技術が開示されている。

【0005】

一方、画像から特定の被写体を自動的に検出する画像処理が知られている。例えば、デジタルカメラやデジタルビデオカメラでは、撮影画像から特に人物の顔を検出し、その検出結果を制御対象として、焦点や露出を最適化させることが行われている。しかしながら、一般的な顔検出技術では、人物が後ろ向きや顔に装飾品を付けている場合等、顔の特徴が十分に得られない場合は、安定した検出ができなくなる。

【0006】

そこで、特許文献３では、画像から人物の上半身や頭部部分を検出し、人物の上半身や頭部の領域、あるいはこれらの検出結果から推定した顔の領域を制御対象とする方法が提案されている。この方法であれば、人物が後ろ向きや顔に装飾品を付けている場合であっても、人物の顔領域を安定して特定することができる。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２０１０－９７１６７号公報

【文献】特許第５４７４５２８号公報

【文献】特開２０１７－１２６９１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、ＭＦ操作で、ピント合わせを行うには、熟練した技術が必要であり、合焦位置まで滑らかにフォーカスレンズを移動させるのは難しい。さらに、近年、画素数の増加により、４Ｋ、８Ｋの解像度になってきており、カメラに付属されたモニタで合焦位置を確認するのは、非常に困難になっている。そのため、特許文献２に記載された技術のように、操作者がマニュアルフォーカス操作を行い、顔に対して略合焦状態になるまで操作するのは、ピント合わせの技術という点と、解像度によるボケの発生という点で、動画の品位が低下する可能性がある。

【0009】

一方、特許文献３に記載された顔検出技術を用いて被写体追従を行う方法では、ユーザーが画面内の追尾被写体と異なる任意の被写体に合焦させたい場合に、変更することができない。

【0010】

本発明は上記問題点を鑑みてなされたものであり、焦点を合わせる主被写体を自動的に決定すると共に、ユーザーの意図に応じて柔軟に主被写体を変更できるようにすることを目的とする。

【課題を解決するための手段】

【0011】

上記目的を達成するために、本発明の焦点調節装置は、撮像手段により撮影光学系を介して入射する光を光電変換して、繰り返し出力される画像信号から、主被写体の候補となる主被写体候補を検出する検出手段と、
前記主被写体候補から、前記主被写体を選択する選択手段と、
前記撮影光学系に含まれるフォーカスレンズの位置を移動させるための操作手段の操作情報を取得する取得手段と、
オートフォーカスモードが設定され、前記操作手段が操作されていない場合に、前記選択手段により選択された前記主被写体に合焦するように前記フォーカスレンズを制御する焦点調節手段と、を有し、前記選択手段は、前記操作手段が操作されている場合に、前記フォーカスレンズの合焦位置に基づいて前記主被写体を選択するとともに、選択した前記主被写体を固定し、前記操作手段が操作されておらず、且つ、主被写体が固定されていない場合とは異なる条件に基づいて主被写体を選択し、
前記検出手段は、前記操作手段が操作されているか否かに応じたパラメータ設定に基づいて、主被写体の候補となる主被写体候補を検出することを特徴とする。

【発明の効果】

【0012】

本発明によれば、焦点を合わせる主被写体を自動的に決定すると共に、ユーザーの意図に応じて柔軟に主被写体を変更することが可能となる。

【図面の簡単な説明】

【0013】

【図1】本発明の第１の実施形態におけるデジタルビデオカメラシステムの構成を示すブロック図。

【図2】第１の実施形態における焦点調節処理のフローチャート。

【図3】第１の実施形態におけるパラメータ設定処理のフローチャート。

【図4】第１の実施形態における焦点検出枠設定処理を説明する図。

【図5】第１の実施形態における主被写体候補判定処理のフローチャート。

【図6】第１の実施形態における主被写体変更処理のフローチャート。

【図7】第１の実施形態における切り替わり被写体特定処理のフローチャート。

【図8】第１の実施形態における主被写体ロック判定処理のフローチャート。

【図9】第１の実施形態におけるＭＦ操作中とＭＦ操作中でない場合に検出される被写体を示す枠表示の一例を示す概念図。

【図10】第１の実施形態におけるＭＦ操作中とＭＦ操作中でない場合の主被写体と主被写体候補を示す枠表示の一例を示す概念図。

【図11】第１の実施形態における主被写体候補及び主被写体を示す枠表示の例を示す概念図。

【図12】第２の実施形態における主被写体候補判定処理のフローチャート。

【図13】第２の実施形態における主被写体候補リセット時間設定処理を示すフローチャート。

【図14】第２の実施形態における主被写体用リセット時間調整処理を示すフローチャート。

【図15】第２の実施形態における主被写体候補用リセット時間調整処理を示すフローチャート。

【図16】第２の実施形態における主被写体用リセット時間及び主被写体候補用リセット時間を調整するエリア及び被写体間の距離を示す概念図。

【発明を実施するための形態】

【0014】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0015】

＜第１の実施形態＞
以下、本発明の第１の実施形態について詳細に説明する。なお、以下の実施形態では、撮像装置としてデジタルビデオカメラシステムを例に説明するが、これに限定されるものではない。

【0016】

図１は、本発明の実施形態におけるレンズ交換式のデジタルビデオカメラシステムの構成を示すブロック図である。本実施形態におけるカメラシステムは、レンズユニット１０及びカメラ本体２０から構成され、レンズユニット１０全体の動作を統括制御するレンズ制御部１０６と、カメラシステム全体の動作を統括するカメラ制御部２０７がデータを通信している。本実施形態において、カメラ制御部２０７は、ＣＰＵ、ＭＰＵ等のプロセッサとメモリ等の記憶手段とで構成される。また、カメラ制御部２０７は演算回路を備え、該演算回路でプロセッサが行う一部の演算機能を実行してもよい。なお、本実施形態ではレンズユニット１０がカメラ本体２０から着脱可能なレンズ交換式のカメラシステムを例に説明するが、レンズと一体型のカメラにおいても本発明を適用可能である。

【0017】

まず、レンズユニット１０の構成について説明する。レンズユニット１０は、固定レンズ１０１、ズームレンズ１０８、絞り１０２、フォーカスレンズ１０３を備えて構成される撮影光学系を有する。絞り１０２は、絞り駆動部１０４によって駆動され、後述する撮像素子２０１への入射光量を制御する。フォーカスレンズ１０３は、フォーカスレンズ駆動部１０５によって駆動され、焦点調節を行う。ズームレンズ１０８は、ズームレンズ駆動部１０９によって駆動されることにより、ズーム倍率の調節を行う。なお、ズーム機能が無いレンズユニット１０を用いてもよい。

【0018】

絞り駆動部１０４、フォーカスレンズ駆動部１０５、ズームレンズ駆動部１０９はレンズ制御部１０６によって制御され、絞り１０２の開口量や、フォーカスレンズ１０３及びズームレンズ１０８の位置が決定される。ユーザーによりレンズ操作部１０７を介して絞りやフォーカス、ズーム等の操作が行われた場合には、レンズ制御部１０６がユーザー操作に応じた制御を行う。また、レンズ制御部１０６は、後述するカメラ制御部２０７から受信した制御命令及び制御情報に応じて、絞り駆動部１０４やフォーカスレンズ駆動部１０５、ズームレンズ駆動部１０９の制御を行う。更に、レンズ制御部１０６は、レンズ情報（例えば、ＭＦ操作情報や撮影光学系についての情報）をカメラ制御部２０７に送信する。

【0019】

次に、カメラ本体２０の構成について説明する。カメラ本体２０は、レンズユニット１０の撮影光学系を通過した光束から、画像信号及びＡＦ用信号を取得可能に構成されている。撮像素子２０１は、ＣＣＤやＣＭＯＳセンサ等を用いて構成される。撮影光学系を通過した光束が撮像素子２０１の受光面上に入射し、形成された被写体像がフォトダイオードによって入射光量に応じた電荷に変換（光電変換）される。各フォトダイオードに蓄積された電荷は、カメラ制御部２０７の指令に従ってタイミングジェネレータ２０９から与えられる駆動パルスに基づいて、電荷に応じた電圧信号が、画像信号及びＡＦ用信号として撮像素子２０１から順次読み出される。

【0020】

撮像素子２０１から読み出された画像信号及びＡＦ用信号は、ＣＤＳ／ＡＧＣ回路２０２に入力され、リセットノイズを除去する為の相関二重サンプリング、ゲインの調節、信号のデジタル化が行われる。そして、ＣＤＳ／ＡＧＣ回路２０２は、得られた画像データをカメラ信号処理部２０３、顔領域検出部２１０及び頭部領域検出部２１１に、ＡＦ用データをＡＦ信号処理部２０４にそれぞれ出力する。

【0021】

カメラ信号処理部２０３は、ＣＤＳ／ＡＧＣ回路２０２から出力された画像データを表示部２０５に送信する。表示部２０５は、ＬＣＤや有機ＥＬ等を用いて構成される表示デバイス（表示部材）であり、画像データに基づく画像を表示する。また、画像の記録を行うモードの時には、画像データは記録部２０６に記録される。

【0022】

ＡＦ信号処理部２０４は、ＣＤＳ／ＡＧＣ回路２０２から出力されたＡＦ用データに基づいて、公知の手法により、焦点状態と信頼性に関する情報を算出する。信頼性に関する情報としては、コントラスト情報、飽和情報、キズ情報等、また、いわゆる像面位相差方式に対応した撮像素子２０１である場合には、二像一致度、二像急峻度等を用いることができる。そして、算出した焦点状態と信頼性情報とをカメラ制御部２０７へ出力する。

【0023】

顔領域検出部２１０（第１の検出手段）は、ＣＤＳ／ＡＧＣ回路２０２から出力された画像データに対して公知の顔検出処理を施し、撮影画面内の人物の顔領域（第１の領域）を検出する。すなわち、顔領域検出部２１０は、画像データから予め定められた被写体（ここでは顔）を検出する。得られた顔検出結果はカメラ制御部２０７に送信される。顔領域検出部２１０が行う顔検出処理としては、例えば、画像データで表される各画素の階調色から肌色領域を抽出し、予め用意した顔の輪郭プレートとのマッチング度で顔を検出する方法がある。他に、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔検出を行う方法等があるが、本発明は顔検出処理の方法により制限されるものではなく、どのような方法を用いてもよい。また、顔に限るものではなく、人物の顔以外の被写体であってもよい。

【0024】

頭部領域検出部２１１（第２の検出手段）は、目的とする被写体領域を顔領域検出部２１０により検出する顔領域（第１の領域）に関係した領域である頭部領域（第２の領域）として、画像中から検出する。すなわち、頭部領域検出部２１１は、画像データから、顔領域検出部２１０により検出した予め決められた被写体に関係した、予め定められた被写体（ここでは頭部）を検出する。本実施形態における頭部領域検出では、学習データに基づいて画像データから頭部領域を検出し、検出結果はカメラ制御部２０７に送信される。

【0025】

カメラ制御部２０７は、顔領域検出部２１０の顔検出結果及び頭部領域検出部２１１の頭部検出結果に基づき、撮影画面内の顔領域及び頭部領域を含む位置に焦点検出領域を設定するようにＡＦ信号処理部２０４へ情報を送信する。本第１の実施形態では、顔が検出されている場合は、顔領域の位置及びサイズに基づいて焦点検出領域を設定する。一方、顔が検出されておらず、頭部領域のみ検出されている場合は、頭部領域の位置及びサイズに基づいて焦点検出領域を設定する。なお、頭部領域のみ検出されている場合は、頭部検出結果から被写体の顔領域の位置及びサイズを推定し、その推定位置及びサイズに基づいて焦点検出領域を設定するようにしてもよい。

【0026】

また、カメラ制御部２０７は、カメラ本体２０内の各構成と情報をやり取りして制御を行うと共に、カメラ本体２０内の処理だけでなく、カメラ操作部２０８からの入力に応じて、ユーザーが操作したカメラ機能を実行する。ユーザーにより操作されるカメラの機能は、例えば、電源のＯＮ／ＯＦＦ、設定の変更、記録の開始、ＡＦ（オートフォーカス）／ＭＦ（マニュアルフォーカス）制御の切り替え、記録画像の確認等を含む。また、上述したように、カメラ制御部２０７は、レンズユニット１０内のレンズ制御部１０６と情報をやり取りし、撮影光学系の制御命令や制御情報を送ったり、レンズユニット１０内の情報を取得したりする。また、レンズ制御部１０６からのレンズユニット１０内の情報と、ＡＦ信号処理部２０４からの焦点状態と信頼性情報とを用いて、合焦状態にするためのフォーカスレンズ１０３の駆動量を算出する処理も行う。

【0027】

また、カメラ制御部２０７は、主被写体候補判定部２２０、主被写体ロック部２２１、主被写体候補リセット判定部２２２を備える。主被写体候補判定部２２０は、顔領域検出部２１０により得られた顔検出結果及び頭部領域検出部２１１により得られた頭部検出結果に基づき、主被写体の候補となり得るかどうかを判定する。そして、主被写体の候補と判定した被写体の中から、後述する主被写体決定処理により主被写体を選択するとともに、主被写体及び主被写体候補であることを示す枠表示を撮影画像上に重畳させる処理を行い、表示部２０５等に表示する。

【0028】

次に、第１の実施形態における焦点調節処理について、図２を用いて説明する。第１の実施形態における焦点調節処理は、顔領域検出部２１０及び頭部領域検出部２１１による顔領域及び頭部領域の検出結果に基づいた制御に特徴がある。なお、この焦点調節処理は、カメラ制御部２０７内に格納されたコンピュータプログラムに従って実行される。また、以下に説明する一連の焦点調節処理は、撮像周期に同期して行うシステムを想定しているが、これに限らなくてもよい。

【0029】

まずＳ２０１において、顔領域検出部２１０は、被写体検出に使用するパラメータを設定する、被写体検出用のパラメータ設定処理を行う。なお、パラメータ設定処理の詳細については、図３を用いて後述する。そして、ＡＦかＭＦかに応じて、設定されたパラメータを用いて、顔領域検出部２１０による顔領域の検出及び頭部領域検出部２１１による頭部領域の検出を行う。その後、Ｓ２０２に遷移する。

【0030】

次に、Ｓ２０２において、ＡＦ信号処理部２０４は、ＣＤＳ／ＡＧＣ回路２０２から出力されたＡＦ用信号に対して焦点検出枠を設定する、焦点検出枠設定処理を行うと共に、設定した焦点検出枠毎に焦点状態を検出する。なお、ここで行われる焦点検出枠設定処理については、図４を用いて後述する。その後、Ｓ２０３に遷移する。

【0031】

Ｓ２０３では、顔領域検出部２１０による顔検出結果、頭部領域検出部２１１による頭部検出結果、及び追尾探索結果を取得し、被写体情報を生成して、Ｓ２０４に遷移する。なお、ここで生成する被写体情報は、検出ＩＤ、顔検出結果、頭部検出結果、追尾探索結果、被写体領域の位置及びサイズ、主被写体候補フラグ、主被写体フラグ、主被写体ロックフラグ、焦点検出結果の情報を含む。

【0032】

検出ＩＤは、カメラ制御部２０７が、取得した顔検出結果と頭部検出結果に基づいて被写体を検出し、検出した被写体に付与するものである。その際に、カメラ制御部２０７は、顔領域と頭部領域を判定し、同じ被写体のものと判定された顔領域と頭部検出結果に同じ検出ＩＤを割り当てる。更に、現フレームで検出された被写体と同じ被写体が、前フレームでも検出されているかどうかを判断する追尾探索処理を行う。この追尾探索処理は、例えば、前フレームの画像を用いて、テンプレートマッチングやヒストグラムマッチング等の公知の手法を用いて行うことができる。追尾探索処理の結果、前フレームの画像中に同じ被写体があると判断された場合、その被写体に付与した検出ＩＤと同じ検出ＩＤを現フレームで検出された被写体に割り当てる。

【0033】

顔検出結果は、顔領域検出部２１０により検出された顔領域の位置及びサイズに関する情報、頭部検出結果は、頭部領域検出部２１１により検出された頭部領域の位置及びサイズに関する情報である。なお、顔検出結果及び頭部検出結果の代わりに、該当する情報が存在するか否かを示す情報と、存在する場合に該当する情報にアクセスするためのリンクを保持するようにしてもよい。

【0034】

追尾探索結果は、上述した追尾探索処理により前フレームの画像中に同じ被写体があったか否かの情報を示す。

【0035】

被写体領域は、顔検出結果及び頭部検出結果に基づいて判断された、被写体の位置及びサイズに関する情報を示す。

【0036】

主被写体候補フラグは、後述するＳ２０４における主被写体候補判定処理によって、付加される情報を示す。主被写体フラグは、後述するＳ２０６で行われる主被写体変更処理、及び、Ｓ２０８で行われる主被写体ロック判定処理によって付加される情報であり、１つの被写体に対してのみ設定される。主被写体ロックフラグも、後述するＳ２０６で行われる主被写体変更処理、及び、Ｓ２０８で行われる主被写体ロック判定処理によって付加される情報であり、主被写体フラグを固定するときに使うフラグである。なお、これらのフラグの情報は、前フレームの画像中に同じ被写体がある場合に、同じ検出ＩＤにおける情報がＳ２０３において引き継がれる。

【0037】

焦点検出結果は、Ｓ２０２において検出された焦点状態を示す。

【0038】

Ｓ２０４では、カメラ制御部２０７において、Ｓ２０３で検出された被写体のうち、主被写体の候補を判定して主被写体候補フラグを設定する、主被写体候補判定処理を行う。この処理は、図５を用いて後述する。その後、Ｓ２０５に遷移する。

【0039】

Ｓ２０５では、ＭＦ操作中かどうかを判断する。ＭＦの操作情報は、レンズ操作部１０７またはカメラ操作部２０８によって取得でき、基本的に以下に示す３つのパターンがある。

【0040】

（１）ＭＦに設定して、レンズユニット１０を直接操作するパターン
レンズ操作部１０７によって、レンズユニット１０につけられた、不図示のＡＦとＭＦのスイッチを切り替えること、または、カメラ操作部２０８によってカメラのメニューから不図示のＡＦモード（オートフォーカスモード）とＭＦモード（マニュアルフォーカスモード）とを切り替えることで、レンズをＭＦ操作可能にした状態に設定する。その状態で、レンズ操作部１０７を直接操作して、フォーカスレンズ駆動部１０５を駆動させる。

【0041】

（２）ＭＦに設定して、カメラ本体２０からレンズユニット１０を操作するパターン
カメラ操作部２０８から、カメラ本体２０のメニューを通して、不図示のＭＦモードへの切り替えを行い、レンズユニット１０をＭＦ操作可能にした状態に設定する。その状態で、ユーザーがマニュアル操作の駆動情報を設定し、その情報を、カメラ制御部２０７を介して、レンズ制御部１０６に送信することで、フォーカスレンズ駆動部１０５を駆動させる。

【0042】

（３）ＡＦ設定のまま、レンズユニット１０を直接操作するパターン
レンズユニット１０及びカメラ本体２０はＡＦ設定のまま、レンズ操作部１０７を直接操作することで、フォーカスレンズ駆動部１０５を駆動させる。なお、この状態の場合、操作が終了するとＡＦに戻る。

【0043】

ＭＦ操作中である場合は、Ｓ２０６に遷移し、そうでない場合は、Ｓ２０７に遷移する。

【0044】

Ｓ２０６では、主被写体候補フラグが設定された被写体の中から、ユーザーが撮影したい被写体を特定して主被写体フラグを設定する、主被写体変更処理を行う。この処理については、図６を用いて後述する。その後、Ｓ２１１に遷移する。

【0045】

一方、Ｓ２０７では、カメラ操作部２０８からユーザーの被写体指定指示があったか否かを判断する。被写体指定指示があったと判断した場合はＳ２０８に遷移し、そうでない場合は、Ｓ２０９に遷移する。なお、被写体指定方法としては、例えば、タッチパネルにより指定する方式や、十字キーのように方向や押し込みを検出することで指定する方法が考えられる。

【0046】

Ｓ２０８では、主被写体ロック部２２１による主被写体ロック処理を行う。主被写体ロック処理は、Ｓ２０４で決定した主被写体候補の結果に拠らず、ユーザー指示に基づいて主被写体を決定する処理である。なお、この処理は、図８を用いて後述する。その後、Ｓ２１１に遷移する。

【0047】

Ｓ２０９では、Ｓ２０８において後述する処理により設定される主被写体ロックフラグの有無を判定することにより、主被写体がロックされていないかどうかを判定する。主被写体がロックされていない場合はＳ２１０に遷移し、ロックされている場合は、Ｓ２１１に遷移する。

【0048】

Ｓ２１０では、Ｓ２０４における主被写体候補判定処理において決定された主被写体候補の中から、人物の位置やサイズに基づいて主被写体を決定する。なお、主被写体を決定するためのパラメータとして、位置やサイズだけでなく、顔検出及び頭部検出の結果の信頼度や向き、顔及び頭部の両方が検出されているか、いずれか一方のみ検出されているか等に応じて決定してもよい。また、主被写体候補の中から公知のアルゴリズムを用いて主被写体を決定してもよい。

【0049】

Ｓ２１１では、表示部２０５に、主被写体候補フラグが設定された被写体に枠を表示し、ユーザーに通知する枠表示処理を行う。具体的には、Ｓ２０６、Ｓ２０８、Ｓ２１０で決定した主被写体に対して、主被写体であることを示す主被写体枠を顔または頭部部分に表示する。また、主被写体候補フラグがＯＮである被写体の中で、主被写体フラグがＯＮでない顔または頭部部分に、主被写体候補であることを示す候補枠を表示する。さらに、主被写体ロックフラグがＯＮの場合には、主被写体枠のみを表示し、主被写体以外の主被写体候補フラグがＯＮの顔または頭部部分に候補枠を表示しない。

【0050】

Ｓ２１２では、ＭＦが設定されているか、またはＭＦ操作中であるかどうかを判断する。ＭＦが設定されているか、ＭＦ操作中の場合、Ｓ２１３に進んで主被写体フラグがＯＮである主被写体の焦点検出結果に基づいて、レンズ制御部１０６にフォーカスレンズ１０３の駆動命令を送るレンズ制御処理を行う。主被写体フラグがＯＮの被写体が無い場合は、例えば、画面中央に焦点検出枠を設定し、その焦点検出結果等に基づいてレンズ制御処理を行う。なお、焦点検出方法及びレンズ制御処理に関しては、従来の方法を用いればよいため、ここでは詳細な説明を省略する。

【0051】

なお、ＭＦが設定されている場合、またはＭＦ操作中の場合は、ユーザーがフォーカスレンズ１０３を操作しているため、そのまま処理を終了する。

【0052】

続いて、図３を用いて、Ｓ２０１で行われるパラメータ設定処理について説明する。パラメータ設定処理は、顔領域検出部２１０において参照されるパラメータを設定する処理である。本実施形態では、ＭＦ操作中とＭＦ操作中でない場合とで閾値の設定を異ならせ、ＭＦ操作中は、ユーザーが狙った被写体を検出させるために、小さい顔や信頼度が低い顔でも検出し易くする。

【0053】

まず、Ｓ３０１において、ＭＦ操作中か否かを判断する。なお、ここでの判断は、上述した３つのパターンのいずれかによる操作が行われているかどうかを判断することにより行う。ＭＦ操作中であればＳ３０２に遷移し、そうでない場合はＳ３０５に遷移する。

【0054】

Ｓ３０２では、検出できる最小顔サイズの閾値FaceTh1を設定する。例えば、撮像素子２０１上の画素サイズで設定した場合、１５ピクセル以上の顔を検出したい場合は、「１５」と設定する。

【0055】

次にＳ３０３では、顔検出の信頼度の閾値RelianceTh1を設定する。例えば、顔検出結果の信頼度が１０段階で出力される場合であって、信頼度が３以上の顔を検出したい場合は、「３」と設定する。

【0056】

そして、Ｓ３０４において顔検出の範囲の閾値AreaTh1を設定し、処理を終了する。例えば、顔検出の対象範囲を画面の９０％で検出したい場合は、「９０」と設定する。

【0057】

一方、Ｓ３０１でＭＦ操作中ではないと判断された場合にはＳ３０５に遷移して、検出できる最小顔サイズの閾値FaceTh2を設定する。例えば、撮像素子２０１上の画素サイズで設定した場合、２５ピクセル以上の顔を検出したい場合は、「２５」と設定する。

【0058】

次に、Ｓ３０６では、顔検出の信頼度の閾値RelianceTh2を設定する。例えば、顔検出結果の信頼度が１０段階で出力される場合であって、信頼度が６以上の顔を検出したい場合は、「６」と設定する。

【0059】

そして、Ｓ３０７において顔検出の範囲の閾値AreaTh2を設定し、処理を終了する。例えば、顔検出の対象範囲を画面の８０％で検出したい場合は、「８０」と設定する。

【0060】

なお、上記の閾値の関係は、FaceTh1＜FaceTh2、RelianceTh1＜RelianceTh2、AreaTh1＞AreaTh2として、ＭＦ時に顔検出をよりし易い設定にする。このように、ＭＦ操作中は、ＭＦ操作中でない場合よりも、最小顔サイズの下限を小さくし、顔検出の信頼度の下限を低くし、顔検出範囲を広くする。

【0061】

上記のようにパラメータを設定した場合に得られる被写体検出結果について、図９を用いて説明する。図９（ａ）は、ＭＦ操作中でなく、画面に被写体９０１、９０２を含む場合を示している。この場合、被写体９０１は被写体検出により検出されるが、被写体９０２は、Ｓ３０５で設定される最小顔サイズの閾値FaceTh2よりも顔が小さいため検出されない。更に、被写体９０２は、画面周辺に位置しており、Ｓ３０７で設定される顔検出の範囲の閾値AreaTh2よりも外側にある場合には、そもそも主被写体になる可能性が低いため、被写体検出自体が行われないように制限される。

【0062】

このような被写体検出結果に基づいて、Ｓ２０８またはＳ２１０における処理により、被写体９０１が主被写体として判定された場合、Ｓ２１１において、被写体９０１に主被写体であることを示す主被写体枠９０３が表示される。一方、被写体９０２には、枠表示はなされない。また、被写体９０１のみが焦点検出処理の対象となる。

【0063】

図９（ｂ）は、同じ被写体で、ＭＦ操作中である場合を示している。ＭＦ操作中の場合、ユーザーが意図的に、被写体９０２に対して、フォーカス操作を行う可能性がある。そのため、顔検出の閾値を下げ、顔検出範囲を広げて、顔検出がし易い状態に変更することで、被写体９０１及び９０２が共に検出される。

【0064】

このような被写体検出結果に基づいて、Ｓ２０６における処理により、被写体９０１が主被写体として判定された場合、Ｓ２１１において、被写体９０１に主被写体を示す主被写体枠９０３が表示される。また、被写体９０２には、候補枠９０４が表示されると共に、被写体９０１及び９０２が共に焦点検出処理の対象となる。このように、ＭＦ操作中は、ＭＦ操作中でない場合に主被写体の候補にしていなかった被写体に対しても焦点検出処理の対象とすることで、ユーザーの意図を反映させた主被写体の切り替えが可能になる。

【0065】

続いて、図４を用いて、Ｓ２０２で行われる焦点検出枠設定処理について説明する。焦点検出枠設定処理は、撮像面上に、メッシュ状に焦点検出枠を設定する処理であり、その各々の枠から得られるＡＦ用信号に基づいて、焦点検出が行われる。

【0066】

本実施形態では、ＭＦ操作中かＭＦ操作中でないかにより焦点検出枠の設定方法が異なる。Ｓ２０２では、上述したパターン（１）から（３）のうち、いずれかのパターンによるＭＦ操作が検出されるとＭＦ操作中と判断し、ＭＦ操作中とそうでない場合とでそれぞれに対応した焦点検出枠を設定する。

【0067】

図４において、被写体４０１、４０２、４０３は、Ｓ２０１で設定されたパラメータを用いて、Ｓ２０２において顔領域検出部２１０及び頭部領域検出部２１１により検出された被写体の例を示す。図４（ａ）は、ＭＦ操作中でない場合の焦点検出枠の設定方法を示しており、被写体４０１、４０２、４０３に対して、被写体の大きさに応じた焦点検出枠４０５、４０６、４０７を設定する。この設定方法は、以下のメリットを有する。
・被写体以外の不要部分を排除した効率の良い焦点検出処理が可能。
・被写体のサイズに応じて、枠のサイズを可変にしているため、小さい顔に対して、大きな焦点検出枠を設定することなく、枠内の遠近競合を低減することで、安定した焦点検出結果が得られる。

【0068】

なお、図４（ａ）に示す例では、説明のため焦点検出枠をそれぞれの被写体に対して設定しているが、ＭＦ操作中でない場合、主被写体フラグがＯＮになっている被写体に対してのみ焦点調整を行うので、焦点検出枠は１つ設定すれば良い。

【0069】

図４（ｂ）は、ＭＦ操作中の焦点検出枠の設定方法を示す。ＭＦ操作中の場合、被写体検出結果にかかわらず、画面中央を中心としてメッシュ状の枠４０８を設定する。この設定方法は、以下のメリットを有する。
・複数の被写体の焦点検出結果を１度に取得できる。
・被写体検出により検出される被写体数が増えた場合でも、焦点検出枠数が増えることが無い。

【0070】

このように、ＭＦ操作中とそうでない場合とで、焦点検出枠の設定方法を変更することで、ＭＦ操作中でない場合には、安定した焦点調節が可能になる。一方、ＭＦ操作中は複数の被写体の焦点検出結果を効率よく取得することで、主被写体の切り替わりに素早く対応できる。

【0071】

次に、図５を用いて、Ｓ２０４で行われる主被写体候補判定処理について説明する。この処理は、カメラ制御部２０７において、Ｓ２０３で検出された被写体のうち、主被写体の候補となる被写体に主被写体候補フラグを設定する処理である。主被写体候補フラグは、検出された結果から主被写体になる可能性のある被写体を意味するフラグである。

【0072】

まず、Ｓ２０３で取得した被写体情報の内、１つの検出ＩＤについて、Ｓ５０１において、顔検出結果の有無を判定する。顔検出結果がある場合はＳ５０２に遷移し、無い場合は、Ｓ５０３に遷移する。Ｓ５０２では、被写体領域の情報として、顔領域の位置及びサイズを記憶する。その後、Ｓ５１０に遷移する。

【0073】

Ｓ５０３では、ＭＦ操作中か否かを判定する。ＭＦ操作中の場合は、Ｓ５０４に遷移し、そうでない場合は、Ｓ５０６に遷移する。

【0074】

Ｓ５０４では、頭部検出結果の有無を判定する。頭部検出結果がある場合は、Ｓ５０５に遷移する。一方、頭部検出結果が無い場合には、Ｓ５１２に遷移して主被写体候補フラグをＯＦＦにした後、Ｓ５１７に進む。

【0075】

Ｓ５０５では、被写体領域の情報として、被写体の頭部領域の位置及びサイズを記憶する。このように、ＭＦ操作中は、顔が検出できていなくても、頭部領域が検出できていればそれを被写体領域の情報として記憶して、Ｓ５１０に遷移する。

【0076】

Ｓ５０６では、主被写体候補フラグがＯＮかどうかの判定を行う。これは、前フレームの同じ検出ＩＤを有する被写体に主被写体候補フラグが設定されていればＯＮであり、それ以外の場合にはＯＦＦである。主被写体候補フラグがＯＮの場合には、Ｓ５０５に遷移して、被写体領域の情報として、被写体の頭部領域の位置及びサイズを記憶する。このように、過去に同じ被写体の顔領域が検出されているか、ＭＦ操作中に頭部領域が検出されて、主被写体候補フラグがＯＮとなっていれば、現フレームで顔領域が検出されなくとも、頭部領域の情報が被写体領域の情報として記憶される。

【0077】

一方、主被写体候補フラグがＯＦＦの場合には、Ｓ５１２に遷移して、主被写体候補フラグをＯＦＦにした後、Ｓ５１７に進む。

【0078】

Ｓ５１０では、主被写体候補フラグをＯＮにして、Ｓ５１３に遷移する。

【0079】

Ｓ５１３では、ＭＦ操作中か否かを判定し、ＭＦ操作中の場合は、Ｓ５１４に遷移し、そうでない場合は、Ｓ５１６に遷移する。

【0080】

Ｓ５１４では、主被写体候補フラグがＯＮとされた当該処理中の被写体の焦点検出枠上の位置を特定する。この処理では、処理中の被写体の中心位置が、メッシュ状に配置された図４（ｂ）の焦点検出枠４０８のどのエリアに位置しているかを特定する。これは、ＭＦ操作中に、どの主被写体候補に対して、合焦させたいかを特定するために必要な処理である。その後、Ｓ５１５に遷移する。

【0081】

Ｓ５１５では、Ｓ５１４で特定された位置の焦点検出枠４０８内のＡＦ用信号に基づいて焦点検出を行い、焦点検出結果を記憶して、Ｓ５１７に遷移する。

【0082】

一方、Ｓ５１６では、Ｓ５０２、Ｓ５０５、Ｓ５０９のいずれかにおいて被写体領域に記憶された位置及びサイズ内のＡＦ用信号に基づいて焦点検出を行い、焦点検出結果を記憶する。ここでは、ＭＦ操作中ではないため、図４（ａ）の焦点検出枠４０５、４０６、４０７のように、被写体ごとに設定された焦点検出枠の焦点検出結果を取得する。その後、Ｓ５１７に遷移する。

【0083】

Ｓ５１７では、未処理の被写体（検出ＩＤ）があるかどうかを判定し、すべての検出結果に対して、主被写体候補フラグの設定処理や、焦点検出結果の格納が終わっていれば、処理を終了する。処理していない被写体（検出ＩＤ）がある場合にはＳ５０１に戻り、上述した処理を繰り返して行う。

【0084】

このように、本実施形態では、ＭＦ操作中とそうでない場合とで、頭部検出の結果に対する判定を変える。すなわち、ＭＦ操作中は、ユーザーが狙った被写体を検出させるために、目や鼻が検出できないような小さい顔や前向きではない顔でも主被写体の候補としてフラグを設定する。一方、ＭＦ操作中でない場合は、目や鼻が検出できないような小さい顔や前向きではない顔は、一般的には、主被写体になる可能性が低いので、主被写体の候補としてフラグを設定しない。しかしながら、顔検出ができていた被写体の顔検出ができなくなった場合においては、頭部検出結果が有効であれば、引き続き、主被写体候補フラグを設定する。これにより、ＭＦ操作中は、ユーザーの狙った被写体を捉え易くし、そうでない場合は、主被写体である可能性が大きい顔に対して焦点調節制御を行うことが可能になる。

【0085】

上記のように主被写体候補フラグを設定する場合の一例について、図９（ｃ）及び（ｄ）を用いて説明する。

【0086】

図９（ｃ）は、ＭＦ操作中ではなく、画面に被写体９０５、９０６を含む場合を示している。被写体９０５は、顔領域が検出されているため、主被写体候補フラグがＯＮとなる。一方、被写体９０６は、顔領域が検出されていないが、頭部領域が検出されている場合を示している。この場合、１フレーム前の主被写体候補フラグがＯＦＦであれば、引き続き、主被写体候補フラグはＯＦＦとなる。これは、被写体９０６が頭部領域の検出のみで、過去にも顔検出がされていない状態の被写体が主被写体になる可能性が低いからである。

【0087】

このように設定された主被写体候補フラグに基づいて、Ｓ２０８またはＳ２１０における処理により、被写体９０５が主被写体として判定された場合、Ｓ２１１において、被写体９０５に主被写体であることを示す主被写体枠９０７が表示される。一方、被写体９０６には、枠表示はなされない。また、被写体９０５のみが焦点検出処理の対象となる。

【0088】

図９（ｄ）は、同じ被写体で、ＭＦ操作中の場合を示している。被写体９０５は、顔領域が検出されているため、主被写体候補フラグがＯＮとなる。また、被写体９０６も、顔領域は検出されていないが、頭部領域が検出されているので、主被写体候補フラグがＯＮとなる。

【0089】

このように設定された主被写体候補フラグに基づいて、Ｓ２０６における処理により、被写体９０５が主被写体として判定された場合、Ｓ２１１において、被写体９０５に主被写体を示す主被写体枠９０７が表示される。また、被写体９０６には、候補枠９０８が表示されると共に、被写体９０５及び９０６が共に焦点検出処理の対象となる。

【0090】

この状態でユーザーが意図的に被写体９０６に対してフォーカス操作を行った場合、被写体９０６を主被写体にしたいと考えている可能性がある。よって、顔検出がされていない状態でも、頭部検出結果がある場合は、候補枠９０８を表示すると共に、焦点検出処理の対象とする。このように、ＭＦ操作中は、ＭＦ操作中でない場合に主被写体の候補にしていなかった被写体に対しても焦点検出処理の対象とすることで、ユーザーの意図を反映させた主被写体の切り替えが可能になる。

【0091】

次に、図２のＳ２０６で行われる主被写体変更処理について、図６を用いて説明する。この処理は、ＭＦ操作中である場合に実行される。

【0092】

Ｓ６０１では、主被写体候補フラグがＯＮの被写体が１つ以上あるかを判定する。主被写体候補フラグがＯＮの被写体が１つ以上ある場合はＳ６０４に遷移し、１つも無い場合はＳ６０２に遷移する。

【0093】

Ｓ６０２では、検出されたすべての被写体の主被写体ロックフラグをＯＦＦに設定し、Ｓ６０３に遷移する。Ｓ６０３では、検出されたすべての被写体の主被写体フラグをＯＦＦに設定して、主被写体変更処理を終了する。この場合、Ｓ２１１において主被写体枠も候補枠も表示されないことになる。

【0094】

一方、Ｓ６０４において、主被写体候補フラグがＯＮの被写体が２つ以上あるかを判定する。主被写体の切り替えを行うためには、最低でも２つ以上の被写体が必要である。従って、２つ以上ある場合はＳ６０６に遷移し、そうでない場合はＳ６０５に遷移する。

【0095】

Ｓ６０５では、主被写体候補フラグがＯＮである被写体が１つしかいないため、当該被写体の主被写体フラグをＯＮに設定し、主被写体変更処理を終了する。

【0096】

Ｓ６０６では、レンズユニット１０の操作情報と焦点検出結果とから、主被写体の切り替わりを特定する、切り替わり被写体特定処理を行い、Ｓ６０７に遷移する。なお、Ｓ６０６の処理に関しては、図７を用いて後述する。

【0097】

Ｓ６０７では、主被写体の切り替わりが発生したか否かを判定する。切り替わりが発生している場合はＳ６０８に遷移し、そうでない場合はＳ６１０に遷移する。

【0098】

Ｓ６０８では、Ｓ６０６において特定された切り替わり先の被写体に対して、主被写体ロックフラグをＯＮにし、更に、Ｓ６０９において、Ｓ６０６において特定された切り替わり先の被写体の主被写体フラグをＯＮにして、主被写体変更処理を終了する。

【0099】

Ｓ６１０では、主被写体の切り替わりが発生していないため、前回の主被写体と同じ検出ＩＤを有する被写体の主被写体フラグをＯＮにし、主被写体変更処理を終了する。

【0100】

以上のように、ＭＦ操作中に主被写体の切り替わりが発生した場合、その被写体に対してロックフラグをＯＮにすることにより、ＭＦ操作終了後のＡＦ設定時に、主被写体が切り替わるのを防ぐことができる。これにより、ユーザーがＭＦ操作により意図した被写体を主被写体として、継続的に合焦し続けることが可能となる。

【0101】

次に、図７を用いて、Ｓ６０６で行われる切り替わり被写体特定処理について説明する。
まず、Ｓ７０１において、主被写体フラグがＯＮである主被写体の焦点検出結果を取得し、DEF_Mainとして保持し、Ｓ７０２に遷移する。

【0102】

Ｓ７０２では、レンズ制御部１０６から取得できる情報から焦点深度を計算し、焦点深度のＮ倍を切り替え閾値DEF_Thとして設定する。この切り替え閾値DEF_Thは、つまり、主被写体のボケ量が深度のＮ倍以上になった場合に、ユーザーが被写体を切り替えたいと判断するための閾値である。なお、この閾値は、一例であり、主被写体の切り替わりを検知できる値であれば他の値であっても良い。

【0103】

Ｓ７０３では、主被写体フラグがＯＮの被写体を除く、主被写体候補フラグがＯＮの被写体の焦点検出結果があるかどうかの判定を行うことで、切り替え先となる可能性がある他の被写体の焦点検出結果が出ているかどうかの判定を行う。焦点検出結果がある場合はＳ７０４に遷移し、無い場合はＳ７０６に遷移する。

【0104】

Ｓ７０４では、主被写体フラグがＯＮである主被写体の焦点検出結果DEF_Mainと、切り替え閾値DEF_Thとを比較する。DEF_Main＞DEF_Thである場合は、ユーザーによる切り替えが発生したと判断して、Ｓ７０５に遷移する。切り替えが発生していない場合は、Ｓ７１２に遷移し、主被写体の切り替わりは無しと判断して処理を終了する。

【0105】

Ｓ７０５では、主被写体候補フラグがＯＮである被写体の中で、ボケ量が最も小さい被写体を新たな主被写体として選択する。

【0106】

一方、Ｓ７０６では、フォーカスリングの操作方向を取得して、レンズ制御部１０６から取得できるフォーカスレンズ１０３の合焦位置の移動方向（至近／無限遠方向）の情報を取得し、Ｓ７０７に遷移する。Ｓ７０７では、主被写候補フラグがＯＮである被写体のサイズから、カメラシステムからの相対的な距離を判断する。ここでは、顔のサイズから、主被写体よりも至近側にいるのか、無限遠側にいるのかを判断する。主被写体のサイズと比較し、基本的に、サイズが大きい場合は至近側にある被写体、サイズが小さい場合は無限遠側にある被写体と判定する。その後、Ｓ７０８に遷移する。

【0107】

Ｓ７０８では、主被写体フラグがＯＮである主被写体の焦点検出結果DEF_Mainと切り替え閾値DEF_Thを比較する。DEF_Main＞DEF_Thである場合は、ユーザーによる切り替えが発生したと判断して、Ｓ７０９に遷移する。切り替えが発生していない場合は、Ｓ７１２に遷移し、主被写体の切り替わりは無しと判断して処理を終了する。

【0108】

Ｓ７０９では、レンズの操作方向が至近方向か否かを判定する。Ｓ７０６で取得した操作方向が至近方向の場合は、Ｓ７１０に遷移し、そうでない場合は、Ｓ７１１に遷移する。

【0109】

Ｓ７１０では、至近側の被写体の中から主被写体を特定する。これにより、被写体のサイズが小さかったり、撮影条件によっては、焦点検出結果が得られなかった被写体の中から、主被写体を選択することが可能になる。フォーカスレンズの操作方向にある被写体のうち、いずれかを選択し、主被写体と特定する。特定方法としては、前述のように、顔のサイズや位置に基づき、主被写体の可能性が高い被写体を選択することとする。

【0110】

Ｓ７１１では、無限遠側の被写体の中から主被写体を特定する。Ｓ７１０と処理の内容は同様であるため、説明を割愛する。その後、切り替わり被写体特定処理を終了する。

【0111】

これにより、ＭＦ操作中に被写体の焦点検出結果を取得し、焦点検出結果の変化を監視することで、ＭＦ操作中の主被写体の自動切換えが可能となる。また、撮影条件によっては、焦点検出結果が取得できない場合があるため、そのような場合でもレンズの操作方向と顔サイズとに基づいて、主被写体の切り替わりを判定することが可能になる。

【0112】

ここで、Ｓ７０４でＹＥＳとなった場合の主被写体の切り替わりについて、図１０を用いて説明する。

【0113】

図１０（ａ）は、ＭＦ操作前の表示状態の一例を示しており、第１の被写体１００１（非合焦）と、第２の被写体１００２（合焦）の２人の被写体がいる場合を示している。ここでは、第２の被写体１００２の主被写体フラグがＯＮであるため、図２のＳ２１１では、第２の被写体１００２上に主被写体であることを示す主被写体枠１００４が表示される。一方、第１の被写体１００１は、主被写体候補フラグがＯＮであるため、主被写体候補であることを示す候補枠１００３が表示される。

【0114】

図１０（ｂ）は、ＭＦ操作により、第２の被写体１００２に合焦している状態から、第１の被写体１００１の方向にフォーカスレンズ１０３を駆動した場合を示している。第２の被写体１００２の焦点検出結果DEF_Mainが切り替え閾値DEF_Thより大きくなると、主被写体フラグがＯＦＦとなる。従って、Ｓ２１１では主被写体であることを示す主被写体枠１００４の代わりに、主被写体候補であることを示す候補枠１００６が表示される。一方、第１の被写体１００１は、主被写体フラグがＯＮになったため、主被写体であることを示す主被写体枠１００５が表示される。

【0115】

図１０（ｃ）は、上記の状態を時系列に説明する図である。図１０（ｃ）において、縦軸は、焦点検出結果を表し、０が合焦した状態とする。横軸は時間を表している。また、第１の被写体１００１の焦点検出結果を、曲線１００８に示し、第２の被写体１００２の焦点検出結果を、曲線１００７に示す。

【0116】

図１０（ａ）に示す状態が、時刻ｔ１での焦点検出結果に基づく状態であり、その状態から、フォーカスレンズ１０３を駆動することにより、第１の被写体１００１の焦点検出結果１００８は減少する一方、第２の被写体１００２の焦点検出結果１００７は向上する。焦点検出結果１００７が、切り替わり閾値DEF_Thを超える点１０１２（時刻ｔ２）で、ユーザーは第１の被写体１００１に合焦させたいとカメラが判断し、主被写体を切り変える（図１０（ｂ）に示す状態）。

【0117】

このように、フォーカスレンズを駆動している途中で、主被写体を切り替えることにより、ユーザーのフォーカスレンズの操作を簡略化することが可能になる。つまり、ＡＦを設定することにより、ユーザーは、主被写体を示す主被写体枠１００５が表示された時点で、フォーカスリングの操作を停止しても、その被写体に対してＡＦ制御が行われるため、ＭＦ操作からの連続した焦点調整が可能となる。

【0118】

次に、図８を参照して、図２のＳ２０８で行われる主被写体ロック判定処理について説明する。

【0119】

主被写体以外の人物にも顔領域がわかるような枠を重畳表示する場合、意図しない被写体に対しても枠が表示され続けると煩わしいことがある。ただし、撮影する状況によってはある程度の時間、被写体を追従した方がよいシーンもある。例えば、撮影したい人物が画面内に複数いる場合では、主被写体以外の被写体を主被写体候補としてある程度の時間追従し続けていれば、主被写体がいなくなる等して追従できなくなったときに、それ以外の被写体に主被写体が切り替わることで、背景にピントや露出が合ってしまうことを抑制できる。

【0120】

そこで、この処理では、主被写体が見えなくなった状況における主被写体の追従性能の向上を図りつつ、撮影する状況に応じた適切な主被写体を選択するように制御する。

【0121】

まずＳ８０１では、Ｓ２０７においてカメラ操作部２０８から受け付けた被写体指定指示による被写体の位置（例えば、タッチ位置）から所定範囲内に、Ｓ２０４で判定された主被写体候補フラグがＯＮの被写体があるか否かを判定する。上述した所定範囲は、被写体情報の被写体領域に記憶された顔領域や頭部領域のサイズでも良いし、顔領域や頭部領域のサイズの例えば２倍の距離以内等でも良い。所定範囲内に主被写体候補の被写体がある場合には処理をＳ８０２に進め、無い場合には処理をＳ８０９に進める。

【0122】

Ｓ８０２では、タッチ位置の所定範囲内に主被写体候補の被写体が複数あるか否かを判断し、１人のみであると判断した場合には処理をＳ８０３に進め、複数人であると判断した場合には処理をＳ８０４に進める。

【0123】

Ｓ８０３では、タッチ位置の所定範囲内にあると判断された主被写体候補の被写体の被写体領域に記憶された顔領域または頭部領域の信頼度が、予め決められあ閾値以上であるか否かを判断する。閾値以上であると判断した場合は処理をＳ８０５に進め、閾値未満であると判断した場合には処理をＳ８０６に進める。

【0124】

一方、Ｓ８０４では、タッチ位置の所定範囲内にあると判断されたすべての主被写体候補の被写体の顔領域または頭部領域のサイズが閾値以下か否かを判断する。閾値以下であると判断した場合には処理をＳ８０７に進め、閾値より大きいサイズの被写体があると判断された場合は処理をＳ８０８に進める。

【0125】

次に、Ｓ８０５及びＳ８０８では、タッチした位置の範囲内にあるタッチ位置に最も近い主被写体候補の被写体をロックする。

【0126】

一方、Ｓ８０６、Ｓ８０７、Ｓ８０９では、タッチ位置に基づいて被写体の特徴を抽出して人物の顔または頭部以外のモノを追尾する（以降、「モノ追尾」と呼ぶ。）。

【0127】

次にＳ８１０において、ロックされた主被写体候補を主被写体に決定し、ロックされた主被写体の主被写体候補フラグをＯＮにする。そしてＳ８１１において、ロックされた主被写体以外の被写体の主被写体候補フラグをＯＦＦにすることで、ロックされた主被写体以外の被写体が主被写体候補とならないようにして処理を終了する。

【0128】

なお、Ｓ８０３で信頼度が閾値未満であると判断されたときにＳ８０６でモノ追尾を行う理由は、例えば、頭部の一部がフレームアウトしている場合等、頭部検出の信頼度が低い場合は検出位置やサイズが不安定になり、ＡＦが不安定になる可能性があるためである。そのため、検出された顔領域や、頭部領域の信頼度が低い場合は、タッチ時の色情報や輝度情報を用いた追尾による領域指定を行い、ユーザーが指定した位置にある被写体を一時的にモノとして追尾する。そして、追尾中に近くに顔や信頼度の高い頭部が検出されたら追尾の対象を顔または頭部に切り替えることによって、ＡＦが不安定になることを軽減することができる。

【0129】

また、Ｓ８０４において、タッチ位置の所定範囲内にサイズが小さい顔や頭部の検出結果が複数人分ある場合にモノ追尾を行う理由は、ユーザーが指定した位置がタッチ位置のずれ等によって複数の人物のうち意図しない人物が追尾対象となってしまう可能性があるためである。そのため、ユーザーが指定した位置にある被写体を一時的にモノとして追尾し、その後、所定範囲内に所定サイズ以上の顔または頭部が検出された場合に追尾の対象を顔または頭部に切り替えることで、意図しない人物にピントを合わせてしまうことを軽減できる。

【0130】

上述した処理について、図１１を用いて説明する。
図１１（ａ）は、ＭＦ操作されていない場合に、人物１１０１が一人、かつ後ろ向きでフレームインしてきたシーンを示している。この場合、図５のＳ５１２により人物１１０１は主被写体候補フラグがＯＦＦとなるため、枠表示を行わない。

【0131】

図１１（ｂ）は、図１１（ａ）に示す状態から、同じ人物１１０１が正面を向いた場合である。この場合、図５のＳ５１０において主被写体候補フラグがＯＮとなると共に、主被写体候補は１人のみなので、図６のＳ６０５で自動的に人物１１０１が主被写体として選択され、主被写体枠１１０２が表示される。

【0132】

図１１（ｃ）は、人物１１０１が図１１（ｂ）に示す正面向きの状態から後ろを向いた場合である。この場合、人物１１０１は一度正面を向いているため、主被写体候補フラグがＯＮであると共に、頭部領域が検出されているため、図５のＳ５１０で主被写体候補フラグはＯＮとなる。また、図６のＳ６０５で自動的に人物１１０１が主被写体として選択され、主被写体枠１１０２が表示され続ける。主被写体候補として設定し続けることによって人物１１０１へのピント合わせが継続し、意図しない領域へピントや明るさを合わせてしまうことを防止することができる。

【0133】

図１１（ｄ）は、ＭＦ操作されていない場合に、人物が複数人（人物１１０３と人物１１０５）いる場合のシーンを示している。この場合、正面を向いている人物１１０３は図５のＳ５１０で主被写体候補フラグがＯＮとなると共に、主被写体候補は１人のみなので、図６のＳ６０５で自動的に人物１１０３が主被写体として選択され、主被写体枠１１０４が表示される。一方、人物１１０５は後ろ向きのままであるため、Ｓ５１２で主被写体候補フラグがＯＦＦとなり、枠表示は行われない。

【0134】

図１１（ｅ）は、図１１（ｄ）に示す状態から、人物１１０５が正面を向いた場合である。この場合、人物１１０５の顔領域が検出され、図５のＳ５１０で主被写体候補フラグがＯＮとなり、候補枠１１０６が表示される。この場合、人物１１０５も主被写体となり得るが、ＭＦ操作による変更（Ｓ２０６）、被写体指定指示による変更（Ｓ２０８）、自動判定による主被写体の変更（Ｓ２１０）が無ければ、すでに主被写体として選択されている人物１１０３が当面の間、主被写体となり続ける。

【0135】

図１１（ｆ）は、人物１１０５が図１１（ｅ）の正面向きの状態から後ろを向いた場合である。この場合、人物１１０５は一度正面を向いており、主被写体候補フラグがＯＮとなっていると共に、頭部領域が検出されているため、図５のＳ５１０において主被写体候補フラグは引き続きＯＮとなる。このように、主被写体候補として設定し続けることによって、人物１１０３がフレームアウトした時に即座に人物１１０５を主被写体とすることができる。

【0136】

図１１（ｇ）～（ｉ）は、人物が複数人（人物１１０３と人物１１０５）おり、それぞれ図１１（ｄ）～（ｆ）の状態からユーザーがタッチにより人物１１０５を指定した場合を示している。

【0137】

図１１（ｇ）の場合、人物１１０５は被写体として検出されていないため、タッチ位置に最も近い人物１１０３が引き続き主被写体として選択され、主被写体枠１１０４が表示され続ける。

【0138】

また、図１１（ｈ）及び（ｉ）の場合、顔領域または頭部領域の信頼度が高ければ、Ｓ８０１、Ｓ８０２、Ｓ８０３、Ｓ８０５、Ｓ８１０、Ｓ８１１の処理によって主被写体として人物１１０５が主被写体領域としてロックされ、人物１１０５が主被写体として選択される。また、主被写体枠１１０９が表示される。また、Ｓ８１１により、人物１１０３の被写体候補フラグがＯＦＦとなるため、人物１１０３に表示されていた主被写体枠１１０４が消去される。

【0139】

上述したように、後ろ向きの人物をタッチした場合、タッチした位置に頭部検出結果があれば、すでに主被写体候補領域として設定されている場合でも未設定の場合でも頭部検出結果を用いて被写体のロックを行う。まだ主被写体領域及び主被写体候補領域になっていない人物をタッチした場合、タッチによる指定位置に頭部検出結果がある場合は、頭部検出結果を用いて主被写体領域としてロックすることにより、被写体の形状変化や明るさ変化に強い追従が行えるようになる。

【0140】

上記の通り第１の実施形態によれば、合焦位置までレンズを駆動させなくても、合焦対象の被写体の切り替えが可能になる。さらに、ＡＦ設定時は、代表的な被写体を主被写体として選択することで汎用性の高いＡＦを実現し、ＭＦ操作をトリガに、主被写体の選択方法を変更することで、ユーザーが狙った被写体を主被写体として選択することで、ユーザーの趣旨に沿ったＡＦが可能になる。そして、ＭＦ操作により選択された被写体を、ＭＦ操作後にも、ＡＦ対象として継続して焦点調整が可能になる。また、簡単に主被写体を切り替えることが可能になる。

【0141】

また、第１の実施形態が備える焦点検出装置は、予め設定されているＡＦ枠の範囲において、被写体の位置に応じて合焦駆動に使用する焦点検出領域を変えることで、広い範囲で被写体に合焦したまま維持することができ、さらに背景等の主被写体以外の被写体（以下、「雑被写体」と呼ぶ。）に合焦している場合に、至近側に現れる新しい主被写体に合焦しにくくなることを防ぐことができる。

【0142】

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。

【0143】

第１の実施形態に記載された方法により主被写体を決定する場合、例えば、操作者が撮影したい人物が決まっていて、顔が見えない状況になってもその人物をずっと追従してピントや露出を合わせたい場合には非常に有用ではある。しかしながら、基本は人物を主被写体として撮影しつつ、人物以外の被写体や風景にも撮影モードを切り替えずにピントや露出を合わせて撮影したい場合、顔が見えなくなっても人物に追従し続けると、画面内に人物がいる限り、人物以外の被写体や風景にピントや露出が合わせられない。

【0144】

また、顔が見えなくなるとすぐに主被写体の候補から外した場合、次のような問題があった。即ち、操作者が撮影しようとしている人物とは別の意図していない人物が画面内に入ってきた後、画面内に留まってしまった場合には、いつまでも主被写体の候補から外れず、意図しない人物を主被写体として選択してしまい、ピントや露出が変わってしまう。

【0145】

そのため、上述した第１の実施形態では、顔が検出できなくとも、頭部領域が検出できる場合は主被写体候補として追従し続け、指定方法に従って主被写体を決定し、焦点調節や露出調節を行うものとして説明した。しかしながら、人物中心の撮影で主被写体が後ろを向いたりして一時的に顔が見えなくなる状況においては主被写体候補としてなるべく長く残したいが、人物以外も撮影したい場合や複数の人物が写りこむ場合には、主被写体候補として残したい場合と、残したくない場合とが撮影の状況によって変わってくる。

【0146】

そこで、第２の実施形態では、第１の実施形態に加え、主被写体候補として残す時間を主被写体候補毎に設定し、さらに主被写体を含む被写体の状況に応じて、その時間を変更する。以下、第２の実施形態における処理について、図１２～図１６を用いて説明する。なお、第２の実施形態においても、図１に示すデジタルビデオカメラシステムを用いるため、説明を省略する。

【0147】

図１２は、第２の実施形態における主被写体候補判定処理を示すフローチャートであり、図５に示す処理の代わりに行われる。この処理は、図５を参照して上述した第１の実施形態における主被写体候補判定処理に、第２の実施形態の特徴である、顔領域が検出できなくなってから主被写体候補フラグをＯＦＦするまでの時間を被写体毎に設定する処理Ｓ１２０１～Ｓ１２０３を加えたものである。それ以外の処理は図５に示す処理と同じなので、同じステップ番号を付し、説明を割愛する。

【0148】

Ｓ１２０１では、顔領域が検出できなくなってから主被写体候補フラグをＯＦＦにするまでのリセット時間RT（＞０）を設定する。リセット時間RTは、被写体毎に条件に応じて設定するものとし、詳細については図１３を用いて後述する。

【0149】

Ｓ１２０２では、顔領域が検出できなかった場合に、Ｓ１２０１で設定したリセット時間RTをデクリメントする。Ｓ１２０３では、主被写体候補リセット判定部２２２が、リセット時間RTが０より大きいか否かを判定し、主被写体候補判定部２２０は、０より大きい場合は、Ｓ５１１にて主被写体候補フラグをＯＮにする。一方、０以下である場合はＳ１２０１で設定した主被写体候補フラグをＯＦＦするまでの時間が満了したとして、Ｓ５１２にて主被写体候補フラグをＯＦＦにする。

【0150】

Ｓ１２０１～Ｓ１２０３の処理により、顔検出ができている間は条件に応じたリセット時間RTを常に設定しておいて、顔が検出できない状況がリセット時間RT分続くと、主被写体候補から除外することができる。これは、一般的な動画撮影において、顔が長い間見えない人物は、焦点調節制御や露出制御をする対象、つまり主被写体として選択するにはあまりふさわしくない状況やシーンが多いため、ある程度の時間が経過すると主被写体候補からは除外したほうがいいと考えられるためである。ただし、撮影する人物が一人の場合や、複数の人物でも画面中央付近にいる場合には、顔が見えない状況でも主被写体として選択し続けたい場合もある。そのため、リセット時間RTを状況に応じて変更することにより、調節する。

【0151】

図１３は、図１２のＳ１２０１における主被写体候補リセット時間RTの設定処理の詳細を示すフローチャートである。Ｓ１３０１では、検出した被写体の数ｎが１か否かを判定し、１の場合はＳ１３０２へ、１より多い場合はＳ１３０３へと遷移する。Ｓ１３０２では、リセット時間RTとして、MainTimer1の値を設定する。ここでMainTimer1の値は、撮影画面内に主被写体のみがいる状況での設定時間であるため、比較的長い時間を設定するのが好ましいが、本実施形態では、一例として、１０秒に設定するものとして説明する。

【0152】

Ｓ１３０３では、処理中の被写体が、検出されている複数の被写体のうち、主被写体決定処理において主被写体として選択されているか否かを判定し、主被写体として選択されている場合はＳ１３０４へ、選択されていない場合はＳ１３０５へと遷移する。Ｓ１３０４では、リセット時間RTとして、MainTimer2の値を設定する。ここでMainTimer2の値は、撮影画面内に複数の人物が写っている状況において、処理中の被写体を主被写体として設定し続ける時間であり、一人の場合と比較すると他の主被写体候補が主被写体となり得る可能性が高いため、一人の場合より短い時間を設定してもよいし、一人の場合と同じ時間を設定してもよい。本実施形態では、一例として、MainTimer1と同様に１０秒に設定するものとする。

【0153】

Ｓ１３０５では、検出した被写体の数ｎが閾値NumThより少ないか否かを判定し、少ない場合はＳ１３０６へ、多い場合はＳ１３０７へと遷移する。Ｓ１３０６及びＳ１３０７では、主被写体候補をどれだけ追従するかの時間を設定するものであり、主被写体を追従する時間MainTimer1及びMainTimer2より短い時間を設定する。これは、主被写体候補の被写体は主被写体よりは撮影対象である可能性が低く、主被写体候補として長く設定しすぎることで意図せず主被写体が切り替わってしまうことを防止するためである。Ｓ１３０６では、リセット時間RTとして、SubTimer1の値を設定する。ここでSubTimer1の値は、比較的人数が少ない場合における主被写体候補として設定し続ける時間であり、本実施形態では、一例として、３秒に設定するものとして説明する。

【0154】

一方、Ｓ１３０７では、リセット時間RTとして、SubTimer2の値を設定する。ここでSubTimer2の値は、撮影画面内に写っている人数が多い場合における主被写体候補として設定し続ける時間であり、ユーザーの意図しない被写体が写りこんでいる可能性が高いため、SubTimer1より短い時間を設定する。本実施形態では、一例として、１秒に設定するものとして説明する。

【0155】

Ｓ１３０８では、Ｓ１３０２またはＳ１３０４で設定した、主被写体として設定し続ける時間を条件に応じてさらに長くしたり、短くしたり調整する処理を行う。Ｓ１３０９では、Ｓ１３０８と同様に、Ｓ１３０６及びＳ１３０７で設定した主被写体候補として設定し続ける時間を条件に応じて調整する処理を行う。Ｓ１３０８またはＳ１３０９の終了後、図１２の処理に戻る。

【0156】

次に、Ｓ１３０８における処理の詳細について、図１４を用いて説明する。
図１４は、主被写体を追従する時間を条件に応じて調整する処理を示すフローチャートである。Ｓ１４０１では、後述するＳ１４０３において主被写体が画面内の所定エリアにいるか否かを判定するためのエリアを設定する。なお、所定エリアの考え方については図１６を用いて後述する。

【0157】

Ｓ１４０２では、Ｓ１４０４において主被写体の顔領域及び頭部領域のサイズがある程度大きいか否かを判定するためのサイズの閾値SizeThを設定する。これは、人物を主被写体として撮影する場合は、ある程度顔を大きく写すことが多く、小さい顔はユーザーの意図しない人物、つまり主被写体ではない可能性が高いと考えられるからである。

【0158】

Ｓ１４０３では、Ｓ１４０１で設定した所定エリア内に主被写体が存在するか否かを判定し、存在すると判定した場合はＳ１４０４へ、存在しないと判定した場合は処理を終了する。

【0159】

Ｓ１４０４では、Ｓ１４０２で設定したサイズの閾値SizeThより、顔領域及び頭部領域のサイズが大きいか否かを判定し、大きいと判定した場合はＳ１４０５へ、小さいと判定した場合は処理を終了する。

【0160】

Ｓ１４０５では、図１３のＳ１３０２及びＳ１３０４で設定した主被写体の追従をリセットするまでの時間RTをMainTimer1及びMainTimer2より長い時間に設定し直して、処理を終了する。

【0161】

ここで、所定エリアについて図１６を用いて説明する。図１６は、撮影画面内に被写体となる人物がいるシーンを表した模式図であり、図１６（ａ）～（ｃ）は、被写体が一人のみ、つまり主被写体のみを撮影し、主被写体の顔が見えなくなった場合を表し、図１６（ｄ）～（ｆ）は、被写体が複数人いる場合を表している。

【0162】

動画撮影において人物を主被写体として撮影する場合は、一般的に画面の中央付近に被写体をフレーミングすることが多いため、被写体が画面中央付近に検出されているのであれば、その被写体はユーザーが撮影したい人物である可能性が高いと考えられる。そこで、図１６の破線で示すエリア１６０１内に検出した被写体の顔領域及び頭部領域があるかどうかを判定して、ある場合には、顔が見えなくなってもより長い時間追従し続けるようにする。すなわち、図１３のＳ１３０２及びＳ１３０４で設定した主被写体の追従をリセットするまでの時間RTをMainTimer1及びMainTimer2より長い時間に設定し直す。

【0163】

本実施形態では、一例として１５秒を設定するものとして説明するが、これに限らず、例えば３０秒や無限（検出及び追尾の両方ができなくなるまで追従し続ける）に設定してもよいし、MainTimer1及びMainTimer2の時間のままにしてもよい。なお、図１６（ａ）は顔領域が見えている場合、図１６（ｂ）は主被写体が後ろを向いて顔領域が見えなくなった場合を表し、どちらもエリア１６０１の領域内にいるので被写体の追従をリセットするまでの時間RTは１５秒になる。ただし、被写体がエリア１６０１の境界付近にいて、エリア１６０１に頻繁に出入りする場合は、設定時間が１０秒になったり、１５秒になったり安定しなくなってしまう。そこで、一度エリア１６０１内に主被写体が入った場合は、図１６（ｃ）のエリア１６０２に示すようにエリアを１６０１より大きく拡張し、エリア１６０２の外に出るまで時間を延長してもよい。このようにすれば、エリアの境界付近で設定時間が不安定になるのを防ぐことができる。

【0164】

また、図１４に示す処理では、MainTimerを延長する条件について説明したが、主被写体を長く追従しないほうがいいような場合には、主被写体をリセットするまでの時間を短くするようにしても構わない。例えば、カメラのパンニングを検出したら主被写体を変えようとしている意図があると判断し、顔が見えない主被写体を除外するために時間を短くしてもよい。

【0165】

また、本実施形態では、エリア１６０１として、画面中央を中心に所定サイズの矩形の領域を設定したが、画面上部の領域は主被写体がいる可能性が高いことを考え、中心位置を上方向にずらすようにしてもよいし、上方向に拡張してもよい。さらにそのエリアをカメラの向きに応じて変えるようにしてもよい。また、本実施形態では、エリア内に被写体が入っているか否かで時間を調整するようにしているが、これに限らず、像高に応じて変えるようにしてもよい。

【0166】

次に、Ｓ１３０９における処理の詳細について、図１５を用いて説明する。
図１５は、主被写体候補を追従する時間を条件に応じて調整する処理を示すフローチャートである。Ｓ１５０１では、後述するＳ１５０３において主被写体候補が画面内の所定エリアにいるか否かを判定するためのエリアを設定する。本実施形態では、このエリアは図１６（ａ）～（ｃ）のエリア１６０１と同じエリアを設定するものとして説明するが、主被写体の場合より狭く設定してもよいし、広く設定してもよい。

【0167】

Ｓ１５０２では、主被写体として選択された被写体領域との検出位置の差Ｄを算出する。これはＳ１５０４にて検出されている主被写体候補毎に主被写体に近いか否かを判定するために、図１６（ｄ）及び（ｅ）に示すように、画面上での顔領域及び頭部領域の中心位置の距離を求める。

【0168】

Ｓ１５０３では、Ｓ１５０１で設定した所定エリア内に主被写体候補の被写体が存在するか否かを判定し、存在すると判定した場合はＳ１５０４へ、存在しないと判定した場合はＳ１５０５へと進める。

【0169】

Ｓ１５０４では、Ｓ１５０２で算出した、主被写体との検出位置の差Ｄが所定値DTh以下か否かを判定し、以下である場合は主被写体との距離が近いと判断してＳ１５０７へ、大きい場合は主被写体から離れていると判断してＳ１５０５へと処理を進める。なお、所定値DThは予め決められた固定の値でもよいし、顔領域及び頭部領域のサイズを基準に算出するようにしてもよい。

【0170】

Ｓ１５０７では、図１３のＳ１３０６及びＳ１３０７で設定した主被写体候補の被写体の追従をリセットするまでの時間RTをSubTimer1及びSubTimer2より長い時間に設定し直して、処理を終了する。

【0171】

上述したように、被写体が画面中央付近に検出されているのであれば、その被写体はユーザーが撮影したい人物である可能性が高いと考えられる。また、主被写体の近くに存在する主被写体候補の被写体であれば、主被写体が検出できなくなった場合の次の主被写体の候補としての可能性が高いと考えられる。そのため、これらの条件に当てはまる被写体には、顔が見えなくなってもより長い時間追従し続けた方がいいと考えられるからである。本実施形態では、一例として５秒を設定するものとして説明するが、これに限らず、SubTimer1及びSubTimer2の時間のままにしてもよい。

【0172】

なお、図１６（ｄ）は顔領域が見えている主被写体の近くでエリア１６０１内に顔領域が見えない被写体が一人、エリア１６０１外に顔領域が見えない被写体が一人いる場合を表している。また、図１６（ｅ）は顔領域が見えない被写体がエリア１６０１内には一人いるが、主被写体から離れている場合を表している。図１６（ｄ）の場合は、顔領域が見えない被写体は所定エリア１６０１内で、かつ主被写体の近くにいるため、被写体の追従をリセットするまでの時間RTは５秒になるが、図１６（ｅ）の場合は顔領域が見えない被写体は主被写体から離れているため、被写体の追従をリセットするまでの時間RTは延長せず、３秒のままとする。

【0173】

また、図１６（ｆ）は、画面内に多くの人物が写っているシーンを表しており、被写体が多いと意図せず主被写体が切り替わってしまうことが起きやすくなるため、主被写体候補の被写体をあまり長く追従しないようにした方がよい。図１３のＳ１３０５で検出数が所定数NumThより多く、Ｓ１３０７にて短い時間を設定する場合がそれに当たる。

【0174】

Ｓ１５０５では、過去に主被写体として選択されたことがあるか否かを判定し、選択されたことがある場合は、ユーザーが撮影したい人物である可能性が高いため、Ｓ１５０７へと進み、被写体の追従をリセットするまでの時間を調整し、選択されたことがない場合は、Ｓ１５０６へと進む。

【0175】

Ｓ１５０６では、顔検出ができていた時間が所定時間より長いか否かを判定し、長い場合はユーザーが画面内に意図的にフレーミングしている被写体である可能性が高く、主被写体候補としてある程度の時間は追従させた方が良いと考えられる。そのため、Ｓ１５０７へと進み、被写体の追従をリセットするまでの時間を調整する。一方、短い場合は、被写体が一瞬画面内に写って後ろを向いてしまった場合等、ユーザーの意図しない人物である可能性が高いため、時間の調整はしないで処理を終了する。

【0176】

なお、図１５のフローチャートでは、SubTimerを延長する条件について説明したが、主被写体と同様に主被写体候補の被写体を長く追従しないほうがいいような場合には、被写体をリセットするまでの時間を短くするようにしても構わない。例えば、カメラのパンニングを検出したら被写体を変えようとしている意図があると判断し、顔が見えない被写体を主被写体候補から除外するために時間を短くしてもよい。

【0177】

上記の通り本第２の実施形態によれば、顔検出ができなくなってから被写体の追従をリセットするまでの時間を被写体毎に設定する。特に主被写体は長く追従し、それ以外の被写体は主被写体の追従時間より短くするようにする。これにより、顔が見えなくなった状況における主被写体の追従性能の向上を図りつつ、撮影する状況に応じた適切な主被写体選択を実現することが可能となる。

【0178】

なお、上述した実施形態では、人物の顔領域と頭部領域の検出結果を用いて説明したが、人物の顔領域と体領域や、動物の顔領域と頭部領域あるいは体領域等の組み合わせでもよい。

【0179】

＜他の実施形態＞
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0180】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0181】

１０:レンズユニット、２０：カメラ本体、１０３：フォーカスレンズ、１０５：フォーカスレンズ駆動部、１０６：レンズ制御部、１０７：レンズ操作部、２０１：撮像素子、２０４：ＡＦ信号処理部、２０５：表示部、２０７：カメラ制御部、２０８：カメラ操作部、２１０：顔領域検出部、２１１：頭部領域検出部、２２０：主被写体候補判定部、Ｓ２２１：主被写体ロック部、２２２：主被写体候補リセット判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】