知財求人 - 知財ポータルサイト「IP Force」
特開2025-105013焦点検出装置及び方法、撮像装置、プログラム及び記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025105013
(43)【公開日】2025-07-10
(54)【発明の名称】焦点検出装置及び方法、撮像装置、プログラム及び記憶媒体
(51)【国際特許分類】
G02B 7/28 20210101AFI20250703BHJP
G02B 7/36 20210101ALI20250703BHJP
G03B 13/36 20210101ALI20250703BHJP
【ＦＩ】
G02B7/28 N
G02B7/36
G03B13/36
【審査請求】未請求
【請求項の数】23
【出願形態】ＯＬ
(21)【出願番号】P 2023223261
(22)【出願日】2023-12-28
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】高尾 麻衣子
【テーマコード（参考）】
2H011
2H151
【Ｆターム（参考）】
2H011AA01
2H011BA23
2H011BB04
2H011CA16
2H151AA06
2H151BA06
2H151BA14
2H151CA03
2H151CB09
2H151CB22
2H151CB26
2H151CE24
2H151CE32
2H151CE33
2H151DA15
(57)【要約】
【課題】 被写体の一時的な状態変化があった場合でも、優先度の高い部位にピントを合わせ続けること。
【解決手段】 撮像装置から繰り返し出力される画像信号の画像から被写体と、被写体に含まれる特徴領域と、を検出し、検出された被写体および特徴領域に、予め決められた大きさの複数の焦点検出領域を設定する。また、画像信号に基づいて、設定された前記複数の焦点検出領域それぞれにおける焦点状態を検出し、複数の焦点検出領域のうち、予め決められた条件を満たす第１の領域と、特徴領域を含む第２の領域と、を選択する。焦点状態に基づく、第１の領域の焦点状態の第１の履歴と、第１の領域の焦点状態と第２の領域の焦点状態との差の第２の履歴とから、任意の時間における第２の領域の焦点状態を予測し、第２の領域の焦点状態に基づいて、第２の領域に合焦させるための、焦点調節手段の駆動量を求める。
【選択図】 図１３
【解決手段】 撮像装置から繰り返し出力される画像信号の画像から被写体と、被写体に含まれる特徴領域と、を検出し、検出された被写体および特徴領域に、予め決められた大きさの複数の焦点検出領域を設定する。また、画像信号に基づいて、設定された前記複数の焦点検出領域それぞれにおける焦点状態を検出し、複数の焦点検出領域のうち、予め決められた条件を満たす第１の領域と、特徴領域を含む第２の領域と、を選択する。焦点状態に基づく、第１の領域の焦点状態の第１の履歴と、第１の領域の焦点状態と第２の領域の焦点状態との差の第２の履歴とから、任意の時間における第２の領域の焦点状態を予測し、第２の領域の焦点状態に基づいて、第２の領域に合焦させるための、焦点調節手段の駆動量を求める。
【選択図】 図１３
【特許請求の範囲】
【請求項1】
撮像装置から繰り返し出力される画像信号の画像から被写体と、前記被写体に含まれる特徴領域と、を検出する被写体検出手段と、
前記被写体検出手段により検出された前記被写体および前記特徴領域に、予め決められた大きさの複数の焦点検出領域を設定する設定手段と、
前記画像信号に基づいて、前記設定手段により設定された前記複数の焦点検出領域それぞれにおける焦点状態を検出する検出手段と、
前記複数の焦点検出領域のうち、予め決められた条件を満たす第１の領域と、前記特徴領域を含む第２の領域と、を選択する選択手段と、
前記検出手段により検出された焦点状態に基づく、前記第１の領域の焦点状態の第１の履歴と、前記第１の領域の焦点状態と前記第２の領域の焦点状態との差の第２の履歴とから、任意の時間における前記第２の領域の焦点状態を予測する予測手段と、
前記予測手段により予測された前記第２の領域の焦点状態に基づいて、前記第２の領域に合焦させるための、焦点調節手段の駆動量を求める取得手段と
を有することを特徴とする焦点検出装置。
前記被写体検出手段により検出された前記被写体および前記特徴領域に、予め決められた大きさの複数の焦点検出領域を設定する設定手段と、
前記画像信号に基づいて、前記設定手段により設定された前記複数の焦点検出領域それぞれにおける焦点状態を検出する検出手段と、
前記複数の焦点検出領域のうち、予め決められた条件を満たす第１の領域と、前記特徴領域を含む第２の領域と、を選択する選択手段と、
前記検出手段により検出された焦点状態に基づく、前記第１の領域の焦点状態の第１の履歴と、前記第１の領域の焦点状態と前記第２の領域の焦点状態との差の第２の履歴とから、任意の時間における前記第２の領域の焦点状態を予測する予測手段と、
前記予測手段により予測された前記第２の領域の焦点状態に基づいて、前記第２の領域に合焦させるための、焦点調節手段の駆動量を求める取得手段と
を有することを特徴とする焦点検出装置。
【請求項2】
前記予測手段は、前記第１の履歴に基づいて、前記任意の時間における前記第１の領域の焦点状態を予測し、前記第２の履歴に基づいて、前記任意の時間における前記差を予測することを特徴とする請求項１に記載の焦点検出装置。
【請求項3】
前記予測手段は、前記第１の履歴および前記第２の履歴に基づいて、一括最小二乗法または逐次最小二乗法により、前記任意の時間における前記第１の領域の焦点状態および前記差を予測することを特徴とする請求項２に記載の焦点検出装置。
【請求項4】
前記被写体の深度幅を推定する推定手段を更に有し、
前記予測手段は、当該深度幅と前記差との比を、一括最小二乗法または逐次最小二乗法によって予測することによって、前記任意の時間における前記差を予測することを特徴とする請求項２に記載の焦点検出装置。
前記予測手段は、当該深度幅と前記差との比を、一括最小二乗法または逐次最小二乗法によって予測することによって、前記任意の時間における前記差を予測することを特徴とする請求項２に記載の焦点検出装置。
【請求項5】
前記被写体の深度幅を推定する推定手段を更に有し、
前記予測手段は、前記被写体の深度幅を振幅とした単振動モデルに近似することで、前記任意の時間における前記差を予測することを特徴とする請求項２に記載の焦点検出装置。
前記予測手段は、前記被写体の深度幅を振幅とした単振動モデルに近似することで、前記任意の時間における前記差を予測することを特徴とする請求項２に記載の焦点検出装置。
【請求項6】
前記予測手段は、前記任意の時間における、予測した前記第１の領域の焦点状態と前記差とを加算することにより、前記任意の時間における前記第２の領域の焦点状態を予測することを特徴とする請求項２に記載の焦点検出装置。
【請求項7】
前記推定手段は、前記複数の焦点検出領域の焦点状態に基づいて、前記複数の焦点検出領域を予め決められた深度幅の複数の深度に分類し、前記複数の焦点検出領域を含む深度をまとめた深度幅を、前記被写体の深度幅として推定することを特徴とする請求項４に記載の焦点検出装置。
【請求項8】
前記推定手段は、被写体の種別、撮影距離、画像情報に基づいて、被写体の深度幅を推定するための学習を行い、前記被写体の深度幅を推定することを特徴とする請求項４に記載の焦点検出装置。
【請求項9】
前記推定手段は、前記複数の焦点検出領域の焦点状態に基づいて、前記複数の焦点検出領域を予め決められた深度幅の複数の深度に分類し、前記複数の焦点検出領域を含む深度をまとめた深度幅を、前記被写体の深度幅として推定することを特徴とする請求項５に記載の焦点検出装置。
【請求項10】
前記推定手段は、被写体の種別、撮影距離、画像情報に基づいて、被写体の深度幅を推定するための学習を行い、前記被写体の深度幅を推定することを特徴とする請求項５に記載の焦点検出装置。
【請求項11】
前記第２の履歴が無い場合に、前記予測手段は、前記任意の時間における前記特徴領域の相対位置を０として予測することを特徴とする請求項１に記載の焦点検出装置。
【請求項12】
前記選択手段は、前記複数の焦点検出領域が予め決められた第１の閾値以上の場合に、前記複数の焦点検出領域の焦点状態に基づいて、前記複数の焦点検出領域を予め決められた深度幅の複数の深度に分類し、分類した結果に基づいて前記第１の領域を選択することを特徴とする請求項１に記載の焦点検出装置。
【請求項13】
前記選択手段は、前記複数の深度のうち、前記焦点検出領域が最も多く分類された深度における前記焦点検出領域の割合が、予め決められた第２の閾値以上の場合に、当該深度に分類された前記焦点検出領域のうち、前記複数の焦点検出領域の中心に最も近い焦点検出領域を前記第１の領域として選択することを特徴とする請求項１２に記載の焦点検出装置。
【請求項14】
前記選択手段は、前記複数の焦点検出領域が予め決められた第１の閾値より少ない場合、及び、前記複数の深度のうち、前記焦点検出領域が最も多く分類された深度における前記焦点検出領域の割合が、前記第２の閾値より小さい場合に、前記複数の焦点検出領域の中心に最も近い焦点検出領域が予め決められた深度の深度幅に含まれる場合、当該焦点検出領域を前記第１の領域として選択することを特徴とする請求項１３に記載の焦点検出装置。
【請求項15】
前記選択手段は、前記複数の焦点検出領域が予め決められた第１の閾値より少ない場合、及び、前記複数の深度のうち、前記焦点検出領域が最も多く分類された深度における前記焦点検出領域の割合が、前記第２の閾値より小さい場合に、前記複数の焦点検出領域の中心に最も近い焦点検出領域が予め決められた深度の深度幅に含まれない場合、予め決められた深度の深度幅において、焦点状態が最も至近を示す焦点検出領域を前記第１の領域として選択することを特徴とする請求項１３に記載の焦点検出装置。
【請求項16】
前記被写体が人物である場合に、前記特徴領域は人物の瞳であることを特徴とする請求項１に記載の焦点検出装置。
【請求項17】
前記焦点状態は、像面位置を含むことを特徴とする請求項１に記載の焦点検出装置。
【請求項18】
前記焦点状態は、デフォーカス量を含むことを特徴とする請求項１に記載の焦点検出装置。
【請求項19】
撮像手段と、
請求項１乃至１８のいずれか１項に記載の焦点検出装置と
を有することを特徴とする撮像装置。
請求項１乃至１８のいずれか１項に記載の焦点検出装置と
を有することを特徴とする撮像装置。
【請求項20】
前記焦点調節手段と、
前記任意の時間において、前記取得手段により求められた前記駆動量により、前記焦点調節手段を駆動する駆動手段と
を更に有することを特徴とする請求項１９に記載の撮像装置。
前記任意の時間において、前記取得手段により求められた前記駆動量により、前記焦点調節手段を駆動する駆動手段と
を更に有することを特徴とする請求項１９に記載の撮像装置。
【請求項21】
撮像装置から繰り返し出力される画像信号の画像から被写体と、前記被写体に含まれる特徴領域と、を検出する被写体検出工程と、
前記被写体検出工程で検出された前記被写体および前記特徴領域に、予め決められた大きさの複数の焦点検出領域を設定する設定工程と、
前記画像信号に基づいて、前記設定工程で設定された前記複数の焦点検出領域それぞれにおける焦点状態を検出する検出工程と、
前記複数の焦点検出領域のうち、予め決められた条件を満たす第１の領域と、前記特徴領域を含む第２の領域と、を選択する選択工程と、
前記検出工程で検出された焦点状態に基づく、前記第１の領域の焦点状態の第１の履歴と、前記第１の領域の焦点状態と前記第２の領域の焦点状態との差の第２の履歴とから、任意の時間における前記第２の領域の焦点状態を予測する予測工程と、
前記予測工程で予測された前記第２の領域の焦点状態に基づいて、前記第２の領域に合焦させるための、焦点調節手段の駆動量を求める取得工程と
を有することを特徴とする焦点検出方法。
前記被写体検出工程で検出された前記被写体および前記特徴領域に、予め決められた大きさの複数の焦点検出領域を設定する設定工程と、
前記画像信号に基づいて、前記設定工程で設定された前記複数の焦点検出領域それぞれにおける焦点状態を検出する検出工程と、
前記複数の焦点検出領域のうち、予め決められた条件を満たす第１の領域と、前記特徴領域を含む第２の領域と、を選択する選択工程と、
前記検出工程で検出された焦点状態に基づく、前記第１の領域の焦点状態の第１の履歴と、前記第１の領域の焦点状態と前記第２の領域の焦点状態との差の第２の履歴とから、任意の時間における前記第２の領域の焦点状態を予測する予測工程と、
前記予測工程で予測された前記第２の領域の焦点状態に基づいて、前記第２の領域に合焦させるための、焦点調節手段の駆動量を求める取得工程と
を有することを特徴とする焦点検出方法。
【請求項22】
コンピュータを、請求項１乃至１８のいずれか１項に記載の焦点検出装置の各手段として機能させるためのプログラム。
【請求項23】
請求項２２に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、焦点検出装置及び方法、撮像装置、プログラム及び記憶媒体に関し、特に被写体検出情報を活用した焦点調節技術に関する。
【背景技術】
【0002】
近年、撮影レンズの焦点位置を自動調節する焦点調節機能（以下、「ＡＦ」と呼ぶ。）を備えたカメラが普及している。その焦点調節を行う手段として、撮像素子を用いた撮像面位相差ＡＦ方式やコントラストＡＦ方式等、様々なＡＦ方式が実用化されている。
【0003】
さらに、様々なＡＦ方式において、主被写体の領域を特定して合焦させる技術がある。特許文献１では、検出された被写体のうち、焦点検出が困難な領域を回避しつつ、優先すべき部位にピントを合わせる制御手法が開示されている。
【0004】
またその多くは、静止する被写体のみならず、移動する被写体に焦点が合うようにフォーカスレンズを駆動させるサーボ撮影モードを備えている。サーボ撮影モードは、過去の移動履歴から被写体がどのように動いているのかを予測する機能を持つ。特許文献２では、検出された被写体の部位ごとに焦点検出履歴を保持し、条件に応じて予測に使用する履歴を切り替える制御手法が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０２１－１７３８０３号公報
【特許文献2】特許第７０６６３８８号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献１及び特許文献２においては、被写体の姿勢や光の当たり方といった一時的な状態変化があった場合、優先度の高い検出部位の被写体検出ができない、焦点検出ができない、といった問題が発生し、優先度の高い検出部位にピントを合わせられなくなるという問題がある。
【0007】
本発明は上記問題点を鑑みてなされたものであり、被写体の一時的な状態変化があった場合でも、優先度の高い部位にピントを合わせ続けることを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するために、本発明の焦点検出装置は、撮像装置から繰り返し出力される画像信号の画像から被写体と、前記被写体に含まれる特徴領域と、を検出する被写体検出手段と、前記被写体検出手段により検出された前記被写体および前記特徴領域に、予め決められた大きさの複数の焦点検出領域を設定する設定手段と、前記画像信号に基づいて、前記設定手段により設定された前記複数の焦点検出領域それぞれにおける焦点状態を検出する検出手段と、前記複数の焦点検出領域のうち、予め決められた条件を満たす第１の領域と、前記特徴領域を含む第２の領域と、を選択する選択手段と、前記検出手段により検出された焦点状態に基づく、前記第１の領域の焦点状態の第１の履歴と、前記第１の領域の焦点状態と前記第２の領域の焦点状態との差の第２の履歴とから、任意の時間における前記第２の領域の焦点状態を予測する予測手段と、前記予測手段により予測された前記第２の領域の焦点状態に基づいて、前記第２の領域に合焦させるための、焦点調節手段の駆動量を求める取得手段とを有する。
【発明の効果】
【0009】
本発明によれば、被写体の一時的な状態変化があった場合でも、優先度の高い部位にピントを合わせ続けることができる。
【図面の簡単な説明】
【0010】
【図1】本発明の実施形態における撮像装置の構成を示すブロック図。
【図2】実施形態における撮像装置による撮影動作のフローチャート。
【図3】実施形態におけるＡＦ枠設定処理を説明するフローチャート。
【図4】実施形態における検出された主要領域が１つである場合のＡＦ枠の概念を説明する図。
【図5】実施形態における検出された主要領域が複数ある場合のＡＦ枠の概念を説明する図。
【図6】実施形態におけるＡＦ動作の全体の流れを示すフローチャート。
【図7】実施形態における焦点検出処理を示すフローチャート。
【図8】実施形態における主枠選択処理を示すフローチャート。
【図9】実施形態における第２の選択方法による主枠選択を説明するフローチャート。
【図10】実施形態における第１の状態における主枠選択を説明するフローチャート。
【図11】実施形態における第２の状態における主枠選択を説明するフローチャート。
【図12】実施形態における特徴部位代表枠の選択処理を説明するフローチャート。
【図13】実施形態におけるレンズ駆動量算出処理のフローチャート。
【図14】実施形態における予測処理のフローチャート。
【図15】実施形態における被写体全体の予測曲線の一例を示す図。
【図16】実施形態における特徴部位の相対位置の予測曲線の一例を示す図。
【図17】実施形態における特徴部位の予測処理の概念を示す図。
【発明を実施するための形態】
【0011】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0012】
●撮像装置の構成
図１は、本発明の実施形態における撮像装置として、レンズ交換式カメラ（以下、単に「カメラ」と呼ぶ。）の構成を示すブロック図である。本実施形態に係るカメラは、本発明を適用した焦点調節装置を搭載した撮像装置の例であり、被写体像を撮像する撮像素子からの出力信号を用いた撮像面位相差検出方式による焦点調節を行う。なお、本発明は、例えば、レンズ一体型のデジタルカメラや、ビデオカメラに対しても適用可能である。また、カメラを備えた任意の電子機器、例えば携帯電話機、パーソナルコンピュータ（ラップトップ、タブレット、デスクトップ型等）、ゲーム機等で実施することもできる。
図１は、本発明の実施形態における撮像装置として、レンズ交換式カメラ（以下、単に「カメラ」と呼ぶ。）の構成を示すブロック図である。本実施形態に係るカメラは、本発明を適用した焦点調節装置を搭載した撮像装置の例であり、被写体像を撮像する撮像素子からの出力信号を用いた撮像面位相差検出方式による焦点調節を行う。なお、本発明は、例えば、レンズ一体型のデジタルカメラや、ビデオカメラに対しても適用可能である。また、カメラを備えた任意の電子機器、例えば携帯電話機、パーソナルコンピュータ（ラップトップ、タブレット、デスクトップ型等）、ゲーム機等で実施することもできる。
【0013】
図１に示すように、カメラは、レンズ装置（交換レンズ）１００と、カメラ本体２００とにより構成される。レンズ装置１００が電気接点ユニット１０６を有するマウント部を介してカメラ本体２００に装着されると、レンズ装置１００の動作を統括制御するレンズコントローラ１０５とカメラ全体の動作を統括制御するシステム制御部２０９とが相互に通信可能となる。
【0014】
まず、レンズ装置１００の構成について説明する。レンズ装置１００は、ズーム機構を含む撮影レンズ１０１、光量を制御する絞り及びシャッター１０２、後述する撮像素子２０１上に焦点をあわせるためのフォーカスレンズ１０３、フォーカスレンズを駆動するモータ１０４、レンズコントローラ１０５を備える。
【0015】
次に、カメラ本体２００の構成について説明する。カメラ本体２００は、レンズ装置１００の撮影光学系を通過した光束から画像信号を取得できるように構成される。カメラ本体２００において、撮像素子２０１はＣＣＤやＣＭＯＳセンサにより構成され、被写体からの反射光を受光して、フォトダイオードによって入射光量に応じた信号電荷に変換し、蓄積する。各フォトダイオードに蓄積された信号電荷は、システム制御部２０９の指令に従ってタイミングジェネレータ２０８から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として、撮像素子２０１から順次読み出される。
【0016】
Ａ／Ｄ変換部２０２は、撮像素子２０１から出力される電圧信号をＡ／Ｄ変換する。Ａ／Ｄ変換部２０２は、撮像素子２０１の出力ノイズを除去するＣＤＳ回路や、Ａ／Ｄ変換前に行う非線形増幅回路を備える。
【0017】
更にカメラ本体２００は、画像処理部２０３、ＡＦ信号処理部２０４、フォーマット変換部２０５、（例えば、ランダムアクセスメモリ等の高速な内蔵メモリ（以下「ＤＲＡＭ」と記す。）２０６を備える。ＤＲＡＭ２０６は、一時的に画像を記憶するための高速バッファとして、あるいは画像の圧縮伸張における作業用メモリ等として使用される。画像記録部２０７は、メモリーカード等の挿抜可能な記録媒体とそのインターフェースとからなる。
【0018】
システム制御部２０９は、タイミングジェネレータ２０８、撮影シーケンス等、カメラ全体を制御する。更にデジタルカメラ本体２００は、カメラ本体２００とレンズ装置１００との通信を行うレンズ通信部２１０、被写体検出部２１１、被写体移動予測部２１９、画像表示用メモリ２１２（以下、「ＶＲＡＭ」と記す。）を備える。画像表示部２１３は、撮影した画像を表示する他、操作補助のための表示やカメラ状態の表示、撮影時には撮影画面と、焦点検出領域を表示する。
【0019】
また、カメラ本体２００は、ユーザーがカメラを操作するための各種操作部材を有する。操作部２１４は、例えば、カメラの撮影機能や画像再生時の設定等の各種設定を行うメニュースイッチ、撮影モードと再生モードの動作モード切換えスイッチ等を含む。撮影モードスイッチ２１５は、マクロモード、スポーツモード等の撮影モードを選択するためのスイッチ、メインスイッチ２１６は、カメラの電源を投入するためのスイッチである。また、ＡＦやＡＥ等の撮影スタンバイ動作を行うためのスイッチ（以下「ＳＷ１」と記す。）２１７、ＳＷ１の操作後、撮影を行う撮影スイッチ（以下「ＳＷ２」と記す。）２１８を備える。
【0020】
●撮像素子の構成
撮像素子２０１は、ＣＣＤやＣＭＯＳセンサにより構成される。本実施形態で用いられる撮像素子２０１の各画素は、２つ（一対）のフォトダイオードＡ、Ｂと、これら一対のフォトダイオードＡ、Ｂに対して設けられた１つのマイクロレンズとにより構成される。各画素では、入射する光をマイクロレンズを介して一対のフォトダイオードＡ、Ｂ上に一対の光学像が形成され、一対のフォトダイオードＡ、Ｂから後述するＡＦ用信号に用いられる一対の画素信号（Ａ信号及びＢ信号）を出力する。また、一対のフォトダイオードＡ、Ｂの出力を加算することで、撮像用信号（Ａ＋Ｂ信号）を得ることができる。
撮像素子２０１は、ＣＣＤやＣＭＯＳセンサにより構成される。本実施形態で用いられる撮像素子２０１の各画素は、２つ（一対）のフォトダイオードＡ、Ｂと、これら一対のフォトダイオードＡ、Ｂに対して設けられた１つのマイクロレンズとにより構成される。各画素では、入射する光をマイクロレンズを介して一対のフォトダイオードＡ、Ｂ上に一対の光学像が形成され、一対のフォトダイオードＡ、Ｂから後述するＡＦ用信号に用いられる一対の画素信号（Ａ信号及びＢ信号）を出力する。また、一対のフォトダイオードＡ、Ｂの出力を加算することで、撮像用信号（Ａ＋Ｂ信号）を得ることができる。
【0021】
複数の画素から出力された複数のＡ信号と複数のＢ信号をそれぞれまとめることで、撮像面位相差検出方式によるＡＦに用いられるＡＦ用信号（焦点検出用信号）として、一対の像信号（Ａ像信号、Ｂ像信号）が得られる。ＡＦ信号処理部２０４は、Ａ像信号及びＢ像信号に対して相関演算を行い、Ａ像信号とＢ像信号のずれ量である位相差（以下、「像ずれ量」と呼ぶ。）を算出し、さらに算出した像ずれ量から、撮影光学系のデフォーカス量、デフォーカス方向、及び信頼度（以下、まとめて「焦点検出情報」と呼ぶ。）を求める。なお、本実施形態においては、ＡＦ信号処理部２０４は、後述するようにして設定されたＡＦ枠内の領域それぞれについて、焦点検出情報を求める。
【0022】
●撮像装置の動作
次に、本実施形態のカメラにおける撮影動作について、図２を用いて説明する。
図２は、ライブビュー画像を表示する状態から静止画撮影を行う場合の撮影動作の流れを示している。なお、このフローチャートにおける各処理は、不図示の不揮発性メモリに格納された制御プログラムを、システム制御部２０９が実行することにより行われる。
次に、本実施形態のカメラにおける撮影動作について、図２を用いて説明する。
図２は、ライブビュー画像を表示する状態から静止画撮影を行う場合の撮影動作の流れを示している。なお、このフローチャートにおける各処理は、不図示の不揮発性メモリに格納された制御プログラムを、システム制御部２０９が実行することにより行われる。
【0023】
まず、Ｓ２０１において、ＳＷ１（２１７）の状態を調べ、ＯＮとなるとＳ２０２へ進む。Ｓ２０２では、システム制御部２０９にて後述するＡＦ枠設定処理を行って、ＡＦ信号処理部２０４に対してＡＦ枠を設定し、Ｓ２０３へと進む。Ｓ２０３では、Ｓ２０２で設定された各ＡＦ枠の領域について後述するＡＦ動作を行い、Ｓ２０４へ進む。Ｓ２０４では、ＳＷ１（２１７）の状態を調べ、ＯＮであればＳ２０５へ進み、そうでなければＳ２０１へ戻る。ＳＷ１（２１７）がＯＮとなるとＳ２０５に進み、ＳＷ２（２１８）の状態を調べ、ＯＮであればＳ２０６へ進み、そうでなければＳ２０１へ戻る。Ｓ２０６では、撮影を行い、撮影を終えた後、Ｓ２０１へ戻る。
【0024】
【0025】
まず、Ｓ３０１では、被写体検出部２１１から被写体検出情報を取得する。なお、以下の説明において、本実施形態の被写体は人物とし、人物（被写体内）における主要領域を検出するものとする。ここで主要領域とは、人物における瞳、顔、体のそれぞれの領域とする。ただし、被写体は人物に限られるものではなく、例えば、動物や車両、電車等であっても良く、主要領域は、被写体の特徴に基づいて決めればよい。
被写体及び主要領域の検出方法としては、公知の機械学習による学習手法や、画像処理による認識処理等を用いることができる。
被写体及び主要領域の検出方法としては、公知の機械学習による学習手法や、画像処理による認識処理等を用いることができる。
【0026】
例えば、機械学習の種類としては、以下のものがある。
【0027】
（１）サポートベクターマシーン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）
（２）畳み込みニューラルネットワーク（Ｃｏｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）
（３）再起型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）
（２）畳み込みニューラルネットワーク（Ｃｏｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）
（３）再起型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）
【0028】
また、認識処理の例としては、画像データで表される各画素の階調色から肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法が知られている。また、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔検出を行う方法等も周知である。
なお、本発明に適用可能な主要領域の検出手法については、これらの手法に限るものではなく、他の手法を用いてもよい。
なお、本発明に適用可能な主要領域の検出手法については、これらの手法に限るものではなく、他の手法を用いてもよい。
【0029】
Ｓ３０２では、被写体検出部２１１から得られた被写体検出情報に基づいて、被写体が検出できたか、また、検出できていれば、複数の主要領域が検出されたかどうかを判定する。複数の主要領域が検出されていればＳ３０３へ、検出できた主要領域が１つであればＳ３０４へ、また、被写体が検出できていなければＳ３０８へ進む。
【0030】
ここで、検出された主要領域が１つの場合と複数の場合におけるＡＦ枠の概念を、図４及び図５を用いて説明する。図４（ａ）は、顔領域４０１のみ検出されている状態、図５（ａ）は、瞳領域５０１、顔領域５０２、体領域５０３が検出されている状態を示している。なお、被写体検出部２１１は、人物や動物といった被写体の種別と、それぞれ検出された主要領域における中心座標と、水平サイズ及び垂直サイズとを取得できるものとし、これらの情報を被写体検出情報として出力する。
【0031】
Ｓ３０３では、検出された複数の主要領域のうち、最小の主要領域を選択し、その主要領域の水平サイズ及び垂直サイズのうち、小さい方の値をＭｉｎＡとする。つまり、図５（ａ）の例では、瞳領域５０１の水平サイズと垂直サイズのうち、小さいほうの値をＭｉｎＡとする。そして、この値ＭｉｎＡを１つのＡＦ枠５０４の一辺の長さ（ＡＦ枠サイズ）とする。
【0032】
Ｓ３０５では、検出された複数の主要領域の水平座標と水平サイズとから、図５（ｂ）に示すように、全主要領域を包含する領域の水平サイズＨを求め、求めた水平サイズＨをＡＦ枠サイズＭｉｎＡで除算することにより、水平ＡＦ枠数を決定する。続いて、Ｓ３０７では、検出された複数の主要領域の垂直座標と垂直サイズとから、図５（ｂ）に示すように、全主要領域を包含する領域の垂直サイズＶを求め、求めた垂直サイズＶをＡＦ枠サイズＭｉｎＡで除算することにより、垂直ＡＦ枠数を決定し、ＡＦ枠設定処理を終了する。なお、Ｓ３０５の処理とＳ３０７の処理の順番は、逆であっても良いし、平行して行っても良い。
【0033】
なお、本実施形態では、最小の主要領域の短い方の辺の長さを使用した正方形のＡＦ枠としたが、本発明はこれに限られるものではない。例えば、ＡＦ枠の水平サイズと垂直サイズを異ならせてもよいし、全主要領域を包含する領域のサイズと、システム制御部２０９で演算可能なＡＦ枠の数に基づいて、ＡＦ枠のサイズを設定してもよい。
【0034】
一方、検出された主要領域が複数ではない場合、Ｓ３０４において、検出された顔に対して所定サイズＸのＡＦ枠を設定する。所定サイズＸとしては、顔から推定される瞳サイズとしてもよいし、低照度環境時を考慮してＳ／Ｎが確保でき、十分に合焦性能がでるようなサイズを設定してもよい。本実施形態では、推定瞳サイズで所定サイズＸを設定するものとする。そして、Ｓ３０６において、図４（ｂ）に示すように、顔領域４０１を包含し、顔が動いた場合にも対応できるような、サイズＸのＡＦ枠によるＡＦ枠数を設定する。
【0035】
また、被写体が検出されていない場合には、Ｓ３０８において、公知の方法によりＡＦ枠のサイズ、設定位置、設定数を決定する。公知の方法としては、例えば、中央に予め決められたサイズのＡＦ枠を１つ設定する方法や、任意の複数の位置に予め決められたサイズのＡＦ枠を設定する方法、また、画面を複数の領域に分割し、各領域をＡＦ枠とする方法等がある。他にも、ユーザーが操作部２１４を用いて設定する等、様々な方法があり、本発明にはこれらの方法に限られるものではない。
【0036】
なお、図４及び図５で示す例では、複数のＡＦ枠が主要領域を含むように設定されているが、本発明はこれに限られるものではなく、例えば、主要領域内に複数のＡＦ枠を離散的に設定しても良い。
上記処理によりＡＦ枠を設定すると、図２のＳ２０３の処理に進む。
上記処理によりＡＦ枠を設定すると、図２のＳ２０３の処理に進む。
【0037】
なお、上述したＡＦ枠設定処理は、画像が入力される毎に行わなくても良く、複数回、画像が入力される毎に一回行うようにしても良い。その場合、ＡＦ枠設定処理を行わないときには、設定したＡＦ枠をＤＲＡＭ２０６に記憶しておき、時間的に最も近いタイミングで記憶されたＡＦ枠を読み出して使用すればよい。
【0038】
●ＡＦ動作
図６は、Ｓ２０３で行われるＡＦ動作の全体の流れを説明するフローチャートである。
まず、Ｓ４０１において焦点検出処理を行い、デフォーカス量を検出してＳ４０２へ進む。なお、焦点検出処理については後述する。
Ｓ４０２では、Ｓ３０１で得られた被写体検出情報を用いて後述する主枠選択処理を行い、Ｓ４０３へ進む。Ｓ４０３では、Ｓ４０２で得られた主枠選択結果を用いて、後述するフォーカスレンズの駆動量算出を行い、Ｓ４０４へ進む。Ｓ４０４では、Ｓ４０３で得られたフォーカスレンズ駆動量をレンズ通信部２１０へ伝達し、フォーカスレンズ１０３を駆動させて、ＡＦ動作を終了する。
図６は、Ｓ２０３で行われるＡＦ動作の全体の流れを説明するフローチャートである。
まず、Ｓ４０１において焦点検出処理を行い、デフォーカス量を検出してＳ４０２へ進む。なお、焦点検出処理については後述する。
Ｓ４０２では、Ｓ３０１で得られた被写体検出情報を用いて後述する主枠選択処理を行い、Ｓ４０３へ進む。Ｓ４０３では、Ｓ４０２で得られた主枠選択結果を用いて、後述するフォーカスレンズの駆動量算出を行い、Ｓ４０４へ進む。Ｓ４０４では、Ｓ４０３で得られたフォーカスレンズ駆動量をレンズ通信部２１０へ伝達し、フォーカスレンズ１０３を駆動させて、ＡＦ動作を終了する。
【0039】
◆焦点検出処理
次に、Ｓ４０１で行われる焦点検出処理について、図７を用いて説明する。
まず、Ｓ５０１では、撮像素子２０１から出力された画像データから、Ｓ２０２で設定されたＡＦ枠のうち、１つの未処理のＡＦ枠の領域を焦点検出領域として設定し、Ｓ５０２へ進む。Ｓ５０２では、Ｓ５０１で設定した焦点検出領域に対応する撮像素子２０１の領域の画素から、焦点検出用信号である一対の像信号（Ａ像信号、Ｂ像信号）を取得して、Ｓ５０３へ進む。Ｓ５０３では、Ｓ５０２で取得した一対の像信号を垂直方向に行加算平均処理を行った後、Ｓ５０４へ進む。この処理によって、像信号のノイズの影響を軽減することができる。
次に、Ｓ４０１で行われる焦点検出処理について、図７を用いて説明する。
まず、Ｓ５０１では、撮像素子２０１から出力された画像データから、Ｓ２０２で設定されたＡＦ枠のうち、１つの未処理のＡＦ枠の領域を焦点検出領域として設定し、Ｓ５０２へ進む。Ｓ５０２では、Ｓ５０１で設定した焦点検出領域に対応する撮像素子２０１の領域の画素から、焦点検出用信号である一対の像信号（Ａ像信号、Ｂ像信号）を取得して、Ｓ５０３へ進む。Ｓ５０３では、Ｓ５０２で取得した一対の像信号を垂直方向に行加算平均処理を行った後、Ｓ５０４へ進む。この処理によって、像信号のノイズの影響を軽減することができる。
【0040】
Ｓ５０４では、Ｓ５０３で垂直行加算平均した信号から所定の周波数帯域の信号成分を取り出すフィルタ処理を行い、Ｓ５０５へ進む。Ｓ５０５では、Ｓ５０４でフィルタ処理した信号から相関量を算出して、Ｓ５０６へ進む。Ｓ５０６では、Ｓ５０５で算出した相関量から相関変化量を算出して、Ｓ５０７へ進む。Ｓ５０７では、Ｓ５０６で算出した相関変化量から像ずれ量を算出して、Ｓ５０８へ進む。Ｓ５０８では、Ｓ５０７で算出した像ずれ量がどれだけ信頼できるのかを表す信頼度を算出して、Ｓ５０９へ進む。Ｓ５０９では像ずれ量をデフォーカス量に変換する。
【0041】
Ｓ５１０において、Ｓ２０２で設定されたＡＦ枠のうち、未処理のＡＦ枠があるかどうかを判断する。未処理のＡＦ枠がある場合にはＳ５０１に戻って次の未処理のＡＦ枠について上記処理を繰り返し、設定されたすべてのＡＦ枠について処理を終えていれば、焦点検出処理を終了する。
【0042】
◆主枠選択処理
図８は、Ｓ４０２で行われる主枠選択処理を説明するフローチャートである。
まず、Ｓ６０１において、被写体検出部２１１にて被写体が検出されているかどうかを判定する。検出されていなければＳ６０２へ進み、被写体の検出情報を用いない第１の選択方法により主枠を選択し、主枠選択処理を終了する。第１の選択方法としては、例えば、Ｓ３０８で設定されたＡＦ枠のうち、画面内の所定領域（例えば中央位置を含む領域）を主枠として選択する等の方法が考えられるが、これに限られるものではなく、公知の技術を用いても良い。
図８は、Ｓ４０２で行われる主枠選択処理を説明するフローチャートである。
まず、Ｓ６０１において、被写体検出部２１１にて被写体が検出されているかどうかを判定する。検出されていなければＳ６０２へ進み、被写体の検出情報を用いない第１の選択方法により主枠を選択し、主枠選択処理を終了する。第１の選択方法としては、例えば、Ｓ３０８で設定されたＡＦ枠のうち、画面内の所定領域（例えば中央位置を含む領域）を主枠として選択する等の方法が考えられるが、これに限られるものではなく、公知の技術を用いても良い。
【0043】
一方、被写体が検出されていればＳ６０３へ進み、焦点検出したＡＦ枠の中から主枠を選択する第２の選択方法により主枠を選択し、Ｓ６０４へ進む。
【0044】
ここで、Ｓ６０３で行われる第２の選択方法による主枠の選択処理の詳細について、図９及び図１２のフローチャートを参照して説明する。
まず、図９のＳ７０１において、被写体検出部２１１により被写体の瞳が検出されているかどうかを判定する。瞳が検出されていればＳ７０２へ進み、瞳が検出されていなければＳ７０３へ進む。Ｓ７０２では、主枠選択領域として瞳領域を追加し、Ｓ７０３へ進む。
まず、図９のＳ７０１において、被写体検出部２１１により被写体の瞳が検出されているかどうかを判定する。瞳が検出されていればＳ７０２へ進み、瞳が検出されていなければＳ７０３へ進む。Ｓ７０２では、主枠選択領域として瞳領域を追加し、Ｓ７０３へ進む。
【0045】
Ｓ７０３では、被写体検出部２１１により被写体の顔が検出されているかどうかを判定する。顔が検出されていればＳ７０４へ進み、顔が検出されていなければＳ７０５へ進む。Ｓ７０４では、主枠選択領域として顔領域を追加し、Ｓ７０５へ進む。
【0046】
Ｓ７０５では、被写体検出部２１１により被写体の胴体（体）が検出されているかどうかを判定する。胴体が検出されていればＳ７０６へ進み、胴体が検出されていなければＳ７０７へ進む。Ｓ７０６では、主枠選択領域として体領域を追加し、Ｓ７０７へ進む。
【0047】
Ｓ７０７では、主枠選択領域を含むＡＦ枠の数が、予め決められた第１の閾値以上であるかどうかを判定する。なお、ここでは、主枠選択領域を含むＡＦ枠は、ＡＦ枠の中心が、主枠選択領域に含まれるＡＦ枠とするが、これに限られるものではない。例えば、主枠選択領域の少なくとも一部を含むＡＦ枠であってもよいし、ＡＦ枠の予め決められた割合以上の領域が主枠選択領域にかかるＡＦ枠としてもよい。主枠選択領域に第１の閾値以上のＡＦ枠が含まれる場合、Ｓ７０８へ進み、第１の閾値以上のＡＦ枠が含まれていなければ、Ｓ７１１に進む。
【0048】
Ｓ７０８では、主枠選択領域を含むＡＦ枠毎に算出されたデフォーカス量を予め決められた深度毎に分類して、ヒストグラムを作成する。そして、Ｓ７０９において、Ｓ７０８にて作成したヒストグラムのピーク値が、予め決められた第２の閾値以上であるかどうかを判定する。なお、本実施形態では、ヒストグラムの最大ＡＦ枠数を全ＡＦ枠数で正規化して、割合へ変換したものをピーク値として使用する。ピーク値が第２の閾値以上であればＳ７１０へ進み、第２の閾値未満であればＳ７１１に進む。
【0049】
Ｓ７１０では、主枠選択領域内に第１の閾値以上のＡＦ枠が存在し、且つ、ある１つの深度（ピーク値のビン）内に、全体の第２の閾値以上の割合のＡＦ枠のデフォーカス量が存在する状態（以下、「第１の状態」と呼ぶ。）となっている。そこで、第１の状態に応じた主枠選択処理を行う。
【0050】
一方、Ｓ７１１では、主枠選択領域内に含まれるＡＦ枠が第１の閾値未満か、または、第１の閾値以上であっても、ＡＦ枠のデフォーカス量が複数の深度に散在している状態（以下、「第２の状態」と呼ぶ。）となっている。そこで、第２の状態に応じた主枠選択処理を行う。
【0051】
本実施形態では、上述した異なる状態において、互いに異なる方法により主枠を選択する。
【0052】
図１０は、Ｓ７１０で行われる第１の状態における主枠選択処理を示すフローチャートである。
まず、Ｓ８０１において、主枠選択領域の中から主枠を選択するために主枠選択領域を含む全ＡＦ枠分のループ処理を開始する。Ｓ８０２では、処理中のＡＦ枠が、ヒストグラムのピーク値を示すビンに含まれるＡＦ枠かどうかを判定する。そうであればＳ８０３へ進み、そうでなければ他のＡＦ枠についてループ処理を繰り返す。Ｓ８０３では、処理中のＡＦ枠が、現在選択されている主枠よりも、主枠選択領域の中心に近い位置にあるかどうかを判断し、近ければＳ８０４に進んで主枠を更新し、そうでなければ他のＡＦ枠についてループ処理を繰り返す。主枠選択領域の中心としては、例えば、主枠選択領域の水平、垂直方向それぞれの最大幅の中心としてもよいし、主枠選択領域の重心としてもよい。
まず、Ｓ８０１において、主枠選択領域の中から主枠を選択するために主枠選択領域を含む全ＡＦ枠分のループ処理を開始する。Ｓ８０２では、処理中のＡＦ枠が、ヒストグラムのピーク値を示すビンに含まれるＡＦ枠かどうかを判定する。そうであればＳ８０３へ進み、そうでなければ他のＡＦ枠についてループ処理を繰り返す。Ｓ８０３では、処理中のＡＦ枠が、現在選択されている主枠よりも、主枠選択領域の中心に近い位置にあるかどうかを判断し、近ければＳ８０４に進んで主枠を更新し、そうでなければ他のＡＦ枠についてループ処理を繰り返す。主枠選択領域の中心としては、例えば、主枠選択領域の水平、垂直方向それぞれの最大幅の中心としてもよいし、主枠選択領域の重心としてもよい。
【0053】
Ｓ８０１のループが終わると、第１の状態における主枠選択処理を終了する。上記処理により、ピーク値を示すビンに含まれるＡＦ枠のうち、主枠選択領域の中心に最も近い位置にあるＡＦ枠が主枠として選択される。
【0054】
図１１は、Ｓ７１１で行われる第２の状態における主枠選択処理を示すフローチャートである。
Ｓ９０１において、主枠選択領域の中心が、予め決められた深度内にあるかどうかを判定し、予め決められた深度内にあればＳ９０２へ進み、主枠選択領域の中心を含むＡＦ枠を主枠として設定する。一方、主枠選択領域の中心が予め決められた深度内になければＳ９０３へ進む。
Ｓ９０１において、主枠選択領域の中心が、予め決められた深度内にあるかどうかを判定し、予め決められた深度内にあればＳ９０２へ進み、主枠選択領域の中心を含むＡＦ枠を主枠として設定する。一方、主枠選択領域の中心が予め決められた深度内になければＳ９０３へ進む。
【0055】
Ｓ９０３では、設定した主枠選択領域を含むＡＦ枠の中から、主枠を選択するために全枠分のループ処理を行う。主枠の初期値は、主枠が選択されていないことが判断できる情報（全枠数＋１等）をすでに設定しておくものとし、図は省略する。Ｓ９０４では、処理中のＡＦ枠のデフォーカス量が所定深度内にあり、且つ、現在選択している主枠のデフォーカス量よりも至近側にあるかどうかを判定し、条件を満たしている場合、Ｓ９０５において主枠を更新する。
【0056】
Ｓ９０６では、Ｓ９０３のループによって主枠が選択できたかどうかを判定し、選択できていない場合には、Ｓ９０７において、主枠選択領域の中心を含むＡＦ枠を主枠に設定する。
上記処理を終えると、図８のＳ６０３に戻る。
上記処理を終えると、図８のＳ６０３に戻る。
【0057】
上記処理により、Ｓ６０３において第２の選択方法により主枠を選択すると、Ｓ６０４において、被写体検出部２１１にて被写体の瞳が検出されているかどうかを判定する。瞳が検出されていればＳ６０５へ進み、検出されていなければ主枠選択処理を終了する。
Ｓ６０５では、瞳等の特徴部位（特徴領域）を代表するＡＦ枠を選択する処理を行う。
Ｓ６０５では、瞳等の特徴部位（特徴領域）を代表するＡＦ枠を選択する処理を行う。
【0058】
図１２は、Ｓ６０５で行われる特徴部位代表枠選択処理を説明するフローチャート図である。
まず、Ｓ１００１において、特徴部位領域を瞳領域に設定し、Ｓ１００２へ進む。なお、本実施形態では、被写体として人物を想定しているため、瞳を特徴部位として、特徴部位領域を瞳領域に設定するが、本発明はこれに限られるものではなく、任意の部位を特徴部位として設定することができる。
まず、Ｓ１００１において、特徴部位領域を瞳領域に設定し、Ｓ１００２へ進む。なお、本実施形態では、被写体として人物を想定しているため、瞳を特徴部位として、特徴部位領域を瞳領域に設定するが、本発明はこれに限られるものではなく、任意の部位を特徴部位として設定することができる。
【0059】
Ｓ１００２では、特徴部位代表枠を選択するために、設定した特徴部位領域を含む全ＡＦ枠分のループ処理を行う。特徴部位代表枠の初期値は特徴部位代表枠が選択されていないことが判断できる情報（全枠数＋１等）をすでに設定しておくものとし、図は省略する。Ｓ１００３では、処理中のＡＦ枠のデフォーカス量が所定深度内であって、且つ、選択している特徴部位代表枠よりも至近側にあるかどうかを判定し、条件を満たしていれば、Ｓ１００４において特徴部位代表枠を更新する。Ｓ１００５では、Ｓ１００２のループによって特徴部位代表枠が選択できたかどうかを判定し、選択できていない場合には、Ｓ１００６において特徴部位領域の中心を含むＡＦ枠を、特徴部位代表枠として設定する。
以上により、主枠選択処理を終了し、図６のＳ４０２に戻る。
以上により、主枠選択処理を終了し、図６のＳ４０２に戻る。
【0060】
◆レンズ駆動量算出処理
図１３は、Ｓ４０３におけるレンズ駆動量算出処理を説明するフローチャートである。
図１３は、Ｓ４０３におけるレンズ駆動量算出処理を説明するフローチャートである。
【0061】
まず、Ｓ１３０１において、Ｓ４０２で選択した主枠の焦点検出結果を記録し、Ｓ１３０２へ進む。主枠の焦点検出結果は焦点検出のたびに記録されるため、過去の焦点検出結果の履歴を遡ることができる。
【0062】
Ｓ１３０２では、特徴部位代表枠が選択されているかどうかを判定し、選択されていればＳ１３０３へ、選択されていなければＳ１３０４へ進む。
Ｓ１３０３では、Ｓ６０３で選択された主枠と、Ｓ６０５で選択された特徴部位代表枠との焦点検出結果から、求めた特徴部位の像面位置の相対位置を記録する。特徴部位の相対位置は、特徴部位代表枠の像面位置から、主枠の像面位置を減算することによって求められ、主枠の像面位置に対する、特徴部位代表枠の像面位置の相対的な位置を示す。特徴部位の相対位置は焦点検出を行って特徴部位代表枠が選択されるたびに記録されるため、過去の相対位置の履歴を遡ることができる。特徴部位の相対位置の記録が完了すると、Ｓ１３０４へ進む。
Ｓ１３０４では、被写体移動予測部２１９にて、焦点検出結果の履歴を用いて像面位置を予測する予測処理を行い、Ｓ１３０５へ進む。なお、予測処理の詳細については後述する。
Ｓ１３０３では、Ｓ６０３で選択された主枠と、Ｓ６０５で選択された特徴部位代表枠との焦点検出結果から、求めた特徴部位の像面位置の相対位置を記録する。特徴部位の相対位置は、特徴部位代表枠の像面位置から、主枠の像面位置を減算することによって求められ、主枠の像面位置に対する、特徴部位代表枠の像面位置の相対的な位置を示す。特徴部位の相対位置は焦点検出を行って特徴部位代表枠が選択されるたびに記録されるため、過去の相対位置の履歴を遡ることができる。特徴部位の相対位置の記録が完了すると、Ｓ１３０４へ進む。
Ｓ１３０４では、被写体移動予測部２１９にて、焦点検出結果の履歴を用いて像面位置を予測する予測処理を行い、Ｓ１３０５へ進む。なお、予測処理の詳細については後述する。
【0063】
Ｓ１３０５ではフォーカスレンズの駆動目標を予測した像面位置に設定し、レンズ駆動算出処理を終了する。
【0064】
図１４は、Ｓ１３０４で行われる予測処理を説明するフローチャートである。
まず、Ｓ１４０１では、Ｓ１３０１で記録した主枠の焦点検出結果を用いて被写体全体の予測処理を行う。
まず、Ｓ１４０１では、Ｓ１３０１で記録した主枠の焦点検出結果を用いて被写体全体の予測処理を行う。
【0065】
被写体全体の予測処理では、過去の焦点検出履歴から予測曲線を引くことで、被写体全体の予測位置を求める。図１５の１５０１は予測曲線の一例を示しており、縦軸は像面位置を、横軸は時間を示す。縦軸の像面位置が大きいほど距離が遠いことを示しており、図１５に示す履歴は、撮影者（カメラ）に近付く被写体を追従している様子を示している。前述した通り、Ｓ２０３におけるＡＦ動作は、サーボ撮影モードでは周期的に実施されており、Ｔ１～Ｔ５は各々、Ｓ２０３で行われるＡＦ動作の実施時刻を表している。
【0066】
予測先像面位置は、例えば過去の像面位置とそれぞれの焦点検出時刻とを用いて一括最小二乗法によって予測曲線を導出し、この曲線をもとに予測先時刻での像面位置を算出することで得られる。予測先時刻は、ＳＷ２がＯＮであれば撮影時の時刻を、そうでなければ今回の焦点検出時刻を示す。また、予測手法は一括最小二乗法に限らず、例えば逐次最小二乗法を使用する場合は過去の焦点検出履歴を複数保存しておく必要はなく、前回のＡＦ動作時に算出したパラメータを記録しておくことにより過去の焦点検出履歴の代替とできる。被写体全体の予測処理が終了すると、Ｓ１４０２へ進む。
【0067】
Ｓ１４０２では、Ｓ１３０３で記録した特徴部位の相対位置の履歴を用いて、特徴部位の相対位置の予測を行う。
【0068】
特徴部位の相対位置の予測では、過去の相対位置の履歴から予測曲線を引くことで予測変化量を求める。図１６の１６０１は予測曲線の一例を示しており、縦軸は相対位置を、横軸は時間を示し、縦軸の相対位置が大きいほど、特徴部位が被写体全体からより離れていることを示しており、図１６に示す履歴は、例えば飛行中の鳥のように撮影者（カメラ）側に飛び出た特徴部位を持つ被写体が撮影者に近づくところを追従している様子を示している。前述した通り、Ｓ２０３におけるＡＦ動作は、サーボ撮影モードでは周期的に実施されており、Ｔ１～Ｔ５は各々、Ｓ２０３で行われるＡＦ動作の実施時刻を表している。
【0069】
予測先相対位置は、例えば過去の像面位置とそれぞれの焦点検出時刻を用いた一括最小二乗法によって予測曲線を導出し、この曲線をもとに予測先時刻での像面位置を算出することで得られる。予測先時刻は、ＳＷ２がＯＮであれば撮影時の時刻を、そうでなければ今回の焦点検出時刻を示す。また、予測手法は一括最小二乗法に限らず、例えば逐次最小二乗法を使用する場合は過去の焦点検出履歴を複数保存しておく必要はなく、前回のＡＦ動作時に算出したパラメータを記録しておくことにより過去の焦点検出履歴の代替とできる。
【0070】
また、予め焦点検出時に被写体の深度幅を推定しておき、被写体の深度幅を用いて特徴部位の相対位置を表現してもよい。例えば、被写体の深度幅と特徴部位の相対位置との比を一括最小二乗法や逐次最小二乗法によって予測することによって、特徴部位の相対位置を予測してもよい。もしくは、被写体の深度幅を振幅とした単振動モデルに近似して表現してもよい。被写体の深度幅の推定としては、例えば、被写体全体の主枠選択時に作成したヒストグラムを用いて、主枠選択領域を含むＡＦ枠を含むすべてのビンの深度幅をまとめた深度幅を、被写体の深度幅としてもよい。また検出した被写体の種別、撮影距離、画像情報を用いて予め被写体の深度幅を推定できるよう学習させておき、これによって推定した被写体の深度幅を用いてもよい。なお、特徴部位が過去に検出された記録がない場合、特徴部位の相対位置は０とする。特徴部位の相対位置の予測処理が終了すると、Ｓ１４０３へ進む。
【0071】
Ｓ１４０３では、Ｓ１４０１で求めた被写体全体の予測結果と、Ｓ１４０２で求めた特徴部位の相対位置の予測結果とを用いて、特徴部位の予測処理を行う。
【0072】
被写体全体の予測式を時刻tの関数Ｌ(t)、特徴部位の相対位置の予測式をｌ(t)とすると、特徴部位の予測式Ｌ′(t)は、以下の式（１）で表現することができる。
Ｌ'(t) = Ｌ(t) + ｌ(t) …（１）
Ｌ'(t) = Ｌ(t) + ｌ(t) …（１）
【0073】
図１７は、被写体全体の予測曲線が図１５、特徴部位の相対位置の予測曲線１７０１が図１６である場合の、特徴部位の予測曲線１７０２を図示している。特徴部位の予測処理が完了すると、Ｓ１４０４へ進む。
Ｓ１４０４では、Ｓ１４０３で求めた特徴部位の予測結果を予測像面位置として設定し、予測処理を終了する。
なお、Ｓ１４０３に示す特徴部位の相対位置の予測は、特徴部位が検出されていない時であっても、過去に一度でも特徴部位が検出された履歴があれば計算される。予測曲線のモデルを、時系列データを長く使用する、曲率が低くなるようにする、といった対応により予め安定し易くしておけば、部分的に特徴部位の情報が欠落していた場合でも、過去の履歴を用いて特徴部位の相対位置を推定し、特徴部位があると推測される位置を追従し続けることができる。
Ｓ１４０４では、Ｓ１４０３で求めた特徴部位の予測結果を予測像面位置として設定し、予測処理を終了する。
なお、Ｓ１４０３に示す特徴部位の相対位置の予測は、特徴部位が検出されていない時であっても、過去に一度でも特徴部位が検出された履歴があれば計算される。予測曲線のモデルを、時系列データを長く使用する、曲率が低くなるようにする、といった対応により予め安定し易くしておけば、部分的に特徴部位の情報が欠落していた場合でも、過去の履歴を用いて特徴部位の相対位置を推定し、特徴部位があると推測される位置を追従し続けることができる。
【0074】
また、特徴部位が過去に検出された記録がない場合、特徴部位の相対位置を０とすることにより、特徴部位の予測式Ｌ′(t)は、以下の式（２）
L'(t) = L(t) …（２）
で表されるようになり、主枠の焦点検出結果が特徴部位の予測結果となる。
L'(t) = L(t) …（２）
で表されるようになり、主枠の焦点検出結果が特徴部位の予測結果となる。
【0075】
上記の通り本実施形態によれば、同一被写体内に含まれる複数の焦点検出領域の過去の焦点検出履歴を用いることで、被写体の一時的な状態変化があった場合でも、優先度の高い検出部位にピントを合わせ続けることができる。
【0076】
なお、上述した説明では、デフォーカス量を用いて処理を行うものとして説明したが、デフォーカス量以外でも、焦点状態を示す情報であれば、当該情報を用いて、上述した処理を行うことが可能である。
【0077】
また、上述した説明では、像面位置に基づいて予測処理を行うものとして説明したが、これに限られるものでは無く、例えばデフォーカス量や合焦距離といった、焦点状態を表す情報を用いて、予測することも可能である。なお、像面位置も広義の意味で、焦点状態に含まれる。
【0078】
＜他の実施形態＞
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
【0079】
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0080】
＜まとめ＞
本実施形態の開示は、以下の構成を含む。
本実施形態の開示は、以下の構成を含む。
【0081】
（項目１）
撮像装置から繰り返し出力される画像信号の画像から被写体と、前記被写体に含まれる特徴領域と、を検出する被写体検出手段と、
前記被写体検出手段により検出された前記被写体および前記特徴領域に、予め決められた大きさの複数の焦点検出領域を設定する設定手段と、
前記画像信号に基づいて、前記設定手段により設定された前記複数の焦点検出領域それぞれにおける焦点状態を検出する検出手段と、
前記複数の焦点検出領域のうち、予め決められた条件を満たす第１の領域と、前記特徴領域を含む第２の領域と、を選択する選択手段と、
前記検出手段により検出された焦点状態に基づく、前記第１の領域の焦点状態の第１の履歴と、前記第１の領域の焦点状態と前記第２の領域の焦点状態との差の第２の履歴とから、任意の時間における前記第２の領域の焦点状態を予測する予測手段と、
前記予測手段により予測された前記第２の領域の焦点状態に基づいて、前記第２の領域に合焦させるための、焦点調節手段の駆動量を求める取得手段と
を有することを特徴とする焦点検出装置。
（項目２）
前記予測手段は、前記第１の履歴に基づいて、前記任意の時間における前記第１の領域の焦点状態を予測し、前記第２の履歴に基づいて、前記任意の時間における前記差を予測することを特徴とする項目１に記載の焦点検出装置。
（項目３）
前記予測手段は、前記第１の履歴および前記第２の履歴に基づいて、一括最小二乗法または逐次最小二乗法により、前記任意の時間における前記第１の領域の焦点状態および前記差を予測することを特徴とする項目２に記載の焦点検出装置。
（項目４）
前記被写体の深度幅を推定する推定手段を更に有し、
前記予測手段は、当該深度幅と前記差との比を、一括最小二乗法または逐次最小二乗法によって予測することによって、前記任意の時間における前記差を予測することを特徴とする項目２に記載の焦点検出装置。
（項目５）
前記被写体の深度幅を推定する推定手段を更に有し、
前記予測手段は、前記被写体の深度幅を振幅とした単振動モデルに近似することで、前記任意の時間における前記差を予測することを特徴とする項目２に記載の焦点検出装置。
（項目６）
前記予測手段は、前記任意の時間における、予測した前記第１の領域の焦点状態と前記差とを加算することにより、前記任意の時間における前記第２の領域の焦点状態を予測することを特徴とする項目２乃至５のいずれか１項目に記載の焦点検出装置。
（項目７）
前記推定手段は、前記複数の焦点検出領域の焦点状態に基づいて、前記複数の焦点検出領域を予め決められた深度幅の複数の深度に分類し、前記複数の焦点検出領域を含む深度をまとめた深度幅を、前記被写体の深度幅として推定することを特徴とする項目４または５に記載の焦点検出装置。
（項目８）
前記推定手段は、被写体の種別、撮影距離、画像情報に基づいて、被写体の深度幅を推定するための学習を行い、前記被写体の深度幅を推定することを特徴とする項目４または５に記載の焦点検出装置。
（項目９）
前記第２の履歴が無い場合に、前記予測手段は、前記任意の時間における前記特徴領域の相対位置を０として予測することを特徴とする項目１乃至８のいずれか１項目に記載の焦点検出装置。
（項目１０）
前記選択手段は、前記複数の焦点検出領域が予め決められた第１の閾値以上の場合に、前記複数の焦点検出領域の焦点状態に基づいて、前記複数の焦点検出領域を予め決められた深度幅の複数の深度に分類し、分類した結果に基づいて前記第１の領域を選択することを特徴とする項目１乃至９のいずれか１項目に記載の焦点検出装置。
（項目１１）
前記選択手段は、前記複数の深度のうち、前記焦点検出領域が最も多く分類された深度における前記焦点検出領域の割合が、予め決められた第２の閾値以上の場合に、当該深度に分類された前記焦点検出領域のうち、前記複数の焦点検出領域の中心に最も近い焦点検出領域を前記第１の領域として選択することを特徴とする項目１０に記載の焦点検出装置。
（項目１２）
前記選択手段は、前記複数の焦点検出領域が予め決められた第１の閾値より少ない場合、及び、前記複数の深度のうち、前記焦点検出領域が最も多く分類された深度における前記焦点検出領域の割合が、前記第２の閾値より小さい場合に、前記複数の焦点検出領域の中心に最も近い焦点検出領域が予め決められた深度の深度幅に含まれる場合、当該焦点検出領域を前記第１の領域として選択することを特徴とする項目１１に記載の焦点検出装置。
（項目１３）
前記選択手段は、前記複数の焦点検出領域が予め決められた第１の閾値より少ない場合、及び、前記複数の深度のうち、前記焦点検出領域が最も多く分類された深度における前記焦点検出領域の割合が、前記第２の閾値より小さい場合に、前記複数の焦点検出領域の中心に最も近い焦点検出領域が予め決められた深度の深度幅に含まれない場合、予め決められた深度の深度幅において、焦点状態が最も至近を示す焦点検出領域を前記第１の領域として選択することを特徴とする項目１１または１２に記載の焦点検出装置。
（項目１４）
前記被写体が人物である場合に、前記特徴領域は人物の瞳であることを特徴とする項目１乃至１３のいずれか１項目に記載の焦点検出装置。
（項目１５）
前記焦点状態は、像面位置を含むことを特徴とする項目１乃至１４のいずれか１項目に記載の焦点検出装置。
（項目１６）
前記焦点状態は、デフォーカス量を含むことを特徴とする項目１乃至１４のいずれか１項目に記載の焦点検出装置。
（項目１７）
撮像手段と、
項目１乃至１６のいずれか１項目に記載の焦点検出装置と
を有することを特徴とする撮像装置。
（項目１８）
前記焦点調節手段と、
前記任意の時間において、前記取得手段により求められた前記駆動量により、前記焦点調節手段を駆動する駆動手段と
を更に有することを特徴とする項目１７に記載の撮像装置。
（項目１９）
撮像装置から繰り返し出力される画像信号の画像から被写体と、前記被写体に含まれる特徴領域と、を検出する被写体検出工程と、
前記被写体検出工程で検出された前記被写体および前記特徴領域に、予め決められた大きさの複数の焦点検出領域を設定する設定工程と、
前記画像信号に基づいて、前記設定工程で設定された前記複数の焦点検出領域それぞれにおける焦点状態を検出する検出工程と、
前記複数の焦点検出領域のうち、予め決められた条件を満たす第１の領域と、前記特徴領域を含む第２の領域と、を選択する選択工程と、
前記検出工程で検出された焦点状態に基づく、前記第１の領域の焦点状態の第１の履歴と、前記第１の領域の焦点状態と前記第２の領域の焦点状態との差の第２の履歴とから、任意の時間における前記第２の領域の焦点状態を予測する予測工程と、
前記予測工程で予測された前記第２の領域の焦点状態に基づいて、前記第２の領域に合焦させるための、焦点調節手段の駆動量を求める取得工程と
を有することを特徴とする焦点検出方法。
（項目２０）
コンピュータを、項目１乃至１６のいずれか１項目に記載の焦点検出装置の各手段として機能させるためのプログラム。
（項目２１）
項目２０に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
撮像装置から繰り返し出力される画像信号の画像から被写体と、前記被写体に含まれる特徴領域と、を検出する被写体検出手段と、
前記被写体検出手段により検出された前記被写体および前記特徴領域に、予め決められた大きさの複数の焦点検出領域を設定する設定手段と、
前記画像信号に基づいて、前記設定手段により設定された前記複数の焦点検出領域それぞれにおける焦点状態を検出する検出手段と、
前記複数の焦点検出領域のうち、予め決められた条件を満たす第１の領域と、前記特徴領域を含む第２の領域と、を選択する選択手段と、
前記検出手段により検出された焦点状態に基づく、前記第１の領域の焦点状態の第１の履歴と、前記第１の領域の焦点状態と前記第２の領域の焦点状態との差の第２の履歴とから、任意の時間における前記第２の領域の焦点状態を予測する予測手段と、
前記予測手段により予測された前記第２の領域の焦点状態に基づいて、前記第２の領域に合焦させるための、焦点調節手段の駆動量を求める取得手段と
を有することを特徴とする焦点検出装置。
（項目２）
前記予測手段は、前記第１の履歴に基づいて、前記任意の時間における前記第１の領域の焦点状態を予測し、前記第２の履歴に基づいて、前記任意の時間における前記差を予測することを特徴とする項目１に記載の焦点検出装置。
（項目３）
前記予測手段は、前記第１の履歴および前記第２の履歴に基づいて、一括最小二乗法または逐次最小二乗法により、前記任意の時間における前記第１の領域の焦点状態および前記差を予測することを特徴とする項目２に記載の焦点検出装置。
（項目４）
前記被写体の深度幅を推定する推定手段を更に有し、
前記予測手段は、当該深度幅と前記差との比を、一括最小二乗法または逐次最小二乗法によって予測することによって、前記任意の時間における前記差を予測することを特徴とする項目２に記載の焦点検出装置。
（項目５）
前記被写体の深度幅を推定する推定手段を更に有し、
前記予測手段は、前記被写体の深度幅を振幅とした単振動モデルに近似することで、前記任意の時間における前記差を予測することを特徴とする項目２に記載の焦点検出装置。
（項目６）
前記予測手段は、前記任意の時間における、予測した前記第１の領域の焦点状態と前記差とを加算することにより、前記任意の時間における前記第２の領域の焦点状態を予測することを特徴とする項目２乃至５のいずれか１項目に記載の焦点検出装置。
（項目７）
前記推定手段は、前記複数の焦点検出領域の焦点状態に基づいて、前記複数の焦点検出領域を予め決められた深度幅の複数の深度に分類し、前記複数の焦点検出領域を含む深度をまとめた深度幅を、前記被写体の深度幅として推定することを特徴とする項目４または５に記載の焦点検出装置。
（項目８）
前記推定手段は、被写体の種別、撮影距離、画像情報に基づいて、被写体の深度幅を推定するための学習を行い、前記被写体の深度幅を推定することを特徴とする項目４または５に記載の焦点検出装置。
（項目９）
前記第２の履歴が無い場合に、前記予測手段は、前記任意の時間における前記特徴領域の相対位置を０として予測することを特徴とする項目１乃至８のいずれか１項目に記載の焦点検出装置。
（項目１０）
前記選択手段は、前記複数の焦点検出領域が予め決められた第１の閾値以上の場合に、前記複数の焦点検出領域の焦点状態に基づいて、前記複数の焦点検出領域を予め決められた深度幅の複数の深度に分類し、分類した結果に基づいて前記第１の領域を選択することを特徴とする項目１乃至９のいずれか１項目に記載の焦点検出装置。
（項目１１）
前記選択手段は、前記複数の深度のうち、前記焦点検出領域が最も多く分類された深度における前記焦点検出領域の割合が、予め決められた第２の閾値以上の場合に、当該深度に分類された前記焦点検出領域のうち、前記複数の焦点検出領域の中心に最も近い焦点検出領域を前記第１の領域として選択することを特徴とする項目１０に記載の焦点検出装置。
（項目１２）
前記選択手段は、前記複数の焦点検出領域が予め決められた第１の閾値より少ない場合、及び、前記複数の深度のうち、前記焦点検出領域が最も多く分類された深度における前記焦点検出領域の割合が、前記第２の閾値より小さい場合に、前記複数の焦点検出領域の中心に最も近い焦点検出領域が予め決められた深度の深度幅に含まれる場合、当該焦点検出領域を前記第１の領域として選択することを特徴とする項目１１に記載の焦点検出装置。
（項目１３）
前記選択手段は、前記複数の焦点検出領域が予め決められた第１の閾値より少ない場合、及び、前記複数の深度のうち、前記焦点検出領域が最も多く分類された深度における前記焦点検出領域の割合が、前記第２の閾値より小さい場合に、前記複数の焦点検出領域の中心に最も近い焦点検出領域が予め決められた深度の深度幅に含まれない場合、予め決められた深度の深度幅において、焦点状態が最も至近を示す焦点検出領域を前記第１の領域として選択することを特徴とする項目１１または１２に記載の焦点検出装置。
（項目１４）
前記被写体が人物である場合に、前記特徴領域は人物の瞳であることを特徴とする項目１乃至１３のいずれか１項目に記載の焦点検出装置。
（項目１５）
前記焦点状態は、像面位置を含むことを特徴とする項目１乃至１４のいずれか１項目に記載の焦点検出装置。
（項目１６）
前記焦点状態は、デフォーカス量を含むことを特徴とする項目１乃至１４のいずれか１項目に記載の焦点検出装置。
（項目１７）
撮像手段と、
項目１乃至１６のいずれか１項目に記載の焦点検出装置と
を有することを特徴とする撮像装置。
（項目１８）
前記焦点調節手段と、
前記任意の時間において、前記取得手段により求められた前記駆動量により、前記焦点調節手段を駆動する駆動手段と
を更に有することを特徴とする項目１７に記載の撮像装置。
（項目１９）
撮像装置から繰り返し出力される画像信号の画像から被写体と、前記被写体に含まれる特徴領域と、を検出する被写体検出工程と、
前記被写体検出工程で検出された前記被写体および前記特徴領域に、予め決められた大きさの複数の焦点検出領域を設定する設定工程と、
前記画像信号に基づいて、前記設定工程で設定された前記複数の焦点検出領域それぞれにおける焦点状態を検出する検出工程と、
前記複数の焦点検出領域のうち、予め決められた条件を満たす第１の領域と、前記特徴領域を含む第２の領域と、を選択する選択工程と、
前記検出工程で検出された焦点状態に基づく、前記第１の領域の焦点状態の第１の履歴と、前記第１の領域の焦点状態と前記第２の領域の焦点状態との差の第２の履歴とから、任意の時間における前記第２の領域の焦点状態を予測する予測工程と、
前記予測工程で予測された前記第２の領域の焦点状態に基づいて、前記第２の領域に合焦させるための、焦点調節手段の駆動量を求める取得工程と
を有することを特徴とする焦点検出方法。
（項目２０）
コンピュータを、項目１乃至１６のいずれか１項目に記載の焦点検出装置の各手段として機能させるためのプログラム。
（項目２１）
項目２０に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【0082】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【0083】
１００：レンズ装置、１０３：フォーカスレンズ、１０５：レンズコントローラ、２００：カメラ本体、２０１：撮像素子、２０４：ＡＦ信号処理部、２０９：システム制御部、２１０：レンズ通信部、２１１：被写体検出部、２１９：被写体移動予測部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】