特許 7373676 撮像装置、撮像制御方法及び撮像制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-25

(45)【発行日】2023-11-02

(54)【発明の名称】撮像装置、撮像制御方法及び撮像制御プログラム

(51)【国際特許分類】

   H04N 23/67 20230101AFI20231026BHJP

   H04N 23/63 20230101ALI20231026BHJP

   G02B 7/28 20210101ALI20231026BHJP

   G03B 13/36 20210101ALI20231026BHJP

   G03B 13/34 20210101ALI20231026BHJP

【ＦＩ】

H04N23/67

H04N23/67 100

H04N23/63 330

G02B7/28 N

G03B13/36

G03B13/34

【請求項の数】 21

(21)【出願番号】P 2022565296

(86)(22)【出願日】2021-11-19

(86)【国際出願番号】 JP2021042556

(87)【国際公開番号】W WO2022113893

(87)【国際公開日】2022-06-02

【審査請求日】2023-05-24

(31)【優先権主張番号】P 2020195915

(32)【優先日】2020-11-26

(33)【優先権主張国・地域又は機関】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(74)【代理人】

【識別番号】100153822

【弁理士】

【氏名又は名称】増田 重之

(72)【発明者】

【氏名】斎藤 太郎

(72)【発明者】

【氏名】河口 武弘

(72)【発明者】

【氏名】藤原 慎也

(72)【発明者】

【氏名】西山 幸徳

(72)【発明者】

【氏名】島田 智大

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２０１１－１３３８２１（ＪＰ，Ａ）

【文献】特開２０１０－１９９８８４（ＪＰ，Ａ）

【文献】特開２０１５－２１３２５４（ＪＰ，Ａ）

【文献】特開２０１１－２２４９９（ＪＰ，Ａ）

【文献】特開２０１３－７８３９（ＪＰ，Ａ）

【文献】特開２０１０－１６４６３７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６７

Ｈ０４Ｎ ２３／６３

Ｇ０２Ｂ ７／２８

Ｇ０３Ｂ １３／３６

Ｇ０３Ｂ １３／３４

(57)【特許請求の範囲】

【請求項1】

撮像光学系と、撮像素子と、プロセッサと、を備える撮像装置であって、
前記プロセッサは、
第１フォーカスモードにおいて、
前記撮像光学系を介して前記撮像素子で撮像された動画像データを表示先に出力し、
前記動画像データに基づいて、前記動画像データが表す画像における合焦領域を検出し、
フォーカス操作が行われた場合に、前記フォーカス操作に関する時間に基づいて、前記フォーカス操作の終了を検知し、
前記フォーカス操作の終了が検知される直前のフォーカスの移動方向を検知し、
前記フォーカス操作の終了が検知された場合は、前記合焦領域に存在する被写体を追尾対象に設定して、追尾処理及びオートフォーカス制御を継続して行い、かつ、前記追尾処理及び前記オートフォーカス制御を開始してから第２時間が経過するまでの間、前記オートフォーカス制御によるフォーカスの移動方向を、前記フォーカス操作の終了が検知される直前のフォーカスの移動方向に制限し、
前記追尾処理及び前記オートフォーカス制御の開始後、再び前記フォーカス操作が行われた場合は、前記追尾処理及び前記オートフォーカス制御を終了する、
撮像装置。

【請求項2】

撮像光学系と、撮像素子と、プロセッサと、を備える撮像装置であって、
前記プロセッサは、
第１フォーカスモードにおいて、
前記撮像光学系を介して前記撮像素子で撮像された動画像データを表示先に出力し、
前記動画像データに基づいて、前記動画像データが表す画像における合焦領域を検出し、
前記動画像データに基づいて、前記動画像データに含まれる被写体のフォーカス状態を検出し、
フォーカス操作が行われた場合に、前記フォーカス操作に関する時間に基づいて、前記フォーカス操作の終了を検知し、
前記フォーカス操作の終了が検知された場合は、前記合焦領域に存在する前記被写体であって、前記フォーカス操作中に合焦状態から非合焦状態に変化した後、合焦状態に戻された前記被写体を追尾対象に設定して、追尾処理及びオートフォーカス制御を継続して行い、
前記追尾処理及び前記オートフォーカス制御の開始後、再び前記フォーカス操作が行われた場合は、前記追尾処理及び前記オートフォーカス制御を終了する、
撮像装置。

【請求項3】

前記プロセッサは、前記フォーカス操作中に合焦状態から非合焦状態に変化した後、合焦状態に戻された前記被写体が存在しない場合、前記フォーカス操作中に合焦状態の期間が最も長い前記被写体を前記追尾対象に設定する、
請求項２に記載の撮像装置。

【請求項4】

前記フォーカス操作に関する時間は、無操作状態の時間である、
請求項１から３のいずれか１項に記載の撮像装置。

【請求項5】

前記プロセッサは、
前記無操作状態の継続時間を計測し、
前記無操作状態の開始から第１時間が経過したことを検知して、前記フォーカス操作の終了を検知する、
請求項４に記載の撮像装置。

【請求項6】

前記プロセッサは、
前記無操作状態の継続時間の情報を記録し、
記録された前記無操作状態の継続時間の情報に基づいて、前記第１時間を設定する、
請求項５に記載の撮像装置。

【請求項7】

前記プロセッサは、記録された前記無操作状態の継続時間の情報に基づいて、統計的手法により前記第１時間を算出し、設定する、
請求項６に記載の撮像装置。

【請求項8】

前記プロセッサは、前記第１時間として、直近の規定回数分の前記無操作状態の継続時間の平均値、中央値又は最頻値を算出する、
請求項７に記載の撮像装置。

【請求項9】

前記プロセッサは、前記動画像データが表す画像に対し、前記合焦領域を示す情報を付与し、前記動画像データを前記表示先に出力する、
請求項１から８のいずれか１項に記載の撮像装置。

【請求項10】

前記プロセッサは、前記フォーカス操作の終了の検知に応じて、前記合焦領域を示す情報の内容を変更する、
請求項９に記載の撮像装置。

【請求項11】

前記プロセッサは、
装置本体の姿勢の情報を取得し、
前記追尾処理及び前記オートフォーカス制御の開始後、前記装置本体の姿勢が変化した場合、前記追尾処理及び前記オートフォーカス制御を終了する、
請求項１から１０のいずれか１項に記載の撮像装置。

【請求項12】

前記プロセッサは、
複数の前記被写体が前記追尾対象に設定された場合において、
各前記被写体の動き量を算出し、
算出した前記動き量に基づいて、前記追尾対象を設定する、
請求項１から１１のいずれか１項に記載の撮像装置。

【請求項13】

前記プロセッサは、動きのない前記被写体又は前記動き量が最も小さい前記被写体を前記追尾対象に設定する、
請求項１２に記載の撮像装置。

【請求項14】

前記動き量は、前記撮像光学系の光軸方向の動き量を含み、
前記プロセッサは、すべての前記被写体に動きがあると判定した場合、前記光軸方向の動き量が最も小さい前記被写体を前記追尾対象に設定する、
請求項１２又は１３に記載の撮像装置。

【請求項15】

前記プロセッサは、すべての前記被写体に動きがあると判定した場合において、前記光軸方向の動き量の情報を取得できない場合、すべての前記被写体に対する前記追尾対象の設定を解除する、
請求項１４に記載の撮像装置。

【請求項16】

前記プロセッサは、
前記追尾処理及び前記オートフォーカス制御の開始後、前記動画像データに基づいて、画面内の複数の領域のフォーカス評価値を算出し、
前記追尾対象と同程度のフォーカス評価値が第３時間維持された前記領域を抽出し、抽出した前記領域に存在する前記被写体を前記追尾対象として新たに追加して設定する、
請求項１から１５のいずれか１項に記載の撮像装置。

【請求項17】

撮像光学系を介して撮像素子で撮像された動画像データに基づいて、前記動画像データが表す画像における合焦領域を検出し、
フォーカス操作が行われた場合に、前記フォーカス操作に関する時間に基づいて、前記フォーカス操作の終了を検知し、
前記フォーカス操作の終了が検知される直前のフォーカスの移動方向を検知し、
前記フォーカス操作の終了が検知された場合は、前記合焦領域に存在する被写体を追尾対象に設定して、追尾処理及びオートフォーカス制御を継続して行い、かつ、前記追尾処理及び前記オートフォーカス制御を開始してから第２時間が経過するまでの間、前記オートフォーカス制御によるフォーカスの移動方向を、前記フォーカス操作の終了が検知される直前のフォーカスの移動方向に制限し、
前記追尾処理及び前記オートフォーカス制御の開始後、再び前記フォーカス操作が行われた場合は、前記追尾処理及び前記オートフォーカス制御を終了する、
撮像制御方法。

【請求項18】

撮像光学系を介して撮像素子で撮像された動画像データに基づいて、前記動画像データが表す画像における合焦領域を検出し、
前記動画像データに基づいて、前記動画像データに含まれる被写体のフォーカス状態を検出し、
フォーカス操作が行われた場合に、前記フォーカス操作に関する時間に基づいて、前記フォーカス操作の終了を検知し、
前記フォーカス操作の終了が検知された場合は、前記合焦領域に存在する前記被写体であって、前記フォーカス操作中に合焦状態から非合焦状態に変化した後、合焦状態に戻された前記被写体を追尾対象に設定して、追尾処理及びオートフォーカス制御を継続して行い、
前記追尾処理及び前記オートフォーカス制御の開始後、再び前記フォーカス操作が行われた場合は、前記追尾処理及び前記オートフォーカス制御を終了する、
撮像制御方法。

【請求項19】

撮像光学系を介して撮像素子で撮像された動画像データに基づいて、前記動画像データが表す画像における合焦領域を検出する機能と、
フォーカス操作が行われた場合に、前記フォーカス操作に関する時間に基づいて、前記フォーカス操作の終了を検知する機能と、
前記フォーカス操作の終了が検知される直前のフォーカスの移動方向を検知する機能と、
前記フォーカス操作の終了が検知された場合に、前記合焦領域に存在する被写体を追尾対象に設定して、追尾処理及びオートフォーカス制御を継続して行い、かつ、前記追尾処理及び前記オートフォーカス制御を開始してから第２時間が経過するまでの間、前記オートフォーカス制御によるフォーカスの移動方向を、前記フォーカス操作の終了が検知される直前のフォーカスの移動方向に制限する機能と、
前記追尾処理及び前記オートフォーカス制御の開始後、再び前記フォーカス操作が行われた場合に、前記追尾処理及び前記オートフォーカス制御を終了する機能と、
をコンピュータに実現させる撮像制御プログラム。

【請求項20】

撮像光学系を介して撮像素子で撮像された動画像データに基づいて、前記動画像データが表す画像における合焦領域を検出する機能と、
前記動画像データに基づいて、前記動画像データに含まれる被写体のフォーカス状態を検出する機能と、
フォーカス操作が行われた場合に、前記フォーカス操作に関する時間に基づいて、前記フォーカス操作の終了を検知する機能と、
前記フォーカス操作の終了が検知された場合は、前記合焦領域に存在する前記被写体であって、前記フォーカス操作中に合焦状態から非合焦状態に変化した後、合焦状態に戻された前記被写体を追尾対象に設定して、追尾処理及びオートフォーカス制御を継続して行う機能と、
前記追尾処理及び前記オートフォーカス制御の開始後、再び前記フォーカス操作が行われた場合に、前記追尾処理及び前記オートフォーカス制御を終了する機能と、
をコンピュータに実現させる撮像制御プログラム。

【請求項21】

非一時的かつコンピュータ読取可能な記録媒体であって、請求項１９又は２０に記載のプログラムが記録された記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置、撮像制御方法及び撮像制御プログラムに係り、特に、マニュアルによるフォーカス操作をアシストする技術に関する。

【背景技術】

【0002】

特許文献１には、マニュアルでフォーカス操作を行う際に、主被写体のフォーカス状態を表示手段に表示する技術が記載されている。

【0003】

特許文献２には、オートフォーカス（Auto Focus，ＡＦ）による撮像と、マニュアルフォーカス（Manual Focus，ＭＦ）による撮像と、が可能な撮像装置において、ＡＦでの撮像中にＭＦ操作が行われると、ＡＦを停止する技術が記載されている。また、特許文献２には、ＡＦを停止させた場合に、ズーム操作等をトリガとして、ＡＦを再開する技術が記載されている。

【0004】

特許文献３には、フォーカシングを指示するスイッチへの指の接触を検出して、ＡＦ動作とＭＦ動作とを自動で切り替える技術が記載されている。また、特許文献３には、ＭＦ動作からＡＦ動作に切り替える際に、ＭＦ動作の際に指定した合焦対象領域をＡＦ処理の合焦対象領域とする技術が記載されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開2018-197806公報

【文献】特開2004-64713公報

【文献】特開平6-205261公報

【発明の概要】

【0006】

本開示の技術に係る１つの実施形態は、マニュアルによるフォーカス操作の負担を軽減できる撮像装置、撮像制御方法及び撮像制御プログラムを提供する。

【課題を解決するための手段】

【0007】

（１）撮像光学系と、撮像素子と、プロセッサと、を備える撮像装置であって、プロセッサは、第１フォーカスモードにおいて、撮像光学系を介して撮像素子で撮像された動画像データを表示先に出力し、動画像データに基づいて、動画像データが表す画像における合焦領域を検出し、フォーカス操作が行われた場合に、フォーカス操作に関する時間に基づいて、フォーカス操作の終了を検知し、フォーカス操作の終了が検知された場合は、合焦領域に存在する被写体を追尾対象に設定して、追尾処理及びオートフォーカス制御を継続して行い、追尾処理及びオートフォーカス制御の開始後、再びフォーカス操作が行われた場合は、追尾処理及びオートフォーカス制御を終了する、撮像装置。

【0008】

（２）フォーカス操作に関する時間は、無操作状態の時間である、（１）の撮像装置。

【0009】

（３）プロセッサは、無操作状態の継続時間を計測し、無操作状態の開始から第１時間が経過したことを検知して、フォーカス操作の終了を検知する、（２）の撮像装置。

【0010】

（４）プロセッサは、無操作状態の継続時間の情報を記録し、記録された無操作状態の継続時間の情報に基づいて、第１時間を設定する、（３）の撮像装置。

【0011】

（５）プロセッサは、記録された無操作状態の継続時間の情報に基づいて、統計的手法により第１時間を算出し、設定する、（４）の撮像装置。

【0012】

（６）プロセッサは、第１時間として、直近の規定回数分の無操作状態の継続時間の平均値、中央値又は最頻値を算出する、（５）の撮像装置。

【0013】

（７）プロセッサは、動画像データが表す画像に対し、合焦領域を示す情報を付与し、動画像データを表示先に出力する、（１）から（６）のいずれか一の撮像装置。

【0014】

（８）プロセッサは、フォーカス操作の終了の検知に応じて、合焦領域を示す情報の内容を変更する、（７）の撮像装置。

【0015】

（９）プロセッサは、フォーカス操作の終了が検知される直前のフォーカスの移動方向を検知し、追尾処理及びオートフォーカス制御を開始してから第２時間が経過するまでの間、オートフォーカス制御によるフォーカスの移動方向を、検知された移動方向に制限する、（１）から（８）のいずれか一の撮像装置。

【0016】

（１０）プロセッサは、装置本体の姿勢の情報を取得し、追尾処理及びオートフォーカス制御の開始後、装置本体の姿勢が変化した場合、追尾処理及びオートフォーカス制御を終了する、（１）から（９）のいずれか一の撮像装置。

【0017】

（１１）プロセッサは、複数の被写体が追尾対象に設定された場合において、各被写体の動き量を算出し、算出した動き量に基づいて、追尾対象を設定する、（１）から（１０）のいずれか一の撮像装置。

【0018】

（１２）プロセッサは、動きのない被写体又は動き量が最も小さい被写体を追尾対象に設定する、（１１）の撮像装置。

【0019】

（１３）動き量は、撮像光学系の光軸方向の動き量を含み、プロセッサは、すべての被写体に動きがあると判定した場合、光軸方向の動き量が最も小さい被写体を追尾対象に設定する、（１１）又は（１２）の撮像装置。

【0020】

（１４）プロセッサは、すべての被写体に動きがあると判定した場合において、光軸方向の動き量の情報を取得できない場合、すべての被写体に対する追尾対象の設定を解除する、（１３）の撮像装置。

【0021】

（１５）プロセッサは、動画像データに基づいて、動画像データに含まれる被写体のフォーカス状態を検出し、フォーカス操作中の被写体のフォーカス状態に基づいて、追尾対象を設定する、（１）から（１０）のいずれか一の撮像装置。

【0022】

（１６）プロセッサは、フォーカス操作中に合焦状態から非合焦状態に変化した後、合焦状態に戻された被写体を追尾対象に設定する、（１５）の撮像装置。

【0023】

（１７）プロセッサは、フォーカス操作中に合焦状態から非合焦状態に変化した後、合焦状態に戻された被写体が存在しない場合、フォーカス操作中に合焦状態の期間が最も長い被写体を追尾対象に設定する、（１６）の撮像装置。

【0024】

（１８）プロセッサは、フォーカス操作中に合焦状態の期間が最も長い被写体を追尾対象に設定する、（１５）の撮像装置。

【0025】

（１９）プロセッサは、追尾処理及びオートフォーカス制御の開始後、動画像データに基づいて、画面内の複数の領域のフォーカス評価値を算出し、追尾対象と同程度のフォーカス評価値が第３時間維持された領域を抽出し、抽出した領域に存在する被写体を追尾対象として新たに追加して設定する、（１）から（１８）のいずれか一の撮像装置。

【0026】

（２０）撮像光学系を介して撮像素子で撮像された動画像データに基づいて、動画像データが表す画像における合焦領域を検出し、フォーカス操作が行われた場合に、フォーカス操作に関する時間に基づいて、フォーカス操作の終了を検知し、フォーカス操作の終了が検知された場合は、合焦領域に存在する被写体を追尾対象に設定して、追尾処理及びオートフォーカス制御を継続して行い、追尾処理及びオートフォーカス制御の開始後、再びフォーカス操作が行われた場合は、追尾処理及びオートフォーカス制御を終了する、撮像制御方法。

【0027】

（２１）撮像光学系を介して撮像素子で撮像された動画像データに基づいて、動画像データが表す画像における合焦領域を検出する機能と、フォーカス操作が行われた場合に、フォーカス操作に関する時間に基づいて、フォーカス操作の終了を検知する機能と、フォーカス操作の終了が検知された場合に、合焦領域に存在する被写体を追尾対象に設定して、追尾処理及びオートフォーカス制御を継続して行う機能と、追尾処理及びオートフォーカス制御の開始後、再びフォーカス操作が行われた場合に、追尾処理及びオートフォーカス制御を終了する機能と、をコンピュータに実現させる撮像制御プログラム。

【図面の簡単な説明】

【0028】

【図1】撮像装置の概略構成を示す図

【図2】レンズ部の概略構成を示す図

【図3】ＭＦモードにおいてＣＰＵが実現する機能のブロック図

【図4】ＭＦモードにおいてＣＰＵが実現する機能のブロック図

【図5】フォーカス操作中に表示部に表示される動画像の１コマを表した図

【図6】追尾ＡＦ中に表示部に表示される動画像の１コマを表した図

【図7】フォーカスエリアの設定の一例を示す図

【図8】ＭＦモードにおいて行われる撮像制御の処理手順を示すフローチャート

【図9】ＭＦモードにおけるライブビューの表示の一例を示す図

【図10】統計的手法を用いて検知用時間を設定する場合にＣＰＵが実現する機能の一例を示すブロック図

【図11】画像認識を利用して追尾対象を設定する場合にＣＰＵが実現する機能の一例を示すブロック図

【図12】合焦領域を示す情報の表示形態の他の一例を示す図

【図13】フォーカスの移動方向を制限して追尾ＡＦを行う場合にＣＰＵが実現する主な機能のブロック図

【図14】撮像制御の処理手順を示すフローチャート

【図15】撮像装置の姿勢が変化した場合に追尾ＡＦを強制終了する場合にＣＰＵが実現する主な機能のブロック図

【図16】撮像制御の処理手順を示すフローチャート

【図17】追尾ＡＦを行う際にＣＰＵが実現する主な機能のブロック図

【図18】撮像制御の処理手順を示すフローチャート

【図19】追尾対象の設定の概念図

【図20】追尾ＡＦを行う際にＣＰＵが実現する主な機能のブロック図

【図21】撮像制御の処理手順を示すフローチャート

【図22】追尾対象の設定の概念図

【図23】追尾ＡＦを行う際にＣＰＵが実現する主な機能のブロック図

【図24】撮像制御の処理手順を示すフローチャート

【図25】撮像制御の処理手順を示すフローチャート

【図26】追尾ＡＦを行う際にＣＰＵが実現する主な機能のブロック図

【図27】撮像制御の処理手順を示すフローチャート

【図28】追尾対象を追加して追尾ＡＦを行う場合にＣＰＵが実現する主な機能のブロック図

【図29】撮像制御の処理手順を示すフローチャート

【発明を実施するための形態】

【0029】

以下、添付図面に従って本発明の好ましい実施の形態について詳説する。

【0030】

［第１の実施の形態］
フォーカスは、後から編集で変えることができない。このため、動画像の撮像では、フォーカスの調整が特に重要視される。しかし、低予算の撮像では、カメラマンが一人の場合も少なくない（いわゆるワンマンオペレーション）。この場合、カメラマンは、フォーカス、画角、露出、ホワイトバランス等の多岐にわたる調整を一人で行う必要があり、非常に負荷が高い。フォーカス調整については、ＡＦを利用することもできるが、ＡＦで正確にフォーカスを合わせるには、適切にフォーカスエリアを設定する必要がある。しかし、ワンマンオペレーション等の場合には、並行して他の操作も行う必要があり、一瞬のタイムラグが発生するという問題がある。以下においては、ユーザによるＭＦ操作の負荷を軽減できる撮像装置について説明する。

【0031】

［装置構成］
図１は、本実施の形態の撮像装置の概略構成を示す図である。

【0032】

同図に示すように、本実施の形態の撮像装置１は、レンズ部１０及び本体部１００を有する。レンズ部１０は、本体部１００に一体化されていてもよいし、着脱（交換）できる構成であってもよい。

【0033】

図２は、レンズ部の概略構成を示す図である。

【0034】

同図に示すように、レンズ部１０は、撮像光学系２０、レンズ駆動部３０、及び、レンズ操作部４０等を有する。

【0035】

本実施の形態において、撮像光学系２０は、ズーム光学系で構成され、ズームレンズ２２、絞り２４及びフォーカスレンズ２６を有する。なお、光量を調整する手段として、絞り２４に代えて、又は、絞り２４に加えて、減光フィルタ又は減光フィルタの一種であるＮＤフィルタ（ＮＤ：Neutral Density）を備えることもできる。ズームレンズ２２及びフォーカスレンズ２６は、少なくとも１枚のレンズで構成される。

【0036】

レンズ駆動部３０は、ズーム駆動部３２、絞り駆動部３４、及び、フォーカス駆動部３６を有する。

【0037】

ズーム駆動部３２は、ズームレンズ２２の駆動部である。ズーム駆動部３２は、ズームレンズ２２を駆動するアクチュエータ（不図示）と、そのアクチュエータの駆動回路（不図示）と、ズームレンズ２２の位置を検出するセンサ（不図示）と、を有する。アクチュエータには、たとえば、直流モータ、リニアモータ、ステッピングモータ、超音波モータ等が用いられる。ズームレンズ２２は、ズーム駆動部３２に駆動されて、光軸Ｌに沿って前後移動する。これにより、焦点距離（画角）が変化する。

【0038】

絞り駆動部３４は、絞り２４の駆動部である。絞り駆動部３４は、絞り２４を駆動するアクチュエータ（不図示）と、そのアクチュエータの駆動回路（不図示）と、を含む。アクチュエータには、たとえば、直流モータ、リニアモータ、ステッピングモータ、超音波モータ等が用いられる。絞り２４は、絞り駆動部３４に駆動されて、その開口径が変化する。これにより、撮像光学系２０を通過する光の光量が変化する。

【0039】

フォーカス駆動部３６は、フォーカスレンズ２６の駆動部である。フォーカス駆動部３６は、フォーカスレンズ２６を駆動するアクチュエータ（不図示）と、そのアクチュエータの駆動回路（不図示）と、フォーカスレンズ２６の位置を検出するセンサ（不図示）と、を有する。アクチュエータには、たとえば、直流モータ、リニアモータ、ステッピングモータ、超音波モータ等が用いられる。フォーカスレンズ２６は、フォーカス駆動部３６に駆動されて、光軸Ｌに沿って前後移動する。これにより、フォーカス位置が変化する。

【0040】

レンズ操作部４０は、ズーム操作部４２、絞り操作部４４及びフォーカス操作部４６を有する。

【0041】

ズーム操作部４２は、操作部材としてのズームリング（不図示）と、そのズームリングの位置を検出するセンサ（不図示）と、を有する。ズームリングは、鏡胴の外周に回転自在に設けられる。センサで検出されたズームリングの位置の情報は、ＣＰＵ１２０に出力される。ＣＰＵ１２０は、取得したズームリングの位置の情報に基づいて、ズームレンズ２２の駆動を制御する。なお、本実施の形態では、ズームリングでズームの操作を行う構成としているが、ズームの操作は、レバー操作、ノブ操作等で行う構成とすることもできる。

【0042】

絞り操作部４４は、操作部材としての絞りリング（不図示）と、その絞りリングの位置を検出するセンサ（不図示）と、を有する。絞りリングは、鏡胴の外周に回転自在に設けられる。センサで検出された絞りリングの位置の情報は、ＣＰＵ１２０に出力される。ＣＰＵ１２０は、取得した絞りリングの位置の情報に基づいて、絞り２４の駆動を制御する。

【0043】

フォーカス操作部４６は、フォーカスの操作部である。フォーカス操作部４６は、操作部材としてのフォーカスリング（不図示）と、そのフォーカスリングの位置を検出するセンサ（不図示）と、を有する。フォーカスリングは、鏡胴の外周に回転自在に設けられる。センサで検出されたフォーカスリングの位置の情報は、ＣＰＵ１２０に出力される。ＭＦモードにおいて、ＣＰＵ１２０は、取得したフォーカスリングの位置の情報に基づいて、フォーカスレンズ２６の駆動を制御する。ＭＦモードとは、マニュアルでフォーカス調整を行う動作モードである。フォーカス調整の動作モード（フォーカスモード）には、ＭＦモードとＡＦモードとがあり、ユーザによって選択される。ＡＦモードは、自動でフォーカス調整を行う動作モードである。フォーカスモードの選択は、本体操作部１１８で行われる。フォーカスの操作は、レバー操作、ノブ操作等で行う構成とすることもできる。

【0044】

図１に示すように、本体部１００は、撮像部１１０、表示部１１２、記憶部１１４、接続部１１６、本体操作部１１８、ＣＰＵ（Central Processing Unit）１２０、ＲＯＭ（Read OnlyMemory）１２２、及び、ＲＡＭ（Random Access Memory）１２４等を有する。

【0045】

撮像部１１０は、光学像を電気信号に変換する撮像素子１１０Ａを備える（図２参照）。撮像素子１１０Ａには、たとえば、所定のカラーフィルタ配列（たとえば、ベイヤ配列等）を有するＣＭＯＳイメージセンサ（ＣＭＯＳ：Complementary Metal Oxide Semiconductor）、ＣＣＤイメージセンサ（ＣＣＤ：Charged Coupled Device）等が用いられる。

【0046】

本実施の形態の撮像装置１では、撮像素子１１０Ａとして、駆動部、ＡＤＣ（Analog to DigitalConverter）、及び、信号処理部等を備えたＣＭＯＳイメージセンサが用いられる。この場合、撮像素子１１０Ａは、内蔵する駆動部に駆動されて動作する。また、各画素の信号は、内蔵するＡＤＣによってデジタル信号に変換されて出力される。更に、各画素の信号は、内蔵する信号処理部によって、相関二重サンプリング処理、ゲイン処理、補正処理等の信号処理が行われて出力される。なお、信号処理は、デジタル信号に変換する前の信号に対して行う構成としてもよいし、デジタル信号に変換した後の信号に対して行う構成としてもよい。

【0047】

また、本実施の形態の撮像装置１では、撮像素子１１０Ａとして、位相差検出用画素が組み込まれた撮像素子１１０Ａが用いられる。位相差検出用画素が組み込まれた撮像素子１１０Ａを用いることで、画面内の被写体の位相差の情報を取得できる。また、取得した位相差の情報から画面内の被写体の焦点のズレの方向及び焦点のズレ量（デフォーカス量）を検出できる。位相差検出用画素が組み込まれた撮像素子１１０Ａ、及び、その撮像素子１１０Ａを用いた位相差の検出方法は公知の技術であるので、その詳細についての説明は省略する。

【0048】

動画像の撮像は、あらかじめ定められたフレームレートで実施される。フレームレートは、固定であってもよいし、ユーザが任意に設定できる構成であってもよい。

【0049】

表示部１１２は、ＬＣＤ（Liquid Crystal Display）、有機ＥＬディスプレイ（Organic Light Emitting Diode display，OLEDDisplay）などのディスプレイで構成される。表示部１１２は、その表示面にタッチパネルを備えたタッチパネルディスプレイで構成することもできる。また、表示部１１２には、ＥＶＦ（Electronic View Finder）の形態も含まれる。表示部１１２は、ライブビューの表示に用いられる他、各種設定を行う際のＧＵＩ（Graphical User Interface）等としても使用される。また、表示部１１２がタッチパネルディスプレイで構成される場合には、操作手段としても機能する。なお、後述する接続部１１６に外部表示装置が接続された場合には、その外部表示装置も表示部１１２として機能する。

【0050】

記憶部１１４は、撮像された動画像データの記憶領域として使用される他、各種データの記憶領域として使用される。記憶部１１４は、たとえば、フラッシュメモリ（Flash Memory）を含むＥＥＰＲＯＭ（Electrically ErasableProgrammable Read-Only Memory）等の不揮発性を有する半導体メモリ、又は、これらの半導体メモリを内蔵したＳＳＤ（Solid State Drive）等で構成される。記憶部１１４は、装置本体に一体的に備えられた構成（いわゆる内蔵メモリの形態）であってもよいし、装置本体に対し着脱可能な構成（いわゆるメモリカードの形態）であってもよい。また、有線又は無線で通信可能に接続される形態であってもよい。また、後述する接続部１１６に外部記憶装置が接続された場合には、その外部記憶装置も記憶部１１４として機能する。

【0051】

接続部１１６は、外部機器（たとえば、外部表示装置、外部記憶装置等）の接続に用いられる。接続部１１６は、少なくとも１つの端子を備える。接続規格としては、たとえば、ＨＤＭＩ（High-Definition Multimedia Interface）等を採用できる（ＨＤＭＩは登録商標）。

【0052】

本体操作部１１８は、撮像装置１を操作するための各種操作部材を備える。操作部材には、電源のオン及びオフを指示する電源ボタン、録画の開始及び終了を指示する録画ボタン等の各種操作ボタン類が含まれる。また、表示部１１２がタッチパネルディスプレイで構成される場合には、タッチパネルも本体操作部１１８に含まれる。

【0053】

上記のように、フォーカスモードの選択は本体操作部１１８で行われる。本体操作部１１８には、フォーカスモードを選択する手段として、フォーカスモード切替スイッチが備えられる。フォーカスモード切替スイッチは、ＭＦモードとＡＦモードとを選択的に切り替える。なお、フォーカスモードの選択（設定）は、この他、設定画面等を利用して行う構成とすることもできる。

【0054】

ＣＰＵ１２０は、プロセッサの一例である。ＣＰＵ１２０は、所定のプログラム（撮像制御プログラム）を実行することにより、撮像装置１の制御部及び画像処理部等として機能する。

【0055】

ＣＰＵ１２０が行う制御には、撮像制御の他、表示制御、記録制御等が含まれる。撮像制御には、レンズ部１０及び撮像部１１０の駆動制御の他、制御に必要な情報の検知、検出及び算出処理等が含まれる。制御に必要な情報の検知、検出及び算出処理には、たとえば、露出の制御に必要な明るさの検出又は算出処理、ＡＦ制御に必要なフォーカス評価値の検出又は算出処理等が含まれる。また、追尾ＡＦを行う場合には追尾処理も含まれる。追尾ＡＦとは、ＡＦの機能の一つであり、被写体が動いても自動的に追尾してフォーカスを合わせ続ける機能のことである。追尾ＡＦにおいては、追尾処理として、追尾対象である被写体の動きに合わせてフォーカスエリアを設定する処理が行われる。本実施の形態の撮像装置１では、ＭＦモードにおいて、フォーカス操作の終了が検知されると、ＭＦによってフォーカスを合わせた被写体が追尾対象に設定されて、自動的に追尾ＡＦが開始される。追尾ＡＦは、再びフォーカス操作が行われるまで継続して行われる。本処理については、後に更に詳述する。ＭＦモードは、第１フォーカスモードの一例である。

【0056】

また、ＣＰＵ１２０が行う画像処理には、記録用及び表示用（ライブビュー用）の動画像データの生成処理の他、記録用の動画像データに対する圧縮処理等が含まれる。記録用及び表示用の動画像データは、ＲＡＷデータ（撮像部１１０から出力された未加工の動画像データ）に対し、所定の画像処理（いわゆる現像処理）を施すことにより生成される。ここでの画像処理には、オフセット処理、ガンマ補正処理、デモザイク処理、ＲＧＢ／ＹＣｒＣｂ変換処理、ホワイトバランス処理等が含まれる。これらの処理は、公知の処理であるため、その詳細についての説明は省略する。圧縮処理は、所定の圧縮形式の動画像ファイルを生成する処理である。圧縮の際のコーデックには、公知のものを採用できる。たとえば、ＭＰＥＧ（Moving Picture Experts Group）により標準化されたコーデック（ＭＰＥＧ－１、ＭＰＥＧ－２、ＭＰＥＧ－４等）等を採用できる。

【0057】

なお、ＣＰＵ１２０が行う上記の各処理については、その一部又は全部をＣＰＵ１２０の内部に設けたハードウェアで行う構成とすることもできる。

【0058】

ＲＯＭ１２２には、ＣＰＵ１２０が実行するプログラム、及び、制御等に必要な各種データが格納される。なお、ＲＯＭ１２２を構成するメモリには、フラッシュメモリを含むＥＥＰＲＯＭが含まれる。

【0059】

ＲＡＭ１２４は、ＣＰＵ１２０が各種処理を行う際の作業領域等として使用される。

【0060】

［ＭＦモードにおける撮像の制御機能］
上記のように、本実施の形態の撮像装置１では、ＭＦモードにおいて、ユーザ（カメラマン）が、所望の被写体にフォーカスを合わせてフォーカス操作を終了すると、フォーカスを合わせた被写体が追尾対象に設定されて、自動的に追尾ＡＦが開始される。そして、ユーザが再びフォーカスを操作すると、追尾ＡＦが終了し、通常のＭＦモードでの動作に切り替えられる。

【0061】

図３及び図４は、ＭＦモードにおいてＣＰＵが実現する機能のブロック図である。図３は、主として、マニュアルでフォーカス操作を行う場合に実現される機能のブロック図である。すなわち、通常のＭＦモードで実現される機能のブロック図である。また、図４は、主として、追尾ＡＦを行う場合に実現される機能のブロック図である。

【0062】

図３及び図４に示すように、ＣＰＵ１２０は、ＭＦモードにおいて、表示用画像処理部１２０Ａ、表示制御部１２０Ｂ、フォーカス評価値算出部１２０Ｃ、合焦領域検出部１２０Ｄ、追尾対象設定部１２０Ｅ、フォーカス操作検知部１２０Ｆ、フォーカス駆動制御部１２０Ｇ、追尾処理部１２０Ｈ及びＡＦ制御部１２０Ｉ等として機能する。

【0063】

表示用画像処理部１２０Ａは、撮像部１１０から出力される動画像データ（ＲＡＷデータ）を処理し、表示用の動画像データを生成する。

【0064】

図５は、フォーカス操作中に表示部に表示される動画像の１コマを表した図である。同図は、手前の人物３００にフォーカスを合わせて撮像した場合に表示部１１２に表示される画像の一例を示している。背景の木４００は、ボケて撮像されている。

【0065】

同図に示すように、フォーカス操作中に表示される画像ＩＭ１には、合焦領域を示す情報が付与される。本実施の形態では、合焦領域を示す情報として、合焦状態にあるフォーカスエリアの枠Ｆ１が表示される。より具体的には、合焦状態にあるフォーカスエリアの枠Ｆ１が、ライブビューの画像に重畳して表示される。枠Ｆ１は、所定の色で表示される。本実施の形態は、合焦状態にあるフォーカスエリアの枠Ｆ１が赤色で表示される。フォーカスエリアについては後述する。

【0066】

表示用画像処理部１２０Ａは、フォーカス操作中、合焦領域検出部１２０Ｄで検出された合焦領域の情報に基づいて、表示用の動画像データを生成する。合焦領域の検出については後述する。

【0067】

図６は、追尾ＡＦ中に表示部に表示される動画像の１コマを表した図である。同図は、手前の人物３００を追尾対象とした場合に表示部１１２に表示される画像の一例を示している。

【0068】

追尾ＡＦでは、追尾対象に設定された被写体にフォーカスが合わせ続けられる。追尾ＡＦ中に表示される画像ＩＭ２には、追尾対象の被写体が存在するフォーカスエリアの枠Ｆ２が所定の色で表示される。この色は、フォーカス操作中に合焦領域を示す枠Ｆ１の色（赤色）とは異なる色とされる。本実施の形態では、緑色で表示される。このように、追尾ＡＦ中は、フォーカス操作中とは異なる色で追尾対象を示す枠が表示される。これにより、表示部１１２に表示される画像から追尾対象を認識できると同時に、追尾ＡＦ中であることを認識できる。なお、追尾ＡＦ中は、追尾対象にフォーカスが合わせ続けられるため、追尾対象の被写体が存在するフォーカスエリアが実質的に合焦領域となる。したがって、追尾対象の被写体が存在するフォーカスエリアの枠Ｆ２は、合焦領域を示す情報でもある。

【0069】

表示用画像処理部１２０Ａは、追尾ＡＦ中、追尾処理部１２０Ｈで設定されるフォーカス対象エリアの情報に基づいて、表示用の動画像データを生成する。フォーカス対象エリアについては、後述する。

【0070】

表示制御部１２０Ｂは、表示用画像処理部１２０Ａで生成された表示用の動画像データを表示部１１２に表示させる。表示部１１２は、表示先の一例である。なお、接続部１１６に外部表示装置が接続された場合は、外部表示装置にも表示用の動画像データが表示される。この場合、表示部１１２の表示は、オフする構成としてもよい。また、その他の情報を表示する構成としてもよい。

【0071】

フォーカス評価値算出部１２０Ｃは、撮像部１１０で撮像された動画像データに基づいて、あらかじめ設定されたフォーカスエリアのフォーカス評価値を算出する。

【0072】

図７は、フォーカスエリアの設定の一例を示す図である。

【0073】

同図に示すように、本実施の形態の撮像装置において、フォーカスエリアＦＡは、画面を縦方向及び横方向に等分割して設定される。同図に示す例では、画面を縦方向（ｙ方向）に９等分割、横方向（ｘ方向）に１３等分割して、９×１３個のフォーカスエリアＦＡを設定している。

【0074】

フォーカス評価値算出部１２０Ｃは、各フォーカスエリアＦＡのフォーカス評価値を算出する。フォーカス評価値は、フォーカス状態を表す指標である。本実施の形態では、位相差情報又は位相差情報から求められたデフォーカス量が、フォーカス評価値として算出される。位相差情報は、各フォーカスエリアＦＡの位相差検出用画素の情報に基づいて算出される。この点については、公知の技術であるので、その詳細についての説明は省略する。

【0075】

合焦領域検出部１２０Ｄは、フォーカス評価値算出部１２０Ｃで算出される各フォーカスエリアＦＡのフォーカス評価値の情報に基づいて、合焦領域を検出する。すなわち、フォーカスが合っている領域を検出する。本実施の形態の撮像装置１では、フォーカスが合っているフォーカスエリアが合焦領域として選出される。フォーカスが合っているフォーカスエリアとは、位相差又はデフォーカス量が許容値以下のフォーカスエリアである。

【0076】

追尾対象設定部１２０Ｅは、追尾対象とする被写体を設定する。追尾対象設定部１２０Ｅは、フォーカス操作の終了の検知に応じて、追尾対象を設定する。すなわち、フォーカス操作検知部１２０Ｆでフォーカス操作の終了が検知された場合に、追尾対象を設定する。追尾対象設定部１２０Ｅは、フォーカス操作の終了が検知された際に合焦領域に存在する被写体を追尾対象に設定する。たとえば、図５に示す状態でフォーカス操作の終了が検知された場合、人物３００が追尾対象に設定される。

【0077】

フォーカス操作検知部１２０Ｆは、フォーカス操作の開始及び終了を検知する。

【0078】

フォーカス操作の開始については、フォーカスリングの位置の変化により検知する。すなわち、フォーカスリングの位置の変化開始を検知して、操作開始を検知する。上記のように、フォーカスリングの位置は、フォーカス操作部４６に備えられたセンサによって検出される。したがって、フォーカス操作検知部１２０Ｆは、センサの出力に基づいて、フォーカス操作の開始を検知する。

【0079】

一方、フォーカス操作の終了については、フォーカス操作に関する時間に基づいて検知する。具体的には、無操作状態の時間に基づいて、フォーカス操作の終了を検知する。無操作状態とは、フォーカス操作がない状態をいう。本実施の形態の撮像装置１では、フォーカスは、フォーカスリングで操作される。したがって、フォーカス操作がない状態とは、フォーカスリングの操作がない状態をいう。ここで、フォーカスリングの操作がない状態とは、フォーカスリングの位置の変化がない状態である。

【0080】

フォーカス操作検知部１２０Ｆは、フォーカスリングの位置を検出するセンサの出力に基づいて、無操作状態（フォーカスリングの位置の変化がない状態）の継続時間を計測する。そして、無操作状態の開始から規定時間が経過したことを検知して、フォーカス操作の終了を検知する。規定時間は、第１時間の一例である。規定時間は、たとえば、５００ｍｓとされる。この場合、フォーカス操作検知部１２０Ｆは、無操作状態の開始から５００ｍｓが経過したことを検知して、フォーカス操作の終了を検知する。

【0081】

フォーカス駆動制御部１２０Ｇは、フォーカス駆動部３６を介してフォーカスレンズ２６の駆動を制御する。

【0082】

フォーカス操作中、フォーカス駆動制御部１２０Ｇは、フォーカス操作部４６からのフォーカスリングの操作情報（フォーカスリングの位置情報）に基づいて、フォーカスレンズ２６の駆動を制御する。一方、追尾ＡＦ中は、ＡＦ制御部１２０Ｉからの制御情報に基づいて、フォーカスレンズ２６の駆動を制御する。

【0083】

追尾処理部１２０Ｈは、追尾処理を行う。追尾処理には、追尾対象を検出する処理、及び、その検出結果に基づいてフォーカス対象エリアを設定する処理が含まれる。

【0084】

追尾対象を検出する処理は、撮像部１１０から出力される動画像データに基づいて行われる。具体的には、動画像データを構成する各フレームの画像から追尾対象を逐次検出する。検出には、テンプレートマッチング等の公知の手法が採用される。

【0085】

フォーカス対象エリアとは、フォーカスを合わせるエリアである。フォーカス対象エリアは、フォーカスエリアの中から設定される。追尾処理部１２０Ｈは、追尾対象が存在するフォーカスエリアをフォーカス対象エリアに設定する。追尾対象は、フレームごとに逐次検出されるので、フォーカス対象エリアもフレームごとに逐次設定される。

【0086】

追尾処理部１２０Ｈは、フォーカス操作が再度開始されるまで、あるいは、追尾対象が消失するまで、継続して追尾処理を行う。したがって、追尾対象が存在する場合であっても、再びフォーカス操作が行われた場合は、強制的に追尾処理が終了される。

【0087】

ＡＦ制御部１２０Ｉは、追尾処理部１２０Ｈで設定されたフォーカス対象エリアに対しＡＦ制御（オートフォーカス制御）を行う。すなわち、設定されたフォーカス対象エリアの被写体にフォーカスを合わせる制御を行う。具体的には、まず、フォーカス対象エリアにおけるフォーカス評価値の情報に基づいて、フォーカス対象エリアの被写体にフォーカスを合わせるのに必要なフォーカスレンズ２６の制御量（フォーカス駆動部３６の駆動量）を算出する。そして、算出した制御量の情報をフォーカス駆動制御部１２０Ｇに与える。フォーカス駆動制御部１２０Ｇは、与えられた制御量の情報に基づいて、フォーカス駆動部３６を駆動する。

【0088】

追尾処理部１２０Ｈと同様に、ＡＦ制御部１２０Ｉは、フォーカス操作が再度開始されるまで、あるいは、追尾対象が消失するまで、継続してＡＦ制御を行う。

【0089】

［ＭＦモードにおいて行われる撮像制御の処理手順（撮像制御方法）］
図８は、ＭＦモードにおいて行われる撮像制御の処理手順を示すフローチャートである。

【0090】

まず、フォーカス操作が開始されたか否かが判定される（ステップＳ１）。フォーカス操作の有無は、フォーカス操作部４６からの出力に基づいて判定される。すなわち、フォーカスリングの位置を検出するセンサからの出力に基づいて判定される。フォーカスリングの位置を検出するセンサからの出力があると、フォーカス操作が開始されたと判定される。

【0091】

フォーカス操作が開始されたと判定されると、フォーカスモードがＭＦモードに設定されているか否かが判定される（ステップＳ２）。フォーカスモードは、フォーカスモード切替スイッチの設定状態に基づいて判定される。

【0092】

ＭＦモードに設定されていると判定されると、各フォーカスエリアのフォーカス評価値が算出される（ステップＳ３）。そして、その算出結果に基づいて、合焦領域が検出される（ステップＳ４）。すなわち、合焦状態にあるフォーカスエリアが検出される。検出された合焦領域は、ライブビューの画像上に示される。本実施の形態では、合焦領域と判定されたフォーカスエリアの枠が赤色で表示される。したがって、ユーザ（カメラマン）は、ライブビューを視認することで、合焦領域を確認できる。

【0093】

合焦領域が検出されると、追尾対象が設定される（ステップＳ５）。追尾対象は、合焦領域に存在する被写体に設定される。本実施の形態の撮像装置では、合焦領域が、追尾対象の領域として設定される。すなわち、合焦領域が追尾対象の存在する領域として設定される。

【0094】

追尾対象の設定後、フォーカス操作が終了したか否かが判定される（ステップＳ６）。フォーカス操作は、無操作状態が規定時間継続した場合に操作終了と判定される。すなわち、操作終了が検知される。

【0095】

フォーカス操作の終了が検知されると、追尾ＡＦが開始される（ステップＳ７）。すなわち、追尾対象に設定された被写体に対し、追尾処理及びＡＦ制御が継続して行われる。より具体的には、追尾対象に設定された被写体の動きに合わせてフォーカス対象エリアを設定し、設定したフォーカス対象エリアの被写体にフォーカスが合うように継続してＡＦ制御（いわゆるコンティニュアスＡＦ制御）が行われる。

【0096】

また、フォーカス操作の終了が検知されると、合焦領域の表示が切り替えられる。すなわち、合焦領域を示すフォーカスエリアの枠の色が切り替えられる。本実施の形態では、合焦領域を示すフォーカスエリアの枠の色が赤色から緑色に切り替えられる。これにより、ユーザは、追尾ＡＦを行うモードに移行したことを認識できる。また、これと同時に追尾対象に設定された被写体を認識できる。

【0097】

追尾ＡＦは、フォーカス操作が再度開始されるまで、あるいは、追尾対象が消失するまで、継続して行われる。したがって、追尾ＡＦ中は、常にフォーカス操作が監視される。すなわち、再びフォーカス操作が行われたか否かが判定される（ステップＳ８）。フォーカス操作が再開されたと判定されると、追尾ＡＦが強制的に終了される。すなわち、追尾処理及びその追尾処理に基づくＡＦ制御が終了される。追尾ＡＦの終了後は、通常のＭＦモードでの動作に戻り、ステップＳ２以降の処理が繰り返される。

【0098】

図９は、ＭＦモードにおけるライブビューの表示の一例を示す図である。同図（Ａ）は、フォーカス操作中の表示の一例を示している。同図（Ｂ）は、フォーカス操作の終了が検知された直後の表示の一例を示している。同図（Ｃ）は、追尾ＡＦ中の表示の一例を示している。

【0099】

フォーカス操作中は、合焦領域を示す情報として、合焦状態にあるフォーカスエリアの枠Ｆ１が赤色（Red）で表示される。図９（Ａ）は、背景の木にフォーカスが合っていることを示している。

【0100】

フォーカス操作の終了が検知されると、合焦領域を示すフォーカスエリアの枠Ｆ２の色が赤色から緑色（Green）に切り替えられる。図９（Ｂ）は、手前の人物にフォーカスを合わせてフォーカス操作を終了したことを示している。枠Ｆ２の色が切り替わることにより、追尾ＡＦへの切り替わり確認できる。

【0101】

追尾ＡＦ中は、図９（Ｃ）に示すように、追尾対象が存在するフォーカスエリアの枠Ｆ２が緑色で表示される。これにより、画面内で追尾対象を確認できる。

【0102】

追尾ＡＦ中にフォーカス操作が再開されると、追尾ＡＦは終了する。追尾ＡＦが終了すると、通常のＭＦモードでの動作に復帰する。したがって、表示部１１２の表示は、図９（Ａ）の状態に戻る。すなわち、合焦状態にあるフォーカスエリアの枠Ｆ１が赤色で表示される。表示される枠Ｆ１の色が、緑色から赤色に切り替わることにより、通常のＭＦモードに復帰したことを確認できる。

【0103】

なお、追尾ＡＦが終了した場合、又は、ＭＦモードに復帰した場合は、その旨を別途報知する構成としてもよい。たとえば、表示部１１２は、追尾ＡＦの終了を告知する情報を表示してもよい。

【0104】

以上説明したように、本実施の形態の撮像装置１によれば、ＭＦによる合焦を撮像装置１が維持する。このため、ユーザによるフォーカス操作の負担を大幅に軽減できる。

【0105】

また、追尾ＡＦの開始は、フォーカス操作に関する時間、特に、無操作状態の継続時間に基づいて判定される。このため、ユーザの意思に沿って追尾ＡＦを開始させることができる。また、切り替えのための特別な機構等を必要としないので、構成を簡素化できる。

【0106】

更に、追尾ＡＦに切り替えられた場合は、表示部１１２の表示内容が切り替えられるので、動作状態を明確に把握できる。これにより、良好な操作性を実現できる。

【0107】

［変形例］
［フォーカス操作の終了の検知の変形例］
フォーカス操作の終了は、フォーカス操作に関する時間に基づいて検知する。フォーカス操作に関する時間は、無操作状態の時間とすることが好ましい。すなわち、無操作状態の継続時間に基づいて、フォーカス操作の終了を検知することが好ましい。

【0108】

また、フォーカス操作の終了を検知するための無操作状態の継続時間（以下、検知用時間と称する）には、０を含めることができる。検知用時間（第１時間）が０の場合、フォーカスリングの停止直後に追尾ＡＦが開始される。

【0109】

また、検知用時間をユーザが任意に設定できる構成としてもよい。この設定は、たとえば、表示部１１２及び本体操作部１１８を用いて行う。これにより、ユーザの好み等に応じた設定にできる。

【0110】

更に、ユーザの過去の操作傾向から検知用時間を自動設定してもよい。たとえば、無操作状態の継続時間を複数回分記録しておき、統計的手法により好ましい検知用時間を算出して設定してもよい。

【0111】

図１０は、統計的手法を用いて検知用時間を設定する場合にＣＰＵが実現する機能の一例を示すブロック図である。

【0112】

同図に示すように、ＣＰＵ１２０は、第１計時部１３０Ａ、計測結果記録制御部１３０Ｂ、検知用時間算出部１３０Ｃ及び検知用時間設定部１３０Ｄ等として更に機能する。

【0113】

第１計時部１３０Ａは、無操作状態の継続時間を計測する。

【0114】

計測結果記録制御部１３０Ｂは、第１計時部１３０Ａによる無操作状態の継続時間の計測結果の情報を記録する。計測結果は、計測結果記憶部１１４Ａに記憶される。計測結果記憶部１１４Ａは、記憶部１１４の一記憶領域に設定される。計測結果記憶部１１４Ａは、規定回数分の計測結果を記憶する。一例として、本例では３回分の計測結果を記憶する。計測結果記録制御部１３０Ｂは、古い順に書き換えて計測結果を記録する。したがって、計測結果記憶部１１４Ａには、直近の規定回数分（本例では３回分）の計測結果が記憶される。

【0115】

検知用時間算出部１３０Ｃは、計測結果記憶部１１４Ａに記憶された複数回分の無操作状態の継続時間の情報に基づいて、統計的手法により検知用時間を算出する。本例では、平均値を算出して、検知用時間を算出する。

【0116】

検知用時間設定部１３０Ｄは、検知用時間算出部１３０Ｃで算出された時間を検知用時間に設定する。

【0117】

フォーカス操作検知部１２０Ｆは、検知用時間設定部１３０Ｄで設定された検知用時間に基づいて、フォーカス操作の終了を検知する。

【0118】

このように、ユーザの過去の操作傾向から検知用時間を自動設定することもできる。これにより、ユーザの操作傾向に即して追尾ＡＦに切り替えることができる。

【0119】

なお、設定可能な検知用時間には上限を設けてもよい。これにより、意図せず検知用時間が長く設定されるのを防止できる。この場合、上限値を任意に設定できるようにすることが、より好ましい。

【0120】

また、上記例では、統計的手法として、平均値を算出する構成としているが、検知用時間を算出する手法は、これに限定されるものではない。この他、検知用時間として、中央値、最頻値等を算出する構成とすることもできる。

【0121】

［追尾対象の設定の変形例］
追尾対象については、画像認識を利用して、特定の被写体に限定して設定することもできる。たとえば、人物を対象とした撮像では、合焦領域内に存在する人物に限定して、追尾対象を設定することができる。また、人物の全体ではなく、顔、目等に限定して、追尾対象を設定することもできる。

【0122】

図１１は、画像認識を利用して追尾対象を設定する場合にＣＰＵが実現する機能の一例を示すブロック図である。ここでは、顔に限定して追尾対象を設定する場合を例に説明する。

【0123】

同図に示すように、ＣＰＵ１２０は、画像認識部１４０として更に機能する。

【0124】

画像認識部１４０は、撮像部１１０で撮像された動画像データを処理し、画像内の顔を検出する。画像から顔を検出する技術には、公知の技術を採用できる。たとえば、機械学習、深層学習等により生成した画像認識モデルを用いて、人物の顔の領域を検出する技術を採用できる。

【0125】

追尾対象設定部１２０Ｅは、合焦領域検出部１２０Ｄで検出された合焦領域の情報、及び、画像認識部１４０で検出された人物の顔の領域の情報に基づいて、追尾対象を設定する。具体的には、合焦領域内に存在する被写体の中で人物の顔の領域に追尾対象を設定する。したがって、この場合、人物の体全体にフォーカスが合っている場合であっても、追尾対象としては、顔の領域に限定されて、追尾対象が設定される。

【0126】

このように、撮像対象等に応じて、特定の被写体に限定して追尾対象を設定することができる。これにより、ユーザによるフォーカス操作の負担を更に軽減できる。

【0127】

なお、上記の例では人物を認識して、追尾対象を設定する例について説明したが、更に、個人を認識して、追尾対象を設定してもよい。すなわち、画像認識により個人認証を行い、特定の人物に限定して、追尾対象を設定する構成とすることもできる。

【0128】

［合焦領域を示す情報の表示の変形例］
上記実施の形態では、合焦領域を示す情報として、合焦状態にあるフォーカスエリアの枠を表示する構成としているが、合焦領域を示す情報の表示形態（ライブビューの画像に付加する形態）は、これに限定されるものではない。ライブビューの画像上で合焦領域が視認できる形態であればよい。

【0129】

図１２は、合焦領域を示す情報の表示形態の他の一例を示す図である。

【0130】

同図に示す例では、合焦領域を１つの矩形の枠Ｆ３で表示している。この枠Ｆ３は、たとえば、合焦状態にあるフォーカスエリアを囲う最小の枠として設定される。

【0131】

追尾対象を示す情報についても同様である。ライブビューの画像上で追尾対象を視認できる形態であればよい。

【0132】

また、上記実施の形態では、枠の色を変えることで、動作モードの切り替わりを認識できるようにしているが、ユーザに動作モードの切り替わりを認識させる方法は、これに限定されるものではない。各種合焦領域を示す情報の内容を変更して、動作モードの切り替わりをユーザに認識させることができる。たとえば、合焦領域を示す枠の形状、線種等を変えて、動作モードの切り替わりを認識させる構成としてもよい。

【0133】

［追尾ＡＦ機能のオン及びオフの設定］
上記実施の形態では、ＭＦモードにおいて、フォーカス操作の終了が検知されると、自動的に追尾ＡＦが開始されるが、当該機能は、ユーザの設定により任意にオン及びオフできる構成としてもよい。すなわち、当該機能をオンにした場合にのみ、ＭＦモードにおいて、フォーカス操作の終了が検知されると、自動的に追尾ＡＦが開始される構成とする。設定は、たとえば、本体操作部１１８に専用の切り替えスイッチ等を設けて行う。あるいは、表示部１１２及び本体操作部１１８を用いて行う。ＭＦモードにおいて、追尾ＡＦが行われる動作モード、すなわち、追尾ＡＦの機能がオンに設定されている場合の動作モードは、第１フォーカスモードの他の一例である。

【0134】

［第２の実施の形態］
追尾ＡＦを開始する場合に、直前のフォーカスの移動方向と逆方向にフォーカスを移動させると、観る者に違和感を与えるおそれがある。たとえば、至近側から無限遠側にフォーカスを移動させて目的の被写体にフォーカスを合わせた場合に、すぐにフォーカスを至近側に戻すと、観る者に違和感を与える。

【0135】

そこで、本実施の形態の撮像装置では、追尾ＡＦを開始した後、フォーカスの移動方向を一定時間、一定の方向に制限する。すなわち、ＡＦによるフォーカスの移動方向を、フォーカス操作が終了した際のフォーカスの移動方向と同じ方向に制限する。したがって、たとえば、至近側から無限遠側にフォーカスを移動させて目的の被写体にフォーカスを合わせた場合、規定の時間、ＡＦによるフォーカスの移動方向が無限遠方向に制限される。これにより、動画像の撮像において、安定したフォーカス移動を実現できる。

【0136】

［装置構成］
ここでは、フォーカスの移動方向を制限する機能に必要な構成についてのみ説明する。

【0137】

図１３は、フォーカスの移動方向を制限して追尾ＡＦを行う場合にＣＰＵが実現する主な機能のブロック図である。

【0138】

同図に示すように、本実施の形態の撮像装置において、ＣＰＵ１２０は、更に、フォーカス移動方向検知部１５０Ａ及び第２計時部１５０Ｂとして機能する。

【0139】

フォーカス移動方向検知部１５０Ａは、フォーカス操作部４６から出力されるフォーカスリングの操作情報に基づいて、フォーカスの移動方向を検知する。ＭＦにおいて、フォーカスはフォーカスリングの操作方向に移動する。したがって、フォーカスリングの操作方向を検知することで、フォーカスの移動方向を検知できる。

【0140】

第２計時部１５０Ｂは、追尾ＡＦを開始してからの経過時間を計測する。追尾ＡＦは、フォーカス操作の終了の検知に応じて開始される。したがって、第２計時部１５０Ｂは、フォーカス操作の終了の検知に応じて経過時間の計測を開始する。

【0141】

ＡＦ制御部１２０Ｉは、ＡＦ制御の開始後、一定の時間が経過するまで、フォーカスの移動方向を直前のフォーカスの移動方向に制限して、ＡＦ制御を行う。直前のフォーカスの移動方向とは、フォーカス操作の終了が検知される直前のフォーカスの移動方向である。直前のフォーカスの移動方向は、フォーカス操作の終了が検知された場合において、最後にフォーカス移動方向検知部１５０Ａで検知されたフォーカスの移動方向として検出される。追尾ＡＦを開始してからの経過時間は、第２計時部１５０Ｂで計測される。したがって、ＡＦ制御部１２０Ｉは、第２計時部１５０Ｂで計測される時間が、規定の時間を経過するまで、フォーカスの移動方向を直前の移動方向に制限して、ＡＦ制御を行う。規定の時間は、第２時間の一例である。一例として、本実施の形態の撮像装置では、規定の時間が３ｓに設定される。この場合、追尾対象の設定後、３ｓ間、フォーカスの移動方向が直前の移動方向に制限される。なお、追尾ＡＦは、フォーカス操作の終了の検知に応じて開始されるので、追尾ＡＦを開始してからの経過時間は、フォーカス操作の終了が検知されてからの経過時間と同義である。

【0142】

［撮像制御の処理手順］
図１４は、撮像制御の処理手順を示すフローチャートである。

【0143】

追尾ＡＦが開始されるまでの処理（ステップＳ１１～Ｓ１６）は、上記第１の実施の形態の撮像装置と同じである。まず、フォーカス操作が開始されたか否かが判定される（ステップＳ１１）。フォーカス操作が開始された場合は、フォーカスモードがＭＦモードに設定されているか否かが判定される（ステップＳ１２）。ＭＦモードに設定されている場合は、各フォーカスエリアのフォーカス評価値が算出され（ステップＳ１３）、その算出結果に基づいて、合焦領域が検出される（ステップＳ１４）。そして、検出された合焦領域の情報に基づいて、追尾対象が設定される（ステップＳ１５）。すなわち、合焦領域に存在する被写体が追尾対象に設定される。その後、フォーカス操作が終了したか否かが判定される（ステップＳ１６）。

【0144】

フォーカス操作が終了したと判定されると、規定の時間（第２時間）が経過したか否かが判定される（ステップＳ１７）。すなわち、追尾対象の設定から規定の時間が経過したか否かが判定される。

【0145】

規定の時間が経過していない場合（ステップＳ１７がＮｏの場合）、フォーカスの移動方向を制限した追尾ＡＦが行われる（ステップＳ１８）。ＡＦ制御部１２０Ｉは、フォーカスの移動方向を、フォーカス操作の終了が検知される直前のフォーカスの移動方向に制限して、ＡＦ制御を行う。たとえば、至近側から無限遠側にフォーカスを移動させてフォーカス操作を終了させた場合、フォーカスの移動方向を無限遠方向に制限して、ＡＦ制御を行う。したがって、たとえば、この間、追尾対象が至近方向に移動した場合は、ＡＦ制御は行われないこととなる。

【0146】

一方、規定の時間が経過した場合（ステップＳ１７がＹｅｓの場合）、通常の追尾ＡＦが行われる（ステップＳ１９）。すなわち、フォーカスの移動方向を制限せずにＡＦ制御が行われる。

【0147】

追尾ＡＦは、フォーカス操作が再度開始されるまで、あるいは、追尾対象が消失するまで、継続して行われる。したがって、追尾ＡＦ中は、常にフォーカス操作が監視される。すなわち、再びフォーカス操作が行われたか否かが判定される（ステップＳ２０）。フォーカス操作が再開されたと判定されると、追尾ＡＦが強制的に終了される。追尾ＡＦの終了後は、通常のＭＦモードでの動作に戻り、ステップＳ１２以降の処理が繰り返される。

【0148】

以上説明したように、本実施の形態の撮像装置によれば、追尾ＡＦを開始する際に、フォーカスの移動方向が、一定時間、一定の方向に制限される。これにより、動画像の撮像において、安定したフォーカス移動を実現できる。

【0149】

なお、本機能は、ユーザの選択により、任意にオン、オフできるようにしてもよい。また、規定の時間については、ユーザが任意に設定変更できる構成としてもよい。

【0150】

［第３の実施の形態］
通常、動画像の撮像では、テレビ、映画のスクリーンなど、出力フォーマットを決めて撮像する。したがって、撮像装置の姿勢（向き）が変わる場合（たとえば、縦撮りから横撮りに変わる場合など）は、演出、シーンチェンジ等であると考えられる。撮像装置の姿勢が変わった場合も継続して追尾ＡＦを行うと、意図しない被写体を追尾し続けるおそれがある。

【0151】

そこで、本実施の形態の撮像装置では、追尾ＡＦ中に撮像装置の姿勢が変わった場合、強制的に追尾ＡＦを終了させて、通常のＭＦモードでの動作に切り替える。これにより、動画像の撮像において、安定したフォーカス移動を実現できる。

【0152】

［装置構成］
ここでは、撮像装置の姿勢が変化した場合に、追尾ＡＦを強制的に終了させる機能に必要な構成についてのみ説明する。

【0153】

図１５は、撮像装置の姿勢が変化した場合に追尾ＡＦを強制終了する場合にＣＰＵが実現する主な機能のブロック図である。

【0154】

同図に示すように、本実施の形態の撮像装置において、ＣＰＵ１２０は、更に、姿勢変化検知部１６０として機能する。また、本実施の形態の撮像装置には、装置本体の姿勢を検出する姿勢検出センサ５０が備えられる。姿勢検出センサ５０は、公知の姿勢検出用のセンサ（たとえば、加速度センサ、ジャイロセンサ、又は、これらを組み合わせたセンサ等）で構成され、装置本体に内蔵される。

【0155】

姿勢変化検知部１６０は、姿勢検出センサ５０で検出される装置本体の姿勢の情報に基づいて、基準の姿勢に対する閾値以上の姿勢の変化を検知する。特に、本実施の形態では、光軸周りの姿勢の変化を検知する。基準の姿勢は、たとえば、撮像素子１１０Ａの長辺が水平又は鉛直となる姿勢である。撮像素子１１０Ａの長辺が水平となる姿勢は、いわゆる横撮りの姿勢である。一方、撮像素子１１０Ａの長辺が鉛直となる姿勢は、いわゆる縦撮りの姿勢である。基準の姿勢については、ユーザが事前に設定する。あるいは、動画像を撮像した際の姿勢が、基準の姿勢に設定される。この場合、動画像を撮像する際に装置本体の姿勢が検出され、基準の姿勢に設定される。

【0156】

追尾処理部１２０Ｈは、追尾処理中に姿勢変化検知部１６０で閾値以上の姿勢の変化が検知されると、追尾処理を終了する。

【0157】

また、ＡＦ制御部１２０Ｉは、ＡＦ制御中に姿勢変化検知部１６０で閾値以上の姿勢の変化が検知されると、ＡＦ制御を終了する。

【0158】

［撮像制御の処理手順］
図１６は、撮像制御の処理手順を示すフローチャートである。

【0159】

追尾ＡＦが開始されるまでの処理（ステップＳ３１～Ｓ３７）は、上記第１の実施の形態の撮像装置と同じである。まず、フォーカス操作が開始されたか否かが判定される（ステップＳ３１）。フォーカス操作が開始された場合は、フォーカスモードがＭＦモードに設定されているか否かが判定される（ステップＳ３２）。ＭＦモードに設定されている場合は、各フォーカスエリアのフォーカス評価値が算出され（ステップＳ３３）、その算出結果に基づいて、合焦領域が検出される（ステップＳ３４）。そして、検出された合焦領域の情報に基づいて、追尾対象が設定される（ステップＳ３５）。すなわち、合焦領域に存在する被写体が追尾対象に設定される。その後、フォーカス操作が終了したか否かが判定される（ステップＳ３６）。フォーカス操作が終了したと判定されると、追尾ＡＦが開始される（ステップＳ３７）。すなわち、追尾対象に設定された被写体に対し追尾処理及びＡＦ制御が行われる。

【0160】

追尾ＡＦが開始されると、まず、再びフォーカス操作が行われたか否かが判定される（ステップＳ３８）。フォーカス操作が再開されたと判定されると、追尾ＡＦが強制的に終了される。以後、通常のＭＦモードでの動作に戻り、ステップＳ３２以降の処理が繰り返される。

【0161】

一方、ステップＳ３８において、フォーカス操作が再開されていないと判定されると、装置本体の姿勢が検出される（ステップＳ３９）。そして、その検出結果に基づいて、姿勢の変化の有無が判定される（ステップＳ４０）。すなわち、基準の姿勢に対して閾値以上姿勢が変化したか否かが判定される。

【0162】

姿勢の変化あり、と判定されると、追尾ＡＦが強制的に終了される。以後、通常のＭＦモードでの動作に戻り、ステップＳ３２以降の処理が繰り返される。

【0163】

一方、姿勢の変化なし、と判定されると、継続して追尾ＡＦが行われる。すなわち、ステップＳ３７以降の処理が繰り返される。

【0164】

以上説明したように、本実施の形態の撮像装置によれば、追尾ＡＦ中に撮像装置の姿勢が変わると、自動的に追尾ＡＦが終了し、通常のＭＦモードでの動作に切り替わる。これにより、動画像の撮像において、安定したフォーカス移動を実現できる。

【0165】

なお、本機能は、ユーザの選択により、任意にオン、オフできるようにしてもよい。また、姿勢変化の検知に使用する閾値については、ユーザが任意に設定変更できる構成としてもよい。また、検出する姿勢の種類についても、ユーザが任意に設定できる構成としてもよい。

【0166】

また、上記実施の形態では、専用のセンサを用いて装置本体の姿勢の変化を検出する構成としているが、撮像された動画像データを解析して、装置本体の姿勢の変化を検出する構成としてもよい。また、手ブレを検出するセンサを利用して、装置本体の姿勢の変化を検出する構成としてもよい。

【0167】

［第４の実施の形態］
上記第１の実施の形態の撮像装置では、合焦領域に複数の被写体が存在していると、そのすべてが追尾対象に設定される。しかし、複数の被写体が追尾対象に設定されると、各被写体が異なる動きをした場合に、その後の追尾ＡＦが不能になる。そこで、本実施の形態の撮像装置では、複数の被写体が追尾対象に設定された場合、特定の被写体を優先して追尾ＡＦを行う。具体的には、動きのない被写体又は動き量が最も小さい被写体を優先して追尾ＡＦを行う。

【0168】

［装置構成］
ここでは、追尾ＡＦを行う際に必要な機能についてのみ説明する。

【0169】

図１７は、追尾ＡＦを行う際にＣＰＵが実現する主な機能のブロック図である。

【0170】

同図に示すように、本実施の形態の撮像装置において、ＣＰＵ１２０は、更に、第１動き量算出部１７０として機能する。

【0171】

第１動き量算出部１７０は、撮像により得られる動画像データを処理し、動画像データが表す画像内の被写体の動き量を算出する。本実施の形態では、動き量として、動きベクトルを算出する。すなわち、第１動き量算出部１７０は、画像内の動きベクトルを算出して、画像内の被写体の動きベクトルを算出する。動きベクトルの算出には、公知の技術が採用される。たとえば、画面をＭ×Ｎ（Ｍ、Ｎは２以上の整数）のブロックに分割し、ブロックごとに動きベクトルを算出する手法等が採用される。

【0172】

追尾処理部１２０Ｈは、追尾対象として複数の被写体が設定された場合に、第１動き量算出部１７０で算出される各被写体の動き量の情報に基づいて、追尾対象を設定し、追尾処理を行う。具体的には、動きのない被写体又は動き量が最も小さい被写体を優先して追尾対象に設定し、追尾処理を行う。このため、追尾処理部１２０Ｈは、複数の被写体が追尾対象に設定された場合に、動き量が閾値以上の被写体を追尾対象から除外する処理を行う。これにより、最終的に動きのない被写体又は動き量が最も小さい被写体が追尾対象に設定されて、追尾処理が行われる。

【0173】

［撮像制御の処理手順］
図１８は、撮像制御の処理手順を示すフローチャートである。

【0174】

追尾ＡＦが開始されるまでの処理（ステップＳ５１～Ｓ５６）は、上記第１の実施の形態の撮像装置と同じである。まず、フォーカス操作が開始されたか否かが判定される（ステップＳ５１）。フォーカス操作が開始された場合は、フォーカスモードがＭＦモードに設定されているか否かが判定される（ステップＳ５２）。ＭＦモードに設定されている場合は、各フォーカスエリアのフォーカス評価値が算出され（ステップＳ５３）、その算出結果に基づいて、合焦領域が検出される（ステップＳ５４）。そして、検出された合焦領域の情報に基づいて追尾対象が設定される（ステップＳ５５）。すなわち、合焦領域に存在する被写体が追尾対象に設定される。その後、フォーカス操作が終了したか否かが判定される（ステップＳ５６）。

【0175】

フォーカス操作が終了したと判定されると、追尾対象に複数の被写体が設定されているか否かが判定される（ステップＳ５７）。追尾対象に複数の被写体が設定されていないと判定されると、追尾対象に設定された被写体に対し追尾ＡＦが行われる（ステップＳ６１）。

【0176】

一方、追尾対象に複数の被写体が設定されていると判定されると、画像内において各被写体の動き量が算出される（ステップＳ５８）。そして、その算出結果に基づいて、動きのある被写体の有無が判定される（ステップＳ５９）。ここでの判定は、追尾対象に設定された被写体の中で行われる。すなわち、追尾対象に設定された被写体の中で動きのある被写体（動体）が存在するか否かが判定される。

【0177】

追尾対象に設定された被写体の中で動きのある被写体が存在すると判定されると、その被写体が追尾対象から除外される（ステップＳ６０）。ここでは、閾値以上の動き量が検出された被写体が追尾対象から除外される。

【0178】

なお、すべての被写体に動きがある場合は、動き量の大きい被写体が優先して除外される。この際、動き量の大きい順に除外される。この結果、動き量の最も小さい被写体が追尾対象に設定される。

【0179】

その後、追尾対象に設定された被写体に対し追尾ＡＦが行われる（ステップＳ６１）。そして、再びフォーカス操作が行われたか否かが判定され（ステップＳ６２）、フォーカス操作が再開されたと判定されると、追尾ＡＦが終了される。以後、通常のＭＦモードでの動作に戻り、ステップＳ５２以降の処理が繰り返される。

【0180】

図１９は、追尾対象の設定の概念図である。

【0181】

同図（Ａ）は、追尾対象の初期設定状態を示している。この例では、フォーカス操作の終了が検知された時点で合焦領域に三人の人物３００Ａ、３００Ｂ、３００Ｃが存在している場合の例を示している。この場合、すべての人物３００Ａ、３００Ｂ、３００Ｃが追尾対象に設定される。

【0182】

同図（Ｂ）は、所定時間経過後の追尾対象の設定状態を示している。この例では、左右の人物３００Ａ、３００Ｃが、動いた場合の例を示している。この場合、動きのある左右の人物３００Ａ、３００Ｃが、追尾対象から除外される。したがって、中央の人物３００Ｂのみが追尾対象に選択される。

【0183】

以上説明したように、本実施の形態の撮像装置によれば、複数の被写体が追尾対象に設定された場合に、その後の各被写体の動き量に基づいて、追尾対象が設定され、追尾ＡＦが行われる。これにより、ユーザの意図する被写体に継続してフォーカスを合わせることができる。また、これにより、ユーザのフォーカス調整の負荷を軽減できる。また、安定したフォーカス移動を実現できる。

【0184】

［第５の実施の形態］
本実施の形態の撮像装置は、複数の被写体が追尾対象に設定された場合に、位相差情報を利用して追尾対象を決定し、追尾ＡＦを行う。具体的には、位相差情報を利用して、各被写体の光軸方向の動き量を算出し、光軸方向の動き量が最も小さい被写体を優先して追尾対象に設定し、追尾ＡＦを行う。光軸方向とは、撮像光学系２０の光軸に沿う方向である。本実施の形態の撮像装置では、撮像光学系２０の光軸方向は、撮像素子の受光面に直交する方向と一致する。

【0185】

［装置構成］
ここでは、追尾ＡＦを行う際に必要な機能についてのみ説明する。

【0186】

図２０は、追尾ＡＦを行う際にＣＰＵが実現する主な機能のブロック図である。

【0187】

同図に示すように、本実施の形態の撮像装置において、ＣＰＵ１２０は、更に、第２動き量算出部１８０として機能する。

【0188】

第２動き量算出部１８０は、撮像により得られる動画像データを処理し、各被写体の光軸方向の動き量を算出する。具体的には、位相差検出用画素の画素信号に基づいて、各フォーカスエリアの位相差を算出し、その変化量を算出して、各被写体の光軸方向の動き量を算出する。したがって、本実施の形態の撮像装置では、位相差の変化量が、光軸方向の動き量とされる。

【0189】

追尾処理部１２０Ｈは、追尾対象として複数の被写体が設定された場合に、第２動き量算出部１８０で算出される各被写体の光軸方向の動き量の情報に基づいて追尾対象を設定し、追尾処理を行う。具体的には、光軸方向に動きのある被写体を追尾対象から除外して、追尾処理を行う。光軸方向に動きのある被写体とは、光軸方向の動き量が閾値以上の被写体である。すべての被写体に光軸方向の動きがある場合は、光軸方向の動き量が大きい順に除外される。この結果、光軸方向の動き量が最も小さい被写体が追尾対象に設定されて、追尾ＡＦが行われる。

【0190】

［撮像制御の処理手順］
図２１は、撮像制御の処理手順を示すフローチャートである。

【0191】

追尾ＡＦが開始されるまでの処理（ステップＳ７１～Ｓ７６）は、上記第１の実施の形態の撮像装置と同じである。まず、フォーカス操作が開始されたか否かが判定される（ステップＳ７１）。フォーカス操作が開始された場合は、フォーカスモードがＭＦモードに設定されているか否かが判定される（ステップＳ７２）。ＭＦモードに設定されている場合は、各フォーカスエリアのフォーカス評価値が算出され（ステップＳ７３）、その算出結果に基づいて、合焦領域が検出される（ステップＳ７４）。そして、検出された合焦領域の情報に基づいて追尾対象が設定される（ステップＳ７５）。すなわち、合焦領域に存在する被写体が追尾対象に設定される。その後、フォーカス操作が終了したか否かが判定される（ステップＳ７６）。

【0192】

フォーカス操作が終了したと判定されると、追尾対象に複数の被写体が設定されているか否かが判定される（ステップＳ７７）。追尾対象に複数の被写体が設定されていないと判定されると、追尾対象に設定された被写体に対し追尾ＡＦが行われる（ステップＳ８２）。

【0193】

一方、追尾対象に複数の被写体が設定されていると判定されると、光軸方向の動き量を算出可能か否かが判定される（ステップＳ７８）。上記のように、本実施の形態の撮像装置では、位相差に基づいて光軸方向の動き量が算出される。したがって、位相差を算出できない場合は、光軸方向の動き量も算出できないことになる。したがって、位相差を算出できない場合に、光軸方向の動き量の算出が不能と判定される。たとえば、位相差検出用画素が配置されていない領域に被写体が存在する場合は、位相差の算出が不能と判定される。

【0194】

光軸方向の動き量の算出が不能と判定されると、追尾対象の設定が解除され（ステップＳ８４）、処理が終了する。処理の終了後は、通常のＭＦモードで動作する。

【0195】

一方、光軸方向の動き量の算出が可能と判定されると、各被写体の光軸方向の動き量が算出される（ステップＳ７９）。そして、その算出結果に基づいて、光軸方向に動きのある被写体の有無が判定される（ステップＳ８０）。ここでの判定は、追尾対象に設定された被写体の中で行われる。すなわち、追尾対象に設定された被写体の中で光軸方向に動きのある被写体が存在するか否かが判定される。

【0196】

追尾対象に設定された被写体の中で光軸方向に動きのある被写体が存在すると判定されると、その被写体が追尾対象から除外される（ステップＳ８１）。

【0197】

なお、すべての被写体に光軸方向の動きがある場合、光軸方向の動き量の大きい被写体が優先して除外される。この際、光軸方向の動き量が大きい順に除外される。結果として、光軸方向の動き量が最も小さい被写体が追尾対象に設定される。

【0198】

その後、追尾対象に設定された被写体に対し追尾ＡＦが行われる（ステップＳ８２）。そして、再びフォーカス操作が行われたか否かが判定され（ステップＳ８３）、フォーカス操作が再開されたと判定されると、追尾ＡＦが終了される。以後、通常のＭＦモードでの動作に戻り、ステップＳ５２以降の処理が繰り返される。

【0199】

図２２は、追尾対象の設定の概念図である。

【0200】

同図（Ａ）は、追尾対象の初期設定状態を示している。この例では、フォーカス操作の終了が検知された時点で合焦領域に三人の人物３００Ａ、３００Ｂ、３００Ｃが存在している場合の例を示している。この場合、すべての人物３００Ａ、３００Ｂ、３００Ｃが追尾対象に設定される。

【0201】

同図（Ｂ）は、所定時間経過後の追尾対象の設定状態を示している。この例では、左右の人物３００Ａ、３００Ｃが、前方（奥行き方向の手前側）に動いた場合の例を示している。すなわち、撮像光学系２０の光軸方向に動いた場合の例を示している。この場合、光軸方向に動きのある左右の人物３００Ａ、３００Ｃが、追尾対象から除外される。したがって、中央の人物３００Ｂのみが追尾対象に選択される。

【0202】

以上説明したように、本実施の形態の撮像装置によれば、複数の被写体が追尾対象に設定された場合に、その後の各被写体の光軸方向の動き量に基づいて、追尾対象が設定され、追尾ＡＦが行われる。これにより、ユーザの意図する被写体に継続してフォーカスを合わせることができる。また、これにより、ユーザのフォーカス調整の負荷を軽減できる。また、安定したフォーカス移動を実現できる。

【0203】

なお、上記実施の形態では、位相差の変化量を検出して、各被写体の光軸方向の動き量を検出する構成としているが、各被写体の光軸方向の動き量を検出する方法は、これに限定されるものではない。この他、ＴｏＦ方式（ＴｏＦ：Time of Flight）、Structured Light方式等により検出する構成とすることもできる。

【0204】

また、上記実施の形態では、位相差検出用画素を備えた撮像素子を使用して位相差を検出する構成としているが、位相差を検出する方法は、これに限定されるものではない。

【0205】

また、画像の全域で被写体の動き量を算出できる場合は、ステップＳ７８の処理を省略することもできる。たとえば、画像の全域にフォーカスエリアが設定され、各フォーカスエリアで位相差を検出できる場合は、ステップＳ７８の処理を省略してもよい。

【0206】

［第６の実施の形態］
本実施の形態の撮像装置は、複数の被写体が追尾対象に設定された場合に、画像内での各被写体の動き量の情報及び光軸方向における各被写体の動き量の情報を利用して追尾対象を決定し、追尾ＡＦを行う。具体的には、動きのない被写体を優先して追尾対象に設定する一方、すべての被写体に動きがある場合は、光軸方向の動き量に基づいて追尾対象を決定し、追尾ＡＦを行う。すなわち、光軸方向の動き量が最も小さい被写体を優先して追尾対象に設定し、追尾ＡＦを行う。

【0207】

［装置構成］
ここでは、追尾ＡＦを行う際に必要な機能についてのみ説明する。

【0208】

図２３は、追尾ＡＦを行う際にＣＰＵが実現する主な機能のブロック図である。

【0209】

同図に示すように、本実施の形態の撮像装置において、ＣＰＵ１２０は、更に、第１動き量算出部１７０及び第２動き量算出部１８０として機能する。

【0210】

第１動き量算出部１７０の機能は、上記第４の実施の形態の撮像装置に備えられた第１動き量算出部１７０の機能と同じである。すなわち、撮像により得られる動画像データを処理し、動画像データが表す画像内の被写体の動き量（動きベクトル）を算出する。

【0211】

第２動き量算出部１８０の機能は、上記第５の実施の形態の撮像装置に備えられた第２動き量算出部１８０の機能と同じである。すなわち、撮像により得られる動画像データを処理し、各被写体の光軸方向の動き量（位相差の変化量）を算出する。

【0212】

追尾処理部１２０Ｈは、追尾対象として複数の被写体が設定された場合に、第１動き量算出部１７０及び第２動き量算出部１８０の算出結果に基づいて追尾対象を設定し、追尾処理を行う。

【0213】

［撮像制御の処理手順］
図２４及び図２５は、撮像制御の処理手順を示すフローチャートである。

【0214】

追尾ＡＦが開始されるまでの処理（ステップＳ９１～Ｓ９６）は、上記第１の実施の形態の撮像装置と同じである。まず、フォーカス操作が開始されたか否かが判定される（ステップＳ９１）。フォーカス操作が開始された場合は、フォーカスモードがＭＦモードに設定されているか否かが判定される（ステップＳ９２）。ＭＦモードに設定されている場合は、各フォーカスエリアのフォーカス評価値が算出され（ステップＳ９３）、その算出結果に基づいて、合焦領域が検出される（ステップＳ９４）。そして、検出された合焦領域の情報に基づいて、追尾対象が設定される（ステップＳ９５）。すなわち、合焦領域に存在する被写体が追尾対象に設定される。その後、フォーカス操作が終了したか否かが判定される（ステップＳ９６）。

【0215】

フォーカス操作が終了したと判定されると、追尾対象に複数の被写体が設定されているか否かが判定される（ステップＳ９７）。追尾対象に複数の被写体が設定されていないと判定されると、追尾対象に設定された被写体に対し追尾ＡＦが行われる（ステップＳ１０１）。

【0216】

一方、追尾対象に複数の被写体が設定されていると判定されると、画像内において各被写体の動き量が算出される（ステップＳ９８）。そして、その算出結果に基づいて、すべての被写体が動体か否かが判定される（ステップＳ９９）。すなわち、追尾対象として設定された被写体が、すべて動きのある被写体か否かが判定される。

【0217】

追尾対象に設定された被写体が、すべて動体ではない場合、すなわち、動きのない被写体（動き量が閾値以下の被写体）が含まれる場合、動きのある被写体が追尾対象から除外される（ステップＳ１００）。すなわち、閾値以上の動き量が検出された被写体が追尾対象から除外される。

【0218】

その後、追尾対象に設定された被写体に対し追尾ＡＦが行われる（ステップＳ１０１）。そして、再びフォーカス操作が行われたか否かが判定され（ステップＳ１０２）、フォーカス操作が再開されたと判定されると、追尾ＡＦが終了される。以後、通常のＭＦモードでの動作に戻り、ステップＳ９２以降の処理が繰り返される。

【0219】

一方、上記ステップＳ９９において、追尾対象に設定された被写体が、すべて動体であると判定されると、図２５に示すフローに移行する。すなわち、光軸方向の動き量を算出可能か否かが判定される（ステップＳ１０３）。光軸方向の動き量の算出が可能か否かは、各被写体について、位相差の算出が可能か否かによって判定される。位相差を算出できない被写体が存在する場合は、光軸方向の動き量の算出が不能と判定される。

【0220】

光軸方向の動き量の算出が不能と判定されると、追尾対象の設定が解除され（ステップＳ１０６）、処理が終了する。処理の終了後は、通常のＭＦモードで動作する。

【0221】

一方、光軸方向の動き量の算出が可能と判定されると、各被写体の光軸方向の動き量が算出される（ステップＳ１０４）。そして、その算出結果に基づいて、光軸方向に動きのある被写体が、動き量の多い順に追尾対象から除外される（ステップＳ１０５）。この結果、光軸方向の動き量が最も小さい被写体が追尾対象に設定される。

【0222】

その後、図２４に示すように、追尾対象に設定された被写体に対し追尾ＡＦが行われる（ステップＳ１０１）。そして、再びフォーカス操作が行われたか否かが判定され（ステップＳ１０２）、フォーカス操作が再開されたと判定されると、追尾ＡＦが終了される。以後、通常のＭＦモードでの動作に戻り、ステップＳ９２以降の処理が繰り返される。

【0223】

以上説明したように、本実施の形態の撮像装置によれば、画像内での各被写体の動き量の情報及び光軸方向における各被写体の動き量の情報に基づいて、追尾対象が設定され、追尾ＡＦが行われる。これにより、ユーザの意図する被写体に継続してフォーカスを合わせることができる。また、これにより、ユーザのフォーカス調整の負荷を軽減できる。また、安定したフォーカスを実現できる。すなわち、可能な限りフォーカスを合わせることができる。

【0224】

［第７の実施の形態］
本実施の形態の撮像装置は、フォーカス操作中の各被写体のフォーカス状態に基づいて、追尾対象を設定する。具体的には、フォーカス操作中に合焦状態から非合焦状態に変化した後、再び合焦状態に戻された被写体が存在する場合は、当該被写体を追尾対象に設定する。合焦状態から非合焦状態に変化した後、再び合焦状態に戻す操作は、いわゆる、寄り戻しの操作である。寄り戻しの操作は、フォーカス操作の際、ボケた後、すぐにフォーカスを戻す操作である。ユーザが、寄り戻しの操作を行った場合、寄り戻しによりフォーカスが合った被写体が主被写体であると考えられる。したがって、当該被写体を追尾対象に設定し、追尾ＡＦを行う。フォーカス操作中に合焦状態から非合焦状態に変化した後、再び合焦状態に戻された被写体が存在しない場合は、フォーカス操作中に最も長くフォーカスが合っていた被写体を追尾対象に設定する。

【0225】

［装置構成］
ここでは、追尾対象の設定に必要な機能についてのみ説明する。

【0226】

図２６は、追尾ＡＦを行う際にＣＰＵが実現する主な機能のブロック図である。

【0227】

同図に示すように、本実施の形態の撮像装置において、ＣＰＵ１２０は、更に、第３計時部１９０及び特定操作検出部１９２として機能する。

【0228】

第３計時部１９０は、フォーカス操作中、各フォーカスエリアについて、合焦状態にある期間（合焦期間）を計測する。第３計時部１９０は、合焦領域検出部１２０Ｄによってリアルタイムに検出される合焦領域の情報に基づいて、各フォーカスエリアの合焦期間を計測する。

【0229】

特定操作検出部１９２は、リアルタイムに算出されるフォーカス評価値の情報に基づいて、特定の操作を検出する。すなわち、寄り戻しでフォーカスを合わせる操作を検出する。特定操作検出部１９２は、合焦状態から非合焦状態に変化した後、規定時間内に合焦状態に戻す操作を検出して、寄り戻しでフォーカスを合わせる操作を検出する。

【0230】

追尾対象設定部１２０Ｅは、合焦領域検出部１２０Ｄの検出結果、第３計時部１９０の計測結果、及び、特定操作検出部１９２の検出結果に基づいて、追尾対象を設定する。具体的には、合焦領域に存在する被写体が単数の場合、追尾対象設定部１２０Ｅは、合焦領域に存在する被写体を追尾対象に設定する。一方、合焦領域に存在する被写体が複数の場合、追尾対象設定部１２０Ｅは、寄り戻し操作でフォーカスを合わせた被写体を優先して追尾対象に設定する。寄り戻し操作でフォーカスを合わせた被写体が存在しない場合、合焦状態の期間が最も長い被写体を追尾対象に設定する。

【0231】

［撮像制御の処理手順］
図２７は、撮像制御の処理手順を示すフローチャートである。

【0232】

まず、フォーカス操作が開始されたか否かが判定される（ステップＳ１１１）。フォーカス操作が開始されたと判定されると、フォーカスモードがＭＦモードに設定されているか否かが判定される（ステップＳ１１２）。フォーカスモードがＭＦモードに設定されていると判定されると、各フォーカスエリアのフォーカス評価値が算出される（ステップＳ１１３）。そして、その算出結果に基づいて、合焦領域が検出される（ステップＳ１１４）。合焦領域が検出されると、その検出結果に基づいて、各フォーカスエリアの合焦期間が計測される（ステップＳ１１５）。また、各フォーカス評価値の算出結果に基づいて、特定操作、すなわち、寄り戻しでフォーカスを合わせる操作が検出される。そして、その検出結果に基づいて、特定操作の有無が判定される（ステップＳ１１７）。

【0233】

特定操作が行われた場合は、その特定操作によってフォーカスが合わせられた被写体が追尾対象に設定される（ステップＳ１１８）。すなわち、寄り戻しでフォーカスを合わせた被写体が追尾対象に設定される。

【0234】

一方、特定操作が行われていない場合は、合焦領域に存在する被写体の中で、合焦期間が最も長い被写体が特定され、特定された被写体が追尾対象に設定される（ステップＳ１１９）。

【0235】

追尾対象の設定後、フォーカス操作が終了したか否かが判定される（ステップＳ１２０）。そして、フォーカス操作が終了したと判定されると、追尾ＡＦが開始される（ステップＳ１２１）。すなわち、追尾対象に設定された被写体に対し、追尾処理及びＡＦ制御が継続して行われる。

【0236】

追尾ＡＦが開始されると、再びフォーカス操作が行われたか否かが判定される（ステップＳ１２２）。そして、フォーカス操作が再開されたと判定されると、追尾ＡＦが終了される。追尾ＡＦの終了後は、通常のＭＦモードでの動作に戻り、ステップＳ２以降の処理が繰り返される。

【0237】

以上説明したように、本実施の形態の撮像装置によれば、合焦領域に複数の被写体が存在する場合であっても、主被写体と想定される被写体を自動的に追尾対象に設定して、追尾ＡＦを行うことができる。

【0238】

なお、上記実施の形態では、特定操作を検出して、追尾対象を設定する構成としているが、特定操作を検出せずに、追尾対象を設定する構成とすることもできる。この場合、合焦期間が最も長い被写体を追尾対象に設定する。

【0239】

同様に、合焦期間を計測せずに、追尾対象を設定する構成とすることもできる。すなわち、特定操作が検出されない場合であっても、合焦期間が最も長い被写体に限定せずに、追尾対象を設定することもできる。なお、この場合、合焦領域に複数の被写体が存在していると、そのすべてが追尾対象に設定されるが、複数の被写体が追尾対象に設定されて、追尾ＡＦが開始された場合は、上記第４～６の実施の形態で説明した手法で、追尾対象を限定することができる。

【0240】

［第８の実施の形態］
追尾ＡＦ中は、追尾対象の被写体にフォーカスが合い続ける。その一方で被写界深度の範囲内に他の被写体が入ると、その被写体にもフォーカスが合う。追尾対象以外の被写体でフォーカスが合った被写体は、通りすがりの被写体である場合もあるし、主被写体になり得る場合もある。

【0241】

そこで、本実施の形態の撮像装置では、追尾ＡＦ中に主被写体になり得る被写体が検出された場合に、当該被写体を追尾対象に追加し、追尾ＡＦを継続する。具体的には、現在追尾対象としている被写体と同程度のフォーカス評価値が一定時間維持された場合、新しい被写体も追尾対象に設定し、追尾ＡＦを行う。

【0242】

［装置構成］
ここでは、追尾対象の追加設定に必要な機能についてのみ説明する。

【0243】

図２８は、追尾対象を追加して追尾ＡＦを行う場合にＣＰＵが実現する主な機能のブロック図である。

【0244】

同図に示すように、本実施の形態の撮像装置において、ＣＰＵ１２０は、更に、追尾候補検出部２００として機能する。

【0245】

追尾候補検出部２００は、追尾ＡＦ中に合焦領域検出部１２０Ｄで検出される合焦領域の情報に基づいて、追尾候補を検出する。追尾候補とは、現在追尾対象に設定されている被写体以外で主被写体になり得る被写体である。追尾候補検出部２００は、現在追尾対象に設定されている被写体と同程度のフォーカス評価値を一定時間以上継続して有する被写体を追尾候補として抽出する。同程度とは、差分が閾値以下であることをいう。したがって、追尾候補検出部２００は、現在追尾対象に設定されている被写体のフォーカス評価値との差分が閾値以下の状態が規定時間以上継続している被写体を抽出して、追尾候補を検出する。具体的には、閾値以下の状態が規定時間以上継続しているフォーカスエリアを抽出し、そのフォーカスエリアに存在する被写体を追尾候補として検出する。抽出に使用する規定時間は、第３時間の一例である。

【0246】

なお、追尾ＡＦ中、追尾対象の被写体は、おおよそ全期間を通じて合焦状態（実質的に合焦状態と認められる状態を含む）にある。したがって、合焦状態にある被写体を、追尾対象の被写体と同程度のフォーカス評価値を有する被写体とみなすことができる。したがって、追尾候補検出部２００は、一定時間以上継続して合焦状態にある被写体を追尾候補として抽出する構成とすることもできる。この場合、追尾候補検出部２００は、追尾対象が存在する領域以外で規定時間以上継続して合焦状態にある領域を抽出し、抽出した領域に存在する被写体を追尾候補として検出する。具体的には、規定時間以上継続して合焦状態にあるフォーカスエリアを抽出し、抽出したフォーカスエリアに存在する被写体を追尾候補として検出する。

【0247】

追尾処理部１２０Ｈは、追尾候補検出部２００で追尾候補が検出されると、検出された追尾候補を追尾対象に加えて追尾処理を行う。

【0248】

［撮像制御の処理手順］
図２９は、撮像制御の処理手順を示すフローチャートである。

【0249】

追尾ＡＦを開始するまでの処理（ステップＳ１３１～Ｓ１３７）は、上記第１の実施の形態の撮像装置と同じである。

【0250】

まず、フォーカス操作が開始されたか否かが判定される（ステップＳ１３１）。フォーカス操作が開始されたと判定されると、フォーカスモードがＭＦモードに設定されているか否かが判定される（ステップＳ１３２）。ＭＦモードに設定されていると判定されると、各フォーカスエリアのフォーカス評価値が算出され（ステップＳ１３３）、その算出結果に基づいて、合焦領域が検出される（ステップＳ１３４）。そして、検出された合焦領域の情報に基づいて、追尾対象が設定される（ステップＳ１３５）。追尾対象が設定されると、フォーカス操作が終了したか否かが判定される（ステップＳ１３６）。フォーカス操作が終了されたと判定されると、追尾ＡＦが開始される（ステップＳ１３７）。

【0251】

追尾ＡＦが開始されると、フォーカス評価値の算出が行われる（ステップＳ１３８）。フォーカス評価値は、画面全域において検出される。そして、検出された画面全域のフォーカス評価値の情報に基づいて、追尾候補の検出が行われる（ステップＳ１３９）。

【0252】

追尾候補の検出は、次の手順で行われる。まず、現在追尾対象に設定されている被写体と同程度のフォーカス評価値を有する被写体が抽出される。具体的には、現在追尾対象に設定されている被写体のフォーカス評価値との差分が閾値以下のフォーカスエリアを抽出される。差分が閾値以下のフォーカスエリアが抽出されると、差分が閾値以下の状態の継続時間が計測される。差分が閾値以下の状態が規定時間以上継続した場合、抽出されたフォーカスエリアに存在する被写体が追尾候補として検出される。

【0253】

追尾候補が検出されると、追尾対象が再設定される（ステップＳ１４２）。すなわち、検出された追尾候補が、新たに追尾対象に追加されて設定される。

【0254】

その後、再びフォーカス操作が行われたか否かが判定される（ステップＳ１４３）。フォーカス操作が再開されたと判定されると、追尾ＡＦが強制的に終了される。追尾ＡＦの終了後は、通常のＭＦモードでの動作に戻り、ステップＳ１３２以降の処理が繰り返される。

【0255】

一方、フォーカス操作が再開されていないと判定されると、継続して追尾ＡＦが行われる。すなわち、ステップＳ１３７以降の処理が繰り返される。この際、新たに追尾対象が追加された場合は、新たに追加された追尾対象を含めて追尾ＡＦが行われる。

【0256】

以上説明したように、本実施の形態の撮像装置によれば、追尾ＡＦ中に主被写体になり得る被写体が検出された場合に、自動的に追尾対象に追加されて、追尾ＡＦが行われる。これにより、ユーザによるフォーカス操作の負担を大幅に軽減できる。また、動画像の撮像中に安定したフォーカス移動を実現できる。

【0257】

［その他の実施の形態］
［撮像装置の例］
本発明が適用される撮像装置には、いわゆるビデオカメラ、シネカメラ等の動画撮像専用の撮像装置の他、スマートフォン、パーソナルコンピュータ等に組み込まれた撮像装置も含まれる。

【0258】

［処理部のハードウェア構成］
本発明において、各処理を行う処理部（Processing Unit）のハードウェア的な構造は、各種のプロセッサ（Processor）で実現される。各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ及び／又はＧＰＵ（Graphic Processing Unit）、ＦＰＧＡ（FieldProgrammable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device，ＰＬＤ）、ＡＳＩＣ（ApplicationSpecific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。プログラムは、ソフトウェアと同義である。

【0259】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。たとえば、１つの処理部は、複数のＦＰＧＡ、或いは、ＣＰＵとＦＰＧＡの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどに用いられるコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System on Chip，ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

【符号の説明】

【0260】

１ 撮像装置
１０ レンズ部
２０ 撮像光学系
２２ ズームレンズ
２４ 絞り
２６ フォーカスレンズ
３０ レンズ駆動部
３２ ズーム駆動部
３４ 絞り駆動部
３６ フォーカス駆動部
４０ レンズ操作部
４２ ズーム操作部
４４ 絞り操作部
４６ フォーカス操作部
５０ 姿勢検出センサ
１００ 本体部
１１０ 撮像部
１１０Ａ 撮像素子
１１２ 表示部
１１４ 記憶部
１１６ 接続部
１１８ 本体操作部
１２０ ＣＰＵ
１２０Ａ 表示用画像処理部
１２０Ｂ 表示制御部
１２０Ｃ フォーカス評価値算出部
１２０Ｄ 合焦領域検出部
１２０Ｅ 追尾対象設定部
１２０Ｆ フォーカス操作検知部
１２０Ｇ フォーカス駆動制御部
１２０Ｈ 追尾処理部
１２０Ｉ ＡＦ制御部
１２２ ＲＯＭ
１２４ ＲＡＭ
１１４Ａ 計測結果記憶部
１３０Ａ 第１計時部
１３０Ｂ 計測結果記録制御部
１３０Ｃ 検知用時間算出部
１３０Ｄ 検知用時間設定部
１４０ 画像認識部
１５０Ａ フォーカス移動方向検知部
１５０Ｂ 第２計時部
１６０ 姿勢変化検知部
１７０ 第１動き量算出部
１８０ 第２動き量算出部
１９０ 第３計時部
１９２ 特定操作検出部
２００ 追尾候補検出部
３００ 人物
３００Ａ 人物
３００Ｂ 人物
３００Ｃ 人物
４００ 木
Ｆ１ 合焦状態にあるフォーカスエリアの枠
Ｆ２ 合焦状態にあるフォーカスエリアの枠
Ｆ３ 合焦状態にあるフォーカスエリアの枠
ＦＡ フォーカスエリア
ＩＭ１ フォーカス操作中に表示される画像
ＩＭ２ 追尾ＡＦ中に表示される画像
Ｌ 光軸
Ｓ１～Ｓ８ 撮像制御の処理手順
Ｓ１１～Ｓ２０ 撮像制御の処理手順
Ｓ３１～Ｓ４０ 撮像制御の処理手順
Ｓ５１～Ｓ６２ 撮像制御の処理手順
Ｓ７１～Ｓ８３ 撮像制御の処理手順
Ｓ９１～Ｓ１０６ 撮像制御の処理手順
Ｓ１１１～Ｓ１２２ 撮像制御の処理手順
Ｓ１３１～Ｓ１４２ 撮像制御の処理手順

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】