特許 6799711 撮像装置、撮像方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6799711

(24)【登録日】2020年11月25日

(45)【発行日】2020年12月16日

(54)【発明の名称】撮像装置、撮像方法、及びプログラム

(51)【国際特許分類】

   G02B 7/04 20060101AFI20201207BHJP

   G02B 7/08 20060101ALI20201207BHJP

   G02B 7/10 20060101ALI20201207BHJP

   G02B 7/28 20060101ALI20201207BHJP

   G03B 13/36 20060101ALI20201207BHJP

   H04N 5/232 20060101ALI20201207BHJP

【ＦＩ】

   G02B7/04 E

   G02B7/08 A

   G02B7/10 Z

   G02B7/28 N

   G03B13/36

   H04N5/232 120

   H04N5/232 127

   H04N5/232 290

   H04N5/232 960

【請求項の数】13

【全頁数】22

(21)【出願番号】特願2020-507317(P2020-507317)

(86)(22)【出願日】2018年10月2日

(86)【国際出願番号】JP2018036923

(87)【国際公開番号】WO2019181024

(87)【国際公開日】20190926

【審査請求日】2020年9月8日

(31)【優先権主張番号】特願2018-57221(P2018-57221)

(32)【優先日】2018年3月23日

(33)【優先権主張国】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】特許業務法人太陽国際特許事務所

(72)【発明者】

【氏名】藤木 伸一郎

(72)【発明者】

【氏名】内田 亮宏

(72)【発明者】

【氏名】田中 康一

(72)【発明者】

【氏名】林 健吉

(72)【発明者】

【氏名】伊澤 誠一

【審査官】 三宅 克馬

(56)【参考文献】

【文献】 特開２０１０−１６４６８０（ＪＰ，Ａ）

【文献】 中国特許出願公開第１０４３０１６１１（ＣＮ，Ａ）

【文献】 特開２００９−８１８１０（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００２／００６７４２１（ＵＳ，Ａ１）

【文献】 特開２０１４−１６４０２８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０２Ｂ ７／０４

Ｇ０２Ｂ ７／０８

Ｇ０２Ｂ ７／１０

Ｇ０２Ｂ ７／２８

Ｇ０３Ｂ １３／３６

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

ズームレンズ及びフォーカスレンズを含む撮像光学系を有する撮像レンズと、
前記撮像レンズを通過した光学像を撮像する撮像部と、
自装置及び被写体の少なくとも一方が静止しているか否かを判定する静止判定部と、
前記被写体に合焦した合焦状態であるか否かを判定する合焦判定部と、
前記合焦判定部により合焦状態であると判定され、かつ前記静止判定部により自装置及び被写体の少なくとも一方が静止していると判定された場合に、焦点距離と前記フォーカスレンズの位置とを記憶部に記憶する記憶制御部と、
前記記憶部に記憶された複数の焦点距離と前記フォーカスレンズの位置とを用いて、前記焦点距離の変化に応じて前記フォーカスレンズの位置を変化させるためのトラッキングデータを生成する生成部と、
前記生成部により生成されたトラッキングデータを用いてズームトラッキング制御を行うズームトラッキング制御部と、
を備え、
前記静止判定部は、前記合焦判定部により合焦状態であると判定された際に前記撮像部が前記被写体を撮像して得られた複数の画像を用いて、前記被写体が静止しているか否かを判定する
撮像装置。

【請求項2】

前記生成部は、前記静止判定部により自装置及び被写体の少なくとも一方が静止していないと判定された場合に、前記トラッキングデータを生成する
請求項１に記載の撮像装置。

【請求項3】

前記焦点距離に応じてフォーカスエリアのサイズを変更する変更部を更に備えた
請求項１又は請求項２に記載の撮像装置。

【請求項4】

前記変更部は、前記合焦判定部により最初に合焦状態であると判定された際の初期の焦点距離が、次回以降に合焦状態であると判定された際の現在の焦点距離よりも広角側の場合は、前記フォーカスエリアを拡大し、前記初期の焦点距離が、前記現在の焦点距離よりも望遠側の場合は、前記フォーカスエリアを縮小する
請求項３に記載の撮像装置。

【請求項5】

前記生成部は、前記撮像レンズに対応する基準のトラッキングデータを前記生成したトラッキングデータに近似したデータと、前記生成したトラッキングデータとの誤差が所定の範囲外である場合、前記生成したトラッキングデータを破棄する
請求項１から請求項４の何れか１項に記載の撮像装置。

【請求項6】

前記生成部は、前記記憶部に基準となる焦点距離が記憶されていない場合、前記基準となる焦点距離に対応するフォーカスレンズの位置を、前記基準となる焦点距離の所定の範囲内の複数の焦点距離及び前記複数の焦点距離に対応する複数のフォーカスレンズの位置を用いて補間することにより前記基準となる焦点距離に対応するフォーカスレンズの位置を導出することによって前記トラッキングデータを生成する
請求項１から請求項５の何れか１項に記載の撮像装置。

【請求項7】

前記生成部は、前記記憶部に所定数以上の焦点距離と前記フォーカスレンズの位置とが記憶されている場合に、前記トラッキングデータを生成する
請求項１から請求項６の何れか１項に記載の撮像装置。

【請求項8】

前記静止判定部は、前記複数の画像として、前記合焦判定部により最初に合焦状態であると判定された際に前記撮像部が前記被写体を撮像して得られた初期画像と、次回以降に合焦状態であると判定された際に前記撮像部が前記被写体を撮像して得られた現在画像とを用いて、前記被写体が静止しているか否かを判定する
請求項１から請求項７の何れか１項に記載の撮像装置。

【請求項9】

前記静止判定部は、前記焦点距離に応じて、前記初期画像又は前記現在画像に対してトリミング及びリサイズを行って得られた画像を用いて、前記被写体が静止しているか否かを判定する
請求項８に記載の撮像装置。

【請求項10】

前記静止判定部は、前記現在画像を撮像した際の焦点距離が前記初期画像を撮像した際の焦点距離よりも望遠側の場合は、前記初期画像に対してトリミング及びリサイズを行い、前記現在画像を撮像した際の焦点距離が前記初期画像を撮像した際の焦点距離よりも広角側の場合は、前記現在画像に対してトリミング及びリサイズを行う
請求項９に記載の撮像装置。

【請求項11】

自装置の振動を検出するためのセンサを更に備え、
前記静止判定部は、前記合焦判定部により最初に合焦状態であると判定された際の前記センサからの出力と、次回以降に合焦状態であると判定された際の前記センサからの出力とを用いて、自装置が静止しているか否かを判定する
請求項１から請求項１０の何れか１項に記載の撮像装置。

【請求項12】

ズームレンズ及びフォーカスレンズを含む撮像光学系を有する撮像レンズと前記撮像レンズを通過した光学像を撮像する撮像部とを備えた撮像装置が実行する撮像方法であって、
自装置及び被写体の少なくとも一方が静止しているか否かを判定し、
前記被写体に合焦した合焦状態であるか否かを判定し、
合焦状態であると判定し、かつ自装置及び被写体の少なくとも一方が静止していると判定した場合に、焦点距離と前記フォーカスレンズの位置とを記憶部に記憶し、
前記記憶部に記憶した複数の焦点距離と前記フォーカスレンズの位置とを用いて、前記焦点距離の変化に応じて前記フォーカスレンズの位置を変化させるためのトラッキングデータを生成し、
生成したトラッキングデータを用いてズームトラッキング制御を行い、
前記被写体が静止しているか否かを判定する場合に、合焦状態であると判定した際に前記撮像部が前記被写体を撮像して得られた複数の画像を用いて、前記被写体が静止しているか否かを判定する
撮像方法。

【請求項13】

ズームレンズ及びフォーカスレンズを含む撮像光学系を有する撮像レンズと前記撮像レンズを通過した光学像を撮像する撮像部とを備えた撮像装置を制御するコンピュータに、
自装置及び被写体の少なくとも一方が静止しているか否かを判定し、
前記被写体に合焦した合焦状態であるか否かを判定し、
合焦状態であると判定し、かつ自装置及び被写体の少なくとも一方が静止していると判定した場合に、焦点距離と前記フォーカスレンズの位置とを記憶部に記憶し、
前記記憶部に記憶した複数の焦点距離と前記フォーカスレンズの位置とを用いて、前記焦点距離の変化に応じて前記フォーカスレンズの位置を変化させるためのトラッキングデータを生成し、
生成したトラッキングデータを用いてズームトラッキング制御を行い、
前記被写体が静止しているか否かを判定する場合に、合焦状態であると判定した際に前記撮像部が前記被写体を撮像して得られた複数の画像を用いて、前記被写体が静止しているか否かを判定する
処理を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、撮像装置、撮像方法、及びプログラムに関する。

【背景技術】

【0002】

従来、光学系の結像位置が焦点深度内になるときの、所定の物体距離におけるズームレンズの位置とフォーカスレンズの位置との関係であるトラッキングデータを算出するレンズ装置が開示されている（特開２０１４−１７４３６２号公報参照）。

【0003】

また、オートフォーカス評価エリア内のコントラスト情報と光学系のレンズ・アイリス情報とに基づいて、ズームレンズの移動中に、合焦状態が維持されるようフォーカスレンズを移動させるレンズ制御装置が開示されている（特開２００５−２５１１８号公報参照）。

【0004】

また、ユーザによる撮影準備動作又は撮影動作の指示を受け付ける操作部と、撮像して得られた画像に基づいて撮像シーンを判別する判別部とを備えた撮像装置が開示されている（再公表２００９／０１３８５０号公報参照）。この撮像装置は、操作部がユーザによって操作される前と後とで、判別部による撮像シーンの判別方法を変える。

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、焦点距離の変化に応じてフォーカスレンズの位置を変化させるためのトラッキングデータを生成する場合、撮像装置自体及び被写体の少なくとも一方が静止していないと、トラッキングデータが精度良く生成されない場合がある。

【0006】

しかしながら、特開２０１４−１７４３６２号公報、特開２００５−２５１１８号公報、及び再公表２００９／０１３８５０号公報に記載の技術では、撮像装置自体及び被写体の少なくとも一方が静止しているか否かについては考慮されていない。

【0007】

本開示は、以上の事情を鑑みて成されたものであり、トラッキングデータを精度良く生成することができる撮像装置、撮像方法、及びプログラムを提供する。

【課題を解決するための手段】

【0008】

本開示の撮像装置は、ズームレンズ及びフォーカスレンズを含む撮像光学系を有する撮像レンズと、撮像レンズを通過した光学像を撮像する撮像部と、自装置及び被写体の少なくとも一方が静止しているか否かを判定する静止判定部と、被写体に合焦した合焦状態であるか否かを判定する合焦判定部と、合焦判定部により合焦状態であると判定され、かつ静止判定部により自装置及び被写体の少なくとも一方が静止していると判定された場合に、焦点距離とフォーカスレンズの位置とを記憶部に記憶する記憶制御部と、記憶部に記憶された複数の焦点距離とフォーカスレンズの位置とを用いて、焦点距離の変化に応じてフォーカスレンズの位置を変化させるためのトラッキングデータを生成する生成部と、生成部により生成されたトラッキングデータを用いてズームトラッキング制御を行うズームトラッキング制御部と、を備えている。

【0009】

なお、本開示の撮像装置は、生成部は、静止判定部により自装置及び被写体の少なくとも一方が静止していないと判定された場合に、トラッキングデータを生成してもよい。

【0010】

また、本開示の撮像装置は、焦点距離に応じてフォーカスエリアのサイズを変更する変更部を更に備えてもよい。

【0011】

また、本開示の撮像装置は、変更部は、合焦判定部により最初に合焦状態であると判定された際の初期の焦点距離が、次回以降に合焦状態であると判定された際の現在の焦点距離よりも広角側の場合は、フォーカスエリアを拡大し、初期の焦点距離が、現在の焦点距離よりも望遠側の場合は、フォーカスエリアを縮小してもよい。

【0012】

また、本開示の撮像装置は、生成部は、撮像レンズに対応する基準のトラッキングデータを生成したトラッキングデータに近似したデータと、生成したトラッキングデータとの誤差が所定の範囲外である場合、生成したトラッキングデータを破棄してもよい。

【0013】

また、本開示の撮像装置は、生成部は、記憶部に基準となる焦点距離が記憶されていない場合、基準となる焦点距離に対応するフォーカスレンズの位置を、基準となる焦点距離の所定の範囲内の複数の焦点距離及び複数の焦点距離に対応する複数のフォーカスレンズの位置を用いて補間することにより基準となる焦点距離に対応するフォーカスレンズの位置を導出することによってトラッキングデータを生成してもよい。

【0014】

また、本開示の撮像装置は、生成部は、記憶部に所定数以上の焦点距離とフォーカスレンズの位置とが記憶されている場合に、トラッキングデータを生成してもよい。

【0015】

また、本開示の撮像装置は、静止判定部は、合焦判定部により最初に合焦状態であると判定された際に撮像部が被写体を撮像して得られた初期画像と、次回以降に合焦状態であると判定された際に撮像部が被写体を撮像して得られた現在画像とを用いて、被写体が静止しているか否かを判定してもよい。

【0016】

また、本開示の撮像装置は、静止判定部は、焦点距離に応じて、初期画像又は現在画像に対してトリミング及びリサイズを行って得られた画像を用いて、被写体が静止しているか否かを判定してもよい。

【0017】

また、本開示の撮像装置は、静止判定部は、現在画像を撮像した際の焦点距離が初期画像を撮像した際の焦点距離よりも望遠側の場合は、初期画像に対してトリミング及びリサイズを行い、現在画像を撮像した際の焦点距離が初期画像を撮像した際の焦点距離よりも広角側の場合は、現在画像に対してトリミング及びリサイズを行ってもよい。

【0018】

また、本開示の撮像装置は、自装置の振動を検出するためのセンサを更に備え、静止判定部は、合焦判定部により最初に合焦状態であると判定された際のセンサからの出力と、次回以降に合焦状態であると判定された際のセンサからの出力とを用いて、自装置が静止しているか否かを判定してもよい。

【0019】

一方、本開示の撮像方法は、ズームレンズ及びフォーカスレンズを含む撮像光学系を有する撮像レンズと撮像レンズを通過した光学像を撮像する撮像部とを備えた撮像装置が実行する撮像方法であって、自装置及び被写体の少なくとも一方が静止しているか否かを判定し、被写体に合焦した合焦状態であるか否かを判定し、合焦状態であると判定し、かつ自装置及び被写体の少なくとも一方が静止していると判定した場合に、焦点距離とフォーカスレンズの位置とを記憶部に記憶し、記憶部に記憶した複数の焦点距離とフォーカスレンズの位置とを用いて、焦点距離の変化に応じてフォーカスレンズの位置を変化させるためのトラッキングデータを生成し、生成したトラッキングデータを用いてズームトラッキング制御を行うものである。

【0020】

また、本開示のプログラムは、ズームレンズ及びフォーカスレンズを含む撮像光学系を有する撮像レンズと撮像レンズを通過した光学像を撮像する撮像部とを備えた撮像装置を制御するコンピュータに、自装置及び被写体の少なくとも一方が静止しているか否かを判定し、被写体に合焦した合焦状態であるか否かを判定し、合焦状態であると判定し、かつ自装置及び被写体の少なくとも一方が静止していると判定した場合に、焦点距離とフォーカスレンズの位置とを記憶部に記憶し、記憶部に記憶した複数の焦点距離とフォーカスレンズの位置とを用いて、焦点距離の変化に応じてフォーカスレンズの位置を変化させるためのトラッキングデータを生成し、生成したトラッキングデータを用いてズームトラッキング制御を行うものである。

【0021】

また、本開示の撮像装置は、ズームレンズ及びフォーカスレンズを含む撮像光学系を有する撮像レンズと、撮像レンズを通過した光学像を撮像する撮像部と、コンピュータに実行させるための命令を記憶するメモリと、記憶された命令を実行するよう構成されたプロセッサと、を備え、プロセッサは、自装置及び被写体の少なくとも一方が静止しているか否かを判定し、被写体に合焦した合焦状態であるか否かを判定し、合焦状態であると判定し、かつ自装置及び被写体の少なくとも一方が静止していると判定した場合に、焦点距離とフォーカスレンズの位置とを記憶部に記憶し、記憶部に記憶した複数の焦点距離とフォーカスレンズの位置とを用いて、焦点距離の変化に応じてフォーカスレンズの位置を変化させるためのトラッキングデータを生成し、生成したトラッキングデータを用いてズームトラッキング制御を行う。

【発明の効果】

【0022】

本開示によれば、トラッキングデータを精度良く生成することができる。

【図面の簡単な説明】

【0023】

【図1】各実施形態に係る撮像装置のハードウェア構成の一例を示すブロック図である。

【図2】各実施形態に係る撮像装置に含まれる撮像レンズのハードウェア構成の一例を示すブロック図である。

【図3】各実施形態に係るオートフォーカスを説明するためのグラフである。

【図4】各実施形態に係るオートフォーカスエリアを説明するための図である。

【図5】各実施形態に係る撮像レンズに含まれるレンズ側主制御部の二次記憶部の記憶内容の一例を示す概念図である。

【図6】各実施形態に係る基準トラッキングデータを説明するためのグラフである。

【図7】各実施形態に係る撮像装置本体に含まれる本体側主制御部の二次記憶部の記憶内容の一例を示す概念図である。

【図8】各実施形態に係るトラッキングデータ生成処理の一例を示すフローチャートである。

【図9】各実施形態に係る撮像装置の静止判定処理を説明するためのグラフである。

【図10】各実施形態に係る被写体静止判定処理の一例を示すフローチャートである。

【図11】各実施形態に係る被写体静止判定処理を説明するための図である。

【図12】各実施形態に係る被写体静止判定処理を説明するための図である。

【図13】各実施形態に係る補間処理を説明するためのグラフである。

【図14】各実施形態に係る誤差導出処理を説明するためのグラフである。

【図15】各実施形態に係るズームトラッキング制御処理の一例を示すフローチャートである。

【図16】第２実施形態に係るエリア変更処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0024】

以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。

【0025】

［第１実施形態］
まず、図１及び図２を参照して、本実施形態に係る撮像装置１０の構成を説明する。図１に示すように、撮像装置１０は、レンズ交換式のデジタルカメラであり、撮像装置本体１２及び撮像レンズ１４を含む。撮像レンズ１４は、撮像装置本体１２に対して交換可能に装着される。

【0026】

本実施形態に係る撮像装置１０は、撮像系の動作モードとして、静止画撮像モードと動画撮像モードとを有する。静止画撮像モードは、被写体が撮像されて得られた静止画像を記録する動作モードであり、動画撮像モードは、被写体が撮像されて得られた動画像を記録する動作モードである。

【0027】

撮像装置１０では、ユーザから撮像装置１０に対して与えられた指示に応じて、静止画撮像モードと動画撮像モードとが選択的に設定される。また、静止画撮像モードでは、ユーザから撮像装置１０に対して与えられた指示に応じて、マニュアルフォーカスモードとオートフォーカスモードとが選択的に設定される。なお、以下では、オートフォーカスを「ＡＦ（AutoFocus）」と表記する。

【0028】

ＡＦモードでは、撮像装置本体１２に設けられたレリーズボタン（図示省略）を半押し状態にすることにより撮像条件の調整が行われ、その後、引き続き全押し状態にすると本露光が行われる。つまり、レリーズボタンを半押し状態にすることによりＡＥ（AutoExposure：自動露出）機能が働いて露出状態が設定された後、ＡＦ機能が働いて合焦制御が行われ、レリーズボタンを全押し状態にすると撮像が行われる。

【0029】

撮像装置本体１２はマウント１３を備えており、撮像レンズ１４は、マウント１５を備えている。撮像レンズ１４は、マウント１３にマウント１５が結合されることにより撮像装置本体１２に交換可能に装着される。撮像レンズ１４は、レンズユニット１８、絞り１９、及び制御装置２０を含む。絞り１９は、レンズユニット１８よりも撮像装置本体１２側に設けられており、レンズユニット１８を透過した被写体光の光量を調節し、被写体光を撮像装置本体１２内に導く。制御装置２０は、マウント１３、１５を介して撮像装置本体１２に電気的に接続されており、撮像装置本体１２からの指示に従って撮像レンズ１４の全体を制御する。

【0030】

撮像装置本体１２は、撮像素子２２、第１ミラー２４、第２ミラー２６、本体側主制御部２８、ミラー駆動部３０、撮像素子ドライバ３２、画像信号処理回路３４、画像メモリ３６、画像処理部３８、表示制御部４０、及びディスプレイ４２を含む。また、撮像装置本体１２は、受付Ｉ／Ｆ（InterFace）４４、受付デバイス４６、メディアＩ／Ｆ４８、メモリカード５０、外部Ｉ／Ｆ５２、ファインダ５４、及びジャイロセンサ５８を更に含む。撮像素子２２が、撮像レンズ１４を通過した光学像を撮像する撮像部の一例である。

【0031】

本体側主制御部２８は、撮像装置１０を制御するコンピュータの一例であり、ＣＰＵ（Central Processing Unit）６０、一次記憶部６２、及び二次記憶部６４を備えている。ＣＰＵ６０は、撮像装置１０の全体を制御する。一次記憶部６２は、各種プログラムの実行時のワークエリア等として用いられる揮発性のメモリである。一次記憶部６２の一例としては、ＲＡＭ（Random Access Memory）が挙げられる。二次記憶部６４は、各種プログラム及び各種パラメータ等を予め記憶した不揮発性のメモリである。二次記憶部６４の一例としては、フラッシュメモリが挙げられる。

【0032】

ＣＰＵ６０、一次記憶部６２、及び二次記憶部６４は、バスライン５６に接続されている。また、ミラー駆動部３０、撮像素子ドライバ３２、画像信号処理回路３４、画像メモリ３６、画像処理部３８、表示制御部４０、受付Ｉ／Ｆ４４、メディアＩ／Ｆ４８、外部Ｉ／Ｆ５２、及びジャイロセンサ５８も、バスライン５６に接続されている。

【0033】

第１ミラー２４は、撮像素子２２の受光面２２Ａとレンズユニット１８との間に介在しており、受光面被覆位置αと受光面開放位置βとに移動可能な可動ミラーである。第１ミラー２４は、ミラー駆動部３０に接続されており、ミラー駆動部３０は、ＣＰＵ６０の制御下で、第１ミラー２４を駆動させ、第１ミラー２４を受光面被覆位置αと受光面開放位置βとに選択的に配置する。すなわち、第１ミラー２４は、受光面２２Ａに対して被写体光を受光させない場合にミラー駆動部３０によって受光面被覆位置αに配置され、受光面２２Ａに対して被写体光を受光させる場合にミラー駆動部３０によって受光面開放位置βに配置される。

【0034】

受光面被覆位置αでは、第１ミラー２４が受光面２２Ａを覆い、かつ、レンズユニット１８から導かれた被写体光を反射して第２ミラー２６に導く。第２ミラー２６は、第１ミラー２４から導かれた被写体光を反射することで光学系（図示省略）を介して、ファインダ５４に導く。ファインダ５４は、第２ミラー２６によって導かれた被写体光を透過させる。受光面開放位置βでは、第１ミラー２４によって受光面２２Ａが覆われた状態が解除され、被写体光が第１ミラー２４で反射されることなく、受光面２２Ａによって受光される。

【0035】

撮像素子ドライバ３２は、撮像素子２２に接続されており、ＣＰＵ６０の制御下で、撮像素子２２に駆動パルスを供給する。撮像素子２２の各画素は、撮像素子ドライバ３２によって供給された駆動パルスに従って駆動する。なお、本実施形態では、撮像素子２２として、ＣＣＤ（Charge Coupled Device）イメージセンサを用いているが、本開示の技術はこれに限定されるものではなく、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の他のイメージセンサを用いてもよい。

【0036】

画像信号処理回路３４は、ＣＰＵ６０の制御下で、撮像素子２２から１フレーム分の画像信号を画素毎に読み出す。画像信号処理回路３４は、読み出した画像信号に対して、相関二重サンプリング処理、自動利得調整、及びＡ／Ｄ変換等の各種処理を行う。画像信号処理回路３４は、画像信号に対して各種処理を行うことでデジタル化した画像信号を、ＣＰＵ６０から供給されるクロック信号で規定される所定のフレームレート（例えば、数十フレーム／秒）で１フレーム毎に画像メモリ３６に出力する。画像メモリ３６は、画像信号処理回路３４から入力された画像信号を一時的に保持する。

【0037】

画像処理部３８は、画像メモリ３６から所定のフレームレートで１フレーム毎に画像信号を取得し、取得した画像信号に対して、ガンマ補正と、輝度及び色差変換と、圧縮処理等の各種処理を行う。また、画像処理部３８は、各種処理を行って得た画像信号を所定のフレームレートで１フレーム毎に表示制御部４０に出力する。更に、画像処理部３８は、各種処理を行って得た画像信号を、ＣＰＵ６０の要求に応じて、ＣＰＵ６０に出力する。

【0038】

表示制御部４０は、ディスプレイ４２に接続されており、ＣＰＵ６０の制御下で、ディスプレイ４２を制御する。また、表示制御部４０は、画像処理部３８から入力された画像信号を１フレーム毎に所定のフレームレートでディスプレイ４２に出力する。ディスプレイ４２は、表示制御部４０から所定のフレームレートで入力された画像信号により示される画像をライブビュー画像として表示する。また、ディスプレイ４２は、単一フレームで撮像されて得られた単一フレーム画像である静止画像も表示する。なお、ディスプレイ４２には、ライブビュー画像の他に、メニュー画面等も表示される。

【0039】

受付デバイス４６は、不図示のダイヤル、レリーズボタン、十字キー、ＭＥＮＵキー、及びタッチパネル等を有しており、ユーザからの各種指示を受け付ける。受付デバイス４６は、受付Ｉ／Ｆ４４に接続されており、受け付けた指示の内容を示す指示内容信号を受付Ｉ／Ｆ４４に出力する。受付Ｉ／Ｆ４４は、受付デバイス４６から入力された指示内容信号をＣＰＵ６０に出力する。ＣＰＵ６０は、受付Ｉ／Ｆ４４から入力された指示内容信号に応じた処理を実行する。

【0040】

メディアＩ／Ｆ４８は、メモリカード５０に接続されており、ＣＰＵ６０の制御下で、メモリカード５０に対する画像ファイルの記録及び読み出しを行う。メディアＩ／Ｆ４８によってメモリカード５０から読み出された画像ファイルは、ＣＰＵ６０の制御下で、画像処理部３８によって伸長処理が施されてディスプレイ４２に再生画像として表示される。

【0041】

外部Ｉ／Ｆ５２は、マウント１３にマウント１５が接続されることで、撮像レンズ１４の制御装置２０と接続され、ＣＰＵ６０と制御装置２０との間の各種情報の送受信を司る。

【0042】

ジャイロセンサ５８は、撮像装置１０の振動を検出するためのセンサの一例であり、撮像装置１０の振動に応じた信号を出力する。ＣＰＵ６０は、ジャイロセンサ５８からの出力信号を積分することによって、撮像装置１０の振れ角を導出する。

【0043】

一例として図２に示すように、本実施形態に係るレンズユニット１８は、入射レンズ７０、ズームレンズ７２、及びフォーカスレンズ７４を含む。入射レンズ７０、ズームレンズ７２、及びフォーカスレンズ７４は、光軸Ｌ１に沿って設けられており、絞り１９側から光軸Ｌ１に沿ってフォーカスレンズ７４、ズームレンズ７２、及び入射レンズ７０の順に配置されている。

【0044】

被写体光は、入射レンズ７０に入射される。入射レンズ７０は、被写体光を透過させ、ズームレンズ７２に導く。本実施形態に係るズームレンズ７２は、光軸Ｌ１に沿って移動可能な複数のレンズを含み、ズームレンズ７２の状態を調節することによって撮像レンズ１４の焦点距離（以下、単に「焦点距離」という）を調節する。具体的には、ズームレンズ７２は、撮像レンズ１４に設けられたズームリング（図示省略）が回転されることにより各レンズが光軸Ｌ１に沿って近づいたり、遠ざかったりすることによってレンズ間の光軸Ｌ１に沿った位置関係が調節され、焦点距離が調節される。ズームレンズ７２は、入射レンズ７０から入射された被写体光を透過させ、フォーカスレンズ７４に導く。

【0045】

フォーカスレンズ７４は、光軸Ｌ１に沿って移動可能なレンズであり、光軸Ｌ１に沿って移動することで撮像素子２２の受光面２２Ａに形成される被写体像のピントを変化させる。なお、以下では、単にフォーカスレンズ７４の位置と記載した場合は、光軸Ｌ１に沿ったフォーカスレンズ７４の位置を表すものとする。フォーカスレンズ７４は、ズームレンズ７２から入射された被写体光を透過させ、絞り１９に導く。絞り１９は、フォーカスレンズ７４から入射された被写体光の光量を調整し、かつ被写体光を透過させて撮像装置本体１２に導く。

【0046】

撮像レンズ１４の制御装置２０は、レンズ側主制御部７６、焦点距離センサ７８、フォーカスレンズ駆動部８０、レンズ位置センサ８２、絞り駆動部８４、及び外部Ｉ／Ｆ８６を含む。

【0047】

レンズ側主制御部７６は、ＣＰＵ８８、一次記憶部９０、及び二次記憶部９２を備えている。ＣＰＵ８８は、撮像レンズ１４の全体を制御する。一次記憶部９０は、各種プログラムの実行時のワークエリア等として用いられる揮発性のメモリである。一次記憶部９０の一例としては、ＲＡＭが挙げられる。二次記憶部９２は、各種プログラム及び各種パラメータ等を予め記憶した不揮発性のメモリである。二次記憶部９２の一例としては、フラッシュメモリが挙げられる。

【0048】

ＣＰＵ８８、一次記憶部９０、及び二次記憶部９２は、バスライン９４に接続されている。また、焦点距離センサ７８、フォーカスレンズ駆動部８０、レンズ位置センサ８２、絞り駆動部８４、及び外部Ｉ／Ｆ８６も、バスライン９４に接続されている。

【0049】

外部Ｉ／Ｆ８６は、マウント１５にマウント１３が接続されることで、撮像装置本体１２の外部Ｉ／Ｆ５２と接続され、外部Ｉ／Ｆ５２と協働して、ＣＰＵ８８と撮像装置本体１２のＣＰＵ６０との間の各種情報の送受信を司る。

【0050】

焦点距離センサ７８は、ズームリングの回転状態から、ズームレンズ７２の状態を検出し、検出したズームレンズ７２の状態を焦点距離に換算する。そして、焦点距離センサ７８は、換算して得られた焦点距離を示す焦点距離情報をＣＰＵ８８に出力する。

【0051】

フォーカスレンズ駆動部８０は、フォーカスレンズ駆動用モータ（図示省略）を含む。フォーカスレンズ駆動部８０は、受付デバイス４６によって受け付けられた指示に応じて、ＣＰＵ８８の制御下で、フォーカスレンズ駆動用モータを作動させることで、フォーカスレンズ７４を光軸Ｌ１に沿って移動させる。すなわち、フォーカスレンズ駆動部８０は、ＣＰＵ８８からの指示に従って、フォーカスレンズ駆動用モータを作動させ、フォーカスレンズ駆動用モータの動力をフォーカスレンズ７４に伝達することにより、フォーカスレンズ７４を光軸Ｌ１に沿って移動させる。レンズ位置センサ８２は、例えば、エンコーダを含み、フォーカスレンズ７４の位置を検出し、検出した位置を示すレンズ位置情報をＣＰＵ８８に出力する。

【0052】

絞り駆動部８４は、絞り駆動用モータ（図示省略）を含む。絞り駆動部８４は、受付デバイス４６によって受け付けられた指示に応じて、ＣＰＵ８８の制御下で、絞り駆動用モータを作動させることで、絞り１９の開口の大きさを調節する。

【0053】

また、本実施形態に係る撮像装置１０は、所謂コントラストＡＦ方式でオートフォーカスを行う。具体的には、本実施形態に係る撮像装置１０は、一例として図３に示すように、フォーカスレンズ７４を光軸Ｌ１に沿って後側（受光面側）から前側（被写体側）に移動させながら、撮影画角内のエリアにおけるオートフォーカスの評価値（以下、「ＡＦ評価値」という）を導出する。なお、以下では、一例として図４に示すように、このＡＦ評価値の導出に用いる撮影画角内のエリアを「オートフォーカスエリア（ＡＦエリア）」という。ＡＦエリアの撮影画角内における位置は、例えば、ユーザによりディスプレイ４２に表示されたライブビュー画像（所謂スルー画像）に対して指定されたり、撮影画角内の被写体を追尾したりすることによって決定される。また、本実施形態では、ＡＦエリアのサイズ（縦横の長さ）は、デフォルト値が設定されている。

【0054】

そして、撮像装置１０は、導出したＡＦ評価値がピーク値となる位置にフォーカスレンズ７４を移動させることによって、合焦制御を行う。なお、本実施形態では、ＡＦ評価値として、ＡＦエリアのコントラスト値を適用している。また、以下では、フォーカスレンズ７４の位置を変更しながらＡＦ評価値を導出する際の連続する位置間の距離（図３に示すＤ１）を「距離Ｄ１」という。なお、この距離Ｄ１は、各連続する位置間で同じ距離でもよいし、異なる距離であってもよい。

【0055】

一例として図５に示すように、レンズ側主制御部７６の二次記憶部９２は、基準トラッキングデータ９６を記憶している。基準トラッキングデータ９６は、撮像レンズ１４に対応する基準のトラッキングデータである。

【0056】

一例として図６に示すように、基準トラッキングデータ９６は、所定の撮影距離における焦点距離とフォーカスレンズ７４の位置との対応関係を示すデータを含む。なお、ここでいう撮影距離とは、受光面２２Ａから被写体までの距離を表す。

【0057】

一方、一例として図７に示すように、本体側主制御部２８の二次記憶部６４は、撮像プログラム９８を記憶している。ＣＰＵ６０は、二次記憶部６４から撮像プログラム９８を読み出して一次記憶部６２に展開し、展開した撮像プログラム９８に従って後述するトラッキングデータ生成処理（図８参照）、及びズームトラッキング制御処理（図１５参照）を実行する。換言すると、ＣＰＵ６０は、撮像プログラム９８を実行することで静止判定部、合焦判定部、記憶制御部、生成部、及びズームトラッキング制御部として動作する。

【0058】

次に、図８〜図１５を参照して、本実施形態に係る撮像装置１０の作用を説明する。なお、図８に示すトラッキングデータ生成処理は、例えば、撮像装置１０の電源スイッチがオン状態とされた場合に実行される。

【0059】

図８のステップＳ１０で、ＣＰＵ６０は、被写体に合焦した合焦状態（以下、単に「合焦状態」という）であるか否かを判定する。例えば、ユーザが、撮像装置１０を用いた撮影を行うにあたり、撮像装置本体１２に設けられたレリーズボタンを半押し状態にした場合、ＡＦ機能が働いて合焦状態となる。このように、合焦状態となると、ステップＳ１０の判定が肯定判定となり、処理はステップＳ１２に移行する。ステップＳ１０の判定が否定判定となった場合は、ステップＳ１０が再度実行される。

【0060】

ステップＳ１２で、ＣＰＵ６０は、初期処理として、配列の添字に用いる変数ｉに０を格納する。また、ＣＰＵ６０は、初期処理として、フォーカスレンズ７４の位置を記憶するための配列ＴＲＡＣＫ＿Ｆ［］の記憶領域を一次記憶部６２上に確保する。また、ＣＰＵ６０は、初期処理として、焦点距離を記憶するための配列ＴＲＡＣＫ＿Ｚ［］の記憶領域を一次記憶部６２上に確保する。これらの配列の記憶領域が、焦点距離とフォーカスレンズ７４の位置とを記憶する記憶部の一例である。なお、ＣＰＵ６０は、配列ＴＲＡＣＫ＿Ｆ［］及び配列ＴＲＡＣＫ＿Ｚ［］の少なくとも一方の記憶領域を二次記憶部６４上に確保してもよい。また、本明細書では、配列全体を表す場合は、配列ＴＲＡＣＫ＿Ｆ［］（配列ＴＲＡＣＫ＿Ｚ［］）と表記し、配列の個々の要素を表す場合は、ＴＲＡＣＫ＿Ｆ［ｉ］（ＴＲＡＣＫ＿Ｚ［ｉ］）と表記する。

【0061】

ステップＳ１４で、ＣＰＵ６０は、外部Ｉ／Ｆ５２を介して焦点距離を取得する。具体的には、ＣＰＵ６０は、ＣＰＵ８８に対し、焦点距離を取得する指示を出力する。ＣＰＵ８８は、ＣＰＵ６０から焦点距離を取得する指示が入力されると、焦点距離センサ７８により検出された焦点距離を取得する。ＣＰＵ８８は、取得した焦点距離をＣＰＵ６０に出力する。そして、ＣＰＵ６０は、ＣＰＵ８８から入力された焦点距離を取得し、取得した焦点距離をＴＲＡＣＫ＿Ｚ［ｉ］に格納することによって記憶する制御を行う。

【0062】

また、ＣＰＵ６０は、外部Ｉ／Ｆ５２を介してフォーカスレンズ７４の位置を取得する。具体的には、ＣＰＵ６０は、ＣＰＵ８８に対し、フォーカスレンズ７４の位置を取得する指示を出力する。ＣＰＵ８８は、ＣＰＵ６０からフォーカスレンズ７４の位置を取得する指示が入力されると、レンズ位置センサ８２により検出されたフォーカスレンズ７４の位置を取得する。ＣＰＵ８８は、取得したフォーカスレンズ７４の位置をＣＰＵ６０に出力する。そして、ＣＰＵ６０は、ＣＰＵ８８から入力されたフォーカスレンズ７４の位置を取得し、取得したフォーカスレンズ７４の位置をＴＲＡＣＫ＿Ｆ［ｉ］に格納することによって記憶する制御を行う。

【0063】

また、ＣＰＵ６０は、焦点距離をＴＲＡＣＫ＿Ｚ［ｉ］に格納し、かつフォーカスレンズ７４の位置をＴＲＡＣＫ＿Ｆ［ｉ］に格納した後、変数ｉに１を加算する。

【0064】

ステップＳ１６で、ＣＰＵ６０は、撮像素子２２により撮像され、画像信号処理回路３４による各種処理を経た画像を示す画像データを取得する。なお、以下では、本ステップＳ１６で取得された画像データを「初期画像データ」といい、初期画像データが示す画像を「初期画像」という。すなわち、ステップＳ１４の処理により取得された焦点距離が、初期画像を撮像した際の焦点距離の一例である。以下では、ステップＳ１４の処理により取得された焦点距離を「初期の焦点距離」という。

【0065】

ステップＳ１８で、ＣＰＵ６０は、ステップＳ１０と同様に、被写体に合焦した合焦状態であるか否かを判定する。この判定が否定判定となった場合は、ステップＳ１８が再度実行され、肯定判定となった場合は、処理はステップＳ２０に移行する。ステップＳ１０及びステップＳ１８の処理により、ＣＰＵ６０は、合焦判定部として動作する。

【0066】

ステップＳ２０で、ＣＰＵ６０は、撮像装置１０が静止しているか否かを判定することによって撮像装置１０の静止判定を行う。具体的には、ＣＰＵ６０は、ジャイロセンサ５８からの出力信号を積分することによって撮像装置１０の振れ角を導出する。そして、ＣＰＵ６０は、導出した振れ角が、所定期間の間、所定の範囲内であるか否かを判定することによって、撮像装置１０が静止しているか否かを判定する。

【0067】

一例として図９に示すように、撮像装置１０が三脚に固定されて静止している場合、及び撮像装置１０がユーザにより手で持たれて静止している場合よりも、撮像装置１０を手に持っているユーザがパンニング動作を行っている場合の方が、振れ角の変動量が大きくなる。そこで、本実施形態では、撮像装置１０が三脚に固定された静止している場合、及び撮像装置１０がユーザにより手で持たれて静止している場合の振れ角に所定のマージンを加味した２つの閾値ＴＨ１、ＴＨ２（ＴＨ１＜ＴＨ２）を予め定めておく。そして、ＣＰＵ６０は、導出した振れ角が、所定期間の間、閾値ＴＨ１以上閾値ＴＨ２以下の範囲内であるか否かを判定することによって、撮像装置１０が静止しているか否かを判定する。

【0068】

ステップＳ２０の処理が終了すると、ステップＳ２２で図１０に示す被写体静止判定処理が実行される。ステップＳ２０及びステップＳ２２の処理により、ＣＰＵ６０は、静止判定部として動作する。

【0069】

図１０のステップＳ５０で、ＣＰＵ６０は、ステップＳ１４と同様に、外部Ｉ／Ｆ５２を介して焦点距離を取得する。ステップＳ５２で、ＣＰＵ６０は、撮像素子２２により撮像され、画像信号処理回路３４による各種処理を経た画像を示す画像データを取得する。なお、以下では、本ステップＳ５２で取得された画像データを「現在画像データ」といい、現在画像データが示す画像を「現在画像」という。すなわち、ステップＳ５０の処理により取得された焦点距離が、現在画像を撮像した際の焦点距離の一例である。以下では、ステップＳ５０の処理により取得された焦点距離を「現在の焦点距離」という。

【0070】

ステップＳ５４で、ＣＰＵ６０は、ステップＳ５０の処理により取得された現在の焦点距離が、ステップＳ１４の処理により取得された初期の焦点距離よりも望遠側であるか否かを判定する。この判定が否定判定となった場合は、処理はステップＳ５８に移行し、肯定判定となった場合は、処理はステップＳ５６に移行する。

【0071】

ステップＳ５６で、ＣＰＵ６０は、一例として図１１に示すように、初期画像に対し、現在画像に対応する領域をトリミングする画像処理を行う。更に、ＣＰＵ６０は、初期画像に対してトリミングを行って得られた画像の画素数が現在画像の画素数に一致するように、初期画像に対してトリミングを行って得られた画像をリサイズ（拡大）する画像処理を行う。なお、ＣＰＵ６０は、現在画像の画像数が初期画像に対してトリミングを行って得られた画像の画素数に一致するように、現在画像をリサイズ（縮小）する画像処理を行ってもよい。

【0072】

一方、ステップＳ５８で、ＣＰＵ６０は、ステップＳ５０の処理により取得された現在の焦点距離が、ステップＳ１４の処理により取得された初期の焦点距離よりも広角側であるか否かを判定する。この判定が否定判定となった場合は、処理はステップＳ６２に移行し、肯定判定となった場合は、処理はステップＳ６０に移行する。

【0073】

ステップＳ６０で、ＣＰＵ６０は、一例として図１２に示すように、現在画像に対し、初期画像に対応する領域をトリミングする画像処理を行う。更に、ＣＰＵ６０は、現在画像に対してトリミングを行って得られた画像の画素数が初期画像の画素数に一致するように、現在画像に対してトリミングを行って得られた画像をリサイズ（拡大）する画像処理を行う。なお、ＣＰＵ６０は、初期画像の画像数が現在画像に対してトリミングを行って得られた画像の画素数に一致するように、初期画像をリサイズ（縮小）する画像処理を行ってもよい。

【0074】

ステップＳ６２で、ＣＰＵ６０は、以上の処理を経た初期画像と現在画像との類似度を導出する。この類似度を導出する手法としては、例えば、画素値の平均値を用いる手法、画素値のヒストグラムを用いる手法、及びディープラーニング技術を用いる手法等が挙げられる。

【0075】

なお、ステップＳ５４の判定が肯定判定となった場合は、本ステップＳ６２における初期画像は、ステップＳ５６の処理により初期画像に対してトリミング及びリサイズを行って得られた画像である。また、この場合、本ステップＳ６２における現在画像は、ステップＳ５２の処理により取得された現在画像データが示す現在画像である。

【0076】

一方、ステップＳ５４の判定が否定判定となり、ステップＳ５８の判定が肯定判定となった場合は、本ステップＳ６２における初期画像は、ステップＳ１６の処理により取得された初期画像データが示す初期画像である。また、この場合、本ステップＳ６２における現在画像は、ステップＳ６０の処理により現在画像に対してトリミング及びリサイズを行って得られた画像である。

【0077】

また、ステップＳ５４及びステップＳ５８の双方が否定判定となった場合は、本ステップＳ６２における初期画像は、ステップＳ１６の処理により取得された初期画像データが示す初期画像である。また、この場合、本ステップＳ６２における現在画像は、ステップＳ５２の処理により取得された現在画像データが示す現在画像である。

【0078】

ステップＳ６４で、ＣＰＵ６０は、ステップＳ６２の処理により導出された類似度が所定値以上であるか否かを判定する。この判定が否定判定となった場合は、処理はステップＳ６８に移行し、肯定判定となった場合は、処理はステップＳ６６に移行する。

【0079】

ステップＳ６６で、ＣＰＵ６０は、被写体が静止していると判定する。一方、ステップＳ６８で、ＣＰＵ６０は、被写体が静止していない、すなわち、動いていると判定する。ステップＳ６６又はステップＳ６８の処理が終了すると、被写体静止判定処理が終了する。被写体静止判定処理が終了すると、処理はトラッキングデータ生成処理のステップＳ２４に移行する。このように、本実施形態では、焦点距離に応じて、初期画像又は現在画像に対してトリミング及びリサイズを行って得られた画像を用いて、被写体が静止しているか否かを判定しているため、被写体が静止しているか否かを精度良く判定することができる。

【0080】

ステップＳ２４で、ＣＰＵ６０は、ステップＳ２０の処理により撮像装置１０が静止していると判定され、かつステップＳ２２の処理により被写体が静止していると判定されたか否かを判定する。この判定が否定判定となった場合、すなわち、撮像装置１０及び被写体の少なくとも一方が動いていると判定された場合は、処理はステップＳ３０に移行し、肯定判定となった場合は、処理はステップＳ２６に移行する。

【0081】

ステップＳ２６で、ＣＰＵ６０は、ステップＳ１４と同様に、外部Ｉ／Ｆ５２を介して焦点距離を取得する。そして、ＣＰＵ６０は、取得した焦点距離をＴＲＡＣＫ＿Ｚ［ｉ］に格納することによって記憶する制御を行う。また、ＣＰＵ６０は、ステップＳ１４と同様に、外部Ｉ／Ｆ５２を介してフォーカスレンズ７４の位置を取得する。そして、ＣＰＵ６０は、取得したフォーカスレンズ７４の位置をＴＲＡＣＫ＿Ｆ［ｉ］に格納することによって記憶する制御を行う。ステップＳ２６の処理により、ＣＰＵ６０は、記憶制御部として動作する。ステップＳ２８で、ＣＰＵ６０は、変数ｉに１を加算する。ステップＳ２８の処理が終了すると、処理はステップＳ１８に戻る。

【0082】

すなわち、ユーザが、撮像装置１０を用いて被写体を撮影する際に、撮像装置本体１２に設けられたレリーズボタンを半押し状態にするたびに、ＡＦ機能が働くことによる合焦状態での焦点距離及びフォーカスレンズ７４の位置が取得される。そして、取得された焦点距離及びフォーカスレンズ７４の位置がＴＲＡＣＫ＿Ｚ［ｉ］及びＴＲＡＣＫ＿Ｆ［ｉ］に格納される。

【0083】

一方、ステップＳ３０で、ＣＰＵ６０は、記憶した焦点距離及びフォーカスレンズ７４の位置の組み合わせの数をカウントするための変数ＴＲＡＣＫ＿ＣＯＵＮＴに、変数ｉの値を格納する。ステップＳ３２で、ＣＰＵ６０は、変数ＴＲＡＣＫ＿ＣＯＵＮＴの値が所定値以上であるか否かを判定する。この判定が否定判定となった場合は、処理はステップＳ４６に移行し、肯定判定となった場合は、処理はステップＳ３４に移行する。

【0084】

ステップＳ３４で、ＣＰＵ６０は、配列ＴＲＡＣＫ＿Ｚ［］及び配列ＴＲＡＣＫ＿Ｆ［］に格納された複数の焦点距離及びフォーカスレンズ７４の位置を用いて、焦点距離の変化に応じてフォーカスレンズ７４の位置を変化させるためのトラッキングデータを生成する。具体的には、一例として図１３に示すように、配列ＴＲＡＣＫ＿Ｚ［］に基準となる焦点距離と同じ焦点距離が格納されている場合、ＣＰＵ６０は、その焦点距離と、その焦点距離に対応するフォーカスレンズ７４の位置とをトラッキングデータに含める。図１３の例では、これらの焦点距離及びフォーカスレンズ７４の位置が、破線上に位置する黒丸で示されている。

【0085】

一方、配列ＴＲＡＣＫ＿Ｚ［］に格納されていない基準となる焦点距離については、ＣＰＵ６０は、その焦点距離の所定の範囲内の複数の焦点距離と、その焦点距離に対応する複数のフォーカスレンズ７４の位置とを用いて補間する。この補間により、ＣＰＵ６０は、基準となる焦点距離に対応するフォーカスレンズ７４の位置を導出し、基準となる焦点距離と、導出したフォーカスレンズ７４の位置とをトラッキングデータに含める。図１３の例では、これらの焦点距離及びフォーカスレンズ７４の位置が、破線上に位置する白丸で示されている。なお、配列ＴＲＡＣＫ＿Ｚ［］に同じ焦点距離が複数格納されている場合は、それぞれの焦点距離に対応するフォーカスレンズ７４の位置の平均値を、その焦点距離に対応するフォーカスレンズ７４の位置としてもよい。ステップＳ３４の処理により、ＣＰＵ６０は、生成部として動作する。

【0086】

ステップＳ３６で、ＣＰＵ６０は、二次記憶部９２から基準トラッキングデータ９６を取得する。具体的には、ＣＰＵ６０は、ＣＰＵ８８に対し、基準トラッキングデータ９６を取得する指示を出力する。ＣＰＵ８８は、ＣＰＵ６０から基準トラッキングデータ９６を取得する指示が入力されると、二次記憶部９２から基準トラッキングデータ９６を読み出す。ＣＰＵ８８は、読み出した基準トラッキングデータ９６をＣＰＵ６０に出力する。そして、ＣＰＵ６０は、ＣＰＵ８８から入力された基準トラッキングデータ９６を取得する。

【0087】

ステップＳ３８で、ＣＰＵ６０は、一例として図１４に示すように、ステップＳ３６の処理により取得された基準トラッキングデータ９６を、ステップＳ３４の処理により生成されたトラッキングデータに近似したデータ（以下、「近似トラッキングデータ」という）を導出する。なお、図１４の例では、近似トラッキングデータを一点鎖線で示し、ステップＳ３４の処理により生成されたトラッキングデータを白丸で示している。また、図１４の例では、基準トラッキングデータ９６を実線で示している。ここで、近似トラッキングデータを導出する処理の具体的な一例を説明する。

【0088】

ここでは、基準トラッキングデータ９６をＦ_ｏｒｇ（ｚ）と表し、ステップＳ３４の処理により生成されたトラッキングデータをＦ_ａｃｔ（ｚ）と表し、近似トラッキングデータをＦ_ｃｏｒ（ｚ）と表す。なお、ｚは、基準となる焦点距離各々に対応する０以上ｚｐ_ｍａｘ以下の整数である。また、ｚ＝０は、ＷＩＤＥ端を表し、ｚｐ_ｍａｘは、ＴＥＬＥ端を表す。本実施形態では、ＣＰＵ６０は、Ｆ_ｏｒｇ（ｚ）をＦ_ａｃｔ（ｚ）の近傍に１次関数（例えば、アフィン写像）により変換することによって近似トラッキングデータを生成する。すなわち、近似トラッキングデータは、以下の（１）式で表すことができる。
Ｆ_ｃｏｒ（ｚ）＝Ａ×Ｆ_ｏｒｇ（ｚ）＋Ｂ（Ａ、Ｂは実数）・・・（１）

【0089】

より具体的には、ＣＰＵ６０は、以下の（２）式により表される０からｚｐ_ｍａｘまでの各ｚについてのＦ_ａｃｔ（ｚ）とＦ_ｏｒｇ（ｚ）との差の二乗の総和が最小となるように（１）式におけるＡとＢとを導出する。そして、ＣＰＵ６０は、導出したＡとＢとを用いて、（１）式に従って、近似トラッキングデータを導出する。

【0090】

【数1】

【0091】

ステップＳ４０で、ＣＰＵ６０は、ステップＳ３４の処理により生成されたトラッキングデータと、ステップＳ３８の処理により導出された近似トラッキングデータとの誤差を導出する。本実施形態では、ＣＰＵ６０は、上記誤差の一例として、以下の（３）式に従って、決定係数Ｒ２を導出する。この決定係数Ｒ２は、上記誤差が小さくなるほど１に近付く値である。なお、（３）式におけるＦａｃｔ_ＡＶＧは、ステップＳ３４の処理により生成されたトラッキングデータに含まれるフォーカスレンズ７４の位置の平均値である。

【0092】

【数2】

【0093】

ステップＳ４２で、ＣＰＵ６０は、ステップＳ４０の処理により導出された誤差が所定の範囲内（例えば、０．９以上１．０以下の範囲内）であるか否かを判定する。この判定が否定判定となった場合は、処理はステップＳ４６に移行し、肯定判定となった場合は、処理はステップＳ４４に移行する。

【0094】

ステップＳ４４で、ＣＰＵ６０は、ステップＳ３４の処理により生成されたトラッキングデータを、二次記憶部６４に記憶する。なお、ＣＰＵ６０は、ステップＳ３４の処理により生成されたトラッキングデータを、二次記憶部９２に記憶してもよいし、二次記憶部６４及び二次記憶部９２の双方に記憶してもよい。ステップＳ４４の処理が終了すると、処理はステップＳ１０に戻る。一方、ステップＳ４６で、ＣＰＵ６０は、トラッキングデータを破棄する。例えば、ＣＰＵ６０は、一次記憶部６２上に確保された配列ＴＲＡＣＫ＿Ｆ［］の記憶領域及び配列ＴＲＡＣＫ＿Ｚ［］の記憶領域を解放することによってトラッキングデータを破棄する。ステップＳ４６の処理が終了すると、処理はステップＳ１０に戻る。

【0095】

図８を参照して説明したように、開示の技術における最初に合焦状態であると判定された際というのは、撮像装置１０の電源スイッチがオン状態とされてから最初にステップＳ１０の処理により合焦状態であると判定された際を意味する。更に、開示の技術における最初に合焦状態であると判定された際というのは、ステップＳ２４の処理により撮像装置１０及び被写体が静止していないと判定された後に、最初にステップＳ１０の処理により合焦状態であると判定された際も意味する。

【0096】

また、開示の技術における次回以降に合焦状態であると判定された際というのは、ステップＳ１０の処理により最初に合焦状態であると判定された後に、ステップＳ２４の処理により撮像装置１０及び被写体が静止していないと判定されるまでの間に、ステップＳ１８の処理により合焦状態であると判定された際を意味する。

【0097】

次に、図１５を参照して、上記トラッキングデータ生成処理のステップＳ４４の処理により二次記憶部６４に記憶されたトラッキングデータを用いたズームトラッキング制御処理について説明する。なお、図１５に示すズームトラッキング制御処理は、例えば、撮像装置１０の電源スイッチがオン状態とされた場合に実行される。

【0098】

図１５のステップＳ７０で、ＣＰＵ６０は、上記トラッキングデータ生成処理のステップＳ１４と同様に、外部Ｉ／Ｆ５２を介して焦点距離を取得する。ステップＳ７２で、ＣＰＵ６０は、今回（直前）のステップＳ７０の処理により取得された焦点距離が前回のステップＳ７０の処理により取得された焦点距離から変化しているか否かを判定する。この判定が否定判定となった場合は、処理はステップＳ７０に戻り、肯定判定となった場合は、処理はステップＳ７４に移行する。なお、ステップＳ７２で、ＣＰＵ６０は、今回のステップＳ７０の処理により取得された焦点距離が前回のステップＳ７０の処理により取得された焦点距離から変化している場合でも、その変化量が許容誤差の範囲内の場合は、焦点距離が変化していないと判定してもよい。

【0099】

ステップＳ７４で、ＣＰＵ６０は、二次記憶部６４に記憶されたトラッキングデータを取得する。ステップＳ７６で、ＣＰＵ６０は、ステップＳ７４の処理により取得されたトラッキングデータを用いて、直前のステップＳ７０の処理により取得された焦点距離に対応するフォーカスレンズ７４の位置を導出する。

【0100】

ステップＳ７８で、ＣＰＵ６０は、ステップＳ７６の処理により導出された位置にフォーカスレンズ７４を移動させる指示をＣＰＵ８８に出力する。ＣＰＵ８８は、ＣＰＵ６０からフォーカスレンズ７４を移動させる指示が入力されると、フォーカスレンズ駆動部８０を制御し、ＣＰＵ６０から入力された位置にフォーカスレンズ７４を移動させる。ステップＳ７８の処理が終了すると、処理はステップＳ７０に戻る。ステップＳ７６及びステップＳ７８の処理により、ＣＰＵ６０は、ズームトラッキング制御部として動作する。

【0101】

以上説明したように、本実施形態によれば、撮像装置１０及び被写体が静止していると判定した場合に記憶された複数の焦点距離とフォーカスレンズ７４の位置とを用いてトラッキングデータを生成している。従って、トラッキングデータを精度良く生成することができる。

【0102】

［第２実施形態］
開示の技術の第２実施形態を説明する。なお、本実施形態に係る撮像装置１０の構成は、第１実施形態と同様（図１及び図２参照）であるため、説明を省略する。また、本実施形態に係るトラッキングデータ生成処理（図８参照）、被写体静止判定処理（図１０参照）、及びズームトラッキング制御処理（図１５参照）も第１実施形態と同様であるため、説明を省略する。

【0103】

ところで、焦点距離が変化すると、ＡＦエリア内に位置する被写体がＡＦエリア外に外れてしまう場合、及びＡＦエリア外に位置する被写体がＡＦエリア内に入ってくる場合がある。これらの場合、ＡＦ機能による合焦の精度が低下することにより、ＡＦ機能により被写体に合焦した状態で撮像して得られた現在画像及び初期画像を用いた被写体の静止判定処理の精度が低下してしまう場合がある。そこで、本実施形態では、焦点距離に応じてＡＦエリアのサイズを変化させる。

【0104】

本実施形態に係るＣＰＵ６０は、二次記憶部６４から撮像プログラム９８を読み出して一次記憶部６２に展開し、展開した撮像プログラム９８に従ってエリア変更処理（図１６参照）を更に実行する。換言すると、ＣＰＵ６０は、撮像プログラム９８を実行することで更に変更部として動作する。

【0105】

次に、図１６を参照して、本実施形態に係る撮像装置１０の作用を説明する。なお、図１６に示すエリア変更処理は、例えば、撮像装置１０の電源スイッチがオン状態とされた場合に実行される。

【0106】

図１６のステップＳ８０で、ＣＰＵ６０は、上記トラッキングデータ生成処理のステップＳ１８からステップＳ２８までの何れかの処理が実行中であるか否かを判定する。この判定が肯定判定となった場合は、処理はステップＳ８２に移行し、否定判定となった場合は、ステップＳ８０が再度実行される。ステップＳ８２で、ＣＰＵ６０は、上記トラッキングデータ生成処理のステップＳ１４と同様に、外部Ｉ／Ｆ５２を介して焦点距離を取得する。以下では、ステップＳ８２の処理により取得された焦点距離を「現在の焦点距離」という。

【0107】

ステップＳ８４で、ＣＰＵ６０は、上記トラッキングデータ生成処理のステップＳ１４の処理により取得された初期の焦点距離が、ステップＳ８２の処理により取得された現在の焦点距離よりも広角側であるか否かを判定する。この判定が否定判定となった場合は、処理はステップＳ８８に移行し、肯定判定となった場合は、処理はステップＳ８６に移行する。

【0108】

ステップＳ８６で、ＣＰＵ６０は、初期の焦点距離に対する現在の焦点距離の変化量に応じて、ＡＦエリアを拡大する。ステップＳ８６の処理が終了すると、処理はステップＳ８０に戻る。

【0109】

一方、ステップＳ８８で、ＣＰＵ６０は、上記トラッキングデータ生成処理のステップＳ１４の処理により取得された初期の焦点距離が、ステップＳ８２の処理により取得された現在の焦点距離よりも望遠側であるか否かを判定する。この判定が否定判定となった場合は、処理はステップＳ８０に戻り、肯定判定となった場合は、処理はステップＳ９０に移行する。

【0110】

ステップＳ９０で、ＣＰＵ６０は、初期の焦点距離に対する現在の焦点距離の変化量に応じて、ＡＦエリアを縮小する。ステップＳ９０の処理が終了すると、処理はステップＳ８０に戻る。ステップＳ８６及びステップＳ９０の処理により、ＣＰＵ６０は、変更部として動作する。

【0111】

以上説明したように、本実施形態によれば、焦点距離に応じてＡＦエリアのサイズを変更しているため、同一の被写体がＡＦエリア内に位置する可能性が高くなる。この結果、ＡＦ機能による合焦の精度の低下が抑制されるため、ＡＦ機能により被写体に合焦した状態で撮像して得られた現在画像及び初期画像を用いた被写体の静止判定処理の精度の低下を抑制することができる。更に、被写体の静止判定処理の精度の低下が抑制されるため、被写体が静止していると判定された場合に得られた焦点距離及びフォーカスレンズ７４の位置を用いて生成されるトラッキングデータの精度の低下も抑制することができる。

【0112】

なお、上記各実施形態では、撮像装置１０及び被写体の双方が静止していると判定した場合に、焦点距離及びフォーカスレンズ７４の位置を記憶する場合について説明したが、これに限定されない。例えば、撮像装置１０及び被写体の何れか一方が静止していると判定した場合に、焦点距離及びフォーカスレンズ７４の位置を記憶する形態としてもよい。

【0113】

また、上記各実施形態では、撮像装置１０の振れ角が、所定期間の間、所定の範囲内であるか否かを判定することによって、撮像装置１０が静止しているか否かを判定する場合について説明したが、これに限定されない。例えば、最初に合焦状態であると判定された際のジャイロセンサ５８からの出力と、次回以降に合焦状態であると判定された際のジャイロセンサ５８からの出力とを用いて、撮像装置１０が静止しているか否かを判定する形態としてもよい。

【0114】

この場合、上記トラッキングデータ生成処理のステップＳ１４又はステップＳ１６で、ＣＰＵ６０は、ジャイロセンサ５８からの出力信号を積分することによって撮像装置１０の初期の振れ角を導出する。更に、上記トラッキングデータ生成処理のステップＳ２０で、ＣＰＵ６０は、ジャイロセンサ５８からの出力信号を積分することによって撮像装置１０の現在の振れ角を導出する。そして、ＣＰＵ６０は、導出した初期の振れ角と、現在の振れ角との差が所定の範囲内であるか否かを判定することによって、撮像装置１０が静止しているか否かを判定する形態が例示される。

【0115】

また、上記各実施形態では、撮像装置１０の振動を検出するためのセンサとして、ジャイロセンサを適用した場合について説明したが、これに限定されない。例えば、撮像装置１０の振動を検出するためのセンサとして、加速度センサを適用する形態としてもよい。

【0116】

また、上記各実施形態において、撮像装置１０が静止している状態で、予めジャイロセンサ５８の出力信号を表す情報を二次記憶部６４に記憶する形態としてよい。この場合、上記トラッキングデータ生成処理のステップＳ２０で、ＣＰＵ６０は、ジャイロセンサ５８からの出力信号から、二次記憶部６４に記憶された情報が示すジャイロセンサ５８の出力信号を減算する。そして、ＣＰＵ６０は、減算して得られた信号を積分することによって撮像装置１０の振れ角を導出する形態が例示される。なお、この形態例において、撮像装置１０が静止し、かつズームレンズ７２の状態が変化している（すなわち、焦点距離が変化している）状態で、予めジャイロセンサ５８の出力信号を表す情報を二次記憶部６４に記憶する形態としてよい。

【0117】

また、上記各実施形態でＣＰＵがソフトウェア（プログラム）を実行することにより実行した各種処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Field-Programmable Gate Array）等の製造後に回路構成を変更可能なＰＬＤ（Programmable Logic Device）、及びＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、上記各種処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

【0118】

また、上記各実施形態では、撮像プログラム９８が二次記憶部６４に予め記憶（インストール）されている態様を説明したが、これに限定されない。撮像プログラム９８は、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、撮像プログラム９８は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0119】

２０１８年３月２３日に出願された日本国特許出願２０１８−０５７２２１号の開示は、その全体が参照により本明細書に取り込まれる。また、本明細書に記載された全ての文献、特許出願、および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】