特許 5929774 画像取得方法、装置、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5929774

(24)【登録日】2016年5月13日

(45)【発行日】2016年6月8日

(54)【発明の名称】画像取得方法、装置、およびプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20160526BHJP

   H04N 5/238 20060101ALI20160526BHJP

   G03B 15/00 20060101ALI20160526BHJP

   G03B 7/28 20060101ALI20160526BHJP

   G03B 7/093 20060101ALI20160526BHJP

【ＦＩ】

   H04N5/232 C

   H04N5/232 A

   H04N5/232 Z

   H04N5/238 Z

   G03B15/00 Q

   G03B7/28

   G03B7/093

【請求項の数】7

【全頁数】22

(21)【出願番号】特願2013-23217(P2013-23217)

(22)【出願日】2013年2月8日

(65)【公開番号】特開2014-155040(P2014-155040A)

(43)【公開日】2014年8月25日

【審査請求日】2014年9月29日

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100074099

【弁理士】

【氏名又は名称】大菅 義之

(72)【発明者】

【氏名】中込 浩一

(72)【発明者】

【氏名】二瓶 道大

(72)【発明者】

【氏名】松永 和久

(72)【発明者】

【氏名】広浜 雅行

【審査官】 吉川 康男

(56)【参考文献】

【文献】 特開２０１３−００９２０４（ＪＰ，Ａ）

【文献】 特開２０１０−２０４５８５（ＪＰ，Ａ）

【文献】 特開平０８−３２７９１７（ＪＰ，Ａ）

【文献】 特開２００９−２３１９６７（ＪＰ，Ａ）

【文献】 特開２０１２−０５４８１０（ＪＰ，Ａ）

【文献】 特開２０１１−２４８１６０（ＪＰ，Ａ）

【文献】 特開２００１−１３３６７８（ＪＰ，Ａ）

【文献】 特開２００７−２３５９６９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０３Ｂ ７／０９３

Ｇ０３Ｂ ７／２８

Ｇ０３Ｂ １５／００

Ｈ０４Ｎ ５／２３８

(57)【特許請求の範囲】

【請求項1】

指示された測光開始タイミング以降、画像を順次撮像し、
前記順次取得した画像から周期性のある動作を行う被写体の中で、前記周期性のある動きの振幅が最大となる被写体を制御対象領域として抽出し、
前記画像を順次取得する毎に、前記制御対象領域に対して追従動作を行って追従座標を順次算出し、
指示された画像取得タイミングまたはそれ以降、前記算出された追従座標に対して焦点を決定し、
該決定した焦点で前記画像を取得する、
ことを特徴とする画像撮像方法。

【請求項2】

前記制御対象領域の前記周期性のある動作の度合いに基づいてシャッタ時間をさらに決定し、
前記画像を取得するときに、該取得を前記決定したシャッタ時間でさらに行う、
ことを特徴とする請求項１に記載の画像撮像方法。

【請求項3】

前記制御対象領域を抽出する手順において、
前記画像上で追従目標領域を複数領域設定し、
前記画像を取得する毎に前記追従目標領域毎に追従動作を行って動き情報を検出し、
前記複数の追従目標領域のうち前記動き情報が検出できた追従目標領域毎に、動き平均座標、動き周波数、および動き振幅を検出し、
前記追従目標領域毎に検出した周期性のある動作を行う被写体の中で、前記周期性のある動きの振幅が最大となる被写体を前記制御対象領域として決定する、
ことを特徴とする請求項１または２のいずれかに記載の画像撮像方法。

【請求項4】

前記動き振幅が大きいほど短くなるようにシャッタ時間を決定する、
ことを特徴とする請求項３に記載の画像撮像方法。

【請求項5】

前記画像を取得する毎に前記追従目標領域毎にまたは前記制御対象領域について追従動作を行う手順において、
前記取得した画像中の前記追従目標領域または制御対象領域において、該領域中の画像特徴量を記憶するとともに、所定数の探索点を生成する初期設定を実行し、
乱数を用いて、前記所定数の探索点の座標を更新し、
前記追従目標領域または制御対象領域の画像特徴量と前記画像における前記更新した各探索点の画像特徴量とを比較して該画像特徴量同士の各類似度を算出し、
該類似度が高いほど重みを大きくして前記更新した各探索点に対して重み付けを行い、
前記各探索点を該探索点の重み付けに応じて選別し、
前記選別した探索点の座標の分散を算出し、
該分散が所定の閾値に比較して小さい場合に、前記選別した探索点の座標の重みつき平均として前記追従目標領域または前記制御対象領域に対応する追従座標を算出する、
ことを特徴とする請求項３に記載の画像撮像方法。

【請求項6】

指示された測光開始タイミング以降、画像を順次撮像する画像撮像部と、
前記順次取得した画像から周期性のある動作を行う被写体の中で、前記周期性のある動きの振幅が最大となる被写体を制御対象領域として抽出する制御対象領域抽出部と、
前記画像を順次取得する毎に、前記制御対象領域に対して追従動作を行って追従座標を順次算出する制御対象領域追従部と、
指示された画像取得タイミングまたはそれ以降、前記算出された追従座標に対して焦点を決定する焦点決定部と、
該決定した焦点で前記画像を取得する画像取得部と、
を備えることを特徴とする画像撮像装置。

【請求項7】

指示された測光開始タイミング以降、画像を順次取得し、
前記順次取得した画像から周期性のある動作を行う被写体の中で、前記周期性のある動きの振幅が最大となる被写体を制御対象領域として抽出し、
前記画像を順次取得する毎に、前記制御対象領域に対して追従動作を行って追従座標を順次算出し、
指示された画像取得タイミングまたはそれ以降、前記算出された追従座標に対して焦点を決定し、
該決定した焦点で前記画像を取得する、
手順をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像を取得する画像取得方法、装置、およびプログラムに関する。

【背景技術】

【0002】

静止画像または動画像等の画像を撮影するデジタルカメラ等で、画像内の動きのある被写体に対して自動的に焦点調整を行って焦点を決定する手法は良く知られている。

【0003】

自動焦点調整の従来技術では一般的に、画像取得前にユーザに表示されるプレビュー画像（またはスルー画像）上でユーザが焦点を合わせたい被写体領域を指定する。その後、順次取得される各画像上でその被写体領域が追跡されながら、その被写体領域に焦点を合わせる動作が実行される。

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、例えば風に揺れている花等を撮影する際は、
・たくさんの花が揺れている場合がある（多くの動体がある）、
・付近で葉っぱも揺れている場合もある、
・これらの揺れは独立している場合が多い、
等の難しい撮影条件になる場合が多い。つまり、画像中に多くの動体が存在する場合である。

【0005】

このような場合、従来技術では、合焦対象となる被写体領域を指定しなければならないが、プロフェッショナルでない一般ユーザ等にとっては、どの被写体領域を合焦対象とするかの判断が困難な場合が多いという問題点を有していた。

【0006】

また、被写体が揺れている場合が多いため、一般ユーザ等は、被写体に対して適切なシャッタ速度（シャッタ時間）を設定することができない場合が多く、取得した画像において被写体ブレが発生する確率が高くなってしまうという問題点も有していた。

【0007】

そこで、本発明の一態様では、風に揺れている花等を撮影する場合に、合焦対象となる被写体領域を自動的に決定可能としてその被写体領域に対して合焦を可能とすることを目的とする。また、本発明の他の態様では、決定された動く被写体領域に対して適切なシャッタ時間を自動的に設定可能とすることを目的とする。

【課題を解決するための手段】

【0008】

態様の一例では、指示された測光開始タイミング以降、画像を順次撮像し、順次取得した画像から周期性のある動作を行う被写体の中で、前記周期性のある動きの振幅が最大となる被写体を制御対象領域として抽出し、画像を順次取得する毎に、制御対象領域に対して追従動作を行って追従座標を順次算出し、指示された画像取得タイミングまたはそれ以降、算出された追従座標に対して焦点を決定し、その決定した焦点で画像を取得する。
他の態様の一例では、制御対象領域の周期性のある動作の度合いに基づいてシャッタ時間をさらに決定し、画像を取得するときに、その取得を決定したシャッタ時間でさらに行
う。

【発明の効果】

【0009】

本発明によれば、風に揺れている花等を撮影する場合に、合焦対象となる被写体領域を自動的に決定可能となり、その被写体領域に対する合焦が可能となる。
また、本発明によれば、決定された動く被写体領域に対して適切なシャッタ時間を自動的に設定することが可能となる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態に係る画像取得装置としての撮像装置の外観図である。

【図2】本実施形態に係る撮像装置のハードウェアブロック図である。

【図3】本実施形態に係る画像取得処理の全体処理を示すフローチャートである。

【図4】追従目標領域の説明図である。

【図5】本実施形態における制御対象領域の抽出原理の説明図である。

【図6】入力画像上で複数設定された追従目標領域毎に動き情報を検出する処理を示すフローチャート（その１）である。

【図7】入力画像上で複数設定された追従目標領域毎に動き情報を検出する処理を示すフローチャート（その２）である。

【図8】探索点と探索対象領域の説明図である。

【図9】探索点および探索対象領域の初期化と基準画素値の説明図である。

【図10】乱数による探索点および探索対象領域の座標の更新処理の説明図である。

【図11】探索点への重み毎の識別子の割当処理の説明図である。

【図12】探索点のリサンプリング処理の説明図である。

【図13】追従動作の説明図である。

【図14】動き情報が検出できた追従目標領域毎に、動き平均座標、動き周波数、および動き振幅を検出する処理を示すフローチャートである。

【図15】シャッタボタンの全押下まで制御対象領域について追従動作を実行する処理を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。
図１は、本実施の形態に係る画像取得装置としての撮像装置１の外観を示す図であり、図１（ａ）は正面図、図１（ｂ）は背面図である。

【0012】

この撮像装置１には、前面に撮像レンズ２が設けられており、上面部にはシャッタボタン３が設けられている。このシャッタボタン３は、半押し操作と全押し操作とが可能な、いわゆるハーフシャッタ機能を備えるものである。

【0013】

また、背面には、ファンクションキー４、カーソルキー５、および、表示部６が設けられている。カーソルキー５は、図中ａの方向に回転可能なロータリースイッチとしての役割を果たす。

【0014】

図２は、撮像装置１の概略構成を示すブロック図である。この撮像装置１は、バスライン１８を介して各部に接続された制御部１７を備えている。制御部１７は、撮像装置１の各部を制御するワンチップマイコンである。

【0015】

同図において、撮像レンズ２は、詳細には光学系部材を実装するレンズユニットである。また、駆動制御部７は、撮影者のズーム操作または撮影者のシャッタボタン３の半押し操作の検出による制御部１７からのＡＦ（自動合焦）処理に基づく制御信号に基づいて、撮像レンズ２の位置を移動させる回路部である。

【0016】

撮像部８は、ＣＭＯＳ等のイメージセンサからなり、上述の撮像レンズ２の光軸上に配置されている。

【0017】

ユニット回路９は、撮像部８から出力される被写体の光学像に応じたアナログの撮像信号を、デジタル信号に変換する回路である。このユニット回路９は、入力した撮像信号を保持するＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関２重サンプリング）回路と、ＡＥ（自動露出調整）処理等に伴って撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）、増幅された撮像信号をデジタルの撮像信号に変換するＡ／Ｄ変換器（ＡＤＣ）等から構成されている。

【0018】

撮像部８の出力信号はユニット回路９を経て各々デジタル信号として画像処理部１０に送られて、各種画像処理が施されるとともに、プレビューエンジン１２にて縮小加工されて、表示部６に供給される。

【0019】

表示部６は、例えば１６：９のアスペクト比を備えるＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶ディスプレイ）からなる。この表示部６は、ドライバ回路を内蔵しており、プレビューエンジン１２からデジタル信号とドライバ回路を駆動する駆動制御信号とが入力されると、デジタル信号に基づく画像をスルー画像として表示する。表示部６は、論理的に複数層の表示画面（これを「レイヤ」と呼ぶ）を表示させることが可能であり、下位レイヤ層に上記スルー画像を表示し、制御部１７から出力されるメッセージやアイコンなどを上位レイヤ層に表示する。

【0020】

符号化／復号化処理部１１は、画像取得時に、画像処理部１０で処理された信号を、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式等の所定のファイル形式に圧縮、符号化、およびファイル化し、画像記録部１４に記録させる。
一方、符号化／復号化処理部１１は、画像再生時に、画像記録部１４から読み出された画像ファイルを復号化し、表示部６に表示する。

【0021】

プレビューエンジン１２は、上記スルー画像の生成の他、画像取得時に、画像記録部１４に記録される直前の画像を表示部６に表示させる際に必要な制御を行う。
さらに、バスライン１８には、プログラムメモリ１５や撮影された画像を一時的に記憶するＲＡＭ１６が接続されている。
プログラムメモリ１５には、後述するフローチャートで示される画像取得処理を実行するためのプログラムが記憶される。

【0022】

制御部１７は、プログラムメモリ１５からプログラムを読み出して、デジタルカメラの各部を制御しながら、後述する画像取得処理を実行する。

【0023】

追従動作部１３は、後述する画像取得処理プログラムの実行時に、後述する追従動作を実行する回路部である。

【0024】

次に、撮像装置１における画像取得処理について、以下に詳細に説明する。

【0025】

図３は、本実施形態に係る画像取得処理の全体処理を示すフローチャートである。この画像取得処理は、制御部１７が、デジタルカメラの各部を制御しながら、プログラムメモリ１５に記憶された画像取得処理プログラムを実行する処理として実現される。

【0026】

この画像取得処理プログラムは、例えばファームウェアとして、例えば特には図示しないメモリカード駆動部に挿入された可搬記録媒体であるメモリカード等からプログラムメモリ１５にインストールすることが可能である。

【0027】

まず、ユーザは、ファンクションキー４およびカーソルキー５を操作して、例えば静止画像取得モードとし、さらに例えば花取得モードを選択する。すると、制御部１７は、この操作を検出し、プログラムメモリ１５から図３のフローチャートで示される画像取得処理を実行する画像取得処理プログラムを読み出して実行を開始する。

【0028】

その後、制御部１７は、ユーザによってシャッタボタン３が半押下されて、測光開始タイミングが開始指示されるまで待機する（図３のステップＳ３０１の判定がＮＯの繰返し）。

【0029】

シャッタボタン３が半押下されてステップＳ３０１の判定がＹＥＳになると、制御部１７は、以降、画像を順次取得する動作を開始する。具体的には、制御部１７は、撮像部８、ユニット回路９、画像処理部１０、プレビューエンジン１２、および表示部６を制御する。これにより、所定のフレームレートで、撮像部８の出力信号がユニット回路９を経てデジタル信号として画像処理部１０に送られて各種画像処理が施された後、プレビューエンジン１２にて縮小加工されて表示部６にスルー画像として表示される（制御部１７は画像撮像部として機能する）。

【0030】

これとともに、制御部１７は、ステップＳ３０２、Ｓ３０３、Ｓ３０４の一連の処理によって、順次取得した画像から、ＡＦ、ＡＥを実行する被写体領域となる周期性のある動作を行う制御対象領域を抽出する（制御部１７は制御対象領域抽出部として機能する）。

【0031】

具体的には、制御部１７はまず、例えば図４に示されるように風に揺れる花の画像が撮像されている画像上で、図４の矩形４０１として示されるような追従目標領域を、複数領域設定する。図４の例では、一辺が縦画素数の１／１１程度の画素数を有する矩形が例えば５行７列、合計３５領域設定されている。追従目標領域４０１の矩形サイズは、入力画像の縦画素数に対する比が１／１１程度が良好だが、これに限られるものではない。矩形は、隙間なく並べられてもよく、またオーバーラップして並べられてもよい。
制御部１７は次に、スルー画像を取得する毎に、上述の追従目標領域４０１毎に追従動作を行って、動き情報を検出する（以上、図３のステップＳ３０２）。追従目標領域４０１に対する追従動作の詳細は、図６〜図１２の説明で後述する。

【0032】

制御部１７は続いて、複数の追従目標領域４０１のうち動き情報が検出できた追従目標領域４０１毎に、動き平均座標、動き周波数、および動き振幅を検出する（図３のステップＳ３０３）。

【0033】

そして、制御部１７は、図４に示される複数の追従目標領域毎４０１のそれぞれ毎に検出した動き平均座標、動き周波数、および動き振幅に基づいて、複数の追従目標領域４０１の中から、制御対象領域４０１（＃Ａ）を決定する（図３のステップＳ３０４）。
図５は、本実施形態における制御対象領域４０１（＃Ａ）の抽出原理の説明図である。いま、図４の画像において、複数の追従目標領域４０１のうち、花の領域上に設定された例えば１つの領域４０１（＃Ａ）に着目する。花が風に揺れて、画像中の花の領域の表示位置が、図５に示されるように、時間ｔの経過（実線の矢印の方向）と共に変化すると、追従目標領域４０１（＃Ａ）に対して追従動作を行うと、追従目標領域４０１（＃Ａ）は、図５の破線の矢印で示されるような軌跡で変化する。数秒程度の期間で観測すると、追従目標領域４０１（＃Ａ）のＸ座標値またはＹ座標値の軌跡は、画像の水平方向（Ｘ軸方向）または垂直方向（Ｙ軸方向）に値が正弦波状に変化する１から５［Ｈｚ］（ヘルツ）程度の周波数を有する周期性のある軌跡となる。図５の例では、追従目標領域４０１（＃Ａ）のＸ座標値の軌跡が、画像の水平方向にゆっくりと正弦波状に変化していることを示している。一方、図４の画像中の追従目標領域４０１（＃Ｂ）などは、空などの背景領域に属するため、数秒程度の期間で観測してもその座標はほとんど変化しない。
そこで、制御部１７は、ステップＳ３０３で抽出した動き周波数の値が１Ｈｚから５Ｈｚの間に入り、動き平均座標が画像の中央座標値から所定の範囲内にあり、かつ動き振幅が最大となる追従目標領域４０１を、制御対象領域４０１（＃Ａ）として選択する。
このようにして、本実施形態では、風に揺れる花のように周期性をもって揺れている被写体の領域を、入力されるスルー画像から制御対象領域４０１（＃Ａ）として自動的に抽出することが可能となる。

【0034】

次に、制御部１７は、ステップＳ３０４で決定した制御対象領域４０１（＃Ａ）に対応する動き振幅に応じて、画像取得のためのシャッタ時間を決定する（図３のステップＳ３０５）。一般に、花などの被写体が大きく揺れている場合には、被写体ブレを防ぐために、シャッタ時間は短く（シャッタ速度を速く）設定する必要がある。逆に、被写体が小さく揺れている場合には、シャッタ時間は長く（シャッタ速度を遅く）することができる。よって、制御部１７は例えば、次式によってシャッタ時間を決定する。

シャッタ時間ＳＨ＝ｃｏｅｆ／動き振幅

ここで、「ｃｏｅｆ」は、図２の制御部１７が出力するシャッタ制御値である。「動き振幅」は例えば正規化された値であり、定性的には、動き振幅が２倍になるとシャッタ時間ＳＨは１／２に（シャッタ速度が２倍速く）設定される。
このようにして、本実施形態では、花の揺れる大きさに応じて、シャッタ時間（シャッタ速度）を自動的に設定することが可能となる。

【0035】

制御部１７は、上述のように制御対象領域４０１（＃Ａ）を決定した後、ユーザによってシャッタボタン３が全押下されるまで、画像を順次取得する毎に、制御対象領域４０１（＃Ａ）に対してさらに追従動作を行って追従座標を順次算出する（図３のステップＳ３０６）（制御部１７は制御対象領域追従部として機能する）。

【0036】

制御部１７は、ユーザによってシャッタボタン３が全押下されて画像取得タイミングが指示されると、制御対象領域４０１（＃Ａ）に対するそのタイミングにおける追従座標を基準として焦点を決定する（制御部１７は焦点決定部として機能する）。また、制御部１７は、ステップＳ３０５で決定したシャッタ時間で、その追従座標を基準にＡＥ制御を行うことができる。そして、制御部１７は、以上のＡＦ、ＡＥ制御下で、ユニット回路９から出力され画像処理部１０で処理されたデジタル信号を、符号化／復号化処理部１１で圧縮、符号化、およびファイル化させ、画像記録部１４に記録させる（以上、図３のステップＳ３０７）（制御部１７は画像取得部として機能する）。

【0037】

ここまでの実施形態の説明は、ユーザによってシャッタボタン３が全押下されたタイミングで静止画を取り込むことが想定されているが、動画の場合には同様に適用することができる。動画の場合には、ステップＳ３０６の処理は、シャッタボタン３が全押下（あるいは特には図示しない動画開始ボタンが押下）された後も継続して続行される。そして、制御部１７は、それ以降、動画の取り込みタイミング毎に、各タイミングで算出されている追従座標を基準として、ＡＦおよびＡＥを実行する。これにより、動画であっても、風に揺れる花に常に合焦しながら動画の各フレーム画像を順次取り込むことが可能となる。

【0038】

図６および図７は、図３のステップＳ３０２の、入力画像上で複数設定された追従目標領域毎に動き情報を検出する処理を示すフローチャートである。この処理は、制御部１７がプログラムメモリ１５に記憶されたプログラムを実行することにより実現されてもよいが、例えばＤＳＰ（デジタルシグナルプロセッサ）またはＦＰＧＡ（フィールドプログラマブルアレイ）として実装される図２の追従動作部１３が実行する専用動作として実現されてもよい。以下の説明では、追従動作部１３による専用動作として説明する。

【0039】

まず、追従動作部１３は、プレビューエンジン１２を介して初期スルー画像を取得して表示部６に表示する（図６のステップＳ６０１）。

【0040】

次に、追従動作部１３は、初期スルー画像の例えばコントラストの強い領域を適当に選んで、初期ＡＦ、ＡＥ、また必要に応じてＡＷＢ（オートホワイトバランス）の各処理を実行する（図６のステップＳ６０２）。

【0041】

次に、追従動作部１３は、初期スルー画像上で、図４で説明した複数の追従目標領域４０１を設定する。以降の説明では、追従目標領域４０１の個数をＭ個とし、追従目標領域４０１をＣｊ（０≦ｊ≦Ｍ−１）として表す（以上、図６のステップＳ６０３）。

【0042】

次に、追従動作部１３は、カウンタ変数ｊを０に初期化した後（図６のステップＳ６０４）、ステップＳ６０８でｊを＋１ずつしながら、ステップＳ６０９でｊの値がＭに等しくなったと判定されるまで、ステップＳ６０５で追従目標領域Ｃｊを１つずつ選択する。そして、追従動作部１３は、追従目標領域Ｃｊ毎に、ステップＳ６０６とＳ６０７で、追従動作の初期化の処理を実行する。

【0043】

まず、追従動作部１３は、現在選択されている追従目標領域Ｃｊについて、探索点および探索対象領域を生成する（図６のステップＳ６０６）。

【0044】

具体的にはまず、現在選択されている追従目標領域Ｃｊに対して、所定数の探索点Ｐが生成される。例えば、探索点Ｐの個数を２５６個とする。すると、探索点Ｐの座標は、Ｐ［ｎｕｍ］（Ｐｘ［ｎｕｍ］，Ｐｙ［ｎｕｍ］）（０≦ｎｕｍ≦２５５）と表される。ここでは、探索点Ｐの個数を２５６個としたが、これに限らず、追従動作部１３のプロセッサの処理能力に基づいて、適宜決定されてよい。

【0045】

次に、各探索点Ｐ［ｎｕｍ］を中心とする所定範囲が探索対象領域Ｔ［ｎｕｍ］として設定される。具体的には、この探索対象領域Ｔ［ｎｕｍ］は、以下の式（１）で表される。

【0046】

【数1】

【0047】

具体的には、ｓｉｚｅ＝２とし、図８に示されるように、探索対象領域Ｔを、各探索点Ｐを中心とする縦５画素、横５画素の範囲とする。なお、本実施形態では、理解の容易のためｓｉｚｅ＝２としたが、これに限らない。すなわち、追従精度を維持しつつ追従動作部１３で実時間計測を行うため、４＜ｓｉｚｅ＜１０が望ましい。

【0048】

次に、追従動作部１３は、現在選択されている追従目標領域Ｃｊに対して、探索点および探索対象領域を初期化し、基準画素値を生成する（図６のステップＳ６０７）。
まず、追従動作部１３は、全ての探索点Ｐ［ｎｕｍ］の初期座標を、追従目標領域Ｃｊの中心に設定する。すなわち、現在選択されている追従目標領域Ｃｊの中心の座標を（Ｆｘ，Ｆｙ）とすると、探索点Ｐ［ｎｕｍ］の初期座標は、以下の式（２）のように表される。

【0049】

【数2】

【0050】

続いて追従動作部１３は、探索対象領域Ｔ［ｎｕｍ］の初期位置を、追従目標領域Ｃｊとする。追従動作部１３は、図９に示されるように、１枚目の初期スルー画像のＹＵＶの各色空間において、追従目標領域Ｃｊを構成する画素Ｑの画素値を算出し、基準画素値Ｂ１、Ｂ２、Ｂ３として記憶する。
図９に示されるように、評価対象画像のＹ色空間をＳｒ１、Ｕ色空間をＳｒ２、Ｖ色空間をＳｒ３とすると、基準画素値Ｂ１、Ｂ２、Ｂ３は、以下の式（３）〜（５）のように表される。

【0051】

【数3】

【0052】

ここでは、評価対象画像の色空間としてＹＵＶ色空間を用いているが、これに限らず、ＲＧＢ色空間、ＨＳＶ色空間、ＨＬＳ色空間、ＯＨＨＴＡ色空間などを用いてもよく、図２の撮像装置１のスルー画像出力の色空間に応じて適宜選択されてよい。

【0053】

図６のステップＳ６０４からＳ６０９までの処理が実行されることにより、以上説明した図６のステップＳ６０６とＳ６０７の初期化処理が、０≦ｊ≦Ｍ−１である全ての追従目標領域Ｃｊに対して実行される。

【0054】

上述の初期化処理の後、図７のステップＳ７０１からＳ７１８の一連の処理により、スルー画像が順次取得されながら、各追従目標領域Ｃｊ（０≦ｊ≦Ｍ−１）毎に、追従動作が実行される。

【0055】

まず、スルー画像のフレーム番号をカウントするための変数ｉの値が０に初期化された後（図７のステップＳ７０１）、現在のフレームタイミングのスルー画像Ｆｉが図２のプレビューエンジン１２を介して取得され、表示部６に表示される（図７のステップＳ７０２）。

【0056】

次に、追従動作部１３は、現在のスルー画像Ｆｉ上で、複数の追従目標領域Ｃｊ（０≦ｊ≦Ｍ−１）を設定する（図６のステップＳ７０３）。

【0057】

次に、追従動作部１３は、カウンタ変数ｊを０に初期化した後（図７のステップＳ６０４）、ステップＳ７１４でｊを＋１ずつしながら、ステップＳ７１５でｊの値がＭに等しくなったと判定されるまで、ステップＳ７０５で追従目標領域Ｃｊを１つずつ選択する。そして、追従動作部１３は、追従目標領域Ｃｊ毎に、ステップＳ７０６からＳ７１３までの一連の処理で、追従動作を実行する。

【0058】

まず、追従動作部１３は、現在選択されている追従目標領域Ｃｊが除外設定されているか否かを判定する（図７のステップＳ７０６）。除外設定とは、その追従目標領域Ｃｊにおいて周期性が認められないとして以降の追従動作を実行させないようにするための設定である。初期状態では、全ての追従目標領域Ｃｊは除外設定されていない。

【0059】

追従目標領域Ｃｊが除外設定されており図７のステップＳ７０６の判定がＹＥＳなら、ステップＳ７１４に進んで変数ｊが＋１され、次の追従目標領域Ｃｊに対する処理に移る。

【0060】

追従目標領域Ｃｊが除外設定されておらず図７のステップＳ７０６の判定がＮＯなら、追従動作部１３は、現在選択されている追従目標領域Ｃｊについて、図６のステップＳ６０６で生成しステップＳ６０７で初期化した探索点Ｐおよび探索対象領域Ｔについて、乱数による座標の更新を行う（図７のステップＳ７０７）。

【0061】

具体的には、追従動作部１３は、正規分布に従う乱数を用いて、全ての探索点Ｐ［ｎｕｍ］の座標を更新する。すると、図１０に示されるように、探索点Ｐが乱数的に分布する。図１０には、理解を容易にするため、２５６個の探索点Ｐのうち２０個のみが示されている。すなわち、平均μ、分散σ２の正規分布に従う乱数をＮ（μ，σ２）として、探索点Ｐ［ｎｕｍ］の座標は、以下の式（６）のように更新される。

【0062】

【数4】

【0063】

次に、追従動作部１３は、各探索点Ｐの重みを算出する（図７のステップＳ７０８）。

【0064】

具体的には、追従動作部１３は、評価対象画像のＹＵＶの各色空間において、探索対象領域Ｔ［ｎｕｍ］を構成する画素Ｑの画素値を算出する。そして、追従動作部１３は、これら画素値と、図６のステップＳ６０７で記憶した基準画素値Ｂ１〜Ｂ３との差分を類似度として算出し、この差分（類似度）が所定範囲内であるものの画素数を計数し、この個数を当該探索点Ｐの重みとする。
よって、重みが大きいということは、評価対象画像の探索対象領域Ｔ［ｎｕｍ］と、スルー画像Ｆｉの追従目標領域Ｃｊとが類似していることを意味する。

【0065】

より具体的には、追従動作部１３は、上下の閾値をＴＨ１，ＴＨ２として、以下の式（７）〜（９）を満たすものの画素Ｑの個数をカウントし、重みＰｗ［ｎｕｍ］とする。
本実施形態では、ｓｉｚｅを２とし、各探索対象領域Ｔ［ｎｕｍ］を構成する画素Ｑは２５個としたので、重みＰｗ［ｎｕｍ］の最小値はゼロであり、最大値は２５となる。

【0066】

【数5】

【0067】

次に、追従動作部１３は、探索点Ｐのリサンプリングを行う（図７のステップＳ７０９）。

【0068】

すなわち、追従動作部１３は、探索点Ｐの重みＰｗの総和を所定値Ｎとする。次に、Ｎ個の識別子を生成し、これらＮ個の識別子のそれぞれを、重みＰｗに応じて探索点Ｐに対応付ける。つまり、探索点Ｐの重みＰｗが大きいほど、この探索点Ｐに対応する識別子の個数が多くなる。

【0069】

次に、追従動作部１３は、Ｎ個の識別子の中の１つをランダムに選択する処理を、探索点Ｐの個数に等しい回数だけ繰り返し、この選択された識別子に対応する探索点Ｐを、新たな２５６個の探索点Ｐ［ｎｕｍ］として記憶する。ここで、特定の探索点Ｐが複数回選択される場合があるが、この場合、特定の探索点Ｐを複数回記憶する。

【0070】

具体的には、追従動作部１３は、図１１に示されるように、重みＰｗの総和であるＮを１０２４とし、識別子として０〜１０２３までの整数を生成する。そして、これら１０２４個の整数のそれぞれを、重みＰｗに応じて探索点Ｐに対応付ける。
例えば、探索点Ｐ［２３］は、重みＰｗが２２であるため、０−２１の整数に対応する
。探索点Ｐ［２４８］は、重みＰｗが２２であるため、２２−４３の整数に対応する。

【0071】

次に、追従動作部１３は、ゼロから１０２３の範囲内で乱数を２５６回発生させて、発生した乱数に等しい数値を１０２４個の整数の中から抽出し、この抽出した数値に対応する探索点Ｐを新たな探索点Ｐ［ｎｕｍ］として記憶する。

【0072】

つまり、以上のステップＳ７０９の処理により、現在選択されている追従目標領域Ｃｊについて、探索点Ｐ［ｎｕｍ］の中から特定のものが選択されて、０〜２５５の番号が付されて、新たなＰ［ｎｕｍ］として記憶される。

【0073】

具体的には、現在のスルー画像Ｆｉにおける追従目標領域Ｃｊに関する探索点Ｐの分布は、図１０に示す状態から図１２に示す状態となる。例えば、Ｐ［５］、Ｐ［６］は、乱数により選択されなかったため、消去される。一方、Ｐ［０］は、新たなＰ［９２］、Ｐ［１１９］として記憶され、Ｐ［１］は、新たなＰ［２０８］として記憶され、Ｐ［２］は、新たなＰ［１０３］として記憶される。また、Ｐ［３］は、新たなＰ［１３９］として記憶され、Ｐ［４］は、新たなＰ［５４］として記憶される。

【0074】

上記処理の後、追従動作部１３は、新たな探索点Ｐ［ｎｕｍ］の座標の分散Ｖを算出し（図７のステップＳ７１０）、続いて、この分散Ｖが所定の閾値未満であるか否かを判定する（図７のステップＳ７１１）。

【0075】

分散Ｖが所定の閾値未満でステップＳ７１１の判定がＹＥＳならば、追従動作部１３は、現在選択されている追従目標領域Ｃｊの現在入力しているスルー画像Ｆｉ上での新たな中心座標である追従座標Ｃｊ（ｉ）を、次のようにして算出する（図７のステップＳ７１２）。
すなわち、現時点で算出されている各探索点Ｐ［ｎｕｍ］のＸ座標値に、それぞれの重み値が乗算され、それらの総和が算出され、その総和値が全探索点Ｐ［ｎｕｍ］の重み値の総和値で除算され、その除算結果値が追従座標Ｃｊ（ｉ）のＸ座標値とされる。
同様に、現時点で算出されている各探索点Ｐ［ｎｕｍ］のＹ座標値に、それぞれの重み値が乗算され、それらの総和が算出され、その総和値が全探索点Ｐ［ｎｕｍ］の重み値の総和値で除算され、その除算結果値が追従座標Ｃｊ（ｉ）のＹ座標値とされる。
このようにして得られる追従座標Ｃｊ（ｉ）が、現在選択されている追従目標領域Ｃｊに対応する現在入力しているスルー画像Ｆｉでの追従結果である。

【0076】

一方、分散Ｖが所定の閾値未満ではなくステップＳ７１１の判定がＮＯならば、これ以後現在選択されている追従目標領域Ｃｊについては追従動作を中止させるために、現在選択されている追従目標領域Ｃｊを除外設定する（図７のステップＳ７１３）。

【0077】

以上、図７のステップＳ７０５からＳ７１３の処理により、現在選択されている追従目標領域Ｃｊについて、現在入力しているスルー画像Ｆｉに対する追従動作が完了する。

【0078】

その後、追従動作部１３は、カウンタ変数ｊを＋１し（図７のステップＳ７１４）、そのカウンタ変数ｊの値が追従目標領域Ｃｊの最大個数Ｍに達したか否かを判定する（図７のステップＳ７１５）。

【0079】

カウンタ変数ｊの値が最大個数Ｍに達しておらずステップＳ７１５の判定がＮＯなら、ステップＳ７０５に戻って、次の追従目標領域Ｃｊが選択され、それに対して、現在入力しているスルー画像Ｆｉに対する追従動作が実行される。

【0080】

追従動作部１３は、現在のスルー画像Ｆｉについて全ての追従目標領域Ｃｊ（図４の全ての追従目標領域４０１）についての追従動作が完了し、カウンタ変数ｊの値が最大個数Ｍに達してステップＳ７１５の判定がＹＥＳになると、ユーザが図３のステップＳ３０１でシャッタボタン３を半押下してから所定時間が経過したか否かを判定する（図７のステップＳ７１６）。この所定時間は、入力画像上で各追従目標領域Ｃｊについて周期的な動作をしているか否かを判定するのに十分な時間であり、数秒程度である。

【0081】

追従動作部１３は、所定時間が経過しておらずステップＳ７１６の判定がＮＯならば、スルー画像Ｆｉの入力フレーム数をカウントするためのカウンタ変数ｉの値を＋１した後に（図７のステップＳ７１７）、ステップＳ７０２に戻って、次のフレームのスルー画像Ｆｉを入力し、それに対して、各追従目標領域Ｃｊに対する追従動作を実行する。

【0082】

追従動作部１３は、所定時間が経過しステップＳ７１６の判定がＹＥＳになると、変数Ｎにカウンタ変数ｉの値に＋１した値をセットして（図７のステップＳ７１８）、図３のステップＳ３０２である図６および図７のフローチャートの処理を終了する。変数Ｎは、所定時間が経過するまでに入力されたスルー画像Ｆｉのフレーム数を表している。

【0083】

図１３は、図６および図７のフローチャートによる追従動作の説明図である。
図４に示される複数の追従目標領域４０１のうち、初期状態として花の領域上にある追従目標領域４０１（＃Ａ）および初期状態として花が無い背景の追従目標領域４０１（＃Ｂ）に着目して、例えば図１３に示されるように連続する３フレームのスルー画像Ｆｉが入力された場合を考える。

【0084】

追従動作部１３による図６および図７のフローチャートで示される追従動作により、花の領域上の追従目標領域４０１（＃Ａ）に対応する探索点の分布は、図１３のＶ（＃Ａ）（＃１）、Ｖ（＃Ａ）（＃２）、Ｖ（＃Ａ）（＃３）の破線領域内の黒丸の集合として示されるように変化する。
この場合には、花としての画像特徴量により、追従目標領域４０１（＃Ａ）の探索点の分布は、フレームの進行によってスルー画像Ｆｉ上で花の座標が変化しても、その変化に追従して花の領域上にまとまっている。このため、図７のステップＳ７１０で算出される追従目標領域４０１（＃Ａ）の分散Ｖは、小さい値となる。
これにより、各探索点の分布領域Ｖ（＃Ａ）（＃１）、Ｖ（＃Ａ）（＃２）、Ｖ（＃Ａ）（＃３）から図７のステップＳ７１２で追従目標領域Ｃｊ＝４０１（＃Ａ）に対応する各フレームの追従座標Ｃｊ（ｉ）を算出することで、花の領域の動きを検出できるようになる。

【0085】

一方、追従動作部１３による図６および図７のフローチャートで示される追従動作により、背景の領域上の追従目標領域４０１（＃Ｂ）に対応する探索点の分布は、図１３のＶ（＃Ｂ）（＃１）、Ｖ（＃Ｂ）（＃２）、Ｖ（＃Ｂ）（＃３）の破線領域内の黒丸の集合として示されるように変化する。
この場合には、背景部分では画像特徴量は追従目標領域４０１（＃Ｂ）の周囲もほとんど変化がないため、追従目標領域４０１（＃Ｂ）の探索点の分布は、フレームの進行によってまとまりがなくなってゆく。このため、図７のステップＳ７１０で算出される追従目標領域４０１（＃Ｂ）の分散Ｖは大きくなってゆき、やがて図７のステップＳ７１１の判定がＮＯとなる。この結果、図７のステップＳ７１３により、その追従目標領域４０１（＃Ｂ）は、花の動きを検出するための処理から除外設定されることになる。

【0086】

図１４は、図３のステップＳ３０３での、動き情報が検出できた追従目標領域毎に、動き平均座標、動き周波数、および動き振幅を検出する処理を示すフローチャートである。この処理は、図３のステップＳ３０２（図６および図７のフローチャート）の場合と同様に、例えば追従動作部１３による専用動作として実装されてよい。

【0087】

追従動作部１３は、カウンタ変数ｊを０に初期化した後（図１４のステップＳ１４０１）、ステップＳ１４１３でｊを＋１ずつしながら、ステップＳ１４１４でｊの値がＭに等しくなったと判定されるまで、ステップＳ１４０２で追従目標領域Ｃｊを１つずつ選択する。
さらに、追従動作部１３は、ステップＳ１４０２で選択した追従目標領域Ｃｊが除外設定されているか否かを判定する（図１４のステップＳ１４０３）。追従動作部１３は、追従目標領域Ｃｊが除外設定されておりステップＳ１４０３の判定がＹＥＳならば、ステップＳ１４１３に進んで、次の追従目標領域Ｃｊに対する処理に移る。
このようにして、追従動作部１３は、動き情報として追従座標Ｃｊ（ｉ）が検出できた追従目標領域Ｃｊに対してのみ、以下のステップＳ１４０４からＳ１４１２の動作を実行する。

【0088】

追従動作部１３は、現在選択されている追従目標領域Ｃｊに関して、図７のステップＳ７１２でフレームｉ＝０からＮ−１までのＮフレームのスルー画像Ｆｉ（０≦ｉ≦Ｎ−１）で算出された追従座標群Ｃｊ（ｉ）（０≦ｉ≦Ｎ−１）を読み出す。そして、追従動作部１３は、追従座標群Ｃｊ（ｉ）（０≦ｉ≦Ｎ−１）のＸ座標値群を変数ＣＸｊ（ｉ）（０≦ｉ≦Ｎ−１）に、Ｙ座標値群を変数ＣＹｊ（ｉ）（０≦ｉ≦Ｎ−１）にそれぞれセットする（図１４のステップＳ１４０４）。

【0089】

次に、追従動作部１３は、ステップＳ１４０４でセットされたＸ座標値群ＣＸｊ（ｉ）の平均値ＣＡＸｊと、Ｙ座標値群ＣＹｊ（ｉ）の平均値ＣＡＹｊを算出する。これにより、追従動作部１３は、現在選択されている追従目標領域Ｃｊの追従座標群Ｃｊ（ｉ）に対応する動き平均座標ＣＡｊ（ＣＡＸｊ，ＣＡＹｊ）を算出する（図１４のステップＳ１４０５）。
この座標は、現在選択されている追従目標領域ＣｊがＮフレーム分のスルー画像Ｆｉ（０≦ｉ≦Ｎ−１）中で動くときの、動きの中心座標になる。

【0090】

次に、追従動作部１３は、動き平均座標のＸ座標値（動き平均Ｘ座標値）ＣＡＸｊと各追従座標Ｃｊ（ｉ）のＸ座標値ＣＸｊ（ｉ）とで差分を計算することにより各Ｘ差分値ＤＸｊ（ｉ）を算出する。追従動作部１３はさらに、各Ｘ差分値ＤＸｊ（ｉ）の絶対値｜ＤＸｊ（ｉ）｜の最大値を算出し、その最大値を、現在選択されている追従目標領域Ｃｊに対応する動きＸ振幅ＡＸｊとする（図１４のステップＳ１４０６）。

【0091】

同様に、追従動作部１３は、動き平均座標のＹ座標値（動き平均Ｙ座標値）ＣＡＹｊと各追従座標Ｃｊ（ｉ）のＹ座標値ＣＹｊ（ｉ）とで差分を計算することにより各Ｙ差分値ＤＹｊ（ｉ）を算出する。追従動作部１３はさらに、各Ｙ差分値ＤＹｊ（ｉ）の絶対値｜ＤＹｊ（ｉ）｜の最大値を算出し、その最大値を、現在選択されている追従目標領域Ｃｊに対応する動きＹ振幅ＡＹｊとする（図１４のステップＳ１４０７）。

【0092】

続いて、追従動作部１３は、動きＸ振幅ＡＸｊが動きＹ振幅ＡＹｊ以上であるか否かを判定する（図１４のステップＳ１４０８）。

【0093】

追従動作部１３は、動きＸ振幅ＡＸｊが動きＹ振幅ＡＹｊ以上でステップＳ１４０８の判定がＹＥＳならば、動きＸ振幅ＡＸｊを現在選択されている追従目標領域Ｃｊに対応する動き振幅Ａｊと決定する（図１４のステップＳ１４０９）。

【0094】

そして、追従動作部１３は、ステップＳ１４０６で算出したＮフレーム分のＸ差分値群ＤＸｊ（ｉ）を、例えば高速フーリエ変換、離散コサイン変換、ウエーブレット変換等の計算アルゴリズムにより周波数解析する。追従動作部１３は、その解析により得られる周波数成分値の中から、電力値がピークとなる周波数を算出し、そのピーク周波数を、現在選択されている追従目標領域Ｃｊに対応する動き周波数Ｍｊと決定する（図１４のステップＳ１４１０）。

【0095】

追従動作部１３は、動きＸ振幅ＡＸｊが動きＹ振幅ＡＹｊ以上ではなくステップＳ１４０８の判定がＮＯならば、動きＹ振幅ＡＹｊを現在選択されている追従目標領域Ｃｊに対応する動き振幅Ａｊと決定する（図１４のステップＳ１４１１）。

【0096】

そして、追従動作部１３は、ステップＳ１４０６で算出したＮフレーム分のＹ差分値群ＤＹｊ（ｉ）を、例えば高速フーリエ変換、離散コサイン変換、ウエーブレット変換等の計算アルゴリズムにより周波数解析する。追従動作部１３は、その解析により得られる周波数成分値の中から、電力値がピークとなる周波数を算出し、そのピーク周波数を、現在選択されている追従目標領域Ｃｊに対応する動き周波数Ｍｊと決定する（図１４のステップＳ１４１２）。

【0097】

以上のステップＳ１４０４からＳ１４１２の一連の処理により、追従動作部１３は、現在選択されている追従目標領域Ｃｊに対応する動き平均座標ＣＡｊ、動き振幅Ａｊ、および動き周波数Ｍｊを算出する。

【0098】

ステップＳ１４１０またはＳ１４１２の処理の後、追従動作部１３は、カウンタ変数ｊを＋１し（図１４のステップＳ１４１３）、そのカウンタ変数ｊの値が追従目標領域Ｃｊの最大個数Ｍに達したか否かを判定する（図１４のステップＳ１４１４）。

【0099】

カウンタ変数ｊの値が最大個数Ｍに達しておらずステップＳ１４１４の判定がＮＯなら、ステップＳ１４０２に戻って、次の追従目標領域Ｃｊに対する上述の処理が実行される。

【0100】

追従動作部１３は、全ての追従目標領域Ｃｊに対応する動き平均座標ＣＡｊ、動き振幅Ａｊ、および動き周波数Ｍｊの算出処理が完了し、カウンタ変数ｊの値が最大個数Ｍに達してステップＳ１４１４の判定がＹＥＳになると、図３のステップＳ３０３である図１４のフローチャートの処理を終了する。

【0101】

以上の追従動作部１３の処理に基づいて、制御部１７が、前述した図３のステップＳ３０４の処理において、動き周波数Ｍｊの値が１Ｈｚから５Ｈｚの間に入り、動き平均座標ＣＡｊが画像の中央座標値から所定の範囲内にあり、かつ動き振幅Ａｊが最大となる追従目標領域Ｃｊを、図４の制御対象領域４０１（＃Ａ）として選択する。
このようにして、本実施形態では、風に揺れる花のように周期性をもって揺れている被写体の領域を、入力される数秒分のＮフレームスルー画像Ｆｉ（０≦ｉ≦Ｎ−１）から、制御対象領域４０１（＃Ａ）として自動的に抽出することが可能となる。

【0102】

図１５は、図３のステップＳ３０６での、シャッタボタンの全押下まで制御対象領域について追従動作を実行する処理を示すフローチャートである。この処理は、図３のステップＳ３０２やＳ３０３の場合と同様に、例えば追従動作部１３による専用動作として実装されてよい。

【0103】

追従動作部１３は、ステップＳ１５１１でユーザによりシャッタボタン３が全押下されたと判定されるまで、ステップＳ１５０１でプレビューエンジン１２（図２）を介してフレーム時間が経過する毎にスルー画像を取得し、各スルー画像について制御対象領域４０１（＃Ａ）（図４参照）の追従動作を実行する。

【0104】

まず、追従動作部１３は、ステップＳ１５０１で取得したスルー画像上で、図３のステップＳ３０４で選択した制御対象領域４０１（＃Ａ）を設定して、図４の各画像に示されるようにして、表示部６に表示する。

【0105】

次に、追従動作部１３は、図３のステップＳ３０２の処理の最終フレームにおいて、図７のステップＳ７０７で算出されている制御対象領域４０１（＃Ａ）の探索点および探索対象領域を、現在のフレームのスルー画像に対する探索点および探索対象領域の初期値として生成する（図１５のステップＳ１５０３）。

【0106】

続いて、追従動作部１３は、図７のステップ７０７、Ｓ７０８、Ｓ７０９、およびＳ７１０と同様にして、乱数による全ての探索点および探索対象領域の座標の更新（図１４のステップＳ１５０４）、各探索点の重みの算出（図１４のステップＳ１５０５）、探索点のリサンプリング（図１４のステップＳ１５０６）、および探索点の座標の分散の算出（図１４のステップＳ１５０７）の各処理を実行する。

【0107】

上記処理の後、追従動作部１３は、ステップＳ１５０７で算出した分散が所定の閾値未満であるか否かを判定する（図１５のステップＳ１５０８）。

【0108】

分散が所定の閾値未満でステップＳ１５０８の判定がＹＥＳならば、追従動作部１３は、制御対象領域４０１（＃Ａ）の現在入力しているスルー画像上での新たな中心座標である追従座標を、図７のステップＳ７１２の場合と同様にして算出する（図１４のステップＳ１５１０）。
このようにして得られる追従座標が、制御対象領域４０１（＃Ａ）に対応する現在入力しているスルー画像での追従結果である。

【0109】

一方、分散が所定の閾値未満ではなくステップＳ１５０８の判定がＮＯならば、制御対象領域４０１（＃Ａ）に対して追従動作を行うことができなくなったため、ユーザにエラー表示を行って例えば再度のシャッタボタン３の半押下動作を促す（図１５のステップＳ１５０９）。

【0110】

以上、図１５のステップＳ１５０３からＳ１５１０の処理により、制御対象領域４０１（＃Ａ）について、現在入力しているスルー画像に対する追従動作が完了する。

【0111】

その後、追従動作部１３は、ユーザによってシャッタボタン３が全押下されたか否かを判定する（図１５のステップＳ１５１１）。

【0112】

追従動作部１３は、シャッタボタン３が全押下されておらずステップＳ１５１１の判定がＮＯならば、ステップＳ１５０１に戻って、次のフレーム時間のスルー画像を入力し、それに対して制御対象領域４０１（＃Ａ）に対する追従動作を実行する。

【0113】

追従動作部１３は、シャッタボタン３が全押下されてステップＳ１５１１の判定がＹＥＳになると、図３のステップＳ３０６である図１５のフローチャートの処理を終了し、その直前のステップＳ１５１０で得られている追従座標を、画像取得のための制御対象領域４０１（＃Ａ）の座標として出力する。
これに対して、制御部１７は、前述した図３のステップＳ３０７で、その追従座標を基準としてＡＦ、ＡＥ動作を実行し、画像を取得する。

【0114】

以上の実施形態に関して、更に以下の付記を開示する。
（付記１）
指示された測光開始タイミング以降、画像を順次撮像し、
前記順次取得した画像から周期性のある動作を行う被写体を制御対象領域として抽出し、
前記画像を順次取得する毎に、前記制御対象領域に対して追従動作を行って追従座標を順次算出し、
指示された画像取得タイミングまたはそれ以降、前記算出された追従座標に対して焦点を決定し、
該決定した焦点で前記画像を取得する、
ことを特徴とする画像撮像方法。
（付記２）
前記制御対象領域の前記周期性のある動作の度合いに基づいてシャッタ時間をさらに決定し、
前記画像を取得するときに、該取得を前記決定したシャッタ時間でさらに行う、
ことを特徴とする付記１に記載の画像撮像方法。
（付記３）
前記制御対象領域を抽出する手順において、
前記画像上で追従目標領域を複数領域設定し、
前記画像を取得する毎に前記追従目標領域毎に追従動作を行って前記動き情報を検出し、
前記複数の追従目標領域のうち動き情報が検出できた追従目標領域毎に、動き平均座標、動き周波数、および動き振幅を検出し、
前記追従目標領域毎に検出した動き平均座標、動き周波数、および動き振幅に基づいて、前記追従目標領域の中から前記制御対象領域を決定する、
ことを特徴とする付記１または２のいずれかに記載の画像撮像方法。
（付記４）
前記動き振幅が大きいほど短くなるようにシャッタ時間を決定する、
ことを特徴とする付記３に記載の画像撮像方法。
（付記５）
前記画像を取得する毎に前記追従目標領域毎にまたは前記制御対象領域について追従動作を行う手順において、
前記取得した画像中の前記追従目標領域または制御対象領域において、該領域中の画像特徴量を記憶するとともに、所定数の探索点を生成する初期設定を実行し、
乱数を用いて、前記所定数の探索点の座標を更新し、
前記追従目標領域または制御対象領域の画像特徴量と前記画像における前記更新した各探索点の画像特徴量とを比較して該画像特徴量同士の各類似度を算出し、
該類似度が高いほど重みを大きくして前記更新した各探索点に対して重み付けを行い、
前記各探索点を該探索点の重み付けに応じて選別し、
前記選別した探索点の座標の分散を算出し、
該分散が所定の閾値に比較して小さい場合に、前記選別した探索点の座標の重みつき平均として前記追従目標領域または前記制御対象領域に対応する追従座標を算出する、
ことを特徴とする付記１ないし４のいずれかに記載の画像撮像方法。
（付記６）
指示された測光開始タイミング以降、画像を順次撮像する画像撮像部と、
前記順次取得した画像から周期性のある動作を行う被写体を制御対象領域として抽出する制御対象領域抽出部と、
前記画像を順次取得する毎に、前記制御対象領域に対して追従動作を行って追従座標を順次算出する制御対象領域追従部と、
指示された画像取得タイミングまたはそれ以降、前記算出された追従座標に対して焦点を決定する焦点決定部と、
該決定した焦点で前記画像を取得する画像取得部と、
を備えることを特徴とする画像撮像装置。
（付記７）
指示された測光開始タイミング以降、画像を順次取得し、
前記順次取得した画像から周期性のある動作を行う被写体を制御対象領域として抽出し、
前記画像を順次取得する毎に、前記制御対象領域に対して追従動作を行って追従座標を順次算出し、
指示された画像取得タイミングまたはそれ以降、前記算出された追従座標に対して焦点を決定し、
該決定した焦点で前記画像を取得する、
手順をコンピュータに実行させるためのプログラム。

【符号の説明】

【0115】

１ 撮像装置
２ 撮像レンズ
３ シャッタボタン
４ ファンクションキー
５ カーソルキー
６ 表示部
７ 駆動制御部
８ 撮像部
９ ユニット回路
１０ 画像処理部
１１ 符号化／復号化処理部
１２ プレビューエンジン
１３ 追従動作部
１４ 画像記録部
１５ プログラムメモリ
１６ ＲＡＭ
１７ 制御部
４０１、Ｃｊ 追従目標領域
４０１（＃Ａ） 制御対象領域
ＣＡｊ 動き平均座標
Ａｊ 動き振幅
Ｍｊ 動き周波数

【図3】

【図6】

【図7】

【図9】

【図11】

【図14】

【図15】

【図1】

【図2】

【図4】

【図5】

【図8】

【図10】

【図12】

【図13】