特許 6493746 画像追尾装置及び画像追尾方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6493746

(24)【登録日】2019年3月15日

(45)【発行日】2019年4月3日

(54)【発明の名称】画像追尾装置及び画像追尾方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20190325BHJP

【ＦＩ】

   H04N5/232

【請求項の数】5

【全頁数】13

(21)【出願番号】特願2015-79429(P2015-79429)

(22)【出願日】2015年4月8日

(65)【公開番号】特開2016-201636(P2016-201636A)

(43)【公開日】2016年12月1日

【審査請求日】2018年2月2日

(73)【特許権者】

【識別番号】311015207

【氏名又は名称】リコーイメージング株式会社

(74)【代理人】

【識別番号】100078880

【弁理士】

【氏名又は名称】松岡 修平

(74)【代理人】

【識別番号】100183760

【弁理士】

【氏名又は名称】山鹿 宗貴

(72)【発明者】

【氏名】古川 智彦

【審査官】 高野 美帆子

(56)【参考文献】

【文献】 特開２０１０−１４１７２８（ＪＰ，Ａ）

【文献】 特開２０１２−１２９９４０（ＪＰ，Ａ）

【文献】 特開２０１４−１７９９４２（ＪＰ，Ａ）

【文献】 特開２０１０−１７１８１５（ＪＰ，Ａ）

【文献】 特開２００１−０２８７０６（ＪＰ，Ａ）

【文献】 特開２００４−２８９７７８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−５／２５７

(57)【特許請求の範囲】

【請求項1】

撮影画像の中から複数の追尾対象候補を選出する選出手段と、
選出された複数の追尾対象候補の中から撮影状態に基づいて追尾対象を設定する設定手段と、
を備え、
前記設定手段は、
複数の撮影画像を比較し、撮影画像全体の差分値が第一の閾値以上であり且つ該撮影画像内の所定領域における差分値が第二の閾値未満である場合に、該所定領域内に写る追尾対象候補を前記追尾対象として設定する、
画像追尾装置。

【請求項2】

前記設定手段は、
（１）前記画像追尾装置を備える撮影装置が静止状態であるか否か、
（２）前記撮影装置に備えられる撮影レンズの焦点距離が短焦点端側又は長焦点端側であるか、
の少なくとも１つに基づいて前記追尾対象を設定する、
請求項１に記載の画像追尾装置。

【請求項3】

前記撮影画像内の被写体の動きを推定する動き推定手段
を備え、
前記設定手段は、
（Ａ）前記画像追尾装置を備える撮影装置が静止状態である場合、
（Ｂ）前記撮影装置に備えられる撮影レンズの焦点距離が短焦点端側である場合、
（Ｃ）前回の撮影画像と今回の撮影画像との差分値が第三の閾値未満である場合、
の少なくとも１つが満たされる場合、前記複数の追尾対象候補の中から前記動き推定手段による被写体の動きの推定結果に基づいて前記追尾対象を設定する、
請求項１又は請求項２に記載の画像追尾装置。

【請求項4】

前記追尾対象を表す基準画像を記憶する記憶手段と、
記憶された基準画像と前記撮影画像内の各被写体の画像との類似度を演算する類似度演算手段と、
を備え、
前記設定手段は、
前記撮影画像全体の差分値が前記第一の閾値以上であり且つ該撮影画像内の所定領域における差分値が前記第二の閾値以上である場合に、前記類似度演算手段による演算結果に基づいて類似度が最も高い被写体を前記追尾対象として設定する、
請求項１から請求項３の何れか一項に記載の画像追尾装置。

【請求項5】

撮影画像の中から複数の追尾対象候補を選出するステップと、
選出された複数の追尾対象候補の中から所定の撮影状態に基づいて追尾対象を設定するステップと、
を含み、
前記設定するステップにて、
複数の撮影画像を比較し、撮影画像全体の差分値が第一の閾値以上であり且つ該撮影画像内の所定領域における差分値が第二の閾値未満である場合に、該所定領域内に写る追尾対象候補を前記追尾対象として設定する、
画像追尾方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影画像内の追尾対象を設定する画像追尾装置及び画像追尾方法に関する。

【背景技術】

【0002】

撮影画像内の追尾対象を設定することが可能な画像追尾装置が知られている。例えば特許文献１に、この種の画像追尾装置の具体的構成が記載されている。

【0003】

特許文献１に記載の画像追尾装置は、撮影画像の中から基準画像（テンプレート画像）との類似度が高い順に複数の追尾対象候補を捕捉し、捕捉された複数の追尾対象候補の中で類似度の最も高いものを追尾対象として設定する。追尾対象候補を複数捕捉することにより、追尾対象を誤って設定した場合でも、本来の追尾対象に容易に復帰させることができる。例えば、同じユニフォームを着た複数のサッカー選手の一人を追尾している際に、選手の向きによって別の選手が追尾対象として設定された場合でも、後のタイミングで本来の追尾対象である選手の向きが変わると、その時点で追尾対象が該選手に復帰する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第４９３５３８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の画像追尾装置では、類似度の最も高い被写体が追尾対象として設定されている。そのため、上記のサッカー選手の例のように、追尾対象の向き等によってその類似度が低下してしまう場面では、追尾対象の誤設定が避けられない。また、撮影画像内においてテンプレート画像との差分が本来の追尾対象よりも小さい部分が生じる場面でも、追尾対象の誤設定が避けられない。すなわち、特許文献１に記載の画像追尾装置では、本来の追尾対象と類似する被写体が多い場合、これらの被写体の類似度が変動することにより、追尾対象の誤設定が発生しやすいという問題が指摘される。

【0006】

本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、本来の追尾対象と類似する被写体が多い場合であっても、追尾対象の誤検出が発生し難い画像追尾装置及び画像追尾方法を提供することである。

【課題を解決するための手段】

【0007】

本発明の一実施形態に係る画像追尾装置は、撮影画像の中から複数の追尾対象候補を選出する選出手段と、選出された複数の追尾対象候補の中から撮影状態に基づいて追尾対象を設定する設定手段とを備える。設定手段は、複数の撮影画像を比較し、撮影画像全体の差分値が第一の閾値以上であり且つ該撮影画像内の所定領域における差分値が第二の閾値未満である場合に、該所定領域内に写る追尾対象候補を前記追尾対象として設定する。

【0008】

本発明の一実施形態によれば、撮影状態に基づいて追尾対象が設定されるため、上記のサッカー選手の例のように、追尾対象の向き等によってその類似度が低下する場面であっても、撮影画像内においてテンプレート画像との差分が本来の追尾対象よりも小さい部分が生じる場面であっても、追尾対象の誤設定が避けられる。すなわち、本発明の一実施形態によれば、本来の追尾対象と類似する被写体が多い場合であっても、追尾対象の誤検出が避けられる。

【0009】

また、本発明の一実施形態において、設定手段は、
（１）画像追尾装置を備える撮影装置が静止状態であるか否か、
（２）撮影装置に備えられる撮影レンズの焦点距離が短焦点端側又は長焦点端側であるか、
の少なくとも１つに基づいて追尾対象を設定する構成としてもよい。

【0010】

また、本発明の一実施形態に係る画像追尾装置は、撮影画像内の被写体の動きを推定する動き推定手段を備える構成としてもよい。この場合、設定手段は、
（Ａ）撮影装置が静止状態である場合、
（Ｂ）撮影レンズの焦点距離が短焦点端側である場合、
（Ｃ）前回の撮影画像と今回の撮影画像との差分値が第三の閾値未満である場合、
の少なくとも１つが満たされる場合、複数の追尾対象候補の中から動き推定手段による被写体の動きの推定結果に基づいて追尾対象を設定する構成としてもよい。

【0011】

また、本発明の一実施形態において、設定手段は、前回の撮影画像と今回の撮影画像とを比較し、撮影画像全体の差分値が第二の閾値以上であり且つ該撮影画像内の所定領域における差分値が第三の閾値未満である場合に、該所定領域内に写る追尾対象候補を追尾対象として設定する構成としてもよい。

【0012】

また、本発明の一実施形態に係る画像追尾装置は、追尾対象を表す基準画像を記憶する記憶手段と、記憶された基準画像と撮影画像内の各被写体の画像との類似度を演算する類似度演算手段とを備える構成としてもよい。この場合、設定手段は、撮影画像全体の差分値が第一の閾値以上であり且つ該撮影画像内の所定領域における差分値が第二の閾値以上である場合に、類似度演算手段による演算結果に基づいて類似度が最も高い被写体を追尾対象として設定する構成としてもよい。

【0013】

また、本発明の一実施形態に係る画像追尾方法は、撮影画像の中から複数の追尾対象候補を選出するステップと、選出された複数の追尾対象候補の中から所定の撮影状態に基づいて追尾対象を設定するステップとを含み、設定するステップにて、複数の撮影画像を比較し、撮影画像全体の差分値が第一の閾値以上であり且つ該撮影画像内の所定領域における差分値が第二の閾値未満である場合に、該所定領域内に写る追尾対象候補を前記追尾対象として設定する方法である。

【発明の効果】

【0014】

本発明の一実施形態によれば、本来の追尾対象と類似する被写体が多い場合であっても、追尾対象の誤検出が発生し難い画像追尾装置及び画像追尾方法が提供される。

【図面の簡単な説明】

【0015】

【図1】本発明の一実施形態に係る撮影装置の構成を示すブロック図である。

【図2】本発明の一実施形態において撮影装置に備えられるシステムコントローラにより実行される画像追尾処理のフローチャートを示す図である。

【図3】本発明の一実施形態において広角撮影が行われたときに撮影装置のＬＣＤの表示画面に表示される画面例を示す図である。

【図4】本発明の一実施形態において望遠撮影が行われたときに撮影装置のＬＣＤの表示画面に表示される画面例を示す図である。

【発明を実施するための形態】

【0016】

以下、本発明の一実施形態に係る撮影装置について図面を参照しながら説明する。以下においては、本発明の一実施形態として、デジタル一眼レフカメラについて説明する。なお、撮影装置は、デジタル一眼レフカメラに限らず、例えば、ミラーレス一眼カメラ、コンパクトデジタルカメラ、ビデオカメラ、カムコーダ、タブレット端末、ＰＨＳ（Personal Handy phone System）、スマートフォン、フィーチャフォン、携帯ゲーム機など、撮影機能を有する別の形態の装置に置き換えてもよい。

【0017】

［撮影装置１の構成］
図１は、本実施形態の撮影装置１の構成を示すブロック図である。図１に示されるように、撮影装置１は、システムコントローラ１００、操作部１０２、駆動回路１０４、撮影レンズ１０６、絞り１０８、シャッタ１１０、固体撮像素子１１２、信号処理回路１１４、画像処理エンジン１１６、バッファメモリ１１８、カード用インタフェース１２０、ＬＣＤ（Liquid Crystal Display）制御回路１２２、ＬＣＤ１２４、ＲＯＭ（Read Only Memory）１２６、ジャイロセンサ１２８、加速度センサ１３０、地磁気センサ１３２及びＧＰＳ（Global Positioning System）センサ１３４を備えている。なお、撮影レンズ１０６は、複数枚のレンズからなるズームレンズであるが、図１においては便宜上一枚のレンズとして示す。

【0018】

操作部１０２には、電源スイッチやレリーズスイッチ、撮影モードスイッチなど、ユーザが撮影装置１を操作するために必要な各種スイッチが含まれる。ユーザにより電源スイッチが操作されると、図示省略されたバッテリから撮影装置１の各種回路に電源ラインを通じて電源供給が行われる。

【0019】

システムコントローラ１００は、ＣＰＵ（Central Processing Unit）及びＤＳＰ（Digital Signal Processor）を含む。システムコントローラ１００は電源供給後、ＲＯＭ１２６にアクセスして制御プログラムを読み出してワークエリア（不図示）にロードし、ロードされた制御プログラムを実行することにより、撮影装置１全体の制御を行う。

【0020】

レリーズスイッチが操作されると、システムコントローラ１００は、例えば、固体撮像素子１１２により撮像された画像に基づいて計算された測光値や、撮影装置１に内蔵された露出計（不図示）で測定された測光値に基づき適正露出が得られるように、駆動回路１０４を介して絞り１０８及びシャッタ１１０を駆動制御する。より詳細には、絞り１０８及びシャッタ１１０の駆動制御は、プログラムＡＥ（Automatic Exposure）、シャッタ優先ＡＥ、絞り優先ＡＥなど、撮影モードスイッチにより指定されるＡＥ機能に基づいて行われる。また、システムコントローラ１００はＡＥ制御と併せてＡＦ（Autofocus）制御を行う。ＡＦ制御には、アクティブ方式、位相差検出方式、コントラスト検出方式等が適用される。また、ＡＦモードには、中央一点の測距エリアを用いた中央一点測距モード、複数の測距エリアを用いた多点測距モード等がある。システムコントローラ１００は、ＡＦ結果に基づいて駆動回路１０４を介して撮影レンズ１０６を駆動制御し、撮影レンズ１０６の焦点を調整する。なお、この種のＡＥ及びＡＦの構成及び制御については周知であるため、ここでの詳細な説明は省略する。

【0021】

被写体からの光束は、撮影レンズ１０６、絞り１０８、シャッタ１１０を通過して固体撮像素子１１２の受光面にて受光される。固体撮像素子１１２は、ベイヤ型画素配置を有する単板式カラーＣＣＤ（Charge Coupled Device）イメージセンサである。固体撮像素子１１２は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の画像信号を生成して出力する。なお、固体撮像素子１１２は、ＣＣＤイメージセンサに限らず、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやその他の種類の撮像装置に置き換えられてもよい。固体撮像素子１１２はまた、補色系フィルタを搭載したものであってもよい。

【0022】

信号処理回路１１４は、固体撮像素子１１２より入力される画像信号に対してクランプ、デモザイク等の所定の信号処理を施して、画像処理エンジン１１６に出力する。画像処理エンジン１１６は、信号処理回路１１４より入力される画像信号に対してマトリクス演算、Ｙ／Ｃ分離、ホワイトバランス等の所定の信号処理を施して輝度信号Ｙ、色差信号Ｃｂ、Ｃｒを生成し、ＪＰＥＧ（Joint Photographic Experts Group）等の所定のフォーマットで圧縮する。バッファメモリ１１８は、画像処理エンジン１１６による処理の実行時、処理データの一時的な保存場所として用いられる。また、撮影画像の保存形式は、ＪＰＥＧ形式に限らず、最小限の画像処理（例えば黒レベルの補正等）しか施されないＲＡＷ形式であってもよい。

【0023】

カード用インタフェース１２０のカードスロットには、メモリカード２００が着脱可能に差し込まれている。

【0024】

画像処理エンジン１１６は、カード用インタフェース１２０を介してメモリカード２００と通信可能である。画像処理エンジン１１６は、生成された圧縮画像信号（撮影画像データ）をメモリカード２００（又は撮影装置１に備えられる不図示の内蔵メモリ）に保存する。

【0025】

また、画像処理エンジン１１６は、生成された輝度信号Ｙ、色差信号Ｃｂ、Ｃｒをフレームメモリ（不図示）にフレーム単位でバッファリングする。画像処理エンジン１１６は、バッファリングされた信号を所定のタイミングで各フレームメモリから掃き出して所定のフォーマットのビデオ信号に変換し、ＬＣＤ制御回路１２２に出力する。ＬＣＤ制御回路１２２は、画像処理エンジン１１６より入力される画像信号を基に液晶を変調制御する。これにより、被写体の撮影画像がＬＣＤ１２４の表示画面に表示される。ユーザは、ＡＥ制御及びＡＦ制御に基づいて適正な露出及びピントで撮影されたリアルタイムのスルー画（ライブビュー）を、ＬＣＤ１２４の表示画面を通じて視認することができる。

【0026】

画像処理エンジン１１６は、ユーザにより撮影画像の再生操作が行われると、操作により指定された撮影画像データをメモリカード２００又は内蔵メモリより読み出して所定のフォーマットの画像信号に変換し、ＬＣＤ制御回路１２２に出力する。ＬＣＤ制御回路１２２が画像処理エンジン１１６より入力される画像信号を基に液晶を変調制御することで、被写体の撮影画像がＬＣＤ１２４の表示画面に表示される。

【0027】

［画像追尾処理］
図２は、本発明の一実施形態においてシステムコントローラ１００により実行される画像追尾処理のフローチャートを示す。図２の画像追尾処理は、例えば追尾対象の画像（以下、説明の便宜上「追尾対象テンプレート画像」と記す。）が設定された時点で初回の実行が開始される。図２の画像追尾処理の２回目以降の実行は、撮影画像が更新される毎（新たなフレーム画像が撮影される毎）に開始される。

【0028】

例示的には、ユーザ操作により撮影画像内で指定された指定枠内に収まる被写体の画像や、撮影装置１側で自動的に設定された被写体の画像、バッファメモリ１１８やＲＯＭ１２６等の記憶領域に予め記憶された複数の規定画像の中からユーザ操作により指定された画像が追尾対象テンプレート画像として設定される。設定された追尾対象テンプレート画像は、図２の画像追尾処理の実行期間中、バッファメモリ１１８等の記憶領域に一時的に記憶される。図２の画像追尾処理が実行されると、追尾対象に設定された被写体にピントが合うようにＡＦ制御が行われる。

【0029】

［図２のＳ１１（追尾対象テンプレート画像の種別検出）］
本実施形態では、多数の種別判定用画像（人物や動物、植物、乗り物、建物等の画像）がＲＯＭ１２６等の記憶領域に予め記憶されている。また、ユーザ操作に応じて撮影画像内より抽出された被写体の画像が種別判定用画像としてバッファメモリ１１８等の記憶領域に追加的に記憶される場合もある。

【0030】

本処理ステップＳ１１では、追尾対象テンプレート画像とバッファメモリ１１８やＲＯＭ１２６等の記憶領域に記憶された種別判定用画像とのパターンマッチング処理が行われ、追尾対象テンプレート画像との差分値が最も少ない種別判定用画像の種別（人物や動物、植物、乗り物、建物等）が追尾対象テンプレート画像の種別として検出される。なお、画像の種別を検出する技術は周知技術であり、例えば、特開２０１０−８１２４６号公報や特開２０１１−２１１６９５号公報にて参照することができる。また、追尾対象テンプレート画像の種別は、追尾対象テンプレート画像が変更されない限り変わることが無い。そのため、本処理ステップＳ１１の実行は、図２の画像追尾処理の初回実行時（追尾対象テンプレート画像の設定又は設定変更直後の実行時）に限られており、該画像追尾処理の２回目以降の実行時には省略される。

【0031】

［図２のＳ１２（追尾対象候補の選出）］
本処理ステップＳ１２では、撮影画像の中から複数の追尾対象候補が選出される。例示的には、撮影画像の中からパターンマッチング処理により追尾対象テンプレート画像と類似度の高い画像領域が複数検索され、検索された各画像領域に写る被写体が追尾対象候補として選出される。本実施形態では、追尾対象テンプレート画像との差分値が少ない（所定の閾値未満の）画像領域が類似度の高い画像領域として検索される。以下、説明の便宜上、本処理ステップＳ１２で用いられる閾値を「候補選出用閾値」と記す。

【0032】

候補選出用閾値は、追尾対象テンプレート画像との形状の類似度に関する閾値及び追尾対象テンプレート画像との色彩の類似度に関する閾値（色彩閾値）を含む。以下、形状の類似度に関する閾値を「形状閾値」と記し、色彩の類似度に関する閾値を「色彩閾値」と記す。形状閾値及び色彩閾値は、処理ステップＳ１１（追尾対象テンプレート画像の種別検出）にて検出された追尾対象テンプレート画像の種別に応じて設定される。下記に、形状閾値及び色彩閾値の設定例を挙げる。

【0033】

・設定例１（追尾対象テンプレート画像の種別が人物）
人物は、身体の向きが変わった時等に撮影装置１側から見たときの形が変わりやすい。一方、肌の色等は照明によって変わるものの、形と比べると、変わりやすくはない。そこで、本設定例１では、形状閾値が緩めの値に設定され、色彩閾値が厳しめの値に設定される。

【0034】

・設定例２（追尾対象テンプレート画像の種別が動物）
動物は、人物と比べて多種多様である。そこで、本設定例２では、形状閾値が通常の値（緩めの値と厳しめの値の中間値）に設定され、色彩閾値も通常の値に設定される。

【0035】

・設定例３（追尾対象テンプレート画像の種別が車）
車等の人工物は、他の種別と比べると、撮影状況に応じた形状及び色彩の変化が少ない部類に入る。そこで、本設定例３では、形状閾値が通常の値に設定され、色彩閾値が厳しめの値に設定される。

【0036】

・設定例４（追尾対象テンプレート画像の種別が花）
本設定例４は、花がマクロ撮影されている場合の設定例である。マクロ撮影時に微妙に揺れる被写体については判定を厳しくしたいため、本設定例４では、形状閾値が厳しめの値に設定され、色彩閾値も厳しめの値に設定される。

【0037】

［図２のＳ１３（撮影状態の情報の取得）］
本処理ステップＳ１３では、現在の撮影状態の情報が取得される。本実施形態では、現在の撮影状態の情報として、例えば、
（１）撮影装置１の状態（静止状態又は非静止状態）
（２）撮影レンズ１０６の焦点距離（短焦点端側の焦点距離又は長焦点端側の焦点距離）
が取得される。

【0038】

・撮影状態の情報（１）の取得例
本実施形態では、図２の画像追尾処理とは別個に、撮影装置１の筺体が静止状態であるか否かを判定する判定処理が定期的に実行されている。本判定処理では、例示的には、ジャイロセンサ１２８より入力される振れ検出信号のうち一定周波数以上の信号成分の振幅が一定期間継続してある閾値以内に収まる場合に静止状態であると判定され、該閾値以内に収まらない場合に非静止状態であると判定される。本処理ステップＳ１３では、本判定処理の判定結果に応じた情報（静止状態であるか非静止状態であるか）が取得される。撮影装置１の筺体の静止状態としては、典型的には、撮影装置１が三脚に固定された状態が挙げられる。

【0039】

撮影装置１の静止状態は、ジャイロセンサ１２８に代えて、加速度センサ１３０、地磁気センサ１３２、ＧＰＳセンサ１３４など、他のセンサより出力される情報に基づいて判定されてもよい。また、判定精度を向上させるため、例えばセンサ・フュージョン技術を適用し、これらのセンサより出力される情報が複合的に用いられるようにしてもよい。

【0040】

・撮影状態の情報（２）の取得例
撮影レンズ１０６と通信することにより、撮影レンズ１０６の焦点距離（画角）の情報が取得される。本処理ステップＳ１３では、短焦点端（広角端）と長焦点端（望遠端）との中間の焦点距離を中焦点距離と定義した場合に、中焦点距離よりも短い焦点距離が「短焦点端側」の焦点距離の情報として取得され、中焦点距離以上の焦点距離が「長焦点端側」の焦点距離の情報として取得される。

【0041】

［図２のＳ１４（撮影装置１の状態判定）］
本処理ステップＳ１４では、処理ステップＳ１３（撮影状態の情報の取得）にて取得された情報に基づいて撮影装置１が静止状態であるか否かが判定される。

【0042】

［図２のＳ１５（撮影レンズ１０６の焦点距離判定）］
本処理ステップＳ１５は、処理ステップＳ１４（撮影装置１の状態判定）にて撮影装置１が非静止状態であると判定された場合（Ｓ１４：ＮＯ）に実行される。本処理ステップＳ１５では、処理ステップＳ１３（撮影状態の情報の取得）にて取得された情報に基づいて撮影レンズ１０６の焦点距離が短焦点端側又は長焦点端側であるかが判定される。

【0043】

［図２のＳ１６（撮影画像の変化判定）］
本処理ステップＳ１６は、処理ステップＳ１５（撮影レンズ１０６の焦点距離判定）にて撮影レンズ１０６の焦点距離が長焦点端側（望遠端側）であると判定された場合（Ｓ１５：長焦点端側）に実行される。本処理ステップＳ１６では、前フレーム（現フレームの１つ前のフレーム）の撮影画像と現フレームの撮影画像との差分値が所定値未満（例えば対応画素（同一アドレスの画素）間で所定のレベル差以上となるものの数が所定数未満）であるか否か、言い換えると、前フレームと現フレームとで撮影画像の変化が全体的に少ないか否かが判定される。

【0044】

［図２のＳ１７（追尾対象の設定）］
本処理ステップＳ１７は、
（Ａ）処理ステップＳ１４（撮影装置１の状態判定）にて撮影装置１が静止状態であると判定された場合（Ｓ１４：ＹＥＳ）、
（Ｂ）処理ステップＳ１５（撮影レンズ１０６の焦点距離判定）にて撮影レンズ１０６の焦点距離が短焦点端側（広角端側）であると判定された場合（Ｓ１５：短焦点端側）、
（Ｃ）処理ステップＳ１６（撮影画像の変化判定）にて前フレームの撮影画像と現フレームの撮影画像との差分値が所定値未満であると判定された場合（Ｓ１６：ＹＥＳ）、
の何れかの場合に実行される。

【0045】

撮影装置１が静止状態である場合（上記（Ａ））は、撮影範囲が固定されている。そのため、基本的に、背景の変化が少なく、前フレームと現フレームとで撮影画像の変化が全体的に少ない。また、撮影レンズ１０６の焦点距離が短焦点端側（広角端側）にある場合（以下、説明の便宜上、「広角撮影時」と記す。上記（Ｂ））は、撮影装置１が殆ど動かされない又はゆっくり動かされる場合が多い。この場合、極僅かな時間（本実施形態では１フレーム期間）で考えると、撮影範囲が実質的に固定されていると言っても差し支えない。そのため、この場合も、基本的に、背景の変化が少なく、前フレームと現フレームとで撮影画像の変化が全体的に少ない。また、前フレームと現フレームとで撮影画像の差分値が所定値未満の場合（上記（Ｃ））も同様に、極僅かな時間で考えると、撮影範囲が実質的に固定されており、撮影範囲の変化が少なく、背景の変化が少ないといえる。

【0046】

すなわち、本処理ステップＳ１７は、撮影範囲が実質的に固定されている場合に実行される。このように、撮影範囲が実質的に固定されている場合は、撮影装置１の動きを考慮する必要がないため、バッファメモリ１１８等の記憶領域に記憶された履歴（過去の撮影画像）から追尾対象の動きを推定しやすい。そこで、本処理ステップＳ１７では、前フレームで追尾していた追尾対象の動き（動きベクトル）が推定される。追尾対象の動きベクトルは、例えば、オプティカルフロー（勾配法、ブロックマッチング法等）や撮影画像の周波数解析など、周知の推定技術を用いて推定される。

【0047】

本処理ステップＳ１７では、推定された動きベクトルに基づいて現フレームでの追尾対象の位置が推定され、推定された位置に最も近い追尾対象候補が処理ステップＳ１２（追尾対象候補の選出）にて選出された複数の追尾対象候補の中から選択され、選択された追尾対象候補が追尾対象として設定される。なお、図２の画像追尾処理の初回実行時は、履歴が存在しない。そのため、例えば、処理ステップＳ１２（追尾対象候補の選出）にて選出された複数の追尾対象候補の中から追尾対象テンプレート画像との類似度が最も高い追尾対象候補が追尾対象として設定されたり、撮影範囲の中央領域に写る追尾対象候補が追尾対象として設定されたりする。本処理ステップＳ１７において追尾対象が設定されると、図２の画像追尾処理が終了する。

【0048】

［図２のＳ１８（所定領域の変化判定）］
本処理ステップＳ１８は、処理ステップＳ１６（撮影画像の変化判定）にて前フレームの撮影画像と現フレームの撮影画像との差分値が所定値以上であると判定された場合（Ｓ１６：ＮＯ）に、言い換えると、前フレームと現フレームとで撮影画像の変化が全体的に多い場合に実行される。本処理ステップＳ１８では、撮影範囲内の所定領域（本実施形態では中央領域）の画像について、前フレームと現フレームとの差分値が所定値（上記とは別の値）未満であるか否かが判定される。

【0049】

［図２のＳ１９（追尾対象の設定）］
本処理ステップＳ１９は、処理ステップＳ１８（所定領域の変化判定）にて撮影範囲内の中央領域の画像について、前フレームと現フレームとの差分値が所定値未満であると判定された場合（Ｓ１８：ＹＥＳ）に実行される。撮影レンズ１０６の焦点距離が長焦点端側（望遠端側）にあるとき（以下、説明の便宜上、「望遠撮影時」と記す。）は、特定の被写体を追いかけてパンやチルト等することが多い。パン撮影やチルト撮影が上手く行われていると、典型的には、追尾対象が撮影範囲の中央領域に位置し続ける。そこで、本処理ステップＳ１９では、撮影範囲の中央領域に位置する追尾対象候補が追尾対象として設定される。本処理ステップＳ１９において追尾対象が設定されると、図２の画像追尾処理が終了する。

【0050】

なお、撮影範囲の中央領域から追尾対象を意図的に外してパン撮影やチルト撮影が行われる場合もある。そこで、本処理ステップＳ１９にて適用される所定領域は、中央領域に限らず、ユーザにより指定された領域であってもよい。また、パン撮影時やチルト撮影時、追尾対象以外の画像（背景等）は撮影範囲に対して動いている。そのため、撮影画像全体の中で動きが最も少ない被写体が追尾対象として設定されてもよい。

【0051】

［図２のＳ２０（追尾対象の設定）］
本処理ステップＳ２０は、処理ステップＳ１８（所定領域の変化判定）にて撮影範囲内の中央領域の画像について、前フレームと現フレームとの差分値が所定値以上であると判定された場合（Ｓ１８：ＮＯ）に実行される。例えば、望遠時に特定の被写体を追いかけてパン撮影やチルト撮影を行っているときに手振れが大きく発生すると、追尾対象の位置が大きく変わることがある。この場合、追尾対象を含む撮影画像の全体が大きく変化するため、追尾対象が撮影画像内の何処に位置するかを推定することが難しい。そこで、本処理ステップＳ２０では、追尾対象テンプレート画像と撮影画像内の各被写体画像との類似度が演算され、演算された類似度が最も高い被写体が追尾対象として設定される。本処理ステップＳ２０において追尾対象が設定されると、図２の画像追尾処理が終了する。

【0052】

次に、具体的撮影例を４例説明する。

【0053】

・撮影例１（広角撮影例）
図３に、広角撮影時のＬＣＤ１２４の表示画面例を示す。図３中、撮影画像内の各被写体に符号Ｏ_Ａ〜Ｏ_Ｃを付す。また、枠で囲われた被写体が追尾対象候補であり、より詳しくは、太枠で囲われた被写体が追尾対象である。図３（ａ）は、前フレームの撮影画像を示し、図３（ｂ）は、現フレームの撮影画像を示す。

【0054】

本撮影例１では、広角撮影が行われており、撮影範囲が実質的に固定されている。そのため、追尾対象がフレーム間で突然離れた位置に現れることが無い。従って、処理ステップＳ１７（追尾対象の設定）において、履歴に基づいて追尾対象候補Ｏ_Ａ〜Ｏ_Ｃの動きベクトルが推定され、その推定結果に基づいて追尾対象候補Ｏ_Ａ〜Ｏ_Ｃの中から被写体Ｏ_Ａが追尾対象として設定される（図３（ｂ）参照）。

【0055】

・撮影例２（望遠撮影例）
図４に、望遠撮影時のＬＣＤ１２４の表示画面例を示す。図４中、撮影画像内の各被写体に符号Ｏ_Ｄ〜Ｏ_Ｇを付す。また、枠で囲われた被写体が追尾対象候補であり、より詳しくは、太枠で囲われた被写体が追尾対象である。図４（ａ）は、前フレームの撮影画像を示し、図４（ｂ）〜図４（ｄ）はそれぞれ、撮影例２〜４における現フレームの撮影画像を示す。

【0056】

本撮影例２では、望遠撮影が行われているが、撮影装置１が静止状態にあり、撮影範囲が固定されている。そのため、追尾対象がフレーム間で突然離れた位置に現れることが無い。従って、処理ステップＳ１７（追尾対象の設定）において、履歴に基づいて追尾対象候補Ｏ_Ｄ〜Ｏ_Ｆの動きベクトルが推定され、その推定結果に基づいて追尾対象候補Ｏ_Ｄ〜Ｏ_Ｆの中から被写体Ｏ_Ｄが追尾対象として設定される（図４（ｂ）参照）。

【0057】

・撮影例３（望遠撮影例）
本撮影例３では、望遠時において追尾対象がパン撮影されている。そのため、処理ステップＳ１９（追尾対象の設定）において、追尾対象候補Ｏ_Ｄ〜Ｏ_Ｆの中から、撮影範囲内の所定領域（ここでは中央領域）に写る被写体Ｏ_Ｄが追尾対象として設定される（図４（ｃ）参照）。

【0058】

・撮影例４（望遠撮影例）
本撮影例４では、望遠時において追尾対象がパン撮影されているが、手振れ等の発生によってその位置が大きく変わっている。そのため、処理ステップＳ２０（追尾対象の設定）において、追尾対象テンプレート画像に類似度が最も高い被写体Ｏ_Ｄが追尾対象として設定される（図４（ｄ）参照）。

【0059】

このように、本発明の一実施形態によれば、追尾対象テンプレート画像と各被写体の画像との類似度に拘わらず、そのときの撮影状態に適した方法で追尾対象が設定される。そのため、本来の追尾対象と類似する被写体が多い場合であっても、追尾対象の誤検出が避けられる。

【0060】

以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本発明の実施形態に含まれる。

【符号の説明】

【0061】

１ 撮影装置
１００ システムコントローラ
１０２ 操作部
１０４ 駆動回路
１０６ 撮影レンズ
１０８ 絞り
１１０ シャッタ
１１２ 固体撮像素子
１１４ 信号処理回路
１１６ 画像処理エンジン
１１８ バッファメモリ
１２０ カード用インタフェース
１２２ ＬＣＤ制御回路
１２４ ＬＣＤ
１２６ ＲＯＭ
１２８ ジャイロセンサ
１３０ 加速度センサ
１３２ 地磁気センサ
１３４ ＧＰＳセンサ
２００ メモリカード

【図1】

【図2】

【図3】

【図4】