特許 7570837 被写体追尾装置および被写体追尾方法、撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-11

(45)【発行日】2024-10-22

(54)【発明の名称】被写体追尾装置および被写体追尾方法、撮像装置

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241015BHJP

   H04N 23/63 20230101ALI20241015BHJP

   G03B 15/00 20210101ALI20241015BHJP

   G02B 7/28 20210101ALI20241015BHJP

   H04N 23/61 20230101ALI20241015BHJP

   G03B 5/00 20210101ALN20241015BHJP

【ＦＩ】

H04N23/60

H04N23/63 300

G03B15/00 Q

G02B7/28 Z

H04N23/61

G03B5/00 J

【請求項の数】 23

(21)【出願番号】P 2020116449

(22)【出願日】2020-07-06

(65)【公開番号】P2022022767

(43)【公開日】2022-02-07

【審査請求日】2023-07-06

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(72)【発明者】

【氏名】青山 祐三

(72)【発明者】

【氏名】山崎 龍弥

【審査官】眞岩 久恵

(56)【参考文献】

【文献】特開２０１８－０６６８８９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／００－２３／９５９

Ｈ０４Ｎ ５／２２２－５／２５７

Ｇ０３Ｂ １５／００－１５／１６

Ｇ０２Ｂ ７／２８－７／４０

Ｇ０３Ｂ ５／００－５／０８

Ｇ０６Ｔ １／００－１／４０

Ｇ０６Ｔ ３／００－７／９０

Ｇ０６Ｖ １０／００－２０／９０

(57)【特許請求の範囲】

【請求項1】

撮像された画像から被写体を検出して追尾制御を行う被写体追尾装置であって、
前記画像の画像信号を取得する取得手段と、
前記画像内の画像領域から被写体を検出する第１の検出手段と、
取得された前記画像信号から前記被写体の動きベクトルを検出する第２の検出手段と、
検出された前記被写体の動きベクトルから前記被写体の運動を認識し、検出された複数の被写体から決定した主被写体の追尾制御を行う制御手段と、を備え、
前記制御手段は、検出された前記複数の被写体が同一方向に運動しているか否かの判定と、検出された前記複数の被写体が不規則運動であるか否かの判定を行う
ことを特徴とする被写体追尾装置。

【請求項2】

前記制御手段は、前記複数の被写体の運動が直線運動であって、かつ集団運動であると判定した場合、検出された前記複数の被写体から前記主被写体を決定する処理を行う
ことを特徴とする請求項１に記載の被写体追尾装置。

【請求項3】

前記制御手段は、前記複数の被写体の数が閾値以上である場合、集団運動であると判定し、検出された前記複数の被写体から前記主被写体を決定する処理を行う
ことを特徴とする請求項２に記載の被写体追尾装置。

【請求項4】

前記制御手段は、前記集団運動を行う複数の被写体のうち、運動方向の先頭または最後尾の被写体を前記主被写体として決定する処理を行う
ことを特徴とする請求項２または請求項３に記載の被写体追尾装置。

【請求項5】

前記制御手段は、検出された第１の被写体を選択し、運動方向が前記第１の被写体の運動方向と同じである複数の被写体の集団運動であるかどうかを判定し、前記集団運動であると判定した場合、前記集団運動の運動方向の先頭である第２の被写体を前記主被写体として決定する処理を行う
ことを特徴とする請求項２または請求項３に記載の被写体追尾装置。

【請求項6】

前記制御手段は、検出された前記被写体の種別を判定し、運動を行う複数の被写体の種別が同じである場合に前記複数の被写体から１つの被写体を前記主被写体として決定する処理を行う
ことを特徴とする請求項１から５のいずれか１項に記載の被写体追尾装置。

【請求項7】

前記制御手段は、検出された複数の被写体が静止状態であるか、または前記運動が不規則運動であると判定した場合、前記第１の被写体を前記主被写体として決定し、追尾対象に設定する処理を行う
ことを特徴とする請求項５に記載の被写体追尾装置。

【請求項8】

前記制御手段は、検出された前記被写体の画像領域のサイズ、位置、または前記動きベクトルの変化量から、前記複数の被写体の運動方向の先頭である被写体を前記主被写体として決定する処理を行う
ことを特徴とする請求項１から７のいずれか１項に記載の被写体追尾装置。

【請求項9】

前記制御手段は、前記動きベクトルまたは前記被写体の顔の向きを示す情報から前記被写体の運動方向を判定して前記主被写体を決定する処理を行う
ことを特徴とする請求項１から７のいずれか１項に記載の被写体追尾装置。

【請求項10】

前記制御手段は、追尾対象である主被写体を見失ったロスト状態であるかどうかを判定し、前記主被写体がロスト状態でないと判定した場合、前記画像内の前記主被写体の位置に対応する第１の表示枠を表示する制御を行い、前記主被写体がロスト状態であると判定した場合、前記第１の表示枠を第２の表示枠に変更する制御を行う
ことを特徴とする請求項１から９のいずれか１項に記載の被写体追尾装置。

【請求項11】

前記制御手段は、装置の振れを検出する振れ検出手段の検出信号、および前記動きベクトルを用いて前記主被写体の追尾状態を判断し、前記第２の表示枠の表示を継続するか否かを判断する
ことを特徴とする請求項１０に記載の被写体追尾装置。

【請求項12】

前記制御手段は、前記第２の表示枠とともに、当該第２の表示枠の表示を継続する時間を表示する制御を行う
ことを特徴とする請求項１０または請求項１１に記載の被写体追尾装置。

【請求項13】

前記制御手段は、前記主被写体がロスト状態になったと判定した後、次に前記主被写体が出現する位置を予測し、予測した位置に第３の表示枠を表示する制御を行う
ことを特徴とする請求項１０から１２のいずれか１項に記載の被写体追尾装置。

【請求項14】

前記制御手段は、フレームアウトにより前記主被写体のロスト状態が発生したと判定した場合、前記ロスト状態が発生した時点から予め定められた時間が経過しない間、前記第２の表示枠の表示を継続し、前記主被写体が再検出された場合に前記第１の表示枠を表示する制御を行う
ことを特徴とする請求項１０から１３のいずれか１項に記載の被写体追尾装置。

【請求項15】

前記制御手段は、前記主被写体が遮られたことでロスト状態が発生し、その後に前記主被写体の追尾が可能であると判定した場合、前記ロスト状態が発生したときから予め定められた時間が経過しない間、前記第２の表示枠の表示を継続し、前記主被写体が再検出された場合に前記第１の表示枠を表示する制御を行う
ことを特徴とする請求項１０から１３のいずれか１項に記載の被写体追尾装置。

【請求項16】

前記制御手段は、前記主被写体が検出不能になったことでロスト状態が発生したと判定した場合、前記ロスト状態が発生してから予め定められた時間が経過しない間、前記第２の表示枠の表示を継続し、前記主被写体が再検出された場合に前記第１の表示枠を表示する制御を行う
ことを特徴とする請求項１０から１３のいずれか１項に記載の被写体追尾装置。

【請求項17】

前記制御手段は、前記ロスト状態が発生した時点からの時間を計測する計測手段を用いて、前記第２の表示枠が消去されるまでの時間を表示する制御を行う
ことを特徴とする請求項１０から１３のいずれか１項に記載の被写体追尾装置。

【請求項18】

前記制御手段は、前記主被写体が出現する位置を予測してから予め定められた時間が経過しない間、前記第３の表示枠の表示を継続し、前記主被写体が再検出された場合に前記第１の表示枠を表示する制御を行う
ことを特徴とする請求項１３に記載の被写体追尾装置。

【請求項19】

請求項１から１８のいずれか１項に記載の被写体追尾装置を備える撮像装置。

【請求項20】

前記主被写体の画像および前記画像内の前記主被写体の位置に対応する表示枠を表示する表示手段を備える
ことを特徴とする請求項１９に記載の撮像装置。

【請求項21】

撮像された画像から被写体を検出して追尾制御を行う被写体追尾装置であって、
前記画像の画像信号を取得する取得手段と、
前記画像内の画像領域から被写体を検出して前記被写体の検出情報を取得する第１の検出手段と、
取得された前記画像信号から前記被写体の動きベクトルを検出する第２の検出手段と、
検出された前記被写体の動きベクトルから前記被写体の運動を認識し、前記被写体の検出情報を用いて決定した主被写体の追尾制御を行う制御手段と、を備え、
前記制御手段は、運動する複数の被写体が検出された場合、運動方向の先頭である被写体を前記主被写体として決定する処理を行い、
前記制御手段は、追尾対象である主被写体を見失ったロスト状態であるかどうかを判定し、前記主被写体がロスト状態でないと判定した場合、前記画像内の前記主被写体の位置に対応する第１の表示枠を表示する制御を行い、前記主被写体がロスト状態であると判定した場合、前記第１の表示枠を第２の表示枠に変更する制御を行い、前記ロスト状態が発生した時点からの時間を計測する計測手段を用いて、前記第２の表示枠が消去されるまでの時間を表示する制御を行う
ことを特徴とする被写体追尾装置。

【請求項22】

撮像された画像から被写体を検出して追尾制御を行う被写体追尾装置にて実行される被写体追尾方法であって、
前記画像の画像信号を取得する取得工程と、
前記画像内の画像領域から被写体を検出し、前記画像信号から前記被写体の動きベクトルを検出する検出工程と、
検出された前記被写体の動きベクトルから前記被写体の運動を認識し、検出された複数の被写体から決定した主被写体の追尾制御を行う制御工程と、を有し、
前記制御工程では、検出された前記複数の被写体が同一方向に運動しているか否かの判定と、検出された前記複数の被写体が不規則運動であるか否かの判定が行われる
ことを特徴とする被写体追尾方法。

【請求項23】

撮像された画像から被写体を検出して追尾制御を行う被写体追尾装置にて実行される被写体追尾方法であって、
前記画像の画像信号を取得する取得工程と、
前記画像内の画像領域から被写体を検出して被写体の検出情報を取得し、前記画像信号から前記被写体の動きベクトルを検出する検出工程と、
検出された前記被写体の動きベクトルから前記被写体の運動を認識し、前記被写体の検出情報を用いて決定した主被写体の追尾制御を制御手段が行う制御工程と、を有し、
前記制御工程にて、
前記制御手段は、運動する複数の被写体が検出された場合、運動方向の先頭である被写体を前記主被写体として決定する処理を行い、
前記制御手段は、追尾対象である主被写体を見失ったロスト状態であるかどうかを判定し、前記主被写体がロスト状態でないと判定した場合、前記画像内の前記主被写体の位置に対応する第１の表示枠を表示する制御を行い、前記主被写体がロスト状態であると判定した場合、前記第１の表示枠を第２の表示枠に変更する制御を行い、前記ロスト状態が発生した時点からの時間を計測する計測手段を用いて、前記第２の表示枠が消去されるまでの時間を表示する制御を行う
ことを特徴とする被写体追尾方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動体である複数の被写体から特定の被写体（主被写体）を決定して追尾する技術に関する。

【背景技術】

【0002】

被写体追尾機能を有するデジタルカメラ等の撮像装置は、撮像素子から連続的に出力される画像信号を用いて被写体の検出と追尾が可能である。検出された被写体に対して自動焦点合わせが行われ、明るさや色等を好適な状態に調整して被写体を撮像することができる。検出対象となる一般的な被写体は、人物の顔や人体、犬猫等の動物、自動車やオートバイ等の乗り物である。複数の被写体が検出された場合に、撮影者の意思に基づいて選択された被写体を追尾して合焦状態で撮影するための技術が提案されている。

【0003】

特許文献１では、簡単な操作で人物の顔を追尾対象として設定可能なオートフォーカスシステムが開示されている。撮影者がフォーカス操作を行うと撮影画面中のベストピント範囲が検出され、ベストピント範囲に被写体となる人物の顔が存在する場合、その被写体の自動追尾が行われる。また特許文献２では、時系列の撮像画像の情報から適切な追尾対象を指定する技術が開示されている。撮影画面中に第１領域と、第１領域を内包する第２領域とが設定され、追尾対象が第２領域外に検出される状態が所定時間継続した場合、第１領域に含まれる被写体から新たな追尾対象が指定される。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１１－１３３８２１号公報

【文献】特開２０１５－１２４９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来技術では、競走等のスポーツ撮影で想定される複数の被写体がはげしく運動する撮影シーンにおいて、撮影者が撮影を意図する被写体を追尾することが困難である。追い抜きによって競技の主役が常に移り変わるスポーツ撮影においては、時々刻々と変化する状況に応じた被写体の追尾制御が求められる。
本発明の目的は、複数の動体の撮影において追尾対象を動的に決定することが可能な被写体追尾装置を提供することである。

【課題を解決するための手段】

【0006】

本発明の実施形態の装置は、撮像された画像から被写体を検出して追尾制御を行う被写体追尾装置であって、前記画像の画像信号を取得する取得手段と、前記画像内の画像領域から被写体を検出する第１の検出手段と、取得された前記画像信号から前記被写体の動きベクトルを検出する第２の検出手段と、検出された前記被写体の動きベクトルから前記被写体の運動を認識し、検出された複数の被写体から決定した主被写体の追尾制御を行う制御手段と、を備える。前記制御手段は、検出された前記複数の被写体が同一方向に運動しているか否かの判定と、検出された前記複数の被写体が不規則運動であるか否かの判定を行う。

【発明の効果】

【0007】

本発明によれば、複数の動体の撮影において追尾対象を動的に決定することが可能な被写体追尾装置を提供することができる。

【図面の簡単な説明】

【0008】

【図1】第１実施形態の撮像装置の構成を示すブロック図である。

【図2】第１実施形態の主被写体決定処理を説明するフローチャートである。

【図3】至近方向の直線運動パターンの主被写体決定処理を説明する図である。

【図4】水平方向の直線運動パターンの主被写体決定処理を説明する図である。

【図5】被写体の動きパターン認識処理を説明するフローチャートである。

【図6】被写体の動きベクトルと運動パターンの関係を説明する図である。

【図7】スポーツ撮影における主被写体の決定上の課題を説明する図である。

【図8】第２実施形態の撮像装置の構成を示すブロック図である。

【図9】第２実施形態の撮像装置の動作を説明するフローチャートである。

【図10】フレームアウト時の枠制御を説明するフローチャートである。

【図11】遮り時の枠制御を説明するフローチャートである。

【図12】検出不能時の枠制御を説明するフローチャートである。

【図13】第２実施形態の変形例１の動作を説明するフローチャートである。

【図14】枠表示の例を示す図である。

【図15】第２実施形態の変形例２の動作を説明するフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。各実施形態の説明の前に、撮像装置が備える被写体追尾装置により、スポーツ撮影における主被写体を決定する上での技術的な課題を説明する。

【0010】

図７は陸上競技における複数の走者を正面から撮影する場面の画像を模式的に示す図である。各被写体の運動方向は至近方向（撮像装置に近づく方向）である。画面全域において被写体の検出および追尾が可能であって、複数の被写体のうち画面中央に近い被写体を追尾対象の主被写体として決定するシステムを想定する。陸上競技の撮影シーンにおいては多くの場合、撮影者が撮影を意図する被写体は先頭走者である。そのため先頭の被写体を自動で認識して追尾制御を行うことが求められる。

【0011】

図７（Ａ）は、競争中の被写体Ａ～Ｄを撮影した画像例を示す。４者のうち被写体Ｂが先頭を走っている状態であり、被写体Ｂの位置が画面中央に一番近い。よって被写体Ｂが主被写体に決定されており、撮影者の意思に沿った被写体の追尾ができている状況である。

【0012】

図７（Ｂ）は、図７（Ａ）の画像の撮影時点から一定時間の経過後に撮影された画像例を示す。被写体Ｄは被写体Ｂを追い抜いて先頭走者となっており、撮影者が撮影を意図する主たる対象は被写体Ｄに切り替わっている。それに対して、被写体Ｂは依然として画面中央近くの位置に存在して主被写体であり続ける。そのため、撮影者が撮影したい被写体Ｄの追尾を行うことができない。

【0013】

図７では競争する複数の走者を正面から撮影するシーンの例を示しているが、複数の被写体を横方向や斜め方向から撮影する状況においても正しく先頭走者を追尾する制御が求められる。このように、画面内での被写体の位置や領域を基準として主被写体を決定する方法だけでは、複数の被写体が運動する撮影シーンに適した被写体の追尾は困難である。複数の被写体が接近した状態で追い抜き動作が起こることで、競技の主役が常に移り変わるスポーツ撮影においては、短時間に変化する状況に応じた被写体の追尾が求められる。

【0014】

本発明の実施形態では、複数の被写体が運動する場面において撮影者の意思に沿った被写体を追尾対象に決定することが可能な被写体追尾装置を備える撮像装置の例を示す。

【0015】

［第１実施形態］
図１は本実施形態に係る撮像装置１の構成を示すブロック図である。本実施形態では交換レンズ１００およびカメラ本体部（以下、単に本体部という）１２０から構成される撮像システムの例を示す。これに限らず、レンズユニットが本体部と一体化されたデジタルカメラ、ビデオカメラ、銀塩スチルカメラや、撮像機能を有するスマートホン等の携帯機器に適用可能である。以下では被写体側を前側と定義して各部の位置関係を説明する。

【0016】

交換レンズ１００は撮影レンズユニット１０１を備える。撮影レンズユニット１０１は前側から順に主撮像光学系１０２、ズームレンズ群１０３、シフトレンズ群１０４を備える。主撮像光学系１０２は複数のレンズから構成される。ズームレンズ群１０３は焦点距離を変更可能なレンズ群である。シフトレンズ群１０４は、撮像装置１の振れによる光軸に対する像ブレを補正する像ブレ補正系を構成するレンズ群である。例えばシフトレンズ群１０４は、撮像光学系の光軸と垂直する方向に移動することにより光学的に像ブレを補正する。

【0017】

ズームエンコーダ１０５はズームレンズ群１０３の位置検出を行い、位置検出信号をレンズシステム制御用マイクロコンピュータ（以下、レンズ制御部という）１１３に出力する。角速度センサ１１１は撮像装置１の振れを検出し、振れ検出信号である角速度信号をアンプ１１２に出力する。アンプ１１２は角速度センサ１１１の出力を増幅してからレンズ制御部１１３に出力する。

【0018】

位置センサ１０６はシフトレンズ群１０４の位置検出を行い、位置検出信号をアンプ１１５に出力する。アンプ１１５は位置センサ１０６の出力を増幅してからレンズ制御部１１３に出力する。レンズ制御部１１３はシフトレンズ群１０４の位置検出信号に基づき、ドライバ１１４を介してシフトレンズ群１０４の駆動制御を行う。

【0019】

交換レンズ１００は本体部１２０との接続用のマウント接点部１１６を備える。本体部１２０にはマウント接点部１６１が設けられている。交換レンズ１００が本体部１２０に装着された状態にてレンズ制御部１１３はマウント接点部１１６，１６１を介して、本体部１２０内のカメラシステム制御用マイクロコンピュータ（以下、カメラ制御部という）１３２と通信可能である。

【0020】

本体部１２０は、シャッタ１２１、ＣＭＯＳ（相補型金属酸化膜半導体）イメージセンサ等の撮像素子１２２、アナログ信号処理回路（ＡＦＥ）１２３、カメラ信号処理回路１２４を備える。アナログ信号処理回路１２３は撮像素子１２２の出力信号を取得してアナログ信号処理を行い、カメラ信号処理回路１２４に出力する。カメラ信号処理回路１２４は、被写体検出部１４１、動きベクトル検出部１４２を備える。被写体検出部１４１は画像信号に基づいて被写体の検出を行う。動きベクトル検出部１４２は撮像時刻の異なる複数の画像信号に基づいて横方向、縦方向、至近方向の動きベクトルの検出を行う。

【0021】

また本体部１２０はタイミングジェネレータ（ＴＧ）１２５、カメラ操作部１３１を備える。タイミングジェネレータ１２５は、撮像素子１２２やアナログ信号処理回路１２３の動作タイミングを設定する。カメラ操作部１３１は、電源スイッチ、レリーズスイッチ、撮影用の設定変更操作を行うためのスイッチ等を備え、操作入力信号をカメラ制御部１３２に出力する。

【0022】

カメラ制御部１３２は撮像装置１の制御を統括する。カメラ制御部１３２は、シャッタ制御部１５１、自動合焦制御部１５２、被写体追尾制御部１５３を備える。シャッタ制御部１５１はシャッタ１２１の動作制御を行う。ドライバ１３３はシャッタ制御部１５１からの制御信号にしたがって、シャッタ動作を行わせるためのシャッタ駆動用モータ１３４の駆動を行う。自動合焦制御部１５２はレンズ制御部１１３に制御指令信号を送信して撮像光学系の焦点調節制御を行う。被写体追尾制御部１５３は主被写体の決定や追尾制御等を行う。動体である主被写体を検出して画角内に捉える被写体追尾技術については各種の方法が知られている。カメラ制御部１３２の各制御部が行う処理は、カメラ制御部１３２が備えるＣＰＵ（中央演算処理装置）が所定のプログラムを実行することにより実現される。

【0023】

本体部１２０は交換レンズ１００とのマウント接点部１６１を備える。カメラ制御部１３２とレンズ制御部１１３は、マウント接点部１１６，１６１を介して所定のタイミングで相互にシリアル通信が可能である。

【0024】

メモリカード１７１は撮影された映像のデータを記憶する記憶媒体を有する。表示部１７２は液晶パネル（ＬＣＤ）等の表示デバイスを備える。表示部１７２は撮影対象の画像のモニタ表示や、撮影された被写体の画像等の表示を行う。

【0025】

次に、撮像装置１の動作について説明する。カメラ操作部１３１が操作されて撮像装置１が電源ＯＮの状態になると、その状態変化をカメラ制御部１３２が検出する。カメラ制御部１３２は撮像システムを構成する各回路部への電源供給および初期設定を行う。交換レンズ１００が本体部１２０に装着されてマウント接点部１１６，１６１が電気的に接続された状態にて、本体部１２０から交換レンズ１００への電源供給が行われ、レンズ制御部１１３は交換レンズ１００の初期設定を行う。その後、レンズ制御部１１３とカメラ制御部１３２との間で所定のタイミングで通信が開始される。

【0026】

カメラ信号処理回路１２４において、被写体検出部１４１は撮像素子１２２により取得される画像信号から被写体を検出し、動きベクトル検出部１４２は撮像時刻の異なる複数の画像から動きベクトルを検出する。

【0027】

被写体追尾制御部１５３が追尾対象とする主被写体を決定すると、表示部１７２は映像とともに主被写体の枠を表示する。撮影者は、表示枠に基づいて主被写体を視認しつつ、撮影動作を開始させる。カメラ操作部１３１はレリーズ釦の操作によってオン・オフする２段階式のレリーズスイッチを有する。ユーザがレリーズ釦の半押し操作を行うと、自動合焦制御部１５２からレンズ制御部１１３を通して交換レンズ１００の制御が行われる。レンズ制御部１１３は撮像光学系を構成する不図示のフォーカスレンズを制御し、主被写体に焦点を合わせて合焦状態とする。そしてユーザがレリーズ釦の全押し操作を行うと、シャッタ制御部１５１はシャッタ１２１を制御して撮影処理が行われる。アナログ信号処理回路１２３は撮像素子１２２の出力信号を取得して信号処理を行い、カメラ信号処理回路１２４が処理した画像データは表示部１７２により表示され、またメモリカード１７１に記憶される。

【0028】

次に、陸上競技等に代表される、複数の被写体が直線的な運動を行う撮影シーンを例示して、より撮影者の意思に沿う被写体の決定を可能にする主被写体決定処理について説明する。

【0029】

図２は、主被写体決定処理を説明するフローチャートである。本処理開始のタイミングは、例えばカメラの電源がＯＮされて画像信号がカメラ信号処理回路１２４に出力されたタイミングである。あるいはカメラ操作部１３１により主被写体を選択する操作を受け付けてから処理が開始されてもよい。

【0030】

Ｓ２０１で、被写体検出部１４１は撮像素子１２２から出力された画像信号に基づいて画像内に含まれる被写体の画像領域を検出して被写体検出情報を生成する。被写体検出情報としては被写体の種別（人物・動物・乗り物）や部位（瞳・顔・体）および位置とサイズ等の情報がある。

【0031】

Ｓ２０２で、動きベクトル検出部１４２は画像全体に含まれる被写体像の動きベクトルの大きさと向きを検出する。動きベクトルの検出処理は、現在の画像信号とその直前の画像信号とのブロックマッチング結果、画像にかかわるデフォーカス量、および被写体検出部１４１が生成した被写体検出情報に基づいて行われる。

【0032】

Ｓ２０３で、被写体追尾制御部１５３は、後述する被写体の動きパターン認識処理により検出された全ての被写体の運動パターンを認識する。被写体の運動パターンに関しては水平方向の直線運動、垂直方向の直線運動、至近方向の直線運動等が検出される。なお、運動パターンには静止状態も含まれるものとする。

【0033】

Ｓ２０４で、被写体追尾制御部１５３はＳ２０１で生成された被写体検出情報から主被写体を決定する。主被写体の判定方法については特定の方法に限定されない。例えば、被写体の種別情報に基づく方法、被写体サイズが大きい被写体を優先する方法、あるいは、被写体位置が画面中央に近い被写体を優先する方法等がある。被写体追尾制御部１５３は撮影状態や撮影モードの設定に適した主被写体判定を行う。

【0034】

Ｓ２０５で、被写体追尾制御部１５３は、Ｓ２０４の主被写体決定処理により主被写体を見つけることができたか否かを判定する。主被写体が存在しないと判定された場合、追尾可能な主被写体を発見できなかったため、処理を終了する。また主被写体が存在すると判定された場合にはＳ２０６の処理に進む。

【0035】

Ｓ２０６で、被写体追尾制御部１５３は、Ｓ２０３で認識された主被写体の運動パターンが直線運動であるか否かを判定する。主被写体の運動が直線運動でないと判定された場合、競走中の運動シーンではないと判断される。この場合には、Ｓ２０４で決定された主被写体の追尾を行うためにＳ２１２に遷移する。Ｓ２１２で、被写体追尾制御部１５３は主被写体を追尾対象に設定して処理を終了する。

【0036】

一方、Ｓ２０６で、主被写体の運動が直線運動であると判定された場合、Ｓ２０７に処理を進める。Ｓ２０７の処理は、競走中の運動シーンであるか否かを判断する処理である。Ｓ２０７で、被写体追尾制御部１５３は同一方向の直線運動をしている被写体が所定数以上存在するか否か、つまり運動方向が同じである被写体の数が閾値以上かどうかを判定する。所定数は被写体の数を判定するための閾値であり、固定値または競技等に応じた可変値である。同じ運動パターンをもつ所定数以上の被写体が存在すると判定された場合、競走を行っている集団運動シーンであると判断される。この場合、Ｓ２０８の処理に進む。また同じ運動パターンをもつ被写体の数が所定数未満であると判定された場合には、Ｓ２０９の処理に進む。

【0037】

競争する複数の被写体の判定において、複数の被写体の種別は同じであるという特徴がある（人は人と競走する）。よって、主被写体（例えば人）と異なる種別（例えば犬）の被写体は集団運動シーンの判定対象から除外される。

【0038】

Ｓ２０８で、被写体追尾制御部１５３は所定のフラグ（以下、集団運動シーン判定フラグという）をTRUE（真値）に設定する。Ｓ２０９では、集団運動シーン判定フラグがFALSE（偽値）に設定される。Ｓ２０８またはＳ２０９の処理後、Ｓ２１０の処理に進む。

【0039】

Ｓ２１０で、被写体追尾制御部１５３は現在競走中の運動シーンに関して、集団運動シーンであるか否かを判定する。集団運動シーン判定フラグの値がFALSEである場合、Ｓ２１２の処理に進み、現在の主被写体の追尾制御が続行される。また集団運動シーン判定フラグの値がTRUEである場合には、Ｓ２１１の処理に進む。これは、現在の運動シーンの状態に適した主被写体の再選択を行うためである。

【0040】

Ｓ２１１で、被写体追尾制御部１５３は同一方向に直線運動をしている複数の被写体のうちで、運動方向の最も先頭にいる被写体の判定を行う。被写体追尾制御部１５３は最も先頭の被写体を主被写体に決定する。Ｓ２１２で、被写体追尾制御部１５３は決定した主被写体を追尾対象に設定してから一連の処理を終了する。

【0041】

図３は、複数の被写体が至近方向の直線運動をしている集団運動のシーンを模式的に示す図である。左側の図は被写体Ａ～Ｅの画像例を示し、その右側には被写体ごとの運動パターン、顔サイズ、至近順位を示す。被写体Ａ～Ｄは至近方向へ集団運動している被写体（例えば走者）である。被写体Ｅは静止している被写体（審判員等）である。集団運動が至近方向であるので、直線運動をしている最も至近の被写体が先頭の被写体と判定され、主被写体に決定される。ただし、最至近の被写体Ｅは静止状態であるため、主被写体の対象から除外される。主被写体決定処理では、被写体の顔サイズやデフォーカス量に基づいてどの被写体が至近であるかが判定される。被写体追尾制御部１５３は、最至近に位置すると判定した運動中の被写体Ｄを主被写体として決定する。

【0042】

図４は、複数の被写体が右方向の直線運動をしている集団運動のシーンを模式的に示す図である。左側の図は被写体Ａ～Ｄの画像例を示し、その右側には被写体ごとの運動パターンと、画面右端からの位置の順位を示す。被写体Ａ～Ｄは右方向へ集団運動している被写体である。集団運動の方向が右方向であるので、最も右の位置に存在する被写体Ｄが先頭の被写体と判定され、主被写体に決定される。ここで、本実施形態では、スポーツ撮影シーンでトップを進む人を捉えるという目的で運動方向の最も先頭にいる被写体を主被写体として決定しているが、本発明は同目的または同制御に限らない。例えば被写体集団の運動方向の先頭を一番大きく、順に小さく重みを付けて他の判定条件（顔あるいは全身が検出できているか否か、中央付近、過去別の被写体を追い続けていたという情報など）と併せて総合的な評価で主被写体を決定してもよい。また、例えば集団から遅れを取っている被写体などを捉える目的で、運動方向の最後尾の被写体を主被写体として決定したり、主被写体評価のための重みを大きく付けたりしてもよい。このように、本発明は複数の被写体が示す集団の運動方向に基づいて主被写体を決定する制御であれば種々の制御が含まれる。

【0043】

図５のフローチャートおよび図６を参照して、被写体の動きパターン認識処理（図２：Ｓ２０３）について説明する。図６は、所定期間に１つの被写体の動きベクトルがどのように時系列で変化したかを、被写体の運動パターンごとに表現した図である。横軸は時間経過を表し、縦軸は被写体の動きベクトル量を表している。

【0044】

まずＳ３０１では、連続する所定期間分の画面内の３方向の被写体の動きベクトル情報がそれぞれ取得される。３方向は、水平方向（Ｘ方向）と垂直方向（Ｙ方向）と至近方向である。図６には、連続する５フレームにわたって取得された被写体の動きベクトル情報が使用される例を示す。

【0045】

Ｓ３０２では、所定期間内の至近方向の動きベクトルがすべて閾値（βと記す）以上であるか否について判定処理が行われる。所定期間内の至近方向の動きベクトルがすべて閾値β以上であると判定された場合、Ｓ３０３に遷移する。また、所定期間内の至近方向の動きベクトルのいずれかが閾値β以上でないと判定された場合、Ｓ３０６に遷移する。

【0046】

Ｓ３０３で、所定期間内の水平方向と垂直方向の動きベクトルがすべて閾値（αと記す）以下であるか否について判定処理が行われる。所定期間内の水平方向と垂直方向の動きベクトルがすべて閾値α以下であると判定された場合には図６（Ａ）の状態である。この場合、Ｓ３０４の処理に進んで、被写体の運動パターンを至近方向の直線運動とする設定処理が実行される。また、所定期間内の水平方向と垂直方向の動きベクトルのいずれかが閾値α以下でないと判定された場合にはＳ３０５の処理に進む。図６（Ｄ）のように被写体の動きは直線的でない不規則な動きであるため、Ｓ３０５では、被写体の運動パターンを不規則運動とする設定処理が実行される。

【0047】

Ｓ３０６では、所定期間内の水平方向の動きベクトルがすべて閾値β以上であるか否かについて判定処理が行われる。所定期間内の水平方向の動きベクトルがすべて閾値β以上であると判定された場合、Ｓ３０７に遷移する。また所定期間内の水平方向の動きベクトルのいずれかが閾値β以上でないと判定された場合にはＳ３０９に遷移する。

【0048】

Ｓ３０７では、所定期間内の至近方向と垂直方向の動きベクトルがすべて閾値α以下であるか否かについて判定処理が行われる。所定期間内の至近方向と垂直方向の動きベクトルがすべて閾値α以下であると判定された場合には図６（Ｂ）の状態である。この場合、Ｓ３０８の処理に進んで、被写体の運動パターンを水平方向の直線運動とする設定処理が実行される。また所定期間内の至近方向と垂直方向の動きベクトルのいずれかが閾値α以下でないと判定された場合にはＳ３０５に遷移し、被写体の運動パターンを不規則運動とする設定処理が実行される。

【0049】

Ｓ３０９では、所定期間内の垂直方向の動きベクトルがすべて閾値β以上であるか否かについて判定処理が行われる。所定期間内の垂直方向の動きベクトルがすべて閾値β以上であると判定された場合、Ｓ３１０に遷移する。また、所定期間内の垂直方向の動きベクトルのいずれかが閾値β以上でないと判定された場合にはＳ３１２に遷移する。

【0050】

Ｓ３１０では、所定期間内の至近方向と水平方向の動きベクトルがすべて閾値α以下であるか否かについて判定処理が行われる。所定期間内の至近方向と水平方向の動きベクトルがすべて閾値α以下であると判定された場合、Ｓ３１１に遷移する。Ｓ３１１では被写体の運動パターンを垂直方向の直線運動とする設定処理が実行される。また、所定期間内の至近方向と水平方向の動きベクトルのいずれかが閾値α以下でないと判定された場合にはＳ３０５に遷移し、被写体の運動パターンを不規則運動とする設定処理が実行される。

【0051】

Ｓ３１２では、所定期間内の３方向の動きベクトルがすべて閾値α以下であるか否かについて判定処理が行われる。所定期間内の３方向の動きベクトルがすべて閾値α以下であると判定された場合には図６（Ｃ）の状態である。この場合、Ｓ３１３に遷移し、被写体の運動パターンを静止状態とする設定処理が実行される。また、所定期間内の３方向の動きベクトルのいずれかが閾値α以下でないと判定された場合にはＳ３０５に遷移し、被写体の運動パターンを不規則運動とする設定処理が実行される。Ｓ３０４、Ｓ３０５、Ｓ３０８、Ｓ３１１、Ｓ３１３の処理後に一連の処理を終了する。

【0052】

本実施形態によれば、複数の被写体が集団で同一方向の直線運動を行っているシーンにおいて、先頭の被写体を判定して該被写体を主被写体に決定することができる。これにより、陸上競技等に代表されるスポーツ撮影シーンでは、より撮影者の意思に沿う主被写体を決定可能な撮像装置を提供できる。なお、本発明の適用において前記形態に限られるものではない。例えば、先頭の被写体判定処理においては、被写体の画像領域のサイズおよび位置だけでなく動きベクトルの変化量や顔の表情等の各種情報を用いることができる。また直線運動方向の判定処理については動きベクトルだけでなく顔の向きを示す情報に使用することで、運動方向をより正確に判定することができる。

【0053】

［第２実施形態］
次に本発明の第２実施形態を説明する。人の顔や瞳、動物、乗り物等の検出および追尾機能を有し、運動シーン等において撮影者の意思に沿った主被写体の決定を可能にする撮像装置を例示する。撮像装置がどの被写体を撮影対象としているかを明らかにするために、追尾対象の被写体に対して顔枠、瞳枠、動物対応の枠等の表示を行うことが一般的である。撮影者は枠表示を見ることで、撮像装置が所望の被写体をきちんと捉えているかどうかを確認し、安心して撮影することができる。

【0054】

ところで、撮影対象の被写体を見失った状態（以下、ロスト状態という）にて、被写体に対する表示枠がすぐに消えてしまうと、ロスト状態が瞬間的である場合には、表示枠が消えた後ですぐにまた表示枠が表示されることになる。この現象が繰り返されると、ユーザによって非常に見苦しい表示となるので、被写体のロスト状態から追尾可能な状態に復帰する可能性のある保持時間を適切に設定する方法がある。

【0055】

ロスト状態でも枠表示を継続する時間は、被写体の種類や部位に対して一意的に決定されるものであり、撮影者の意図に必ずしも合致しない表示となる可能性がある。また、表示枠の継続または消去だけでは、撮影者に現在の状況を知らせることができない。撮影者は、現在の表示枠を見て被写体を追尾できているのか、あるいはロスト状態であるのかを判別できないので、このまま撮り続けていてもよいのかどうかの判断に迷う可能性がある。

【0056】

そこで本実施形態では、撮像装置の判断状況を撮影者に通知する処理、および撮影者の意図に沿った枠表示を行う処理について詳細に説明する。なお、本実施形態にて第１実施形態と同様の事項については既に使用した符号や記号を流用することで、それらの詳細な説明を省略し、主に相違点を説明する。

【0057】

図８は本実施形態に係る撮像装置１の構成例を示す図である。被写体の顔検出機能を有するミラーレスカメラの構成例を示す。本体部１２０に装着可能な交換レンズ１００の撮影レンズユニット１０１は、主撮像光学系１０２、絞り２０３、および焦点調節を行うフォーカスレンズ群２０４を備える。レンズ制御部１１３は、絞り２０３の動作を制御する絞り制御部２１２、フォーカスレンズ群２０４の動作を制御するフォーカスレンズ制御部２１３を備える。フォーカスレンズ群２０４は、フォーカスレンズ制御部２１３からの制御信号により撮影レンズユニット１０１の光軸方向に移動して焦点調節を行う。

【0058】

図８では図示の簡略化のため、交換レンズの例として単焦点レンズを示すが、焦点距離を変更可能なズームレンズの場合にレンズ制御部１１３は、ズームレンズ位置の検出用エンコーダの出力から焦点距離情報を取得する。像ブレ補正機能を有する交換レンズの場合、レンズ制御部１１３は像ブレ補正用のシフトレンズ群の駆動制御を行う。交換レンズ１００はマウント接点部１１６を介して本体部１２０と電気的に接続される。

【0059】

本体部１２０が備える撮像素子１２２は、撮像信号をアナログ信号処理回路１２３に出力する。アナログ信号処理回路１２３で処理された信号はカメラ信号処理回路１２４に送られる。カメラ制御部１３２は、撮影者によって操作されるレリーズスイッチ１８１等の操作入力信号にしたがって、シャッタ１２１の駆動を制御して撮像動作の制御を行う。レリーズスイッチ１８１の押下状態にしたがって、撮像された画像のデータがメモリカード１７１に記憶される。

【0060】

角速度センサ１２６は撮像装置１の本体部１２０の動きを検出するジャイロセンサである。カメラ制御部１３２は角速度センサ１２６の出力信号を取得し、振れ検出情報に応じてカメラの制御を行う。本実施形態では本体部１２０が角速度センサ１２６を備える例を示すが、交換レンズ１００が角速度センサを備える形態がある。また本体部１２０と交換レンズ１００がそれぞれ角速度センサを備える形態がある。

【0061】

表示部１７２は、撮影時の画像のモニタ表示を行い、また撮影後の画像を表示する表示デバイスを備える。タッチパネル１７３は撮影者がその手指やタッチペンにより表示部１７２における座標を指定可能な操作入力デバイスであり、表示部１７２の表示画面部と一体的に構成することができる。例えば、タッチパネル１７３は光の透過率が表示部１７２の表示を妨げない構成であり、表示部１７２の表示面の内部に組み込む内蔵型（インセル型）のデバイスである。タッチパネル１７３上の入力座標と、表示部１７２上の表示座標とが対応付けられることより、ＧＵＩ（グラフィカル・ユーザ・インターフェース）が構成される。ユーザは表示部１７２上に表示された画面を直接に操作しているような感覚で操作入力が可能である。タッチパネル１７３の操作状態のデータはカメラ制御部１３２により管理される。

【0062】

本体部１２０のカメラ制御部１３２と、交換レンズ１００のレンズ制御部１１３とは、マウント接点部１１６，１６１を介して所定のタイミングでシリアル通信を行う。例えばカメラ制御部１３２からレンズ制御部１１３へフォーカスレンズ駆動情報、絞り駆動情報等が送信され、またレンズ制御部１１３からカメラ制御部１３２へ焦点距離等の光学情報が送信される。

【0063】

カメラ信号処理回路１２４は、顔／頭部情報検出部２４１、距離情報取得部２４２、ベクトル検出部２４３を備える。顔／頭部情報検出部２４１は取得した画像信号に基づき、被写体の特定部位（顔や頭部等）の検出を行う。

【0064】

距離情報取得部２４２は、現在の焦点検出状態のピント面位置に対して、画面全体、あるいは所定の領域のデフォーカス量の分布を取得する。距離情報または被写体の奥行き方向の深さを表す深度情報の例として、像ずれ量マップ、デフォーカス量マップがある。像ずれ量マップは視点の異なる複数の視点画像から算出される。例えば瞳分割型撮像素子を用いた撮像面位相差検出方式では、複数のマイクロレンズと、各マイクロレンズに対応する複数の光電変換部を有する画素部から複数の画素信号を取得することにより、視点画像のデータを取得可能である。デフォーカス量マップは像ずれ量に所定の変換係数を乗算して算出される。デフォーカス量を被写体の距離情報に換算した距離マップや距離画像は、撮像画像に関連する距離分布を表す。距離画像の情報は、各画素の示す値が当該画素に対応する撮像画像の領域に存在する被写体の距離情報を表す２次元の情報である。距離情報取得部２４２は撮像画像に関連する距離分布や深度分布の情報を取得することができる。

【0065】

ベクトル検出部２４３は、画面を所定の数の領域に分割し、分割領域それぞれの動きベクトルを検出する。顔／頭部情報検出部２４１、距離情報取得部２４２、ベクトル検出部２４３がそれぞれ取得した情報はカメラ制御部１３２に送られる。

【0066】

カメラ制御部１３２は、対象被写体設定部２５１、被写体追尾制御部２５２、被写体の周辺情報確認部２５３、被写体情報確認部２５４、被写体ロスト判定部２５５、表示枠制御部２５６を備える。

【0067】

対象被写体設定部２５１は、顔／頭部情報検出部２４１が検出した顔／頭部情報に基づいて対象被写体（以下、主被写体ともいう）を設定する。被写体追尾制御部２５２は、対象被写体設定部２５１により設定された対象被写体の顔／頭部情報や、距離情報取得部２４２で取得された距離情報等を用いて対象被写体の追尾制御を行う。被写体の周辺情報確認部２５３は、距離情報取得部２４２で取得された情報から、対象被写体の周辺のデフォーカス情報を確認する処理を行う。被写体情報確認部２５４は、主被写体の検出／追尾状態を確認する処理を行う。

【0068】

被写体ロスト判定部２５５は、主被写体がロスト状態となったかどうかの判定処理を行う。表示枠制御部２５６は、検出および追尾している顔／頭部情報に対応する検出追尾枠を、表示部１７２の画面に表示する制御を行う。カメラ制御部１３２は、カメラ信号処理回路１２４から送られた顔／頭部情報の検出結果および距離情報の取得結果等に基づき、表示部１７２に表示する検出追尾枠の制御を行う。

【0069】

図９は、カメラ制御部１３２が行う動作を説明するフローチャートである。図９の処理は、主被写体である人物の顔（頭部）が一旦検出されると、その後にロスト状態に移行するまでの間、フレームごとの画像が生成されるたびに実行される。

【0070】

図９のＳ１２０１では撮像装置１の動きを確認する処理が行われる。角速度センサ１２６により撮像装置１の動き情報を取得して、この情報を用いて撮影者が撮像装置１をどのように動かしたかの確認処理が実行される。撮像装置１の動き情報は所定のメモリに記憶される。

【0071】

次のＳ１２０２でカメラ制御部１３２は、ベクトル情報等を使用して画角内の被写体の動きを確認する処理を行う。対象被写体設定部２５１は画角内の特定の被写体を設定し、その動き情報をメモリに記憶する。次のＳ１２０３で周辺情報確認部２５３は、主被写体、およびその周辺領域のデフォーカス量を確認する処理を行い、その変化の情報をメモリに記憶する。Ｓ１２０１～Ｓ１２０３で取得された情報は、被写体がロスト状態となった後の判断に使用される。Ｓ１２０３の次にＳ１２０４の処理に進む。

【0072】

Ｓ１２０４で被写体ロスト判定部２５５は、被写体がロスト状態となったかどうかを判定する。Ｓ１２０４でロスト状態と判定された場合、Ｓ１２０５の処理に進み、ロスト状態でないと判定された場合には、処理を終了する。

【0073】

Ｓ１２０５で表示枠制御部２５６は、被写体に対する枠の表示をロスト状態に対応する表示に変更する。例えば、表示されている枠の色が変更され、または、枠線が実線から破線に変更される。撮影者が表示枠の変更を識別可能であって、かつ表示部１７２の表示情報の視認性を損なわない方法であれば、どのような変更方法でも構わない。

【0074】

被写体のロスト状態の理由は３つに大別できる。第１の理由は撮影対象としている主被写体が画角外にフレームアウトした場合である。第２の理由は主被写体が障害物によって遮られた場合である。例としては撮影者の前を車両が横切った場合や、追尾対象の人物が建物の陰等に入り込んだ場合である。第３の理由は検出器の性能に起因する場合であり、主被写体の検出または追尾が不可能な状態となった場合である。例えば主被写体である人物が遠方へ離れたことにより、その顔画像の大きさが検出可能な最小サイズよりも小さくなった場合等である。ロスト状態の原因ごとに適切な制御が必要である。

【0075】

Ｓ１２０５の後、Ｓ１２０６へ進んで被写体ロスト判定部２５５は第１の理由に関し、主被写体がフレームアウトしたかどうかの判定処理を行う。この判定処理は、主被写体が画角の端に移動した上でロスト状態であるかどうかにより行うことができる。主被写体のフレームアウトが判定された場合、Ｓ１２０８の処理に進み、主被写体がフレームアウトしていないと判定された場合にはＳ１２０７の処理に進む。

【0076】

Ｓ１２０７で被写体ロスト判定部２５５は第２の理由に関し、被写体がロスト状態となった時の状況として、被写体が別の物体で遮られたかどうかを判定する。例えば、被写体のロスト位置が画角の中心位置から所定範囲内の場所であって、かつ被写体がロスト状態となった時に、被写体の周辺領域のデフォーカス量が急に至近側に変化したかどうかを確認することで判断できる。被写体が移動している状況でロスト状態となった場合については、被写体の移動方向のデフォーカス量の変化を検出することで判断できる。また、止まっている人物の前を、車両等が横切った場合については、当該人物の周辺領域でのデフォーカス量の変化を検出することで判断できる。被写体ロスト判定部２５５は、被写体の状況に応じてデフォーカス量を確認する位置を変更することで、主被写体の遮り状態を判定する。Ｓ１２０７にて、主被写体が遮られたことでロスト状態になったと判定された場合、Ｓ１２０９に進み、主被写体が遮られていないと判定された場合にはＳ１２１０の処理に進む。

【0077】

Ｓ１２０８で表示枠制御部２５６は、フレームアウト時のロスト状態に適した枠制御を行い、その後に一連の処理を終了する。またＳ１２０９で表示枠制御部２５６は、主被写体の遮蔽時のロスト状態、つまり主被写体が遮られたときの状況に適した枠表示制御を行う。その後、一連の処理を終了する。またＳ１２１０で表示枠制御部２５６は、主被写体の検出が不可能となった場合の枠表示制御を行う。Ｓ１２０７で主被写体が遮られていないと判定された場合には主被写体の検出が不可能な状況に変化したと判断されて（第３の理由）、Ｓ１２１０の処理が実行された後に一連の処理を終了する。

【0078】

図１０～図１２は被写体のロスト状況に応じた表示枠制御を説明するフローチャートである。図１０は主被写体のフレームアウトによりロスト状態が発生した場合の制御を説明するフローチャートである。図９のＳ１２０８（フレームアウト時の枠制御）の詳細な説明を行う。

【0079】

図１０のＳ１３０１は、撮影者が被写体を追っているかどうかの判定処理である。この判定処理は、図９のＳ１２０１で確認されたカメラの動きと、図９のＳ１２０２で確認された被写体の画角上の動きに基づいて行われる。例えば、撮影者が撮像装置１を動かしており、かつ主被写体の画像の位置変化が、撮像装置の動き量に対して小さい場合、撮影者が被写体を追尾していると判断することができる。また被写体がフレームアウトした時点まで被写体を追っていて、フレームアウト後に撮像装置１の動き方向が変化しない場合、撮影者が対象としていた被写体を追い続けていないと判断することができる。Ｓ１３０１で撮影者が撮像装置１で被写体を追尾している状態であると判定された場合、Ｓ１３０２の処理に進む。被写体を追尾している状態と判定されなかった場合にはＳ１３０６の処理に進む。

【0080】

Ｓ１３０２は、追尾していた主被写体が再検出されたか否かについての判定処理である。被写体情報確認部２５４は主被写体が再検出されたかどうかの確認処理を行う。主被写体が再検出されたと判定された場合、Ｓ１３０３の処理に進み、主被写体が再検出されなかったと判定された場合にはＳ１３０４の処理に進む。

【0081】

Ｓ１３０３で表示枠制御部２５６は再度、検出追尾枠を表示する制御を行ってから、処理を終了する。また、Ｓ１３０４では被写体のロスト状態が発生した後に所定時間が経過したかどうかについて判定処理が行われる。所定時間は、ロスト状態の継続時間に対する閾値時間である。Ｓ１３０４にて、ロスト状態の発生後に所定時間が経過していないと判定された場合、Ｓ１３０５の処理に進み、ロスト状態の発生後に所定時間が経過したと判定された場合にはＳ１３０８の処理に進む。

【0082】

Ｓ１３０５で表示枠制御部２５６はロスト状態の枠表示（枠固定表示）を継続してから、Ｓ１３０１の処理へ戻る。また、Ｓ１３０８で表示枠制御部２５６は枠表示の消去処理を行ってから、一連の処理を終了する。

【0083】

一方、Ｓ１３０６ではそれまで追尾していた主被写体とは別の被写体が新たに検出されたかどうかについて判定処理が行われる。別の被写体が検出されたと判定された場合、Ｓ１３０７の処理に進み、別の被写体が検出されなかったと判定された場合にはＳ１３０８の処理に進む。Ｓ１３０７で表示枠制御部２５６は、新たに検出された被写体に対して検出追尾枠を表示する制御を行ってから、一連の処理を終了する。

【0084】

以上のように、追尾していた主被写体のフレームアウトが発生した場合、撮影者がまだ主被写体を追っているか否かによって、再検出を待つか、または新たな被写体を探すかの処理へと直ちに切り替わる。したがって、より撮影者の意図に沿った表示枠に遷移させる制御を行うことができる。

【0085】

図１１は、被写体が別の物体等に遮られたことでロスト状態が発生した場合の制御を説明するフローチャートである。図９のＳ１２０９（遮り時の枠制御）の詳細な説明を行う。図１０で説明したフレームアウトにより主被写体のロスト状態が発生した場合と、主被写体が遮られた状態でロスト状態が発生した場合との主な違いは、後者の場合、ロスト状態となった主被写体の再検出が可能かどうかを判断できることである。図９のＳ１２０７で主被写体が遮られたかどうかの判定結果に対して、ロスト状態の発生前の主被写体が動いておらず、撮影者が撮像装置１を動かしていないとする。この状況では、主被写体の前を車両等が横切ったと推定されるので、主被写体が再度検出される可能性は高い。また、被写体を追って撮影者が撮像装置１を動かしている場合を想定する。撮像装置１の振れ方向のデフォーカス量が、画角の端まで至近側の値を示していれば、主被写体を遮っている物体が大きく、主被写体が再度検出されることはないと推定できる。

【0086】

図１１において、被写体が再度検出されるかどうかについての判断処理は、Ｓ１４０１およびＳ１４０２で行われる。これらの以外の処理については図１０と同じ処理が行われるので、図１０で使用したステップ番号を流用することにより、それらの詳細な説明を省略する。このような省略方法は後述のフローチャートにおいても同じである。

【0087】

図１１のＳ１４０１では、ロスト状態となる前に主被写体が動いていたかどうかについて判定処理が実行される。ロスト状態となる前に主被写体が動いていたと判定された場合、Ｓ１３０１の処理に進み、ロスト状態となる前に主被写体が動いていなかったと判定された場合にはＳ１３０２の処理に進む。Ｓ１３０１にて、被写体を追尾している状態であると判定された場合、Ｓ１４０２の処理に進み、被写体を追尾している状態でないと判定された場合にはＳ１３０６の処理に進む。

【0088】

Ｓ１４０２では、遮られている主被写体の状態から、ロスト状態となった主被写体を再び検出することが可能かどうかの判定処理が行われる。主被写体の再検出が可能であると判定された場合、Ｓ１３０２の処理に進み、再検出が可能でないと判定された場合にはＳ１３０６の処理に進む。

【0089】

Ｓ１３０２の処理に進む場合には、主被写体の検出を再度行うことが可能である。Ｓ１３０２では主被写体が再検出されたかどうかの判定処理が実行される。Ｓ１３０２以降の処理については図１０のフレームアウト時の枠制御における処理と同じであるので、詳細な説明を省略する。

【0090】

図１２は、検出可能な限界を超えたことにより被写体のロスト状態が発生した場合の制御を説明するフローチャートである。図９のＳ１２１０（検出不能時の枠制御）の詳細な説明を行う。図１２においても、主被写体の再検出が可能かどうかを判断できるので、図１２に示す処理の後半部は図１０と同様である。

【0091】

図１２のＳ１５０１では、ロスト状態となる前に主被写体が撮像装置１から遠ざかっていたかどうかの判定処理が行われる。主被写体が撮像装置１から遠ざかっているかどうかについては、距離情報取得部２４２が出力する主被写体の距離情報により判定可能である。ロスト状態となる前に主被写体が撮像装置１から遠ざかっていないと判定された場合、Ｓ１５０２の処理に進む。またロスト状態となる前に主被写体が撮像装置１から遠ざかっていたと判定された場合には、主被写体が検出限界を超えて遠くまで移動したと推定され、主被写体が再度検出されることはないと判断されてＳ１３０６の処理に進む。

【0092】

Ｓ１５０２では撮影者が撮像装置１で主被写体を追尾していたかどうかの判定処理が行われる。撮影者が撮像装置１で主被写体を追尾していた状態にて主被写体がロスト状態となった場合には、主被写体が突然検出できなくなったことを意味する。例えば、何らかの原因で偶然に検出ができない状態が発生して主被写体のロスト状態と起きたことが考えられる。つまりＳ１５０２で主被写体を追尾していた状態であると判定された場合には、主被写体を再度検出する可能性が高いと判断できるので、Ｓ１３０２の処理に進む。また、Ｓ１５０２において撮影者が撮像装置１で主被写体を追尾していた状態でないと判定された場合には、撮影者が別の被写体を撮影したいと判断できるので、Ｓ１３０６の処理に進む。Ｓ１３０２、Ｓ１３０６以降には図１０と同じ処理が実行される。

【0093】

以上の処理により、撮影者の意図に則した枠表示制御が可能である。撮影者が撮像装置で主被写体を追尾していると判定された場合には再検出を待ち、主被写体を追尾していないと判定された場合には、すぐに次の検出に備えることができる。

【0094】

本実施形態では、主被写体のロスト状態が発生した場合、ロスト状態の発生を撮影者に通知した後に、ロスト状況に応じて表示枠の制御を変更する。これにより、撮影者は現在の被写体の検出および追尾の状況を把握することができる。さらには、撮影者が撮像装置で主被写体を追っているかどうか、およびロスト状態となった条件に応じて、その後の枠表示制御が変更されるので、撮影者の意図に沿った枠表示を行うことが可能である。

【0095】

［第２実施形態の変形例１］
次に第２実施形態の変形例１について説明する。変形例１では、被写体のロスト状態の発生時に、撮影者の意図を汲んで撮像装置がロスト状態であることを示す枠を表示し続ける場合を想定する。この場合、あとどのくらい枠の表示が継続し、表示枠が表示されたままの状態になるかを撮影者に通知する処理が行われる。

【0096】

図１３は変形例１の動作を説明するフローチャートである。Ｓ１６０１～Ｓ１６０６の処理が図１０に対して追加されている。図１３におけるＳ１３０１～Ｓ１３０３およびＳ１３０５～Ｓ１３０８の処理については図１０と同じである。

【0097】

Ｓ１３０２にて被写体が再検出できていないと判定された場合、Ｓ１６０１の処理に進む。Ｓ１６０１でカメラ制御部１３２は、ロスト状態の継続時間を計測するロストタイマが動作中であるかどうかを判定する。ロストタイマが動作中でないと判定された場合、Ｓ１６０２の処理に進み、ロストタイマが動作中であると判定された場合にはＳ１６０４へ移行する。

【0098】

Ｓ１６０２でカメラ制御部１３２はロストタイマ値の設定処理を実行してから、Ｓ１６０３の処理に進む。Ｓ１６０２にてロストタイマの設定時間値は、例えば２秒程度であり、状況に応じて変更される。例えば、撮像装置１が主被写体を追尾している状態であると判断された場合であっても、主被写体の動き量（差分）が小さい程、再検出しやすくなる。そのようなときには、ロストタイマの設定時間値をさらに長く設定することができる。ここでの差分とは同一被写体に関する異なる時刻の画像間の位置の差分であり、画角内での被写体位置がどの程度の量で動いているかを算出可能である。カメラ制御部１３２は動き量をベクトル検出部２４３から取得して確認可能である。

【0099】

Ｓ１６０２の次に、Ｓ１６０３でロストタイマが動作を開始し、Ｓ１６０４の処理へ進む。ロストタイマの動作開始後、または既に動作中である場合には、Ｓ１６０４にてロスト状態の継続時間（ロスト時間）が設定値以下であるかどうかの判定処理が実行される。ロスト時間がロストタイマの設定値以下であると判定された場合、Ｓ１３０５の処理に進み、設定値を超えていると判定された場合にはＳ１３０８の処理に進む。Ｓ１３０５で表示枠制御部２５６はロスト状態の枠を表示する処理を行ったのち、Ｓ１６０５の処理に進んでロストタイマ値を表示する処理を行う。Ｓ１６０５の処理後にＳ１３０２へ移行する。

【0100】

一方、Ｓ１６０４でロスト時間がロストタイマの設定値を超えていると判定された場合、Ｓ１３０８の処理に進む。つまり、設定された時間が経過しても被写体が再検出できなかった場合には、それ以後に主被写体を再度検出できる可能性は低いと判断される。Ｓ１３０８で枠表示が消去されたのち、Ｓ１６０６の処理に進む。

【0101】

Ｓ１３０８の処理後、Ｓ１６０６でロストタイマのリセット処理およびタイマ値表示の消去処理が実行されてから、一連の処理を終了する。また、被写体が再検出されて、検出追尾状態を示す枠が表示された場合（Ｓ１３０３）と、新しい被写体に対する検出追尾枠が表示された場合（Ｓ１３０７）にもＳ１６０６でリセット処理および表示消去処理が実行される。

【0102】

図１４（Ａ）は表示例を示す模式図である。左側の図は主被写体の画像に検出追尾枠１４０１が重畳して表示された例を示す。中央の図は主被写体のロスト状態が発生し、主被写体の一部の画像とロスト状態の枠１４０２とロストタイマ値「６」が表示された例を示す。右側の図は主被写体のロスト状態が継続しており、ロスト状態の枠１４０２とロストタイマ値「１」が表示された例を示す。撮影者はダウンカウントで表示されるロストタイマ値の推移を見ながら、あとどのくらいの時間で枠が消えるかを把握できる。

【0103】

本変形例では、主被写体のロスト状態が発生した場合、その後に主被写体を再度発見する可能性が高い場合には、枠表示が消去されるまでの時間値が枠１４０２の近くに表示される。撮影者の意図（主被写体の撮影）に近い状態での表示が行われたうえで、さらに撮影者にとって使い勝手のよいタイマ値表示を提供できる。なお、一例としてフレームアウト時のロスト判定について説明したが、その他の理由に基づくロスト判定時についても同様である。

【0104】

［第２実施形態の変形例２］
次に第２実施形態の変形例２について説明する。変形例２では、変形例１に対して、一旦ロスト状態となった主被写体が次に、どのあたりに再度現れるかを予測して枠表示を行う処理を示す。

【0105】

撮影時に主被写体が別の物体の陰に入った場合を想定する。例えば主被写体が太い柱の後ろを横切る場合、主被写体が柱の裏にいる間にロスト状態が発生するが、主被写体が柱を通り過ぎたあとでは、再度検出および追尾が可能となる。この場合、カメラ制御部１３２は主被写体が再度検出可能な場所（画像内の位置）と時間を、主被写体までの距離、柱までの距離、柱の幅、主被写体の移動速度により予測することができる。

【0106】

図１５は、変形例２の動作を説明するフローチャートである。撮影対象である主被写体の予測処理は、主被写体が別の物体で遮られ、かつ主被写体が動いている状況に限定して行われる。そのため、図１５には図１１の処理の一部に予測処理（Ｓ１７０１～Ｓ１７０７）が追加されている。Ｓ１４０２、Ｓ１３０２、Ｓ１３０３、Ｓ１３０６～Ｓ１３０８の処理は図１１と同じ処理である。

【0107】

図１５のＳ１４０２でカメラ制御部１３２は、ロスト状態となった主被写体が再び出現する可能性があるかどうかを判定する。主被写体が再び出現する可能性があると判定された場合、Ｓ１７０１の処理に進み、その可能性がないか低い場合にはＳ１３０６の処理に進む。

【0108】

Ｓ１７０１でカメラ制御部１３２は、予測時間タイマが動作中かどうかについて判定処理を行う。予測時間タイマとは、主被写体が再び出現すると予測されるまでの時間を計測するタイマのことである。予測時間タイマが動作中でないと判定された場合、Ｓ１７０２の処理に進み、予測時間タイマが動作中であると判定された場合にはＳ１３０２の処理に進む。

【0109】

Ｓ１７０２およびＳ１７０３でカメラ制御部１３２は距離情報等に基づいて主被写体に関する予測処理を実行する。Ｓ１７０２では、主被写体のロスト状態が発生する前の移動方向と、主被写体を遮っている物体（障害物）の幅から、遮っている物体に対してどのあたりに主被写体が出現するかを予測する処理が行われる。次のＳ１７０３では、主被写体の移動速度、および遮っている物体の大きさから、主被写体が再度出現するまでの時間を予測する処理が行われる。Ｓ１７０２およびＳ１７０３での予測に必要な情報として、主被写体の移動方向および移動速度は、撮像装置の動き情報（角速度センサ１２６の出力）および被写体の画角上の動き情報（ベクトル検出部２４３の出力）から算出可能である。また主被写体を遮っている物体の幅に関する情報は周辺情報確認部２５３により取得可能である。

【0110】

Ｓ１７０３からＳ１７０４へ進み、Ｓ１７０４では予測時間タイマの動作が開始した後、Ｓ１３０２の処理に進む。Ｓ１３０２では主被写体が再検出された場合、Ｓ１３０３の処理に進み、また主被写体が再検出されない場合にはＳ１７０５の処理に進む。

【0111】

Ｓ１７０５でカメラ制御部１３２は予測時間が経過したかどうかを判定する。Ｓ１７０５で予測時間が経過していないと判定された場合（予測時間未満）、Ｓ１７０６の処理に進み、予測時間が経過したと判定された場合にはＳ１３０８の処理に進む。Ｓ１７０６で表示枠制御部２５６は、Ｓ１７０２で予測された位置に予測枠を表示する制御を行う。そしてＳ１７０１の処理へ戻って予測枠の表示処理を継続する。

【0112】

一方、Ｓ１７０５で予測時間が経過したと判定された場合には、主被写体が再度出現する可能性は低いと判断されて、Ｓ１３０８の処理に進み、表示枠制御部２５６は枠表示の消去処理を行う。そしてＳ１７０７の処理に進む。

【0113】

図１５のＳ１４０２でロスト状態となった主被写体が再び出現する可能性がない場合には、図１１と同様の処理が実行される。ただし、予測枠でない表示が行われた場合には、Ｓ１３０３またはＳ１３０７からＳ１７０７の処理に進む。Ｓ１７０７では次回の被写体のロスト状態の発生に備えるために、予測時間タイマのリセット処理が実行されて、一連の処理を終了する。

【0114】

本変形例では、主被写体のロスト状態が発生した後、次にどこに主被写体が出現するのかを予測して、予測位置に予測枠を表示することで撮影者への通知が可能である。図１４（Ｂ）を参照して、具体的に説明する。

【0115】

図１４（Ｂ）は、予測枠の表示例を示す模式図である。左側の図は主被写体の画像に検出追尾枠１４０１が重畳された画像と、遮蔽物の画像（黒色の長方形状部分）が表示された例を示す。中央の２図は被写体のロスト状態が発生した状況を示している。上側の図には主被写体の一部の画像とロスト状態の枠１４０２と遮蔽物の画像を示し、下側の図には主被写体の一部の画像と遮蔽物の画像と予測枠１４０３を示す。右側の図は遮蔽物の画像と、再検出された主被写体の画像に検出追尾枠１４０１が重畳された画像を示し、主被写体の追尾が継続している状態を示している。

【0116】

主被写体のロスト状態の発生前には、撮影者の意図に沿って主被写体の検出追尾枠１４０１が表示され、ロスト状態が発生した時点では枠１４０２が表示され、さらに予測枠１４０３が表示される。よって、撮影者が次にどのような撮影行動をとればよいかに関して有益な指標を提示できるので、撮影者にとって使い勝手の良好な表示制御を実現可能である。

【0117】

第２実施形態および変形例１、変形例２について詳述したが、本発明はこれら特定の実施形態に限られるものではなく、様々な形態で実施が可能である。例えば、主被写体の検出状態または追尾状態と、主被写体のロスト状態との識別が可能であれば、ライブビュー状態（表示部での主被写体の観察状態）と撮影準備状態（レリーズ釦の半押し状態）とで表示方法を変更しても構わない。

【0118】

前記実施形態によれば、複数の被写体の運動シーン等において撮影者の意思に沿った主被写体を追尾対象として動的に決定可能であって、主被写体の検出および追尾の状況をユーザに通知することが可能な撮像装置を提供できる。なお、本発明の好ましい実施形態について説明したが、本発明は前記実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能であり、前記実施形態で説明した構成を適宜に組み合わせた実施が可能である。

【符号の説明】

【0119】

１１３：レンズ制御部
１２４：カメラ信号処理回路
１３２：カメラ制御部
１４１：被写体検出部
１４２：動きベクトル検出部
１７２：表示部
１５３，２５２：被写体追尾制御部
２５５：被写体ロスト判定部
２５６：表示枠制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】