7900945 制御装置およびその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】

(45)【発行日】

(54)【発明の名称】制御装置およびその制御方法

(51)【国際特許分類】

   

   

   

【ＦＩ】

【請求項の数】 11

(21)【出願番号】

(22)【出願日】

(65)【公開番号】

(43)【公開日】

【審査請求日】

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】小林 杏子

【審査官】▲うし▼田 真悟

(56)【参考文献】

【文献】特開平０７－０３０７９５（ＪＰ，Ａ）

【文献】特開２０１０－１３６０９５（ＪＰ，Ａ）

【文献】特開２０１５－０３４８９５（ＪＰ，Ａ）

【文献】特開２０２０－０７２３５６（ＪＰ，Ａ）

【文献】特開２００４－１２８６４８（ＪＰ，Ａ）

【文献】特開２００８－１０３８９０（ＪＰ，Ａ）

【文献】特開２０１１－０３００４０（ＪＰ，Ａ）

【文献】特開２０２０－０３９１６５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０－２３／６９５

(57)【特許請求の範囲】

【請求項】

撮像装置による追尾撮影を制御する制御装置であって、
前記撮像装置により得られた映像から追尾対象を検出する検出手段と、
前記検出手段による追尾対象の検出位置に基づいて前記撮像装置の撮影方向を制御し追尾対象を追尾する追尾手段と、
前記追尾手段による追尾対象の追尾中に前記検出手段による追尾対象のロストが発生した場合、ロスト処理を実行する処理手段と、
を有し、
前記処理手段は、
前記ロストの発生直前における追尾対象の移動方向を第１の確度以上で導出可能であるか否かを判定する判定手段と、
前記判定手段により前記第１の確度以上で前記移動方向を導出可能であると判定された場合、該移動方向に基づいて、前記撮像装置の前記ロストの発生後の撮影方向である待機撮影方向を決定する決定手段と、
を有し、
前記判定手段は、前記追尾手段における撮影方向の制御履歴に基づいて、前記ロストの発生直前における追尾対象の移動方向および該移動方向の確度を導出し、
前記確度は、前記ロストの発生直前における連続した複数フレームに対応する前記制御履歴において、前記複数フレームにおける前記追尾対象の移動方向が同一であり、かつ、前記複数フレームにおける前記追尾対象の隣接フレーム間の位置差分が閾値以上である場合に高くなるように導出される
ことを特徴とする制御装置。

【請求項】

前記決定手段は、前記判定手段により前記第１の確度以上で前記移動方向を導出可能ではないと判定された場合、前記撮像装置の現在の撮影方向または所定の初期方向を前記待機撮影方向として決定する
ことを特徴とする請求項１に記載の制御装置。

【請求項】

前記制御装置は、前記撮像装置の追尾撮影をパン・チルト（ＰＴ）制御により行うよう構成されており、
前記決定手段は、前記判定手段により前記第１の確度以上で前記移動方向を導出可能であると判定された場合、前記ロストの発生直前における追尾対象の位置が見切れない範囲で前記撮像装置の現在の撮影方向を前記移動方向へＰＴ制御し前記待機撮影方向として決定する
ことを特徴とする請求項１に記載の制御装置。

【請求項】

前記追尾手段は、前記待機撮影方向に前記撮像装置の撮影方向を制御した後、前記検出手段による追尾対象のロストが所定時間継続した場合、前記撮像装置の撮影方向を所定の初期方向に制御する
ことを特徴とする請求項１に記載の制御装置。

【請求項】

前記決定手段は、前記移動方向に基づいて決定される待機撮影方向が前記撮像装置の撮影方向の制御範囲外である場合、前記撮像装置の現在の撮影方向または所定の初期方向を前記待機撮影方向として決定する
ことを特徴とする請求項１に記載の制御装置。

【請求項】

前記制御装置は、前記撮像装置の追尾撮影をパン・チルト・ズーム（ＰＴＺ）制御により行うよう構成されており、
前記追尾手段は、前記検出手段による前記追尾対象の検出サイズに基づいて前記撮像装置の撮影画角をさらに制御し、
前記判定手段は、前記ロストの発生直前における追尾対象の前記映像における奥行き方向に関する第２の移動方向を第２の確度以上で導出可能であるか否かをさらに判定し、
前記決定手段は、前記判定手段により前記第２の確度以上で前記第２の移動方向を導出可能であると判定された場合、該第２の移動方向に基づいて、前記撮像装置の前記ロストの発生後の撮影画角である待機撮影画角をさらに決定する
ことを特徴とする請求項１に記載の制御装置。

【請求項】

前記決定手段は、前記ロストの発生直前における前記追尾手段によるＰＴ方向制御量に第１の係数をかけて得られる制御量を、前記待機撮影方向に制御するための制御量として算出し、前記ロストの発生直前における前記追尾手段によるズーム方向制御量に第２の係数をかけて得られる制御量を、前記待機撮影画角に制御するための制御量として算出する
ことを特徴とする請求項６に記載の制御装置。

【請求項】

撮像装置による追尾撮影を制御する制御装置であって、
前記撮像装置により得られた映像から追尾対象を検出する検出手段と、
前記検出手段による追尾対象の検出サイズに基づいて前記撮像装置の撮影画角を制御し追尾対象を追尾する追尾手段と、
前記追尾手段による追尾対象の追尾中に前記検出手段による追尾対象のロストが発生した場合、ロスト処理を実行する処理手段と、
を有し、
前記処理手段は、
前記ロストの発生直前における追尾対象の前記映像における奥行き方向の移動方向を所定の確度以上で導出可能であるか否かを判定する判定手段と、
前記判定手段により前記所定の確度以上で前記移動方向を導出可能であると判定された場合、該移動方向に基づいて、前記撮像装置の前記ロストの発生後の撮影画角である待機撮影画角を決定する決定手段と、
を有し、
前記判定手段は、前記追尾手段における撮影方向の制御履歴に基づいて、前記ロストの発生直前における追尾対象の移動方向および該移動方向の確度を導出し、
前記確度は、前記ロストの発生直前における連続した複数フレームに対応する前記制御履歴において、前記複数フレームにおける前記追尾対象の移動方向が同一であり、かつ、前記複数フレームにおける前記追尾対象の隣接フレーム間の位置差分が閾値以上である場合に高くなるように導出される
ことを特徴とする制御装置。

【請求項】

撮像装置による追尾撮影を制御する制御装置の制御方法であって、
前記撮像装置により得られた映像から追尾対象を検出し、該追尾対象の検出位置に基づいて前記撮像装置の撮影方向を制御し追尾対象を追尾する追尾工程と、
前記追尾工程による追尾対象の追尾中に追尾対象のロストが発生した場合、ロスト処理を実行する処理工程と、
を含み、
前記処理工程は、
前記ロストの発生直前における追尾対象の移動方向を所定の確度以上で導出可能であるか否かを判定する判定工程と、
前記判定工程により前記所定の確度以上で前記移動方向を導出可能であると判定された場合、該移動方向に基づいて、前記撮像装置の前記ロストの発生後の撮影方向である待機撮影方向を決定する決定工程と、
を含み、
前記判定工程では、前記追尾工程における撮影方向の制御履歴に基づいて、前記ロストの発生直前における追尾対象の移動方向および該移動方向の確度を導出し、
前記確度は、前記ロストの発生直前における連続した複数フレームに対応する前記制御履歴において、前記複数フレームにおける前記追尾対象の移動方向が同一であり、かつ、前記複数フレームにおける前記追尾対象の隣接フレーム間の位置差分が閾値以上である場合に高くなるように導出される
ことを特徴とする制御方法。

【請求項】

撮像装置による追尾撮影を制御する制御装置の制御方法であって、
前記撮像装置により得られた映像から追尾対象を検出し、該追尾対象の検出サイズに基づいて前記撮像装置の撮影画角を制御し追尾対象を追尾する追尾工程と、
前記追尾工程による追尾対象の追尾中に追尾対象のロストが発生した場合、ロスト処理を実行する処理工程と、
を含み、
前記処理工程は、
前記ロストの発生直前における追尾対象の前記映像における奥行き方向の移動方向を所定の確度以上で導出可能であるか否かを判定する判定工程と、
前記判定工程により前記所定の確度以上で前記移動方向を導出可能であると判定された場合、該移動方向に基づいて、前記撮像装置の前記ロストの発生後の撮影画角である待機撮影画角を決定する決定工程と、
を含み、
前記判定工程では、前記追尾工程における撮影方向の制御履歴に基づいて、前記ロストの発生直前における追尾対象の移動方向および該移動方向の確度を導出し、
前記確度は、前記ロストの発生直前における連続した複数フレームに対応する前記制御履歴において、前記複数フレームにおける前記追尾対象の移動方向が同一であり、かつ、前記複数フレームにおける前記追尾対象の隣接フレーム間の位置差分が閾値以上である場合に高くなるように導出される
ことを特徴とする制御方法。

【請求項】

撮像装置による追尾撮影を制御するコンピュータを、請求項１乃至８の何れか１項に記載の制御装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【】

本発明は、撮像装置による撮影対象の追尾制御に関するものである。

【背景技術】

【】

講義やスポーツ等において、映像配信や収録が多く行われている。また、人件費等のコスト削減を目的とした自動追尾撮影が実用化され始めている。自動追尾撮影においては、追尾対象の動きに追従して撮像装置の撮像範囲を制御する過程で、追尾対象を見失ってしまう（以降では「ロスト」と呼ぶ）ことがある。

【】

追尾撮影中にロストが発生した場合には、ホームポジションの位置姿勢に戻すあるいはロストが発生した時点での画角に留まるといった制御がなされる。また、特許文献１では、追尾対象消失位置を中心に撮像範囲を広げて追尾撮影を継続する構成や、消失位置が画面端であればホームポジションへ撮像範囲を向ける構成が提案されている。

【先行技術文献】

【特許文献】

【】

【文献】特開２０２０－５１２２号公報

【発明の概要】

【発明が解決しようとする課題】

【】

しかしながら、ロストが発生した後に追尾対象を再検出して追尾を再開することを想定した場合、上述した従来のロスト発生時の動作を行うと、かえって再検出が困難となる場合がある。例えば、追尾対象の撮像画像内におけるサイズが小さい状態でロストが発生した場合、撮像範囲を広げると追尾対象の撮像画像内におけるサイズがさらに小さくなり再検出が難しくなる。また、ロストが発生した場合にホームポジションに戻す制御をした場合、追尾対象の再検出のために追加の位置姿勢制御が必要になる。

【】

本発明は、このような問題に鑑みてなされたものであり、より高度な撮影対象の追尾制御を可能とする技術を提供することを目的としている。

【課題を解決するための手段】

【】

上述の問題点を解決するため、本発明に係る制御装置は以下の構成を備える。すなわち、撮像装置による追尾撮影を制御する制御装置は、
前記撮像装置により得られた映像から追尾対象を検出する検出手段と、
前記検出手段による追尾対象の検出位置に基づいて前記撮像装置の撮影方向を制御し追尾対象を追尾する追尾手段と、
前記追尾手段による追尾対象の追尾中に前記検出手段による追尾対象のロストが発生した場合、ロスト処理を実行する処理手段と、
を有し、
前記処理手段は、
前記ロストの発生直前における追尾対象の移動方向を第１の確度以上で導出可能であるか否かを判定する判定手段と、
前記判定手段により前記第１の確度以上で前記移動方向を導出可能であると判定された場合、該移動方向に基づいて、前記撮像装置の前記ロストの発生後の撮影方向である待機撮影方向を決定する決定手段と、
を有し、
前記判定手段は、前記追尾手段における撮影方向の制御履歴に基づいて、前記ロストの発生直前における追尾対象の移動方向および該移動方向の確度を導出し、
前記確度は、前記ロストの発生直前における連続した複数フレームに対応する前記制御履歴において、前記複数フレームにおける前記追尾対象の移動方向が同一であり、かつ、前記複数フレームにおける前記追尾対象の隣接フレーム間の位置差分が閾値以上である場合に高くなるように導出される。

【発明の効果】

【】

本発明によれば、より高度な撮影対象の追尾制御を可能とする技術を提供することができる。

【図面の簡単な説明】

【】

【図】第１実施形態に係る自動撮影システムの全体構成を示す図である。

【図】第１実施形態に係る追尾装置の機能構成を示すブロック図である。

【図】第１実施形態における追尾処理のフローチャートである。

【図】第１実施形態におけるロスト処理の詳細フローチャートである。

【図】ロスト方向の判定方法を説明する図である。

【図】待機画角の導出方法を説明する図である。

【図】第２実施形態に係る追尾装置の機能構成を示すブロック図である。

【図】第２実施形態におけるロスト処理の詳細フローチャートである。

【図】ロスト方向の判定方法を説明する図である。

【図】目標画角における検出サイズを説明する図である。

【図】第３実施形態に係る追尾装置の機能構成を示すブロック図である。

【図】第３実施形態におけるロスト処理の詳細フローチャートである。

【発明を実施するための形態】

【】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【】

（第１実施形態）
本発明に係る追尾装置の第１実施形態として、自動撮影システムにおける追尾装置を例に挙げて以下に説明する。特に、追尾対象を見失った（ロストした）場合の、撮影範囲のパン・チルト（ＰＴ）制御について説明する。

【】

＜システム構成および装置構成＞
図１は、第１実施形態に係る追尾装置Ａ１１００を含んだ自動撮影システムＡ１０００の全体構成を示す図である。追尾装置Ａ１１００は、撮影装置である映像入力装置Ａ１１０１から入力される映像に基づいて、映像入力装置Ａ１１０１のＰＴ方向の駆動を行うＰＴ駆動装置Ａ１１０２を制御することにより、映像入力装置Ａ１１０１の撮影範囲を制御する。また、自動撮影システムＡ１０００は、追尾装置Ａ１１００を遠隔制御するためのユーザ端末であるクライアント装置Ａ１２００を含む。追尾装置Ａ１１００とクライアント装置Ａ１２００は、例えばネットワークＡ１５００を介して接続されている。

【】

追尾装置Ａ１１００は、クライアント装置Ａ１２００から入力された設定情報を基に映像入力装置Ａ１１０１およびＰＴ駆動装置Ａ１１０２を制御し撮影を行い、撮影された映像をクライアント装置Ａ１２００へ出力する。クライアント装置Ａ１２００は、ネットワーク経由で入力された映像をモニタ等の映像表示装置を介してユーザに提供する。また、クライアント装置Ａ１２００は、キーボードやマウスなどの入力装置を介して設定情報をユーザから受け付け、受け付けた設定情報をネットワークＡ１５００経由で追尾装置Ａ１１００へ出力する。

【】

図２は、第１実施形態に係る追尾装置Ａ１１００の機能構成を示すブロック図である。追尾装置Ａ１１００は、映像入力装置Ａ１１０１から取得した映像と、クライアント装置Ａ１２００から取得した設定情報を基に、撮像範囲を制御し追尾対象を撮影する。

【】

追尾装置Ａ１１００は、設定情報入力部Ａ１１０３、追尾対象検出部Ａ１１０４、追尾処理部Ａ１１０５、ロスト方向判定部Ａ１１０６、待機画角判定部Ａ１１０７、撮像範囲制御部Ａ１１０８、通信部Ａ１１０９を有する。

【】

設定情報入力部Ａ１１０３は、クライアント装置Ａ１１０９から受信した設定情報を追尾対象検出部Ａ１１０４および追尾処理部Ａ１１０５へ出力する。ここでは、設定情報として、目標位置、目標サイズの情報を含む。目標位置とはフレーム画像内における位置座標であり、追尾装置は追尾対象が目標位置の場所に位置するようにＰＴ制御を行う（図５を参照して後述する）。なお、設定情報に、追尾対象のロスト判定基準などの他の情報を含めてもよい。

【】

追尾対象検出部Ａ１１０４は、入力された設定情報を基に、映像入力装置Ａ１１０１から入力された映像（フレーム画像）を解析する。そして、フレーム画像内の追尾対象を検出し、検出情報を追尾処理部Ａ１１０５へ出力する。ここでは、検出情報として、追尾対象位置（追尾対象のフレーム画像内の位置座標）を出力することを想定するが、追尾対象の位置が分かる情報であれば、空間座標等、他の位置情報でも良い。また、検出サイズや検出精度など、追加の情報を検出結果として含めても良い。

【】

追尾処理部Ａ１１０５は、入力された検出情報と、設定情報入力部Ａ１１０３から入力された目標位置を基に、追尾目標の追尾処理を行う。具体的には、追尾処理として、追尾対象のフレーム画像内における位置を追尾履歴として保持する。また、追尾履歴を基に、追尾対象をロストしたかどうかを判定する。ここでは、入力された映像に関してｘフレーム連続で追尾対象の検出に失敗した場合にロストが発生したと判定する。以下では説明を簡単にするためにｘ＝１とする。

【】

そして、追尾処理部Ａ１１０５は、ロストが発生していないと判定した場合、追尾対象位置と目標位置を撮像範囲制御部Ａ１１０８へ出力する。一方、ロストが発生したと判定した場合、追尾履歴をロスト方向判定部Ａ１１０６へ出力する。

【】

ロスト方向判定部Ａ１１０６は、入力された追尾履歴を基に、追尾対象のロスト方向を導出する。ロスト方向とは、ロストが発生した直前における追尾対象の動きの方向（ベクトルの向き）である。また、第１実施形態では、ロスト方向が明確である（＝所定の確度以上で導出された）か否かを併せて判定している。具体的には、目標位置に対する追尾対象位置が、ロスト直前にｙフレーム以上連続して同一方向に離れており、かつその位置差分が閾値以上であった場合に、ロスト方向が明確であると判定する。ロスト方向判定部Ａ１１０６は、導出されたロスト方向が明確であると判定した場合は判定結果としてロスト方向を出力し、導出されたロスト方向が明確でないと判定した場合は判定結果として不明確である旨を示す情報を出力する。ロスト方向判定部Ａ１１０６は、算出したロスト方向と、ロスト前検出位置（ロストが発生する直前の追尾対象位置）を待機画角判定部Ａ１１０７へ出力する。

【】

待機画角判定部Ａ１１０７は、入力されたロスト方向判定とロスト前検出位置を基に、再検出できる可能性が高い撮像範囲となる待機画角（待機位置姿勢）を算出する。具体的には、判定結果としてロスト方向が入力された場合、追尾対象がいる可能性の高い位置姿勢があると判定し、ロスト前検出位置が見切れない範囲でロスト方向へＰＴ制御した画角を待機画角とする。一方、判定結果として不明確である旨を示す情報が入力された場合、追尾対象がいる可能性が高い画角は無いと判定し、現在の画角を待機画角とする。待機画角判定部Ａ１１０７は、待機画角を撮像範囲制御部Ａ１１０８へ出力する。

【】

撮像範囲制御部Ａ１１０８は、ロストが発生していない場合、追尾処理部Ａ１１０５から入力された追尾対象位置と目標位置を基に、追尾制御を継続する。すなわち、追尾対象位置と目標位置とが一致するようにＰＴ制御を行い撮像範囲を制御する。一方、ロストが発生した場合、ロスト処理として、待機画角判定部Ａ１１０７から入力された待機画角を基に、ＰＴ制御を行う。具体的には、撮像範囲制御部Ａ１１０８は、ＰＴ制御命令をＰＴ駆動装置Ａ１１０２へ、映像を通信部Ａ１１０９へ出力する。

【】

ＰＴ駆動装置Ａ１１０２は、入力されたＰＴ制御命令を基にＰＴ駆動を行い撮像範囲を移動させる。通信部Ａ１１０９は、撮像範囲制御部Ａ１１０８から入力された映像をクライアント装置Ａ１２００へ出力する。また、クライアント装置Ａ１２００から入力された設定情報を設定情報入力部Ａ１１０３へ出力する。

【】

＜装置の動作＞
図３は、第１実施形態における追尾処理のフローチャートである。自動撮影システムＡ１０００は、例えば、クライアント装置Ａ１２００に対するユーザ操作に基づき、追尾撮影および映像配信を開始する。

【】

Ｓ００１では、追尾装置Ａ１１００は、映像入力装置Ａ１１０１が出力する映像の受信（入力）を開始する。Ｓ００２では、追尾対象検出部Ａ１１０４は、入力された映像から追尾対象を検出し、検出結果を出力する。

【】

Ｓ００３では、追尾処理部Ａ１１０５は、追尾対象のロストが発生したかどうかを判定する。真（Ｓ００３でＹＥＳ）の場合は、追尾履歴を出力し、Ｓ００４へ進む。偽（Ｓ００３でＮＯ）の場合は、追尾対象位置を出力し、Ｓ００５へ進む。

【】

Ｓ００４では、追尾装置Ａ１１００は、追尾履歴（ロスト前の追尾対象位置）を基にロスト処理を行う。ロスト処理の詳細については図４を参照して後述する。一方、Ｓ００５では、追尾処理部Ａ１１０５は、追尾対象位置に基づいて追尾履歴を更新する。また、追尾対象位置と目標位置を出力する。

【】

Ｓ００６では、撮像範囲制御部Ａ１１０８は、ロストが発生していない（Ｓ００５から進んできた）場合、入力された追尾対象位置と目標位置とが一致するようにＰＴ制御を行い撮像範囲を制御する。ここでは、追尾対象がフレーム画像の中心位置に来るように制御する。一方、ロストが発生した（Ｓ００４から進んできた）場合、入力された待機画角へ撮像範囲を制御する。この際、ロスト時またはロスト直前のＰＴ速度と待機画角に基づいて、待機画角へ滑らかに遷移するようなＰＴ速度制御を算出し制御してもよい。

【】

Ｓ００７では、追尾装置Ａ１１００は、クライアント装置Ａ１２００に対するユーザ操作に基づき、追尾撮影の停止操作が行われたかどうかを判定する。偽（Ｓ００７でＮＯ）の場合はＳ００１へ進み追尾撮影を継続する。一方、真（Ｓ００７でＹＥＳ）の場合は追尾撮影を終了する。

【】

図４は、第１実施形態におけるロスト処理（Ｓ００４）の詳細フローチャートである。上述したように、追尾装置Ａ１１００は、追尾履歴に基づいてロスト処理を行うことになる。

【】

Ｓ１０１では、ロスト方向判定部Ａ１１０６は、入力された追尾履歴を基に、追尾対象のロスト方向を算出する。第１実施形態においてロスト方向とは、撮像画像の画像面内の方向（上下左右など）に対応し、パン・チルト（ＰＴ）座標値に対応付けられる方向である。

【】

Ｓ１０２では、ロスト方向判定部Ａ１１０６は、Ｓ１０１で算出されたロスト方向が明確である（＝所定の確度以上で導出された）かを判定する。真（Ｓ１０２でＹＥＳ）の場合は算出したロスト方向とロスト前検出位置を出力してＳ１０３へ進み、偽（Ｓ１０２でＮＯ）の場合はＳ１０４へ進む。

【】

図５は、ロスト方向の判定方法（Ｓ１０１，Ｓ１０２）を説明する図である。図５の下段には、ロスト直前（すなわち最後に追尾対象を検出したフレーム）のフレーム画像が示されている。また上段には、さらにｙフレーム前（過去）のフレーム画像が示されている。

【】

ロスト直前のフレーム画像において、点Ｐ００１は、フレーム画像内の目標位置（ここではフレーム画像の中心）を示している。点Ｐ００２は、フレーム画像内の追尾対象位置を示している。ｙフレーム前のフレーム画像において、点Ｐ００３は、点Ｐ００２の位置を示している。また、点Ｐ００４は、ロスト直前に検出された追尾対象位置を示している。

【】

上述したように、第１実施形態では、目標位置に対する追尾対象位置が、ロスト直前にｙフレーム以上連続して同一方向に離れており、かつその位置差分が閾値ｋ以上であった場合に、ロスト方向が明確であると判定する。ここでは、ｙ＝２とする。なお、ロスト方向の判定は、他の方法にて行っても良い。

【】

図５の下段に示すフレーム画像では、ロスト直前に２フレーム連続で目標位置から離れる方向へ変化しており、かつその差分（ｋ＋α）が閾値ｋより大きい。そのため、このフレーム画像の例では、ロスト方向が明確かつロスト方向は「左」と判定される。

【】

Ｓ１０３では、待機画角判定部Ａ１１０７は、入力されたロスト方向と、ロスト前検出位置を基に、待機画角を算出する。具体的には、追尾対象が再出現する可能性が高い画角を待機画角として算出する。上述したように、第１実施形態ではロスト前検出位置が見切れない範囲でロスト方向（ここでは「左」）へＰＴ制御した画角を待機画角とする。

【】

図６は、待機画角の導出方法を説明する図である。図６の上段はロスト判定前に最後に検出した時の画角（撮影範囲）Ｐ０１４を例示的に示しており、図６の下段は算出される待機画角Ｐ０１６を例示的に示している。

【】

位置Ｐ０１１は撮影装置である映像入力装置Ａ１１０１の地理的位置、位置Ｐ０１２は追尾対象のロスト直前の地理的位置、矢印Ｐ０１３は地理的なロスト方向、をそれぞれ示している。

【】

状況Ｐ０１０において、位置Ｐ０１２にて追尾対象を検出した直後にロストが発生した場合、位置Ｐ０１２が撮像範囲内の追尾対象ロスト方向と逆側の端（ここでは右端）になる画角Ｐ０１６を待機画角とする。ここでは、位置Ｐ０１２が見切れない範囲でロスト方向へＰＴ制御した画角を待機画角としているが、位置Ｐ０１２が見切れた画角を待機画角としてもよい。

【】

また、ロスト判定直後またはユーザの指示を受けた後または所定時間ロスト状態が続いた後のいずれかのタイミングで所定の初期方向（初期位置姿勢）であるホームポジションを待機画角として設定してもよい。算出した待機画角が、ＰＴ駆動装置Ａ１１０２の駆動可能範囲の外または追尾可能撮像領域の外となる場合、ホームポジションを待機画角として設定してもよい。

【】

さらに、ロスト方向がフレーム画像の上下方向（鉛直方向に対応）である場合、算出した待機画角の上下端がそれまでに取得した（またはユーザが設定した）追尾対象の位置に応じて待機画角を補正してもよい。例えば、人物の頭部位置より上または足元よりも下にならない様に補正してもよい。

【】

Ｓ１０４では、待機画角判定部Ａ１１０７は、現在の画角の情報を待機画角として設定する。すなわち、追尾対象がいる可能性が高い画角を決定できないと判定し、ＰＴ制御による画角変更を行わないと決定する。

【】

上述のＳ１０３またはＳ１０４において待機画角判定部Ａ１１０７により待機画角が決定されると、ロスト処理を終了しＳ００６に進む。

【】

以上説明したとおり第１実施形態によれば、追尾制御中に追尾対象のロストが発生した場合、追尾対象のロスト方向が明確であるか否かに依存して実行する動作を変える。具体的には、ロスト方向が明確である場合に、ロスト発生前の追尾履歴に基づき追尾対象がいる可能性が高い画角にＰＴ制御を行う。このような制御を行うことにより、ロストが発生した後に追尾対象を再検出し再び追尾制御を行うことがより容易となる。

【】

（第２実施形態）
第２実施形態では、追尾対象が撮影画像の奥行き方向に移動する場合の制御について説明する。すなわち、第１実施形態では、追尾対象をロストした場合の撮影範囲のＰＴ制御について説明したが、第２実施形態では、追尾対象をロストした場合の撮影範囲のズーム（Ｚ）制御について説明する。

【】

＜システム構成および装置構成＞
システム構成については、図１において、追尾装置Ａ１１００、ＰＴ駆動装置Ａ１１０２が、それぞれ、追尾装置Ａ２１００、ＰＴＺ駆動装置Ａ２１０２になっているのみである。ＰＴＺ駆動装置Ａ２１０２は、追尾装置Ａ２１００による制御に基づいて、映像入力装置Ａ１１０１のＰＴ方向の駆動に加えズーム（Ｚ）の制御を行うことにより、映像入力装置Ａ１１０１の撮影範囲を制御する。その他の装置は第１実施形態（図１）と同様であるため詳細な説明は省略する。なお、説明を簡単にするために、以下では、ＰＴＺ駆動装置Ａ２１０２は、ズーム（Ｚ）駆動のみ行うとして説明する。

【】

図７は、第２実施形態に係る追尾装置Ａ２１００の機能構成を示すブロック図である。なお、第１実施形態（図２）と同一の参照符号の機能部は同様の機能を有するものであるため説明を省略する。

【】

追尾装置Ａ２１００は、設定情報入力部Ａ１１０３、追尾対象検出部Ａ２１０４、追尾処理部Ａ２１０５、ロスト方向判定部Ａ２１０６、待機画角判定部Ａ２１０７、撮像範囲制御部Ａ１１０８、通信部Ａ１１０９を有する。

【】

ＰＴＺ駆動装置Ａ２１０２は、入力されたＰＴＺ制御命令を基にＰＴＺ駆動を行い撮像範囲を移動させる。

【】

追尾対象検出部Ａ２１０４は、入力された設定情報を基に、映像入力装置Ａ１１０１から入力された映像（フレーム画像）を解析する。そして、フレーム画像内の追尾対象を検出し、検出情報を追尾処理部Ａ２１０５へ出力する。ここでは、検出情報として、追尾対象位置（追尾対象のフレーム画像内の位置座標）および追尾対象サイズ（追尾対象のフレーム画像内の大きさ）を出力することを想定する。ただし、追尾対象の位置、サイズが分かる情報であれば、他の位置情報、サイズ情報でも良い。また、検出サイズや検出精度など、追加の情報を検出結果として含めても良い。

【】

追尾処理部Ａ２１０５は、入力された検出情報と、設定情報入力部Ａ１１０３から入力された目標位置を基に、追尾目標の追尾処理を行う。具体的には、追尾処理として、追尾対象位置および追尾対象サイズを追尾履歴として保持する。また、追尾履歴を基に、追尾対象をロストしたかどうかを判定する。ここでは、入力された映像に関してｘフレーム連続で追尾対象の検出に失敗した場合にロストが発生したと判定する。以下では説明を簡単にするためにｘ＝１とする。

【】

そして、追尾処理部Ａ２１０５は、ロストが発生していないと判定した場合、追尾対象位置、追尾対象サイズおよび目標位置を撮像範囲制御部Ａ１１０８へ出力する。一方、ロストが発生したと判定した場合、追尾履歴をロスト方向判定部Ａ２１０６へ出力する。

【】

ロスト方向判定部Ａ２１０６は、入力された追尾履歴を基に、追尾対象のロスト方向を導出する。上述したように、第２実施形態では、ロスト方向とは、ロストが発生した直前における撮影画像の奥行き方向に沿った追尾対象の動きの方向である。また、第２実施形態においても、ロスト方向が明確である（＝所定の確度以上で導出された）か否かを併せて判定している。具体的には、目標位置における追尾対象サイズが、ロスト直前にｙフレーム以上連続して大きく（近づく）または小さく（遠ざかる）変化した場合に、ロスト方向が明確であると判定する。ロスト方向判定部Ａ２１０６は、導出されたロスト方向が明確であると判定した場合は判定結果としてロスト方向を出力し、導出されたロスト方向が明確でないと判定した場合は判定結果として不明確である旨を示す情報を出力する。ロスト方向判定部Ａ２１０６は、算出したロスト方向と、ロスト前検出サイズ（ロストが発生する直前の追尾対象サイズ）を待機画角判定部Ａ２１０７へ出力する。

【】

待機画角判定部Ａ２１０７は、入力されたロスト方向判定とロスト前検出サイズを基に、再検出できる可能性が高い撮像範囲となる待機画角（ズーム（Ｚ）値）を算出する。具体的には、判定結果としてロスト方向が入力された場合、追尾対象がいる可能性の高いズーム値があると判定し、待機画角を算出する。例えば、ロスト直前での追尾対象サイズが、検出可能サイズ（最小検出サイズ以上かつ最大検出サイズ以下）になるズーム値を待機画角とする。このとき、ロスト方向が「遠ざかる」方向であった場合は最大検出サイズ、「近づく」であった場合は最小サイズにするとよい。待機画角の詳細な算出方法については図８～図１０を参照して後述する。

【】

一方、判定結果として不明確である旨を示す情報が入力された場合、追尾対象がいる可能性が高いズーム値は無いと判定し、現在のズーム値を待機画角とする。待機画角判定部Ａ２１０７は、待機画角を撮像範囲制御部Ａ１１０８へ出力する。

【】

＜装置の動作＞
全体の追尾処理については第１実施形態（図３）と同様であるため詳細な説明は省略する。以下では、第２実施形態におけるロスト処理（Ｓ００４）の詳細について図８を参照して説明する。

【】

図８は、第２実施形態におけるロスト処理（Ｓ００４）の詳細フローチャートである。上述したように、追尾装置Ａ２１００は、追尾履歴に基づいてロスト処理を行うことになる。

【】

Ｓ２０１では、ロスト方向判定部Ａ２１０６は、入力された追尾履歴を基に、追尾対象のロスト方向を算出する。ただし、第１実施形態とは異なり、ここでは、ロスト方向として、追尾装置から見た奥行き方向に対応するズーム値を算出する。

【】

Ｓ２０２では、ロスト方向判定部Ａ２１０６は、Ｓ２０１で算出されたロスト方向が明確である（＝所定の確度以上で導出された）かを判定する。真（Ｓ２０２でＹＥＳ）の場合は算出したロスト方向とロスト前検出サイズを出力してＳ２０３へ進み、偽（Ｓ２０２でＮＯ）の場合はＳ２０６へ進む。判定方法について図９，１０を参照して詳細に説明する。

【】

図９は、ロスト方向の判定方法を説明する図である。フレーム画像Ｐ２０１～Ｐ２０３は、追尾対象が「遠ざかる」方向に移動している場合にロストが発生する状況を例示的に示す時系列に沿った３枚のフレームを表している。

【】

図９の上段には、ロストが発生するｙフレーム前（過去）のフレーム画像Ｐ２０１が示されている。中段には、ロスト発生直前（すなわち最後に追尾対象を検出したフレーム）のフレーム画像Ｐ２０２が示されている。そして、下段には、ロスト発生直後（すなわち追尾対象を見失った最初のフレーム）のフレーム画像Ｐ２０３が示されている。Ｐ２０５は追尾対象を示し、Ｐ２０６／Ｐ２０７は追尾対象の検出枠（追尾対象に外接する矩形）を示している。

【】

図１０は、目標画角（撮影範囲）における検出サイズを説明する図である。図１０において、Ｐ２１２は、目標画角（撮影範囲）のフレーム画像Ｐ２１１における検出枠の目標サイズを示す。また、Ｐ２１３は検出枠の最大サイズ（最大検出サイズ）を、Ｐ２１４は検出枠の最小サイズ（最小検出サイズ）を、それぞれ表す。最大検出サイズより大きい検出枠となる追尾対象および最小検出サイズより小さい検出枠となる追尾対象はロストの発生につながる。

【】

上述したように、第２実施形態では、目標位置における追尾対象サイズが、ロスト直前にｙフレーム以上連続して大きく（近づく）または小さく（遠ざかる）変化した場合に、ロスト方向が明確であると判定する。ここでは、ｙ＝１とし、閾値ｍ％以上変化した場合に明確であると判定する。つまり、図９の状況においては、Ｐ２０７がＰ２０６に対して（１００－ｍ）％以下のサイズである場合に明確であると判定する。なお、ロスト方向の判定は、追尾対との間の距離やズーム値の履歴を用いて判定する等、他の方法にて行っても良い。

【】

図９に示す状況においては、フレーム画像Ｐ２０１において検出枠が目標画角に対して小さいためズームイン（拡大）命令を出しているにも関わらず、フレーム画像Ｐ２０２においては検出枠が目標画角に対してさらに小さくなっている。そのため、さらにズームイン命令を出しているが、フレーム画像Ｐ２０３においては追尾対象を検出できずロストしている。そのため、ロスト方向は、「遠ざかる」方向であると判定する。ここでは、検出枠の大きさの差分が閾値ｍ％より大きいことから、ロスト方向が明確であると判定される。

【】

Ｓ２０３では、ロスト方向判定部Ａ２１０６は、Ｓ２０２で算出されたロスト方向が「遠ざかる」方向かどうか判定する。「遠ざかる」方向である場合はＳ２０４へ、そうでない場合はＳ２０５へ進む。Ｓ２０４では、待機画角判定部Ａ２１０７は、目標サイズを最大検出サイズとする。一方、Ｓ２０５では、待機画角判定部Ａ２１０７は、目標サイズを最小検出サイズとする。

【】

Ｓ２０６では、待機画角判定部Ａ２１０７は、現在のズーム値の情報を待機画角として設定し、ロスト処理を終了しＳ００６に進む。すなわち、追尾対象が検出される可能性が高い特定のズーム値を決定できないと判定し、ズーム制御による画角変更を行わないと決定する。

【】

Ｓ２０７では、待機画角判定部Ａ２１０７は、ロスト直前のズーム値と目標サイズを基に、ズーム値を算出して待機画角とし、ロスト処理を終了しＳ００６に進む。例えば、ロスト直前の検出サイズが、最大検出サイズになるようなズーム値を算出する。

【】

以上説明したとおり第２実施形態によれば、追尾制御中に追尾対象のロストが発生した場合、第１実施形態と同様に追尾対象のロスト方向が明確であるか否かに依存して実行する動作を変える。具体的には、ロスト方向が明確である場合に、ロスト発生前の追尾履歴に基づき追尾対象が検出される可能性が高いズーム値にズーム制御を行う。このような制御を行うことにより、ロストが発生した後に追尾対象を再検出し再び追尾制御を行うことがより容易となる。

【】

（第３実施形態）
第３実施形態では、追尾対象が撮影画像の面内に沿った方向および奥行き方向の両方で移動する場合に対処可能な制御について説明する。すなわち、第３実施形態では、追尾対象をロストした場合の撮影範囲の制御をパン・チルト・ズーム（ＰＴＺ）を組み合わせて行う形態について説明する。

【】

＜システム構成および装置構成＞
システム構成については、図１において、追尾装置Ａ１１００、ＰＴ駆動装置Ａ１１０２が、それぞれ、追尾装置Ａ３１００、ＰＴＺ駆動装置Ａ２１０２になっているのみであるため詳細な説明は省略する。

【】

図１１は、第３実施形態に係る追尾装置Ａ３１００の機能構成を示すブロック図である。なお、第２実施形態（図７）と同一の参照符号の機能部は同様の機能を有するものであるため説明を省略する。

【】

追尾装置Ａ３１００は、設定情報入力部Ａ１１０３、追尾対象検出部Ａ２１０４、追尾処理部Ａ３１０５、ロスト方向判定部Ａ３１０６、待機画角判定部Ａ３１０７、撮像範囲制御部Ａ３１０８、通信部Ａ１１０９を有する。

【】

追尾処理部Ａ３１０５は、入力された検出情報と、設定情報入力部Ａ１１０３から入力された目標位置を基に、追尾目標の追尾処理を行う。具体的には、追尾処理として、追尾対象位置および追尾対象サイズを追尾履歴として保持する。また、追尾履歴を基に、追尾対象をロストしたかどうかを判定する。ここでは、入力された映像に関してｘフレーム連続で追尾対象の検出に失敗した場合にロストが発生したと判定する。以下では説明を簡単にするためにｘ＝１とする。

【】

そして、追尾処理部Ａ３１０５は、ロストが発生していないと判定した場合、追尾対象位置、追尾対象サイズおよび目標位置を撮像範囲制御部Ａ３１０８へ出力する。一方、ロストが発生したと判定した場合、追尾履歴をロスト方向判定部Ａ３１０６へ出力する。

【】

ロスト方向判定部Ａ３１０６は、入力された追尾履歴を基に、追尾対象のロスト方向を導出する。第３実施形態では、ＰＴ方向、ズーム方向のそれぞれについて判定する。また、第３実施形態においても、ロスト方向が明確であるか否かをＰＴ方向、ズーム方向のそれぞれについて判定している。

【】

具体的には、ロスト方向判定部Ａ３１０６は、ＰＴ方向に関して、目標位置に対する追尾対象位置が、ロスト直前にｙフレーム以上連続して同一方向に離れており、かつその位置差分が閾値以上であった場合に、ロスト方向（ＰＴ方向）が明確であると判定する。また、ズーム方向に関して、目標位置における追尾対象サイズが、ロスト直前にｙフレーム以上連続して大きく（近づく）または小さく（遠ざかる）変化した場合に、ロスト方向（ズーム方向）が明確であると判定する。

【】

ロスト方向判定部Ａ３１０６は、ＰＴ方向、ズーム方向のそれぞれについて、導出されたロスト方向が明確であると判定した場合は判定結果としてロスト方向を出力する。導出されたロスト方向が明確でないと判定した場合は判定結果として不明確である旨を示す情報を出力する。ロスト方向判定部Ａ３１０６は、ＰＴ方向、ズーム方向のそれぞれについて算出したロスト方向と、ロスト前検出情報を待機画角判定部Ａ３１０７へ出力する。ロスト前検出情報は、ロストが発生する直前の追尾対象位置および追尾対象サイズを含む。

【】

待機画角判定部Ａ３１０７は、撮像範囲制御部Ａ３１０８が保持していたロスト前ＰＴＺ制御命令情報（ロスト前に行ったＰＴＺ制御の１以上の命令）を取得する。待機画角判定部Ａ３１０７は、取得したロスト前ＰＴＺ制御命令情報と、入力されたロスト方向判定とロスト前検出情報を基に、再検出できる可能性が高い撮像範囲となる待機画角（ＰＴ値およびズーム値）を算出する。具体的には、判定結果としてロスト方向が入力された場合、追尾対象がいる可能性の高いＰＴ値およびズーム値があると判定し、待機画角を算出する。待機画角の詳細な算出方法については図１２を参照して後述する。

【】

一方、判定結果として不明確である旨を示す情報が入力された場合、追尾対象がいる可能性が高いＰＴ値およびズーム値は無いと判定し、現在のＰＴ値およびズーム値を待機画角とする。待機画角判定部Ａ３１０７は、待機画角を撮像範囲制御部Ａ３１０８へ出力する。

【】

撮像範囲制御部Ａ３１０８は、ロストが発生していない場合、追尾処理部Ａ３１０５から入力された追尾対象位置と目標位置を基に、追尾制御を継続する。さらに、ＰＴＺ制御命令情報を履歴情報として直近のｎフレーム分保持する。ここでは説明を簡単にするためにｎ＝１とし、直前のＰＴＺ制御命令のみを保持する。一方、ロストが発生した場合、ロスト処理として、待機画角判定部Ａ３１０７へＰＴＺ制御命令の履歴を出力する。さらに、待機画角判定部Ａ３１０７から入力された待機画角を基に、ＰＴＺ制御を行う。具体的には、撮像範囲制御部Ａ３１０８は、ＰＴＺ制御命令をＰＴＺ駆動装置Ａ２１０２へ、映像を通信部Ａ１１０９へ出力する。

【】

＜装置の動作＞
全体の追尾処理については第１実施形態（図３）とほぼ同様であるが、Ｓ００７において、撮像範囲制御部Ａ３１０８は、ＰＴＺ制御命令を、履歴情報として保持する。以下では、第３実施形態におけるロスト処理（Ｓ００４）の詳細について図１２を参照して説明する。

【】

図１２は、第３実施形態におけるロスト処理（Ｓ００４）の詳細フローチャートである。上述したように、追尾装置Ａ３１００は、追尾履歴に基づいてロスト処理を行うことになる。

【】

Ｓ３０１では、ロスト方向判定部Ａ３１０６は、入力された追尾履歴を基に、追尾対象のロスト方向を算出する。上述したように、ロスト方向として、ＰＴ方向およびズーム方向のそれぞれを算出する。

【】

Ｓ３０３では、待機画角判定部Ａ３１０７は、撮像範囲制御部Ａ３１０８にて保持していたロスト前ＰＴＺ制御命令情報内のＰＴ方向制御量を取得する。Ｓ３０４では、待機画角判定部Ａ３１０７は、取得したＰＴ方向制御量と所定係数αを用いて、再検出できる可能性が高い画角（ＰＴ方向）を算出する。具体的には、ＰＴ方向制御量に所定係数αをかけて得られる制御量のＰＴ制御命令を算出する。

【】

ここでは、所定係数として固定値αを想定するが、テーブルを定義するなど、ロスト直前の追尾対象のＰＴ方向移動量によって係数を変更しても良い。また、ロスト前のＰＴ方向制御量として、ロスト前のｎフレームのＰＴ方向制御量の平均あるいは最大値を用いても良い。

【】

Ｓ３０７では、待機画角判定部Ａ３１０７は、撮像範囲制御部Ａ３１０８にて保持していたロスト前ＰＴＺ制御命令情報内のズーム方向制御量を取得する。Ｓ３０８では、待機画角判定部Ａ３１０７は、取得したズーム方向制御量と所定係数βを用いて、再検出できる可能性が高い画角（ズーム方向）を算出する。具体的には、ズーム方向制御量に所定係数βをかけて得られる制御量のズーム制御命令を算出する。

【】

ここでは、所定係数として固定値βを想定するが、テーブルを定義するなど、ロスト直前の追尾対象のズーム方向移動量（あるいは追尾対象サイズの変化量）によって係数を変更しても良い。また、ロスト前のズーム方向制御量として、ロスト前のｎフレームのズーム方向制御量の平均あるいは最大値を用いても良い。

【】

以上説明したとおり第３実施形態によれば、追尾制御中に追尾対象のロストが発生した場合、第１および第２実施形態と同様に追尾対象のロスト方向が明確であるか否かに依存して実行する動作を変える。特に、ＰＴ方向とズーム方向それぞれに関して、再検出できる可能性が高い画角にするための制御命令を算出する。このような制御を行うことにより、ロストが発生した後に追尾対象を再検出し再び追尾制御を行うことがより容易となる。

【】

本明細書の開示は、以下の制御装置、制御方法、およびプログラムを含む。
（項目１）
撮像装置による追尾撮影を制御する制御装置であって、
前記撮像装置により得られた映像から追尾対象を検出する検出手段と、
前記検出手段による追尾対象の検出位置に基づいて前記撮像装置の撮影方向を制御し追尾対象を追尾する追尾手段と、
前記追尾手段による追尾対象の追尾中に前記検出手段による追尾対象のロストが発生した場合、ロスト処理を実行する処理手段と、
を有し、
前記処理手段は、
前記ロストの発生直前における追尾対象の移動方向を第１の確度以上で導出可能であるか否かを判定する判定手段と、
前記判定手段により前記第１の確度以上で前記移動方向を導出可能であると判定された場合、該移動方向に基づいて、前記撮像装置の前記ロストの発生後の撮影方向である待機撮影方向を決定する決定手段と、
を有することを特徴とする制御装置。
（項目２）
前記判定手段は、前記追尾手段における撮影方向の制御履歴に基づいて、前記ロストの発生直前における追尾対象の移動方向および該移動方向の確度を導出する
ことを特徴とする項目１に記載の制御装置。
（項目３）
前記決定手段は、前記判定手段により前記第１の確度以上で前記移動方向を導出可能ではないと判定された場合、前記撮像装置の現在の撮影方向または所定の初期方向を前記待機撮影方向として決定する
ことを特徴とする項目１または２に記載の制御装置。
（項目４）
前記制御装置は、前記撮像装置の追尾撮影をパン・チルト（ＰＴ）制御により行うよう構成されており、
前記決定手段は、前記判定手段により前記第１の確度以上で前記移動方向を導出可能であると判定された場合、前記ロストの発生直前における追尾対象の位置が見切れない範囲で前記撮像装置の現在の撮影方向を前記移動方向へＰＴ制御し前記待機撮影方向として決定する
ことを特徴とする項目１乃至３の何れか１項目に記載の制御装置。
（項目５）
前記追尾手段は、前記待機撮影方向に前記撮像装置の撮影方向を制御した後、前記検出手段による追尾対象のロストが所定時間継続した場合、前記撮像装置の撮影方向を所定の初期方向に制御する
ことを特徴とする項目１乃至４の何れか１項目に記載の制御装置。
（項目６）
前記決定手段は、前記移動方向に基づいて決定される待機撮影方向が前記撮像装置の撮影方向の制御範囲外である場合、前記撮像装置の現在の撮影方向または所定の初期方向を前記待機撮影方向として決定する
ことを特徴とする項目１乃至５の何れか１項目に記載の制御装置。
（項目７）
前記制御装置は、前記撮像装置の追尾撮影をパン・チルト・ズーム（ＰＴＺ）制御により行うよう構成されており、
前記追尾手段は、前記検出手段による前記追尾対象の検出サイズに基づいて前記撮像装置の撮影画角をさらに制御し、
前記判定手段は、前記ロストの発生直前における追尾対象の前記映像における奥行き方向に関する第２の移動方向を第２の確度以上で導出可能であるか否かをさらに判定し、
前記決定手段は、前記判定手段により前記第２の確度以上で前記第２の移動方向を導出可能であると判定された場合、該第２の移動方向に基づいて、前記撮像装置の前記ロストの発生後の撮影画角である待機撮影画角をさらに決定する
ことを特徴とする項目１乃至６の何れか１項目に記載の制御装置。
（項目８）
前記決定手段は、前記ロストの発生直前における前記追尾手段によるＰＴ方向制御量に第１の係数をかけて得られる制御量を、前記待機撮影方向に制御するための制御量として算出し、前記ロストの発生直前における前記追尾手段によるズーム方向制御量に第２の係数をかけて得られる制御量を、前記待機撮影画角に制御するための制御量として算出する
ことを特徴とする項目７に記載の制御装置。
（項目９）
撮像装置による追尾撮影を制御する制御装置であって、
前記撮像装置により得られた映像から追尾対象を検出する検出手段と、
前記検出手段による追尾対象の検出サイズに基づいて前記撮像装置の撮影画角を制御し追尾対象を追尾する追尾手段と、
前記追尾手段による追尾対象の追尾中に前記検出手段による追尾対象のロストが発生した場合、ロスト処理を実行する処理手段と、
を有し、
前記処理手段は、
前記ロストの発生直前における追尾対象の前記映像における奥行き方向の移動方向を所定の確度以上で導出可能であるか否かを判定する判定手段と、
前記判定手段により前記所定の確度以上で前記移動方向を導出可能であると判定された場合、該移動方向に基づいて、前記撮像装置の前記ロストの発生後の撮影画角である待機撮影画角を決定する決定手段と、
を有することを特徴とする制御装置。
（項目１０）
撮像装置による追尾撮影を制御する制御装置の制御方法であって、
前記撮像装置により得られた映像から追尾対象を検出し、該追尾対象の検出位置に基づいて前記撮像装置の撮影方向を制御し追尾対象を追尾する追尾工程と、
前記追尾工程による追尾対象の追尾中に追尾対象のロストが発生した場合、ロスト処理を実行する処理工程と、
を含み、
前記処理工程は、
前記ロストの発生直前における追尾対象の移動方向を所定の確度以上で導出可能であるか否かを判定する判定工程と、
前記判定工程により前記所定の確度以上で前記移動方向を導出可能であると判定された場合、該移動方向に基づいて、前記撮像装置の前記ロストの発生後の撮影方向である待機撮影方向を決定する決定工程と、
を含むことを特徴とする制御方法。
（項目１１）
撮像装置による追尾撮影を制御する制御装置の制御方法であって、
前記撮像装置により得られた映像から追尾対象を検出し、該追尾対象の検出サイズに基づいて前記撮像装置の撮影画角を制御し追尾対象を追尾する追尾工程と、
前記追尾工程による追尾対象の追尾中に追尾対象のロストが発生した場合、ロスト処理を実行する処理工程と、
を含み、
前記処理工程は、
前記ロストの発生直前における追尾対象の前記映像における奥行き方向の移動方向を所定の確度以上で導出可能であるか否かを判定する判定工程と、
前記判定工程により前記所定の確度以上で前記移動方向を導出可能であると判定された場合、該移動方向に基づいて、前記撮像装置の前記ロストの発生後の撮影画角である待機撮影画角を決定する決定工程と、
を含むことを特徴とする制御方法。
（項目１２）
撮像装置による追尾撮影を制御するコンピュータを、項目１乃至９の何れか１項目に記載の制御装置として機能させるためのプログラム。

【】

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【】

Ａ１１００ 追尾装置； Ａ１２００ クライアント装置； Ａ１１０１ 映像入力装置； Ａ１１０２ ＰＴ駆動装置； Ａ１１０３ 設定情報入力部； Ａ１１０４ 追尾対象検出部； Ａ１１０５ 追尾処理部； Ａ１１０６ ロスト方向判定部； Ａ１１０７ 待機画角判定部； Ａ１１０８ 撮像範囲制御部； Ａ１１０９ 通信部

【図】

【図】

【図】

【図】

【図】

【図】

【図】

【図】

【図】

【図】

【図】

【図】