2025-113558 撮像装置、追尾システム、撮像装置の制御方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025113558

(43)【公開日】2025-08-04

(54)【発明の名称】撮像装置、追尾システム、撮像装置の制御方法、プログラム

(51)【国際特許分類】

   H04N 23/695 20230101AFI20250728BHJP

   H04N 23/69 20230101ALI20250728BHJP

   H04N 23/661 20230101ALI20250728BHJP

   H04N 7/18 20060101ALI20250728BHJP

   G03B 15/00 20210101ALI20250728BHJP

   G03B 17/56 20210101ALI20250728BHJP

【ＦＩ】

H04N23/695

H04N23/69

H04N23/661

H04N7/18 G

G03B15/00 Q

G03B15/00 P

G03B15/00 R

G03B17/56 A

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2024007777

(22)【出願日】2024-01-23

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(72)【発明者】

【氏名】本多 康伸

【テーマコード（参考）】

2H105

5C054

5C122

【Ｆターム（参考）】

2H105AA12

2H105AA13

2H105AA14

5C054CA04

5C054CC02

5C054CF06

5C054CG07

5C054FC12

5C054FC13

5C054FE14

5C122DA02

5C122DA03

5C122EA57

5C122EA63

5C122EA65

5C122EA66

5C122FB03

5C122FE02

5C122FH11

5C122FK23

5C122FK36

5C122GC52

5C122GD04

5C122HA13

5C122HA35

5C122HA75

5C122HA82

5C122HB01

5C122HB05

(57)【要約】

【課題】被写体の追尾の中断および再開を効率化し、ユーザの負担を軽減する。
【解決手段】撮像装置は、被写体が所持する無線装置から受信した電波の方向に基づいて、被写体の位置を特定し、特定された被写体の位置が追尾実施領域にある場合に、被写体を追尾して撮影するために、撮影方向の制御と撮影画角の制御を行う駆動制御手段と、特定された被写体の位置が中断判定領域にある場合に、被写体の動きに基づいて追尾を中断するか否かを判定する追尾中断判定手段と、特定された前記被写体の位置が再開判定領域にある場合に、被写体の動きに基づいて追尾を再開するか否かを判定する追尾再開判定手段と、を有し、追尾を中断すると判定した場合、駆動制御手段は被写体を追尾するための撮像装置の制御を中断し、追尾を再開すると判定した場合、被写体を追尾するための前記撮像装置の制御を再開する。
【選択図】図１

【特許請求の範囲】

【請求項1】

追尾対象である被写体を追尾して撮像を行う追尾実施領域、前記被写体の追尾の中断を判定する中断判定領域、前記被写体の追尾の再開を判定する再開判定領域の設定を行う設定手段と、
撮像装置の撮像部により得られる画像データに対して映像解析することで、前記被写体を検出して前記画像データにおける前記被写体の位置を特定する第１の特定手段と、
前記被写体が所持する無線装置から受信した電波の方向に基づいて、前記撮像装置に対する前記被写体の相対位置を特定する第２の特定手段と、
前記第２の特定手段により特定された前記被写体の位置が前記追尾実施領域にある場合に、前記被写体を追尾して撮影するために、前記被写体の位置に基づいて撮影方向の制御と、撮影画角の制御を行う駆動制御手段と、
前記第２の特定手段により特定された前記被写体の位置が前記中断判定領域にある場合に、前記被写体の動きに基づいて前記被写体の追尾を中断するか否かを判定する追尾中断判定手段と、
前記第２の特定手段により特定された前記被写体の位置が前記再開判定領域にある場合に、前記被写体の動きに基づいて前記被写体の追尾を再開するか否かを判定する追尾再開判定手段と、を有し、
前記追尾中断判定手段が前記被写体の追尾を中断すると判定した場合、前記駆動制御手段は前記被写体を追尾するための前記撮像装置の制御を中断し、
前記追尾再開判定手段が前記被写体の追尾を再開すると判定した場合、前記駆動制御手段は前記被写体を追尾するための前記撮像装置の制御を再開することを特徴とする撮像装置。

【請求項2】

前記追尾中断判定手段は、前記無線装置から受信した電波の方向に基づいて算出した前記被写体の移動方向および移動距離に基づいて前記被写体の追尾を中断するか否かを判定し、
前記追尾再開判定手段は、前記無線装置から受信した電波の方向に基づいて算出した前記被写体の移動方向および移動距離に基づいて前記被写体の追尾を再開するか否かを判定することを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記追尾実施領域は、追尾領域と前記中断判定領域とを含み、
前記中断判定領域は、前記再開判定領域と隣接する領域であり、
前記中断判定領域と前記追尾領域の境界線を第１の境界線、前記中断判定領域と前記再開判定領域の境界線を第２の境界線とし、
前記追尾中断判定手段は、前記被写体が前記第１の境界線から前記第２の境界線に向かう一意の方向において、前記第１の境界線から前記第２の境界線を越える距離を移動している場合、前記被写体の追尾を中断すると判定することを特徴とする請求項２に記載の撮像装置。

【請求項4】

前記追尾中断判定手段は、前記被写体の移動方向が一意の方向に定まらない場合、もしくは、前記第１の境界線から前記第２の境界線を越える距離を移動していない場合は、前記被写体の追尾を中断しないと判定することを特徴とする請求項３に記載の撮像装置。

【請求項5】

前記追尾中断判定手段は、前記第２の特定手段が前記無線装置から一定時間分の電波を取得して該電波の方向に基づいて特定した一定時間分の前記被写体の前記撮像装置に対する前記被写体の相対位置に基づいて、前記被写体の移動方向および移動距離を取得することを特徴とする請求項２に記載の撮像装置。

【請求項6】

前記再開判定領域と前記中断判定領域の境界線を第２の境界線、前記再開判定領域の外周において前記第２の境界線と対向する辺を第３の境界線とし、
前記追尾再開判定手段は、前記被写体が前記第３の境界線から前記第２の境界線に向かう一意の方向において、前記第３の境界線から前記第２の境界線を越える距離を移動している場合、前記被写体の追尾を再開すると判定することを特徴とする請求項２に記載の撮像装置。

【請求項7】

前記追尾再開判定手段は、前記被写体の移動方向が一意の方向に定まらない場合、もしくは、前記第３の境界線から前記第２の境界線を越える距離を移動していない場合は、前記被写体の追尾を再開しないと判定することを特徴とする請求項６に記載の撮像装置。

【請求項8】

前記追尾再開判定手段は、前記第２の特定手段が前記無線装置から一定時間分の電波を取得して該電波の方向に基づいて特定した一定時間分の前記被写体の前記撮像装置に対する前記被写体の相対位置に基づいて、前記被写体の移動方向および移動距離を取得することを特徴とする請求項２に記載の撮像装置。

【請求項9】

前記設定手段は、ユーザによる指定に基づいて、前記追尾実施領域、前記中断判定領域、前記再開判定領域の設定を行うことを特徴とする請求項１に記載の撮像装置。

【請求項10】

前記設定手段は、ユーザからの前記追尾実施領域の指定を受け付け、前記追尾実施領域の境界線から所定の距離内側の領域を前記中断判定領域、前記追尾実施領域の境界線から所定の距離外側の領域を前記再開判定領域に設定することを特徴とする請求項９に記載の撮像装置。

【請求項11】

前記指定を受け付けるユーザインタフェースには、前記撮像部で取得した画像データが表示され、
前記駆動制御手段は、前記ユーザインタフェースに表示する画像データの画角内に前記追尾実施領域、前記中断判定領域、前記再開判定領域に設定される領域が収まるように前記撮像装置の撮影方向および撮影画角を制御することを特徴とする請求項９に記載の撮像装置。

【請求項12】

前記駆動制御手段は、前記第１の特定手段により前記被写体が検出できない場合は、前記第２の特定手段により特定された前記被写体の相対位置に基づいて前記撮像装置を制御し、前記第１の特定手段により前記被写体が検出できる場合には、前記第１の特定手段により特定された前記画像データにおける前記被写体の位置に基づいて前記撮像装置を制御することを特徴とする請求項１に記載の撮像装置。

【請求項13】

無線装置が複数個存在する場合、無線装置には優先度が設定され、追尾中断判定手段により第１の優先度の無線装置を所持する被写体の追尾が中断された際に、前記第２の特定手段は、前記第１の優先度に次ぐ優先度である第２の優先度の無線装置を所持する被写体の前記撮像装置に対する相対位置の特定を行い、前記駆動手段は、前記第２の特定手段により特定された前記第２の優先度の無線装置を所持する被写体の位置が前記追尾実施領域にある場合に、前記第２の優先度の無線装置を所持する被写体を追尾して撮影するために、前記撮像装置に対する前記第２の優先度の無線装置を所持する被写体の相対位置に基づいて、前記撮像装置を制御することを特徴とする請求項１に記載の撮像装置。

【請求項14】

ズームレンズを含む撮像光学系と、
撮像を行い画像データを取得する撮像部と、
前記無線装置から電波を受信する通信処理部と、
前記撮像光学系の向きをパン方向およびチルト方向に駆動させる第１の駆動部と、
前記ズームレンズを駆動させる第２の駆動部と、をさらに有し、
前記駆動制御手段は、前記第１の駆動部と前記第２の駆動部を制御することを特徴とする請求項１に記載の撮像装置。

【請求項15】

追尾対象である被写体に所持させる無線装置と、前記無線装置から電波を受信する撮像装置とを含む追尾システムであって、
前記無線装置は、方向検知機能に準じた無線通信モジュールを有し、
前記撮像装置は、
ズームレンズを含む撮像光学系と、
撮像を行い画像データを取得する撮像部と、
前記無線装置から電波を受信する通信処理部と、
前記撮像光学系の向きをパン方向およびチルト方向に駆動させる第１の駆動部と、
前記ズームレンズを駆動させる第２の駆動部と、
被写体の追尾を行う追尾実施領域、前記被写体の追尾の中断を判定する中断判定領域、前記被写体の追尾の再開を判定する再開判定領域の設定を行う設定手段と、
前記撮像部により得られる画像データに対して映像解析することで、前記被写体を検出して前記画像データにおける前記被写体の位置を特定する第１の特定手段と、
前記被写体が所持する無線装置から受信した電波の方向に基づいて、前記撮像装置に対する前記被写体の相対位置を特定する第２の特定手段と、
前記第２の特定手段により特定された前記被写体の位置が前記追尾実施領域にある場合に、前記被写体を追尾して撮影するために、前記被写体の位置に基づいて前記第１の駆動部と、前記第２の駆動部とを制御する駆動制御手段と、
前記第２の特定手段により特定された前記被写体の位置が前記中断判定領域にある場合に、前記被写体の動きに基づいて前記被写体の追尾を中断するか否かを判定する追尾中断判定手段と、
前記第２の特定手段により特定された前記被写体の位置が前記再開判定領域にある場合に、前記被写体の動きに基づいて前記被写体の追尾を再開するか否かを判定する追尾再開判定手段と、を有し、
前記追尾中断判定手段が前記被写体の追尾を中断すると判定した場合、前記駆動制御手段は前記被写体を追尾するための制御を中断し、
前記追尾再開判定手段が前記被写体の追尾を再開すると判定した場合、前記駆動制御手段は前記被写体を追尾するための制御を再開することを特徴とする追尾システム。

【請求項16】

撮像装置の制御方法であって、
追尾対象である被写体の追尾を行う追尾実施領域、前記被写体の追尾の中断を判定する中断判定領域、前記被写体の追尾の再開を判定する再開判定領域の設定を行う設定工程と、
撮像装置の撮像部により得られる画像データに対して映像解析することで、前記被写体を検出して前記画像データにおける前記被写体の位置を特定する第１の特定工程と、
前記被写体が所持する無線装置から受信した電波の方向に基づいて、前記撮像装置に対する前記被写体の相対位置を特定する第２の特定工程と、
前記第２の特定工程により特定された前記被写体の位置が前記追尾実施領域にある場合に、前記被写体を追尾して撮影するために、前記被写体の位置に基づいて撮影方向の制御と、撮影画角の制御を行う駆動制御工程と、
前記第２の特定工程により特定された前記被写体の位置が前記中断判定領域にある場合に、前記被写体の動きに基づいて前記被写体の追尾を中断するか否かを判定する追尾中断判定工程と、
前記第２の特定工程により特定された前記被写体の位置が前記再開判定領域にある場合に、前記被写体の動きに基づいて前記被写体の追尾を再開するか否かを判定する追尾再開判定工程と、を有し、
前記追尾中断判定工程で前記被写体の追尾を中断すると判定された場合、前記被写体を追尾するための前記撮像装置のパン・チルト・ズーム駆動の制御を中断し、
前記追尾再開判定工程で前記被写体の追尾を再開すると判定された場合、前記被写体を追尾するための前記撮像装置のパン・チルト・ズーム駆動の制御を再開することを特徴とする撮像装置の制御方法。

【請求項17】

請求項１６に記載の各工程を撮像装置のコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置による被写体の追尾の再開および中断の効率化に関する。

【背景技術】

【0002】

従来、パン・チルト・ズームの制御が可能なネットワークカメラが知られている。当該ネットワークカメラには、被写体を画面内に捉え続けるように撮像方向を自動的に制御する機能(自動追尾)を備えるものがある。被写体である人物の自動追尾のための人物の位置の特定には、一般的に人体検出などの映像解析が用いられることが多いが、照明変動の激しい場面や被写体の動きが激しい場面などにおいては被写体の追尾が不安定になることがある。より高精度な被写体の位置の特定のために、近年、無線通信規格Ｂｌｕｅｔｏｏｔｈ（登録商標）のバージョン５．１で追加された電波の飛来方向を検知できる機能が注目されている。当該機能を有する無線通信モジュールを、カメラおよび無線装置の双方に搭載し、無線装置からの生じる電波の方向をカメラで特定することで、無線装置の位置を特定することができる。そして、無線装置をあらかじめ追尾対象の被写体に所持させることで、カメラは被写体の位置を特定することができる。

【0003】

被写体がコンサートや演劇の舞台など表と裏が存在する環境において、映像解析を用いて被写体の追尾を行う場合、被写体が舞台の表から裏へ移動した際には、被写体を画面内に捉え続けることが困難となる。また、しばらくして被写体が舞台の裏から表へ現れた際に、被写体の追尾を再開するためには、以下のような手順を踏む必要がある。
（１） 被写体が映像解析可能な範囲に存在できるように画角を調整する。
（２） 映像解析により画面内の被写体を探索し、追尾を再開する。
このように映像解析を用いて被写体の追尾を行う場合における被写体の追尾の再開には段階的な処理が必要となり、再追尾へ時間を要し、画角を調整するユーザに負担がかかってしまう。

【0004】

一方で、舞台など表と裏が存在する環境において、無線通信を用いて被写体の追尾を行う場合、被写体が舞台の裏から表へ移動した際には、無線装置から生じる電波の方向がカメラで特定が可能であれば、ユーザの負担がなく追尾の再開が可能である。しかし、無線通信を用いて被写体の追尾を行う場合、被写体が舞台の表から裏へ移動した際には、舞台の裏に存在する被写体の追尾を継続して撮影を継続してしまうため、追尾の中断をユーザが行う必要があり、ユーザに負担に負担がかかってしまう。

【0005】

被写体の追尾においてユーザの負担を軽減するために様々な検討が行われている。特許文献１は、被写体が所持する送信機から受信した測位信号に基づいて撮影装置からの位置および距離を計算して方向および倍率を設定し、被写体がスキャン範囲に存在していない場合はスキャン範囲を拡大する撮影システムを開示している。また、特許文献２は、レーザーセンサーにより監視領域内の物体を追尾する際に、物体が検知できなくなったときに現在位置を推定して追尾継続を判断する技術を開示している。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】国際公開第２０１９－０９３０１６号

【特許文献2】特開２０２０－００５１２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１の技術は被写体が画角内に存在する場合にのみ有効であり、被写体が舞台裏に存在する場合など撮影範囲外にいる場合には、無駄なパン・チルト・ズームの制御を行うこととなる。また、特許文献２の技術では、検知できない時間が長くなればなるほど位置の推定が大きく外れていく可能性があり、監視領域内か監視領域外かの判定の精度が落ちてしまう。

【0008】

本発明は、被写体の追尾の中断および再開を効率化し、ユーザの負担を軽減することを目的とする。

【課題を解決するための手段】

【0009】

上記課題を解決するために、本発明の撮像装置は、追尾対象である被写体を追尾して撮像を行う追尾実施領域、前記被写体の追尾の中断を判定する中断判定領域、前記被写体の追尾の再開を判定する再開判定領域の設定を行う設定手段と、撮像装置の撮像部により得られる画像データに対して映像解析することで、前記被写体を検出して前記画像データにおける前記被写体の位置を特定する第１の特定手段と、前記被写体が所持する無線装置から受信した電波の方向に基づいて、前記撮像装置に対する前記被写体の相対位置を特定する第２の特定手段と、前記第２の特定手段により特定された前記被写体の位置が前記追尾実施領域にある場合に、前記被写体を追尾して撮影するために、前記被写体の位置に基づいて撮影方向の制御と、撮影画角の制御を行う駆動制御手段と、前記第２の特定手段により特定された前記被写体の位置が前記中断判定領域にある場合に、前記被写体の動きに基づいて前記被写体の追尾を中断するか否かを判定する追尾中断判定手段と、前記第２の特定手段により特定された前記被写体の位置が前記再開判定領域にある場合に、前記被写体の動きに基づいて前記被写体の追尾を再開するか否かを判定する追尾再開判定手段と、を有する。前記追尾中断判定手段が前記被写体の追尾を中断すると判定した場合、前記駆動制御手段は前記被写体を追尾するための前記撮像装置の制御を中断し、前記追尾再開判定手段が前記被写体の追尾を再開すると判定した場合、前記駆動制御手段は前記被写体を追尾するための前記撮像装置の制御を再開する。

【発明の効果】

【0010】

本発明によれば、被写体の追尾の中断および再開を効率化し、ユーザの負担を軽減することができる。

【図面の簡単な説明】

【0011】

【図1】追尾システムの構成の一例を示す図である。

【図2】ネットワークカメラの構成の一例を示す図である。

【図3】追尾処理を示すフローチャートである。

【図4】追尾実行領域と境界線を説明する図である。

【図5】追尾範囲設定画面の一例を示す図である。

【図6】追尾実施処理を示すのフローチャートである。

【図7】追尾実施処理を示すのフローチャートである。

【図8】追尾再開判定処理を示すフローチャートである。

【図9】追尾再開判定の被写体の動きを説明する図である。

【図10】追尾中断判定処理を示すフローチャートである。

【図11】追尾中断判定の被写体の動きを説明する図である。

【発明を実施するための形態】

【0012】

（実施例１）
図１は、被写体を追尾して撮影する追尾システムの構成の一例を示す図である。追尾システムは、被写体を画面内に捉え続けるように撮像装置の撮像方向を自動的に制御する。本実施例の追尾システムにおける撮像装置による被写体の追尾には、画像解析と無線通信が利用される。追尾システムは、撮像装置であるネットワークカメラ１０１、被写体に装備される無線装置１０３、ネットワークカメラ１０１と無線装置１０３を通信可能に接続するネットワーク１０６を有する。また、追尾システムは、情報処理装置である情報端末１０２と、ネットワークカメラ１０１と情報端末１０２を通信可能に接続するネットワーク１０５を含んでいてもよい。

【0013】

ネットワークカメラ１０１は、有線または無線のネットワークによる映像配信やカメラ制御が可能な撮像装置である。ネットワークカメラ１０１は、撮像部の撮像方向を水平方向および垂直方向に回転駆動させるパンチルト機構（パン機構およびチルト機構）を有する。また、ネットワークカメラ１０１は、画角を調整するズームレンズを有する。本実施例では、ネットワークカメラ１０１が被写体１０４を自動追尾して撮影する場合を例に説明する。

【0014】

無線装置１０３は、無線通信モジュールが内蔵され、ネットワーク１０６を介してネットワークカメラ１０１と通信を行う。無線装置１０３は、例えば、Ｂｌｕｅｔｏｏｔｈ(登録商標)の５．１仕様の方向検知機能に準じた無線通信モジュールを内蔵している。本実施例では、ネットワークカメラ１０１で被写体１０４を自動追尾するために、無線装置１０３は被写体１０４に所持される。ネットワークカメラ１０１は、無線装置１０３から受信した電波の方向に基づいて、無線装置１０３を所持している被写体１０４のネットワークカメラ１０１に対する相対位置を特定することができる。つまり、無線装置１０３から生じる電波をネットワークカメラ１０１が受信することで、無線装置１０３を所持している被写体１０４のネットワークカメラ１０１に対する相対位置を特定することができる。

【0015】

ネットワーク１０６は、ネットワークカメラ１０１と無線装置１０３とを接続し、相互通信を可能にする無線のネットワークである。ネットワーク１０６は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）、Ｚ－Ｗａｖｅ（登録商標）などの無線通信規格に則り、ネットワークカメラ１０１と無線装置１０３との相互通信を可能にする。なお、本実施例では被写体の動きに制限が少なく、実際に利用されやすいものとしてネットワーク１０６の通信形態を無線としたが、有線による実施も可能である。

【0016】

情報端末１０２は、ネットワークカメラ１０１の制御やネットワークカメラ１０１への情報の入力およびネットワークカメラ１０１からの出力を行う情報処理装置である。情報端末１０２は、例えば、Ｗｅｂブラウザを介してネットワークカメラ１０１との通信を行う。情報端末１０２は、ネットワーク１０５を介してネットワークカメラ１０１と接続される。ネットワーク１０５は、ネットワークカメラ１０１と情報端末１０２を接続するための有線のネットワークである。なお、本実施例ではネットワーク１０５の通信形態は有線であるが、無線による実施も可能である。

【0017】

次に、ネットワークカメラ１０１の構成について図２を用いて説明する。図２は、ネットワークカメラ１０１の構成の一例を示す図である。ネットワークカメラ１０１は、撮像部２０１、レンズ制御部２０２、駆動部２０３、Ａ／Ｄ変換部２０４、カメラ信号処理部２０５、映像解析部２０６、有線通信処理部２０７、無線通信処理部２０８、記憶部２０９、ＣＰＵ２１０を有する。

【0018】

撮像部２０１は、撮像光学系および撮像素子を備える。撮像光学系は、撮像素子に到達する光学像の倍率、ピント位置、光量等を調整し、撮像素子上に光学像を結像する。撮像光学系は、ズームレンズおよびフォーカスレンズを含む複数のレンズと、絞りを備える。ズームレンズおよびフォーカスレンズは、レンズ制御部２０２による駆動制御に応じて光軸上を移動する。絞りは、レンズ制御部２０２により動作し、撮像光学系を通る光の量を調節する。撮像素子は、撮像光学系を通過した光を光電変換により電気信号に変換する撮像手段である。撮像素子から出力された電気信号は、アンプにより増幅され、Ａ／Ｄ変換部２０４に入力される。

【0019】

レンズ制御部２０２は、撮像光学系の複数のレンズの駆動を制御する。レンズ制御部２０２は、ズームレンズを制御することで、画角を調節し、光学像（被写体像）の倍率を調節する。レンズ制御部２０２は、フォーカスレンズを制御することで、ピント位置を調節する。Ａ／Ｄ変換部２０４は、撮像部２０１から取得した電気信号をデジタル信号に変換し、カメラ信号処理部２０５に出力する。カメラ信号処理部２０５は、デジタル信号に対して各種画像処理を行い、映像信号を生成する。ここで各種画像処理は、例えば、キズ補正、色収差補正、ガンマ処理、ノイズ低減処理などである。

【0020】

駆動部２０３は、撮像部２０１を水平及び垂直方向に回転させる駆動を制御する。駆動部２０３は、パン駆動部およびチルト駆動部を有する。駆動部２０３は、例えば、アクチュエータを介して撮像部２０１の駆動を制御する。映像解析部２０６は、映像を解析して各種検出処理を行う。映像解析部２０６は、被写体１０４の位置特定のための映像解析部処理として人体検出と顔検出を行う。有線通信処理部２０７は、ネットワーク１０５を介して、情報端末１０２との間でネットワーク通信の処理を行う。無線通信処理部２０８は、ネットワーク１０６を介して、無線装置１０３との間で無線通信の処理を行う。

【0021】

記憶部２０９は、プログラムやデータを記憶する。記憶部２０９は、ＲＡＭ、ＲＯＭ、記憶装置を有する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）は、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性メモリである。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）は、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）やフラッシュメモリなどの不揮発メモリである。記憶装置は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などである。本実施例における機能を実現するためのプログラムや当該プログラムが実行される際に使用されるデータは、ＲＯＭもしくは記憶装置に格納される。これらのプログラムやデータは、ＣＰＵ２１０による制御のもと適宜ＲＡＭに取り込まれ、ＣＰＵ２１０によって実行される。

【0022】

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１０は、中央演算処理装置である。ＣＰＵ２１０は、ネットワークカメラ１０１全体を制御する。また、ＣＰＵ２１０は、追尾システム全体を制御する追尾システム制御部としても機能する。ＣＰＵ２１０は、無線位置特定部２１１、中断判定部２１３、再開判定部２１２、映像解析位置特定部２１４、追尾設定部２１５、ＰＴＺ制御部２１６を有する。以下、各部について説明する。

【0023】

無線位置特定部２１１は、無線装置１０３から発信された電波の方向に基づいて、無線装置１０３の位置を特定する。無線装置１０３の位置として、無線位置特定部２１１は、ネットワークカメラ１０１の正面を基準としたときの無線装置１０３の相対位置を特定する。無線装置１０３の相対位置の特定方法としては、例えば、Ｂｌｕｅｔｏｏｔｈ(登録商標)の５．１仕様に準拠した方向検知機能などが挙げられる。また、無線装置１０３の相対位置の特定方法として、Ａｎｇｌｅ ｏｆ Ａｒｒｉｖａｌ（ＡｏＡ）などの特定手法による実施も可能であり、その方法は問わない。

【0024】

再開判定部２１２は、被写体１０４の追尾を再開するか否かを判定する。中断判定部２１３は、被写体１０４の追尾を中断するか否かを判定する。映像解析位置特定部２１４は、映像解析部２０６による人体または顔検出結果に基づいて、画像内の被写体１０４の位置を特定する。なお、映像解析部２０６が実行する映像解析の処理をＣＰＵ２１０の映像解析位置特定部２１４で実行してもよい。以下では、映像解析位置特定部２１４が映像解析による被写体検出も行うものとして説明する。

【0025】

追尾設定部２１５は、被写体の追尾に関する設定を行う。本実施例の追尾システムでは、あらかじめユーザによって設定された各種パラメータに基づき被写体の追尾の制御を行う。追尾設定部２１５は、被写体の追尾を行う領域の設定を受け付ける。そして、追尾設定部２１５は、被写体の追尾の中断を判定する領域と、被写体の追尾の再開を判定する領域を設定する。また、追尾設定部２１５は、ネットワークカメラ１０１が取得する電波の発信元となる無線装置に関する設定を行う。例えば、追尾を行う被写体が所持する無線装置のデバイスＩＤをパラメータとして登録しておくことで、追尾設定部２１５は、複数の無線装置が存在する中でも、登録した無線装置の位置を特定して追尾を行うことができる。また、追尾設定部２１５は、無線装置のデバイスＩＤに加え、複数の無線装置がある場合には、いずれの無線装置を所持する被写体を優先して追尾するかを示す優先度を設定してもよい。

【0026】

ＰＴＺ制御部２１６は、被写体１０４の位置に基づいて、レンズ制御部２０２および駆動部２０３を用いて、ネットワークカメラ１０１の撮影方向および撮影画角（撮影倍率）を制御する。以下では、ネットワークカメラ１０１の撮影方向および撮影画角の制御を、ネットワークカメラ１０１のパン・チルト・ズーム駆動の制御と記載する。ＰＴＺ制御部２１６は、被写体１０４の位置を無線位置特定部２１１もしくは映像解析位置特定部２１４から取得する。そして、ＰＴＺ制御部２１６は、被写体１０４の位置にカメラの撮影方向（撮像光学系の向き）を向けるようにパン方向およびチルト方向を制御する。また、ＰＴＺ制御部２１６は、被写体追尾が行われている場合と、被写体追尾が行われていない場合とで、画角を変更する制御を行う。例えば、ＰＴＺ制御部２１６は、被写体追尾が中断されているときには画角を広角に制御し、被写体追尾が行われている場合は追尾対象の被写体１０４に合わせたより狭い画角に制御する。例えば、被写体追尾が行われている場合は、ＰＴＺ制御部２１６は、追尾対象の被写体１０４の顔の大きさが撮影画角内において所定の大きさ以上になるようにズーム制御を行う。このように、被写体１０４に装着させた無線装置１０３の位置の特定もしくは映像解析による被写体１０４の位置の特定に基づいて、カメラの撮影方向が被写体１０４に向くようにパン・チルト・ズーム駆動を制御することで被写体１０４の自動追尾が可能となる。なお、本実施例では、被写体１０４の位置に基づいて撮影方向の制御を行い、被写体追尾の実行中か否かに応じてズーム駆動の制御を行う例を説明するが、これに限られるものではない。被写体１０４の位置に応じたズーム駆動のパラメータを予め記憶部２０９に記憶しておき、特定した被写体の位置のパラメータに応じたズーム駆動の制御を行うようにしてもよい。

【0027】

ネットワークカメラ１０１による被写体の追尾処理について図３を用いて説明する。図３は、被写体追尾処理を示すフローチャートである。被写体追尾処理においてネットワークカメラ１０１が実行する各処理は、ＣＰＵ２１０が記憶部２０９に保存されたプログラムを実行することで実現される。

【0028】

ステップＳ３０１で、ネットワークカメラ１０１で追尾を行う追尾対象が所持する、電波の方向検出による被写体位置特定のための無線装置のデバイスＩＤを記憶部２０９に記憶する。本実施例では、被写体１０４が所持する無線装置１０３のデバイスＩＤを記憶部２０９に記憶する。デバイスＩＤは、ユーザにより入力され記憶部２０９に保存されてもよいし、無線装置１０３との無線通信により取得して記憶部２０９に保存されてもよい。ステップＳ３０２で、追尾設定部２１５は、追尾対象である被写体１０４の追尾実施領域と追尾判定範囲の設定を行う。追尾実施領域および追尾判定範囲の設定の詳細について、図４および図５を用いて説明する。

【0029】

図４は、追尾実施領域と追尾境界線を説明する図である。本実施例では領域として、追尾実施領域４０８、追尾領域４０１、追尾中断判定領域４０２、追尾再開判定領域４０３、追尾未実施領域４０４を設定する。追尾実施領域４０８は、追尾領域４０１と追尾中断判定領域４０２を合わせた領域である。追尾実施領域４０８は、被写体の追尾を行う領域である。図４においては、追尾実施領域４０８のうち、水平方向における端部付近が追尾中断判定領域４０２、追尾中断判定領域４０２を除く追尾実施領域４０８が追尾領域４０１である。

【0030】

追尾領域４０１は、被写体の追尾を行う領域であり、かつ、被写体追尾の中断の判定が行われない領域である。追尾領域４０１に追尾対象の被写体がある場合は、追尾の中断または再開を判定する処理は行われず、被写体追尾処理（Ｓ３０６）が実行され続け、被写体の追尾が継続される。追尾中断判定領域４０２は、被写体の追尾を行うか中断するかの判定を実施する領域である。図４において追尾中断判定領域４０２は、水平方向において追尾領域４０１の外側に隣接する領域である。すなわち、追尾中断判定領域４０２は、追尾領域４０１と追尾再開判定領域４０３に挟まれる領域である。なお、追尾中断判定領域４０２においては、被写体の追尾を中断する判定が出るまでは、追尾領域４０１と同様に被写体の追尾が行われる。追尾再開判定領域４０３は、被写体の追尾を再開するかの判定を実施する領域である。図４において追尾再開判定領域４０３は、水平方向において追尾中断判定領域４０２の外側に隣接する領域である。すなわち、追尾再開判定領域４０３は、追尾実施領域４０８（追尾中断判定領域４０２）と、追尾未実施領域４０４に挟まれる領域である。追尾未実施領域４０４は、被写体の追尾を行わない領域である。図４において追尾未実施領域４０４は、水平方向において追尾再開判定領域４０３の外側に隣接する領域である。なお、追尾実施領域の中に追尾未実施領域を任意に設定することも可能である。

【0031】

また本実施例では、追尾領域４０１、追尾中断判定領域４０２、追尾再開判定領域４０３、追尾未実施領域４０４の４つの領域の境界線として、３つの追尾境界線を設定する。追尾中断判定領域境界線４０５（第１の境界線）は、追尾領域４０１と追尾中断判定領域４０２の境界線である。追尾範囲境界線４０６（第２の境界線）は、追尾中断判定領域４０２と追尾再開判定領域４０３の境界線である。すなわち、追尾範囲境界線４０６は、追尾実施領域４０８と追尾再開判定領域４０３の境界線である。追尾再開判定領域境界線４０７（第３の領域）は、追尾再開判定領域４０３と追尾未実施領域４０４の境界線である。追尾再開判定領域境界線４０７は、追尾再開判定領域４０３の外周において追尾範囲境界線４０６と対向する辺となる。

【0032】

追尾領域や追尾境界線などの追尾範囲設定は、追尾範囲設定画面にけるユーザの指定に基づいて設定される。図５は、追尾範囲設定画面の一例を示す図である。追尾範囲設定画面５０１は、例えば、ネットワークカメラ１０１が提供し、情報端末１０２のＷｅｂブラウザに表示されるユーザインタフェースである。なおネットワークカメラ１０１がディスプレイを有している場合は、追尾範囲設定画面５０１はネットワークカメラ１０１で表示されてもよい。追尾範囲設定画面５０１には、撮影場所に設置されたネットワークカメラ１０１で撮影している映像（画像データ）が重畳表示される。ネットワークカメラ１０１は、追尾範囲設定画面５０１に表示するために、追尾実施領域４０８、追尾中断判定領域４０２、追尾再開判定領域４０３に設定される領域が画角に収まるように、ネットワークカメラ１０１の撮影方向と画角を制御する。

【0033】

ユーザは、追尾範囲設定画面５０１において、追尾実施領域の横幅、高さ、奥行きの情報等を任意に設定することが可能である。追尾実施領域をユーザが設定することで、自動的に追尾境界線も設定される。また、ユーザは追尾実施領域の中に追尾未実施領域を任意に設定することができる。設定が完了すると、ユーザは決定ボタン５０２を押下する。ネットワークカメラ１０１の追尾設定部２１５は、情報端末１０２を介して決定ボタン５０２の押下を検知すると、追尾範囲設定画面５０１においてユーザから指定された追尾実施領域を追尾実施領域４０８として設定する。そして、追尾設定部２１５は、追尾実施領域４０８の境界線から所定の距離内側の領域を追尾中断判定領域４０２に、追尾実施領域４０８の境界線から所定の距離外側の領域を追尾再開判定領域４０３に設定する。なお、追尾実施領域４０８のみでなく、追尾中断判定領域４０２および追尾再開判定領域４０３をユーザが指定するようにしてもよい。

【0034】

ステップＳ３０３で、無線位置特定部２１１は、無線装置１０３から受信した電波に基づいて、無線装置１０３を所持する被写体１０４の位置を特定する。無線位置特定部２１１は、Ｓ３０１で保存したデバイスＩＤに対応する無線装置１０３から電波を受信し、電波に基づいて、ネットワークカメラ１０１から無線装置１０３への方位角、仰角、距離を取得する。そして、無線位置特定部２１１は、無線装置１０３への方位角、仰角、距離に基づいて、無線装置１０３を所持する被写体１０４のネットワークカメラ１０１に対する相対位置を特定する。

【0035】

ステップＳ３０４で、ＣＰＵ２１０は、ステップＳ３０３で特定した被写体１０４の位置が追尾実施領域４０８に含まれているかの判定を行う。被写体１０４の位置が追尾実施領域４０８に含まれている場合にはステップＳ３０６の処理を行う。一方、被写体１０４の位置が追尾実施領域４０８に含まれていない場合にはステップＳ３０５の処理を行う。

【0036】

ステップＳ３０５で、ＣＰＵ２１０は、ステップＳ３０３で特定した被写体１０４の位置が追尾再開判定領域４０３に含まれているかの判定を行う。被写体１０４の位置が追尾再開判定領域４０３に含まれている場合にはステップＳ３０７の処理を行う。一方、被写体１０４の位置が追尾再開判定領域４０３に含まれていない場合にはステップＳ３０８の処理を行う。

【0037】

ステップＳ３０６で、ＣＰＵ２１０は、追尾実施領域４０８に存在する被写体１０４を追尾する処理を実行する。本処理の詳細は、図６を用いて後述する。ステップＳ３０７で、ＣＰＵ２１０の再開判定部２１２は、追尾再開判定領域内に存在する被写体１０４について、追尾の再開判定処理を行う。本処理の詳細は、図８を用いて後述する。ステップＳ３０８で、ＰＴＺ制御部２１６は、ネットワークカメラ１０１のパン・チルト・ズーム量が初期値になるようにパン・チルト・ズーム駆動を行う。ここで、パン・チルト・ズーム量の初期値は記憶部２０９にパラメータとして記憶されている。

【0038】

次に、ステップＳ３０６の詳細な処理の一例を、図６および図７のフローチャートを用いて説明する。図６および図７は、追尾実施処理を示すのフローチャートである。被写体追尾実施処理においてネットワークカメラ１０１が実行する各処理は、ＣＰＵ２１０が記憶部２０９に保存されたプログラムを実行することで実現される。

【0039】

ステップＳ６０１で、ＰＴＺ制御部２１６は、ステップＳ３０３で特定された被写体の位置に基づいて、ネットワークカメラ１０１が被写体１０４を画面中央に写すことが可能なパン・チルト・ズーム駆動量を計算する。ここで、ネットワークカメラ１０１の画面外の被写体など、ステップＳ３０３で特定された被写体１０４の位置がネットワークカメラ１０１の現在の撮像範囲と大きく離れている場合には、被写体追尾のためのパン・チルト・ズーム駆動量が大きくなる。被写体の位置へ急激な速さでパン・チルト・ズーム駆動を行うと、ネットワークカメラ１０１のレンズ制御部２０２や駆動部２０３への負担が増え、撮影映像を見るユーザへの不快感を与えてしまう恐れがある。そこで、被写体１０４の位置がネットワークカメラ１０１の現在の撮影範囲と大きく離れている際には、１回の動作でのパン・チルト・ズーム駆動量を制限して複数回に分けて駆動させる。複数回に分けて駆動させることにより、レンズ制御部２０２や駆動部２０３への負担や、撮影した映像を視聴するユーザへの不快感を軽減する。このように、複数回のパン・チルト・ズーム駆動により被写体追尾を行う場合には、ＰＴＺ制御部２１６は、複数回分のパン・チルト・ズーム駆動量を計算する。ステップＳ６０２で、ＰＴＺ制御部２１６は、ステップＳ６０１で算出されたパン・チルト・ズーム駆動量を用いて、ＰＴＺ制御部２１６によりパン・チルト・ズーム駆動を行う。

【0040】

ステップＳ６０３で、無線位置特定部２１１は、無線装置１０３から受信した電波に基づいて、無線装置１０３を所持する被写体１０４の位置を特定する。ステップＳ６０３の処理は、ステップＳ３０３の処理と同様である。含まれている場合にはステップＳ６０４へ進み、含まれていない場合にはステップＳ３０５へ進む。

【0041】

ステップＳ６０４で、ＣＰＵ２１０は、ステップＳ３０３で取得した被写体１０４の位置が追尾実施領域４０８に含まれているかの判定を行う。被写体１０４の位置が追尾実施領域４０８に含まれている場合には、Ｓ６０４の処理を行う。一方、被写体１０４の位置が追尾実施領域４０８に含まれていない場合には、Ｓ６１１の処理を行う。

【0042】

ステップＳ６０５で、ＣＰＵ２１０は、ステップＳ３０３で取得した被写体１０４の位置が追尾中断判定領域４０２に含まれているかの判定を行う。被写体１０４の位置が追尾中断判定領域４０２に含まれている場合にはステップＳ６１３の処理を行う。一方、被写体１０４の位置が追尾中断判定領域４０２に含まれていない場合には、ステップＳ６０６の処理を行う。ステップＳ６１３で、中断判定部２１３は、追尾中断判定領域内に存在する被写体１０４に対して、追尾中断判定処理を行う。この動作の詳細は図１０を用いて後述する。

【0043】

ステップＳ６０６～ステップＳ６１０は、被写体１０４を追尾するためにネットワークカメラ１０１の駆動量を計算して駆動制御するための処理である。本実施例では、ネットワークカメラ１０１で撮影した画像を解析して被写体１０４を検出できる場合には、映像解析に基づいた被写体追尾の制御を行う例について説明する。この場合、ネットワークカメラ１０１で撮影した画像を解析して被写体１０４を検出できない場合には、無線装置１０３からの電波に基づいた被写体追尾の制御を行う。なお、追尾領域４０１にある被写体１０４の追尾方法はこれに限られるものではなく、例えば、無線装置１０３からの電波に基づいた被写体追尾の制御のみを行うようにしてもよい。

【0044】

ステップＳ６０６で、映像解析位置特定部２１４は、画像データを解析し、追尾対象である被写体１０４の検出を行う。映像解析位置特定部２１４は、撮像部２０１、Ａ／Ｄ変換部２０４、カメラ信号処理部２０５によって生成された画像データに対して画像解析を行うことで、追尾対象である被写体１０４の人体または顔を検出する。ここで画像解析の結果、生成された画像データ内に被写体１０４を検出できない場合も存在する。例えば、被写体が障害物の裏、人混みの中に存在する場合には、映像解析により人体と顔の双方において被写体の検出が困難となり、被写体１０４の検出は失敗となる。ステップＳ６０７で、ステップＳ６０６による被写体１０４の人体または顔の検出が成功したか否かの判定を行う。被写体１０４の検出が成功した場合には、ステップＳ６０８の処理を行う。一方、被写体１０４の検出が失敗した場合にはステップＳ６０９の処理を行う。

【0045】

ステップＳ６０８で、ＰＴＺ制御部２１６は、被写体１０４の位置に基づいて、ネットワークカメラ１０１のパン・チルト・ズーム駆動量を計算する。具体的には、まず、映像解析位置特定部２１４がステップＳ６０６で検出された被写体１０４の画像内の位置を特定する。そして、ＰＴＺ制御部２１６は、映像解析位置特定部２１４が特定した追尾対象ある被写体１０４の位置に基づいて、被写体１０４の人体または顔の中心が画面中央に位置するようなパン・チルト・ズーム駆動量を計算する。なお、映像解析位置特定部２１４による被写体１０４の位置の特定は、Ｓ６０６において被写体１０４の検出と共に行われていてもよい。

【0046】

ステップＳ６０９で、ＰＴＺ制御部２１６は、ステップＳ６０３で特定された被写体の位置に基づいて、ネットワークカメラ１０１が被写体１０４を画面中央に写すことが可能なパン・チルト・ズーム駆動量を計算する。すなわち、ＰＴＺ制御部２１６は、無線装置１０３からの電波に基づいて特定された被写体の位置に基づいて、ネットワークカメラ１０１のパン・チルト・ズーム駆動量を計算する。ステップＳ６０９の処理は、ステップＳ６０１の処理と同様の処理である。

【0047】

ステップＳ６１０で、ＰＴＺ制御部２１６は、ステップＳ６０８もしくはステップＳ６０９で算出されたパン・チルト・ズーム駆動量を用いて、パン・チルト・ズーム駆動を行う。すなわち、被写体が追尾中断領域内にある場合において、画像解析による追尾対象の被写体１０４の検出が成功した場合には、ＰＴＺ制御部２１６は、画像解析で特定した被写体１０４の位置に応じたパン・チルト・ズーム駆動の制御を行う。一方、画像解析による追尾対象の被写体１０４の検出が成功しなかった場合には、ＰＴＺ制御部２１６は、無線装置１０３からの電波に基づいて特定した被写体１０４の位置に応じたパン・チルト・ズーム駆動の制御を行う。

【0048】

ステップＳ６１１で、ＣＰＵ２１０は、ステップＳ６０３で取得した被写体１０４の位置が追尾再開判定領域４０３に含まれているかの判定を行う。被写体１０４の位置が追尾再開判定領域４０３に含まれている場合には、ステップＳ６１２の処理を行う。一方、被写体１０４の位置が追尾再開判定領域４０３に含まれていない場合には、本処理を終了する。ステップＳ６１２で、再開判定部２１２は、追尾再開判定領域内に存在する被写体１０４に対して、追尾再開判定処理を行う。この動作の詳細は図８を用いて後述する。

【0049】

図３、図６、図７で説明したように、本実施例では、まず、無線装置１０３から受信した電波に基づいて被写体１０４が追尾実施領域４０８にいるかを確認して、追尾実施領域４０８にいる場合には被写体追尾のための駆動制御を行う。その後も無線装置１０３から受信した電波に基づいて被写体１０４がいる領域を確認しながら、被写体追尾のための駆動制御を行うか、追尾を中断するか、追尾を再開するかの判定を行う。このように、被写体１０４が所持する無線装置１０３からの電波に基づいて被写体１０４の位置を把握することで、被写体１０４が撮影できる範囲におらず画像解析で検出できない場合でも、追尾の中断・再開の判定を効率的に行うことができる。

【0050】

次に、ステップＳ３０７およびステップＳ６１２に示される追尾再開判定処理の詳細を、図８のフローチャートを用いて説明する。図８は、追尾再開判定処理を示すフローチャートである。追尾再開判定処理においてネットワークカメラ１０１が実行する各処理は、ＣＰＵ２１０が記憶部２０９に保存されたプログラムを実行することで実現される。追尾再開判定処理は、無線装置１０３からの電波に基づいて特定された被写体１０４の位置が、追尾再開判定領域４０３にある場合に行われる処理である。追尾再開判定処理では、再開判定部２１２が、無線装置１０３からの電波に基づいて特定された被写体１０４の動きに基づいて、被写体１０４の追尾を再開するか否かを判定する。

【0051】

ステップＳ８０１およびステップＳ８０２は、無線装置１０３からので電波に基づいて、一定時間における被写体１０４の動きを算出するための処理である。ステップＳ８０１で、無線位置特定部２１１は、一定時間分の無線装置１０３からの電波を取得する。例えば、無線位置特定部２１１は、一定時間分として、被写体１０４が追尾再開判定領域４０３にあると判定されてから予め定められた所定の期間の無線装置１０３からの電波を取得する。

【0052】

ステップＳ８０２で、無線位置特定部２１１は、被写体１０４の動きとして、被写体１０４の移動方向と移動距離を算出する。具体的には、まず、無線位置特定部２１１は、ステップＳ８０１で取得した一定時間分の無線装置１０３から生じる電波の方向に基づいて、ネットワークカメラ１０１を基準位置としたときの一定時間分の被写体１０４の位置の特定を行う。このように被写体１０４の位置の特定を一定時間行うことで、無線位置特定部２１１は、被写体１０４の位置の連続データを取得することができる。そして、無線位置特定部２１１は、被写体１０４の位置の連続データに基づいて、被写体１０４の移動方向と移動距離を算出する。

【0053】

ステップＳ８０３で、再開判定部２１２は、ステップＳ８０２にて算出した被写体１０４の移動方向と移動距離から、被写体１０４の追尾を再開するか否か判定する。具体的には、再開判定部２１２は、追尾再開判定領域４０３内において、ステップＳ８０２で算出した被写体１０４の移動方向が一意の方向で、かつ、ステップＳ８０２で算出した被写体１０４の移動距離が所定の距離以上に移動しているかを判定する。

【0054】

図９は、追尾再開判定の被写体の動きを説明する図である。図９（Ａ）では、被写体１０４が追尾再開判定領域境界線４０７から追尾範囲境界線４０６に向かう方向において、追尾再開判定領域境界線４０７から追尾範囲境界線４０６を超える距離を追尾再開判定領域４０３内で移動している。矢印９０１は、被写体１０４の移動方向を示している。再開判定部２１２は、図９（Ａ）に示されるように被写体１０４が一意の方向でかつ所定の距離を追尾再開判定領域４０３内で移動している場合、追尾を再開すると判定する。ここで、追尾再開判定処理における一意の方向は、追尾再開判定領域境界線４０７から追尾範囲境界線４０６向かう方向（第１の方向）である。追尾再開判定処理における所定の距離は、追尾再開判定領域境界線４０７から追尾範囲境界線４０６を超える距離（第１の距離）である。

【0055】

図９（Ｂ）では、被写体１０４が追尾再開判定領域境界線４０７から追尾範囲境界線４０６に向かう方向に移動した後、逆の方向となる追尾範囲境界線４０６から追尾再開判定領域境界線４０７に向かう方向に移動している。矢印９０２は、被写体１０４の移動方向を示している。再開判定部２１２は、図９（Ｂ）に示されるように被写体１０４の移動方向が一意の方向に定まらない場合、被写体の追尾を再開しないと判定する。また、被写体１０４の移動方向が一意の方向であったとしても、追尾再開判定領域境界線４０７から追尾範囲境界線４０６を超える距離を追尾再開判定領域４０３内で移動していない場合は、再開判定部２１２は、被写体の追尾を再開しないと判定する。このように再開判定部２１２は、追尾再開判定領域４０３内でにおいて、被写体１０４の移動方向が一意の方向でない場合、もしくは、被写体１０４が所定の距離を移動していない場合は、被写体の追尾を再開しないと判定する。

【0056】

再開判定部２１２が被写体１０４の追尾を再開すると判定した場合、ステップＳ８０４の処理を行う。一方、再開判定部２１２が被写体１０４の追尾を再開しないと判定した場合、本処理を終了する。ステップＳ８０４で、ＣＰＵ２１０は、被写体１０４の追尾を再開し、被写体１０４を追尾する処理を実行する。ステップＳ８０４の処理は、ステップＳ３０６の処理と同様の処理である。再開判定部２１２が被写体１０４の追尾を再開しないと判定してから所定の時間が経過し、ネットワークカメラ１０１がホームポジションでない場合には、ＣＰＵ２１０は、Ｓ３０８においてネットワークカメラ１０１をホームポジションに戻るよう駆動制御する。

【0057】

次に、ステップＳ６１３に示される追尾中断判定処理の詳細を、図１０のフローチャートを用いて説明する。図１０は、追尾中断判定処理を示すフローチャートである。追尾中断判定処理においてネットワークカメラ１０１が実行する各処理は、ＣＰＵ２１０が記憶部２０９に保存されたプログラムを実行することで実現される。追尾中断判定処理は、無線装置１０３からの電波に基づいて特定された被写体１０４の位置が、追尾中断判定領域４０２にある場合に行われる処理である。追尾中断判定処理では、中断判定部２１３が、無線装置１０３からの電波に基づいて特定された被写体１０４の動きに基づいて、被写体１０４の追尾を中断するか否かを判定する。

【0058】

ステップＳ１００１およびステップＳ１００２は、無線装置１０３からの電波に基づいて、一定時間における被写体１０４の動きを算出するための処理である。ステップＳ１００１で、無線位置特定部２１１は、一定時間分の無線装置１０３からの電波を取得する。例えば、無線位置特定部２１１は、一定時間分として、被写体１０４が追尾中断判定領域４０２にあると判定されてから予め定められた所定の期間の無線装置１０３からの電波を取得する。

【0059】

ステップＳ１００２で、無線位置特定部２１１は、被写体１０４の動きとして、被写体１０４の移動方向と移動距離を算出する。具体的には、まず、無線位置特定部２１１は、ステップＳ１００１で取得した一定時間分の無線装置１０３から生じる電波の方向に基づいて、ネットワークカメラ１０１を基準位置としたときの一定時間分の被写体１０４の位置の特定を行う。このように被写体１０４の位置の特定を一定時間行うことで、無線位置特定部２１１は、被写体１０４の位置の連続データを取得することができる。そして、無線位置特定部２１１は、被写体１０４の位置の連続データに基づいて、被写体１０４の移動方向と移動距離を算出する。

【0060】

ステップＳ１００３で、中断判定部２１３は、ステップＳ１００２にて算出した被写体１０４の移動方向と移動距離から、被写体１０４の追尾を中断するか否か判定する。具体的には、中断判定部２１３は、追尾中断判定領域４０２内において、ステップＳ１００２で算出した被写体１０４の移動方向が一意の方向で、かつ、ステップＳ１００２で算出した被写体１０４の移動距離が所定の距離以上に移動しているかを判定する。

【0061】

図１１は、追尾中断判定の被写体の動きを説明する図である。図１１（Ａ）では、被写体１０４が追尾中断判定領域境界線４０５から追尾範囲境界線４０６に向かう方向において、追尾中断判定領域境界線４０５から追尾範囲境界線４０６を超える距離を追尾中断判定領域４０２内で移動している。矢印１１０１は、被写体１０４の移動方向を示している。中断判定部２１３は、図１１（Ａ）に示されるように被写体１０４が一意の方向でかつ所定の距離を追尾中断判定領域４０２内で移動している場合、追尾を中断すると判定する。ここで、追尾中断判定処理における一意の方向は、追尾中断判定領域境界線４０５から追尾範囲境界線４０６向かう方向（第２の方向）である。追尾再開判定処理における所定の距離は、追尾中断判定領域境界線４０５から追尾範囲境界線４０６を超える距離（第２の距離）である。

【0062】

図１１（Ｂ）では、被写体１０４が追尾中断判定領域境界線４０５から追尾範囲境界線４０６に向かう方向に移動した後、逆の方向となる追尾範囲境界線４０６から追尾中断判定領域境界線４０５に向かう方向に移動している。矢印１１０２は、被写体１０４の移動方向を示している。中断判定部２１３は、図１１（Ｂ）に示されるように被写体１０４の移動方向が一意の方向に定まらない場合、被写体の追尾を中断しないと判定する。また、被写体１０４の移動方向が一意の方向であったとしても、追尾中断判定領域境界線４０５から追尾範囲境界線４０６を超える距離を追尾再開判定領域４０３内で移動していない場合は、中断判定部２１３は、被写体の追尾を中断しないと判定する。このように中断判定部２１３は、追尾再開判定領域４０３内でにおいて、被写体１０４の移動方向が一意の方向でない場合、もしくは、被写体１０４が所定の距離を移動していない場合は、被写体の追尾を中断しないと判定する。

【0063】

中断判定部２１３が被写体１０４の追尾を中断すると判定した場合、ステップＳ１００５の処理を行う。Ｓ１００５で、ＰＴＺ制御部２１６は、パン・チルト・ズーム制御を中断することで、被写体の追尾を中断する。そして、中断判定部２１３が被写体１０４の追尾を中断すると判定してから所定の時間が経過した場合は、ＣＰＵ２１０は、Ｓ３０８において、ネットワークカメラ１０１をホームポジションに戻るよう駆動制御するようにしてもよい。一方、中断判定部２１３が被写体１０４の追尾を中断しないと判定した場合、ステップＳ１００４本処理を終了する。ステップＳ１００４で、ＣＰＵ２１０は、被写体１０４を追尾する処理を実行する。ステップＳ１００４の処理は、ステップＳ３０６の処理と同様の処理である。

【0064】

無線装置が複数個存在する場合、すなわち、複数の被写体がそれぞれ無線装置を所持している場合、無線装置には追尾の優先度が設定される。無線装置の優先度は、追尾設定部２１５で管理される。第１の優先度の無線装置を所持する被写体の追尾が中断された際に、ネットワークカメラ１０１は、第１の優先度に次ぐ優先度である第２の優先度の無線装置を所持する被写体を追尾して撮影するように制御される。具体的には、ＣＰＵ２１０は第２の優先度の無線装置から受信した電波に基づいて第２の優先度の無線装置を所持する被写体のネットワークカメラ１０１に対する相対位置の特定を行う。そして、特定された第２の優先度の無線装置を所持する被写体の位置が追尾実施領域４０８にあるかを判定する。第２の優先度の無線装置を所持する被写体の位置が追尾実施領域４０８にある場合に、ＣＰＵ２１０は、第２の優先度の無線装置を所持する被写体を追尾して撮影するために、ネットワークカメラ１０１のパン・チルト・ズーム駆動を制御する。そしてＣＰＵ２１０は、第２の優先度の無線装置より優先度の高い第１の優先度の無線装置の追尾を再開すると判定した場合には、追尾対象を第２の優先度の無線装置を所持する被写体から第１の優先度の無線装置を所持する被写体に変更して、被写体追尾を行う。

【0065】

以上説明したように、本実施例では、被写体追尾の中断および再開を、無線装置１０３から発信された電波の数個分のデータに基づいて判定する。これにより、被写体１０４が撮影できる範囲におらず画像解析で検出できない場合でも、追尾の中断および再開の判定を効率的に行うことができ、ユーザの負担を軽減することが可能となる。

【0066】

本実施例の開示は、以下の撮像装置の構成を含む。
（構成１）
追尾対象である被写体を追尾して撮像を行う追尾実施領域、前記被写体の追尾の中断を判定する中断判定領域、前記被写体の追尾の再開を判定する再開判定領域の設定を行う設定手段と、
撮像装置の撮像部により得られる画像データに対して映像解析することで、前記被写体を検出して前記画像データにおける前記被写体の位置を特定する第１の特定手段と、
前記被写体が所持する無線装置から受信した電波の方向に基づいて、前記撮像装置に対する前記被写体の相対位置を特定する第２の特定手段と、
前記第２の特定手段により特定された前記被写体の位置が前記追尾実施領域にある場合に、前記被写体を追尾して撮影するために、前記被写体の位置に基づいて撮影方向の制御と、撮影画角の制御を行う駆動制御手段と、
前記第２の特定手段により特定された前記被写体の位置が前記中断判定領域にある場合に、前記被写体の動きに基づいて前記被写体の追尾を中断するか否かを判定する追尾中断判定手段と、
前記第２の特定手段により特定された前記被写体の位置が前記再開判定領域にある場合に、前記被写体の動きに基づいて前記被写体の追尾を再開するか否かを判定する追尾再開判定手段と、を有し、
前記追尾中断判定手段が前記被写体の追尾を中断すると判定した場合、前記駆動制御手段は前記被写体を追尾するための前記撮像装置の制御を中断し、
前記追尾再開判定手段が前記被写体の追尾を再開すると判定した場合、前記駆動制御手段は前記被写体を追尾するための前記撮像装置の制御を再開することを特徴とする撮像装置。
（構成２）
前記追尾中断判定手段は、前記無線装置から受信した電波の方向に基づいて算出した前記被写体の移動方向および移動距離に基づいて前記被写体の追尾を中断するか否かを判定し、
前記追尾再開判定手段は、前記無線装置から受信した電波の方向に基づいて算出した前記被写体の移動方向および移動距離に基づいて前記被写体の追尾を再開するか否かを判定することを特徴とする請求項１に記載の撮像装置。
（構成３）
前記追尾実施領域は、追尾領域と前記中断判定領域とを含み、
前記中断判定領域は、前記再開判定領域と隣接する領域であり、
前記中断判定領域と前記追尾領域の境界線を第１の境界線、前記中断判定領域と前記再開判定領域の境界線を第２の境界線とし、
前記追尾中断判定手段は、前記被写体が前記第１の境界線から前記第２の境界線に向かう一意の方向において、前記第１の境界線から前記第２の境界線を越える距離を移動している場合、前記被写体の追尾を中断すると判定することを特徴とする構成２に記載の撮像装置。
（構成４）
前記追尾中断判定手段は、前記被写体の移動方向が一意の方向に定まらない場合、もしくは、前記第１の境界線から前記第２の境界線を越える距離を移動していない場合は、前記被写体の追尾を中断しないと判定することを特徴とする構成３に記載の撮像装置。
（構成５）
前記追尾中断判定手段は、前記第２の特定手段が前記無線装置から一定時間分の電波を取得して該電波の方向に基づいて特定した一定時間分の前記被写体の前記撮像装置に対する前記被写体の相対位置に基づいて、前記被写体の移動方向および移動距離を取得することを特徴とする構成２乃至４のいずれかに記載の撮像装置。
（構成６）
前記再開判定領域と前記中断判定領域の境界線を第２の境界線、前記再開判定領域の外周において前記第２の境界線と対向する辺を第３の境界線とし、
前記追尾再開判定手段は、前記被写体が前記第３の境界線から前記第２の境界線に向かう一意の方向において、前記第３の境界線から前記第２の境界線を越える距離を移動している場合、前記被写体の追尾を再開すると判定することを特徴とする構成２に記載の撮像装置。
（構成７）
前記追尾再開判定手段は、前記被写体の移動方向が一意の方向に定まらない場合、もしくは、前記第３の境界線から前記第２の境界線を越える距離を移動していない場合は、前記被写体の追尾を再開しないと判定することを特徴とする構成６に記載の撮像装置。
（構成８）
前記追尾再開判定手段は、前記第２の特定手段が前記無線装置から一定時間分の電波を取得して該電波の方向に基づいて特定した一定時間分の前記被写体の前記撮像装置に対する前記被写体の相対位置に基づいて、前記被写体の移動方向および移動距離を取得することを特徴とする請求項２乃至７のいずれかに記載の撮像装置。
（構成９）
前記設定手段は、ユーザによる指定に基づいて、前記追尾実施領域、前記中断判定領域、前記再開判定領域の設定を行うことを特徴とする構成１乃至８のいずれかに記載の撮像装置。
（構成１０）
前記設定手段は、ユーザからの前記追尾実施領域の指定を受け付け、前記追尾実施領域の境界線から所定の距離内側の領域を前記中断判定領域、前記追尾実施領域の境界線から所定の距離外側の領域を前記再開判定領域に設定することを特徴とする構成９に記載の撮像装置。
（構成１１）
前記指定を受け付けるユーザインタフェースには、前記撮像部で取得した画像データが表示され、
前記駆動制御手段は、前記ユーザインタフェースに表示する画像データの画角内に前記追尾実施領域、前記中断判定領域、前記再開判定領域に設定される領域が収まるように前記撮像装置の撮影方向および撮影画角を制御することを特徴とする構成９または１０に記載の撮像装置。
（構成１２）
前記駆動制御手段は、前記第１の特定手段により前記被写体が検出できない場合は、前記第２の特定手段により特定された前記被写体の相対位置に基づいて前記撮像装置を制御し、前記第１の特定手段により前記被写体が検出できる場合には、前記第１の特定手段により特定された前記画像データにおける前記被写体の位置に基づいて前記撮像装置を制御することを特徴とする構成１乃至１１のいずれかに記載の撮像装置。
（構成１３）
無線装置が複数個存在する場合、無線装置には優先度が設定され、追尾中断判定手段により第１の優先度の無線装置を所持する被写体の追尾が中断された際に、前記第２の特定手段は、前記第１の優先度に次ぐ優先度である第２の優先度の無線装置を所持する被写体の前記撮像装置に対する相対位置の特定を行い、前記駆動手段は、前記第２の特定手段により特定された前記第２の優先度の無線装置を所持する被写体の位置が前記追尾実施領域にある場合に、前記第２の優先度の無線装置を所持する被写体を追尾して撮影するために、前記撮像装置に対する前記第２の優先度の無線装置を所持する被写体の相対位置に基づいて、前記撮像装置を制御することを特徴とする構成１乃至１２のいずれかに記載の撮像装置。
（構成１４）
ズームレンズを含む撮像光学系と、
撮像を行い画像データを取得する撮像部と、
前記無線装置から電波を受信する通信処理部と、
前記撮像光学系の向きをパン方向およびチルト方向に駆動させる第１の駆動部と、
前記ズームレンズを駆動させる第２の駆動部と、をさらに有し、
前記駆動制御手段は、前記第１の駆動部と前記第２の駆動部を制御することを特徴とする構成１乃至１３のいずれかに記載の撮像装置。

【0067】

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0068】

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

【符号の説明】

【0069】

１０１ ネットワークカメラ
１０３ 無線装置
２１０ ＣＰＵ
２１１ 無線位置特定部
２１２ 再開判定部
２１３ 中断判定部
２１５ 追尾設定部
２１６ ＰＴＺ制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】