知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-03-30
(45)【発行日】2022-04-07
(54)【発明の名称】動体追尾装置及びそのプログラム
(51)【国際特許分類】
H04N 5/232 20060101AFI20220331BHJP
【ＦＩ】
H04N5/232 990
【請求項の数】
7
(21)【出願番号】P 2018032790
(22)【出願日】2018-02-27
(65)【公開番号】P2019149659
(43)【公開日】2019-09-05
【審査請求日】2021-01-08
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】特許業務法人磯野国際特許商標事務所
(72)【発明者】
【氏名】渡部 悟
(72)【発明者】
【氏名】浅野 隼
【審査官】▲徳▼田 賢二
(56)【参考文献】
【文献】特開２０１２－１７５１５７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／２３２
(57)【特許請求の範囲】
【請求項1】
撮影カメラに対する動体の位置を表す位置情報を用いて、前記撮影カメラに動体を追尾させる動体追尾装置であって、前記撮影カメラの状態変化中、所定の入力間隔で前記撮影カメラの状態値が入力される状態値入力部と、
前記状態値入力部に前記状態値が入力されたとき、又は、前記状態値が入力されずに予め設定した待機時間が経過したとき、予測情報を要求する予測情報要求部と、
入力された前記位置情報に基づいて、前記撮影カメラに対する前記動体の過去位置及び現在位置から予測位置を求め、前記過去位置と前記現在位置と前記予測位置とが位置データとして含まれる前記予測情報を生成する予測情報生成部と、
前記現在位置を基準として予め設定した遅延時間の位置データを取得する位置データ取得部と、
前記撮影カメラを制御するときの制御時点での前記予測位置と、前記制御時点に予め設定した更新間隔を加えた時刻での前記予測位置との差分を算出する差分算出部と、
前記差分算出部が算出した差分に基づいて、前記撮影カメラの動作速度を表す制御情報を生成し、前記状態値入力部に入力された状態値及び前記位置データ取得部が取得した位置データに基づいて、前記制御情報を補正する制御情報生成部と、
前記制御情報に基づいて、前記撮影カメラを制御する撮影カメラ制御部と、
を備えることを特徴とする動体追尾装置。
【請求項2】
前記予測情報生成部は、前記位置情報の線形予測、２次近似又はスプライン関数により前記予測位置を求めることを特徴とする請求項１に記載の動体追尾装置。
【請求項3】
前記制御情報生成部は、前記位置データ取得部が取得した位置データと前記状態値との差を求め、求めた前記差に修正時間及びハンチング防止を考慮して予め設定した補正係数を乗じて補正値を求め、求めた前記補正値で前記制御情報を補正することを特徴とする請求項１又は請求項２に記載の動体追尾装置。
【請求項4】
前記遅延時間は、前記撮影カメラから前記状態値が入力されるときの遅延、及び、センサカメラがセンサ映像を撮影してから前記予測情報を生成するまでの遅延に基づいて予め設定され、前記更新間隔は、前記撮影カメラが前記撮影カメラ制御部からの指令を更新するときの周期に基づいて予め設定されていることを特徴とする請求項１から請求項３の何れか一項に記載の動体追尾装置。
【請求項5】
前記位置データ取得部は、前記撮影カメラが撮影した撮影映像における動体の位置を調整する調整時間がさらに設定され、前記遅延時間から前記調整時間だけ進めた時間の位置データを取得することを特徴とする請求項１から請求項４の何れか一項に記載の動体追尾装置。
【請求項6】
前記予測情報生成部は、センサカメラで検出された前記動体についての前記位置情報が入力されることを特徴とする請求項１から請求項５の何れか一項に記載の動体追尾装置。
【請求項7】
コンピュータを、請求項１から請求項６の何れか一項に記載の動体追尾装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動体追尾装置及びそのプログラムに関する。
【背景技術】
【0002】
従来より、航空機などの動体を自動追尾しながら撮影する自動追尾撮影システムが提案されている（特許文献１）。例えば、従来の自動追尾撮影システムは、センサカメラが取得した位置情報（センサ情報）に基づいて、撮影カメラが動体を追尾するように雲台を制御する雲台制御部を備えるものである。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１６－５８９８６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の自動追尾撮影システムにおいて、一般のロボットカメラ雲台システムを利用する場合、雲台が撮影カメラの現在の方向を度数表記の極座標系で出力する。その一方、雲台の制御は、動作速度（パンやチルトなどの速度指示）でしか行えず、その動作指示も所定段階数（例えば、±６３段階）の指令コマンドに変換して離散的な値でしか制御できない場合がある。また、撮影カメラは、一定の質量を有し、雲台の駆動トルクも有限のため、指令コマンドを受け取っても直ぐに意図した速度に到達するわけでなく、ゆっくり動きだして速度が上昇し、ある程度の時間で一定の速度となる。このため、撮影カメラでは、停止している場合に振り遅れ、動体の速度が変わった場合に追尾誤差が生じる。従って、従来の自動追尾撮影システムでは、雲台からのフィードバック信号を利用する必要があるが、遅延が多く、撮影カメラの方向を正確に把握するのが困難である。
【0005】
本発明は、前記した課題を解決し、動体を滑らかに追尾できる動体追尾装置及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0006】
前記した課題に鑑みて、本発明に係る動体追尾装置は、撮影カメラに対する動体の位置を表す位置情報を用いて、撮影カメラに動体を追尾させる動体追尾装置であって、状態値入力部と、予測情報要求部と、予測情報生成部と、位置データ取得部と、差分算出部と、制御情報生成部と、撮影カメラ制御部と、を備える構成とした。
【0007】
この動体追尾装置によれば、状態値入力部は、撮影カメラの状態変化中、所定の入力間隔で撮影カメラの状態値が入力される（フィードバック信号）。
予測情報要求部は、状態値入力部に状態値が入力されたとき、又は、状態値が入力されずに予め設定した待機時間が経過したとき、位置情報の予測を要求する。
予測情報生成部は、入力された位置情報に基づいて、撮影カメラに対する動体の過去位置及び現在位置から予測位置を求め、過去位置と現在位置と予測位置とが位置データとして含まれる予測情報を生成する。
位置データ取得部は、現在位置を基準として予め設定した遅延時間の位置データを取得する。
予測情報要求部は、状態値入力部に状態値が入力されたとき、又は、状態値が入力されずに予め設定した待機時間が経過したとき、位置情報の予測を要求する。
予測情報生成部は、入力された位置情報に基づいて、撮影カメラに対する動体の過去位置及び現在位置から予測位置を求め、過去位置と現在位置と予測位置とが位置データとして含まれる予測情報を生成する。
位置データ取得部は、現在位置を基準として予め設定した遅延時間の位置データを取得する。
【0008】
差分算出部は、撮影カメラを制御するときの制御時点での予測位置と、制御時点に予め設定した更新間隔を加えた時刻での予測位置との差分を算出する。
制御情報生成部は、差分算出部が算出した差分に基づいて、撮影カメラの動作速度を表す制御情報を生成し、状態値入力部に入力された状態値及び前記位置データ取得部が取得した位置データに基づいて、制御情報を補正する。
撮影カメラ制御部は、制御情報に基づいて、撮影カメラを制御する。
このように、動体追尾装置は、遅延時間として、撮影カメラから状態値（フィードバック信号）が入力されるときの遅延や、予測位置を求めるときの遅延を考慮するので、撮影カメラの方向を正確に把握できる。
制御情報生成部は、差分算出部が算出した差分に基づいて、撮影カメラの動作速度を表す制御情報を生成し、状態値入力部に入力された状態値及び前記位置データ取得部が取得した位置データに基づいて、制御情報を補正する。
撮影カメラ制御部は、制御情報に基づいて、撮影カメラを制御する。
このように、動体追尾装置は、遅延時間として、撮影カメラから状態値（フィードバック信号）が入力されるときの遅延や、予測位置を求めるときの遅延を考慮するので、撮影カメラの方向を正確に把握できる。
【発明の効果】
【0009】
本発明によれば、以下のような優れた効果を奏する。
本発明に係る動体追尾装置は、遅延時間及び更新間隔を考慮して制御情報を生成するので、動体を滑らかに追尾することができる。
本発明に係る動体追尾装置は、遅延時間及び更新間隔を考慮して制御情報を生成するので、動体を滑らかに追尾することができる。
【図面の簡単な説明】
【0010】
【図1】本発明の実施形態において、航空機追尾撮影システムの全体構成図である。
【図5】本発明の実施形態において、動体の追尾を説明する説明図である。
【図6】本発明の変形例において、動体の追尾を説明する説明図である。
【発明を実施するための形態】
【0011】
［航空機追尾撮影システムの概略］
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。
図１を参照し、航空機追尾撮影システム１の概略について説明する。
航空機追尾撮影システム１は、空港を離発着する航空機をロボットカメラ（撮影カメラ）４０で追尾して撮影するものであり、図１に示すように、センサカメラ１０（１０Ｒ，１０Ｃ，１０Ｌ）と、動体検出装置２０（２０Ｒ，２０Ｃ，２０Ｌ）と、動体追尾装置３０と、ロボットカメラ４０とを備える。
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。
図１を参照し、航空機追尾撮影システム１の概略について説明する。
航空機追尾撮影システム１は、空港を離発着する航空機をロボットカメラ（撮影カメラ）４０で追尾して撮影するものであり、図１に示すように、センサカメラ１０（１０Ｒ，１０Ｃ，１０Ｌ）と、動体検出装置２０（２０Ｒ，２０Ｃ，２０Ｌ）と、動体追尾装置３０と、ロボットカメラ４０とを備える。
【0012】
なお、動体とは、移動する物体や人物のことであり、動体追尾装置３０の追尾対象となる。本実施形態では、動体として、空港を離発着中の航空機を例示するが、動体が特に制限されないことは言うまでもない。
【0013】
センサカメラ１０は、航空機を撮影してセンサ映像９０を生成するものであり、例えば、撮影方向及び撮影画角が一定の固定カメラである。そして、センサカメラ１０は、生成したセンサ映像９０を動体検出装置２０に出力する。
ここで、センサカメラ１０は、１台以上、必要に応じた台数を設置できる。本実施形態では、センサカメラ１０は、図２に示すように、滑走路全体を撮影できるように、空港中央の建物屋上に３台設置されている。図２では、センサカメラ１０Ｒが滑走路右側を向き、センサカメラ１０Ｃが滑走路中央を向き、センサカメラ１０Ｌが滑走路左側を向いている。そして、センサカメラ１０Ｒ，１０Ｃ，１０Ｌは、それぞれの撮影方向で滑走路を撮影したセンサ映像９０Ｒ，９０Ｃ，９０Ｌを生成する。
ここで、センサカメラ１０は、１台以上、必要に応じた台数を設置できる。本実施形態では、センサカメラ１０は、図２に示すように、滑走路全体を撮影できるように、空港中央の建物屋上に３台設置されている。図２では、センサカメラ１０Ｒが滑走路右側を向き、センサカメラ１０Ｃが滑走路中央を向き、センサカメラ１０Ｌが滑走路左側を向いている。そして、センサカメラ１０Ｒ，１０Ｃ，１０Ｌは、それぞれの撮影方向で滑走路を撮影したセンサ映像９０Ｒ，９０Ｃ，９０Ｌを生成する。
【0014】
動体検出装置２０は、センサカメラ１０より入力されたセンサ映像９０から航空機を検出し、その検出結果（動体検出結果）を動体追尾装置３０に出力するものである。動体検出装置２０は、一般的な手法で航空機を検出できる。例えば、航空機の検出手法としては、航空機のＡＤＳ-Ｂ（Automatic Dependent Surveillance-Broadcast）信号を利用する手法や、レーダ画像から航空機の進路を予測する手法があげられる。
本実施形態では、動体検出装置２０は、センサカメラ１０と１対１で対応するように、空港から離れた別の場所に３台設置されている。そして、動体検出装置２０Ｒがセンサカメラ１０Ｒのセンサ映像９０Ｒを画像解析し、動体検出装置２０Ｃがセンサカメラ１０Ｃのセンサ映像９０Ｃを画像解析し、動体検出装置２０Ｌがセンサカメラ１０Ｌのセンサ映像９０Ｌを画像解析する。
本実施形態では、動体検出装置２０は、センサカメラ１０と１対１で対応するように、空港から離れた別の場所に３台設置されている。そして、動体検出装置２０Ｒがセンサカメラ１０Ｒのセンサ映像９０Ｒを画像解析し、動体検出装置２０Ｃがセンサカメラ１０Ｃのセンサ映像９０Ｃを画像解析し、動体検出装置２０Ｌがセンサカメラ１０Ｌのセンサ映像９０Ｌを画像解析する。
【0015】
動体追尾装置３０は、動体検出装置２０から入力された動体検出結果を用いて、ロボットカメラ４０に航空機を追尾させるものである。この動体追尾装置３０は、ロボットカメラ４０が航空機を追尾するように、ロボットカメラ４０に指令コマンドを出力する。本実施形態では、動体追尾装置３０は、動体検出装置２０と同じ場所に１台設置されている。
【0016】
ロボットカメラ４０は、動体追尾装置３０からの指令コマンドに従って駆動し、航空機を撮影した撮影映像９１を生成するものである。このロボットカメラ４０は、パンやチルトなどの状態を変化させることが可能な一般的なロボットカメラである。ロボットカメラ４０は、航空機の撮影映像９１を生成するカメラ本体４１と、搭載したカメラ本体４１の姿勢を変化させる雲台４３とを備える。本実施形態では、ロボットカメラ４０は、センサカメラ１０と同様、空港中央の建物屋上に１台設置されている。
本実施形態では、ロボットカメラ４０及び動体追尾装置３０は、低速のシリアル回線で接続されている。従って、ロボットカメラ４０及び動体追尾装置３０の間は、高ビットレートでの入出力が困難である。
本実施形態では、ロボットカメラ４０及び動体追尾装置３０は、低速のシリアル回線で接続されている。従って、ロボットカメラ４０及び動体追尾装置３０の間は、高ビットレートでの入出力が困難である。
【0017】
また、ロボットカメラ４０は、状態変化中、フィードバック信号として、所定の入力間隔（例えば、０．５秒）おきに状態値を動体追尾装置３０に出力する。本実施形態では、ロボットカメラ４０は、状態値として、ロボットカメラ４０の撮影方向（ＡＺ角、ＥＬ角）を出力する。
ここで、ロボットカメラ４０は、ＡＺ角（方位角）又はＥＬ角（仰俯角）の一方、あるいは両方が変化している場合、変化しているＡＺ角又はＥＬ角の値を動体追尾装置３０に出力する。
一方、ロボットカメラ４０は、姿勢が変化していないとき（つまり、ＡＺ角及びＥＬ角の両方が変化していないとき）、状態値を動体追尾装置３０に出力しない。
ここで、ロボットカメラ４０は、ＡＺ角（方位角）又はＥＬ角（仰俯角）の一方、あるいは両方が変化している場合、変化しているＡＺ角又はＥＬ角の値を動体追尾装置３０に出力する。
一方、ロボットカメラ４０は、姿勢が変化していないとき（つまり、ＡＺ角及びＥＬ角の両方が変化していないとき）、状態値を動体追尾装置３０に出力しない。
【0018】
［動体追尾装置の構成］
図３を参照し、動体追尾装置３０の構成について説明する。
図３に示すように、動体追尾装置３０は、航空機の位置を特定し、その予測情報を生成する位置特定部３１と、位置特定部３１が生成した予測情報を利用してロボットカメラ４０を制御するロボットカメラ制御部３２とを備える。
位置特定部３１は、センサ情報生成部３１０と、予測情報生成部３１１と、予測情報記憶部３１２と、要求入力部３１３と、予測情報出力部３１４とを備える。
図３を参照し、動体追尾装置３０の構成について説明する。
図３に示すように、動体追尾装置３０は、航空機の位置を特定し、その予測情報を生成する位置特定部３１と、位置特定部３１が生成した予測情報を利用してロボットカメラ４０を制御するロボットカメラ制御部３２とを備える。
位置特定部３１は、センサ情報生成部３１０と、予測情報生成部３１１と、予測情報記憶部３１２と、要求入力部３１３と、予測情報出力部３１４とを備える。
【0019】
センサ情報生成部３１０は、動体検出装置２０から入力された動体検出結果に基づいて、センサ情報（位置情報）を生成し、生成したセンサ情報を予測情報生成部３１１に出力するものである。本実施形態では、センサ情報生成部３１０は、所定の生成間隔（例えば、０．１秒間隔）で動体検出結果が入力されるので、動体検出結果が入力される都度、センサ情報を生成することになる。
【0020】
なお、センサ情報とは、ロボットカメラ４０に対する航空機の位置（方向）を表す情報である。例えば、センサ情報は、ロボットカメラ４０の状態値と同様、ロボットカメラ４０から航空機を見たときのＡＺ角及びＥＬ角で表される。このセンサ情報は、物理的には方向を意味するが、論理的には球面の極座標系で展開されるので位置情報と呼ばれることがある。
【0021】
ここで、センサ情報生成部３１０は、任意の手法でセンサ情報を生成できる。例えば、センサ情報生成部３１０は、センサカメラ１０毎に、センサ映像９０の画像座標を極座標系に変換する変換パラメータを予め設定する。そして、センサ情報生成部３１０は、この変換パラメータを参照し、動体検出結果が示すセンサ映像９０の画像座標をセンサ情報に変換する。
【0022】
予測情報生成部３１１は、センサ情報生成部３１０からセンサ情報が入力されると、予測情報を生成するものである。具体的には、予測情報生成部３１１は、センサ情報生成部３１０から入力された現在のセンサ情報、及び、予測情報記憶部３１２に記憶されている過去のセンサ情報から未来のセンサ情報を予測し、予測情報を生成する。
その後、予測情報生成部３１１は、生成した予測情報及びセンサ情報を予測情報記憶部３１２に書き込む。
その後、予測情報生成部３１１は、生成した予測情報及びセンサ情報を予測情報記憶部３１２に書き込む。
【0023】
この予測情報は、ロボットカメラ４０に対する航空機の過去位置と現在位置と予測位置との位置データが含まれる。つまり、予測情報には、位置データとして、過去のセンサ情報（実測値）と、現在時点のセンサ情報（実測値）と、未来のセンサ情報（予測値）とが含まれる。
【0024】
例えば、予測情報生成部３１１は、センサ情報の線形予測により予測情報を生成する。具体的には、予測情報生成部３１１は、過去及び現在のセンサ情報から、未来の航空機位置を線形的に予測する。この予測情報には、例えば、１．０秒分（０．１秒単位で１０個）の過去の位置データと、現在から未来まで２．０秒分（０．１秒単位で２０個）の位置データとが含まれる。この予測情報に含まれる過去及び未来の位置データの個数は任意であり、例えば、航空機追尾撮影システム１での各種遅延や航空機の移動速度などの要因を考慮して設定する。
なお、予測情報生成部３１１は、線形予測だけでなく、２次近似やスプライン関数を用いた方法によって予測情報を生成してもよい。
なお、予測情報生成部３１１は、線形予測だけでなく、２次近似やスプライン関数を用いた方法によって予測情報を生成してもよい。
【0025】
予測情報記憶部３１２は、予測情報及びセンサ情報を記憶するメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などの記憶装置である。この予測情報記憶部３１２は、予測情報生成部３１１によって最新の予測情報及びセンサ情報が逐次書き込まれ、それ以前のセンサ情報を過去のセンサ情報として蓄積する。
【0026】
要求入力部３１３は、後記する予測情報要求部３２１から予測情報要求が入力されるものである。そして、要求入力部３１３は、予測情報要求部３２１から予測情報要求が入力されると、予測情報要求の入力を予測情報出力部３１４に通知する（予測情報要求通知）。
【0027】
予測情報出力部３１４は、予測情報要求部３２１からの要求に応じて、予測情報記憶部３１２に記憶されている予測情報を、予測情報入力部３２２に出力するものである。つまり、予測情報出力部３１４は、要求入力部３１３から予測情報要求通知が入力されたとき、その予測情報を即座に予測情報入力部３２２に出力する。
【0028】
ロボットカメラ制御部３２は、状態値入力部３２０と、予測情報要求部３２１と、予測情報入力部３２２と、予測情報記憶部３２３と、位置データ取得部３２４と、差分算出部３２５と、制御情報生成部３２６と、コマンド変換部３２７とを備える。なお、コマンド変換部３２７が、請求項に記載の撮影カメラ制御部に対応する。
【0029】
状態値入力部３２０は、ロボットカメラ４０の状態変化中、所定の入力間隔（例えば、０．５秒）でロボットカメラ４０の状態値が入力されるものである。すると、状態値入力部３２０は、状態値の入力を予測情報要求部３２１に通知する（状態値入力通知）。さらに、状態値入力部３２０は、ロボットカメラ４０の状態値を制御情報生成部３２６に出力する。
【0030】
予測情報要求部３２１は、状態値入力部３２０から状態値入力通知が入力されたとき、又は、状態値入力通知が入力されずに所定の待機時間が経過したとき、最新の予測情報を要求入力部３１３に要求する（予測情報要求）。
本実施形態では、予測情報要求部３２１は、ロボットカメラ４０の状態変化中、入力があるたびに０．５秒おきに予測情報要求を要求入力部３１３に出力する。また、予測情報要求部３２１は、ロボットカメラ４０の状態が変化せずに待機時間が経過した場合にタイムアウトと判定し、予測情報要求を要求入力部３１３に出力する。
なお、待機時間は、任意の値で予め設定する。例えば、待機時間は、ロボットカメラ４０が状態値を出力する間隔で設定可能であり、０．５５秒などのように、０．５秒毎に入力されるべき状態値が雲台４３から入力されないことが確定する適当な時間を設定するとよい。
本実施形態では、予測情報要求部３２１は、ロボットカメラ４０の状態変化中、入力があるたびに０．５秒おきに予測情報要求を要求入力部３１３に出力する。また、予測情報要求部３２１は、ロボットカメラ４０の状態が変化せずに待機時間が経過した場合にタイムアウトと判定し、予測情報要求を要求入力部３１３に出力する。
なお、待機時間は、任意の値で予め設定する。例えば、待機時間は、ロボットカメラ４０が状態値を出力する間隔で設定可能であり、０．５５秒などのように、０．５秒毎に入力されるべき状態値が雲台４３から入力されないことが確定する適当な時間を設定するとよい。
【0031】
予測情報入力部３２２は、予測情報要求部３２１の予測情報要求に応じて、予測情報出力部３１４から予測情報が入力されるものである。そして、予測情報入力部３２２は、入力された予測情報を予測情報記憶部３２３に書き込む。
予測情報記憶部３２３は、予測情報を記憶するメモリ、ＨＤＤ、ＳＳＤなどの記憶装置である。この予測情報記憶部３２３が記憶する予測情報は、位置データ取得部３２４及び差分算出部３２５によって参照される。
予測情報記憶部３２３は、予測情報を記憶するメモリ、ＨＤＤ、ＳＳＤなどの記憶装置である。この予測情報記憶部３２３が記憶する予測情報は、位置データ取得部３２４及び差分算出部３２５によって参照される。
【0032】
位置データ取得部３２４は、予測情報記憶部３２３の予測情報から、現在時点を基準として予め設定した遅延時間の位置データを取得するものである。そして、位置データ取得部３２４は、取得した位置データを制御情報生成部３２６に出力する。
この遅延時間は、ロボットカメラ４０から状態値が入力されるときの遅延（図５のＤ１１）と、予測位置を求めるときの遅延（図５のＤ１２）に基づいて設定する。例えば、遅延時間は、Ｄ１１－Ｄ１２より０．４秒に設定するとよい。
この遅延時間は、ロボットカメラ４０から状態値が入力されるときの遅延（図５のＤ１１）と、予測位置を求めるときの遅延（図５のＤ１２）に基づいて設定する。例えば、遅延時間は、Ｄ１１－Ｄ１２より０．４秒に設定するとよい。
【0033】
差分算出部３２５は、予測情報記憶部３２３の予測情報から、ロボットカメラ４０を制御する制御時点での予測位置と、制御時点に予め設定した更新間隔を加えた時刻での予測位置との差分を算出するものである。そして、差分算出部３２５は、算出した差分を制御情報生成部３２６に出力する。
この更新間隔として、ロボットカメラ４０がコマンド変換部３２７からの指令コマンドを更新するときの周期を考慮したコマンド更新間隔を設定する（図５のＤ２）。例えば、更新間隔は、任意の値で設定可能であり、０．１秒に設定するとよい。この更新間隔は、速く動く航空機を追尾できるように十分に短い時間でありながら、指令コマンドをロボットカメラ４０に遅滞なく伝送できるように設定することが好ましい。
この更新間隔として、ロボットカメラ４０がコマンド変換部３２７からの指令コマンドを更新するときの周期を考慮したコマンド更新間隔を設定する（図５のＤ２）。例えば、更新間隔は、任意の値で設定可能であり、０．１秒に設定するとよい。この更新間隔は、速く動く航空機を追尾できるように十分に短い時間でありながら、指令コマンドをロボットカメラ４０に遅滞なく伝送できるように設定することが好ましい。
【0034】
制御情報生成部３２６は、差分算出部３２５から入力された差分に基づいて、ロボットカメラ４０の動作速度を表す制御情報を生成するものである。この制御情報とは、ロボットカメラ４０のパン速度（単位時間当たりのパン角度変化）やチルト速度（単位時間当たりのチルト角度変化）のことである。本実施形態では、制御情報生成部３２６は、差分算出部３２５が算出した差分（ＡＺ角、ＥＬ角）を、ロボットカメラ４０に出力する制御情報（パン速度、チルト速度）に変換する。
【0035】
次に、制御情報生成部３２６は、状態値入力部３２０から入力された状態値Ｘｕと、位置データ取得部３２４から入力された位置データＸｄとに基づいて、制御情報を補正する。本実施形態では、制御情報生成部３２６は、下記の式（１）のように、位置データＸｄと状態値Ｘｕとの差を求める。そして、制御情報生成部３２６は、求めた差に補正係数を乗じ、補正値Ｒを求める。この補正係数は、後記する修正時間Ｔの逆数及びハンチング防止係数Ｋの積となる。さらに、制御情報生成部３２６は、求めた補正値Ｒを制御情報に加算し、制御情報を補正する。その後、制御情報生成部３２６は、補正した制御情報をコマンド変換部３２７に出力する。
Ｒ＝（Ｘｄ－Ｘｕ）／Ｔ×Ｋ …式（１）
Ｒ＝（Ｘｄ－Ｘｕ）／Ｔ×Ｋ …式（１）
【0036】
なお、修正時間Ｔは、自動追尾の誤差を補正しようとする時間（秒数）を表す。すなわち、制御情報生成部３２６は、自動追尾の誤差をＴ秒かけて修正するような速度で補正する。ハンチング防止係数Ｋは、ハンチングを防止するための係数であり、通常１以下である。ここで、ハンチング防止係数のため補正速度がＫ倍となっている。このため、実際にはＴ／Ｋ秒で修正するような速度で補正される。例えば、修正時間Ｔが１．０秒、ハンチング防止係数Ｋが０．６の場合、自動追尾の誤差を１．６７秒かけて修正することと同等である。
また、補正値Ｒは、状態値の入力間隔（例えば、０．５秒）毎に修正の機会がある。
また、補正値Ｒは、状態値の入力間隔（例えば、０．５秒）毎に修正の機会がある。
【0037】
コマンド変換部３２７は、制御情報生成部３２６から入力された制御情報を、ロボットカメラ４０への指令コマンドに変換するものである。例えば、指令コマンドは、パン及びチルトについては、－６３から＋６３までの１２７段階の数値で表される。そして、コマンド変換部３２７は、パンやチルトの指示であることを表す識別コマンドと、これらの数値とをセットにした指令コマンドを、ロボットカメラ４０に出力する。
ここで、コマンド変換部３２７は、ロボットカメラ４０が意図したとおりに動くように、制御情報を指令コマンドに変換する。例えば、コマンド変換部３２７は、線形関数、ＬＵＴ（ルックアップテーブル）、べき関数（指数関数）、又は、べき関数を組み合わせた関数を用いて、変換を行うことができる。
ここで、コマンド変換部３２７は、ロボットカメラ４０が意図したとおりに動くように、制御情報を指令コマンドに変換する。例えば、コマンド変換部３２７は、線形関数、ＬＵＴ（ルックアップテーブル）、べき関数（指数関数）、又は、べき関数を組み合わせた関数を用いて、変換を行うことができる。
【0038】
【0039】
ここで、ロボットカメラ４０が０．１秒毎のコマンドを受け付けて動作し、動体追尾装置３０が０．１秒単位で動作を行い、予測情報Ａが０．１秒単位で生成されることとする。
図５に示すように、ロボットカメラ４０から状態値が入力されるときの遅延Ｄ１１＝０．６秒、及び、予測情報Ａを生成するときの遅延Ｄ１２＝０．２秒に基づいて、Ｄ１１－Ｄ１２より、遅延時間＝０．４秒が設定されている。
また、コマンド更新間隔Ｄ２＝０．１秒が設定されている。
図５に示すように、ロボットカメラ４０から状態値が入力されるときの遅延Ｄ１１＝０．６秒、及び、予測情報Ａを生成するときの遅延Ｄ１２＝０．２秒に基づいて、Ｄ１１－Ｄ１２より、遅延時間＝０．４秒が設定されている。
また、コマンド更新間隔Ｄ２＝０．１秒が設定されている。
【0040】
まず、ロボットカメラ制御部３２の処理を説明する。
前記したように、ロボットカメラ４０は、状態変化中であっても、０．５秒おきにしか、状態値Ｘｕを状態値入力部３２０に出力しない。つまり、状態値入力部３２０は、最短０．５秒間隔でロボットカメラ４０から状態値Ｘｕが入力される（ステップＳ１）。
前記したように、ロボットカメラ４０は、状態変化中であっても、０．５秒おきにしか、状態値Ｘｕを状態値入力部３２０に出力しない。つまり、状態値入力部３２０は、最短０．５秒間隔でロボットカメラ４０から状態値Ｘｕが入力される（ステップＳ１）。
【0041】
図５に示すように、ロボットカメラ４０から入力された状態値Ｘｕには、例えば、０．６秒の遅延が含まれている（遅延Ｄ１１）。ここで、状態値入力部３２０に状態値Ｘｕが入力された時刻を状態値入力時点とする。
【0042】
状態値入力部３２０は、状態値入力通知を予測情報要求部３２１に出力する。そして、予測情報要求部３２１は、状態値入力部３２０から入力された状態値入力通知に応じて、予測情報要求を要求入力部３１３に出力する（ステップＳ２）。
【0043】
ステップＳ１，Ｓ２の処理と並行して、位置特定部３１は、以下の動作を行う。
センサ情報生成部３１０は、動体検出装置２０から入力された動体検出結果に基づいて、センサ情報を生成する（ステップＳ１０）。
予測情報生成部３１１は、ステップＳ１０で生成した現在のセンサ情報、及び、予測情報記憶部３１２に記憶されている過去のセンサ情報から未来のセンサ情報を予測し、予測情報Ａを生成する（ステップＳ１１）。
センサ情報生成部３１０は、動体検出装置２０から入力された動体検出結果に基づいて、センサ情報を生成する（ステップＳ１０）。
予測情報生成部３１１は、ステップＳ１０で生成した現在のセンサ情報、及び、予測情報記憶部３１２に記憶されている過去のセンサ情報から未来のセンサ情報を予測し、予測情報Ａを生成する（ステップＳ１１）。
【0044】
予測情報生成部３１１は、ステップＳ１１で生成した予測情報Ａ及びセンサ情報を予測情報記憶部３１２に書き込む（ステップＳ１２）。
要求入力部３１３は、予測情報要求部３２１から予測情報要求が入力され、予測情報要求通知を予測情報出力部３１４に出力する（ステップＳ１３）。
予測情報出力部３１４は、要求入力部３１３から入力された予測情報要求通知に応じて、予測情報記憶部３１２に記憶されている予測情報Ａを予測情報入力部３２２に出力する（ステップＳ１４）。
要求入力部３１３は、予測情報要求部３２１から予測情報要求が入力され、予測情報要求通知を予測情報出力部３１４に出力する（ステップＳ１３）。
予測情報出力部３１４は、要求入力部３１３から入力された予測情報要求通知に応じて、予測情報記憶部３１２に記憶されている予測情報Ａを予測情報入力部３２２に出力する（ステップＳ１４）。
【0045】
以上のように、ロボットカメラ制御部３２は、ロボットカメラ４０から状態値Ｘｕが入力されると、位置特定部３１に最新の予測情報Ａを要求する。常時、位置特定部３１は、最新の予測情報Ａを更新しながら保持しており、その要求があれば、最新の予測情報Ａを即座にロボットカメラ制御部３２に出力する。これにより、位置特定部３１での予測情報Ａの更新と、ロボットカメラ制御部３２でのコマンド更新とのタイミングのばらつきが、センサカメラ１０の映像更新の周期や位置検出方法、予測方法の変更などによらず一定の範囲に収まる。
【0046】
図５に示すように、予測情報Ａは、１０個の過去位置（位置データａ１～ａ１０）と、１個の現在位置（位置データａ１１）と、１９個の予測位置（位置データａ１２～ａ３０）とが含まれている。つまり、予測情報Ａには、０．１秒単位で生成された合計３０個の位置データａ１～ａ３０が含まれている。
【0047】
以下、ロボットカメラ制御部３２の処理に戻り、説明を続ける。
予測情報入力部３２２は、予測情報出力部３１４から予測情報が入力され（ステップＳ３）、入力された予測情報Ａを予測情報記憶部３２３に書き込む（ステップＳ４）。
予測情報入力部３２２は、予測情報出力部３１４から予測情報が入力され（ステップＳ３）、入力された予測情報Ａを予測情報記憶部３２３に書き込む（ステップＳ４）。
【0048】
ここで、センサカメラ１０がセンサ映像９０を撮影してから、位置特定部３１が予測情報Ａを生成するまで、例えば、０．２秒の遅延が発生する（図５の遅延Ｄ１２）。
従って、予測情報Ａを参照する際、状態値Ｘｕが入力されるときの遅延Ｄ１１＝０．６秒、及び、予測情報を生成するときの遅延Ｄ１２＝０．２秒を考慮する必要がある。つまり、予測情報Ａの現在位置（センサ情報ａ１１）を基準とすれば、ロボットカメラ４０から入力された状態値Ｘｕは、遅延Ｄ１１から遅延Ｄ１２を減算した０．４秒、過去の情報となる。
このため、位置データ取得部３２４は、ステップＳ４で記憶した予測情報Ａから、現在位置から遅延時間（遅延Ｄ１１－遅延Ｄ１２）だけ遡った時刻の位置データＸｄ（位置データａ７）を取得する（ステップＳ５）。
従って、予測情報Ａを参照する際、状態値Ｘｕが入力されるときの遅延Ｄ１１＝０．６秒、及び、予測情報を生成するときの遅延Ｄ１２＝０．２秒を考慮する必要がある。つまり、予測情報Ａの現在位置（センサ情報ａ１１）を基準とすれば、ロボットカメラ４０から入力された状態値Ｘｕは、遅延Ｄ１１から遅延Ｄ１２を減算した０．４秒、過去の情報となる。
このため、位置データ取得部３２４は、ステップＳ４で記憶した予測情報Ａから、現在位置から遅延時間（遅延Ｄ１１－遅延Ｄ１２）だけ遡った時刻の位置データＸｄ（位置データａ７）を取得する（ステップＳ５）。
【0049】
図５に示すように、ロボットカメラ制御部３２が指令コマンドを出力してからロボットカメラ４０が実際に駆動を始め、指定速度に達するまで、例えば、０．１秒以上、場合によっては１秒程度の遅延が発生する。このため、ロボットカメラ４０を制御する際、この遅延によるカメラ方向のずれが発生するが、これは単純に位置のずれとして、後述の方法で連続的に補正処理することができる。
【0050】
基本的に、差分算出部３２５は、ステップＳ４で記憶した予測情報Ａにおいて、制御時点での予測位置（位置データａ１３）と、制御時点に更新間隔Ｄ２を加えた時刻での予測位置（位置データａ１４）との差分を算出する（ステップＳ６）。
なお、図５の例では、予想情報Ａの現在位置（予想情報Ａが入力された時刻）から制御時点まで０．２秒が経過していることとする。
なお、図５の例では、予想情報Ａの現在位置（予想情報Ａが入力された時刻）から制御時点まで０．２秒が経過していることとする。
【0051】
制御情報生成部３２６は、ステップＳ６で算出した差分に基づいて、ロボットカメラ４０の制御情報を生成する。そして、制御情報生成部３２６は、図５に示すように、ロボットカメラ４０の状態値とセンサ情報とのずれを補正するため、前記した式（１）で補正値を求め、求めた補正値Ｒで制御情報を補正する（ステップＳ７）。
ここで、制御情報生成部３２６は、状態値Ｘｕ及び位置データＸｄの両方ともＡＺ角及びＥＬ角で表されるので、ＡＺ角及びＥＬ角のそれぞれに式（１）を適用し、パン速度及びチルト速度それぞれの補正値Ｒを求める。そして、制御情報生成部３２６は、パン速度及びチルト速度の補正値Ｒを、制御情報のパン速度及びチルト速度にそれぞれ加算する。
コマンド変換部３２７は、ステップＳ７で生成した制御情報を、ロボットカメラ４０への指令コマンドに変換する（ステップＳ８）。
ここで、制御情報生成部３２６は、状態値Ｘｕ及び位置データＸｄの両方ともＡＺ角及びＥＬ角で表されるので、ＡＺ角及びＥＬ角のそれぞれに式（１）を適用し、パン速度及びチルト速度それぞれの補正値Ｒを求める。そして、制御情報生成部３２６は、パン速度及びチルト速度の補正値Ｒを、制御情報のパン速度及びチルト速度にそれぞれ加算する。
コマンド変換部３２７は、ステップＳ７で生成した制御情報を、ロボットカメラ４０への指令コマンドに変換する（ステップＳ８）。
【0052】
［作用・効果］
以上のように、動体追尾装置３０は、遅延時間及び更新間隔を考慮するので、ロボットカメラ４０の方向を正確に把握し、航空機のように高速で移動する動体を滑らかに追尾することができる。
さらに、動体追尾装置３０は、ロボットカメラ４０と動体追尾装置３０とが低速のシリアル回線で接続されている場合でも、データ入出力量を抑えられ、状態値や指令コマンドの入出力が滞ることがない。
さらに、動体追尾装置３０は、前記した式（１）により、制御情報を一定時間で補正するので、ロボットカメラ４０の姿勢が急峻に変化することがなく、より滑らかに追尾することができる。
以上のように、動体追尾装置３０は、遅延時間及び更新間隔を考慮するので、ロボットカメラ４０の方向を正確に把握し、航空機のように高速で移動する動体を滑らかに追尾することができる。
さらに、動体追尾装置３０は、ロボットカメラ４０と動体追尾装置３０とが低速のシリアル回線で接続されている場合でも、データ入出力量を抑えられ、状態値や指令コマンドの入出力が滞ることがない。
さらに、動体追尾装置３０は、前記した式（１）により、制御情報を一定時間で補正するので、ロボットカメラ４０の姿勢が急峻に変化することがなく、より滑らかに追尾することができる。
【0053】
（変形例１）
以上、本発明の実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
図６に示すように、変形例１では、さらに調整時間Ｄ１３を考慮して遅延時間を以下のように定義する。この調整時間Ｄ１３は、ロボットカメラ４０が撮影した撮影映像における航空機の位置を調整するための時間であり、任意に設定できる（例えば、調整時間Ｄ１３＝０．９秒）。
遅延時間＝（遅延Ｄ１１－遅延Ｄ１２－調整時間Ｄ１３）
以上、本発明の実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
図６に示すように、変形例１では、さらに調整時間Ｄ１３を考慮して遅延時間を以下のように定義する。この調整時間Ｄ１３は、ロボットカメラ４０が撮影した撮影映像における航空機の位置を調整するための時間であり、任意に設定できる（例えば、調整時間Ｄ１３＝０．９秒）。
遅延時間＝（遅延Ｄ１１－遅延Ｄ１２－調整時間Ｄ１３）
【0054】
ここで、遅延時間が大きくなると、ロボットカメラ４０が航空機の移動方向後側を向くようになる（つまり、振り遅れる）。一方、遅延時間が小さくなると、ロボットカメラ４０が航空機の移動方向前側を向くようになる。また、遅延時間が負の値となるように調整時間Ｄ１３を設定すれば、ロボットカメラ４０が航空機の未来位置を向くようになる。通常の撮影映像では、航空機の移動方向前側が広くなる構図が好ましい。そこで、所望の構図に調整できるように、調整時間Ｄ１３を設定できるようにした。
【0055】
図６では、位置データ取得部３２４は、予測情報Ａにおいて、さらに調整時間Ｄ１３だけ進めた時間の予測位置Ｘｄを取得する。つまり、位置データ取得部３２４は、遅延Ｄ１２と調整時間Ｄ１３を加算して遅延Ｄ１１を減算した時刻の位置データａ１６を取得する。
なお、位置データａ１６を取得した後の処理は、前記した実施形態と同様のため、説明を省略する。
なお、位置データａ１６を取得した後の処理は、前記した実施形態と同様のため、説明を省略する。
【0056】
（他の変形例）
前記した実施形態では、動体が航空機であることとして説明したが、本発明では、動体が特に限定されず、高速で移動する動体であっても滑らかに追尾することができる。
前記した実施形態では、センサカメラで動体を検出することとして説明したが、本発明では、特に限定されない。例えば、ＧＰＳ（Global Positioning System）、赤外線センサなどで動体を検出してもよい。
前記した実施形態では、動体が航空機であることとして説明したが、本発明では、動体が特に限定されず、高速で移動する動体であっても滑らかに追尾することができる。
前記した実施形態では、センサカメラで動体を検出することとして説明したが、本発明では、特に限定されない。例えば、ＧＰＳ（Global Positioning System）、赤外線センサなどで動体を検出してもよい。
【0057】
前記した実施形態では、センサカメラ及び動体検出装置を３台備えることとして説明したが、本発明では、これらの台数が特に制限されず、１台以上であればよい。
前記した実施形態では、遅延時間、更新間隔、入力間隔及び待機時間を例示したが、本発明では、これらの値が特に制限されない。例えば、これらの値は、ロボットカメラの性能や仕様、ネットワーク環境に応じて任意の値で設定可能である。
前記した実施形態では、遅延時間、更新間隔、入力間隔及び待機時間を例示したが、本発明では、これらの値が特に制限されない。例えば、これらの値は、ロボットカメラの性能や仕様、ネットワーク環境に応じて任意の値で設定可能である。
【0058】
前記した実施形態では、位置特定部及びロボットカメラ制御部を同一の装置に実装することとして説明したが、本発明では、位置特定部及びロボットカメラ制御部を別々の装置に実装してもよい。
前記した実施形態では、ロボットカメラの状態値がＡＺ角及びＥＬ角であり、ロボットカメラのパン及びチルトを制御することとして説明したが、本発明は、これに限定されない。つまり、動体追尾装置は、パン及びチルトと同様、ロボットカメラのズーム及び／又はフォーカスを制御してもよい。
前記した実施形態では、ロボットカメラの状態値がＡＺ角及びＥＬ角であり、ロボットカメラのパン及びチルトを制御することとして説明したが、本発明は、これに限定されない。つまり、動体追尾装置は、パン及びチルトと同様、ロボットカメラのズーム及び／又はフォーカスを制御してもよい。
【0059】
前記した実施形態では、動体追尾装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した動体追尾装置として協調動作させるプログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ－ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【符号の説明】
【0060】
１ 航空機追尾撮影システム
１０ センサカメラ（センサ）
２０ 動体検出装置
３０ 動体追尾装置
３１ 位置特定部
３１０ センサ情報生成部
３１１ 予測情報生成部
３１２ 予測情報記憶部
３１３ 要求入力部
３１４ 予測情報出力部
３２ ロボットカメラ制御部
３２０ 状態値入力部
３２１ 予測情報要求部
３２２ 予測情報入力部
３２３ 予測情報記憶部
３２４ 位置データ取得部
３２５ 差分算出部
３２６ 制御情報生成部
３２７ コマンド変換部（撮影カメラ制御部）
４０ ロボットカメラ
４１ カメラ本体
４３ 雲台
１０ センサカメラ（センサ）
２０ 動体検出装置
３０ 動体追尾装置
３１ 位置特定部
３１０ センサ情報生成部
３１１ 予測情報生成部
３１２ 予測情報記憶部
３１３ 要求入力部
３１４ 予測情報出力部
３２ ロボットカメラ制御部
３２０ 状態値入力部
３２１ 予測情報要求部
３２２ 予測情報入力部
３２３ 予測情報記憶部
３２４ 位置データ取得部
３２５ 差分算出部
３２６ 制御情報生成部
３２７ コマンド変換部（撮影カメラ制御部）
４０ ロボットカメラ
４１ カメラ本体
４３ 雲台
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】