特許 7183920 自動追尾カメラの制御装置、自動追尾カメラ、自動追尾カメラの制御方法。

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-28

(45)【発行日】2022-12-06

(54)【発明の名称】自動追尾カメラの制御装置、自動追尾カメラ、自動追尾カメラの制御方法。

(51)【国際特許分類】

   H04N 7/18 20060101AFI20221129BHJP

   H04N 5/232 20060101ALI20221129BHJP

   G03B 15/00 20210101ALI20221129BHJP

【ＦＩ】

H04N7/18 G

H04N5/232 990

G03B15/00 P

G03B15/00 Q

H04N5/232 290

【請求項の数】 7

(21)【出願番号】P 2019070008

(22)【出願日】2019-04-01

(65)【公開番号】P2020170892

(43)【公開日】2020-10-15

【審査請求日】2021-06-30

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(72)【発明者】

【氏名】加藤 誉一

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】国際公開第２０１８／１３５０９５（ＷＯ，Ａ１）

【文献】特開２０１７－２１２５８１（ＪＰ，Ａ）

【文献】特開２０１５－２３３２５９（ＪＰ，Ａ）

【文献】特開２００１－２８５８５０（ＪＰ，Ａ）

【文献】特開平６－３４７２１９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ５／２２２－５／２５７

Ｇ０３Ｂ １５／００

(57)【特許請求の範囲】

【請求項1】

追尾対象を自動的に追尾して撮像する自動追尾カメラの制御装置であって、
前記追尾対象の情報に基づき、前記自動追尾カメラで撮像した画像から前記追尾対象を検出する追尾対象検出部と、
前記追尾対象の移動量に影響を与える影響要因の情報に基づき、前記影響要因を検出して影響度を設定する影響要因検出部と、
前記影響要因検出部で設定した前記影響度と前記追尾対象の過去の移動量とに基づいて、前記自動追尾カメラの撮像方向調整量を算出する調整量算出部と
を備えることを特徴とする自動追尾カメラの制御装置。

【請求項2】

前記影響要因検出部は、複数の影響要因を検出した場合、
前記複数の影響要因それぞれに対応する影響度に基づいて算出した値を最終的な影響度として設定することを特徴とする、
請求項１に記載の自動追尾カメラの制御装置。

【請求項3】

前記影響要因の情報は画像情報であり、前記影響要因検出部は前記影響要因を前記自動追尾カメラで撮像した画像から検出することを特徴とする、
請求項１または２に記載の自動追尾カメラの制御装置。

【請求項4】

前記影響要因は移動体であり、前記影響要因の影響度は、前記追尾対象と前記影響要因との位置関係によって異なる値であることを特徴とする
請求項１～３のいずれか１項に記載の自動追尾カメラの制御装置

【請求項5】

前記調整量算出部は、前記自動追尾カメラで撮像した画像の中心と前記追尾対象との水平方向のずれがｄｘ、垂直方向のずれがｄｙであったとき、前記自動追尾カメラの撮像方向調整の目標を、前記自動追尾カメラで撮像した画像の中心に対する前記追尾対象のずれの方向が同じで水平方向のずれがａ×ｄｘ、垂直方向のずれがｂ×ｄｙとなる位置とし、ａおよびｂは０よりも大きく１よりも小さい値であることを特徴とする、請求項１～４のいずれか１項に記載の自動追尾カメラの制御装置。

【請求項6】

請求項１～５のいずれか１項に記載の自動追尾カメラの制御装置と、
撮像部と、
前記調整量算出部で算出した前記撮像方向調整量に基づき、前記撮像部の撮像方向を移動させる撮像方向移動部と、
前記追尾対象の情報と前記影響要因の情報とを記憶する記憶部と
を備えることを特徴とする
自動追尾カメラ。

【請求項7】

追尾対象を自動的に追尾して撮像する自動追尾カメラの制御方法であって、
前記追尾対象の情報に基づき、前記自動追尾カメラで撮像した画像から前記追尾対象を検出する追尾対象検出ステップと、
前記追尾対象の移動量に影響を与える影響要因の情報に基づき、前記影響要因を検出して、影響度を設定する影響要因検出ステップと、
前記影響要因検出ステップで設定した前記影響度と前記追尾対象の過去の移動量とに基づいて、前記自動追尾カメラの撮像方向調整量を算出する調整量算出ステップと
を有することを特徴とする自動追尾カメラの制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自動追尾カメラの制御装置、自動追尾カメラ、自動追尾カメラの制御方法に関する。

【背景技術】

【0002】

登録した追尾対象を自動追尾して撮像するシステムが知られている。特許文献１には、ターゲットの移動履歴に基づいて所定時間後のターゲットの位置を予測して、所定時間後のターゲットがカメラの撮像画面内の所定位置に位置するように、カメラのパンおよびチルトの調整量を演算する装置について記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】ＷＯ２０１６／１５１９２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

追尾対象が等速で移動している状態であれば、特許文献１に記載されている方法で追尾対象を的確に追尾することができる。しかし、追尾対象の移動量が変化した場合、カメラのパンおよびチルト動作が追尾対象の動きと大きく異なってしまう場合がある。

【0005】

本発明は、追尾対象の移動量が変化した場合でも的確に追尾対象を自動追尾することができる自動追尾カメラの制御装置、自動追尾カメラ、自動追尾カメラの制御方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明は、追尾対象を自動的に追尾して撮像する自動追尾カメラの制御装置であって、前記追尾対象の情報に基づき、前記自動追尾カメラで撮像した画像から前記追尾対象を検出する追尾対象検出部と、前記追尾対象の移動量に影響を与える影響要因の情報に基づき、前記影響要因を検出して影響度を設定する影響要因検出部と、設定した前記影響度と前記追尾対象の過去の移動量とに基づいて、前記自動追尾カメラの撮像方向調整量を算出する調整量算出部とを備えることを特徴とする自動追尾カメラの制御装置を提供する。

【0007】

本発明は、上記自動追尾カメラの制御装置と、撮像部と、前記調整量算部で算出した撮像方向調整量に基づき、前記撮像部の撮像方向を移動させる撮像方向移動部と前記追尾対象の情報と、前記影響要因の情報とを記憶する記憶部とを備えることを特徴とする自動追尾カメラを提供する。

【0008】

本発明は、追尾対象を自動的に追尾して撮像する自動追尾カメラの制御方法であって、前記追尾対象の情報に基づき、前記自動追尾カメラで撮像した画像から前記追尾対象を検出する追尾対象検出ステップと、前記追尾対象の移動量に影響を与える影響要因の情報に基づき、前記影響要因を検出して、影響度を設定する影響要因検出ステップと、設定した前記影響度と前記追尾対象の過去の移動量とに基づいて、前記自動追尾カメラの撮像方向調整量を算出する調整量算出ステップとを有することを特徴とする自動追尾カメラの制御方法を提供する。

【発明の効果】

【0009】

本発明の自動追尾カメラの制御装置、自動追尾カメラ、自動追尾カメラの制御方法によれば、追尾対象の移動量が変化した場合でも的確に追尾対象を自動追尾することができる。

【図面の簡単な説明】

【0010】

【図1】実施形態１に係る自動追尾カメラの構成例を示すブロック図である。

【図2】自動追尾カメラの動作を説明するためのフローチャートである。

【図3】バスケットコート及びゴールを表す図である。

【図4】実施例１における影響要因の登録画像を示す図である。

【図5】実施例１における影響要因の登録状態を示す図である。

【図6】画像内での追尾対象の位置の移動の様子を示す図である。

【図7】バスケットボールの試合中の追尾対象の動きを説明する図である。

【図8】自動追尾カメラの撮像画像例である。

【図9】実施例２における影響要因の登録状態を示す図である

【図10】実施形態２に係る自動追尾カメラの構成例を示すブロック図である。

【図11】バスケットコートを撮像部が撮像する様子を示す図である。

【図12】実施形態２における影響要因の登録状態を示す図である。

【図13】実施形態３に係る自動追尾カメラの構成例を示すブロック図である。

【図14】ディープラーニングの具体例を説明するための図である。

【図15】追尾対象が撮像方向の中心以外となることを目標として制御する例を説明するための図である。

【発明を実施するための形態】

【0011】

以下、各実施形態の自動追尾カメラの制御装置、自動追尾カメラ、自動追尾カメラの制御方法について、添付図面を参照して説明する。

【0012】

＜実施形態１＞
図１は本実施形態に係る自動追尾カメラ１００の構成例を示すブロック図である。図１に示すように、自動追尾カメラ１００は、制御装置１０、撮像部２０、撮像方向移動部２２、表示部２４、入力部２６、記憶部２８を備える。

【0013】

撮像部２０は被写体を撮像して映像信号を生成し、生成した映像信号を表示部２４と制御装置１０に送る。撮像方向移動部２２は、撮像部２０の撮像方向を移動させる機構（パン・チルト機構）を備え、制御部１０から受け取った制御信号に基づいて撮像部２０の撮像方向を移動させる。表示部２４は液晶モニタ等で構成され、撮像部２０から受け取った映像信号に基づき映像を表示する。入力部２６は、追尾対象および影響要因の情報の入力を受付け、受付けた情報を記憶部２８に送る。

【0014】

記憶部２８は、入力部２６で入力された追尾対象の情報および影響要因の情報を記憶する。記憶部２８は、例えばＲＡＭ（Random Access Memory）で構成される。

【0015】

制御装置１０は、追尾対象検出部１２、影響要因検出部１４、調整量算出部１６を備える。追尾対象検出部１２、影響要因検出部１４、調整量算出部１６は、ハードウェアで構成されてもよいし、ソフトウェアで構成されてもよく、ハードウェアとソフトウェアとの使い分けは任意である。

【0016】

追尾対象検出部１２は、記憶部２８から読み出した追尾対象の情報に基づき、撮像部２０で撮像した画像から追尾対象を検出する。影響要因検出部１４は記憶部２８から読み出した影響要因の情報に基づき、撮像部２０で撮像した画像から影響要因を検出し、影響要因の検出結果に基づいて影響度を設定する。調整量算出部１６は、後段で説明する方法で撮像部２０の撮像方向を移動させる調整量である、水平方向調整量Ｖｘ（ｎ）と垂直方向調整量Ｖｙ（ｎ）を算出し、算出した水平方向調整量Ｖｘ（ｎ）と垂直方向調整量Ｖｙ（ｎ）に基づき撮像方向移動部２２を制御する。水平方向調整量Ｖｘ（ｎ）と垂直方向調整量Ｖｙ（ｎ）とを総じて、撮像方向調整量ともいう。

【0017】

撮像方向移動部２２は、水平方向調整量Ｖｘ（ｎ）がプラスの値であれば右方向に単位時間Ｔｄ当たり表示部２４の画面上の距離に換算してＶｘ（ｎ）移動するように、パン機構を制御する。同様に撮像方向移動部２２は、水平方向調整量Ｖｘ（ｎ）がマイナスの値であれば左方向に単位時間Ｔｄ当たり表示部２４の画面上の距離に換算してＶｘ（ｎ）移動するように、パン機構を制御する。

【0018】

撮像方向移動部２２は、垂直方向調整量Ｖｙ（ｎ）がプラスの値であれば上方向に単位時間Ｔｄ当たり表示部２４の画面上の距離に換算してＶｙ（ｎ）移動するように、チルト機構を制御する。同様に撮像方向移動部２２は、垂直方向調整量Ｖｙ（ｎ）がマイナスの値であれば下方向に単位時間Ｔｄ当たり表示部２４の画面上の距離に換算してＶｙ（ｎ）移動するように、チルト機構を制御する。

【0019】

単位時間Ｔｄは任意に設定可能であり、例えば１０フレーム期間とする。単位時間Ｔｄは１０フレーム期間に限定しないが、フレーム期間の倍数に相当する期間とすると良い。

【0020】

以下、具体的な実施例に基づき自動追尾カメラ１００の動作を詳細に説明する。

【0021】

（実施例１）
本実施例は、バスケットボールの試合中に特定の選手を自動追尾することを想定して説明する。図２は、自動追尾カメラの動作を説明するためのフローチャートである。図２のステップＳ１で、追尾対象および影響要因の情報が登録される。

【0022】

入力部２６は追尾対象の入力を受け付ける。追尾対象の入力方法としては、撮像部２０で撮像した画像から顔認識等で追尾対象候補を抽出し、抽出した候補の中から追尾したい対象を選択することで行なえば良い。入力部２６で受け付けた追尾対象の情報は記憶部２８に記憶され、追尾対象の登録が完了する。追尾する目標点は任意に設定すればよい。例えば追尾対象として登録した人物の顔の中心を追尾する目標点として設定しても良いし、追尾対象として登録した人物の体の中心を追尾する目標点として設定しても良い。

【0023】

同様に、入力部２６は影響要因の入力を受け付ける。影響要因とは、追尾対象の移動量に影響を与えると想定される要因である。影響要因の入力は追尾対象の入力と同様に、撮像した画像を元に行なえば良い。また、影響要因入力時には影響要因毎に影響度の入力も受け付ける。入力部２６で受け付けた影響要因の情報は記憶部２８に記憶され、影響要因の登録が完了する。

【0024】

図３はバスケットコート３０及びゴールを表す図である。図３の左側が自ゴール３１、右側が相手ゴール３２とする。本実施例では相手ゴール３２付近の画像を影響要因として登録する例を説明する。

【0025】

図４は、影響要因として入力した相手ゴール３２付近の画像４０を示す。次に、入力した影響要因に対応する影響度を入力する。ここでは、水平方向の影響度αを０．８、垂直方向の影響度βを１として入力する。影響要因の情報は記憶部２８に記憶される。影響要因の登録状態を図５に示す。

【0026】

図２に戻り、ステップＳ２で自動追尾を開始する。ステップＳ３で追尾対象検出部１２は、記憶部２８から追尾対象の情報を読み出し、撮像部２０で撮像した画像から追尾対象を検出する動作を行なう。追尾対象を検出しない場合（Ｓ３／ｎｏ）、検出するまでステップＳ３を繰り返す。追尾対象を検出した場合（Ｓ３／ｙｅｓ）ステップＳ４に進む。

【0027】

ステップＳ４で影響要因検出部１４は影響度の設定を行なう。先ず、影響要因検出部１４は記憶部２８から影響要因の情報を読み出し、撮像部２０で撮像した画像から影響要因を検出する動作を行なう。影響要因の検出方法は、登録した影響要因の画像４０と撮像した画像との類似度を評価し、例えば類似度が３０％以上であれば影響要因を検出したと判定する。

【0028】

影響要因を検出した場合、影響要因検出部１４は、検出した影響要因に対応した水平方向の影響度αと、垂直方向の影響度βの値を記憶部２８から読み出し、読み出した値を影響度として設定する。影響要因を検出しない場合、水平方向の影響度α及び、垂直方向の影響度βを共に１と設定する。

【0029】

ステップＳ５で、調整量算出部１６は直前の単位時間Ｔｄにおける追尾対象の移動量を算出する。先ず、調整量算出部１６は最新のフレームの画像と単位時間Ｔｄ遡ったフレームの画像とを比較し、追尾対象の画像内移動量を算出する。

【0030】

図６は、表示部２４に表示される画像の一例を示す。説明のため、画像の水平方向をｘ方向、垂直方向をｙ方向とし、画像の中心座標を（ｘ，ｙ）＝（０，０）とする。また、制御装置１０は、追尾対象が画像の中心となるように撮像方向移動部２２を制御するものとする。

【0031】

追尾対象が座標（ｘ１，ｙ１）である位置５１に検出されると、制御装置１０は追尾対象が画像の中心となるように、水平方向調整量Ｖｘ（ｎ－１）をｘ１、垂直方向調整量Ｖｙ（ｎ－１）をｙ１として制御する。撮像方向移動部２２によって撮像部２０の撮像方向が移動され、単位時間Ｔｄ後に撮像された画像において追尾対象の位置が、座標（ｘ２，ｙ２）である位置５２となったとする。このとき追尾対象の直前の単位時間Ｔｄにおける水平方向の移動量Ｍｘ（ｎ－１）は、ｘ１＋ｘ２と算出される。同様に追尾対象の直前の単位時間Ｔｄにおける垂直方向の移動量Ｍｙ（ｎ－１）は、ｙ１＋ｙ２と算出される。

【0032】

追尾対象が等速で移動しているとすると、追尾対象が画像の中心となるように制御するためには、撮像部２０の水平方向調整量を、追尾対象が直前の単位時間Ｔｄ間に移動した移動量と、追尾対象の画像中心とのずれ量を加算した量とすれば良い。本実施形態では、影響要因により追尾対象の移動量が変化することを想定して撮像方向調整量を算出する。

【0033】

図２に戻り、ステップＳ６で、調整量算出部１６は水平方向の調整量Ｖｘ（ｎ）を式１で算出する。同様に、垂直方向の調整量Ｖｙ（ｎ）を式２で算出する。
Ｖｘ（ｎ）＝α×Ｍｘ（ｎ－１）＋ｘ２・・・（式１）
Ｖｙ（ｎ）＝β×Ｍｙ（ｎ－１）＋ｙ２・・・（式２）
すなわち、調整量算出部１６は、影響要因検出部１４で設定した影響度と追尾対象の過去の移動量とに基づいて、自動追尾カメラの撮像方向調整量を算出する。

【0034】

ステップＳ７で調整量算出部１６は、算出した水平方向調整量Ｖｘ（ｎ）と垂直方向調整量Ｖｙ（ｎ）とに基づき撮像方向移動部２２を制御する。撮像方向移動部２２は、水平方向調整量Ｖｘ（ｎ）に基づき撮像部２０の撮像方向を水平方向に移動させ、垂直方向調整量Ｖｙ（ｎ）に基づき撮像部２０の撮像方向を垂直方向に移動させる。ステップＳ２からステップＳ６を繰り返すことで自動追尾カメラ１００は追尾対象を自動追尾して撮像する。

【0035】

図７は、バスケットボールの試合中の追尾対象の動きの一例を連続的に表示した例である。ドリブルしながら相手ゴール３２に向かう追尾対象は、位置６１から位置６３までドリブルを続け、位置６４でシュート体勢に入り、位置６５でジャンプシュートし、位置６６で着地する。

【0036】

このとき、追尾対象の水平方向の速度は、位置６１から位置６３位まで等速に近い速度となり、相手ゴール付近の位置６４以降で減速する。位置６１から位置６６までの追尾対象を自動追尾することを想定する。自動追尾カメラ１００は、位置６１よりも前で追尾対象の追尾を開始しているものとする。

【0037】

図８（ａ）は、追尾対象が位置６２にいる時の自動追尾カメラ１００の撮像画像例を示す。図８（ａ）の画像には影響要因である相手ゴール付近の画像が含まれないので、水平方向の影響度αと垂直方向の影響度βは共に１となる。このため、撮像方向の調整量は直前の単位時間Ｔｄにおける追尾対象の移動距離に相当する値となり、ほぼ等速で移動している追尾対象を追尾することができる。

【0038】

図８（ｂ）は位置６３における自動追尾カメラ１００の撮像画像例を示す。図８（ｂ）の画像には影響要因である相手ゴール付近の画像が含まれるので、水平方向の影響度αが０．８、垂直方向の影響度βが１となる。このため、撮像方向の横方向の調整量は直前の単位時間Ｔｄにおける追尾対象の移動距離に相当する値よりも小さくなり、水平方向の移動速度が減少する追尾対象を的確に追尾することができる。

【0039】

影響度合いとして固定物を登録する例としては上記のようにスポーツの試合におけるゴール付近の画像以外でも種々設定可能である。例えば、本実施形態の自動追尾カメラ１００を街中に設置する監視カメラとして使用する場合、建物の画像や横断歩道の画像等を影響要因として登録しても良い。

【0040】

（実施例２）
実施例１では影響要因をゴール付近の画像としたが、影響要因は固定物に限定せず、移動するものでも良い。例えば相手チームの選手を影響要因として登録しても良い。影響要因の登録方法は、実施例１で説明した追尾対象の登録方法と同様でよいが、相手チームの選手を影響要因として登録する場合、顔認識で登録するのではなく、ユニフォームの形や色等を登録する方法でも良い。

【0041】

移動体を影響要因として登録する場合、追尾対象と影響要因との位置関係によって、異なる影響度を登録しても良い。例えば、相手チームの選手を影響要因として登録する場合、追尾対象の進行方向に検出される相手チームの選手を選手１として登録し、追尾対象の進行方向の逆方向に検出される相手チームの選手を選手２として登録する。そして、選手１と選手２の影響度を異なる値とする。例えば、選手１の水平方向影響度αを０．７、選手２の水平方向影響度αを１．３と登録する。垂直方向影響度βはいずれも１とする。本実施例における影響要因の登録状態を図９に示す。

【0042】

実施例２における自動追尾の流れは図２で説明した実施例１の場合と基本的に同様であるが、実施例２ではステップＳ４での動作が一部異なる。実施例２ではステップＳ４において、影響要因検出部１４は、影響要因として登録された対象が追尾対象の進行方向に検出された場合と進行方向の反対側で検出された場合とで、異なる影響要因として検出する。

【0043】

すなわち、影響要因検出部１４は影響要因として登録された対象が追尾対象の進行方向に検出された場合、影響要因を選手１として検出し、水平方向の影響度αを０．７、垂直方向の影響度βを１と設定する。これにより、調整量算出部１６で生成される水平方向の調整量Ｖｘ（ｎ）は小さくなり、撮像部２０の水平方向の移動量は小さくなる。

【0044】

また、影響要因検出部１４は影響要因として登録された対象が追尾対象の進行方向の逆側に検出された場合、影響要因を選手２として検出し、水平方向の影響度αを１．３、垂直方向の影響度βを１と設定する。これにより、調整量算出部１６で生成される水平方向の調整量Ｖｘ（ｎ）は大きくなり、撮像部２０の水平方向の移動量は大きくなる。

【0045】

追尾対象は、進行方向に相手チームの選手が近付いた場合、速度を落とすことが想定される。また、進行方向の反対側から相手チームの選手が近付いた場合、速度を上げることが想定される。自動追尾カメラ１００は追尾対象の移動量に影響を与える影響要因を検出し、影響要因と追尾対象との位置関係に基づいて撮像部２０の撮像方向調整量を算出するので、追尾対象の移動量が変化した場合でも的確に追尾対象を追尾することができる。

【0046】

影響度合いとして移動体を登録する例としては上記のようにスポーツの試合における相手チームの選手の画像以外でも種々設定可能である。例えば、本実施形態の自動追尾カメラ１００を街中に設置する監視カメラとして使用する場合、追尾対象以外の人や自動車等の画像を影響要因として登録し、追尾対象と影響要因との位置関係に基づいて影響度を変えても良い。

【0047】

実施例１では固定物を影響要因として登録する例を説明し、実施例２では移動体を影響要因として登録する例を説明したが、影響要因は複数を同時に登録しても良く、固定物と移動体の両方を影響要因として同時に登録しても良い。影響要因検出部１４は、複数の影響要因を検出した場合、各影響要因に対応して登録された各影響度に基づいて算出した値を最終的な影響度として設定すれば良い。例えば影響要因がｍ個（ｍは２以上の整数）検出されて、検出された影響要因それぞれに対応する水平方向の影響度がα１，α２，・・αｍ、垂直方向の影響度がβ１，β２・・βｍであった場合、水平方向の最終的な影響度αと垂直方向の最終的な影響度βは、式３および式４で算出される。
α＝α１×α２×・・×αｍ・・・（式３）
β＝β１×β２×・・×βｍ・・・（式４）

【0048】

影響要因が複数検出された場合の、最終的な影響度の算出方法は上記に限定されない。例えば、各影響度の平均値を最終的な影響度としても良い。

【0049】

実施形態１の自動追尾カメラ１００によれば、追尾対象の移動量に影響を与える影響要因を検出して、検出した影響要因の影響度を設定し、設定した影響度と追尾対象の過去の移動量とに基づいて撮像部２０の撮像方向調整量を変化させるので、追尾対象の移動量が変化した場合でも的確に追尾対象を追尾することができる。

【0050】

＜実施形態２＞
実施形態２について説明する。実施形態１では影響要因を画像として登録し、撮像した画像から影響要因を検出したが、実施形態２では撮像部２０の撮像方向を影響要因として登録する。以下、実施形態１と異なる部分を中心に説明する。実施形態１と同様の構成には同一の符号を付し、説明を省略する場合がある。

【0051】

図１０は本実施形態の自動追尾カメラ２００の構成例を示すブロック図である。本実施形態の自動追尾カメラ２００は、実施形態１の自動追尾カメラ１００に対し、撮像方向移動部２２から影響要因検出部１４に撮像部２０の撮像方向を示す信号が送られる部分が異なる。

【0052】

図２を用いて自動追尾カメラ２００の動作を説明する。ステップＳ１で、追尾対象および影響要因の情報が登録される。追尾対象の登録方法は実施形態１と同様であるが、影響要因については、本実施形態では撮像部２０の撮像方向に対応させて登録する。

【0053】

図１１は、バスケットコート３０を撮像部２０が撮像する様子を示している。図１１の破線矢印Ｈ１～Ｈ４は、撮像部２０の撮像方向を示す。撮像部２０は少なくともＨ１からＨ４まで撮像方向を移動できるものとする。撮像部２０の撮像方向に応じて複数の領域を設定し、設定した領域それぞれに対し影響度を登録する。例えば、撮像方向Ｈ１からＨ２までを領域Ａ、撮像方向Ｈ２からＨ３までを領域Ｂ、撮像方向Ｈ３からＨ４までを領域Ｃとし、それぞれの領域に対応して影響度を登録する。

【0054】

例えば、領域ＡとＣの水平方向の影響度αを０．８とし、領域Ｂの水平方向の影響度を１として登録する。垂直方向の影響度は全領域で１として登録する。影響要因の登録状態を図１２に示す。

【0055】

図２に戻る。ステップＳ２からＳ３までは実施形態１と同様である。ステップＳ４で影響要因検出部１４は撮像方向移動部２２から受け取った撮像方向の情報から、撮像方向がどの領域にあるのかを検出し、検出した領域に対応する水平方向の影響度αと垂直方向の影響度βの値を記憶部２８から読み出し、読み出した値を影響度として設定する。ステップＳ５以降は実施形態１と同様である。

【0056】

本実施形態の自動追尾カメラ２００は、撮像部１０の撮像方向がゴールに近付くと撮像部２０の水平方向の調整量Ｖｘ（ｎ）が小さくなるように制御される。これにより、ゴール付近で水平方向の移動速度が減速する追尾対象を的確に追尾することができる。

【0057】

実施形態２の自動追尾カメラ２００によれば、撮像方向と影響度との対応情報に基づいて影響度を設定し、設定した影響度と追尾対象の過去の移動量とに基づいて撮像部２０の撮像方向調整量を算出するので、追尾対象の移動量が追尾対象の位置によって変化する場合でも的確に追尾対象を追尾することができる。

【0058】

実施形態１と実施形態２を組み合わせた構成も可能である。複数の影響要因が検出された場合、実施形態１で説明した式３、式４により最終的な影響度を算出すればよい。

【0059】

実施形態１、２では説明を簡単にするために撮像部２０の垂直方向の影響度βをいずれも１と設定したが、垂直方向の影響度βも水平方向の影響度αと同様に任意に設定可能である。

【0060】

＜実施形態３＞
実施形態３では、追尾対象の移動量に影響を与える複数の要因に基づいて、人工知能（ＡＩ）を用いて影響度を設定する。以下、実施形態１または２と異なる部分を中心に説明する。実施形態１または２と同様の構成には同一の符号を付し、説明を省略する場合がある。

【0061】

図１３は本実施形態の自動追尾カメラ３００の構成例を示すブロック図である。図１３に示すように、自動追尾カメラ３００は、制御装置７０、撮像部２０、撮像方向移動部２２、表示部２４、入力部２６、記憶部２８を備える。

【0062】

制御装置７０は、追尾対象検出部１２、調整量算出部１６、ＡＩ解析部７２を備える。追尾対象検出部１２、調整量算出部１６、ＡＩ解析部７２は、ハードウェアで構成されてもよいし、ソフトウェアで構成されてもよく、ハードウェアとソフトウェアとの使い分けは任意である。記憶部２８は、例えばＲＡＭ（Random Access Memory）で構成され、追尾対象の情報を記憶する。

【0063】

ＡＩ解析部７２は、図示しない複数のセンサー等から入力される、追尾対象の移動量に影響を与える影響要因に基づき、水平方向の影響度αと垂直方向の影響度βを設定する。調整量算出部１６は、ＡＩ解析部７２で設定した影響度と追尾対象の過去の移動量とに基づいて、式１と式２で自動追尾カメラの撮像方向調整量を算出する。調整量算出部１６は、算出した撮像方向調整量に基づき撮像方向移動部２２を制御する。また、ＡＩ解析部７２は、設定した影響度に基づいて撮像部２０の撮像方向を制御して撮像した画像を追尾結果として、ディープラーニングする。

【0064】

図１４を使ってディープラーニングの具体例を説明する。図１４は、ＡＩ解析部７２で設定した水平方向の影響度αと垂直方向の影響度βを使い撮像部２０の撮像方向を制御して撮像した画像を示す。説明のため、画像の水平方向をｘ方向、垂直方向をｙ方向とし、画像の中心座標を（ｘ，ｙ）＝（０，０）とする。

【0065】

図１４に示すように、撮像画像における追尾対象の中心５３が、撮像方向の中心（ｘ，ｙ）＝（０，０）に対し、水平方向にｘ３、垂直方向にｙ３ずれているとする。追尾対象の中心が撮像方向の中心となるように算出した影響度が正解の影響度であるとすると、正解の影響度α’、β’は、式１及び式２から、式５及び式６のように算出される。
α’＝α＋ｘ３／（Ｖｘ（ｎ）＋ｘ３）・・・（式５）
β’＝β＋ｙ３／（Ｖｙ（ｎ）＋ｙ３）・・・（式６）

【0066】

上記のように、撮像した画像を元に正解の影響度α’、β’を算出することができる。また、算出した正解の影響度α’、β’と、入力した影響要因とをセットとした教師データとすることで、ＡＩ解析部７２をディープラーニングさせることができる。

【0067】

すなわち、ＡＩ解析部７２は、調整量算出部１６で算出した撮像方向調整量に基づいて撮像方向を移動した自動追尾カメラ３００で撮像した画像を解析して影響度の正解を算出し、算出した影響度の正解と、追尾対象の移動量に影響を与える複数の要因とを教師データとしてディープラーニングを実行する。

【0068】

ＡＩ解析部７２は、学習済みＡＩモデルを使用すれば良いが、学習済みＡＩモデルを使用する場合、条件が近い試合においてディープラーニングさせたＡＩモデルを使用することが望ましい。具体的には、選手の年齢層や性別、レベル（プロ／アマチュアの違いなど）等の条件が近い試合でディープラーニングさせたＡＩモデルを使用する。更に好ましくは、ＡＩ解析部７２は学習済みＡＩモデルに対し当該試合における追尾対象の追尾状態をディープラーニングさせることで追尾対象特有のＡＩモデルを生成すればよい。

【0069】

ＡＩ解析部７２に入力する、追尾対象の移動量に影響を与える複数の要因は、少なくとも、実施形態１で説明したように画像として登録する影響要因や、実施形態２で説明したように撮像部２０の撮像方向の情報の他に、試合開始からの経過時間、時刻、点数やファウル数などのスコア情報、気温、湿度、追尾対象の移動速度のいずれかを含むことが好ましい。

【0070】

追尾対象を撮像した画像を解析して追尾対象の疲労度を数値化し、影響要因として入力しても良い。また、追尾対象の心拍数等のバイタルデータを影響要因として入力しても良い。追尾対象のバイタルデータを取得する方法としては、追尾対象に通信機能を有するセンサーを装着させて無線通信で制御装置７０が受信する方法や、追尾対象を撮像した画像を解析して数値化する方法が考えられる。

【0071】

図２を用いて自動追尾カメラ３００の動作を説明する。ステップＳ１で、追尾対象が登録される。追尾対象の登録方法は実施形態１と同様である。ステップＳ２からＳ３までは実施形態１と同様である。

【0072】

ステップＳ４でＡＩ解析部７２は、追尾対象の移動量に影響を与える複数の要因に基づき、水平方向の影響度αと垂直方向の影響度βを設定する。ステップＳ５以降は実施形態１、２と同様である。

【0073】

実施形態３の自動追尾カメラ３００によれば、追尾対象の移動量に影響を与える複数の要因に基づいて人工知能を用いて追尾対象の移動量に対する影響度を設定し、設定した影響度と追尾対象の過去の移動量とに基づいて撮像部２０の撮像方向調整量を算出するので、追尾対象の移動量が変化した場合でも的確に追尾対象を追尾することができる。

【0074】

実施形態１～３では、追尾対象が撮像画像の中心となることを目標として制御する例を説明したが、これに限定されず、追尾対象が撮像方向の中心以外となることを目標として制御してもよい。例えば、ある時点で追尾対象が撮像方向の中心に対してずれていたとすると、制御装置１０または制御装置７０は、単位時間Ｔｄ後に追尾対象が撮像方向の中心となるように撮像することを目標とするのではなく、追尾対象と撮像方向の中心とのずれを少なくするように撮像することを目標とする。

【0075】

図１５を使って、具体例を説明する。図１５は、撮像部２０で撮像した画像を示す。説明のため、画像の水平方向をｘ方向、垂直方向をｙ方向とし、画像の中心座標を（ｘ，ｙ）＝（０，０）とする。

【0076】

ある時点で撮像した画像における追尾対象の撮像位置が、画像の中心（ｘ，ｙ）＝（０，０）に対し、水平方向にｘ４、垂直方向にｙ４ずれている位置５４であるとする。このとき、制御装置１０または制御装置７０は、追尾対象が画像の中心となるように撮像することを目標として制御するのではなく、画像の中心に対する追尾対象のずれの方向が同じで、ずれが小さくなる位置５５になるように撮像することを目標とする。位置５５の画像の中心に対するずれを水平方向にｘ５、垂直方向にｙ５とするとき、ｘ５、ｙ５は、式７、式８で示す範囲内とする。
ｘ５＝ａ×ｘ４ （０＜ａ＜１）・・・（式７）
ｙ５＝ｂ×ｙ４ （０＜ｂ＜１）・・・（式８）
ａおよびｂは、０．２～０．３とすることが望ましい。

【0077】

追尾対象を画像の中心となるように撮像することを目標に制御するのではなく、追尾対象と画像の中心とのずれが少なくなるよう撮像することを目標として制御することで、撮像方向を過剰に移動させる恐れが少なくなり、より滑らかな追尾が可能となる。

【0078】

実施形態１～３では、撮像部の撮像方向を移動させることで追尾対象を自動追尾する構成を説明したが、本発明は撮像部の撮像方向を移動させる構成に限定するものではない。予め撮像範囲を広く撮像しておき、撮像した画像から追尾対象の画像を切り出して拡大することで追尾する自動追尾カメラにも適用可能である。

【0079】

なお。本発明は上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。

【符号の説明】

【0080】

１０ 制御装置、１２ 追尾対象検出部、１４ 影響要因検出部、
１６ 調整量算出部、２０ 撮像部、２２ 撮像方向移動部、
２４ 表示部、２６ 入力部、２８ 記憶部、７０ 制御装置
７２ ＡＩ解析部
１００，２００，３００ 自動追尾カメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】