(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024041166
(43)【公開日】2024-03-27
(54)【発明の名称】制御演算装置、カメラ監視システム
(51)【国際特許分類】
H04N 23/695 20230101AFI20240319BHJP
H04N 23/69 20230101ALI20240319BHJP
H04N 7/18 20060101ALI20240319BHJP
G03B 15/00 20210101ALI20240319BHJP
G03B 17/56 20210101ALI20240319BHJP
G02B 7/08 20210101ALI20240319BHJP
【FI】
H04N5/232 990
H04N5/232 960
H04N7/18 G
H04N7/18 E
H04N7/18 D
G03B15/00 P
G03B15/00 S
G03B17/56 B
G02B7/08 C
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2022145823
(22)【出願日】2022-09-14
(71)【出願人】
【識別番号】000001122
【氏名又は名称】株式会社日立国際電気
(74)【代理人】
【識別番号】110000062
【氏名又は名称】弁理士法人第一国際特許事務所
(72)【発明者】
【氏名】笹尾 海斗
【テーマコード(参考)】
2H044
2H105
5C054
5C122
【Fターム(参考)】
2H044DA02
2H044DC06
2H105AA13
5C054CA04
5C054CC02
5C054CF06
5C054CF07
5C054DA09
5C054EA01
5C054EA03
5C054EA05
5C054FC12
5C054FD07
5C054FE28
5C054FF02
5C054HA19
5C054HA31
5C122DA11
5C122EA65
5C122FE05
5C122FH11
5C122FH14
5C122GD04
5C122GD06
5C122HA88
5C122HB01
5C122HB09
5C122HB10
(57)【要約】
【課題】追跡対象物体ごとに雲台カメラのパン・チルトの適切な動作設定をあらかじめ設定することで、追跡対象物体を迅速に追跡できるようにする。
【解決手段】パン・チルト・ズームが可能な雲台カメラを制御する制御演算装置であって、前記雲台カメラで撮影した画像から物体を検出する物体検出部と、前記物体から追跡対象物体を特定する画像内追跡部と、前記追跡対象物体の状態を取得する状態取得部と、前記状態取得部で取得した前記状態と、前記状態に関連付けられた前記雲台カメラのパン・チルト・ズームの動作を設定する動作設定部と、を備えることを特徴とする。
【選択図】
図1
【特許請求の範囲】
【請求項1】
パン・チルト・ズームが可能な雲台カメラを制御する制御演算装置であって、
前記雲台カメラで撮影した画像から物体を検出する物体検出部と、
前記物体から追跡対象物体を特定する画像内追跡部と、
前記追跡対象物体の状態を取得する状態取得部と、
前記状態取得部で取得した前記状態と、前記状態に関連付けられた前記雲台カメラのパン・チルト・ズームの動作を設定する動作設定部と、
を備える制御演算装置。
【請求項2】
請求項1に記載の制御演算装置であって、
前記動作設定部は、前記画像を複数の領域に分割し、前記追跡対象物体が位置する前記領域に基づいて前記雲台カメラのパン・チルトの動作方向を決定すること、
を特徴とする制御演算装置。
【請求項3】
請求項1に記載の制御演算装置であって、
前記動作設定部は、前記状態に関連付けられた動作情報に基づいて前記雲台カメラのパン・チルト・ズームの動作速度を決定すること、
を特徴とする制御演算装置。
【請求項4】
請求項3に記載の制御演算装置であって、
前記動作設定部は、前記雲台カメラのズーム動作に関連付けられた前記雲台カメラのパン・チルトの前記動作速度を設定すること、
を特徴とする制御演算装置。
【請求項5】
請求項3に記載の制御演算装置であって、
前記動作設定部は、前記雲台カメラが配置された周囲の環境に基づいて、前記雲台カメラのパン・チルト・ズームの動作速度を設定すること、
を特徴とする制御演算装置。
【請求項6】
請求項3に記載の制御演算装置であって、
前記動作情報を記憶する記憶部を備え、
前記動作設定部は、前記記憶部に記憶された前記動作情報に基づいて前記動作速度を決定すること、
を特徴とする制御演算装置。
【請求項7】
請求項1に記載の制御演算装置であって、
前記画像内追跡部は、前記画像から前記追跡対象物体を追跡できない場合、再度前記追跡対象物体の追跡を行うこと、
を特徴とする制御演算装置。
【請求項8】
請求項1に記載の制御演算装置であって、
前記状態は、少なくとも前記追跡対象物体の種類を含む こと、
を特徴とする制御演算装置。
【請求項9】
請求項6に記載の制御演算装置であって、
前記記憶部に記憶された前記動作情報を更新できる こと、
を特徴とする制御演算装置。
【請求項10】
請求項6に記載の制御演算装置であって、
前記動作情報を関係モデルに基づいて格納した表形式情報とすること、
を特徴とする制御演算装置。
【請求項11】
パン・チルト・ズームが可能な雲台カメラと、
前記雲台カメラを制御する制御演算装置と、を備えるカメラ監視システムであって、
前記制御演算装置は、前記雲台カメラで撮影した画像から物体を検出する物体検出部と、前記物体から追跡対象物体を特定する画像内追跡部と、前記追跡対象物体の状態を取得する状態取得部と、前記状態取得部で取得した前記状態と、前記状態に関連付けられたパン・チルト・ズームの情報に基づいて前記雲台カメラのパン・チルト・ズームの動作を設定する動作設定部と、
を有するカメラ監視システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、制御演算装置、カメラ監視システムに関する。
【背景技術】
【0002】
従来のカメラ監視システムは、追跡対象物体を画像処理によって検知し、当該追跡対象物体までの距離や移動速度を予測しつつ、追跡範囲から喪失しないように雲台カメラのパン・チルト・ズーム制御を行っていた。
特許文献1には、追尾開始時の取得映像を良好なものとする自動追尾撮影システムとして次のようなシステムが開示されている。
「追尾処理装置40は、あらかじめ設定された範囲を監視する第1のカメラ20aから出力された画像に基づいて追尾すべき被写体を認識し、認識した被写体の速度を算出し、算出した速度から被写体の移動する位置を予測し、予測した被写体位置に基づき、撮影光軸や撮影画角を変化させることができる第2のカメラ20bの撮影光軸を被写体に向けるように制御する。そして、第2のカメラから出力された画像に基づいて追尾すべき被写体を認識し、認識した被写体が、第2のカメラの撮影画面の中央に捕捉されるように撮影光軸もしくは撮影画角を雲台10で制御する。第2カメラにより被写体を捕捉した後は、第2カメラの撮影光軸や撮影画角を制御して被写体の追尾撮影を行うように構成する。」
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、カメラ監視システムは、監視映像の複数フレームに基づいて、追跡対象物体の移動速度を算出し、当該結果に合わせて雲台のパン・チルトの動作速度を設定するため、雲台カメラのパン・チルトの適切な動作速度を設定する前に監視画面から追跡対象物体を喪失する可能性があるという課題があった。
そこで本発明は、追跡対象物体ごとに雲台カメラのパン・チルトの適切な動作設定をあらかじめ設定することで、追跡対象物体を迅速に追跡できるようにすることを目的とする。
【課題を解決するための手段】
【0005】
上記の課題を解決するために、代表的な本発明の制御演算装置の一つは、パン・チルト・ズームが可能な雲台カメラを制御する制御演算装置であって、前記雲台カメラで撮影した画像から物体を検出する物体検出部と、前記物体から追跡対象物体を特定する画像内追跡部と、前記追跡対象物体の状態を取得する状態取得部と、前記状態取得部で取得した前記状態と、前記状態に関連付けられた前記雲台カメラのパン・チルト・ズームの動作を設定する動作設定部と、を備えることを特徴とするものである。
【発明の効果】
【0006】
本発明によれば、追跡対象物体ごとに雲台カメラのパン・チルトの適切な動作設定をあらかじめ設定することで、追跡対象物体を迅速に追跡できるようにすることができる。
上記した以外の課題、構成および効果は、以下の発明を実施するための形態における説明により明らかにされる。
【図面の簡単な説明】
【0007】
【
図1】実施形態に係る自動追尾雲台カメラ監視システムの構成の一例を示す図。
【
図4】画像分割部により分割された領域の状態とパン・チルト・ズームの動作方向の状態を示す図。
【
図5】追跡対象物体の種類に対応したパン・チルト・ズームそれぞれの最高速度と最低速度を示す図。
【発明を実施するための形態】
【0008】
以下、図面を参照して、本発明の実施形態について説明する。なお、これらの実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
同一あるいは同様の機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。また、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。
図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。
【0009】
[実施形態]
まず、
図1を参照して、実施形態にかかる自動追尾雲台カメラ監視システム10について説明する。
図1は、本実施形態に係る自動追尾雲台カメラ監視システム10の構成の一例を示す図である。
自動追尾雲台カメラ監視システム10は、例えば、重要施設への侵入者の検知や危険エリアへの侵入検知、テロ未然防止、飛行機や船舶・漁船の追跡、飼育・野生動物の生態調査などの用途を想定する監視システムである。
自動追尾雲台カメラ監視システム10は、雲台カメラ101と、制御演算装置102と、ネットワーク103と、遠隔制御装置104と、ディスプレイ105と、外部機器106と、を主に含む。
【0010】
<雲台カメラ>
雲台カメラ101は、追跡対象物体の映像の取得と配信を行いながらパン・チルト・ズームをそれぞれ独立して実行できるカメラである。雲台カメラ101は、制御演算装置102と電気的に接続しており、制御信号を受信する。
雲台カメラ101は、受信した制御信号に基づいてパン・チルト・ズームを実行する。
【0011】
<制御演算装置>
制御演算装置102は、雲台カメラ101を制御する制御装置である。
制御演算装置102は、雲台カメラ101と電気的に接続しており、制御信号を送信する。制御演算装置102は、ネットワーク103を介して、遠隔制御装置104、ディスプレイ105、外部機器106と接続されている。
【0012】
制御演算装置102は、遠隔制御装置104から受信した制御信号に基づいて雲台カメラ101の制御をすることができる。
制御演算装置102は、ディスプレイ105に対して雲台カメラ101が撮影した映像を表示するための映像信号を送信する。制御演算装置102は、ディスプレイ105に対して警告画面を表示する警告信号を送信することもできる。
制御演算装置102は、外部機器106が動作をするための外部信号を送信する。
【0013】
本実施形態では、制御演算装置102は、ハードウェアとしてはCPUを備えた電子計算機システムであるが、その他のハードウェア、ソフトウェアで実装してもよい。例えば、DSP(Digital Signal Processor)やFPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)などであってもよい。例えば、後述する
図2の機能を実現するソフトウェアであってもよい。
【0014】
<ネットワーク>
ネットワーク103は、自動追尾雲台カメラ監視システム10の各要素を接続し、信号を送受信するためのネットワークである。
ネットワーク103は、別々の場所に設置された制御演算装置102と、遠隔制御装置104と、ディスプレイ105と、外部機器106と、を接続しており、当該機器間で送受信される信号を中継する。
【0015】
本実施形態では、ネットワーク103は、例えば、インターネットまたはLANであるが、機器同士を接続し、信号を送受信できるならば、有線、無線を問わずその他のネットワークであってもよい。
本実施形態では、雲台カメラ101は、制御演算装置102と直接接続されているが、ネットワーク103を介しても十分な通信速度で信号を送受信できるのならば、ネットワーク103を介して制御演算装置102と接続してもよい。
【0016】
<遠隔制御装置>
遠隔制御装置104は、雲台カメラ101をユーザが遠隔地で制御する制御装置である。
遠隔制御装置104は、ネットワーク103を介して制御演算装置102と接続されており、ユーザが操作した制御信号を制御演算装置102に送信する。
例えば、遠隔制御装置104は、雲台カメラ101の映像の解像度やフレームレート、配信方法、雲台の動作方向や動作速度、ズームなどのユーザが手動で調整した内容を制御演算装置102に送信する。
【0017】
<ディスプレイ>
ディスプレイ105は、雲台カメラ101で撮影している映像を映す表示部である。
ディスプレイ105は、ネットワーク103を介して、雲台カメラ101の映像を映像信号として受信する。ディスプレイ105は、受信した映像信号から映像を表示する。ディスプレイ105は、例えば、制御演算装置102から警告画面を表示する信号を受信した場合、警告画面を表示する。
【0018】
<外部機器>
外部機器106は、追跡対象物体が起こす特定イベントに応じた動作をする。
外部機器106は、ネットワーク103を介して制御演算装置102と接続されており、制御演算装置102から受信した外部信号に基づく動作をする。
【0019】
外部機器106は、例えば、警備員の持つ携帯端末である。追跡対象物体が特定のエリアに侵入した際に、制御演算装置102は、外部信号を外部機器106に送信する。外部機器106は、受信した外部信号から、追跡対象物体が、特定エリアに侵入したことを警備員に知らせる。
外部機器106は、例えば、発報装置である。追跡対象物体が特定のエリアに侵入した際に、制御演算装置102は、外部信号を外部機器106に送信する。外部機器106は、受信した外部信号から、追跡対象物体が、特定エリアに侵入したことを発報する。
【0020】
次に、
図2を参照して、制御演算装置102について説明する。
図2は、制御演算装置102の構成の一例を示す図である。
制御演算装置102は、画像取得部201と、物体検出部202と、画像内追跡部203と、状態取得部204と、動作設定部205と、イベント処理部206を主に含む。
【0021】
<画像取得部>
画像取得部201は、雲台カメラ101が撮影した映像からフレーム画像310を取得する。
具体的には、画像取得部201は、雲台カメラ101が撮影した映像を受信する。画像取得部201は、当該映像を静止画像であるフレームに分解する。画像取得部201は、分解したフレームを1枚毎にフレーム画像310として取得する。
画像取得部201は、取得したフレーム画像310を物体検出部202に送信する。
【0022】
<物体検出部>
物体検出部202は、画像取得部201で得られた画像中に物体が存在するか判定する。
具体的には、物体検出部202は、画像取得部201から受信したフレーム画像310に対して物体検出手法を適用する。物体検出部202は、物体検出手法の適用結果からフレーム画像310中に追跡対象物体が存在するか判定する。
物体検出手法は、例えば、差分法やパターンマッチング、Deep Learningによる物体検出手法(Fast R-CNNやFaster R-CNN、YOLO(You Only Look Once)、SSD(Single Shot MultiBox Detector)など)である。
なお、物体検出手法のアルゴリズムについては、周知であるので具体な構成の説明は省略する。
【0023】
<画像内追跡部>
画像内追跡部203は、直近数フレーム310の物体検出部202による結果を用いて追跡対象物体を追跡する。
具体的には、画像内追跡部203は、物体検出部202の結果を取得する。画像内追跡部203は、取得した物体検出部202の結果のうち最新の結果以外に過去分の結果、例えば、直近の数フレームの結果に、物体追跡手法を適用して、画像中の物体の中から追跡対象物体を特定する。
物体追跡手法は、例えば、MIL(Multiple Instance Learning)やKCF(Kernelized Correlation Filters
)、TLD(Tracking Learning and Detection)、MedianFlow、GOTURN、MOSSE、CSRTなどである。
なお、物体追跡手法のアルゴリズムについては、周知であるので具体な構成の説明は省略する。
【0024】
画像内追跡部203は、フレーム画像310から追跡対象物体を追跡できない場合、再度追跡対象物体の追跡を行う。画像内追跡部203は、再度追跡対象物体の追跡をする場合、異なる撮影時間のフレーム画像310を用いてもよい。これにより、ごく短い時間で追跡対象物体が追跡範囲から外れることで追跡対象物体の検知が漏れることを防げる。
【0025】
<状態取得部>
状態取得部204は、雲台カメラ101の状態および画像内追跡部203で追跡したフレーム画像310内での追跡対象物体の状態を取得する。
状態取得部204が取得する雲台カメラ101の状態は、例えば、パン・チルト・ズームそれぞれの位置状態である。状態取得部204が取得する画像内追跡部203で追跡したフレーム画像310内での追跡対象物体の状態は、例えば、追跡対象物体の位置・大きさ・種類である。
【0026】
<動作設定部>
動作設定部205は、状態取得部204で得られた情報を用いて雲台カメラ101のパン・チルト・ズームそれぞれの動作方向と速度を設定する。
詳細については、
図3を用いて後ほど説明する。
【0027】
<イベント処理部>
イベント処理部206は、特定のイベントに対応した処理を行う。
特定のイベントに対応した処理とは、例えば、雲台カメラ101に動作設定部205で設定した雲台の方向や速度を含む信号を送信する処理である。特定のイベントに対応した処理とは、例えば、追跡対象物体が特定のエリアに侵入した際に外部機器106を操作するための信号や、ディスプレイ105に警告画面を表示するための信号を送信する処理である。
特定のイベントに対応した処理とは、例えば、ユーザが遠隔制御装置104を用いて雲台カメラ101の映像の解像度やフレームレート、配信方法、雲台の動作方向や動作速度、ズームなどの調整を手動で行う信号を送信した際に、それらの信号を受信し、対応した信号を雲台カメラ101に送信する処理である。
【0028】
次に、
図3を参照して、動作設定部205について説明する。
図3は、動作設定部205の構成の一例を示す図である。
動作設定部205は、画像分割部301と、動作方向決定部302と、最高最低速度決定部303と、動作速度決定部304と、を主に含む。
【0029】
<画像分割部>
画像分割部301は、画像取得部201で得られたフレーム画像310を分割する。
本実施形態では、画像分割部301は、縦方向に3分割、横方向に3分割し、均等な9個の領域に分割するが、その他の数に分割してもよい。例えば、縦N×N(Nは3以上の自然数の奇数)に分割してもよいし、均等でない領域に分割してもよい。
【0030】
<動作方向決定部>
次に、
図4を用いて動作方向決定部302の処理について説明する。
図4は、画像分割部301により分割された領域の状態と決定されるパン・チルト・ズームの動作方向の状態を示す図である。
動作方向決定部302の処理においては、画像分割部301は、
図4に示すように左上から右下にかけて領域401~409に分割する。
【0031】
動作方向決定部302は、パン・チルト・ズームそれぞれの動作方向を決定する。
動作方向決定部302は、状態取得部204で取得した追跡対象物体の位置情報から、追跡対象物体が画像分割部301で分割された領域のどこに位置にするかを判定する。
動作方向決定部302は、判定した領域の位置に基づいてパン・チルト・ズームの方向を決定する。
【0032】
具体的には、動作方向決定部302は、画像取得部201で得られたフレーム画像310の幅をW、高さをHとする。
動作方向決定部302は、状態取得部204で取得した追跡対象物体のフレーム画像310上の位置を(x、y)とする。同様に、動作方向決定部302は、状態取得部204で取得した追跡対象物体を矩形で囲ったときの幅をw、高さをhとする。
【0033】
動作方向決定部302は、追跡対象物体のフレーム画像310上の位置(x、y)がフレーム画像310の中央の領域405に位置するように、パンの動作方向を以下の式を用いて算出する。
【数1】
【0034】
動作方向決定部302は、同様にチルトの動作方向を以下の式を用いて算出する。
【数2】
【0035】
これにより、動作方向決定部302は、追跡対象物体が位置する領域に基づいて雲台カメラ101のパン・チルトの動作方向を決定することができる。
例えば、追跡対象物体が領域401に位置している場合、動作方向決定部302は、パンの動作方向を左に、チルトの動作方向を上に決定する。これにより追跡対象物体は、フレーム画像310の中央の領域405に移動する。
【0036】
動作方向決定部302は、追跡対象物体が領域405に位置する場合、ズームインの閾値をZin、ズームアウトの閾値をZoutとし、ズームの動作方向を以下の式を用いて算出する。
【数3】
【0037】
<最高最低速度決定部>
次に、
図5を用いて最高最低速度決定部303の処理について説明する。
図5は、追跡対象物体の種類に対応したパン・チルト・ズームそれぞれの最高速度と最低速度を示す。
本実施形態では、最高最低速度決定部303は、追跡対象物体の種類に基づいてパン・チルト・ズームそれぞれの最高速度と最低速度を決定する。
追跡対象物体の種類は、例えば人物、車、動物、など公知の画像認識技術で特定可能な物体の種類であれば特に限定されない。人物でも子供や大人、男女、また車でも乗用車やトラックなど細分化して種類を特定することも可能である。
最高最低速度決定部303は、追跡対象物体の種類以外の状態、例えば、位置や、大きさに基づいて、パン・チルト・ズームそれぞれの最高速度と最低速度を決定してもよい。
【0038】
最高最低速度決定部303は、追跡対象物体の種類に基づいてパン・チルト・ズームそれぞれの最高速度と最低速度を記憶した情報を内部情報(以下、「動作情報」という。)として予め取得し記憶している。
本実施形態では、追跡対象物体の状態に関連付けられた動作情報として、追跡対象物体の種類に関連付けられた最高速度と最低速度を記憶した情報を用いる。
本実施形態では、動作情報は、制御演算装置102で扱いやすくするために関係モデルに基づいた形式で当該情報を格納する表形式情報320を用いるが、その他の形式の情報を用いてもよい。例えば、オブジェクト指向プログラミングで使うオブジェクトの形式で表現される情報を格納してもよい。
【0039】
本実施形態では、最高最低速度決定部303は、表形式情報320を予め記憶している。このとき、最高最低速度決定部303は、記憶部としても機能する。
【0040】
最高最低速度決定部303は、状態取得部204で取得した追跡対象物体の種類の情報に基づいて、当該情報に当てはまるものに最高速度、最低速度を割り当てる。
最高最低速度決定部303は、状態取得部204で得られた追跡対象物体の種類によってあらかじめ設定したパン・チルト・ズームそれぞれの最高速度Pmax、Tmax、Zmax(0~1に正規化)と最低速度Pmin、Tmin、Zmin(0~1に正規化)を決定する。
【0041】
例えば、追跡対象物体の種類が「人物」である場合、表形式情報320に記載されているようにPmax=0.3、Tmax=0.3、Zmax=0.2、Pmin=0.05、Tmin=0.05、Zmin=0.1として割り当てられる。これにより、遅く移動する追跡対象物体に最適な追跡速度を設定することができる。
【0042】
例えば、追跡対象物体の種類が「車」である場合、表形式情報320に記載されているようにPmax=0.6、Tmax=0.6、Zmax=0.4、Pmin=0.2、Tmin=0.2、Zmin=0.2として割り当てられる。これにより、早く移動する追跡対象物体に最適な追跡速度を設定することができる。
【0043】
例えば、追跡対象物体が表形式情報320に記載されていない種類の物体である場合、表形式情報320は、追跡対象物体の種類を「その他」として汎用的に利用できる追跡速度を設定することができる。
【0044】
表形式情報320は、パン・チルト・ズームの最高速度および最低速度は、それぞれ自由に更新できる。これにより、追跡対象物体の種類に応じたより最適な追跡速度が判明した場合の対応や、特定種類の追跡対象物体に対して例外的な動作を設定することができる。
【0045】
本実施形態では、表形式情報320は、追跡対象物体の種類のみに基づいてパン・チルト・ズームの最高速度および最低速度を設定しているが、追跡対象物体の種類を含む状態以外の情報を考慮してもよい。
例えば、表形式情報320は、追跡対象物体の種類と、雲台カメラ101が配置された周囲の環境の情報を考慮して、パン・チルト・ズームの最高速度および最低速度を設定してもよい。これにより、環境が異なることで最適な追跡速度が著しく変更される追跡対象物体であっても、最適なパン・チルト・ズームの最高速度および最低速度を設定することができる。
【0046】
<動作速度決定部>
動作速度決定部304は、パン・チルト・ズームそれぞれの動作速度を決定する。
具体的には、動作速度決定部304は、状態取得部204で取得したズームの状態、最高最低速度決定部303で決定したパン・チルト・ズームそれぞれの最高速度と最低速度を用いてパン・チルト・ズームそれぞれの動作速度を決定する。
【0047】
具体的には、動作速度決定部304は、ズームの状態Z(0~1に正規化)と、最高最低速度決定部303で決定したパン・チルト・ズームそれぞれの最高速度(Pmax、Pmin、Tmax)と最低速度(Tmin、Zmax、Zmin)を状態取得部204から取得する。
次に、動作速度決定部304は、取得した情報からパン・チルト・ズームそれぞれの動作速度(Vp、Vt、Vz)を以下の式を用いて算出する。このとき、Z=0の時が一番ズームアウトした状態であり、Z=1の時が一番ズームインした状態とする。
【数4】
【0048】
このように、本実施形態の自動追尾雲台カメラ監視システム10によれば、追跡対象物体の種類と雲台カメラ101のズーム状態によって、動的に雲台カメラ101のパン・チルト・ズーム動作速度を自動的に調整することができる。これにより、追跡対象物体を監視画面から喪失することを防ぐことができる。
【0049】
本発明は、上述した各実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【0050】
例えば、自動追尾雲台カメラ監視システム10は、雲台カメラ101と、制御演算装置102と遠隔制御装置104と、ディスプレイ105と、外部機器106と、が全てネットワーク103を介して接続されていてもよい。これにより、別々の場所に存在する機器を組み合わせて自動追尾雲台カメラ監視システム10とすることができる。
【0051】
また、本発明は以下のような態様をとることもできる。
(態様1)
パン・チルト・ズームが可能な雲台カメラを制御する制御演算装置であって、
前記雲台カメラで撮影した画像から物体を検出する物体検出部と、
前記物体から追跡対象物体を特定する画像内追跡部と、
前記追跡対象物体の状態を取得する状態取得部と、
前記状態取得部で取得した前記状態と、前記状態に関連付けられた前記雲台カメラのパン・チルト・ズームの動作を設定する動作設定部と、を備える制御演算装置。
(態様2)
態様1に記載の制御演算装置であって、
前記動作設定部は、前記画像を複数の領域に分割し、前記追跡対象物体が位置する前記領域に基づいて前記雲台カメラのパン・チルトの動作方向を決定すること、
を特徴とする制御演算装置。
(態様3)
態様1又は2に記載の制御演算装置であって、
前記動作設定部は、前記状態に関連付けられた動作情報に基づいて前記雲台カメラのパン・チルト・ズームの動作速度を決定すること、
を特徴とする制御演算装置。
(態様4)
態様1ないし3のいずれかに記載の制御演算装置であって、
前記動作設定部は、前記雲台カメラのズーム動作に関連付けられた前記雲台カメラのパン・チルトの前記動作速度を設定すること、
を特徴とする制御演算装置。
(態様5)
態様3又は4に記載の制御演算装置であって、
前記動作設定部は、前記雲台カメラが配置された周囲の環境に基づいて、前記雲台カメラのパン・チルト・ズームの動作速度を設定すること、
を特徴とする制御演算装置。
(態様6)
態様3ないし5のいずれかに記載の制御演算装置であって、
前記動作情報を記憶する記憶部を備え、
前記動作設定部は、前記記憶部に記憶された前記動作情報に基づいて前記動作速度を決定すること、
を特徴とする制御演算装置。
(態様7)
態様1ないし6のいずれかに記載の制御演算装置であって、
前記画像内追跡部は、前記画像から前記追跡対象物体を追跡できない場合、再度前記追跡対象物体の追跡を行うこと、
を特徴とする制御演算装置。
(態様8)
態様1ないし7のいずれかに記載の制御演算装置であって、
前記状態は、少なくとも前記追跡対象物体の種類を含むこと、
を特徴とする制御演算装置。
(態様9)
態様6ないし8のいずれかに記載の制御演算装置であって、
前記記憶部に記憶された前記動作情報を更新できること、
を特徴とする制御演算装置。
(態様10)
態様6ないし9のいずれかに記載の制御演算装置であって、
前記動作情報を関係モデルに基づいて格納した表形式とすること、
を特徴とする制御演算装置。
(態様11)
パン・チルト・ズームが可能な雲台カメラと、
前記雲台カメラを制御する制御演算装置と、を備えるカメラ監視システムであって、
前記制御演算装置は、前記雲台カメラで撮影した画像から物体を検出する物体検出部と、前記物体から追跡対象物体を特定する画像内追跡部と、前記追跡対象物体の状態を取得する状態取得部と、前記状態取得部で取得した前記状態と、前記状態に関連付けられたパン・チルト・ズームの情報に基づいて前記雲台カメラのパン・チルト・ズームの動作を設定する動作設定部と、を有する
カメラ監視システム。
【符号の説明】
【0052】
10 自動追尾雲台カメラ監視システム
101 雲台カメラ
102 制御演算装置
103 ネットワーク
104 遠隔制御装置
105 ディスプレイ
106 外部機器
201 画像取得部
202 物体検出部
203 画像内追跡部
204 状態取得部
205 動作設定部
206 イベント処理部
301 画像分割部
302 動作方向決定部
303 最高最低速度決定部
304 動作速度決定部
310 フレーム画像
320 表形式情報