知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-30
(45)【発行日】2024-05-10
(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム
(51)【国際特許分類】
H04N 7/18 20060101AFI20240501BHJP
【ＦＩ】
H04N7/18 D
【請求項の数】
10
(21)【出願番号】P 2022181636
(22)【出願日】2022-11-14
(62)【分割の表示】P 2020123492の分割
【原出願日】2016-05-09
(65)【公開番号】P2023016837
(43)【公開日】2023-02-02
【審査請求日】2022-11-30
(31)【優先権主張番号】P 2015172082
(32)【優先日】2015-09-01
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100110928
【弁理士】
【氏名又は名称】速水 進治
(72)【発明者】
【氏名】大網 亮磨
【審査官】長谷川 素直
(56)【参考文献】
【文献】特開２００４－２７２７５６（ＪＰ，Ａ）
【文献】特開２００７－２０１５５６（ＪＰ，Ａ）
【文献】特開２００５－０５７５９２（ＪＰ，Ａ）
【文献】特開２０１１－１５１４５９（ＪＰ，Ａ）
【文献】特開２００９－１８８７４０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１８
Ｇ０８Ｂ ２５／００
Ｇ０６Ｑ ５０／００
Ｇ０８Ｇ １／００
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
位置が固定されたカメラである固定カメラによって撮影された第１の監視画像を取得する第１取得手段と、位置が固定されていないカメラである移動カメラによって撮影された第２の監視画像を取得する第２取得手段と、
前記第１の監視画像及び前記第２の監視画像を用いて、前記第１の監視画像に映るオブジェクトの分布を示す分布情報を生成し、前記第２の監視画像に映っているオブジェクトの数を用いて前記分布情報を補正する生成手段と、を有する情報処理装置。
【請求項2】
前記生成手段は、前記第１の監視画像に映っているオブジェクトの分布を示す情報を前記分布情報として生成し、
前記第２の監視画像に映っているオブジェクトの数を用いて前記分布情報を補正し、
前記第１の監視画像に前記補正された分布情報を重畳した表示を生成する、
請求項１に記載の情報処理装置。
【請求項3】
監視対象の場所の地図情報を取得する地図情報取得手段を有し、前記生成手段は、前記地図情報によって表される地図上に前記補正された分布情報を重畳した表示を生成する、請求項２に記載の情報処理装置。
【請求項4】
前記生成手段は、前記移動カメラの撮影方向を用いて、前記第１の監視画像内における前記移動カメラの撮影範囲を算出し、
前記分布情報によって示される前記移動カメラの撮影範囲内における前記オブジェクトの数又は分布を、前記第２の監視画像に写っているオブジェクトの数を用いて補正する、請求項１乃至３いずれか一項に記載の情報処理装置。
【請求項5】
前記オブジェクトは人である、請求項１乃至４いずれか一項に記載の情報処理装置。
【請求項6】
少なくとも１つのコンピュータが、位置が固定されたカメラである固定カメラによって撮影された第１の監視画像を取得し、
位置が固定されていないカメラである移動カメラによって撮影された第２の監視画像を取得し、
前記第１の監視画像及び前記第２の監視画像を用いて、前記第１の監視画像に映るオブジェクトの分布を示す分布情報を生成し、前記第２の監視画像に映っているオブジェクトの数を用いて前記分布情報を補正する、
ことを含む、情報処理方法。
【請求項7】
前記少なくとも１つのコンピュータが、前記第１の監視画像に映っているオブジェクトの分布を示す情報を前記分布情報として生成し、
前記第２の監視画像に映っているオブジェクトの数を用いて前記分布情報を補正し、
前記第１の監視画像に前記補正された分布情報を重畳した表示を生成する、
ことを更に含む請求項６に記載の情報処理方法。
【請求項8】
前記少なくとも１つのコンピュータが、監視対象の場所の地図情報を取得し、
前記地図情報によって表される地図上に前記補正された分布情報を重畳した表示を生成する、ことを更に含む請求項７に記載の情報処理方法。
【請求項9】
少なくとも１つのコンピュータを、位置が固定されたカメラである固定カメラによって撮影された第１の監視画像を取得する第１取得手段、
位置が固定されていないカメラである移動カメラによって撮影された第２の監視画像を取得する第２取得手段、
前記第１の監視画像及び前記第２の監視画像を用いて、前記第１の監視画像に映るオブジェクトの分布を示す分布情報を生成し、前記第２の監視画像に映っているオブジェクトの数を用いて前記分布情報を補正する生成手段、
として機能させるためのプログラム。
【請求項10】
前記生成手段は、前記第１の監視画像に映っているオブジェクトの分布を示す情報を前記分布情報として生成し、
前記第２の監視画像に映っているオブジェクトの数を用いて前記分布情報を補正し、
前記第１の監視画像に前記補正された分布情報を重畳した表示を生成する、
請求項９に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は映像監視に関する。
【背景技術】
【0002】
群衆の状態を監視又は解析するために、群衆の移動経路上の建物などに固定された監視カメラによって撮影された映像が利用される。例えば特許文献１は、入力された監視映像を解析して群衆の移動方向を算出し、算出された移動方向に応じて監視用のデバイスを制御する技術を開示している。
【先行技術文献】
【特許文献】
【0003】
【文献】国際公開第２０１４／１７４７３７号
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述のように建物等に固定された監視カメラによって撮影された映像では、群衆の状態を正確に監視することが難しい場合がある。例えば、このように建物に固定される監視カメラは遠方から群衆を撮影することも多い。このような場合、撮影された映像に写っている人の大きさが小さいため、群衆の状態（例えば群衆に含まれる人の数やその分布）を把握することが難しい。
【0005】
本発明は、上記の課題に鑑みてなされたものである。本発明の目的は、群衆を撮影した映像から群衆の状態を把握するための技術を提供することである。
【課題を解決するための手段】
【0006】
本発明の監視情報生成装置は、１）位置が固定されたカメラである固定カメラによって撮影された第１の監視画像を取得する第１取得手段と、２）
位置が固定されていないカメラである移動カメラによって撮影された第２の監視画像を取得する第２取得手段と、３）前記第１の監視画像及び前記第２の監視画像を用いて、オブジェクトの監視情報を生成する生成手段と、を有する。
位置が固定されていないカメラである移動カメラによって撮影された第２の監視画像を取得する第２取得手段と、３）前記第１の監視画像及び前記第２の監視画像を用いて、オブジェクトの監視情報を生成する生成手段と、を有する。
【0007】
本発明の撮影方向推定装置は、１）位置が固定されたカメラである固定カメラによって撮影された第１の監視画像におけるオブジェクトの移動方向である第１の移動方向を推定する第１移動方向推定手段と、２）位置が固定されていないカメラである移動カメラによって撮影された第２の監視画像におけるオブジェクトの移動方向である第２の移動方向を推定する第２移動方向推定手段と、３）前記第１の移動方向、前記第２の移動方向、前記固定カメラの位置及び姿勢、並びに前記移動カメラの位置に基づいて、前記移動カメラの撮影方向を推定する撮影方向推定手段と、を有する。
【0008】
本発明の第１の監視情報生成方法は、コンピュータによって実行される。当該方法は、１）位置が固定されたカメラである固定カメラによって撮影された第１の監視画像を取得する第１取得ステップと、２）位置が固定されていないカメラである移動カメラによって撮影された第２の監視画像を取得する第２取得ステップと、３）前記第１の監視画像及び前記第２の監視画像を用いて、オブジェクトの監視情報を生成する生成ステップと、を有する。
【0009】
本発明の撮影方向推定方法は、コンピュータによって実行される。当該方法は、１）位置が固定されたカメラである固定カメラによって撮影された第１の監視画像におけるオブジェクトの移動方向である第１の移動方向を推定する第１移動方向推定ステップと、２）位置が固定されていないカメラである移動カメラによって撮影された第２の監視画像におけるオブジェクトの移動方向である第２の移動方向を推定する第２移動方向推定ステップと、３）前記第１の移動方向、前記第２の移動方向、前記固定カメラの位置及び姿勢、並びに前記移動カメラの位置に基づいて、前記移動カメラの撮影方向を推定する撮影方向推定ステップと、を有する。
【発明の効果】
【0010】
本発明によれば、群衆を撮影した映像から群衆の状態を把握するための技術を提供される。
【図面の簡単な説明】
【0011】
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
【0012】
【図1】実施形態１に係る監視情報生成装置を例示するブロック図である。
【図2】実施形態１の監視情報生成装置の動作を概念的に例示する図である。
【図3】実施形態１の監視情報生成装置によって実行される処理の流れを例示するフローチャートである。
【図4】実施形態１の監視情報生成装置を実現する計算機のハードウエア構成を例示する図である。
【図5】第１監視画像に第２監視画像を重畳した表示を例示する図である。
【図6】表示画面の左端付近に第２監視画像が並べて表示される様子を例示している。
【図7】表示画面に第１監視画像と第２監視画像とが並べて表示される様子を例示している。
【図8】第１監視画像上に移動カメラを示すマークが表示される様子を例示する図である。
【図10】移動カメラの撮影方向が表示される様子を例示する図である。
【図11】第１監視画像上に分布情報に基づく表示を重畳する例示する第１の図である。
【図12】第１監視画像上に分布情報に基づく表示を重畳する例示する第２の図である。
【図13】第１監視画像に写っている範囲と第２監視画像に写っている範囲との重なりを例示する図である。
【図14】地図情報取得部を有する監視情報生成装置を例示するブロック図である。
【図15】表示画面に表示される地図を例示する図である。
【図16】補正後の分布情報に基づいて生成したヒートマップが重畳された地図を例示する図である。
【図17】実施形態２に係る監視情報生成装置を例示するブロック図である。
【図18】実施形態２の監視情報生成装置の動作を概念的に例示する図である。
【図19】実施形態２の監視情報生成装置によって実行される処理の流れを例示するフローチャートである。
【図20】第１監視画像について算出したオプティカルフローを例示する図である。
【図21】オブジェクトの位置の変化を例示する図である。
【図22】撮影方向推定部の動作を説明するための図である。
【図23】歩道の方向を基準として候補撮影方向を決定する方法を説明するための図である。
【図24】固定カメラと移動カメラの撮影範囲が重ならないケースを例示する図である。
【図25】地図情報を用いて群衆の平面上の移動方向を推定する方法を説明するための図である。
【図26】群衆の移動経路が複数あるケースを例示する図である。
【図27】移動経路情報取得部を有する監視情報生成装置を例示するブロック図である。
【図28】移動経路情報を利用して群衆の移動方向を推定する方法を説明するための図である。
【図29】電子コンパスを用いて候補撮影方向を絞り込む方法を説明するための図である。
【図30】第２監視画像に写っている背景に基づいて候補撮影方向を絞り込む方法を説明するための図である。
【図31】第２監視画像上における特定の背景の位置に基づいて候補撮影方向を絞り込む方法を説明するための図である。
【図32】交差点付近で群衆の流れが変化する例を示す図である。
【図33】撮影方向推定部が行う移動カメラの撮影方向の推定処理の内訳を時系列で例示する図である。
【図34】第２監視画像の特徴点の位置の変化を例示する図である。
【図35】撮影方向推定装置を例示するブロック図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【0014】
【0015】
監視情報生成装置２０００は、固定カメラによって生成される監視画像と移動カメラによって生成される監視画像という、２種類の監視画像を用いる。固定カメラは、位置が固定されているカメラである。例えば固定カメラは、壁、柱、又は天井などの様々な場所に固定で設置された監視カメラである。なお、固定カメラが設置されている場所は、屋内であってもよいし、屋外であってもよい。また、固定カメラが設けられている壁等は、ある程度の期間位置が固定されていればよく、不動産に限定されない。例えば固定カメラが設置される壁等は、イベント会場などに臨時で設置される仕切りや柱などでもよい。
【0016】
移動カメラは、位置が移動するカメラである。例えば移動カメラは、人に身につけられていたり、車、バイク、又は飛行物体などに取り付けられていたりする。人に身につけられる移動カメラは、例えば手で保持するカメラ（ビデオカメラや、スマートフォンなどの携帯端末のカメラ）、又は頭若しくは胸などに固定されるカメラ（ウェアラブルカメラなど）などである。車、バイク、又は飛行物体などに取り付けられるカメラは、いわゆるドライブレコーダとして用いるために取り付けられているカメラであってもよいし、監視撮影用に別途取り付けられたカメラであってもよい。
【0017】
移動カメラと固定カメラはいずれも、監視対象の場所を動画で撮影する。監視対象の場所は任意である。例えば監視対象の場所は、イベント会場とその最寄り駅との間の経路などである。なお、監視対象の場所は屋内であってもよいし、屋外であってもよい。移動カメラの撮像範囲と固定カメラの撮像範囲は、重なっていてもよいし、重なっていなくてもよい。
【0018】
図２は、監視情報生成装置２０００の動作を概念的に例示する図である。固定カメラ１０は、群衆を撮影して第１監視画像１２を生成する。ここでいう群衆は、１つ以上のオブジェクトである。オブジェクトは、人であってもよいし、人以外のもの（例えば車、バイク、動物など）であってもよい。移動カメラ２０は群衆を撮影して第２監視画像２２を生成する。なお、固定カメラ１０が撮影する群衆と移動カメラ２０が撮影する群衆は、同一の群衆であってもよいし、異なる群衆であってもよい。
【0019】
監視情報生成装置２０００は、第１監視画像１２及び第２監視画像２２を用いて監視情報３０を生成する。監視情報３０は、オブジェクトの監視に関する情報である。監視情報３０の具体的な内容及びその生成方法については後述する。
【0020】
上記動作を実現するために、監視情報生成装置２０００は、第１監視画像取得部２０２０、第２監視画像取得部２０４０、及び生成部２０６０を有する。第１監視画像取得部２０２０は第１監視画像１２を取得する。第２監視画像取得部２０４０は第２監視画像２２を取得する。生成部２０６０は、第１監視画像１２及び第１監視情報１４を用いて監視情報３０を生成する。
【0021】
＜作用・効果＞
本実施形態によれば、固定カメラ１０によって生成された監視画像に加え、移動カメラ２０によって生成された監視画像を用いて、群衆の監視情報が生成される。よって、固定カメラ１０のみを利用して群衆の状態を把握しなければならない場合と比較し、群衆の状態をより正確に把握できるようになる。
本実施形態によれば、固定カメラ１０によって生成された監視画像に加え、移動カメラ２０によって生成された監視画像を用いて、群衆の監視情報が生成される。よって、固定カメラ１０のみを利用して群衆の状態を把握しなければならない場合と比較し、群衆の状態をより正確に把握できるようになる。
【0022】
以下、本実施形態についてさらに詳細に説明する。
【0023】
＜処理の流れ＞
図３は、実施形態１の監視情報生成装置２０００によって実行される処理の流れを例示するフローチャートである。第１監視画像取得部２０２０は第１監視画像１２を取得する（Ｓ１０２）。第２監視画像取得部２０４０は第２監視画像２２を取得する（Ｓ１０４）。生成部２０６０は、第１監視画像１２及び第２監視画像２２を用いて監視情報３０を生成する（Ｓ１０６）。
図３は、実施形態１の監視情報生成装置２０００によって実行される処理の流れを例示するフローチャートである。第１監視画像取得部２０２０は第１監視画像１２を取得する（Ｓ１０２）。第２監視画像取得部２０４０は第２監視画像２２を取得する（Ｓ１０４）。生成部２０６０は、第１監視画像１２及び第２監視画像２２を用いて監視情報３０を生成する（Ｓ１０６）。
【0024】
＜監視情報生成装置２０００のハードウエア構成例＞
図４は、実施形態１の監視情報生成装置２０００を実現する計算機１０００のハードウエア構成を例示する図である。この計算機１０００は、監視情報生成装置２０００を実現するために専用に設計された専用装置を用いて実装されてもよいし、PC（Personal Computer）や携帯端末などの汎用装置を用いて実装されてもよい。
図４は、実施形態１の監視情報生成装置２０００を実現する計算機１０００のハードウエア構成を例示する図である。この計算機１０００は、監視情報生成装置２０００を実現するために専用に設計された専用装置を用いて実装されてもよいし、PC（Personal Computer）や携帯端末などの汎用装置を用いて実装されてもよい。
【0025】
計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージ１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージ１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、CPU (Central Processing Unit) や GPU (Graphics Processing Unit) などの演算処理装置である。メモリ１０６０は、RAM (Random Access Memory) や ROM (Read Only Memory) などのメモリである。ストレージ１０８０は、ハードディスク、SSD (Solid State Drive)、又はメモリカードなどの記憶装置である。また、ストレージ１０８０は、RAM や ROM などのメモリであってもよい。
【0026】
入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、キーボードやマウスなどが接続される。
【0027】
ネットワークインタフェース１１２０は、計算機１０００を外部の装置と通信可能に接続するためのインタフェースである。ネットワークインタフェース１１２０は、有線回線と接続するためのネットワークインタフェースでもよいし、無線回線と接続するためのネットワークインタフェースでもよい。例えば監視情報生成装置２０００を実現する計算機１０００は、ネットワークを介して固定カメラ１０や移動カメラ２０と接続されている。ただし、計算機１０００を固定カメラ１０や移動カメラ２０と接続する方法は、ネットワークを介した接続に限定されない。また、計算機１０００は固定カメラ１０や移動カメラ２０と通信可能に接続されていなくてもよい。
【0028】
ストレージ１０８０は監視情報生成装置２０００の各機能を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールを実行することで、そのプログラムモジュールに対応する各機能を実現する。ここでプロセッサ１０４０は、上記各モジュールを実行する際、これらのモジュールをメモリ１０６０上に読み出してから実行してもよいし、メモリ１０６０上に読み出さずに実行してもよい。
【0029】
計算機１０００のハードウエア構成は図４に示した構成に限定されない。例えば、各プログラムモジュールはメモリ１０６０に格納されてもよい。この場合、計算機１０００は、ストレージ１０８０を備えていなくてもよい。
【0030】
＜第１監視画像取得部２０２０の詳細＞
第１監視画像取得部２０２０は第１監視画像１２を取得する（Ｓ１０２）。ここで、第１監視画像取得部２０２０が第１監視画像１２を取得する方法は様々である。例えば第１監視画像取得部２０２０は、固定カメラ１０から送信される第１監視画像１２を受信する。また例えば、第１監視画像取得部２０２０は、固定カメラ１０にアクセスし、固定カメラ１０に記憶されている第１監視画像１２を取得してもよい。なお、固定カメラ１０は、固定カメラ１０の外部に設けられている記憶装置に第１監視画像１２を記憶してもよい。この場合、第１監視画像取得部２０２０は、この記憶装置にアクセスして第１監視画像１２を取得してもよい。
第１監視画像取得部２０２０は第１監視画像１２を取得する（Ｓ１０２）。ここで、第１監視画像取得部２０２０が第１監視画像１２を取得する方法は様々である。例えば第１監視画像取得部２０２０は、固定カメラ１０から送信される第１監視画像１２を受信する。また例えば、第１監視画像取得部２０２０は、固定カメラ１０にアクセスし、固定カメラ１０に記憶されている第１監視画像１２を取得してもよい。なお、固定カメラ１０は、固定カメラ１０の外部に設けられている記憶装置に第１監視画像１２を記憶してもよい。この場合、第１監視画像取得部２０２０は、この記憶装置にアクセスして第１監視画像１２を取得してもよい。
【0031】
第１監視画像取得部２０２０は、第１監視画像１２をリアルタイムで取得してもよいし、第１監視画像１２が生成されてからしばらく後に第１監視画像１２を取得してもよい。後者の場合、例えば監視情報生成装置２０００は、過去に（例えば前日に）撮影された第１監視画像１２や第２監視画像２２を取得し、過去の監視画像について監視情報を生成することで、群衆行動の解析などを行う。
【0032】
＜第２監視画像取得部２０４０の詳細＞
第２監視画像取得部２０４０は第２監視画像２２を取得する（Ｓ１０４）。ここで、第２監視画像取得部２０４０が第２監視画像２２を取得する方法は、第１監視画像取得部２０２０が第１監視画像１２を取得する方法と同様である。
第２監視画像取得部２０４０は第２監視画像２２を取得する（Ｓ１０４）。ここで、第２監視画像取得部２０４０が第２監視画像２２を取得する方法は、第１監視画像取得部２０２０が第１監視画像１２を取得する方法と同様である。
【0033】
＜生成部２０６０の詳細＞
生成部２０６０は、第１監視画像１２及び第２監視画像２２を用いてオブジェクトの監視情報３０を生成する（Ｓ１０６）。ここで前述したように、オブジェクトは人だけに限定されず、任意のものでよい。生成部２０６０が何をオブジェクトとして扱うかについては、生成部２０６０に予め設定されていてもよいし、生成部２０６０からアクセス可能な記憶装置等に記憶されていてもよいし、生成部２０６０が動作する際に手動で設定されてもよい。
生成部２０６０は、第１監視画像１２及び第２監視画像２２を用いてオブジェクトの監視情報３０を生成する（Ｓ１０６）。ここで前述したように、オブジェクトは人だけに限定されず、任意のものでよい。生成部２０６０が何をオブジェクトとして扱うかについては、生成部２０６０に予め設定されていてもよいし、生成部２０６０からアクセス可能な記憶装置等に記憶されていてもよいし、生成部２０６０が動作する際に手動で設定されてもよい。
【0034】
生成部２０６０によって生成される監視情報３０は様々である。以下、監視情報３０の具体例と、それぞれの生成方法について説明する。
【0035】
＜＜監視情報３０の具体例１＞＞
生成部２０６０は、第１監視画像１２に第２監視画像２２を重畳した表示を、監視情報３０として生成する。図５は、第１監視画像１２に第２監視画像２２を重畳した表示を例示する図である。図５の表示画面４０には、第１監視画像１２に、第２監視画像２２－１から第２監視画像２２－３を重畳した画面が表示されている。
生成部２０６０は、第１監視画像１２に第２監視画像２２を重畳した表示を、監視情報３０として生成する。図５は、第１監視画像１２に第２監視画像２２を重畳した表示を例示する図である。図５の表示画面４０には、第１監視画像１２に、第２監視画像２２－１から第２監視画像２２－３を重畳した画面が表示されている。
【0036】
表示画面４０は、例えば警備室などにいる監視員によって閲覧される。監視員は、この表示画面４０を見ることで、固定カメラ１０によって撮影される監視場所の全体的な様子を把握しつつ、移動カメラ２０によって撮影される個々の場所の詳細な様子を把握することができる。よって監視員等は、群衆の状態を柔軟かつ精度良く把握できるようになる。
【0037】
第２監視画像２２が提示されている第１監視画像１２上の位置は、第２監視画像２２の実世界上での位置に対応する第１監視画像１２上の位置又はその付近であることが好ましい。この場合、生成部２０６０は、第２監視画像２２を重畳させる位置を、移動カメラ２０の位置情報、固定カメラ１０の位置情報、及び固定カメラ１０の姿勢を表すカメラパラメータを用いて決定する。具体的には、生成部２０６０は、固定カメラ１０の位置情報及び姿勢を用い、第１監視画像１２に写っている場所の中から、移動カメラ２０の位置情報に対応する位置を割り出す。ここで固定カメラ１０の姿勢には、固定カメラ１０の撮影方向の水平方向及び垂直方向などが含まれる。
【0038】
各カメラの位置情報は、そのカメラの位置を特定できる任意の情報である。例えばカメラの位置情報は、そのカメラの Global Positioning System（GPS）座標を示す情報である。
【0039】
生成部２０６０が移動カメラ２０の位置情報を取得する方法は様々である。移動カメラ２０の位置情報は、例えば第２監視画像２２のメタデータに含まれている。この場合、生成部２０６０は、第２監視画像２２のメタデータから移動カメラ２０の位置情報を取得する。また例えば、生成部２０６０は、移動カメラ２０によって別途送信される位置情報を受信してもよい。この送信は、移動カメラ２０によって自発的に行われてもよいし、生成部２０６０からのリクエストに応じて行われてもよい。
【0040】
生成部２０６０が固定カメラ１０の位置情報を取得する方法は、例えば生成部２０６０が移動カメラ２０の位置情報を取得する方法と同様である。また固定カメラ１０の位置は固定であるため、固定カメラ１０の位置情報は生成部２０６０からアクセス可能な記憶部に予め記憶されていてもよい。また例えば、固定カメラ１０の位置情報は生成部２０６０に手動で入力されてもよい。
【0041】
なお、第２監視画像２２の第１監視画像１２上の位置は、第２監視画像２２の実世界上の位置に基づく位置に限定されない。例えば第２監視画像２２は、第１監視画像１２の所定位置に表示されてもよい。図６は、表示画面４０の左端付近に第２監視画像が並べて表示される様子を例示している。この所定位置は、予め生成部２０６０に設定されていてもよいし、生成部２０６０からアクセス可能な記憶装置に記憶されていてもよい。
【0042】
第２監視画像２２の表示位置は、ユーザの操作によって変更可能であってもよい。例えば監視情報生成装置２０００は、第２監視画像２２をマウスでドラッグする等の操作を受け付け、その操作に応じて第２監視画像２２の表示位置を変更する。
【0043】
また、生成部２０６０は、第１監視画像１２に第２監視画像２２を重畳せず、第１監視画像１２と第２監視画像２２とを並べて表示してもよい。図７は、表示画面４０に第１監視画像１２と第２監視画像２２とが並べて表示される様子を例示している。
【0044】
第１監視画像１２上における第２監視画像２２の表示位置が実世界における移動カメラ２０の位置に基づく位置でない場合や、第２監視画像２２が第１監視画像１２上に重畳されない場合、各第２監視画像２２がどの位置にある移動カメラ２０によって撮影されたものであるかが分かるようにすることが好ましい。この場合、例えば生成部２０６０は、実世界における各移動カメラ２０の位置に対応する第１監視画像１２上の位置に、後述する各移動カメラ２０を表すマークなどを表示する。そして、生成部２０６０は、第２監視画像２２の横などに、各第２監視画像２２がどのマークに対応するものであるかを示す情報（例えばマークの番号など）を表示する。
【0045】
＜＜監視情報３０の具体例２＞＞
生成部２０６０は、第１監視画像１２上に移動カメラ２０を示すマークを重畳した表示を生成する。さらに生成部２０６０は、このマークがユーザ（監視員など）によって選択された場合に、そのマークに対応する移動カメラ２０によって生成された第２監視画像２２を表示する。その結果、前述した具体例１の場合と同様に、第１監視画像１２上に第２監視画像２２が重畳された表示である監視情報３０が生成される。
生成部２０６０は、第１監視画像１２上に移動カメラ２０を示すマークを重畳した表示を生成する。さらに生成部２０６０は、このマークがユーザ（監視員など）によって選択された場合に、そのマークに対応する移動カメラ２０によって生成された第２監視画像２２を表示する。その結果、前述した具体例１の場合と同様に、第１監視画像１２上に第２監視画像２２が重畳された表示である監視情報３０が生成される。
【0046】
このように、監視員などによる選択に応じて第２監視画像２２を表示するようにすることで、全ての第２監視画像２２が無条件で表示される場合と比較し、第１監視画像１２に写っている群衆の全体的な様子を把握しやすくしつつ、なおかつ監視員などが注視したい場所の群衆の詳細な様子を容易に把握できるようになる。
【0047】
図８は、第１監視画像１２上に移動カメラ２０を示すマークが表示される様子を例示する図である。図８には、固定カメラ１０の撮影範囲内に、３つの移動カメラ２０－１から３があり、それぞれの位置がマーク５０－１から３で表されている。図８における各マーク５０の位置は、対応する移動カメラ２０の実世界における位置に対応した位置である。
【0048】
例えばユーザは、マウスを使ってマーク５０の選択を行う。図８では、マウスカーソル６０がマーク５０－３上に位置している。この状態でユーザがマウスカーソル６０をクリックすると、生成部２０６０は、移動カメラ２０－３によって生成された第２監視画像２２－３を表示画面４０上に表示する。図９は、図８においてマウスカーソル６０がクリックされた場合の表示を例示する図である。
【0049】
マーク５０に対するユーザの選択操作は、マウス操作に限定されない。例えばその他の操作として、タッチパネルやキーボードを使ってマーク５０を選択する操作がある。
【0050】
第１監視画像１２に表示される移動カメラ２０のマークの表示位置は、実世界における移動カメラ２０の位置に対応する位置に限定されない。この点については、前述した、第１監視画像１２上における第２監視画像２２の表示位置と同様である。
【0051】
表示画面４０には、各移動カメラ２０の撮影方向がさらに表示されることが好ましい。これにより、表示画面４０を見る監視員等は、第２監視画像２２によって表される景色がどの場所の景色であるかをより正確にかつ容易に把握することができる。図１０は、移動カメラ２０の撮影方向が表示される様子を例示する図である。図１０において、撮影方向５２が示す方向が、マーク５０に対応する移動カメラ２０の撮影方向である。
【0052】
ここで、生成部２０６０が各移動カメラ２０の撮影方向を把握する方法は様々である。例えば移動カメラ２０や移動カメラ２０と一体となっている携帯端末などに電子コンパスが内蔵されている場合、生成部２０６０は、この電子コンパスの出力が示す方位を、移動カメラ２０の撮影方向とする。また例えば、生成部２０６０は、後述の実施形態で説明する方法で推定した移動カメラ２０の撮影方向を用いてもよい。
【0053】
＜＜監視情報３０の具体例３＞＞
生成部２０６０は、第１監視画像１２上に群衆に関する情報を重畳した表示を、監視情報３０として生成する。群衆に関する情報は、例えば群衆に含まれるオブジェクトの分布を表す情報である。以下、群衆に含まれるオブジェクトの分布を表す情報を、分布情報と表記する。
生成部２０６０は、第１監視画像１２上に群衆に関する情報を重畳した表示を、監視情報３０として生成する。群衆に関する情報は、例えば群衆に含まれるオブジェクトの分布を表す情報である。以下、群衆に含まれるオブジェクトの分布を表す情報を、分布情報と表記する。
【0054】
図１１及び図１２は、第１監視画像１２上に分布情報に基づく表示を重畳する例示する図である。図１１の表示画面４０では、第１監視画像１２の上に、人の分布を表すヒートマップ６１が重畳されている。例えばこのヒートマップは、人の密集度合いが高い場所を赤色に、人の密集度合いが低いところを青色にするヒートマップである。
【0055】
図１２の表示画面４０では、人の密集度合いが高い場所が太い枠線６２で強調表示されている。ここで、図１２において、第１監視画像１２は複数の部分領域に分割されている。具体的には、第１監視画像１２は、縦に６等分かつ横に４等分されることにより、２４個の部分領域に分割されている。なお、図１２では図の理解を容易にするために各部分領域を表す点線が表示されているが、実際にはこの点線は表示されなくてもよい。
【0056】
生成部２０６０は、第１監視画像１２上に、人の密集度合いが高い領域を強調する枠線６２を重畳した表示を、監視情報３０として生成する。具体的には、生成部２０６０は、各部分領域に写っている人の数を示す分布情報を生成し、その数が所定値以上である部分領域を、人の密集度合いが高い領域とする。
【0057】
このように第１監視画像１２上に第１監視画像１２及び第２監視画像２２を用いて生成した群衆の分布情報を重畳することで、監視員等は、第１監視画像１２や第２監視画像２２を見ただけでは把握しづらい群衆の状態を容易に把握できるようになる。
【0058】
＜＜＜分布情報の生成方法＞＞＞
上述の各表示を実現するための分布情報の生成方法について説明する。生成部２０６０は、第１監視画像１２及び第２監視画像２２を用いて分布情報を生成する。まず生成部２０６０は、第１監視画像１２に対して画像認識処理などの処理を行うことにより、第１監視画像１２について分布情報を生成する。具体的には、生成部２０６０は、第１監視画像１２を複数の部分領域に分割し、各部分領域に写っているオブジェクトの数を算出する。その結果、第１監視画像１２の部分領域ごとのオブジェクトの数を表す分布情報が生成される。
上述の各表示を実現するための分布情報の生成方法について説明する。生成部２０６０は、第１監視画像１２及び第２監視画像２２を用いて分布情報を生成する。まず生成部２０６０は、第１監視画像１２に対して画像認識処理などの処理を行うことにより、第１監視画像１２について分布情報を生成する。具体的には、生成部２０６０は、第１監視画像１２を複数の部分領域に分割し、各部分領域に写っているオブジェクトの数を算出する。その結果、第１監視画像１２の部分領域ごとのオブジェクトの数を表す分布情報が生成される。
【0059】
さらに生成部２０６０は、第１監視画像１２の部分領域のうち、第２監視画像２２に写っている領域を割り出す。生成部２０６０は、分布情報のうち、上記割り出された領域について示されるオブジェクトの数を、第２監視画像２２に写っているオブジェクトの数を用いて補正する。そして生成部２０６０は、補正後の分布情報を第１監視画像１２に重畳した表示を行う。なお、第２監視画像２２に写っているオブジェクトの数は、第１監視画像１２に写っているオブジェクトの数と同様に、第２監視画像２２に対して画像認識処理などを行うことにより算出することができる。
【0060】
図１３は、第１監視画像１２に写っている範囲と第２監視画像２２に写っている範囲との重なりを例示する図である。図１３において、部分領域６４－１は、第１監視画像１２を複数の分割した上述の部分領域である。図１３（ａ）において、第２監視画像２２に写っている範囲６５は、１つの部分領域６４－１に収まっている。この場合、生成部２０６０は、第２監視画像２２全体に写っているオブジェクトの数を算出し、算出したオブジェクトの数を用いて、分布情報が示す部分領域６４－１のオブジェクトの数を補正する。例えば生成部２０６０は、１）分布情報が示す部分領域６４－１のオブジェクトの数を、第２監視画像２２について算出したオブジェクトの数で置換する、２）分布情報が示す部分領域６４－１のオブジェクトの数を、その数と第２監視画像２２について算出したオブジェクトの数との統計値に置換する、などの処理を行う。２）における統計値は、第２監視画像２２について算出したオブジェクトの数に対し、分布情報が示すオブジェクトの数よりも大きい重みを付けた重み付き平均などである。
【0061】
図１３（ｂ）の場合、第２監視画像２２に写っている範囲６５は、２つの部分領域６４－１及び６４－２にまたがっている。この場合、生成部２０６０は、第２監視画像２２を、部分領域６４－１と重なる領域Ａと、部分領域６４－２と重なる領域Ｂに分割し、それぞれの領域に写っているオブジェクトの数を算出する。そして、生成部２０６０は、領域Ａについて算出したオブジェクトの数を用いて、分布情報が示す部分領域６４－１のオブジェクトの数を補正する。同様に、生成部２０６０は、領域Ｂについて算出したオブジェクトの数を用いて、分布情報が示す部分領域６４－２のオブジェクトの数を補正する。それぞれの補正の方法は、図１３（ａ）を用いて説明した方法と同様である。
【0062】
このように、第１監視画像１２について算出したオブジェクトの分布情報を、第２監視画像２２に写っているオブジェクトの数を用いて補正することで、オブジェクトの分布をより正確に算出することができる。これは、第２監視画像２２について算出されるオブジェクトの数は、第１監視画像１２について算出されるオブジェクトの数よりも正確に算出できるためである。
【0063】
例えば図１１のように固定カメラ１０が移動カメラ２０に比べて遠くから広い範囲を撮影している場合、第１監視画像１２にはオブジェクトが小さく写るため、写っているオブジェクトの数を正確に算出することが難しい場合がある。一方、固定カメラ１０よりも近い距離からオブジェクトを撮影している移動カメラ２０によって生成される第２監視画像２２には、オブジェクトが大きくはっきりと写る。よって、生成部２０６０は、第２監視画像２２に写っているオブジェクトの数を、第１監視画像１２に写っているオブジェクトの数よりも正確に算出することができる。
【0064】
また例えば、図１１に示すように固定カメラ１０が遠方から斜め下を見下ろすような角度で撮影を行っている場合、近接している人同士が重なりあって写ってしまい、一部の人が第１監視画像１２に写らないこともある。一方、例えば小型の飛行物体に移動カメラ２０を取り付けて群衆を真上から撮影することにより、近接している人が重ならないように撮影を行うことができる。よって、このように撮影を行う移動カメラ２０によって生成された第２監視画像２２を用いて算出したオブジェクトの数は、第１監視画像１２を用いて算出されたオブジェクトの数よりも正確になる。
【0065】
＜＜＜分布情報の更新について＞＞＞
固定カメラ１０や移動カメラ２０は動画を撮影するカメラであるため、第１監視画像１２や第２監視画像２２は繰り返し生成される。そこで監視情報生成装置２０００は、上述した分布情報を繰り返し生成し、表示する分布情報を更新してもよい。これにより、ヒートマップ等の分布情報がアニメーションのように表示することなどが可能となる。なお、分布情報の生成は全ての第１監視画像１２及び第２監視画像２２を用いて行われてもよいし、一部の第１監視画像１２及び第２監視画像２２を用いて行われてもよい。後者の場合、例えば１秒間に１回や１０秒間に１回などの間隔で分布情報が生成される。また、監視情報生成装置２０００は、分布情報の生成を指示するユーザ操作を受け付け、そのユーザ操作を受けつけた場合のみ分布情報の更新を行ってもよい。
固定カメラ１０や移動カメラ２０は動画を撮影するカメラであるため、第１監視画像１２や第２監視画像２２は繰り返し生成される。そこで監視情報生成装置２０００は、上述した分布情報を繰り返し生成し、表示する分布情報を更新してもよい。これにより、ヒートマップ等の分布情報がアニメーションのように表示することなどが可能となる。なお、分布情報の生成は全ての第１監視画像１２及び第２監視画像２２を用いて行われてもよいし、一部の第１監視画像１２及び第２監視画像２２を用いて行われてもよい。後者の場合、例えば１秒間に１回や１０秒間に１回などの間隔で分布情報が生成される。また、監視情報生成装置２０００は、分布情報の生成を指示するユーザ操作を受け付け、そのユーザ操作を受けつけた場合のみ分布情報の更新を行ってもよい。
【0066】
＜＜＜分布情報のその他の利用方法について＞＞＞
上述の例において、生成部２０６０は、分布情報を第１監視画像１２に重畳した表示を監視情報３０としている。しかし生成部２０６０は、分布情報そのものを監視情報３０としてもよい。この場合、例えば生成部２０６０は、分布情報を記憶装置等に記憶したり、分布情報を表形式やグラフ形式などで表示画面に表示したりする。この分布情報は、群衆の行動解析などに利用できる。また、監視情報生成装置２０００は以下で示す別の具体例のように分布情報を利用してもよい。
上述の例において、生成部２０６０は、分布情報を第１監視画像１２に重畳した表示を監視情報３０としている。しかし生成部２０６０は、分布情報そのものを監視情報３０としてもよい。この場合、例えば生成部２０６０は、分布情報を記憶装置等に記憶したり、分布情報を表形式やグラフ形式などで表示画面に表示したりする。この分布情報は、群衆の行動解析などに利用できる。また、監視情報生成装置２０００は以下で示す別の具体例のように分布情報を利用してもよい。
【0067】
＜＜監視情報３０の具体例４＞＞
生成部２０６０は、前述した分布情報を監視対象の場所の地図に重畳して表示してもよい。この場合、監視情報生成装置２０００は、地図情報取得部２０８０を有する。地図情報取得部２０８０は、監視対象の場所付近の地図に関する情報である地図情報を取得する。図１４は、地図情報取得部２０８０を有する監視情報生成装置２０００を例示するブロック図である。例えば地図情報は、歩道、道路、及び建物などの位置などを示す。例えば地図情報は、監視情報生成装置２０００からアクセス可能な記憶装置などに予め記憶されているものとする。
生成部２０６０は、前述した分布情報を監視対象の場所の地図に重畳して表示してもよい。この場合、監視情報生成装置２０００は、地図情報取得部２０８０を有する。地図情報取得部２０８０は、監視対象の場所付近の地図に関する情報である地図情報を取得する。図１４は、地図情報取得部２０８０を有する監視情報生成装置２０００を例示するブロック図である。例えば地図情報は、歩道、道路、及び建物などの位置などを示す。例えば地図情報は、監視情報生成装置２０００からアクセス可能な記憶装置などに予め記憶されているものとする。
【0068】
図１５は、表示画面４０に表示される地図２００を例示する図である。図１５における監視対象は、屋内のフロアである。図１５には、固定カメラ１０が複数設置されている。また、移動カメラ２０が複数存在する。図１５において、移動カメラ２０の位置はマーク５０によって示されている。なお、地図２００上の固定カメラ１０の位置及び移動カメラ２０の位置は、固定カメラ１０の位置情報、移動カメラ２０の位置情報、及び地図２００が表す場所の位置情報を用いて算出することができる。また、固定カメラ１０の配置が固定である場合、固定カメラ１０の位置は、予め地図２００に示されていてもよい。
【0069】
まず生成部２０６０は、各固定カメラ１０によって生成される第１監視画像１２を用いて、各固定カメラ１０の撮影範囲におけるオブジェクトの分布情報を生成する。さらに、生成部２０６０は、第２監視画像２２について算出されるオブジェクトの数を用いて、各分布情報を補正する。なお、第２監視画像２２について算出されるオブジェクトの数を用いて分布情報を補正する方法は、図１３を用いて説明した方法と同様である。
【0070】
【0071】
上述のように地図上に分布情報を表示すると背景が簡略化されるため、監視員等にとって分布情報が視覚的に把握しやすいものとなる。また、地図上に分布情報を表示すると、複数の固定カメラ１０によって監視されている場所における群衆の状態を１つの画面で表示できる。そのため、監視員等が広い範囲に分布している群衆の様子をまとめて容易に把握できるようになる。
【0072】
なお、生成部２０６０は、図８及び図９を用いて説明した処理と同様に、ユーザからマーク５０を選択する操作を受け付け、選択されたマーク５０に対応する移動カメラ２０によって生成された第２監視画像２２を地図２００上に表示してもよい。また、生成部２０６０は、第２監視画像２２に代えて又は第２監視画像２２と共に、第２監視画像２２を用いて生成された分布情報（移動カメラ２０の撮影範囲におけるオブジェクトの分布を示す情報）を地図２００上に表示してもよい。
【0073】
＜変形例＞
生成部２０６０は、前述した分布情報を、第１監視画像１２を用いずに第２監視画像２２のみを用いて生成してもよい。この場合、例えば生成部２０６０は、複数の移動カメラ２０それぞれによって生成された第２監視画像２２に写っているオブジェクトの数を算出し、「第２監視画像２２の撮影範囲、オブジェクトの数」の組み合わせのリストとして分布情報を生成する。そして、生成部２０６０は、この分布情報を用いてヒートマップ等を生成し、第１監視画像１２や地図２００に重畳して表示する。
生成部２０６０は、前述した分布情報を、第１監視画像１２を用いずに第２監視画像２２のみを用いて生成してもよい。この場合、例えば生成部２０６０は、複数の移動カメラ２０それぞれによって生成された第２監視画像２２に写っているオブジェクトの数を算出し、「第２監視画像２２の撮影範囲、オブジェクトの数」の組み合わせのリストとして分布情報を生成する。そして、生成部２０６０は、この分布情報を用いてヒートマップ等を生成し、第１監視画像１２や地図２００に重畳して表示する。
【0074】
また、生成部２０６０は、第１監視画像１２について分布情報を生成する方法と同じ方法で、第２監視画像２２ごとに分布情報を生成してもよい。この場合、生成部２０６０は、複数の分布情報を用いてヒートマップ等を生成し、第１監視画像１２や地図２００上に重畳して表示する。
【0075】
【0076】
実施形態２の監視情報生成装置２０００は移動カメラ２０の撮影方向を推定する機能を有する。壁などに設置される固定カメラ１０の場合、一般に、現在のカメラの姿勢を表すカメラパラメータ（水平方向の回転角や垂直方向の回転角など）を取得することで、固定カメラ１０の撮影方向が分かる。例えば、初期状態で北を向いて設置されている固定カメラ１０があり、その固定カメラ１０から取得したカメラパラメータが＋４５度という水平方向の回転角を表しているとする。ここで、水平方向の回転角は、反時計回りをプラス方向として表記されている。この点については、以降の記載でも同様である。すると、固定カメラ１０の撮影方向は、北から時計回りに４５度回転した方向である北西であることが分かる。
【0077】
一方で、人などに身につけられている移動カメラ２０の場合、固定カメラ１０とは異なり、基準とする初期状態の方位を定めておくことが難しいことなどから、移動カメラ２０の撮影方向を割り出すことが難しい。
【0078】
ここで、カメラなどに電子コンパスを備えることで撮影方向を割り出せるようにする方法もある。しかし、この方法では、電子コンパスの精度が悪いと正確な撮影方向を割り出すことができない。また、高精度の電子コンパスを移動カメラ２０に取り付けなければならないと、移動カメラ２０の製造コストが高くなってしまう恐れがある。さらに、高精度の電子コンパスを移動カメラ２０に取り付けなければならないと、スマートフォンのカメラやハンディカメラなど、汎用のカメラを移動カメラ２０として利用することが難しくなる。
【0079】
そこで本実施形態の監視情報生成装置２０００は、第１監視画像１２及び第２監視画像２２を利用して、移動カメラ２０の撮影方向の推定を行う。図１８は、実施形態２の監視情報生成装置２０００の動作を概念的に例示する図である。監視情報生成装置２０００は、固定カメラ１０によって生成された第１監視画像１２を取得し、第１監視画像１２における群衆の移動方向（以下、第１移動方向）を推定する。監視情報生成装置２０００は、移動カメラ２０によって生成された第２監視画像２２を取得し、第２監視画像２２における群衆の移動方向（以下、第２移動方向）を推定する。そして、監視情報生成装置２０００は、第１監視画像１２における群衆の移動方向及び第２監視画像２２における群衆の移動方向に基づいて、移動カメラ２０の撮影方向を推定する。
【0080】
上記動作を実現するために、実施形態２の監視情報生成装置２０００は、第１移動方向推定部２１００、第２移動方向推定部２１２０、及び撮影方向推定部２１４０をさらに有する。第１移動方向推定部２１００は、第１監視画像１２における群衆の移動方向を推定する。第２移動方向推定部２１２０は、第２監視画像２２における群衆の移動方向を推定する。撮影方向推定部２１４０は、第１移動方向、第２移動方向、固定カメラ１０の位置及び姿勢、並びに移動カメラ２０の位置に基づいて、移動カメラ２０の撮影方向を推定する。
【0081】
＜作用・効果＞
本実施形態の監視情報生成装置２０００によれば、第１監視画像１２及び第２監視画像２２を用いて移動カメラ２０の撮影方向が推定されるため、移動カメラ２０に取り付けられた電子コンパス等のデバイスでは移動カメラ２０の撮影方向を精度良く算出できない場合であっても、移動カメラ２０の撮影方向を精度良く把握できるようになる。
本実施形態の監視情報生成装置２０００によれば、第１監視画像１２及び第２監視画像２２を用いて移動カメラ２０の撮影方向が推定されるため、移動カメラ２０に取り付けられた電子コンパス等のデバイスでは移動カメラ２０の撮影方向を精度良く算出できない場合であっても、移動カメラ２０の撮影方向を精度良く把握できるようになる。
【0082】
監視情報生成装置２０００によって推定された移動カメラ２０の撮影方向は、実施形態１で説明した移動カメラ２０の撮影方向を可視化する処理や、第２監視画像２２に写っている範囲を第１監視画像１２や地図上にマッピングする処理などに利用できる。ただし、推定した移動カメラ２０の撮影方向の利用方法は任意であり、実施形態１で説明した利用方法に限定されない。
【0083】
以下、本実施形態の監視情報生成装置２０００についてさらに詳細に説明する。
【0084】
＜処理の流れ＞
図１９は、実施形態２の監視情報生成装置２０００によって実行される処理の流れを例示するフローチャートである。第１移動方向推定部２１００は第１監視画像１２を用いて第１移動方向を推定する（Ｓ２０２）。第２移動方向推定部２１２０は第２監視画像２２を用いて第２移動方向を推定する（Ｓ２０４）。撮影方向推定部２１４０は、第１移動方向、第２移動方向、固定カメラ１０の位置及び姿勢、並びに移動カメラ２０の位置に基づいて、移動カメラ２０の撮影方向を推定する（Ｓ２０６）。
図１９は、実施形態２の監視情報生成装置２０００によって実行される処理の流れを例示するフローチャートである。第１移動方向推定部２１００は第１監視画像１２を用いて第１移動方向を推定する（Ｓ２０２）。第２移動方向推定部２１２０は第２監視画像２２を用いて第２移動方向を推定する（Ｓ２０４）。撮影方向推定部２１４０は、第１移動方向、第２移動方向、固定カメラ１０の位置及び姿勢、並びに移動カメラ２０の位置に基づいて、移動カメラ２０の撮影方向を推定する（Ｓ２０６）。
【0085】
＜第１移動方向推定部２１００の詳細＞
第１移動方向推定部２１００は、第１監視画像１２における群衆の移動方向である第１移動方向を推定する（Ｓ２０２）。ここで、第１移動方向推定部２１００が第１移動方向を推定する方法は様々である。以下、第１移動方向の推定方法について説明する。
第１移動方向推定部２１００は、第１監視画像１２における群衆の移動方向である第１移動方向を推定する（Ｓ２０２）。ここで、第１移動方向推定部２１００が第１移動方向を推定する方法は様々である。以下、第１移動方向の推定方法について説明する。
【0086】
＜＜方法１＞＞
第１移動方向推定部２１００は、時系列で並べられた複数の第１監視画像１２それぞれに含まれる画素や特徴点のオプティカルフローを算出する。図２０は、第１監視画像１２について算出したオプティカルフローを例示する図である。図２０に示す各矢印が、第１監視画像１２について算出したオプティカルフローを表す。
第１移動方向推定部２１００は、時系列で並べられた複数の第１監視画像１２それぞれに含まれる画素や特徴点のオプティカルフローを算出する。図２０は、第１監視画像１２について算出したオプティカルフローを例示する図である。図２０に示す各矢印が、第１監視画像１２について算出したオプティカルフローを表す。
【0087】
第１移動方向推定部２１００は、算出したオプティカルフローに基づいて、第１移動方向を推定する。例えば第１移動方向推定部２１００は、オプティカルフローから１つを選択し、その選択されたオプティカルフローを第１移動方向とする。例えば第１移動方向推定部２１００は、１つのオプティカルフローをランダムに選択する。
【0088】
また例えば、第１移動方向推定部２１００は、複数算出されたオプティカルフローを統計処理して１つのベクトルを算出し、このベクトルを第１移動方向とする。この統計処理は、例えばベクトルの平均を算出する処理である。
【0089】
なお、画像に含まれる画素や特徴点を用いてオプティカルフローを算出する技術は既知の技術であるため、この技術の具体的な説明は省略する。
【0090】
＜＜方法２＞＞
第１移動方向推定部２１００は、時系列で並べられた複数の第１監視画像１２に共通で写っているオブジェクトを検出し、そのオブジェクトの位置の変化に基づいて第１移動方向を推定する。図２１は、オブジェクトの位置の変化を例示する図である。図２１において、点線で表されたオブジェクトは t 番目の第１監視画像１２に写っており、実線で表されたオブジェクトは t+1 番目の第１監視画像１２に写っている。矢印は、各オブジェクトの位置の変化を表す。オブジェクトの位置の変化は、例えば同一のオブジェクトを表す複数の領域の重心を結んだベクトルである。
第１移動方向推定部２１００は、時系列で並べられた複数の第１監視画像１２に共通で写っているオブジェクトを検出し、そのオブジェクトの位置の変化に基づいて第１移動方向を推定する。図２１は、オブジェクトの位置の変化を例示する図である。図２１において、点線で表されたオブジェクトは t 番目の第１監視画像１２に写っており、実線で表されたオブジェクトは t+1 番目の第１監視画像１２に写っている。矢印は、各オブジェクトの位置の変化を表す。オブジェクトの位置の変化は、例えば同一のオブジェクトを表す複数の領域の重心を結んだベクトルである。
【0091】
なお、第１監視画像１２に複数のオブジェクトが写っている場合、前述したオプティカルフローを利用する場合と同様に、オブジェクトの位置の変化を表すベクトルが複数算出される。そこで例えば、第１移動方向推定部２１００は、複数のオブジェクトから１つを選択し、その選択されたオブジェクトの位置の変化を表すベクトルを第１移動方向とする。例えば第１移動方向推定部２１００は、１つのオブジェクトをランダムに選択する。また例えば、第１移動方向推定部２１００は、最も大きいオブジェクトを選択する。
【0092】
また例えば、第１移動方向推定部２１００は、複数のオブジェクトの位置の変化を表す複数のベクトルを統計処理して１つのベクトルを算出し、このベクトルを第１移動方向とする。この統計処理は、例えばベクトルの平均を算出する処理である。
【0093】
＜＜方法３＞＞
また例えば、第１移動方向推定部２１００は、第１監視画像１２に写っているオブジェクトの向きに基づいて、群衆の移動方向を検出してもよい。例えばオブジェクトが人や動物である場合、第１移動方向推定部２１００は、これらの顔や身体の向きを割り出し、顔や身体の正面が向いている方向を第１移動方向とする。またオブジェクトが車、バイク、又は飛行物体などの物である場合、第１移動方向推定部２１００は、第１監視画像１２に写っているオブジェクトの形状や各種部品（バンパーやハンドルなど）の位置などからオブジェクトの進行方向を割り出し、割り出した進行方向を第１移動方向とする。
また例えば、第１移動方向推定部２１００は、第１監視画像１２に写っているオブジェクトの向きに基づいて、群衆の移動方向を検出してもよい。例えばオブジェクトが人や動物である場合、第１移動方向推定部２１００は、これらの顔や身体の向きを割り出し、顔や身体の正面が向いている方向を第１移動方向とする。またオブジェクトが車、バイク、又は飛行物体などの物である場合、第１移動方向推定部２１００は、第１監視画像１２に写っているオブジェクトの形状や各種部品（バンパーやハンドルなど）の位置などからオブジェクトの進行方向を割り出し、割り出した進行方向を第１移動方向とする。
【0094】
＜第２移動方向推定部２１２０の詳細＞
第２移動方向推定部２１２０が第２監視画像２２に写っている群衆の移動方向（第２移動方向）を推定する方法は、第１移動方向推定部２１００が第１移動方向を推定する方法と同様である。
第２移動方向推定部２１２０が第２監視画像２２に写っている群衆の移動方向（第２移動方向）を推定する方法は、第１移動方向推定部２１００が第１移動方向を推定する方法と同様である。
【0095】
＜ぶれの軽減について＞
第１監視画像１２や第２監視画像２２には、群衆がぶれて写ることがある。例えば固定カメラ１０や移動カメラ２０が移動している群衆を撮影すると、各監視画像に群衆がぶれて写ることがある。また例えば、固定カメラ１０の姿勢を変化させながら固定カメラ１０による撮影を行った場合や、移動カメラ２０の姿勢や位置を変化させながら移動カメラ２０による撮影を行った場合、各監視画像に群衆がぶれて写ることがある。
第１監視画像１２や第２監視画像２２には、群衆がぶれて写ることがある。例えば固定カメラ１０や移動カメラ２０が移動している群衆を撮影すると、各監視画像に群衆がぶれて写ることがある。また例えば、固定カメラ１０の姿勢を変化させながら固定カメラ１０による撮影を行った場合や、移動カメラ２０の姿勢や位置を変化させながら移動カメラ２０による撮影を行った場合、各監視画像に群衆がぶれて写ることがある。
【0096】
そこで、第１移動方向推定部２１００は、各第１監視画像１２に対してぶれを軽減する処理（いわゆる手ぶれ補正など）を施した後、第１移動方向の推定を行うことが好ましい。同様に、第２移動方向推定部２１２０も、各第２監視画像２２に対してぶれを軽減する処理を施した後、第２移動方向の推定を行うことが好ましい。
【0097】
＜撮影方向推定部２１４０の詳細＞
撮影方向推定部２１４０は、第１移動方向、第２移動方向、固定カメラ１０の位置及び姿勢、並びに移動カメラ２０の位置に基づいて、移動カメラ２０の撮影方向を推定する（ＳＳ２１０）。図２２は、撮影方向推定部２１４０の動作を説明するための図である。以下、図２２を用いながら、撮影方向推定部２１４０が移動カメラ２０の撮影方向を推定する具体的な処理について説明する。
撮影方向推定部２１４０は、第１移動方向、第２移動方向、固定カメラ１０の位置及び姿勢、並びに移動カメラ２０の位置に基づいて、移動カメラ２０の撮影方向を推定する（ＳＳ２１０）。図２２は、撮影方向推定部２１４０の動作を説明するための図である。以下、図２２を用いながら、撮影方向推定部２１４０が移動カメラ２０の撮影方向を推定する具体的な処理について説明する。
【0098】
まず撮影方向推定部２１４０は、監視対象の場所を鉛直方向に平面視した平面上（例えば地図上）に、第１移動方向をマッピングする。図２２において、平面７０は、監視対象の場所を鉛直方向に平面視した平面である。移動方向８０は、第１監視画像１２における群衆の移動方向を平面７０にマッピングした方向を表す。なお平面７０は、上方向を北とする平面である。
【0099】
撮影方向推定部２１４０は、移動方向８０を用いて、移動カメラ２０に写るオブジェクトの平面７０上における移動方向（以下、第３移動方向）を算出する。固定カメラ１０の撮影範囲と移動カメラ２０の撮影範囲が重なっている場合、第３移動方向は移動方向８０と同一となる。前述した図２２は、固定カメラ１０の撮影範囲と移動カメラ２０の撮影範囲が重なっている場合を例示している。固定カメラ１０の撮影範囲と移動カメラ２０の撮影範囲が重なっていない場合についての処理については後述する。
【0100】
撮影方向推定部２１４０は、移動カメラ２０撮影方向の複数の候補（以下、候補撮影方向）の中から、推定結果とする移動カメラ２０の撮影方向を決定する。まず撮影方向推定部２１４０は、各候補撮影方向について、移動カメラ２０の位置からその候補撮影方向を見た場合に見える、移動カメラ２０に写っている群衆の移動方向（以下、候補移動方向）を算出する。
【0101】
図２２において、候補撮影方向９２は、北、北東、東、南東、南、南西、西、及び北西の８方向である。候補移動方向９４－１から３はそれぞれ、移動カメラ２０の位置から候補撮影方向９２－１、９２－２、及び９２－３を見た場合における候補移動方向である。なお本例では、移動カメラ２０の位置から上記３つ以外の候補撮影方向を見ても群衆がほとんど又は全く見えないため、上記３つ以外の候補撮影方向については省略している。
【0102】
撮影方向推定部２１４０は、各候補移動方向と第２移動方向とのマッチングを行う。図２２では、第２移動方向は第２移動方向９５である。具体的には、撮影方向推定部２１４０は、第２移動方向９５との一致度合いが最も高い候補移動方向９４に対応する候補撮影方向９２が、移動カメラ２０の撮影方向であると推定する。図２２では、第２移動方向９５との一致度合いが最も高い候補移動方向９４は、候補移動方向９４－２である。よって、撮影方向推定部２１４０は、候補移動方向９４－２に対応する候補撮影方向９２－２が移動カメラ２０の撮影方向であると推定する。
【0103】
なお、候補の撮影方向は上述の８方位に限定されない。例えば候補の撮影方向は、北、東、南、及び西の４方位でもよい。また、候補撮影方向は、東西南北のような一般名称が定められた方向に限定されない。例えば撮影方向推定部２１４０は、移動カメラ２０の付近にある歩道の方向などを基準として、候補撮影方向を決定する。図２３は、歩道の方向を基準として候補撮影方向を決定する方法を説明するための図である。図２３において、移動カメラ２０は歩道１１０の近くに位置している。そのため、歩道１１０を移動する群衆を監視する監視員等は、歩道１１０の方向の法線方向である方向１２０を正面方向として監視を行うと考えられる。
【0104】
そこで例えば、撮影方向推定部２１４０は、歩道１１０の方向の法線方向である方向１２０を基準として、各候補撮影方向を決定する。例えば撮影方向推定部２１４０は、方向１２０、方向１２０を＋９０度回転した方向１２１、方向１２０を＋１８０度回転した方向１２２、及び方向１２０を＋２７０度回転した方向１２３という４つの方向を、候補撮影方向とする。
【0105】
なお、監視対象にある歩道などを基準に候補撮影方向を決定する場合、撮影方向推定部２１４０は、前述した地図情報取得部２０８０を有し、地図情報取得部２０８０によって取得した地図情報を利用する。
【0106】
＜＜固定カメラ１０と移動カメラ２０の撮影範囲が重ならない場合について＞＞
前述したように、撮影方向推定部２１４０は、移動方向８０を用いて、移動カメラ２０に写るオブジェクトの平面７０上における移動方向（第３移動方向）を算出する。前述の例では、固定カメラ１０の撮影範囲と移動カメラ２０の撮影範囲が重なっている場合を前提としていた。以下では、固定カメラ１０の撮影範囲と移動カメラ２０の撮影範囲が重なっていない場合について説明する。
前述したように、撮影方向推定部２１４０は、移動方向８０を用いて、移動カメラ２０に写るオブジェクトの平面７０上における移動方向（第３移動方向）を算出する。前述の例では、固定カメラ１０の撮影範囲と移動カメラ２０の撮影範囲が重なっている場合を前提としていた。以下では、固定カメラ１０の撮影範囲と移動カメラ２０の撮影範囲が重なっていない場合について説明する。
【0107】
固定カメラ１０と移動カメラ２０の撮影範囲が重ならない場合、第１監視画像１２に写っている群衆の平面７０上の移動方向と、第２監視画像２２に写っている群衆の平面７０上の移動方向とが同一になるとは限らない。図２４は、固定カメラ１０と移動カメラ２０の撮影範囲が重ならないケースを例示する図である。図２４において、第１移動方向を平面７０上にマッピングした方向は移動方向８０－１である。これに対し、移動カメラ２０に写っている群衆の平面７０上の移動方向は、移動方向８０－１と同一の方向である移動方向８０－２とは限らず、移動方向８０－３などであることも考えられる。
【0108】
そこで例えば、撮影方向推定部２１４０は、監視対象の場所の地図情報を取得し、その地図情報に基づいて移動カメラ２０に写っている群衆の平面７０上の移動方向を算出する。具体的には、撮影方向推定部２１４０は、第１監視画像１２に写っている群衆の平面７０上の移動方向を、地図において群衆が移動すると考えられる経路（例えば歩道など）に沿って移動カメラ２０の付近へ移動させた場合における移動方向を、移動カメラ２０に写っている群衆の平面７０上の移動方向とする。
【0109】
図２５は、地図情報を用いて群衆の平面７０上の移動方向を推定する方法を説明するための図である。本例において、オブジェクトは人である。また図２５において、歩道１１０は人が歩く歩道である。この場合、第１監視画像１２に写っている群衆の平面７０上の移動方向である移動方向８０－１を歩道１１０に沿って移動させると、移動カメラ２０の付近における群衆の平面７０上の移動方向は移動方向８０－３となる。そこで、撮影方向推定部２１４０は移動方向８０－３を第３移動方向とする。さらに具体的には、撮影方向推定部２１４０は、歩道の中心を通る線と移動カメラ２０の位置との距離が最短となる点までその線に沿って移動方向８０－１を移動させたベクトルを、第３移動方向とする。
【0110】
ただし、地図情報から把握できる群衆の移動経路が複数ある場合、いずれの移動経路を群衆が移動するか分からない場合がある。図２６は、群衆の移動経路が複数あるケースを例示する図である。図２６において、歩道１１０が分岐しているため、群衆は移動方向８０－２と移動方向８０－３のどちらの方向にも移動しうる。
【0111】
このような場合、撮影方向推定部２１４０は、群衆の移動経路に関する移動経路情報を取得する。そのために、監視情報生成装置２０００は移動経路情報取得部２１６０を有する。図２７は、移動経路情報取得部２１６０を有する監視情報生成装置２０００を例示するブロック図である。
【0112】
移動経路情報は、群衆がどちらの方向に移動するかを示す。例えばイベント会場でイベントが行われる場合、イベント会場の最寄り駅からイベント会場へ向けて群衆が移動すると考えられる。またこのように監視が必要なイベントなどが行われる場合、事故を防ぐため、予め定められた経路に沿って群衆がイベント会場へ向かうように群衆誘導が行われることが一般的である。そこで移動経路情報は、このように予め定められた群衆の移動経路示す。
【0113】
図２８は、移動経路情報を利用して群衆の移動方向を推定する処理を例示する図である。図２８において取得する移動経路情報は、地図及びその地図上における移動経路を示す情報である。この移動経路情報が示す地図においても、図２６と同様に歩道１１０が分岐している。ここで、撮影方向推定部２１４０が取得した移動経路情報には、経路１１１が示されている。そこで撮影方向推定部２１４０は、移動方向８０－１を経路１１１に沿って移動させた移動方向８０－２を、第３移動方向とする。
【0114】
なお、特定の場所についての移動経路情報は複数あってもよい。例えば上述のイベント会場の例の場合、イベントの開始前は最寄り駅からイベント会場へ群衆が移動し、イベントの終了後はイベント会場から最寄り駅へ群衆が移動する。そこで例えば、移動経路情報取得部２１６０は、「群衆の移動経路、その移動が生じる時間帯」という組み合わせを移動経路情報として取得する。ここで移動経路情報は、移動経路情報取得部２１６０からアクセス可能な記憶装置などに予め記憶されているものとする。
【0115】
なお、移動経路情報を利用する場合、撮影方向推定部２１４０は、撮影方向の推定に第１監視画像１２を用いなくてもよい。この場合、撮影方向推定部２１４０は、移動経路情報に示される群衆の移動経路から、第２監視画像２２に写っている群衆の平面７０上の移動方向を推定する。例えば図２８では、撮影方向推定部２１４０は、移動方向８０－１を利用せず、経路１１１に基づいて、第２監視画像２２に写っている群衆の平面７０上の移動方向が移動方向８０－３であると推定してもよい。
【0116】
＜＜候補撮影方向の絞り込み＞＞
また撮影方向推定部２１４０は、候補撮影方向に対応する候補移動方向を算出して第２移動方向とのマッチングを行う前に、候補撮影方向の絞り込みを行ってもよい。これにより上記マッチングの回数を減らすことができるため、撮影方向推定部２１４０の処理の計算量を削減することができるという効果がある。以下、候補撮影方向を絞り込む方法をいくつか例示する。
また撮影方向推定部２１４０は、候補撮影方向に対応する候補移動方向を算出して第２移動方向とのマッチングを行う前に、候補撮影方向の絞り込みを行ってもよい。これにより上記マッチングの回数を減らすことができるため、撮影方向推定部２１４０の処理の計算量を削減することができるという効果がある。以下、候補撮影方向を絞り込む方法をいくつか例示する。
【0117】
＜＜＜電子コンパスを利用して絞り込む方法＞＞＞
撮影方向推定部２１４０は、電子コンパスを用いて候補撮影方向の絞り込みを行う。具体的には、撮影方向推定部２１４０は、候補撮影方向から、電子コンパスが示す方向との角度の差異が大きい方向を除外する。
撮影方向推定部２１４０は、電子コンパスを用いて候補撮影方向の絞り込みを行う。具体的には、撮影方向推定部２１４０は、候補撮影方向から、電子コンパスが示す方向との角度の差異が大きい方向を除外する。
【0118】
図２９は、電子コンパスを用いて候補撮影方向を絞り込む方法を説明するための図である。図２９において、候補撮影方向は北や北西などの８方位である。また、電子コンパスは北西を示している。この場合、電子コンパスの精度の不足により、実際の移動カメラ２０の撮影方向は北や西である可能性は高い。一方で、電子コンパスが示す方向の真逆である南東などが移動カメラ２０の撮影方向である可能性は低いといえる。
【0119】
そこで撮影方向推定部２１４０は、候補撮影方向から、電子コンパスが示す方向との角度の差異が大きい南東などを除外する。ここで、候補撮影方向から除外する方向の数を表す所定の数を予め定めておくとする。例えば上記所定の数が３であれば、撮影方向推定部２１４０は南東、南、及び東を候補撮影方向から除外する。また、上記所定の数が５であれば、撮影方向推定部２１４０は南東、南、東、南西、及び北東を候補撮影方向から除外する。図２９では、南東、南、及び東が候補撮影方向から除外されている。
【0120】
＜＜＜第２監視画像２２に写っている背景を利用して絞り込む方法＞＞＞
撮影方向推定部２１４０は第２監視画像２２に写っている背景に基づいて候補撮影方向の絞り込みを行う。例えば撮影方向推定部２１４０は、第２監視画像２２に写っている背景が移動カメラ２０の画角に入らないと予測される候補撮影方向を除外する。
撮影方向推定部２１４０は第２監視画像２２に写っている背景に基づいて候補撮影方向の絞り込みを行う。例えば撮影方向推定部２１４０は、第２監視画像２２に写っている背景が移動カメラ２０の画角に入らないと予測される候補撮影方向を除外する。
【0121】
図３０は、第２監視画像２２に写っている背景に基づいて候補撮影方向を絞り込む方法を説明するための図である。図３０は監視対象の周辺の地図を示している。ここで、第２監視画像２２にはビル１６０が写っているとする。この場合、例えば移動カメラ２０の撮影方向が南東である場合、第２監視画像２２にはビル１６０が写らない。一方で、移動カメラ２０の撮影方向が北西であれば、第２監視画像２２にはビル１６０が写ると考えられる。
【0122】
そこで撮影方向推定部２１４０は、このように第２監視画像２２に写っている背景から、監視対象の周辺の特徴的な建物や看板などを表す背景を抽出する。そして、撮影方向推定部２１４０は、抽出した背景の地図上の位置と移動カメラ２０の位置との関係から、その抽出した背景が写る可能性が低い候補撮影方向を除外する。具体的には、撮影方向推定部２１４０は、移動カメラ２０の位置を始点とし、抽出した背景の地図上の位置を終点とする方向との角度の差異が大きい候補撮影方向を除外する。例えば撮影方向推定部２１４０は、前述した電子コンパスを利用した候補撮影方向の除外と同様に、所定の数の候補撮影方向を除外する。図３０では、南東、南、及び東が候補撮影方向から除外されている。
【0123】
また例えば、撮影方向推定部２１４０は、上記抽出した背景の第２監視画像２２における位置に基づいて、候補撮影方向を絞り込んでもよい。図３１は、第２監視画像２２上における特定の背景の位置に基づいて候補撮影方向を絞り込む方法を説明するための図である。図３１（ａ）は第２監視画像２２を示しており、図３１（ｂ）は地図上における移動カメラ２０とビル１６０の位置関係を示している。図３１（ａ）の第２監視画像２２において、ビル１６０は、第２監視画像２２の中心よりも右寄りに写っている。この場合、移動カメラ２０の撮影方向は、移動カメラ２０の位置とビル１６０の地図上の位置とを結んだ方向（方向１７０）よりも＋方向に回転した方向になる。
【0124】
そこで撮影方向推定部２１４０は、移動カメラ２０の位置とビル１６０の地図上の位置とを結んだ方向との成す角が -0 度以上 -180 度以下の範囲にある候補撮影方向を除外する。例えば図３１（ｂ）の場合、候補撮影方向１７４は候補撮影方向から除外され、候補撮影方向１７２は候補撮影方向から除外されない。
【0125】
＜＜移動カメラ２０の撮影方向の総合的な推定＞＞
撮影方向推定部２１４０は、所定期間に移動カメラ２０の撮影方向を複数回推定し、それら複数の推定結果に基づいて、移動カメラ２０の撮影方向を総合的に推定してもよい。例えば撮影方向推定部２１４０は、移動カメラ２０の撮影方向の総合的な推定結果を毎秒算出するとする。また、固定カメラ１０と移動カメラ２０が１秒間に３０フレームの頻度（30fps）で撮影を行うカメラであるとする。この場合、撮影方向推定部２１４０は、第１監視画像１２と第２監視画像２２とが生成される度に移動カメラ２０の撮影方向を推定することで、移動カメラ２０の撮影方向の推定を１秒間に３０回行う。そして、この３０回の推定結果に基づいて、総合的な推定結果を算出する。
撮影方向推定部２１４０は、所定期間に移動カメラ２０の撮影方向を複数回推定し、それら複数の推定結果に基づいて、移動カメラ２０の撮影方向を総合的に推定してもよい。例えば撮影方向推定部２１４０は、移動カメラ２０の撮影方向の総合的な推定結果を毎秒算出するとする。また、固定カメラ１０と移動カメラ２０が１秒間に３０フレームの頻度（30fps）で撮影を行うカメラであるとする。この場合、撮影方向推定部２１４０は、第１監視画像１２と第２監視画像２２とが生成される度に移動カメラ２０の撮影方向を推定することで、移動カメラ２０の撮影方向の推定を１秒間に３０回行う。そして、この３０回の推定結果に基づいて、総合的な推定結果を算出する。
【0126】
具体的には、撮影方向推定部２１４０は、所定期間に算出された複数の推定結果を統計処理して、移動カメラ２０の撮影方向を推定する。例えば撮影方向推定部２１４０は、複数の推定結果の最頻値を移動カメラ２０の撮影方向とする。例として、１秒間に３０回行われた推定の結果の内訳が、「北：２０回、北西：８回、北東：２回」であったとする。この場合、撮影方向推定部２１４０は、最も多く算出された北が、その１秒間における移動カメラ２０の撮影方向であると推定する。
【0127】
また例えば、撮影方向推定部２１４０は、複数の推定結果の平均値を算出し、その平均値を移動カメラ２０の撮影方向としてもよい。具体的には、撮影方向推定部２１４０は、複数回算出された移動カメラ２０の推定方向それぞれを、東を +0度とする数値で表し、これらの数値の平均値を求め、この数値を移動カメラ２０の撮影方向とする。
【0128】
なお撮影方向推定部２１４０は、所定期間に複数回行った推定の結果を用いて総合的な推定結果を算出する場合、複数の推定結果の内、信頼度が高い結果のみを用いて上記総合的な推定結果を算出してもよい。例えば撮影方向推定部２１４０は、１秒間に１回、移動カメラ２０の撮影方向の総合的な推定結果を算出するとする。また、固定カメラ１０と移動カメラ２０が 30fps で撮影を行うカメラであるとする。
【0129】
この場合、撮影方向推定部２１４０は、第１監視画像１２と第２監視画像２２とが生成される度に移動カメラ２０の撮影方向を推定することで、移動カメラ２０の撮影方向の推定を１秒間に３０回行う。次に撮影方向推定部２１４０は、１秒間における３０回の推定結果を時系列で連続する１０回ごとのグループに分ける。そして撮影方向推定部２１４０は、３つのグループのうち、信頼度が高いグループを用いて、その１秒間における移動カメラ２０の撮影方向の総合的な推定結果を算出する。
【0130】
上述したグループの信頼度は、例えばそのグループ内の推定結果の分散の大きさに基づいて定まる。推定結果の分散が大きい場合、推定された移動カメラ２０の撮影方向が大きくばらついているため、推定結果の信頼度が低いと考えられる。一方、推定結果の分散が小さい場合、推定された移動カメラ２０の撮影方向のばらつきが小さいため、推定結果の信頼度が高いと考えられる。そこで例えば、撮影方向推定部２１４０は、各推定結果を、東を +0 度とした数値で表すことで、グループ内の推定結果の分散を算出する。そして、撮影方向推定部２１４０は、算出した分散が所定値以下であるグループに含まれる推定結果のみを用いて、総合的な推定結果を算出する。
【0131】
＜＜＜群衆の流れの変化の利用＞＞＞
場所によっては、群衆の流れが定期的又は不定期に変化することがある。例えば交差点付近では、信号の切り替わりによって、群衆の流れが変化する。図３２は、交差点付近で群衆の流れが変化する例を示す図である。図３２では、交差点を鉛直方向に平面視した様子が示されている。ある時点において、横断歩道１３０の信号１３１が青になっており、横断歩道１４０の信号１４１が赤になっているとする。この場合、群衆は横断歩道１３０を渡るため、例えば方向１３２へ流れる。その後、信号１３１が赤になり、信号１４１が青になったとする。この場合、群衆は横断歩道１４０を渡るため、例えば方向１４２へ流れる。
場所によっては、群衆の流れが定期的又は不定期に変化することがある。例えば交差点付近では、信号の切り替わりによって、群衆の流れが変化する。図３２は、交差点付近で群衆の流れが変化する例を示す図である。図３２では、交差点を鉛直方向に平面視した様子が示されている。ある時点において、横断歩道１３０の信号１３１が青になっており、横断歩道１４０の信号１４１が赤になっているとする。この場合、群衆は横断歩道１３０を渡るため、例えば方向１３２へ流れる。その後、信号１３１が赤になり、信号１４１が青になったとする。この場合、群衆は横断歩道１４０を渡るため、例えば方向１４２へ流れる。
【0132】
このように群衆の流れが変化する場合、撮影方向推定部２１４０は、変化の前後それぞれについて移動カメラ２０の撮影方向を推定し、その結果から総合的に移動カメラ２０の撮影方向を推定してもよい。具体的には、撮影方向推定部２１４０は、群衆の流れの変化の前後において撮影された第１監視画像１２と第２監視画像２２を用いて、群衆の流れの前後それぞれについて移動カメラ２０の撮影方向を推定する。そして、撮影方向推定部２１４０は、推定した撮影方向を統計処理することにより、最終的な推定結果を算出する。
【0133】
例えば、図３２の例において、群衆が方向１３２に流れている場合に撮影方向推定部２１４０が移動カメラ２０の撮影方向を推定すると、第２移動方向との一致度合いが高い候補移動方向が北と北西であったとする。次に、群衆が方向１４２に流れている場合に撮影方向推定部２１４０が移動カメラ２０の撮影方向を推定すると、第２移動方向との一致度合いが高い候補移動方向が北と北東であったとする。この場合、撮影方向推定部２１４０は、群衆が方向１３２に流れている場合と方向１４２に流れている場合の双方で第２移動方向との一致度合いが高かった（最頻値である）北が、移動カメラ２０の撮影方向であると推定する。
【0134】
＜＜移動カメラ２０の撮影方向の変化への追従＞＞
移動カメラ２０の撮影方向は変化しうる。そのため撮影方向推定部２１４０は、繰り返し移動カメラ２０の撮影方向を推定することが好ましい。例えば撮影方向推定部２１４０は、１秒間に１回や１０秒間に１回などの頻度で繰り返し移動カメラ２０の撮影方向の推定を行う。
移動カメラ２０の撮影方向は変化しうる。そのため撮影方向推定部２１４０は、繰り返し移動カメラ２０の撮影方向を推定することが好ましい。例えば撮影方向推定部２１４０は、１秒間に１回や１０秒間に１回などの頻度で繰り返し移動カメラ２０の撮影方向の推定を行う。
【0135】
ただし、撮影方向推定部２１４０は、一度前述した方法で移動カメラ２０の撮影方向を推定した後は、その後の移動カメラ２０の撮影方向の変化に基づいて、その後の移動カメラ２０の撮影方向を推定することができる。具体的には、撮影方向推定部２１４０は、移動カメラ２０の撮影方向の変化を算出し、算出した変化とその変化前に推定された移動カメラ２０の撮影方向とから、変化後の移動カメラ２０の撮影方向を推定できる。例えば、時点 t において撮影方向推定部２１４０が、移動カメラ２０の撮影方向は北であると推定したとする。次に t1 秒後、撮影方向推定部２１４０は、移動カメラ２０の撮影方向が +45 度変化したと算出したとする。この場合、撮影方向推定部２１４０は、時点 t+t1 における移動カメラ２０の撮影方向は北西であると推定する。
【0136】
そこで撮影方向推定部２１４０は、繰り返し行う移動カメラ２０の撮影方向の推定処理のうちの一部を、移動カメラ２０の撮影方向の変化に基づいて移動カメラ２０の撮影方向を推定する処理としてもよい。以下、第１移動方向及び第２移動方向を用いて移動カメラ２０の撮影方向を推定する処理を第１推定処理と表記し、移動カメラ２０の撮影方向の変化を算出することで移動カメラ２０の撮影方向を推定する処理を第２推定処理と表記する。
【0137】
図３３は撮影方向推定部２１４０が行う移動カメラ２０の撮影方向の推定処理の内訳を時系列で例示する図である。図３３の例において撮影方向推定部２１４０は１秒間に１回の頻度で移動カメラ２０の撮影方向を推定する。ここで撮影方向推定部２１４０は、「第１推定処理を１回行った後は、第２推定処理を９回行う」という処理を繰り返す。よって、第１推定処理が行われる頻度は１０秒間に１回となる。
【0138】
なお、前述したように、撮影方向推定部２１４０は、移動カメラ２０の撮影方向の推定を複数回行い、その複数回の推定結果に基づいて総合的に移動カメラ２０の撮影方向を推定する場合もある。この場合、図３３では、この総合的な移動カメラ２０の撮影方向の推定を行う処理が、一回の第１推定処理として表される。
【0139】
移動カメラ２０の撮影方向の変化を算出する方法は様々である。例えば移動カメラ２０の撮影方向の変化は、移動カメラ２０に取り付けられた加速度センサを用いて算出することができる。移動カメラ２０に取り付けられた加速度センサを用いると、加速度センサの出力の変化から、移動カメラ２０の姿勢の相対的な変化を算出することができる。そこで例えば、撮影方向推定部２１４０は、時点 t における移動カメラ２０の撮影方向を推定した時における加速度センサの出力と、時点 t+t1 における加速度センサの出力との差異から、時点 t+t1 における移動カメラ２０の撮影方向の変化を算出する。
【0140】
また例えば、移動カメラ２０の撮影方向の変化は、第２監視画像２２に写っている特徴点の変化の追跡によって算出することができる。図３４は、第２監視画像２２の特徴点の位置の変化を例示する図である。ここで、ある時点 t において位置１５０－１に写っていた特徴点が、時点 t+t1 において位置１５０－２へ移動したとする。ここで、移動した水平方向の距離は x である。まず、特徴点が右方向に移動していることから、移動カメラ２０の撮影方向が + 方向に変化したことが分かる。さらに、特徴点が移動した水平方向の距離 x と、移動カメラ２０の画角とに基づいて、移動カメラ２０の撮影方向の変化の大きさが分かる。よって、撮影方向推定部２１４０は、移動カメラ２０の撮影方向が変化した方向及びその変化の大きさから、移動カメラ２０の撮影方向の変化を算出することができる。
【0141】
第２推定処理（移動カメラ２０の撮影方向の変化を利用して移動カメラ２０の撮影方向を推定する処理）の計算量は、第１推定処理（第１移動方向や第２移動方向の算出などを行って移動カメラ２０の撮影方向を推定する処理）の計算量よりも小さい。よって、繰り返し移動カメラ２０の撮影方向を算出する場合、第１推定処理と第２推定処理とを併用することで、監視情報生成装置２０００の処理負荷を軽減することができるという効果がある。
【0142】
＜監視画像の傾きの補正について＞
第１移動方向推定部２１００、第２移動方向推定部２１２０、及び撮影方向推定部２１４０は、第１監視画像１２や第２監視画像２２の垂直方向の傾きを補正してから上述した処理を行うことが好ましい。例えば各画像の垂直方向の傾きの補正は、画像に写っている建物等の線の傾きに基づいて行うことができる。例えば第１監視画像１２にビルが写っている場合、第１移動方向推定部２１００等は、第１監視画像１２に写っているビルの高さ方向の線を抽出し、その線が第１監視画像１２の水平方向と直角となるように補正することで、第１監視画像１２の垂直方向の傾きを補正する。
第１移動方向推定部２１００、第２移動方向推定部２１２０、及び撮影方向推定部２１４０は、第１監視画像１２や第２監視画像２２の垂直方向の傾きを補正してから上述した処理を行うことが好ましい。例えば各画像の垂直方向の傾きの補正は、画像に写っている建物等の線の傾きに基づいて行うことができる。例えば第１監視画像１２にビルが写っている場合、第１移動方向推定部２１００等は、第１監視画像１２に写っているビルの高さ方向の線を抽出し、その線が第１監視画像１２の水平方向と直角となるように補正することで、第１監視画像１２の垂直方向の傾きを補正する。
【0143】
また、第１監視画像１２の垂直方向の傾きの補正は、固定カメラ１０の垂直方向の傾きを表すカメラパラメータを用いて行ってもよい。また、第２監視画像２２の垂直方向の傾きの補正は、移動カメラ２０に取り付けられた加速度センサから算出できる移動カメラ２０の垂直方向の傾きを用いて行ってもよい。
【0144】
＜監視情報生成装置２０００のハードウエア構成例＞
実施形態２の監視情報生成装置２０００は、実施形態１と同様に計算機１０００を用いて実現される（図４参照）。本実施形態において、前述したストレージ１０８０に記憶される各プログラムモジュールには、本実施形態で説明した各機能を実現するプログラムがさらに含まれる。
実施形態２の監視情報生成装置２０００は、実施形態１と同様に計算機１０００を用いて実現される（図４参照）。本実施形態において、前述したストレージ１０８０に記憶される各プログラムモジュールには、本実施形態で説明した各機能を実現するプログラムがさらに含まれる。
【0145】
＜変形例＞
移動カメラ２０の撮影方向を推定する装置は、監視情報生成装置２０００とは別途設けられてもよい。この装置を撮影方向推定装置３０００と表記する。図３５は、撮影方向推定装置３０００を例示するブロック図である。図３５において、各ブロックはハードウエア単位の構成ではなく、機能単位の構成を示す。
移動カメラ２０の撮影方向を推定する装置は、監視情報生成装置２０００とは別途設けられてもよい。この装置を撮影方向推定装置３０００と表記する。図３５は、撮影方向推定装置３０００を例示するブロック図である。図３５において、各ブロックはハードウエア単位の構成ではなく、機能単位の構成を示す。
【0146】
撮影方向推定装置３０００は、第１監視画像取得部２０２０、第２監視画像取得部２０４０、第１移動方向推定部２１００、第２移動方向推定部２１２０、及び撮影方向推定部２１４０を有する。各機能構成部の機能は、前述した通りである。
【0147】
撮影方向推定装置３０００のハードウエア構成は、監視情報生成装置２０００と同様に、例えば図４で表される。なお撮影方向推定装置３０００を実現する計算機が有するストレージには、図３５に示す各機能構成部の機能を実現するためのプログラムモジュールが格納されている。
【0148】
なお、監視情報生成装置２０００から独立して撮影方向推定装置３０００が設けられている場合、監視情報生成装置２０００の生成部２０６０は、撮影方向推定装置３０００から移動カメラ２０の撮影方向を取得して利用する。
【0149】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
【0150】
以下、参考形態の例を付記する。
１． 位置が固定されたカメラである固定カメラによって撮影された第１の監視画像を取得する第１取得手段と、
位置が固定されていないカメラである移動カメラによって撮影された第２の監視画像を取得する第２取得手段と、
前記第１の監視画像及び前記第２の監視画像を用いて、オブジェクトの監視情報を生成する生成手段と、を有する監視情報生成装置。
２． 前記生成手段は、前記監視情報として、前記第１の監視画像に対して前記第２の監視画像を重畳した表示を生成する、１．に記載の監視情報生成装置。
３． 前記生成手段は、前記移動カメラの実世界上の位置に対応する前記第１の監視画像上の位置に前記第２の監視画像を重畳する、２．に記載の監視情報生成装置。
４． 前記生成手段は、
前記第１の監視画像上に前記移動カメラを表すマークを表示し、
前記マークを選択する操作が行われた場合に、前記監視情報として、そのマークに対応する移動カメラによって生成された前記第２の監視画像を前記第１の監視画像上に重畳した表示を生成する、２．又は３．に記載の監視情報生成装置。
５． 前記生成手段は、
前記第１の監視画像に写っているオブジェクトの分布を表す分布情報を生成し、
前記第２の監視画像に写っているオブジェクトの数を算出し、
前記第２の監視画像に写っているオブジェクトの数を用いて前記分布情報を補正し、前記補正した分布情報を前記監視情報として生成する、１．に記載の監視情報生成装置。
６． 前記生成手段は、前記第１の監視画像に前記補正された分布情報を重畳した表示を生成する、５．に記載の監視情報生成装置。
７． 監視対象の場所の地図情報を取得する地図情報取得手段を有し、
前記生成手段は、前記地図情報によって表される地図上に前記補正された分布情報を重畳した表示を生成する、５．に記載の監視情報生成装置。
８． 前記生成手段は、
前記移動カメラの撮影方向を用いて、前記第１の監視画像内における前記移動カメラの撮影範囲を算出し、
前記分布情報によって示される前記移動カメラの撮影範囲内における前記オブジェクトの数又は分布を、前記第２の監視画像に写っているオブジェクトの数を用いて補正する、５．乃至７．いずれか一つに記載の監視情報生成装置。
９． 前記生成手段は、前記第１の監視画像に対して前記移動カメラの撮影方向を表す表示を重畳する、１．乃至８．いずれか一つに記載の監視情報生成装置。
１０． 前記第１の監視画像におけるオブジェクトの移動方向である第１の移動方向を推定する第１移動方向推定手段と、
前記第２の監視画像におけるオブジェクトの移動方向である第２の移動方向を推定する第２移動方向推定手段と、
前記第１の移動方向、前記第２の移動方向、前記固定カメラの位置及び姿勢、並びに前記移動カメラの位置に基づいて、前記移動カメラの撮影方向を推定する撮影方向推定手段と、を有し、
前記生成手段は、前記推定した移動カメラの撮影方向を、前記移動カメラの撮影方向として用いる、８．又は９．に記載の監視情報生成装置。
１１． 前記撮影方向推定手段は、
前記固定カメラの位置及び姿勢並びに前記第１の移動方向を用いて、監視対象の場所を鉛直方向に平面視した平面上における、前記第２の監視画像に写っているオブジェクトの移動方向である第３の移動方向を算出し、
前記移動カメラの位置で複数の候補撮影方向それぞれから前記第３の移動方向へ移動するオブジェクトを見た際におけるそのオブジェクトの移動方向である、複数の候補移動方向を算出し、
前記第２の移動方向との一致度合いが最も高い前記候補移動方向が前記移動カメラの撮影方向であると推定する、１０．に記載の監視情報生成装置。
１２． 前記撮影方向推定手段は、前記固定カメラの位置及び姿勢並びに前記第１の移動方向を用いて、前記平面上における前記第１の監視画像に写っているオブジェクトの移動方向を算出し、前記算出した移動方向を前記第３の移動方向とする、１１．に記載の監視情報生成装置。
１３． オブジェクトの移動経路を示す移動経路情報を取得する移動経路情報取得手段を有し、
前記撮影方向推定手段は、
前記固定カメラの位置及び姿勢並びに前記第１の移動方向を用いて、前記平面上における前記第１の監視画像に写っているオブジェクトの移動方向を算出し、
前記算出した移動方向を前記移動経路情報に示される移動経路に沿って前記移動カメラの付近へ移動させた位置を前記第３の移動方向とする、１１．に記載の監視情報生成装置。
１４． 位置が固定されたカメラである固定カメラによって撮影された第１の監視画像におけるオブジェクトの移動方向である第１の移動方向を推定する第１移動方向推定手段と、
位置が固定されていないカメラである移動カメラによって撮影された第２の監視画像におけるオブジェクトの移動方向である第２の移動方向を推定する第２移動方向推定手段と、
前記第１の移動方向、前記第２の移動方向、前記固定カメラの位置及び姿勢、並びに前記移動カメラの位置に基づいて、前記移動カメラの撮影方向を推定する撮影方向推定手段と、を有する撮影方向推定装置。
１５． 前記撮影方向推定手段は、
前記固定カメラの位置及び姿勢並びに前記第１の移動方向を用いて、監視対象の場所を鉛直方向に平面視した平面上における、前記第２の監視画像に写っているオブジェクトの移動方向である第３の移動方向を算出し、
前記移動カメラの位置で複数の候補撮影方向それぞれから前記第３の移動方向へ移動するオブジェクトを見た際におけるそのオブジェクトの移動方向である、複数の候補移動方向を算出し、
前記第２の移動方向との一致度合いが最も高い前記候補移動方向が前記移動カメラの撮影方向であると推定する、１４．に記載の撮影方向推定装置。
１６． 前記撮影方向推定手段は、前記固定カメラの位置及び姿勢並びに前記第１の移動方向を用いて、前記平面上における前記第１の監視画像に写っているオブジェクトの移動方向を算出し、前記算出した移動方向を前記第３の移動方向とする、１５．に記載の撮影方向推定装置。
１７． オブジェクトの移動経路を示す移動経路情報を取得する移動経路情報取得手段を有し、
前記撮影方向推定手段は、
前記固定カメラの位置及び姿勢並びに前記第１の移動方向を用いて、前記平面上における前記第１の監視画像に写っているオブジェクトの移動方向を算出し、
前記算出した移動方向を前記移動経路情報に示される移動経路に沿って前記移動カメラの付近へ移動させた位置を前記第３の移動方向とする、１５．に記載の撮影方向推定装置。
１８． コンピュータによって実行される監視情報生成方法であって、
位置が固定されたカメラである固定カメラによって撮影された第１の監視画像を取得する第１取得ステップと、
位置が固定されていないカメラである移動カメラによって撮影された第２の監視画像を取得する第２取得ステップと、
前記第１の監視画像及び前記第２の監視画像を用いて、オブジェクトの監視情報を生成する生成ステップと、を有する監視情報生成方法。
１９． 前記生成ステップは、前記監視情報として、前記第１の監視画像に対して前記第２の監視画像を重畳した表示を生成する、１８．に記載の監視情報生成方法。
２０． 前記生成ステップは、前記移動カメラの実世界上の位置に対応する前記第１の監視画像上の位置に前記第２の監視画像を重畳する、１９．に記載の監視情報生成方法。
２１． 前記生成ステップは、
前記第１の監視画像上に前記移動カメラを表すマークを表示し、
前記マークを選択する操作が行われた場合に、前記監視情報として、そのマークに対応する移動カメラによって生成された前記第２の監視画像を前記第１の監視画像上に重畳した表示を生成する、１９．又は２０．に記載の監視情報生成方法。
２２． 前記生成ステップは、
前記第１の監視画像に写っているオブジェクトの分布を表す分布情報を生成し、
前記第２の監視画像に写っているオブジェクトの数を算出し、
前記第２の監視画像に写っているオブジェクトの数を用いて前記分布情報を補正し、前記補正した分布情報を前記監視情報として生成する、１８．に記載の監視情報生成方法。
２３． 前記生成ステップは、前記第１の監視画像に前記補正された分布情報を重畳した表示を生成する、２２．に記載の監視情報生成方法。
２４． 監視対象の場所の地図情報を取得する地図情報取得ステップを有し、
前記生成ステップは、前記地図情報によって表される地図上に前記補正された分布情報を重畳した表示を生成する、２２．に記載の監視情報生成方法。
２５． 前記生成ステップは、
前記移動カメラの撮影方向を用いて、前記第１の監視画像内における前記移動カメラの撮影範囲を算出し、
前記分布情報によって示される前記移動カメラの撮影範囲内における前記オブジェクトの数又は分布を、前記第２の監視画像に写っているオブジェクトの数を用いて補正する、２２．乃至２４．いずれか一つに記載の監視情報生成方法。
２６． 前記生成ステップは、前記第１の監視画像に対して前記移動カメラの撮影方向を表す表示を重畳する、１８．乃至２５．いずれか一つに記載の監視情報生成方法。
２７． 前記第１の監視画像におけるオブジェクトの移動方向である第１の移動方向を推定する第１移動方向推定ステップと、
前記第２の監視画像におけるオブジェクトの移動方向である第２の移動方向を推定する第２移動方向推定ステップと、
前記第１の移動方向、前記第２の移動方向、前記固定カメラの位置及び姿勢、並びに前記移動カメラの位置に基づいて、前記移動カメラの撮影方向を推定する撮影方向推定ステップと、を有し、
前記生成ステップは、前記推定した移動カメラの撮影方向を、前記移動カメラの撮影方向として用いる、２５．又は２６．に記載の監視情報生成方法。
２８． 前記撮影方向推定ステップは、
前記固定カメラの位置及び姿勢並びに前記第１の移動方向を用いて、監視対象の場所を鉛直方向に平面視した平面上における、前記第２の監視画像に写っているオブジェクトの移動方向である第３の移動方向を算出し、
前記移動カメラの位置で複数の候補撮影方向それぞれから前記第３の移動方向へ移動するオブジェクトを見た際におけるそのオブジェクトの移動方向である、複数の候補移動方向を算出し、
前記第２の移動方向との一致度合いが最も高い前記候補移動方向が前記移動カメラの撮影方向であると推定する、２７．に記載の監視情報生成方法。
２９． 前記撮影方向推定ステップは、前記固定カメラの位置及び姿勢並びに前記第１の移動方向を用いて、前記平面上における前記第１の監視画像に写っているオブジェクトの移動方向を算出し、前記算出した移動方向を前記第３の移動方向とする、２８．に記載の監視情報生成方法。
３０． オブジェクトの移動経路を示す移動経路情報を取得する移動経路情報取得ステップを有し、
前記撮影方向推定ステップは、
前記固定カメラの位置及び姿勢並びに前記第１の移動方向を用いて、前記平面上における前記第１の監視画像に写っているオブジェクトの移動方向を算出し、
前記算出した移動方向を前記移動経路情報に示される移動経路に沿って前記移動カメラの付近へ移動させた位置を前記第３の移動方向とする、２８．に記載の監視情報生成方法。
３１． コンピュータによって実行される撮影方向推定方法であって、
位置が固定されたカメラである固定カメラによって撮影された第１の監視画像におけるオブジェクトの移動方向である第１の移動方向を推定する第１移動方向推定ステップと、
位置が固定されていないカメラである移動カメラによって撮影された第２の監視画像におけるオブジェクトの移動方向である第２の移動方向を推定する第２移動方向推定ステップと、
前記第１の移動方向、前記第２の移動方向、前記固定カメラの位置及び姿勢、並びに前記移動カメラの位置に基づいて、前記移動カメラの撮影方向を推定する撮影方向推定ステップと、を有する撮影方向推定方法。
３２． 前記撮影方向推定ステップは、
前記固定カメラの位置及び姿勢並びに前記第１の移動方向を用いて、監視対象の場所を鉛直方向に平面視した平面上における、前記第２の監視画像に写っているオブジェクトの移動方向である第３の移動方向を算出し、
前記移動カメラの位置で複数の候補撮影方向それぞれから前記第３の移動方向へ移動するオブジェクトを見た際におけるそのオブジェクトの移動方向である、複数の候補移動方向を算出し、
前記第２の移動方向との一致度合いが最も高い前記候補移動方向が前記移動カメラの撮影方向であると推定する、３１．に記載の撮影方向推定方法。
３３． 前記撮影方向推定ステップは、前記固定カメラの位置及び姿勢並びに前記第１の移動方向を用いて、前記平面上における前記第１の監視画像に写っているオブジェクトの移動方向を算出し、前記算出した移動方向を前記第３の移動方向とする、３２．に記載の撮影方向推定方法。
３４． オブジェクトの移動経路を示す移動経路情報を取得する移動経路情報取得ステップを有し、
前記撮影方向推定ステップは、
前記固定カメラの位置及び姿勢並びに前記第１の移動方向を用いて、前記平面上における前記第１の監視画像に写っているオブジェクトの移動方向を算出し、
前記算出した移動方向を前記移動経路情報に示される移動経路に沿って前記移動カメラの付近へ移動させた位置を前記第３の移動方向とする、３２．に記載の撮影方向推定方法。
３５． コンピュータに１８．乃至３４．いずれか一つに記載の各ステップを実行させるプログラム。
１． 位置が固定されたカメラである固定カメラによって撮影された第１の監視画像を取得する第１取得手段と、
位置が固定されていないカメラである移動カメラによって撮影された第２の監視画像を取得する第２取得手段と、
前記第１の監視画像及び前記第２の監視画像を用いて、オブジェクトの監視情報を生成する生成手段と、を有する監視情報生成装置。
２． 前記生成手段は、前記監視情報として、前記第１の監視画像に対して前記第２の監視画像を重畳した表示を生成する、１．に記載の監視情報生成装置。
３． 前記生成手段は、前記移動カメラの実世界上の位置に対応する前記第１の監視画像上の位置に前記第２の監視画像を重畳する、２．に記載の監視情報生成装置。
４． 前記生成手段は、
前記第１の監視画像上に前記移動カメラを表すマークを表示し、
前記マークを選択する操作が行われた場合に、前記監視情報として、そのマークに対応する移動カメラによって生成された前記第２の監視画像を前記第１の監視画像上に重畳した表示を生成する、２．又は３．に記載の監視情報生成装置。
５． 前記生成手段は、
前記第１の監視画像に写っているオブジェクトの分布を表す分布情報を生成し、
前記第２の監視画像に写っているオブジェクトの数を算出し、
前記第２の監視画像に写っているオブジェクトの数を用いて前記分布情報を補正し、前記補正した分布情報を前記監視情報として生成する、１．に記載の監視情報生成装置。
６． 前記生成手段は、前記第１の監視画像に前記補正された分布情報を重畳した表示を生成する、５．に記載の監視情報生成装置。
７． 監視対象の場所の地図情報を取得する地図情報取得手段を有し、
前記生成手段は、前記地図情報によって表される地図上に前記補正された分布情報を重畳した表示を生成する、５．に記載の監視情報生成装置。
８． 前記生成手段は、
前記移動カメラの撮影方向を用いて、前記第１の監視画像内における前記移動カメラの撮影範囲を算出し、
前記分布情報によって示される前記移動カメラの撮影範囲内における前記オブジェクトの数又は分布を、前記第２の監視画像に写っているオブジェクトの数を用いて補正する、５．乃至７．いずれか一つに記載の監視情報生成装置。
９． 前記生成手段は、前記第１の監視画像に対して前記移動カメラの撮影方向を表す表示を重畳する、１．乃至８．いずれか一つに記載の監視情報生成装置。
１０． 前記第１の監視画像におけるオブジェクトの移動方向である第１の移動方向を推定する第１移動方向推定手段と、
前記第２の監視画像におけるオブジェクトの移動方向である第２の移動方向を推定する第２移動方向推定手段と、
前記第１の移動方向、前記第２の移動方向、前記固定カメラの位置及び姿勢、並びに前記移動カメラの位置に基づいて、前記移動カメラの撮影方向を推定する撮影方向推定手段と、を有し、
前記生成手段は、前記推定した移動カメラの撮影方向を、前記移動カメラの撮影方向として用いる、８．又は９．に記載の監視情報生成装置。
１１． 前記撮影方向推定手段は、
前記固定カメラの位置及び姿勢並びに前記第１の移動方向を用いて、監視対象の場所を鉛直方向に平面視した平面上における、前記第２の監視画像に写っているオブジェクトの移動方向である第３の移動方向を算出し、
前記移動カメラの位置で複数の候補撮影方向それぞれから前記第３の移動方向へ移動するオブジェクトを見た際におけるそのオブジェクトの移動方向である、複数の候補移動方向を算出し、
前記第２の移動方向との一致度合いが最も高い前記候補移動方向が前記移動カメラの撮影方向であると推定する、１０．に記載の監視情報生成装置。
１２． 前記撮影方向推定手段は、前記固定カメラの位置及び姿勢並びに前記第１の移動方向を用いて、前記平面上における前記第１の監視画像に写っているオブジェクトの移動方向を算出し、前記算出した移動方向を前記第３の移動方向とする、１１．に記載の監視情報生成装置。
１３． オブジェクトの移動経路を示す移動経路情報を取得する移動経路情報取得手段を有し、
前記撮影方向推定手段は、
前記固定カメラの位置及び姿勢並びに前記第１の移動方向を用いて、前記平面上における前記第１の監視画像に写っているオブジェクトの移動方向を算出し、
前記算出した移動方向を前記移動経路情報に示される移動経路に沿って前記移動カメラの付近へ移動させた位置を前記第３の移動方向とする、１１．に記載の監視情報生成装置。
１４． 位置が固定されたカメラである固定カメラによって撮影された第１の監視画像におけるオブジェクトの移動方向である第１の移動方向を推定する第１移動方向推定手段と、
位置が固定されていないカメラである移動カメラによって撮影された第２の監視画像におけるオブジェクトの移動方向である第２の移動方向を推定する第２移動方向推定手段と、
前記第１の移動方向、前記第２の移動方向、前記固定カメラの位置及び姿勢、並びに前記移動カメラの位置に基づいて、前記移動カメラの撮影方向を推定する撮影方向推定手段と、を有する撮影方向推定装置。
１５． 前記撮影方向推定手段は、
前記固定カメラの位置及び姿勢並びに前記第１の移動方向を用いて、監視対象の場所を鉛直方向に平面視した平面上における、前記第２の監視画像に写っているオブジェクトの移動方向である第３の移動方向を算出し、
前記移動カメラの位置で複数の候補撮影方向それぞれから前記第３の移動方向へ移動するオブジェクトを見た際におけるそのオブジェクトの移動方向である、複数の候補移動方向を算出し、
前記第２の移動方向との一致度合いが最も高い前記候補移動方向が前記移動カメラの撮影方向であると推定する、１４．に記載の撮影方向推定装置。
１６． 前記撮影方向推定手段は、前記固定カメラの位置及び姿勢並びに前記第１の移動方向を用いて、前記平面上における前記第１の監視画像に写っているオブジェクトの移動方向を算出し、前記算出した移動方向を前記第３の移動方向とする、１５．に記載の撮影方向推定装置。
１７． オブジェクトの移動経路を示す移動経路情報を取得する移動経路情報取得手段を有し、
前記撮影方向推定手段は、
前記固定カメラの位置及び姿勢並びに前記第１の移動方向を用いて、前記平面上における前記第１の監視画像に写っているオブジェクトの移動方向を算出し、
前記算出した移動方向を前記移動経路情報に示される移動経路に沿って前記移動カメラの付近へ移動させた位置を前記第３の移動方向とする、１５．に記載の撮影方向推定装置。
１８． コンピュータによって実行される監視情報生成方法であって、
位置が固定されたカメラである固定カメラによって撮影された第１の監視画像を取得する第１取得ステップと、
位置が固定されていないカメラである移動カメラによって撮影された第２の監視画像を取得する第２取得ステップと、
前記第１の監視画像及び前記第２の監視画像を用いて、オブジェクトの監視情報を生成する生成ステップと、を有する監視情報生成方法。
１９． 前記生成ステップは、前記監視情報として、前記第１の監視画像に対して前記第２の監視画像を重畳した表示を生成する、１８．に記載の監視情報生成方法。
２０． 前記生成ステップは、前記移動カメラの実世界上の位置に対応する前記第１の監視画像上の位置に前記第２の監視画像を重畳する、１９．に記載の監視情報生成方法。
２１． 前記生成ステップは、
前記第１の監視画像上に前記移動カメラを表すマークを表示し、
前記マークを選択する操作が行われた場合に、前記監視情報として、そのマークに対応する移動カメラによって生成された前記第２の監視画像を前記第１の監視画像上に重畳した表示を生成する、１９．又は２０．に記載の監視情報生成方法。
２２． 前記生成ステップは、
前記第１の監視画像に写っているオブジェクトの分布を表す分布情報を生成し、
前記第２の監視画像に写っているオブジェクトの数を算出し、
前記第２の監視画像に写っているオブジェクトの数を用いて前記分布情報を補正し、前記補正した分布情報を前記監視情報として生成する、１８．に記載の監視情報生成方法。
２３． 前記生成ステップは、前記第１の監視画像に前記補正された分布情報を重畳した表示を生成する、２２．に記載の監視情報生成方法。
２４． 監視対象の場所の地図情報を取得する地図情報取得ステップを有し、
前記生成ステップは、前記地図情報によって表される地図上に前記補正された分布情報を重畳した表示を生成する、２２．に記載の監視情報生成方法。
２５． 前記生成ステップは、
前記移動カメラの撮影方向を用いて、前記第１の監視画像内における前記移動カメラの撮影範囲を算出し、
前記分布情報によって示される前記移動カメラの撮影範囲内における前記オブジェクトの数又は分布を、前記第２の監視画像に写っているオブジェクトの数を用いて補正する、２２．乃至２４．いずれか一つに記載の監視情報生成方法。
２６． 前記生成ステップは、前記第１の監視画像に対して前記移動カメラの撮影方向を表す表示を重畳する、１８．乃至２５．いずれか一つに記載の監視情報生成方法。
２７． 前記第１の監視画像におけるオブジェクトの移動方向である第１の移動方向を推定する第１移動方向推定ステップと、
前記第２の監視画像におけるオブジェクトの移動方向である第２の移動方向を推定する第２移動方向推定ステップと、
前記第１の移動方向、前記第２の移動方向、前記固定カメラの位置及び姿勢、並びに前記移動カメラの位置に基づいて、前記移動カメラの撮影方向を推定する撮影方向推定ステップと、を有し、
前記生成ステップは、前記推定した移動カメラの撮影方向を、前記移動カメラの撮影方向として用いる、２５．又は２６．に記載の監視情報生成方法。
２８． 前記撮影方向推定ステップは、
前記固定カメラの位置及び姿勢並びに前記第１の移動方向を用いて、監視対象の場所を鉛直方向に平面視した平面上における、前記第２の監視画像に写っているオブジェクトの移動方向である第３の移動方向を算出し、
前記移動カメラの位置で複数の候補撮影方向それぞれから前記第３の移動方向へ移動するオブジェクトを見た際におけるそのオブジェクトの移動方向である、複数の候補移動方向を算出し、
前記第２の移動方向との一致度合いが最も高い前記候補移動方向が前記移動カメラの撮影方向であると推定する、２７．に記載の監視情報生成方法。
２９． 前記撮影方向推定ステップは、前記固定カメラの位置及び姿勢並びに前記第１の移動方向を用いて、前記平面上における前記第１の監視画像に写っているオブジェクトの移動方向を算出し、前記算出した移動方向を前記第３の移動方向とする、２８．に記載の監視情報生成方法。
３０． オブジェクトの移動経路を示す移動経路情報を取得する移動経路情報取得ステップを有し、
前記撮影方向推定ステップは、
前記固定カメラの位置及び姿勢並びに前記第１の移動方向を用いて、前記平面上における前記第１の監視画像に写っているオブジェクトの移動方向を算出し、
前記算出した移動方向を前記移動経路情報に示される移動経路に沿って前記移動カメラの付近へ移動させた位置を前記第３の移動方向とする、２８．に記載の監視情報生成方法。
３１． コンピュータによって実行される撮影方向推定方法であって、
位置が固定されたカメラである固定カメラによって撮影された第１の監視画像におけるオブジェクトの移動方向である第１の移動方向を推定する第１移動方向推定ステップと、
位置が固定されていないカメラである移動カメラによって撮影された第２の監視画像におけるオブジェクトの移動方向である第２の移動方向を推定する第２移動方向推定ステップと、
前記第１の移動方向、前記第２の移動方向、前記固定カメラの位置及び姿勢、並びに前記移動カメラの位置に基づいて、前記移動カメラの撮影方向を推定する撮影方向推定ステップと、を有する撮影方向推定方法。
３２． 前記撮影方向推定ステップは、
前記固定カメラの位置及び姿勢並びに前記第１の移動方向を用いて、監視対象の場所を鉛直方向に平面視した平面上における、前記第２の監視画像に写っているオブジェクトの移動方向である第３の移動方向を算出し、
前記移動カメラの位置で複数の候補撮影方向それぞれから前記第３の移動方向へ移動するオブジェクトを見た際におけるそのオブジェクトの移動方向である、複数の候補移動方向を算出し、
前記第２の移動方向との一致度合いが最も高い前記候補移動方向が前記移動カメラの撮影方向であると推定する、３１．に記載の撮影方向推定方法。
３３． 前記撮影方向推定ステップは、前記固定カメラの位置及び姿勢並びに前記第１の移動方向を用いて、前記平面上における前記第１の監視画像に写っているオブジェクトの移動方向を算出し、前記算出した移動方向を前記第３の移動方向とする、３２．に記載の撮影方向推定方法。
３４． オブジェクトの移動経路を示す移動経路情報を取得する移動経路情報取得ステップを有し、
前記撮影方向推定ステップは、
前記固定カメラの位置及び姿勢並びに前記第１の移動方向を用いて、前記平面上における前記第１の監視画像に写っているオブジェクトの移動方向を算出し、
前記算出した移動方向を前記移動経路情報に示される移動経路に沿って前記移動カメラの付近へ移動させた位置を前記第３の移動方向とする、３２．に記載の撮影方向推定方法。
３５． コンピュータに１８．乃至３４．いずれか一つに記載の各ステップを実行させるプログラム。
【0151】
この出願は、２０１５年９月１日に出願された日本出願特願２０１５－１７２０８２号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】