特許 6055823 監視カメラ制御装置及び映像監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6055823

(24)【登録日】2016年12月9日

(45)【発行日】2016年12月27日

(54)【発明の名称】監視カメラ制御装置及び映像監視システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20161219BHJP

   H04N 5/225 20060101ALI20161219BHJP

   H04N 5/232 20060101ALI20161219BHJP

【ＦＩ】

   H04N7/18 D

   H04N5/225 C

   H04N5/232 B

   H04N5/232 C

【請求項の数】10

【全頁数】17

(21)【出願番号】特願2014-518081(P2014-518081)

(86)(22)【出願日】2012年5月30日

(86)【国際出願番号】JP2012003516

(87)【国際公開番号】WO2013179335

(87)【国際公開日】20131205

【審査請求日】2014年10月3日

(73)【特許権者】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】100100310

【弁理士】

【氏名又は名称】井上 学

(74)【代理人】

【識別番号】100098660

【弁理士】

【氏名又は名称】戸田 裕二

(74)【代理人】

【識別番号】100091720

【弁理士】

【氏名又は名称】岩崎 重美

(72)【発明者】

【氏名】伊藤 誠也

(72)【発明者】

【氏名】弓場 竜

(72)【発明者】

【氏名】李 媛

【審査官】 高野 美帆子

(56)【参考文献】

【文献】 国際公開第２０１２／０９６１６６（ＷＯ，Ａ１）

【文献】 特開２００５−１４２６８３（ＪＰ，Ａ）

【文献】 特開２０１０−１０３７８２（ＪＰ，Ａ）

【文献】 特表２００２−５２２９８０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

監視エリア内を撮像する複数のカメラと、
前記複数のカメラにおいて取得した映像から物体を検出する認識部と、を備え、
前記複数のカメラで重複して撮像される監視エリアにおいて物体が検出される場合に、カメラ毎に前記物体の特徴量である認識結果を前記認識部において取得し、前記認識結果と
前記認識結果の優先度とに基づいて、前記カメラ毎の映像に前記優先度に応じた優先順位をつける表示選択部を備え、
前記表示選択部は、前記認識結果と前記認識結果の優先度とに基づいて、前記カメラ毎に前記物体に関する評価値を算出し、前記評価値に基づいて前記カメラ毎の映像に優先順位を設け、前記優先順位に応じて、前記カメラ毎の出力映像の出力形態を変化させることを特徴とする映像監視システム。

【請求項2】

請求項１に記載の映像監視システムにおいて、
前記複数のカメラ毎のカメラ設置情報を用いて、前記複数のカメラに対する前記物体に関するカメラ配置情報を取得し、前記カメラ配置情報のうち少なくとも一つ以上を用いて前記評価値を算出することを特徴とする映像監視システム。

【請求項3】

請求項２に記載の映像監視システムにおいて、
前記カメラ設置情報は、カメラ位置、俯角、水平角、画角、回転のいずれか１つの情報を含み、前記複数のカメラと前記監視エリアとの対応関係を取得することで算出することを特徴とする映像監視システム。

【請求項4】

請求項１乃至３のいずれかに記載の映像監視システムにおいて、
前記認識結果は、前記物体の移動方向、大きさ、所定領域のいずれか１つであることを特
徴とする映像監視システム。

【請求項5】

請求項１に記載の映像監視システムは、前記出力映像の構成を行う表示部を有し、
前記表示部に出力する前記出力映像は、前記監視エリアと前記複数のカメラの位置を表示し、前記複数のカメラ毎で取得した前記映像を出力映像に合成し表示することを特徴とする映像監視システム。

【請求項6】

請求項５に記載の映像監視システムは、前記カメラで撮像した映像を所定領域で表示し、
前記表示部に出力する前記出力映像は、認識結果から取得した移動物体、前記所定領域を付加情報として合成し出力することを特徴とする映像監視システム。

【請求項7】

請求項５に記載の映像監視システムにおいて、
前記表示部に出力する前記出力映像において、監視対象の移動物体もしくは映像を選択することで、前記監視対象を中心とした配置に前記出力映像を再構成し出力することを特徴とする映像監視システム。

【請求項8】

請求項１乃至７のいずれかに記載の映像監視システムにおいて、
前記優先順位に応じて、前記カメラ毎の出力映像を記録媒体に記録することを特徴とする映像監視システム。

【請求項9】

請求項１乃至８のいずれかに記載の映像監視システムにおいて、
前記認識結果の精度に応じて、前記認識部で処理する前記複数のカメラもしくは前記各カメラの監視エリアを選択することを特徴とする映像監視システム。

【請求項10】

監視エリア内を撮像する複数のカメラにおいて取得した映像から物体を検出する認識部と、前記複数のカメラで重複して撮像される監視エリアにおいて物体が検出される場合に、カメラ毎に前記物体の特徴量である認識結果を前記認識部において取得し、前記認識結果と前記認識結果の優先度とに基づいて、前記カメラ毎の映像に前記優先度に応じた優先順位をつける表示選択部と、を備え、前記表示選択部は、前記認識結果と前記認識結果の優先度とに基づいて、前記カメラ毎に前記物体に関する評価値を算出し、前記評価値に基づいて前記カメラ毎の映像に優先順位を設け、前記優先順位に応じて、前記カメラ毎の出力映像の出力形態を変化させることを特徴とする監視カメラ制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラなどの撮像機器から取得する映像から人物や移動体を検出する認識装置を持ち、侵入者検知や、移動ロボットなどに搭載する接近者検知などの機能を実現する映像監視システムであって、特に、映像監視システムの映像取得及び映像表示の制御機能を持つ映像監視システムに関する。

【背景技術】

【0002】

カメラなどの撮像機器から取得した映像に対して認識処理を施し、監視エリアに現れる人や車両などの移動物体を検出する機能を有する映像監視システムがある。この映像監視システムは、検出結果を利用することで移動物体の出現した映像のみ記録する機能、表示装置に警告アイコンを提示する機能、ブザー等を鳴らして監視員に注意を促す機能などを有する。このため、以前は常時確認作業が必要であった監視業務の負担低減に役立っている。また、この映像監視システムでは、窃盗などの犯罪行為や不正行為が発生した場合、記録した映像を事後の犯罪捜査などに役立てることも可能である。

【0003】

近年、犯罪の多様化、犯罪件数の増加、検挙率の低下などにより量販店や金融機関、ビル・オフィス等での防犯意識が高まり、映像監視システムの導入が進んでいる。映像記録装置も大容量化し、ネットワークカメラなどの普及により様々な場所にカメラが設置されることで、カメラ台数も増加している。先に述べたように犯罪行為等を監視員の目視作業により記録映像から洗い出すことは非常に負担が大きいため、監視業務を支援する機能への要望が高まっている。

【0004】

そこで問題となるのが、カメラ台数の増大により、監視員が所望の映像、例えば特定の人物を観察する業務等が大変複雑になるということである。監視エリアと監視カメラの状況を熟知した熟練者でなければ、映像を効率的に見逃し無く観察することは困難である。

【0005】

従来、雲台制御機能を持つカメラの移動位置を予め登録し、センサの検知結果に連動して、カメラの雲台を所定の位置に旋回させながら監視エリアの映像を取得する監視システムが知られている（特許文献１）。また、複数のカメラの位置関係を登録しておき、ユーザによる指示や移動物体の移動方向からモニタ上に表示する映像を切り替える監視システムが知られている（特許文献２）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００１−２７５１０４号公報

【特許文献2】特開２０１１−２１７３２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１に記載の監視システムでは、システムにて稼働させるカメラ台数が増加するに従って、センサ検知に応じて旋回するカメラ台数も増大するため、事前の設定とシステム内での調整を詳細に行う必要があり、監視員負担が増大する傾向がある。

【0008】

また、運台制御機能を監視員が操作しながら動作させる場合にタイムラグ等が生じるため、侵入者や所定の人物を追尾するには見逃しを生じる可能性が高い。

【0009】

そこで、従来より、認識機能を具備し、自動的に追尾するシステムが存在する。例えば、特許文献２が知られており、この発明の監視システムのように、監視エリアに設置された複数のカメラを固定カメラとして、位置関係を予め登録しておき、その位置関係を用いるものである。具体的には、各カメラの画面上で移動物体が画角から外れた場合に、その移動方向に設置しているカメラを監視員に提示するものである。これは、監視員の入力手段による方向の指定でも実現可能である。

【0010】

しかしながら、カメラの位置関係により、移動物体の移動を鑑みて次に撮像されるカメラの映像を提示することは可能であるが、カメラの設置状況によっては、そのままの映像を表示させたほうが良い場合がある。なぜならば、被写体となる移動物体の動き等により追尾するため、被写体を特定する情報を得るのに適さない方向（例えば、人物であれば顔や車両であればナンバープレートや運転手の撮像されない領域）からの撮像となる場合には、可動物体の重要な情報が得られない方向からの撮像となるため、状況証拠等に活用することが困難となる可能性が生じるからである。

【0011】

また、カメラの重複がある場合や、廊下などの可動領域が限定された監視エリアではなく、オフィスや小売店などのオープンな監視エリアのように移動物体の可動領域の自由度がある場合には、特許文献２に記載のように、単純にカメラの配置関係を事前に登録しておくのみでは困難である。これは、例えば、画角の右側に移動物体が移動したため、右側に設置したカメラの映像を提示するという単純な構造にならないため、映像提示するカメラの選択条件が非常に複雑になることが考えられる。

【0012】

そこで、本発明は、複数の領域を撮像する複数の監視カメラにおいて、同一の物体が重複して検出される場合に、各カメラ毎の映像から適切な映像を選択する監視カメラ制御装置及び映像監視システムを提供する。

【課題を解決するための手段】

【0013】

上記目的を達成するために、例えば特許請求の範囲に記載の構成を採用する。その一例を挙げるならば、監視エリア内を撮像する複数のカメラと、複数のカメラにおいて取得した映像から物体を検出する認識部と、を備え、複数のカメラで重複して撮像される監視エリアにおいて物体が検出される場合に、カメラ毎に物体の特徴量である認識結果を認識部において取得し、認識結果と認識結果の優先度とに基づいて、カメラ毎の映像に優先度に応じた優先順位をつける表示選択部を備え、表示選択部は、認識結果と認識結果の優先度とに基づいて、カメラ毎に物体に関する評価値を算出し、評価値に基づいてカメラ毎の映像に優先順位を設け、優先順位に応じて、カメラ毎の出力映像の出力形態を変化させることを特徴とする。

【発明の効果】

【0014】

本発明によれば、複数の領域を撮像する複数の監視カメラにおいて、同一の物体が重複して検出される場合に、各カメラ毎の映像から物体などの識別に有用な情報を提示することができる。

【図面の簡単な説明】

【0015】

【図1】本発明による一実施形態の映像監視システムを示すブロック図である。

【図2】本発明の監視エリア及びカメラの配置について示した図である。

【図3】本発明の監視エリア及びカメラ配置の鳥瞰図である。

【図4】本発明の取得した映像の出力例である。

【図5】本発明のカメラ画像と監視エリアの対応について示した図である。

【図6】本発明の認識部における処理フローを示した図である。

【図7】本発明の認識結果のデータ構造を示した図である。

【図8】本発明のカメラ配置情報のデータ構造を示した図である。

【図9】本発明で監視エリア上でカメラ及び移動物体の情報を示した鳥瞰図である。

【図10】本発明の認識部で取得した結果とカメラ配置情報から算出した情報テーブルを示す図である。

【図11】本発明の優先度設定手段について示した図である。

【図12】本発明の映像表示方法について示した図である。

【図13】本発明の映像表示方法について示した図である。

【図14】本発明の映像表示の切り替え方法について示した図である。

【図15】本発明の一実施形態について示したブロック図である。

【図16】本発明の一実施形態について示したブロック図である。

【発明を実施するための形態】

【0016】

以下、本発明の一実施形態について、添付図面を参照し詳細に説明する。

【0017】

図１は、本発明による一実施形態の監視カメラ制御装置及び映像監視システムを示すブロック図である。本実施例では、監視カメラ制御装置及び映像監視システムについては単に映像監視システムもしくは監視システムと記述する場合もある。

【0018】

この映像監視システムは、カメラ１００〜１０２と、映像取得部１０３と、認識部１０４と、認識結果１０５と、表示選択部１０６と、カメラ配置情報１０７と、入力手段１０８と、映像表示部１０９と、表示手段１１０を備えている。

【0019】

この映像監視システムは電子計算機システムを適用した構成となる。この電子計算機システムのハードウェアは、ＣＰＵ、メモリ、Ｉ／Ｏなどを含み、所定のソフトウェアが実行可能にインストールされることによって、各図にブロックで表現される各機能部が実現されている。

【0020】

カメラ１００〜１０２は実施形態を簡便に表現するために、３台のカメラとして本実施例では述べているが、この構成に依存せず、カメラが２台以上設置される構成を想定している。カメラ１００〜１０２は、ズーム機能を有するカメラレンズ、およびＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などの撮像素子（いずれも図示せず）を含む撮像機器である。このカメラ１００〜１０２は、映像取得部１０３により映像信号を取得し、後述する認識部１０４と映像表示部１０９へ出力する。

【0021】

また、このカメラ１００〜１０２は、雲台に載置され俯仰および旋回が可能なパンチルトズームカメラである。本実施例では記載していないが、カメラ１００〜１０２の映像を記録装置や表示装置に転送し、映像を記録したり、監視員の目視確認に利用することは自明である。

【0022】

表示手段１１０は、液晶表示装置やＣＲＴ（Cathode Ray Tube）表示装置などの表示装置である。表示手段１１０を備える代わりに、ＲＧＢ（Red-Green-Blue）モニタ出力、または、ネットワーク経由でのデータ出力や、携帯やタブレット等の端末を用いる構成としてもよい。

【0023】

様々なパラメータ設定はユーザインターフェースより実行される。映像取得部１０３や、認識部１０４、映像表示部１０９などに備えるユーザインターフェースは、マウスやキーボードなどの入力装置（図示せず）を含み、ユーザによるパラメータなどの入力を受け付ける。本発明の根幹部分の説明のため、表示選択部１０６にパラメータ等を入力する手段として入力手段１０８のみを記載しておく。

【0024】

次に、本発明の構成ブロックの詳細を説明する前に、本発明の監視システムにおいてカメラと移動物体との関係について図２等を用いて説明する。

【0025】

図２は、本実施例の監視エリア２０５とそこに設置されたカメラ及び物体等の関係を図示したものである。監視エリア２０５には、カメラ２００〜２０２（図１のカメラ１００〜１０２と同様）が設置され、物体２０３が存在する。また、棚などの調度品や壁や廊下などの建築構造物も監視エリア２０５には存在することが多く、構造物２０４として図示する。本実施例では物体２０３が人物である場合として、移動方向２０６の方向に移動しており、顔方向２０７を向いている。

【0026】

ここで、物体には、可動物体および静止物体が含まれる。可動物体とは、移動、変動し得る物体を指す。本実施例では、可動物体として人物を例に挙げているが、人物は、顔手足や人物全体として移動や変動をし得る物体であるためである。他にも、可動物体として、車両や、人が所持する鞄、パソコンの画面や、金庫の扉等が挙げられる。例えば、パソコンの画面や金庫の扉等は、人などによって画面の向きや画面表示、また金庫の扉が開く等変動し得る物体である。また、移動、変動することのない静止物体にも本発明は適用可能である。

【0027】

監視エリア２０５は、実空間等と同義で用いており、予めその座標系を（Ｘｗ、Ｙｗ、Ｚｗ）を定義する。

【0028】

次に、この監視エリア２０５を上から観察した場合について鳥瞰図として図３に示す。

【0029】

ここでは新たに、各カメラに対応する撮像領域３００〜３０２（画角と同義で用いる）を示す。その他については、図２と同様であり、監視エリア２０５上に、物体２０３が存在し、移動方向２０６で移動し、顔方向２０７を向く形で図示される。

【0030】

図４は、各カメラ２００〜２０２で撮像した映像を図示したものである。カメラ画像４００〜４０２は、それぞれカメラ２００〜２０２で撮像した映像を示し、これは、図１の映像取得部１０３を通して取得され、映像表示部１０９を介して表示手段１１０に表示される。それぞれのカメラの設置状況や撮像領域３００〜３０２により、物体２０３や構造物２０４を含んだ形で撮像される。カメラ２００〜２０２との位置関係により、物体２０３や構造物２０４の見え方や、物体２０３の大きさ、移動方向２０６や顔方向２０７の見え方が異なる。

【0031】

図２〜図４に記述した監視エリア２０５と物体２０３等を示すこれらの図では、物体２０３はカメラ２００の方向に移動しており、顔方向２０７はカメラ２０１の方向を向いているものとする。また、物体２０３は、監視エリア２０５のＸｗ−Ｙｗ空間の中心から右下に位置しており、カメラ２０２が最も近いカメラである。

【0032】

ここで、カメラと監視エリアとの対応関係を算出する一例について述べる。

【0033】

本実施例に限らずカメラと監視エリアの対応関係すなわちカメラパラメータを算出するために、簡易的に近似的に求める方法から詳細に求める方法まで存在する。この対応関係は、図１に示すカメラ配置情報１０７を取得するために用いる。

【0034】

図５は、監視エリアとカメラで取得するカメラ画像上での対応点を示す図である。

【0035】

具体的には図５に示すように、監視エリア５０１（監視エリア２０５、実空間と同義）とカメラ５００で取得するカメラ画像５０２上での対応点を取る方法が考えられる。カメラ５００は、監視エリア５０１上のある位置（Ｘｃ、Ｙｃ、Ｚｃ）に存在している。

【0036】

カメラ画像５０２上の任意のカメラ画像位置５０４と監視エリア５０１上の監視エリア位置５０５の対応は、画像上の位置と実空間での実測値から求めることができる。この対応点を取得したのちに、カメラパラメータを取得する方法として、例えば、「R. Y. Tsai, “A versatile camera calibration technique for high-accuracy 3D machine vision
metrology using off-the-shelf TV camera and lenses”IEEE Journal of Robotics and Automation, Vol.RA-3，No.4, pp. 323-344, 1987」等のカメラキャリブレーション技術について既存技術として知られているが、ここでは詳細の説明については省略する。この対応点によりカメラパラメータを求める方法では、４点以上を取得すればカメラパラメータを取得できることが知られている。

【0037】

この手続きにより、図５に示すようにカメラ５００の俯角θや、監視エリア５０１上での設置角度φ、カメラの高さＨｃを求めることができる。

【0038】

次に、図１に示す認識部１０４から順に説明する。認識部１０４は映像取得部１０３で取得した複数の映像のうち任意の映像に対して認識処理を実行する。

【0039】

図６は、認識部１０４の処理を説明するフローチャートの例であり、本実施例における人物の顔及び顔方向の検出について示したものである。

【0040】

人物の顔を検出する手法は、広く提案されており、例えば「Paul. Viola, M. Jones：“Robust Real-Time Face Detection”，International Journal of Computer Vision (2004), Volume: 57, Issue：2, Publisher: Springer, Pages：137-154」等の既存技術が知られている。これらは、顔の画像特徴を学習サンプルから取得し、識別器を構築する。この識別器により画像上のどこに顔があるかを判断する。また前述の学習サンプルを正面や横向き等の様々な部分サンプルに分けた上で、それぞれの識別器を構築することで、顔方向を認識することも可能となる。以降、図６に沿って述べる。

【0041】

Ｓ６０は、画像全体を任意のウィンドウ（検知窓）で操作する手続きである。その後、ある任意の位置において、上述した識別器を用いて顔が検出されたかどうかを出力する（Ｓ６１）。顔が検出されなかった場合、次の位置にウィンドウを移動し同様の処理を繰り返す。顔が検出された場合、顔の向きを検出する（Ｓ６２）。この結果を所定のメモリ領域に出力する（Ｓ６３）。以上の処理を全画像内で繰り返すことで、顔の位置及び顔方向を検出することができる。顔の位置を検出することで、人物の存在する位置も同時に検出することができる。最後に、画像全体の処理を確認する（Ｓ６４）。

【0042】

ここでは、顔の検出を例に認識部１０４の詳細について述べたが、他にも画像上から情報を取得する方法が様々に存在する。例えば、顔検出ではなく、識別器を人物の全体を検出する形とすれば、人検出を実現することが可能であり、体の向きも同様に求めることができる。また、人物の画像上での位置が検出されれば、自ずとその大きさ（画像上での面積）を求めることも可能である。また、検出された領域を時刻の連続した複数フレーム（画像）に渡って移動した位置を求めることで、人物の追跡処理を実行することが可能である。

【0043】

また、車両であれば、ナンバープレートや運転手の顔など、任意の画像上の情報を取得することができる。

【0044】

さらに、上述の処理で検出された位置と図５で述べた監視エリア５０１とカメラ画像５０２との対応関係を取ることで、監視エリア５０１上（図２〜図４の監視エリア２０５上も同様）の位置や可動方向（図２〜図４の移動方向２０６）、顔方向（図２〜図４の顔方向２０７）等について求めることができる。本構成を有することにより、監視エリア５０１とカメラ画像５０２との対応関係から、カメラ画像５０２内で右を向いている人が、監視エリアでどちらを向いているのかという方向が分かる。つまり、位置だけではなく方向も取得できる。

【0045】

図７は、認識部１０４で求めた結果を認識結果１０５に格納する際のデータ構造の例である。このデータは、物体ＩＤ（Ｄ７０）、物体の実空間での位置（Ｄ７１）、画像上での面積（Ｄ７２）、顔方向（Ｄ７３）、移動ベクトル（Ｄ７４）、その他の情報（Ｄ７５）から構成されている。

【0046】

面積（Ｄ７２）は、物体を撮像するそれぞれのカメラによって異なるため、さらに面積・カメラ１（Ｄ７６）、面積・カメラ２（Ｄ７７）のように、物体が撮像されるカメラ毎に格納される。

【0047】

また、移動ベクトル７４は、現時刻ｔから一定期間過去に遡った情報まで持ち、位置（ｔ）（Ｄ７９）のように格納され、それらの情報から移動方向（Ｄ７８）も格納されている。移動方向（Ｄ７８）は、位置（ｔ）（Ｄ７９）の情報の平均値などにより算出することができる。これらの情報も顔方向と同様に、図５のように対応関係を求めることで、カメラ画像上の方向に対して、監視エリア上での移動方向を求めることができる。

【0048】

その他の情報（Ｄ７５）についても、認識部１０４の処理を加えることにより、データに含めることができる。

【0049】

次に、図１に示す表示選択部１０６について述べる。まず表示選択部１０６で用いるカメラ配置情報１０７について説明する。

【0050】

カメラ配置情報１０７は、カメラの位置関係を示す情報と、移動物体及びカメラ画像との関係を示すものが存在する。前者は上述したカメラと監視エリアの対応関係を求めることで取得することができ、当然ながら詳細に実測することでも求めることが可能である。後者は、カメラキャリブレーションによって取得することができる。

【0051】

図８は、本実施例におけるカメラの位置関係の情報の例を示したものである。

【0052】

カメラの位置関係は、任意に割り振られたカメラＩＤである（Ｄ８０）、カメラの俯角（Ｄ８１）、カメラの水平角（Ｄ８２）、画角（Ｄ８３）、設置位置（Ｄ８４）で構成される。それぞれ角度及び絶対位置が格納されている。これによって、カメラの向く方向や撮像される映像について規定することができ、また、それぞれのカメラとの位置関係を把握することが可能となる。

【0053】

上述したようなカメラキャリブレーション技術によって求めた場合には、図５に示す監視エリア５０１とカメラ画像５０２との透視投影変換のマトリクスが取得でき、実施形態によっては、この情報がカメラ配置情報１０７に格納されても良い。なお、カメラの位置関係においては、焦点距離、光軸方向の回転、撮像素子のサイズも関連するため、情報として加えることが可能である。

【0054】

図９は、図２〜図４に示した実施例における監視エリア２０５を上部から観察した鳥瞰図である。

【0055】

図９には、図２〜図４と同様に、カメラ２００〜２０２、物体２０３、構造物２０４が示されている。ここで、認識部１０４を経て、移動方向２０６及び顔方向２０７も含むデータを取得したものとする。また、カメラ配置情報１０７から各カメラの位置関係も同様に取得している。

【0056】

カメラ２００〜２０２は、監視エリア２０５のＸｗ−Ｙｗ空間において、それぞれの位置で、φ₀〜φ₂の角度で設置されている。また、物体２０３は移動方向２０６の方向（角度θｖ）に移動しており、物体２０３の顔方向２０７はθｆで定義される。

【0057】

これらの情報を用いて、表示選択部１０６によって表示する映像を判断するための処理を実行する。

【0058】

図１０は、カメラ配置情報１０７のうち、物体２０３やカメラ位置等により求めた情報テーブルの例である。情報テーブルのカメラ評価項目（Ｄ１０００）は、検出された物体とカメラとの距離（Ｄ１００２）、検出された物体のカメラ画像上の面積（Ｄ１００３）、顔方向（Ｄ１００４）、移動方向（Ｄ１００５）で構成される。評価値（Ｄ１００１）は、各カメラ毎の評価値である。カメラ評価値（Ｄ１０００）は、具体的には、上述した認識部１０４で求めた物体２０３のデータとカメラ位置等に基づいて算出され、これを各カメラ毎に算出、取得し、取得値（Ｄ１００１）として示される。

【0059】

カメラとの距離（Ｄ１００２）は、顔検出や人物検出により検出された画像上の位置と監視エリア２０５との関係により求められる。面積（Ｄ１００３）も、同様に検出した領域から求める。顔方向（Ｄ１００４）は、カメラ画像上の顔方向から監視エリア２０５上での顔方向θｆを求めることができ、カメラ２００〜２０２の方向φ₀〜φ₂との角度の差分によって算出することができる。例えばカメラ２０１（図１０中のカメラ２）における計算式を数１に示す。

【0060】

〔数１〕
カメラ２顔方向＝（φ₁−θｆ） （１）
ここで、数１で求めた顔方向は、１８０degに近づくほど、カメラの撮像方向と顔方向が正対する、即ち顔方向がカメラ方向を向いているということになる。厳密にはカメラの俯角に対して顔の垂直方向の角度についても求めることも可能であるが、本実施例では簡単のため水平方向についてのみ記述する。

【0061】

また、移動方向（Ｄ１００５）についても、同様の考え方で求めることができるため、ここでの説明は省略する。

【0062】

さらに、別の実施形態においては、物体の特定部位を検出した方向、例えば鞄などの所有物を持つ方向、手などの部位が撮像される方向など、所望の部位について定義することも可能である。また物体が車両の場合は、ナンバープレートや運転手の顔などを基準に情報テーブルを作成することもできる。また、ある特定の行動（イベント）が観察できる方向としても良い。例えば、人物がボタンを押す動作が撮像できる方向、商品を手に取る行動などがあげられる。

【0063】

この情報テーブルは、カメラ配置情報１０７に格納される。このように、予め取得したカメラ配置情報と認識結果を併せて用いることでより詳細に映像選択を決定するようにしたものである。また、カメラとの位置関係や認識処理の結果を、認識処理にフィードバックさせることで、認識処理に適切なカメラや映像上の位置を選択することができるため、認識処理をさらに精度よく実行することが可能である。

【0064】

次に表示選択部１０６について、図１０に示した情報テーブルを用いて映像表示を切り替える方法について述べる。

【0065】

図１１は、同一物体を重複して検出した、各カメラから取得した映像情報を用いる際に、上述したカメラ評価項目のうち、優先的に取得したいカメラ評価項目の優先度を設定する、優先度設定画面１１００の例である。これらの優先度は、例えば、図１の入力手段１０８を介して設定される。画面にはそれぞれの優先度が設定でき、本実施例では０〜５までの優先度を設定することができる。０の場合は、情報を用いないことを示しており、５の場合は最も優先的に該当情報を利用することができる。ここでは、一つの情報のみを用いて出力する映像を選択することもでき、いくつかの情報を統合した評価値を求めることで映像選択の基準を作成することができる。図１１に示す例では、優先度は、距離ｄｐ＝０、面積ｓｐ＝１、顔方向θｆｐ＝３、移動方向θｖｐ＝１と設定されている。

【0066】

ここで、各カメラの距離をｄ、面積をｓ、顔方向をθｆ、移動方向をθｖと定義し、図１に示すカメラ配置情報１０７から各値に対して全カメラの順位付けを行う。カメラ１を例に全カメラに対するカメラ１の順位を定義すると、距離Ｄ１＝３、面積Ｓ１＝１、顔方向Θｆ１＝１、移動方向Θｖ１＝３となる。カメラ内の順位を表すものであるので、最小値は１、最大値はカメラ台数となる。

【0067】

各カメラのこれらの順位及びカメラ評価項目の優先度を元に、任意の物体毎に各カメラ毎の評価値を演算する方法について、数２に示す。評価値の演算は、図１に示す表示選択部１０６において行われる。

【0068】

〔数２〕
評価値（カメラ１）
＝（Ｄ１＊ｄｐ＋Ｓ１＊ｓｐ＋Θｆ１＊θｆｐ＋Θｖ１＊θｖｐ）
（２）
数２によって、もっとも評価値が小さいものが、物体２０３を観察するのに適したカメラであると表示選択部１０６において決定することができる。

【0069】

例えば、図４に示す映像に対して、図１０及び図１１に示す各カメラ毎のカメラ評価項目の情報テーブルやカメラ評価項目の優先度により算出した結果、図４のカメラ画像４０１に示す映像が物体２０３を観察するのに最も適した映像であると算出される。

【0070】

なお、この各カメラ毎の評価値は物体毎に算出されるため、それぞれの移動物体に適したカメラの映像が評価値により定義される。複数の物体がある場合は、最も大きく撮像された人物に対して制御することや、入力画面などで選択した人に対してのみ、本発明の処理をするなどの対処方法がある。

【0071】

次に、図１２を用いて、図１に示す映像表示部１０９について説明する。ここでは、表示選択部１０６によって、映像取得部１０３から得られる映像のうち優先的に表示すべきカメラ及びカメラから取得した映像が算出されているものとする。図１２に示す一部の映像例は、図４に示した例と同様であり、カメラ２の映像で撮像される移動人物の顔方向がカメラ方向となっており、観察し易い映像となっている。

【0072】

図１２は、監視システムのモニタリング画面の一部を示す。ここでは、監視エリアを撮像する各カメラの映像を小窓領域１２００で表示したものであり、映像記録機器やマトリクススイッチャ等を通じて取得した映像が表示される。表示選択部１０６で選択された映像をさらに大窓領域１２０１で表示する。これらのマルチ画面出力の設定等についての詳細は記述しないが、利用するカメラ台数によって画面配置は任意に設定できる。

【0073】

物体を検出した検出枠１２０２を大窓領域１２０１に重畳して出力することで、監視員の注意を向かせることも可能である。また、顔検出の結果を用いて、付加情報１２０３を画面上に出力することも可能である。

【0074】

図１２に示す画面例では、記録映像等を制御する再生制御部１２０４も持っており、記録映像の再生にも活用することが可能である。記録映像とともに、図１０に示す情報テーブルや認識結果１０５を保存しておけば、記録映像に対しても同様に人物を観察し易い映像を提示することを実現できる。また、優先度設定は設定ボタン１２０５などから設定することが可能である。

【0075】

図１３に示す画面例は、カメラ配置情報１０７を用いて、視覚的にカメラと移動物体との位置関係を理解し易く表示する一例について示した図である。監視エリアやカメラの位置をＣＧ等によって作成したデータを描画した画面に対して、カメラ画像１３００〜１３０２をカメラ位置に近接した形で表示する。それぞれのカメラ画像は画面上での位置に従って、一定係数で大きさを変化させて表示させることも可能である。

【0076】

画面上には観察された物体１３０３が、認識部１０４で算出した位置に基づいて描画されている。この物体１３０３は、ＣＧ等で作成した人物のモデルではなく表示選択部１０６で算出されたカメラの映像に存在する移動人物を抽出して作成したデータを画面上に重畳させることで位置関係と物体１３０３の状況を同時に観察することが可能である。また、顔などの付加情報１３０４も併せて表示することで、より詳細に観察することも可能である。

【0077】

図１４は、複数の物体が存在する場合について示した図である。図１４（ａ）は、カメラ画像１４００ａ〜１４０２ａまで図１３と同様に表示されている。また画面上には物体１４０３ａと物体１４０４ａが描画されている。

【0078】

この映像に対して、例えばカメラ２画像１４００ａ及び移動物体１４０４ａを中心に観察したい場合、ユーザによる指示によって視点を変換することができる。ユーザは観察したいカメラ画像か画面上に描画された移動物体の位置をマウス等の入力機器から指定すると、図１４（ｂ）に示すように、カメラ１画像１４００ｂを中心とした視点に切り替わる。視点の切り替えによって、移動物体１４０３ｂ、移動物体１４０４ｂの位置も変更されるが、最も観察しやすい画像が重畳されている。また、各カメラの映像も視点からの距離に応じて画像サイズ等も変更させることが可能である。

【0079】

このように、映像の重要度や注目度などに応じて、表示する大きさや、重要な情報を付加した形で提示することや、カメラ配置と連動させた形式で映像を提示する表示方法により、監視エリア内の配置関係を視覚的にも認識することが可能である。このことによって、映像の重要性や監視エリアの対応関係を同時に把握することが可能であるため、監視員の負担低減に繋がり結果としてより頑健な監視システムを提供することが可能となる。また、優先順位に基づいて、映像表示の優先順位をつけることで、物体の観察に適した映像の提示や、記録、さらには記録した映像のうち観察したい映像を再生することも可能となる。

【0080】

本発明を適用できる検出物体としては、上述のように人物が挙げられ、認識処理により顔検出を実行し、複数カメラの映像から例えば顔が撮像された映像を選択して提示することが可能である。また、人物以外であっても、車両や、人が所持する鞄、パソコンの画面や、金庫の扉等に対しても本発明を適用することができる。車両であれば運転者の顔を監視する場合、鞄であれば鞄を所持している人物の顔や鞄自体を監視する場合など、観察したい部分を監視するのに適したカメラの映像を決定することができる。さらに、向きや画面表示が変更したパソコンの画面を監視する場合や、金庫の扉が開けられた場合など、動きや変化が生じた部分を観察するのに適したカメラを選択することもでき、常にパソコン画面を監視したり、金庫の扉が開けられたときだけ扉を監視するようにすることもできる。また、本発明は、可動物体に限らず、静止物体にも適用させることは可能である。例えば、固定設置されている金庫の監視で、扉側から側面に監視領域を切り替えたい場合、本発明の構成を採用すれば、側面を監視するのに適したカメラを選択し、監視画面を切り替えることができる。

【0081】

図１５は、上述の実施例を映像データの検索に用いた構成図の例である。図１５に示した各機能ブロックは、図１に示したものと多くは同様であるため、本実施例に関連する部分についてのみ説明する。

【0082】

映像取得部１０３により取得した映像は、映像データ１５００に格納される。監視システムにおける検索機能は、この映像データ１５００データを取得する手段の一つである。映像データ１５００から取得したい映像の検索条件を入力手段１５０２を通じて、検索部１５０１に入力される。検索条件は例えば時間帯や対象となるカメラ、特定の人物など様々にあるが、ここでの検索部１５０１は、図１の認識部１０４と同様に認識機能を備えることも可能である。この認識機能により取得される情報も同様に、図７に示す認識結果と同様に取得することができる。

【0083】

ここで取得した認識結果は、前述の実施例と同様に、表示選択部１０６において前記カメラ毎の映像に優先順位をつけるために用い、観察し易い映像を選択し映像表示部１０９を通して、表示手段１１０にて表示することができる。

【0084】

なお、映像データ１５００に映像データを格納する際に、同時に認識結果１０５を格納する形としても良い。この場合、検索部１５０１で認識処理を実行しなくて良いため、検索時間を短縮することが可能である。

【0085】

さらに、上述の実施例に基づき、認識性能の向上に用いた実施例について図１６を用いて説明する。各機能ブロックの一部は図１に示すものと同様であるため、ここでの説明は省略する。映像取得部１０３で取得した映像は、複数カメラ認識部１６００に送られる。本実施例では、複数カメラの映像を同時に処理する場合もあるため、認識部１０４と区別している。この複数カメラ認識部１６００で処理した結果は映像選択部１６０１に送られる。ここでの映像選択部１６０１は、前述の表示選択部１０６と同様の構成である。すなわち、認識結果を取得した上で、認識処理に適した映像を選択することに利用するものである。

【0086】

複数カメラ認識部１６００で処理した認識結果は、カメラ１００〜１０２の設置状態によって高い性能が期待できるものとそうでないものが存在する。複数カメラ認識部１６００で出力した結果により、映像選択部１６０１において、数２に示す方法と同様の評価値を算出して認識処理に適した映像を出力し、再び複数カメラ認識部１６００にフィードバックすることで認識性能を向上させることが可能である。

【0087】

例えば顔検出を例にした場合、どのカメラが最も顔検出に適したものであるか、認識結果（認識率）によって決定することができる。更に、一つのカメラ画像上であっても、顔検出の良好な結果が期待できる領域とそうでない領域についても算出できる。そのため、本実施例では、複数カメラ認識部１６００において、認識に適したカメラ及びカメラ画像内で認識に適した領域を定義することができ、より検出精度の高い監視システムを実現することが期待できる。

【0088】

また人物の検出位置についての精度について考慮する場合、図４のカメラ画像４００では縦方向の位置精度が高く、カメラ画像４０１では横方向の位置精度が高い。監視エリア上において、複数カメラに跨って観察される移動物体の位置を決定する場合、これらの情報に基づいて出力する結果を選択することもできる。これによって、精度の高い位置検出を行うことが可能である。

【符号の説明】

【0089】

１００〜１０２ カメラ
１０３ 映像取得部
１０４ 認識部
１０５ 認識結果
１０６ 表示選択部
１０７ カメラ配置情報
１０８ 入力手段
１０９ 映像表示部
１１０ 表示手段
２００〜２０２、５００ カメラ
２０３、１３０３、１４０３、１４０４ 物体
２０４ 構造物
２０５、５０１ 監視エリア
２０６ 移動方向
２０７ 顔方向
３００〜３０２ 撮像領域
４００〜４０２、５０２、１３００〜１３０２、１４００〜１４０２ カメラ画像
５０４ カメラ画像位置
５０５ 監視エリア位置
１１００ 優先度設定画面
１２００ 小窓領域
１２０１ 大窓領域
１２０２ 検出枠
１２０３、１３０４ 付加情報
１２０４ 再生制御部
１２０５ 設定ボタン
１５００ 映像データ
１５０１ 検索部
１５０２ 入力手段
１６００ 複数カメラ認識部
１６０１ 映像選択部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】