特許 6233721 情報処理システム、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6233721

(24)【登録日】2017年11月2日

(45)【発行日】2017年11月22日

(54)【発明の名称】情報処理システム、情報処理方法及びプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20171113BHJP

   G08B 25/00 20060101ALI20171113BHJP

【ＦＩ】

   H04N7/18 D

   H04N7/18 G

   G08B25/00 510M

【請求項の数】6

【全頁数】17

(21)【出願番号】特願2014-544362(P2014-544362)

(86)(22)【出願日】2013年8月30日

(86)【国際出願番号】JP2013073358

(87)【国際公開番号】WO2014069088

(87)【国際公開日】20140508

【審査請求日】2016年7月5日

(31)【優先権主張番号】特願2012-237987(P2012-237987)

(32)【優先日】2012年10月29日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100109586

【弁理士】

【氏名又は名称】土屋 徹雄

(72)【発明者】

【氏名】宮野 博義

【審査官】 益戸 宏

(56)【参考文献】

【文献】 特開２００６−８１０５３（ＪＰ，Ａ）

【文献】 特開２０１０−１６１７３２（ＪＰ，Ａ）

【文献】 特開２００８−２１９５７０（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００８／０２１１９１６（ＵＳ，Ａ１）

【文献】 欧州特許出願公開第２４５３４１２（ＥＰ，Ａ２）

【文献】 米国特許第６８０９７６０（ＵＳ，Ｂ１）

【文献】 米国特許出願公開第２０１２／００１９６４４（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｇ０８Ｂ ２５／００

(57)【特許請求の範囲】

【請求項1】

複数の撮影装置で撮影された映像の入力を受ける入力手段と、
前記入力手段により入力された、前記複数の撮影装置のうちの第１の撮影装置が撮影した映像に映る移動体を検知する検知手段と、
前記第１の撮影装置の映像で検知された移動体が前記複数の撮影装置のうちの第２の撮影装置が撮影する映像に映る確率の時間遷移と、前記第１の撮影装置で検知された移動体が撮影範囲から外れた後の時間経過とに基づいて、当該移動体が前記第２の撮影装置の映像に現れる時間帯を予測する予測手段と、
前記第２の撮影装置の映像に現れると予測される時間帯を報知する報知手段と
を備える情報処理システム。

【請求項2】

前記予測手段は、前記第１の撮影装置で検知された移動体が前記第２の撮影装置が撮影する映像に映る確率が閾値を超える時間帯を、移動体が前記第２の撮影装置に現れる時間帯と予測する、
請求項１記載の情報処理システム。

【請求項3】

前記報知手段は、前記第２の撮影装置で撮影された映像の上に、移動体が現れると予測される時間帯を表示することにより、当該時間帯を報知する、
請求項１又は請求項２記載の情報処理システム。

【請求項4】

前記報知手段は、移動体が現れると予測される時間帯に、前記第２の撮影装置で撮影された映像に係る表示を変化させることにより、当該時間帯を報知する、
請求項１又は請求項２記載の情報処理システム。

【請求項5】

複数の撮影装置で撮影された映像の入力を受けるステップと、
前記複数の撮影装置のうちの第１の撮影装置が撮影した映像に映る移動体を検知するステップと、
前記第１の撮影装置の映像で検知された移動体が前記複数の撮影装置のうちの第２の撮影装置が撮影する映像に映る確率の時間遷移と、前記第１の撮影装置で検知された移動体が撮影範囲から外れた後の時間経過とに基づいて、当該移動体が前記第２の撮影装置の映像に現れる時間帯を予測するステップと、
前記第２の撮影装置の映像に現れると予測される時間帯を報知するステップと
を情報処理システムが行う情報処理方法。

【請求項6】

複数の撮影装置で撮影された映像の入力を受ける処理と、
前記複数の撮影装置のうちの第１の撮影装置が撮影した映像に映る移動体を検知する処理と、
前記第１の撮影装置の映像で検知された移動体が前記複数の撮影装置のうちの第２の撮影装置が撮影する映像に映る確率の時間遷移と、前記第１の撮影装置で検知された移動体が撮影範囲から外れた後の時間経過とに基づいて、当該移動体が前記第２の撮影装置の映像に現れる時間帯を予測する処理と、
前記第２の撮影装置の映像に現れると予測される時間帯を報知する処理と
をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明に係るいくつかの態様は、情報処理システム、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

近年、複数のビデオカメラ（撮影装置）で撮影した映像を利用して広範囲にわたる監視を行うシステムが考えられている。しかしながら、多くのビデオカメラで撮影された映像を同時に監視することは難しい。例えば、複数のビデオカメラのそれぞれの撮影範囲が重なっていない監視システムで特定の人物を追跡する場合には、その人物が撮影範囲外に消えると、次にいずれかのビデオカメラの撮影範囲に現れるまで監視員は各ビデオカメラの映像を注視し続けなければならないため、監視者の負荷が非常に高い。そこで、このような問題に対応すべく、例えば特許文献１には、各監視カメラの撮影範囲へ侵入者が到達する推定到達時刻を算出した上で、当該推定到達時刻を表示することのできる監視装置を開示している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９−０１７４１６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１記載の手法のように推定到達時刻を表示したとしても、当該時刻はあくまで推定される時刻でしかないため、実際に現れる時刻は、それよりも早い場合もあれば遅い場合もあるため、その時刻にだけ、監視者であるユーザが見ておけばよいというものではない。また、例えば推定到達時刻になっても追跡対象である侵入者が現れない場合には、単にそのユーザは遅く来るだけなのか、あるいは他の経路で異なる場所に行ってしまった可能性が高いのかを判断することができない。よって、特許文献１記載の手法では、監視者であるユーザの監視負荷を十分に下げることができなかった。

【0005】

本発明のいくつかの態様は前述の課題に鑑みてなされたものであり、複数の撮影装置に係る移動体の監視を好適に行うことのできる情報処理システム、情報処理方法及びプログラムを提供することを目的の１つとする。

【課題を解決するための手段】

【0006】

本発明に係る情報処理システムは、複数の撮影装置で撮影された映像の入力を受ける入力手段と、前記入力手段により入力された、前記複数の撮影装置のうちの第１の撮影装置が撮影した映像に映る移動体を検知する検知手段と、前記第１の撮影装置の映像で検知された移動体が前記複数の撮影装置のうちの第２の撮影装置が撮影する映像に映る確率の時間遷移と、前記第１の撮影装置で検知された移動体が撮影範囲から外れた後の時間経過とに基づいて、当該移動体が前記第２の撮影装置の映像に現れる時間帯を予測する予測手段と、前記第２の撮影装置の映像に現れると予測される時間帯を報知する報知手段とを備える。

【0007】

本発明に係る情報処理方法は、複数の撮影装置で撮影された映像の入力を受けるステップと、前記複数の撮影装置のうちの第１の撮影装置が撮影した映像に映る移動体を検知するステップと、前記第１の撮影装置の映像で検知された移動体が前記複数の撮影装置のうちの第２の撮影装置が撮影する映像に映る確率の時間遷移と、前記第１の撮影装置で検知された移動体が撮影範囲から外れた後の時間経過とに基づいて、当該移動体が前記第２の撮影装置の映像に現れる時間帯を予測するステップと、前記第２の撮影装置の映像に現れると予測される時間帯を報知するステップとを情報処理システムが行う。

【0008】

本発明に係るプログラムは、複数の撮影装置で撮影された映像の入力を受ける処理と、前記複数の撮影装置のうちの第１の撮影装置が撮影した映像に映る移動体を検知する処理と、前記第１の撮影装置の映像で検知された移動体が前記複数の撮影装置のうちの第２の撮影装置が撮影する映像に映る確率の時間遷移と、前記第１の撮影装置で検知された移動体が撮影範囲から外れた後の時間経過とに基づいて、当該移動体が前記第２の撮影装置の映像に現れる時間帯を予測する処理と、前記第２の撮影装置の映像に現れると予測される時間帯を報知する処理とをコンピュータに実行させる。

【0009】

なお、本発明において、「部」や「手段」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」や「手段」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や「手段」、「装置」、「システム」が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や「手段」、「装置」、「システム」の機能が１つの物理的手段や装置により実現されても良い。

【発明の効果】

【0010】

本発明によれば、複数の撮影装置に係る移動体の監視を好適に行うことのできる情報処理システム、情報処理方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0011】

【図1】第１実施形態に係る監視システムの概略構成を示す機能ブロック図である。

【図2】表示画面の具体例を示す図である。

【図3】表示画面の時間推移を説明するための図である。

【図4】確率の算出方法の具体例を説明するための図である。

【図5】図１に示す情報処理サーバの処理の流れを示すフローチャートである。

【図6】図１に示す情報処理サーバを実装可能なハードウェアの構成を示すブロック図である。

【図7】第２実施形態に係る監視装置の概略構成を示す機能ブロック図である。

【発明を実施するための形態】

【0012】

以下に本発明の実施形態を説明する。以下の説明及び参照する図面の記載において、同一又は類似の構成には、それぞれ同一又は類似の符号が付されている。

【0013】

（１ 第１実施形態）
図１乃至図６は、第１実施形態を説明するための図である。以下、これらの図を参照しながら、以下の流れに沿って本実施形態を説明する。まず「１．１」でシステムの機能構成の概要を示すとともに、「１．２」で動作の概要を、表示画面の具体例を示しながら説明する。その後、「１．３」で処理の流れを、「１．４」で、本システムを実現可能なハードウェア構成の具体例を示す。最後に「１．５」以降で、本実施形態に係る効果などを説明する。

【0014】

（１．１ システム構成）
（１．１．１ システム構成概要）
図１を参照しながら、本実施形態に係る情報処理システムである監視システム１のシステム構成を説明する。図１は、監視システム１のシステム構成を示すブロック図である。

【0015】

監視システム１は、大きく分けて、情報処理サーバ１００と、映像（動画像）を撮影（撮像）する複数のビデオカメラ２００（ビデオカメラ２００Ａ乃至２００Ｎを総称してビデオカメラ２００と呼ぶ。）と、表示装置３００と、入力装置４００とから構成される。

【0016】

以下、監視システム１は、ビデオカメラ２００で撮影された人物を監視（追跡）するためのシステムであるものとして説明するが、監視対象を車や自転車、バイク等の各種移動体に応用することも考えられる。

【0017】

撮影装置であるビデオカメラ２００は、映像を撮影すると共に、当該撮影した映像内に人物がいるか否かを判別した上で、当該人物に係る位置や特徴量等の情報を、撮影映像と共に情報処理サーバ１００へと送信する。また、ビデオカメラ２００は、撮影した映像をフレーム間で比較することにより、映像内の人物追跡も行うことができる。
なお、人物の検出や特徴量の抽出、カメラ内の人物追跡などの処理は、例えば、情報処理サーバ１００や、図示しない他の情報処理装置上で行なっても良い。

【0018】

情報処理サーバ１００は、ビデオカメラ２００で撮影された映像を解析することにより、人物の検出や、追跡する人物の登録、登録された人物の追跡などの各種処理を行う。

【0019】

なお、以下ではビデオカメラ２００により撮影されるリアルタイムの映像を元に人物監視（人物追跡）を行う場合を中心に説明するが、これに限られるものではなく、例えば、ビデオカメラ２００により撮影された後、記憶装置（例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＶＣＲ（Ｖｉｄｅｏ Ｃａｓｅｔｔｅ Ｒｅｃｏｒｄｅｒ）など）に記憶された映像を対象に追跡（分析）することも考えられる。更に、当該記憶装置に記憶された動画像を逆順に再生（逆再生）して追跡することも考えられる。通常、ある人物が不審な行動をとった場合には、その人物がその行為までにどのような経路で移動し、どのような行動をとったかを調べる必要があるため、このような逆再生による追跡を可能とすることは極めて有用である。

【0020】

情報処理サーバ１００による人物監視において、情報処理サーバ１００は、表示装置３００に監視用の画面を出力すると共に、入力装置４００から、人物監視（人物追跡）に係る各種操作入力に係る操作信号を受け付ける。より具体的には、例えば、表示装置３００に表示する監視用画面（後述する図２に具体例を示す。）では、ビデオカメラ２００から入力された映像を複数表示することで、監視対象の人物が今どこにいるのか、もし映っていないならば、次にどのビデオカメラ２００に登場する可能性が高いのか、を、監視者であるユーザが把握できるようにしている。このため、情報処理サーバ１００は、人物がどのビデオカメラ２００に映るのかを予測（次カメラ予測）する機能を有する。

【0021】

さらに情報処理サーバ１００は、監視対象の人物が次にどのビデオカメラ２００に登場する可能性が高いのかをユーザに示す（報知する）際に、いつ頃登場する可能性が高いかを、動的に示すことができる。例えば、今から３秒後から５秒後に登場する可能性が高い場合には、表示画面上にその旨を表示することにより、監視者であるユーザが、注意すべき時間帯を認識できるようになっている。更に、監視対象の人物がビデオカメラ２００の映像からのフレームアウト後の経過時間に応じて、次に登場するビデオカメラ２００の確からしさも変化するため、情報処理サーバ１００は、動的に各ビデオカメラ２００に登場する確率を算出した上で、その確率に応じた表示をユーザに対して行う。この処理の詳細は、図２乃至図４を参照しながら後述する。

【0022】

監視者であるユーザは、表示装置３００を見て、あるビデオカメラ２００の映像（動画像）に映った監視対象の人物が、当該ビデオカメラ２００からフレームアウト後、他のビデオカメラ２００の映像に映った場合には、入力装置４００を操作して、当該２人の人物を同一人物であるものとして対応づけることができる。若しくは、情報処理サーバ１００が、撮影された人物の特徴量等の情報を元に、人手を介さずに人物を対応付けるようにしても良い。

【0023】

表示装置３００は、例えば、液晶や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）等に画像を表示するディスプレイである。情報処理サーバ１００から出力される監視用画面は、表示装置３００が表示する。

【0024】

入力装置４００は、ユーザ（監視者）が各種情報を入力するための装置である。例えば、マウスやタッチパッド、タッチパネル等のポインティングデバイスやキーボード等が入力装置４００に該当する。監視対象人物（追跡対象人物）の登録や、登録された人物とビデオカメラ２００に新たに登場した人物との対応づけ（同一人物としての対応付け）等の各種処理は、ユーザの入力装置４００に対する操作に基づいてなされる。

【0025】

なお、情報処理サーバ１００と表示装置３００、入力装置４００の構成は種々考えられる。例えば、表示装置３００及び入力装置４００を１台のクライアントとして実現することも考えられるし、或いは、情報処理サーバ１００，表示装置３００、及び入力装置４００の機能を４台以上の情報処理装置により実現しても良い。また、表示装置３００及び入力装置４００を１台のクライアントとして実現する場合には、本実施形態に係る情報処理サーバ１００の一部の機能を、当該クライアントに持たせても良い。

【0026】

（１．１．２ 情報処理サーバ１００の構成）
以下、本実施形態に係る情報処理サーバ１００の構成を説明する。情報処理サーバ１００は、図１に示すように、入力部１１０、人物検知部１２０、確率情報生成部１３０、時刻予測部１４０、表示制御部１５０、及びデータベース（ＤＢ）１６０を含む。なお、情報処理サーバ１００の機能は、複数の情報処理装置（コンピュータ）により実現しても良い。

【0027】

入力部１１０は、ビデオカメラ２００から受信した映像を表示制御部１５０へと出力することにより、当該映像を表示装置３００に表示させると共に、同じくビデオカメラ２００から受信した人物検出結果の情報を、検出人物情報１６３等としてＤＢ１６０へ登録する。入力部１１０がＤＢ１６０に登録する検出人物情報１６３には、ビデオカメラ２００により検出された人物の特徴量の情報が含まれる。

【0028】

人物検知部１２０は、入力部１１０がビデオカメラ２００から受信した人物検出結果に基づき、監視対象の人物がビデオカメラ２００の映像に映っていること、及び映らなくなった（フレームアウトした）こと、を検知する。なお、上述の通り、本実施形態ではビデオカメラ２００が人物検出を行なっているがこれに限られるものではなく、人物検知部１２０自身が、人物検出を行うように実装することも考えられる。

【0029】

確率情報生成部１３０は、あるビデオカメラ２００に映った後、フレームアウトした人物が他のそれぞれのビデオカメラ２００（人物が戻ってきた（Ｕターンしてきた）場合も考慮すべく、自ビデオカメラ２００を含んでも良い）に映る確率の時間遷移に係る情報を算出した上で、ＤＢ１６０の確率情報１６１として登録する。この確率情報１６１の登録は、予め前処理をして行なっても、人物検出を逐次行いながら動的に更新しても、どちらでも良い。確率情報生成部１３０が生成する、人物があるビデオカメラ２００の映像からフレームアウトした後、他のビデオカメラ２００に映る確率の時間遷移については、図３や図４を参照しながら後述する。

【0030】

時刻予測部１４０は、あるビデオカメラ２００に映った人物がフレームアウトした後、他のカメラに映る時刻（時間帯）を、フレームアウトからの時間の経過と、確率情報１６１とに基づいて予測する。この処理は、図３を参照しながら後述する。
表示制御部１５０は、監視用画面等の各種表示画面を表示装置３００に表示させる。表示制御部１５０は、映像表示部１５１及びＵＩ生成部１５３を含む。

【0031】

映像表示部１５１は、入力部１１０により入力された撮影映像を表示装置３００に表示させる。後述の図２の例では、監視用画面の一部に、映像表示部１５１が表示させる映像領域が設けられる。なお、映像表示部１５１が表示装置３００に表示させる映像はリアルタイムの映像でなくとも良い。もし、記録映像を表示装置３００に表示させる場合には、ビデオカメラ２００から入力された映像を図示しない記憶媒体に記憶した上で、映像表示部１５１は当該映像を読みだして表示装置３００に表示させることとなる。

【0032】

ＵＩ生成部１５３は、後述する図２に具体例を示す監視用画面等の各種表示画面を表示装置３００に表示させる。ＵＩ生成部１５３が生成及び提供するＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）により、監視対象人物の登録や同一人物であるか否かの対応付けなどを行う。また、本実施形態においては、確率情報生成部１３０及び時刻予測部１４０による次カメラ予測の結果、監視対象人物が登場すると推測されるビデオカメラ２００及びその時間帯の情報を、ＵＩ生成部１５３がユーザに対して報知する。
ＤＢ１６０は、例えば図示しないＨＤＤ等の各種記憶装置上に構築される。ＤＢ１６０は、確率情報１６１、及び検出人物情報１６３を管理する。

【0033】

（１．２ 動作の概要）
以下、図２乃至図４を参照しながら、監視システム１の機能や動作を説明する。

【0034】

（１．２．１ 人物監視の概略）
まず、図２を参照しながら、表示装置３００が表示する表示画面の具体例を説明する。図３は、表示装置３００が人物監視のために表示する表示画面（以下、監視用画面２０ともいう。）の具体例を示す図である。

【0035】

図２の監視用画面２０の例では、複数のビデオカメラ２００から入力された撮影映像をそれぞれ表示する映像領域２１Ａ乃至２１Ｄ（以下、総称して映像領域２１ともいう。）を含む。

【0036】

映像領域２１は、前述の通り複数のビデオカメラ２００から入力されたマルチカメラ映像を表示する。ここで、それぞれの映像領域２１に表示されるビデオカメラ２００の映像は、随時（動的に）切り換わる。例えば、監視対象の人物が表示領域から外れた後、当該人物の移動に合わせて、次にその人物が現れると時刻予測部１４０が予測するビデオカメラ２００の映像へと、ＵＩ生成部１５３及び映像表示部１５１は映像領域２１に表示する映像を切り換える。

【0037】

図２（ａ）は、進行方向ａへ移動する人物Ｐが映像領域２１Ａの映像（「Ｃａｍｅｒａ００１」の識別子を持つビデオカメラ２００の映像）に映っている場合の監視用画面２０の具体例、図２（ｂ）は、人物Ｐが映像領域２１Ａの映像からフレームアウトした後、人物Ｐが複数のビデオカメラ２００のいずれでも検出されていない場合の監視用画面２０の具体例を示す図である。

【0038】

図２（ｂ）の具体例を見ればわかるように、人物Ｐのフレームアウト後の監視用画面２０の映像領域２１Ｂ乃至２１Ｄには、時間帯表示領域２３Ｂ乃至２３Ｄ（以下、総称して時間帯表示領域２３ともいう。）と、出現位置示唆画像２５Ｂ乃至２５Ｄ（以下、総称して出現位置示唆画像２５ともいう。）とが表示されている。

【0039】

当該時間帯表示領域２３は、それぞれの映像に人物Ｐが登場する可能性の高い時間帯を示している。例えば映像領域２１Ｂの時間帯表示領域２３上には「３ｓ〜５ｓ」と表示されているため、人物Ｐが現れるならば、監視用画面２０を表示している現在時刻から３秒乃至５秒の時間帯に、当該映像に人物Ｐが映る可能性が高いことを示している。同じく、映像領域２１Ｃの時間帯表示領域２３Ｃ上には「１２ｓ〜１６ｓ」と表示されているため、人物Ｐが当該映像領域２１Ｃの映像に現れるならば、現在時刻から１２乃至１６秒の時間帯である可能性が高いことを示している。映像領域２１Ｄの時間帯表示領域２３Ｄ上には「３０ｓ〜４０ｓ」と表示されているため、人物Ｐが当該映像領域２１Ｄの映像に現れるならば、現在時刻から３０乃至４０秒の時間帯である可能性が高いことを示している。

【0040】

出現位置示唆画像２５は、監視対象の人物Ｐが出現する可能性の高い映像上の位置を示している。ここで、出現位置示唆画像２５Ｂは、出現位置示唆画像２５Ｃや２５Ｄよりも濃い色で示されている。これは、現在時刻において、人物Ｐが映像領域２１Ｂの映像に登場する確率が、映像領域２１Ｃや２１Ｄに登場する確率よりも高いことを示している。このように、出現位置示唆画像２５を、現在時刻における出現確率に応じて、色を順次変化させたり点滅させたりすることにより、人物Ｐの現れる可能性の高さや可能性の高い時間帯を、ユーザに認識させるようにしても良い。

【0041】

このように、人物Ｐが近い時間に現れる可能性が高い順に映像領域２１Ｂ、２１Ｃ及び２１Ｄを並べることにより、ユーザがどの映像領域２１に注目しておけば良いのかわかりやすくなる。また、人物Ｐが登場する可能性の高い時間帯を時間帯表示領域２３によりユーザに認識させることにより、ユーザはこの時間帯に各映像領域２１を確認すれば良い、すなわち、その時間帯（範囲）よりも早い時間から映像を注視する必要はなく、また、その時間帯よりも遅い時刻になれば映像を注視する必要がなくなるため、ユーザの監視負荷を軽減することが可能となる。

【0042】

一方で、表示順が随時切り換わるとユーザが混乱する可能性も考えられる。そこで、各映像領域２１に表示される映像の位置は変えずに、人物Ｐの出現する可能性の高さに応じてそれぞれの映像領域２１の色等による強調方法を変えることにより、監視者であるユーザが注視すべき映像の優先順位を表現しても良い。

【0043】

なお、本実施形態では、時間帯表示領域２３や出現位置示唆画像２５により、人物Ｐの現れる可能性の高い時間帯を報知しているがこれに限られるものではない。例えば、映像領域２１やその周囲を、人物Ｐの現れる可能性（確率）の高さに応じて、点滅させたり、輝度を変化させたりすることも考えられる。

【0044】

（１．２．２ 時間経過に応じたユーザ報知の変化）
次に、図３を参照しながら、時間経過に応じたユーザ報知の変化を説明する。図３（ａ）は、図２に示した人物Ｐが映像領域２１Ａからフレームアウトした後の時刻Ｔにおける状態、図３（ｂ）は図３（ａ）の２秒後の状態を示している。また、図３（ａ）（ｂ）のそれぞれ左側には映像領域２１の表示例を、右側には、当該映像領域２１に人物Ｐが現れる確率の時間遷移を、それぞれ示している。

【0045】

時刻Ｔにおいては、図３（ａ）に示すように、人物Ｐが現れる可能性の確率の時間遷移の中で、閾値Ｘを超える確率を持つ時間帯は、現在時刻から３〜５秒後である。よって、ＵＩ生成部１５３は、映像領域２１内の時間帯表示領域２３に「３ｓ〜５ｓ」と表示する。

【0046】

一方、時刻Ｔの２秒後（図３（ｂ））には、人物Ｐが現れる可能性の確率の時間遷移の中で、閾値Ｘを超える確率を持つ時間帯は、現在時刻から１〜３秒後となる。よって、ＵＩ生成部１５３は、映像領域２１内の時間帯表示領域２３に「１〜３ｓ」と表示する。
このように、映像領域２１へ人物Ｐが出現する時間帯の報知方法は、時間経過に応じて動的に変化する。

【0047】

なお、図３左側に示す画面例では示していないが、出現位置示唆画像２５についても、時間帯表示領域２３と同様に、時間経過に応じて動的に変化させることができる。

【0048】

（１．２．３ 監視対象人物の現れる確率の算出方法）
続いて、図４を参照しながら、確率の算出方法を説明する。あるビデオカメラ２００（ここでは「カメラＡ」と呼ぶ。）の映像からフレームアウトしてからｔ秒後に、次のビデオカメラ２００（ここでは「カメラＢ」と呼ぶ。）の映像に現れる確率ｆ（ｔ｜Ａ，Ｂ）は、下記の数式により表現することができる。

【0049】

【数1】

【0050】

ここで、μは、カメラＡからカメラＢに追跡対象人物が現れる平均出現時間である。なお、平均出現時間は、監視対象人物のカメラＡによる映像内での移動速度に応じて補正することも考えられる。例えば、カメラＡの映像で、平均速度の２倍の速度で監視対象人物が移動している場合には、平均出現時間を半分に補正することが考えられる。若しくは、監視対象人物の性別や身長等の属性を予め識別しておき、それらの属性に対応した平均出現時間を採用することも考えられる。

【0051】

また、ａ（ｔ）はヒストグラムであり、その具体例は、図４に示す。このａ（ｔ）の分布は、監視システム１の監視対象者たちの動きから確率情報生成部１３０が確率情報１６１の一部として統計的に作成／更新しても良いし、或いは、予め確率情報生成部１３０が確率情報１６１の一部として準備しておいても良い。なお、このａ（ｔ）に係る情報は、人物が移動可能なカメラ間毎に生成される。或いは、共通的な関数を採用しても良い。より具体的には、例えば、以下の式で表現されるＢＰＴ（Ｂｒｏｗｎｉａｎ Ｐａｓｓａｇｅ Ｔｉｍｅ）分布を採用することが考えられる。

【数2】

【0052】

ここで、αは予め定められたパラメータであり、出現時間のばらつき具合を表す。
この数式は、人物の移動がブラウン運動であるものと仮定した場合の数式であるが、ＢＰＴ分布を区分線形関数で表現するなど、他のヒューリスティックな関数を採用することも考えられる。

【0053】

更には、ＡとＢとが同じ場合（すなわち、監視対象者がＵターンしてきた場合）を考慮しても良い。
なお、上記数式及び図４からわかるように、カメラＡからカメラＢに追跡対象人物が現れる確率は、平均出現時刻μ周辺で最も高くなる。

【0054】

上記確率ｆを示す数式は、以下のように書き換えることもできる。カメラＡから追跡対象人物が消えた（フレームアウトした）時刻をＴ_消滅、現在時刻をＴとすると、時刻Ｔに当該人物がカメラＢに現れる確率ｐ（Ｔ｜Ａ，Ｂ）は、以下の式で表現する事ができる。

【0055】

【数3】

【0056】

なお、カメラＡからのフレームアウト後、一定時間以上経過したら（ｔが閾値を超えたら）、若しくは確率が予め定めた閾値よりも小さくなったら、追跡対象人物が出口から出たものと判別することができる。もしくは、ｐ（Ｔ｜Ａ，出口）を設けて出口対応を別途検討するようにしても良い。
また、カメラが全部でＮ個あったとして、全てのカメラをＣ_ｉ（ｉ＝１，２，…Ｎ）とすると、時刻ＴにカメラＢの映像に監視対象人物が現れる確率を、Ｂ以外のカメラに現れない程確からしいと考えて、以下の数式により計算した値を用いることも考えられる。

【数4】

【0057】

このように計算すれば、カメラＢ以外のビデオカメラに現れる可能性が０であれば１に近い値となり、カメラＢ以外に現れる可能性が高ければ、０に近い値となる。

【0058】

また、上記数式では考慮していないが、確率計算には、カメラＢやその他のビデオカメラ２００に現れた人物の特徴量等に基づき、人物が現れたか否かを考慮してもよい。例えば、カメラＢに現れた人物が、その人物の特徴量から監視対象人物である確率をｇとすると、確率は以下の数式により算出することができる。

【数5】

【0059】

この数式では、カメラＢに人物が現れない場合にはｇが存在せず、確率を計算できないため、カメラＢに人物が現れない場合には、予め定めた定数ｃを用いて以下の数式により計算すればよい。

【数6】

【0060】

（１．３ 処理の流れ）
次に、情報処理サーバ１００の処理の流れを、図５を参照しながら説明する。図５は、本実施形態にかかる情報処理サーバ１００の処理の流れを示すフローチャートである。

【0061】

なお、後述の各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して若しくは並列に実行することができ、また、各処理ステップ間に他のステップを追加しても良い。更に、便宜上１つのステップとして記載されているステップは複数のステップに分けて実行することもでき、便宜上複数に分けて記載されているステップを１ステップとして実行することもできる。

【0062】

まず、人物検知部１２０は、ビデオカメラ２００から入力部１１０で受信する情報に基づき、ビデオカメラ２００で撮影された映像内に検出対象オブジェクトとしての人物が映っているか否かを判別する（Ｓ５０１）。以下、このビデオカメラ２００を「カメラＡ」と呼ぶ。

【0063】

Ｓ５０１での判別の結果、カメラＡで撮影した映像に人物が検出されている場合には（Ｓ５０１のＹｅｓ）、その後当該人物がカメラＡからフレームアウトしたか否かを、人物検知部１２０は判別する（Ｓ５０３）。

【0064】

人物がカメラＡからフレームアウトした場合には（Ｓ５０３のＹｅｓ）、時刻予測部１４０は、まず、人物のカメラＡからのフレームアウト後の経過時間を算出する（Ｓ５０５）。時刻予測部１４０は、更にＤＢ１６０から確率情報１６１を参照することにより（Ｓ５０７）、カメラＡから人物が移動可能な位置にある各ビデオカメラ２００に対して、当該人物がそのビデオカメラ２００の映像に現れる確率の時間推移（例えば、図３の右側のグラフに相当する情報）を生成する。

【0065】

その上で時刻予測部１４０は、カメラＡからフレームアウトした人物が移動可能な各ビデオカメラ２００毎に、それぞれのビデオカメラ２００にその人物が登場する可能性の高い時間帯を求める（Ｓ５０９）。より具体的には、例えば、図３の右側に示した確率の時間推移において、確率が閾値Ｘを超える時間帯を、当該人物がそのビデオカメラ２００に現れる可能性の高い時間帯として時刻予測部１４０は特定することができる。

【0066】

ＵＩ生成部１５３は、時刻予測部１４０が予測した、カメラＡから各ビデオカメラ２００に移動する可能性の高い時間帯が早い順等に、監視用画面２０の映像領域２１の映像を並べ替えた上で、時間帯表示領域２３にその時間帯を示す（Ｓ５１１）。なお、前述の通り、ユーザへの時間帯の報知の方法はこれに限られるものではない。

【0067】

その後人物検知部１２０は、いずれかのビデオカメラ２００でカメラＡからフレームアウトした追跡対象の人物が検出されたか否かを判別し（Ｓ５１３）、もし検出されていなければ（Ｓ５１３のＹｅｓ）、情報処理サーバ１００は、Ｓ５０５以降の処理を繰返す。一方、もし当該追跡対象人物がいずれかのビデオカメラ２００で検出されていた場合には（Ｓ５１３のＹｅｓ）、ユーザへの報知を終了する（Ｓ５１５）。

【0068】

（１．４ ハードウェア構成）
以下、図６を参照しながら、上述してきた情報処理サーバ１００をコンピュータにより実現する場合のハードウェア構成の一例を説明する。なお前述の通り、情報処理サーバ１００の機能は、複数の情報処理装置により実現することも可能である。

【0069】

図６に示すように、情報処理サーバ１００は、プロセッサ６０１、メモリ６０３、記憶装置６０５、入力インタフェース（Ｉ／Ｆ）６０７、データＩ／Ｆ６０９、通信Ｉ／Ｆ６１１、及び表示装置６１３を含む。

【0070】

プロセッサ６０１は、メモリ６０３に記憶されているプログラムを実行することにより情報処理サーバ１００における様々な処理を制御する。例えば、図１で説明した入力部１１０、人物検知部１２０、確率情報生成部１３０、時刻予測部１４０及び表示制御部１５０に係る処理は、メモリ６０３に一時記憶された上で主にプロセッサ６０１上で動作するプログラムとして実現可能である。

【0071】

メモリ６０３は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の記憶媒体である。メモリ６０３は、プロセッサ６０１によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。例えば、メモリ６０３の記憶領域には、プログラム実行時に必要となるスタック領域が確保される。

【0072】

記憶装置６０５は、例えばハードディスクやフラッシュメモリなどの不揮発性の記憶媒体である。記憶装置６０５は、オペレーティングシステムや、入力部１１０、人物検知部１２０、確率情報生成部１３０、時刻予測部１４０、及び表示制御部１５０を実現するための各種プログラムや、ＤＢ１６０として格納される確率情報１６１及び検出人物情報１６３を含む各種データ等を記憶する。記憶装置６０５に記憶されているプログラムやデータは、必要に応じてメモリ６０３にロードされることにより、プロセッサ６０１から参照される。

【0073】

入力Ｉ／Ｆ６０７は、ユーザからの入力を受け付けるためのデバイスである。図１で説明した入力装置４００は、入力Ｉ／Ｆ６０７により実現することも可能である。入力Ｉ／Ｆ６０７の具体例としては、キーボードやマウス、タッチパネル、各種センサ等が挙げられる。入力Ｉ／Ｆ６０７は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のインタフェースを介して情報処理サーバ１００に接続されても良い。

【0074】

データＩ／Ｆ６０９は、情報処理サーバ１００の外部からデータを入力するためのデバイスである。データＩ／Ｆ６０９の具体例としては、各種記憶媒体に記憶されているデータを読み取るためのドライブ装置等がある。データＩ／Ｆ６０９は、情報処理サーバ１００の外部に設けられることも考えられる。その場合、データＩ／Ｆ６０９は、例えばＵＳＢ等のインタフェースを介して情報処理サーバ１００へと接続される。

【0075】

通信Ｉ／Ｆ６１１は、情報処理サーバ１００の外部の装置、例えばビデオカメラ２００等との間で有線又は無線によりデータ通信するためのデバイスである。通信Ｉ／Ｆ６１１は情報処理サーバ１００の外部に設けられることも考えられる。その場合、通信Ｉ／Ｆ６１１は、例えばＵＳＢ等のインタフェースを介して情報処理サーバ１００に接続される。

【0076】

表示装置６１３は、各種情報を表示するためのデバイスである。図１で説明した表示装置３００は、表示装置６１３により実現することも可能である。表示装置６１３の具体例としては、例えば、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等が挙げられる。表示装置６１３は、情報処理サーバ１００の外部に設けられても良い。その場合、表示装置６１３は、例えばディスプレイケーブル等を介して情報処理サーバ１００に接続される。

【0077】

（１．５ 本実施形態に係る効果）
以上説明したように、本実施形態に係る監視システム１では、追跡対象者があるビデオカメラ２００から各ビデオカメラ２００の撮影領域に移動する可能性の高い時間帯（時間区間）をユーザに報知する。これにより、監視者であるユーザは、各映像を注視すべき時間帯を明確に把握することができるようになるため、人物監視に係る負荷を軽減することが可能となる。

【0078】

（２ 第２実施形態）
以下、第２実施形態を、図７を参照しながら説明する。図７は、情報処理システムである監視装置７００の機能構成を示すブロック図である。図７に示すように、監視装置７００は、入力部７１０と、検知部７２０と、予測部７３０と、報知部７４０とを含む。
入力部７１０は、図示しないビデオカメラ（撮像装置）で撮影された映像の入力を受けることができる。

【0079】

検知部７２０は、入力部７１０により入力された、複数のビデオカメラのうち、少なくとも１台のビデオカメラが撮影した映像に映る移動体を検知する。ここで、移動体の具体例としては、人間の他、車や自転車、バイク等を挙げることができる。

【0080】

予測部７３０は、あるビデオカメラで検知された移動体が、そのビデオカメラを含む他のビデオカメラが撮影する映像に映る確率の時間遷移と、ビデオカメラの映像の撮影範囲から移動体が外れた後の時間経過とに基づいて、当該移動体が他のビデオカメラに現れる時間帯を予測する。
報知部７４０は、当該他のビデオカメラの映像に現れると予測される時間帯を報知する。
このように実装することで、本実施形態に係る監視装置７００によれば、複数の撮影装置に係る移動体の監視を好適に行うことができるようになる。

【0081】

（３ 付記事項）
なお、前述の実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。

【0082】

なお、前述の各実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。また、本発明のプログラムは、上記の各実施形態で説明した各動作を、コンピュータに実行させるプログラムであれば良い。

【0083】

（付記１）
複数の撮影装置で撮影された映像の入力を受ける入力手段と、前記入力手段により入力された、前記複数の撮影装置のうちの第１の撮影装置が撮影した映像に映る移動体を検知する検知手段と、前記第１の撮影装置の映像で検知された移動体が前記複数の撮影装置のうちの第２の撮影装置が撮影する映像に映る確率の時間遷移と、前記第１の撮影装置で検知された移動体が撮影範囲から外れた後の時間経過とに基づいて、当該移動体が前記第２の撮影装置の映像に現れる時間帯を予測する予測手段と、前記第２の撮影装置の映像に現れると予測される時間帯を報知する報知手段とを備える情報処理システム。

【0084】

（付記２）
前記予測手段は、前記第１の撮影装置で検知された移動体が前記第２の撮影装置が撮影する映像に映る確率が閾値を超える時間帯を、移動体が前記第２の撮影装置に現れる時間帯と予測する、付記１記載の情報処理システム。

【0085】

（付記３）
前記報知手段は、前記第２の撮影装置で撮影された映像の上に、移動体が現れると予測される時間帯を表示することにより、当該時間帯を報知する、付記１又は付記２記載の情報処理システム。

【0086】

（付記４）
前記報知手段は、移動体が現れると予測される時間帯に、前記第２の撮影装置で撮影された映像に係る表示を変化させることにより、当該時間帯を報知する、付記１又は付記２記載の情報処理システム。

【0087】

（付記５）
複数の撮影装置で撮影された映像の入力を受けるステップと、前記複数の撮影装置のうちの第１の撮影装置が撮影した映像に映る移動体を検知するステップと、前記第１の撮影装置の映像で検知された移動体が前記複数の撮影装置のうちの第２の撮影装置が撮影する映像に映る確率の時間遷移と、前記第１の撮影装置で検知された移動体が撮影範囲から外れた後の時間経過とに基づいて、当該移動体が前記第２の撮影装置の映像に現れる時間帯を予測するステップと、前記第２の撮影装置の映像に現れると予測される時間帯を報知するステップとを情報処理システムが行う情報処理方法。

【0088】

（付記６）
前記第１の撮影装置で検知された移動体が前記第２の撮影装置が撮影する映像に映る確率が閾値を超える時間帯を、移動体が前記第２の撮影装置に現れる時間帯と予測する、付記５記載の情報処理方法。

【0089】

（付記７）
前記第２の撮影装置で撮影された映像の上に、移動体が現れると予測される時間帯を表示することにより、当該時間帯を報知する、付記５又は付記６記載の情報処理方法。

【0090】

（付記８）
移動体が現れると予測される時間帯に、前記第２の撮影装置で撮影された映像に係る表示を変化させることにより、当該時間帯を報知する、付記５又は付記６記載の情報処理方法。

【0091】

（付記９）
複数の撮影装置で撮影された映像の入力を受ける処理と、前記複数の撮影装置のうちの第１の撮影装置が撮影した映像に映る移動体を検知する処理と、前記第１の撮影装置の映像で検知された移動体が前記複数の撮影装置のうちの第２の撮影装置が撮影する映像に映る確率の時間遷移と、前記第１の撮影装置で検知された移動体が撮影範囲から外れた後の時間経過とに基づいて、当該移動体が前記第２の撮影装置の映像に現れる時間帯を予測する処理と、前記第２の撮影装置の映像に現れると予測される時間帯を報知する処理とをコンピュータに実行させるプログラム。

【0092】

（付記１０）
前記第１の撮影装置で検知された移動体が前記第２の撮影装置が撮影する映像に映る確率が閾値を超える時間帯を、移動体が前記第２の撮影装置に現れる時間帯と予測する、付記９記載のプログラム。

【0093】

（付記１１）
前記第２の撮影装置で撮影された映像の上に、移動体が現れると予測される時間帯を表示することにより、当該時間帯を報知する、付記９又は付記１０記載のプログラム。

【0094】

（付記１２）
移動体が現れると予測される時間帯に、前記第２の撮影装置で撮影された映像に係る表示を変化させることにより、当該時間帯を報知する、付記９又は付記１０記載のプログラム。

【0095】

この出願は、２０１２年１０月２９日に出願された日本出願特願２０１２−２３７９８７を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【符号の説明】

【0096】

１・・・監視システム、２０・・・監視用画面、２１・・・映像領域、２３・・・時間帯表示領域、２５・・・出現位置示唆画像、１００・・・情報処理サーバ、１１０・・・入力部、１２０・・・人物検知部、１３０・・・確率情報生成部、１４０・・・時刻予測部、１５０・・・表示制御部、１５１・・・映像表示部、１５３・・・ＵＩ生成部、１６０・・・データベース（ＤＢ）、１６１・・・確率情報、１６３・・・検出人物情報、２００・・・ビデオカメラ、３００・・・表示装置、４００・・・入力装置、６０１・・・プロセッサ、６０３・・・メモリ、６０５・・・記憶装置、６０７・・・入力インタフェース（Ｉ／Ｆ）、６０９・・・データインタフェース、６１１・・・通信インタフェース、６１３・・・表示装置、７００・・・監視装置、７１０・・・入力部、７２０・・・検知部、７３０・・・予測部、７４０・・・報知部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】