(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0012】
以下に本発明の実施形態を説明する。以下の説明及び参照する図面の記載において、同一又は類似の構成には、それぞれ同一又は類似の符号が付されている。
【0013】
(1 第1実施形態)
図1乃至
図4は、第1実施形態を説明するための図である。以下、これらの図を参照しながら、本実施形態を説明する。
【0014】
(1.1 概要)
以下、本実施形態に係る概要を説明する。現在、セキュリティ等の観点から、店舗内や駅構内、街中等の人が行き交う場所に監視カメラが多数設置されている。しかしながら一方で、設置コストとの兼ね合いにより、死角(監視カメラに撮影されていない場所)なく、あまねく監視カメラを設置することは困難である。計画的な犯罪を行う人物は、このような監視カメラの死角を認識した上で、死角で違法商品の売買等の犯行を行う可能性が高い。
この他、新型ウイルスの感染ルートの特定等を行う場合にも、監視カメラの死角において、どのような人物間の接触がなされたのかを特定する必要がある。
【0015】
そこで本実施形態に係る情報処理システムでは、監視カメラの死角において接触した可能性のある人物同士を判定し、この人物の組み合わせを出力できるようにしている。これにより、本実施形態に係る情報処理システムは、監視カメラの死角をある程度補間することを可能としている。
【0016】
そのために、本実施形態に係る情報処理システムでは、監視カメラ間での人物追跡により、カメラ間の移動時間を割り出し、通常の移動時間よりも遅い時間で現れた人物をチェックすると共に、同じ区間、同じ時間帯に、通常の移動時間よりも遅い時間で現れた人物が他にもいないかどうかをチェックする。これにより、監視カメラ間で接触した可能性が高いかどうかを判定するようにしている。なお、監視カメラは2点間だけではなく、複数カメラ間での移動時間をマップ化することが可能であり、これにより、各地点間で判定行うことが可能である。
【0017】
(1.2 情報処理システムの機能構成)
次に、
図1を参照しながら、本実施形態に係る情報処理システム1の機能構成を説明する。
図1は、情報処理システム1の機能構成を示す図である。
図1に示すように、情報処理システム1は、大きく分けると監視カメラ10(監視カメラ10A及び10Bを総称して監視カメラ10という。)、映像解析装置20(映像解析装置20A及び20を総称して映像解析装置20という。)、人物情報蓄積データベース(DB)30、映像情報処理装置40、及びカメラ間経路DB50を含む。以下、これらの装置の機能構成について順番に説明する。
【0018】
なお、
図1の例では、監視カメラ10及び各監視カメラ10に対応付けて設けられる映像解析装置20はそれぞれ2台となっているがこれに限られるものではなく、3台以上であっても良い。また、1台の映像解析装置20が、複数台の監視カメラ10が撮影した映像を解析するようにしても良い。
【0019】
監視カメラ10は、映像を撮影する映像撮影部11(映像撮影部11A及び11Bを総称して映像撮影部11という。)と、映像解析装置20に対して、映像撮影部11が撮影した映像を有線又は無線通信により送信する映像送信部13(映像送信部13A及び13Bを総称して映像送信部13という。)とを有する。
【0020】
ここで、監視カメラ10が映像解析装置20へ映像を伝送する通信の具体例としては、例えばBNCケーブルや電話回線、Ethernet(登録商標)ケーブル等の有線通信や、マイクロ波回線、無線LAN等の無線通信が考えられる。また、インターネットを介した通信であっても良い。
【0021】
映像解析装置20は、監視カメラ10で撮影された映像を解析することにより人物情報を生成する装置である。映像解析装置20は、映像受信部21(映像受信部21A及び21Bを総称して映像受信部21という。)と、人物領域抽出部23(人物領域抽出部23A及び人物領域抽出部23Bを総称して人物領域抽出部23という。)と、人物特徴抽出部25(人物特徴抽出部25A及び25Bを総称して人物特徴抽出部25という。)と、人物追跡部27(人物追跡部27A及び27Bを総称して人物追跡部27という。)とを含む。
【0022】
映像受信部21は、監視カメラ10が撮影した映像を受信する。人物領域抽出部23は、映像受信部21が受信した映像の中にある人物領域を見つけ、当該人物領域を抽出する。ここで人物領域は、監視カメラ10が撮影した映像内に映った人物の全体像や、人物の一部と判定できる部分(例えば、顔や上半身など)を切り出した映像や、それに対応する座標情報等である。
【0023】
人物特徴抽出部25は、人物領域抽出部23が抽出した人物領域から人物特徴データを算出した上で、当該人物特徴データを、監視カメラ10毎に一意に定められた監視カメラIDと共に人物情報蓄積DB30へと格納する。ここで人物特徴データとは、抽出された人物を一意に判定するためのデータであり、顔特徴、身長、性別、年齢、服色、服模様、体型、髪型、付帯物、歩様の一部やその組み合わせを含むことができる。
【0024】
人物追跡部27は、直前の映像と現在の映像とで(すなわちフレーム間で)同一人物を判定することにより、同一画角の映像内での人物の追跡を行う。この結果、人物追跡部27は、同一人物が映像にフレームインした時刻やフレームアウトした時刻を特定することが可能であるので、このフレームインした時刻やフレームアウトした時刻を、当該人物特徴データやや監視カメラIDと対応付けた上で、人物情報蓄積DBへと格納する。
【0025】
人物情報蓄積DB30は、映像解析装置20から出力される人物特徴データや、各監視カメラ10への各人物のフレームイン・フレームアウト時刻を蓄積するデータベースである。
【0026】
映像情報処理装置40は、人物情報蓄積DBに格納された人物情報を元に、接触した可能性のある人物の組み合わせのリストを出力することのできる装置である。映像情報処理装置40は、同一人物判定部41、接触判定部43及びリスト生成部45を含む。
【0027】
同一人物判定部41は、人物情報蓄積DB30に蓄積された人物特徴データを元に、各監視カメラ10で撮影された各人物が同一であるか否かを判定することにより、各人物が各監視カメラ10の映像にフレームイン及びフレームアウトした時刻を元に、各人物の動きを時系列に整理する。同一人物であるか否かは、例えば人物特徴データの類似度が閾値以上であるか否か等に基づいて判別することが可能である。
【0028】
接触判定部43は、各人物が各監視カメラ10で撮影されていない(すなわち、各人物が監視カメラ10の撮影範囲外(死角)にいた)時間帯を特定することにより、各人物がお互いに接触した可能性を判定する。この具体的手法については後述する。
【0029】
リスト生成部45は、接触判定部62による接触判定内容を元に、接触した可能性のある人物の組み合わせと、その人物の組み合わせがどの監視カメラ10間で接触した可能性が高いかを一覧するための接触リストを生成して、当該接触リストを出力する。
【0030】
カメラ間経路DBは、ある監視カメラ10の映像からフレームアウトし、別の監視カメラ10の映像にフレームインするまでにかかる平均カメラ間移動時間を、点在する監視カメラ10間全ての有り得る組み合わせに対して蓄積するデータベースである。
【0031】
(1.3 処理の流れ)
次に、情報処理システム1の処理の流れを、
図2及び
図3を参照しながら説明する。
図2及び
図3は、本実施形態に係る情報処理システム1の処理の流れを示すフローチャートである。以下では、キーとなる人物を1人チェックし、そのキーとなる人物が監視カメラ10A及び10B間で接触した可能性の高い人物リストを生成する際の処理の流れを説明する。
【0032】
なお、後述の各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して若しくは並列に実行することができ、また、各処理ステップ間に他のステップを追加しても良い。更に、便宜上1つのステップとして記載されているステップは複数のステップに分けて実行することもでき、便宜上複数に分けて記載されているステップを1ステップとして実行することもできる。
【0033】
(1.3.1 人物情報生成に係る処理の流れ)
まず、
図2を参照しながら、映像解析装置20が人物情報を生成するまでの処理の流れを説明する。
【0034】
監視カメラ10は、映像撮影部11を用いて、設置された場所から撮影領域(撮影対象エリア)に関する映像を撮影し(S201)、その映像を映像送信部13から映像解析装置20へ向けて送信する(S203)。
【0035】
映像解析装置20は、映像受信部21において、監視カメラ10が撮影した映像を受信する(S205)。人物領域抽出部23は、映像受信部21で受信した映像を解析した上で、映像に人物が映っている場合には、当該人物に係る人物領域を抽出する(S207)。人物特徴抽出部25は、この人物領域に対して人物特徴データを算出した上で(S209)、当該人物特徴データを人物情報蓄積DB30に保存させる(S211)。
【0036】
また、人物追跡部27は、前フレームの人物特徴データとそれに続く現在のフレームの人物特徴データとを比較し、その結果、両者が同一人物であると判別できるならば、その人物を同一人物として追跡可能とする(S213)。人物追跡部27は、このような追跡処理を多数のフレームにわたって行うことで、各人物がフレームインした時刻及びフレームアウトした時刻を特定することができる。より詳細には、映像内に初めて現れた人物として判断できる場合には、人物追跡部27は当該時刻を、その人物がフレームインした時刻として人物情報蓄積DB30に保存する(S215)。また、前フレームに存在した人物がいなくなった場合には、人物追跡部27はその時刻を当該人物がフレームアウトした時刻として人物情報蓄積DB30に保存する(S217)。
【0037】
(1.3.2 接触リスト作成に係る処理の流れ)
次に、
図3を参照しながら、映像情報処理装置40が接触リストを作成するまでの処理の流れを説明する。
【0038】
映像情報処理装置40の同一人物判定部41は、人物情報蓄積DB30に保存されている、各監視カメラ10の人物特徴データから各映像に映る同一人物を特定し、当該人物に係る、各監視カメラ10の映像におけるフレームイン/フレームアウトの時刻を時系列に抽出する(S301)。
【0039】
接触判定部43は、当該人物の監視カメラ10の映像間の移動時間(ある監視カメラ10の映像からフレームアウトしてから、次の監視カメラ10の映像にフレームインするまでの時間)を、カメラ間経路DB50に格納された、平均カメラ間移動時間と比較し、その差分を算出する(S303)。
【0040】
次に映像情報処理装置40は、接触判定部43において、キーとなる人物のカメラ間移動の移動差分時間と、同じ監視カメラ10間でのその他の人物の移動差分とを比較することにより、接触判定を行う(S305)。具体的には、以下のようにして接触判定を行うことができる。
【0041】
ここで、監視カメラ10Aと監視カメラ10Bとの間で複数の人物(ここでは2名とする)がお互いに接触するのに必要とする接触必要時間(監視カメラ10間の移動時間に、両者の接触時間を加えた時間)をsとする。また、キーとなる人物の監視カメラ10Aでのフレームアウト時刻をt1、監視カメラ10Bへのフレームイン時刻をt1’、別の人物の監視カメラ10Aでのフレームアウト時刻をt2、監視カメラ10Bでのフレームイン時刻をt2’とする。
更に、min(t1’,t2’)は、t1’とt2’のうち、より早い時刻とする。また、max(t1,t2)は、t1とt2のうち、より遅い時刻とする。
【0042】
このような場合に、min(t1’,t2’)−max(t1,t2)>sの条件を満たせば、接触判定部43はこの2名の人物を、お互いに接触した疑いが強いと判定することができる。
【0043】
映像情報処理装置40のリスト作成部45は、接触判定部43において接触した可能性の高い順に、接触した可能性の高い人物の組み合わせに係る情報を出力する。この可能性の高さは、S305における接触判定において、min(t1’,t2’)−max(t1,t2)の値が大きいほど接触した疑いが高いものと判定することができる。
【0044】
このような処理により、キーとなる人物と他の人物とが監視カメラ10の撮影範囲外に滞在した時間を推定することにより、キーとなる人物と接触した可能性の高い人物のリストを作成できるようになる。
【0045】
(1.4 ハードウェア構成)
以下、
図4を参照しながら、上述してきた映像解析装置20や映像情報処理装置40をコンピュータである情報処理装置100として実現する場合のハードウェア構成の一例を説明する。なお、各映像解析装置20や映像情報処理装置40は、それぞれ別のコンピュータとして実現することもできるし、或いは、1台のコンピュータとして実現することも可能である。
【0046】
図4に示すように、情報処理装置100は、プロセッサ401、メモリ403、記憶装置405、入力インタフェース(I/F)407、データI/F409、通信I/F411、表示装置413を含む。
【0047】
プロセッサ401は、メモリ403に記憶されているプログラムを実行することにより情報処理装置100における様々な処理を制御する。
図1を参照しながら説明した映像解析装置20及び映像情報処理装置40が有する各機能ブロックに係る処理は、メモリ403に一時記憶された上で主にプロセッサ401上で動作するプログラムとして実現可能である。
【0048】
メモリ403は、例えばRAM(Random Access Memory)等の記憶媒体である。メモリ403は、プロセッサ401によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。例えば、メモリ403の記憶領域には、プログラム実行時に必要となるスタック領域が確保される。
【0049】
記憶装置405は、例えばハードディスクやフラッシュメモリなどの不揮発性の記憶媒体である。記憶装置405は、オペレーティングシステムや、映像解析装置20及び映像情報処理装置40が有する各機能ブロックを実現するための各種プログラム、人物情報蓄積DB30やカメラ間経路DB50に係る各種データを記憶することが可能である。記憶装置405に記憶されているプログラムやデータは、必要に応じてメモリ403にロードされることにより、プロセッサ401から参照される。
【0050】
入力I/F407は、ユーザからの入力を受け取るためのデバイスである。入力I/F407の具体例としては、キーボードやマウス、タッチパネル、各種センサ等が挙げられる。入力I/F407は、例えばUSB(Universal Serial Bus)等のインタフェースを介して情報処理装置100に接続されても良い。
【0051】
データI/F409は、情報処理装置100の外部からデータを入力するためのデバイスである。データI/F409の具体例としては、各種記憶媒体に記憶されているデータを読み取るためのドライブ装置等がある。データI/F409は、例えばUSB等のインタフェースを介して情報処理装置100へと接続される。
【0052】
通信I/F411は、情報処理装置100の外部の装置、例えば監視カメラ10等との間で有線又は無線によりデータ通信するためのデバイスである。通信I/F411は情報処理装置100の外部に設けられることも考えられる。その場合、通信I/F411は、例えばUSB等のインタフェースを介して情報処理装置100に接続される。
【0053】
表示装置413は、各種情報を表示するためのデバイスである。表示装置413の具体例としては、例えば、液晶ディスプレイや有機EL(Electro−Luminescence)ディスプレイ等が挙げられる。表示装置413は、情報処理装置100の外部に設けられても良い。その場合、表示装置413は、例えばディスプレイケーブル等を介して情報処理装置100に接続される。
【0054】
(1.5 本実施形態に係る効果)
以上説明したように、本実施形態によれば、街頭の監視カメラ10等で死角ができていたとしても、人物同士の接触がなされた可能性が高いか否かを判定できるようになる。これにより、例えば街頭での違法商品売買の摘発や、新型ウイルスのキャリアからの感染ルートの特定等が可能となる。
つまり、死角なく監視カメラ10を設置せずとも人物間の接触の有無を推測できるようになるため、監視カメラ設置コストの低減も図ることが可能となる。
【0055】
(1.6 変形例)
なお、上記実施形態の説明では、監視カメラ10が主に2台であることを前提に説明したがこれに限られるものではなく、3台以上のN台であっても同様に接触可能性の高い人物を特定することが可能である。監視カメラ10がN台の場合に於いても、各監視カメラ10間の通過ルートの数だけのカメラ間移動時間をカメラ間経路DB50に用意しておけば、監視カメラ10の死角となる各ルートにおける接触判定を行うことができ、結果として、より広範囲での映像監視を行うことが可能となる。
【0056】
また、キーとなる人物を指定せず、不特定の2名の人物が監視カメラ間で接触したか否かを判定するようにすることもできる。この場合には、監視エリア内で検出された各人物に対して人物IDを割り振った上で、それぞれの人物同士での接触判定を行うことができる。更に、リアルタイムで処理を行えば、必要以上の時間接触を行った可能性の高い人物の組み合わせがあった場合に、アラートをあげる(警告する)こともできる。これにより、監視カメラ10に映っていない場所での生じた事態に対する注意喚起を監視者に対して与えることが可能となるため、監視業務の効率化を図ることができる。
【0057】
(2 第2実施形態)
以下、第2実施形態を、
図5を参照しながら説明する。
図5は、第2実施形態に係る情報処理システム500の機能構成を示すブロック図である。
図5に示すように、情報処理システム500は、入力部510と、出力部520とを含む。
入力部510は、図示しない第1の撮影装置及び第2の撮影装置を含む複数の撮影装置で撮影された映像の入力をうけることができる。
【0058】
出力部520は、2名の人物がそれぞれ第1の撮影装置及び第2の撮影装置の一方の映像からフレームアウト時刻と、他方の映像にフレームインした時刻とが条件を満たした場合に、当該2名の人物の情報を出力する。
【0059】
このように実装することで、本実施形態に係る情報処理システム500によれば、監視カメラの撮影範囲外における人物間の接触可能性の有無を検出することのできる情報処理システム、情報処理方法及びプログラムを提供することができるようになる。
【0060】
(3 付記事項)
なお、前述の実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。
【0061】
なお、前述の各実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。また、本発明のプログラムは、上記の各実施形態で説明した各動作を、コンピュータに実行させるプログラムであれば良い。
【0062】
(付記1)
第1の撮影装置及び第2の撮影装置を含む複数の撮影装置で撮影された映像の入力をうける入力手段と、2名の人物がそれぞれ前記第1の撮影装置及び前記第2の撮影装置の一方の映像からフレームアウトした時刻と、他方の映像にフレームインした時刻とが条件を満たした場合に、当該2名の人物の情報を出力する出力手段とを備える情報処理システム。
【0063】
(付記2)
前記出力手段は、前記2名の人物が前記第1の撮影装置及び前記第2の撮影装置の一方の映像からフレームアウトした時刻のうち遅い時刻と、前記2名の人物が他方の映像にフレームインした時刻のうち早い時刻との差分が閾値以上である場合に、当該2名の人物の情報を出力する、付記1記載の情報処理システム。
【0064】
(付記3)
前記出力手段は、前記差分が閾値以上である前記2名の人物の組み合わせが複数ある場合に、前記差分が大きい順に当該組み合わせの情報を出力する、付記2記載の情報処理システム。
【0065】
(付記4)
前記第1の撮影装置で撮影された映像に映る人物と前記第2の撮影装置で撮影された映像に映る人物とが同一人物であるか否かを判別する判別手段を更に備える、付記1乃至付記3のいずれか1項記載の情報処理システム。
【0066】
(付記5)
第1の撮影装置及び第2の撮影装置を含む複数の撮影装置で撮影された映像の入力をうけるステップと、2名の人物がそれぞれ前記第1の撮影装置及び前記第2の撮影装置の一方の映像からフレームアウト時刻と、他方の映像にフレームインした時刻とが条件を満たした場合に、当該2名の人物の情報を出力するステップとを情報処理システムが行う、情報処理方法。
【0067】
(付記6)
第1の撮影装置及び第2の撮影装置を含む複数の撮影装置で撮影された映像の入力をうける処理と、2名の人物がそれぞれ前記第1の撮影装置及び前記第2の撮影装置の一方の映像からフレームアウト時刻と、他方の映像にフレームインした時刻とが条件を満たした場合に、当該2名の人物の情報を出力する処理とをコンピュータに実行させるプログラム。