(58)【調査した分野】(Int.Cl.,DB名)
前記統合サーバは、いずれかの前記サムネイルの選択に基づいて、選択された前記サムネイルに映る人物の撮像映像の視聴画面と、前記撮像映像に対応するカメラの設置地点が重畳された地図表示画面とを前記端末に表示させる、
請求項3に記載の捜査支援システム。
前記統合サーバは、いずれかの前記サムネイルの選択に基づいて、選択された前記サムネイルに映る車両の撮像映像の視聴画面と、前記車両のナンバープレートを含む車両詳細情報を示す車両画面とを前記端末に表示させる、
請求項6に記載の捜査支援システム。
前記複数のサーバは、車両の所有者の顔画像および個人情報がナンバープレートに関連づけて登録された車両所有者データベースを用いて照合するライセンス認証サーバを有し、
前記統合サーバは、前記複数の車両のサムネイルのうち少なくとも1つの選択に基づいて、前記サムネイルに映る車両の所有者情報の照合要求を前記ライセンス認証サーバに送り、前記ライセンス認証サーバからの照合結果を前記端末に送り、前記端末に前記照合結果を表示させる、
請求項6に記載の捜査支援システム。
【発明を実施するための形態】
【0011】
以下、添付図面を適宜参照しながら、本開示に係る捜査支援システム、捜査支援方法およびコンピュータプログラムの構成および作用を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【0012】
以下、街中の各所に設置されているカメラにより撮像されている撮像映像を用いて、街中で事件等を引き起こした被疑者あるいはその被疑者が逃走用に使用している逃走車両の絞り込みや追跡等を行う警官の捜査を捜査支援システムにより支援する例を説明する。
【0013】
(実施の形態1)
図1は、実施の形態1に係る捜査支援システム1のシステム構成例を示すブロック図である。捜査支援システム1は、AI(Artificial Intelligent)統合サーバ10と、映像管理サーバ40と、顔認証サーバ50と、人物検索サーバ60と、行動検知サーバ70と、車両検索サーバ80と、LPR(License Plate Recognition)サーバ90とを少なくとも含む構成である。また、捜査支援システム1は、ビューア装置としてのクライアント端末VW1およびモバイル端末VW2を更に含む構成としてもよい。映像管理サーバ40、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80およびLPRサーバ90のそれぞれは、ネットワークNW1を介して複数台(例えば20台)のカメラC1〜C20のそれぞれと通信可能に接続される。なお、AI統合サーバ10、映像管理サーバ40、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80およびLPRサーバ90のそれぞれは、捜査支援システム1のサーバを構成し、警察署内でのオンプレミスサーバとしてもよいし、インターネット等のネットワーク網に接続されるクラウドサーバとして設けられてもよい。
【0014】
なお、
図1では、クライアント端末VW1およびモバイル端末VW2はそれぞれ1台だけ示されているが、それぞれ複数台が設けられてよい。また、捜査支援システム1は、単一の警察署内に限って使用されることに限定されず、複数の警察署が跨って合同捜査する例に適用されてもよい。
【0015】
カメラC1〜C20のそれぞれは、監視用途に街中の各所に設置されており、撮像エリア(言い換えると、被写体)の撮像映像データを生成し、ネットワークNW1を介して各サーバ(具体的には、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80、LPRサーバ90)に送る。以下の説明において、撮像映像データには、撮像映像データそのものだけでなく、その撮像映像を撮像したカメラの識別情報および撮像日時の情報が含まれる。また、カメラの識別情報は、カメラの識別情報そのものとそのカメラの設置場所情報とを含んでよい。カメラC1〜C20のそれぞれは、例えば国道あるいは県道等の主要幹線道路の路側に固定的に設置されてもよいし、交差点の付近に固定的に設置されてもよい。カメラC1〜C20のそれぞれは、イントラネットの通信回線等のネットワークNW1を介して、各サーバ(具体的には、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80、LPRサーバ90)と通信可能に接続される。ネットワークNW1は、有線通信回線(例えば、光ファイバを用いた光通信網)により構成されるが、無線通信網により構成されてもよい。なお、カメラC1〜C20は全て同一メーカ製のものであってもよいし、一部のカメラが他社製のものが含まれても構わない。また、
図1の構成例では、カメラC1〜C20のそれぞれの撮像映像データが共通して各サーバ(具体的には、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80、LPRサーバ90)にて受信されているが、各サーバにて受信される共通の撮像映像データはカメラC1〜C20の全ての撮像映像データでもよいし、一部のカメラの撮像映像データだけでもよい。
【0016】
サーバとしての映像管理サーバ40は、例えば警察署内に設置され、プロセッサ41およびデータベース42を少なくとも含む構成である。以下、データベースを「DB」と略記する場合がある。映像管理サーバ40は、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80およびLPRサーバ90のそれぞれの処理結果のデータを保存したり、カメラC1〜C20のそれぞれの撮像映像データを保存したりする。なお、
図1では図示を省略しているが、映像管理サーバ40は、ネットワークNW1を介してカメラC1〜C20のそれぞれの撮像映像データを受け取って保存してもよいし、あるいは、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80およびLPRサーバ90のうちいずれかからカメラC1〜C20のそれぞれの撮像映像データを受け取って保存してもよい。また、映像管理サーバ40は、警察署内のオペレータの操作に応じてクライアント端末VW1あるいは現場の警官の操作に応じてモバイル端末VW2から送られた要求により、その要求を満たす撮像映像データをデータベース42から読み出してクライアント端末VW1あるいはモバイル端末VW2に送ってよい。
【0017】
サーバとしての顔認証サーバ50は、例えば警察署内に設置され、プロセッサ51およびデータベース52を少なくとも含む構成である。顔認証サーバ50のプロセッサ51は、カメラC1〜C20のそれぞれの撮像映像データを受け取る度に、撮像映像データに映る人物の顔を検知する等の映像解析を行い、その映像解析結果をデータベース52に保存する。顔認証サーバ50のプロセッサ51は、映像解析中にブラックリストデータ(後述参照)に登録されている顔画像を検知した時、ブラックリストデータに顔画像が登録されている人物の検知を報知するためのアラーム通知を映像解析結果として生成してよい。アラーム通知の生成対象となる顔画像は、予め顔認証サーバ50において登録されており、この登録は例えばオペレータ等の操作によってクライアント端末VW1あるいはモバイル端末VW2からの登録の指示により行われてよい。このアラーム通知は、生成される度に顔認証サーバ50からAI統合サーバ10に送られる。映像解析結果には、例えば撮像映像データに映る人物の顔画像と映像解析に用いられた撮像映像データの撮像日時およびカメラの識別情報とが含まれる。また、顔認証サーバ50のプロセッサ51は、AI統合サーバ10からの処理指示(例えば顔画像の照合指示)を受け取ると、その処理指示に含まれる照合対象の顔画像がデータベース52のブラックリストデータ(後述参照)に登録されているか否かを照合し、照合結果をデータベース52に保存する。ここで、ブラックリストデータ(顔データベースの一例)は、例えば過去の事件等を起こした前科者の顔画像を含む個人情報が事件等ごとに区分されて登録されたデータであり、データベース52に登録されている。なお、このブラックリストデータは、データベース52に登録されてもよいし、他の外部データベース(図示略)に登録されてもよい。
【0018】
サーバとしての人物検索サーバ60は、例えば警察署内に設置され、プロセッサ61およびデータベース62を少なくとも含む構成である。人物検索サーバ60のプロセッサ61は、カメラC1〜C20のそれぞれの撮像映像データを受け取る度に、撮像映像データに映る人物(例えば被疑者)に関する情報を抽出する映像解析を行い、その映像解析結果をデータベース62に保存する。人物検索サーバ60のプロセッサ61は、映像解析中に人物属性情報(例えば不審人物の外見的な特徴を示す情報)を満たす人物を検知した時、人物属性情報を満たす人物の検知を報知するためのアラーム通知を映像解析結果として生成してよい。アラーム通知の生成対象となる人物属性情報は、予め人物検索サーバ60において登録されており、この登録は例えばオペレータ等の操作によってクライアント端末VW1あるいはモバイル端末VW2からの登録の指示により行われてよい。このアラーム通知は、生成される度に人物検索サーバ60からAI統合サーバ10に送られる。映像解析結果には、例えば撮像映像データに映る人物情報(例えば、撮像映像中に映る人物の顔、性別、年齢、髪型、背丈、体型、所持品、装備品)と映像解析に用いられた撮像映像データの撮像日時およびカメラの識別情報とが含まれる。人物検索サーバ60のプロセッサ61は、この人物情報を撮像映像データに関連付けて付与してデータベース62に蓄積する。この映像解析結果は、例えば事件等が発生した場合に、AI統合サーバ10から送られる処理指示(例えば人物情報の検索指示)に基づいて行われる、該当する人物情報の有無の検索時に参照される。
【0019】
サーバとしての行動検知サーバ70は、例えば警察署内に設置され、プロセッサ71およびデータベース72を少なくとも含む構成である。行動検知サーバ70のプロセッサ71は、カメラC1〜C20のそれぞれの撮像映像データを受け取る度に、撮像映像データに映る少なくとも1人の人物が起こす所定のアクション(後述参照)の有無を検知する映像解析を行い、その映像解析結果をデータベース72に保存する。映像解析結果には、例えば所定のアクションの内容(種別)と映像解析に用いられた撮像映像データの撮像日時およびカメラの識別情報とが含まれる。ここで、所定のアクションは、例えば人物のふらつき、喧嘩、拳銃所持、万引き等の事件等の引き金となりかねない行為のうち少なくとも1つであるが、これらの行為に限定されなくてよい。行動検知サーバ70のプロセッサ71は、所定のアクションを検知した時、所定のアクションが検知された撮像映像データに対応する撮像日時およびカメラの識別情報を含むアラーム通知(実施の形態2参照)を生成してAI統合サーバ10に送る。
【0020】
サーバとしての車両検索サーバ80は、例えば警察署内に設置され、プロセッサ81およびデータベース82を少なくとも含む構成である。車両検索サーバ80のプロセッサ81は、カメラC1〜C20のそれぞれの撮像映像データを受け取る度に、撮像映像データに映る車両(例えば逃走車両)に関する情報を抽出する映像解析を行い、その映像解析結果をデータベース82に保存する。車両検索サーバ80のプロセッサ81は、映像解析中に車両属性情報(例えば逃走車両の車型あるいは車色等の外見的な特徴を示す情報)を満たす車両を検知した時、車両属性情報を満たす車両の検知を報知するためのアラーム通知を映像解析結果として生成してよい。アラーム通知の生成対象となる車両属性情報は、予め車両検索サーバ80において登録されており、この登録は例えばオペレータ等の操作によってクライアント端末VW1あるいはモバイル端末VW2からの登録の指示により行われてよい。このアラーム通知は、生成される度に車両検索サーバ80からAI統合サーバ10に送られる。映像解析結果には、例えば撮像映像データに映る車両情報(例えば、撮像映像中に映る車両の車種、車型、車色、ナンバープレートの情報)と映像解析に用いられた撮像映像データの撮像日時およびカメラの識別情報とが含まれる。車両検索サーバ80のプロセッサ81は、この車両情報を撮像映像データに関連付けて付与してデータベース82に蓄積する。この映像解析結果は、例えば事件等が発生した場合に、AI統合サーバ10から送られる処理指示(例えば車両情報の検索指示)に基づいて行われる、該当する車両情報の有無の検索時に参照される。
【0021】
サーバあるいはライセンス認証サーバとしてのLPRサーバ90は、例えば警察署内に設置され、プロセッサ91およびデータベース92を少なくとも含む構成である。LPRサーバ90のプロセッサ91は、カメラC1〜C20のそれぞれの撮像映像データを受け取る度に、撮像映像データに映る車両のナンバープレートを抽出する映像解析を行い、その映像解析結果をデータベース92に保存する。LPRサーバ90のプロセッサ91は、映像解析中に不審ナンバープレートデータ(例えば不審人物が乗った車両のナンバープレート情報)を満たすナンバープレートを検知した時、不審ナンバープレートデータを満たすナンバープレートの検知を報知するためのアラーム通知を映像解析結果として生成してよい。アラーム通知の生成対象となる不審ナンバープレートデータは、予めLPRサーバ90において登録されており、この登録は例えばオペレータ等の操作によってクライアント端末VW1あるいはモバイル端末VW2からの登録の指示により行われてよい。このアラーム通知は、生成される度にLPRサーバ90からAI統合サーバ10に送られる。LPRサーバ90のプロセッサ91は、AI統合サーバ10から送られる処理指示(例えばナンバープレートの照合指示)に基づいて、その処理指示に含まれる照合対象のナンバープレート情報がデータベース92のナンバープレートリストデータ(後述参照)に登録されているか否かを照合し、照合結果をデータベース92に保存する。ここで、ナンバープレートリストデータは、ナンバープレート情報と対応する車両の購入者(言い換えると、所有者であるオーナ)に関する情報(例えば顔画像および個人情報)とが予め関連付けて登録されたデータであり、データベース92に登録されている。なお、このナンバープレートリストデータは、データベース92に登録されてもよいし、他の外部データベース(図示略)に登録されてもよい。
【0022】
クライアント端末VW1は、例えば警察署内に設置され、警察署内のオペレータ(警官)により使用され、例えばラップトップ型またはデスクトップ型のPC(Personal Computer)を用いて構成される。オペレータは、例えば事件等が発生した場合、その事件等の発生を警察署に通報した者(例えば目撃者)からの電話により、その事件等に関する様々な情報(目撃情報)を聞き取り、クライアント端末VW1を操作することでデータ入力して記録する。クライアント端末VW1は、例えば目撃情報に一致あるいは類似する人物あるいは車両の検索の処理要求をAI統合サーバ10に送り、AI統合サーバ10が各サーバ(例えば顔認証サーバ50、人物検索サーバ60、車両検索サーバ80、LPRサーバ90)による検索を経て取得した検索結果を、AI統合サーバ10から受け取り、その検索結果(後述参照)を表示する。また、クライアント端末VW1は、例えば無線LAN等の警察署内ネットワークを介して映像管理サーバ40と接続している場合、映像管理サーバ40にアクセスして所望の撮像映像データを取得して再生表示してよい。
【0023】
モバイル端末VW2は、例えば警察署内に設置され、現場等に外出中の警官により使用され、例えばスマートフォンまたはタブレット端末等のコンピュータを用いて構成される。モバイル端末VW2は、例えば現場付近で聞き取った目撃情報に一致あるいは類似する人物あるいは車両の検索の処理要求をAI統合サーバ10に送り、AI統合サーバ10が各サーバ(例えば顔認証サーバ50、人物検索サーバ60、車両検索サーバ80、LPRサーバ90)による検索を経て取得した検索結果を、AI統合サーバ10から受け取り、その検索結果(後述参照)を表示する。また、モバイル端末VW2は、例えば無線LANあるいは携帯電話網等のネットワーク(図示略)を介して映像管理サーバ40と接続している場合、映像管理サーバ40にアクセスして所望の撮像映像データを取得して再生表示してよい。
【0024】
統合サーバとしてのAI統合サーバ10は、例えば警察署内に設置され、クライアント端末VW1あるいはモバイル端末VW2からの人物あるいは車両の検索の処理要求を受け取ると、その処理要求の検索に必要なサーバを特定する。AI統合サーバ10は、その特定されたサーバ(例えば顔認証サーバ50、人物検索サーバ60、車両検索サーバ80、LPRサーバ90)に該当する処理指示を生成して送る。ここで、実施の形態1に係る捜査支援システム1において、各サーバ(具体的には、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80、LPRサーバ90)の製造元(メーカ)はそれぞれ同一でも異なっても構わない。
【0025】
例えば各サーバ(具体的には、顔認証サーバ50、人物検索サーバ60、車両検索サーバ80、LPRサーバ90)のメーカが全て同一である場合、クライアント端末VW1あるいはモバイル端末VW2から各サーバへの検索を要求するためのアプリケーション画面(例えば検索条件あるいは照合条件の入力画面)はそのメーカ独自の共通のレイアウト等で生成されることが考えられる。従って、オペレータ等は、一つの検索条件の入力画面に複数のオブジェクト(例えば人物、車両、顔、ナンバープレート)を混在した横断的な検索(AND検索)を行うことができる。
【0026】
ところが、各サーバ(具体的には、顔認証サーバ50、人物検索サーバ60、車両検索サーバ80、LPRサーバ90)のメーカが全て同一ではない場合、クライアント端末VW1あるいはモバイル端末VW2からそれぞれの異なるメーカ製のサーバへの検索を要求するためのアプリケーション画面(例えば検索条件の入力画面)はメーカごとに異なる検索アルゴリズム、レイアウト等で生成されることになる。つまり、クライアント端末VW1あるいはモバイル端末VW2から見れば、顔認証サーバ50への照合条件の入力画面(アプリケーション)と、人物検索サーバ60への検索条件の入力画面(アプリケーション)と、車両検索サーバ80への検索条件の入力画面(アプリケーション)とがそれぞれ異なってしまい、例えば一度に複数のオブジェクト(例えば人物、車両、顔、ナンバープレート)を混在した横断的な検索を行えず、システムとしての利便性が低下してしまう。
【0027】
そこで、実施の形態1では、AI統合サーバ10は、各サーバ(具体的には、顔認証サーバ50、人物検索サーバ60、車両検索サーバ80、LPRサーバ90)のメーカが異なる場合でも、クライアント端末VW1あるいはモバイル端末VW2からの検索の処理要求を受け取ると、処理要求の宛先となる各サーバへの通信(アクセス)に共通のインターフェース(IF:Interface)を用いる。ここでいうインターフェースとは、例えば、各サーバで使用されるオブジェクト用検索アルゴリズムが汎用化された共通検索アルゴリズムであり、AI統合サーバ10はこの共通検索アルゴリズムを予め保持している。AI統合サーバ10は、各サーバに共通検索アルゴリズム(インターフェース)を用いて、該当するサーバに検索あるいは照合の処理指示を送る。また、インターフェースは、例えば各サーバ(具体的には、顔認証サーバ50、人物検索サーバ60、車両検索サーバ80、LPRサーバ90)との通信の仕様に関する取り決めあるいはプロトコルが共通化されたインターフェースでもよいし、各サーバへの通信に適した個別のインターフェースであってよい。AI統合サーバ10は、各サーバとの間での通信に適したインターフェースを用いて、データあるいは情報の送受信(例えばアラーム通知の受信)を行ってよい。
【0028】
AI統合サーバ10は、例えば高性能なサーバコンピュータにより構成され、具体的にはメモリMM1、プロセッサ11、データベース12、サーバIFコントローラ13およびクライアントIFコントローラ14を含む構成である。
【0029】
メモリMM1は、例えばRAM(Random Access Memory)とROM(Read Only Memory)とを用いて構成され、AI統合サーバ10の動作の実行に必要なプログラム、さらには、動作中に生成されたデータあるいは情報を一時的に保存する。RAMは、例えばプロセッサ11の動作時に使用されるワークメモリである。ROMは、例えばプロセッサ11を制御するためのプログラムを予め記憶する。メモリMM1は、カメラC1〜C20のそれぞれが設置された位置を示す道路地図情報を記録しており、例えば道路の新規建設もしくはメンテナンス工事等によって道路地図の情報更新が行われる度に、更新後の道路地図情報を記録する。
【0030】
プロセッサ11は、例えばCPU(Central Processing Unit)、DSP(Digital Signal Processor)またはFPGA(Field Programmable Gate Array)を用いて構成され、AI統合サーバ10の制御部として機能し、AI統合サーバ10の各部の動作を全体的に統括するための制御処理、AI統合サーバ10の各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。プロセッサ11は、メモリMM1に記憶された本開示に係るコンピュータプログラムに従って動作する。このコンピュータプログラムは、例えば、コンピュータ装置であるAI統合サーバ10に、端末(例えばクライアント端末VW1あるいはモバイル端末VW2)と通信するステップと、複数のカメラC1〜C20のそれぞれの撮像映像データを用いて、事件等に関してそれぞれ異なるオブジェクトの映像解析を行う複数のサーバ(例えば、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80、LPRサーバ90)と通信するステップと、複数の異なるオブジェクト特徴要素の端末からの入力に基づいて、オブジェクト特徴要素に対応するサーバに該当オブジェクトの検索要求を送るステップと、それぞれのサーバからの該当オブジェクトの検索結果を受け取って統合して端末に表示させるステップと、を実現させる。
【0031】
例えば、プロセッサ11は、クライアント端末VW1あるいはモバイル端末VW2からの人物あるいは車両の検索の処理要求を受け取ると、その処理要求の検索に必要な少なくとも1つのサーバを特定する。プロセッサ11は、その特定されたサーバ(例えば顔認証サーバ50、人物検索サーバ60、車両検索サーバ80、LPRサーバ90)に該当する処理指示(例えば検索指示)を生成して送る。これにより、プロセッサ11は、例えば複数のサーバ(例えば人物検索サーバ60および車両検索サーバ80)のそれぞれを用いて人物および車両を横断的に検索できる(横断検索処理)。例えば、プロセッサ11は、横断検索処理として、人物の特徴および顔の2つのオブジェクト、あるいは、車両、人物および顔の3つのオブジェクトを用いた絞り込み検索を該当するサーバに対して行う。
【0032】
例えば、プロセッサ11は、各サーバからの検索結果を受け取ると、オブジェクト(例えば人物、車両)ごとに検索結果を並び替える(検索結果ソート処理)。例えば、プロセッサ11は、各サーバからの検索結果に含まれるスコア(例えばAIエンジンの処理に基づいて得られた検索結果の尤度を示す確率値)に基づいて、検索結果に含まれる画像(例えば、人物のサムネイル、顔のサムネイル、車両のサムネイル)の適合度合いを示す順位を決定し、その順位に従って各画像を並び替える。
【0033】
例えば、プロセッサ11は、AI統合サーバ10に接続されている各サーバ(具体的には、映像管理サーバ40、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80、LPRサーバ90)のそれぞれに所定のコマンドを送る。プロセッサ11は、各サーバからのコマンド応答の受信の有無に応じて、サーバの生死状態(つまり、サーバコンピュータ内のプロセスの稼働有無)を監視する(死活監視処理)。
【0034】
データベース12は、例えばHDD(Hard Disk Drive)あるいはSSD(Solid State Drive)を用いて構成され、プロセッサ11により取得あるいは生成されたデータもしくは情報を保存する。
【0035】
サーバIFコントローラ13は、AI統合サーバ10と各サーバ(具体的には、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80、LPRサーバ90)のそれぞれとの間の通信(送受信)を司る通信インターフェース回路により構成される。また、サーバIFコントローラ13は、例えば顔認証サーバ50、人物検索サーバ60、車両検索サーバ80のそれぞれのメーカが異なる場合でも、各サーバへの通信(アクセス)に適したインターフェースを選択して用いる。例えば、サーバIFコントローラ13は、顔認証サーバ50用の入出力インターフェース、人物検索サーバ60用の入出力インターフェース、車両検索サーバ80用の入出力インターフェースをそれぞれ有し、クライアント端末VW1あるいはモバイル端末VW2からの検索の処理要求に適合するインターフェースを選択して用いる。
【0036】
クライアントIFコントローラ14は、クライアント端末VW1、モバイル端末VW2および映像管理サーバ40のそれぞれとの間の通信(送受信)を司る通信インターフェース回路により構成される。クライアントIFコントローラ14は、プロセッサ11によりソートされた検索結果をクライアント端末VW1あるいはモバイル端末VW2に送る。クライアントIFコントローラ14は、映像管理サーバ40に、クライアント端末VW1あるいはモバイル端末VW2への撮像映像データの配信あるいはカメラC1〜C20のそれぞれの撮像映像データの記録(録画)を指示する。また、クライアントIFコントローラ14は、行動検知サーバ70(実施の形態2参照)からのアラーム通知を各端末(具体的には、クライアント端末VW1、モバイル端末VW2)のそれぞれに転送する。なお、クライアントIFコントローラ14は、行動検知サーバ70以外の他のサーバ(例えば、顔認証サーバ50、人物検索サーバ60、車両検索サーバ80、LPRサーバ90)からのアラーム通知を各端末(具体的には、クライアント端末VW1、モバイル端末VW2)のそれぞれに転送してもよい。
【0037】
図2は、捜査支援システム1を構成する各種のサーバのハードウェア構成例を示すブロック図である。具体的には、各種のサーバは、映像管理サーバ40、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80、LPRサーバ90である。従って、
図2の説明におけるサーバは、映像管理サーバ40、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80、LPRサーバ90を総称した用語として用いる。
図2では、各サーバに共通するハードウェア構成の詳細な説明を行い、各部の特徴的な作用の詳細については
図1あるいは後述を参照して説明するので、ここでは説明を簡略化する。
【0038】
図2のサーバは、例えばサーバコンピュータにより構成され、具体的にはプロセッサPRC1、メモリMM2、データベース52、カメラIFコントローラ53およびサーバIFコントローラ54を含む構成である。
【0039】
プロセッサPRC1は、例えばGPU(Graphical Processing Unit)またはFPGAを用いて構成され、サーバの制御部として機能し、サーバの各部の動作を全体的に統括するための制御処理、サーバの各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。プロセッサPRC1は、メモリMM2に記憶されたプログラムに従って動作する。各サーバ(具体的には、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80、LPRサーバ90)のプロセッサPRC1は、例えば対応するサーバでの処理に適するように機械学習により生成された学習済みモデルを実行可能である。各サーバは、学習済みモデルを用いた処理の実行により、処理結果とその処理結果の尤度(信頼確率)を示すスコア(後述参照)とを出力する。
【0040】
例えば、顔認証サーバ50は、顔認証サーバ50用の学習済みモデルを用いて、カメラC1〜C20のそれぞれの撮像映像データに映る人物の顔を検知したり、AI統合サーバ10からの照合指示に含まれる顔画像とデータベース52のブラックリストデータとの照合処理を実行したりする。顔認証サーバ50は、処理結果として、ブラックリストデータに登録されている顔画像とその顔画像の尤度を示すスコアとを出力する。
【0041】
例えば、人物検索サーバ60は、人物検索サーバ60用の学習済みモデルを用いて、カメラC1〜C20のそれぞれの撮像映像データに映るオブジェクト(人物)に関する人物情報を検知して抽出したり、AI統合サーバ10からの照合指示に含まれる人物の検索条件を満たす人物の検索処理をデータベース62の参照により実行したりする。人物検索サーバ60は、処理結果として、人物検索条件を満たす人物のサムネイル(画像)、人物情報、そのサムネイルの尤度を示すスコアを出力する。
【0042】
例えば、行動検知サーバ70は、行動検知サーバ70用の学習済みモデルを用いて、カメラC1〜C20のそれぞれの撮像映像データに映るオブジェクト(人物)が起こす所定のアクションの有無を検知する。行動検知サーバ70は、処理結果として、最も尤度が高いと判定した所定のアクションの内容(結果)とそのアクションが検知された撮像映像データの撮像日時およびカメラの識別情報とを出力する。
【0043】
例えば、車両検索サーバ80は、車両検索サーバ80用の学習済みモデルを用いて、カメラC1〜C20のそれぞれの撮像映像データに映るオブジェクト(車両)に関する車両情報を検知して抽出したり、AI統合サーバ10からの照合指示に含まれる車両の検索条件を満たす車両の検索処理をデータベース82の参照により実行したりする。車両検索サーバ80は、処理結果として、車両検索条件を満たす車両のサムネイル(画像)、車両情報、そのサムネイルの尤度を示すスコアとを出力する。
【0044】
例えば、LPRサーバ90は、LPRサーバ90用の学習済みモデルを用いて、カメラC1〜C20のそれぞれの撮像映像データに映るオブジェクト(ナンバープレート)に関するナンバープレート情報を検知して抽出したり、AI統合サーバ10からの照合指示に含まれるナンバープレートの情報とデータベース92のナンバープレートリストデータとの照合処理を実行したりする。LPRサーバ90は、処理結果として、ナンバープレートリストデータに登録されているナンバープレートに対応する車両の購入者(オーナ)の顔画像および個人情報を出力する。
【0045】
メモリMM2は、例えばRAMとROMとを用いて構成され、サーバの動作の実行に必要なプログラム、さらには、動作中に生成されたデータあるいは情報を一時的に保存する。RAMは、例えばプロセッサPRC1の動作時に使用されるワークメモリである。ROMは、例えばプロセッサPRC1を制御するためのプログラムを予め記憶する。
【0046】
データベース52は、例えばHDDあるいはSSDを用いて構成され、サーバのプロセッサPRC1により取得あるいは生成されたデータもしくは情報を保存する。プロセッサPRC1により生成されたデータは、例えばサーバが顔認証サーバ50である場合には顔画像の照合処理の結果、サーバが人物検索サーバ60である場合には検索処理の結果として得られた人物情報(上述参照)、サーバが車両検索サーバ80である場合には検索処理の結果として得られた車両情報(上述参照)、サーバがLPRサーバ90である場合には検索処理の結果として得られたナンバープレート情報である。
【0047】
カメラIFコントローラ53は、サーバとカメラC1〜C20のそれぞれとの間の通信(送受信)を司る通信インターフェース回路により構成される。カメラIFコントローラ53は、カメラC1〜C20のそれぞれにより撮像された撮像映像データを受信してプロセッサPRC1に出力する。
【0048】
サーバIFコントローラ54は、サーバとAI統合サーバ10との間の通信(送受信)を司る通信インターフェース回路により構成される。サーバIFコントローラ54は、AI統合サーバ10からの処理指示を受信するとともに、その処理指示に基づくプロセッサPRC1の処理結果をAI統合サーバ10に応答(返送)する。また、サーバIFコントローラ54は、各サーバのプロセッサPRC1により検知されたオブジェクトに対応するアラーム通知(上述参照)をAI統合サーバ10に送信する。
【0049】
図3は、捜査支援システム1を構成する各種の端末のハードウェア構成例を示すブロック図である。具体的には、各種の端末は、クライアント端末VW1、モバイル端末VW2である。従って、
図3の説明における端末は、クライアント端末VW1、モバイル端末VW2を総称した用語として用いる。
図3では、各端末に共通するハードウェア構成の詳細な説明を行い、各部の特徴的な作用の詳細については
図1あるいは後述を参照して説明するので、ここでは説明を簡略化する。
【0050】
図3の端末は、例えばコンピュータにより構成され、具体的にはプロセッサPRC2、メモリMM3、記録装置112、サーバIFコントローラ114、入力デバイス115、表示デバイス116およびスピーカ117を含む構成である。
【0051】
プロセッサPRC2は、例えばCPU(Central Processing Unit)、DSP(Digital Signal Processor)またはFPGAを用いて構成され、端末の制御部として機能し、端末の各部の動作を全体的に統括するための制御処理、端末の各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。プロセッサPRC2は、メモリMM3に記憶されたプログラムに従って動作する。
【0052】
メモリMM3は、例えばRAMとROMとを用いて構成され、端末の動作の実行に必要なプログラム、さらには、動作中に生成されたデータあるいは情報を一時的に保存する。RAMは、例えばプロセッサPRC2の動作時に使用されるワークメモリである。ROMは、例えばプロセッサPRC2を制御するためのプログラムを予め記憶する。メモリMM3は、カメラC1〜C20のそれぞれが設置された位置を示す道路地図情報を記録しており、例えば道路の新規建設もしくはメンテナンス工事等によって道路地図の情報更新が行われる度に、更新後の道路地図情報を記録する。
【0053】
記録装置112は、例えばHDDあるいはSSDを用いて構成され、端末のプロセッサPRC2により取得あるいは生成されたデータもしくは情報を保存する。記録装置112は、AI統合サーバ10から送られた各種の検索結果のデータを保存する。
【0054】
サーバIFコントローラ114は、端末とAI統合サーバ10との間の通信(送受信)を司る通信インターフェース回路により構成される。サーバIFコントローラ114は、プロセッサPRC2により生成される検索の処理要求をAI統合サーバ10に送る。また、サーバIFコントローラ114は、AI統合サーバ10から送られる各種の検索結果(処理結果)あるいはアラーム通知(上述参照)を受信する。
【0055】
入力デバイス115は、警察署内のオペレータ(例えばクライアント端末VW1のユーザ)あるいは現場に外出中の警官(例えばモバイル端末VW2のユーザ)の操作を受け付ける。入力デバイス115は、例えばマウス、キーボード、タッチパネルにより構成される。
【0056】
表示デバイス116は、例えばLCD(Liquid Crystal Display)または有機EL(Electroluminescence)により構成され、プロセッサPRC2から送られた各種のデータを表示する。
【0057】
スピーカ117は、プロセッサPRC2によりデータ(例えばAI統合サーバ10からの検索結果に含まれるビデオデータ)が再生される時の音声を音響的に出力する。
【0058】
次に、実施の形態1に係る捜査支援システム1を用いた警察捜査において、クライアント端末VW1の表示デバイス116に表示される各種の画面例について、
図4から
図11を参照して説明する。
図4〜
図11の説明において、図中に示される構成と同一の構成については同一の符号を参照して説明を簡略化あるいは省略する。なお、
図4〜
図11のそれぞれに表示される画面例はモバイル端末VW2において表示されてもよい。
図4〜
図11の説明を分かり易くするため、
図4〜
図11のそれぞれに示す画面例はクライアント端末VW1において表示されるとして説明するが、「クライアント端末VW1」は「モバイル端末VW2」、「オペレータ」は「警官」にそれぞれ読み替えてよい。
【0059】
警察捜査において、クライアント端末VW1は、オペレータの操作により、予めインストールされている捜査支援アプリケーション(以下「捜査支援アプリ」という)を立ち上げて実行中である。捜査支援アプリは、例えばクライアント端末VW1のメモリMM3のROMに格納され、オペレータの操作により起動されるとプロセッサPRC2により実行される。言い換えると、以下の説明における動作主体としての捜査支援アプリはプロセッサPRC2と読み替えることができる。捜査支援アプリの起動中にプロセッサPRC2により生成されるデータあるいは情報は、一時的にメモリMM3のRAMに保持される。
【0060】
図4および
図5は、クライアント端末VW1に表示される検索画面の一例を示す図である。捜査支援アプリは、オペレータによりカメラの撮像映像データに映る人物あるいは車両の検索が開始される時、オペレータの操作により、
図4あるいは
図5に示す検索画面WD1を表示デバイス116に表示する。
【0061】
図4に示す検索画面WD1は、撮像映像データに映るオブジェクト(例えば人物)に関する各種の検索条件の入力欄CON1を有する。人物情報の検索がなされる場合、オペレータの操作により選択あるいは指定された1台以上のカメラの撮像映像データが検索の対象となる。
【0062】
検索条件の入力欄CON1では、日時(Time&Date)、カメラ(Camera)、検索モード(Search mode)、検索アイコンSC1が入力あるいは選択が可能に、それぞれの表示領域が設けられる。
【0063】
日時(Time&Date)の表示領域では、日時開始入力欄(From)、日時終了入力欄(To)、Latestアイコンが配置されている。
【0064】
日時開始入力欄(From)は、オブジェクト(例えば被疑者等の人物、逃走車両等の車両)の検索の対象となる撮像映像データが撮像された開始日時として、オペレータの操作により入力される。日時開始入力欄には、例えば事件等の発生日時またはその日時より少し前の日時が入力される。
図4および
図5では、日時開始入力欄には、例えば「2019年6月18日の午後6時13分」が入力されている。オペレータの操作により入力されると、捜査支援アプリは、検索条件(例えば開始日時)として日時開始入力欄に入力された日時をセットする。
【0065】
日時終了入力欄(To)は、オブジェクト(例えば被疑者等の人物、逃走車両等の車両)の検索の対象となる撮像映像データが撮像された終了日時として、オペレータの操作により入力される。日時終了入力欄には、例えば日時開始入力欄に入力される日時より所定期間(例えば事件等の発生日時から少し後の日時)が入力される。
図4および
図5では、日時終了入力欄には、例えば「2019年6月18日の午後6時23分」が入力されている。オペレータの操作により入力されると、捜査支援アプリは、検索条件(例えば終了日時)として日時終了入力欄に入力された日時をセットする。
【0066】
Latestアイコンは、検索日時を最新日時に設定するためのアイコンであり、捜査中にオペレータの操作により押下されると、捜査支援アプリは、検索条件(例えば期間)として最新日時(例えば押下された時点の日時から10分前の期間)をセットする。
【0067】
カメラ(Camera)の表示領域では、検索の対象となるカメラの選択画面(図示略)が表示される。捜査支援アプリは、オペレータの操作によりカメラが選択されると、その選択されたカメラを撮像映像データの検索の対象としてセットする。
【0068】
検索モード(Search mode)の表示領域では、オペレータが目的とする検索モードの選択アイコンが配置されている。例えば、Eventアイコンと、Analyticsアイコンとが配置されている。
図4および
図5では、Analyticsアイコンがオペレータの操作により選択されている。
【0069】
Eventアイコンは、例えば過去に発生した事件等のイベント(ケース)に関するデータを検索する時に選択される。
【0070】
Analyticsアイコンは、例えばカメラの撮像映像データに映るオブジェクトを検索する時に選択される。捜査支援アプリは、Analyticsアイコンが選択されたことを検知すると、PeopleアイコンOB1、FaceアイコンOB2、VehicleアイコンOB3およびLPRアイコンOB4が配置されたサブウインドウを表示する。
【0071】
PeopleアイコンOB1は、カメラの撮像映像データに映るオブジェクトとしての被疑者等の人物の検索時に、オペレータの操作により選択される。FaceアイコンOB2は、カメラの撮像映像データに映るオブジェクトとしての被疑者等の人物の顔の顔認証サーバ50への照合処理を要求する時に、オペレータの操作により選択される。VehicleアイコンOB3は、カメラの撮像映像データに映るオブジェクトとしての逃走車両等の車両の検索時に、オペレータの操作により選択される。LPRアイコンOB4は、カメラの撮像映像データに映るオブジェクトとしての逃走車両等の車両のナンバープレートのLPRサーバ90への照合処理を要求する時に、オペレータの操作により選択される。
【0072】
捜査支援アプリは、オペレータの操作によりPeopleアイコンOB1の押下を検知すると、人物詳細画面WD2を表示デバイス116に表示する(
図4参照)。人物詳細画面WD2は、被疑者等の人物を特徴づけるための人物特徴要素(オブジェクト特徴要素の一例)の選択をオペレータに促す。人物特徴要素は、具体的には、性別(Gender)、髪型(Hair Style)、上半身(Upper Body)の服装、下半身(Lower Body)の服装、鞄(Bag)、装備品(Accessory)、およびこれらの色である。
図4では、髪型、上半身の服装、下半身の服装のそれぞれに異なる色パレットCLP1が設けられている。捜査支援アプリは、オペレータの操作により選択された少なくとも1つの人物特徴要素を人物検索条件CH1としてセットする。例えば
図4の人物検索条件CH1では、「男性」、「上半身について黄色い長袖の服を着ている」、「下半身について黒色のズボンをはいている」、「鞄は所持していない」、「装備品は所持していない」の各オブジェクト特徴要素が選択されている。
【0073】
検索アイコンSC1は、セットされた人物検索条件CH1を用いる検索が開始される時にオペレータの操作により押下される。捜査支援アプリは、検索アイコンSC1の押下を検知すると、人物検索条件CH1を含む人物検索の処理要求を生成してAI統合サーバ10に送る。これにより、クライアント端末VW1からAI統合サーバ10への検索(例えば被疑者等の人物の検索)のリクエストが開始される。
【0074】
図5に示す検索画面WD1は、撮像映像データに映るオブジェクト(例えば車両)に関する各種の検索条件の入力欄CON2を有する。車両情報の検索がなされる場合、オペレータの操作により選択あるいは指定された1台以上のカメラの撮像映像データが検索の対象となる。
【0075】
検索条件の入力欄CON2では、入力欄CON1と同様に、日時(Time&Date)、カメラ(Camera)、検索モード(Search mode)、検索アイコンSC1が入力あるいは選択が可能に、それぞれの表示領域が設けられる。
【0076】
捜査支援アプリは、オペレータの操作によりVehicleアイコンOB3の押下を検知すると、車両詳細画面WD3を表示デバイス116に表示する(
図5参照)。車両詳細画面WD3は、逃走車両等の車両を特徴づけるための車両特徴要素(オブジェクト特徴要素の一例)の選択をオペレータに促す。車両特徴要素は、具体的には、車型(Type)、車色(Color)である。
図5では、車型,車色のそれぞれに複数の選択肢CLP2,CLP3が設けられている。捜査支援アプリは、オペレータの操作により選択された少なくとも1つの車両特徴要素を車両検索条件CH2としてセットする。例えば
図5の車両検索条件CH2では、「セダン(Sedan)」、「バン(Van)」、「SUV(Sports Utility Vehicle)」、「白色」の各オブジェクト特徴要素が選択されている。
【0077】
検索アイコンSC1は、セットされた車両検索条件CH2を用いる検索が開始される時にオペレータの操作により押下される。捜査支援アプリは、検索アイコンSC1の押下を検知すると、車両検索条件CH2を含む車両検索の処理要求を生成してAI統合サーバ10に送る。これにより、クライアント端末VW1からAI統合サーバ10への検索(例えば逃走車両等の車両の検索)のリクエストが開始される。
【0078】
図6および
図7は、クライアント端末VW1に表示される人物の検索結果画面の一例を示す図である。捜査支援アプリは、クライアント端末VW1がAI統合サーバ10から被疑者等の人物の検索処理の結果(検索結果)を受信した時、
図6あるいは
図7に示す検索結果画面WD4を表示デバイス116に表示する。検索結果は、例えば該当人物(つまり人物検索条件CH1を満たす人物。以下同様。)ごとのサムネイルと、そのサムネイルの元となるカメラの撮像映像データの撮像日時と、そのカメラの識別情報と、人物検索サーバ60による検索処理のスコアとを含む。
【0079】
図6に示す検索結果画面WD4は、撮像映像データに映るオブジェクト(例えば人物)に関する各種の検索条件の入力欄CON1と、検索結果に含まれる1人以上の該当人物のサムネイルの表示領域RTPS1と、人物詳細表示領域PSDTL1とを有する。人物詳細表示領域PSDTL1は、選択人物映像SMV1の表示領域と道路地図データMP1の表示領域とを含む。
【0080】
捜査支援アプリは、クライアント端末VW1が人物の検索結果をAI統合サーバ10から受信した時、検索結果に含まれる1人以上の該当人物のサムネイルTHM1,THM2,THM3,THM4,THM5,THM6,THM7,THM8,THM9,THM10を表示領域RTPS1に並べて表示する。ここで、表示領域RTPS1に表示されるそれぞれのサムネイルは、例えば該当人物の大まかな全容が映し出されるようにカメラの撮像映像データから人物検索サーバ60により切り出された画像を示す。捜査支援アプリは、検索結果に含まれる該当人物のスコア(例えばプロセッサ61により構成されるAIエンジンの処理に基づいて得られた検索結果の尤度を示す確率値)が高い順に並べて表示してもよいし、あるいは該当人物が撮像された撮像日時の古い順あるいは新しい順に並べて表示してもよい。
【0081】
また、捜査支援アプリは、サムネイルTHM1〜THM10のうちオペレータの操作によりいずれか1つ(例えばサムネイルTHM1)が選択されたことを検知すると(
図6の太い矢印参照)、そのサムネイルTHM1に対応するカメラの識別情報および撮像日時を満たす撮像映像データを映像管理サーバ40に要求する。捜査支援アプリは、この要求に応じるように映像管理サーバ40から送られた撮像映像データ(つまり選択人物映像SMV1のデータ)を受け取ると、選択人物映像SMV1を人物詳細表示領域PSDTL1に表示する。更に、捜査支援アプリは、サムネイルTHM1に対応するカメラの設置場所CMPS1を道路地図データMP1に重畳して人物詳細表示領域PSDTL1に表示する。
【0082】
なお、捜査支援アプリは、選択人物映像SMV1に、サムネイルTHM1に映る人物(つまり、黄色い長袖の服を着て黒色のズボンをはいている男性)の全容を強調可能な外形枠WK1を重畳して表示してもよい。これにより、オペレータは、選択人物映像SMV1のどこにサムネイルTHM1の人物が存在しているかを一目で判別可能である。
【0083】
なお、捜査支援アプリは、サムネイルTHM1に対応するカメラ以外の他のカメラの設置場所CMPS2,CMPS3,CMPS4を示すアイコンと、設置場所CMPS1のカメラの撮像映像データの1シーンの画像のスナップショットCPIMG1とを道路地図データMP1上に重畳して表示してもよい。これにより、オペレータは、サムネイルTHM1の人物が映るカメラにより撮像されるシーンのスナップショットと、そのカメラの設置場所CMPS1以外の他のカメラの設置場所とを簡単に確認できる。
【0084】
図7に示す検索結果画面WD4は、撮像映像データに映るオブジェクト(例えば人物)に関する各種の検索条件の入力欄CON1と、検索結果に含まれる1人以上の該当人物のサムネイルの表示領域RTPS1と、人物詳細表示領域PSDTL2とを有する。人物詳細表示領域PSDTL2は、選択人物映像SMV1の表示領域と道路地図データMP1の表示領域と選択人物詳細情報MFE1の表示領域とを含む。検索結果に含まれる1人以上の該当人物のサムネイルの表示に関する説明、ならびに、選択人物映像SMV1と道路地図データMP1の表示に関する説明は、
図6を参照して説明したので、
図7では説明を省略する。
【0085】
捜査支援アプリは、サムネイルTHM1〜THM10のうちオペレータの操作によりいずれか1つ(例えばサムネイルTHM1)が選択されたことを検知すると(
図6の太い矢印参照)、そのサムネイルTHM1に対応する人物の顔部分を切り出した顔画像を生成する。捜査支援アプリは、その生成された顔画像のデータを含む照合指示を生成してAI統合サーバ10に送る。AI統合サーバ10は、クライアント端末VW1から送られた照合指示を顔認証サーバ50に送り、顔認証サーバ50の照合処理結果を受け取ってクライアント端末VW1に送る。捜査支援アプリは、AI統合サーバ10から送られた照合処理結果に含まれるヒット人物(つまり、顔認証サーバ50のブラックリストデータに登録されている前科者等の人物と一致した人物)の顔画像FCE1および個人情報MTA1を有する選択人物詳細情報MFE1を更に人物詳細表示領域PSDTL2に表示する。
【0086】
図8および
図9は、クライアント端末VW1に表示される車両の検索結果画面の一例を示す図である。捜査支援アプリは、クライアント端末VW1がAI統合サーバ10から逃走車両等の車両の検索処理の結果(検索結果)を受信した時、
図8あるいは
図9に示す検索結果画面WD5を表示デバイス116に表示する。検索結果は、例えば該当車両(つまり車両検索条件CH2を満たす車両。以下同様。)ごとのサムネイルと、そのサムネイルの元となるカメラの撮像映像データの撮像日時と、そのカメラの識別情報と、車両検索サーバ80による検索処理のスコアとを含む。
【0087】
図8に示す検索結果画面WD5は、撮像映像データに映るオブジェクト(例えば車両)に関する各種の検索条件の入力欄CON2と、検索結果に含まれる1以上の該当車両のサムネイルの表示領域RTVC1と、イベント詳細表示領域RTVC2と、選択車両詳細表示領域RTVC3とを有する。
【0088】
捜査支援アプリは、クライアント端末VW1が車両の検索結果をAI統合サーバ10から受信した時、検索結果に含まれる1以上の該当車両のサムネイル(例えば
図8では16台のサムネイル)を表示領域RTVC1に並べて表示する。ここで、表示領域RTVC1に表示されるそれぞれのサムネイルは、例えば該当車両の大まかな全体像が映し出されるようにカメラの撮像映像データから車両検索サーバ80により切り出された画像である。捜査支援アプリは、検索結果に含まれる該当車両のスコア(例えばAIエンジンの処理に基づいて得られた検索結果の尤度を示す確率値)が高い順に並べて表示してもよいし、あるいは該当車両が撮像された撮像日時の古い順あるいは新しい順に並べて表示してもよい。捜査支援アプリは、表示領域RTVC1へのそれぞれの該当車両のサムネイルの表示に伴い、それぞれの該当車両を撮像(イベントの一例)したカメラの撮像日時、名前、ナンバープレートを少なくとも含むイベント情報をイベント詳細表示領域RTVC2に表示する。
【0089】
また、捜査支援アプリは、オペレータの操作によりいずれか1つ(例えばサムネイルTHM11)が選択されたことを検知すると(
図8の太い矢印参照)、そのサムネイルTHM11に対応するカメラの識別情報および撮像日時を満たす撮像映像データを映像管理サーバ40に要求する。捜査支援アプリは、この要求に応じるように映像管理サーバ40から送られた撮像映像データ(つまり選択車両映像LPcap1のデータ)を受け取ると、選択車両映像LPcap1のデータを選択車両詳細表示領域RTVC3に表示する。更に、捜査支援アプリは、サムネイルTHM11の選択車両に対応するイベント情報INF1を強調処理(例えばハイライト表示)する。
【0090】
捜査支援アプリは、選択車両映像LPcap1のデータだけでなく、その選択車両のナンバープレートの画像LPcap2を含むナンバープレート詳細表示領域PLT1と、その選択車両の詳細表示領域VCL1とを選択車両詳細表示領域RTVC3に表示する。ナンバープレートの画像LPcap2は、例えば選択車両映像LPcap1のデータに映るナンバープレートの部分が映像管理サーバ40あるいはクライアント端末VW1により切り出された画像である。従って、オペレータは、
図8に示す検索結果画面を閲覧することで、車両検索条件CH2を満たす該当車両の中で気になった車両(
図8の太い矢印参照)の画像、ナンバープレート、車型および車色等の詳細を一目で確認できる。
【0091】
図9に示す検索結果画面WD5は、撮像映像データに映るオブジェクト(例えば車両)に関する各種の検索条件の入力欄CON2と、検索結果に含まれる1以上の該当車両のサムネイルの表示領域RTVC1と、イベント詳細表示領域RTVC2と、選択車両詳細表示領域RTVC3aとを有する。選択車両詳細表示領域RTVC3aは、選択車両映像LPcap1のデータの表示領域と、ナンバープレート詳細表示領域PLT1と、選択車両の詳細表示領域VCL1とに加え、選択車両オーナ詳細表示領域を更に含む。サムネイルの表示領域RTVC1、イベント詳細表示領域RTVC2、選択車両映像LPcap1のデータの表示領域と、ナンバープレート詳細表示領域PLT1と、選択車両の詳細表示領域VCL1とに関する説明は、
図8を参照して説明したので、
図9では説明を省略する。
【0092】
捜査支援アプリは、オペレータの操作によりいずれか1つ(例えばサムネイルTHM11)が選択されたことを検知すると(
図9の太い矢印参照)、そのサムネイルTHM11に対応する車両に対応する車両情報からナンバープレートの情報を抽出する。捜査支援アプリは、その抽出されたナンバープレートの情報を含む照合指示を生成してAI統合サーバ10に送る。AI統合サーバ10は、クライアント端末VW1から送られた照合指示をLPRサーバ90に送り、LPRサーバ90の照合処理結果を受け取ってクライアント端末VW1に送る。捜査支援アプリは、AI統合サーバ10から送られた照合処理結果に含まれるヒット車両の購入者(つまり、LPRサーバ90のナンバープレートリストデータに登録されているナンバープレートの情報と一致したナンバープレート情報に対応する車両の購入者)の顔画像FCE2および個人情報MTA2を選択車両オーナ詳細表示領域に表示する。
【0093】
また実施の形態1では、捜査支援アプリは、複数の異なるオブジェクトを跨ぐ(つまり全て満たす)検索条件を用いた検索(いわゆるAND検索)、あるいは、複数の異なるオブジェクトのそれぞれを個別に検索した結果を合算する検索(いわゆるOR検索)を選択的にAI統合サーバ10に実行させることが可能である。AND検索あるいはOR検索のいずれが実行されるかは、例えばオペレータの操作により選択可能である。
【0094】
図10は、クライアント端末VW1に表示されるOR検索の検索結果画面の一例を示す図である。
図10に示す検索結果画面WD6は、複数の異なるオブジェクト(具体的には人物、車両)のそれぞれを個別に検索した結果を論理的に加算するOR検索の検索結果を示す。具体的には、検索結果画面WD6は、
図6に示す検索結果画面WD4の検索結果(つまり1人以上の該当人物のサムネイルの表示領域RTPS1参照)と、
図8に示す検索結果画面WD5の検索結果(つまり1以上の該当車両のサムネイルの表示領域RTVC1参照)との両方が含まれた検索結果を示す。
図10に示す検索結果画面WD6は、撮像映像データに映る複数の異なるオブジェクト(例えば人物、車両)に関する各種の検索条件の入力欄CON3と、検索結果に含まれる1人以上の該当人物のサムネイルの表示領域RTPS1と、人物詳細表示領域PSDTL1aとを少なくとも有する。
【0095】
なお、検索条件の入力欄CON3では、複数の異なるオブジェクト(具体的には人物、車両)のそれぞれが検索されるために人物検索条件CH1(
図4参照)と車両検索条件CH2(
図5参照)との両方がオペレータの操作により選択かつセットされている。
図10において、人物検索条件CH1の内容は
図4に示す人物検索条件CH1と同一、更に、車両検索条件CH2の内容は
図5に示す車両検索条件CH2と同一であるため詳細な説明は省略する。
【0096】
捜査支援アプリは、人物に関する複数のサムネイルと車両に関する複数のサムネイルとのうち人物のサムネイル(例えばサムネイルTHM1)が選択されたことを検知すると(
図10の太い矢印参照)、
図6と同様に、そのサムネイルTHM1に対応するカメラの識別情報および撮像日時を満たす撮像映像データを映像管理サーバ40に要求する。捜査支援アプリは、この要求に応じるように映像管理サーバ40から送られた撮像映像データ(つまり選択人物映像SMV1のデータ)を受け取ると、選択人物映像SMV1を人物詳細表示領域PSDTL1aに表示する。更に、捜査支援アプリは、サムネイルTHM1に対応するカメラの設置場所CMPS1と設置場所CMPS1のカメラの撮像映像データの1シーンの画像のスナップショットCPIMG1とを道路地図データMP1に重畳して人物詳細表示領域PSDTL1aに表示する。これにより、オペレータは、サムネイルTHM1の人物が映るカメラにより撮像されるシーンのスナップショットと、そのカメラの設置場所CMPS1の設置場所とを簡単に確認できる。
【0097】
一方、
図10では図示を省略しているが、捜査支援アプリは、人物に関する複数のサムネイルと車両に関する複数のサムネイルとのうち車両のサムネイル(例えばサムネイルTHM11)が選択されたことを検知すると、
図8と同様に、そのサムネイルTHM11に対応するカメラの識別情報および撮像日時を満たす撮像映像データを映像管理サーバ40に要求する。捜査支援アプリは、この要求に応じるように映像管理サーバ40から送られた撮像映像データ(つまり選択車両映像LPcap1のデータ)を受け取ると、人物詳細表示領域PSDTL1aの内容の代わりに、
図8あるいは
図9のイベント詳細表示領域RTVC2の内容と選択車両詳細表示領域RTVC3,RTVC3aの一方の内容とを表示する。これにより、オペレータは、サムネイルTHM11の車両が映るカメラにより撮像されるシーンのスナップショットと、サムネイルTHM11の車両のナンバープレート、車型および車色等の詳細を一目で確認できる。
【0098】
図11は、クライアント端末VW1に表示されるAND検索の検索結果画面の一例を示す図である。
図11に示す検索結果画面WD7は、複数の異なるオブジェクト(具体的には人物、車両)のそれぞれを個別に検索した結果を論理的に積算するAND検索の検索結果を示す。具体的には、検索結果画面WD7は、撮像映像データに映る複数の異なるオブジェクト(例えば人物、車両)に関する各種の検索条件の入力欄CON3と、検索結果に含まれる少なくとも1つの人物および車両が映るサムネイルTHM21,THM22の表示領域RTPSVC1と、人物車両詳細表示領域PSVSDTL1とを少なくとも有する。
【0099】
なお、検索条件の入力欄CON3では、複数の異なるオブジェクト(具体的には人物、車両)のそれぞれが検索されるために人物検索条件CH1(
図4参照)と車両検索条件CH2(
図5参照)との両方がオペレータの操作により選択かつセットされている。また、
図11の入力欄CON3では、AND検索およびOR検索を切り替え可能なタブ選択肢TB1が表示されている。このタブ選択肢TB1は
図10の入力欄CON3に表示されてもよい。
図11の人物検索条件CH1では、「男性」、「上半身について黒い長袖の服を着ている」、「下半身について灰色のズボンをはいている」、「鞄は所持していない」、「装備品は所持していない」の各オブジェクト特徴要素が選択されている。
図11の車両検索条件CH2では、「セダン(Sedan)」、「バン(Van)」、「SUV(Sports Utility Vehicle)」、「オレンジ色」の各オブジェクト特徴要素が選択されている。
【0100】
捜査支援アプリは、人物および車両が映るサムネイルTHM21,THM22のうち一方(例えばサムネイルTHM21)が選択されたことを検知すると(
図11の太い矢印参照)、
図6と同様に、そのサムネイルTHM21に対応するカメラの識別情報および撮像日時を満たす撮像映像データを映像管理サーバ40に要求する。捜査支援アプリは、この要求に応じるように映像管理サーバ40から送られた撮像映像データ(つまり選択人物車両映像SMV2のデータ)を受け取ると、選択人物車両映像SMV2を人物車両詳細表示領域PSVSDTL1に表示する。更に、捜査支援アプリは、サムネイルTHM21に対応するカメラの設置場所CMPS1と設置場所CMPS1のカメラの撮像映像データの1シーンの画像のスナップショットCPIMG2とを道路地図データMP1に重畳して人物車両詳細表示領域PSVSDTL1に表示する。これにより、オペレータは、サムネイルTHM21の人物および車両の両方が映るカメラにより撮像されるシーンのスナップショットと、そのカメラの設置場所CMPS1の設置場所とを簡単に確認できる。
【0101】
次に、実施の形態1に係る捜査支援システム1の捜査シナリオを想定した動作手順例を、
図12および
図13をそれぞれ参照して説明する。
図12は、実施の形態1に係る捜査支援システムにおける第1捜査シナリオに関する動作手順例を時系列に示すシーケンス図である。
図13は、実施の形態1に係る捜査支援システムにおける第2捜査シナリオに関する動作手順例を時系列に示すシーケンス図である。
【0102】
第1捜査シナリオは、被疑者等の人物と逃走車両等の車両とのそれぞれにおいて有力な目撃情報が得られ、目撃情報を検索条件としてカメラの撮像映像データに映る人物あるいは車両をそれぞれ個別に検索し、その検索の処理結果をクライアント端末VW1あるいはモバイル端末VW2に表示する例を説明する。以下、説明を簡略化するため、クライアント端末VW1からAI統合サーバ10に検索の処理要求が送られる例を説明するが、同様にモバイル端末VW2から送られても構わない。
【0103】
図12において、クライアント端末VW1は、オペレータの操作により、人物を特徴付ける人物検索条件CH1と車両を特徴付ける車両検索条件CH2とを含むOR検索(
図10参照)の処理要求を生成してAI統合サーバ10に送る(St1)。ここで、人物検索条件CH1は、例えば上半身が青い服を着ている人物である。車両検索条件CH2は、例えば車両の車型がSUV(スポーツ用多目的車)である。
【0104】
AI統合サーバ10は、クライアント端末VW1からのAND検索の処理要求を受信すると、先ずステップSt1で送られた処理要求から人物検索条件CH1を取り出して人物検索条件CH1を満たす人物の検索の処理要求を人物検索サーバ60に送る(St2)。
【0105】
人物検索サーバ60は、AI統合サーバ10からの処理要求に基づいて、データベース62を参照して人物検索条件CH1を満たす人物の検索処理を実行する(St3)。人物検索サーバ60は、人物検索条件CH1の特徴と一致する人物を抽出した場合(St3、一致)、該当人物のサムネイルを含む処理結果(上述参照)をAI統合サーバ10に返送する(St4)。一方、人物検索サーバ60は、人物検索条件CH1の特徴と一致する人物を抽出できなかった場合(St3、不一致)、該当人物情報がいない旨の処理結果をAI統合サーバ10に返送する(St5)。
【0106】
AI統合サーバ10は、ステップSt4またはステップSt5の後に続けて、ステップSt1で送られた処理要求から車両検索条件CH2を取り出して車両検索条件CH2を満たす車両の検索の処理要求を車両検索サーバ80に送る(St6)。
【0107】
車両検索サーバ80は、AI統合サーバ10からの処理要求に基づいて、データベース82を参照して車両検索条件CH2を満たす車両の検索処理を実行する(St7)。車両検索サーバ80は、車両検索条件CH2の特徴と一致する車両を抽出した場合(St7、一致)、該当車両のサムネイルを含む処理結果(上述参照)をAI統合サーバ10に返送する(St8)。一方、車両検索サーバ80は、車両検索条件CH2の特徴と一致する車両を抽出できなかった場合(St7、不一致)、該当車両情報がいない旨の処理結果をAI統合サーバ10に返送する(St9)。
【0108】
AI統合サーバ10は、人物検索サーバ60による人物検索の処理結果(人物情報)と車両検索サーバ80による車両検索の処理結果(車両情報)とを、該当人物がいないという結果や該当車両がいないという結果を含めて統合(集約)し、クライアント端末VW1に返送する(St10)。クライアント端末VW1は、ステップSt10で返送された検索の処理結果を示す検索結果画面を生成して表示デバイス116に表示する(
図6,
図8,
図10,
図11参照)。
【0109】
なお、
図12では人物検索条件CH1と車両検索条件CH2とを用いた人物検索および車両検索のOR検索の例を説明したが、AI統合サーバ10は、人物検索および車両検索のAND検索を行う際、次のように行う。例えば、AI統合サーバ10は、ステップSt4で送られた人物検索の処理結果の中を後続の車両検索の母集団とセットし、人物検索の処理結果の中で車両検索条件CH2を満たす処理結果を車両検索サーバ80に検索させる。
【0110】
第2捜査シナリオは、第1捜査シナリオのようにカメラの撮像映像データに映る人物あるいは車両をそれぞれ個別に検索し、その検索の処理結果の中から顔認証サーバ50を用いて人物の顔画像を具体的に特定し(絞り込み)、その処理結果をクライアント端末VW1あるいはモバイル端末VW2に表示する例を説明する。
【0111】
図13において、クライアント端末VW1は、
図12に続く処理として人物あるいは車両もしくはその両方のサムネイルを含む処理結果を取得して表示デバイス116に表示している。クライアント端末VW1は、表示デバイス116に表示されている人物、車両のサムネイルの中からオペレータの操作により選択された最も明確なサムネイルの選択を受け付ける(St11)。このステップSt11の選択は、例えばオペレータの操作により、捜査支援アプリの機能により、選ばれたサムネイル中の顔に枠が描画されたことが検知されたことで実行されてもよいし、無造作に表示デバイス116に表示されている全てのサムネイルが選択されても構わない。ここでは説明を簡単にするために、オペレータの操作により枠が描画されたサムネイルがステップSt11において選択されたとして説明する。
【0112】
クライアント端末VW1は、ステップSt11で選択されたサムネイル(例えばオペレータが気になった人物の顔の部分の選択により捜査支援アプリにより切り出された顔画像)を添付した登録者照合指示を生成してAI統合サーバ10に送る(St12)。AI統合サーバ10は、クライアント端末VW1からの登録者照合指示を受信すると、サムネイルが添付された状態でその登録者照合指示を顔認証サーバ50に送る(St13)。
【0113】
顔認証サーバ50は、AI統合サーバ10からの登録者照合指示に基づいて、データベース52のブラックリストデータを参照して登録者照合指示に含まれるサムネイル(例えば顔画像)と一致する登録者を検索する(St14)。顔認証サーバ50は、サムネイルの顔画像と一致する顔画像を抽出した場合(St14、一致)、対象人物情報(例えば顔画像および個人情報)を含む処理結果をAI統合サーバ10に返送する(St15)。AI統合サーバ10は、顔認証サーバ50から返送された処理結果をクライアント端末VW1に送る(St16)。クライアント端末VW1は、ステップSt16で送られた検索の処理結果を示す検索結果画面を生成して表示デバイス116に表示する(
図7,
図9参照)。
【0114】
一方、顔認証サーバ50は、サムネイルの顔画像と一致する顔画像を抽出できなかった場合(St14、不一致)、該当人物情報がいない旨の処理結果をAI統合サーバ10に返送する(St17)。
【0115】
AI統合サーバ10は、ステップSt15またはステップSt17の後に続けて、ブラックリストデータ以外のデータを用いて同じサムネイルの顔画像と一致する顔画像の検索の処理要求を顔認証サーバ50に送る(St18)。
【0116】
顔認証サーバ50は、AI統合サーバ10からの処理要求に基づいて、データベース52のブラックリストデータ以外の過去に記録された撮像映像データの解析結果を参照して登録者照合指示に含まれるサムネイル(例えば顔画像)と一致する登録者を検索する(St19)。顔認証サーバ50は、サムネイルの顔画像と一致する顔画像を抽出した場合(St19、一致)、対象人物情報(例えば顔画像および個人情報)を含む処理結果をAI統合サーバ10に返送する(St20)。AI統合サーバ10は、顔認証サーバ50から返送された処理結果をクライアント端末VW1に送る(St21)。クライアント端末VW1は、ステップSt21で送られた検索の処理結果を示す検索結果画面を生成して表示デバイス116に表示する(
図7,
図9参照)。
【0117】
一方、顔認証サーバ50は、サムネイルの顔画像と一致する顔画像を抽出できなかった場合(St19、不一致)、該当人物情報がいない旨の処理結果をAI統合サーバ10に返送する(St22)。なお、AI統合サーバ10は、該当人物情報がいない旨の処理結果をクライアント端末VW1に返送してもよい(St23)。このステップSt23の処理の実行は省略されても構わない。
【0118】
以上により、実施の形態1に係る捜査支援システム1は、複数のサーバ(例えば顔認証サーバ50、人物検索サーバ60、車両検索サーバ80と、端末(例えばクライアント端末VW1,モバイル端末VW2)および複数のサーバと通信可能に接続されたAI統合サーバ10と、を含む。各種のサーバは、複数のカメラC1〜C20のそれぞれの撮像映像データを受け取ると、事件等に関して他のサーバとは異なるオブジェクト(例えば人物、車両)の映像解析を行う。AI統合サーバ10は、複数の異なるオブジェクト特徴要素(例えば上半身が青い服、車両がSUV)の端末からの入力に基づいて、オブジェクト特徴要素に対応するサーバに該当オブジェクトの検索要求を送り、それぞれのサーバからの該当オブジェクトの検索結果を受け取って統合して端末に表示させる。
【0119】
これにより、捜査支援システム1は、撮像映像データに映る複数の異なるオブジェクトのそれぞれの特徴を検索条件とした検索を横断的に行える。従って、捜査支援システム1は、事件等を引き起こした被疑者あるいは被疑者が逃走用に使用している逃走車両の特定を早期かつ効率的に支援でき、警察等の捜査機関による捜査の利便性を向上できる。
【0120】
また、サーバは、他のサーバとは異なるオブジェクト用検索アルゴリズム(例えば人物検索用アルゴリズム、車両検索用アルゴリズム)を用いて、該当オブジェクトの映像解析を行う。AI統合サーバ10は、複数のサーバのそれぞれで使用されるオブジェクト用検索アルゴリズムが汎用化された共通インターフェース(例えば共通検索アルゴリズム)を有し、この共通検索アルゴリズムを用いて、オブジェクト特徴要素に対応するサーバに該当オブジェクトの検索要求を送る。これにより、捜査支援システム1は、各サーバ(具体的には、顔認証サーバ50、人物検索サーバ60、車両検索サーバ80)のメーカが異なる場合でも、クライアント端末VW1あるいはモバイル端末VW2からの一度の検索の処理要求に応じて複数のオブジェクト(例えば人物、車両)を混在した横断的な検索を行え、オペレータ等の利便性を向上できる。
【0121】
また、端末に表示された該当オブジェクトの検索結果は、複数の人物のそれぞれのサムネイルである。これにより、オペレータ等は、事件等の被疑者の候補となる人物の全容が映し出されるサムネイルをクライアント端末VW1やモバイル端末VW2で簡単かつ視覚的に把握できる。
【0122】
また、AI統合サーバ10は、いずれかのサムネイルの選択に基づいて、選択されたサムネイルに映る人物の撮像映像(選択人物映像SMV1)の視聴画面と、撮像映像に対応するカメラの設置地点が重畳された地図表示画面(道路地図データMP1)とを端末に表示させる(
図6、
図7参照)。これにより、オペレータ等は、選択人物映像SMV1のどこにサムネイルTHM1の人物が存在しているか、更に、サムネイルTHM1の人物が映るカメラの設置場所CMPS1の設置場所を一目で簡単に把握できる。
【0123】
また、複数のサーバは、人物の顔が登録された顔データベース(例えばブラックリストデータ)を用いて照合する顔認証サーバ50を有する。AI統合サーバ10は、複数の人物のサムネイルのうち少なくとも1つの選択に基づいて、サムネイルに映る人物の顔の照合要求を顔認証サーバ50に送り、顔認証サーバ50からの照合結果を端末に送る。これにより、オペレータ等は、事件等の被疑者としての候補となり得る複数の人物のサムネイルのうち気になった人物の顔画像および個人情報を簡単に把握できる。
【0124】
また、端末に表示された該当オブジェクトの検索結果は、複数の車両のそれぞれのサムネイルである。これにより、オペレータ等は、事件等の被疑者が乗っている逃走車両の候補となる車両の全体像が映し出されるサムネイルをクライアント端末VW1やモバイル端末VW2で簡単かつ視覚的に把握できる。
【0125】
また、AI統合サーバ10は、いずれかのサムネイルの選択に基づいて、選択されたサムネイルに映る車両の撮像映像の視聴画面(選択車両映像LPcap1参照)と、車両のナンバープレートを含む車両詳細情報を示す車両画面(ナンバープレートの画像LPcap2)とを端末に表示させる(
図8、
図9参照)。これにより、オペレータ等は、選択車両映像LPcap1で逃走車両の特徴をきめ細かく確認でき、ナンバープレートの情報も一目で簡単に把握できる。
【0126】
また、複数のサーバは、車両の所有者の顔画像および個人情報がナンバープレートに関連づけて登録された車両所有者データベース(例えばナンバープレートリストデータ)を用いて照合するライセンス認証サーバ(例えばLPRサーバ90)を有する。AI統合サーバ10は、複数の車両のサムネイルのうち少なくとも1つの選択に基づいて、サムネイルに映る車両の所有者情報の照合要求をLPRサーバ90に送り、LPRサーバ90からの照合結果を端末に送る。これにより、オペレータ等は、選択車両映像LPcap1の所有者の顔画像と個人情報とを検索結果画面(
図9参照)できめ細かく確認でき、その所有者の所在を早期に確認できる。
【0127】
また、AI統合サーバ10は、複数の異なるオブジェクト特徴要素の端末からの入力に基づいて、オブジェクト特徴要素に対応するサーバに該当オブジェクトの検索要求を送り、それぞれのサーバからの該当オブジェクトの検索結果を受け取り、1つの該当オブジェクトの検索結果を端末に表示させる。これにより、捜査支援システム1は、カメラの撮像映像データに人物および車両の両方が同時に映るサムネイルを効率的に絞り込むことができ、オペレータ等がクライアント端末VW1あるいはモバイル端末VW2において簡単かつ直感的に把握することを効果的に支援できる。例えば撮像映像を構成する1枚のフレームに人物および車両の両方が映る場合、このようなフレームをAIエンジン等で検索しようとすると、正解の教師データとなるフレーム(撮像画像)を数多く用意する必要があり、機械学習させることも煩雑であった。ところが、実施の形態1に係る捜査支援システム1によれば、人物検索および車両検索をそれぞれ個別に実行した上で両検索の論理的なAND検索が可能となるので、上述した煩雑な機械学習の必要性が無くなり、システム構築の効率も増すことが期待される。
【0128】
(実施の形態2)
実施の形態2では、少なくとも1人の人物が起こす所定のアクションが行動検知サーバ70により検知されたことを契機として、AI統合サーバ10は、クライアント端末VW1あるいはモバイル端末VW2からの検索の処理要求を受ける。実施の形態2に係る捜査支援システム1の構成は実施の形態1に係る捜査支援システム1の構成と同一であるため、同一の構成には同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。なお、実施の形態2では、アラーム通知を生成してAI統合サーバ10に送るサーバとして行動検知サーバ70を例示するが、上述した実施の形態1でも説明したように、以下の説明は、行動検知サーバ70以外のサーバ(例えば、顔認証サーバ50、人物検索サーバ60、車両検索サーバ80、LPRサーバ90)により対応するオブジェクト(例えば顔、人物、車両、ナンバープレート)が映像解析中に検知されたことで生成されたアラーム通知に適用しても構わない。
【0129】
行動検知サーバ70は、カメラC1〜C20のそれぞれの撮像映像データを映像解析した結果、所定のアクション(上述参照)を検知した時にアラーム通知を生成してAI統合サーバ10に送る。アラーム通知がAI統合サーバ10に送られるタイミングは、カメラC1〜C20のそれぞれの撮像映像データが各種のサーバ(具体的には、顔認証サーバ50、人物検索サーバ60、行動検知サーバ70、車両検索サーバ80)に送られる通常の監視時であり、監視中においてアラーム通知は突発的にAI統合サーバ10に送られる。ここで、アラーム通知には、所定のアクションの内容(種別)と、所定のアクションが検知された撮像映像データに対応する撮像日時およびカメラの識別情報とが含まれる。AI統合サーバ10は、行動検知サーバ70から突発的に送られたアラーム通知をクライアント端末VW1あるいはモバイル端末VW2に送る。
【0130】
図14は、クライアント端末VW1に表示されるアラーム監視画面の一例を示す図である。実施の形態1と同様に、アラーム監視画面WD8はモバイル端末VW2に表示されても構わない。
図14に示すアラーム監視画面WD8は、例えば複数のカメラのそれぞれの撮像映像データがAI統合サーバ10あるいは映像管理サーバ40を介して、クライアント端末VW1において受信されて表示されている。なお、アラーム監視画面WD8には、カメラの撮像映像データの表示画面だけでなく、それぞれのカメラが設置されている地点が判明可能な地図データMP2(例えば大学等の構内の地図データ)が併せて表示されても構わない。
図14の地図データMP2上には、例えば4台のカメラCMPS11,CMPS12,CMPS13,CMPS14の設置地点を示すアイコンが表示されている。
【0131】
行動検知サーバ70は、所定のアクションとして2人の喧嘩を検知した場合、喧嘩があった旨の情報と、喧嘩が検知された撮像映像データALM1に対応する撮像日時およびカメラCMPS11の識別情報とを含むアラーム通知を生成してAI統合サーバ10に送る。
図14のアラーム監視画面WD8では、クライアント端末VW1により、喧嘩が検知された撮像映像データALM1が強調して表示されるとともに、カメラCMPS11のアイコンが強調して表示(例えば赤く太く表示)され、更に、カメラCMPS11の撮像映像の1シーンを示すスナップショットCPIMG11(撮像画像)も重畳して表示される。また、
図14のアラーム監視画面WD8では、所定のアクションが行動検知サーバ70により検知される度に、クライアント端末VW1により、アクション(イベントの一例)の発生に関するイベントリストEVLST1が重畳されて表示される。イベントリストEVLST1は、行動検知サーバ70によりアクションが検知された日時(Date)と、そのアクションの検知に使用された撮像映像データを撮像したカメラの識別情報と、イベント(アクション)の内容(例えば喧嘩)とを対応付けて示す。
【0132】
次に、実施の形態2に係る捜査支援システム1のライブ映像あるいは過去記録映像を用いた画像検索の動作手順例を、
図15〜
図17をそれぞれ参照して説明する。
図15は、実施の形態2に係る捜査支援システム1におけるライブ映像を用いた画像検索に関する動作手順例を時系列に示すシーケンス図である。
図16および
図17は、実施の形態2に係る捜査支援システム1における過去記録映像を用いた画像検索に関する動作手順例を時系列に示すシーケンス図である。なお、
図16および
図17の説明において、
図15で説明する処理と同一の内容については同一のステップ番号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。
【0133】
図15において、行動検知サーバ70は、所定のアクションとして2人の喧嘩を検知した場合、喧嘩があった旨の情報と、喧嘩が検知された撮像映像データALM1に対応する撮像日時およびカメラCMPS11の識別情報とを含むアラーム通知を生成してAI統合サーバ10に送る(St31)。AI統合サーバ10は、行動検知サーバ70から突発的に送られたアラーム通知をクライアント端末VW1に送る(St32)。
【0134】
クライアント端末VW1の捜査支援アプリは、AI統合サーバ10から送られたアラーム通知の受信に基づいて、アラーム通知に含まれるカメラの識別情報に対応するカメラのライブ映像である撮像映像データALM1を強調(例えば
図14に示す赤枠)して表示する(St33)。なお、モバイル端末VW2の使用者である警官は、アラーム通知を受け取ったことに基づいて、喧嘩している2人組がいる現場に急行する(St34)。クライアント端末VW1は、アラーム通知の対象となった撮像映像データALM1の中から、アラーム通知の対象となる人物(例えば喧嘩している2人組)が映る撮像画像(スナップショット)を抽出する(St35)。更に、クライアント端末VW1は、ステップSt35で抽出された撮像画像(スナップショット)から喧嘩している2人組のそれぞれの顔を切り出す(St36)。以下の処理は2人組の人物のそれぞれごとに実行されるが、説明を簡単にするために、2人組の人物のうち一方の顔画像に対する処理として説明する。
【0135】
クライアント端末VW1は、ステップSt36で切り出された人物の顔画像を添付した登録者照合指示を生成してAI統合サーバ10に送る(St37)。AI統合サーバ10は、クライアント端末VW1からの登録者照合指示を受信すると、サムネイルが添付された状態でその登録者照合指示を顔認証サーバ50に送る(St38)。
【0136】
顔認証サーバ50は、AI統合サーバ10からの登録者照合指示に基づいて、データベース52のブラックリストデータを参照して登録者照合指示に含まれるサムネイル(例えば顔画像)と一致する登録者を検索する(St39)。顔認証サーバ50は、切り出された顔画像と一致する顔画像を抽出した場合(St39、一致)、対象人物情報(例えば顔画像および個人情報)を含む処理結果をAI統合サーバ10に返送する(St40)。AI統合サーバ10は、顔認証サーバ50から返送された処理結果をクライアント端末VW1に送る(St41)。クライアント端末VW1は、ステップSt41で送られた検索の処理結果を示す検索結果画面を生成して表示デバイス116に表示する(
図14参照)。
【0137】
一方、顔認証サーバ50は、サムネイルの顔画像と一致する顔画像を抽出できなかった場合(St39、不一致)、該当人物情報がいない旨の処理結果をAI統合サーバ10に返送する(St42)。
【0138】
AI統合サーバ10は、ステップSt41またはステップSt42の後に続けて、ブラックリストデータ以外のデータを用いて同じサムネイルの顔画像と一致する顔画像の検索の処理要求を顔認証サーバ50に送る(St43)。
【0139】
顔認証サーバ50は、AI統合サーバ10からの処理要求に基づいて、データベース52のブラックリストデータ以外の過去に記録された撮像映像データの解析結果を参照して登録者照合指示に含まれる顔画像と一致する登録者を検索する(St44)。顔認証サーバ50は、顔画像と一致する顔画像を抽出した場合(St44、一致)、対象人物情報(例えば顔画像および個人情報)を含む処理結果をAI統合サーバ10に返送する(St45)。AI統合サーバ10は、顔認証サーバ50から返送された処理結果をクライアント端末VW1に送る(St46)。クライアント端末VW1は、ステップSt45で送られた検索の処理結果を示す検索結果画面を生成して表示デバイス116に表示する(
図14参照)。
【0140】
一方、顔認証サーバ50は、顔画像と一致する顔画像を抽出できなかった場合(St44、不一致)、該当人物情報がいない旨の処理結果をAI統合サーバ10に返送する(St47)。なお、AI統合サーバ10は、該当人物情報がいない旨の処理結果をクライアント端末VW1に返送してもよい(St48)。このステップSt48の処理の実行は省略されても構わない。
【0141】
図16において、クライアント端末VW1の捜査支援アプリは、AI統合サーバ10から送られたアラーム通知の受信に基づいて、クライアント端末VW1の記録装置112に記録されている過去の受信された複数のアラーム通知(アラームイベント)の中でステップSt32においてAI統合サーバ10から送られたアラーム通知と同一のアラーム通知を検索する(St51)。クライアント端末VW1は、ステップSt51の検索により得られた過去のアラーム通知に含まれるカメラの識別情報に対応するカメラの過去の録画映像である撮像映像データを記録装置112から読み出して再生して表示する(St52)。クライアント端末VW1は、ステップSt52において再生されている過去の撮像映像データの中からアラーム通知の対象となる人物(例えば喧嘩している2人組)が映る撮像画像(スナップショット)を抽出する(St35a)。更に、クライアント端末VW1は、ステップSt35aで抽出された撮像画像(スナップショット)から所定のアクション(つまりステップSt51の検索で得られた過去のアラーム通知に含まれるアクション)の内容を行っている人物の顔(例えば顔認証に適した正面等を向いている顔)が映っている場合には、その顔画像を切り出す(St36)。なお、ステップSt37〜ステップSt48の処理は
図16と同一であるため、説明を省略する。
【0142】
図17において、クライアント端末VW1の捜査支援アプリは、ステップSt35aで抽出された撮像画像(スナップショット)から所定のアクション(つまりステップSt51の検索で得られた過去のアラーム通知に含まれるアクション)の内容を行っている人物の顔(例えば顔認証に適した正面等を向いている顔)を抽出できなかった場合(St36a)、そのスナップショットから人物の全身画像を切り出す(St53)。
【0143】
クライアント端末VW1は、ステップSt53で切り出された人物画像を添付した人物再照合指示を生成してAI統合サーバ10に送る(St54)。AI統合サーバ10は、クライアント端末VW1からの人物再照合指示を受信すると、人物画像が添付された状態でその人物再照合指示を人物検索サーバ60に送る(St55)。
【0144】
人物検索サーバ60は、AI統合サーバ10からの人物再照合指示に基づいて、データベース62に保存されている撮像映像データの映像解析結果を参照して人物再照合指示に含まれる人物画像と一致あるいは類似する人物を検索する(St56)。人物検索サーバ60は、人物画像と一致あるいは類似する人物画像を抽出した場合(St56、類似有)、対象人物情報(例えば対象人物のサムネイル)を含む処理結果をAI統合サーバ10に返送する(St57)。AI統合サーバ10は、人物検索サーバ60から返送された処理結果をクライアント端末VW1に送る(St58)。クライアント端末VW1は、ステップSt58で送られた検索の処理結果を示す検索結果画面を生成して表示デバイス116に表示する。
【0145】
一方、人物検索サーバ60は、人物画像と一致あるいは類似する顔画像を一つも抽出できなかった場合(St56、類似無)、該当人物情報がいない旨の処理結果をAI統合サーバ10に返送する(St59)。AI統合サーバ10は、ステップSt59の処理結果をクライアント端末VW1に表示する。
【0146】
以上により、実施の形態2に係る捜査支援システム1では、複数のサーバは、複数のカメラのそれぞれの撮像映像に基づいて、少なくとも1人の人物が起こす所定のアクションを検知する行動検知サーバ70を有する。行動検知サーバ70は、アクションの検知に基づいて、アクションが検知された撮像映像データに対応するカメラ情報(例えばカメラの識別情報)を含むアラーム通知をAI統合サーバ10に送る。これにより、捜査支援システム1は、複数のカメラのそれぞれが設置された地点の監視中に所定のアクションが検知された場合に、行動検知サーバ70からのアラーム通知を受信できるので、アクションが起こされた地点の早期把握を促すとともに、その地点のカメラの撮像映像データを適切に監視できる。
【0147】
また、複数のサーバは、人物の顔が登録された顔データベース(例えばブラックリストデータ)を用いて照合する顔認証サーバ50を有する。AI統合サーバ10は、アラーム通知に含まれるカメラ情報に対応するライブ映像の表示指示を端末に送る。AI統合サーバ10は、表示指示に基づいて端末に表示されているライブ映像に映る人物の選択に基づいて、人物の顔の照合要求を顔認証サーバ50に送り、顔認証サーバ50からの照合結果を端末に送る。これにより、捜査支援システム1は、アクションの発生が検知されたことでそのシーンを撮像しているカメラのライブ映像に映る人物の顔画像からその人物の特定を行えるので、事件等の被疑者となり得る人物の早期発見を効率的に行える。
【0148】
また、顔認証サーバ50は、人物の顔の照合要求に基づいて、顔データベース(例えばブラックリストデータ)を用いて人物の顔を照合し、照合結果をAI統合サーバ10に送る。これにより、捜査支援システム1は、アクションを起こした人物の顔画像および個人情報を早期に特定でき、警官等の業務効率を向上できる。
【0149】
また、顔認証サーバ50は、人物の顔の照合要求に基づいて、更に複数のカメラのそれぞれの撮像映像データを用いて人物の顔を照合し、照合結果をAI統合サーバ10に送る。これにより、捜査支援システム1は、アクションの発生が検知されたことでそのシーンを撮像しているカメラの撮像映像データに映る人物を高精度に特定できる。
【0150】
また、所定のアクションは、人物のふらつき、喧嘩、拳銃所持および万引きのうち少なくとも1つである。これにより、捜査支援システム1は、複数のカメラのそれぞれが設置された地点の監視中に、人物のふらつき、喧嘩、拳銃所持および万引きのうち少なくとも1つの犯罪に相当する行為(行動)を適切に検知でき、警官等による事件等の被疑者を早期に特定することを支援できる。
【0151】
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
【0152】
上述した実施の形態1において、AI統合サーバ10が取り扱う検索として、人物検索サーバ60による人物検索、車両検索サーバ80による車両検索を例示して説明したが、これらに限定されない。言い換えると、
図4あるいは
図5に示されるように、検索条件となり得るのは人物あるいは車両に限定されない。例えば、AI統合サーバ10が取り扱う検索として、顔認証サーバ50による顔検知(顔検索)、LPRサーバ90によるナンバープレート検索にも適用されてよいし、更に、人物検索サーバ60による人物検索、車両検索サーバ80による車両検索も組み合わせて使用されて構わない。この場合には、検索条件として、顔画像(イメージ検索)あるいはナンバープレート(テキスト検索あるいはイメージ検索)が使用されてよい。顔画像を用いた検索結果としては、例えば、
図7に示される顔画像FCE1が表示されてよい。ナンバープレートを用いた検索結果としては、例えば、
図8あるいは
図9に示されるナンバープレート詳細表示情報PLT1とナンバープレート情報に対応する車両の購入者の顔画像FCE2とが表示されてよい。
【0153】
上述した実施の形態1において、AI統合サーバ10が取り扱うAND検索(横断的な検索)の一例としては、人物検索サーバ60による人物検索と車両検索サーバ80による車両検索とのAND検索、顔認証サーバ50による顔照合と人物検索サーバ60による人物検索と車両検索サーバ80による車両検索とのAND検索を例示して説明したが、AND検索の例はこれらに限定されない。例えば、AI統合サーバ10は、次の組み合わせによるAND検索(横断的な検索)を行うことが可能である。
【0154】
例えば、顔認証サーバ50による顔照合に加え、人物検索サーバ60による人物検索、行動検知サーバ70による行動検知(例えば喧嘩あるいは拳銃所持している人物の顔画像に類似した顔画像の照合)、車両検索サーバ80による車両検索(例えば白い車に乗っている30代男性の顔画像の照合)、LPRサーバ90によるナンバープレート照合(例えば上位2桁が特定の数字の車両に乗っている、ある顔画像に類似する人物の顔画像の照合)等のうち少なくとも1つが組み合わせ可能である。
【0155】
また例えば、人物検索サーバ60による人物検索に加え、行動検知サーバ70による行動検知(例えば物の破壊行為あるいは拳銃所持を行っている黒い服を着た人物の検索)、車両検索サーバ80による検索(例えば白い車に近づいた赤い服を着た人物の検索)、LPRサーバ90によるナンバープレート照合(例えばナンバーが特定の数字の車両に近づいた黒い服を着た人物の検索)等のうち少なくとも1つが組み合わせ可能である。
【0156】
また例えば、車両検索サーバ80による車両検索に加え、行動検知サーバ70による行動検知(例えば逆走しているセダンタイプの車両、あるいは、外から拳銃で脅されているタクシー車両の検索)、LPRサーバ90によるナンバープレート照合(例えば上位2桁が特定の数字の逆走している車両の検索)等のうち少なくとも1つが組み合わせ可能である。
【0157】
また例えば、LPRサーバ90によるナンバープレート照合に加え、行動検知サーバ70による行動検知(例えば上位2桁が特定の数字の逆走しているアクションの検知、上位2桁が特定の数字のタクシー車両の運転手を外から拳銃で脅している行為の検知)等のうち少なくとも1つが組み合わせ可能である。
【0158】
なお、上述した実施の形態1では、カメラC1〜C20のそれぞれの撮像映像における対象物が人物あるいは車両であることを例示したが、対象物は人物あるいは車両に限定されず、その他の物体(例えば移動体)でもよい。移動体は、例えば事件等を引き起こした被疑者等の人物により操作されるドローン等の飛行物体でもよい。