特許 6806626 人物グループ追跡装置および人物グループ追跡方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6806626

(24)【登録日】2020年12月8日

(45)【発行日】2021年1月6日

(54)【発明の名称】人物グループ追跡装置および人物グループ追跡方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20201221BHJP

   G06T 7/00 20170101ALI20201221BHJP

   G06T 7/20 20170101ALI20201221BHJP

   G08B 25/00 20060101ALI20201221BHJP

   G08B 13/196 20060101ALI20201221BHJP

【ＦＩ】

   H04N7/18 D

   H04N7/18 G

   H04N7/18 U

   G06T7/00 660

   G06T7/20 300Z

   G08B25/00 510M

   G08B13/196

【請求項の数】5

【全頁数】17

(21)【出願番号】特願2017-98617(P2017-98617)

(22)【出願日】2017年5月18日

(65)【公開番号】特開2018-195992(P2018-195992A)

(43)【公開日】2018年12月6日

【審査請求日】2020年2月13日

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２９年度、総務省、膨大な数の自律型モビリティシステムを支える多様な状況に応じた周波数有効利用技術の研究開発の委託事業、産業技術力強化法第１９条の適用を受ける特許出願

(73)【特許権者】

【識別番号】000005821

【氏名又は名称】パナソニック株式会社

(74)【代理人】

【識別番号】110001379

【氏名又は名称】特許業務法人 大島特許事務所

(72)【発明者】

【氏名】新崎 誠

(72)【発明者】

【氏名】上田 大介

【審査官】 鈴木 隆夫

(56)【参考文献】

【文献】 特表２０１８−５２６９４５（ＪＰ，Ａ）

【文献】 特開２０１６−０１５５７９（ＪＰ，Ａ）

【文献】 特開２００６−０９２３９６（ＪＰ，Ａ）

【文献】 特開２００４−１２０１０８（ＪＰ，Ａ）

【文献】 特開２０１６−２０１７５８（ＪＰ，Ａ）

【文献】 特開２０１６−１５４３０６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／２０

Ｇ０８Ｂ １３／１９６

Ｇ０８Ｂ ２５／００

(57)【特許請求の範囲】

【請求項1】

施設内を複数のカメラにより撮影した映像に基づき、犯罪者グループを構成する人物を捜索する処理をプロセッサにより実行する人物グループ追跡装置であって、
前記プロセッサは、
ユーザの入力操作に応じて、第１の犯罪者を設定し、
施設内を撮影した映像に対する追尾処理により取得した追尾情報に基づき、施設内に滞在する人物の中から、前記第１の犯罪者とグループ関係にある第２の犯罪者である可能性が高い候補人物を検索し、
この検索結果に基づき、前記候補人物が写る映像を所定数抽出して、その映像を候補映像として提示し、
前記候補映像を選択するユーザの操作に応じて、その選択された前記候補映像に対応する前記候補人物を前記第２の犯罪者である可能性が高いと判定した際の判定基準に関する情報を表示すると共に前記候補映像を再生する画面を提示することを特徴とする人物グループ追跡装置。

【請求項2】

前記プロセッサは、
前記追尾情報に基づいて、動線の類似性、通話動作のタイミングの類似性、顔の向きの関連性、利用した車両の同一性を前記判定基準として、施設内に滞在する人物が、前記第２の犯罪者である可能性が高いか否かを判定することを特徴とする請求項１に記載の人物グループ追跡装置。

【請求項3】

前記プロセッサは、
前記候補映像を提示する際に、複数の前記候補映像を並べて表示する一覧表示と、前記候補映像を地図上に表示するマップ表示と、のいずれかを選択する操作部を、画面に表示することを特徴とする請求項１または請求項２に記載の人物グループ追跡装置。

【請求項4】

更に、前記第１の犯罪者および前記第２の犯罪者の顔画像を登録するデータベースを備え、
前記プロセッサは、
ユーザが選択した前記候補映像から抽出された顔画像と、人物を正面から撮影する前記カメラによる映像から抽出された登録用の顔画像と、をユーザに目視で照合させる画面を提示して、ユーザの操作入力に応じて、前記登録用の顔画像を犯罪者データベースに登録することを特徴とする請求項１から請求項３のいずれかに記載の人物グループ追跡装置。

【請求項5】

施設内を複数のカメラにより撮影した映像に基づき、犯罪者グループを構成する人物を捜索する処理をプロセッサにより実行する人物グループ追跡方法であって、
ユーザの入力操作に応じて、第１の犯罪者を設定し、
施設内を撮影した映像に対する追尾処理により取得した追尾情報に基づき、施設内に滞在する人物の中から、前記第１の犯罪者とグループ関係にある第２の犯罪者である可能性が高い候補人物を検索し、
この検索結果に基づき、前記候補人物が写る映像を所定数抽出して、その映像を候補映像として提示し、
前記候補映像を選択するユーザの操作に応じて、その選択された前記候補映像に対応する前記候補人物を前記第２の犯罪者である可能性が高いと判定した際の判定基準に関する情報を表示すると共に前記候補映像を再生する画面を提示することを特徴とする人物グループ追跡方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、施設内を複数のカメラにより撮影した映像に基づき、犯罪者グループを構成する人物を捜索する処理をプロセッサにより実行する人物グループ追跡装置および人物グループ追跡方法に関するものである。

【背景技術】

【0002】

スーパーマーケットなどの小売店舗において、万引きをグループで実行する手口が近年増加している。このような万引きのグループでは、盗み役や見張り役など、各人の役割を分担した巧妙な手口で万引きを行う。このため、盗み役は、監視員が商品の持ち出しを証拠にして取り押さえたり、カメラの映像など商品を盗む犯行現場を確認したりすることで、特定することができるが、その他の人物は、カメラの映像を観察しながら１人ずつ探し出すしかなく、多大な手間を要し、現実的には特定することが難しい。そこで、盗み役以外の人物も探し出してユーザに提示する技術が望まれる。

【0003】

このような犯罪をグループで実行する人物を探し出す技術として、従来、カメラで撮影された映像から人物の動線情報を取得して、その動線情報に基づいて、協力関係、すなわち、見張りや隠蔽といった役割を判定して、協力関係にある人物が映る映像を再生することができるようにした技術が知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１６−１５５７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

さて、犯罪者グループを構成する人物を捜査するため、犯行現場、すなわち、主犯者が犯罪を実行している状況を映像で確認した上で、その主犯者とグループ関係にある共犯者を特定するという捜査方法の要望がある。

【0006】

しかしながら、従来の技術では、協力関係にある人物が映る映像を単に再生できるようにしただけであり、犯罪者グループの詳細、すなわち、犯罪者グループがどのような人物で構成されているか、また、その人物がどのような役割を担っているのか、また、どのように連携しながら犯行に至ったのかを、全く把握できないという問題があった。

【0007】

そこで、本発明は、１人の人物を指定することで、その人物を構成員とする犯罪者グループの詳細を直感的にかつ容易に把握することができる人物グループ追跡装置および人物グループ追跡方法を提供することを主な目的とする。

【課題を解決するための手段】

【0008】

本発明の人物グループ追跡装置は、施設内を複数のカメラにより撮影した映像に基づき、犯罪者グループを構成する人物を捜索する処理をプロセッサにより実行する人物グループ追跡装置であって、前記プロセッサは、ユーザの入力操作に応じて、第１の犯罪者を設定し、施設内を撮影した映像に対する追尾処理により取得した追尾情報に基づき、施設内に滞在する人物の中から、前記第１の犯罪者とグループ関係にある第２の犯罪者である可能性が高い候補人物を検索し、この検索結果に基づき、前記候補人物が写る映像を所定数抽出して、その映像を候補映像として提示し、前記候補映像を選択するユーザの操作に応じて、その選択された前記候補映像に対応する前記候補人物を前記第２の犯罪者である可能性が高いと判定した際の判定基準に関する情報を表示すると共に前記候補映像を再生する画面を提示する構成とする。

【0009】

また、本発明の人物グループ追跡方法は、施設内を複数のカメラにより撮影した映像に基づき、犯罪者グループを構成する人物を捜索する処理をプロセッサにより実行する人物グループ追跡方法であって、ユーザの入力操作に応じて、第１の犯罪者を設定し、施設内を撮影した映像に対する追尾処理により取得した追尾情報に基づき、施設内に滞在する人物の中から、前記第１の犯罪者とグループ関係にある第２の犯罪者である可能性が高い候補人物を検索し、この検索結果に基づき、前記候補人物が写る映像を所定数抽出して、その映像を候補映像として提示し、前記候補映像を選択するユーザの操作に応じて、その選択された前記候補映像に対応する前記候補人物を前記第２の犯罪者である可能性が高いと判定した際の判定基準に関する情報を表示すると共に前記候補映像を再生する画面を提示する構成とする。

【発明の効果】

【0010】

本発明によれば、１人の人物を指定することで、その人物とグループ関係にある人物の映像が再生可能に提示され、この映像をユーザが観察することで、犯罪者グループがどのような人物で構成されているか、また、その人物がどのような役割を担っているのかを把握することができる。また、グループ関係にあると判定した根拠となる判定基準が提示されるため、どのように連携しながら犯行に至ったのかを把握することができる。これにより、犯罪者グループの詳細を直感的にかつ容易に把握することができる。

【図面の簡単な説明】

【0011】

【図1】本実施形態に係る人物グループ追跡システムの全体構成図

【図2】店舗におけるカメラ１の設置状況を示す説明図

【図3】監視装置３の概略構成を示すブロック図

【図4】モニタ２４に表示される画面の遷移状況を示す説明図

【図5】日時カメラ指定画面を示す説明図

【図6】主犯者指定画面を示す説明図

【図7】一覧表示状態の共犯者候補提示画面を示す説明図

【図8】マップ表示状態の共犯者候補提示画面を示す説明図

【図9】詳細表示画面を示す説明図

【図10】詳細表示画面の要部を示す説明図

【図11】詳細表示画面の要部を示す説明図

【図12】顔画像照合画面を示す説明図

【発明を実施するための形態】

【0012】

前記課題を解決するためになされた第１の発明は、施設内を複数のカメラにより撮影した映像に基づき、犯罪者グループを構成する人物を捜索する処理をプロセッサにより実行する人物グループ追跡装置であって、前記プロセッサは、ユーザの入力操作に応じて、第１の犯罪者を設定し、施設内を撮影した映像に対する追尾処理により取得した追尾情報に基づき、施設内に滞在する人物の中から、前記第１の犯罪者とグループ関係にある第２の犯罪者である可能性が高い候補人物を検索し、この検索結果に基づき、前記候補人物が写る映像を所定数抽出して、その映像を候補映像として提示し、前記候補映像を選択するユーザの操作に応じて、その選択された前記候補映像に対応する前記候補人物を前記第２の犯罪者である可能性が高いと判定した際の判定基準に関する情報を表示すると共に前記候補映像を再生する画面を提示する構成とする。

【0013】

これによると、１人の人物を指定することで、その人物とグループ関係にある人物の映像が再生可能に提示され、この映像をユーザが観察することで、犯罪者グループがどのような人物で構成されているか、また、その人物がどのような役割を担っているのかを把握することができる。また、グループ関係にあると判定した根拠となる判定基準が提示されるため、どのように連携しながら犯行に至ったのかを把握することができる。これにより、犯罪者グループの詳細を直感的にかつ容易に把握することができる。

【0014】

また、第２の発明は、前記プロセッサは、前記追尾情報に基づいて、動線の類似性、通話動作のタイミングの類似性、顔の向きの関連性、利用した車両の同一性を前記判定基準として、施設内に滞在する人物が、前記第２の犯罪者である可能性が高いか否かを判定する構成とする。

【0015】

これによると、第２の犯罪者である可能性が高い、すなわち、第１の犯罪者とグループ関係にあるか否かを精度よく判定することができる。

【0016】

また、第３の発明は、前記プロセッサは、前記候補映像を提示する際に、複数の前記候補映像を並べて表示する一覧表示と、前記候補映像を地図上に表示するマップ表示と、のいずれかを選択する操作部を、画面に表示する構成とする。

【0017】

これによると、候補映像に映る候補人物が第１の犯罪者とグループ関係にある第２の犯罪者であるか否かの確認を容易に行うことができる。

【0018】

また、第４の発明は、更に、前記第１の犯罪者および前記第２の犯罪者の顔画像を登録するデータベースを備え、前記プロセッサは、ユーザが選択した前記候補映像から抽出された顔画像と、人物を正面から撮影する前記カメラによる映像から抽出された登録用の顔画像と、をユーザに目視で照合させる画面を提示して、ユーザの操作入力に応じて、前記登録用の顔画像を犯罪者データベースに登録する構成とする。

【0019】

これによると、見つかった第２の犯罪者の顔画像を簡単にデータベースに登録することができる。

【0020】

また、第５の発明は、施設内を複数のカメラにより撮影した映像に基づき、犯罪者グループを構成する人物を捜索する処理をプロセッサにより実行する人物グループ追跡方法であって、ユーザの入力操作に応じて、第１の犯罪者を設定し、施設内を撮影した映像に対する追尾処理により取得した追尾情報に基づき、施設内に滞在する人物の中から、前記第１の犯罪者とグループ関係にある第２の犯罪者である可能性が高い候補人物を検索し、この検索結果に基づき、前記候補人物が写る映像を所定数抽出して、その映像を候補映像として提示し、前記候補映像を選択するユーザの操作に応じて、その選択された前記候補映像に対応する前記候補人物を前記第２の犯罪者である可能性が高いと判定した際の判定基準に関する情報を表示すると共に前記候補映像を再生する画面を提示する構成とする。

【0021】

これによると、第１の発明と同様に、１人の人物を指定することで、その人物を構成員とする犯罪者グループの詳細を直感的にかつ容易に把握することができる。

【0022】

以下、本発明の実施の形態を、図面を参照しながら説明する。

【0023】

図１は、本実施形態に係る人物グループ追跡システムの全体構成図である。

【0024】

この人物グループ追跡システムは、店舗（施設）における万引きなどの犯罪をグループで実行する人物を捜索してユーザ（警備員などの監視者）に提示するものであり、複数のカメラ１と、レコーダ２（映像蓄積手段）と、監視装置３（人物グループ追跡装置）と、を備えている。カメラ１、レコーダ２および監視装置３はネットワークを介して接続されている。

【0025】

カメラ１は、店舗内の適所に設置され、店舗内を撮影した映像を出力する。

【0026】

レコーダ２は、店舗の警備室などに設置され、カメラ１から出力される映像を蓄積（録画）する。

【0027】

監視装置３は、ＰＣなどの情報処理装置で構成され、カメラ１やレコーダ２から送信される映像を受信して、その映像を表示する。これにより、ユーザが、現在の店舗内の映像をリアルタイムで閲覧し、また、過去の店舗内の映像を閲覧することができる。

【0028】

また、監視装置３では、人物グループ追跡用のアプリケーションプログラムがインストールされ、万引きなどの犯罪をグループで実行する人物を捜索してユーザに提示する処理が行われる。

【0029】

なお、監視装置３は、店舗の警備室などに設置され、店舗内ネットワーク（ＬＡＮ）を介してカメラ１やレコーダ２と接続される。また、監視装置３は、チェーン店を総括する本部に設置したり、クラウドコンピューティングシステムを構成するクラウドコンピュータとして構成されるようにしたりしてもよい。この場合、また、監視装置３は、インターネットなどの広域ネットワークを介してカメラ１やレコーダ２と接続される。

【0030】

ところで、カメラ１では、カメラ内追尾処理が行われる。このカメラ内追尾処理では、映像から検出された人物を追尾して、人物ごとに位置情報を含むカメラ内追尾情報を生成する。このカメラ内追尾処理には、公知の画像認識技術（人物検出技術および人物追跡技術など）を利用すればよい。

【0031】

また、本実施形態では、カメラ内追尾処理でカメラ１の映像から人物ごとの位置情報を取得する他に、カメラ１の映像から人物ごとの動作情報を取得する。具体的には、カメラ１の映像から人物の顔の向きを検出する。また、カメラ１の映像から人物の通話動作を検知する。このとき、カメラ１の映像から人物の手部および頭部を検出して、両者の位置関係から、通話動作を検知すればよい。また、カメラ１の映像から携帯電話（スマートフォン）を検出して、人物の手部および頭部と携帯電話との位置関係から、通話動作を検知するようにしてもよい。

【0032】

なお、本実施形態では、カメラ内追尾処理をカメラ１で行うようにしたが、カメラ内追尾処理を監視装置３で行うようにしてもよい。また、カメラ内追尾処理を行う専用の装置を設けるようにしてもよい。

【0033】

次に、店舗におけるカメラ１の設置状況について説明する。図２は、店舗におけるカメラ１の設置状況を示す説明図である。

【0034】

店舗内（監視エリア）には、要所にカメラ１が設置されている。このカメラ１により、商品陳列エリアの商品を品定めする人物や、通路を通る人物が撮影される。店舗内を人物が移動すると、カメラ１のいずれか１つあるいは複数で人物が撮影され、人物が移動するのに応じて、人物の撮影が次のカメラ１に引き継がれる。また、店舗の出入口を撮影するようにカメラ１が設置されている。また、駐車場にもカメラ１が設置されている。

【0035】

次に、監視装置３について説明する。図３は、監視装置３の概略構成を示すブロック図である。

【0036】

監視装置３は、通信部２１と、プロセッサ２２と、記憶部２３と、モニタ２４（表示装置）と、入力デバイス２５と、を備えている。

【0037】

通信部２１は、カメラ１およびレコーダ２との間で通信を行い、カメラ１およびレコーダ２から送信される映像やカメラ内追尾情報を受信する。

【0038】

記憶部２３は、通信部２１で受信した映像やカメラ内追尾情報、プロセッサ２２で生成されるカメラ間追尾情報や、プロセッサ２２で管理される犯罪者データベースや、プロセッサ２２で実行されるプログラムを記憶する。

【0039】

プロセッサ２２は、記憶部２３に記憶されたプログラムを実行することで、各種の処理を行う。本実施形態では、カメラ間追尾、主犯者設定、共犯者検索、共犯者候補提示、詳細情報提示、および犯罪者登録の各処理を行う。

【0040】

カメラ間追尾処理では、各カメラ１から取得したカメラ内追尾情報に基づいて、各カメラ１に関するカメラ内追尾処理で検出追尾された人物同士で、同一人物である可能性の高さを表すリンクスコア（評価値）を算出する。そして、リンクスコアが最も高い、すなわち、同一人物である可能性が最も高い人物をカメラ１ごとに順次選択して、それらの人物を同一人物として対応づけたカメラ間追尾情報を生成する。

【0041】

主犯者設定処理では、主犯者指定画面（図６参照）で主犯者を選択するユーザの操作に応じて、ユーザが選択した人物を主犯者に設定する。ここで、主犯者とは、犯罪を実行した人物（実行犯）であり、主犯者指定画面では、犯行現場、すなわち、主犯者が犯罪を実行している状況を映像で確認することができる。

【0042】

共犯者検索処理では、追尾情報に基づいて、施設内に滞在する人物の中から、主犯者設定処理で設定した主犯者（第１の犯罪者）とグループ関係（共犯関係）にある共犯者（第２の犯罪者）である可能性が高い共犯者候補（候補人物）を検索する。このとき、所定の判定基準に基づいて、各人物が、主犯者とグループ関係にあるか否かに関するグループ判定を行う。本実施形態では、動線の類似性、通話動作のタイミングの類似性、顔の向きの関連性、利用した車両の同一性を判定基準として、グループ判定を行い、各人物について、共犯者である可能性の高さを表すスコア（確度、評価値）を算出する。

【0043】

共犯者候補提示処理では、共犯者候補提示画面（図７，図８参照）を表示して、共犯者と考えられる人物が映る共犯者候補の映像（候補映像）をユーザに選択させる。このとき、まず、共犯者検索処理で取得したスコア（確度）が所定のしきい値を超える人物を共犯者候補として、その人物の映像を表示する。そして、次候補を表示させる操作をユーザが行うと、評価値が低い人物の映像も表示する。なお、上述のように、共犯者候補の抽出処理のためのしきい値を設定せず、スコアの上位から共犯者候補の映像を段階的に追加表示するようにしてもよい。

【0044】

詳細情報提示処理では、ユーザが選択した共犯者候補の映像（候補映像）と、グループ判定の判定基準とを表示する詳細表示画面（図９参照）を表示して、共犯者候補の映像に映る人物が共犯者であることをユーザに確認させる。

【0045】

犯罪者登録処理では、ユーザが選択した共犯者候補の映像（候補映像）に映る人物の顔画像と登録用の顔画像とをユーザに目視で照合させる顔画像照合画面（図１２参照）を表示して、ユーザが、登録用の顔画像が共犯者本人であることを確認して、登録の操作を行うと、顔画像などの共犯者に関する情報を犯罪者データベースに登録する。また、同様の手順で主犯者に関する情報を犯罪者データベースに登録する。

【0046】

次に、モニタ２４に表示される画面について説明する。図４は、モニタ２４に表示される画面の遷移状況を示す説明図である。

【0047】

モニタ２４には、まず、日時カメラ指定画面（図５参照）が表示される。この日時カメラ指定画面で、ユーザが、犯罪が実行された日時（犯行日時）および犯行現場を撮影したカメラ１を指定して画面遷移の操作を行うと、主犯者指定画面（図６参照）に遷移する。この主犯者指定画面で、ユーザが、主犯者となる人物を指定して画面遷移の操作を行うと、一覧表示状態の共犯者候補提示画面またはマップ表示状態の共犯者候補提示画面（図７，図８参照）に遷移する。この共犯者候補提示画面で、ユーザが、共犯者と想定される共犯者候補の映像を選択すると、詳細表示画面（図９参照）に遷移する。この詳細表示画面で、ユーザが、共犯者候補の映像に映る人物が共犯者であることを確認して画面遷移の操作を行うと、顔画像照合画面（図１２参照）に遷移する。この顔画像照合画面で、ユーザが、登録用の顔画像が共犯者本人であることを確認して登録の操作を行うと、共犯者が犯罪者データベースに登録される。

【0048】

次に、モニタ２４に表示される日時カメラ指定画面について説明する。図５は、日時カメラ指定画面を示す説明図である。

【0049】

この日時カメラ指定画面には、映像表示部３１と、日時指定部３２と、カメラ指定部３３と、が設けられている。映像表示部３１には、カメラ１で撮影された映像３４（静止画）が表示される。日時指定部３２では、犯罪が実行された日時（犯行日時）をユーザが指定する。カメラ指定部３３では、犯行現場を撮影したカメラ１をユーザが指定する。日時指定部３２で日時を指定して、カメラ指定部３３でカメラ１を指定すると、指定した日時およびカメラ１の映像３４が映像表示部３１に表示される。ここでは、最前面の映像に対して時系列映像を後方へ重ねて配置し、スクロールボタン（図示せず）によるユーザの指示に従って最前面の映像を変更することができる。モニタ２４がタッチパネル仕様である場合には、スワイプ操作などにより、映像をスルロールさせることができる。

【0050】

この映像表示部３１で、犯罪者が写っていると想定される映像３４が見つかり、その映像３４を選択する操作を行うと、主犯者指定画面（図６参照）に遷移する。

【0051】

次に、モニタ２４に表示される主犯者指定画面について説明する。図６は、主犯者指定画面を示す説明図である。

【0052】

この主犯者指定画面には、映像表示部４１が設けられている。この映像表示部４１には、日時カメラ指定画面（図５参照）で指定した日時およびカメラ１の映像４２が表示される。また、映像表示部４１には、映像４２上に、人物を取り囲む人物枠４３が表示される。ユーザは、この映像表示部４１に表示された映像４２で、犯行現場、すなわち、人物が犯罪を実行している状況を確認すると、その人物の人物枠４３を操作することで人物を選択することができ、その人物が主犯者として設定される。このとき、選択した人物枠４３が強調表示され、例えば人物枠４３が太く変化する。

【0053】

また、この主犯者指定画面には、「共犯候補検索」のボタン４５と、「一覧表示」および「マップ表示」のラジオボタン４６，４７と、が設けられている。「共犯候補検索」のボタン４５を操作すると、共犯候補検索が実行されて、その検索結果を表示する共犯者候補提示画面（図７，図８参照）に遷移する。このとき、「一覧表示」のラジオボタン４６を操作して、「共犯候補検索」のボタン４５を操作すると、一覧表示状態の共犯者候補提示画面（図７参照）に遷移する。また、「マップ表示」のラジオボタン４７を操作して、「共犯候補検索」のボタン４５を操作すると、マップ表示状態の共犯者候補提示画面（図８参照）に遷移する。

【0054】

なお、この主犯者指定画面に、映像４２を起点とする動画の再生、停止、早送りおよび巻き戻しなどの操作を行う再生操作部を設けるようにしてもよい。この再生操作部を操作することで、所要の時刻の映像４２を起点とする動画を映像表示部４１に表示させることができる。

【0055】

次に、モニタ２４に表示される一覧表示状態の共犯者候補提示画面について説明する。図７は、一覧表示状態の共犯者候補提示画面を示す説明図である。

【0056】

この一覧表示状態の共犯者候補提示画面には、共犯者映像表示部５１が設けられている。この共犯者映像表示部５１には、共犯者候補の映像５２（候補映像、静止画）が一覧表示される。また、この共犯者映像表示部５１では、共犯者である可能性の高さを表すスコア（確度）が高い順に共犯者候補の映像５２が並べて表示される。なお、犯罪者グループが３人以上で構成されている場合には、共犯者映像表示部５１に、２人以上の共犯者の映像５２が存在する場合もある。

【0057】

ここで、事後検索では、主犯者指定画面（図６参照）で主犯者を指定した映像と同一の時刻の共犯者候補の映像５２が、共犯者映像表示部５１に表示される。また、共犯者候補が共犯者と判定されたタイミングの映像を表示するようにしてもよい。一方、リアルタイム検索では、共犯者候補の現在の映像５２が、共犯者映像表示部５１に表示される。また、共犯者候補の追尾が終了している場合には、直近、すなわち、追尾が終了する直前の映像５２を表示するようにしてもよい。

【0058】

また、この一覧表示状態の共犯者候補提示画面には、「次候補」のボタン５３が設けられている。初期状態では、図７（Ａ）に示すように、共犯者である可能性の高さを表すスコア（確度）が所定のしきい値以上となる共犯者候補の映像５２が表示される。そして、「次候補」のボタン５３を操作すると、図７（Ｂ）に示すように、スコア（確度）がしきい値未満となる共犯者候補の映像５２が表示される。なお、共犯者候補の抽出処理のためのしきい値を設定せず、スコアの上位から共犯者候補の映像を所定数表示し、「次候補」のボタン５３の操作にしたがって、共犯者候補の映像を所定数ずつ段階的に追加表示するようにしてもよい。

【0059】

また、この一覧表示状態の共犯者候補提示画面には、「詳細表示」のボタン５４が設けられている。共犯者映像表示部５１に表示された共犯者候補の映像５２の中で、共犯者と想定される人物が映る映像５２が見つかり、その映像５２を選択して、「詳細表示」のボタン５４を操作すると、詳細表示画面（図９参照）に遷移する。

【0060】

次に、モニタ２４に表示されるマップ表示状態の共犯者候補提示画面について説明する。図８は、マップ表示状態の共犯者候補提示画面を示す説明図である。

【0061】

このマップ表示状態の共犯者候補提示画面には、マップ表示部６１が設けられている。このマップ表示部６１には、店舗のレイアウトを表す地図６２上における主犯者および共犯者候補が滞在する位置に、主犯者の映像６３および共犯者候補の映像６４が表示される。この主犯者の映像６３および共犯者候補の映像６４は、一覧表示状態の共犯者候補提示画面（図７参照）と同様に、事後検索では、主犯者指定画面（図６参照）で主犯者を指定した映像と同一の時刻の映像が表示され、リアルタイム検索では、現在の映像が表示されるようにしてもよい。

【0062】

また、マップ表示部６１には、主犯者の映像６３上に主犯者マーク６５が表示され、共犯者候補の映像６４上に共犯者マーク６６が表示される。この主犯者マーク６５と共犯者マーク６６とは、形状や色を変えて表示するようにするとよい。例えば、主犯者マーク６５を、主犯者の映像６３上に重畳される円形の赤色の塗り潰し画像とし、共犯者マーク６６を、共犯者候補の映像６４を取り囲む楕円形のオレンジ色の枠画像とする。

【0063】

また、この一覧表示状態の共犯者候補提示画面には、「次候補」のボタン５３が設けられている。初期状態では、図８（Ａ）に示すように、共犯者である可能性の高さを表すスコア（確度）が所定のしきい値以上となる共犯者候補の映像５２が表示される。そして、「次候補」のボタン５３を操作すると、図８（Ｂ）に示すように、スコア（確度）がしきい値未満となる共犯者候補の映像５２が表示される。このとき、この共犯者マーク６６は、スコアに応じて色を変更するようにするとよい。例えば、スコアが高い共犯者候補では共犯者マーク６６をオレンジ色で表示し、スコアが低い共犯者候補では共犯者マーク６６を青色で表示する。なお、ここでも共犯者候補の抽出処理のためのしきい値を設定せず、スコアの上位から共犯者候補の映像を所定数表示し、「次候補」のボタン５３の操作にしたがって、共犯者候補の映像を所定数ずつ段階的に追加表示するようにしてもよい。

【0064】

また、この一覧表示状態の共犯者候補提示画面には、「詳細表示」のボタン５４が設けられている。マップ表示部６１に表示された共犯者候補の映像６４の中で、共犯者と想定される人物が映る映像６４が見つかり、その映像６４を選択して、「詳細表示」のボタン５４を操作すると、詳細表示画面（図９参照）に遷移する。

【0065】

次に、モニタ２４に表示される詳細表示画面について説明する。図９は、詳細表示画面を示す説明図である。図１０および図１１は、詳細表示画面の要部を示す説明図である。

【0066】

この詳細表示画面には、共犯者候補提示画面（図７，図８参照）で選択した共犯者候補に関して、主犯者とグループ関係にあるか否かに関するグループ判定で、主犯者とグループ関係にあるものと判定したときの判定基準（判定根拠）を表すアイコン７１〜７４が設けられている。

【0067】

また、この詳細表示画面には、映像表示部７５が設けられている。この映像表示部７５には、主犯者の映像７６と、共犯者候補の映像７７と、が表示される。

【0068】

また、この詳細表示画面には、時刻表示部７８と、再生操作部７９と、が設けられている。時刻表示部７８には、映像表示部７５の映像７６，７７の撮影時刻が表示される。再生操作部７９は、再生、停止、早送りおよび巻き戻しなどの操作を行うものである。この再生操作部７９を操作することで、所要の時刻の映像７６，７７を映像表示部７５に表示させることができる。なお、映像表示部７５の主犯者の映像７６と共犯者候補の映像７７とは同期して表示される。

【0069】

また、この詳細表示画面には、「照合」のボタン８０が設けられている。この「詳細表示」のボタン８０を操作すると、顔画像照合画面（図１２参照）に遷移する。

【0070】

ところで、本実施形態では、共犯者候補を検索する際に、追尾情報に基づいて、動線の類似性、通話動作のタイミングの類似性、顔の向きの関連性、利用した車両の同一性を判定基準として、施設内に滞在する人物が、主犯者とグループ関係にある人物、すなわち共犯者である可能性の高い人物か否かを判定する。

【0071】

犯罪者グループを構成する人物は、一緒に行動したり類似した経路を移動したりする場合が多い。このため、２人の人物の動線が類似していると、犯罪者グループを構成するものと判断することができる。そこで、本実施形態では、動線の類似性を判定基準として、共犯者である可能性の高さを判定する。具体的には、追尾情報に含まれる各人物の位置情報に基づいて、共犯者である可能性の高さを表すスコア（確度）として、判定対象となる人物と主犯者との動線の類似度を算出する。

【0072】

このように動線の類似性を判定基準として共犯者候補が選択された場合、図１０（Ａ）に示すように、動線のアイコン７１が強調表示される。また、映像表示部７５には、共犯者と判定されたタイミングの映像７６，７７が表示されるとともに、その映像７６，７７上に動線８１が表示される。この動線８１は、主犯者と共犯者とで色分けして表示される。

【0073】

また、犯罪者グループを構成する人物は、犯行の前後に携帯電話（スマートフォン）で通話することがある。そこで、本実施形態では、通話動作のタイミングの類似性を判定基準として、共犯者である可能性の高さを判定する。具体的には、追尾情報に含まれる各人物の動作情報（通話動作）に基づいて、共犯者である可能性の高さを表すスコア（確度）として、判定対象となる人物と主犯者との通話動作のタイミングの類似度を算出する。

【0074】

このように通話動作のタイミングの類似性を判定基準として共犯者候補に選択された場合、図１０（Ｂ）に示すように、電話のアイコン７２が強調表示される。また、映像表示部７５には、共犯者と判定されたタイミングの映像７６，７７が表示されるとともに、その映像７６，７７上に、通話中を表すマーク８２が表示される。このマーク８２は、主犯者と共犯者とで色分けして表示される。

【0075】

また、犯罪者グループを構成する人物は、アイコンタクト（目配せ）で意思疎通を図る場合が多い。そこで、本実施形態では、顔の向きの関連性を判定基準として、共犯者である可能性の高さを判定する。具体的には、追尾情報に含まれる人物の動作情報（顔の向き）に基づいて、判定対象となる人物と主犯者とで顔が向かい合う状態を検知する。そして、共犯者である可能性の高さを表すスコア（確度）として、２人の人物の顔が向かい合う状態の継続時間の長さに基づくスコアを算出する。また、スコア（確度）として、２人の人物の顔が向かい合う状態の発生頻度（回数）に基づくスコアを算出する。

【0076】

このように顔の向きの関連性を判定基準として共犯者候補に選択された場合、図１１（Ａ）に示すように、アイコンタクトのアイコン７３が強調表示される。また、映像表示部７５には、共犯者と判定されたタイミングの映像７６，７７が表示されるとともに、その映像７６，７７上に、顔の向きを表すマーク８３が表示される。このマーク８３は、主犯者と共犯者とで色分けして表示される。

【0077】

また、犯罪者グループを構成する人物は、同一の車両で来店し、また、同一の車両で退店する場合が多い。そこで、本実施形態では、利用した車両の同一性を判定基準として、共犯者である可能性の高さを判定する。具体的には、追尾情報に含まれる各人物の位置情報に基づいて、駐車場で人物の追尾が開始され、また、追尾が終了した場合、追尾開始地点を降車地点とし、追尾終了地点を乗車地点とする。そして、共犯者である可能性の高さを表すスコア（確度）として、判定対象となる人物と主犯者との降車地点または乗車地点の類似度を算出する。

【0078】

このように利用した車両の同一性を判定基準として共犯者候補に選択された場合、図１１（Ｂ）に示すように、車両のアイコン７４が強調表示される。また、映像表示部７５には、共犯者と判定されたタイミングの映像７６，７７が表示されるとともに、その映像７６，７７上に、動線８１が表示される。この動線８１は、主犯者と共犯者とで色分けして表示される。

【0079】

なお、共犯者候補のスコア（確度）の算出方法は詳述しないが、公知の種々の判定アルゴリズム、学習済みの識別器などを利用することができる。

【0080】

次に、モニタ２４に表示される顔画像照合画面について説明する。図１２は、顔画像照合画面を示す説明図である。

【0081】

この顔画像照合画面には、照合用顔画像表示部９１が設けられている。この照合用顔画像表示部９１には、詳細表示画面（図９参照）の映像表示部７５に表示させた共犯者候補の映像７７から人物の顔領域を抽出した顔画像９２と、後述の登録用の顔画像９３と、が表示される。この２つの顔画像９２，９３を比較して２つの顔画像９２，９３が同一人物か否かの照合を、ユーザが目視で行う。

【0082】

ここで、登録用の顔画像９３は、店舗の出入口に設置されたカメラ１で撮影した映像から切り出されたものである。このとき、追尾情報に基づいて、店舗の出入口のカメラ１の映像で追尾された人物の中から、共犯者候補と同一の人物を特定することができ、特定された人物の顔領域をカメラ１の映像から切り出すことで、登録用の顔画像を取得することができる。

【0083】

また、顔画像照合画面には、「登録」のボタン９４が設けられている。ユーザが、照合用顔画像表示部９１に表示された２つの顔画像９２，９３が同一人物と確認した上で、「登録」のボタン９４を操作すると、顔画像９２，９３の人物を共犯者として犯罪者データベースに登録する処理が行われる。このとき、共犯者に関する情報として、登録用の顔画像、追尾情報と関連づけられた人物ＩＤ、および主犯者と同一の犯罪者グループであることを表す情報が犯罪者データベースに登録される。

【0084】

なお、同様の手順で主犯者も犯罪者データベースに登録される。すなわち、顔画像照合画面（図１２参照）と同様の主犯者に関する顔画像照合画面（図示せず）を表示して、ユーザが、登録用の顔画像が主犯者本人であることを確認して登録の操作を行うと、主犯者に関する情報として、登録用の顔画像、追尾情報と関連づけられた人物ＩＤ、および共犯者と同一の犯罪者グループであることを表す情報が犯罪者データベースに登録される。

【0085】

また、本実施形態では、登録用の顔画像を、施設の入口に設置されたカメラ１で撮影された映像から抽出するようにしており、店舗の出入口は、来店した人物が必ず通過する場所であるため、顔画像を確実に取得することができ、また、人物を正面から撮影することができるため、識別性の高い顔画像を取得することができる。なお、この登録用の顔画像を取得するカメラ１は、これに限定されるものではなく、エスカレータや連絡通路などを撮影するカメラ１でも、人物を正面から撮影することができる。

【0086】

ところで、犯罪者データベースは、登録された人物の来店の報知（アラート）に用いられる。すなわち、店舗の出入口のカメラ１で撮影した映像から検出された人物と、犯罪者データベースに登録された人物とを照合して、両者が同一人物と判定されると、犯罪履歴のある人物が来店したことを店員などに報知する。

【0087】

また、犯罪者データベースは、登録された人物の過去の行動を確認する用途に用いられる。すなわち、犯罪者データベースに登録された人物とレコーダ２に蓄積された映像とは追尾情報により関連づけられているため、登録された人物の過去の映像を簡単に閲覧することができ、これにより再犯の状況などをユーザが把握することができる。また、登録された人物の過去の映像を、犯罪の証拠として簡単に提示することができる。

【0088】

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

【0089】

例えば、前記の実施形態では、店舗における万引きグループの例について説明したが、銀行強盗などのその他の犯罪をグループで実行する場合も同様に適用することができる。特に、銀行強盗では、リアルタイムで共犯者の映像や位置情報をユーザに提示することができる。

【産業上の利用可能性】

【0090】

本発明に係る人物グループ追跡装置および人物グループ追跡方法は、１人の人物を指定することで、その人物を構成員とする犯罪者グループの詳細を直感的にかつ容易に把握することができる効果を有し、施設内を複数のカメラにより撮影した映像に基づき、犯罪グループを構成する人物を捜索する処理をプロセッサにより実行する人物グループ追跡装置および人物グループ追跡方法などとして有用である。

【符号の説明】

【0091】

１ カメラ
２ レコーダ
３ 監視装置（人物グループ追跡装置）
２１ 通信部
２２ プロセッサ
２３ 記憶部
２４ モニタ（表示装置）
２５ 入力デバイス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】