(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-03
(45)【発行日】2024-06-11
(54)【発明の名称】顔検知システム
(51)【国際特許分類】
H04N 7/18 20060101AFI20240604BHJP
G08B 25/00 20060101ALI20240604BHJP
G08B 25/04 20060101ALI20240604BHJP
【FI】
H04N7/18 D
H04N7/18 U
G08B25/00 510M
G08B25/04 E
(21)【出願番号】P 2020033673
(22)【出願日】2020-02-28
【審査請求日】2023-02-16
(73)【特許権者】
【識別番号】320008672
【氏名又は名称】i-PRO株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】神尾 崇
(72)【発明者】
【氏名】河本 耕治
(72)【発明者】
【氏名】常野 正茂
【審査官】橋本 直明
(56)【参考文献】
【文献】特開2019-160001(JP,A)
【文献】特開2017-040983(JP,A)
【文献】特開2011-233133(JP,A)
【文献】特開2010-257451(JP,A)
【文献】特開2018-151840(JP,A)
【文献】米国特許出願公開第2017/0352380(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
G08B 25/00
G08B 25/04
(57)【特許請求の範囲】
【請求項1】
少なくとも1つの録画映像データファイルを取得可能な端末装置とサーバとが通信可能に接続された顔検知システムであって、
前記端末装置は、
ユーザ操作により選択された前記録画映像データファイルを取得して前記サーバに送信し、
前記サーバは、
受信された前記録画映像データファイルを所定のフォーマットを有する録画映像データに変換し、
変換後の録画映像データに基づいて、1以上の人物の顔を検知し、
検知された前記顔の領域を切り出した1以上の顔切出し画像に、前記顔切出し画像に対応する人物が撮像された撮像時刻の情報を対応付けて、
前記1以上の顔切出し画像のそれぞれから同一または類似する人物であると判定された複数の顔切出し画像を抽出し、
抽出された前記複数の顔切出し画像のそれぞれを含む類似顔画像群を生成して、前記端末装置に送信し、
前記端末装置は、
受信された前記
類似顔画像群のうち同一の場所で所定時間の間で最初に撮像された顔切出し画像のサムネイル画像と、最後に撮像された顔切出し画像のサムネイル画像と、前記顔切出し画像のそれぞれに対応する撮像時刻の情報とを時系列に並べてモニタに表示する、
顔検知システム。
【請求項2】
前記録画映像データファイルは、所定時間以上異なる撮像時刻に撮像される、
請求項1に記載の顔検知システム。
【請求項3】
前記録画映像データファイルは、移動体に備えられたカメラによって撮像かつ録画される、
請求項1に記載の顔検知システム。
【請求項4】
前記端末装置は、
受信された前記類似顔画像群に含まれる前記1以上の顔切出し画像のサムネイル画像と対応する
前記撮像時刻の情報とを含めて枠線で囲って前記モニタに表示する、
請求項1に記載の顔検知システム。
【請求項5】
前記サーバは、
抽出された前記複数の顔切出し画像のそれぞれが前記同一の場所で前記所定時間以上連続して撮像されているか否かを判定し、
前記同一の場所で前記所定時間以上連続して撮像されていると判定した場合、前記類似顔画像群のうち前記所定時間の間に撮像された複数の顔画像のそれぞれを含む滞在顔画像群を生成して、前記端末装置に送
信する、
請求項4に記載の顔検知システム。
【請求項6】
前記サーバは、
カメラによって撮像されているライブ映像を受信し、
受信された前記ライブ映像と前記録画映像データファイルのそれぞれとを所定のフォーマットを有する録画映像データに変換し、
変換後の複数の録画映像データから、前記1以上の人物の顔を検知する、
請求項1に記載の顔検知システム。
【請求項7】
前記端末装置は、
前記ユーザ操作により指定された人物の顔領域を含む検索用顔画像を前記サーバに送信し、
前記サーバは、
受信された前記検索用顔画像に基づいて、前記1以上の顔切出し画像のそれぞれから前記検索用顔画像の人物と同一または類似する人物の顔切出し画像を抽出して、前記端末装置に送信する、
請求項1に記載の顔検知システム。
【請求項8】
前記サーバは、
生成された前記顔切出し画像ごとに前記撮像時刻の情報と、前記顔切出し画像が撮像された位置情報とを対応付けて、前記端末装置に送信し、
前記端末装置は、
前記サムネイル画像および前記撮像時刻の情報のペアを前記位置情報ごとに並べて前記モニタに表示する、
請求項1に記載の顔検知システム。
【請求項9】
前記端末装置は、
前記ユーザ操作により指定された起点位置の情報に基づいて、前記顔切出し画像ごとの前記位置情報が示す位置と前記起点位置との間の距離を算出し、
算出された前記距離に基づいて、前記サムネイル画像を並び替えて前記モニタに表示する、
請求項8に記載の顔検知システム。
【請求項10】
前記サーバは、
予め記録された複数の人物の登録顔画像のそれぞれに基づいて、前記1以上の顔切出し画像のそれぞれから前記登録顔画像の人物と同一または類似する人物の顔切出し画像を抽出し、
前記抽出された前記顔切出し画像と前記登録顔画像とを含むアラート通知画面を生成して、前記端末装置に送信し、
前記端末装置は、
受信された前記アラート通知画面を前記モニタに表示する、
請求項1に記載の顔検知システム。
【請求項11】
少なくとも1つの録画映像データファイルを取得可能な端末装置とサーバとが通信可能に接続された顔検知システムであって、
前記端末装置は、
ユーザ操作により選択された前記録画映像データファイルを取得して前記サーバに送信し、
前記サーバは、
受信された前記録画映像データファイルを所定のフォーマットを有する録画映像データに変換し、
変換後の録画映像データに基づいて、1以上の人物の顔を検知し、
検知された前記顔の領域を切り出した1以上の顔切出し画像に、前記顔切出し画像に対応する人物が撮像された撮像時刻の情報と前記顔切出し画像が撮像された位置情報とを対応付けて、前記端末装置に送信し、
前記端末装置は、
前記ユーザ操作により指定された起点位置の情報に基づいて、前記顔切出し画像ごとの前記位置情報が示す位置と前記起点位置との間の距離を算出し、
前記顔切出し画像のサムネイル画像と前記撮像時刻の情報とを時系列に、前記位置情報ごとに並べてモニタに表示する、
顔検知システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、顔検知システムに関する。
【背景技術】
【0002】
特許文献1には、映像データファイルの映像中の人物のうち出現頻度が高い人物の顔画像を複数含む顔画像群を映像データファイル毎に抽出し、複数の映像データファイルから1以上の映像データファイルを選択可能な選択画面上に、選択された1以上の映像データファイル毎に抽出された顔画像群を並べて表示する電子機器が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述した特許文献1によれば、映像中で出現頻度が高い人物の顔画像群を表示することで映像データファイルごとに撮像された主要な人物と、映像データファイル間の関連とをユーザに提示できる。しかし、特許文献1の構成では、顔画像群に含まれる人物がカメラ等によって撮像された撮像時刻を確認する場合、ユーザは、映像データファイルを逐一再生して確認しなければならず、相当に煩雑な作業を強いられるため効率的ではなかった。また、特許文献1の構成において、出現頻度が低い人物をユーザに提示することは想定されていない。
【0005】
本開示は、上述した従来の事情に鑑みて案出され、少なくとも1つの過去に撮像された録画映像データファイルに映る人物の顔画像とこの人物が撮像された撮像時刻とを対応付けて可視化し、人物を対象とした監視業務を効率的に支援する顔検知システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示は、少なくとも1つの録画映像データファイルを取得可能な端末装置とサーバとが通信可能に接続された顔検知システムであって、前記端末装置は、ユーザ操作により選択された前記録画映像データファイルを取得して前記サーバに送信し、前記サーバは、受信された前記録画映像データファイルを所定のフォーマットを有する録画映像データに変換し、変換後の録画映像データに基づいて、1以上の人物の顔を検知し、検知された前記顔の領域を切り出した1以上の顔切出し画像に、前記顔切出し画像に対応する人物が撮像された撮像時刻の情報を対応付けて、前記1以上の顔切出し画像のそれぞれから同一または類似する人物であると判定された複数の顔切出し画像を抽出し、抽出された前記複数の顔切出し画像のそれぞれを含む類似顔画像群を生成して、前記端末装置に送信し、前記端末装置は、受信された前記類似顔画像群のうち同一の場所で所定時間の間で最初に撮像された顔切出し画像のサムネイル画像と、最後に撮像された顔切出し画像のサムネイル画像と、前記顔切出し画像のそれぞれに対応する撮像時刻の情報とを時系列に並べてモニタに表示する、顔検知システムを提供する。
また、本開示は、少なくとも1つの録画映像データファイルを取得可能な端末装置とサーバとが通信可能に接続された顔検知システムであって、前記端末装置は、ユーザ操作により選択された前記録画映像データファイルを取得して前記サーバに送信し、前記サーバは、受信された前記録画映像データファイルを所定のフォーマットを有する録画映像データに変換し、変換後の録画映像データに基づいて、1以上の人物の顔を検知し、検知された前記顔の領域を切り出した1以上の顔切出し画像に、前記顔切出し画像に対応する人物が撮像された撮像時刻の情報と前記顔切出し画像が撮像された位置情報とを対応付けて、前記端末装置に送信し、前記端末装置は、前記ユーザ操作により指定された起点位置の情報に基づいて、前記顔切出し画像ごとの前記位置情報が示す位置と前記起点位置との間の距離を算出し、前記顔切出し画像のサムネイル画像と前記撮像時刻の情報とを時系列に、前記位置情報ごとに並べてモニタに表示する顔検知システムを提供する。
【発明の効果】
【0007】
本開示によれば、少なくとも1つの過去に撮像された録画映像データファイルに映る人物の顔画像とこの人物が撮像された撮像時刻とを対応付けて可視化し、人物を対象とした監視業務を効率的に支援できる。
【図面の簡単な説明】
【0008】
【
図1】実施の形態に係る顔検知システムの全体構成例を説明する図
【
図2】実施の形態に係る顔検知システムにおける端末装置およびサーバの内部構成例を示す図
【
図3A】実施の形態に係る顔検知システムの動作手順例を示すシーケンス図
【
図3B】実施の形態に係る顔検知システムの検索手順例を示すシーケンス図
【
図5】実施の形態に係る顔検知システムの複数の録画映像データの読み込み手順例を示すシーケンス図
【
図6】撮像時刻が所定時間以上異なる複数の録画映像データに基づく検知結果を示す画面の一例
【
図7】録画映像データファイルとライブ映像のデータとに基づく検知結果を示す画面の一例
【
図8】ユーザにより入力された顔画像に基づく検索結果を示す画面の一例
【
図9】ユーザにより指定された起点位置に基づく検索結果を示す画面の一例
【発明を実施するための形態】
【0009】
以下、適宜図面を参照しながら、本開示に係る顔検知システムの構成および作用を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるものであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【0010】
図1は、実施の形態に係る顔検知システム100の全体構成例を示す図である。実施の形態に係る顔検知システム100は、様々なカメラにより撮像された1以上の録画映像あるいはライブ映像に映る人物を検知し、検知された人物を少なくとも顔を含む領域で切り出して生成された顔切出し画像と、この顔切出し画像が撮像された撮像時刻の情報とをユーザ(例えば、警察署の職員、警察官、警備会社の職員、あるいは管理者等)に提示するシステムである。顔検知システム100は、録画映像記録装置RFと、端末装置P1と、サーバS1と、を少なくとも含んで構成される。
【0011】
なお、ここでいうカメラは、例えばスマートフォンに備えられたカメラCM1、ウェアラブルカメラCM2、ドローンCM3、ドライブレコーダCM4等のように人、車両あるいは飛行体等の移動により撮像する位置情報が変化するカメラと、例えば監視カメラC1,…のように画角固定に設置された(つまり、撮像する位置情報が変化しない)カメラとを含み、撮像時刻の情報および撮像された位置情報とを含む撮像映像を記録する。
【0012】
録画映像記録装置RFは、例えばメモリ、SD(登録商標)カード、USB(Universal Serial Bus)メモリ、レコーダ、HDD(Hard Disk Drive)等であって、上述したカメラによって撮像された録画映像データファイルを記録する。録画映像記録装置RFは、USB(Universal Serial Bus)ケーブル等の有線ケーブル、あるいはUSBコネクタ等のコネクタを介して端末装置P1との間で通信可能に接続され、録画映像データファイルを端末装置P1に送信する。なお、
図1に示す例において録画映像記録装置RFは1つであるが、複数あってよい。
【0013】
端末装置P1は、例えばPC(Personal Computer)、ノートPC、タブレット端末等であって、USB(Universal Serial Bus)ケーブル等の有線ケーブル、あるいはUSBコネクタ等のコネクタを介して録画映像を記録した録画映像記録装置RFとの間でデータ通信可能に接続される。また、端末装置P1は、ネットワークNW1を介してサーバS1との間で有線あるいは無線通信可能に接続される。なお、ここでいう無線通信は、Wi-Fi(登録商標)などの無線LANを介した通信である。
【0014】
端末装置P1は、ユーザ操作を受け付けるユーザインターフェース(UI:User Interface)を備え、ユーザにより選択された複数の録画映像データファイルのそれぞれを録画映像記録装置RFから読み取る。端末装置P1は、読み取った複数の録画映像データファイルのそれぞれをサーバS1に送信する。また、端末装置P1は、複数の録画映像のそれぞれから検索する人物に関する検索条件(例えば検索対象となる人物の顔画像)について、ユーザからの入力操作を受け付け、受け付けた検索条件をサーバS1に送信する。
【0015】
端末装置P1は、サーバS1から送信された検知結果を取得して、検知結果に含まれる1以上の顔切出し画像のサムネイル画像と撮像時刻の情報とをペアにしたサムネイルデータをモニタに表示する。なお、端末装置P1は、ユーザ操作に基づいて、サムネイル画像のそれぞれを時系列に、あるいはユーザにより指定された基準位置と顔切出し画像が撮像された位置との間の距離が近い順に並び替えて表示する。また、端末装置P1は、サーバS1から事前に登録されたターゲットと類似または同一の人物が検知された旨を示すアラート通知画面を受信すると、このアラート通知画面をモニタに表示する。
【0016】
さらに、端末装置P1は、サーバS1から送信された検知結果の表示条件について、ユーザからの入力操作を受け付ける。なお、ここでいう表示条件は、検知結果に含まれる複数の顔切出し画像のそれぞれをモニタに表示するための条件であって、例えば検知結果に含まれる複数の顔切出し画像のそれぞれのうち特定の顔切出し画像を抽出するための条件、複数の顔切出し画像のそれぞれを所定の条件で並び替えるための条件等である。端末装置P1は、受け付けた表示条件に基づいて、表示条件の対象となる顔切出し画像を抽出したり、表示条件に基づいて複数の顔切出し画像のそれぞれを並び替えてモニタに表示させたりする。
【0017】
サーバS1は、ネットワークNW1を介して端末装置P1との間、および監視カメラC1,…との間でデータ通信可能に接続される。なお、
図1では、サーバS1は、複数の監視カメラC1,…のそれぞれと接続される例を示しているが、監視カメラの台数は1台であってもよい。また、監視カメラC1,…のそれぞれは必須の構成でなく、接続されていなくてもよい。
【0018】
サーバS1は、録画映像データファイルあるいはライブ映像から人物を検知し、検知された人物の少なくとも顔領域を含んで切り出した顔切出し画像を生成し、生成された顔切出し画像に撮像時刻の情報、位置情報、および検知元である録画映像データファイルまたは監視カメラの情報を対応付けて、検知結果として端末装置P1に送信する。
【0019】
なお、サーバS1が生成する顔切出し画像は、顔画像に限定されない。顔切出し画像は、人物の少なくとも顔領域を含んで生成されていればよく、例えば上半身画像、全身画像であってよい。
【0020】
複数の監視カメラC1,…のそれぞれは、画角が固定に設置されたカメラであって、サーバS1との間でデータ通信可能に接続される。複数の監視カメラC1,…のそれぞれは、撮像しているライブ映像をサーバS1に送信する。なお、上述の通り、複数の監視カメラC1,…の台数は、0台でも1台であってもよい。複数の監視カメラC1,…のそれぞれが設置されている位置情報は、複数の監視カメラC1,…のそれぞれの識別情報(例えば、製造番号、管理番号、識別番号、名称等)と対応付けられて、サーバS1に記憶される。
【0021】
ブラックリストデータベースDBは、予め端末装置P1によって生成されて送信され、警察官、管理者または警備員等による事件等の捜索または捜査対象となるターゲット(つまり人物)ごとに生成された事件等に関する関連情報とターゲットの登録顔画像とを対応付けて登録(格納)する。なお、登録顔画像は、人物の顔の領域を含む画像であればよく、例えば上半身画像、全身画像等であってよい。
【0022】
ブラックリストデータベースDBは、端末装置P1から録画映像データあるいは監視カメラC1,…のそれぞれからライブ映像が読み込まれ、これらの映像データに映る人物の顔切出し画像を生成した際にサーバS1により参照される。サーバS1は、ブラックリストデータベースDBを参照し、顔切出し画像の人物と類似あるいは合致する人物が登録されているか否かの照合判定を実行する。
【0023】
なお、
図1ではブラックリストデータベースDBは、サーバS1との間でデータ通信可能に接続される例を示すが、サーバS1の構成に含まれてもよい。
【0024】
図2は、実施の形態に係る顔検知システム100における端末装置P1およびサーバS1の内部構成例を示す図である。
【0025】
端末装置P1は、通信部10と、プロセッサ11と、メモリ12と、モニタ13と、操作部14と、を含んで構成される。
【0026】
通信部10は、録画映像記録装置RFおよびサーバS1における通信部20との間でデータ通信可能に接続される。通信部10は、操作部14により受け付けられたユーザにより指定された録画映像データファイル、または入力された検索条件を含む検索要求(制御信号)をサーバS1に送信する。また、通信部10は、サーバS1から検知結果を受信し、プロセッサ11に入力する。
【0027】
プロセッサ11は、例えばCPU(Central Processing unit)またはFPGA(Field Programmable Gate Array)を用いて構成され、メモリ12と協働して、各種の処理および制御を行う。具体的には、プロセッサ11はメモリ12に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、各部の機能を実現する。
【0028】
プロセッサ11は、操作部14により受け付けられたユーザ操作に基づく制御信号を生成する。また、プロセッサ11は、サーバS1から送信された検知結果に含まれる顔切出し画像をサムネイル画像(例えば、
図4のサムネイル画像Smn1)と撮像時刻の情報(例えば、
図4の撮像時刻情報Smt1)とをペアにしたサムネイルデータ(例えば、
図4のサムネイルデータSm1)をモニタ13に出力して、表示させる。なお、プロセッサ11は、ユーザにより表示条件が入力された場合、この表示条件に基づいて、表示対象に含まれる複数の顔切出し画像のそれぞれを抽出あるいは並び替えを実行し、モニタ13に出力して表示させる。
【0029】
メモリ12は、例えばプロセッサ11の各処理を実行する際に用いられるワークメモリとしてのRAM(Random Access Memory)と、プロセッサ11の動作を規定したプログラムおよびデータを格納するROM(Read Only Memory)とを有する。RAMには、プロセッサ11により生成あるいは取得されたデータもしくは情報が一時的に保存される。ROMには、プロセッサ11の動作を規定するプログラムが書き込まれている。
【0030】
モニタ13は、例えばLCD(Liquid Crystal Display)または有機EL(Electroluminescence)などのディスプレイを用いて構成される。モニタ13は、サーバS1から送信された検知結果、検索結果あるいはアラート通知を表示する。
【0031】
操作部14は、ユーザ操作を受け付けるユーザインターフェースであって、例えばマウス、キーボード、タッチパネル、タッチパッド、ポインティングデバイス等を用いて構成される。操作部14は、ユーザ操作に基づく信号をプロセッサ11に出力する。操作部14は、例えば読み込む録画映像データファイルに関するユーザの選択操作、所定の検索条件に関するユーザの入力操作等を受け付ける。
【0032】
次に、サーバS1の内部構成について説明する。サーバS1は、通信部20と、プロセッサ21と、メモリ22と、を含んで構成される。
【0033】
通信部20は、端末装置P1における通信部10、ブラックリストデータベースDBおよび複数の監視カメラC1,…のそれぞれとの間でデータ通信可能に接続される。通信部20は、端末装置P1から送信された録画映像データファイル、または検索条件を含む検索要求(制御信号)をプロセッサ21に出力する。通信部20は、複数の監視カメラC1,…のそれぞれから送信されたライブ映像のデータをプロセッサ21に出力する。また、通信部20は、プロセッサ21により生成された検知結果あるいはアラート通知を端末装置P1における通信部10に送信する。
【0034】
プロセッサ21は、例えばCPUまたはFPGAを用いて構成され、メモリ22と協働して、各種の処理および制御を行う。具体的には、プロセッサ21はメモリ22に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、各部の機能を実現する。
【0035】
プロセッサ21は、端末装置P1から送信された録画映像データファイルまたは複数の監視カメラC1,…のそれぞれから送信されたライブ映像のデータを受け取ると、所定のフォーマットを有する録画映像データに変換する。具体的に、プロセッサ21は、録画映像データファイルまたはライブ映像のデータをデコード処理して、録画映像データファイルまたはライブ映像のデータから複数の画像データに展開する。
【0036】
プロセッサ21は、変換後の録画映像データ(つまり、複数の画像データ)を用いて、人物の顔を検知する顔検知を実行し、検知結果に基づいて、少なくとも人物の顔の領域を含む領域を切り出した顔切出し画像を生成する。また、プロセッサ21は、検知された人物が映る画像データに対応付けられて記憶されたメタデータ等を参照し、この画像データが撮像された撮像時刻の情報と画像データが撮像された位置情報と検知元である録画映像データファイルまたは監視カメラの情報とを抽出し、生成された顔切出し画像に対応付けて記憶する。なお、ここで、位置情報は、複数の監視カメラC1,…のそれぞれのように所定の位置に設置されたカメラによって撮像されている場合には、カメラの設置された位置情報となる。
【0037】
プロセッサ21は、生成された複数の顔切出し画像のそれぞれに映る人物が同一人物または類似する人物であるか否かを判定し、同一人物または類似する人物と判定した複数の顔切出し画像のそれぞれを含む類似顔画像群を生成する。生成された類似顔画像群は、サーバS1からネットワークNW1を介して端末装置P1に送信され、同一人物と判定した人物であることを示す枠線で囲われてモニタ13に表示される。
【0038】
なお、枠線は、類似顔画像群に含まれるすべての顔切出し画像を囲む1つの枠線(
図4参照)であってもよいし、検知されたすべての人物の顔切出し画像のうち類似顔画像群に含まれる複数の顔切出し画像のみを識別可能な枠線(例えば同じ線色、同じ線種等)であってもよい。
【0039】
また、プロセッサ21は、類似顔画像群に含まれる複数の顔切出し画像のそれぞれが、所定時間以上連続して撮像されているか否かを判定する。プロセッサ21は、所定時間以上連続して撮像されていると判定した場合、顔切出し画像の人物が滞在していると判定し、この所定時間の間に撮像された複数の顔切出し画像のそれぞれを含む滞在顔画像群を生成して、端末装置に送信する。生成された滞在顔画像群は、サーバS1からネットワークNW1を介して端末装置P1に送信され、端末装置P1におけるモニタ13上に表示される。
【0040】
なお、端末装置P1は、ユーザ操作によりこの滞在顔画像群が選択されると、滞在顔画像群に含まれる複数の顔切出し画像のそれぞれのうち、最初に撮像された(つまり、撮像時刻が最も古い)顔切出し画像と、最後に撮像された(つまり、撮像時刻が最も新しい)顔切出し画像とがモニタ13上にサムネイル表示される。
【0041】
さらに、プロセッサ21は、ブラックリストデータベースDBを参照し、登録されているターゲットの登録顔画像と、生成されたすべての顔切出し画像のそれぞれとの照合判定を実行する。プロセッサ21は、照合判定の結果、照合する顔画像がある場合、登録されたターゲットの登録顔画像と、照合された顔切出し画像とを含むアラート通知を生成して、端末装置P1に送信する。生成されたアラート通知は、端末装置P1におけるモニタ13上に表示される。
【0042】
メモリ22は、例えばプロセッサ21の各処理を実行する際に用いられるワークメモリとしてのRAMと、プロセッサ21の動作を規定したプログラムおよびデータを格納するROMとを有する。RAMには、プロセッサ21により生成あるいは取得されたデータもしくは情報が一時的に保存される。ROMには、プロセッサ21の動作を規定するプログラムが書き込まれている。メモリ22は、複数の監視カメラC1,…のそれぞれが設置されている設置位置の情報と複数の監視カメラC1,…のそれぞれの識別情報とを対応付けて記憶する。
【0043】
図3Aおよび
図3Bを参照して、実施の形態に係る顔検知システム100の動作手順例を説明する。
図3Aは、実施の形態に係る顔検知システム100の動作手順例を示すシーケンス図である。
図3Bは、実施の形態に係る顔検知システム100の検索手順例を示すシーケンス図である。なお、
図3Aでは、録画映像記録装置RFから録画映像データファイルを読み込み、さらに複数の監視カメラC1,…のそれぞれからライブ映像のデータを読み込み、顔検知を実行する例について説明するが、顔検知システム100の動作手順は、これに限定されないことは言うまでもない。顔検知システム100は、少なくとも1つの録画映像データファイルを読み込み、読み込まれたこの録画映像データファイルを用いて録画映像データに映る人物の顔検知を実行できればよい。
【0044】
端末装置P1は、データ通信可能に接続された録画映像記録装置RFから1以上の録画映像データファイルを読み込む(St1A)。なお、読み込まれる録画映像データファイルは、ユーザ操作により選択(指定)された録画映像データファイルのみを読み込んでもよい。
【0045】
サーバS1は、通信可能に接続された複数の監視カメラC1,…のそれぞれから1以上のライブ映像のデータを読み込む(St1B)。
【0046】
端末装置P1は、読み込まれた録画映像データファイルのうち、サーバS1に送信して顔検知を実行したい録画映像データファイルについて、ユーザによる選択操作を受け付ける(St2)。端末装置P1は、ユーザにより選択(指定)操作された1以上の録画映像データファイルを、ネットワークNW1を介してサーバS1に送信する(St3)。
【0047】
サーバS1は、端末装置P1から送信された1以上の録画映像データファイルを受け取る。サーバS1は、1以上の録画映像データファイルとライブ映像のデータとを所定のフォーマットを有する録画映像データに変換する(St4)。
【0048】
サーバS1は、変換後の録画映像データを再生処理し(St5)、録画映像データから人物を検出する。サーバS1は、検出された人物の顔の領域を含む範囲を切り出した顔切出し画像を生成する(St6)。なお、ここで切り出される範囲は、例えば人物の上半身または全身であってよい。つまり、顔切出し画像は、検知された人物の上半身の領域を含んで切り出した上半身切出し画像であってもよいし、検知された人物の全身の領域を含んで切り出した全身切出し画像であってもよい。
【0049】
サーバS1は、録画映像データに対応付けられたメタデータから、生成された顔切出し画像に対応する人物が撮像された撮像時刻の情報を取得する(St7)。また、サーバS1は、録画映像データに対応付けられたメタデータから、生成された顔切出し画像に対応する人物が撮像された位置情報を取得する(St8)。サーバS1は、取得された撮像時刻の情報および位置情報を顔切出し画像に対応付けて記録する(St9)。
【0050】
サーバS1は、生成された複数の顔切出し画像のそれぞれに映る人物が同一人物または類似する人物であるか否かの同一人物判定を実行する(St10)。サーバS1は、同一人物または類似する人物と判定した複数の顔切出し画像のそれぞれを抽出し、これらの複数の顔切出し画像のそれぞれを含む類似顔画像群を生成する。
【0051】
また、サーバS1は、類似顔画像群に含まれる複数の顔切出し画像のそれぞれが、所定時間以上連続して撮像されているか否かの滞在判定を実行する(St10)。サーバS1は、類似顔画像群として抽出された複数の顔切出し画像に対応する人物が、所定時間以上連続して撮像されていると判定した場合、顔切出し画像の人物が滞在していると判定する。サーバS1は、この所定時間の間に撮像された複数の顔切出し画像のそれぞれを抽出し、これらの複数の顔切出し画像のそれぞれを含む滞在顔画像群を生成する。
【0052】
サーバS1は、取得された撮像時刻の情報および位置情報を対応付けた複数の顔切出し画像のそれぞれを含む検知結果を端末装置P1に送信する(St10)。なお、サーバS1は、ステップSt9における同一人物判定、または滞在判定の結果、類似顔画像群あるいは滞在顔画像群の少なくともいずれかを生成した場合、生成された1以上の類似顔画像群または滞在顔画像群を含む検知結果を生成する(St11)。サーバS1は、生成された検知結果を端末装置P1に送信する(St12)。
【0053】
端末装置P1は、サーバS1から送信された検知結果に含まれる複数の顔切出し画像のそれぞれのサムネイル画像と対応する人物が撮像された撮像時刻の情報とをペアにしたサムネイルデータを生成して、モニタ13上に表示する(St13)。
【0054】
また、サーバS1は、データ通信可能に接続されたブラックリストデータベースDBを参照し、ブラックリストデータベースDBに登録されたターゲットの登録顔画像のそれぞれと、生成された複数の顔切出し画像のそれぞれとを照合する照合判定を実行する(St14)。
【0055】
サーバS1は、ステップSt14における照合判定処理において、複数の顔切出し画像のそれぞれのうちターゲットの登録顔画像と照合する顔切出し画像があると判定した場合、このターゲットの登録顔画像と照合された顔切出し画像とを含むアラート通知画面を生成する(St15)。サーバS1は、生成されたアラート通知画面を端末装置P1に送信する(St16)。
【0056】
端末装置P1は、サーバS1から送信されたアラート通知画面をモニタ13に表示する(St17)。
【0057】
また、端末装置P1は、ユーザ操作により検知したい人物の顔画像についての指定を受け付けた場合(St18)、この顔画像に対応する人物を検索する検索要求を生成して、サーバS1に送信する(St19)。
【0058】
サーバS1は、端末装置P1から送信された顔画像に対応する人物と類似または同一の人物を録画映像データから検知すると、検知された人物の顔の領域を切り出した顔切出し画像を生成する(St20)。サーバS1は、録画映像データに対応付けられたメタデータから、生成された顔切出し画像に対応する人物が撮像された撮像時刻の情報を取得する(St21)。また、サーバS1は、録画映像データに対応付けられたメタデータから、生成された顔切出し画像に対応する人物が撮像された位置情報を取得する(St22)。サーバS1は、取得された撮像時刻の情報および位置情報を顔切出し画像に対応付けて記録する(St23)。
【0059】
なお、検知結果を端末装置P1に送信した後もサーバS1がステップSt6~ステップSt9の処理において生成された複数の顔切出し画像のそれぞれを記憶している場合、サーバS1は、端末装置P1から送信された顔画像に基づいて、複数の顔切出し画像のそれぞれに同一人物判定を実行してもよい。つまり、このような場合、ステップSt21~ステップSt23の処理は省略される。
【0060】
サーバS1は、検知結果として、端末装置P1から送信された顔画像に対応する人物と類似または同一の人物と判定された1以上の顔画像を含む類似顔画像群を生成する(St24)。サーバS1は、生成された検知結果(類似顔画像群)を端末装置P1に送信する(St25)。
【0061】
端末装置P1は、サーバS1から送信された検知結果(類似顔画像群)に含まれるサムネイル画像と撮像時刻の情報とをペアにしたサムネイルデータをモニタ13に表示する(St26)。
【0062】
図4を参照して、複数の録画映像データファイルのそれぞれを用いて生成された検知結果について説明する。
図4は、検知結果を示す画面Mn1の一例である。なお、顔切出し画像のサムネイル画像Smn1、および顔切出し画像に対応する人物が撮像された撮像時刻情報Smt1の符号は、
図4におけるサムネイルデータSm1のみ図示し、他のサムネイルデータおよび他の画面例を示す
図6~
図10では省略している。
【0063】
図4に示す例において、複数のサムネイルデータSm11,Sm12,Sm13,Sm14のそれぞれは、「録画映像データ1」で示される録画映像データを用いて生成された複数の顔切出し画像のサムネイル画像と撮像時刻の情報とをペアにしたデータであって、サーバS1により実行された同一人物判定により同一人物と判定された類似顔画像群である。また、複数のサムネイルデータSm15,Sm16,Sm17のそれぞれは、「録画映像データ2」で示される録画映像データを用いて生成された複数の顔切出し画像のサムネイル画像と撮像時刻の情報とをペアにしたデータである。
【0064】
端末装置P1における端末装置P1は、サーバS1から送信された検知結果に基づいて、ユーザに検知結果を提示するための画面を生成し、モニタ13に出力して表示させる。なお、端末装置P1は、サーバS1からアラート通知画面ARを受信した場合、モニタ13にアラート通知画面ARを出力して表示させる(
図11参照)。
【0065】
図4に示すように、端末装置P1によって生成される画面は、検索条件または表示条件が入力される入力欄SCCと、検知結果としての複数の顔切出し画像のそれぞれを表示するための表示欄SRRと、を少なくとも含む。
【0066】
入力欄SCCは、例えば日時入力欄DT、人物条件入力欄FS、データ選択欄CS、場所選択欄PS(
図9~
図11参照)のうちいずれかと、実行ボタンBtとを含み、ユーザによる検索条件または表示条件に関する入力操作を受け付ける。
【0067】
日時入力欄DTは、顔切出し画像に対応する人物が撮像された撮像時刻の情報に基づいて、検知結果として受信された複数の顔切出し画像のそれぞれのうち表示欄SRRに表示する顔切出し画像を限定(選択)するための表示条件について、ユーザによる入力操作を受け付ける。日時入力欄DTは、開始日時に関する入力欄と終了時刻に関する入力欄とを含む。端末装置P1は、開始日時に関する入力欄に入力された日時から終了時刻に関する入力欄に入力された日時までの間の撮像時刻の情報を有する顔切出し画像を抽出し、抽出された顔切出し画像のサムネイル画像と撮像時刻の情報とのペアを表示欄SRRに表示させる。
【0068】
なお、端末装置P1は、開始日時に関する入力欄にのみ日時が入力された場合には、検知結果に含まれる複数の顔切出し画像のそれぞれのうち入力された日時から現在の日時までの撮像時刻の情報が対応付けられた顔切出し画像を検索して、抽出する。また、端末装置P1は、終了日時に関する入力欄にのみ日時が入力された場合には、検知結果に含まれる複数の顔切出し画像のそれぞれのうち最古の日時から入力された日時までの撮像時刻の情報が対応付けられた顔切出し画像を検索して、抽出する。
【0069】
人物条件入力欄FSは、ユーザが検索したい人物の顔画像の入力(アップロード)操作を受け付ける。端末装置P1は、人物条件入力欄FSに人物の顔画像が入力されると、サーバS1に顔画像に対応する人物と類似または同一の人物を検索する検索要求(つまり制御信号)を生成する。端末装置P1は、入力された顔画像と検索要求とをサーバS1に送信する。
【0070】
サーバS1は、検索要求に基づいて、顔画像に対応する人物と類似または同一の人物が映っているか否か、あるいはこの人物の顔画像があるか否かを判定(同一人物判定)し、類似または同一の人物と判定された人物の顔画像を抽出する。サーバS1は、検知結果として抽出された人物の顔画像を含む類似顔画像群を生成して、端末装置P1に送信する。
【0071】
端末装置P1は、サーバS1から送信された類似顔画像群に含まれる複数の顔切出し画像のそれぞれのサムネイル画像を表示欄SRRに表示する。
図4に示す例において、端末装置P1は、人物条件入力欄FSに人物の顔画像が入力されていない。人物条件入力欄FSに人物の顔画像が入力された場合の画面例は、
図8で詳細に説明する。
【0072】
なお、端末装置P1は、人物条件入力欄FSに顔画像が入力された場合、表示欄SRRには類似顔画像群に含まれる顔切出し画像のサムネイル画像のみを表示する。よって、端末装置P1は、人物条件入力欄FSに顔画像が入力された場合には、サムネイル画像を枠線で囲って表示しなくてもよい。
【0073】
データ選択欄CSには、検知結果の生成に用いられた録画映像データのそれぞれを識別可能な名称がリスト形式に並べられる。データ選択欄CSは、顔切出し画像に対応する人物が撮像された録画映像データの情報に基づいて、検知結果として受信された複数の顔切出し画像のそれぞれのうち表示欄SRRに表示する顔切出し画像を限定(選択)するための表示条件について、ユーザによる選択操作を受け付ける。
【0074】
端末装置P1は、検知結果に含まれる複数の顔切出し画像のそれぞれのうちデータ選択欄CSで選択された録画映像データを用いて生成された顔切出し画像を抽出し、抽出された顔切出し画像のサムネイル画像と撮像時刻の情報とのペアを表示欄SRRに表示する。なお、データ選択欄CSに並べられる録画映像データの名称は、サーバS1へ送信する際にユーザ操作により設定されてもよいし、データ選択欄CS上で任意の名称に設定されてもよい。
【0075】
場所選択欄PSには、顔切出し画像に対応する人物が撮像された場所の情報(例えば、駅名、建物名、施設名、地名等)がリスト形式に並べられる。場所選択欄PSに並べられる場所の情報は、検知結果に含まれる複数の顔切出し画像のそれぞれに対応づけられた位置情報(例えば、GPS(Global Positioning System)により取得された測位情報、緯度・経度により示される位置情報)に基づいて、ネットワークNW1を介して取得された地図データ等を用いてサーバS1により作成される。場所選択欄PSは、顔切出し画像に対応する人物が撮像された位置情報に基づいて、検知結果として受信された複数の顔切出し画像のそれぞれのうち表示欄SRRに表示する顔切出し画像を限定(選択)するための表示条件について、ユーザによる選択操作を受け付ける。
【0076】
端末装置P1は、検知結果に含まれる複数の顔切出し画像のそれぞれのうち場所選択欄PSで選択された場所で撮像された顔切出し画像を抽出し、抽出された顔切出し画像のサムネイル画像と撮像時刻の情報とをペアにしたサムネイルデータを表示欄SRRに表示する。
【0077】
なお、場所選択欄PSに並べられる場所の情報は、端末装置P1の操作部14を介して受け付けられるユーザ操作により編集可能である。例えば、録画映像データファイルが同一の施設内で撮像された場合、あるいは録画映像データファイルが予め決まった場所で撮像された場合には、ユーザは、顔切出し画像に対応付けられた位置情報に基づいて、さらに詳細な場所の情報を設定してもよい。具体的に、ユーザは、後述する
図10に示す「エントランス」、「ロビー」、「ホール」および「地下駐車場」等のように、場所選択欄PSに並べられる場所の情報をより詳細に設定してもよい。
【0078】
また、場所選択欄PSは、起点位置入力欄PS1を含んでよい。起点位置入力欄PS1は、ユーザによる起点位置の入力を受け付ける。端末装置P1は、起点位置入力欄PS1に起点位置が入力されると、この起点位置と場所選択欄PSにリスト形式で示された各場所との間の距離を算出する。端末装置P1は、算出された距離に基づいて、場所ごとの複数のサムネイルデータのそれぞれを起点位置から近い順、かつ時系列に並び替えて表示欄SRRに表示する。なお、起点位置入力欄PS1には、場所選択欄PSに示される場所(例えば、
図9の例では「東京駅」、「品川駅」、「横浜駅」または「鎌倉駅」等)が入力されてもよいし、他の場所、施設名、土地名、緯度経度情報等が入力されてもよい。
【0079】
実行ボタンBtは、入力欄SCCに入力された各表示条件による表示、あるいは検索条件による検索を実行するためのボタンである。端末装置P1は、ユーザ操作により実行ボタンBtが選択(押下)されると、入力欄SCCに入力された各表示条件あるいは検索条件に基づく処理を実行する。
【0080】
スクロールバーSBは、時系列に並べられて表示欄SRRに表示された複数のサムネイルデータのそれぞれを閲覧するためのウィジットである。スクロールバーSBは、ユーザ操作によるつまみSLの左右方向の操作に基づいて、異なる撮像時間の情報を有するサムネイルデータのそれぞれを表示欄SRRに表示させる。なお、データ選択欄CSの録画映像データ数が多い場合、あるいは場所選択欄PSの情報数が多い場合には、スクロールバーSBは、縦方向にも生成されてよい。
【0081】
図4に示す例において、入力欄SCCは、日時入力欄DTおよびデータ選択欄CSにおいてユーザによる入力操作を受け付ける。端末装置P1は、ユーザ操作により実行ボタンBtが選択(押下)されると、日時入力欄DTにおける開始日時に関する入力欄に入力された「2019/01/05 13:09:00」に基づいて、検知結果から2019年1月5日の13時9分以降の撮像時刻の情報が対応付けられた顔切出し画像のそれぞれを抽出する。
【0082】
さらに端末装置P1は、データ選択欄CSで選択された「録画映像データ1」および「録画映像データ2」に基づいて、抽出された顔切出し画像のそれぞれのうち「録画映像データ1」および「録画映像データ2」を用いて生成された顔切出し画像のそれぞれを抽出する。端末装置P1は、抽出された複数の顔切出し画像のそれぞれのサムネイル画像と撮像時刻の情報とをペアにした複数のサムネイルデータSm11~Sm17のそれぞれを、録画映像データごとかつ時系列に並び替えるとともに、類似顔画像群に含まれる複数のサムネイルデータSm11~Sm14のそれぞれを枠線Mk1で囲って表示欄SRRに表示する。
図4の例において、表示欄SRRは、録画映像データごとに「2019/01/05 13:09:00」、「2019/01/05 13:10:00」、「2019/01/05 13:11:00」という時系列に複数のサムネイルデータSm11~Sm17のそれぞれを並び替えて表示する。
【0083】
また、端末装置P1は、データ選択欄CSで選択された複数のデータのそれぞれの検知結果で、同じ時間帯の撮像時刻の情報を含む複数のサムネイルデータがある場合には、同じ時間帯のうちもっとも撮像時間が早いものから時系列に並び替えるとともに、紙面縦方向に隣接して並ばないように並び替えて表示する。なお、同じ撮像時刻の情報を含む複数のサムネイルデータがある場合には、紙面縦方向に隣接して並べて表示してもよい。これにより、ユーザは、同じ時間帯に人物が複数回検知された場合であっても、これら複数回検知された検知結果としてのサムネイルデータのそれぞれの撮像時刻の関係性を直感的に把握することができる。
【0084】
具体的に、
図4に示す例において、ユーザは、データ選択欄CSで選択された複数のデータ「録画映像データ1」,「録画映像データ2」のそれぞれの撮像時刻「13:09:00」から撮像時刻「13:10:00」までの同じ時間帯に検知された検知結果としてのサムネイルデータSm11,Sm12,Sm15のそれぞれが、サムネイルデータSm11、サムネイルデータSm15、サムネイルデータSm12の順に検知されたことを直感的に把握できる。
【0085】
以上により、実施の形態に係る顔検知システム100は、1以上の録画映像データファイルを用いて検知され、生成された複数の顔切出し画像のそれぞれのサムネイル画像と、撮像時刻の情報とを並べて表示できる。これにより、ユーザは、各サムネイル画像(顔切出し画像)の撮像時刻の確認に要する時間を短縮でき、監視業務または捜査業務をより効率的に遂行できる。
【0086】
次に、
図5および
図6を参照して、所定時間以上異なる撮像時刻に撮像された複数の録画映像データファイルを用いた検知結果を示す画面Mn2の例について説明する。
図5は、実施の形態に係る顔検知システム100の複数の録画映像データの読み込み手順例を示すシーケンス図である。
図6は、撮像時刻が所定時間以上異なる複数の録画映像データに基づく検知結果を示す画面Mn2の一例である。なお、ここでいう所定時間は、例えば5日以上、1週間以上、10日以上等である。
【0087】
まず、
図5および
図6に示す例において端末装置P1およびサーバS1で実行される処理について説明する。なお、
図5に示す例において、録画映像データファイルを読み込んでサーバS1に送信する回数は2回であるが、回数は限定されず、例えば3回、4回、7回であってもよい。
【0088】
端末装置P1は、録画映像記録装置RF1から1以上の録画映像データファイルを読み込む(St1AA)。なお、読み込まれる録画映像データファイルは、ユーザ操作により選択(指定)された録画映像データファイルのみを読み込んでもよい。
【0089】
サーバS1は、通信可能に接続された複数の監視カメラC1,…のそれぞれから1以上のライブ映像のデータを読み込む(St1B)。
【0090】
端末装置P1は、読み込まれた録画映像データファイルのうち、サーバS1に送信して顔検知を実行したい録画映像データファイルについて、ユーザによる選択操作を受け付ける(St2A)。端末装置P1は、ユーザにより選択(指定)操作された1以上の録画映像データファイルを、ネットワークNW1を介してサーバS1に送信する(St3A)。
【0091】
顔検知システム100は、ステップSt3Aの処理の後、
図3Aおよび
図3Bで説明したステップSt4~ステップSt17と同一の処理を実行し、検知結果またはアラート通知画面をモニタ13に表示する。
【0092】
また、端末装置P1は、録画映像記録装置RF2から1以上の録画映像データファイルを読み込む(St1C)。なお、録画映像記録装置RF2は、録画映像記録装置RF1と同一の録画映像記録装置であってもよい。
【0093】
サーバS1は、通信可能に接続された複数の監視カメラC1,…のそれぞれから1以上のライブ映像のデータを読み込む(St1BB)。
【0094】
端末装置P1は、読み込まれた録画映像データファイルのうち、サーバS1に送信して顔検知を実行したい録画映像データファイルについて、ユーザによる選択操作を受け付ける(St2C)。端末装置P1は、ユーザにより選択(指定)操作された1以上の録画映像データファイルを、ネットワークNW1を介してサーバS1に送信する(St3C)。
【0095】
顔検知システム100は、ステップSt3Cの処理の後、
図3Aおよび
図3Bで説明したステップSt4~ステップSt17と同一の処理を実行し、検知結果(検索結果)またはアラート通知画面をモニタ13に表示する。なお、ステップSt3Cの処理の後に生成される検知結果(検索結果)には、録画映像記録装置RF1から読み込まれた録画映像データファイルを用いて生成された検知結果(検索結果)と、録画映像記録装置RF2から読み込まれた録画映像データファイルを用いて生成された検知結果(検索結果)とを含む。
【0096】
端末装置P1は、複数の録画映像記録装置RF1,RF2のそれぞれから読み込まれた録画映像データファイルを用いて生成された検知結果(検索結果)を示す画面Mn2をモニタ13に表示する。
【0097】
図6に示す例において、「録画映像データ1」および「録画映像データ2」のそれぞれは、録画映像記録装置RF1に記録された録画映像データファイルである。また、「録画映像データ3」および「録画映像データ4」のそれぞれは、録画映像記録装置RF2に記録され、「録画映像データ1」および「録画映像データ2」のそれぞれに記録された最新の撮像時刻(つまり、録画終了時の撮像時刻)から10日以上後の撮像時刻を撮像した録画映像データファイルである。
【0098】
また、入力欄SCCは、データ選択欄CSにおいて「録画映像データ1」、「録画映像データ2」、「録画映像データ3」、「録画映像データ4」のそれぞれの選択を受け付ける。端末装置P1は、「録画映像データ1」、「録画映像データ2」、「録画映像データ3」および「録画映像データ4」のそれぞれに映る人物の検知結果を表示する表示条件に基づいて、顔切出し画像のそれぞれのサムネイルデータSm31,Sm32,Sm33,Sm34,Sm35,Sm36,Sm37のそれぞれを生成し、録画映像データごとに、かつ表示欄SRRに時系列に並べて表示する。
【0099】
以上により、顔検知システム100は、撮像時刻が所定時間(例えば10日)以上異なる複数の録画映像データに基づく検知結果およびアラート通知画面を生成できる。これによりユーザは、例えば人物を対象とした監視業務または捜査業務において、撮像時刻が異なる録画映像データファイルから人物を検知したり、所定の人物を検索したりする場合であっても、所定時間以上異なる撮像時刻の録画映像データのそれぞれを用いて検知結果(検索結果)またはアラート通知画面を生成できるため、監視業務または捜査業務をより効率的に遂行できる。
【0100】
図7を参照して、録画映像記録装置RFに記録された録画映像データファイルと監視カメラによって撮像されたライブ映像のデータとを用いて生成された検知結果を示す画面Mn3の例について説明する。
図7は、録画映像データファイルとライブ映像のデータとに基づく検知結果を示す画面Mn3の一例である。
【0101】
図7に示す例では、サーバS1は、端末装置P1から送信された少なくとも1つの録画映像データファイルと、通信可能に接続された監視カメラC1から送信されたライブ映像のデータとを用いて、映像中の人物を検知する。入力欄SCCは、データ選択欄CSにおいて「録画映像データ1」および「カメラ1」のそれぞれの選択を受け付ける。
【0102】
端末装置P1は、「録画映像データ1」および「カメラ1」のそれぞれに映る人物の検知結果を表示する表示条件に基づいて、複数の顔切出し画像のそれぞれに対応するサムネイルデータSm41,Sm42,Sm43,Sm44,Sm45,Sm46,Sm47のそれぞれを生成し、録画映像データごとに、かつ表示欄SRRに時系列に並べて表示する。
【0103】
これにより、実施の形態に係る顔検知システム100は、録画映像データファイルとライブ映像のデータとを用いて同時に検知処理を実行可能となるとともに、録画映像データファイルおよびライブ映像のデータのそれぞれから検知された検知結果を同一の画面Mn3上に比較可能に表示できる。
【0104】
なお、
図7では、「録画映像データ1」および「カメラ1」のそれぞれが、同じ時間帯(「2019/01/05 13:09:00」~「13:21:00」)の撮像時刻を撮像したデータである例を示すが、例えば
図5および
図6の説明のように所定時間以上異なる時間帯を撮像したデータであってよい。
【0105】
図8を参照して、人物条件入力欄FSに入力された検索用顔画像F1の人物と類似または同一の人物を検索した検索結果を、人物が撮像された場所ごとに示す画面Mn4の例について説明する。
図8は、ユーザにより入力された検索用顔画像F1に基づく検索結果を示す画面Mn4の一例である。
【0106】
図8に示す例では、端末装置P1は、入力欄SCCにおける人物条件入力欄FSでユーザによる検索用顔画像F1の入力操作を受け付ける。端末装置P1は、入力された検索用顔画像F1に基づいて、検索要求(制御信号)を生成し、検索要求および検索用顔画像F1をサーバS1に送信する。
【0107】
サーバS1は、端末装置P1から送信された検索要求および検索用顔画像F1に基づいて、録画映像データから検索用顔画像F1に対応する人物と類似または同一の人物がいるか否かの判定(同一人物判定)を実行する。サーバS1は、同一人物判定の結果、類似または同一の人物であると判定された顔切出し画像を含む類似顔画像群を生成し、検索用顔画像F1に基づく検索結果として生成された類似顔画像群を端末装置P1に送信する。
【0108】
また、入力欄SCCは、人物条件入力欄FSで検索用顔画像F1の入力を受け付けるとともに、日時入力欄DTにおける開始日時に関する入力欄で「2019/09/27 14:40:00」の入力を、場所選択欄PSで「東京駅」、「品川駅」および「横浜駅」の選択を受け付ける。
【0109】
端末装置P1は、入力欄SCCに入力された表示条件に基づいて、サーバS1から送信された検索結果(類似顔画像群)に含まれる複数の顔切出し画像のそれぞれに対応するサムネイルデータSm61,Sm62,Sm63,Sm64,Sm65,Sm66,Sm67,Sm68のそれぞれを生成する。端末装置P1は、複数の顔切出し画像のそれぞれに対応付けられた位置情報に基づいて、場所選択欄PSで選択された「東京駅」、「品川駅」および「横浜駅」ごとに、かつ時系列に複数のサムネイルデータSm61~Sm68のそれぞれを並び替えて表示欄SRRに表示する。
【0110】
なお、端末装置P1は、
図8に示す例において検索用顔画像F1と類似または同一の人物と判定された顔切出し画像のそれぞれを表示する表示条件であるため、複数のサムネイルデータSm61~Sm68のそれぞれを枠線で囲っていないが、枠線で囲って表示してもよい。
【0111】
以上により、実施の形態に係る顔検知システム100は、1以上の録画映像データファイルを用いて、ユーザにより入力された顔画像の人物と類似または同一の人物を検索できる。また、顔検知システム100は、顔切出し画像に対応付けられた位置情報および撮像時刻の情報に基づいて、サムネイルデータを並び替えて表示できるため、ユーザによる監視業務または捜査業務をより効率的に遂行できる。
【0112】
これにより、ユーザは、検索結果として表示されたサムネイルデータのそれぞれが示す人物が撮像された位置情報(場所)と撮像時刻の情報とを確認できるとともに、検索用顔画像F1と類似または同一の人物の足取り、移動経路、時刻等を知ることができる。例えば、
図8に示す例においてユーザは、検索用顔画像F1と同一の人物と思われる人物が、時刻「14:40:50」に場所「横浜駅」にいたことが分かる。また、ユーザは、この人物が場所「東京駅」に移動して、時刻「14:49:51」から時刻「15:30:02」まで滞在し、その後時刻「16:40:24」には場所「品川駅」に移動したことが分かる。
【0113】
図9を参照して、人物条件入力欄FSに入力された検索用顔画像F2に対応する人物を検索した検索結果を、ユーザにより指定された起点位置「東京駅」からの距離に基づいて並び替えた画面Mn5の例について説明する。
図9は、ユーザにより指定された起点位置に基づく検索結果を示す画面Mn5の一例である。
【0114】
図9に示す例では、端末装置P1は、入力欄SCCにおける人物条件入力欄FSでユーザによる検索用顔画像F2の入力操作を受け付ける。端末装置P1は、入力された検索用顔画像F2に基づいて、検索要求(制御信号)を生成し、検索要求および検索用顔画像F2をサーバS1に送信する。
【0115】
サーバS1は、端末装置P1から送信された検索要求および検索用顔画像F2に基づいて、録画映像データから検索用顔画像F2に対応する人物と類似または同一の人物がいるか否かの判定(同一人物判定)を実行する。サーバS1は、同一人物判定の結果、類似または同一の人物であると判定された顔切出し画像を含む類似顔画像群を生成し、検索用顔画像F2に基づく検索結果として生成された類似顔画像群を端末装置P1に送信する。
【0116】
また、入力欄SCCは、人物条件入力欄FSで検索用顔画像F2の入力を受け付けるとともに、場所選択欄PSで「東京駅」、「品川駅」、「横浜駅」および「鎌倉駅」の選択と、起点位置入力欄PS1で「東京駅」の入力とを受け付ける。
【0117】
端末装置P1は、入力欄SCCに入力された表示条件に基づいて、サーバS1から送信された検索結果(類似顔画像群)に含まれる複数の顔切出し画像のそれぞれに対応するサムネイルデータSm71,Sm72,Sm73,Sm74,Sm75,Sm76,Sm77,Sm78のそれぞれを生成する。端末装置P1は、複数の顔切出し画像のそれぞれに対応付けられた位置情報に基づいて、起点位置入力欄PS1に入力された起点位置「東京駅」と場所選択欄PSで選択された「東京駅」、「品川駅」、「横浜駅」および「鎌倉駅」との間の距離をそれぞれ算出する。
【0118】
端末装置P1は、算出された距離に基づいて、場所選択欄PSで選択された「東京駅」、「品川駅」、「横浜駅」および「鎌倉駅」のそれぞれを起点位置「東京駅」から近い順として「東京駅」、「品川駅」、「横浜駅」、「鎌倉駅」に並び替える。端末装置P1は、「東京駅」、「品川駅」、「横浜駅」および「鎌倉駅」のそれぞれの場所で撮像された複数のサムネイルデータSm71~Sm78のそれぞれを時系列に並び替えて表示欄SRRに表示する。なお、端末装置P1は、
図9に示す例において検索用顔画像F2と類似または同一の人物と判定された顔切出し画像のそれぞれを表示する表示条件であるため、複数のサムネイルデータSm71~Sm78のそれぞれを枠線で囲っていないが、枠線で囲って表示してもよい。
【0119】
以上により、実施の形態に係る顔検知システム100は、1以上の録画映像データファイルから検知された検知結果あるいは検索結果に基づくサムネイルデータを、ユーザにより指定された起点位置からの距離に応じて並び替えて表示できる。また、顔検知システム100は、顔切出し画像に対応付けられた位置情報および撮像時刻の情報に基づいて、サムネイルデータを並び替えて表示できるため、ユーザによる監視業務または捜査業務をより効率化できる。
【0120】
なお、ユーザにより指定された起点位置からの距離に応じた並び替えは、特定の人物に関する検索結果に限定されず、単に1以上の録画映像データファイルから検知された検知結果に含まれるすべての人物のサムネイルデータの表示にも適用されてよいことは言うまでもない。
【0121】
これにより、ユーザは、検索結果として表示されたサムネイルデータのそれぞれが示す人物が撮像された位置情報(場所)と撮像時刻の情報とを確認できる。また、ユーザは、サムネイルデータのそれぞれが指定された起点位置からの距離に基づく場所ごとに並び替えられ、表示されることによって、検索用顔画像F2と類似または同一の人物の足取り、移動経路、時刻等を直感的に把握することができる。例えば、
図9に示す例においてユーザは、検索用顔画像F2と同一の人物と思われる人物が、朝の時間帯で起点位置「東京駅」から遠ざかる方向に向かい、またこの人物が夕方の時間帯で起点位置「東京駅」に戻ってきたことを直感的に把握できる。
【0122】
図10を参照して、人物条件入力欄FSに入力された検索用顔画像F3の人物と類似または同一の人物を検索した検索結果をマージ表示する画面Mn6の例について説明する。
図10は、検索結果をマージ表示した画面Mn6の一例である。
【0123】
図10に示す例では、端末装置P1は、入力欄SCCにおける人物条件入力欄FSでユーザによる検索用顔画像F3の入力操作を受け付ける。端末装置P1は、入力された検索用顔画像F3に基づいて、検索要求(制御信号)を生成し、検索要求および検索用顔画像F3をサーバS1に送信する。
【0124】
サーバS1は、端末装置P1から送信された検索要求および検索用顔画像F3に基づいて、録画映像データから検索用顔画像F3に対応する人物と類似または同一の人物がいるか否かの判定(同一人物判定)を実行する。サーバS1は、同一人物判定の結果、類似または同一の人物であると判定された顔切出し画像を含む類似顔画像群を生成する。さらに、サーバS1は、生成された類似顔画像群に含まれる複数の顔切出し画像のそれぞれに対応付けられた位置情報に基づいて、所定時間以上同じ場所で連続して撮像されているか否かの判定(滞在判定)を実行する。サーバS1は、滞在判定の結果、類似顔画像群に含まれる複数の顔切出し画像のうち所定時間以上同じ場所で連続して撮像されていると判定された複数の顔切出し画像を含む滞在顔画像群を生成する。
【0125】
なお、ここいう同じ場所は、場所選択欄PSにリスト形式で表示される場所を示す。また、ここでいう所定時間は、ユーザ操作により任意に設定された時間(例えば5分、10分、30分等)であって、
図10では30分以上連続して撮像された例を示す。
【0126】
サーバS1は、生成された類似顔画像群と滞在顔画像群とを含む検索結果を生成して、端末装置P1に送信する。
【0127】
また、入力欄SCCは、人物条件入力欄FSで検索用顔画像F3の入力を受け付けるとともに、日時入力欄DTにおける開始日時に関する入力欄で「2019/02/01 15:00:00」の入力を、場所選択欄PSで「エントランス」、「ロビー」、「ホール」および「地下駐車場」の選択とを受け付ける。なお、
図10に示す場所選択欄PSにリスト形式で示される各場所のように地図データから取得できない場所を設定したい場合、場所の名称は、ユーザ操作により任意に設定(編集)されてもよい。
【0128】
端末装置P1は、入力欄SCCに入力された表示条件に基づいて、サーバS1から送信された検索結果(類似顔画像群および滞在顔画像群)に含まれる複数の顔切出し画像のそれぞれに対応するサムネイルデータSm81,Sm82,Sm83,Sm84,Sm85,Sm86,Sm87のそれぞれを生成する。なお、類似顔画像群に含まれる複数の顔切出し画像のそれぞれは、複数のサムネイルデータSm81~Sm87のそれぞれに対応する。
【0129】
端末装置P1は、複数の顔切出し画像のそれぞれに対応付けられた位置情報に基づいて、場所選択欄PSで選択された「エントランス」、「ロビー」、「ホール」および「地下駐車場」のそれぞれの場所で撮像された顔切出し画像のサムネイルデータSm81~Sm87のそれぞれを時系列に並び替えて表示欄SRRに表示する。なお、端末装置P1は、
図10に示す例において検索用顔画像F3と類似または同一の人物と判定された顔切出し画像のそれぞれを表示する表示条件であるため、複数のサムネイルデータSm81~Sm87のそれぞれを枠線で囲っていないが、枠線で囲って表示してもよい。
【0130】
表示欄SRRには、検索結果としての類似顔画像群に含まれる複数のサムネイルデータSm81~Sm87のそれぞれが撮像された場所ごとに、かつ時系列に並んで表示される。一方、滞在顔画像群に含まれる複数の顔切出し画像のそれぞれは、複数のサムネイルデータSm82,Sm83のそれぞれであり、
図10に示す例においてマージ表示されている。
【0131】
ここでいうマージ表示は、所定時間以上連続して撮像された滞在顔画像群に含まれる人物の顔切出し画像のそれぞれのうち所定時間の間で最初に撮像された顔切出し画像と、所定時間の間で最後に撮像された顔切出し画像とを抽出し、これら2つの顔切出し画像のサムネイルデータ(
図10の例では、サムネイルデータSm82,Sm83)のそれぞれを並べて表示することを示す。なお、滞在顔画像群に含まれる複数の顔切出し画像のそれぞれは、異なる録画映像データから検知され、生成された顔画像であってよい。
【0132】
マージ表示は、ユーザ操作によって有効化または無効化される。具体的に、端末装置P1は、複数のサムネイルデータのうちいずれかを選択するとマージ表示を有効化して2つのサムネイルデータのみを表示し、マージ表示した状態で2つのサムネイルデータのうちいずれかを再度選択するとマージ表示を無効化して解除し、複数のサムネイルデータを再表示する。
【0133】
これにより、ユーザは、表示欄SRRにおいて、異なる時間帯に撮像されたサムネイルデータをより多く確認できる。
【0134】
図11を参照して、サーバS1によりブラックリストデータベースDBに登録された登録顔画像が示すターゲットと類似または同一の人物が検知された場合に生成され、モニタ13に表示されるアラート通知画面ARの例について説明する。
図11は、アラート通知画面ARの一例である。
【0135】
サーバS1は、
図3Aに示すステップSt14における照合判定処理において、複数の顔切出し画像のそれぞれのうちターゲットの登録顔画像と照合する顔切出し画像があると判定した場合、このターゲットの登録顔画像と照合された顔切出し画像とを含むアラート通知画面ARを生成する。サーバS1は、生成されたアラート通知画面ARを端末装置P1に送信する。アラート通知画面ARは、端末装置P1のモニタ13に表示される。
【0136】
端末装置P1のモニタ13に表示されたアラート通知画面ARは、録画映像データのうちターゲットが検知された撮像画像Pc1と、この撮像画像からターゲットの顔の領域を切り出した顔切出し画像(検知顔画像)FPc1と、ブラックリストデータベースDBに登録された登録顔画像RPcと、撮像画像Pc1が撮像された撮像時刻の情報Dt1と、撮像画像Pc1が撮像された場所の情報Dt2と、再生ボタンBt2と、を含んで生成される。なお、撮像画像Pc1は省略されてもよい。
【0137】
なお、撮像画像Pc1は、顔切出し画像FPc1と同一の顔切出し画像であってもよいし、ターゲットの上半身の領域を切り出した上半身画像、またはターゲットの全身の領域を切り出した全身画像であってもよい。
【0138】
端末装置P1は、再生ボタンBt2がユーザ操作により選択(押下)されると、録画映像データのうちターゲットが検知された時間帯の録画映像データを再生する。なお、ターゲットが検知された時間帯の録画映像データは、サーバS1によりアラート通知画面ARとともに端末装置P1に送信される。
【0139】
また、アラート通知画面ARは、ターゲットの検知に用いられた録画映像データがライブ映像のデータである場合には、ライブボタンBt1を含んで生成されてよい。
【0140】
ライブボタンBt1は、ユーザ操作により選択(押下)されると、ターゲットが検知されたライブ映像のデータを撮像した監視カメラのライブ映像の配信要求(制御信号)が生成され、サーバS1に送信される。サーバS1は、端末装置P1から送信されたライブ映像の配信要求に基づいて、対応する監視カメラから送信されているライブ映像のデータを端末装置P1に送信する。端末装置P1は、サーバS1から送信されたライブ映像をモニタ13に表示する。
【0141】
以上により、顔検知システム100は、1以上の録画映像データファイルから検知された複数の顔切出し画像のそれぞれのうちターゲットの登録顔画像と照合する顔切出し画像があると判定した場合には、このターゲットの登録顔画像と照合する人物の顔画像が検知されたことをユーザに報知できる。
【0142】
これにより、ユーザは、予めブラックリストデータベースDBに登録することにより、顔画像の入力による検索を実行しなくても、1以上の録画映像データファイルから検知された複数の顔切出し画像のそれぞれからターゲットを検索できるため、監視業務または捜査業務をより効率的に遂行できる。
【0143】
以上により、実施の形態に係る顔検知システム100は、少なくとも1つの録画映像データファイルを取得可能な端末装置P1とサーバS1とが通信可能に接続される。端末装置P1は、ユーザ操作により選択された録画映像データファイルを取得してサーバS1に送信する。サーバS1は、受信された録画映像データファイルを所定のフォーマットを有する録画映像データに変換し、変換後の録画映像データに基づいて、1以上の人物の顔を検知し、検知された顔の領域を切り出した1以上の顔切出し画像に、顔切出し画像に対応する人物が撮像された撮像時刻の情報を対応付けて、端末装置P1に送信する。端末装置P1は、受信された顔切出し画像のサムネイル画像と撮像時刻の情報とを時系列に並べてモニタ13に表示する。
【0144】
これにより、実施の形態に係る顔検知システム100は、1以上の録画映像データファイルを用いて検知され、生成された複数の顔切出し画像のそれぞれのサムネイル画像と、撮像時刻の情報とを並べて表示できる。よって、ユーザは、各サムネイル画像(顔切出し画像)の撮像時刻の確認に要する時間を短縮でき、監視業務または捜査業務をより効率的に遂行できる。
【0145】
実施の形態に係る顔検知システム100で使用される録画映像データファイルは、所定時間以上異なる撮像時刻に撮像された映像データである。これにより、実施の形態に係る顔検知システム100は、撮像時刻が所定時間(例えば10日)以上異なる複数の録画映像データに基づく検知結果を生成できる。よって、ユーザは、例えば人物を対象とした監視業務または捜査業務において、撮像時刻が異なる録画映像データファイルから人物を検知したり、所定の人物を検索したりする場合であっても、所定時間以上異なる撮像時刻の録画映像データのそれぞれを用いた検知結果(検索結果)を確認できるため、監視業務または捜査業務をより効率的に遂行できる。
【0146】
また、実施の形態に係る顔検知システム100で使用される録画映像データファイルは、移動体に備えられたカメラによって撮像かつ録画される。これにより、実施の形態に係る顔検知システム100は、位置情報が変化する録画映像データファイルを用いて、映像中の人物を検知した検知結果を生成できる。よって、ユーザは、使用する録画映像データファイルが監視カメラでなく、一般市民、民間業者等から提供された録画映像データファイルであっても、録画映像データのそれぞれを用いた検知結果(検索結果)を確認できるため、監視業務または捜査業務をより効率的に遂行できる。
【0147】
また、実施の形態に係る顔検知システム100におけるサーバS1は、1以上の顔切出し画像のそれぞれから同一または類似する人物であると判定された複数の顔切出し画像を抽出し、抽出された複数の顔切出し画像のそれぞれを含む類似顔画像群を生成して、端末装置P1に送信する。端末装置P1は、受信された類似顔画像群に含まれる1以上の顔切出し画像のサムネイル画像と対応する撮像時刻の情報とを含めて枠線(例えば、
図4に示す枠線Mk1)で囲ってモニタ13に表示する。これにより、実施の形態に係る顔検知システム100は、複数の顔切出し画像のそれぞれのうち類似または同一の人物と判定された人物の顔切出し画像のそれぞれをユーザに可視化できる。したがって、ユーザは、複数のサムネイル画像のうち、同一の線種、線色で示された枠線で囲まれた複数のサムネイル画像のそれぞれの人物が同一人物であることを直感的に把握できるため、監視業務または捜査業務をより効率的に遂行できる。
【0148】
また、実施の形態に係る顔検知システム100におけるサーバS1は、抽出された複数の顔切出し画像のそれぞれが同一の場所で所定時間以上連続して撮像されているか否かを判定し、同一の場所で所定時間以上連続して撮像されていると判定した場合、類似顔画像群のうち所定時間の間に撮像された複数の顔画像のそれぞれを含む滞在顔画像群を生成して、端末装置P1に送信する。端末装置P1は、受信された滞在顔画像群のうち所定時間の間で最初に撮像された顔切出し画像と、最後に撮像された顔切出し画像とを並べてモニタ13にマージ表示する。これにより、実施の形態に係る顔検知システム100は、表示欄SRRにより多くのサムネイルデータを表示できる。つまり、ユーザは、スクロールバーSBを操作することなくより多くのサムネイルデータを確認できる。
【0149】
また、実施の形態に係る顔検知システム100におけるサーバS1は、監視カメラC1(カメラの一例)によって撮像されているライブ映像を受信し、受信されたライブ映像と1以上の録画映像ファイルのそれぞれとを所定のフォーマットを有する録画映像データに変換し、変換後の複数の録画映像データから、1以上の人物の顔を検知する。これにより、実施の形態に係る顔検知システム100は、録画映像データファイルとライブ映像のデータとを用いて同時に検知処理を実行可能となるとともに、録画映像データファイルおよびライブ映像のデータのそれぞれから検知された検知結果を同一画面上に比較可能に表示できる。
【0150】
また、実施の形態に係る顔検知システム100における端末装置P1は、ユーザ操作により指定された人物の顔領域を含む検索用顔画像をサーバS1に送信する。サーバS1は、受信された検索用顔画像に基づいて、1以上の顔切出し画像のそれぞれから検索用顔画像の人物と同一または類似する人物の顔切出し画像を抽出して、端末装置P1に送信する。これにより、実施の形態に係る顔検知システム100は、1以上の録画映像データファイルを用いて、ユーザにより入力された検索用顔画像の人物と類似または同一の人物を検索できる。ユーザは、検索用顔画像を入力することで監視業務または捜査業務により検索したい人物を容易に検索できるとともに、モニタ13に表示された検索結果に基づいて、検索用顔画像の人物が撮像された撮像時刻を容易に把握できる。
【0151】
また、実施の形態に係る顔検知システム100におけるサーバS1は、生成された顔切出し画像ごとに撮像時刻の情報と、顔切出し画像が撮像された位置情報とを対応付けて、端末装置P1に送信する。端末装置P1は、サムネイル画像および撮像時刻の情報のペアを位置情報(具体的には、場所選択欄PSにリスト形式で表示されている場所)ごとに並べてモニタ13に表示する。これにより、実施の形態に係る顔検知システム100は、顔切出し画像に対応付けられたサムネイルデータを位置情報(場所)ごとに並び替えて表示できる。よって、ユーザは、サムネイル画像(顔切出し画像)が撮像された撮像時刻と、撮像された位置情報(場所)とを容易に確認できるため、より効率的に監視業務または捜査業務を遂行できる。
【0152】
また、実施の形態に係る顔検知システム100における端末装置P1は、ユーザ操作により指定された起点位置の情報に基づいて、顔切出し画像ごとの位置情報(場所)が示す位置と起点位置との間の距離を算出し、算出された距離に基づいて、サムネイル画像を並び替えてモニタ13に表示する。これにより、実施の形態に係る顔検知システム100は、複数の顔切出し画像のそれぞれに対応する人物が、ユーザ操作により指定された起点位置付近で検知された人物、あるいは起点位置からより遠くで検知された人物であることをユーザが直感的に把握可能に表示できる。
【0153】
また、実施の形態に係る顔検知システム100におけるサーバS1は、予め記録された複数の人物の登録顔画像のそれぞれに基づいて、1以上の顔切出し画像のそれぞれから登録顔画像の人物と同一または類似する人物の顔切出し画像を抽出し、抽出された顔切出し画像と登録顔画像とを含むアラート通知画面ARを生成して、端末装置P1に送信する。端末装置P1は、受信されたアラート通知画面ARをモニタ13に表示する。これにより、実施の形態に係る顔検知システム100は、1以上の録画映像データファイルから検知された複数の顔切出し画像のそれぞれのうちターゲットの登録顔画像と照合する顔切出し画像があると判定した場合には、このターゲットの登録顔画像と照合する人物の顔画像が検知されたことをユーザに報知できる。これにより、ユーザは、予めブラックリストデータベースDBに登録することにより、顔画像の入力による検索を実行しなくても、1以上の録画映像データファイルから検知された複数の顔切出し画像のそれぞれからターゲットを検索できるため、より効率的に監視業務または捜査業務を遂行できる。
【0154】
以上、添付図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
【産業上の利用可能性】
【0155】
本開示は、少なくとも1つの過去に撮像された録画映像データファイルに映る人物の顔画像とこの人物が撮像された撮像時刻とを対応付けて可視化し、人物を対象とした監視業務を効率的に支援する顔検知システムの提示として有用である。
【符号の説明】
【0156】
10,20 通信部
11,21 プロセッサ
12,22 メモリ
13 モニタ
14 操作部
100 顔検知システム
C1 監視カメラ
DB ブラックリストデータベース
P1 端末装置
RF,RF1,RF2 録画映像記録装置
S1 サーバ