(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-16
(45)【発行日】2024-12-24
(54)【発明の名称】検索支援システム、検索支援方法および検索支援プログラム
(51)【国際特許分類】
G06F 16/583 20190101AFI20241217BHJP
G06F 16/53 20190101ALI20241217BHJP
【FI】
G06F16/583
G06F16/53
(21)【出願番号】P 2021023436
(22)【出願日】2021-02-17
【審査請求日】2024-01-25
(73)【特許権者】
【識別番号】320008672
【氏名又は名称】i-PRO株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】福島 佳孝
(72)【発明者】
【氏名】島田 健史
(72)【発明者】
【氏名】大竹 宏明
(72)【発明者】
【氏名】喜瀬 拓哉
(72)【発明者】
【氏名】藤井 雅和
【審査官】早川 学
(56)【参考文献】
【文献】米国特許出願公開第2014/0143085(US,A1)
【文献】特開2020-137069(JP,A)
【文献】特開2020-028085(JP,A)
【文献】特開2020-047259(JP,A)
【文献】特開2020-178167(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 16/00-16/958
(57)【特許請求の範囲】
【請求項1】
対象物を撮像する少なくとも1台のカメラと、
前記カメラと通信可能なサーバと、を備え、
前記カメラは、
前記対象物を撮像した撮像画像と前記撮像画像が白黒画像またはカラー画像のいずれかを示す画像色情報とを前記サーバに送信し、
前記サーバは、
前記撮像画像と前記画像色情報とを対応付けてデータベースに保存し、
ユーザ操作に基づいて設定された前記撮像画像の検索条件に、白色、黒色または灰色のうち少なくともいずれか1色の色条件が含まれているか否かを判定し、
前記検索条件に前記色条件が含まれていると判定した場合、前記データベースに保存されたすべての前記撮像画像から前記白黒画像を示す前記画像色情報が対応付けられた撮像画像を検索対象から除外して、前記検索条件を満たす撮像画像を含む検索結果を生成して出力し、
前記検索条件に前記色条件が含まれていないと判定した場合、前記データベースに保存されたすべての前記撮像画像のうち前記検索条件を満たす前記撮像画像を含む検索結果を生成して出力する、
検索支援システム。
【請求項2】
前記白黒画像は、夜間に撮像された前記撮像画像である、
請求項1に記載の検索支援システム。
【請求項3】
前記カラー画像は、昼間に撮像された前記撮像画像である、
請求項1に記載の検索支援システム。
【請求項4】
対象物を撮像する少なくとも1台のカメラとの間で通信可能に接続されたコンピュータが行う検索支援方法であって、
前記対象物を撮像した撮像画像と前記撮像画像が白黒画像またはカラー画像のいずれかを示す画像色情報とを対応付けてデータベースに保存し、
ユーザ操作に基づいて設定された前記撮像画像の検索条件に、白色、黒色または灰色のうち少なくともいずれか1色の色条件が含まれているか否かを判定し、
前記色条件が含まれていると判定した場合、前記データベースに保存されたすべての前記撮像画像から前記白黒画像を示す前記画像色情報が対応付けられた撮像画像を検索対象から除外して、前記検索条件を満たす撮像画像を含む検索結果を生成して出力し、
前記色条件が含まれていないと判定した場合、前記データベースに保存されたすべての前記撮像画像のうち前記検索条件を満たす撮像画像を含む検索結果を生成して出力する、
検索支援方法。
【請求項5】
対象物を撮像する少なくとも1台のカメラとの間で通信可能に接続されたコンピュータであるサーバに、
前記対象物を撮像した撮像画像と前記撮像画像が白黒画像またはカラー画像のいずれかを示す画像色情報とを対応付けてデータベースに保存するステップと、
ユーザ操作に基づいて設定された前記撮像画像の検索条件に、白色、黒色または灰色のうち少なくともいずれか1色の色条件が含まれているか否かを判定するステップと、
前記色条件が含まれていると判定した場合、前記データベースに保存されたすべての前記撮像画像から前記白黒画像を示す前記画像色情報が対応付けられた撮像画像を検索対象から除外して、前記検索条件を満たす撮像画像を含む検索結果を生成して出力するステップと、
前記色条件が含まれていないと判定した場合、前記データベースに保存されたすべての前記撮像画像のうち前記検索条件を満たす撮像画像を含む検索結果を生成して出力するステップと、を実現させるための、
検索支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、検索支援システム、検索支援方法および検索支援プログラムに関する。
【背景技術】
【0002】
特許文献1には、k(k:k≦nを満たす2以上の整数)台のカメラが設置された交差点の撮像映像に映る人物の位置情報および特徴情報を解析し、解析結果を用いて(k-1)台のカメラの撮像映像における捜索対象人物および捜索対象人物の交差点における移動方向を抽出し、(k-1)台のカメラが配置された交差点における捜索対象人物の移動方向を、k台のカメラが設置された交差点を示す地図データに重畳して表示する人物検索システムが開示されている。人物検索システムは、n(n:3以上の整数)台のカメラのそれぞれから送られた異なる撮像映像を受信すると、それぞれの撮像映像に映る人物の位置情報および特徴情報を解析して解析結果として蓄積する。人物検索システムは、n台のカメラのうちユーザ操作により選択されたk台のカメラの撮像映像のそれぞれを画面に表示し、k台のカメラの撮像映像のうちいずれかに映る捜索対象人物の選択に応じて生成された検索要求に基づいて、この検索要求に対応する捜索対象人物が映る撮像映像を撮像したカメラ以外の(k-1)台のカメラにより撮像された撮像映像における捜索対象人物の交差点における移動方向を抽出して、k台のカメラが設置された交差点を示す地図データに重畳して表示する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述した特許文献1の構成では、捜索対象の検索要求を設定する際に、ユーザは、捜索対象人物の服装、所持品、装着物等の色に関する条件を設定可能である。しかし、カメラは、昼間の時間帯ではカラー画像、夜間の時間帯では白黒画像で撮像するため、夜間の撮像画像から捜索対象人物の服装、所持品、装着物等の色を検知することが困難だった。このため、検索要求に捜索対象人物の服装、所持品、装着物等の色に関する条件に白、黒、灰色等の色の条件を含む場合、人物検索システムは、このような検索要求を満たす人物として、夜間に撮像され、色の検知精度が低い人物の撮像画像(つまり、誤検知である撮像画像)を含む検索結果をユーザに提示する可能性があった。よって、人物検索システムは、ユーザにより設定された検索要求によっては、ユーザが求める検索結果を提示できない可能性があった。
【0005】
本開示は、上述した従来の事情に鑑みて案出され、カメラにより撮像された撮像画像からユーザが要望する検索対象をより適切に検索し、ユーザによる監視業務をより効率的に支援する検索支援システム、検索支援方法および検索支援プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示は、対象物を撮像する少なくとも1台のカメラと、前記カメラと通信可能なサーバと、を備え、前記カメラは、前記対象物を撮像した撮像画像と前記撮像画像が白黒画像またはカラー画像のいずれかを示す画像色情報とを前記サーバに送信し、前記サーバは、前記撮像画像と前記画像色情報とを対応付けてデータベースに保存し、ユーザ操作に基づいて設定された前記撮像画像の検索条件に、白色、黒色または灰色のうち少なくともいずれか1色の色条件が含まれているか否かを判定し、前記検索条件に前記色条件が含まれていると判定した場合、前記データベースに保存されたすべての前記撮像画像から前記白黒画像を示す前記画像色情報が対応付けられた撮像画像を検索対象から除外して、前記検索条件を満たす撮像画像を含む検索結果を生成して出力し、前記検索条件に前記色条件が含まれていないと判定した場合、前記データベースに保存されたすべての前記撮像画像のうち前記検索条件を満たす前記撮像画像を含む検索結果を生成して出力する、検索支援システムを提供する。
【0007】
また、本開示は、対象物を撮像する少なくとも1台のカメラとの間で通信可能に接続されたコンピュータが行う検索支援方法であって、前記対象物を撮像した撮像画像と前記撮像画像が白黒画像またはカラー画像のいずれかを示す画像色情報とを対応付けてデータベースに保存し、ユーザ操作に基づいて設定された前記撮像画像の検索条件に、白色、黒色または灰色のうち少なくともいずれか1色の色条件が含まれているか否かを判定し、前記色条件が含まれていると判定した場合、前記データベースに保存されたすべての前記撮像画像から前記白黒画像を示す前記画像色情報が対応付けられた撮像画像を検索対象から除外して、前記検索条件を満たす撮像画像を含む検索結果を生成して出力し、前記色条件が含まれていないと判定した場合、前記データベースに保存されたすべての前記撮像画像のうち前記検索条件を満たす撮像画像を含む検索結果を生成して出力する、検索支援方法を提供する。
【0008】
また、本開示は、対象物を撮像する少なくとも1台のカメラとの間で通信可能に接続されたコンピュータであるサーバに、前記対象物を撮像した撮像画像と前記撮像画像が白黒画像またはカラー画像のいずれかを示す画像色情報とを対応付けてデータベースに保存するステップと、ユーザ操作に基づいて設定された前記撮像画像の検索条件に、白色、黒色または灰色のうち少なくともいずれか1色の色条件が含まれているか否かを判定するステップと、前記色条件が含まれていると判定した場合、前記データベースに保存されたすべての前記撮像画像から前記白黒画像を示す前記画像色情報が対応付けられた撮像画像を検索対象から除外して、前記検索条件を満たす撮像画像を含む検索結果を生成して出力するステップと、前記色条件が含まれていないと判定した場合、前記データベースに保存されたすべての前記撮像画像のうち前記検索条件を満たす撮像画像を含む検索結果を生成して出力するステップと、を実現させるための、検索支援プログラムを提供する。
【発明の効果】
【0009】
本開示によれば、カメラにより撮像された撮像画像からユーザが要望する検索対象をより適切に検索し、ユーザによる監視業務をより効率的に支援できる。
【図面の簡単な説明】
【0010】
【
図1】実施の形態1に係る検索支援システムの内部構成例を示すブロック図
【
図2】実施の形態1における人物の検索条件設定画面の一例を説明する図
【
図3】実施の形態1における車両の検索条件設定画面の一例を説明する図
【
図4A】実施の形態1に係る検索支援システムの人物検索手順例を示すシーケンス図
【
図4B】実施の形態1に係る検索支援システムの人物検索手順例においてデータベースに登録された各種データの一例を説明する図
【
図5】白黒画像を含む人物の検索結果画面の一例を説明する図
【
図6】白黒画像を除く人物の検索結果画面の一例を説明する図
【
図7A】実施の形態1に係る検索支援システムの車両検索手順例を示すシーケンス図
【
図7B】実施の形態1に係る検索支援システムの車両検索手順例においてデータベースに登録された各種データの一例を説明する図
【
図8】白黒画像を含む車両の検索結果画面の一例を説明する図
【
図9】白黒画像を除く車両の検索結果画面の一例を説明する図
【
図10】実施の形態1の変形例に係る検索支援システムの人物検索手順例を示すシーケンス図
【
図11A】実施の形態2に係る検索支援システムの人物検索手順例を示すシーケンス図
【
図11B】実施の形態2に係る検索支援システムの人物検索手順例においてデータベースに登録された各種データの一例を説明する図
【
図12】白黒画像を含む人物の検索結果画面の一例を説明する図
【
図13】白黒画像を除く人物の検索結果画面の一例を説明する図
【発明を実施するための形態】
【0011】
以下、適宜図面を参照しながら、本開示に係る検索支援システム、検索支援方法および検索支援プログラムの構成および作用を具体的に開示した各実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるものであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【0012】
(実施の形態1)
図1は、実施の形態1に係る検索支援システム100の内部構成例を示すブロック図である。検索支援システム100は、ユーザにより設定された検索条件に基づいて、カメラにより撮像された撮像画像から検索条件を満たす対象物が撮像された撮像画像を検索し、検索結果を出力する。検索支援システム100は、複数のカメラCM1,…,CMNのそれぞれと、サーバS1と、端末装置P1と、を含んで構成される。なお、実施の形態1に係るカメラは、例えば監視カメラであるが、カメラの用途および種類はこれに限定されない。なお、カメラの台数は少なくとも1台以上であればよい。また、端末装置P1は、複数台であってもよい。
【0013】
複数のカメラCM1,…,CMNのそれぞれは、屋内または屋外で監視エリアを撮像可能に設置されて、監視エリアを撮像する。複数のカメラCM1,…,CMNのそれぞれは、人工知能(AI:Artificial Intelligence)が搭載されたカメラであって、AIの学習済みモデルを用いて撮像された撮像映像(撮像画像)を解析し、ユーザにより設定された対象物の検知、および対象物の特徴量の抽出等を実行する。複数のカメラCM1,…,CMNのそれぞれは、同様の構成を有し、通信部CM10と、プロセッサCM11と、メモリCM12と、撮像部CM13と、を含んで構成される。
【0014】
通信部CM10は、サーバS1との間でデータ通信可能に接続される。なお、複数のカメラCM1,…,CMNのそれぞれは、サーバS1との間で有線通信可能に接続されてよいし、無線LAN等の無線ネットワークを介して接続されてもよい。ここでいう無線通信は、例えばBluetooth(登録商標)、NFC(登録商標)等の近距離無線通信、またはWi-Fi(登録商標)等の無線LAN(Local Area Network)を介した通信である。
【0015】
プロセッサCM11は、例えばCPU(Central Processing Unit)またはFPGA(Field Programmable Gate Array)を用いて構成され、メモリCM12と協働して、各種の処理および制御を行う。具体的には、プロセッサCM11はメモリCM12に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、各部の機能を実現する。なお、ここでいう機能は、事前に設定されたアプリケーション(学習モデル)に基づいて、ベストショット画像を用いて対象物(例えば、人物、車両等)の検知する機能、対象物の特徴量の抽出する機能、顔認証(顔照合)処理に使用可能な顔が検知されたか否かを判定する機能等である。
【0016】
プロセッサCM11は、事前に設定されたアプリケーション(学習モデル)に基づいて、撮像された撮像画像から監視エリア内の対象物(例えば、人物、車両等)を検知し、検知された対象物のベストショット画像を選定する。
【0017】
なお、ここでいうベストショット画像は、視認性または認識認証処理精度の観点から、例えば対象物(例えば、人物、車両等)が正面を向いている画像、ピンボケしていない画像、人物の目が開いている画像、車両あるいは二輪車のライセンスプレート(ナンバープレート)が正面を向いている画像等が選定されることが望ましい。
【0018】
プロセッサCM11は、選定されたベストショット画像に対象物である人物の顔が映っているか否かを判定し、人物の顔が映っていると判定した場合には、ベストショット画像に人物の顔が映っており、かつ、この顔が顔認証(顔照合)処理に使用可能な顔が検知されたか否かを示す情報(以降、「顔検知情報」と表記)を生成する。プロセッサCM11は、選定されたベストショット画像から対象物の特徴量(例えば、人物の属性情報、車両の属性情報等)を抽出する。また、プロセッサCM11は、選定されたベストショット画像が、夜間等の時間帯あるいは暗い場所で撮像された白黒画像であるか、昼間等の時間帯あるいは明るい場所で撮像されたカラー画像であるかを判定する。プロセッサCM11は、白黒画像であると判定した場合には、ベストショット画像が白黒画像であることを示す画像色情報を生成し、カラー画像であると判定した場合には、ベストショット画像がカラー画像であることを示す画像色情報をそれぞれ生成する。
【0019】
プロセッサCM11は、顔検知情報と、対象物の特徴量の情報(つまり、人物の属性情報、車両の属性情報等)と、顔検知情報と、画像色情報とを対応付けたメタデータを生成し、生成されたメタデータと、ベストショット画像と、自カメラを識別可能なカメラの情報とをさらに対応付けた検知データをサーバS1に送信する。
【0020】
なお、ここでいう人物の属性情報は、例えば、人物の年齢(年代)、性別、マスクの有無、髪型、髪の色、上半身の服装、上半身の服装の色、下半身の服装、下半身の服装の色、眼鏡の有無、ひげの有無等である。車両の属性情報は、例えば、車両の車型、車両の色、ライセンスプレート番号等である。
【0021】
メモリCM12は、例えばプロセッサCM11の各処理を実行する際に用いられるワークメモリとしてのRAM(Random Access Memory)と、プロセッサCM11の動作を規定したプログラムおよびデータを格納するROM(Read Only Memory)とを有する。RAMには、プロセッサCM11により生成あるいは取得されたデータもしくは情報が一時的に保存される。ROMには、プロセッサCM11の動作を規定するプログラムが書き込まれている。
【0022】
撮像部CM13は、少なくともレンズ(不図示)とイメージセンサ(不図示)とを有して構成される。イメージセンサは、例えばCCD(Charged-Coupled Device)あるいはCMOS(Complementary Metal-Oxide-Semiconductor)等の固体撮像素子であり、撮像面に結像した光学像を電気信号に変換する。撮像部CM13は、撮像された撮像画像をプロセッサCM11に出力する。
【0023】
サーバS1は、複数のカメラCM1,…,CMNのそれぞれと、端末装置P1との間でデータ通信可能に接続される。なお、サーバS1は、複数のカメラCM1,…,CMNのそれぞれと、端末装置P1との間で有線通信可能に接続されてよいし、無線LAN等の無線ネットワークを介して接続されてもよい。サーバS1は、複数のカメラCM1,…,CMNのそれぞれから送信された検知データをデータベースDB1に登録(格納)する。サーバS1は、端末装置P1から送信された検索条件に基づいて、データベースDB1に登録されたベストショット画像あるいはメタデータを検索し、検索条件を満たすベストショット画像を抽出した検索結果を端末装置P1に送信する。サーバS1は、通信部10と、プロセッサ11と、メモリ12と、データベースDB1と、を含んで構成される。なお、データベースDB1は、サーバS1と別体で構成されてもよい。さらに、データベースDB1は、複数あってよい。
【0024】
通信部10は、複数のカメラCM1,…,CMNのそれぞれと、端末装置P1との間でデータ通信可能な通信インターフェース回路を用いて構成される。通信部10は、端末装置P1から送信された検索条件、複数のカメラCM1,…,CMNのそれぞれから送信された検知データ等をプロセッサ11に出力する。また、通信部10は、プロセッサ11から出力された検索結果を端末装置P1に送信する。
【0025】
プロセッサ11は、例えばCPUまたはFPGAを用いて構成されて、メモリ12と協働して、各種の処理および制御を行う。具体的には、プロセッサ11はメモリ12に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、各部の機能を実現する。ここでいう各部の機能は、例えば、複数のカメラCM1,…,CMNのそれぞれから送信された検知データをデータベースDB1に登録(格納)する機能、端末装置P1から送信された検索条件に基づいて、データベースDB1を参照して、検索条件を満たすベストショット画像を検索する機能等である。
【0026】
メモリ12は、例えばプロセッサ11の各処理を実行する際に用いられるワークメモリとしてのRAMと、プロセッサ11の動作を規定したプログラムおよびデータを格納するROMとを有する。RAMには、プロセッサ11により生成あるいは取得されたデータもしくは情報が一時的に保存される。ROMには、プロセッサ11の動作を規定するプログラムが書き込まれている。
【0027】
データベースDB1は、例えばHDD(Hard Disk Drive)あるいはSSD(Solid State Drive)を用いて構成される。データベースDB1は、複数のカメラCM1,…,CMNのそれぞれから送信された検知データを登録(格納)する。なお、データベースDB1は、サーバS1に複数備えられていてもよいし、サーバS1と別体で構成されてもよい。
【0028】
端末装置P1は、例えば、PC(Personal Computer)、ノートPC、スマートフォン、タブレット端末等により実現され、ユーザの入力操作を受け付け可能なインターフェース(例えば、キーボード,マウス,タッチパネルディスプレイ等)を備える。端末装置P1は、サーバS1との間でデータ通信可能に接続される。なお、端末装置P1は、サーバS1との間で有線通信可能に接続されてよいし、無線LAN等の無線ネットワークを介して接続されてもよい。端末装置P1は、ユーザの入力操作に基づいて生成された検索条件をサーバS1に送信したり、サーバS1から送信された検索条件に対応する検索結果をモニタ23に表示したりする。端末装置P1は、通信部20と、プロセッサ21と、メモリ22と、モニタ23と、入力部24と、を含んで構成される。
【0029】
通信部20は、サーバS1との間でデータ送受信可能な通信インターフェース回路を用いて構成される。通信部20は、無線通信ネットワークまたは有線通信ネットワークを通じて、プロセッサ21によって生成された所定の対象物を検索(検知)するための検索条件をサーバS1に送信したり、サーバS1から送信された検索結果をプロセッサ11に出力したりする。
【0030】
プロセッサ21は、例えばCPUまたはFPGAを用いて構成されて、メモリ22と協働して、各種の処理および制御を行う。具体的には、プロセッサ21はメモリ22に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、各部の機能を実現する。ここでいう各部の機能は、例えば、入力部24に入力されたユーザの入力操作に基づいて、検索条件を生成する機能,サーバS1にから送信された検索結果をモニタ23に表示する機能等である。
【0031】
メモリ22は、例えばプロセッサ21の各処理を実行する際に用いられるワークメモリとしてのRAMと、プロセッサ21の動作を規定したプログラムおよびデータを格納するROMとを有する。RAMには、プロセッサ21により生成あるいは取得されたデータもしくは情報が一時的に保存される。ROMには、プロセッサ21の動作を規定するプログラムが書き込まれている。
【0032】
モニタ23は、例えばLCD(Liquid Crystal Display)または有機EL(Electroluminescence)等のディスプレイを用いて構成される。モニタ23は、検索条件を設定するための検索条件設定画面(
図2、
図3参照)、サーバS1から送信された検索結果を表示するための検索結果画面(
図5、
図6、
図8、
図9、
図12、
図13参照)等を表示する。
【0033】
入力部24は、例えばユーザの入力操作を検出するユーザインターフェースであり、マウス、キーボードまたはタッチパネル等を用いて構成される。入力部24は、受け付けられたユーザ操作を電気信号(制御指令)に変換して、プロセッサ21に出力する。
【0034】
ここで、
図2を参照して、対象物である人物に関する検索条件の設定画面について説明する。
図2は、実施の形態1における人物の検索条件設定画面SC1の一例を説明する図である。
【0035】
検索条件設定画面SC1は、ユーザ操作に基づいて、対象物の特徴量として人物の属性情報に関する検索条件を設定するための画面である。検索条件設定画面SC1は、検索条件の設定を要求するユーザ操作に基づいてプロセッサ21により生成されて、モニタ23に表示される。
【0036】
検索条件設定画面SC1は、人物の属性情報に関する複数の設定項目のそれぞれを含む。
図2に示す例において、検索条件設定画面SC1は、人物の属性情報に関する複数の設定項目HA1,HA2,HA3,HA4,HA5,HA6,HA7,HA8,HA9,HA10のそれぞれと、ベストショット画像に関する設定項目HA11,HA12のそれぞれと、を含んで表示される。なお、
図2に示す各種設定項目は、一例であってこれに限定されないことは言うまでもない。
【0037】
設定項目HA1は、人物の性別に関する検索条件「Gender」の指定を受け付ける。端末装置P1は、設定項目HA1へのユーザ操作により押下(選択)された性別を検索条件に設定する。なお、
図2に示す例において、設定項目HA1は、2種類の選択肢「Male」および「Female」のそれぞれを含む。
【0038】
設定項目HA2は、人物の年齢に関する検索条件「Age」の指定を受け付ける。端末装置P1は、設定項目HA2へのユーザ操作により押下(選択)された年齢を検索条件に設定する。なお、
図2に示す例において、設定項目HA2は、人物の年齢に関する4種類の選択肢「0-10」、「11-20」、「21-60」および「61+」のそれぞれを含み、人物の年齢に関する検索条件として「21-60」が選択されている。
【0039】
設定項目HA3は、人物の髪型に関する検索条件「Hair Type」の指定を受け付ける。端末装置P1は、設定項目HA3へのユーザ操作により押下(選択)された髪型を検索条件に設定する。なお、
図2に示す例において、設定項目HA3は、人物の髪型に関する3種類の選択肢(具体的には、ロングヘア、ショートカット、スキンヘッド等)のそれぞれを含む。
【0040】
設定項目HA4は、人物の髪の色に関する検索条件「Hair color」の指定を受け付ける。端末装置P1は、設定項目HA4へのユーザ操作により押下(選択)された髪の色を検索条件に設定する。なお、
図2に示す例において、設定項目HA4は、人物の髪の色に関する5種類の選択肢「黒色」、「灰色」、「白色」、「茶色」および「黄色」のそれぞれを含む。
【0041】
設定項目HA5は、人物の上半身の服装に関する検索条件「Tops type」の指定を受け付ける。端末装置P1は、設定項目HA5へのユーザ操作により押下(選択)された上半身の服装を検索条件に設定する。なお、
図2に示す例において、設定項目HA5は、人物の上半身の服装に関する2種類の選択肢「半袖」および「長袖」のそれぞれを含む。
【0042】
設定項目HA6は、人物の上半身の服装の色に関する検索条件「Tops color」の指定を受け付ける。端末装置P1は、設定項目HA6へのユーザ操作により押下(選択)された上半身の服装の色を検索条件に設定する。なお、
図2に示す例において、設定項目HA6は、人物の上半身の服装の色に関する11種類の選択肢「黒色」、「灰色」、「白色」、「茶色」、「オレンジ色」、「黄色」、「緑色」、「青色」、「紫色」、「ピンク色」および「赤色」のそれぞれを含む。
【0043】
設定項目HA7は、人物の下半身の服装に関する検索条件「Bottoms type」の指定を受け付ける。端末装置P1は、設定項目HA7へのユーザ操作により押下(選択)された下半身の服装を検索条件に設定する。なお、
図2に示す例において、設定項目HA7は、人物の下半身の服装に関する2種類の選択肢「長ズボン」および「半ズボン」のそれぞれを含む。
【0044】
設定項目HA8は、人物の下半身の服装の色に関する検索条件「Bottoms color」の指定を受け付ける。端末装置P1は、設定項目HA8へのユーザ操作により押下(選択)された下半身の服装の色を検索条件に設定する。なお、
図2に示す例において、設定項目HA8は、人物の下半身の服装の色に関する11種類の選択肢「黒色」、「灰色」、「白色」、「茶色」、「オレンジ色」、「黄色」、「緑色」、「青色」、「紫色」、「ピンク色」および「赤色」のそれぞれを含む。
【0045】
設定項目HA9は、人物の装飾物である眼鏡に関する検索条件「Glasses」の指定を受け付ける。端末装置P1は、設定項目HA9へのユーザ操作により押下(選択)された装飾物である眼鏡の有無を検索条件に設定する。なお、
図2に示す例において、設定項目HA9は、人物の装飾物である眼鏡に関する2種類の選択肢「Sunglasses」および「No Glass」のそれぞれを含む。
【0046】
設定項目HA10は、人物の顎鬚に関する検索条件「Beard」の指定を受け付ける。端末装置P1は、設定項目HA10へのユーザ操作により押下(選択)された顎鬚の有無を検索条件に設定する。なお、
図2に示す例において、設定項目HA10は、人物の顎鬚に関する2種類の選択肢「Beard」および「No Beard」のそれぞれを含む。
【0047】
設定項目HA11は、上述した複数の設定項目HA1~HA10のそれぞれで設定された検索条件を満たすベストショット画像を、顔検知情報が対応付けられたベストショット画像から検索するか否かを指定するための検索条件「Recognizable face only」の指定を受け付ける。端末装置P1は、設定項目HA11で検索条件「Recognizable face only」がユーザ操作により押下(選択)された場合、顔検知情報が対応付けられたベストショット画像のうち上述した複数の設定項目HA1~HA10のそれぞれで設定された検索条件を満たすベストショット画像を検索するための検索条件を設定する。これにより、検索支援システム100は、色に関する検索条件を用いた人物の検索が困難であっても、夜間に撮像された白黒画像を用いた人物の検索において、ベストショット画像に映る人物の顔が識別可能な画像をより容易に検索できる。
【0048】
設定項目HA12は、上述した複数の設定項目HA1~HA10のそれぞれで設定された検索条件を満たすベストショット画像を、カラー画像であることを示す画像色情報が対応付けられたベストショット画像から検索するか否かを指定するための検索条件「Color image only」の指定を受け付ける。端末装置P1は、設定項目HA12で検索条件「Color image only」がユーザ操作により押下(選択)された場合、カラー画像であることを示す画像色情報が対応付けられたベストショット画像のうち上述した複数の設定項目HA1~HA10のそれぞれで設定された検索条件を満たすベストショット画像を検索するための検索条件を設定する。
【0049】
ここで、
図3を参照して、対象物である車両に関する検索条件の設定画面について説明する。
図3は、実施の形態1における車両の検索条件設定画面SC2の一例を説明する図である。
【0050】
検索条件設定画面SC2は、ユーザ操作に基づいて、対象物の特徴量として車両の属性情報に関する検索条件を設定するための画面である。検索条件設定画面SC2は、検索条件の設定を要求するユーザ操作に基づいてプロセッサ21により生成されて、モニタ23に表示される。
【0051】
検索条件設定画面SC2は、車両の属性情報に関する複数の設定項目のそれぞれを含む。
図3に示す例において、検索条件設定画面SC2は、車両の属性情報に関する複数の設定項目CA1,CA2のそれぞれと、ベストショット画像に関する設定項目CA3と、を含んで表示される。なお、
図3に示す各種設定項目は、一例であってこれに限定されないことは言うまでもない。
【0052】
設定項目CA1は、車両の車型に関する検索条件「Type」の指定を受け付ける。端末装置P1は、設定項目CA1へのユーザ操作により押下(選択)された車両の車型を検索条件に設定する。なお、
図3に示す例において、設定項目CA1は、車両の車型に関する7種類の選択肢「Sedan」、「Van」、「SUV」、「Truck」、「Bus」、「PickUp Truck」および「Two wheels」のそれぞれを含む。
【0053】
設定項目CA2は、車両の色に関する検索条件「Color」の指定を受け付ける。端末装置P1は、設定項目CA2へのユーザ操作により押下(選択)された車両の色を検索条件に設定する。なお、
図3に示す例において、設定項目CA2は、車両の色に関する10種類の選択肢
11種類の選択肢「黒色」、「灰色」、「白色」、「茶色」、「黄色」、「緑色」、「青色」、「紫色」、「ピンク色」および「赤色」のそれぞれを含む。
【0054】
設定項目CA3は、上述した複数の設定項目CA1,CA2のそれぞれで設定された検索条件を満たすベストショット画像を、カラー画像であることを示す画像色情報が対応付けられたベストショット画像から検索するか否かを指定するための検索条件「Color image only」の指定を受け付ける。端末装置P1は、設定項目CA3で検索条件「Color image only」がユーザ操作により押下(選択)された場合、カラー画像であることを示す画像色情報が対応付けられたベストショット画像のうち上述した複数の設定項目CA1,CA2のそれぞれで設定された検索条件を満たすベストショット画像を検索するための検索条件を設定する。
【0055】
次に、
図4Aおよび
図4Bを参照して、検索支援システム100により実行される人物の検索手順について説明する。
図4Aは、実施の形態1に係る検索支援システム100の人物検索手順例を示すシーケンス図である。
図4Bは、実施の形態1に係る検索支援システム100の人物検索手順例においてデータベースDB1に登録された各種データの一例を説明する図である。なお、
図4Aに示すシーケンス図は、本実施の形態1におけるサーバS1により実行される検索手順を分かりやすくするために、ステップSt18およびステップSt23の処理で入力された2つの検索条件例のそれぞれに基づく検索手順を具体的に説明する図である。なお、2つの検索条件例のそれぞれは、一例であってこれに限定されないことは言うまでもない。
【0056】
複数のカメラCM1,…,CMNのそれぞれは、監視エリアが撮像された撮像画像に基づいて、対象物である人物を検知する(St11)。複数のカメラCM1,…,CMNのそれぞれは、検知された対象物である人物ごとのベストショット画像を選定し、選定されたベストショット画像に基づいて、顔検知情報の生成判定処理(つまり、ベストショット画像に対象物である人物の顔が映っているか否かの判定に基づく顔検知情報の生成判定)、対象物(人物)の特徴量の抽出処理、ベストショット画像の画像色情報の生成処理等を実行する。複数のカメラCM1,…,CMNのそれぞれは、顔検知情報と、対象物の特徴量の情報と、顔検知情報と、画像色情報とを対応付けたメタデータを生成する。
【0057】
複数のカメラCM1,…,CMNのそれぞれは、生成されたメタデータと、人物のベストショット画像と、カメラを識別可能なカメラの情報とを対応付けた検知データを生成して、サーバS1に送信する(St12)。なお、ステップSt12においてサーバS1に送信される人物のベストショット画像「人物画像 No.1」は、昼間の時間帯に撮像されたカラー画像であって、対象物の特徴量の情報として人物の属性情報である性別「男性」および上半身の服の色「白」と、画像色情報「TRUE」とが対応付けられている例を示す。また、ここでいう画像色情報「TRUE」は、ベストショット画像「人物画像 No.1」がカラー画像であることを示す。
【0058】
サーバS1は、複数のカメラCM1,…,CMNのそれぞれから送信されたベストショット画像「人物画像 No.1」をデータベースDB1に保存(登録)する(St13)。
【0059】
複数のカメラCM1,…,CMNのそれぞれは、監視エリアが撮像された撮像画像に基づいて、対象物である人物を検知する(
図4Aに示す破線部内のステップSt11の処理を参照)。複数のカメラCM1,…,CMNのそれぞれは、生成されたメタデータと、人物のベストショット画像と、カメラを識別可能なカメラの情報とを対応付けた検知データを生成して、サーバS1に送信する(St14)。なお、ステップSt14においてサーバS1に送信される人物のベストショット画像「人物画像 No.2」は、夜間の時間帯に撮像された白黒画像であって、対象物の特徴量の情報として人物の属性情報である性別「男性」および上半身の服の色「灰」と、画像色情報「FALSE」とが対応付けられている例を示す。また、ここでいう画像色情報「FALSE」は、ベストショット画像「人物画像 No.2」が白黒画像であることを示す。
【0060】
サーバS1は、複数のカメラCM1,…,CMNのそれぞれから送信されたベストショット画像「人物画像 No.2」をデータベースDB1に保存(登録)する(St15)。
【0061】
同様に、複数のカメラCM1,…,CMNのそれぞれは、監視エリアが撮像された撮像画像に基づいて、対象物である人物を検知する(
図4Aに示す破線部内のステップSt11の処理を参照)。複数のカメラCM1,…,CMNのそれぞれは、生成されたメタデータと、人物のベストショット画像と、カメラを識別可能なカメラの情報とを対応付けた検知データを生成して、サーバS1に送信する(St16)。なお、ステップSt16においてサーバS1に送信される人物のベストショット画像「人物画像 No.1000」は、夜間の時間帯に撮像された白黒画像であって、対象物の特徴量の情報として人物の属性情報である性別「男性」および上半身の服の色「白」と、画像色情報「FALSE」とが対応付けられている例を示す。また、ここでいう画像色情報「FALSE」は、ベストショット画像「人物画像 No.1000」が白黒画像であることを示す。
【0062】
サーバS1は、複数のカメラCM1,…,CMNのそれぞれから送信されたベストショット画像「人物画像 No.1000」をデータベースDB1に保存(登録)する(St17)。
【0063】
上述したステップSt11~ステップSt17のそれぞれの処理により、
図4Bに示すデータベースDB1は、ベストショット画像の番号(
図4Bに示す「No.」)と、人物の性別情報「男性」と、人物の上半身の服の色「白」または「灰」と、ベストショット画像の画像色情報「TRUE」または「FALSE」と、1000枚のベストショット画像とをそれぞれ対応付けて保存(登録)する。なお、
図4Aおよび
図4Bに示すベストショット画像のそれぞれ、および各ベストショット画像に対応付けられたメタデータ(例えば、顔検知情報、人物の特徴量、画像色情報等)は、一例であってこれに限定されないことは言うまでもない。以降のステップSt18~ステップSt27のそれぞれの処理の説明は、説明を分かり易くするために、
図4Aに示すデータベースDB1に登録された1000枚のベストショット画像のそれぞれを用いて検索条件を満たすベストショット画像の検索手順について具体的に説明する。なお、
図4Aおよび
図4Bでは、番号「No.3」~番号「No.999」のそれぞれに対応するベストショット画像は、人物の属性情報が性別「男性」であり、人物の上半身の服の色「白」または「灰」であり、かつ、画像色情報「FALSE」であるが、説明および図示を省略している。
【0064】
端末装置P1は、入力部24によりユーザによる検索条件の入力(設定)操作を受け付ける(St18)。なお、ここで
図4Aに示すステップSt18で設定された検索条件は、一例として、検索条件「Color image only」が未設定(無効)であり、対象物の特徴量に関する条件として、人物の性別が「男性」、かつ、服の色が「白」または「灰」である例について説明する。端末装置P1は、設定された検索条件(人物の性別が「男性」、かつ、服の色が「白」または「灰」)をサーバS1に送信する(St19)。
【0065】
サーバS1は、端末装置P1から送信された検索条件に基づいて、データベースDB1に保存(登録)された複数のベストショット画像のそれぞれに対応する対象物の特徴量(ここでは、人物の属性情報)を参照し、検索条件を満たす人物画像(つまり、ベストショット画像)を検索する(St20)。ここで、
図4Aに示す例におけるサーバS1は、データベースDB1に登録された1000枚のベストショット画像のそれぞれに対応付けられたメタデータと、検索条件(具体的に、人物の性別が「男性」、かつ、服の色が「白」または「灰」である)とを照合し、この検索条件を満たすと判定した人物画像(ベストショット画像)を検索する。サーバS1は、検索条件を満たすと判定した人物画像(ベストショット画像)に基づいて、検索結果のデータを生成し、生成された検索結果のデータ(ここでは、番号「No.1」~番号「No.1000」のそれぞれに対応する1000枚のベストショット画像のそれぞれ)を端末装置P1に送信する(St21)。
【0066】
端末装置P1は、サーバS1から送信された検索結果のデータ(つまり、番号「No.1」~「No.1000」のそれぞれに対応する1000枚のベストショット画像のそれぞれ)をモニタ23に表示する(St22)。
【0067】
また、端末装置P1は、入力部24によりユーザによる検索条件の入力(設定)操作を受け付ける(St23)。なお、ここで
図4Aに示すステップSt23で設定された検索条件は、一例として、検索条件「Color image only」が設定(有効化)され、対象物の特徴量に関する条件として、人物の性別が「男性」、かつ、服の色が「白」または「灰」である例について説明する。端末装置P1は、設定された検索条件(ベストショット画像がカラー画像、かつ、人物の性別が「男性」、かつ、服の色が「白」または「灰」)をサーバS1に送信する(St24)。
【0068】
サーバS1は、端末装置P1から送信された検索条件に基づいて、データベースDB1に保存(登録)された複数のベストショット画像のそれぞれに対応する対象物の特徴量(ここでは、人物の属性情報)を参照し、検索条件を満たす人物画像(つまり、ベストショット画像)を検索する(St25)。ここで、
図4Aに示す例におけるサーバS1は、データベースDB1に登録された1000枚のベストショット画像のそれぞれに対応付けられたメタデータと、検索条件(具体的に、ベストショット画像がカラー画像、かつ、人物の性別が「男性」、かつ、服の色が「白」または「灰」である)とを照合し、この検索条件を満たすと判定した人物画像(ベストショット画像)を検索する。サーバS1は、検索条件を満たすと判定した人物画像(ベストショット画像)に基づいて、検索結果のデータを生成し、生成された検索結果のデータ(ここでは、番号「No.1」に対応する1枚のベストショット画像)を端末装置P1に送信する(St26)。
【0069】
端末装置P1は、サーバS1から送信された検索結果のデータ(つまり、番号「No.1」に対応する1枚のベストショット画像)をモニタ23に表示する(St27)。
【0070】
以上のように、実施の形態1に係る検索支援システム100は、検索条件「Color image only」を無効化または有効化することで、カラー画像でないベストショット画像(つまり、画像色情報が白黒画像であるベストショット画像)を検索対象から除外するか否かを判定する。これにより、検索支援システム100は、検索条件「Color image only」を有効化した場合、カラー画像でないベストショット画像(つまり、画像色情報が白黒画像であるベストショット画像)を除外した検索結果を出力できる。これにより、検索支援システム100は、カラー画像から抽出された色に関する特徴量の情報(例えば、白色、黒色、灰色等)と、白黒画像から抽出された色に関する特徴量の情報(例えば、白色、黒色、灰色等)とを識別でき、検索条件により適した検索結果を出力できる。
【0071】
次に、
図5および
図6を参照して、端末装置P1に表示される検索結果画面SC3,SC4のそれぞれについて説明する。
図5は、白黒画像を含む人物の検索結果画面SC3の一例を説明する図である。
図6は、白黒画像を除く人物の検索結果画面SC4の一例を説明する図である。なお、
図5および
図6に示す検索結果画面SC3,SC4のそれぞれは一例であって、これに限定されないことは言うまでもない。
【0072】
また、
図5および
図6に示す検索結果画面SC3,SC4のそれぞれでは、撮像日時、顔検知情報、および画像色情報に関する検索条件の入力欄を含む例を示すが、これらの検索条件は検索条件設定画面SC1(
図2参照)で設定可能であってもよい。さらに、
図5および
図6に示す検索結果画面SC3,SC4のそれぞれは、「Search Filter」で検索条件設定画面SC1(
図2参照)に示す各種設定項目に対応する検索条件を設定可能であってもよい。具体的に、端末装置P1は、検索結果画面SC3,SC4のそれぞれにおいて、ユーザ操作により「Search Filter」が選択(押下)された場合、検索条件設定画面SC1(
図2参照)に示す各種設定項目に対応する検索条件を設定可能な設定欄(不図示)を表示してユーザ操作に基づく検索条件の入力を受け付けてもよいし、検索条件設定画面SC1(
図2参照)に移行してユーザ操作に基づく検索条件の入力を受け付けてもよい。
【0073】
図5に示す検索結果画面SC3は、端末装置P1によりサーバS1から送信された検索結果のデータに基づいて生成されて、モニタ23に表示される。具体的に、検索結果画面SC3は、撮像日時設定欄DT31と、人物検索条件欄PT31と、検索ボタンBT31と、検索結果表示領域AR31と、を含んで生成される。
【0074】
撮像日時設定欄DT31は、検索条件としてベストショット画像が撮像された撮像日時あるいは撮像日時の期間に関する検索条件について、ユーザによる入力操作を受け付ける。端末装置P1は、撮像開始日時DT32と撮像終了日時DT33とに入力された撮像日時の情報に基づいて、検索条件を設定する。なお、
図5に示す例において、端末装置P1は、撮像開始日時DT32に入力された「3/16/2020 7:40:47 AM」から撮像終了日時DT33に入力された「3/21/2020 7:40:47 AM」までのベストショット画像を検索する検索条件を設定している。
【0075】
人物検索条件欄PT31は、対象物である人物に関する検索条件「Recognizable face only」と、検索条件「Color image only」との設定についてユーザによる入力操作を受け付ける。端末装置P1は、ユーザ操作により選択(押下)された検索条件を設定する。なお、
図5に示す例において、端末装置P1は、検索条件「Recognizable face only」および検索条件「Color image only」を無効にする検索条件を設定している。
【0076】
検索ボタンBT31は、撮像日時設定欄DT31および人物検索条件欄PT31のそれぞれで設定された検索条件に基づく検索処理をサーバS1に要求するためのボタンである。端末装置P1は、検索ボタンBT31がユーザにより押下(選択)されると、撮像日時設定欄DT31および人物検索条件欄PT31のそれぞれで設定された検索条件と、検索条件に基づく検索を要求する制御指令とを生成して、サーバS1に送信する。
【0077】
検索結果表示領域AR31は、撮像日時設定欄DT31および人物検索条件欄PT31のそれぞれで設定された検索条件に基づいて、サーバS1により検索されて送信された検索結果のデータに含まれるベストショット画像のそれぞれを一覧表示する。
【0078】
図5に示す検索結果表示領域AR31は、撮像日時設定欄DT31および人物検索条件欄PT31のそれぞれで設定された検索条件に基づく検索結果として18枚のベストショット画像のそれぞれを表示している。なお、
図5に示す検索結果表示領域AR31において、実線枠で囲まれた12枚のベストショット画像のそれぞれは、カラー画像である。同様に、破線枠で囲まれた6枚のベストショット画像のそれぞれは、白黒画像である。
【0079】
図6に示す検索結果画面SC4は、端末装置P1によりサーバS1から送信された検索結果のデータに基づいて生成されて、モニタ23に表示される。具体的に、検索結果画面SC4は、撮像日時設定欄DT41と、人物検索条件欄PT41と、検索ボタンBT41と、検索結果表示領域AR41と、を含んで生成される。
【0080】
撮像日時設定欄DT41は、検索条件としてベストショット画像が撮像された撮像日時あるいは撮像日時の期間に関する検索条件について、ユーザによる入力操作を受け付ける。端末装置P1は、撮像開始日時DT42と撮像終了日時DT43とに入力された撮像日時の情報に基づいて、検索条件を設定する。なお、
図6に示す例において、端末装置P1は、撮像開始日時DT42に入力された「3/16/2020 7:40:47 AM」から撮像終了日時DT43に入力された「3/21/2020 7:40:47 AM」までのベストショット画像を検索する検索条件を設定している。
【0081】
人物検索条件欄PT41は、対象物である人物に関する検索条件「Recognizable face only」と、検索条件「Color image only」との設定についてユーザによる入力操作を受け付ける。端末装置P1は、ユーザ操作により選択(押下)された検索条件を設定する。なお、
図6に示す例において、端末装置P1は、検索条件「Recognizable face only」を無効にし、検索条件「Color image only」を有効にする検索条件を設定している。
【0082】
検索ボタンBT41は、撮像日時設定欄DT41および人物検索条件欄PT41のそれぞれで設定された検索条件に基づく検索処理をサーバS1に要求するためのボタンである。端末装置P1は、検索ボタンBT41がユーザにより押下(選択)されると、撮像日時設定欄DT41および人物検索条件欄PT41のそれぞれで設定された検索条件と、検索条件に基づく検索を要求する制御指令とを生成して、サーバS1に送信する。
【0083】
検索結果表示領域AR41は、撮像日時設定欄DT41および人物検索条件欄PT41のそれぞれで設定された検索条件に基づいて、サーバS1により検索されて送信された検索結果のデータに含まれるベストショット画像のそれぞれを一覧表示する。
【0084】
図6に示す検索結果表示領域AR41は、撮像日時設定欄DT41および人物検索条件欄PT41のそれぞれで設定された検索条件に基づく検索結果として12枚のベストショット画像のそれぞれを表示している。なお、
図6に示す検索結果表示領域AR41において、実線枠で囲まれた12枚のベストショット画像のそれぞれは、カラー画像である。
【0085】
以上のように、実施の形態1に係る検索支援システム100は、検索条件「Color image only」を無効化または有効化することで、カラー画像でないベストショット画像(つまり、画像色情報が白黒画像であるベストショット画像)を検索対象から除外するか否かを判定する。これにより、検索支援システム100は、検索条件「Color image only」を有効化した場合、カラー画像でないベストショット画像(つまり、画像色情報が白黒画像であるベストショット画像)を除外した検索結果を出力できる。これにより、検索支援システム100は、カラー画像から抽出された色に関する特徴量の情報(例えば、白色、黒色、灰色等)と、白黒画像から抽出された色に関する特徴量の情報(例えば、白色、黒色、灰色等)とを識別でき、検索条件により適した検索結果を出力できる。
【0086】
次に、
図7Aおよび
図7Bを参照して、検索支援システム100により実行される車両の検索手順について説明する。
図7Aは、実施の形態1に係る検索支援システム100の車両検索手順例を示すシーケンス図である。
図7Bは、実施の形態1に係る検索支援システム100の人物検索手順例においてデータベースDB1に登録された各種データの一例を説明する図である。なお、
図7Aに示すシーケンス図は、本実施の形態1におけるサーバS1により実行される検索手順を分かりやすくするために、ステップSt38およびステップSt43の処理で入力された2つの検索条件例のそれぞれに基づく検索手順を具体的に説明する図である。なお、2つの検索条件例のそれぞれは、一例であってこれに限定されないことは言うまでもない。
【0087】
複数のカメラCM1,…,CMNのそれぞれは、監視エリアが撮像された撮像画像に基づいて、対象物である車両を検知する(St31)。複数のカメラCM1,…,CMNのそれぞれは、検知された対象物である車両ごとのベストショット画像を選定し、選定されたベストショット画像に基づいて、対象物(車両)の特徴量の抽出処理、ベストショット画像の画像色情報の生成処理等を実行する。複数のカメラCM1,…,CMNのそれぞれは、顔検知情報と、対象物の特徴量の情報と、画像色情報とを対応付けたメタデータを生成する。
【0088】
複数のカメラCM1,…,CMNのそれぞれは、生成されたメタデータと、車両のベストショット画像と、カメラを識別可能なカメラの情報とを対応付けた検知データを生成して、サーバS1に送信する(St32)。なお、ステップSt32においてサーバS1に送信される車両のベストショット画像「車両画像 No.1」は、昼間の時間帯に撮像されたカラー画像であって、対象物の特徴量の情報として車両の属性情報である車種「セダン」および車両の色「白」と、画像色情報「TRUE」とが対応付けられている例を示す。また、ここでいう画像色情報「TRUE」は、ベストショット画像「車両画像 No.1」がカラー画像であることを示す。
【0089】
サーバS1は、複数のカメラCM1,…,CMNのそれぞれから送信されたベストショット画像「車両画像 No.1」をデータベースDB1に保存(登録)する(St33)。
【0090】
複数のカメラCM1,…,CMNのそれぞれは、監視エリアが撮像された撮像画像に基づいて、対象物である車両を検知する(
図7Aに示す破線部内のステップSt31の処理を参照)。複数のカメラCM1,…,CMNのそれぞれは、生成されたメタデータと、車両のベストショット画像と、カメラを識別可能なカメラの情報とを対応付けた検知データを生成して、サーバS1に送信する(St34)。なお、ステップSt34においてサーバS1に送信される車両のベストショット画像「車両画像 No.2」は、夜間の時間帯に撮像された白黒画像であって、対象物の特徴量の情報として車両の属性情報である車種「セダン」および車両の色「灰」と、画像色情報「FALSE」とが対応付けられている例を示す。また、ここでいう画像色情報「FALSE」は、ベストショット画像「車両画像 No.2」が白黒画像であることを示す。
【0091】
サーバS1は、複数のカメラCM1,…,CMNのそれぞれから送信されたベストショット画像「車両画像 No.2」をデータベースDB1に保存(登録)する(St35)。
【0092】
同様に、複数のカメラCM1,…,CMNのそれぞれは、監視エリアが撮像された撮像画像に基づいて、対象物である車両を検知する(
図7Aに示す破線部内のステップSt31の処理を参照)。複数のカメラCM1,…,CMNのそれぞれは、生成されたメタデータと、車両のベストショット画像と、カメラを識別可能なカメラの情報とを対応付けた検知データを生成して、サーバS1に送信する(St36)。なお、ステップSt36においてサーバS1に送信される車両のベストショット画像「車両画像 No.1000」は、夜間の時間帯に撮像された白黒画像であって、対象物の特徴量の情報として車両の属性情報である車種「セダン」および車両の色「白」と、画像色情報「FALSE」とが対応付けられている例を示す。また、ここでいう画像色情報「FALSE」は、ベストショット画像「車両画像 No.1000」が白黒画像であることを示す。
【0093】
サーバS1は、複数のカメラCM1,…,CMNのそれぞれから送信されたベストショット画像「車両画像 No.1000」をデータベースDB1に保存(登録)する(St37)。
【0094】
上述したステップSt31~ステップSt37のそれぞれの処理により、
図7Bに示すデータベースDB1は、ベストショット画像の番号(
図7Bに示す「No.」)と、車両の車種情報「セダン」と、車両の色「白」または「灰」と、ベストショット画像の画像色情報「TRUE」または「FALSE」と、1000枚のベストショット画像とをそれぞれ対応付けて保存(登録)する。なお、
図7Aおよび
図7Bに示すベストショット画像のそれぞれ、および各ベストショット画像に対応付けられたメタデータ(例えば、車両の特徴量、画像色情報等)は、一例であってこれに限定されないことは言うまでもない。以降のステップSt38~ステップSt47のそれぞれの処理の説明は、説明を分かり易くするために、
図7Bに示すデータベースDB1に登録された1000枚のベストショット画像のそれぞれを用いて検索条件を満たすベストショット画像の検索手順について具体的に説明する。なお、
図7Aおよび
図7Bでは、番号「No.3」~番号「No.999」のそれぞれに対応するベストショット画像については、車両の車種情報が「セダン」であり、車両の色が「白」または「灰」であり、ベストショット画像の画像色情報が「FALSE」であるが、説明および図示を省略している。
【0095】
端末装置P1は、入力部24によりユーザによる検索条件の入力(設定)操作を受け付ける(St38)。なお、ここで
図7Aに示すステップSt38で設定された検索条件は、一例として、検索条件「Color image only」が未設定(無効)であり、対象物の特徴量に関する条件として、車両の車種が「セダン」、かつ、車両の色が「白」または「灰」である例について説明する。端末装置P1は、設定された検索条件(車両の車種が「セダン」、かつ、車両の色が「白」または「灰」)をサーバS1に送信する(St39)。
【0096】
サーバS1は、端末装置P1から送信された検索条件に基づいて、データベースDB1に保存(登録)された複数のベストショット画像のそれぞれに対応する対象物の特徴量(ここでは、車両の属性情報)を参照し、検索条件を満たす車両画像(つまり、ベストショット画像)を検索する(St40)。ここで、
図7Aに示す例におけるサーバS1は、データベースDB1に登録された1000枚のベストショット画像のそれぞれに対応付けられたメタデータと、検索条件(具体的に、車両の車種が「セダン」、かつ、車両の色が「白」または「灰」である)とを照合し、この検索条件を満たすと判定した車両画像(ベストショット画像)を検索する。サーバS1は、検索条件を満たすと判定した車両画像(ベストショット画像)に基づいて、検索結果のデータを生成し、生成された検索結果のデータ(ここでは、番号「No.1」~番号「No.1000」のそれぞれに対応する1000枚のベストショット画像のそれぞれ)を端末装置P1に送信する(St41)。
【0097】
端末装置P1は、サーバS1から送信された検索結果のデータ(つまり、番号「No.1」~「No.1000」のそれぞれに対応する1000枚のベストショット画像のそれぞれ)をモニタ23に表示する(St42)。
【0098】
また、端末装置P1は、入力部24によりユーザによる検索条件の入力(設定)操作を受け付ける(St43)。なお、ここで
図7Aに示すステップSt43で設定された検索条件は、一例として、検索条件「Color image only」が設定(有効化)され、対象物の特徴量に関する条件として、車両の車種が「セダン」、かつ、車両の色が「白」または「灰」である例について説明する。端末装置P1は、設定された検索条件(ベストショット画像がカラー画像、かつ、車両の車種が「セダン」、かつ、車両の色が「白」または「灰」)をサーバS1に送信する(St44)。
【0099】
サーバS1は、端末装置P1から送信された検索条件に基づいて、データベースDB1に保存(登録)された複数のベストショット画像のそれぞれに対応する対象物の特徴量(ここでは、車両の属性情報)を参照し、検索条件を満たす車両画像(つまり、ベストショット画像)を検索する(St45)。ここで、
図7Aに示す例におけるサーバS1は、データベースDB1に登録された1000枚のベストショット画像のそれぞれに対応付けられたメタデータと、検索条件(具体的に、ベストショット画像がカラー画像、かつ、車両の車種が「セダン」、かつ、車両の色が「白」または「灰」である)とを照合し、この検索条件を満たすと判定した車両画像(ベストショット画像)を検索する。サーバS1は、検索条件を満たすと判定した車両画像(ベストショット画像)に基づいて、検索結果のデータを生成し、生成された検索結果のデータ(ここでは、番号「No.1」に対応する1枚のベストショット画像)を端末装置P1に送信する(St46)。
【0100】
端末装置P1は、サーバS1から送信された検索結果のデータ(つまり、番号「No.1」に対応する1枚のベストショット画像)をモニタ23に表示する(St47)。
【0101】
以上のように、実施の形態1に係る検索支援システム100は、検索条件「Color image only」を無効化または有効化することで、カラー画像でないベストショット画像(つまり、画像色情報が白黒画像であるベストショット画像)を検索対象から除外するか否かを判定する。これにより、検索支援システム100は、検索条件「Color image only」を有効化した場合、カラー画像でないベストショット画像(つまり、画像色情報が白黒画像であるベストショット画像)を除外した検索結果を出力できる。これにより、検索支援システム100は、カラー画像から抽出された色に関する特徴量の情報(例えば、白色、黒色、灰色等)と、白黒画像から抽出された色に関する特徴量の情報(例えば、白色、黒色、灰色等)とを識別でき、検索条件により適した検索結果を出力できる。
【0102】
次に、
図8および
図9を参照して、端末装置P1に表示される検索結果画面SC5,SC6のそれぞれについて説明する。
図8は、白黒画像を含む車両の検索結果画面SC5の一例を説明する図である。
図9は、白黒画像を除く車両の検索結果画面SC6の一例を説明する図である。なお、
図8および
図9に示す検索結果画面SC5,SC6のそれぞれは一例であって、これに限定されないことは言うまでもない。
【0103】
また、
図8および
図9に示す検索結果画面SC5,SC6のそれぞれでは、撮像日時、顔検知情報、および画像色情報に関する検索条件の入力欄を含む例を示すが、これらの検索条件は検索条件設定画面SC2(
図3参照)で設定可能であってもよい。さらに、
図8および
図9に示す検索結果画面SC5,SC6のそれぞれは、「Search Filter」で検索条件設定画面SC2(
図3参照)に示す各種設定項目に対応する検索条件を設定可能であってもよい。具体的に、端末装置P1は、検索結果画面SC5,SC6のそれぞれにおいて、ユーザ操作により「Search Filter」が選択(押下)された場合、検索条件設定画面SC2(
図3参照)に示す各種設定項目に対応する検索条件を設定可能な設定欄(不図示)を表示してユーザ操作に基づく検索条件の入力を受け付けてもよいし、検索条件設定画面SC2(
図3参照)に移行してユーザ操作に基づく検索条件の入力を受け付けてもよい。
【0104】
図8に示す検索結果画面SC5は、端末装置P1によりサーバS1から送信された検索結果のデータに基づいて生成されて、モニタ23に表示される。具体的に、検索結果画面SC5は、撮像日時設定欄DT51と、車両検索条件欄PT51と、検索ボタンBT51と、検索結果表示領域AR51と、を含んで生成される。
【0105】
撮像日時設定欄DT51は、検索条件としてベストショット画像が撮像された撮像日時あるいは撮像日時の期間に関する検索条件について、ユーザによる入力操作を受け付ける。端末装置P1は、撮像開始日時DT52と撮像終了日時DT53とに入力された撮像日時の情報に基づいて、検索条件を設定する。なお、
図8に示す例において、端末装置P1は、撮像開始日時DT52に入力された「3/16/2020 7:40:47 AM」から撮像終了日時DT53に入力された「3/21/2020 7:40:47 AM」までのベストショット画像を検索する検索条件を設定している。
【0106】
車両検索条件欄PT51は、対象物である車両に関する検索条件「Color image only」の設定についてユーザによる入力操作を受け付ける。端末装置P1は、ユーザ操作により選択(押下)された検索条件を設定する。なお、
図8に示す例において、端末装置P1は、検索条件「Color image only」を無効にする検索条件を設定している。
【0107】
検索ボタンBT51は、撮像日時設定欄DT51および車両検索条件欄PT51のそれぞれで設定された検索条件に基づく検索処理をサーバS1に要求するためのボタンである。端末装置P1は、検索ボタンBT51がユーザにより押下(選択)されると、撮像日時設定欄DT51および車両検索条件欄PT51のそれぞれで設定された検索条件と、検索条件に基づく検索を要求する制御指令とを生成して、サーバS1に送信する。
【0108】
検索結果表示領域AR51は、撮像日時設定欄DT51および車両検索条件欄PT51のそれぞれで設定された検索条件に基づいて、サーバS1により検索されて送信された検索結果のデータに含まれるベストショット画像のそれぞれを一覧表示する。
【0109】
図8に示す検索結果表示領域AR51は、撮像日時設定欄DT51および車両検索条件欄PT51のそれぞれで設定された検索条件に基づく検索結果として12枚のベストショット画像のそれぞれを表示している。なお、
図8に示す検索結果表示領域AR51において、実線枠で囲まれた7枚のベストショット画像のそれぞれは、カラー画像である。同様に、破線枠で囲まれた5枚のベストショット画像のそれぞれは、白黒画像である。
【0110】
図9に示す検索結果画面SC6は、端末装置P1によりサーバS1から送信された検索結果のデータに基づいて生成されて、モニタ23に表示される。具体的に、検索結果画面SC6は、撮像日時設定欄DT61と、車両検索条件欄PT61と、検索ボタンBT61と、検索結果表示領域AR61と、を含んで生成される。
【0111】
撮像日時設定欄DT61は、検索条件としてベストショット画像が撮像された撮像日時あるいは撮像日時の期間に関する検索条件について、ユーザによる入力操作を受け付ける。端末装置P1は、撮像開始日時DT62と撮像終了日時DT63とに入力された撮像日時の情報に基づいて、検索条件を設定する。なお、
図9に示す例において、端末装置P1は、撮像開始日時DT62に入力された「3/16/2020 7:40:47 AM」から撮像終了日時DT63に入力された「3/21/2020 7:40:47 AM」までのベストショット画像を検索する検索条件を設定している。
【0112】
車両検索条件欄PT61は、対象物である車両に関する検索条件「Color image only」の設定についてユーザによる入力操作を受け付ける。端末装置P1は、ユーザ操作により選択(押下)された検索条件を設定する。なお、
図9に示す例において、端末装置P1は、検索条件「Color image only」を有効にする検索条件を設定している。
【0113】
検索ボタンBT61は、撮像日時設定欄DT61および車両検索条件欄PT61のそれぞれで設定された検索条件に基づく検索処理をサーバS1に要求するためのボタンである。端末装置P1は、検索ボタンBT61がユーザにより押下(選択)されると、撮像日時設定欄DT61および車両検索条件欄PT61のそれぞれで設定された検索条件と、検索条件に基づく検索を要求する制御指令とを生成して、サーバS1に送信する。
【0114】
検索結果表示領域AR61は、撮像日時設定欄DT61および車両検索条件欄PT61のそれぞれで設定された検索条件に基づいて、サーバS1により検索されて送信された検索結果のデータに含まれるベストショット画像のそれぞれを一覧表示する。
【0115】
図9に示す検索結果表示領域AR61は、撮像日時設定欄DT61および車両検索条件欄PT61のそれぞれで設定された検索条件に基づく検索結果として7枚のベストショット画像のそれぞれを表示している。なお、
図9に示す検索結果表示領域AR61において、実線枠で囲まれた7枚のベストショット画像のそれぞれは、カラー画像である。
【0116】
(実施の形態1の変形例)
実施の形態1に係る検索支援システム100は、検索条件「Color image only」を無効化または有効化することで、カラー画像でないベストショット画像(つまり、画像色情報が白黒画像であるベストショット画像)を検索対象から除外するか否かを判定し、検索条件「Color image only」を有効化した場合には、カラー画像でないベストショット画像(つまり、画像色情報が白黒画像であるベストショット画像)を除外した検索結果を出力する例を示した。実施の形態1の変形例に係る検索支援システム100は、検索条件「Color image only」を常時有効化した場合であって、カラー画像でないベストショット画像(つまり、画像色情報が白黒画像であるベストショット画像)を除外した検索結果を出力する例について説明する。
【0117】
なお、実施の形態1の変形例に係る検索支援システム100の内部構成例は、実施の形態1に係る検索支援システム100の内部構成例とほぼ同一の構成を有するため、その説明を省略する。
【0118】
また、実施の形態1の変形例における検索条件設定画面は、検索条件「Color image only」の項目を含まない。同様に、実施の形態1の変形例における検索結果画面は、人物検索条件欄に検索条件「Color image only」の項目を含まない。
【0119】
図10を参照して、検索支援システム100により実行される人物の検索手順について説明する。
図10は、実施の形態1に係る検索支援システム100の人物検索手順例を示すシーケンス図である。なお、
図10に示すシーケンス図は、本実施の形態1におけるサーバS1により実行される検索手順を分かりやすくするために、ステップSt51の処理で入力された検索条件例に基づく検索手順を具体的に説明する図である。また、
図10で説明する検索手順例は、
図4の検索手順例に示すステップSt11~ステップSt17のそれぞれの処理と同様であるため、説明を省略する。また、
図10を参照して説明するデータベースDB1に登録された各種データの例は、
図4Bと同様であるため図示および説明を省略する。
【0120】
端末装置P1は、入力部24によりユーザによる検索条件の入力(設定)操作を受け付ける(St51)。なお、ここで
図10に示すステップSt51で設定された検索条件は、一例として、対象物の特徴量に関する条件として、人物の性別が「男性」、かつ、服の色が「白」または「灰」である例について説明する。端末装置P1は、設定された検索条件(人物の性別が「男性」、かつ、服の色が「白」または「灰」)をサーバS1に送信する(St52)。
【0121】
サーバS1は、端末装置P1から送信された検索条件に所定の色(白黒画像から検知される色であって、例えば白色、黒色、灰色等)に関する検索条件があるか否かを判定する(St53)。
【0122】
サーバS1は、端末装置P1から送信された検索条件に所定の色に関する検索条件(
図10に示す例において、服の色が「白」または「灰」)があると判定した場合、データベースDB1に保存(登録)されたすべてのベストショット画像のそれぞれ(
図4Bに示すデータベースDB1を参照)のうち画像色情報が白黒画像であることを示すベストショット画像(つまり、カラー「FALSE」の情報が対応付けられたベストショット画像)を検索対象から除外し、データベースDB1に登録された1000枚のベストショット画像のそれぞれに対応付けられたメタデータと、検索条件(具体的に、人物の性別が「男性」、かつ、服の色が「白」または「灰」である)と、を照合する。サーバS1は、この検索条件を満たすと判定した人物画像(ベストショット画像)を検索する(St54)。
【0123】
一方、サーバS1は、端末装置P1から送信された検索条件に所定の色に関する検索条件がないと判定した場合、データベースDB1に登録された1000枚のベストショット画像のそれぞれに対応付けられたメタデータと、検索条件(具体的に、人物の性別が「男性」、かつ、服の色が「白」または「灰」である)とを照合する。サーバS1は、この検索条件を満たすと判定した人物画像(ベストショット画像)を検索する(St54)。
【0124】
サーバS1は、検索条件を満たすと判定した人物画像(ベストショット画像)に基づいて、検索結果のデータ(ここでは、番号「No.1」に対応する1枚のベストショット画像)を生成して、端末装置P1に送信する(St55)。
【0125】
端末装置P1は、サーバS1から送信された検索結果のデータ(つまり、番号「No.1に対応する1枚のベストショット画像)をモニタ23に表示する(St56)。
【0126】
以上により、実施の形態1の変形例に係る検索支援システム100は、白黒画像から検知可能な色である白色、黒色、灰色等の所定の色が検索条件に含まれる場合には、検索条件「Color image only」の設定の有無に関わらず画像色情報が白黒画像であるベストショット画像を検索対象から除外して検索処理を実行できる。
【0127】
(実施の形態2)
実施の形態1に係る検索支援システム100は、検索条件「Color image only」を有効化した場合の検索方法の例を示した。実施の形態2に係る検索支援システム100は、検索条件「Recognizable face only」を有効化することで、夜間に撮像された白黒画像のうち顔認証(顔照合)処理に使用可能な顔が検知されたベストショット画像を検索可能にする検索方法の例について説明する。
【0128】
なお、実施の形態2に係る検索支援システム100の内部構成例は、実施の形態1に係る検索支援システム100の内部構成例とほぼ同一の構成を有するため、その説明を省略する。
【0129】
次に、
図11Aおよび
図11Bを参照して、検索支援システム100により実行される人物の検索手順について説明する。
図11Aは、実施の形態1に係る検索支援システム100の人物検索手順例を示すシーケンス図である。
図11Bは、実施の形態2に係る検索支援システム100の人物検索手順例においてデータベースDB1に登録された各種データの一例を説明する図である。なお、
図11Aに示すシーケンス図は、本実施の形態1におけるサーバS1により実行される検索手順を分かりやすくするために、ステップSt68およびステップSt73の処理で入力された2つの検索条件例のそれぞれに基づく検索手順を具体的に説明する図である。なお、2つの検索条件例のそれぞれは、一例であってこれに限定されないことは言うまでもない。
【0130】
また、
図11Aに示すシーケンス図は、本実施の形態1におけるサーバS1により実行される検索手順を分かりやすくするために、すべてのベストショット画のそれぞれが夜間の時間帯に撮像された白黒画像である例を示すが、ベストショット画像のそれぞれは、昼間の時間帯に撮像されたカラー画像であってもよい。
【0131】
複数のカメラCM1,…,CMNのそれぞれは、監視エリアが撮像された撮像画像に基づいて、対象物である人物を検知する(St61)。複数のカメラCM1,…,CMNのそれぞれは、検知された対象物である人物ごとのベストショット画像を選定し、選定されたベストショット画像に基づいて、顔検知情報の生成判定処理(つまり、ベストショット画像に対象物である人物の顔が映っているか否かの判定に基づく顔検知情報の生成判定)、対象物(人物)の特徴量の抽出処理、ベストショット画像の画像色情報の生成処理等を実行する。複数のカメラCM1,…,CMNのそれぞれは、顔検知情報と、対象物の特徴量の情報と、顔検知情報と、画像色情報とを対応付けたメタデータを生成する。
【0132】
複数のカメラCM1,…,CMNのそれぞれは、生成されたメタデータと、人物のベストショット画像と、カメラを識別可能なカメラの情報とを対応付けた検知データを生成して、サーバS1に送信する(St62)。なお、ステップSt62においてサーバS1に送信される人物のベストショット画像「人物画像 No.1」は、夜間の時間帯に撮像された白黒画像であって、対象物の特徴量の情報として人物の属性情報である性別「男性」と、画像色情報「FALSE」とが対応付けられている例を示す。また、ここでいう画像色情報「FALSE」は、ベストショット画像「人物画像 No.1」が白黒画像であることを示す。同様に、顔「無」は、ベストショット画像から人物の顔が検知されなかったことを示す。なお、顔「無」は、ベストショット画像から人物の顔が検知されたことを示す情報である顔検知情報が含まれないことを示してもよい。
【0133】
サーバS1は、複数のカメラCM1,…,CMNのそれぞれから送信されたベストショット画像「人物画像 No.1」をデータベースDB1に保存(登録)する(St63)。
【0134】
複数のカメラCM1,…,CMNのそれぞれは、監視エリアが撮像された撮像画像に基づいて、対象物である人物を検知する(
図11Aに示す破線部内のステップSt61の処理を参照)。複数のカメラCM1,…,CMNのそれぞれは、生成されたメタデータと、人物のベストショット画像と、カメラを識別可能なカメラの情報とを対応付けた検知データを生成して、サーバS1に送信する(St64)。なお、ステップSt64においてサーバS1に送信される人物のベストショット画像「人物画像 No.35」は、夜間の時間帯に撮像された白黒画像であって、対象物の特徴量の情報として人物の属性情報である性別「男性」と、画像色情報「FALSE」と、顔検知情報とが対応付けられている例を示す。また、ここでいう画像色情報「FALSE」は、ベストショット画像「人物画像 No.35」が白黒画像であることを示す。同様に、顔「有」は、ベストショット画像から人物の顔が検知されたことを示す情報である顔検知情報が含まれることを示す。
【0135】
サーバS1は、複数のカメラCM1,…,CMNのそれぞれから送信されたベストショット画像「人物画像 No.35」をデータベースDB1に保存(登録)する(St65)。
【0136】
同様に、複数のカメラCM1,…,CMNのそれぞれは、監視エリアが撮像された撮像画像に基づいて、対象物である人物を検知する(
図11Aに示す破線部内のステップSt61の処理を参照)。複数のカメラCM1,…,CMNのそれぞれは、生成されたメタデータと、人物のベストショット画像と、カメラを識別可能なカメラの情報とを対応付けた検知データを生成して、サーバS1に送信する(St66)。なお、ステップSt66においてサーバS1に送信される人物のベストショット画像「人物画像 No.1000」は、夜間の時間帯に撮像された白黒画像であって、対象物の特徴量の情報として人物の属性情報である性別「男性」と、画像色情報「FALSE」と、顔検知情報とが対応付けられている例を示す。また、ここでいう画像色情報「FALSE」は、ベストショット画像「人物画像 No.1000」が白黒画像であることを示す。同様に、顔「有」は、ベストショット画像から人物の顔が検知されたことを示す情報である顔検知情報が含まれることを示す。
【0137】
サーバS1は、複数のカメラCM1,…,CMNのそれぞれから送信されたベストショット画像「人物画像 No.1000」をデータベースDB1に保存(登録)する(St67)。
【0138】
上述したステップSt61~ステップSt67のそれぞれの処理により、データベースDB1は、ベストショット画像の番号(
図11Bに示す「No.」)と、人物の性別情報「男性」と、ベストショット画像の画像色情報「TRUE」または「FALSE」と、顔検知情報の「有」または「無」と、1000枚のベストショット画像とをそれぞれ対応付けて保存(登録)する。なお、
図11Aおよび
図11Bに示すベストショット画像のそれぞれ、および各ベストショット画像に対応付けられたメタデータ(例えば、顔検知情報、人物の特徴量、画像色情報等)は、一例であってこれに限定されないことは言うまでもない。以降のステップSt68~ステップSt77のそれぞれの処理の説明は、説明を分かり易くするために、
図11Bに示すデータベースDB1に登録された1000枚のベストショット画像のそれぞれを用いて検索条件を満たすベストショット画像の検索手順について具体的に説明する。なお、
図11Aおよび
図11Bでは、番号「No.3」~番号「No.34」、および番号「No.36」~番号「No.999」のそれぞれに対応するベストショット画像は、人物の属性情報が性別「男性」であり、画像色情報「FALSE」であり、かつ、顔検知情報が「無」であるが、説明および図示を省略している。
【0139】
端末装置P1は、入力部24によりユーザによる検索条件の入力(設定)操作を受け付ける(St68)。なお、ここで
図11Aに示すステップSt68で設定された検索条件は、一例として、検索条件「Recognizable face only」が未設定(無効)であり、対象物の特徴量に関する条件として、人物の性別が「男性」である例について説明する。端末装置P1は、設定された検索条件(人物の性別が「男性」)をサーバS1に送信する(St69)。
【0140】
サーバS1は、端末装置P1から送信された検索条件に基づいて、データベースDB1に保存(登録)された複数のベストショット画像のそれぞれに対応する対象物の特徴量(ここでは、人物の属性情報)を参照し、検索条件を満たす人物画像(つまり、ベストショット画像)を検索する(St70)。ここで、
図11Aに示す例におけるサーバS1は、データベースDB1に登録された1000枚のベストショット画像のそれぞれに対応付けられたメタデータと、検索条件(具体的に、人物の性別が「男性」)とを照合し、この検索条件を満たすと判定した人物画像(ベストショット画像)を検索する。サーバS1は、検索条件を満たすと判定した人物画像(ベストショット画像)に基づいて、検索結果のデータを生成し、生成された検索結果のデータ(ここでは、番号「No.1」~番号「No.1000」のそれぞれに対応する1000枚のベストショット画像のそれぞれ)を端末装置P1に送信する(St71)。
【0141】
端末装置P1は、サーバS1から送信された検索結果のデータ(つまり、番号「No.1」~「No.1000」のそれぞれに対応する1000枚のベストショット画像のそれぞれ)をモニタ23に表示する(St72)。
【0142】
また、端末装置P1は、入力部24によりユーザによる検索条件の入力(設定)操作を受け付ける(St73)。なお、ここで
図11Aに示すステップSt73で設定された検索条件は、一例として、検索条件「Recognizable face only」が設定(有効化)され、対象物の特徴量に関する条件として、人物の性別が「男性」である例について説明する。端末装置P1は、設定された検索条件(人物の顔検知情報があり、かつ、人物の性別が「男性」)をサーバS1に送信する(St74)。
【0143】
サーバS1は、端末装置P1から送信された検索条件に基づいて、データベースDB1に保存(登録)された複数のベストショット画像のそれぞれに対応する対象物の特徴量(ここでは、人物の属性情報)を参照し、検索条件を満たす人物画像(つまり、ベストショット画像)を検索する(St75)。ここで、
図11Aに示す例におけるサーバS1は、データベースDB1に登録された1000枚のベストショット画像のそれぞれに対応付けられたメタデータと、検索条件(具体的に、人物の顔検知情報があり、かつ、人物の性別が「男性」)とを照合し、この検索条件を満たすと判定した人物画像(ベストショット画像)を検索する。サーバS1は、検索条件を満たすと判定した人物画像(ベストショット画像)に基づいて、検索結果のデータを生成し、生成された検索結果のデータ(ここでは、番号「No.35」に対応する1枚のベストショット画像)を端末装置P1に送信する(St76)。
【0144】
端末装置P1は、サーバS1から送信された検索結果のデータ(つまり、番号「No.35」に対応する1枚のベストショット画像)をモニタ23に表示する(St77)。
【0145】
以上のように、実施の形態1に係る検索支援システム100は、夜間に撮像された白黒画像のみを用いた人物のベストショット画像の検索において、検索条件「Recognizable face only」を無効化または有効化することで、ベストショット画像に人物の顔が顔認証で使用可能に映っていないベストショット画像(つまり、顔検知情報が対応付けられていないベストショット画像)を検索対象から除外するか否かを判定する。これにより、検索支援システム100は、検索条件「Recognizable face only」を有効化した場合、ベストショット画像に人物の顔が顔認証で使用可能に映っていないベストショット画像(つまり、顔検知情報が対応付けられていないベストショット画像)を除外した検索結果を出力できる。これにより、検索支援システム100は、人物の顔が識別可能であると判定したベストショット画像のうちユーザにより設定された検索条件を満たす人物が撮像されたベストショット画像を検索して出力できる。
【0146】
次に、
図12および
図13を参照して、端末装置P1に表示される検索結果画面SC7,SC8のそれぞれについて説明する。
図12は、白黒画像を含む人物の検索結果画面SC7の一例を説明する図である。
図13は、白黒画像を除く人物の検索結果画面SC8の一例を説明する図である。なお、
図12および
図13に示す検索結果画面SC7,SC8のそれぞれは一例であって、これに限定されないことは言うまでもない。
【0147】
また、
図12および
図13に示す検索結果画面SC7,SC8のそれぞれでは、撮像日時、顔検知情報、および画像色情報に関する検索条件の入力欄を含む例を示すが、これらの検索条件は検索条件設定画面SC1(
図2参照)で設定可能であってもよい。さらに、
図12および
図13に示す検索結果画面SC7,SC8のそれぞれは、「Search Filter」で検索条件設定画面SC1(
図2参照)に示す各種設定項目に対応する検索条件を設定可能であってもよい。具体的に、端末装置P1は、検索結果画面SC7,SC8のそれぞれにおいて、ユーザ操作により「Search Filter」が選択(押下)された場合、検索条件設定画面SC1(
図2参照)に示す各種設定項目に対応する検索条件を設定可能な設定欄(不図示)を表示してユーザ操作に基づく検索条件の入力を受け付けてもよいし、検索条件設定画面SC1(
図2参照)に移行してユーザ操作に基づく検索条件の入力を受け付けてもよい。
【0148】
図12に示す検索結果画面SC7は、端末装置P1によりサーバS1から送信された検索結果のデータに基づいて生成されて、モニタ23に表示される。具体的に、検索結果画面SC7は、撮像日時設定欄DT71と、人物検索条件欄PT71と、検索ボタンBT71と、検索結果表示領域AR71と、を含んで生成される。
【0149】
撮像日時設定欄DT71は、検索条件としてベストショット画像が撮像された撮像日時あるいは撮像日時の期間に関する検索条件について、ユーザによる入力操作を受け付ける。端末装置P1は、撮像開始日時DT72と撮像終了日時DT73とに入力された撮像日時の情報に基づいて、検索条件を設定する。なお、
図12に示す例において、端末装置P1は、撮像開始日時DT72に入力された「3/16/2020 7:40:47 AM」から撮像終了日時DT73に入力された「3/21/2020 7:40:47 AM」までのベストショット画像を検索する検索条件を設定している。
【0150】
人物検索条件欄PT71は、対象物である人物に関する検索条件「Recognizable face only」と、検索条件「Color image only」との設定についてユーザによる入力操作を受け付ける。端末装置P1は、ユーザ操作により選択(押下)された検索条件を設定する。なお、
図12に示す例において、端末装置P1は、検索条件「Recognizable face only」および検索条件「Color image only」を無効にする検索条件を設定している。
【0151】
検索ボタンBT71は、撮像日時設定欄DT71および人物検索条件欄PT71のそれぞれで設定された検索条件に基づく検索処理をサーバS1に要求するためのボタンである。端末装置P1は、検索ボタンBT71がユーザにより押下(選択)されると、撮像日時設定欄DT71および人物検索条件欄PT71のそれぞれで設定された検索条件と、検索条件に基づく検索を要求する制御指令とを生成して、サーバS1に送信する。
【0152】
検索結果表示領域AR71は、撮像日時設定欄DT71および人物検索条件欄PT71のそれぞれで設定された検索条件に基づいて、サーバS1により検索されて送信された検索結果のデータに含まれるベストショット画像のそれぞれを一覧表示する。
【0153】
図12に示す検索結果表示領域AR71は、撮像日時設定欄DT71および人物検索条件欄PT71のそれぞれで設定された検索条件に基づく検索結果として18枚のベストショット画像のそれぞれを表示している。なお、
図12に示す検索結果表示領域AR71において、実線枠で囲まれた12枚のベストショット画像のそれぞれは、顔検知情報が対応付けられたベストショット画像(つまり、人物の顔が顔認証で使用可能に撮像されたベストショット画像)である。同様に、破線枠で囲まれた6枚のベストショット画像のそれぞれは、顔検知情報が対応付けられていないベストショット画像(つまり、人物の顔が顔認証で使用可能に撮像されたベストショット画像)である。
【0154】
図13に示す検索結果画面SC8は、端末装置P1によりサーバS1から送信された検索結果のデータに基づいて生成されて、モニタ23に表示される。具体的に、検索結果画面SC8は、撮像日時設定欄DT81と、人物検索条件欄PT81と、検索ボタンBT81と、検索結果表示領域AR81と、を含んで生成される。
【0155】
撮像日時設定欄DT81は、検索条件としてベストショット画像が撮像された撮像日時あるいは撮像日時の期間に関する検索条件について、ユーザによる入力操作を受け付ける。端末装置P1は、撮像開始日時DT82と撮像終了日時DT83とに入力された撮像日時の情報に基づいて、検索条件を設定する。なお、
図13に示す例において、端末装置P1は、撮像開始日時DT82に入力された「3/16/2020 7:40:47 AM」から撮像終了日時DT83に入力された「3/21/2020 7:40:47 AM」までのベストショット画像を検索する検索条件を設定している。
【0156】
人物検索条件欄PT81は、対象物である人物に関する検索条件「Recognizable face only」と、検索条件「Color image only」との設定についてユーザによる入力操作を受け付ける。端末装置P1は、ユーザ操作により選択(押下)された検索条件を設定する。なお、
図13に示す例において、端末装置P1は、検索条件「Recognizable face only」を有効にし、検索条件「Color image only」を無効にする検索条件を設定している。
【0157】
検索ボタンBT81は、撮像日時設定欄DT81および人物検索条件欄PT81のそれぞれで設定された検索条件に基づく検索処理をサーバS1に要求するためのボタンである。端末装置P1は、検索ボタンBT81がユーザにより押下(選択)されると、撮像日時設定欄DT81および人物検索条件欄PT81のそれぞれで設定された検索条件と、検索条件に基づく検索を要求する制御指令とを生成して、サーバS1に送信する。
【0158】
検索結果表示領域AR81は、撮像日時設定欄DT81および人物検索条件欄PT81のそれぞれで設定された検索条件に基づいて、サーバS1により検索されて送信された検索結果のデータに含まれるベストショット画像のそれぞれを一覧表示する。
【0159】
図13に示す検索結果表示領域AR81は、撮像日時設定欄DT81および人物検索条件欄PT81のそれぞれで設定された検索条件に基づく検索結果として12枚のベストショット画像のそれぞれを表示している。なお、
図13に示す検索結果表示領域AR81において、実線枠で囲まれた12枚のベストショット画像のそれぞれは、顔検知情報が対応付けられたベストショット画像(つまり、人物の顔が顔認証で使用可能に撮像されたベストショット画像)である。
【0160】
以上のように、実施の形態1に係る検索支援システム100は、検索条件「Recognizable face only」を無効化または有効化することで、ベストショット画像に人物の顔が顔認証で使用可能に映っていないベストショット画像(つまり、顔検知情報が対応付けられていないベストショット画像)を検索対象から除外するか否かを判定する。これにより、検索支援システム100は、検索条件「Recognizable face only」を有効化した場合、ベストショット画像に人物の顔が顔認証で使用可能に映っていないベストショット画像(つまり、顔検知情報が対応付けられていないベストショット画像)を除外した検索結果を出力できる。これにより、検索支援システム100は、人物の顔が識別可能であると判定したベストショット画像のうちユーザにより設定された検索条件を満たす人物が撮像されたベストショット画像を検索して出力できる。
【0161】
以上により、実施の形態1の変形例に係る検索支援システム100は、対象物を撮像する少なくとも1台のカメラCM1,…,CMNと、カメラCM1,…,CMNと通信可能なサーバS1と、を備える。カメラCM1,…,CMNは、対象物を撮像した撮像画像(つまり、ベストショット画像)と撮像画像が白黒画像またはカラー画像のいずれかを示す画像色情報とをサーバS1に送信する。サーバS1は、撮像画像と画像色情報とを対応付けてデータベースDB1に保存し、ユーザ操作に基づいて設定された撮像画像の検索条件に、白色、黒色または灰色のうち少なくともいずれか1色の色条件が含まれているか否かを判定し、検索条件に色条件が含まれていると判定した場合、データベースDB1に保存されたすべての撮像画像から白黒画像を示す画像色情報が対応付けられた撮像画像を検索対象から除外して、検索条件を満たす撮像画像を含む検索結果を生成して出力し、検索条件に色条件が含まれていないと判定した場合、データベースDB1に保存されたすべての撮像画像のうち検索条件を満たす撮像画像を含む検索結果を生成して出力する。
【0162】
これにより、実施の形態1に変形例に係る検索支援システム100は、白黒画像から検知可能な色である白色、黒色、灰色等の所定の色が検索条件に含まれる場合には、検索条件「Color image only」の設定の有無に関わらず画像色情報が白黒画像であるベストショット画像を検索対象から除外して検索処理を実行できる。
【0163】
また、以上により、実施の形態1および実施の形態2に係る検索支援システム100において、サーバS1は、色条件と、データベースDB1に保存されたすべての撮像画像のうちカラー画像の撮像画像を検索対象とする検索条件「Color image only」(第1の検索条件の一例)とが検索条件に含まれるか(つまり、検索条件「Color image only」「Color image only」が有効であるか)否かをさらに判定し、色条件と検索条件「Color image only」とが検索条件に含まれると判定した場合、データベースに保存されたすべての撮像画像のうち白黒画像を示す画像色情報が対応付けられた撮像画像を検索対象から除外して、検索条件を満たす撮像画像の検索を実行する。これにより、実施の形態1および実施の形態2に係る検索支援システム100は、検索条件「Color image only」を有効化した場合、カラー画像でないベストショット画像(つまり、画像色情報が白黒画像であるベストショット画像)を除外した検索結果を出力できる。したがって、検索支援システム100は、カラー画像から抽出された色に関する特徴量の情報(例えば、白色、黒色、灰色等)と、白黒画像から抽出された色に関する特徴量の情報(例えば、白色、黒色、灰色等)とを識別でき、検索条件により適した検索結果を出力できる。
【0164】
また、以上により、実施の形態1および実施の形態2に係る検索支援システム100において、サーバS1は、色条件と、データベースに保存され、白黒画像を示す画像色情報が対応付けられた撮像画像のうち対象物である人物の顔が顔認証に適する程度に撮像された撮像画像を検索対象とする検索条件「Recognizable face only」(第2の検索条件の一例)とが検索条件に含まれるか否かをさらに判定し、色条件と検索条件「Recognizable face only」とが検索条件に含まれる(つまり、検索条件「Recognizable face only」が有効である)と判定した場合、データベースに保存されたすべての撮像画像のうち白黒画像を示す画像色情報が対応付けられた撮像画像のうち検索条件を満たす撮像画像の検索を実行する。これにより、実施の形態2に係る検索支援システム100は、検索条件「Recognizable face only」を有効化した場合、ベストショット画像に人物の顔が顔認証で使用可能に映っていないベストショット画像(つまり、顔検知情報が対応付けられていないベストショット画像)を除外した検索結果を出力できる。
【0165】
また、以上により、実施の形態1、実施の形態1の変形例、および実施の形態2に係る検索支援システム100における白黒画像は、夜間に撮像された撮像画像である。これにより、実施の形態1、実施の形態1の変形例、および実施の形態2に係る検索支援システム100は、白黒画像から検知可能な色である白色、黒色、灰色等の所定の色が検索条件に含まれる場合には、夜間に撮像された白黒画像であるベストショット画像を検索対象から除外して検索処理を実行できる。
【0166】
また、以上により、実施の形態1、実施の形態1の変形例、および実施の形態2に係る検索支援システム100におけるカラー画像は、昼間に撮像された撮像画像である。これにより、実施の形態1、実施の形態1の変形例、および実施の形態2に係る検索支援システム100は、白黒画像から検知可能な色である白色、黒色、灰色等の所定の色が検索条件に含まれる場合には、昼間に撮像されたカラー画像であるベストショット画像を検索対象から除外しないように検索処理を実行できる。
【0167】
また、以上により、実施の形態1、実施の形態1の変形例、および実施の形態2に係る検索支援システム100におけるサーバS1は、検索条件「Color image only」(第1の検索条件の一例)をユーザに指定させる画面を端末に表示させ、検索条件設定画面SC1,SC2(画面の一例)へのユーザ操作に基づいて、検索条件「Color image only」を受け付ける。これにより、実施の形態1、実施の形態1の変形例、および実施の形態2に係る検索支援システム100は、検索条件「Color image only」を有効化または無効化するためのユーザ操作を受け付け可能となる。
【0168】
また、以上により、実施の形態1、実施の形態1の変形例、および実施の形態2に係る検索支援システム100におけるサーバS1は、検索条件「Recognizable face only」(第2の検索条件の一例)をユーザに指定させる画面を端末に表示させ、検索条件設定画面SC1(画面の一例)へのユーザ操作に基づいて、検索条件「Recognizable face only」を受け付ける。これにより、実施の形態1、実施の形態1の変形例、および実施の形態2に係る検索支援システム100は、検索条件「Recognizable face only」を有効化または無効化するためのユーザ操作を受け付け可能となる。
【0169】
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
【産業上の利用可能性】
【0170】
本開示は、カメラにより撮像された撮像画像からユーザが要望する検索対象をより適切に検索し、ユーザによる監視業務をより効率的に支援する検索支援システム、検索支援方法および検索支援プログラムとして有用である。
【符号の説明】
【0171】
10,20 通信部
11,21 プロセッサ
12,22 メモリ
23 モニタ
24 入力部
DB1 データベース
CM1,CMN カメラ
P1 端末装置
S1 サーバ
SC1,SC2 検索条件設定画面
SC3,SC4,SC5,SC6,SC7,SC8 検索結果画面