(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023085134
(43)【公開日】2023-06-20
(54)【発明の名称】画像検索システム、画像検索方法、検索装置およびコンピュータプログラム
(51)【国際特許分類】
G06F 16/58 20190101AFI20230613BHJP
【FI】
G06F16/58
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2021199637
(22)【出願日】2021-12-08
(71)【出願人】
【識別番号】000006507
【氏名又は名称】横河電機株式会社
(74)【代理人】
【識別番号】100106909
【弁理士】
【氏名又は名称】棚井 澄雄
(74)【代理人】
【識別番号】100167553
【弁理士】
【氏名又は名称】高橋 久典
(74)【代理人】
【識別番号】100181124
【弁理士】
【氏名又は名称】沖田 壮男
(72)【発明者】
【氏名】パラニラジ アラグラジャ パンディアン
(72)【発明者】
【氏名】尾形 真
(72)【発明者】
【氏名】鳥越 研児
【テーマコード(参考)】
5B175
【Fターム(参考)】
5B175DA02
5B175FB03
5B175HB01
(57)【要約】
【課題】利用者が複数のデータソースに分散して格納された画像データの中から所望の画像データを容易に探し出すことができるようにすること。
【解決手段】実施形態の画像検索システムは、ネットワークに接続された複数のストレージ装置と、前記複数のストレージ装置に時系列の画像データを記録する複数の記録装置と、前記複数のストレージ装置に記録された前記時系列の画像データの中から利用者が指定する条件に合致するものを検索する検索装置と、を備え、前記検索装置は、前記複数のストレージ装置に記録された前記画像データの識別情報と、前記画像データを記録した記録装置または前記画像データを記憶する前記ストレージ装置の属性情報との対応関係を示す対応情報を記憶する記憶部と、前記対応情報を検索することにより前記利用者が指定する条件に合致する画像データを検索する検索部と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
ネットワークに接続された複数のストレージ装置と、
前記複数のストレージ装置に時系列の画像データを記録する複数の記録装置と、
前記複数のストレージ装置に記録された前記時系列の画像データの中から利用者が指定する条件に合致するものを検索する検索装置と、
を備え、
前記検索装置は、
前記複数のストレージ装置に記録された前記画像データの識別情報と、前記画像データを記録した記録装置または前記画像データを記憶する前記ストレージ装置の属性情報との対応関係を示す対応情報を記憶する記憶部と、
前記対応情報を検索することにより前記利用者が指定する条件に合致する画像データを検索する検索部と、
を備える画像検索システム。
【請求項2】
前記属性情報は、前記記録装置の識別情報、位置および撮影方向を含み、
前記検索部は、前記属性情報に基づいて、前記利用者が指定する第1範囲を含む第2範囲に含まれる記録装置であって、前記第1範囲で発生した事象または前記事象に関連する関連事象を撮像した記録装置を対象装置として推定し、前記対象装置が記録した画像データのうち前記事象の発生タイミング付近で記録されたものを検索結果として出力する、
請求項1に記載の画像検索システム。
【請求項3】
前記属性情報は、前記記録装置に対応づけられたタグ情報を含み、
前記検索部は、前記属性情報に基づいて、前記利用者が指定するタグ情報に合致するタグ情報に対応づけられた記録装置を対象装置として特定し、前記対象装置が記録した画像データを検索結果として出力する、
請求項1または2に記載の画像検索システム。
【請求項4】
前記検索部は、前記複数の記録装置のうち現在利用可能な記録装置を選択し、選択した前記記録装置の中から前記対象装置を選択する、
請求項2または3に記載の画像検索システム。
【請求項5】
前記属性情報に基づいて、前記検索結果として出力された画像データを記憶するストレージ装置を特定し、特定した前記ストレージ装置からネットワークを介して前記画像データを取得するデータ取得部をさらに備える、
請求項2から4のいずれか一項に記載の画像検索システム。
【請求項6】
前記ネットワークは、従量課金制のネットワークを含む、
請求項5に記載の画像検索システム。
【請求項7】
前記検索部は、前記複数のストレージ装置のうち現在利用可能なストレージ装置を選択し、前記ストレージ装置に記録された画像データの中から前記利用者が指定する条件に合致する画像データを検索する、
請求項1から6のいずれか一項に記載の画像検索システム。
【請求項8】
ネットワークに接続された複数のストレージ装置と、前記複数のストレージ装置に時系列の画像データを記録する複数の記録装置と、を備えるシステムにおいて前記複数のストレージ装置に記録された前記時系列の画像データの中から利用者が指定する条件に合致するものを検索する情報検索方法であって、
前記複数のストレージ装置に記録された前記画像データの識別情報と、前記画像データを記録した記録装置または前記画像データを記憶する前記ストレージ装置の属性情報との対応関係を示す対応情報を記憶部に記憶させるステップと、
前記対応情報を検索することにより前記利用者が指定する条件に合致する画像データを検索するステップと、
を有する画像検索方法。
【請求項9】
ネットワークに接続された複数のストレージ装置と、前記複数のストレージ装置に時系列の画像データを記録する複数の記録装置を備える画像検索システムにおいて、前記複数のストレージ装置に記録された前記時系列の画像データの中から利用者が指定する条件に合致するものを検索する検索装置であって、
前記複数のストレージ装置に記録された前記画像データの識別情報と、前記画像データを記録した記録装置または前記画像データを記憶する前記ストレージ装置の属性情報との対応関係を示す対応情報を記憶する記憶部と、
前記対応情報を検索することにより前記利用者が指定する条件に合致する画像データを検索する検索部と、
を備える検索装置。
【請求項10】
ネットワークに接続された複数のストレージ装置と、前記複数のストレージ装置に時系列の画像データを記録する複数の記録装置を備える画像検索システムにおいて、前記複数のストレージ装置に記録された前記時系列の画像データの中から利用者が指定する条件に合致するものを検索する検索装置として機能するコンピュータに、
前記複数のストレージ装置に記録された前記画像データの識別情報と、前記画像データを記録した記録装置または前記画像データを記憶する前記ストレージ装置の属性情報との対応関係を示す対応情報を記憶するステップと、
前記対応情報を検索することにより前記利用者が指定する条件に合致する画像データを検索するステップと、
を実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像検索システム、画像検索方法、検索装置およびコンピュータプログラムに関する。
【背景技術】
【0002】
従来、時系列に撮像された画像に基づいて店舗に来店した顧客の客層およびその変動を分析する技術が提案されている(例えば特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載の技術は、分析対象の画像データが単一のデータソースから取得される場合を想定したものであり、係る技術では複数のデータソースに分散して格納された画像データを分析対象とすることができなかった。また、特許文献1に記載の技術は、店舗に来店した顧客の客層およびその変動を分析することを目的としたものであり、利用者は他の目的で画像データを参照することができなかった。
【0005】
本発明は上記の点に鑑みてなされたものであり、利用者が複数のデータソースに分散して格納された画像データの中から所望の画像データを容易に探し出すことができるようにすることができる画像検索システム、画像検索方法、検索装置およびコンピュータプログラムを提供する。
【課題を解決するための手段】
【0006】
(1)本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、ネットワークに接続された複数のストレージ装置と、前記複数のストレージ装置に時系列の画像データを記録する複数の記録装置と、前記複数のストレージ装置に記録された前記時系列の画像データの中から利用者が指定する条件に合致するものを検索する検索装置と、を備え、前記検索装置は、前記複数のストレージ装置に記録された前記画像データの識別情報と、前記画像データを記録した記録装置または前記画像データを記憶する前記ストレージ装置の属性情報との対応関係を示す対応情報を記憶する記憶部と、前記対応情報を検索することにより前記利用者が指定する条件に合致する画像データを検索する検索部と、を備える画像検索システムである。
【0007】
(2)本発明の他の態様は、上記の画像検索システムであって、前記属性情報は、前記記録装置の識別情報、位置および撮影方向を含み、前記検索部は、前記属性情報に基づいて、前記利用者が指定する第1範囲を含む第2範囲に含まれる記録装置であって、前記第1範囲で発生した事象または前記事象に関連する関連事象を撮像した記録装置を対象装置として推定し、前記対象装置が記録した画像データのうち前記事象の発生タイミング付近で記録されたものを検索結果として出力する。
【0008】
(3)本発明の他の態様は、上記の画像検索システムであって、前記属性情報は、前記記録装置に対応づけられたタグ情報を含み、前記検索部は、前記属性情報に基づいて、前記利用者が指定するタグ情報に合致するタグ情報に対応づけられた記録装置を対象装置として特定し、前記対象装置が記録した画像データを検索結果として出力する。
【0009】
(4)本発明の他の態様は、上記の画像検索システムであって、前記検索部は、前記複数の記録装置のうち現在利用可能な記録装置を選択し、選択した前記記録装置の中から前記対象装置を選択する。
【0010】
(5)本発明の他の態様は、上記の画像検索システムであって、前記属性情報に基づいて、前記検索結果として出力された画像データを記憶するストレージ装置を特定し、特定した前記ストレージ装置からネットワークを介して前記画像データを取得するデータ取得部をさらに備える。
【0011】
(6)本発明の他の態様は、上記の画像検索システムであって、前記ネットワークは、従量課金制のネットワークを含む。
【0012】
(7)本発明の他の態様は、上記の画像検索システムであって、前記検索部は、前記複数のストレージ装置のうち現在利用可能なストレージ装置を選択し、前記ストレージ装置に記録された画像データの中から前記利用者が指定する条件に合致する画像データを検索する。
【0013】
(8)本発明の他の態様は、ネットワークに接続された複数のストレージ装置と、前記複数のストレージ装置に時系列の画像データを記録する複数の記録装置と、を備えるシステムにおいて前記複数のストレージ装置に記録された前記時系列の画像データの中から利用者が指定する条件に合致するものを検索する情報検索方法であって、前記複数のストレージ装置に記録された前記画像データの識別情報と、前記画像データを記録した記録装置または前記画像データを記憶する前記ストレージ装置の属性情報との対応関係を示す対応情報を記憶部に記憶させるステップと、前記対応情報を検索することにより前記利用者が指定する条件に合致する画像データを検索するステップと、を有する画像検索方法である。
【0014】
(9)本発明の他の態様は、ネットワークに接続された複数のストレージ装置と、前記複数のストレージ装置に時系列の画像データを記録する複数の記録装置を備える画像検索システムにおいて、前記複数のストレージ装置に記録された前記時系列の画像データの中から利用者が指定する条件に合致するものを検索する検索装置であって、前記複数のストレージ装置に記録された前記画像データの識別情報と、前記画像データを記録した記録装置または前記画像データを記憶する前記ストレージ装置の属性情報との対応関係を示す対応情報を記憶する記憶部と、前記対応情報を検索することにより前記利用者が指定する条件に合致する画像データを検索する検索部と、を備える検索装置である。
【0015】
(10)本発明の他の態様は、ネットワークに接続された複数のストレージ装置と、前記複数のストレージ装置に時系列の画像データを記録する複数の記録装置を備える画像検索システムにおいて、前記複数のストレージ装置に記録された前記時系列の画像データの中から利用者が指定する条件に合致するものを検索する検索装置として機能するコンピュータに、前記複数のストレージ装置に記録された前記画像データの識別情報と、前記画像データを記録した記録装置または前記画像データを記憶する前記ストレージ装置の属性情報との対応関係を示す対応情報を記憶するステップと、前記対応情報を検索することにより前記利用者が指定する条件に合致する画像データを検索するステップと、を実行させるためのコンピュータプログラムである。
【発明の効果】
【0016】
本発明によれば、利用者が複数のデータソースに分散して格納された画像データの中から所望の画像データを容易に探し出すことができるようにすることができる。
【図面の簡単な説明】
【0017】
【
図1】実施形態の画像検索システム1のシステム構成の概略を示す図である。
【
図2】実施形態の検索装置200の構成例を示す図である。
【
図3】実施形態の利用者端末装置300の構成例を示す図である。
【
図4】検索装置200に登録されるインシデントの概要を示す図である。
【
図5】検索装置200が保持する装置管理テーブルT11の一例を示す図である。
【
図6】検索装置200が保持するメディア管理テーブルT12の一例を示す図である。
【
図7】検索装置200が保持するデータ管理テーブルT13の一例を示す図である。
【
図8】検索装置200が保持するインシデント管理情報の一例を示す図である。
【
図9】検索装置200が利用者端末装置300からの検索要求を受けて、指定された条件に合致するストレージSTを検索する処理の流れの一例を示すフローチャートである。
【
図10】検索装置200が利用者端末装置300からの検索要求を受けて、指定された条件に合致するストレージSTを検索する処理の流れの一例を示すフローチャートである。
【
図11】メディアビューアMVによる画像データの第1の表示例を示す図である。
【
図12】メディアビューアMVによる画像データの第2の表示例を示す図である。
【
図13】メディアビューアMVによる画像データの第3の表示例を示す図である。
【発明を実施するための形態】
【0018】
以下、図面を参照して、本発明の実施形態による画像検索システム、画像検索方法、検索装置およびコンピュータプログラムについて説明する。以下では、まず本発明の実施形態の概要について説明し、続いて本発明の実施形態の詳細について説明する。
【0019】
図1は、実施形態の画像検索システム1のシステム構成の概略を示す図である。画像検索システム1は、複数のデータソースに分散して格納された画像データの中から利用者が指定する条件に合致する画像データを検索して利用者に提供するシステムである。画像検索システム1は、例えば、データソース群DSと、検索装置200と、利用者端末装置300とを備える。データソース群DSと、検索装置200と、利用者端末装置300とはネットワークNWに接続され、ネットワークNWを介して互いに通信可能である。ネットワークNWは、LAN(Local Area Network)であってもよいし、インターネットやセルラー網、専用線等のWAN(Wide Area Network)であってもよいし、それらの組み合わせであってもよい。
【0020】
データソース群DSは、複数のカメラ装置40によって撮像された画像データを記憶する複数のストレージSTを含む。データソース群DSは、例えば、複数のカメラ装置40と、管理サーバ50と、クラウドストレージ60とを備える。複数のカメラ装置40は、複数の場所に分散して配置される撮像装置であり、設置位置付近を撮像して生成した画像データを複数のストレージSTのいずれか一つ以上に格納する。複数のストレージSTのそれぞれは、例えば、1以上の記憶媒体を用いて構成される。1以上の記憶媒体は、例えばHDD(Hard Disk Drive)やフラッシュメモリ、SSD(Solid State Drive)などであり、これらの組み合わせであってもよい。また、データを記憶するものであれば、複数のストレージSTにはこれらの以外の記憶媒体が用いられてもよい。
【0021】
なお、複数のカメラ装置40は、撮像動作により、静止画像としての画像データを生成してもよいし、動画像としての画像データを生成してもよい。また、複数のカメラ装置40は、予め設定されたタイミングで撮像動作を行ってもよいし、外部からの撮像指示に応じて撮像動作を行ってもよいし、手動操作によって撮像動作を行ってもよい。また、取得する画像の解像度やシャッタースピード、絞りなどの撮像条件は予め複数のカメラ装置40に設定されていてもよいし、外部からの撮像指示によって複数のカメラ装置40に設定されてもよい。また、これらの撮像動作の態様は、複数のカメラ装置40ごとに異なるものであってもよいし、共通のものであってもよい。また、複数のカメラ装置40は、必ずしも特定の機種や型番の装置である必要はなく、検索装置200や利用者端末装置300、管理サーバ50と連携して動作することができるものであれば、任意の機種や型番の装置の組み合わせであってよい。
【0022】
図1は、複数のカメラ装置40として、カメラ装置40-1~40-4と、カメラ装置40-5を示す。ここでカメラ装置40-1~40-4は管理サーバ50によって管理される撮像装置であり、カメラ装置40-5は単独で動作する撮像装置である。カメラ装置40-1~40-4は、取得した画像データをそれぞれに内蔵されたストレージSTに格納することもできるし、取得した画像データを管理サーバ50に送信することにより管理サーバ50のストレージSTに格納することもできる。また、カメラ装置40-5は、取得した画像データを自身に内蔵されたストレージSTに格納することもできるし、ネットワークNWを介してクラウドストレージのストレージSTに格納することもできる。なお、
図1に示すデータソース群DSの構成は一例であり、複数のカメラ装置40および複数のストレージSTを備えるものであれば、台数や接続構成は任意に変更されてよい。
【0023】
管理サーバ50は、自身に接続されたカメラ装置40-1~40-4について管理機能を提供する装置である。例えば、管理サーバ50は、カメラ装置40-1~40-4の状態監視機能や、各種動作の設定機能、自身の管理下にある画像データの閲覧機能などを提供する。例えば、管理サーバ50は、カメラ装置40-1~40-4と連携して監視システムを構成し、利用者に各種監視機能を提供するものであってもよい。管理サーバ50は、カメラ装置40-1~40-4が取得した画像データを自身のストレージSTに格納することもできるし、ネットワークNWを介してクラウドストレージのストレージSTに格納することもできる。また、管理サーバ50は、ネットワークNWを介して検索装置200および利用者端末装置300と通信可能である。
【0024】
クラウドストレージ60は、ネットワークNWを介してストレージ機能を提供するクラウドシステムである。クラウドストレージ60は、複数のストレージSTのうちの1つとして機能し、一般に複数の記録媒体を仮想化した仮想ボリュームとして構成される。クラウドストレージ60は、ネットワークNWを介して検索装置200、利用者端末装置300、管理サーバ50およびカメラ装置40-5と通信可能であり、管理サーバ50またはカメラ装置40-5から供給された画像データを記憶するとともに、自身が記憶している画像データを検索装置200および利用者端末装置300に提供することができる。
【0025】
検索装置200は、データソース群DSに保持されている画像データの検索機能を提供する装置である。具体的には、検索装置200は、データソース群DSに分散して記憶されている画像データに関する情報(以下「メディア情報」という。)をデータソース群DSから収集し、収集したメディア情報を一元管理するための管理情報(以下「メディア管理情報」という。)D10を生成する。検索装置200は、利用者端末装置300から画像データの検索要求を受け付けると、検索条件に合致する画像データをメディア管理情報D10に基づいて特定し、特定した画像データに関する情報(画像データ自体は含まない)を検索結果として利用者端末装置300に供給する。
【0026】
利用者端末装置300は、画像検索システム1の利用者が使用する、通信機能を有した情報処理端末である。利用者端末装置300は、例えば、スマートフォンやタブレット、PC(Personal Computer)等である。利用者端末装置300には、画像検索システム1の利用を支援するアプリケーションプログラム(以下「メディアビューア」という。)MVがインストールされている。メディアビューアMVは、検索条件の入力を受け付け、入力された検索条件での画像データの検索を検索装置200に要求する。また、メディアビューアMVは、検索装置200から返された検索結果を表示する。メディアビューアMVは、検索結果として示された画像(検索条件に合致した画像)のうちのいずれかの画像について画像データの取得を指示された場合、その画像データを記憶するストレージSTから画像データを取得し(ダウンロード)、取得した画像データに基づいて対象の画像を表示する。
【0027】
図2は、実施形態の検索装置200の構成例を示す図である。検索装置200は、バスで接続されたCPU(Central Processing Unit)やメモリや補助記憶装置などを備え、プログラムを実行する。検索装置200は、プログラムの実行によって通信部210と、記憶部220と、制御部230とを備える装置として機能する。なお、検索装置200の各機能の全て又は一部は、ASIC(Application Specific Integrated Circuit)やPLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。
【0028】
通信部210は、検索装置200をネットワークNWに接続する通信インターフェースである。通信部210は、ネットワークNWを介してデータソース群DSおよび利用者端末装置300と通信する。例えば、通信部210は、イーサネット(登録商標)や有線LAN、無線LAN等のNIC(Network Interface Card)である。
【0029】
記憶部220は、HDDやフラッシュメモリ、SSDなどの記憶装置を用いて構成される。記憶部220は、例えば、メディア管理情報D10と、地図情報D20と、インシデント管理情報D30とを記憶する。メディア管理情報D10は、上述のとおり、データソース群DSに分散して記憶されている画像データに関するメディア情報を一元管理するための管理情報である。メディア管理情報D10は、例えば、装置管理テーブルT11と、メディア管理テーブルT12と、データ管理テーブルT13とを含む。装置管理テーブルT11は、データソース群DSに含まれるカメラ装置40の管理情報を保持するテーブルである。メディア管理テーブルT12は、データソース群DSに含まれるストレージSTの管理情報を保持するテーブルである。データ管理テーブルT13は、データソース群DSに分散して記憶されている画像データの管理情報を保持するテーブルである。地図情報D20は、複数のカメラ装置40の設置場所を含む範囲の地図を示す情報である。
【0030】
インシデント管理情報D30は、地図情報D20により示される範囲内の区域に対応づけて管理されるインシデントの管理情報である。ここでいう「インシデント」とは、観測対象の事象に関連する画像データを取得するための設定情報であり、対象とする事象が発生する可能性のある位置に対応づけて定義される。利用者は、予め定義したインシデントのいずれかを指定して検索装置200に画像データの検索を指示することにより、指定したインシデントに係る事象に関連する画像データを取得することができる。すなわち、換言すれば、インシデントは、検索条件の一態様ということができる。
【0031】
制御部230は、検索装置200の制御機能を有する。制御部230は、例えば、管理部231と、検索部232とを備える。管理部231は、メディア管理情報D10の管理機能を有する。具体的には、管理部231は、データソース群DSからメディア情報を収集し、収集したメディア情報に基づいて装置管理テーブルT11、メディア管理テーブルT12、およびデータ管理テーブルT13を更新する。なお、管理部231は、装置管理テーブルT11またはメディア管理テーブルT12について、利用者端末装置300を介して利用者の更新操作を受け付け、受け付けた更新操作に基づいて各テーブルを更新してもよい。例えば、利用者がメディア管理情報D10の更新操作を入力するための利用者インターフェースはメディアビューアMVによって提供される。
【0032】
また、管理部231は、インシデント管理情報D30の管理機能を有する。具体的には、管理部231は、利用者端末装置300からの更新要求に応じてインシデント管理情報の更新を行う。例えば、管理部231は、新たなインシデントの追加する更新要求を受け付けた場合、利用者が指定した内容のインシデントをインシデント管理情報D30に追加する。また、例えば、管理部231は、登録済みのインシデントを変更する更新要求を受け付けた場合、利用者が指定したインシデントに対して指定された内容の変更を行う。また、例えば、管理部231は、登録済みのインシデントを削除する更新要求を受け付けた場合、利用者が指定したインシデントをインシデント管理情報D30から削除する。なお、利用者端末装置300において、利用者がインシデント管理情報を更新するための利用者インターフェースはメディアビューアMVによって提供されるものとする。
【0033】
検索部232は、利用者端末装置300からの検索要求に応じて、データソース群DSに分散して記憶されている画像データの中から、指定された検索条件に合致する画像データを検索する機能(以下「画像検索機能」という。)を有する。具体的には、検索部232は、装置管理テーブルT11、メディア管理テーブルT12およびデータ管理テーブルT13を指定された検索条件で検索し、検索条件に合致したレコードの各値を検索結果として利用者端末装置300に返す。
【0034】
図3は、実施形態の利用者端末装置300の構成例を示す図である。利用者端末装置300は、バスで接続されたCPUやメモリや補助記憶装置などを備え、プログラムを実行する。利用者端末装置300は、プログラムの実行によって通信部310と、表示部320と、入力部330と、記憶部340と、制御部350とを備える装置として機能する。なお、利用者端末装置300の各機能の全て又は一部は、ASICやPLDやFPGA等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。
【0035】
通信部310は、利用者端末装置300をネットワークNWに接続する通信インターフェースである。通信部310は、ネットワークNWを介してデータソース群DSおよび検索装置200と通信する。例えば、通信部310は、イーサネット(登録商標)や有線LAN、無線LAN等のNICである。
【0036】
表示部320は、CRT(Cathode Ray Tube)ディスプレイや液晶ディスプレイ、有機EL(Electro-Luminescence)ディスプレイ等の表示装置を用いて構成される。例えば、表示部320には、メディアビューアMVの操作画面が表示される。表示部320は、表示機能と入力機能の両方を備えたタッチパネルであってもよい。また、表示部320は、利用者端末装置300の一部として構成される表示装置に限定されない。例えば、表示部320は、利用者端末装置300とは別体に構成された外部の表示装置から利用者端末装置300に対する映像信号を入力する入力インターフェースとして構成されてもよい。
【0037】
入力部330は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパネル等の入力装置を備える。入力部330は、利用者端末装置300の利用者による各種操作の入力を受け付けるとともに、入力された操作を電気信号に変換して制御部350に出力する。なお、入力部330は、マイク等の音声入力装置を備え、入力される音声によって操作の入力を受け付けるように構成されてもよい。また、表示部320がタッチパネルを備える場合、入力部330は、表示部320と一体に構成されてもよい。また、入力部330は、利用者端末装置300の一部として構成される入力装置に限定されない。例えば、入力部330は、利用者端末装置300とは別体に構成された外部の入力装置から利用者端末装置300に対する操作信号を入力する入力インターフェースとして構成されてもよい。
【0038】
記憶部340は、HDDやフラッシュメモリ、SSDなどの記憶装置を用いて構成される。記憶部340は、例えば、メディアビューアMVと、設定情報D40と、地図情報D50とを記憶する。メディアビューアMVは、その実行により利用者端末装置300上でメディアビューアMVを動作させるアプリケーションプログラムである。設定情報D40は、メディアビューアMVの動作に関する設定情報である。地図情報D50は、複数のカメラ装置40の設置場所を含む範囲の地図を示す情報である。例えば、地図情報D50は、メディアビューアMVがインシデントの登録操作を受け付ける利用者インターフェースの一部として使用される。地図情報D50は、検索装置200が記憶する地図情報D20と同じものであってもよい。
【0039】
制御部350は、利用者端末装置300の制御機能を有する。制御部350は、例えば、表示制御部351と、管理情報登録部352と、検索要求部353と、画像データ取得部354と、装置制御部355とを備える。例えば、表示制御部351、管理情報登録部352、検索要求部353、画像データ取得部354、および装置制御部355は、制御部350がメディアビューアMVを実行することにより起動するメディアビューアMVの機能として実現される。
【0040】
表示制御部351は、表示部320による情報表示の制御機能を有する。具体的には、表示制御部351は、メディアビューアMVによる表示部320への情報表示を制御する。例えば、表示制御部351は、メディアビューアMVの起動時に操作画面を表示する処理や、操作入力や処理結果に応じて操作画面の表示態様を変更する処理を行う。具体的には、表示制御部351は、以下に説明する管理情報登録部352、検索要求部353、画像データ取得部354、および装置制御部355との間で情報の入出力を行うことによりメディアビューアMVの表示態様を変更するものである。
【0041】
管理情報登録部352は、利用者が検索装置200に対して各種管理情報の登録を行うための利用者インターフェースを提供する機能を有する。具体的には、管理情報登録部352は、検索装置200がメディア管理情報およびインシデント管理情報として保持する各種情報の登録および削除を行うための利用者インターフェースを提供する。例えば、管理情報登録部352は、利用者がインシデントを検索装置200に登録するための利用者インターフェースを提供する機能を有する。例えば、管理情報登録部352は、利用者にインシデントの登録内容を入力させるためのインシデント登録画面を表示させ、インシデント登録画面に入力された情報を検索装置200に送信する。なお、上述のとおり、インシデントは、対象事象が、その発生位置に対応づけられて定義されるものである。そのため、利用者が対象事象の発生位置を視覚的に選択することができるように、管理情報登録部352は、地図情報D50により、インシデント登録画面内に地図を表示させてもよい。
【0042】
また、管理情報登録部352は、利用者がデータソース群DSに関するタグ情報を登録するための利用者インターフェースを提供する機能を有する。タグ情報は、任意の情報であってよい。例えば、タグ情報は、データソース群DSに含まれるカメラ装置40に対応づけられてもよいし、ストレージSTに対応づけられてもよい。例えば、管理情報登録部352は、タグ情報の対応づけが可能なオブジェクト(例えば、各カメラ装置40や各ストレージSTなど)の一覧を示すタグ情報登録画面を表示させる。管理情報登録部352は、当該一覧からオブジェクトを選択する操作と、選択されたオブジェクトに対して対応づけられるタグ情報の入力操作を受け付け、選択されたオブジェクトの識別情報と、入力されたタグ情報とを対応づけて検索装置200に送信する。送信されたタグ情報は、検索装置200において、選択されたオブジェクトのメディア管理情報D10に登録される。
【0043】
検索要求部353は、検索装置200に対して画像データの検索要求を発行する機能を有する。例えば、検索要求部353は、利用者に検索条件を入力させるための検索画面を表示させ、検索画面に入力された検索条件を検索装置200に送信することにより、検索装置200に対して当該検索条件での画像データの検索を要求する。また、検索要求部353は、検索要求に対して検索装置200から返された検索結果をメディアビューアMVに表示させる。
【0044】
画像データ取得部354は、利用者が指定した画像データをデータソース群DSから取得する機能を有する。例えば、画像データ取得部354は、データソース群DSに含まれる複数のストレージSTの中から、指定された画像データを保持するストレージSTを特定し、特定したストレージSTから対象の画像データを取得する。画像データ取得部354は、取得した画像データを記憶部340に保存してもよいし、メディアビューアMVに表示させてもよい。
【0045】
装置制御部355は、データソース群DSに含まれる複数のカメラ装置40の制御機能を有する。例えば、装置制御部355は、複数のカメラ装置40のうちの任意のカメラ装置40に対してネットワークを介して、任意のタイミングで撮像動作を指示することができる。また、装置制御部355は、撮像方向を変更可能なカメラ装置40に対して撮像方向の変更を指示するように構成されてもよい。装置制御部355は、カメラ装置40に対して、静止画像の取得を指示してもよいし、動画像の取得を指示してもよい。装置制御部355は、予め設定されたタイミングで撮像指示を行ってもよいし、利用者が指定したタイミングで撮像指示を行ってもよい。例えば、カメラ装置40の操作を実現する利用者インターフェースはメディアビューアMVによって提供される。
【0046】
図4は、検索装置200に登録されるインシデントの概要を示す図である。
図4に示す地図は、登録するインシデントの発生位置を含む地域と、その地域に設置されたカメラ装置40の位置を示すものである。各カメラ装置40は、撮像方向が視認できる態様で地図上に表示される。例えば、利用者は、このような地図が表示されたインシデント登録画面において、対象事象の発生位置L1(範囲でもよい)と、発生位置L1を含む区域A1とを指定することにより、対象事象を観測するためのインシデントを登録することができる。以下では、このように登録されるインシデントにおいて、事象の発生位置に対応づけて登録される区域A1をインシデントの観測範囲という。
【0047】
検索装置200は、このようにして登録されたインシデントが検索条件として指定された場合、指定されたインシデントの観測範囲内に存在するカメラ装置40を、画像データを取得すべき対象と認識することにより、対象のカメラ装置40に対応するストレージSTに保持された画像データのうち、その他の検索条件に合致するものを検索結果として利用者端末装置300に返すことができる。
【0048】
図5は、検索装置200が保持する装置管理テーブルT11の一例を示す図である。装置管理テーブルT11は、例えば、「装置ID」や「IPアドレス」、「装置状態」、「設置位置」、「設置高さ」、「仰角」、「方角」、「タグ情報」などの情報を対応づけて記憶するように構成される。装置IDは、画像検索システム1において管理される複数のカメラ装置40の識別情報である。IPアドレスは、各カメラ装置40のIPアドレスである。装置状態は、各カメラ装置40の状態を表す。検索装置200は、各カメラ装置40の装置状態を参照することにより、各カメラ装置40が利用可能な状態であるか否かを認識することができる。設置位置は、各カメラ装置40の設置位置を表す。高さは、各カメラ装置40の設置位置における高さを表す。なお、設置位置が3次元の位置情報によって示される場合、高さの項目は省略されてもよい。
【0049】
仰角は、各カメラ装置40の撮像方向について鉛直方向の向きを表す。方角は、各カメラ装置40の撮像方向について水平方向の向きを表す。なお、各カメラ装置40の撮像方向が撮像目的に沿って適切に設定されている場合には、高さおよび仰角の項目は省略されてもよい。タグ情報は、利用者により各カメラ装置40に対応づけられる任意の情報である。
【0050】
なお、装置管理テーブルT11に登録される各項目の値は、各カメラ装置40が画像検索システム1に組み込まれる際に利用者によって登録される。また、装置管理テーブルT11に登録される各項目の値は、必要に応じて、管理部231により適宜更新されるものとする。例えば、管理部231は、各カメラ装置40から状態変化の通知を受けて装置状態の値を更新する。また、例えば、管理部231は、カメラ装置40に対して撮像方向の変更が行われた場合に仰角または方角の値を変更してもよい。また、例えば、管理部231は、利用者の更新操作を受けて装置管理テーブルT11を更新してもよい。この場合、例えば、利用者端末装置300において、管理情報登録部352が装置管理テーブルT11の管理画面(タグ情報登録画面を含む)を表示させて利用者の入力を受け付け、入力情報を検索装置200に送信する。検索装置200では、管理部231が利用者端末装置300から受信された上記入力情報に基づいて装置管理テーブルT11の更新を行う。これにより、管理部231は、タグ情報の登録操作に応じてタグ情報の値を更新したり、各カメラ装置40についてネットワーク構成の変更や設置場所の変更等が行われた場合に、IPアドレスや、設置位置、設置高さの値を変更したりすることができる。
【0051】
図6は、検索装置200が保持するメディア管理テーブルT12の一例を示す図である。メディア管理テーブルT12は、例えば、「ストレージID」や「ストレージ種別」、「ストレージ状態」、「装置ID」、「タグ情報」などの情報を対応づけて記憶するように構成される。ストレージIDは、画像検索システム1において管理される複数のストレージSTの識別情報である。ストレージ種別は、各ストレージSTの種別を表す。ストレージ状態は、各ストレージSTの状態を表す。検索装置200は、各ストレージSTのストレージ状態を参照することにより、各ストレージSTが利用可能な状態であるか否かを認識することができる。装置IDは、各ストレージSTに画像データを記録するカメラ装置40の識別情報であり、装置管理テーブルT11における装置IDに対応するものである。タグ情報は、利用者により各ストレージSTに対応づけられる任意の情報である。
【0052】
なお、メディア管理テーブルT12に登録される各項目の値は、各ストレージSTが画像検索システム1に組み込まれる際に利用者によって登録される。また、メディア管理テーブルT12に登録される各項目の値は、必要に応じて、管理部231により適宜更新されるものとする。例えば、管理部231は、各ストレージSTから状態変化の通知を受けて装置状態の値を更新する。なお、各ストレージSTの状態変化は、各ストレージSTに画像データを記録するカメラ装置40を介して通知されてもよい。また、例えば、管理部231は、利用者の更新操作を受けてメディア管理テーブルT12を更新してもよい。この場合、例えば、利用者端末装置300において、管理情報登録部352がメディア管理テーブルT12の管理画面(タグ情報登録画面を含む)を表示させて利用者の入力を受け付け、入力情報を検索装置200に送信する。検索装置200では、管理部231が利用者端末装置300から受信された上記入力情報に基づいてメディア管理テーブルT12の更新を行う。これにより、管理部231は、タグ情報の登録操作に応じてタグ情報の値を更新したり、ストレージSTとカメラ装置40との対応づけが変更された場合に、対応するカメラ装置40の装置IDの値を変更したりすることができる。
【0053】
図7は、検索装置200が保持するデータ管理テーブルT13の一例を示す図である。データ管理テーブルT13は、例えば、「データID」や「データ種別」、「解像度」、「撮像時刻」、「データサイズ」、「ストレージID」などの情報を対応づけて記憶するように構成される。データIDは、画像検索システム1において管理される各画像データの識別情報である。データ種別は、各画像データの種別を表す。例えば本実施形態では、データ種別の値により、画像データがサムネイル、スナップショット、およびビデオクリップのいずれであるかを識別するものとする。ビデオクリップは、動画像として再生可能に構成された画像データである。スナップショットは、任意のタイミングで撮像された静止画像である。スナップショットは、散発的な撮像動作によって取得されるものであってもよいし、再生中の動画像や表示中のライブ映像を撮像したものであってもよい。解像度は、画像データの解像度の種別を表す。撮像時刻は、撮像により画像データが生成された時刻を表す。データサイズは、画像データのサイズを表す。ストレージIDは、画像データを記憶しているストレージSTの識別情報を表す。ストレージIDは、メディア管理テーブルT12におけるストレージIDに対応するものである。トリガ種別は、画像データが取得された契機を表す。例えば本実施形態では、トリガ種別の値により、画像データがイベントおよび手動のいずれの契機で取得されたものかを識別するものとする。タグ情報は、利用者により各画像データに対応づけられる任意の情報である。
【0054】
なお、データ管理テーブルT13が保持する各項目の値は、各カメラ装置40が取得した画像データに関する管理情報を検索装置200に通知することによって登録される。画像データに関する管理情報は、画像データが取得される都度送信されてもよいし、予め定められた所定のタイミングにおいてそれまでに取得された管理情報がまとめて送信されてもよい。検索装置200では、管理部231が、各カメラ装置40から受信された管理情報をデータ管理テーブルT13に登録する。なお、データ管理テーブルT13に登録される各項目のうちタグ情報については、管理部231は、タグ情報登録画面を介して利用者がタグ情報の登録操作を行った場合に、指定された値をデータ管理テーブルT13に登録する。
【0055】
図8は、検索装置200が保持するインシデント管理情報の一例を示す図である。インシデント管理情報は、例えば、
図8に示すインシデント管理テーブルT14として記憶部220に記憶される。インシデント管理テーブルT14は、例えば、「インシデントID」や「発生位置」、「発生時刻」、「観測範囲」、「タグ情報」などの情報を対応づけて記憶するように構成される。インシデントIDは、画像検索システム1において管理される各インシデントの識別情報である。発生位置は、観測対象の事象が発生した位置を示す。発生位置は、事象発生地点の位置情報であってもよいし、事象発生地点を含む範囲を示す情報であってもよい。発生時刻は、対象の事象が発生したタイミングを表す。発生時刻は、対象の事象が発生した瞬間の時刻を示す情報であってもよいし、当該時刻を含む時間帯を示す情報であってもよい。観測範囲は、発生位置で発生した事象の観測のために必要とする画像データの取得範囲を定義するものである。換言すれば、観測範囲は、事象観測に必要な画像データを取得するカメラ装置40の選択範囲を定義するものである。タグ情報は、利用者により各インシデントに対応づけられる任意の情報である。
【0056】
なお、インシデント管理テーブルT14に登録される各項目の値は、利用者が登録操作を行うことによって登録される(
図4参照)。また、インシデント管理テーブルT14に登録される各項目の値は、必要に応じて、管理部231により適宜更新されてよい。例えば、管理部231は、利用者の更新操作を受けてインシデント管理テーブルT14を更新してもよい。この場合、例えば、利用者端末装置300において、管理情報登録部352がインシデント管理テーブルT14の管理画面(タグ情報登録画面を含む)を表示させて利用者の入力を受け付け、入力情報を検索装置200に送信する。検索装置200では、管理部231が利用者端末装置300から受信された上記入力情報に基づいてインシデント管理テーブルT14の更新を行う。
【0057】
図9および
図10は、検索装置200が利用者端末装置300からの検索要求を受けて、指定された条件に合致するストレージSTを検索する処理の流れの一例を示すフローチャートである。ここで、フローチャートの開始時点においては、利用者(またはメディアビューアMV)により画像データを取得する期間(以下「対象期間」という。)が少なくとも指定されているものとする。まず、検索装置200において、検索部232は、利用者端末装置300から検索要求を受け付ける(ステップS101)。ここで利用者端末装置300は、検索要求の際に、利用者が指定した検索条件を検索装置200に通知する。続いて、検索部232は、指定された検索条件が、登録済みのインシデントを指定するものであるか否かを判定する(ステップS102)。ここで、検索条件が登録済みのインシデントを指定するものであった場合(ステップS102-YES)、検索部232は、指定されたインシデントの登録情報に基づいて、画像データを取得する対象のストレージST(以下「対象ストレージ」という。)を特定する(ステップS103)。
【0058】
例えば、検索部232は、装置管理テーブルT11およびメディア管理テーブルT12を参照し、指定されたインシデントの観測範囲に含まれるカメラ装置40を選択し、選択したカメラ装置40が画像データを記録するストレージSTを対象ストレージの候補として選択する。なお、ここで選択したカメラ装置40が管理サーバ50を有する場合、管理サーバ50が備えるストレージSTも対象ストレージの候補として選択されてよい。続いて、検索部232は、選択したストレージSTのストレージ状態を確認し、現在利用可能な状態(例えばオンライン状態)にあるストレージSTを対象ストレージとして選択することができる。なお、検索部232は、ストレージSTの状態確認に代えて/加えて、ストレージSTに画像データを記録するカメラ装置40の状態を確認し、そのカメラ装置40が現在利用可能な状態(例えばオンライン状態)にある場合に、対応するストレージSTを対象ストレージとして選択してもよい。
【0059】
一方、ステップS102において、指定された検索条件が登録済みのインシデントを指定するものでなかった場合(ステップS102-NO)、検索部232は、検索条件がタグを指定するものであるか否かを判定する(ステップS104)。ここで、検索条件がタグを指定するものであった場合(ステップS104-YES)、検索部232は、指定されたタグに基づいて対象ストレージを選択する(ステップS105)。
【0060】
例えば、検索部232は、装置管理テーブルT11およびメディア管理テーブルT12を参照し、指定されたタグを含むタグ情報を有するストレージSTを対象ストレージの候補として選択する。続いて、検索部232は、選択したストレージSTのストレージ状態を確認し、現在利用可能な状態(例えばオンライン状態)にあるストレージSTを対象ストレージとして選択することができる。この場合においても、ステップS103と同様に、検索部232は、ストレージSTの状態確認に代えて/加えて、ストレージSTに画像データを記録するカメラ装置40の状態を確認し、そのカメラ装置40が現在利用可能な状態(例えばオンライン状態)にある場合に、対応するストレージSTを対象ストレージとして選択してもよい。また、検索部232は、ストレージSTのタグ情報を検索することに代えて/加えて、ストレージSTに画像データを記録するカメラ装置40のタグ情報を検索し、そのカメラ装置40が指定されたタグを含むタグ情報を有する場合に、対応するストレージSTを対象ストレージとして選択してもよい。
【0061】
一方、ステップS104において、検索条件がタグを指定するものでなかった場合(ステップS104-NO)、すなわち検索条件が指定されなかった場合、検索部232は、利用者に新たなインシデントを登録させ(ステップS106)、新たに登録されたインシデントに基づいて対象ストレージを選択し(ステップS107)、選択した対象ストレージの一覧情報を生成する(ステップS108)。ここでの対象ストレージの選択方法は、ステップS103と同様である。なお、検索部232は、対象ストレージとしていずれのストレージSTも選択されなかった場合、空の一覧情報を生成する。以上の処理により、利用者が指定したインシデントまたはタグに対応するストレージSTであって、現在利用可能な状態であるストレージSTの一覧情報が取得される。
【0062】
なお、ここでは、検索要求時に対象ストレージを検索する場合について説明したが、対象ストレージの一覧は、検索要求に先立って予め生成されていてもよい。また、対象ストレージへのアクセスがカメラ装置40や管理サーバ50によって制御される場合、一覧情報には対象ストレージに対応するカメラ装置40や管理サーバ50の情報が含められてもよい。また、対象ストレージとして管理サーバ50またはクラウドストレージ60が選択された場合、その選択の理由となったカメラ装置40の情報が一覧情報に含められるものとする。
【0063】
続いて、検索部232は、生成した対象ストレージの一覧情報にいずれかのストレージSTが記載されているか否かを判定する(ステップS201)。ここで、対象ストレージの一覧情報にいずれのストレージSTも記載されていなかった場合(ステップS201-NO)、検索部232は、取得可能な画像データが無い旨を利用者端末装置300に通知して(ステップS202)処理を終了する。
【0064】
一方、ステップS201において、対象ストレージの一覧情報にいずれかのストレージSTが記載されていた場合(ステップS201-YES)、検索部232は、一覧情報に記載されているストレージSTから一つを処理対象として選択し(ステップS203)、そのストレージSTが対象ストレージとして選択された理由となったカメラ装置40が対象期間において撮像した画像データの一覧情報を処理対象のストレージSTから取得する(ステップS204)。なお、処理対象のストレージSTに該当する画像データが含まれていない場合には、検索部232は、対象の画像データ無しとしてステップS205に処理を進めてよい。
【0065】
続いて、検索部232は、それまで処理対象となっていないストレージST(以下「未処理のストレージST」という。)が存在するか否かを判定する(ステップS205)。検索部232は、未処理のストレージSTがない場合(ステップS205-NO)、ステップS207に処理を進め、未処理のストレージSTが残っている場合には(ステップS205-YES)、未処理のストレージSTの中から次の処理対象を選択して(ステップS206)、ステップS204に処理を戻す。これにより、検索部232は、全ての対象ストレージから対象期間に取得された画像データの一覧情報を取得することができる。検索部232は、このようにして取得した画像データの一覧情報を利用者端末装置300に送信し(ステップS207)、一連の処理を終了する。
【0066】
以上の処理によって利用者端末装置300に取得された画像データの一覧情報は、メディアビューアMVによって所定の態様で表示される。以下では、メディアビューアMVによる画像データの一覧情報の表示についていくつかの表示例を説明する。
【0067】
図11は、メディアビューアMVによる画像データの第1の表示例を示す図である。
図11は、利用可能なカメラ装置40として1台のカメラ装置40Aが検索された場合におけるメディアビューアMVの表示例として画面G1を示す。画面G1は、例えば、検索されたカメラ装置40の一覧を示すカメラリスト領域G11(カメラリスト)と、カメラリスト領域G11から選択されたカメラ装置40が撮像した画像を表示するメディアビューア領域G12と、選択されたカメラ装置40によって取得された画像データの一覧を示すタイムラインビューア領域G13とを備える。
【0068】
この場合、検索されたカメラ装置40がカメラ装置40Aの1台であるので、カメラリスト領域G11にはカメラ装置40Aのみが表示されている。また、
図11の例のメディアビューア領域G12は、3つの表示領域G12-1~G12-3を有するが、検索されたカメラ装置40がカメラ装置40Aの1台であるので、そのうちの1つの表示領域G12-1にカメラ装置40Aの画像が表示され、残りの表示領域G12-2およびG12-3は“カメラ無し”が表示されている。
【0069】
また、例えば、タイムラインビューア領域G13には、カメラ装置40Aによって撮像された画像データがタイムライン形式で表示される。
図11の例は、カメラ装置40Aが2つのストレージSTに画像データを記録する場合を示し、それぞれのストレージSTごとのタイムラインとして、管理サーバ50のストレージST(“管理サーバ(SSD)”)に記録された画像データのタイムラインTL1と、クラウドストレージ60のストレージST(“クラウドストレージ”)に記録された画像データのタイムラインTL2とが表示されている。タイムラインには、タイムラインバーTBに表示される日時に対応して画像データの有無が示される。
図11の例のタイムラインには、ビデオクリップ、サムネイル、およびスナップショットの存在が視覚的に識別可能な態様で表示されている。さらに、
図11の例のタイムラインには、検索条件に合致した画像データが識別可能な態様で表示されている。
【0070】
このような表示のほか、画面G1には、再生中のビデオクリップのスナップショットを取得するためのコマンドボタンBT1や、再生中のビデオクリップのサムネイルを取得するためのコマンドボタンBT2、ビデオクリップの再生をコントロールするためのコントロールバーCB、データ種別ごとの表示または非表示を切り替えるためのコマンドボタンBT31およびBT32、検索結果に合致する画像データの表示または非表示を切り替えるためのコマンドボタンBT4、表示する画像データが取得された日付を指定するためのカレンダCLなどが配置されてもよい。また、画面G1は、選択されたオブジェクトに対応づけられたタグ情報を表示するように構成されてもよい。
図11の例は、選択されたビデオクリップVCの選択により、タグ情報(“Incident×00502”)が表示された場合を表している。その他、画面G1には、選択されたカメラ装置40を操作するための操作インターフェースが表示されてもよい。
【0071】
図12は、メディアビューアMVによる画像データの第2の表示例を示す図である。
図12は、
図11と同様に、利用可能なカメラ装置40として1台のカメラ装置40Bが検索された場合におけるメディアビューアMVの表示例として画面G2を示す。
図12の例は、カメラ装置40Bが2つのストレージSTに画像データを記録する場合を示し、それぞれのストレージSTごとのタイムラインとして、カメラ装置40BのストレージST(“カメラ SD”)に記録された画像データのタイムラインTL3と、クラウドストレージ60のストレージST(“クラウドストレージ”)に記録された画像データのタイムラインTL4とが表示されている。その他の構成は、第1の表示例と同様である。
【0072】
図13は、メディアビューアMVによる画像データの第3の表示例を示す図である。
図13は、利用可能なカメラ装置40として2台のカメラ装置40が検索された場合におけるメディアビューアMVの表示例として画面G3を示す。例えば、画面G3は、
図11に示したカメラ装置40Aと
図12に示したカメラ装置40Bとが同時に検索された場合の表示例である。この場合、カメラリスト領域G11にはカメラ装置40Aおよび40Bが表示され、メディアビューア領域G12にはカメラ装置40Aおよび40Bが撮像した画像データが表示される。また、この場合、タイムラインビューア領域G13には、検索されたカメラ装置40Aおよび40BのそれぞれのタイムラインTL1およびTL2が一覧表示される。その他の構成は、第1の表示例および第2の表示例と同様である。
【0073】
このように、検索装置200から検索結果として提供された画像データの一覧情報が
図11~
図13に例示したような態様で表示されることにより、利用者は所望の画像データを容易に取得することができる。例えば、メディアビューアMVに表示された画像データの選択操作が入力された場合、画像データ取得部354が、当該画像データを保持するストレージSTから画像データをダウンロードしてメディアビューアMVに提供する。このように、利用者の検索条件に合致する画像データ、およびその画像データを保持するストレージSTの一覧情報が検索装置200によって提供されることにより、利用者は必要とする画像データを容易にデータソース群DSから取得することが可能になる。
【0074】
<変形例>
なお、検索装置200は、発生位置L1で発生した事象を追跡する機能を有してもよい。例えば、各カメラ装置40が撮像した画像から所定の事象を認識する画像センサとしての機能を有している場合、検索装置200は、観測範囲A1内に存在する各カメラ装置40から当該事象の認識結果を取得することにより、それらのカメラ装置40のうち当該事象を認識したカメラ装置40を識別することができる。検索装置200は、このようなカメラ装置40の識別処理を当該事象の発生に応じて連続的に実施することにより、発生位置L1で発生した事象を観測範囲A1の範囲内で追跡することができる。所定の事象は、特定の物体の存在であってもよいし、特定の物体の動作であってもよい。これらの画像認識処理には、画像から認識対象の特徴量を抽出する方法や、ニューラルネットワーク等の各種機械学習に基づいて生成された識別器によって対象を認識する方法などが用いられてもよい。なお、画像から特定の事象を認識する機能は検索装置200に備えられてもよい。この場合、例えば、検索装置200は、観測範囲A1内に存在する各カメラ装置40から画像データを取得し、取得した画像データに対して当該事象の認識処理を行うように構成されてもよい。
【0075】
また、上記の実施形態では、検索条件に基づいて対象ストレージの一覧情報を取得する第1処理と、対象ストレージから検索条件に合致する画像データの一覧情報を取得する第2処理とを検索装置200が実施する場合について説明したが、第1処理および第2処理のいずれか一方、または両方は、検索装置200以外の装置で実施されてもよい。例えば、検索装置200が第1処理を実施して処理結果である対象ストレージの一覧情報を利用者端末装置300に提供し、利用者端末装置300が対象ストレージの一覧情報に基づいて第2処理を実施してもよい。また、例えば、管理サーバ50が第1処理を実施し、利用者端末装置300が第2処理を実施してもよい。この場合、画像検索システム1において検索装置200は省略されてもよい。
【0076】
また、画像データの管理情報(例えばデータ管理テーブルT13に相当する管理情報)がデータソース群DS側で管理されている場合、第2処理は省略されてもよい。この場合、例えば、検索装置200は第1処理を実行し、その実行結果である対象ストレージの一覧情報を利用者端末装置300に提供する。この場合、利用者端末装置300は、一覧情報に記載されたストレージSTに関して、検索条件に合致する画像データの提供をデータソース群DS側に要求するように構成されてもよい。例えば、
図1の例において、管理サーバ50のストレージSTが一覧情報に記載されている場合、利用者端末装置300は管理サーバ50に対して検索条件(少なくとも対象期間を含む)を指定することにより、画像データの提供を要求してもよい。この場合、管理サーバ50は画像データの管理情報をもとに対象の画像データを抽出して利用者端末装置300に提供してもよい。
【0077】
以上に説明したように、本実施形態に係る画像検索システム1は、ネットワークに接続された複数のストレージSTと、複数のストレージSTに時系列の画像データを記録する複数のカメラ装置40と、複数のストレージSTに記録された時系列の画像データの中から利用者が指定する条件に合致するものを検索する検索装置200と、を備え、検索装置200は、複数のストレージSTに記録された画像データの識別情報と、画像データを記録したカメラ装置40または画像データを記憶するストレージSTの属性情報との対応関係を示すメディア管理情報D10を記憶する記憶部220と、メディア管理情報D10を検索することにより利用者が指定する条件に合致する画像データを検索する検索部232と、を備える。この構成により、本実施形態に係る画像検索システム1は、利用者が複数のデータソースに分散して格納された画像データの中から所望の画像データを容易に探し出すことができるようにすることができる。
【0078】
また、本実施形態に係る画像検索システム1において、メディア管理情報D10は、カメラ装置40の識別情報、位置および撮影方向を含み、検索部232は、メディア管理情報D10に基づいて、利用者が指定する発生位置を含む観測範囲に含まれるカメラ装置40であって、発生位置で発生した事象または事象に関連する関連事象を撮像したカメラ装置40を対象装置として推定し、対象装置が記録した画像データのうち事象の発生タイミング付近で記録されたものを検索結果として出力する。この構成により、本実施形態に係る画像検索システム1によれば、利用者はインシデントを予め登録しておくことにより対象の事象に関する画像データを容易に取得することができる。
【0079】
また、本実施形態に係る画像検索システム1において、メディア管理情報D10は、カメラ装置40に対応づけられたタグ情報を含み、検索部232は、メディア管理情報D10に基づいて、利用者が指定するタグに合致するタグ情報に対応づけられたカメラ装置40を対象装置として特定し、対象装置が記録した画像データを検索結果として出力する。この構成により、本実施形態に係る画像検索システム1によれば、利用者は予め登録した任意のタグを用いて画像データの絞り込みを行うことができる。
【0080】
また、本実施形態に係る画像検索システム1において、検索部232は、複数のカメラ装置40のうち現在利用可能なカメラ装置40を選択し、選択した前記カメラ装置40の中から対象装置を選択する。この構成により、本実施形態に係る画像検索システム1によれば、利用者はより確実に目的の画像データを取得することができる。
【0081】
また、本実施形態に係る画像検索システム1は、メディア管理情報D10に基づいて、検索結果として出力された画像データを記憶するストレージSTを特定し、特定したストレージSTからネットワークNWを介して画像データを取得するデータ取得部をさらに備える。この構成により、本実施形態に係る画像検索システム1によれば、利用者はより効率良く目的の画像データを取得することができる。
【0082】
また、本実施形態に係る画像検索システム1において、ネットワークNWは、従量課金制のネットワーク(例えば、LTEや5Gなどのモバイル通信ネットワークなど)を含む。この構成により、本実施形態に係る画像検索システム1によれば、利用者は画像データの取得に係る通信費用を抑えることができる。
【0083】
また、本実施形態に係る画像検索システム1において、検索部232は、複数のストレージSTのうち現在利用可能なストレージSTを選択し、そのストレージSTに記録された画像データの中から利用者が指定する条件に合致する画像データを検索する。この構成により、本実施形態に係る画像検索システム1によれば、利用者はより確実に目的の画像データを取得することができる。
【0084】
なお、本実施形態において、カメラ装置40は「記録装置」の一例である。また、本実施形態において、ストレージSTは「ストレージ装置」の一例である。また、本実施形態において、メディア管理情報D10は「対応情報」の一例である。また、本実施形態において、インシデントに登録される事象の発生位置(または範囲)は「第1範囲」の一例である。また、本実施形態において、インシデントに登録される事象の観測範囲は「第2範囲」の一例である。
【0085】
以上のように、実施形態の画像検索システム1によれば、利用者が複数のデータソースに分散して格納された画像データの中から所望の画像データを容易に探し出すことができるようにすることができる。
【符号の説明】
【0086】
1…画像検索システム、200…検索装置、210…通信部、220…記憶部、230…制御部、231…管理部、232…検索部、300…利用者端末装置、310…通信部、320…表示部、330…入力部、340…記憶部、350…制御部、351…表示制御部、352…管理情報登録部、353…検索要求部、354…画像データ取得部、355…装置制御部、40…カメラ装置、50…管理サーバ、60…クラウドストレージ