(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024130340
(43)【公開日】2024-09-30
(54)【発明の名称】撮影システム、撮影システムの制御方法、解析装置、及び、プログラム
(51)【国際特許分類】
G06F 16/53 20190101AFI20240920BHJP
H04N 7/18 20060101ALI20240920BHJP
【FI】
G06F16/53
H04N7/18 D
H04N7/18 U
H04N7/18 K
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2023040006
(22)【出願日】2023-03-14
(71)【出願人】
【識別番号】000006507
【氏名又は名称】横河電機株式会社
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100169823
【弁理士】
【氏名又は名称】吉澤 雄郎
(74)【代理人】
【識別番号】230128026
【弁護士】
【氏名又は名称】駒木 寛隆
(72)【発明者】
【氏名】和田 篤士
(72)【発明者】
【氏名】小嶋 修
【テーマコード(参考)】
5B175
5C054
【Fターム(参考)】
5B175DA02
5B175HB03
5C054CA04
5C054CC02
5C054CF06
5C054EA01
5C054EA07
5C054FC00
5C054GB02
5C054GB05
5C054HA19
(57)【要約】
【課題】撮影装置により撮影された映像を用いて特定の被写体を検索するための技術を改善する。
【解決手段】撮影システムは、映像を撮影する撮影装置と、撮影装置から映像を取得したことに応じて、その映像を解析して映像に映り込んだ被写体の特徴を示す第1特徴情報を取得するとともに、映像と第1特徴情報とを対応付けて記憶装置に記憶させる解析装置と、サーバ装置と、端末装置とを備える。サーバ装置は、検索対象の被写体の特徴を示す第2特徴情報を取得し、取得した第2特徴情報を解析装置へ送信する。解析装置は、サーバ装置から第2特徴情報を受信したことに応じて、その第2特徴情報に類似する第1特徴情報を記憶装置から抽出し、抽出した第1特徴情報に対応する映像である抽出映像をサーバ装置へ送信する。サーバ装置は、解析装置から受信した抽出映像を端末装置へ送信する。端末装置は、サーバ装置から受信した抽出映像を表示部に表示させる。
【選択図】
図1
【特許請求の範囲】
【請求項1】
複数のフレーム画像からなる映像を撮影する撮影装置と、
前記撮影装置と通信可能であり、前記撮影装置から前記映像を取得したことに応じて、第1解析ロジックに基づき当該映像を解析して当該映像に映り込んだ被写体の特徴を示す第1特徴情報を取得するとともに、前記映像と前記第1特徴情報とを対応付けて記憶装置に記憶させる、第1制御部を備える解析装置と、
前記解析装置と通信可能なサーバ装置と、
前記サーバ装置と通信可能な端末装置と、
を備え、
前記サーバ装置は、検索対象の被写体の特徴を示す第2特徴情報を取得し、取得した前記第2特徴情報を前記解析装置へ送信する、第2制御部を備え、
前記解析装置の前記第1制御部は、前記サーバ装置から前記第2特徴情報を受信したことに応じて、当該第2特徴情報との類似度が予め定められた第1閾値よりも大きい前記第1特徴情報を前記記憶装置から抽出し、抽出した前記第1特徴情報に対応する映像である抽出映像を前記サーバ装置へ送信し、
前記サーバ装置の前記第2制御部は、前記解析装置から受信した前記抽出映像を前記端末装置へ送信し、
前記端末装置は、前記サーバ装置から受信した前記抽出映像を表示部に表示させる、第3制御部を備える、
撮影システム。
【請求項2】
前記解析装置の前記第1制御部は、前記撮影装置から前記映像を取得したことに応じて、当該映像が撮影された日時を示す日時情報を、当該映像及び前記第1特徴情報と対応付けて前記記憶装置に更に記憶させ、
前記サーバ装置の前記第2制御部は、前記第2特徴情報に加えて検索を行う日時範囲を更に取得するとともに、前記第2特徴情報に加えて前記日時範囲を前記解析装置へ更に送信し、
前記解析装置の前記第1制御部は、
前記サーバ装置から前記第2特徴情報及び前記日時範囲を受信したことに応じて、当該第2特徴情報との類似度が前記第1閾値よりも大きい、前記日時範囲において撮影された前記映像の前記第1特徴情報を前記記憶装置から抽出し、
抽出した前記第1特徴情報に対応する映像である抽出映像、当該抽出映像の前記日時情報、及び、当該第1特徴情報と前記第2特徴情報との類似度を前記サーバ装置へ送信し、
前記サーバ装置の前記第2制御部は、前記解析装置から受信した前記抽出映像、当該抽出映像の前記日時情報、及び、前記類似度を前記端末装置へ送信し、
前記端末装置の前記第3制御部は、前記サーバ装置から受信した前記抽出映像、当該抽出映像の前記日時情報、及び、前記類似度を前記表示部に表示させる、
請求項1に記載の撮影システム。
【請求項3】
複数の地点に設けられた複数の前記撮影装置と、
前記複数の撮影装置に含まれる一つ以上の前記撮影装置とそれぞれ通信可能な複数の前記解析装置と、
を備え、
前記サーバ装置の前記第2制御部は、前記第2特徴情報に加えて検索を行う地理的範囲を更に取得するとともに、当該地理的範囲に含まれる地点に設けられた前記撮影装置と通信可能な前記解析装置へ前記第2特徴情報を送信し、
前記サーバ装置から前記第2特徴情報を受信した前記解析装置の前記第1制御部は、当該第2特徴情報との類似度が前記第1閾値よりも大きい前記映像の前記第1特徴情報を前記記憶装置から抽出し、抽出した前記第1特徴情報に対応する前記抽出映像と、当該抽出映像を撮影した前記撮影装置の地点を示す地点情報とを前記サーバ装置へ送信し、
前記サーバ装置の前記第2制御部は、前記解析装置から受信した前記抽出映像及び当該抽出映像の前記地点情報を前記端末装置へ送信し、
前記端末装置の前記第3制御部は、前記サーバ装置から受信した前記抽出映像及び当該抽出映像の前記地点情報を前記表示部に表示させる、
請求項1に記載の撮影システム。
【請求項4】
前記端末装置の前記第3制御部は、前記検索対象の被写体が映り込んだ画像である検索対象画像の指定をユーザから受け付け、
前記サーバ装置の前記第2制御部は、前記ユーザにより指定された前記検索対象画像を解析して取得された特徴情報を前記第2特徴情報として取得する、
請求項1に記載の撮影システム。
【請求項5】
前記サーバ装置の前記第2制御部は、前記第2特徴情報に加えて、前記検索対象の被写体特有の外見的特徴を示す第3特徴情報を取得し、前記第2特徴情報に加えて前記第3特徴情報を前記解析装置へ送信し、
前記解析装置の前記第1制御部は、
前記サーバ装置から前記第2特徴情報及び前記第3特徴情報を受信したことに応じて、当該第2特徴情報との類似度が前記第1閾値よりも大きい前記第1特徴情報を前記記憶装置から抽出し、
抽出した前記第1特徴情報に対応する映像を第2解析ロジックに基づき解析して、当該映像に映り込んだ被写体特有の外見的特徴を示す第4特徴情報を取得し、
前記第3特徴情報との類似度が予め定められた第2閾値よりも大きい前記第4特徴情報を抽出し、抽出した前記第4特徴情報に対応する映像を前記抽出映像として、前記サーバ装置へ送信する
請求項1に記載の撮影システム。
【請求項6】
前記サーバ装置の前記第2制御部は、前記第2特徴情報及び前記第3特徴情報に加えて、前記第3特徴情報を抽出する際に用いられた解析ロジック情報を前記解析装置へ送信し、
前記解析装置の前記第1制御部は、前記解析ロジック情報を前記第2解析ロジックとして用いて前記抽出した前記第1特徴情報に対応する映像を解析して、前記第4特徴情報を取得する、
請求項5に記載の撮影システム。
【請求項7】
前記解析装置の前記第1制御部は、
前記撮影装置から前記映像を取得したことに応じて、前記第1解析ロジックに基づき当該映像を解析して前記第1特徴情報を取得するとともに、前記映像と、当該映像に映り込んだ前記被写体の当該映像における空間的位置と、前記第1特徴情報とを対応付けて記憶装置に記憶させ、
前記サーバ装置から前記第2特徴情報及び前記第3特徴情報を受信したことに応じて、当該第2特徴情報との類似度が前記第1閾値よりも大きい前記第1特徴情報を前記記憶装置から抽出し、
抽出した前記第1特徴情報に対応する映像の前記空間的位置に対応する領域を前記第2解析ロジックに基づき解析して、当該映像の前記領域に映り込んだ被写体の特徴を示す特徴情報を前記第4特徴情報として取得する、
請求項5に記載の撮影システム。
【請求項8】
複数のフレーム画像からなる映像を撮影する撮影装置と、
前記撮影装置と通信可能であり、前記撮影装置から前記映像を取得したことに応じて、第1解析ロジックに基づき当該映像を解析して当該映像に映り込んだ被写体の特徴を示す第1特徴情報を取得するとともに、前記映像と前記第1特徴情報とを対応付けて記憶装置に記憶させる、第1制御部を備える解析装置と、
前記解析装置と通信可能なサーバ装置と、
前記サーバ装置と通信可能な端末装置と、
を備える撮影システムの制御方法であって、
前記サーバ装置の第2制御部が、検索対象の被写体の特徴を示す第2特徴情報を取得し、取得した前記第2特徴情報を前記解析装置へ送信し、
前記解析装置の前記第1制御部が、前記サーバ装置から前記第2特徴情報を受信したことに応じて、当該第2特徴情報との類似度が予め定められた第1閾値よりも大きい前記第1特徴情報を前記記憶装置から抽出し、抽出した前記第1特徴情報に対応する映像である抽出映像を前記サーバ装置へ送信し、
前記サーバ装置の前記第2制御部が、前記解析装置から受信した前記抽出映像を前記端末装置へ送信し、
前記端末装置の第3制御部が、前記サーバ装置から受信した前記抽出映像を表示部に表示させる、
撮影システムの制御方法。
【請求項9】
複数のフレーム画像からなる映像を撮影する撮影装置、及び、サーバ装置と通信可能な解析装置であって、
前記撮影装置から前記映像を取得したことに応じて、第1解析ロジックに基づき当該映像を解析して当該映像に映り込んだ被写体の特徴を示す第1特徴情報を取得するとともに、前記映像と前記第1特徴情報とを対応付けて記憶装置に記憶させ、
前記サーバ装置から検索対象の被写体の特徴を示す第2特徴情報を受信したことに応じて、当該第2特徴情報との類似度が予め定められた第1閾値よりも大きい前記第1特徴情報を前記記憶装置から抽出し、抽出した前記第1特徴情報に対応する映像である抽出映像を前記サーバ装置へ送信する、
制御部を備える解析装置。
【請求項10】
前記制御部は、
前記撮影装置から前記映像を取得したことに応じて、当該映像が撮影された日時を示す日時情報を、当該映像及び前記第1特徴情報と対応付けて前記記憶装置に更に記憶させ、
前記サーバ装置から、前記第2特徴情報に加えて検索を行う日時範囲を受信したことに応じて、当該第2特徴情報との類似度が前記第1閾値よりも大きい、前記日時範囲において撮影された前記映像の前記第1特徴情報を前記記憶装置から抽出し、
抽出した前記第1特徴情報に対応する映像である抽出映像及び当該抽出映像の前記日時情報を前記サーバ装置へ送信する、
請求項9に記載の解析装置。
【請求項11】
前記制御部は、
前記サーバ装置から、前記第2特徴情報に加えて前記検索対象の被写体特有の外見的特徴を示す第3特徴情報を受信したことに応じて、当該第2特徴情報との類似度が前記第1閾値よりも大きい前記第1特徴情報を前記記憶装置から抽出し、
抽出した前記第1特徴情報に対応する映像を第2解析ロジックに基づき解析して、当該映像に映り込んだ被写体特有の外見的特徴を示す第4特徴情報を取得し、
前記第3特徴情報との類似度が予め定められた第2閾値よりも大きい前記第4特徴情報を抽出し、抽出した前記第4特徴情報に対応する映像を前記抽出映像として、前記サーバ装置へ送信する
請求項9に記載の解析装置。
【請求項12】
前記制御部は、
前記サーバ装置から、前記第2特徴情報及び前記第3特徴情報に加えて前記第3特徴情報を抽出する際に用いられた解析ロジック情報を受信したことに応じて、前記解析ロジック情報を前記第2解析ロジックとして用いて前記抽出した前記第1特徴情報に対応する映像を解析して、前記第4特徴情報を取得する、
請求項11に記載の解析装置。
【請求項13】
前記制御部は、
前記撮影装置から前記映像を取得したことに応じて、前記第1解析ロジックに基づき当該映像を解析して前記第1特徴情報を取得するとともに、前記映像と、当該映像に映り込んだ前記被写体の当該映像における空間的位置と、前記第1特徴情報とを対応付けて記憶装置に記憶させ、
前記サーバ装置から前記第2特徴情報及び前記第3特徴情報を受信したことに応じて、当該第2特徴情報との類似度が前記第1閾値よりも大きい前記第1特徴情報を前記記憶装置から抽出し、
抽出した前記第1特徴情報に対応する映像の前記空間的位置に対応する領域を前記第2解析ロジックに基づき解析して、当該映像の前記領域に映り込んだ被写体特有の外見的特徴を示す特徴情報を前記第4特徴情報として取得する、
請求項11に記載の解析装置。
【請求項14】
複数のフレーム画像からなる映像を撮影する撮影装置、及び、サーバ装置と通信可能なコンピュータを、
前記撮影装置から前記映像を取得したことに応じて、第1解析ロジックに基づき当該映像を解析して当該映像に映り込んだ被写体の特徴を示す第1特徴情報を取得するとともに、前記映像と前記第1特徴情報とを対応付けて記憶装置に記憶させ、
前記サーバ装置から検索対象の被写体の特徴を示す第2特徴情報を受信したことに応じて、当該第2特徴情報との類似度が予め定められた第1閾値よりも大きい前記第1特徴情報を前記記憶装置から抽出し、抽出した前記第1特徴情報に対応する映像である抽出映像を前記サーバ装置へ送信する、
制御部を備える解析装置として動作させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、撮影システム、撮影システムの制御方法、解析装置、及び、プログラムに関する。
【背景技術】
【0002】
監視カメラ等の撮影装置により撮影された映像から、例えば、人、物体、又は、動物等の所定の被写体が映り込んだ映像を検索することに関する技術が知られている。例えば、特許文献1には、監視カメラにより取得された画像データを画像記憶部に記憶し、画像データに対して画像解析を行い、検出するべき対象被写体を検出したことに応じて当該対象被写体の特徴を示す特徴データを生成する装置が記載されている。この装置は、特徴データと、当該特徴データが生成された画像データの撮影時刻、および、画像記憶部内での当該画像データのアドレスの少なくとも一方とを含むメタデータを他の機器からアクセス可能なファイルサーバに送信する。これにより、ファイルサーバにメタデータを貯めておき、画像データを検索するためのインデックスとして使用することができる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、上記従来の構成においては、ネットワークの効率的利用及び被写体の個人情報保護という点で改善の余地があった。
【0005】
そこで、本開示は、撮影装置により撮影された映像を用いて特定の被写体を検索するための技術を改善することを目的とする。
【課題を解決するための手段】
【0006】
幾つかの実施形態に係る撮影システムは、
(1)複数のフレーム画像からなる映像を撮影する撮影装置と、
前記撮影装置と通信可能であり、前記撮影装置から前記映像を取得したことに応じて、第1解析ロジックに基づき当該映像を解析して当該映像に映り込んだ被写体の特徴を示す第1特徴情報を取得するとともに、前記映像と前記第1特徴情報とを対応付けて記憶装置に記憶させる、第1制御部を備える解析装置と、
前記解析装置と通信可能なサーバ装置と、
前記サーバ装置と通信可能な端末装置と、
を備え、
前記サーバ装置は、検索対象の被写体の特徴を示す第2特徴情報を取得し、取得した前記第2特徴情報を前記解析装置へ送信する、第2制御部を備え、
前記解析装置の前記第1制御部は、前記サーバ装置から前記第2特徴情報を受信したことに応じて、当該第2特徴情報との類似度が予め定められた第1閾値よりも大きい前記第1特徴情報を前記記憶装置から抽出し、抽出した前記第1特徴情報に対応する映像である抽出映像を前記サーバ装置へ送信し、
前記サーバ装置の前記第2制御部は、前記解析装置から受信した前記抽出映像を前記端末装置へ送信し、
前記端末装置は、前記サーバ装置から受信した前記抽出映像を表示部に表示させる、第3制御部を備える。
【0007】
このように、解析装置は、撮影装置から映像を受信したことに応じて、その映像を解析し、第1特徴情報を取得する。解析装置は、第2特徴情報の受信に応じて、その第2特徴情報に類似する映像である抽出映像を抽出し、サーバ装置へ送信する。サーバ装置は、各解析装置による検索結果を統合して端末装置へ送信し、端末装置は受信した映像を表示させる。したがって、端末装置のユーザは、検索された映像を確認して、特定の被写体を発見することが容易になる。ここで、解析装置は、撮影された全ての映像ではなく、第2特徴情報との類似度が第1閾値よりも大きい映像について、その映像及び第1特徴情報をサーバ装置へ送信するため、ネットワークを介して転送するデータ量を最小限に抑えることができる。また、サーバ装置は、撮影された全ての映像ではなく、検索された映像から取得された第1特徴情報を記憶するため、サーバ装置から第1特徴情報が漏洩するなどの個人情報の流出リスクを低減することができる。よって、撮影装置により撮影された映像を用いて特定の被写体を検索するための技術を改善することができる。
【0008】
一実施形態において、
(2)(1)の撮影システムにおいて、
前記解析装置の前記第1制御部は、前記撮影装置から前記映像を取得したことに応じて、当該映像が撮影された日時を示す日時情報を、当該映像及び前記第1特徴情報と対応付けて前記記憶装置に更に記憶させ、
前記サーバ装置の前記第2制御部は、前記第2特徴情報に加えて検索を行う日時範囲を更に取得するとともに、前記第2特徴情報に加えて前記日時範囲を前記解析装置へ更に送信し、
前記解析装置の前記第1制御部は、
前記サーバ装置から前記第2特徴情報及び前記日時範囲を受信したことに応じて、当該第2特徴情報との類似度が前記第1閾値よりも大きい、前記日時範囲において撮影された前記映像の前記第1特徴情報を前記記憶装置から抽出し、
抽出した前記第1特徴情報に対応する映像である抽出映像、当該抽出映像の前記日時情報、及び、当該第1特徴情報と前記第2特徴情報との類似度を前記サーバ装置へ送信し、
前記サーバ装置の前記第2制御部は、前記解析装置から受信した前記抽出映像、当該抽出映像の前記日時情報、及び、前記類似度を前記端末装置へ送信し、
前記端末装置の前記第3制御部は、前記サーバ装置から受信した前記抽出映像、当該抽出映像の前記日時情報、及び、前記類似度を前記表示部に表示させてもよい。
【0009】
このように、解析装置は、映像の撮影日時の日時範囲を特定して検索を行うため、検索対象の所在が把握できていた時期を検索範囲から除くことによって検索対象を含む映像を効率的に検索することができる。また、端末装置は、抽出した映像の日時情報及び類似度を表示することで、ユーザは、検索対象の被写体が映り込んだ映像がいつ撮影されたのか、及び、どの程度類似するのかを確認して、被写体を発見することが容易となる。
【0010】
一実施形態において、
(3)(1)又は(2)の撮影システムにおいて、
複数の地点に設けられた複数の前記撮影装置と、
前記複数の撮影装置に含まれる一つ以上の前記撮影装置とそれぞれ通信可能な複数の前記解析装置と、
を備え、
前記サーバ装置の前記第2制御部は、前記第2特徴情報に加えて検索を行う地理的範囲を更に取得するとともに、当該地理的範囲に含まれる地点に設けられた前記撮影装置と通信可能な前記解析装置へ前記第2特徴情報を送信し、
前記サーバ装置から前記第2特徴情報を受信した前記解析装置の前記第1制御部は、当該第2特徴情報との類似度が前記第1閾値よりも大きい前記映像の前記第1特徴情報を前記記憶装置から抽出し、抽出した前記第1特徴情報に対応する前記抽出映像と、当該抽出映像を撮影した前記撮影装置の地点を示す地点情報とを前記サーバ装置へ送信し、
前記サーバ装置の前記第2制御部は、前記解析装置から受信した前記抽出映像及び当該抽出映像の前記地点情報を前記端末装置へ送信し、
前記端末装置の前記第3制御部は、前記サーバ装置から受信した前記抽出映像及び当該抽出映像の前記地点情報を前記表示部に表示させてもよい。
【0011】
このように、端末装置は、抽出した映像の地点情報を表示することで、ユーザは、検索対象の被写体が映り込んだ映像がどこで撮影されたのかを確認して、被写体を発見することが容易となる。
【0012】
一実施形態において、
(4)(1)から(3)のいずれかの撮影システムにおいて、
前記端末装置の前記第3制御部は、前記検索対象の被写体が映り込んだ画像である検索対象画像の指定をユーザから受け付け、
前記サーバ装置の前記第2制御部は、前記ユーザにより指定された前記検索対象画像を解析して取得された特徴情報を前記第2特徴情報として取得してもよい。
【0013】
このように、解析装置は、ユーザにより指定された検索対象画像を解析して取得された特徴情報(第2特徴情報)に基づき検索対象の被写体が映り込んだ映像を検索する。したがって、ユーザは、検索対象画像を指定するだけで、容易に被写体が映り込んだ映像を検索させ、その結果を確認することが可能である。
【0014】
一実施形態において、
(5)(1)から(4)のいずれかの撮影システムにおいて、
前記サーバ装置の前記第2制御部は、前記第2特徴情報に加えて、前記検索対象の被写体特有の外見的特徴を示す第3特徴情報を取得し、前記第2特徴情報に加えて前記第3特徴情報を前記解析装置へ送信し、
前記解析装置の前記第1制御部は、
前記サーバ装置から前記第2特徴情報及び前記第3特徴情報を受信したことに応じて、当該第2特徴情報との類似度が前記第1閾値よりも大きい前記第1特徴情報を前記記憶装置から抽出し、
抽出した前記第1特徴情報に対応する映像を第2解析ロジックに基づき解析して、当該映像に映り込んだ被写体特有の外見的特徴を示す第4特徴情報を取得し、
前記第3特徴情報との類似度が予め定められた第2閾値よりも大きい前記第4特徴情報を抽出し、抽出した前記第4特徴情報に対応する映像を前記抽出映像として、前記サーバ装置へ送信してもよい。
【0015】
このように、解析装置は、第1解析ロジックだけでなく、第2解析ロジックに基づき抽出された特徴情報に基づき検索対象の被写体が映り込んだ映像を検索するため、検索対象の被写体特有の外見的特徴により類似した映像を検索することが可能である。
【0016】
一実施形態において、
(6)(5)の撮影システムにおいて、
前記サーバ装置の前記第2制御部は、前記第2特徴情報及び前記第3特徴情報に加えて、前記第3特徴情報を抽出する際に用いられた解析ロジック情報を前記解析装置へ送信し、
前記解析装置の前記第1制御部は、前記解析ロジック情報を前記第2解析ロジックとして用いて前記抽出した前記第1特徴情報に対応する映像を解析して、前記第4特徴情報を取得してもよい。
【0017】
このように、サーバ装置は、解析装置へ第2解析ロジックとして用いる解析ロジック情報を送信する。したがって、解析装置は、一般的な特徴情報である第1特徴情報が類似する映像の中から、さらに検索対象の被写体特有の特徴が類似するものを絞り込んで抽出することが可能になる。
【0018】
一実施形態において、
(7)(5)又は(6)の撮影システムにおいて、
前記解析装置の前記第1制御部は、
前記撮影装置から前記映像を取得したことに応じて、前記第1解析ロジックに基づき当該映像を解析して前記第1特徴情報を取得するとともに、前記映像と、当該映像に映り込んだ前記被写体の当該映像における空間的位置と、前記第1特徴情報とを対応付けて記憶装置に記憶させ、
前記サーバ装置から前記第2特徴情報及び前記第3特徴情報を受信したことに応じて、当該第2特徴情報との類似度が前記第1閾値よりも大きい前記第1特徴情報を前記記憶装置から抽出し、
抽出した前記第1特徴情報に対応する映像の前記空間的位置に対応する領域を前記第2解析ロジックに基づき解析して、当該映像の前記領域に映り込んだ被写体の特徴を示す特徴情報を前記第4特徴情報として取得してもよい。
【0019】
このように、第2解析ロジックに基づく解析対象を、映像の空間的位置に対応する領域に限定するため、解析装置は、解析に要する演算コストを低減することが可能である。
【0020】
幾つかの実施形態に係る撮影システムの制御方法は、
(8)複数のフレーム画像からなる映像を撮影する撮影装置と、
前記撮影装置と通信可能であり、前記撮影装置から前記映像を取得したことに応じて、第1解析ロジックに基づき当該映像を解析して当該映像に映り込んだ被写体の特徴を示す第1特徴情報を取得するとともに、前記映像と前記第1特徴情報とを対応付けて記憶装置に記憶させる、第1制御部を備える解析装置と、
前記解析装置と通信可能なサーバ装置と、
前記サーバ装置と通信可能な端末装置と、
を備える撮影システムの制御方法であって、
前記サーバ装置の第2制御部が、検索対象の被写体の特徴を示す第2特徴情報を取得し、取得した前記第2特徴情報を前記解析装置へ送信し、
前記解析装置の前記第1制御部が、前記サーバ装置から前記第2特徴情報を受信したことに応じて、当該第2特徴情報との類似度が予め定められた第1閾値よりも大きい前記第1特徴情報を前記記憶装置から抽出し、抽出した前記第1特徴情報に対応する映像である抽出映像を前記サーバ装置へ送信し、
前記サーバ装置の前記第2制御部が、前記解析装置から受信した前記抽出映像を前記端末装置へ送信し、
前記端末装置の第3制御部が、前記サーバ装置から受信した前記抽出映像を表示部に表示させる。
【0021】
このように、サーバ装置は、各解析装置による検索結果を統合して端末装置へ送信し、端末装置は受信した映像を表示させる。したがって、端末装置のユーザは、検索された映像を確認して、特定の被写体を発見することが容易になる。ここで、解析装置は、撮影された全ての映像ではなく、第2特徴情報との類似度が第1閾値よりも大きい映像について、その映像及び第1特徴情報をサーバ装置へ送信するため、ネットワークを介して転送するデータ量を最小限に抑えることができる。また、サーバ装置は、撮影された全ての映像ではなく、検索された映像から取得された第1特徴情報を記憶するため、サーバ装置から第1特徴情報が漏洩するなど、個人情報の流出リスクを低減することができる。よって、撮影装置により撮影された映像を用いて特定の被写体を検索するための技術を改善することができる。
【0022】
幾つかの実施形態に係る解析装置は、
(9)複数のフレーム画像からなる映像を撮影する撮影装置、及び、サーバ装置と通信可能な解析装置であって、
前記撮影装置から前記映像を取得したことに応じて、第1解析ロジックに基づき当該映像を解析して当該映像に映り込んだ被写体の特徴を示す第1特徴情報を取得するとともに、前記映像と前記第1特徴情報とを対応付けて記憶装置に記憶させ、
前記サーバ装置から検索対象の被写体の特徴を示す第2特徴情報を受信したことに応じて、当該第2特徴情報との類似度が予め定められた第1閾値よりも大きい前記第1特徴情報を前記記憶装置から抽出し、抽出した前記第1特徴情報に対応する映像である抽出映像を前記サーバ装置へ送信する、
制御部を備える。
【0023】
このように、解析装置は、検索結果をサーバ装置へ送信するため、サーバ装置は、各解析装置による検索結果を統合し、端末装置へ送信するなどして、検索結果をユーザに提示することが可能である。したがって、サーバ装置に特徴解析及び検索の機能を設けなくても、解析装置を設けるだけで、検索対象の被写体が映り込んだ映像を検索することが可能である。また、端末装置のユーザは、検索された映像を確認して、特定の被写体を発見することが容易となる。よって、本実施形態によれば、撮影装置により撮影された映像を用いて特定の被写体の発見を容易に行うことができる。ここで、解析装置は、撮影された全ての映像ではなく、第2特徴情報との類似度が第1閾値よりも大きい映像について、その映像及び第1特徴情報をサーバ装置へ送信するため、ネットワークを介して転送するデータ量を最小限に抑えることができる。また、サーバ装置は、撮影された全ての映像ではなく、検索された映像から取得された第1特徴情報を記憶するため、サーバ装置から第1特徴情報が漏洩するなどの個人情報の流出リスクを低減することができる。よって、撮影装置により撮影された映像を用いて特定の被写体を検索するための技術を改善することができる。
【0024】
一実施形態において、
(10)(9)の解析装置において、
前記制御部は、
前記撮影装置から前記映像を取得したことに応じて、当該映像が撮影された日時を示す日時情報を、当該映像及び前記第1特徴情報と対応付けて前記記憶装置に更に記憶させ、
前記サーバ装置から、前記第2特徴情報に加えて検索を行う日時範囲を受信したことに応じて、当該第2特徴情報との類似度が前記第1閾値よりも大きい、前記日時範囲において撮影された前記映像の前記第1特徴情報を前記記憶装置から抽出し、
抽出した前記第1特徴情報に対応する映像である抽出映像及び当該抽出映像の前記日時情報を前記サーバ装置へ送信してもよい。
【0025】
このように、解析装置は、映像の撮影日時の日時範囲を特定して検索を行うため、検索対象の所在が把握できていた時期を検索範囲から除くことによって検索対象を含む映像を効率的に検索することができる。また、端末装置は、抽出した映像の日時情報を表示することで、ユーザは、検索対象の被写体が映り込んだ映像がいつ撮影されたのかを確認して、被写体を発見することが容易となる。
【0026】
一実施形態において、
(11)(9)又は(10)の解析装置において、
前記制御部は、
前記サーバ装置から、前記第2特徴情報に加えて前記検索対象の被写体特有の外見的特徴を示す第3特徴情報を受信したことに応じて、当該第2特徴情報との類似度が前記第1閾値よりも大きい前記第1特徴情報を前記記憶装置から抽出し、
抽出した前記第1特徴情報に対応する映像を第2解析ロジックに基づき解析して、当該映像に映り込んだ被写体特有の外見的特徴を示す第4特徴情報を取得し、
前記第3特徴情報との類似度が予め定められた第2閾値よりも大きい前記第4特徴情報を抽出し、抽出した前記第4特徴情報に対応する映像を前記抽出映像として、前記サーバ装置へ送信してもよい。
【0027】
このように、解析装置は、第1解析ロジックだけでなく、第2解析ロジックに基づき抽出された特徴情報に基づき検索対象の被写体が映り込んだ映像を検索するため、検索対象の被写体の外見的特徴により類似した映像を検索することが可能である。
【0028】
一実施形態において、
(12)(11)の解析装置において、
前記制御部は、
前記サーバ装置から、前記第2特徴情報及び前記第3特徴情報に加えて前記第3特徴情報を抽出する際に用いられた解析ロジック情報を受信したことに応じて、前記解析ロジック情報を前記第2解析ロジックとして用いて前記抽出した前記第1特徴情報に対応する映像を解析して、前記第4特徴情報を取得してもよい。
【0029】
このように、解析装置は、サーバ装置から第2解析ロジックとして用いる解析ロジック情報を受信する。したがって、解析装置は、一般的な特徴情報である第1特徴情報が類似する映像の中から、さらに検索対象の被写体特有の特徴が類似するものを絞り込んで抽出することが可能になる。
【0030】
一実施形態において、
(13)(11)又は(12)の解析装置において、
前記制御部は、
前記撮影装置から前記映像を取得したことに応じて、前記第1解析ロジックに基づき当該映像を解析して前記第1特徴情報を取得するとともに、前記映像と、当該映像に映り込んだ前記被写体の当該映像における空間的位置と、前記第1特徴情報とを対応付けて記憶装置に記憶させ、
前記サーバ装置から前記第2特徴情報及び前記第3特徴情報を受信したことに応じて、当該第2特徴情報との類似度が前記第1閾値よりも大きい前記第1特徴情報を前記記憶装置から抽出し、
抽出した前記第1特徴情報に対応する映像の前記空間的位置に対応する領域を前記第2解析ロジックに基づき解析して、当該映像の前記領域に映り込んだ被写体特有の外見的特徴を示す特徴情報を前記第4特徴情報として取得する、
請求項11に記載の解析装置。
【0031】
このように、第2解析ロジックに基づく解析対象を、映像の空間的位置に対応する領域に限定するため、解析装置は、解析に要する演算コストを低減することが可能である。
【0032】
幾つかの実施形態に係るプログラムは、
(14)複数のフレーム画像からなる映像を撮影する撮影装置、及び、サーバ装置と通信可能なコンピュータを、
前記撮影装置から前記映像を取得したことに応じて、第1解析ロジックに基づき当該映像を解析して当該映像に映り込んだ被写体の特徴を示す第1特徴情報を取得するとともに、前記映像と前記第1特徴情報とを対応付けて記憶装置に記憶させ、
前記サーバ装置から検索対象の被写体の特徴を示す第2特徴情報を受信したことに応じて、当該第2特徴情報との類似度が予め定められた第1閾値よりも大きい前記第1特徴情報を前記記憶装置から抽出し、抽出した前記第1特徴情報に対応する映像である抽出映像を前記サーバ装置へ送信する、
制御部を備える解析装置として動作させるためのプログラム。
【0033】
このように、プログラムにより解析装置として動作するコンピュータは、検索結果をサーバ装置へ送信するため、サーバ装置は、各解析装置(コンピュータ)による検索結果を統合し、端末装置へ送信するなどして、検索結果をユーザに提示することが可能である。したがって、サーバ装置に特徴解析及び検索の機能を設けなくても、上記プログラムにより、コンピュータを上記解析装置として動作させることで、検索対象の被写体が映り込んだ映像を検索することが可能である。また、端末装置のユーザは、検索された映像を確認して、特定の被写体を発見することが容易となる。ここで、コンピュータは、撮影された全ての映像ではなく、第2特徴情報との類似度が第1閾値よりも大きい映像について、その映像及び第1特徴情報をサーバ装置へ送信するため、ネットワークを介して転送するデータ量を最小限に抑えることができる。また、サーバ装置は、撮影された全ての映像ではなく、検索された映像から取得された第1特徴情報を記憶するため、サーバ装置から第1特徴情報が漏洩するなどの個人情報の流出リスクを低減することができる。よって、撮影装置により撮影された映像を用いて特定の被写体を検索するための技術を改善することができる。
【発明の効果】
【0034】
本開示の一実施形態によれば、撮影装置により撮影された映像を用いて特定の被写体を検索する技術を改善することができる。
【図面の簡単な説明】
【0035】
【
図1】本開示の一実施形態に係る撮影システムの構成例を示す図である。
【
図2】
図1の解析装置の構成例を示すブロック図である。
【
図3】
図1のサーバ装置の構成例を示すブロック図である。
【
図4】
図1の端末装置の構成例を示すブロック図である。
【
図5A】
図1の撮影システムの動作例を示すシーケンスチャートである。
【
図5B】
図1の撮影システムの動作例を示すシーケンスチャートである。
【
図6A】
図1の撮影システムの動作例を示すシーケンスチャートである。
【
図6B】
図1の撮影システムの動作例を示すシーケンスチャートである。
【
図7】
図1の解析装置の動作例を示すフローチャートである。
【発明を実施するための形態】
【0036】
<比較例>
比較例(特許文献1の請求項1)に係る装置は、「装置であって、監視カメラにより取得された画像データを記憶する画像記憶部と、前記画像データに対して画像解析を行い、前記画像データに含まれ得る被写体のうち検出するべき対象被写体を検出したことに応じて当該対象被写体の特徴を示す特徴データを生成する解析部と、前記特徴データと、当該特徴データが生成された画像データの撮影時刻、および、前記画像記憶部内での当該画像データのアドレスの少なくとも一方とを含むメタデータを、当該装置とは異なる他の機器からアクセス可能なファイルサーバに送信する送信部と、を備える装置」である。このような装置によれば、ファイルサーバにメタデータを貯めておき、画像データを検索するためのインデックスとして使用することができる(特許文献1の段落0073)。
【0037】
しかし、上記比較例の構成においては、探索の対象となっていない被写体も含めた多くの被写体の特徴情報が、ネットワークを経由して送信された上で、サーバ装置に保存される。そのため、比較例に係る構成においては、一度も利用されることがない多くの情報がネットワーク経由で送信されるという点で無駄が多く非効率であった。また、人物等の被写体の特徴情報を利用することで、その人物等がいつどこに存在したのかを追跡することが可能になる。そのため、個人情報として取り扱われる特徴情報がサーバ装置に集約されて保存されることにより、サーバ装置から特徴情報が漏洩するなど、個人情報管理上のリスクを増大させる点にも改善の余地があった。
【0038】
本開示は、撮影装置の撮影映像を用いて特定の被写体を発見するための構成において、ネットワークの効率的利用及び被写体の個人情報保護等の点で改善することを目的とする。
【0039】
<実施形態>
以下、本開示の一実施形態について、図面を参照して説明する。各図面中、同一の構成又は機能を有する部分には、同一の符号を付している。本実施形態の説明において、同一の部分については、重複する説明を適宜省略又は簡略化する場合がある。
【0040】
(撮影システム)
図1は、本開示の一実施形態に係る撮影システム1の構成例を示す図である。撮影システム1は、複数の地点の撮影映像に基づき特定の被写体を検索する。本実施形態において、検索対象の特定の被写体は、例えば、徘徊老人、行方不明になった児童、又は、逃亡中の犯罪者等の特定の人物であるが、検索対象は人物でなくてもよい。例えば、撮影システム1は、迷子のペット、又は、盗難車等を特定の被写体として検索してもよい。撮影システム1は、撮影装置10a,10b,10c、解析装置20a,20b、サーバ装置30、及び、端末装置40を備える。解析装置20a,20b、サーバ装置30、及び、端末装置40は、例えば、インターネット、イントラネット、及び移動体通信網等を含むネットワークNと通信可能に接続される。
【0041】
撮影装置10a,10b,10cは、撮影対象の各地点に設けられ、複数のフレーム画像からなる映像を撮影する。以下、撮影装置10a,10b,10cをまとめて「撮影装置10」と総称する。撮影装置10は、例えば、PTZカメラであるが、カメラの形態及び機能は任意である。本実施形態において、撮影システム1に含まれる撮影装置10の個数が3つである例を説明するが、撮影装置10の個数は任意である。撮影装置10は、例えば、市区町村全域等の広域に設置されるが、都道府県又は国等のさらに広域に設置されてもよいし、あるいは、特定の建物内又は施設内等のより狭域に設置されてもよい。撮影装置10は、屋外を撮影するが、これに限らず、例えば屋内を撮影してもよい。撮影装置10は、映像を撮影次第、取得した映像を連続的に、通信可能に接続された解析装置20a,20bへ送信する。
【0042】
解析装置20a,20bは、撮影装置10から映像を連続的に取得し、映像の取得に応じて第1解析ロジックに基づきその映像を解析して映像に映り込んだ被写体の特徴を示す第1特徴情報を取得する。さらに、解析装置20a,20bは、映像と第1特徴情報とを対応付けて記憶装置(
図2を参照して後述する記憶部22)に記憶させる。第1解析ロジックとは、解析装置20が映像を受信することに応じて常時、映像解析を行うために用いる解析ロジックである。第1解析ロジックの詳細は後述する。以下、解析装置20a,20bをまとめて「解析装置20」と総称する。解析装置20は、対応する撮影装置10の付近に設置される。各解析装置20は、1つ以上の撮影装置10と通信可能に接続され、接続された撮影装置10から映像を取得する。例えば、解析装置20aは、撮影装置10aと通信可能に接続されている。解析装置20bは、撮影装置10b,10cと通信可能に接続されている。本実施形態において、撮影システム1に含まれる解析装置20の個数が2つである例を説明するが、撮影装置10の個数は任意である。
【0043】
サーバ装置30は、端末装置40から映像検索の要求を受け付けるコンピュータである。サーバ装置30は、さらに、解析装置20に映像検索を要求したり、検索結果を端末装置40へ送信したりする。サーバ装置30は、解析装置20毎に、その解析装置20と通信可能に接続された各撮影装置10の撮影場所に関する情報を予め保持していてもよい。
【0044】
端末装置40は、ユーザが操作するコンピュータである。端末装置40は、ユーザから検索対象の被写体が映り込んだ映像の検索要求を受け付けたり、検索結果を表示したりする。
【0045】
上記のような構成において、サーバ装置30は、端末装置40からの検索要求を受信に応じて、検索対象の被写体の特徴を示す第2特徴情報を取得し、取得した第2特徴情報を解析装置20へ送信する。解析装置20は、サーバ装置30から第2特徴情報を受信したことに応じて、その第2特徴情報に類似する第1特徴情報を記憶装置から抽出し、抽出した第1特徴情報に対応する映像である抽出映像をサーバ装置30へ送信する。サーバ装置30は、解析装置20から受信した抽出映像を端末装置40へ送信する。端末装置40は、サーバ装置30から受信した抽出映像を表示部に表示させる。
【0046】
このように、解析装置20は、撮影装置10から映像を連続的に受信し、受信した映像を第1解析ロジックに基づき順次、解析して、第1特徴情報を取得する。解析装置20は、サーバ装置30から第2特徴情報をしたことに応じて、その第2特徴情報に類似する第1特徴情報を検索し、検索された第1情報に対応する映像を、サーバ装置30を介して端末装置40へ送信する。このように、撮影システム1においては、第1特徴情報は、録画映像とともに現地に設けられた解析装置20に記憶され、検索の目的で抽出された映像及び第1特徴情報だけがサーバ装置30に送られる。したがって、撮影システム1によれば、通信利用の効率化の点で優れている。また、サーバ装置30への集積も探索を目的とした限定された情報のみに対して行われることから、個人情報が流出するリスクも低減されている。よって、撮影システム1によれば、撮影装置10により撮影された映像を用いて特定の被写体を検索するための技術を、ネットワークの効率的利用及び被写体の個人情報保護等の点で改善することができる。
【0047】
(解析装置)
図2は、
図1の解析装置20の構成例を示すブロック図である。解析装置20は、1つ又は互いに通信可能な複数のコンピュータである。解析装置20は、例えば、FPGA(Field-Programmable Gate Array)を備えた電子機器でもよい。解析装置20は、これらに限定されず、例えば、PC(Personal Computer)等の任意の汎用の電子機器であってもよいし、専用の他の電子機器であってもよい。
図2に示すように、解析装置20は、制御部21、記憶部22、及び、通信部23を備える。
【0048】
第1制御部としての制御部21は、1つ以上のプロセッサを含む。一実施形態において「プロセッサ」は、汎用のプロセッサ、又は特定の処理に特化した専用のプロセッサであるが、これらに限定されない。制御部21は、解析装置20を構成する各構成部と通信可能に接続され、解析装置20全体の動作を制御する。
【0049】
記憶部22は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、ROM(Read-Only Memory)、及びRAM(Random Access Memory)等の任意の記憶装置を含む。記憶部22は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部22は、解析装置20の動作に用いられる任意の情報を記憶する。例えば、記憶部22は、システムプログラム、アプリケーションプログラム、及び通信部23によって受信された各種情報等を記憶してもよい。例えば、記憶部22は、撮影装置10から連続的に受信した映像、及び、その映像を第1解析ロジックに基づき解析した結果である第1特徴情報を記憶してもよい。記憶部22は、解析装置20に内蔵されているものに限定されず、外付けのデータベース又は外付け型の記憶モジュールであってもよい。
【0050】
通信部23は、任意の通信技術によって撮影装置10及びサーバ装置30の他の装置と通信接続可能な、任意の通信モジュールを含む。通信部23は、さらに、他の装置との通信を制御するための通信制御モジュール、及び他の装置との通信に必要となる識別情報等の通信用データを記憶する記憶モジュールを含んでもよい。
【0051】
解析装置20の機能は、本実施形態に係るコンピュータプログラム(プログラム)を、制御部21に含まれるプロセッサで実行することにより実現されうる。すなわち、解析装置20の機能は、ソフトウェアにより実現されうる。コンピュータプログラムは、解析装置20の動作に含まれるステップの処理をコンピュータに実行させることで、各ステップの処理に対応する機能をコンピュータに実現させる。すなわち、コンピュータプログラムは、コンピュータを本実施形態に係る解析装置20として機能させるためのプログラムである。コンピュータプログラムは、コンピュータで読み取り可能な記録媒体に記録してもよい。プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるものが含まれる。例えば、コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータは、「プログラムに準ずるもの」に該当する。
【0052】
解析装置20の一部又は全ての機能は、制御部21に含まれる専用回路により実現されてもよい。すなわち、解析装置20の一部又は全ての機能が、ハードウェアにより実現されてもよい。
【0053】
(サーバ装置)
図3は、
図1のサーバ装置30の構成例を示すブロック図である。サーバ装置30は、1つ又は互いに通信可能な複数のコンピュータである。サーバ装置30は、例えば、WS(WorkStation)又はPCとしてもよい。サーバ装置30は、制御部31、記憶部32、及び、通信部33を備える。第2制御部としての制御部31、記憶部32、及び、通信部33のハードウェア構成は、
図2を参照して説明した解析装置20の制御部21、記憶部22、及び、通信部23と同様であるため、詳細な説明を省略する。サーバ装置30の一部又は全ての機能は、ソフトウェアにより実現されてもよいし、ハードウェアにより実現されてもよい。サーバ装置30の記憶部32は、解析装置20毎に、その解析装置20と通信可能に接続された各撮影装置10の撮影場所に関する情報を予め記憶していてもよい。
【0054】
(端末装置)
図4は、
図1の端末装置40の構成例を示すブロック図である。端末装置40は、1つ又は互いに通信可能な複数のコンピュータである。端末装置40は、例えばPC、タブレット端末、又は、スマートフォンとしてもよい。端末装置40は、制御部41、記憶部42、通信部43、入力部44、及び、出力部45を備える。第3制御部としての制御部41、記憶部42、及び、通信部43のハードウェア構成は、
図2を参照して説明した解析装置20の制御部21、記憶部22、及び、通信部23と同様であるため、詳細な説明を省略する。
【0055】
入力部44は、ユーザの入力操作を受け付けて、ユーザの操作に基づく入力情報を取得する1つ以上の入力インターフェースを含む。例えば、入力部44は、物理キー、静電容量キー、ポインティングディバイス、出力部45のディスプレイと一体的に設けられたタッチスクリーン、又は音声入力を受け付けるマイク等であるが、これらに限定されない。
【0056】
出力部45は、ユーザに対して情報を出力し、ユーザに通知する1つ以上の出力インターフェースを含む。例えば、出力部45は、情報を画像として出力するディスプレイ、又は情報を音声で出力するスピーカ等であるが、これらに限定されない。このようなディスプレイは、例えば、液晶パネルディスプレイ又は有機EL(Electro Luminescence)ディスプレイ等としてもよい。なお、上述の入力部44及び出力部45の少なくとも一方は、端末装置40と一体に構成されてもよいし、別体として設けられてもよい。
【0057】
端末装置40の一部又は全ての機能は、ソフトウェアにより実現されてもよいし、ハードウェアにより実現されてもよい。
【0058】
(撮影システムの動作例1)
図5A及び
図5Bは、
図1の撮影システム1の動作例を示すシーケンスチャートである。
図5A及び
図5Bを参照して説明する各装置の動作は、撮影システム1の制御方法の少なくとも一部に相当してもよい。
図5A及び
図5Bの各ステップの動作は、撮影装置10、解析装置20の制御部21、サーバ装置30の制御部31、及び、端末装置40の制御部41の少なくともいずれかによる制御に基づき実行されてもよい。
【0059】
図5AのステップS1において、各撮影装置10は、映像の撮影を開始する。具体的には、撮影装置10は、所定のフレームレートで連続的にフレーム画像を取得し、動画像である映像を生成する処理を開始する。
【0060】
ステップS2において、各撮影装置10は、取得した映像を対応する解析装置20へ送信する。具体的には、撮影装置10は、撮影により映像を取得次第、通信可能に接続された解析装置20へ連続的に映像を送信する。これにより、撮影システム1が稼働中、解析装置20は、常時、対応する撮影装置10から映像を受信し続けることになる。ただし、解析装置20は、後述するステップS3における画像解析による第1特徴情報の抽出を行なう処理を、間欠的(例えば、1秒毎)に実行してもよい。
【0061】
ステップS3において、解析装置20の制御部21は、通信可能に接続された撮影装置10から映像を取得次第、予め設定されている第1解析ロジックに基づきその映像を解析して、その映像に映り込んだ被写体の特徴を示す第1特徴情報を取得する。第1解析ロジックは、取得した全ての映像を対象に、その映像に映り込んでいる被写体の特徴を示す第1特徴情報を取得するための解析ロジックである。例えば、被写体として人物の特徴を取得する場合、制御部21は、第1特徴情報として、例えば、以下のような情報を取得してもよい。
・顔を識別するための情報:例えば、顔の輪郭、目・鼻・口等の顔のパーツの大きさ、形状、輪郭に対する相対的な位置。
・顔部分の肌の色。
・髪に関する情報:例えば、髪型、髪の色。
・身体の各パーツに関する情報:例えば、身長、体形、体格、手及び足など各パーツの相対的な長さ。
・服装に関する情報:例えば、上半身の服装の形状、色。下半身の服装の概略形状、色。靴の概略形状、色。
・所持品に関する情報:例えば、メガネ、帽子、カバン、及び、杖等の有無、並びに、それぞれの概略形状。
【0062】
制御部21は、このような第1特徴情報を取得するための第1解析ロジックとして、予め機械学習により取得された学習モデルを利用してもよい。第1解析ロジックは、例えば、ニューラルネットワークのパラメータとして与えられてもよい。
【0063】
ステップS4において、解析装置20の制御部21は、撮影装置10から取得した映像、その映像の第1特徴情報、及び、その映像の撮影日時を示す日時情報を対応付けて、記憶部22等の記憶装置に記憶する。制御部21は、ステップS2~ステップS4の処理を繰り返し行う。すなわち、撮影装置10及び解析装置20は、ステップS2~ステップS4の処理を、ステップS5~ステップS14の処理と並行して実行する。解析装置20は、常時、撮影装置10から連続的に映像を取得し、取得した映像を記録する。また、制御部21は、映像を順次取得することに応じてその映像を第1解析ロジックに基づき連続的に解析し、第1特徴情報及び日時情報を連続的に記憶部22に出力してもよい。あるいは、制御部21は、映像に対する第1解析ロジックに基づく解析を、例えば1秒程度の間隔で間欠的に実施して、第1特徴情報及び日時情報を記憶部22に出力してもよい。なお、制御部21は、記憶部22の記憶容量等に応じて予め設定された保存期間を経過した映像、並びに、その映像に対応する第1特徴情報、及び、日時情報を記憶部22から削除してもよい。
【0064】
ステップS5において、端末装置40の制御部41は、ユーザの指示に応じて検索対象画像を取得する。検索対象画像とは、検索対象の被写体が映り込んだ画像である。例えば、被写体として失踪者を検索する場合、制御部41は、その失踪者が映り込んだ画像の指定をユーザから受け付けてもよい。制御部41は、検索対象画像として、その失踪者が映り込んだ1つ又は複数の静止画像、あるいは、失踪者が映り込んだ動画像を取得してもよい。
【0065】
ステップS6において、端末装置40の制御部41は、ユーザから、被写体の検索を行う撮影日時の範囲である日時範囲、及び、撮影場所の地理的範囲の指定を受け付ける。例えば、制御部41は、検索を行う開始日時及び終了日時の入力域を出力部45の表示部に表示して、日時範囲の指定を受け付けてもよい。例えば、制御部41は、撮影装置10の設置場所を含む地図を出力部45の表示部に表示し、地図上でユーザにより選択された範囲を撮影場所の地理的範囲として取得してもよい。
【0066】
ステップS7において、端末装置40の制御部41は、ステップS5で取得した検索対象画像、及び、ステップS6で取得した日時範囲及び地理的範囲をサーバ装置30へ送信して、映像の検索を要求する。
【0067】
ステップS8において、サーバ装置30の制御部31は、ステップS7で端末装置40から受信した検索対象画像を解析して、検索対象の被写体の特徴を示す第2特徴情報を取得する。制御部31は、解析装置20が使用する第1解析ロジックと同一の解析ロジックを用いて、第1特徴情報と同種の特徴情報を第2特徴情報として取得してもよい。なお、本実施形態では、サーバ装置30が検索対象画像を解析して第2特徴情報を取得するが、サーバ装置30は、他の装置により同一の解析ロジックを用いて検索対象画像を解析して得られた特徴情報を第2特徴情報として取得してもよい。例えば、サーバ装置30は、端末装置40又は他の装置が検索対象画像を解析して得られた特徴情報を端末装置40から受信して、その特徴情報を第2特徴情報として取得してもよい。
【0068】
図5BのステップS9において、サーバ装置30の制御部31は、ステップS7で取得した日時範囲及びステップS8で取得した第2特徴情報を、ステップS7で取得した地理的範囲に含まれる撮影装置10と通信可能に接続された解析装置20へ送信して、映像の検索を要求する。前述のように、サーバ装置30の記憶部32は、解析装置20毎に、その解析装置20と通信可能に接続された各撮影装置10の撮影場所に関する情報を予め記憶している。そこで、サーバ装置30は、各撮影装置10の撮影場所を参照して、ステップS7で取得した地理的範囲に含まれる撮影装置10を特定してもよい。各撮影装置10の撮影場所の情報を保持していない場合、サーバ装置30は、全ての解析装置20に対し、日時範囲及び第2特徴情報を送信して、映像の検索を要求してもよい。
【0069】
ステップS10において、映像の検索を要求された解析装置20の制御部21は、受信した第2特徴情報及び日時範囲に類似する第1特徴情報を記憶部22から抽出する。具体的には、例えば、制御部21は、記憶部22に記憶された、指定された日時範囲の第1特徴情報の各々について第2特徴情報との類似性を評価し、類似性の度合い(類似度)が予め定められた第1閾値よりも大きな第1特徴情報を抽出してもよい。なお、制御部21は、端末装置40からの検索要求に日時範囲の指定が含まれなかった場合、記憶部22に記憶された全ての第1特徴情報を対象として第2特徴情報との類似性を評価し、第2特徴情報に類似する第1特徴情報を抽出してもよい。
【0070】
ステップS11において、解析装置20の制御部21は、ステップS10で抽出した第1特徴情報に対応する映像を抽出映像として記憶部22から取得する。
【0071】
ステップS12において、解析装置20の制御部21は、ステップS11で取得した抽出映像をサーバ装置30へ送信する。制御部21は、その抽出映像についてステップS10で取得した類似度、及び、抽出映像の撮影日時に関する情報を併せてサーバ装置30へ送信してもよい。
【0072】
ステップS13において、サーバ装置30の制御部31は、ステップS12で解析装置20から受信した抽出映像を、映像の検索結果として端末装置40へ送信する。制御部31は、その抽出映像についてステップS10で取得された類似度、抽出映像の撮影日時に関する情報、及び、撮影装置10の撮影場所(地点情報)等を併せて端末装置40へ送信してもよい。
【0073】
ステップS14において、端末装置40の制御部41は、ステップS13でサーバ装置30から受信した抽出映像を、検索結果として出力部45の表示部に表示する。ユーザは、出力部45の表示部を参照して、検索対象画像に映り込んだ検索対象の被写体の検索結果を確認することができる。制御部41は、類似度、撮影日時及び撮影場所(地点情報)を併せて出力部45の表示部に表示してもよい。例えば、制御部41は、撮影の開始日時及び終了日時を表示してもよい。制御部41は、撮影場所を地図上に表示してもよい。これにより、ユーザは、検索対象の被写体がいつどこに存在したのかを確認することができる。
【0074】
(撮影システムの動作例2)
図6A及び
図6Bは、
図1の撮影システム1の動作例を示すシーケンスチャートである。
図6A及び
図6Bを参照して説明する各装置の動作は、撮影システム1の制御方法の少なくとも一部に相当してもよい。
図6A及び
図6Bの各ステップの動作は、撮影装置10、解析装置20の制御部21、サーバ装置30の制御部31、及び、端末装置40の制御部41の少なくともいずれかによる制御に基づき実行されてもよい。
【0075】
図6AのステップS21において、各撮影装置10は、映像の撮影を開始する。撮影装置10は、ステップS21の処理を、
図5AのステップS1と同様に行うことができる。
【0076】
ステップS22において、各撮影装置10は、取得した映像を対応する解析装置20へ送信する。撮影装置10は、ステップS21の処理を、
図5AのステップS2と同様に行うことができる。
【0077】
ステップS23において、解析装置20の制御部21は、通信可能に接続された撮影装置10から映像を取得次第、予め設定されている第1解析ロジックに基づきその映像を解析して、その映像に映り込んだ被写体の特徴を示す第1特徴情報を取得する。制御部21は、
図5AのステップS3と同様の処理により第1取得情報を取得することができる。さらに、制御部21は、映像を解析して第1特徴情報を取得するのと並行して、その映像に映り込んでいる被写体の空間的位置に関する情報を取得する。具体的には、制御部21は、映像において被写体が占める領域の画角、及び、座標等を被写体の空間的位置に関する情報として取得してもよい。
【0078】
ステップS24において、解析装置20の制御部21は、撮影装置10から取得した映像、その映像の第1特徴情報、その映像の撮影日時を示す日時情報、及び、被写体の空間的位置に関する情報を対応付けて、記憶部22等の記憶装置に記憶する。制御部21は、ステップS22~ステップS24の処理を繰り返し行う。すなわち、撮影装置10及び解析装置20は、ステップS22~ステップS24の処理を、ステップS25~ステップS36の処理と並行して実行する。解析装置20は、常時、撮影装置10から連続的に映像を取得し、取得した映像を記録する。制御部21は、映像を順次取得することに応じてその映像を連続的に解析し、第1特徴情報、日時情報、及び、空間的位置に関する情報を連続的に記憶部22に出力してもよい。あるいは、制御部21は、映像に対する第1解析ロジックに基づく解析を、例えば1秒程度の間隔で間欠的に実施して、第1特徴情報、日時情報、及び、空間的位置に関する情報を記憶部22に出力してもよい。なお、制御部21は、記憶部22の記憶容量等に応じて予め設定された保存期間を経過した映像、並びに、その映像に対応する第1特徴情報、日時情報、及び、空間的位置に関する情報を記憶部22から削除してもよい。
【0079】
ステップS25において、端末装置40の制御部41は、ユーザの指示に応じて検索対象画像を取得する。制御部41は、ステップS25の処理を、
図5AのステップS5と同様に行うことができる。
【0080】
ステップS26において、端末装置40の制御部41は、ユーザから、被写体の検索を行う撮影日時の範囲である日時範囲、及び、撮影場所の地理的範囲の指定を受け付ける。制御部41は、ステップS26の処理を、
図5AのステップS6と同様に行うことができる。
【0081】
ステップS27において、端末装置40の制御部41は、ステップS25で取得した検索対象画像、及び、ステップS26で取得した日時範囲及び地理的範囲をサーバ装置30へ送信して、映像の検索を要求する。制御部41は、ステップS27の処理を、
図5AのステップS7と同様に行うことができる。
【0082】
ステップS28において、サーバ装置30の制御部31は、ステップS7で端末装置40から受信した検索対象画像を解析して、検索対象の被写体の特徴を示す第2特徴情報を取得する。制御部31は、解析装置20が使用する第1解析ロジックと同一の解析ロジックを用いて、第1特徴情報と同種の特徴情報を第2特徴情報として取得してもよい。さらに、制御部31は、ステップS7で端末装置40から受信した検索対象画像を第2解析ロジックに基づき解析して、検索対象の被写体特有の外見的特徴を示す第3特徴情報を取得する。第2解析ロジックは、第1解析ロジックによっては抽出されない被写体のより詳細な特徴を示す特徴情報を取得するために最適化された解析ロジックである。第2解析ロジックにより取得される特徴情報は、例えば、以下の情報である。
・服装に関する詳細な情報:例えば、服装及び靴等の詳細な形状、色及び模様等。例えば、特定のブランドロゴ又はキャラクター表示等の有無等。
・所持品に関する詳細な情報:例えば、メガネ、帽子、カバン、及び、杖等の、詳細な形状、色、及び、模様等。例えば、特定のブランドロゴ又はキャラクター表示等の有無等。
・歩きざま、しぐさ等:例えば、片足を引きずっている、歩行の姿勢等の、歩行の癖等。
【0083】
サーバ装置30は、このようなより詳細な特徴情報を取得するための第2解析ロジックとして、予め機械学習により取得された学習モデルを利用してもよい。第2解析ロジックは、例えば、ニューラルネットワークのパラメータとして与えられてもよい。なお、本実施形態では、サーバ装置30が検索対象画像を解析して第2特徴情報及び第3特徴情報を取得するが、サーバ装置30は、端末装置40その他の装置により同一の解析ロジックを用いて検索対象画像を解析して得られた特徴情報を、第2特徴情報及び第3特徴情報として端末装置40から取得してもよい。また、サーバ装置30は、端末装置40から解析ロジックの指定を受け、指定された解析ロジックを第2解析ロジックとして用いて、検索対象画像を解析してもよい。例えば、片足を引きずっている失踪者を検索する場合、歩きざまに着目して映像検索を行うことが有効である。そこで、サーバ装置30は、端末装置40から歩きざまに着目して解析を行う解析ロジックの指定を受け、その解析ロジックを第2解析ロジックとして用いて、検索対象画像を解析してもよい。サーバ装置30は、第2解析ロジックとして用い得る複数の解析ロジックを記憶部22等に保存しておき、指定された解析ロジックを読み出し、第2解析ロジックとして用いてもよい。あるいは、サーバ装置30は、端末装置40等の他の装置から解析ロジックを受信して、その解析ロジックを第2解析ロジックとして利用してもよい。
【0084】
ステップS29において、サーバ装置30の制御部31は、ステップS27で取得した日時範囲、ステップS28で取得した第2特徴情報及び第3特徴情報、並びに、第3特徴情報を取得するために用いられた解析ロジック情報を、ステップS27で取得した地理的範囲に含まれる撮影装置10と通信可能に接続された解析装置20へ送信して、映像の検索を要求する。制御部31は、
図5BのステップS9と同様に、記憶部32に予め記憶された各撮影装置10の撮影場所に関する情報を参照して、ステップS27で取得した地理的範囲に含まれる撮影装置10を特定してもよい。各撮影装置10の撮影場所の情報を保持していない場合、サーバ装置30は、全ての解析装置20に対し、日時範囲、第2特徴情報及び第3特徴情報、並びに、解析ロジックを送信して、映像の検索を要求してもよい。
【0085】
図6BのステップS30において、映像の検索を要求された解析装置20の制御部21は、受信した第2特徴情報及び日時範囲に類似する第1特徴情報を記憶部22から抽出する。具体的には、例えば、制御部21は、記憶部22に記憶された、指定された日時範囲の第1特徴情報の各々について第2特徴情報との類似度を評価し、類似度が予め定められた第1閾値よりも大きな第1特徴情報を抽出してもよい。制御部21は、ステップS30の処理を、
図5BのステップS10と同様に行うことができる。
【0086】
ステップS31において、解析装置20の制御部21は、ステップS30で抽出した第1特徴情報に対応する映像に対応付けられている空間的位置に関する情報を取得する。制御部21は、その空間的位置に対応する映像(フレーム画像)の領域をステップS29で受信した解析ロジック情報(第2解析ロジック)により解析し、被写体特有の外見的特徴に関する第4特徴情報を取得する。このように、本実施形態では、空間的位置に関する情報を用いて第2解析ロジックに基づき解析する領域を限定するため、制御部21は、映像(フレーム画像)の全領域を解析する場合よりも効率的に解析を行うことができる。
【0087】
ステップS32において、解析装置20の制御部21は、ステップS29で取得した第3特徴情報に類似する第4特徴情報を抽出する。具体的には、例えば、制御部21は、ステップS31で取得された第4特徴情報の各々について第3特徴情報との類似性を評価し、類似性の度合い(類似度)が予め定められた第2閾値よりも大きな第4特徴情報を抽出してもよい。
【0088】
ステップS33において、解析装置20の制御部21は、ステップS32で抽出した第4特徴情報に対応する映像を抽出映像として記憶部22から取得する。
【0089】
ステップS34において、解析装置20の制御部21は、ステップS33で取得した抽出映像をサーバ装置30へ送信する。制御部21は、その抽出映像についてステップS30及びステップS32で取得した類似度、並びに、抽出映像の撮影日時に関する情報を併せてサーバ装置30へ送信してもよい。
【0090】
ステップS35において、サーバ装置30の制御部31は、ステップS34で解析装置20から受信した抽出映像を、映像の検索結果として端末装置40へ送信する。制御部31は、その抽出映像についてステップS30及びステップS32で取得された類似度、抽出映像の撮影日時に関する情報、並びに、撮影装置10の撮影場所(地点情報)等を併せて端末装置40へ送信してもよい。
【0091】
ステップS36において、端末装置40の制御部41は、ステップS35でサーバ装置30から受信した抽出映像を、検索結果として出力部45の表示部に表示する。ユーザは、出力部45の表示部を参照して、検索対象画像に映り込んだ検索対象の被写体の検索結果を確認することができる。制御部41は、その抽出映像についてステップS30及びステップS32で取得された類似度、撮影日時及び撮影場所(地点情報)を併せて出力部45の表示部に表示してもよい。これにより、ユーザは、検索対象の被写体がいつどこに存在したのかを確認することができる。
【0092】
(解析装置の動作例)
図7は、
図1の解析装置20の動作例を示すフローチャートである。
図7を参照して説明する解析装置20の動作は、解析装置20の制御方法の少なくとも一部に相当してもよい。
図7の各ステップの動作は、解析装置20の制御部21による制御に基づき実行されてもよい。
図7は、前述の撮影システムの動作例2において解析装置20が実行する処理例を示している。制御部21は、撮影装置10から映像を受信するたびにステップS42及びステップS43を実行し、サーバ装置30から映像の検索要求を受信するたびにステップS45~ステップS49を実行するが、制御部21は、これらの処理を並列的に実行してよい。
【0093】
ステップS41において、制御部21は、撮影装置10から映像を受信したか否かを判定する。制御部21は、映像を受信した場合(ステップS41でYES)はステップS42へ進み、そうでない場合(ステップS41でNO)はステップS44へ進む。
【0094】
ステップS42において、制御部21は、撮影装置10から映像を取得次第、予め設定されている第1解析ロジックに基づきその映像を解析して、その映像に映り込んだ被写体の特徴を示す第1特徴情報、及び、被写体の空間的位置に関する情報を取得する。制御部21は、ステップS42の処理を、
図6AのステップS23と同様に行うことができる。
【0095】
ステップS43において、制御部21は、撮影装置10から取得した映像、その映像の第1特徴情報、その映像の撮影日時を示す日時情報、及び、被写体の空間的位置に関する情報を対応付けて、記憶部22等の記憶装置に記憶する。制御部21は、ステップS43の処理を、
図6AのステップS24と同様に行うことができる。
【0096】
ステップS44において、制御部21は、サーバ装置30から映像の検索要求を受信したか否かを判定する。検索要求には、映像検索の日時範囲、第2特徴情報及び第3特徴情報、並びに、解析ロジックが含まれてもよい。制御部21は、検索要求を受信した場合(ステップS44でYES)はステップS45へ進み、そうでない場合(ステップS44でNO)はステップS50へ進む。
【0097】
ステップS45において、制御部21は、ステップS44で受信した第2特徴情報及び日時範囲に類似する第1特徴情報を記憶部22から抽出する。具体的には、例えば、制御部21は、記憶部22に記憶された、指定された日時範囲の第1特徴情報の各々について第2特徴情報との類似度を評価し、類似度が予め定められた第1閾値よりも大きな第1特徴情報を抽出してもよい。制御部21は、ステップS30の処理を、
図5BのステップS10、及び、
図6BのステップS30と同様に行うことができる。
【0098】
ステップS46において、制御部21は、ステップS45で抽出した第1特徴情報に対応する映像に対応付けられている空間的位置に関する情報を取得する。制御部21は、その空間的位置に対応する映像(フレーム画像)の領域をステップS44で受信した解析ロジック情報(第2解析ロジック)により解析し、被写体特有の外見的特徴に関する第4特徴情報を取得する。制御部21は、ステップS46の処理を、
図6BのステップS31と同様に行うことができる。
【0099】
ステップS47において、制御部21は、ステップS44で取得した第3特徴情報に類似する第4特徴情報を抽出する。具体的には、例えば、制御部21は、ステップS46で取得された第4特徴情報の各々について第3特徴情報との類似性を評価し、類似性の度合い(類似度)が予め定められた第2閾値よりも大きな第4特徴情報を抽出してもよい。制御部21は、ステップS47の処理を、
図6BのステップS32と同様に行うことができる。
【0100】
ステップS48において、制御部21は、ステップS47で抽出した第4特徴情報に対応する映像を抽出映像として記憶部22から取得する。
【0101】
ステップS49において、制御部21は、ステップS48で取得した抽出映像をサーバ装置30へ送信する。制御部21は、その抽出映像についてステップS45及びステップS47で取得した類似度、並びに、抽出映像の撮影日時に関する情報を併せてサーバ装置30へ送信してもよい。
【0102】
ステップS50において、制御部21は、フローチャートの処理を終了するか否かを判定する。制御部21は、例えば、ユーザ又は外部の装置から処理の終了を指示された場合に、フローチャートの処理を終了してもよい。制御部21は、処理を終了する場合(ステップS50でYES)はフローチャートの処理を終了し、そうでない場合(ステップS50でNO)はステップS41に戻る。
【0103】
以上のように、撮影システム1は、撮影装置10、解析装置20、サーバ装置30、及び、端末装置40を備える。撮影装置10は、複数のフレーム画像からなる映像を撮影する。解析装置20は、撮影装置10と通信可能である。解析装置20は、撮影装置10から映像を取得したことに応じて、第1解析ロジックに基づきその映像を解析して映像に映り込んだ被写体の特徴を示す第1特徴情報を取得する。解析装置20は、映像と第1特徴情報とを対応付けて記憶装置(例えば、記憶部22)に記憶させる。サーバ装置30は、解析装置20と通信可能である。端末装置40は、サーバ装置30と通信可能である。このような構成において、サーバ装置30は、検索対象の被写体の特徴を示す第2特徴情報を取得し、取得した第2特徴情報を解析装置20へ送信する。解析装置20は、サーバ装置30から第2特徴情報を受信したことに応じて、その第2特徴情報に類似する第1特徴情報を記憶装置から抽出し、抽出した第1特徴情報に対応する映像である抽出映像をサーバ装置30へ送信する。サーバ装置30は、解析装置20から受信した抽出映像を端末装置40へ送信する。端末装置40は、サーバ装置30から受信した抽出映像を出力部45の表示部に表示させる。
【0104】
このように、解析装置20は、撮影装置10から映像を受信したことに応じて、その映像を連続的に解析し、第1特徴情報を取得する。解析装置20は、第2特徴情報等を含む検索要求に応じて、その第2特徴情報に類似する映像を抽出し、対応する映像を抽出映像としてサーバ装置30を介して端末装置40へ送信させる。端末装置40は、受信した映像を表示させる。したがって、本実施形態によれば、解析装置20を設けるだけで、検索対象の被写体が映り込んだ映像を検索することが可能になり、端末装置40のユーザは、検索された映像を確認して、特定の被写体を発見することが容易となる。ここで、解析装置20は、撮影された全ての映像ではなく、第2特徴情報との類似度が第1閾値よりも大きい映像について、その映像及び第1特徴情報をサーバ装置30へ送信するため、ネットワークを介して転送するデータ量を最小限に抑えることができる。また、サーバ装置30は、撮影された全ての映像ではなく、検索された映像から取得された第1特徴情報を記憶するため、サーバ装置30から第1特徴情報が漏洩するなど、個人情報の流出リスクを低減することができる。よって、撮影装置10により撮影された映像を用いて特定の被写体を検索するための技術を、例えば、ネットワークの効率的利用及び個人情報保護等の点で改善することができる。
【0105】
なお、解析装置20は、撮影装置10から映像を取得したことに応じて、その映像が撮影された日時を示す日時情報を、その映像及び第1特徴情報と対応付けて記憶装置に更に記憶させてもよい。サーバ装置30は、第2特徴情報に加えて検索を行う日時範囲を更に取得するとともに、第2特徴情報に加えて日時範囲を解析装置20へ更に送信してもよい。解析装置20は、サーバ装置30から第2特徴情報及び日時範囲を受信したことに応じて、その第2特徴情報に類似する日時範囲において撮影された映像の第1特徴情報を記憶装置から抽出してもよい。解析装置20は、抽出した第1特徴情報に対応する映像である抽出映像及びその抽出映像の日時情報をサーバ装置30へ送信してもよい。サーバ装置30は、解析装置20から受信した抽出映像及びその抽出映像の日時情報を端末装置40へ送信してもよい。端末装置40は、サーバ装置30から受信した抽出映像及びその抽出映像の日時情報を出力部45の表示部に表示させてもよい。
【0106】
このように、解析装置20は、映像の撮影日時の日時範囲を特定して検索を行うため、検索対象の所在が把握できていた時期を検索範囲から除くことによって検索対象を含む映像を効率的に検索することができる。また、端末装置40は、抽出した映像の日時情報を表示する。そのため、ユーザは、検索対象の被写体が映り込んだ映像がいつ撮影されたのかを確認して、被写体を発見することが容易となる。
【0107】
また、撮影システム1は、複数の地点に設けられた複数の撮影装置10と、複数の撮影装置10に含まれる一つ以上の撮影装置10とそれぞれ通信可能な複数の解析装置20と、を備えてもよい。サーバ装置30は、第2特徴情報に加えて検索を行う地理的範囲を更に取得するとともに、その地理的範囲に含まれる地点に設けられた撮影装置10と通信可能な解析装置20へ第2特徴情報を送信してもよい。サーバ装置30から第2特徴情報を受信した解析装置20は、その第2特徴情報に類似する映像の第1特徴情報を記憶装置から抽出し、抽出した第1特徴情報に対応する抽出映像と、その抽出映像を撮影した撮影装置10の地点を示す地点情報とをサーバ装置30へ送信してもよい。サーバ装置30は、解析装置20から受信した抽出映像及びその抽出映像の地点情報を端末装置40へ送信してもよい。端末装置40は、サーバ装置30から受信した抽出映像及びその抽出映像の地点情報を出力部45の表示部に表示させてもよい。
【0108】
このように、端末装置40は、抽出した映像の地点情報を表示する。したがって、ユーザは、検索対象の被写体が映り込んだ映像がどこで撮影されたのかを確認して、被写体を発見することが容易となる。
【0109】
また、端末装置40は、検索対象の被写体が映り込んだ画像である検索対象画像の指定をユーザから受け付けてもよい。サーバ装置30は、ユーザにより指定された検索対象画像を解析して取得された特徴情報を第2特徴情報として取得してもよい。
【0110】
このように、解析装置20は、ユーザにより指定された検索対象画像を解析して取得された特徴情報(第2特徴情報)に基づき検索対象の被写体が映り込んだ映像を検索する。したがって、ユーザは、検索対象画像を指定するだけで、容易に被写体が映り込んだ映像を検索させ、その結果を確認することが可能である。なお、前述のように、検索対象画像の解析は、サーバ装置30が行ってもよいし、端末装置40等の他の装置が行ってもよい。
【0111】
また、サーバ装置30は、第2特徴情報に加えて、検索対象の被写体特有の外見的特徴を示す第3特徴情報を取得し、第2特徴情報に加えて第3特徴情報を解析装置20へ送信してもよい。解析装置20は、サーバ装置30から第2特徴情報及び第3特徴情報を受信したことに応じて、その第2特徴情報に類似する第1特徴情報を記憶装置から抽出してもよい。解析装置20は、抽出した第1特徴情報に対応する映像を第2解析ロジックに基づき解析して、その映像に映り込んだ被写体特有の外見的特徴を示す第4特徴情報を取得してもよい。解析装置20は、第3特徴情報に類似する第4特徴情報を抽出し、抽出した第4特徴情報に対応する映像を抽出映像として、サーバ装置30へ送信してもよい。
【0112】
このように、解析装置20は、第1解析ロジックだけでなく、第2解析ロジックに基づき抽出された特徴情報に基づき検索対象の被写体が映り込んだ映像を検索するため、検索対象の被写体の外見的特徴により類似した映像を検索することが可能である。
【0113】
また、サーバ装置30は、第2特徴情報及び第3特徴情報に加えて、第3特徴情報を抽出する際に用いられた解析ロジック情報を解析装置20へ送信してもよい。解析装置20は、受信した解析ロジック情報を第2解析ロジックとして用いて抽出した第1特徴情報に対応する映像を解析して、第4特徴情報を取得してもよい。
【0114】
このように、サーバ装置30は、解析装置20へ第2解析ロジックとして用いる解析ロジック情報を送信する。したがって、解析装置20は、一般的な特徴情報である第1特徴情報が類似する映像の中から、さらに検索対象の被写体特有の特徴が類似するものを絞り込んで抽出することが可能になる。
【0115】
また、解析装置20は、撮影装置10から映像を取得したことに応じて、第1解析ロジックに基づきその映像を解析して第1特徴情報を取得するとともに、映像と、その映像に映り込んだ被写体の映像における空間的位置と、第1特徴情報とを対応付けて記憶装置に記憶させてもよい。解析装置20は、サーバ装置30から第2特徴情報及び第3特徴情報を受信したことに応じて、その第2特徴情報に類似する第1特徴情報を記憶装置から抽出してもよい。解析装置20は、抽出した第1特徴情報に対応する映像の空間的位置に対応する領域を第2解析ロジックに基づき解析して、その映像の領域に映り込んだ被写体特有の外見的特徴を示す特徴情報を第4特徴情報として取得してもよい。
【0116】
このように、第2解析ロジックに基づく解析対象を、映像の空間的位置に対応する領域に限定するため、解析装置20は、解析に要する演算コストを低減することが可能である。
【0117】
本開示は上述の実施形態に限定されるものではない。例えば、ブロック図に記載の複数のブロックは統合されてもよいし、又は1つのブロックは分割されてもよい。フローチャートに記載の複数のステップは、記述に従って時系列に実行する代わりに、各ステップを実行する装置の処理能力に応じて、又は必要に応じて、並列的に又は異なる順序で実行されてもよい。その他、本開示の趣旨を逸脱しない範囲での変更が可能である。
【符号の説明】
【0118】
1 撮影システム
10 撮影装置
20 解析装置
21 制御部
22 記憶部
23 通信部
30 サーバ装置
31 制御部
32 記憶部
33 通信部
40 端末装置
41 制御部
42 記憶部
43 通信部
44 入力部
45 出力部
N ネットワーク