(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024103195
(43)【公開日】2024-08-01
(54)【発明の名称】映像情報共有システム、映像情報共有サーバ及び映像情報共有方法
(51)【国際特許分類】
H04N 23/60 20230101AFI20240725BHJP
H04N 7/18 20060101ALI20240725BHJP
G06Q 30/0207 20230101ALI20240725BHJP
G06Q 50/10 20120101ALI20240725BHJP
G08G 1/04 20060101ALI20240725BHJP
G08G 1/13 20060101ALI20240725BHJP
【FI】
H04N23/60 300
H04N23/60 500
H04N7/18 U
G06Q30/0207
G06Q50/10
G08G1/04 C
G08G1/13
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2023007393
(22)【出願日】2023-01-20
(71)【出願人】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(71)【出願人】
【識別番号】598076591
【氏名又は名称】東芝インフラシステムズ株式会社
(74)【代理人】
【識別番号】110001737
【氏名又は名称】弁理士法人スズエ国際特許事務所
(72)【発明者】
【氏名】米川 陽子
(72)【発明者】
【氏名】安波 真悟
(72)【発明者】
【氏名】中村 健介
(72)【発明者】
【氏名】鳴海 啓太
【テーマコード(参考)】
5C054
5C122
5H181
5L030
5L049
5L050
【Fターム(参考)】
5C054CE00
5C054DA09
5C054EA07
5C054FC12
5C054FE11
5C054GB05
5C054GD09
5C054HA00
5C122DA11
5C122DA14
5C122EA42
5C122FH11
5C122FH14
5C122GA18
5C122GA34
5C122GC14
5C122GC17
5C122GC52
5C122HA01
5C122HA88
5C122HB01
5H181AA01
5H181AA21
5H181CC04
5H181DD01
5H181MC19
5H181MC27
5L030BB07
5L049BB07
5L049CC12
5L050CC12
(57)【要約】 (修正有)
【課題】多種のカメラで撮影された画像から目的の対象物を特定する映像情報共有システム、サーバ及び方法を提供する。
【解決手段】映像情報共有システムにおいて、映像情報共有サーバは、複数の映像提供者から提供を受ける映像データ及びこの映像データの撮影位置や撮影期間を含む付随情報であるカメラ情報を蓄積する提供者ポータル処理部と、捜索依頼者が捜索対象の調査位置や調査期間を含む調査条件及び捜索対象の画像である捜索対象画像データを登録する依頼者ポータル処理部と、提供者ポータル処理部から提供された映像データ及びカメラ情報と、調査条件及び捜索対象ユーザ画像データとを照合し、映像データから捜索対象が撮影されていると推定される映像データを特定し、特定した映像データの撮影位置及び撮影期間を含めた処理結果データを生成する映像情報共有処理部と、を備える。依頼者ポータル処理部は、処理結果データを捜索依頼者に対して提供する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
映像提供者が映像データを提供するための映像提供装置と、捜索依頼者が捜索対象を登録する依頼者装置と、依頼を受けた捜索対象の画像を検索して前記依頼者装置に提供する映像情報共有サーバとを備える映像情報共有システムにおいて、
前記映像提供者から提供を受ける映像データ、及びこの映像データの撮影位置や撮影期間を含む付随情報であるカメラ情報を蓄積する提供者ポータル処理部と、
前記捜索依頼者が、捜索対象の調査位置や調査期間を含む調査条件、及び捜索対象の画像である捜索対象画像データを登録する依頼者ポータル処理部と、
前記提供者ポータル処理部から提供された前記映像データ及び前記カメラ情報と、前記調査条件及び前記捜索対象画像データとを照合し、前記提供者画像データから前記捜索対象が撮影されていると推定される映像データを特定し、前記特定した映像データの撮影位置及び撮影期間を含めた処理結果データを生成する映像情報共有処理部とを備え、
前記依頼者ポータル処理部は、前記映像情報共有処理部で生成した前記処理結果データを前記捜索依頼者に対して提供する
映像情報共有システム。
【請求項2】
前記映像情報共有サーバには、前記提供者ポータル処理部、前記依頼者ポータル処理部と、前記映像情報共有処理部とを備える請求項1記載の映像情報共有システム。
【請求項3】
前記映像情報共有サーバには、前記映像情報共有処理部を備え、
前記映像提供者装置には、前記提供者ポータル処理部を備え、
前記捜索依頼者装置には、前記依頼者ポータル処理部を備えた、
請求項1記載の映像情報共有システム。
【請求項4】
前記映像提供者装置は、映像提供者端末と映像提供者サーバとから構成され、この映像提供者サーバに前記提供者ポータル処理部が設けられ、
前記捜索依頼者装置は、捜索依頼者端末と捜索依頼者サーバから構成され、
この捜索依頼者サーバに、前記依頼者ポータル処理部が設けられた、
請求項3記載の映像情報共有システム。
【請求項5】
前記提供者ポータル処理部は、
前記カメラ情報には、匿名化するべき対象の特徴量(匿名化対象特徴量)の情報が示された匿名化リストを含み、
前記映像データの前記匿名化対象特徴量に相当する部分に対して、ぼかし処理などの匿名化処理をする前処理部を有する、
請求項1に記載の映像情報共有システム。
【請求項6】
前記処理結果データは、
検索されたカメラ位置を示す地図情報と、
各カメラ地点で捜索対象が撮影された日時情情報と、
捜索対象の画像と、
を一覧表示する処理結果データである、
請求項1記載の映像情報共有システム。
【請求項7】
前記処理結果データは、提供された映像を評価する評価データの入力欄を、
更に備えた請求項6記載の映像情報共有システム。
【請求項8】
前記処理結果データに対する評価データに基づいて報酬を決定し、前記処理結果データの生成に用いた映像データの提供者に、決定した報酬データを与える報酬決定処理部と
を更に具備する請求項1に記載の映像情報共有システム。
【請求項9】
映像提供者から提供を受けた映像データから、捜索依頼者から依頼を受けた捜索対象の画像を検索して、前記捜索依頼者に対して提供する映像情報共有システムに用いられる映像情報共有サーバにおいて、
前記映像提供者から提供を受ける映像データ、及びこの映像データの撮影位置や撮影期間を含む付随情報であるカメラ情報を蓄積する提供者ポータル処理部と、
前記捜索依頼者が、捜索対象の調査位置や調査期間を含む調査条件、及び捜索対象の画像である捜索対象画像データを登録する依頼者ポータル処理部と、
前記提供者ポータル処理部から提供された前記映像データ及び前記カメラ情報と、前記調査条件及び前記捜索対象画像データとを照合し、前記提供者画像データから前記捜索対象が撮影されていると推定される映像データを特定し、前記特定した映像データの撮影位置及び撮影期間を含めた前記処理結果データを生成する映像情報共有処理部と
を備え、
前記依頼者ポータル処理部は、前記映像情報共有処理部で生成した前記処理結果データを前記捜索依頼者に対して提供する、
映像情報共有サーバ。
【請求項10】
前記提供者ポータル処理部は、
前記カメラ情報には、匿名化するべき対象の特徴量(匿名化対象特徴量)の情報が示された匿名化リストを含み、
前記映像データの前記匿名化対象特徴量に相当する部分に対して、ぼかし処理などの匿名化処理をする前処理部を有する、
請求項9に記載の映像情報共有サーバ。
【請求項11】
前記処理結果データは、
検索されたカメラ位置を示す地図情報と、
各カメラ地点で捜索対象が撮影された日時情情報と、
捜索対象の画像と
を一覧表示する処理結果データである、
請求項9記載の映像情報共有サーバ。
【請求項12】
前記処理結果データは、提供された映像を評価する評価データの入力欄を、
更に備えた請求項11記載の映像情報共有サーバ。
【請求項13】
前記処理結果データに対する評価データに基づいて報酬を決定し、前記処理結果データの生成に用いた映像データの提供者に、決定した報酬データを与える報酬決定処理部と
を更に具備する請求項9に記載の映像情報共有サーバ。
【請求項14】
映像提供者から提供を受けた映像データから、捜索依頼者から依頼を受けた捜索対象の画像を検索して、前記捜索依頼者に提供する映像情報共有方法において、
提供者ポータル処理部で、前記映像提供者から提供を受ける映像データ、及びこの映像データの撮影位置や撮影期間を含む付随情報であるカメラ情報を蓄積するステップと、
依頼者ポータル処理部で、前記捜索依頼者が、捜索対象の調査位置や調査期間を含む調査条件、及び捜索対象の画像である捜索対象画像データを登録するステップと、
映像情報共有処理部で、前記提供者ポータル処理部から提供された前記映像データ及び前記カメラ情報と、前記調査条件及び前記捜索対象画像データとを照合し、前記映像データから前記捜索対象が撮影されていると推定される映像データを特定し、前記特定した映像データの撮影位置及び撮影期間を含めた処理結果データを生成するステップと、
前記依頼者ポータル処理部は、前記映像情報共有処理部で生成した前記処理結果データを前記捜索依頼者に対して提供するステップと、
を具備する映像情報共有方法。
【発明の詳細な説明】
【技術分野】
【0001】
この発明の実施形態は、複数の画像から目的の対象物を特定する映像情報共有システム、映像情報共有サーバ及び映像情報共有方法を提供するに関する。
【背景技術】
【0002】
高齢化社会にともない徘徊者を見守ったり、子供や行方不明者を捜索したりするためには、監視カメラなどの映像データの利用が有効と考えられている。しかしながら、道路や信号機に監視カメラを設置するにはコスト高くなることと、プライバシー保護の観点から、容易に監視カメラを増やすことはできない。
【0003】
また、捜索時にビデオカメラを搭載した車両で捜索エリア内を走行することも考えられるが、その手間がかかるなどの問題があった。また、捜索対象が、道路上ではなく、公園や店舗といった施設内に留まっている場合には、捜索対象を発見することが困難という問題がある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2022-31494号公報
【特許文献2】特開2013-192154号公報
【特許文献3】特開2015-176220号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
街中には、様々な事業者や個人がそれぞれの目的で監視カメラを設置しているが、それらのカメラが撮影した映像情報は、広く社会で活用されることなく蓄積されている。例えば人を捜索対象とした場合には、カメラに撮影された人のプライバシーの観点から、設置者が映像情報を広く一般に開放することをためらう、という問題がある。
【0006】
本発明が解決しようとする課題は、様々な用途に用いられるカメラで撮影された画像から目的の対象物を特定する映像情報共有システム、映像情報共有サーバ及び映像情報共有方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
実施形態に係る映像情報共有システムは、複数の映像提供者から提供を受ける映像データ、及びこの映像データの撮影位置や撮影期間を含む付随情報であるカメラ情報を蓄積する提供者ポータル処理部と、捜索依頼者が、捜索対象の調査位置や調査期間を含む調査条件、及び捜索対象の画像である捜索対象画像データを登録する依頼者ポータル処理部と、前記提供者ポータル処理部から提供された前記映像データ及び前記カメラ情報と、前記調査条件及び前記捜索対象ユーザ画像データとを照合し、前記提供者画像データから前記捜索対象が撮影されていると推定される映像データを特定し、前記特定した映像データの撮影位置及び撮影期間を含めた処理結果データを生成する映像情報共有処理部とを備え、前記依頼者ポータル処理部は、前記映像情報共有処理部で生成した前記処理結果データを前記捜索依頼者に対して提供する。
【図面の簡単な説明】
【0008】
【
図1】
図1は、実施形態に係る映像情報共有システムのイメージ図である。
【
図2】
図2は、第1の実施形態に係る映像情報共有システムの機能ブロック図である。
【
図3】
図3は、第1の実施形態に係る映像情報共有サーバのデータベースの例である。
【
図4】
図4は、第1の実施形態に係る映像情報共有サーバの提供者ポータル処理部の処理を示すフローチャートである。
【
図5】
図5は、第1の実施形態に係る映像情報共有サーバの依頼者ポータル処理部の捜索依頼の登録処理を示すフローチャートである。
【
図6】
図6は、第1の実施形態に係る映像情報共有サーバの映像情報共有処理部の処理を示すフローチャートである。
【
図7】
図7は、第1の実施形態に係る映像情報共有サーバの依頼者ポータル処理部の捜索結果取得処理を示すフローチャートである。
【
図8】
図8は、第1の実施形態に係る映像情報共有サーバの処理結果の依頼者端末への表示例である。
【
図9】
図9は、第1の実施形態の変形例に係る映像情報共有システムの機能ブロック図である。
【
図10】
図10は、第1の実施形態の変形例に係る映像情報共有サーバのデータベースの例である。
【
図11】
図11は、第1の実施形態の変形例に係る映像情報共有サーバの報酬決定処理を示すフローチャートである。
【
図12】
図12は、第1の実施形態の変形例に係る映像情報共有サーバの処理結果の依頼者端末への表示例である。
【
図13】
図13は、第1の実施形態の変形例に係る映像情報共有サーバの報酬決定処理による処理結果の提供者端末への表示例である。
【
図14】
図14は、第2の実施形態に係る映像情報共有システムの機能ブロック図である。
【
図15】
図15は、第2の実施形態に係る映像情報共有システムにおける依頼者端末による捜索要求処理を示すフローチャートである。
【
図16】
図16は、第2の実施形態に係る映像情報共有システムにおける映像情報共有サーバの処理を示すフローチャートである。
【
図17】
図17は、第2の実施形態に係る映像情報共有システムにおける提供者端末の処理を示すフローチャートである。
【
図18】
図18は、第3の実施形態に係る映像情報共有システムの機能ブロック図である。
【発明を実施するための形態】
【0009】
以下、図面を参照しながら、本発明の実施形態について説明する。
【0010】
本実施形態においては、街中に設置された監視カメラや、ビルや店舗などの屋内に設置された監視カメラや、インターホンに設置されたビデオカメラ、スマートフォン(スマホと称する場合もある)、ドライブレコーダー(ドラレコと称する場合もある)等の様々な用途に用いられるビデオカメラの映像を活用して、見守りや行方不明者捜索あるいは遺失物捜索、盗難車両の追跡を行う映像情報共有システムの例を示す。
【0011】
図1は、実施形態に係る映像情報共有システムのイメージ図である。
本実施形態の映像情報共有システムは、映像情報共有システム10を中心に、捜索を依頼する捜索依頼者と、映像の提供に同意した複数の映像提供者から構成される。
【0012】
まず、映像提供者は、本システムに対して映像の提供に同意する複数の提供者であり、例えば、官公庁、民間事業者、個人など任意の提供者である。
提供される画像の例としては、河川や道路、公園等の公共施設に設置されている官公庁所管のビデオカメラや、民間事業者の店舗やATM等の施設や、電車、バス、タクシーなどの移動車両に設置しているビデオカメラ、個人の家に設置されたインターホン用のビデオカメラ、ドライブレコーダーなどで撮影した映像データ、画像の提供に同意している提供者の映像データであれば、なんでも良い。
【0013】
捜索依頼者は、映像情報共有システムを利用して、ある対象(捜索対象)の見守りや捜索を要求する人であり、例えば、住民、警察など任意の人である。ここで捜索対象は、人に限定されず、ペット等の動物や、依頼者の所有物等(例えば、車両、オートバイ、自転車等の乗り物や、依頼者の家屋の屋外に設置されている所有物等)でもよい。
【0014】
なお、映像情報共有システムを利用する捜索依頼者は、複数でもよい。
捜索依頼者は、パソコンやスマホなどの端末(以下、依頼者端末と称する)から、捜索依頼者の依頼者登録を行った後、捜索したい前記捜索対象を登録して調査依頼を行う。捜査対象の調査依頼の際には、見守りや捜索の対象とする地域、期間などの調査条件と、また捜索対象の特徴がよく映っている画像(特に、捜索対象が人や動物の場合は顔などが映っている画像、以下、捜索対象画像と称する)を映像情報共有サーバ1に登録する。
【0015】
映像情報共有システム10は、映像提供者から提供を受けた映像から取得した画像(以下、提供者画像と称する)のうち、調査条件として登録された地域内に設置されたビデオカメラで登録期間内に撮影され、提供された提供者画像と、前記捜索対象画像とを照合し、一致する提供者画像が存在する場合には、提供者画像の撮影場所、撮影日時、信頼度等の情報(提供者画像情報と称する)を依頼者に提供するシステムである。
【0016】
ここで、映像情報共有サーバ1は、依頼者に対して、その提供者画像そのものを提供してもよいし、何等かの加工を施した画像を提供してもよい。また、画像提供を行わなくてもよく、捜索対象が撮影されていた、位置や時刻等の情報のみを提供する形でもよい。依頼者への情報提供のタイミングは、捜索依頼後に、捜索対象を見つけた時点でもよいし、見つけることが出来なくても1日1回などの定期的な通知としてもよいし、処理結果データを受信した時点など任意の時点でもよい。
【0017】
(第1の実施形態)
まず、第1の実施形態は、集中型の実施形態で、提供者から提供を受けた画像を映像情報共有サーバに保存しておき、依頼者からの依頼に基づき映像情報共有サーバに保存された画像を検索して結果を提供する実施形態である。
【0018】
図2は、第1の実施形態に係る映像情報共有システムの機能ブロック図である。
本実施形態の映像情報共有システムは、映像情報共有サーバ1、提供者装置としての提供者端末2、依頼者装置としての依頼者端末3から構成される。なお、提供者端末2、依頼者端末3は、それぞれ複数が映像情報共有サーバ1に接続されていてもよい。
【0019】
本実施形態においては、できるだけ多くの映像データを利用できるようにすることが望ましいため、既設の監視カメラ網を構築済みの複数の管理者(映像提供者)がこの仕組み(映像情報共有システム)に参画しやすくするため、映像情報共有サーバ1をオンプレミスのサーバに限定されず、クラウド上に映像情報共有サーバ1に構成してもよい。
また、また映像情報共有サーバ1の機能(例えば、提供者ポータル処理部11、依頼者ポータル処理部12)などを、特定のプラットフォームに配布されたアプリケーション(一般にコンテナと称される)上での処理とすることでもよい。
【0020】
映像情報共有サーバ1は、各種通信インターフェース、CPU、メモリを備えるコンピュータを備え、クラウドサーバなどで構成されてもよい。映像情報共有サーバ1は、提供者ポータル処理部11と、依頼者ポータル処理部12と、映像情報共有処理部13とを備える。
【0021】
提供者ポータル処理部11は、映像提供者からカメラ情報や映像データを取得するための処理部である。
【0022】
提供者ポータル制御部116は、提供者端末2、映像情報共有処理部13から各種命令を受信し、受信した命令に基づき、提供者ポータル処理部11の各機能を制御する制御部である。
送受信部111は、提供者端末2とデータをやり取りするための通信機能部であり、例えば、インターネットに接続可能な通信インターフェースである。なお、送受信部111は、その他有線、無線など任意の通信インターフェースであってもよい。
提供者ポータル通信部112は、映像情報共有サーバ1の内部の依頼者ポータル処理部12や映像情報共有処理部13とデータをやり取りするための通信機能部である。なお、提供者ポータル通信部112は、インターネットに接続可能な通信インターフェースでもよいし、その他有線、無線など任意の通信インターフェースであってよい。
【0023】
映像取得部114は、提供者端末2に接続されるカメラ20が取得した映像データを提供者端末2から取得する取得部である。映像取得部114で取得した映像データは、映像データ記憶部1101に格納する。
カメラ情報取得部113は、提供者端末2に接続されるカメラ20に関するカメラ情報を提供者端末2から取得する取得部である。ここで、映像データに関するカメラ情報を映像データ記憶部1101に格納する。ここで、カメラ情報とは、例えば、カメラのID、カメラの名称、カメラの種類、カメラの設置位置、カメラの所有者情報などである。
更に、カメラ情報取得部113は、取得したカメラ情報を、映像情報共有処理部13のカメラ情報記憶部1301にも格納する。
【0024】
前処理部115は、提供者画像データに対して、必要に応じた所定の画像処理(以下、前処理という。)を行う処理部である。例えば、前処理部115は、動画から静止画への変換や、不鮮明な画像を鮮明化するための補正処理(逆光補正、夜間映像の輝度補正、降雨・降雪時の粒状ノイズ除去、超解像処理など)を行ったり、取得した画像が匿名化対象である場合には、画像上の顔の部分にぼかし処理を行ったりする。前処理部115は、前記前処理が終わると、処理した提供者画像データを映像データ記憶部1101に格納する。
【0025】
映像データ記憶部1101は、映像取得部114が取得した映像データ、提供者画像データや、撮影場所、撮影時間などそれらに付随する前記カメラ情報を格納する記憶装置である。映像データ記憶部1101は、例えば、不揮発性メモリにより構成される。
【0026】
なお、通常の監視カメラ、ドライブレコーダーでは、一定期間経過すると、撮影した映像データは消去されることが多いが、本実施形態の映像情報共有システムにおいては、提供者が提供した映像データを映像データ記憶部1101にできる限り長期間保存し、蓄積することが望ましい。
【0027】
図3は、第1の実施形態に係る映像情報共有サーバのデータベースの例である。
この内、
図3(a)は、映像データ記憶部1101に格納される項目の具体例を示す図である。
【0028】
図3(a)に示す様に、映像データ記憶部1101には、映像データを識別するIDである提供者映像データIDごとに、撮影したカメラを識別するためのカメラID、映像提供者を識別するための提供者ID、提供者画像データIDが紐づけられて格納されている。
更に、提供者画像データIDごとに、撮影日時、撮影位置(撮影場所)、匿名処理が必要か否かを示すフラグなどの情報、匿名処理が行うことが場合に画像データに写っている匿名者の特徴量などを示す匿名者情報、その他提供者画像情報から抽出した特徴量などの提供者画像情報が、紐づけられている。
【0029】
また、顔照合による人の捜索に特化させて用いる場合では、映像データ、提供者画像データから取得した顔の特徴量など、顔照合に用いるためのデータを紐づけて映像データ記憶部1101に格納しておいてもよい。
【0030】
次に、依頼者ポータル処理部12について、説明する。
依頼者ポータル処理部12は、依頼者から、捜索依頼を依頼する依頼者情報や、捜索対象情報を取得し、依頼者端末に対して依頼者への依頼に応じた検索した結果の情報提供を行うための処理部である。
【0031】
依頼者ポータル制御部124は、依頼者端末3、映像情報共有処理部13から各種命令を受信し、受信した命令に基づき、依頼者ポータル処理部12の各機能を制御する制御部である。
【0032】
送受信部125は、依頼者端末3とデータをやり取りするための通信機能であり、例えば、インターネットに接続可能な通信インターフェースである。なお、送受信部125は、その他有線、無線など任意の通信インターフェースであってもよい。
依頼者ポータル通信部121は、映像情報共有サーバ1の内部でデータをやり取りするための通信機能部である。なお、依頼者ポータル通信部121は、インターネットに接続可能な通信インターフェースでもよいし、その他有線、無線など任意の通信インターフェースであってよい。
【0033】
ユーザ情報取得部122は、依頼者端末2から依頼者情報及び捜索対象情報を取得する取得部である。ユーザ情報取得部122は、取得した依頼者情報を依頼者データとして、捜索対象情報を捜索対象データとして、ユーザデータ記憶部1201に格納する。
ユーザデータ記憶部1201は、依頼者端末2から取得する依頼者データ、及び捜索対象データなどを格納する記憶装置である。ユーザデータ記憶部1201は、例えば、不揮発性メモリにより構成される。
【0034】
ここで依頼者データとは、依頼者が依頼者端末3から入力する依頼者自身の情報を示し、例えば、依頼者への通知が可能なメールアドレスを含む。また、捜索対象データとは、捜索を行いたい対象に関する情報で、調査条件(捜索対象の場所的な範囲や時間的な範囲)、捜索対象の画像データ(捜索対象画像データと称する)、捜索対象の画像から機械学習などにより抽出した特徴量などの捜索対象画像特徴情報などの、捜索対象に関する任意の情報を含めてよい。
【0035】
ここで、
図3(b)は、ユーザデータ記憶部1201に格納される情報の具体例を示す図である。
【0036】
依頼者IDは、映像情報共有システムを利用する依頼者を識別するIDを示す。この依頼者IDは、依頼者が任意のIDを特定してもよいし、依頼者が初めて捜索依頼を行うために利用者登録をした際に、依頼者ポータル処理部12がその依頼者に付与してもよい。依頼者IDには、依頼者への通知を行うときの連絡先となるメールアドレスと、依頼者が、捜索対象を指定して捜索依頼した際に付与される捜索依頼IDが紐づけて記憶される。
【0037】
ここで捜索依頼IDは、捜索対象毎に付与されるIDである。
更に捜索依頼IDには、それぞれ捜索依頼時に依頼者から受信した調査条件である調査地域、調査日時、捜索対象の写った捜索対象画像データを識別する捜索対象画像データIDなどの情報が紐づけされている。更に、捜索対象画像データIDには、機械学習などにより抽出した特徴量などの捜索対象画像特徴情報が紐づけられている。
【0038】
図2に戻り、画像学習部123は、各種機械学習処理などを備えた学習部である、画像学習部123は、ユーザ情報取得部122が取得した画像データを学習して、捜索対象の特徴量などの画像情報を生成し、依頼者データ記憶部1201に、捜索対象画像特徴情報として、格納する。捜索対象が人や動物の場合は、その特徴量は、例えば、目、鼻、口の大きさの比率に関わるものや、左右の目の距離、目と鼻の距離、口と鼻の距離などの比率に関わるものなど任意の特徴量でよい。
【0039】
処理結果データ記憶部1202は、映像情報共有処理部13で照合された結果を取得した処理結果データ、それらに付随する情報などを格納する記憶装置である。処理結果データ記憶部1202は、例えば、不揮発性メモリにより構成される。
【0040】
ここで、
図3(c)は、処理結果データ記憶部1202に格納される情報の具体例を示す図である。
処理結果データ記憶部1202には、捜索依頼IDごとに、映像情報共有サーバ1が処理した処理結果データが格納される。各処理結果データは、処理結果データの生成に用いた提供者画像データの提供者を示す提供者画像データIDが紐づけられている。提供者画像データIDには、撮影日時、撮影位置、抽出画像情報(抽出した特徴量、捜索対象の特徴量との類似度、処理結果データの信頼度など)が紐づけられて記憶されている。
【0041】
表示制御部126は、依頼者端末3に対して捜索結果データを提供するために、モニタなどに表示させる画面情報を生成する制御部である。表示制御部126は、Webサーバとして依頼者端末3などへWEB画面を提供する機能を備えていてもよい。
【0042】
提供データ作成部127は、映像情報共有処理部13から受信する処理結果データなどから、依頼者端末3へ出力する画面コンテンツなどの提供データを作成する作成部である。
メール送信部128は、映像情報共有処理部13からの命令などに基づき、メールを作成し、提供データ作成部127が作成した提供データなどとともに、依頼者端末3へメール出力する送信部である。
【0043】
次に、映像情報共有処理部13について、説明する。
映像情報共有処理部13は、提供者端末2から提供された画像の中から、依頼端末3から要求された捜索対象の情報に合致するための画像を検索するために、画像の照合機能および後処理部を備える処理部である。より具体的には、捜索対象として設定された捜索範囲内に設置されたビデオカメラがある場合で、かつそのビデオカメラで捜索対象の設定条件である捜索期間中に撮影した映像データがある場合に、画像照合部132および後処理部133にて画像処理を行う。
【0044】
制御部134は、提供者ポータル処理部11、依頼者ポータル処理部12などから各種命令を受信し、受信した命令に基づき、映像情報共有処理部13の各機能を制御する制御部である。
【0045】
通信部131は、映像情報共有サーバ1の内部で、提供者ポータル処理部11や依頼者ポータル処理部12と、データをやり取りするための通信機能部である。なお、通信部131は、インターネットに接続可能な通信インターフェースでもよいし、その他有線、無線など任意の通信インターフェースであってよい。
【0046】
カメラ情報記憶部1301は、依頼された捜索対象のカメラを特定するために、提供者ポータル処理部11から転送されたカメラ情報を格納する記憶装置である。カメラ情報記憶部1301は、例えば、不揮発性メモリによる構成される。
【0047】
ここで、
図3(d)は、カメラ情報記憶部1301に格納される情報の具体例を示す図である。
ここでカメラ情報記憶部1301に記憶されるカメラ情報は、提供者ポータル処理部11の映像データ記憶部1101とは異なり、カメラ情報を、提供者映像データID毎に紐づけるのではなく、カメラを特定するカメラID毎に紐づけられて格納されている。
カメラIDには、それぞれ提供者ID、カメラ名称、カメラ種類、固定/移動、設置位置の情報が紐づけられている。ここで、カメラ名称は、例えば、カメラの製品名、品番、カメラの設置されている地名など映像提供者などが任意に設定する名称を示す。カメラの種類は、監視カメラや、スマートフォン(スマホ)、ドライブレコーダー(ドラレコ)等の種類を示す。固定/移動は、固定で設置されているカメラか持ち運び可能なカメラかを示す情報を示す。設置位置は、カメラの設置位置を示す。
【0048】
図2に戻り、画像照合部132は、依頼者ポータル処理部12に入力された捜索依頼に基づいて、提供者ポータル処理部11から取得した提供者画像データと照合を行う照合部である。画像照合部132は、依頼者ポータル処理部12に捜索依頼が登録されると、捜索条件(場所と日時条件)から、捜索対象が撮影されている可能性のあるカメラを、カメラ情報記憶部1301を用いて特定する。そして、当該カメラで撮影された提供者画像を提供者ポータル処理部11から取得する。
そして、取得した提供者画像の中から、捜索対象の特徴量に合致もしくは類似する特徴量を持つ提供者画像データを検索する。例えば画像照合部132は、任意の顔画像が含まれる提供者画像データと捜索対象画像特徴情報(例えば、学習した捜索対象の顔の特徴量)とを照合し、一致するかどうかを判定する。
【0049】
画像照合部132は、照合において、機械学習などに基づいて、取得した提供者画像データと捜索対象画像データとの特徴量との類似度を算出する類似度算出部を備える。より具体的に画像照合部132は、取得した提供者画像データから特徴量を抽出し、抽出した特徴量と捜索対象画像データとの特徴量との類似度を算出する。また、画像照合部132は、算出した類似度に基づいて、提供者画像データに捜索対象の顔画像(特徴量)が含まれているか否かを判定する判定部を備える。
【0050】
類似度は、提供者画像データにおける捜索対象の特徴量の一致している度合いを示し、例えば、0~100の数値とし、数値が大きければ大きいほど信頼度が高いものとする。例えば、類似度が高い提供者画像データは、捜索対象が写っている可能性が高いものと解釈される。また類似度は、提供者画像データに捜索対象の特徴量が含まれるか否か(画像が一致したか否か)を判定する値として用いてもよく、例えば、制御部134は、類似度が閾値以上(例えば80以上)の場合を「一致している」と判定して、提供者画像データに捜索対象の特徴量に相当する部分が含まれていると判定する。類似度は、依頼者に提供する処理結果データに対する信頼度として、処理結果データに含めてもよい。
【0051】
後処理部133は、画像照合部132による処理結果や付随する情報を含めた処理結果データの暗号化処理を行う処理部である。より具体的に後処理部133は、顔画像照合にて用いた提供者画像データのカメラ情報(カメラID、撮影場所、撮影日時)や提供者画像データ、信頼度などの処理結果データを暗号化し、処理結果データ記憶部1202に保存する。
【0052】
次に、提供者端末2の構成について説明する。
提供者端末2は、各種通信インターフェース、CPU、メモリを備えるコンピュータを備えた、例えばパーソナルコンピュータ、スマートフォンなどの端末である。提供者端末2は、映像提供者によって操作され、カメラ20により撮影された映像データを映像情報共有サーバ1へ送信する。
【0053】
また、提供者端末2には、Webブラウザなどから提供者ポータル処理部11の提供するWebサービスにアクセスして映像情報共有システムを利用することでもよいし、インストールされた映像情報共有システム用のアプリケーションソフトウェアをインストールして、映像情報共有システムを利用するようにしてもよい。
【0054】
カメラ20は、映像や画像を撮影するカメラであり、例えば、各所に設置された監視カメラ、車などに設置されたドライブレコーダー、個人宅のインターホンに設置されたビデオカメラ、スマートフォンのカメラなど任意のカメラである。
なお、
図2では、カメラ20を提供者端末2の外部に設置する場合の例を示しているが、提供者端末2の内部にカメラ20を含めてもよい。また図においては、1つの提供者端末2に1つのカメラ20が接続されている例を示したが、複数のカメラ20が接続されてもよい。
【0055】
制御部26は、I/F部21、映像情報共有サーバ1などから各種命令を受信し、受信した命令に基づき、提供者端末2の各機能を制御する制御部である。また、映像情報共有サーバ1へ映像データやカメラ情報出力の制御も行う。
I/F部21は、マウス、キーボードなどのデータ入力手段である。例えば提供者は、I/F部21を介して、映像情報共有サーバ1の提供するWebサーバへアクセスしたり、取得した映像データなどを映像情報共有サーバ1へアップロードしたりする。
【0056】
映像取得部22は、カメラ20が撮影した映像、画像をデータとして取得する取得部である。映像取得部22は、図示せぬ提供者端末2の記憶装置など各種メモリに格納する。
【0057】
カメラ情報入力部24は、カメラ20に関するカメラ情報を取得し、図示せぬ提供者端末2の記憶装置など各種メモリに格納する入力部である。なお、カメラ情報入力部24は、映像情報共有サーバ1の提供するWebサーバにアクセスできるWebブラウザなどによって提供されてもよい。
【0058】
送受信部25は、映像情報共有サーバ1とデータをやり取りするための通信機能部であり、例えば、インターネットに接続可能な通信インターフェースである。なお、送受信部25は、その他有線、無線など任意の通信インターフェースであってもよい。
【0059】
次に、依頼者端末3の構成について説明する。
依頼者端末3は、各種通信インターフェース、CPU、メモリを備えるコンピュータを備えた、例えばパーソナルコンピュータ、スマートフォンなどの端末である。依頼者端末3は、Webブラウザなどから依頼者ポータル処理部11の提供するWebサービスにアクセスして映像情報共有システムを利用することでもよいし、インストールされた映像情報共有システム用のアプリケーションソフトウェアをインストールして、映像情報共有システムを利用してもよい。
【0060】
制御部36は、I/F部21、映像情報共有サーバ1などから各種命令を受信し、受信した命令に基づき、依頼者端末3の各機能を制御する制御部である。また、映像情報共有サーバ1へ出力したりする。
I/F部31は、マウス、キーボードなどのデータ入力手段である。例えば依頼者は、I/F部31から評価データを入力したり、映像情報共有サーバ1の提供するWebサーバへアクセスしたりすることでもよい。
【0061】
送受信部32は、映像情報共有サーバ1とデータをやり取りするための通信機能部であり、例えば、インターネットに接続可能な通信インターフェースである。なお、送受信部32は、その他有線、無線など任意の通信インターフェースであってもよい。
表示部33は、モニタである。
【0062】
ユーザ情報入力部34は、依頼者に関する依頼者情報や、捜索対象の捜索対象情報を取得する入力部であり、取得した依頼者情報や捜索対象情報を、図示せぬ依頼者端末3の記憶装置など各種メモリに格納する。なお、ユーザ情報入力部34は、映像情報共有サーバ1の提供するWebサーバにアクセスできるWebブラウザなどによって提供されてもよい。
【0063】
なお、
図3として上記した複数の記憶部には、複数の箇所に同一の名前のデータが格納されているが、各記憶部のデータを1か所のデータベースにて管理してもよい。すなわち、
図3に示したデータベースの項目、構成などは、一例であり、本図に限定されることはない。
【0064】
以下に、本実施形態の処理動作について説明する。
【0065】
ここでは、映像情報共有サーバ1には、複数の映像提供者がそれぞれの提供者端末2から映像情報共有サーバ1へ映像提供が行われるが、説明を簡単にするため、1人の映像提供者の提供者端末2から本実施形態のシステムを利用する場合について示す。
また、依頼者についても、映像情報共有サーバ1には、複数の依頼者端末3が接続可能であり、複数の依頼者がそれぞれの依頼者端末3から映像情報共有サーバ1への同時のアクセスが可能であるが、説明を簡単にするため、1人の依頼者の依頼者端末3から本実施形態のシステムを利用する場合について説明する。依頼者は、依頼者端末3から映像情報共有サーバ1に、捜索依頼の前に、依頼者の情報である依頼者情報を登録する。
【0066】
図4は、第1の実施形態に係る映像情報共有サーバの提供者ポータル処理部の処理を示すフローチャートである。
【0067】
映像データの提供に同意している映像提供者は、提供者端末2から映像情報共有サーバ1に対して、初期登録として、カメラ情報(カメラのID、カメラの名称、カメラの種類、カメラの設置位置、カメラの所有者情報など)の登録要求をする。
【0068】
ステップS101において、映像情報共有サーバ1の提供者ポータル制御部116は、提供者端末2からカメラ情報の登録要求を受信したら(ステップS101のYES)、ステップS102に進む。また提供者ポータル制御部116は、カメラ情報の登録を許可しなかった場合やカメラ情報登録の要求がなかった場合(ステップS101のNO)、ステップS104に進む。
【0069】
ステップS102において、映像情報共有サーバ1のカメラ情報取得部113は、登録要求のあった提供者端末2からカメラ情報を受信する。
ステップS103において、カメラ情報取得部113は、提供者ポータル通信部112、通信部131などを介して、受信したカメラ情報をカメラ情報記憶部1301に格納する。ここでカメラ情報取得部113は、カメラ情報を送信した提供者に提供者IDを割り振り、受信したカメラ情報と提供者IDとを紐づけてカメラ情報記憶部1301に格納する。
【0070】
ステップS104において、映像情報共有サーバ1の提供者ポータル制御部116は、提供者端末2から映像データの登録要求を受信したら(ステップS104のYES)、ステップS105に進む。
【0071】
ステップS105において、映像取得部114は、提供者端末2から登録要求のあった映像データを受信すると、映像データ記憶部1101に格納するとともに、前処理部115へ出力する。
ステップS106において、前処理部115は、受信した映像データ(動画)に対して、画像照合をする前までの画像処理を前処理部にて行う。具体的には、動画である映像データを静止画に変換するなどにより、提供者画像データを取得する。
【0072】
ステップS107において、前処理部115は、ステップS106で変換した静止画像に対して、必要に応じた画像補正処理を行う。より具体的に画像補正処理は、例えば、鮮鋭化(ぼやけた画像のエッジを際立たせる)や正規化(画像の輝度(明るさ)を一様に調整する)、逆光補正、夜間映像の輝度補正、降雨・降雪時の粒状ノイズ除去、超解像処理などの画像補正処理を実施してもよい。
【0073】
ステップS108において、前処理部115は、ステップS107で処理された提供者画像データから、顔が含まれる画像のみを抽出する。
ステップS109において、前処理部115は、ステップS108で抽出した提供者画像データに対して、匿名化処理の対象があるか否かを確認する。匿名化処理は、例えば、映像提供者が、登録した映像データに、映像提供者本人の顔などを残したくない場合などに実施するモザイクなどの処理である。
【0074】
映像提供者は、登録しようとする映像データに対して、匿名化リストなどの匿名者情報のデータを紐づけて、映像情報共有サーバ1に送信する。匿名化リストには、例えば、人の顔、ものなど匿名化したいあらゆる匿名化対象の特徴量データなどの匿名化情報を格納する。匿名化リストは、映像提供者が映像データを登録する際に紐づけて映像データ記憶部1101などに格納する。例えば、前処理部115は、抽出した提供者画像データから匿名化リストの特徴量と類似のデータを検出したら、特徴量と類似のデータ部分が匿名化処理すべき対象であると判定し(ステップS109のYES)、ステップS110へ進む。また前処理部115は、匿名化処理の対象がないと判定した場合(ステップS109のNO)、ステップS111に進む。
【0075】
ステップS110において、前処理部115は、ステップS108で抽出した提供者画像データの匿名化処理の対象部分に対して匿名化処理を施す。なお、画像データ中に匿名化処理の対象部分が複数存在する場合は、それぞれの匿名化処理の対象部分に対して匿名化処理を実施することでもよい。
【0076】
ステップS111において、前処理部115は、匿名化処理を施した提供者画像データもしくは匿名化処理の対象がないと判定された提供者画像データを映像データ記憶部1101に格納する。
ステップS112において、提供者ポータル制御部116は、提供者端末2から次の映像データの登録要求を受信したら(ステップS112のYES)、ステップS105に進む。また提供者ポータル制御部116は、映像データの登録要求がなければ(ステップS112のNO)、処理を終了する。
【0077】
以上の手順により、映像提供者による映像データ、提供者画像データの映像情報共有サーバ1への登録が完了する。
【0078】
図5は、第1の実施形態に係る映像情報共有サーバへの依頼者から捜索者の登録要求時の依頼者ポータル処理部の処理動作を示すフローチャートである。
【0079】
まず、ステップS121において、依頼者の利用登録として依頼者情報が登録されているか判断する。
依頼者情報が登録されていない場合(ステップ121でNo)は、ステップS122に進み、依頼者情報として、依頼者の氏名、住所、メールアドレス等を登録する。ここで、依頼者が、捜索結果の回答をメールで受け取りたい場合は、メールアドレスの登録は必須とし、書面等の郵送を希望する場合は住所の登録は必須とする。
依頼者が登録されている場合(ステップ121でYes)は、ステップS123に進む。
【0080】
ステップS123において、依頼者ポータル処理部12は、依頼者端末3から捜索依頼の登録依頼の有無を判定する。ここで、捜索依頼の登録があった場合(ステップS123のYES)、ステップS124に進む。
ステップS124において、ユーザ情報取得部122は、登録要求のあった依頼者端末3から捜索対象情報の登録された調査条件情報(見守りや捜索の対象とする地域、期間など)を受信し、ユーザデータ記憶部1201に格納する。更に、ユーザ情報取得部122は、登録された捜索対象画像データ(捜索対象の特徴がよく映っている画像)などを受信し、画像学習部123に送信したり、ユーザデータ記憶部1201に格納したりする。
【0081】
ステップS125において、画像学習部123は、受信した捜索依頼に含まれる捜索対象画像データに対して機械学習処理を実施し、特徴量などの捜索対象画像特徴情報を取得する。
ステップS126において、画像学習部123は、取得した捜索対象画像情報をユーザデータ記憶部1201に格納する。
【0082】
以上の手順により、依頼者による映像情報共有サーバ1への捜索依頼登録が完了する。
【0083】
図6は、第1の実施形態に係る映像情報共有サーバの映像情報共有処理部の処理を示すフローチャートである。
【0084】
ステップS141において、映像情報共有処理部13は、依頼者ポータル処理部12から捜索依頼に関する調査条件及び捜索対象画像データを受信すると(ステップS141のYES)、ステップS142へ進む。
【0085】
ステップS142において、映像情報共有処理部13の制御部134は、受信した捜索依頼の捜索条件データから捜索対象の調査地域(捜索範囲)を取得し、カメラ情報記憶部1301のカメラ情報の設置位置データと比較する。捜索範囲に設置されているカメラ20が見つかった場合(ステップS142のYES)、そのカメラ20を画像照合の対象として、ステップS143へ進む。
【0086】
ステップS143において、制御部134は、調査日時(捜索日時)の条件やカメラ20の提供者IDを提供者ポータル処理部11に送信し、提供者ポータル処理部11から調査日時の条件と提供者IDとに合致する提供者画像情報を取得する。またこの時、提供者ポータル処理部11においては、映像情報共有処理部13から調査日時の条件と提供者IDを受信すると、映像データ記憶部1101から条件に合致する提供者画像データを検索し、検索した提供者画像データの提供者画像情報を映像情報共有処理部13へ出力する。
【0087】
ステップS144において、制御部134は、画像照合部132に、取得した提供者画像情報と捜索対象画像情報とを照合させる。より具体的には、画像照合部132は、提供者画像情報の特徴量と捜索対象画像情報の特徴量との類似度(相関値などでもよい)を算出させ、類似度がある閾値よりも高い場合に、算出に用いた提供者画像データに捜索対象画像データとが一致したと判断する。
【0088】
ステップS145において、画像照合部132は、処理の結果、提供者画像情報と捜索対象画像情報とが一致したと判定した場合(ステップS145のYES)、ステップS146へ進む。一方、画像照合部132は、処理の結果、提供者画像情報と捜索対象画像情報とが一致しなかったと判定した場合(ステップS145のNO)、ステップS148へ進む。
【0089】
ステップS146において、後処理部133は、ステップS145にて捜索対象画像データと一致したと判定された提供者画像データの撮影日時、撮影位置を含めて処理結果データを生成し、処理結果データを暗号化する。処理結果データには、提供者画像データそのものを含めてもよい。
【0090】
ステップS147において、後処理部133は、処理結果データを処理結果データ記憶部1202に格納する。
ステップS148において、制御部134は、捜索範囲に設置されているカメラ20のうち、処理結果データを作成していない未処理のカメラ20がある場合(ステップS148のYES)、そのカメラを選択して、ステップS143へ進み、選択したカメラ20に対し処理結果データを作成する。
更に、ステップS148において、未処理のカメラ20が複数ある場合は、ステップS143からステップS148の処理を繰り返し実施する。
【0091】
ステップS149において、制御部134は、ステップ142からステップ148のフローで作成した処理結果データもしくは処理結果データの暗号化データを、依頼者ポータル処理部12へ送信する。
【0092】
次に、依頼者ポータル処理部12は、送受信部125を介して処理結果データもしくは処理結果データに基づいて作成した画面コンテンツを依頼者端末3へメール送信する手順について、説明する。
図7は、依頼者ポータル処理部12から映像情報共有処理部13へ捜索結果の提供依頼処理をする際の処理動作を示すフローチャートである。
【0093】
依頼者ポータル制御部124は、
図5の動作により、捜索依頼が登録されると、映像情報共有処理部13に転送し、映像情報共有処理部13からの処理結果を待っている。
ステップS161において、依頼者ポータル制御部124は、映像情報共有処理部13から処理結果データを受信することで、処理結果データが生成されたことを認識した場合、ステップS162へ進む。
ステップS162において、依頼者ポータル制御部124は、受信した処理結果データが暗号化されていた場合に、暗号化データを復号して、処理結果データを取り出す。
【0094】
ステップS163において、依頼者ポータル制御部124の提供データ作成部127は、取り出した処理結果データを用いて、画面コンテンツを作成する。画面コンテンツは、表示制御部126のWebサーバ機能で、依頼者端末3に提供してもよいが、以下は、メール機能を用いた方法を示す。
【0095】
ステップS164において、提供データ作成部127は、作成した画面コンテンツをメール送信部128へ送信する。
ステップS165において、依頼者ポータル制御部124は、ユーザデータ記憶部1201に依頼者のメールアドレスを確認する。ここで、依頼者のメールアドレスが登録されている場合(ステップS165のYES)は、ステップS166へ進む。
【0096】
ステップS166において、依頼者ポータル制御部124は、メール送信部128に対して、画面コンテンツを含むメールを作成させる。
ステップS167において、メール送信部128は、画面コンテンツを含むメールを依頼者端末3へ送信する。メールを依頼者端末3が受信し、依頼者ユーザが依頼者端末3の表示部33からメールを見ると、表示部33に画面コンテンツが表示されることでもよい。あるいは、画面330は、Webブラウザなどにより表示されることでもよい。
【0097】
図8は、第1の実施形態に係る映像情報共有サーバの処理結果の依頼者端末への第1の表示例である。
図8では、表示部33に表示された画面330に、人物捜索結果という名称のhtmlファイルによる画面コンテンツが表示されている表示例を示している。
【0098】
画面330上には、調査地域を含む地図上のカメラの設置位置にマーク3C01、3C02、3C03、3C04、3C05が表示されている。
ここで、マーク3C02、3C03は、映像情報共有サーバ1による画像照合処理(顔認証処理)により、捜索対象が写っていたと判断された提供者画像データを撮影したカメラ(以下、カメラ3C02、カメラ3C03のように示す)の設置位置であり、捜索対象が写っていると判断された提像データを撮影した日時を表示されている。
ここでは、画面330においては、カメラ3C03よりもカメラ3C02の撮影日時の方が後であるため、捜索対象は、カメラ3C03の設置位置からカメラ3C02の設置位置の方向へ移動したことが推測される。
【0099】
捜索依頼者は、詳細を確認したいマーク(ここでは、3C03) にマウスのカーソル(ポイント)を置く(または、クリックする)と、画面331が表示され、画像照合部132における画像照合処理で使用された提供者画像データの情報が表示される。
【0100】
具体的に画面331に表示される情報の例を、表示3311、表示3312、表示3313、表示3314に示す。
なお、表示3311は、処理結果データに用いた提供者画像データの撮影場所、撮影日時などの撮影情報である。
表示3312は、提供者画像データ上の捜索対象の特徴量と一致または類似していると判定された部分、すなわち、捜索対象の顔と思われる画像である。表示3312は、例えば提供者画像データ上の画像そのものでもよいが、匿名性が必要な場合は、画像データから特徴を抽出して作成した絵などでもよい。
表示3313は、表示3312の顔画像から推定した人物情報であり、例えば映像情報共有処理部13の後処理115などに備えられた機械学習機能などで得ることでもよい。
表示3314は、後処理部133が算出した類似度を信頼度として示し、表示3312の画像が捜索対象である可能性が80%であることを示す。
【0101】
このように本実施形態によれば、蓄積する過去の映像データや提供者画像データを捜索対象とすることで、見守り対象者や捜索対象の移動経路動線の把握が可能となる。
【0102】
図7に戻って、ステップS168において、依頼者ポータル制御部124は、映像情報共有処理部13から次の処理結果データを受信するなどし、処理結果データが生成されたことを認識した場合、ステップS162へ進む。
以上の手順により、依頼者は、映像情報共有サーバ1へ捜索依頼を実施して、映像情報共有サーバ1から捜索結果(処理結果データ)を受信することができる。
【0103】
以上に示した実施形態により、依頼者ユーザは、スマホなどの依頼者端末3から、映像情報共有システムを利用して、対象者の見守りや捜索をすることができる。例えば、本実施形態は、顔画像照合において提供者が提供した映像データと捜索対象者の顔画像とが一致した場合に、類似度(信頼度)および撮影時間、位置情報をアウトプットし、捜索対象者の経路情報を提供することができる。
【0104】
(第1の実施の形態の変形例)
次に、第1の実施の形態の変形例について説明する。
第1の実施の形態では、捜索対象の発見率を向上させるためには、多数の映像提供者の協力が必要となる。映像提供者を増やすためには、映像提供者へ何らかのインセンティブを与えることで、捜索対象の発見率の向上が見込まれる。
そこで、本変形例はこの点に鑑み、映像提供者などに、提供した映像データの提供と引き換えに金銭的報酬を与えるために、報酬を支払うための構成を追加した変形例である。
【0105】
本変形例では、捜索依頼の登録を行った依頼者が、依頼者端末3から処理結果データに対する満足度やコメントなどの評価データを入力し、登録ボタン3B01を押下すると、記入された評価データは映像情報共有サーバ1の評価データ取得部129に送信され、映像情報共有処理部13の報酬決定処理部135は、受信した評価データをもとに、映像提供者に支払う報酬額を決定する実施形態である。
【0106】
図9は、第1の実施形態の変形例に係る映像情報共有システムの機能ブロック図である。
図2と比較すると、報酬システム4が接続されている他に、以下に説明する各構成が追加されている点が異なるが、これ以外の構成は同一であるため、重複する説明を省略する。
また、
図10は、第1の実施形態の変形例に係る映像情報共有サーバのデータベースの例である。この内、
図10の(a)~
図10(d)は、
図9内に記載された各データ記憶部のデータ構成例であるが、これも
図3と同様のため、説明を省略する。
【0107】
図9において、依頼者端末3は、評価データ入力部35が追加されている。
評価データ入力部35は、映像情報共有サーバ1から受信する処理結果データに対する評価データを取得する入力部である。評価データ入力部35は、図示せぬ依頼者端末3の記憶装置など各種メモリに格納したり、映像情報共有サーバ1へ出力したりする。なお、評価データ入力部35は、映像情報共有サーバ1の提供するWebサーバにアクセスできるWebブラウザなどによって提供されてもよい。評価データの入力方法の具体例は、
図13を用いて後述する。
【0108】
図9において、映像情報共有サーバ1の依頼者ポータル処理部12には、評価データ取得部129と、評価データ記憶部1203Aが追加されている。
評価データ取得部129は、依頼者端末3からから入力された評価データを受信し、評価データ記憶部1203に格納する取得部である。
また通信部131は、映像情報共有サーバ1の外部のシステム、例えば報酬システム4 とデータをやり取りする通信機能を備えている。
評価データ記憶部1203は、映像情報共有サーバ1から取得する評価データなどを格納する記憶装置である。評価データ記憶部1203は、例えば、不揮発性メモリにより構成される。
【0109】
ここで、
図10(e)は、評価データ記憶部1203に格納される情報の具体例を示す図である。
評価データ記憶部1203には、捜索依頼IDごとに、映像情報共有サーバ1が処理結果データの生成に用いた提供者画像データの提供者画像データIDや、その提供者画像データへの依頼者からの評価データ、コメントなどが紐づけられて格納されている。
【0110】
図9に戻り、映像情報共有サーバ1の映像情報共有制御部13には、報酬決定処理部135が追加されている。
報酬決定処理部135は、依頼者ポータル処理部12から受信する評価データに対して、提供者に対する報酬を決定する処理部である。
【0111】
報酬決定処理部135は、提供された処理結果データに対して、依頼者が入力した満足度やコメントなどのフィードバック情報(評価データ)をもとに、処理結果データを生成するのに用いた映像データの映像提供者に支払う報酬額を決定する。例えば、満足度を1~5の点数で入力してもらい、1点を1ポイントとして報酬額を算出する等の方法が考えられる。その算出した報酬額などの報酬データは、報酬データ記憶部1102に保存するとともに、報酬システム4に送信する。また報酬データ記憶部1102に保存された情報は、提供者端末2に送信され、映像提供者に提供される。
【0112】
映像情報共有サーバ1の提供者ポータル処理部11には、表示制御部117と、報酬データ記憶部1102が追加されている。
表示制御部117は、モニタなどに表示させる画面コンテンツなどの画面情報を生成し、提供者端末2へ出力する制御部である。また表示制御部117は、提供者端末2などへホームページを提供するWebサーバの機能を備えていてもよい。
【0113】
報酬データ記憶部1102は、映像情報共有処理部13から取得した報酬データや、それらに付随する情報などを格納する記憶部である。報酬データ記憶部1102は、例えば、不揮発性メモリにより構成される。
【0114】
ここで、
図3(f)は、報酬データ記憶部1102に格納される情報の例を示す図である。
【0115】
図3(f)に示す様に、提供者IDは、提供者ポータル処理部11に映像データの提供者を識別するIDである。
図3(f)のデータベースは、提供者IDごとに、提供者画像データID、これまでの報酬の総額である報酬トータルデータ、金銭やポイントなどに交換した報酬額である報酬交換済みデータなどが紐づけられている例である。
更に、提供者画像データIDには、付随情報として、提供者画像データに対する評価データ、コメント、取得した報酬データ及び取得日などが紐づけられている。
【0116】
図9に戻り、提供者端末2には、表示部23が追加されている。ここで、表示部23は、モニタである。映像提供者は、提供者端末2を操作することで、映像情報共有サーバ1から報酬データなどを受信できるようになっている。
【0117】
また、映像情報共有サーバ1には、報酬システム4が接続されている。
報酬システム4は、映像提供者などに、提供した映像データの提供と引き換えに金銭的報酬を与えるために設けられるシステムである。報酬システム4は、例えば、民間のポイントシステムや電子マネーシステム、自治体独自のポイントのシステムなど、金銭もしくは金銭相当(金銭的報酬と総称する)と交換可能なポイントを提供する任意のポイントシステム等、何でもよい。
本実施形態においては、報酬システム4を映像情報共有システムに含めずに映像情報共有システムと連携させる例を示すが、報酬システム4相当のシステムを映像情報共有システムの例えば映像情報共有サーバ1に備えることでもよい。また報酬システム4は、ポイントの代わりに、ポイントに相当する減税をするような運用など、映像提供者に映像データの提供の動機付けとなるシステムであれば任意のシステムでもよい。
【0118】
第1の実施形態の変形例に係る動作を説明する。
図4~
図7で説明した動作は、第1の実施形態と同様のため、説明を省略する。第1の実施形態と異なる点は、
図7のステップS167で作成される、画面コンテンツの表示構成が異なる。
【0119】
図11は、第1の実施形態の変形例に係る映像情報共有サーバの処理結果の依頼者端末への表示例である。
図11は、第1の実施形態で説明した
図8の図に、依頼者による処理結果データへの評価を入力するための表示3E01、3E02が付加されている。ここで、評価入力欄は、カメラごとに、満足度に応じた点数とコメント欄が設けられている。依頼者は、表示331を見ながら、表示された位置(図においては3C03)にて撮影された提供者画像データに対して、表示3E02から、処理結果データに対する満足度やコメントなどの評価データを記入する。
【0120】
図12は、第1の実施形態の変形例に係る映像情報共有サーバの報酬決定処理を示すフローチャートである。
【0121】
図12(a)は、映像情報共有サーバの報酬決定処理時の依頼者ポータル処理部12の処理動作を示すフローチャートである。
ステップS1101において、依頼者ポータル処理部12の評価データ取得部129は、依頼者が依頼者端末3から記入した評価データを受信すると(ステップS1101のYES)、ステップS1102において、評価データ記憶部123に受信した評価データを格納する。
【0122】
図12(b)は、映像情報共有サーバの報酬決定処理時の映像情報共有処理部13の処理動作を示すフローチャートである。
【0123】
ステップS1121において、映像情報共有処理部13の制御部134は、依頼者ポータル制御部124から評価データを受信した旨を示す通知を受信すると、評価データ記憶部1203から受信した評価データを取得し、報酬決定処理部135へ出力する。
ステップS1122において、報酬決定処理部135は、取得した評価データに基づいて、評価データが与えられた処理結果データを生成するのに用いた提供者画像データの提供者に対する報酬額を決定する。
報酬決定処理部135は、例えば、
図10の表示依頼者に満足度を1~5の点数で入力してもらい、1点を1ポイントとして報酬額を算出する。
【0124】
ステップS1123において、報酬決定処理部135は、算出した報酬額などの情報を含む報酬データを、提供者ポータル処理部11へ出力する。そして、報酬データ記憶部1102に保存させ、ステップS1124において、報酬システムに送信する。
【0125】
図12(c)は、映像情報共有サーバの報酬決定処理時の提供者ポータル処理部11の処理動作を示すフローチャートである。
【0126】
ステップS1141において、提供者ポータル処理部11の提供者ポータル制御部116は、報酬決定処理部135から報酬データを受信すると(ステップS1141のYES
)、報酬データの対象である提供者画像データの提供者の提供者IDに紐づけて、報酬データを報酬データ記憶部1102に保存するとともにステップS1142へ進む。
ステップS1142において、表示制御部117は、受信した報酬データの情報を含む画面コンテンツを作成する。
【0127】
ステップS1143において、表示制御部117は、報酬データ記憶部1102に保存された報酬データの情報は、提供者ポータル処理部11から報酬データの対象の映像提供者に提供する。
【0128】
図13は、第1の実施形態の変形例に係る映像情報共有サーバの報酬決定処理による処理結果の提供者端末への表示例である。なお、この表示は、映像情報共有サーバ1が送信した画面コンテンツが、提供者端末2の表示部23に表示されることでも、Web用ブラウザなどにより表示されることでもよい。
【0129】
図13において、画面231は、画面コンテンツの一表示例である。
画面231は、提供者IDがS001である映像提供者(以下、映像提供者S001のように示す。)に対する評価データ一覧の表示例である。
【0130】
画面231においては、映像提供者S001は、カメラIDとしてC001、C002が付された2つのカメラ20(以下、カメラC001、カメラC002のように示す)で撮影した映像データを提供している場合の例を示しており、それぞれのカメラについての評価情報が表示される。なお、
図13に示す様に、1つのカメラ20が撮影した映像データは、複数の捜索依頼者からの捜索要求によって利用されてもよい。
情報2D1は、カメラC001で撮影した映像データに対する評価情報である。カメラC001のカメラ名称である、AB商店街2と、カメラ位置には、例えば(緯度、経度、高度)の値である(x1、y1、z1)が表示されている。
【0131】
更に、表示2D11は、依頼者ID:R001の捜索依頼者(捜索依頼者R001のように示す)からの評価データの表示例である。評価データには、捜索依頼者R001が評価データを映像情報共有サーバ1へ送信した日時、捜索依頼者R001が依頼者端末3から評価データとして登録した満足度やコメント、評価データの対象の提供者画像の撮影日時を表示している。ここで、提供者画像データから抽出した顔画像もしくはそれをイラスト化した絵などを表示させてもよい。
【0132】
次に、表示2D12は、カメラC001が別の捜索依頼:R010に異なる日時に撮影した複数の提供者画像が用いられ、その評価データが表示されている。
次に、表示2D2は、カメラID:C002に関する評価データが続いて、表示される。
【0133】
表示2D3は、映像提供者S001が映像情報共有システムによって得た報酬データの合計値が13であることを示す。
表示2B1は、報酬データを金銭的報酬に交換するためのボタンである。例えば、映像提供者S001が表示2B1をクリックすると、表示2D3の報酬データが、映像情報共有サーバ1を介して、報酬システム4へ通知され、報酬システム4から映像提供者S001に報酬データに応じた金銭的報酬を与えるようにしてもよい。映像情報共有サーバ1には、映像提供者S001が利用する報酬システム4に関する情報(例えば、ポイントカードID、クレジットカードIDなど)を予め登録するようにしておいてもよい。
【0134】
以上に示した本実施形態の変形例では、第1の実施形態の構成に加え、報酬のための仕組みを備えることにより、任意のカメラ設置者、ドラレコなどの所有者は、金銭的報酬を得ながら、撮影した映像データや画像データを提供することができ、映像提供者の映像情報共有システムへの参画を誘発する効果も期待できる。
【0135】
(第2の実施形態)
第1の実施形態においては、集中型として、クラウドサーバなどによる映像情報共有サーバが「提供者ポータル処理部」「依頼者ポータル処理部」「画像処理部(画像照合部、後処理部)」を具備する映像共有システムの例を示した。これに対して、第2の実施形態においては、分散処理型として、「提供者ポータル処理部」および「画像処理部(画像照合部、後処理部)」を映像提供者が所有の提供者装置である提供者端末に具備し、「依頼者ポータル処理部」を捜索依頼者が所有の依頼者装置である依頼者端末に具備する例を示す。
【0136】
なお、第1の実施の形態と同様に報酬システム4を備えない場合の実施形態と、第1の実施形態の変形例と同様に報酬システム4を備えた場合の実施形態の両方が考えられる。しかしながら、説明の重複を避けるため、以下の第2の実施形態の説明は、報酬システム4を有する場合の実施形態を例として説明するが、報酬システム4を備えていない実施形態も、本実施形態の範囲に含まれるものとする。
【0137】
また、第1の実施形態と同様に、1つの「画像処理部(顔画像照合部、後処理部)」を映像情報共有サーバに具備してもよいが、画像処理アプリケーションソフトウェア(以下、画像処理アプリと称する場合もある)のバリエーションを増やす仕組みとして、映像情報共有サーバに画像処理アプリのデータベースを備え、開発者などがこのデータベースに自由に画像処理アプリケーションをアップロードできる例を示す。本実施形態により、映像提供者や捜索依頼者は、例えばスマホなどのような端末に、画像処理アプリケーション(顔画像認証、後処理)をダウンロードして、映像情報共有システムを利用できる。
【0138】
図14は、第2の実施形態に係る映像情報共有システムの機能ブロック図である。
【0139】
本実施形態においては、第1の実施形態の映像情報共有サーバ1の各種機能が、提供者端末や依頼者端末に割り振られている点が
図1との大きな違いである。
図14に示した機能ブロック図において、
図2に示した機能の名称と同じ名称の機能には、
図2にて付した符号の後ろにAを付した符号を付し、以下、同一の機能についての説明は省略し、
図2との相違点を中心に説明する。
【0140】
映像情報共有サーバ1Aは、各種通信インターフェース、CPU、メモリを備えるコンピュータを備え、クラウドサーバで構成されてよい。映像情報共有サーバ1Aは、
図2の映像情報共有サーバ1における映像情報共有処理部13に相当する機能を備える。また映像情報共有サーバ1Aは、1以上の提供者端末2Aから受信した処理結果データを記憶する処理結果データ記憶部1302A、1以上の依頼者端末3Aから受信した評価データを記憶する評価データ記憶部1203Aなどを備える。
【0141】
提供者端末2Aは、各種通信インターフェース、CPU、メモリを備えるコンピュータを備えた、例えばパーソナルコンピュータ、スマートフォンなどの端末である。提供者端末2Aは、
図2の映像情報共有サーバ1における依頼者ポータル処理部12に相当する機能を備える。
【0142】
依頼者端末3Aは、
図2の映像情報共有サーバ1における提供者ポータル処理部11に相当する機能を備える。また依頼者端末3Aは、受信した処理結果データを格納する処理結果データ記憶部1302A、受信した処理結果データに対して捜索依頼者が入力した評価データを記憶する評価データ記憶部1203Aなどを備える。依頼者端末3Aは、各種通信インターフェース、CPU、メモリを備えるコンピュータを備えた、例えばパーソナルコンピュータ、スマートフォンなどの端末である。
【0143】
図14に示すように、提供者ポータル処理部11、依頼者ポータル処理部12の機能を、提供者端末2A、依頼者端末3Aに割り振ったことから、映像情報共有サーバ1Aにおいては、
図2の映像情報共有サーバ1における送受信部111、提供者ポータル通信部112、依頼者ポータル通信部121、送受信部125をなくし、外部装置(提供者端末2A、依頼者端末3Aに相当)との通信機能を通信部131Aに集約した。
【0144】
同様に、提供者端末2Aにおいては、
図2の提供者端末2における送受信部25をなくし、外部装置(映像情報共有サーバ1A、依頼者端末3Aに相当)との通信機能を通信部131Aに集約した。
同様に、依頼者端末3Aにおいては、
図2の依頼者端末3における送受信部32をなくし、外部装置(映像情報共有サーバ1A、依頼者端末3Aに相当)との通信機能を通信部121Aに集約した。
【0145】
また
図2の映像情報共有サーバ1の画像照合部132は、捜索対象の画像情報(特徴量など)を取得し提供者画像データと比較する画像照合部1321Aと、画像照合を依頼する画像照合部132Aとに分け、それぞれ提供者端末2A、映像情報共有サーバ1Aに具備する。
【0146】
また映像情報共有サーバ1Aは、提供者端末2A、依頼者端末3Aが使用可能な画像処理アプリを保存する画像処理アプリ記憶部1304Aを備える。本実施形態においては、例えば、外部のアプリケーション開発者など捜索依頼者、映像提供者以外の第三者が、画像処理アプリを作成し、映像情報共有システム10Aに提供することができ、提供された画像処理アプリは、画像処理アプリ記憶部1304Aに格納され、提供者端末2A、依頼者端末3Aにダウンロードされる。
【0147】
本実施形態において、提供者端末2Aに接続されるカメラ20は、信号機等の道路沿いの構造物に設置された監視カメラ、ドライブレコーダー、インターホン用のビデオカメラなどさまざまな用途に用いられるカメラを想定している。このようなカメラ種類や特性によって、画像の撮影位置、画角、画像の品質、画像における捜索対象の写り方など画像データの特性が異なることが考えられる。
【0148】
例えば、道路の構造物などに設置される監視カメラの場合、道路の上方から道路方向を撮影するために、捜索対象を上方から見た画像が撮影されやすいと考えられる。また例えば、監視カメラ、ドライブレコーダーなどは長時間に渡り撮影することが多く、相対的に画像の品質が劣化しやすい場合があるなどが考えられる。またインターホン用のビデオカメラの場合は、人物の顔を中心とした画像になりやすい。
【0149】
上記のような場合、カメラ種類ごとに映像データの特性もしくはカメラの特性に合った画像処理アプリや設定パラメータを用いて、捜索対象部位の抽出、特徴量の決定をすることが望ましい。カメラの特性は、カメラ種類や撮影する映像データの特性などを含む。
【0150】
また、画像処理アプリケーションは、捜索依頼者、映像提供者以外の誰でもが自由に開発できるようにして、画像処理アプリデータベースに登録させようとしてもよく、より多くの種類のカメラに対応した映像データの取得を促進することができる。
【0151】
本実施形態の映像情報共有システムによれば、複数の映像提供者は、各自の提供者端末2Aに画像処理アプリ記憶部1304Aから提供者用の画像処理アプリケーションをダウンロードすることで、画像データの前処理115Aや画像照合部1321A、後処理133Aに相当する機能を備えることが可能となる。
以下に、本実施形態の処理動作について説明する。
【0152】
映像情報共有サーバ1Aには、複数の依頼者端末3Aが接続可能であり、複数の捜索依頼者がそれぞれの依頼者端末3Aから映像情報共有サーバ1Aへの同時のアクセスが可能である。しかしながら、説明を簡単にするため、以下は、1人の捜索依頼者が、1台の依頼者端末3Aから本実施形態のシステムを利用する場合について示す。
捜索依頼者は、依頼者端末3Aから映像情報共有サーバ1Aに、捜索対象画像を登録して、捜索依頼をする。
【0153】
図15は、第2の実施形態に係る映像情報共有システムにおける依頼者端末による捜索要求処理を示すフローチャートである。
図5の依頼者ポータル処理部12の処理動作と同様の処理については、詳細の説明を省略する。
【0154】
まず、ステップS241において、捜索依頼者の利用登録として依頼者情報が登録されているか判断する。
依頼者情報が登録されていない場合(ステップS241でNo)は、ステップS242に進み、依頼者情報として、捜索依頼者の氏名、住所、メールアドレス等を登録する。ここで、捜索依頼者が、捜索結果の回答をメールで受け取りたい場合は、メールアドレスの登録は必須とし、書面等の郵送を希望する場合は住所の登録は必須とする。
捜索依頼者が登録されている場合(ステップS241でYes)は、ステップS243に進む。
ステップS243において、依頼者端末3Aは、捜索依頼者から捜索要求を受信すると、捜索要求とともに映像情報共有サーバ1Aに出力し、ステップS244に進む。
【0155】
ステップS244において、調査条件、特徴情報などを含む調査対象画像データを映像情報共有サーバ1Aに出力する。特徴情報は、ステップS243において捜索要求とともに受信した捜索対象の画像データから抽出した特徴量など捜索対象の情報である。なお、特徴情報の抽出は、
図5(a)の処理同様に、依頼者端末3Aの画像学習部123Aが捜索対象の画像データから機械学習処理などにより抽出することでもよい。
【0156】
ステップS245において、依頼者端末3Aは、映像情報共有サーバ1Aから処理結果データを受信したかを判定する。処理結果データを受信したことを認識した場合(ステップS245でYes)、ステップS246へ進む。
ステップS246において、依頼者端末3Aは、受信した処理結果データが暗号化されていた場合に、暗号化データを復号して、処理結果データを取り出す。
【0157】
ステップS247において、依頼者端末3Aは、取り出した処理結果データを用いて、画面コンテンツを作成し、表示部33Aに表示する。捜索依頼者は、表示部33Aから捜索依頼した結果を見ることができる。表示部33Aに表示された結果は、例えば、
図13の表示例である。
ステップS248において、依頼者端末3Aは、映像情報共有サーバ1Aから次の処理結果データを受信したかを判定する。次の処理結果データを受信した場合(ステップS248でYes)、処理結果データが生成されたことを認識した場合、ステップS246に戻り、処理を継続する。
【0158】
以上の手順により、捜索依頼者は、依頼者端末3Aから映像情報共有サーバ1Aへ捜索依頼を実施することで、映像情報共有サーバ1Aから捜索結果(処理結果データ)を受信して、依頼者端末3Aの表示部33Aなどから処理結果データを確認できる。
【0159】
図16は、第2の実施形態に係る映像情報共有システムにおける映像情報共有サーバの処理を示すフローチャートである。
【0160】
ステップS261において、映像情報共有サーバ1Aは、依頼者端末3Aから捜索要求及び付随する調査条件を受信すると(ステップS261のYES)、ステップS262へ進む。
ステップS262において、映像情報共有サーバ1Aの画像照合部132Aは、カメラ情報記憶部1301に格納されているカメラ情報の設置位置データと受信した調査条件に含まれる調査地域とを比較する。調査地域に設置されているカメラ20が見つかった場合(ステップS262のYES)、カメラ情報記憶部1301Aからそのカメラ20の提供者IDを取得して、ステップS263へ進む。
【0161】
ステップS263において、画像照合部132Aは、受信した調査条件に含まれる調査日時(捜索日時)の条件、捜索対象の特徴情報を、画像照合依頼とともに、取得した提供者IDを持つ提供者端末2Aに送信し、その提供者端末2Aからの応答を待つ。
【0162】
ステップS264において、画像照合部132Aは、提供者端末2Aから画像照合結果を受信したら(ステップS264のYES)、ステップS265へ進み、画像照合結果を受信しない場合は(ステップS264のNo)、ステップS267へ進む。
【0163】
ステップS265において、画像照合部132Aは、ステップS264で受信した画像照合結果や付随する提供者画像情報のデータを含めて必要に応じて暗号化し、暗号化データを生成する。
ステップS266において、画像照合部132Aは、ステップS265で生成した暗号化データを、処理結果データ記憶部1302Aに格納する。
【0164】
ステップS267において、画像照合部132Aは、ステップS262で抽出した捜索範囲に設置されているカメラ20のうち、処理結果データを作成していない未処理のカメラ20がある場合(ステップS267のYES)、ステップS263へ戻り、未処理のカメラ20に対し処理結果データを作成する。
未処理のカメラ20がない場合(ステップS267のNO)、ステップS268へ進む。
【0165】
ステップS268において、画像照合部132Aは、ステップ262からステップ267のフローで作成した処理結果データもしくは処理結果データの暗号化データを通信部123Aから依頼者端末3Aへ送信する。
以上の手順により、映像情報共有サーバ1Aは、受信した捜索範囲に基づき、画像照合をさせる提供者端末2Aを1以上選択し、選択した提供者端末2Aから画像照合結果データを受信し、依頼者端末3Aへ処理結果データとして出力することができる。
【0166】
図17は、第2の実施形態に係る映像情報共有システムにおける提供者端末の処理を示すフローチャートである。
【0167】
ステップS281において、提供者端末2Aは、映像情報共有サーバ1Aから画像照合依頼を受信する(ステップS281でYes)と、ステップS282へ進む。
ステップS282において、提供者端末2Aは、映像情報共有サーバ1Aから受信した調査日時(捜索日時)に合致する提供者画像データを自身の映像データ記憶部1101Aから検索する。ここで、合致する提供者画像データが見つかった場合(ステップS282のYES)は、合致する提供者画像データを映像データ記憶部1101Aから取得し、ステップS283へ進む。
【0168】
ステップS283において、検出した提供者画像データと、映像情報共有サーバ1Aから受信した捜索対象の特徴量とを比較する。ステップS283における処理は、
図6のステップS164と同様である。
【0169】
ステップS284において、捜索対象の特徴量が含まれる提供者画像データが見つかった場合(ステップS284のYES)、その提供者画像データに基づいて処理結果データを生成し、ステップS285に進む。
ステップS285において、ステップS284で生成した処理結果データ及び付随する画像情報などを含めて、必要に応じて暗号化などし、ステップS286へ進む。
【0170】
ステップS286において、ステップS284で生成した暗号化データを処理結果データ記憶部1302Aに格納する。
ステップS287において、ステップS284で生成した暗号化データを映像情報共有サーバ1Aへ送信する。
【0171】
以上の手順により、提供者端末2Aは、受信した捜索対象の特徴情報と調査日時の条件とに基づいて、自身の持つ提供者画像データから、捜索対象が写っていると推定される画像を特定し、特定した画像の画像情報を画像照合結果として映像情報共有サーバ1Aへ出力することができる。
【0172】
本実施形態のような分散型の映像情報共有システムでは、映像データを映像情報共有サーバ1Aに送信する必要がなくなるため、データ通信量および映像情報共有サーバ1A側のデータ保管量を削減できるとともに、映像データの個人情報保護の観点においてメリットがある。また、映像提供者や捜索依頼者の数が増大しても映像情報共有サーバ1A側の拡張は最小限ですむため、システムの拡張性に優れている。
【0173】
なお、上記第2の実施形態の分散型の映像情報共有システムにおいて、提供者端末2Aの画像照合部1321Aを、映像情報共有サーバ1Aに移動してもよい。この場合、提供者端末2Aは、自身が持つ提供者画像データの特徴量(提供者特徴量データ)を機械学習などの処理により抽出し、抽出した特徴量を映像情報共有サーバ1Aに送信する。
【0174】
映像情報共有サーバ1Aの画像照合部1321Aは、依頼者端末3Aから受信した捜索対象の特徴量データと提供者特徴量データとに基づいて、画像照合処理(
図6のステップS164に相当)を実施し、照合結果データなど処理結果データを依頼者端末3Aに送信する。第1の実施形態において映像情報共有サーバ1は、提供者からの提供者画像データを蓄積したが、映像情報共有サーバ1Aは、提供者からの提供者特徴量データを蓄積することになり、送信データ並びに蓄積データのデータ容量低減が可能である。
【0175】
(第3の実施形態)
次に、第3の実施形態について、説明する。第3の実施形態は、分散型システムにおいて、提供者装置、及び依頼者装置の構成を、端末とサーバの2構成とした実施形態である。
なお、第3の実施形態についても、第1の実施の形態と同様に報酬システム4を備えない場合の実施形態と、第1の実施形態の変形例と同様に報酬システム4を備えた場合の実施形態が考えられる。しかしながら、説明の重複を避けるため、第3の実施形態の説明は、報酬システム4を有する場合の実施形態を例として説明するが、報酬システム4を備えていない実施形態も、本実施形態の範囲に含まれるものとする。
【0176】
図18は、第3の実施形態に係る映像情報共有システムの機能ブロック図である。
図16は、分散型システムの構成ブロック図であり、
図12と比較して、提供者装置である提供者端末2Aを提供者端末2B、提供者サーバ200Bの2構成とし、依頼者装置である依頼者端末3Aを依頼者端末3B、依頼者サーバ300Bの2構成としている。
図18は、提供者が提供者端末2B、提供者サーバ200Bを所有する例であり、提供者端末2Bと提供者サーバ200Bとの間は、個人情報の漏洩を気にせずにデータのやり取りをすることができるため、提供者が撮影した動画像データ(生データ)を提供者端末2Bから提供者サーバ200Bへ送信する。
【0177】
一方、捜索依頼者は、依頼者端末3B、依頼者サーバ300Bを所有する例であり、依頼者端末3Bと依頼者サーバ300Bとの間は、個人情報の漏洩を気にせずにデータのやり取りをすることができるため、提供者が撮影した動画像データ(生データ)を依頼者端末3Bから依頼者サーバ300Bへ送信する。依頼者サーバ300Bにて、機械学習などの処理により捜索対象の特徴量データを抽出し、抽出し捜索者の特徴量データを映像情報共有サーバ1Bへ出力する。
第3の実施形態では、第2の実施形態の場合に比べて、依頼者端末3Bの処理量を減らすことができる。
【0178】
以上の実施形態、変形例においては、不特定多数の捜索依頼者が、対象者の見守りや捜索システムを集中型、分散型の映像情報共有システムを適用する例について示した。しかしながら、本映像情報共有システムは、例えば、気象情報提供サービスや社会インフラ施設の異常検知サービスなど、映像から得られる情報を用いたサービスなどへの適用も可能である。
また、本映像情報共有システムにおいては、すでに設置されたビデオカメラなどの映像を活用することで、新たにビデオカメラを設置する必要がないだけでなく、広範囲のエリアをカバーした映像が得られるというメリットがある。
【0179】
以上に述べた実施形態、変形例によれば、様々な用途に用いられるカメラで撮影された画像から目的の対象物を特定する映像情報共有システム、映像情報共有サーバ及び映像情報共有方法を提供することができる。
【0180】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。また上記実施形態に示したフローチャート、シーケンスチャートなどに示す処理ステップは、本発明の要旨を逸脱しない範囲で、ステップ順番の入れ替え、ステップの削除、付加などをした場合についても本発明の範囲である。
【0181】
フローチャート、シーケンスチャートなどに示す処理は、CPU、ICチップ、デジタル信号処理プロセッサ(Digital Signal ProcessorまたはDSP)などのハードウェアもしくはマイクロコンピュータを含めたコンピュータなどで動作させるソフトウェア(プログラムなど)またはハードウェアとソフトウェアの組み合わせによって実現してもよい。
【0182】
また請求項を制御ロジックとして表現した場合、コンピュータを実行させるインストラクションを含むプログラムとして表現した場合、及び前記インストラクションを記載したコンピュータ読み取り可能な記録媒体として表現した場合でも本発明の装置を適用したものである。また、使用している名称や用語についても限定されるものではなく、他の表現であっても実質的に同一内容、同趣旨であれば、本発明に含まれるものである。
【符号の説明】
【0183】
1…映像情報共有サーバ、2…提供者端末、3…依頼者端末、11…提供者ポータル処理部、12…依頼者ポータル処理部、13…映像情報共有処理部、20…カメラ、21…I/F部、22…映像取得部、23…表示部、24…カメラ情報入力部、25…送受信部、26…制御部、31…I/F部、32…送受信部、33…表示部、34…ユーザ情報入力部、35…評価データ入力部、36…制御部、111…送受信部、112…提供者ポータル通信部、113…カメラ情報取得部、114…映像取得部、115…前処理部、116…提供者ポータル制御部、117…表示制御部、121…依頼者ポータル通信部、122…ユーザ情報取得部、123…画像学習部、124…依頼者ポータル制御部、125…送受信部、126…表示制御部、127…提供データ作成部、128…メール送信部、129…評価データ取得部、131…通信部、132…画像照合部、133…後処理部、134…制御部、135…報酬決定処理部、1101…映像データ記憶部、1102…報酬データ記憶部、1201…ユーザデータ記憶部、1202…処理結果データ記憶部、1203…評価データ記憶部、1301…カメラ情報記憶部。