(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-04-10
(45)【発行日】2023-04-18
(54)【発明の名称】配信サーバ、方法およびプログラム
(51)【国際特許分類】
H04N 7/18 20060101AFI20230411BHJP
H04N 5/765 20060101ALI20230411BHJP
G06T 1/20 20060101ALI20230411BHJP
【FI】
H04N7/18 K
H04N7/18 D
H04N5/765
G06T1/20 A
(21)【出願番号】P 2019231475
(22)【出願日】2019-12-23
【審査請求日】2021-06-10
(73)【特許権者】
【識別番号】000006507
【氏名又は名称】横河電機株式会社
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人RYUKA国際特許事務所
(72)【発明者】
【氏名】小嶋 修
(72)【発明者】
【氏名】和田 篤士
【審査官】佐野 潤一
(56)【参考文献】
【文献】特開2012-151547(JP,A)
【文献】国際公開第2018/101247(WO,A1)
【文献】特開2018-041209(JP,A)
【文献】特開2016-110578(JP,A)
【文献】特開2008-225813(JP,A)
【文献】特開2015-095071(JP,A)
【文献】特開2016-082280(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
H04N 5/76
G06T 1/00
G06T 7/00
G08B 13/00-31/00
(57)【特許請求の範囲】
【請求項1】
監視カメラにより取得された画像データに対し画像解析エンジンによって画像解析を行う装置に接続される配信サーバであって、
画像解析に適した前記画像データの撮影条件、および、前記画像データに含まれ得る被写体のうち検出するべき対象被写体の少なくとも一方が異なる複数の画像解析エンジンを記憶する解析エンジン記憶部と、
前記複数の画像解析エンジンのうち、前記装置が取得する前記画像データの撮影条件、および、前記装置に設定された前記対象被写体の少なくとも一方に応じた画像解析エンジンを前記装置に供給
して当該装置内に追加する供給部と、
前記装置内の
複数の画像解析エンジンのうち、当該装置により画像解析に使用される画像解析エンジンの動作タイミングを設定する設定部と、
を備える、配信サーバ。
【請求項2】
前記解析エンジン記憶部は、画像解析に適した前記画像データの撮影タイミングまたは撮影時間帯が異なる複数の画像解析エンジンを記憶し、
前記供給部は、前記複数の画像解析エンジンのうち、前記装置が取得する前記画像データの撮影タイミングまたは撮影時間帯に応じた画像解析エンジンを前記装置に供給する、請求項1に記載の配信サーバ。
【請求項3】
複数の前記装置に接続されており、
前記複数の装置のそれぞれについて、当該装置に設定された前記対象被写体を記憶する検出対象記憶部をさらに備え、
前記供給部は、前記複数の装置のうち、前記対象被写体が等しい2以上の装置それぞれに、同じ画像解析エンジンを供給する、請求項1または2に記載の配信サーバ。
【請求項4】
監視カメラにより取得された画像データに対し画像解析エンジンによって画像解析を行う装置に接続される配信サーバであって、
画像解析に適した前記画像データの撮影タイミングまたは撮影時間帯が異なる複数の画像解析エンジンを記憶する解析エンジン記憶部と、
前記複数の画像解析エンジンのうち、前記装置が取得する前記画像データの撮影タイミングまたは撮影時間帯に応じた画像解析エンジンを前記装置に供給
して前記装置内に追加する供給部と、
前記装置内の複数の画像解析エンジンのうち、当該装置により画像解析に使用される画像解析エンジンの動作条件を設定する設定部と、
を備える記載の配信サーバ。
【請求項5】
複数の前記装置に接続されており、
前記複数の装置のそれぞれについて、当該装置が取得する画像データの撮影条件を記憶する撮影条件記憶部をさらに備え、
前記供給部は、前記複数の装置のうち、少なくとも部分的に撮影条件が等しい画像データを取得する2以上の装置それぞれに、同じ画像解析エンジンを供給する、請求項1から4のいずれか一項に記載の配信サーバ。
【請求項6】
画像解析に適した画像データの撮影条件、および、前記画像データに含まれ得る被写体のうち検出するべき対象被写体の少なくとも一方が異なる複数の画像解析エンジンを記憶する解析エンジン記憶段階と、
監視カメラにより取得された画像データに対し画像解析エンジンによって画像解析を行う装置に対し、前記複数の画像解析エンジンのうち、前記装置が取得する前記画像データの撮影条件、および、前記装置に設定された前記対象被写体の少なくとも一方に応じた画像解析エンジンを供給
して当該装置内に追加する供給段階と、
前記装置内の
複数の画像解析エンジンのうち、当該装置により画像解析に使用される画像解析エンジンの動作タイミングを設定する設定段階と、
を備える方法。
【請求項7】
画像解析に適した画像データの撮影タイミングまたは撮影時間帯が異なる複数の画像解析エンジンを記憶する解析エンジン記憶段階と、
監視カメラにより取得された画像データに対し画像解析エンジンによって画像解析を行う装置に対し、前記複数の画像解析エンジンのうち、前記装置が取得する前記画像データの撮影タイミングまたは撮影時間帯に応じた画像解析エンジンを供給
して前記装置内に追加する供給段階と、
前記装置内の複数の画像解析エンジンのうち、当該装置により画像解析に使用される画像解析エンジンの動作条件を設定する設定段階と、
を備える方法。
【請求項8】
監視カメラにより取得された画像データに対し画像解析エンジンによって画像解析を行う装置に接続される配信サーバのコンピュータを、
画像解析に適した前記画像データの撮影条件、および、前記画像データに含まれ得る被写体のうち検出するべき対象被写体の少なくとも一方が異なる複数の画像解析エンジンを記憶する解析エンジン記憶部と、
前記複数の画像解析エンジンのうち、前記装置が取得する前記画像データの撮影条件、および、前記装置に設定された前記対象被写体の少なくとも一方に応じた画像解析エンジンを前記装置に供給
して当該装置内に追加する供給部と、
前記装置内の
複数の画像解析エンジンのうち、当該装置により画像解析に使用される画像解析エンジンの動作タイミングを設定する設定部
として機能させるプログラム。
【請求項9】
監視カメラにより取得された画像データに対し画像解析エンジンによって画像解析を行う装置に接続される配信サーバのコンピュータを、
画像解析に適した前記画像データの撮影タイミングまたは撮影時間帯が異なる複数の画像解析エンジンを記憶する解析エンジン記憶部と、
前記複数の画像解析エンジンのうち、前記装置が取得する前記画像データの撮影タイミングまたは撮影時間帯に応じた画像解析エンジンを前記装置に供給
して前記装置内に追加する供給部と、
前記装置内の複数の画像解析エンジンのうち、当該装置により画像解析に使用される画像解析エンジンの動作条件を設定する設定部
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、配信サーバ、方法およびプログラムに関する。
【背景技術】
【0002】
従来、監視カメラを用いて監視を行うシステムにおいては、監視カメラから画像データを取得する装置に画像解析部が設けられている(例えば、特許文献1参照)。
特許文献1 特開2015-162232号公報
【発明の概要】
【発明が解決しようとする課題】
【0003】
しかしながら、従来のシステムでは各装置の撮影条件や対象被写体に応じて使用する画像解析エンジンを変更する仕組みがないため、装置によっては適切な画像解析エンジンによって画像解析を行うことができない。
【課題を解決するための手段】
【0004】
上記課題を解決するために、本発明の第1の態様においては、監視カメラにより取得された画像データに対し画像解析エンジンによって画像解析を行う装置に接続される配信サーバが提供される。配信サーバは、画像解析に適した画像データの撮影条件、および、画像データに含まれ得る被写体のうち検出するべき対象被写体の少なくとも一方が異なる複数の画像解析エンジンを記憶する解析エンジン記憶部を備えてよい。配信サーバは、複数の画像解析エンジンのうち、装置が取得する画像データの撮影条件、および、装置に設定された対象被写体の少なくとも一方に応じた画像解析エンジンを装置に供給する供給部を備えてよい。
【0005】
供給部は、供給する画像解析エンジンで装置内の画像解析エンジンを更新してよい。
【0006】
供給部は、供給する画像解析エンジンを装置内に追加してよい。
【0007】
配信サーバは、装置内の各画像解析エンジンの動作条件を設定する設定部をさらに備えてよい。
【0008】
配信サーバは、装置内の各画像解析エンジンに対し画像解析の実行を指示する指示部をさらに備えてよい。
【0009】
配信サーバは、複数の装置に接続されてよい。配信サーバは、複数の装置のそれぞれについて、当該装置が取得する画像データの撮影条件を記憶する撮影条件記憶部をさらに備えてよい。供給部は、複数の装置のうち、少なくとも部分的に撮影条件が等しい画像データを取得する2以上の装置それぞれに、同じ画像解析エンジンを供給してよい。
【0010】
配信サーバは、複数の装置に接続されてよい。配信サーバは、複数の装置のそれぞれについて、当該装置に設定された対象被写体を記憶する検出対象記憶部をさらに備えてよい。供給部は、複数の装置のうち、対象被写体が等しい2以上の装置それぞれに、同じ画像解析エンジンを供給してよい。
【0011】
本発明の第2の態様においては、方法が提供される。方法は、画像解析に適した画像データの撮影条件、および、画像データに含まれ得る被写体のうち検出するべき対象被写体の少なくとも一方が異なる複数の画像解析エンジンを記憶する解析エンジン記憶段階を備えてよい。方法は、監視カメラにより取得された画像データに対し画像解析エンジンによって画像解析を行う装置に対し、複数の画像解析エンジンのうち、装置が取得する画像データの撮影条件、および、装置に設定された対象被写体の少なくとも一方に応じた画像解析エンジンを供給する供給段階を備えてよい。
【0012】
本発明の第3の態様においては、プログラムが提供される。プログラムは、監視カメラにより取得された画像データに対し画像解析エンジンによって画像解析を行う装置に接続される配信サーバのコンピュータを、画像解析に適した画像データの撮影条件、および、画像データに含まれ得る対象被写体のうち検出するべき被写体の少なくとも一方が異なる複数の画像解析エンジンを記憶する解析エンジン記憶部として機能させてよい。プログラムは、コンピュータを、複数の画像解析エンジンのうち、装置が取得する画像データの撮影条件、および、装置に設定された対象被写体の少なくとも一方に応じた画像解析エンジンを装置に供給する供給部として機能させてよい。
【0013】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【0014】
【
図5】画像解析エンジンの配信に関する動作を示す。
【
図9】本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ2200の例を示す。
【発明を実施するための形態】
【0015】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0016】
[1.第1の実施形態]
[1-1.システム1]
図1は、第1の実施形態に係るシステム1を示す。
【0017】
システム1は、1または複数の警備用センサ2と、1または複数の監視カメラ3と、1または複数の装置4と、ファイルサーバ5と、配信サーバ6と、監視端末7と、1または複数のモバイル端末8とを備え、監視領域の遠隔監視を行う。
【0018】
監視領域は、監視端末7によって監視される領域であってよく、警備用センサ2によって異変が検出される領域(警備領域とも称する)や、監視カメラ3によって撮影される領域(撮影領域とも称する)を含んでよい。本実施形態では一例として、監視領域は、設備の敷地であるが、車道や歩道などであってもよい。設備は、プラントでもよいし、学校や住宅、駅、博物館などであってもよい。プラントとしては、化学やバイオ等の工業プラントの他、ガス田や油田等の井戸元やその周辺を管理制御するプラント、水力・火力・原子力等の発電を管理制御するプラント、太陽光や風力等の環境発電を管理制御するプラント、上下水やダム等を管理制御するプラント等が挙げられる。
【0019】
ここで、システム1の各構成のうち、装置4と、ファイルサーバ5と、配信サーバ6と、監視端末7と、モバイル端末8とは、通信ネットワーク10を介して互いに接続されてよい。図中では、単一の通信ネットワーク10を介して装置4と、ファイルサーバ5と、配信サーバ6と、監視端末7と、モバイル端末8とが接続されているが、別々の通信ネットワークを介して接続されてもよい。また、各警備用センサ2と、監視端末7とは、図示しない中継装置や通信ネットワークを介してさらに接続されてもよい。
【0020】
通信ネットワーク10は、インターネット、広域ネットワーク(WAN)、ローカルエリアネットワーク等の各種ネットワークまたはその組み合わせを含んで構成されてよい。通信ネットワーク10は、有線および無線の少なくとも一方による接続ポイントを含んでよい。通信ネットワーク10は、インターネットなどの公衆回線から分離された専用回線により実現されてもよい。
【0021】
[1-1.1.警備用センサ2]
各警備用センサ2は、警備領域の異変を検出し、これにより監視領域の異変を検出する。各警備用センサ2は、監視領域への侵入を検知する侵入検知センサ、監視領域内の人体を検知する人感センサ、監視領域内のドアおよび窓の少なくとも一方の開閉を検知する開閉センサの何れかであってよい。各センサは超音波センサや、マイクロ波センサ、赤外線センサ、ワイヤセンサ、トラップセンサ、電界式センサ、マグネットセンサなどであってよい。
【0022】
各警備用センサ2は、異変を検出したことに応じてアラート信号を出力してよい。アラート信号は、当該アラート信号の発生時刻と、当該アラート信号の発生源である警備用センサ2の識別情報(センサIDとも称する)とを含んでよい。アラート信号の発生時刻は、警備用センサ2による異変の検出時刻であってもよい。
【0023】
各警備用センサ2は、アラート信号を装置4に供給してよい。各警備用センサ2は、他の装置(一例として監視端末7)にもアラート信号を供給してよい。
【0024】
[1-1.2.監視カメラ3]
各監視カメラ3は、撮影領域の撮影を行う。各監視カメラ3は、撮影により取得した画像データを装置4に供給してよい。監視カメラ3は可視光のカメラであってもよいし、赤外線や紫外線(一例としてX線)のカメラであってもよい。
【0025】
なお、システム1に具備される監視カメラ3の個数と、警備用センサ2の個数とは、等しくてもよいし、異なってもよい。例えば、システム1には、警備用センサ2と同数の監視カメラ3が具備されて、警備用センサ2ごとに監視カメラ3が設置されてよい。また、システム1には、警備用センサ2よりも少数の監視カメラ3が具備されて、複数の警備用センサ2のグループごとに監視カメラ3が設置されてもよい。監視カメラ3による撮影領域と、警備用センサ2による警備領域とは、一致していてもよいし、少なくとも一部で異なっていてもよい。
【0026】
[1-1.3.装置4]
各装置4は、少なくとも1つの警備用センサ2と、少なくとも1つの監視カメラ3とに接続される。各装置4は、画像記憶部40と、解析部41と、取得部42と、位置記憶部43と、特定部44と、通信部45とを有する。
【0027】
[1-1.3.1.画像記憶部40]
画像記憶部40は、監視カメラ3により取得された画像データを記憶する。画像記憶部40は、複数の監視カメラ3により取得された各画像データを記憶してよい。
【0028】
画像記憶部40は、撮影日時と、各監視カメラ3の識別情報(カメラIDとも称する)とに対応付けて、当該監視カメラ3で撮影された画像データを記憶してよい。画像記憶部40は、少なくとも基準期間(一例として5日)の間に画像データを保存してよく、新たな画像データを逐次、上書き保存してよい。画像記憶部40の容量は、一例として1TBであってよい。
【0029】
[1-1.3.2.解析部41]
解析部41は、画像データに対して画像解析を行い、画像データに含まれ得る被写体のうち検出するべき対象被写体を検出したことに応じてアラート信号を出力する。対象被写体はオペレータによって予め装置4に設定されてよく、任意に変更されてもよい。解析部41は、画像記憶部40に記憶された画像データに対して画像解析を行ってよく、アラート信号を取得部42に供給してよい。
【0030】
解析部41から出力されるアラート信号は、当該アラート信号の発生時刻と、当該画像データを撮影した監視カメラ3のカメラIDとを少なくとも含む。アラート信号は、対象被写体の情報(一例として対象被写体の種類、特徴、画像データ内の位置など)や、当該アラート信号の発生源が解析部41である旨をさらに含んでもよい。アラート信号の発生時刻は、対象被写体が検出された画像データの撮影時刻であってもよい。
【0031】
なお、対象被写体は、画像解析によって検出可能な被写体のうち、警備上、着目すべき被写体であってよい。例えば、対象被写体は、人の顔、人(一例として大人、子供)の全身、服装、車両(走行中の車両、停車中の車両)、車種、車の色、ナンバープレート、および、特定の物体(カバン、凶器)などの少なくとも1つであってよい。また、対象被写体は、特定の人物の顔や、特定の車両であってもよい。対象被写体は、画像間(フレーム間)で移動する人や車両でもよいし、複数の画像に亘って行われる動作であってもよい。
【0032】
解析部41は、第1解析部の一例であり、1または複数の画像解析エンジン(図示せず)によって画像データに画像解析を行ってよい。本実施形態では一例として、解析部41は、複数の画像解析エンジンを並列に、または、タイミングをずらして動作させて画像解析を行ってよい。
【0033】
タイミングをずらして複数の画像解析エンジンを動作させるとは、例えば日中に撮影される画像データに画像解析を行う期間では一の画像解析エンジンを動作させ、夜間に撮影される画像データに画像解析を行う期間では他の画像解析エンジンを動作させることであってよい。また、タイミングをずらして複数の画像解析エンジンを動作させるとは、順光で撮影される画像データに画像解析を行う期間では一の画像解析エンジンを動作させ、逆光で撮影される画像データに画像解析を行う期間では他の画像解析エンジンを動作させることであってもよい。また、タイミングをずらして複数の画像解析エンジンを動作させるとは、晴天の環境で撮影される画像データに画像解析を行う期間では一の画像解析エンジンを動作させ、曇天や雨天の環境で撮影される画像データに画像解析を行う期間では他の画像解析エンジンを動作させることであってもよい。また、タイミングをずらして複数の画像解析エンジンを動作させるとは、基準インターバル(一例として1分)ごとに別々の画像解析エンジンを動作させることであってもよい。また、タイミングをずらして複数の画像解析エンジンを動作させるとは、画像データに同じ(または類似の)被写体が含まれる期間内に対象被写体が切り替わるように別々の画像解析エンジンを動作させることであってもよい。画像データに同じ(または類似の)被写体が含まれる期間内に対象被写体が切り替わるとは、一例として、人が被写体として画像データに含まれる期間内に対象被写体が顔と動作との間で切り替わることであってもよいし、車が被写体として画像データに含まれる期間内に対象被写体が車種とナンバープレートとの間で切り替わることであってもよい。
【0034】
複数の画像解析エンジンの間では、対象被写体、および、画像解析に適した画像データの撮影条件の少なくとも一方が異なってよい。画像データの撮影条件は、撮影する監視カメラ3によって決定される条件であってもよいし、監視カメラ3の設置状況や撮影タイミングによって決定される条件であってもよい。例えば、画像データの撮影条件は、撮影を行う監視カメラ3の性能(画素数、フレームレートなど)、用途(屋内用、屋外用など)、撮影方向(方角や、光源に対する向き、画像データに含まれ得る対象被写体に対する向きなど)、設置位置(住所やGPSデータ、画像データに含まれ得る対象被写体に対する相対位置、屋内か屋外かなど)、画像データに含まれ得る対象被写体の数(単数か複数かなど)、画像データに含まれ得る対象被写体の状況(移動しているか、止まっているかなど)、撮影する時間帯、および、撮影時の撮影領域の状況(照明の色や、明るさ、天候)などの少なくとも1つであってよい。
【0035】
なお、画像解析エンジンは、一例としてディープラーニングなどの機械学習により得られるモデルであってよいが、これに限定されるものではない。
【0036】
[1-1.3.3.取得部42]
取得部42は、監視領域内の状況に応じて発生するアラート信号を取得する。取得部42は、少なくとも1つの警備用センサ2からアラート信号を取得してもよいし、解析部41からアラート信号を取得してもよい。取得部42は、取得したアラート信号を特定部44に供給してよい。
【0037】
[1-1.3.4.位置記憶部43]
位置記憶部43は、複数の監視カメラ3のそれぞれの撮影領域の位置を記憶する。位置記憶部43は、複数の警備用センサ2のそれぞれの警備領域の位置をさらに記憶してよい。
【0038】
[1-1.3.5.特定部44]
特定部44は、複数の監視カメラ3のうち、アラート信号の原因の発生位置に対応する撮影領域を有する各監視カメラ3を特定する。特定部44は、位置記憶部43を参照して監視カメラ3を特定してよい。特定部44は、特定した監視カメラ3のカメラIDと、アラート信号とを通信部45に供給してよい。
【0039】
ここで、アラート信号が警備用センサ2から出力されている場合には、アラート信号の原因は当該警備用センサ2による検出対象の異変であってよく、アラート信号の原因の発生位置は、アラート信号を出力した警備用センサ2の警備領域であってよい。この場合には、特定部44は、位置記憶部43を参照して、アラート信号を出力した警備用センサ2の警備領域に対応する撮影領域を有する各監視カメラ3を特定してよい。警備用センサ2の警備領域の位置に対応する撮影領域とは、警備領域から基準距離内の撮影領域であってもよいし、警備領域と同じフロア(階数)や建物の撮影領域であってもよいし、警備領域を含む経路上の撮影領域であってもよい。
【0040】
アラート信号が解析部41から出力されている場合には、アラート信号の原因は、対象被写体であってよく、アラート信号の原因の発生位置は対象被写体が検出された画像データを撮影した監視カメラ3の撮影領域であってよい。この場合には、特定部44は、アラート信号に含まれるカメラIDに対応する監視カメラ3を特定してよい。
【0041】
[1-1.3.6.通信部45]
通信部45は、通信ネットワーク10を介してファイルサーバ5等と通信する。
【0042】
通信部45は、送信部の一例であり、画像記憶部40に記憶された画像データのうち、アラート信号の発生時刻を含む基準時間幅内の期間内画像データと、アラート信号の内容とを含むアラート対応情報をファイルサーバ5に送信する。通信部45は、取得部42により一のアラート信号が取得されたことに応じて、当該一のアラート信号の発生時刻を含む基準時間幅内に複数の監視カメラ3のうち、特定部44により特定された各監視カメラ3により取得された期間内画像データと、当該一のアラート信号の内容とを含むアラート対応情報を送信してよい。基準時間幅は、本実施形態では一例として2分であるが、10分や1日など、他の時間幅であってもよい。期間内画像データを送信するとは、当該期間内画像データのコピーを送信することであってよい。
【0043】
なお、通信部45は、装置4の識別情報(装置IDとも称する)や、特定部44により特定された監視カメラ3、つまり期間内画像データを撮影した監視カメラ3のカメラIDをアラート対応情報にさらに含めて送信してよい。
【0044】
また、通信部45は、特定部44からアラート信号が供給されない場合に、各監視カメラ3により取得される画像データのサムネイル画像を定期的なタイミングでファイルサーバ5や監視端末7に送信してよい。また、通信部45は、画像記憶部40に記憶されている画像データを、上書きされる前にファイルサーバ5に送信してもよい。この場合に通信部45は、画像データを圧縮して送信してよい。但し、上書き前に送信される画像データに、期間内画像データとして既に送信された画像データが含まれる場合には、通信部45は、当該期間内画像データを含む時間幅(一例として30分)内の画像データを圧縮せずに送信してもよい。これにより、期間内画像データに近い時間に撮影された画像データをファイルサーバ5に保存することができる。
【0045】
[1-1.4.ファイルサーバ5]
ファイルサーバ5は、装置4とは異なる他の機器(本実施形態では一例として監視端末7やモバイル端末8)からアクセス可能であり、記憶するファイルを他の機器と共有する。ファイルサーバ5は、通信コストを増加させることなく複数の機器から同時アクセス可能であってよい。ファイルサーバ5は、解析部51と、記憶部52とを有する。
【0046】
[1-1.4.1.解析部51]
解析部51は、第2解析部の一例であり、アラート対応情報に対応する期間内画像データ(本実施形態ではアラート対応情報に含まれる期間内画像データ)に対し画像解析エンジンによって画像解析を行う。解析部51は、装置4の解析部41からのアラート信号を含むアラート対応情報がファイルサーバ5で受信された場合に、画像解析を行ってよい。解析部51は、画像解析を行うことによって、アラート対応情報の送信元の装置4の解析部41と同じ対象被写体の検出を試みてよい。例えば、解析部51は、アラート信号に含まれる対象被写体の種類に基づいて、同じ種類の対象被写体の検出を試みてよい。
【0047】
解析部51の画像エンジンは、解析部41の画像解析エンジンよりも画像解析に必要とする処理能力が大きくてよく、画像解析の精度が高くてよい。一例として、解析部41および解析部51の画像解析エンジンがそれぞれニューラルネットワークである場合に、解析部51の画像解析エンジンは解析部41の画像解析エンジンよりも階層数の多いニューラルネットであってよい。解析部51は、解析結果を記憶部52に供給してよい。
【0048】
[1-1.4.2.記憶部52]
記憶部52は、装置4から送信されるアラート対応情報を記憶する。記憶部52は、装置4から送信されるアラート対応情報のうち、解析部51により対象被写体が検出された期間内画像データに対応するアラート対応情報のみを記憶してよい。記憶部52は、警備用センサ2からのアラート信号を含むアラート対応情報については、解析部51による解析結果に関わらず各アラート対応情報を記憶してよい。
【0049】
記憶部52は、アラート信号が発生していない場合に装置4から送信されるサムネイル画像の画像データや、上書きによって消去される前に装置4から送信される画像データを、送信元の装置IDと対応付けてさらに記憶してもよい。記憶部52は、画像記憶部40よりも大きい容量を有してよい。
【0050】
[1-1.5.配信サーバ6]
配信サーバ6は、各装置4に画像解析エンジンを配信する。配信サーバ6は、解析エンジン記憶部61と、撮影条件記憶部62と、検出対象記憶部63と、設定部64と、供給部65とを有する。
【0051】
[1-1.5.1.解析エンジン記憶部61]
解析エンジン記憶部61は、複数の画像解析エンジンを記憶する。複数の画像解析エンジンの間では、対象被写体と、画像解析に適した画像データの撮影条件との少なくとも一方が異なってよい。画像解析エンジンが機械学習によって生成されている場合には、解析エンジン記憶部61に記憶される各画像解析エンジンは、解析結果の正誤を用いた学習によって更新されてよい。
【0052】
[1-1.5.2.撮影条件記憶部62]
撮影条件記憶部62は、複数の装置4のそれぞれについて、当該装置4が取得する画像データの撮影条件を記憶する。撮影条件が変化する場合には、撮影条件記憶部62は複数の撮影条件を記憶してよい。記憶される撮影条件は、オペレータによって設定されてよい。
【0053】
これに代えて、記憶される撮影条件は、装置4から出力される画像データに対し、解析エンジン記憶部61内の各画像解析エンジンで画像解析を行った結果に基づいて設定されてもよい。例えば、解析エンジン記憶部61内の複数の画像解析エンジンのうち、対象被写体が等しく、画像解析に適した画像データの撮影条件が異なる2以上の画像解析エンジンを用いて一の装置4からの画像データに画像解析が行われてよい。そして、画像解析の結果、対象被写体を最も多く検出した画像解析エンジンに対応する撮影条件が、当該一の装置4が取得する画像データの撮影条件として設定されてよい。画像解析の対象とされる画像データは、例えばファイルサーバ5に記憶されるサムネイル画像などの画像データであってよい。
【0054】
[1-1.5.3.検出対象記憶部63]
検出対象記憶部63は、複数の装置4のそれぞれについて、当該装置4に設定された対象被写体を記憶する。検出対象記憶部63は、一の装置4について、2以上の対象被写体を記憶してもよい。記憶される対象被写体は、オペレータによって設定されてよく、任意に変更されてもよい。
【0055】
[1-1.5.4.設定部64]
設定部64は、各装置4における各画像解析エンジンの動作条件を設定する。画像解析エンジンの動作条件とは、画像解析エンジンが画像解析を行うタイミングを決定する条件であってよく、画像解析の対象とする画像データの撮影条件であってもよい。一例として、動作条件は、画像データが日中または夜間に撮影されていることであってよい。この場合には、画像解析エンジンは日中または夜間に撮影された画像データに対して画像解析を行う。
【0056】
設定部64は、供給部65を介して各装置4の解析部41に対し、当該解析部41が使用する画像解析エンジンの動作条件を設定してよい。これにより、各装置4の解析部41は、設定された動作条件で各画像解析エンジンを動作させる。
【0057】
[1-1.5.5.供給部65]
供給部65は、解析エンジン記憶部61に記憶された複数の画像解析エンジンの何れかを該当の少なくとも1つの装置4に供給する。供給部65は、装置4が取得する画像データの撮影条件、および、装置4に設定された対象被写体の少なくとも一方に応じた画像解析エンジンを、当該装置4に供給してよい。
【0058】
供給部65は、撮影条件記憶部62を参照し、装置4が取得する画像データの撮影条件を検知してよい。供給部65は、検出対象記憶部63を参照し、装置4に設定された対象被写体を検知してよい。
【0059】
供給部65は、システム1に具備される複数の装置4のうち、少なくとも部分的に撮影条件が等しい画像データを取得する2以上の装置4それぞれに、同じ画像解析エンジンを供給してよい。これにより、例えば2以上の装置4がそれぞれ同じ時間帯に撮影された画像データを取得する場合には、当該時間帯で撮影される画像データに適した画像解析エンジンが当該2以上の装置4のそれぞれに供給される。
【0060】
供給部65は、システム1に具備される複数の装置4のうち、対象被写体が等しい2以上の装置4それぞれに、同じ画像解析エンジンを供給してよい。供給される画像解析エンジンは装置4の通信部45で受信されて解析部41により使用されてよい。
【0061】
[1-1.6.監視端末7]
監視端末7は、監視領域の監視を行う。監視端末7は、表示制御部71と、通報部72とを有する。
【0062】
[1-1.6.1.表示制御部71]
表示制御部71は、装置4からアラート対応情報が出力された場合に、当該アラート対応情報に含まれる期間内画像データと、アラート信号の内容とを表示する。アラート信号の発生源が警備用センサ2である場合には、アラート信号の内容を表示するとは、アラート信号の発生時刻や、警備用センサ2のセンサID、当該センサIDの警備用センサ2で検出される異変の内容を示すことであってよい。アラート信号の発生源が解析部41である場合には、アラート信号の内容を表示するとは、アラート信号の発生時刻や、対象被写体の情報、監視カメラ3のカメラIDを示すことであってよい。
【0063】
表示制御部71は、装置4からアラート対応情報が出力されない場合には、各装置4を介して各監視カメラ3から取得された画像データのサムネイル画像を一覧表示してよい。このような状態において1または複数のアラート対応情報が出力された場合には、アラート対応情報に含まれる各カメラIDの監視カメラ3で取得された画像データのサムネイル画像を識別表示してよい。そして、表示制御部71は、オペレータから何れかの監視カメラ3のサムネイル画像が選択されることに応じて、当該監視カメラ3から取得された期間内画像データと、当該期間内画像データに対応するアラート信号とを表示してよい。
【0064】
これに代えて、サムネイル画像が一覧表示された状態において1または複数のアラート対応情報が出力された場合には、表示制御部71は、各アラート対応情報に含まれるアラート信号の内容をリスト化して表示し、オペレータから何れかのアラート信号が選択されることに応じて、アラート信号の内容と、当該アラート信号に対応する期間内画像データとを表示してよい。
【0065】
また、表示制御部71は、サムネイル画像が一覧表示された状態で装置4からアラート対応情報が出力されていない場合に、オペレータから何れかの監視カメラ3のサムネイル画像が選択されることに応じて、当該監視カメラ3から取得された画像データを装置4の画像記憶部40から読み出して表示してもよい。
【0066】
[1-1.6.2.通報部72]
通報部72は、複数の装置4のうち一の装置4からアラート対応情報が送信されたことに応じて、当該一の装置4に対応する通報先に通報を行う。通報部72は、装置4ごとに通報先を対応付けたテーブル(図示せず)を有してよく、このテーブルを参照して通報先を決定してよい。通報はデータ通信によって行われてよく、通信されるデータにはアラート対応情報が含まれてよい。
【0067】
通報先は、本実施形態では一例として、装置4の監視領域を含む地域の警備会社であるが、警察や消防署、救急病院であってもよい。
【0068】
[1-1.7.モバイル端末8]
各モバイル端末8は、各地域の警備会社の警備員によって携帯される。モバイル端末8は、ファイルサーバ5にアクセス可能であってよい。
【0069】
[1-2.システム1から得られる効果]
以上のシステム1の配信サーバ6によれば、解析エンジン記憶部61に記憶された複数の画像解析エンジンのうち、装置4が取得する画像データの撮影条件、および、装置4に設定された対象被写体の少なくとも一方に応じた画像解析エンジンが装置4に供給される。これにより、適切な解析エンジンによって装置4に画像解析を行わせることができる。例えば、監視カメラ3によって画像データの撮影条件が異なる場合に、監視カメラ3の撮影条件に応じた画像解析エンジンを用いて装置4に画像解析を行わせることができる。また、対象被写体を変更する場合に、変更後の対象被写体に応じた画像解析エンジンを用いて装置4に画像解析を行わせることができる。
【0070】
また、少なくとも部分的に撮影条件が等しい画像データを取得する2以上の装置4それぞれに同じ画像解析エンジンが供給されるので、各装置4で取得される、少なくとも部分的に撮影条件の等しい画像データに対し、同じ画像解析エンジンを用いて画像解析を行わせることができる。
【0071】
また、対象被写体が等しい2以上の装置4それぞれに同じ画像解析エンジンが供給されるので、同じ対象被写体を検出するべき各装置4で、同じ画像解析エンジンを用いて画像解析を行わせることができる。
【0072】
また、設定部64によって装置4内の各画像解析エンジンの動作条件が設定されるので、予め任意の動作条件を設定することで、任意の動作条件によって装置4に画像解析を行わせることができる。
【0073】
また、以上のシステム1の装置4によれば、画像記憶部40に記憶された画像データのうち、監視領域内の状況に応じて発生するアラート信号の発生時刻を含む基準時間幅内の期間内画像データと、アラート信号の内容とを含むアラート対応情報がファイルサーバ5に送信されるので、撮影された全期間の画像データがファイルサーバ5に送信される場合と比較して通信のコストを低減することができる。また、画像データがファイルサーバ5に送信されずに装置4内の画像記憶部40のみに保存される場合と異なり、画像データへのアクセスに要する時間やコストを低減することができる。
【0074】
また、複数の監視カメラ3により取得された各画像データが装置4の画像記憶部40に記憶されてアラート対応情報がファイルサーバに送信される。従って、各監視カメラ3で撮影された全期間の画像データがファイルサーバ5に送信される場合と比較して通信のコストを大幅に低減することができる。なお、ファイルサーバ5は複数の機器からの同時アクセスに適しており、モバイル端末8との間の通信を除き、通信されるデータ量によらず定額で通信を行うことが可能であるため、繰り返し画像データにアクセスされても通信コストを一定に維持することができる。
【0075】
また、アラート信号が取得されたことに応じて、複数の監視カメラ3のうちアラート信号の原因の発生位置に対応する撮影領域を有する各監視カメラ3が特定され、特定された各監視カメラ3により取得された期間内画像データを含むアラート対応情報が送信されるので、アラートに関連する領域の状況をそれぞれ確認することができる。
【0076】
また、警備用センサ2からのアラート信号が取得部42によって取得されるので、監視領域に危険が迫っていることに応じてアラート信号が取得され、アラート対応情報がファイルサーバ5に送信される。従って、ファイルサーバ5を介して監視を行うことにより、監視領域の危険を回避することができる。
【0077】
また、画像データに対して画像解析を行い、装置4に設定された対象被写体が検出されたことに応じてアラート信号が出力されるので、任意の対象被写体(一例として危険を引き起こす虞がある被写体)を予め設定しておくことにより、当該対象被写体が存在する場合にアラート対応情報がファイルサーバ5に送信される。従って、ファイルサーバ5を介して監視を行うことにより、監視領域に存在する対象被写体を早期に発見することができる。
【0078】
また、解析部41では複数の画像解析エンジンが並列に、または、タイミングをずらして動作するので、対象被写体が監視領域に存在する場合に、当該対象被写体を確実に検出することができる。
【0079】
また、監視端末7によれば、アラート対応情報に含まれるアラート信号の内容と、当該アラート信号に対応する期間内画像データとが監視端末7で表示されるので、アラート信号と、期間内画像データとによって監視領域を統合的に監視することができる。
【0080】
また、複数の装置4のうち一の装置4からアラート対応情報が送信されたことに応じて、当該一の装置4に対応する通報先への通報が行われるので、監視領域に早期に人を派遣することができる。
【0081】
また、装置4およびファイルサーバ5によれば、装置4では、画像データに対し一の画像解析エンジンによって画像解析が行われ、対象被写体が検出されたことに応じてアラート信号が出力される。また、ファイルサーバ5では、アラート対応情報に対応する期間内画像データに対し他の画像解析エンジンによって画像解析が行われ、装置4と同じ対象被写体が検出された期間内画像データに対応するアラート対応情報のみが記憶される。よって、ファイルサーバ5での画像解析により対象被写体が検出されなかった不必要な期間内画像データがファイルサーバ5に無駄に記憶されてしまうのを防止することができる。
【0082】
また、装置4の解析部41における画像解析エンジンはファイルサーバ5の解析部41における画像解析エンジンよりも画像解析に必要とする処理能力が小さいので、装置4での画像解析の負荷を低減することができる。
【0083】
[1-2.位置記憶部43]
図2は、位置記憶部43の記憶内容を示す。本実施形態では一例として、位置記憶部43は、監視カメラ3のカメラID(例えば「c-01」など)と、その撮影領域の位置(例えば「建物エントランス内側」など)とを対応付けて記憶している。また、位置記憶部43は、警備用センサ2のセンサID(例えば「s-01」など)と、その警備領域の位置(例えば「エントランス自動ドア」など)とを対応付けて記憶している。
【0084】
[1-3.撮影条件記憶部62]
図3は、撮影条件記憶部62の記憶内容を示す。本実施形態では一例として、撮影条件記憶部62は、複数の装置4のそれぞれについて、当該装置4の装置ID(例えば「aaa1」など)と、当該装置4に接続された各監視カメラ3のカメラID(例えば「c-01」など)と、画像データの撮影条件(例えば、監視カメラ3の用途が屋内用であり、設置位置が屋内であることなど)とを対応付けて記憶している。
【0085】
[1-4.検出対象記憶部63]
図4は、検出対象記憶部63の記憶内容を示す。本実施形態では一例として、検出対象記憶部63は、複数の装置4のそれぞれについて、当該装置4の装置ID(例えば「aaa1」など)と、当該装置4に設定された対象被写体(例えば「人の顔」など)とを対応付けて記憶している。
【0086】
[1-5.システム1の動作]
[1-5.1.画像解析エンジンの配信]
図5は、画像解析エンジンの配信に関する動作を示す。システム1は、ステップS11~S13の処理を行うことにより画像解析エンジンを各装置4に配信する。なお、この動作の開始時点では、配信サーバ6の解析エンジン記憶部61は、画像解析に適した画像データの撮影条件、および、検出するべき対象被写体の少なくとも一方が異なる複数の画像解析エンジンを記憶していてよい。各画像解析エンジンには、画像解析によって検出するべき検出被写体と、画像解析に適した画像データの撮影条件とを示す情報が含まれてよい。
【0087】
ステップS11において供給部65は、解析エンジン記憶部61に記憶された複数の画像解析エンジンの何れかを装置4に供給する。供給部65は、撮影条件記憶部62および検出対象記憶部63の少なくとも一方を参照し、装置4が取得する画像データの撮影条件、および、装置4に設定された対象被写体の少なくとも一方に応じた画像解析エンジンを、当該装置4に供給してよい。なお、このステップS11において供給部65は、供給する画像解析エンジンの動作条件を設定部64から受信して、装置4にさらに供給してよい。
【0088】
供給部65は、供給する画像解析エンジンで装置4内の画像解析エンジンを更新してもよいし、供給する画像解析エンジンを装置4内に追加してもよい。例えば、供給部65は、装置4の解析部41に対して画像解析エンジンの更新または追加を指示してよい。画像解析エンジンの更新を指示する場合には、供給部65は解析部41によって使用される1または複数の画像解析エンジンのうち、更新される画像解析エンジンを指定してよい。
【0089】
供給部65は、オペレータからの操作に応じて画像解析エンジンの供給を行ってよい。
例えば、供給部65は、オペレータの操作によって解析エンジン記憶部61に記憶されている画像解析エンジンの更新および追加の少なくとも一方が行われた場合に、装置4への画像解析エンジンの供給を行ってよい。この場合には、供給部65は、更新・追加された各画像解析エンジンの検出被写体と、画像解析に適した画像データの撮影条件とを検出し、これらの検出被写体および撮影条件の少なくとも一方に対応する装置4に対し、当該画像解析エンジンを供給してよい。
【0090】
また、供給部65は、オペレータの操作によって検出対象記憶部63および撮影条件記憶部62の少なくとも一方の情報が変更された場合に画像解析エンジンの供給を行ってよい。この場合には、供給部65は、検出対象記憶部63において変更された検出被写体に対応する各装置4に対し、変更後の検出被写体に応じた画像解析エンジンを供給してよい。また、供給部65は、撮影条件記憶部62において変更された撮影条件に対応する各装置4に対し、変更後の撮影条件に応じた画像解析エンジンを供給してよい。
【0091】
ステップS13において装置4の解析部41は、通信部45を介して画像解析エンジンを取得する。解析部41は、供給部65から画像解析エンジンの更新が指示された場合には、何れかの画像解析エンジンを、供給された画像解析エンジンで更新する。解析部41は、供給部65から画像解析エンジンの追加が指示された場合には、供給された画像解析エンジンを使用対象に追加する。供給部65から画像解析エンジンの動作条件を受信した場合には、解析部41は、供給された画像解析エンジンを当該動作条件で動作させるよう設定を行う。
【0092】
以上の動作によれば、供給する画像解析エンジンで装置4内の画像解析エンジンが更新されるので、装置4の記憶領域に制限がある場合であっても、新たな画像解析エンジンを用いて装置4に画像解析を行わせることができる。
【0093】
また、供給する画像解析エンジンが装置4内に追加されるので、複数の画像解析エンジンを用いて装置4に画像解析を行わせることができる。
【0094】
[1-5.2.監視]
図6は、監視に関する動作を示す。システム1は、ステップS21~S37の処理を行うことにより監視領域の監視を行う。なお、この動作中に装置4は、監視カメラ3により取得された画像データを画像記憶部40に記憶させてよい。また、装置4の解析部41は、取得された画像データに対して1または複数の画像解析エンジンを用いて画像解析を行ってよい。
【0095】
ステップS21において装置4の取得部42は、警備用センサ2および解析部41の少なくとも一方からアラート信号が出力されたことに応じて、アラート信号を取得する。
【0096】
ステップS23において特定部44は、複数の監視カメラ3のうち、アラート信号の原因の発生位置に対応する撮影領域を有する各監視カメラ3を特定する。
【0097】
ステップS25において通信部45は、特定された各監視カメラ3により取得されて画像記憶部40に記憶された画像データのうち、アラート信号の発生時刻を含む基準時間幅内の期間内画像データと、アラート信号の内容とを含むアラート対応情報をファイルサーバ5に送信する。通信部45は、アラート対応情報を出力した旨を監視端末7やモバイル端末8にも送信してよい。本実施形態では一例として、通信部45は、アラート信号の内容のみを監視端末7やモバイル端末8に送信するが、期間内画像データと併せてアラート対応情報そのものを送信してもよい。なお、
図6ではアラート対応情報の送信後に装置4が処理を終了しているが、ステップS21に処理を移行してもよい。
【0098】
ステップS27においてファイルサーバ5の記憶部52は、アラート対応情報を記憶する。装置4の解析部41から出力されたアラート信号を含むアラート対応情報がファイルサーバ5で受信された場合には、解析部51が画像解析を行い、アラート対応情報の送信元の装置4における解析部41と同じ対象被写体が期間内画像データから検出された場合に限り、アラート対応情報を記憶部52が記憶してよい。
【0099】
ステップS31において監視端末7の表示制御部71は、アラート信号を受信したことに応じて、当該アラート信号を含むアラート対応情報をファイルサーバ5から読み出す。これに応じ、ステップS33においてファイルサーバ5は、監視端末7に対して記憶部52へのアクセスを提供してよい。なお、装置4からアラート信号が送信されない場合には、表示制御部71は、装置4を介さずに警備用センサ2からアラート信号を受信してもよい。
【0100】
ステップS35において表示制御部71は、アラート対応情報に含まれる期間内画像データと、アラート信号の内容とを1または複数のディスプレイ(図示せず)に表示する。なお、期間内画像データを含むアラート対応情報が装置4の通信部45から監視端末7に送信される場合には、表示制御部71は、ステップS31の処理を行わず、受信したアラート対応情報に含まれる期間内画像データおよびアラート信号を表示してもよい。
【0101】
アラート対応情報に複数の監視カメラ3で撮影された複数の期間内画像データが含まれる場合には、表示制御部71は、これらの期間内画像データのうち、画像間で移動する物体が検知された期間内画像データを優先的に表示してよい。画像間で移動する物体の検知はファイルサーバ5の解析部51で行ってもよいし、監視端末7内の図示しない解析部で行ってもよい。特定の期間内画像データを優先的に表示するとは、当該期間内画像データのみを表示することであってもよいし、当該期間内画像データを他の期間内画像データよりも大きく表示することであってもよい。
【0102】
ここで、ステップS31,S35の処理はモバイル端末8によって行われてもよい。この場合には、ファイルサーバ5によってモバイル端末8に記憶部52へのアクセスが提供され、モバイル端末8において期間内画像データと、アラート信号の内容とが表示される。これにより、警備員によって監視領域の状況確認が可能となる。
【0103】
ステップS37において監視端末7の通報部72は、複数の装置4のうち一の装置4からアラート対応情報が送信されたことに応じて、当該一の装置4に対応する通報先に通報を行う。
【0104】
[1-6.第1の実施形態の変形例]
なお、上記の第1の実施形態においては、通信部45は、アラート信号の原因発生位置に対応する撮影領域を有する各監視カメラ3で撮影された期間内画像データをアラート対応情報に含めて送信することとして説明したが、撮影領域に関わらず、撮影された期間内画像データをアラート対応情報に含めて送信してもよい。例えば、通信部45は、取得部42により一のアラート信号が取得されたことに応じて、当該一のアラート信号の発生時刻を含む基準時間幅内に複数の監視カメラ3により取得された複数の期間内画像データと、当該一のアラート信号の内容とを含むアラート対応情報を送信してよい。この場合には、広範な領域の状況を監視端末7で確認することができる。
【0105】
また、アラート対応情報はアラート信号と期間内画像データとを含むこととして説明したが、アラート対応情報は期間内画像データに代えて、画像記憶部40内での当該期間内画像データのアドレスを含んでもよい。この場合には、アラート対応情報に含めて期間内画像データが送信される場合と比較して、装置4とファイルサーバ5との間の通信のコストを低減することができる。また、送信されるアドレスによって画像記憶部40内の期間内画像データがアクセスされるので、画像記憶部40内の全期間の画像データがアクセスされてアラート信号の発生時刻周辺の画像データが探索される場合と比較して、装置4内の画像データへのアクセスに要する時間やコストを低減することができる。ここで、アラート対応情報にアラート信号と、期間内画像データのアドレスとが含まれる場合には、監視端末7は、当該アドレスで示される期間内画像データを装置4の画像記憶部40から読み出して、アラート対応情報に含まれるアラート信号の内容と、当該アラート信号に対応する期間内画像データとを表示してよい。また、監視端末7は、アラート対応情報に含まれるアドレスに基づいて読み出した期間内画像データを、当該アラート対応情報に対応付けてファイルサーバ5に記憶させてよい。
【0106】
また、配信サーバ6は各装置4における各画像解析エンジンの動作条件を設定する設定部64を有することとして説明したが、装置4内の各画像解析エンジンに対し画像解析の実行を指示する指示部(図示せず)を有してもよい。この場合には、状況に応じて都度、画像解析エンジンに画像解析を行わせることができる。
【0107】
また、装置4は解析部41、位置記憶部43および特定部44を有することとして説明したが、これらの少なくとも1つを有しなくてもよい。例えば、装置4が解析部41を有しない場合には、警備用センサ2からのアラート信号に応じてアラート対応情報を出力してよい。
【0108】
また、ファイルサーバ5は解析部51を有することとして説明したが、有しないこととしてもよい。この場合には、ファイルサーバ5は、受信した全てのアラート対応情報を記憶してよい。
【0109】
[2.第2の実施形態]
[2-1.システム1A]
図7は、第2の実施形態に係るシステム1Aを示す。本実施形態に係るシステム1Aにおいて、
図1に示されたシステム1の動作と略同一のものには同一の符号を付け、説明を省略する。
【0110】
システム1Aは、装置4Aと、ファイルサーバ5Aと、監視端末7Aとを備える。なお、
図7では警備用センサ2が図示されていないが、システム1Aには、監視端末7Aにアラート信号を供給する1または複数の警備用センサ2が具備されてもよい。
【0111】
[2-1.1.装置4A]
装置4Aは、解析部41Aおよび通信部45Aを有する。
【0112】
[2-1.1.1.解析部41A]
解析部41Aは、画像データに対して画像解析を行い、画像データに含まれ得る被写体のうち検出するべき対象被写体を検出したことに応じて当該対象被写体の特徴を示す特徴データを生成する。解析部41Aは、画像記憶部40に記憶された画像データに対して画像解析を行ってよく、特徴データを通信部45に供給してよい。解析部41Aは、監視カメラ3ごとに画像解析を行って特徴データを生成してよい。
【0113】
対象被写体が人の顔である場合には、特徴データは、画像内の顔の特徴を示してよい。画像内の顔の特徴は、顔の特徴点の位置関係であってもよいし、瞳や皮膚、頭髪の色であってもよいし、アクセサリ(一例としてメガネやピアス等)の色や形状などであってもよい。また、対象被写体が車両である場合には、特徴データは画像内の車両の車種を示してよい。また、対象被写体がナンバープレートである場合には、特徴データは、画像内の車両の番号を示してよい。
【0114】
なお、対象被写体の種類は1つであってもよいし、複数であってもよい。対象被写体が複数である場合には、解析部41Aは、少なくとも1つの対象被写体についての特徴データを生成してよい。特徴データは、複数の画像データの中から特定の画像データを抽出するための識別子として使用されてよい。
【0115】
解析部41Aは、第1の実施形態の解析部41と同様に、1または複数の画像解析エンジン(図示せず)によって画像データに画像解析を行ってよい。本実施形態では一例として、解析部41Aは、複数の画像解析エンジンを並列に、または、タイミングをずらして動作させて画像解析を行ってよい。
【0116】
[2-1.1.2.通信部45A]
通信部45Aは、通信ネットワーク10を介してファイルサーバ5A等と通信する。
【0117】
通信部45Aは、送信部の一例であり、特徴データが生成された画像データのメタデータをファイルサーバ5Aに送信する。複数の監視カメラ3で取得された複数の画像データについて特徴データが生成される場合には、通信部45Aは、複数の監視カメラ3のそれぞれについて、メタデータを送信してよい。通信部45Aは、特徴データの内容が変化するごとにメタデータを送信してよい。
【0118】
ここで、メタデータは、対応する画像データの内容および所在を示すデータであってよく、特徴データと、当該特徴データが生成された画像データの撮影時刻、および、画像記憶部40内での当該画像データのアドレスの少なくとも一方とを含んでよい。
【0119】
メタデータが撮影時刻を含む場合には、メタデータはカメラIDと、装置IDとをさらに含んでよい。また、メタデータが画像記憶部40内での画像データのアドレスを含む場合には、当該アドレスは、システム1A内での装置4Aのアドレスをさらに示してよい。
【0120】
通信部45Aは、第1の実施形態の通信部45と同様に、配信サーバ6から送信される画像解析エンジンを受信して解析部41に供給してよい。
【0121】
[2-1.2.ファイルサーバ5A]
ファイルサーバ5Aは、装置4とは異なる他の機器(本実施形態では一例として監視端末7やモバイル端末8)からアクセス可能であり、記憶するファイルを他の機器と共有する。ファイルサーバ5Aは、記憶部52Aを有する。
【0122】
記憶部52Aは、装置4Aから送信されるメタデータを記憶する。記憶部52Aは、メタデータに対応する画像データを、当該メタデータに対応付けてさらに記憶してもよい。
【0123】
[2-1.3.監視端末7A]
監視端末7Aは、監視領域の監視を行う。監視端末7Aは、選択部75と、通信部76と、表示制御部71Aとを有する。
【0124】
[2-1.3.2.選択部75]
選択部75は、オペレータの操作に応じてファイルサーバ5Aに記憶された何れか1つのメタデータを選択する。選択部75は、入力部751と、検索部752とを有してよく、これらの入力部751および検索部752によって検出されたメタデータを選択して通信部76に供給してよい。
【0125】
入力部751は、オペレータの操作に応じて被写体の特徴データを入力する。入力部751は、入力された特徴データを検索部752に供給してよい。
【0126】
ここで、オペレータから入力される特徴データは、何れかの監視カメラ3によって撮影された可能性のある被写体の特徴を示すデータであってよい。例えば、オペレータから入力される特徴データは、警察などから特定の人物や車両について情報提供が求められた場合に、当該人物や車両の特徴を示すデータであってよい。
【0127】
検索部752は、ファイルサーバ5Aに記憶された複数のメタデータ(本実施形態においては一例として特徴データと、画像データの撮影時刻およびアドレスの少なくとも一方とを含むデータ)のうち、入力された特徴データを含むメタデータを検索する。
【0128】
[2-1.3.1.通信部76]
通信部76は、読出部の一例であり、選択されたメタデータに対応する画像データを装置4から読み出す。通信部76は、読み出した画像データを表示制御部71Aに供給してよい。
【0129】
ここで、メタデータに撮影時刻が含まれる場合には、メタデータに対応する画像データとは、その撮影時刻に撮影された画像データであってもよいし、撮影時刻を含む基準時間幅内に撮影された画像データであってもよい。基準時間幅は、本実施形態では一例として2分であるが、10分や1日など、他の時間幅であってもよい。
【0130】
メタデータにカメラIDおよび装置IDがさらに含まれる場合には、メタデータに対応する画像データは、装置IDに対応する装置4Aに記憶される画像データのうち、カメラIDに対応する監視カメラ3で撮影された画像データであってよい。メタデータに装置IDが含まれてカメラIDが含まれない場合には、メタデータに対応する画像データは、装置IDに対応する装置4Aに記憶される画像データのうち、各監視カメラ3によって撮影された画像データであってよい。メタデータに装置IDおよびカメラIDが含まれない場合には、メタデータに対応する画像データは、各装置4Aに記憶される画像データのうち、各監視カメラ3によって撮影された画像データであってよい。
【0131】
また、メタデータに画像記憶部40内での画像データのアドレスが含まれる場合には、メタデータに対応する画像データとは、当該アドレスで示される装置4Aの画像記憶部40内の画像データであってもよいし、当該画像データを含む基準時間幅内に撮影された画像データであってもよい。
【0132】
また、通信部76は、記憶制御部の一例であり、読み出した画像データをファイルサーバ5Aに記憶させる。通信部76は、読み出しに用いたメタデータに対応付けて、読み出した画像データをファイルサーバ5Aに記憶させてよい。
【0133】
[2-1.3.4.表示制御部71A]
表示制御部71Aは、通信部76により読み出された画像データを表示する。
【0134】
以上のシステム1Aの装置4Aによれば、監視カメラ3により取得された画像データに対して画像解析を行い、予め設定された被写体を検出したことに応じて当該被写体の特徴を示す特徴データが生成され、特徴データと、当該特徴データが生成された画像データの撮影時刻、および、画像記憶部40内での当該画像データのアドレスの少なくとも一方とを含むメタデータがファイルサーバ5Aに送信される。従って、ファイルサーバ5Aにメタデータを貯めておき、画像データを検索するためのインデックスとして使用することができる。これにより、装置4内の画像データのうち、特徴データが生成された画像データへのアクセスを容易化し、監視領域に存在していた被写体を過去に遡って容易に発見することができる。
【0135】
また、複数の監視カメラ3のそれぞれについてメタデータが送信されるので、監視領域に存在していた被写体の発見をいっそう容易化することができる。
【0136】
また、特徴データの内容が変化するごとにメタデータが送信されるので、被写体が切り替わるごとにメタデータが送信される。従って、被写体ごとの画像データへのアクセスを容易化し、監視領域に存在していた被写体の発見を容易化することができる。
【0137】
また、画像内の顔の特徴、画像内の車両の番号、および、画像内の車両の車種の少なくとも1つを示す特徴データが生成されてメタデータに含まれるので、監視領域に存在していた人物や自動車の発見を容易化することができる。同様に、対象被写体の特徴データとして、人の全身や服装、車両(走行中の車両、停車中の車両)、車の色、特定の物体(カバン、凶器)等の特徴を示す特徴データが生成されてメタデータに含まれる場合にも、監視領域に存在していたこれらの対象被写体の発見を容易化することができる。
【0138】
また、解析部41Aでは複数の画像解析エンジンが並列に、または、タイミングをずらして動作するので、対象被写体が監視領域に存在する場合に、当該対象被写体を確実に検出することができる。
【0139】
また、以上のシステム1Aの監視端末7Aによれば、オペレータの操作に応じてファイルサーバ5Aに記憶された何れか1つのメタデータが選択され、選択されたメタデータに対応する画像データが読み出されて表示される。従って、特徴データが生成された任意の画像データを容易に確認することができる。
【0140】
また、オペレータの操作に応じて被写体の特徴データが入力されると、ファイルサーバ5Aに記憶された複数のメタデータのうち、入力された特徴データを含むメタデータが検出されて表示されるので、任意の特徴データに対応する被写体の画像データを容易に確認することができる。
【0141】
また、読み出した画像データがファイルサーバ5Aに記憶されるので、選択したメタデータに対応する画像データをファイルサーバ5Aに集めることができる。また、特徴データが生成された画像データが装置4A内での上書き等によって消失してしまうのを防止し、画像データを確実に保存することができる。
【0142】
[2-2.システム1Aの動作]
[2-2.1.画像解析エンジンの配信]
システム1Aは、上述の第1の実施形態と同様にして、画像解析エンジンの配信動作を行ってよい。これにより、特徴データを生成するための画像解析エンジンを装置4Aに配信することができる。
【0143】
[2-2.2.監視]
図8は、監視に関する動作を示す。システム1Aは、ステップS51~S69の処理を行うことにより監視領域の監視を行う。なお、この動作中に装置4Aは、監視カメラ3により取得された画像データを画像記憶部40に記憶させてよい。
【0144】
ステップS51において、装置4Aの解析部41Aは、取得された画像データに対して1または複数の画像解析エンジンを用いて画像解析を行い、対象被写体を検出したことに応じて当該被写体の特徴を示す特徴データを生成する。
【0145】
ステップS53において通信部45は、特徴データと、当該特徴データが生成された画像データの撮影時刻、および、画像記憶部40内での当該画像データのアドレスとの少なくとも一方を含むメタデータを生成し、ファイルサーバ5Aに送信する。
【0146】
ステップS55においてファイルサーバ5Aの記憶部52Aは、送信されたメタデータを記憶する。
【0147】
ステップS57において監視端末7Aの選択部75は、オペレータの操作に応じてファイルサーバ5Aに記憶された何れか1つのメタデータを選択する。本実施形態では一例として、選択部75は、入力部751を介してオペレータから入力される特徴データを含むメタデータを選択してよい。
【0148】
ステップS61において通信部76は、選択されたメタデータに対応する画像データを装置4の画像記憶部40から読み出す。これに応じ、ステップS63において装置4Aは、監視端末7に対して画像記憶部40へのアクセスを提供してよい。
【0149】
ステップS65において監視端末7Aの表示制御部71Aは、読み出された画像データを表示する。なお、ステップS57,S61,S65の処理はモバイル端末8によって行われてもよい。この場合には、装置4からモバイル端末8に画像記憶部40へのアクセスが提供され、モバイル端末8において読み出された画像データが表示される。これにより、警備員によって監視領域の状況確認が可能となる。
【0150】
ステップS67において通信部76は、読み出された画像データをメタデータと対応付けてファイルサーバ5Aに送信する。通信部76は、表示された画像を確認したオペレータからの指示に応じて送信を行ってよい。
【0151】
そして、ステップS69においてファイルサーバの記憶部52Aは、記憶済みの複数のメタデータのうち、受信したメタデータと同一のメタデータを検出し、当該メタデータに対応付けて、受信した画像データを記憶する。
【0152】
なお、上記の第2の実施形態においては、監視端末7Aで選択したメタデータに対応する画像データを装置4Aから読み出してファイルサーバ5Aに保存することとして説明したが、メタデータに対応する画像データの消失を他の手法によって防止してもよい。例えば、装置4Aの解析部41は、特徴データ生成した画像データが上書き消去されないように、当該画像データを画像記憶部40内でロックしてよい。
【0153】
[3.第1および第2の実施形態の変形例]
なお、上記第1および第2の実施形態においては、監視端末7,7Aと配信サーバ6とを別体の装置として説明したが、同一の装置としてもよい。
【0154】
また、配信サーバ6は撮影条件記憶部62や検出対象記憶部63、設定部64(または指示部)を有することとして説明したが、これらの少なくとも1つを有しないこととしてもよい。例えば配信サーバ6が設定部64(または指示部)を有しない場合には、装置4,4Aの側で画像解析エンジンの動作条件を設定してよい。
【0155】
また、装置4,4Aは監視カメラ3により取得された画像データを画像記憶部40に記憶することとして説明したが、解析部41,41Aにより対象被写体が検出されたことに応じて画像データを記憶することとしてもよい。この場合には、装置4,4Aに保存される画像データの量を低減することができるため、装置4,4Aはファイルサーバ5,5Aにアラート対応データやメタデータを送信しなくてもよい。
【0156】
また、装置4,4Aは、単一の解析部41,41Aを有することとして説明したが、同種の解析部41,41Aを複数有してもよい。この場合には、画像解析を並行して高速に行うことができる。
【0157】
また、本発明の様々な実施形態は、フローチャートおよびブロック図を参照して記載されてよく、ここにおいてブロックは、(1)操作が実行されるプロセスの段階または(2)操作を実行する役割を持つ装置のセクションを表わしてよい。特定の段階およびセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、および/またはコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタルおよび/またはアナログハードウェア回路を含んでよく、集積回路(IC)および/またはディスクリート回路を含んでよい。プログラマブル回路は、論理AND、論理OR、論理XOR、論理NAND、論理NOR、および他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ(PLA)等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。
【0158】
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROMまたはフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(RTM)ディスク、メモリスティック、集積回路カード等が含まれてよい。
【0159】
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、および「C」プログラミング言語または同様のプログラミング言語のような従来の手続型プログラミング言語を含む、1または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかを含んでよい。
【0160】
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して提供され、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
【0161】
図9は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ2200の例を示す。コンピュータ2200にインストールされたプログラムは、コンピュータ2200に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の1または複数のセクションとして機能させることができ、または当該操作または当該1または複数のセクションを実行させることができ、および/またはコンピュータ2200に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ2200に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、CPU2212によって実行されてよい。
【0162】
本実施形態によるコンピュータ2200は、CPU2212、RAM2214、グラフィックコントローラ2216、およびディスプレイデバイス2218を含み、それらはホストコントローラ2210によって相互に接続されている。コンピュータ2200はまた、通信インタフェース2222、ハードディスクドライブ2224、DVD-ROMドライブ2226、およびICカードドライブのような入/出力ユニットを含み、それらは入/出力コントローラ2220を介してホストコントローラ2210に接続されている。コンピュータはまた、ROM2230およびキーボード2242のようなレガシの入/出力ユニットを含み、それらは入/出力チップ2240を介して入/出力コントローラ2220に接続されている。
【0163】
CPU2212は、ROM2230およびRAM2214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ2216は、RAM2214内に提供されるフレームバッファ等またはそれ自体の中にCPU2212によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス2218上に表示されるようにする。
【0164】
通信インタフェース2222は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ2224は、コンピュータ2200内のCPU2212によって使用されるプログラムおよびデータを格納する。DVD-ROMドライブ2226は、プログラムまたはデータをDVD-ROM2201から読み取り、ハードディスクドライブ2224にRAM2214を介してプログラムまたはデータを提供する。ICカードドライブは、プログラムおよびデータをICカードから読み取り、および/またはプログラムおよびデータをICカードに書き込む。
【0165】
ROM2230はその中に、アクティブ化時にコンピュータ2200によって実行されるブートプログラム等、および/またはコンピュータ2200のハードウェアに依存するプログラムを格納する。入/出力チップ2240はまた、様々な入/出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入/出力コントローラ2220に接続してよい。
【0166】
プログラムが、DVD-ROM2201またはICカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ2224、RAM2214、またはROM2230にインストールされ、CPU2212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ2200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ2200の使用に従い情報の操作または処理を実現することによって構成されてよい。
【0167】
例えば、通信がコンピュータ2200および外部デバイス間で実行される場合、CPU2212は、RAM2214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース2222に対し、通信処理を命令してよい。通信インタフェース2222は、CPU2212の制御下、RAM2214、ハードディスクドライブ2224、DVD-ROM2201、またはICカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。
【0168】
また、CPU2212は、ハードディスクドライブ2224、DVD-ROMドライブ2226(DVD-ROM2201)、ICカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がRAM2214に読み取られるようにし、RAM2214上のデータに対し様々なタイプの処理を実行してよい。CPU2212は次に、処理されたデータを外部記録媒体にライトバックする。
【0169】
様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU2212は、RAM2214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM2214に対しライトバックする。また、CPU2212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU2212は、第1の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
【0170】
上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ2200上またはコンピュータ2200近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはRAMのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ2200に提供する。
【0171】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0172】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【0173】
1 システム、1A システム、2 警備用センサ、3 監視カメラ、4 装置、4A 装置、5 ファイルサーバ、5A ファイルサーバ、6 配信サーバ、7 監視端末、7A 監視端末、8 モバイル端末、10 通信ネットワーク、40 画像記憶部、41 解析部、41A 解析部、42 取得部、43 位置記憶部、44 特定部、45 通信部、45A 通信部、51 解析部、52 記憶部、52A 記憶部、61 解析エンジン記憶部、62 撮影条件記憶部、63 検出対象記憶部、64 設定部、65 供給部、71 表示制御部、71A 表示制御部、72 通報部、75 選択部、76 通信部、751 入力部、752 検索部、2200 コンピュータ、2201 DVD-ROM、2210 ホストコントローラ、2212 CPU、2214 RAM、2216 グラフィックコントローラ、2218 ディスプレイデバイス、2220 入/出力コントローラ、2222 通信インタフェース、2224 ハードディスクドライブ、2226 DVD-ROMドライブ、2230 ROM、2240 入/出力チップ、2242 キーボード