特許 7355228 監視装置、監視方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-25

(45)【発行日】2023-10-03

(54)【発明の名称】監視装置、監視方法、およびプログラム

(51)【国際特許分類】

   G08B 25/00 20060101AFI20230926BHJP

   H04N 7/18 20060101ALI20230926BHJP

   G06N 3/08 20230101ALI20230926BHJP

   G06N 3/04 20230101ALI20230926BHJP

【ＦＩ】

G08B25/00 510M

H04N7/18 D

G06N3/08

G06N3/04

【請求項の数】 14

(21)【出願番号】P 2022513019

(86)(22)【出願日】2020-03-31

(86)【国際出願番号】 JP2020014891

(87)【国際公開番号】W WO2021199315

(87)【国際公開日】2021-10-07

【審査請求日】2022-07-13

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100109313

【弁理士】

【氏名又は名称】机 昌彦

(74)【代理人】

【識別番号】100149618

【弁理士】

【氏名又は名称】北嶋 啓至

(72)【発明者】

【氏名】平田 怜

(72)【発明者】

【氏名】山下 統

(72)【発明者】

【氏名】山本 元気

(72)【発明者】

【氏名】柴田 真史

(72)【発明者】

【氏名】橋本 大

(72)【発明者】

【氏名】木本 崇博

(72)【発明者】

【氏名】高橋 洋平

【審査官】石井 則之

(56)【参考文献】

【文献】米国特許出願公開第２０１８／０１５０６９７（ＵＳ，Ａ１）

【文献】特開２０１６－１４３３０２（ＪＰ，Ａ）

【文献】国際公開第２０１４／０５０５１８（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｂ ２５／００

Ｈ０４Ｎ ７／１８

Ｇ０６Ｎ ３／０８

Ｇ０６Ｎ ３／０４

(57)【特許請求の範囲】

【請求項1】

映像データから第１の事象を検出する第１事象検出手段と、
前記第１の事象に関する情報に基づいて、検出時間を決定する検出時間決定手段と、
前記映像データにおいて、前記第１の事象を検出した時点から前記検出時間よりも前または後の時点までの期間に映る第２の事象を検出する事象検出手段と
を備え、
前記検出時間決定手段は、前記第１の事象を検出した時刻に基づいて前記検出時間を決定する
監視装置。

【請求項2】

映像データから第１の事象を検出する第１事象検出手段と、
前記第１の事象に関する情報に基づいて、検出時間を決定する検出時間決定手段と、
前記映像データにおいて、前記第１の事象を検出した時点から前記検出時間よりも前または後の時点までの期間に映る第２の事象を検出する事象検出手段と
を備え、
前記第１の事象が検出された場合、第１のアラートを報知し、
前記第２の事象が検出された場合、第２のアラートを報知するアラート手段をさらに備え、
前記アラート手段は、前記事象検出手段の推定処理時間が、許容される最大処理時間を超える場合、前記第１のアラートを報知する
監視装置。

【請求項3】

映像データから第１の事象を検出する第１事象検出手段と、
前記第１の事象に関する情報に基づいて、検出時間を決定する検出時間決定手段と、
前記映像データにおいて、前記第１の事象を検出した時点から前記検出時間よりも前または後の時点までの期間に映る第２の事象を検出する事象検出手段と
を備え、
前記第１の事象が検出された場合、第１のアラートを報知し、
前記第２の事象が検出された場合、第２のアラートを報知するアラート手段をさらに備え、
前記アラート手段は、前記第２の事象が検出された時刻に応じて前記第２のアラートの報知内容を変更する
監視装置。

【請求項4】

前記第１の事象が検出された場合、第１のアラートを報知し、
前記第２の事象が検出された場合、第２のアラートを報知するアラート手段をさらに備えた
ことを特徴とする請求項１に記載の監視装置。

【請求項5】

前記アラート手段は、前記事象検出手段の推定処理時間が、当該監視装置の許容する最大処理時間を超える場合、前記第１のアラートを報知する
ことを特徴とする請求項４に記載の監視装置。

【請求項6】

前記アラート手段は、前記第２の事象が検出された時刻に応じて前記第２のアラートの報知内容を変更する
ことを特徴とする請求項４に記載の監視装置。

【請求項7】

前記検出時間決定手段は、前記第１の事象を検出した時刻に基づいて前記検出時間を決定する
ことを特徴とする請求項１から６のいずれか１項に記載の監視装置。

【請求項8】

前記検出時間決定手段は、前記第１の事象の種類に基づいて前記検出時間を決定する
ことを特徴とする請求項１から６のいずれか１項に記載の監視装置。

【請求項9】

監視装置による監視方法であって、
映像データから第１の事象を検出し、
前記第１の事象に関する情報に基づいて、検出時間を決定し、
前記映像データにおいて、前記第１の事象を検出した時点から前記検出時間よりも前または後の時点までの期間に映る第２の事象を検出し、
前記第１の事象を検出した時刻に基づいて前記検出時間を決定する
ことを含む監視方法。

【請求項10】

監視装置による監視方法であって、
映像データから第１の事象を検出し、
前記第１の事象に関する情報に基づいて、検出時間を決定し、
前記映像データにおいて、前記第１の事象を検出した時点から前記検出時間よりも前または後の時点までの期間に映る第２の事象を検出し、
前記第１の事象が検出された場合、第１のアラートを報知し、
前記第２の事象が検出された場合、第２のアラートを報知し、
前記第２の事象を検出することの推定処理時間が、許容される最大処理時間を超える場合、前記第１のアラートを報知する
ことを含む監視方法。

【請求項11】

監視装置による監視方法であって、
映像データから第１の事象を検出し、
前記第１の事象に関する情報に基づいて、検出時間を決定し、
前記映像データにおいて、前記第１の事象を検出した時点から前記検出時間よりも前または後の時点までの期間に映る第２の事象を検出し、
前記第１の事象が検出された場合、第１のアラートを報知し、
前記第２の事象が検出された場合、第２のアラートを報知し、
前記第２の事象が検出された時刻に応じて前記第２のアラートの報知内容を変更する
ことを含む監視方法。

【請求項12】

映像データから第１の事象を検出することと、
前記第１の事象に関する情報に基づいて、検出時間を決定することと、
前記映像データにおいて、前記第１の事象を検出した時点から前記検出時間よりも前または後の時点までの期間に映る第２の事象を検出することと
をコンピュータに実行させ、
前記コンピュータに、
前記第１の事象を検出した時刻に基づいて前記検出時間を決定させる
ためのプログラム。

【請求項13】

映像データから第１の事象を検出することと、
前記第１の事象に関する情報に基づいて、検出時間を決定することと、
前記映像データにおいて、前記第１の事象を検出した時点から前記検出時間よりも前または後の時点までの期間に映る第２の事象を検出することと
をコンピュータに実行させ、
前記コンピュータに、
前記第１の事象が検出された場合、第１のアラートを報知させ、
前記第２の事象が検出された場合、第２のアラートを報知させ、
前記第２の事象を検出することの推定処理時間が、許容される最大処理時間を超える場合、前記第１のアラートを報知させる
ためのプログラム。

【請求項14】

映像データから第１の事象を検出することと、
前記第１の事象に関する情報に基づいて、検出時間を決定することと、
前記映像データにおいて、前記第１の事象を検出した時点から前記検出時間よりも前または後の時点までの期間に映る第２の事象を検出することと
をコンピュータに実行させ、
前記コンピュータに、
前記第１の事象が検出された場合、第１のアラートを報知させ、
前記第２の事象が検出された場合、第２のアラートを報知させ、
前記第２の事象が検出された時刻に応じて前記第２のアラートの報知内容を変更させる
ためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、監視装置、監視方法、および記録媒体に関し、特に、カメラから取得した映像データを用いて、監視対象エリアを監視する監視装置、監視方法、および記録媒体に関する。

【背景技術】

【0002】

関連する技術は、監視カメラ（あるいは、街頭カメラ、防犯カメラとも呼ぶ）が監視対象エリアを撮影することによって得られた映像データを分析し、分析結果により、通常とは異なる人物の奇異な行動、および、不審な物体などの事象を検出する。監視対象エリアは、不特定多数の人が集まる場所であり、例えば、駅、ショッピングセンタ、または繁華街である。関連する技術は、奇異な行動または不審な物体を検出した場合、警察または警備員などの監視者に対し、アラートを報知する。例えば、特許文献１には、検出された事象の危険度に基づいて、アラートの通知先を決定することが記載されている。

【0003】

関連する技術では、監視対象エリアに設置された監視カメラが、映像データの連続する画像フレームの間における差分に基づいて、事象（第１の事象）を検出する。一方、監視カメラから映像データを受信するサーバが、映像データの各画像フレームから、深層学習等の手法によって、事象（第２の事象）を検出する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－１５２９４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

関連する技術では、サーバは、監視カメラが生成する映像データの全体（すなわち全期間に相当する映像データ）を、高度な手法を用いて分析するため、サーバの処理能力には大きな負荷がかかっている。サーバの処理量を低減するため、効率的な映像データの解析手法が求められている。

【0006】

本発明は、映像データの解析に係わる処理量を低減するための効率的な映像データの解析手法を提供する。

【課題を解決するための手段】

【0007】

本発明の一態様に係わる監視装置は、映像データから第１の事象が検出された時刻に基づいて、前記映像データから、前記第１の事象より時系列的に前または後の第２の事象を検出するための検出時間を決定する検出時間決定手段と、前記検出時間における前記映像データから、前記第２の事象を検出する事象検出手段とを備えている。

【0008】

本発明の一態様に係わる監視方法は、監視装置による監視方法であって、映像データから第１の事象が検出された時刻に基づいて、前記映像データから、前記第１の事象より時系列的に前または後の第２の事象を検出するための検出時間を決定し、前記検出時間における前記映像データから、前記第２の事象を検出することを含む。

【0009】

本発明の一態様に係わる記録媒体は、映像データから第１の事象が検出された時刻に基づいて、前記映像データから、前記第１の事象より時系列的に前または後の第２の事象を検出するための検出時間を決定することと、前記検出時間における前記映像データから、前記第２の事象を検出することとをコンピュータに実行させるためのプログラムを格納している。

【発明の効果】

【0010】

本発明の一態様によれば、映像データの解析に係わる処理量を低減することができる。

【図面の簡単な説明】

【0011】

【図1】実施形態１から４のいずれかに係わる監視装置を備えたシステムの構成を概略的に示す図である。

【図2】全ての実施形態に係わるシステムが備えたカメラが生成する映像データの一画像フレームの一例である。

【図3】実施形態１に係わる監視装置の構成を示すブロック図である。

【図4】複数の画像フレームで構成された映像データの一例を模式的に示す。

【図5】実施形態１に係わる監視装置の各部が実行する処理の流れの一例を示すフローチャートである。

【図6】実施形態２に係わる監視装置の構成を示すブロック図である。

【図7】実施形態２に係わる監視装置の各部が実行する処理の流れを示すフローチャートである。

【図8】実施形態３に係わる監視装置の構成を示すブロック図である。

【図9】学習データにおける第２の事象と、２つの第１の事象の候補との間の関連付けの一例を示す。

【図10】実施形態３に係わる監視装置の各部が実行する処理の流れを示すフローチャートである。

【図11】実施形態４に係わる監視装置の構成を示すブロック図である。

【図12】実施形態１から４のいずれかに係わる監視装置のハードウェア構成を示す図である。

【発明を実施するための形態】

【0012】

〔全実施形態に共通〕
図１および図２を参照して、後述する実施形態１または２に適用される構成を説明する。

【0013】

（システム１）
図１は、以下で説明する全ての実施形態に係わるシステム１の構成を概略的に示す。図１に示すように、システム１は、監視装置１０、記録装置８０、および、１または複数台のカメラ９０を備えている。システム１において、監視装置１０、記録装置８０、および、１または複数台のカメラ９０は、ネットワーク７０を介して、通信可能なように接続されている。なお、システム１は、実施形態１に係わる監視装置１０の代わりに、実施形態２から４のいずれかに係わる監視装置２０、３０、または４０を備えていてもよい。あるいは、システム１は、カメラ９０の代わりに、もしくはカメラ９０に加えて、人感センサを備えていてもよい。

【0014】

一例では、システム１は、予め定められたエリア（監視対象エリアと呼ぶ）を監視するために用いられる。システム１において、１または複数台のカメラ９０が監視対象エリア内を撮影することによって得られた映像データを監視装置１０が分析する。これにより、監視装置１０は、通常とは異なる人物の奇異な行動、および、不審物などの事象を検出する。１または複数台のカメラ９０は、生成した映像データを蓄積し、予め決まった時間（例えば３０秒）ごと、あるいは、事象を検出するごとに、蓄積していた映像データを監視装置１０へ送信する。

【0015】

１または複数台のカメラ９０は、映像データを解析することによって、移動する物体を事象として検出する機能を有する。より詳細には、１または複数台のカメラ９０は、映像データの画像フレーム間の差分に基づいて、人、自転車、自動車、動物、及びその他の物体が移動していることを、事象として検出する。以下では、システム１が１台のカメラ９０のみを備えている（あるいは、１台のカメラ９０のみが起動している）場合について説明する。

【0016】

図２は、カメラ９０が生成する映像データの画像フレームの一例を示す。図２に示す画像フレームには、交差点内に複数の人物がいる。それぞれの人物を囲む矩形は、カメラ９０の解析部（図示せず）が事象として検出した歩行中の人物（移動する物体の一例である）の領域を示す。

【0017】

カメラ９０の解析部は、映像データの解析結果を示す情報を、ネットワーク７０を介して、監視装置１０へ送信する。また、カメラ９０は、映像データの解析結果を示す情報を、映像データに関するメタデータとして、記録装置８０に格納する。記録装置８０は、監視装置１０、２０、３０、または４０に備えられてもよい。

【0018】

〔実施形態１〕
図３から図５を参照して、実施形態１について以下で説明する。

【0019】

（監視装置１０）
図３を参照して、本実施形態１に係わる監視装置１０の構成を説明する。図３は、監視装置１０の構成を示すブロック図である。

【0020】

図３に示すように、監視装置１０は、事象検出部１２および検出時間決定部１１を備えている。

【0021】

検出時間決定部１１は、映像データから第１の事象が検出された時刻に基づいて、映像データから、第１の事象より時系列的に前または後の第２の事象を検出するための検出時間を決定する。検出時間決定部１１は、検出時間決定手段の一例である。検出時間は、第１の事象が検出された時刻よりも前の一定期間であってもよいし、第１の事象が検出された時刻よりも後の一定期間であってもよい。あるいは、検出時間は、第１の事象の検出された時刻を含んでいてもよい。

【0022】

検出時間決定部１１の一例について説明する。第１に、検出時間決定部１１は、予め定められた第１の事象の検出結果を、カメラ９０から取得する。あるいは、検出時間決定部１１は、カメラ９０から、映像データの解析結果を取得して、取得した映像データの解析結果に含まれる事象の検出結果の中から、第１の事象の検出結果を識別することによって取得してもよい。あるいは、検出時間決定部１１は、公共空間に設置された人感センサから、センシングデータとして、第１の事象の検出結果を取得してもよい。

【0023】

第２に、カメラ９０あるいは人感センサから、第１の事象の検出結果を取得したとき、検出時間決定部１１は、第１の事象と、第１の事象と関連する第２の事象に関する検出時間との対応関係を示すテーブルを参照する。このテーブルは、監視装置１０が備えた記憶部（図示せず）に格納されていてもよいし、システム１の記録装置８０（図１）に予め格納されていてもよい。

【0024】

第３に、検出時間決定部１１は、参照したテーブルに基づいて、映像データから、第１の事象と関連する第２の事象を検出するための検出時間を決定する。検出時間決定部１１は、決定した検出時間を示す情報を、事象検出部１２へ出力する。

【0025】

第１の事象と第２の事象について説明する。具体的に、第１の事象は、監視者が、その業務に応じて、何らかの対応をすべき（少なくとも気づくべき）事象である。例えば、第１の事象は、仮睡者、荷物の持ち去り、不審物の放置・置き去り、蝟集・囲い込み、または自動車の急停止である。

【0026】

具体的に、第２の事象は、第１の事象と関連する事象である。第２の事象は第１の事象に基づき、第１の事象の前後で発生する。より詳細には、第２の事象は、第１の事象の前兆、要因、誘因、または結果（誘発される事象）となる事象である。一例では、第２の事象は、長時間（数分以上あるいは数時間以上）に渡って持続する事象である。例えば、第１の事象が「自動車の急停止と停滞」である場合、第２の事象は、「自動車の急停止と停滞」を、交通違反あるいは交通事故と裏付ける事象である。この例では、第２の事象は、「速度超過」「車体形状の変化」「転倒者」「交通渋滞」「群衆」であり得る。本実施形態１では、第１の事象および第２の事象は、予め関連付けられている。しかしながら、監視装置１０が、学習データを用いて、第１の事象と関連する第２の事象を決定することもできる（具体例として実施形態３）。

【0027】

事象検出部１２は、検出時間における映像データから、第２の事象を検出する。事象検出部１２は、事象検出手段の一例である。事象検出部１２は、検出時間における映像データから、第２の事象を検出した場合、映像データから、第１の事象及び前記第２の事象と関連する第３の事象をさらに検出してもよい。

【0028】

事象検出部１２の一例について説明する。第１に、事象検出部１２は、映像データを取得する。例えば、事象検出部１２は、ネットワーク７０（図１）を介して、カメラ９０から、映像データを取得する。上述したように、映像データは、カメラ９０が監視対象エリア内を撮影することによって得られる。また、事象検出部１２は、検出時間決定部１１から、検出時間を示す情報を受信する。

【0029】

第２に、事象検出部１２は、取得した映像データから、検出時間における映像データを検出する。なお、事象検出部１２は、検出時間決定部１１から検出時間を示す情報を受信してから、その検出時間のカメラの映像データを、ネットワークを経由して取得してもよい。

【0030】

第３に、事象検出部１２は、第１の事象と第２の事象との間の関連付けを示す情報を参照する。第１の事象と第２の事象との間の関連付けを示す情報は、例えば、監視装置１０の図示しない記憶部に格納されている。なお、事象検出部１２は、検出時間決定部１１で参照された第２の事象の情報を用いてもよい。これにより、記憶部を新たに参照する必要がなくなる。

【0031】

第４に、事象検出部１２は、検出時間における映像データと第２の事象の情報を用いて、第１の事象と関連する第２の事象を検出する。例えば、事象検出部１２は、第２の事象に係わる物体または動作を識別する学習済みの識別器を用いて、検出時間における映像データから、第２の事象を検出する。あるいは、事象検出部１２は、背景差分法およびパターンマッチングなど、関連する技術を用いてもよい。ただし、第２の事象を検出する手段および方法は限定されない。

【0032】

図４は、複数の画像フレームで構成された映像データの一例を模式的に示している。図４に示すように、事象検出部１２は、映像データを解析することによって、映像データから第２の事象を検出する。図４において、ハッチング部分は、検出時間中の映像データの画像フレーム（５つのフレーム）を示す。

【0033】

第５に、事象検出部１２は、映像データから第２の事象を検出したことを示すフラグを、外部機器等へ出力する。あるいは、事象検出部１２は、第２の事象を検出している期間（一例では、映像データにおける１または連続する複数の画像フレーム番号）を示す情報を、外部機器等へ出力してもよい。

【0034】

他の例として、事象検出部１２は、映像データから第１の事象を検出しない。この場合、カメラ９０の解析部が、映像データを解析することによって、映像データから第１の事象を検出する。カメラ９０により第１の事象が検出された後、検出時間決定部１１が、映像データから、第１の事象より時系列的に前または後の第２の事象を検出するための検出時間を決定する。事象検出部１２は、決定された検出時間における映像データから、第２の事象を検出する。事象検出部１２は、第２の事象の検出結果を、外部機器等へ出力する。

【0035】

（変形例）
一変形例では、事象検出部１２は、映像データにおいて、第２の事象を検出したことを示すフラグを、監視装置１０の図示しないアラート部へ出力してもよい（具体例として実施形態４）。図示しないアラート部は、カメラ９０から、第１の事象の検出結果を取得したとき、第１のアラートを報知する。さらに、アラート部は、第２の事象が検出された場合、第２のアラートを報知する。ここで、第２の事象が検出された場合と、第１の事象のみが検出された場合とで、アラート部は、報知音や表示方法（色など）を変更してもよい。これにより、ユーザ（監視者）は、第１のアラートと第２のアラートとを区別することができる。アラート部は、監視装置１０の図示しない表示制御部と同期する。表示制御部は、事象検出部１２が取得した映像データを取得し、映像データに基づく映像をディスプレイに表示させる。一例では、表示制御部が、第２の事象が検出された画像フレームをディスプレイに表示させたとき、アラート部は、第２のアラートを報知する。

【0036】

あるいは、アラート部は、事象検出部１２から、第２の事象を検出したことを示すフラグを受信したとき、第２のアラートを報知してもよい。この場合、アラート部は、監視員が所定の停止操作を行ったことを検知するまで、第２のアラートを報知し続けてもよい。あるいは、アラート部は、タイマーによって、所定の期間、第２のアラートを報知してもよい。

【0037】

（監視装置１０の動作）
図５は、本実施形態１に係わる監視装置１０の各部が実行する処理の流れの一例を示すフローチャートである。

【0038】

図５に示すように、検出時間決定部１１は、カメラ９０から、第１の事象の検出結果を取得する（Ｓ１０１）。第１の事象の検出結果は、カメラ９０が第１の事象を検出した時刻（第１の事象の検出時刻と呼ぶ）を示す情報を含む。

【0039】

検出時間決定部１１は、第１の事象の検出結果に基づいて、第１の事象の検出時刻に応じた検出時間を決定する（Ｓ１０２）。検出時間決定部１１は、決定した検出時間を示す情報を、事象検出部１２へ出力する。

【0040】

事象検出部１２は、カメラ９０から、ネットワーク７０を介して、映像データを取得する（Ｓ１０３）。また、事象検出部１２は、検出時間決定部１１から、検出時間を示す情報を受信する。

【0041】

事象検出部１２は、検出時間における映像データから、第２の事象を検索する（Ｓ１０４）。検出時間における映像データから、第２の事象が検出されなかった場合（Ｓ１０５でＮｏ）、フローはステップＳ１０１へ戻る。一方、検出時間における映像データから、第２の事象が検出された場合（Ｓ１０５でＹｅｓ）、事象検出部１２は、第２の事象を検出したことを示すフラグを、外部機器等へ出力する。

【0042】

以上で、本実施形態１に係わる監視装置１０の動作は終了する。

【0043】

（本実施形態の効果）
本実施形態の構成によれば、検出時間決定部１１は、映像データから第１の事象が検出された時刻に基づいて、映像データから、第１の事象より時系列的に前または後の第２の事象を検出するための検出時間を決定し、事象検出部１２は、検出時間における映像データから、第２の事象を検出する。事象検出部１２は、第２の事象の検出結果を出力する。監視装置１０は、分析の対象を、映像データの全部ではなく、検出時間における映像データのみとすることができるので、映像データの解析に係わる処理量を低減することができる。

【0044】

〔実施形態２〕
図６～図７を参照して、実施形態２について説明する。なお、本実施形態２において説明する構成要素のうち、前記実施形態１で説明した構成要素と同じ部材番号を付された構成要素は、前記実施形態１で説明した構成要素と同等の機能を備える。

【0045】

（監視装置２０）
図６を参照して、本実施形態２に係わる監視装置２０の構成を説明する。図６は、監視装置２０の構成を示すブロック図である。

【0046】

図６に示すように、監視装置２０は、映像取得部２３、事象検出部２２、および検出時間決定部１１を備えている。本実施形態２に係わる映像取得部２３は、カメラ９０から、ネットワーク７０を介して、映像データを取得する。事象検出部２２は、映像取得部２３が取得した映像データから、事象を検出する。事象検出部２２は、事象検出手段の一例である。事象検出部２２は、検出時間における映像データから、第２の事象を検出した場合、映像データから、第１の事象及び前記第２の事象と関連する第３の事象をさらに検出してもよい。事象検出部２２は、第１事象検出部２２１および第２事象検出部２２２を備えている点で、前記実施形態１で説明した事象検出部１２とは異なる。

【0047】

第１事象検出部２２１は、映像データから、第１の事象を検出する。第１事象検出部２２１は、第１事象検出手段の一例である。一例では、第１事象検出部２２１は、第１の事象に係わる物体または動作を識別する学習済みの識別器を用いて、映像データから、第１の事象を検出する。あるいは、第１事象検出部２２１は、背景差分法により物体を検出する技術、および、パターンマッチングによる物体の属性判定（物体の種類または姿勢など）にかかる技術を利用して、第１の事象を検出してもよい。ただし、第１の事象を検出する手段および方法は限定されない。

【0048】

第２事象検出部２２２は、映像データから、第２の事象を検出する。第２事象検出部２２２は、第２事象検出手段の一例である。一例では、第２事象検出部２２２は、第２の事象に係わる物体または動作を識別する学習済みの識別器を用いて、映像データから、第２の事象を検出する。あるいは、第２事象検出部２２２は、第１事象検出部２２１と同様に、背景差分法およびパターンマッチングなど、関連する技術を用いてもよい。ただし、第２の事象を検出する手段および方法は限定されない。

【0049】

（監視装置２０の動作）
図７は、本実施形態２に係わる監視装置２０の各部が実行する処理の流れを示すフローチャートである。

【0050】

図７に示すように、まず、映像取得部２３は、映像データを取得する（Ｓ２０１）。映像取得部２３は、取得した映像データを、事象検出部２２の第１事象検出部２２１および第２事象検出部２２２の各々へ出力する。

【0051】

第１事象検出部２２１は、映像取得部２３から、映像データを受信する。第１事象検出部２２１は、受信した映像データから、第１の事象を検出する（Ｓ２０２）。

【0052】

第１事象検出部２２１は、第１の事象を検出した時刻を示す情報を、検出時間決定部１１へ出力する。また、第１事象検出部２２１は、第１の事象を検出したことを示すフラグを、第２事象検出部２２２へ出力する。

【0053】

検出時間決定部１１は、第１事象検出部２２１から、第１の事象を検出した時刻を示す情報を受信する。

【0054】

検出時間決定部１１は、第１の事象の検出結果に基づいて、第１の事象の検出時刻に応じた検出時間を決定する（Ｓ２０３）。検出時間決定部１１は、決定した検出時間を示す情報を、第２事象検出部２２２へ出力する。

【0055】

第２事象検出部２２２は、第１事象検出部２２１から、第１の事象を検出したことを示すフラグを受信する。また、第２事象検出部２２２は、検出時間決定部１１から、検出時間を示す情報を受信する。第２事象検出部２２２は、映像取得部２３から、映像データを取得する（Ｓ２０４）。

【0056】

第２事象検出部２２２は、検出時間における映像データから、第２の事象を検索する（Ｓ２０５）。

【0057】

検出時間における映像データから、第２の事象が検出されなかった場合（Ｓ２０６でＮｏ）、フローは、ステップＳ２０１へ戻る。一方、検出時間における映像データから第２の事象が検出された場合（Ｓ２０６でＹｅｓ）、第２事象検出部２２２は、第２の事象の検出結果を、外部機器等へ出力する（Ｓ２０７）。

【0058】

以上で、本実施形態２に係わる監視装置２０の動作は終了する。

【0059】

（本実施形態の効果）
本実施形態の構成によれば、検出時間決定部１１は、映像データから第１の事象が検出された時刻に基づいて、映像データから、第１の事象より時系列的に前または後の第２の事象を検出するための検出時間を決定し、事象検出部２２は、検出時間における映像データから、第２の事象を検出する。事象検出部２２は、第２の事象の検出結果を出力する。監視装置２０は、検出時間における映像データのみを分析の対象とするので、第２の事象を検出するための映像データの解析に係わる処理量を低減することができる。

【0060】

さらに、本実施形態の構成によれば、事象検出部２２は、映像データから、第１の事象を検出する第１事象検出部２２１と、映像データから、第２の事象を検出する第２事象検出部２２２とを備えている。そのため、監視装置３０は、カメラ９０から、第１の事象の検出結果を得る必要が無い。言い換えれば、監視装置２０は、前記実施形態１において説明したカメラ９０の解析部としての機能を取り込んでいるということもできる。

【0061】

〔実施形態３〕
図８～図１０を参照して、実施形態３について説明する。なお、本実施形態３において説明する構成要素のうち、前記実施形態１または２で説明した構成要素と同じ部材番号を付された構成要素は、前記実施形態１または２で説明した構成要素と同等の機能を備える。

【0062】

本実施形態３では、第１の事象と第２の事象とを関連付ける方法の一例を説明する。例えば、第１の事象が「交通事故」という結果であると見た場合、第２の事象は「信号無視」「速度超過」「わき見運転」「蛇行運転」など、さまざまな原因（要因）があり得る。あるいは逆に、第１の事象が「交通事故」という原因であると見た場合、第２の事象は、「車体形状の変化」「転倒者」「交通渋滞」など、さまざまな結果がありうる。本実施形態３では、同一の第１の事象と関連する複数の第２の事象が存在してもよい。以下では、一例として、第２の事象が原因であり、第１の事象が結果である場合について説明する。

【0063】

（監視装置３０）
図８を参照して、本実施形態３に係わる監視装置３０の構成を説明する。図８は、監視装置３０の構成を示すブロック図である。

【0064】

図８に示すように、監視装置３０は、映像取得部３３、事象検出部１２、および検出時間決定部１１を備えている。本実施形態３に係わる監視装置３０は、関連付け部３４をさらに備えている。

【0065】

関連付け部３４は、第１の事象と、第２の事象とを関連付ける。関連付け部３４は、関連付け手段の一例である。

【0066】

具体的には、映像取得部３３は、多数の映像データを、学習データとして取得する。本実施形態３において、第１の事象は、予め定められている。事象検出部１２は、学習データから、第１の事象、及びその他の事象を検出する。関連付け部３４は、学習データを用いて、第１の事象に対して、時系列的に前または後に生じる第２の事象の候補を学習した結果に基づいて、第１の事象と、第２の事象とを関連付ける。以下では、一例として、第１の事象より時系列的に前の第２の事象を検出するための検出時間を決定する場合について説明する。

【0067】

図９は、学習データにおける第１の事象と、第２の事象の候補との間の関連付けの一例を示す図である。図９に示すように、第２の事象の候補が検出された時刻が、第１の事象が検出された時刻から過去の方向に遠ざかるほど、第１の事象の候補と第２の事象との間の関連性が小さくなる。そこで、関連付け部３４は、学習データにおいて、第１の事象が検出された時刻から過去の方向において、ある期間（検出時間）内の映像データから検出された第２の事象の候補のみを、第１の事象と関連付ける。

【0068】

関連付け部３４は、以上のようして第１の事象と関連付けした第２の事象の候補について、スコア（関連度の一例である）を算出する。一例では、関連付け部３４は、いくつの学習データにおいて、第２の事象の候補が検出されたかに基づいて、第２の事象の候補のスコアを算出する。

【0069】

関連付け部３４は、以上のように算出したスコアを用いて、１または複数の候補の中から、第２の事象を決定し、第１の事象と第２の事象とを関連付ける。例えば、関連付け部３４は、スコアが閾値を超える１または複数の候補を、第２の事象として、第１の事象と関連付ける。

【0070】

関連付け部３４は、第１の事象と第２の事象との関連付けを示す情報を、検出時間決定部１１および事象検出部１２へ出力する。第１の事象と第２の事象との関連付けを示す情報は、学習データにおいて、第１の事象が検出された時刻を示す情報、および、学習データにおいて、第２の事象が検出された時刻を示す情報を含む。

【0071】

検出時間決定部１１は、関連付け部３４から受信した情報に基づいて、第２の事象の検出時間を決定する。例えば、検出時間決定部１１は、学習データにおいて、第２の事象が検出された時刻から、第１の事象が検出された時刻までの時間に基づいて、第２の事象の検出時間を決定する。一例では、学習データに含まれる３つの映像データにおいて、第２の事象が検出された時刻から、第１の事象が検出された時刻までの時間が、それぞれ、Ａ、Ｂ、Ｃであったとする。この場合、検出時間決定部１１は、Ａ、Ｂ、Ｃのうち、最も長いものを検出時間としてもよい。

【0072】

事象検出部１２は、関連付け部３４から受信した情報に基づいて、前記実施形態１において説明したように、映像データから、第１の事象と関連する第２の事象を検出する。あるいは、事象検出部１２は、関連付け部３４から受信した情報に基づいて、前記実施形態２において説明したように、映像データから、第１の事象および第２の事象を検出してもよい。

【0073】

（監視装置３０の動作）
図１０は、本実施形態３に係わる監視装置３０が実行する処理の流れを示すフローチャートである。

【0074】

図１０に示すように、まず、映像取得部３３は、学習データを取得する（Ｓ３０１）。一例では、映像取得部３３は、記録装置８０に格納されている学習データを取得する。映像取得部３３は、ネットワーク７０を介して、記録装置８０から、格納された学習データを取得する。映像取得部３３は、取得した学習データを、事象検出部１２へ出力する。

【0075】

事象検出部１２は、映像取得部３３から、学習データを受信する。事象検出部１２は、学習データから、第１の事象を検出する（Ｓ３０２）。事象検出部１２は、学習データにおいて、第１の事象が検出されたことを示すフラグを、関連付け部３４へ出力する。

【0076】

事象検出部１２は、学習データから、第２の事象の候補を検出する（Ｓ３０３）。事象検出部１２は、学習データにおいて、第２の事象の候補が検出されたことを示すフラグを、関連付け部３４へ出力する。

【0077】

関連付け部３４は、事象検出部１２から、第１の事象が検出されたことを示すフラグ、および、第２の事象の候補が検出されたことを示すフラグを受信する。この場合、関連付け部３４は、検出された第２の事象の候補の種類を判別し、判別した第２の事象の候補の種類のスコアを１増加する（Ｓ３０４）。

【0078】

他の学習データがある場合（Ｓ３０５でＹｅｓ）、フローはステップＳ３０１へ戻る。一方、他の学習データがない場合（Ｓ３０５でＮｏ）、フローはステップＳ３０６へ進む。

【0079】

関連付け部３４は、第２の事象の候補の種類ごとに、スコアが閾値を超えるかどうかをそれぞれ判定する（Ｓ３０６）。

【0080】

ある第２の事象の候補の種類についてのスコアが閾値を超えない場合（Ｓ３０６でＮｏ）、関連付け部３４は、当該第２の事象の候補の種類を、第２の事象として、第１の事象と関連付けず、フローは終了する。一方、ある第２の事象の候補の種類についてのスコアが閾値を超える場合（Ｓ３０６でＹｅｓ）、関連付け部３４は、当該第２の事象の候補の種類を、第２の事象として、第１の事象と関連付ける（Ｓ３０７）。その後、関連付け部３４は、第１の事象と第２の事象との間の関連付けを示す情報を、事象検出部１２へ出力する。

【0081】

なお、事象検出部１２は、関連付け部３４から受信した情報を用いて、前記実施形態１で説明したように、映像データから第２の事象を検出する。あるいは、事象検出部１２は、前記実施形態２で説明したように、映像データから第１の事象および第２の事象を検出する。

【0082】

以上で、本実施形態３に係わる監視装置３０の動作は終了する。なお、事象検出部１２が、学習データから複数の第２の事象の候補を検出した場合、監視装置３０は、それぞれの第２の事象の候補について、上述した処理を実行する。その結果として、複数の第２の事象の候補が、第２の事象として、第１の事象と関連付けられてもよい。

【0083】

（本実施形態の効果）
本実施形態の構成によれば、検出時間決定部１１は、映像データから第１の事象が検出された時刻に基づいて、映像データから、第１の事象より時系列的に前または後の第２の事象を検出するための検出時間を決定し、事象検出部１２は、検出時間における映像データから、第２の事象を検出する。事象検出部１２は、第２の事象の検出結果を出力する。監視装置３０は、検出時間における映像データのみを分析の対象とするので、映像データの解析に係わる処理量を低減することができる。

【0084】

さらに、本実施形態の構成によれば、監視装置４０は、第１の事象と、第２の事象とを関連付ける関連付け部３４をさらに備えている。一例では、関連付け部３４は、学習データを用いて、第１の事象の原因の第２の事象の候補を学習した結果に基づいて、関連度を算出し、第１の事象との間の関連度が閾値を超える第２の事象の候補を、第２の事象として、第１の事象と関連付ける。これにより、第１の事象と第２の事象とが予め関連付けられていない場合であっても、学習データに基づいて、第１の事象と、第２の事象とを関連付けることができる。

【0085】

〔実施形態４〕
図１１を参照して、実施形態４について説明する。なお、本実施形態４において説明する構成要素のうち、前記実施形態１から３のいずれかで説明した構成要素と同じ部材番号を付された構成要素は、前記実施形態１から３のいずれかで説明した構成要素と同等の機能を備える。本実施形態４において説明する構成は、前記実施形態１～３のいずれに適用することも可能である。

【0086】

本実施形態４に係わるアラート部４５は、第１の事象の検出結果をカメラ９０から取得した場合、第１の事象が検出された場合、および、第２の事象が検出された場合、それぞれ、互いに異なるアラートを報知する。

【0087】

第２の事象が検出された場合について、以下で説明する。本実施形態４では、事象検出部１２は、映像データにおいて、第２の事象を検出したことを示すフラグを、アラート部４５へ出力する。あるいは、事象検出部１２は、第２の事象を検出している期間（一例では、映像データにおける１または連続する複数の画像フレーム番号）を示す情報を、アラート部４５へ出力してもよい。

【0088】

アラート部４５は、第１の事象が検出された場合、第１のアラートを報知し、第２の事象が検出された場合、第２のアラートを報知する。アラート部４５は、アラート手段の一例である。アラート部４５は、第２の事象の検索に係わる事象検出部１２の推定処理時間を計算し、事象検出部１２の推定処理時間が、監視装置１０の許容する最大処理時間を超えるか否かを判断してもよい。そして、アラート部４５は、事象検出部１２の推定処理時間が監視装置１０の許容する最大処理時間を超える場合、第１のアラートを報知してもよい。さらに、アラート部４５は、第１の事象及び第２の事象と関連する第３の事象が検出された場合、第３のアラートを報知してもよい。

【0089】

一例では、アラート部４５は、監視装置１０の図示しない表示制御部と同期する。表示制御部は、映像取得部２３が取得した映像データを取得し、映像データに基づく映像をディスプレイに表示させる。一例では、表示制御部が、第２の事象が検出された画像フレームをディスプレイに表示させたとき、アラート部４５は、第２のアラートを報知する。

【0090】

あるいは、アラート部４５は、事象検出部１２から、第２の事象を検出したことを示すフラグを受信したとき、第２のアラートを報知してもよい。この場合、アラート部４５は、監視員が所定の停止操作を行ったことを検知するまで、第２のアラートを報知し続けてもよい。あるいは、アラート部４５は、タイマーによって、所定の期間、第２のアラートを報知してもよい。

【0091】

一例では、（第１、第２、または第３の）アラートは、音響である。この場合、アラート部４５は、第２の事象が検出された時刻に応じて、第２のアラートに相当する音響の音量を変化してもよい。特に、アラート部４５は、夜間には、日中よりも大きな音量で、第２のアラートを報知してもよい。

【0092】

他の例では、（第１、第２、または第３の）アラートは、表示である。この場合、アラート部４５は、第２の事象が検出された時刻に応じて、第２のアラートに相当する表示の強調を変化してもよい。特に、アラート部４５は、夜間には、日中よりも強い強調で、第２のアラートを報知してもよい。

【0093】

（本実施形態の効果）
本実施形態の構成によれば、検出時間決定部１１は、映像データから第１の事象が検出された時刻に基づいて、映像データから、第１の事象より時系列的に前または後の第２の事象を検出するための検出時間を決定し、事象検出部１２は、検出時間における映像データから、第２の事象を検出する。事象検出部１２は、第２の事象の検出結果を出力する。監視装置４０は、検出時間における映像データのみを分析の対象とするので、映像データの解析に係わる処理量を低減することができる。

【0094】

また、本実施形態の構成によれば、アラート部４５は、第１の事象が検出された場合、第１のアラートを報知し、第２の事象が検出された場合、第２のアラートを報知する。そのため、監視者は、第１または第２のアラートに応じて、迅速に適切な対応を行うことができる。さらに、アラート部４５は、第２の事象が検出された時刻に応じて、第２のアラートの態様を変化してもよい。これにより、監視者は、第２のアラートの態様に基づいて、適切な対応を行うことができる。例えば、監視者は、夜間に第２のアラートが報知された場合、日中に第２のアラートが報知された場合よりも、より注意して、監視を行う。

【0095】

〔ハードウェア構成について〕
前記実施形態１～４で説明した監視装置１０～４０の各構成要素は、機能単位のブロックを示している。これらの構成要素の一部又は全部は、例えば図１２に示すような情報処理装置９００により実現される。図１２は、情報処理装置９００のハードウェア構成の一例を示すブロック図である。

【0096】

図１２に示すように、情報処理装置９００は、一例として、以下のような構成を含む。

【0097】

・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３
・ＲＡＭ９０３にロードされるプログラム９０４
・プログラム９０４を格納する記憶装置９０５
・記録媒体９０６の読み書きを行うドライブ装置９０７
・通信ネットワーク９０９と接続する通信インタフェース９０８
・データの入出力を行う入出力インタフェース９１０
・各構成要素を接続するバス９１１
前記実施形態１～４で説明した監視装置１０～４０の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が読み込んで実行することで実現される。各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＯＭ９０２に格納されており、必要に応じてＣＰＵ９０１がＲＡＭ９０３にロードして実行される。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。

【0098】

上記の構成によれば、前記実施形態１～４において説明した監視装置１０～４０が、ハードウェアとして実現される。したがって、前記実施形態１～４において説明した効果と同様の効果を奏することができる。

【0099】

以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。上記実施形態（及び実施例）の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【0100】

〔付記〕
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

【0101】

（付記１）
映像データから第１の事象が検出された時刻に基づいて、前記映像データから、前記第１の事象より時系列的に前または後の第２の事象を検出するための検出時間を決定する検出時間決定手段と、
前記検出時間における前記映像データから、前記第２の事象を検出する事象検出手段と
を備えた監視装置。

【0102】

（付記２）
前記事象検出手段は、深層学習を実施した識別器を用いて、前記映像データから前記第２の事象を検出する
付記１に記載の監視装置。

【0103】

（付記３）
前記事象検出手段は、前記映像データから、前記第１の事象を検出する第１事象検出手段と、前記映像データから、前記第２の事象を検出する第２事象検出手段とを備えた
付記１または２に記載の監視装置。

【0104】

（付記４）
前記事象検出手段は、前記カメラから、前記映像データの解析結果を取得し、前記映像データの解析結果から、前記カメラが前記映像データから前記第１の事象を検出した時刻を示す情報を抽出する
付記１または２に記載の監視装置。

【0105】

（付記５）
前記第１の事象と、前記第２の事象とを関連付ける関連付け手段をさらに備えた
付記１から４のいずれか１項に記載の監視装置。

【0106】

（付記６）
前記第１の事象が検出された場合、第１のアラートを報知し、前記第２の事象が検出された場合、第２のアラートを報知するアラート手段をさらに備えた
付記１から５のいずれか１項に記載の監視装置。
（付記７）
前記アラート手段は、前記事象検出手段の推定処理時間が、当該監視装置の許容する最大処理時間を超える場合、前記第１のアラートを報知する
付記６に記載の監視装置。
（付記８）
前記事象検出手段は、前記検出時間における前記映像データから、前記第２の事象を検出した場合、前記映像データから、前記第１の事象及び前記第２の事象と関連する第３の事象をさらに検出する
付記１から５のいずれか１項に記載の監視装置。
（付記９）
前記第３の事象が検出された場合、第３のアラートを報知するアラート手段をさらに備えた
付記８に記載の監視装置。

【0107】

（付記１０）
監視装置による監視方法であって、
映像データから第１の事象が検出された時刻に基づいて、前記映像データから、前記第１の事象より時系列的に前または後の第２の事象を検出するための検出時間を決定し、
前記検出時間における前記映像データから、前記第２の事象を検出する
ことを含む監視方法。

【0108】

（付記１１）
映像データから第１の事象が検出された時刻に基づいて、前記映像データから、前記第１の事象より時系列的に前または後の第２の事象を検出するための検出時間を決定することと、
前記検出時間における前記映像データから、前記第２の事象を検出することと
をコンピュータに実行させるためのプログラムを格納した、一時的でない記録媒体。

【符号の説明】

【0109】

１ システム
１０ 監視装置
１１ 検出時間決定部
１２ 事象検出部
２０ 監視装置
２２ 事象検出部
２３ 映像取得部
２２１ 第１事象検出部
２２２ 第２事象検出部
３０ 監視装置
３３ 映像取得部
３４ 関連付け部
４０ 監視装置
４５ アラート部
９０ カメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】