(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-30
(45)【発行日】2024-10-08
(54)【発明の名称】映像監視システム及び映像監視方法
(51)【国際特許分類】
H04N 7/18 20060101AFI20241001BHJP
G06T 7/20 20170101ALI20241001BHJP
G06T 7/00 20170101ALI20241001BHJP
G08B 13/196 20060101ALI20241001BHJP
G08B 25/00 20060101ALI20241001BHJP
【ＦＩ】
H04N7/18 D
H04N7/18 K
G06T7/20 300
G06T7/00 350B
G08B13/196
G08B25/00 510M
【請求項の数】
11
(21)【出願番号】P 2021111778
(22)【出願日】2021-07-05
(65)【公開番号】P2023008315
(43)【公開日】2023-01-19
【審査請求日】2024-03-08
(73)【特許権者】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110000279
【氏名又は名称】弁理士法人ウィルフォート国際特許事務所
(72)【発明者】
【氏名】森田 健一
(72)【発明者】
【氏名】廣池 敦
(72)【発明者】
【氏名】吉永 智明
(72)【発明者】
【氏名】伊藤 良起
【審査官】益戸 宏
(56)【参考文献】
【文献】国際公開第２０１４／０５０５１８（ＷＯ，Ａ１）
【文献】特開２０１２－０７８９５０（ＪＰ，Ａ）
【文献】特開２０１６－１１９６２７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１８
Ｇ０６Ｔ ７／００
Ｇ０８Ｂ １３／１９６
Ｇ０８Ｂ ２５／００
(57)【特許請求の範囲】
【請求項1】
複数の第１の映像データのそれぞれに写る被写体の特徴を示す複数の特徴データから、所望の前記第１の映像データを検索するための前記特徴に関する検索クエリに応じて抽出した特定事象データを格納する格納部と、第２の映像データに写る被写体の特徴を示す解析結果データを生成する解析部と、
前記解析結果データと前記特定事象データとに基づいて、前記第２の映像データに特定の監視事象である特定事象が写っているか否かを検知する検知部と、を有し、
前記特定事象データは、前記検索クエリに適合する前記特徴を有する被写体ごとに、前記第１の映像データにおける当該被写体と同一の被写体の特徴を集約した複数の被写体別データを含み、
前記検知部は、前記解析結果データにて示される特徴と前記複数の被写体別データのそれぞれにて示される特徴とを比較し、当該比較結果に基づいて、前記特定事象が写っているか否かを検知し、
前記検知部は、前記特徴の第１の項目において、前記解析結果データにて示される特徴との類似度が所定類似度以上の特徴を示す前記被写体別データを抽出し、前記解析結果データにて示される特徴と当該抽出した被写体別データのそれぞれにて示される特徴とを比較する、映像監視システム。
【請求項2】
前記第１の項目は、前記被写体の行動に関する特徴を示す、請求項１に記載の映像監視システム。
【請求項3】
複数の第１の映像データのそれぞれに写る被写体の特徴を示す複数の特徴データから、所望の前記第１の映像データを検索するための前記特徴に関する検索クエリに応じて抽出した特定事象データを格納する格納部と、
第２の映像データに写る被写体の特徴を示す解析結果データを生成する解析部と、
前記解析結果データと前記特定事象データとに基づいて、前記第２の映像データに特定の監視事象である特定事象が写っているか否かを検知する検知部と、を有し、
前記特定事象データは、前記検索クエリに適合する前記特徴を有する被写体ごとに、前記第１の映像データにおける当該被写体と同一の被写体の特徴を集約した複数の被写体別データを含み、
前記検知部は、前記解析結果データにて示される特徴と前記複数の被写体別データのそれぞれにて示される特徴とを比較し、当該比較結果に基づいて、前記特定事象が写っているか否かを検知し、
前記検知部は、前記特徴の第２の項目において、前記複数の被写体別データのそれぞれの特徴の偏りを評価した評価値が所定値以上の場合、当該項目の値のうち最も頻度の高い値と前記解析結果データの当該項目の値とを比較する、映像監視システム。
【請求項4】
前記検知部は、各項目の値が一致している場合、前記特定事象が写っていると検知する、請求項３に記載の映像監視システム。
【請求項5】
前記第２の項目は、前記被写体の属性に関する特徴を示す、請求項３に記載の映像監視システム。
【請求項6】
前記特定事象データを学習データとして用いて、前記解析結果データを前記特定事象の有無でクラス分けする特定事象モデルを構築する学習部をさらに有し、前記検知部は、前記特定事象モデルを用いて、前記特定事象が写っているか否かを検知する、請求項１又は３に記載の映像監視システム。
【請求項7】
複数の第１の映像データのそれぞれに写る被写体の特徴を示す複数の特徴データから、所望の前記第１の映像データを検索するための前記特徴に関する検索クエリに応じて抽出した特定事象データを格納する格納部と、
第２の映像データに写る被写体の特徴を示す解析結果データを生成する解析部と、
前記解析結果データと前記特定事象データとに基づいて、前記第２の映像データに特定の監視事象である特定事象が写っているか否かを検知する検知部と、
前記特徴データから前記検索クエリに応じて前記特定事象データを抽出して前記格納部に登録する登録部と、を有する映像監視システム。
【請求項8】
前記特定事象が写っていた場合、前記特定事象を示すアラート情報と前記第２の映像データとを表示する統合表示部をさらに有する、請求項１に記載の映像監視システム。
【請求項9】
映像監視システムによる映像監視方法であって、複数の第１の映像データのそれぞれに写る被写体の特徴を示す複数の特徴データから、所望の前記第１の映像データを検索するための前記特徴に関する検索クエリに応じて抽出した特定事象データを格納し、
第２の映像データに写る被写体の特徴を示す解析結果データを生成し、
前記解析結果データと前記特定事象データとに基づいて、前記第２の映像データに特定の監視事象である特定事象が写っているか否かを検知し、
前記特定事象データは、前記検索クエリに適合する前記特徴を有する被写体ごとに、前記第１の映像データにおける当該被写体と同一の被写体の特徴を集約した複数の被写体別データを含み、
前記検知では、前記解析結果データにて示される特徴と前記複数の被写体別データのそれぞれにて示される特徴とを比較し、当該比較結果に基づいて、前記特定事象が写っているか否かを検知し、
前記検知では、前記特徴の第１の項目において、前記解析結果データにて示される特徴との類似度が所定類似度以上の特徴を示す前記被写体別データを抽出し、前記解析結果データにて示される特徴と当該抽出した被写体別データのそれぞれにて示される特徴とを比較する、映像監視方法。
【請求項10】
映像監視システムによる映像監視方法であって、
複数の第１の映像データのそれぞれに写る被写体の特徴を示す複数の特徴データから、所望の前記第１の映像データを検索するための前記特徴に関する検索クエリに応じて抽出した特定事象データを格納し、
第２の映像データに写る被写体の特徴を示す解析結果データを生成し、
前記解析結果データと前記特定事象データとに基づいて、前記第２の映像データに特定の監視事象である特定事象が写っているか否かを検知し、
前記特定事象データは、前記検索クエリに適合する前記特徴を有する被写体ごとに、前記第１の映像データにおける当該被写体と同一の被写体の特徴を集約した複数の被写体別データを含み、
前記検知では、前記解析結果データにて示される特徴と前記複数の被写体別データのそれぞれにて示される特徴とを比較し、当該比較結果に基づいて、前記特定事象が写っているか否かを検知し、
前記検知では、前記特徴の第２の項目において、前記複数の被写体別データのそれぞれの特徴の偏りを評価した評価値が所定値以上の場合、当該項目の値のうち最も頻度の高い値と前記解析結果データの当該項目の値とを比較する、映像監視方法。
【請求項11】
映像監視システムによる映像監視方法であって、
複数の第１の映像データのそれぞれに写る被写体の特徴を示す複数の特徴データから、所望の前記第１の映像データを検索するための前記特徴に関する検索クエリに応じて抽出した特定事象データを格納し、
第２の映像データに写る被写体の特徴を示す解析結果データを生成し、
前記解析結果データと前記特定事象データとに基づいて、前記第２の映像データに特定の監視事象である特定事象が写っているか否かを検知し、
前記特徴データから前記検索クエリに応じて前記特定事象データを抽出して登録する、映像監視方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、映像監視システム及び映像監視方法に関する。
【背景技術】
【0002】
警備業務及び監視業務などでは、監視場所に設置されたカメラなどから送信されてきた監視映像を表示する映像監視システムが使用されており、監視員は、監視映像を確認することで、特定の監視事象である特定事象を察知することが重要である。なお、特定事象は、例えば、犯罪又は事故などのインシデント、及び、警備、警察又は救急による対処が必要な事象などである。
【0003】
特定事象を察知するためには、監視員及び警備員などの管理者は、場所及び時間などを考慮しながら、監視映像に写されている人物及び物体などの対象に関する外見及び動作に違和があるか否かを判断している。このため、特定事象の察知には、管理者の経験又は勘などが必要であり、言語化及び伝承が難しいという問題がある。
【0004】
これに対して特許文献１には、インシデントを写した過去の監視映像に対して、インシデントの発生可能レベルを属性情報としてユーザが登録する映像監視システムが開示されている。この映像監視システムは、登録された属性情報に基づいて、新たな監視映像からインシデントを検出している。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１９－１９８０００号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献１に記載の技術では、監視映像を確認したユーザがインシデントに関する適切な属性情報を登録できることが前提となっているため、監視業務についての専門的な知見のあるユーザがいない場合、インシデントを正確に検出できないという問題がある。
【0007】
本開示の目的は、専門的な知見を有するユーザがいなくても特定事象を検知することが可能な映像監視システム及び映像監視方法を提供することにある。
【課題を解決するための手段】
【0008】
本開示の一態様に従う映像監視システムは、複数の第１の映像データのそれぞれに写る被写体の特徴を示す複数の特徴データから、所望の前記第１の映像データを検索するための前記特徴に関する検索クエリに応じて抽出した特定事象データを格納する格納部と、第２の映像データに写る被写体の特徴を示す解析結果データを生成する解析部と、前記解析結果データと前記特定事象データとに基づいて、前記第２の映像データに写る特定の監視事象である特定事象の有無を検知する検知部と、を有する。
【発明の効果】
【0009】
本発明によれば、専門的な知見を有するユーザがいなくても特定事象を察知することが可能になる。
【図面の簡単な説明】
【0010】
【図1】本開示の第１の実施形態の映像監視システムの一例を示す図である。
【図2】検索クエリテーブルの一例を示す図である。
【図3】フレーム別テーブルの一例を示す図である
【図4】追跡ＩＤ別テーブルの一例を示す図である。
【図5】映像検索処理の一例について説明するためのフローチャートである。
【図6】調整処理の一例を説明するためのフローチャートである。
【図7】本開示の第１の実施形態の映像監視システムの別の例を示す図である。
【図8】特定事象検知処理の一例を説明するためのフローチャートである。
【図9】特定事象判定処理の一例を説明するためのフローチャートである。
【図10】特定事象判定処理の一例を説明するための図である。
【図11】本開示の第１の実施形態の映像監視システムの別の例を示す図である。
【図12】本開示の第２の実施形態の映像監視システムの一例を示す図である。
【図13】本開示の第２の実施形態の映像監視システムの別の例を示す図である。
【図14】特定事象検知処理の別の例を説明するためのフローチャートである。
【発明を実施するための形態】
【0011】
以下、本開示の実施形態について図面を参照して説明する。
【0012】
以下で説明する本実施形態の映像監視システムは、映像データに写る所定の被写体の特徴を示す特徴データから、特定の監視事象である特定事象に関するデータである特定事象データを抽出して蓄積し、その蓄積された特定事象データに基づいて、監視対象の映像データに写る特定事象を検知するシステムである。特定事象は、例えば、犯罪又は事故などのインシデント、及び、警備、警察又は救急による対処が必要な事象、又は、それらのインシデント又は事象が発生する予兆となる事象などである。
【0013】
図１は、本開示の第１の実施形態の映像監視システムにおける特定事象データを蓄積するための構成を示す図である。図１において、映像監視システムは、映像配信装置１と、映像処理装置２と、ＦＤＢ（Feature Database：特徴データベース）サーバ３と、ユーザ端末４と、映像検索装置５と、特定事象ＤＢサーバ６とを有する。各装置１～６は、例えば、不図示の通信ネットワークを介して、相互に通信可能に接続される。
【0014】
映像配信装置１は、映像データを配信する装置である。映像配信装置１は、本実施形態では、所定の監視場所を写した映像データを取得して配信するカメラであるが、レコーダ又はＶＭＳ（Video Management System）などでもよい。映像データは、本実施形態では、複数のフレームから構成される動画像データである。また、映像配信装置１は、映像データのみを配信するか、映像データに対してその映像データに関するメタ情報を付与して配信する。メタ情報は、例えば、当該映像配信装置１を識別する識別情報であるカメラＩＤ、及び、映像データを取得した日時である取得日時などである。
【0015】
映像処理装置２は、映像配信装置１にて配信された映像データに対して所定の映像解析処理を行う装置である。映像処理装置２は、具体的には、映像入力部２１と、映像解析部２２と、ＦＤＢ登録部２３とを有する。
【0016】
映像入力部２１は、映像配信装置１にて配信された映像データを受け付ける。映像データは、図１の例では、特定事象データを生成するための第１の映像データである。
【0017】
映像解析部２２は、映像入力部２１が受け付けた映像データに対して所定の映像解析処理を行う。映像解析処理は、映像データに写る所定の被写体の特徴を推定（取得）する特徴推定処理を含む。所定の被写体は、本実施形態では、人物であるが、人物以外の動物又は物体などでもよい。
【0018】
特徴推定処理は、所定の被写体である人物を検知する人物検知処理、人物検知処理にて検知された検知人物の属性を推定する属性推定処理、及び、検知人物の行動を推定する行動推定処理などである。この場合、検知人物の属性及び行動が特徴となる。属性は、外見的な属性（外見から判定される属性）であり、例えば、年齢（年齢区分）、性別、及び、衣服の色などである。行動は、例えば、走る、及び、キョロキョロする（周囲を見回す）などである。なお、映像解析処理は、映像データの背景を認識する背景認識処理、及び、検知人物の骨格を推定する骨格推定処理のような、特徴推定処理を行うための処理を含む。また、特徴推定処理は、映像データのフレームごとに行われ、複数のフレームに共通する人物が写っている場合には、その共通人物を特定する追跡処理を含む。また、特徴推定処理は、映像データのフレームの人物が映っている領域の画像特徴量を人物画像特徴量として算出する処理を含んでもよい。
【0019】
ＦＤＢ登録部２３は、映像入力部２１が受け付けた映像データと、映像解析部２２による映像データに対する映像解析処理の処理結果を示す特徴データとをＦＤＢサーバ３に登録する。特徴データは、例えば、映像データのフレームごとに、カメラＩＤと、取得日時と、そのフレームに写る人物の特徴を示す特徴情報と対応付けたデータである。映像データにメタ情報が付与されていない場合、ＦＤＢ登録部２３がカメラＩＤ及び取得日時を生成してもよい。特徴情報は、特徴の種類のそれぞれに対応する複数の推定項目を有する。推定項目には、人物の行動に関する特徴を示す行動項目と、人物の属性に関する特徴を示す属性項目と、人物画像特徴量を示す画像特徴項目とがある。行動項目及び属性項目は、それぞれ複数あってもよい。
【0020】
行動項目の項目値は、行動項目に対応する行動の有無を示す。属性項目の項目値は、属性項目に対応する属性を示す。属性が年齢区分の場合、項目値は、例えば、１５歳以下であれが「０」、１５～４５歳であれば「１」、４５歳～６０歳であれば「２」、６０歳以上であれば「３」を示す。
【0021】
ＦＤＢサーバ３は、映像データ及び特徴データを格納するストレージ部であるＦＤＢ３１を有するサーバである。
【0022】
ユーザ端末４は、映像監視システムを利用するユーザにて操作される端末装置である。ユーザ端末４は、入力部４１と、表示部４２とを有する。入力部４１は、ユーザから所望の映像データを検索するための検索クエリ（検索条件）である映像検索クエリのような種々の情報を受け付けて映像検索装置５に送信する。表示部４２は、映像検索クエリに対する応答である検索結果のような種々の情報を受け付けて表示する。映像検索クエリは、例えば、カメラＩＤ、取得日時及び特徴情報に関する検索条件を含む。
【0023】
映像検索装置５は、ユーザ端末４からの映像検索クエリに基づいて、ＦＤＢ３１から映像データを検索する装置である。映像検索装置５は、映像検索部５１と、特定事象ＤＢ登録部５２とを有する。
【0024】
映像検索部５１は、ユーザ端末４からの映像検索クエリに適合する映像データをＦＤＢ３１から検索し、その検索結果をユーザ端末４に送信する。映像検索部５１は、具体的には、ＦＤＢ３１に格納されている特徴データに基づいて、映像検索クエリの検索条件に適合する特徴を有する人物である追跡対象人物を写した映像データを検索する。
【0025】
特定事象ＤＢ登録部５２は、ＦＤＢサーバ３のＦＤＢ３１に格納された特徴データから、映像検索クエリに応じた特徴データを、特定事象に関する特定事象データとして抽出して特定事象ＤＢサーバ６に登録する登録部である。具体的には、特定事象ＤＢ登録部５２は、映像検索部５１にて映像検索クエリに応じて検索された映像データである検索映像データに対応する特徴データを、特定事象データとして特定事象ＤＢサーバ６に登録する。特定事象データは、特徴データをフレーム事に集約したフレーム別テーブルと、追跡対象人物ごとに特徴データを集約した追跡ＩＤ別テーブルとを含む。追跡ＩＤ別テーブルは、フレーム別テーブルから生成される。また、特定事象ＤＢ登録部５２は、映像検索クエリを特定事象ＤＢサーバ６に登録してもよい。このとき、特定事象ＤＢ登録部５２は、例えば、映像検索クエリを集めた検索クエリテーブルの形式で登録してもよいし、フレーム別テーブルに追加する形式で登録してもよいし、その両方の形式で登録してもよい。
【0026】
特定事象ＤＢサーバ６は、映像検索クエリと特定事象データとを格納する格納部である特定事象ＤＢ６１を有するサーバである。
【0027】
【0028】
フィールド２０１は、映像データを取得した映像配信装置１のカメラＩＤを格納する。フィールド２０２は、映像データを取得した時間帯を格納する。フィールド２０３は、特徴情報の行動項目ごとに設けられ、その行動項目が検索対象として指定されたか否かを示す行動特徴指定情報を格納する。図２の例では、行動特徴指定情報は、行動項目が指定された場合、「１」を示し、行動項目が指定されていない場合、「０」を示す。フィールド２０４は、特徴情報の属性項目ごとに設けられ、その属性項目の取り得る項目値のいずれかを指定する指定値を示す属性特徴指定情報を格納する。なお、映像検索クエリは、フィールド２０１～２０４の全てに対して値を有する必要はない。
【0029】
【0030】
フィールド３０１は、検索映像データを取得した映像配信装置１のカメラＩＤを格納する。フィールド３０２は、検索映像データのフレームを識別するフレームＩＤを格納する。フィールド３０３は、当該フレームが取得された時刻を格納する。フィールド３０４は、当該フレームに写る各人物を識別する人物ＩＤのうち追跡対象人物を識別する人物ＩＤを格納する。フィールド３０５は、当該フレームに写る追跡対象人物を識別する追跡ＩＤを格納する。なお、人物ＩＤは、フレーム内における人物をするＩＤであり、追跡ＩＤは、フレーム間で同一人物に割り当てられるＩＤである。
【0031】
フィールド３０６は、行動項目ごとに設けられ、当該フレームに写る追跡対象人物に対する当該行動項目の項目値及び確信度を格納する。フィールド３０７は、属性項目ごとに設けられ、当該フレームに写る追跡対象人物に対する当該属性項目の項目値及び確信度を格納する。本実施形態では、フィールド３０６及び３０７は、「１，０．９」のような「項目値，確信度」で表される数値列の形式で項目値及び確信度を格納している。フィールド３０８は、当該フレームの人物画像特徴量を格納する。
【0032】
なお、映像検索クエリをフレーム別テーブルに付与する場合には、例えば、フレーム別テーブル３００に映像検索クエリを格納するフィールドが追加される。そのフィールドには、例えば、映像検索クエリで指定された項目（例えば、運動項目Ａ及びＢ、年齢区分など）が格納される。
【0033】
【0034】
フィールド４０１は、追跡対象人物を写したフレームを有する映像データを取得した映像配信装置１のカメラＩＤを格納する。フィールド４０２は、追跡対象人物を写した各フレームの取得時間を格納する。フィールド４０３は、追跡対象人物を識別する追跡ＩＤを格納する。フィールド４０４は、行動項目ごとに設けられ、追跡対象人物に対する当該行動項目の項目値を集約した集約値を格納する。フィールド４０５は、属性項目ごとに設けられ、追跡対象人物に対する当該属性項目の項目値を集約した集約値を格納する。フィールド４０６は、追跡対象人物を写した各フレームの人物画像特徴量を集約した集約値を格納する。
【0035】
図５は、映像監視システムの映像検索処理の一例について説明するためのフローチャートである。
【0036】
先ず、ユーザ端末４の入力部４１は、ユーザから映像検索クエリを受け付け、その映像検索クエリを映像検索装置５に送信する。映像検索装置５の映像検索部５１は、ユーザ端末４からの映像検索クエリを受信すると、映像検索クエリに適合する特徴を有する人物である追跡対象人物を写した映像データをＦＤＢサーバ３から検索する（ステップＳ１０１）。そして、特定事象ＤＢ登録部５２は、映像検索クエリを検索クエリテーブルのレコードとして特定事象ＤＢサーバ６の特定事象ＤＢ６１に登録する（ステップＳ１０２）。
【0037】
映像検索部５１は、検索した映像データである検索映像データのリストを検索結果としてユーザ端末４に送信する。ユーザ端末４の表示部４２は、検索結果を受信し、その検索結果を表示する（ステップＳ１０３）。なお、検索結果は、検索映像データのサムネイル画像などを含んでもよい。
【0038】
入力部４１は、ユーザから、検索結果にて示される検索映像データのいずれかを選択する選択要求を受け付け、その選択要求を映像検索装置５に送信する。映像検索装置５は、ユーザ端末４からの選択要求にて選択された検索映像データである選択映像データをユーザ端末４に送信する。ユーザ端末４の表示部４２は、選択映像データを受信し、その選択映像データを表示（再生）する（ステップＳ１０４）。
【0039】
また、映像検索装置５の特定事象ＤＢ登録部５２は、選択映像データから映像検索クエリと最も精度よく適合する人物を追跡対象人物として特定する（ステップＳ１０５）。特定事象ＤＢ登録部５２は、ＦＤＢ３１に格納された選択映像データに対応する特徴データから対象人物を識別する追跡ＩＤを抽出する（ステップＳ１０６）。
【0040】
特定事象ＤＢ登録部５２は、抽出した追跡ＩＤを含む特徴データ（追跡対象人物を写した全てのフレームのそれぞれに対応する特徴データ）をＦＤＢ３１から抽出し、その特徴データをフレーム別テーブルとして特定事象ＤＢサーバ６の特定事象ＤＢ６１に登録する（ステップＳ１０７）。
【0041】
その後、特定事象ＤＢ登録部５２は、フレーム別テーブルに基づいて、追跡ＩＤ別テーブルを生成して特定事象ＤＢサーバ６の特定事象ＤＢ６１に登録し（ステップＳ１０８）、検索処理を終了する。
【0042】
追跡ＩＤ別テーブルの各推定項目の項目値は、例えば、以下の３つの第１～第３の方法のいずれかにて決定される。
【0043】
第１の方法では、特定事象ＤＢ登録部５２は、推定項目ごとに、フレーム別テーブルにおいて確信度が判定閾値以上の項目値の中で最も出現頻度の高い項目値を、追跡ＩＤ別テーブルの項目値とする。
【0044】
第２の方法では、特定事象ＤＢ登録部５２は、推定項目ごとに、フレーム別テーブルにおいて最も出現頻度の高い項目値を最頻推定値として特定し、行動項目については、最頻推定値にその最頻推定値の出現頻度を乗算した値を追跡ＩＤ別テーブルの項目値、属性項目については、最頻推定値を追跡ＩＤ別テーブルの項目値とする。ここで、出現頻度は、追跡ＩＤの対象人物が写るフレームの総数である総フレーム数に対する推定値に対応するフレームの数の割合である。例えば、総フレーム数が１０００であり、年齢区分が「１」のフレーム数が１００、年齢区分が「２」のフレーム数が３００の場合、年齢区分が「１」の出現頻度は、１００／１０００＝０．１となり、年齢区分が「２」の出現頻度は、３００／１０００＝０．３となる。
【0045】
第３の方法では、特定事象ＤＢ登録部５２は、推定項目ごとに、フレーム別テーブルにおける各フレームに対応する項目値を繋いだベクトル値を追跡ＩＤ別テーブルの項目値として算出する。このとき、特定事象ＤＢ登録部５２は、ベクトル値の要素を間引くなどして、所定の次元数のベクトル値に正規化してもよい。
【0046】
以上説明した検索処理に係る構成及び動作では、特定事象ＤＢ登録部５２は、映像検索クエリに応じた特徴データを特定事象データとして登録していたが、特定事象データとして登録する特徴データはユーザ端末４を介してユーザから直接指定されてもよい。この場合、特定事象ＤＢ登録部５２は、特徴データを指定するためのインタフェースをユーザ端末４に提供してもよい。
【0047】
また、映像検索クエリでは、推定項目の項目値のみが指定されていたが、推定項目の項目値だけでなく、項目値の確信度に対する閾値である検索閾値をさらに含んでもよい。この場合、例えば、図２に示した検索クエリテーブルのフィールド２０３及び２０４は、「１，０．８」のような「指定値，検索閾値」で表される数値列を格納する。また、行動Ａ（走る）に対応する行動項目が「１，０．８」となる場合、映像検索部５１は、確信度が０．８以上で「１」と判断された映像データを検索する。検索閾値は、特定事象ＤＢ登録部５２にて調整されてもよい。
【0048】
図６は、検索閾値を調整する調整処理の一例を説明するためのフローチャートである。調整処理は、映像検索装置５の映像検索部５１がユーザ端末４からの映像検索クエリを受信した際に実行される。あるいは、調整処理は、映像検索装置５の映像検索部５１がユーザ端末４からのユーザの操作に基づく調整指示を受信した際に実行されてもよい。
【0049】
調整処理では、先ず、特定事象ＤＢ登録部５２は、特定事象ＤＢサーバ６の特定事象ＤＢ６１に登録されてるフレーム別テーブルを参照する（ステップＳ２０１）。そして、特定事象ＤＢ登録部５２は、映像検索クエリに含まれる推定項目ごとに、その推定項目の各項目値の確信度をフレーム別テーブルから取得する（ステップＳ２０２）。
【0050】
特定事象ＤＢ登録部５２は、推定項目ごとに、各項目値の確信度の統計値として最小値を算出する（ステップＳ２０３）。統計値は、最小値に限らず、例えば、平均値、又は、平均値から標準偏差を減算した値などでもよい。
【0051】
特定事象ＤＢ登録部５２は、検索閾値の調整を行うか否かの選択を要求する要求画面をユーザ端末４に送信する。ユーザ端末４の表示部４２は、要求画面を受信し、その要求画面を表示する（ステップＳ２０４）。その後、入力部４１は、検索閾値の調整を行う旨の調整要求を受け付けると、その調整要求を映像検索装置５に送信する。映像検索装置５の特定事象ＤＢ登録部５２は、調整要求を受け付けると、推定項目ごとに、各項目値の検索閾値を上記の確信度の最小値に設定し（ステップＳ２０５）、調整処理を終了する。なお、特定事象ＤＢ登録部５２は、要求画面を表示せずに、自動的に項目値の検索閾値を上記の確信度の最小値に設定してもよい。
【0052】
図７は、映像監視システムにおける特定事象を検知するための構成が示されている。図７に示した映像監視システムは、図１に示した映像監視システムと比較して、映像検索装置５の代わりに、特定事象検索装置７を有する点で異なる。ただし、映像監視システムは、映像検索装置５と特定事象検索装置７との両方を備えるものでもよいし、映像検索装置５と特定事象検索装置７とが物理的に同一の装置で構成されてもよい。
【0053】
なお、図７の例では、映像処理装置２の映像入力部２１が映像配信装置１から受け付ける映像データは、特定事象が写っているか否かを検知する検知対象の第２の映像データであり、映像解析部２２は、第２の映像データに対して映像解析処理を行い、その処理結果を解析結果データとして特定事象検索装置７に送信する。映像解析処理は、図１などで説明した処理と同様であり、解析結果データは特徴データと同様なデータでよい。
【0054】
特定事象検索装置７は、映像データに特定事象が写っているか否かを検知する検知装置である。特定事象検索装置７は、特定事象検索部７１と、統合表示部７２とを有する。
【0055】
特定事象検索部７１は、映像処理装置２の映像解析部２２による映像データに対する映像解析処理の処理結果である解析結果データと、特定事象ＤＢサーバ６の特定事象ＤＢ６１に格納されている特定事象データとに基づいて、映像データに特定事象が写っているか否かを検知する。
【0056】
統合表示部７２は、特定事象検索部７１にて特定事象が検知された場合、特定事象を示すアラート情報と映像データとを統合してユーザ端末４に送信することで、アラート情報及び映像データをユーザ端末４の表示部４２に表示する。アラート情報は、例えば、ポップアップ情報として映像データに統合される。
【0057】
なお、特定事象ＤＢ６１に格納されている特定事象データは、図１で示した映像監視システムにて蓄積されたものに加えて、例えば、他の映像監視システムで取得されてクラウド上に格納された特徴データ及び特定事象データなどに基づいて追加されてもよい。また、映像監視システムがクラウドに特徴データ及び特定事象データをアップロードしてもよい。
【0058】
図８は、映像監視システムによる特定事象を検知する特定事象検知処理の一例を説明するためのフローチャートである。
【0059】
先ず、映像処理装置２の映像入力部２１が映像データを受け付けると（ステップＳ３０１）、映像解析部２２は、その映像データに対して映像解析処理を行い、映像解析処理の結果である解析結果データと映像データとを特定事象検索装置７に送信する（ステップＳ３０２）。
【0060】
特定事象検索装置７の特定事象検索部７１は、映像処理装置２からの解析結果データに基づいて、特定事象データを検索するための検索クエリである事象検索クエリを生成する。特定事象検索部７１は、事象検索クエリに基づいて、特定事象ＤＢ６１に格納されている特定事象データを検索する（ステップＳ３０３）。
【0061】
特定事象検索部７１は、検索結果を解析して映像データに特定事象が写っているか否かを判断する（ステップＳ３０４）。
【0062】
特定事象が写っていない場合、統合表示部７２は、映像データをユーザ端末４に送信する。ユーザ端末４の表示部４２は、映像データを受け付け、その映像データを表示し（ステップＳ３０５）、処理を終了する。
【0063】
一方、特定事象が写っている場合、統合表示部７２は、アラート情報を生成し、映像データ及びアラート情報をユーザ端末４に送信する。ユーザ端末４の表示部４２は、映像データ及びアラート情報を受け付け、その映像データ及びアラート情報を表示し（ステップＳ３０６）、処理を終了する。
【0064】
【0065】
先ず、特定事象検索部７１は、映像処理装置２からの解析結果データを取得する（ステップＳ４０１）。解析結果データは、映像データにおける最新のフレームに対応する処理結果だけでなく、その最新のフレームに写っている各人物の追跡ＩＤに紐づいた処理結果を含む。
【0066】
特定事象検索部７１は、解析結果データを、追跡ＩＤごとに、その追跡ＩＤの追跡対象人物に関する特徴データを集約した追跡ＩＤ別のデータに変換する（ステップＳ４０２）。変換方法は、フレーム別テーブルから追跡ＩＤ別テーブルを変換する方法と同様である。図１０では、追跡ＩＤ別の解析結果データの一例として解析結果データ５００が示されている。
【0067】
特定事象検索部７１は、追跡ＩＤ別の解析結果データのうち、第１の項目である行動項目（図１０の項目５０１）の項目値で構成されるベクトルを検索条件とする事象検索クエリを生成し、特定事象ＤＢ６１に格納されている追跡ＩＤ別テーブルを検索する（ステップＳ４０３）。ここでは、特定事象検索部７１は、行動項目において、事象検索クエリと追跡別テーブル（図１０のテーブル５５０）の各レコードとの類似度を算出し、類似度が高い方から降順に各レコードをソートする。類似度としては、例えば、ユークリッド距離のような特徴量間の距離の逆数を使用することができる。また、行動項目が複数ある場合、特定事象検索部７１は、各行動項目の類似度の総和又は平均値などの統計値を事象検索クエリと追跡別テーブルの各レコードとの類似度として算出してもよい。
【0068】
特定事象検索部７１は、追跡別テーブルから類似度が所定類似度未満のレコードを除去して、類似度が所定類似度以上のデータを抽出する（ステップＳ４０４）。なお、抽出されたデータの数が設定値以下の場合、特定事象検索部７１は、追跡別テーブルから類似度が最も高いデータを抽出してもよい。設定値は、例えば、０である。
【0069】
特定事象検索部７１は、行動項目以外の第２の項目（属性項目、カメラＩＤ及び取得時刻など）のそれぞれについて、項目値の分布を解析して、項目値の分布の偏り（局在性）を評価した評価値を算出する（ステップＳ４０５）。評価値は、例えば、標準偏差などである。
【0070】
特定事象検索部７１は、評価値が所定評価値以上の項目を偏り項目として抽出する（ステップＳ４０６）。
【0071】
特定事象検索部７１は、偏り項目について、追跡別テーブルにおいて最も頻度の高い項目値である最頻値と事象検索クエリの項目値とを比較する（ステップＳ４０７）。
【0072】
特定事象検索部７１は、それらの項目値が一致する場合、映像データに特定事象が写っていると判断し、アラート情報を生成する（ステップＳ４０８）。本実施形態では、特定事象検索部７１は、全ての偏り項目について項目値が一致している場合、アラート情報として特定事象が高確率で写っていることを示す警告アラートを生成し、偏り項目の一部について項目値が一致している場合、アラート情報として特定事象が写っている可能性があることを示す注意アラートを生成する。
【0073】
なお、特定事象検索部７１は、アラート情報と、特定事象が写っていると判断した映像データを特定する特定事象ＩＤとを対応づけて特定事象ＤＢ６１に格納してもよい。また、お、全ての偏り項目について項目値が一致しなかった場合、特定事象検索部７１は、特定事象が写っている可能性が低い旨の低アラート情報を特定事象ＩＤと対応づけて特定事象ＤＢ６１に格納してもよい。また、低アラート情報の代わりに注意アラートが用いられてもよい。
【0074】
図１１は、映像監視システムにおける特定事象のリストを表示する構成が示されている。図１１に示した映像監視システムは、図７に示した映像監視システムと比較して、特定事象検索装置７が特定事象検索部７１及び統合表示部７２を備える代わりに、コンテンツ生成部７３を備える点で異なる。ただし、特定事象検索装置７は、特定事象検索部７１、統合表示部７２及びコンテンツ生成部７３を備えるものでもよい。
【0075】
コンテンツ生成部７３は、特定事象ＤＢ６１に格納されている特定事象ＩＤのリストを特定事象リストとして生成し、その特定事象ＩＤのいずれかを選択する事象選択画面を表示部４２に表示する。その後、入力部４１が特定事象ＩＤのいずれかを選択した場合、コンテンツ生成部７３は、その選択された特定事象ＩＤに対応する映像データをＦＤＢ３１などから取得してユーザ端末４に送信することで、表示部４２に表示する。また、コンテンツ生成部７３は、その映像データに関連する関連映像データを、例えば、ＦＤＢ３１、特定事象ＤＢ６１又は映像配信装置１（レコーダの場合）から取得して表示部４２に表示してもよい。関連映像データは、例えば、映像データに写っている人物と同じ人物が写っている映像データなどである。
【0076】
なお、特定事象ＤＢ６１は、コンテンツ生成部７３にて生成されたコンテンツ（映像データ及び関連映像データ）を保持してもよい。また、本コンテンツはクラウドなどにアップロードされてもよい。
【0077】
以上説明したように本実施形態によれば、特定事象ＤＢ６１は、複数の第１の映像データのそれぞれに写る被写体の特徴を示す複数の特徴データから、所望の第１の映像データを検索するための特徴に関する検索クエリに応じて抽出した特定事象データを格納する。映像解析部２２は、第２の映像データに写る被写体の特徴を示す解析結果データを生成する。特定事象検索部７１は、解析結果データと特定事象データとに基づいて、第２の映像データに特定の監視事象である特定事象が写っているか否かを検知する。したがって、ユーザが特定事象の写っている可能性があると考えて検索した過去の検索実績に基づいて特定事象が写っているか否かが検知されるので、専門的な知見を有するユーザがいなくても特定事象を検知することが可能となる。
【0078】
また、本実施形態では、特定事象検索部７１は、解析結果データにて示される特徴と被写体別データ（追跡ＩＤ別テーブルの各レコード）にて示される特徴とを比較し、その比較結果に基づいて、特定事象が写っているか否かを検知する。このため、過去に検索された画像の特徴に基づいて特定事象が検知されるため、特定事象が写っているか否かをより精度よく検知することが可能となる。
【0079】
また、本実施形態では、特定事象検索部７１は、特徴の第１の項目において、解析結果データにて示される特徴との類似度が所定類似度以上の特徴を示す被写体別データを抽出し、前記解析結果データにて示される特徴と当該抽出した被写体別データのそれぞれにて示される特徴とを比較する。第１の項目は、行動項目であることが好ましい。この場合、特定事象が写っているか否かをより精度よく検知することが可能となる。
【0080】
また、本実施形態では、特定事象検索部７１は、特徴の第２の項目において、複数の被写体別データのそれぞれの特徴の偏りを評価した評価値が所定値以上の場合、当該項目の値のうち最も頻度の高い値と解析結果データの当該項目の値とを比較する。そして、特定事象検索部７１は、各項目の値が一致している場合、特定事象が写っていると検知する。第１の項目は、属性項目を含むことが好ましい。この場合、特定事象が写っているか否かをより精度よく検知することが可能となる。
【0081】
また、本実施形態では、特定事象ＤＢ登録部５２は、特徴データから映像検索クエリに応じて特定事象データを抽出して特定事象ＤＢ６１に登録する。このため、特定事象データを更新していくことが可能となるため、特定事象が写っているか否かをより精度よく検知することが可能となる。
【0082】
また、本実施形態では、特定事象ＤＢ登録部５２は、映像検索クエリに適合した特徴データのうちユーザにて選択された特徴データを特定事象データとして抽出する。このため、ユーザが特定事象の写っている可能性が高いと考えて検索した過去の検索実績に基づいて特定事象が写っているか否かが検知されるので、特定事象が写っているか否かをより精度よく検知することが可能となる。
【0083】
また、本実施形態では、統合表示部７２は、特定事象が写っていた場合、特定事象を示すアラート情報と第２の映像データとを表示する。このため、ユーザに特定事象が写っていることを適切に通知することが可能になる。
【0084】
（第２の実施形態）
本実施形態では、機械学習を用いて特定事象を特定する場合における映像監視システムについて説明する。
本実施形態では、機械学習を用いて特定事象を特定する場合における映像監視システムについて説明する。
【0085】
図１２は、本実施形態の映像監視システムにおける機械学習を行う構成を示す図である。図１２に示す映像監視システムは、図１に示した映像監視システムと比較して、機械学習装置８をさらに有する点で言雄なる。なお、機械学習装置８は、映像検索装置５と物理的に同一の装置で構成されてもよい。
【0086】
機械学習装置８は、特定事象ＤＢサーバ６の特定事象ＤＢ６１に格納されている特定事象データに基づいて、特定事象を検知するための機械学習モデルである特定事象モデルを構築する。機械学習装置８は、特定事象学習部８１と、特定事象モデル部８２とを有する。
【0087】
特定事象学習部８１は、特定事象ＤＢサーバ６の特定事象ＤＢ６１に格納されている特定事象データを学習データとして用いて、映像解析部２２の解析結果データを特定事象の有無でクラス分けする特定事象モデルを構築する。例えば、特定事象学習部８１は、特定事象データのカメラＩＤ及び取得時刻などをデータ、行動項目及び属性項目の項目値（推定クラス）及び確信度を教師ラベルとした、マルチラベル機械学習などを行うことで、特定事象モデルを構築する。機械学習の手法は、特に限定されないが、例えば、重回帰分析などである。
【0088】
特定事象モデル部８２は、特定事象学習部８１にて構築された特定事象モデルを保持する。
【0089】
図１３は、本実施形態の映像監視システムにおける機械学習モデルを用いて特定事象を検知する構成を示す図である。図１３に示す映像監視システムは、図１２に示した映像監視システムと比較して、映像検索装置５の代わりに、特定事象検索装置７及び機械学習装置８を有する点で異なる。特定事象検索装置７は、図７に示した特定事象検索装置７と比較して、特定事象検索部７１の代わりに特定事象推定部７４を備える点で異なる。なお、機械学習装置８は、図１３では、特定事象モデル部８２のみ示している。
【0090】
特定事象推定部７４は、特定事象モデル部８２に設定された特定事象モデルを用いて、解析結果データと特定事象データとに基づいて、映像データに特定事象が写っているか否かを検知する検知部である。
【0091】
図１４は、本実施形態における映像監視システムによる特定事象を検知する特定事象検知処理の一例を説明するためのフローチャートである。
【0092】
先ず、映像処理装置２の映像入力部２１が映像データを受け付けると（ステップＳ５０１）、映像解析部２２は、その映像データに対して映像解析処理を行い、映像解析処理の結果である解析結果データと映像データとを特定事象検索装置７に送信する（ステップＳ５０２）。
【0093】
特定事象検索装置７の特定事象推定部７４は、映像処理装置２からの解析結果データを機械学習装置８の特定事象モデル部８２に保持されている特定事象モデルに入力する（ステップＳ５０３）。特定事象推定部７４は、特定事象モデルの出力を確認して、映像データに特定事象が写っているか否かを判断する（ステップＳ５０４）。
【0094】
特定事象が写っていない場合、統合表示部７２は、映像データをユーザ端末４に送信する。ユーザ端末４の表示部４２は、映像データを受け付け、その映像データを表示し（ステップＳ５０５）、処理を終了する。
【0095】
一方、特定事象が写っている場合、統合表示部７２は、アラート情報を生成し、映像データ及びアラート情報をユーザ端末４に送信する。ユーザ端末４の表示部４２は、映像データ及びアラート情報を受け付け、その映像データ及びアラート情報を表示し（ステップＳ５０６）、処理を終了する。
【0096】
なお、アラート情報を確認したユーザが映像データに特定事象が写っているか否かを判断し、特定事象が写っていない場合、その旨を入力部４１に入力してもよい。この場合、特定事象推定部７４は、その旨に応じて、特定事象ＤＢ６１に格納されている特定事象データを更新してもよい。この場合、特定事象学習部８１が機械学習に用いる学習データが更新されるため、特定事象モデルを更新することが可能となる。
【0097】
以上説明した各装置１～８は、例えば、プロセッサ（コンピュータ）及びメモリ（共に図示せず）を備えたコンピュータシステムにより構成されてもよい。この場合、各装置１～８の構成要素及び機能は、例えば、プロセッサがコンピュータプログラムを読み取り、その読み取ったコンピュータプログラムを実行することで実現される。コンピュータプログラムは、メモリのようなコンピュータにて読み取り可能な記録媒体に記録可能である。また、各装置１～８は、必要に応じて、情報の入出力を行う入出力装置、及び、情報を格納する補助記憶装置などを有してもよい。
【0098】
上述した本開示の実施形態は、本開示の説明のための例示であり、本開示の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本開示の範囲を逸脱することなしに、他の様々な態様で本開示を実施することができる。
【符号の説明】
【0099】
１：映像配信装置 ２：映像処理装置 ３：ＦＤＢサーバ ４：ユーザ端末 ５：映像検索装置 ６：特定事象ＤＢサーバ ７：特定事象検索装置 ８：機械学習装置 ２１：映像入力部 ２２：映像解析部 ２３：ＦＤＢ登録部 ３１：ＦＤＢ ４１：入力部 ４２：表示部 ５１：映像検索部 ５２：特定事象ＤＢ登録部 ６１：特定事象ＤＢ ７１：特定事象検索部 ７２：統合表示部 ７３：コンテンツ生成部 ７４：特定事象推定部 ８１：特定事象学習部 ８２：特定事象モデル部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】