知財求人 - 知財ポータルサイト「IP Force」
特開2022-86742映像解析サーバ、映像解析方法、および、映像解析プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022086742
(43)【公開日】2022-06-09
(54)【発明の名称】映像解析サーバ、映像解析方法、および、映像解析プログラム
(51)【国際特許分類】
G06T 7/20 20170101AFI20220602BHJP
H04N 7/18 20060101ALI20220602BHJP
G08B 25/00 20060101ALI20220602BHJP
【ＦＩ】
G06T7/20 300Z
H04N7/18 D
G08B25/00 510M
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2020198928
(22)【出願日】2020-11-30
(71)【出願人】
【識別番号】000153443
【氏名又は名称】株式会社 日立産業制御ソリューションズ
(74)【代理人】
【識別番号】110001807
【氏名又は名称】特許業務法人磯野国際特許商標事務所
(72)【発明者】
【氏名】大曽根 達也
(72)【発明者】
【氏名】小味 弘典
(72)【発明者】
【氏名】垂井 俊明
(72)【発明者】
【氏名】瀧 直人
(72)【発明者】
【氏名】菊池 博幸
(72)【発明者】
【氏名】水口 高宏
【テーマコード（参考）】
5C054
5C087
5L096
【Ｆターム（参考）】
5C054CA04
5C054CC02
5C054EA01
5C054FC01
5C054FC07
5C054FC12
5C054FC13
5C054FC14
5C054FC16
5C054FE13
5C054FE28
5C054FF06
5C054HA19
5C054HA31
5C087BB74
5C087DD05
5C087EE07
5C087EE18
5C087FF01
5C087GG02
5C087GG10
5C087GG19
5L096AA06
5L096BA02
5L096CA04
5L096DA02
5L096EA39
5L096FA06
5L096FA32
5L096FA33
5L096FA66
5L096FA69
5L096GA51
5L096GA55
5L096HA04
5L096HA05
5L096HA11
5L096KA04
(57)【要約】
【課題】想定外の異常行動をとる不審者を適切に自動検知すること。
【解決手段】映像解析サーバ４０は、撮影された画像から抽出される各人物を画像のフレーム間で追跡した結果の動きベクトルを人物ごとに算出し、過去の複数の人物の動きベクトルを統計した集団の傾向からの逸脱度合いが所定閾値よりも大きい動きベクトルの人物を不審者として検出する不審者検知部２０を有する。不審者検知部２０は、過去の複数の人物の動きベクトルの平均である平均動きベクトルを集団の傾向として算出し、その平均動きベクトルと現在の人物の動きベクトルとの差の偏差値により、集団の傾向からの逸脱度合いを求める。
【選択図】 図１
【解決手段】映像解析サーバ４０は、撮影された画像から抽出される各人物を画像のフレーム間で追跡した結果の動きベクトルを人物ごとに算出し、過去の複数の人物の動きベクトルを統計した集団の傾向からの逸脱度合いが所定閾値よりも大きい動きベクトルの人物を不審者として検出する不審者検知部２０を有する。不審者検知部２０は、過去の複数の人物の動きベクトルの平均である平均動きベクトルを集団の傾向として算出し、その平均動きベクトルと現在の人物の動きベクトルとの差の偏差値により、集団の傾向からの逸脱度合いを求める。
【選択図】 図１
【特許請求の範囲】
【請求項1】
撮影された画像から抽出される各人物を画像のフレーム間で追跡した結果の動きベクトルを人物ごとに算出し、過去の複数の人物の動きベクトルを統計した集団の傾向からの逸脱度合いが所定閾値よりも大きい動きベクトルの人物を不審者として検出する不審者検知部を有することを特徴とする
映像解析サーバ。
映像解析サーバ。
【請求項2】
前記不審者検知部は、過去の複数の人物の動きベクトルの平均である平均動きベクトルを集団の傾向として算出し、その平均動きベクトルと現在の人物の動きベクトルとの差の偏差値により、集団の傾向からの逸脱度合いを求めることを特徴とする
請求項１に記載の映像解析サーバ。
請求項１に記載の映像解析サーバ。
【請求項3】
前記不審者検知部は、過去に不審者として検出された人物の動きベクトルを除外して、集団の傾向を算出することを特徴とする
請求項１に記載の映像解析サーバ。
請求項１に記載の映像解析サーバ。
【請求項4】
前記不審者検知部は、画像のフレーム間における人物の位置情報の時間変化に対して、ローパスフィルタを適用した人物の位置情報を用いて、人物ごとの動きベクトルを算出することを特徴とする
請求項１に記載の映像解析サーバ。
請求項１に記載の映像解析サーバ。
【請求項5】
前記映像解析サーバは、さらに、異常行動判定部を有しており、
前記異常行動判定部は、前記不審者検知部が検出した不審者に対して、骨格情報を推定することにより、不審者の行動が異常か否かを判定することを特徴とする
請求項１に記載の映像解析サーバ。
前記異常行動判定部は、前記不審者検知部が検出した不審者に対して、骨格情報を推定することにより、不審者の行動が異常か否かを判定することを特徴とする
請求項１に記載の映像解析サーバ。
【請求項6】
前記映像解析サーバは、さらに、人物追跡部を有しており、
前記人物追跡部は、画像のフレーム間で推定される対象人物の位置からの距離が短い人物候補、または、対象人物の特徴量に類似する人物候補を、対象人物と同一人物として追跡することを特徴とする
請求項１に記載の映像解析サーバ。
前記人物追跡部は、画像のフレーム間で推定される対象人物の位置からの距離が短い人物候補、または、対象人物の特徴量に類似する人物候補を、対象人物と同一人物として追跡することを特徴とする
請求項１に記載の映像解析サーバ。
【請求項7】
映像解析サーバは、不審者検知部を有しており、
前記不審者検知部は、撮影された画像から抽出される各人物を画像のフレーム間で追跡した結果の動きベクトルを人物ごとに算出し、過去の複数の人物の動きベクトルを統計した集団の傾向からの逸脱度合いが所定閾値よりも大きい動きベクトルの人物を不審者として検出することを特徴とする
映像解析方法。
前記不審者検知部は、撮影された画像から抽出される各人物を画像のフレーム間で追跡した結果の動きベクトルを人物ごとに算出し、過去の複数の人物の動きベクトルを統計した集団の傾向からの逸脱度合いが所定閾値よりも大きい動きベクトルの人物を不審者として検出することを特徴とする
映像解析方法。
【請求項8】
請求項７に記載の映像解析方法を、前記映像解析サーバに実行させるための映像解析プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像解析サーバ、映像解析方法、および、映像解析プログラムに関する。
【背景技術】
【0002】
公共スペースに設置された監視カメラで撮影された映像データから、画像処理により自動的に不審者を検出するシステムが提案されている。大勢の通行人が行き交う場所では、映像データに撮影される個々人を解析していては、処理が増大してしまう。
【0003】
そこで、特許文献１には、移動方向及び移動速度が近いと推定する人物を集団として認識し、その集団ごとの人流情報を生成する映像監視装置が記載されている。これにより、カメラ映像に映る人物の数が多くなっても集団で纏めて把握し、異変が発生した現場から逃げるなどの異常行動をとる不審者の集団をまとめて検出できる。
また、特許文献２には、監視カメラ画像内から異常行動をとる人物の探索を行うために、人物の姿勢を検出するシステムが記載されている。
また、特許文献２には、監視カメラ画像内から異常行動をとる人物の探索を行うために、人物の姿勢を検出するシステムが記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第２０１７／１２６１８７号
【特許文献2】特開２０１９－９１１３８号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
監視カメラの撮影場所や撮影時間によって、不審者の行動は多様に変化する。例えば、大きなオフィスビルに近接する駅のホームでは、朝には行きの電車から降りた通勤客がホームから駅の出口側に向けて、大きな人の流れを作る。そのとき、不審者は、人の流れには逆らって、ホームに向かったり立ち止まったりする傾向にある。
一方、同じ駅でも、夜には通勤客が駅の入口からホームに向けて、帰りの電車に乗るために大きな人の流れを作る。そのとき、不審者は、人の流れには逆らって、ホームから出口に向かう傾向にある。
一方、同じ駅でも、夜には通勤客が駅の入口からホームに向けて、帰りの電車に乗るために大きな人の流れを作る。そのとき、不審者は、人の流れには逆らって、ホームから出口に向かう傾向にある。
【0006】
このように、集団行動に対する個人の特異行動をもとに、不審者を発見することは有効である。しかし、特許文献１，２などの従来の映像解析システムでは、駆け足で移動するなどの不審者の異常行動をあらかじめ想定しておく必要があり、突発的に発生した事件に関係する不審者を適切に自動検知できる仕組みは提供されてこなかった。
【0007】
そこで、本発明は、想定外の異常行動をとる不審者を適切に自動検知することを主な課題とする。
【課題を解決するための手段】
【0008】
上記の課題を解決するため、本発明の映像解析サーバは以下の特徴を有する。
本発明は、撮影された画像から抽出される各人物を画像のフレーム間で追跡した結果の動きベクトルを人物ごとに算出し、過去の複数の人物の動きベクトルを統計した集団の傾向からの逸脱度合いが所定閾値よりも大きい動きベクトルの人物を不審者として検出する不審者検知部を有することを特徴とする。
その他の手段は、後記する。
本発明は、撮影された画像から抽出される各人物を画像のフレーム間で追跡した結果の動きベクトルを人物ごとに算出し、過去の複数の人物の動きベクトルを統計した集団の傾向からの逸脱度合いが所定閾値よりも大きい動きベクトルの人物を不審者として検出する不審者検知部を有することを特徴とする。
その他の手段は、後記する。
【発明の効果】
【0009】
本発明によれば、想定外の異常行動をとる不審者を適切に自動検知することができる。
【図面の簡単な説明】
【0010】
【図1】本実施形態に関する映像解析システムの構成図である。
【図2】本実施形態に関する映像解析サーバのハードウェア構成図である。
【図3】本実施形態に関する映像解析サーバの処理を示すフローチャートである。
【図4】本実施形態に関する人物検出処理の説明図である。
【図5】本実施形態に関する特徴量抽出処理の説明図である。
【図6】本実施形態に関する人物追跡処理の説明図である。
【図8】本実施形態に関する動きベクトル抽出処理の説明図である。
【図11】本実施形態に関する動きベクトル統計処理の詳細を示すフローチャートである。
【図12】本実施形態に関する動きベクトル統計処理の具体例を示す説明図である。
【図13】本実施形態に関する不審者の動きベクトルを検出する処理の具体例を示す説明図である。
【図14】本実施形態に関する異常行動判定部の処理の詳細を示すフローチャートである。
【図15】本実施形態に関する連続フレームの画像から骨格情報を計算する処理の具体例を示す説明図である。
【図16】本実施形態に関する逸脱度と閾値とを比較する処理の具体例を示す説明図である。
【発明を実施するための形態】
【0011】
以下、図面を参照して本実施形態を説明する。
【0012】
図１は、映像解析システムの構成図である。
映像解析システムは、映像解析サーバ４０と、アプリケーションサーバ５０と、カメラ６１と、管理者端末６２とを有する。
アプリケーションサーバ５０は、ＧＵＩ５１と、ＤＢ５２とを有する。ＧＵＩ５１は、ＤＢ５２に格納される映像解析サーバ４０の解析結果を管理者端末６２に提供するためのインタフェースである。
映像解析システムは、映像解析サーバ４０と、アプリケーションサーバ５０と、カメラ６１と、管理者端末６２とを有する。
アプリケーションサーバ５０は、ＧＵＩ５１と、ＤＢ５２とを有する。ＧＵＩ５１は、ＤＢ５２に格納される映像解析サーバ４０の解析結果を管理者端末６２に提供するためのインタフェースである。
【0013】
映像解析サーバ４０は、映像制御部４１と、ＧＰＵ４２と、ワーク領域４３と、人物追跡部１０と、不審者検知部２０と、異常行動判定部３０とを有する。
映像制御部４１は、不審者を撮影するためのカメラ６１を制御する。この制御内容は、例えば、画角などの撮影パラメータを入力したり、撮影画像を受信したりするものである。
映像解析サーバ４０には、各処理部（人物追跡部１０と、不審者検知部２０と、異常行動判定部３０）の計算を行うためのハードウェア資源として、画像処理を行うＧＰＵ（Graphics Processing Unit）４２と、ＲＡＭなどのワーク領域４３とが備えられている。各処理部の詳細は、図３のフローチャートにて明らかにする。
映像制御部４１は、不審者を撮影するためのカメラ６１を制御する。この制御内容は、例えば、画角などの撮影パラメータを入力したり、撮影画像を受信したりするものである。
映像解析サーバ４０には、各処理部（人物追跡部１０と、不審者検知部２０と、異常行動判定部３０）の計算を行うためのハードウェア資源として、画像処理を行うＧＰＵ（Graphics Processing Unit）４２と、ＲＡＭなどのワーク領域４３とが備えられている。各処理部の詳細は、図３のフローチャートにて明らかにする。
【0014】
図２は、映像解析サーバ４０のハードウェア構成図である。
映像解析サーバ４０などのコンピュータ９００は、ＣＰＵ９０１と、ＲＡＭ９０２と、ＲＯＭ９０３と、ＨＤＤ９０４と、通信Ｉ／Ｆ９０５と、入出力Ｉ／Ｆ９０６と、メディアＩ／Ｆ９０７とを有する。
通信Ｉ／Ｆ９０５は、外部の通信装置９１５と接続される。入出力Ｉ／Ｆ９０６は、入出力装置９１６と接続される。メディアＩ／Ｆ９０７は、記録媒体９１７からデータを読み書きする。さらに、ＣＰＵ９０１は、ＲＡＭ９０２に読み込んだプログラム（アプリケーションや、その略のアプリとも呼ばれる）を実行することにより、各処理部を制御する。そして、このプログラムは、通信回線を介して配布したり、ＣＤ－ＲＯＭ等の記録媒体９１７に記録して配布したりすることも可能である。
映像解析サーバ４０などのコンピュータ９００は、ＣＰＵ９０１と、ＲＡＭ９０２と、ＲＯＭ９０３と、ＨＤＤ９０４と、通信Ｉ／Ｆ９０５と、入出力Ｉ／Ｆ９０６と、メディアＩ／Ｆ９０７とを有する。
通信Ｉ／Ｆ９０５は、外部の通信装置９１５と接続される。入出力Ｉ／Ｆ９０６は、入出力装置９１６と接続される。メディアＩ／Ｆ９０７は、記録媒体９１７からデータを読み書きする。さらに、ＣＰＵ９０１は、ＲＡＭ９０２に読み込んだプログラム（アプリケーションや、その略のアプリとも呼ばれる）を実行することにより、各処理部を制御する。そして、このプログラムは、通信回線を介して配布したり、ＣＤ－ＲＯＭ等の記録媒体９１７に記録して配布したりすることも可能である。
【0015】
図３は、映像解析サーバ４０の処理を示すフローチャートである。
人物追跡部１０は、カメラ６１の撮影処理（Ｓ１１）によって得られる映像フレームに対してDeep Learningなどによる画像解析を行い、各通行人の画像内の位置情報（人物領域の座標、人物領域の幅、人物領域の高さ）を検出する（Ｓ１２）。人物追跡部１０は、Ｓ１２で検出した人物に対してDeep Learningなどによる画像解析を行い、各人物の特徴量（身長、服の色など）を抽出する（Ｓ１３）。
そして、人物追跡部１０は、連続する映像フレーム間（例えば0.1秒間隔）で、Ｓ１２の位置情報の差分およびＳ１３の特徴量の差分が小さい（特徴量が類似する）人物を、同一人物として対応付けて追跡する（Ｓ１４）。
人物追跡部１０は、カメラ６１の撮影処理（Ｓ１１）によって得られる映像フレームに対してDeep Learningなどによる画像解析を行い、各通行人の画像内の位置情報（人物領域の座標、人物領域の幅、人物領域の高さ）を検出する（Ｓ１２）。人物追跡部１０は、Ｓ１２で検出した人物に対してDeep Learningなどによる画像解析を行い、各人物の特徴量（身長、服の色など）を抽出する（Ｓ１３）。
そして、人物追跡部１０は、連続する映像フレーム間（例えば0.1秒間隔）で、Ｓ１２の位置情報の差分およびＳ１３の特徴量の差分が小さい（特徴量が類似する）人物を、同一人物として対応付けて追跡する（Ｓ１４）。
【0016】
不審者検知部２０は、人物追跡部１０が抽出した各人物を画像のフレーム間で追跡した結果の動きベクトルを人物ごとに算出し、過去の複数の人物の動きベクトルを統計した集団の傾向からの逸脱度合いが所定閾値よりも大きい動きベクトルの人物を不審者として検出する。
そのため、不審者検知部２０は、Ｓ１４で追跡する各人物について、連続する映像フレーム間で移動した画像内の動きベクトルを抽出する（Ｓ２１）。次に、不審者検知部２０は、Ｓ２１の動きベクトルの統計処理を行うことで、映像フレームに映る集団全体の行動の傾向を求める（Ｓ２２、詳細は図１１）。
そして、不審者検知部２０は、Ｓ２２で求めた集団全体の行動の傾向から逸脱した通行人を不審者とみなし、その不審者が存在するか否かを判定する（Ｓ２３）。Ｓ２３でYesならＳ３１に進み、Noなら処理を終了する。これにより、動きベクトルの比較という軽量な処理で、多くの不審者を検出できる。
そのため、不審者検知部２０は、Ｓ１４で追跡する各人物について、連続する映像フレーム間で移動した画像内の動きベクトルを抽出する（Ｓ２１）。次に、不審者検知部２０は、Ｓ２１の動きベクトルの統計処理を行うことで、映像フレームに映る集団全体の行動の傾向を求める（Ｓ２２、詳細は図１１）。
そして、不審者検知部２０は、Ｓ２２で求めた集団全体の行動の傾向から逸脱した通行人を不審者とみなし、その不審者が存在するか否かを判定する（Ｓ２３）。Ｓ２３でYesならＳ３１に進み、Noなら処理を終了する。これにより、動きベクトルの比較という軽量な処理で、多くの不審者を検出できる。
【0017】
異常行動判定部３０は、Ｓ２３の不審者に対して骨格推定処理（Ｓ３１）により骨格情報を推定する（Ｓ３１）。そして、異常行動判定部３０は、不審者の骨格情報および外見情報をもとに不審者の姿勢や動作を抽出することで、不審者の行動を評価する（Ｓ３２）。
異常行動判定部３０は、アプリケーションサーバ５０を介して管理者端末６２にＳ３２の評価結果を出力する（Ｓ３３）。
異常行動判定部３０は、アプリケーションサーバ５０を介して管理者端末６２にＳ３２の評価結果を出力する（Ｓ３３）。
【0018】
このように、異常行動判定部３０の処理対象をすべての通行人ではなくＳ２３の不審者にあらかじめ絞り込むことにより、異常行動判定部３０の負荷を低減し、多人数が映った監視カメラの映像からリアルタイムに不審者を検知できる。
また、不審者検知部２０が検知した不審者には、人物以外の移動する物体が含まれていることもあるが、異常行動判定部３０の行動評価によって、実際に異常行動を行っている人物に絞り込める。
また、不審者検知部２０が検知した不審者には、人物以外の移動する物体が含まれていることもあるが、異常行動判定部３０の行動評価によって、実際に異常行動を行っている人物に絞り込める。
【0019】
図４は、人物検出処理（Ｓ１２）の説明図である。
Ｓ１１で撮影された画像データ１１１には３人の通行人が映っている。人物追跡部１０は、事前に学習したネットワークモデルを参照して画像データ１１１を解析することで、各通行人の画像内の位置情報１２２（座標、幅、高さ）を検出する（Ｓ１２）。なお、位置情報１２２の各人物IDを画像データ１１１に追記した結果を画像データ１２１に示す。
・人物ID:1は、「X座標=100、Y座標=80、人物範囲の幅=95、人物範囲の高さ=240」に位置する。
・人物ID:2は、「X座標=386、Y座標=224、人物範囲の幅=183、人物範囲の高さ=313」に位置する。
・人物ID:3は、「X座標=609、Y座標=54、人物範囲の幅=61、人物範囲の高さ=150」に位置する。
Ｓ１１で撮影された画像データ１１１には３人の通行人が映っている。人物追跡部１０は、事前に学習したネットワークモデルを参照して画像データ１１１を解析することで、各通行人の画像内の位置情報１２２（座標、幅、高さ）を検出する（Ｓ１２）。なお、位置情報１２２の各人物IDを画像データ１１１に追記した結果を画像データ１２１に示す。
・人物ID:1は、「X座標=100、Y座標=80、人物範囲の幅=95、人物範囲の高さ=240」に位置する。
・人物ID:2は、「X座標=386、Y座標=224、人物範囲の幅=183、人物範囲の高さ=313」に位置する。
・人物ID:3は、「X座標=609、Y座標=54、人物範囲の幅=61、人物範囲の高さ=150」に位置する。
【0020】
図５は、特徴量抽出処理（Ｓ１３）の説明図である。
人物追跡部１０は、人物検出画像１３０を人工知能のDeep Learningモジュールの畳み込み層１４０（第１層１４１、第２層１４２、第３層１４３）に入力する。
そして、人物検出画像１３０の特徴は、全結合層１５０（第１層１５１、第２層１５２、第３層１５３）を経て、属性ごとの確度１６０として抽出される。第１層１５１は特徴量を示し、第３層１５３の各ノードは各属性（年齢、性別、服の色など）に対応し、確度１６０が１に近いほどその属性を持つといえる。
なお、人物追跡部１０は、Deep Learningモジュールに限定せずに、任意の分類器を用いて人物検出画像１３０から確度１６０を求めてもよい。
人物追跡部１０は、人物検出画像１３０を人工知能のDeep Learningモジュールの畳み込み層１４０（第１層１４１、第２層１４２、第３層１４３）に入力する。
そして、人物検出画像１３０の特徴は、全結合層１５０（第１層１５１、第２層１５２、第３層１５３）を経て、属性ごとの確度１６０として抽出される。第１層１５１は特徴量を示し、第３層１５３の各ノードは各属性（年齢、性別、服の色など）に対応し、確度１６０が１に近いほどその属性を持つといえる。
なお、人物追跡部１０は、Deep Learningモジュールに限定せずに、任意の分類器を用いて人物検出画像１３０から確度１６０を求めてもよい。
【0021】
図６は、人物追跡処理（Ｓ１４）の説明図である。
人物追跡部１０は、過去を示す前フレームに映る対象人物との同一人物を、現在を示す後フレームに映る複数の人物から対応付ける。これにより、時間的に連続するフレーム間で対象人物間を対応付けることで、人物追跡部１０は、人物を追跡する。
画像データ１７０内の人物位置１７１は、前フレームの対象人物の位置を示す。人物位置１７２は、後フレームの対象人物の推定位置を示す。人物位置１７３は、後フレームの対象人物の実位置を示す。なお、本来は前フレームと後フレームとで別々の画像データであるが、図６では説明をわかりやすくするために１枚の画像データ１７０に記載した。
人物追跡部１０は、過去を示す前フレームに映る対象人物との同一人物を、現在を示す後フレームに映る複数の人物から対応付ける。これにより、時間的に連続するフレーム間で対象人物間を対応付けることで、人物追跡部１０は、人物を追跡する。
画像データ１７０内の人物位置１７１は、前フレームの対象人物の位置を示す。人物位置１７２は、後フレームの対象人物の推定位置を示す。人物位置１７３は、後フレームの対象人物の実位置を示す。なお、本来は前フレームと後フレームとで別々の画像データであるが、図６では説明をわかりやすくするために１枚の画像データ１７０に記載した。
【0022】
人物追跡部１０は、人物位置１７１などの対象人物の過去の位置情報、対象人物の前フレームまでの動きベクトル情報（図６では図示省略、後記の図８で説明）、および、前フレームから後フレームまでの経過時間情報から、人物位置１７２を推定する。よって、後フレームの人物位置１７２から最も近い後フレームの人物位置１７３が、後フレームの対象人物である可能性が高い。
【0023】
図７は、図６の人物追跡における複数の通行人を区別する方法の説明図である。
前フレーム１８０の対象人物１８１は小柄で模様のないシャツを着ているとする。
後フレーム１９０には、対象人物の候補である３人の通行人が映っている。１人目１９１は、小柄で模様のあるシャツを着ている。２人目１９２は、大柄で模様のないシャツを着ている。３人目１９３は、小柄で模様のないシャツを着ている。
よって、対象人物１８１と最も特徴量が類似する３人目１９３が、後フレームの対象人物である可能性が高い。
前フレーム１８０の対象人物１８１は小柄で模様のないシャツを着ているとする。
後フレーム１９０には、対象人物の候補である３人の通行人が映っている。１人目１９１は、小柄で模様のあるシャツを着ている。２人目１９２は、大柄で模様のないシャツを着ている。３人目１９３は、小柄で模様のないシャツを着ている。
よって、対象人物１８１と最も特徴量が類似する３人目１９３が、後フレームの対象人物である可能性が高い。
【0024】
以上、図６で説明した人物間の距離、および、図７で説明した特徴量の差分のうちの少なくとも１つをもとに、人物追跡部１０は、前フレームの対象人物から、後フレームの対象人物を対応付ける。以下の（数式１）が、人物追跡部１０が計算する対象人物との追跡特徴量であり、この追跡特徴量の数値が小さいほど、対象人物に似ている。
（対象人物との追跡特徴量）＝（図６で説明した人物間の距離の２乗）÷（第１重みの２乗）＋（図７で説明した人物間の特徴量の差の２乗）÷（第２重み） …（数式１）
よって、人物追跡部１０は、前フレームの対象人物との追跡特徴量が最も小さい後フレームの人物を、後フレームの対象人物とする。
（対象人物との追跡特徴量）＝（図６で説明した人物間の距離の２乗）÷（第１重みの２乗）＋（図７で説明した人物間の特徴量の差の２乗）÷（第２重み） …（数式１）
よって、人物追跡部１０は、前フレームの対象人物との追跡特徴量が最も小さい後フレームの人物を、後フレームの対象人物とする。
【0025】
図８は、動きベクトル抽出処理（Ｓ２１）の説明図である。
前フレーム２１０には、画像の左下に対象人物２１１が映っている。後フレーム２２０には、画像の右上に対象人物２２２が映っている。対象人物２１１と対象人物２２２とは、人物追跡部１０によって同一人物として対応付けられている。また、説明のために、実際には映っていないが対象人物２１１と同じ位置の対象人物２２１を波線で併記した。
不審者検知部２０は、対象人物２２１から対象人物２２２への同一人物の位置の変化を、動きベクトル２２３として抽出する。
前フレーム２１０には、画像の左下に対象人物２１１が映っている。後フレーム２２０には、画像の右上に対象人物２２２が映っている。対象人物２１１と対象人物２２２とは、人物追跡部１０によって同一人物として対応付けられている。また、説明のために、実際には映っていないが対象人物２１１と同じ位置の対象人物２２１を波線で併記した。
不審者検知部２０は、対象人物２２１から対象人物２２２への同一人物の位置の変化を、動きベクトル２２３として抽出する。
【0026】
別の例として、後フレーム２３０を説明する。
不審者検知部２０は、前フレーム２１０の対象人物２１１（つまり対象人物２３１の位置）と、後フレーム２２０の対象人物２２２（つまり対象人物２３２の位置）とを重みづけして合成した結果の対象人物２３３を求める。不審者検知部２０は、対象人物２３１と対象人物２３３との位置の変化を、動きベクトル２３４として抽出する。
このように、過去の位置と現在の位置とを重みづけして合成してから動きベクトル２３４を算出することで、フレーム間の動きベクトル２３４の揺れを減らして対象人物の滑らかな動きを抽出できる。
不審者検知部２０は、前フレーム２１０の対象人物２１１（つまり対象人物２３１の位置）と、後フレーム２２０の対象人物２２２（つまり対象人物２３２の位置）とを重みづけして合成した結果の対象人物２３３を求める。不審者検知部２０は、対象人物２３１と対象人物２３３との位置の変化を、動きベクトル２３４として抽出する。
このように、過去の位置と現在の位置とを重みづけして合成してから動きベクトル２３４を算出することで、フレーム間の動きベクトル２３４の揺れを減らして対象人物の滑らかな動きを抽出できる。
【0027】
図９は、図８の動きベクトル抽出処理におけるローパスフィルタの位置補正処理を示すグラフである。
不審者検知部２０は、図８の対象人物２３１と対象人物２３２とを重みづけして合成する処理の一例として、画像のフレーム間における対象人物の位置情報の時系列変化（人物の座標の揺れ、人物の大きさの揺れ）に対してローパスフィルタ（LPF：Low-Pass Filter）を適用することとした。これにより、対象人物の位置情報の変化から高い周波数の成分を減衰させることで、対象人物の滑らかな動きを抽出できる。つまり、人の行動に伴う見かけ上の動きベクトルのブレを排除でき、検知精度が向上する。
不審者検知部２０は、図８の対象人物２３１と対象人物２３２とを重みづけして合成する処理の一例として、画像のフレーム間における対象人物の位置情報の時系列変化（人物の座標の揺れ、人物の大きさの揺れ）に対してローパスフィルタ（LPF：Low-Pass Filter）を適用することとした。これにより、対象人物の位置情報の変化から高い周波数の成分を減衰させることで、対象人物の滑らかな動きを抽出できる。つまり、人の行動に伴う見かけ上の動きベクトルのブレを排除でき、検知精度が向上する。
【0028】
例えば、グラフ線２４２に示す対象人物の現在位置（画像内の高さ方向の人物の大きさ）は、LPFによりグラフ線２４１のように平滑化される。同様に、グラフ線２４４に示す対象人物の現在位置（画像内の幅方向の人物の大きさ）は、LPFによりグラフ線２４３のように平滑化される。このように、姿勢の変化に伴う人物の見かけ上の大きさの変化は、LPFで抑制されている。
【0029】
図１０は、図１１で説明する動きベクトル統計処理（Ｓ２２）の前準備で使用される設定データの入力画面図である。
入力欄２５０には、平均動きベクトルの期間長の入力欄２５１と、平均動きベクトルからの逸脱度合いを示す偏差値と比較する所定閾値の入力欄２５２とが含まれる。管理者は、入力欄２５０を介して各種の設定データを事前に入力しておく。これにより、監視の場面ごと（駅、店舗、路上など）に最適なパラメータを適宜設定し直すことができる。
入力欄２５０には、平均動きベクトルの期間長の入力欄２５１と、平均動きベクトルからの逸脱度合いを示す偏差値と比較する所定閾値の入力欄２５２とが含まれる。管理者は、入力欄２５０を介して各種の設定データを事前に入力しておく。これにより、監視の場面ごと（駅、店舗、路上など）に最適なパラメータを適宜設定し直すことができる。
【0030】
図１１は、動きベクトル統計処理（Ｓ２２）の詳細を示すフローチャートである。
不審者検知部２０は、過去一定期間内の動きベクトルのうち不審者を除外した動きベクトルの平均を、平均動きベクトルとして算出する（Ｓ２２１）。この平均動きベクトルは、映像フレームに映る集団全体の行動の傾向を示す。
不審者検知部２０は、現在の人物の動きベクトル（図１３で例示）と、Ｓ２１１の平均動きベクトル（図１２で例示）との差を示すユークリッド距離（つまり、行動の傾向からの逸脱度合い）を算出する（Ｓ２２２）。不審者検知部２０は、Ｓ２２で求めた全てのユークリッド距離の統計値（例えば平均、標準偏差、偏差値）を算出する（Ｓ２２３）。
不審者検知部２０は、過去一定期間内の動きベクトルのうち不審者を除外した動きベクトルの平均を、平均動きベクトルとして算出する（Ｓ２２１）。この平均動きベクトルは、映像フレームに映る集団全体の行動の傾向を示す。
不審者検知部２０は、現在の人物の動きベクトル（図１３で例示）と、Ｓ２１１の平均動きベクトル（図１２で例示）との差を示すユークリッド距離（つまり、行動の傾向からの逸脱度合い）を算出する（Ｓ２２２）。不審者検知部２０は、Ｓ２２で求めた全てのユークリッド距離の統計値（例えば平均、標準偏差、偏差値）を算出する（Ｓ２２３）。
【0031】
不審者検知部２０は、Ｓ２２３で算出した偏差値を順に選択するループを実行する（Ｓ２２４～Ｓ２２７）。
このループ内で、不審者検知部２０は、選択中の偏差値がしきい値以上か否かを判定する（Ｓ２２５）。Ｓ２２５でYesなら、不審者検知部２０は、選択中の偏差値に該当する動きベクトルを持つ人物を不審者とする（Ｓ２２６）。
このループ内で、不審者検知部２０は、選択中の偏差値がしきい値以上か否かを判定する（Ｓ２２５）。Ｓ２２５でYesなら、不審者検知部２０は、選択中の偏差値に該当する動きベクトルを持つ人物を不審者とする（Ｓ２２６）。
【0032】
図１２は、動きベクトル統計処理（Ｓ２２）の具体例を示す説明図である。
第１フレーム２６１、第２フレーム２６２、第３フレーム２６２の順に過去一定期間（Ｓ２２１）が経過するとする。各フレームに記載される１つの矢印が、１人の人物の動きベクトルを示し、矢印の元が前フレームの位置で矢印の先が後フレームの位置である。例えば、第２フレーム２６２には、画像内を右上方向に移動する４人の動きベクトルが記載されている。
第１フレーム２６１、第２フレーム２６２、第３フレーム２６２の順に過去一定期間（Ｓ２２１）が経過するとする。各フレームに記載される１つの矢印が、１人の人物の動きベクトルを示し、矢印の元が前フレームの位置で矢印の先が後フレームの位置である。例えば、第２フレーム２６２には、画像内を右上方向に移動する４人の動きベクトルが記載されている。
【0033】
不審者検知部２０は、過去一定期間（第１フレーム２６１、第２フレーム２６２、第３フレーム２６２）内の動きベクトルのうち不審者の動きベクトル２６１Ｊを除外した残りの動きベクトルの平均を、平均動きベクトル２６４として算出する（Ｓ２２１）。なお、不審者の動きベクトル２６１Ｊは、平均動きベクトル２６４とは向きが大きく異なっている。
これにより、不審者の動きベクトル２６１Ｊの影響を避けることで、平均動きベクトル２６４が自動的にキャリブレーションされ、正常な行動とみなす基準値の精度が向上する。
これにより、不審者の動きベクトル２６１Ｊの影響を避けることで、平均動きベクトル２６４が自動的にキャリブレーションされ、正常な行動とみなす基準値の精度が向上する。
【0034】
図１３は、不審者の動きベクトルを検出する処理（Ｓ２２６）の具体例を示す説明図である。
現在のフレーム２７１には、画像内を右上方向に移動する３人の動きベクトルと、ほぼ上方向に大きく移動する１人の動きベクトルとで、合計４人分の現在の動きベクトルが記載されている。
現在のフレーム２７２において、不審者検知部２０は、平均動きベクトル２６４との差分（偏差値）が大きい１人の現在の動きベクトル（実線太線の矢印）を不審者と判定し（Ｓ２２５でYes）、残りの３人の動きベクトル（波線細線の矢印）を正常者と判定する（Ｓ２２５でNo）。
現在のフレーム２７１には、画像内を右上方向に移動する３人の動きベクトルと、ほぼ上方向に大きく移動する１人の動きベクトルとで、合計４人分の現在の動きベクトルが記載されている。
現在のフレーム２７２において、不審者検知部２０は、平均動きベクトル２６４との差分（偏差値）が大きい１人の現在の動きベクトル（実線太線の矢印）を不審者と判定し（Ｓ２２５でYes）、残りの３人の動きベクトル（波線細線の矢印）を正常者と判定する（Ｓ２２５でNo）。
【0035】
つまり、不審者の動きベクトルは平均動きベクトルとの差の偏差値が大きい傾向にある。よって、不審者の動きベクトルは他の動きベクトルに比べて平均的な動きとの差が大きく、異常行動を行っている可能性が高い。
このように、不審者の動きベクトルを他の動きベクトルからの動きのばらつきを基に判定するため、正常な行動の事前定義や、設置場所や画角によって異なるパラメータ設定を行う必要がない。よって、他の人物との相対的な動きの違いから不審者を検知できるので、シチュエーションごとの異常行動の定義を省略できる。
このように、不審者の動きベクトルを他の動きベクトルからの動きのばらつきを基に判定するため、正常な行動の事前定義や、設置場所や画角によって異なるパラメータ設定を行う必要がない。よって、他の人物との相対的な動きの違いから不審者を検知できるので、シチュエーションごとの異常行動の定義を省略できる。
【0036】
図１４は、異常行動判定部３０の処理（Ｓ３１、Ｓ３２）の詳細を示すフローチャートである。
異常行動判定部３０は、不審者検知部２０で異常と判定された不審者の情報（不審者の人物ID）を取得し（Ｓ３０１）、人物IDから不審者の人物追跡情報（追跡ID）を人物追跡部１０から取得する（Ｓ３０２）。なお、不審者検知部２０から異常行動判定部３０に人物IDとともに追跡IDが報告された場合には、Ｓ３０２の処理は省略できる。
異常行動判定部３０は、不審者の画像内位置（矩形画像情報）をワーク領域４３から取得し（Ｓ３０３）、不審者ごとに画像内位置の連続フレームの画像（例えば過去30フレーム分の画像）を映像制御部４１から取得する（Ｓ３０４）。
異常行動判定部３０は、不審者検知部２０で異常と判定された不審者の情報（不審者の人物ID）を取得し（Ｓ３０１）、人物IDから不審者の人物追跡情報（追跡ID）を人物追跡部１０から取得する（Ｓ３０２）。なお、不審者検知部２０から異常行動判定部３０に人物IDとともに追跡IDが報告された場合には、Ｓ３０２の処理は省略できる。
異常行動判定部３０は、不審者の画像内位置（矩形画像情報）をワーク領域４３から取得し（Ｓ３０３）、不審者ごとに画像内位置の連続フレームの画像（例えば過去30フレーム分の画像）を映像制御部４１から取得する（Ｓ３０４）。
【0037】
異常行動判定部３０は、骨格推定処理（図３のＳ３１）として、Ｓ３０４の連続フレームの画像からＧＰＵ４２を適宜活用して、骨格情報を計算する（Ｓ３０５）。骨格情報とは、人物の関節位置を結んだ情報である。
そして、異常行動判定部３０は、行動評価処理（図３のＳ３２）として、Ｓ３０６以降の処理を実行する。具体的には、異常行動判定部３０は、Ｓ３０６の骨格情報から行動特徴量ベクトル（人物の動きを表すベクトル情報）を計算する（Ｓ３０６）。
そして、異常行動判定部３０は、行動評価処理（図３のＳ３２）として、Ｓ３０６以降の処理を実行する。具体的には、異常行動判定部３０は、Ｓ３０６の骨格情報から行動特徴量ベクトル（人物の動きを表すベクトル情報）を計算する（Ｓ３０６）。
【0038】
ここで、異常行動判定部３０は、あらかじめ学習してある正常行動と、不審者の行動特徴量ベクトルとを比較し、不審者の行動特徴量ベクトルの逸脱度を計算する（Ｓ３０７）。例えば、「歩行」の正常行動に対して、不審者の行動「転倒」は、逸脱度が大きい。
異常行動判定部３０は、Ｓ３０７の逸脱度が所定閾値より大きいか否かを判定する（Ｓ３１１）。Ｓ３１１でYesならＳ３１２に進み、NoならＳ３１３に進む。
異常行動判定部３０は、Ｓ３０７の逸脱度が所定閾値より大きいか否かを判定する（Ｓ３１１）。Ｓ３１１でYesならＳ３１２に進み、NoならＳ３１３に進む。
【0039】
異常行動判定部３０は、正常行動から大きく逸脱した不審者に対して、異常行動を行った（つまり、異常者である）と判定する（Ｓ３１２）。または、異常行動判定部３０は、正常行動から大きく逸脱していない不審者に対して、異常行動を行っていない（つまり、不審者として疑いをかけたが実は正常者だった）と判定する（Ｓ３１３）。
以上、図１４の処理を説明した。この異常行動判定部３０の処理は、毎フレーム実行（判定）してもよいし、不審者検知部２０が過去１秒以内に不審者を検知した場合に限って実行（判定）してもよい。
以上、図１４の処理を説明した。この異常行動判定部３０の処理は、毎フレーム実行（判定）してもよいし、不審者検知部２０が過去１秒以内に不審者を検知した場合に限って実行（判定）してもよい。
【0040】
図１５は、連続フレームの画像から骨格情報を計算する処理（Ｓ３０５）の具体例を示す説明図である。
例えば、撮影データ３００において、同じ人物が位置３０１→位置３０２→位置３０３の順に移動したとする。異常行動判定部３０は、各位置の人物の骨格情報を計算した結果、波線で示す人物の輪郭の内側に、実線で示す骨と、その骨同士を接続する関節（丸で示す）とが骨格情報として求まる。
例えば、撮影データ３００において、同じ人物が位置３０１→位置３０２→位置３０３の順に移動したとする。異常行動判定部３０は、各位置の人物の骨格情報を計算した結果、波線で示す人物の輪郭の内側に、実線で示す骨と、その骨同士を接続する関節（丸で示す）とが骨格情報として求まる。
【0041】
これにより、同じ位置にいる人物であっても、手足の位置が詳細にわかるので、「正常行動として直立姿勢で休憩している」、「異常行動としてケンカするために腕を振り上げている」などの詳細な行動がわかる。さらに、歩いている人物であるかのように検出されたが、実は運搬されている人形だったなど、人物か非人物かのちがいも検出される。よって、検出したくない物体を映像上でマスクする等の対策が不要になる。
【0042】
また、撮影データ３１０は、単一フレームである。この撮影データ３１０には、頭部が下側にあり、足が上側にあることから、異常行動判定部３０は、転倒しているという異常行動を検知できる。つまり、異常行動判定部３０は、単一フレームの骨格情報から異常行動を検知してもよいし、連続フレームの骨格情報から異常行動を検知してもよい。
【0043】
図１６は、逸脱度と閾値とを比較する処理（Ｓ３１１）の具体例を示す説明図である。
Ｓ３０６で計算された行動特徴量のベクトル空間は、実際は多次元ベクトルであるが、図１６では説明のために、横軸（第１軸）および縦軸（第２軸）で表現した２次元平面とする。
図１６では、Ｓ３１１の閾値比較処理の一例として、境界線３２０より内側（グラフの左下側）に位置する行動特徴量の不審者（丸印）を、異常行動判定部３０は正常行動者と判定する。一方、境界線３２０より外側（グラフの右上側）に位置する行動特徴量の不審者（三角印）を、異常行動判定部３０は異常行動者と判定する。
Ｓ３０６で計算された行動特徴量のベクトル空間は、実際は多次元ベクトルであるが、図１６では説明のために、横軸（第１軸）および縦軸（第２軸）で表現した２次元平面とする。
図１６では、Ｓ３１１の閾値比較処理の一例として、境界線３２０より内側（グラフの左下側）に位置する行動特徴量の不審者（丸印）を、異常行動判定部３０は正常行動者と判定する。一方、境界線３２０より外側（グラフの右上側）に位置する行動特徴量の不審者（三角印）を、異常行動判定部３０は異常行動者と判定する。
【0044】
アプリケーションサーバ５０のＧＵＩ５１は、図１５の骨格情報や、図１６の閾値比較グラフを異常行動の検知結果として管理者端末６２に表示させてもよい。さらに、映像解析サーバ４０またはアプリケーションサーバ５０は、異常行動を発見したときには、警報やパトランプなどの警告出力を行ったり、不審者のリスト表示を行ったりしてもよい。
【0045】
以上説明した本実施形態では、不審者検知部２０は、過去の人物の動きベクトルの平均を正常な動きと仮定し、その平均からの差が大きい動きベクトルの通行人を不審者として検知する。これにより、フレーム外から駆け込んでくる行動や、急な方向転換を行う行動などの想定外の異常行動をとる不審者を適切に自動検知することができる。
【0046】
なお、本発明は前記した実施例に限定されるものではなく、さまざまな変形例が含まれる。例えば、前記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。
また、前記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。
また、前記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。
【0047】
各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）などの記録装置、または、ＩＣ（Integrated Circuit）カード、ＳＤカード、ＤＶＤ（Digital Versatile Disc）などの記録媒体におくことができる。また、クラウドを活用することもできる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。
さらに、各装置を繋ぐ通信手段は、無線ＬＡＮに限定せず、有線ＬＡＮやその他の通信手段に変更してもよい。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。
さらに、各装置を繋ぐ通信手段は、無線ＬＡＮに限定せず、有線ＬＡＮやその他の通信手段に変更してもよい。
【符号の説明】
【0048】
１０ 人物追跡部
２０ 不審者検知部
３０ 異常行動判定部
４０ 映像解析サーバ
４１ 映像制御部
４２ ＧＰＵ
４３ ワーク領域
５０ アプリケーションサーバ
５１ ＧＵＩ
５２ ＤＢ
６１ カメラ
６２ 管理者端末
２０ 不審者検知部
３０ 異常行動判定部
４０ 映像解析サーバ
４１ 映像制御部
４２ ＧＰＵ
４３ ワーク領域
５０ アプリケーションサーバ
５１ ＧＵＩ
５２ ＤＢ
６１ カメラ
６２ 管理者端末
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】