知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-04-17
(45)【発行日】2024-04-25
(54)【発明の名称】インクリメンタル時空間学習に基づく異常行動認識監視方法
(51)【国際特許分類】
G06T 7/20 20170101AFI20240418BHJP
G06T 7/00 20170101ALI20240418BHJP
G06V 10/82 20220101ALI20240418BHJP
【ＦＩ】
G06T7/20 300Z
G06T7/00 350C
G06V10/82
【請求項の数】
1
(21)【出願番号】P 2023206529
(22)【出願日】2023-12-06
【審査請求日】2023-12-08
(31)【優先権主張番号】202311107835.2
(32)【優先日】2023-08-31
(33)【優先権主張国・地域又は機関】CN
【早期審査対象出願】
(73)【特許権者】
【識別番号】523260303
【氏名又は名称】雲南電網有限責任公司徳宏供電局
(74)【代理人】
【識別番号】100216471
【弁理士】
【氏名又は名称】瀬戸 麻希
(72)【発明者】
【氏名】秦君
(72)【発明者】
【氏名】楊天国
(72)【発明者】
【氏名】▲ぱん▼丁黎
(72)【発明者】
【氏名】李暁敏
(72)【発明者】
【氏名】呉慶升
(72)【発明者】
【氏名】李宏梅
(72)【発明者】
【氏名】商経鋭
(72)【発明者】
【氏名】奪実祥偉
(72)【発明者】
【氏名】高正剛
(72)【発明者】
【氏名】楊舒舒
【審査官】伊知地 和之
(56)【参考文献】
【文献】特開２０１８－０３３０５０（ＪＰ，Ａ）
【文献】特開２０１０－０７２７８２（ＪＰ，Ａ）
【文献】特開２０１９－２１５７２８（ＪＰ，Ａ）
【文献】特開２００９－２６６０５２（ＪＰ，Ａ）
【文献】特開２０２０－２０４８１２（ＪＰ，Ａ）
【文献】特開２０１９－０９６１７９（ＪＰ，Ａ）
【文献】Nawaratne Rashmika et al.，“Spatiotemporal Anomaly Detection Using Deep Learning for Real-Time Video Surveillance”，IEEE Transactions on Industrial Informatics，2020年，Vol.16,No.1，p.393-402，DOI: 10.1109/TII.2019.2938527
【文献】菅沼雅徳 外１名，異常検知のための自己組織化モデルとその監視映像への適用，情報処理学会 論文誌（トランザクション） 数理モデル化と応用（ＴＯＭ） Ｖｏｌ．９ Ｎｏ．１ ［ｏｎｌｉｎｅ］，日本，情報処理学会，2016年02月08日，第9巻 第1号，pp.23～32
【文献】岡本宏美 外４名，状況依存モデルを用いた異常行動の検出，電子情報通信学会技術研究報告 Ｖｏｌ．１０８ Ｎｏ．９４，日本，社団法人電子情報通信学会，2008年06月12日，第108巻 第94号，pp.103～108
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
Ｇ０６Ｖ ３０／４１８
Ｇ０６Ｖ ４０／１６
Ｇ０６Ｖ ４０／２０
Ｈ０４Ｎ ２３／００
Ｈ０４Ｎ ２３／４０ － ２３／７６
Ｈ０４Ｎ ２３／９０ － ２３／９５９
Ｈ０４Ｎ ７／１８
ＣＳＤＢ（日本国特許庁）
(57)【特許請求の範囲】
【請求項1】
時空間モデルを確立すること、モニタの第１プリセット時間帯の第１ビデオ監視画面を収集すること、
前記第１ビデオ監視画面内の行動を第１正常行動とし、前記第１正常行動を前記時空間モ
デルに入力し、前記時空間モデルを訓練すること、
訓練済の前記時空間モデルにより、前記モニタの第２プリセット時間帯で異常行動を有す
る第２ビデオ監視画面を特定すること、
前記第２ビデオ監視画面を手動検証に送信すること、
前記第２ビデオ監視画面中の前記異常行動が手動検証に合格した場合、前記異常行動が正
常と判定され、ファジイ集約法により、前記第２ビデオ監視画面中の前記異常行動を第２
正常行動として構築すること、
前記第２正常行動を前記時空間モデルに入力し、前記時空間モデルを再訓練し、異常行動
を有する第２ビデオ監視画面を特定するステップを繰り返して実行すること、
前記異常行動が手動検証に合格しない場合、前記異常行動が非正常と判定されて記録され
ること、を含み、
第１プリセット時間および第２プリセット時間が連続し、
前記第１プリセット時間は第１時点で開始し、第２時点で終了し、前記第２プリセット時
間は第２時点で開始し、第３時点で終了し、
前記時空間モデルは入力データ層、畳み込み層を含み、
前記入力データ層は、前記第１ビデオ監視画面および／または前記第２ビデオ監視画面を
前処理し、前記時空間モデルの学習能力を強化するために使用され、
前記畳み込み層は、前記第１ビデオ監視画面および／または前記第２ビデオ監視画面を分
析して学習するために使用され、
前記入力データ層は前記第１ビデオ監視画面および／または前記第２ビデオ監視画面を前
処理するステップは、
長さＴのスライドウィンドウを用いて前記第１ビデオ監視画面および／または前記第２ビ
デオ監視画面を抽出すること、
抽出された前記第１ビデオ監視画面および／または前記第２ビデオ監視画面を連続フレー
ムとし、前記連続フレームをグレースケールダウンスケーリングに変換し、２２４×２２
４のピクセル値に調整し、０から１にスケーリングすることにより前記ピクセル値を正規
化処理すること、
長さＴの前記連続フレームを積層して入力時間矩形を形成すること、を含み、
前記時空間モデルはＣｏｎｖＬＳＴＭ層をさらに含み、
前記ＣｏｎｖＬＳＴＭ層は前記連続フレームから時空間特徴を捕捉するために使用され、
前記ＣｏｎｖＬＳＴＭ層のモデルは以下のように表示され：
前記時空間モデルは異常閾値によって前記正常行動および前記異常行動を区別し、前記異
常閾値は手動で選択され、
前記異常閾値が低くなると、前記時空間モデルのモニタ中の前記異常行動に対する検出感
度が高くなり、異常行動を有する第２ビデオ監視画面の検出回数が多くなり、
前記異常閾値が高くなると、前記時空間モデルのモニタ中の前記異常行動に対する検出感
度が低くなり、異常行動を有する第２ビデオ監視画面の検出回数が少なくなり、
前記手動検証は再構成誤差により前記第２ビデオ監視画面中の前記異常行動が合格したか
どうかを判定し、
前記再構成誤差は異常局在化の各入力時間矩形の分数として表され、前記異常局在化は異
常が発生するビデオフレーム内の特定領域の局在化であり、
訓練済の前記時空間モデルにより、前記モニタの第２プリセット時間帯で異常行動を有す
る第２ビデオ監視画面を特定するステップは、
前記時空間モデルは前記入力時間矩形の前記再構成誤差が前記異常閾値よりも大きいと検
出した場合、該前記入力時間矩形を異常と分類し、監視画面から前記第２ビデオ監視画面
を特定することを含む、
ことを特徴とするインクリメンタル時空間学習に基づく異常行動認識監視方法。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、異常行動監視の技術分野に関し、特にインクリメンタル時空間学習に基づく異
常行動認識監視方法に関する。
常行動認識監視方法に関する。
【背景技術】
【0002】
人間行動認識アルゴリズムは、スポーツにおけるアスリートの動作技術評価、ゲームにお
ける仮想キャラクタの動作制御、医療における患者の動作能力評価、セキュリティにおけ
る人間の行動識別など、多くの分野で広く利用されている。
人間行動認識アルゴリズムは、センサーデータと機械学習技術を利用して、人間の動きや
行動を自動的に分析・識別する。従来の監視ビデオに比べ、人間行動認識アルゴリズムは
リアルタイムで正確な無人監視を可能にする。リアルタイムの監視と分析により、潜在的
な安全リスクを特定し、タイムリーに対応することができるため、変電所の安全性と安定
性が向上する。
ビデオ監視における異常検出のための人工知能における現在の最近の開発は、課題の一部
に対処しているに過ぎず、時間の経過に伴う異常行動の性質を無視しており、リアルタイ
ムのビデオ監視のための異常検出とローカライゼーションの開発には限界がある。
ける仮想キャラクタの動作制御、医療における患者の動作能力評価、セキュリティにおけ
る人間の行動識別など、多くの分野で広く利用されている。
人間行動認識アルゴリズムは、センサーデータと機械学習技術を利用して、人間の動きや
行動を自動的に分析・識別する。従来の監視ビデオに比べ、人間行動認識アルゴリズムは
リアルタイムで正確な無人監視を可能にする。リアルタイムの監視と分析により、潜在的
な安全リスクを特定し、タイムリーに対応することができるため、変電所の安全性と安定
性が向上する。
ビデオ監視における異常検出のための人工知能における現在の最近の開発は、課題の一部
に対処しているに過ぎず、時間の経過に伴う異常行動の性質を無視しており、リアルタイ
ムのビデオ監視のための異常検出とローカライゼーションの開発には限界がある。
【発明の概要】
【0003】
本出願は、ビデオ監視における異常検知に使用される人工知能が、時間経過に伴う異常行
動の性質を無視し、リアルタイムビデオ監視のための異常検知および位置特定を開発する
上で限界があるという問題を解決するために、インクリメンタル時空間学習に基づく異常
行動認識監視方法を提供し、この方法は、
時空間モデルを確立すること、
モニタの第１プリセット時間帯の第１ビデオ監視画面を収集すること、
前記第１ビデオ監視画面内の行動を第１正常行動とし、前記第１正常行動を前記時空間モ
デルに入力し、前記時空間モデルを訓練すること、
訓練済の前記時空間モデルにより、前記モニタの第２プリセット時間帯で異常行動を有す
る第２ビデオ監視画面を特定すること、
前記第２ビデオ監視画面を手動検証に送信すること、
前記第２ビデオ監視画面中の前記異常行動が手動検証に合格した場合、前記異常行動が正
常と判定され、ファジイ集約法により、前記第２ビデオ監視画面中の前記異常行動を第２
正常行動として構築すること、
前記第２正常行動を前記時空間モデルに入力し、前記時空間モデルを再訓練し、異常行動
を有する第２ビデオ監視画面を特定するステップを繰り返して実行すること、
前記異常行動が手動検証に合格しない場合、前記異常行動が非正常と判定されて記録され
ること、を含む。
実現可能な実施態様では、前記第１プリセット時間および前記第２プリセット時間が連続
し、
前記第１プリセット時間は第１時点で開始し、第２時点で終了し、前記第２プリセット時
間は第２時点で開始し、第３時点で終了する。
実現可能な実施態様では、前記時空間モデルは入力データ層、畳み込み層を含み、
前記入力データ層は、前記第１ビデオ監視画面および／または前記第２ビデオ監視画面を
前処理し、前記時空間モデルの学習能力を強化するために使用され、
前記畳み込み層は、前記第１ビデオ監視画面および／または前記第２ビデオ監視画面を分
析して学習するために使用される。
実現可能な実施態様では、前記入力データ層は前記第１ビデオ監視画面および／または前
記第２ビデオ監視画面を前処理するステップは、
長さＴのスライドウィンドウを用いて前記第１ビデオ監視画面および／または前記第２ビ
デオ監視画面を抽出すること、
抽出された前記第１ビデオ監視画面および／または前記第２ビデオ監視画面を連続フレー
ムとし、前記連続フレームをグレースケールダウンスケーリングに変換し、２２４×２２
４のピクセル値に調整し、０から１にスケーリングすることにより前記ピクセル値を正規
化処理すること、
長さＴの前記連続フレームを積層して入力時間矩形を形成すること、を含む。
実現可能な実施態様では、前記時空間モデルはＣｏｎｖＬＳＴＭ層をさらに含み、
前記ＣｏｎｖＬＳＴＭ層は前記連続フレームから時空間特徴を捕捉するために使用され、
前記ＣｏｎｖＬＳＴＭ層のモデルは以下のように表示され：
式において、「
」は畳み込み演算を示し、「
」はＨａｄａｍａｒｄ積演算を示し、
は入力を示し、
はセル状態を示し、
は隠れ状態を示し、
和
は３次元テンソルであり、「
」はｓｉｇｍｏｉｄ関数を示し、
および
はＣｏｎｖＬＳＴＭ中の２次元畳み込みカーネルである。
実現可能な実施態様では、前記時空間モデルは異常閾値によって前記正常行動および前記
異常行動を区別し、前記異常閾値は手動で選択され、
前記異常閾値が低くなると、前記時空間モデルのモニタ中の前記異常行動に対する検出感
度が高くなり、異常行動を有する第２ビデオ監視画面の検出回数が多くなり、
前記異常閾値が高くなると、前記時空間モデルのモニタ中の前記異常行動に対する検出感
度が低くなり、異常行動を有する第２ビデオ監視画面の検出回数が少なくなる。
実現可能な実施態様では、前記手動検証は再構成誤差により前記第２ビデオ監視画面中の
前記異常行動が合格しかかどうかを判定し、
前記再構成誤差は異常局在化の各前記入力時間矩形の分数として表され、前記異常局在化
は異常が発生するビデオフレーム内の特定領域の局在化であり、前記再構成誤差の計算式
は式（６）および式（７）に示され：
ここで、
は時間ウィンドウであり、
はビデオフレームの高さである。
実現可能な実施態様では、訓練済の前記時空間モデルにより、前記モニタの第２プリセッ
ト時間帯で異常行動を有する第２ビデオ監視画面を特定するステップは、
前記時空間モデルは前記入力時間矩形の前記再構成誤差が前記異常閾値よりも大きいと検
出した場合、該前記入力時間矩形を異常と分類し、監視画面から前記第２ビデオ監視画面
を特定することを含む。
上記内容から分かるように、本出願が提供するインクリメンタル時空間学習に基づく異常
行動認識監視方法は、時空間モデルを確立すること、モニタの第１プリセット時間帯の第
１ビデオ監視画面を収集すること、前記第１ビデオ監視画面内の行動を第１正常行動とし
、前記第１正常行動を前記時空間モデルに入力し、前記時空間モデルを訓練すること、訓
練済の前記時空間モデルにより、前記モニタの第２プリセット時間帯で異常行動を有する
第２ビデオ監視画面を特定すること、前記第２ビデオ監視画面を手動検証に送信すること
、前記第２ビデオ監視画面中の前記異常行動が手動検証に合格した場合、前記異常行動が
正常と判定され、ファジイ集約法により、前記第２ビデオ監視画面中の前記異常行動を第
２正常行動として構築しること、前記第２正常行動を前記時空間モデルに入力し、前記時
空間モデルを再訓練し、異常行動を有する第２ビデオ監視画面を特定するステップを繰り
返して実行すること、前記異常行動が手動検証に合格しない場合、前記異常行動が非正常
と判定されて記録されること、を含む。本出願は、時系列検出して正常行動を時空間モデ
ルに入力することにより、時空間モデルを継続的に学習訓練させて異常行動の検出に活用
することができ、異常行動の検出精度を向上させることができる。
動の性質を無視し、リアルタイムビデオ監視のための異常検知および位置特定を開発する
上で限界があるという問題を解決するために、インクリメンタル時空間学習に基づく異常
行動認識監視方法を提供し、この方法は、
時空間モデルを確立すること、
モニタの第１プリセット時間帯の第１ビデオ監視画面を収集すること、
前記第１ビデオ監視画面内の行動を第１正常行動とし、前記第１正常行動を前記時空間モ
デルに入力し、前記時空間モデルを訓練すること、
訓練済の前記時空間モデルにより、前記モニタの第２プリセット時間帯で異常行動を有す
る第２ビデオ監視画面を特定すること、
前記第２ビデオ監視画面を手動検証に送信すること、
前記第２ビデオ監視画面中の前記異常行動が手動検証に合格した場合、前記異常行動が正
常と判定され、ファジイ集約法により、前記第２ビデオ監視画面中の前記異常行動を第２
正常行動として構築すること、
前記第２正常行動を前記時空間モデルに入力し、前記時空間モデルを再訓練し、異常行動
を有する第２ビデオ監視画面を特定するステップを繰り返して実行すること、
前記異常行動が手動検証に合格しない場合、前記異常行動が非正常と判定されて記録され
ること、を含む。
実現可能な実施態様では、前記第１プリセット時間および前記第２プリセット時間が連続
し、
前記第１プリセット時間は第１時点で開始し、第２時点で終了し、前記第２プリセット時
間は第２時点で開始し、第３時点で終了する。
実現可能な実施態様では、前記時空間モデルは入力データ層、畳み込み層を含み、
前記入力データ層は、前記第１ビデオ監視画面および／または前記第２ビデオ監視画面を
前処理し、前記時空間モデルの学習能力を強化するために使用され、
前記畳み込み層は、前記第１ビデオ監視画面および／または前記第２ビデオ監視画面を分
析して学習するために使用される。
実現可能な実施態様では、前記入力データ層は前記第１ビデオ監視画面および／または前
記第２ビデオ監視画面を前処理するステップは、
長さＴのスライドウィンドウを用いて前記第１ビデオ監視画面および／または前記第２ビ
デオ監視画面を抽出すること、
抽出された前記第１ビデオ監視画面および／または前記第２ビデオ監視画面を連続フレー
ムとし、前記連続フレームをグレースケールダウンスケーリングに変換し、２２４×２２
４のピクセル値に調整し、０から１にスケーリングすることにより前記ピクセル値を正規
化処理すること、
長さＴの前記連続フレームを積層して入力時間矩形を形成すること、を含む。
実現可能な実施態様では、前記時空間モデルはＣｏｎｖＬＳＴＭ層をさらに含み、
前記ＣｏｎｖＬＳＴＭ層は前記連続フレームから時空間特徴を捕捉するために使用され、
前記ＣｏｎｖＬＳＴＭ層のモデルは以下のように表示され：
実現可能な実施態様では、前記時空間モデルは異常閾値によって前記正常行動および前記
異常行動を区別し、前記異常閾値は手動で選択され、
前記異常閾値が低くなると、前記時空間モデルのモニタ中の前記異常行動に対する検出感
度が高くなり、異常行動を有する第２ビデオ監視画面の検出回数が多くなり、
前記異常閾値が高くなると、前記時空間モデルのモニタ中の前記異常行動に対する検出感
度が低くなり、異常行動を有する第２ビデオ監視画面の検出回数が少なくなる。
実現可能な実施態様では、前記手動検証は再構成誤差により前記第２ビデオ監視画面中の
前記異常行動が合格しかかどうかを判定し、
前記再構成誤差は異常局在化の各前記入力時間矩形の分数として表され、前記異常局在化
は異常が発生するビデオフレーム内の特定領域の局在化であり、前記再構成誤差の計算式
は式（６）および式（７）に示され：
実現可能な実施態様では、訓練済の前記時空間モデルにより、前記モニタの第２プリセッ
ト時間帯で異常行動を有する第２ビデオ監視画面を特定するステップは、
前記時空間モデルは前記入力時間矩形の前記再構成誤差が前記異常閾値よりも大きいと検
出した場合、該前記入力時間矩形を異常と分類し、監視画面から前記第２ビデオ監視画面
を特定することを含む。
上記内容から分かるように、本出願が提供するインクリメンタル時空間学習に基づく異常
行動認識監視方法は、時空間モデルを確立すること、モニタの第１プリセット時間帯の第
１ビデオ監視画面を収集すること、前記第１ビデオ監視画面内の行動を第１正常行動とし
、前記第１正常行動を前記時空間モデルに入力し、前記時空間モデルを訓練すること、訓
練済の前記時空間モデルにより、前記モニタの第２プリセット時間帯で異常行動を有する
第２ビデオ監視画面を特定すること、前記第２ビデオ監視画面を手動検証に送信すること
、前記第２ビデオ監視画面中の前記異常行動が手動検証に合格した場合、前記異常行動が
正常と判定され、ファジイ集約法により、前記第２ビデオ監視画面中の前記異常行動を第
２正常行動として構築しること、前記第２正常行動を前記時空間モデルに入力し、前記時
空間モデルを再訓練し、異常行動を有する第２ビデオ監視画面を特定するステップを繰り
返して実行すること、前記異常行動が手動検証に合格しない場合、前記異常行動が非正常
と判定されて記録されること、を含む。本出願は、時系列検出して正常行動を時空間モデ
ルに入力することにより、時空間モデルを継続的に学習訓練させて異常行動の検出に活用
することができ、異常行動の検出精度を向上させることができる。
【図面の簡単な説明】
【0004】
ここでの添付図面は本明細書に組み込まれて本明細書の一部を構成し、本発明の実施に適
した実施例を図示し、明細書とともに本発明の実施例の原理を解釈するために使用される
。明らかに、以下で説明される添付図面は本発明のいくつかの実施例に過ぎず、当業者で
あれば、創造的な労働をすることなく、これらの添付図面に基づいて他の図面を得ること
ができる。
した実施例を図示し、明細書とともに本発明の実施例の原理を解釈するために使用される
。明らかに、以下で説明される添付図面は本発明のいくつかの実施例に過ぎず、当業者で
あれば、創造的な労働をすることなく、これらの添付図面に基づいて他の図面を得ること
ができる。
【図1】本出願の実施例が提供するインクリメンタル時空間学習に基づく異常行動認識監視方法の概略フローチャートである。
【図2】本出願の実施例が提供する入力データ層が前記第１ビデオ監視画面および／または前記第２ビデオ監視画面を前処理する場合の概略フローチャートである。
【発明を実施するための形態】
【0005】
添付図面を参照して例示的な実施形態をより完全に説明する。しかし、例示的な実施形態
は様々な形態で実施され得、ここでの例に限定されなく、むしろ、これらの実施形態を提
供することにより、本発明の実施例がより包括的かつ完全なものとなり、当業者に例示的
な実施形態の思想を包括的に伝えることができる。説明した特徴、構造または特性は、任
意の公的な方法で１つまたは複数の実施形態に組み合わせることができる。以下の説明に
おいて、多くの具体的な詳細が提供され、本発明の実施形態の完全な理解が得られる。
人間の行動認識アルゴリズムは、センサデータと機械学習技術を利用して、人間の動きと
行動を自動的に分析し、認識することができる。従来の監視ビデオと比較して、人間行動
認識アルゴリズムは、リアルタイムで正確な無人介入監視を可能にする。変電所の運転・
保守要員の操作行動を監視し、潜在的な操作ミスや異常を検出し、タイムリーに警告を発
し、適切な措置を講じることができる。さらに、人間行動認識アルゴリズムは、無許可で
変電所エリアに入る人員、破壊された設備、悪意のある操作など、変電所内の異常行動を
識別することができる。リアルタイムの監視と分析を通じて、潜在的なセキュリティ・リ
スクを特定し、タイムリーに対応することで、変電所の安全性と安定性を向上させること
ができる。ビデオ監視における異常検知のための最近の人工知能開発は、課題の一部にし
か対処しておらず、経時的な異常行動の性質はほとんど無視されている。
実世界のビデオ監視環境において、能動学習は動的に変化する環境における異常検知を達
成することを目的としている。学習時空間モデルは、最初に提供された許容可能な最初の
正常行動を識別するように訓練される。しかし、予期しない新しい正常行動や、異常とみ
なされる既存の行動が正常行動に変化することを含む動的環境では、検知システムがこれ
らの新しいシナリオを検知する能力とともに進化することが重要である。すなわち、ファ
ジィ集約法を用いて、対応する監視コンテキストに特有の未知の／新しい正常行動を含む
時空間モデルを継続的に訓練する。
図１に示すように、本出願が提供するインクリメンタル時空間学習に基づく異常認識監視
方法方法は、以下のステップを含む。
Ｓ１００：時空間モデルを確立する。
時空間モデルはＩＳＴＬモデルを採用し、時空間自己エンコーダから構成され、ビデオ入
力から外観および動き表現を学習する。時空間自己エンコーダは教師なし学習アルゴリズ
ムであり、逆伝播を用いて再構成誤差を最小化することで目標値を入力値と等しくする。
Ｓ２００：モニタの第１プリセット時間帯の第１ビデオ監視画面を収集する。
第１ビデオ監視画面は、所定のカメラ視角のける正常行動を示すビデオフレームからなる
訓練ビデオストリーム
から構成され、訓練ビデオストリームは、高さｈ、幅ｗのフレームシーケンスから構成さ
れ、
、
は現実世界におけるカメラビューのすべてのビデオフレームを示す。
Ｓ３００：第１ビデオ監視画面内の行動を第１正常行動とし、第１正常行動を時空間モデ
ルに入力し、時空間モデルを訓練する。
第１正常行動を時空間モデルに入力した後、時空間モデルは学習訓練を行い、いくつかの
実施例では、時空間モデルを訓練した後に試験してもよく、試験時、試験ビデオストリー
ム
を採用し、ここで、
、
は正常行動と異常行動のビデオフレームを含む。その目的は、時空間モデルが
から正常行動の表現を学習した後
で検証して、異常行動を区別し、時空間モデルの訓練が完了したと判定することである。
Ｓ４００：訓練済の時空間モデルによってモニタの第２プリセット時間帯で異常行動を有
する第２ビデオ監視画面を特定する。
時空間モデルは訓練結果に基づいて、第２プリセット時間帯で第１正常行動と異なる行動
を区別し、異常行動と判定する。
Ｓ５００：第２ビデオ監視画面を手動検証に送信する。
時空間モデルは第１ビデオ監視画面のみに基づいて訓練されるので、認識された異常行動
が正確でない場合があり、このとき手動で再検証して認識された異常行動の正確さを検証
する必要がある。
Ｓ６００：第２ビデオ監視画面中の異常行動が手動検証に合格した場合、異常行動が正常
と判定され、ファジイ集約法によって第２ビデオ監視画面中の異常行動を第２正常行動と
して構築する。
具体的に、本出願中のＩＳＴＬモデルはまず監視環境下で予め認識された正常行動で訓練
され、異常検出に使用される。手動で検証してフィードバックする目的は、時空間モデル
に動的に進化する正常行動を積極的に提供することである。したがって、検出された異常
行動が誤検出（偽陽性）である場合、異常行動を有する第２ビデオ監視画面中のビデオフ
レームタグを手動で「正常」と判定し、第２正常行動を得、継続的な学習段階に使用され
る。
手動でフィードバックした後、正常と判定されたビデオフレームをＩＳＴＬモデルの継続
的な訓練に使用してその正常概念の知識を更新する。
ビデオフレームのファジー集約は、ＩＳＴＬモデルの連続的な学習を強化し、学習反復の
安定性を維持する。検出段階では、評価されたすべてのビデオフレームは再構成誤差に基
づいてファジイ尺度
でラベル付けされ、
に基づいて有限個(ｎ個)集合体にグループ化される。続いて、継続的な学習段階では、フ
ァジー集約アルゴリズムは各組ファジイ尺度(Ｓ)から
最も高い
個のビデオフレーム矩形を選択してＩＳＴＬモデルを訓練する。パラメータ
と
は初期化時に継続的な学習に使用されるビデオ監視ストリームの継続時間に基づいて定義
される。継続的な訓練のシナリオ選択は式(８)のように定義され、ここで、
、ここで、
および
は選択された時間矩形のインデックスであり、それらは継続的な訓練データセットに含ま
れ、
継続的な訓練反復のデータセットは、手動検証された偽陽性検出とファジー集約により正
常行動から選択された時間矩形から構成される。継続的な訓練により検出モデルが新しい
正常行動を捕捉する能力を更新しながら、以前に知られている正常行動の安定性を維持す
ることができる。このファジー集約法は、ＩｏＴストリームマイニング、テキストマイニ
ング、およびビデオストリームマイニングの連続学習において、安定性と可塑性を維持す
ることに成功している。
Ｓ７００：第２正常行動を時空間モデルに入力し、時空間モデルを再訓練し、異常行動を
有する第２ビデオ監視画面を特定するステップを繰り返して実行する。
シナリオ選択後、ＩＳＴＬモデルは入力ビデオデータから選択された表現に基づいて継続
的に訓練され、監視領域から更新された期待される行動と許容される行動となる。その後
、更新後のＩＳＴＬモデルは異常検出に再利用される。
Ｓ８００：異常行動が手動検証に合格しない場合、異常行動が非正常と判定されて記録さ
れる。
なお、手動検証で異常行動と判定された場合、時空間モデルの学習訓練に投入する必要が
ない。
本出願のいくつかの実施例では、第１プリセット時間帯は、第１時点
から第２時点
までとし、第２プリセット時間帯は時点
から時点
までとし、第１プリセット時間内で連続している。時空間モデルの入力監視画面はすべて
連続し、重複や漏れを避けることができる。
本出願のいくつかの実施例では、時空間モデルは入力データ層、畳み込み層を含む。
入力データ層は第１ビデオ監視画面および／または第２ビデオ監視画面を前処理し、時空
間モデルの学習能力を強化するために使用される。
図２に示すように、具体的な前処理のステップは以下を含む。
Ｓ００１：長さＴのスライドウィンドウにより第１ビデオ監視画面および／または第２ビ
デオ監視画面を抽出する。
Ｓ００２：抽出された第１ビデオ監視画面および／または第２ビデオ監視画面を連続フレ
ームとし、連続フレームをグレースケールダウンスケーリングに変換し、２２４×２２４
のピクセル値に調整し、０から１へのスケーリングによりピクセル値を正規化処理する。
Ｓ００３：長さＴの連続フレームを積層して入力時間矩形を形成する。なお、時間ウィン
ドウＴの長さを長くすることで、より長い行動を含むことができることを理解されたい。
畳み込み層は、第１ビデオ監視画面および／または第２ビデオ監視画面を分析して学習す
るために使用される。
畳み込み層（ＣＮＮ）は、動物の視覚野の組織と同様の生物学的プロセスに着想を得てい
る。畳み込み層のニューロンの接続性は、個々の皮質ニューロンが入力フレームの限定さ
れた領域（すなわち受容野）においてのみ刺激に反応するように、動物の視覚系に類似し
た方法で設計されている。ビデオ解析では、畳み込み層は、学習中に値が学習されるフィ
ルタを使用して特徴表現を学習することにより、入力フレーム内の空間的関係を保持する
ことができる。
は様々な形態で実施され得、ここでの例に限定されなく、むしろ、これらの実施形態を提
供することにより、本発明の実施例がより包括的かつ完全なものとなり、当業者に例示的
な実施形態の思想を包括的に伝えることができる。説明した特徴、構造または特性は、任
意の公的な方法で１つまたは複数の実施形態に組み合わせることができる。以下の説明に
おいて、多くの具体的な詳細が提供され、本発明の実施形態の完全な理解が得られる。
人間の行動認識アルゴリズムは、センサデータと機械学習技術を利用して、人間の動きと
行動を自動的に分析し、認識することができる。従来の監視ビデオと比較して、人間行動
認識アルゴリズムは、リアルタイムで正確な無人介入監視を可能にする。変電所の運転・
保守要員の操作行動を監視し、潜在的な操作ミスや異常を検出し、タイムリーに警告を発
し、適切な措置を講じることができる。さらに、人間行動認識アルゴリズムは、無許可で
変電所エリアに入る人員、破壊された設備、悪意のある操作など、変電所内の異常行動を
識別することができる。リアルタイムの監視と分析を通じて、潜在的なセキュリティ・リ
スクを特定し、タイムリーに対応することで、変電所の安全性と安定性を向上させること
ができる。ビデオ監視における異常検知のための最近の人工知能開発は、課題の一部にし
か対処しておらず、経時的な異常行動の性質はほとんど無視されている。
実世界のビデオ監視環境において、能動学習は動的に変化する環境における異常検知を達
成することを目的としている。学習時空間モデルは、最初に提供された許容可能な最初の
正常行動を識別するように訓練される。しかし、予期しない新しい正常行動や、異常とみ
なされる既存の行動が正常行動に変化することを含む動的環境では、検知システムがこれ
らの新しいシナリオを検知する能力とともに進化することが重要である。すなわち、ファ
ジィ集約法を用いて、対応する監視コンテキストに特有の未知の／新しい正常行動を含む
時空間モデルを継続的に訓練する。
図１に示すように、本出願が提供するインクリメンタル時空間学習に基づく異常認識監視
方法方法は、以下のステップを含む。
Ｓ１００：時空間モデルを確立する。
時空間モデルはＩＳＴＬモデルを採用し、時空間自己エンコーダから構成され、ビデオ入
力から外観および動き表現を学習する。時空間自己エンコーダは教師なし学習アルゴリズ
ムであり、逆伝播を用いて再構成誤差を最小化することで目標値を入力値と等しくする。
Ｓ２００：モニタの第１プリセット時間帯の第１ビデオ監視画面を収集する。
第１ビデオ監視画面は、所定のカメラ視角のける正常行動を示すビデオフレームからなる
訓練ビデオストリーム
れ、
Ｓ３００：第１ビデオ監視画面内の行動を第１正常行動とし、第１正常行動を時空間モデ
ルに入力し、時空間モデルを訓練する。
第１正常行動を時空間モデルに入力した後、時空間モデルは学習訓練を行い、いくつかの
実施例では、時空間モデルを訓練した後に試験してもよく、試験時、試験ビデオストリー
ム
Ｓ４００：訓練済の時空間モデルによってモニタの第２プリセット時間帯で異常行動を有
する第２ビデオ監視画面を特定する。
時空間モデルは訓練結果に基づいて、第２プリセット時間帯で第１正常行動と異なる行動
を区別し、異常行動と判定する。
Ｓ５００：第２ビデオ監視画面を手動検証に送信する。
時空間モデルは第１ビデオ監視画面のみに基づいて訓練されるので、認識された異常行動
が正確でない場合があり、このとき手動で再検証して認識された異常行動の正確さを検証
する必要がある。
Ｓ６００：第２ビデオ監視画面中の異常行動が手動検証に合格した場合、異常行動が正常
と判定され、ファジイ集約法によって第２ビデオ監視画面中の異常行動を第２正常行動と
して構築する。
具体的に、本出願中のＩＳＴＬモデルはまず監視環境下で予め認識された正常行動で訓練
され、異常検出に使用される。手動で検証してフィードバックする目的は、時空間モデル
に動的に進化する正常行動を積極的に提供することである。したがって、検出された異常
行動が誤検出（偽陽性）である場合、異常行動を有する第２ビデオ監視画面中のビデオフ
レームタグを手動で「正常」と判定し、第２正常行動を得、継続的な学習段階に使用され
る。
手動でフィードバックした後、正常と判定されたビデオフレームをＩＳＴＬモデルの継続
的な訓練に使用してその正常概念の知識を更新する。
ビデオフレームのファジー集約は、ＩＳＴＬモデルの連続的な学習を強化し、学習反復の
安定性を維持する。検出段階では、評価されたすべてのビデオフレームは再構成誤差に基
づいてファジイ尺度
ァジー集約アルゴリズムは各組ファジイ尺度(Ｓ)から
される。継続的な訓練のシナリオ選択は式(８)のように定義され、ここで、
れ、
常行動から選択された時間矩形から構成される。継続的な訓練により検出モデルが新しい
正常行動を捕捉する能力を更新しながら、以前に知られている正常行動の安定性を維持す
ることができる。このファジー集約法は、ＩｏＴストリームマイニング、テキストマイニ
ング、およびビデオストリームマイニングの連続学習において、安定性と可塑性を維持す
ることに成功している。
Ｓ７００：第２正常行動を時空間モデルに入力し、時空間モデルを再訓練し、異常行動を
有する第２ビデオ監視画面を特定するステップを繰り返して実行する。
シナリオ選択後、ＩＳＴＬモデルは入力ビデオデータから選択された表現に基づいて継続
的に訓練され、監視領域から更新された期待される行動と許容される行動となる。その後
、更新後のＩＳＴＬモデルは異常検出に再利用される。
Ｓ８００：異常行動が手動検証に合格しない場合、異常行動が非正常と判定されて記録さ
れる。
なお、手動検証で異常行動と判定された場合、時空間モデルの学習訓練に投入する必要が
ない。
本出願のいくつかの実施例では、第１プリセット時間帯は、第１時点
連続し、重複や漏れを避けることができる。
本出願のいくつかの実施例では、時空間モデルは入力データ層、畳み込み層を含む。
入力データ層は第１ビデオ監視画面および／または第２ビデオ監視画面を前処理し、時空
間モデルの学習能力を強化するために使用される。
図２に示すように、具体的な前処理のステップは以下を含む。
Ｓ００１：長さＴのスライドウィンドウにより第１ビデオ監視画面および／または第２ビ
デオ監視画面を抽出する。
Ｓ００２：抽出された第１ビデオ監視画面および／または第２ビデオ監視画面を連続フレ
ームとし、連続フレームをグレースケールダウンスケーリングに変換し、２２４×２２４
のピクセル値に調整し、０から１へのスケーリングによりピクセル値を正規化処理する。
Ｓ００３：長さＴの連続フレームを積層して入力時間矩形を形成する。なお、時間ウィン
ドウＴの長さを長くすることで、より長い行動を含むことができることを理解されたい。
畳み込み層は、第１ビデオ監視画面および／または第２ビデオ監視画面を分析して学習す
るために使用される。
畳み込み層（ＣＮＮ）は、動物の視覚野の組織と同様の生物学的プロセスに着想を得てい
る。畳み込み層のニューロンの接続性は、個々の皮質ニューロンが入力フレームの限定さ
れた領域（すなわち受容野）においてのみ刺激に反応するように、動物の視覚系に類似し
た方法で設計されている。ビデオ解析では、畳み込み層は、学習中に値が学習されるフィ
ルタを使用して特徴表現を学習することにより、入力フレーム内の空間的関係を保持する
ことができる。
【0006】
本出願のいくつかの実施例では、時空間モデルはＣｏｎｖＬＳＴＭ層をさらに含み、Ｃｏ
ｎｖＬＳＴＭ層は連続フレームから時空間特徴を捕捉するために使用される。
ＲＮＮ内部メモリを使用して入力シーケンスを処理することにより、時系列入力データの
動的な時間的挙動を捕捉するように設計されている。ＬＳＴＭユニットは、ＲＮＮの一般
的なビルディングブロックを変更したものである。ＬＳＴＭユニットは、入力ゲート、出
力ゲート、忘却ゲート、およびセルから構成される。入力ゲートは、入力値がセルに入る
範囲を定義する。忘却ゲートは、前の時間ステップの値がセルに保持される範囲を制御し
、出力ゲートは、現在の入力値がセルの活性化計算に使用される範囲を制御する。セルは
任意の時間間隔で値を記憶する。ＬＳＴＭは主に長期的な時間相関をモデル化するために
使用されるため、空間情報が状態遷移に符号化されないため、空間データを扱う上で欠点
がある。しかし、監視ビデオストリームの空間構造を維持したまま時間的パターンを学習
することは、特に異常検知において極めて重要である。したがって、本出願では、ＬＳＴ
Ｍの拡張、すなわち入力から状態への遷移と状態から状態への遷移の両方が畳み込み構造
を持つＣｏｎｖＬＳＴＭを使用する。ＣｏｎｖＬＳＴＭ層は、入力、隠れ状態、ゲート、
セル出力を３次元テンソルとして設計することでこの欠点を克服する。さらに、入力とゲ
ートの行列演算は畳み込み演算に置き換えられている。これらの改良により、ＣｏｎｖＬ
ＳＴＭ 層は入力フレームシーケンスから時空間的特徴を捕捉することができる。
ＣｏｎｖＬＳＴＭ層のモデルは以下のように表示され：
式において、「
」は畳み込み演算を示し、「
」はＨａｄａｍａｒｄ積演算を示し、
は入力を示し、
はセル状態を示し、
は隠れ状態を示し、
および
は３次元テンソルであり、「
」はｓｉｇｍｏｉｄ関数を示し、
および
はＣｏｎｖＬＳＴＭ中の２次元畳み込みカーネルである。
上記実施例によれば、本出願で採用される時空間自己エンコーダ構成は表１に示される。
表１ 時空間自己エンコーダ構成
本出願のいくつかの実施例では、時空間モデルは異常閾値により正常行動と異常行動を区
別し、異常閾値は手動で選択され、異常閾値が低くなると、時空間モデルのモニタ中の異
常行動に対する検出感度が高くなり、異常行動を有する第２ビデオ監視画面の検出回数が
多くなり、異常閾値が高くなると、時空間モデルのモニタ中の異常行動に対する検出感度
が低くなり、異常行動を有する第２ビデオ監視画面の検出回数が少なくなる。
本出願では、再構成誤差閾値を定義して正常行動と異常行動を区別し、異常閾値
と命名された。実際のビデオ監視アプリケーションでは、監視アプリケーションに必要な
感度は
の値を選択する。
値が低いとき監視領域の感度がより高くなり、警報の数がより多くなる。
値が高いとき感度が低くなり、監視領域内の敏感な異常を見逃してしまう可能性がある。
さらに、本発明は、時間閾値
を導入し、
よりも高いビデオフレーム数として定義され、イベントを異常と認識する。
は、監視ビデオストリームの突然変化による偽陽性異常警報を低減するために使用され、
ここで、監視ビデオストリームの突然変化は、オクルージョン、モーションブラー、およ
び高輝度照明条件によって引き起こされる可能性がある。
本出願のいくつかの実施例では、手動検証は、再構成誤差により第２ビデオ監視画面中の
異常行動が合格であるかどうかを判定し、再構成誤差は、異常局在化のための各入力時間
矩形の分数として表現され、異常局在化は、異常が発生するビデオフレーム内の特定領域
の局在化であり、再構成誤差の計算式は式（６）および式（７）に示され：
ここで、
は時間ウィンドウであり、
はビデオフレームの高さである。
異常局在化とは、異常が発生したビデオフレームの特定領域を特定することである。ビデ
オクリップ内の異常を検出した後、非重複時空間局所矩形ウィンドウ上の再構成誤差を計
算して異常を特定し、式(７)で局所矩形の再構成誤差を計算する。
本出願のいくつかの実施例では、訓練済の時空間モデルによってモニタの第２プリセット
時間帯で異常行動を有する第２ビデオ監視画面を特定するステップは、時空間モデルは、
入力時間矩形の再構成誤差が異常閾値よりも大きいと検出した場合、該入力時間矩形を異
常と分類し、監視画面内で第２ビデオ監視画面を特定する。
ＩＳＴＬモデルは最初に監視環境において予め認識された正常行動を使用して訓練され、
異常検出に使用される。ビデオフレーム異常が検出され、すなわち入力時間矩形の再構成
誤差が異常閾値よりも大きい場合、該入力時間矩形を異常と分類する。その後、ビデオフ
レームを手動検証に送信する。
上記内容から分かるように、本出願は、インクリメンタル時空間学習に基づく異常行動認
識監視方法を提供し、この方法は、時空間モデルを確立すること、モニタの第１プリセッ
ト時間帯の第１ビデオ監視画面を収集すること、前記第１ビデオ監視画面内の行動を第１
正常行動とし、前記第１正常行動を前記時空間モデルに入力し、前記時空間モデルを訓練
すること、訓練済の前記時空間モデルにより、前記モニタの第２プリセット時間帯で異常
行動を有する第２ビデオ監視画面を特定すること、前記第２ビデオ監視画面を手動検証に
送信すること、前記第２ビデオ監視画面中の前記異常行動が手動検証に合格した場合、前
記異常行動が正常と判定され、ファジイ集約法により、前記第２ビデオ監視画面中の前記
異常行動を第２正常行動として構築しること、前記第２正常行動を前記時空間モデルに入
力し、前記時空間モデルを再訓練し、異常行動を有する第２ビデオ監視画面を特定するス
テップを繰り返して実行すること、前記異常行動が手動検証に合格しない場合、前記異常
行動が非正常と判定されて記録されること、を含む。本出願は、時系列検出して正常行動
を時空間モデルに入力することにより、時空間モデルを継続的に学習訓練させて異常行動
の検出に活用することができ、異常行動の検出精度を向上させることができる。
本出願の実施例では、「備える」、「含む」または他の変形は、非排他的な包含を意味し
、一連要素の構造、物品またはデバイスはそれらの要素だけでなく、明示的に列挙されて
いない他の要素、またはそれらの構造、物品またはデバイスに固有の要素もカバーするこ
とを意図している。さらなる制限がない限り、「……を含む」という表現によって定義さ
れる要素は、要素を含む構造、物品またはデバイスに別の同一要素の存在を排除するもの
ではない。
当業者は、本明細書および実施形態を考慮すれば本開示の他の実施態様を容易に想到する
ことができる。本出願は本開示の任意の変形、用途または適応変化を含み、これらの変形
、用途または適応変化は本開示の一般的な原理に従い、本開示に開示されていない本分野
の周知常識または慣用の技術手段を含むことを意図している。本明細書と実施例は例示的
なものと見なされ、本開示の真の範囲および精神は以下の特許請求の範囲によって示され
る。
ｎｖＬＳＴＭ層は連続フレームから時空間特徴を捕捉するために使用される。
ＲＮＮ内部メモリを使用して入力シーケンスを処理することにより、時系列入力データの
動的な時間的挙動を捕捉するように設計されている。ＬＳＴＭユニットは、ＲＮＮの一般
的なビルディングブロックを変更したものである。ＬＳＴＭユニットは、入力ゲート、出
力ゲート、忘却ゲート、およびセルから構成される。入力ゲートは、入力値がセルに入る
範囲を定義する。忘却ゲートは、前の時間ステップの値がセルに保持される範囲を制御し
、出力ゲートは、現在の入力値がセルの活性化計算に使用される範囲を制御する。セルは
任意の時間間隔で値を記憶する。ＬＳＴＭは主に長期的な時間相関をモデル化するために
使用されるため、空間情報が状態遷移に符号化されないため、空間データを扱う上で欠点
がある。しかし、監視ビデオストリームの空間構造を維持したまま時間的パターンを学習
することは、特に異常検知において極めて重要である。したがって、本出願では、ＬＳＴ
Ｍの拡張、すなわち入力から状態への遷移と状態から状態への遷移の両方が畳み込み構造
を持つＣｏｎｖＬＳＴＭを使用する。ＣｏｎｖＬＳＴＭ層は、入力、隠れ状態、ゲート、
セル出力を３次元テンソルとして設計することでこの欠点を克服する。さらに、入力とゲ
ートの行列演算は畳み込み演算に置き換えられている。これらの改良により、ＣｏｎｖＬ
ＳＴＭ 層は入力フレームシーケンスから時空間的特徴を捕捉することができる。
ＣｏｎｖＬＳＴＭ層のモデルは以下のように表示され：
上記実施例によれば、本出願で採用される時空間自己エンコーダ構成は表１に示される。
表１ 時空間自己エンコーダ構成
別し、異常閾値は手動で選択され、異常閾値が低くなると、時空間モデルのモニタ中の異
常行動に対する検出感度が高くなり、異常行動を有する第２ビデオ監視画面の検出回数が
多くなり、異常閾値が高くなると、時空間モデルのモニタ中の異常行動に対する検出感度
が低くなり、異常行動を有する第２ビデオ監視画面の検出回数が少なくなる。
本出願では、再構成誤差閾値を定義して正常行動と異常行動を区別し、異常閾値
感度は
さらに、本発明は、時間閾値
ここで、監視ビデオストリームの突然変化は、オクルージョン、モーションブラー、およ
び高輝度照明条件によって引き起こされる可能性がある。
本出願のいくつかの実施例では、手動検証は、再構成誤差により第２ビデオ監視画面中の
異常行動が合格であるかどうかを判定し、再構成誤差は、異常局在化のための各入力時間
矩形の分数として表現され、異常局在化は、異常が発生するビデオフレーム内の特定領域
の局在化であり、再構成誤差の計算式は式（６）および式（７）に示され：
異常局在化とは、異常が発生したビデオフレームの特定領域を特定することである。ビデ
オクリップ内の異常を検出した後、非重複時空間局所矩形ウィンドウ上の再構成誤差を計
算して異常を特定し、式(７)で局所矩形の再構成誤差を計算する。
本出願のいくつかの実施例では、訓練済の時空間モデルによってモニタの第２プリセット
時間帯で異常行動を有する第２ビデオ監視画面を特定するステップは、時空間モデルは、
入力時間矩形の再構成誤差が異常閾値よりも大きいと検出した場合、該入力時間矩形を異
常と分類し、監視画面内で第２ビデオ監視画面を特定する。
ＩＳＴＬモデルは最初に監視環境において予め認識された正常行動を使用して訓練され、
異常検出に使用される。ビデオフレーム異常が検出され、すなわち入力時間矩形の再構成
誤差が異常閾値よりも大きい場合、該入力時間矩形を異常と分類する。その後、ビデオフ
レームを手動検証に送信する。
上記内容から分かるように、本出願は、インクリメンタル時空間学習に基づく異常行動認
識監視方法を提供し、この方法は、時空間モデルを確立すること、モニタの第１プリセッ
ト時間帯の第１ビデオ監視画面を収集すること、前記第１ビデオ監視画面内の行動を第１
正常行動とし、前記第１正常行動を前記時空間モデルに入力し、前記時空間モデルを訓練
すること、訓練済の前記時空間モデルにより、前記モニタの第２プリセット時間帯で異常
行動を有する第２ビデオ監視画面を特定すること、前記第２ビデオ監視画面を手動検証に
送信すること、前記第２ビデオ監視画面中の前記異常行動が手動検証に合格した場合、前
記異常行動が正常と判定され、ファジイ集約法により、前記第２ビデオ監視画面中の前記
異常行動を第２正常行動として構築しること、前記第２正常行動を前記時空間モデルに入
力し、前記時空間モデルを再訓練し、異常行動を有する第２ビデオ監視画面を特定するス
テップを繰り返して実行すること、前記異常行動が手動検証に合格しない場合、前記異常
行動が非正常と判定されて記録されること、を含む。本出願は、時系列検出して正常行動
を時空間モデルに入力することにより、時空間モデルを継続的に学習訓練させて異常行動
の検出に活用することができ、異常行動の検出精度を向上させることができる。
本出願の実施例では、「備える」、「含む」または他の変形は、非排他的な包含を意味し
、一連要素の構造、物品またはデバイスはそれらの要素だけでなく、明示的に列挙されて
いない他の要素、またはそれらの構造、物品またはデバイスに固有の要素もカバーするこ
とを意図している。さらなる制限がない限り、「……を含む」という表現によって定義さ
れる要素は、要素を含む構造、物品またはデバイスに別の同一要素の存在を排除するもの
ではない。
当業者は、本明細書および実施形態を考慮すれば本開示の他の実施態様を容易に想到する
ことができる。本出願は本開示の任意の変形、用途または適応変化を含み、これらの変形
、用途または適応変化は本開示の一般的な原理に従い、本開示に開示されていない本分野
の周知常識または慣用の技術手段を含むことを意図している。本明細書と実施例は例示的
なものと見なされ、本開示の真の範囲および精神は以下の特許請求の範囲によって示され
る。
【要約】 （修正有）
【課題】インクリメンタル時空間学習に基づく異常行動認識監視方法を提供する。
【解決手段】方法は、時空間モデルを確立すること、モニタの第１プリセット時間帯の第１ビデオ監視画面を収集し、時空間モデルに入力し、時空間モデルを訓練すること、訓練済の時空間モデルによってモニタの第２プリセット時間帯で異常行動を有する第２ビデオ監視画面を特定すること及び検証のために人手に送信することを含む。異常行動が手動検証に合格した場合、異常行動が正常と判定され、ファジイ集約法により第２ビデオ監視画面中の異常行動を第２正常行動として構築し、第２正常行動を時空間モデルに入力し、時空間モデルを再訓練し、上記ステップを繰り返す。
【選択図】図１
【解決手段】方法は、時空間モデルを確立すること、モニタの第１プリセット時間帯の第１ビデオ監視画面を収集し、時空間モデルに入力し、時空間モデルを訓練すること、訓練済の時空間モデルによってモニタの第２プリセット時間帯で異常行動を有する第２ビデオ監視画面を特定すること及び検証のために人手に送信することを含む。異常行動が手動検証に合格した場合、異常行動が正常と判定され、ファジイ集約法により第２ビデオ監視画面中の異常行動を第２正常行動として構築し、第２正常行動を時空間モデルに入力し、時空間モデルを再訓練し、上記ステップを繰り返す。
【選択図】図１
【図1】
【図2】
