特許 7316712 異常行動検出システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-07-20

(45)【発行日】2023-07-28

(54)【発明の名称】異常行動検出システム

(51)【国際特許分類】

   G08B 25/00 20060101AFI20230721BHJP

【ＦＩ】

G08B25/00 510M

【請求項の数】 11

(21)【出願番号】P 2023000817

(22)【出願日】2023-01-06

【審査請求日】2023-01-06

(31)【優先権主張番号】P 2022072523

(32)【優先日】2022-04-26

(33)【優先権主張国・地域又は機関】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】518126409

【氏名又は名称】株式会社アジラ

(74)【代理人】

【識別番号】100176256

【弁理士】

【氏名又は名称】相田 隆敬

(72)【発明者】

【氏名】山下 勝也

(72)【発明者】

【氏名】稲岡 駿

【審査官】松原 徳久

(56)【参考文献】

【文献】特開２０１８－０９３２６６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ７／００－７／９０

Ｇ０６Ｖ１０／００－２０／９０

３０／４１８

４０／１６

４０／２０

Ｇ０８Ｂ１３／００－１５／０２

１９／００－３１／００

Ｈ０４Ｎ５／２２２－５／２５７

７／１８

(57)【特許請求の範囲】

【請求項1】

所定範囲を撮影するように設置された撮影手段により撮影されたサンプル映像を取得する第１の取得部と、
前記サンプル映像に映ったサンプル行動体の行動を前記サンプル行動体の位置及び体の向きと紐づけて検出する第１の検出部と、
前記第１の検出部によって検出された多数の前記行動に基づき、前記サンプル行動体の体の向きも考慮して、前記所定範囲内の一又は複数の位置における一又は複数の通常の行動を決定する決定部と、
を有する学習装置と、
前記所定範囲を撮影するように設置された撮影手段により撮影された第１の対象映像を取得する第２の取得部と、
前記第１の対象映像に映った第１の対象行動体の行動を前記第１の対象行動体の位置及び体の向きと紐づけて検出する第２の検出部と、
一の位置において検出された前記第１の対象行動体の行動及び体の向きが前記一の位置において決定された通常の行動と異なる場合に、その旨を示す出力を行う判定部と、
を有する判定装置と、
を備えたことを特徴とする異常行動検出システム。

【請求項2】

前記決定部は、前記第１の検出部によって検出された前記サンプル行動体の一連の複数の行動を前記通常の行動として決定し、
前記判定部は、前記第２の検出部によって検出された前記第１の対象行動体の一連の複数の行動が前記一の位置において決定された通常の行動と異なる場合に、その旨を示す出力を行うことを特徴とする請求項１に記載の異常行動検出システム。

【請求項3】

前記撮影手段により撮影された第２の対象映像を取得する第３の取得部と、
前記第２の対象映像に映った第２の対象行動体の所定の行動又は軌跡を前記第２の対象行動体の位置と紐づけて検出する第３の検出部と、
前記決定部を制御する制御部と、
を有する制御装置を更に備え、
前記第１の検出部は、前記サンプル行動体の行動又は軌跡を前記サンプル行動体の位置と紐づけて検出し、
前記決定部は、前記第１の検出部によって検出された多数の前記行動又は軌跡に基づき、前記所定範囲における一又は複数の通常の行動又は軌跡を決定し、
前記第２の検出部は、前記第１の対象行動体の行動又は軌跡を前記第１の対象行動体の位置と紐づけて検出し、
前記判定部は、一の位置において検出された前記第１の対象行動体の行動又は軌跡が前記一の位置において決定された通常の行動又は軌跡と異なる場合に、その旨を示す出力を行い、
前記制御部は、前記第３の検出部により検出された所定の行動又は軌跡の検出位置が所定以上変化した場合に、前記通常の行動又は軌跡の決定を改めて行うよう前記決定部を制御することを特徴とする請求項１に記載の異常行動検出システム。

【請求項4】

コンピュータに実行させるプログラムであって、
所定範囲を撮影するように設置された撮影手段により撮影されたサンプル映像を取得するステップと、
前記サンプル映像に映ったサンプル行動体の行動を前記サンプル行動体の位置及び体の向きと紐づけて検出するステップと、
前記検出された多数の前記行動に基づき、前記サンプル行動体の体の向きも考慮して、前記所定範囲内の一又は複数の位置における一又は複数の通常の行動を決定するステップと、
前記所定範囲を撮影するように設置された撮影手段により撮影された第１の対象映像を取得するステップと、
前記第１の対象映像に映った第１の対象行動体の行動を前記第１の対象行動体の位置及び体の向きと紐づけて検出するステップと、
一の位置において検出された前記第１の対象行動体の行動及び体の向きが前記一の位置において決定された通常の行動と異なる場合に、その旨を示す出力を行うステップと、
を備えたことを特徴とする異常行動検出プログラム。

【請求項5】

コンピュータで使用される方法であって、
所定範囲を撮影するように設置された撮影手段により撮影されたサンプル映像を取得するステップと、
前記サンプル映像に映ったサンプル行動体の行動を前記サンプル行動体の位置及び体の向きと紐づけて検出するステップと、
前記検出された多数の前記行動に基づき、前記サンプル行動体の体の向きも考慮して、前記所定範囲内の一又は複数の位置における一又は複数の通常の行動を決定するステップと、
前記所定範囲を撮影するように設置された撮影手段により撮影された第１の対象映像を取得するステップと、
前記第１の対象映像に映った第１の対象行動体の行動を前記第１の対象行動体の位置及び体の向きと紐づけて検出するステップと、
一の位置において検出された前記第１の対象行動体の行動及び体の向きが前記一の位置において決定された通常の行動と異なる場合に、その旨を示す出力を行うステップとを備えたことを特徴とする異常行動検出方法。

【請求項6】

所定範囲を撮影するように設置された撮影手段により撮影されたサンプル映像を取得する第１の取得部と、前記サンプル映像に映ったサンプル行動体の行動を前記サンプル行動体の位置及び体の向きと紐づけて検出する第１の検出部と、前記第１の検出部によって検出された多数の前記行動に基づき、前記サンプル行動体の体の向きも考慮して、前記所定範囲内の一又は複数の位置における一又は複数の通常の行動を決定する決定部と、を有する学習装置との間で通信可能な判定装置であって、
前記所定範囲を撮影するように設置された撮影手段により撮影された第１の対象映像を取得する第２の取得部と、
前記第１の対象映像に映った第１の対象行動体の行動を前記第１の対象行動体の位置及び体の向きと紐づけて検出する第２の検出部と、
一の位置において検出された前記第１の対象行動体の行動及び体の向きが前記一の位置において決定された通常の行動と異なる場合に、その旨を示す出力を行う判定部と、
を備えたことを特徴とする判定装置。

【請求項7】

所定範囲を撮影するように設置された撮影手段により撮影されたサンプル映像を取得する第１の取得部と、前記サンプル映像に映ったサンプル行動体の行動を前記サンプル行動体の位置及び体の向きと紐づけて検出する第１の検出部と、前記第１の検出部によって検出された多数の前記行動に基づき、前記サンプル行動体の体の向きも考慮して、前記所定範囲内の一又は複数の位置における一又は複数の通常の行動を決定する決定部と、を有する学習装置との間で通信可能なコンピュータに実行させるプログラムであって、
前記所定範囲を撮影するように設置された撮影手段により撮影された第１の対象映像を取得するステップと、
前記第１の対象映像に映った第１の対象行動体の行動を前記第１の対象行動体の位置及び体の向きと紐づけて検出するステップと、
一の位置において検出された前記第１の対象行動体の行動及び体の向きが前記一の位置において決定された通常の行動と異なる場合に、その旨を示す出力を行うステップと、
を備えたことを特徴とする判定プログラム。

【請求項8】

所定範囲を撮影するように設置された撮影手段により撮影されたサンプル映像を取得する第１の取得部と、前記サンプル映像に映ったサンプル行動体の行動を前記サンプル行動体の位置及び体の向きと紐づけて検出する第１の検出部と、前記第１の検出部によって検出された多数の前記行動に基づき、前記サンプル行動体の体の向きも考慮して、前記所定範囲内の一又は複数の位置における一又は複数の通常の行動を決定する決定部と、を有する学習装置との間で通信可能なコンピュータで使用される方法であって、
前記所定範囲を撮影するように設置された撮影手段により撮影された第１の対象映像を取得するステップと、
前記第１の対象映像に映った第１の対象行動体の行動を前記第１の対象行動体の位置及び体の向きと紐づけて検出するステップと、
一の位置において検出された前記第１の対象行動体の行動及び体の向きが前記一の位置において決定された通常の行動と異なる場合に、その旨を示す出力を行うステップと、
を備えたことを特徴とする判定方法。

【請求項9】

所定範囲を撮影するように設置された撮影手段により撮影されたサンプル映像を取得する第１の取得部と、
前記サンプル映像に映ったサンプル行動体の行動を前記サンプル行動体の位置及び体の向きと紐づけて検出する第１の検出部と、
前記第１の検出部によって検出された多数の前記行動に基づき、前記サンプル行動体の体の向きも考慮して、前記所定範囲内の一又は複数の位置における一又は複数の通常の行動を決定する決定部と、
を備え、
前記所定範囲を撮影するように設置された撮影手段により撮影された第１の対象映像を取得する第２の取得部と、前記第１の対象映像に映った第１の対象行動体の行動を前記第１の対象行動体の位置及び体の向きと紐づけて検出する第２の検出部と、一の位置において検出された前記第１の対象行動体の行動及び体の向きが前記一の位置において決定された通常の行動と異なる場合に、その旨を示す出力を行う判定部と、を有する判定装置との間で通信可能であることを特徴とする学習装置。

【請求項10】

コンピュータに実行させるプログラムであって、
所定範囲を撮影するように設置された撮影手段により撮影されたサンプル映像を取得するステップと、
前記サンプル映像に映ったサンプル行動体の行動を前記サンプル行動体の位置及び体の向きと紐づけて検出するステップと、
前記検出された多数の前記行動に基づき、前記サンプル行動体の体の向きも考慮して、前記所定範囲内の一又は複数の位置における一又は複数の通常の行動を決定するステップと、
を備え、
前記コンピュータは、前記所定範囲を撮影するように設置された撮影手段により撮影された第１の対象映像を取得する第２の取得部と、前記第１の対象映像に映った第１の対象行動体の行動を前記第１の対象行動体の位置及び体の向きと紐づけて検出する第２の検出部と、一の位置において検出された前記第１の対象行動体の行動及び体の向きが前記一の位置において決定された通常の行動と異なる場合に、その旨を示す出力を行う判定部と、を有する判定装置との間で通信可能であることを特徴とする学習プログラム。

【請求項11】

コンピュータで使用される方法であって、
所定範囲を撮影するように設置された撮影手段により撮影されたサンプル映像を取得するステップと、
前記サンプル映像に映ったサンプル行動体の行動を前記サンプル行動体の位置及び体の向きと紐づけて検出するステップと、
前記検出された多数の前記行動に基づき、前記サンプル行動体の体の向きも考慮して、前記所定範囲内の一又は複数の位置における一又は複数の通常の行動を決定するステップと、
を備え、
前記コンピュータは、前記所定範囲を撮影するように設置された撮影手段により撮影された第１の対象映像を取得する第２の取得部と、前記第１の対象映像に映った第１の対象行動体の行動を前記第１の対象行動体の位置及び体の向きと紐づけて検出する第２の検出部と、一の位置において検出された前記第１の対象行動体の行動及び体の向きが前記一の位置において決定された通常の行動と異なる場合に、その旨を示す出力を行う判定部と、を有する判定装置との間で通信可能であることを特徴とする学習方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像に映った行動体の異常行動を検出するための異常行動検出システムに関する。

【背景技術】

【0002】

従来より、撮影された時系列画像に基づき所定範囲における通常の行動を決定し、当該所定範囲において通常の行動と異なる行動を検出した場合に、当該通常の行動と異なる行動を行った行動体を抽出する技術が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６６４７４８９号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、例えば、撮影範囲が広いような場合には、多種類の行動が行われることが予想される。この場合、どこまでを通常の行動と決定すべきかの判断（閾値の設定）が難しく、結果として、異常行動の検出漏れや、問題のない行動まで異常行動として検出してしまうことが生じ得る。

【0005】

そこで、本発明は、映像に映った行動体の異常行動を高精度に検出することが可能な異常行動検出システムを提供することを目的としている。

【課題を解決するための手段】

【0006】

本発明は、所定範囲を撮影するように設置された撮影手段により撮影されたサンプル映像を取得する第１の取得部と、前記サンプル映像に映ったサンプル行動体の行動を前記サンプル行動体の位置と紐づけて検出する第１の検出部と、前記第１の検出部によって検出された多数の前記行動に基づき、前記所定範囲内の一又は複数の位置における一又は複数の通常の行動を決定する決定部と、を有する学習装置と、前記所定範囲を撮影するように設置された撮影手段により撮影された第１の対象映像を取得する第２の取得部と、前記第１の対象映像に映った第１の対象行動体の行動を前記第１の対象行動体の位置と紐づけて検出する第２の検出部と、一の位置において検出された前記第１の対象行動体の行動が前記一の位置において決定された通常の行動と異なる場合に、その旨を示す出力を行う判定部と、を有する判定装置と、を備えたことを特徴とする異常行動検出システム。

【0007】

また、本発明の別の観点によれば、上記異常行動検出システムに対応する異常行動検出プログラム、異常行動検出方法、判定装置、判定プログラム、判定方法、学習装置、学習プログラム、及び、学習方法を提供している。

【発明の効果】

【0008】

本発明の異常行動検出システムによれば、映像に映った行動体の異常行動を高精度に検出することが可能となる。

【図面の簡単な説明】

【0009】

【図1】本発明の第１の実施の形態による異常行動検出システムの使用状態の説明図

【図2】本発明の第１の実施の形態による異常行動検出システムのブロック図

【図3】本発明第１の実施の形態による通常行動・異常行動の説明図

【図4】本発明の第１の実施の形態による異常行動検出システムのフローチャート

【図5】本発明の第２の実施の形態による異常行動検出システムのブロック図

【図6】本発明の第２の実施の形態による異常行動検出システムのフローチャート

【発明を実施するための形態】

【0010】

以下、本発明の第１の実施の形態による異常行動検出システム１について、図１－図４を参照して説明する。

【0011】

異常行動検出システム１は、図１に示すように、撮影手段Ｘによって撮影された映像Ｙ（図１では、映像を構成するフレーム）に映った行動体Ｚの異常行動を検出するためのものである。本実施の形態では、行動体Ｚとして人間を採用し、理解容易のため、行動体Ｚを骨格だけで簡易的に表示する。

【0012】

異常行動検出システム１は、図２に示すように、学習装置２と、判定装置３と、を備えており、学習装置２によって学習されたデータを参照して、判定装置３が異常行動を検出する。

【0013】

学習装置２は、第１の記憶部２１と、第１の取得部２２と、第１の検出部２３と、決定部２４と、を備えている。

【0014】

第１の記憶部２１には、“関節識別基準”と、“行動体識別基準”と、“行動識別基準”が記憶されている。

【0015】

“関節識別基準”は、行動体Ｚの複数の関節Ａ（図１では、首、右肘、左肘、腰、右膝、左膝）を識別するためのものであり、関節Ａごとに、それぞれを識別するための形状、方向、サイズ等を示したものである。

【0016】

“行動体識別基準”は、行動体Ｚの様々なバリエーション（“歩行”、“直立”等）の “基本姿勢“、”各関節Ａの可動域“、一の行動体Ｚにおける”各関節Ａ間の距離“等を示したものである。

【0017】

“行動識別基準”は、行動体Ｚが所定の行動を行った場合の各関節の動きを示したものであり、本実施の形態では、様々な種類の行動についての“行動識別基準”が記憶されている。

【0018】

第１の取得部２２は、所定範囲を撮影するように設置された撮影手段Ｘにより撮影されたサンプル映像Ｙ１を取得する。本実施の形態では、撮影手段Ｘによる撮影範囲の全てを所定範囲として設定した例を説明する。

【0019】

第１の検出部２３は、サンプル映像Ｙ１に映ったサンプル行動体Ｚ１の行動をサンプル行動体Ｚ１の位置と紐づけて検出する。

【0020】

サンプル行動体Ｚ１の検出に当たっては、まず、サンプル映像Ｙ１に映ったサンプル行動体Ｚ１を特定する。

【0021】

本実施の形態では、第１の記憶部２１に記憶された“関節識別基準”に該当する複数の関節Ａを検出した上で、“行動体識別基準”を参照して、一のサンプル行動体Ｚ１に含まれる複数の関節Ａを特定する。図１の例では、関節Ａ１－Ａ６が一のサンプル行動体Ｚ１に含まれる関節Ａであると特定され、１つの行動体Ｚが存在するものと特定される。

【0022】

サンプル行動体Ｚ１を特定した後に、サンプル行動体Ｚ１の行動の検出を行う。本実施の形態では、“行動識別基準”に該当する各関節の動きを検出した場合に「該当する行動を行った」と検出される。

【0023】

サンプル行動体Ｚ１の位置としては、実空間内における位置を用いることが考えられる。

【0024】

詳細には、画面上の平面座標、奥行方向の座標、サンプル行動体Ｚ１のサイズ等を考慮して、実空間内における位置を推定することが考えられる。奥行方向の座標としては、公知の深度推定等を用いることが考えられる。

【0025】

なお、本実施の形態における“位置”としては、一の座標のみならず、ある程度の範囲を“位置”として用いても良い。例えば、画面を複数に分割し、一の分割画面内に第１の対象行動体Ｚ２が存在する場合に、第１の対象行動体Ｚ２の行動を当該一の分割画面の位置と紐づけて検出することが考えられる。

【0026】

また、本実施の形態では、第１の検出部２３は、サンプル行動体Ｚ１の行動を更にサンプル行動体Ｚ１の体の向きと紐づけて検出する。

【0027】

サンプル行動体Ｚ１の体の向きの特定方法としては、例えば、複数の関節Ａの位置や方向を考慮したり、顔や髪の毛を検出することで特定することが考えられる。

【0028】

決定部２４は、第１の検出部２３によって検出された多数の行動に基づき、所定範囲内の一又は複数の位置における一又は複数の“通常の行動”を決定する。

【0029】

例えば、図１に示すように、サンプル映像Ｙ１に自動販売機が映っている場合、自動販売機の前の位置においては、“（コイン投入口に）コインを入れる”、“（商品選択ボタンを）押す”、“（商品取り出し口から商品を）取り出す”、“（返却レバーを）操作する”、“（コイン返却口からコインを）取り出す”等の行動が“通常の行動”として決定されることが考えられる。また、上記したような所定時間内に行われる一連の複数の行動を“通常の行動”として決定しても良い。

【0030】

また、例えば、“（商品取り出し口から商品を）取り出す”という行動に当たっては、“しゃがむ”という行動を伴うことが考えられるので、自動販売機の前では、“しゃがむ”という行動は“通常の行動”と決定されることが考えられる（図３（ａ））。一方で、他の場所では、“しゃがむ”という行動は“通常の行動”と決定されないことが考えられる（図３（ｂ））。

【0031】

また、本実施の形態では、決定部２４は、行動体の向きも考慮して“通常の行動”を決定する。

【0032】

例えば、自動販売機の前では、“自動販売機の方を向いてしゃがむ”という行動は“通常の行動”として決定され（図３（ａ））、“自動販売機とは反対側を向いてしゃがむ”という行動は、“通常の行動”と決定されないことが考えられる（図３（ｃ））。

【0033】

なお、“通常の行動”は、様々な基準で決定することが可能であるが、例えば、検出された全行動の中で所定（閾値）以上の割合を有する行動を“通常の行動”として決定することが考えられる。

【0034】

決定部２４により決定された“通常の行動”は、第１の記憶部２１に記憶される。

【0035】

判定装置３は、第２の記憶部３１と、第２の取得部３２と、第２の検出部３３と、判定部３４と、を備えている。

【0036】

第２の記憶部３１には、第１の記憶部２１と同様に、“関節識別基準”と、“行動体識別基準”と、“行動識別基準”と、が記憶されている。

【0037】

第２の取得部３２は、上記所定範囲を撮影するように設置された撮影手段Ｘにより撮影された第１の対象映像Ｙ２を取得する。本実施の形態では、第１の対象映像Ｙ２は、撮影手段Ｘにより、第１の取得部２２と略同一の画角・倍率で撮影されるものとする。

【0038】

第２の検出部３３は、第１の対象映像Ｙ２に映った第１の対象行動体Ｚ２の行動を第１の対象行動体Ｚ２の位置と紐づけて検出する。本実施の形態では、第１の検出部２３と同様の方法で検出を行うものとする。

【0039】

判定部３４は、一の位置において検出された第１の対象行動体Ｚ２の行動が当該一の位置において決定された“通常の行動”と異なる場合に、“その旨を示す出力”を行う。すなわち、当該一の位置において適当ではない“異常行動”が検出された際に、アラート等を行うこととなる。

【0040】

ここで、検出された行動が、一の位置では適当なものであるが、他の位置では適当ではないものであることも考えられ、このような場合、所定範囲内の全ての位置において一律の“通常の行動”に基づき異常行動を判定してしまうと、異常行動の検出漏れや、問題のない行動まで異常行動として検出してしまうことが生じ得る。

【0041】

しかしながら、本実施の形態では、上記したように、学習により、所定範囲内の一又は複数の位置における一又は複数の“通常の行動”を決定しておき、一の位置において検出された第１の対象行動体Ｚ２の行動が当該一の位置において決定された“通常の行動”と異なる場合に、“その旨を示す出力”を行う。

【0042】

従って、例えば、自動販売機の前では、“（商品取り出し口から商品を）取り出す”という行動に伴う“しゃがむ”という行動に対しては、“その旨を示す出力”は行われず（図３（ａ））、他の場所では、“その旨を示す出力”が行われることとなる（図３（ｂ））。

【0043】

このような構成により、第１の対象映像Ｙ２に映った第１の対象行動体Ｚ２の異常行動を高精度に検出することが可能となる。また、異常行動の検出に当たり、第１の対象行動体Ｚ２のみを検出すれば良く、自動販売機等の他の物体を検出する必要や第１の対象行動体Ｚ２を他の物体と関連付ける必要がないので、コンピュータの負荷が増加することが防止される。

【0044】

なお、“その旨を示す出力”としては、単にアラートを出力するだけでも良いし、“通常の行動”と異なる行動を行った第１の対象行動体Ｚ２を特定して出力しても良い。また、“その旨を示す出力”は、登録された情報端末（警備会社の情報端末、個人の携帯情報端末等）に対して自動的に送信することが好ましい。

【0045】

更に、本実施の形態では、サンプル行動体Ｚ１の体の向きも考慮して“通常の行動”を決定しておき、一の位置において検出された第１の対象行動体Ｚ２の行動及び体の向きが当該一の位置において決定された“通常の行動”と異なる場合に、“その旨を示す出力”を行う。

【0046】

例えば、自動販売機の前では、自動販売機の方を向いて“しゃがむ”という行動に対しては、“その旨を示す出力”は行われず（図３（ａ））、自動販売機とは反対側を向いて“しゃがむ”という行動に対しては、“その旨を示す出力”が行われることとなる（図３（ｃ））。自動販売機とは反対側を向いて“しゃがむ”という行動は、滞留等の異常行動であることが考えられるからである。

【0047】

このような構成により、第１の対象映像Ｙ２に映った第１の対象行動体Ｚ２の異常行動をより高精度に検出することが可能となる。

【0048】

また、本実施の形態では、第１の検出部２３によって検出されたサンプル行動体Ｚ１の一連の複数の行動を“通常の行動”として決定しておき、一の位置において検出された第１の対象行動体Ｚ２の一連の複数の行動が当該一の位置において決定された“通常の行動（通常の一連の複数の行動）”と異なる場合にも、“その旨を示す出力”を行う。

【0049】

例えば、自動販売機の前で、“（コイン投入口に）コインを入れる”→“（商品選択ボタンを）押す”→“（商品取り出し口から商品を）取り出す”→“（返却レバーを）操作する”→“（コイン返却口からコインを）取り出す”のいずれかを行わない、または、いずれかを繰り返し行うような場合には、“その旨を示す出力”が行われることとなる。

【0050】

このような構成によれば、第１の対象映像Ｙ２に映った第１の対象行動体Ｚ２の異常行動をより高精度に検出することが可能となる。

【0051】

続いて、図４のフローチャートを用いて、異常行動検出システム１による異常行動の検出について説明する。

【0052】

異常行動の検出は、“学習段階”と“検出段階”の２段階で行われる。

【0053】

（１）学習段階

【0054】

学習段階では、まず、所定範囲を撮影したサンプル映像Ｙ１が取得されると（Ｓ１）、サンプル映像Ｙ１に映ったサンプル行動体Ｚ１の行動が、サンプル行動体Ｚ１の位置と紐づけて検出される（Ｓ２）。この際、サンプル行動体Ｚ１の体の向きを更に検出し、サンプル行動体Ｚ１の行動と紐づけることが好ましい。

【0055】

なお、このＳ１及びＳ２は、異なる複数のサンプル映像Ｙ１に対して行われ、多数の行動が検出されることが好ましい。

【0056】

続いて、Ｓ２で検出された多数の行動に基づき、所定範囲内の一又は複数の位置における一又は複数の“通常の行動”が決定される（Ｓ３）。この際、サンプル行動体Ｚ１の体の向きも考慮して通常の行動が決定されることが好ましい。

【0057】

（２）検出段階

【0058】

続いて、検出段階では、まず、所定範囲を撮影した第１の対象映像Ｙ２が取得されると（Ｓ４）、第１の対象映像Ｙ２に映った第１の対象行動体Ｚ２の行動が、第１の対象行動体Ｚ２の位置と紐づけて検出される（Ｓ５）。この際、第１の対象行動体Ｚ２の体の向きを更に検出し、第１の対象行動体Ｚ２の行動と紐づけることが好ましい。

【0059】

続いて、Ｓ５で一の位置において検出された第１の対象行動体Ｚ２の行動が当該一の位置において決定された“通常の行動”と異なる場合に（Ｓ６：ＹＥＳ）、“その旨を示す出力”が行われる（Ｓ７）。この際、サンプル行動体Ｚ１の体の向きも考慮して“通常の行動”と異なるか否かを判断されることが好ましい。

【0060】

以上説明したように、本実施の形態による異常行動検出システム１では、学習により、所定範囲内の一又は複数の位置における一又は複数の“通常の行動”を決定しておき、一の位置において検出された第１の対象行動体Ｚ２の行動が当該一の位置において決定された“通常の行動”と異なる場合に、“その旨を示す出力”を行う。

【0061】

このような構成によれば、第１の対象映像Ｙ２に映った第１の対象行動体Ｚ２の異常行動を高精度に検出することが可能となる。また、異常行動の検出に当たり、第１の対象行動体Ｚ２のみを検出すれば良く、自動販売機等の他の物体を検出する必要や第１の対象行動体Ｚ２を他の物体と関連付ける必要がないので、コンピュータの負荷が増加することが防止される。

【0062】

また、本実施の形態による異常行動検出システム１では、サンプル行動体Ｚ１の体の向きまで考慮して“通常の行動”を決定しておき、一の位置において検出された第１の対象行動体Ｚ２の行動及び体の向きが当該一の位置において決定された“通常の行動”と異なる場合に、“その旨を示す出力”を行う。

【0063】

このような構成によれば、第１の対象映像Ｙ２に映った第１の対象行動体Ｚ２の異常行動をより高精度に検出することが可能となる。

【0064】

また、本実施の形態による異常行動検出システム１では、第１の検出部２３によって検出されたサンプル行動体Ｚ１の一連の複数の行動を“通常の行動”として決定しておき、一の位置において検出された第１の対象行動体Ｚ２の一連の複数の行動が当該一の位置において決定された“通常の行動（通常の一連の複数の行動）”と異なる場合に、“その旨を示す出力”を行う。

【0065】

このような構成によれば、第１の対象映像Ｙ２に映った第１の対象行動体Ｚ２の異常行動をより高精度に検出することが可能となる。

【0066】

続いて、図５及び図６を参照して、本発明の第２の実施の形態による異常行動検出システム１０について説明する。

【0067】

上記したように、第１の実施の形態では、学習装置２によって学習されたデータを参照して、判定装置３が“異常行動”を検出することが可能であるが、“通常の行動”や“通常の軌跡”は、撮影環境の変化（例えば、イベント開催に伴うレイアウト変更、カメラの撮影範囲がずれた場合など）に伴い変化する可能性がある。その場合、決定された“通常の行動”や“通常の軌跡”をそのまま用いて“異常行動”の検出を行ったとしても、検出された“異常行動”が撮影環境に適したものとは限らない。

【0068】

そこで、本実施の形態では、制御装置４が、撮影環境の変化が生じたか否かを判断し、変化が生じた場合に、決定部２４に“通常の行動”又は“通常の軌跡”の再決定（再学習）を行わせる。

【0069】

詳細には、制御装置４は、図５に示すように、第３の取得部４１と、第３の検出部４２と、制御部４３と、を備えている。

【0070】

第３の取得部４１は、撮影手段Ｘにより撮影された第２の対象映像Ｙ３を取得する。本実施の形態では、多数の第２の対象映像Ｙ３をそれぞれの撮影時刻と紐づけて取得するものとする。なお、第２の対象映像Ｙ３としては、第２の取得部３２により取得された第１の対象映像Ｙ２を用いても良い。

【0071】

第３の検出部４２は、第２の対象映像Ｙ３に映った第２の対象行動体Ｚ３の所定の行動又は軌跡を第２の対象行動体Ｚ３の位置と紐づけて検出する。本実施の形態では、“行動”に限らす、“行動に加えて軌跡”又は“行動の替わりに軌跡”であっても良い。

【0072】

従って、学習装置２の第１の検出部２３は、サンプル行動体Ｚ１の行動又は軌跡をサンプル行動体Ｚ１の位置と紐づけて検出し、決定部２４は、第１の検出部２３によって検出された多数の行動又は軌跡に基づき、所定範囲における一又は複数の“通常の行動又は軌跡”を決定する。

【0073】

同様に、判定装置３の第２の検出部３３は、第１の対象行動体Ｚ２の行動又は軌跡を第１の対象行動体Ｚ２の位置と紐づけて検出し、判定部３４は、一の位置において検出された第１の対象行動体Ｚ２の行動又は軌跡が当該一の位置において決定された“通常の行動又は軌跡”と異なる場合に、その旨を示す出力を行う。

【0074】

制御部４３は、第３の検出部４２により検出された所定の行動又は軌跡の検出位置が所定以上変化した場合に、“通常の行動又は軌跡”の決定を改めて行うよう決定部２４を制御する。

【0075】

例えば、所定の行動又は軌跡の検出位置を監視し続けた結果、ある時間を境に当該検出位置が所定以上変化した場合には、「撮影範囲のレイアウト変更等により所定の行動や軌跡が検出される位置が変化した」、「衝撃等によりカメラの撮影範囲がずれた」等の原因が考えられる。従って、そのような場合に、制御部４３は、“通常の行動又は軌跡”の決定を改めて行うよう決定部２４を制御することとなる。「ある時間を境に当該検出位置が所定以上変化した場合」としては、それまで所定の行動又は軌跡が所定期間内で第１の回数以下しか検出されていなかった位置で、第１の回数よりも大きい第２の回数以上検出されるようになった場合等が考えられる。

【0076】

これにより、撮影環境の変化に伴って再決定された“通常の行動”や“通常の軌跡”を用いて、“異常行動”を適切に検出することが可能となる。

【0077】

続いて、図６のフローチャートを用いて、異常行動検出システム１０による“通常の行動又は軌跡”の再学習（再決定）について説明する。

【0078】

再学習は、図４のＳ３で“通常の行動”又は“通常の軌跡”が決定された後に行われる。再学習は、検出段階と並行して行われても良いし、検出段階と別途行われても良いが、本実施の形態では、検出段階と並行して行う例について説明する。

【0079】

まず、第２の対象映像Ｙ３が取得されると（Ｓ１１）、第２の対象映像Ｙ３に映った第２の対象行動体Ｚ３の所定の行動又は軌跡が第２の対象行動体Ｚ３の位置と紐づけて検出される（Ｓ１２）。

【0080】

最後に、第３の検出部４２により検出された所定の行動又は軌跡の検出位置が所定以上変化した場合に（Ｓ１３：ＹＥＳ）、“通常の行動又は軌跡”の決定が改めて行われる（Ｓ１４）。

【0081】

以上説明したように、本実施の形態による異常行動検出システム１０では、所定の行動又は軌跡の検出位置が所定以上変化した場合に、“通常の行動又は軌跡”の決定を改めて行う。

【0082】

このような構成によれば、撮影環境の変化に伴って改めて決定された“通常の行動”や“通常の軌跡”を用いて、“異常行動”を適切に検出することが可能となる。

【0083】

尚、本発明の異常行動検出システムは、上述した実施の形態に限定されず、特許請求の範囲に記載した範囲で種々の変形や改良が可能である。

【0084】

例えば、上記実施の形態では、自動販売機の前での異常行動を検出したが、その他の場所（施設の出入り口、トイレの出入り口、エレベーターの前など）での異常行動を検出してもよいことはもちろんである。

【0085】

また、上記実施の形態では、一連の複数の行動のいずれかを行わない、または、いずれかを繰り返し行うような場合に“その旨を示す出力”が行われたが、これには、いずれの行動も含まない（例えば、“ずっと立っている”、“ずっとうろうろしている”など）場合も含まれることはもちろんである。

【0086】

また、上記実施の形態では、「第１の記憶部２１と第２の記憶部３１」、「第１の取得部２２と第２の取得部３２と第３の取得部４１」、及び、「第１の検出部２３と第２の検出部３３と第３の検出部４２」は、学習装置２、判定装置３、制御装置４にそれぞれ設けられていたが、これらは共通して使用されてもよい。また、学習装置２と判定装置３は一体であってもよい。これらの場合も本発明の範囲に含まれる。

【0087】

また、第１の実施の形態では、学習装置２においてデータ（多数の行動）がある程度蓄積した後は、判定装置３のみを作動させることも可能である。

【0088】

また、本実施の形態による異常行動の検出は、第１の対象映像Ｙ２に対してリアルタイムで行うのが効果的ではあるが、異常行動検出システム１の使用目的によっては録画した第１の対象映像Ｙ２に対して後から行ってもよい。

【0089】

また、上記実施の形態では、行動体Ｚとして人間を例に説明したが、動物やロボットについて使用することも可能である。例えば、動物の場合には、トイレとは異なる位置で排泄を始めたような場合に迅速に対処することが可能となる。

【0090】

また、上記実施の形態では複数の関節の動きに基づいて行動体の行動を検出したが、関節を検出することなく他の方法で行動体の行動を検出しても良い。

【0091】

また、本発明は、コントローラとしての第１の取得部２２、第１の検出部２３、決定部２４、第２の取得部３２、第２の検出部３３、判定部３４、第３の取得部４１、第３の検出部４２、及び、制御部４３が行う処理に相当するプログラム及び方法や、当該プログラムを記憶した記録媒体にも応用可能である。記録媒体の場合、コンピュータ等に当該プログラムがインストールされることとなる。ここで、当該プログラムを記憶した記録媒体は、非一過性の記録媒体であっても良い。非一過性の記録媒体としては、ＣＤ－ＲＯＭ等が考えられるが、それに限定されるものではない。

【符号の説明】

【0092】

１、１０ 異常行動検出システム
２ 学習装置
３ 判定装置
４ 制御装置
２１ 第１の記憶部
２２ 第１の取得部
２３ 第１の検出部
２４ 決定部
３１ 第２の記憶部
３２ 第２の取得部
３３ 第２の検出部
３４ 判定部
４１ 第３の取得部
４２ 第３の検出部
４３ 制御部
Ｘ 撮影手段
Ｙ 映像
Ｙ１ サンプル映像
Ｙ２ 第１の対象映像
Ｙ３ 第２の対象映像
Ｚ 行動体
Ｚ１ サンプル行動体
Ｚ２ 第１の対象行動体
Ｚ３ 第２の対象行動体

【要約】

【課題】 映像に映った行動体の異常行動を高精度に検出することが可能な異常行動検出システムを提供する。
【解決手段】
異常行動検出システム１は、学習装置２と、判定装置３と、を有している。学習装置２では、所定範囲を撮影するように設置された撮影手段Ｘにより撮影されたサンプル映像Ｙ１に映ったサンプル行動体Ｚ１の行動をサンプル行動体Ｚ１の位置と紐づけて検出し、検出された多数の行動に基づき、上記所定範囲内の一又は複数の位置における一又は複数の通常の行動を決定する。判定装置３では、上記所定範囲を撮影するように設置された撮影手段Ｘにより撮影された第１の対象映像Ｙ２に映った第１の対象行動体Ｚ２の行動を第１の対象行動体Ｚ２の位置と紐づけて検出し、一の位置において検出された第１の対象行動体Ｚ２の行動が当該一の位置において決定された通常の行動と異なる場合に、その旨を示す出力を行う。
【選択図】図３

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】