IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社アジラの特許一覧

<>
  • 特許-異常行動検出システム 図1
  • 特許-異常行動検出システム 図2
  • 特許-異常行動検出システム 図3
  • 特許-異常行動検出システム 図4
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-10-20
(45)【発行日】2023-10-30
(54)【発明の名称】異常行動検出システム
(51)【国際特許分類】
   G06T 7/20 20170101AFI20231023BHJP
   G06V 40/20 20220101ALI20231023BHJP
   H04N 7/18 20060101ALI20231023BHJP
【FI】
G06T7/20 300Z
G06V40/20
H04N7/18 K
【請求項の数】 3
(21)【出願番号】P 2022182205
(22)【出願日】2022-11-15
【審査請求日】2023-06-27
【早期審査対象出願】
(73)【特許権者】
【識別番号】518126409
【氏名又は名称】株式会社アジラ
(74)【代理人】
【識別番号】100176256
【弁理士】
【氏名又は名称】相田 隆敬
(72)【発明者】
【氏名】稲岡 駿
【審査官】佐藤 実
(56)【参考文献】
【文献】特開2021-097285(JP,A)
【文献】特開2014-116912(JP,A)
【文献】特開2010-130383(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/20
G06V 40/20
H04N 7/18
(57)【特許請求の範囲】
【請求項1】
所定範囲を撮影するように設置された撮影手段により撮影されたサンプル映像を取得する第1の取得部と、
前記サンプル映像に映ったサンプル行動体の行動又は軌跡を検出する第1の検出部と、
前記検出された多数の前記サンプル行動体の行動又は軌跡に基づき、前記所定範囲における一又は複数の通常の行動又は通常の軌跡を決定する決定部と、
を有する学習装置と、
前記所定範囲を撮影するように設置された撮影手段により撮影された第1の対象映像を取得する第2の取得部と、
前記第1の対象映像に映った第1の対象行動体の行動又は軌跡を検出する第2の検出部と、
前記検出された前記第1の対象行動体の行動又は軌跡が前記通常の行動又は通常の軌跡と異なる場合に、その旨を示す出力を行う判定部と、
を有する判定装置と、
前記所定範囲を撮影するように設置された撮影手段により撮影された多数の第2の対象映像をそれぞれの撮影時刻と紐づけて取得する第3の取得部と、
前記第2の対象映像に映った第2の対象行動体の人数を検出する第3の検出部と、
前記多数の第2の対象映像の中で、前記検出された第2の対象行動体の人数が所定以下である複数の前記第2の対象映像を抽出する抽出部と、
前記抽出された複数の第2の対象映像にそれぞれ紐づけられた複数の撮影時刻から、前記第2の対象行動体の人数が所定以下である複数の時間帯を決定する時間帯決定部と、
前記第2の対象映像に映った背景を検出する背景検出部と、
前記決定された複数の時間帯のうちの同一時間帯に検出された背景が所定以上変化した場合に、前記通常の行動又は通常の軌跡の決定を改めて行うよう前記決定部を制御する制御部と、
を有する制御装置と、
を備えたことを特徴とする異常行動検出システム。
【請求項2】
コンピュータで実行されるプログラムであって、
所定範囲を撮影するように設置された撮影手段により撮影されたサンプル映像を取得するステップと、
前記サンプル映像に映ったサンプル行動体の行動又は軌跡を検出するステップと、
前記検出された多数の前記サンプル行動体の行動又は軌跡に基づき、前記所定範囲における一又は複数の通常の行動又は通常の軌跡を決定するステップと、
前記所定範囲を撮影するように設置された撮影手段により撮影された第1の対象映像を取得するステップと、
前記第1の対象映像に映った第1の対象行動体の行動又は軌跡を検出するステップと、
前記検出された前記第1の対象行動体の行動又は軌跡が前記通常の行動又は通常の軌跡と異なる場合に、その旨を示す出力を行うステップと、
前記所定範囲を撮影するように設置された撮影手段により撮影された多数の第2の対象映像をそれぞれの撮影時刻と紐づけて取得するステップと、
前記第2の対象映像に映った第2の対象行動体の人数を検出するステップと、
前記多数の第2の対象映像の中で、前記検出された第2の対象行動体の人数が所定以下である複数の前記第2の対象映像を抽出するステップと、
前記抽出された複数の第2の対象映像にそれぞれ紐づけられた複数の撮影時刻から、前記第2の対象行動体の人数が所定以下である複数の時間帯を決定するステップと、
前記第2の対象映像に映った背景を検出するステップと、
前記決定された複数の時間帯のうちの同一時間帯に検出された背景が所定以上変化した場合に、前記通常の行動又は通常の軌跡の決定を改めて行うステップと、
を備えたことを特徴とする異常行動検出プログラム。
【請求項3】
コンピュータで実行される方法であって、
所定範囲を撮影するように設置された撮影手段により撮影されたサンプル映像を取得するステップと、
前記サンプル映像に映ったサンプル行動体の行動又は軌跡を検出するステップと、
前記検出された多数の前記サンプル行動体の行動又は軌跡に基づき、前記所定範囲における一又は複数の通常の行動又は通常の軌跡を決定するステップと、
前記所定範囲を撮影するように設置された撮影手段により撮影された第1の対象映像を取得するステップと、
前記第1の対象映像に映った第1の対象行動体の行動又は軌跡を検出するステップと、
前記検出された前記第1の対象行動体の行動又は軌跡が前記通常の行動又は通常の軌跡と異なる場合に、その旨を示す出力を行うステップと、
前記所定範囲を撮影するように設置された撮影手段により撮影された多数の第2の対象映像をそれぞれの撮影時刻と紐づけて取得するステップと、
前記第2の対象映像に映った第2の対象行動体の人数を検出するステップと、
前記多数の第2の対象映像の中で、前記検出された第2の対象行動体の人数が所定以下である複数の前記第2の対象映像を抽出するステップと、
前記抽出された複数の第2の対象映像にそれぞれ紐づけられた複数の撮影時刻から、前記第2の対象行動体の人数が所定以下である複数の時間帯を決定するステップと、
前記第2の対象映像に映った背景を検出するステップと、
前記決定された複数の時間帯のうちの同一時間帯に検出された背景が所定以上変化した場合に、前記通常の行動又は通常の軌跡の決定を改めて行うステップと、
を備えたことを特徴とする異常行動検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像に映った行動体の異常行動を検出するための異常行動検出システムに関する。
【背景技術】
【0002】
従来より、撮影された時系列画像に基づき所定範囲における通常の行動を決定し、当該所定範囲において通常の行動と異なる行動を検出した場合に、当該通常の行動と異なる行動を行った行動体を抽出する技術が知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【文献】特許第6647489号
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、通常の行動は、撮影環境の変化(例えば、イベント開催に伴うレイアウト変更など)に伴い変化するため、環境の変化が生じた場合には通常の行動を再学習する必要がある。
【0005】
そこで、本発明は、撮影環境の変化が生じた場合に通常の行動を自動的に再学習することが可能な異常行動検出システムを提供することを目的としている。
【課題を解決するための手段】
【0006】
本発明は、所定範囲を撮影するように設置された撮影手段により撮影されたサンプル映像を取得する第1の取得部と、前記サンプル映像に映ったサンプル行動体の行動又は軌跡を検出する第1の検出部と、前記検出された多数の前記サンプル行動体の行動又は軌跡に基づき、前記所定範囲における一又は複数の通常の行動又は通常の軌跡を決定する決定部と、を有する学習装置と、前記所定範囲を撮影するように設置された撮影手段により撮影された第1の対象映像を取得する第2の取得部と、前記第1の対象映像に映った第1の対象行動体の行動又は軌跡を検出する第2の検出部と、前記検出された前記第1の対象行動体の行動又は軌跡が前記通常の行動又は通常の軌跡と異なる場合に、その旨を示す出力を行う判定部と、を有する判定装置と、前記所定範囲を撮影するように設置された撮影手段により撮影された第2の対象映像を取得する第3の取得部と、前記第2の対象映像に映った背景を検出する背景検出部と、前記検出された背景が複数の前記第2の対象映像の間で所定以上変化した場合に、前記通常の行動又は通常の軌跡の決定を改めて行うよう前記決定部を制御する制御部と、を有する制御装置と、を備えたことを特徴とする異常行動検出システムを提供している。
【0007】
また、本発明の別の観点では、上記異常行動検出システムに対応する異常行動検出プログラム及び異常行動検出方法を提供している。
【発明の効果】
【0008】
本発明の異常行動検出システムによれば、撮影環境の変化が生じた場合に通常の行動を自動的に再学習することが可能となる。
【図面の簡単な説明】
【0009】
図1】本発明の実施の形態による異常行動検出システムの使用状態の説明図
図2】本発明の実施の形態による異常行動検出システムのブロック図
図3】本発明の実施の形態による撮影環境の変化の説明図
図4】本発明の実施の形態による異常行動検出システムのフローチャート
【発明を実施するための形態】
【0010】
以下、本発明の第1の実施の形態による異常行動検出システム1について、図1図4を参照して説明する。
【0011】
異常行動検出システム1は、図1に示すように、撮影手段Xによって撮影された映像Y(図1では、映像を構成するフレーム)に映った行動体Zの異常行動を検出するためのものである。本実施の形態では、行動体Zとして人間を採用し、理解容易のため、行動体Zを骨格だけで簡易的に表示する。
【0012】
異常行動検出システム1は、図2に示すように、学習装置2と、判定装置3と、制御装置4と、を備えており、学習装置2によって学習されたデータを参照して、判定装置3が異常行動を検出する。
【0013】
学習装置2は、第1の記憶部21と、第1の取得部22と、第1の検出部23と、決定部24と、を備えている。
【0014】
第1の記憶部21には、“関節識別基準”と、“行動体識別基準”と、“行動識別基準”が記憶されている。
【0015】
“関節識別基準”は、行動体Zの複数の関節A(図1では、首、右肘、左肘、腰、右膝、左膝)を識別するためのものであり、関節Aごとに、それぞれを識別するための形状、方向、サイズ等を示したものである。
【0016】
“行動体識別基準”は、行動体Zの様々なバリエーション(“歩行”、“直立”等)の “基本姿勢“、”各関節Aの可動域“、一の行動体Zにおける”各関節A間の距離“等を示したものである。
【0017】
“行動識別基準”は、行動体Zが所定の行動を行った場合の各関節の動きを示したものであり、本実施の形態では、様々な種類の行動についての“行動識別基準”が記憶されている。
【0018】
第1の取得部22は、所定範囲を撮影するように設置された撮影手段Xにより撮影されたサンプル映像Y1を取得する。本実施の形態では、撮影手段Xによる撮影範囲の全てを所定範囲として設定しているものとする。
【0019】
第1の検出部23は、サンプル映像Y1に映ったサンプル行動体Z1の行動又は軌跡を検出する。
【0020】
サンプル行動体Z1の検出に当たっては、まず、サンプル映像Y1に映ったサンプル行動体Z1を特定する。
【0021】
本実施の形態では、第1の記憶部21に記憶された“関節識別基準”に該当する複数の関節Aを検出した上で、“行動体識別基準”を参照して、一のサンプル行動体Z1に含まれる複数の関節Aを特定する。図1の例では、関節A1-A6が一のサンプル行動体Z1に含まれる関節Aであると特定され、1つの行動体Zが存在するものと特定される。
【0022】
サンプル行動体Z1を特定した後に、サンプル行動体Z1の行動の検出を行う。本実施の形態では、“行動識別基準”に該当する各関節の動きを検出した場合に「該当する行動を行った」と検出される。
【0023】
サンプル行動体Z1の軌跡に関しては、公知のトラッキング方法等を用いて検出すれば良い。
【0024】
決定部24は、検出された多数のサンプル行動体Z1の行動又は軌跡に基づき、所定範囲における一又は複数の“通常の行動”又は“通常の軌跡”を決定する。
【0025】
“通常の行動(軌跡)”は、様々な基準で決定することが可能であるが、例えば、検出された全行動(軌跡)の中で所定(閾値)以上の割合を有する行動(軌跡)を“通常の行動(軌跡)”として決定することが考えられる。
【0026】
決定部24により決定された“通常の行動”又は“通常の軌跡”は、第1の記憶部21に記憶される。
【0027】
判定装置3は、第2の記憶部31と、第2の取得部32と、第2の検出部33と、判定部34と、を備えている。
【0028】
第2の記憶部31には、第1の記憶部21と同様に、“関節識別基準”と、“行動体識別基準”と、“行動識別基準”と、が記憶されている。
【0029】
第2の取得部32は、上記所定範囲を撮影するように設置された撮影手段Xにより撮影された第1の対象映像Y2を取得する。撮影手段Xは、サンプル映像Y1を撮影した際と略同一の画角・倍率で上記所定範囲を撮影するように設置されているものとする。
【0030】
第2の検出部33は、第1の対象映像Y2に映った第1の対象行動体Z2の行動又は軌跡を検出する。本実施の形態では、第1の検出部23と同様の方法で検出を行うものとする。
【0031】
判定部34は、検出された第1の対象行動体Z2の行動又は軌跡が決定された“通常の行動”又は“通常の軌跡”と異なる場合に、“その旨を示す出力”を行う。すなわち、所定範囲において適当ではない“異常行動”が検出された際に、アラート等を行うこととなる。
【0032】
なお、“その旨を示す出力”としては、単にアラートを出力するだけでも良いし、“通常の行動”と異なる行動を行った第1の対象行動体Z2を特定して出力しても良い。また、“その旨を示す出力”は、登録された情報端末(警備会社の情報端末、個人の携帯情報端末等)に対して自動的に送信することが好ましい。
【0033】
このように、異常行動検出システム1では、学習装置2によって学習されたデータを参照して、判定装置3が“異常行動”を検出することが可能であるが、“通常の行動”や“通常の軌跡”は、図3に示すように、撮影環境の変化(例えば、イベント開催に伴うレイアウト変更、カメラの撮影範囲がずれた場合など)に伴い変化する可能性がある。その場合、決定された“通常の行動”や“通常の軌跡”をそのまま用いて“異常行動”の検出を行ったとしても、検出された“異常行動”が撮影環境に適したものとは限らない。そこで、本実施の形態では、制御装置4が、撮影環境の変化が生じたか否かを判断し、変化が生じた場合に、決定部24に“通常の行動”又は“通常の軌跡”の再決定(再学習)を行わせる。
【0034】
詳細には、制御装置4は、第3の取得部41と、第3の検出部42と、抽出部43と、時間帯決定部44と、背景検出部45と、制御部46と、を備えている。
【0035】
第3の取得部41は、上記所定範囲を撮影するように設置された撮影手段Xにより撮影された第2の対象映像Y3を取得する。本実施の形態では、多数の第2の対象映像Y3をそれぞれの撮影時刻と紐づけて取得するものとする。なお、第2の対象映像Y3としては、第2の取得部32により取得された第1の対象映像Y2を用いても良い。
【0036】
第3の検出部42は、第2の対象映像Y3に映った第2の対象行動体Z3の人数を検出する。
【0037】
抽出部43は、多数の第2の対象映像Y3の中で、検出された第2の対象行動体Z3の人数が所定以下である複数の第2の対象映像Y3を抽出する。
【0038】
時間帯決定部44は、抽出された複数の第2の対象映像Y3にそれぞれ紐づけられた複数の撮影時刻から、第2の対象行動体Z3の人数が所定以下である複数の時間帯を決定する。例えば、決定される時間帯は、人間が行動しない夜間になることが考えられる。
【0039】
背景検出部45は、第2の対象映像Y3に映った背景を検出する。背景の検出には、公知の背景差分法等を用いれば良い。
【0040】
制御部46は、検出された背景が複数の第2の対象映像Y3の間で所定以上変化した場合に、“通常の行動”又は“通常の軌跡”の決定を改めて行うよう決定部24を制御する。例えば、連続する第2の対象映像Y3において、検出された背景が所定以上変化した場合に、“通常の行動”又は“通常の軌跡”の決定を改めて行うよう決定部24を制御することが考えられる。
【0041】
本実施の形態では、制御部46は、上記抽出された時間帯のうち同一時間帯に検出された背景が所定以上変化した場合に、“通常の行動”又は“通常の軌跡”の決定を改めて行うよう決定部24を制御する。
【0042】
これは、第2の対象映像Y3に多くの第2の対象行動体Z3が映っていると、背景検出の精度が低下してしまうため、第2の対象行動体Z3の人数が少ない時間帯(例えば、夜間)に絞って背景を検出していることを意味する。
【0043】
このようにして、本実施の形態による異常行動検出システム1では、背景が所定以上変化した場合に(例えば、イベント開催に伴うレイアウト変更、カメラの撮影範囲がずれた場合など)、“通常の行動”又は“通常の軌跡”の決定を改めて行うこととなる。これにより、撮影環境の変化に伴って再決定された“通常の行動”や“通常の軌跡”を用いて、“異常行動”を適切に検出することが可能となる。また、背景が変化したか否かの判断には、負荷の小さい背景差分法等を用いればよく、負荷の大きい物体検出を行う必要がないので、少ない負荷で異常行動検出システム1を動作させることが可能となる。
【0044】
また、本実施の形態による異常行動検出システム1では、例えば、第2の対象行動体Z3が映る可能性の低い夜間の時間帯で、背景が変化したか否かを判断する。これにより、背景の差異を正確に検出することが可能となるため、“通常の行動”や“通常の軌跡”の再決定をより適切に行うことが可能となる。
【0045】
続いて、図4のフローチャートを用いて、異常行動検出システム1による異常行動の検出について説明する。
【0046】
異常行動の検出は、“学習段階”、“検出段階”、“再学習段階”の2段階で行われる。
【0047】
(1)学習段階
【0048】
学習段階では、まず、サンプル映像Y1が取得されると(S1)、サンプル映像Y1に映ったサンプル行動体Z1の行動又は軌跡が検出される(S2)。
【0049】
なお、このS1及びS2は、異なる複数のサンプル映像Y1に対して行われ、多数の行動又は軌跡が検出されることが好ましい。
【0050】
続いて、S2で検出された多数の行動又は軌跡に基づき、所定範囲における一又は複数の“通常の行動”又は“通常の軌跡”が決定される(S3)。
【0051】
(2)検出段階
【0052】
続いて、検出段階では、まず、第1の対象映像Y2が取得されると(S4)、第1の対象映像Y2に映った第1の対象行動体Z2の行動又は軌跡が検出される(S5)。
【0053】
続いて、S5で検出された第1の対象行動体Z2の行動又は軌跡が決定された“通常の行動”又は“通常の軌跡”と異なる場合に(S6:YES)、“その旨を示す出力”が行われる(S7)。
【0054】
(3)再学習段階
【0055】
再学習段階は、S3で“通常の行動”又は“通常の軌跡”が決定された後に行われる。再学習段階は、検出段階と並行して行われても良いし、検出段階と別途行われても良いが、本実施の形態では、検出段階と並行して行う例について説明する。
【0056】
再学習段階では、まず、第2の対象映像Y3が取得されると(S8)、第2の対象映像Y3に映った背景が検出される(S9)。本実施の形態では、S8において、第2の対象映像Y3は、取得時間と紐づけて取得される。
【0057】
最後に、検出された背景が複数の第2の対象映像Y3の間で所定以上変化した場合に、“通常の行動”又は“通常の軌跡”の決定が改めて行われる(S10)。
【0058】
本実施の形態では、S10の前に、多数の第2の対象映像Y3の中で、第2の対象行動体Z3の人数が所定以下である複数の第2の対象映像Y3が抽出され、抽出された複数の第2の対象映像Y3にそれぞれ紐づけられた複数の撮影時刻から、第2の対象行動体Z3の人数が所定以下である複数の時間帯が決定される。最後に、決定された複数の時間帯のうちの同一時間帯に検出された背景が所定以上変化した場合に、S10において、“通常の行動”又は“通常の軌跡”の決定が改めて行われる。
【0059】
以上説明したように、本実施の形態による異常行動検出システム1では、背景が所定以上変化した場合に、“通常の行動”又は“通常の軌跡”の決定を改めて行う。
【0060】
このような構成によれば、撮影環境の変化に伴って改めて決定された“通常の行動”や“通常の軌跡”を用いて、“異常行動”を適切に検出することが可能となる。また、背景が変化したか否かの判断には、負荷の小さい背景差分法等を用いればよく、負荷の大きい物体検出を行う必要がないので、少ない負荷で異常行動検出システム1を動作させることが可能となる。
【0061】
また、本実施の形態による異常行動検出システム1では、第2の対象行動体Z3の人数が所定以下である複数の時間帯のうちの同一時間帯に検出された背景が所定以上変化した場合に、“通常の行動”又は“通常の軌跡”の決定を改めて行う。
【0062】
このような構成によれば、背景の差異を正確に検出することが可能となるため、“通常の行動”や“通常の軌跡”の再決定をより適切に行うことが可能となる。
【0063】
尚、本発明の異常行動検出システムは、上述した実施の形態に限定されず、特許請求の範囲に記載した範囲で種々の変形や改良が可能である。
【0064】
例えば、上記実施の形態では、第2の対象行動体Z3の人数が所定以下である複数の時間帯のうち同一時間帯に検出された背景が所定以上変化した場合に(例えば、夜間)、背景が変化したと判断して、“通常の行動”や“通常の軌跡”の再決定を行ったが、第2の対象行動体Z3の人数が多いときに背景が所定以上変化したか否かを判断することを除外するものではない。
【0065】
また、上記実施の形態では、各部材は、学習装置2、判定装置3、及び、制御装置4にそれぞれ設けられていたが、これらは共通して使用されてもよい。また、学習装置2、判定装置3、及び、制御装置4は一体であってもよい。これらの場合も本発明の範囲に含まれる。
【0066】
また、上記実施の形態では、行動体Zとして人間を例に説明したが、動物やロボットについて使用することも可能である。
【0067】
また、上記実施の形態では複数の関節の動きに基づいて行動体の行動を検出したが、関節を検出することなく他の方法で行動体の行動を検出しても良い。
【0068】
また、本発明は、コントローラとしての各部材が行う処理に相当するプログラム及び方法や、当該プログラムを記憶した記録媒体にも応用可能である。記録媒体の場合、コンピュータ等に当該プログラムがインストールされることとなる。ここで、当該プログラムを記憶した記録媒体は、非一過性の記録媒体であっても良い。非一過性の記録媒体としては、CD-ROM等が考えられるが、それに限定されるものではない。
【符号の説明】
【0069】
1 異常行動検出システム
2 学習装置
3 判定装置
4 制御装置
21 第1の記憶部
22 第1の取得部
23 第1の検出部
24 決定部
31 第2の記憶部
32 第2の取得部
33 第2の検出部
34 判定部
41 第3の取得部
42 第3の検出部
43 抽出部
44 時間帯決定部
45 背景検出部
46 制御部
X 撮影手段
Y 映像
Z 行動体
【要約】
【課題】 撮影環境の変化が生じた場合に通常の行動を自動的に再学習することが可能な異常行動検出システムを提供する。
【解決手段】 姿勢推定システム1において、制御装置4は、所定範囲を撮影するように設置された撮影手段Xにより撮影された第2の対象映像Y3を取得する第3の取得部41と、第2の対象映像Y3に映った背景を検出する背景検出部45と、検出された背景が複数の第2の対象映像Y3の間で所定以上変化した場合に、通常の行動又は通常の軌跡の決定を改めて行うよう決定部24を制御する制御部46と、を有している。
【選択図】図4
図1
図2
図3
図4