(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-25
(45)【発行日】2024-04-02
(54)【発明の名称】異常行動検知方法、異常行動検知プログラム及び異常行動検知装置
(51)【国際特許分類】
G08B 25/00 20060101AFI20240326BHJP
G08B 25/04 20060101ALI20240326BHJP
G08B 13/196 20060101ALI20240326BHJP
G06T 7/20 20170101ALI20240326BHJP
【FI】
G08B25/00 510M
G08B25/04 E
G08B13/196
G06T7/20 300A
(21)【出願番号】P 2020030277
(22)【出願日】2020-02-26
【審査請求日】2022-11-17
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】冨安 史陽
【審査官】山岸 登
(56)【参考文献】
【文献】特許第6525229(JP,B1)
【文献】特開2017-111496(JP,A)
【文献】米国特許出願公開第2014/0368658(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T7/00-7/90
G06V10/00-20/90
30/418
40/16
40/20
G08B13/00-15/02
19/00-31/00
H04N7/18
(57)【特許請求の範囲】
【請求項1】
第1の人の動作を表す
第1動作情報
、及び前記第1の人以外の第2の人の動作を表す第2動作情報を取得する動作情報取得部と、
前
記第2動作情報に基づいて、前記
第2の人が
不審者である度合いを表す
不審者度を導出する
不審者度導出部と、
前記第1動作情報に基づいて、前記第2の人に対する前記第1の人の注意の度合いを表す注意度を導出する注意度導出部と、
前記不審者度導出部で導出された不審者度、及び前記注意度導出部で導出された注意度に基づいて、前記第1の人が前記第2の人から襲撃されるリスクを導出するリスク導出部と、
を含む異常行動検知装置。
【請求項2】
前記動作情報取得部は、
予め定められた領域を撮影した映像に含まれる前記第1の人の骨格情報に基づき、前記映像に含まれる前記第1の人の動作を表す前記第1動作情報を取得し、
前記映像に含まれる前記第2の人の骨格情報に基づき、前記映像に含まれる前記第2の人の動作を表す前記第2動作情報を取得する、
請求項1に記載の異常行動検知装置。
【請求項3】
前記リスク導出部で導出されたリスクにより前記第1の人が前記第2の人から襲撃されることが示唆される場合に報知する報知部、
をさらに含む、請求項
2に記載の異常行動検知装置。
【請求項4】
前記予め定められた領域は交番の内部であり、
前記
第1の人は
前記予め定められた領域に駐在する人である、
請求項2に記載の異常行動検知装置。
【請求項5】
前記駐在する人は警察官である、
請求項4に記載の異常行動検知装置。
【請求項6】
前記報知部は、前記領域内に設置された警報装置、及び、前記領域とネットワークを介して接続され、前記領域と離隔した位置に配置された警報装置を使用して警告を報知する、請求項
3に記載の異常行動検知装置。
【請求項7】
前記第2動作情報に基づき、前記
第2の人である訪問者が凶器をもっている、前記訪問者が暴れている、前記訪問者が急に立ち上がる、前記訪問者が鞄に手を入れる、前記訪問者が視線をさまよわせる、前記訪問者が部屋の奥を覗く、及び、前記訪問者がカメラを気にする、の内の少なくとも1つの行動の情報を求める、
請求項
1~請求項6の何れか1項に記載の異常行動検知装置。
【請求項8】
前記第1動作情報に基づき、前記
第1の人である駐在者が安全領域にいる、前
記訪問者との距離が所定長以上である、前記駐在者が前記訪問者の方を見ている、前記駐在者が行動可能姿勢である、及び、前記駐在者が行動可能状態である、の内の少なくとも1つの行動の情報を求める、
請求項
7に記載の異常行動検知装置。
【請求項9】
第1の人の動作を表す
第1動作情報
、及び前記第1の人以外の第2の人の動作を表す第2動作情報を取得し、
前記第2動作情報に基づいて、前記
第2の人が
不審者である度合いを表す
不審者度を導出し、
前記第1動作情報に基づいて、前記第2の人に対する前記第1の人の注意の度合いを表す注意度を導出し、
前記不審者度、及び前記注意度に基づいて、前記第1の人が前記第2の人から襲撃されるリスクを導出する、
異常行動検知処理をコンピュータに実行させる異常行動検知プログラム。
【請求項10】
コンピュータが、
第1の人の動作を表す
第1動作情報、
及び前記第1の人以外の第2の人の動作を表す第2動作情報を取得し
前記第2動作情報に基づいて、前記
第2の人が
不審者である度合いを表す
不審者度を導出し、
前
記第1動作情報に基づいて、前記第2の人に対する前記第1の人の注意の度合いを表す注意度を導出し、
前記不審者度、及び前記注意度に基づいて、前記第1の人が前記第2の人から襲撃されるリスクを導出する、
異常行動検知方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、異常行動検知方法、異常行動検知プログラム及び異常行動検知装置に関する。
【背景技術】
【0002】
警察官が駐在する交番で、警察官が不審者に襲撃され死傷する事件が発生している。例えば、交番の裏口から現れた不審者が、対応した警察官を刃物で襲撃する事件が発生した。また、金品を拾得した、として交番を訪れた不審者が、対応した警察官を刃物及びモデルガンで襲撃する事件も発生した。これらの事件に対応するため、交番及び派出所に防犯カメラを設置することが検討されている。
【0003】
防犯カメラ映像から不審者を検知し、管理者や被害を受ける可能性がある人に検知情報を報知する技術が存在する。当該検知技術には、侵入禁止エリアを設定し、当該侵入禁止エリアに侵入する人を不審者として検知する技術が含まれる。この技術によれば、赤外カメラなどにより移動する物体を不審者として検知する場合よりも不審者の誤検知を低減することができる。
【0004】
当該検知技術には、また、顔情報を事前に登録し、登録済みの顔情報と一致しない人を不審者として検知する技術も含まれる。この技術によれば、住宅へ侵入した人を不審者として検知するよりも不審者の誤検知を低減することができる。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2014-044542号
【文献】国際公開2015-068302号
【文献】特開2015-138295号
【非特許文献】
【0006】
【文献】”映像から人の様々な行動を認識するAI技術「行動分析技術 Actlyzer」を開発”、[online]、2019年11月25日、富士通株式会社、[2020年1月16日検索]、インターネット(URL:https://pr.fujitsu.com/jp/news/2019/11/25.html)
【発明の概要】
【発明が解決しようとする課題】
【0007】
上記検知技術には、不特定多数の人が出入りする領域に対象領域を設定し、当該対象領域内に存在する人の行動状態を表す物理量の平均値を求め、当該平均値から逸脱する人を不審者として検知する技術も含まれる。物理量とは、訪問者の位置から得られる物理量であって、例えば、人の移動速度、移動方向、通過位置、滞留時間、滞在時間、滞留位置などである。この技術によれば、特別な装置を人に装着させることなく、不審者を特定することができる。
【0008】
しかしながら、不審者の特定を物理量に基づいて行う従来技術では、例えば不審者が害のない訪問者を装っている場合など、訪問者の位置から得られる物理量に平均値からの乖離が現れない場合に、不審者を特定することができない。
【0009】
本発明は、1つの側面として、不審者が害のない訪問者を装って行動している場合なども含め、不審者を特定することを可能とすることを目的とする。
【課題を解決するための手段】
【0010】
1つの実施形態では、予め定められた領域を撮影した映像に含まれる人の骨格情報に基づき、前記映像に含まれる人の動作を表す動作情報を取得する動作情報取得部を含む。本実施形態では、また、取得された動作情報に基づいて、映像に含まれる人が異常行動を行うことを表す特徴量を導出する特徴量導出部と、導出された特徴量により映像に含まれる人が異常行動を行うことが示唆される場合に報知する報知部と、を含む。
【発明の効果】
【0011】
本発明は、1つの側面として、不審者が害のない訪問者を装って行動している場合なども含め、不審者を特定することを可能とする。
【図面の簡単な説明】
【0012】
【
図1】本実施形態の異常行動検知システムを例示する概念図である。
【
図2】第1実施形態の異常行動検知装置の機能構成を例示するブロック図である。
【
図3】本実施形態の異常行動検知装置のハードウェア構成を例示するブロック図である。
【
図4】第1実施形態の異常行動検知処理の概要を説明する概念図である。
【
図5】第1実施形態の異常行動検知処理の流れを例示するフローチャートである。
【
図6】本実施形態の応答者判定処理の流れを例示するフローチャートである。
【
図7】第2実施形態の異常行動検知装置の機能構成を例示するブロック図である。
【
図8】第2実施形態の異常行動検知処理の概要を説明する概念図である。
【
図9】第2実施形態の異常行動検知処理の流れを例示するフローチャートである。
【発明を実施するための形態】
【0013】
[第1実施形態]
【0014】
(システム構成)
図1に、第1実施形態の異常行動検知システム10のハードウェア構成を例示する。異常行動検知システム10は、映像撮影装置11、報知装置12、及び異常行動検知装置13を含み、例えば、交番14に設置される。交番14は、不特定多数の訪問者が出入りする予め定められた領域の一例である。
図1は、交番14に駐在する人の一例である警察官15、及び訪問者16が存在する状態を例示している。異常行動検知装置13は、ネットワークを介して交番14から離間した位置に配置されていてもよい。
【0015】
(機能構成)
図2に、異常行動検知装置13の機能構成を例示する。異常行動検知装置13は、映像撮影部21、骨格情報取得部22、動作情報取得部23、警察官判定部24、応対者判定部25、不審者度導出部26、異常行動度導出部27、及び報知部28を含む。
【0016】
映像撮影部21は、映像撮影装置11を使用して、交番14内を撮影する。
【0017】
骨格情報取得部22は、既存の技術を使用して、映像撮影部21で撮影した映像に映っている人の骨格情報を、映像を構成する画像フレームごとに、取得する。骨格情報とは、骨格を形成する複数の関節各々の3次元位置を表す情報である。動作情報取得部23は、骨格情報取得部22で取得した時系列の骨格情報を使用して、映像撮影部21で撮影した映像に映っている人の動作情報を取得する。
【0018】
動作情報とは、時系列の骨格情報から得られる各身体部位の状態を表す情報である。例えば、手を挙げている、足を曲げている、立っている、走っているなどである。動作情報の取得には、骨格の移動距離または移動角度などを事前にルールとして作成しておくルールベースの手法を使用してもよいし、骨格の位置、距離、または角度及びこれらの変異を特徴情報として事前に学習しておく学習ベースの手法を使用してもよい。また、行動情報の取得には、例えば、別の行動分析技術を使用してもよい。別の行動分析技術は、例えば、複雑な行動を構成する要素となる複数種類(例えば100種類)の基本動作を定義し、各画像フレームの骨格情報を用いて、画像フレームごとの基本動作を、学習モデルを用いて認識する技術である。
【0019】
また、動作情報に有用な追加情報として、映像に映っている人が携帯する武器または鞄などの携帯品の情報を併せて取得してもよい。
【0020】
警察官判定部24は、映像撮影部21で撮影した映像に映っている人が警察官であるか否かを判定する。警察官の判定には、警察官が特定の色の制服を着用していることを利用して、人領域の色情報及び輝度情報の統計を利用するヒストグラムベースの手法を使用してもよい。また、警察官の判定には、警察官の映像を参照画像として使用するテンプレートマッチングベースの手法を使用してもよいし、警察官の特徴情報を事前に学習しておく学習ベースの方法を使用してもよい。
【0021】
応対者判定部25は、警察官判定部24の判定結果を使用して、映像に映っている警察官が応対している相手である応対者を判定する。応対者の判定には、警察官と訪問者との間の距離、警察官及び訪問者の身体または顔の向き、視線などの情報を使用してもよい。また、応対の際に使用する机及び椅子などが定まっている場合には、当該机及び椅子の情報を使用してもよい。
【0022】
不審者度導出部26は、応答者対応判定部25の判定結果から、映像に訪問者が映っていると判定された場合、即ち、映像に警察官以外の人が映っている場合、当該訪問者の不審者度を導出する。異常行動度導出部27は、不審者導出部26で導出された不審者度を使用して、警察官が不審者に襲撃される襲撃リスクである異常行動度を導出し、当該襲撃リスクを使用して、警告の報知を行うか否か判定する。不審者度導出部26及び異常行動度導出部27は、特徴量導出部に含まれる。
【0023】
報知部28は、異常行動度導出部27が警告の報知を行うと判定した場合、報知装置12を使用して、警告を報知する。
【0024】
(ハードウェア構成図)
【0025】
異常行動検知装置13は、一例として、
図3に示すように、CPU(Central Processing Unit)51、一次記憶部52、二次記憶部53、及び、外部インターフェイス54を含む。CPU51は、ハードウェアであるプロセッサの一例である。CPU51、一次記憶部52、二次記憶部53、及び、外部インターフェイス54は、バス59を介して相互に接続されている。CPU51は、単一のプロセッサであってもよいし、複数のプロセッサであってもよい。また、CPU51に代えて、例えば、GPU(Graphics Processing Unit)が使用されてもよい。
【0026】
一次記憶部52は、例えば、RAM(Random Access Memory)などの揮発性のメモリである。二次記憶部53は、例えば、HDD(Hard Disk Drive)、又はSSD(Solid State Drive)などの不揮発性のメモリである。
【0027】
二次記憶部53は、プログラム格納領域53A及びデータ格納領域53Bを含む。プログラム格納領域53Aは、一例として、異常行動検知プログラムなどのプログラムを記憶している。データ格納領域53Bは、一例として、映像撮影装置11で撮影される交番内の映像情報などを記憶する。
【0028】
CPU51は、プログラム格納領域53Aから異常行動検知プログラムを読み出して一次記憶部52に展開する。CPU51は、異常行動検知プログラムをロードして実行することで、
図2の映像撮影部21、骨格情報取得部22、動作情報取得部23、警察官判定部24、応対者判定部25、不審者度導出部26、異常行動度導出部27、及び報知部28として動作する。
【0029】
なお、異常行動検知プログラムなどのプログラムは、外部サーバに記憶され、ネットワークを介して、一次記憶部52に展開されてもよい。また、異常行動検知プログラムなどのプログラムは、DVD(Digital Versatile Disc)などの非一時的記録媒体に記憶され、記録媒体読込装置を介して、一次記憶部52に展開されてもよい。
【0030】
外部インターフェイス54には外部装置が接続され、外部インターフェイス54は、外部装置とCPU51との間の各種情報の送受信を司る。
図4では、外部インターフェイス54に、映像撮影装置の一例であるカメラ55A、及び、報知装置の一例であるスピーカ55Bが接続されている例を示している。
【0031】
カメラ55Aは、例えば、デジタルカメラ、赤外カメラ、または、RGB-D(Red Green Blue - Depth)カメラなどであってよい。スピーカ55Bに代えて、例えば、パトランプが使用されてもよい。
【0032】
また、カメラ55A及びスピーカ55Bの内、何れかまたは双方は、異常行動検知装置13に内蔵されていてもよいし、ネットワークを介して、異常行動検知装置13と離隔した位置に配置されていてもよい。異常行動検知装置13は、例えば、パーソナルコンピュータ、サーバなどであってよい。
【0033】
(異常行動検知処理概要)
第1実施形態では、不審者度を使用して異常行動度の一例である襲撃リスクを導出する。不審者度及び異常行動度は特徴量の一例である。
図4は、第1実施形態の異常行動検知処理の概要を例示する。CPU51は、カメラ55Aを使用して、交番内の映像101を撮影する。
図4の例では、映像101に、2人の人101A、101Bが映っている。2人の人101A、101Bは、警察官または訪問者である。
【0034】
CPU51は、映像101から人を検出し、人を包含する矩形領域102A及び102Bを取得する。人の検出には、検出したい人の画像を参照画像とするテンプレートマッチングの手法を使用してもよいし、人の特徴情報を事前に学習しておく学習ベースの手法を使用してもよい。
【0035】
CPU51は、矩形領域102A及び102Bを使用して、人の骨格情報103A及び103Bを取得する。骨格情報の取得には、人の輪郭を求め、輪郭の中心または重心を骨格とする手法を使用してもよいし、身体部位の画像を参照画像とし、各身体部位を推定した後、骨格を推定するテンプレートマッチングベースの手法を使用してもよい。また、骨格情報の取得には、骨格の特徴情報を事前に学習しておく学習ベースの手法を使用してもよい。CPU51は、骨格情報103A及び103Bを使用して、人の動作情報を取得する。
【0036】
CPU51は、矩形領域102A及び102Bを使用して、矩形領域内の人が警察官であるか否か判定して、警察官ではない人である訪問者を含む矩形領域104Aを出力する。CPU51は、取得した人の動作情報及び訪問者の情報を使用して、訪問者の行動情報を導出し、当該行動情報に基づいて不審者度を導出する。不審者度の導出については後述する。
【0037】
CPU51は、導出した不審者度を使用して、襲撃リスクを導出する。襲撃リスクの導出については後述する。CPU51は、導出された襲撃リスクの値に基づいて、警告の報知を行うか否か判定し、警告の報知を行うと判定した場合、報知装置の一例であるスピーカ55Bを使用して警察官に対する警告を報知する。
【0038】
なお、スピーカ55Bを使用して警告の報知を行う代わりに、警察官が保持する携帯電話またはモバイル端末を使用して警告の報知を行ってもよいし、ネットワークを介して異常行動検知装置13に接続されている管理施設の情報端末に警告の報知を行ってもよい。また、警告の報知と併せて、または、警告の報知の代わりに、警告のログを生成して、異常行動検知装置13または、管理施設の情報端末に蓄積してもよい。警告のログは、映像撮影装置11で撮影されている映像と併せて、例えば、警察官の訪問者応対及び襲撃回避の訓練などに利用することができる。
【0039】
(不審者度の導出)
訪問者の不審者度d
suspiciousは、交番14内を撮影するように設置されたカメラ55Aで警察官の訪問者応対の様子を撮影した映像から取得した訪問者に関するn種類の行動情報を用いて式(1)により導出される。f
i()(i=1,…,n)は、骨格情報から算出された動作情報の集合Bを入力として、訪問者に関する行動情報iを出力する関数である。k
iは、行動情報iの重み係数である。ここで行動情報とは、複数の動作情報の集合から得られる複雑な身体の変移を表す情報である。例えば、手を上げた状態と手を下げた状態が短時間で頻繁に変移すれば、腕を振り回しているとなる。
【数1】
【0040】
n種類の行動情報を出力する関数を式(2)~(8)に例示する。
【数2】
【0041】
式(2)は、訪問者が凶器を所持している場合、警察官を負傷させる可能性があるため1を出力し、凶器を所持していない場合0を出力する。例えば、映像から取得した武器の情報及び人の骨格情報を使用して、人の手の骨格位置と武器の位置とが重なる場合に、武器を持つ状態とし、動作情報である本状態が継続する場合に、凶器を所持していると判定して、1を出力する。
【0042】
式(3)は、訪問者が暴れている場合、警察官が負傷したり、器物が損壊されたりする可能性があるため1を出力し、暴れていない場合0を出力する。例えば、映像から取得した人の骨格情報を使用して、肘の骨格位置、肩の骨格位置、及び腰の骨格位置から肩の角度を取得し、肩の角度が所定の角度以上の場合に腕が上がっている状態とし、所定の角度よりも小さい場合に腕が下がっている状態とする。動作情報である腕が上がっている状態や腕が下がっている状態が、所定の時間内に所定の回数変移する場合に、暴れていると判定する。例えば、所定の角度は100度であってよいし、所定の時間は3秒であってよいし、所定の回数は3回であってよい。
【0043】
式(4)は、訪問者が急に立ち上がる場合、直後に警察官を襲撃する可能性があるため、警察官が近くにいる時に、即ち、警察官と訪問者との距離が所定長以内である場合に急に立ち上がった場合1を出力する。警察官が近くにいない場合も警戒を要する動きであるため0.5を出力し、急に立ち上がる動作を行わない場合0を出力する。所定長は、例えば、1mであってよい。
【0044】
映像から取得した人の骨格情報を使用して、踵、膝及び腰の骨格位置から膝の曲がり角度を取得し、膝、腰及び肩の骨格位置から腰の曲がり角度を取得し、まず、膝の曲がり角度及び腰の曲がり角度が各々所定角度以内である場合に、座っている状態と判定する。膝及び腰の所定の曲がり角度は各々80度から110度であってよい。次に、膝の曲がり角度及び腰の曲がり角度が各々所定の角度以内である場合に、立っている状態と判定する。膝及び腰の所定の曲がり角度は各々170度から190度であってよい。所定時間内の映像フレーム間で、動作情報である座っている状態から立っている状態に遷移した場合に、急に立ち上がったと判定する。所定時間は、例えば、1秒であってよい。
【0045】
式(5)は、訪問者が鞄に手を入れる場合、武器または危険物を取り出す動作である可能性があるため、警察官が近くにいる時に鞄に手を入れた場合1を出力し、警察官が近くにいない場合も警戒を要する動きであるため、0.5を出力する。式(5)は、鞄に手を入れる行動を行わない場合0を出力する。例えば、映像から取得した鞄の情報を使用して、人の手の骨格位置と鞄の位置とが重ならない場合に、鞄に手が入っていない状態と判定し、人の手の骨格位置と鞄の位置とが重なる場合に、鞄に手が入っている状態と判定する。動作情報である鞄に手が入っていない状態から鞄が手に入っている状態に変化する場合に、鞄に手を入れていると判定する。
【0046】
式(6)は、訪問者が視線をさまよわせる場合、警察官の状態及びカメラなどの位置を確認する動作である可能性があり、警察官が近くにいる時に視線をさまよわせた場合、カメラなどの位置を確認する行動である可能性があるため1を出力する。視線をさまよわせる、とは、あちこちを見回す動作を行うことである。式(6)は、警察官が近くにいない時に視線をさまよわせた場合、0.5を出力し、訪問者が視線をさまよわせない場合、0を出力する。
【0047】
式(7)は、警察官が近くにいる時に部屋の奥を覗いた場合、他の警察官の存在を確認する行動である可能性があるため、1を出力し、警察官が近くにいない時に部屋の奥を覗いた場合、警察官の存在を確認する行動である可能性があるため、0.5を出力する。式(7)は、訪問者が部屋の奥を覗かない場合0を出力する。例えば、映像から取得した人が注視している領域の情報及び動作情報である人の顔の向きの情報を利用して、部屋の奥を覗いているか否か判定する。
【0048】
式(8)は、訪問者がカメラを見る場合、襲撃が記録されるのを気にする行動である可能性があるため、警察官が近くにいる時にカメラを見た場合1を出力し、警察官が近くにいない時にカメラを見た場合0.5を出力し、カメラを見ない場合0を出力する。
【0049】
式(1)の重みkiは、例えば、1であってよい。また、k1, k2を1とし、k3を0.8とし、k4を0.5とし、k5, k6, k7を0.3としてもよい。
【0050】
(襲撃リスクの導出)
【0051】
警察官が不審者から襲撃されるリスクを表す度合いを示す襲撃リスクd
riskは、式(1)で導出される訪問者の不審者度d
suspiciousを使用して、例えば、式(9)で導出する。
【数3】
T
visitorは、襲撃リスクd
risk判定の閾値である。T
visitorは、例えば、1であってよい。
【0052】
なお、本実施形態は、上記で説明した不審者度及び襲撃リスクの導出及び例示した値に限定されない。上記では、訪問者が不審者である可能性が高い程、不審者度が大きくなる場合を例示しているが、例えば、訪問者が不審者である可能性が高い程、不審者度が小さくなるように値を設定してもよい。この場合、例えば、式(10)で、襲撃リスクd
riskを導出するようにしてもよい。
【数4】
【0053】
CPU51は、襲撃リスクdriskが1である場合、警告の報知を行う、と判定し、襲撃リスクdriskが0である場合、警告の報知を行わない、とを判定する。
【0054】
(異常行動検知処理)
図5に、異常行動検知処理の流れを例示する。映像撮影部21は、ステップ201で、カメラ55Aを使用して交番14内の映像を撮影する。警察官判定部24は、ステップ202で、撮影した映像から人領域を検出する。人領域とは、例えば、人を包含する矩形領域である。
【0055】
警察官判定部24は、ステップ203で、映像に映っている人の数が0であるか否か判定する。ステップ203の判定が肯定された場合、即ち、映像に人が映っていない場合、警察官判定部24は、異常行動検知処理を終了する。ステップ203の判定が否定された場合、即ち、映像に人が映っている場合、警察官判定部24は、ステップ204で、映像に映っている人が警察官であるか否か判定する。
【0056】
警察官判定部24は、ステップ205で、映像に映っている訪問者の人数が0であるか否か判定する。訪問者の人数は映像に映っている人の数から警察官の人数を減算することで取得することができる。ステップ205の判定が肯定された場合、即ち、映像に訪問者が映っていない場合、警察官判定部24は異常行動検知処理を終了する。
【0057】
ステップ205の判定が否定された場合、即ち、映像に訪問者が映っている場合、骨格情報取得部22は、ステップ206で、人領域の映像を使用して、映像に映っている全ての人の骨格情報を取得する。動作情報取得部23は、ステップ207で、骨格情報を使用して、映像に映っている全ての人の動作情報を取得する。
【0058】
応対者判定部25は、ステップ208で、映像に映っている警察官の人数が0であるか否か判定する。ステップ208の判定が肯定された場合、即ち、映像に警察官が映っていない場合、応対者判定部25は、後述するステップ211に進む。ステップ208の判定が否定された場合、即ち、映像に警察官が映っていると判定された場合、応対者判定部25は、ステップ209で、後述するように、警察官が訪問者を応対しているか否か判定する。
【0059】
不審者度導出部26は、ステップ210で、映像に映っている人の内の1人である処理対象者が訪問者であるか否か判定する。ステップ210の判定が肯定された場合、即ち、処理対象者が訪問者である場合、不審者度導出部26は、ステップ211で、訪問者の不審者度を導出する。異常行動度導出部27は、ステップ212で、不審者度が閾値A以上であるか否か判定する。閾値Aは、上記Tvisitorに対応する。
【0060】
ステップ212の判定が否定された場合、または、ステップ210の判定が否定された場合、異常行動度導出部27は、ステップ213で、映像に映っている全ての人を処理したか否か判定する。ステップ212の判定が否定された場合とは、不審者度が閾値Aより小さい場合であり、ステップ210の判定が否定された場合とは、処理対象者が警察官である場合である。ステップ213の判定が肯定された場合、即ち、映像に映っている全ての人の処理が終了している場合、異常行動度導出部27は、異常行動検知処理を終了する。ステップ213の判定が否定された場合、即ち、まだ処理されていない人が存在する場合、異常行動度導出部27は、ステップ210に戻る。
【0061】
ステップ212の判定が肯定された場合、即ち、不審者度が閾値A以上である場合、報知部28は、ステップ214で、スピーカ55Bを使用して、警察官に対して警告を報知し、異常行動検知処理を終了する。
【0062】
(応対者判定処理)
図6は、ステップ209の警察官の応対者判定処理の流れを例示する。応対者判定部25は、ステップ221で、映像に映っている警察官の内の1人の警察官を選択する。応対者判定部25は、ステップ222で、選択した警察官と訪問者との間の距離を取得する。応対者判定部25は、ステップ223で、選択した警察官との間の距離が最小である訪問者を選択する。
【0063】
応対者判定部25は、ステップ224で、当該距離が閾値C以下であるか否か判定する。閾値Cは、例えば、1mであってよい。ステップ224の判定が肯定された場合、即ち、当該距離が閾値C以下である場合、応対者判定部25は、ステップ225で、当該訪問者が、警察官が応対している応対者であると判定する。応対者判定部25は、ステップ226で、全ての警察官の処理が終了したか否か判定する。
【0064】
ステップ224の判定が否定された場合、即ち、警察官と訪問者との間の距離が閾値Cより長い場合も、応対者判定部25は、ステップ226に進む。ステップ226の判定が肯定された場合、即ち、全ての警察官の処理が終了した場合、応対者判定部25は、警察官の応対者判定処理を終了する。ステップ226の判定が否定された場合、即ち、未処理の警察官が存在する場合、応対者判定部25は、ステップ221に戻る。
【0065】
(不審者度導出処理)
ステップ211で、不審者度導出部26は、式(1)、詳細には、式(2)~(8)を使用して、不審者度を導出する。式(2)~(8)の全てを使用してもよいし、何れかを選択的に使用してもよいし、式(2)~(8)に使用されている行動情報以外の行動情報を使用して、不審者度を導出してもよい。式(4)~(8)において、ステップ209で、訪問者が警察官の応対者であると判定された場合に、警察官が近くにいると判定し、訪問者が警察官の応対者であると判定されない場合に、警察官が近くにいないと判定してもよい。また、例えば、式(4)~(8)は、ステップ209で、訪問者が警察官の応対者であると判定された場合にのみ、使用するようにしてもよい。
【0066】
不特定多数の訪問者が訪れる交番で勤務する警察官を襲撃する不審者は、一般的な訪問者を装って警察官が油断している隙に襲撃を実行する可能性が高い。このため、不審者と一般的な訪問者との区別は困難であり、警察官に襲撃リスクを適切に報知することが困難である。本実施形態では、予め定められた領域を撮影した映像に含まれる人の骨格情報に基づき、映像に含まれる人の動作を表す動作情報を取得する。本実施形態では、また、取得された動作情報に基づいて、映像に含まれる人が異常行動を行うことを表す特徴量を導出し、導出された特徴量により映像に含まれる人が異常行動を行うことが示唆される場合に報知する。
【0067】
本実施形態では、また、映像に含まれる人が不審者である度合いを示す不審者度を導出し、導出された不審者度に基づいて、特徴量として、映像に含まれる人が異常行動を行うことを表す異常行動度を導出する。
【0068】
本実施形態では、これにより、不審者が害のない訪問者を装って行動している場合なども含め、不審者を特定することを可能とする。
【0069】
[第2実施形態]
【0070】
第2実施形態では、駐在する人以外の人の一例である訪問者の不審者度に加え、駐在する人の一例である警察官の注意度にも基づいて襲撃リスクを導出する。第1実施形態と同様の構成及び作用については説明を省略する。不審者度、注意度、及び襲撃リスクは特徴量の一例である。
【0071】
(機能構成図)
図7に第2実施形態の機能構成図を例示する。
図7の映像撮影部31、骨格情報取得部32、動作情報取得部33、警察官判定部34、及び応対者判定部35は、
図2の映像撮影部21、骨格情報取得部22、動作情報取得部23、警察官判定部24、及び応対者判定部25と同様である。また、不審者度導出部36、異常行動度導出部37、及び報知部38は、
図2の不審者度導出部26、異常行動度導出部27、及び報知部28と同様である。第2実施形態は、
図7の注意度導出部39を含む点で、第1実施形態と異なる。なお、第2実施形態では、不審者度導出部36、異常行動度導出部37、及び注意度導出部39が特徴導出部に相当する。
【0072】
注意度導出部39は、映像に警察官が映っている場合に、第1骨格情報の一例である警察官の骨格情報から取得された第1動作情報の一例である警察官の動作情報を使用して、当該警察官の注意の度合いを表す注意度を導出する。異常行動度導出部37は、不審者度導出部36で訪問者の骨格情報から取得された訪問者の動作情報を使用して導出された不審者度及び注意度導出部39で導出された注意度を使用して異常行動度の一例である襲撃リスクを導出する。訪問者の骨格情報は第2骨格情報の一例であり、訪問者の動作情報は第2動作情報の一例である。異常行動度導出部37は、襲撃リスクを使用して警告の報知を行うか否か判定する。
【0073】
(異常行動検知処理概要)
図8を使用して第2実施形態の異常行動検知処理の概要を説明する。
図8では、CPU51は、人を包含する矩形領域102A及び102Bを使用して、矩形領域内の人が警察官であるか否か判定して、警察官を含む矩形領域104Bを出力する。CPU51は、取得した人の動作情報及び警察官の情報を使用して、警察官の行動情報を導出し、当該行動情報に基づき注意度を導出する。注意度の導出については後述する。第2実施形態は、不審者度に加え注意度を使用して襲撃リスクを導出する点が、第1実施形態と異なる。
【0074】
(注意度の導出)
警察官の注意度d
carefulは、交番14内を撮影するように設置されたカメラ55Aで警察官の訪問者応対の様子を撮影した映像から取得した警察官に関するm種類の行動情報を使用して式(11)により導出する。g
j()は、骨格情報から算出された動作情報の集合Bを入力として、警察官に関する行動情報を出力する関数である。l
jは、行動情報jの重み係数であり、例えば、0.3であってよい。
【数5】
【0075】
m種類の行動情報を出力する関数を以下に例示する。
【数6】
式(12)は、警察官が安全領域に存在する場合に1を出力し、安全領域に存在しない場合に0を出力する。安全領域とは、警察官が不審者に襲撃された際に回避が容易な領域である。例えば、出入り口に近い場所は安全領域であり、壁または什器に近く回避が困難である場所は安全領域ではない。例えば、映像から取得した安全領域の情報及び警察官の動作情報から、警察官が安全領域に存在するか否か判定する。安全領域は、映像において画素単位で事前に指定してもよいし、既存の画像認識処理により映像に映っている移動物体、例えば、椅子などの可動什器及び訪問者の立ち位置などを認識し、移動物体の位置に応じて変更してもよい。
【0076】
式(13)は、警察官と訪問者との間の距離が所定長以上である場合に注意度1を出力し、所定長未満である場合に注意度0を出力する。所定長は、例えば、1mであってよい。また、既存の画像認識処理により、映像に映った警察官と訪問者との間に什器またはカウンタなどが存在するか否かを認識し、認識結果に応じて注意度の値を調整してもよい。
【0077】
式(14)は、警察官が訪問者の方を見ている場合に1を出力し、見ていない場合に0を出力する。警察官が訪問者の方を見ていることにより不審者の動きを把握することで襲撃された際に回避することができる可能性が高いためである。
【0078】
式(15)は、警察官が行動可能姿勢である場合に1を出力し、行動可能姿勢でない場合に0を出力する。行動可能姿勢とは、訪問者の突然の行動に対応できる姿勢である。例えば、立位姿勢は行動可能姿勢であり、着座姿勢は行動可能姿勢ではない、としてもよい。また、業務内容または室内環境に応じて、行動可能姿勢を判定してもよい。
【0079】
式(16)は、警察官が行動可能状態である場合に1を出力し、行動可能状態でない場合に0を出力する。行動可能状態とは、訪問者の突然の行動に対応できる状態である。例えば、対面で訪問者と話している状態は行動可能状態であり、訪問者を見ずに調書を作成している状態は行動可能状態ではない、としてもよい。また、業務内容または室内環境に応じて、行動可能状態を判定してもよい。
【0080】
(襲撃リスクの導出)
【0081】
警察官が不審者から襲撃されるリスクd
riskは、式(1)で導出される訪問者の不審者度d
suspiciousと、式(11)で導出される警察官の注意度d
carefulとを使用して、式(17)で導出する。
【数7】
T
visitor及びT
policeは、襲撃リスクd
risk判定の閾値である。T
visitor、T
policeは、例えば、1であってよい。
【0082】
なお、本実施形態は、上記で説明した不審者度、注意度及び襲撃リスクの導出及び例示した値に限定されない。上記では、警察官の注意の度合いが低い程、注意度が小さくなる場合を例示しているが、例えば、警察官の注意の度合いが低い程、注意度が大きくなるように値を設定してもよい。この場合、例えば、式(18)で、襲撃リスクd
riskを導出するようにしてもよい。
【数8】
【0083】
また、警察官の注意の度合いが低い程、注意度が大きくなるように値を設定した場合、式(19)で、襲撃リスクを導出するようにしてもよい。h
sは不審者度d
suspiciousの重み係数であり、h
cは注意度d
carefulの重み係数であり、T
scは襲撃リスクd
risk判定の閾値である。
【数9】
【0084】
(異常行動検知処理の流れ)
図9に第2実施形態の異常行動検知処理の流れを例示する。
図9のステップ251~264は、
図5のステップ201~214と同様である。
【0085】
第2実施形態では、ステップ260の判定が否定された場合、即ち、処理対象者が警察官である場合、注意度導出部39は、ステップ265で、当該警察官の注意度を導出する。注意度の導出については後述する。異常行動度導出部37は、ステップ266で、警察官の注意度が閾値B以下であるか否か判定する。閾値Bは、Tpoliceであり、例えば、1であってよい。ステップ266の判定が否定された場合、即ち、注意度が閾値Bより大きい場合、異常行動度導出部37はステップ263に進み、ステップ266の判定が肯定された場合、即ち、注意度が閾値B以下である場合、異常行動度導出部37は、ステップ264に進む。
【0086】
(注意度導出処理)
ステップ265で、注意度導出部39は、例えば、式(11)、詳細には、式(12)~(16)を使用して、注意度を導出する。式(12)~(16)の全てを使用してもよいし、何れかを選択的に使用してもよいし、式(12)~(16)に使用されている行動情報以外の行動を使用して、注意度を導出してもよい。
【0087】
本実施形態では、予め定められた領域を撮影した映像に含まれる人の骨格情報に基づき、映像に含まれる人の動作を表す動作情報を取得する。本実施形態では、また、取得された動作情報に基づいて、映像に含まれる人が異常行動を行うことを表す特徴量を導出し、導出された特徴量により映像に含まれる人が異常行動を行うことが示唆される場合に報知する。
【0088】
本実施形態では、また、映像に含まれる人が不審者である度合いを示す不審者度を導出し、導出された不審者度に基づいて、特徴量として、映像に含まれる人が異常行動を行うことを表す異常行動度を導出する。
【0089】
本実施形態では、また、骨格情報は、予め定められた領域に駐在する人の第1骨格情報、及び駐在する人以外の人の第2骨格情報を含み、動作情報として、第1骨格情報に対応する人の動作を示す第1動作情報を取得する。本実施形態では、また、骨格情報として、第2骨格情報に対応する人の動作を示す第2動作情報を取得する。本実施形態では、また、第1動作情報に基づいて、第2骨格情報に対応する人に対する第1骨格情報に対応する人の注意の度合いを表す注意度を導出する。本実施形態では、また、第2骨格情報に対応する人が不審者である可能性を示す度合いを導出し、導出された不審者度、及び導出された注意度に基づいて、特徴量として、第2骨格情報に対応する人が異常行動を行う可能性を示す異常行動度を導出する。
【0090】
本実施形態では、これにより、不審者が害のない訪問者を装って行動している場合なども含め、不審者をより適切に特定することを可能とする。
【0091】
交番勤務の警察官は、地域住民の安全を守るため、犯罪発生時に犯人を逮捕する訓練を行っている。したがって、本来であれば、警察官は犯人からの襲撃に適切に対応することができる。しかしながら、不審者が一般的な訪問者を装い、警察官が油断した隙に襲撃する場合、警察官であっても突然の襲撃に対応することが困難である。
【0092】
第1実施形態に例示したように、訪問者の不審者度が高い場合、並びに、第2実施形態に例示したように、訪問者の不審者度が高く、かつ、警察官の注意度が低い場合、不審者による襲撃のリスクが高い状態となる。即ち、本実施形態では、警察官を不審者の襲撃から守るために、襲撃のリスクが高い状態になった場合警察官に報知することで、警察官が注意度を上げる行動をとる、など、適切に対応するよう警告する。
【0093】
これにより、警察官は、不審者からの襲撃に備えるため、不審者が襲撃する隙を与えないように対応することができる。例えば、訪問者から目を離さないようにする、即時に行動可能な態勢に移行する、などである。
【0094】
なお、本実施例では、予め定められた領域が交番であり、駐在する人が警察官である例について説明したが、適用先はこれに限られない。例えば、予め定められた領域の一例として、パチンコ景品交換所、宝くじ売り場、深夜営業のコンビニエンスストア、ファストフードが挙げられる。また、駐在する人の一例として、店員が挙げられる。この場合も、店員の制服によって駐在する人を判定してもよいし、駐在する人が予めIC(Integrated Circuit)タグを装着し、ICタグによって駐在する人を判定してもよい。また、本実施形態では、異常行動が襲撃である例について説明したが、これに限られない。異常行動は、例えば、窃盗、器物破損などであってもよい。
【0095】
図5、6、9のフローチャートは一例であり、処理の流れは、適宜、変更が可能である。
(付記1)
予め定められた領域を撮影した映像に含まれる人の骨格情報に基づき、前記映像に含まれる人の動作を表す動作情報を取得する動作情報取得部と、
前記動作情報取得部で取得された動作情報に基づいて、前記映像に含まれる人が異常行動を行うことを表す特徴量を導出する特徴量導出部と、
前記特徴量導出部で導出された特徴量により前記映像に含まれる人が異常行動を行うことが示唆される場合に報知する報知部と、
を含む異常行動検知装置。
(付記2)
前記特徴量導出部は、
前記映像に含まれる人が不審者である度合いを示す不審者度を導出する不審者度導出部と、
前記不審者度導出部で導出された不審者度に基づいて、前記特徴量として、前記映像に含まれる人が異常行動を行うことを表す異常行動度を導出する異常行動度導出部と、
を含む付記1の異常行動検知装置。
(付記3)
前記骨格情報は、前記予め定められた領域に駐在する人の第1骨格情報、及び前記駐在する人以外の人の第2骨格情報を含み、
前記動作情報取得部は、前記動作情報として、前記第1骨格情報に対応する人の動作を示す第1動作情報、及び前記第2骨格情報に対応する人の動作を示す第2動作情報を取得し、
前記特徴量導出部は、
前記第1動作情報に基づいて、前記第2骨格情報に対応する人に対する前記第1骨格情報に対応する人の注意の度合いを表す注意度を導出する注意度導出部、
をさらに含み、
前記不審者度導出部は、前記第2骨格情報に対応する人が不審者である可能性を示す度合いを導出し、
前記異常行動度導出部は、前記不審者度導出部で導出された不審者度、及び前記注意度導出部で導出された注意度に基づいて、前記特徴量として、前記第2骨格情報に対応する人が異常行動を行う可能性を示す異常行動度を導出する、
付記2の異常行動検知装置。
(付記4)
前記予め定められた領域は交番の内部であり、
前記駐在する人は警察官である、
付記3の異常行動検知装置。
(付記5)
前記異常行動度は、前記駐在する人以外の人が前記駐在する人を襲撃するリスクを表す値である、付記3または付記4の異常行動検知装置。
(付記6)
前記報知部は、前記領域内に設置された警報装置、及び、前記領域とネットワークを介して接続され、前記領域と離隔した位置に配置された警報装置を使用して警告を報知する、付記3~付記5の何れかの異常行動検知装置。
(付記7)
前記第2動作情報に基づき、前記駐在する人以外の人である訪問者が凶器をもっている、前記訪問者が暴れている、前記訪問者が急に立ち上がる、前記訪問者が鞄に手を入れる、前記訪問者が視線をさまよわせる、前記訪問者が部屋の奥を覗く、及び、前記訪問者がカメラを気にする、の内の少なくとも1つの行動の情報を導出する、
付記3~付記6の何れかの異常行動検知装置。
(付記8)
前記第1動作情報に基づき、前記駐在する人である駐在者が安全領域にいる、前記駐在者と前記駐在する人以外の人である訪問者との距離が所定長以上である、前記駐在者が前記訪問者の方を見ている、前記駐在者が行動可能姿勢である、及び、前記駐在者が行動可能状態である、の内の少なくとも1つの行動の情報を導出する、
付記3~付記7の何れかの異常行動検知装置。
(付記9)
予め定められた領域を撮影した映像に含まれる人の骨格情報に基づき、前記映像に含まれる人の動作を表す動作情報を取得し、
取得された前記動作情報に基づいて、前記映像に含まれる人が異常行動を行うことを表す特徴量を導出し、
導出された前記特徴量により前記映像に含まれる人が異常行動を行うことが示唆される場合に報知する、
異常行動検知処理をコンピュータに実行させる異常行動検知プログラム。
(付記10)
前記特徴量を導出することは、
前記映像に含まれる人が不審者である度合いを示す不審者度を導出し、
導出された前記不審者度に基づいて、前記特徴量として、前記映像に含まれる人が異常行動を行うことを表す異常行動度を導出する、
ことを含む付記9に記載の異常行動検知プログラム。
(付記11)
前記骨格情報は、前記予め定められた領域に駐在する人の第1骨格情報、及び前記駐在する人以外の人の第2骨格情報を含み、
前記動作情報として、前記第1骨格情報に対応する人の動作を示す第1動作情報、及び前記第2骨格情報に対応する人の動作を示す第2動作情報を取得し、
前記第1動作情報に基づいて、前記第2骨格情報に対応する人に対する前記第1骨格情報に対応する人の注意の度合いを表す注意度を導出し、
前記第2骨格情報に対応する人が不審者である可能性を示す度合いを導出し、
導出された前記不審者度、及び導出された前記注意度に基づいて、前記特徴量として、前記第2骨格情報に対応する人が異常行動を行う可能性を示す異常行動度を導出する、
付記10の異常行動検知プログラム。
(付記12)
前記予め定められた領域は交番の内部であり、
前記駐在する人は警察官である、
付記11の異常行動検知プログラム。
(付記13)
前記異常行動度は、前記駐在する人以外の人が前記駐在する人を襲撃するリスクを表す値である、付記11または付記12の異常行動検知プログラム。
(付記14)
コンピュータが、
予め定められた領域を撮影した映像に含まれる人の骨格情報に基づき、前記映像に含まれる人の動作を表す動作情報を取得し、
取得された前記動作情報に基づいて、前記映像に含まれる人が異常行動を行うことを表す特徴量を導出し、
導出された前記特徴量により前記映像に含まれる人が異常行動を行うことが示唆される場合に報知する、
異常行動検知方法。
(付記15)
前記特徴量を導出することは、
前記映像に含まれる人が不審者である度合いを示す不審者度を導出し、
導出された前記不審者度に基づいて、前記特徴量として、前記映像に含まれる人が異常行動を行うことを表す異常行動度を導出する、
ことを含む付記14の異常行動検知方法。
(付記16)
前記骨格情報は、前記予め定められた領域に駐在する人の第1骨格情報、及び前記駐在する人以外の人の第2骨格情報を含み、
前記動作情報として、前記第1骨格情報に対応する人の動作を示す第1動作情報、及び前記第2骨格情報に対応する人の動作を示す第2動作情報を取得し、
前記第1動作情報に基づいて、前記第2骨格情報に対応する人に対する前記第1骨格情報に対応する人の注意の度合いを表す注意度を導出し、
前記第2骨格情報に対応する人が不審者である可能性を示す度合いを導出し、
導出された前記不審者度、及び導出された前記注意度に基づいて、前記特徴量として、前記第2骨格情報に対応する人が異常行動を行う可能性を示す異常行動度を導出する、
付記15の異常行動検知方法。
(付記17)
前記予め定められた領域は交番の内部であり、
前記駐在する人は警察官である、
付記16の異常行動検知方法。
(付記18)
前記異常行動度は、前記駐在する人以外の人が前記駐在する人を襲撃するリスクを表す値である、付記16または付記17の異常行動検知方法。
【符号の説明】
【0096】
22、32:骨格情報取得部
23、33:動作情報取得部
26、36:不審者度導出部
27、37:異常行動度導出部
28、38:報知部
39:注意度導出部