特開 2024-172044 行動判定装置、行動判定方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024172044

(43)【公開日】2024-12-12

(54)【発明の名称】行動判定装置、行動判定方法、及びプログラム

(51)【国際特許分類】

   G08B 25/00 20060101AFI20241205BHJP

   G06T 7/00 20170101ALI20241205BHJP

   H04N 7/18 20060101ALI20241205BHJP

【ＦＩ】

G08B25/00 510M

G06T7/00 660B

H04N7/18 D

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023089466

(22)【出願日】2023-05-31

(71)【出願人】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】堀江 祥文

【テーマコード（参考）】

5C054

5C087

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FC12

5C054FC13

5C054FE28

5C054HA19

5C087AA02

5C087AA03

5C087AA25

5C087AA32

5C087AA37

5C087BB74

5C087DD05

5C087EE07

5C087EE14

5C087FF01

5C087FF04

5C087GG02

5C087GG08

5C087GG19

5C087GG66

5C087GG83

5L096BA02

5L096FA09

5L096FA69

(57)【要約】

【課題】人物の行動を判定するための新規な判定技術を提供することができる行動判定装置、行動判定方法、及びプログラムを提供する。
【解決手段】行動判定装置１は、人物を撮影した映像から生成された前記人物の骨格情報に基づいて、前記人物を構成する特徴点の位置を特定する位置特定部２と、前記特徴点の位置が、予め定められた許可領域にあるか否かに応じて、前記人物の行動が警告対象の行動であるか否かを判定する行動判定部３とを有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

人物を撮影した映像から生成された前記人物の骨格情報に基づいて、前記人物を構成する特徴点の位置を特定する位置特定部と、
前記特徴点の位置が、予め定められた許可領域にあるか否かに応じて、前記人物の行動が警告対象の行動であるか否かを判定する行動判定部と
を有する行動判定装置。

【請求項2】

前記行動判定部は、前記特徴点の位置が前記許可領域以外の領域にある場合、前記人物の行動が警告対象の行動であると判定する
請求項１に記載の行動判定装置。

【請求項3】

前記行動判定部は、前記特徴点の位置が特定できない場合、前記人物の行動が警告対象の行動であると判定する
請求項１又は２に記載の行動判定装置。

【請求項4】

前記位置特定部は、前記人物の手に対応する特徴点の位置を特定し、
前記手に対応する前記特徴点の位置が、予め定められた許可領域にあるか否かに応じて、前記人物の行動が警告対象の行動であるか否かを判定する
請求項１に記載の行動判定装置。

【請求項5】

前記位置特定部は、前記人物を構成する複数の特徴点の位置を特定し、
前記行動判定部は、前記複数の特徴点のそれぞれが、前記特徴点毎に予め定められた前記許可領域にあるか否かに応じて、前記人物の行動が警告対象の行動であるか否かを判定する
請求項１に記載の行動判定装置。

【請求項6】

前記位置特定部は、前記特徴点の３次元の位置を特定し、
前記行動判定部は、３次元の前記許可領域を用いて、前記人物の行動が警告対象の行動であるか否かを判定する
請求項１に記載の行動判定装置。

【請求項7】

前記骨格情報に基づいて、前記人物の姿勢を特定する姿勢特定部をさらに有し、
前記行動判定部は、さらに、前記人物の前記姿勢が、予め定められた許可姿勢に該当するか否かに応じて、前記人物の行動が警告対象の行動であるか否かを判定する
請求項１に記載の行動判定装置。

【請求項8】

人物を撮影した映像から生成された前記人物の骨格情報に基づいて、前記人物を構成する特徴点の位置を特定し、
前記特徴点の位置が、予め定められた許可領域にあるか否かに応じて、前記人物の行動が警告対象の行動であるか否かを判定する
行動判定方法。

【請求項9】

人物を撮影した映像から生成された前記人物の骨格情報に基づいて、前記人物を構成する特徴点の位置を特定する位置特定ステップと、
前記特徴点の位置が、予め定められた許可領域にあるか否かに応じて、前記人物の行動が警告対象の行動であるか否かを判定する行動判定ステップと
をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は行動判定装置、行動判定方法、及びプログラムに関する。

【背景技術】

【0002】

人物をカメラで撮影した映像を解析することにより、人物の行動を監視する技術が提案されている。例えば、特許文献１は、ユーザを撮影した映像から抽出された骨格情報に基づいて特定した動作シーケンスが、所定の不正動作シーケンスに対応するか否かを判定し、判定結果に応じて警告を出力するシステムについて開示している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０２３／００７６０１号

【発明の概要】

【発明が解決しようとする課題】

【0004】

近年、映像を用いた自動監視技術への期待が高まっており、自動監視技術に対する利用者のニーズとして今後様々なニーズが発生する可能性がある。このため、人物の行動を判定するための新規な判定技術の提案が求められている。

【0005】

そこで、本明細書に開示される実施形態が達成しようとする目的の１つは、人物の行動を判定するための新規な判定技術を提供することができる行動判定装置、行動判定方法、及びプログラムを提供することにある。

【課題を解決するための手段】

【0006】

第１の態様にかかる行動判定装置は、
人物を撮影した映像から生成された前記人物の骨格情報に基づいて、前記人物を構成する特徴点の位置を特定する位置特定部と、
前記特徴点の位置が、予め定められた許可領域にあるか否かに応じて、前記人物の行動が警告対象の行動であるか否かを判定する行動判定部と
を有する。

【0007】

第２の態様にかかる行動判定方法では、
人物を撮影した映像から生成された前記人物の骨格情報に基づいて、前記人物を構成する特徴点の位置を特定し、
前記特徴点の位置が、予め定められた許可領域にあるか否かに応じて、前記人物の行動が警告対象の行動であるか否かを判定する。

【0008】

第３の態様にかかるプログラムは、
人物を撮影した映像から生成された前記人物の骨格情報に基づいて、前記人物を構成する特徴点の位置を特定する位置特定ステップと、
前記特徴点の位置が、予め定められた許可領域にあるか否かに応じて、前記人物の行動が警告対象の行動であるか否かを判定する行動判定ステップと
をコンピュータに実行させる。

【発明の効果】

【0009】

上述の態様によれば、人物の行動を判定するための新規な判定技術を提供することができる行動判定装置、行動判定方法、及びプログラムを提供することができる。

【図面の簡単な説明】

【0010】

【図1】実施の形態の概要にかかる行動判定装置の構成の一例を示すブロック図である。

【図2】実施の形態１にかかる行動判定システムの構成の一例を示す模式図である。

【図3】実施の形態１にかかる行動判定装置の機能構成の一例を示すブロック図である。

【図4】許可領域の例を示す模式図である。

【図5】許可領域の他の例を示す模式図である。

【図6】許可領域を行動判定装置に登録する際の処理の流れの一例を示すフローチャートである。

【図7】人物を監視する処理の流れの一例を示すフローチャートである。

【図8】実施の形態２にかかる行動判定装置の機能構成の一例を示すブロック図である。

【図9】許可姿勢を行動判定装置に登録する際の処理の流れの一例を示すフローチャートである。

【図10】人物を監視する処理の流れの一例を示すフローチャートである。

【図11】コンピュータの構成を示すブロック図である。

【発明を実施するための形態】

【0011】

説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。また、フローチャート又はシーケンスチャートなどにより示される処理の実行順序は、一例に過ぎず、技術的な矛盾が生じない限り実行順序を適宜入れ替えることが可能である。また、各実施の形態の特徴についても、技術的な矛盾が生じない限り組み合わせることができる。

【0012】

＜実施の形態の概要＞
実施の形態の詳細を説明する前に、まず、実施の形態の概要について説明する。図１は、実施の形態の概要にかかる行動判定装置１の構成の一例を示すブロック図である。図１に示すように、行動判定装置１は、位置特定部２と行動判定部３を有する。

【0013】

位置特定部２は、人物を撮影した映像から生成された当該人物の骨格情報に基づいて、当該人物を構成する特徴点の位置を特定する。また、行動判定部３は、位置特定部２により特定された特徴点の位置が、予め定められた許可領域にあるか否かに応じて、当該人物の行動が警告対象の行動であるか否かを判定する。ここで、警告対象の行動は、犯罪行為などの所定のルールを逸脱した行動であってもよいし、非常時以外に行ってはいけない行動であってもよいし、危険な場所への侵入などの人物の安全を脅かす行動であってもよい。

【0014】

行動判定装置１によれば、骨格情報から特定された特徴点の位置が、予め定められた許可領域にあるか否かに応じて、人物の行動が警告対象の行動であるかが判定される。例えば、上述した特許文献では、警告対象の動作を検出するために、不正動作シーケンスがシステムに予め登録されるが、行動判定装置１は、警告対象とすべき動作（例えば人物の特定の姿勢）を予め登録することなく、人物の行動を監視することができる。このため、行動判定装置１によれば、人物の行動を判定するための新規な判定技術を提供することができる。

【0015】

なお、上記説明では、図１に示す構成を備える行動判定装置１について説明したが、上記効果を得るための態様は装置に限られない。例えば、行動判定装置１の上述した処理を含む行動判定方法や、行動判定装置１の上述した処理を行うプログラムもしくは当該プログラムが格納された非一時的なコンピュータ可読媒体においても、同様の効果を得ることができる。

【0016】

＜実施の形態１＞
図２は、実施の形態１にかかる行動判定システム１０の構成の一例を示す模式図である。図２に示すように、行動判定システム１０は、行動判定装置１００とカメラ２００を含む。行動判定装置１００とカメラ２００は、無線又は有線により通信可能に接続されている。

【0017】

カメラ２００は、所定の空間に設けられ、この所定の空間内に存在する人物９０を撮影するカメラである。例えば、カメラ２００は、固定された撮影範囲を撮影する。すなわち、カメラ２００は、所定の空間内の所定の撮影領域を撮影し続ける。カメラ２００は、撮影した映像を行動判定装置１００に送信する。行動判定装置１００は、図１に示した行動判定装置１に対応する装置であり、例えば、サーバなどのコンピュータである。

【0018】

図３は、行動判定装置１００の機能構成の一例を示すブロック図である。図３に示すように、行動判定装置１００は、映像取得部１０１、骨格情報生成部１０２、位置特定部１０３、許可領域記憶部１０４、登録処理部１０５、行動判定部１０６、及び警告部１０７を有する。

【0019】

映像取得部１０１は、カメラ２００が撮影した映像を取得する。特に、行動判定装置１００が人物９０の行動を判定する処理を行う際、映像取得部１０１は、例えば、カメラ２００が撮影した映像の各フレーム画像をリアルタイムに順次取得する。なお、本実施の形態では、映像取得部１０１はカメラ２００から受信した映像を取得するが、映像取得部１０１はカメラ２００が撮影した映像を他の装置を介して取得してもよいし、記憶装置に記憶された映像を当該記憶装置から読み出すことにより取得してもよい。

【0020】

骨格情報生成部１０２は、人物９０を撮影した映像から人物９０の骨格情報を生成する。骨格情報生成部１０２は、公知の技術を用いて骨格情報を生成すればよい。例えば、骨格情報生成部１０２は、映像取得部１０１が取得したフレーム画像から人物９０の身体の画像領域（身体領域）を検出し、身体画像として抽出する（例えば、切り出す）。そして骨格情報生成部１０２は、機械学習を用いた骨格推定技術を用いて、身体画像において認識される人物の関節等の特徴に基づき人物の身体の少なくとも一部の骨格情報を生成する。骨格情報は、例えば、関節等の特徴点（キーポイント）と、特徴点間のリンクとを含む情報である。また、骨格情報は、各特徴点の位置を示す情報を含む。具体的には、骨格情報は、各特徴点の座標情報を含む。この座標情報は、例えば、フレーム画像を座標平面とすることにより定義される座標であってもよい。すなわち、例えば、特徴点の座標情報は、カメラ２００が撮影した映像のフレーム画像の横軸をｘ座標とし、このフレーム画像の縦軸をｙ座標とした座標平面における座標であってもよい。すなわち、上述した座標情報は、フレーム画像における特徴点の位置を示す情報であってもよい。なお、特徴点は、人物を構成する特徴点（すなわち、特徴的部位）であればよく、必ずしも関節でなくてもよい。例えば、特徴点は、目、耳、鼻など身体の特徴的部位であってもよい。骨格情報生成部１０２は、具体的には、例えば、ＯｐｅｎＰｏｓｅ等の骨格推定技術を用いて骨格情報を生成してもよい。ただし、骨格情報生成部１０２は、他の公知の骨格推定技術を用いて骨格情報を生成してもよい。

【0021】

位置特定部１０３は、人物を撮影した映像から生成された当該人物の骨格情報に基づいて、当該人物を構成する特徴点の位置を特定する。本実施の形態では、位置特定部１０３は、骨格情報生成部１０２が生成した骨格情報に基づいて、上述した特徴点の座標を特定する。位置特定部１０３は、特に、人物の特徴点のうち所定の特徴点の座標を、骨格情報を参照することにより特定する。ここで、所定の特徴点は、後述する許可領域に位置しているか否かの判定処理の判定対象として利用することが予め定められた少なくとも一つの特徴点であり、人物の全ての特徴点であってもよい。

【0022】

許可領域記憶部１０４は、予め定められた許可領域を示す情報を記憶する。ここで、許可領域とは、人物の特徴点の正常な位置の範囲である。許可領域記憶部１０４は、例えば、許可領域を表す座標情報を記憶する。この座標情報は、例えば、フレーム画像を座標平面とすることにより定義される座標であってもよい。すなわち、例えば、許可領域を示す情報は、カメラ２００が撮影した映像のフレーム画像の横軸をｘ座標とし、このフレーム画像の縦軸をｙ座標とした座標平面における座標により、許可領域の範囲を示すものであってもよい。

【0023】

許可領域を示す情報は、監視処理が行われるのに先だって、管理者などの設定者（利用者）により予め行動判定装置１００に登録されている。すなわち、許可領域記憶部１０４は、予め登録された許可領域についての情報を記憶する。本実施の形態では、登録処理部１０５の処理により、許可領域が行動判定装置１００に登録される。登録処理部１０５は、設定者から許可領域を指定する入力を受付け、受付けた入力にしたがって許可領域の登録を行う。すなわち、登録処理部１０５は、受付けた入力で指定された許可領域を示す情報を許可領域記憶部１０４に格納する。

【0024】

図４は、カメラ２００の映像のフレーム画像７０と許可領域８０の例を示す模式図である。なお、図４では、フレーム画像７０に映された人物９０についての骨格情報も例示されている。具体的には、図４に示した例では、人物９０の特徴点として、右耳Ｋ１、左耳Ｋ２、右目Ｋ３、左目Ｋ４、鼻Ｋ５、首Ｋ６、右肩Ｋ７、左肩Ｋ８、右肘Ｋ９、左肘Ｋ１０、右手Ｋ１１、左手Ｋ１２、胴体中心Ｋ１３、右足付け根Ｋ１４、左足付け根Ｋ１５、右膝Ｋ１６、左膝Ｋ１７、右足首Ｋ１８、及び左足首Ｋ１９が示されている。なお、これらは特徴点の例に過ぎず、骨格情報生成部１０２は、必ずしもこれらの特徴点を抽出しなくてもよいし、これら以外の特徴点を抽出してもよい。管理者などの設定者は、骨格情報に含まれる特徴点の一部又は全ての正常な存在位置を示す範囲として、フレーム画像により定義される座標平面上に、許可領域を設定する。このように、許可領域は、判定対象の特徴点と関連付けて設定される。例えば、管理者は、骨格情報に含まれる全ての特徴点の正常な存在位置を示す範囲として、許可領域８０を設定する。このような許可領域８０が設定された場合、例えば、許可領域８０の外の領域に特徴点が存在することを行動判定装置１００が検出することにより、通過が禁止されている扉９５を人物が通過するなどといった不正な行動の発生を検出することができる。

【0025】

上述した通り、許可領域は、骨格情報に含まれる特徴点の一部と関連付けられてもよい。すなわち、許可領域は、特定の特徴点の正常な存在位置を示す範囲であってもよい。図５は、許可領域の他の例を示す図である。具体的には、図５は、カメラ２００の映像のフレーム画像７１と許可領域８１の例を示す模式図である。図５に示すように、管理者などの設定者は、特徴点である右手Ｋ１１及び左手Ｋ１２の正常な存在位置を示す範囲として、フレーム画像により定義される座標平面上に、許可領域８１を設定してもよい。機器の不正な操作、物品の窃盗、情報の窃盗などといった不正な行動は、一般的に手を使って行われる。このため、人物の手に対応する特徴点の位置をチェックするための許可領域が用いられることにより、不正な行動を適切に検出することができる。図５に示した例では、椅子９１に座って机９２上の端末装置９３を操作する人物９０の手の特徴点（右手Ｋ１１及び左手Ｋ１２）の許可領域８１として、端末装置９３の通常の操作のために手が位置しうる範囲が設定されている。なお、手に対応する特徴点に対して許可領域が設定されている場合には、後述する行動判定部１０６の処理のために、骨格情報生成部１０２は、少なくとも人物の手に対応する特徴点についての情報を含む骨格情報を生成する。そして、位置特定部１０３は、少なくとも人物の手に対応する特徴点の位置を特定する。また、設定者は、特徴点毎に許可領域を設定してもよい。すなわち、行動判定装置１００には、特徴点毎の許可領域が登録されてもよい。これにより、様々な設定が可能になり、利便性が向上する。この場合、後述する行動判定部１０６の処理のために、骨格情報生成部１０２は、それら複数の特徴点についての情報を含む骨格情報を生成する。そして、位置特定部１０３は、それら複数の特徴点の位置を特定する。

【0026】

行動判定部１０６は、人物の骨格情報から得られる情報に基づいて、当該人物の行動が警告対象の行動であるか否かを判定する。本実施の形態では、行動判定部１０６は、位置特定部１０３により特定された判定対象の特徴点の位置が、予め定められた許可領域にあるか否かに応じて、人物の行動が警告対象の行動であるか否かを判定する。本実施の形態では、具体的には、行動判定部１０６は、特徴点の位置が許可領域以外の領域にある場合、人物の行動が警告対象の行動であると判定する。例えば、図４に示した例では、人物９０の少なくとも一つの特徴点の位置が許可領域８０の外にある場合、行動判定部１０６は、人物９０の行動が警告対象の行動であると判定する。また、図５に示した例では、右手Ｋ１１又は左手Ｋ１２の位置が許可領域８１の外にある場合、行動判定部１０６は、人物９０の行動が警告対象の行動であると判定する。このように、行動判定部１０６は、手に対応する特徴点の位置が、予め定められた許可領域にあるか否かに応じて、人物の行動が警告対象の行動であるか否かを判定してもよい。また、特徴点毎に許可領域が登録されている場合には、行動判定部１０６は、複数の特徴点のそれぞれが、特徴点毎に予め定められた許可領域にあるか否かに応じて、人物の行動が警告対象の行動であるか否かを判定してもよい。

【0027】

警告部１０７は、行動判定部１０６によって人物の行動が警告対象の行動であると判定された場合に警告を出力する処理を行う。すなわち、警告部１０７は、警告対象の行動が発生したと行動判定部１０６が判定すると、警告を出力する。警告部１０７による警告の出力処理は、ディスプレイへ警告を表示する処理であってもよいし、スピーカから音又は音声を出力する処理であってもよいし、他の装置へ警告情報を送信する処理であってもよい。

【0028】

次に、行動判定装置１００の処理のフローについて説明する。まず、許可領域の登録処理の流れについて説明する。図６は、許可領域を行動判定装置１００に登録する際の処理の流れの一例を示すフローチャートである。以下、フローチャートに沿って、許可領域の登録処理のフローを説明する。

【0029】

ステップＳ１００において、映像取得部１０１が、設定者が許可領域を決定する際に参照するサンプル映像を取得する。サンプル映像は、行動監視が行われる実際の環境に設置されたカメラ２００が撮影した映像であることが好ましい。また、許可領域を決定するために参考になるように、サンプル映像は、正常な行動又は不正な行動をとっている人物が映された映像であってもよい。

【0030】

次に、ステップＳ１０１において、登録処理部１０５は、ステップＳ１００で取得したサンプル映像を、設定者が用いるディスプレイに表示する。
次に、ステップＳ１０２において、設定者は、サンプル映像を参照しつつ、マウスなどの入力装置を介して、許可領域を指定する入力を行動判定装置１００に対して行う。そして、登録処理部１０５は、許可領域を指定する入力を受付ける。なお、登録処理部１０５は、人物を構成する特徴点のうち、いずれの特徴点に対する許可領域であるかを指定する入力を受付けてもよい。

【0031】

次に、ステップＳ１０３において、登録処理部１０５は、ステップＳ１０２で指定された許可領域を行動判定装置１００に登録する。具体的には、登録処理部１０５は、指定された許可領域を示す情報を許可領域記憶部１０４に格納する。なお、登録処理部１０５は、許可領域と特徴点とを関連付けるために、許可領域を示す情報を特徴点の識別子とともに許可領域記憶部１０４に格納してもよい。許可領域をさらに追加することが設定者により指示された場合（ステップＳ１０４でＹＥＳ）、処理はステップＳ１０１に戻り、上述した処理が繰り返される。これに対し、許可領域の追加を終了することが設定者により指示された場合（ステップＳ１０４でＮＯ）、許可領域の登録処理は終了する。

【0032】

次に、人物の行動の監視処理の流れについて説明する。図７は、カメラ２００で撮影された人物を監視する処理の流れの一例を示すフローチャートである。以下、フローチャートに沿って、監視処理のフローを説明する。

【0033】

ステップＳ２００において、映像取得部１０１は、カメラ２００が撮影した映像を取得する。具体的には、映像取得部１０１は、映像のフレーム画像を取得する。

【0034】

次に、ステップＳ２０１において、骨格情報生成部１０２が、ステップＳ２００で取得されたフレーム画像に映っている人物の骨格情報を生成する。

【0035】

次に、ステップＳ２０２において、位置特定部１０３が、ステップＳ２０１で生成された骨格情報に基づいて、フレーム画像に映っている人物の特徴点であって、判定対象の特徴点の位置を特定する。

【0036】

次に、ステップＳ２０３において、行動判定部１０６は、許可領域記憶部１０４を参照して、予め登録された許可領域と、ステップＳ２０２で特定された位置とを比較する。そして、行動判定部１０６は、ステップＳ２０２で特定された特徴点の位置が許可領域の外にあるか否かを判定する。特徴点の位置が許可領域の外にある場合（ステップＳ２０３でＹＥＳ）、処理はステップＳ２０４へ移行する。そして、ステップＳ２０４において、行動判定部１０６は、フレーム画像に映っている人物の行動は警告対象の行動であると判定する。すなわち、行動判定部１０６は、警告対象の行動が発生したと判定する。これに対し、特徴点の位置が許可領域の外ではない場合（ステップＳ２０３でＮＯ）、処理はステップＳ２００に戻り、次のフレーム画像に対して上述した処理と同様の処理が行われる。

【0037】

処理が、ステップＳ２０４に進んだ場合、ステップＳ２０４の後、処理はステップＳ２０５へ移行する。ステップＳ２０５において、警告部１０７が、警告を出力する処理を行う。ステップＳ２０５の後、処理はステップＳ２００に戻り、次のフレーム画像に対して上述した処理と同様の処理が行われる。

【0038】

なお、図７に示したフローチャートでは、行動判定部１０６は、特徴点の位置が許可領域以外の領域にある場合に、人物の行動が警告対象の行動であると判定したが、行動判定部１０６は、判定対象の特徴点の位置が特定できない場合に、人物の行動が警告対象の行動であると判定してもよい。特に、行動判定部１０６は、判定対象の特徴点の位置が許可領域内において特定できない場合に、人物の行動が警告対象の行動であると判定してもよい。これにより、例えば、カメラ２００に不正な行動が映らないように手などをカメラ２００の死角に隠した場合であっても、警告を出力することができる。

【0039】

また、警告対象の行動が所定時間以上継続した場合に警告が出力されてもよい。この場合、警告部１０７は、行動判定部１０６によって人物の行動が警告対象の行動であると判定された状態が所定時間以上継続した場合に、警告を出力する。すなわち、警告部１０７は、警告対象の行動が発生したと判定された状態が所定時間以上継続した場合に、警告を出力する。

【0040】

また、位置特定部１０３は、特徴点の３次元の位置を特定してもよい。例えば、位置特定部１０３は、人物９０を異なる方向から撮影する複数のカメラ２００の映像を用いることにより骨格情報生成部１０２によって生成された３次元の骨格情報に基づいて、特徴点の３次元空間における位置（すなわち３次元座標）を特定してもよい。そして、行動判定部１０６は、予め登録された３次元の許可領域を用いて、人物の行動が警告対象の行動であるか否かを判定してもよい。これにより、利便性の向上が期待できる。なお、３次元の骨格情報を生成するために、カメラ２００として３Ｄカメラが用いられてもよい。

【0041】

以上、実施の形態１について説明した。行動判定装置１００によれば、骨格情報から特定された特徴点の位置が、許可領域にあるか否かに応じて、人物の行動が警告対象の行動であるかが判定される。このため、行動判定装置１００によれば、警告対象とすべき姿勢（例えば不正行動に相当する姿勢）などを予め登録することなく、人物の行動を監視することができる。このため、行動判定装置１００によれば、人物の行動を判定するための新規な判定技術を提供することができる。特に、不正行動に相当するあらゆる姿勢の登録を事前に行う必要がなく、許可領域の登録だけで監視が可能になるため、比較的容易に監視を実現することができる。また、事前に登録された不正行動に相当する姿勢と、骨格情報から特定される姿勢との比較により人物の行動を監視する場合には、不正行動に相当する全ての姿勢を登録しておかないと、不正の検知漏れを起こしうる。これに対して、本実施の形態では、許可領域の登録だけで監視が行われるため、不正行動に相当する姿勢を登録する場合に比べて、不正の検知漏れを起こしにくい。

【0042】

＜実施の形態２＞
次に、実施の形態２について説明する。本実施の形態では、許可領域に加えて、許可姿勢が用いられる点で、実施の形態１と異なっている。以下、実施の形態１と異なる構成及び処理について説明し、重複する説明は適宜省略する。

【0043】

本実施の形態では、行動判定装置１００の代わりに行動判定装置１００ａが用いられる。図８は、実施の形態２にかかる行動判定装置１００ａの機能構成の一例を示すブロック図である。行動判定装置１００ａは、姿勢特定部１０８及び許可姿勢記憶部１０９が追加され、登録処理部１０５が登録処理部１０５ａに置き換えられ、行動判定部１０６が行動判定部１０６ａに置き換えられた点で、実施の形態１の行動判定装置１００と異なっている。

【0044】

姿勢特定部１０８は、人物を撮影した映像から生成された骨格情報に基づいて、この人物の姿勢を特定する。本実施の形態では、姿勢特定部１０８は、骨格情報生成部１０２が生成した骨格情報に基づいて、人物の各特徴点の相対的な位置関係により表される姿勢を特定する。なお、姿勢特定部１０８は、骨格情報に含まれる全ての特徴点からなる集合により表される姿勢を特定してもよいし、一部の特徴点からなる集合により表される姿勢を特定してもよい。

【0045】

許可姿勢記憶部１０９は、予め定められた許可姿勢を示す情報を記憶する。ここで、許可姿勢とは、不正な行動を行っていない人物の姿勢として予め定められた姿勢である。許可姿勢記憶部１０９は、例えば、人物を構成する各特徴点の相対的な位置関係であって、許可姿勢に相当する位置関係を記憶する。

【0046】

行動判定装置１００ａには、監視処理が行われるのに先だって、管理者などの設定者（利用者）が指定した許可姿勢を示す情報が予め登録されている。すなわち、許可姿勢記憶部１０９は、予め登録され許可姿勢についての情報を記憶する。本実施の形態では、登録処理部１０５ａの処理により、許可姿勢が行動判定装置１００ａに登録される。すなわち、登録処理部１０５ａは、許可姿勢の登録処理も行う点で、実施の形態１の登録処理部１０５と異なる。登録処理部１０５ａは、設定者から許可姿勢を指定する入力を受付け、受付けた入力にしたがって許可姿勢の登録を行う。すなわち、登録処理部１０５ａは、受付けた入力で指定された許可姿勢を示す情報を許可姿勢記憶部１０９に格納する。より詳細には、登録処理部１０５ａは、許可姿勢の姿勢をとった人物が写されたフレーム画像を指定する入力を受付け、指定されたフレーム画像から骨格情報を生成する処理を骨格情報生成部１０２に実行させる。そして、登録処理部１０５ａは、生成された骨格情報、または骨格情報から得られる各特徴点の相対的な位置関係を、許可姿勢を示す情報として、許可姿勢記憶部１０９に格納する。

【0047】

行動判定部１０６ａは、行動判定部１０６と同様、人物の骨格情報から得られる情報に基づいて、当該人物の行動が警告対象の行動であるか否かを判定する。ただし、行動判定部１０６ａは、位置特定部１０３が特定した判定対象の特徴点の位置が許可領域にあるか否か、及び、姿勢特定部１０８が特定した姿勢が予め定められた許可姿勢に該当するか否かに応じて、人物の行動が警告対象の行動であるか否かを判定する。本実施の形態では、具体的には、行動判定部１０６ａは、姿勢特定部１０８により特定された人物の姿勢が許可姿勢以外の姿勢である場合にも、当該人物の行動が警告対象の行動であると判定する。

【0048】

次に、行動判定装置１００ａの処理のフローについて説明する。まず、許可姿勢の登録処理の流れについて説明する。なお、本実施の形態における許可領域の登録処理の流れは、実施の形態１と同様であるため、説明を割愛する。図９は、許可姿勢を行動判定装置１００ａに登録する際の処理の流れの一例を示すフローチャートである。以下、フローチャートに沿って、許可姿勢の登録処理のフローを説明する。

【0049】

ステップＳ３００において、映像取得部１０１が、許可姿勢の登録の際に設定者が参照するサンプル映像を取得する。サンプル映像は、行動監視が行われる実際の環境に設置されたカメラ２００が撮影した映像であることが好ましい。特に、ステップＳ３００で取得されるサンプル映像は、正常な行動をとっている人物、すなわち許可姿勢に相当する姿勢をとっている人物が映されたフレーム画像を含む映像である。

【0050】

次に、ステップＳ３０１において、登録処理部１０５ａは、ステップＳ３００で取得したサンプル映像を、設定者が用いるディスプレイに表示する。
次に、ステップＳ３０２において、設定者は、サンプル映像を参照しつつ、マウスなどの入力装置を介して、許可姿勢をとった人物が写ったフレーム画像を指定する入力を行動判定装置１００に対して行う。そして、登録処理部１０５ａは、フレーム画像を指定する入力を受付ける。

【0051】

次に、ステップＳ３０３において、登録処理部１０５ａは、ステップＳ３０２で指定されたフレーム画像から骨格情報を生成する処理を骨格情報生成部１０２に実行させる。そして、骨格情報生成部１０２は、許可姿勢をとった人物の骨格情報を生成する。

【0052】

次に、ステップＳ３０４において、登録処理部１０５ａは、ステップＳ３０３で生成された骨格情報から特定される許可姿勢を行動判定装置１００ａに登録する。具体的には、登録処理部１０５ａは、ステップＳ３０３で生成された骨格情報を、許可姿勢を示す情報として許可姿勢記憶部１０９に格納する。より詳細には、登録処理部１０５ａは、骨格情報から得られる各特徴点の相対的な位置関係を、許可姿勢を示す情報として許可姿勢記憶部１０９に格納する。許可姿勢をさらに追加することが設定者により指示された場合（ステップＳ３０５でＹＥＳ）、処理はステップＳ３０１に戻り、上述した処理が繰り返される。これに対し、許可姿勢の追加を終了することが設定者により指示された場合（ステップＳ３０５でＮＯ）、許可姿勢の登録処理は終了する。

【0053】

次に、本実施の形態における、人物の行動の監視処理の流れについて説明する。図１０は、カメラ２００で撮影された人物を監視する処理の流れの一例を示すフローチャートである。以下、フローチャートに沿って、監視処理のフローを説明する。

【0054】

ステップＳ４００において、映像取得部１０１は、カメラ２００が撮影した映像を取得する。具体的には、映像取得部１０１は、映像のフレーム画像を取得する。

【0055】

次に、ステップＳ４０１において、骨格情報生成部１０２が、ステップＳ４００で取得されたフレーム画像に映っている人物の骨格情報を生成する。

【0056】

次に、ステップＳ４０２において、位置特定部１０３が、ステップＳ４０１で生成された骨格情報に基づいて、フレーム画像に映っている人物の特徴点であって、判定対象の特徴点の位置を特定する。

【0057】

次に、ステップＳ４０３において、行動判定部１０６ａは、許可領域記憶部１０４を参照して、予め登録された許可領域と、ステップＳ４０２で特定された位置とを比較する。そして、行動判定部１０６ａは、ステップＳ４０２で特定された特徴点の位置が許可領域の外にあるか否かを判定する。特徴点の位置が許可領域の外にある場合（ステップＳ４０３でＹＥＳ）、処理はステップＳ４０６へ移行する。これに対し、特徴点の位置が許可領域の外ではない場合（ステップＳ４０３でＮＯ）、処理はステップＳ４０４へ移行する。

【0058】

ステップＳ４０４において、姿勢特定部１０８が、ステップＳ４０１で生成された骨格情報に基づいて、フレーム画像に映っている人物の姿勢を特定する。本ステップはステップＳ４０３において特徴点の位置が許可領域の外ではないと判定された場合に実行されるため、本ステップでは姿勢特定部１０８は、許可領域内に存在する特徴点に基づいて姿勢を特定する。ステップＳ４０４の後、処理はステップＳ４０５へ移行する。

【0059】

ステップＳ４０５において、行動判定部１０６ａは、許可姿勢記憶部１０９を参照して、予め登録された許可姿勢と、ステップＳ４０４で特定された姿勢とを比較する。そして、行動判定部１０６ａは、ステップＳ４０４で特定された姿勢が許可姿勢に該当するか否かを判定する。換言すると、行動判定部１０６ａは、ステップＳ４０４で特定された姿勢が許可姿勢と一致するか否かを判定する。具体的には、行動判定部１０６ａは、ステップＳ４０４で特定された姿勢と、予め登録された許可姿勢との差の大きさが所定の閾値以下である場合、特定された姿勢が許可姿勢に該当すると判定する。特定された姿勢が許可姿勢に該当しない場合（ステップＳ４０５でＮＯ）、処理はステップＳ４０６へ移行する。これに対し、特定された姿勢が許可姿勢に該当する場合（ステップＳ４０５でＹＥＳ）、処理はステップＳ４００に戻り、次のフレーム画像に対して上述した処理と同様の処理が行われる。

【0060】

ステップＳ４０６において、行動判定部１０６ａは、フレーム画像に映っている人物の行動は警告対象の行動であると判定する。すなわち、行動判定部１０６ａは、警告対象の行動が発生したと判定する。ステップＳ４０６の後、処理はステップＳ４０７へ移行する。ステップＳ４０７において、警告部１０７が、警告を出力する処理を行う。ステップＳ４０７の後、処理はステップＳ４００に戻り、次のフレーム画像に対して上述した処理と同様の処理が行われる。

【0061】

このように、本実施の形態では、人物が許可領域にいる場合であっても、当該人物の姿勢が許可姿勢に当てはまらない場合には、不正な行動が発生したと判定される。したがって、より厳格に、人物の行動を監視することができる。また、特に、不正行動に相当する姿勢の登録ではなく許可姿勢の登録が行われ、許可姿勢以外の姿勢が不正な行動として検出される。このため、不正行動に相当するあらゆる姿勢を漏れなく登録する必要がない。したがって、不正行動に相当する姿勢を登録する場合に比べて、不正の検知漏れを起こしにくい。

【0062】

なお、本実施の形態においても、行動判定部１０６ａは、特徴点の位置が特定できない場合に、人物の行動が警告対象の行動であると判定してもよい。また、警告対象の行動が所定時間以上継続した場合に警告がされてもよい。すなわち、警告部１０７は、行動判定部１０６ａによって人物の行動が警告対象の行動であると判定された状態が所定時間以上継続した場合に、警告を出力してもよい。また、本実施の形態でも、位置特定部１０３が、特徴点の３次元の位置を特定し、行動判定部１０６ａが、予め登録された３次元の許可領域を用いて判定処理を行ってもよい。

【0063】

なお、行動判定装置１００及び行動判定装置１００ａの上述した機能（処理）は、例えば次のような構成を有するコンピュータ５００により実現されてもよい。

【0064】

図１１は、行動判定装置１００又は行動判定装置１００ａの処理を実現するコンピュータ５００の構成を示すブロック図である。図１１に示すように、コンピュータ５００は、メモリ５０１、及び、プロセッサ５０２を含む。

【0065】

メモリ５０１は、例えば、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ５０１は、プロセッサ５０２により実行されるプログラム、及び各種処理に用いるデータなどを格納するために使用される。許可領域記憶部１０４及び許可姿勢記憶部１０９は、メモリ５０１により実現されてもよい。ただし、これらが、他の任意の記憶装置により実現されてもよい。

【0066】

プロセッサ５０２は、メモリ５０１からプログラムを読み出して実行することで、各装置の処理を行う。プロセッサ５０２は、例えば、マイクロプロセッサ、ＭＰＵ(Micro Processor Unit)、又はＣＰＵ(Central Processing Unit)などであってもよい。プロセッサ５０２は、複数のプロセッサを含んでもよい。

【0067】

プログラムは、コンピュータに読み込まれた場合に、実施形態で説明される１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。

【0068】

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、実施の形態２では、許可領域と許可姿勢の両方を用いた判定処理が行われたが、許可姿勢だけを用いた判定処理が行われてもよい。この場合、行動判定装置１００ａは、位置特定部１０３及び許可領域記憶部１０４を有さなくてもよい。

【0069】

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）
人物を撮影した映像から生成された前記人物の骨格情報に基づいて、前記人物を構成する特徴点の位置を特定する位置特定部と、
前記特徴点の位置が、予め定められた許可領域にあるか否かに応じて、前記人物の行動が警告対象の行動であるか否かを判定する行動判定部と
を有する行動判定装置。
（付記２）
前記行動判定部は、前記特徴点の位置が前記許可領域以外の領域にある場合、前記人物の行動が警告対象の行動であると判定する
付記１に記載の行動判定装置。
（付記３）
前記行動判定部は、前記特徴点の位置が特定できない場合、前記人物の行動が警告対象の行動であると判定する
付記１又は２に記載の行動判定装置。
（付記４）
前記位置特定部は、前記人物の手に対応する特徴点の位置を特定し、
前記手に対応する前記特徴点の位置が、予め定められた許可領域にあるか否かに応じて、前記人物の行動が警告対象の行動であるか否かを判定する
付記１から３のいずれか一項に記載の行動判定装置。
（付記５）
前記位置特定部は、前記人物を構成する複数の特徴点の位置を特定し、
前記行動判定部は、前記複数の特徴点のそれぞれが、前記特徴点毎に予め定められた前記許可領域にあるか否かに応じて、前記人物の行動が警告対象の行動であるか否かを判定する
付記１から４のいずれか一項に記載の行動判定装置。
（付記６）
前記位置特定部は、前記特徴点の３次元の位置を特定し、
前記行動判定部は、３次元の前記許可領域を用いて、前記人物の行動が警告対象の行動であるか否かを判定する
付記１から５のいずれか一項に記載の行動判定装置。
（付記７）
前記骨格情報に基づいて、前記人物の姿勢を特定する姿勢特定部をさらに有し、
前記行動判定部は、さらに、前記人物の前記姿勢が、予め定められた許可姿勢に該当するか否かに応じて、前記人物の行動が警告対象の行動であるか否かを判定する
付記１から３のいずれか一項に記載の行動判定装置。
（付記８）
人物を撮影した映像から生成された前記人物の骨格情報に基づいて、前記人物を構成する特徴点の位置を特定し、
前記特徴点の位置が、予め定められた許可領域にあるか否かに応じて、前記人物の行動が警告対象の行動であるか否かを判定する
行動判定方法。
（付記９）
人物を撮影した映像から生成された前記人物の骨格情報に基づいて、前記人物を構成する特徴点の位置を特定する位置特定ステップと、
前記特徴点の位置が、予め定められた許可領域にあるか否かに応じて、前記人物の行動が警告対象の行動であるか否かを判定する行動判定ステップと
をコンピュータに実行させるプログラム。

【符号の説明】

【0070】

１ 行動判定装置
２ 位置特定部
３ 行動判定部
１０ 行動判定システム
１００ 行動判定装置
１００ａ 行動判定装置
１０１ 映像取得部
１０２ 骨格情報生成部
１０３ 位置特定部
１０４ 許可領域記憶部
１０５ 登録処理部
１０５ａ 登録処理部
１０６ 行動判定部
１０６ａ 行動判定部
１０７ 警告部
１０８ 姿勢特定部
１０９ 許可姿勢記憶部
２００ カメラ
５００ コンピュータ
５０１ メモリ
５０２ プロセッサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】