特許 6841608 振る舞い検知システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6841608

(24)【登録日】2021年2月22日

(45)【発行日】2021年3月10日

(54)【発明の名称】振る舞い検知システム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20210301BHJP

   G06T 7/00 20170101ALI20210301BHJP

   G06T 1/00 20060101ALI20210301BHJP

【ＦＩ】

   G06T7/20 300Z

   G06T7/00 660B

   G06T1/00 340B

【請求項の数】2

【全頁数】11

(21)【出願番号】特願2016-134827(P2016-134827)

(22)【出願日】2016年7月7日

(65)【公開番号】特開2018-5752(P2018-5752A)

(43)【公開日】2018年1月11日

【審査請求日】2019年5月22日

(73)【特許権者】

【識別番号】000233491

【氏名又は名称】株式会社日立システムズ

(74)【代理人】

【識別番号】110002066

【氏名又は名称】特許業務法人筒井国際特許事務所

(72)【発明者】

【氏名】永吉 洋登

(72)【発明者】

【氏名】勝又 大介

(72)【発明者】

【氏名】野口 孝史

(72)【発明者】

【氏名】大西 健太郎

【審査官】 新井 則和

(56)【参考文献】

【文献】 国際公開第２０１３／１４５６３１（ＷＯ，Ａ１）

【文献】 特開２００５−２０２６５３（ＪＰ，Ａ）

【文献】 特開２００３−１６７６１３（ＪＰ，Ａ）

【文献】 特開２０１５−０４３１４１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００−７／９０

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

認識対象の要素動作を認識して、認識した前記要素動作の意味を示す動作意味を解析する認識処理装置を備える振る舞い検知システムであって、
前記認識処理装置は、
映像撮影装置と表示装置とに接続されており、
前記要素動作のモデルとなる動作モデルとして、前記要素動作を数値化したモデルを蓄積し、
前記認識対象の位置、前記位置にて行われる要素動作、および前記要素動作の動作意味を対応付けした作業位置動作テーブルを保持し、
前記映像撮影装置から前記認識対象の作業動作を撮影した撮影情報を入力し、
前記撮影情報から前記認識対象の位置を認識し、
前記認識した位置から、前記作業位置動作テーブルに基づいて、前記位置に対応付けられた要素動作を取得し、
前記取得した要素動作から、前記動作モデルを検索し、
前記撮影情報から、前記認識対象の要素動作を認識し、
前記認識した要素動作に対し、前記検索した動作モデルのうち、最も類似する動作モデルを取得し、
前記取得した動作モデルの要素動作から、前記作業位置動作テーブルに基づいて、前記要素動作に対応付けられる前記動作意味を取得し、
前記認識対象について前記認識した要素動作と、前記位置と、前記認識した際の日時と、前記取得した動作意味とを関連付けした認識情報を生成して蓄積し、
前記認識情報を前記表示装置に表示させる、
振る舞い検知システム。

【請求項2】

請求項１記載の振る舞い検知システムにおいて、
前記認識処理装置は、予め設定された規定作業の作業条件からなる規定作業情報を蓄積し、
前記規定作業の作業条件は、予め定められた時間帯に定められた規定作業を行うことであり、前記規定作業情報は、前記規定作業を行う位置、時間帯、および動作意味を含み、
前記認識処理装置は、前記認識情報を検索して、前記規定作業情報に類似する認識情報があるか否かを判断することで、前記規定作業情報に定められた位置および時間帯にて、定められた動作意味に対応した動作が行われているか否かを判定し、前記否と判定した際には、前記規定作業が行われていない旨のアラートを出力する、振る舞い検知システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、振る舞い検知システムに関し、特に、人の動作を認識して解析する動作解析に有効な技術に関する。

【背景技術】

【0002】

近年、店舗における従業員の不正行動の防止あるいはＨＡＣＣＰ（Hazard Analysis and Critical Control Point）による衛生管理技術による製品の安全の確保などの観点から、人の行動認識へのニーズが高まっている。

【0003】

この種の行動認識の技術としては、人間や動物あるいは機械などの移動体の動作や行動を自動認識するものがある（例えば特許文献１参照）。この特許文献１には、例えば人に付けたセンサから抽出した特徴量と、特徴量データベースに格納された特徴量とを比較して、該人の動作を認識する旨が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平１０−１１３３４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述した特許文献１の技術では、人に取り付けたセンサが取得した特徴量をデータベースに格納された特徴量と比較するだけであるので、認識する動作の種類が増加した場合には、処理量が多くなってしまい、動作の認識に時間がかってしまう恐れがある。

【0006】

また、同じ動作であっても、動作対象、例えば作業する場所が異なった場合には、異なる動作を意味することがある。そのような場合には、動作を認識することは困難であり、その結果、動作認識の精度が低下してしまうという問題がある。

【0007】

本発明の目的は、認識する動作の種類が増加しても、高精度に動作を識別することのできる技術を提供することにある。

【0008】

本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。

【課題を解決するための手段】

【0009】

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。

【0010】

すなわち、代表的な振る舞い検知システムは、認識対象の要素動作を認識して、認識した要素動作の意味を示す動作意味を解析する。この振る舞い検知システムは、動作モデル蓄積部、撮影部、位置認識部、および動作認識部を有する。

【0011】

動作モデル蓄積部は、認識する要素動作を数値情報として表した動作モデルを蓄積する。撮影部は、認識対象の作業動作を撮影する。位置認識部は、撮影部が取得した撮影情報から認識対象の位置を認識する。

【0012】

振る舞い検知システムは、認識対象の位置、該当位置にて行われる要素動作、および要素動作の動作意味を対応付けした作業位置動作テーブルを有する。動作認識部は、この作業位置動作テーブルを参照して、位置認識部が認識した位置に対応づけられた要素動作を取得し、さらに要素動作に対応した動作モデルを、動作モデル蓄積部から抽出する。動作認識部は、抽出された動作モデルと、認識対象の動作とを比較することで、認識対象の要素動作を認識する。さらに、動作認識部は、認識対象の位置と、認識した要素動作とから、上記作業位置動作テーブルを参照して、動作意味を抽出する。

【0013】

また、動作認識部は、取得した動作モデルに対応する動作意味、位置認識部が検出した位置、および認識対象の要素動作を認識した際の時間を関連付けした認識情報を生成する。

【発明の効果】

【0014】

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

【0015】

（１）要素動作の認識精度を向上させることができる。

【0016】

（２）要素動作の認識速度を向上することができる。

【図面の簡単な説明】

【0017】

【図1】一実施の形態による振る舞い検知システムにおける構成の一例を示す説明図である。

【図2】図１の記憶部が有する場所動作テーブルにおけるデータ構成の一例を示す説明図である。

【図3】図２の場所動作テーブルにおけるデータ構成の他の例を示す説明図である。

【図4】図１の記憶部が有する動作モデル蓄積部に蓄積される動作モデルにおけるデータ構成の一例を示す説明図である。

【図5】図１の振る舞い検知システムにおける動作の一例を示すフローチャートである。

【図6】図１の振る舞い検知システムの他の構成例を示す説明図である。

【発明を実施するための形態】

【0018】

以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。

【0019】

また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。

【0020】

さらに、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。

【0021】

同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。

【0022】

また、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。

【0023】

以下、実施の形態を詳細に説明する。

【0024】

〈振る舞い検知システムの構成例〉
図１は、一実施の形態による振る舞い検知システム１０における構成の一例を示す説明図である。

【0025】

振る舞い検知システム１０は、認識対象である作業員の位置および要素動作を認識し、認識した要素動作の意味、および時刻などを対応付けして蓄積するシステムである。この振る舞い検知システム１０は、図１に示すように、映像撮影装置１１、認識処理部１２、および表示装置１３を有する。

【0026】

撮影部である映像撮影装置１１は、例えばカラー画像を撮影できるWebカメラや監視カメラ、撮影対象までの距離を撮影できる深度センサなどである。認識処理部１２は、映像撮影装置１１が撮影した撮影情報から人の動作に関する情報(以降、動作関連情報と称する)を抽出する。動作関連情報は、例えば、人の関節位置の時系列情報、もしくはそれを抽象化した情報である。

【0027】

カラー情報から人の関節位置の時系列情報を取得するには、Toshevらの方法(A. Toshev and C. Szegedy, “Deeppose: Human pose estimation via deep neural networks,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2014, pp. 1653-1660.)を用いればよいし、深度センサを用いた場合はShottonらの方法 (J. Shotton, T. Sharp, A. Kipman, A. Fitzgibbon, M. Finocchio, A. Blake, M. Cook, and R. Moore, “Real-time human pose recognition in parts from single depth images,” Communications of the ACM, vol. 56, no. 1, pp. 116-124, 2013.)を用いればよい。

【0028】

前述の抽象化した情報とは例えば、関節の動きの速さ、関節間の距離、関節の動きの速さを周波数で表現した情報、あるいはそれらの組み合わせの情報である。いずれも、数値情報として表現される。

【0029】

表示装置１３は、例えば液晶モニタなどの表示ディスプレイなどからなり、認識処理部１２の制御によって後述する認識情報などを表示する。

【0030】

認識処理部１２は、位置認識部１５、動作認識部１６、および記憶部１７を有する。位置認識部１５は、映像撮影装置１１が撮影した撮影情報から作業者の位置、すなわち作業者が作業場のどの場所にいるかを認識する。

【0031】

この位置認識は、例えば映像撮影装置１１の画角および床との距離、床との角度を事前に与えておくことで可能となる。撮影装置が通常のカラーカメラであれば、画像上での被写体の大きさおよび位置から、作業場における位置を認識できる。深度カメラであれば、さらに奥行きの情報も利用できるため、精度よく位置を認識できる。動作認識部１６は、映像撮影装置１１の撮影情報から作業員の要素動作を認識する。

【0032】

記憶部１７は、ハードディスク装置（ＨＤＤ）あるいはフラッシュメモリのような不揮発性の記憶装置からなり、各種の情報を格納する。この記憶部１７は、場所動作テーブル２０、動作モデル蓄積部２１、および認識情報蓄積部２２を有する。

【0033】

作業位置動作テーブルとなる場所動作テーブル２０は、位置とその位置にて行われる作業員の要素動作とを対応付けしたテーブルである。動作モデル蓄積部２１は、検知すべき要素動作の動作モデルが蓄積されている。この動作モデルは、例えば作業員が標準的な作業動作を行った際の、一連の動作関連情報である。

【0034】

〈場所動作テーブルの構成例〉
図２は、図１の記憶部１７が有する場所動作テーブル２０におけるデータ構成の一例を示す説明図である。

【0035】

場所動作テーブル２０は、認識対象となる作業員の要素動作に対して、その要素動作が実行されうる領域および該領域における要素動作が示す動作の意味を格納したものである。場所動作テーブル２０は、図２に示すように、「場所」、「動作ＩＤ」、および「動作意味」のデータから構成されている。

【0036】

「場所」は、作業場のどの位置あるいは領域であるかを示すデータであり、例えば座標などによって表される。「動作ＩＤ」は、その「場所」において認識対象となる作業員の要素動作を特定するもので、図２の例では、数字によって示されている。「動作意味」は、その場所における認識対象となる作業員の要素動作がどのような意味を持つのかを示すデータである。

【0037】

〈場所動作テーブルの他の構成例〉
図３は、図２の場所動作テーブル２０におけるデータ構成の他の例を示す説明図である。

【0038】

図２に示す場所動作テーブル２０の場合、「場所」毎に「動作ＩＤ」と「動作意味」とがそれぞれ対応していたが、この図３に示す場所動作テーブル２０では、「動作ＩＤ」毎に「場所」と「動作意味」とがそれぞれ対応するテーブルとなっている。

【0039】

〈動作モデルの構成例〉
図４は、図１の記憶部１７が有する動作モデル蓄積部２１に蓄積される動作モデルにおけるデータ構成の一例を示す説明図である。

【0040】

動作モデル蓄積部２１に蓄積される動作モデルは、図４に示すように、「動作ＩＤ」および「動作モデル」からなる。

【0041】

「動作モデル」は、前述のように、認識対象となる作業員の要素動作を数値化したものである。予め作業員が標準的な作業を行った際の一連の動作関連情報であり、１回撮影した動作関連情報をそのまま動作モデルとして用いてもよいし、複数回撮影した動作関連情報を動作モデルとして用いてもよい。後者の場合は、複数回撮影した動作関連情報をそのまま動作モデルとして用いてもよいし、平均を用いてもよい。

【0042】

認識情報蓄積部２２は、動作認識部１６が生成した認識情報を蓄積する。この認識情報蓄積部２２に蓄積される認識情報は、例えば「時刻」、「場所」、「動作ＩＤ」、および「動作意味」からなる。

【0043】

「時刻」は、例えば作業者が作業を開始した時間である。あるいは作業を開始した時間から該作業を終了した時間までであってもよい。これは、例えば動作認識部１６が作業員の要素動作を認識した際の時間である。

【0044】

「場所」は、作業者が作業している位置を示す。「動作ＩＤ」は、認識対象となる作業員の要素動作を特定するものである。「動作意味」は、その「動作ＩＤ」が該当「場所」においてどのような意味を持つ動作であるかを示す。

【0045】

〈振る舞い検知システムの動作例〉
続いて、振る舞い検知システム１０の動作について説明する。

【0046】

図５は、図１の振る舞い検知システム１０における動作の一例を示すフローチャートである。この図５では、振る舞い検知システム１０による振る舞い認識処理について説明する。振る舞い認識処理は、作業員の作業位置および要素動作を認識して認識情報を生成し、該認識情報を格納する処理である。

【0047】

なお、図５では、以下に説明する振る舞い認識処理を位置認識部１５および動作認識部１６などによるハードウェアによって実行する場合について説明するが、該振る舞い認識処理は、例えば、図１の認識処理部１２に設けられた図示しないプログラム格納メモリなどに記憶されているプログラム形式のソフトウェアに基づいて実行するようにしてもよい。

【0048】

ソフトウェアに基づいて実行される場合、該ソフトウェアは、例えば認識処理部１２が有する図示しないＣＰＵ（Central Processing Unit）などによって実行されるものとする。

【0049】

まず、位置認識部１５は、作業を開始した作業者の位置を、例えば上述の方法に基づいて認識する（ステップＳ１０１）。

【0050】

続いて、位置認識部１５は、認識した作業者の位置を動作認識部１６に出力する。動作認識部１６は、図２の場所動作テーブル２０を参照して位置認識部１５が認識した位置に対応する認識対象、すなわち作業者の要素動作を取得する（ステップＳ１０２）。

【0051】

例えば図２の場所動作テーブル２０において、位置認識部１５が認識した位置が（１．０，２．０）の場合には、認識対象の要素動作の「動作ＩＤ」は’１’および’２’となる。

【0052】

そして、動作認識部１６は、記憶部１７の動作モデル蓄積部２１からステップＳ１０２の処理にて取得した「動作ＩＤ」に対応するすべての動作モデルを読み出す（ステップＳ１０３）。

【0053】

続いて、動作認識部１６は、映像撮影装置１１が撮影した作業員の撮影情報から、動作関連情報を算出する（ステップＳ１０４）。そして、動作認識部１６は、ステップＳ１０４の処理にて算出した動作関連情報に対して、ステップＳ１０３の処理にて読み出した動作モデルのうち、もっとも類似している動作モデルの「動作ＩＤ」を動作認識結果として取得する（ステップＳ１０５）。

【0054】

図４の動作モデル蓄積部２１において、例えば作業情報に最も類似している動作モデルが（０．５３、０．５２、０．３３）であった場合、該動作モデルに対応する「動作ＩＤ」は、’１’となる。よって、動作認識結果は、’１’となる。なお、一つの動作モデルに複数の動作関連情報が蓄積されている場合は、例えば、ステップＳ１０４の処理にて算出した動作関連情報と、該当動作モデル内のそれぞれとの動作関連情報を比較し、そのうち最も類似していた結果を、該当動作モデルとの比較結果として採用する。

【0055】

続いて、動作認識部１６は、ステップＳ１０５の処理による認識結果に対応する動作意味を場所動作テーブル２０から取得して（ステップＳ１０６）、認識情報を生成して記憶部１７の認識情報蓄積部２２に蓄積する（ステップＳ１０７）。

【0056】

例えばステップＳ１０１の処理にて位置認識部１５が認識した位置が（１．０，２．０）であり、ステップＳ１０５の処理にて動作認識結果が’１’であった場合、図２の場所動作テーブル２０を参照すると、動作意味は「レバーを回す」となる。

【0057】

また、動作認識部１６が生成する認識情報は、上述したように作業を開始した時刻、作業員の位置、動作認識結果、および動作意味を関連付けしたものである。

【0058】

以上により、振る舞い認識処理が終了となる。

【0059】

このように、作業員の要素動作だけでなく、作業員の位置を加味して動作認識を行うことにより、同じ要素動作であっても作業員の作業位置によって異なる動作意味があることを認識することができる。

【0060】

これにより、作業動作の認識精度を向上させることができる。

【0061】

また、上述したように、作業員の位置別に異なる動作意味を認識するので、動作認識部１６の認識処理にかかる負荷を軽減することができる。その結果、認識処理の時間を短縮することができ、振る舞い検知システム１０のパフォーマンスを向上させることができる。さらに、動作モデル蓄積部２１に蓄積される動作モデルを増やすことによって、より作業動作の認識精度を向上させることができる。

【0062】

〈認識情報の表示例〉
ここで、認識情報蓄積部２２に蓄積する認識情報は、表示装置１３に表示するようにしてもよい。この表示は、例えば動作認識部１６が認識情報蓄積部２２の認識情報を読み出して表示装置１３に表示させる。

【0063】

あるいは、振る舞い検知システム１０が有する図示しないマウスやキーボードなどの入力部によって認識情報を表示する要求が入力された際に、動作認識部１６が認識情報蓄積部２２の認識情報を読み出して表示装置１３に表示させるようにしてもよい。

【0064】

これにより、監督者が表示装置１３に表示されている認識情報を閲覧することにより、作業者が予め定められた作業を行っているかなどを効率よく確認することができる。

【0065】

また、作業によっては、予め定められた時間帯に定められた作業（以下、規定作業という）を行うことが取り決めされているものがある。動作認識部１６は、規定作業が行われているか否かを判定し、作業員による規定作業が行われていない場合には、表示装置１３などにアラートを出力するようにしてもよい。

【0066】

この場合、記憶部１７には、規定作業情報蓄積部が含まれ、該規定作業情報蓄積部には、予め規定作業を行う位置、時間帯、および動作意味を格納する。そして、動作認識部１６は、認識情報蓄積部２２に蓄積されている認識情報を検索して、規定作業情報に定められた位置にて、定められた動作意味に対応した動作が行われているか否か、一例としては作業の順番や作業の過不足を判定する。

【0067】

このとき、動作認識部１６は、認識情報蓄積部２２に蓄積されている認識情報である規定作業情報の時間帯を加味して、規定作業情報に定められた位置で、定められた動作意味に対応した動作が行われているか否かを判定するようにしてもよい。

【0068】

動作認識部１６は、規定作業情報に類似する認識情報がない場合、規定作業が行われていないと判断して、表示装置１３などに規定作業が行われていない旨のアラートを出力する。

【0069】

これにより、監督者は、作業員が規定作業を行ったか否かをより短時間で簡単に確認することができる。

【0070】

以上により、監督者による作業員の作業動作の確認を効率よく行うことができる。

【0071】

〈振る舞い検知システムの他の構成例〉
また、本実施の形態では、記憶部１７に動作モデル蓄積部２１を有する構成としたが、該動作モデル蓄積部２１は、例えばインターネットなどを通じて接続される構成としてもよい。

【0072】

図６は、図１の振る舞い検知システム１０の他の構成例を示す説明図である。

【0073】

図６の振る舞い検知システム１０が図１の振る舞い検知システム１０と異なるところは、動作モデル蓄積部２１が例えばクラウド上のストレージ、いわゆるクラウドストレージからなる点である。この場合、動作モデル蓄積部２１は、インターネットなどの通信回線３０を通じて認識処理部１２に接続される。

【0074】

例えば作業内容や作業場の構成などがほぼ同じであれば、通信回線３０を通じて動作モデルを動作モデル蓄積部２１にアップロードするだけでよく、各々の作業場において、個別に動作モデルを予め入力するなどの作業を不要とすることができる。これにより、振る舞い検知システム１０を用いる際の工数を削減することができる。

【0075】

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

【0076】

なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

【0077】

また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加、削除、置換をすることが可能である。

【符号の説明】

【0078】

１０ 振る舞い検知システム
１１ 映像撮影装置
１２ 認識処理部
１３ 表示装置
１５ 位置認識部
１６ 動作認識部
１７ 記憶部
２０ 場所動作テーブル
２１ 動作モデル蓄積部
２２ 認識情報蓄積部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】