特開 2024-176801 行動認識方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024176801

(43)【公開日】2024-12-19

(54)【発明の名称】行動認識方法

(51)【国際特許分類】

   G06T 7/20 20170101AFI20241212BHJP

   G06T 7/00 20170101ALI20241212BHJP

【ＦＩ】

G06T7/20 300

G06T7/00 660B

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023095607

(22)【出願日】2023-06-09

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】竹内 伸一

(72)【発明者】

【氏名】倉持 知貴

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096FA69

5L096GA51

(57)【要約】

【課題】行動認識の対象とする作業者の行動を適切に認識する。
【解決手段】行動認識方法では、コンピュータが、映像データから作業者の骨格情報を時系列で取得する（Ｓ１２）。コンピュータが、取得した骨格情報に含まれる作業者の各部位の位置座標を取得する（Ｓ２１）。コンピュータが、複数の作業者の骨格情報を取得した場合に、作業者毎の位置座標に基づいて、行動認識の対象とする作業者を特定する（Ｓ２４）。コンピュータが、特定した作業者の骨格情報の時系列に基づいて、作業者の行動を認識する（Ｓ４３）。なお、行動認識方法では、機械学習により予め学習された学習済みモデルを用いることにより、作業者の行動を認識してもよい。
【選択図】図２

【特許請求の範囲】

【請求項1】

コンピュータが、
映像データから作業者の骨格情報を時系列で取得することと、
取得した前記骨格情報に含まれる前記作業者の各部位の位置座標を取得することと、
複数の前記作業者の前記骨格情報を取得した場合に、前記作業者毎の前記位置座標に基づいて、行動認識の対象とする前記作業者を特定することと、
特定した前記作業者の前記骨格情報の時系列に基づいて、前記作業者の行動を認識することと、
を実行する
行動認識方法。

【請求項2】

前記コンピュータが、
複数の前記作業者の前記骨格情報を取得した場合に、前記作業者毎の前記位置座標の時系列に基づいて、当該作業者の移動速度である作業者速度を前記作業者毎に算出することと、
算出した前記作業者速度が予め定められた規定作業者速度よりも高い前記作業者を除いた上で、対象とする前記作業者を特定することと、
を実行する
請求項１に記載の行動認識方法。

【請求項3】

前記コンピュータが、
複数の前記作業者の前記骨格情報を取得した場合に、取得した前記骨格情報に含まれる右肩の前記位置座標と、取得した前記骨格情報に含まれる左肩の前記位置座標との位置関係に基づいて、対象とする前記作業者を特定することと、
を実行する
請求項１又は請求項２に記載の行動認識方法。

【請求項4】

前記コンピュータが、
特定した前記作業者の前記骨格情報の時系列に基づいて、前記骨格情報に含まれる予め定められた特定部位の移動速度である特定部位速度を算出することと、
前記特定部位の前記位置座標の時系列のうち、算出した前記特定部位速度が予め定められた規定部位速度よりも高い前記特定部位の前記位置座標をノイズデータとしたとき、
特定した前記作業者の前記骨格情報の時系列から前記ノイズデータを除いた認識対象情報を生成することと、
特定した前記作業者の前記認識対象情報に基づいて、前記作業者が行う行動を認識することと、
を実行する
請求項１又は請求項２に記載の行動認識方法。

【請求項5】

前記コンピュータが、
算出した前記特定部位速度が前記規定部位速度以下である前記特定部位の前記位置座標を、代替データとして生成することと、
前記ノイズデータを除いた上で、当該ノイズデータに代えて前記代替データを付加した情報を、前記認識対象情報として生成することと、
を実行する
請求項４に記載の行動認識方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、行動認識方法に関する。

【背景技術】

【0002】

特許文献１の行動認識システムは、行動認識装置と、カメラとを備えている。行動認識装置は、カメラから映像データを取得する。また、行動認識装置は、映像データから作業者の骨格情報を時系列で取得する。そして、行動認識装置は、取得した骨格情報の時系列に基づいて、作業者の行動を認識する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－００３４３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１のような行動認識システムでは、カメラから取得した映像データに複数の作業者が映り込むことがある。この場合、行動認識装置は、複数の作業者の骨格情報を取得することがある。特許文献１のような行動認識装置は、上記のように複数の作業者の骨格情報を取得する場合について着目していないため、行動認識の対象とするべき作業者の行動を、期待どおりに認識できないおそれがある。

【課題を解決するための手段】

【0005】

上記課題を解決するための行動認識方法は、コンピュータが、映像データから作業者の骨格情報を時系列で取得することと、取得した前記骨格情報に含まれる前記作業者の各部位の位置座標を取得することと、複数の前記作業者の前記骨格情報を取得した場合に、前記作業者毎の前記位置座標に基づいて、行動認識の対象とする前記作業者を特定することと、特定した前記作業者の前記骨格情報の時系列に基づいて、前記作業者の行動を認識することと、を実行する。

【発明の効果】

【0006】

上記構成によれば、複数の作業者の骨格情報を取得した場合には、行動認識の対象とする作業者が特定される。そして、特定された作業者の骨格情報の時系列に基づくことで、対象とする作業者の行動を適切に認識できる。すなわち、行動認識の対象外である作業者の行動が、行動認識の対象である行動者に対する行動の認識に影響を及ぼすことを低減できる。

【図面の簡単な説明】

【0007】

【図1】図１は、行動認識システムの概略構成図である。

【図2】図２は、認識制御を示すフローチャートである。

【図3】図３は、作業者の骨格情報に関する説明図である。

【発明を実施するための形態】

【0008】

＜行動認識システムの概略構成＞
以下、本発明の一実施形態を図１～図３にしたがって説明する。先ず、行動認識システム１０の概略構成について説明する。

【0009】

図１に示すように、行動認識システム１０は、コンピュータ２０、入力デバイス３０、カメラ４０、及びディスプレイ５０を備えている。
入力デバイス３０は、例えば、キーボード、及びポインティングデバイスを含んでいる。カメラ４０は、被写体の映像である映像データＤＰを検出する。本実施形態において、カメラ４０は、行動認識の対象とする作業者が作業する場所の近傍に位置している。また、カメラ４０は、行動認識の対象とする作業者の様子を、当該作業者の正面から撮影可能な場所に位置している。さらに、カメラ４０は、行動認識の対象とする作業者が作業する場所を向いている。なお、行動認識の対象とする作業者の一例は、自動車の部品の組み立て作業を行う作業者である。ディスプレイ５０は、各種の情報を表示可能である。

【0010】

コンピュータ２０は、実行装置２１、及び記憶装置２２を備えている。実行装置２１の一例は、ＣＰＵである。記憶装置２２は、読み出しのみが可能なＲＯＭと、読み出し及び書き込みが可能な揮発性のＲＡＭと、読み出し及び書き込みが可能な不揮発性のストレージとを含んでいる。記憶装置２２は、各種のプログラム及び各種のデータを予め記憶している。また、記憶装置２２は、各種のプログラムの一つとして行動認識プログラム２２Ａを予め記憶している。さらに、記憶装置２２は、各種のデータの一つとして写像データ２２Ｂを予め記憶している。写像データ２２Ｂは、所定の入力変数と、作業者の行動を示す出力変数との関係性である写像が、実行装置２１が実行可能な形式で記述されたものである。写像データ２２Ｂで記述された写像は、機械学習により予め学習されたものである。なお、写像データ２２Ｂについての具体的な説明は後述する。実行装置２１は、記憶装置２２に記憶された行動認識プログラム２２Ａを実行することにより、行動認識方法における各種の処理を実現する。コンピュータ２０の一例は、いわゆるパーソナルコンピュータである。

【0011】

コンピュータ２０は、入力デバイス３０、及びカメラ４０からの信号を取得する。すなわち、コンピュータ２０は、カメラ４０から映像データＤＰを取得する。このとき、実行装置２１は、映像データＤＰを記憶装置２２に記憶する。また、コンピュータ２０は、ディスプレイ５０に対して制御信号を出力することにより、ディスプレイ５０で各種の情報を表示する。

【0012】

＜認識制御＞
次に、図２を参照して、コンピュータ２０が実行する認識制御について説明する。この認識制御は、行動認識の対象とする作業者の行動を認識するための制御である。本実施形態において、コンピュータ２０は、予め定められた制御周期毎に、認識制御を実行する。

【0013】

図２に示すように、コンピュータ２０の実行装置２１は、認識制御を開始すると、ステップＳ１１の処理を実行する。ステップＳ１１において、実行装置２１は、ステップＳ１１の処理時点から予め定められた規定期間ＰＲ前までの映像データＤＰを記憶装置２２から取得する。規定期間ＰＲの一例は、数秒～十数秒である。ステップＳ１１の後、実行装置２１は、処理をステップＳ１２に進める。

【0014】

ステップＳ１２において、実行装置２１は、規定期間ＰＲの映像データＤＰから、当該映像データＤＰに含まれる作業者について骨格情報ＩＳを時系列で取得する。具体的には、実行装置２１は、規定期間ＰＲの映像データＤＰに含まれる複数のフレームを取得する。そして、実行装置２１は、骨格検出などと呼ばれる処理を行うことにより、各フレームに含まれる作業者の骨格情報ＩＳを取得する。このとき、実行装置２１は、フレームに含まれる全ての作業者について骨格情報ＩＳを取得する。なお、骨格情報ＩＳを取得する処理としては、例えば、特開２０２２－００３４３４号公報、特開２０１９－０７１００８号公報に記載される技術を利用できる。ステップＳ１２の後、実行装置２１は、処理をステップＳ２１に進める。

【0015】

ステップＳ２１において、実行装置２１は、作業者の骨格情報ＩＳの時系列について、すなわち複数のフレームに含まれる骨格情報ＩＳについて、骨格情報ＩＳに含まれる部位の位置座標ＰＣを取得する。図３に示すように、骨格情報ＩＳに含まれ作業者の部位は、頭Ａ、右肩Ｂ、右肘Ｃ、右手Ｄ、右腰Ｅ、左肩Ｆ、左肘Ｇ、左手Ｈ、及び左腰Ｉの合計９つの部位である。また、位置座標ＰＣは、Ｘ軸及びＹ軸の直交座標系で表現される。本実施形態において、Ｘ軸は、垂直方向に直交する軸線である。また、Ｙ軸は、垂直方向に沿う軸線である。なお、実行装置２１は、全ての作業者について、各作業者の骨格情報ＩＳに含まれる部位の位置座標ＰＣを取得する。図２に示すように、ステップＳ２１の後、実行装置２１は、処理をステップＳ２２に進める。

【0016】

図２に示すように、ステップＳ２２において、実行装置２１は、位置座標ＰＣの時系列に基づいて、当該位置座標ＰＣに対応する作業者の移動速度である作業者速度ＳＷを算出する。例えば、実行装置２１は、頭Ａに対応する位置座標ＰＣのＸ軸上の位置を示す値の単位時間当たりの変動量の絶対値に基づいて、作業者速度ＳＷを算出する。ここで、ステップＳ１２において取得した、ある作業者の骨格情報ＩＳの時系列として、合計Ｎ組のデータが存在するものとする。なお、「Ｎ」は、２以上の整数である。また、Ｎ個のデータのうち古いものから順に、第１時点のデータ、第２時点のデータ、・・・第Ｎ時点のデータとする。この場合、ステップＳ２２において、実行装置２１は、第１時点と第２時点とについての頭Ａに対応する位置座標ＰＣのＸ軸上の位置を示す値の差の絶対値を、第１時点と第２時点とについての単位時間当たりの変動量の絶対値として算出する。同様に、実行装置２１は、第２時点と第３時点とについての頭Ａに対応する位置座標ＰＣのＸ軸上の位置を示す値の差の絶対値を、第２時点と第３時点とについての単位時間当たりの変動量の絶対値として算出する。また、実行装置２１は、第Ｎ－１時点と第Ｎ時点とについての頭Ａに対応する位置座標ＰＣのＸ軸上の位置を示す値の差の絶対値を、第Ｎ－１時点と第Ｎ時点とについての単位時間当たりの変動量の絶対値として算出する。そして、実行装置２１は、算出した単位時間当たりの変動量の絶対値の平均値を、作業者速度ＳＷとして算出する。なお、例えば、第Ｎ－１時点で頭Ａに対応する位置座標ＰＣを取得できなかったとする。この場合、第Ｎ－２時点から第Ｎ－１時点までの単位時間当たりの変動量の絶対値、及び第Ｎ－１時点から第Ｎ時点までの単位時間当たりの変動量の絶対値は、算出できない。したがって、上記の場合、第Ｎ－２時点から第Ｎ－１時点までの単位時間当たりの変動量の絶対値、及び第Ｎ－１時点から第Ｎ時点までの単位時間当たりの変動量の絶対値は、上記の平均値の算出には用いらない。その結果、例えば歩いている作業者の作業者速度ＳＷは、ある地点で作業をしている作業者の作業者速度ＳＷに比べて高くなる傾向がある。なお、実行装置２１は、全ての作業者について、各作業者の作業者速度ＳＷを算出する。ステップＳ２２の後、実行装置２１は、処理をステップＳ２３に進める。

【0017】

ステップＳ２３において、実行装置２１は、位置座標ＰＣの時系列に基づいて、累積期間ＰＡを算出する。具体的には、実行装置２１は、規定期間ＰＲのうち、右肩Ｂに対応する位置座標ＰＣのＸ軸上の位置を示す値が、左肩Ｆに対応する位置座標ＰＣのＸ軸上の位置を示す値よりも小さくなっている期間の累積値を、累積期間ＰＡとして算出する。したがって、図３に示すように、作業者の身体がカメラ４０に向いている状態が長いほど、累積期間ＰＡは大きくなる。本実施形態において、累積期間ＰＡは、右肩Ｂに対応する位置座標ＰＣと、左肩Ｆに対応する位置座標ＰＣとの位置関係を示す値である。図２に示すように、ステップＳ２３の後、実行装置２１は、処理をステップＳ２４に進める。

【0018】

図２に示すように、ステップＳ２４において、実行装置２１は、作業者毎の位置座標ＰＣに基づいて、行動認識の対象とする作業者を特定する。例えば、ステップＳ１２において実行装置２１が複数の作業者の骨格情報ＩＳを取得したとする。この場合、実行装置２１は、複数の作業者のうち、作業者速度ＳＷが予め定められた規定作業者速度ＳＷＡよりも高い作業者を除いた作業者を抽出する。なお、規定作業者速度ＳＷＡは、歩く等により移動している作業者を除くために予め定められた閾値である。規定作業者速度ＳＷＡは、実験及びシミュレーションにより定めることができる。さらに、実行装置２１は、抽出した作業者のうち、累積期間ＰＡが最も長い作業者を、行動認識の対象とする作業者として特定する。換言すると、実行装置２１は、複数の作業者のうち、移動している作業者を除いた上で、身体がカメラ４０に向いている状態が最も長い作業者を、行動認識の対象とする作業者として特定する。ステップＳ２４の後、実行装置２１は、処理をステップＳ３１に進める。

【0019】

ステップＳ３１において、実行装置２１は、ステップＳ２４で特定した作業者の骨格情報ＩＳに含まれる右手Ｄに対応する位置座標ＰＣに基づいて、当該右手Ｄの移動速度である右手速度ＳＳＤを算出する。ここで、特定した作業者の骨格情報ＩＳの時系列として、合計Ｎ組のデータが存在するものとする。なお、「Ｎ」は、２以上の整数である。また、Ｎ個のデータのうち古いものから順に、第１時点のデータ、第２時点のデータ、・・・第Ｎ時点のデータとする。この場合、実行装置２１は、例えば以下のように右手速度ＳＳＤを算出する。実行装置２１は、第１時点における右手Ｄに対応する位置座標ＰＣと、第２時点における右手Ｄに対応する位置座標ＰＣとのユークリッド距離を、第２時点における右手速度ＳＳＤとする。同様に、実行装置２１は、第２時点における右手Ｄに対応する位置座標ＰＣと、第３時点における右手Ｄに対応する位置座標ＰＣとのユークリッド距離を、第３時点における右手速度ＳＳＤとする。なお、上と同じ要領で、実行装置２１は、第Ｎ時点までの右手速度ＳＳＤを算出する。

【0020】

また、実行装置２１は、ステップＳ２４で特定した作業者の骨格情報ＩＳに含まれる左手Ｈに対応する位置座標ＰＣに基づいて、左手Ｈの移動速度である左手速度ＳＳＨを算出する。例えば、実行装置２１は、第１時点における左手Ｈに対応する位置座標ＰＣと、第２時点における左手Ｈに対応する位置座標ＰＣとのユークリッド距離を、第２時点における左手速度ＳＳＨとする。同様に、第２時点における左手Ｈに対応する位置座標ＰＣと、第３時点における左手Ｈに対応する位置座標ＰＣとのユークリッド距離を、第３時点における左手速度ＳＳＨとする。なお、上と同じ要領で、実行装置２１は、第Ｎ時点までの左手速度ＳＳＨを算出する。本実施形態において、右手速度ＳＳＤ及び左手速度ＳＳＨのそれぞれは、予め定められた特定部位の移動速度である特定部位速度に相当する。ステップＳ３１の後、実行装置２１は、処理をステップＳ３２に進める。

【0021】

ステップＳ３２において、実行装置２１は、ステップＳ３１で算出した右手速度ＳＳＤに基づいて、右手ノイズデータＤＮＤを特定する。具体的には、実行装置２１は、第２時点から第Ｎ時点までの右手速度ＳＳＤのうち、予め定められた規定右手速度よりも高い右手速度ＳＳＤを抽出する。そして、実行装置２１は、抽出した右手速度ＳＳＤに対応する位置座標ＰＣを、右手ノイズデータＤＮＤとして特定する。例えば抽出した右手速度ＳＳＤが第Ｎ時点の右手速度ＳＳＤである場合、実行装置２１は、第Ｎ時点における右手Ｄに対応する位置座標ＰＣを、右手ノイズデータＤＮＤとして特定する。すなわち、右手ノイズデータＤＮＤは、右手Ｄに対応する位置座標ＰＣの時系列のうち、予め定められた規定右手速度よりも高い右手速度ＳＳＤに対応する位置座標ＰＣである。なお、規定右手速度は、作業者が行う作業工程での想定を超える右手速度ＳＳＤを抽出するための閾値である。

【0022】

また、実行装置２１は、ステップＳ３１で算出した左手速度ＳＳＨに基づいて、左手ノイズデータＤＮＨを特定する。具体的には、実行装置２１は、第２時点から第Ｎ時点までの左手速度ＳＳＨのうち、予め定められた規定左手速度よりも高い左手速度ＳＳＨを抽出する。そして、実行装置２１は、抽出した左手速度ＳＳＨに対応する位置座標ＰＣを、左手ノイズデータＤＮＨとして特定する。例えば抽出した左手速度ＳＳＨが第Ｎ時点の左手速度ＳＳＨである場合、実行装置２１は、第Ｎ時点における左手Ｈに対応する位置座標ＰＣを、左手ノイズデータＤＮＨとして特定する。すなわち、左手ノイズデータＤＮＨは、左手Ｈに対応する位置座標ＰＣの時系列のうち、予め定められた規定左手速度よりも高い左手速度ＳＳＨに対応する位置座標ＰＣである。なお、規定左手速度は、作業者が行う作業工程での想定を超える左手速度ＳＳＨを抽出するための閾値である。本実施形態において、右手ノイズデータＤＮＤ及び左手ノイズデータＤＮＨのそれぞれは、ノイズデータである。また、規定右手速度及び規定左手速度のそれぞれは、規定部位速度である。ステップＳ３２の後、実行装置２１は、処理をステップＳ３３に進める。

【0023】

ステップＳ３３において、実行装置２１は、右手Ｄに対応する位置座標ＰＣに基づいて、右手代替データＤＡＤを生成する。例えば、ステップＳ３２で特定した右手ノイズデータＤＮＤが第Ｎ時点における右手Ｄに対応する位置座標ＰＣであるとする。この場合、実行装置２１は、第Ｎ－１時点における右手Ｄに対応する位置座標ＰＣと、第Ｎ－２時点における右手Ｄに対応する位置座標ＰＣとの平均値を、第Ｎ時点の右手代替データＤＡＤとして生成する。したがって、右手代替データＤＡＤは、右手速度ＳＳＤが予め定められた規定右手速度以下である右手Ｄに対応する位置座標ＰＣに相当する。なお、例えば、ステップＳ３２で特定した右手ノイズデータＤＮＤが第２時点における右手Ｄに対応する位置座標ＰＣである場合、実行装置２１は、第１時点における右手Ｄに対応する位置座標ＰＣと同じものを、第２時点の右手代替データＤＡＤとして生成する。

【0024】

また、実行装置２１は、左手Ｈに対応する位置座標ＰＣに基づいて、左手代替データＤＡＨを生成する。例えば、ステップＳ３２で特定した左手ノイズデータＤＮＨが第Ｎ時点における左手Ｈに対応する位置座標ＰＣであるとする。この場合、実行装置２１は、第Ｎ－１時点における左手Ｈに対応する位置座標ＰＣと、第Ｎ－２時点における左手Ｈに対応する位置座標ＰＣとの平均値を、第Ｎ時点の左手代替データＤＡＨとして生成する。したがって、左手代替データＤＡＨは、左手速度ＳＳＨが予め定められた規定左手速度以下である左手Ｈに対応する位置座標ＰＣに相当する。なお、例えば、ステップＳ３２で特定した左手ノイズデータＤＮＨが第２時点における左手Ｈに対応する位置座標ＰＣである場合、実行装置２１は、第１時点における左手Ｈに対応する位置座標ＰＣと同じものを、第２時点の左手代替データＤＡＨとして生成する。本実施形態において、右手代替データＤＡＤ及び左手代替データＤＡＨのそれぞれは、代替データである。ステップＳ３３の後、実行装置２１は、処理をステップＳ３４に進める。

【0025】

ステップＳ３４において、実行装置２１は、ステップＳ２４で特定した作業者の骨格情報ＩＳ、右手代替データＤＡＤ、及び左手代替データＤＡＨに基づいて、認識対象情報ＩＲを生成する。具体的には、実行装置２１は、ステップＳ２４で特定した作業者の骨格情報ＩＳのうち、右手ノイズデータＤＮＤを除いた上で、当該右手ノイズデータＤＮＤに代えて右手代替データＤＡＤを付加した情報を生成する。さらに、実行装置２１は、右手代替データＤＡＤを付加した情報のうち、左手ノイズデータＤＮＨを除いた上で、当該左手ノイズデータＤＮＨに代えて左手代替データＤＡＨを付加した情報を、認識対象情報ＩＲとして生成する。ステップＳ３４の後、実行装置２１は、処理をステップＳ４１に進める。

【0026】

ステップＳ４１において、実行装置２１は、認識対象情報ＩＲを、写像データ２２Ｂで記述された写像への入力変数として生成する。ここで、認識対象情報ＩＲに含まれる骨格情報ＩＳの時系列として、合計Ｎ組のデータが存在するものとする。なお、「Ｎ」は、２以上の整数である。また、Ｎ個のデータのうち古いものから順に、第１時点のデータ、第２時点のデータ、・・・第Ｎ時点のデータとする。また、上述したように、認識対象情報ＩＲに含まれる骨格情報ＩＳは、合計９つの部位を含んでいる。そして、部位に対応する位置座標ＰＣは、Ｘ軸上の位置を示す値、及びＹ軸上の位置を示す値を含むものである。したがって、各骨格情報ＩＳは、合計１８種の数値を含んでいる。ステップＳ４１において、実行装置２１は、入力変数ｘ（１）～入力変数ｘ（１８）に、第１時点の骨格情報ＩＳに含まれる１８種の数値を１つずつ順に代入する。同様に、実行装置２１は、入力変数ｘ（１９）～入力変数ｘ（３６）に、第２時点の骨格情報ＩＳに含まれる１８種の数値を１つずつ順に代入する。上と同じ要領で入力変数を生成することにより、実行装置２１は、入力変数ｘ（１）～入力変数ｘ（１８×Ｎ）を生成する。なお、以下では、ステップＳ４１で生成された入力変数の種類の数を、「Ｚ」として記載する。ステップＳ４１の後、実行装置２１は、処理をステップＳ４２に進める。

【0027】

ステップＳ４２において、実行装置２１は、写像データ２２Ｂで記述された写像に、入力変数ｘ（１）～入力変数ｘ（Ｚ）及びバイアスパラメータとしての入力変数ｘ（０）を入力することによって、出力変数ｙ（ｉ）の値を算出する。

【0028】

写像データ２２Ｂで記述された写像の一例は、関数近似器であり、中間層が１層の全結合順伝搬型のニューラルネットワークである。具体的には、写像では、入力変数ｘ（１）～入力変数ｘ（Ｚ）及びバイアスパラメータとしての入力変数ｘ（０）が、係数ｗＦｊｋ（ｊ＝１～ｍ、ｋ＝０～Ｚ）によって規定される線形写像にて変換された「ｍ」個の値のそれぞれが活性化関数ｆに代入される。その結果、中間層のノードの値が定まる。また、係数ｗＳｉｊ（ｉ＝１～Ｐ）によって規定される線形写像によって中間層のノードの値が変換された値のそれぞれが活性化関数ｇに代入されることによって、出力変数ｙ（１）～出力変数ｙ（Ｐ）が定まる。なお、ステップＳ４２における出力変数の種類の数を「Ｐ」として記載している。ここで、出力変数の種類の数である「Ｐ」は、作業者が行う作業工程の種類の数と同じである。すなわち、例えば、作業者が行う作業工程が第１工程～第１０工程まで存在する場合、「Ｐ」は、「１０」である。本実施形態において、活性化関数ｆの一例は、ＲｅＬＵ関数である。また、活性化関数ｇの一例は、ソフトマックス関数である。したがって、出力変数ｙ（１）～出力変数ｙ（Ｐ）は、それらに対応する作業工程が行われている確率を示すものである。

【0029】

写像データ２２Ｂで記述された写像は、例えば以下のように予め学習されたものである。ここで、例えば作業者が行う作業工程が第１工程～第１０工程まで存在するものとする。この場合、先ず、第１工程を認識させるための学習にあたっては、第１工程の作業を作業者に正しい手順で行わせつつ、上と同じ要領で、入力変数ｘ（１）～入力変数ｘ（Ｚ）を生成する。このとき、生成した入力変数ｘ（１）～入力変数ｘ（Ｚ）を、学習に使用するデータとする。また、第１工程を正解ラベルとする。すなわち、出力変数ｙ（１）の値を「１」とする一方、出力変数ｙ（２）～出力変数ｙ（Ｐ）の値を「０」とする。このようなデータを写像に入力することで、機械学習により写像を学習する。同様に、第２工程を認識させるための学習にあたっては、第２工程の作業を作業者に正しい手順で行わせつつ、上と同じ要領で、入力変数ｘ（１）～入力変数ｘ（Ｚ）を生成する。このとき、生成した入力変数ｘ（１）～入力変数ｘ（Ｚ）を、学習に使用するデータとする。また、第２工程を正解ラベルとする。すなわち、出力変数ｙ（２）の値を「１」とする一方、出力変数ｙ（１）及び出力変数ｙ（３）～出力変数ｙ（Ｐ）の値を「０」とする。このようなデータを写像に入力することで、機械学習により写像を学習する。なお、上と同じ要領で、第３工程～第１０工程についても機械学習により写像を学習する。ステップＳ４２の後、実行装置２１は、処理をステップＳ４３に進める。

【0030】

ステップＳ４３において、実行装置２１は、出力変数ｙ（１）～出力変数ｙ（Ｐ）に基づいて、行動認識の対象とする作業者が行う作業工程を特定する。具体的には、実行装置２１は、出力変数ｙ（１）～出力変数ｙ（Ｐ）のうちの最大値を特定する。そして、実行装置２１は、最大値に対応する作業工程を、作業者が行う作業工程として特定する。例えば、出力変数ｙ（１）が最大値である場合、実行装置２１は、第１工程を、作業者が行う作業工程として特定する。なお、実行装置２１は、特定した作業工程を記憶装置２２に記憶する。本実施形態において、ステップＳ４３の処理は、行動認識の対象とする作業者が行う行動を認識する処理である。なお、上述したように、写像データ２２Ｂで記述された写像への入力変数は認識対象情報ＩＲに含まれる骨格情報ＩＳの時系列に基づいているため、実行装置２１は、骨格情報ＩＳの時系列に基づいて、行動認識の対象とする作業者が行う行動を認識する。ステップＳ４３の後、実行装置２１は、処理をステップＳ５１に進める。

【0031】

ステップＳ５１において、実行装置２１は、予め定められた正常条件を満たすか否かを判定する。本実施形態において、正常条件は、以下の要件（１）及び要件（２）の何れかを満たすことである。

【0032】

要件（１）：今回の認識制御で特定した作業工程が、１回前の認識制御で特定した作業工程と同じである。
要件（２）：今回の認識制御で特定した作業工程が、１回前の認識制御で特定した作業工程の次の作業工程である。

【0033】

ステップＳ５１において、正常条件を満たすと実行装置２１が判定した場合（Ｓ５１：ＹＥＳ）、実行装置２１は、処理をステップＳ６１に進める。ステップＳ６１において、実行装置２１は、作業者の作業工程が正しいと判定する。ステップＳ６１の後、実行装置２１は、今回の認識制御を終了する。そして、実行装置２１は、再び処理をステップＳ１１に進める。

【0034】

一方、ステップＳ５１において、正常条件を満たさないと実行装置２１が判定した場合（Ｓ５１：ＮＯ）、実行装置２１は、処理をステップＳ７１に進める。なお、例えば、１回前の認識制御で特定した作業工程が第１工程であり、且つ、今回の認識制御で特定した作業工程が第３工程である場合に、実行装置２１は、正常条件を満たさないと判定する。

【0035】

ステップＳ７１において、実行装置２１は、作業者の作業工程が誤っていると判定する。ステップＳ７１の後、実行装置２１は、処理をステップＳ７２に進める。ステップＳ７２において、実行装置２１は、ディスプレイ５０に制御信号を出力することにより、ディスプレイ５０において作業者の作業工程が誤っていることを表示する。ステップＳ７２の後、実行装置２１は、今回の認識制御を終了する。そして、実行装置２１は、再び処理をステップＳ１１に進める。

【0036】

＜本実施形態の作用＞
図２に示すように、ステップＳ１２において、実行装置２１は、規定期間ＰＲの映像データＤＰから、当該映像データＤＰに含まれる作業者についての骨格情報ＩＳを時系列で取得する。また、ステップＳ２１において、実行装置２１は、各骨格情報ＩＳに含まれる部位の位置座標ＰＣを取得する。ステップＳ２２において、実行装置２１は、位置座標ＰＣの時系列に基づいて、当該位置座標ＰＣに対応する作業者の移動速度である作業者速度ＳＷを算出する。さらに、ステップＳ２３において、実行装置２１は、位置座標ＰＣの時系列に基づいて、右肩Ｂに対応する位置座標ＰＣと、左肩Ｆに対応する位置座標ＰＣとの位置関係を示す累積期間ＰＡを算出する。そして、ステップＳ２４において、実行装置２１は、作業者毎の位置座標ＰＣに基づいて、具体的には作業者速度ＳＷ及び累積期間ＰＡに基づいて、行動認識の対象とする作業者を特定する。

【0037】

＜本実施形態の効果＞
（１）仮に、ステップＳ１２において実行装置２１が複数の作業者の骨格情報ＩＳを取得したとしても、行動認識の対象とするべき作業者であるかそうでないかによって、各作業者の作業者速度ＳＷ及び累積期間ＰＡには差異が生じるはずである。そのため、作業者毎の骨格情報ＩＳに含まれる位置座標ＰＣの時系列に基づくことで、ステップＳ２４において行動認識の対象とする作業者を特定可能である。これにより、ステップＳ４１～ステップＳ４３において行動認識の対象とする作業者が行う作業工程を適切に認識できる。すなわち、行動認識の対象外である作業者の行動が、行動認識の対象である作業者の行動の認識に影響を及ぼすことを抑制できる。

【0038】

（２）ステップＳ１２において、実行装置２１は、例えば、ある地点で作業している対象の作業者の骨格情報ＩＳだけでなく、対象の作業者の近傍を歩く等により移動している作業者の骨格情報ＩＳを取得することがある。この場合、移動している作業者の作業者速度ＳＷは、ある地点で移動せずに作業をしている作業者の作業者速度ＳＷに比べて高くなる。

【0039】

この点、ステップＳ２４において、実行装置２１は、複数の作業者のうち、作業者速度ＳＷが予め定められた規定作業者速度ＳＷＡよりも高い作業者を除いた上で、行動認識の対象とする作業者を特定する。このように、移動している作業者を除くことで、行動認識の対象とする作業者をより確実に特定できる。

【0040】

（３）行動認識の対象とする作業者と、その作業者の映像データＤＰを取得するためのカメラ４０との位置関係が同じであれば、映像データＤＰ上において、行動認識の対象とする作業者の身体の向きは、略同じ向きになっている可能性が高い。

【0041】

この点、ステップＳ２３において、実行装置２１は、位置座標ＰＣの時系列に基づいて、累積期間ＰＡを算出する。ここで、累積期間ＰＡは、規定期間ＰＲのうち、右肩Ｂに対応する位置座標ＰＣのＸ軸上の位置を示す値が、左肩Ｆに対応する位置座標ＰＣのＸ軸上の位置を示す値よりも小さくなっている期間の累積値である。そして、ステップＳ２４において、実行装置２１は、複数の作業者のうち、累積期間ＰＡが最も長い作業者を、行動認識の対象とする作業者として特定する。これにより、右肩Ｂに対応する位置座標ＰＣと、左肩Ｆに対応する位置座標ＰＣとの位置関係に基づくことで、映像データＤＰ上において身体の向きが略同じになっている作業者、すなわち行動認識の対象とする作業者をより確実に特定できる。

【0042】

（４）行動認識の対象とする作業者は、例えば右手Ｄで頭Ａを触るなどの不要な動作を行うことがある。仮に、上記のような不要な動作が含まれた骨格情報ＩＳに基づいて、ステップＳ４１～ステップＳ４３において作業者が行う作業工程を認識すると、適切に作業工程を認識できない可能性がある。

【0043】

この点、ステップＳ３２において、実行装置２１は、右手Ｄに対応する位置座標ＰＣの時系列のうち、予め定められた規定右手速度よりも高い右手速度ＳＳＤに対応する位置座標ＰＣを、右手ノイズデータＤＮＤとして特定する。また、ステップＳ３４において、実行装置２１は、ステップＳ２４で特定した作業者の骨格情報ＩＳのうち、右手ノイズデータＤＮＤを除いた上で、認識対象情報ＩＲを生成する。そして、ステップＳ４１～ステップＳ４３において、実行装置２１は、認識対象情報ＩＲに基づいて、作業者が行う作業工程を認識する。これにより、行動認識の対象とする作業者の不要な動作を除くことで、作業者が行う作業工程をより適切に認識できる。

【0044】

（５）ステップＳ３３において、実行装置２１は、右手Ｄに対応する位置座標ＰＣに基づいて、右手代替データＤＡＤを生成する。この右手代替データＤＡＤは、右手速度ＳＳＤが予め定められた規定右手速度以下である右手Ｄに対応する位置座標ＰＣである。そして、ステップＳ３４において、実行装置２１は、ステップＳ２４で特定した作業者の骨格情報ＩＳのうち、右手ノイズデータＤＮＤを除いた上で、右手ノイズデータＤＮＤに代えて右手代替データＤＡＤを付加した情報を用いて、認識対象情報ＩＲを生成する。これにより、右手ノイズデータＤＮＤを除いたことに起因して、作業者が行う作業工程を認識できない、といった事態が生じることは抑制できる。

【0045】

＜変更例＞
本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。

【0046】

・上記実施形態において、認識制御は変更してもよい。
例えば、ステップＳ２１において、位置座標ＰＣを取得する作業者の部位は変更してもよい。具体例として、実行装置２１は、骨格情報ＩＳから、頭Ａ、右肩Ｂ、右肘Ｃ、右手Ｄ、右腰Ｅ、左肩Ｆ、左肘Ｇ、左手Ｈ、及び左腰Ｉに代えて、又は加えて、作業者の他の部位の位置座標ＰＣを取得してもよい。また、具体例として、実行装置２１は、骨格情報ＩＳから、合計９つの部位に限らず、８つ以下の部位、又は１０つ以上の部位の位置座標ＰＣを取得してもよい。

【0047】

・例えば、ステップＳ２２において、作業者速度ＳＷの算出の仕方は変更してもよい。具体例として、実行装置２１は、頭Ａに対応する位置座標ＰＣに代えて、又は加えて、右腰Ｅに対応する位置座標ＰＣのＸ軸上の位置を示す値の単位時間当たりの変動量の絶対値に基づいて、作業者速度ＳＷを算出してもよい。

【0048】

・例えば、ステップＳ２３において、累積期間ＰＡの算出の仕方は変更してもよい。具体例として、カメラ４０は、行動認識の対象とする作業者の様子を、当該作業者の背面から撮影可能な場所に位置しているとする。この場合、実行装置２１は、規定期間ＰＲのうち、右肩Ｂに対応する位置座標ＰＣのＸ軸上の位置を示す値が、左肩Ｆに対応する位置座標ＰＣのＸ軸上の位置を示す値よりも大きくなっている期間の累積値を、累積期間ＰＡとして算出すればよい。

【0049】

・例えば、ステップＳ２４において、行動認識の対象とする作業者の特定の仕方は変更してもよい。具体例として、作業者速度ＳＷに拘わらず、実行装置２１は、複数の作業者のうち、累積期間ＰＡが最も長い作業者を、行動認識の対象とする作業者として特定してもよい。この場合、ステップＳ２２の処理を省略できる。

【0050】

また、具体例として、累積期間ＰＡに拘わらず、実行装置２１は、複数の作業者のうち、作業者速度ＳＷが最も低い作業者を、行動認識の対象とする作業者として特定してもよい。この場合、ステップＳ２３の処理を省略できる。

【0051】

・例えば、ステップＳ３１において、実行装置２１は、右手速度ＳＳＤ及び左手速度ＳＳＨに加えて、又は代えて、他の部位の速度を、特定部位速度として算出してもよい。具体例として、実行装置２１は、ステップＳ２４で特定した作業者の骨格情報ＩＳに含まれる右肘Ｃに対応する位置座標ＰＣに基づいて、当該右肘Ｃの移動速度である右肘速度を算出してもよい。なお、この場合、ステップＳ３２において、実行装置２１は、ステップＳ３１で算出した右肘速度に基づいて、ノイズデータを特定すればよい。すなわち、ステップＳ３１において算出する特定部位速度に合わせて、ステップＳ３２において特定するノイズデータは変更すればよい。また、同様に、ステップＳ３１において算出する特定部位速度に合わせて、ステップＳ３３において生成する代替データは変更すればよい。

【0052】

・例えば、ステップＳ３４において、認識対象情報ＩＲの生成の仕方は変更してもよい。具体例として、実行装置２１は、ステップＳ２４で特定した作業者の骨格情報ＩＳのうち、右手ノイズデータＤＮＤを除く一方で、右手代替データＤＡＤを付加せずに、認識対象情報ＩＲを生成してもよい。このとき、例えば第Ｎ時点の骨格情報ＩＳから第Ｎ時点の右手ノイズデータＤＮＤを除いた場合、実行装置２１は、第１時点の骨格情報ＩＳから第Ｎ－１時点の骨格情報ＩＳまでの情報を、認識対象情報ＩＲとして生成してもよい。すなわち、実行装置２１は、必ずしも右手代替データＤＡＤを付加しなくてもよい。なお、同様に、実行装置２１は、必ずしも左手代替データＤＡＨを付加しなくてもよい。この場合、ステップＳ３３の処理を省略できる。

【0053】

具体例として、実行装置２１は、ステップＳ２４で特定した作業者の骨格情報ＩＳを、認識対象情報ＩＲとして生成してもよい。すなわち、実行装置２１は、必ずしも右手ノイズデータＤＮＤを除かなくてもよい。なお、同様に、実行装置２１は、必ずしも左手ノイズデータＤＮＨを除かなくてもよい。この場合、ステップＳ３２の処理を省略できる。

【0054】

・例えば、ステップＳ７２において、報知の仕方は変更してもよい。具体例として、実行装置２１は、ディスプレイ５０において表示する報知に代えて、又は加えて、例えばスピーカーで音を発生する報知を実行してもよい。

【0055】

・上記実施形態において、行動認識システム１０の構成は変更してもよい。
例えば、写像データ２２Ｂで記述された写像の活性化関数は例示であり、写像の活性化関数は変更してもよい。

【0056】

・例えば、写像データ２２Ｂで記述された写像としては、中間層の数が１層のニューラルネットワークを例示したが、中間層の数が２層以上であってもよい。
・例えば、写像データ２２Ｂで記述された写像のニューラルネットワークとして、全結合順伝搬型のニューラルネットワークを例示したが、これに限らない。具体例として、ニューラルネットワークは、回帰結合型ニューラルネットワークであってもよい。また、例えば、写像としての関数近似器は、ニューラルネットワークに限らない。具体例として、写像は、中間層を備えない回帰式であってもよい。

【0057】

・例えば、コンピュータ２０は変更してもよい。具体例として、コンピュータ２０は、ＣＰＵによりソフトウェア処理を実行するものに限らない。一例としては、上記実施形態においてソフトウェア処理されたものの少なくとも一部をハードウェア処理する、例えばＡＳＩＣ等の専用のハードウェア回路を備えてもよい。すなわち、コンピュータ２０は、以下の（ａ）～（ｃ）のいずれかの構成であればよい。（ａ）上記処理の全てを、プログラムに従って実行する処理装置と、プログラムを記憶するＲＯＭ等のプログラム格納装置とを備える。（ｂ）上記処理の一部をプログラムに従って実行する処理装置およびプログラム格納装置と、残りの処理を実行する専用のハードウェア回路とを備える。（ｃ）上記処理の全てを実行する専用のハードウェア回路を備える。ここで、処理装置およびプログラム格納装置を備えたソフトウェア実行装置や、専用のハードウェア回路は複数であってもよい。

【符号の説明】

【0058】

ＤＰ…映像データ ＩＳ…骨格情報 １０…行動認識システム ２０…コンピュータ ２１…実行装置 ２２…記憶装置 ２２Ａ…行動認識プログラム ２２Ｂ…写像データ ３０…入力デバイス ４０…カメラ ５０…ディスプレイ

【図1】

【図2】

【図3】