特開 2024-14119 作業認識装置、作業認識方法、及び作業認識プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024014119

(43)【公開日】2024-02-01

(54)【発明の名称】作業認識装置、作業認識方法、及び作業認識プログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20240125BHJP

【ＦＩ】

G06T7/20 300A

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022116725

(22)【出願日】2022-07-21

(71)【出願人】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】西行 健太

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA02

5L096DA02

5L096GA34

5L096HA04

5L096HA09

5L096JA09

5L096KA04

(57)【要約】

【課題】機械学習を用いて作業者の作業を認識する場合と比較して、簡単な構成で作業の種類を認識することができる。
【解決手段】作業認識装置は、作業者が予め定めた一連の作業を複数回行ったときの動きに関する動き情報を取得する動き情報取得部と、１周期分の前記一連の作業の各作業の種類を教示する教示データを取得する教示データ取得部と、前記動き情報及び前記教示データに基づいて、複数回行った前記一連の作業の各作業の種類を認識する認識部と、認識結果を出力する出力部と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

作業者が予め定めた一連の作業を複数回行ったときの動きに関する動き情報を取得する動き情報取得部と、
１周期分の前記一連の作業の各作業の種類を教示する教示データを取得する教示データ取得部と、
前記動き情報及び前記教示データに基づいて、複数回行った前記一連の作業の各作業の種類を認識する認識部と、
認識結果を出力する出力部と、
を備えた作業認識装置。

【請求項2】

前記認識部は、
前記一連の作業が開始されるタイミングで前記作業者の身体の一部が通過する領域である注目領域を設定する注目領域設定部と、
前記動き情報に基づいて、前記作業者の動作ベクトル系列を算出する動作ベクトル系列算出部と、
前記動作ベクトル系列に基づいて、前記作業者の体の一部が前記注目領域に出現したタイミングを前記一連の作業の作業周期の始点として推定する推定部と、
前記教示データが示す作業周期と、推定した前記作業周期の始点で区切られた各作業周期と、に基づいて、各作業周期における各作業の種類を特定する特定部と、
を含む請求項１記載の作業認識装置。

【請求項3】

前記特定部は、前記教示データが示す作業周期と、推定した前記作業周期の始点で区切られた各作業周期と、の時間的アライメントを行うことにより、各作業周期における各作業の種類を特定する
請求項２記載の作業認識装置。

【請求項4】

前記特定部は、前記教示データが示す作業周期と、前記推定部により推定された各作業周期の中から選択した代表作業周期と、に基づいて、前記代表作業周期における各作業の種類を特定し、特定した各作業の種類を教示データとして、前記代表作業周期以外の作業周期における各作業の種類を特定する
請求項２又は請求項３記載の作業認識装置。

【請求項5】

前記特定部は、前記推定部により推定された各作業周期の中から、作業周期の長さが中央値である作業周期を前記代表作業周期として選択する
請求項４記載の作業認識装置。

【請求項6】

前記作業者が複数の場合、前記特定部は、作業者毎に前記代表作業周期を選択する
請求項４記載の作業認識装置。

【請求項7】

コンピュータが、
作業者が予め定めた一連の作業を複数回行ったときの動きに関する動き情報を取得し、 １周期分の前記一連の作業の各作業の種類を教示する教示データを取得し、
前記動き情報及び前記教示データに基づいて、複数回行った前記一連の作業の各作業の種類を認識し、
認識結果を出力する、
ことを含む処理を実行する作業認識方法。

【請求項8】

コンピュータに、
作業者が予め定めた一連の作業を複数回行ったときの動きに関する動き情報を取得し、 １周期分の前記一連の作業の各作業の種類を教示する教示データを取得し、
前記動き情報及び前記教示データに基づいて、複数回行った前記一連の作業の各作業の種類を認識し、
認識結果を出力する、
ことを含む処理を実行させる作業認識プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

開示の技術は、作業認識装置、作業認識方法、及び作業認識プログラムに関する。

【背景技術】

【0002】

特許文献１には、画像データを入力とした画像認識により、前記画像データに写る人物の関節位置を示す特徴点データを含む骨格データを取得する骨格抽出部、前記骨格データごとに姿勢ラベルが対応づけられている姿勢モデルの記憶部、前記骨格抽出部が取得した前記骨格データをもとに、前記姿勢モデルに予め決められた前記姿勢ラベルから、前記画像データに写る人物の姿勢を判別する姿勢推定部、前記骨格データごとに入力された正解ラベルである前記姿勢ラベルを学習データとして前記姿勢モデルを機械学習する姿勢学習部、前記画像データの一部として定義された背景領域に写る背景前記画像データごとに、入力された正解ラベルである背景ラベルを学習データとして背景モデルを機械学習する背景定義部、前記背景モデルを用いた機械学習の推論により、背景前記画像データを入力として前記背景ラベルを出力する背景推定部、前記画像データの一部として定義された特徴点領域の座標と、特徴点領域内か否かを判定するための特徴点データと、領域ラベルとを対応づけた領域モデルを定義する領域定義部、前記骨格抽出部が取得した前記骨格データの特徴点データが前記領域モデルの特徴点領域内に存在するときに、対応する前記領域ラベルを出力する領域推定部としてコンピュータを機能させ、前記姿勢推定部は、さらに、前記姿勢モデルを用いた機械学習の推論により、前記骨格データを入力として前記姿勢ラベルを出力することを特徴とする姿勢分析プログラムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６８２５０４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記特許文献１記載の技術では、機械学習を用いて作業者の作業を認識するが、作業の現場によって作業の状況は様々に変化するため、精度良く作業者の作業を認識するためには、大量の学習データが必要となる。

【0005】

しかしながら、そのような大量の学習データを収集することは困難である、という問題があった。

【0006】

開示の技術は、上記の点に鑑みてなされたものであり、機械学習を用いて作業者の作業を認識する場合と比較して、簡単な構成で作業の種類を認識することができる作業認識装置、作業認識方法、及び作業認識プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

開示の第１態様は、作業認識装置であって、作業者が予め定めた一連の作業を複数回行ったときの動きに関する動き情報を取得する動き情報取得部と、１周期分の前記一連の作業の各作業の種類を教示する教示データを取得する教示データ取得部と、前記動き情報及び前記教示データに基づいて、複数回行った前記一連の作業の各作業の種類を認識する認識部と、認識結果を出力する出力部と、を備える。

【0008】

開示の第２態様は、上記第１態様において、前記認識部は、前記一連の作業が開始されるタイミングで前記作業者の身体の一部が通過する領域である注目領域を設定する注目領域設定部と、前記動き情報に基づいて、前記作業者の動作ベクトル系列を算出する動作ベクトル系列算出部と、前記動作ベクトル系列に基づいて、前記作業者の体の一部が前記注目領域に出現したタイミングを前記一連の作業の作業周期の始点として推定する推定部と、前記教示データが示す作業周期と、推定した前記作業周期の始点で区切られた各作業周期と、に基づいて、各作業周期における各作業の種類を特定する特定部と、を含む。

【0009】

開示の第３態様は、上記第２態様において、前記特定部は、前記教示データが示す作業周期と、推定した前記作業周期の始点で区切られた各作業周期と、の時間的アライメントを行うことにより、各作業周期における各作業の種類を特定する。

【0010】

開示の第４態様は、上記第２態様又は第３態様において、前記特定部は、前記教示データが示す作業周期と、前記推定部により推定された各作業周期の中から選択した代表作業周期と、に基づいて、前記代表作業周期における各作業の種類を特定し、特定した各作業の種類を教示データとして、前記代表作業周期以外の作業周期における各作業の種類を特定する。

【0011】

開示の第５態様は、上記第４態様において、前記特定部は、前記推定部により推定された各作業周期の中から、作業周期の長さが中央値である作業周期を前記代表作業周期として選択する。

【0012】

開示の第６態様は、上記第４態様又は第５態様において、前記作業者が複数の場合、前記特定部は、作業者毎に前記代表作業周期を選択する。

【0013】

開示の第７態様は、作業認識方法であって、コンピュータが、作業者が予め定めた一連の作業を複数回行ったときの動きに関する動き情報を取得し、１周期分の前記一連の作業の各作業の種類を教示する教示データを取得し、前記動き情報及び前記教示データに基づいて、複数回行った前記一連の作業の各作業の種類を認識し、認識結果を出力する、ことを含む処理を実行する。

【0014】

開示の第８態様は、作業認識プログラムであって、コンピュータに、作業者が予め定めた一連の作業を複数回行ったときの動きに関する動き情報を取得し、１周期分の前記一連の作業の各作業の種類を教示する教示データを取得し、前記動き情報及び前記教示データに基づいて、複数回行った前記一連の作業の各作業の種類を認識し、認識結果を出力する、ことを含む処理を実行させる。

【発明の効果】

【0015】

開示の技術によれば、機械学習を用いて作業者の作業を認識する場合と比較して、簡単な構成で作業の種類を認識することができる。

【図面の簡単な説明】

【0016】

【図1】作業認識システムの構成図である。

【図2】作業認識装置のハードウェア構成を示す構成図である。

【図3】作業認識装置の機能ブロック図である。

【図4】作業の種類について説明するための図である。

【図5】教示データの一例を示す図である。

【図6】注目領域について説明するための図である。

【図7】始点の推定について説明するための図である。

【図8】終点の推定について説明するための図である。

【図9】時間的アライメントについて説明するための図である。

【図10】時間的アライメントについて説明するための図である。

【図11】作業認識処理のフローチャートである。

【発明を実施するための形態】

【0017】

以下、本発明の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されている場合があり、実際の比率とは異なる場合がある。

【0018】

図１は、作業認識システム１０の構成を示す。作業認識システム１０は、作業認識装置２０及びカメラ３０を備える。

【0019】

作業認識装置２０は、カメラ３０で撮影された動画像に基づいて、作業者Ｗが行った一連の作業の各作業の種類を認識する。

【0020】

作業者Ｗは、一例として作業台ＴＢに載置された作業の対象物Ｍを取り出して、作業スペースＳで予め定めた一連の作業を行う。作業者Ｗが行う一連の作業は、例えば部品の把持、運搬、組み立て、検査、ドライバによるねじ締め、及びラベル貼り等、１つの作業周期に多様な動作が含まれる作業である。

【0021】

カメラ３０は、例えばＲＧＢのカラー動画像を撮影可能な撮影装置である。カメラ３０は、作業者Ｗの動き及び作業台ＴＢ全体を認識しやすい位置に設置される。

【0022】

また、本実施形態では、カメラ３０が１台の場合について説明するが、複数台のカメラ３０を設けた構成としてもよい。

【0023】

図２は、本実施形態に係る作業認識装置２０のハードウェア構成を示すブロック図である。図２に示すように、作業認識装置２０は、コントローラ２１を備える。コントローラ２１は、一般的なコンピュータを含む装置で構成される。

【0024】

図２に示すように、コントローラ２１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１Ａ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１Ｂ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１Ｃ、及び入出力インターフェース（Ｉ／Ｏ）２１Ｄを備える。そして、ＣＰＵ２１Ａ、ＲＯＭ２１Ｂ、ＲＡＭ２１Ｃ、及びＩ／Ｏ２１Ｄがバス２１Ｅを介して各々接続されている。バス２１Ｅは、コントロールバス、アドレスバス、及びデータバスを含む。

【0025】

また、Ｉ／Ｏ２１Ｄには、操作部２２、表示部２３、通信部２４、及び記憶部２５が接続されている。

【0026】

操作部２２は、例えばマウス及びキーボードを含んで構成される。

【0027】

表示部２３は、例えば液晶ディスプレイ等で構成される。

【0028】

通信部２４は、カメラ３０等の外部装置とデータ通信を行うためのインターフェースである。

【0029】

記憶部２５は、ハードディスク等の不揮発性の外部記憶装置で構成される。図２に示すように、記憶部２５は、作業認識プログラム２５Ａ、教示データ２５Ｂ、及び注目領域データ２５Ｃ等を記憶する。

【0030】

ＣＰＵ２１Ａは、コンピュータの一例である。ここでいうコンピュータとは、広義的なプロセッサを指し、汎用的なプロセッサ（例えば、ＣＰＵ）、又は、専用のプロセッサ（例えば、ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、プログラマブル論理デバイス、等）を含むものである。

【0031】

なお、作業認識プログラム２５Ａは、不揮発性の非遷移的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記録媒体に記憶して、又はネットワークを介して配布して、作業認識装置２０に適宜インストールすることで実現してもよい。

【0032】

不揮発性の非遷移的記録媒体の例としては、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、光磁気ディスク、ＨＤＤ（ハードディスクドライブ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード等が想定される。

【0033】

図３は、作業認識装置２０のＣＰＵ２１Ａの機能構成を示すブロック図である。図３に示すように、ＣＰＵ２１Ａは、機能的には、動き情報取得部４０、教示データ取得部４１、認識部４２、及び出力部４３の各機能部を備える。

【0034】

ＣＰＵ２１Ａは、記憶部２５に記憶された作業認識プログラム２５Ａを読み込んで実行することにより図３に示す各機能部として機能する。

【0035】

動き情報取得部４０は、作業者Ｗが予め定めた一連の作業を複数回行ったときの動きに関する動き情報を取得する。具体的には、作業者Ｗが予め定めた一連の作業を行った様子をカメラ３０によって撮影された動画像を動き情報として記憶部２５に記憶しておく。そして、動き情報取得部４０は、記憶部２５に記憶された動画像を読み出すことにより取得する。なお、カメラ３０に代えて、モーションセンサ等を用いて作業者Ｗの動き情報を取得してもよい。

【0036】

教示データ取得部４１は、１周期分の一連の作業の各作業の種類を教示する教示データ２５Ｂを記憶部２５から読み出すことにより取得する。教示データ２５Ｂは、例えば標準的な作業者Ｗが一連の作業を行った場合の各作業の種類を表すラベルの時系列データである。

【0037】

本実施形態では、図４に示すように、一例として一連の作業が作業０、作業１、作業２の３種類の作業を順次行う作業である場合について説明する。例えば作業０は、箱に貼付されたバーコードをバーコードリーダで読み取る作業である（作業開始）。作業１は、バーコードの読み取り結果に従って、箱に対して封をする等の作業である。作業２は、バーコードリーダで再度バーコードを読み取る作業である（作業終了）。そして、教示データ２５Ｂが、図５に示すように、作業の種類を示すラベルの時系列データ（０、０、１、１、１、２、２、２）である場合について説明する。なお、時系列データは、予め定めた単位フレーム期間ｔ毎に作業をラベル付けしたデータである。従って、図５に示す教示データ２５Ｂの場合、作業０はｔ×２時間、作業１、２はｔ×３時間ずつ要したことになる。

【0038】

認識部４２は、動き情報取得部４０が取得した動画像及び教示データ取得部４１が取得した教示データ２５Ｂに基づいて、複数回行った一連の作業の各作業の種類を認識する。

【0039】

認識部４２は、注目領域設定部４４、動作ベクトル系列算出部４５、推定部４６、及び特定部４７を備える。

【0040】

注目領域設定部４４は、一連の作業が開始されるタイミングで作業者Ｗの身体の一部が通過する領域である注目領域を設定する。具体的には、記憶部２５に記憶された注目領域データ２５Ｃに基づいて注目領域を設定する。図６に注目領域の設定例を示す。図６の例では、動画像の撮影範囲５０の一部に注目領域５２が設定されている。注目領域５２は、一例として作業者Ｗが一連の作業を開始するタイミングで作業者Ｗの手首が通過する領域として設定されている。この注目領域は事前に設定され、撮影範囲５０に対する注目領域５２の位置及び範囲を示す注目領域データ２５Ｃとして予め記憶部２５に記憶される。

【0041】

動作ベクトル系列算出部４５は、動き情報取得部４０が取得した動画像に基づいて、作業者Ｗの動作ベクトル系列を算出する。動作ベクトル系列は姿勢系列の一例であり、骨格系列に対して動作特徴量抽出処理を適用することにより得られる動作特徴量の系列データである。

【0042】

具体的には、動作ベクトル系列算出部４５は、背景及び作業者Ｗの服装等に影響を受けないようにするため、動画像に基づいて作業者Ｗの姿勢の推定を行い、推定した姿勢を骨格系列に変換する。

【0043】

作業者Ｗの姿勢を推定し、推定した姿勢を骨格系列に変換する手法としては、下記参考文献１に記載されたＯｐｅｎＰｏｓｅと呼ばれる公知の手法を用いることができる。骨格系列は、作業者Ｗの体の部位及び関節等の特徴点の座標と、各特徴点を接続するリンクが定義されたリンク情報と、特徴点の身体の部位を表すラベルと、を含む時系列のデータである。例えば特徴点は、作業者Ｗの目及び鼻等の顔の部位、首、肩、肘、手首、腰、膝、及び足首等の関節等を含む。

【0044】

ＯｐｅｎＰｏｓｅでは、動画像を入力とし、骨格系列を出力とする学習モデルを、多数の動画像を教師データとして学習した学習済みモデルを用いる。このような学習済みモデルを得る学習方法としては、例えばＣＮＮ（Ｒｅｇｉｏｎｓ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）等の公知の方法が用いられる。

【0045】

（参考文献１） "OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", Zhe Cao, Student Member, IEEE, Gines Hidalgo, Student Member, IEEE, Tomas Simon, Shih-En Wei, and Yaser Sheikh, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE.

【0046】

ここで、工場の作業において、体型の異なる様々な作業者が作業を行うため、体型の違いによる影響が大きい。体型の違いに影響を受けることがないように、本実施形態では、下記参考文献２に記載されたＭｏｔｉｏｎＲｅｔａｒｇｅｔｉｎｇと呼ばれる手法を用いて、動画像から得られた骨格系列を、動作特徴量を表す動作ベクトル系列に変換する。

【0047】

（参考文献２）K. Aberman, R. Wu, D. Lischinski, B. Chen, and D. Cohen-Or,“Learning character-agnostic motion for motion retargeting in 2d,”TOG, vol.38, no.4, p.75, 2019.

【0048】

ＭｏｔｉｏｎＲｅｔａｒｇｅｔｉｎｇでは、骨格系列を入力として、エンコーダーを用いて、動作、体型、カメラ視点の３つの成分の特徴ベクトルを出力するが、本実施形態では、一例として体型及びカメラ視点の影響を少なくするため、動作成分の特徴ベクトルのみを用いる。

【0049】

なお、姿勢推定のノイズの影響を除くため、動作ベクトル系列への変換を行う前に、骨格系列に対して、時系列の補間処理、時系列平滑化、及び下半身の補間処理の３つの前処理を行ってもよい。

【0050】

時系列の補間処理では、姿勢推定に失敗している関節点があれば、１つ前のフレームの関節点をコピーする。時系列平滑化では、姿勢推定のノイズを除去するため、系列データに対してガウシアンフィルタで平滑化を行う。本実施形態で用いるＯｐｅｎＰｏｓｅでは、人物の上半身だけでなく、下半身の姿勢も推定する。工場における作業の場合、机上の作業台で作業することが多いため、下半身が机で遮蔽され、下半身の関節点が欠損することが多い。ＭｏｔｉｏｎＲｅｔａｒｇｅｔｉｎｇのような動作特徴量を抽出するエンコーダーは、人物の全身の骨格系列を入力とするため、下半身の関節点が欠損している場合は、動作成分の特徴ベクトルを適切に出力することができない場合がある。そのため、下半身の補完処理を行ってもよい。具体的には、下半身の補間処理として、人物の胴体の長さに比例する長さで両膝及び両足の少なくとも一方の関節点を補完してもよい。

【0051】

推定部４６は、動作ベクトル系列算出部４５が算出した動作ベクトル系列に基づいて、作業者Ｗの体の一部が注目領域に出現したタイミングを一連の作業の作業周期の始点として推定する。図６の例では、作業者Ｗの手首が注目領域５２に出現したタイミングを一連の作業の作業周期の始点として推定する。ここで、作業周期とは、作業者Ｗが繰り返し行う一連の作業の周期である。そして、作業周期の始点とは、一連の作業を開始した時点をいう。

【0052】

図７に作業周期の始点の一例を示す。図７の例では、一連の作業が複数回実行され、作業者Ｗの手首が注目領域５２に出現したタイミングを含む単位フレーム期間を始点として推定する。これにより、図７の例では、１５個の単位フレーム期間のうち４個の単位フレーム期間が始点として設定される。このため、一連の作業が４回繰り返されたと推定することができる。また、始点を推定することができれば、図８に示すように、始点の直前の単位フレーム期間及び一連の作業の最後の単位フレーム期間を終点と推定することができる。

【0053】

ここで、始点の位置ｓ及び終点の位置ｅを用いて作業周期を［ｓ，ｅ］と表すと、図８の例では、１周期目の作業周期は［０，３］と表され、２周期目の作業周期は［４，７］と表され、３周期目の作業周期は［８，１１］と表され、４周期目の作業周期は［１２，１４］と表される。

【0054】

特定部４７は、教示データ２５Ｂが示す作業周期と、推定部４６が推定した作業周期の始点で区切られた各作業周期と、の時間的アライメントを行うことにより、各作業周期における各作業の種類を特定する。すなわち、教示データ２５Ｂが示す作業周期の単位フレーム期間と、推定部４６が推定した各作業周期の各単位フレーム期間と、の時間的な対応付けを行う。

【0055】

時間的アライメントの手法としては、例えば、ハミング距離を距離関数としたＤＴＷ（Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ）を用いることができるが、これに限られるものではない。

【0056】

図９に時間的アライメントを行った結果の一例を示す。図９に示すように、教示データ２５Ｂが示す作業周期と、推定部４６が推定した１周期目の作業周期と、の時間的アライメントを行った結果、１周期目の作業周期における作業の種類を示す時系列データは、（０、１、２、２）と特定される。２～４周期目についても同様に、教示データ２５Ｂとの時間的アライメントを行うことにより、作業の種類を特定する。図９の例では、２周期目の作業の種類を表す時系列データは、（０、０、１、２）であり、３周期目の作業の種類を表す時系列データは、（０、１、２、２）であり、４周期目の作業の種類を表す時系列データは、（０、１、２）である。

【0057】

なお、複数の作業者の動画像を取得した場合は、作業者毎に上記の処理を行う。例えば図１０に示すように、５人の作業者１～５の動画像を取得した場合は、教示データ２５Ｂが示す作業周期と、作業者１の各作業周期と、の時間的アライメントを行う。作業者２～５についても同様である。

【0058】

出力部４３は、各作業の種類を認識した認識結果、すなわち各作業者が繰り返し行った一連の作業の各作業周期に含まれる各作業の種類をラベル付けした時系列データを、例えば記憶部２５に出力し、記憶する。

【0059】

次に、作業認識装置２０のＣＰＵ２１Ａで実行される作業認識処理について、図１１に示すフローチャートを参照して説明する。

【0060】

ステップＳ１００では、ＣＰＵ２１Ａが、作業者Ｗが予め定めた一連の作業を行った様子をカメラ３０によって撮影された動画像を記憶部２５から読み出すことにより取得する。

【0061】

ステップＳ１０１では、ＣＰＵ２１Ａが、１周期分の一連の作業の各作業の種類を教示する教示データ２５Ｂを記憶部２５から読み出すことによりを取得する。

【0062】

ステップＳ１０２では、ＣＰＵ２１Ａが、記憶部２５から注目領域データ２５Ｃを読出し、読み出した注目領域データ２５Ｃに基づいて、注目領域５２を設定する。

【0063】

ステップＳ１０３では、ＣＰＵ２１Ａが、ステップＳ１００で取得した動画像に基づいて、作業者Ｗの動作ベクトル系列を算出する。

【0064】

ステップＳ１０４では、ＣＰＵ２１Ａが、ステップＳ１０３で算出した動作ベクトル系列に基づいて、作業者Ｗの手首が注目領域５２に出現したタイミングを一連の作業の作業周期の始点として推定する。

【0065】

ステップＳ１０５では、ＣＰＵ２１Ａが、教示データ２５Ｂが示す作業周期と、ステップＳ１０４で推定した作業周期の始点で区切られた各作業周期と、の時間的アライメントを行うことにより、各作業周期における各作業の種類を特定する。

【0066】

ステップＳ１０６では、ＣＰＵ２１Ａが、ステップＳ１０５で特定した各作業の種類をラベル付けした時系列データを作業の認識結果として記憶部２５に出力し、記憶する。

【0067】

このように、本実施形態では、作業者が予め定めた一連の作業を複数回行ったときの動画像及び１周期分の教示データに基づいて各作業の種類を認識する。これにより、機械学習を用いて作業者の作業を認識する場合と比較して、簡単な構成で作業の種類を認識することができる。

【0068】

なお、上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。

【0069】

例えば本実施形態では、予め記憶部２５に記憶された教示データ２５Ｂのみを用いて作業の種類を認識する場合について説明したが、これに限られない。

【0070】

例えば、特定部４７は、教示データが示す作業周期と、推定部４６により推定された各作業周期の中から選択した代表作業周期と、に基づいて、代表作業周期における各作業の種類を特定し、特定した各作業の種類を教示データとして、代表作業周期以外の作業周期における各作業の種類を特定するようにしてもよい。

【0071】

ここで、特定部４７は、推定部４６により推定された各作業周期の中から、作業周期の長さが中央値である作業周期を代表作業周期として選択するようにしてもよい。例えば、一連の作業を５回行った場合に、１～５周期目の各作業期間が、ｔ×１、ｔ×４、ｔ×５、ｔ×６、ｔ×１０であったとする。この場合、中央値は３周期目のｔ×５であるため、３周期目を代表作業周期とする。そして、教示データ２５Ｂと、３周期目との時間的アライメントを行うことにより３周期目の作業の種類を特定する。次に、代表作業周期である３周期目と、代表作業周期以外の作業周期である１周期目、２周期目、４周期目、及び５周期目との時間的アライメントを各々行うことにより、１周期目、２周期目、４周期目、及び５周期目の各作業の種類を特定する。また、作業者が複数の場合、特定部４７は、作業者毎に代表作業周期を選択し、作業者毎に各作業周期の各作業の種類を特定するようにしてもよい。

【0072】

また、上各実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した作業認識処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の認識の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、作業認識処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

【符号の説明】

【0073】

１０ 作業認識システム
２０ 作業認識装置
２１ コントローラ
２５Ａ 作業認識プログラム
２５Ｂ 教示データ
２５Ｃ 注目領域データ
２５ 記憶部
３０ カメラ
４０ 動き情報取得部
４１ 教示データ取得部
４２ 認識部
４３ 出力部
４４ 注目領域設定部
４５ 動作ベクトル系列算出部
４６ 推定部
４７ 特定部
５０ 撮影範囲
５２ 注目領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】