特開 2024-14118 作業周期推定装置、作業周期推定方法、及び作業周期推定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024014118

(43)【公開日】2024-02-01

(54)【発明の名称】作業周期推定装置、作業周期推定方法、及び作業周期推定プログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20240125BHJP

   G06V 40/20 20220101ALI20240125BHJP

   G06Q 50/04 20120101ALI20240125BHJP

【ＦＩ】

G06T7/20 300Z

G06V40/20

G06Q50/04

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2022116724

(22)【出願日】2022-07-21

(71)【出願人】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】西行 健太

【テーマコード（参考）】

5L049

5L096

【Ｆターム（参考）】

5L049CC04

5L096AA06

5L096BA08

5L096BA18

5L096CA04

5L096DA02

5L096EA06

5L096EA33

5L096GA51

5L096HA11

5L096JA03

5L096JA11

5L096MA07

(57)【要約】

【課題】標準作業時間等を事前に計測することなく、作業周期の始点及び終点を推定することができる。
【解決手段】作業周期推定装置は、作業者が予め定めた一連の作業を行ったときの動きに関する動き情報を取得する動き情報取得部と、前記動き情報に基づいて、前記作業者の作業周期の始点及び終点を推定する推定部と、推定した作業周期の始点及び終点を出力する出力部と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

作業者が予め定めた一連の作業を行ったときの動きに関する動き情報を取得する動き情報取得部と、
前記動き情報に基づいて、前記作業者の作業周期の始点及び終点を推定する推定部と、
推定した作業周期の始点及び終点を出力する出力部と、
を備えた作業周期推定装置。

【請求項2】

前記推定部は、
前記動き情報に基づいて、前記作業者の骨格に基づく姿勢の変化に関する姿勢系列であって前記作業者の固有情報を除いた姿勢系列を生成する姿勢系列生成部と、
前記姿勢系列を特定の姿勢を１回含むように複数のセグメントに分割したセグメント系列を特定の姿勢毎に生成するセグメント系列生成部と、
前記特定の姿勢毎に生成した複数のセグメント系列のうち、セグメント同士の類似度が最も高いセグメント系列に含まれるセグメントの各々の先頭及び末尾を各作業周期の始点及び終点として設定する設定部と、
を含む請求項１記載の作業周期推定装置。

【請求項3】

前記姿勢系列生成部は、
前記動き情報に基づいて、前記作業者の動作ベクトル系列を算出する動作ベクトル系列算出部と、
前記動作ベクトル系列をクラスタリングしてクラス系列を生成するクラスタリング部と、
を含み、
前記セグメント系列生成部は、
複数のクラスの中から選択したクラスを先頭として前記クラス系列を複数の第１のセグメントに分割した第１のセグメント系列を前記複数のクラスの各々について生成する第１のセグメント系列生成部と、
生成された複数の第１のセグメント系列の各々について、前記複数の第１のセグメント間で共通するクラスの頻出パターンを特定する頻出パターン特定部と、
前記クラス系列を、前記頻出パターンを含む複数の第２のセグメントに分割した第２のセグメント系列を生成する第２のセグメント系列生成部と、
を含み、
前記設定部は、
生成された複数の第２のセグメント系列の各々について、複数の第２のセグメント同士の類似度に関する評価値を算出する評価値算出部と、
前記複数の第２のセグメント系列の各々について算出した評価値のうち最も高い評価値の第２のセグメント系列に含まれる第２のセグメントの各々の先頭及び末尾を各作業周期の始点及び終点として特定する特定部と、
を含む請求項２記載の作業周期推定装置。

【請求項4】

前記クラスタリング部は、前記クラス系列に対して、先頭又は末尾付近にのみ存在するクラスであって前記クラス系列の長さに対する割合が予め定めた第１の閾値以下のクラスをクラス系列から除去する
請求項３記載の作業周期推定装置。

【請求項5】

前記第２のセグメント系列生成部は、前記第２のセグメント系列に含まれる複数の第２のセグメントの周期長の１／２を第２の閾値として、前記第２の閾値以下の周期長である第２のセグメントを、１つ前の第２のセグメントに結合する
請求項３記載の作業周期推定装置。

【請求項6】

前記評価値算出部は、前記複数の第２のセグメント同士の類似度が全て予め定めた第３の閾値以下となる第２のセグメントを前記評価値の算出対象から除外する
請求項３記載の作業周期推定装置。

【請求項7】

前記第１のセグメント系列生成部は、末尾の第１のセグメントを除外した末尾除外セグメント系列と、先頭の第１のセグメントを除外した先頭除外セグメント系列と、を生成し、
前記頻出パターン特定部は、前記末尾除外セグメント系列の頻出パターンと、前記先頭除外セグメント系列の頻出パターンと、を結合した頻出パターンを前記複数の第１のセグメント間で共通するクラスの頻出パターンとして特定する
請求項３記載の作業周期推定装置。

【請求項8】

前記第２のセグメント系列生成部は、前記クラス系列を、前記頻出パターンを含む第２のセグメント候補以外のパターンを、前記パターンの後ろに隣接する前記第２のセグメント候補の先頭に付加した第２のセグメントに分割した第２のセグメント系列と、前記第２のセグメント候補以外のパターンを、前記パターンの前に隣接する前記第２のセグメント候補の末尾に付加した第２のセグメントに分割した第２のセグメント系列と、を生成する
請求項３記載の作業周期推定装置。

【請求項9】

前記姿勢系列は、前記作業者の上半身及び下半身の骨格に基づく姿勢の系列である
請求項２記載の作業周期推定装置。

【請求項10】

前記姿勢系列生成部は、カメラ視点の影響を除いた姿勢系列を生成する
請求項２記載の作業周期推定装置。

【請求項11】

前記姿勢系列生成部は、前記動き情報に基づいて前記作業者の骨格系列を生成し、生成した骨格系列に対して補間処理及び平滑化処理の少なくとも一方を行ってから前記姿勢系列を生成する
請求項２～１０の何れか１項の記載の作業周期推定装置。

【請求項12】

コンピュータが、
作業者が予め定めた一連の作業を行ったときの動きに関する動き情報を取得し、
前記動き情報に基づいて、前記作業者の作業周期の始点及び終点を推定し、
推定した作業周期の始点及び終点を出力する、
ことを含む処理を実行する作業周期推定方法。

【請求項13】

コンピュータに、
作業者が予め定めた一連の作業を行ったときの動きに関する動き情報を取得し、
前記動き情報に基づいて、前記作業者の作業周期の始点及び終点を推定し、
推定した作業周期の始点及び終点を出力する、
ことを含む処理を実行させる作業周期推定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

開示の技術は、作業周期推定装置、作業周期推定方法、及び作業周期推定プログラムに関する。

【背景技術】

【0002】

特許文献１には、第１工程を繰り返す作業者の動作を示す時系列データから、第１モチーフ及び第２モチーフを抽出し、前記時系列データに繰り返し現れる前記第１モチーフ及び前記第２モチーフをそれぞれ追跡し、追跡された複数の前記第１モチーフと複数の前記第２モチーフとの間のそれぞれの間隔を用いて、前記時系列データにおける前記第１工程以外の時間を分析する、分析装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－３４９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記特許文献１記載の技術では、予め入力された標準作業時間を元にパーティクルフィルタを用いてモチーフを追跡するため、標準作業時間を事前に計測する必要がある、という問題があった。

【0005】

開示の技術は、上記の点に鑑みてなされたものであり、標準作業時間等を事前に計測することなく、作業周期の始点及び終点を推定することができる作業周期推定装置、作業周期推定方法、及び作業周期推定プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

開示の第１態様は、作業周期推定装置であって、作業者が予め定めた一連の作業を行ったときの動きに関する動き情報を取得する動き情報取得部と、前記動き情報に基づいて、前記作業者の作業周期の始点及び終点を推定する推定部と、推定した作業周期の始点及び終点を出力する出力部と、を備える。

【0007】

開示の第２態様は、上記第１態様において、前記推定部は、前記動き情報に基づいて、前記作業者の骨格に基づく姿勢の変化に関する姿勢系列であって前記作業者の固有情報を除いた姿勢系列を生成する姿勢系列生成部と、前記姿勢系列を特定の姿勢を１回含むように複数のセグメントに分割したセグメント系列を特定の姿勢毎に生成するセグメント系列生成部と、前記特定の姿勢毎に生成した複数のセグメント系列のうち、セグメント同士の類似度が最も高いセグメント系列に含まれるセグメントの各々の先頭及び末尾を各作業周期の始点及び終点として設定する設定部と、を含む。

【0008】

開示の第３態様は、上記第２態様において、前記姿勢系列生成部は、前記動き情報に基づいて、前記作業者の動作ベクトル系列を算出する動作ベクトル系列算出部と、前記動作ベクトル系列をクラスタリングしてクラス系列を生成するクラスタリング部と、を含み、前記セグメント系列生成部は、複数のクラスの中から選択したクラスを先頭として前記クラス系列を複数の第１のセグメントに分割した第１のセグメント系列を前記複数のクラスの各々について生成する第１のセグメント系列生成部と、生成された複数の第１のセグメント系列の各々について、前記複数の第１のセグメント間で共通するクラスの頻出パターンを特定する頻出パターン特定部と、前記クラス系列を、前記頻出パターンを含む複数の第２のセグメントに分割した第２のセグメント系列を生成する第２のセグメント系列生成部と、を含み、前記設定部は、生成された複数の第２のセグメント系列の各々について、複数の第２のセグメント同士の類似度に関する評価値を算出する評価値算出部と、前記複数の第２のセグメント系列の各々について算出した評価値のうち最も高い評価値の第２のセグメント系列に含まれる第２のセグメントの各々の先頭及び末尾を各作業周期の始点及び終点として特定する特定部と、を含む構成としてもよい。

【0009】

開示の第４態様は、上記第３態様において、前記クラスタリング部は、前記クラス系列に対して、先頭又は末尾付近にのみ存在するクラスであって前記クラス系列の長さに対する割合が予め定めた第１の閾値以下のクラスをクラス系列から除去する。

【0010】

開示の第５態様は、上記第３態様又は第４態様において、前記第２のセグメント系列生成部は、前記第２のセグメント系列に含まれる複数の第２のセグメントの周期長の１／２を第２の閾値として、前記第２の閾値以下の周期長である第２のセグメントを、１つ前の第２のセグメントに結合する。

【0011】

開示の第６態様は、上記第３～第５態様の何れかの態様において、前記評価値算出部は、前記複数の第２のセグメント同士の類似度が全て予め定めた第３の閾値以下となる第２のセグメントを前記評価値の算出対象から除外する。

【0012】

開示の第７態様は、上記第３～第６態様の何れかの態様において、前記第１のセグメント系列生成部は、末尾の第１のセグメントを除外した末尾除外セグメント系列と、先頭の第１のセグメントを除外した先頭除外セグメント系列と、を生成し、前記頻出パターン特定部は、前記末尾除外セグメント系列の頻出パターンと、前記先頭除外セグメント系列の頻出パターンと、を結合した頻出パターンを前記複数の第１のセグメント間で共通するクラスの頻出パターンとして特定するようにしてもよい。

【0013】

開示の第８態様は、上記第３～第７態様の何れかの態様において、前記第２のセグメント系列生成部は、前記クラス系列を、前記頻出パターンを含む第２のセグメント候補以外のパターンを、前記パターンの後ろに隣接する前記第２のセグメント候補の先頭に付加した第２のセグメントに分割した第２のセグメント系列と、前記第２のセグメント候補以外のパターンを、前記パターンの前に隣接する前記第２のセグメント候補の末尾に付加した第２のセグメントに分割した第２のセグメント系列と、を生成するようにしてもよい。

【0014】

開示の第９態様は、上記第２～第８態様の何れかの態様において、前記姿勢系列は、前記作業者の上半身及び下半身の骨格に基づく姿勢の系列である。

【0015】

開示の第１０態様は、上記第２～第９態様の何れかの態様において、前記姿勢系列生成部は、カメラ視点の影響を除いた姿勢系列を生成する。

【0016】

開示の第１１態様は、上記第２～第１０態様の何れかの態様において、前記姿勢系列生成部は、前記動き情報に基づいて前記作業者の骨格系列を生成し、生成した骨格系列に対して補間処理及び平滑化処理の少なくとも一方を行ってから前記姿勢系列を生成する。

【0017】

開示の第１２態様は、作業周期推定方法であって、コンピュータが、作業者が予め定めた一連の作業を行ったときの動きに関する動き情報を取得し、前記動き情報に基づいて、前記作業者の作業周期の始点及び終点を推定し、推定した作業周期の始点及び終点を出力する、ことを含む処理を実行する。

【0018】

開示の第１３態様は、作業周期推定プログラムであって、コンピュータに、作業者が予め定めた一連の作業を行ったときの動きに関する動き情報を取得し、前記動き情報に基づいて、前記作業者の作業周期の始点及び終点を推定し、推定した作業周期の始点及び終点を出力する、ことを含む処理を実行させる。

【発明の効果】

【0019】

開示の技術によれば、標準作業時間等を事前に計測することなく、作業周期の始点及び終点を推定することができる。

【図面の簡単な説明】

【0020】

【図1】作業周期推定システムの構成図である。

【図2】作業周期推定装置のハードウェア構成を示す構成図である。

【図3】作業周期推定装置の機能ブロック図である。

【図4】クラス系列の一例を示す図である。

【図5】第１のセグメント系列について説明するための図である。

【図6】第２のセグメント系列について説明するための図である。

【図7】第２のセグメント系列について説明するための図である。

【図8】作業周期の始点及び終点について説明するための図である。

【図9】作業周期推定処理のフローチャートである。

【発明を実施するための形態】

【0021】

以下、本発明の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されている場合があり、実際の比率とは異なる場合がある。

【0022】

図１は、作業周期推定システム１０の構成を示す。作業周期推定システム１０は、作業周期推定装置２０及びカメラ３０を備える。

【0023】

作業周期推定装置２０は、カメラ３０で撮影された動画像に基づいて、作業者Ｗが行った作業の作業周期の始点及び終点を推定する。

【0024】

作業者Ｗは、一例として作業台ＴＢに載置された作業の対象物Ｍを取り出して、作業スペースＳで予め定めた一連の作業を行う。作業者Ｗが行う一連の作業は、例えば部品の把持、運搬、組み立て、検査、ドライバによるねじ締め、及びラベル貼り等、１つの作業周期に多様な動作が含まれる作業である。

【0025】

カメラ３０は、例えばＲＧＢのカラー動画像を撮影可能な撮影装置である。カメラ３０は、作業者Ｗの動き及び作業台ＴＢ全体を認識しやすい位置に設置される。

【0026】

また、本実施形態では、カメラ３０が１台の場合について説明するが、複数台のカメラ３０を設けた構成としてもよい。

【0027】

図２は、本実施形態に係る作業周期推定装置２０のハードウェア構成を示すブロック図である。図２に示すように、作業周期推定装置２０は、コントローラ２１を備える。コントローラ２１は、一般的なコンピュータを含む装置で構成される。

【0028】

図２に示すように、コントローラ２１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１Ａ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１Ｂ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１Ｃ、及び入出力インターフェース（Ｉ／Ｏ）２１Ｄを備える。そして、ＣＰＵ２１Ａ、ＲＯＭ２１Ｂ、ＲＡＭ２１Ｃ、及びＩ／Ｏ２１Ｄがバス２１Ｅを介して各々接続されている。バス２１Ｅは、コントロールバス、アドレスバス、及びデータバスを含む。

【0029】

また、Ｉ／Ｏ２１Ｄには、操作部２２、表示部２３、通信部２４、及び記憶部２５が接続されている。

【0030】

操作部２２は、例えばマウス及びキーボードを含んで構成される。

【0031】

表示部２３は、例えば液晶ディスプレイ等で構成される。

【0032】

通信部２４は、カメラ３０等の外部装置とデータ通信を行うためのインターフェースである。

【0033】

記憶部２５は、ハードディスク等の不揮発性の外部記憶装置で構成される。図２に示すように、記憶部２５は、作業周期推定プログラム２５Ａ等を記憶する。

【0034】

ＣＰＵ２１Ａは、コンピュータの一例である。ここでいうコンピュータとは、広義的なプロセッサを指し、汎用的なプロセッサ（例えば、ＣＰＵ）、又は、専用のプロセッサ（例えば、ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、プログラマブル論理デバイス、等）を含むものである。

【0035】

なお、作業周期推定プログラム２５Ａは、不揮発性の非遷移的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記録媒体に記憶して、又はネットワークを介して配布して、作業周期推定装置２０に適宜インストールすることで実現してもよい。

【0036】

不揮発性の非遷移的記録媒体の例としては、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、光磁気ディスク、ＨＤＤ（ハードディスクドライブ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード等が想定される。

【0037】

図３は、作業周期推定装置２０のＣＰＵ２１Ａの機能構成を示すブロック図である。図３に示すように、ＣＰＵ２１Ａは、機能的には、動き情報取得部４０、推定部４１、及び出力部４２の各機能部を備える。

【0038】

ＣＰＵ２１Ａは、記憶部２５に記憶された作業周期推定プログラム２５Ａを読み込んで実行することにより図３に示す各機能部として機能する。

【0039】

動き情報取得部４０は、作業者Ｗが予め定めた一連の作業を行ったときの動きに関する動き情報を取得する。具体的には、作業者Ｗが予め定めた一連の作業を行った様子をカメラ３０によって撮影された動画像を動き情報として記憶部２５に記憶しておく。そして、動き情報取得部４０は、記憶部２５に記憶された動画像を読み出すことにより取得する。なお、カメラ３０に代えて、モーションセンサ等を用いて作業者Ｗの動き情報を取得してもよい。

【0040】

推定部４１は、動き情報取得部４０が取得した動画像に基づいて、作業者Ｗの作業周期の始点及び終点を推定する。ここで、作業周期とは、作業者Ｗが繰り返し行う一連の作業の周期である。そして、作業周期の始点とは、一連の作業を開始した時点をいい、作業周期の終点とは、一連の作業を終了した時点をいう。

【0041】

推定部４１は、姿勢系列生成部４１Ａ、セグメント系列生成部４１Ｂ、及び設定部４１Ｃを含む。

【0042】

姿勢系列生成部４１Ａは、４０が取得した動画像に基づいて、作業者Ｗの骨格に基づく姿勢の変化に関する姿勢系列であって作業者Ｗの固有情報を除いた姿勢系列を生成する。姿勢系列生成部４１Ａは、動作ベクトル系列算出部４３及びクラスタリング部４４を備える。

【0043】

セグメント系列生成部４１Ｂは、姿勢系列生成部４１Ａが生成した姿勢系列を特定の姿勢を１回含むように複数のセグメントに分割したセグメント系列を特定の姿勢（キーアクション）毎に生成する。セグメント系列生成部４１Ｂは、第１のセグメント系列生成部４５、頻出パターン特定部４６、及び第２のセグメント系列生成部４７を備える。

【0044】

設定部４１Ｃは、セグメント系列生成部４１Ｂが特定の姿勢毎に生成した複数のセグメント系列のうち、セグメント同士の類似度が最も高いセグメント系列に含まれるセグメントの各々の先頭及び末尾を各作業周期の始点及び終点として設定する。設定部４１Ｃは、評価値算出部４８及び特定部４９を備える。

【0045】

動作ベクトル系列算出部４３は、動き情報取得部４０が取得した動画像に基づいて、作業者Ｗの動作ベクトル系列を算出する。動作ベクトル系列は姿勢系列の一例であり、骨格系列に対して動作特徴量抽出処理を適用することにより得られる動作特徴量の系列データである。

【0046】

具体的には、動作ベクトル系列算出部４３は、背景及び作業者Ｗの服装等の固有情報に影響を受けないようにするため、動画像に基づいて作業者Ｗの姿勢の推定を行い、推定した姿勢を骨格系列に変換する。

【0047】

作業者Ｗの姿勢を推定し、推定した姿勢を骨格系列に変換する手法としては、下記参考文献１に記載されたＯｐｅｎＰｏｓｅと呼ばれる公知の手法を用いることができる。骨格系列は、作業者Ｗの体の部位及び関節等の特徴点の座標と、特徴点の身体の部位を表すラベルと、を含む時系列のデータである。例えば特徴点は、作業者Ｗの目及び鼻等の顔の部位、首、肩、肘、手首、腰、膝、及び足首等の関節等を含む。

【0048】

ＯｐｅｎＰｏｓｅでは、動画像を入力とし、骨格系列を出力とする学習モデルを、多数の動画像を教師データとして学習した学習済みモデルを用いる。このような学習済みモデルを得る学習方法としては、例えばＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）等の公知の方法が用いられる。

【0049】

（参考文献１） "OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", Zhe Cao, Student Member, IEEE, Gines Hidalgo, Student Member, IEEE, Tomas Simon, Shih-En Wei, and Yaser Sheikh, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE.

【0050】

ここで、工場の作業において、体型の異なる様々な作業者が作業を行うため、体型の違いによる影響が大きい。体型の違いに影響を受けることがないように、本実施形態では、下記参考文献２に記載されたＭｏｔｉｏｎＲｅｔａｒｇｅｔｉｎｇと呼ばれる手法を用いて、動画像から得られた骨格系列を、動作特徴量を表す動作ベクトル系列に変換する。

【0051】

（参考文献２）K. Aberman, R. Wu, D. Lischinski, B. Chen, and D. Cohen-Or,“Learning character-agnostic motion for motion retargeting in 2d,”TOG, vol.38, no.4, p.75, 2019.

【0052】

ＭｏｔｉｏｎＲｅｔａｒｇｅｔｉｎｇでは、骨格系列を入力として、エンコーダーを用いて、動作、体型、カメラ視点の３つの成分の特徴ベクトル、すなわち動作特徴量を出力するが、本実施形態では、一例として体型及びカメラ視点の影響を除くため、動作成分の特徴ベクトルのみを用いる。

【0053】

なお、姿勢推定のノイズの影響を除くため、動作ベクトル系列への変換を行う前に、骨格系列に対して、時系列の補間処理、時系列平滑化処理、及び下半身の補間処理の３つの前処理のうち少なくとも１つを行ってもよい。

【0054】

時系列の補間処理では、姿勢推定に失敗している関節点があれば、１つ前のフレームの関節点をコピーする。時系列平滑化処理では、姿勢推定のノイズを除去するため、系列データに対してガウシアンフィルタで平滑化処理を行う。本実施形態で用いるＯｐｅｎＰｏｓｅでは、人物の上半身だけでなく、下半身の姿勢も推定する。すなわち、作業者Ｗの上半身及び下半身の骨格に基づく姿勢の系列を推定する。工場における作業の場合、机上の作業台で作業することが多いため、下半身が机で遮蔽され、下半身の関節点が欠損することが多い。ＭｏｔｉｏｎＲｅｔａｒｇｅｔｉｎｇのような動作特徴量を抽出するエンコーダーは、人物の全身の骨格系列を入力とするため、下半身の関節点が欠損している場合は、動作成分の特徴ベクトルを適切に出力することができない場合がある。そのため、下半身の補間処理を行ってもよい。具体的には、下半身の補間処理として、人物の胴体の長さに比例する長さで両膝及び両足の少なくとも一方の関節点を補間してもよい。

【0055】

クラスタリング部４４は、動作ベクトル系列算出部４３により算出された動作ベクトル系列をクラスタリングしてクラス系列を生成する。ここで、クラス系列とは、動作ベクトル系列に対してクラスタリングを適用した結果である１次元（クラスタ番号）の系列データである。

【0056】

具体的には、クラスタリング部４４は、高次元の動作ベクトル系列を１次元のクラス系列に変換する。本実施形態では、一例としてスペクトラルクラスタリング（Ｓｐｅｃｔｒａｌ Ｃｌｕｓｔｅｒｉｎｇ）を適用し、動作ベクトル系列算出部４３が算出した高次元の動作ベクトル系列を１次元のクラス系列に変換する。スペクトラルクラスタリングは、教師なしクラスタリング手法であり、動作ベクトル系列に対してクラスタリングを行うことで類似の動作が同じクラスに分類されるため、周期性を捉えやすくなる。

【0057】

工場の作業では、作業の開始時及び終了時に、解析対象の製品組み立て以外のシーンが入ることがある。具体的には、組み立て前の待機時間及び作業終了時の待機時間等である。これらのシーンは作業周期の始点及び終点を推定する際には、ノイズとなるため、前処理で除去するようにしてもよい。例えば前処理として、先頭又は末尾付近にのみ存在するクラスであってクラス系列の長さに対する割合が予め定めた第１の閾値以下のクラスをクラス系列から除去する処理を行う。第１の閾値は、例えばクラス系列のデータ長の０．０５倍の長さとすることができる。なお、クラス系列のデータ長とは、クラス系列に含まれるクラスの数である。例えばクラス系列のデータ長が１００の場合、先頭から５個分の範囲が先頭付近、末尾から５個分の範囲が末尾付近となる。

【0058】

図４に、クラス系列の一例を示す。図４に示すクラス系列Ｃ１は、作業者Ｗが一連の作業を複数回行った場合の動作ベクトル系列をクラスタリングしたクラス系列であり、作業者Ｗの動作がクラス０～５の６個のクラスにクラスタリングされている。

【0059】

ここで、クラス５は先頭にのみ存在するクラスであり、クラス系列の長さに対する割合が０．０５以下であるため、クラス５の動作はノイズであるとして、クラス系列Ｃ１からクラス５のデータを除去し、クラス系列Ｃ２とする。

【0060】

また、初心者が作業する場合、各作業周期の作業時間が異なる場合があるが、作業周期を特定するには、出現する作業の順序のみに着目することが重要であるため、各作業周期の作業時間の影響を受けないように処理する必要がある。そのため、前処理でノイズ除去を行った１次元のクラス系列Ｃ２に対して、連続する同一クラスのデータを縮約するラベリング処理を行う。

【0061】

図４に示す例では、クラス系列Ｃ２は、０、１、０、２、２、３、３、４、・・・となっており、クラス２及びクラス３の値が連続している。このように連続する値を１つにまとめて、０、１、０、２、３、４、・・・のように縮約したクラス系列Ｃ３を生成する。ただし、作業周期の始点及び終点を推定する場合、動画像における各作業周期の始点及び終点を推定する必要があるため、縮約前のクラス系列Ｃ２は記憶部２５に保持しておく。

【0062】

工場における作業では、製品組み立て等、１周期に１度だけ出現する固有の動作が存在することが多い。例えば、特殊な部品を取る動作及び完成品を収納箱に戻す動作等は１周期に１度だけ出現する。本実施形態では、１周期に１度だけ出現する動作をキーアクションと定義し、キーアクションに着目してクラス系列Ｃ３から第１のセグメント系列を生成する。

【0063】

第１のセグメント系列生成部４５は、クラスタリング部４４によりクラスタリングされた複数のクラスの中からキーアクションとして選択したクラスを先頭として、クラス系列Ｃ２を複数の第１のセグメントに分割した第１のセグメント系列を複数のクラスの各々について生成する。すなわち、複数のクラスの各々をキーアクションとして順次選択し、第１のセグメント系列を各々生成する。ここで、第１のセグメント系列とは、ラベリング処理で時系列方向に縮約したクラス系列に対して、キーアクションで分割したクラス系列データである。

【0064】

図４の例では、クラス系列Ｃ３はクラス０からクラス４までの５つのクラスであるため、５つのクラスの各々を順次キーアクションとして選択し、第１のセグメント系列を生成する。

【0065】

具体的には、まずクラス０をキーアクションとして選択し、クラス０を先頭としてクラス系列Ｃ３を分割する。これにより、図５に示すように、クラス系列Ｃ３は、「０，１」、「０，２，３，４」、「０，１，２，３，４」、「０，１，３，４」、「０，１」、「０，３，４」という６個の第１のセグメントＡ０１～Ａ０６に分割され、これら６個の第１のセグメントＡ０１～Ａ０６から成る第１のセグメント系列Ａ０が生成される。

【0066】

次に、クラス１をキーアクションとして選択し、クラス１を先頭としてクラス系列Ｃ３を分割する。これにより、クラス系列Ｃ３は、「０」、「１，０，２，３，４、０」、「１，２，３，４，０」、「１，３，４，０」、「１，０，３，４」という５個の第１のセグメントＡ１１～Ａ１５に分割され、これら５個の第１のセグメントＡ１１～Ａ１５から成る第１のセグメント系列Ａ１が生成される。以下同様にして、クラス２～４についても第１のセグメント系列Ａ２～Ａ４を各々生成する。

【0067】

頻出パターン特定部４６は、第１のセグメント系列生成部４５により生成された複数の第１のセグメント系列Ａ０～Ａ４の各々について、複数の第１のセグメント間で共通するクラスの頻出パターンを特定する。

【0068】

頻出パターンの特定は、例えば系列パターンマイニング手法であるＰｒｅｆｉｘＳｐａｎと呼ばれる下記参考文献３記載の技術を用いることができる。

【0069】

（参考文献３）J. Han, J. Pei, B. Mortazavi-Asl, H. Pinto, Q. Chen, U. Dayal, andM. Hsu, "Prefixspan: Mining sequential patterns efficiently by prefix-projected pattern growth," ICDEIEEE, pp.215-224 2001.

【0070】

頻出パターン特定部４６は、ＰｒｅｆｉｘＳｐａｎを用いて、複数の第１のセグメント間で共通する頻出パターンを推定する。具体的には、頻出パターン候補の中から、最も出現回数の高いパターンを最終的な頻出パターンとする。

【0071】

ここで、頻出パターン特定部４６は、第１のセグメント系列を構成する複数の第１のセグメントの全てに対してＰｒｅｆｉｘＳｐａｎを適用するのではなく、最後の第１のセグメントを除いた第１のセグメント系列及び先頭の第１のセグメントを除いた第１のセグメント系列の各々に対してＰｒｅｆｉｘＳｐａｎによる系列パターンマイニングを適用してもよい。

【0072】

これはキーアクションが各作業周期の中心付近に現れたときに、キーアクション以前に現れるパターンと、キーアクション以後に現れるパターンの何れかを頻出パターンとして推定してしまうことを防ぐためである。

【0073】

キーアクションが現れる位置としては、作業周期の先頭、末尾、先頭及び末尾以外の３通りがある。先頭又は末尾にキーアクションが出現する場合は、クラス系列をキーアクションの位置で分割した第１のセグメントに対して、系列パターンマイニングを適用することで容易に各作業周期を網羅した頻出パターンを抽出することができる。

【0074】

しかしながら、先頭及び末尾以外に出現するキーアクションの位置でクラス系列を分割した第１のセグメント系列に対して、系列パターンマイニングを適用すると、キーアクション以前の頻出パターン又はキーアクション以後の頻出パターンのみを抽出してしまう。そのため、第１のセグメント系列の末尾の第１のセグメントを除いた第１のセグメント系列からキーアクション以前の頻出パターンを抽出し、先頭を除いたセグメントからキーアクション以後の頻出パターンを抽出し、これらの頻出パターンを結合してもよい。

【0075】

すなわち、第１のセグメント系列生成部４５は、末尾の第１のセグメントを除外した末尾除外セグメント系列と、先頭の第１のセグメントを除外した先頭除外セグメント系列と、を生成し、頻出パターン特定部４６は、末尾除外セグメント系列の頻出パターンと、先頭除外セグメント系列の頻出パターンと、を組み合わせた頻出パターンを複数の第１のセグメント間で共通するクラスの頻出パターンとして特定するようにしてもよい。

【0076】

これにより、キーアクションが作業周期の先頭及び末尾以外に出現する場合であっても、精度良く頻出パターンを抽出することができる。

【0077】

図５の例では、クラス０における第１のセグメント系列Ａ０は６個の第１のセグメントＡ０１～Ａ０６で構成されるため、末尾の第１のセグメントＡ０６を除外した第１のセグメントＡ０１～Ａ０５から成る末尾除外セグメント系列Ａ０Ａの頻出パターンとして、「０」が特定される。また、先頭の第１のセグメントＡ０１を除外した第１のセグメントＡ０２～Ａ０６から成る先頭除外セグメント系列Ａ０Ｂの頻出パターンとして、「０」が特定される。この場合、末尾除外セグメント系列Ａ０Ａの頻出パターンと先頭除外セグメント系列Ａ０Ｂの頻出パターンは同じなので、「０」が第１のセグメント系列Ａ０の頻出パターンとして特定される。

【0078】

同様に、クラス１における第１のセグメント系列Ａ１から末尾の第１のセグメントＡ１５を除外した第１のセグメントＡ１１～Ａ１４から成る末尾除外セグメント系列Ａ１Ａの頻出パターンとして、「０」が特定される。また、先頭の第１のセグメントＡ１１を除外した第１のセグメントＡ１２～Ａ１５から成る先頭除外セグメント系列Ａ１Ｂの頻出パターンとして、「３，４」が特定される。この場合、末尾除外セグメント系列Ａ１Ａの頻出パターンと先頭除外セグメント系列Ａ１Ｂの頻出パターンは異なるため、「０」と「３，４」を結合した「０，３，４」が第１のセグメント系列Ａ１の頻出パターンとして特定される。

【0079】

以下、クラス２～４における第１のセグメント系列に対しても各々頻出パターンを特定する。

【0080】

第２のセグメント系列生成部４７は、クラス系列を、頻出パターンを含む複数の第２のセグメントに分割した第２のセグメント系列を生成する。具体的には、第２のセグメント系列生成部４７は、クラス系列を、頻出パターンを含む第２のセグメント候補以外のパターンを、このパターンの後ろに隣接する前記第２のセグメント候補の先頭に付加した第２のセグメントに分割した第２のセグメント系列と、第２のセグメント候補以外のパターンを、このパターンの前に隣接する第２のセグメント候補の末尾に付加した第２のセグメントに分割した第２のセグメント系列と、を生成する

【0081】

より具体的には、まず、クラス系列Ｃ３の先頭から順に頻出パターンを含むクラスの集合を検索する。そして、頻出パターンを含むクラスの集合を構成するクラスの数に対する、頻出パターンを構成するクラスの数の割合が予め定めた閾値以上となるクラスの集合を第２のセグメント候補とする。なお、閾値は一例として０．２とすることができるが、これに限られるものではない。

【0082】

前述したように、第１のセグメント系列Ａ０における頻出パターンは「０」である。このため、図６に示すように、クラス系列Ｃ３の先頭から太枠で示す頻出パターン「０」が５個検索される。そして、先頭の頻出パターン「０」は第２のセグメントＢ０１となる。

【0083】

次に、頻出パターン「０」以外のパターンを隣接する頻出パターン「０」に付加したパターンを第２のセグメントとする。図６では、１個目の頻出パターン「０」と２個目の頻出パターン「０」との間のパターンは「１」である。このため、パターン「１」を後ろに隣接する２個目の頻出パターン「０」に付加したパターン「１，０」が第２のセグメントＢ０２となる。また、２個目の頻出パターン「０」と３個目の頻出パターン「０」との間のパターンは「２，３，４」である。このため、パターン「２，３，４」を後ろに隣接する３個目の頻出パターン「０」に付加したパターン「２，３，４，０」が第２のセグメントＢ０３となる。以下同様にして第２のセグメントＢ０４～Ｂ０６が生成され、第２のセグメントＢ０１～Ｂ０６を含む第２のセグメント系列Ｂ０が生成される。なお、末尾の「３，４」は第２のセグメントとならなかった余りのパターンである。

【0084】

次に、別パターンの第２のセグメント系列を生成する。具体的には、１個目の頻出パターン「０」と２個目の頻出パターン「０」との間のパターン「１」を前に隣接する１個目の頻出パターン「０」に付加したパターン「０，１」を第２のセグメントｂ０１とする。また、２個目の頻出パターン「０」と３個目の頻出パターン「０」との間のパターン「２，３，４」を前に隣接する２個目の頻出パターン「０」に付加したパターン「０，２，３，４」を第２のセグメントｂ０２とする。以下同様にして第２のセグメントｂ０３～ｂ０６が生成され、第２のセグメント系列ｂ０が生成される。

【0085】

このように、クラス０における第１のセグメント系列Ａ０に対して、２パターンの第２のセグメント系列Ｂ０、ｂ０を生成する。

【0086】

また、前述したように、第１のセグメント系列Ａ１における頻出パターンは「０，３，４」である。このため、図７に示すように、クラス系列Ｃ３の先頭から太枠で示す頻出パターン「０、３，４」を含むパターンが４個検索される。

【0087】

次に、１個目の「０，２，３，４」と２個目のパターン「０，１，２，３，４」との間のパターンは無い。また、図７の例では、先頭のパターン「０，１」は頻出パターンを含まないため、後ろのパターン「０，２，３，４」に付加して「０，１，０，２，３，４」を第２のセグメントＢ１１とする。以下同様にして第２のセグメントＢ１２～Ｂ１４が生成され、第２のセグメント系列Ｂ１が生成される。

【0088】

次に、別パターンの第２のセグメント系列を生成する。具体的には、先頭のパターン「０，１」の前には頻出パターンを含むパターンが存在せず前のパターンに付加できないため、パターン「０，２，３，４」が最初の第２のセグメントｂ１１となる。以下同様にして第２のセグメントｂ１２～ｂ１４が生成され、第２のセグメント系列ｂ１が生成される。なお、先頭の「０，１」は第２のセグメントとならなかった余りのパターンである。

【0089】

このように、クラス１における第１のセグメント系列Ａ１に対して、２パターンの第２のセグメント系列Ｂ１、ｂ１を生成する。

【0090】

以下同様にして、クラス２における第１のセグメント系列Ａ２に対して、２パターンの第２のセグメント系列Ｂ２、ｂ２を生成し、クラス３における第１のセグメント系列Ａ３に対して、２パターンの第２のセグメント系列Ｂ３、ｂ３を生成し、クラス４における第１のセグメント系列Ａ４に対して、２パターンの第２のセグメント系列Ｂ４、ｂ４を生成する。これにより、１０個の第２のセグメント系列が生成される。

【0091】

なお、生成した第２のセグメント系列に対して、ノイズを除去するため、２つの後処理を行ってもよい。１つ目の後処理は、第２のセグメント系列に含まれる複数の第２のセグメントの長さに着目したノイズ除去である。ここで、第２のセグメントの長さとは、第２のセグメントを構成するクラスの数であり、以下では周期長と称する。１つめの後処理は、第２のセグメント系列に含まれる複数の第２のセグメントの周期長の１／２を第２の閾値として、第２の閾値以下の周期長である第２のセグメントを、１つ前の第２のセグメントに結合する処理である。

【0092】

２つ目の後処理は、第２のセグメント系列に含まれる複数の第２のセグメント同士の類似度に着目したノイズ除去である。複数の第２のセグメントの全ての組み合わせに対して、ハミング距離を距離関数としたＤＴＷ（Ｄｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ）を類似度として計算し、計算した類似度が全て予め定めた第３の閾値以下となる第２のセグメントを削除する。なお、閾値は、上記類似度のメディアン（中央値）の１／２の値とする。

【0093】

評価値算出部４８は、第２のセグメント系列生成部４７により生成された複数の第２のセグメント系列の各々について、複数の第２のセグメント同士の類似度に関する評価値を算出する。

【0094】

評価値算出部４８は、一例として下記（１）式を用いて評価値Ｓを算出する。

【0095】

・・・（１）

【0096】

ここで、Ｓ_ｓは下記（２）式を用いて算出される。

・・・（２）

【0097】

ここで、Ｃは、組み合わせを表す。また、Ｎは、第２のセグメント系列に含まれる第２のセグメントの数である。また、ｎ_１、ｎ_２は、各第２のセグメントを示すインデックスである。δ_ｎ１ｎ２は、ｎ_１、ｎ_２についてのクロネッカーのデルタである。また、Ｒ_ｎ１、Ｒ_ｎ２は、類似度を算出する２つの第２のセグメントを表す。ｄｔｗ（Ｒ_ｎ１、Ｒ_ｎ２）は、前述したハミング距離を距離関数としたＤＴＷであり、Ｒ_ｎ１、Ｒ_ｎ２の類似度を算出する関数である。

【0098】

例えば、第２のセグメント系列に３個の第２のセグメントが含まれている場合、１個目の第２のセグメントと２個目の第２のセグメントの類似度、２個目の第２のセグメントと３個目の第２のセグメントの類似度、１個目の第２のセグメントと３個目の第２のセグメントの類似度が各々計算され、各々計算された類似度の平均値が評価値Ｓ_ｓとなる。

【0099】

また、Ｓ_ｃは下記（３）式を用いて算出される。なお、前述したように、第２のセグメント系列の先頭又は末尾には、第２のセグメントとならなかった余りのパターンが含まれる場合がある。そのため、第２のセグメント系列に含まれる全てのクラスに対する余りのパターンを構成するクラスの割合を下記（３）式を用いて評価値Ｓ_ｃとして算出する。

【0100】

・・・（３）

【0101】

ここで、Ａは第２のセグメント系列に含まれる全ての第２のセグメントを構成するクラスの集合を表す。また、

は、余りのパターンを構成するクラスの集合を表す。Ｌは、第２のセグメント系列を構成するクラスの集合である。

【0102】

また、Ｓ_ｌは下記（４）式を用いて算出される。

【0103】

・・・（４）

【0104】

ここで、ｌｎは、ｎ周期目の周期長、すなわちｎ個目の第２のセグメント系列の長さである。

【0105】

なお、上記（１）式におけるｗ_ｓ、ｗ_ｃ、ｗ_ｌは、それぞれＳ_ｓ、Ｓ_ｃ、Ｓ_ｌに対する重みであり、本実施形態では全て１とする。

【0106】

特定部４９は、複数の第２のセグメント系列の各々について算出した評価値のうち最も高い評価値の第２のセグメント系列に含まれる第２セグメントの各々の先頭及び末尾を各作業周期の始点及び終点として特定する。

【0107】

例えば、生成された１０個の第２のセグメント系列について算出された評価値のうち、例えば第２のセグメント系列Ｂ１の評価値が最も高かったとする。この場合、図８に示すように、第２のセグメントＢ１１の先頭のクラス０に対応するクラス系列Ｃ２のクラス０が始点として特定される。また、第２のセグメントＢ１１の末尾のクラス４に対応するクラス系列Ｃ２のクラス４が終点として特定される。以下同様に、第２のセグメントＢ１２～Ｂ１４の先頭及び末尾のクラスに対応するクラス系列Ｃ２のクラスが始点及び終点として各々特定される。

【0108】

出力部４２は、推定部４１が推定した作業周期の始点及び終点、すなわち特定部４９が特定したクラス系列Ｃ２の作業周期の始点及び終点を記憶部２５に出力し、記憶する。

【0109】

次に、作業周期推定装置２０のＣＰＵ２１Ａで実行される作業周期推定処理について、図６に示すフローチャートを参照して説明する。

【0110】

ステップＳ１００では、ＣＰＵ２１Ａが、作業者Ｗが予め定めた一連の作業を行った様子をカメラ３０によって撮影された動画像を記憶部２５から読み出すことにより取得する。

【0111】

ステップＳ１０１では、ＣＰＵ２１Ａが、ステップＳ１００で取得した動画像に基づいて、作業者Ｗの動作ベクトル系列を算出する。

【0112】

ステップＳ１０２では、ＣＰＵ２１Ａが、ステップＳ１０１で算出した動作ベクトル系列をクラスタリングしてクラス系列を生成する。

【0113】

ステップＳ１０３では、ＣＰＵ２１Ａが、ステップＳ１０２でクラスタリングされた複数のクラスの中からキーアクションとして選択したクラスを先頭として、クラス系列を複数の第１のセグメントに分割した第１のセグメント系列を複数のクラスの各々について生成する。

【0114】

ステップＳ１０４では、ＣＰＵ２１Ａが、ステップＳ１０３で生成された複数の第１のセグメント系列の各々について、複数の第１のセグメント間で共通するクラスの頻出パターンを特定する。

【0115】

ステップＳ１０５では、ＣＰＵ２１Ａが、クラス系列を、ステップＳ１０４で特定した頻出パターンを含む複数の第２のセグメントに分割した第２のセグメント系列を生成する。

【0116】

ステップＳ１０６では、ＣＰＵ２１Ａが、ステップＳ１０５で生成された複数の第２のセグメント系列の各々について、複数の第２のセグメント同士の類似度に関する評価値を算出する。

【0117】

ステップＳ１０７では、ＣＰＵ２１Ａが、ステップＳ１０６で複数の第２のセグメント系列の各々について算出した評価値のうち、最も高い評価値の第２のセグメント系列に含まれる第２セグメントの各々の先頭及び末尾を各作業周期の始点及び終点として特定する。

【0118】

ステップＳ１０８では、ＣＰＵ２１Ａが、ステップＳ１０７で特定したクラス系列の作業周期の始点及び終点を記憶部２５に出力し、記憶する。

【0119】

このように、本実施形態では、作業者Ｗが予め定めた一連の作業を行ったときの動きに関する動き情報に基づいて、作業者Ｗの作業周期の始点及び終点を推定するので、標準作業時間等を事前に計測することなく、作業周期の始点及び終点を推定することができる。

【0120】

なお、上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。

【0121】

また、上記各実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した作業周期推定処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の認識の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、作業周期推定処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

【符号の説明】

【0122】

１０ 作業周期推定システム
２０ 作業周期推定装置
２１ コントローラ
２５Ａ 作業周期推定プログラム
３０ カメラ
４０ 情報取得部
４１ 推定部
４１Ａ 姿勢系列生成部
４１Ｂ セグメント系列生成部
４１Ｃ 設定部
４２ 出力部
４３ 動作ベクトル系列算出部
４４ クラスタリング部
４５ 第１のセグメント系列生成部
４６ 頻出パターン特定部
４７ 第２のセグメント系列生成部
４８ 評価値算出部
４９ 特定部
Ｗ 作業者

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】