特開 2024-21467 作業特徴量表示装置、作業特徴量表示方法、及び作業特徴量表示プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024021467

(43)【公開日】2024-02-16

(54)【発明の名称】作業特徴量表示装置、作業特徴量表示方法、及び作業特徴量表示プログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20240208BHJP

【ＦＩ】

G06T7/20 300Z

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022124302

(22)【出願日】2022-08-03

(71)【出願人】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】西行 健太

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096DA04

5L096FA69

5L096JA11

(57)【要約】

【課題】作業の動作解析に適した作業者の特徴量を選択して表示することができる。
【解決手段】作業特徴量表示装置は、作業者が予め定めた一連の作業を行ったときの前記作業者の部位毎の特徴量を取得する特徴量取得部と、前記作業者の各部位の中から選択された選択部位の特徴量が表示部に表示されるように制御する制御部と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

作業者が予め定めた一連の作業を行ったときの前記作業者の部位毎の特徴量を取得する特徴量取得部と、
前記作業者の各部位の中から選択された選択部位の特徴量が表示部に表示されるように制御する制御部と、
を備えた作業特徴量表示装置。

【請求項2】

前記特徴量を一次元の系列データに縮約する縮約部を備え、
前記制御部は、前記系列データが前記表示部に表示されるように制御する
請求項１記載の作業特徴量表示装置。

【請求項3】

前記作業者を受け付ける作業者受付部
を備えた請求項１記載の作業特徴量表示装置。

【請求項4】

前記選択部位を受け付ける選択部位受付部
を備えた請求項１～３の何れか１項に記載の作業特徴量表示装置。

【請求項5】

前記一連の作業の標準作業時間を取得する標準作業時間取得部と、
前記部位毎に、前記特徴量のピークの位置を検出するピーク検出部と、
前記部位毎に、検出した各ピークの間隔に基づいて、前記一連の作業の作業時間を算出する作業時間算出部と、
を備え、
前記制御部は、
前記標準作業時間と、前記作業時間と、の差が最も小さくなる選択部位の特徴量が前記表示部に表示されるように制御する
請求項１～３の何れか１項に記載の作業特徴量表示装置。

【請求項6】

前記作業時間算出部は、検出した各ピークの間隔の中央値を前記作業時間とする
請求項５記載の作業特徴量表示装置。

【請求項7】

コンピュータが、
作業者が予め定めた一連の作業を行ったときの前記作業者の部位毎の特徴量を取得し、
前記作業者の各部位の中から選択された選択部位の特徴量が表示部に表示されるように制御する
ことを含む処理を実行する作業特徴量表示方法。

【請求項8】

コンピュータに、
作業者が予め定めた一連の作業を行ったときの前記作業者の部位毎の特徴量を取得し、
前記作業者の各部位の中から選択された選択部位の特徴量が表示部に表示されるように制御する
ことを含む処理を実行させる作業特徴量表示プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

開示の技術は、作業特徴量表示装置、作業特徴量表示方法、及び作業特徴量表示プログラムに関する。

【背景技術】

【0002】

特許文献１には、特定の動作を行う人物が撮影された第１の動画像を再生表示し、再生表示された前記第１の動画像のフレーム上に、前記特定の動作に関連する位置を指示する指示入力を再生表示中に受け付ける入力受け付け部と、第２の動画像に含まれる１以上の特徴点を含む第２特徴点群と、前記第１の動画像に含まれる２以上の特徴点を含む第１特徴点群との間における特徴量の比較結果に基づいて、前記第１の動画像と前記第２の動画像との類似度を算出し、算出された前記類似度に基づいて前記第２の動画像に前記特定の動作が含まれるか否かを判定する判定部であって、前記類似度の算出の際、前記第１特徴点群のうち前記指示入力による指示位置に近い特徴点ほど特徴量の比較結果に対して大きな重みを付与する前記判定部と、を有する動作認識システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－０７７８７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記特許文献１記載には、人物の動作を認識する処理において、ユーザーが指定した特定の動作に関連する箇所の重みを大きくすることで高精度に動作認識を行う技術が開示されている。

【0005】

しかしながら、上記特許文献１記載の技術では、動作認識に知見のないユーザーが精度向上に寄与する適切な箇所を指定することが難しく、作業の動作解析に用いるのは困難である、という問題があった。

【0006】

開示の技術は、上記の点に鑑みてなされたものであり、作業の動作解析に適した作業者の特徴量を選択して表示することができる作業特徴量表示装置、作業特徴量表示方法、及び作業特徴量表示プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

開示の第１態様は、作業特徴量表示装置であって、作業者が予め定めた一連の作業を行ったときの前記作業者の部位毎の特徴量を取得する特徴量取得部と、前記作業者の各部位の中から選択された選択部位の特徴量が表示部に表示されるように制御する制御部と、を備える。

【0008】

開示の第２態様は、上記第１態様において、前記特徴量を一次元の系列データに縮約する縮約部を備え、前記制御部は、前記系列データが前記表示部に表示されるように制御する。

【0009】

開示の第３態様は、上記第１態様又は第２態様において、前記作業者を受け付ける作業者受付部を備える。

【0010】

開示の第４態様は、上記第１～第３態様の何れかの態様において、前記選択部位を受け付ける選択部位受付部を備える。

【0011】

開示の第５態様は、上記第１～第３態様の何れかの態様において、前記一連の作業の標準作業時間を取得する標準作業時間取得部と、前記部位毎に、前記特徴量のピークの位置を検出するピーク検出部と、前記部位毎に、検出した各ピークの間隔に基づいて、前記一連の作業の作業時間を算出する作業時間算出部と、を備え、前記制御部は、前記標準作業時間と、前記作業時間と、の差が最も小さくなる選択部位の特徴量が前記表示部に表示されるように制御する。

【0012】

開示の第６態様は、上記第５態様において、前記作業時間算出部は、検出した各ピークの間隔の中央値を前記作業時間とする。

【0013】

開示の第７態様は、作業特徴量表示方法であって、コンピュータが、作業者が予め定めた一連の作業を行ったときの前記作業者の部位毎の特徴量を取得し、前記作業者の各部位の中から選択された選択部位の特徴量が表示部に表示されるように制御することを含む処理を実行する。

【0014】

開示の第８態様は、作業特徴量表示プログラムであって、コンピュータに、作業者が予め定めた一連の作業を行ったときの前記作業者の部位毎の特徴量を取得し、前記作業者の各部位の中から選択された選択部位の特徴量が表示部に表示されるように制御することを含む処理を実行させる。

【発明の効果】

【0015】

開示の技術によれば、作業の動作解析に適した作業者の特徴量を選択して表示することができる。

【図面の簡単な説明】

【0016】

【図1】作業特徴量表示システムの構成図である。

【図2】作業特徴量表示装置のハードウェア構成を示す構成図である。

【図3】作業特徴量表示装置の機能ブロック図である。

【図4】表示画面の一例を示す図である。

【図5】表示画面の一例を示す図である。

【図6】表示画面の一例を示す図である。

【図7】始点の推定について説明するための図である。

【図8】作業特徴量表示処理のフローチャートである。

【発明を実施するための形態】

【0017】

以下、本発明の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されている場合があり、実際の比率とは異なる場合がある。

【0018】

図１は、作業特徴量表示システム１０の構成を示す。作業特徴量表示システム１０は、作業特徴量表示装置２０及びカメラ３０を備える。

【0019】

作業特徴量表示装置２０は、カメラ３０で撮影された動画像に基づいて算出した動作特徴量を表示する装置である。

【0020】

作業者Ｗは、一例として作業台ＴＢに載置された作業の対象物Ｍを取り出して、作業スペースＳで予め定めた一連の作業を行う。作業者Ｗが行う一連の作業は、例えば部品の把持、運搬、組み立て、検査、ドライバによるねじ締め、及びラベル貼り等、１つの作業周期に多様な動作が含まれる作業である。

【0021】

カメラ３０は、例えばＲＧＢのカラー動画像を撮影可能な撮影装置である。カメラ３０は、作業者Ｗの動き及び作業台ＴＢ全体を認識しやすい位置に設置される。

【0022】

また、本実施形態では、カメラ３０が１台の場合について説明するが、複数台のカメラ３０を設けた構成としてもよい。

【0023】

図２は、本実施形態に係る作業特徴量表示装置２０のハードウェア構成を示すブロック図である。図２に示すように、作業特徴量表示装置２０は、コントローラ２１を備える。コントローラ２１は、一般的なコンピュータを含む装置で構成される。

【0024】

図２に示すように、コントローラ２１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１Ａ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１Ｂ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１Ｃ、及び入出力インターフェース（Ｉ／Ｏ）２１Ｄを備える。そして、ＣＰＵ２１Ａ、ＲＯＭ２１Ｂ、ＲＡＭ２１Ｃ、及びＩ／Ｏ２１Ｄがバス２１Ｅを介して各々接続されている。バス２１Ｅは、コントロールバス、アドレスバス、及びデータバスを含む。

【0025】

また、Ｉ／Ｏ２１Ｄには、操作部２２、表示部２３、通信部２４、及び記憶部２５が接続されている。

【0026】

操作部２２は、例えばマウス及びキーボードを含んで構成される。

【0027】

表示部２３は、例えば液晶ディスプレイ等で構成される。

【0028】

通信部２４は、カメラ３０等の外部装置とデータ通信を行うためのインターフェースである。

【0029】

記憶部２５は、ハードディスク等の不揮発性の外部記憶装置で構成される。図２に示すように、記憶部２５は、作業特徴量表示プログラム２５Ａ及び動作特徴量データベース２５Ｂ等を記憶する。

【0030】

ＣＰＵ２１Ａは、コンピュータの一例である。ここでいうコンピュータとは、広義的なプロセッサを指し、汎用的なプロセッサ（例えば、ＣＰＵ）、又は、専用のプロセッサ（例えば、ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、プログラマブル論理デバイス、等）を含むものである。

【0031】

なお、作業特徴量表示プログラム２５Ａは、不揮発性の非遷移的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記録媒体に記憶して、又はネットワークを介して配布して、作業特徴量表示装置２０に適宜インストールすることで実現してもよい。

【0032】

不揮発性の非遷移的記録媒体の例としては、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、光磁気ディスク、ＨＤＤ（ハードディスクドライブ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード等が想定される。

【0033】

図３は、作業特徴量表示装置２０のＣＰＵ２１Ａの機能構成を示すブロック図である。図３に示すように、ＣＰＵ２１Ａは、機能的には、動作特徴量取得部４０、制御部４１、縮約部４２、作業者受付部４３、選択部位受付部４４、標準作業時間取得部４５、ピーク検出部４６、及び作業時間算出部４７の各機能部を備える。

【0034】

ＣＰＵ２１Ａは、記憶部２５に記憶された作業特徴量表示プログラム２５Ａを読み込んで実行することにより図３に示す各機能部として機能する。

【0035】

動作特徴量取得部４０は、作業者Ｗが予め定めた一連の作業を行ったときの作業者Ｗの部位毎の動作特徴量を、記憶部２５に予め記憶された動作特徴量データベース２５Ｂから読み出すことにより取得する。動作特徴量データベース２５Ｂは、部位毎の動作特徴量を作業者毎に記憶したデータベースである。

【0036】

動作特徴量は、例えば作業者Ｗが予め定めた一連の作業を行った様子をカメラ３０によって撮影された動画像に基づいて、動作ベクトル系列として算出することができる。なお、カメラ３０に代えて、モーションセンサ等を用いて作業者Ｗの動作特徴量を取得してもよい。ここで、作業者Ｗの部位とは、作業者Ｗの骨格を構成する関節を含む部位であり、例えば作業者Ｗの顔、首、肩、肘、手首、腰、膝、及び足首等である。

【0037】

動作ベクトル系列の算出では、背景及び作業者Ｗの服装等に影響を受けないようにするため、動画像に基づいて作業者Ｗの姿勢の推定を行い、推定した姿勢を骨格系列に変換する。

【0038】

作業者Ｗの姿勢を推定し、推定した姿勢を骨格系列に変換する手法としては、下記参考文献１に記載されたＯｐｅｎＰｏｓｅと呼ばれる公知の手法を用いることができる。骨格系列は、作業者Ｗの体の部位及び関節等の特徴点の座標と、特徴点の身体の部位を表すラベルと、を含む時系列のデータである。例えば特徴点は、作業者Ｗの目及び鼻等の顔、首、肩、肘、手首、腰、膝、及び足首等の関節等を含む。

【0039】

ＯｐｅｎＰｏｓｅでは、動画像を入力とし、骨格系列を出力とする学習モデルを、多数の動画像を教師データとして学習した学習済みモデルを用いる。このような学習済みモデルを得る学習方法としては、例えばＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）等の公知の方法が用いられる。

【0040】

（参考文献１） "OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", Zhe Cao, Student Member, IEEE, Gines Hidalgo, Student Member, IEEE, Tomas Simon, Shih-En Wei, and Yaser Sheikh, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE.

【0041】

ここで、工場の作業において、体型の異なる様々な作業者が作業を行うため、体型の違いによる影響が大きい。体型の違いに影響を受けることがないように、本実施形態では、下記参考文献２に記載されたＭｏｔｉｏｎＲｅｔａｒｇｅｔｉｎｇと呼ばれる手法を用いて、動画像から得られた骨格系列を、動作特徴量を表す動作ベクトル系列に変換する。

【0042】

（参考文献２）K. Aberman, R. Wu, D. Lischinski, B. Chen, and D. Cohen-Or,“Learning character-agnostic motion for motion retargeting in 2d,”TOG, vol.38, no.4, p.75, 2019.

【0043】

ＭｏｔｉｏｎＲｅｔａｒｇｅｔｉｎｇでは、骨格系列を入力として、エンコーダーを用いて、動作、体型、カメラ視点の３つの成分の特徴ベクトルを出力するが、本実施形態では、一例として体型及びカメラ視点の影響を少なくするため、動作成分の特徴ベクトルのみを用いる。

【0044】

なお、姿勢推定のノイズの影響を除くため、動作ベクトル系列への変換を行う前に、骨格系列に対して、時系列の補間処理、時系列平滑化、及び下半身の補間処理の３つの前処理を行ってもよい。

【0045】

時系列の補間処理では、姿勢推定に失敗している関節点があれば、１つ前のフレームの関節点をコピーする。時系列平滑化では、姿勢推定のノイズを除去するため、系列データに対してガウシアンフィルタで平滑化を行う。本実施形態で用いるＯｐｅｎＰｏｓｅでは、人物の上半身だけでなく、下半身の姿勢も推定する。工場における作業の場合、机上の作業台で作業することが多いため、下半身が机で遮蔽され、下半身の関節点が欠損することが多い。ＭｏｔｉｏｎＲｅｔａｒｇｅｔｉｎｇのような動作特徴量を抽出するエンコーダーは、人物の全身の骨格系列を入力とするため、下半身の関節点が欠損している場合は、動作成分の特徴ベクトルを適切に出力することができない場合がある。そのため、下半身の補完処理を行ってもよい。具体的には、下半身の補間処理として、人物の胴体の長さに比例する長さで両膝及び両足の少なくとも一方の関節点を補完してもよい。

【0046】

このようにして算出された各部位の動作特徴量は、作業者毎に動作特徴量データベース２５Ｂとして記憶部２５に予め記憶される、

【0047】

制御部４１は、作業者Ｗの各部位の中から選択された選択部位の動作特徴量が表示部２３に表示されるように制御する。

【0048】

縮約部４２は、動作特徴量取得部４０が取得した動作特徴量を一次元の系列データに縮約する。この場合、制御部４１は、縮約された一次元の系列データが表示部２３に表示されるように制御する。なお、縮約方法は、種々公知の手法を用いることができる。

【0049】

作業者受付部４３は、複数の作業者の中から動作特徴量を表示する作業者を受け付ける。

【0050】

選択部位受付部４４は、作業者の各部位の中から選択された選択部位を受け付ける。

【0051】

図４には、表示部２３に表示される動作特徴量の表示画面の一例を示す。図４に示す表示画面Ｄは、複数の作業者の中から動作特徴量を表示する作業者を受け付けるためのプルダウンメニューＭ１、作業者の各部位の中から動作特徴量を表示する選択部位を受け付けるためのプルダウンメニューＭ２、作業者の部位に付与された部位番号を確認するための表示領域Ｒ１、縮約された一次元の系列データをグラフとして表示するための表示領域Ｒ２を含む。

【0052】

ユーザーは、プルダウンメニューＭ１を開くことにより、動作特徴量データベース２５Ｂに動作特徴量が格納されている複数の作業者の中から所望の作業者を選択することができる。図４の例では、作業者ＩＤが「Ａ＿０２」の作業者が選択された状態を示している。

【0053】

また、ユーザーは、プルダウンメニューＭ２を開くことにより、プルダウンメニューＭ１で選択された作業者の各部位の動作特徴量の中から所望の部位を選択することができる。表示領域Ｒ１には、作業者の部位に予め付与された部位番号が表示されている。ユーザーは、表示領域Ｒ１を参照して、所望の部位番号をプルダウンメニューＭ２から選択する。図４の例では、部位番号の集合で表される［５，６，７］が選択された状態、すなわち左腕が選択された状態を示している。なお、部位番号の集合は、複数の部位番号で構成されてもよいし、単一の部位番号で構成されてもよい。また、プルダウンメニューＭ２には、予め定めた部位番号の集合が複数種類表示されるが、ユーザーが任意の部位番号を直接入力できるようにしてもよい。

【0054】

プルダウンメニューＭ１から作業者が選択され、プルダウンメニューＭ２から部位が選択されると、選択された作業者の部位の動作特徴量を一次元に縮約した系列データが表示領域Ｒ２にグラフＧとして表示される。グラフＧの横軸は時間、縦軸は一次元の動作特徴量である。

【0055】

これにより、ユーザーは、選択した部位の動作特徴量の周期性が高いか低いかを確認することができる。

【0056】

例えば図５の例では、部位番号として［２，３，４，５，６，７］が選択されている。すなわち、右腕及び左腕が選択されている。そして、表示領域Ｒ２のグラフＧを見ると、動作特徴量のピークの間隔のばらつきが比較的小さいことが確認できる。従って、ユーザーは、作業者「Ａ＿０２」の作業を解析する上で、［２，３，４，５，６，７］で表される部位の動作特徴量が適していることを把握することができる。

【0057】

一方、図６の例では、部位番号として［０，１，２，３，４，５，６，７，８］が選択されている。そして、表示領域Ｒ２のグラフを見ると、動作特徴量のピークの間隔のばらつきが比較的大きいことが確認できる。従って、ユーザーは、作業者「Ａ＿０２」の作業を解析する上で、［０，１，２，３，４，５，６，７，８］で表される部位の動作特徴量が適していないことを把握することができる。

【0058】

また、ユーザーがプルダウンメニューＭ２から部位を選択するのではなく、図７に示すように、自動ボタンＢが押下された場合には、作業の解析に適した部位を自動で選択し、選択した部位の動作特徴量が表示領域Ｒ２に表示されるようにしてもよい。

【0059】

この場合、標準作業時間取得部４５は、一連の作業の標準作業時間を例えば記憶部２５から読み出すことにより取得する。標準作業時間は、例えば標準的な作業者が一連の作業を行った場合の作業時間を計測することにより得ることができ、予め記憶部２５に記憶しておく。なお、表示画面Ｄにおいて、ユーザーに標準作業時間を入力させることにより標準作業時間を取得してもよい。

【0060】

そして、ピーク検出部４６は、部位毎に、動作特徴量のピークの位置を検出する。なお、ピークの検出方法は、種々公知の手法を用いることができる。図７にピークの位置の検出例を示す。図７の例では、ピークＰ１～Ｐ６が検出されている。

【0061】

作業時間算出部４７は、部位毎に、検出した各ピークの間隔に基づいて、一連の作業の作業時間を算出する。このとき、作業時間算出部４７は、検出した各ピークの間隔の中央値を作業時間としてもよい。例えば、図７の例において、ピークＰ１～Ｐ７の出現時刻が［１００，９５０，１３００，１８００，２６５０，３５００］であった場合、隣接する各ピークの間隔は、［８５０，３５０，５００，８５０，８５０］となる。この場合、隣接する各ピークの間隔の中央値は「８５０」となり、これが一連の作業の１周期分の作業時間となる。このように、隣接する各ピークの間隔の中央値を作業時間とすることにより、図７に示すピークＰ３のようにノイズであるピークの影響を排除して精度良く作業時間を算出することができる。

【0062】

そして、制御部４１は、標準作業時間取得部４５が取得した標準作業時間と、作業時間算出部４７が算出した作業時間と、の差が最も小さくなる選択部位の動作特徴量が表示領域Ｒ２に表示されるように制御する。このとき、選択部位の部位番号をプルダウンメニューＭ２に表示させたり、表示領域Ｒ１において選択部位の部位番号の色を他の部位番号と異ならせたりする等の強調表示を行うことにより、選択部位がどの部位であるのかが把握できるようにする。これにより、ユーザーは、プルダウンメニューＭ２から様々な部位を選択してグラフＧを表示させ、作業の解析に適した動作特徴量か否かを判断する必要がない。このため、ユーザーは、速やかに作業の解析に適した部位を把握することができる。

【0063】

次に、作業特徴量表示装置２０のＣＰＵ２１Ａで実行される作業特徴量表示処理について、図８に示すフローチャートを参照して説明する。なお、図８に示す作業特徴量表示処理は、繰り返し実行される。

【0064】

ステップＳ１００では、ＣＰＵ２１Ａが、プルダウンメニューＭ１から作業者が選択されたか否かを判定する。そして、作業者が選択された場合はステップＳ１０１へ移行し、作業者が選択されていない場合は、作業者が選択されるまで待機する。

【0065】

ステップＳ１０１では、ＣＰＵ２１Ａが、プルダウンメニューＭ２から部位が選択されたか否かを判定する。そして、部位が選択された場合はステップＳ１０２へ移行し、部位が選択されていない場合は、ステップＳ１０５へ移行する。

【0066】

ステップＳ１０２では、ＣＰＵ２１Ａが、ステップＳ１００で選択した作業者の、ステップＳ１０１で選択した部位の動作特徴量を動作特徴量データベース２５Ｂから読み出すことにより取得する。

【0067】

ステップＳ１０３では、ＣＰＵ２１Ａが、ステップＳ１０２で取得した動作特徴量を一次元の動作特徴量に縮約する。

【0068】

ステップＳ１０４では、ＣＰＵ２１Ａが、ステップＳ１０８で一次元に縮約した動作特徴量を表示画面Ｄの表示領域Ｒ２にグラフＧとして表示する。

【0069】

このように、ユーザーは、作業者及び部位を選択することで、動作特徴量を表示領域Ｒ２に表示させることができ、選択した部位の動作特徴量の周期性を確認することで作業の解析に適しているか否かを判断することができる・

【0070】

ステップＳ１０５では、ＣＰＵ２１Ａが、自動ボタンＢが押下されたか否かを判定する。そして、自動ボタンＢが押下された場合はステップＳ１０６へ移行し、自動ボタンＢが押下されていない場合はステップＳ１０１へ移行する。

【0071】

ステップＳ１０６では、ＣＰＵ２１Ａが、一連の作業の標準作業時間を記憶部２５から読み出すことにより取得する。

【0072】

ステップＳ１０７では、ＣＰＵ２１Ａが、部位毎に、動作特徴量のピークの位置を検出する。具体的には、ステップＳ１００で選択された作業者の部位毎に、動作特徴量を動作特徴量データベース２５Ｂから読み出し、一次元の動作特徴量に縮約し、縮約した動作特徴量に基づいてピークの位置を検出する。

【0073】

ステップＳ１０８では、ＣＰＵ２１Ａが、ステップ１００で選択された作業者の部位毎に、ステップＳ１０７で検出した各ピークの間隔に基づいて、一連の作業の作業時間を算出する。

【0074】

ステップＳ１０９では、ＣＰＵ２１Ａが、ステップＳ１０４で取得した標準作業時間と、ステップＳ１０６で算出した部位毎の作業時間と、を各々比較する。そして、ステップＳ１０４で取得した標準作業時間と、ステップＳ１０６で算出した作業時間と、の差が最も小さくなる選択部位の動作特徴量を表示領域Ｒ２に表示させる。

【0075】

これにより、ユーザーは、自ら様々な部位を選択して動作特徴量を表示させ、周期性を確認する必要がなく、速やかに作業の解析に適した部位を把握することができる。

【0076】

このように、本実施形態では、作業者が予め定めた一連の作業を行ったときの作業者の部位毎の動作特徴量のうち、作業者の各部位の中から選択された選択部位の動作特徴量が表示部２３に表示されるように制御する。これにより、作業の動作解析に適した作業者の動作特徴量を表示することができる。

【0077】

なお、上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。

【0078】

例えば、上記実施形態では、作業者が作業をしている様子を撮影した動画像に基づいて算出された動作特徴量を一次元の動作特徴量に縮約して表示する場合について説明したが、これに限られない。例えば作業者が作業している場所に設置されたマイクで録音された音を動作特徴量としてもよい。作業者が操作する機械の操作音等から作業の周期性を把握することが可能な場合があるからである。また、前述したように、モーションセンサ等の加速度センサにより検出された加速度データ等を動作特徴量としてもよい。また、これらの動作特徴量を組み合わせた動作特徴量を用いても良い。

【0079】

また、上記実施形態では、作業者の各部位の中から選択された選択部位の動作特徴量が表示部２３に表示されるように制御する場合について説明したが、動作特徴量に限らず、他の特徴量が表示部２３に表示されるように制御してもよい。例えば、作業者の骨格座標系列又は骨格座標の速度ベクトル系列等の他の特徴量が表示部２３に表示されるように制御してもよい。この場合、動作特徴量、骨格座標系列、及び骨格座標の速度ベクトル系列の中から、表示部２３に表示させる特徴量をユーザーが選択できるようにしてもよい。

【0080】

また、上各実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した作業特徴量表示処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の認識の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、作業特徴量表示処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

【符号の説明】

【0081】

１０ 作業特徴量表示システム
２０ 作業特徴量表示装置
２１ コントローラ
２５ 記憶部
２５Ａ 作業特徴量表示プログラム
２５Ｂ 動作特徴量データベース
３０ カメラ
４０ 動作特徴量取得部
４１ 制御部
４２ 縮約部
４３ 作業者受付部
４４ 選択部位受付部
４５ 標準作業時間取得部
４６ ピーク検出部
４７ 作業時間算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】