特開 2024-176848 作業評価装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024176848

(43)【公開日】2024-12-19

(54)【発明の名称】作業評価装置

(51)【国際特許分類】

   G06T 7/20 20170101AFI20241212BHJP

   G06T 7/00 20170101ALI20241212BHJP

【ＦＩ】

G06T7/20 300Z

G06T7/00 350B

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023095683

(22)【出願日】2023-06-09

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100087480

【弁理士】

【氏名又は名称】片山 修平

(72)【発明者】

【氏名】竹内 伸一

(72)【発明者】

【氏名】倉持 知貴

(72)【発明者】

【氏名】田端 淳

(72)【発明者】

【氏名】森 大輝

(72)【発明者】

【氏名】則竹 真吾

(72)【発明者】

【氏名】柳川 涼

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA02

5L096CA04

5L096DA02

5L096FA12

5L096FA62

5L096FA64

5L096FA66

5L096FA69

5L096GA51

5L096HA11

5L096KA04

(57)【要約】

【課題】 作業者の作業を高精度に評価することができる作業評価装置を提供する。
【解決手段】 作業評価装置は、撮像装置が撮像した第１画像内の第１作業者の骨格の座標、及び前記撮像装置が撮像した第２画像内の第２作業者の骨格の座標を検出する検出部と、前記第１画像内の作業中の前記第１作業者の骨格の座標を時系列に従って機械学習した学習モデルを用い、前記第２画像内の作業中の前記第２作業者の骨格の座標の時間変化に基づき前記第２作業者の作業を評価する評価部と、前記学習モデルが学習した前記第１作業者の骨格の座標、または前記検出部が検出した前記第２作業者の骨格の座標を補正値により補正する補正部と、前記第１画像内の前記第１作業者と、前記第２画像内の前記第２作業者との体格差による骨格の座標の差分から前記補正値を算出する算出部とを有する。
【選択図】図３

【特許請求の範囲】

【請求項1】

撮像装置が撮像した第１画像内の第１作業者の骨格の座標、及び前記撮像装置が撮像した第２画像内の第２作業者の骨格の座標を検出する検出部と、
前記第１画像内の作業中の前記第１作業者の骨格の座標を時系列に従って機械学習した学習モデルを用い、前記第２画像内の作業中の前記第２作業者の骨格の座標の時間変化に基づき前記第２作業者の作業を評価する評価部と、
前記学習モデルが学習した前記第１作業者の骨格の座標、または前記検出部が検出した前記第２作業者の骨格の座標を補正値により補正する補正部と、
前記第１画像内の前記第１作業者と、前記第２画像内の前記第２作業者との体格差による骨格の座標の差分から前記補正値を算出する算出部とを有する、
作業評価装置。

【請求項2】

前記算出部は、前記第１画像内の前記第１作業者の両肩を結ぶ直線の中心座標と、前記第２画像内の前記第２作業者の両肩を結ぶ直線の中心座標との差分から前記補正値を算出する、
請求項１に記載の作業評価装置。

【請求項3】

前記算出部は、前記第１作業者の作業の種類に応じて骨格ごとに前記補正値を異ならせる、
請求項１または２に記載の作業評価装置。

【請求項4】

前記第１画像及び前記第２画像から前記第１作業者と前記第２作業者の身長差を算出し、前記補正部による補正の要否を前記身長差に基づき判定する判定部を有し、
前記補正部は、前記判定部が補正を不要と判定した場合、前記骨格の座標を補正しない、
請求項１または２に記載の作業評価装置。

【請求項5】

前記第１画像及び前記第２画像から前記第１作業者と前記第２作業者の肩幅の差を算出し、前記補正部による補正の要否を前記肩幅の差に基づき判定する判定部を有し、
前記補正部は、前記判定部が補正を不要と判定した場合、前記骨格の座標を補正しない、
請求項１または２に記載の作業評価装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業評価装置に関する。

【背景技術】

【0002】

例えば特許文献１には、カメラの映像から人の行動をその骨格情報に基づき認識するサービスにおいて、ディープラーニングなどの機械学習のアルゴリズムに従って基本動作が学習済みである学習モデルを用いる点が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－３４３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、例えば、画像内の作業者の骨格から、上記のような学習モデルを用いて作業を評価する場合、作業者と、学習モデルの学習対象の基本動作を行った人物との体格の違いにより作業者の動作が正確に評価されないおそれがある。

【0005】

そこで本発明は上記の課題に鑑みてなされたものであり、作業者の作業を高精度に評価することができる作業評価装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の作業評価装置は、撮像装置が撮像した第１画像内の第１作業者の骨格の座標、及び前記撮像装置が撮像した第２画像内の第２作業者の骨格の座標を検出する検出部と、前記第１画像内の作業中の前記第１作業者の骨格の座標を時系列に従って機械学習した学習モデルを用い、前記第２画像内の作業中の前記第２作業者の骨格の座標の時間変化に基づき前記第２作業者の作業を評価する評価部と、前記学習モデルが学習した前記第１作業者の骨格の座標、または前記検出部が検出した前記第２作業者の骨格の座標を補正値により補正する補正部と、前記第１画像内の前記第１作業者と、前記第２画像内の前記第２作業者との体格差による骨格の座標の差分から前記補正値を算出する算出部とを有する。

【0007】

上記の作業評価装置において、前記算出部は、前記第１画像内の前記第１作業者の両肩を結ぶ直線の中心座標と、前記第２画像内の前記第２作業者の両肩を結ぶ直線の中心座標との差分から前記補正値を算出してもよい。

【0008】

上記の作業評価装置において、前記算出部は、前記第１作業者の作業の種類に応じて骨格ごとに前記補正値を異ならせてもよい。

【0009】

上記の作業評価装置において、前記第１画像及び前記第２画像から前記第１作業者と前記第２作業者の身長差を算出し、前記補正部による補正の要否を前記身長差に基づき判定する判定部を有し、前記補正部は、前記判定部が補正を不要と判定した場合、前記骨格の座標を補正しなくてもよい。

【0010】

上記の作業評価装置において、前記第１画像及び前記第２画像から前記第１作業者と前記第２作業者の肩幅の差を算出し、前記補正部による補正の要否を前記肩幅の差に基づき判定する判定部を有し、前記補正部は、前記判定部が補正を不要と判定した場合、前記骨格の座標を補正しなくてもよい。

【発明の効果】

【0011】

本発明によれば、作業者の作業を高精度に評価することができる。

【図面の簡単な説明】

【0012】

【図1】図１は、作業評価システムの一例を示す構成図である。

【図2】図２は、骨格の座標の補正の一例を示す図である。

【図3】図３は、補正値の算出の一例を示す図である。

【図4】図４は、補正判定処理の一例を示すフローチャートである。

【図5】図５は、作業の評価処理の一例を示すフローチャートである。

【図6】図６は、作業の評価処理の他の例を示すフローチャートである。

【発明を実施するための形態】

【0013】

（作業評価システムの構成例）
図１は、作業評価システム９の一例を示す構成図である。作業評価システム９は、一例として自動車などの組立工場に設置される。

【0014】

作業評価システム９は、ＬＡＮ（Local Area Network）９０を介して互いに通信可能な作業評価サーバ１、カメラ装置２、及び端末３を含む。作業評価サーバ１は作業評価装置の一例である。作業評価サーバ１は作業者の作業動作を評価する。カメラ装置２は、撮像装置の一例であり、作業者などの人物を撮像する。端末３は、例えば作業者やその関係者により所持され、作業評価サーバ１から作業の評価結果を受信して作業者などに通知する。

【0015】

作業評価サーバ１は、ＣＰＵ（Central Processing Unit）１０、ＲＯＭ（Read Only Memory）１１、ＲＡＭ（Random Access Memory）１２、ＨＤＤ（Hard Disk Drive）１３、及び通信ポート１４を有する。ＣＰＵ１０は、互いに信号の入出力ができるように、ＲＯＭ１１、ＲＡＭ１２、ＨＤＤ１３、及び通信ポート１４と、バス１９を介して電気的に接続されている。

【0016】

ＲＯＭ１１は、ＣＰＵ１０を駆動するプログラムが格納されている。ＲＡＭ１２は、ＣＰＵ１０のワーキングメモリとして機能する。通信ポート１４は、例えば無線ＬＡＮカードであり、ＬＡＮ９０を介したＣＰＵ１０の通信を処理する。

【0017】

ＣＰＵ１０は、ＲＯＭ１１からプログラムを読み込むと、ソフトウェア機能として、装置制御部１００、骨格検出部１０１、補正要否判定部１０２、補正値算出部１０３、骨格データ補正部１０４、及び作業評価部１０５を形成する。また、ＨＤＤ１３には、検出骨格データ１３０、学習骨格データ１３１、評価データ１３２、及び学習モデル１３３が格納されている。

【0018】

装置制御部１００は、プログラムに規定されたシーケンスに従い骨格検出部１０１、補正要否判定部１０２、補正値算出部１０３、骨格データ補正部１０４、及び作業評価部１０５に対して各種の動作を指示する。なお、装置制御部１００、骨格検出部１０１、補正要否判定部１０２、補正値算出部１０３、骨格データ補正部１０４、及び作業評価部１０５は、ソフトウェアに限定されず、ＡＳＩＣ（Application Specified Integrated Circuit）などのハードウェアにより実現されてもよい。

【0019】

骨格検出部１０１は検出部の一例である。骨格検出部１０１は、カメラ装置２が撮像した画像内の人物の骨格の座標を検出する。骨格検出部１０１は、カメラ装置２からＬＡＮ９０を介して画像データを受信する。骨格検出部１０１は、例えば汎用的なＡＩ（Artificial Intelligence）を用いた画像解析により人物の骨格の座標を検出する。

【0020】

カメラ装置２は、作業評価部１０５が評価対象の作業者（以下、評価作業者と表記）を評価する場合、評価作業者の画像を撮像する。また、カメラ装置２は、作業評価部１０５が評価に用いる学習モデル１３３に評価基準の骨格の座標を学習させるため、模範的な作業者（以下、模範作業者と表記）の画像を撮像する。なお、模範作業者は第１作業者の一例であり、評価作業者は第２作業者の一例である。また、模範作業者が撮像された画像は第１画像の一例であり、評価作業者が撮像された画像は第２画像の一例である。

【0021】

骨格検出部１０１は、評価作業者の画像から評価作業者の骨格の座標を検出して検出骨格データ１３０としてＨＤＤ１３に格納する。検出骨格データ１３０は、例えば画像のフレーム番号ごとに画像内の評価作業者の鼻、左肩、右肩、左肘、右肘、左手、右手、左腰、右腰の各座標を時系列に従って示す。座標は、例えば画像の矩形状のフレームの横方向及び縦方向をＸ軸及びＹ軸とそれぞれ定義したとき、Ｘ座標及びＹ座標（ｘ，ｙ）により示される。なお、原点の位置に限定はない。

【0022】

作業評価部１０５は評価部の一例である。作業評価部１０５は、画像内の作業中の模範作業者の骨格の座標を時系列に従って機械学習した学習モデル１３３を用い、画像内の作業中の評価作業者の骨格の座標の時間変化に基づき評価作業者の作業を評価する。作業評価部１０５は、検出骨格データ１３０に記録された評価作業者の骨格の座標の時間変化が、学習骨格データ１３１に記録された評価作業者の骨格の座標の時間変化に類似しているか否かを判定することにより、評価作業者が、模範作業者により示される所定の基準に従って作業しているか否かを判断する。

【0023】

学習モデル１３３は、各種の演算モジュール及びパラメータのセットとしてＨＤＤ１３に格納されている。学習モデル１３３の学習処理では、作業中の模範作業者の骨格の座標の時間変化を教師データとして、作業の評価結果についてアノテーションが行われる。学習モデル１３３は、人間の脳機能を数学的にモデル化したニューラルネットワークであり、ニューロンに該当する部分の活性化関数の重み係数を機械学習に基づいて決定する。このように作業評価部１０５は、教師あり学習による機械学習済みの学習モデル１３３を用いることにより、高精度に評価結果を出力することができる。

【0024】

学習モデル１３３が学習した模範作業者の骨格の座標は、学習骨格データ１３１としてＨＤＤ１３に格納される。学習骨格データ１３１は、検出骨格データ１３０と同様に、画像のフレーム番号ごとに画像内の評価作業者の鼻、左肩、右肩、左肘、右肘、左手、右手、左腰、右腰の各座標を時系列に従って示す。学習モデル１３３は、学習骨格データ１３１に対する検出骨格データ１３０の相違の程度から評価結果を出力する。

【0025】

このようにして作業評価部１０５は、評価作業者の作業が所定の基準に従っている場合、評価結果を「良」とし、評価作業者の作業が所定の基準に従っていない場合、評価結果を「不可」とする。作業評価部１０５は、評価結果を評価データ１３２としてＨＤＤ１３に保存する。作業評価部１０５は、評価データ１３２をＬＡＮ９０経由で端末３に送信する。これにより、評価作業者に作業の評価結果が通知され、評価作業者の作業が改善される。

【0026】

骨格データ補正部１０４は補正部の一例である。骨格データ補正部１０４は、学習モデル１３３が学習した模範作業者の骨格の座標を補正値により補正する。例えば骨格データ補正部１０４は、学習骨格データ１３１の骨格の座標を補正する。このとき、骨格データ補正部１０４は、学習骨格データ１３１の鼻、左肩、右肩、左肘、右肘、左手、右手、左腰、右腰の各座標に対して個別の補正値を用いる。なお、後述するように、骨格データ補正部１０４は、学習骨格データ１３１に代えて、検出骨格データ１３０の骨格の座標を補正してもよい。

【0027】

補正値算出部１０３は算出部の一例である。補正値算出部１０３は、画像内の模範作業者及び評価作業者の体格差による骨格の座標の差分から、学習骨格データ１３１に対する補正値を算出する。例えば補正値算出部１０３は、互いに同一位置及び同一姿勢の模範作業者及び評価作業者の骨格の座標の差分から補正値を算出する。補正値算出部１０３は、鼻、左肩、右肩、左肘、右肘、左手、右手、左腰、右腰の各座標の個別の補正値を算出する。

【0028】

これにより、作業の評価結果に対する評価作業者と模範作業者の間の体格差の影響が低減されるため、作業評価部１０５は、高精度に作業を評価することができる。

【0029】

補正要否判定部１０２は判定部の一例である。補正要否判定部１０２は、カメラ装置２により評価作業者を撮像した画像と、模範作業者を撮像した画像とから評価作業者と模範作業者の身長差を算出し、骨格データ補正部１０４による学習骨格データ１３１の補正の要否を身長差に基づき判定する。例えば補正要否判定部１０２は、検出骨格データ１３０に含まれる骨格の座標のうち、所定の姿勢の評価作業者の骨格の座標と、学習骨格データ１３１に含まれる骨格の座標のうち、所定の姿勢の評価作業者の骨格の座標とから身長差を算出する。

【0030】

補正要否判定部１０２は、身長差が閾値以上である場合、補正が必要であると判定し、身長差が閾値未満である場合、学習骨格データ１３１の補正が不要であると判定する。骨格データ補正部１０４は、補正要否判定部１０２が補正を必要と判定した場合、学習骨格データ１３１の骨格の座標の補正を行い、補正要否判定部１０２が補正を不要と判定した場合、学習骨格データ１３１の骨格の座標の補正を行わない。

【0031】

このため、骨格データ補正部１０４は、評価作業者と模範作業者の身長差に応じて適切に補正を行うことができる。また、補正要否判定部１０２は、身長差とともに、あるいは身長差に代えて、評価作業者と模範作業者の肩幅の差を算出し、肩幅の差が閾値未満である場合、学習骨格データ１３１の補正が不要であると判定してもよい。この場合、骨格データ補正部１０４は、評価作業者と模範作業者の肩幅の差に応じて適切に補正を行うことができる。

【0032】

（補正例）
図２は、骨格の座標の補正の一例を示す図である。図２には、部品ＣをワークＷに組付ける作業中の模範作業者Ｈａの画像Ｇ１ａと、模範作業者Ｈａと同一の作業中の評価作業者Ｈｂの画像Ｇ２ａが示されている。画像Ｇ１ａは学習モデル１３３による骨格の座標の学習時に撮像され、画像Ｇ２ａは作業評価部１０５による作業の評価時に撮像される。

【0033】

画像Ｇ１ａ，Ｇ２ａは、作業場の模範作業者Ｈａ及び評価作業者Ｈｂの正面に設置されたカメラ装置２により撮像される。作業場には、一例として、作業が行われる作業台８０、部品箱８１、搬送コンベア８３が設置されている。模範作業者Ｈａ及び評価作業者Ｈｂは、一例として、右手側の部品箱８１から部品Ｃを取り出して、作業台８０上のワークＷに組み付ける作業を行う。ワークＷは搬送コンベア８３により搬送される。

【0034】

骨格検出部１０１は、汎用的なＡＩを用いた画像解析により画像Ｇ１ａ，Ｇ２ａから模範作業者Ｈａ及び評価作業者Ｈｂの骨格の座標をそれぞれ検出する。骨格の座標としては、例えば模範作業者Ｈａ及び評価作業者Ｈｂの鼻の位置Ｐ０、左肩の位置Ｐ２３、右肩の位置Ｐ１３、左肘の位置Ｐ２２、右肘の位置Ｐ１２、左手の位置Ｐ２１、右手の位置Ｐ１１、左腰の位置Ｐ３２、及び右腰の位置Ｐ３１の各座標が挙げられる。なお、画像Ｇ１ａ，Ｇ２ａにおいて、水平方向をＸ方向とし、鉛直方向をＹ方向とする。

【0035】

作業評価部１０５は、評価前、学習モデル１３３に画像Ｇ１ａ内の骨格の座標を学習させて学習骨格データ１３１を生成する。作業評価部１０５は、評価時、画像Ｇ１ａの骨格の座標を学習済みの学習モデル１３３を用いて、画像Ｇ２ａ内の骨格の座標に基づき作業を評価する。このとき、画像Ｇ１ａ内の骨格の座標と画像Ｇ２ａ内の骨格の座標が互いに比較され、比較結果に応じた評価結果が得られる。

【0036】

しかし、模範作業者Ｈａ及び評価作業者Ｈｂの体格差により各々の骨格の座標は、同一位置で同じ組付け作業を行っているときでも相違する。評価作業者Ｈｂの身長は模範作業者Ｈａより低い。このため、評価作業者Ｈｂが正しい作業を行っても、作業評価部１０５は、骨格の座標の相違のために「不可」の評価結果を出力するおそれがある。

【0037】

そこで、骨格データ補正部１０４は、点線の矢印で示されるように、模範作業者Ｈａの骨格の座標を補正する。白丸は補正後の骨格の位置Ｐ０，Ｐ１１～Ｐ１３，Ｐ２１～Ｐ２３，Ｐ３１，Ｐ３２である。模範作業者Ｈａの補正後の骨格の座標は、画像Ｇ２ａ内の骨格の座標に近い。このため、評価作業者Ｈｂが正しい作業を行った場合、作業評価部１０５が「不可」の評価結果を出力するおそれが低減される。

【0038】

骨格データ補正部１０４は、必ずしも全ての骨格の座標を補正する必要はない。本例のような組付け作業では、模範作業者Ｈａ及び評価作業者Ｈｂは左手でワークＷの左端の中央を抑える動作を行う。ワークＷ上の抑え位置は、実質的には、模範作業者Ｈａ及び評価作業者Ｈｂの体格によらず一定である。したがって、骨格データ補正部１０４は左手の位置Ｐ２１を補正しなくてもよい。

【0039】

また、本例とは異なり、例えば模範作業者Ｈａ及び評価作業者Ｈｂが部品箱８１から部品Ｃを取り出す作業を行う場合、右手の位置Ｐ１１は実質的に各々の体格によらず一定である。このため、部品Ｃの取り出し作業の評価において、骨格データ補正部１０４は右手の位置Ｐ１１を補正しなくてもよい。

【0040】

したがって、補正値算出部１０３は、評価作業者Ｈｂの作業の種類に応じて骨格ごとに補正値を異ならせることができる。これにより、骨格の座標がより作業の種類に応じて適切に補正されるため、作業評価部１０５は、より高精度に作業を評価することができる。

【0041】

（補正値の算出例）
図３は、補正値の算出の一例を示す図である。図３には、作業台８０の前で所定の基本姿勢をとる模範作業者Ｈａ及び評価作業者Ｈｂの画像Ｇ１ｂ，Ｇ２ｂが示されている。なお、図３において図２と共通する構成には同一の符号を付し、その説明は省略する。

【0042】

補正値算出部１０３は、基本姿勢の模範作業者Ｈａ及び評価作業者Ｈｂから補正値を算出する。カメラ装置２は、学習モデル１３３の学習時、基本姿勢の模範作業者Ｈａの画像Ｇ１ｂを撮像する。このとき、例えば作業評価部１０５は、骨格検出部１０１が画像Ｇ２ａから検出した骨格の座標を学習骨格データ１３１の一部として保存する。なお、基本姿勢の模範作業者Ｈａの骨格の座標は、これに限定されず、学習骨格データ１３１とは別のデータとしてＨＤＤ１３に予め格納されてもよい。

【0043】

また、カメラ装置２は、基本姿勢の評価作業者Ｈｂの画像Ｇ２ｂを評価前に撮像する。このとき、補正値算出部１０３は、骨格検出部１０１が画像Ｇ２ｂから検出した骨格の座標を基本姿勢の模範作業者Ｈａの骨格の座標と比較することにより補正値を算出する。基本姿勢は、一例として、模範作業者Ｈａ及び評価作業者Ｈｂの体格差が明確となるように、上腕を左右の水平方向に伸ばし、前腕を鉛直上方向に伸ばして正面を向いた状態であるが、これに限定されない。補正値算出部１０３は、模範作業者Ｈａ及び評価作業者Ｈｂの体格差による骨格の座標の差分から補正値を算出する。

【0044】

補正値算出部１０３は、補正値を算出するとき、基本姿勢の模範作業者Ｈａ及び評価作業者Ｈｂの各々の両肩を結ぶ直線Ｎａ，Ｎｂの中央に補正の基準点Ｐａ，Ｐｂをそれぞれ定める。ここで、基準点Ｐａの座標を（Ｘａ，Ｙａ）とし、基準点Ｐｂの座標を（Ｘｂ，Ｙｂ）とすると、Ｘａ＝Ｘｂ及びＹａ＞Ｙｂが成立する。補正値算出部１０３は、一例として部品箱８１の角部に設定した測定点Ｐｏから基準点Ｐａ，Ｐｂまでの各距離Ｄａ，Ｄｂを算出する。補正値算出部１０３は、距離Ｄａに対するＤｂの比（Ｄｂ／Ｄａ）をＸ座標の補正値として算出する。また、補正値算出部１０３は、各基準点Ｐａ，ＰｂのＹ座標の差分ΔＹ（＝Ｙａ－Ｙｂ）をＹ座標の補正値として算出する。

【0045】

骨格データ補正部１０４は、上記の各補正値を用いて右肩、左肩、右腰、及び左腰（Ｐ１３，Ｐ２３，Ｐ３１，Ｐ３２）の座標を補正する。以下に左肩の座標の補正例を述べる。

【0046】

例えば測定点Ｐｏの座標を（０，０）としたときの基準点Ｐａの座標を（１００，１１０）とし、基準点Ｐｂの座標を（１００，１００）とする。また、模範作業者Ｈａの左肩の座標を（１５４，１１０）とする。このとき、測定点Ｐｏと基準点Ｐａの距離Ｄａは１４８．７であり、測定点Ｐｏと基準点Ｐｂの距離Ｄｂは１４１．４であるため、Ｘ座標の補正値は０．９５（＝１４１．４／１４８．７）と算出される。また、Ｙ座標の補正値は、１０（＝１１０－１００）と算出される。

【0047】

骨格データ補正部１０４は、各補正値を用いて模範作業者Ｈａの左肩の座標（１５４，１１０）を補正する。補正後の左肩のＸ座標は、補正前のＸ座標（１５４）にＸ座標の補正値を乗ずることにより１４６（＝１５４×０．９５）と算出される。補正後の左肩のＹ座標は、補正前のＹ座標（１１０）にＹ座標の補正値を減ずることにより１００（＝１１０－１０）と算出される。したがって、補正後の左肩の座標は（１４６，１００）となる。この座標は、実質的に画像Ｇ２ｂの左肩の座標に一致する。右肩、右腰、及び左腰の座標の補正も左肩と同様に行われる。なお、補正値算出部１０３は、これに限定されず、各画像Ｇ１ｂ，Ｇ２ｂの左肩、右肩、右腰、及び左腰の座標同士の相対的な位置の差から補正値を算出してもよい。

【0048】

また、骨格データ補正部１０４は、左肘、右肘、左手、及び右手（Ｐ２２，Ｐ１２，Ｐ２１，Ｐ１１）の座標を、例えば画像Ｇ２ｂの上腕の長さＵ及び前腕の長さＬを用いて補正する。例えば補正値算出部１０３は、画像Ｇ２ｂの左肩及び左肘の各座標の間の距離を評価作業者Ｈｂの上腕の長さＵとして算出し、画像Ｇ２ｂの左肘及び左手の各座標の間の距離を評価作業者Ｈｂの前腕の長さＬとして算出する。

【0049】

補正値算出部１０３は、上腕の長さＵを左肘及び右肘の座標の補正値として算出し、前腕の長さＬを左手及び右手の座標の補正値として算出する。骨格データ補正部１０４は、学習骨格データ１３１の補正後の左肩の座標、上腕の長さＵ、及び左の上腕の鉛直方向に対する角度から学習骨格データ１３１の左肘の座標を補正する。なお、右肘の座標も同様に、補正後の右肩の座標、上腕の長さＵ、及び右の上腕の鉛直方向に対する角度から補正される。

【0050】

また、骨格データ補正部１０４は、学習骨格データ１３１の補正後の左肘の座標、前腕の長さＬ、及び左の前腕の鉛直方向に対する角度から学習骨格データ１３１の左手の座標を補正する。なお、右手の座標も同様に、補正後の右肘の座標、前腕の長さＬ、及び右の前腕の鉛直方向に対する角度から補正される。なお、上記の補正方法は一例であり、これに限定されない。

【0051】

また、補正値算出部１０３は、各基準点Ｐａ，ＰｂのＹ座標の差分ΔＹを鼻の座標の補正値とする。骨格データ補正部１０４は、学習骨格データ１３１の鼻のＹ座標から差分ΔＹを減算して鼻のＹ座標を補正する。なお、鼻のＸ座標の補正は行われない。

【0052】

このように、補正値算出部１０３は、画像Ｇ１ｂ内の模範作業者Ｈａの両肩を結ぶ直線Ｎａの中心の基準点Ｐａの座標（Ｘａ，Ｙａ）と、画像Ｇ２ｂ内の評価作業者Ｈｂの両肩を結ぶ直線Ｎｂの中心の基準点Ｐｂの座標（Ｘｂ，Ｙｂ）との差分から補正値を算出する。このため、骨格データ補正部１０４は、作業中の評価作業者Ｈｂの姿勢によらず、高精度に骨格の座標を補正することができる。なお、本例では、模範作業者Ｈａの身長が評価作業者Ｈｂより高い場合を挙げたが、評価作業者Ｈｂの身長が模範作業者Ｈａより高い場合も、上記の手法と同様の手法により学習済みの骨格の座標を補正することが可能である。

【0053】

また、模範作業者Ｈａ及び評価作業者Ｈｂの身長が互いに実質的に同一であるが、肩幅が相違する場合、例えば基準点Ｐａ，Ｐｂから各骨格の座標までのＸ方向の距離の比から学習骨格データ１３１の骨格の座標を補正することができる。

【0054】

補正要否判定部１０２は、補正値の算出前に模範作業者Ｈａ及び評価作業者Ｈｂの体格差から補正の可否を判定する。補正要否判定部１０２は、模範作業者Ｈａ及び評価作業者Ｈｂの身長差を算出し、身長差が閾値以上である場合、補正を必要と判定し、身長差が閾値未満である場合、補正を不要と判定する。例えば補正要否判定部１０２は、身長として鼻のＹ座標Ｔａ，Ｔｂの差分（｜Ｔａ－Ｔｂ｜）を判定に用いる。

【0055】

また、補正要否判定部１０２は、模範作業者Ｈａ及び評価作業者Ｈｂの肩幅Ｗａ，Ｗｂの差（｜Ｗａ－Ｗｂ｜）を閾値と比較することにより補正の要否を判定してもよい。模範作業者Ｈａの肩幅Ｗａは学習骨格データ１３１の右肩及び左肩の座標間の距離から算出され、評価作業者Ｈｂは画像Ｇ２ｂの右肩及び左肩の座標間の距離から算出される。

【0056】

このように補正要否判定部１０２は、模範作業者Ｈａ及び評価作業者Ｈｂの身長差及び肩幅の差に基づき骨格の座標の補正の要否を判定する。このため、模範作業者Ｈａ及び評価作業者Ｈｂの体格差が実質的にない場合、補正を省くことができる。なお、補正要否判定部１０２は、模範作業者Ｈａ及び評価作業者Ｈｂの身長差及び肩幅の差の一方のみで補正の要否を判定してもよい。

【0057】

（補正判定処理）
図４は、補正判定処理の一例を示すフローチャートである。本処理は、作業の評価処理の前に実行される。なお、上記の画像Ｇ１ｂで示されたような基本姿勢の模範作業者Ｈａの骨格の座標は予め学習骨格データ１３１に含まれている。

【0058】

まず、骨格検出部１０１はカメラ装置２から評価作業者の画像をＬＡＮ９０経由で取得する（ステップＳｔ１）。次に骨格検出部１０１は評価作業者の骨格の座標を検出する（ステップＳｔ２）。次に作業評価部１０５は、骨格の座標を所定パタンと比較することにより評価作業者が基本姿勢であるか否かを判定する（ステップＳｔ３）。評価作業者が基本姿勢ではない場合（ステップＳｔ３のＮｏ）、再びステップＳｔ１以降の処理が行われる。

【0059】

評価作業者が基本姿勢である場合（ステップＳｔ３のＹｅｓ）、補正要否判定部１０２は、学習骨格データ１３１のうち、基本姿勢の模範作業者の骨格の座標を読み出す（ステップＳｔ４）。次に補正要否判定部１０２は基本姿勢の模範作業者及び評価作業者の各々の骨格の座標から互いの身長差及び肩幅の差をそれぞれ算出する（ステップＳｔ５）。補正要否判定部１０２は身長差を閾値ＴＨａと比較する（ステップＳｔ６）。例えば閾値ＴＨａは、身長差と所望の評価の精度との関係から決定される。

【0060】

身長差が閾値ＴＨａ未満である場合（ステップＳｔ６のＮｏ）、補正要否判定部１０２は肩幅の差を閾値ＴＨｂと比較する（ステップＳｔ９）。例えば閾値ＴＨｂは、肩幅の差と所望の評価の精度との関係から決定される。肩幅の差が閾値ＴＨｂ未満である場合（ステップＳｔ９のＮｏ）、補正要否判定部１０２は補正処理を不要と判定する（ステップＳｔ１０）。

【0061】

身長差が閾値ＴＨａ以上である場合（ステップＳｔ６のＹｅｓ）、または肩幅の差が閾値ＴＨｂ以上である場合（ステップＳｔ９のＹｅｓ）、補正要否判定部１０２は補正処理を必要と判定する（ステップＳｔ７）。次に補正値算出部１０３は、基本姿勢の模範作業者及び評価作業者の各々の骨格の座標から補正値を算出する（ステップＳｔ８）。このようにして補正判定処理は行われる。

【0062】

（評価処理）
図５は、作業の評価処理の一例を示すフローチャートである。本処理は、補正判定処理の後に実行される。まず、骨格データ補正部１０４は、補正要否判定部１０２が補正処理を必要であると判定した場合（ステップＳｔ２１のＹｅｓ）、学習骨格データ１３１の作業中の模範作業者の骨格の座標を読み出す（ステップＳｔ２２）。次に骨格データ補正部１０４は学習骨格データ１３１の骨格の座標を補正値により補正する（ステップＳｔ２３）。また、補正処理が不要と判定された場合（ステップＳｔ２１のＮｏ）、ステップＳｔ２２及びＳｔ２３は実行されない。

【0063】

次に骨格検出部１０１はカメラ装置２から評価作業者の画像をＬＡＮ９０経由で取得する（ステップＳｔ２４）。次に骨格検出部１０１は評価作業者の骨格の座標を検出する（ステップＳｔ２５）。次に骨格検出部１０１は骨格の座標を時系列で検出骨格データ１３０として保存する（ステップＳｔ２６）。

【0064】

次に作業評価部１０５は、補正後の学習骨格データ１３１の骨格の座標と検出骨格データ１３０の骨格座標を比較する（ステップＳｔ２７）。次に作業評価部１０５は、学習モデル１３３を用いて骨格の座標の比較結果から、学習骨格データ１３１に応じた模範作業者の動作と、検出骨格データ１３０に応じた評価作業者の動作とが互いに類似するか否かを判定する（ステップＳｔ２８）。

【0065】

作業評価部１０５は、模範作業者の動作と評価作業者の動作とが互いに類似する場合（ステップＳｔ２８のＹｅｓ）、作業を「良」と評価し（ステップＳｔ２９）、模範作業者の動作と評価作業者の動作とが互いに類似しない場合（ステップＳｔ２８のＮｏ）、作業を「不可」と評価する（ステップＳｔ３１）。次に作業評価部１０５は評価結果を評価データ１３２として保存する（ステップＳｔ３０）。このようにして評価処理は行われる。

【0066】

（他の実施例）
骨格データ補正部１０４は、学習骨格データ１３１の骨格の座標に代えて、検出骨格データ１３０の骨格の座標を補正値により補正してもよい。

【0067】

図６は、作業の評価処理の他の例を示すフローチャートである。図６において、図５と共通する処理には同一の符号を付し、その説明は省略する。評価作業者の骨格の座標の検出及び保存後（Ｓｔ２４～Ｓｔ２６）、骨格データ補正部１０４は、補正要否判定部１０２が補正処理を必要であると判定した場合（ステップＳｔ２６ａのＹｅｓ）、検出骨格データ１３０の骨格の座標を補正値により補正し（ステップＳｔ２６ｂ）、補正要否判定部１０２が補正処理を不要であると判定した場合（ステップＳｔ２６ａのＮｏ）、補正を行わない。その後、上述したように作業評価部１０５が作業の評価を行う（Ｓｔ２７～Ｓｔ３１）。

【0068】

上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。

【符号の説明】

【0069】

１ 作業評価サーバ（作業評価装置）、１０ ＣＰＵ、１０１ 骨格検出部（検出部）、１０２ 補正要否判定部（判定部）、１０３ 補正値算出部（算出部）、１０４ 骨格データ補正部（補正部）、１０５ 作業評価部（評価部）、１３０ 検出骨格データ、１３１ 学習骨格データ、１３３ 学習モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】