特開 2025-1195 作業評価装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025001195

(43)【公開日】2025-01-08

(54)【発明の名称】作業評価装置

(51)【国際特許分類】

   G06T 7/70 20170101AFI20241225BHJP

   G06T 7/00 20170101ALI20241225BHJP

   G06T 7/20 20170101ALI20241225BHJP

【ＦＩ】

G06T7/70 Z

G06T7/00 660Z

G06T7/20 300

G06T7/00 350B

【審査請求】未請求

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2023100655

(22)【出願日】2023-06-20

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100087480

【弁理士】

【氏名又は名称】片山 修平

(72)【発明者】

【氏名】竹内 伸一

(72)【発明者】

【氏名】倉持 知貴

(72)【発明者】

【氏名】田端 淳

(72)【発明者】

【氏名】則竹 真吾

(72)【発明者】

【氏名】柳川 涼

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA20

5L096EA14

5L096FA67

5L096FA69

5L096HA02

5L096JA11

5L096KA04

(57)【要約】

【課題】 高精度に作業を評価することができる作業評価装置を提供する。
【解決手段】 作業評価装置は、撮像装置が撮像した第１画像内の第１作業者の骨格の座標、及び撮像装置が撮像した第２画像内の第２作業者の骨格の座標を検出する検出部と、第１画像内の作業中の第１作業者の骨格の座標を時系列に従って機械学習した学習モデルを用い、第２画像内の作業中の第２作業者の骨格の座標の時間変化に基づき第２作業者の作業を評価する評価部と、第１画像内の作業中の第１作業者の骨格の座標と、第２画像内の作業中の第２作業者の骨格の座標とから、第１作業者及び第２作業者の体軸同士のずれを算出する算出部と、学習モデルが学習した第１作業者の骨格の座標を体軸同士のずれに基づき補正する補正部とを有する。
【選択図】図２

【特許請求の範囲】

【請求項1】

撮像装置が撮像した第１画像内の第１作業者の骨格の座標、及び前記撮像装置が撮像した第２画像内の第２作業者の骨格の座標を検出する検出部と、
前記第１画像内の作業中の前記第１作業者の骨格の座標を時系列に従って機械学習した学習モデルを用い、前記第２画像内の作業中の前記第２作業者の骨格の座標の時間変化に基づき前記第２作業者の作業を評価する評価部と、
前記第１画像内の作業中の前記第１作業者の骨格の座標と、前記第２画像内の作業中の前記第２作業者の骨格の座標とから、前記第１作業者及び前記第２作業者の各々の体軸同士のずれを算出する算出部と、
前記学習モデルが学習した前記第１作業者の骨格の座標を前記体軸同士のずれに基づき補正する補正部とを有する、
作業評価装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業評価装置に関する。

【背景技術】

【0002】

例えば特許文献１には、カメラの映像から人の行動をその骨格情報に基づき認識するサービスにおいて、ディープラーニングなどの機械学習のアルゴリズムに従って基本動作が学習済みである学習モデルを用いる点が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－３４３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、例えば、画像内の作業者の骨格から、上記のような学習モデルを用いて作業を評価する場合、作業者を撮像するときのカメラ装置の位置が、学習モデルの学習対象の基本動作を行う人物を撮像したときの位置からずれてしまうことにより、作業者の動作が正確に評価されないおそれがある。

【0005】

そこで本発明は上記の課題に鑑みてなされたものであり、高精度に作業を評価することができる作業評価装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の作業評価装置は、撮像装置が撮像した第１画像内の第１作業者の骨格の座標、及び前記撮像装置が撮像した第２画像内の第２作業者の骨格の座標を検出する検出部と、前記第１画像内の作業中の前記第１作業者の骨格の座標を時系列に従って機械学習した学習モデルを用い、前記第２画像内の作業中の前記第２作業者の骨格の座標の時間変化に基づき前記第２作業者の作業を評価する評価部と、前記第１画像内の作業中の前記第１作業者の骨格の座標と、前記第２画像内の作業中の前記第２作業者の骨格の座標とから、前記第１作業者及び前記第２作業者の各々の体軸同士のずれを算出する算出部と、前記学習モデルが学習した前記第１作業者の骨格の座標を前記体軸同士のずれに基づき補正する補正部とを有する。

【発明の効果】

【0007】

本発明によれば、高精度に作業を評価することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、作業評価システムの一例を示す構成図である。

【図2】図２は、学習骨格データの補正の一例を示す図である。

【図3】図３は、作業評価サーバの動作の一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

（作業評価システムの構成例）
図１は、作業評価システム９の一例を示す構成図である。作業評価システム９は、一例として自動車などの組立工場に設置される。

【0010】

作業評価システム９は、ＬＡＮ（Local Area Network）９０を介して互いに通信可能な作業評価サーバ１、カメラ装置２、及び端末３を含む。作業評価サーバ１は作業評価装置の一例である。作業評価サーバ１は作業者の作業動作を評価する。カメラ装置２は、撮像装置の一例であり、作業者などの人物を撮像する。端末３は、例えば作業者やその関係者により所持され、作業評価サーバ１から作業の評価結果を受信して通知する。

【0011】

作業評価サーバ１は、ＣＰＵ（Central Processing Unit）１０、ＲＯＭ（Read Only Memory）１１、ＲＡＭ（Random Access Memory）１２、ＨＤＤ（Hard Disk Drive）１３、及び通信ポート１４を有する。ＣＰＵ１０は、互いに信号の入出力ができるように、ＲＯＭ１１、ＲＡＭ１２、ＨＤＤ１３、及び通信ポート１４と、バス１９を介して電気的に接続されている。

【0012】

ＲＯＭ１１は、ＣＰＵ１０を駆動するプログラムが格納されている。ＲＡＭ１２は、ＣＰＵ１０のワーキングメモリとして機能する。通信ポート１４は、例えば無線ＬＡＮ（Local Area Network）カードであり、ＬＡＮ９０を介したＣＰＵ１０の通信を処理する。

【0013】

ＣＰＵ１０は、ＲＯＭ１１からプログラムを読み込むと、ソフトウェア機能として、装置制御部１００、骨格検出部１０１、軸ずれ算出部１０２、骨格データ補正部１０３、及び作業評価部１０４を形成する。また、ＨＤＤ１３には、検出骨格データ１３０、学習骨格データ１３１、評価データ１３２、及び学習モデル１３３が格納されている。

【0014】

装置制御部１００は、プログラムに規定されたシーケンスに従い骨格検出部１０１、軸ずれ算出部１０２、骨格データ補正部１０３、及び作業評価部１０４に対して動作を指示する。なお、装置制御部１００、骨格検出部１０１、軸ずれ算出部１０２、骨格データ補正部１０３、及び作業評価部１０４は、ソフトウェアに限定されず、ＡＳＩＣ（Application Specified Integrated Circuit）などのハードウェアにより実現されてもよい。

【0015】

骨格検出部１０１は検出部の一例である。骨格検出部１０１は、カメラ装置２が撮像した画像内の人物の骨格の座標を検出する。骨格検出部１０１は、カメラ装置２からＬＡＮ９０を介して画像データを受信する。骨格検出部１０１は、例えば汎用的なＡＩ（Artificial Intelligence）を用いた画像解析により人物の骨格の座標を検出する。

【0016】

カメラ装置２は、作業評価部１０４が評価対象の作業者（以下、評価作業者と表記）を評価する場合、評価作業者の画像を撮像する。また、カメラ装置２は、作業評価部１０４が評価に用いる学習モデル１３３に評価基準の骨格の座標を学習させるため、模範的な作業者（以下、模範作業者と表記）の画像を撮像する。なお、模範作業者は第１作業者の一例であり、評価作業者は第２作業者の一例である。また、模範作業者が撮像された画像は第１画像の一例であり、評価作業者が撮像された画像は第２画像の一例である。

【0017】

骨格検出部１０１は、評価作業者の画像から評価作業者の骨格の座標を検出して検出骨格データ１３０としてＨＤＤ１３に格納する。検出骨格データ１３０は、例えば画像のフレーム番号ごとに画像内の評価作業者の鼻、左肩、右肩、左肘、右肘、左手、右手、左腰、右腰の各座標を時系列に従って示す。座標は、例えば画像の矩形状のフレームの横方向及び縦方向をＸ軸及びＹ軸とそれぞれ定義したとき、Ｘ座標及びＹ座標（ｘ，ｙ）により示される。なお、原点の位置に限定はない。

【0018】

作業評価部１０４は評価部の一例である。作業評価部１０４は、画像内の作業中の模範作業者の骨格の座標を時系列に従って機械学習した学習モデル１３３を用い、画像内の作業中の評価作業者の骨格の座標の時間変化に基づき評価作業者の作業を評価する。作業評価部１０４は、検出骨格データ１３０に記録された評価作業者の骨格の座標の時間変化が、学習骨格データ１３１に記録された評価作業者の骨格の座標の時間変化に類似しているか否かを判定することにより、評価作業者が、模範作業者により示される所定の基準に従って作業しているか否かを判断する。

【0019】

学習モデル１３３は、各種の演算モジュール及びパラメータのセットとしてＨＤＤ１３に格納されている。学習モデル１３３の学習処理では、作業中の模範作業者の骨格の座標の時間変化を教師データとして、作業の評価結果についてアノテーションが行われる。学習モデル１３３は、人間の脳機能を数学的にモデル化したニューラルネットワークであり、ニューロンに該当する部分の活性化関数の重み係数を機械学習に基づいて決定する。このように作業評価部１０４は、教師あり学習による機械学習済みの学習モデル１３３を用いることにより、高精度に評価結果を出力することができる。

【0020】

学習モデル１３３が学習した模範作業者の骨格の座標は、学習骨格データ１３１としてＨＤＤ１３に格納される。学習骨格データ１３１は、検出骨格データ１３０と同様に、画像のフレーム番号ごとに画像内の評価作業者の鼻、左肩、右肩、左肘、右肘、左手、右手、左腰、右腰の各座標を時系列に従って示す。学習モデル１３３は、学習骨格データ１３１に対する検出骨格データ１３０の相違の程度から評価結果を出力する。

【0021】

このようにして作業評価部１０４は、評価作業者の作業が所定の基準に従っている場合、評価結果を「良」とし、評価作業者の作業が所定の基準に従っていない場合、評価結果を「不可」とする。作業評価部１０４は、評価結果を評価データ１３２としてＨＤＤ１３に保存する。作業評価部１０４は、評価データ１３２をＬＡＮ９０経由で端末３に送信する。これにより、評価作業者に作業の評価結果が通知され、評価作業者の作業が改善される。

【0022】

軸ずれ算出部１０２は算出部の一例である。軸ずれ算出部１０２は、カメラ装置２の画像内の作業中の評価作業者の骨格の座標と、カメラ装置２の画像内の作業中の模範作業者の骨格の座標とから、模範作業者及び評価作業者の各々の体軸同士のずれを算出する。ここで、体軸は、模範作業者及び評価作業者の各々の胴体の主軸（長手方向の中心軸）であり、例えば右肩及び左肩の各骨格の座標の中心点と、右腰及び左腰の座標の中心点とを通過する直線として規定される。

【0023】

骨格データ補正部１０３は補正部の一例である。骨格データ補正部１０３は、学習モデル１３３が学習した模範作業者の骨格の座標を、模範作業者及び評価作業者の各体軸のずれに基づき補正する。例えば骨格データ補正部１０３は、各体軸同士のずれとして、体軸同士のＸ座標の差分を算出する。骨格データ補正部１０３は、各体軸のＸ座標同士が実質的に一致するように、学習骨格データ１３１の骨格の座標を体軸同士のずれに基づき補正する。

【0024】

このため、評価作業者を撮像するときのカメラ装置２の位置が、学習モデル１３３の学習のために模範作業者を撮像したときの位置からずれた場合でも、学習骨格データ１３１の骨格の座標を、位置ずれしたカメラ装置２の画像内の評価作業者の位置に合わせることができる。これにより、作業評価部１０４は、補正後の模範作業者の骨格の座標に基づき評価作業者の作業を高精度に評価することができる。

【0025】

（補正例）
図２は、学習骨格データ１３１の補正の一例を示す図である。図２には、模範作業者Ｈａを撮像した画像Ｇａ、及び評価作業者Ｈｂを撮像した画像Ｇｂが示されている。また、符号Ｋは、画像Ｇａを撮像したときのカメラ装置２と、画像Ｇｂを撮像したときのカメラ装置２との位置のずれ（矢印ｍを参照）をカメラ装置２の上方向の視点から概略的に示す。

【0026】

画像Ｇａ，Ｇｂは、作業場の模範作業者Ｈａ及び評価作業者Ｈｂの正面に設置されたカメラ装置２により撮像される。作業場には、一例として、作業が行われる作業台８０、部品箱８１、搬送コンベア８３が設置されている。模範作業者Ｈａ及び評価作業者Ｈｂは、一例として、右手側の部品箱８１から部品Ｃを取り出して、作業台８０上のワークＷに組み付ける作業を行う。ワークＷは搬送コンベア８３により搬送される。

【0027】

骨格検出部１０１は、汎用的なＡＩを用いた画像解析により画像Ｇａ，Ｇｂから模範作業者Ｈａ及び評価作業者Ｈｂの骨格の座標をそれぞれ検出する。骨格の座標としては、例えば模範作業者Ｈａ及び評価作業者Ｈｂの鼻の位置Ｐ０、左肩の位置Ｐ２３、右肩の位置Ｐ１３、左肘の位置Ｐ２２、右肘の位置Ｐ１２、左手の位置Ｐ２１、右手の位置Ｐ１１、左腰の位置Ｐ３２、及び右腰の位置Ｐ３１の各座標が挙げられる。なお、画像Ｇａ，Ｇｂにおいて、水平方向をＸ方向とし、鉛直方向をＹ方向とする。

【0028】

作業評価部１０４は、評価前、学習モデル１３３に画像Ｇａ内の骨格の座標を学習させて学習骨格データ１３１を生成する。作業評価部１０４は、評価時、画像Ｇａの骨格の座標を学習済みの学習モデル１３３を用いて、画像Ｇｂ内の骨格の座標に基づき作業を評価する。このとき、画像Ｇａ内の骨格の座標と画像Ｇｂ内の骨格の座標が互いに比較され、比較結果に応じた評価結果が得られる。

【0029】

しかし、符号Ｋで示されるように、画像Ｇｂを撮像したときのカメラ装置２の位置が、画像Ｇａを撮像したときの位置からずれた場合、画像Ｇｂ内の評価作業者Ｈｂの位置も画像Ｇａ内の模範作業者Ｈａの位置からずれる。本例ではカメラ装置２が、矢印ｍで示されるように、図２の紙面の左側にずれたことにより、評価作業者Ｈｂは模範作業者Ｈａより右側に位置している。このため、評価作業者Ｈｂが正しい作業を行っても、作業評価部１０４は、骨格の座標の相違のために「不可」の評価結果を出力するおそれがある。

【0030】

そこで、骨格データ補正部１０３は、模範作業者Ｈａの体軸Ａａと、評価作業者Ｈｂの体軸ＡｂとのずれΔｄに基づき、模範作業者Ｈａの骨格の座標を補正する。補正後の各骨格の位置Ｐｍは、白丸で示されており、補正前の位置Ｐ０，Ｐ１１～Ｐ１３，Ｐ２１～Ｐ２３，Ｐ３１，Ｐ３２をＸ軸の正方向に体軸Ａａ，Ａｂ同士のずれΔｄの分だけ移動させた位置となる。なお、本例では評価作業者Ｈｂが、模範作業者ＨａよりＸ軸の正方向側に位置しているため、ずれΔｄは正の値であるが、仮に模範作業者ＨａよりＸ軸の負方向側に位置している場合、ずれΔｄは負の値となる。

【0031】

軸ずれ算出部１０２は、作業台８０の正面にいるときの模範作業者Ｈａ及び評価作業者Ｈｂの各々の骨格の座標から体軸Ａａ，Ａｂ同士のずれΔｄを算出する。体軸Ａａ，Ａｂは、模範作業者Ｈａ及び評価作業者Ｈｂにおいて、右肩及び左肩の各骨格の座標（Ｐ１３，Ｐ２３）の中点と、右腰及び左腰の座標（Ｐ３１，Ｐ３２）の中点とを通過する。軸ずれ算出部１０２は、体軸Ａａ，ＡｂのＸ座標の差分をずれΔｄとして算出する。

【0032】

このため、カメラ装置２の水平方向の位置ずれによる骨格の座標の誤差を、体軸Ａａ，Ａｂ同士のずれΔｄ分の補正により相殺することが可能となる。したがって、作業評価部１０４は、高精度に評価作業者Ｈｂの作業を評価することができる。

【0033】

また、骨格データ補正部１０３は、評価作業者Ｈｂの骨格の座標ではなく模範作業者Ｈａの骨格の座標を補正するため、評価作業者Ｈｂの作業中にリアルタイムにその骨格の座標を補正する必要がなく、処理の負荷が抑えられる。なお、本例では作業の一例として組付け作業を挙げたが、溶接作業、塗装作業、及び分解作業などの他の作業についても上記と同様の効果が得られる。

【0034】

（作業評価サーバ１の動作例）
図３は、作業評価サーバ１の動作の一例を示すフローチャートである。本動作は、例えば装置制御部１００が端末３からＬＡＮ９０経由で評価要求を受信した場合に実行される。

【0035】

まず、軸ずれ算出部１０２は、学習骨格データ１３１の作業中の模範作業者の骨格の座標を読み出す（ステップＳｔ１）。次に軸ずれ算出部１０２は、模範作業者の骨格の座標から体軸のＸ座標を算出する（ステップＳｔ２）。

【0036】

次に骨格検出部１０１は、カメラ装置２から評価作業者の画像をＬＡＮ９０経由で取得する（ステップＳｔ３）。次に骨格検出部１０１は、画像内の評価作業者の骨格の座標を検出する（ステップＳｔ４）。次に骨格検出部１０１は、画像内の評価作業者の骨格の座標に基づき評価作業者が作業を開始したか否かを判定する（ステップＳｔ５）。このとき、骨格検出部１０１は、評価作業者の骨格の座標を所定のパターンと照合することにより例えば歩行動作などの作業以外の動作を行っていないか否かを判断する。

【0037】

作業が開始されていない場合（ステップＳｔ５のＮｏ）、再び骨格の座標が検出される（ステップＳｔ４）。作業が開始されている場合（ステップＳｔ５のＹｅｓ）、骨格検出部１０１は、骨格の座標を時系列で検出骨格データ１３０として保存する（ステップＳｔ６）。次に軸ずれ算出部１０２は、評価作業者の骨格の座標から体軸のＸ座標を算出する（ステップＳｔ７）。次に軸ずれ算出部１０２は、体軸同士のずれとして模範作業者及び評価作業者の各体軸のＸ座標の差分を算出する（ステップＳｔ８）。次に骨格データ補正部１０３は体軸同士のずれに基づき学習骨格データ１３１の骨格の座標を補正する（ステップＳｔ９）。

【0038】

次に作業評価部１０４は、補正後の学習骨格データ１３１の骨格の座標と検出骨格データ１３０の骨格座標同士を比較する（ステップＳｔ１０）。次に作業評価部１０４は、学習モデル１３３を用いて骨格の座標の比較結果から、学習骨格データ１３１に応じた模範作業者の動作と、検出骨格データ１３０に応じた評価作業者の動作とが互いに類似するか否かを判定する（ステップＳｔ１１）。

【0039】

作業評価部１０４は、模範作業者の動作と評価作業者の動作とが互いに類似する場合（ステップＳｔ１１のＹｅｓ）、作業を「良」と評価し（ステップＳｔ１２）、模範作業者の動作と評価作業者の動作とが互いに類似しない場合（ステップＳｔ１１のＮｏ）、作業を「不可」と評価する（ステップＳｔ１３）。次に作業評価部１０４は、評価結果を評価データ１３２として保存する（ステップＳｔ１４）。このように作業評価サーバ１は動作する。

【0040】

上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。

【符号の説明】

【0041】

１ 作業評価サーバ（作業評価装置）、１０ ＣＰＵ、１０１ 骨格検出部（検出部）、１０２ 軸ずれ算出部（算出部）、１０３ 骨格データ補正部（補正部）、１０４ 作業評価部（評価部）、１３０ 検出骨格データ、１３１ 学習骨格データ、１３３ 学習モデル、Ａａ，Ａｂ 体軸

【図1】

【図2】

【図3】