特開 2024-179128 習熟度判定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024179128

(43)【公開日】2024-12-26

(54)【発明の名称】習熟度判定装置

(51)【国際特許分類】

   G06Q 10/06 20230101AFI20241219BHJP

   G06T 7/00 20170101ALI20241219BHJP

   G06T 7/20 20170101ALI20241219BHJP

   G06V 10/34 20220101ALI20241219BHJP

   G06Q 50/04 20120101ALI20241219BHJP

【ＦＩ】

G06Q10/06

G06T7/00 350B

G06T7/20 300A

G06V10/34

G06Q50/04

【審査請求】未請求

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2023097709

(22)【出願日】2023-06-14

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100087480

【弁理士】

【氏名又は名称】片山 修平

(72)【発明者】

【氏名】竹内 伸一

(72)【発明者】

【氏名】倉持 知貴

(72)【発明者】

【氏名】田端 淳

【テーマコード（参考）】

5L010

5L049

5L050

5L096

【Ｆターム（参考）】

5L010AA06

5L049AA06

5L049CC03

5L050CC03

5L096CA02

5L096FA10

5L096FA12

5L096FA33

5L096FA69

(57)【要約】

【課題】作業者の作業の習熟度を精度よく判定できる習熟度判定装置を提供する。
【解決手段】所定の作業を複数回行う作業者を撮影した映像から前記作業者の骨格座標を抽出する抽出部と、前記骨格座標を入力とし前記作業の内容を出力する機械学習済の判別モデルを用いて、前記作業の内容を判別する判別部と、前記骨格座標の分散値、前記作業に要した作業時間の平均値、及び前記作業時間の分散値を算出する算出部と、前記算出部による算出結果に基づいて、前記作業者による前記作業の習熟度を判定する判定部と、を備えた習熟度判定装置。
【選択図】図２

【特許請求の範囲】

【請求項1】

所定の作業を複数回行う作業者を撮影した映像から前記作業者の骨格座標を抽出する抽出部と、
前記骨格座標を入力とし前記作業の内容を出力する機械学習済の判別モデルを用いて、前記作業の内容を判別する判別部と、
前記骨格座標の分散値、前記作業に要した作業時間の平均値、及び前記作業時間の分散値を算出する算出部と、
前記算出部による算出結果に基づいて、前記作業者による前記作業の習熟度を判定する判定部と、を備えた習熟度判定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、習熟度判定装置に関する。

【背景技術】

【0002】

作業者の作業の習熟度を判定する技術がある（例えば特許文献１）。このように判定された習熟度に応じて、作業者の作業能力を向上させるための訓練や、作業者のその作業に対する適正の判断、作業自体の見直しなどを図ることができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００４－０８６３２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

このような作業者の作業の習熟度を精度よく判定することが望まれる。

【0005】

そこで本発明は上記の課題に鑑みてなされたものであり、作業者の作業の習熟度を精度よく判定できる習熟度判定装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的は、所定の作業を複数回行う作業者を撮影した映像から前記作業者の骨格座標を抽出する抽出部と、前記骨格座標を入力とし前記作業の内容を出力する機械学習済の判別モデルを用いて、前記作業の内容を判別する判別部と、前記骨格座標の分散値、前記作業に要した作業時間の平均値、及び前記作業時間の分散値を算出する算出部と、前記算出部による算出結果に基づいて、前記作業者による前記作業の習熟度を判定する判定部と、を備えた習熟度判定装置によって達成できる。

【発明の効果】

【0007】

本発明によれば、作業者の作業の習熟度を精度よく判定できる習熟度判定装置を提供することができる。

【図面の簡単な説明】

【0008】

【図1】習熟度判定システムの一例を示す構成図である。

【図2】習熟度判定サーバが実行する習熟度判定制御を例示したフローチャートである。

【図3】骨格座標の分散値に基づく第１評価点を規定したマップの一例である。

【図4】習熟度判定サーバが実行する習熟度判定制御の変形例を示したフローチャートである。

【発明を実施するための形態】

【0009】

［習熟度判定システムの概略構成例］
図１は、習熟度判定システム９の概略構成図である。習熟度判定システム９は、一例として自動車などの組立工場に設置される。習熟度判定システム９は、ＬＡＮ（Local Area Network）９０を介して互いに通信可能な習熟度判定サーバ１、及びカメラ装置２を含む。習熟度判定サーバ１は習熟度判定装置の一例である。習熟度判定サーバ１は、作業者の作業の習熟度を判定する。カメラ装置２は、複数の作業工程を行っている作業者を撮影する。端末４は、作業者を監督する監督者により所持される。尚、作業者は、一連の作業を所定の順で繰り返し行う。

【0010】

習熟度判定サーバ１は、コンピュータの一例であり、ＣＰＵ（Central Processing Unit）１０、ＲＯＭ（Read Only Memory）１１、ＲＡＭ（Random Access Memory）１２、ＨＤＤ（Hard Disk Drive）１３、及び通信ポート１４を有する。ＣＰＵ１０は、互いに信号の入出力ができるように、ＲＯＭ１１、ＲＡＭ１２、ＨＤＤ１３、及び通信ポート１４と、バス１９を介して電気的に接続されている。ＲＯＭ１１は、ＣＰＵ１０を駆動するプログラムが格納されている。ＲＡＭ１２は、ＣＰＵ１０のワーキングメモリとして機能する。通信ポート１４は、例えば無線ＬＡＮ（Local Area Network）カードであり、ＬＡＮ９０を介したＣＰＵ１０の通信を処理する。

【0011】

ＣＰＵ１０は、ＲＯＭ１１からプログラムを読み込むと、ソフトウェア機能として、装置制御部１００、判定部１０１、算出部１０２、判別部１０３、及び抽出部１０４を形成する。ＨＤＤ１３には、作業者データ１３０、作業データ１３１、及び評価データ１３２が格納されている。装置制御部１００は、プログラムに規定されたシーケンスに従い判定部１０１、算出部１０２、判別部１０３、及び抽出部１０４に対して動作を指示する。装置制御部１００、判定部１０１、算出部１０２、判別部１０３、及び抽出部１０４は、ソフトウェアに限定されず、ＡＳＩＣ（Application Specified Integrated Circuit）などのハードウェアにより実現されてもよい。

【0012】

抽出部１０４は、カメラ装置２が撮影した映像から、例えば汎用的なＡＩ（Artificial Intelligence）を用いた画像解析により作業者の骨格座標と視線座標とを抽出する。抽出部１０４は、作業者の骨格の複数個所の座標と視線座標との時系列を作業者データ１３０としてＨＤＤ１３に保存する。作業者データ１３０は、例えばフレーム画像の番号ごとに作業者の鼻、左肩、右肩、左肘、右肘、左手、右手、左腰、右腰の各座標と、視線座標とを示す。座標は、例えば画像の矩形状のフレームの横方向及び縦方向をＸ軸及びＹ軸とそれぞれ定義したとき、Ｘ座標及びＹ座標（ｘ，ｙ）により示される。なお、原点の位置に限定はない。

【0013】

判別部１０３は、抽出部１０４が抽出した骨格座標や視線座標に基づいて、作業者が行った各作業を判別する。算出部１０２は、詳しくは後述するが骨格座標及び視線座標のそれぞれの分散値、各作業に要した作業時間の平均値及び分散値を算出する。判定部１０１は、作業者の習熟度を判定する。尚、作業データ１３１には、作業毎の作業負荷、及び作業毎の標準時間が記憶されている。

【0014】

［習熟度判定制御］
図２は、習熟度判定サーバ１が実行する習熟度判定制御を例示したフローチャートである。まず、抽出部１０４は、カメラ装置２から通信ポート１４を介して映像データを受信する（ステップＳ１）。抽出部１０４は、映像データを複数のフレーム画像として受信する。尚、映像データは、複数サイクルに亘って作業を行っている作業者を撮影した映像のデータである。次に抽出部１０４は、各フレーム画像から作業者の骨格座標と視線座標とを抽出する（ステップＳ２）。次に抽出部１０４は、抽出結果を作業者データ１３０に保存する（ステップＳ３）。

【0015】

判別部１０３は、作業者データ１３０に基づき、判別モデルを用いて作業者が行った作業を判別する（ステップＳ４）。判別モデルは、教師あり学習による機械学習済みのモデルである。判別モデルに骨格座標及び視線座標を入力することにより、判別モデルは作業の内容を出力する。作業内容は、例えば部品の取出しや、部品の組付け、部品の取外し、移動、溶接、塗装、検査、製品の搬送などがある。教師あり学習としては、ニューラルネットワークが用いられる。このように判別部１０３は、教師あり学習による機械学習済みの判別モデルを用いることにより、作業者が行った作業内容を精度よく判別することができる。

【0016】

算出部１０２は、作業データ１３１に基づき、判別された作業毎の作業負荷を算出する（ステップＳ５）。

【0017】

次に算出部１０２は、判別された作業毎に、骨格座標及び視線座標の各分散値と、作業時間の平均値及び分散値とを算出する（ステップＳ６）。座標の分散値は、例えば複数の座標値（ｘ，ｙ）から平均座標値を算出して、平均座標値を基準とした分散値であってもよい。また座標の分散値は、ｘ座標の分散値とｙ座標の分散値との平均値であってもよい。骨格座標の分散値は、作業者の鼻、左肩、右肩、左肘、右肘、左手、右手、左腰、右腰の各座標の分散値の平均値であってもよい。また、骨格座標の分散値は、各座標の分散値の何れかに重みづけをして算出した平均値であってもよい。また、骨格座標の分散値の算出に、作業毎に異なる箇所の座標を用いてもよい。

【0018】

次に判定部１０１は、１サイクルの作業での標準時間から１サイクルの作業時間の平均値を減算した差分が閾値ＴＳよりも大きいか否かを判定する（ステップＳ７）。ステップＳ７でＮｏの場合には、本制御は終了する。ステップＳ７で差分が閾値ＴＳ以下の場合は、作業者の作業全体の習熟度が不十分であり、作業者の習熟度がその判定を行うまでに至っていないからである。例えば作業者が初心者であり作業開始からの経過時間が不十分の場合には、ステップＳ７でＮｏと判定される。尚、１サイクルでの作業の標準時間は、作業データ１３１の作業毎の標準時間に基づいて算出される。

【0019】

ステップＳ７でＹｅｓの場合、判定部１０１は算出された分散値及び平均値に基づいて、作業者の作業毎の習熟度を示す評価点を算出する（ステップＳ８）。具体的には、骨格座標の分散値に基づく第１評価点、視線座標の分散値に基づく第２評価点、作業時間の平均値に基づく第３評価点、及び作業時間の分散値に基づく第４評価点に基づいて、最終的な評価点が算出される。図３は、骨格座標の分散値に基づく第１評価点を規定したマップの一例である。横軸は骨格座標の分散値を示し、縦軸は作業負荷を示す。図３のマップでは、分散値が小さいほど及び作業負荷が大きいほど、第１評価点は大きな値として算出される。同様に第２評価点は、分散値が小さいほど及び作業負荷が大きいほど、大きな値として算出される。第３評価点は、平均値が小さいほど及び作業負荷が大きいほど、大きな値として算出される。第４評価点は、分散値が小さいほど及び作業負荷が大きいほど、大きな値として算出される。図３に示した例では、第１評価点を１～５までの値として算出されるが、これに限定されない。例えば、第１～第４評価点のそれぞれの最小値や最大値は異なっていてもよいし、同じであってもよい。また、第１～第４評価点に基づいて最終的な評価点を算出する際には、例えば第１～第４評価点の平均値や合計値を最終的な評価点としてもよい。また、第１～第４評価点の一部を重み付けして算出された平均値や合計値を最終的な評価点としてもよい。

【0020】

次に装置制御部１００は、このようにして算出された作業者の作業毎の評価点を、評価データ１３２に保存する（ステップＳ９）。このように、分散値や平均値を用いて作業者の作業毎の習熟度が精度よく判定される。たとえば平均値のみを用いて習熟度を算出すると、作業のばらつきが考慮されないため、習熟度を精度よく判定することができないおそれがある。本実施例のように平均値に加えて分散値を用いることにより、作業のばらつきを考慮して習熟度が精度よく判定される。

【0021】

以上により、例えば監督者は端末４からＬＡＮ９０を経由して習熟度判定サーバ１にアクセスして、作業者の作業毎の評価点を確認することにより、作業者の作業毎の習熟度を把握することができる。例えば特定の作業の習熟度が低い場合、監督者は作業者にその作業の訓練をさせたり、または作業自体の見直しを図ることもできる。また、作業者が所有する端末からＬＡＮ９０を経由して習熟度判定サーバ１にアクセスして、作業者自身がその作業毎の評価点を確認してもよい。

【0022】

上記実施例では作業者の作業毎の習熟度を判定したが、これに限定されない。例えば、複数の作業工程からなる１連の作業が順に繰り返し行われる場合、１サイクルの作業での骨格座標及び視線座標の各分散値と、１サイクルの作業時間の平均値及び分散値とを算出してもよい。また、１連の作業のうちの特定の作業での骨格座標及び視線座標の各分散値と、特定の作業の作業時間の平均値及び分散値と、１サイクルの作業時間の平均値及び分散値とに基づいて、その特定の作業での作業者の習熟度を判定してもよい。

【0023】

上記実施例では、作業毎の作業負荷が作業データ１３１に記憶されているが、これに限定されない。例えば、骨格座標に基づいて作業者の姿勢を判別してその姿勢から作業負荷を推定してもよい。

【0024】

［変形例］
図４は、習熟度判定サーバ１が実行する習熟度判定制御の変形例を示したフローチャートである。ステップＳ６の実行後、判定部１０１は、１サイクルの作業時間が閾値ＴＳａよりも長く閾値ＴＳｂよりも短いか否かを判定する（ステップＳ７ａ）。１サイクルの作業時間が閾値ＴＳａ以下の場合は、一連の作業の何れかを実施していない可能性があるからである。また、１サイクルの作業時間が閾値ＴＳｂよりも長い場合には、作業者の作業全体の習熟度が不十分である可能性があるからである。ステップＳ７ａでＮｏの場合には、判定部１０１は作業者の作業は不合格であるとしてその不合格データを評価データ１３２に保存する（ステップＳ９ａ）。この場合、例えば１サイクルの作業時間が評価データ１３２に保存される。

【0025】

ステップＳ７ａでＹｅｓの場合、判定部１０１は骨格座標の作業毎のずれ量が閾値ＴＳｃよりも小さいか否かを判定する（ステップＳ７ｂ）。骨格座標の作業毎のずれ量が閾値ＴＳｃ以上の場合には、作業順序の間違いや誤って同一作業を繰り返している可能性があるからである。尚、閾値ＴＳｃは、作業負荷に応じて定められた値であり、作業毎に異なる値である。従って、何れかの作業のずれ量が閾値ＴＳｃ以上の場合にはステップＳ７ｂでＮｏと判定される。作業毎の閾値ＴＳｃは、作業データ１３１に記憶されている。ステップＳ７ｂでＮｏの場合には、ステップＳ９ａが実行される。この場合、例えば骨格座標のずれ量が評価データ１３２に保存される。

【0026】

ステップＳ７ｂでＹｅｓの場合、判定部１０１は１サイクルの作業時間の平均値が閾値ＴＳｄよりも長く閾値ＴＳｅよりも短いか否かを判定する（ステップＳ７ｃ）。１サイクルの作業時間の平均値が閾値ＴＳｄ以下の場合や、１サイクルの作業時間が閾値ＴＳｅよりも長い場合には、作業に何らかの異常が発生しているおそれがあるからである。ステップＳ７ｃでＮｏの場合には、ステップＳ９ａが実行される。この場合、例えば１サイクルの作業時間の平均値が評価データ１３２に保存される。

【0027】

ステップＳ７ｃでＹｅｓの場合、判定部１０１は骨格座標に基づいて作業者が行った作業の順序が適切か否かを判定する（ステップＳ７ｄ）。ステップＳ７ｄでＮｏの場合には、ステップＳ９ａが実行される。この場合、例えば順序を誤った作業が評価データ１３２に保存される。

【0028】

ステップＳ７ｄでＹｅｓの場合、判定部１０１は骨格座標及び視線座標に基づいて、作業者が作業毎に所定の確認を行ったか否かを判定する（ステップＳ７ｅ）。ステップＳ７ｅでＮｏの場合には、ステップＳ９ａが実行される。この場合、例えば確認を怠った作業が評価データ１３２に保存される。

【0029】

ステップＳ７ｅでＹｅｓの場合、判定部１０１は上述した手法により評価点を算出する（ステップＳ８）。判定部１０１は、作業者が行った作業は合格であるとして評価点を合格データとして評価データ１３２に保存する（ステップＳ９ｂ）。

【0030】

監督者は端末４からＬＡＮ９０を経由して習熟度判定サーバ１にアクセスして、作業者の作業の合否や評価点を確認することにより、作業者の作業毎の習熟度を把握することができる。また、作業者が所有する端末からＬＡＮ９０を経由して習熟度判定サーバ１にアクセスして、作業者自身がその作業の合否や評価点を確認してもよい。

【0031】

骨格座標の分散値に加えて、骨格座標の移動時での横方向の移動速度又は移動加速度の分散値を用いてもよい。この場合、移動毎に分散値を算出し、分散値に応じて評価点を算出し、その平均値を最終的な移動に関する分散値として算出してもよい。

【0032】

上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。

【符号の説明】

【0033】

１ 習熟度判定サーバ（習熟度判定装置）
２ カメラ装置
１０ ＣＰＵ
１０１ 判定部
１０２ 算出部
１０３ 判別部
１０４ 抽出部

【図1】

【図2】

【図3】

【図4】