(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022186422
(43)【公開日】2022-12-15
(54)【発明の名称】分類装置、分類方法、及び、分類プログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20221208BHJP
G09B 19/00 20060101ALI20221208BHJP
B23K 9/095 20060101ALI20221208BHJP
【FI】
G06N20/00 130
G09B19/00 H
B23K9/095 510Z
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2021094633
(22)【出願日】2021-06-04
(71)【出願人】
【識別番号】504182255
【氏名又は名称】国立大学法人横浜国立大学
(71)【出願人】
【識別番号】000000099
【氏名又は名称】株式会社IHI
(74)【代理人】
【識別番号】100083806
【弁理士】
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100101247
【弁理士】
【氏名又は名称】高橋 俊一
(74)【代理人】
【識別番号】100095500
【弁理士】
【氏名又は名称】伊藤 正和
(74)【代理人】
【識別番号】100098327
【弁理士】
【氏名又は名称】高松 俊雄
(72)【発明者】
【氏名】島 圭介
(72)【発明者】
【氏名】迎田 隆幸
(72)【発明者】
【氏名】池田 裕樹
(72)【発明者】
【氏名】藤井 正和
(72)【発明者】
【氏名】野々村 将一
(72)【発明者】
【氏名】遠藤 直輝
(57)【要約】
【課題】作業者の作業動作の分類を自動化し、作業者が作業動作に習熟するまでの時間を短縮することができる分類装置、分類方法、及び、分類プログラムを提供する。
【解決手段】分類装置、分類方法、及び、分類プログラムによれば、第1作業者の作業動作に係る第1測定データを受信し、第1測定データを特徴づける第1特徴量を算出する。そして、第1特徴量を含む入力に対して、第1測定データの第1ラベルを出力する評価モデルに基づいて、第1測定データに対応する第1ラベルを推定する。ここで、評価モデルは、第2作業者の作業動作に係る第2測定データを特徴づける第2特徴量と、第2特徴量をクラスタ分析して得られるクラスタを指定する第2ラベルと、を組とする教師データに基づいて機械学習によって生成された学習モデルである。
【選択図】
図1
【特許請求の範囲】
【請求項1】
第1作業者の作業動作に係る第1測定データを受信する受信部と、
前記第1測定データを特徴づける第1特徴量を算出する算出部と、
前記第1特徴量を含む入力に対して、前記第1測定データの第1ラベルを出力する評価モデルに基づいて、前記第1測定データに対応する前記第1ラベルを推定する推定部と、
を備える分類装置であって、
前記評価モデルは、第2作業者の前記作業動作に係る第2測定データを特徴づける第2特徴量と、前記第2特徴量をクラスタ分析して得られるクラスタを指定する第2ラベルと、を組とする教師データに基づいて機械学習によって生成された学習モデルである、分類装置。
【請求項2】
前記作業動作は溶接作業を含み、
前記第1測定データは、前記溶接作業に係る、溶接トーチの先端座標、前記溶接トーチの姿勢情報、電流値、電圧値、及び、前記溶接作業に係るワークの姿勢情報、前記作業動作における前記溶接作業の時間割合、前記作業動作における作業中断回数のうち、少なくともいずれかを含む、請求項1に記載の分類装置。
【請求項3】
前記作業動作は溶接作業を含み、
前記算出部は、前記溶接作業に係る、溶接トーチの先端座標、前記溶接トーチの姿勢情報、電流値、電圧値、及び、前記溶接作業に係るワークの姿勢情報のうち、少なくともいずれかに基づいて算出したパワースペクトル密度を前記第1特徴量とする、請求項1又は2に記載の分類装置。
【請求項4】
前記算出部は、前記先端座標が描く軌跡を表現する楕円球の体積を前記第1特徴量とする、請求項2又は3に記載の分類装置。
【請求項5】
前記算出部は、前記第1測定データに対して主成分分析又は因子分析を行って前記第1特徴量を算出する、請求項1~4のいずれか一項に記載の分類装置。
【請求項6】
前記第1測定データに対して、移動平均による平滑化処理、1次微分処理、2次微分処理、SNV(Standard Normal Variate)変換処理のうち、少なくともいずれかを行って前処理済データを算出する前処理部を更に備え、
前記算出部は、前記前処理済データに基づいて、前記第1特徴量を算出する、請求項1~5のいずれか一項に記載の分類装置。
【請求項7】
前記評価モデルは、ニューラルネットワークまたはサポートベクターマシンによって表現される、請求項1~6のいずれか一項に記載の分類装置。
【請求項8】
前記評価モデルは、未学習クラス推定確率ニューラルネットワークによって表現される、請求項1~7のいずれか一項に記載の分類装置。
【請求項9】
前記第1ラベルをユーザに提示する表示部を更に備える、請求項1~8のいずれか一項に記載の分類装置。
【請求項10】
前記第2ラベルによって指定されるクラスタに属する前記第2特徴量に係る前記第2作業者の識別情報を、前記第2ラベルに関連付けて記憶する記憶部と、
前記第1ラベルと同じ前記第2ラベルに関連付けられた、前記第2作業者の識別情報をユーザに提示する表示部と、
を更に備える、請求項1~9のいずれか一項に記載の分類装置。
【請求項11】
第1作業者の作業動作に係る第1測定データを受信し、
前記第1測定データを特徴づける第1特徴量を算出し、
前記第1特徴量を含む入力に対して、前記第1測定データの第1ラベルを出力する評価モデルに基づいて、前記第1測定データに対応する前記第1ラベルを推定する
分類方法であって、
前記評価モデルは、第2作業者の前記作業動作に係る第2測定データを特徴づける第2特徴量と、前記第2特徴量をクラスタ分析して得られるクラスタを指定する第2ラベルと、を組とする教師データに基づいて機械学習によって生成された学習モデルである、分類方法。
【請求項12】
コンピュータに、
第1作業者の作業動作に係る第1測定データを受信するステップと、
前記第1測定データを特徴づける第1特徴量を算出するステップと、
前記第1特徴量を含む入力に対して、前記第1測定データの第1ラベルを出力する評価モデルに基づいて、前記第1測定データに対応する前記第1ラベルを推定するステップと、
を実行させるための分類プログラムであって、
前記評価モデルは、第2作業者の前記作業動作に係る第2測定データを特徴づける第2特徴量と、前記第2特徴量をクラスタ分析して得られるクラスタを指定する第2ラベルと、を組とする教師データに基づいて機械学習によって生成された学習モデルである、分類プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、分類装置、分類方法、及び、分類プログラムに関する。
【背景技術】
【0002】
特許文献1には、機械学習を行うことによって学習モデルを生成する技術が開示されている。ここで、学習モデルは、技量レベルが異なる複数の作業者の溶接作業又は作業者によって操作される施工具の状態に係る時系列データに基づく学習用データを入力データとし、作業者の技量レベルを出力データとする。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に開示される技術によれば、同一の技量レベルを有する複数の作業者間に存在する溶接作業の流派を識別することはできない。ここで流派と呼ぶものは、身体の使い方や道具の動かし方の特徴を示すものであり、同じ流派の作業者は似た作業動作をするものである。そのため、OJT(On the Job Training)によって溶接作業を学ぶ学習者に対して、溶接作業の指導者を割り当てる際、学習者が有する溶接作業の流派とは異なる流派を有する指導者が割り当てられてしまう恐れがある。その結果、学習者が溶接作業を学ぶ際の効率が低下し、教育にかかる期間が長期化してしまうという問題がある。
【0005】
本開示は上述の状況を鑑みて成されたものである。即ち、本開示は、作業者の作業動作の分類を自動化し、作業者が作業動作に習熟するまでの時間を短縮することができる分類装置、分類方法、及び、分類プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示に係る分類装置は、受信部と、算出部と、推定部と、を備える。ここで、受信部は、第1作業者の作業動作に係る第1測定データを受信する。算出部は、上記第1測定データを特徴づける第1特徴量を算出する。推定部は、上記第1特徴量を含む入力に対して、上記第1測定データの第1ラベルを出力する評価モデルに基づいて、上記第1測定データに対応する上記第1ラベルを推定する。そして、上記評価モデルは、教師データに基づいて機械学習によって生成された学習モデルである。教師データは、第2作業者の上記作業動作に係る第2測定データを特徴づける第2特徴量と、上記第2特徴量をクラスタ分析して得られるクラスタを指定する第2ラベルと、を組とする。
【0007】
上記作業動作は溶接作業を含むものであってもよい。そして、上記第1測定データは、溶接トーチの先端座標、上記溶接トーチの姿勢情報、電流値、電圧値、及び、上記溶接作業に係るワークの姿勢情報、上記作業動作における上記溶接作業の時間割合、上記作業動作における作業中断回数のうち、少なくともいずれかを含むものであってもよい。
【0008】
上記算出部は、溶接トーチの先端座標、上記溶接トーチの姿勢情報、電流値、電圧値、及び、上記溶接作業に係るワークの姿勢情報のうち、少なくともいずれかに基づいて算出したパワースペクトル密度を上記第1特徴量とするものであってもよい。
【0009】
上記算出部は、上記先端座標が描く軌跡を表現する楕円球の体積を上記第1特徴量とするものであってもよい。
【0010】
上記算出部は、上記第1測定データに対して主成分分析又は因子分析を行って上記第1特徴量を算出するものであってもよい。
【0011】
本開示に係る分類装置は、前処理部を更に備えるものであってもよい。ここで、前処理部は、上記第1測定データに対して、移動平均による平滑化処理、1次微分処理、2次微分処理、SNV(Standard Normal Variate)変換処理のうち、少なくともいずれかを行って前処理済データを算出するものであってもよい。上記算出部は、上記前処理済データに基づいて、上記第1特徴量を算出するものであってもよい。
【0012】
上記評価モデルは、ニューラルネットワークまたはサポートベクターマシンによって表現されるものであってもよい。
【0013】
上記評価モデルは、未学習クラス推定確率ニューラルネットワークによって表現されるものであってもよい。
【0014】
本開示に係る分類装置は、上記第1ラベルをユーザに提示する表示部を更に備えるものであってもよい。
【0015】
本開示に係る分類装置は、記憶部と、表示部と、を更に備えるものであってもよい。ここで、記憶部は、上記第2ラベルによって指定されるクラスタに属する上記第2特徴量に係る上記第2作業者の識別情報を、上記第2ラベルに関連付けて記憶するものであってもよい。表示部は、上記第1ラベルと同じ上記第2ラベルに関連付けられた、上記第2作業者の識別情報をユーザに提示するものであってもよい。
【0016】
本開示に係る分類方法は、第1作業者の作業動作に係る第1測定データを受信し、第1測定データを特徴づける第1特徴量を算出する。そして、第1特徴量を含む入力に対して、第1測定データの第1ラベルを出力する評価モデルに基づいて、第1測定データに対応する第1ラベルを推定する。ここで、上記評価モデルは、教師データに基づいて機械学習によって生成された学習モデルである。教師データは、第2作業者の上記作業動作に係る第2測定データを特徴づける第2特徴量と、上記第2特徴量をクラスタ分析して得られるクラスタを指定する第2ラベルと、を組とする。
【0017】
本開示に係る分類プログラムは、コンピュータに、第1作業者の作業動作に係る第1測定データを受信するステップと、上記第1測定データを特徴づける第1特徴量を算出するステップと、を実行させる。そして、上記第1特徴量を含む入力に対して、上記第1測定データの第1ラベルを出力する評価モデルに基づいて、上記第1測定データに対応する上記第1ラベルを推定するステップと、を実行させる。ここで、上記評価モデルは、教師データに基づいて機械学習によって生成された学習モデルである。教師データは、第2作業者の上記作業動作に係る第2測定データを特徴づける第2特徴量と、上記第2特徴量をクラスタ分析して得られるクラスタを指定する第2ラベルと、を組とする。
【発明の効果】
【0018】
本開示によれば、作業者の作業動作の分類を自動化し、学習を行なう作業者と同じ流派の作業者に指導を行わせることで、作業者が作業動作を習熟するまでの時間を短縮することができる。
【図面の簡単な説明】
【0019】
【
図1】本開示の実施形態に係る分類装置の構成を示すブロック図である。
【
図2】分類装置の学習時の処理手順を示すフローチャートである。
【
図3】分類装置のラベル推定時の処理手順を示すフローチャートである。
【発明を実施するための形態】
【0020】
以下、いくつかの例示的な実施形態について、図面を参照して説明する。なお、各図において共通する部分には同一の符号を付し、重複する説明を省略する。
【0021】
[分類装置の構成]
図1は、本開示の実施形態に係る分類装置の構成を示すブロック図である。
図1に示すように、分類装置20は、受信部21と、データベース23(記憶部)と、コントローラ25と、操作部27と、表示部29と、を備える。コントローラ25は、受信部21、データベース23、操作部27、表示部29と通信可能なように接続される。
【0022】
その他、操作部27及び表示部29は、分類装置20自体が備えていてもよいし、分類装置20の外部に設置されて、分類装置20と接続されるものであってもよい。
【0023】
受信部21は、無線又は有線によってセンサ10と通信可能なように接続される。受信部21は、センサ10から作業者(第1作業者、第2作業者)の作業動作に係る測定データ(第1測定データ、第2測定データ)を受信する。その他、受信部21は、測定データに係る作業者の識別情報、及び、測定データを取得した日時を示すタイムスタンプを、測定データと共に受信するものであってもよい。
【0024】
ここで、センサ10、及び、センサ10によって取得される測定データについて説明する。センサ10は、作業者の作業動作に係る測定データを取得する。具体的には、例えば、作業動作が溶接作業を含む場合、センサ10は、溶接作業に係る、溶接トーチの先端座標、溶接トーチの姿勢情報、電流値、電圧値、溶接作業に係るワークの姿勢情報などを測定データとして取得する。
【0025】
センサ10は、人為的なマーカを撮影するカメラであってもよい。人為的なマーカの例として、AR(Augmented Reality)タグが挙げられる。センサ10は、例えば、溶接トーチ又は溶接作業に係るワークに貼り付けたARタグを撮影し、ARタグの位置及び傾きから、溶接トーチの先端座標、溶接トーチの姿勢情報、溶接作業に係るワークの姿勢情報を算出するものであってもよい。
【0026】
その他、測定データは、時系列データであってもよいし、その他、作業動作を行った作業時間、作業時間に占める溶接作業の時間割合、溶接作業における作業中断回数であってもよい。
【0027】
作業動作は溶接作業を含む場合以外にも、作業動作は塗装作業、研磨作業などを含むものであってもよい。作業動作に含まれる作業の内容に応じて、センサ10は、作業に使用する治具、及び、作業の対象となるワークの位置情報、姿勢情報を、測定データとして取得するものであってもよい。
【0028】
データベース23は、センサ10によって取得した測定データを記録する。データベース23は、測定データに係る作業者の識別情報を記録するものであってもよい。また、データベース23は、測定データを取得した日時を示すタイムスタンプを記録するものであってもよい。さらに、データベース23は、測定データに対応するラベルの算出の前提となる各種のパラメータ、又は、コントローラ25の処理で用いられる評価モデルを記録するものであってもよい。
【0029】
また、データベース23は、評価モデルを生成するための教師データを記録するものであってもよい。ここで、教師データとは、測定データに基づいて算出された特徴量と、当該特徴量に対応するラベルとを組とするデータである。例えば、作業者のうち、作業動作に関して一定以上の技能を有する熟練者(第2作業者)に係る測定データに基づいて算出された特徴量と、当該特徴量に関して別途算出されたラベルと、を組とするデータであってもよい。特徴量の算出、及び、教師データの生成に関しては後述する。
【0030】
操作部27は、分類装置20のユーザが操作を行うことができる入力装置である。例えば、操作部27は、キーボード、マウス、トラックボール、タッチパネルなどである。操作部27は、ここに挙げた例に限定されない。操作部27を介して入力されたユーザの操作内容は、コントローラ25に送信される。
【0031】
表示部29は、コントローラ25から受信した情報を表示する。また、表示部29は、コントローラ25によって決定された、測定データに対応するラベルを受信し、ユーザに提示する。その他、表示部29は、測定データに対応するラベルと同一のラベルを有する他の作業者の識別情報を受信し、ユーザに提示するものであってもよい。
【0032】
例えば、表示部29は、複数の表示画素の組合せにより図形、文字を表示するディスプレイであってもよいし、回転灯、ブザーなどであってもよい。表示部29は、ここに挙げた例に限定されない。
【0033】
コントローラ25(制御部)は、CPU(中央処理装置)、メモリ、及び入出力部を備える汎用のマイクロコンピュータである。コントローラ25には、分類装置20として機能するためのコンピュータプログラム(分類プログラム)がインストールされている。コンピュータプログラムを実行することにより、コントローラ25は、分類装置20が備える複数の情報処理回路(251、253、255、257)として機能する。
【0034】
本開示では、ソフトウェアによって複数の情報処理回路(251、253、255、257)を実現する例を示す。ただし、以下に示す各情報処理を実行するための専用のハードウェアを用意して、情報処理回路(251、253、255、257)を構成することも可能である。また、複数の情報処理回路(251、253、255、257)を個別のハードウェアにより構成してもよい。
【0035】
図1に示すように、コントローラ25は、複数の情報処理回路(251、253、255、257)として、前処理部251、評価モデル設定部253、算出部255、推定部257を備える。
【0036】
前処理部251は、センサ10によって取得した測定データに対して前処理を行う。例えば、作業動作が溶接作業を含む場合、カメラから取得した測定データには、溶接時のアーク光に起因するスパイクノイズが含まれている。そのため、前処理部251は、スパイクノイズ除去を含む前処理を実施するものであってもよい。
【0037】
具体的には、前処理部251は、時系列データ中のピークの特徴を明確にするため、移動平均による平滑化処理、1次微分処理、2次微分処理、SNV(Standard Normal Variate)変換処理などを行う。
【0038】
平滑化処理はノイズの低減目的で使用し、時系列データ中のある計測タイミングでの数値を、前後の計測タイミングにおける数値による平均で置き換えることでノイズを低減する。平滑化に使用する前後の数値の個数が多いほど、ノイズの低減効果が高くなる。
【0039】
1次微分処理は、ベースラインの影響を削除するために使用する。また、2次微分処理は、波長の1次関数で表現できるベースラインの変化の影響を削除し、さらに時系列データ中のピークの差をより明確にするために使用する。時系列データに対する2次微分処理を行うと、ピークの位置、ピークの高さの相対的な関係は維持されるため、2次微分処理を行った後の時系列データを元に定量的な分析を行うことができる。
【0040】
SNV(Standard Normal Variate)変換処理は、時系列データにおけるベースラインシフトを抑制するために使用する。時系列データを数値の集合として扱い、集合の平均が0、分散が1となるようにスペクトル変換を行う。
【0041】
その他、前処理部251は、時系列データに含まれるスパイクノイズを除去するためにHampelフィルタを用いて外れ値を除去するものであってもよいし、データの欠損箇所を補うため、線形補間を行うものであってもよい。
【0042】
また、前処理部251は、多重散乱補正処理、オフセット処理、トレンド除去、リサンプリング、FFT(高速フーリエ変換)、Wavelet変換などを用いて、時系列データに対する前処理を行うものであってもよい。
【0043】
算出部255は、測定データに基づいて、測定データを特徴づける特徴量(第1特徴量、第2特徴量)を算出する。算出部255は、前処理部251によって前処理が行われたあとの測定データ(前処理済データ)に基づいて、特徴量を算出するものであってもよい。
【0044】
例えば、算出部255は、複数次元の測定データに対して主成分分析又は因子分析を行って、測定データを構成する次元数を減らして所定の次元についての特徴量を算出する。
【0045】
また、作業動作が溶接作業を含む場合、算出部255は、溶接作業に係る、溶接トーチの先端座標、溶接トーチの姿勢情報、電流値、電圧値、及び、溶接作業に係るワークの姿勢情報のうち、少なくともいずれかに基づいて、パワースペクトル密度を算出し、当該パワースペクトル密度を特徴量とするものであってもよい。
【0046】
その他、算出部255は、溶接トーチの先端座標が描く軌跡を表現する楕円球の体積を算出し、当該体積を特徴量とするものであってもよい。ここで、「軌跡を表現する楕円球」とは、溶接作業中に溶接トーチの先端座標が描く軌跡を包含する楕円球を意味する。当該体積は、溶接作業中における溶接トーチの移動の程度を示す指標となる。そのため、算出部255は、当該体積を特徴量とするものであってもよい。
【0047】
評価モデル設定部253は、測定データ(第2測定データ)に基づいて算出された特徴量(第2特徴量)と、当該特徴量(第2特徴量)に対応するラベル(第2ラベル)とを組とする教師データに基づいて、機械学習を行って評価モデルを生成する。
【0048】
ここで、教師データに含まれるラベルは、複数の測定データを特徴量に基づいて事前にクラスタ分析を実行することによって得られるクラスタを指定するラベルである。より具体的には、評価モデル設定部253は、複数の測定データを対象として、測定データごとに算出された特徴量間の類似度を算出する。そして、類似度から類似していると判断される特徴量を含む測定データとなった作業者同士を同一のクラスタに属するものとして分類する階層クラスタ分析を実行する。なお、クラスタ分析によって得られるクラスタの数は、ユーザが事前に設定するものであってもよいし、特徴量のばらつきなどに基づいて自動的に設定するものであってもよい。
【0049】
機械学習による評価モデルを生成する手法として、例えば、ニューラルネットワーク、サポートベクターマシン、Random Forest、XGBoost、LightGBM、PLS回帰、Ridge回帰、Lasso回帰のうち,1つまたは2つ以上の組み合わせを用いる手法が挙げられる。機械学習によって評価モデルを生成する手法は、ここに挙げた例に限定されない。
【0050】
評価モデルがニューラルネットワークによって表現される場合を説明する。この場合、評価モデル設定部253は、特徴量をニューラルネットワークに入力した際に得られる出力と、入力した特徴量に対応するラベルの誤差又は尤度を算出する。そして、評価モデル設定部253は、誤差が最小となるように、又は、尤度が最大化されるように、ニューラルネットワークを定義するパラメータの調整を行う。その結果、ニューラルネットワークは、教師データを表現する特徴を学習する。
【0051】
上記ニューラルネットワークは、特徴量のデータが入力される入力層、出力値が出力される出力層、入力層と出力層の間に設けられる少なくとも1層以上の隠れ層とを含み、入力層、隠れ層、出力層の順番に信号が伝搬する。入力層、隠れ層、出力層の各層は、1つ以上のユニットから構成される。層間のユニット同士が結合しており、各ユニットは活性化関数(例えば、シグモイド関数、正規化線形関数、ソフトマックス関数など)を有する。ユニットへの複数の入力に基づいて重み付きの合計が算出され、合計値を変数とする活性化関数の値が、ユニットの出力となる。
【0052】
評価モデル設定部253は、上記ニューラルネットワークを定義するパラメータのうち、各ユニットで重み付き合計を算出する際の重みを調整することにより、ニューラルネットワークの出力とラベルとの間の誤差を最小化し、又は、出力の尤度を最大化する。複数の教師データに対して、ニューラルネットワークの出力に関する誤差の最小化、又は、尤度の最大化を行うためには、最尤推定法などが適用可能である。
【0053】
ニューラルネットワークの出力に関する誤差を最小化するため、例えば、評価モデル設定部253は、勾配降下法、確率的勾配降下法などを用いてもよい。評価モデル設定部253は、勾配降下法、確率的勾配降下法での勾配計算のため、誤差逆伝搬法を用いてもよい。
【0054】
ニューラルネットワークによる機械学習では汎化性能(未知データに対する判別能力)と過適合(教師データに対して適合する一方で汎化性能が改善しない現象)が問題となりうる。
【0055】
そこで、評価モデル設定部253における評価モデルの生成では、過適合を緩和するため、学習時の重みの自由度を制約する正則化などの手法を用いてもよい。その他にも、ニューラルネットワーク中のユニットを確率的に選別してそれ以外のユニットを無効化するドロップアウトなどの手法を用いてもよい。さらには、汎化性能を向上させるため、前処理部251において、教師データ中の偏りをなくすデータ正則化、データ標準化、データ拡張などの手法を用いてもよい。
【0056】
その他、評価モデル設定部253は、教師データに基づく学習時に想定しない未学習のクラスタを考慮可能な、未学習クラス推定確率ニューラルネットワークを用いて、評価モデルを生成するものであってもよい。未学習クラス推定確率ニューラルネットワークについては、文献「迎田隆幸、島圭介、“混合余事象分布に基づく未学習クラス推定確率ニューラルネット”, 計測自動制御学会論文集、vol.56、no.12、pp.532-540、2020.」に詳述されている。
【0057】
評価モデル設定部253は、ニューラルネットワークの代わりに、サポートベクターマシンを用いて評価モデルを生成するものであってもよい。この場合、評価モデルはサポートベクターマシンによって表現される。サポートベクターマシンによる機械学習には、局所解収束の問題がなく汎化性能が向上する傾向にある。
【0058】
評価モデル設定部253によって生成された評価モデルは、推定部257、又は、データベース23に送信され、推定部257での推定に用いられる。
【0059】
推定部257は、測定データ(第1測定データ)に基づいて、算出部255によって算出した特徴量(第1特徴量)と、評価モデルに基づいて、当該特徴量(第1特徴量)に対応するラベル(第1ラベル)を推定する。より具体的には、推定部257は、評価モデルを評価モデル設定部253から取得する。推定部257は、特徴量(第1特徴量)を入力した評価モデルからの出力を算出する。そして、当該出力を、当該特徴量(第1特徴量)に対応するラベル(第1ラベル)の推定値とする。
【0060】
その他、推定部257は、評価モデルを評価モデル設定部253から取得する代わりに、生成済の評価モデルをデータベース23から取得するものであってもよい。
【0061】
推定部257によって推定した、特徴量(第1特徴量)に対応するラベル(第1ラベル)は、表示部29に出力される。
【0062】
[分類装置の処理手順]
次に、本開示に係る分類装置の処理手順を、
図2及び
図3のフローチャートを参照して説明する。
【0063】
図2は、分類装置の学習時の処理手順を示すフローチャートである。
図2に示されるフローチャートの処理は、複数の測定データ(第2測定データ)がデータベース23に記憶された時点で開始される。なお、
図2に示されるフローチャートの処理は、ユーザの指示によって開始されるものであってもよいし、一定の周期で繰り返し開始されるものであってもよい。
【0064】
ステップS101にて、受信部21は、測定データ(第2測定データ)を取得する。
【0065】
ステップS103にて、前処理部251は、センサ10によって取得した測定データに対して前処理を行う。
【0066】
ステップS105にて、算出部255は、測定データ又は前処理済データに基づいて、特徴量(第2特徴量)を算出する。
【0067】
ステップS107にて、評価モデル設定部253は、複数の測定データを特徴量に基づいてクラスタ分析を実行する。
【0068】
ステップS109にて、評価モデル設定部253は、測定データ(第2測定データ)に基づいて算出された特徴量(第2特徴量)と、当該特徴量(第2特徴量)に対応するラベル(第2ラベル)とを組とする教師データを生成する。
【0069】
ステップS111にて、評価モデル設定部253は、教師データに基づいて、機械学習を行って評価モデルを生成する。
【0070】
次に、
図3は、分類装置のラベル推定時の処理手順を示すフローチャートである。
図3に示されるフローチャートの処理は、
図2のフローチャートによって評価モデルが生成された後に開始される。なお、
図2に示されるフローチャートの処理は、ユーザの指示によって開始されるものであってもよい。
【0071】
ステップS201にて、受信部21は、測定データ(第1測定データ)を取得する。
【0072】
ステップS203にて、前処理部251は、センサ10によって取得した測定データに対して前処理を行う。
【0073】
ステップS205にて、算出部255は、測定データ又は前処理済データに基づいて、特徴量(第1特徴量)を算出する。
【0074】
ステップS207にて、推定部257は、特徴量と、評価モデルに基づいて、当該特徴量に対応するラベル(第1ラベル)を推定する。
【0075】
ステップS209にて、推定部257は、推定したラベル(第1ラベル)を表示部29に出力する。
【0076】
[実施形態の効果]
以上詳細に説明したように、本開示に係る分類装置、分類方法、及び、分類プログラムは、第1作業者の作業動作に係る第1測定データを受信し、第1測定データを特徴づける第1特徴量を算出する。そして、第1特徴量を含む入力に対して、第1測定データの第1ラベルを出力する評価モデルに基づいて、第1測定データに対応する第1ラベルを推定する。ここで、評価モデルは、第2作業者の作業動作に係る第2測定データを特徴づける第2特徴量と、第2特徴量をクラスタ分析して得られるクラスタを指定する第2ラベルと、を組とする教師データに基づいて機械学習によって生成された学習モデルである。
【0077】
これにより、作業者の作業動作の分類を自動化し、学習を行なう作業者と同じ流派の作業者に指導を行わせることで、作業者が作業動作を習熟するまでの時間を短縮することができる。特に、作業者間に存在する作業動作の流派を識別することができる。その結果、作業動作をOJTにより学習者が指導者から学ぶ際の向上させることができる。さらには、教育にかかる期間を短縮できる。
【0078】
本開示に係る分類装置、分類方法、及び、分類プログラムにおいて、上記作業動作は溶接作業を含むものであってもよい。そして、上記第1測定データは、上記溶接作業に係る、溶接トーチの先端座標、上記溶接トーチの姿勢情報、電流値、電圧値、及び、上記溶接作業に係るワークの姿勢情報、上記作業動作における上記溶接作業の時間割合、上記作業動作における作業中断回数のうち、少なくともいずれかを含むものであってもよい。
【0079】
これにより、作業者間に存在する溶接作業の流派を識別することができる。そのため、溶接作業を学ぶ学習者に対して溶接作業の指導者を割り当てる際、学習者が有する溶接作業の流派とは異なる流派を有する指導者が割り充てられてしまう可能性を低減できる。その結果、学習者が溶接作業を学ぶ際の効率を向上させることができる。さらには、教育にかかる期間を短縮できる。
【0080】
本開示に係る分類装置、分類方法、及び、分類プログラムは、上記溶接作業に係る、溶接トーチの先端座標、上記溶接トーチの姿勢情報、電流値、電圧値、及び、上記溶接作業に係るワークの姿勢情報のうち、少なくともいずれかに基づいて算出したパワースペクトル密度を上記第1特徴量とするものであってもよい。これにより、作業者間に存在する溶接作業の流派を識別することができる。また、機械学習を行う際の測定データに含まれるパラメータの数を減少させ、機械学習の効率を向上させることができる。
【0081】
本開示に係る分類装置、分類方法、及び、分類プログラムは、上記先端座標が描く軌跡を表現する楕円球の体積を上記第1特徴量とするものであってもよい。これにより、作業者間に存在する溶接作業の流派を識別することができる。また、機械学習を行う際の測定データに含まれるパラメータの数を減少させ、機械学習の効率を向上させることができる。
【0082】
本開示に係る分類装置、分類方法、及び、分類プログラムは、上記第1測定データに対して主成分分析又は因子分析を行って上記第1特徴量を算出するものであってもよい。これにより、機械学習を行う際の測定データに含まれるパラメータの数を減少させ、機械学習の効率を向上させることができる。
【0083】
本開示に係る分類装置、分類方法、及び、分類プログラムは、更に、上記第1測定データに対して、移動平均による平滑化処理、1次微分処理、2次微分処理、SNV(Standard Normal Variate)変換処理のうち、少なくともいずれかを行って前処理済データを算出するものであってもよい。また、上記前処理済データに基づいて、上記第1特徴量を算出するものであってもよい。これにより、測定データに含まれるノイズを除去して、効率よく、機械学習を行うことができる。さらには、作業者間に存在する溶接作業の流派を識別する際の精度を向上させることができる。
【0084】
本開示に係る分類装置、分類方法、及び、分類プログラムにおいて、上記評価モデルは、ニューラルネットワークまたはサポートベクターマシンによって表現されるものであってもよい。これにより、教師データに内在された特徴を学習して、作業者間に存在する溶接作業の流派を識別することができる。
【0085】
本開示に係る分類装置、分類方法、及び、分類プログラムにおいて、上記評価モデルは、未学習クラス推定確率ニューラルネットワークによって表現されるものであってもよい。これにより、教師データに基づく学習時に想定しない未学習のクラスタに属する特徴量を有する計測データに対して、教師データに含まれるクラスタのいずれにも分類することが困難であることを判定できる。
【0086】
本開示に係る分類装置、分類方法、及び、分類プログラムは、更に、上記第1ラベルをユーザに提示するものであってもよい。これにより、ユーザに、作業者間に存在する溶接作業の流派を認識させることができる。
【0087】
本開示に係る分類装置、分類方法、及び、分類プログラムは、更に、上記第2ラベルによって指定されるクラスタに属する上記第2特徴量に係る上記第2作業者の識別情報を、上記第2ラベルに関連付けて記憶するものであってもよい。また、上記第1ラベルと同じ上記第2ラベルに関連付けられた、上記第2作業者の識別情報をユーザに提示するものであってもよい。これにより、第1ラベルに係る第1作業者の指導に適した第2作業者を選択することができる。
【0088】
上述の実施形態で示した各機能は、1又は複数の処理回路によって実装されうる。処理回路には、プログラムされたプロセッサ、電気回路などが含まれ、さらには、特定用途向けの集積回路(ASIC)のような装置、又は、記載された機能を実行するよう配置された回路構成要素なども含まれる。
【0089】
本開示によれば、作業者の作業動作の分類を自動化し、作業者が作業動作に習熟するまでの時間を短縮することができる。そのため、例えば、国際連合が主導する持続可能な開発目標(SDGs)の目標4「すべての人々に包摂的かつ公平で質の高い教育を提供し、生涯学習の機会を促進する。」に貢献することができる。
【0090】
いくつかの実施形態を説明したが、上記開示内容に基づいて実施形態の修正または変形をすることが可能である。上記実施形態のすべての構成要素、及び請求の範囲に記載されたすべての特徴は、それらが互いに矛盾しない限り、個々に抜き出して組み合わせてもよい。
【符号の説明】
【0091】
10 センサ
20 分類装置
21 受信部
23 データベース(記憶部)
25 コントローラ
251 前処理部
253 評価モデル設定部
255 算出部
257 推定部
27 操作部
29 表示部