ホーム > 特許ランキング > コベルコ溶接テクノ株式会社
知財求人 - 知財ポータルサイト「IP Force」
特開2023-95820学習モデルの生成方法、制御装置、学習モデル、溶接システム、およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023095820
(43)【公開日】2023-07-06
(54)【発明の名称】学習モデルの生成方法、制御装置、学習モデル、溶接システム、およびプログラム
(51)【国際特許分類】
B23K 9/095 20060101AFI20230629BHJP
B23K 31/00 20060101ALI20230629BHJP
B23K 9/10 20060101ALI20230629BHJP
G06N 20/00 20190101ALI20230629BHJP
【ＦＩ】
B23K9/095 515A
B23K31/00 Z
B23K9/095 510A
B23K9/10 A
G06N20/00 130
【審査請求】未請求
【請求項の数】24
【出願形態】ＯＬ
(21)【出願番号】P 2022204406
(22)【出願日】2022-12-21
(31)【優先権主張番号】P 2021211356
(32)【優先日】2021-12-24
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】504226733
【氏名又は名称】コベルコ溶接テクノ株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】中村 敬人
(72)【発明者】
【氏名】木下 雄太
【テーマコード（参考）】
4E082
【Ｆターム（参考）】
4E082AA03
4E082AA04
4E082EC20
4E082EF02
4E082EF07
4E082EF25
4E082EF26
(57)【要約】
【課題】動的な溶接挙動に係るデータが入力データであった場合においても、溶接に対する精度の高い判定結果が出力可能な学習モデルを生成する。
【解決手段】溶接挙動または溶接品質の評価を行う学習モデルの生成方法であって、画像、音声、数値データのうち少なくとも１種類を含むデータと、当該データに対応する溶接挙動または溶接品質に係る評価結果を示すラベルとを含んで構成される学習データを用いて学習処理を行うことにより、前記データを入力データとし、当該入力データに対する評価結果としての出力を行う学習モデルを生成する学習工程を有し、前記学習モデルは、少なくとも２つの異なるデータを入力データとし、１の評価結果を出力するように構成される。
【選択図】図６
【解決手段】溶接挙動または溶接品質の評価を行う学習モデルの生成方法であって、画像、音声、数値データのうち少なくとも１種類を含むデータと、当該データに対応する溶接挙動または溶接品質に係る評価結果を示すラベルとを含んで構成される学習データを用いて学習処理を行うことにより、前記データを入力データとし、当該入力データに対する評価結果としての出力を行う学習モデルを生成する学習工程を有し、前記学習モデルは、少なくとも２つの異なるデータを入力データとし、１の評価結果を出力するように構成される。
【選択図】図６
【特許請求の範囲】
【請求項1】
溶接挙動または溶接品質の評価を行う学習モデルの生成方法であって、
画像、音声、数値データのうち少なくとも１種類を含むデータと、当該データに対応する溶接挙動または溶接品質に係る評価結果を示すラベルとを含んで構成される学習データを用いて学習処理を行うことにより、前記データを入力データとし、当該入力データに対する評価結果としての出力を行う学習モデルを生成する学習工程を有し、
前記学習モデルは、少なくとも２つの異なるデータを入力データとし、１の評価結果を出力するように構成される、学習モデルの生成方法。
画像、音声、数値データのうち少なくとも１種類を含むデータと、当該データに対応する溶接挙動または溶接品質に係る評価結果を示すラベルとを含んで構成される学習データを用いて学習処理を行うことにより、前記データを入力データとし、当該入力データに対する評価結果としての出力を行う学習モデルを生成する学習工程を有し、
前記学習モデルは、少なくとも２つの異なるデータを入力データとし、１の評価結果を出力するように構成される、学習モデルの生成方法。
【請求項2】
前記少なくとも２つの異なるデータは、異なる時刻における２つのデータを含む、ことを特徴とする請求項１に記載の学習モデルの生成方法。
【請求項3】
時系列に沿った複数のデータを用いて信号処理を行うことにより１のデータを生成する前処理工程を更に有し、
前記学習モデルへの入力データは、前記前処理工程にて生成されたデータである、ことを特徴とする請求項１に記載の学習モデルの生成方法。
前記学習モデルへの入力データは、前記前処理工程にて生成されたデータである、ことを特徴とする請求項１に記載の学習モデルの生成方法。
【請求項4】
前記学習モデルへの入力データが画像である場合、前記前処理工程の前記信号処理において、
所定のフレームレートおよびフレーム数により複数の画像を抽出し、
当該複数の画像から、所定の範囲にある輝度を決定し、
前記決定した輝度に基づいて、前記複数の画像を合成する、
ことを特徴とする請求項３の学習モデルの生成方法。
所定のフレームレートおよびフレーム数により複数の画像を抽出し、
当該複数の画像から、所定の範囲にある輝度を決定し、
前記決定した輝度に基づいて、前記複数の画像を合成する、
ことを特徴とする請求項３の学習モデルの生成方法。
【請求項5】
前記学習モデルへの入力データが画像である場合、前記画像には、溶融池、溶接材料、アーク、被溶接材料のうち少なくとも１つの領域が含まれる、ことを特徴とする請求項１に記載の学習モデルの生成方法。
【請求項6】
前記ラベルとして、２～１０の範囲の分類数が用いられる、ことを特徴とする請求項１に記載の学習モデルの生成方法。
【請求項7】
前記学習データに含まれるラベルは、溶接後のビードの状態、または、溶接中の溶融池の状態に係る情報の少なくとも一方に基づいて付与される、ことを特徴とする請求項１に記載の学習モデルの生成方法。
【請求項8】
前記学習データに含まれるラベルは、片面溶接における裏ビードの評価結果を示し、
前記溶接後のビードの状態に係る情報は、裏ビードの高さおよび幅を少なくとも含む、ことを特徴とする請求項７に記載の学習モデルの生成方法。
前記溶接後のビードの状態に係る情報は、裏ビードの高さおよび幅を少なくとも含む、ことを特徴とする請求項７に記載の学習モデルの生成方法。
【請求項9】
前記学習データに含まれるラベルは、片面溶接における溶込みの評価結果を示し、
前記溶接後のビードの状態に係る情報は、溶接後の断面の溶着金属の溶込み深さおよび幅を少なくとも含む、
ことを特徴とする請求項７に記載の学習モデルの生成方法。
前記溶接後のビードの状態に係る情報は、溶接後の断面の溶着金属の溶込み深さおよび幅を少なくとも含む、
ことを特徴とする請求項７に記載の学習モデルの生成方法。
【請求項10】
前記学習モデルは、前記入力データに対する評価結果として、最も確率が高い評価結果、または、評価ごとの確率のいずれかを出力するように構成される、ことを特徴とする請求項１に記載の学習モデルの生成方法。
【請求項11】
溶接挙動または溶接品質の評価を行う学習モデルであって、
画像、音声、数値データのうち少なくとも１種類を含むデータのうち、少なくとも２つの異なるデータを入力するための入力層と、
前記入力層に入力された少なくとも２つの異なるデータに対する評価結果を演算する中間層と、
前記中間層にて演算された評価結果を、前記入力層に入力されたデータに対する評価結果として出力する出力層と、
を有するようにコンピュータを機能させ、
前記中間層は、画像、音声、数値データのうち少なくとも１種類を含むデータと、当該データに対応する溶接挙動または溶接品質に係る評価結果を示すラベルとを含んで構成される学習データを用いて学習処理を行うことでパラメータの調整が行われている、ことを特徴とする学習モデル。
画像、音声、数値データのうち少なくとも１種類を含むデータのうち、少なくとも２つの異なるデータを入力するための入力層と、
前記入力層に入力された少なくとも２つの異なるデータに対する評価結果を演算する中間層と、
前記中間層にて演算された評価結果を、前記入力層に入力されたデータに対する評価結果として出力する出力層と、
を有するようにコンピュータを機能させ、
前記中間層は、画像、音声、数値データのうち少なくとも１種類を含むデータと、当該データに対応する溶接挙動または溶接品質に係る評価結果を示すラベルとを含んで構成される学習データを用いて学習処理を行うことでパラメータの調整が行われている、ことを特徴とする学習モデル。
【請求項12】
請求項１１に記載の学習モデルを用いて処理を行う処理部と、
前記学習モデルに入力されるデータを取得する取得部と、
前記取得部にて取得されたデータを前記学習モデルに入力することにより出力される評価結果に基づいて、溶接の制御量を導出する溶接制御部と、
を有することを特徴とする溶接の制御装置。
前記学習モデルに入力されるデータを取得する取得部と、
前記取得部にて取得されたデータを前記学習モデルに入力することにより出力される評価結果に基づいて、溶接の制御量を導出する溶接制御部と、
を有することを特徴とする溶接の制御装置。
【請求項13】
前記制御量は、溶接速度、溶接電流、アーク電圧、ウィービング条件のうちの少なくとも一つを含む、ことを特徴とする請求項１２に記載の制御装置。
【請求項14】
前記溶接制御部は、前記学習モデルから出力される評価結果としての複数の分類それぞれの確率に基づいて、溶接の制御量を導出する、ことを特徴とする請求項１２に記載の制御装置。
【請求項15】
前記溶接制御部は、
前記複数の分類それぞれの確率に基づく以下の式（１）に基づいて重心値を算出し、
ｙｃ＝（ｌ０×ｐ０＋…＋ｌｎ×ｐｎ） …（１）
ｙｃ：重心値
ｌ０～ｌｎ：分類０～ｎそれぞれに対応する係数
ｐ０～ｐｎ：分類０～ｎそれぞれ対応する確率値（０≦ｐ０～ｐ２≦１、かつ、ｐ０＋…＋ｐｎ＝１）
前記重心値に基づいて、溶接の制御量を導出する、ことを特徴とする請求項１４に記載の制御装置。
前記複数の分類それぞれの確率に基づく以下の式（１）に基づいて重心値を算出し、
ｙｃ＝（ｌ０×ｐ０＋…＋ｌｎ×ｐｎ） …（１）
ｙｃ：重心値
ｌ０～ｌｎ：分類０～ｎそれぞれに対応する係数
ｐ０～ｐｎ：分類０～ｎそれぞれ対応する確率値（０≦ｐ０～ｐ２≦１、かつ、ｐ０＋…＋ｐｎ＝１）
前記重心値に基づいて、溶接の制御量を導出する、ことを特徴とする請求項１４に記載の制御装置。
【請求項16】
前記溶接制御部は、
前記重心値に基づく以下の式（２）に基づいて、偏差ｅを算出し、
ｅ＝ｍ－ｙｃ …（２）
ｍ：予め定めた基準の分類に対応する係数ｌｎの値
前記偏差に基づいて、溶接の制御量を導出する、ことを特徴とする請求項１５に記載の制御装置。
前記重心値に基づく以下の式（２）に基づいて、偏差ｅを算出し、
ｅ＝ｍ－ｙｃ …（２）
ｍ：予め定めた基準の分類に対応する係数ｌｎの値
前記偏差に基づいて、溶接の制御量を導出する、ことを特徴とする請求項１５に記載の制御装置。
【請求項17】
前記溶接制御部は更に、溶接時の画像から溶融池の幅の変化量を導出し、
前記溶接制御部は、前記偏差と、前記溶融池の幅の変化量とに基づいて、溶接の制御量を導出する、ことを特徴とする請求項１６に記載の制御装置。
前記溶接制御部は、前記偏差と、前記溶融池の幅の変化量とに基づいて、溶接の制御量を導出する、ことを特徴とする請求項１６に記載の制御装置。
【請求項18】
前記溶接制御部は、以下の式（３）に基づいて、溶接速度の補正量を導出する、
ｄｖ＝Ｋｉ×ｅ＋Ｋｐ×ｄｅ－Ｋｄ×ｄｗ …（３）
ｄｖ：溶接速度の補正量
Ｋｉ，Ｋｐ，Ｋｄ：係数
ｄｅ：偏差ｅを時間で微分した値
ｄｗ：溶融池の幅の変化量
ことを特徴とする請求項１７に記載の制御装置。
ｄｖ＝Ｋｉ×ｅ＋Ｋｐ×ｄｅ－Ｋｄ×ｄｗ …（３）
ｄｖ：溶接速度の補正量
Ｋｉ，Ｋｐ，Ｋｄ：係数
ｄｅ：偏差ｅを時間で微分した値
ｄｗ：溶融池の幅の変化量
ことを特徴とする請求項１７に記載の制御装置。
【請求項19】
前記学習モデルから出力される評価結果としての複数の分類それぞれの確率と、溶接の制御量とを対応付けて、時系列に沿って同一の画面上で表示させる表示制御部を更に有することを特徴とする請求項１２に記載の制御装置。
【請求項20】
前記溶接制御部は、前記学習モデルから出力された評価結果を入力とし、当該評価結果に対する制御量を出力とする第２の学習モデルを用いて、溶接の制御量を導出する、ことを特徴とする請求項１２に記載の制御装置。
【請求項21】
請求項１１に記載の学習モデルを用いて処理を行う処理部と、
前記学習モデルに入力されるデータを取得する取得部と、
前記取得部にて取得されたデータを前記学習モデルに入力することにより出力される評価結果に基づいて、視覚、聴覚、または触覚のうちの少なくとも一つの伝達手段に対し、異常に係る制御信号を出力する異常判定部と
を有することを特徴とする制御装置。
前記学習モデルに入力されるデータを取得する取得部と、
前記取得部にて取得されたデータを前記学習モデルに入力することにより出力される評価結果に基づいて、視覚、聴覚、または触覚のうちの少なくとも一つの伝達手段に対し、異常に係る制御信号を出力する異常判定部と
を有することを特徴とする制御装置。
【請求項22】
前記異常判定部は、前記学習モデルから出力される評価結果としての複数の分類それぞれの確率に基づいて、前記伝達手段に対する制御信号を導出する、ことを特徴とする請求項２１に記載の制御装置。
【請求項23】
請求項１２に記載の制御装置と、
溶接ロボットと、
電源装置と、
を備える溶接システム。
溶接ロボットと、
電源装置と、
を備える溶接システム。
【請求項24】
コンピュータに、
画像、音声、数値データのうち少なくとも１種類を含むデータと、当該データに対応する溶接挙動または溶接品質に係る評価結果を示すラベルとを含んで構成される学習データを用いて学習処理を行うことにより、前記データを入力データとし、当該入力データに対する評価結果としての出力を行う学習モデルを生成する学習工程を実行させ、
前記学習モデルは、少なくとも２つの異なるデータを入力データとし、１の評価結果を出力するように構成されるプログラム。
画像、音声、数値データのうち少なくとも１種類を含むデータと、当該データに対応する溶接挙動または溶接品質に係る評価結果を示すラベルとを含んで構成される学習データを用いて学習処理を行うことにより、前記データを入力データとし、当該入力データに対する評価結果としての出力を行う学習モデルを生成する学習工程を実行させ、
前記学習モデルは、少なくとも２つの異なるデータを入力データとし、１の評価結果を出力するように構成されるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、学習モデルの生成方法、制御装置、学習モデル、溶接システム、およびプログラムに関する。
【背景技術】
【0002】
従来、溶接システムにおいて、溶接中の良し悪しが判定され、その判定結果は、品質管理を目的とした溶接品質評価、警告制御、溶接作業の改善を目的とした制御等に活用されている。当然のことながら、この判定の精度は高ければ高いほど良い。近年では、学習装置を適用し、熟練作業者による判定を学習データとして用いて学習させ、溶接に対する判定精度を高める技術も開発されている。
【0003】
学習装置を利用した判定の従来技術としては、例えば、判定の精度を向上することを目的とした特許文献１が挙げられる。特許文献１によると、判定装置の処理部は、溶接時の溶接箇所を撮影した第１画像を、画像が適切か判定するための第１モデルに入力する。処理部は、第１モデルによって第１画像が適切と判定されたときには、第１画像を用いて溶接の適否を判定し、第１モデルによって第１画像が不適切と判定されたときには、溶接箇所の撮影条件を補正するための情報を出力している。
【0004】
また、特許文献２では、溶接の品質管理を適切に行えるようにすることを目的として、溶接作業者の溶接作業の特徴量を抽出して記録し、記録した情報を溶接作業支援システム、または溶接ロボット制御装置について開示している。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０２０－１８２９６６号公報
【特許文献2】特開２０２１－１６８７０号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特徴量抽出の対象となる溶接中の挙動（以降、溶接挙動とも称する）は、そのほとんどが動的であって、状況が瞬時に変わる場合がある。動的な溶接挙動として、例えば、溶融池の流れやアークの動きは、それぞれが重要な情報を有するが、これらの情報は急峻に変化する。よって、このような溶接挙動の特性を考慮すると、学習済みモデルに入力する溶接中のデータが正確に捉えられない場合がある。すなわち、学習済みモデルに入力するデータによっては、正確な出力データがでない虞がある。特許文献１および特許文献２では、このような動的な溶接挙動から特徴量を抽出する場合については何ら記載がなく、出力データの精度について疑問が残る。
【0007】
よって、本願発明では、動的な溶接挙動に係るデータが入力データであった場合においても、溶接に対する精度の高い判定結果が出力可能な学習モデルの生成方法、学習モデル、制御装置、表示方法、プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上記課題を解決するために本願発明は以下の構成を有する。すなわち、溶接挙動または溶接品質の評価を行う学習モデルの生成方法は、
画像、音声、数値データのうち少なくとも１種類を含むデータと、当該データに対応する溶接挙動または溶接品質に係る評価結果を示すラベルとを含んで構成される学習データを用いて学習処理を行うことにより、前記データを入力データとし、当該入力データに対する評価結果としての出力を行う学習モデルを生成する学習工程を有し、
前記学習モデルは、少なくとも２つの異なるデータを入力データとし、１の評価結果を出力するように構成される。
画像、音声、数値データのうち少なくとも１種類を含むデータと、当該データに対応する溶接挙動または溶接品質に係る評価結果を示すラベルとを含んで構成される学習データを用いて学習処理を行うことにより、前記データを入力データとし、当該入力データに対する評価結果としての出力を行う学習モデルを生成する学習工程を有し、
前記学習モデルは、少なくとも２つの異なるデータを入力データとし、１の評価結果を出力するように構成される。
【0009】
また、本願発明の別の形態として以下の構成を有する。すなわち、溶接挙動または溶接品質の評価を行う学習モデルは、
画像、音声、数値データのうち少なくとも１種類を含むデータのうち、少なくとも２つの異なるデータを入力するための入力層と、
前記入力層に入力された少なくとも２つの異なるデータに対する評価結果を演算する中間層と、
前記中間層にて演算された評価結果を、前記入力層に入力されたデータに対する評価結果として出力する出力層と、
を有するようにコンピュータを機能させ、
前記中間層は、画像、音声、数値データのうち少なくとも１種類を含むデータと、当該データに対応する溶接挙動または溶接品質に係る評価結果を示すラベルとを含んで構成される学習データを用いて学習処理を行うことでパラメータの調整が行われている。
画像、音声、数値データのうち少なくとも１種類を含むデータのうち、少なくとも２つの異なるデータを入力するための入力層と、
前記入力層に入力された少なくとも２つの異なるデータに対する評価結果を演算する中間層と、
前記中間層にて演算された評価結果を、前記入力層に入力されたデータに対する評価結果として出力する出力層と、
を有するようにコンピュータを機能させ、
前記中間層は、画像、音声、数値データのうち少なくとも１種類を含むデータと、当該データに対応する溶接挙動または溶接品質に係る評価結果を示すラベルとを含んで構成される学習データを用いて学習処理を行うことでパラメータの調整が行われている。
【0010】
また、本願発明の別の形態として以下の構成を有する。すなわち、制御装置は、
学習モデルを用いて処理を行う処理部と、
前記学習モデルに入力されるデータを取得する取得部と、
前記取得部にて取得されたデータを前記学習モデルに入力することにより出力される評価結果に基づいて、溶接の制御量を導出する溶接制御部と、
を有し、
前記学習モデルは、
画像、音声、数値データのうち少なくとも１種類を含むデータのうち、少なくとも２つの異なるデータを入力するための入力層と、
前記入力層に入力された少なくとも２つの異なるデータに対する評価結果を演算する中間層と、
前記中間層にて演算された評価結果を、前記入力層に入力されたデータに対する評価結果として出力する出力層と、
を有するようにコンピュータを機能させ、
前記中間層は、画像、音声、数値データのうち少なくとも１種類を含むデータと、当該データに対応する溶接挙動または溶接品質に係る評価結果を示すラベルとを含んで構成される学習データを用いて学習処理を行うことでパラメータの調整が行われている。
学習モデルを用いて処理を行う処理部と、
前記学習モデルに入力されるデータを取得する取得部と、
前記取得部にて取得されたデータを前記学習モデルに入力することにより出力される評価結果に基づいて、溶接の制御量を導出する溶接制御部と、
を有し、
前記学習モデルは、
画像、音声、数値データのうち少なくとも１種類を含むデータのうち、少なくとも２つの異なるデータを入力するための入力層と、
前記入力層に入力された少なくとも２つの異なるデータに対する評価結果を演算する中間層と、
前記中間層にて演算された評価結果を、前記入力層に入力されたデータに対する評価結果として出力する出力層と、
を有するようにコンピュータを機能させ、
前記中間層は、画像、音声、数値データのうち少なくとも１種類を含むデータと、当該データに対応する溶接挙動または溶接品質に係る評価結果を示すラベルとを含んで構成される学習データを用いて学習処理を行うことでパラメータの調整が行われている。
【0011】
また、本願発明の別の形態として以下の構成を有する。すなわち、制御装置は、
学習モデルを用いて処理を行う処理部と、
前記学習モデルに入力されるデータを取得する取得部と、
前記取得部にて取得されたデータを前記学習モデルに入力することにより出力される評価結果に基づいて、視覚、聴覚、または触覚のうちの少なくとも一つの伝達手段に対し、異常に係る制御信号を出力する異常判定部と
を有することを特徴とする制御装置。
学習モデルを用いて処理を行う処理部と、
前記学習モデルに入力されるデータを取得する取得部と、
前記取得部にて取得されたデータを前記学習モデルに入力することにより出力される評価結果に基づいて、視覚、聴覚、または触覚のうちの少なくとも一つの伝達手段に対し、異常に係る制御信号を出力する異常判定部と
を有することを特徴とする制御装置。
【0012】
また、本願発明の別の形態として以下の構成を有する。すなわち、溶接システムは、
制御装置と、
溶接ロボットと、
電源装置と、
を備え、
前記制御装置は、
学習モデルを用いて処理を行う処理部と、
前記学習モデルに入力されるデータを取得する取得部と、
前記取得部にて取得されたデータを前記学習モデルに入力することにより出力される評価結果に基づいて、溶接の制御量を導出する溶接制御部と、
を有し、
前記学習モデルは、
画像、音声、数値データのうち少なくとも１種類を含むデータのうち、少なくとも２つの異なるデータを入力するための入力層と、
前記入力層に入力された少なくとも２つの異なるデータに対する評価結果を演算する中間層と、
前記中間層にて演算された評価結果を、前記入力層に入力されたデータに対する評価結果として出力する出力層と、
を有するようにコンピュータを機能させ、
前記中間層は、画像、音声、数値データのうち少なくとも１種類を含むデータと、当該データに対応する溶接挙動または溶接品質に係る評価結果を示すラベルとを含んで構成される学習データを用いて学習処理を行うことでパラメータの調整が行われている。
制御装置と、
溶接ロボットと、
電源装置と、
を備え、
前記制御装置は、
学習モデルを用いて処理を行う処理部と、
前記学習モデルに入力されるデータを取得する取得部と、
前記取得部にて取得されたデータを前記学習モデルに入力することにより出力される評価結果に基づいて、溶接の制御量を導出する溶接制御部と、
を有し、
前記学習モデルは、
画像、音声、数値データのうち少なくとも１種類を含むデータのうち、少なくとも２つの異なるデータを入力するための入力層と、
前記入力層に入力された少なくとも２つの異なるデータに対する評価結果を演算する中間層と、
前記中間層にて演算された評価結果を、前記入力層に入力されたデータに対する評価結果として出力する出力層と、
を有するようにコンピュータを機能させ、
前記中間層は、画像、音声、数値データのうち少なくとも１種類を含むデータと、当該データに対応する溶接挙動または溶接品質に係る評価結果を示すラベルとを含んで構成される学習データを用いて学習処理を行うことでパラメータの調整が行われている。
【0013】
また、本願発明の別の形態として以下の構成を有する。すなわち、プログラムは、
コンピュータに、
画像、音声、数値データのうち少なくとも１種類を含むデータと、当該データに対応する溶接挙動または溶接品質に係る評価結果を示すラベルとを含んで構成される学習データを用いて学習処理を行うことにより、前記データを入力データとし、当該入力データに対する評価結果としての出力を行う学習モデルを生成する学習工程を実行させ、
前記学習モデルは、少なくとも２つの異なるデータを入力データとし、１の評価結果を出力するように構成される。
コンピュータに、
画像、音声、数値データのうち少なくとも１種類を含むデータと、当該データに対応する溶接挙動または溶接品質に係る評価結果を示すラベルとを含んで構成される学習データを用いて学習処理を行うことにより、前記データを入力データとし、当該入力データに対する評価結果としての出力を行う学習モデルを生成する学習工程を実行させ、
前記学習モデルは、少なくとも２つの異なるデータを入力データとし、１の評価結果を出力するように構成される。
【発明の効果】
【0014】
本願発明によれば、溶接挙動の特性を考慮して、溶接中の種々の判定精度を向上させることが可能な学習モデルを提供することができる。
【図面の簡単な説明】
【0015】
【図1】本願発明の一実施形態に係る溶接システムの構成例を示す概略図。
【図2】本願発明の一実施形態に係る視覚センサの配置位置を説明するための斜視図。
【図3】本願発明の一実施形態に係るロボット制御装置の構成例を示す概略図。
【図4】本願発明の一実施形態に係るデータ処理装置の構成例を示す概略図。
【図5】本願発明の一実施形態に係る裏ビードのラベリングの例を示す表図。
【図6】本願発明の一実施形態に係る学習済みモデルによる予測の例を示す概略図。
【図7A】本願発明の一実施形態に係る溶接画像の例を示す例図。
【図7B】本願発明の一実施形態に係る溶接画像の平均化処理を説明するための概略図。
【図8】本願発明の一実施形態に係る学習済みモデルの精度を説明するための表図。
【図9A】本願発明の一実施形態に係る学習済みモデルの精度を説明するためのグラフ図。
【図9B】本願発明の一実施形態に係る学習済みモデルの精度を説明するためのグラフ図。
【図9C】本願発明の一実施形態に係る学習済みモデルの予測結果を説明するための表図。
【図10】本願発明の一実施形態に係る学習済みモデルの予測結果に基づく表示例を示す構成図。
【図11】本願発明の一実施形態に係るロボット制御装置および電源装置の処理のフローチャート。
【図12】本願発明の一実施形態に係るデータ処理装置の補正情報の生成処理のフローチャート。
【図13】本願発明の別の実施形態に係る制御の補正量を説明するための図。
【発明を実施するための形態】
【0016】
以下、本願発明を実施するための形態について図面などを参照して説明する。なお、以下に説明する実施形態は、本願発明を説明するための一実施形態であり、本願発明を限定して解釈されることを意図するものではなく、また、各実施形態で説明されている全ての構成が本願発明の課題を解決するために必須の構成であるとは限らない。例えば、本実施形態では、溶接ロボットシステムにおける一例を示すが、可搬型溶接ロボット、台車などの駆動部を有する溶接装置または半自動溶接の場合であってもよい。また、各図面において、同じ構成要素については、同じ参照番号を付すことにより対応関係を示す。
【0017】
以下の説明において、「学習」または「機械学習」とは、学習データおよび任意の学習アルゴリズムを用いて学習を行うことにより、「学習済みモデル」を生成することを指す。学習済みモデルは、複数の学習データを用いて学習が進むことにより、適時更新され、同じ入力であってもその出力が変化していく。したがって、学習済みモデルは、いずれの時点での状態であるかを限定するものではない。ここでは、学習にて用いられるモデルを「学習モデル」と記載し、一定程度の学習が行われた学習モデルを「学習済みモデル」と記載する。また、「学習データ」の具体的な例については後述するが、その構成は、利用する学習アルゴリズムに応じて変更されてよい。また、学習データには、学習そのものに用いられる教師データ、学習済みモデルの検証に用いられる検証データ、学習済みモデルのテストに用いられるテストデータを含んでよい。以下の説明では、学習に関するデータを包括的に示す場合は、「学習データ」と記載し、学習そのものを行う際のデータを示す場合は「教師データ」と記載する。なお、学習データに含まれる教師データ、検証データ、およびテストデータを明確に分類することを意図するものではなく、例えば、学習、検証、およびテストの方法によっては、学習データすべてが教師データにもなり得る。
【0018】
＜第１の実施形態＞
以下、本願発明に係る一実施形態について図面を参照しつつ説明する。
以下、本願発明に係る一実施形態について図面を参照しつつ説明する。
【0019】
［溶接システムの構成］
図１は、本実施形態に係る溶接システム１の構成例を示す。図１に示す溶接システム１は、溶接ロボット１０、ロボット制御装置２０、電源装置３０、視覚センサ４０、およびデータ処理装置５０を含んで構成される。なお、上述したように本願発明に係る特徴を可搬型溶接ロボット、台車などの駆動部を有する溶接装置または半自動溶接などに適用する場合には、それらの構成に合わせて更なる構成が含まれてよい。
図１は、本実施形態に係る溶接システム１の構成例を示す。図１に示す溶接システム１は、溶接ロボット１０、ロボット制御装置２０、電源装置３０、視覚センサ４０、およびデータ処理装置５０を含んで構成される。なお、上述したように本願発明に係る特徴を可搬型溶接ロボット、台車などの駆動部を有する溶接装置または半自動溶接などに適用する場合には、それらの構成に合わせて更なる構成が含まれてよい。
【0020】
図１に示す溶接ロボット１０は、６軸の多関節ロボットにより構成され、その先端部にはＧＭＡＷ用の溶接トーチ１１が取り付けられている。なお、ＧＭＡＷには、例えばＭＩＧ（Ｍｅｔａｌ ＩｎｅｒｔＧａｓ）溶接やＭＡＧ（Ｍｅｔａｌ Ａｃｔｉｖｅ Ｇａｓ）溶接があり、本実施形態ではＭＡＧ溶接を例に挙げて説明する。また、溶接ロボット１０は６軸の多関節ロボットに限られたものではなく、例えば可搬型の小型ロボットを採用してもよい。なお、可搬型の小型ロボットとしては、例えば、３軸以下の直交型ロボットが挙げられる。
【0021】
溶接トーチ１１には、ワイヤ送給装置１２から溶接ワイヤ１３が供給される。溶接ワイヤ１３は、溶接トーチ１１の先端から溶接個所に向けて送り出される。電源装置３０は、溶接ワイヤ１３に電力を供給する。この電力により、溶接ワイヤ１３とワークＷとの間にはアーク電圧が印加され、アークが発生する。本実施形態においては、片面溶接の場合を想定しており、ワークＷは鋼板を突合わせて、裏側、すなわち溶接面とは逆の面に裏当て材を配置している。電源装置３０には、溶接中の溶接ワイヤ１３からワークＷに流れる溶接電流を検出する不図示の電流センサ、および溶接ワイヤ１３とワークＷとの間のアーク電圧を検出する不図示の電圧センサが設けられている。
【0022】
電源装置３０は、不図示の処理部と記憶部を有する。処理部は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により構成される。また、記憶部は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性や不揮発性のメモリにより構成される。処理部が、記憶部に記憶された電源制御用のコンピュータプログラムを実行することにより、溶接ワイヤ１３に印加する電力を制御する。電源装置３０は、ワイヤ送給装置１２にも接続され、処理部が溶接ワイヤ１３の送給速度や送給量を制御する。溶接ワイヤ１３の組成や種類は、溶接対象に応じて使い分けられる。
【0023】
視覚センサ４０は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラにより構成される。視覚センサ４０の配置位置は特に問わず、視覚センサ４０は、溶接ロボット１０に直接取り付けられてもよいし、また、監視カメラとして、周辺の特定の場所に固定されてもよい。溶接ロボット１０に視覚センサ４０を直接取り付けた場合には、視覚センサ４０は、溶接ロボット１０の動作に併せて、溶接トーチ１１の先端周辺を撮影するように移動する。視覚センサ４０を構成するカメラの台数は複数でもよい。例えば、機能や設置位置が異なる複数のカメラを用いて視覚センサ４０が構成されてもよい。
【0024】
また、視覚センサ４０により撮影する方向も特に問わず、例えば、溶接が進行する方向を前方とした場合に、前方側を撮影するように配置してもよいし、側面側、後方側を撮影するように配置してもよい。したがって、視覚センサ４０による撮影範囲は、適宜決定すればよい。なお、溶接トーチ１１の干渉を抑制するために、前方側から撮影することが好ましい。なお、撮影された画像はデータ処理装置５０に送信されて、データ処理装置５０側で利用される。このとき、データ処理装置５０は、撮影された画像の中から、例えば、所定の間隔にて任意の画像を取り込み、後述する処理に利用してよい。ここでの取り込み方法や取り込み設定は、例えば、視覚センサ４０の構成や機能、データ処理装置５０の性能などに応じて切り替えられてよい。
【0025】
本実施形態においては、溶接ロボット１０に直接取り付け、固定した視覚センサ４０を用い、少なくとも、ワークＷ、溶接ワイヤ１３、およびアークが含まれる撮影範囲となるように、溶接画像として動画像を撮影する。なお、溶接画像に係る各種撮影設定は、予め規定されていてもよいし、溶接システム１の動作条件に応じて切り替えられてもよい。撮影設定としては、例えば、フレームレート、画像のピクセル数、解像度、シャッタースピードなどが挙げられる。
【0026】
溶接システム１を構成する各部位は、有線／無線の各種通信方式により、通信可能に接続される。ここでの通信方式は、１つに限定するものではなく、複数の通信方式を組み合わせて接続されてよい。
【0027】
図２は、視覚センサ４０の配置位置を説明するための斜視図である。本実施形態の場合、ワークＷは、突合せ継手である。ワークＷは、２枚の金属板であり、開先を隔てて突き合わされている。なお、突き合わされている２枚の金属板の裏面側には、セラミックス製の裏当て材１４が取り付けられている。なお、裏面側にはメタル系の裏当て材を使用してもよいし、裏当て材無しでもよい。したがって、裏当て材の材質は特に限定するものではなく、ワークＷの材質などに応じて異なってよい。突合せ継手では、開先に沿って一方向にアーク溶接が行われる。以下では、溶接が進行する方向を「溶接方向」という。図２では、溶接が進行する方向を矢印で示している。このため、溶接トーチ１１は、視覚センサ４０の後方、すなわち、溶接方向とは逆側に位置している。また、本実施形態では、視覚センサ４０から後方を見る場合に右手が位置する側を「右方」、後方を見る場合に左手が位置する側を「左方」と称する。
【0028】
本実施形態におけるワークＷは、溶接を行う側の表面が鉛直上方を向くように水平に設置されている。このため、溶接ロボット１０は、ワークＷの上方側からワークＷを溶接する。図２に示すように、視覚センサ４０は、ワークＷの溶接位置に対して斜め上方に設置されてよい。視覚センサ４０の撮影範囲は、ワークＷの溶接位置を含み、アーク溶接中における溶接位置の画像を撮影する。この画像には、溶融池、溶接ワイヤ１３、およびアークが含まれる。本実施形態における視覚センサ４０は、例えば、１０２４×７６８ピクセルの静止画像を連続して撮影することができる。換言すると、視覚センサ４０は、溶接画像を動画像として撮影することが可能である。視覚センサ４０にて撮影可能な静止画像の解像度は特に限定されるものではない。例えば、視覚センサ４０が複数のカメラから構成される場合に、複数のカメラそれぞれが異なる解像度の溶接画像を取得してもよい。また、後述する学習済みモデルに入力する前に、処理時間を短縮することを目的として撮影された溶接画像から任意の特徴領域を切り出すなどの前処理を行ってもよい。任意の特徴領域は、所定の領域が中心に位置するように配置された固定サイズの範囲であってもよい。また、任意の特徴領域のサイズは、溶接挙動に応じて変更されてもよい。
【0029】
［ロボット制御装置の構成］
図３は、溶接ロボット１０の動作を制御するロボット制御装置２０の構成例を示す。ロボット制御装置２０は、装置全体を制御するＣＰＵ２０１、データを記憶するメモリ２０２、複数のスイッチを含む操作パネル２０３、教示作業で使用する教示ペンダント２０４、ロボット接続部２０５、および通信部２０６を含んで構成される。メモリ２０２は、例えば、ＲＯＭ、ＲＡＭ、ＨＤＤなどの揮発性や不揮発性の記憶装置により構成される。メモリ２０２には、溶接ロボット１０の制御に用いられる制御プログラム２０２Ａが記憶される。ＣＰＵ２０１は、制御プログラム２０２Ａを実行することにより、溶接ロボット１０による各種動作を制御する。
図３は、溶接ロボット１０の動作を制御するロボット制御装置２０の構成例を示す。ロボット制御装置２０は、装置全体を制御するＣＰＵ２０１、データを記憶するメモリ２０２、複数のスイッチを含む操作パネル２０３、教示作業で使用する教示ペンダント２０４、ロボット接続部２０５、および通信部２０６を含んで構成される。メモリ２０２は、例えば、ＲＯＭ、ＲＡＭ、ＨＤＤなどの揮発性や不揮発性の記憶装置により構成される。メモリ２０２には、溶接ロボット１０の制御に用いられる制御プログラム２０２Ａが記憶される。ＣＰＵ２０１は、制御プログラム２０２Ａを実行することにより、溶接ロボット１０による各種動作を制御する。
【0030】
ロボット制御装置２０に対する指示の入力には、操作パネル２０３と教示ペンダント２０４を用いることができ、主に教示ペンダント２０４が利用される。教示ペンダント２０４は、通信部２０６を介して、ロボット制御装置２０本体に接続される。オペレータは、教示ペンダント２０４を使用して、教示プログラムを入力することができる。ロボット制御装置２０は、教示ペンダント２０４から入力された教示プログラムに従って溶接ロボット１０を制御する。なお、教示プログラムは、例えば不図示のコンピュータを用いて、ＣＡＤ（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｅｓｉｇｎ）情報等に基づいて自動的に作成することも可能である。教示プログラムにて定義される動作内容は、特に限定するものではなく、溶接ロボット１０の仕様や溶接方式に応じて異なっていてよい。
【0031】
ロボット接続部２０５には、溶接ロボット１０の駆動回路が接続されている。ＣＰＵ２０１は、制御プログラム２０２Ａに基づく制御信号を、ロボット接続部２０５を介して溶接ロボット１０が備える不図示の駆動回路に出力する。通信部２０６は、有線または無線通信用の通信モジュールを含んで構成される。通信部２０６は、電源装置３０やデータ処理装置５０、教示ペンダント２０４などとのデータや信号の通信に使用される。通信部２０６にて用いられる通信の方式や規格は特に限定するものではなく、複数の方式が組み合わされてもよいし、接続される装置ごとに異なっていてもよい。電源装置３０からは、例えば不図示の電流センサによって検出された溶接電流の電流値や、不図示の電圧センサによって検出されたアーク電圧の電圧値が通信部２０６を介してＣＰＵ２０１に与えられる。
【0032】
ロボット制御装置２０は、溶接ロボット１０の各軸の制御により、溶接トーチ１１の移動速度や突出し方向も制御する。また、ロボット制御装置２０は、ウィービング動作を行う場合、設定された周期、振幅、溶接速度に応じて、溶接ロボット１０のウィービング動作も制御する。ウィービング動作とは、溶接の進行方向、すなわち、溶接方向に対して交差する方向に溶接トーチ１１を交互に揺動させることをいう。ロボット制御装置２０は、ウィービング動作と共に、溶接線倣い制御を実行する。溶接線倣い制御とは、溶接線に沿ってビードが形成されるように、溶接トーチ１１の進行方向に対して左右の位置を制御する動作である。また、ロボット制御装置２０は、電源装置３０を介してワイヤ送給装置１２を制御することで、溶接ワイヤ１３の送給速度なども制御する。
【0033】
［データ処理装置の構成］
図４は、データ処理装置５０の構成例を説明するための説明図である。データ処理装置５０は、例えばコンピュータで構成される。コンピュータは、本体５１０、入力部５２０、および表示部５３０を含んで構成される。本体５１０は、ＣＰＵ５１１、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５１２、ＲＯＭ５１３、ＲＡＭ５１４、不揮発性記憶装置５１５、入出力インタフェース５１６、通信インタフェース５１７、および映像出力インタフェース５１８を含んで構成される。ＣＰＵ５１１、ＧＰＵ５１２、ＲＯＭ５１３、ＲＡＭ５１４、不揮発性記憶装置５１５、入出力インタフェース５１６、通信インタフェース５１７、映像出力インタフェース５１８は、バスや信号線によって相互に通信可能に接続されている。
図４は、データ処理装置５０の構成例を説明するための説明図である。データ処理装置５０は、例えばコンピュータで構成される。コンピュータは、本体５１０、入力部５２０、および表示部５３０を含んで構成される。本体５１０は、ＣＰＵ５１１、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５１２、ＲＯＭ５１３、ＲＡＭ５１４、不揮発性記憶装置５１５、入出力インタフェース５１６、通信インタフェース５１７、および映像出力インタフェース５１８を含んで構成される。ＣＰＵ５１１、ＧＰＵ５１２、ＲＯＭ５１３、ＲＡＭ５１４、不揮発性記憶装置５１５、入出力インタフェース５１６、通信インタフェース５１７、映像出力インタフェース５１８は、バスや信号線によって相互に通信可能に接続されている。
【0034】
不揮発性記憶装置５１５には、所定の学習データを用いてディープラーニングを実行する学習プログラム５１５Ａ、学習プログラム５１５Ａの実行を通じて生成される学習済みモデル５１５Ｂ、学習済みモデル５１５Ｂを用いて溶接に関する評価情報を生成する情報生成プログラム５１５Ｃ、および、画像データ５１５Ｄが記憶されている。この他、不揮発性記憶装置５１５には、オペレーティングシステムやアプリケーションプログラムもインストールされている。
【0035】
ＣＰＵ５１１およびＧＰＵ５１２によるプログラムの実行により、データ処理装置５０は、各種の機能を実現する。本実施形態の場合、データ処理装置５０は、機械学習により学習済みモデルを生成する機能と、学習済みモデルを利用して実際の溶接時の各種処理を行う機能を実現する。これらの機能の内容については後述する。なお、学習済みモデルを生成する機能と、実際の溶接の実行時に学習済みモデルから出力される情報に基づいて制御処理を実行する機能に合わせてデータ処理装置５０を分けてもよい。汎用性の観点から見ると、それぞれの機能に合わせて、データ処理装置５０を分けることがより好ましい。ＧＰＵ５１２は、学習プログラム５１５Ａおよび情報生成プログラム５１５Ｃを実行する際の演算装置として使用される。ＲＯＭ５１３には、ＣＰＵ５１１に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）等が記憶されている。ＲＡＭ５１４は、不揮発性記憶装置５１５から読み出されたプログラムの作業領域として使用される。
【0036】
入出力インタフェース５１６は、キーボード、マウス等で構成される入力部５２０に接続されている。入出力インタフェース５１６には、視覚センサ４０も接続されている。視覚センサ４０から出力された画像データが入出力インタフェース５１６を介してＣＰＵ５１１に与えられる。通信インタフェース５１７は、有線または無線通信用の通信モジュールである。映像出力インタフェース５１８は、例えば液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイで構成される表示部５３０に接続されており、ＣＰＵ５１１から与えられた映像データに応じた映像信号を表示部５３０に出力する。
【0037】
以下、本実施形態に係る溶接システム１の処理について説明する。
【0038】
［学習済みモデル］
まず、本実施形態に係る学習済みモデルの生成について説明する。学習済みモデルは、学習プログラムの実行により生成される。本実施形態に係る学習済みモデルは、溶接画像、溶接情報、その溶接画像や溶接情報に基づいたクラス識別情報などの組合せからなる学習データを用いて学習が行われることで生成される。溶接情報としては、溶接結果の測定データが挙げられ、例えば、溶接により形成される裏ビードの高さや幅、溶接部の溶込み深さや幅などが含まれてよい。また、溶接情報は、撮影された画像から特定されてもよく、例えば、画像から特定される溶融池の幅や面積、スパッタ量やヒューム量が挙げられる。さらに、溶接結果に対して他のセンサを用いて得られる実測データであってもよく、例えば、溶接電流、アーク電圧や開先形状の実測データが挙げられる。また、クラス識別情報とは、詳細については後述するが、予め規定された複数のクラスのうちのいずれに属するかを示す情報である。
まず、本実施形態に係る学習済みモデルの生成について説明する。学習済みモデルは、学習プログラムの実行により生成される。本実施形態に係る学習済みモデルは、溶接画像、溶接情報、その溶接画像や溶接情報に基づいたクラス識別情報などの組合せからなる学習データを用いて学習が行われることで生成される。溶接情報としては、溶接結果の測定データが挙げられ、例えば、溶接により形成される裏ビードの高さや幅、溶接部の溶込み深さや幅などが含まれてよい。また、溶接情報は、撮影された画像から特定されてもよく、例えば、画像から特定される溶融池の幅や面積、スパッタ量やヒューム量が挙げられる。さらに、溶接結果に対して他のセンサを用いて得られる実測データであってもよく、例えば、溶接電流、アーク電圧や開先形状の実測データが挙げられる。また、クラス識別情報とは、詳細については後述するが、予め規定された複数のクラスのうちのいずれに属するかを示す情報である。
【0039】
本実施形態に係る学習済みモデルは、溶接画像を入力とし、溶接情報または／および溶接情報に基づいたクラス識別情報を結果として出力する。ここでは、溶接画像を入力とし、クラス識別情報を出力とする例を挙げて説明する。本実施形態に係る学習データとして、溶融池を含む溶接画像、その溶接画像に対応する溶接後の裏ビードの高さと幅の実測データである溶接情報、およびその溶接情報に基づいて溶接画像をラベリングしたクラス識別情報との対を学習データとして作成して学習に用いる。なお、裏ビードの実測データについては、各種センサを用いて、ワークＷの裏側平面からの高さおよびワークＷの裏側の開先幅を計測することで取得されてよい。
【0040】
学習データを作成する際のクラス識別情報は、本実施形態では、Ｌａｂｅｌ０、Ｌａｂｅｌ１、Ｌａｂｅｌ２の３種類のラベルを用いる。ラベリングする際には、図５に示すように、裏ビードに対する実測データの幅と高さに基づき、ラベリングを行う。ここで、裏ビードに関し、溶込み不足に対応するＬａｂｅｌ０、適切な溶け込みに対応するＬａｂｅｌ１、溶込み過大に対応するＬａｂｅｌ２の情報を与えている。図５にて規定されている、ラベリングする際の裏ビードの高さｈと幅ｗに対する閾値は一例である。また、図５においては、高さｈと幅ｗのアンド条件にて示している。具体的には、ある溶接画像に対応する裏ビードの高さｈが０≦ｈ＜２．１、かつ、幅ｗが８．７≦ｗ＜９．８の場合に、その溶接画像にはＬａｂｅｌ０が付与される。裏ビードの高さｈまたは幅ｗのいずれかが上記閾値の範囲外である場合には、他のラベルが付与される。
【0041】
本実施形態では、上記の学習データを用いて学習された学習済みモデルは、溶融池を含む溶接画像が入力されると、Ｌａｂｅｌ０、Ｌａｂｅｌ１、Ｌａｂｅｌ２のうち各々の分類確率を出力する。なお、クラス識別情報は、本実施形態で採用した３つの分類、すなわち、３つのラベルに限定するものではなく、分類数としては２であってもよいし、４以上であってもよい。
【0042】
また、本実施形態では、裏ビードの状態を対象として評価、分類を行っているがこれに限定するものではない。例えば、溶接後の断面の状態を対象として評価、分類を行ってもよい。この場合には、溶接後の断面における溶着金属の溶込み深さや溶込み幅の情報に基づいて、溶込みの評価を示すラベルの付与を行ってよい。そのほか、溶接の欠陥の有無や、溶融池の状態、ヒュームやスパッタなどの溶接挙動の発生状況などを対象として評価、分類を行ってもよい。
【0043】
［学習処理］
学習済みモデルを生成するための学習処理においては、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて行われるものとし、一般的には、複数の畳み込み層、複数のプーリング層、および複数の全結合層を含む。これらにより、入力層、中間層、出力層が構成される。本実施形態では、公知のＲｅｓＮｅｔを用いる。ＲｅｓＮｅｔの詳細はここでは省略するが、ボトルネックアーキテクチャ１６個、最初の１つの畳み込み層、および、最後の全結合１層で構成され、合計５０層から構成される。ボトルネックアーキテクチャでは、１つのＲｅｓｉｄｕａｌ ｂｌｏｃｋが３つの畳み込み層を含む。また、ボトルネックアーキテクチャの他には、２つの畳み込み層を含むＰｌａｉｎアーキテクチャがある。なお、ＲｅｓＮｅｔ（より正確にはＲｅｓＮｅｔ５０）は、Ｒｅｓｉｄｕａｌ ｂｌｏｃｋと呼ばれるサブネットワークを直列的に接続してなるＣＮＮであり、一般的に、Ｒｅｓｉｄｕａｌ ｂｌｏｃｋは、残差特徴量、すなわち、「出力特徴量－入力特徴量」を生成する学習型の演算部、残差特徴量に対して入力特徴量を加算する非学習型の演算部から構成されている。
学習済みモデルを生成するための学習処理においては、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて行われるものとし、一般的には、複数の畳み込み層、複数のプーリング層、および複数の全結合層を含む。これらにより、入力層、中間層、出力層が構成される。本実施形態では、公知のＲｅｓＮｅｔを用いる。ＲｅｓＮｅｔの詳細はここでは省略するが、ボトルネックアーキテクチャ１６個、最初の１つの畳み込み層、および、最後の全結合１層で構成され、合計５０層から構成される。ボトルネックアーキテクチャでは、１つのＲｅｓｉｄｕａｌ ｂｌｏｃｋが３つの畳み込み層を含む。また、ボトルネックアーキテクチャの他には、２つの畳み込み層を含むＰｌａｉｎアーキテクチャがある。なお、ＲｅｓＮｅｔ（より正確にはＲｅｓＮｅｔ５０）は、Ｒｅｓｉｄｕａｌ ｂｌｏｃｋと呼ばれるサブネットワークを直列的に接続してなるＣＮＮであり、一般的に、Ｒｅｓｉｄｕａｌ ｂｌｏｃｋは、残差特徴量、すなわち、「出力特徴量－入力特徴量」を生成する学習型の演算部、残差特徴量に対して入力特徴量を加算する非学習型の演算部から構成されている。
【0044】
上記のＲｅｓＮｅｔのネットワークを構成し、本実施形態では、２７１６９個のデータセットである教師データ、１１６４４個のデータセットである検証データを準備して学習処理を行って学習済みモデルを生成している。ここで、教師データおよび検証データの総数３８８１３個のデータセットは、Ｌａｂｅｌ０：「溶込み不足」は２５２４５個のデータセット、Ｌａｂｅｌ１：「適正」は９１１７個のデータセット、Ｌａｂｅｌ２：「溶込み過大」は４４５１個のデータセットの割合で構成されている。また、学習結果として得られる学習済みモデルに対する精度や汎用性を確認するために、学習時に用いた溶接条件と異なる条件でのテストデータを用意した。変更した溶接条件は、溶接速度を対象とした。教師データおよび検証データ時は、１２，１３，１４，１５ｃｍ／ｍｉｎの溶接速度の条件を用いている。一方、テストデータでは１２．５ｃｍ／ｍｉｎの溶接速度条件を用いている。テストデータで、上記条件下で生成された学習済みモデルの精度を確認した結果、約６％の誤差率という結果が得られ、学習済みモデルの精度は概ね問題無いと想定される。
【0045】
なお、学習済みモデルに入力されるデータは、本実施形態においては溶接画像であるが、これに限られず、例えば、溶接音等の音声データや、溶接電流値やアーク電圧値等の数値データであってもよい。つまり、音声データや数値データ単体を入力データとして扱ってよいし、異なる種類のデータを組み合わせて入力データとして扱ってもよい。また、機械学習に用いられる学習アルゴリズムについても上記の構成に限定するものではなく、他の手法を用いてもよい。
【0046】
ここで、溶接時に取得できる画像データや音声データなどのいずれのデータを用いた場合でも、急峻に変動する溶接挙動を正確に捉えることは困難であるという、溶接特有の問題がある。このような状況を鑑み、本実施形態では、時系列の異なる情報を組み合わせて入力データとして扱うことで、急峻に変動する溶接挙動から得られる特徴を精度良く得ることを可能とする。すなわち、一つの出力データに対し、時系列の異なる少なくとも２以上の情報を入力データとして含めて用いることにより、より精度の高い出力データを得ることを可能とする。
【0047】
本実施形態では、図６に示すように、現在の溶接画像と０．５秒前の溶接画像の２つを入力データとして用いる。用いる時系列データの時間間隔は０．５秒に限られるものではない。捉えるべき溶接挙動に応じて変化する状況は異なるため、着目する内容に応じて時間間隔を設定してよい。例えば、溶融池の粘性などを考慮すると、上記のように０．５秒を含む０．１～２．０秒程度の間隔が望ましい。
【0048】
本実施形態では、図６に示すように、２つの溶接画像を入力し、その結果として得られるラベル、すなわち、現在の溶接画像において推定される最も高い確率の裏ビードの状態を出力する学習済みモデルを構成して用いる。つまり、Ｌａｖｅｌ０、Ｌａｖｅｌ１、Ｌａｖｅｌ２のそれぞれの確率が求められ、その中から最も高い確率の値が出力データとして得ることができる。なお、学習の際には、例えば、現在の溶接画像と所定間隔前の溶接画像を入力して得られた出力結果と、現在の溶接画像に対応付けられたラベルとに基づいてパラメータ調整が行われてよい。または、２つの溶接画像それぞれに対応付けられたラベルそれぞれに対して重みづけを行っておき、それと出力結果とを用いてパラメータ調整を行ってもよい。
【0049】
なお、入力される溶接画像の数は２に限定するものではなく、３以上の溶接画像が入力データとして用いられてもよい。３以上の溶接画像を用いる場合には、それらの時間間隔は一定であってもよいし、異なっていてもよい。また、入力データは溶接画像に限定するものではなく、例えば、上述したように音声データや数値データを溶接画像に組み合わせて入力させてもよい。異なる種類のデータを組み合わせて入力データとする場合には、データ間の時間間隔を空けなくてもよく、例えば、同時刻または略同時刻の異なる種類のデータを用いてもよい。つまり、異なる種類のデータを用いた場合には、それぞれのデータにて異なる溶接挙動の特徴を捉えることができるため、必ずしも異なる時間のデータを用いる必要はない。
【0050】
また、入力データに用いられる情報は前処理として、予め定めた複数のデータから信号処理を行っておくことが好ましい。前処理としては、例えば、コントラスト補正、明るさ補正、色補正、二値化等のモノクロ画像変換、ノイズ除去、エッジ強調、収縮・膨張、画像特徴抽出等が挙げられる。図７Ａは、溶接画像７００から所定の特徴領域を含む範囲７０１を抽出する前処理の例を示している。ここでは、範囲７０１に、溶融池７０２の少なくとも一部を含むように、所定のサイズにて抽出する例を示している。これにより、画像処理における処理負荷を低減することが可能である。
【0051】
図７Ｂは、本実施形態で用いられる溶接画像に対する前処理、すなわち信号処理の一例としての平均化処理の概略を示す。上述したように、本実施形態に係る視覚センサ４０は、連続した溶接画像から構成される動画像を取得可能である。そこで、本実施形態では、時系列で連続する複数の溶接画像の対応する画素値を平均化することで、１つの溶接画像を生成し、入力データとしての溶接画像を生成する。上述したように、本実施形態では、所定の時間間隔を空けた２つの溶接画像を入力データとして用いる。そこで、本実施形態では、２つの入力データとしての溶接画像を生成するために平均化処理を行う。
【0052】
図７Ｂにおいて、溶接画像７１０は、視覚センサ４０にて撮影された溶接画像のうち、着目時刻の溶接画像とする。また、溶接画像７２０は、溶接画像７１０の所定の時間間隔前、すなわち、本例では、０．５秒前の溶接画像とする。本実施形態では、溶接画像７１０を基準として、予め規定された範囲内に含まれる複数枚の溶接画像を用いて平均化処理を行う。ここでの範囲は、上記の所定の時間間隔である０．５秒よりも短いものとする。具体的には、予め定めたフレームレートおよびフレーム数おいて、少なくとも予め定めた範囲にある輝度、例えば、輝度の最低値を決定し、その輝度に基づいて、溶接画像を合成する。なお、本実施形態では、フレームレートは８０ｆｐｓ（ｆｌａｍｅ ｐｅｒ ｓｅｃｏｎｄ）、つまり、時間間隔が０．０１２５秒で、平均化するフレーム数は８つとして、輝度の最低値を決定し、合成する。このような平均化処理を用いることで、ノイズを低減し、出力データの精度を向上させることが可能となる。
【0053】
図７Ｂにおいて溶接画像７１１は、溶接画像７１０を基準として予め規定された範囲の時系列的に最後に位置する溶接画像である。そして、溶接画像７１０から溶接画像７１１までの複数の溶接画像を用いて平均化処理を行うことにより、現在の溶接画像７１２を生成する。この溶接画像７１２が１つ目の入力データ、便宜上、「入力データ１」として、学習済みモデルに入力される。同様に、図７Ｂにおいて溶接画像７２１は、溶接画像７２０を基準として予め規定された範囲の時系列的に最後に位置する溶接画像である。そして、溶接画像７２０から溶接画像７２１までの複数の溶接画像を用いて平均化処理を行うことにより、現在の０．５秒前の溶接画像７２２を生成する。この溶接画像７２２が２つ目の入力データ、便宜上、「入力データ２」として、学習済みモデルに入力される。
【0054】
図８、図９Ａ、図９Ｂ、および図９Ｃは、学習処理の進行度に応じた学習済みモデルの精度を説明するための図である。図８は、１００回の学習処理を行った結果により生成された学習済みモデルの精度を示す表である。ここでは、１００回の学習処理を行って得られた学習済みモデルに、教師データ、検証データ、テストデータをそれぞれ入力して得られた出力に対する、ＡｃｃｕｒａｃｙおよびＬｏｓｓの指標を用いて示す。指標Ａｃｃｕｒａｃｙは、正答率を示す指標であり、全数のうち正解した数の割合を示す。指標Ａｃｃｕｒａｃｙは１に近いほど良い値となる。指標Ｌｏｓｓは、確からしさを示す指標である。指標Ｌｏｓｓは、０に近いほど良い値となる。
【0055】
図８に示すように、本例での学習済みモデルは、教師データに対しては、指標Ａｃｃｕｒａｃｙが０．９８より大きく、指標Ｌｏｓｓが約０．０１の精度が得られている。同様に、検証データに対しては、指標Ａｃｃｕｒａｃｙが０．９５より大きく、指標Ｌｏｓｓが約０．０５の精度が得られている。同様に、テストデータに対しては、指標Ａｃｃｕｒａｃｙが０．９３、指標Ｌｏｓｓが０．０７の精度が得られている。
【0056】
図９Ａは、学習の進行度に応じた指標Ａｃｃｕｒａｃｙの変遷を示し、教師データと検証データの値を示している。図９Ａにおいて、横軸が学習回数を示し、縦軸が指標Ａｃｃｕｒａｃｙの値を示す。図９Ａに示す例の場合、学習が進むほど、すなわち、学習回数が多いほど、指標Ａｃｃｕｒａｃｙの値が１に近づいており、その精度が向上していることが分かる。学習回数が１００回の位置では、図８に示したように、教師データは０．９８、検証データは０．９５の指標Ａｃｃｕｒａｃｙの値が得られている。
【0057】
図９Ｂは、学習の進行度に応じた指標Ｌｏｓｓの変遷を示し、教師データと検証データの値を示している。図９Ｂにおいて、横軸が学習回数を示し、縦軸が指標Ｌｏｓｓの値を示す。図９Ｂに示す例の場合、学習が進むほど、すなわち、学習回数が多いほど、指標Ｌｏｓｓの値が０に近づいており、その精度が向上していることが分かる。なお、この学習回数は、エポック数とも呼ばれ、同じ学習データを何回繰り返して学習させるかの数となる。学習回数が１００回の位置では、図８に示したように、教師データは約０．０１、検証データは約０．０５の指標Ｌｏｓｓの値が得られている。なお、学習回数は、精度の観点から、少なくとも２０回以上の学習を行うことが好ましい。
【0058】
図９Ｃは、１００回の学習処理により得られた学習済みモデルを用いて、時系列に並べられたテストデータを入力することで得られる、予測結果の遷移を示す。横軸は時間［秒］を示し、左の縦軸は予測結果を示し、右の縦軸は溶接速度［ｃｍ／ｍｉｎ］を示す。予測結果は、ラベルであり、Ｌｅｖｅｌ０に相当する「未溶融」、Ｌｅｖｅｌ１に相当する「適正」、Ｌｅｖｅｌ２に相当する「過溶融」の３分類が示されている。
【0059】
一点鎖線は、学習済みモデルにより得られた予測結果を示す。実線は、正解のラベルを示す。上述したように、ここでは、３つの分類のうち、最も確率が高かった分類を予測結果として扱っている。破線は、溶接速度を示す。一点鎖線と実線は左側の縦軸の目盛りに対応し、破線は右側の縦軸の目盛りに対応する。なお、一点鎖線にて示す予測結果と、破線にて示す正解ラベルとに着目した場合、これらに差異が発生した際には、一点鎖線にて示す縦線がグラフ上に現れる。図８に示したように、本例での学習済みモデルでは、テストデータに対し指標Ａｃｃｕｒａｃｙが０．９３、指標Ｌｏｓｓが０．０７の精度で予測ができている。
【0060】
［予測結果の表示例］
図１０は、本実施形態に係る学習済みモデルによる予測結果に基づく表示画面に含まれるグラフおよび確率分布の例を示す構成図である。ここでの表示画面は、例えば、ロボット制御装置２０に接続された教示ペンダント２０４が備える不図示の表示部にて表示されてもよいし、データ処理装置５０が備える表示部５３０にて表示されてもよい。
図１０は、本実施形態に係る学習済みモデルによる予測結果に基づく表示画面に含まれるグラフおよび確率分布の例を示す構成図である。ここでの表示画面は、例えば、ロボット制御装置２０に接続された教示ペンダント２０４が備える不図示の表示部にて表示されてもよいし、データ処理装置５０が備える表示部５３０にて表示されてもよい。
【0061】
図１０において、横軸は時間［ｓ］の経過を示し、右の縦軸は溶接速度［ｃｐｍ（ｃｅｎｔｉ－ｍｅｔｅｒ ｐｅｒ ｍｉｎｕｔｅ）］を示し、左の縦軸は裏ビード形状の分類確率［％］を示す。溶接速度は、本実施形態に係る学習済みモデルによる予測結果に基づいて、溶接の速度を制御した結果の値を示す。また、表示例における「未溶融」、「適正」、「過溶融」の分類は、上述したラベル「Ｌａｖｅｌ０」、「Ｌａｖｅｌ１」、「Ｌａｖｅｌ２」に対応しており、それぞれの確率が示される。したがって、図１０の表示例では、最も確率が高かった分類のみならず、学習済みモデルから得られた各分類の確率を利用して表示画面を構成している。
【0062】
図１０の例の場合、１０～１２秒の間は、徐々に、未溶融の確率が上昇している。このような状況を踏まえ、アークを先行させ、その熱エネルギーで裏ビードの高さ、幅を確保するために、一定であった溶接速度が上昇するように制御が行われる。その結果、１２～１５秒の間では、未溶融の確率が減少している。そして、１５～２２秒の間では、適性が１００％の確率で継続している。その後、２２～３０秒の間では、過溶融の確率が上昇している。このような状況を踏まえ、アークを後退させることで、裏ビードの高さ、幅を抑制するために、一定であった溶接速度が低下するように制御が行われる。その結果、３０～３２秒の間では、過溶融の確率が減少している。そして、３２～３５秒の間では、適性が１００％の確率で継続している。
【0063】
なお、図１０の表示例では、確率分布と、溶接パラメータ、すなわち、溶接速度とを対応付けて表示した例を示したが、これに限定するものではない。例えば、ある時点において撮影された溶接画像を更に関連付けて表示させてもよいし、他の溶接パラメータを切り替えて表示可能なように構成してもよい。
【0064】
［制御概要］
本実施形態に係る処理は、大きく、学習フェーズと制御フェーズの２つに分けられる。学習フェーズは、学習済みモデルを生成するフェーズであり、制御フェーズは、学習フェーズにて生成された学習済みモデルを用いて実際の溶接制御を行うフェーズである。各フェーズの処理は、データ処理装置５０のＣＰＵ５１１が、不揮発性記憶装置５１５等に格納された各種プログラムを読み出して実行することにより実現される。
本実施形態に係る処理は、大きく、学習フェーズと制御フェーズの２つに分けられる。学習フェーズは、学習済みモデルを生成するフェーズであり、制御フェーズは、学習フェーズにて生成された学習済みモデルを用いて実際の溶接制御を行うフェーズである。各フェーズの処理は、データ処理装置５０のＣＰＵ５１１が、不揮発性記憶装置５１５等に格納された各種プログラムを読み出して実行することにより実現される。
【0065】
学習フェーズでは、上述した各種学習データを用いて、学習処理および検証動作などが繰り返し行われることで、一定の精度を有する学習済みモデルが生成される。制御フェーズが行われる前に学習済みモデルが生成され、制御フェーズでは、その時点での最新の学習済みモデルが利用される。なお、制御フェーズが行われた後でも、学習フェーズは必要に応じて繰り返されてよく、どの時点での学習済みモデルを利用するかを制限するものではない。
【0066】
制御フェーズでは、溶接ロボット１０による実際の溶接が行われる。なお、本実施形態では、自動溶接制御として、溶接速度を主に制御するため、溶接ロボット１０に制御信号を入力し、溶接ロボット１０の動きを制御するが、溶接電流やアーク電圧を制御する場合は、溶接電源に制御信号を入力し、溶接電流やアーク電圧等の溶接条件を制御させてもよい。
【0067】
（溶接制御）
以下、実際の溶接時における溶接システム１の溶接制御について説明する。本動作は、図１１に示したフローチャートにて行われる。アーク溶接を行う場合、オペレータは、ロボット制御装置２０、電源装置３０、およびデータ処理装置５０を起動させる。ロボット制御装置２０は溶接ロボット１０の動きを制御し、電源装置３０が、予め設定した溶接条件に従い、溶接を実行する。また、データ処理装置５０は、視覚センサ４０により撮影される溶接画像を取得して監視し、学習済みモデルを用いて、裏ビードの状態、すなわち、Ｌａｂｅｌ０：「溶込み不足」、Ｌａｂｅｌ１：「適正」、Ｌａｂｅｌ２：「溶込み過大」の確率が最も大きいものを選択または／および確率分布を出力する。本実施形態では、分類および分類確率に基づいて、溶接速度の制御を行う。
以下、実際の溶接時における溶接システム１の溶接制御について説明する。本動作は、図１１に示したフローチャートにて行われる。アーク溶接を行う場合、オペレータは、ロボット制御装置２０、電源装置３０、およびデータ処理装置５０を起動させる。ロボット制御装置２０は溶接ロボット１０の動きを制御し、電源装置３０が、予め設定した溶接条件に従い、溶接を実行する。また、データ処理装置５０は、視覚センサ４０により撮影される溶接画像を取得して監視し、学習済みモデルを用いて、裏ビードの状態、すなわち、Ｌａｂｅｌ０：「溶込み不足」、Ｌａｂｅｌ１：「適正」、Ｌａｂｅｌ２：「溶込み過大」の確率が最も大きいものを選択または／および確率分布を出力する。本実施形態では、分類および分類確率に基づいて、溶接速度の制御を行う。
【0068】
図１１は、ロボット制御装置２０および電源装置３０の処理動作を説明するフローチャートである。オペレータは、アーク溶接を開始する場合、ロボット制御装置２０が備える教示ペンダント２０４を操作して、ロボット制御装置２０に対して教示プログラム、各種設定値および溶接開始指示を入力する。ここでの教示プログラムは、溶接ロボット１０の動き等を規定する。
【0069】
Ｓ１１０１にて、ロボット制御装置２０は、教示プログラム、各種設定値、および溶接開始指示を受け付ける。
【0070】
Ｓ１１０２にて、ロボット制御装置２０は、電源装置３０に対して、溶接開始（例えば、電圧の印可の開始）を指令する。
【0071】
Ｓ１１０３にて、電源装置３０は、ロボット制御装置２０からの溶接開始の指令を受信する。
【0072】
Ｓ１１０４にて、電源装置３０は、内蔵されている不図示の電源回路を制御して電力を供することで、溶接を開始させる。これにより、溶接ワイヤ１３（図１参照）とワークＷ（図１参照）との間に電圧が印加され、アークが発生する。
【0073】
Ｓ１１０５にて、ロボット制御装置２０は、電源装置３０または溶接ロボット１０に制御信号を送信し、溶接制御を実行する。溶接制御は、自動溶接制御（Ｓ１１２０）、ウィービング動作の制御（Ｓ１１２１）、および溶接線倣い制御（Ｓ１１２２）を含む。自動溶接制御では、データ処理装置５０が、自動的に溶接方向に溶接トーチ１１を移動させながら、溶接速度、溶接電流またはアーク電圧の少なくとも一つを制御するための補正信号を溶接ロボット１０または電源装置３０に送信し、溶接ロボット１０または電源装置３０がその補正信号に従って溶接を実行する。なお、制御の容易性の観点から自動溶接制御において、溶接速度の制御を含むことが好ましく、本実施形態では溶接速度の制御のみを行っている。
【0074】
Ｓ１１０６にて、ロボット制御装置２０は、溶接の停止が必要か否かを判定する。例えば、オペレータからの溶接停止の指示の受け付け、溶接ロボット１０に設けられたセンサによる溶接終了位置の検出、または、溶接異常の検出、または、両方の検出があった場合に、溶接の停止が必要と判定してよい。溶接の停止が不要な場合（Ｓ１１０６にてＮＯ）、ロボット制御装置２０の処理はＳ１１０７へ進む。一方、溶接の停止が必要な場合（Ｓ１１０６にてＹＥＳ）、ロボット制御装置２０の処理はＳ１１０８へ進む。
【0075】
Ｓ１１０７にて、ロボット制御装置２０は、データ処理装置５０から制御情報を受信する。ここで受信される制御情報は、データ処理装置５０が学習済みモデルを用いて出力したＬａｂｅｌ０：「溶込み不足」、Ｌａｂｅｌ１：「適正」、Ｌａｂｅｌ２：「溶込み過大」の確率に基づいて、算出された、予め定められた制御項目の制御量である。制御項目としては、ここでは、溶接速度が挙げられるが、電流や電圧などを対象としてもよい。本工程で受信する制御情報の生成の詳細については後述する。その後、Ｓ１１０５へ戻り、ロボット制御装置２０は受信した制御情報を用いて処理を繰り返す。
【0076】
Ｓ１１０８にて、ロボット制御装置２０は、溶接制御を停止させる。
【0077】
Ｓ１１０９にて、ロボット制御装置２０は、電源装置３０に対して溶接停止を指令する。溶接の停止は、溶接電力の供給の停止により実現される。
【0078】
Ｓ１１１０にて、ロボット制御装置２０は、データ処理装置５０に対して溶接情報の生成停止を指令する。
【0079】
Ｓ１１１１にて、電源装置３０は、ロボット制御装置２０から溶接停止の指令を受信する。
【0080】
Ｓ１１１２にて、電源装置３０は、不図示のＣＰＵにより電源回路を制御して溶接を停止する。これにより、ロボット制御装置２０および電源装置３０の動作が終了する。
【0081】
（制御情報の生成処理）
図１２を用いて、図１１のＳ１１０７にてロボット制御装置２０が受信する制御情報の生成処理について説明する。図１２は、データ処理装置５０による制御情報の生成処理と、制御情報に基づいて溶接制御を実行し、各制御項目の補正信号を電源装置３０に送信するまでを説明するフローチャートである。なお、制御項目とは、制御する溶接条件を指し、例えば、溶接速度、溶接電流、アーク電圧、ウィービング動作、または溶接線倣い等が挙げられる。また、本処理フローが実行される前に、すでに学習済みモデルが生成され、処理の中で利用されるものとする。
図１２を用いて、図１１のＳ１１０７にてロボット制御装置２０が受信する制御情報の生成処理について説明する。図１２は、データ処理装置５０による制御情報の生成処理と、制御情報に基づいて溶接制御を実行し、各制御項目の補正信号を電源装置３０に送信するまでを説明するフローチャートである。なお、制御項目とは、制御する溶接条件を指し、例えば、溶接速度、溶接電流、アーク電圧、ウィービング動作、または溶接線倣い等が挙げられる。また、本処理フローが実行される前に、すでに学習済みモデルが生成され、処理の中で利用されるものとする。
【0082】
Ｓ１２０１にて、データ処理装置５０は、自動溶接が実行されている間、視覚センサ４０から溶接位置を撮影した溶接画像を受信する。
【0083】
Ｓ１２０２にて、データ処理装置５０は、受信した溶接画像の平均化処理を行う。具体的には、図７Ｂに示したように、複数の時間間隔に含まれる複数の溶接画像から１の溶接画像を生成する。例えば、データ処理装置５０は、複数の溶接画像の輝度の最低値を用いて１つの溶接画像に合成する。なお、この画像処理は好ましい一例であり、他の処理が更に行われてもよいし、処理負荷等に応じて処理の一部が省略されてもよい。画像処理の後、予め定めた時間間隔で抽出される時系列の異なる複数の溶接画像を入力データとして用いる。
【0084】
Ｓ１２０３にて、データ処理装置５０は、Ｓ１２０２にて生成された、時系列の異なる複数の溶接画像を、上述した学習フェーズにより生成された学習済みモデルに入力し、その結果として出力されるクラス識別情報を取得する。本実施形態では、学習済みモデルからは、クラス識別情報として、裏ビードの状況の予測結果としてＬａｂｅｌ０：「溶込み不足」、Ｌａｂｅｌ１：「適正」、Ｌａｂｅｌ２：「溶込み過大」の確率情報が出力される。
【0085】
Ｓ１２０４にて、データ処理装置５０は、取得された確率情報に基づいて、各制御項目の制御量を算出し、算出した制御量に基づいて補正信号を生成する。
【0086】
なお、Ｓ１２０４の処理は、上述した学習済みモデルを生成する学習処理とは別の学習処理により学習済みモデルを生成し、これを用いて行ってもよい。例えば、確率情報と、各制御項目に対する補正量もしくは制御量とを対応付けた情報、または、確率情報と、溶接情報と、各制御項目に対する補正量もしくは制御量とを対応付けた情報などを教師データとして用いて学習済みモデルを生成する。そして、確率情報のみ、または確率情報と溶接情報の複数の情報をこの学習済みモデルへ入力し、最適な溶接結果になるように、各制御項目の補正量または制御量を出力するようにしてもよい。ここで溶接情報とは、溶接電流の波形データ、アーク電圧の波形データ、溶接速度データ、溶接時のアーク音データ、ビード形状データ、スパッタ発生データ、ヒューム発生データ、溶接欠陥データ等の実測値、設定値、またはリファレンスデータが挙げられ、これらデータの少なくとも一つを溶接情報として取り扱うことが好ましい。この場合の学習処理は、上述したような教師あり学習の他、強化学習による学習処理により実装されてもよい。なお、リファレンスデータは過去の良好なデータを採用するとよい。
【0087】
Ｓ１２０５にて、データ処理装置５０は、ロボット制御装置２０または電源装置３０に、Ｓ１２０４にて算出し、生成した補正信号を送信する。
【0088】
Ｓ１２０６にて、データ処理装置５０は、ロボット制御装置２０から停止指令を受信したか否かを判定する。ここでの停止指令は、図１１のＳ１１１０の処理にてロボット制御装置２０から送信される制御情報の生成停止の指令に相当する。停止指令を受信していない場合（Ｓ１２０６にてＮＯ）、データ処理装置５０の処理はＳ１２０１へ戻る。一方、停止指令を受信した場合（Ｓ１２０６にてＹＥＳ）、本処理フローを終了する。
【0089】
以上のように、本実施形態により、動的な溶接挙動に係るデータを入力データとして用いる場合においても、溶接に対する精度の高い判定結果が出力可能な学習モデルを提供することができる。そして、その学習モデルによる精度の高い判定結果に基づいて溶接の制御を行うことで、より精度の高い溶接を実現することが可能となる。
【0090】
＜第２の実施形態＞
上記の実施形態では、図１２に示す制御情報の生成処理において、Ｓ１２０４の工程で用いる手法としては学習済みモデルの例を示した。しかしこの手法に限定するものではなく、上述した分類の確率情報をパラメータとした数式を用いて、補正量を導出してもよい。以下、本発明の第２の実施形態として、補正量を導出するための数式を用いた実施形態について説明する。なお、第１の実施形態と共通する構成については、説明を省略し、差分に着目して説明する。
上記の実施形態では、図１２に示す制御情報の生成処理において、Ｓ１２０４の工程で用いる手法としては学習済みモデルの例を示した。しかしこの手法に限定するものではなく、上述した分類の確率情報をパラメータとした数式を用いて、補正量を導出してもよい。以下、本発明の第２の実施形態として、補正量を導出するための数式を用いた実施形態について説明する。なお、第１の実施形態と共通する構成については、説明を省略し、差分に着目して説明する。
【0091】
本実施形態でも第１の実施形態と同様、溶接速度を補正する例について説明する。また、ここでは、溶接の精度に係る指標の一つとして、溶接時に形成される溶融池の幅（以下、「Ｇａｐ幅」と称する）を例に挙げる。図１３は、溶接の際の時間経過に伴って、Ｇａｐ幅が変動する例を説明するためのグラフ図である。図１３において、横軸は時間を示し、縦軸はＧａｐ幅を示す。Ｇａｐ幅は、例えば、視覚センサ４０にて取得された画像から溶融池の領域を特定し、その先端部の幅を特定することで導出することが可能である。
【0092】
図１３のグラフ１３００に示すように、Ｇａｐ幅は、時間の経過に伴って変動することが想定される。この変動は外的要因などにより生じ得るが、一定の値にて安定するように制御されることが好ましい。よって、本実施形態では、このＧａｐ幅の変化が抑制する方向となるような補正量を導出するために、所定の数式を用いる。
【0093】
［制御情報の生成処理］
以下に説明する算出方法は、第１の実施形態に示した図１２のＳ１２０４の工程にて用いられる。ここでは、第１の実施形態と同様に、クラス識別情報として、裏ビードの状況の予測結果としてＬａｂｅｌ０：「溶込み不足」、Ｌａｂｅｌ１：「適正」、Ｌａｂｅｌ２：「溶込み過大」を用いる。
以下に説明する算出方法は、第１の実施形態に示した図１２のＳ１２０４の工程にて用いられる。ここでは、第１の実施形態と同様に、クラス識別情報として、裏ビードの状況の予測結果としてＬａｂｅｌ０：「溶込み不足」、Ｌａｂｅｌ１：「適正」、Ｌａｂｅｌ２：「溶込み過大」を用いる。
【0094】
学習済みモデルにより、３つのクラスそれぞれに対して確率値が得られる。本実施形態では、これらの値に基づき、下記の式（１）を定義する。
ｙｃ＝（ｌ０×ｐ０＋ｌ１×ｐ１＋ｌ２×ｐ２） …（１）
ｙｃ：重心値
ｌ０，ｌ１，ｌ２：分類０～２それぞれに対応する係数（定数）
ｐ０，ｐ１，ｐ２：分類０～２それぞれ対応する確率値（０≦ｐ０，ｐ１，ｐ２≦１、かつ、ｐ０＋ｐ１＋ｐ２＝１）
ｙｃ＝（ｌ０×ｐ０＋ｌ１×ｐ１＋ｌ２×ｐ２） …（１）
ｙｃ：重心値
ｌ０，ｌ１，ｌ２：分類０～２それぞれに対応する係数（定数）
ｐ０，ｐ１，ｐ２：分類０～２それぞれ対応する確率値（０≦ｐ０，ｐ１，ｐ２≦１、かつ、ｐ０＋ｐ１＋ｐ２＝１）
【0095】
ｌ０、ｌ１、ｌ２は、所定の規則に基づいて予め規定され、記憶部等に保持されているものとする。ｌ０、ｌ１、ｌ２はそれぞれ、Ｌａｂｅｌ０：「溶込み不足」、Ｌａｂｅｌ１：「適正」、Ｌａｂｅｌ２：「溶込み過大」に対応している。なお、ｌ０、ｌ１、ｌ２は、基準となるＬａｂｅｌ１：「適正」に対応する係数ｌ１の値が、Ｌａｂｅｌ０：「溶込み不足」に対応する係数ｌ０の値より大きく、Ｌａｂｅｌ２：「溶込み過大」に対応する係数ｌ２の値より小さく設定されることが好ましい。例えば、ｌ０，ｌ１，ｌ２はそれぞれ、（０，１，２）や（２，４，６）の値などが設定されてよい。
【0096】
ｐ０、ｐ１、ｐ２は第１の実施形態にて述べた学習済みモデルの出力値として得られる確率値であり、それぞれ、Ｌａｂｅｌ０：「溶込み不足」、Ｌａｂｅｌ１：「適正」、Ｌａｂｅｌ２：「溶込み過大」に対応している。
【0097】
更に、式（１）に基づき、以下の式（２）を定義する。式（２）のｍは、予め定めた基準の分類に対応する係数ｌｎの値と同数となる。例えば、基準の分類をＬａｂｅｌ１：「適正」とした場合に、Ｌａｂｅｌ１：「適正」時が１００％になる場合において偏差が０になるようにｍの値を設定するとよい。例えば、Ｌａｂｅｌ１：「適正」に対応する係数がｌ１の場合、ｌ０，ｌ１，ｌ２をそれぞれ、（０，１，２）とした場合にｍの値は１となり、ｌ０，ｌ１，ｌ２をそれぞれ、（２，４，６）とした場合にｍの値は４となる。
ｅ＝ｍ－ｙｃ …（２）
ｅ：偏差
ｍ：予め定めた基準の分類に対応する係数ｌｎの値
ｅ＝ｍ－ｙｃ …（２）
ｅ：偏差
ｍ：予め定めた基準の分類に対応する係数ｌｎの値
【0098】
そして、溶接速度の補正量は、以下の式（３）にて算出される。
ｄｖ＝Ｋｉ×ｅ＋Ｋｐ×ｄｅ－Ｋｄ×ｄｗ …（３）
ｄｖ：溶接速度の補正量
Ｋｉ，Ｋｐ，Ｋｄ：係数（定数）
ｄｅ：偏差ｅを時間で微分した値
ｄｗ：Ｇａｐ幅の変化量
ｄｖ＝Ｋｉ×ｅ＋Ｋｐ×ｄｅ－Ｋｄ×ｄｗ …（３）
ｄｖ：溶接速度の補正量
Ｋｉ，Ｋｐ，Ｋｄ：係数（定数）
ｄｅ：偏差ｅを時間で微分した値
ｄｗ：Ｇａｐ幅の変化量
【0099】
式（３）において、（Ｋｉ×ｅ＋Ｋｐ×ｄｅ）の部分がフィードバック項に対応し、（－Ｋｄ×ｄｗ）の部分がフィードフォワード項に対応する。そして、上記の式に基づき、溶接速度の制御量は、（設計値＋ｄｖ）にて算出される。
【0100】
なお、クラス数がＮである場合には、式（１）は、以下の式（４）のように定義される。各係数についても、式（１）と同様に適宜設定される。
ｙｃ＝（ｌ０×ｐ０＋…＋ｌｎ×ｐｎ） …（４）
ｙｃ：重心値
ｌ０～ｌｎ：分類０～ｎそれぞれに対応する係数（定数）
ｐ０～ｐｎ：分類０～ｎそれぞれ対応する確率値（０≦ｐ０～ｐ２≦１、かつ、ｐ０＋…＋ｐｎ＝１）
ｙｃ＝（ｌ０×ｐ０＋…＋ｌｎ×ｐｎ） …（４）
ｙｃ：重心値
ｌ０～ｌｎ：分類０～ｎそれぞれに対応する係数（定数）
ｐ０～ｐｎ：分類０～ｎそれぞれ対応する確率値（０≦ｐ０～ｐ２≦１、かつ、ｐ０＋…＋ｐｎ＝１）
【0101】
以上、本実施形態により、予め規定された数式および、学習済みモデルの出力結果である分類の確率情報を用いて、溶接速度の補正量を導出することが可能である。なお、本実施形態では、第１の実施形態と同様、溶接速度に対する補正量を導出する例を示したが、他の制御量についても同様に適用してもよい。
【0102】
＜その他の実施形態＞
上記の実施形態では、溶接画像を用いた裏ビードの形成の予測を、学習済みモデルを用いて行い、その出力結果に基づいて溶接の制御を行う形態について説明した。しかし、この構成に限定するものではない。上記の制御方法とは別の実施形態として、データ処理装置５０に含まれる学習済みモデルから出力される確率情報に基づいて、制御信号を生成し、各種端末の機器へ送信し、異常を検知する手段として用いてもよい。例えば、端末としてバイブレーション機能が準備されており、出力される項目の確率によって、バイブレーションの強弱を制御する信号を送信してよい。例えば、学習済みモデルから出力されるクラスの項目がＬａｂｅｌ０：「溶込み不足」、Ｌａｂｅｌ１：「適正」、Ｌａｂｅｌ２：「溶込み過大」の場合、Ｌａｂｅｌ０：「溶込み不足」またはＬａｂｅｌ２：「溶込み過大」の分類の確率、またはそれらの総和が５～２０％の範囲である場合は、弱い振動となるように信号を送信し、４０％以上である場合は強い振動となるように信号を送信するといった制御を行う。なお、端末はバイブレーション等の触覚的な異常検知に限られるものではなく、アラーム等の音による検知でもよいし、ランプ等の視覚的な検知であってもよい。
上記の実施形態では、溶接画像を用いた裏ビードの形成の予測を、学習済みモデルを用いて行い、その出力結果に基づいて溶接の制御を行う形態について説明した。しかし、この構成に限定するものではない。上記の制御方法とは別の実施形態として、データ処理装置５０に含まれる学習済みモデルから出力される確率情報に基づいて、制御信号を生成し、各種端末の機器へ送信し、異常を検知する手段として用いてもよい。例えば、端末としてバイブレーション機能が準備されており、出力される項目の確率によって、バイブレーションの強弱を制御する信号を送信してよい。例えば、学習済みモデルから出力されるクラスの項目がＬａｂｅｌ０：「溶込み不足」、Ｌａｂｅｌ１：「適正」、Ｌａｂｅｌ２：「溶込み過大」の場合、Ｌａｂｅｌ０：「溶込み不足」またはＬａｂｅｌ２：「溶込み過大」の分類の確率、またはそれらの総和が５～２０％の範囲である場合は、弱い振動となるように信号を送信し、４０％以上である場合は強い振動となるように信号を送信するといった制御を行う。なお、端末はバイブレーション等の触覚的な異常検知に限られるものではなく、アラーム等の音による検知でもよいし、ランプ等の視覚的な検知であってもよい。
【0103】
本願発明において、上述した１以上の実施形態の機能を実現するためのプログラムやアプリケーションを、ネットワークまたは記憶媒体等を用いてシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。
【0104】
また、１以上の機能を実現する回路によって実現してもよい。なお、１以上の機能を実現する回路としては、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が挙げられる。
【0105】
以上の通り、本明細書には次の事項が開示されている。
（１） 溶接挙動または溶接品質の評価を行う学習モデルの生成方法であって、
画像、音声、数値データのうち少なくとも１種類を含むデータと、当該データに対応する溶接挙動または溶接品質に係る評価結果を示すラベルとを含んで構成される学習データを用いて学習処理を行うことにより、前記データを入力データとし、当該入力データに対する評価結果としての出力を行う学習モデルを生成する学習工程を有し、
前記学習モデルは、少なくとも２つの異なるデータを入力データとし、１の評価結果を出力するように構成される、学習モデルの生成方法。
この構成によれば、溶接挙動の特性を考慮して、溶接中の種々の判定精度を向上させることが可能な学習モデルを提供することができる。
（１） 溶接挙動または溶接品質の評価を行う学習モデルの生成方法であって、
画像、音声、数値データのうち少なくとも１種類を含むデータと、当該データに対応する溶接挙動または溶接品質に係る評価結果を示すラベルとを含んで構成される学習データを用いて学習処理を行うことにより、前記データを入力データとし、当該入力データに対する評価結果としての出力を行う学習モデルを生成する学習工程を有し、
前記学習モデルは、少なくとも２つの異なるデータを入力データとし、１の評価結果を出力するように構成される、学習モデルの生成方法。
この構成によれば、溶接挙動の特性を考慮して、溶接中の種々の判定精度を向上させることが可能な学習モデルを提供することができる。
【0106】
（２） 前記少なくとも２つの異なるデータは、異なる時刻における２つのデータを含む、ことを特徴とする（１）に記載の学習モデルの生成方法。
この構成によれば、異なる時刻における２つのデータに基づいて学習処理を行い、より精度の高い評価を行うことが可能な学習モデルを提供することが可能となる。
この構成によれば、異なる時刻における２つのデータに基づいて学習処理を行い、より精度の高い評価を行うことが可能な学習モデルを提供することが可能となる。
【0107】
（３） 時系列に沿った複数のデータを用いて信号処理を行うことにより１のデータを生成する前処理工程を更に有し、
前記学習モデルへの入力データは、前記前処理工程にて生成されたデータである、ことを特徴とする（１）または（２）に記載の学習モデルの生成方法。
この構成によれば、前処理によりノイズを抑制したデータに基づいて学習を行うことにより、より精度の高い評価を行うことが可能な学習モデルを提供することが可能となる。
前記学習モデルへの入力データは、前記前処理工程にて生成されたデータである、ことを特徴とする（１）または（２）に記載の学習モデルの生成方法。
この構成によれば、前処理によりノイズを抑制したデータに基づいて学習を行うことにより、より精度の高い評価を行うことが可能な学習モデルを提供することが可能となる。
【0108】
（４） 前記学習モデルへの入力データが画像である場合、前記前処理工程の前記信号処理において、
所定のフレームレートおよびフレーム数により複数の画像を抽出し、
当該複数の画像から、所定の範囲にある輝度を決定し、
前記決定した輝度に基づいて、前記複数の画像を合成する、
ことを特徴とする（３）の学習モデルの生成方法。
この構成によれば、前処理によりノイズを抑制したデータに基づいて学習を行うことにより、より精度の高い評価を行うことが可能な学習モデルを提供することが可能となる。
所定のフレームレートおよびフレーム数により複数の画像を抽出し、
当該複数の画像から、所定の範囲にある輝度を決定し、
前記決定した輝度に基づいて、前記複数の画像を合成する、
ことを特徴とする（３）の学習モデルの生成方法。
この構成によれば、前処理によりノイズを抑制したデータに基づいて学習を行うことにより、より精度の高い評価を行うことが可能な学習モデルを提供することが可能となる。
【0109】
（５） 前記学習モデルへの入力データが画像である場合、前記画像には、溶融池、溶接材料、アーク、被溶接材料のうち少なくとも１つの領域が含まれる、ことを特徴とする（１）～（４）のいずれかに記載の学習モデルの生成方法。
この構成によれば、適切に溶接の状況を捉えた画像を用いて学習モデルを生成することが可能となる。
この構成によれば、適切に溶接の状況を捉えた画像を用いて学習モデルを生成することが可能となる。
【0110】
（６） 前記ラベルとして、２～１０の範囲の分類数が用いられる、ことを特徴とする（１）～（５）のいずれかに記載の学習モデルの生成方法。
この構成によれば、適切な数の分類に基づいて評価を行う学習モデルを提供することが可能となる。
この構成によれば、適切な数の分類に基づいて評価を行う学習モデルを提供することが可能となる。
【0111】
（７） 前記学習データに含まれるラベルは、溶接後のビードの状態、または、溶接中の溶融池の状態に係る情報の少なくとも一方に基づいて付与される、ことを特徴とする（１）～（６）のいずれかに記載の学習モデルの生成方法。
この構成によれば、溶接結果としての状態に応じて、適切なラベリングが行われた学習データを用いて学習処理を行うことが可能となる。
この構成によれば、溶接結果としての状態に応じて、適切なラベリングが行われた学習データを用いて学習処理を行うことが可能となる。
【0112】
（８） 前記学習データに含まれるラベルは、片面溶接における裏ビードの評価結果を示し、
前記溶接後のビードの状態に係る情報は、裏ビードの高さおよび幅を少なくとも含む、ことを特徴とする（７）に記載の学習モデルの生成方法。
この構成によれば、溶接結果である裏ビードの状態に応じて、適切なラベリングが行われた学習データを用いて学習処理を行うことが可能となる。
前記溶接後のビードの状態に係る情報は、裏ビードの高さおよび幅を少なくとも含む、ことを特徴とする（７）に記載の学習モデルの生成方法。
この構成によれば、溶接結果である裏ビードの状態に応じて、適切なラベリングが行われた学習データを用いて学習処理を行うことが可能となる。
【0113】
（９） 前記学習データに含まれるラベルは、片面溶接における溶込みの評価結果を示し、
前記溶接後のビードの状態に係る情報は、溶接後の断面の溶着金属の溶込み深さおよび幅を少なくとも含む、
ことを特徴とする（７）に記載の学習モデルの生成方法。
この構成によれば、溶接結果である溶接断面の状態に応じて、適切なラベリングが行われた学習データを用いて学習処理を行うことが可能となる。
前記溶接後のビードの状態に係る情報は、溶接後の断面の溶着金属の溶込み深さおよび幅を少なくとも含む、
ことを特徴とする（７）に記載の学習モデルの生成方法。
この構成によれば、溶接結果である溶接断面の状態に応じて、適切なラベリングが行われた学習データを用いて学習処理を行うことが可能となる。
【0114】
（１０） 前記学習モデルは、前記入力データに対する評価結果として、最も確率が高い評価結果、または、評価ごとの確率のいずれかを出力するように構成される、ことを特徴とする（１）～（９）のいずれかに記載の学習モデルの生成方法。
この構成によれば、評価結果としての各分類の確率を用いた制御が可能となる。
この構成によれば、評価結果としての各分類の確率を用いた制御が可能となる。
【0115】
（１１） 溶接挙動または溶接品質の評価を行う学習モデルであって、
画像、音声、数値データのうち少なくとも１種類を含むデータのうち、少なくとも２つの異なるデータを入力するための入力層と、
前記入力層に入力された少なくとも２つの異なるデータに対する評価結果を演算する中間層と、
前記中間層にて演算された評価結果を、前記入力層に入力されたデータに対する評価結果として出力する出力層と、
を有するようにコンピュータを機能させ、
前記中間層は、画像、音声、数値データのうち少なくとも１種類を含むデータと、当該データに対応する溶接挙動または溶接品質に係る評価結果を示すラベルとを含んで構成される学習データを用いて学習処理を行うことでパラメータの調整が行われている、ことを特徴とする学習モデル。
この構成によれば、動的な溶接挙動に係るデータを入力データとして用いる場合においても、溶接に対する精度の高い判定結果が出力可能な学習モデルを提供することができる。
画像、音声、数値データのうち少なくとも１種類を含むデータのうち、少なくとも２つの異なるデータを入力するための入力層と、
前記入力層に入力された少なくとも２つの異なるデータに対する評価結果を演算する中間層と、
前記中間層にて演算された評価結果を、前記入力層に入力されたデータに対する評価結果として出力する出力層と、
を有するようにコンピュータを機能させ、
前記中間層は、画像、音声、数値データのうち少なくとも１種類を含むデータと、当該データに対応する溶接挙動または溶接品質に係る評価結果を示すラベルとを含んで構成される学習データを用いて学習処理を行うことでパラメータの調整が行われている、ことを特徴とする学習モデル。
この構成によれば、動的な溶接挙動に係るデータを入力データとして用いる場合においても、溶接に対する精度の高い判定結果が出力可能な学習モデルを提供することができる。
【0116】
（１２） （１１）に記載の学習モデルを用いて処理を行う処理部と、
前記学習モデルに入力されるデータを取得する取得部と、
前記取得部にて取得されたデータを前記学習モデルに入力することにより出力される評価結果に基づいて、溶接の制御量を導出する溶接制御部と、
を有することを特徴とする溶接の制御装置。
この構成によれば、動的な溶接挙動に係るデータを入力データとして用いる場合においても、溶接に対する精度の高い判定結果が出力可能な学習モデルの判定結果に基づいて溶接の制御を行うことで、より精度の高い溶接を実現することが可能となる。
前記学習モデルに入力されるデータを取得する取得部と、
前記取得部にて取得されたデータを前記学習モデルに入力することにより出力される評価結果に基づいて、溶接の制御量を導出する溶接制御部と、
を有することを特徴とする溶接の制御装置。
この構成によれば、動的な溶接挙動に係るデータを入力データとして用いる場合においても、溶接に対する精度の高い判定結果が出力可能な学習モデルの判定結果に基づいて溶接の制御を行うことで、より精度の高い溶接を実現することが可能となる。
【0117】
（１３） 前記制御量は、溶接速度、溶接電流、アーク電圧、ウィービング条件のうちの少なくとも一つを含む、ことを特徴とする（１１）に記載の制御装置。
この構成によれば、溶接に係る様々な制御量を調整することが可能となる。
この構成によれば、溶接に係る様々な制御量を調整することが可能となる。
【0118】
（１４） 前記溶接制御部は、前記学習モデルから出力される評価結果としての複数の分類それぞれの確率に基づいて、溶接の制御量を導出する、ことを特徴とする（１２）または（１３）に記載の制御装置。
この構成によれば、学習モデルから出力される評価結果としての複数の分類それぞれの確率に基づいて、制御量を調整することが可能となる。
この構成によれば、学習モデルから出力される評価結果としての複数の分類それぞれの確率に基づいて、制御量を調整することが可能となる。
【0119】
（１５） 前記溶接制御部は、
前記複数の分類それぞれの確率に基づく以下の式（１）に基づいて重心値を算出し、
ｙｃ＝（ｌ０×ｐ０＋…＋ｌｎ×ｐｎ） …（１）
ｙｃ：重心値
ｌ０～ｌｎ：分類０～ｎそれぞれに対応する係数
ｐ０～ｐｎ：分類０～ｎそれぞれ対応する確率値（０≦ｐ０～ｐ２≦１、かつ、ｐ０＋…＋ｐｎ＝１）
前記重心値に基づいて、溶接の制御量を導出する、ことを特徴とする（１４）に記載の制御装置。
この構成によれば、学習モデルから出力される評価結果としての複数の分類それぞれの確率に基づいて、制御量を調整することが可能となる。
前記複数の分類それぞれの確率に基づく以下の式（１）に基づいて重心値を算出し、
ｙｃ＝（ｌ０×ｐ０＋…＋ｌｎ×ｐｎ） …（１）
ｙｃ：重心値
ｌ０～ｌｎ：分類０～ｎそれぞれに対応する係数
ｐ０～ｐｎ：分類０～ｎそれぞれ対応する確率値（０≦ｐ０～ｐ２≦１、かつ、ｐ０＋…＋ｐｎ＝１）
前記重心値に基づいて、溶接の制御量を導出する、ことを特徴とする（１４）に記載の制御装置。
この構成によれば、学習モデルから出力される評価結果としての複数の分類それぞれの確率に基づいて、制御量を調整することが可能となる。
【0120】
（１６） 前記溶接制御部は、
前記重心値に基づく以下の式（２）に基づいて、偏差ｅを算出し、
ｅ＝ｍ－ｙｃ …（２）
ｍ：予め定めた基準の分類に対応する係数ｌｎの値
前記偏差に基づいて、溶接の制御量を導出する、ことを特徴とする（１５）に記載の制御装置。
この構成によれば、学習モデルから出力される評価結果としての複数の分類それぞれの確率に基づいて、制御量を調整することが可能となる。
前記重心値に基づく以下の式（２）に基づいて、偏差ｅを算出し、
ｅ＝ｍ－ｙｃ …（２）
ｍ：予め定めた基準の分類に対応する係数ｌｎの値
前記偏差に基づいて、溶接の制御量を導出する、ことを特徴とする（１５）に記載の制御装置。
この構成によれば、学習モデルから出力される評価結果としての複数の分類それぞれの確率に基づいて、制御量を調整することが可能となる。
【0121】
（１７） 前記溶接制御部は更に、溶接時の画像から溶融池の幅の変化量を導出し、
前記溶接制御部は、前記偏差と、前記溶融池の幅の変化量とに基づいて、溶接の制御量を導出する、ことを特徴とする（１６）に記載の制御装置。
この構成によれば、学習モデルから出力される評価結果としての複数の分類それぞれの確率に基づいて、制御量を調整することが可能となる。
前記溶接制御部は、前記偏差と、前記溶融池の幅の変化量とに基づいて、溶接の制御量を導出する、ことを特徴とする（１６）に記載の制御装置。
この構成によれば、学習モデルから出力される評価結果としての複数の分類それぞれの確率に基づいて、制御量を調整することが可能となる。
【0122】
（１８） 前記溶接制御部は、以下の式（３）に基づいて、溶接速度の補正量を導出する、
ｄｖ＝Ｋｉ×ｅ＋Ｋｐ×ｄｅ－Ｋｄ×ｄｗ …（３）
ｄｖ：溶接速度の補正量
Ｋｉ，Ｋｐ，Ｋｄ：係数
ｄｅ：偏差ｅを時間で微分した値
ｄｗ：溶融池の幅の変化量
ことを特徴とする（１７）に記載の制御装置。
この構成によれば、学習モデルから出力される評価結果としての複数の分類それぞれの確率に基づいて、制御量を調整することが可能となる。
ｄｖ＝Ｋｉ×ｅ＋Ｋｐ×ｄｅ－Ｋｄ×ｄｗ …（３）
ｄｖ：溶接速度の補正量
Ｋｉ，Ｋｐ，Ｋｄ：係数
ｄｅ：偏差ｅを時間で微分した値
ｄｗ：溶融池の幅の変化量
ことを特徴とする（１７）に記載の制御装置。
この構成によれば、学習モデルから出力される評価結果としての複数の分類それぞれの確率に基づいて、制御量を調整することが可能となる。
【0123】
（１９） 前記学習モデルから出力される評価結果としての複数の分類それぞれの確率と、溶接の制御量とを対応付けて、時系列に沿って同一の画面上で表示させる表示制御部を更に有することを特徴とする（１２）～（１８）のいずれかに記載の制御装置。
この構成によれば、学習モデルから出力される評価結果としての複数の分類それぞれの確率と、制御量とを対応付けて表示でき、作業者が容易に視認することが可能となる。
この構成によれば、学習モデルから出力される評価結果としての複数の分類それぞれの確率と、制御量とを対応付けて表示でき、作業者が容易に視認することが可能となる。
【0124】
（２０） 前記溶接制御部は、前記学習モデルから出力された評価結果を入力とし、当該評価結果に対する制御量を出力とする第２の学習モデルを用いて、溶接の制御量を導出する、ことを特徴とする（１２）～（１９）のいずれかに記載の制御装置。
この構成によれば、学習モデルからの評価結果に基づいて、更に別の学習モデルを用いて制御量を導出することができ、より精度の高い溶接の制御が可能となる。
この構成によれば、学習モデルからの評価結果に基づいて、更に別の学習モデルを用いて制御量を導出することができ、より精度の高い溶接の制御が可能となる。
【0125】
（２１） （１１）に記載の学習モデルを用いて処理を行う処理部と、
前記学習モデルに入力されるデータを取得する取得部と、
前記取得部にて取得されたデータを前記学習モデルに入力することにより出力される評価結果に基づいて、視覚、聴覚、または触覚のうちの少なくとも一つの伝達手段に対し、異常に係る制御信号を出力する異常判定部と
を有することを特徴とする制御装置。
この構成によれば、動的な溶接挙動に係るデータを入力データとして用いる場合においても、溶接に対する精度の高い判定結果が出力可能な学習モデルの判定結果に基づいて異常判定を行い、その結果に基づいて作業者に通知を行うことで、より適切な異常の検知および作業者への報知を実現することが可能となる。
前記学習モデルに入力されるデータを取得する取得部と、
前記取得部にて取得されたデータを前記学習モデルに入力することにより出力される評価結果に基づいて、視覚、聴覚、または触覚のうちの少なくとも一つの伝達手段に対し、異常に係る制御信号を出力する異常判定部と
を有することを特徴とする制御装置。
この構成によれば、動的な溶接挙動に係るデータを入力データとして用いる場合においても、溶接に対する精度の高い判定結果が出力可能な学習モデルの判定結果に基づいて異常判定を行い、その結果に基づいて作業者に通知を行うことで、より適切な異常の検知および作業者への報知を実現することが可能となる。
【0126】
（２２） 前記異常判定部は、前記学習モデルから出力される評価結果としての複数の分類それぞれの確率に基づいて、前記伝達手段に対する制御信号を導出する、ことを特徴とする（１７）に記載の制御装置。
この構成によれば、学習モデルから出力される評価結果としての複数の分類それぞれの確率に基づいて、異常発生時の報知内容を切り替えることが可能となる。
この構成によれば、学習モデルから出力される評価結果としての複数の分類それぞれの確率に基づいて、異常発生時の報知内容を切り替えることが可能となる。
【0127】
（２３） （１２）～（２２）のいずれかに記載の制御装置と、
溶接ロボットと、
電源装置と、
を備える溶接システム。
この構成によれば、溶接システムにおいて、動的な溶接挙動に係るデータを入力データとして用いる場合に、溶接に対する精度の高い判定結果が出力可能な学習モデルの判定結果に基づいて溶接の制御を行うことで、より精度の高い溶接を実現することが可能となる。
溶接ロボットと、
電源装置と、
を備える溶接システム。
この構成によれば、溶接システムにおいて、動的な溶接挙動に係るデータを入力データとして用いる場合に、溶接に対する精度の高い判定結果が出力可能な学習モデルの判定結果に基づいて溶接の制御を行うことで、より精度の高い溶接を実現することが可能となる。
【0128】
（２４） コンピュータに、
画像、音声、数値データのうち少なくとも１種類を含むデータと、当該データに対応する溶接挙動または溶接品質に係る評価結果を示すラベルとを含んで構成される学習データを用いて学習処理を行うことにより、前記データを入力データとし、当該入力データに対する評価結果としての出力を行う学習モデルを生成する学習工程を実行させ、
前記学習モデルは、少なくとも２つの異なるデータを入力データとし、１の評価結果を出力するように構成されるプログラム。
この構成によれば、溶接挙動の特性を考慮して、溶接中の種々の判定精度を向上させることが可能な学習モデルを提供することができる。
画像、音声、数値データのうち少なくとも１種類を含むデータと、当該データに対応する溶接挙動または溶接品質に係る評価結果を示すラベルとを含んで構成される学習データを用いて学習処理を行うことにより、前記データを入力データとし、当該入力データに対する評価結果としての出力を行う学習モデルを生成する学習工程を実行させ、
前記学習モデルは、少なくとも２つの異なるデータを入力データとし、１の評価結果を出力するように構成されるプログラム。
この構成によれば、溶接挙動の特性を考慮して、溶接中の種々の判定精度を向上させることが可能な学習モデルを提供することができる。
【符号の説明】
【0129】
１ 溶接システム
１０ 溶接ロボット
１１ 溶接トーチ
１２ ワイヤ送給装置
１３ 溶接ワイヤ
１４ 裏当て材
２０ ロボット制御装置
２０１ ＣＰＵ
２０２ メモリ
２０２Ａ 制御プログラム
２０３ 操作パネル
２０４ 教示ペンダント
２０５ ロボット接続部
２０６ 通信部
３０ 電源装置
４０ 視覚センサ
５０ データ処理装置
５１０ 本体
５１１ ＣＰＵ
５１２ ＧＰＵ
５１３ ＲＯＭ
５１４ ＲＡＭ
５１５ 不揮発性記憶装置
５１５Ａ 学習プログラム
５１５Ｂ 学習済みモデル
５１５Ｃ 情報生成プログラム
５１５Ｄ 画像データ
５１６ 入出力インタフェース
５１７ 通信インタフェース
５１８ 映像出力インタフェース
５２０ 入力部
５３０ 表示部
Ｗ ワーク
１０ 溶接ロボット
１１ 溶接トーチ
１２ ワイヤ送給装置
１３ 溶接ワイヤ
１４ 裏当て材
２０ ロボット制御装置
２０１ ＣＰＵ
２０２ メモリ
２０２Ａ 制御プログラム
２０３ 操作パネル
２０４ 教示ペンダント
２０５ ロボット接続部
２０６ 通信部
３０ 電源装置
４０ 視覚センサ
５０ データ処理装置
５１０ 本体
５１１ ＣＰＵ
５１２ ＧＰＵ
５１３ ＲＯＭ
５１４ ＲＡＭ
５１５ 不揮発性記憶装置
５１５Ａ 学習プログラム
５１５Ｂ 学習済みモデル
５１５Ｃ 情報生成プログラム
５１５Ｄ 画像データ
５１６ 入出力インタフェース
５１７ 通信インタフェース
５１８ 映像出力インタフェース
５２０ 入力部
５３０ 表示部
Ｗ ワーク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【図9A】
【図9B】
【図9C】
【図10】
【図11】
【図12】
【図13】