特許 7395238 学習用画像セットの生成装置及び生成方法、プログラム、画像生成モデルの学習装置、画像生成装置、画像判別モデルの学習装置、画像判別装置、並びに自動溶接システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-01

(45)【発行日】2023-12-11

(54)【発明の名称】学習用画像セットの生成装置及び生成方法、プログラム、画像生成モデルの学習装置、画像生成装置、画像判別モデルの学習装置、画像判別装置、並びに自動溶接システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231204BHJP

   G06N 20/00 20190101ALI20231204BHJP

【ＦＩ】

G06T7/00 350C

G06N20/00 130

【請求項の数】 14

(21)【出願番号】P 2020059645

(22)【出願日】2020-03-30

(65)【公開番号】P2021157691

(43)【公開日】2021-10-07

【審査請求日】2022-11-01

(73)【特許権者】

【識別番号】000001199

【氏名又は名称】株式会社神戸製鋼所

(74)【代理人】

【識別番号】100125645

【弁理士】

【氏名又は名称】是枝 洋介

(74)【代理人】

【識別番号】100145609

【弁理士】

【氏名又は名称】楠屋 宏行

(74)【代理人】

【識別番号】100149490

【弁理士】

【氏名又は名称】羽柴 拓司

(72)【発明者】

【氏名】岡本 陽

(72)【発明者】

【氏名】尾崎 圭太

(72)【発明者】

【氏名】飛田 正俊

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】特開２０１８－１０１１２４（ＪＰ，Ａ）

【文献】特開２０１８－１９２５２４（ＪＰ，Ａ）

【文献】特開２０１９－１９５８１１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

画像生成モデルのための学習用画像セットの生成装置であって、
溶接装置によるアーク溶接により２つの被溶接部材の間に生じたアーク及び溶融池を撮影するカメラにより生成されたカメラ画像を取得する第１画像取得部と、
アーク溶接のシミュレーションを行うシミュレーション装置により生成されたアーク及び溶融池を表すシミュレーション画像を取得する第２画像取得部と、
前記カメラ画像及び前記シミュレーション画像を互いに関連付ける関連付け部と、
を備える、学習用画像セットの生成装置。

【請求項2】

前記カメラ画像が生成された条件と、前記シミュレーション画像が生成された条件とが共通する、
請求項１に記載の学習用画像セットの生成装置。

【請求項3】

前記カメラ画像及び前記シミュレーション画像の一方が生成された条件を表す条件データを取得し、他方を生成するために提供する条件提供部をさらに備える、
請求項１または２に記載の学習用画像セットの生成装置。

【請求項4】

前記条件提供部は、前記カメラ画像が生成された条件の前記条件データを取得し、前記シミュレーション装置に提供し、
前記シミュレーション装置は、前記条件提供部から提供された前記条件データに基づいて前記シミュレーションを行う、
請求項３に記載の学習用画像セットの生成装置。

【請求項5】

前記条件提供部は、前記シミュレーション画像が生成された条件の前記条件データを取得し、前記溶接装置に提供し、
前記溶接装置は、前記条件提供部から提供された前記条件データに基づいて前記アーク溶接を行う、
請求項３に記載の学習用画像セットの生成装置。

【請求項6】

前記シミュレーション装置は、前記シミュレーション画像とともに、前記シミュレーション画像中の特徴点の位置データを生成し、
前記関連付け部は、前記カメラ画像及び前記シミュレーション画像に前記位置データを関連付ける、
請求項１ないし５の何れかに記載の学習用画像セットの生成装置。

【請求項7】

画像生成モデルのための学習用画像セットの生成方法であって、
溶接装置によりアーク溶接を行い、
前記アーク溶接により２つの被溶接部材の間に生じたアーク及び溶融池をカメラにより撮影してカメラ画像を生成し、
アーク溶接のシミュレーションを行うシミュレーション装置によりアーク及び溶融池を表すシミュレーション画像を生成し、
前記カメラ画像及び前記シミュレーション画像を互いに関連付ける、
学習用画像セットの生成方法。

【請求項8】

画像生成モデルのための学習用画像セットを生成するためのプログラムであって、
溶接装置によるアーク溶接により２つの被溶接部材の間に生じたアーク及び溶融池を撮影するカメラにより生成されたカメラ画像を取得する第１画像取得部、
アーク溶接のシミュレーションを行うシミュレーション装置により生成されたアーク及び溶融池を表すシミュレーション画像を取得する第２画像取得部、及び、
前記カメラ画像及び前記シミュレーション画像を互いに関連付ける関連付け部、
としてコンピュータを機能させるためのプログラム。

【請求項9】

請求項１ないし６の何れかに記載の学習用画像セットの生成装置により互いに関連付けられたカメラ画像及びシミュレーション画像を取得する取得部と、
前記シミュレーション画像及び前記カメラ画像を用い、シミュレーション画像に基づき擬似カメラ画像を生成するための画像生成モデルを生成する学習部と、
を備える、画像生成モデルの学習装置。

【請求項10】

アーク溶接のシミュレーションを行うシミュレーション装置により生成されたアーク及び溶融池を表すシミュレーション画像を取得する取得部と、
請求項９に記載の画像生成モデルの学習装置により生成された画像生成モデルを用い、前記シミュレーション画像に基づき擬似カメラ画像を生成する生成部と、
を備える、画像生成装置。

【請求項11】

請求項１０に記載の画像生成装置により生成された擬似カメラ画像と、前記擬似カメラ画像中の特徴点の位置を表す位置データとを含むデータセットを取得する取得部と、
前記擬似カメラ画像を入力データ、前記位置データを教師データとして、カメラ画像中の特徴点の位置を推定するための画像判別モデルを生成する学習部と、
を備える、画像判別モデルの学習装置。

【請求項12】

前記位置データは、請求項６に記載の学習用画像セットの生成装置においてカメラ画像及びシミュレーション画像に関連付けられた、前記シミュレーション画像中の特徴点の位置データである、
請求項１１に記載の画像判別モデルの学習装置。

【請求項13】

溶接装置によるアーク溶接により２つの被溶接部材の間に生じたアーク及び溶融池を撮影するカメラにより生成されたカメラ画像を取得する取得部と、
請求項１１または１２に記載の画像判別モデルの学習装置により生成された画像判別モデルを用い、前記カメラ画像中の特徴点の位置を推定する推定部と、
を備える、画像判別装置。

【請求項14】

２つの被溶接部材の間でアーク溶接を行う溶接装置と、
前記アーク溶接により生じたアーク及び溶融池を撮影するカメラと、
請求項１１または１２に記載の学習装置により生成された画像判別モデルを用い、前記カメラにより生成されたカメラ画像中の特徴点の位置を推定する推定部と、
前記特徴点の位置に基づいて、前記溶接装置の制御パラメータを補正する補正部と、
を備える、自動溶接システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習用画像セットの生成装置及び生成方法、プログラム、画像生成モデルの学習装置、画像生成装置、画像判別モデルの学習装置、画像判別装置、並びに自動溶接システムに関する。

【背景技術】

【0002】

特許文献１には、溶接ワイヤの先端を開先の上端部と下端部との間でウィービングさせつつ開先に沿って移動させ、溶接ワイヤの先端を開先の下端部から上端部へとウィービングさせる過程で溶接トーチの走行を停止させ、開先の上端部で溶接ワイヤの先端のウィービングを停止させると共に、溶接トーチを走行させつつ溶接ワイヤに対する電力量を低下させ、溶接ワイヤの先端を開先の上端部から下端部へとウィービングさせる過程で溶接トーチの走行速度、溶接ワイヤの先端のウィービング速度及び溶接ワイヤに対する電力量を上昇させることが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－６９６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、アーク溶接で生じたアーク及び溶融池を撮影した画像を利用して溶接ロボットを制御するために、アークの中心や溶融池の先端などの特徴点を認識する画像判別モデルを利用することが考えられている。

【0005】

しかしながら、実際にアーク溶接を行い、アーク及び溶融池を撮影した画像を得ることは、多大な手間と時間を要することから、画像判別モデルの学習に用いる多数の画像を様々な条件で得ることは困難である。

【0006】

本発明は、上記課題に鑑みてなされたものであり、その主な目的は、学習に用いる画像を得ることが容易な、学習用画像セットの生成装置及び生成方法、プログラム、画像生成モデルの学習装置、画像生成装置、画像判別モデルの学習装置、画像判別装置、並びに自動溶接システムを提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するため、本発明の一の態様の学習用画像セットの生成装置は、画像生成モデルのための学習用画像セットの生成装置であって、溶接装置によるアーク溶接により２つの被溶接部材の間に生じたアーク及び溶融池を撮影するカメラにより生成されたカメラ画像を取得する第１画像取得部と、アーク溶接のシミュレーションを行うシミュレーション装置により生成されたアーク及び溶融池を表すシミュレーション画像を取得する第２画像取得部と、前記カメラ画像及び前記シミュレーション画像を互いに関連付ける関連付け部と、を備える。

【0008】

また、本発明の他の態様の学習用画像セットの生成方法は、画像生成モデルのための学習用画像セットの生成方法であって、溶接装置によりアーク溶接を行い、前記アーク溶接により２つの被溶接部材の間に生じたアーク及び溶融池をカメラにより撮影してカメラ画像を生成し、アーク溶接のシミュレーションを行うシミュレーション装置によりアーク及び溶融池を表すシミュレーション画像を生成し、前記カメラ画像及び前記シミュレーション画像を互いに関連付ける。

【0009】

また、本発明の他の態様のプログラムは、溶接装置によるアーク溶接により２つの被溶接部材の間に生じたアーク及び溶融池を撮影するカメラにより生成されたカメラ画像を取得する第１画像取得部、アーク溶接のシミュレーションを行うシミュレーション装置により生成されたアーク及び溶融池を表すシミュレーション画像を取得する第２画像取得部、及び、前記カメラ画像及び前記シミュレーション画像を互いに関連付ける関連付け部、としてコンピュータを機能させる。

【0010】

また、本発明の他の態様の画像生成モデルの学習装置は、上記学習用画像セットの生成装置により互いに関連付けられたカメラ画像及びシミュレーション画像を取得する取得部と、前記シミュレーション画像及び前記カメラ画像を用い、シミュレーション画像に基づき擬似カメラ画像を生成するための画像生成モデルを生成する学習部と、を備える。

【0011】

また、本発明の他の態様の画像生成装置は、アーク溶接のシミュレーションを行うシミュレーション装置により生成されたアーク及び溶融池を表すシミュレーション画像を取得する取得部と、上記画像生成モデルの学習装置により生成された画像生成モデルを用い、前記シミュレーション画像に基づき擬似カメラ画像を生成する生成部と、を備える。

【0012】

また、本発明の他の態様の画像判別モデルの学習装置は、上記画像生成装置により生成された擬似カメラ画像と、前記擬似カメラ画像中の特徴点の位置を表す位置データとを含むデータセットを取得する取得部と、前記擬似カメラ画像を入力データ、前記位置データを教師データとして、カメラ画像中の特徴点の位置を推定するための画像判別モデルを生成する学習部と、を備える。

【0013】

また、本発明の他の態様の画像判別装置は、溶接装置によるアーク溶接により２つの被溶接部材の間に生じたアーク及び溶融池を撮影するカメラにより生成されたカメラ画像を取得する取得部と、上記画像判別モデルの学習装置により生成された画像判別モデルを用い、前記カメラ画像中の特徴点の位置を推定する推定部と、を備える。

【0014】

また、本発明の他の態様の自動溶接システムは、２つの被溶接部材の間でアーク溶接を行う溶接装置と、前記アーク溶接により生じたアーク及び溶融池を撮影するカメラと、上記画像判別モデルの学習装置により生成された画像判別モデルを用い、前記カメラにより生成されたカメラ画像中の特徴点の位置を推定する推定部と、前記特徴点の位置に基づいて、前記溶接装置の制御パラメータを補正する補正部と、を備える。

【発明の効果】

【0015】

本発明によれば、学習に用いる画像を得ることが容易となる。

【図面の簡単な説明】

【0016】

【図1】自動溶接システムによる溶接例を示す図である。

【図2】自動溶接システムの構成例を示す図である。

【図3】溶接支援装置の構成例を示す図である。

【図4】画像セット生成部の構成例を示す図である。

【図5】アーク及び溶融池の画像例を示す図である。

【図6】アーク及び溶融池を模式的に示す図である。

【図7】学習用画像セットの例を示す図である。

【図8】学習用画像セットの例を示す図である。

【図9】学習用画像セットの生成の手順例を示す図である。

【図10】学習用画像セットの生成の他の手順例を示す図である。

【図11】画像生成モデルの学習フェーズを説明する図である。

【図12】画像生成モデルの学習フェーズの手順例を示す図である。

【図13】画像生成モデルの学習フェーズの手順例を示す図である。

【図14】画像生成モデルの生成フェーズを説明する図である。

【図15】画像生成モデルの生成フェーズの手順例を示す図である。

【図16】学習用データセットの例を示す図である。

【図17】画像判別モデルの学習フェーズを説明する図である。

【図18】画像判別モデルの学習フェーズの手順例を示す図である。

【図19】画像判別モデルの推論フェーズを説明する図である。

【図20】画像判別モデルの推論フェーズの手順例を示す図である。

【発明を実施するための形態】

【0017】

以下、本発明の実施形態について、図面を参照しながら説明する。

【0018】

［システム概要］
図１は、自動溶接システム１００による溶接例を示す図である。図２は、自動溶接システム１００の構成例を示す図である。図３は、溶接支援装置１の構成例を示す図である。図４は、画像セット生成部１１の構成例を示す図である。

【0019】

自動溶接システム１００の溶接装置３は、２つの被溶接部材Ｕ，Ｌの間に形成された開先Ｇにおいて、溶接トーチ３１を進行させながらアーク溶接を行う溶接ロボットである。溶接トーチ３１の先端部の近傍には溶融池Ｐが形成される。

【0020】

図示の例では、被溶接部材Ｕ，Ｌが鉛直方向（上下方向）に並んでおり、開先Ｇが水平方向（前後方向）に延びている。これに限らず、被溶接部材Ｕ，Ｌは、水平方向に並んでもよい。

【0021】

被溶接部材Ｕ，Ｌ間の間隔（すなわち、開先Ｇの幅）は、例えば３～１０ｍｍ程度である。被溶接部材Ｕ，Ｌには、裏当て材が貼られてもよいし、貼られなくてもよい。開先Ｇの形状は、図示のＶ型形状に限らず、Ｘ型形状などであってもよい。

【0022】

アーク溶接は、例えばＴＩＧ（Tungsten Inert Gas）溶接である。これに限らず、ＭＩＧ（Metal Inert Gas）溶接又はＭＡＧ（Metal Active Gas）溶接などであってもよい。

【0023】

溶接装置３は、溶接トーチ３１をウィービングさせながらアーク溶接を行う。被溶接部材Ｕ，Ｌが上下方向に並び、溶接進行方向が前方向である場合、溶融池Ｐの垂れ下がりを抑制するために、溶接トーチ３１を前下－後上方向にウィービングさせてもよい。

【0024】

カメラ２は、溶接トーチ３１の先端部から生じるアーク及び溶融池Ｐを撮影してカメラ画像を生成する。また、カメラ２は、アークに向けて送り出される不図示のワイヤ（溶加材）も撮影する。

【0025】

カメラ２は、溶接トーチ３１に対して前方向に配置されており、溶接トーチ３１と一緒に前方向に移動する。カメラ２のレンズには、アーク光の入射を抑制するために９５０ｎｍ近傍の近赤外光のみを透過するバンドパスフィルタが装着される。

【0026】

カメラ２は、時系列の複数の静止画像（フレーム）を含む動画像を生成するビデオカメラである。これに限らず、カメラ２は、定期的な撮影により時系列の複数の静止画像を生成するスチルカメラであってもよい。

【0027】

図５は、カメラ２により生成されるカメラ画像の例を示す図である。図６は、アーク及び溶融池を模式的に示す図である。カメラ画像は、例えば溶融池先端上部、溶融池先端下部、アーク中心、ワイヤ先端、溶融池上端、及び溶融池下端の６つの特徴点を含んでいる。

【0028】

図２に示すように、自動溶接システム１００は、溶接支援装置１、カメラ２、溶接装置３、シミュレーション装置４、及び記憶装置５を備えている。これらの機器は、例えばインターネット又はＬＡＮ等の通信ネットワークを介して相互に通信可能である。

【0029】

溶接支援装置１は、制御部１０を備えている。制御部１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、不揮発性メモリ、及び入出力インターフェース等を含むコンピュータである。制御部１０のＣＰＵは、ＲＯＭ又は不揮発性メモリからＲＡＭにロードされたプログラムに従って情報処理を実行する。

【0030】

プログラムは、例えば光ディスク又はメモリカード等の情報記憶媒体を介して供給されてもよいし、例えばインターネット又はＬＡＮ等の通信ネットワークを介して供給されてもよい。

【0031】

図３に示すように、制御部１０は、画像セット生成部１１、生成モデル用学習部１２、画像生成部１３、判別モデル用学習部１４、画像判別部１５、及び補正部１６を備えている。これらの機能部は、制御部１０のＣＰＵがＲＯＭ又は不揮発性メモリからＲＡＭにロードされたプログラムに従って情報処理を実行することによって実現される。

【0032】

画像セット生成部１１は、学習用画像セットの生成装置の例であり、図４に示すように、カメラ画像取得部１１１、シミュレーション画像取得部１１２、条件提供部１１３、及び関連付け部１１４を備えている。

【0033】

生成モデル用学習部１２は、画像生成モデルの学習装置の例であり、取得部１２１及び学習部１２２を備えている。画像生成部１３は、画像生成装置の例であり、取得部１３１及び推定部１３２を備えている。

【0034】

判別モデル用学習部１４は、画像判別モデルの学習装置の例であり、取得部１４１及び学習部１４２を備えている。画像判別部１５は、画像判別装置の例であり、取得部１５１及び推定部１５２を備えている。

【0035】

記憶装置５には、画像生成モデル２００及び画像判別モデル３００が保存されている。画像生成モデル２００は、生成モデル用学習部１２により生成され、画像生成部１３により利用される。画像判別モデル３００は、判別モデル用学習部１４により生成され、画像判別部１５により利用される。

【0036】

本実施形態では、画像セット生成部１１、生成モデル用学習部１２、画像生成部１３、判別モデル用学習部１４、画像判別部１５、及び補正部１６の全てが、溶接支援装置１で実現されているが、これらの機能部のうちの１又は複数が、溶接支援装置１とは別のコンピュータで実現されてもよい。

【0037】

例えば、画像セット生成部１１、生成モデル用学習部１２、画像生成部１３、及び判別モデル用学習部１４が、１又は複数のサーバコンピュータ（いわゆるクラウドコンピュータ）で実現されてもよい。

【0038】

シミュレーション装置４は、アーク溶接のシミュレーションを行い、アーク及び溶融池を表すシミュレーション画像を生成する。シミュレーション装置４は、溶接条件及び撮影条件などの条件に基づいて、シミュレーション画像を生成する。

【0039】

溶接条件は、例えば溶接進行方向、層数、ワイヤ径、ワイヤ材料、シールドガス種類、開先の有無、ギャップ幅、板厚、及び裏当て材の有無などである。また、溶接条件は、溶接トーチの位置も含んでいる。撮影条件は、例えばカメラの位置（溶融池に対する距離や角度など）及び画角などである。

【0040】

ところで、実際にアーク溶接を行い、アーク及び溶融池を撮影した画像を得ることは、多大な手間と時間を要することから、画像判別モデル３００の学習に用いる多数の画像を様々な条件で得ることは困難である。

【0041】

そこで、本実施形態では、以下に説明するように、画像判別モデル３００の学習に用いる画像を得るために、シミュレーション画像に基づき擬似カメラ画像を生成する画像生成モデル２００を用意し、利用している。

【0042】

［学習用画像セットの生成］
画像生成モデル２００の学習に用いる学習用画像セットの生成について説明する。図７及び図８は、学習用画像セットの例を示す図である。学習用画像セットは、シミュレーション画像とカメラ画像のペアで構成されている。

【0043】

図７は、溶融池の開先幅方向の中央に溶接トーチの先端及びアークが位置した状態を示している。図８は、溶融池の開先幅方向の片方の端部に溶接トーチの先端及びアークが近づいた状態を示している。

【0044】

シミュレーション画像とカメラ画像は、溶接条件及び撮影条件などの条件が共通している。すなわち、シミュレーション画像及びカメラ画像の一方は、他方が生成された条件と同じ条件に基づいて生成されている。

【0045】

図９は、溶接支援装置１において実現される、学習用画像セットの生成の手順例を示す図である。溶接支援装置１の制御部１０は、同図に示す処理をプログラムに従って実行することにより、画像セット生成部１１（図３及び図４参照）として機能する。

【0046】

まず、溶接装置３により所定の条件でアーク溶接が行われ、カメラ２によりアーク及び溶融池が撮影されてカメラ画像が生成される。

【0047】

溶接支援装置１の制御部１０は、カメラ２からカメラ画像を取得する（Ｓ１１：カメラ画像取得部１１１としての処理）。

【0048】

次に、制御部１０は、カメラ画像が生成された条件を表す条件データを溶接装置３から取得し、シミュレーション装置４に提供する（Ｓ１２，Ｓ１３：条件提供部１１３としての処理）。

【0049】

条件データは、溶接装置３により行われたアーク溶接の溶接条件を含んでいる。また、条件データは、カメラ２の撮影条件を含んでもよい。溶接条件及び撮影条件の具体例は、上述したとおりである。

【0050】

シミュレーション装置４は、溶接支援装置１から提供された条件データに基づいてシミュレーションを行い、シミュレーション画像を生成する。シミュレーション画像は、カメラ画像が生成された条件と同じ条件に基づいて生成されるため、構成がカメラ画像と類似する。

【0051】

溶接支援装置１の制御部１０は、条件データに基づくシミュレーションにより生成されたシミュレーション画像を、シミュレーション装置４から取得する（Ｓ１４：シミュレーション画像取得部１１２としての処理）。

【0052】

次に、制御部１０は、カメラ画像とシミュレーション画像を互いに関連付ける（Ｓ１５：関連付け部１１４としての処理）。例えば、制御部１０は、学習用画像セットを管理するデータベースにおいて、カメラ画像とシミュレーション画像をペアとして登録する。

【0053】

このようにして、溶接条件及び撮影条件などの条件が共通するシミュレーション画像とカメラ画像を含む学習用画像セットを生成することが可能となる。

【0054】

以上に説明した例では、カメラ画像が生成された条件データを溶接装置３から取得し、シミュレーション装置４に提供したが、これとは逆に、以下に説明する例のように、シミュレーション画像が生成された条件データをシミュレーション装置４から取得し、溶接装置３に提供してもよい。

【0055】

図１０は、溶接支援装置１において実現される、学習用画像セットの生成フェーズの他の手順例を示す図である。上記の例と共通するステップについては、詳細な説明を省略する。

【0056】

まず、シミュレーション装置４により所定の条件でアーク溶接のシミュレーションが行われ、シミュレーション画像が生成される。

【0057】

溶接支援装置１の制御部１０は、シミュレーション装置４からシミュレーション画像取得する（Ｓ２１：シミュレーション画像取得部１１２としての処理）。

【0058】

次に、制御部１０は、シミュレーション画像が生成された条件を表す条件データをシミュレーション装置４から取得し、溶接装置３に提供する（Ｓ２２，Ｓ２３：条件提供部１１３としての処理）。

【0059】

条件データは、シミュレーション装置４によりシミュレーションされたアーク溶接の溶接条件を含んでいる。また、条件データは、撮影条件を含んでもよい。溶接条件及び撮影条件の具体例は、上述したとおりである。

【0060】

溶接装置３は、溶接支援装置１から提供された条件データに基づいてアーク溶接を行い、カメラ２は、アーク及び溶融池を撮影してカメラ画像を生成する。

【0061】

溶接支援装置１の制御部１０は、条件データに基づくアーク溶接時に撮影されたカメラ画像を、カメラ２から取得する（Ｓ２４：カメラ画像取得部１１１としての処理）。

【0062】

次に、制御部１０は、カメラ画像とシミュレーション画像を互いに関連付ける（Ｓ２５：関連付け部１１４としての処理）。

【0063】

このようにしても、溶接条件及び撮影条件などの条件が共通するシミュレーション画像とカメラ画像を含む学習用画像セットを生成することが可能となる。

【0064】

なお、画像生成モデル２００の画像生成精度を向上させるため、シミュレーション画像とカメラ画像の両方を水平方向又は垂直方向に反転したり、カメラ画像の輝度値を調整すること等によって、学習用画像セットの数を増やしてもよい。

【0065】

［画像生成モデルの学習フェーズ］
上記のように生成された学習用画像セットを用いて画像生成モデル２００を学習させる学習フェーズについて説明する。

【0066】

図１１は、画像生成モデル２００の学習フェーズを説明するための図である。図１２及び図１３は、溶接支援装置１において実現される、画像生成モデル２００の学習フェーズの手順例を示す図である。溶接支援装置１の制御部１０は、同図に示す処理をプログラムに従って実行することにより、生成モデル用学習部１２（図３参照）として機能する。

【0067】

画像生成モデル２００は、例えばＧＡＮ（Generative Adversarial Networks：敵対的生成ネットワーク）であり、生成部３１０（Generator）及び識別部（Discriminator）３２０を備えている。

【0068】

生成部３１０は、シミュレーション画像に基づき擬似カメラ画像を生成するモデルである。識別部３２０は、生成部３１０が生成した擬似カメラ画像が本物であるか偽物であるかを判定するモデルである。

【0069】

生成部３１０は、カメラ画像に近い擬似カメラ画像を生成するように学習される、すなわち、識別部３２０がカメラ画像と誤認するような擬似カメラ画像を生成するように学習される。識別部３２０は、カメラ画像と擬似カメラ画像を見分けられるように学習される。

【0070】

生成部３１０及び識別部３２０は、ニューラルネットワークで構成される。特には、ニューロンを多段に組み合わせたディープニューラルネットワークが好適である。

【0071】

画像生成モデル２００の学習フェーズには、図１２に示すカメラ画像を用いた学習と、図１３に示すシミュレーション画像を用いた学習とがある。

【0072】

図１２に示すカメラ画像を用いた学習では、制御部１０は、学習用画像セットに含まれるカメラ画像を識別部３２０に入力し（Ｓ３１）、識別部３２０による計算を行い（Ｓ３２）、カメラ画像が本物であるか偽物であるか出力する（Ｓ３３）。

【0073】

カメラ画像が偽物であると判定された場合（Ｓ３４：ＹＥＳ）、制御部１０は、誤差逆伝播計算を行う（Ｓ３５）。

【0074】

図１３に示すシミュレーション画像を用いた学習では、制御部１０は、学習用画像セットに含まれるシミュレーション画像を生成部３１０に入力し（Ｓ４１）、生成部３１０による計算を行い（Ｓ４２）、擬似カメラ画像を出力する（Ｓ４３）。

【0075】

次に、制御部１０は、擬似カメラ画像を識別部３２０に入力し（Ｓ４４）、識別部３２０による計算を行い（Ｓ４５）、擬似カメラ画像が本物であるか偽物であるか出力する（Ｓ４６）。

【0076】

擬似カメラ画像が本物であると判定された場合（Ｓ４７：ＹＥＳ）、制御部１０は、誤差逆伝播計算を行う（Ｓ４８）。

【0077】

以上に説明した学習によって、シミュレーション画像に基づき擬似カメラ画像を生成するための画像生成モデル２００が生成される。

【0078】

［画像生成モデルの生成フェーズ］
上記のように生成された画像生成モデル２００を用いてシミュレーション画像から擬似カメラ画像を生成する生成フェーズについて説明する。

【0079】

図１４は、画像生成モデル２００の生成フェーズを説明するための図である。画像生成モデル２００の生成フェーズには、生成部３１０（Generator）が用いられる。

【0080】

図１５は、溶接支援装置１において実現される、画像生成モデル２００の生成フェーズの手順例を示す図である。溶接支援装置１の制御部１０は、同図に示す処理をプログラムに従って実行することにより、画像生成部１３（図３参照）として機能する。

【0081】

制御部１０は、シミュレーション装置４により所定の条件で生成されたシミュレーション画像を生成部３１０に入力し（Ｓ５１）、生成部３１０による計算を行い（Ｓ５２）、擬似カメラ画像を出力する（Ｓ５３）。

【0082】

このように生成された擬似カメラ画像は、以下に説明する画像判別モデル３００の学習用画像として用いられる。

【0083】

本実施形態によれば、実際にアーク溶接を行わなくとも、カメラ画像に近い擬似カメラ画像をシミュレーション画像から得られるので、画像判別モデル３００の学習に用いられる多数の学習用画像を短時間で容易に得ることが可能となる。

【0084】

［画像判別モデルの学習フェーズ］
上記のように画像生成モデル２００により生成された擬似カメラ画像を用いて画像判別モデル３００を学習させる学習フェーズについて説明する。

【0085】

図１６は、画像判別モデル３００の学習フェーズに用いられるデータセットの例を示す図である。データセットは、入力データ及び教師データで構成されている。入力データとしての学習用画像は、上記の画像生成モデル２００により生成された擬似カメラ画像である。

【0086】

教師データは、学習用画像の特徴点の位置を表す位置データを含んでいる。具体的には、教師データは、溶融池先端上部、溶融池先端下部、アーク中心、ワイヤ先端、溶融池上端、及び溶融池下端の６つの特徴点の位置座標を含んでいる（図３及び４参照）。

【0087】

さらに、教師データは、学習用画像中で特徴点が見えるか否かを表す可視フラグを含んでもよい。溶融池先端上部、溶融池先端下部、及びワイヤ先端などの一部の特徴点は、溶接トーチ３１がウィービングするために見えない場合がある。

【0088】

教師データとしての特徴点の位置座標及び可視フラグは、例えば学習用画像を見た技能者等の人によって判断され、例えばポインティングデバイス等を用いて入力される。

【0089】

図１７は、画像判別モデル３００の学習フェーズを説明するための図である。図１８は、溶接支援装置１において実現される、画像判別モデル３００の学習フェーズの手順例を示す図である。溶接支援装置１の制御部１０は、同図に示す処理をプログラムに従って実行することにより、判別モデル用学習部１４（図３参照）として機能する。

【0090】

画像判別モデル３００は、例えば畳込みニューラルネットワークであり、畳込み層、プーリング層、全結合層、及び出力層を含んでいる。特には、ニューロンを多段に組み合わせたディープニューラルネットワークが好適である。層構造は図示の例に限らず、畳込み層、プーリング層、及び全結合層の層数などが異なっていてもよい。

【0091】

出力層には、特徴点の位置座標及び可視フラグに対応する要素が設けられる。特徴点の位置座標に対応する要素には、例えば恒等関数が用いられる。可視フラグに対応する要素には、例えばソフトマックス関数が用いられ、０～１の間の実数で表される出力値を特徴点の確度として用いることができる。

【0092】

図１８に示すように、まず、制御部１０は、データセットに含まれる擬似カメラ画像を入力データとして画像判別モデル３００に入力し（Ｓ６１）、画像判別モデル３００による計算を行い（Ｓ６２）、特徴点の位置座標及び確度を出力データとして出力する（Ｓ６３）。

【0093】

次に、制御部１０は、データセットに含まれる教師データとしての特徴点の位置座標及び可視フラグと、出力データとしての特徴点の位置座標及び確度との差分を算出し（Ｓ６４）、誤差逆伝播計算を行う（Ｓ６５）。これにより、画像中の特徴点の位置座標及び確度を推定するための画像判別モデル３００が生成される。

【0094】

［画像判別モデルの推論フェーズ］
上記のように生成された画像判別モデル３００を用いてカメラ画像中の特徴点の位置座標及び確度を推定するする推論フェーズについて説明する。

【0095】

図１９は、画像判別モデル３００の推論フェーズを説明するための図である。図２０は、溶接支援装置１において実現される、画像判別モデル３００の推論フェーズの手順例を示す図である。溶接支援装置１の制御部１０は、同図に示す処理をプログラムに従って実行することにより、画像判別部１５及び補正部１６（図３参照）として機能する。

【0096】

制御部１０は、溶接装置３によるアーク溶接時にカメラ２により撮影されたカメラ画像を画像判別モデル３００に入力し（Ｓ７１）、画像判別モデル３００による計算を行い（Ｓ７２）、カメラ画像中の特徴点の位置座標及び確度を出力する（Ｓ７３）。

【0097】

具体的には、制御部１０は、カメラ２により生成された動画像に含まれる時系列の複数の静止画像（フレーム）を、カメラ画像として順次取得し、画像判別モデル３００に順次入力する。

【0098】

これにより、カメラ画像に含まれる特徴点が特定される。すなわち、溶融池先端上部、溶融池先端下部、アーク中心、ワイヤ先端、溶融池上端、及び溶融池下端の６つの特徴点（図３及び４参照）が特定される。

【0099】

次に、制御部１０は、特徴点間の距離を算出する（Ｓ７４）。例えば、溶融池先端上部又は下部とアーク中心との距離、溶融池上端又は下端とアーク中心との距離、及び溶融池上端と溶融池下端との距離などが算出される。

【0100】

次に、制御部１０は、特徴点の位置関係に基づいて、溶接装置３の制御パラメータを補正する（Ｓ７５：補正部１６としての処理）。具体的には、制御部１０が制御パラメータの補正量を算出し、溶接装置３に送信すると、溶接装置３が、受信した補正量を用いて制御パラメータを補正する。

【0101】

補正の対象となる制御パラメータは、例えば溶接進行方向（図１の前後方向）における溶接トーチ３１の速度若しくは位置、開先幅方向（図１の上下方向）における溶接トーチ３１の位置、又はウィービング幅などである。これに限らず、溶接装置３のアクチュエータの指令値等を直接的に補正の対象としてもよい。

【0102】

例えば、制御部１０は、溶融池先端上部又は下部とアーク中心との距離が所定の基準値から外れている場合に、当該距離が基準値に近づくように、溶接進行方向における溶接トーチ３１の速度若しくは位置の補正量を算出する。

【0103】

また、制御部１０は、溶融池上端又は下端とアーク中心との距離が所定の基準値から外れている場合に、当該距離が基準値に近づくように、開先幅方向における溶接トーチ３１の位置の補正量を算出してもよい。

【0104】

なお、溶接トーチ３１のウィービングにより距離が周期的に変化する場合には、周期的に変化する距離が極小又は極大付近等にあるときに補正量が計算される。

【0105】

また、制御部１０は、溶融池上端と溶融池下端との距離（すなわち溶融池の幅）の増減に応じて溶接トーチ３１のウィービング幅が増減するように、ウィービング幅の補正量を算出してもよい。

【0106】

このように溶接装置３の制御パラメータを補正することによって、溶接装置３の溶接トーチ３１を溶融池に対して適切な位置に維持して、高品質な自動溶接を実現することが可能となる。

【0107】

以上、本発明の実施形態について説明したが、本発明は以上に説明した実施形態に限定されるものではなく、種々の変更が当業者にとって可能であることはもちろんである。

【0108】

上記実施形態では、画像判別モデルの学習フェーズにおいて教師データとして用いられる特徴点の位置は、人によって判断されて入力されたが、これに限らず、シミュレーション装置４により生成されるシミュレーション画像中の特徴点の位置を表す位置データを用いてもよい。

【0109】

すなわち、シミュレーション装置４は、シミュレーション画像とともに、シミュレーション画像中の特徴点の位置データを生成し、溶接支援装置１は、学習用画像セット（シミュレーション画像とカメラ画像のペア）に位置データも関連付け、画像判別モデル３００の学習フェーズにおいてこの位置データを教師データとして利用する。

【符号の説明】

【0110】

１ 溶接支援装置、１０ 制御部、１１ 画像セット生成部（学習用画像セットの生成装置の例）、１１１ カメラ画像取得部（第１画像取得部の例）、１１２ シミュレーション画像取得部（第２画像取得部の例）、１１３ 条件提供部、１１４ 関連付け部、１２ 生成モデル用学習部（画像生成モデルの学習装置の例）、１２１ 取得部、１２２ 学習部、１３ 画像生成部（画像生成装置の例）、１３１ 取得部、１３２ 推定部、１４ 判別モデル用学習部（画像判別モデルの学習装置の例）、１４１ 取得部、１４２ 学習部、１５ 画像判別部（画像判別装置の例）、１５１ 取得部、１５２ 推定部、１６ 補正部、２ カメラ、３ 溶接装置、３１ 溶接トーチ、４ シミュレーション装置、５ 記憶装置、１００ 自動溶接システム、２００ 画像生成モデル、３００ 画像判別モデル、３１０ 生成部、３２０ 識別部、Ｕ 被溶接部材、Ｌ 被溶接部材、Ｇ 開先、Ｐ 溶融池

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】