特開 2024-101771 情報処理装置、情報処理方法、プログラムおよび溶接システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024101771

(43)【公開日】2024-07-30

(54)【発明の名称】情報処理装置、情報処理方法、プログラムおよび溶接システム

(51)【国際特許分類】

   B23K 9/095 20060101AFI20240723BHJP

   G06T 7/00 20170101ALI20240723BHJP

   B23K 9/10 20060101ALI20240723BHJP

【ＦＩ】

B23K9/095 515A

G06T7/00 350B

B23K9/095 501A

B23K9/10 Z

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023005896

(22)【出願日】2023-01-18

(71)【出願人】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(71)【出願人】

【識別番号】317015294

【氏名又は名称】東芝エネルギーシステムズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】柴田 智行

(72)【発明者】

【氏名】天野 晋作

【テーマコード（参考）】

4E082

5L096

【Ｆターム（参考）】

4E082AA03

4E082AA04

4E082AA08

5L096AA06

5L096BA08

5L096CA04

5L096DA02

5L096HA08

5L096JA11

5L096JA18

5L096KA04

5L096KA15

(57)【要約】

【課題】より高精度な検出モデルを得ることができる。
【解決手段】情報処理装置は、生成部と学習部を備える。生成部は、溶接の対象を撮影した１つ以上の溶接画像と、溶接画像内の複数の特徴点の位置の真値と、を含む１つ以上の第１教師データを用いて、複数の特徴点の相対的な位置を変更するように溶接画像を変換した変換画像と、変更後の位置の真値と、を含む１つ以上の第２教師データを生成する。学習部は、第１教師データおよび第２教師データを用いて、溶接画像を入力して特徴点の位置を出力する検出モデルを学習する。
【選択図】図２

【特許請求の範囲】

【請求項1】

溶接の対象を撮影した１つ以上の溶接画像と、前記溶接画像内の複数の特徴点の位置の真値と、を含む１つ以上の第１教師データを用いて、複数の前記特徴点の相対的な位置を変更するように前記溶接画像を変換した変換画像と、変更後の位置の真値と、を含む１つ以上の第２教師データを生成する生成部と、
前記第１教師データおよび前記第２教師データを用いて、前記溶接画像を入力して前記特徴点の位置を出力する検出モデルを学習する学習部と、
を備える情報処理装置。

【請求項2】

前記生成部は、それぞれ１つ以上の前記特徴点を含む複数のグループ間の相対的な位置を変更した前記変換画像を含む前記第２教師データを生成する、
請求項１に記載の情報処理装置。

【請求項3】

前記変換画像は、複数の前記特徴点の中間点を通る線で前記溶接画像を２つの部分画像に分割し、前記線の方向にずれるように２つの前記部分画像を相対的に移動させた画像である、
請求項１に記載の情報処理装置。

【請求項4】

前記変換画像は、複数の前記特徴点の間に領域を追加した画像である、
請求項１に記載の情報処理装置。

【請求項5】

前記変換画像は、複数の前記特徴点を含む対象物を非剛体とみなし、前記非剛体の変形に従って複数の前記特徴点の相対的な位置が変更されるように、前記溶接画像を非線形変換した画像である、
請求項１に記載の情報処理装置。

【請求項6】

相対的な位置を変更する複数の前記特徴点の指定、および、位置の変更方法の指定を取得する取得部をさらに備え、
前記生成部は、指定された複数の前記特徴点の相対的な位置を、指定された前記変更方法に従って変更する、
請求項１に記載の情報処理装置。

【請求項7】

情報処理装置で実行される情報処理方法であって、
溶接の対象を撮影した１つ以上の溶接画像と、前記溶接画像内の複数の特徴点の位置の真値と、を含む１つ以上の第１教師データを用いて、複数の前記特徴点の相対的な位置を変更するように前記溶接画像を変換した変換画像と、変更後の位置の真値と、を含む１つ以上の第２教師データを生成する生成ステップと、
前記第１教師データおよび前記第２教師データを用いて、前記溶接画像を入力して前記特徴点の位置を出力する検出モデルを学習する学習ステップと、
を含む情報処理方法。

【請求項8】

コンピュータに、
溶接の対象を撮影した１つ以上の溶接画像と、前記溶接画像内の複数の特徴点の位置の真値と、を含む１つ以上の第１教師データを用いて、複数の前記特徴点の相対的な位置を変更するように前記溶接画像を変換した変換画像と、変更後の位置の真値と、を含む１つ以上の第２教師データを生成する生成ステップと、
前記第１教師データおよび前記第２教師データを用いて、前記溶接画像を入力して前記特徴点の位置を出力する検出モデルを学習する学習ステップと、
を実行させるためのプログラム。

【請求項9】

情報処理装置と、溶接装置と、を含む溶接システムであって、
前記情報処理装置は、
溶接の対象を撮影した１つ以上の溶接画像と、前記溶接画像内の複数の特徴点の位置の真値と、を含む１つ以上の第１教師データを用いて、複数の前記特徴点の相対的な位置を変更するように前記溶接画像を変換した変換画像と、変更後の位置の真値と、を含む１つ以上の第２教師データを生成する生成部と、
前記第１教師データおよび前記第２教師データを用いて、前記溶接画像を入力して前記特徴点の位置を出力する検出モデルを学習する学習部と、を備え、
前記溶接装置は、
前記溶接画像を撮影する撮像部と、
学習された前記検出モデルにより出力される複数の前記特徴点の位置を用いて、溶接を制御する制御部と、を備える、
溶接システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、情報処理装置、情報処理方法、プログラムおよび溶接システムに関する。

【背景技術】

【0002】

溶接の対象を撮影した画像（溶接画像）から特徴点を検出し、検出した特徴点の位置を用いて溶接を制御する技術が知られている。画像からの特徴点の検出では、例えば、学習用の画像と、当該画像内の特徴点の位置の真値（正解データ）と、を含む教師データを用いて学習される検出モデルが用いられる。

【0003】

教師データを取得するための負荷を軽減する学習方法としては、例えば、溶接システムの運用中に得られる画像を教師データとして用いる方法が考えられる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－１８２９６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記の学習方法では、例えば、通常の運用中とは異なる状況（イレギュラーな状況）での特徴点の検出の精度を向上させる検出モデルを得ることはできない可能性がある。

【0006】

本発明は、溶接の制御に用いるための、より高精度な検出モデルを得ることができる情報処理装置、情報処理方法、プログラムおよび溶接システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

実施形態の情報処理装置は、生成部と学習部を備える。生成部は、溶接の対象を撮影した１つ以上の溶接画像と、溶接画像内の複数の特徴点の位置の真値と、を含む１つ以上の第１教師データを用いて、複数の特徴点の相対的な位置を変更するように溶接画像を変換した変換画像と、変更後の位置の真値と、を含む１つ以上の第２教師データを生成する。学習部は、第１教師データおよび第２教師データを用いて、溶接画像を入力して特徴点の位置を出力する検出モデルを学習する。

【図面の簡単な説明】

【0008】

【図1】実施形態の情報処理装置を備えた溶接システムの模式図。

【図2】情報処理装置のブロック図。

【図3】学習処理のフローチャート。

【図4】溶接制御処理のフローチャート。

【図5】特徴点の例を説明するための図。

【図6】特徴点の例を説明するための図。

【図7】特徴点の例を説明するための図。

【図8】検出の誤差が生じた画像の例を示す図。

【図9】生成される変換画像の例を示す図。

【図10】溶接画像の例を示す図。

【図11】領域を追加した変換画像の例を示す図。

【図12】情報処理装置のハードウェア構成図。

【発明を実施するための形態】

【0009】

以下に添付図面を参照して、この発明にかかる情報処理装置の好適な実施形態を詳細に説明する。

【0010】

特徴点の検出処理に対して期待されることの１つは、溶接箇所を正しい位置に修正するための溶接箇所の案内（ガイド）である。従って、正しい位置に修正するための制御が必要となるようなイレギュラーな状況こそ、高い検出精度が必要となる。

【0011】

しかし、上記のように、溶接システムの運用中に撮像される画像を教師データとして用いる方法では、通常の運用中とは異なるイレギュラーな状況での特徴点の検出のロバスト性を向上させることができない可能性がある。

【0012】

一方、例えば、意図的にイレギュラーな状況を発生させて撮影した画像を用いれば、イレギュラーな状況を想定した教師データを取得することは可能であるが、処理負荷が増大する。従って、処理負荷の観点からは、溶接システムの運用中に撮像される画像に基づいて検出モデル（特徴点検出器）を学習することが望ましい。

【0013】

そこで本実施形態では、通常の運用中に得られる画像群から、イレギュラーな状況を再現する画像変換により、教師データとして用いることができる画像（画像群）を生成し、生成した画像も含む教師データを用いて検出モデルを学習する。これにより、溶接の制御に用いるための、より高精度な検出モデルを得ることができる。例えば、イレギュラーな状況でもより精度よく検出できるロバストな特徴点検出を実現する検出モデルを得ることができる。

【0014】

図１は、実施形態の情報処理装置を備えた溶接システムの構成を例示する模式図である。溶接システム１は、情報処理装置１０、溶接装置２０、記憶装置３０、ＰｏＥ（Power over Ethernet（登録商標））ハブ４０、および、ＰＬＣ（Programmable Logic Controller）５０を備える。なお、記憶装置３０は、情報処理装置１０に接続される外付けとしても、情報処理装置１０に内蔵されてもよく、本実施形態に限定されるものではない。

【0015】

溶接装置２０は、２つ以上の部材を溶接して一体化する。溶接装置２０は、例えば、アーク溶接またはレーザ溶接を実行する。アーク溶接は、具体的には、Tungsten Inert Gas（ＴＩＧ）溶接、Metal Inert Gas（ＭＩＧ）溶接、Metal Active Gas（ＭＡＧ）溶接、または炭酸ガスアーク溶接などである。ここでは、主に、溶接装置２０がＴＩＧ溶接を行う例について説明する。

【0016】

溶接装置２０は、例えば、ヘッド２１、アーム２２、ワイヤ２３、撮像部２４、照明部２５、および、溶接制御部２６を含む。溶接制御部２６は、電力供給部２６ａ、ガス供給部２６ｂ、および、制御部２６ｃを含む。

【0017】

ヘッド２１には、タングステン製の電極２１ａが設けられている。電極２１ａの先端は、ヘッド２１から露出している。例えば、ヘッド２１は、複数のリンクを含む多関節のアーム２２に取り付けられる。または、ヘッド２１は、作業者が把持する溶接トーチに設けられてもよい。

【0018】

電力供給部２６ａは、電極２１ａおよび溶接対象Ｓと電気的に接続される。電力供給部２６ａによって電極２１ａと溶接対象Ｓとの間に電圧が印加され、アーク放電が生じる。電極２１ａおよび溶接対象Ｓの一方が共通電位（例えばグランド電位）に設定され、電力供給部２６ａは電極２１ａおよび溶接対象Ｓの他方の電位のみを制御してもよい。

【0019】

ガス供給部２６ｂは、ヘッド２１に接続される。ガス供給部２６ｂは、ヘッド２１に不活性ガスを供給する。または、ガス供給部２６ｂは、不活性ガスと活性ガスの混合ガスを供給してもよい。ヘッド２１に供給されたガスは、電極２１ａが露出したヘッド２１の先端から、溶接対象Ｓに向けて吹き付けられる。

【0020】

ワイヤ２３の先端は、アーク放電が生じている空間に配される。アーク放電によりワイヤ２３の先端が溶融し、溶接対象Ｓに滴下する。溶融したワイヤ２３が凝固することで、溶接対象Ｓが溶接される。ワイヤ２３は、例えば、アーム２２に対して固定され、溶融の進行に合わせて自動で供給される。

【0021】

撮像部２４は、溶接時に、溶接が行われている箇所を撮影する。撮像部２４は、溶接箇所を撮影して静止画を取得する。または、撮像部２４は、動画を撮影してもよい。撮像部２４は、動画の一部を切り出して静止画を取得する。撮像部２４は、例えば、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサを含むカメラである。

【0022】

照明部２５は、撮像部２４によってより鮮明な画像が得られるように、溶接時の溶接箇所を照らす。溶接箇所を照らさなくても後段の処理に使用できる画像が得られるのであれば、照明部２５は設けられていなくてもよい。

【0023】

制御部２６ｃは、溶接装置２０の上述した各構成要素の動作を制御する。例えば、制御部２６ｃは、アーム２２を駆動させながらアーク放電を発生させ、溶接対象Ｓを所定の方向に沿って溶接していく。また、制御部２６ｃは、撮像部２４の設定、照明部２５の設定などを制御してもよい。

【0024】

ＰｏＥハブ４０は、撮像部２４、情報処理装置１０、および、ＰＬＣ５０を接続するハブである。ＰＬＣ５０は、溶接装置２０の溶接制御部２６（または制御部２６ｃ）に接続される。

【0025】

撮像部２４により撮影された画像は、例えばＰｏＥハブ４０を介して情報処理装置１０に送信され、情報処理装置１０に接続された記憶装置３０に記憶される。例えば、撮影された画像は、撮影時の溶接条件と、撮影時の撮影条件と、を関連付けて記憶装置３０に記憶される。

【0026】

溶接条件は、例えば、印加電圧、ガス流量、電流値、ワイヤ供給速度、または溶接速度を含む。撮影条件は、例えば、露光時間、絞り、または感度（ＩＳＯ）などの撮像部２４の設定を含む。撮影条件は、照明部２５の設定を含んでもよい。例えば、照明部２５へパルス電流が供給されるときには、撮影条件は、パルス幅、パルス周波数、デューティ比、またはピーク値をさらに含む。なお、ここでは、複数の項目が「または」によって接続されて列挙されているときには、それらの項目の全てが含まれてもよいし、それらの項目の一部のみが含まれてもよいことを意味する。

【0027】

図２は、情報処理装置１０の構成の一例を示すブロック図である。図２に示すように、情報処理装置１０は、取得部１０１と、生成部１０２と、学習部１０３と、出力制御部１０４と、記憶部１２１と、を備えている。

【0028】

取得部１０１は、情報処理装置１０で用いられる各種情報を取得する。例えば取得部１０１は、溶接装置２０の撮像部２４で撮像された、溶接の対象を撮影した１つ以上の溶接画像（静止画、動画のいずれでもよい）を取得する。また、取得部１０１は、溶接画像内の複数の特徴点の位置の真値を表す正解データの指定を取得する。

【0029】

正解データは、画像認識技術（画像認識タスク）の１つである画像中の特定の特徴点の位置を検出する検出モデルを機械学習するために、溶接画像と併せて用いられる。すなわち、溶接画像と、当該溶接画像内の複数の特徴点の位置の真値と、を含む１つ以上の教師データが、検出モデルの学習に用いられる。

【0030】

従って、例えばユーザは、検出の対象とする特徴点の個数分、画像中に映る特徴点の位置を指定する。特徴点の位置の指定方法はどのような方法であってもよいが、例えば、直接画像上の座標値を入力する方法、および、画像中の位置を指定するために別途備えられるグラフィカルユーザインタフェイスを用いてマウス等で指定する方法などを適用できる。取得部１０１は、このようにして指定された特徴点の位置を表す正解データを取得する。

【0031】

取得部１０１は、溶接装置２０から取得した画像と、指定された正解データ（複数の特徴点の位置の真値）と、を含む教師データを取得（生成）することができる。教師データが、例えば溶接システム１以外の外部装置で作成される場合、取得部１０１は、教師データを外部装置から取得してもよい。この場合、取得部１０１は、溶接装置２０から溶接画像を取得しなくてもよいし、正解データの指定を取得しなくてもよい。

【0032】

生成部１０２は、取得部１０１により得られた教師データＴＡ（第１教師データ）を用いて、教師データＴＡに含まれる溶接画像を変換した変換画像を含む新たな教師データＴＢ（第２教師データ）を生成する。例えば生成部１０２は、複数の特徴点の相対的な位置を変更するように溶接画像を変換した変換画像と、変更後の位置の真値と、を含む１つ以上の教師データＴＢを生成する。

【0033】

学習部１０３は、教師データＴＡおよび教師データＴＢを用いて検出モデルを学習する。検出モデルは、画像認識技術の１つである、入力された画像中の特定の特徴点の位置を検出するモデルである。検出モデルはどのような構造のモデルであってもよいが、例えば、畳み込みニューラルネットワークを用いる方法の１つであるＤａｒｋＰｏｓｅを用いたモデルであってもよい。また、学習部１０３による学習方法は、採用する検出モデルに対して適用できればどのような方法であってもよい。

【0034】

出力制御部１０４は、情報処理装置１０で用いられる各種情報の出力を制御する。例えば出力制御部１０４は、学習された検出モデルに関する情報（パラメータなど）を、溶接装置２０に出力する。これにより、溶接装置２０は、学習済の検出モデルを溶接の制御に用いることができる。例えば制御部２６ｃは、撮像部２４により撮像された画像（溶接画像）を検出モデルに入力し、検出モデルにより出力される複数の特徴点の位置を用いて溶接を制御する。

【0035】

上記各部（取得部１０１、生成部１０２、学習部１０３、および、出力制御部１０４）は、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵ（Central Processing Unit）などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣ（Integrated Circuit）などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２つ以上を実現してもよい。

【0036】

記憶部１２１は、情報処理装置１０の各種処理で用いられる各種情報を記憶する。例えば記憶部１２１は、取得部１０１により取得された画像、および、正解データの指定を記憶する。情報処理装置１０は、記憶部１２１の代わりに記憶装置３０を用いるように構成されてもよい。

【0037】

記憶部１２１および記憶装置３０は、フラッシュメモリ、メモリカード、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、および、光ディスクなどの一般的に利用されているあらゆる記憶媒体により構成することができる。

【0038】

次に、情報処理装置１０による検出モデルの学習処理について説明する。図３は、本実施形態における学習処理の一例を示すフローチャートである。

【0039】

取得部１０１は、溶接装置２０から１つ以上の溶接画像を取得するとともに、ユーザ等により指定された、正解となる特徴点の位置を取得する（ステップＳ１０１）。これにより、取得部１０１は、溶接画像と、指定された位置を表す正解データとを含む１つ以上の教師データＴＡを取得（生成）することができる。

【0040】

生成部１０２は、取得された溶接画像を変換した変換画像を生成し、変換画像と、変更後の特徴点の位置の真値と、を含む１つ以上の教師データＴＢを生成する（ステップＳ１０２）。

【0041】

学習部１０３は、教師データＴＡと、教師データＴＢと、を用いて、検出モデルを学習し（ステップＳ１０３）、学習処理を終了する。

【0042】

次に、溶接装置２０による検出モデルを用いた溶接制御処理について説明する。図４は、本実施形態における溶接制御処理の一例を示すフローチャートである。

【0043】

撮像部２４は、溶接箇所を撮影した画像を例えば時系列に取得する（ステップＳ２０１）。制御部２６ｃは、例えば、学習済の検出モデルを用いて、取得された各画像について、画像から複数の特徴点を検出する（ステップＳ２０２）。制御部２６ｃは、検出された特徴点に基づいて、最適な位置を溶接するように、溶接装置２０による溶接を制御する（ステップＳ２０３）。

【0044】

特徴点に基づく溶接の制御方法はどのような方法でもよい。例えば、以下のようなオブジェクトに対応する特徴点が用いられる場合を例に説明する。
（ＯＢＪ１）電極２１ａの先端（以下、電極先端）
（ＯＢＪ２）ワイヤ２３の先端（以下、ワイヤ先端）
（ＯＢＪ３）開先壁面
（ＯＢＪ４）溶融池輪郭

【0045】

この場合、制御部２６ｃは、例えば、開先壁面の中心に電極先端およびワイヤ先端が位置するように、フィードバック制御によりアーム２２を駆動させる。また制御部２６ｃは、溶融池輪郭が開先壁面に接するように、開先壁面に沿った方向に電極先端およびワイヤ先端を移動させる速度を制御する。

【0046】

以下、上記各部による処理の詳細についてさらに説明する。まず、溶接システム１で用いられる特徴点の例について説明する。図５～図７は、特徴点の例を説明するための図である。

【0047】

図５は、上記の４つのオブジェクト（ＯＢＪ１）～（ＯＢＪ４）に相当するオブジェクト５０１、５０２、５０３、５０４を重ねて図示した溶接画像の例を示す。図６は、これらのオブジェクトのうち、オブジェクト５０１（電極先端）、および、オブジェクト５０２（ワイヤ先端）に対応する特徴点６０１、６０２が検出される溶接画像の例を示す。図７は、これらのオブジェクトのうち、オブジェクト５０３（開先壁面）に相当する特徴点７０１ａ、７０１ｂ、７０２ａ、７０２ｂ、および、オブジェクト５０４（溶融池輪郭）に相当する特徴点７１１ａ、７１１ｂ、７１２ａ、７２２ｂが検出される溶接画像の例を示す。

【0048】

このように、特徴点を検出する対象となるオブジェクトは、１つの特徴点で表されてもよいし、複数の特徴点で表されてもよい。例えば図６に示すように、電極先端およびワイヤ先端は、それぞれ１点の特徴点により表される。また、図７に示すように、２つの開先壁面（左右の開先壁面）は、それぞれ２点の特徴点により表され、溶融池輪郭は、４点の特徴点により表される。

【0049】

なお、溶接時には強い光が放出されるため、例えば、露光時間の異なる２つのモードで撮影することにより、図６および図７のような２つの溶接画像が得られる。一種類の露光時間で撮影し、すべての特徴点が１つの溶接画像から検出されてもよい。

【0050】

生成部１０２により変換画像を生成しない場合、すなわち、溶接画像のみを教師データとして学習した検出モデルを用いる場合、特徴点の検出精度が低下する場合がある。図８は、検出の誤差が生じた３つの画像の例を示す図である。なお図８では、黒丸が特徴点の位置の真値（正解データ）を表し、白丸が検出モデルにより予測される特徴点の位置を表す。

【0051】

図８に示すような検出の誤差を最小限とするため、本実施形態では、生成部１０２により溶接画像に画像変換を加えた変換画像を生成して教師データとして用いる。すなわち、生成部１０２は、取得部１０１により得られた教師データＴＡを用いて、溶接画像を変換した変換画像を含む新たな教師データＴＢを生成する。このように溶接画像を変換することで疑似的にイレギュラーな状況が再現される。ただし、例えば人間にとっての画像の見た目が再現される必要はなく、検出モデルにとってイレギュラーな状況が再現されればよい。

【0052】

例えば、溶接装置２０は、電極２１ａから発生させたアーク放電の熱により、母材（ワイヤ２３）を溶かして溶接する。従って溶接装置２０（制御部２６ｃ）は、例えば、電極２１ａの位置、および、ワイヤ２３の位置を制御する。溶接の方法により多少変わるが、つなぎ合わせたい金属、電極２１ａおよびワイヤ２３の位置関係を画像から取得し、最適な位置へ制御する。従って、例えば、電極２１ａの位置と、ワイヤ２３の位置と、が離れた状況はイレギュラーな状況であると言える。

【0053】

このようなイレギュラーな状況を再現する手法の例、すなわち、生成部１０２による変換画像の生成方法の例について以下に説明する。

【0054】

（生成方法１）
生成部１０２は、複数の特徴点の中間点を通る線で溶接画像を２つの部分画像に分割し、線の方向にずれるように２つの部分画像を相対的に移動させた変換画像を生成する。例えば生成部１０２は、電極２１ａに対応する特徴点（図６では特徴点６０１）とワイヤ２３に対応する特徴点（図６では特徴点６０２）の中間点を中心に、上下に溶接画像を分割し、上の画像および下の画像をそれぞれランダムに左右に平行移動させる。

【0055】

これにより、電極２１ａとワイヤ２３の水平方向（画像の横方向）の位置が揃っていた溶接画像を、左右に離したイレギュラーな状況の変換画像へと変換することができる。このように、画像変換は、対象とする特徴点を、元の溶接画像の位置から、想定する移動先の位置へ変換することである。

【0056】

図９は、生成方法１により生成される変換画像の例を示す図である。なお図９は、部分画像を平行移動させた後、さらに回転させた変換画像の例を示す。このように、生成部１０２は、回転を含む画像変換を行ってもよい。

【0057】

２つの特徴点の位置が、例えば、画像の横方向（または縦方向）で揃っていない場合は、複数の特徴点の中間点を通る線として、複数の特徴点を結ぶ線分と直交する線を用いて、溶接画像が２つの部分画像に分割されてもよい。

【0058】

移動により元の溶接画像に含まれていなかった領域が変換画像に含まれる場合がある。このような領域については、例えば、画像全体の画素値の平均値、または、固定の画素値が設定されてもよい。変換前の溶接画像が、より大きい画像から切り出された画像であるような場合は、生成部１０２は、切り出し前の画像から該当領域の情報を取得して変換画像に設定してもよい。

【0059】

相対的な位置を変更する複数の特徴点の組み合わせは、例えば、予め指定される。生成部１０２は、予め定められた複数の組み合わせのうち、相対的な位置を変更する組み合わせを、予め定められた規則に従い選択してもよい。規則は、例えば、ランダムに選択する規則である。

【0060】

相対的な位置は、それぞれ１つ以上の特徴点を含む複数のグループ間で変更されてもよい。すなわち、生成部１０２は、複数のグループ間の相対的な位置を変更した変換画像を含む教師データＴＢを生成してもよい。

【0061】

相対的な位置を変更する方法（変更方法）についても、予め指定されてもよいし、複数の指定のうち規則に従い選択された方法が選択されてもよい。変更方法は、例えば、頻度、移動範囲（移動量）、および、移動方向のうち一部または全部を含む。頻度は、例えば、複数回、繰り返される学習処理のうち、画像変換を行う割合を表す。

【0062】

移動範囲は、例えば、移動させる位置の移動量の範囲である。生成部１０２は、移動範囲から、予め定められた規則に従うように位置の移動量を決定してもよい。この場合の規則は、例えば、ガウス分布に従うように決定する規則である。移動範囲（移動量）は、溶接装置２０の制御可能な自由度の範囲内となるように決定されてもよい。

【0063】

（生成方法２）
生成方法１による画像変換は、人間にとっての見た目が非連続な変換となる。生成部１０２は、連続的な変換となるような画像変換を用いてもよい。例えば生成部１０２は、複数の特徴点を含む対象物を非剛体とみなし、非剛体の変形に従って複数の特徴点の相対的な位置が変更されるように、溶接画像を非線形変換した変換画像を生成する。非線形変換は、例えば、Ｂスプライン法を用いた変換である。

【0064】

（生成方法３）
生成部１０２は、変更前の画像と、変更後の特徴点の位置とを入力して変換画像を出力する画像生成器（畳み込みニューラルネットワークモデルなど）を用いて、変換画像を生成してもよい。

【0065】

（生成方法４）
生成部１０２は、複数の特徴点の間に領域を追加した変換画像を生成してもよい。例えば、１回の溶接では十分に金属が充填されないため、複数回に分けて溶接される場合がある。このような場合、例えば１回目の溶接が終わった時点では、両側の開先壁面のうち、一方の開先壁面と溶融池輪郭との距離が、他方の開先壁面と溶融池輪郭との距離より大きくなる状況が生じうる。

【0066】

図１０は、このような状況を表す溶接画像の例を示す図である。図１０の例では、２本のグレーの線が、開先壁面に相当する。右側の開先壁面の左には、溶接を未実施のため、金属が充填されていない領域１００１が生じている。

【0067】

このような溶接画像を含む教師データを用いて学習されていない検出モデルを用いると、開先壁面に対応する特徴点が正しく検出されない可能性がある。そこで、生成方法４では、このような溶接画像と同じ状況となるように変換画像が生成される。例えば生成部１０２は、２つの開先壁面にそれぞれ相当する２つの特徴点の間に領域を追加した変換画像を生成する。

【0068】

図１１は、このような領域１１０１を追加した変換画像の例を示す図である。追加される領域の画素値は、固定値でもよいし、画像全体の画素値の平均値など、画像の画素値から算出された値であってもよい。

【0069】

（生成方法５）
生成部１０２は、ユーザ等により指定された複数の特徴点、および、指定された位置の変更方法に従って変換画像を生成してもよい。これらの指定は、例えば、取得部１０１により取得され、生成部１０２に出力される。

【0070】

特徴点および変更方法の指定方法はどのような方法であってもよいが、例えば、表示装置などに表示された画面上でユーザにより指定する方法を適用できる。例えば、ユーザは、画面上で、電極先端などの特定の特徴点をマウスなどの入力装置により指定し、さらに、移動方向および移動量を指定する。また、開先壁面のように２点で表すオブジェクトについては、ユーザは、２点をグループとして指定し、さらに、当該グループの移動方向および移動量を指定する。

【0071】

このように、本実施形態の情報処理装置は、限られた条件（通常の運用など）で得られたデータから、多様な状況を画像変換により再現した教師データを生成し、生成した教師データを用いて検出モデルを学習する。これにより、より高精度な検出モデルを得ることができる。例えば、データが得られた状況以外に対しても、特徴点の位置をより正確に検出できるようになる。

【0072】

次に、実施形態にかかる情報処理装置のハードウェア構成について図１２を用いて説明する。図１２は、実施形態にかかる情報処理装置のハードウェア構成例を示す説明図である。

【0073】

実施形態にかかる情報処理装置は、ＣＰＵ５１などの制御装置と、ＲＯＭ（Read Only Memory）５２やＲＡＭ５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、各部を接続するバス６１を備えている。

【0074】

実施形態にかかる情報処理装置で実行されるプログラムは、ＲＯＭ５２等に予め組み込まれて提供される。

【0075】

実施形態にかかる情報処理装置で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。

【0076】

さらに、実施形態にかかる情報処理装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、実施形態にかかる情報処理装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

【0077】

実施形態にかかる情報処理装置で実行されるプログラムは、コンピュータを上述した情報処理装置の各部として機能させうる。このコンピュータは、ＣＰＵ５１がコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。

【0078】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0079】

１０ 情報処理装置
２０ 溶接装置
２１ ヘッド
２１ａ 電極
２２ アーム
２３ ワイヤ
２４ 撮像部
２５ 照明部
２６ 溶接制御部
２６ａ 電力供給部
２６ｂ ガス供給部
２６ｃ 制御部３０ 記憶装置
４０ ＰｏＥハブ
５０ ＰＬＣ
１０１ 取得部
１０２ 生成部
１０３ 学習部
１０４ 出力制御部
１２１ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】