特許 7594403 学習モデルの生成方法、学習済みモデル、画像処理方法、画像処理システム、及び溶接システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-26

(45)【発行日】2024-12-04

(54)【発明の名称】学習モデルの生成方法、学習済みモデル、画像処理方法、画像処理システム、及び溶接システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241127BHJP

   B23K 26/00 20140101ALI20241127BHJP

   B23K 26/21 20140101ALI20241127BHJP

   B23K 9/095 20060101ALI20241127BHJP

   G06N 3/04 20230101ALI20241127BHJP

   G06N 3/08 20230101ALI20241127BHJP

【ＦＩ】

G06T7/00 350C

B23K26/00 P

B23K26/21 F

B23K26/00 M

B23K9/095 510A

G06N3/04

G06N3/08

【請求項の数】 16

(21)【出願番号】P 2020167698

(22)【出願日】2020-10-02

(65)【公開番号】P2022059843

(43)【公開日】2022-04-14

【審査請求日】2023-09-14

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(74)【代理人】

【識別番号】110004026

【氏名又は名称】弁理士法人ｉＸ

(72)【発明者】

【氏名】塩見 康友

(72)【発明者】

【氏名】鷲谷 泰佑

【審査官】長谷川 素直

(56)【参考文献】

【文献】特開２０１８－１９２５２４（ＪＰ，Ａ）

【文献】特開２０２０－０２８８８９（ＪＰ，Ａ）

【文献】特開平０８－１３２２３０（ＪＰ，Ａ）

【文献】特開２０１９－１８５４８３（ＪＰ，Ａ）

【文献】国際公開第２０２０／０３１４２２（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｂ２３Ｋ ２６／００

Ｂ２３Ｋ ９／００

Ｇ０６Ｎ ３／００

(57)【特許請求の範囲】

【請求項1】

複数の学習用の入力画像と、前記複数の学習用の入力画像のうちの一つから特徴を抽出した学習用の特徴抽出画像と、を含む教師データを取得する工程と、
複数の入力画像から推定される前記特徴の抽出画像を出力する学習モデルを、前記教師データを用いて学習させる工程と、
を備え、
前記学習モデルは、コンボリューションを行う入力層を含み、
前記複数の学習用の入力画像のそれぞれにおける前記特徴の位置は、相互に異なり、
前記複数の学習用の入力画像における前記特徴の位置の変化量は、前記入力層のフィルタのカーネルサイズよりも小さい、学習モデルの生成方法。

【請求項2】

前記学習モデルは、コンボリューションを行う出力層を含み、
前記変化量は、前記出力層のフィルタのカーネルサイズよりも小さい請求項１に記載の学習モデルの生成方法。

【請求項3】

前記学習モデルは、コンボリューションを行う中間層を含み、
前記変化量は、前記中間層のフィルタのカーネルサイズよりも小さい請求項１または２に記載の学習モデルの生成方法。

【請求項4】

前記学習モデルは、デコンボリューションを行う他の中間層を含み、
前記変化量は、前記他の中間層のフィルタのカーネルサイズよりも小さい、請求項３に記載の学習モデルの生成方法。

【請求項5】

前記学習モデルには、Ｕ－ＮＥＴが用いられている請求項１～４のいずれか１つに記載の学習モデルの生成方法。

【請求項6】

前記学習させる工程の前に、前記複数の学習用の入力画像の前記特徴をぼかした複数の前処理済み画像を作成する工程を更に備え、
前記学習させる工程において、前記複数の前処理済み画像を前記入力層に入力する請求項１～５のいずれか１つに記載の学習モデルの生成方法。

【請求項7】

前記複数の前処理済み画像を作成する工程において、
前記複数の学習用の入力画像のうちの一の学習用の入力画像において前記特徴をぼかす程度は、前記複数の学習用の入力画像のうちの他の学習用の入力画像において前記特徴をぼかす程度と異なる請求項６に記載の学習モデルの生成方法。

【請求項8】

前記複数の学習用の入力画像は、対象箇所を撮影した際の撮影条件が相互に異なる画像である請求項１～７のいずれか１つに記載の学習モデルの生成方法。

【請求項9】

前記複数の学習用の入力画像は、前記対象箇所を撮影した際の、時刻、光の偏光方向、撮影位置、撮影角度、光の波長、及び、露光時間のうちの少なくとも１つの前記撮影条件が相互に異なる画像である請求項８に記載の学習モデルの生成方法。

【請求項10】

前記複数の学習用の入力画像は、対象箇所を撮影した動画を構成する画像である請求項１～７のいずれか１つに記載の学習モデルの生成方法。

【請求項11】

前記複数の学習用の入力画像は、溶接時に溶接個所を撮影した画像であり、
前記特徴は、溶融池の輪郭の少なくとも一部、キーホールの輪郭の少なくとも一部、又は被溶接部材の輪郭の少なくとも一部である請求項１～１０のいずれか１つに記載の学習モデルの生成方法。

【請求項12】

コンボリューションを行う入力層を含み、
複数の学習用の入力画像と、前記複数の学習用の入力画像のうちの一つから特徴を抽出した学習用の特徴抽出画像と、を含む教師データを用いて学習済みであり、
前記複数の学習用の入力画像のそれぞれにおける前記特徴の位置は、相互に異なり、
前記複数の学習用の入力画像における前記特徴の位置の変化量が、前記入力層のフィルタのカーネルサイズよりも小さく、
コンピュータに、複数の入力画像から推定される前記特徴の抽出画像を出力させる学習済みモデル。

【請求項13】

複数の入力画像を取得する工程と、
学習済みモデルを用いて、前記複数の入力画像から推定される特徴の抽出画像を出力する工程と、
を備え、
前記学習済みモデルは、
コンボリューションを行う入力層を含み、
複数の学習用の入力画像と、前記複数の学習用の入力画像のうちの一つから前記特徴を抽出した学習用の特徴抽出画像と、を含む教師データを用いて学習済みであり、
前記複数の学習用の入力画像のそれぞれにおける前記特徴の位置は相互に異なり、
前記複数の学習用の入力画像における前記特徴の位置の変化量が、前記入力層のフィルタのカーネルサイズよりも小さい、画像処理方法。

【請求項14】

前記複数の入力画像における前記特徴の位置の変化量は、前記入力層のフィルタのカーネルサイズよりも小さい、請求項１３に記載の画像処理方法。

【請求項15】

学習済みモデルを用いて、複数の入力画像から推定される特徴の抽出画像を出力する画像処理部を備え、
前記学習済みモデルは、
コンボリューションを行う入力層を含み、
複数の学習用の入力画像と、前記複数の学習用の入力画像のうちの一つから前記特徴を抽出した学習用の特徴抽出画像と、を含む教師データを用いて学習済みであり、
前記複数の学習用の入力画像のそれぞれにおける前記特徴の位置は相互に異なり、
前記複数の学習用の入力画像における前記特徴の位置の変化量が、前記入力層のフィルタのカーネルサイズよりも小さい、画像処理システム。

【請求項16】

被溶接部材を溶接する溶接部と、
前記被溶接部材の溶接個所を撮影する１つ以上の撮影装置と、
学習モデルを用いて前記撮影装置が撮影した複数の画像から推定される溶接の特徴の抽出画像を出力する画像処理部と、
前記画像処理部が出力した特徴抽出画像に基づき、前記溶接部を制御する制御部と、
を備え、
前記学習済みモデルは、
コンボリューションを行う入力層を含み、
複数の学習用の入力画像と、前記複数の学習用の入力画像のうちの一つから前記特徴を抽出した学習用の特徴抽出画像と、を含む教師データを用いて学習済みであり、
前記複数の学習用の入力画像のそれぞれにおける前記特徴の位置は相互に異なり、
前記複数の学習用の入力画像における前記特徴の位置の変化量が、前記入力層のフィルタのカーネルサイズよりも小さい、溶接システム。

【発明の詳細な説明】

【技術分野】

【0001】

実施形態は、学習モデルの生成方法、学習済みモデル、画像処理方法、画像処理システム、及び溶接システムに関する。

【背景技術】

【0002】

従来から、学習済みの学習モデルを用いて入力画像から特徴の抽出画像を推定する技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－１４１９０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

実施形態は、特徴の抽出精度の高い学習モデルの生成方法、学習済みモデル、画像処理方法、画像処理システム、及び溶接システムを提供することを目的とする。

【課題を解決するための手段】

【0005】

実施形態に係る学習モデルの生成方法は、複数の学習用の入力画像と、前記複数の学習用の入力画像のうちの一つから特徴を抽出した学習用の特徴抽出画像と、を含む教師データを取得する工程と、複数の入力画像から推定される前記特徴の抽出画像を出力する学習モデルを、前記教師データを用いて学習させる工程と、を備える。前記学習モデルは、コンボリューションを行う入力層を含む。前記複数の学習用の入力画像のそれぞれにおける前記特徴の位置は、相互に異なる。前記複数の学習用の入力画像における前記特徴の位置の変化量は、前記入力層のフィルタのカーネルサイズよりも小さい。

【図面の簡単な説明】

【0006】

【図1】第１の実施形態に係る溶接システムを示す図である。

【図2】図２（ａ）は、溶接前の被溶接部材を示す上面図であり、図２（ｂ）は、溶接中の被溶接部材を示す上面図である。

【図3】第１の実施形態に係る溶接システムにおける制御装置のハードウェアの構成を示すブロック図である。

【図4】第１の実施形態に係る学習モデルを示す図である。

【図5】第１の実施形態に係る学習モデルの生成方法を示すフローチャートである。

【図6】第１の実施形態に係る学習モデルの学習に用いられるデータを示す図である。

【図7】第１の実施形態に係る学習モデルの生成方法のうち、学習用の入力画像の前処理方法を示す図である。

【図8】第１の実施形態に係る学習モデルの生成器を示す図である。

【図9】図９（ａ）は、第１の実施形態に係る学習モデルにおける入力層の処理を示す図であり、図９（ｂ）は、入力層におけるコンボリューションの方法を示す図である。

【図10】複数の学習用の入力画像において溶融池の輪郭の位置が相互に異なることを示す図である。

【図11】図１１（ａ）は、第１の実施形態に係る学習モデルにおける第１中間層の処理を示す図であり、図１１（ｂ）は、第１の実施形態に係る学習モデルにおける第２中間層の処理を示す図であり、図１１（ｃ）は、第１の実施形態に係る学習モデルにおける第３中間層の処理を示す図である。

【図12】図１２（ａ）は、第１の実施形態に係る学習モデルの第４中間層の処理を示す図であり、図１２（ｂ）は、第１の実施形態に係る学習モデルの第５中間層の処理を示す図であり、図１２（ｃ）は、第１の実施形態に係る学習モデルの第６中間層の処理を示す図である。

【図13】第１の実施形態に係る学習モデルにおける出力層の処理を示す図である。

【図14】第１の実施形態に係る学習モデルが出力する特徴抽出画像を示す図である。

【図15】第１の実施形態に係る学習モデルを用いた溶接方法を示すフローチャートである。

【図16】第２の実施形態に係る溶接システムの一部を示す図である。

【図17】第３の実施形態に係る溶接システムの一部を示す図である。

【図18】第４の実施形態に係る溶接システムの一部を示す図である。

【発明を実施するための形態】

【0007】

＜第１の実施形態＞
先ず、第１の実施形態について説明する。
図１は、本実施形態に係る溶接システムを示す図である。
図２（ａ）は、溶接前の被溶接部材を示す上面図であり、図２（ｂ）は、溶接中の被溶接部材を示す上面図である。

【0008】

（溶接システム）
本実施形態に係る溶接システム１０は、２つ以上の被溶接部材を溶接して一体化する。溶接システム１０は、例えば、レーザ溶接又はアーク溶接を実行する。ここでは、主に溶接システム１０が、図２（ａ）及び図２（ｂ）に示すように、２つの被溶接部材２１、２２のレーザ溶接を実行する例について説明する。以下、２つの被溶接部材２１、２２を「第１被溶接部材２１」及び「第２被溶接部材２２」ともいう。

【0009】

第１被溶接部材２１と第２被溶接部材２２は、例えば板状の部材である。第１被溶接部材２１と第２被溶接部材２２は、互いに対向するように配置されている。以下、第１被溶接部材２１において第２被溶接部材２２と対向する面を「第１面２１ａ」といい、第２被溶接部材２２において第１被溶接部材２１と対向する面を「第２面２２ａ」という。

【0010】

溶接システム１０は、図１に示すように、例えば、溶接部１１と、撮影装置１５と、照明装置１６と、制御装置１７と、を備える。

【0011】

以下、説明をわかりやすくするためにＸＹＺ直交座標系を用いる。第１被溶接部材２１及び第２被溶接部材２２からヘッド１３に向かう方向を「Ｚ方向」とする。また、Ｚ方向を直交する方向であって、第１被溶接部材２１から第２被溶接部材２２に向かう方向を「Ｙ方向」とする。また、Ｚ方向及びＹ方向と直交する方向であってヘッド１３の進行方向を「Ｘ方向」とする。

【0012】

溶接部１１は、光源１２と、ヘッド１３と、アーム１４と、を含む。ヘッド１３は、光源１２に接続されており、光源１２が出射したレーザ光Ｌを第１被溶接部材２１及び第２被溶接部材２２に照射する。アーム１４は、ヘッド１３を保持しており、第１被溶接部材２１及び第２被溶接部材２２に対してヘッド１３を移動させる。アーム１４は、例えばＸ方向、Ｙ方向、及びＺ方向にヘッド１３を移動可能である。

【0013】

撮影装置１５は、例えばＣＣＤイメージセンサ又はＣＭＯＳイメージセンサを含むカメラである。撮影装置１５は、第１被溶接部材２１及び第２被溶接部材２２の上方に配置されている。撮影装置１５は、本実施形態では、溶接中に溶接個所の動画Ｄを撮影する。以下、動画Ｄを「制御用の動画Ｄ」ともいう。

【0014】

照明装置１６は、撮影装置１５によってより鮮明な画像が得られるように、溶接箇所を照らす。溶接個所を照らさなくても、後述する画像処理システムによる画像処理に使用できる画像が得られるのであれば、照明装置１６は設けられていなくてもよい。

【0015】

図３は、本実施形態に係る溶接システムにおける制御装置のハードウェアの構成を示すブロック図である。
制御装置１７は、本実施形態では、ＧＰＵ（Graphics Processing Unit）１７ａ、ＲＯＭ（Read Only Memory）１７ｂ、ＲＡＭ（Random Access Memory）１７ｃ、ハードディスク１７ｄ等を含むコンピュータである。ＧＰＵ１７ａ、ＲＯＭ１７ｂ、ＲＡＭ１７ｃ、及びハードディスク１７ｄはバス１７ｅにより相互に接続されている。ただし、制御装置の構成は上記に限定されない。例えば、制御装置は、ＧＰＵではなくＣＰＵ等の他のプロセッサーを用いていてもよい。また、制御装置は、入出力インターフェース等の他の構成を含んでいてもよい。

【0016】

制御装置１７は、本実施形態では図１に示すように、取得部１７１、画像処理部１７２、制御部１７３、及び記憶部１７４として機能する。取得部１７１、画像処理部１７２、及び制御部１７３としての機能は、例えばＧＰＵ１７ａによって実現される。また、記憶部１７４としての機能は、例えばＲＯＭ１７ｂ、ＲＡＭ１７ｃ、ハードディスク１７ｄ等によって実現される。

【0017】

制御部１７３は、第１被溶接部材２１と第２被溶接部材２２を溶接する場合、溶接部１１を制御して、ヘッド１３から第１被溶接部材２１及び第２被溶接部材２２に向けてレーザ光Ｌを出射させつつ、ヘッド１３をＸ方向に移動させる。また、制御部１７３は、撮影装置１５を制御して、溶接中の溶接個所の動画Ｄを撮影する。

【0018】

レーザ光Ｌが第１被溶接部材２１及び第２被溶接部材２２に照射されることにより、図２（ｂ）に示すように、第１被溶接部材２１の一部及び第２被溶接部材２２の一部が溶融して、溶融池３１が生じる。ヘッド１３の進行方向であるＸ方向において、溶融池３１の前方には未溶融の第１面２１ａ及び第２面２２ａが存在する。また、溶融池３１内において照射されるレーザ光Ｌのエネルギー密度が高い領域には、溶融した金属が蒸発して、キーホール３２が生じる場合がある。そして、溶融池３１が凝固することにより、第１被溶接部材２１及び第２被溶接部材２２が一体化する。第１被溶接部材２１と第２被溶接部材２２とのつなぎ目には、溶接ビード３３が形成される。したがって、動画Ｄを構成する各画像には、第１面２１ａ、第２面２２ａ、溶融池３１、キーホール３２、及び溶接ビード３３のいずれかが含まれる。

【0019】

取得部１７１は、図１に示すように動画Ｄを構成する画像の中から複数の画像を、複数の制御用の入力画像ＩＡ１、ＩＡ２、ＩＡ３として溶接中に所定の時間間隔で取得する。ここでは、制御用の入力画像の枚数が３枚である例を説明するが、制御用の入力画像の枚数は、２枚以上であれば特に限定されない。例えば、制御用の入力画像ＩＡ３は、最新の画像であり、制御用の入力画像ＩＡ２は、制御用の入力画像ＩＡ３の直前の時刻に撮影された画像である。制御用の入力画像ＩＡ１は、制御用の入力画像ＩＡ２の直前の時刻に撮影された画像である。ただし、制御用の入力画像ＩＡ２は、制御用の入力画像ＩＡ３の直前に撮影された画像でなくてもよいし、制御用の入力画像ＩＡ１は、制御用の入力画像ＩＡ２の直前の時刻に撮影された画像でなくてもよい。

【0020】

画像処理部１７２は、記憶部１７４に記憶された学習済みの学習モデル２００を用いて、複数の制御用の入力画像ＩＡ１、ＩＡ２、ＩＡ３から推定される特徴抽出画像ＩＢを溶接中に所定の時間間隔で出力する。以下、特徴抽出画像ＩＢを「制御用の特徴抽出画像ＩＢ」ともいう。また、学習済みの学習モデル２００を「学習済みモデル２００」ともいう。

【0021】

画像処理部１７２が抽出する特徴は、複数の制御用の入力画像ＩＡ１、ＩＡ２、ＩＡ３中の特定の領域の輪郭等である。ここでは、画像処理部１７２が複数の特徴を抽出する例を説明する。ただし、画像処理部が抽出する特徴の数は、１以上であれば特に限定されない。

【0022】

画像処理部１７２は、複数の制御用の入力画像ＩＡ１、ＩＡ２、ＩＡ３から、溶融池３１の輪郭を線Ｒ１として抽出し、キーホール３２の輪郭を線Ｒ２として抽出し、第１被溶接部材２１の輪郭の一部である第１面２１ａを線Ｒ３として抽出し、第２被溶接部材２２の輪郭の一部である第２面２２ａを線Ｒ４として抽出する。すなわち、制御用の特徴抽出画像ＩＢは、溶融池３１の輪郭が線Ｒ１として示され、キーホール３２の輪郭が線Ｒ２として示され、第１面２１ａが線Ｒ３として示され、第２面２２ａが線Ｒ４として示された画像である。ただし、画像処理部が抽出する特徴は上記に特に限定されない。例えば画像処理部は、溶接ビードの輪郭を特徴として抽出してもよい。

【0023】

制御部１７３は、制御用の特徴抽出画像ＩＢを用いて所定の時間間隔で溶接部１１を制御する。具体的には、制御部１７３は、制御用の特徴抽出画像ＩＢからキーホール３２のＹ方向における中心位置と、その前方の第１面２１ａと第２面２２ａとの隙間のＹ方向における中心位置と、のずれを算出し、ずれを解消するようにアーム１４を制御する。また、制御部１７３は、制御用の特徴抽出画像ＩＢにおける溶融池３１の輪郭のＹ方向における位置が、第１面２１ａ及び第２面２２ａよりも外側に位置し、かつ、一定の範囲に収まるように光源１２の出力を制御する。これにより、第１被溶接部材２１と第２被溶接部材２２の溶接の位置精度及び溶接の強度を向上させることができる。

【0024】

（学習モデル）
次に、溶接システム１０に用いられる学習済みモデル２００について説明する。
図４は、本実施形態に係る学習モデルを示す図である。
溶接システム１０に用いられる学習モデル２００は、教師データＴＤを用いて学習済みである。

【0025】

教師データＴＤは、複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３と、複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３のうちの一つから特徴を抽出した学習用の特徴抽出画像ＩＤ２と、を含む。学習モデル２００が１回の学習で用いる学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３の枚数は、１回の画像処理で用いる制御用の入力画像ＩＡ１、ＩＡ２、ＩＡ３の枚数と同じであり、例えば３枚である。

【0026】

複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３は、例えば、溶接個所を撮影した学習用の動画を構成する画像のうちの３枚の画像である。学習用の動画は、例えば撮影装置１５によって撮影される。例えば、学習用の入力画像ＩＣ１は、学習用の入力画像ＩＣ２の直前の時刻に撮影された画像であり、学習用の入力画像ＩＣ３は、学習用の入力画像ＩＣ２の直後に撮影された画像である。ただし、学習用の動画の撮影装置と制御用の動画Ｄの撮影装置は、異なっていてもよい。

【0027】

学習用の特徴抽出画像ＩＤ２は、例えば学習用の入力画像ＩＣ２から特徴を抽出した画像であり、後述する生成装置４０の使用者によって学習モデル２００の学習前に準備される。具体的には、学習用の特徴抽出画像ＩＤ２は、制御用の特徴抽出画像ＩＢと同様に、学習用の入力画像ＩＣ２中の溶融池３１の輪郭を線Ｒ５として示し、キーホール３２の輪郭を線Ｒ６として示し、第１面２１ａを線Ｒ７として示し、第２面２２ａを線Ｒ８として示した画像である。学習用の特徴抽出画像ＩＤ２は、例えば、作成者が、学習用の入力画像ＩＣ２において溶融池３１の輪郭、キーホール３２の輪郭、第１面２１ａ、及び第２面２２ａとして認定した部分を線でなぞり、なぞった線を抽出することによって作成される。ただし、学習用の特徴抽出画像の作成方法は、上記に限定されない。また、学習用の特徴抽出画像は、例えば学習用の入力画像ＩＣ１又は学習用の入力画像ＩＣ３から特徴を抽出した画像であってもよい。

【0028】

学習モデル２００に用いられるアルゴリズムは、画像から画像を生成するアルゴリズムであり、例えばｐｉｘ２ｐｉｘである。

【0029】

学習モデル２００は、生成器２１０と、識別器２２０と、を有する。生成器２１０は、複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３から推定される特徴の抽出画像ＩＥを出力する。識別器２２０は、学習用の入力画像ＩＣ２及び学習用の特徴抽出画像ＩＤ２のペアと、学習用の入力画像ＩＣ２及び生成器２１０が生成した特徴抽出画像ＩＥのペアと、が入力された場合に、どちらのペアが教師データＴＤ、すなわち本物であり、どちらのペアが教師データＴＤではない、すなわち偽物であるのかを識別する。学習用の入力画像ＩＣ２及び生成器２１０が生成した特徴抽出画像ＩＥのペアを識別器２２０が本物であると識別するように、生成器２１０の学習が進められる。また、学習用の入力画像ＩＣ２及び学習用の特徴抽出画像ＩＤ２のペアが本物であると識別できるように、及び、学習用の入力画像ＩＣ２及び生成器２１０が生成した特徴抽出画像ＩＥのペアが偽物であると識別できるように、識別器２２０の学習が進められる。生成器２１０及び識別器２２０が行う具体的な処理については、後述する。

【0030】

学習モデル２００は、本実施形態では図１に示すように生成装置４０によって生成される。生成装置４０は、ＧＰＵ又はＣＰＵ等のプロセッサー、ＲＯＭ、ＲＡＭ、ハードディスク等を含むコンピュータである。ただし、制御装置１７が学習モデルを生成してもよい。

【0031】

（学習モデルの生成方法）
次に、学習モデル２００の生成方法について説明する。
図５は、本実施形態に係る学習モデルの生成方法を示すフローチャートである。
学習モデル２００の生成方法は、教師データＴＤを取得する工程Ｓ１１と、各学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３を前処理する工程Ｓ１２と、学習モデル２００を学習させる工程Ｓ１３と、を備える。以下、各工程について詳述する。

【0032】

図６は、本実施形態に係る学習モデルの学習に用いられるデータを示す図である。
先ず、生成装置４０は、使用者が予め準備した教師データＴＤを取得する（工程Ｓ１１）。すなわち、生成装置４０は、複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３と、学習用の入力画像ＩＣ２から特徴を抽出した学習用の特徴抽出画像ＩＤ２と、を取得する。

【0033】

また、生成装置４０は、本実施形態では、学習用の入力画像ＩＣ１から特徴を抽出した前処理用の特徴抽出画像ＩＤ１と、学習用の入力画像ＩＣ３から特徴を抽出した前処理用の特徴抽出画像ＩＤ３と、を更に取得する。前処理用の特徴抽出画像ＩＤ１、ＩＤ３では、学習用の特徴抽出画像ＩＤ２と同様に、溶融池３１の輪郭を線Ｒ５として抽出し、キーホール３２の輪郭を線Ｒ６として抽出し、第１面２１ａを線Ｒ７として抽出し、第２面２２ａを線Ｒ８として抽出した画像であり、使用者によって予め準備される。前処理用の特徴抽出画像ＩＤ１、ＩＤ３は、学習用の特徴抽出画像ＩＤ２と同様に、作成者が、学習用の入力画像ＩＣ１、ＩＣ３において溶融池３１の輪郭、キーホール３２の輪郭、第１面２１ａ、及び第２面２２ａとして認定した部分を線でなぞり、なぞった線を抽出することによって作成される。

【0034】

図７は、本実施形態に係る学習モデルの生成方法のうち、学習用の入力画像の前処理方法を示す図である。
次に、生成装置４０は、学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３を前処理する（工程Ｓ１２）。

【0035】

具体的には、生成装置４０は、前処理用の特徴抽出画像ＩＤ１を用いて、線Ｒ５、Ｒ６、Ｒ７、Ｒ８及び線Ｒ５、Ｒ６、Ｒ７、Ｒ８の周囲を構成するピクセルの値をゼロとし、それ以外のピクセルの値を１とした第１マスクＭ１を作成する。以下では、画像をマトリクスとしても捉え、ピクセルを「要素」ともいう。また、生成装置４０は、前処理用の特徴抽出画像ＩＤ１において線Ｒ５、Ｒ６、Ｒ７、Ｒ８及び線Ｒ５、Ｒ６、Ｒ７、Ｒ８の周囲を構成する要素の値を１とし、それ以外の要素の値が０である第２マスクＭ２を作成する。なお、図７では説明をわかりやすくするために、第１マスクＭ１及び第２マスクＭ２において値がゼロの要素は黒色で示し、値が１の要素は白色で示している。

【0036】

次に、生成装置４０は、学習用の入力画像ＩＣ１と第１マスクＭ１の要素同士を掛け合せる。ここで「要素同士をかけ合わせる」とは、学習用の入力画像ＩＣ１及び第１マスクＭ１等の２つのマトリクスにおいて、一方のマトリクスのｉ行目かつｊ列目の要素と他方のマトリクスのｉ行目かつｊ列目の要素とを掛け合わせる処理を、全ての要素について行うことを意味する。これにより、学習用の入力画像ＩＣ１のうち、特徴及び特徴の周囲を除去した画像Ｍ４が作成される。

【0037】

また、生成装置４０は、平滑化フィルタ、ガウシアンフィルタ、又はメジアンフィルタ等のフィルタを学習用の入力画像ＩＣ１に適用することにより、学習用の入力画像ＩＣ１の全体をぼかした画像Ｍ３を作成する。「ぼかす」とは、画像中の階調の変化を低減する処理を意味する。そして、生成装置４０は、全体をぼかした画像Ｍ３と第２マスクＭ２の要素同士を掛け合わせる。これにより、全体をぼかした画像Ｍ３のうち特徴及び特徴の周囲の領域を取り出した画像Ｍ５が作成される。

【0038】

次に、生成装置４０は、学習用の入力画像ＩＣ１と第１マスクＭ１を掛け合わせた画像Ｍ４と、全体をぼかした画像Ｍ３と第２マスクＭ２を掛け合わせた画像Ｍ５と、の要素同士を足し合わせる。ここで「要素同士を足し合わせる」とは、２つのマトリクスにおいて、一方のマトリクスのｉ行目かつｊ列目の要素と他方のマトリクスのｉ行目かつｊ列目の要素とを足し合わせる処理を、全ての要素について行うことを意味する。これにより、前処理済み画像ＩＭ１が作成される。

【0039】

以上のような処理を行うことで、学習用の入力画像ＩＣ１の特徴及びその周囲をぼかし、他の領域をぼかさない前処理済み画像ＩＭ１を取得することができる。生成装置４０は、同様の処理を学習用の入力画像ＩＣ２についても行い、学習用の入力画像ＩＣ２の前処理済み画像ＩＭ２を作成する。また、生成装置４０は、同様の処理を学習用の入力画像ＩＣ３についても行い、学習用の入力画像ＩＣ３の前処理済み画像ＩＭ３を作成する。

【0040】

工程Ｓ１２において、複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３をぼかす程度は、同一であってもよいし、相互に異なっていてもよい。各学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３をぼかす程度は、例えば平滑化フィルタ、ガウシアンフィルタ、又はメジアンフィルタ等のフィルタを適用する際の重みづけの値により調整できる。複数の前処理済み画像ＩＭ１、ＩＭ２、ＩＭ３においてぼかしの程度が相互に異なる場合、複数の前処理済み画像ＩＭ１、ＩＭ２、ＩＭ３のうちぼかしの程度が最大の前処理済み画像で特徴の抽出ができるように学習モデル２００の学習が進む。

【0041】

ただし、各学習用の入力画像の全体をぼかした画像を前処理済み画像とし、後述する学習モデルの入力層に入力してもよい。また、前処理は行わない学習用の入力画像を入力層に入力してもよい。

【0042】

図８は、本実施形態に係る学習モデルの生成器を示す図である。
次に、生成装置４０は、複数の前処理済み画像ＩＭ１、ＩＭ２、ＩＭ３と、学習用の特徴抽出画像ＩＤ２と、を用いて学習モデル２００を学習させる（工程Ｓ１３）。

【0043】

生成器２１０には、本実施形態では、Ｕ－ＮＥＴが用いられている。具体的には、生成器２１０は、本実施形態では、入力層２１１、第１中間層２１２ａ、第２中間層２１２ｂ、第３中間層２１２ｃ、第４中間層２１３ａ、第５中間層２１３ｂ、第６中間層２１３ｃ、及び出力層２１４を含む。なお、図８では、中間層２１２ａ、２１２ｂ、２１２ｃ、２１３ａ、２１３ｂ、２１３ｃの数が６つである例を示しているが、中間層の数は上記に限定されない。

【0044】

図９（ａ）は、本実施形態に係る学習モデルにおける入力層の処理を示す図であり、図９（ｂ）は、入力層におけるコンボリューションの方法を示す図である。
以下では、説明をわかりやすくするために、画像やフィルタ等のマトリクスにおいて、一つの行内において要素が並ぶ方向を「横方向ｘ」といい、一つの列内において要素が並ぶ方向を「縦方向ｙ」という。

【0045】

複数の前処理済み画像ＩＭ１、ＩＭ２、ＩＭ３は、一組のデータとして入力層２１１に入力される。入力層２１１では、一組の前処理済み画像ＩＭ１、ＩＭ２、ＩＭ３がコンボリューションされる。以下では、入力層２１１においてｂ個のフィルタＦ１１、Ｆ１２～Ｆ１ｂでコンボリューションが行われ、各フィルタＦ１１～Ｆ１ｂのカーネルサイズがｎ１×ｎ１である例を説明する。

【0046】

先ず、生成装置４０は、前処理済み画像ＩＭ１においてフィルタＦ１１と同じサイズの領域Ａ１を抽出する。次に、生成装置４０は、抽出した領域Ａ１のｉ行目ｊ列目の要素ｉｍ１（ｉ，ｊ）と、フィルタＦ１１のｉ行目ｊ列目の要素ｆ１（ｉ，ｊ）と、を掛け合わせた値ｒ１（ｉ，ｊ）を算出する。生成装置４０は、同様の処理を、領域Ａ１内の全ての要素ｉｍ１（ｉ，ｊ）について行う。次に、生成装置４０は、領域Ａ１について算出された全ての値ｒ１（ｉ，ｊ）を足し合わせた値ｃ１（ｐ，ｑ）を算出する。

【0047】

同様に、生成装置４０は、前処理済み画像ＩＭ２においてフィルタＦ１１と同じサイズであって、領域Ａ１と同様の位置に位置する領域Ａ２を抽出する。次に、生成装置４０は、抽出した領域Ａ２のｉ行目ｊ列目の要素ｉｍ２（ｉ，ｊ）と、フィルタＦ１１のｉ行目ｊ列目の要素ｆ１（ｉ，ｊ）と、を掛け合わせた値ｒ２（ｉ，ｊ）を算出する。生成装置４０は、同様の処理を、領域Ａ２内の全ての要素ｉｍ２（ｉ，ｊ）について行う。次に、生成装置４０は、領域Ａ２について算出された全ての値ｒ２（ｉ，ｊ）を足し合わせた値ｃ２（ｐ，ｑ）を算出する。

【0048】

同様に、生成装置４０は、前処理済み画像ＩＭ３においてフィルタＦ１１と同じサイズであって、領域Ａ１と同様の位置に位置する領域Ａ３を抽出する。次に、生成装置４０は、抽出した領域Ａ３のｉ行目ｊ列目の要素ｉｍ３（ｉ，ｊ）と、フィルタＦ１１のｉ行目ｊ列目の要素ｆ１（ｉ，ｊ）と、を掛け合わせた値ｒ３（ｉ，ｊ）を算出する。生成装置４０は、同様の処理を領域Ａ３内の全ての要素ｉｍ３（ｉ，ｊ）について行う。次に、生成装置４０は、領域Ａ３について算出された全ての値ｒ３（ｉ，ｊ）を足し合わせた値ｃ３（ｐ，ｑ）を算出する。

【0049】

次に、生成装置４０は、算出した値ｃ１（ｐ，ｑ）、ｃ２（ｐ，ｑ）、ｃ３（ｐ，ｑ）を足し合わせた値ｃｓ（ｐ，ｑ）を算出する。

【0050】

次に、生成装置４０は、各前処理済み画像ＩＭ１、ＩＭ２、ＩＭ３に対してフィルタＦ１１を適用する領域Ａ１、Ａ２、Ａ３を横方向ｘに順次シフトさせて、同様に値ｃｓ（ｐ，ｑ）を算出する。領域Ａ１、Ａ２、Ａ３を各前処理済み画像ＩＭ１、ＩＭ２、ＩＭ３の最後の行までシフトさせたら、最初の行に戻すとともに各領域Ａ１、Ａ２、Ａ３を縦方向ｙにシフトさせ、同様の処理を行う。以上の処理を、各領域Ａ１、Ａ２、Ａ３が、各前処理済み画像ＩＭ１、ＩＭ２、ＩＭ３の最後の行及び最後の列に属する要素上にシフトするまで繰り返す。

【0051】

なお、本実施形態では、入力層２１１において、各領域Ａ１、Ａ２、Ａ３を横方向ｘ又は縦方向ｙに１要素ずつシフトさせる。すなわち、ストライドは１である。各領域Ａ１、Ａ２、Ａ３をシフトさせた際に、各領域Ａ１、Ａ２、Ａ３が、前処理済み画像ＩＭ１、ＩＭ２、ＩＭ３からはみ出す場合は、各領域Ａ１、Ａ２、Ａ３においてはみ出した部分の要素の値をゼロとするゼロパディングを行う。ただし、各領域Ａ１、Ａ２、Ａ３を、２以上の要素毎にシフトさせてもよい。すなわち、ストライドは２以上であってもよい。

【0052】

以上により、図９（ａ）に示すように、ｐ行目かつｑ列目の要素が値ｃｓ（ｐ、ｑ）である第１特徴マップＰ１１が作成される。上述したように、本実施形態では、領域Ａ１、Ａ２、Ａ３は横方向ｘ及び縦方向ｙに１要素ずつシフトさせる。そのため、第１特徴マップＰ１１のサイズは、各前処理済み画像ＩＭ１、ＩＭ２、ＩＭ３のサイズと同じである。

【0053】

次に、フィルタＦ１２～Ｆ１ｂについても、フィルタＦ１１と同様の処理を行う。これにより、複数の第１特徴マップＰ１２～Ｐ１ｂが作成される。このように、入力層２１１では、３枚の前処理済み画像ＩＭ１、ＩＭ２、ＩＭ３が一組のデータとしてコンボリューションされる。

【0054】

図１０は、複数の学習用の入力画像において溶融池の輪郭の位置が相互に異なることを示す図である。
図１０では、学習用の入力画像ＩＣ１の溶融池３１の輪郭の位置を線Ｒ５ａで示し、学習用の入力画像ＩＣ２の溶融池３１の輪郭の位置を線Ｒ５ｂで示し、学習用の入力画像ＩＣ３の溶融池３１の輪郭の位置を線Ｒ５ｃで示している。
複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３は、特徴の位置が相互に異なり、複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３の特徴の位置の変化量Δｘ、Δｙが各フィルタＦ１１～Ｆ１ｂのカーネルサイズｎ１よりも小さいものを使用する。

【0055】

例えば、第１被溶接部材２１及び第２被溶接部材２２のある領域にレーザ光Ｌが連続的に照射された場合、溶融池３１は徐々に広がる。この際、撮影装置１５により溶接個所の動画を撮影した場合、動画を構成する画像において、溶融池３１の輪郭の位置は相互に異なる。

【0056】

本実施形態では、動画を構成する画像のうち、溶融池３１の輪郭の位置の横方向ｘの最大の変化量Δｘ、及び、溶融池３１の輪郭の位置の縦方向ｙの最大の変化量Δｙが、各フィルタＦ１１～Ｆ１ｂのカーネルサイズｎ１よりも小さくなるような画像の組み合わせを、各学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３として選定する。このような選定が行えるように、撮影装置１５が撮影を行う時間間隔、すなわちフレームレートは、複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３の特徴の位置の変化量Δｘ、Δｙが各フィルタＦ１１～Ｆ１ｂのカーネルサイズｎ１よりも小さくなるように設定される。フレームレートが決まっている場合、複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３の特徴の位置の変化量Δｘ、Δｙが各フィルタＦ１１～Ｆ１ｂのカーネルサイズｎ１よりも小さくなるように、カーネルサイズｎ１を小さくしてもよい。また、同様に、画角を大きくしてもよい。

【0057】

他の特徴であるキーホール３２の輪郭、及び第１面２１ａ、第２面２２ａについても、同様の要件を満たすように学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３を選定する。

【0058】

上記のように複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３を選定することで、例えば、一の学習用の入力画像ＩＣ１においてフィルタＦ１１と同じサイズの領域Ａ１内に特徴が含まれていた場合、他の学習用の入力画像ＩＣ２、ＩＣ３においてフィルタＦ１１と同じサイズの領域Ａ２、Ａ３についても特徴が含まれている可能性が高くなる。そのため、学習モデル２００は、複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３における特徴の位置の変化に関する情報を盛り込んで、複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３から特徴の抽出画像ＩＥを推定するように学習できる。これにより、一枚の画像では特徴の位置が抽出し難い場合でも、複数の画像の特徴の位置の変化から高精度に特徴の位置を捉えて抽出できる。その結果、学習モデル２００に複数の制御用の入力画像ＩＡ１、ＩＡ２、ＩＡ３が入力された際の特徴の抽出精度を向上させることができる。

【0059】

なお、本実施形態では、複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３の特徴の位置が時間の経過に基づくものである例を説明した。すなわち、本実施形態では、変化量Δｘ、Δｙは時間の経過に起因して生じている。しかし、後述する他の実施形態のように、変化量は、時間の経過に起因して生じるものでなくてよい。

【0060】

図１１（ａ）は、本実施形態に係る学習モデルにおける第１中間層の処理を示す図であり、図１１（ｂ）は、本実施形態に係る学習モデルにおける第２中間層の処理を示す図であり、図１１（ｃ）は、本実施形態に係る学習モデルにおける第３中間層の処理を示す図である。
次に、図１１（ａ）に示すように、入力層２１１において作成された複数の第１特徴マップＰ１１～Ｐ１ｂを、第１中間層２１２ａに入力する。

【0061】

第１中間層２１２ａでは、複数の第１特徴マップＰ１２～Ｐ１ｂが一組のデータとして、ｃ個のフィルタＦ２１、Ｆ２２～Ｆ２ｃによりコンボリューションされる。なお、コンボリューションの具体的な方法は、コンボリューションされる画像において各フィルタＦ２１～Ｆ２ｃと同サイズの領域を２以上の要素ごとにシフトさせている点を除き、入力層２１１におけるコンボリューションの方法と同様である。そのため、第１中間層２１２ａにおけるコンボリューションの詳細な説明を省略する。

【0062】

第１中間層２１２ａでは、複数の第１特徴マップＰ１２～Ｐ１ｂがｃ個のフィルタＦ２１～Ｆ２ｃでコンボリューションされることにより、複数の第２特徴マップＰ２１、Ｐ２２～Ｐ２ｃが作成される。本実施形態では、各第１特徴マップＰ１１～Ｐ１ｂにおいて、各フィルタＦ２１～Ｆ２ｃを適用する領域を２以上の要素ごとにシフトさせる。そのため、複数の第２特徴マップＰ２１～Ｐ２ｃのサイズは、複数の第１特徴マップＰ１２～Ｐ１ｂのサイズより小さくなる。

【0063】

次に、図１１（ｂ）に示すように、第２中間層２１２ｂでは、複数の第２特徴マップＰ２１～Ｐ２ｃが一組のデータとして、ｄ個のフィルタＦ３１、Ｆ３２～Ｆ３ｄでコンボリューションされる。これにより、ｄ個の第３特徴マップＰ３１、Ｐ３２～Ｐ３ｄが作成される。本実施形態では、各第２特徴マップＰ２１～Ｐ２ｃにおいて、各フィルタＦ３１～Ｆ３ｄを適用する領域を２以上の要素ごとにシフトさせる。そのため、複数の第３特徴マップＰ３１～Ｐ３ｄのサイズは、複数の第２特徴マップＰ２１～Ｐ２ｃのサイズより小さくなる。

【0064】

次に、図１１（ｃ）に示すように、第３中間層２１２ｃでは、複数の第３特徴マップＰ３１～Ｐ３ｄが一組のデータとして、ｅ個のフィルタＦ４１、Ｆ４２～Ｆ４ｅでコンボリューションされる。これにより、ｅ個の第４特徴マップＰ４１、Ｐ４２～Ｐ４ｅが作成される。本実施形態では、各第３特徴マップＰ３１～Ｐ３ｄにおいて、各フィルタＦ４１～Ｆ４ｅを適用する領域を２以上の要素ごとにシフトさせる。そのため、複数の第４特徴マップＰ４１～Ｐ４ｅのサイズは、複数の第３特徴マップＰ３１～Ｐ３ｄのサイズより小さくなる。

【0065】

また、本実施形態では、複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３の特徴の位置の変化量Δｘ、Δｙは、第１中間層２１２ａの各フィルタＦ２１～Ｆ２ｃのカーネルサイズｎ２、第２中間層２１２ｂの各フィルタＦ３１～Ｆ３ｄのカーネルサイズｎ３、及び第３中間層２１２ｃの各フィルタＦ４１～Ｆ４ｅのカーネルサイズｎ４よりも小さい。このため、複数の第１特徴マップＰ１１～Ｐ１ｂに含まれる特徴の位置の変化に関する情報を、第１中間層２１２ａから第３中間層２１２ｃに伝搬させ易い。

【0066】

図１２（ａ）は、本実施形態に係る学習モデルの第４中間層の処理を示す図であり、図１２（ｂ）は、本実施形態に係る学習モデルの第５中間層の処理を示す図であり、図１２（ｃ）は、本実施形態に係る学習モデルの第６中間層の処理を示す図である。
次に、第３中間層２１２ｃが作成した複数の第４特徴マップＰ４１～Ｐ４ｅが、第４中間層２１３ａに入力される。第４中間層２１３ａでは、複数の第４特徴マップＰ４１～Ｐ４ｅが一組のデータとして、デコンボリューションされる。「デコンボリューション」とは、入力された特徴マップが、あるマップを何らかのフィルタでコンボリューションしたことによって作成されたと仮定し、入力された特徴マップに当該フィルタの転置行列に相当するフィルタをコンボリューションする処理である。

【0067】

具体的には、先ず、各第４特徴マップＰ４１～Ｐ４ｅの横方向ｘのサイズ及び縦方向ｙのサイズを拡大した第１拡大マップＫ１１、Ｋ１２～Ｋ１ｅが作成される。各拡大マップＫ１１～Ｋ１ｅは、各第４特徴マップＰ４１～Ｐ４ｅに、値がゼロの要素を追加することにより作成される。次に、複数の第１拡大マップＫ１１、Ｋ１２、Ｋ１３～Ｋ１ｅを一組のデータとして、ｆ個のフィルタＦ５１、Ｆ５２～Ｆ５ｆをコンボリューションする。これにより、ｆ個の第５特徴マップＰ５１、Ｐ５２～Ｐ５ｆが作成される。ここで、ｆ個のフィルタＦ５１、Ｆ５２～Ｆ５ｆは、第４特徴マップＰ４１～Ｐ４ｅがあるマップを何らかのフィルタでコンボリューションしたことによって作成されたと仮定した場合の、当該フィルタの転置行列に相当する。これにより、出力した複数の第５特徴マップＰ５１～Ｐ５ｆのサイズを、入力された複数の第４特徴マップＰ４１～Ｐ４ｅのサイズよりも大きくできる。

【0068】

次に、図１２（ｂ）に示すように、第４中間層２１３ａが作成した複数の第５特徴マップＰ５１～Ｐ５ｆと、第２中間層２１２ｂで作成された第３特徴マップＰ３１～Ｐ３ｄが、第５中間層２１３ｂに入力される。第５中間層２１３ｂでは、複数の第５特徴マップＰ５１～Ｐ５ｆと、第３特徴マップＰ３１～Ｐ３ｄと、が一組のデータとして、デコンボリューションされる。

【0069】

具体的には、第５中間層２１３ｂでは、複数の第５特徴マップＰ５１～Ｐ５ｆの横方向ｘのサイズ及び縦方向ｙのサイズを拡大した第２拡大マップＫ２１～Ｋ２ｆと、複数の第３特徴マップＰ３１～Ｐ３ｄの横方向ｘのサイズ及び縦方向ｙのサイズを拡大した第３拡大マップＫ３１～Ｋ３ｄと、が作成される。次に、複数の第２拡大マップＫ２１～Ｋ２ｆと、第３拡大マップＫ３１～Ｋ３ｄと、が一組のデータとして、ｇ個のフィルタＦ６１、Ｆ６２～Ｆ６ｇでコンボリューションされる。これにより、ｇ個の第６特徴マップＰ６１、Ｐ６２～Ｐ６ｇが作成される。出力した複数の第６特徴マップＰ６１～Ｐ６ｇのサイズは、入力された複数の第５特徴マップＰ５１～Ｐ５ｆのサイズよりも大きい。

【0070】

次に、図１２（ｃ）に示すように、第５中間層２１３ｂが作成した複数の第６特徴マップＰ６１～Ｐ６ｇと、第１中間層２１２ａで作成された第２特徴マップＰ２１～Ｐ２ｃが、第６中間層２１３ｃに入力される。第６中間層２１３ｃでは、複数の第６特徴マップＰ６１～Ｐ６ｇと、第２特徴マップＰ２１～Ｐ２ｃと、が一組のデータとして、デコンボリューションされる。

【0071】

具体的には、第６中間層２１３ｃでは、複数の第６特徴マップＰ６１～Ｐ６ｇの横方向ｘのサイズ及び縦方向ｙのサイズを拡大した第４拡大マップＫ４１～Ｋ４ｇと、複数の第２特徴マップＰ２１～Ｐ２ｃの横方向ｘのサイズ及び縦方向ｙのサイズを拡大した第５拡大マップＫ５１～Ｋ５ｃと、を作成する。次に、複数の第４拡大マップＫ４１～Ｋ４ｇと、第５拡大マップＫ５１～Ｋ５ｃと、が一組のデータとして、ｈ個のフィルタＦ７１、Ｆ７２～Ｆ７ｈでコンボリューションされる。これにより、ｈ個の第７特徴マップＰ７１、Ｐ７２～Ｐ７ｈが作成される。出力した複数の第７特徴マップＰ７１～Ｐ７ｈのサイズは、入力された複数の第６特徴マップＰ６１～Ｐ６ｇのサイズよりも大きい。

【0072】

本実施形態では、複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３の特徴の位置の変化量Δｘ、Δｙは、第４中間層２１３ａの各フィルタＦ５１～Ｆ５ｆのカーネルサイズｎ５、第５中間層２１３ｂの各フィルタＦ６１～Ｆ６ｇのカーネルサイズｎ６、及び第６中間層２１３ｃの各フィルタＦ７１～Ｆ７ｈのカーネルサイズｎ７よりも小さい。このため、複数の第４特徴マップＰ４１～Ｐ４ｅに含まれる特徴の位置の変化に関する情報を、第４中間層２１３ａから第６中間層２１３ｃに伝搬させ易い。

【0073】

図１３は、本実施形態に係る学習モデルにおける出力層の処理を示す図である。
次に、図１３に示すように、出力層２１４では、複数の第７特徴マップＰ７１～Ｐ７ｈが一組のデータとして、３個のフィルタＦ８１、Ｆ８２、Ｆ８３でコンボリューションされる。これにより、３個の第８特徴マップＰ８１、Ｐ８２、Ｐ８３が作成される。

【0074】

本実施形態では、複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３の特徴の位置の変化量は、出力層２１４のフィルタＦ８１～Ｆ８３のカーネルサイズｎ８よりも小さい。そのため、学習モデル２００は、複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３における特徴の位置の変化を盛り込んで、複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３から特徴の抽出画像ＩＥを推定するように学習できる。

【0075】

なお、学習モデル２００において、例えば、第１中間層２１２ａのフィルタＦ２１～Ｆ２ｃの数ｃは、入力層２１１のフィルタＦ１１～Ｆ１ｂの数ｂよりも多い。また、第２中間層２１２ｂのフィルタＦ３１～Ｆ３ｄの数ｄは、第１中間層２１２ａのフィルタＦ２１～Ｆ２ｃの数ｃよりも多い。また、第３中間層２１２ｃのフィルタＦ４１～Ｆ４ｅの数ｅは、第２中間層２１２ｂのフィルタＦ３１～Ｆ３ｄの数ｄよりも多い。また、第４中間層２１３ａのフィルタＦ５１～Ｆ５ｆの数ｆは、第３中間層２１２ｃのフィルタＦ４１～Ｆ４ｅの数ｅと同じである。また、第５中間層２１３ｂのフィルタＦ６１～Ｆ６ｇの数ｇは、第２中間層２１２ｂのフィルタＦ３１～Ｆ３ｄの数ｄと同じである。また、第６中間層２１３ｃのフィルタＦ７１～Ｆ７ｈの数ｈは、第１中間層２１２ａのフィルタＦ２１～Ｆ２ｃの数ｃと同じである。ただし、ｂ～ｈの大小関係は、上記に限定されない。

【0076】

また、学習モデル２００において、例えば、入力層２１１のカーネルサイズｎ１は、出力層２１４のカーネルサイズｎ８と同じである。また、例えば、中間層２１２ａ、２１２ｂ、２１２ｃ、２１３ａ、２１３ｂ、２１３ｃのカーネルサイズｎ２～ｎ７は、同じであり、入力層２１１のカーネルサイズｎ１よりも大きい。ただし、カーネルサイズｎ１～ｎ８の大小関係は、上記に限定されない。

【0077】

図１４は、本実施形態に係る学習モデルの生成器が出力する特徴抽出画像を示す図である。
第８特徴マップＰ８１では、溶融池３１の輪郭と推定された部分が線Ｒ９として抽出される。第８特徴マップＰ８２では、キーホール３２の輪郭と推定された部分が線Ｒ１０として抽出される。第８特徴マップＰ８３では、第１面２１ａと推定された部分が線Ｒ１１として抽出され、第２面２２ａと推定された部分が線Ｒ１２として抽出される。３個の第８特徴マップＰ８１、Ｐ８２、Ｐ８３の組み合わせが、複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３から推定される特徴の抽出画像ＩＥに相当する。

【0078】

次に、識別器２２０には、学習用の入力画像ＩＣ２と学習用の特徴抽出画像ＩＤ２とのペアと、学習用の入力画像ＩＣ２と生成器２１０が出力した特徴抽出画像ＩＥのペアと、が入力される。そして、識別器２２０は、どちらが本物のペアでどちらが偽物のペアかを識別する。生成器２１０は、識別器２２０が学習用の入力画像ＩＣ２と生成器２１０が出力した特徴抽出画像ＩＥのペアを本物のペアと識別するように学習し、コンボリューションやデコンボリューションを行う際のフィルタの要素の値を定める。また、識別器２２０は、学習用の入力画像ＩＣ２と学習用の特徴抽出画像ＩＤ２とのペアが本物のペア、及び、学習用の入力画像ＩＣ２と生成器２１０が出力した特徴抽出画像ＩＥのペアを偽物のペア、と識別するように学習する。生成器２１０の学習と識別器２２０の学習を同時に行うことで、両者の学習が進む。

【0079】

（溶接方法）
次に、本実施形態に係る学習モデル２００を用いた溶接方法について説明する。
図１５は、本実施形態に係る学習モデルを用いた溶接方法を示すフローチャートである。
以下の説明において、溶接中、制御部１７３は、溶接部１１を制御して、ヘッド１３からレーザ光Ｌを出射させるとともにヘッド１３をＸ方向に徐々に移動させる。また、溶接中、制御部１７３は、撮影装置１５を制御して、溶接中の溶接個所の動画Ｄを撮影させる。

【0080】

溶接が開始した場合、先ず、取得部１７１は、撮影装置１５が撮影した溶接個所の動画Ｄを構成する画像のうち、最新の画像及びその直前の時刻に撮影された２枚の画像を、複数の制御用の入力画像ＩＡ１、ＩＡ２、ＩＡ３として取得する（工程Ｓ２１）。撮影装置１５のフレームレート及び画角は、本実施形態では、複数の制御用の入力画像ＩＡ１、ＩＡ２、ＩＡ３の特徴の位置の変化量が、入力層２１１のフィルタＦ１１～Ｆ１ｂのカーネルサイズｎ１よりも小さくなるように設定されている。

【0081】

次に、画像処理部１７２は、記憶部１７４に記憶された学習モデル２００を用いて３つの入力画像ＩＡ１、ＩＡ２、ＩＡ３から推定される特徴の抽出画像ＩＢを出力する（工程Ｓ２２）。

【0082】

次に、制御部１７３は、画像処理部１７２が出力した特徴抽出画像ＩＢに基づき溶接部１１を制御する（工程Ｓ２３）。具体的には、制御部１７３は、制御用の特徴抽出画像ＩＢからキーホール３２のＹ方向における中心位置と、その前方の第１面２１ａと第２面２２ａとの隙間のＹ方向における中心位置と、のずれを算出し、ずれを解消するようにアーム１４を制御する。また、制御部１７３は、制御用の特徴抽出画像ＩＢにおける溶融池３１の輪郭のＹ方向における位置が、第１面２１ａ及び第２面２２ａよりも外側に位置し、かつ、一定の範囲に収まるように光源１２の出力を制御する。

【0083】

次に、制御部１７３は、溶接が完了したか否かを判断する（工程Ｓ２４）。溶接が完了したと判断した場合（工程Ｓ２４：Ｙｅｓ）、制御部１７３は、レーザの出力をＯＦＦにし、溶接を完了する。溶接が完了していないと判断した場合（工程Ｓ２４：Ｎｏ）、再び工程Ｓ２１～Ｓ２４までの処理が行われる。

【0084】

次に、本実施形態の効果について説明する。
本実施形態に係る学習モデル２００の生成方法は、複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３と、複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３のうちの一つから特徴を抽出した学習用の特徴抽出画像ＩＤ２と、を含む教師データＴＤを取得する工程と、複数の入力画像ＩＡ１、ＩＡ２、ＩＡ３から推定される特徴の抽出画像ＩＢを出力する学習モデル２００を、教師データＴＤを用いて学習させる工程と、を備える。学習モデル２００は、コンボリューションを行う入力層２１１を含む。複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３のそれぞれにおける特徴の位置は、相互に異なる。複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３における特徴の位置の変化量Δｘ、Δｙは、入力層２１１のフィルタＦ１１～Ｆ１ｂのカーネルサイズｎ１よりも小さい。

【0085】

このような学習モデル２００の生成方法においては、複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３における特徴の位置の変化を盛り込んだ情報から複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３から特徴の抽出画像ＩＥを推定するように学習モデル２００を学習させることができる。そのため、学習モデル２００は、複数の入力画像ＩＡ１、ＩＡ２、ＩＡ３が入力された場合に、高精度で特徴を抽出することができる。

【0086】

また、学習モデル２００は、コンボリューションを行う出力層２１４を含む。変化量Δｘ、Δｙは、出力層２１４のフィルタＦ８１、Ｆ８２、Ｆ８３のカーネルサイズｎ８よりも小さい。そのため、複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３における特徴の位置の変化を盛り込んだ情報から複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３から特徴の抽出画像ＩＥを推定するように学習モデル２００を学習させることができる。そのため、学習モデル２００は、複数の入力画像ＩＡ１、ＩＡ２、ＩＡ３が入力された場合に、高精度で特徴を抽出することができる。

【0087】

また、学習モデル２００は、コンボリューションを行う中間層２１２ａ、２１２ｂ、２１２ｃを含む。変化量Δｘ、Δｙは、中間層２１２ａ、２１２ｂ、２１２ｃのフィルタＦ２１～Ｆ２ｃ、Ｆ３１～Ｆ３ｄ、Ｆ４１～Ｆ４ｅのカーネルサイズｎ２、ｎ３、ｎ４よりも小さい。そのため、複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３における特徴の位置の変化を盛り込んだ情報から複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３から特徴の抽出画像ＩＥを推定するように学習モデル２００を学習させることができる。そのため、学習モデル２００は、複数の入力画像ＩＡ１、ＩＡ２、ＩＡ３が入力された場合に、高精度で特徴を抽出することができる。

【0088】

また、学習モデル２００は、デコンボリューションを行う中間層２１３ａ、２１３ｂ、２１３ｃを含む。変化量Δｘ、Δｙは、中間層２１３ａ、２１３ｂ、２１３ｃのフィルタＦ５１～Ｆ５ｆ、Ｆ６１～Ｆ６ｇ、Ｆ７～Ｆ７ｈのカーネルサイズｎ５、ｎ６、ｎ７よりも小さい。そのため、複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３における特徴の位置の変化を盛り込んだ情報から複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３から特徴の抽出画像ＩＥを推定するように学習モデル２００を学習させることができる。そのため、学習モデル２００は、複数の入力画像ＩＡ１、ＩＡ２、ＩＡ３が入力された場合に、高精度で特徴を抽出することができる。

【0089】

また、学習モデルには、Ｕ－ＮＥＴが用いられている。すなわち、第５中間層２１３ｂ及び第６中間層２１３ｃ等のデコンボリューション層に、第１中間層２１２ａ及び第２中間層２１２ｂ等が出力した特徴マップＰ２１～２ｃ、Ｐ３１～３ｄが入力される。そのため、学習モデル２００は、複数の入力画像ＩＡ１、ＩＡ２、ＩＡ３が入力された場合に、高い位置精度で特徴を抽出することができる。

【0090】

また、本実施形態に係る学習モデル２００の生成方法は、学習させる工程の前に、複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３の特徴をぼかした前処理済み画像を作成する工程を更に備える。学習させる工程において、前処理済み画像ＩＭ１、ＩＭ２、ＩＭ３を入力層２１１に入力する。そのため、特徴をぼかした厳しい条件でも特徴を抽出できるように学習モデル２００を学習させることができる。

【0091】

また、前処理済み画像を作成する工程において、複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３のうちの一の学習用の入力画像において特徴をぼかす程度は、複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３のうちの他の学習用の入力画像において特徴をぼかす程度と異なる。そのため、特徴をぼかす程度が異なる場合にも、特徴を抽出できるように学習モデル２００を学習させることができる。

【0092】

また、複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３は、対象箇所に相当する溶接個所を撮影した動画を構成する画像である。そのため、特徴の位置が相互に異なる複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３を容易に準備することができる。

【0093】

また、複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３のうちの一つの学習用の入力画像は、他の学習用の入力画像の直前又は直後の時刻に撮影された画像である。そのため、特徴の位置の変化量Δｘ、ΔｙがフィルタＦ１１～Ｆ１ｂのカーネルサイズｎ１よりも小さい複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３を容易に準備することができる。

【0094】

また、複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３は、溶接時に溶接個所を撮影した画像であり、特徴は、溶融池３１の輪郭の少なくとも一部、キーホール３２の輪郭の少なくとも一部、又は被溶接部材２１、２２の輪郭の少なくとも一部である。そのため、溶接に関連する特徴を高精度で抽出することができる。

【0095】

また、本実施形態に係る学習済みモデル２００は、コンボリューションを行う入力層２１１を含み、複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３と、複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３のうちの一つから特徴を抽出した学習用の特徴抽出画像ＩＤ２と、を含む教師データＴＤを用いて学習済みである。複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３、の特徴の位置は、相互に異なり、複数の学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３における特徴の位置の変化量Δｘ、Δｙが、入力層２１１のフィルタＦ１１～Ｆ１ｂのカーネルサイズｎ１よりも小さい。そして、学習済みモデル２００は、コンピュータに、複数の入力画像ＩＡ１、ＩＡ２、ＩＡ３から推定される特徴の抽出画像ＩＢを出力させる。そのため、複数の入力画像ＩＡ１、ＩＡ２、ＩＡ３が入力された場合に、高精度で特徴を抽出することができる学習済みモデル２００を提供できる。

【0096】

また、本実施形態に係る画像処理方法は、複数の入力画像ＩＡ１、ＩＡ２、ＩＡ３を取得する工程と、学習済みモデル２００を用いて、複数の入力画像ＩＡ１、ＩＡ２、ＩＡ３から推定される特徴の抽出画像ＩＢを出力する工程と、を備える。そのため、複数の入力画像ＩＡ１、ＩＡ２、ＩＡ３が入力された場合に、高精度で特徴を抽出することができる画像処理方法を提供できる。

【0097】

また、複数の入力画像ＩＡ１、ＩＡ２、ＩＡ３における特徴の位置の変化量は、入力層２１１のフィルタＦ１１～Ｆ１ｂのカーネルサイズｎ１よりも小さい。そのため、複数の入力画像ＩＡ１、ＩＡ２、ＩＡ３が入力された場合に、高精度で特徴を抽出することができる。

【0098】

また、本実施形態に係る画像処理システムは、学習済みモデル２００を用いて、複数の入力画像ＩＡ１、ＩＡ２、ＩＡ３から推定される溶接の特徴の抽出画像ＩＢを出力する画像処理部１７２を備える。そのため、複数の入力画像ＩＡ１、ＩＡ２、ＩＡ３が入力された場合に、高精度で特徴を抽出することができる画像処理システムを提供できる。

【0099】

また、本実施形態に係る溶接システム１０は、複数の被溶接部材２１、２２を溶接する溶接部１１と、複数の被溶接部材２１、２２の溶接個所を撮影する撮影装置１５と、学習モデル２００を用いて撮影装置１５が撮影した複数の画像から推定される溶接の特徴の抽出画像ＩＢを出力する画像処理部１７２と、画像処理部１７２が出力した特徴抽出画像ＩＢに基づき、溶接装置を制御する制御部１７３と、を備える。そのため、複数の入力画像ＩＡ１、ＩＡ２、ＩＡ３に基づいて特徴抽出画像ＩＢを作成し、溶接作業を高精度に制御できる溶接システム１０を提供できる。

【0100】

＜第２の実施形態＞
次に、第２の実施形態について説明する。
図１６は、本実施形態に係る溶接システムの一部を示す図である。
なお、以下の説明においては、原則として、第１の実施形態との相違点のみを説明する。以下に説明する事項以外は、第１の実施形態と同様である。

【0101】

第１の実施形態では、撮影装置１５が撮影した動画Ｄを構成する画像を、制御用の入力画像ＩＡ１、ＩＡ２、ＩＡ３及び学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３として用いる例を説明した。これに対して、本実施形態では、溶接システム３１０は、波長、偏光、又は露光時間が異なる複数の画像を取得可能な撮影装置３１５を備える。波長、偏光、又は露光時間が異なる複数の画像においては、特徴の位置が相互に異なる場合がある。そして、撮影装置３１５が撮影した波長、偏光、又は露光時間の異なる複数の画像を、制御用の入力画像ＩＡ１、ＩＡ２、ＩＡ３及び学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３として用いてもよい。

【0102】

撮影装置３１５には、相互に異なる波長の光を透過可能なフィルタが内蔵されており、撮影装置３１５は、各フィルタに対応した画像を取得してもよい。この場合において、一つの照明装置１６が、波長が相互に異なる複数の光を出射してもよいし、波長が相互に異なる複数の光を含む広い帯域の光を出射してもよいし、複数の照明装置１６を設け、複数の照明装置１６が、波長が相互に異なる光を出射してもよい。また、撮影装置３１５には、偏光方向が相互に異なる光を透過可能な偏光子が内蔵されており、撮影装置３１５は、各偏光子に対応した画像を取得してもよい。また、撮影装置３１５は、無偏光画像と、偏光画像を取得してもよい。これらの場合において、一つの照明装置１６が、偏光方向が相互に異なる複数の光を出射してもよいし、複数の照明装置１６を設け、複数の照明装置１６が、偏光方向が相互に異なる光を出射してもよい。また、撮影装置３１５には、露光時間が相互に異なる画像を取得可能なシャッターが内蔵されており、撮影装置３１５は、各露光時間に対応した画像を取得してもよい。

【0103】

このような場合、学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３の特徴の位置の変化量が入力層２１１の複数のフィルタＦ１１～Ｆ１ｂのカーネルサイズｎ１よりも小さくなるように、複数の撮影装置の波長又は偏光が設定される。

【0104】

＜第３の実施形態＞
次に、第３の実施形態について説明する。
図１７は、本実施形態に係る溶接システムの一部を示す図である。
本実施形態では、溶接システム４１０は、複数の撮影装置４１５ａ、４１５ｂ、４１５ｃを備え、複数の撮影装置４１５ａ、４１５ｂ、４１５ｃは、相互に異なる位置から溶接個所を撮影する。そして、複数の撮影装置４１５ａ、４１５ｂ、４１５ｃが撮影した画像を、制御用の入力画像ＩＡ１、ＩＡ２、ＩＡ３及び学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３として用いてもよい。

【0105】

このような場合、学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３の特徴の位置の変化量が入力層２１１の複数のフィルタＦ１１～Ｆ１ｂのカーネルサイズｎ１よりも小さくなるように、複数の撮影装置４１５ａ、４１５ｂ、４１５ｃの位置が調整される。

【0106】

＜第４の実施形態＞
次に、第４の実施形態について説明する。
図１８は、本実施形態に係る溶接システムの一部を示す図である。
本実施形態では、溶接システム５１０は、複数の撮影装置５１５ａ、５１５ｂ、５１５ｃを備え、複数の撮影装置５１５ａ、５１５ｂ、５１５ｃは、撮影角度が相互に異なる。そして、複数の撮影装置５１５ａ、５１５ｂ、５１５ｃが撮影した画像を、制御用の入力画像ＩＡ１、ＩＡ２、ＩＡ３及び学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３として用いてもよい。

【0107】

このような場合、学習用の入力画像ＩＣ１、ＩＣ２、ＩＣ３の特徴の位置の変化量が入力層２１１の複数のフィルタＦ１１～Ｆ１ｂのカーネルサイズｎ１よりも小さくなるように、複数の撮影装置５１５ａ、５１５ｂ、５１５ｃの撮影角度が調整される。

【0108】

以上説明したように、複数の学習用の入力画像は、溶接箇所を撮影した際の撮影条件が相互に異なる画像である。撮影条件としては、特に限定されないが、上述したように、溶接箇所を撮影した際の時刻、光の偏光方向、撮影位置、撮影角度、光の波長、及び、露光時間等が挙げられる。複数の制御用の入力画像も、同様に、溶接箇所を撮影した際の撮影条件が相互に異なる画像である。なお、上記実施形態では、１つの撮影条件が異なる形態を説明したが、複数の撮影条件が異なっていてもよい。

【0109】

なお、上記実施形態では、撮影装置が、溶接中の溶接個所を撮影する形態を説明したが、溶接後の溶接個所を撮影してもよい。溶接後の溶接個所を撮影した場合、画像処理システムは、例えば溶接ビード等を特徴として抽出し、画像処理システムが出力した特徴抽出画像を溶接の精度の判定等に用いてもよい。

【0110】

また、上記実施形態では、溶接システムの制御装置により画像処理システムを実現する形態を説明した。ただし、画像処理システムを実現する装置は上記に限定されない。画像処理システムは、撮影装置に付属するエッジデバイスにより実現されてもよい。また、画像処理システムは、クラウドにアップされた画像を処理するコンピュータにより実現されてもよい。また、画像処理システムは、複数台のコンピュータにより実現されてもよい。

【0111】

また、画像処理システムは、溶接システム以外のシステムに適用されてもよい。

【0112】

以上、本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明及びその等価物の範囲に含まれる。

【符号の説明】

【0113】

１０、３１０、４１０、５１０：溶接システム
１１ ：溶接部
１２ ：光源
１３ ：ヘッド
１４ ：アーム
１５、３１５、４１５ａ、４１５ｂ、４１５ｃ、５１５ａ、５１５ｂ、５１５ｃ：撮影装置
１６ ：照明装置
１７ ：制御装置
１７ｂ ：ＲＯＭ
１７ｃ ：ＲＡＭ
１７ｄ ：ハードディスク
１７ｅ ：バス
２１、２２：被溶接部材
２１ａ ：第１面
２２ａ ：第２面
３１ ：溶融池
３２ ：キーホール
３３ ：溶接ビード
４０ ：生成装置
１７１ ：取得部
１７２ ：画像処理部
１７３ ：制御部
１７４ ：記憶部
２００ ：学習モデル
２１０ ：生成器
２１１ ：入力層
２１２ａ ：第１中間層
２１２ｂ ：第２中間層
２１２ｃ ：第３中間層
２１３ａ ：第４中間層
２１３ｂ ：第５中間層
２１３ｃ ：第６中間層
２１４ ：出力層
２２０ ：識別器
Ａ１、Ａ２、Ａ３：領域
Ｆ１１～Ｆ１ｂ：フィルタ
Ｆ２１～Ｆ２ｃ：フィルタ
Ｆ３１～Ｆ３ｄ：フィルタ
Ｆ４１～Ｆ４ｅ：フィルタ
Ｆ５１～Ｆ５ｆ：フィルタ
Ｆ６１～Ｆ６ｇ：フィルタ
Ｆ７１～Ｆ７ｈ：フィルタ
Ｆ８１～Ｆ８３：フィルタ
ＩＡ１、ＩＡ２、ＩＡ３：複数の制御用の入力画像
ＩＢ ：制御用の特徴抽出画像
ＩＣ１、ＩＣ２、ＩＣ３：複数の学習用の入力画像
ＩＤ２ ：学習用の特徴抽出画像
ＩＤ１、ＩＤ３：前処理用の特徴抽出画像
ＩＥ ：学習用の特徴抽出画像
ＩＭ１～ＩＭ３：前処理済み画像
Ｋ１１～Ｋ１ｅ：第１拡大マップ
Ｋ２１～Ｋ２ｆ：第２拡大マップ
Ｋ３１～Ｋ３ｄ：第３拡大マップ
Ｋ４１～Ｋ４ｇ：第４拡大マップ
Ｋ５１～Ｋ５ｃ：第５拡大マップ
Ｌ ：レーザ光
Ｍ１ ：第１マスク
Ｍ２ ：第２マスク
Ｍ３ ：全体をぼかした画像
Ｐ１１～Ｐ１ｂ：第１特徴マップ
Ｐ２１～Ｐ２ｃ：第２特徴マップ
Ｐ３１～Ｐ３ｄ：第３特徴マップ
Ｐ４１～Ｐ４ｅ：第４特徴マップ
Ｐ５１～Ｐ５ｅ：第５特徴マップ
Ｐ６１～Ｐ６ｇ：第６特徴マップ
Ｐ７１～Ｐ７ｈ：第７特徴マップ
Ｐ８１～Ｐ８３：第８特徴マップ
Ｒ１、Ｒ２～Ｒ１２、Ｒ５ａ、Ｒ５ｂ、Ｒ５ｃ：線
ＴＤ ：教師データ
ｆ１ ：要素
ｉｍ１ ：要素
ｉｍ２ ：要素
ｉｍ３ ：要素
ｎ１～ｎ８：カーネルサイズ
ｘ ：横方向
ｙ ：縦方向
Δｘ ：変化量
Δｙ ：変化量

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】