▶ ビーダブリューエックスティ・アドバンスト・テクノロジーズ・リミテッド・ライアビリティ・カンパニーの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-05-24
(54)【発明の名称】溶接品質のｉｎ－ｓｉｔｕ検査のための方法
(51)【国際特許分類】
B23K 31/00 20060101AFI20230517BHJP
B23K 9/095 20060101ALI20230517BHJP
B23K 26/00 20140101ALI20230517BHJP
B23K 9/00 20060101ALI20230517BHJP
G06T 7/00 20170101ALI20230517BHJP
B23K 15/00 20060101ALN20230517BHJP
B23K 10/02 20060101ALN20230517BHJP
【ＦＩ】
B23K31/00 K
B23K31/00 Z
B23K9/095 515Z
B23K26/00 P
B23K9/00 101Z
G06T7/00 610Z
B23K15/00 501Z
B23K10/02 Z
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022561522
(86)(22)【出願日】2021-04-07
(85)【翻訳文提出日】2022-12-06
(86)【国際出願番号】 US2021026120
(87)【国際公開番号】W WO2021207318
(87)【国際公開日】2021-10-14
(31)【優先権主張番号】63/007,320
(32)【優先日】2020-04-08
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/052,182
(32)【優先日】2020-07-15
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/221,885
(32)【優先日】2021-04-05
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】521440998
【氏名又は名称】ビーダブリューエックスティ・アドバンスト・テクノロジーズ・リミテッド・ライアビリティ・カンパニー
【氏名又は名称原語表記】ＢＷＸＴ Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｉｅｓ ＬＬＣ
(74)【代理人】
【識別番号】100145403
【弁理士】
【氏名又は名称】山尾 憲人
(74)【代理人】
【識別番号】100132241
【弁理士】
【氏名又は名称】岡部 博史
(74)【代理人】
【識別番号】100113170
【弁理士】
【氏名又は名称】稲葉 和久
(72)【発明者】
【氏名】キッチン，ライアン スコット
(72)【発明者】
【氏名】ルヴァスール，マシュー ポール
(72)【発明者】
【氏名】ワッカーリー，ライアン スティーブン
(72)【発明者】
【氏名】ピヴォヴァー，ロス
【テーマコード（参考）】
4E001
4E066
4E168
5L096
【Ｆターム（参考）】
4E001BB05
4E001BB07
4E001BB08
4E001BB11
4E001DC01
4E066AB06
4E168BA13
4E168BA32
4E168CA06
4E168CA11
4E168CB04
5L096BA03
5L096CA04
5L096EA43
5L096FA06
5L096GA30
5L096HA11
5L096KA04
(57)【要約】
方法は溶接品質のｉｎ－ｓｉｔｕ検査を行う。当該方法は、進行中の溶接プロセスの複数の連続画像を取得し、当該複数の連続画像および／または１つ以上の溶接プロセス制御パラメータに基づいて、多次元データ入力を生成する。溶接プロセス制御パラメータは、（ｉ）シールドガスの流量、温度、および圧力、（ｉｉ）電圧、電流、ワイヤ送給速度、および温度（適用可能な場合）、（ｉｉｉ）部品の予熱温度／パス間温度、および（ｉｖ）部品と溶接トーチとの相対速度を含んでもよい。方法は、多次元データ入力に１つ以上のコンピュータビジョン技術を適用することによって、欠陥確率および分析情報を生成する。分析情報は、進行中の溶接プロセスの品質特性に関する予測的洞察を含む。方法は、分析情報および複数の連続画像に基づいて、１つ以上の溶接されたままの領域の３Ｄ視覚化を生成する。３Ｄ視覚化は、仮想検査の品質特徴、および/または溶接品質を決定するための品質特徴を表示する。
【特許請求の範囲】
【請求項1】
進行中の溶接プロセスの複数の連続画像を取得することと、前記複数の連続画像および／または１つ以上の溶接プロセス制御パラメータに基づいて、多次元データ入力を生成することと、
前記多次元データ入力に１つ以上のコンピュータビジョン技術を適用することによって、欠陥確率および分析情報を生成することであって、前記分析情報が、前記進行中の溶接プロセスの品質特性に関する予測的洞察を含む、前記欠陥確率および前記分析情報を生成することと、
前記分析情報および前記複数の連続画像に基づいて、１つ以上の溶接されたままの領域の３Ｄ視覚化を生成することであって、前記３Ｄ視覚化が、仮想検査の品質特徴、および/または溶接品質を決定するための品質特徴を表示する、前記３Ｄ視覚化生成することと、
を含む、溶接品質のｉｎ－ｓｉｔｕ検査のための方法。
【請求項2】
前記１つ以上のコンピュータビジョン技術は、画像シーケンスに基づいて進行中の溶接プロセスにおける異常または欠陥を識別するように訓練された、１つ以上の訓練された機械学習アルゴリズムを含む、請求項１に記載の方法。
【請求項3】
前記１つ以上の訓練された機械学習アルゴリズムは、画像シーケンスに基づいて溶接欠陥を識別するように、品質基準を満たした溶接部の画像によって訓練された、１つ以上の訓練された教師なし異常検出アルゴリズムを含む、請求項２に記載の方法。
【請求項4】
前記１つ以上の訓練された機械学習アルゴリズムは、画像シーケンスに基づいて溶接欠陥を識別するように、品質基準を満たさなかったと分類された溶接欠陥の画像によって訓練された、１つ以上の訓練された教師あり異常検出アルゴリズムを含む、請求項３に記載の方法。
【請求項5】
前記１つ以上の訓練された機械学習アルゴリズムは、画像シーケンスに基づいて溶接欠陥を識別するように、品質基準を満たさなかったと分類された溶接欠陥の画像によって訓練された、請求項２に記載の方法。
【請求項6】
前記多次元データ入力は、画素の強度および色を表す多次元アレイを含み、前記１つ以上の訓練された機械学習アルゴリズムは、訓練された畳み込みニューラルネットワーク（ＣＮＮ）を含み、
前記訓練された畳み込みニューラルネットワークは、前記多次元アレイに基づいて、溶接池の形状の境界、速度、スパッタ、変化率、および／または溶接パラメータを識別し、溶接品質、欠陥、および/または進行中の溶接プロセスにおける１つ以上の特徴を判定するように、訓練された、請求項２～５のいずれか１項に記載の方法。
【請求項7】
前記畳み込みニューラルネットワークは、閾値処理またはエッジ検出方法を使用して輪郭を識別することによって、溶接池の形状の境界を識別する、請求項６に記載の方法。
【請求項8】
溶接プロセス制御パラメータは、シールドガスの流量、温度、および圧力と、
電圧、電流、ワイヤ供給速度、および任意で温度と、
部品の予熱温度／パス間温度と、
部品と溶接トーチとの相対速度と、
のうちの１つ以上を含む、請求項１～７のいずれか１項に記載の方法。
【請求項9】
前記進行中の溶接プロセスの品質特性が所定の品質基準を満たさないとの判定に応じて、前記進行中の溶接プロセスを停止させることと、
前記分析情報に基づいて、前記進行中の溶接プロセスの１つ以上のイベントの警告を生成することと、
をさらに含む、請求項１～８のいずれか１項に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
開示された実施例は、一般的には溶接に関し、特には、ｉｎ－ｓｉｔｕセンサによる取得およびデジタル機械学習／深層学習モデルに基づく検査のための、システム、方法、およびユーザインタフェースに関する。
【背景技術】
【0002】
溶接技術は製造業および経済全体に大きな影響を与える。溶接技術の進歩（例えば、ロボット溶接）は、コスト効率と一貫性を提供する。溶接品質は、システムの安全性と完全性にとって重要である。原子炉圧力容器などの安全性が重要なシステムの部品の製造は、通常、厳格な要件と設計基準によって求められる。従来、このような要件は、溶接作業が完了した後に高価な非破壊検査（ｎｏｎ－ｄｅｓｔｒｕｃｔｉｖｅ ｅｘａｍｉｎａｔｉｏｎ、ＮＤＥ）によって検証されるか、（溶接品質を予測するための）溶接プロセスの事前承認（ｐｒｅｑｕａｌｉｆｉｃａｔｉｏｎ）によって検証される。溶接プロセスが完了した後、品質を確保するために定期的な修復(例えば、欠陥部の交換または溶接）が行われるが、欠陥の原因が分からない場合がある。溶接品質管理のための従来技術は、エラーが発生しやすく、高価なものである。
【発明の概要】
【0003】
背景技術で説明した問題に加えて、溶接品質を検査するステムと方法を改善する必要のある理由は、他にもある。例えば、既存の技術は溶接不良の事後分析によるため、適切な根本原因分析のためのコンテキスト情報がない。一部の技術は、限られた範囲の溶接プロセスにのみ適用され得る。溶接検査のための従来のシステムは、プロセス方法の承認、ＮＤＥ溶接後検査、または、電圧、トーチ速度、電流、ガス流量などの溶接プロセスパラメータを使用する回帰技術によるが、このような従来方法は、望ましい品質特性にうまく回帰していない。本開示は、従来の方法およびシステムの欠点の少なくともいくつかに対処するシステムおよび方法について説明する。
【0004】
いくつかの実施例に基づいて、現在の開示は、コンピュータビジョン（ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ）、機械学習、および/または統計モデリングを使用して、溶接品質のｉｎ－ｓｉｔｕ検査（ｉｎ－ｓｉｔｕ ｉｎｓｐｅｃｔｉｏｎ、「その場検査」とも呼ばれ、すなわち、溶接が進行中の溶接品質の検査）のためのデジタルモデルを構築する。
【0005】
視覚化は基本的には、ｉｎ－ｓｉｔｕの画像信号または他の処理された信号によるものであり、機械学習／深層学習アルゴリズムからの予測的洞察（ｐｒｅｄｉｃｔｉｖｅ ｉｎｓｉｇｈｔｓ）を有するコンピュータビジョンの結果として得られる。
【0006】
いくつかの実施例に基づいて、本発明は、１つ以上のカメラを、溶接イベント（例えば、母材と溶加材（フィラー）との溶融、冷却、およびシーム形成などのイベント）の溶接にわたって連続画像（例えば、複数の静止画像またはビデオ）を取得するためのセンサとして、使用する。連続画像は、溶接品質を判定するために、適切な分析を生成するためのコンピュータビジョンおよび機械学習／深層学習技術と、仮想検査（ｖｉｒｔｕａｌ ｉｎｓｐｅｃｔｉｏｎ）のために品質特性が現れた、溶接されたままの領域（ａｓ－ｗｅｌｄｅｄ ｒｅｇｉｏｎ）の３Ｄ視覚表示と、および／または、品質特徴の位置および範囲に対する予測的洞察とによって、３Ｄデータアレイとして処理される。いくつかの実施例において、進行中の溶接プロセスの画像を、訓練されたコンピュータビジョンおよび機械学習／深層学習アルゴリズムを使用して処理することによって、寸法的に正確な視覚化および欠陥の特徴付けを生成する。いくつかの実施例において、コンピュータビジョンおよび機械学習／深層学習アルゴリズムは、良好な池の形状の画像に基づいて溶接品質を判断するように訓練される。
【0007】
いくつかの実施例によれば、方法はコンピューティングシステムで実行される。一般的には、コンピューティングシステムは、単一のコンピュータまたはワークステーション、または複数のコンピュータを含み、それぞれのコンピュータまたはワークステーションは、１つ以上のＣＰＵおよび／またはＧＰＵプロセッサおよびメモリを有する。実施例の機械学習モデリングの方法は、一般的には、コンピューティングクラスタまたはスーパーコンピュータを必要としない。
【0008】
いくつかの実施例において、コンピューティングシステムは１つ以上のコンピュータを含む。それぞれのコンピュータには、１つ以上のプロセッサとメモリとを含む。メモリは、１つ以上のプロセッサによって実行されるために構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、ここで開示される方法のいずれかを実行するための命令を含む。
【0009】
いくつかの実施例において、非一時的コンピュータ可読記憶媒体は、コンピューティングシステムによって実行されるために構成された１つ以上のプログラムを記憶し、当該コンピューティングシステムは、１つ以上のコンピュータを有し、それぞれのコンピュータは、１つ以上のプロセッサとメモリとを有する。当該１つ以上のプログラムは、ここで開示される方法のいずれかを実行するための命令を含む。
【0010】
よって、開示される方法およびシステムによって、溶接プロセスのｉｎ－ｓｉｔｕ検査が容易になる。本開示に記載の検討、例示、原理、組成、構造、特徴、配置、およびプロセスは、溶接プロセスに、適用可能、適合可能、かつ実施可能である。
【0011】
開示されるシステムおよび方法、ならびに追加的なシステムおよび方法をよりよく理解してもらうために、以下の図面と併せて以下の実施例についての説明を参照すべきであり、同様の参照番号は、図面全体をわたって対応する部分を指す。
【図面の簡単な説明】
【0012】
【図1】いくつかの実施例に基づく、デジタルモデルを使用した溶接プロセスのｉｎ－ｓｉｔｕ検査のためのシステムのブロック図
【図2】いくつかの実施例に基づくコンピューティングデバイスのブロック図
【図3A】いくつかの実施例に基づく、大型構造物を溶接するための例示的なプラットフォームおよびクレーン装置を示す図
【図3B】いくつかの実施例に基づく溶接プロセスの例示
【図3C】いくつかの実施例に基づく溶接プロセスの例示
【図4A】いくつかの実施例に基づく溶融池の形状の例示
【図4B】いくつかの実施例に基づく溶融池の形状の例示
【図4C】いくつかの実施例に基づく溶融池の形状の例示
【図5A】いくつかの実施例に基づく溶接欠陥の例示を示す図
【図5B】いくつかの実施例に基づく溶接欠陥の例示を示す図
【図6A】いくつかの実施例に基づく、ニューラルネットワークを使用して溶接品質を予測するためのプロセスの例示を示す図
【図6B】いくつかの実施例に基づくカメラシステム（または画像取得システム）の例示を示す図
【図7A】いくつかの実施例に基づく、溶接プロセス中に取得された画像の例示を示す図
【図7B】いくつかの実施例に基づく、レーザプロファイルおよび溶接画像を使用して溶接品質を推測するプロセスの例示を示す図
【図7C】いくつかの実施例に基づく、レーザプロファイルおよび溶接画像を使用して、溶接パスのメルトボリューム（ｍｅｌｔ ｖｏｌｕｍｅ）の整合性（ｃｏｎｓｉｓｔｅｎｃｙ）によって、体積溶接品質（ｖｏｌｕｍｅｔｒｉｃ ｗｅｌｄ ｑｕａｌｉｔｙ）を推測するデジタルデータモデルプロセスの例示を示す図
【図7D】いくつかの実施例に基づいて、機械学習アルゴリズムによって解釈される、異なる溶接条件の下でのプロファイル（形状）の進行の例示を示す図
【図7E】いくつかの実施例に基づく電極イベントの画像の例示を示す図
【図7F】いくつかの実施例に基づく溶融池とアークイベントの画像の例示を示す図
【図7G】いくつかの実施例に基づく、欠陥認識に関してアルゴリズムを訓練するための、溶接と溶接欠陥との顕微鏡検査の画像の例示を示す図
【図7H】いくつかの実施例に基づく、機械学習パターンおよび欠陥認識のための、円形状の溶接部から展開された（または平坦化された）画像の例示を示す図
【図7I】いくつかの実施例に基づく溶接欠陥の確認結果を示す図
【図8A】いくつかの実施例に基づいて、熱的特徴パターン（ｈｅａｔ ｓｉｇｎａｔｕｒｅ ｐａｔｔｅｒｎ）のデジタルツインの表現（ｄｉｇｉｔａｌ ｔｗｉｎ ｒｅｎｄｉｔｉｏｎ）が表れた、電子ビーム溶接の溶接画像を示す図
【図8B】いくつかの実施例に基づく、データモデルを検証するためのＣＴスキャンと、データモデルの予測を検証する、顕微鏡によって検出されたＤＥポアとを示す図
【図9】いくつかの実施例に基づく、進行中の溶接プロセスのｉｎ－ｓｉｔｕ検査のための例示的なプロセス
【図10A】いくつかの実施例に基づく、溶接欠陥を予測するおよび／または識別するように、１つ以上の回帰モデルを訓練するシステムを示すブロック図
【図10B】いくつかの実施例に基づく、訓練された回帰モデルを使用して溶接プロセスのｉｎ－ｓｉｔｕ検査を容易にするシステムを示すブロック図
【発明を実施するための形態】
【0013】
ここで、実施例が参照され、実施例の例示は添付された図面に示されている。以下の説明では、本発明について完全に理解してもらうために、多くの具体的な詳細が示される。
しかし、当業者にとって、本発明を実施するにはこれらの具体的な詳細を必要としないことが明らかであろう。
しかし、当業者にとって、本発明を実施するにはこれらの具体的な詳細を必要としないことが明らかであろう。
【0014】
図１は、いくつかの実施例に基づく、デジタルデータモデルを使用した溶接プロセスのｉｎ－ｓｉｔｕ検査のためのシステム１００のブロック図である。溶接装置１０２は、１つ以上のカメラ装置１０４によって監視され、各装置１０４は、１つ以上の画像センサ１０６と１つ以上の画像処理装置１０８とを含む。カメラ装置で収集されたデータは、通信ネットワーク１１０を使用してｉｎ－ｓｉｔｕ検査サーバ１１２に通信される。溶接装置１０２は、溶接パラメータのセット１１８を使用し、当該セットはｉｎ－ｓｉｔｕ検査サーバ１１２によって動的に更新され得る。
【0015】
ｉｎ－ｓｉｔｕ検査サーバ１１２は、いくつかの標準的なコンピュータビジョン処理アルゴリズム１１４と、いくつかの機械学習／深層学習データモデル１１５とを使用する。
【0016】
このプロセスでは、溶接作業中の画像をｉｎ－ｓｉｔｕで取り込み、標準的な画像処理技術を適用して特徴を強調する（例えば、ガウスぼかし、電極と溶接池とのエッジ検出、Ｓ／Ｎフィルタリング（ｓｉｇｎａｌ ｔｏ ｎｏｉｓｅ ｆｉｌｔｅｒｉｎｇ）、角度補正など）。このプロセスでは、時間的な相互相関を使用して、画像スタックやビデオフレームを幾何学的に位置合わせる。いくつかの実施例では、この情報は、正確な画像取得のために、１台以上の搭載されたロボットカメラに提供する。システムは、画像を時間微分することによって、画像の時間的な傾向を定常信号（ｓｔａｔｉｏｎａｒｙ ｓｉｇｎａｌ）に変換する。このシステムは、３Ｄ畳み込み（例えば、ピクセル位置、強度、色／スペクトル バンドなど）を使用して、連続したかつ遅延のある画像バッチで畳み込みニューラルネットワークを訓練する。これをもとに、機械学習／深層学習のデータモデル１１５は、特定のイベント（欠陥の有無または欠陥の種類）の確率を出力する。
【0017】
パラメータデータモデル１１６は、信号の異常な部分を特定する。従来の監視される溶接パラメータ（例えば、時系列に沿った電圧）の信号ノイズ処理では、溶接品質の欠陥を示すことはできない。このプロセスは、以下の一連のステップで行われる。（ｉ）アナログ信号をデジタルに変換する。（ｉｉ）多数（例えば、数百万）の時系列のデータポイントにわたる典型的な信号パターンを学習するように、スライディングウィンドウおよびゲート活性化関数（ｇａｔｅｄ ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ）で時間畳み込みニューラルネットワークを訓練する。（ｉｉｉ）クロスエントロピー損失関数を最小化する。（ｉｖ）パラメータデータストリームと学習されたデータストリームとの差を取得する。（ｖ）カーネル密度推定を使用して信号の異常な部分を見つけ出す。
【0018】
パラメータデータモデル制御部１１６は、品質を維持するために、操作にフィードバックする、および／または溶接パラメータを制御する。畳み込みネットワークは、損失関数を最小化するように、パラメータに重みを付ける。当該重みは、欠陥を示す主要特性に関する画像からの情報を含む。操作は、重みの正規化された勾配の視覚化を提供することによって、主要な欠陥特性を示すように進められる。これらの重みは、欠陥の位置を時間的に特定するように、時間的な画像バッチに沿って時間的に表示される。これらの重みによって、画像の強度、形状、色相などの異なる部分が示される。パラメータデータモデル制御１１６は、すべての欠陥徴候（ｄｅｆｅｃｔ ｉｎｄｉｃａｔｉｏｎ）のデータセットを収集する。これを統計モデル（例えば、ポアソン回帰）に入力し、有効および無効な溶接パラメータ空間をマッピングする。
【0019】
いくつかの実施例において、パラメータデータモデル制御部１１６は、トポロジ（形態、ｔｏｐｏｌｏｇｙ）で起こり得る欠陥を警告する。忠実度の高いトポロジは、欠陥を回避するために、自動溶接に提供することができる。
【0020】
図２は、いくつかの実施例に基づくコンピューティングデバイス２００を示すブロック図である。コンピューティングデバイス２００の様々な例示として、サーバの高性能クラスター（ｈｉｇｈ－ｐｅｒｆｏｒｍａｎｃｅ ｃｌｕｓｔｅｒｓ、ＨＰＣ）、スーパーコンピュータ、デスクトップコンピューター、クラウド サーバ、および他のコンピューティングデバイスが挙げられる。コンピューティングデバイス２００は通常、メモリ２１４に記憶されたモジュール、プログラム、および／または命令を実行することによって処理動作を実行するための１つ以上の処理ユニット／コア（ＣＰＵ、および／またはＧＰＵ）２０２と、１つ以上のネットワークまたは他の通信のインタフェース２０４と、メモリ２１４と、これらの構成要素を相互接続するための１つ以上の通信バス２１２とを含む。通信バス２１２は、システムの構成要素間の通信を相互接続するかつ制御する回路を含んでもよい。
【0021】
コンピューティングデバイス２００はユーザインタフェース２０６を含んでもよく、ユーザインタフェース２０６は、ディスプレイ装置２０８と、１つ以上の入力装置または機構２１０とを含んでもよい。いくつかの実施例において、入力装置／機構はキーボードを含む。いくつかの実施例において、入力装置／機構は「ソフト」キーボードを含み、当該「ソフト」キーボードは、ディスプレイ装置２０８上に必要に応じて表示され、ユーザがディスプレイ２０８上に表示される「キーを押す」ことを可能にする。いくつかの実施例において、ディスプレイ２０８および入力装置／機構２１０は、タッチスクリーンディスプレイ（タッチセンシティブディスプレイとも呼ばれる）を含む。
【0022】
いくつかの実施例において、メモリ２１４は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、または他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含む。いくつかの実施例において、メモリ２１４は、１つ以上の磁気ディスク記憶装置、光ディスク記憶装置、フラッシュメモリ装置、または他の不揮発性固体記憶装置のような不揮発性メモリを含む。いくつかの実施例において、メモリ２１４は、ＧＰＵ／ＣＰＵ２０２から離れて位置する、１つ以上のメモリ装置を含む。メモリ２１４は、または代替的にメモリ２１４内の不揮発性メモリデバイスは、非一時的コンピュータ可読記憶媒体を含む。いくつかの実施例において、メモリ２１４、またはメモリ２１４のコンピュータ可読記憶媒体は、以下のプログラム、モジュール、およびデータ構造、または、これらのサブセットを記憶する。
すなわち、
様々な基本システムサービスを処理してハードウェアに依存するタスクを実行するためのプロシージャを含む、オペレーティングシステム２１６と、
１つ以上の通信ネットワークインタフェース２０４（有線または無線）と、インターネット、他の広域ネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなどの１つ以上の通信ネットワークとを介して、コンピューティングデバイス２００を他のコンピュータおよびデバイスに接続させるために使用される通信モジュール２１８と、
ｉｎ－ｓｉｔｕの検査のために、溶接欠陥の視覚化結果を表示するためのデータ視覚化アプリケーションまたはモジュール２２０と、
ユーザがパラメータや制御変数を指定させる入力／出力ユーザインタフェース処理モジュール（図示せず）と、
図１に関して前述したｉｎ－ｓｉｔｕ検査エンジン１１２と、
機械学習／深層学習モデル１１５によって使用される特徴ベクトル２４６と、
機械学習／深層学習／回帰モデル１１５と、
を記憶し、または、これらのサブセットを記憶する。
すなわち、
様々な基本システムサービスを処理してハードウェアに依存するタスクを実行するためのプロシージャを含む、オペレーティングシステム２１６と、
１つ以上の通信ネットワークインタフェース２０４（有線または無線）と、インターネット、他の広域ネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなどの１つ以上の通信ネットワークとを介して、コンピューティングデバイス２００を他のコンピュータおよびデバイスに接続させるために使用される通信モジュール２１８と、
ｉｎ－ｓｉｔｕの検査のために、溶接欠陥の視覚化結果を表示するためのデータ視覚化アプリケーションまたはモジュール２２０と、
ユーザがパラメータや制御変数を指定させる入力／出力ユーザインタフェース処理モジュール（図示せず）と、
図１に関して前述したｉｎ－ｓｉｔｕ検査エンジン１１２と、
機械学習／深層学習モデル１１５によって使用される特徴ベクトル２４６と、
機械学習／深層学習／回帰モデル１１５と、
を記憶し、または、これらのサブセットを記憶する。
【0023】
上述した実行可能なモジュール、アプリケーション、またはプロシージャのセットのそれぞれは、上述したメモリ装置の１つ以上に記憶され得て、上述した機能を実行するための命令のセットに対応する。上述した識別されたモジュールまたはプログラム（すなわち、命令のセット）は、別個のソフトウェアプログラム、プロシージャ、またはモジュールとして実行される必要はなく、様々な実施例において、これらのモジュールのさまざまなサブセットを組み合わせるか、または再配置することができる。いくつかの実施例において、メモリ２１４は、上述したモジュールおよびデータ構造のサブセットを記憶する。さらに、メモリ２１４は、上述されていない追加のモジュールまたはデータ構造を記憶してもよい。
【0024】
図２はコンピューティングデバイス２００を示しているが、図２は、本開示に記載されているいくつかの実施例の構造図としてではなく、存在し得る様々な特徴の機能的説明として意図されている。実際には、当業者によって認識されるように、別々に示された項目を組み合わせることができ、いくつかの項目を分離することもできる。
【0025】
いくつかの実施例において、図示されていないが、メモリ２１４は、図１を参照して上述したモデルを訓練および実行するためのモジュールも含む。
具体的には、いくつかの実施例において、メモリ２１４は、確率的サンプリングモジュール（ｓｔｏｃｈａｓｔｉｃ ｓａｍｐｌｉｎｇ ｍｏｄｕｌｅ）、機械学習モデル１１５、コーディングフレームワーク、１つ以上の畳み込みニューラルネットワーク、統計サポートパッケージ（ｓｔａｔｉｓｔｉｃａｌ ｓｕｐｐｏｒｔ ｐａｃｋａｇｅ）、および、他の画像、信号、または関連データも含む。
溶接プロセスおよび溶接品質の評価の例示
具体的には、いくつかの実施例において、メモリ２１４は、確率的サンプリングモジュール（ｓｔｏｃｈａｓｔｉｃ ｓａｍｐｌｉｎｇ ｍｏｄｕｌｅ）、機械学習モデル１１５、コーディングフレームワーク、１つ以上の畳み込みニューラルネットワーク、統計サポートパッケージ（ｓｔａｔｉｓｔｉｃａｌ ｓｕｐｐｏｒｔ ｐａｃｋａｇｅ）、および、他の画像、信号、または関連データも含む。
溶接プロセスおよび溶接品質の評価の例示
【0026】
いくつかの実施例によると、ここで開示された技術は広範囲の溶接プロセスに適用される。例えば、この技術は、ガスタングステンアーク溶接またはＧＴＡＷ（タングステン電極不活性ガス溶接またはＴＩＧとも呼ばれる）、プラズマアーク溶接、レーザ溶接、電子ビーム溶接、シールドメタル、およびガスメタル溶接、自動化および／または手動溶接、パルス溶接、およびサブマージ溶接に対して、溶接品質を検査するために使用可能である。いくつかの実施例において、この技術は、複数の施設および／または、２つ以上の種類の溶接にわたる操作（例えば、多くの肉盛溶接や一部の直線溶接のように溶接トーチが固定された部分をわたって移動するＧＴＡＷ、および、サークルシーム溶接や一部の肉盛溶接のように溶接トーチが固定されて部品が回転するＧＴＡＷ）に適用される。いくつかの実施例において、この技術は、多くの溶接部（例えば、特定の蒸気発生器の厚い溶接部が２５７箇所あり、検査基準が厳しく、不合格率が高い場合）に対して同時に溶接品質を検査することに使用される。
【0027】
図３Ａは、いくつかの実施例に基づく、大型構造物を溶接するための例示的なプラットフォームおよびクレーン装置３００を示す。
【0028】
図３Ｂは、いくつかの実施例に基づく溶接プロセス３０２の例示である。この例示は、ロボットアーム溶接機３０４、および溶接プロセスの図示３０６を示す。従来、ロボット溶接は、溶接技術者が溶接溶融と溶加材の堆積を（例えば、ビデオモニターを介して）監視する。技術者が異常を発見し、経験と観察で溶接品質を判定する。従来のシステムは、溶接プロセスデータを取得できなかった、または、取得したデータを品質検査に使用しない。ある状況では、検査前の品質管理は生産前のモックアップに基づいて承認されたプロセスを使用して行われ、当該モックアップにおいて、プロセスパラメータが決定される。従来のシステムの多くは、人による監視が必要で、主観的で結果が変わりやすく、および／または、ごく一部の欠陥しか検出できない。図３Ｃは、いくつかの実施例に基づく、他の例示の溶接工程３０８である。この例示では、シェル貫通ノズルを有するデュアル溶接ステーション３１０と、デスクおよび収納空間を有して２つのステーションに繋がる単一プラットフォーム３１２とが示されている。
【0029】
従来のシステムでは、プロセス制御パラメータの設定にモックアップを使用し、試行錯誤で行う。溶接データシートは、最初に試すべきパラメータを指定する。パラメータは、実験結果に基づいて繰り返し最適化される。いくつかの実施例は、（腐食、厚み変化、空隙、クラック（ｃｒａｃｋ）、材料密度変化などに敏感である）放射線検査、（材料の表面または裏面の欠陥を検出し、チューブやパイプなどの丸材の肉厚を測定する方法である）超音波検査、（強磁性体の表面／近傍の欠陥の検出に使用する）磁粉探傷、（完全性、クラック、均一性について目視確認である）目視検査などの溶接検査技術を使用する。いくつかの実施例において、染料浸透探傷試験（ｄｙｅ ｐｅｎｅｔｒａｎｔ ｔｅｓｔ 、ｄｙｅ ＰＴ）は、その場で表面の傷を検査するために行われる。ＰＴは、数層の完了後に実行される場合があり、その後、溶接が続行される。
【0030】
いくつかの実施例は、進行中の溶接プロセスで溶接品質を検査するためにマシンビジョン（ｍａｃｈｉｎｅ ｖｉｓｉｏｎ）を使用する。いくつかの実施例は、深層学習の技術を使用し、深層学習では、入力パラメータを明示的に定義される必要がなく、アルゴリズムがパラメータを自動的に導き出す。いくつかの実施例は、溶接品質の非線形相関を得るように（例えば、物理的に線形の溶接パスに適用されるように）、マシンビジョン、および／または画像処理技術を使用する。いくつかの実施例は、内蔵のセンサを使用して（例えば、層ごとの）画像を取得する積層造形（ａｄｄｉｔｉｖｅ ｍａｎｕｆａｃｔｕｒｉｎｇ、付加製造とも呼ばれる）のために、ここで説明する技術を使用する。いくつかの実施例は、リアルタイムの監視と、欠陥が発生したとき、または欠陥が発生した直後の欠陥特定と実行される。いくつかの実施例において、限られた画像パラメータ（例えば、溶接池の形状、および／または、形状の周りのボックス境界）を使用する。いくつかの実施例は、訓練されたコンピュータビジョンと機械学習／深層学習のアルゴリズムとに基づいて画像を処理し、インテリジェントな画像再構成と品質予測とを生成し、および／または、溶接プロセス中に（または溶接の完了時に）、寸法的に正確な視覚的かつ定量的な溶接欠陥の特徴付けを生成する。
形状分析、レーザスキャン、ニューラルネットワークの例示
形状分析、レーザスキャン、ニューラルネットワークの例示
【0031】
いくつかの実施例は、メカニカルシャッター付きの光学カメラ１台以上と、溶接池の表面の画像を取得するレーザとを使用する。いくつかの実施例は、溶接池の大きさを近似するのではなく、溶接池の完全な形状および／または画像に対して、画像処理および機械学習アルゴリズムを適用する。例えば，従来のシステムは、溶接池部の大きさを２次元のバウンディングボックス（幅、高さ）の寸法で近似し，および／または、溶融池の形状をテールに含まれる角度で定義する。従来のシステムにおいて、機械学習アルゴリズムは、画像から抽出された限られたスカラー属性を使用して訓練されたものである。図４Ａ～図４Ｃは、いくつかの実施例に基づく、本開示に記載の技術を使用して処理されたまたは分析された溶融池の形状の例示を示す。
【0032】
いくつかの実施例はレーザスキャンを使用する。ポイントレーザは溶接面にレーザ光を照射し、イメージセンサは１つ以上のレンズフィルタを通して光を取り込み、溶接面の画像を取得する。当該画像には、表面をモデル化するように、後処理が行われる。いくつかの実施例は、２次元断面レーザスキャンを使用して溶接面をモデル化する。いくつかの実施例は、レーザスキャンで表面形状のばらつきを識別し、表面下の欠陥を検出または推定する。いくつかの実施例は、溶接溶着量の測定値の偏差を利用して、表面下のボイドおよび他の欠陥を特定する。いくつかの実施例は、表面形状のプロファイルを強化または判定するために、１つ以上のレーザプロファイルを使用する。いくつかの実施例は、ここで説明する他の技術に加えて、または技術を補強するために、レーザスキャンを使用する。
【0033】
いくつかの実施例は、溶接中の画像を処理して溶接欠陥を決定するためにニューラルネットワークを使用する。ｉｎ－ｓｉｔｕ溶接検査を目的として、いくつかの実施例は、適切な機械学習および深層学習を適用、変更、および／または発見（または検索）する。いくつかの実施例は、溶接の種類、セットアップ、およびセンサの構成に合わせて、ハイパーパラメータ（ｈｙｐｅｒ ｐａｒａｍｅｔｅｒ）をチューニングまたは調整する。
【0034】
いくつかの実施例は、畳み込みニューラルネットワーク（ＣＮＮ）フィルタを使用して、溶接の幾何学的特徴と対象の訓練済みパターンとを認識する。いくつかの実施例は、関心のある溶接品質特徴を認識するように、ＣＮＮを訓練する。いくつかの実施例は、ボイド、位置ずれ、アンダーカット、ポロシティ、溶接パスの変動、および／またはクラック形成に関して、画像処理、ＣＮＮ構築、ハイパーパラメータを使用する。
【0035】
いくつかの実施例は、結像の波長、音響装置、近赤外線カメラ、光学カメラ、およびレーザ照明技術に基づいた適切なカメラを使用して、影の効果を生成する。
【0036】
いくつかの実施例は、積層造形で使用される技術と同様の利点を提供する（層ごとの造形方法は、スライスで構築された状態を画像化するのに役立つ）。いくつかの実施例は、高解像度赤外線（ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ ｉｎｆｒａｒｅｄ、ＨＳＩＲ）カメラを使用して、進行中の溶接プロセスの高フレームレート撮影も使用して、従来の溶接プロセスに対して付加製造と同様の検査および予測の効果を提供する。
【0037】
いくつかの実施例は、センサとして１台以上のカメラを使用して、溶接中に連続した画像（静止画またはビデオ、例えば、母材金属と溶加材との溶融、冷却、およびシーム形成イベントの画像）を抽出する。いくつかの実施例において、画像は、溶接品質を判定するために、適切な分析を生成するためのコンピュータビジョンおよび機械学習／深層学習技術と、仮想検査のために品質特性が現れた、溶接されたままの領域の３Ｄ視覚表示と、および／または、品質特徴の位置および範囲に対する予測的洞察とによって、３Ｄデータアレイとして処理される。
欠陥の例示
欠陥の例示
【0038】
図５Ａおよび図５Ｂは、いくつかの実施例に基づく溶接欠陥の例示を示す図５Ａは、いくつかの実施例に基づく、アンダーカット５０２、本溶接（ｎｏｒｍａｌ ｗｅｌｄ）５０４、溝５０６、鋭利な角部（ｓｈａｒｐ ｃｏｒｎｅｒ）５０８、ポロシティまたは巻き込み（ｉｎｃｌｕｓｉｏｎ）５１０、および目違い（ｍｉｓａｌｉｇｎｍｅｎｔ）５１２を含む、異なる種類の溶接欠陥５００を示す。図５Ｂは、いくつかの実施例に基づく、接合溶け込み不良、または部分接合溶け込み溶接５１４を示している。通常、このような欠陥に対しては再加工またはスクラップが必要であり、また、このような欠陥は、融合の欠如、浸透の欠如、ポロシティ、クラック、アンダーカットによる欠陥を含む。そのため、交換部品または検査時間による製造上の遅延が生じる。
溶接品質のｉｎ－ｓｉｔｕ検査のための方法の例示
溶接品質のｉｎ－ｓｉｔｕ検査のための方法の例示
【0039】
いくつかの実施例は、１つ以上のカメラを使用し、溶接イベントアーク、電極、および／または溶接池の赤外線、近赤外線、および／または光学画像（例えば、個別の画像、および／またはビデオ）を収集して、関心のある溶接品質の特徴の検出、推測、予測、および／または視覚化をする。
【0040】
いくつかの実施例は、溶接の品質欠陥を検出するように、コンピュータビジョン（例えば、Ｐｙｔｈｏｎ（登録商標） ＯｐｅｎＣＶのコード）と複数のセンサ画像、および／またはレーザラインプロファイリングとを共に使用する。いくつかの実施例は、画像データをクリーニング、整列、登録をし、ノイズおよびオブジェクトのための閾値を強調し統計的にフィルタ処理して、品質の判定に役立つパターンおよび特徴を表して特定する。いくつかの実施例は、溶接シームまたは製品の２次元モデルまたは３次元モデルを使用して、観察された欠陥を可視化する。いくつかの実施例は、溶融池の形状と振動の変化を３次元で可視化し、および／または、溶接池の汚染物の位置や表現を表示する。いくつかの実施例は、溶接直後および冷却中の溶接部、形状、質感、大きさ、配列、および汚染物を可視化する（または表示する）。いくつかの実施例は、形状および強度上のアーク変化を検出するおよび／または表示する。いくつかの実施例は、電極スパッタおよび／または劣化、３次元プロファイル情報およびフィル溶接によって形成するパターン、および／または、シーム溶接の完全性、ボイド、分離領域を、検出および／または表示する。
機械学習および統計モデリング技術の例示
機械学習および統計モデリング技術の例示
【0041】
いくつかの実施例は、機械学習または深層学習（例えば、Ｔｅｎｓｏｒｆｌｏｗ（登録商標）／Ｋｅｒａｓ）を使用して、取得溶接画像データを学習して解釈する。いくつかの実施例において、アルゴリズムは、溶接の連続画像をデータ配列に変換する。いくつかの実施例は、溶接パラメータデータを統合する。いくつかの実施例は、畳み込みニューラルネットワークアルゴリズム（例えば、Ｔｅｎｓｏｒｆｌｏｗ、Ｋｅｒａｓ、または同様のオープンソース機械学習プラットフォーム）を使用して溶接画像データを処理する。いくつかの実施例は、教師なし異常検出を利用して、良品溶接のモデルを訓練する。いくつかの実施例は、誤差の閾値を超えた溶接信号を注目すべき異常としてフラグを付ける。例えば、機械学習アルゴリズムによって、溶接エラーがエラー確率の閾値（例えば１０％）を超えると予測され、対応する溶接信号が異常としてフラグが付けられる。いくつかの実施例は教師あり欠陥検出を使用しており、当該教師あり欠陥検出では、既知の欠陥のデータベース内の画像（例えば、モデルを訓練するまたはテストするために生成された、異なる種類の誘起欠陥（ｉｎｄｕｃｅｄ ｄｅｆｅｃｔ）の画像）を使ってモデルを訓練させる。
【0042】
いくつかの実施例は、関心のある特徴の実際の画像を使用して、溶融池の形状の実際の境界、速度、スパッタ（ｓｐａｔｔｅｒ）、変化率および他のパラメータを取得し、機械学習アルゴリズムを訓練して溶接品質、欠陥を予測し、および／または、溶接品質の特徴付けを提供する。図６Ａは、いくつかの実施例に基づく、ニューラルネットワークを使用して溶接品質を予測するためのプロセスの例示を示す。いくつかの実施例は、溶接画像６０２を、訓練されたニューラルネットワーク６０４（ＮＯＧ－ＢからのＴＩＧリストなどの溶接画像を使用して溶接品質を判定するように訓練されたニューラルネットワーク）に入力して、異なる種類の溶接欠陥（または欠陥なし）の確率推定６０６を生成する。
【0043】
いくつかの実施例において、溶接デジタルツイン（ｗｅｌｄ ｄｉｇｉｔａｌ ｔｗｉｎ）の２Ｄまたは３Ｄのデジタルデータモデルに、溶接の現場外の目視検査または機器検査の前に、品質検査のために注釈が付けられている。いくつかの実施例は、関心領域にフラグを付けることによって検査を容易にする。いくつかの実施例は、異常または徴候に対して検査員による解釈を容易にする。いくつかの実施例は、溶接中に予測したまたは発生したイベントを操作員に警告するシステムを含み、よって、欠陥が操作中に（または欠陥が現れた直後に）修正され得て、全体的な修復量が減少される。いくつかの実施例は、統計的な要約と分析を提供し、観察された特徴を定量化し、および／または、溶接後の検査技術に依存することなく、時間の経過とともに現れる品質特徴の特性と、センサによって直接観察されない特徴とを予測する。いくつかの実施例において、最終的な溶接デジタルツインが、仮想検査のための溶接欠陥の、サイズ、形状、範囲、深さ、種類などの品質評価で注釈が付けられる。
【0044】
機械学習のために、いくつかの実施例は、シーケンスモデル（ｓｅｑｕｅｎｃｉｎｇ ｍｏｄｅｌ）を使用して、監視されていないアークおよび電極の異常を抽出する。いくつかの実施例は、溶接画像信号パターンからの自動回帰の教師なし異常を使用する。いくつかの実施例は、ランダムノイズ信号の一部ではない信号を分離し、イベントを示す。いくつかの実施例は、画像と物理的溶接部の手動検査を容易にして、デジタルモデルに欠陥情報で注釈を付ける。いくつかの実施例は、輪郭から溶融池の形状の記述子を生成する。いくつかの実施例は、教師なし分類モデル（例えば、リカレントニューラルネットワーク）を利用して、様々な種類の溶接不良を識別する。いくつかの実施例は、ある空間領域（例えば、構築長さ（ｂｕｉｌｄ ｌｅｎｇｔｈ）が１センチメートル）で溶接池の分類を定量化する。いくつかの実施例は、溶接のｅｘ－ｓｉｔｕ検査(ｅｘ－ｓｉｔｕ ｉｎｓｐｅｃｔｉｏｎ、「現場外検査」とも呼ばれる）の場所に基づいて統計的適合を作成する。いくつかの実施例は、ビデオ入力から、注釈が付けられた欠陥の種類を分類するように、教師ありニューラルネットワークを訓練し、エンジニアリング特徴（ｅｎｇｉｎｅｅｒｉｎｇ ｆｅａｔｕｒｅ）を自動的に抽出する。
【0045】
特定の場合において、いくつかの実施例は、確率的ボラティリティモデルの技術を使用して、欠陥をモデル化する。いくつかの実施例は、モデルを組み合わせて任意のランダムなコンポーネントを削除して、異常なコンポーネントを生成する。いくつかの実施例は、自己回帰モデルで静止空間モデルを使用する。
【0046】
いくつかの実施例は（Ｄｅｅｐ Ｍｉｎｄ社によって開発された）ＷａｖｅＮｅｔを使用し、ＷａｖｅＮｅｔは、オーディオシーケンスのための生成型リカレントニューラルネットワークであり、ネットワーク内にゲートがあり、層状効果（ｌａｙｅｒｅｄ ｅｆｆｅｃｔ）をモデル化する。いくつかの実施例は、自己回帰の訓練のためにニューラルネットワークを使用し、当該ニューラルネットワークは、特定の電極イベントのビデオ画像ストリームに代わりに適用される。いくつかの実施例は、以下の式（１）で定義される誤差項と組み合わせてＷａｖｅＮｅｔを使用する。
【0047】
【数1】
【0048】
いくつかの実施例は、バッチ型の確率的勾配降下（ｂａｔｃｈｅｄ ｓｔｏｃｈａｓｔｉｃ ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ、ｂａｔｃｈｅｄ ＳＧＤ）アルゴリズムを使用する。
【0049】
いくつかの実施例では、以下の式（２）で定義されるように、誤差項がカーネル密度推定器でモデル化される。
【0050】
【数2】
【0051】
いくつかの実施例は、この誤差モデルから、以下の式（３）で定義されるように、ランダムなパターンに適合する誤差を除算し、残りの量または残ったものが検出された異常である。
【0052】
【数3】
【0053】
画像取得のシステムおよび方法の例示
図６Ｂは、いくつかの実施例に基づくカメラシステム（または画像取得システム）６０８の例示を示す。いくつかの実施例において、カメラ取得システムは、近くに（例えば、Ｇ－５’）、三脚またはロボットアームに固定された搭載台に配置されているか、または剛性面に上から固定されているか、または別の方法で溶接部が見える場所に配置されている。カメラシステム６０８は、進行中の溶接の画像および／またはビデオを収集する。いくつかの実施例において、溶接画像は、溶融池の形状、サイズ、強度パターン、輪郭、深さ、温度勾配、時間の経過に伴う変化、均一性、スパッタ、位置合わせ、ならびに他の隠れ変数および相互作用などの溶接イベントのパターンおよび動作を記録する。当該他の隠れ変数および相互作用は、明示的に入力として定義されていなく、最終的に溶接されたままの品質との関係を判定するために使用される。いくつかの実施例は、高速光学カメラまたはビデオカメラ６１０（例えば、２００ＦＰＳ（フレーム／秒）で撮影可能なカメラ）を使用し、（例えば、ＳＦＰおよび／またはフィルタケーブル６２０を使用して）画像を画像取得および計算サーバ６１６に転移する。いくつかの実施例は、至近赤外線（ＩＲ）または高速ＩＲカメラ（例えば、毎秒１０００フレームが取得可能なカメラ）６１２を使用し、（例えば、デュアルカメラリンクフル６２２を使用して）画像を画像取得および計算サーバに転移する。いくつかの実施例は、高速光学カメラ（例えば、解像度が１０８０のビデオが生成可能なカメラ）を使用して、画像を画像取得および計算サーバに転移する。いくつかの実施例において、画像取得および計算サーバ６１６は、溶接データ取得および制御システム（ｗｅｌｄ ｄａｔａ ａｃｑｕｉｓｉｔｉｏｎ ａｎｄ ｃｏｎｔｒｏｌ ｓｙｓｔｅｍ、溶接ＤＡＣＳ）６２４からの溶接パラメータを統合し、結果のデータをデータ保管サーバ６１８に記憶する。
図６Ｂは、いくつかの実施例に基づくカメラシステム（または画像取得システム）６０８の例示を示す。いくつかの実施例において、カメラ取得システムは、近くに（例えば、Ｇ－５’）、三脚またはロボットアームに固定された搭載台に配置されているか、または剛性面に上から固定されているか、または別の方法で溶接部が見える場所に配置されている。カメラシステム６０８は、進行中の溶接の画像および／またはビデオを収集する。いくつかの実施例において、溶接画像は、溶融池の形状、サイズ、強度パターン、輪郭、深さ、温度勾配、時間の経過に伴う変化、均一性、スパッタ、位置合わせ、ならびに他の隠れ変数および相互作用などの溶接イベントのパターンおよび動作を記録する。当該他の隠れ変数および相互作用は、明示的に入力として定義されていなく、最終的に溶接されたままの品質との関係を判定するために使用される。いくつかの実施例は、高速光学カメラまたはビデオカメラ６１０（例えば、２００ＦＰＳ（フレーム／秒）で撮影可能なカメラ）を使用し、（例えば、ＳＦＰおよび／またはフィルタケーブル６２０を使用して）画像を画像取得および計算サーバ６１６に転移する。いくつかの実施例は、至近赤外線（ＩＲ）または高速ＩＲカメラ（例えば、毎秒１０００フレームが取得可能なカメラ）６１２を使用し、（例えば、デュアルカメラリンクフル６２２を使用して）画像を画像取得および計算サーバに転移する。いくつかの実施例は、高速光学カメラ（例えば、解像度が１０８０のビデオが生成可能なカメラ）を使用して、画像を画像取得および計算サーバに転移する。いくつかの実施例において、画像取得および計算サーバ６１６は、溶接データ取得および制御システム（ｗｅｌｄ ｄａｔａ ａｃｑｕｉｓｉｔｉｏｎ ａｎｄ ｃｏｎｔｒｏｌ ｓｙｓｔｅｍ、溶接ＤＡＣＳ）６２４からの溶接パラメータを統合し、結果のデータをデータ保管サーバ６１８に記憶する。
【0054】
いくつかの実施例は、様々な溶接領域の画像を取得して、１回のテストで予測能力を最大化するように、高速ＩＲカメラ（例えば、ＦＬＩＲ（登録商標） ｘ６９００ｓｃ ＭＷＩＲ）、高速光学カメラ（例えば、Ｂｌａｃｋｆｌｙ（登録商標） ０．４ ＭＰ／５２２ ＦＰＳ）、操作可能な光学カメラ、および／または、ビデオカメラ（例えば、１０８０ｐカメラ）を含む。いくつかの実施例は、適切な用途に対して能率化された単一のカメラを使用する。いくつかの実施例において、高速カメラは、２００ＦＰＳから１０００ＦＰＳのフレームレート、または、ごく短時間にある特徴を取得するのに十分なフレームレートを有し、当該特徴に基づいて、トーチの速度および素材による違いを考慮して、溶接品質のイベント予測ができる。例えば、電子ビーム溶接操作は、比較的速い溶融池の作成および冷却パターンを取得するために、比較的高いフレームレートが必要である。冷却速度が１秒に近いという従来の溶接に対して、カメラは、フレームレートをそれに応じて下げてもよいが、溶接池の動作を比較的高い解像度で長時間にわたって取得し続ける。いくつかの実施例は、基本的な特徴の最初のデータ取得後に深層「転送」学習を使用して、基礎のアルゴリズムの訓練後に必要なカメラのサイズおよび種類を下げる。いくつかの実施例は既存のパターンを使用するため、（訓練時に使われるカメラよりも）小型のカメラは、溶接判定のための、大量でないデータセットを収集する。いくつかの実施例は、ＦＬＩＲよりも安価な高解像度の近赤外線カメラと、サーマルカメラおよび光学カメラ（約２００ＦＰＳで動作するＢｌａｃｋｆｌｙ ５２２ ＦＰＳ）とを使用する。これらのカメラは多くの場合、様々な用途向けに安価で簡単に取り付けられる。いくつかの実施例は、基本の高速ＩＲデータセットを使用して検証する。いくつかの実施例は、溶接方向に同軸で取り付けられたカメラを使用する。いくつかの実施例は、データスティッチング（ｄａｔａ ｓｔｉｔｃｈｉｎｇ）または画像処理を使用して、データモデルの視覚化および／または定量化のために適切な寸法および配置を復元する。
【0055】
いくつかの実施例は、複数のコンピュータビジョン処理方法を使用して、関心のある特徴の複雑さに応じて、溶接品質特徴を予測する。いくつかの実施例は、数学的に定義された溶融池の形状の特徴付けを使用して、溶融池の形状と溶接品質の程度とを対応付ける統計モデル／線形適合（ｌｉｎｅａｒ ｆｉｔ）を作成する。いくつかの実施例は、検査結果で注釈が付けられた生の画像に基づいて良／不良の溶接領域を検出するように訓練された深層学習モデルを使用する。いくつかの実施例は、溶接後の結果の３Ｄ視覚化（３Ｄ ｖｉｓｕａｌｉｚａｔｉｏｎ）と組み合わせて、様々なモデルを使用する。いくつかの実施例は、実際の画像を使用して、溶融池の形状の実際の境界、および、他のパラメータ、溶接イベント、および進行中の溶接プロセスの連続画像で取得されたパターンを取得する。
【0056】
画像検出のために、いくつかの実施例は、高速光学カメラ（例えば、２００ＦＰＳカメラ）を使用して電極の飛散、溶接池の変化、アークパターンを取得し、および／または、レーザ光を備えた１０８０ｐビデオカメラを使用して、溶接の深さと溶接の進捗パターンとをプロファイリングする。いくつかの実施例は、高速赤外線カメラ（例えば、１０００ＦＰＳカメラ）を使用して溶接プロセスを観察する。
【0057】
いくつかの実施例は、溶接プロセスを監視するためにサーマルカメラまたは赤外線カメラを使用する。いくつかの実施例は、溶融金属と周囲の固体表面との両方の熱特性を取得する。いくつかの実施例は、溶接溶け込みおよびポロシティを予測する。いくつかの実施例は、固体金属表面と凝固した溶接跡とを含むフルＩＲおよび光学画像を利用する。いくつかの実施例は、光学カメラを使用して溶接ビード、および／またはボイドモデリングを検査する。いくつかの実施例は、３Ｄマルチパス溶接体積および形状解析を使用し、欠陥の一致を確認する。いくつかの実施例は、溶接部の画像に深層学習を適用して欠陥を特定する。いくつかの実施例は、閾値処理（ｔｈｒｅｓｈｏｌｄｉｎｇ）および／またはエッジ検出方法を使用して、溶接の輪郭を識別する。いくつかの実施例は、コンピュータビジョン方法を使用し実際の溶接池の面積と形状を計算して、統計モデルを作成する。いくつかの実施例は、機械学習技術を溶接ビードの注釈付き画像に適用して、欠陥を分類している。図７Ｊを参照して、いくつかの実施例に基づく赤外線画像（サーマル画像）の例示について、以下に説明する。
【0058】
いくつかの実施例は、欠陥につながる溶接特徴を、（溶接後検査とは対照的に、またはそれに加えて、）進行中またはｉｎ－ｓｉｔｕで検出することに基づいて、早期警告および検査の強化を提供する。いくつかの実施例において、欠陥発生時に溶接を停止してもよく、その場で欠陥を修正することによって、無駄な処理および検査による遅れを省くことができる。いくつかの実施例は、溶接修理をより簡単に、またはより安価に促進する。例えば、溶接修復は研磨で除去できるが、完成後に欠陥が見つかって、欠陥が数インチの深さまで埋もれた場合、除去するのに手間がかかる。いくつかの実施例は、ＮＤＥに集中すべき問題領域を通知し、正確に問題を特定することを容易にする。いくつかの実施例は、診断を容易にし、特徴の解釈可能性を改善する。いくつかの実施例は溶接品質の把握および見える化を改善する。いくつかの実施例は、欠陥の原因となった状態まで任意の特徴を追跡するための時間イベント情報（ｔｉｍｅ－ｅｖｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ）を含み、当該欠陥は、これらの状態から切り離された後処理検査で検出され得ない。いくつかの実施例は、（例えば、製品のすべての特徴を検査しなく）潜在的な欠陥としてマークされた欠陥のみの検査を促進する。いくつかの実施例は、画像再構成を実行して、不完全または「曖昧な（ｆｕｚｚｙ）」ＮＤＥを補強し、リワークを防止する。いくつかの実施例において、ここで説明する技術は、溶接後の検査技術を溶接中の自動検査に置き換えるのに役立つ。いくつかの実施例は、将来の調査、シミュレーション、または欠陥に繋がる条件の記録のために、溶接されたままの状態が追跡可能にすることを促進する。
いくつかの実施例において、溶接品質はＮＤＥで初期検証できるが、初期検査の後、それ以上の検査は不要になる。いくつかの実施例において、進行中の溶接プロセスから取得した画像を深層ニューラルネットワークで処理し、当該深層ニューラルネットワークは、大まかに訓練された、溶接中の溶接シームの特徴を検出して定量化する。いくつかの実施例は、品質特徴を自動的に取得してそれに注意を向け、当該品質特徴は、以前、漠然と類似しているものがあるが、明示的に定義されていなかったまたは見られなかった。いくつかの実施例は、重み付けられたパラメータおよび確率を使用して自動化された判定を促進し、許容範囲内で制御変数を操作する。いくつかの実施例は、精度、再現性、および／または溶接品質検査の再現性を向上させる。
いくつかの実施例において、溶接品質はＮＤＥで初期検証できるが、初期検査の後、それ以上の検査は不要になる。いくつかの実施例において、進行中の溶接プロセスから取得した画像を深層ニューラルネットワークで処理し、当該深層ニューラルネットワークは、大まかに訓練された、溶接中の溶接シームの特徴を検出して定量化する。いくつかの実施例は、品質特徴を自動的に取得してそれに注意を向け、当該品質特徴は、以前、漠然と類似しているものがあるが、明示的に定義されていなかったまたは見られなかった。いくつかの実施例は、重み付けられたパラメータおよび確率を使用して自動化された判定を促進し、許容範囲内で制御変数を操作する。いくつかの実施例は、精度、再現性、および／または溶接品質検査の再現性を向上させる。
【0059】
いくつかの実施例において、カメラおよびデータ抽出アルゴリズムによって、人間による観察よりも正確で信頼性が高く、かつＮＤＥを使用して取得した情報に匹敵する溶接特性情報が提供されると同時に、後処理ＮＤＥが固有のノイズ、材料、または幾何学的特徴は回避される。いくつかの実施例は、ｉｎ－ｓｉｔｕのシステムを使用して不良率を自動的に定量化し、自動化された溶接プロセスのパラメータの変化に関連付ける。いくつかの実施例は、手作業による検査の量を減らし、人間の操作員による欠陥領域の特定に支援することによって精度を高める。
【0060】
いくつかの実施例は高速ＩＲ時系列マッピングを使用する。いくつかの実施例は、温度強度、融点、温度および冷却プロファイル、および／または溶接ビームの動きを追跡する。いくつかの実施例は、ＮＩＲ、高速ＩＲ、および／または光学カメラから特徴を検出する。いくつかの実施例は、電子ビーム溶接の品質特徴の教師なし特徴抽出に対して深層学習アルゴリズムを実行し、その情報と溶接のＣＴスキャン結果とを関連付ける。いくつかの実施例は溶接の溶け込みの深さを予測する。
【0061】
いくつかの実施例は、回転または固定の溶接プラットフォームで固定溶接機を使用している。いくつかの実施例は、溶接プラットフォームの近くに設置された三脚に取り付けられた高速光学カメラを使用する。いくつかの実施例において、火花がカメラのレンズを損傷するのを防ぐために、プラスチック製のシールド（または類似する装置）が設けられる。いくつかの実施例は、不活性ガス溶接ボックスを使用する。いくつかの実施例において、カメラおよび／または溶接装置に取り付けられたコンピュータは、通常の溶接作業中にＩＲカメラからのデータを記録する。いくつかの実施例において、溶接品質の欠陥の場所および高品質の領域を特定し、取得したデータと関連付けるように、外部検査／外部テストが使用される。いくつかの実施例は、ＨＳＩＲカメラおよび画像処理技術を使用し溶接プロセスを画像化して、溶接品質の問題を予測する。いくつかの実施例は、溶接の溶け込みの深さを予測する。
【0062】
いくつかの実施例において、カメラに対して溶接動作が同期されている。例えば、カメラは固定されていない三脚に取り付けられている。いくつかの実施例は、カメラが溶接アームに同軸に取り付けられる。いくつかの実施例は、溶接イベントまたは場所に対してカメラを（例えば、高解像度で）ズームインさせる。いくつかの実施例は、溶接池および／または冷却箇所に常に焦点を当て、参照フレームを提供する。いくつかの実施例は、動きを考慮しないことで、画像処理の複雑さを軽減する。
【0063】
いくつかの実施例は熱冷却勾配（ｔｈｅｒｍａｌ ｃｏｏｌｉｎｇ ｇｒａｄｉｅｎｔ）を使用する。このような場合、（十分に高いフレームレートを備えた）ＮＩＲカメラが溶接プロセスの画像を取得できるように、溶着される材料は発光性を有するべきである。例えば、いくつかの実施例は、５０ＭＰの高速光学カメラおよびＮＩＲカメラを、フィルタ付きで使用する。いくつかの実施例は、（例えば、１秒より速く冷却する場合に）ＦＬＩＲ高速ＩＲカメラを使用する。いくつかの実施例は、必要なフレームレートに応じて小型のサーマルカメラを使用する。一部のハンドヘルドカメラは軽量で人間の検査員に使用され得る。いくつかの実施例において、溶接欠陥をリアルタイムまたは溶接中に特定するように、カメラで取得した画像はコンピュータシステム（例えば、機械学習アルゴリズムを適用したシステム）によって分析される。いくつかの実施例は、横速度、回転、ガス流、および、正常または良好な溶接に関連付けられる任意の制御変数を含む、１つ以上の溶接パラメータを監視する。
データの用意の例示
データの用意の例示
【0064】
いくつかの実施例は、符号化された画像処理登録、データクリーニング、および／または位置合わせを行う。いくつかの実施例は、これらの効果を取得するように、適切な焦点距離のために選択されたレンズを使用する。いくつかの実施例は、画像を、ピクセル強度、色（必要な場合）を表す多次元配列に変換する。
【0065】
いくつかの実施例は、畳み込みニューラルネットワーク（ＣＮＮ）または非線形回帰手法を使用する。いくつかの実施例は時系列の自動回帰分析を使用する。いくつかの実施例は、多くの異なるタイプを代表する、「良好な」溶接と「逸脱した」溶接とのスペクトルに対して、モデルを訓練する。いくつかの実施例は、すべての特徴を明示的に定義することを必要としない。
【0066】
いくつかの実施例において、ニューラルネットワークモデルは、以前に明示的に見られなかった状態（または画像）が提示された場合でも、容認可能な溶接を予測するように学習する。いくつかの実施例は、サブパターン（例えば、低レベルのパターン）、または完全な溶接画像もしくは全体の溶接画像に基づくパターンを認識し、新しい特徴（つまり、訓練時に見られなかった特徴）に対して、ユーザによって基準として定義された品質特性を、確率論に基づいて割り当てる。
【0067】
いくつかの実施例は、入力画像から特徴およびパターンを検出し、溶接イベント全体にわたってデータを収集し、画像化されたパターンに意味を割り当て、そして、最適な特徴付け、画像化、および溶接プロセスから品質の予測のために、エンジニアリング特徴と統計的に意味のある相互作用との自動抽出を実行する。
【0068】
いくつかの実施例は、溶接機からのプロセスパラメータデータを統合し、当該プロセスパラメータデータは、シールドガスの流量、温度、および圧力、電圧、電流、ワイヤ供給速度および温度（適用可能な場合）、部品の予熱温度／パス間温度、および／または、部品と溶接トーチとの相対速度を含む。
コンピュータビジョンのアプリケーションの例示
コンピュータビジョンのアプリケーションの例示
【0069】
いくつかの実施例において、１つ以上のセンサは、液体のたまりの形状を（溶接プロセス中に）監視し、輝点として見える放射率の異なる酸化物の付着またはその他の汚染物の付着、または、電極の蓄積、劣化、アークムラ等のイベントや特徴も監視する。いくつかの実施例は、フィルタリング技術および／またはカメラの組み合わせを使用して、電極、アーク、または溶接池などの画像の特徴を強調表示する。
【0070】
いくつかの実施例において、画像が順番に展開され、様々な構成での溶接品質が表示される。図７Ａは、いくつかの実施例に基づく溶接プロセス中に取得された画像７００の例示を示す。図７Ａは、溶接池の表面に形成され、かつ周期的に溶接池の側面に付着して冷却する泡７０２を示す。いくつかの実施例において、品質の低いイベントを特定するように、アルゴリズムが画像を使用して良好な溶接パターンを学習し、異常を特定し、および／または、欠陥パターンを学習する。特徴付けのために、いくつかの特徴は、溶接池が固化するときのように見えるままに残り得る。
【0071】
図７Ｂは、いくつかの実施例に基づく溶接プロセスの画像の例示を示す。「開始」のラベルが付けされた画像７０４は、溶接された材料の初期状態に対応する。次の画像７０６は、左側の溶接部および右側の異常を示す。次の画像７０８は、左側の溶接が進行中における正常な状態を示す。次の画像７１０は、溶接異常である左側のボウイング（または曲がり）を示す。次の画像７１２および画像７１４は、両側が溶接された場合、および中央が溶接された場合にそれぞれに対応する。
【0072】
図７Ｃは、いくつかの実施例に基づく、レーザプロファイルを使用して溶接品質を推測するためのプロセス７２０の例示を示す。いくつかの実施例は、溶接後の表面７２２に投影されるレーザ光を使用して、溶接表面とボイドの３Ｄプロファイル７２４を提供する。いくつかの実施例は、取得されるビデオに基づいて、ビードボリューム分析（ｐｅｒｆｏｒｍ ｂｅａｄ ｖｏｌｕｍｅ ａｎａｌｙｔｉｃｓ）７２８を実行する。図７Ｃにおいて、赤いビード７２６は、他の３つの色またはバンドよりも体積が大きく、形が崩れており、ビードから外れた状態を示す。いくつかの実施例は赤いビードのボリュームおよび形状を判定する。いくつかの実施例は、溶接の塊を使用して物理的な欠陥を検査する。いくつかの実施例において、この種類の欠陥は、分析デジタルツイン（例えば、赤い領域７２６）のボリュームと形状に関連している。
【0073】
図７Ｄは、いくつかの実施例に基づくプロファイル進行７３０の例示を示す。いくつかの実施例は、レーザプロファイルを訓練に機械学習アルゴリズムを使用し、溶接プロセス中に品質特徴に関するプロファイルおよび位置合わせをパラメータ化する。いくつかの実施例において、レーザプロファイルの進行は垂直に行われる（すなわち、プロファイル面は溶接面に対して垂直である）。いくつかの実施例において、学習パターンを強化するために、レーザプロファイル進行は、溶接面に対して角度をなして行われる。
【0074】
図７Ｅは、いくつかの実施例に基づく電極イベントの画像の例示７３２を示す。図７Ｆは、いくつかの実施例に基づく、溶接池のアークイベントの画像の例示７３４を示す。この例は、いくつかの実施例に基づく融合の欠如を示し、当該融合の欠如は、表面下の空隙率および表面下のボイドによって、金属が溶接プールからチャネル（図７Ｃのグラフ内の赤い領域）に流出する原因となるものである。図７Ｇは、いくつかの実施例に基づく、欠陥のある、進行中の溶接の画像の例示７３６を示す。特に、示された欠陥はボイド（欠陥の一種）７３８を含む。いくつかの実施例において、溶接部の顕微鏡写真は機械学習アルゴリズムの訓練に使用している。訓練が完了すると、機械学習アルゴリズムは、溶融池の形状、冷却プロファイルなどの進行中の溶接を撮影する画像、および／または、明示的に定義されていない（かつ、画像のパターンで取得された）変数を使用して、そのような欠陥に繋がる状態を検出する。図７Ｇは、いくつかの実施例に基づく、良好な接合点７４０の例示も示す。いくつかの実施例は、溶接欠陥を検出するように、良好な接合部とボイドの例示を使用し、１つ以上の機械学習分類器を訓練する。いくつかの実施例は、適切な寸法を使用して、そのような状態、および／またはデジタルツイン内の欠陥を表示する。図７Ｈは、いくつかの実施例に基づく円形状の溶接部から展開された（または平坦化された）画像７４２を示す。いくつかの実施例は、ボイドに関連する欠陥を特定する。いくつかの実施例は、画像（例えば、ラベル７４４－２およびラベル７４４－４）に欠陥または異常を自動的に注釈付ける。図７Ｉは、いくつかの実施例に基づく溶接欠陥７４６の確認を示す。
【0075】
図８Ａは、いくつかの実施例に基づく電子ビーム溶接の溶接画像８００を示す。いくつかの実施例において、連続画像によって、溶接形状、速度スパッタ、熱パターンなどの時系列パターンが取得される。図８Ａは、いくつかの実施例に基づいて、溶接デジタルツインを含む進行中の画像８０２の例示も示し、当該溶接デジタルツインは熱プロファイルを含む。いくつかの実施例は、この画像を使用して、溶接されたままのシームのデジタルツインのデータ層を形成し、結果として品質特徴（例えば、欠陥）を生成する。
【0076】
いくつかの実施例において、連続画像は、進行中の溶接の（予測された）最終状態の３Ｄデジタル表現に整合される。いくつかの実施例は、観察された溶接条件および／またはイベントに基づいて、最終状態の品質特徴を有する、溶接されたままの境界を示す（最終状態の品質特徴は、直接観察されるものか、所定の閾値（例えば、９０％の信頼レベル）よりも高い信頼レベルで予測されるものである）。
【0077】
いくつかの実施例は、溶接プールのテクスチャ、波紋模様、および／または溶接プールの形状を取得する。いくつかの実施例は、人工知能を使用して、人間の検査員の要件に合わせて視覚的インジケータの生成を、複製するおよび／または自動化する。いくつかの実施例は、（溶接製品の）冷却された状態を分析し、溶接時に取得された画像と関連付けて、溶接不良の原因を特定する。いくつかの実施例は時系列ニューラルネットを使用する。いくつかの実施例は測定パラメータのスカラーデータを使用する。いくつかの実施例において、カメラは、樹脂および焼結プロセスを使用した光学カメラテストによって校正されている。いくつかの実施例は、関心のある品質特徴を有するデジタルツインを生成し、当該関心のある品質特徴は、付加製造アプリケーションにおけるＣＴスキャン（ＮＤＥ）および／またはＤＥ評価（顕微鏡検査）と一致する。図８Ｂは、いくつかの実施例に基づくデータモデルを検証するためのＣＴスキャン８０８を示す。図８Ｂは、顕微鏡によって検出された破壊評価（ｄｅｓｔｒｕｃｔｉｖｅ ｅｖａｌｕａｔｉｏｎ、ＤＥ）孔８１０示し、当該顕微鏡は従来の破壊評価を示す。
【0078】
図９は、いくつかの実施例に基づく進行中の溶接プロセスのｉｎ－ｓｉｔｕ検査のためのプロセスの例示９００である。溶接画像９０２は、溶接品質が定量化される（９０８）前に、前処理され（９０４）、分類され（９０６）、そして、品質特徴（例えば、溶接欠陥および場所）が自動的に抽出され（９１０）、および／または、視覚化される。図９Ａは、いくつかの実施例に基づく、場所（クラスＡ、クラスＢ、およびクラスＣ）ごとの溶接種類（または欠陥種類）の数の視覚化の例示を示す。
【0079】
図１０Ａは、いくつかの実施例に基づくシステム１０００のブロック図であり、当該システム１０００は、溶接欠陥を識別するおよび／または予測するように、１つ以上の回帰モデル（または機械学習モデル）を訓練する。いくつかの実施例は、欠陥のある溶接画像１００２（例えば、ＮＯＧ－ＢからのＴＩＧリスト）を取得し、溶接欠陥のない溶接画像も取得する。いくつかの実施例において、欠陥のある、または欠陥のない溶接画像は、人工的に作成され、ニューラルネットワークモデルを訓練することに利用される。
【0080】
いくつかの実施例は、続いて溶接画像を機械学習モデルに渡す。溶接欠陥を直接的に予測または識別する分類モデルを使用する代わりに、いくつかの実施例は、回帰モデルを訓練し、進行中の溶接プロセスに対して溶接欠陥を予測する。図１０Ｂを参照して以下に説明するように、回帰モデルに基づいて、いくつかの実施例は溶接欠陥を識別または予測する。
【0081】
いくつかの実施例において、方法１０００はコンピュータシステムで実行され、コンピュータシステムは、１つ以上のプロセッサと、当該１つ以上のプロセッサによって実行されるために構成された１つ以上のプログラムを記憶するメモリと、を有する。この方法は、いくつかの実施例に基づいて、溶接欠陥を予測するまたは識別するための回帰モデル１０１２を構築する。方法は、複数の溶接画像１００２を取得することを含む。それぞれの溶接画像は、溶接欠陥または良好な溶接（すなわち、溶接欠陥なし）のいずれかを含む。溶接画像の例示については、いくつかの実施例に基づく図７Ａ～７Ｉを参照して上で説明された。
【0082】
方法は、溶接画像１００２から特徴を抽出して１つ以上の溶接パラメータを統合することによって、溶接特徴１００６を生成すること（１００４）を含む。方法は、溶接特徴に基づいて特徴ベクトル１０１０を形成すること（１００８）も含む。方法は、溶接欠陥を予測または特定するように、特徴ベクトル１０１０を使用して、回帰モデル１０１４（例えば、上述した機械学習モデル）を訓練すること（１０１２）をさらに含む。
【0083】
図１０Ｂは、いくつかの実施例に基づくシステム１０２０のブロック図であり、システム１０２０は、訓練された回帰モデル（例えば、図１０Ａを参照して上述したプロセスを介して訓練された回帰モデル１０１４）を使用して、溶接プロセスのｉｎ－ｓｉｔｕ検査を容易にする。
【0084】
別の態様において、進行中の溶接プロセスに対して溶接欠陥を検出する、識別する、および／または視覚化するための方法（溶接品質のｉｎ－ｓｉｔｕ検査と呼ばれる）は提供される。この方法は、コンピュータシステム２００で実行され、当該コンピュータシステム２００は、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるために構成された１つ以上のプログラムを記憶するメモリと、を有する。この方法は、１つ以上のカメラから溶接画像１０２２を受信することを含む。方法は、図１０Ａを参照して上で説明したように、溶接画像１０２２および／または溶接パラメータに基づいて複数の溶接特徴を生成すること（１００４）も含む。方法は、特徴ベクトル１０２６ ｖ＝［ｖ１，ｖ２，…，ｖｎ］（例えば、図１０Ａを参照して上で説明したもの）を形成すること（１００８）を含み、特徴ベクトル１０２６の成分は複数の特徴を含む。
【0085】
方法は、特徴ベクトル１０２６に基づいて、訓練された分類器（例えば、分類器１０１４）を使用して、溶接欠陥１０３０を予測するまたは検出すること（１０２８）をさらに含む。
【0086】
いくつかの実施例において、方法は、識別された溶接欠陥１０３０に基づいて視覚化すること（例えば、３Ｄモデルを生成すること）（１０３２）も含む。いくつかの実施例において、生成された３Ｄまたは視覚的モデル１０３４（例えば、さらなる検査のためのモデル）によって、溶接欠陥が確認される（または示される）。
【0087】
いくつかの実施例において、方法は、ユーザ（例えば、人間の検査員または操作員）が溶接欠陥を視覚化して識別されたおよび／または修復し、修復された溶接部品を入手することを容易にする（１０３６）。
【0088】
本開示の発明の説明で使用される用語は、特定の実施例のみを説明するためのものであり、発明を限定することを意図したものではない。発明の説明および添付の特許請求の範囲で使用されるように、単数形の名詞は、文脈が明らかにそうでないことを示さない限り、複数形も含むことを意図している。本開示で使用される「および／または」という用語は、関連するかつ列挙された項目の１つまたは複数のあらゆる可能な組み合わせを指して包含することも理解されるであろう。本開示で使用される「含む」という用語は、および／または「含み」という用語は、記載された特徴、ステップ、操作、要素、および／または構成要素の存在を特定するが、１つまたは複数の他の特徴、ステップ、操作、要素、コンポーネント、および／またはグループの存在または追加を排除しないことが、さらに理解されるであろう。
【0089】
前述した説明は、説明の目的で、特定の実施例を参照して行われた。しかしながら、上述した例示的な検討は、網羅的であること、または開示された形態そのままに本発明を限定することを意図していない。上述した教示を考慮して、多くの変化および変形が可能である。実施例は、本発明の原理とその実際の応用を最もよく説明するために選択され、記載されており、よって、他の当業者は、本発明と、考えられる特定の用途に適した様々な変化を加えた様々な実施例とを、最大限に利用できるようになっている。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図4A】
【図4B】
【図4C】
【図5A】
【図5B】
【図6A】
【図6B】
【図7A】
【図7B】
【図7C】
【図7D】
【図7E】
【図7F】
【図7G】
【図7H】
【図7I】
【図8A】
【図8B】
【図9】
【図10A】
【図10B】
【国際調査報告】