特開 2024-91108 溶接監視システム、溶接監視方法、および溶接監視プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024091108

(43)【公開日】2024-07-04

(54)【発明の名称】溶接監視システム、溶接監視方法、および溶接監視プログラム

(51)【国際特許分類】

   B23K 31/00 20060101AFI20240627BHJP

   G06T 7/00 20170101ALI20240627BHJP

【ＦＩ】

B23K31/00 Z

G06T7/00 610C

G06T7/00 350B

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022207562

(22)【出願日】2022-12-23

(71)【出願人】

【識別番号】000233055

【氏名又は名称】株式会社日立ソリューションズ

(71)【出願人】

【識別番号】000001258

【氏名又は名称】ＪＦＥスチール株式会社

(74)【代理人】

【識別番号】110000279

【氏名又は名称】弁理士法人ウィルフォート国際特許事務所

(72)【発明者】

【氏名】山吹 学

(72)【発明者】

【氏名】小林 直人

(72)【発明者】

【氏名】▲高▼岡 叡史

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA03

5L096AA06

5L096BA02

5L096DA01

5L096DA03

5L096GA08

5L096HA11

5L096KA04

5L096KA15

(57)【要約】

【課題】溶接の実施を検知する。
【解決手段】溶接の実施を監視する溶接監視システムであって、記憶装置が、時系列に連なる第１の所定個のフレームにわたるグレースケール画像とグレースケール画像のフレーム間の差分をとった第２の所定個の差分画像とを入力とし溶接の有無を検知した検知結果を出力する人工知能モデルを記録しており、プロセッサがソフトウェアプログラムを実行することにより、溶接における監視領域を撮影した時系列に連なる監視画像から、時系列に連なる第１の所定個のフレームにわたるグレースケール監視画像と、グレースケール監視画像のフレーム間の差分をとった第２の所定個の差分監視画像とを生成し、グレースケール監視画像および差分監視画像を人工知能モデルに入力し、人工知能モデルの出力から検知結果を取得する。
【選択図】図７

【特許請求の範囲】

【請求項1】

溶接の実施を監視する溶接監視システムであって、
ソフトウェアプログラムおよび該ソフトウェアプログラムの実行に用いられるデータを格納する記憶装置と、
前記データを用いて前記ソフトウェアプログラムを実行するプロセッサとを有し、
前記記憶装置は、時系列に連なる第１の所定個のフレームにわたるグレースケール画像と前記グレースケール画像のフレーム間の差分をとった第２の所定個の差分画像とを入力とし溶接の有無を検知した検知結果を出力する人工知能モデルを記録しており、
前記プロセッサが前記ソフトウェアプログラムを実行することにより、
前記溶接における監視領域を撮影した時系列に連なる監視画像から、時系列に連なる第１の所定個のフレームにわたるグレースケール監視画像と、前記グレースケール監視画像のフレーム間の差分をとった第２の所定個の差分監視画像とを生成し、
前記グレースケール監視画像および前記差分監視画像を前記人工知能モデルに入力し、前記人工知能モデルの出力から検知結果を取得する、
溶接監視システム。

【請求項2】

前記人工知能モデルは、前記グレースケール画像と、前記差分画像と、画像内の溶接による現象が現れている領域を示す溶接現象領域情報と、前記現象の種類を示す溶接クラス情報とを含む学習データを学習することにより構築された人工知能モデルである、
請求項１に記載の溶接監視システム。

【請求項3】

前記学習データにおける前記溶接現象領域情報および前記溶接クラス情報はアノテーションにより与えられた情報であり、
前記溶接現象領域情報は、画像内の前記現象が現れている領域を矩形で示す情報である、
請求項２に記載の溶接監視システム。

【請求項4】

前記現象の種類として煙があり、
前記煙の前記溶接現象領域情報は、前記煙が現れている領域に形状および大きさの互いに異なる複数の矩形を互いに重ならないように配置するアノテーションにより得た情報である、
請求項３に記載の溶接監視システム。

【請求項5】

前記第１の所定個および前記第２の所定個が、それぞれ３個である、
請求項１に記載の溶接監視システム。

【請求項6】

前記検知結果において溶接による現象が検知されたら、前記監視画像または前記グレースケール監視画像に前記溶接による現象の発生位置を示す画像オブジェクトを重畳して表示する、
請求項１に記載の溶接監視システム。

【請求項7】

溶接監視システムによる、溶接の実施を監視する溶接監視方法であって、
溶接監視システムは、
ソフトウェアプログラムと、該ソフトウェアプログラムの実行に用いられるデータと、人工知能モデルとを格納する記憶装置と、
前記データを用いて前記ソフトウェアプログラムを実行するプロセッサとを有し、
前記人工知能モデルは、時系列に連なる第１の所定個のフレームにわたるグレースケール画像と前記グレースケール画像のフレーム間の差分をとった第２の所定個の差分画像とを入力とし溶接の有無を検知した検知結果を出力する人工知能モデルであり、
前記プロセッサが前記ソフトウェアプログラムを実行することにより、
前記溶接における監視領域を撮影した時系列に連なる監視画像から、時系列に連なる第１の所定個のフレームにわたるグレースケール監視画像と、前記グレースケール監視画像のフレーム間の差分をとった第２の所定個の差分監視画像とを生成し、
前記グレースケール監視画像および前記差分監視画像を前記人工知能モデルに入力し、前記人工知能モデルの出力から検知結果を取得する、
溶接監視方法。

【請求項8】

溶接の実施を監視する溶接監視プログラムであって、
人工知能モデルを記録した記憶装置と、プロセッサとを備える溶接監視システムに、
前記溶接における監視領域を撮影した時系列に連なる監視画像から、時系列に連なる第１の所定個のフレームにわたるグレースケール監視画像と、前記グレースケール監視画像のフレーム間の差分をとった第２の所定個の差分監視画像とを生成し、
前記グレースケール監視画像および前記差分監視画像を前記人工知能モデルに入力し、前記人工知能モデルの出力から検知結果を取得する、ことを実行させ、
前記人工知能モデルは、時系列に連なる第１の所定個のフレームにわたるグレースケール画像と前記グレースケール画像のフレーム間の差分をとった第２の所定個の差分画像とを入力とし溶接の有無を検知した検知結果を出力する人工知能モデルである、
溶接監視プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、溶接監視システム、溶接監視方法、および溶接監視プログラムに関する。

【背景技術】

【0002】

特許文献１および特許文献２には、コンピュータによって溶接を監視する技術が開示されている。

【0003】

特許文献１に開示されたシステムは、溶接領域から電磁放射を受けるように配置された複数の光ファイバを含む、溶接を行うための溶接ツールと、溶接中に複数の光ファイバから光信号を受信して光信号情報を生成する、光信号受信装置と、実行可能命令によってプログラムされて処理を実行する１つまたは複数のプロセッサを含む、計算装置とを含む。上記処理は、溶接中に複数の光ファイバを介して受信したそれぞれの光信号に基づく光信号情報を受信し、複数の光ファイバのうちの第１の光ファイバに対応する光信号情報と、複数の光ファイバのうちの第２の光ファイバに対応する光信号情報と、の比較を行い、比較に基づいて、溶接が不規則であるかどうかを判定し、溶接が不規則か否かに基づいて、少なくとも1つの動作を実行する、ことを含む。

【0004】

特許文献２に開示された溶接監視装置は、第１及び第２被溶接部材の間に形成された開先でアーク放電によって形成された溶融池と、未溶融の開先とを含む領域を撮影するカメラにより生成された画像データを取得する取得手段と、画像データに含まれる、溶接進行方向の溶融池の先端点と、未溶融の開先の縁線とを特定する特定手段と、溶融池の先端点と未溶融の開先の縁線との位置関係に基づいて溶融状態を判定する判定手段と、を備える。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１９－１８８４７０号公報

【特許文献2】特開２０１９－１９５８１１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

工場等において、溶接が実施されていることをリアルタイムで監視する技術が求められている。しかしながら、特許文献１および特許文献２のシステムはいずれも溶接が良好に行われたか否かを判定するためのものであり、溶接の実施を検知するには不向きであった。

【0007】

本開示に含まれるひとつの目的は、溶接の実施を検知することを可能にする技術を提供することである。

【課題を解決するための手段】

【0008】

本開示に含まれるひとつの態様による溶接監視システムは、溶接の実施を監視する溶接監視システムであって、ソフトウェアプログラムおよび該ソフトウェアプログラムの実行に用いられるデータを格納する記憶装置と、前記データを用いて前記ソフトウェアプログラムを実行するプロセッサとを有し、前記記憶装置は、時系列に連なる第１の所定個のフレームにわたるグレースケール画像と前記グレースケール画像のフレーム間の差分をとった第２の所定個の差分画像とを入力とし溶接の有無を検知した検知結果を出力する人工知能モデルを記録しており、前記プロセッサが前記ソフトウェアプログラムを実行することにより、前記溶接における監視領域を撮影した時系列に連なる監視画像から、時系列に連なる第１の所定個のフレームにわたるグレースケール監視画像と、前記グレースケール監視画像のフレーム間の差分をとった第２の所定個の差分監視画像とを生成し、前記グレースケール監視画像および前記差分監視画像を前記人工知能モデルに入力し、前記人工知能モデルの出力から検知結果を取得する。

【0009】

本開示に含まれるひとつの態様による溶接監視方法は、溶接監視システムによる、溶接の実施を監視する溶接監視方法であって、溶接監視システムは、ソフトウェアプログラムと、該ソフトウェアプログラムの実行に用いられるデータと、人工知能モデルとを格納する記憶装置と、前記データを用いて前記ソフトウェアプログラムを実行するプロセッサとを有し、前記人工知能モデルは、時系列に連なる第１の所定個のフレームにわたるグレースケール画像と前記グレースケール画像のフレーム間の差分をとった第２の所定個の差分画像とを入力とし溶接の有無を検知した検知結果を出力する人工知能モデルであり、前記溶接における監視領域を撮影した時系列に連なる監視画像から、時系列に連なる第１の所定個のフレームにわたるグレースケール監視画像と、前記グレースケール監視画像のフレーム間の差分をとった第２の所定個の差分監視画像とを生成するステップと、前記グレースケール監視画像および前記差分監視画像を前記人工知能モデルに入力し、前記人工知能モデルの出力から検知結果を取得するステップと、を有する。

【0010】

本開示に含まれるひとつの態様による溶接監視プログラムは、溶接の実施を監視する溶接監視プログラムであって、人工知能モデルを記録した記憶装置と、プロセッサとを備える溶接監視システムに、前記溶接における監視領域を撮影した時系列に連なる監視画像から、時系列に連なる第１の所定個のフレームにわたるグレースケール監視画像と、前記グレースケール監視画像のフレーム間の差分をとった第２の所定個の差分監視画像とを生成する機能と、前記グレースケール監視画像および前記差分監視画像を前記人工知能モデルに入力し、前記人工知能モデルの出力から検知結果を取得する機能とを実現させ、前記人工知能モデルは、時系列に連なる第１の所定個のフレームにわたるグレースケール画像と前記グレースケール画像のフレーム間の差分をとった第２の所定個の差分画像とを入力とし溶接の有無を検知した検知結果を出力する人工知能モデルである。

【発明の効果】

【0011】

本開示のひとつの態様によれば、溶接の実施を検知することを可能となる。

【図面の簡単な説明】

【0012】

【図1】本開示の実施形態の少なくとも一つに対応する、溶接の実施を監視する溶接監視システムの構成例を示す概念図である。

【図2】本開示の実施形態の少なくとも一つに対応する、処理装置の構成例を示す概念図である。

【図3】本開示の実施形態の少なくとも一つに対応する、処理装置の機能ブロックを例示する概念図である。

【図4】本開示の実施形態の少なくとも一つに対応する、学習部における学習処理を例示するフローチャートである。

【図5】本開示の実施形態の少なくとも一つに対応する、アノテーション作業を例示する概念図である。

【図6】本開示の実施形態の変形例に対応する、アノテーション作業を例示する概念図である。

【図7】本開示の実施形態の少なくとも一つに対応する、監視画像の加工処理を例示する概念図である。

【図8】本開示の実施形態の少なくとも一つに対応する、機械学習に用いられる学習データを例示する概念図である。

【図9】本開示の実施形態の少なくとも一つに対応する、現場監視処理のフローチャートである。

【図10】本開示の実施形態の少なくとも一つに対応する、人工知能モデルへの入力データを例示する概念図である。

【図11】本開示の実施形態の少なくとも一つに対応する、検知結果の出力例を示す概念図である。

【発明を実施するための形態】

【0013】

以下、本発明の実施形態について図面を参照して説明する。

【0014】

図１は、本開示の実施形態の少なくとも一つに対応する、溶接の実施を監視する溶接監視システムの構成例を示す概念図である。

【0015】

溶接監視システム１００は、処理装置１と撮影装置２とを備える。撮影装置２は、現場サイトＳの監視画像を撮影する。溶接の監視を行う場合、撮影装置２は、溶接における監視領域を撮影した時系列に連なる監視画像を撮影する。

【0016】

処理装置１は管理部門に配置され、撮影装置２は現場サイトＳの監視画像を撮影可能な位置に配置される。処理装置１と撮影装置２とは、有線または無線によって通信可能に接続される。処理装置１は、撮影装置２から監視画像を取得する。なお、処理装置１と撮影装置２とが一体化されていてもよい。

【0017】

図２は、本開示の実施形態の少なくとも一つに対応する、処理装置の構成例を示す概念図である。

【0018】

処理装置１は、プロセッサ１１と、メインメモリ１２と、記憶装置１３と、通信装置１４と、入力装置１５と、表示装置１６とを有する。プロセッサ１１と、メインメモリ１２と、記憶装置１３と、通信装置１４と、入力装置１５と、表示装置１６は、バス１７を介して相互に接続される。

【0019】

プロセッサ１１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等で構成される。プロセッサ１１は、溶接監視システム１００の各部の動作を全体的に統括するための制御処理、外部装置との間のデータの入出力処理、データの計算処理、およびデータの記憶処理を行う。プロセッサ１１は、メインメモリ１２または記憶装置１３に保存されたデータを用いて、ソフトウェアプログラムを実行する。

【0020】

メインメモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などで構成され、プロセッサ１１が処理対象とするデータを保存する。メインメモリ１２は、キャッシュとも呼ばれる。

【0021】

記憶装置１３は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの磁気記憶媒体、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの半導体記憶媒体等を有する。その他、磁気テープメディアなどの公知の記憶媒体も記憶装置１３に含まれ得る。記憶装置１３は、プロセッサ１１が実行するソフトウェアプログラムおよび該ソフトウェアプログラムの実行に用いられるデータを格納する。

【0022】

通信装置１４は、撮影装置２と有線または無線によって接続され、処理装置１と撮影装置２との間のデータ通信を行う機能を有する。

【0023】

入力装置１５は、例えばマウス、キーボード、タッチパネル等によって構成され、ユーザからの入力を受け付ける。

【0024】

表示装置１６は、ディスプレイ等によって構成され、処理装置１による各種の処理結果を表示する。

【0025】

図３は、本開示の実施形態の少なくとも一つに対応する、処理装置の機能ブロックを例示する概念図である。

【0026】

画像加工部１０４は、撮影装置２が撮影した画像を取得し、取得した画像を加工して、加工後のデータを学習部１０１および推論部１０３に出力する。

【0027】

学習部１０１は、画像加工部１０４から入力された加工後のデータに基づいて機械学習を行い、学習済みモデルを構築する。構築された学習済みモデルはモデル記憶部１０２に記憶される。

【0028】

推論部１０３は、画像加工部１０４から入力された加工後のデータを、モデル記憶部１０２から取得した学習済みモデルに入力することにより、推論を行う。ＵＩ部１０５は、推論部１０３による推論結果のデータを出力する。

【0029】

各機能ブロックである学習部１０１、モデル記憶部１０２、推論部１０３、画像加工部１０４、およびＵＩ部１０５は、プロセッサ１１、メインメモリ１２、記憶装置１３、通信装置１４、入力装置１５および表示装置１６等により実装されてよい。

【0030】

なお、各機能ブロックは上記とは異なるハードウェア資源によって実装されてもよい。例えば、１以上の機能ブロックが処理装置１から見た外部装置によって実装されてもよい。処理装置１が有する通信装置１４は、たとえば図示を省略するインターネットなどネットワークを介して外部装置と通信可能に接続される。そして、処理装置１と外部装置とにそれぞれ含まれる機能ブロックを組み合わせて、図３に示した機能ブロックを実装してもよい。

【0031】

図４は、本開示の実施形態の少なくとも一つに対応する、学習部における学習処理を例示するフローチャートである。なお、処理主体はプロセッサ１１であるとして説明する。

【0032】

画像加工部１０４としてのプロセッサ１１は、画像を取得する（Ｓ１１）。取得対象となる画像は、撮影装置２が溶接における監視領域を撮影した、時系列に連なる監視画像である。

【0033】

次に、監視画像に対してアノテーション処理を行う（Ｓ１２）。アノテーション処理につき、図５を参照する。図５は、本開示の実施形態の少なくとも一つに対応する、アノテーション作業を例示する概念図である。

【0034】

アノテーション処理は、ユーザの手作業を伴いつつ、プロセッサ１１が行う。まず、プロセッサ１１は、取得した画像をＵＩ部１０５としての表示装置１６に表示させる。ユーザがＵＩ部１０５としての入力装置１５を操作して、アノテーション作業を行う。より具体的には、ユーザは表示装置１６に表示された画像を見ながら、閃光、火花、煙などの溶接現象が画像に映り込んでいる箇所を特定する。この特定は、一般的には当該箇所を矩形Ｒで囲むことにより行われる。

【0035】

例えば閃光がクラス１、煙がクラス２、火花がクラス３、などのように、溶接現象はクラス分けされていてよい。画像加工部１０４としてのプロセッサ１１は、ユーザが矩形などで特定した箇所の座標情報（x（最小）、ｙ（最小）、x（最大）、y（最大））と、その箇所が属するクラス（閃光、煙、火花）を示す溶接クラス情報とを、アノテーション情報として取得する。座標情報は、溶接現象が発生している領域を示す情報であり、以下、溶接現象領域情報と表記する。すなわち、アノテーション情報は、溶接クラス情報と、溶接現象領域情報とを含む。

【0036】

上記のアノテーション情報は、後述のモデル学習ステップＳ１４において学習データとして用いられる。すなわち、学習データにおける溶接現象領域情報および溶接クラス情報はアノテーションにより与えられた情報であり、溶接現象領域情報は、画像内の現象が現れている領域を矩形で示す情報である。

【0037】

図６は、本開示の実施形態の変形例に対応する、アノテーション作業を例示する概念図である。

【0038】

図６は、煙のクラスについてのアノテーション方法を示している。溶接時に煙が発生することがある。煙はどこまでが煙でどこからが煙でないのかの境界が明確なものではない。そのため、アノテーション作業時にユーザは、煙を矩形で囲う範囲をどうすればよいか判断に困ることがある。

【0039】

そのため、本実施の形態においては、画像中の煙が現れている領域に、形状および大きさの互いに異なる複数の矩形を互いに重ならないように配置するようにアノテーションを行ってよい。すなわち、溶接現象の種類として煙があり、煙が現れている領域に形状および大きさの互いに異なる複数の矩形を互いに重ならないように配置するアノテーションにより得た情報が、アノテーション作業の結果得られる煙の溶接現象領域情報となる。煙の領域を複数の矩形を配置してアノテーションを行うことにより、煙の濃さによっては背景が影響する恐れがあるところ、複数の矩形を組み合わせることにより一定以上の濃さの領域を適切に示すことができ、溶接による煙を良好に検知することが可能となる。

【0040】

図４を再び参照する。画像加工部１０４としてのプロセッサ１１は、監視画像を加工する（Ｓ１３）。加工処理の詳細については後述する。学習部１０１としてのプロセッサ１１は機械学習（モデル学習）を行う（Ｓ１４）。この機械学習に用いられるデータについては後述する。

【0041】

（監視画像の加工処理）
図７は、本開示の実施形態の少なくとも一つに対応する、監視画像の加工処理を例示する概念図である。

【0042】

図１を参照して上述したように、撮影装置２が撮影するのは、溶接における監視領域を撮影した時系列に連なる監視画像である。この時系列に対応する時間軸方向が、図７において長い矢印で示されている。時系列に連なる監視画像として、フレーム－３、フレーム－２、フレーム－１、フレーム０の４つのフレームが例示されている。なお、この４つのフレームのうち、フレーム－３が最も古いフレームであり、フレーム０は最も新しい、現在を示すフレームである。フレームレートは、例えば１０ＦＰＳから３０ＦＰＳである。

【0043】

撮影装置２は、監視画像を３チャネルのカラー画像として撮影したとする。画像加工部１０４としてのプロセッサ１１は、３チャネルのカラー画像を１チャネルのグレースケール画像に変換する。この変換により、時系列に連なる複数のフレームにわたるグレースケール画像が得られる。

【0044】

画像加工部１０４としてのプロセッサ１１は、グレースケール画像のフレーム間の差分をとった差分画像を生成する。

【0045】

（機械学習に用いられる学習データ）
図８は、本開示の実施形態の少なくとも一つに対応する、機械学習に用いられる学習データを例示する概念図である。

【0046】

学習部１０１としてのプロセッサ１１は、時系列に連なる第１の所定個のフレームにわたるグレースケール画像と、グレースケール画像のフレーム間の差分をとった第２の所定個の差分画像と、上述のアノテーション情報とを用いて学習データとして用いて機械学習を行う。アノテーション情報は、溶接クラス情報と、溶接現象領域情報とを含む。グレースケール画像と差分画像は人工知能モデルの入力データ側で用いられる。アノテーション情報は人工知能モデルの出力側で教師データとして用いられる。また、アノテーション情報は、溶接の有無を検知した検知結果に対応する。

【0047】

第１の所定個および第２の所定個は、例えばそれぞれ３個である。ただし、第１の所定個は３個以外であってもよく、第２の所定個も３個以外であってよい。

【0048】

学習部１０１としてのプロセッサ１１が上記の学習データを用いて機械学習を行うことにより、人工知能モデルが得られる。モデル記憶部１０２としてのメインメモリ１２または記憶装置１３が、得られた人工知能モデルを記憶する。すなわち、記憶装置１３は、時系列に連なる第１の所定個のフレームにわたるグレースケール画像とグレースケール画像のフレーム間の差分をとった第２の所定個の差分画像とを入力とし、溶接の有無を検知した検知結果を出力する人工知能モデルを記録する。また、当該人工知能モデルは、グレースケール画像と、差分画像と、画像内の溶接による現象が現れている領域を示す溶接現象領域情報と、現象の種類を示す溶接クラス情報とを含む学習データを学習することにより構築された人工知能モデルである。

【0049】

なお、上記の実施形態では、学習時における人工知能モデルの出力側において矩形の枠によるアノテーション情報が用いられている。これ以外にも、例えば溶接されているならば１、溶接されていないならば０、等のようにスカラーで表現された情報を教師データとして用いて、学習部１０１としてのプロセッサ１１が機械学習を行ってもよい。この場合であっても、記憶装置１３はグレースケール画像と差分画像とを入力とし、溶接の有無を検知した検知結果を出力する人工知能モデルを記録することになる。

【0050】

ここで、学習データの一部として用いられる差分データについて補足的に説明する。現場サイトＳには、溶接装置の他にも、ロボットアーム等の多くの物体が存在する。そして、監視したいのは、溶接現象や溶接の有無である。

【0051】

溶接を行う際に、閃光、煙、または火花が出ることがある。これらの溶接現象は、時間の経過に沿って比較的大きく変化する。また、これらの溶接現象は変化が不定形である。そのため、従来の画像処理では閃光、煙、または火花などの溶接現象の検出が困難であった。一方、現場サイトＳに配置されたロボットアーム等の他の物体は、フレーム間においてそれほど大きな変化はないことが多い。そのため、差分画像を学習データとして用いることにより、より少ない学習データでも溶接現象を効率よく検知することができる。

【0052】

図９は、本開示の実施形態の少なくとも一つに対応する、現場監視処理のフローチャートである。なお、処理主体はプロセッサ１１であるとして説明する。

【0053】

画像加工部１０４としてのプロセッサ１１に、画像が入力される（Ｓ２１）。入力対象となる画像は、撮影装置２が溶接における監視領域を撮影した、時系列に連なる監視画像である。

【0054】

画像加工部１０４としてのプロセッサ１１は、監視画像を加工する（Ｓ２２）。より具体的には、画像加工部１０４としてのプロセッサ１１は、溶接における監視領域を撮影した時系列に連なる監視画像から、時系列に連なる第１の所定個のフレームにわたるグレースケール監視画像と、グレースケール監視画像のフレーム間の差分をとった第２の所定個の差分監視画像とを生成する。グレースケール監視画像および差分監視画像の生成の内容は、図４のステップＳ１３に基づいて上記したものと同様であるため、詳しい説明は省略する。

【0055】

推論部１０３としてのプロセッサ１１は推論を行う（Ｓ２３）。より具体的には、推論部１０３としてのプロセッサ１１は、グレースケール監視画像および差分監視画像を、モデル記憶部１０２に記憶された人工知能モデルに入力し、当該人工知能モデルの出力から検知結果を取得する。

【0056】

図１０は、本開示の実施形態の少なくとも一つに対応する、人工知能モデルへの入力データを例示する概念図である。

【0057】

第１の所定個および第２の所定個がそれぞれ３個ずつである場合、３チャネルのグレースケール監視画像と３チャネルの差分監視画像とを合わせた計６チャネルの画像が、人工知能モデルへの入力データになる。

【0058】

再び図９を参照する。プロセッサ１１は、取得した検知結果を出力する（Ｓ２４）。検知結果の出力は、後述のように矩形である画像オブジェクトを表示することであってよい。ただし、これには限られない。例えば、処理装置１がスピーカ等の音声出力装置を備えている場合、プロセッサ１１は、検知結果に応じた警報などを音声出力装置から発出させてもよい。

【0059】

プロセッサ１１は、現場監視処理を終了するか否かを判定する（Ｓ２５）。現場監視処理を終了すると判定された場合（Ｓ２５：Ｙｅｓ）、処理は終了となる。現場監視処理を終了しないと判定された場合（Ｓ２５：Ｎｏ）、ステップＳ２１に処理が戻る。なお、例えばユーザが入力装置１５としての終了ボタンを押下した際などに、プロセッサ１１が現場監視処理を終了すると判定してよい。

【0060】

図１１は、本開示の実施形態の少なくとも一つに対応する、検知結果の出力例を示す概念図である。

【0061】

検知結果において溶接による現象が検知された場合、プロセッサ１１は、監視画像またはグレースケール監視画像に、溶接現象の発生位置を示す画像オブジェクトを重畳して表示する。より具体的には、プロセッサ１１は推論結果として、クラス情報（閃光、煙、または火花）と座標情報（x（最小）、 ｙ（最小）、 x（最大）、 y（最大））とを取得する。そしてプロセッサ１１は、座標情報に対応する矩形である画像オブジェクトを、監視画像またはグレースケール監視画像に重畳して描画し、これを表示装置１６に表示させる。なお、クラス情報に応じて表示態様を変化させてもよい。例えば閃光であれば白色の矩形を、煙であれば黄色の矩形を、火花であれば青色の矩形を、画像オブジェクトとして表示するなどである。

【0062】

以上のように、溶接の実施を監視する溶接監視システム１００が、ソフトウェアプログラムおよび該ソフトウェアプログラムの実行に用いられるデータを格納する記憶装置１３と、データを用いてソフトウェアプログラムを実行するプロセッサ１１とを有する。記憶装置１３は、時系列に連なる第１の所定個のフレームにわたるグレースケール画像とグレースケール画像のフレーム間の差分をとった第２の所定個の差分画像とを入力とし溶接の有無を検知した検知結果を出力する人工知能モデルを記録している。プロセッサ１１がソフトウェアプログラムを実行することにより、溶接における監視領域を撮影した時系列に連なる監視画像から、時系列に連なる第１の所定個のフレームにわたるグレースケール監視画像と、グレースケール監視画像のフレーム間の差分をとった第２の所定個の差分監視画像とを生成する。プロセッサ１１がソフトウェアプログラムを実行することにより、グレースケール監視画像および差分監視画像を人工知能モデルに入力し、人工知能モデルの出力から検知結果を取得する。これにより、フレーム間の差分をとった差分画像により時間変化する箇所を指し示す情報を追加することにより、閃光、火花、煙のように形が変化する溶接現象を良好に検知することができる。

【0063】

人工知能モデルは、グレースケール画像と、差分画像と、画像内の溶接による現象が現れている領域を示す溶接現象領域情報と、現象の種類を示す溶接クラス情報とを含む学習データを学習することにより構築された人工知能モデルである。これにより、溶接現象を検知した際に、溶接クラスごとに溶接現象領域情報を出力することができる。

【0064】

学習データにおける溶接現象領域情報および溶接クラス情報はアノテーションにより与えられた情報であり、溶接現象領域情報は、画像内の現象が現れている領域を矩形で示す情報である。これにより、溶接現象を検知した際に、溶接クラスごとに溶接現象領域情報を矩形の領域として出力することができる。

【0065】

現象の種類として煙がある。煙の溶接現象領域情報は、煙が現れている領域に形状および大きさの互いに異なる複数の矩形を互いに重ならないように配置するアノテーションにより得た情報である。煙の領域を複数の矩形を配置してアノテーションを行うことにより、煙の濃さによっては背景が影響する恐れがあるところ、複数の矩形を組み合わせることにより一定以上の濃さの領域を適切に示すことができ、溶接による煙を良好に検知することが可能となる。

【0066】

第１の所定個および第２の所定個が、それぞれ３個である。これにより、溶接現象の時系列に沿った変化を適切に検出することができる。

【0067】

検知結果において溶接による現象が検知されたら、監視画像またはグレースケール監視画像に溶接による現象の発生位置を示す画像オブジェクトを重畳して表示する。これにより、溶接現象を検知した時に、溶接現象発生の事実と、発生位置とをユーザに適切に通知することができる。

【0068】

溶接監視システム１００が、ソフトウェアプログラムと、該ソフトウェアプログラムの実行に用いられるデータと、人工知能モデルとを格納する記憶装置１３と、データを用いてソフトウェアプログラムを実行するプロセッサ１１とを有する。当該溶接監視システム１００による、溶接の実施を監視する溶接監視方法が、溶接における監視領域を撮影した時系列に連なる監視画像から、時系列に連なる第１の所定個のフレームにわたるグレースケール監視画像と、グレースケール監視画像のフレーム間の差分をとった第２の所定個の差分監視画像とを生成するステップを有する。溶接監視方法が、グレースケール監視画像および差分監視画像を人工知能モデルに入力し、人工知能モデルの出力から検知結果を取得するステップを有する。人工知能モデルは、時系列に連なる第１の所定個のフレームにわたるグレースケール画像とグレースケール画像のフレーム間の差分をとった第２の所定個の差分画像とを入力とし溶接の有無を検知した検知結果を出力する人工知能モデルである。これにより、フレーム間の差分をとった差分画像により時間変化する箇所を指し示す情報を追加することにより、閃光、火花、煙のように形が変化する溶接現象を良好に検知することができる。

【0069】

溶接の実施を監視する溶接監視プログラムが、人工知能モデルを記録した記憶装置１３と、プロセッサ１１とを備える溶接監視システム１００に、溶接における監視領域を撮影した時系列に連なる監視画像から、時系列に連なる第１の所定個のフレームにわたるグレースケール監視画像と、グレースケール監視画像のフレーム間の差分をとった第２の所定個の差分監視画像とを生成する機能を実現させる。溶接監視プログラムが溶接監視システム１００に、グレースケール監視画像および差分監視画像を人工知能モデルに入力し、人工知能モデルの出力から検知結果を取得する機能を実現させる。人工知能モデルは、時系列に連なる第１の所定個のフレームにわたるグレースケール画像とグレースケール画像のフレーム間の差分をとった第２の所定個の差分画像とを入力とし溶接の有無を検知した検知結果を出力する人工知能モデルである。これにより、フレーム間の差分をとった差分画像により時間変化する箇所を指し示す情報を追加することにより、閃光、火花、煙のように形が変化する溶接現象を良好に検知することができる。

【0070】

上述した本発明の実施形態は、本発明の説明のための例示であり、本発明の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本発明の範囲を逸脱することなしに、他の様々な態様で本発明を実施することができる。

【符号の説明】

【0071】

１ 処理装置、２ 撮影装置、１１ プロセッサ、１２ メインメモリ、１３ 記憶装置、１４ 通信装置、１５ 入力装置、１６ 表示装置、１７ バス、１００ 溶接監視システム、１０１ 学習部、１０２ モデル記憶部、１０３ 推論部、１０４ 画像加工部、１０５ ＵＩ部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】