特許 7553849 ロウ付けシステム、ロウ付け方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-10

(45)【発行日】2024-09-19

(54)【発明の名称】ロウ付けシステム、ロウ付け方法、及びプログラム

(51)【国際特許分類】

   B23K 3/04 20060101AFI20240911BHJP

   B23K 1/00 20060101ALI20240911BHJP

【ＦＩ】

B23K3/04 Y

B23K1/00 A

【請求項の数】 10

(21)【出願番号】P 2023045889

(22)【出願日】2023-03-22

(65)【公開番号】P2023140344

(43)【公開日】2023-10-04

【審査請求日】2023-03-22

(31)【優先権主張番号】P 2022045173

(32)【優先日】2022-03-22

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002853

【氏名又は名称】ダイキン工業株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】大澤 正典

(72)【発明者】

【氏名】森 大輔

(72)【発明者】

【氏名】田中 勝也

(72)【発明者】

【氏名】岸田 啓史

(72)【発明者】

【氏名】北村 正樹

【審査官】黒石 孝志

(56)【参考文献】

【文献】特開２０２２－０１８９９２（ＪＰ，Ａ）

【文献】特開２０２０－０２２９７９（ＪＰ，Ａ）

【文献】特開平０７－０８８６３９（ＪＰ，Ａ）

【文献】特開平０６－１８２５３１（ＪＰ，Ａ）

【文献】国際公開第２０１９／０５８９１６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２３Ｋ １／００ － ３／０８

(57)【特許請求の範囲】

【請求項1】

ロウ材を撮像する画像センサと、ロウ付けを制御する制御部と、を備えたロウ付けシステムであって、
前記制御部は、
前記ロウ付けを開始した後に前記画像センサが撮像した撮像画像における前記ロウ材の形状に基づいてロウ材情報を生成し、
前記ロウ材情報に基づいて、前記ロウ付けの完了を判定し、完了信号を出力し、
前記撮像画像は、前記ロウ材を撮像した第１の画像と、前記第１の画像より前に前記ロウ材を撮像した第２の画像とを含み、
前記ロウ材情報は、前記ロウ付けによる前記ロウ材の変化度合いを表し、前記ロウ材の現在の前記撮像画像と、前記ロウ材の過去の前記撮像画像との差分を表す差分情報を含む、ロウ付けシステム。

【請求項2】

前記ロウ材情報は、前記ロウ材の前記ロウ付けの完了度合いを表し、前記ロウ材を撮像した画像フレームごとに取得した前記差分情報を加算した差分累積情報を含む、請求項１に記載のロウ付けシステム。

【請求項3】

前記ロウ材情報は、前記ロウ材の形状を表す形状情報、又は前記ロウ材の輝度を表す輝度情報を含む、請求項２に記載のロウ付けシステム。

【請求項4】

前記制御部は、前記ロウ材情報を特徴量として予め学習した機械学習モデルに、前記ロウ材情報を入力データとして入力して、前記ロウ付けの完了を判定する、請求項１乃至３のいずれか一項に記載のロウ付けシステム。

【請求項5】

前記機械学習モデルは、前記ロウ材情報と、前記ロウ付けが完了したか否かを示す教師データとを用いて、予め学習した機械学習モデルである、請求項４に記載のロウ付けシステム。

【請求項6】

前記機械学習モデルは、前記ロウ材情報を入力することにより、前記ロウ付けの完了度合いを出力するロウ付け完了度合い出力モデルであり、
前記制御部は、前記ロウ付け完了度合い出力モデルが出力する前記ロウ付けの完了度合いと、予め設定した閾値とに基づいて前記ロウ付けの完了を判定する、
請求項４に記載のロウ付けシステム。

【請求項7】

前記制御部は、前記ロウ付けの完了度合いに応じて、前記ロウ付けの加熱量を制御する制御情報を出力する、請求項２又は３に記載のロウ付けシステム。

【請求項8】

前記制御部は、前記ロウ材のロウ付け方法が火炎ロウ付けの場合、前記画像センサが撮像した撮像画像から炎の情報を分離して、前記ロウ材情報を生成する、請求項１乃至３のいずれか一項に記載のロウ付けシステム。

【請求項9】

ロウ材を撮像する画像センサと、ロウ付けを制御する制御部と、を備えたロウ付けシステムにおいて、
前記制御部が、
前記ロウ付けを開始した後に前記画像センサが撮像した撮像画像における前記ロウ材の形状に基づいてロウ材情報を生成し、
前記ロウ材情報に基づいて、前記ロウ付けの完了を判定し、完了信号を出力し、
前記撮像画像は、前記ロウ材を撮像した第１の画像と、前記第１の画像より前に前記ロウ材を撮像した第２の画像とを含み、
前記ロウ材情報は、前記ロウ付けによる前記ロウ材の変化度合いを表し、前記ロウ材の現在の前記撮像画像と、前記ロウ材の過去の前記撮像画像との差分を表す差分情報を含む、
ロウ付け方法。

【請求項10】

ロウ材を撮像する画像センサと、ロウ付けを制御する制御部と、を備えたロウ付けシステムにおいて、
前記制御部に、
前記ロウ付けを開始した後に前記画像センサが撮像した撮像画像における前記ロウ材の形状に基づいてロウ材情報を生成させ、
前記ロウ材情報に基づいて、前記ロウ付けの完了を判定させ、完了信号を出力させ、
前記撮像画像は、前記ロウ材を撮像した第１の画像と、前記第１の画像より前に前記ロウ材を撮像した第２の画像とを含み、
前記ロウ材情報は、前記ロウ付けによる前記ロウ材の変化度合いを表し、前記ロウ材の現在の前記撮像画像と、前記ロウ材の過去の前記撮像画像との差分を表す差分情報を含む、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ロウ付けシステム、ロウ付け方法、及びプログラムに関する。

【背景技術】

【0002】

配管等の金属を接合する際に、接合する金属よりも融点が低い合金（以下、ロウ材と呼ぶ）を溶かして、接合する金属の間に浸透させることにより、金属の間を接合するロウ付けが行われている。

【0003】

また、被接合金属のロウ付け部の温度上昇によって放射される光を撮像した画像信号をデジタル化し、各画素の輝度値からロウ付け部の温度を判断し、温度が目標値となるようにロウ付けを制御する自動ロウ付け装置が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平６－１８２５３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、特許文献１に開示された技術では、ロウ付け部を撮像した画像からロウ付け部の温度を推定しているが、高い精度で温度を検出することができないため、適切にロウ付け時間を制御することが難しいという課題がある。

【0006】

本開示は、ロウ付けを制御するロウ付けシステムにおいて、ロウ付け時間を適切に制御できるようにする。

【課題を解決するための手段】

【0007】

本開示の第１の態様に係るロウ付けシステムは、ロウ材を撮像する画像センサと、ロウ付けを制御する制御部と、を備えたロウ付けシステムであって、前記制御部は、前記画像センサが撮像した撮像画像における前記ロウ材の形状に基づいてロウ材情報を生成し、前記ロウ材情報に基づいて、前記ロウ付けの完了を判定し、完了信号を出力する。

【0008】

本開示の第１の態様によれば、ロウ材の形状に基づいてロウ付けの完了を判定するので、ロウ付け時間を適切に制御できるようになる。

【0009】

本開示の第２の態様は、第１の態様に記載のロウ付けシステムであって、前記制御部は、前記ロウ材情報として、前記ロウ材の現在の前記撮像画像と、過去の前記撮像画像とに基づいてロウ材情報を生成する。

【0010】

本開示の第２の態様によれば、ロウ材の現在の撮像画像と、ロウ材の過去の撮像画像と用いることで、ロウ材の溶融状態を精度よく検出し、加熱を精度よく完了することが可能になる。

【0011】

本開示の第３の態様は、第１の態様に記載のロウ付けシステムであって、前記制御部は、前記ロウ材の形状的特徴、形状変化の特徴、及び形状変化の完了度合いのうち、少なくとも１つを含む前記ロウ材情報を前記撮像画像から生成し、前記ロウ材情報に基づいて、前記ロウ付けの完了を判定する。

【0012】

本開示の第３の態様によれば、前記ロウ材の形状的特徴、形状変化の特徴、及び形状変化の完了度合いのうち、少なくとも１つを含むロウ材情報を用いて、ロウ付けの完了を判定するので、ロウ付け時間をより適切に制御できるようになる。

【0013】

本開示の第４の態様は、第３の態様に記載のロウ付けシステムであって、前記形状的特徴は、前記ロウ材の形状を表す形状情報、又は前記ロウ材の輝度を表す輝度情報を含む。

【0014】

本開示の第５の態様は、第３又は第４の態様に記載のロウ付けシステムであって、前記形状変化の特徴は、前記ロウ付けによる前記ロウ材の変化度合いを表し、前記ロウ材を撮像した第１の画像と、前記第１の画像より前に前記ロウ材を撮像した第２の画像との差分を表す差分情報を含む。

【0015】

本開示の第６の態様は、第５の態様に記載のロウ付けシステムであって、前記形状変化の完了度合いは、前記ロウ材の前記ロウ付けの完了度合いを表し、前記ロウ材を撮像した画像フレームごとに取得した前記差分情報を加算した差分累積情報を含む。

【0016】

本開示の第７の態様は、前記第１～第６の態様のいずれかに記載のロウ付けシステムであって、前記制御部は、前記ロウ材情報を特徴量として予め学習した機械学習モデルに、前記ロウ材情報を入力データとして入力して、前記ロウ付けの完了を判定する。

【0017】

本開示の第８の態様は、第７の態様に記載のロウ付けシステムであって、前記機械学習モデルは、前記ロウ材情報と、前記ロウ付けが完了したか否かを示す教師データとを用いて、予め学習した機械学習モデルである。

【0018】

本開示の第９の態様は、第７又は第８の態様に記載のロウ付けシステムであって、前記機械学習モデルは、前記ロウ材情報を入力することにより、前記ロウ付けの完了度合いを出力するロウ付け完了度合い出力モデルであり、前記制御部は、前記ロウ付け完了度合い出力モデルが出力する前記ロウ付けの完了度合いと、予め設定した閾値とに基づいて前記ロウ付けの完了を判定する。

【0019】

本開示の第１０の態様は、第７～第９の態様のいずれかに記載のロウ付けシステムであって、前記制御部は、前記ロウ付けの完了度合いに応じて、前記ロウ付けの加熱量を制御する制御情報を出力する。

【0020】

本開示の第１１の態様は、第１～１０の態様のいずれかに記載のロウ付けシステムであって、前記制御部は、前記ロウ材のロウ付け方法が火炎ロウ付けの場合、前記画像センサが撮像した撮像画像から炎の情報を分離して、前記ロウ材情報を生成する。

【0021】

本開示の第１２の態様に係るロウ付け方法はロウ材を撮像する画像センサと、ロウ付けを制御する制御部と、を備えたロウ付けシステムにおいて、前記制御部が、前記画像センサが撮像した撮像画像における前記ロウ材の形状に基づいてロウ材情報を生成し、前記ロウ材情報に基づいて、前記ロウ付けの完了を判定し、完了信号を出力する。

【0022】

本開示の第１３の態様に係るプログラムは、ロウ材を撮像する画像センサと、ロウ付けを制御する制御部と、を備えたロウ付けシステムにおいて、前記制御部に、前記画像センサが撮像した撮像画像における前記ロウ材の形状に基づいてロウ材情報を生成し、前記ロウ材情報に基づいて、前記ロウ付けの完了を判定させ、完了信号を出力させる。

【図面の簡単な説明】

【0023】

【図1】一実施形態に係るロウ付けシステムのシステム構成の例を示す図である。

【図2】一実施形態に係る画像処理装置のハードウェア構成の例を示す図である。

【図3】第１の実施形態に係るロウ付け処理の例を示すフローチャートである。

【図4】第１の実施形態に係る完了度合い出力処理の例を示すフローチャートである。

【図5】第１の実施形態に係る完了度合い出力処理について説明するための図である。

【図6】第１の実施形態に係る機械学習モデルについて説明するための図である。

【図7】第２の実施形態に係る完了度合い出力処理の例を示すフローチャートである。

【図8】第２の実施形態に係る機械学習モデルについて説明するための図である。

【図9】第３の実施形態に係る完了度合い出力処理の例を示すフローチャートである。

【図10】第３の実施形態に係る接合個所の抽出処理のイメージを示す図である。

【発明を実施するための形態】

【0024】

以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。

【0025】

＜システム構成＞
図１は、一実施形態に係るロウ付けシステムのシステム構成の例を示す図である。ロウ付けシステム１は、例えば、ロウ付け装置１０と、カメラ１０１と、画像処理装置１００とを含む。

【0026】

ロウ付け装置１０は、一例として、ロウ付け制御装置１１と加熱用コイル１２とを有し、加熱用コイルに交流電流を流してロウ材１０３を加熱することにより、配管１０２ａ、１０２ｂ等の母材をロウ付けする高周波ロウ付け装置（高周波誘導加熱装置）である。ただし、これに限られず、ロウ付け装置１０は、例えば、火炎でロウ材を加熱する火炎ロウ付け装置等であってもよい。ここでは、ロウ付け装置１０が、高周波ロウ付け装置であるものとして、以下の説明を行う。

【0027】

ロウ付けは、金属を接合する技術の一つであり、接合する金属（母材）よりも融点が低い合金（ロウ材）を溶かして母材の間に浸透させることにより、母材を溶融させずに接合する技術である。ここでは、ロウ付け装置１０が、母材の一例である２つの配管１０２ａ、１０２ｂを、ロウ材１０３でロウ付けするものとして、以下の説明を行う。具体的な一例として、ロウ付けの対象は、例えば、空調機部品である。また、母材は、例えば、アルミニウムであるが、他の金属であってもよい。

【0028】

カメラ（画像センサ）１０１は、ロウ材１０３を撮像する画像センサの一例である。カメラ１０１は、例えば、可視域に受光感度帯を有するカメラであるが、他のカメラであってもよい。ロウ付け装置１０がロウ付けする配管１０２ａ、１０２ｂとロウ材１０３とを含むロウ付けの作業領域を撮像可能な位置に設置され、ロウ付けする配管１０２ａ、１０２ｂとロウ材１０３とを撮像する。また、カメラ１０１は、画像処理装置１００と通信可能に接続されており、撮像した撮像画像を画像処理装置１００に送信する。

【0029】

画像処理装置１００は、カメラ１０１、及びロウ付け制御装置１１と通信可能に接続され、カメラ１０１が撮像した撮像画像におけるロウ材１０３の形状、ロウ材１０３の輝度、又はロウ材の形状と輝度に基づいて、ロウ付けの完了を判定する。

【0030】

（処理の概要）
ここで、ロウ付けシステム１の概要について説明する。ロウ付け制御装置１１は、例えば、作業者等によるロウ付けの開始操作等に応じて、加熱用コイル１２への通電を開始する（ステップＳ１）。これにより、加熱用コイル１２によるロウ材１０３への加熱が開始する。

【0031】

カメラ１０１は、ロウ付けする配管１０２ａ、１０２ｂと、ロウ材１０３とを撮像し、撮像した撮像画像を画像処理装置１００に送信する（ステップＳ２）。

【0032】

画像処理装置１００は、例えば、カメラ１０１が撮像した撮像画像におけるロウ材１０３の形状に基づいて、ロウ付けが完了したことを判定する（ステップＳ３）。なお、画像処理装置１００は、ロウ材の形状に代えて（又は加えて）、ロウ材の輝度に基づいて、ロウ付けが完了したことを判定してもよい。なお、ロウ付け完了の具体的な判定方法については、複数の実施例を例示して後述する。

【0033】

また、画像処理装置１００は、ロウ付け完了と判定すると、ロウ付けが完了したことを示す完了信号を、ロウ付け制御装置１１に出力する（ステップＳ４）。ロウ付け制御装置１１は、画像処理装置１００から完了信号を受け付けると、加熱用コイル１２への通電を停止する。

【0034】

例えば、特許文献１に開示された技術では、ロウ付け部を撮像した画像からロウ付け部の温度を推定しているが、高い精度で温度を検出することができないため、適切にロウ付け時間を制御することは困難である。

【0035】

一方、本実施形態に係るロウ付けシステム１は、ロウ材１０３の形状（又はロウ材１０３の輝度）に基づいて、ロウ付けの完了を判定する。ロウ材１０３の形状（又はロウ材１０３の輝度）は、ロウ付け部の温度より高い精度で検出することができるので、本実施形態に係るロウ付けシステム１によれば、より適切にロウ付け時間を制御することができる。

【0036】

＜ハードウェア構成＞
図２は、一実施形態に係る画像処理装置のハードウェア構成の例を示す図である。画像処理装置１００は、一般的なコンピュータの構成を有しており、例えば、制御部２０１、メモリ２０２、ストレージデバイス２０３、通信装置２０４、表示装置２０５、入力装置２０６、ドライブ装置２０７、及びバス２０９等を含む。

【0037】

制御部２０１は、例えば、ストレージデバイス２０３、又はメモリ２０２等の記憶媒体に記憶した所定のプログラムを実行することにより、様々な機能を実現するＣＰＵ（Central Processing Unit）等のプロセッサである。なお、制御部２０１は、ＣＰＵ以外にも、ＧＰＵ（Graphics Processing Unit）、又はＤＳＰ（Digital Signal Processor）等のプロセッサを含んでいてもよい。また、制御部２０１は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）、又はＦＰＧＡ（Field Programmable Gate Array）等のデバイスであってもよい。

【0038】

メモリ２０２は、例えば、制御部２０１のワークエリア等として用いられる揮発性のメモリであるＲＡＭ（Random Access Memory）、及び制御部２０１の起動用のプログラム等を記憶する不揮発性のメモリであるＲＯＭ（Read Only Memory）等を含む。ストレージデバイス２０３は、ＯＳ（Operating System）、アプリケーション等のプログラム、及び各種のデータ、情報等を記憶する大容量の記憶装置であり、例えば、ＳＳＤ（Solid State Drive）、又はＨＤＤ（Hard Disk Drive）等によって実現される。

【0039】

通信装置２０４は、例えば、カメラ１０１、又はロウ付け制御装置１１等と通信するための通信インタフェース、又はデバイスである。例えば、通信装置２０４は、画像処理装置１００を通信ネットワーク２に接続して、他の装置と通信するためのＮＩＣ（Network Interface Card）等のデバイスであってもよい。また、通信装置２０４は、例えば、画像処理装置１００にカメラ１０１、又はロウ付け制御装置１１を接続するための各種のインタフェースであってもよい。

【0040】

表示装置２０５は、表示画面を表示する表示デバイスである。入力装置２０６は、例えば、タッチパネル、キーボード、又はポインティングデバイス等の外部からの入力を受け付ける入力デバイスである。なお、表示装置２０５と入力装置２０６は、例えば、タッチパネルディスプレイのように、一体化された表示入力装置であってもよい。

【0041】

ドライブ装置２０７は、記憶媒体２０８を画像処理装置１００に接続するためのデバイスである。ここでいう記憶媒体２０８には、例えば、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記憶媒体２０８には、例えば、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。バス２０９は、上記の各構成要素に共通に接続され、例えば、アドレス信号、データ信号、及び各種の制御信号等を伝送する。

【0042】

＜処理の流れ＞
続いて、本実施形態に係るロウ付け方法の処理の流れについて説明する。

【0043】

［第１の実施形態］
図６は、第１の実施形態に係るロウ付け処理の例を示すフローチャートである。この処理は、ロウ付けシステム１が実行するロウ付け処理の例を示している。

【0044】

（画像処理装置の処理）
図３に示した画像処理装置の処理３００は、図２に示したハードウェア構成を備える画像処理装置１００が実行する処理の流れを示している。この処理は、例えば、制御部２０１が実行するプログラム等によって実現される。

【0045】

ステップＳ３０１において、画像処理装置１００の制御部２０１は、ロウ付け装置１０による加熱開始を検知すると、ステップＳ３０２以降の処理を実行する。制御部２０１は、例えば、ロウ付け制御装置１１が、加熱を開始するときに出力する開始通知等により、ロウ付け装置１０による加熱開始を検知する。

【0046】

ステップＳ３０２において、制御部２０１は、カメラ１０１で、ロウ付けする配管１０２ａ、１０２ｂと、ロウ材１０３とを撮像する。

【0047】

ステップＳ３０３において、制御部２０１は、カメラ１０１で撮像した撮像画像に基づいて、ロウ付けの完了度合いを示す値を取得する完了度合い出力処理を実行する。例えば、制御部２０１は、図４に示すような完了度合い出力処理を実行する。

【0048】

図４は、第１の実施形態に係る完了度合い出力処理の例を示すフローチャートである。この処理は、例えば、図３のステップＳ３０３、Ｓ３０７で制御部２０１が実行する完了度合い出力処理の一例を示している。

【0049】

ステップＳ４０１において、制御部２０１は、カメラ１０１がロウ材１０３を撮像した撮像画像から、ロウ付けする接合個所を抽出する。例えば、図５（Ａ）に示すように、カメラ１０１が撮像した撮像画像５１０には、配管１０２ａ、１０２ｂと、ロウ材１０３に加えて、背景等が撮像されている。制御部２０１は、撮像画像５１０から接合個所（ロウ材１０３、及びロウ材１０３の周辺）の画像５１１を抽出（切り出し）する。

【0050】

ステップＳ４０２において、制御部２０１は、抽出した画像５１１から、例えば、図５（Ｂ）に示すような形状画像５２１、差分画像５２２、及び差分累積画像５２３を生成（作成）する。形状画像５２１は、ロウ材１０３の形状的特徴を表す画像である。制御部２０１は、抽出した画像５１１をそのまま形状画像５２１としてもよいし、例えば、エッジ処理等により形状情報のみを抽出した形状画像５２１を生成してもよい。或いは、制御部２０１は、抽出した画像５１１の明るさ、コントラスト、又は色合い等を調整して、形状画像５２１を生成してもよい。制御部２０１は、生成した形状画像５２１を、例えば、ストレージデバイス２０３、又はメモリ２０２等の記憶部等に記憶する。

【0051】

差分画像５２２は、ロウ材１０３の形状変化の特徴を表す画像である。制御部２０１は、例えば、図３のステップＳ３０３で前回生成した形状画像５２１と、今回生成した形状画像５２１との差分（例えば、画素値の差、輝度値の差等）を表す差分画像を生成し、記憶部等に記憶する。なお、差分画像５２２は、ロウ付けによるロウ材の変化度合いを表し、ロウ材を撮像した第1の画像と、第1の画像より前にロウ材を撮像した第２の画像との差分を表す差分情報の一例である。

【0052】

差分累積画像５２３は、ロウ材１０３の形状変化の完了度合いを表す画像である。制御部２０１は、例えば、記憶部等に記憶した差分画像５２２を累積加算することにより、差分累積画像５２３を生成し、記憶部等に記憶する。なお、差分累積画像５２３は、ロウ材を撮像した画像フレームごとに取得した差分情報を加算した差分累積情報の一例である。

【0053】

ステップＳ４０３において、制御部２０１は、生成した形状画像５２１、差分画像５２２、及び差分累積画像５２３を、学習済の機械学習モデル（完了度合い出力モデル）に入力する。

【0054】

ステップＳ４０４において、制御部２０１は、機械学習モデルが出力するロウ付けの完了度合いを示す値を取得する。

【0055】

図６は、第１の実施形態に係る機械学習モデルについて説明するための図である。ロウ付けシステム１は、形状の特徴を表す形状画像５２１と、形状変化の特徴を表す差分画像５２２と、形状変化の完了度合いを表す差分累積画像５２３とを含むロウ材情報６０１を入力データとして、予め学習した完了度合い出力モデル６００を有している。

【0056】

この完了度合い出力モデル６００は、ロウ材１０３の融解度合いが異なる大量のロウ材情報６０１と、ロウ付けが完了したか否かを示す教師データとを用いて、予め学習（ディープラーニング）した機械学習モデル（回帰モデル）である。制御部２０１は、この学習済の完了度合い出力モデル６００に、生成したロウ材情報６０１を入力することにより、ロウ付けの完了度合いを示す値（例えば、０～１）を得ることができる。

【0057】

この完了度合いを示す値は、例えば、ロウ付けが完了したロウ材情報６０１と、入力したロウ材情報６０１との類似度を示している。ここでは、一例として、「０」が、類似度が最も低い（ロウ付けが完了していない）ことを表し、「１」が、類似度が最も高い（ロウ付けが完了している）ことを表す。制御部２０１は、完了度合い出力モデル６００が出力する値を、予め設定した閾値と比較することにより、ロウ付けの完了度合いを判定することができる。

【0058】

なお、図６で説明したロウ材情報６０１は、一例である。ロウ材情報６０１は、形状画像５２１、差分画像５２２、及び差分累積画像５２３のうち、少なくとも１つを含むものであってもよい。例えば、完了度合い出力モデル６００の用途、又は求められる精度等により、ロウ材情報６０１は、形状画像５２１、差分画像５２２、及び差分累積画像５２３のうち、１つ以上の画像を省略してもよい。例えば、完了度合い出力モデル６００が、ロウ付けの完了の判定のみに用いられる場合、ロウ材情報６０１は、形状画像５２１と差分累積画像５２３、又は差分累積画像５２３のみ等であってもよい。

【0059】

ここで、図３に戻り、画像処理装置の処理３００の説明を続ける。ステップＳ３０４において、制御部２０１は、図４に示すような完了度合い出力処理で取得した、ロウ付けの完了度合いを示す値に基づいて、ロウ材１０３の融解が始まったか否かを判断する。例えば、制御部２０１は、ロウ付けの完了度合いを示す値が、予め定められた第１の閾値を超えた場合、ロウ材１０３の融解が始まったと判断する。ここで、第１の閾値は、ロウ材１０３の融解が始まったと判断するための値が、予め設定されているものとする。

【0060】

ロウ材の融解が始まった場合、制御部２０１は、処理をステップＳ３０５に移行させる。一方、ロウ材の融解が始まっていない場合、制御部２０１は、処理をステップＳ３０２に戻す。

【0061】

ステップＳ３０５に移行すると、制御部２０１は、ロウ材の融解が開始したことを示す融解開始信号をロウ付け制御装置１１に出力する。なお、融解開始信号は、ロウ付けの加熱量を制御する制御情報の一例である。

【0062】

ステップＳ３０６において、制御部２０１は、カメラ１０１で、ロウ付けする配管１０２ａ、１０２ｂと、ロウ材１０３とを撮像する。

【0063】

ステップＳ３０７において、制御部２０１は、カメラ１０１で撮像した撮像画像に基づいて、ロウ付けの完了度合いを示す値を取得する完了度合い出力処理を実行する。例えば、制御部２０１は、図４で説明した完了度合い出力処理を再び実行する。

【0064】

ステップＳ３０８において、制御部２０１は、完了度合い出力処理で取得した、ロウ付けの完了度合いを示す値に基づいて、ロウ材１０３の融解が完了したか否かを判断する。例えば、制御部２０１は、ロウ付けの完了度合いを示す値が、予め定められた第２の閾値を超えた場合、ロウ材１０３の融解が完了したと判断する。ここで、第２の閾値は、ロウ材１０３の融解が完了したことを判断するための値が、予め設定されているものとする。

【0065】

ロウ材１０３の融解が完了した場合、制御部２０１は、処理をステップＳ３０９に移行させる。一方、ロウ材１０３の融解が完了していない場合、制御部２０１は、処理をステップＳ３０６に戻す。

【0066】

ステップＳ３０９に移行すると、制御部２０１は、ロウ材１０３の融解が完了したことを示す融解完了信号を、ロウ付け制御装置１１に出力する。なお、融解完了信号は、ロウ付けの加熱量を制御する制御情報の別の一例である。

【0067】

上記の処理により、画像処理装置１００は、カメラ１０１が撮像した撮像画像におけるロウ材の形状に基づいて、ロウ付けの完了を判定し、完了信号を出力することができる。

【0068】

（ロウ付け制御装置の処理）
図３に示したロウ付け制御装置１１の処理３００は、上述した画像処理装置の処理３００に対応するロウ付け制御装置１１側の処理の例を示している。

【0069】

ステップＳ３１１において、ロウ付け制御装置１１は、例えば、作業者等の開始操作に応じて、高出力でロウ材１０３の加熱を開始すると、加熱を開始したことを示す開始通知を画像処理装置１００に通知する。

【0070】

ステップＳ３１２において、ロウ付け制御装置１１は、画像処理装置１００から融解開始信号を受け付けると、ロウ材１０３の加熱を低出力の加熱に切り替える。

【0071】

ステップＳ３１３において、ロウ付け制御装置１１は、画像処理装置から融解完了信号を受け付けると、ロウ材１０３の加熱を停止する。

【0072】

図３の処理により、ロウ付けシステム１は、ロウ付け時間をより適切に制御できるようになる。なお、図３の処理において、ステップＳ３０２～Ｓ３０５の処理はオプションである。例えば、ロウ付け制御装置１１は、タイマ等により、画像処理装置１００からの融解開始信号によらずに、加熱を高出力から低出力に切り替えるものであってもよい。この場合、ステップＳ３０２～Ｓ３０５の処理は省略してもよい。

【0073】

［第２の実施形態］
第２の実施形態では、例えば、図３のステップＳ３０３、Ｓ３０７で画像処理装置１００が実行する完了度合い出力処理の別の一例について説明する。

【0074】

図７は、第２の実施形態に係る完了度合い出力処理の例を示すフローチャートである。なお、基本的な処理内容は、図４で説明した第１の実施形態に係る完了度合い出力処理と同様なので、ここでは、第１の実施形態と同様の処理に対する詳細な説明は省略する。

【0075】

ステップＳ７０１において、制御部２０１は、カメラ１０１がロウ付けする配管１０２ａ、１０２ｂと、ロウ材１０３とを撮像した撮像画像から、ロウ付けする接合個所を抽出する。なお、この処理は、図４のステップＳ４０１の処理と同様でよい。

【0076】

ステップＳ７０２において、制御部２０１は、抽出した画像５１１から、輝度画像、差分画像、及び差分累積画像を生成する。

【0077】

輝度画像は、ロウ材１０３の輝度を表す画像である。例えば、制御部２０１は、抽出した画像５１１から輝度情報のみを抽出して、輝度画像とする。また、制御部２０１は、生成した輝度画像を、例えば、ストレージデバイス２０３、又はメモリ２０２等の記憶部に記憶する。

【0078】

第２の実施形態に係る差分画像は、ロウ材１０３の輝度変化の特徴を表す画像である。制御部２０１は、例えば、図３のステップＳ３０３で前回生成した輝度画像と、今回生成した最新の輝度画像との差分（例えば、輝度値の差等）を表す差分画像を生成し、記憶部等に記憶する。

【0079】

第２の実施形態に係る差分累積画像は、ロウ材１０３の輝度変化の完了度合いを表す画像である。制御部２０１は、例えば、記憶部等に記憶した差分画像を累積加算することにより、差分累積画像を生成し、記憶部等に記憶する。

【0080】

ステップＳ７０３において、制御部２０１は、生成した輝度画像、差分画像、及び差分累積画像を、学習済の機械学習モデル（完了度合い出力モデル）に入力する。

【0081】

ステップＳ７０４において、制御部２０１は、機械学習モデルが出力するロウ付けの完了度合いを示す値を取得する。

【0082】

図８は、第２の実施形態に係る機械学習モデルについて説明するための図である。ロウ付けシステム１は、輝度の特徴を表す輝度画像と、輝度変化の特徴を表す差分画像と、輝度変化の完了度合いを表す差分累積画像とを含むロウ材情報８０１を入力データとして、予め学習した完了度合い出力モデル８００を有している。

【0083】

この完了度合い出力モデル８００は、ロウ材１０３の融解度合いが異なる大量のロウ材情報８０１と、ロウ付けが完了したか否かを示す教師データとを用いて、予め学習（ディープラーニング）した機械学習モデル（回帰モデル）である。制御部２０１は、この学習済の完了度合い出力モデル８００に、生成したロウ材情報８０１を入力することにより、ロウ付けの完了度合いを示す値（例えば、０～１）を得ることができる。

【0084】

この完了度合いを示す値は、例えば、ロウ付けが完了したロウ材情報８０１と、入力したロウ材情報８０１との類似度を示している。ここでは、一例として、「０」が、類似度が最も低い（ロウ付けが完了していない）ことを表し、「１」が、類似度が最も高い（ロウ付けが完了している）ことを表すものとする。制御部２０１は、完了度合い出力モデル６００が出力する値を、予め設定した閾値と比較することにより、ロウ付けの完了度合いを判定することができる。

【0085】

なお、図８で説明したロウ材情報８０１は、一例である。ロウ材情報８０１は、輝度画像、差分画像、及び差分累積画像のうち、少なくとも１つを含むものであってよい。例えば、完了度合い出力モデル８００の用途、又は求められる精度等により、ロウ材情報８０１は、輝度画像、差分画像、及び差分累積画像のうち、１つ以上の画像を省略してもよい。

【0086】

図７の処理により、画像処理装置１００は、カメラ１０１が撮像した撮像画像におけるロウ材の輝度に基づいて、ロウ付けの完了を判定し、完了信号を出力することができる。

【0087】

なお、第２の実施形態は、第１の実施形態と組み合わせて適用することができる。例えば、制御部２０１は、図７のステップＳ７０２において、第２の実施形態に係る輝度画像、差分画像、及び差分累積画像に加えて、第１の実施形態に係る形状画像５２１、差分画像５２２、及び差分累積画像５２３を生成してもよい。

【0088】

この場合、図７のステップＳ７０３において、第１の実施形態に係るロウ材情報６０１と第２の実施形態に係るロウ材情報８０１とを入力データとして、予め学習した完了度合い出力モデルに、ロウ材情報６０１、８０１を入力する。これにより、図７のステップＳ７０４において、より推定精度が高い、ロウ付けの完了度合いを取得することができる。

【0089】

［第３の実施形態］
上記の各実施形態では、ロウ付け装置１０が、高周波ロウ付け装置であるものとして説明を行った。ただし、これに限られず、本実施形態に係るロウ付け装置１０は、例えば、火炎でロウ材を加熱してロウ付けを行う火炎ロウ付け装置にも適用することができる。

【0090】

ロウ付け装置１０が、火炎ロウ付け装置である場合、カメラ１０１が撮像した撮像画像に、ロウ付けする配管１０２ａ、１０２ｂと、ロウ材１０３に加えて、ロウ付け用の火炎が撮像される。画像処理装置１００は、カメラ１０１が撮像した撮像画像から、ロウ付け用の炎の情報を分離することにより、第１、２の実施形態と同様にして、ロウ付けの完了度合いを取得することができる。

【0091】

図９（Ａ）は、第３の実施形態に係る完了度合い出力処理の一例を示している。この処理は、例えば、図４で説明した、第１の実施形態に係る完了度合い出力処理を、火炎ロウ付け装置に適用した場合の処理の例を示している。

【0092】

ステップＳ９０１において、制御部２０１は、カメラ１０１がロウ付けする配管１０２ａ、１０２ｂと、ロウ材１０３とを撮像した撮像画像から、火炎ロウ付け装置の炎の情報を分離して、ロウ付けする接合個所を抽出する。例えば、図１０に示すように、カメラ１０１が撮像した撮像画像１０１０には、配管１０２ａ、１０２ｂと、ロウ材１０３に加えて、火炎ロウ付け装置による炎１０１１が撮像されている。制御部２０１は、色情報を用いて、撮像画像１０１０から炎１０１１の情報を分離して、接合個所（ロウ材１０３、及びロウ材１０３の周辺）の画像１０２０を抽出（切り出し）する。

【0093】

例えば、炎１０１１の色は、炎１０１１温度に依存するので、制御部２０１は、撮像画像１０１０から、炎１０１１の温度に対応する色を除去することにより、撮像画像１０１０から炎１０１１の情報を分離してもよい。

【0094】

制御部２０１は、撮像画像１０１０から、炎１０１１の情報を分離して抽出した画像１０２０を用いて、第１の実施形態と同様に、ステップＳ４０２～Ｓ４０４の処理を実行する。

【0095】

図９（Ｂ）は、第３の実施形態に係る完了度合い出力処理の別の一例を示している。この処理は、例えば、図７で説明した、第２の実施形態に係る完了度合い出力処理を、火炎ロウ付け装置に適用した場合の処理の例を示している。

【0096】

この場合、図７のステップＳ７０１の処理に変えて、図９（Ａ）で説明したステップＳ９０１の処理を実行することにより、第２の実施形態と同様にして、ステップＳ７０２～Ｓ７０４の処理を実行することができる。

【0097】

このように、ロウ付けシステム１は、図３のステップＳ３０３、Ｓ３０７において、図９（Ａ）、又は図９（Ｂ）に示した完了度合い出力処理を実行することにより、火炎ロウ付け装置によるロウ付け時間を適切に制御することができる。

【0098】

以上、本開示の各実施形態によれば、ロウ付けを制御するロウ付けシステムにおいて、ロウ付け時間を適切に制御できるようになる。

【0099】

例えば、特許文献１に開示された従来の技術では、ロウ付け部を撮像した画像からロウ付け部の温度を推定しているが、高い精度で温度を検出することができないため、適切にロウ付け時間を制御することが難しいという問題がある。

【0100】

一方、本開示の各実施形態に係るロウ付けシステム１は、ロウ材の形状又は輝度に基づいてロウ付けの完了を判定する。ロウ材の形状、及びロウ材の輝度は、温度を推定するよりも高い精度でロウ材の融解度合いを検出することができるので、ロウ付けシステム１は、ロウ付け時間をより適切に制御できるようになる。

【0101】

以上、実施形態を説明したが、特許請求の範囲の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。

【符号の説明】

【0102】

１ ロウ付けシステム
１０ ロウ付け装置
１１ ロウ付け制御装置
１２ 加熱用コイル
１００ 画像処理装置
１０１ カメラ（画像センサ）
１０２ａ、１０２ｂ 配管
１０３ ロウ材
２０１ 制御部
５０１ 撮像画像
６００、８００ 完了度合い出力モデル（機械学習モデル）
６０１、８０１ ロウ材情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】