特開 2024-165371 ワークを検査するための方法、学習済モデルを生成するための方法、プログラム、検査装置、学習済モデル生成装置、および、学習済モデル

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024165371

(43)【公開日】2024-11-28

(54)【発明の名称】ワークを検査するための方法、学習済モデルを生成するための方法、プログラム、検査装置、学習済モデル生成装置、および、学習済モデル

(51)【国際特許分類】

   G01N 21/952 20060101AFI20241121BHJP

   G06T 7/00 20170101ALI20241121BHJP

【ＦＩ】

G01N21/952

G06T7/00 350B

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2023081519

(22)【出願日】2023-05-17

(71)【出願人】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】勝又 進介

(72)【発明者】

【氏名】高木 誠司

(72)【発明者】

【氏名】寺農 篤

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AA90

2G051AB13

2G051BA01

2G051BB01

2G051CA04

2G051CD07

2G051EB01

2G051EB05

5L096AA02

5L096AA06

5L096BA03

5L096CA02

5L096DA02

5L096EA43

5L096GA34

5L096GA51

5L096HA11

5L096KA04

(57)【要約】

【課題】オペレータその他のユーザが、母材などに特殊な加工をすることなく母材およびフィレットの状態を検査できる技術を提供する。
【解決手段】コンピュータがワークを検査するための方法であって、ろう付け接合されたワークの撮影によって得られた画像データの入力を受けるステップ（Ｓ９１０）と、当該画像データに基づいて、当該ワークにおける検査対象領域と、予め定められた明るさとを比較するステップと、当該ワークにおける検査対象領域から、当該予め定められた明るさよりも暗い領域が抽出されたことに基づいて、当該ワークが正常にろう付けされていないと判別するステップ（Ｓ９５５）と、判別の結果を出力するステップとを含む、方法。
【選択図】図９

【特許請求の範囲】

【請求項1】

コンピュータがワークを検査するための方法であって、
ろう付け接合されたワークの撮影によって得られた画像データの入力を受けるステップと、
前記画像データに基づいて、前記ワークにおける検査対象領域と、予め定められた明るさとを比較するステップと、
前記ワークにおける検査対象領域から、前記予め定められた明るさよりも暗い領域が抽出されたことに基づいて、前記ワークが正常にろう付けされていないと判別するステップと、
判別の結果を出力するステップとを含む、方法。

【請求項2】

光源から前記ワークに光を照射するステップと、
前記光に照射されたワークを撮像装置に撮影させるステップとをさらに含み、
前記入力を受けるステップは、前記撮像装置から前記画像データを受信するステップを含む、請求項１に記載の方法。

【請求項3】

前記ワークと前記撮像装置とを結ぶ軸は、前記光源と前記ワークとを結ぶ軸からずれている、請求項２に記載の方法。

【請求項4】

予め指定された色の成分に基づいて、入力された前記画像データから、前記ワークに対応する領域を抽出するステップをさらに含み、
前記比較するステップは、抽出された領域において、前記検査対象領域と前記予め定められた明るさとを比較するステップを含む、請求項１に記載の方法。

【請求項5】

ろう付け接合の状態を推論する学習済モデルを生成するための方法であって、
ろう付け接合されたワークの撮影によって得られた画像データの入力を受けるステップと、
前記画像データについて前記ワークのろう付け接合の状態を表わす出来栄え情報と、ろう付け接合されたワークの撮影によって得られた画像データとを含む学習用データの入力を受けるステップと、
前記学習用データを用いて、ろう付け接合が行なわれたワークの画像データから当該ワークのろう付け接合の状態を推論する学習済モデルを生成するステップとを含む、方法。

【請求項6】

前記出来栄え情報は、
フィレットが予め定められた基準を満たすように接合部に形成されていることを示す情報と、
フィレットが前記予め定められた基準を満たすように接合部に形成されていないことを示す情報とを含む、請求項５に記載の方法。

【請求項7】

前記出来栄え情報は、フィレットが前記予め定められた基準を満たすように接合部に形成されているが、ワークの母材が損傷を受けていることを示す情報をさらに含む、請求項６に記載の方法。

【請求項8】

請求項１～７のいずれかに記載の方法をコンピュータに実現させる、プログラム。

【請求項9】

請求項１～４のいずれかに記載の方法をコンピュータに実現させるプログラムを格納したメモリと、
前記プログラムを実行するプロセッサとを備える、検査装置。

【請求項10】

請求項５～７のいずれかに記載の方法をコンピュータに実現させるプログラムを格納したメモリと、
前記プログラムを実行するプロセッサとを備える、学習済モデル生成装置。

【請求項11】

コンピュータにろう付け接合の状態を推論させる学習済モデルであって、前記学習済モデルは、
ろう付け接合されたワークの撮影によって得られた推論用画像データの入力を受け、
ろう付け接合されたワークの撮影によって得られた学習用画像データと、前記ワークのろう付け接合の状態を表わす出来栄え情報とに基づいて、ろう付け接合が行なわれたワークの前記推論用画像データから当該ワークのろう付け接合の状態を推論するよう、コンピュータを動作させるための学習済モデル。

【請求項12】

前記出来栄え情報は、
フィレットが予め定められた基準を満たすように接合部に形成されていることを示す情報と、
フィレットが前記予め定められた基準を満たすように接合部に形成されていないことを示す情報とを含む、請求項１１に記載の学習済モデル。

【請求項13】

前記出来栄え情報は、フィレットが前記予め定められた基準を満たすように接合部に形成されているが、ワークの母材が損傷を受けていることを示す情報をさらに含む、請求項１２に記載の学習済モデル。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、金属同士の接合部を検査する技術に関し、より特定的には、ろう接された接合部の外観を検査する技術に関する。

【背景技術】

【0002】

金属の第１の管と第２の管とを接合する手段として、「ろう付け」が知られている。「ろう付け」は、母材となる金属よりも融点が低い溶加材を、第１の管と第２の管との接合部に溶かして流し込む工法である。

【0003】

従来、ろう付けの検査では、作業者が、出荷される製品と同じ工程で製造した検査サンプルを切断し、目視で確認する必要があった。しかし、このような破壊検査では、出荷される製品の数量よりも多い数量の製品を製造する必要がある。加えて、目視による作業者の検査が必須であるため、余分なコストおよび時間が必要になる。そこで、ろう付けの状態を非破壊で自動的に検査する検査方法または検査装置が求められている。

【0004】

非破壊で検査する技術に関し、例えば、特開２００８－１１１４５７号公報（特許文献１）は、「端部近傍が拡径されて第１の管に形成された接合部の内周面に、端部の周縁部が当接するように第２の管を挿入し、前記接合部の内周面と前記第２の管の外周面とで形成される間隙に溶融状態の接合材を流し込んで接合するに際し、前記接合材が前記第１の管と前記第２の管とを接合するに十分な量だけ流し込まれた状態で、溶融状態の前記接合材が流入して充填状態とされる検査用孔を、前記第１の管の外周面と前記間隙との間を連通させて前記接合部に形成したことを特徴とする接合構造」の検査を行う検査装置において、「前記検査用孔あるいは前記検査用孔近傍を撮像して撮像画像を生成する撮像部と、前記撮像画像に基づいて、前記検査用孔が前記充填状態となったことを検出して接合が完了したと判別する判別部と、を備えたことを特徴とする検査装置」を開示している（請求項１，３）。

【0005】

特許文献１に開示された技術によると、「接合材が第１の管と第２の管とを接合するに十分な量だけ流し込まれた状態で、溶融状態の接合材が流入して充填状態とされる第１の管の外周面と間隙との間を連通させる検査用孔を接合部に設けたことにより、検査用孔にろう材が充填されたときに、接合材が第１の管と第２の管とを接合するに十分な量だけ流し込まれたと判断できるため、ろう付け状態を非破壊で容易に検査することができる。」というものである（段落０００９）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００８－１１１４５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１に開示された検査装置によれば、接合部のろう材の流入状態は確認できるが、母材自体に割れ等が発生しているか否かといった母材自体の状態が検査できないという問題を抱えている。また、当該検査装置は、接合部からはみ出した「ろう」（以下「フィレット」と呼ぶ）が適切に形成されているか否かを検査できないという課題を抱えている。

【0008】

本開示は、上記のような背景に鑑みてなされたものである。ある局面に従う目的は、母材およびフィレットの状態を検査する技術を提供することである。

【課題を解決するための手段】

【0009】

ある実施の形態に従うと、コンピュータがワークを検査するための方法が提供される。この方法は、ろう付け接合されたワークの撮影によって得られた画像データの入力を受けるステップと、画像データに基づいて、ワークにおける検査対象領域と、予め定められた明るさとを比較するステップと、ワークにおける検査対象領域から、予め定められた明るさよりも暗い領域が抽出されたことに基づいて、ワークが正常にろう付けされていないと判別するステップと、判別の結果を出力するステップとを含む。

【0010】

ある実施の形態に従うと、母材およびフィレットの状態を検査できる。

【0011】

この発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。

【図面の簡単な説明】

【0012】

【図1】実施の形態１に従う検査システム１０の構成の概要を表わす図である。

【図2】第１の実施の形態に従う画像処理装置１００を実現するコンピュータ２００のハードウェア構成を表わすブロック図である。

【図3】ワーク２０の接合部１２６を撮影する光学系の詳細を表わす図である。

【図4】接合部１２６からはみ出たフィレット１２７が撮影された場合の光学系を表わす図である。

【図5】画像処理装置１００を実現するコンピュータ２００のモニタ８に表示される画面５００の一例を表わす図である。

【図6】適切なフィレットがワーク２０の接合部１２６に形成されなかった場合の光学系を表わす図である。

【図7】カメラ１１３の撮影で取得された画像のうち適切なフィレットが形成されていない場合にモニタ８に表示される画像を例示する図である。

【図8】撮影によって得られた画像データを二値化処理することにより抽出された画像を表わす図である。

【図9】画像処理装置１００を実現するコンピュータ２００のＣＰＵ１が実行する処理の一部を表わすフローチャートである。

【図10】検査システム１０００の構成を表わすブロック図である。

【図11】ろう付けが行なわれたワーク２０を撮影して得られた画像に付加情報が関連付けられた状態を表わす図である。

【図12】学習装置１０１０が使用するニューラルネットワーク１２００を例示する図である。

【図13】学習装置１０１０として機能するＣＰＵ１が実行する処理の一部を表わすフローチャートである。

【図14】推論装置１０３０として機能するコンピュータ２００のＣＰＵ１が実行する処理の一部を表わすフローチャートである。

【発明を実施するための形態】

【0013】

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

【0014】

実施の形態１．
＜検査システムの構成＞
図１を参照して、検査システム１０の構成について説明する。図１は、実施の形態１に従う検査システム１０の構成の概要を表わす図である。ある局面において、検査システム１０は、ろう付け接合された管材の外観を検査する。外観は、ろう付け接合部または管材の母材を含み得る。

【0015】

検査システム１０は、画像処理装置１００を備える。画像処理装置１００は、撮影制御部１０１と、判別部１０２とを備える。検査システム１０は、ろう付け接合の作業者（以下「オペレータ」ともいう）によって使用される。

【0016】

撮影制御部１０１は、カメラ１１３と、バー照明１１４，１１５と、センサ１１７とに電気的に接続されている。カメラ１１３は、ワーク２０を撮影する。ワーク２０は、たとえば、管１２１と、管１２２とが接合部１２６においてろう付け接合された管材である。ある局面において、各ワーク２０は、それぞれ、予め定められた搬送路の上を順次送られる。搬送路におけるワーク２０の位置は予め定められた一定の場所に位置決めされている場合もあれば、搬送路内でバラバラの場合もあり得る。

【0017】

本実施の形態に従うと、ワーク２０は少なくとも接合部１２６がカメラ１１３によって撮影可能となるように搬送される。たとえば、ある局面において、接合部１２６が管１２１および管１２２の外周全体に形成されている場合には、ワーク２０は当該外周がカメラ１１３によって撮影されるように、アクチュエータ（図示しない）によって軸方向に回転させられる。他の局面において、接合部１２６が管材の一部にのみ形成される場合には、接合部１２６がカメラ１１３の撮影範囲に入るように、管１２１および管１２２の姿勢が位置決めされる。このように、接合部１２６はカメラ１１３に直接撮影されるので、陥没不良（以下「ボイド」と表わすこともある。）あるいは母材割れ不良などの異常も検出され得る。ろう付け接合が適切に形成されている場合、接合部１２６の一部は、フィレット１２７を形成する。フィレット１２７は、一部のろうが管１２１および管１２２のはめあい部分からはみ出したものである。

【0018】

撮影制御部１０１は、カメラ１１３による撮影により取得された画像データの入力を受け付ける。撮影制御部１０１は、バー照明１１４およびバー照明１１５に信号をそれぞれ送り、バー照明１１４，１１５のそれぞれによる発光を制御する。ある局面において、バー照明１１４，１１５は、色相、彩度および明度を調整可能な光源を含む。撮影制御部１０１は、当該光源を制御して、バー照明１１４，１１５から発せられる光の色相、彩度および明度をそれぞれ制御する。

【0019】

撮影制御部１０１は、センサ１１７によって出力される信号の入力を受け付ける。センサ１１７は、カメラ１１３による撮影の被写体としてのワークを検出し、検出結果に応じた信号を撮影制御部１０１に出力する。例えば、センサ１１７は、ワーク２０が予め定められた撮影範囲に搬送されることを検知すると、検知結果に応じた信号を出力する。当該信号は撮影制御部１０１に入力される。撮影制御部１０１は、センサ１１７からの信号の入力を受けると、カメラ１１３による撮影を実行する。

【0020】

具体的には、撮影制御部１０１は、センサ１１７からの信号を受信すると、撮影トリガを生成する。撮影制御部１０１は、少なくともカメラ１１３に撮像トリガを送信する。バー照明１１４，１１５が常時点灯している場合には、撮像トリガは少なくともカメラ１１３に送信される。バー照明１１４，１１５が点灯していない場合には、撮像トリガは、バー照明１１４，１１５とカメラ１１３とにそれぞれ送信される。この場合、撮影制御部１０１は、撮像トリガをバー照明１１４，１１５に送信してバー照明１１４，１１５を点灯させる。その後、予め定められた時間が経過した後に、撮影制御部１０１は、撮像トリガをカメラ１１３に送信する。

【0021】

カメラ１１３は、撮影トリガの受信を検知すると、ワーク２０を撮影する。撮影によって生成される画像データは、撮影制御部１０１に入力される。撮影制御部１０１は、カメラ１１３から受信した画像データを判別部１０２に送信する。

【0022】

上記の例は、撮像トリガがセンサ１１７からの出力に基づいて生成されることを例示しているが、撮像トリガの生成手法は、これに限られない。

【0023】

判別部１０２は、画像データに対する画像処理を実行する。判別部１０２は、画像処理の結果を用いて、ワーク２０が正常にろう付け接合された良品であるか否かを判別する。判別の結果は、モニタその他の出力装置に出力される。オペレータは、当該判別の結果を確認することで、ワーク２０を破壊することなく、ろう付け接合が的確にされたか否かを判別できる。

【0024】

＜画像処理装置のハードウェア構成＞
図２を参照して、画像処理装置１００のハードウェア構成について説明する。図２は、第１の実施の形態に従う画像処理装置１００を実現するコンピュータ２００のハードウェア構成を表わすブロック図である。

【0025】

コンピュータ２００は、主たる構成要素として、プログラムを実行するＣＰＵ（Central Processing Unit）１と、コンピュータ２００の使用者による指示の入力を受けるマウス２およびキーボード３と、ＣＰＵ１によるプログラムの実行により生成されたデータ、又はマウス２若しくはキーボード３を介して入力されたデータを揮発的に格納するＲＡＭ４と、データを不揮発的に格納するハードディスク５と、光ディスク駆動装置６と、通信インターフェイス（Ｉ／Ｆ）７と、モニタ８とを含む。各構成要素は、相互にデータバスによって接続されている。光ディスク駆動装置６には、ＣＤ－ＲＯＭ（Compact Disc - Read Only Memory）９その他の光ディスクが装着される。

【0026】

コンピュータ２００における処理は、各ハードウェアおよびＣＰＵ１により実行されるソフトウェアによって実現される。このようなソフトウェアは、ハードディスク５に予め記憶されている場合がある。また、ソフトウェアは、ＣＤ－ＲＯＭ９その他の記録媒体に格納されて、コンピュータプログラムとして流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なアプリケーションプログラムとして提供される場合もある。このようなソフトウェアは、光ディスク駆動装置６その他の読取装置によりその記録媒体から読み取られて、あるいは、通信インターフェイス７を介してダウンロードされた後、ハードディスク５に一旦格納される。そのソフトウェアは、ＣＰＵ１によってハードディスク５から読み出され、ＲＡＭ４に実行可能なプログラムの形式で格納される。ＣＰＵ１は、そのプログラムを実行する。

【0027】

図２に示されるコンピュータ２００を構成する各構成要素は、一般的なものである。したがって、本開示に係る技術思想の本質的な部分の一つは、ＲＡＭ４、ハードディスク５、ＣＤ－ＲＯＭ９その他の記録媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。記録媒体は、一時的でない、コンピュータ読取可能なデータ記録媒体を含み得る。コンピュータ２００の各ハードウェアの動作は周知であるので、詳細な説明は繰り返さない。

【0028】

記録媒体としては、ＣＤ－ＲＯＭ、ＦＤ（Flexible Disk）、ハードディスクに限られず、ＳＳＤ（Solid State Drive）、磁気テープ、光ディスク（ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc））、ＩＣ（Integrated Circuit）カード（メモリカードを含む）、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Electronically Programmable Read-Only Memory）、ＥＥＰＲＯＭ（Electronically Erasable Programmable Read-Only Memory）、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを担持する媒体でもよい。

【0029】

ここでいうプログラムとは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。

【0030】

また、ＣＰＵ１に代えて、並列プログラム化されたプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）またはこれらを組み合わせたものがもちいられても良い。

【0031】

＜光学系の詳細＞
図３を参照して、本実施の形態に従う光学系について説明する。図３は、ワーク２０の接合部１２６を撮影する光学系の詳細を表わす図である。

【0032】

ある局面において、カメラ１１３および接合部１２６は、ワーク２０の軸とカメラ１１３の光軸とがなす角度（すなわち、ワーク２０の外面と当該光軸とがなす角度）がθ度になるように、位置決めされている。

【0033】

バー照明１１４は、カメラ１１３の光軸とバー照明１１４の光軸とがなす角度がφ°になるように傾けて配置されている。

【0034】

バー照明１１５は、接合部１２６とバー照明１１５の光軸とがなす角度（すなわち、ワーク２０の外周面と当該光軸とがなす角度）が９０度になるように、配置されている。

【0035】

このようにカメラ１１３およびバー照明１１４，１１５を配置することで、適切なフィレットが形成されている場合には、フィレット部が明るく撮影される。他方、適切なフィレットが形成されていない場合には、フィレット部が暗く撮影される。この明暗によって、正常なろう付けが接合部１２６に行なわれたか否かの検査が可能となる。このような検査の詳細は、後述する。

【0036】

なお、上記の各角度（θ°、φ°、９０度）は、あくまでも一例であり、上記の例示に限定されない。対象とするワーク２０の大きさ又はその形状等によって、各角度は変更され得る。また、設置する照明バーの数も、対象とするワーク２０の大きさや形状によって変更され得る。

【0037】

＜フィレットが形成された場合＞
図４を参照して、適切なフィレット１２７がワーク２０の接合部１２６に形成されている場合について説明する。図４は、接合部１２６からはみ出たフィレット１２７が撮影された場合の光学系を表わす図である。

【0038】

一般に、金属のような光沢表面は、正反射の特性を強く持つ。正反射とは、照明から照射された光の角度と逆方向の同じ角度にはね返ることをいう。これに対し、拡散光とは、照明から照射された光があらゆる方向に拡散して反射する光をいう。

【0039】

本実施の形態に従うと、バー照明１１４から照射される光４１０と、バー照明１１５から照射される光４２０とは、ろうで形成されるフィレット１２７の表面１２８に到達する。光４１０，４２０が正反射した場合の反射光４１１，４２１は、カメラ１１３に到達する。したがって、前述のようにフィレット１２７が適切に形成されている場合、接合部１２６のうち特にフィレット１２７は、明るい映像としてカメラ１１３によって撮像されることになる。

【0040】

＜画像＞
図５～図８を参照して、カメラ１１３の撮影によって取得される画像について説明する。図５は、画像処理装置１００を実現するコンピュータ２００のモニタ８に表示される画面５００の一例を表わす図である。

【0041】

画面５００は、フィレットが適切に形成されたワーク２０の画像を表示する。当該画像は、管１２１の画像５０１と、管１２２の画像５０２と、フィレット１２７に相当する画像５６１とを含む。適切なフィレット１２７が管１２１および管１２２の接合部１２６に形成された場合、接合部の近傍の画像は、画像５６１のように明るく撮影される。したがって、判別部１０２は、ワーク２０に形成されるべきフィレット１２７が適切に形成されたか否かを容易に判別できる。

【0042】

なお、図５の例示では、カメラ１１３とワーク２０との距離によって、ワーク２０の外周の三分の一（１２０度）程度が撮影されている。したがって、ろう付け接合が全周に行われている場合には、撮影範囲に応じてワーク２０を軸中心に回転させることで、全周の撮影が可能になる。

【0043】

・フィレットが形成されない場合
図６および図７を参照して、フィレットが形成されなかった場合について説明する。図６は、適切なフィレットがワーク２０の接合部１２６に形成されなかった場合の光学系を表わす図である。

【0044】

他の局面において、ワーク２０の接合部１２６が正常にろう付け接合されなかった場合、フィレットは、接合部１２６に形成されない。そのため、バー照明１１４およびバー照明１１５から接合部１２６に照射された各光は、接合部１２６で正反射せず、反射光がカメラ１１３に到達しない。その結果、フィレットが形成されるべき部分は、暗い画像として撮像されることになる。

【0045】

図７は、カメラ１１３の撮影で取得された画像のうち適切なフィレットが形成されていない場合（図６）にモニタ８に表示される画像を例示する図である。

【0046】

図７（Ａ）は、ある局面に従う不良品の撮影によって取得された画像７００を示す。より具体的には、画像７００は、フィレットが接合部１２６に形成されなかった場合を表わす。画像７００は、管１２１の画像７０１と、管１２２の画像７０２と、接合部１２６の画像７０６とを含む。

【0047】

ろう付けがワーク２０の接合部１２６に対して正常に行われなかった場合、フィレットは、管１２１と管１２２との間の接合部１２６に形成されない。そのため、接合部１２６の画像７０６は、暗く映る。

【0048】

図７（Ｂ）は、他の局面における不良品の撮影によって取得された画像７１０を表わす。より具体的には、画像７１０は、フィレットが形成されたもののボイド（陥没不良）が存在する場合を表わす。画像７１０は、管１２１の画像７０１と、管１２２の画像７０２と、接合部１２６の画像７１６とを含む。画像７１６は、ボイドに相当する画像７０８を含む。

【0049】

他の局面において、フィレットが接合部１２６に形成された場合でも、ボイドが、ろう付けされた領域の一部に形成される場合があり得る。この場合、バー照明１１４，１１５からそれぞれ照射された各光は、当該ボイドが発生した領域において正反射しない。そのため、反射光は、カメラ１１３に到達しなくなる。その結果、ボイドが形成された領域は、画像７１０における画像７０８のように、周りの領域よりも暗い画像として撮影される。したがって、判別部１０２は、画像７１０から指定された明るさを有する領域よりも暗い領域を検出することにより、ろう付けが接合部１２６に正常に行われたか否かを判定できる。

【0050】

本実施の形態に従う画像処理装置１００によると、撮影制御部１０１によって得られる画像（図５、図７参照）に対して、判別部１０２は、画像処理によって接合部１２６の暗領域を検出する。判別部１０２は、検出した領域の明るさと、良品の場合の明るさとして設定された閾値とを比較することにより、当該ろう付けが行われたワークが良品であるかあるいは、不良品であるかを判定する。

【0051】

以上のようにして、本実施の形態に従うと、ろう付けが行なわれた接合部１２６が撮影されて、当該撮影によって取得された画像に対する画像処理が行われる。画像処理装置１００の判別部１０２は、当該画像処理後の画像データをもちいて、母材に検査のための孔を開ける加工なしで、ろう付けが正常に実行されたか否かを検査できる。

【0052】

なお、図５に例示したように、カメラ１１３による撮影によって得られる画像の視野は、管状のワーク２０の全体を網羅できず、ワーク２０の全周の１２０度程度になり得る。そこで、管状のワーク２０の全周検査を行う場合には、当該光学系とワーク２０との相対的な位置を変更することにより、残りの２４０度相当の部分も撮影される。たとえば、同一の構成を有する３つの光学系が１２０度の間隔で配置されてもよい。この場合、各光学系がワーク２０を撮影することにより、一つの光学系が撮影する場合に生じ得る撮影の死角が生じなくなる。

【0053】

他の局面において、撮影領域に搬送されたワーク２０が軸中心に回転されてもよい。例えば、一つの光学系がワーク２０を撮影した後、ワーク２０は、約１２０度回転される。その後、当該一つの光学系がワーク２０を再度撮影する。その後、さらに、ワーク２０は、約１２０度回転され、当該一つの光学系がワーク２０を撮影する。判別部１０２は、ワーク２０の全周を撮影することで、ろう付けが適切に行われたか否かを判断できる。

【0054】

なお、前述の例では、撮影範囲がワーク２０の全周の３分の１（回転角度が１２０度）である場合が示されているが、回転角度は１２０度に限られない。カメラ１１３とワーク２０との間隔に応じて、より多くの回転数で（小さな回転角度で）多くの撮影が行われてもよい。

【0055】

・二値化処理後の画像
図８は、撮影によって得られた画像データを二値化処理することにより抽出された画像を表わす図である。本実施の形態に従う画像処理装置１００は、ワーク２０が良品であるか否かを判別するために取得した画像データに対して二値化処理を実行する。判別部１０２は、二値化処理後の画像を用いて、ワーク２０が良品であるか否かを判別する。

【0056】

ある局面において、接合部１２６におけるろう付けが適切に行われなかった場合、図８（Ａ）に示されるように、接合部１２６に相当する画像８０６は暗領域として抽出される。他の局面において、ろう付けが適切に行われたものの陥没不良（ボイド）が発生した場合には（図７（Ｂ）参照）、ボイドに相当する画像８０８が暗領域として抽出される。いずれの場合も、判別部１０２は、当該ワーク２０が不良品であると判別する。

【0057】

＜制御構造＞
図９を参照して、画像処理装置１００の制御構造について説明する。図９は、画像処理装置１００を実現するコンピュータ２００のＣＰＵ１が実行する処理の一部を表わすフローチャートである。

【0058】

ステップＳ９０５にて、ＣＰＵ１は、以降の処理で使用される各変数を初期化する。

【0059】

ステップＳ９１０にて、ＣＰＵ１は、撮影制御部１０１から画像データを取得し、画像を取り込む。この処理により、ワーク２０のろう付け接合の判断の対象とされる画像が取得される。

【0060】

ステップＳ９１５にて、ＣＰＵ１は、位置決め処理を実行する。位置決め処理は、ステップＳ９２０，Ｓ９２５，Ｓ９３０を含む。一般に、撮影後の再現性が高くなるように、ワーク２０を搬送コンベア上に配置することは困難である。これは、そのようにワーク２０を配置しようとすると、搬送されるワーク２０の数が減ることで生産性が低下すること、あるいは、そのような配置を実現するためには搬送コンベアのコストが高くなること、が想定されるためである。したがって、当該再現性を考慮することなく搬送されるワーク２０の撮影によって取得される画像では、接合部１２６は、当該画像内の決まった場所に必ずしも位置する訳ではなく、接合部１２６の「位置ずれ」が発生し得る。そのため、検査対象となる接合部１２６が当該決まった場所に写るように、撮影によって得られた各画像を補正することが望ましい。

【0061】

ワーク２０が固定されずに搬送されている場合に、ＣＰＵ１が、画像を用いて良品か不良品の判定を行なうためには、検査対象となる接合部１２６が画像上のどの位置にあるかを検出して検出結果に応じて当該位置を撮影のために予め定められた位置に補正する処理（位置決め処理）が必要となる。他の局面において、ワーク２０が治具等で固定された状態で撮影される場合、ワーク２０は、撮影によって得られる画像内の決まった位置に写るため、そのような位置決め処理は不要となる。

【0062】

そこで、本実施の形態では、管の色成分に着目し、特定の色を抽出することによって検査対象の位置決め処理を実施する。一般的に、色を色相（Hue）と彩度（Saturation）と明度（Value）の三要素で表すＨＳＶによる色抽出は、ＲＧＢによる色抽出と比べて、明るさ変動に強く、色抽出パラメータの設定が簡便であることが知られている。例えば、ろう付けされる管の母材が銅管である場合、画像内の銅管の部分は赤色の色相を示すため、ＨＳＶによる色抽出が有効である。

【0063】

ステップＳ９２０にて、ＣＰＵ１は、色抽出の事前処理としてＨＳＶ変換を実行する。

【0064】

ステップＳ９２５にて、ＣＰＵ１は、色抽出処理を実行して、画像内の特定色（たとえば、銅管の場合は赤色）の色相のみを抽出する。これにより、検査対象のワーク２０の画像の領域のみが抽出される。

【0065】

ステップＳ９３０にて、ＣＰＵ１は、重心位置を算出する。より具体的には、ＣＰＵ１は、ステップＳ９２５において抽出した領域に対して、検査範囲を決定する。一例として、ＣＰＵ１は、抽出した領域の重心位置を求め、当該重心位置の座標値に基づいて検査範囲のみを撮影画像から切り出す。このように検査範囲が設定されると、画像上のワーク２０以外の部分の影響により、正しい検査結果が得られない等の要因も抑制され得る。

【0066】

ステップＳ９３５にて、ＣＰＵ１は、公知の二値化処理を実行する。たとえば、ＣＰＵ１は、予め設定された二値化閾値を用いて、判定用の画像から二値化画像を生成する。

【0067】

ステップＳ９４０にて、ＣＰＵ１は、二値化画像に対してラベリング処理を実行する。本実施の形態において、ラベリング処理とは、連結している画素ごとにラベルを付与することをいう。ラベリング処理は、画像上の複数の領域をグループとして分類することを可能にする。本実施の形態では、ラベリング処理でグループに分けられる領域は、暗領域である。なお、ラベリング処理は周知の技術であるため、詳細な説明は繰り返さない。

【0068】

ステップＳ９４５にて、ＣＰＵ１は、上記のラベリング処理でグループ分けされた領域の面積値が予め設定された閾値以下であるか否かを判断する。当該面積値が当該閾値以下である場合（ステップＳ９４５にてＹＥＳ）、ＣＰＵ１は制御をステップＳ９５０に切り換える。そうでない場合には（ステップＳ９４５にてＮＯ）、ＣＰＵ１は制御をステップＳ９５５に切り換える。

【0069】

たとえば、ある局面において、適切なフィレットがワーク２０の接合部１２６に形成されていた場合には（ステップＳ９４５にてＹＥＳ）、接合部１２６は明るい領域として撮影されている。この場合、ＣＰＵ１は、暗領域を検出せず、または、検出された領域の面積値は０に近くなる。

【0070】

一方で、別の局面において、適切なフィレットがワーク２０に形成されていなかった場合には（ステップＳ９４５にてＮＯ）、接合部１２６は、暗い領域として撮影されている。この場合、ＣＰＵ１は、画像８００（図８（Ａ））のように、接合部１２６だけが暗領域の画像８０６として検出される二値化画像が得られる。あるいは、ろう付けがワーク２０におこなわれたものの、ボイドが発生しており、画像８１０（図８（Ｂ））のようにボイドに対応する画像８０８だけが暗領域として検出される二値化画像が得られる。このように、ＣＰＵ１は、暗領域の面積値を算出し、予め設定された閾値を判別基準として、ろう付け接合が行われたワーク２０が良品であるか否かを判別できる。

【0071】

ステップＳ９５０にて、ＣＰＵ１は、当該ワーク２０が良品であると判定する（ＯＫ判定）。ＣＰＵ１は、判定の結果を出力する。出力先は、モニタ８、通信ＩＦ７に接続される他の情報表示装置等である。

【0072】

ステップＳ９５５にて、ＣＰＵ１は、当該ワーク２０が不良品であると判定する（ＮＧ判定）。ＣＰＵ１は、判定の結果を出力する。

【0073】

以上のようにして、本実施の形態に従う画像処理装置１００は、判定用の画像に対して暗領域を抽出することにより、ろう付け接合されたワーク２０を破壊することなく、当該ワークを良品または不良品のいずれかに判別できる。

【0074】

なお、本実施の形態に従う画像処理装置１００は、同一のラベルが付与された複数の画素によって形成される領域ごとに、その領域の面積を算出し、面積値に基づく判別処理を実行した。判別の態様は上記の態様に限られない。たとえば、他の局面に従う画像処理装置は、検査規格に応じて、周囲の長さ、主軸の長さ、副軸の長さ等の異なる特徴量を用いて、当該ワーク２０が良品であるか不良品であるかを判別し得る。

【0075】

実施の形態２．
図１０～図１４を参照して、実施の形態２について説明する。本実施の形態に従う検査システム１０００は、学習機能と推論機能とを備える点で、前述の実施の形態に従う検査システム１０と異なる。

【0076】

図１０は、検査システム１０００の構成を表わすブロック図である。図１０に示されるように、検査システム１０００は、検査システム１０の構成に加えて、学習装置１０１０と、学習済モデル記憶部１０２０と、推論装置１０３０と、表示部１０４０を備える。学習装置１０１０は、データ取得部１０１１と、モデル生成部１０１２とを含む。推論装置１０３０は、データ取得部１０３１と、推論部１０３２とを含む。推論装置１０３０は、表示部１０４０に接続されている。

【0077】

学習装置１０１０において、データ取得部１０１１は、オペレータが良品と判定する画像（以下「良品画像」という）と、オペレータが不良品と判定する画像（以下「不良品画像」という）をろう付け後画像（第１入力）として取得する。ろう付け後画像は、学習用画像とも呼ばれ、画像処理装置１００の撮影制御部１０１によって取得される画像が用いられる。さらに、データ取得部１０１１は、ろう付けの出来栄えに関する正解情報（第２入力）を取得する。正解情報は、たとえば、検査システム１０００のユーザ（ろう付け接合の作業者その他のオペレータ）によって学習装置１０１０に入力される。第１入力および第２入力は、モデル生成部１０１２に与えられる。

【0078】

モデル生成部１０１２は、学習用画像（第１入力）と正解情報（第２入力）との組み合わせからなる「学習用データ」に基づいて、ろう付けの出来栄えと、そのときの画像とを学習する。モデル生成部１０１２は、ろう付け後画像および正解情報から、ろう付けが適切に行なわれたワーク２０の状態を推論する学習済モデルを生成する。

【0079】

本実施の形態において、学習用データは、ろう付け後画像および出来栄え情報が互いに関連付けられたデータである。このデータの関連付けには、通常の良品画像に対して、「良品」といったろう付け状態の情報が関連付けられる場合がある。他の局面において、良品に分類されるものに付加情報が関連付けられる場合もあり得る。

【0080】

そこで、図１１を参照して、付加情報の関連付けについて説明する。図１１は、ろう付けが行なわれたワーク２０を撮影して得られた画像に付加情報が関連付けられた状態を表わす図である。

【0081】

図１１（Ａ）は、良品に分類されるものの、ろう材が過剰に供給されて管１２１および管１２２が接合されたワーク２０の画像１１００を表わす。画像１１００は、モニタ８または表示部１０４０のような表示装置に表示され得る。画像１１００は、画像１１１０を含む。画像１１１０は、ワーク２０に投入されたろう材に対応する。

【0082】

画像１１１０から明らかなように、ろう材がワーク２０に過剰に（接合部１２６の強度を維持するために必要な量以上に）投入されている。そこで、ワーク２０の画像は「良品画像」として分類されている一方で、ろう材が過剰に投入されているとして、「ろう材過剰投入」といった情報が当該良品画像に関連付けられている。ろう材の過剰投入は、「ろう付け接合」という観点からは良品に分類されるが、ろう付け品質の安定性という点では避けたい状態となり得る。

【0083】

図１１（Ｂ）は、フィレットが適切に形成されなかったとして不良品に分類されるワーク２０の画像１１２０（不良品画像）を表わす。画像１１２０は、画像１１３０を含む。画像１１３０は、母材（管１２１）に生じた割れ（以下「母材割れ」ともいう。）に相当する。

【0084】

画像１１２０その他の不良品画像に関連付けられる出来栄え情報は、たとえば、「母材割れ」である。ワーク２０の母材（管１２１または管１２２）に割れ等が発生していた場合には、仮にフィレットが適切に形成されていたとしても、ろう付け品質上は不良品として分類されるべき状態である。

【0085】

そこで、このように様々なろう付けの出来栄え情報が作業者（ろう付け接合の作業者）にフィードバックされることが望ましい。このフィードバックは、作業者に対して、これらの状態が発生したことをタイムリーに通知することができる。作業者は、ろう付け接合の動作条件（たとえば、ろう付け機構（図示しない）と接合部との位置決め、母材を把持する位置等）を調節することができるので、結果として、ろう付け品質の安定化に繋げることが可能になる。

【0086】

本実施の形態では、ろう付けの出来栄え情報が作業者にフィードバックされる場合が例示されたが、フィードバックの相手は作業者に限定されない。たとえば、ろう付けの出来栄え情報は自動ろう付け装置等にフィードバックされてもよい。自動ろう付け装置がフィードバックの内容に応じて、自律的にろう付けの動作条件を調節することもできる。

【0087】

なお、本実施の形態では、ろう付けの出来栄え情報の一例として、ろう材の過剰投入および母材割れが例示されたが、出来栄え情報はこれらに限られない。学習用データとして学習するろう付けの出来栄え情報は、ろう材の過剰投入および母材割れに加えて、ろう付け接合の品質につながる様々な異常を含み得る。

【0088】

学習装置１０１０は、ろう付け接合処理が行なわれた後のろう付けの出来栄え状態を学習するために使用される。学習装置１０１０は、検査システム１０００の外部に設けられてもよい。例えば、他の局面において、学習装置１０１０は、インターネットまたはイントラネットのようなネットワークを介して画像処理装置１００に接続され得る。さらに他の局面において、学習装置１０１０は、画像処理装置１００に内蔵されていてもよい。さらに、学習装置１０１０は、クラウドサーバ上に存在していてもよい。

【0089】

モデル生成部１０１２は、学習アルゴリズムとして、教師あり学習、教師なし学習、強化学習等の公知のアルゴリズムを使用し得る。

【0090】

そこで、図１２を参照して、学習アルゴリズムとして、ニューラルネットワークが用いられる場合について説明する。図１２は、学習装置１０１０が使用するニューラルネットワーク１２００を例示する図である。ニューラルネットワーク１２００は、複数のニューロンからなる入力層Ｘ１，Ｘ２，Ｘ３と、複数のニューロンからなる中間層（隠れ層）Ｙ２，Ｙ２と、複数のニューロンからなる出力層Ｚ１，Ｚ２，Ｚ３とで構成される。中間層は、１層または２層以上である。

【0091】

ある局面において、モデル生成部１０１２は、ニューラルネットワークモデルに従って、いわゆる教師あり学習により、ろう付けの出来栄え情報を学習する。教師あり学習とは、入力と結果（ラベル）とのデータの組を学習装置１０１０に与えることで、モデル生成部１０１２は、当該データの組に内在する特徴を学習し、入力から結果を推論する手法をいう。

【0092】

図１２に例示されるニューラルネットワーク１２００であれば、複数の入力が入力層Ｘ１，Ｘ２，Ｘ３に入力されると、重みＷ１（ｗ１１，ｗ１２，ｗ１３，ｗ１４，ｗ１５，ｗ１６）が当該入力値に掛け合わされる。その結果は、中間層Ｙ１，Ｙ２に入力される。中間層は当該入力値に対して演算を行なう。重みＷ２（ｗ２１，ｗ２２，ｗ２３，ｗ２４，ｗ２５，ｗ２６）が当該演算の結果に掛け合わされる。その結果は、出力層Ｚ１，Ｚ２，Ｚ３に入力される。出力層Ｚ１，Ｚ２，Ｚ３は当該入力値に対する演算を行ない、演算の結果を出力する。この出力結果は、重みＷ１，Ｗ２の値によって変わる。

【0093】

本実施の形態において、ニューラルネットワーク１２００は、データ取得部１０１１によって取得される「ろう付け後画像」と「ろう付けの出来栄え情報」との組み合せに基づいて作成される学習用データに従って、いわゆる教師あり学習により、ろう付け状態の情報を学習する。

【0094】

すなわち、ニューラルネットワーク１２００は、入力層Ｘ１，Ｘ２，Ｘ３にろう付け後画像を入力して出力層Ｚ１，Ｚ２，Ｚ３から出力された結果が、ろう付けの出来栄え情報に近づくように、重みＷ１，Ｗ２を調整することで学習する。

【0095】

モデル生成部１０１２は、以上のような学習を実行することで学習済モデルを生成し、学習済モデル記憶部１０２０に出力する。学習済モデル記憶部１０２０は、モデル生成部１０１２から出力された学習済モデルを記憶する。学習済モデル記憶部１０２０は、ハードディスク５、ＲＡＭ４その他の記憶装置によって実現される。

【0096】

次に、図１３を参照して、学習装置１０１０による学習処理について説明する。図１３は、学習装置１０１０として機能するＣＰＵ１が実行する処理の一部を表わすフローチャートである。

【0097】

ステップＳ１３１０において、ＣＰＵ１は、データ取得部１０１１として、ろう付け後画像およびろう付けの出来栄え情報を画像処理装置１００から取得する。取得のタイミングは特に限定されない。少なくとも、ＣＰＵ１は、ろう付け後画像と、ろう付けの出来栄え情報とが関連付けられた状態で取得できればよい。ある局面において、ＣＰＵ１は、ろう付け後画像と、ろう付けの出来栄え情報とを同時に取得し得る。他の局面において、ＣＰＵ１は、ろう付け後画像と、ろう付けの出来栄え情報とを、別のタイミングでそれぞれ取得し得る。

【0098】

ステップＳ１３２０にて、ＣＰＵ１は、モデル生成部１０１２として、ろう付け後画像と、ろう付けの出来栄え情報との組み合せに基づいて作成される学習用データに従って、いわゆる教師あり学習により、ろう付け状態の情報を学習し、学習済モデルを生成する。

【0099】

ステップＳ１３３０にて、ＣＰＵ１は、モデル生成部１０１２として、生成した学習済モデルを学習済モデル記憶部１０２０に格納する。以上のようにして、学習装置１０１０は、学習済モデルを生成する。

【0100】

なお、本実施の形態では、モデル生成部１０１２は学習アルゴリズムとして教師あり学習を使用する場合が例示されたが、使用される学習アルゴリズムは、教師あり学習に限られない。モデル生成部１０１２は、他の学習アルゴリズムとして、たとえば、強化学習、教師なし学習、または半教師あり学習等を使用し得る。

【0101】

また、他の局面において、モデル生成部１０１２は、複数の検査システムに対して作成される学習用データに従って、ろう付け状態の情報を学習してもよい。たとえば、モデル生成部１０１２は、同一のエリアで使用される複数の検査システムから学習用データを取得してもよいし、異なるエリアで独立して動作する複数の検査システムから収集される学習用データを利用してろう付け状態の情報を学習してもよい。

【0102】

また、学習用データを収集する検査システムは、収集の対象として途中で追加されてもよく、また、収集の対象から除去されてもよい。

【0103】

さらに、ある検査システムに関してろう付け状態の情報を学習した学習装置１０１０を、これとは別の検査システムに適用し、当該別の検査システムに関してろう付け状態の情報を再学習して、学習済モデルを更新してもよい。

【0104】

また、他の局面において、モデル生成部１０１２は、学習アルゴリズムとしては、特徴量そのものの抽出を学習する深層学習（Deep Learning）を使用し得る。さらに、モデル生成部１０１２は、他の公知の方法、例えば、遺伝的プログラミング、機能論理プログラミング、サポートベクターマシンなどに従って機械学習を実行し得る。

【0105】

図１０を再び参照して、本実施の形態における推論装置１０３０について説明する。推論装置１０３０において、データ取得部１０３１は、カメラ１１３を駆動する撮影制御部１０１によって取得された画像データを取り込み、推論用画像を取得する。

【0106】

推論部１０３２は、学習済モデル記憶部１０２０に格納されている学習済モデルにアクセスして、取得した推論用画像を当該学習済モデルに入力し、ろう付け状態の情報を出力する。すなわち、データ取得部１０３１で取得されたろう付け後画像が学習済モデルに入力されることで、推論装置１０３０は、ろう付け後画像から推論されるろう付け状態の情報を出力する。

【0107】

なお、本実施の形態では、推論装置１０３０は、モデル生成部１０１２で学習された学習済モデルを用いてろう付け状態の情報を出力する。しかしながら、使用される学習済モデルは、他の学習装置で作成された学習済モデルでもよく、推論装置１０３０は、この学習済モデルに基づいてろう付け状態の情報を出力し得る。

【0108】

＜推論処理＞
そこで、図１４を参照して、推論装置１０３０による推論処理について説明する。図１４は、推論装置１０３０として機能するコンピュータ２００のＣＰＵ１が実行する処理の一部を表わすフローチャートである。

【0109】

ステップＳ１４１０にて、ＣＰＵ１は、以降の処理で使用される各変数を初期化する。

【0110】

ステップＳ１４１５にて、ＣＰＵ１は、データ取得部１０３１として、画像データを取得し、画像データから推論用画像を取得する。

【0111】

ステップＳ１４２０にて、ＣＰＵ１は、推論部１０３２として、学習済モデル記憶部１０２０に格納されている学習済モデルに推論用画像を入力する。

【0112】

ステップＳ１４２５にて、ＣＰＵ１は、当該推論用画像がＯＫであるか否かを判断する。この判断は、たとえば、ステップＳ９５０，Ｓ９５５の結果に基づいて行なわれ得る。他の局面において、この判断は、学習済モデルから出力されるろう付け情報に基づいて行なわれてもよい。ＣＰＵ１は、推論用画像がＯＫであると判断すると（ステップＳ１４２５にてＹＥＳ）、制御をステップＳ１４３０に切り換える。そうでない場合、すなわち、当該推論用画像がＮＧである場合には（ステップＳ１４２５にてＮＯ）、ＣＰＵ１は、制御をステップＳ１４５０に切り換える。

【0113】

ステップＳ１４３０にて、ＣＰＵ１は、当該推論用画像の中に異常があるか否かを判断する。この判断は、たとえば、学習済モデルから出力されるろう付け情報に基づいて行なわれる。ワーク２０が良品である場合の異常は、例えば「ろう材過剰投入」である。ＣＰＵ１は、当該異常があると判断すると（ステップＳ１４３０にてＹＥＳ）、制御をステップＳ１４３５に切り換える。そうでない場合には（ステップＳ１４３０にてＮＯ）、ＣＰＵ１は、制御をステップＳ１４４０に切り替える。

【0114】

ステップＳ１４３５にて、ＣＰＵ１は、当該ワーク２０は良品である旨の結果と、アラートとを出力する。当該アラートは、たとえば、液だれ等である。

【0115】

ステップＳ１４４０にて、ＣＰＵ１は、当該ワーク２０は良品である旨の結果を出力する。

【0116】

ステップＳ１４５０にて、ＣＰＵ１は、当該推論用画像がＮＧであると判定された要因を特定する。この特定は、学習済モデルから出力されるろう付け情報に基づいて行なわれる。当該要因は、たとえば、ボイド、母材割れ等ろう付け接合で生じうる異常を含む。当該特定は、画像に含まれる暗領域の大きさと閾値との関係に基づいて行なわれる。ＣＰＵ１は、当該要因がボイドであると特定すると、制御をステップＳ１４５５に切り換える。他方、ＣＰＵ１は、当該要因が母材割れと特定すると、制御をステップＳ１４６０に切り換える。

【0117】

ステップＳ１４５５にて、ＣＰＵ１は、当該推論用画像はボイドを含むのでＮＧであると判定する。

【0118】

ステップＳ１４６０にて、ＣＰＵ１は、当該推論用画像は母材割れを含むのでＮＧであると判定する。

【0119】

ステップＳ１４７０にて、ＣＰＵ１は、判定結果を出力する。

【0120】

以上のようにして、本実施の形態によれば、検査システム１０００は、学習機能と推論機能とを有するので、ワーク２０の検査の判定効率が向上し得る。

【0121】

以上詳述した実施の形態に従うと、母材などに特殊な加工を必要とせず、必要最小限の構成で母材及びフィレットの状態を検査できる。また、品質向上に寄与する検査装置を提供できる。

【0122】

本明細書で開示された技術的特徴の一部は、例えば、以下のように要約され得る。

【0123】

［例１］ある局面に従うと、コンピュータがワーク２０を検査するための方法が提供される。この方法は、ＣＰＵ１が、ろう付け接合されたワーク２０の撮影によって得られた画像データの入力を受けるステップと、ＣＰＵ１が、画像データに基づいて、ワーク２０における検査対象領域と、予め定められた明るさとを比較するステップと、ワーク２０における検査対象領域から、予め定められた明るさよりも暗い領域が抽出されたことに基づいて、ワーク２０が正常にろう付けされていないと判別するステップと、判別の結果を出力するステップとを含む。

【0124】

［例２］ある局面に従う方法は、例１に示される構成に加えて、ＣＰＵ１が、光源からワーク２０に光を照射させるステップと、ＣＰＵ１が、光に照射されたワーク２０を撮像装置に撮影させるステップとをさらに含む。入力を受けるステップは、撮像装置から画像データを受信するステップを含む。

【0125】

［例３］ある局面に従う方法は、例２に示される構成に加えて、ワーク２０と撮像装置とを結ぶ軸は、光源とワーク２０とを結ぶ軸からずれている。

【0126】

［例４］ある局面に従う方法は、例１～３のいずれかに示される構成に加えて、ＣＰＵ１が、予め指定された色の成分に基づいて、入力された画像データから、ワーク２０に対応する領域を抽出するステップをさらに含む。比較するステップは、抽出された領域において、検査対象領域と予め定められた明るさとを比較するステップを含む。

【0127】

［例５］他の局面に従うと、ろう付け接合の状態を推論する学習済モデルを生成するための方法が提供される。この方法は、ＣＰＵ１が、ろう付け接合されたワーク２０の撮影によって得られた画像データの入力を受けるステップと、ＣＰＵ１が、画像データについてワーク２０のろう付け接合の状態を表わす出来栄え情報と、ろう付け接合されたワーク２０の撮影によって得られた画像データとを含む学習用データの入力を受けるステップと、ＣＰＵ１が、学習用データを用いて、ろう付け接合が行なわれたワーク２０の画像データから当該ワーク２０のろう付け接合の状態を推論する学習済モデルを生成するステップとを含む。

【0128】

［例６］ある局面に従う方法は、例５に示される構成に加えて、出来栄え情報は、フィレットが予め定められた基準を満たすように接合部に形成されていることを示す情報と、フィレットが予め定められた基準を満たすように接合部に形成されていないことを示す情報とを含む。

【0129】

［例７］ある局面に従う方法は、例６に示される構成に加えて、出来栄え情報は、フィレットが予め定められた基準を満たすように接合部に形成されているが、ワーク２０の母材が損傷を受けていることを示す情報をさらに含む。

【0130】

［例８］他の局面に従うと、プログラム（コンピュータソフトウェア）が提供される。このプログラムは、例１～７のいずれかに記載の方法をコンピュータに実現させるプログラムが提供される。

【0131】

［例９］他の局面に従うと、検査装置が提供される。この検査装置は、例１～４のいずれかに記載の方法をコンピュータに実現させるプログラムを格納したメモリと、プログラムを実行するプロセッサとを備える。

【0132】

［例１０］他の局面に従うと、学習済モデル生成装置が提供される。この学習済モデル生成装置は、コンピュータ２００によって実現される。学習済モデル生成装置は、例５～７のいずれかに記載の方法をコンピュータに実現させるプログラムを格納したメモリと、プログラムを実行するプロセッサとを備える。

【0133】

［例１１］他の局面に従うと、コンピュータ２００にろう付け接合の良否を判定させる学習済モデルが提供される。この学習済モデルは、コンピュータの記憶装置に格納され得る。また、当該学習済モデルは、ＣＤ－ＲＯＭ９その他の記録媒体に格納されて、コンピュータプログラムとして流通し得る。あるいは、当該学習済モデルは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能な学習済モデルとして提供され得る。さらには、いわゆるＳａａＳ（Software as a service）として、クラウドサービスを提供するサーバコンピュータの記憶装置にも格納され得る。この学習済モデルは、ろう付け接合されたワーク２０の撮影によって得られた推論用画像データの入力を受ける。学習済モデルは、ろう付け接合されたワーク２０の撮影によって得られた学習用画像データと、前記ワーク２０のろう付け接合の状態を表す出来栄え情報とに基づいて、ろう付け接合が行なわれたワーク２０の当該推論用画像データから当該ワーク２０のろう付け接合の状態を推論する。

【0134】

［例１２］他の局面に従う学習済モデルは、例１１に示される構成に加えて、出来栄え情報は、フィレットが予め定められた基準を満たすように接合部に形成されていることを示す情報と、フィレットが予め定められた基準を満たすように接合部に形成されていないことを示す情報とを含む。

【0135】

［例１３］他の局面に従う学習済モデルは、例１２に示される構成に加えて、出来栄え情報は、フィレットが予め定められた基準を満たすように接合部に形成されているが、ワーク２０の母材が損傷を受けていることを示す情報をさらに含む。

【0136】

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0137】

１ ＣＰＵ、２ マウス、３ キーボード、４ ＲＡＭ、５ ハードディスク、６ 光ディスク駆動装置、７ 通信インターフェイス、８ モニタ、９ ＣＤ－ＲＯＭ、１０，１０００ 検査システム、２０ ワーク、１００ 画像処理装置、１０１ 撮影制御部、１０２ 判別部、１１３ カメラ、１１４，１１５ バー照明、１１７ センサ、１２１，１２２ 管、１２６ 接合部、１２７ フィレット、１２８ 表面、２００ コンピュータ、４１０，４２０ 光、４１１，４２１ 反射光、５００ 画面、５０１，５０２，５６１，７００，７０１，７０２，７０６，７０８，７１０，７１６，８００，８０６，８０８，８１０，１１００，１１１０，１１２０，１１３０ 画像、１０１０ 学習装置、１０１１，１０３１ データ取得部、１０１２ モデル生成部、１０２０ 学習済モデル記憶部、１０３０ 推論装置、１０３２ 推論部、１０４０ 表示部、１２００ ニューラルネットワーク。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】