特開 2023-67546 検査システム、画像処理システム、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023067546

(43)【公開日】2023-05-16

(54)【発明の名称】検査システム、画像処理システム、画像処理方法、及びプログラム

(51)【国際特許分類】

   G01N 21/956 20060101AFI20230509BHJP

【ＦＩ】

G01N21/956 B

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2021178909

(22)【出願日】2021-11-01

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002527

【氏名又は名称】弁理士法人北斗特許事務所

(72)【発明者】

【氏名】角田 耕一

(72)【発明者】

【氏名】鎌田 祥平

【テーマコード（参考）】

2G051

【Ｆターム（参考）】

2G051AA65

2G051AB14

2G051AC04

2G051BA01

2G051BB03

2G051BB05

2G051BC01

2G051CA04

2G051CB01

2G051CB05

2G051EA11

2G051EB01

2G051EC01

(57)【要約】

【課題】 曲面を有する物体の検出精度を向上させることができる検査システム、画像処理システム、画像処理方法、及びプログラムを提供する。
【解決手段】 検査システムＩＳ１において、画像取得部４１は、第１光Ｌ１が照射されているときに生成された第１撮像画像のデータ、及び第２光Ｌ２が照射されているときに生成された第２撮像画像のデータを取得する。判定部４２は、第１撮像画像に基づいて、回路基板９にはんだボールＢ１が存在しているか否かを判定する。位置検出部４３は、第１撮像画像においてはんだボールＢ１が写っている領域の位置を検出位置として検出する。抽出部４４は、検出位置に基づいて、第２撮像画像から、はんだボールＢ１が写っている領域を含む検査画像を抽出する。検査部４５は、検査画像に基づいてはんだボールＢ１の大きさを検出し、検出結果を出力する。
【選択図】図１

【特許請求の範囲】

【請求項1】

検査対象を撮像した撮像画像を生成する撮像装置と、
前記撮像装置の光軸に対して同軸となる第１光を前記検査対象に照射する第１照明装置と、
前記光軸に交差する方向から前記検査対象に第２光を照射する第２照明装置と、
前記撮像画像に基づいて、前記検査対象において曲面を有する物体を検出する画像処理システムと、を備え、
前記画像処理システムは、
前記第１光が照射されているときに生成された前記撮像画像である第１撮像画像のデータ、及び前記第２光が照射されているときに生成された前記撮像画像である第２撮像画像のデータを取得する画像取得部と、
前記第１撮像画像に基づいて、前記検査対象に前記物体が存在しているか否かを判定する判定部と、
前記検査対象に前記物体が存在していれば、前記第１撮像画像において前記物体が写っている領域の位置を検出位置として検出する位置検出部と、
前記検出位置に基づいて、前記第２撮像画像から、前記物体が写っている領域を含む検査画像を抽出する抽出部と、
前記検査画像に基づいて前記物体の大きさを検出し、検出結果を出力する検査部と、を備える
検査システム。

【請求項2】

前記抽出部は、前記第２撮像画像から、前記物体が写っている領域を含む所定のサイズの領域を前記検査画像として抽出する
請求項１の検査システム。

【請求項3】

前記検査部は、ニューラルネットワークを用いた機械学習によって構築された検査用学習モデルに前記検査画像を入力することで、前記物体の大きさを検出する
請求項１又は２の検査システム。

【請求項4】

前記検査用学習モデルは、前記検査画像からセグメンテーション画像を生成し、前記セグメンテーション画像に基づいて前記物体の大きさを検出する
請求項３の検査システム。

【請求項5】

前記検査用学習モデルは、前記検査画像において前記物体が写っている領域を認識し、
前記検査部は、前記検査用学習モデルの認識結果に基づいて前記物体の大きさを検出する
請求項３の検査システム。

【請求項6】

前記検査部は、前記検査画像に対してエッジ抽出処理を行った後に、前記物体の大きさを判定する
請求項１又は２の検査システム。

【請求項7】

前記検査対象は、回路基板であり、
前記物体は、はんだボールである
請求項１乃至６のいずれか１つの検査システム。

【請求項8】

撮像装置が検査対象を撮像した撮像画像に基づいて、前記検査対象において曲面を有する物体を検出する画像処理システムであって、
前記撮像装置の光軸に対して同軸となる第１光が前記検査対象に照射されているときに生成された前記撮像画像である第１撮像画像のデータ、及び前記光軸に交差する方向から前記検査対象に第２光が照射されているときに生成された前記撮像画像である第２撮像画像のデータを取得する画像取得部と、
前記第１撮像画像に基づいて、前記検査対象に前記物体が存在しているか否かを判定する判定部と、
前記検査対象に前記物体が存在していれば、前記第１撮像画像において前記物体が写っている領域の位置を検出位置として検出する位置検出部と、
前記検出位置に基づいて、前記第２撮像画像から、前記物体が写っている領域を含む検査画像を抽出する抽出部と、
前記検査画像に基づいて前記物体の大きさを検出し、検出結果を出力する検査部と、を備える
画像処理システム。

【請求項9】

前記抽出部は、前記第２撮像画像から、前記物体が写っている領域を含む所定のサイズの領域を前記検査画像として抽出する
請求項８の画像処理システム。

【請求項10】

前記検査部は、ニューラルネットワークを用いた機械学習によって構築された検査用学習モデルに前記検査画像を入力し、前記検査用学習モデルが判定した前記物体の大きさを前記検出結果とする
請求項８又は９の画像処理システム。

【請求項11】

前記検査用学習モデルは、前記検査画像からセグメンテーション画像を生成し、前記セグメンテーション画像に基づいて前記物体の大きさを判定する
請求項１０の画像処理システム。

【請求項12】

前記検査用学習モデルは、前記検査画像において前記物体が写っている領域を認識し、当該認識結果に基づいて前記物体の大きさを判定する
請求項１０の画像処理システム。

【請求項13】

前記検査部は、前記検査画像に対してエッジ抽出処理を行った後に、前記物体の大きさを判定する
請求項８又は９の画像処理システム。

【請求項14】

前記検査対象は、部品を実装された回路基板であり、
前記物体は、はんだボールである
請求項８乃至１３のいずれか１つの画像処理システム。

【請求項15】

撮像装置が検査対象を撮像した撮像画像に基づいて、前記検査対象において曲面を有する物体を検出する画像処理方法であって、
前記撮像装置の光軸に対して同軸となる第１光が前記検査対象に照射されているときに生成された前記撮像画像である第１撮像画像のデータ、及び前記光軸に交差する方向から前記検査対象に第２光が照射されているときに生成された前記撮像画像である第２撮像画像のデータを取得する画像取得ステップと、
前記第１撮像画像に基づいて、前記検査対象に前記物体が存在しているか否かを判定する判定ステップと、
前記検査対象に前記物体が存在していれば、前記第１撮像画像において前記物体が写っている領域の位置を検出位置として検出する位置検出ステップと、
前記検出位置に基づいて、前記第２撮像画像から、前記物体が写っている領域を含む検査画像を抽出する抽出ステップと、
前記検査画像に基づいて前記物体の大きさを検出し、検出結果を出力する検査ステップと、を含む
画像処理方法。

【請求項16】

コンピュータシステムに、請求項１５記載の画像処理方法を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、検査システム、画像処理システム、画像処理方法、及びプログラムに関する。

【背景技術】

【0002】

特許文献１は、プリント基板上のはんだボールを検出するはんだボール検査装置（以降、従来技術と称す）を提案している。従来技術は、撮像装置、及びデータ処理装置を備える。撮像装置は、プリント基板上の所定領域の画像を得る。データ処理装置は、撮像装置で得られた画像のうち、所定の輝度値を有する連続した画素群を識別する。そして、データ処理装置は、識別された各画素群についてその面積を算出するとともに、面積が所定値以下の画素群についてその円形度を算出する。そして、データ処理装置は、円形度が所定値以上の画素群をはんだボールと判定する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平１１－１０８８５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

近年、例えばはんだボールのような曲面を有する物体の検出する際に、検出精度の向上が求められている。

【0005】

本開示の目的は、曲面を有する物体の検出精度を向上させることができる検査システム、画像処理システム、画像処理方法、及びプログラムを提供することにある。

【課題を解決するための手段】

【0006】

本開示の一態様に係る検査システムは、撮像装置と、第１照明装置と、第２照明装置と、画像処理システムと、を備える。前記撮像装置は、検査対象を撮像した撮像画像を生成する。前記第１照明装置は、前記撮像装置の光軸に対して同軸となる第１光を前記検査対象に照射する。前記第２照明装置は、前記光軸に交差する方向から前記検査対象に第２光を照射する。前記画像処理システムは、前記撮像画像に基づいて、前記検査対象において曲面を有する物体を検出する。そして、前記画像処理システムは、画像取得部と、判定部と、位置検出部と、抽出部と、検査部と、を備える。前記画像取得部は、前記第１光が照射されているときに生成された前記撮像画像である第１撮像画像のデータ、及び前記第２光が照射されているときに生成された前記撮像画像である第２撮像画像のデータを取得する。前記判定部は、前記第１撮像画像に基づいて、前記検査対象に前記物体が存在しているか否かを判定する。前記位置検出部は、前記検査対象に前記物体が存在していれば、前記第１撮像画像において前記物体が写っている領域の位置を検出位置として検出する。前記抽出部は、前記検出位置に基づいて、前記第２撮像画像から、前記物体が写っている領域を含む検査画像を抽出する。前記検査部は、前記検査画像に基づいて前記物体の大きさを検出し、検出結果を出力する。

【0007】

本開示の一態様に係る画像処理システムは、撮像装置が検査対象を撮像した撮像画像に基づいて、前記検査対象において曲面を有する物体を検出する。前記画像処理システムは、画像取得部と、判定部と、位置検出部と、抽出部と、検査部と、を備える。前記画像取得部は、前記撮像装置の光軸に対して同軸となる第１光が前記検査対象に照射されているときに生成された前記撮像画像である第１撮像画像のデータ、及び前記光軸に交差する方向から前記検査対象に第２光が照射されているときに生成された前記撮像画像である第２撮像画像のデータを取得する。前記判定部は、前記第１撮像画像に基づいて、前記検査対象に前記物体が存在しているか否かを判定する。前記位置検出部は、前記検査対象に前記物体が存在していれば、前記第１撮像画像において前記物体が写っている領域の位置を検出位置として検出する。前記抽出部は、前記検出位置に基づいて、前記第２撮像画像から、前記物体が写っている領域を含む検査画像を抽出する。前記検査部は、前記検査画像に基づいて前記物体の大きさを検出し、検出結果を出力する。

【0008】

本開示の一態様に係る画像処理方法は、撮像装置が検査対象を撮像した撮像画像に基づいて、前記検査対象において曲面を有する物体を検出する。前記画像処理方法は、画像取得ステップと、判定ステップと、位置検出ステップと、抽出ステップと、検査ステップと、を含む。前記画像取得ステップは、前記撮像装置の光軸に対して同軸となる第１光が前記検査対象に照射されているときに生成された前記撮像画像である第１撮像画像のデータ、及び前記光軸に交差する方向から前記検査対象に第２光が照射されているときに生成された前記撮像画像である第２撮像画像のデータを取得する。前記判定ステップは、前記第１撮像画像に基づいて、前記検査対象に前記物体が存在しているか否かを判定する。前記位置検出ステップは、前記検査対象に前記物体が存在していれば、前記第１撮像画像において前記物体が写っている領域の位置を検出位置として検出する。前記抽出ステップは、前記検出位置に基づいて、前記第２撮像画像から、前記物体が写っている領域を含む検査画像を抽出する。前記検査ステップは、前記検査画像に基づいて前記物体の大きさを検出し、検出結果を出力する。

【0009】

本発明の一態様に係るプログラムは、コンピュータシステムに、上述の画像処理方法を実行させる。

【発明の効果】

【0010】

以上説明したように、本開示は、曲面を有する物体の検出精度を向上させることができるという効果がある。

【図面の簡単な説明】

【0011】

【図1】図１は、実施形態の画像処理システムを備える検査システムの構成を示すブロック図である。

【図2】図２は、同上の検査システムの第１照明装置を示す一部破断した側面図である。

【図3】図３は、同上の検査システムの第２照明装置を示す一部破断した側面図である。

【図4】図４は、同上の検査システムの第１撮像画像を示す図である。

【図5】図５は、同上の検査システムの第１照明装置が照射する第１光を示す側面図である。

【図6】図６は、同上の検査システムの第１撮像画像の一部を抽出した抽出画像を示す図である。

【図7】図７は、同上の検査システムの第２撮像画像を示す図である。

【図8】図８は、同上の検査システムの第２照明装置が照射する第２光を示す側面図である。

【図9】図９は、同上の検査システムの検査画像を示す図である。

【図10】図１０は、同上の検査システムの二値化画像を示す図である。

【図11】図１１Ａは、同上の検査システムの第１撮像画像の一部であり、ほこりが写っている画像を示す図である。図１１Ｂは、同上の検査システムの第２撮像画像の一部であり、ほこりが写っている画像を示す図である。

【図12】図１２Ａは、同上の検査システムの第１撮像画像の一部であり、リード端子が写っている画像を示す図である。図１２Ｂは、同上の検査システムの第２撮像画像の一部であり、リード端子が写っている画像を示す図である。

【図13】図１３は、同上の画像処理方法を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下の実施形態は、検査システム、画像処理システム、画像処理方法、及びプログラムに関する。より詳細には、撮像画像に基づいて、検査対象において曲面を有する物体を検出する検査システム、画像処理システム、画像処理方法、及びプログラムに関する。

【0013】

なお、以下に説明する実施形態は、本開示の実施形態の一例にすぎない。本開示は、以下の実施形態に限定されず、本開示の効果を奏することができれば、設計等に応じて種々の変更が可能である。

【0014】

（実施形態）
（１）検査システムの概略
本実施形態の検査システムは、コンピュータシステムを用いた画像処理技術により、検査対象において曲面を有する物体を検出する。本実施形態では、検査対象は回路基板であり、検出対象となる物体ははんだボールである。

【0015】

回路基板には、導体のパターンが形成され、様々な電気部品、及び電子部品が実装されている。各部品は、基板にはんだ付けされることで、基板に機械的に固定され、かつ、導体のパターンに電気的に接続される。しかし、はんだ付けの工程において、溶けたはんだが基板上に飛散して、はんだボールを形成することがある。はんだボールは、基板に実装されている電気部品のリード端子、電子部品のリード端子に付着したり、導体のパターンに付着したりすると、回路基板の不具合の要因となり得る。そこで、検査システムは、回路基板のはんだボールを検出することで、回路基板の検査を行う。

【0016】

図１は、本実施形態の検査システムＩＳ１のブロック構成を示す。そして、検査システムＩＳ１は、回路基板９を検査対象とし、はんだボールＢ１を検出対象の物体として、回路基板９のはんだボールＢ１を検出する。すなわち、回路基板９の不具合の要因となるはんだボールＢ１の検査が可能となる。

【0017】

はんだボールＢ１は、回路基板９に部品（電気部品、電子部品など）を実装する際に行われるはんだ付けの工程で、溶けたはんだが回路基板上に飛散することで形成される。はんだボールＢ１の表面は、球状、半球状、又は球状の一部からなる曲面を有する。図１では、はんだボールＢ１の表面を球状の曲面Ｂ１１としている。

【0018】

検査システムＩＳ１は、撮像装置３と、第１照明装置１と、第２照明装置２と、画像処理システム４と、を備える。撮像装置３は、検査対象である回路基板９を撮像した撮像画像を生成する。第１照明装置１は、撮像装置３の光軸ＯＡ１に対して同軸となる第１光Ｌ１を回路基板９に照射する。第２照明装置２は、光軸ＯＡ１に交差する方向から回路基板９に第２光Ｌ２を照射する。画像処理システム４は、撮像画像に基づいて、回路基板９において曲面Ｂ１１を有する物体であるはんだボールＢ１を検出する。

【0019】

そして、画像処理システム４は、画像取得部４１と、判定部４２と、位置検出部４３と、抽出部４４と、検査部４５と、を備える。画像取得部４１は、第１光Ｌ１が照射されているときに生成された撮像画像である第１撮像画像のデータ、及び第２光Ｌ２が照射されているときに生成された撮像画像である第２撮像画像のデータを取得する。判定部４２は、第１撮像画像に基づいて、回路基板９にはんだボールＢ１が存在しているか否かを判定する。位置検出部４３は、回路基板９にはんだボールＢ１が存在していれば、第１撮像画像においてはんだボールＢ１が写っている領域の位置を検出位置として検出する。抽出部４４は、検出位置に基づいて、第２撮像画像から、はんだボールＢ１が写っている領域を含む検査画像を抽出する。検査部４５は、検査画像に基づいてはんだボールＢ１の大きさを検出し、検出結果を出力する。

【0020】

検査システムＩＳ１、及び画像処理システム４は、上述の構成を備えることで、曲面Ｂ１１を有する物体である、はんだボールＢ１の検出精度を向上させることができる。

【0021】

（２）検査システムの詳細
検査システムＩＳ１は、図１に示すように、撮像装置３と、第１照明装置１と、第２照明装置２と、画像処理システム４と、を備える。

【0022】

回路基板９は、図示しない搬送装置などによって検査システムＩＳ１に搬入される。そして、検査システムＩＳ１による検査が終了すると、搬送装置などによって検査システムＩＳ１から搬出される。回路基板９は、矩形板形状であり、回路基板９の厚み方向に対向する第１面９１及び第２面９２を有する。図１では、互いに直交するＸ軸、Ｙ軸、Ｚ軸を規定し、検査システムＩＳ１に搬入された回路基板９は、第１面９１及び第２面９２がＸ－Ｙ平面（Ｘ軸とＹ軸とで規定される面）に沿うように配置されている。すなわち、第１面９１及び第２面９２の各法線は、Ｚ軸に沿って延びている。図１では、検査システムＩＳ１は、第１面９１上のはんだボールＢ１を検出する。

【0023】

（２．１）撮像装置
撮像装置３は、レンズ、及び複数の撮像素子を有する。撮像素子は、ＣＣＤ（Charged Coupled Devices）、又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などである。そして、撮像素子がレンズによって集光された光を受光することで、撮像装置３は、白黒（又はカラー）の静止画を撮像することができる。撮像装置３が撮像した画像（撮像画像）は、撮像画像の各画素の濃淡値が例えば２５６段階（濃淡値０－２５５のいずれか）に設定された濃淡画像である。撮像装置３は、撮像画像のデータとして、濃淡画像のデータを画像処理システム４へ送信する。なお、本実施形態において、暗い画素は濃淡値が低く、明るい画素は濃淡値が高くなる。

【0024】

撮像装置３の光軸をＯＡ１とすると、撮像装置３は、光軸ＯＡ１がＺ軸に沿うように、回路基板９の第１面９１に対向して設置されている。すなわち、光軸ＯＡ１は、Ｚ軸と平行、又はほぼ平行になる。

【0025】

（２．２）第１照明装置
第１照明装置１は、図２に示すように、Ｚ軸に沿って対向する撮像装置３と回路基板９との間に配置されている。また、第１照明装置１が点灯するとき、第２照明装置２は、撮像装置３と回路基板９との間から外されている。すなわち、Ｚ軸に沿って、撮像装置３、第１照明装置１、回路基板９の順に配置されている。そして、第１照明装置１は、撮像装置３の光軸ＯＡ１に対して同軸となる第１光Ｌ１を検査対象である回路基板９に照射する。すなわち、第１照明装置１は、撮像装置３の同軸照明として機能する。図１では、第１光Ｌ１は、回路基板９の第１面９１に、第１面９１の法線方向から入射する。

【0026】

具体的に、第１照明装置１は、図２に示すように、光源１１、及びハーフミラー１２を備える。光源１１とハーフミラー１２とは、Ｘ軸に沿って対向している。

【0027】

光源１１は、ケース１１１、複数の固体発光素子１１２、及び拡散板１１３を備える。

【0028】

ケース１１１は、一端を閉塞した円筒形状である。ケース１１１の軸方向はＸ軸に沿っている。ケース１１１の内部において、ケース１１１の一端の底面には、複数の固体発光素子１１２が配置されている。固体発光素子１１２は、ＬＥＤ（Light Emitting Diode）、又は有機ＥＬ（Organic Electro Luminescence、OEL）などであり、所定の光色の光Ｌ１００を発する。光Ｌ１００の光色は、例えば白、黄、青、赤、又は２色以上の混色である。

【0029】

ケース１１１は、底面に対向する開口に嵌め込まれた拡散板１１３を備えており、固体発光素子１１２が発した光Ｌ１００は、拡散板１１３を透過することで拡散光となる。拡散板１１３を透過した光Ｌ１００は、Ｘ軸に沿ってハーフミラー１２に向かって進む。

【0030】

ハーフミラー１２は、ハーフミラー１２の中心を光軸ＯＡ１が通るように配置されている。さらに、ハーフミラー１２は、Ｘ－Ｙ平面に対して４５度の角度で交差するように配置されている。すなわち、ハーフミラー１２は、撮像装置３の光軸ＯＡ１に対して４５度の角度で交差するように配置されている。撮像装置３は、ハーフミラー１２を介して回路基板９の第１面９１を撮像する。

【0031】

そして、光源１１から出射した光Ｌ１００は、ハーフミラー１２に到達すると、ハーフミラー１２で反射する第１光Ｌ１と、ハーフミラー１２を透過する透過光Ｌ１０１とに分かれる。ハーフミラー１２で反射した第１光Ｌ１は、Ｚ軸に沿って回路基板９に向かって進み、回路基板９の第１面９１に照射される。すなわち、第１光Ｌ１は、撮像装置３の光軸ＯＡ１に対して同軸の光となり、第１面９１に照射される。

【0032】

上述の第１照明装置１は、図１に示す仮想発光面１０と等価になる。仮想発光面１０は、回路基板９の第１面９１に対してＺ軸に沿って対向し、光軸ＯＡ１に対して同軸の光である第１光Ｌ１を、回路基板９の第１面９１に向かって照射する仮想光源である。

【0033】

（２．３）第２照明装置
第２照明装置２は、図３に示すように、Ｚ軸に沿って対向する撮像装置３と回路基板９との間に配置されている。また、第２照明装置２が点灯するとき、第１照明装置１は、撮像装置３と回路基板９との間から外されている。すなわち、Ｚ軸に沿って、撮像装置３、第２照明装置２、回路基板９の順に配置されている。そして、第２照明装置２は、撮像装置３の光軸ＯＡ１に交差する方向から回路基板９に第２光Ｌ２を照射する。すなわち、第２照明装置２は、回路基板９の第１面９１に斜めに入射するように第２光Ｌ２を照射する。

【0034】

具体的に、第２照明装置２は、図３に示すように、ケース２１、及び複数の固体発光素子２２を備えるリング照明である。

【0035】

ケース２１は、円環形状のケース本体２１１を備え、ケース本体２１１の内周側には円柱状の挿通孔２３が形成されている。ケース本体２１１は、中空構造であり、複数の固体発光素子２２が収納されている。

【0036】

複数の固体発光素子２２は、ケース本体２１１の内部に円環状に配置されている。固体発光素子２２は、ＬＥＤ、又は有機ＥＬなどであり、所定の光色の第２光Ｌ２を発する。第２光Ｌ２の光色は、例えば白、黄、青、赤、又は２色以上の混色である。

【0037】

固体発光素子２２から出射した第２光Ｌ２は、ケース２１の内周側の側面（挿通孔２３の側面）から出射し、回路基板９の第１面９１に向かって進む。このとき、第２光Ｌ２は、撮像装置３の光軸ＯＡ１に交差する方向に進み、回路基板９の第１面９１に照射される。すなわち、第２光Ｌ２は、光軸ＯＡ１に交差する方向である斜め方向から第１面９１に照射される。

【0038】

また、撮像装置３の光軸ＯＡ１は円柱状の挿通孔２３の中心軸を通っており、撮像装置３は、挿通孔２３を介して回路基板９の第１面９１を撮像する。

【0039】

（２．４）画像処理システム
画像処理システム４は、図１に示すように、画像取得部４１、判定部４２、位置検出部４３、抽出部４４、及び検査部４５を備える。

【0040】

画像処理システム４は、コンピュータシステムを備えることが好ましい。すなわち、画像処理システム４では、ＣＰＵ（Central Processing Unit）、又はＭＰＵ（Micro Processing Unit）などのプロセッサがメモリに記憶されているプログラムを読み出して実行することによって、画像処理システム４の一部又は全部の機能が実現される。画像処理システム４は、プログラムに従って動作するプロセッサを主なハードウェア構成として備える。プロセッサは、プログラムを実行することによって機能を実現することができれば、その種類は問わない。プロセッサは、半導体集積回路（ＩＣ）、又はＬＳＩ（Large Scale Integration）を含む一つ又は複数の電子回路で構成される。ここでは、ＩＣやＬＳＩと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（Very Large Scale Integration）、若しくはＵＬＳＩ（Ultra Large Scale Integration）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、フィールド・プログラマブル・ゲート・アレイ（FPGA）、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができる再構成可能な論理デバイスも同じ目的で使うことができる。複数の電子回路は、一つのチップに集積されてもよいし、複数のチップに設けられてもよい。複数のチップは集約して配置されてもよいし、分散して配置されてもよい。

【0041】

（２．４．１）画像取得部
画像取得部４１は、撮像装置３との間で、有線通信又は無線通信を行うことで、撮像装置３が生成した撮像画像のデータを取得する。本実施形態では、撮像画像のデータは、濃淡画像のデータである。なお、有線通信は、例えばツイストペアケーブル、専用通信線、またはＬＡＮ（Local Area Network）ケーブルなどを介した有線通信である。無線通信は、例えばWi-Fi（登録商標）、又は免許を必要としない小電力無線（特定小電力無線）等の規格に準拠した無線通信である。

【0042】

具体的に、画像取得部４１は、図４に示す第１撮像画像Ｇ１のデータ、及び図７に示す第２撮像画像Ｇ２のデータを撮像装置３から取得する。

【0043】

（第１撮像画像）
図４に示す第１撮像画像Ｇ１は、第１照明装置１が撮像装置３と回路基板９との間に位置して点灯し、第２照明装置２が撮像装置３と回路基板９との間から外されて消灯しているときに、撮像装置３が回路基板９を撮像した濃淡画像である。すなわち、第１撮像画像Ｇ１のデータは、第１光Ｌ１が回路基板９に照射され、かつ、第２光Ｌ２が回路基板９に照射されていないときに撮像装置３が撮像した濃淡画像のデータである。

【0044】

第１撮像画像Ｇ１を構成する各画素の濃淡値は、回路基板９の第１面９１における第１光Ｌ１の反射光の量によって決まる。第１撮像画像Ｇ１において明るい画素（濃淡値が高い画素）は、回路基板９の第１面９１において第１光Ｌ１の反射光が多いエリアに対応する。第１撮像画像Ｇ１において暗い画素（濃淡値が低い画素）は、回路基板９の第１面９１において第１光Ｌ１の反射光が少ないエリアに対応する。すなわち、回路基板９の第１面９１は、第１光Ｌ１の反射光の量が多い程、第１撮像画像Ｇ１では明るい画素で表される。なお、図４では、はんだボールＢ１が写っている領域を、対象領域Ｒ１としている。

【0045】

図５では、第１光Ｌ１がはんだボールＢ１に照射されている。第１光Ｌ１は、撮像装置３の光軸ＯＡ１に対して同軸となる光であり、はんだボールＢ１の球状の曲面Ｂ１１に対して、Ｚ軸に沿った方向から照射される。はんだボールＢ１に照射された第１光Ｌ１のうち、曲面Ｂ１１の頂点（球状の曲面Ｂ１１において撮像装置３に最も近い点）付近に照射された第１光Ｌ１は、曲面Ｂ１１の頂点付近で反射して、反射光Ｌ１１となる。反射光Ｌ１１は、Ｚ軸（光軸ＯＡ１）に沿って撮像装置３に向かって進み、ハーフミラー１２を透過した後に撮像装置３に入射する。ボールＢ１に照射された第１光Ｌ１のうち、曲面Ｂ１１の頂点付近を囲むエリア（頂点からずれたエリア）に照射された第１光Ｌ１は、曲面Ｂ１１の頂点付近を囲むエリアで反射して、反射光Ｌ１２となる。反射光Ｌ１２は、撮像装置３に向かって進まず、Ｚ軸（光軸ＯＡ１）に交差する方向に向かって進む。すなわち、反射光Ｌ１１は撮像装置３に入射し、反射光Ｌ１２は撮像装置３に入射しない。

【0046】

この結果、第１撮像画像Ｇ１においてはんだボールＢ１が写っている領域である対象領域Ｒ１は、図６の第１明領域Ｒ１１及び第１暗領域Ｒ１２で構成される。図６は、第１撮像画像Ｇ１の一部を抽出した抽出画像Ｇ１１を示す。

【0047】

第１明領域Ｒ１１は、反射光Ｌ１１によって周囲より明るくなっている各画素を有する点状の領域である。第１暗領域Ｒ１２は、反射光Ｌ１１の量が第１明領域Ｒ１１より少ないために、第１明領域Ｒ１１より暗くなっている各画素を有する領域であり、第１明領域Ｒ１１の周囲を円環状に囲んでいる。すなわち、第１明領域Ｒ１１は、はんだボールＢ１の曲面Ｂ１１の頂点付近に対応し、第１暗領域Ｒ１２は、はんだボールＢ１の曲面Ｂ１１の頂点付近を囲む領域に対応している。

【0048】

（第２撮像画像）
図７に示す第２撮像画像Ｇ２は、第２照明装置２が撮像装置３と回路基板９との間に位置して点灯し、第１照明装置１が撮像装置３と回路基板９との間から外されて消灯しているときに、撮像装置３が回路基板９を撮像した濃淡画像である。すなわち、第２撮像画像Ｇ２のデータは、第２光Ｌ２が回路基板９に照射され、かつ、第１光Ｌ１が回路基板９に照射されていないときに撮像装置３が撮像した濃淡画像のデータである。

【0049】

第２撮像画像Ｇ２を構成する各画素の濃淡値は、回路基板９の第１面９１における第２光Ｌ２の反射光の量によって決まる。第２撮像画像Ｇ２において明るい画素（濃淡値が高い画素）は、回路基板９の第１面９１において第２光Ｌ２の反射光が多いエリアに対応する。第２撮像画像Ｇ２において暗い画素（濃淡値が低い画素）は、回路基板９の第１面９１において第２光Ｌ２の反射光が少ないエリアに対応する。すなわち、回路基板９の第１面９１は、第２光Ｌ２の反射光の量が多い程、第２撮像画像Ｇ２では明るい画素で表される。

【0050】

図８では、第２光Ｌ２がはんだボールＢ１に照射されている。第２光Ｌ２は、撮像装置３の光軸ＯＡ１に交差する方向（斜め方向）から、はんだボールＢ１の球状の曲面Ｂ１１に照射される。すなわち、第２光Ｌ２は、Ｚ軸に交差する方向から、曲面Ｂ１１の頂点を中心とする半球面のエリアに照射される。そして、第２光Ｌ２は、曲面Ｂ１１の頂点を中心とする半球面のエリアで反射して、反射光Ｌ２１となる。反射光Ｌ２１は、撮像装置３に向かって進んで、撮像装置３に入射する。

【0051】

この結果、第２撮像画像Ｇ２においてはんだボールＢ１が写っている領域は、図７及び図９の第２明領域Ｒ２で構成される。図９は、第２撮像画像Ｇ２の一部を抽出した検査画像Ｇ２１を示す。第２明領域Ｒ２は、反射光Ｌ２１によって周囲より明るくなっている各画素を有する円形の領域である。すなわち、第２明領域Ｒ２は、はんだボールＢ１の曲面Ｂ１１の頂点を中心とする半球面のエリアに対応しており、第１撮像画像Ｇ１の第１明領域Ｒ１１より広く、対象領域Ｒ１とほぼ同じ形状及び大きさになる。

【0052】

（２．４．２）判定部
判定部４２は、第１撮像画像Ｇ１に基づいて、回路基板９にはんだボールＢ１が存在しているか否かを判定する。

【0053】

具体的に、第１撮像画像Ｇ１において、第１明領域Ｒ１１及び第１暗領域Ｒ１２（図６参照）のように、点状の明領域の周囲を円環状の暗領域が囲んでいる領域があれば、当該領域は、はんだボールＢ１が写っている領域である可能性が高い。

【0054】

そこで、判定部４２は、ディープラーニング（Deep Learning）などの機械学習によって構築された判定用学習モデルを用いて、第１撮像画像Ｇ１においてはんだボールＢ１が写っている領域の有無を判定する（回路基板９にはんだボールＢ１が存在しているか否かを判定する）。

【0055】

判定用学習モデルは、ＦＣＮ（Fully Convolutional Networks）を用いたディープラーニングによって構築されることが好ましい。機械学習は、第１撮像画像、及び第１撮像画像のセグメンテーション画像を教師データとする。第１撮像画像のセグメンテーション画像は、セマンティックセグメンテーション（Semantic Segmentation）の処理によって、第１撮像画像を構成する全ての画素にラベルを対応付けて、第１撮像画像内を複数のクラスに分割した画像である。本実施形態では、セマンティックセグメンテーションによって分割される複数のクラスに「はんだボール」が含まれている。この結果、判定用学習モデルは、第１撮像画像Ｇ１を入力されると、第１撮像画像Ｇ１にセマンティックセグメンテーションの処理を施して、第１撮像画像Ｇ１を複数のクラスに分割することができる。

【0056】

そして、判定用学習モデルは、第１撮像画像Ｇ１に「はんだボール」のクラスが存在すれば、回路基板９にはんだボールＢ１が存在していると判定して、当該判定結果を出力する。また、判定用学習モデルは、第１撮像画像Ｇ１に「はんだボール」のクラスが存在しなければ、回路基板９にはんだボールＢ１が存在していないと判定して、当該判定結果を出力する。

【0057】

図１１Ａの画像Ｇ１０１は、第１撮像画像Ｇ１の一部であり、暗領域Ｒ１０１にほこりが写っている。暗領域Ｒ１０１は、第１明領域Ｒ１１及び第１暗領域Ｒ１２（図６参照）のように、点状の明領域の周囲を円環状の暗領域が囲んでいる領域ではない。したがって、判定部４２は、暗領域Ｒ１０１を、はんだボールＢ１が写っている領域であるとは判定しない。なお、図１１Ｂの画像Ｇ２０１は、第２撮像画像Ｇ２の一部であり、明領域Ｒ２０１にほこりが写っている。

【0058】

図１２Ａの画像Ｇ１０２は、第１撮像画像Ｇ１の一部であり、領域Ｒ１０２にリード端子（金属端子）が写っている。領域Ｒ１０２は、リード端子の形状を表す暗領域Ｒ１０２ａを有し、暗領域Ｒ１０２ａ内には扁平形状の２つの明領域Ｒ１０２ｂが存在している。明領域Ｒ１０２ｂは、第１明領域Ｒ１１及び第１暗領域Ｒ１２（図６参照）のように、点状の明領域の周囲を円環状の暗領域が囲んでいる領域ではない。したがって、判定部４２は、明領域Ｒ１０２ｂを、はんだボールＢ１が写っている領域であるとは判定しない。なお、図１２Ｂの画像Ｇ２０２は、第２撮像画像Ｇ２の一部であり、領域Ｒ２０２にリード端子が写っている。領域Ｒ２０２は、不規則な形状の暗領域Ｒ２０２ａ、及び不規則な形状の明領域Ｒ２０２ｂを有する。

【0059】

判定用学習モデルを構築する機械学習システムは、検査システムＩＳ１が備える構成、検査システムＩＳ１の外部に設けられる構成のいずれでもよい。

【0060】

（２．４．３）位置検出部
位置検出部４３は、回路基板９にはんだボールＢ１が存在していれば、第１撮像画像Ｇ１においてはんだボールＢ１が写っている領域の位置を検出位置として検出する。

【0061】

具体的に、判定部４２が回路基板９にはんだボールＢ１が存在している、と判定すると、位置検出部４３は、第１撮像画像Ｇ１における対象領域Ｒ１の座標（検出座標）を、検出位置として求める。第１撮像画像Ｇ１における対象領域Ｒ１は、第１明領域Ｒ１１及び第１暗領域Ｒ１２で構成されており（図６参照）、検出座標は、第１明領域Ｒ１１の中心の座標で表される。検出座標は、第１撮像画像Ｇ１に設定されている画像座標系で表される。

【0062】

（２．４．４）抽出部
抽出部４４は、検出位置に基づいて、第２撮像画像Ｇ２から、はんだボールＢ１が写っている領域を含む検査画像Ｇ２１（図９参照）を抽出する。このとき、抽出部４４は、第２撮像画像Ｇ２から、はんだボールＢ１が写っている領域を含む所定のサイズの領域を検査画像Ｇ２１として抽出することが好ましい。

【0063】

具体的に、位置検出部４３が、第１撮像画像Ｇ１から対象領域Ｒ１の座標である検出座標を検出すると、抽出部４４は、検出座標を第２撮像画像Ｇ２に適用する。第１撮像画像Ｇ１と画像座標系と第２撮像画像Ｇ２の画像座標系とは共通であるので、第２撮像画像Ｇ２における検出座標には、はんだボールＢ１が写っている領域である第２明領域Ｒ２（図７及び図９参照）が存在している。

【0064】

そこで、抽出部４４は、第２撮像画像Ｇ２から、検出座標（対象領域Ｒ１だけでなく、第２明領域Ｒ２の座標にも対応）を中心とする矩形状の領域を検査画像Ｇ２１として抽出する。矩形状の検査画像Ｇ２１の縦、横のサイズは予め決められており、第２明領域Ｒ２（はんだボールＢ１が写っている領域）の全体が検査画像Ｇ２１に含まれるように設定されている。

【0065】

抽出部４４は、検査画像Ｇ２１のサイズを、第２撮像画像Ｇ２の解像度に応じて設定することで、後述の検査部４５による検査画像Ｇ２１における第２明領域Ｒ２の検出精度を向上させることができる。一般に、検査画像Ｇ２１のサイズが小さい程、検査部４５による検出精度は向上する。

【0066】

（２．４．５）検査部
検査部４５は、検査画像Ｇ２１に基づいてはんだボールＢ１の大きさを検出し、検出結果を出力する。

【0067】

具体的に、検査部４５は、濃淡画像である検査画像Ｇ２１を二値化処理して、図１０の二値化画像Ｇ３を生成する。検査部４５は、検査画像Ｇ２１の各画素の濃淡値を二値化閾値と比較し、濃淡値が二値化閾値以上である画素を明画素（濃淡値＝２５５）とし、濃淡値が二値化閾値未満である画素を暗画素（濃淡値＝０）とする。検査部４５は、二値化閾値として、予め決められた一定値、又は検査画像Ｇ２１の各画素の濃淡値から求めた値を用いることが好ましい。二値化画像Ｇ３は、第２明領域Ｒ２に対応する複数の明画素からなる検査領域Ｒ３１、及び第２明領域Ｒ２以外の領域に対応する複数の暗画素からなる第３暗領域Ｒ３２を含む。検査領域Ｒ３１は、第３暗領域Ｒ３２に囲まれている。

【0068】

そして、検査部４５は、検査領域Ｒ３１のサイズに基づいて、はんだボールＢ１の大きさを検出する。検査領域Ｒ３１はほぼ円形状であり、検査部４５は、検査領域Ｒ３１の直径Ｄ１に対応する画素数に基づいて、はんだボールＢ１の直径を求めることができる。検査部４５は、検査領域Ｒ３１の複数個所における各直径を求め、複数の直径の最大値、最小値、又は平均値に基づいて、はんだボールＢ１の直径を求めてもよい。

【0069】

そして、検査部４５は、はんだボールＢ１の直径のデータを、検出結果として上位システムＨＳ１に出力する。

【0070】

また、判定部４２が回路基板９にはんだボールＢ１が存在していないと判定したとき、検査部４５は、はんだボールＢ１がない旨を検出結果として上位システムＨＳ１に出力する。

【0071】

（２．５）上位システム
上位システムＨＳ１は、回路基板９の製造工程を管理するシステムである。

【0072】

上位システムＨＳ１は、検査部４５から検出結果を受け取る。そして、上位システムＨＳ１は、検出結果としてはんだボールＢ１の直径のデータを受け取った場合、はんだボールＢ１の直径を予め決められた検査閾値と比較する。この場合、上位システムＨＳ１は、はんだボールＢ１の直径が検査閾値以上であれば、回路基板９を不良と判定し、はんだボールＢ１の直径が検査閾値未満であれば、回路基板９を良と判定する。

【0073】

上位システムＨＳ１は、検出結果としてはんだボールＢ１がない旨を受け取った場合も、回路基板９を良と判定する。

【0074】

そして、上位システムＨＳ１は、良と判定した回路基板９を、搬送装置などによって検査システムＩＳ１から搬出して、後段の工程に流す。上位システムＨＳ１は、不良と判定した回路基板９を、搬送装置などによって検査システムＩＳ１から搬出して、回路基板９からはんだボールＢ１を除去する手直し工程に流す。

【0075】

（２．６）利点
上述のように、検査システムＩＳ１は、第１照明装置１が発する第１光Ｌ１を用いて撮像された第１撮像画像Ｇ１と、第２照明装置２が発する第２光Ｌ２を用いて撮像された第２撮像画像Ｇ２とに基づいて、回路基板９に存在するはんだボールＢ１の大きさを検出する。このような検査システムＩＳ１は、第１撮像画像Ｇ１に基づいて、曲面（特に球状の曲面Ｂ１１）を有するはんだボールＢ１の有無、位置を精度よく判定できる。また、検査システムＩＳ１は、第２撮像画像Ｇ２に基づいて、曲面（特に球状の曲面Ｂ１１）を有するはんだボールＢ１の大きさを精度よく検出できる。すなわち、検査システムＩＳ１は、曲面Ｂ１１を有する物体である、はんだボールＢ１の検出精度を向上させることができる。

【0076】

（３）第１変形例
検査部４５は、ニューラルネットワークを用いた機械学習によって構築された検査用学習モデルに検査画像Ｇ２１を入力することで、はんだボールＢ１の大きさを検出してもよい。検査部４５は、検査用学習モデルを用いることで、はんだボールＢ１の検出精度を向上させることができる。

【0077】

例えば、検査用学習モデルは、検査画像Ｇ２１からセグメンテーション画像を生成し、セグメンテーション画像に基づいてはんだボールＢ１の大きさを検出する。検査部４５は、セグメンテーション画像を用いることで、はんだボールＢ１の検出精度を向上させることができる。

【0078】

具体的に、検査用学習モデルは、ＦＣＮを用いたディープラーニングによって構築されることが好ましい。機械学習は、回路基板９を撮像した多数の教師画像、及び各教師画像のセグメンテーション画像を、教師データとする。教師画像のサイズは、検査画像Ｇ２１のサイズと同じである。教師画像のセグメンテーション画像は、セマンティックセグメンテーションの処理によって、教師画像を構成する全ての画素にラベルを対応付けて、教師画像内を複数のクラスに分割した画像である。本実施形態では、セマンティックセグメンテーションによって分割される複数のクラスに「はんだボール」が含まれている。この結果、検査用学習モデルは、検査画像Ｇ２１を入力されると、検査画像Ｇ２１にセマンティックセグメンテーションの処理を施して、検査画像Ｇ２１を複数のクラスに分割したセグメンテーション検査画像を生成することができる。

【0079】

検査用学習モデルは、セグメンテーション検査画像から、「はんだボール」クラスの領域を抽出し、「はんだボール」クラスの領域の大きさ（例えば、直径）を検出する。

【0080】

検査部４５は、検査用学習モデルが検出した「はんだボール」クラスの領域の大きさを、はんだボールＢ１の大きさの検出結果として上位システムＨＳ１に出力する。

【0081】

なお、検査用学習モデルを構築する機械学習システムは、検査システムＩＳ１が備える構成、検査システムＩＳ１の外部に設けられる構成のいずれでもよい。

【0082】

（４）第２変形例
検査部４５は、機械学習によってニューラルネットワークを用いて構築された検査用学習モデルに検査画像Ｇ２１を入力することで、はんだボールＢ１の大きさを検出してもよい。

【0083】

検査用学習モデルは、検査画像Ｇ２１においてはんだボールＢ１が写っている領域を認識し、検査部４５は、検査用学習モデルの認識結果に基づいてはんだボールＢ１の大きさを検出する。

【0084】

具体的に、検査用学習モデルは、第１変形例と同様に、検査画像Ｇ２１を入力されると、検査画像Ｇ２１にセマンティックセグメンテーションの処理を施して、検査画像Ｇ２１を複数のクラスに分割したセグメンテーション検査画像を生成する。

【0085】

そして、第２変形例では、第１変形例と異なり、検査部４５が、セグメンテーション検査画像から、「はんだボール」クラスの領域を抽出し、「はんだボール」クラスの領域の大きさ（例えば、直径）を検出する。すなわち、第１変形例では、検査用学習モデルが「はんだボール」クラスの領域の大きさを検出するのに対し、第２変形例では、検査部４５が、セグメンテーション検査画像に画像処理を施すことで「はんだボール」クラスの領域の大きさを検出する。

【0086】

検査部４５は、「はんだボール」クラスの領域の大きさを、はんだボールＢ１の大きさの検出結果として上位システムＨＳ１に出力する。

【0087】

なお、検査用学習モデルを構築する機械学習システムは、検査システムＩＳ１が備える構成、検査システムＩＳ１の外部に設けられる構成のいずれでもよい。

【0088】

（５）第３変形例
検査部４５は、検査画像Ｇ２１に対してエッジ抽出処理を行った後に、はんだボールＢ１の大きさを判定してもよい。

【0089】

具体的に、検査部４５は、検査画像Ｇ２１に二値化、微分フィルタ、及びソーベルフィルタ（Sobel filter）などの少なくとも１つの処理を施して、検査画像Ｇ２１からエッジを抽出する。そして、検査部４５は、エッジで囲まれた円形状又はほぼ円形状の領域の大きさ（例えば、直径）を、はんだボールＢ１の大きさの検出結果として上位システムＨＳ１に出力する。

【0090】

（６）第４変形例
検査部４５は、上述のように求めたはんだボールＢ１の直径を予め決められた検査閾値と比較してもよい。この場合、検査部４５は、はんだボールＢ１の直径が検査閾値以上であれば、回路基板９を不良と判定し、はんだボールＢ１の直径が検査閾値未満であれば、回路基板９を良と判定する。検査部４５は、はんだボールＢ１が検出されなかったときも回路基板９を良と判定する。

【0091】

そして、検査部４５は、はんだボールＢ１の大きさの検出結果だけでなく、回路基板９の良否判定の結果も、上位システムＨＳ１に出力する。

【0092】

（７）第５変形例
上述の判定用学習モデル及び検査用学習モデルは、ＦＣＮを用いたディープラーニングによって構築された学習モデルに限定されない。判定用学習モデル及び検査用学習モデルは、例えばＣＮＮ（Convolutional Neural Network）などを用いて構築されてもよい。また、判定用学習モデル及び検査用学習モデルは、サポートベクターマシン（Support Vector Machine）などの他のアルゴリズムを用いてもよい。

【0093】

（８）検査方法
上述の画像処理システム４が実行する画像処理方法は、図１３のフローチャートに表される。

【0094】

検査方法は、撮像装置３が回路基板９を撮像した撮像画像に基づいて、回路基板９においてはんだボールＢ１を検出する画像処理方法である。検査方法は、画像取得ステップＳ１と、判定ステップＳ２と、位置検出ステップＳ３と、抽出ステップＳ４と、検査ステップＳ５と、を含む。

【0095】

画像取得ステップＳ１では、画像取得部４１が、第１撮像画像Ｇ１のデータ、及び第２撮像画像Ｇ２のデータを取得する。第１撮像画像Ｇ１は、第１照明装置１が撮像装置３と回路基板９との間に位置して点灯し、第２照明装置２が撮像装置３と回路基板９との間から外されて消灯しているときに、撮像装置３が回路基板９を撮像した撮像画像である。第２撮像画像Ｇ２は、第２照明装置２が撮像装置３と回路基板９との間に位置して点灯し、第１照明装置１が撮像装置３と回路基板９との間から外されて消灯しているときに、撮像装置３が回路基板９を撮像した撮像画像である。すなわち、第１撮像画像Ｇ１は、撮像装置３の光軸ＯＡ１に対して同軸となる第１光Ｌ１が回路基板９に照射されているときに生成された撮像画像である。第２撮像画像Ｇ２は、光軸ＯＡ１に交差する方向から回路基板９に第２光Ｌ２が照射されているときに生成された撮像画像である。

【0096】

判定ステップＳ２では、判定部４２が、第１撮像画像Ｇ１に基づいて、回路基板９にはんだボールＢ１が存在しているか否かを判定する。

【0097】

位置検出ステップＳ３では、位置検出部４３が、回路基板９にはんだボールＢ１が存在していれば、第１撮像画像Ｇ１においてはんだボールＢ１が写っている領域の位置を検出位置として検出する。

【0098】

抽出ステップＳ４では、抽出部４４が、検出位置に基づいて、第２撮像画像Ｇ２から、はんだボールＢ１が写っている領域を含む検査画像Ｇ２１を抽出する。

【0099】

検査ステップＳ５では、検査部４５が、検査画像Ｇ２１に基づいてはんだボールＢ１の大きさを検出し、検出結果を出力する。

【0100】

画像処理方法は、上述の各ステップを備えることで、曲面Ｂ１１を有する物体である、はんだボールＢ１の検出精度を向上させることができる。

【0101】

（９）その他の変形例
画像処理システム４が検出する物体は、はんだボールＢ１に限定されず、鋼球、又は樹脂ボールなどであってもよい。すなわち、画像処理システム４が検出する物体は、曲面を有する物体であればよく、特に球状又は半球状の曲面を有する物体であることが好ましい。

【0102】

検査部４５は、はんだボールＢ１などの物体の大きさとして、物体の直径を検出する構成に限定されない。検査部４５は、物体の大きさとして、物体の面積、長さ、又は幅などを検出してもよい。

【0103】

検査システムＩＳ１は、第１照明装置１及び第２照明装置２の両方が撮像装置３と回路基板９との間に位置していても、第１撮像画像Ｇ１及び第２撮像画像Ｇ２を撮像可能な構成であってもよい。

【0104】

画像処理システム４の各機能を複数の装置に分散して、複数の装置が画像処理システム４を構成してもよい。例えば、画像処理システム４は、クラウドコンピューティング技術によって実現されてもよい。

【0105】

また、画像処理システム４は、パーソナルコンピュータなどの１つの装置で構成されてもよい。

【0106】

（１０）まとめ
実施形態に係る第１の態様の検査システム（ＩＳ１）は、撮像装置（３）と、第１照明装置（１）と、第２照明装置（２）と、画像処理システム（４）と、を備える。撮像装置（３）は、検査対象（９）を撮像した撮像画像を生成する。第１照明装置（１）は、撮像装置（３）の光軸（ＯＡ１）に対して同軸となる第１光（Ｌ１）を検査対象（９）に照射する。第２照明装置（２）は、光軸（ＯＡ１）に交差する方向から検査対象（９）に第２光（Ｌ２）を照射する。画像処理システム（４）は、撮像画像に基づいて、検査対象（９）において曲面（Ｂ１１）を有する物体（Ｂ１）を検出する。そして、画像処理システム（４）は、画像取得部（４１）と、判定部（４２）と、位置検出部（４３）と、抽出部（４４）と、検査部（４５）と、を備える。画像取得部（４１）は、第１光（Ｌ１）が照射されているときに生成された撮像画像である第１撮像画像（Ｇ１）のデータ、及び第２光（Ｌ２）が照射されているときに生成された撮像画像である第２撮像画像（Ｇ２）のデータを取得する。判定部（４２）は、第１撮像画像（Ｇ１）に基づいて、検査対象（９）に物体（Ｂ１）が存在しているか否かを判定する。位置検出部（４３）は、検査対象（９）に物体（Ｂ１）が存在していれば、第１撮像画像（Ｇ１）において物体（Ｂ１）が写っている領域の位置を検出位置として検出する。抽出部（４４）は、検出位置に基づいて、第２撮像画像（Ｇ２）から、物体（Ｂ１）が写っている領域を含む検査画像（Ｇ２１）を抽出する。検査部（４５）は、検査画像（Ｇ２１）に基づいて物体（Ｂ１）の大きさを検出し、検出結果を出力する。

【0107】

上述の検査システム（ＩＳ１）は、曲面（Ｂ１１）を有する物体（Ｂ１）の検出精度を向上させることができる。

【0108】

実施形態に係る第２の態様の検査システム（ＩＳ１）では、第１の態様において、抽出部（４４）は、第２撮像画像（Ｇ２）から、物体（Ｂ１）が写っている領域を含む所定のサイズの領域を検査画像（Ｇ２１）として抽出することが好ましい。

【0109】

上述の検査システム（ＩＳ１）は、検査画像（Ｇ２１）のサイズを、第２撮像画像（Ｇ２）の解像度に応じて設定することで、検査部（４５）の検出精度を向上させることができる。

【0110】

実施形態に係る第３の態様の検査システム（ＩＳ１）では、第１又は第２の態様において、検査部（４５）は、ニューラルネットワークを用いた機械学習によって構築された検査用学習モデルに検査画像（Ｇ２１）を入力することで、物体（Ｂ１）の大きさを検出することが好ましい。

【0111】

上述の検査システム（ＩＳ１）は、検査用学習モデルを用いることで、検査部（４５）による物体（Ｂ１）の検出精度を向上させることができる。

【0112】

実施形態に係る第４の態様の検査システム（ＩＳ１）では、第３の態様において、検査用学習モデルは、検査画像（Ｇ２１）からセグメンテーション画像を生成し、セグメンテーション画像に基づいて物体（Ｂ１）の大きさを検出することが好ましい。

【0113】

上述の検査システム（ＩＳ１）は、セグメンテーション画像を用いることで、検査部（４５）によるはんだボール（Ｂ１）の検出精度を向上させることができる。

【0114】

実施形態に係る第５の態様の検査システム（ＩＳ１）では、第３の態様において、検査用学習モデルは、検査画像（Ｇ２１）において物体（Ｂ１）が写っている領域を認識し、検査部（４５）は、検査用学習モデルの認識結果に基づいて物体（Ｂ１）の大きさを検出することが好ましい。

【0115】

上述の検査システム（ＩＳ１）は、検査用学習モデルを用いることで、検査部（４５）による物体（Ｂ１）の検出精度を向上させることができる。

【0116】

実施形態に係る第６の態様の検査システム（ＩＳ１）では、第１又は第２の態様において、検査部（４５）は、検査画像（Ｇ２１）に対してエッジ抽出処理を行った後に、物体（Ｂ１）の大きさを判定することが好ましい。

【0117】

上述の検査システム（ＩＳ１）は、エッジ抽出処理を行うことで、検査部（４５）による物体（Ｂ１）の検出精度を向上させることができる。

【0118】

実施形態に係る第７の態様の検査システム（ＩＳ１）では、第１乃至第６の態様のいずれか１つにおいて、検査対象は、回路基板（９）であり、物体は、はんだボール（Ｂ１）であることが好ましい。

【0119】

上述の検査システム（ＩＳ１）は、回路基板（９）の不具合の要因となるはんだボール（Ｂ１）の検査を行うことができる。

【0120】

実施形態に係る第８の態様の画像処理システム（４）は、撮像装置（３）が検査対象（９）を撮像した撮像画像に基づいて、検査対象（９）において曲面（Ｂ１１）を有する物体（Ｂ１）を検出する。画像処理システム（４）は、画像取得部（４１）と、判定部（４２）と、位置検出部（４３）と、抽出部（４４）と、検査部（４５）と、を備える。画像取得部（４１）は、撮像装置（３）の光軸（ＯＡ１）に対して同軸となる第１光（Ｌ１）が検査対象（９）に照射されているときに生成された撮像画像である第１撮像画像（Ｇ１）のデータ、及び光軸（ＯＡ１）に交差する方向から検査対象（９）に第２光（Ｌ２）が照射されているときに生成された撮像画像である第２撮像画像（Ｇ２）のデータを取得する。判定部（４２）は、第１撮像画像（Ｇ１）に基づいて、検査対象（９）に物体（Ｂ１）が存在しているか否かを判定する。位置検出部（４３）は、検査対象（９）に物体（Ｂ１）が存在していれば、第１撮像画像（Ｇ１）において物体（Ｂ１）が写っている領域の位置を検出位置として検出する。抽出部（４４）は、検出位置に基づいて、第２撮像画像（Ｇ２）から、物体（Ｂ１）が写っている領域を含む検査画像（Ｇ２１）を抽出する。検査部（４５）は、検査画像（Ｇ２１）に基づいて物体（Ｂ１）の大きさを検出し、検出結果を出力する。

【0121】

上述の画像処理システム（４）は、曲面（Ｂ１１）を有する物体（Ｂ１）の検出精度を向上させることができる。

【0122】

実施形態に係る第９の態様の画像処理システム（４）では、第８の態様において、抽出部（４４）は、第２撮像画像（Ｇ２）から、物体（Ｂ１）が写っている領域を含む所定のサイズの領域を検査画像（Ｇ２１）として抽出することが好ましい。

【0123】

上述の画像処理システム（４）は、検査画像（Ｇ２１）のサイズを、第２撮像画像（Ｇ２）の解像度に応じて設定することで、検査部（４５）の検出精度を向上させることができる。

【0124】

実施形態に係る第１０の態様の画像処理システム（４）では、第８又は第９の態様において、検査部（４５）は、ニューラルネットワークを用いた機械学習によって構築された検査用学習モデルに検査画像（Ｇ２１）を入力し、検査用学習モデルが判定した物体（Ｂ１）の大きさを検出結果とすることが好ましい。

【0125】

上述の画像処理システム（４）は、検査用学習モデルを用いることで、検査部（４５）による物体（Ｂ１）の検出精度を向上させることができる。

【0126】

実施形態に係る第１１の態様の画像処理システム（４）では、第１０の態様において、検査用学習モデルは、検査画像（Ｇ２１）からセグメンテーション画像を生成し、セグメンテーション画像に基づいて物体（Ｂ１）の大きさを判定することが好ましい。

【0127】

上述の画像処理システム（４）は、セグメンテーション画像を用いることで、検査部（４５）によるはんだボール（Ｂ１）の検出精度を向上させることができる。

【0128】

実施形態に係る第１２の態様の画像処理システム（４）では、第１０の態様において、検査用学習モデルは、検査画像（Ｇ２１）において物体（Ｂ１）が写っている領域を認識し、当該認識結果に基づいて物体（Ｂ１）の大きさを判定することが好ましい。

【0129】

上述の画像処理システム（４）は、検査用学習モデルを用いることで、検査部（４５）による物体（Ｂ１）の検出精度を向上させることができる。

【0130】

実施形態に係る第１３の態様の画像処理システム（４）では、第８又は第９の態様において、検査部（４５）は、検査画像（Ｇ２１）に対してエッジ抽出処理を行った後に、物体（Ｂ１）の大きさを判定することが好ましい。

【0131】

上述の画像処理システム（４）は、エッジ抽出処理を行うことで、検査部（４５）による物体（Ｂ１）の検出精度を向上させることができる。

【0132】

実施形態に係る第１４の態様の画像処理システム（４）では、第８乃至第１３の態様のいずれか１つにおいて、検査対象は、回路基板（９）であり、物体は、はんだボール（Ｂ１）であることが好ましい。

【0133】

上述の画像処理システム（４）は、回路基板（９）の不具合の要因となるはんだボール（Ｂ１）の検査を行うことができる。

【0134】

実施形態に係る第１５の態様の画像処理方法は、撮像装置（３）が検査対象（９）を撮像した撮像画像に基づいて、検査対象（９）において曲面（Ｂ１１）を有する物体（Ｂ１）を検出する。画像処理方法は、画像取得ステップ（Ｓ１）と、判定ステップ（Ｓ２）と、位置検出ステップ（Ｓ３）と、抽出ステップ（Ｓ４）と、検査ステップ（Ｓ５）と、を含む。画像取得ステップ（Ｓ１）は、撮像装置（３）の光軸（ＯＡ１）に対して同軸となる第１光（Ｌ１）が検査対象（９）に照射されているときに生成された撮像画像である第１撮像画像（Ｇ１）のデータ、及び光軸（ＯＡ１）に交差する方向から検査対象（９）に第２光（Ｌ２）が照射されているときに生成された撮像画像である第２撮像画像（Ｇ２）のデータを取得する。判定ステップ（Ｓ２）は、第１撮像画像（Ｇ１）に基づいて、検査対象（９）に物体（Ｂ１）が存在しているか否かを判定する。位置検出ステップ（Ｓ３）は、検査対象（９）に物体（Ｂ１）が存在していれば、第１撮像画像（Ｇ１）において物体（Ｂ１）が写っている領域の位置を検出位置として検出する。抽出ステップ（Ｓ４）は、検出位置に基づいて、第２撮像画像（Ｇ２）から、物体（Ｂ１）が写っている領域を含む検査画像（Ｇ２１）を抽出する。検査ステップ（Ｓ５）は、検査画像（Ｇ２１）に基づいて物体（Ｂ１）の大きさを検出し、検出結果を出力する。

【0135】

上述の画像処理方法は、曲面（Ｂ１１）を有する物体（Ｂ１）の検出精度を向上させることができる。

【0136】

実施形態に係る第１６の態様のプログラムは、コンピュータシステムに、第１５の態様の画像処理方法を実行させる。

【0137】

上述のプログラムは、曲面（Ｂ１１）を有する物体（Ｂ１）の検出精度を向上させることができる。

【符号の説明】

【0138】

ＩＳ１ 検査システム
１ 第１照明装置
２ 第２照明装置
３ 撮像装置
４ 画像処理システム
４１ 画像取得部
４２ 判定部
４３ 位置検出部
４４ 抽出部
４５ 検査部
９ 回路基板（検査対象）
ＯＡ１ 光軸
Ｌ１ 第１光
Ｌ２ 第２光
Ｂ１ はんだボール（物体）
Ｂ１１ 曲面
Ｇ１ 第１撮像画像
Ｇ２ 第２撮像画像
Ｇ２１ 検査画像
Ｓ１ 画像取得ステップ
Ｓ２ 判定ステップ
Ｓ３ 位置検出ステップ
Ｓ４ 抽出ステップ
Ｓ５ 検査ステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】