特許 7523840 プログラム、コンピュータ、検査システムおよび検査方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-07-19

(45)【発行日】2024-07-29

(54)【発明の名称】プログラム、コンピュータ、検査システムおよび検査方法

(51)【国際特許分類】

   G01N 21/956 20060101AFI20240722BHJP

   H01L 21/60 20060101ALI20240722BHJP

   H05K 3/34 20060101ALI20240722BHJP

【ＦＩ】

G01N21/956 Z

H01L21/92 604T

H05K3/34 512A

【請求項の数】 12

(21)【出願番号】P 2024083464

(22)【出願日】2024-05-22

【審査請求日】2024-05-22

【早期審査対象出願】

(73)【特許権者】

【識別番号】591107230

【氏名又は名称】株式会社デンケン

(74)【代理人】

【識別番号】100131842

【弁理士】

【氏名又は名称】加島 広基

(74)【代理人】

【識別番号】100215267

【弁理士】

【氏名又は名称】古屋 秀人

(74)【代理人】

【識別番号】100215555

【弁理士】

【氏名又は名称】今井 貴裕

(74)【代理人】

【識別番号】100135530

【弁理士】

【氏名又は名称】河野 智代

(72)【発明者】

【氏名】山本 泰秀

【審査官】村田 顕一郎

(56)【参考文献】

【文献】特開２０１１－１６９８１６（ＪＰ，Ａ）

【文献】特開２０２１－１４１０９１（ＪＰ，Ａ）

【文献】特開２０１１－１１２３６１（ＪＰ，Ａ）

【文献】特開２００７－１９４４０３（ＪＰ，Ａ）

【文献】特開平０６－０９４４２９（ＪＰ，Ａ）

【文献】特開２００４－３６３１４６（ＪＰ，Ａ）

【文献】特開平１１－１８３４０６（ＪＰ，Ａ）

【文献】「バウンディングボックスとは？ＡＩによる物体検出の手法とできること」，ＤＸを推進するＡＩポータルメディア「Alsmiley」｜ＡＩ製品・サービスの比較・検索サイト, [online]，2024年02月08日，[2024年6月17日検索], インターネット<ＵＲＬ：https://aismiley.co.jp/ai_news/bounding-box/#:~:text=バウンディングボックス>

【文献】「バウンディングボックスアノテーションとは」，株式会社ヒューマンサイエンスのＡＩ・アノテーション特設サイト, [online]，2023年06月27日，[2024年6月17日検索], インターネット<ＵＲＬ：https://www.science.co.jp/annotation_blog/34330/>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４－２１／９５８

Ｈ０１Ｌ ２１／９２

Ｈ０５Ｋ ３／３４

Ｈ０１Ｌ ２１／６０

Ｇ０６Ｆ １８／００－１８／４０

Ｇ０６Ｎ ３／００－９９／００

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

コンピュータを、受付手段と、前処理手段と、判定手段として機能させるプログラムであって、
前記受付手段は、撮像装置により撮像された、基板と、バンプにより前記基板に接着される対象物との間の隙間の画像を含む画像を受け付け、
前記前処理手段は、バンプにより接着される基板と対象物との間の隙間の画像であって前記バンプと前記対象物との間の第１境界線が得られる画像を含む教師データを用いることにより機械学習によって生成された第１学習済モデルを用いて、前記受付手段が受け付けた画像における第１境界線を特定するとともに、予め設定されている前記基板と前記対象物との間の隙間の大きさに基づいて、前記受付手段が受け付けた画像において前記第１境界線との間に前記バンプの下端を含むよう第２境界線を前記第１境界線から特定し、
前記判定手段は、正常であるバンプの画像を含む教師データを用いることにより機械学習によって生成された第２学習済モデルを用いて、前記受付手段が受け付けた画像のうち前記第１境界線および前記第２境界線の間の領域の画像部分から、前記バンプが正常であるか否かを判定し、
前記第１学習済モデルは、全てのバンプを同一のサイズおよび同一の形状のバウンディングボックスで検出するよう学習されたものである、プログラム。

【請求項2】

前記バウンディングボックスの形状は矩形である、請求項１記載のプログラム。

【請求項3】

前記バウンディングボックス同士は重ならない、請求項１記載のプログラム。

【請求項4】

前記第１学習済モデルは、全ての前記バウンディングボックスの前記対象物側の辺を基に前記第１境界線を特定する、請求項１記載のプログラム。

【請求項5】

前記第１学習済モデルは、前記第１境界線の特定を前記受付手段が受け付けた画像の所定の領域毎に行う、請求項１記載のプログラム。

【請求項6】

前記第２学習済モデルは、正常であるバンプの画像としてバンプの実像および基板に投影される前記バンプの鏡像を同じ画像に含むものを用いることにより機械学習によって生成されたものであり、
前記判定手段は、前記第２学習済モデルを用いて、前記受付手段が受け付けた前記バンプの実像および前記基板に投影される前記バンプの鏡像を含む画像のうち前記第１境界線および前記第２境界線の間の領域の画像部分から、前記バンプが正常であるか否かを判定し、
前記第２境界線は、前記受付手段が受け付けた前記バンプの実像および前記基板に投影される前記バンプの鏡像を含む画像のうち、前記バンプの鏡像と前記対象物の鏡像の間の境界線である、請求項１記載のプログラム。

【請求項7】

前記第２学習済モデルは、正常であるバンプの画像を含む教師データのみを用いることにより良品学習によって生成されたものである、請求項１記載のプログラム。

【請求項8】

前記対象物は半導体チップである、請求項１記載のプログラム。

【請求項9】

プログラムを実行することにより受付手段と、前処理手段と、判定手段として機能するコンピュータであって、
前記受付手段は、撮像装置により撮像された、基板と、バンプにより前記基板に接着される対象物との間の隙間の画像を含む画像を受け付け、
前記前処理手段は、バンプにより接着される基板と対象物との間の隙間の画像であって前記バンプと前記対象物との間の第１境界線が得られる画像を含む教師データを用いることにより機械学習によって生成された第１学習済モデルを用いて、前記受付手段が受け付けた画像における第１境界線を特定するとともに、予め設定されている前記基板と前記対象物との間の隙間の大きさに基づいて、前記受付手段が受け付けた画像において前記第１境界線との間に前記バンプの下端を含むよう第２境界線を前記第１境界線から特定し、
前記判定手段は、正常であるバンプの画像を含む教師データを用いることにより機械学習によって生成された第２学習済モデルを用いて、前記受付手段が受け付けた画像のうち前記第１境界線および前記第２境界線の間の領域の画像部分から、前記バンプが正常であるか否かを判定し、
前記第１学習済モデルは、全てのバンプを同一のサイズおよび同一の形状のバウンディングボックスで検出するよう学習されたものである、コンピュータ。

【請求項10】

撮像装置と、前記撮像装置により撮像された画像が送られるコンピュータとを備えた検査システムであって、
前記撮像装置は、基板と、バンプにより前記基板に接着される対象物との間の隙間の画像を含む画像を撮像することにより画像を取得し、
前記コンピュータは、プログラムを実行することにより受付手段と、前処理手段と、判定手段として機能し、
前記受付手段は、前記撮像装置により撮像された画像を受け付け、
前記前処理手段は、バンプにより接着される基板と対象物との間の隙間の画像であって前記バンプと前記対象物との間の第１境界線が得られる画像を含む教師データを用いることにより機械学習によって生成された第１学習済モデルを用いて、前記受付手段が受け付けた画像における第１境界線を特定するとともに、予め設定されている前記基板と前記対象物との間の隙間の大きさに基づいて、前記受付手段が受け付けた画像において前記第１境界線との間に前記バンプの下端を含むよう第２境界線を前記第１境界線から特定し、
前記判定手段は、正常であるバンプの画像を含む教師データを用いることにより機械学習によって生成された第２学習済モデルを用いて、前記受付手段が受け付けた画像のうち前記第１境界線および前記第２境界線の間の領域の画像部分から、前記バンプが正常であるか否かを判定し、
前記第１学習済モデルは、全てのバンプを同一のサイズおよび同一の形状のバウンディングボックスで検出するよう学習されたものである、検査システム。

【請求項11】

撮像装置と、前記撮像装置により撮像された画像が送られるコンピュータとを備えた検査システムによる検査方法であって、
前記撮像装置が、基板と、バンプにより前記基板に接着される対象物との間の隙間の画像を含む画像を撮像することにより画像を取得する工程と、
前記コンピュータが、前記撮像装置により撮像された画像を受け付ける工程と、
前記コンピュータが、バンプにより接着される基板と対象物との間の隙間の画像であって前記バンプと前記対象物との間の第１境界線が得られる画像を含む教師データを用いることにより機械学習によって生成された第１学習済モデルを用いて、受け付けた画像から第１境界線を特定するとともに、予め設定されている前記基板と前記対象物との間の隙間の大きさに基づいて、受け付けた画像において前記第１境界線との間に前記バンプの下端を含むよう第２境界線を前記第１境界線から特定する工程と、
前記コンピュータが、正常であるバンプの画像を含む教師データを用いることにより機械学習によって生成された第２学習済モデルを用いて、受け付けた画像のうち前記第１境界線および前記第２境界線の間の領域の画像部分から、前記バンプが正常であるか否かを判定する工程と、
を備え、
前記第１学習済モデルは、全てのバンプを同一のサイズおよび同一の形状のバウンディングボックスで検出するよう学習されたものである、検査方法。

【請求項12】

前記第２学習済モデルは、正常であるバンプの画像としてバンプの実像および基板に投影される前記バンプの鏡像を同じ画像に含むものを用いることにより機械学習によって生成されたものであり、
前記撮像装置が、前記コンピュータに送る画像を撮像する際に斜め下方に向かって撮像し、前記バンプの実像および前記基板に投影される前記バンプの鏡像を含む画像を取得する、請求項１１記載の検査方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、コンピュータ、検査システムおよび検査方法に関する。

【背景技術】

【0002】

従来より、基板に半導体チップを実装する際にバンプにより半導体チップを基板に接着させていたが、バンプが正常に半導体チップを基板に接着しているか否か（バンプの溶融状態や残存量の確認、ツヤ等の外観の判定）について顕微鏡により人が目視にて検査を行っていた。例えば特許文献１には、チップにおけるバンプが形成された主面側を、顕微鏡を用いて拡大して観察する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００８－２７０６２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

このように、従来は半導体チップ等の対象物を基板に接着するためのバンプが正常であるか否かについて顕微鏡により人が目視にて検査を行っていたが、元々バンプはほとんどが正常なものであり異常が発生することは稀であるため人が目視にて検査を行う場合はバンプに異常があっても見落としやすいという問題があった。

【0005】

本発明はこのような点を考慮してなされたものであり、バンプの異常をより確実に検出できるプログラム、コンピュータ、検査システムおよび検査方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示のプログラムは、
コンピュータを、受付手段と、前処理手段と、判定手段として機能させるプログラムであって、
前記受付手段は、撮像装置により撮像された、基板と、バンプにより前記基板に接着される対象物との間の隙間の画像を含む画像を受け付け、
前記前処理手段は、バンプにより接着される基板と対象物との間の隙間の画像であって前記バンプと前記対象物との間の第１境界線が得られる画像を含む教師データを用いることにより機械学習によって生成された第１学習済モデルを用いて、前記受付手段が受け付けた画像における第１境界線を特定するとともに、予め設定されている前記基板と前記対象物との間の隙間の大きさに基づいて、前記受付手段が受け付けた画像において前記第１境界線との間に前記バンプの下端を含むよう第２境界線を前記第１境界線から特定し、
前記判定手段は、正常であるバンプの画像を含む教師データを用いることにより機械学習によって生成された第２学習済モデルを用いて、前記受付手段が受け付けた画像のうち前記第１境界線および前記第２境界線の間の領域の画像部分から、前記バンプが正常であるか否かを判定し、
前記第１学習済モデルは、全てのバンプを同一のサイズおよび同一の形状のバウンディングボックスで検出するよう学習されたものであることを特徴とする。

【0007】

本開示のプログラムにおいて、
前記バウンディングボックスの形状は矩形でもよい。

【0008】

本開示のプログラムにおいて、
前記バウンディングボックス同士は重ならなくともよい。

【0009】

本開示のプログラムにおいて、
前記第１学習済モデルは、全ての前記バウンディングボックスの前記対象物側の辺を基に前記第１境界線を特定してもよい。

【0010】

本開示のプログラムにおいて、
前記第１学習済モデルは、前記第１境界線の特定を前記受付手段が受け付けた画像の所定の領域毎に行ってもよい。

【0011】

本開示のプログラムにおいて、
前記第２学習済モデルは、正常であるバンプの画像としてバンプの実像および基板に投影される前記バンプの鏡像を同じ画像に含むものを用いることにより機械学習によって生成されたものであり、
前記判定手段は、前記第２学習済モデルを用いて、前記受付手段が受け付けた前記バンプの実像および前記基板に投影される前記バンプの鏡像を含む画像のうち前記第１境界線および前記第２境界線の間の領域の画像部分から、前記バンプが正常であるか否かを判定し、
前記第２境界線は、前記受付手段が受け付けた前記バンプの実像および前記基板に投影される前記バンプの鏡像を含む画像のうち、前記バンプの鏡像と前記対象物の鏡像の間の境界線であってもよい。

【0012】

本開示のプログラムにおいて、
前記第２学習済モデルは、正常であるバンプの画像を含む教師データのみを用いることにより良品学習によって生成されたものでもよい。

【0013】

本開示のプログラムにおいて、
前記対象物は半導体チップでもよい。

【0014】

本開示のコンピュータは、
プログラムを実行することにより受付手段と、前処理手段と、判定手段として機能するコンピュータであって、
前記受付手段は、撮像装置により撮像された、基板と、バンプにより前記基板に接着される対象物との間の隙間の画像を含む画像を受け付け、
前記前処理手段は、バンプにより接着される基板と対象物との間の隙間の画像であって前記バンプと前記対象物との間の第１境界線が得られる画像を含む教師データを用いることにより機械学習によって生成された第１学習済モデルを用いて、前記受付手段が受け付けた画像における第１境界線を特定するとともに、予め設定されている前記基板と前記対象物との間の隙間の大きさに基づいて、前記受付手段が受け付けた画像において前記第１境界線との間に前記バンプの下端を含むよう第２境界線を前記第１境界線から特定し、
前記判定手段は、正常であるバンプの画像を含む教師データを用いることにより機械学習によって生成された第２学習済モデルを用いて、前記受付手段が受け付けた画像のうち前記第１境界線および前記第２境界線の間の領域の画像部分から、前記バンプが正常であるか否かを判定し、
前記第１学習済モデルは、全てのバンプを同一のサイズおよび同一の形状のバウンディングボックスで検出するよう学習されたものであることを特徴とする。

【0015】

本開示の検査システムは、
撮像装置と、前記撮像装置により撮像された画像が送られるコンピュータとを備えた検査システムであって、
前記撮像装置は、基板と、バンプにより前記基板に接着される対象物との間の隙間の画像を含む画像を撮像することにより画像を取得し、
前記コンピュータは、プログラムを実行することにより受付手段と、前処理手段と、判定手段として機能し、
前記受付手段は、前記撮像装置により撮像された画像を受け付け、
前記前処理手段は、バンプにより接着される基板と対象物との間の隙間の画像であって前記バンプと前記対象物との間の第１境界線が得られる画像を含む教師データを用いることにより機械学習によって生成された第１学習済モデルを用いて、前記受付手段が受け付けた画像における第１境界線を特定するとともに、予め設定されている前記基板と前記対象物との間の隙間の大きさに基づいて、前記受付手段が受け付けた画像において前記第１境界線との間に前記バンプの下端を含むよう第２境界線を前記第１境界線から特定し、
前記判定手段は、正常であるバンプの画像を含む教師データを用いることにより機械学習によって生成された第２学習済モデルを用いて、前記受付手段が受け付けた画像のうち前記第１境界線および前記第２境界線の間の領域の画像部分から、前記バンプが正常であるか否かを判定し、
前記第１学習済モデルは、全てのバンプを同一のサイズおよび同一の形状のバウンディングボックスで検出するよう学習されたものであることを特徴とする。

【0016】

本開示の検査方法は、
撮像装置と、前記撮像装置により撮像された画像が送られるコンピュータとを備えた検査システムによる検査方法であって、
前記撮像装置が、基板と、バンプにより前記基板に接着される対象物との間の隙間の画像を含む画像を撮像することにより画像を取得する工程と、
前記コンピュータが、前記撮像装置により撮像された画像を受け付ける工程と、
前記コンピュータが、バンプにより接着される基板と対象物との間の隙間の画像であって前記バンプと前記対象物との間の第１境界線が得られる画像を含む教師データを用いることにより機械学習によって生成された第１学習済モデルを用いて、受け付けた画像から第１境界線を特定するとともに、予め設定されている前記基板と前記対象物との間の隙間の大きさに基づいて、受け付けた画像において前記第１境界線との間に前記バンプの下端を含むよう第２境界線を前記第１境界線から特定する工程と、
前記コンピュータが、正常であるバンプの画像を含む教師データを用いることにより機械学習によって生成された第２学習済モデルを用いて、受け付けた画像のうち前記第１境界線および前記第２境界線の間の領域の画像部分から、前記バンプが正常であるか否かを判定する工程と、
を備え、
前記第１学習済モデルは、全てのバンプを同一のサイズおよび同一の形状のバウンディングボックスで検出するよう学習されたものであることを特徴とする。

【0017】

本開示の検査方法において、
前記第２学習済モデルは、正常であるバンプの画像としてバンプの実像および基板に投影される前記バンプの鏡像を同じ画像に含むものを用いることにより機械学習によって生成されたものであり、
前記撮像装置が、前記コンピュータに送る画像を撮像する際に斜め下方に向かって撮像し、前記バンプの実像および前記基板に投影される前記バンプの鏡像を含む画像を取得するものでもよい。

【発明の効果】

【0018】

本開示のプログラム、コンピュータ、検査システムおよび検査方法によれば、バンプの異常をより確実に検出できる。

【図面の簡単な説明】

【0019】

【図1】本開示の実施形態に係る検査システムの構成を概略的に示す図である。

【図2】本開示の実施形態に係る検知方法および検知方法における情報処理の例示的な流れを示す図である。

【図3】本開示の実施形態に係る検査システムおよび検知方法における情報処理の例示的な流れを示す図である。

【図4】本開示の実施形態に係る検査システムおよび検知方法において撮像される基板、対象物、隙間、バンプの例示的な配置を示す図である。

【図5】本開示の実施形態に係る検査システムおよび検知方法において撮像され判定される例示的な画像を示す図である。

【図6】従来例ならびに本開示の実施形態に係る検査システムおよび検知方法において第１境界線を特定する手法を示す概念図である。

【図7】本開示の実施形態に係る検査システムおよび検知方法における切出し処理を説明するための図である。

【発明を実施するための形態】

【0020】

以下、本開示の実施形態について説明するが、本開示に係る発明はこれらに限定されるものではない。図１は、本開示の実施形態に係る検査システムの構成を概略的に示す図である。図２は、本開示の実施形態に係る検知方法および検知方法における情報処理の例示的な流れを示す図である。図３は、本開示の実施形態に係る検査システムにおよび検知方法おける情報処理の例示的な流れを示す図である。図４は、本開示の実施形態に係る検査システムおよび検知方法において撮像される基板、対象物、隙間、バンプの例示的な配置を示す図である。図５は、本開示の実施形態に係る検査システムおよび検知方法において撮像され判定される例示的な画像を示す図である。

【0021】

［検査システム１］
図１に、本開示に係る検査システム１を示す。検査システム１は、半導体チップ等の対象物１０２を基板１０１に接着するためのバンプ１０３（例えば、図４（Ｂ））が正常であるか否かをより確実に検知するものである。図１に示すように、検査システム１は、撮像装置２と、撮像装置２により撮像された画像１００（例えば、図５（Ａ）（Ｂ））が送られるコンピュータ３とを備える。コンピュータ３と撮像装置２は通信可能に接続している。撮像装置２によって撮影された画像１００上のバンプ１０３が正常であるか否かを（例えば、図５（Ｃ））、コンピュータ３により判定する。検査システム１によれば、この撮像から判定までを、目視による検査よりも確実に自動で行うことができる。

【0022】

なお、図４（Ａ）は、撮像対象となる基板１０１と対象物１０２の上面図であり、基板１０１の上に対象物１０２と障害物１０４が配置されている。基板１０１に接着される対象である対象物１０２の例として、半導体チップ、チップモールド等が挙げられる。なお、図４は、ＦＣＣＳＰを示した例である。この例のように、アンダーフィル充填前の接合状態での判定検査において、欠陥品を除外することができる。基板１０１の上に配置される障害物１０４の例としては、チップコンデンサ等が挙げられるが、これらに限定されるものではない。図４（Ｂ）は、基板１０１、対象物１０２、バンプ１０３の位置関係の例を示す図であり、基板１０１と対象物１０２との間にはバンプ１０３が介在し、バンプ１０３により基板１０１に対象物１０２が接着されている。基板１０１の例としては特に限定されない。さらに、基板１０１には金属層等が積層されてもよく、あるいはエポキシ樹脂等によってラミネート加工されていてもよい。なお、図４（Ａ）の矢印によって示されるように、最大４方向からの画像を判定処理に用いることによって判定精度を高めることができる。バンプ１０３は、基板１０１と対象物１０２の接合部であり、通常、半田からなるが、バンプ１０３はこれに限定されない。

【0023】

検査システム１は、製造ラインに組み込むことができ、リアルタイムでバンプ１０３ひいては対象物１０２の良否を判定できる。

【0024】

＜撮像装置２＞
次に、撮像装置２の構成について説明する。検査システム１において、撮像装置２は、基板１０１と、バンプ１０３により基板１０１に接着される対象物１０２との間の隙間ｇ（図４（Ｃ）参照）の画像１００ａを含む画像１００（隙間ｇを含む撮像範囲）を撮像することにより（以下、単に「隙間ｇを撮像する」ともいう）画像１００を取得する。撮像装置２は、図１に示すように、カメラ２１と、通信部２２とを備えている。

【0025】

カメラ２１としては、図４（Ｃ）に示すような基板１０１と対象物１０２との間の隙間ｇを撮像できるものであれば、特に限定されない。なお、一般的に、画像処理での欠陥検出には少なくとも３～４画素の情報が必要である。そこで、例えば、１０μｍの欠陥を可視化したい場合、搭載ＣＭＯＳ（対象物１０２）のサイズ２．７μｍ／ｐｉｘに対して１倍のテレセントリックレンズをカメラ２１に装着することでこの目的を満たすことができる。

【0026】

図４（Ｃ）では、撮像装置２（カメラ２１）が隙間ｇを撮像する方向（実線矢印および点線矢印で示される方向）を示している。なお、図４（Ｃ）では、対象物１０２の外周部にはバンプ１０３が存在しない例を示しているが、本発明はこれに限定されず、対象物１０２の外周部にバンプ１０３が存在する場合にも本発明は適用可能である。対象物を基板に接着するためのバンプが正常であるか否かを判断するために、図４（Ｂ）や図４（Ｃ）の点線矢印で示すようにバンプ１０３の水平（横）方向すなわち正面から撮影することが考えられるが、チップコンデンサのような撮像の障害物１０４等があるとバンプ１０３を水平方向から撮影することが困難となる場合もある。そこで、図４（Ｃ）の実線矢印で示すように、コンピュータ３に送る画像１００を撮像する際に斜め下方に向かって撮像することもできる。このときの撮像する角度（カメラアングル）、即ち「斜め下方に向かって」とは、対象物１０２と障害物１０４との距離によって定まるものであり、限定されるものではない。なお、障害物１０４による光の反射がバンプ１０３に重ならないよう、且つ、バンプ１０３が対象物１０２に隠れすぎないよう、カメラアングルを調整することが好ましい。

【0027】

通信部２２は、無線または有線により外部装置との信号の送受信を行うための通信インターフェースを含む。カメラ２１により撮像された画像１００は通信部２２によりコンピュータ３（受付手段３２）に送信されるようになっている。

【0028】

＜コンピュータ３＞
本開示のコンピュータ３の構成について図１を用いて説明する。本実施形態のコンピュータ３は産業用コンピュータ、タブレット端末等から構成されており、図１に示すように、制御部３０と、記憶部４０と、通信部４２と、表示部４４と、操作部４６とを備えている。

【0029】

制御部３０は、ＣＰＵ（中央演算処理装置）やＧＰＵ（画像処理装置）、ＡＩ推論装置等で構成され、コンピュータ３の動作を制御する。具体的には、制御部３０は、後述する記憶部４０に記憶されているプログラムを実行することにより、受付手段３２と、前処理手段３４と、判定手段３６と、出力手段３８として機能する。さらに、制御部３０は、記憶部４０に記憶されているプログラムを実行することにより、第１モデル生成手段２００や第２モデル生成手段３００として機能してもよい。これらの各手段については後述する。

【0030】

記憶部４０は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などで構成されている。また、記憶部４０はコンピュータ３に内蔵されるものに限定されることはなく、コンピュータ３に着脱自在に装着可能な記憶媒体（例えば、ＵＳＢメモリ）等であってもよい。本実施形態では、記憶部４０は、制御部３０により実行されるプログラム、第１学習済みモデル２２０や第２学習済みモデル３２０等をそれぞれ記憶するようになっている。

【0031】

通信部４２は、無線または有線により外部装置との信号の送受信を行うための通信インターフェースを含む。通信部４２により制御部３０は撮像装置２と信号の送受信を行う。

【0032】

表示部４４は例えばモニタ等であり、制御部３０から表示指令信号を受け取ることにより様々な画面を表示する。操作部４６は例えばキーボード等であり、制御部３０に対して様々な指令を与えることができるようになっている。なお、本実施形態では、これらの表示部４４および操作部４６が一体化したタッチパネル等の表示操作部が用いられてもよい。

【0033】

（制御部３０の詳細）
（受付手段３２）
受付手段３２は、撮像装置２により撮像された、基板１０１と、バンプ１０３により基板１０１に接着される対象物１０２との間の隙間ｇの画像１００ａを含む画像１００を受け付ける。図５（Ａ）は、隙間ｇの画像１００ａを含む画像１００の例を示す。

【0034】

（前処理手段３４）
前処理手段３４（および本開示における前処理工程）は、第１境界線ｂ１および第２境界線ｂ２を特定することにより、判定領域を抽出（マスキング）することを目的とする。前処理手段３４は、バンプ１０３により接着される基板１０１と対象物１０２との間の隙間ｇの画像であってバンプ１０３と対象物１０２との間の第１境界線ｂ１が得られる画像を含む教師データ２１０を用いることにより機械学習によって生成された第１学習済モデル２２０を用いて、受付手段３２が受け付けた画像１００における第１境界線ｂ１を特定するとともに（図２中、第１境界線ｂ１の特定処理５１）、予め設定されている基板１０１と対象物１０２との間の隙間ｇの大きさに基づいて、受付手段３２が受け付けた画像において第１境界線ｂ１との間にバンプ１０３の下端を含むよう第２境界線ｂ２を第１境界線ｂ１から特定する（図２中、第２境界線ｂ２の特定処理５２）。「第１境界線ｂ１」および「第２境界線ｂ２」は、判定領域となる画像部分１００ａの上端および下端を画定するものである。

【0035】

（（第１学習済モデル２２０））
第１学習済モデル２２０は、全てのバンプ１０３（後述する鏡像を含んでよい）を同一のサイズおよび同一の形状のバウンディングボックス（ＢＢ）で検出するよう学習される。ここで、第１学習済モデル２２０によるバンプ１０３の「検出」とは、受付手段３２が受け付けた画像１００において現れる各バンプ１０３をＢＢで特定すること（アノテーション）をいい、ＢＢで各バンプ１０３の周囲を囲むことや、余白（背景）と共に各バンプ１０３を包含すること、各バンプ１０３を部分的に特定することも含む（図６（Ｂ）参照）。これらのＢＢの形状は矩形であることが好ましい。また、ＢＢ同士は重ならないことが好ましい。このアノテーション作業には、画像１００においてＢＢの唯一の基準として標準的な１個のバンプ１０３を囲み、サイズおよび始点Ｙ位置（上辺）を変えることなく、このＢＢを画像１００中の全てのバンプ１０３に適用（検出）することが含まれる。ここで、「標準的なバンプ」とは特に限定されないが、その他のバンプと比べて明らかに大きい、小さい、またはクセの強いモノは除かれる。

【0036】

（（第１境界線ｂ１の特定））
ＢＢで全てのバンプ１０３を検出（アノテーション）した結果、第１学習済モデル２２０は、全てのＢＢの対象物１０２側の辺（上辺）を基に第１境界線ｂ１を特定することができる。例えば、図５（Ａ）（Ｂ）のように撮像されたバンプ１０３の高さが同じであれば、ＢＢにより全てのバンプ１０３が一様に囲まれ、ＢＢの上辺を繋げて第１境界線ｂ１とすることができる。また、全てのバンプ１０３の高さが同じでなくても、同一サイズおよび同一形状のＢＢで全てのバンプ１０３を検出させると、ＢＢの上辺が大まかに揃うようになる（図６（Ｂ））。この場合、第１学習済モデル２２０は、画像１００においてＹ位置（上辺）の最も高いＢＢ（例えば、図６（Ｂ）の中央）やＹ位置（上辺）の最も低いＢＢ（例えば、図６（Ｂ）の中央以外のＢＢ）の上辺を通るように第１境界線ｂ１を特定できるし、ＢＢの上辺の平均的な高さ（Ｙ位置）を通るように第１境界線ｂ１を特定することもできる。以上のように第１境界線ｂ１を特定できるのであれば、第１学習済モデル２２０を生成するための機械学習としては特に限定されず、深層学習等の様々なものを用いることができる。第１学習済モデル２２０は、後述する良否判定用の第２学習済みモデル３２０の前段階の物体検出ＡＩであり、上述のようなバンプを含む様々な画像（鏡像を含んでもよい）を教師データ２１０として使用して学習される。なお、教師データ２１０としての、バンプ１０３と対象物１０２との間の第１境界線ｂ１が得られる画像には、実際に第１境界線ｂ１が必ずしも特定されているわけではない。教師データ２１０としての画像には後述するようにＢＢが示される。言い換えれば、「第１境界線ｂ１が得られる画像」とは、その画像から本開示の前処理手段３４によれば第１境界線ｂ１が得られるであろう画像を意味する。

【0037】

（（第２境界線ｂ２の特定））
なお、「予め設定されている基板１０１と対象物１０２との間の隙間ｇの大きさに基づいて、第２境界線ｂ２を特定する」とは、バンプ１０３と対象物１０２の境界線である第１境界線ｂ１（上端）が分かれば、予め設定されている隙間ｇの大きさから第２境界線ｂ２（下端）を導き出せることを意味している。ここで、隙間ｇの大きさは、画像の画素（ピクセル、ｐｉｘ）数から定義することができる。また、受付手段３２が受け付けた画像においてバンプ１０３の下端を含む第２境界線ｂ２（下端）を導き出す設定を、対象物１０２とバンプ１０３の品種や目的、運用方法に応じて任意に変更することができる。例えば、大まかな不良だけを判定したい場合は、情報量を減らしてもよいし（第２境界線ｂ２を上方に特定させる）、後述のように実像では見えない情報を取るために鏡像を多めに含めてもよい（第２境界線ｂ２を下方に特定させるよう設定することもできる。図５（Ｂ）のｂ２’参照）。図４（Ｃ）の点線矢印で示す方向から撮像された、基板１０１や対象物１０２等の例示的な一側面図（一方向のサイドビュー）である図５（Ａ）では、前処理手段３４により特定された例示的な第１境界線ｂ１および第２境界線ｂ２、ならびにこれらの間の領域の画像部分１００ａが示されている。この画像部分１００ａにおいて、いずれのバンプ１０３の上端および下端も第１境界線ｂ１および第２境界線ｂ２に接している。この例のように、対象物１０２や基板１０１等の不必要な情報量を最大限取り除くため、バンプ１０３の上端および下端に接するように第１境界線ｂ１および第２境界線ｂ２を特定することが特に好ましい。

【0038】

（（第１境界線ｂ１および第２境界線ｂ２を特定する意義））
本発明において、判定処理の前に第１境界線ｂ１および第２境界線ｂ２を特定する理由は以下の通りである。画像１００において、バンプ１０３の領域（情報量）より対象物１０２や基板１０１の領域（情報量）が大き過ぎるため、判定領域が画像１００のままだと、ＡＩがバンプ１０３部分を判定することが困難である。特に対象物１０２の切断面に対して製造工程上の管理が行われていない場合、画像における対象物１０２の見え方が様々となり、バンプ１０３の正常と異常の差よりも目立ってしまい、誤検知や誤判定の原因となる。そこで、本発明に係る第１学習済モデル２２０は、画像１００におけるバンプ１０３のマスク処理（マスキング）を行うために、第１境界線ｂ１および第２境界線ｂ２を特定する。

【0039】

一般的に、物体検出の学習モデルを作るとき、画面上のバンプ１０３を、1つずつマウスで囲む作業が行われる。本発明者は、この人力による従来手法で学習モデルの作成を試みたが、第１境界線ｂ１（複数のバンプ１０３）がきれいに揃わなかった。すなわち、人間がバンプを精度よく囲めば囲むほど、サンプル数を増やせば増やすほど、第１境界線ｂ１がでこぼこになっていた（図６（Ａ））。そして、本発明者は、マスク処理のための第１境界線ｂ１を揃えること（第１境界線ｂ１の特定）に対しては、主に２つの課題があることを見出した。１つは、対象物１０２（チップ）や基板１０１は個体差が大きく、場合によっては反っていたりする（完全な平板状ではない）。また、左右のバンプ１０３のハンダ量が異なることで基板１０１に対して対象物１０２が傾く場合もある。よって、チップの左端と右端で直線を引いても第１境界線ｂ１は単純に決定できない。もう１つは、バンプ１０３個々のばらつきがあり（同品種でも４辺で違うし、１辺でもばらつく）、当然、撮像の照明があたった光沢部分の見え方が異なる。つまり、光沢部分のその奥（暗い部分）に照明があたらない部分が存在し、この部分としてバンプ１０３の頂部（丸みのところ）が挙げられる。さらに、前後で位置の異なるバンプ１０３が撮像される場合もある。このように、バンプ１０３と対象物１０２との接合部が画像に写らないことがあり、第１境界線ｂ１は全てのバンプ１０３と対象物１０２との間に存在するわけではない。

【0040】

そこで、発明者は鋭意検討の結果、発想を変えて、マウスで囲むバンプ１０３を１つにした（図６（Ｂ））。そして、様々な画像からこのような基準値となるバンプ１０３を教師データ２１０として用いて第１学習済モデル２２０を構築したところ、第１境界線ｂ１（複数のバンプ１０３）が揃うことを見出した。すなわち、この第１学習済モデル２２０を用いると、その基準値がチップの端から端にスライドするように、第１境界線ｂ１が揃いだすことを見出した。これは、良品がほとんどであるバンプ１０３を１つ１つ囲むことが結果的に、人による誤差の影響を大きくしたためだと考えられる。なお、図６（Ａ）、（Ｂ）には、図５（Ｂ）のように鏡像も映っている例を示しているが、鏡像はあってもなくてもよい。また、第１境界線ｂ１を特定するために、バンプ１０３の判定領域はできるかぎり大きく、頂部（丸み部分）まであることが好ましい。

【0041】

（（その他の処理））
さらに、第１境界線ｂ１を高精度で特定することで、マスク処理の他に、第２学習済みモデル３２０へ入力する検査画像の位置補正も行ってもよい。例えば、画像中の第１境界線ｂ１と第２境界線ｂ２のＹ座標（垂直方向）の補正を行ってもよい。こうして、第２学習済みモデル３２０の異常検知ＡＩによる判定をより正確に実現することができる。

【0042】

（（切出し処理））
ところで、対象物１０２や基板１０１の左端と右端が水平ではない場合、撮像（一視野）した画像１００を用いると第１境界線ｂ１が揃いにくいこともある。そこで、第１学習済モデル２２０による第１境界線ｂ１の特定は、受付手段３２が受け付けた画像１００の所定の領域（例えば、図７のＹピクセル（ｐｉｘ）長の領域）毎に行わせてもよい。すなわち、学習エリアや判定領域を小さく切り出すことで（トリミング）、対象物１０２や基板１０１の左端と右端の差を小さくさせることができる。

【0043】

この切出し処理は以下の手順で行われてもよい。まず、パターンマッチングによる特徴点サーチを行う。この「特徴点」としては、特に限定されないが、画像１００内にみられるユニークな形状を指す。製品の品種によるが、特徴点として、バンプ配列内に唯一存在する特徴（例えば、隣り合うバンプ１０３間の隙間が異なる等）を使用することができる。次に、サーチされた特徴点を基に切出領域を決定する。具体的には、画像１００中の特徴点の検出Ｘ座標から所定の画素長にオフセットさせた（相対）位置に、切出領域の左端位置および右端位置（即ち、Ｘ座標における特徴点からの各相対距離）を決定する（例えば、画像中央に検出特徴点があれば、切出領域の始点はマイナスＸ、終端はプラスＸと表現できる）。次に、切出領域の左端位置から右端位置までの距離を固定サイズ（図７のＹ ｐｉｘ長）にして、重複させながら、画像１００から順次切り出す。図７中、Ｚ ｐｉｘは重複領域の長さを示す。なお、「Ｙ」および「Ｚ」の値は、バンプ１０３や画像１００のサイズ等に合わせて適宜設定できる。次に、切り出されたＹ ｐｉｘ長の各切出領域において、バンプ１０３を検出し、第１境界線ｂ１および第２境界線ｂ２を特定してマスク処理を行う。マスク処理後、さらに、判定すべき欠陥サイズやカメラ２１の分解能に応じて、各切出領域を左右２分割して（中央で所定の領域を重複させる）、判定領域としてもよい。このような分割処理により、ＡＩ（第１学習済モデル２２０）への入力サイズに制限がある場合に縮小することで欠陥が見えなくなる事態を回避できる。

【0044】

（判定手段３６）
判定手段３６は、正常であるバンプ１０３の画像を含む教師データ３１０を用いることにより機械学習によって生成された第２学習済モデル３２０を用いて、受付手段３２が受け付けた画像１００のうち第１境界線ｂ１および第２境界線ｂ２の間の領域の画像部分１００ａから、バンプ１０３が正常であるか否かを判定する（図２中、判定処理５３）。この「判定」は、もともと人間が目視で行っていた外観検査に相当し、具体的には、バンプ１０３の溶融状態や残存量の確認、ツヤ等の外観の判定を含む。また、第２学習済モデル３２０を生成するための機械学習としては、深層学習等の様々なものを用いることができる。なお、図５（Ｃ）に、正常（ＯＫ）および異常（ＮＧ）と判定されるバンプ１０３の例を示す。

【0045】

このように、受付手段３２が受け付けた画像１００そのものを用いるのではなく、マスキングにより判定範囲を限定し、第１境界線ｂ１および第２境界線ｂ２の間の領域（隙間ｇ）の画像部分１００ａ（図５（Ａ））から判定手段３６は判定を行う。また、画像１００ａを更に分割（切り出し）して、分割後の各画像に１つのバンプ１０３だけが含まれるようにしてもよい。この分割方法としては特に限定されず、前述した切出し処理を行ってもよい。このようにして、画像１００に撮像された基板１０１と対象物１０２の特徴が検出されてしまうことを防止できる。より具体的には、判定には第２学習済モデル３２０を用いて画像部分１００ａからバンプ１０３の位置を検出し、ＡＩ物体検出によって誤判定を防止できる。

【0046】

撮像の際の光を反射して基板１０１がバンプ１０３の鏡像（虚像）を映すものである場合、第２学習済モデル３２０は、正常であるバンプ１０３の画像としてバンプ１０３の実像および基板１０１に投影されるバンプ１０３の鏡像を同じ画像に含むものを用いることにより機械学習によって生成されたものでもよい。実線矢印で図４（Ｃ）に示す例のように、バンプ１０３の検査のために、斜め下方に向かって隙間ｇを撮像すると、基板１０１に投影されるバンプ１０３の鏡像も撮像され、判定に利用することができる。図５（Ｂ）に示す例では、各バンプ１０３がダルマ状に画像１００に反映されている。即ち、斜め下方に向かって隙間ｇを撮像した結果、ｂ１’とｂ２’の間の点線より上がバンプ１０３の実像を、点線より下がバンプ１０３の鏡像を示している（図４（Ｃ）のように対象物１０２の外周部にバンプ１０３が存在しない状態で斜め下方に向かって隙間ｇを撮像した結果、対象物１０２によりバンプ１０３の実像の上端が隠れていることを示すため、バンプ１０３の上端を点線で示している）。ここで、図５（Ｂ）のように、各バンプ１０３の上端、即ち、実像のバンプ１０３の領域の一部が見えないこともある（情報量が少ない）。この場合でも、画像１００においてこれらの上端の隠れたバンプ１０３と対象物１０２と間のｂ１’を第１境界線として特定し、さらに、鏡像の領域も判定領域に含めるようにｂ２’を第２境界線として特定してもよい。こうすることにより、バンプ１０３の良品と不良品の差異を示す情報量が増え、判定の精度は向上もしくは高いままである。従って、図５（Ｂ）に示す例のように鏡像も撮像された場合、鏡像も利用して判定精度を向上させるために、第２境界線ｂ２は、バンプ１０３の鏡像と対象物１０２の鏡像との間の境界線を指す第２境界線ｂ２’とすることもできる。すなわち、この場合の判定領域となる画像部分１００ａ’は、実像に基づく第１境界線ｂ１’と鏡像に基づく第２境界線ｂ２’との間の領域に相当する。この第２境界線ｂ２’も、予め設定されている基板１０１と対象物１０２との間の隙間ｇの大きさに基づいて特定することができる。

【0047】

または、第２学習済モデル３２０は、正常であるバンプ１０３の画像を含む教師データ３１０（上述のようにバンプ１０３の上端は隠れていてもよく、且つ／またはバンプ１０３の鏡像を含んでもよい。）のみを用いることにより良品学習によって生成されたものでもよい。判定手段３６は、以上のような第２学習済モデル３２０を用いて、受付手段３２が受け付けたバンプ１０３の実像および基板１０１に投影されるバンプ１０３の鏡像を含む画像１００のうち第１境界線ｂ１またはｂ１’および第２境界線ｂ２またはｂ２’の間の領域の画像部分１００ａから、バンプ１０３が正常であるか否かを判定してもよい。

【0048】

判定不可であれば、そのバンプ１０３は異常（ＮＧ）と判定される。

【0049】

（出力手段３８）
出力手段３８は、表示部４４を介して判定結果を出力する。

【0050】

（第１モデル生成手段２００、第２モデル生成手段３００）
第１モデル生成手段２００および第２モデル生成手段３００は、それぞれ教師データ２１０および３１０を用いて機械学習により第１学習済モデル３２０および第２学習済モデル２２０を生成する（図２）。第１学習済モデル２２０および／または第２学習済モデル３２０は、コンピュータ３とは別の装置が所定のプログラムを実行することにより機能するようになっていてもよく、あるいは制御部３０が記憶部４０に記憶されているプログラムを実行することにより機能するようになっていてもよい。前者の場合は、別の装置により生成された第１学習済モデル２２０および／または第２学習済モデル３２０は、コンピュータ３に送信され、このコンピュータ３の記憶部４０に記憶される。

【0051】

［検知方法］
次に、このようなコンピュータ３（検査システム１）による検知方法について説明する。なお、以下に示す処理は記憶部４０に記憶されているプログラムを制御部３０が実行することにより行われる。

【0052】

まず、撮像装置２が、基板１０１と、バンプ１０３により基板１０１に接着される対象物１０２との間の隙間ｇを撮像することにより画像１００を取得する（図３、ステップＳ１）。ここで、上述したように、撮像装置２が、コンピュータ３に送る画像を撮像する際に斜め下方に向かって撮像し、バンプ１０３の実像および基板１０１に投影されるバンプ１０３の鏡像を含む画像を取得することもできる。

【0053】

次に、コンピュータ３（受付手段３２）が、撮像装置２により撮像された画像を受け付ける（図３、ステップＳ２）。

【0054】

次に、コンピュータ３（前処理手段３４）が、バンプ１０３により接着される基板１０１と対象物１０２との間の隙間ｇの画像であってバンプ１０３と対象物１０２との間の第１境界線ｂ１が得られる画像を含む教師データを用いることにより機械学習によって生成された第１学習済モデル２２０を用いて、受け付けた画像１００から第１境界線ｂ１を特定するとともに（図２、第１境界線ｂ１の特定処理５１）、予め設定されている基板１０１と対象物１０２との間の隙間ｇの大きさに基づいて、受け付けた画像１００において第１境界線ｂ１との間にバンプ１０３の下端を含むように第２境界線ｂ２を第１境界線ｂ１から特定する（図２、第２境界線ｂ２の特定処理５１。図３、ステップＳ３）。前述のように、第１学習済モデル２２０は、全てのバンプ１０３を同一のサイズおよび同一の形状のバウンディングボックスで検出するよう学習されたものである。こうして、第１境界線ｂ１および第２境界線ｂ２から判定領域となる画像部分１００ａが抽出されることになる。さらに、画像１００に対する前処理として、基板１０１と対象物１０２が水平になるように輪郭抽出による角度計測や回転補正を行ったり、画像１００を拡大させてもよい。

【0055】

次に、コンピュータ３（判定手段３６）が、正常であるバンプ１０３の画像を含む教師データを用いることにより機械学習によって生成された第２学習済モデル３２０を用いて、受け付けた画像のうち第１境界線ｂ１および第２境界線ｂ２の間の領域の画像部分１００ａから、バンプ１０３が正常であるか否かを判定する（図３、ステップＳ４）。なお、上述したように、第２学習済モデル３２０は、正常であるバンプ１０３の画像としてバンプ１０３の実像および基板１０１に投影されるバンプ１０３の鏡像を同じ画像に含むものを用いることにより機械学習によって生成されたものでもよい。

【0056】

次に、コンピュータ３（出力手段３８）が、表示部４４を介して判定結果を出力する。また、コンピュータ３（出力手段３８）は、通信部４２を介して判定結果を外部装置に送信してもよい。

【0057】

以上のような構成からなる本開示のプログラム、コンピュータ３、検査システム１および検査方法によれば、検査システム１は、撮像装置２と、撮像装置２により撮像された画像が送られるコンピュータ３とを備える。撮像装置２は、基板１０１と、バンプ１０３により基板１０１に接着される対象物１０２との間の隙間ｇの画像１００ａを含む画像１００を撮像することにより画像１００を取得する。コンピュータ３（制御部３０）は、プログラムを実行することにより、受付手段３２と、前処理手段３４と、判定手段３６として機能する。受付手段３２は、撮像装置２により撮像された、基板１０１と、バンプ１０３により基板１０１に接着される対象物１０２との間の隙間ｇの画像１００ａを含む画像１００を受け付ける。前処理手段３４は、バンプ１０３により接着される基板１０１と対象物１０２との間の隙間ｇの画像であってバンプ１０３と対象物１０２との間の第１境界線ｂ１が得られる画像を含む教師データを用いることにより機械学習によって生成された第１学習済モデル２２０を用いて、受付手段３２が受け付けた画像１００における第１境界線ｂ１を特定するとともに、予め設定されている基板１０１と対象物１０２との間の隙間ｇの大きさに基づいて、受付手段３２が受け付けた画像１００において第１境界線ｂ１との間にバンプ１０３の下端を含むよう第２境界線ｂ２を第１境界線ｂ１から特定する。判定手段３６は、正常であるバンプ１０３の画像を含む教師データを用いることにより機械学習によって生成された第２学習済モデル３２０を用いて、受付手段３２が受け付けた画像１００のうち第１境界線ｂ１および第２境界線ｂ２の間の領域の画像部分１００ａから、バンプ１０３が正常であるか否かを判定する。第１学習済モデル２２０は、全てのバンプ１０３を同一のサイズおよび同一の形状のバウンディングボックスで検出するよう学習されたものである。

【0058】

従来から、半導体チップ等の対象物を基板に接着するためのバンプが正常であるか否かについて顕微鏡により人が目視にて検査を行っていたところ、バンプはほとんどが正常なものであり異常が発生することは稀であるため、バンプに異常があっても見落としやすいという課題があった。これに対して、このような本開示のプログラム、コンピュータ３、検査システム１および検査方法によれば、受け付けた画像からバンプの異常を目視よりも確実に検出できる。特に、本発明によれば、受け付けた画像１００における第１境界線ｂ１および第２境界線ｂ２を特定し、第１境界線ｂ１および第２境界線ｂ２の間の領域の画像部分１００ａからバンプ１０３が正常であるか否かを判定するので、効率的な検査を実現できる。

【0059】

また、本開示のプログラム、コンピュータ３、検査システム１および検査方法において、バウンディングボックスの形状を矩形とすることができる。バンプ１０３に合わせて様々な矩形状のバウンディングボックスを設定することができる。

【0060】

また、本開示のプログラム、コンピュータ３、検査システム１および検査方法において、バウンディングボックス同士は重ならないことが、第１境界線ｂ１の特定に余計なバウンディングボックスを検出させない手段として好ましい。生成されるたくさんのＢＢから第１境界線ｂ１の特定に適切なＢＢを選ぶまたは明確にする方法として、ＮＭＳ（Ｎｏｎ－ｍａｘｉｍｕｍ ｓｕｐｐｒｅｓｓｉｏｎ）を使用できる。

【0061】

また、本開示のプログラム、コンピュータ３、検査システム１および検査方法において、第１学習済モデル２２０は、全てのバウンディングボックスの対象物１０２側の辺（上辺）を基に第１境界線ｂ１を特定してもよい。このように、各バウンディングボックスの上辺を基に容易に第１境界線ｂ１を特定することができる。

【0062】

また、本開示のプログラム、コンピュータ３、検査システム１および検査方法において、第１学習済モデル２２０は、第１境界線ｂ１の特定を受付手段３２が受け付けた画像１００の所定の領域毎に行うものでもよい。上述したようなトリミングによって画像サイズを調節し、チップ等の対象物１０２の反りや傾きを無視できるようになる（短い区間は直線に近似するから）。

【0063】

また、本開示のプログラム、コンピュータ３、検査システム１および検査方法において、第２学習済モデル３２０は、正常であるバンプ１０３の画像としてバンプ１０３の実像および基板１０１に投影されるバンプ１０３の鏡像を同じ画像に含むものを用いることにより機械学習によって生成されたものであり、判定手段３６は、この第２学習済モデル３２０を用いて、受付手段３２が受け付けたバンプ１０３の実像および基板１０１に投影されるバンプ１０３の鏡像を含む画像１００のうち第１境界線ｂ１（ｂ１’）および第２境界線ｂ２’の間の領域の画像部分１００ａ’から、バンプ１０３が正常であるか否かを判定してもよく、ここで、第２境界線ｂ２’は、受付手段３２が受け付けたバンプ１０３の実像および基板１０１に投影されるバンプ１０３の鏡像を含む画像１００のうち、バンプ１０３の鏡像と対象物１０２の鏡像の間の境界線である（図５（Ｂ））。図４（Ｂ）に示すようにバンプ１０３の横方向から撮影することも考えられるが、チップコンデンサのような撮像の障害物１０４等があるとバンプ１０３を横方向から撮影することが困難となる場合もある。そこで、図４（Ｃ）に示すように、画像１００が斜め下方に向かって撮像された場合でも、画像１００に含まれるバンプ１０３の実像および基板１０１に投影されるバンプ１０３の鏡像を利用することにより、バンプ１０３が正常であるか否かを判定することが可能である。すなわち、本開示のプログラム、コンピュータ３、検査システム１および検査方法によれば、バンプ１０３や隙間ｇの撮像に障害となる障害物１０４がある場合であっても、より確実な判定をすることができる。さらに、鏡像も利用することにより、判定のための情報量が増え、判定精度が向上する。

【0064】

また、本開示のプログラム、コンピュータ３、検査システム１および検査方法において、第２学習済モデル３２０は、正常であるバンプ１０３の画像を含む教師データのみを用いることにより良品学習によって生成されたものでもよい。実際に不良品が発生する件数が少なく不良品の定義が難しい場合や不良品のデータ収集が難しい場合にも、本開示のプログラム、コンピュータ３、検査システム１および検査方法は好適である。

【0065】

また、本開示のプログラム、コンピュータ３、検査システム１および検査方法において、対象物１０２は半導体チップであってもよい。このように、基板１０１上に対象物１０２の他に対象物１０２に伴って他の配置物（障害物１０４等）がある場合に、本開示のプログラム、コンピュータ３、検査システム１および検査方法は好適に適用できる。

【0066】

また、本開示の検査方法において、第２学習済モデル３２０は、正常であるバンプ１０３の画像としてバンプ１０３の実像および基板１０１に投影されるバンプ１０３の鏡像を同じ画像に含むものを用いることにより機械学習によって生成されたものであり、撮像装置２が、コンピュータ３に送る画像を撮像する際に斜め下方に向かって撮像し、バンプ１０３の実像および基板１０１に投影されるバンプ１０３の鏡像を含む画像を取得してもよい（図４（Ｃ）参照）。こうして、バンプ１０３の撮像に障害となる、図４に示すような障害物１０４がある場合であっても、バンプ１０３が正常であるか否かを精度よく判定することができる。

【0067】

なお、本開示によるコンピュータ３、プログラムおよび検知方法は、上述したような態様や組み合わせに限定されることはなく、様々な変更を加えることができる。

【0068】

例えば、上述のように、鏡像も画像１００に含まれる場合も、前処理手段３４は画像１００における第１境界線ｂ１（ｂ１’）および第２境界線ｂ２’を特定してもよいが、第１境界線ｂ１（ｂ１’）は鏡像のバンプ１０３が半分程度（多すぎず少なすぎず）含まれるように高さを指定することができればよい。隙間ｇには同一サンプル内でもばらつきが存在するため、第１境界線ｂ１（ｂ１’）および第２境界線ｂ２’は必ずしも精度よく特定できるわけではなく、この場合でも良好な判定結果を得られるからである。

【符号の説明】

【0069】

１ 検査システム
２ 撮像装置
２１ カメラ
２２ 通信部
３ コンピュータ
３０ 制御部
３２ 受付手段
３４ 前処理手段
３６ 判定手段
３８ 出力手段
２２ａ モデル生成部
２４ａ 受付部
２６ａ 推定部
２８ａ 出力部
４０ 記憶部
４２ 通信部
４４ 表示部
４６ 操作部
１００、１００ａ、１００ａ’ 画像
１０１ 基板
１０２ 対象物
１０３ バンプ
１０４ 障害物
２００ 第１モデル生成手段
２１０ 教師データ
２２０ 第１学習済みモデル
３００ 第２モデル生成手段
３１０ 教師データ
３２０ 第２学習済みモデル
ｂ１、ｂ１’ 第１境界線
ｂ２、ｂ２’ 第２境界線
ｇ 隙間

【要約】

【課題】バンプ１０３の異常をより確実に検出できるプログラム、コンピュータ、検査システムおよび検査方法を提供する。
【解決手段】受付手段３２は、基板１０１と対象物１０２の間の隙間ｇの画像１００ａを含む画像１００を受け付ける。前処理手段３４は、バンプにより接着される基板と対象物の間の隙間の画像であってバンプと対象物との間の第１境界線が得られる画像を含む教師データ２１０を用いて機械学習により生成された第１学習済モデル２２０を用いて、画像１００における第１境界線ｂ１を特定し、隙間ｇの大きさに基づき、第１境界線ｂ１との間でバンプ１０３の下端を含むよう第２境界線ｂ２を第１境界線ｂ１から特定する。判定手段３６は、正常であるバンプの画像を含む教師データ３１０を用いて機械学習により生成された第２学習済モデル３２０を用いて、画像部分１００ａから、バンプ１０３が正常であるか否かを判定する。
【選択図】図５

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】