特許 7510132 外観検査装置、機械学習モデルの学習方法、教師用画像の生成方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-06-25

(45)【発行日】2024-07-03

(54)【発明の名称】外観検査装置、機械学習モデルの学習方法、教師用画像の生成方法及びプログラム

(51)【国際特許分類】

   G01N 21/88 20060101AFI20240626BHJP

   G06T 7/00 20170101ALI20240626BHJP

【ＦＩ】

G01N21/88 J

G06T7/00 350C

【請求項の数】 5

(21)【出願番号】P 2023198691

(22)【出願日】2023-11-22

【審査請求日】2023-12-26

【早期審査対象出願】

(73)【特許権者】

【識別番号】591107230

【氏名又は名称】株式会社デンケン

(73)【特許権者】

【識別番号】504237050

【氏名又は名称】独立行政法人国立高等専門学校機構

(74)【代理人】

【識別番号】100163267

【弁理士】

【氏名又は名称】今中 崇之

(72)【発明者】

【氏名】山本 泰秀

(72)【発明者】

【氏名】木本 智幸

【審査官】井上 徹

(56)【参考文献】

【文献】国際公開第２０２０／１７５６６６（ＷＯ，Ａ１）

【文献】特開２０１８－００５６４０（ＪＰ，Ａ）

【文献】特開２０２３－１２２１４０（ＪＰ，Ａ）

【文献】特開２０２１－０５６００４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４－Ｇ０１Ｎ ２１／９５８

Ｇ０１Ｂ １１／００－Ｇ０１Ｂ １１／３０

Ｇ０６Ｔ ７／００－Ｇ０６Ｔ ７／９０

Ｇ０６Ｖ １０／００－Ｇ０６Ｖ ４０／２０

(57)【特許請求の範囲】

【請求項1】

被検査対象物を撮像したカメラ画像を取得する撮像部と、
前記カメラ画像をブロブ解析して得られたブロブを含む一次判定画像を生成する一次判定画像生成部と、
予め設定された基準に基づいて、前記一次判定画像に含まれるブロブが欠陥に該当するか否かを判定するルールベース判定部と、
前記ルールベース判定部によって欠陥と判定されたブロブの位置Ｐ１を求め、求めた該位置Ｐ１が予め決められた範囲Ａにあるように画像を前記カメラ画像から切り出し、複数のブロブを含みうる二次判定画像として生成する二次判定画像生成部と、
畳み込みニューラルネットワークによる機械学習モデルを用いて、前記二次判定画像が欠陥を示すものであるか否かを判定し、欠陥を示すものである場合には、当該欠陥の種類を判別するＡＩ判定部と、を備え、
前記機械学習モデルの学習方法が、予め準備された複数の前記被検査対象物のデータセット画像をそれぞれブロブ解析し、ブロブを含む複数の解析画像を生成するステップと、
前記複数の解析画像に含まれるブロブの位置Ｐ２を前記位置Ｐ１の算出方法により求め、求めた前記位置Ｐ２が前記範囲Ａにあるように画像を前記データセット画像から切り出し、少なくとも１つの欠陥を含む教師用欠陥候補画像として生成するステップと、
前記教師用欠陥候補画像を前記位置Ｐ２にある欠陥の種類に応じて分類することにより、アノテーションされた教師用画像を生成するステップと、
前記教師用画像に基づいて、前記機械学習モデルの学習を行うステップと、を含む外観検査装置。

【請求項2】

被検査対象物を撮像したカメラ画像を取得する撮像部と、
前記カメラ画像をブロブ解析して得られたブロブを含む一次判定画像を生成する一次判定画像生成部と、
予め設定された基準に基づいて、前記一次判定画像に含まれるブロブが欠陥に該当するか否かを判定するルールベース判定部と、
前記ルールベース判定部によって欠陥と判定されたブロブの位置Ｐ１を求め、求めた該位置Ｐ１が予め決められた範囲Ａにあるように画像を前記カメラ画像から切り出し、複数のブロブを含みうる二次判定画像として生成する二次判定画像生成部と、
畳み込みニューラルネットワークによる機械学習モデルを用いて、前記二次判定画像が欠陥を示すものであるか否かを判定し、欠陥を示すものである場合には、当該欠陥の種類を判別するＡＩ判定部と、を備え、
前記機械学習モデルの学習方法が、予め準備された複数の前記被検査対象物のデータセット画像をそれぞれブロブ解析し、予め決められた大きさ以上の面積を有するブロブを含む複数の解析画像を生成するステップと、
前記複数の解析画像に含まれるブロブの位置Ｐ２を前記位置Ｐ１の算出方法により求め、求めた前記位置Ｐ２が前記範囲Ａにあるように画像を前記データセット画像から切り出し、少なくとも１つの欠陥を含む教師用欠陥候補画像として生成するステップと、
前記教師用欠陥候補画像を前記位置Ｐ２にある欠陥の種類に応じて分類することにより、アノテーションされた教師用画像を生成するステップと、
前記教師用画像に基づいて、前記機械学習モデルの学習を行うステップと、を含む外観検査装置。

【請求項3】

請求項１記載の外観検査装置が備えるＡＩ判定部に使用される機械学習モデルの教師用画像を生成するためのコンピュータに、
予め準備された複数の前記被検査対象物のデータセット画像をそれぞれブロブ解析し、複数のブロブを含む複数の解析画像を生成するステップと、
前記複数の解析画像に含まれるブロブの位置Ｐ２を前記位置Ｐ１の算出方法により求め、求めた前記位置Ｐ２が予め決められた範囲Ａにあるように画像を前記データセット画像から切り出し、少なくとも１つの欠陥を含む教師用欠陥候補画像として取得するステップと、を実行させるプログラム。

【請求項4】

畳み込みニューラルネットワークにより構成され、被検査対象物の欠陥の位置Ｐ１が予め決められた範囲Ａにあり、該欠陥以外の欠陥を含みうる判定画像に基づいて該被検査対象物の外観の良否を判断するための機械学習モデルの学習方法であって、
予め準備された複数の前記被検査対象物のデータセット画像をそれぞれブロブ解析し、ブロブを含む複数の解析画像を生成するステップと、
前記複数の解析画像に含まれるブロブの位置Ｐ２を前記位置Ｐ１の算出方法により求め、求めた前記位置Ｐ２が予め決められた範囲Ａにあるように画像を前記データセット画像から切り出し、少なくとも１つの欠陥を含む教師用欠陥候補画像として取得するステップと、
前記教師用欠陥候補画像を前記位置Ｐ２にある欠陥の種類に応じて分類することにより、アノテーションされた教師用画像を作成するステップと、
前記教師用画像に基づいて、前記機械学習モデルの学習を行うステップと、を含む機械学習モデルの学習方法。

【請求項5】

畳み込みニューラルネットワークにより構成され、被検査対象物の欠陥の位置Ｐ１が予め決められた範囲Ａにあり、該欠陥以外の欠陥を含みうる判定画像に基づいて該被検査対象物の外観の良否を判断するための機械学習モデルの学習に使用する教師用画像の生成方法であって、
予め準備された複数の前記被検査対象物のデータセット画像をそれぞれブロブ解析し、ブロブを含む複数の解析画像を生成するステップと、
前記複数の解析画像に含まれるブロブの位置Ｐ２を前記位置Ｐ１の算出方法により求め、求めた前記位置Ｐ２が予め決められた範囲Ａにあるように画像を前記データセット画像から切り出し、少なくとも１つの欠陥を含む教師用欠陥候補画像として取得するステップと、
前記教師用欠陥候補画像を前記位置Ｐ２にある欠陥の種類に応じて分類することにより、アノテーションされた教師用画像を作成するステップと、を含む教師用画像の生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、外観検査装置、機械学習モデルの学習方法、教師用画像の生成方法及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、検査装置が記載されている。この検査装置は、被検査対象物を撮像する撮像部と、撮像部によって得られた被検査対象物の撮像データを処理し、処理画像データを生成する画像処理部と、処理画像データ及び予め規定されたボイド及び傷のデータに基づいて、被検査対象物の欠陥の有無を判定する第１の判定部と、処理画像データ及び予め構築された機械学習モデルに基づいて、被検査対象物のボイド及び傷の有無を判定する第２の判定部と、を備え、第２の判定部がボイドがあり不良であると判定した被検査対象物に対して、第１の判定部が該ボイドの有無を判定し、第２の判定部が傷があり不良であると判定した被検査対象物に対して、第１の判定部が該傷の有無を判定する。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６６３０９１２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、被検査対象の外観の良否を高い精度で判定できる一方で、処理速度の低下が抑制された外観検査装置及びプログラムを提供することを目的とする。
また、本発明は、被検査対象に複数の欠陥が含まれている場合において、高い精度で良否を判定できる機械学習モデルの学習方法及び教師用画像の生成方法を提供することを目的とする。

【課題を解決するための手段】

【0005】

請求項１に記載の発明は、被検査対象物を撮像したカメラ画像を取得する撮像部と、前記カメラ画像をブロブ解析して得られたブロブを含む一次判定画像を生成する一次判定画像生成部と、予め設定された基準に基づいて、前記一次判定画像に含まれるブロブが欠陥に該当するか否かを判定するルールベース判定部と、前記ルールベース判定部によって欠陥と判定されたブロブの位置Ｐ１を求め、求めた該位置Ｐ１が予め決められた範囲Ａにあるように画像を前記カメラ画像から切り出し、複数のブロブを含みうる二次判定画像として生成する二次判定画像生成部と、畳み込みニューラルネットワークによる機械学習モデルを用いて、前記二次判定画像が欠陥を示すものであるか否かを判定し、欠陥を示すものである場合には、当該欠陥の種類を判別するＡＩ判定部と、を備え、前記機械学習モデルの学習方法が、予め準備された複数の前記被検査対象物のデータセット画像をそれぞれブロブ解析し、ブロブを含む複数の解析画像を生成するステップと、前記複数の解析画像に含まれるブロブの位置Ｐ２を前記位置Ｐ１の算出方法により求め、求めた前記位置Ｐ２が前記範囲Ａにあるように画像を前記データセット画像から切り出し、少なくとも１つの欠陥を含む教師用欠陥候補画像として生成するステップと、前記教師用欠陥候補画像を前記位置Ｐ２にある欠陥の種類に応じて分類することにより、アノテーションされた教師用画像を生成するステップと、前記教師用画像に基づいて、前記機械学習モデルの学習を行うステップと、を含む外観検査装置である。

【0006】

【0007】

請求項２に記載の発明は、被検査対象物を撮像したカメラ画像を取得する撮像部と、前記カメラ画像をブロブ解析して得られたブロブを含む一次判定画像を生成する一次判定画像生成部と、予め設定された基準に基づいて、前記一次判定画像に含まれるブロブが欠陥に該当するか否かを判定するルールベース判定部と、前記ルールベース判定部によって欠陥と判定されたブロブの位置Ｐ１を求め、求めた該位置Ｐ１が予め決められた範囲Ａにあるように画像を前記カメラ画像から切り出し、複数のブロブを含みうる二次判定画像として生成する二次判定画像生成部と、畳み込みニューラルネットワークによる機械学習モデルを用いて、前記二次判定画像が欠陥を示すものであるか否かを判定し、欠陥を示すものである場合には、当該欠陥の種類を判別するＡＩ判定部と、を備え、前記機械学習モデルの学習方法が、予め準備された複数の前記被検査対象物のデータセット画像をそれぞれブロブ解析し、予め決められた大きさ以上の面積を有するブロブを含む複数の解析画像を生成するステップと、前記複数の解析画像に含まれるブロブの位置Ｐ２を前記位置Ｐ１の算出方法により求め、求めた前記位置Ｐ２が前記範囲Ａにあるように画像を前記データセット画像から切り出し、少なくとも１つの欠陥を含む教師用欠陥候補画像として生成するステップと、前記教師用欠陥候補画像を前記位置Ｐ２にある欠陥の種類に応じて分類することにより、アノテーションされた教師用画像を生成するステップと、前記教師用画像に基づいて、前記機械学習モデルの学習を行うステップと、を含む外観検査装置である。

【0008】

請求項３に記載の発明は、請求項１記載の外観検査装置が備えるＡＩ判定部に使用される機械学習モデルの教師用画像を生成するためのコンピュータに、予め準備された複数の前記被検査対象物のデータセット画像をそれぞれブロブ解析し、複数のブロブを含む複数の解析画像を生成するステップと、前記複数の解析画像に含まれるブロブの位置Ｐ２を前記位置Ｐ１の算出方法により求め、求めた前記位置Ｐ２が予め決められた範囲Ａにあるように画像を前記データセット画像から切り出し、少なくとも１つの欠陥を含む教師用欠陥候補画像として取得するステップと、を実行させるプログラムである。

【0009】

請求項４に記載の発明は、畳み込みニューラルネットワークにより構成され、被検査対象物の欠陥の位置Ｐ１が予め決められた範囲Ａにあり、該欠陥以外の欠陥を含みうる判定画像に基づいて該被検査対象物の外観の良否を判断するための機械学習モデルの学習方法であって、予め準備された複数の前記被検査対象物のデータセット画像をそれぞれブロブ解析し、ブロブを含む複数の解析画像を生成するステップと、前記複数の解析画像に含まれるブロブの位置Ｐ２を前記位置Ｐ１の算出方法により求め、求めた前記位置Ｐ２が予め決められた範囲Ａにあるように画像を前記データセット画像から切り出し、少なくとも１つの欠陥を含む教師用欠陥候補画像として取得するステップと、前記教師用欠陥候補画像を前記位置Ｐ２にある欠陥の種類に応じて分類することにより、アノテーションされた教師用画像を作成するステップと、前記教師用画像に基づいて、前記機械学習モデルの学習を行うステップと、を含む機械学習モデルの学習方法である。

【0010】

請求項５に記載の発明は、畳み込みニューラルネットワークにより構成され、被検査対象物の欠陥の位置Ｐ１が予め決められた範囲Ａにあり、該欠陥以外の欠陥を含みうる判定画像に基づいて該被検査対象物の外観の良否を判断するための機械学習モデルの学習に使用する教師用画像の生成方法であって、予め準備された複数の前記被検査対象物のデータセット画像をそれぞれブロブ解析し、ブロブを含む複数の解析画像を生成するステップと、前記複数の解析画像に含まれるブロブの位置Ｐ２を前記位置Ｐ１の算出方法により求め、求めた前記位置Ｐ２が予め決められた範囲Ａにあるように画像を前記データセット画像から切り出し、少なくとも１つの欠陥を含む教師用欠陥候補画像として取得するステップと、前記教師用欠陥候補画像を前記位置Ｐ２にある欠陥の種類に応じて分類することにより、アノテーションされた教師用画像を作成するステップと、を含む教師用画像の生成方法である。

【発明の効果】

【0011】

本発明によれば、被検査対象の外観の良否を高い精度で判定できる一方で、処理速度の低下が抑制された外観検査装置及びプログラムを提供できる。
また、本発明によれば、被検査対象に複数の欠陥が含まれている場合において、高い精度で良否を判定できる機械学習モデルの学習方法及び教師用画像の生成方法を提供できる。

【図面の簡単な説明】

【0012】

【図1】本発明の一の実施の形態に係る外観検査装置の構成図である。

【図2】（Ａ）～（Ｅ）は同外観検査装置が検査する半導体の外観の欠陥例であって、それぞれ傷、ボイド、汚れ、異物及び充填不良を示す説明図である。

【図3】同外観検査装置が備える一次判定画像生成部及び二次判定画像生成部がそれぞれ生成する一次判定画像及び二次判定画像の説明図である。

【図4】同外観検査装置における機械学習モデルの学習方法を示すフローチャートである。

【図5】同外観検査装置における機械学習モデルの学習の際に生成される解析画像、教師用欠陥候補画像及び教師用画像の説明図である。

【図6】同外観検査装置の動作を示すフローチャートである。

【発明を実施するための形態】

【0013】

続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。なお、図において、説明に関連しない部分は図示を省略する場合がある。

【0014】

本発明の一実施の形態に係る外観検査装置１０は、図１に示すように、撮像部２０、一次判定画像生成部３０、ルールベース判定部４０、二次判定画像生成部５０及びＡＩ判定部６０を備え、例えば矢印の方向に搬送される半導体１２（被検査対象物の一例）の外観上の欠陥を検査できる。欠陥は、図２に示すように、例えば傷、ボイド、汚れ、異物及び充填不良である。
なお、被検査対象物は、半導体１２に限定されるものではない。他の被検査対象物として、例えば、任意の機械部品や食品が挙げられる。

【0015】

撮像部２０は、半導体１２の外観を撮像できるカメラであり、半導体１２の上方に配置されている。カメラの画素数は、例えば、１，９００万～３，３００万画素である。
撮像された半導体１２の画像は、撮像部２０によって、カメラ画像として取得される。

【0016】

一次判定画像生成部３０は、撮像部２０によって得られたカメラ画像をブロブ解析し、その結果得られたブロブを含む一次判定画像ＩＭＧ１１（図３参照）を生成できる。

【0017】

ルールベース判定部４０（図１参照）は、予め設定された基準に基づいて、一次判定画像ＩＭＧ１１に含まれるブロブが欠陥に該当するか否かを判定できる。予め設定された基準は、例えば、ブロブの面積が所定のしきい値よりも大きいことである。
予め設定される基準は、ＡＩを使用せずにルールベースのみにより外観の良否を判定する外観検査装置よりも厳しく設定され、ルールベース判定部４０によって、本来良品とされるべき半導体１２が欠陥を含む不良品と判定される場合がある。
ルールベース判定部４０によって欠陥に該当すると判定されたブロブは、欠陥の候補として取り扱われる。

【0018】

二次判定画像生成部５０は、図３に示すように、ルールベース判定部４０によって欠陥と判定されたブロブの重心の位置（位置Ｐ１の一例）を求め、この重心の位置が中央部（予め決められた範囲Ａの一例）にあるように画像をカメラ画像から切り出し、予め決められたサイズＳの二次判定画像（判定画像の一例）ＩＭＧ１２として生成できる。二次判定画像ＩＭＧ１２（カメラ画像から切り出された画像）の縦及び横のサイズは、それぞれ例えば、２５６ピクセルである。
なお、このブロブの重心の位置は、ブロブの位置Ｐ１の一例である。ブロブの位置Ｐ１は、ブロブの重心の位置に限定されるものではなく、例えば、ブロブの最大幅（横方向の最大サイズ）及び最大高さ（縦方向の最大サイズ）から求められる中心であってもよい。すなわち、ブロブの位置Ｐ１は、予め決められた位置算出方法により算出された位置Ｐ１であれば任意でよい。
また、予め決められた範囲Ａは、画像の中央部に限定されるものではない。ただし、その範囲は狭ければ狭いほどよい。

【0019】

ＡＩ判定部６０（図１参照）は、機械学習モデルを用いて、二次判定画像ＩＭＧ１２が、欠陥を示すものであるか否かを判定でき、欠陥を示すものである場合には、その欠陥の種類（傷、ボイド、汚れ、異物及び充填不良等）を判別できる。機械学習モデルは、畳み込みニューラルネットワークにより構成されている。

【0020】

ここで、この機械学習モデルの学習方法について、図４及び図５に基づいて説明する。
なお、以下の少なくともステップＳＡ１、ＳＡ２及びステップＳＡ４は、コンピュータプログラムにより実現される。

【0021】

（ステップＳＡ１）
予め準備された複数の半導体１２の画像（以下、「データセット画像」という。）をそれぞれブロブ解析し、ブロブを含む複数の解析画像ＩＭＧ２１を生成する。
なお、解析画像ＩＭＧ２１は、ブロブ解析後に、予め決められた大きさ以上の面積を有するブロブを含むように選別された画像であってもよい。

【0022】

（ステップＳＡ２）
解析画像ＩＭＧ２１に含まれるブロブについて、それぞれ、重心の位置を求め、求めた重心の位置が中央部にある画像をデータセット画像から切り出し、教師用欠陥候補画像ＩＭＧ２２として生成する。データセット画像から切り出された教師用欠陥候補画像ＩＭＧ２２は、二次判定画像ＩＭＧ１２と同一のサイズＳである。ここで、「同一のサイズ」とは、厳密な意味での同一ではない。「同一のサイズ」とは、ＡＩ判定部６０による判定精度に実用上の影響を及ぼさないのであれば、多少の相違は許容され、「実質的に同一」という意味である（以下同様）。
すなわち、教師用欠陥候補画像ＩＭＧ２２には、中央部に欠陥の候補が含まれていることになる。
付言すると、教師用欠陥候補画像ＩＭＧ２２には、中央部の欠陥候補の周囲に、他の欠陥候補が入り込む場合もある。

【0023】

なお、本ステップＳＡ２において、教師用欠陥候補画像ＩＭＧ２２を生成するために、必ずしも重心が画像の中央部に位置するように切り出される必要はなく、前述の位置Ｐ１を求めるための位置算出方法により求められたブロブの位置Ｐ２が、予め決められた範囲Ａにあるように切り出されればよい。
すなわち、本ステップＳＡ２は、複数の解析画像ＩＭＧ２１に含まれるブロブの位置Ｐ２を前述の位置Ｐ１の算出方法により求め、求めた位置Ｐ２が予め決められた範囲Ａにある画像をデータセット画像から切り出し、二次判定画像ＩＭＧ１２と実質的に同一のサイズＳの教師用欠陥候補画像ＩＭＧ２２として生成するステップであればよい。

【0024】

（ステップＳＡ３）
取得された教師用欠陥候補画像ＩＭＧ２２の中央部にある欠陥が、その種類（図２参照）に応じて分類される。
分類作業は、人手により行われる。これにより、アノテーションされた教師用画像ＩＭＧ２３が生成される。ただし、分類作業は人手に代えてＡＩにより行われてもよい。
なお、欠陥を含まない良品の半導体１２を示す教師用画像ＩＭＧ２３であって、二次判定画像ＩＭＧ１２と同一のサイズＳの教師用画像ＩＭＧ２３も別途準備される。

【0025】

（ステップＳＡ４）
教師用画像ＩＭＧ２３に基づいて、畳み込みニューラルネットワークに基づくディープラーニングが行われる。
すなわち、機械学習モデルは、教師用画像ＩＭＧ２３に基づいて、欠陥を含まない半導体１２及び欠陥を含む半導体１２の外観を学習し、教師用画像ＩＭＧ２３が欠陥を示すものである場合には、欠陥の種類（図２参照）を学習する。

【0026】

以上説明した学習方法によれば、重心の位置（位置Ｐ１の一例）が中央部（予め決められた範囲Ａの一例）にあるブロブに対応した欠陥を示す教師用画像ＩＭＧ２３を作成するため、同一の欠陥について位置のみが異なる複数の教師用画像ＩＭＧ２３を作成する必要がなく、教師用画像ＩＭＧ２３の枚数が低減される。

【0027】

次に、外観検査装置１０の動作について、図６に基づいて説明する。外観検査装置１０は、以下のステップＳＢ１～ＳＢ５に従って動作する。ただし、可能な場合には、各ステップＳＢ１～ＳＢ５は順番を入れ替えて実施されてもよいし、並行して実施されてもよいし、一部が省略されて実施されてもよい。
なお、以下の少なくともステップＳＢ２～ＳＢ５は、コンピュータプログラムにより実現される。

【0028】

（ステップＳＢ１）
撮像部２０が、出荷前の半導体１２を撮像し、カメラ画像を取得する。

【0029】

（ステップＳＢ２）
一次判定画像生成部３０が、撮像された半導体１２の画像をブロブ解析する。ブロブ解析により、画像が二値化され、ブロブが検出される。ブロブが検出された画像は、図３に示す一次判定画像ＩＭＧ１１として生成される。

【0030】

（ステップＳＢ３）
ルールベース判定部４０が、ステップＳＢ２にて検出されたブロブについて、欠陥に該当するか否かを判定する。欠陥に該当すると判定されたブロブは、欠陥の候補として特定される。

【0031】

（ステップＳＢ４）
二次判定画像生成部５０が、ルールベース判定部４０によって欠陥に該当するとして判定された各ブロブの重心（図３の拡大図における一点鎖線の交点）を求める。
その後、二次判定画像生成部５０は、求めた重心の位置が中央部にある画像をカメラ画像から切り出し、予め決められたサイズＳの二次判定画像ＩＭＧ１２として生成する。
すなわち、二次判定画像ＩＭＧ１２には、画像の中央部に欠陥の候補が含まれていることになる。
付言すると、カメラ画像に、隣接した複数の欠陥が存在する場合、二次判定画像ＩＭＧ１２には、重心が中央部に位置する欠陥候補以外の欠陥候補が含まれている場合もある。

【0032】

なお、このように重心が画像の中央部に位置するブロブに基づいて二次判定画像ＩＭＧ１２が生成されることに限定されるものではなく、前述の位置Ｐ１が予め決められた範囲Ａにあるブロブに基づいて二次判定画像ＩＭＧ１２が生成されればよい。

【0033】

（ステップＳＢ５）
ＡＩ判定部６０は、畳み込みニューラルネットワークによる機械学習モデルに基づいて、二次判定画像ＩＭＧ１２に含まれる欠陥の候補が真の欠陥に該当するか否かを判定し、欠陥である場合には、その欠陥の種類（傷、ボイド、汚れ、異物及び充填不良等）までを特定する。
このとき、機械学習モデルは、事前の学習の際に、欠陥の重心の位置が中央部にある教師用画像ＩＭＧ２３に基づいて欠陥の種類を学習しているので、二次判定画像ＩＭＧ１２に複数の欠陥の候補が含まれていた場合であっても、二次判定画像ＩＭＧ１２の中央部に位置する欠陥の候補に強い反応を示し、結果として、前述の学習方法により学習していない場合と比較して判定の精度が向上する。

【0034】

なお、本ステップＳＢ５のＡＩ判定部６０による処理速度と、ステップＳＢ１～ＳＢ４における処理速度とを対比すると、ステップＳＢ５のＡＩ判定部６０による処理速度の方が低速となる。

【0035】

このようにステップＳＢ１～ＳＢ５が実行されることにより、外観検査装置１０によって検査された半導体１２は、最終的にＡＩ判定部６０により、欠陥を含まない良品又は欠陥を含む不良品のいずれに該当するかが判定され、不良品である場合には、該当する欠陥の種類までが特定される。

【0036】

以上説明したように、本実施の形態に係る外観検査装置１０によれば、半導体１２に複数の欠陥が含まれている場合において、畳み込みニューラルネットワークにより構成された学習モデルを用いて高い精度で良否の判定ができる。
また、外観検査装置１０によれば、まず前述のＳＢ１～ＳＢ４にて欠陥の候補を高速で選別し、次に選別された欠陥の候補について、処理が低速となるステップＳＢ５にて判定するため、ＡＩ判定部６０が判定した後にルールベース判定部４０が判断する場合と比較して、半導体１２の良否を判定する処理が全体としてより高速に実行される。
すなわち、外観検査装置１０によれば、外観検査装置１０とは異なる外観検査装置と比較して、半導体１２の外観の良否を高い精度で判定できる一方で、判定に要する処理速度の低下を抑制できる。

【0037】

以上、本発明の実施の形態を説明したが、本発明は、上記した形態に限定されるものでなく、要旨を逸脱しない条件の変更等は全て本発明の適用範囲である。
前述の外観検査装置１０は、機械学習モデルに適切な教師用画像を学習させることによって、例えば、欠け、シミ、黒い異物、白い異物、マーク、樹脂屑、線傷及び点傷を判定することも可能である。

【符号の説明】

【0038】

１０ 外観検査装置
１２ 半導体
２０ 撮像部
３０ 一次判定画像生成部
４０ ルールベース判定部
５０ 二次判定画像生成部
６０ ＡＩ判定部
ＩＭＧ１１ 一次判定画像
ＩＭＧ１２ 二次判定画像
ＩＭＧ２１ 解析画像
ＩＭＧ２２ 教師用欠陥候補画像
ＩＭＧ２３ 教師用画像

【要約】

【課題】被検査対象の外観の良否を高い精度で判定できる一方で、処理速度の低下が抑制された外観検査装置及びプログラムを提供する。
【解決手段】外観検査装置１０は、被検査対象物を撮像したカメラ画像を取得する撮像部２０と、前記カメラ画像をブロブ解析して得られたブロブを含む一次判定画像ＩＭＧ１２を生成する一次判定画像生成部３０と、一次判定画像ＩＭＧ１２に含まれるブロブが欠陥に該当するか否かを判定するルールベース判定部４０と、ルールベース判定部４０によって欠陥と判定されたブロブの位置Ｐ１を求め、該位置Ｐ１が予め決められた範囲Ａにあるように画像を前記カメラ画像から切り出し、予め決められたサイズの二次判定画像ＩＭＧ２２として生成する二次判定画像生成部５０と、畳み込みニューラルネットワークによる機械学習モデルを用いて、二次判定画像ＩＭＧ２２が欠陥を示すものであるか否かを判定するＡＩ判定部６０と、を備える。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】