ホーム > 特許ランキング > 株式会社 東京ウエルズ
▶ 株式会社 東京ウエルズの特許一覧 ▶ 第一実業ビスウィル株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024101892
(43)【公開日】2024-07-30
(54)【発明の名称】欠陥検査方法及び欠陥検査装置
(51)【国際特許分類】
G01N 21/88 20060101AFI20240723BHJP
G06T 7/00 20170101ALI20240723BHJP
G06V 10/774 20220101ALI20240723BHJP
【ＦＩ】
G01N21/88 J
G06T7/00 610Z
G06T7/00 350B
G06V10/774
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023006095
(22)【出願日】2023-01-18
(71)【出願人】
【識別番号】591009705
【氏名又は名称】株式会社 東京ウエルズ
(71)【出願人】
【識別番号】305021292
【氏名又は名称】第一実業ビスウィル株式会社
(74)【代理人】
【識別番号】100120031
【弁理士】
【氏名又は名称】宮嶋 学
(74)【代理人】
【識別番号】100127465
【弁理士】
【氏名又は名称】堀田 幸裕
(74)【代理人】
【識別番号】100130719
【弁理士】
【氏名又は名称】村越 卓
(72)【発明者】
【氏名】吉田 直矢
(72)【発明者】
【氏名】後藤 翼
(72)【発明者】
【氏名】松下 雅司
(72)【発明者】
【氏名】水上 晶一
(72)【発明者】
【氏名】吉田 誠
(72)【発明者】
【氏名】梅谷 真也
(72)【発明者】
【氏名】古木 孝治
【テーマコード（参考）】
2G051
5L096
【Ｆターム（参考）】
2G051AA61
2G051AB02
2G051AC04
2G051EB05
5L096AA02
5L096AA06
5L096BA03
5L096CA17
5L096CA21
5L096DA01
5L096EA02
5L096EA39
5L096EA43
5L096FA54
5L096FA59
5L096FA64
5L096GA08
5L096GA34
5L096GA51
5L096HA11
5L096KA04
(57)【要約】
【課題】ユーザの作業負担の増大を抑えつつ、精度の良い欠陥検査を安定的に行うのに有利な欠陥検査方法及び欠陥検査装置を提供する。
【解決手段】複数の欠陥項目の中から、複数の欠陥項目を表す名称に基づいてユーザにより検査対象として選択される欠陥項目である欠陥検査項目が特定される（Ｓ２１）。複数の検査アルゴリズムの中から、欠陥検査項目に基づいて選定される１以上の検査アルゴリズムである選定検査アルゴリズムが特定される（Ｓ２３）。欠陥品画像を含む学習用画像と、選定検査アルゴリズムとに基づいて、検査パラメータが提案される（Ｓ２４、Ｓ２５）。検査対象製品を撮像することで検査対象画像が取得され、選定検査アルゴリズム及び検査パラメータに基づいて検査対象画像の画像処理を行うことで、検査対象製品の欠陥検査項目についての判定が行われる（Ｓ２６、Ｓ２７）。
【選択図】図３
【解決手段】複数の欠陥項目の中から、複数の欠陥項目を表す名称に基づいてユーザにより検査対象として選択される欠陥項目である欠陥検査項目が特定される（Ｓ２１）。複数の検査アルゴリズムの中から、欠陥検査項目に基づいて選定される１以上の検査アルゴリズムである選定検査アルゴリズムが特定される（Ｓ２３）。欠陥品画像を含む学習用画像と、選定検査アルゴリズムとに基づいて、検査パラメータが提案される（Ｓ２４、Ｓ２５）。検査対象製品を撮像することで検査対象画像が取得され、選定検査アルゴリズム及び検査パラメータに基づいて検査対象画像の画像処理を行うことで、検査対象製品の欠陥検査項目についての判定が行われる（Ｓ２６、Ｓ２７）。
【選択図】図３
【特許請求の範囲】
【請求項1】
複数の欠陥項目の中から、前記複数の欠陥項目を表す名称に基づいてユーザにより検査対象として選択される欠陥項目である欠陥検査項目を特定する工程と、
複数の検査アルゴリズムの中から、前記欠陥検査項目に基づいて選定される１以上の検査アルゴリズムである選定検査アルゴリズムを特定する工程と、
欠陥品画像を含む学習用画像と、前記選定検査アルゴリズムとに基づいて、検査パラメータを提案する工程と、
検査対象製品を撮像することで得られる検査対象画像を取得する工程と、
前記選定検査アルゴリズム及び前記検査パラメータに基づいて前記検査対象画像の画像処理を行うことで、前記検査対象製品の前記欠陥検査項目についての判定を行う工程と、
を含む欠陥検査方法。
複数の検査アルゴリズムの中から、前記欠陥検査項目に基づいて選定される１以上の検査アルゴリズムである選定検査アルゴリズムを特定する工程と、
欠陥品画像を含む学習用画像と、前記選定検査アルゴリズムとに基づいて、検査パラメータを提案する工程と、
検査対象製品を撮像することで得られる検査対象画像を取得する工程と、
前記選定検査アルゴリズム及び前記検査パラメータに基づいて前記検査対象画像の画像処理を行うことで、前記検査対象製品の前記欠陥検査項目についての判定を行う工程と、
を含む欠陥検査方法。
【請求項2】
提案される前記検査パラメータを、当該検査パラメータの調整が可能な状態で、ユーザに提示する工程と、
ユーザによって確定された前記検査パラメータを取得する工程と、
を含み、
前記検査対象製品の前記欠陥検査項目についての判定は、確定された前記検査パラメータに基づいて行われる、
請求項１に記載の欠陥検査方法。
ユーザによって確定された前記検査パラメータを取得する工程と、
を含み、
前記検査対象製品の前記欠陥検査項目についての判定は、確定された前記検査パラメータに基づいて行われる、
請求項１に記載の欠陥検査方法。
【請求項3】
前記複数の欠陥項目の各々に関して対応の前記欠陥品画像が準備されており、
前記欠陥検査項目に対応する前記学習用画像及び前記選定検査アルゴリズムに基づいて、前記検査パラメータが提案される、
請求項１又は２に記載の欠陥検査方法。
前記欠陥検査項目に対応する前記学習用画像及び前記選定検査アルゴリズムに基づいて、前記検査パラメータが提案される、
請求項１又は２に記載の欠陥検査方法。
【請求項4】
前記学習用画像は、前記検査対象製品と同種類の基準製品を撮影することで取得され、
前記選定検査アルゴリズムは、前記基準製品のうち前記欠陥検査項目に関連付けられる部位の画像領域である検査領域を特定する検査領域特定アルゴリズムと、前記検査対象製品の前記欠陥検査項目についての判定を行う欠陥判定アルゴリズムと、を含み、
前記学習用画像を解析することで、前記検査領域を特定するための前記検査パラメータを求めるために用いられる推定検査領域が特定され、
前記推定検査領域及び前記検査領域特定アルゴリズムに基づいて、前記検査領域特定アルゴリズムのための前記検査パラメータが提案される、
請求項１又は２に記載の欠陥検査方法。
前記選定検査アルゴリズムは、前記基準製品のうち前記欠陥検査項目に関連付けられる部位の画像領域である検査領域を特定する検査領域特定アルゴリズムと、前記検査対象製品の前記欠陥検査項目についての判定を行う欠陥判定アルゴリズムと、を含み、
前記学習用画像を解析することで、前記検査領域を特定するための前記検査パラメータを求めるために用いられる推定検査領域が特定され、
前記推定検査領域及び前記検査領域特定アルゴリズムに基づいて、前記検査領域特定アルゴリズムのための前記検査パラメータが提案される、
請求項１又は２に記載の欠陥検査方法。
【請求項5】
前記学習用画像に基づいて、前記選定検査アルゴリズムで用いられる画像チャンネルが決定される、
請求項４に記載の欠陥検査方法。
請求項４に記載の欠陥検査方法。
【請求項6】
ユーザによって行われる前記欠陥品画像中の前記欠陥検査項目に関するアノテーション処理を受け付ける工程を含み、
前記アノテーション処理を受けた前記欠陥品画像を含む前記学習用画像に基づいて、前記選定検査アルゴリズムで用いられる画像チャンネルが決定される、
請求項１又は２に記載の欠陥検査方法。
前記アノテーション処理を受けた前記欠陥品画像を含む前記学習用画像に基づいて、前記選定検査アルゴリズムで用いられる画像チャンネルが決定される、
請求項１又は２に記載の欠陥検査方法。
【請求項7】
ユーザによって行われる前記欠陥品画像中の前記欠陥検査項目に関するアノテーション処理を受け付ける工程を含み、
前記アノテーション処理を受けた前記欠陥品画像を含む前記学習用画像と、前記選定検査アルゴリズムとに基づいて、前記検査パラメータが提案される、
請求項１又は２に記載の欠陥検査方法。
前記アノテーション処理を受けた前記欠陥品画像を含む前記学習用画像と、前記選定検査アルゴリズムとに基づいて、前記検査パラメータが提案される、
請求項１又は２に記載の欠陥検査方法。
【請求項8】
ユーザによって行われる前記欠陥品画像中の前記欠陥検査項目に関するアノテーション処理を受け付ける工程を含み、
前記学習用画像は、前記検査対象製品と同種類の基準製品を撮影することで取得され、
前記学習用画像を解析することで、前記基準製品のうち前記欠陥検査項目に関連付けられる部位の画像領域である検査領域を特定するための前記検査パラメータを、求めるために用いられる推定検査領域が特定され、
前記推定検査領域がユーザに提示されつつ、前記アノテーション処理がユーザによって行われる、
請求項１又は２に記載の欠陥検査方法。
前記学習用画像は、前記検査対象製品と同種類の基準製品を撮影することで取得され、
前記学習用画像を解析することで、前記基準製品のうち前記欠陥検査項目に関連付けられる部位の画像領域である検査領域を特定するための前記検査パラメータを、求めるために用いられる推定検査領域が特定され、
前記推定検査領域がユーザに提示されつつ、前記アノテーション処理がユーザによって行われる、
請求項１又は２に記載の欠陥検査方法。
【請求項9】
前記検査対象製品の前記欠陥検査項目についての判定の結果が、ユーザにより可変的に指定される判定基準に照らし合わせることで、前記検査対象製品の良否の判定を行う工程を含む、
請求項１又は２に記載の欠陥検査方法。
請求項１又は２に記載の欠陥検査方法。
【請求項10】
インターフェースデバイスとデータの送受信を行う検査システム部を備え、
前記インターフェースデバイスは、複数の欠陥項目のそれぞれを表す名称をユーザに提示し、前記複数の欠陥項目の中から検査対象として選択される欠陥項目である欠陥検査項目のユーザによる選択を前記名称に基づいて受け付け、
前記検査システム部は、
前記インターフェースデバイスが受け付けた前記欠陥検査項目を特定する欠陥検査項目特定部と、
複数の検査アルゴリズムの中から、前記欠陥検査項目に基づいて選定される１以上の検査アルゴリズムである選定検査アルゴリズムを特定する検査アルゴリズム選定部と、
欠陥品画像を含む学習用画像と、前記選定検査アルゴリズムとに基づいて検査パラメータを提案する検査パラメータ探索部と、
検査対象製品を撮像することで得られる検査対象画像を取得する検査対象画像取得部と、
前記選定検査アルゴリズム及び前記検査パラメータに基づいて前記検査対象画像の画像処理を行うことで、前記検査対象製品の前記欠陥検査項目についての判定を行う欠陥項目判定部と、を有する、
欠陥検査装置。
前記インターフェースデバイスは、複数の欠陥項目のそれぞれを表す名称をユーザに提示し、前記複数の欠陥項目の中から検査対象として選択される欠陥項目である欠陥検査項目のユーザによる選択を前記名称に基づいて受け付け、
前記検査システム部は、
前記インターフェースデバイスが受け付けた前記欠陥検査項目を特定する欠陥検査項目特定部と、
複数の検査アルゴリズムの中から、前記欠陥検査項目に基づいて選定される１以上の検査アルゴリズムである選定検査アルゴリズムを特定する検査アルゴリズム選定部と、
欠陥品画像を含む学習用画像と、前記選定検査アルゴリズムとに基づいて検査パラメータを提案する検査パラメータ探索部と、
検査対象製品を撮像することで得られる検査対象画像を取得する検査対象画像取得部と、
前記選定検査アルゴリズム及び前記検査パラメータに基づいて前記検査対象画像の画像処理を行うことで、前記検査対象製品の前記欠陥検査項目についての判定を行う欠陥項目判定部と、を有する、
欠陥検査装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、欠陥検査方法及び欠陥検査装置に関する。
【背景技術】
【0002】
製品画像の画像処理に基づいて、製品における欠陥の有無を判定することが可能である（特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－１３９７６９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
製品における欠陥の検査を精度良く行うには、検査対象の欠陥項目に応じた適切な検査アルゴリズム及び検査パラメータに基づいて、製品を撮像することで取得される製品画像の画像処理を行うことが望ましい。
【0005】
適切な検査アルゴリズム及び検査パラメータは、個々の欠陥項目によってだけではなく、検査対象の製品の特徴（例えば形状や材質など）、欠陥の特徴及び状態、及び製品画像の撮像条件等によっても変わりうる。そのため通常は、専門知識（画像処理知識など）を有する技術者が、各種情報を総合的に勘案しつつ経験に基づく試行錯誤を行うことで、検査アルゴリズム及び検査パラメータを決める。
【0006】
このように適切な検査アルゴリズム及び検査パラメータをユーザ側で選定する場合、選定者には専門知識及び相応の経験が求められる。そのような検査アルゴリズム及び検査パラメータの選定作業を適切に行うことができる人材を確保することは容易ではなく、当該作業の属人化が進む傾向がある。その結果、選定者の作業負担がますます増大し且つ新たな人材の確保がますます難しくなるという悪循環を招く。また実際に選定される検査アルゴリズム及び検査パラメータは選定者によってばらつくため、検査精度が不安定になることがある。
【0007】
なお近年、ルールベースではない検査アルゴリズム（例えばディープラーニングに基づく検査アルゴリズム等）が検査のために使用されるようになってきている。このような検査アルゴリズムを用いた手法に関しては、試行錯誤に基づいてパラメータを設定するユーザの負担が軽い一方で、ユーザが内部処理を把握することが困難であり、ゆえに当該手法による検査結果に誤りがあった場合に誤りの理由を把握することや誤りを是正するための修正を行うことが極端に難しい。その結果、ユーザは検査結果の誤りを把握するために及びそのような誤りを是正する修正のために、多大な作業負担を強いられることとなる。
【0008】
本開示は上述の事情に鑑みてなされたものであり、ユーザの作業負担の増大を抑えつつ、精度の良い欠陥検査を安定的に行うのに有利な技術を提供する。
【課題を解決するための手段】
【0009】
本開示の一態様は、複数の欠陥項目の中から、複数の欠陥項目を表す名称に基づいてユーザにより検査対象として選択される欠陥項目である欠陥検査項目を特定する工程と、複数の検査アルゴリズムの中から、欠陥検査項目に基づいて選定される１以上の検査アルゴリズムである選定検査アルゴリズムを特定する工程と、欠陥品画像を含む学習用画像と、選定検査アルゴリズムとに基づいて、検査パラメータを提案する工程と、検査対象製品を撮像することで得られる検査対象画像を取得する工程と、選定検査アルゴリズム及び検査パラメータに基づいて検査対象画像の画像処理を行うことで、検査対象製品の欠陥検査項目についての判定を行う工程と、含む欠陥検査方法に関する。
【0010】
上記の「複数の欠陥項目の中から、複数の欠陥項目を表す名称に基づいてユーザにより検査対象として選択される欠陥項目である欠陥検査項目を特定する工程」に関し、例えば、欠陥検査方法を実践するユーザ（例えばお客）が欠陥項目の分類（一例として製品の汚れ及び欠けなど）を定義する段階、及び、画像を用意して当該画像を欠陥項目の分類に当てはめる段階の２段階があってもよい。
【0011】
選定検査アルゴリズムは、専門知識を持つ技術者がその処理内容をおおよそ想起できるアルゴリズムであってもよい。検査パラメータは、専門知識を持つ技術者がその変更による検査結果への影響をおおよそ想起できるパラメータであってもよい。
【0012】
欠陥検査方法は、提案される検査パラメータを、当該検査パラメータの調整が可能な状態で、ユーザに提示する工程と、ユーザによって確定された検査パラメータを取得する工程と、を含んでもよく、検査対象製品の欠陥検査項目についての判定は、確定された検査パラメータに基づいて行われてもよい。
【0013】
複数の欠陥項目の各々に関して対応の欠陥品画像が準備されていてもよく、欠陥検査項目に対応する学習用画像及び選定検査アルゴリズムに基づいて、検査パラメータが提案されてもよい。
【0014】
学習用画像は、検査対象製品と同種類の基準製品を撮影することで取得されてもよく、選定検査アルゴリズムは、基準製品のうち欠陥検査項目に関連付けられる部位の画像領域である検査領域を特定する検査領域特定アルゴリズムと、検査対象製品の欠陥検査項目についての判定を行う欠陥判定アルゴリズムと、を含んでもよく、学習用画像を解析することで、検査領域を特定するための検査パラメータを求めるために用いられる推定検査領域が特定されてもよく、推定検査領域及び検査領域特定アルゴリズムに基づいて、検査領域特定アルゴリズムのための検査パラメータが提案されてもよい。
【0015】
学習用画像に基づいて、選定検査アルゴリズムで用いられる画像チャンネルが決定されてもよい。
【0016】
欠陥検査方法は、ユーザによって行われる欠陥品画像中の欠陥検査項目に関するアノテーション処理を受け付ける工程を含んでもよく、アノテーション処理を受けた欠陥品画像を含む学習用画像に基づいて、選定検査アルゴリズムで用いられる画像チャンネルが決定されてもよい。
【0017】
欠陥検査方法は、ユーザによって行われる欠陥品画像中の欠陥検査項目に関するアノテーション処理を受け付ける工程を含んでもよく、アノテーション処理を受けた欠陥品画像を含む学習用画像と、選定検査アルゴリズムとに基づいて、検査パラメータが提案されてもよい。
【0018】
欠陥検査方法は、ユーザによって行われる欠陥品画像中の欠陥検査項目に関するアノテーション処理を受け付ける工程を含んでもよく、学習用画像は、検査対象製品と同種類の基準製品を撮影することで取得されてもよく、学習用画像を解析することで、基準製品のうち欠陥検査項目に関連付けられる部位の画像領域である検査領域を特定するための検査パラメータを、求めるために用いられる推定検査領域が特定されてもよく、推定検査領域がユーザに提示されつつ、アノテーション処理がユーザによって行われてもよい。
【0019】
欠陥検査方法は、検査対象製品の欠陥検査項目についての判定の結果が、ユーザにより可変的に指定される判定基準に照らし合わせることで、検査対象製品の良否の判定を行う工程を含んでもよい。
【0020】
本開示の他の態様は、インターフェースデバイスとデータの送受信を行う検査システム部を備え、インターフェースデバイスは、複数の欠陥項目のそれぞれを表す名称をユーザに提示し、複数の欠陥項目の中から検査対象として選択される欠陥項目である欠陥検査項目のユーザによる選択を名称に基づいて受け付け、検査システム部は、インターフェースデバイスが受け付けた欠陥検査項目を特定する欠陥検査項目特定部と、複数の検査アルゴリズムの中から、欠陥検査項目に基づいて選定される１以上の検査アルゴリズムである選定検査アルゴリズムを特定する検査アルゴリズム選定部と、欠陥品画像を含む学習用画像と、選定検査アルゴリズムとに基づいて検査パラメータを提案する検査パラメータ探索部と、検査対象製品を撮像することで得られる検査対象画像を取得する検査対象画像取得部と、選定検査アルゴリズム及び検査パラメータに基づいて検査対象画像の画像処理を行うことで、検査対象製品の欠陥検査項目についての判定を行う欠陥項目判定部と、を有する、欠陥検査装置に関する。
【発明の効果】
【0021】
本開示の技術は、ユーザの作業負担の増大を抑えつつ、精度の良い欠陥検査を安定的に行うのに有利である。
【図面の簡単な説明】
【0022】
【発明を実施するための形態】
【0023】
以下では、主としてチップ（チップコンデンサなどの電子部品）における欠陥を検査するための方法及び装置について例示的に説明する。本開示技術の適用対象は限定されず、チップ以外の製品に対しても下記技術を応用することが可能である。
【0024】
図１は、チップ（電子部品）などの製品の欠陥を検査するための欠陥検査方法の一例を示すフローチャートである。
【0025】
画像処理を利用して製品における欠陥を検査する場合、まず画像処理で用いられる検査アルゴリズム及び検査パラメータが設定され（検査条件設定モード）、その後、検査対象製品の画像を使った画像処理が行われることで欠陥検査が行われる（検査実行モード）。
【0026】
図１に示す例の検査条件設定モードでは、欠陥検査項目がユーザによって選択され（図１のＳ１）、選択された欠陥検査項目に応じた検査アルゴリズムが設定され（Ｓ２）、設定された検査アルゴリズムで用いられる検査パラメータが設定される（Ｓ３）。その後の検査実行モードでは、検査条件設定モードで設定された検査アルゴリズム及び検査パラメータに基づいて検査対象製品の画像が解析され、その解析結果に基づいて検査対象製品の欠陥検査項目についての判定が行われる（Ｓ４）。ここでの欠陥検査項目についての判定（例えば汚れ及び欠けなどの欠陥が製品にあるか否かの判定）は、画素毎に行われることが多いが、必ずしも画素毎に行われなくてもよい。そして検査対象製品の欠陥検査項目についての判定結果に基づいて、検査対象製品の良否の判定（すなわち検査対象製品が製品として良品か不良品かの判定）が行われる（Ｓ５）。
【0027】
上述の欠陥検査方法において、ユーザ側で行う処理が増える程、ユーザ側の負担が増大する。特に、検査アルゴリズム及び検査パラメータの選定をユーザ側で行う場合、選定者には、画像処理知識などの専門知識及び相応の経験が要求される。一方、装置側で、固定的な条件（非可変的な条件）の下で検査アルゴリズム及び検査パラメータの選定が行われる場合、必ずしも最適な検査アルゴリズム及び検査パラメータが選定されず、結果的に検査精度の悪化及び不安定化を招きうる。
【0028】
【0029】
まずユーザは、検査対象製品（チップ）に関する欠陥検査項目を決める。ここで言う「欠陥検査項目」は、ユーザにより検査対象として選択される欠陥項目であり、例えばどのようなタイプの欠陥が検査対象製品に発生しうるかをユーザが目視等で確認することによって欠陥検査項目を決めることができる。検査対象として決定可能な欠陥項目の内容及び数は限定されない。画像処理によって直接的又は間接的に検出が可能な検査対象製品の欠陥に関する項目が、検査対象として選択可能な欠陥項目となりうる。ここでの「欠陥」は、例えば理想状態とは異なる状態及び特徴を意味し、欠陥の程度は比較可能であり、欠陥の程度に応じて製品（チップ）の良否の判定がなされる。検査対象製品としてチップが用いられる場合、選択可能な欠陥項目は、例えばチップの汚れ、欠け及び傷などを含みうる。
【0030】
そしてユーザは、選択した欠陥検査項目に応じた検査アルゴリズムを選定する（Ｓ１１）。一般にアルゴリズムは、ある目的を達成するための一連の手順を意味する。ここで言う「検査アルゴリズム」は、検査を行うための具体的な手順及び処理内容を定めており、可変的な検査パラメータが適用される。本実施形態の検査アルゴリズムによれば、画像から欠陥箇所を特定し、欠陥箇所をもとに画像中の製品の良否判定を行うことが可能である。適切な検査アルゴリズムは、欠陥項目毎にあり、様々な条件（例えば処理対象の画像の撮像条件等）に応じて変わる。そのため検査アルゴリズムを決めるユーザ（選定者）には、欠陥検査項目の特性を踏まえた専門知識及び経験が要求される。
【0031】
一例として選定者は、欠陥検査項目として「チップの汚れ」を選択した場合、「抽出画像１の暗検査」を検査アルゴリズムとして選定することが求められることがある。また選定者は、欠陥検査項目として「チップ欠け」を選択した場合、「抽出画像２の角欠け検査」を検査アルゴリズムとして選定することが求められることがある。また選定者は、欠陥検査項目として「チップクラック」を選択した場合には「抽出画像１の動的閾値検査」を検査アルゴリズムとして選定することが求められることがある。ここでの「抽出画像１」及び「抽出画像２」は、検査対象製品の撮像画像（検査対象画像）から導出される画像データ（画像チャンネル）である。例えばＲＧＢ（赤緑青）のうちのいずれか１つのみに関する画像データや、ＲＧＢのうちの２以上に関する画像データから導き出される画像データが、「抽出画像１」及び「抽出画像２」として使用されうる。なお、ここでは一例として「抽出画像１」及び「抽出画像２」について言及されているが、検査アルゴリズムで使用可能な抽出画像は３つ以上であってもよい。
【0032】
選定検査アルゴリズムで用いられる画像チャンネルは、学習用画像に基づいて決定可能である。例えば、検査領域が後述の推定検査領域を用いて求められる検査パラメータによって特定される場合、選定検査アルゴリズムで用いられる画像チャンネルを学習用画像に基づいて決定することができる。またユーザによって行われる欠陥品画像中の欠陥検査項目に関するアノテーション処理を受け付ける工程が行われる場合、アノテーション処理を受けた欠陥品画像を含む学習用画像に基づいて、選定検査アルゴリズムで用いられる画像チャンネルを決定することができる。
【0033】
一例として、事前に、多くの種類の検査アルゴリズム（例えば「チップ明検査」及び「チップ動的閾値検査」という名称で表される検査アルゴリズムを含む）が選定候補として作成されていてもよい。そして、これらの選定候補の検査アルゴリズムを熟知している選定者が、欠陥検査項目に関して適切と思われる検査アルゴリズムを選び出してもよい。例えば対象製品チップの素体の中央部における線状のキズの検出が欠陥検査項目として選択される場合、素体の暗い部分における線状のキズを精度良く検出するために、選定者は、予め用意されている選定候補の中から「Ｂ（青）画像を用いた素体暗検査」を検査アルゴリズムとして選び出してもよい。そのような線状のキズを検出するための閾値を単純に設定すると、素体の上下エッジ部を誤って検出する虞がある。そのため選定者は、選定候補の中から「Ｂ画像を用いた素体動的閾値検査」を更なる検査アルゴリズムとして選び出してもよい。また対象製品における欠陥（線状のキズ）の位置次第では、Ｒ（赤）画像によって欠陥が強調されることがある。そのため選定者は、選定候補の中から「Ｒ画像を用いた素体ライン二値化検査」を更なる検査アルゴリズムとして選び出してもよい。
【0034】
なお選定候補として事前に作成可能な検査アルゴリズムの具体的な種類は限定されない。例えば、処理対象画像をある閾値を基準に二値化し、当該二値化画像に対してクロージング処理及びオープニング処理などの各種画像処理を行った結果得られる二値化処理画像を解析する一連の処理手順を、選定候補の検査アルゴリズムとして事前に準備してもよい。当該二値化処理画像のうちの明画素（例えば画素値「１」の白画素）の抽出画像を解析する検査アルゴリズムを使った検査は「明検査」と呼ばれ、暗画素（例えば画素値「０」の黒画素）の抽出画像を解析する検査アルゴリズムを使った検査は「暗検査」と呼ばれる。また処理対象画像の元画像に平滑化フィルタを適用して平滑化画像を取得し、当該平滑化画像と元画像と間の差分に基づく差分画像を取得し、当該差分画像を使った上述の明検査又は暗検査は「動的閾値検査」と呼ばれる。したがって「チップ明検査」は検査対象のチップの画像を処理対象画像とした明検査を意味し、「チップ暗検査」は検査対象のチップの画像を処理対象画像とした暗検査を意味し、「チップ動的閾値検査」は検査対象のチップの画像を処理対象画像とした動的閾値検査を意味する。なお選定候補として事前に作成可能な検査アルゴリズムは、上述の明検査、暗検査及び動的閾値検査に用いられるアルゴリズムには限定されず、例えば処理対象画像の濃淡（すなわち各画素値）を使った他の任意のアルゴリズムであってもよい。
【0035】
このように選定者は、欠陥検査項目に応じた単一の検査アルゴリズム又は複数の検査アルゴリズムの組み合わせを選定検査アルゴリズムとして特定する必要がある。
【0036】
そしてユーザ（選定者）は、選定した検査アルゴリズムで用いられる検査パラメータを選定する（Ｓ１２）。ここで言う「検査パラメータ」は、検査アルゴリズムが定める手順及び処理内容（演算処理）における変数要素である。なお検査パラメータの選定者は、検査アルゴリズムの選定者と同じであってもよいし、異なっていてもよい。例えば、専門の知識を持つ者（例えば欠陥検査装置の設計者）が検査アルゴリズムの選定者であり、専門の知識を持たないユーザが検査パラメータの選定者であってもよい。各検査アルゴリズムに関する検査パラメータの内容及び数は限定されず、対応の欠陥項目（欠陥検査種別の判定）に影響を与えうる任意の要因が検査パラメータによって表されうる。選定者には、無数の候補値の中から検査パラメータとして最適と考えられるパラメータ値を、試行錯誤と経験に基づき探索することが求められる。
【0037】
このようにしてユーザ側で設定された検査アルゴリズム及び検査パラメータは、インターフェースデバイスを介して欠陥検査装置に提供される。そして欠陥検査装置側で、検査アルゴリズム及び検査パラメータに基づく画像処理が行われて検査対象製品に関する欠陥検査項目の判定が行われ（Ｓ１３）、当該欠陥検査項目の判定結果に基づいて検査対象製品の良否が判定される（Ｓ１４）。
【0038】
ここで言う「検査対象製品に関する欠陥検査項目の判定」は、欠陥検査項目に対応する欠陥を検査対象製品が有するか否かの判定を含む。欠陥検査項目に対応する欠陥の程度（例えば欠陥の長さ、幅及び／又は深さなどの範囲）の特定も、「検査対象製品における欠陥検査項目の判定」に含まれうる。
【0039】
「検査対象製品の良否の判定」は、欠陥検査項目に対応する欠陥の状態に応じて、検査対象製品が製品として品質的に許容されるか否かの判定を含む。欠陥検査装置は、検査対象製品に関する欠陥検査項目の判定の結果を、判定基準に照らし合わせることで、検査対象製品の良否の判定を行う。
【0040】
このようにして欠陥検査装置側で行われた検査対象製品に関する欠陥検査項目の判定の結果及び検査対象製品の良品の判定の結果は、インターフェースデバイスを介してユーザに提示される（Ｓ１５）。
【0041】
上述の図２に示す欠陥検査方法が用いられる場合、ユーザ（選定者）には、適切な検査アルゴリズムを選定するための専門知識及び経験が求められるとともに、適切な検査パラメータを選定するための試行錯誤及び経験が求められる。一方、下述の実施形態（図３及び図４参照）によれば、欠陥検査装置側で検査アルゴリズム及び検査パラメータが導出されるため、ユーザの負担が大幅に軽減される。特に、検査パラメータが学習用画像に基づいて適応的に提案され、提案される検査パラメータをユーザが調整することも可能であるため、検査精度の悪化及び不安定化を有効に防げる。
【0042】
【0043】
本例では、まずユーザが、検査対象製品（チップ）に関する欠陥検査項目の選択を行う（図３のＳ２１）。具体的には、インターフェースデバイスが、複数の欠陥項目のそれぞれを表す名称をユーザに提示する。そしてインターフェースデバイスは、当該複数の欠陥項目の中から検査対象として選択される欠陥項目（すなわち欠陥検査項目）のユーザによる選択結果を、当該欠陥項目の名称に基づいて、受け付ける。このように複数の欠陥項目の中から、当該複数の欠陥項目を表す名称に基づいてユーザにより選択される欠陥検査項目が特定される。ここで用いられる「複数の欠陥項目を表す名称」は、難解な名称ではなく、製品（チップ）の品質管理において使用される一般的な名称（特に画像処理などの専門知識を持たないユーザでも理解可能な名称）であることが好ましい。
【0044】
このようにしてユーザ側で選択された欠陥検査項目は、インターフェースデバイスから欠陥検査装置に提供される。そして欠陥検査装置は、選択された欠陥検査項目に対応する学習用画像を記憶部から読み出す（Ｓ２２）。学習用画像は、欠陥検査項目として選択可能な複数の欠陥項目の各々に関して準備される１又は複数の画像であり、記憶部に記憶される。学習用画像は、例えば検査対象製品と同種類の基準製品を撮影することで、取得される。
【0045】
学習用画像は、対応の欠陥項目の画像領域（欠陥箇所）が存在する１又は複数の欠陥品画像を含む。ここでの画像領域は、画像中の１又は複数の画素の集合であり、例えば座標、長さ、及び面積に基づいて定義可能である。複数の欠陥項目の各々に関し、対応の欠陥品画像（学習用画像）が準備される。本実施形態において、学習用画像に含まれる１又は複数の欠陥品画像は、ユーザが画像中の「欠陥箇所に対応する領域」を指定するアノテーション処理を事前に受けた画像（すなわちアノテーション済み画像）である。なお欠陥品画像は、良品画像及び不良品画像に分類される。すなわち欠陥の程度が比較的大きいために不良品に分類される製品の画像（欠陥品画像）は、不良品画像に分類される。一方、欠陥の程度が比較的小さいために良品に分類される製品の画像（欠陥品画像）は、良品画像に分類される。
【0046】
学習用画像は、対応の欠陥項目を含まない製品の画像（例えば全ての欠陥項目に関する欠陥箇所を含まない無欠陥品画像）を１又は複数含んでいてもよい。無欠陥品画像は、良品画像に分類される。
【0047】
欠陥項目毎に準備される学習用画像は、２以上の欠陥項目間で共通する画像を含んでいてもよいし、２以上の欠陥項目間で共通する画像を含んでいなくてもよい。学習用画像として、欠陥検査項目間で全く異なる１又は複数の画像が準備されてもよい。この場合、欠陥項目毎に、１又は複数の画像（画像群）が学習用画像として記憶部に記憶保管される。学習用画像が１つ以上の無欠陥品画像を含む場合、２以上の欠陥項目間で（例えば全ての欠陥項目間で）、対応の学習用画像に含まれる１つ以上の無欠陥品画像が共通していてもよい。
【0048】
そして欠陥検査装置は、欠陥検査項目に応じた検査アルゴリズムを選定する（Ｓ２３）。本例では、複数の検査アルゴリズムの中から、欠陥検査項目に基づいて選定される１以上の検査アルゴリズムである選定検査アルゴリズムが特定される。すなわち選定検査アルゴリズムとして単一の検査アルゴリズムが選定されてもよいし、複数の検査アルゴリズムの組み合わせが選定検査アルゴリズムとして選定されてもよい。
【0049】
選定候補である複数の検査アルゴリズムは、欠陥項目毎に事前に準備されて記憶部に保存されていてもよい。経験上、殆どのケースで、欠陥項目及び画像取得時の撮像条件（照明条件など）が決まれば、適切に使用可能な対応の検査アルゴリズムが決まる。そのため専門知識及び相応の経験を有する人物が、選定候補として使用可能な複数の検査アルゴリズムを予め準備することは難しくない。したがって高い技量を持つユーザが、欠陥項目毎に対応の複数の検査アルゴリズムを撮像条件に応じて事前に準備して選定候補として記憶部に保存しておいてもよい。この場合、記憶部に保存されている選定候補の中から、選択された欠陥項目（欠陥検査項目）及び製品を撮像する際の撮像条件に基づいて、１以上の検査アルゴリズムが選定検査アルゴリズムとして選定されてもよい。
【0050】
なお欠陥検査装置によって行われる撮像の条件は、事前の評価に基づいて予め決められていてもよい。例えば事前に、不良サンプル（欠陥を有する基準製品）を使って、欠陥の特徴を撮像画像に反映させるのに有利な照明態様（例えばＬＥＤ照明の色や配置）、照明位置、撮影レンズ、カメラ、及び他の光学部品（例えば偏光板や拡散板等）が決められてもよい。
【0051】
欠陥検査装置は、欠陥検査項目の検査に適した選定検査アルゴリズムを特定し、当該選定検査アルゴリズムを記憶部から適宜読み出して画像処理に使用してもよい。例えばユーザによって選択された欠陥検査項目が「チップの汚れ」の場合、欠陥検査装置は、検査アルゴリズムとして「Ｂ画像を用いた暗検査」、「動的検査」及び「Ｒ画像を用いた明検査」の３つの検査アルゴリズムを、選定検査アルゴリズムとして特定してもよい。このように検査アルゴリズムによっては、画像の特定のチャンネル（例えば「Ｒ画像」や「Ｇ（緑）画像及びＢ画像の合成チャンネル（単チャンネル画像）」など）に対して画像処理が実行される場合がある。そのため欠陥検査項目に応じた検査アルゴリズムを選定する処理は、検査アルゴリズムが適用される画像チャンネルを特定する処理を実質的に含みうる。
【0052】
検査アルゴリズムの具体的な選定方法は限定されない。一例として、全ての選定候補の検査アルゴリズムに関し、任意の検査パラメータを使って対応の学習用画像の画像処理を行い、良好な結果を示した１以上の選定候補の検査アルゴリズムを、選定検査アルゴリズムとして特定してもよい。ここで言う「任意の検査パラメータ」として、例えば予め定められる基準パラメータが使われてもよいし、過去の検査（例えば直近の検査）で使われた検査パラメータが用いられてもよい。また上述のステップＳ２２で読み出した学習用画像に基づいて、選定検査アルゴリズムの特定が行われてもよい。すなわち欠陥検査装置が、欠陥検査項目に対応する学習用画像を解析して欠陥検査項目に関連する特性を取得し、当該特性に基づいて選定検査アルゴリズムを特定してもよい。
【0053】
そして欠陥検査装置は、欠陥検査項目に対応する学習用画像及び選定検査アルゴリズムに基づいて、最適とみなされる検査パラメータを探索して提案する（Ｓ２４）。本実施形態では、アノテーション処理を受けた欠陥品画像を含む学習用画像と、選定検査アルゴリズムとに基づいて、検査パラメータが提案される。
【0054】
各検査アルゴリズムは、検査対象製品（チップ）の特定の領域（例えばチップ全体、電極或いは素体）の画像領域に対し、実行される場合がある。この場合、欠陥検査装置は、学習用画像を解析することで、推定検査領域を特定してもよい。推定検査領域は、検査領域を特定するための検査パラメータを求めるために用いられる。検査領域は、基準製品のうち欠陥検査項目に関連付けられる部位の画像領域である。検査パラメータとして、可能な限り推定検査領域に近い領域が検査領域として特定されるようなパラメータが求められる。このように検査対象製品の欠陥検査項目についての判定において、推定検査領域自体は直接的には用いられない。学習用画像の解析に用いられるアルゴリズムは、検査対象画像の解析に用いられるアルゴリズム（選定検査アルゴリズム）とは異なっていてもよく、例えば検査対象画像の解析に用いられる選定検査アルゴリズムよりも複雑な処理（演算負荷の大きい処理（演算時間が長い処理））を含んでいてもよい。そして欠陥検査装置は、当該推定検査領域及び選定検査アルゴリズム（特に検査領域特定アルゴリズム）に基づいて、検査領域特定アルゴリズムのための検査パラメータを探索して提案してもよい。ここで検査領域を抽出するための検査パラメータは、検査対象製品のおおよその形状及び検査対象画像に基づいて、探索されてもよい。
【0055】
この場合に用いられる選定検査アルゴリズムは、基準製品のうち欠陥検査項目に関連付けられる部位の画像領域である検査領域を特定する検査領域特定アルゴリズムと、検査対象製品の欠陥検査項目についての判定を行う欠陥判定アルゴリズムと、を含んでいてもよい。検査領域特定アルゴリズムは、「検査パラメータを提案する工程」及び「検査対象製品の欠陥検査項目についての判定を行う工程」の両方で用いられる。なお推定検査領域を推定する工程は、「検査パラメータを提案する工程」に属するが、「検査対象製品の欠陥検査項目についての判定を行う工程」では行われない。
【0056】
このように推定検査領域を利用して検査パラメータを探索して提案する場合、画像のみから検査パラメータを探索して提案することができる。例えば、チップ領域を検査領域とする場合、明検査と同じアルゴリズムに基づいてチップ領域（検査領域）を取得できる。またチップの電極領域や素体領域を検査領域とする場合、チップ領域の中から明検査と同一アルゴリズム(抽出用のアルゴリズム)によって電極領域や素体領域（検査領域）を取得できる。
【0057】
なお検査領域の中で欠陥検査を行う場合には、ユーザによるアノテーション領域（欠陥領域）の確認が必須な場合がある。この場合、ユーザがアノテーション領域（欠陥領域）を直接指定してもよいし、暫定検査パラメータ等を使って解析の結果自動的に提案されるアノテーション領域（欠陥領域）をユーザが確認して必要に応じて修正してもよい。例えば、チップの電極や素体の汚れを欠陥検査項目とする場合、電極領域の中から明検査によって欠陥領域が抽出されてもよい。またチップの電極や素体の欠けを欠陥検査項目とする場合、電極領域の中から明検査によって欠陥領域が抽出されてもよい。
【0058】
なお選定検査アルゴリズムは、「検査領域を抽出するアルゴリズム」及び「検査領域内から欠陥領域を抽出するアルゴリズム」を含んでいてもよいし、或いは「画像内から欠陥領域を抽出するアルゴリズム」を含んでいてもよい。
【0059】
選定検査アルゴリズムが「画像内から欠陥領域を抽出するアルゴリズム」を含む場合、学習用画像から推定検査領域を取得する必要がない。検査領域を抽出するパラメータを、検査領域のアノテーション処理を行うことなく探索することになる。また検査領域の明示的な指定がないため、意図しない領域から欠陥が抽出されたり、本来検査したい領域から欠陥が抽出されなかったりする可能性がある。また各欠陥領域抽出アルゴリズムが個別的に検査領域を抽出する方法を探すのは、必ずしも効率が良いとは言えない。またアルゴリズムが検査領域を抽出する処理を暗に（すなわち間接的に）含む場合、探索範囲が非常に広くなり探索の困難度が増大する。
【0060】
このように学習用画像の解析によって推定検査領域を特定することによって、「検査領域を抽出するアルゴリズム」のパラメータを、ユーザによる明示的なアノテーション無しで探索及び提案することが可能である。当該手法は、とりわけ検査領域の特徴が事前に少なくともおおまかに分かっている場合（例えば「画像の中央付近に製品（チップ）が位置し、製品の左右両端に電極があり、製品の中央が素体である」場合）に有効である。一方、実際には欠陥領域の特定はユーザの主観の影響が比較的強いので、「検査領域内から欠陥領域を抽出するアルゴリズム」のパラメータを提案するためには、ユーザによるアノテーション処理を画像に対して行うことが求められる。
【0061】
このようにして欠陥検査装置側で選定された検査アルゴリズム及び探索された検査パラメータは、インターフェースデバイスを介してユーザに提供される。本実施形態のインターフェースデバイスは、「欠陥検査装置によって提案される検査パラメータ」を、当該検査パラメータの調整が可能な状態で、ユーザに提示する。ユーザは、インターフェースデバイスに表示される選定検査アルゴリズム及び提案される検査パラメータを確認しつつ、必要に応じて操作デバイスを操って検査パラメータを調整し、最終的に検査パラメータを確定（設定）する（Ｓ２５）。なおユーザは、提案される検査パラメータに調整を加えることなく、提案された値及び条件のまま検査パラメータを確定してもよい。
【0062】
また提示される検査パラメータに、検査対象製品の良否の判定の基準を示す検査パラメータが含まれる場合、ユーザは、良品及び不良品の境界を示すパラメータ（検査対象製品の良否判定の閾値）を調整してもよい。
【0063】
ユーザに対する選定検査アルゴリズム及び検査パラメータの提示態様は限定されない。例えば、欠陥検査装置で作成された検査レシピ（すなわち選定検査アルゴリズム及び提案される検査パラメータ）とともに、当該検査レシピに基づく画像処理を学習用画像（特に欠陥品画像）に適用した結果が、表示デバイスに表示されてもよい。「検査レシピに基づく画像処理を学習用画像に適用した結果」は、例えば欠陥品画像において欠陥として検出される画像領域をユーザに示すように、表示デバイスに表示されてもよい。この場合、ユーザは、学習用画像に基づいて欠陥として検出される画像領域が適切か否かを、表示デバイスを介して確認することができる。また検査パラメータがユーザによって調整される場合、ユーザは、調整後の検査パラメータに基づいて欠陥として検出される画像領域を、表示デバイスを介して更に確認することができ、更なる調整の要否を判断することが容易になる。
【0064】
ユーザに対する選定検査アルゴリズム及び検査パラメータの提示は、オンデマンド式で行われてもよい。欠陥検査装置又はインターフェースデバイスは、選定検査アルゴリズム及び提案される検査パラメータのうちの一部の情報を、操作デバイスを介したユーザからの指示に応じて、選択的に表示デバイスに表示してもよい。
【0065】
このようにしてユーザ側で確定（設定）された検査パラメータはインターフェースデバイスから欠陥検査装置に提供される。そして上述の図２に示す例と同様に、欠陥検査装置は、設定された検査アルゴリズム及び検査パラメータに基づいて検査対象画像の画像処理を行って検査対象製品の欠陥検査項目についての判定を行い（Ｓ２６）、当該欠陥検査項目の判定結果に基づいて検査対象製品の良否を判定する（Ｓ２７）。このように本実施形態では、欠陥検査装置によって選定される選定検査アルゴリズムと、欠陥検査装置で提案された後にユーザによって確定された検査パラメータとに基づいて、画像処理が行われる。
【0066】
画像処理を受ける画像は、検査対象製品を撮像することで得られる検査対象画像であり、欠陥検査装置によって取得される。検査対象画像を取得するための検査対象製品の撮像は、欠陥検査（すなわち検査条件設定モード及び検査実行モード（図１参照））の実行に先立って行われてもよい。この場合、欠陥検査が実行される前に取得された撮像画像（すなわち検査対象画像）は記憶部に保存される。そして欠陥検査装置は、欠陥検査の最中に（例えば画像処理を行う際に）、検査対象画像を記憶部から読み出して画像処理に使用する。或いは、検査対象画像を取得するための検査対象製品の撮像は、欠陥検査中に行われてもよい。この場合、欠陥検査の最中に（例えば検査実行モードが実行されている間に）検査対象製品の撮像が行われ、撮像画像（すなわち検査対象画像）が欠陥検査装置の画像処理ユニットに入力されてもよい。
【0067】
なお欠陥検査装置は、検査対象製品に関する欠陥検査項目の判定の結果を、判定基準に照らし合わせることで検査対象製品の良否の判定を行うが、ここでの「判定基準」は、ユーザによって可変的に指定される。例えば、欠陥検査項目に対応する欠陥を検査対象製品が有していても、当該欠陥の程度が判定基準よりも小さい場合には検査対象製品を良品と判定し、当該欠陥の程度が判定基準以上の場合には検査対象製品を不良品と判定することが可能である。或いは、ユーザは、欠陥の有無を判定基準として指定してもよい。この場合、欠陥検査項目に対応する欠陥を検査対象製品が有すると判定された場合には、その欠陥の程度にかかわらず、検査対象製品は不良品と判定される。なお欠陥検査項目に対応する欠陥を検査対象製品が有してないと判定された場合には、当該検査対象製品は良品と判定される。
【0068】
このようにして欠陥検査装置側で行われた検査対象製品に関する欠陥検査項目の判定の結果及び検査対象製品の良品の判定の結果は、インターフェースデバイスを介してユーザに提供される（Ｓ２８）。
【0069】
上述のように図３に示す例によれば、欠陥項目を表す名称に基づいて、ユーザにより選択される欠陥検査項目が特定される。これによりユーザは、品質管理対象を表す言葉（名称）によって、複数の欠陥項目の中から検査対象として選択する欠陥検査項目の入力を行うことができ、便利である。特に、検査アルゴリズムをベースとした複雑なＧＵＩ（グラフィカルインターフェース；検査レシピ画面）ではなく、欠陥項目（名称）をベースとしたＧＵＩの構築及び使用が可能である。これにより直感的に操作可能な使い勝手の良い操作画面及び検査結果表示画面を、インターフェースデバイスを介してユーザに提示することが可能である。このようにユーザは、アルゴリズムベースによってではなく、欠陥項目名ベースによって検査レシピの作成を管理できる。
【0070】
またユーザは、欠陥検査項目の入力を行うだけで、自動的に選定される検査アルゴリズムの提示と、自動的に導出される検査パラメータの提案とを受けられる。例えば上述のように、使用可能な全ての検査アルゴリズムの中から欠陥検査項目に対して有効であると考えられるいくつかの検査アルゴリズムの候補が予め熟練者によって選定される場合、それらの候補の中から実際に使用される検査アルゴリズムがパラメータとともに欠陥検査装置によって自動的に選定される。このようにユーザは、検査アルゴリズムの選定方法及び検査パラメータの導出方法について意識する必要がなく、専門知識及び相応の経験を有していなくても、比較的高精度な欠陥検査を安定的に行うことができる。
【0071】
またユーザは、提案される検査パラメータを確認し、必要に応じて当該検査パラメータを調整した後に、検査パラメータを確定することができる。したがってユーザは、画像処理の検査レシピ（選定検査アルゴリズム及び検査パラメータ）を自動的に得ることができる一方で、必要に応じて検査レシピを直接的に編集することができる。このように検査パラメータの設定をホワイトボックス化することで、ユーザの専門知識及び経験を有効活用して、欠陥検査の精度及び安定度のより一層の向上を実現できる。
【0072】
また検査パラメータの導出の際に用いられる学習用画像として、欠陥項目毎に１以上の適切な画像が準備されている。これにより各欠陥項目に対して最適な学習用画像を個別的に準備することができ、その結果、対応の欠陥項目に応じた検査パラメータを適切に導出することができ、欠陥検査の精度及び安定性を向上できる。
【0073】
なお上述の図３に示す例では、予め準備されている学習用画像が使われるが、検査対象製品の検査を行う際に、欠陥検査装置を使って学習用画像を取得してもよい。
【0074】
図４は、欠陥検査方法（特に図１のフローチャートに対応する欠陥検査方法）の他の例を示すフロー図である。図４に示す例では、ユーザによって検査対象製品（チップ）の欠陥検査項目の選択（図４のＳ３１）が行われた後、欠陥検査装置によって学習用製品の撮像が行われ、選択された欠陥検査項目に対応する学習用画像が取得される（Ｓ３２）。
【0075】
撮像取得された学習用画像は、インターフェースデバイスの表示部を介してユーザに提示され、ユーザによる欠陥箇所のアノテーション処理を受ける（Ｓ３３）。インターフェースデバイスは、ユーザによって行われる欠陥品画像中の欠陥検査項目に関するアノテーション処理を受け付ける。ここでのアノテーション処理は、学習用画像（特に欠陥品画像）における欠陥箇所をユーザが手動的に指定する処理であり、ユーザは例えば画像中の欠陥箇所の領域範囲や欠陥の程度（重大度）に関する情報（データ）を学習用画像に付加する。なおユーザは、画像中の欠陥箇所の領域範囲に関する情報のみを学習用画像に付加してもよく、画像中の欠陥の程度（重大度）に関する情報を学習用画像に付加しなくてもよい。アノテーション処理を受けた学習用画像（アノテーション処理済み画像）は、インターフェースデバイスから欠陥検査装置に提供され、欠陥検査装置の記憶部に保存される。
【0076】
なお欠陥検査装置は、暫定的な検査アルゴリズム及び暫定的な検査パラメータに基づいて学習用画像（特に欠陥品画像）を解析することで、基準製品のうち欠陥検査項目に対応すると推定される部位の画像領域である推定検査領域を、欠陥品画像から抽出してもよい。ここで言う「暫定的な検査アルゴリズム」及び「暫定的な検査パラメータ」は任意の手法に基づいて決められることができる。例えば過去の検査で用いられた検査アルゴリズム及び検査パラメータ、アノテーション処理済み画像から導出される検査アルゴリズム及び検査パラメータ、或いは予め基準として定められる検査アルゴリズム及び検査パラメータを、「暫定的な検査アルゴリズム」及び「暫定的な検査パラメータ」として用いてもよい。
【0077】
学習用画像は、このようにして得られる欠陥箇所の暫定的な情報（推定検査領域）とともに、表示デバイスを介してユーザに提示されてもよい。この場合、推定検査領域がユーザに提示されつつ、アノテーション処理がユーザによって行われてもよい。この場合、ユーザは、表示デバイスに表示される推定検査領域を確認しつつアノテーション処理を行うことができる。このようにユーザに対して学習用画像とともに提示される欠陥に関する暫定的な情報は、ユーザが行うアノテーション作業を補助する。
【0078】
なお、推定検査領域を特定する際には、暫定的な検査パラメータ（暫定検査パラメータ）に基づいて学習用画像が解析されてもよいし、暫定検査パラメータに基づかずに学習用画像が解析されてもよい。学習用画像を解析することで推定検査領域が特定され、推定検査領域がユーザに提示されつつ、アノテーション処理がユーザによって行われてもよい。ここでの推定検査領域は、基準製品のうち欠陥検査項目に関連付けられる部位の画像領域である検査領域を特定するための検査パラメータを求めるために用いられる。
【0079】
【0080】
本実施形態の欠陥検査方法は、上述の図３に示す例及び図４に示す例には限定されず、例えば図３に示す例及び図４に示す例の組み合わせに基づいていてもよい。すなわち検査レシピ（検査アルゴリズム及び検査パラメータ）の作成のために、図３に示す例のように既存の学習用画像とともに、図４に示す例のように検査を行う際に撮像取得される新たな学習用画像が用いられてもよい。この場合、学習用画像が徐々に蓄積されるため、精度の高い検査をより安定的に実行可能な検査レシピ（検査アルゴリズム及び検査パラメータ）を作成するのに有利である。
【0081】
以上説明したように上述の実施形態（図３及び図４参照）の欠陥検査方法及び欠陥検査装置によれば、ユーザにおいて専門知識及び経験を持っていなくても、適切な検査アルゴリズム及び検査パラメータが設定され、欠陥検査項目の検査を適切に行うことができる。その結果、ユーザの作業負担の増大を抑えつつ、製品における欠陥検査を精度良く行うことが可能である。また検査の属人化を抑えることができ、ユーザの技量にかかわらず欠陥検査を安定的に行うことができる。
【0082】
また検査アルゴリズムをホワイトボックス状態に保ってブラックボックス化しないことにより、画像処理内容が明瞭になるため、ユーザの技量に応じて、画像処理内容の更なる最適化も可能である。例えば、ディープラーニングによる欠陥領域の抽出のように処理アルゴリズムがブラックボックス状態に設定されている場合（特許文献１参照）、ユーザの技量に応じた画像処理内容の最適化を行うことはできない。ただし検査パラメータの探索手法自体は、ブラックボックス状態に設定されていてもよい。この場合、検査パラメータがどのようにして得られたかはユーザにとって不明であるが、検査パラメータがどのように利用されるかがユーザにとって明瞭であるため、ユーザは必要に応じて自ら検査パラメータの最適化を行うことが可能である。
【0083】
なお上述の実施形態では、欠陥検査装置側で導出された検査パラメータがユーザ側で調整可能なように提案されるが、検査アルゴリズムについても同様にユーザ側で調整可能なように提案されてもよい。すなわち欠陥検査装置側で選定された検査アルゴリズムが、インターフェースデバイスにおいて、ユーザ側で調整（変更）可能なようにユーザに対して提示（提案）してもよい。ユーザは、このようにして提案される検査アルゴリズムを必要に応じて調整（変更）した後、操作デバイスを介して検査アルゴリズムを確定してもよい。このようにして確定された検査アルゴリズムは、インターフェースから欠陥検査装置に送信される。
【0084】
なお特許文献１に開示されているような従来の欠陥検出システムにおいて検出精度を高めるためには、学習データを増やすことで対応せざるを得ないが、ユーザが求める検査の精度及び安定性を実現するために学習データをどの程度増やす必要があるのかが不明瞭である。したがって求められる欠陥検出の精度及び安定性のレベルが上がるにつれ、学習データ量が増え、その結果、学習のための処理負荷が増大し且つ処理時間も長くなる。一方、上述の本実施形態の欠陥検査装置及び欠陥検査方法（図３及び図４参照）によれば、検査パラメータがホワイトボックス化されているため、ユーザが直接的に検査パラメータを変更することができる。そのため所望レベルの欠陥検出の精度及び安定性を、必要に応じてユーザが直接的に検査パラメータを調整することで簡単且つ確実に実現できる。
【0085】
また本実施形態によれば、欠陥検査を実行する際には、基本的に処理が単純なルールベースの検査しか行われないため、計算量の多いＡＩ（Artificial Intelligence）処理を行う場合に比べ、高速な処理が期待できる。例えば製品（チップ）の外観に関する検査を行うケースでは、場合によっては１５０００ｐｃｓ／ｍｉｎ（個／分）で検査処理を行うことが求められる。このように欠陥検査を実行する際に個々の製品に費やすことが可能な検査時間として数ｍｓ（ミリ秒）程度しか確保できない場合もあるため、欠陥検査において処理内容の単純化及び処理時間の短縮化によって得られる利益は大きい。
【0086】
また特許文献１の欠陥検出分類システムで行われる良品判定は、事前に各画像に付された良否データに基づいて行われているが、当該良否データは、欠陥の具体的な程度（サイズ等）に関する良品と不良品との間の境界データを含まない。一方、本実施形態によれば、検査対象製品の良否判定の判定基準がユーザによって可変的に指定されるため、当該良否判定に関する良品と不良品との間の境界データを、運用途中で変更されうる不良品の規格に対して適応的に管理できる。なお検査対象製品の良否判定の判定基準の指定は、良品と不良品との間の境界となる欠陥の具体的な程度を決めるだけで十分であるため、専門知識及び経験が不十分なユーザであっても簡単に行うことが可能である。
【0087】
［画像領域の抽出］
本実施形態において各検査アルゴリズムは、検査対象製品（チップ）の特定の領域（例えばチップ全体、電極或いは素体）に対して実行される。そのため欠陥検査装置は、画像から当該特定領域に対応する特定画像領域を抽出する。
本実施形態において各検査アルゴリズムは、検査対象製品（チップ）の特定の領域（例えばチップ全体、電極或いは素体）に対して実行される。そのため欠陥検査装置は、画像から当該特定領域に対応する特定画像領域を抽出する。
【0088】
欠陥検査装置が製品を撮像して画像を取得する場合、画像中の製品の相対的な位置は基本的に大きく変動しない。したがって画像中の製品（チップ）全体の位置及び範囲（チップ外形）や製品の各部（例えばチップの電極及び素体）の位置及び範囲は、おおまかに推定可能である。例えば撮像対象の製品が２端子チップの場合、画像中央部はチップ像であり、画像周辺部は背景像であると比較的簡単に推定される。一方、画像の中央部及び周辺部のいずれとしても捉えられうる部分は、チップ像及び背景像のいずれに該当するのかの推定が難しい。同様に、画像中央部におけるチップ像領域のうち左右の両端部は電極像であり、中央部は素体像であると比較的簡単に推定される。一方、チップ像領域の両端部及び中央部のいずれとしても捉えられうる部分は、電極像及び素体像のいずれに該当するのかの推定が難しい。
【0089】
このような場合、例えばいわゆるGrabCutアルゴリズムに基づいて製品画像の解析を行うことで、チップ像と背景像との間の切り分け及び電極像と素体像との間の切り分けを精度良く行いうる。また、これらの像間の切り分けが既に行われている十分な数の画像データ（学習データ）を利用可能な場合、それらの画像データに基づくセグメンテーションＡＩによって、製品画像中の像間の切り分けを精度良く行いうる。
【0090】
上述の処理によって、画像中の製品に関する各種画像領域を推定して得ることが可能である。欠陥検査装置は、このようにして得られる各種画像領域がアノテーション領域として設定された学習用画像（アノテーション済み学習用画像）に基づいて、検査対象製品の画像から製品に関する各種画像領域を抽出するための検査パラメータを導出することが可能である。検査パラメータの設定は全般的にホワイトボックス化可能であるため、各種画像領域を抽出するための検査パラメータも、必要に応じてユーザにより調整可能な検査パラメータであってもよい。
【0091】
一例として、欠陥検査装置は、以下の流れ（アルゴリズム）に従って、各種画像領域を抽出するための検査パラメータの探索（導出）を行うことが可能である。
【0092】
欠陥検査装置は、まず学習用画像のモノクロ画像を取得し、GrabCut等の画像処理を利用して当該モノクロ画像の背景（画像周辺部）から切り分けられた「前景として推定される画像領域（画像中央部）」を特定する。ここでのモノクロ画像は、単一チャンネルを有する画像を意味し、必ずしもグレースケール画像を意味せず、例えば画像から抽出されるＲ画像、Ｇ画像及びＢ画像の各々はモノクロ画像に分類される。画像から抽出される抽出画像は、モノクロ画像であってもよい。
【0093】
製品（チップ）の画像領域は一つの塊であると考えられるので、ノイズの影響を低減するため、欠陥検査装置は、推定された前景画像領域のうちの最大面積を示す画像領域を選択的に抽出する。そして欠陥検査装置は、このようにして抽出した画像領域に対し、任意のクロージング処理及びオープニング処理を行い、画像領域の輪郭を滑らかにする。そして欠陥検査装置は、上述の一連の処理を経て得られる画像領域に基づいて、検査対象画像から各種画像領域を抽出するための検査パラメータを導出する。
【0094】
［アノテーション作業を補助する仕組み］
アノテーション処理において、ユーザは、画像中の該当箇所（欠陥部分）の全てを手動的に選択（指定）してもよいが、欠陥検査装置側で提案される画像中の該当箇所（欠陥部分）を利用してアノテーション作業を行ってもよい。欠陥検査装置は、例えば、暫定的な検査パラメータを用いて画像中の欠陥部分の検出処理を行ったり、ＡＩ等を利用したセグメンテーション処理を用いて画像中の欠陥部分を特定したりしてもよい。
アノテーション処理において、ユーザは、画像中の該当箇所（欠陥部分）の全てを手動的に選択（指定）してもよいが、欠陥検査装置側で提案される画像中の該当箇所（欠陥部分）を利用してアノテーション作業を行ってもよい。欠陥検査装置は、例えば、暫定的な検査パラメータを用いて画像中の欠陥部分の検出処理を行ったり、ＡＩ等を利用したセグメンテーション処理を用いて画像中の欠陥部分を特定したりしてもよい。
【0095】
ユーザは、欠陥検査装置が検査パラメータを導出（提案）する際に用いられうる１又は複数の学習用画像（欠陥品画像及び無欠陥品画像）を、インターフェースデバイスを介して登録することが可能である。登録される１又は複数の学習用画像は、欠陥検査装置の記憶部に記憶されてもよい。この学習用画像の登録を行う際に、ユーザは、欠陥品画像中の欠陥箇所のアノテーションを併せて行うことが可能である。ユーザによる手動アノテーションは、ユーザが、マウスやペンなどの入力デバイス（操作デバイス）を使って、画像中の該当箇所を欠陥部分として指定することで行われる。
【0096】
アノテーション作業は各画像に対して行うことが求められるため、学習用画像（特に欠陥品画像）が多数ある場合には、手動アノテーションのためのユーザの作業負担が画像数に応じて増大する。また学習用画像の登録は、必ずしも一度の作業で済まない。例えば学習用画像の登録が随時行われて学習用画像が徐々に蓄積される場合、手動アノテーションに関するユーザの負担は大きい。そのため、欠陥検査装置が検出した画像中の欠陥部分（アノテーション領域）を推定アノテーション領域としてユーザに提示することで、ユーザのアノテーション作業を補助し、手動アノテーションに関するユーザの負担を軽減してもよい。
【0097】
欠陥検査装置は、例えば、現在設定されている検査パラメータ（すなわち前回検査時に用いられた検査パラメータ）を用いて欠陥検査を実行することで欠陥が存在する領域として抽出された画像領域（すなわち推定アノテーション領域）を、インターフェースデバイスを介してユーザに提示してもよい。この場合、ユーザは、提示される推定アノテーション領域を利用してアノテーション作業を行うことができる。例えば、推定アノテーション領域の全体が欠陥領域として適切であれば、ユーザは、推定アノテーション領域をアノテーション領域として承認する入力をインターフェースデバイスを介して行えばよく、欠陥箇所に該当する個々の画素を選択（指定）する作業を実質的に行わずに済む。このようにユーザは、推定アノテーション領域の一部又は全部が妥当ではないと判断した場合にのみ、入力デバイスを使ってアノテーション領域を修正すればよい。
【0098】
他の例として、欠陥検査装置は、現在登録されている欠陥品画像及びアノテーション領域の情報に基づいて、いわゆるＵ－Ｎｅｔ等のセグメンテーションＡＩを活用した学習モデルを取得してもよい。この場合、欠陥検査装置は、新規に登録される画像に関して当該学習モデルを使って推定アノテーション領域を導出し、インターフェースデバイスを介して当該推定アノテーション領域をユーザに提示してもよい。
【0099】
他の例として、欠陥検査装置は、無欠陥品画像のみを用いて、いわゆるオートエンコーダＡＩを活用した学習モデルを取得してもよい。この場合、欠陥検査装置は、新規に登録される画像を当該学習モデルに入力し、当該学習モデルに対する入力に対する差分が大きい出力を示す画像領域を推定アノテーション領域とみなし、インターフェースデバイスを介して当該推定アノテーション領域をユーザに提示してもよい。
【0100】
［アノテーショ済み画像に基づく抽出画像（画像チャンネル）の提案］
選定検査アルゴリズムで用いられる画像チャンネルは、ユーザによって行われる「欠陥品画像中の欠陥検査項目に関するアノテーション処理」を受けた欠陥品画像を含む学習用画像に基づいて、決定されてもよい。
選定検査アルゴリズムで用いられる画像チャンネルは、ユーザによって行われる「欠陥品画像中の欠陥検査項目に関するアノテーション処理」を受けた欠陥品画像を含む学習用画像に基づいて、決定されてもよい。
【0101】
多くの場合、検査アルゴリズムを選定するために、検査アルゴリズムが適用される１又は複数の画像チャンネルを特定することが求められるので、必ずしもアノテーショ済み画像に基づく抽出画像の提案は必要とされない。その一方で、オーバーキル／アンダーキルを抑制する観点からは、アノテーショ済み画像に基づいて適切な抽出画像（画像チャンネル）が提案されることは好ましい。
【0102】
一般に、画像チャンネルの設定は、非常に多くのパラメータ候補の中から特定のパラメータを決める必要があるため、そのような特定のパラメータを決めるための試行錯誤の負荷が大きい。一例として、画像チャンネルは下記式に基づいて表され、下記式のパラメータＡ、Ｂ、Ｃ及びＤの各々の値（正の値及び負の値から選ばれる１つの値）を適切に決めることが求められる。
画像チャンネル＝Ａ×（赤濃度）＋Ｂ×（緑濃度）＋Ｃ×（青濃度）＋Ｄ
画像チャンネル＝Ａ×（赤濃度）＋Ｂ×（緑濃度）＋Ｃ×（青濃度）＋Ｄ
【0103】
上記式は、例えば下式によって、より具体的に表される。
上記式において「ｉ」及び「ｊ」は画素の２次元座標（ＸＹ座標）を示し、「Ｒｉｊ」はＲチャンネルの画素値を示し、「Ｇｉｊ」はＧチャンネルの画素値を示し、「Ｂｉｊ」はＢチャンネルの画素値を示し、「Ｉｉｊ ｎｅｗ」は画像チャンネルの画素値を示す。
【数1】
上記式において「ｉ」及び「ｊ」は画素の２次元座標（ＸＹ座標）を示し、「Ｒｉｊ」はＲチャンネルの画素値を示し、「Ｇｉｊ」はＧチャンネルの画素値を示し、「Ｂｉｊ」はＢチャンネルの画素値を示し、「Ｉｉｊ ｎｅｗ」は画像チャンネルの画素値を示す。
【0104】
状況によっては、事前に画像チャンネルを選定することが必ずしも容易でない場合がある。例えば「Ｂチャンネルでは欠陥部が正常部（非欠陥部）よりも暗く表され、Ｒチャンネルでは欠陥部が正常部よりも明るく見え、正常部の明るさにばらつきがあり、正常部に関してはＢチャンネル及びＲチャンネルの明るさの変化具合が似ている」という場合、ＢチャンネルとＲチャンネルとの間の差分値に基づく画像チャンネルに対して検査アルゴリズムが適用されることが考えられる。
【0105】
ただし、正常部の画素値の変動量スケールはＢチャンネル及びＲチャンネルにおいて必ずしも一致しない。そのため、それぞれに対して適切な重みづけが与えられたＢチャンネル及びＲチャンネルの差分に基づいて画像チャンネルが決定されてもよい。そのような適切な重み付けは、欠陥検査項目の特性に応じて決められることが求められるが、そのような重み付けの組み合わせは自明ではなく、直感的に決められない場合もある。したがって画像チャンネルの設定のための重み付けの組み合わせを探索して決める処理は、ユーザにとって負荷の大きな処理になる可能性がある。このように適切な画像チャンネルの決定が容易ではない場合、例えば、当初は任意の重み付けに基づいて定められる暫定的な画像チャンネルが用いられてもよい。この場合、十分な数のアノテーション済み画像が確保された段階で、欠陥検査装置は、それらのアノテーション済み画像に基づいて適切な重み付けを持つ画像チャンネルを設定してもよい。
【0106】
明検査アルゴリズムは、画像チャンネルの選択処理、二値化処理、結合処理、及びノイズ除去処理を含むことができる。
【0107】
二値化処理では、画素値が閾値を越えるか越えないかを基準とする階段関数ではなく、シグモイド関数を使用可能であり、閾値（Ｔ）を０に極限に近づけた場合に両者は一致する。
【数2】
【0108】
したがって欠陥検査装置によって実行される明検査アルゴリズムの全体を、図５に示すような微分可能な形式で表すことができる。図５に示す明検査アルゴリズムは、ディープラーニングの要素を用いて表されており、比較的シンプルなネットワークの学習によって、適切な画像チャンネルの設定を得ることが可能である。
【0109】
図５に示す例において、「ｉｎｐｕｔ」のブロック（Ｓ５１）は、検査アルゴリズムに対して１枚の画像を入力し、当該画像の画素値の配列を次のブロックに出力することを表す。「１×１ Ｃｏｎｖ」のブロック（Ｓ５２）は、１×１のカーネルサイズに基づく畳み込み処理を表す（ただし活性化関数を含まない）。「ｓｉｇｍｏｉｄ」のブロック（Ｓ５３）は、受け取った配列の各要素に対してシグモイド関数を適用し、その結果の配列を出力することを表す。「ｎ×ｎ ＭａｘＰｏｏｌｉｎｇ」のブロック（Ｓ５４及びＳ５６）は、ｎ×ｎのカーネルサイズに基づくＭａｘＰｏｏｌｉｎｇ処理を表す。「ｘ（－１）」のブロック（Ｓ５５、Ｓ５７、Ｓ５８及びＳ６０）は、受け取った配列の各要素に対して「－１」を乗算して得られる配列を出力することを表す。「ｍ×ｍ ＭａｘＰｏｏｌｉｎｇ」のブロック（Ｓ５９及びＳ６１）は、ｍ×ｍのカーネルサイズに基づくＭａｘＰｏｏｌｉｎｇ処理を表す。「ｏｕｔｐｕｔ」のブロック（Ｓ６２）は、受け取った入力を出力することを表す。
【0110】
上記のステップＳ５１及びＳ５２は画像チャンネルを選択する処理に対応し、ステップＳ５２及びＳ５３は二値化処理に対応し、ステップＳ５４～Ｓ５７は結合処理に対応し、ステップＳ５８～Ｓ６１はノイズ除去処理に対応する。
【0111】
上述の手法によれば、微分不可能な「基本的な明検査アルゴリズム」を、微分可能な形式の明検査アルゴリズムに書き換えること可能であり、ディープラーニングの枠組みで画像チャンネルの重みづけの最適化を行うことが可能になる。なお、暗検査及び動的検査などの他の検査に関する検査アルゴリズムに関しても、上述の明検査アルゴリズムと同様の手法（すなわち検査アルゴリズムを、画像の重み付け等のパラメータによって微分可能な形式で表すこと）に基づいて、画像チャンネルを適切に設定することが可能である。
【0112】
［検査アルゴリズムの例］
欠陥検査項目についての明検査は、例えば以下に従って実行可能である。
欠陥検査項目についての明検査は、例えば以下に従って実行可能である。
【0113】
欠陥検査装置への入力データとして、検査対象製品の画像（特に検査対象領域を含む画像領域）が用いられうる。欠陥検査装置からの出力データとして、検査対象製品における欠陥項目についての程度（例えば欠陥箇所の面積や代表長さ等）を示すデータ及び検査対象製品の良否を示すデータが用いられうる。検査パラメータは、例えば画像選択、マスクの大きさ、閾値、クロージングの大きさ、オープニングの大きさ、面積最大値、及び長さ最大値のそれぞれに関するパラメータを含みうる。
【0114】
より具体的には、以下のようなパラメータが検査パラメータとして設定されうる。
・ 画像選択＝１（当該「１」は例えばＲ画像を表す。）
・ マスクの大きさ＝縦５ピクセル、横５ピクセル
・ 閾値＝１２０
・ クロージングの大きさ＝縦５ピクセル、横５ピクセル
・ オープニングの大きさ＝縦５ピクセル、横５ピクセル
・ 面積最大値＝１００μｍ２
・ 長さ最大値＝２０μｍ
・ 画像選択＝１（当該「１」は例えばＲ画像を表す。）
・ マスクの大きさ＝縦５ピクセル、横５ピクセル
・ 閾値＝１２０
・ クロージングの大きさ＝縦５ピクセル、横５ピクセル
・ オープニングの大きさ＝縦５ピクセル、横５ピクセル
・ 面積最大値＝１００μｍ２
・ 長さ最大値＝２０μｍ
【0115】
なお上記パラメータ例において「画像選択」及び「マスクの大きさ」に関するパラメータは事前に固定されていてもよく、「閾値」、「クロージングの大きさ」及び「オープニングの大きさ」に関するパラメータは探索されてもよく、「面積最大値」及び「長さ最大値」に関するパラメータは上記パラメータの探索後にユーザにより決定されてもよい。
【0116】
本例の明検査を実行するため、まず画像の選択が行われて、選択画像から単一のチャンネルを持つ画像が抽出される。そして抽出画像における検査領域（例えば電極部に対する領域）の周囲（上下左右）に対してマスクが適用される。そして検査領域において、画素値が閾値よりも高い画素領域が抽出される。このようにして抽出された画素領域に対し、オープニング処理（結合処理）及びクロージング処理（ノイズ除去処理）が適用される。その結果、当該抽出画素領域の面積及び長さを示すデータが得られる。ここでの長さとして、当該抽出画素領域の外接矩形の長辺の長さが用いられてもよい。そして、当該抽出画素領域の面積及び長さが面積最大許容値及び長さ許容最大値と比較され、当該抽出画素領域の面積が面積最大許容値以下の場合及び／又は当該抽出領域の長さが長さ許容最大値以下の場合には、検査対象製品を良品と判定し、当該抽出領域の面積が面積最大許容値よりも大きい場合及び／又は当該抽出領域の長さが長さ許容最大値よりも大きい場合には、検査対象製品を不良と判定してもよい。
【0117】
［アノテーショ済み画像に基づく検査パラメータの提案（パラメータアシスト）］
欠陥検査装置は、インストールされているソフトウエアに従って、欠陥箇所のアノテーション情報を有する画像データ群から、アノテーション箇所（欠陥箇所）の抽出に適した検査パラメータを提案することが可能である。欠陥検査装置は、例えば遺伝的アルゴリズムに基づいて、各無欠陥品画像及び各欠陥品画像に対して検査アルゴリズムを適用することで得られる結果をスコアによって表し、最大のスコアを示す検査パラメータを探索することで、アノテーション箇所（欠陥箇所）の抽出に適した検査パラメータを導出することが可能である。
欠陥検査装置は、インストールされているソフトウエアに従って、欠陥箇所のアノテーション情報を有する画像データ群から、アノテーション箇所（欠陥箇所）の抽出に適した検査パラメータを提案することが可能である。欠陥検査装置は、例えば遺伝的アルゴリズムに基づいて、各無欠陥品画像及び各欠陥品画像に対して検査アルゴリズムを適用することで得られる結果をスコアによって表し、最大のスコアを示す検査パラメータを探索することで、アノテーション箇所（欠陥箇所）の抽出に適した検査パラメータを導出することが可能である。
【0118】
検査パラメータの適度を表すスコアは、任意の計算式に基づいて算出可能である。例えば、明検査において検査アルゴリズムを実行して検出される検査領域と、アノテーション済み画像でアノテーションが与えられている検査領域との間の誤差をバイナリクロスエントロピー（Binary Cross-Entropy）として定義し、当該バイナリクロスエントロピーの符号を変えた値が、検査パラメータの適度を表すスコアとして用いられてもよい。この場合、明検査の閾値に関してスコアは上に凸な関数となるため、閾値以外のパラメータを固定した場合の最適な閾値は、非常に低い計算コストで求められる。このようにして求められる暫定的な閾値に近い数値範囲に基づいて他のパラメータの探索を行うことで、妥当なパラメータ値の探索にかかる計算コストを大きく抑えうる。
【0119】
［スコアの例］
上記の検査パラメータの適度を表すスコアは、例えば以下に従って求められる。
上記の検査パラメータの適度を表すスコアは、例えば以下に従って求められる。
【0120】
＜スコア例（１）＞
全画像に関するスコアの平均値を最終的なスコアに設定してもよく、当該最終的なスコアを最大化することを目標としてもよい。
【数3】
全画像に関するスコアの平均値を最終的なスコアに設定してもよく、当該最終的なスコアを最大化することを目標としてもよい。
【0121】
＜スコア例（２）＞
明検査において、閾値よりも高い画素値を有する画素領域を抽出する上述の処理の代わりに、下記式に各画素値「Ｉｉｊ」を適用することで算出される値「ｙｉｊ」が取得される。下記式に関し、「ｉ」及び「ｊ」は画素の座標を表し、「ｂ」は閾値を表し、「Ｔ＞０」はハイパーパラメータを示す。
明検査において、閾値よりも高い画素値を有する画素領域を抽出する上述の処理の代わりに、下記式に各画素値「Ｉｉｊ」を適用することで算出される値「ｙｉｊ」が取得される。下記式に関し、「ｉ」及び「ｊ」は画素の座標を表し、「ｂ」は閾値を表し、「Ｔ＞０」はハイパーパラメータを示す。
【数4】
【0122】
そしてアノテーション領域ｔｉｊ（例えば座標ｉ、ｊの画素がアノテーションされていれば１、アノテーションされていなければ０）を用いて、ある画像に対するスコアを以下の式に基づいて定める。
全画像に関するスコアの平均値を最終的なスコアに設定してもよく、当該最終的なスコアを最大化することを目標としてもよい。
【数5】
全画像に関するスコアの平均値を最終的なスコアに設定してもよく、当該最終的なスコアを最大化することを目標としてもよい。
【0123】
［アノテーショ済み画像に基づく検査パラメータ探索の第１具体例］
例えば、１０枚の無欠陥品画像と、電極キズ欠陥に関する１０枚の欠陥品画像とが用意される。
例えば、１０枚の無欠陥品画像と、電極キズ欠陥に関する１０枚の欠陥品画像とが用意される。
【0124】
欠陥品画像中の欠陥部分画素に対して予めアノテーションが付与され、アノテーション領域が与えられる。アノテーション領域ｔｉｊ（「ｉ」及び「ｊ」：画素の座標）は、アノテーションされている画素の画素値は「１」に設定され、アノテーションされていない画素の画素値は「０」に設定される２値画像領域である。
【0125】
選定検査アルゴリズムとして、電極部に割り当てられる明検査に関する検査アルゴリズムが選定される。この明検査に関する検査アルゴリズにおいて「閾値」、「クロージングの大きさ」及び「オープニングの大きさ」が可変的な検査パラメータとして採用されており、これらの可変的な検査パラメータに関し、遺伝的アルゴリズムに基づいてスコアをできるだけ最大化するパラメータ値の組み合わせが探索される。
【0126】
［アノテーション済み画像に基づく検査パラメータ探索の第２具体例］
本例においても、上述の第１具体例と同様に、無欠陥品画像及び欠陥品画像が１０枚ずつ用意される。「閾値」に関する検査パラメータに関しては、「０」～「２５５」の計２５６個の値が探索範囲に設定される。「オープニングの大きさ」及び「クロージングの大きさ」に関する検査パラメータ（計４つパラメータ値）に関しては、１、３、５、７及び９の５つの値が探索範囲に設定される。これらの検査パラメータの全てに関して同時的に最適なパラメータ値を探索する場合、１６００００（＝２５６×５×５×５×５）通りの組み合わせの中から、最適なパラメータ値の組み合わせが探索されることになる。
本例においても、上述の第１具体例と同様に、無欠陥品画像及び欠陥品画像が１０枚ずつ用意される。「閾値」に関する検査パラメータに関しては、「０」～「２５５」の計２５６個の値が探索範囲に設定される。「オープニングの大きさ」及び「クロージングの大きさ」に関する検査パラメータ（計４つパラメータ値）に関しては、１、３、５、７及び９の５つの値が探索範囲に設定される。これらの検査パラメータの全てに関して同時的に最適なパラメータ値を探索する場合、１６００００（＝２５６×５×５×５×５）通りの組み合わせの中から、最適なパラメータ値の組み合わせが探索されることになる。
【0127】
代わりに、「閾値」以外の検査パラメータの値を固定しつつ「閾値」の検査パラメータに関してのみ最適なパラメータ値を探索する第１探索フェーズと、「閾値」の検査パラメータを第１探索フェーズで探索された値に固定しつつ「閾値」以外の検査パラメータに関して最適なパラメータ値を探索する第２探索フェーズと、が順番に実行されてもよい。
【0128】
第１探索フェーズでは、上述の「スコア例（２）」において説明した手法によるスコアを用いることができる。当該手法により算出されるスコアを閾値ｂで微分してＴを０に極限的に近づけると、当該微分値は、「アノテーションされていないが抽出されたピクセル（画素）の数」が「アノテーションされたが抽出されなかったピクセルの数」よりも大きい場合には、正になる。一方、「アノテーションされていないが抽出されたピクセル（画素）の数」が「アノテーションされたが抽出されなかったピクセルの数」よりも小さい場合、当該微分値は負になる。「閾値」の検査パラメータ値は、第１探索フェーズにおいて２５６個の候補値の中で探索され、例えば２分探索によって最大８回の試行で「閾値」の検査パラメータ値を探索（導出）できる。実際には、上記の「ピクセルの数」が分かるのであれば、「ｙｉｊ」の値や上記スコアを計算する必要はない。すなわち、２値化された画素部分がアノテーション領域に含まれるか否かを判別できればよい。
【0129】
第２探索フェーズでは、上述の「スコア例（１）」において説明した手法によるスコアを用いることができる。この場合、上述の第１具体例と同様の手法で、遺伝的アルゴリズムに基づいて検査パラメータに関する最適な値の組み合わせを探索できる。ただし本例では、第１探索フェーズにおいて「閾値」の検査パラメータが決められている。したがって「閾値」以外の検査パラメータに関し、６２５（＝５×５×５×５）通りの組み合わせの中から、最適なパラメータ値の組み合わせが探索される。
【0130】
上述の第１探索フェーズ及び第２探索フェーズの各々は、１回だけ行われてもよいし、複数回繰り返されてもよい。実用的には、多くのケースで、第１探索フェーズ及び第２探索フェーズの各々を１回又は２回行えば十分であると考えられる。
【0131】
［検査レシピ作成ソフト］
欠陥検査装置は、インストールされている検査レシピ作成ソフトに従って、検査レシピの作成（検査アルゴリズムの選定及び検査パラメータの探索）を行う。例えば検査アルゴリズムの選定を行う場合、以下のデータを、検査レシピ作成ソフトに対する入出力データとして用いることが可能である。
欠陥検査装置は、インストールされている検査レシピ作成ソフトに従って、検査レシピの作成（検査アルゴリズムの選定及び検査パラメータの探索）を行う。例えば検査アルゴリズムの選定を行う場合、以下のデータを、検査レシピ作成ソフトに対する入出力データとして用いることが可能である。
【0132】
＜検査アルゴリズムの選定＞
入力データ：
・ ０枚以上の無欠陥品画像（例えば６４０ピクセル×４８０ピクセルのＲＧＢカラー画像（２５６階調））
・ 対応の欠陥項目（同一欠陥項目）の画像部分を含む１枚以上の欠陥品画像（例えば６４０ピクセル×４８０ピクセルのＲＧＢカラー画像（２５６階調））
・ 各不良画像に対するアノテーション領域（例えば６４０ピクセル×４８０ピクセルの２値のモノクロ画像）
・ ２～５程度の検査アルゴリズムの候補
出力データ：検査アルゴリズム
備考：
本例では、処理過程で検査パラメータを導出する処理も行われうる。そのため、本例の処理によって検査アルゴリズムが選定されることで、副次的に選定検査アルゴリズムに対応する検査パラメータも得られる。
入力データ：
・ ０枚以上の無欠陥品画像（例えば６４０ピクセル×４８０ピクセルのＲＧＢカラー画像（２５６階調））
・ 対応の欠陥項目（同一欠陥項目）の画像部分を含む１枚以上の欠陥品画像（例えば６４０ピクセル×４８０ピクセルのＲＧＢカラー画像（２５６階調））
・ 各不良画像に対するアノテーション領域（例えば６４０ピクセル×４８０ピクセルの２値のモノクロ画像）
・ ２～５程度の検査アルゴリズムの候補
出力データ：検査アルゴリズム
備考：
本例では、処理過程で検査パラメータを導出する処理も行われうる。そのため、本例の処理によって検査アルゴリズムが選定されることで、副次的に選定検査アルゴリズムに対応する検査パラメータも得られる。
【0133】
＜画像チャンネル（抽出画像）の選定＞
入力データ：
・ ０枚以上の無欠陥品画像（例えば６４０ピクセル×４８０ピクセルのＲＧＢカラー画像（２５６階調））
・ 対応の欠陥項目（同一欠陥項目）の画像部分を含む１枚以上の欠陥品画像（例えば６４０ピクセル×４８０ピクセルのＲＧＢカラー画像（２５６階調））
・ 各不良画像に対して１つのアノテーション領域（例えば６４０ピクセル×４８０ピクセルの２値のモノクロ画像）
・ １つの検査アルゴリズム
出力データ：画像チャンネル（例えば画像チャンネルが「Ａ×（赤濃度）＋Ｂ×（緑濃度）＋ Ｃ×（青濃度）＋Ｄ」で表される場合には、「Ａ」、「Ｂ」、「Ｃ」及び「Ｄ」の値が出力される。）
入力データ：
・ ０枚以上の無欠陥品画像（例えば６４０ピクセル×４８０ピクセルのＲＧＢカラー画像（２５６階調））
・ 対応の欠陥項目（同一欠陥項目）の画像部分を含む１枚以上の欠陥品画像（例えば６４０ピクセル×４８０ピクセルのＲＧＢカラー画像（２５６階調））
・ 各不良画像に対して１つのアノテーション領域（例えば６４０ピクセル×４８０ピクセルの２値のモノクロ画像）
・ １つの検査アルゴリズム
出力データ：画像チャンネル（例えば画像チャンネルが「Ａ×（赤濃度）＋Ｂ×（緑濃度）＋ Ｃ×（青濃度）＋Ｄ」で表される場合には、「Ａ」、「Ｂ」、「Ｃ」及び「Ｄ」の値が出力される。）
【0134】
＜検査パラメータの導出（提案）＞
入力データ：
・ ０枚以上の無欠陥品画像（例えば６４０ピクセル×４８０ピクセルのＲＧＢカラー画像（２５６階調））
・ 対応の欠陥項目（同一欠陥項目）の画像部分を含む１枚以上の欠陥品画像（例えば６４０ピクセル×４８０ピクセルのＲＧＢカラー画像（２５６階調））
・ 各不良画像に対して１つのアノテーション領域（例えば６４０ピクセル×４８０ピクセルの２値のモノクロ画像）
・ １つの検査アルゴリズム
出力データ：
・ 検査パラメータの数値
・ ただし検査アルゴリズムにおいて用いられる複数の検査パラメータのうち、探索対象となっている１以上の検査パラメータに関してのみパラメータ値が出力される。
・ 例えばＢ画像チャンネルを用いてチップ（検査対象製品）の素体の明検査が行われる場合、「閾値＝１２０」、「クロージングの大きさ＝縦５ピクセル、横５ピクセル」、「オープニングの大きさ＝縦５ピクセル、横５ピクセル」が検査パラメータとして探索されて出力される。
入力データ：
・ ０枚以上の無欠陥品画像（例えば６４０ピクセル×４８０ピクセルのＲＧＢカラー画像（２５６階調））
・ 対応の欠陥項目（同一欠陥項目）の画像部分を含む１枚以上の欠陥品画像（例えば６４０ピクセル×４８０ピクセルのＲＧＢカラー画像（２５６階調））
・ 各不良画像に対して１つのアノテーション領域（例えば６４０ピクセル×４８０ピクセルの２値のモノクロ画像）
・ １つの検査アルゴリズム
出力データ：
・ 検査パラメータの数値
・ ただし検査アルゴリズムにおいて用いられる複数の検査パラメータのうち、探索対象となっている１以上の検査パラメータに関してのみパラメータ値が出力される。
・ 例えばＢ画像チャンネルを用いてチップ（検査対象製品）の素体の明検査が行われる場合、「閾値＝１２０」、「クロージングの大きさ＝縦５ピクセル、横５ピクセル」、「オープニングの大きさ＝縦５ピクセル、横５ピクセル」が検査パラメータとして探索されて出力される。
【0135】
［欠陥検査装置のハード構成例］
図６は、欠陥検査装置１０のハード構成の一例を示すブロック図である。図６に示す欠陥検査装置１０は、製品搬送部２０、撮像部（第１撮像部３１～第６撮像部３６）及び検査システム部４０を備える。
図６は、欠陥検査装置１０のハード構成の一例を示すブロック図である。図６に示す欠陥検査装置１０は、製品搬送部２０、撮像部（第１撮像部３１～第６撮像部３６）及び検査システム部４０を備える。
【0136】
製品搬送部２０は、製品（チップ）Ｐを製品搬送部２０に搬入する製品投入部２１と、製品Ｐを製品搬送部２０から搬出する製品搬出部２２とを有し、製品投入部２１から製品搬出部２２に向けて製品Ｐ（検査対象製品及び基準製品）を搬送する。製品搬送部２０の具体的な構成は限定されず、製品搬送部２０は、例えば無端状ベルトなど移動体を使って製品Ｐを搬送することが可能である。製品Ｐは、移動体（無端状ベルトなど）に載せられた状態で、当該移動体とともに製品投入部２１から製品搬出部２２に移動してもよい。製品搬送部２０による製品Ｐの搬送軌道の形状は限定されず、直線軌道、曲線軌道（例えば円弧軌道）、或いは直線軌道及び曲線軌道の組み合わせに沿って製品Ｐは搬送されうる。
【0137】
本例の製品搬出部２２は、製品搬送部２０から分類箱部２９に製品Ｐを搬出する。製品搬出部２２は、検査システム部４０における製品Ｐの検査結果（特に製品Ｐの良否判定結果）に応じて、製品Ｐの分類箱部２９における搬出先を変え、良品と判定された製品Ｐを分類箱部２９の良品保管部に送り、不良品と判定された製品Ｐを分類箱部２９の不良品保管部に送る。
【0138】
撮像部は、製品搬送部２０によって搬送される製品Ｐを、製品投入部２１から製品搬出部２２に向かう途中で撮像し、撮像データ（製品画像）を検査システム部４０に送る。図６に示す例では６つの撮像部（第１撮像部３１～第６撮像部３６）が設けられているが、撮像部の数は限定されない。第１撮像部３１～第６撮像部３６は、各製品Ｐを６方向（上、下、左、右、前、及び後ろ）からそれぞれ撮像する。第１撮像部３１～第６撮像部３６の各々は、撮像によって画像を取得及び出力する画像取得部３７と、撮像時に製品Ｐを照明する照明部３８と、を有する。画像取得部３７はＣＭＯＳ等のイメージセンサを具備し、照明部３８はＬＥＤ等の照明具を具備する。
【0139】
検査システム部４０は、システム制御部４１、システム記憶部４２（画像記憶部４３を含む）、検査実行部４４、アノテーション処理部４５、検査アルゴリズム選定部４６及び検査パラメータ探索部４７を有する。検査システム部４０の各部は、任意のハードウェア及び／又はソフトウェアによって構成可能であり、複数の機能部が共通のハードウェア構成によって実現されてもよい。
【0140】
システム記憶部４２は、各種データが記憶され、システム制御部４１の制御下でデータの書き込み及び読み出しが行われる。ここでの「データ」は、いわゆるプログラムも包含する。撮像部（第１撮像部３１～第６撮像部３６）によって取得される製品Ｐの撮像画像は、システム記憶部４２（特に画像記憶部４３）に保存される。また検査システム部４０において取得された検査レシピ（選定された検査アルゴリズム及び探索された検査パラメータ）が、システム記憶部４２に保存される。システム記憶部４２には、検査システム部４０（検査パラメータ探索部４７）によって導出された検査パラメータ（ユーザによる調整前の検査パラメータ）が保存されてもよいし、ユーザによって確定された検査パラメータ（必要に応じてユーザにより調整された検査パラメータ）が保存されてもよい。
【0141】
アノテーション処理部４５は、システム制御部４１の制御下で、画像にアノテーションを付与するアノテーション処理を行う。
【0142】
検査アルゴリズム選定部４６は、システム制御部４１の制御下で、検査アルゴリズムの選定を行う。すなわち検査アルゴリズム選定部４６は、複数の検査アルゴリズムの中から、欠陥検査項目に基づいて選定される１以上の検査アルゴリズムである選定検査アルゴリズムを特定する。本例の検査アルゴリズム選定部４６は、インターフェースデバイス５０（特に操作部５２）が受け付けてインターフェースデバイス５０から検査システム部４０に送られる欠陥検査項目を特定する欠陥検査項目特定部としても働く。
【0143】
検査パラメータ探索部４７は、システム制御部４１の制御下で、検査パラメータの導出（すなわちユーザに提案する検査パラメータの探索）を行う。具体的には、検査パラメータ探索部４７は、欠陥品画像を含む学習用画像と、選定検査アルゴリズムとに基づいて検査パラメータを探索する。
【0144】
検査実行部４４は、システム制御部４１の制御下で、設定された検査レシピ（検査アルゴリズム及び検査パラメータ）に基づいて、製品Ｐ（例えば検査対象製品）の欠陥検査を行う。ここでの欠陥検査は、欠陥項目の検出及び製品の良否の判定を含む。このように検査実行部４４は、選定検査アルゴリズム及び検査パラメータに基づいて検査対象画像の画像処理を行うことで、検査対象製品の欠陥検査項目についての判定を行う欠陥項目判定部として働く。
【0145】
システム制御部４１は、検査システム部４０の全体的な制御を行う。例えば、システム制御部４１は、検査システム部４０の内部のデバイス（システム記憶部４２、検査実行部４４、アノテーション処理部４５、検査アルゴリズム選定部４６及び検査パラメータ探索部４７）間のデータの送受信を制御する。またシステム制御部４１は、検査システム部４０の外部のデバイス（例えば撮像部（第１撮像部３１～第６撮像部３６）、インターフェースデバイス５０、及び／又は製品搬送部２０（製品搬出部２２））と各種データの送受信を行うことができる。
【0146】
インターフェースデバイス５０は、表示部５１及び操作部５２を備える。表示部５１は、任意の表示デバイスによって構成され、ユーザに各種データを提示する。表示部５１に表示されるデータは限定されない。表示部５１は、検査システム部４０（システム制御部４１）から送られてくる検査レシピ（検査アルゴリズム及び／又は検査パラメータ）、撮像画像、及び製品Ｐの検査結果に関するデータを必要に応じて表示してもよい。操作部５２は、ユーザによって操作される任意の操作デバイス（入力デバイス）によって構成され、ユーザからの指示を受け付ける。操作部５２を介してインターフェースデバイス５０に入力されたユーザからの指示は、インターフェースデバイス５０から検査システム部４０（システム制御部４１）に送られる。表示部５１及び操作部５２は、タッチパネルデバイスのように一体的に設けられてもよいし、お互いに別体として設けられてもよい。表示部５１及び操作部５２は、インターフェース制御部（図示省略）によって制御されてもよい。
【0147】
図６に示す欠陥検査装置１０は、一例として、上述の欠陥検査方法を以下のようにして実行することが可能である。
【0148】
まず検査条件設定モード（図１参照）において、ユーザによって選択される欠陥検査項目が、インターフェースデバイス５０に入力され、インターフェースデバイス５０から検査システム部４０に送られる。そして基準製品である製品Ｐが製品投入部２１を介して製品搬送部２０に搬入され、製品搬出部２２に向けて搬送される。製品Ｐ（基準製品）は、製品投入部２１から製品搬出部２２に送られる間に撮像部（第１撮像部３１～第６撮像部３６）によって撮像される。なお欠陥検査項目に応じて撮像条件が変えられる場合、欠陥検査項目に適した撮像条件が撮像部に送られてもよい。この場合、撮像部は検査システム部４０から送られてくる撮像条件の下で、製品Ｐの撮像処理を行う。
【0149】
製品Ｐ（基準製品）の撮像画像は、撮像部（第１撮像部３１～第６撮像部３６）から検査システム部４０に送られ、検査システム部４０（例えば画像記憶部４３）において保存され、各種の処理に用いられる。例えば製品Ｐ（基準製品）の撮像画像は、アノテーション処理部４５において欠陥に関するアノテーション処理を受け、その後、アノテーション情報とともにインターフェースデバイス５０に送られてもよい。この場合、ユーザは、必要に応じて、インターフェースデバイス５０を介して手動アノテーションを行って、アノテーション箇所を修正する。そしてユーザによって確定されたアノテーションに関する情報がインターフェースデバイス５０から検査システム部４０に送られる。
【0150】
そして、欠陥検査項目に対応する学習用画像がシステム制御部４１によって読み出され、検査アルゴリズム選定部４６によって選定検査アルゴリズムが特定され、検査パラメータ探索部４７によって暫定的な検査パラメータが導出される。そして、選定検査アルゴリズム及び暫定的な検査パラメータが、検査システム部４０からインターフェースデバイス５０に送られ、ユーザに提示される。ユーザは、インターフェースデバイス５０を介し、必要に応じて暫定的な検査パラメータの調整を行い、検査パラメータを確定する。ユーザによって確定された検査パラメータは、インターフェースデバイス５０から検査システム部４０に送られる。
【0151】
上述の一連の処理を経て、検査レシピ（検査アルゴリズム及び検査パラメータ）が設定されることで検査条件設定モードが終了し、その後、検査実行モードが開始される。検査実行モードでは、検査対象製品である複数の製品Ｐが連続的に製品搬送部２０に搬入される。製品搬送部２０に搬入された複数の製品Ｐは、次々と製品搬送部２０により搬送されて製品搬出部２２に向けて送られ、搬送中に撮像部（第１撮像部３１～第６撮像部３６）によって撮像される。
【0152】
検査対象製品の撮像画像は、撮像部から検査システム部４０に送られ、検査実行部４４によって行われる画像処理を受ける。当該画像処理は、上述の検査条件設定モードで設定された検査アルゴリズム及び検査パラメータに基づいて行われ、検査対象製品における欠陥検査項目が判定され、且つ、検査対象製品の良否が判定される。なお本例では、システム制御部４１が、検査対象製品を撮像することで得られる検査対象画像を取得する検査対象画像取得部として働く。そして、検査対象製品の良否の判定結果を直接的又は間接的に示す情報が検査システム部４０（システム制御部４１）から製品搬送部２０（特に製品搬出部２２）に送られ、製品搬出部２２は、当該情報に応じて対応の製品Ｐ（検査対象製品）の分類箱部２９における搬出先を切り替える。
【0153】
大量の検査対象製品の良否判定を短時間で行うには、製品搬送部２０における製品Ｐの搬送及び製品搬出部２２から分類箱部２９への製品Ｐの排出を、停滞させることなく、連続的に行うこと好ましい。したがって検査対象製品（製品Ｐ）が製品搬出部２２に到達する前に、当該検査対象製品に関する良否判定処理及び製品搬出部２２に対する良否判定情報の送信が終了していることが好ましい。この場合、製品搬出部２２は、検査システム部４０から送られてくる良否判定情報に基づいて、検査対象製品（製品Ｐ）を、停滞させることなくスムーズに、分類箱部２９の対応の保管部に送ることができる。なお検査対象製品に関する欠陥検査項目の判定結果及び良否の判定結果は、対応の撮像画像とともに、システム記憶部４２に保存されてもよいし、インターフェースデバイス５０に送信されてユーザに提示されてもよい。
【0154】
［表示デバイスにおける画面表示例］
図７は、インターフェースデバイス５０の表示部５１における表示画面の関係例を示す。表示部５１は、インストールされている画面表示管理ソフトに従って、ユーザに提示する画面表示を変える。表示部５１を介してユーザに提示される具体的な画面表示の態様は限定されない。図７に示す例では、表示部５１は、レシピ選択画面Ｖ１、装置運転画面Ｖ２、撮像画面Ｖ３、アノテーション画面Ｖ４、レシピ編集画面Ｖ５、パラメータ自動調整画面Ｖ６、自動調整結果比較評価画面Ｖ７及びパラメータ評価画面Ｖ８を、ユーザに提示することが可能である。
図７は、インターフェースデバイス５０の表示部５１における表示画面の関係例を示す。表示部５１は、インストールされている画面表示管理ソフトに従って、ユーザに提示する画面表示を変える。表示部５１を介してユーザに提示される具体的な画面表示の態様は限定されない。図７に示す例では、表示部５１は、レシピ選択画面Ｖ１、装置運転画面Ｖ２、撮像画面Ｖ３、アノテーション画面Ｖ４、レシピ編集画面Ｖ５、パラメータ自動調整画面Ｖ６、自動調整結果比較評価画面Ｖ７及びパラメータ評価画面Ｖ８を、ユーザに提示することが可能である。
【0155】
表示部５１は、図７において矢印によって示されるように、レシピ選択画面Ｖ１と、装置運転画面Ｖ２、撮像画面Ｖ３、アノテーション画面Ｖ４及びレシピ編集画面Ｖ５の各々との間で画面切替を行うことが可能である。また表示部５１は、レシピ編集画面Ｖ５と、パラメータ自動調整画面Ｖ６及びパラメータ評価画面Ｖ８の各々との間で画面切替を行うことが可能である。また表示部５１は、パラメータ自動調整画面Ｖ６から自動調整結果比較評価画面Ｖ７への画面切替、及び、自動調整結果比較評価画面Ｖ７からレシピ編集画面Ｖ５への画面切替を行うことが可能である。
【0156】
＜レシピ選択画面Ｖ１＞
レシピ選択画面Ｖ１は、検査対象製品（チップ）の検査において使用される１又は複数の検査アルゴリズムを含む１つの検査レシピを選択するためのユーザインターフェースを構成する。
レシピ選択画面Ｖ１は、検査対象製品（チップ）の検査において使用される１又は複数の検査アルゴリズムを含む１つの検査レシピを選択するためのユーザインターフェースを構成する。
【0157】
＜装置運転画面Ｖ２＞
装置運転画面Ｖ２は、レシピ選択画面Ｖ１を介して選択された検査レシピに基づいて、検査対象製品（チップ）の検査を実行するためのユーザインターフェースを構成する。
装置運転画面Ｖ２は、レシピ選択画面Ｖ１を介して選択された検査レシピに基づいて、検査対象製品（チップ）の検査を実行するためのユーザインターフェースを構成する。
【0158】
＜撮像画面Ｖ３＞
撮像画面Ｖ３は、撮像部によって基準製品（チップ）を撮像するためのユーザインターフェース、及び、撮像により取得された画像（学習用画像）を対応の欠陥項目に関連付けて保存するためのユーザインターフェースを構成する。
撮像画面Ｖ３は、撮像部によって基準製品（チップ）を撮像するためのユーザインターフェース、及び、撮像により取得された画像（学習用画像）を対応の欠陥項目に関連付けて保存するためのユーザインターフェースを構成する。
【0159】
図８は、撮像画面Ｖ３の一例を示す。図８に示す撮像画面Ｖ３には、基準製品（チップ）の撮像画像が表示されるとともに、カメラ選択ボタン、撮影開始ボタン、欠陥項目選択ボタン及び画像保存ボタンがユーザによって選択可能に表示される。カメラ選択ボタンは、基準製品（チップ）の撮像を行う撮像部を選択するためのユーザインターフェースである。撮影開始ボタンは、選択された撮像部による基準製品（チップ）の撮像を指示するためのユーザインターフェースである。欠陥項目選択ボタンは、基準製品（チップ）の撮像画像が関連付けられる欠陥項目を選択するためのユーザインターフェースである。画像保存ボタンは、基準製品（チップ）の撮像画像を、選択された欠陥項目に関連付けて保存するためのユーザインターフェースである。本実施形態において、基準製品（チップ）の各撮像画像は、対応の基準製品（チップ）の品種、対応の撮像部、及び対応の欠陥項目に関連付けられて保存される。
【0160】
＜アノテーション画面Ｖ４＞
アノテーション画面Ｖ４は、基準製品（チップ）の各撮像画像（各学習用画像）に対してユーザがアノテーション処理（手動アノテーション）を行うためのユーザインターフェースを構成する。なおアノテーション画面Ｖ４を介して、検査対象製品の良否判定に関する検査パラメータを指定することも可能である。
アノテーション画面Ｖ４は、基準製品（チップ）の各撮像画像（各学習用画像）に対してユーザがアノテーション処理（手動アノテーション）を行うためのユーザインターフェースを構成する。なおアノテーション画面Ｖ４を介して、検査対象製品の良否判定に関する検査パラメータを指定することも可能である。
【0161】
図９は、アノテーション画面Ｖ４の一例を示す。図９に示すアノテーション画面Ｖ４には、基準製品（チップ）の撮像画像が表示されるとともに、カメラ選択ボタン、欠陥項目選択ボタン、画像リストボタン、アノテーション処理ボタン（ペンボタン、矩形ボタン、円ボタン及び消しゴムボタン）、検査ボタン、ＡＩボタン、及び良否判定基準ボタンがユーザによって選択可能に表示される。カメラ選択ボタンは、撮像部を選択するためのユーザインターフェースである。欠陥項目選択ボタンは、欠陥項目を選択するためのユーザインターフェースである。画像リストボタンは、選択された撮像部及び欠陥項目に関連付けられて保存されている画像をリスト表示するためのユーザインターフェースである。画像のリストからユーザにより選択された画像が、基準製品（チップ）の撮像画像として表示される。
【0162】
なおユーザは、検査ボタン又はＡＩボタンを使って、検査領域を含むと判定される基準製品（チップ）の撮像画像のみを、画像のリストに表示することが可能である。このように検査ボタン及びＡＩボタンは、画像のリストのフィルタリングを行うためのユーザインターフェースである。検査ボタンは、検査アルゴリズム及び検査パラメータに基づく欠陥検査を欠陥検査装置１０（特に検査実行部４４（図６参照））に実行させるためのユーザインターフェースである。ＡＩボタンは、欠陥検査装置１０（特に検査実行部４４（図６参照））に、セグメンテーションＡＩなどのＡＩ機能を駆使して各画像における対応の欠陥項目の有無の判定を実行させるためのユーザインターフェースである。
【0163】
このようにして表示される基準製品（チップ）の撮像画像には、アノテーション領域（欠陥検査装置１０（特にアノテーション処理部４５（図６参照））によって与えられる推定アノテーション領域も含みうる）が重ねて表示される。アノテーション処理ボタンは、ユーザが手動アノテーション処理を行うためのユーザインターフェースを構成する。ユーザは、ペンツール（ペンボタン）、矩形ツール（矩形ボタン）或いは円ツール（円ボタン）を介して、表示されている基準製品（チップ）の撮像画像中の欠陥箇所を指定する。
【0164】
良否判定基準ボタンは、選択されている欠陥項目に関し、検査対象製品の良否判定の基準を定めるためのユーザインターフェースである。ユーザは、良否判定の基準閾値として、例えば「欠陥面積＝１００μｍ２」及び／又は「長さ＝３０μｍ」を、良否判定基準ボタンを介して指定できる。
【0165】
＜レシピ編集画面Ｖ５＞
レシピ編集画面Ｖ５は、検査レシピ（選定検査アルゴリズム及び提案される検査パラメータ）の内容を編集するためのユーザインターフェースを構成する。
レシピ編集画面Ｖ５は、検査レシピ（選定検査アルゴリズム及び提案される検査パラメータ）の内容を編集するためのユーザインターフェースを構成する。
【0166】
図１０は、レシピ編集画面Ｖ５の一例を示す。図１０に示すレシピ編集画面Ｖ５には、基準製品（チップ）の撮像画像が表示され、カメラ選択ボタン、レシピ内容表示編集ボタン、検査結果表示ボタン、自動調整ボタン、表示設定ボタン、及び画像リストボタンがユーザによって選択可能に表示される。カメラ選択ボタンは、撮像部を選択するためのユーザインターフェースである。レシピ内容表示編集ボタンは、検査レシピの内容を表示及び編集するためのユーザインターフェースである。検査結果表示ボタンは、欠陥検査の結果を表示するためのユーザインターフェースであり、後述のパラメータ評価画面Ｖ８に画面表示を切り替えるためのボタンである。画像リストボタンは、保存されている画像のリストを表示するためのユーザインターフェースである。表示設定ボタンは、基準製品（チップ）の撮像画像の表示に関する設定を行うためのユーザインターフェースである。ユーザは、例えば基準製品（チップ）の撮像画像として表示させる画像チャンネル（例えばＲ画像、Ｇ画像又はＢ画像）の選択や、欠陥検査の結果検出された欠陥項目の画像領域の表示の要否の選択などを、表示設定ボタンを介して行うことが可能である。
【0167】
自動調整ボタンは、検査パラメータの自動調整を行うためのユーザインターフェースである。ユーザによって自動調整ボタンが選択されることで、画面表示がレシピ編集画面Ｖ５からパラメータ自動調整画面Ｖ６に遷移する。
【0168】
＜パラメータ自動調整画面Ｖ６＞
パラメータ自動調整画面Ｖ６は、検査アルゴリズムの自動選択及び検査パラメータの自動調整を実行するためのユーザインターフェースを構成する。
パラメータ自動調整画面Ｖ６は、検査アルゴリズムの自動選択及び検査パラメータの自動調整を実行するためのユーザインターフェースを構成する。
【0169】
図１１は、パラメータ自動調整画面Ｖ６の一例を示す。図１１に示すパラメータ自動調整画面Ｖ６には、カメラ選択ボタン、欠陥項目選択リスト、及び自動調整開始ボタンがユーザによって選択可能に表示されるとともに、選択中の欠陥項目に対する検査アルゴリズムのリストが表示される。カメラ選択ボタンは、撮像部を選択するためのユーザインターフェースである。
【0170】
欠陥項目選択リストは、自動調整の対象とする欠陥項目を選択するためのユーザインターフェースである。ユーザは、インターフェースデバイス５０（特に操作部５２）を介し、欠陥項目選択リストに表示される欠陥項目の中から自動調整を希望する１以上の欠陥項目を選択することができる。またユーザは、インターフェースデバイス５０（特に操作部５２）を介し、欠陥項目選択リストに表示される欠陥項目の中から興味のある欠陥項目にフォーカスを当てることができる。ここでフォーカスが当てられる欠陥項目は、ユーザによって自動調整を希望する欠陥項目として選択された欠陥項目であってもよいし、選択されていない欠陥項目であってもよい。欠陥項目に対応する検査アルゴリズムのリストには、ユーザによってフォーカスが当てられている欠陥項目に対応する検査アルゴリズムのリストが、ユーザによって確認可能に表示される。
【0171】
自動調整開始ボタンは、自動調整を希望する欠陥項目として選択された１以上の欠陥項目の検査のための「検査アルゴリズムの選定」及び「検査パラメータの探索」を欠陥検査装置１０（特に検査アルゴリズム選定部４６及び検査パラメータ探索部４７（図６参照））に実行させるためのユーザインターフェースである。ユーザによって自動調整開始ボタンが選択されることで、欠陥検査装置１０（特に検査システム部４０（図６参照））において「検査アルゴリズムの選定」及び「検査パラメータの探索」が行われる。先行して行われるアノテーション処理（アノテーション画面Ｖ４（図９参照））によって、欠陥項目毎に許容可能な欠陥の程度（例えば欠陥サイズ）が既に確定している。「検査アルゴリズムの選定」及び「検査パラメータの探索」を行う際には、このようにして確定された「許容可能な欠陥の程度を示す情報」が用いられる。
【0172】
なお、検査アルゴリズム毎に欠陥部分の輪郭の抽出の仕方が微妙に変えられてもよい。例えば欠陥部分の抽出領域の面積が「検査アルゴリズムの選定」及び／又は「検査パラメータの探索」のために用いられる場合、「検査Ａは検査Ｂよりも欠陥部分の領域を大きめに抽出する傾向がある」といったケースがありうる。当該ケースでは、ユーザがアノテーションした欠陥部分の領域と、ある検査アルゴリズムで抽出される欠陥部分の領域との間で面積値の相関がとられ、その検査アルゴリズムの選定のために用いられるパラメータに代入する値が、当該面積値の相関に応じて補正されてもよい。
【0173】
そして、欠陥検査装置１０において「検査アルゴリズムの選定」及び「検査パラメータの探索」が完了した後、画面表示がパラメータ自動調整画面Ｖ６から自動調整結果比較評価画面Ｖ７に遷移する。
【0174】
＜自動調整結果比較評価画面Ｖ７＞
自動調整結果比較評価画面Ｖ７は、検査レシピの自動調整（「検査アルゴリズムの選定」及び「検査パラメータの探索」）の結果の妥当性の評価を行うためのユーザインターフェースを構成する。
自動調整結果比較評価画面Ｖ７は、検査レシピの自動調整（「検査アルゴリズムの選定」及び「検査パラメータの探索」）の結果の妥当性の評価を行うためのユーザインターフェースを構成する。
【0175】
【0176】
図１２Ａに示す自動調整結果比較評価画面Ｖ７には、検査レシピの自動調整の前後の画像を表示する欄が表示されるとともに、カメラ選択ボタン、レシピ内容欄、検査結果表示ボタン、表示設定ボタン、及び欠陥項目リスト／画像リスト欄がユーザによって選択可能に表示される。カメラ選択ボタンは、撮像部を選択するためのユーザインターフェースである。レシピ内容欄には、自動調整の前及び後の両方に関して検査アルゴリズム及び検査パラメータが表示され、ユーザは自動調整の前後において変更された情報を比較及び確認できる。特に、自動調整後の検査アルゴリズム及び検査パラメータ（或いは検査パラメータのみ）は、ユーザによって編集可能な形態で表示される。表示設定ボタンは、検査レシピの自動調整の前後の画像を表示する欄における画像表示に関する設定を行うためのユーザインターフェースである。ユーザは、例えば自動調整の前後の画像として表示させる画像チャンネル（例えばＲ画像、Ｇ画像又はＢ画像）の選択や、欠陥検査の結果検出された欠陥項目の画像領域の表示の要否の選択などを、表示設定ボタンを介して行うことが可能である。
【0177】
欠陥項目リスト／画像リスト欄には、欠陥項目のリストと、良品及び不良品の割合とが表示される。図１２Ｂに示す例では、欠陥項目リスト／画像リスト欄には、「非欠陥」、「欠陥項目Ａ」及び「欠陥項目Ｂ」に関するリストが、良品及び不良品の割合ともに表示される。図１２Ｂにおいて、「良品」として判定された割合がドット背景及び横線背景によって示され、「不良品」として判定された割合が縦線背景及び斜線背景によって示されている。ドット背景の割合は、良品判定された真の良品の割合を示す。横線背景の割合は、不良品判定された真の良品の割合を示す。縦線背景の割合は、良品判定された真の不良品の割合を示す。斜線背景の割合は、不良品判定された真の不良品の割合を示す。なお、欠陥項目リスト／画像リスト欄に表示されている欠陥項目のリストがユーザによって選択されることで、対応の画像のリストが表示されてもよい。
【0178】
【0179】
＜パラメータ評価画面Ｖ８＞
パラメータ評価画面Ｖ８は、検査レシピに設定されている検査パラメータが妥当であるかどうかをユーザが判断するためのユーザインターフェースを構成する。
パラメータ評価画面Ｖ８は、検査レシピに設定されている検査パラメータが妥当であるかどうかをユーザが判断するためのユーザインターフェースを構成する。
【0180】
図１３は、パラメータ評価画面Ｖ８の一例を示す。図１３に示すパラメータ評価画面Ｖ８には、検査結果の画像を表示する欄が表示されるとともに、カメラ選択ボタン、レシピ内容欄、検査結果表示ボタン、表示設定ボタン、及び欠陥項目リスト／画像リスト欄がユーザによって選択可能に表示される。カメラ選択ボタンは、撮像部を選択するためのユーザインターフェースである。レシピ内容欄には、検査アルゴリズム及び検査パラメータがユーザによって編集可能な形態で表示される。検査結果表示ボタンは、検査結果を表示に関するユーザインターフェースであり、本例では画面表示をパラメータ評価画面Ｖ８からレシピ編集画面Ｖ５に遷移させるためのユーザインターフェースである。表示設定ボタンは、検査結果の画像を表示する欄における画像表示に関する設定を行うためのユーザインターフェースである。ユーザは、例えば検査結果の画像を表示する欄に表示させる画像チャンネル（例えばＲ画像、Ｇ画像又はＢ画像）の選択や、欠陥検査の結果検出された欠陥項目の画像領域の表示の要否の選択などを、表示設定ボタンを介して行うことが可能である。欠陥項目リスト／画像リスト欄には、欠陥項目のリストと、良品及び不良品の割合とが表示され、例えば上述の自動調整結果比較評価画面Ｖ７と同様の表示（図１２Ｂ参照）がなされる。
【0181】
本明細書で開示されている実施形態及び変形例はすべての点で例示に過ぎず限定的には解釈されないことに留意されるべきである。上述の実施形態及び変形例は、添付の特許請求の範囲及びその趣旨を逸脱することなく、様々な形態での省略、置換及び変更が可能である。例えば上述の実施形態及び変形例が全体的に又は部分的に組み合わされてもよく、また上述以外の実施形態が上述の実施形態又は変形例と組み合わされてもよい。また、本明細書に記載された本開示の効果は例示に過ぎず、その他の効果がもたらされてもよい。
【0182】
上述の技術的思想を具現化する技術的カテゴリーは限定されない。例えば上述の装置を製造する方法或いは使用する方法に含まれる１又は複数の手順（ステップ）をコンピュータに実行させるためのコンピュータプログラムによって、上述の技術的思想が具現化されてもよい。またそのようなコンピュータプログラムが記録されたコンピュータが読み取り可能な非一時的（non-transitory）な記録媒体によって、上述の技術的思想が具現化されてもよい。
【符号の説明】
【0183】
１０ 欠陥検査装置、２０ 製品搬送部、２１ 製品投入部、２２ 製品搬出部、２９ 分類箱部、３１ 第１撮像部、３６ 第６撮像部、３７ 画像取得部、３８ 照明部、４０ 検査システム部、４１ システム制御部、４２ システム記憶部、４３ 画像記憶部、４４ 検査実行部、４５ アノテーション処理部、４６ 検査アルゴリズム選定部、４７ 検査パラメータ探索部、５０ インターフェースデバイス、５１ 表示部、５２ 操作部、Ｐ 製品、Ｖ１ レシピ選択画面、Ｖ２ 装置運転画面、Ｖ３ 撮像画面、Ｖ４ アノテーション画面、Ｖ５ レシピ編集画面、Ｖ６ パラメータ自動調整画面、Ｖ７ 自動調整結果比較評価画面、Ｖ８ パラメータ評価画面
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12A】
【図12B】
【図13】
