特開 2023-79886 モデル検証方法、モデル検証プログラム、情報処理装置、モデル、ウェーハの製造方法、及びウェーハ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023079886

(43)【公開日】2023-06-08

(54)【発明の名称】モデル検証方法、モデル検証プログラム、情報処理装置、モデル、ウェーハの製造方法、及びウェーハ

(51)【国際特許分類】

   G06F 16/906 20190101AFI20230601BHJP

   G06Q 50/04 20120101ALI20230601BHJP

【ＦＩ】

G06F16/906

G06Q50/04

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2021193574

(22)【出願日】2021-11-29

(71)【出願人】

【識別番号】302006854

【氏名又は名称】株式会社ＳＵＭＣＯ

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100165696

【弁理士】

【氏名又は名称】川原 敬祐

(74)【代理人】

【識別番号】100195534

【弁理士】

【氏名又は名称】内海 一成

(72)【発明者】

【氏名】加藤 健夫

(72)【発明者】

【氏名】倉垣 俊二

(72)【発明者】

【氏名】渡辺 徹

【テーマコード（参考）】

5B175

5L049

【Ｆターム（参考）】

5B175DA10

5B175FA03

5B175FB04

5L049CC04

(57)【要約】

【課題】製品の品質を向上できるモデル検証方法、モデル検証プログラム、情報処理装置、モデル、ウェーハの製造方法、及びウェーハを提供する。
【解決手段】入力データが少なくとも２つの分類のうちどの分類に属するかを判定するモデルの妥当性を検証するモデル検証方法は、第１の人物による学習データの判定結果を第１判定結果として取得するステップと、学習データの少なくとも一部のデータを検証データとして第１の人物又は第２の人物の少なくとも一方に再判定させた結果を第２判定結果として取得するステップと、検証データをモデルに入力した場合にモデルから出力される判定結果をモデル判定結果として取得するステップと、第１判定結果と第２判定結果とモデル判定結果とに基づいてモデルが妥当であるか判定するステップとを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

学習データが少なくとも２つの分類のうちのどの分類に属するかを第１の人物に判定させた結果を教師データとして用いることによって生成されたモデルであって、入力データが少なくとも２つの分類のうちどの分類に属するかを判定するモデルの妥当性を検証するモデル検証方法であって、
前記教師データとして用いられた、前記第１の人物による前記学習データの判定結果を第１判定結果として取得するステップと、
前記学習データの少なくとも一部のデータを検証データとして前記第１の人物又は前記第１の人物と異なる第２の人物の少なくとも一方に再判定させた結果を第２判定結果として取得するステップと、
前記検証データを前記モデルに入力した場合に前記モデルから出力される判定結果をモデル判定結果として取得するステップと、
前記第１判定結果と前記第２判定結果と前記モデル判定結果とに基づいて前記モデルが妥当であるか判定するステップと
を含む、モデル検証方法。

【請求項2】

前記第１判定結果と前記モデル判定結果との一致率が、前記第１判定結果と前記第２判定結果との一致率よりも高い場合に、前記モデルが妥当であると判定するステップを更に含む、請求項１に記載のモデル検証方法。

【請求項3】

前記検証データの中から前記第１判定結果と第２判定結果とが一致する場合のデータを判定一致データとして抽出するステップと、
前記モデル判定結果のうち、前記判定一致データを前記モデルに入力した場合に前記モデルから出力される判定結果に基づいて前記モデルが妥当であるか判定するステップと
を更に含む、請求項１又は２に記載のモデル検証方法。

【請求項4】

前記判定一致データを前記モデルに入力した場合に前記モデルから出力される判定結果と前記第１判定結果との一致率が一致閾値以上である場合に前記モデルが妥当であると判定するステップを更に含む、請求項３に記載のモデル検証方法。

【請求項5】

前記第１判定結果及び前記第２判定結果の両方で不合格と判定されたデータを前記モデルに入力した場合に不合格と判定される割合を再現率として算出するステップと、
前記再現率が再現閾値以上である場合に前記モデルが妥当であると判定するステップを更に含む、請求項１から４までのいずれか一項に記載のモデル検証方法。

【請求項6】

前記再現閾値は１００％である、請求項５に記載のモデル検証方法。

【請求項7】

前記第２判定結果は、前記第１の人物が前記第１判定結果を生成するための判定を行った後に所定の期間を空けて前記検証データについて再び判定することによって生成される、請求項１から６までのいずれか一項に記載のモデル検証方法。

【請求項8】

前記第２判定結果は、前記第１の人物が前記第１判定結果を生成するための判定を行った後に、異なるデータについて判定してから前記検証データについて再び判定することによって生成される、請求項１から７までのいずれか一項に記載のモデル検証方法。

【請求項9】

請求項１から８までのいずれか一項に記載のモデル検証方法をプロセッサに実行させる、モデル検証プログラム。

【請求項10】

請求項１から８までのいずれか一項に記載のモデル検証方法を実行する制御部を備える、情報処理装置。

【請求項11】

請求項１から８までのいずれか一項に記載のモデル検証方法を実行することによって妥当であると決定された、モデル。

【請求項12】

請求項１から８までのいずれか一項に記載のモデル検証方法を実行することによって妥当であると決定されたモデルによってウェーハの合否を判定するステップを含む、ウェーハの製造方法。

【請求項13】

請求項１から８までのいずれか一項に記載のモデル検証方法を実行することによって妥当であると決定されたモデルによって合格と判定された、ウェーハ。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、モデル検証方法、モデル検証プログラム、情報処理装置、モデル、ウェーハの製造方法、及びウェーハに関する。

【背景技術】

【0002】

従来、ウェーハ上に偏在するＬＰＤ（Light Point Defect）が低減されたウェーハを製造する方法が知られている（特許文献１等参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１５／１８６２８８号

【発明の概要】

【発明が解決しようとする課題】

【0004】

ウェーハの出来栄えは、ＬＰＤの数だけではなくＬＰＤの分布等の他の要因に基づいて判定される。ウェーハ等の製品の出来栄えを判定するモデルの判定精度を向上することによって、製品の品質向上が求められる。

【0005】

そこで、本開示の目的は、製品の品質を向上できるモデル検証方法、モデル検証プログラム、情報処理装置、モデル、ウェーハの製造方法、及びウェーハを提案することにある。

【課題を解決するための手段】

【0006】

上記課題を解決する本開示の一実施形態は、以下のとおりである。
［１］学習データが少なくとも２つの分類のうちのどの分類に属するかを第１の人物に判定させた結果を教師データとして用いることによって生成されたモデルであって、入力データが少なくとも２つの分類のうちどの分類に属するかを判定するモデルの妥当性を検証するモデル検証方法であって、
前記教師データとして用いられた、前記第１の人物による前記学習データの判定結果を第１判定結果として取得するステップと、
前記学習データの少なくとも一部のデータを検証データとして前記第１の人物又は前記第１の人物と異なる第２の人物の少なくとも一方に再判定させた結果を第２判定結果として取得するステップと、
前記検証データを前記モデルに入力した場合に前記モデルから出力される判定結果をモデル判定結果として取得するステップと、
前記第１判定結果と前記第２判定結果と前記モデル判定結果とに基づいて前記モデルが妥当であるか判定するステップと
を含む、モデル検証方法。
［２］前記第１判定結果と前記モデル判定結果との一致率が、前記第１判定結果と前記第２判定結果との一致率よりも高い場合に、前記モデルが妥当であると判定するステップを更に含む、上記［１］に記載のモデル検証方法。
［３］前記検証データの中から前記第１判定結果と第２判定結果とが一致する場合のデータを判定一致データとして抽出するステップと、
前記モデル判定結果のうち、前記判定一致データを前記モデルに入力した場合に前記モデルから出力される判定結果に基づいて前記モデルが妥当であるか判定するステップと
を更に含む、上記［１］又は［２］に記載のモデル検証方法。
［４］前記判定一致データを前記モデルに入力した場合に前記モデルから出力される判定結果と前記第１判定結果との一致率が一致閾値以上である場合に前記モデルが妥当であると判定するステップを更に含む、上記［３］に記載のモデル検証方法。
［５］前記第１判定結果及び前記第２判定結果の両方で不合格と判定されたデータを前記モデルに入力した場合に不合格と判定される割合を再現率として算出するステップと、
前記再現率が再現閾値以上である場合に前記モデルが妥当であると判定するステップを更に含む、上記［１］から［４］までのいずれか一項に記載のモデル検証方法。
［６］前記再現閾値は１００％である、上記［５］に記載のモデル検証方法。
［７］前記第２判定結果は、前記第１の人物が前記第１判定結果を生成するための判定を行った後に所定の期間を空けて前記検証データについて再び判定することによって生成される、上記［１］から［６］までのいずれか一項に記載のモデル検証方法。
［８］前記第２判定結果は、前記第１の人物が前記第１判定結果を生成するための判定を行った後に、異なるデータについて判定してから前記検証データについて再び判定することによって生成される、上記［１］から［７］までのいずれか一項に記載のモデル検証方法。
［９］上記［１］から［８］までのいずれか一項に記載のモデル検証方法をプロセッサに実行させる、モデル検証プログラム。
［１０］上記［１］から［８］までのいずれか一項に記載のモデル検証方法を実行する制御部を備える、情報処理装置。
［１１］上記［１］から［８］までのいずれか一項に記載のモデル検証方法を実行することによって妥当であると決定された、モデル。
［１２］上記［１］から［８］までのいずれか一項に記載のモデル検証方法を実行することによって妥当であると決定されたモデルによってウェーハの合否を判定するステップを含む、ウェーハの製造方法。
［１３］上記［１］から［８］までのいずれか一項に記載のモデル検証方法を実行することによって妥当であると決定されたモデルによって合格と判定された、ウェーハ。

【発明の効果】

【0007】

本開示に係るモデル検証方法、モデル検証プログラム、情報処理装置、モデル、ウェーハの製造方法、及びウェーハによれば、製品の品質が向上され得る。

【図面の簡単な説明】

【0008】

【図1】本開示の一実施形態に係る判定システムの構成例を示すブロック図である。

【図2】ウェーハのＬＰＤのマップの一例である。

【図3】ユーザによって不合格と判定されたＬＰＤのマップの一例である。

【図4】ユーザによって合格と判定されたＬＰＤのマップの一例である。

【図5】ユーザによる１回目の判定で不合格と判定されたものの２回目の判定で合格と判定されたＬＰＤのマップの一例である。

【図6】ユーザによる１回目の判定で合格と判定されたものの２回目の判定で不合格と判定されたＬＰＤのマップの一例である。

【図7】本開示の一実施形態に係るモデル検証方法の手順例を示すフローチャートである。

【図8】真の分類と判定結果との関係が４つの類型に分類されることを説明する図である。

【図9】学習データに関連づけられた第１判定結果における合否の数と、学習データをモデルに入力して得られたモデル判定結果における合否の数との関係を分類した図である。

【図10】第１判定結果における合否の数と、学習データからランダムに抽出したデータを判定して得られた第２判定結果における合否の数との関係を分類した図である。

【発明を実施するための形態】

【0009】

（判定システム１の構成例）
図１に示されるように、判定システム１は、情報処理装置１０と、測定装置２０とを備える。測定装置２０は、ウェーハ等の製品を製造する工程において、製品の特性を測定する。情報処理装置１０は、測定装置２０から測定結果を取得する。情報処理装置１０は、測定した製品を少なくとも２つに分類するためのモデルを生成する。モデルは、製品の測定結果のデータが入力されたときにその製品がどの分類に属するかを判定した結果を出力するように構成される。

【0010】

モデルは、例えば、製品が出荷基準を満たしているかを判定した結果を出力するように構成されてよい。製品がウェーハである場合、モデルは、ウェーハが出荷基準を満たしているか否かを判定した結果を出力するように構成されてよい。この場合の分類は、合格か不合格かという最も単純な分類である。モデルは、例えば、製品を複数の品質等級に分類してもよい。製品がウェーハである場合、モデルは、例えばウェーハの表面の品質に基づいてウェーハがデバイス用途で用いられる等級であるか、モニタ用途で用いられる等級であるかを判定した結果を出力するように構成されてよい。

【0011】

本実施形態に係る情報処理装置１０は、ウェーハが出荷基準を満たしているかを判定する。つまり、情報処理装置１０は、ウェーハの合否を判定する。情報処理装置１０の判定対象は、ウェーハに限られず、種々の工業製品であってよいし、農産物又は海産物等の種々の物品であってもよい。

【0012】

＜情報処理装置１０＞
情報処理装置１０は、制御部１２を備える。制御部１２は、少なくとも１つのプロセッサを含んでよい。プロセッサは、制御部１２の種々の機能を実現するプログラムを実行しうる。プロセッサは、単一の集積回路として実現されてよい。集積回路は、ＩＣ（Integrated Circuit）とも称される。プロセッサは、複数の通信可能に接続された集積回路及びディスクリート回路として実現されてよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。

【0013】

情報処理装置１０は、記憶部１４を更に備える。記憶部１４は、磁気ディスク等の電磁記憶媒体を含んでよいし、半導体メモリ又は磁気メモリ等のメモリを含んでもよい。記憶部１４は、非一時的なコンピュータ読み取り可能媒体を含んでよい。記憶部１４は、測定装置２０から取得した測定データ等の各種情報及び制御部１２で実行されるプログラム等を格納する。記憶部１４は、制御部１２のワークメモリとして機能してよい。記憶部１４の少なくとも一部は、制御部１２に含まれてよい。記憶部１４の少なくとも一部は、情報処理装置１０と別体の記憶装置として構成されてもよい。

【0014】

情報処理装置１０は、測定装置２０との間でデータを送受信する通信部を更に備えてもよい。通信部は、測定装置２０と通信可能に接続される。通信部は、測定装置２０とネットワークを介して通信可能に接続されてよい。通信部は、測定装置２０と有線又は無線で通信可能に接続されてよい。通信部は、ネットワーク又は測定装置２０と接続する通信モジュールを備えてよい。通信モジュールは、ＬＡＮ（Local Area Network）等の通信インタフェースを備えてよい。通信モジュールは、赤外線通信又はＮＦＣ（Near Field communication）通信等の非接触通信の通信インタフェースを備えてもよい。通信モジュールは、４Ｇ又は５Ｇ等の種々の通信方式による通信を実現してもよい。通信部が実行する通信方式は、上述の例に限られず、他の種々の方式を含んでもよい。通信部の少なくとも一部は、制御部１２に含まれてよい。

【0015】

入力部１６は、ユーザの入力を受け付け、ユーザが入力した情報を制御部１２に出力する。入力部１６は、ユーザから情報の入力を受け付ける入力デバイスを含んで構成されてよい。入力デバイスは、例えば、タッチパネル若しくはタッチセンサ、又はマウス等のポインティングデバイスを含んで構成されてよい。入力デバイスは、物理キーを含んで構成されてもよい。入力デバイスは、マイク等の音声入力デバイスを含んで構成されてもよい。

【0016】

出力部１８は、制御部１２による判定結果を出力する。出力部１８は、ユーザが測定装置２０の測定データを見て判定を入力できるように測定データを表示してもよい。出力部１８は、例えば、画像又は文字若しくは図形等の視覚情報を出力する表示デバイスを含んでよい。表示デバイスは、例えば、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electro-Luminescence）ディスプレイ若しくは無機ＥＬディスプレイ、又は、ＰＤＰ（Plasma Display Panel）等を含んで構成されてよい。表示デバイスは、これらのディスプレイに限られず、他の種々の方式のディスプレイを含んで構成されてよい。表示デバイスは、ＬＥＤ（Light Emitting Diode）又はＬＤ（Laser Diode）等の発光デバイスを含んで構成されてよい。表示デバイスは、他の種々のデバイスを含んで構成されてよい。

【0017】

＜測定装置２０＞
測定装置２０は、ウェーハの表面に存在するＬＰＤ（Light Point Defect）を検出してＬＰＤの分布を測定するＬＰＤ評価装置であるとする。ＬＰＤ評価装置として、レーザー式パーティクルカウンターが用いられるとする。

【0018】

ＬＰＤは、ウェーハの結晶引上工程、加工工程、洗浄工程、輸送工程などさまざまな要因において発生し得る。特許文献１に示されるように、ウェーハ上に偏って分布する「偏在ＬＰＤ」が、現時点では影響がなくても、将来、半導体デバイスの配線パターンの微細化が進んだ場合等に、問題を生じる可能性はある。

【0019】

測定装置２０は、ウェーハのＬＰＤの分布の測定データを情報処理装置１０に出力する。ウェーハのＬＰＤの分布の測定データは、例えば図２に示されるようにウェーハ上のマップとして表される。測定装置２０は、ウェーハ表面を、例示されているように複数の領域に分けて、各領域に含まれるＬＰＤの数を測定データとして出力してもよい。図２において、ウェーハ表面は、外から内に向けて「ＲＩＮＧ１」、「ＲＩＮＧ２」、「ＲＩＮＧ３」及び「ＲＩＮＧ４」として表されている同心円状の領域を更に８つに分けた領域を含む。また、ウェーハ表面は、中心の「ＤＩＳＫ」と表される領域を更に３つに分けた領域と、最外周の「ＯＴＨＥＲ」と表される領域とを含む。図２において、ウェーハ表面は、３６個の領域に分けられている。測定装置２０は、例えば２５枚、５０枚、１００枚又は２００枚等の複数のウェーハをまとめて製造するロットにおいて、ウェーハのＬＰＤの分布からマップを生成してもよい。マップは１枚でも、複数枚を重ねて生成して良い。測定装置２０は、ロットのウェーハのＬＰＤの分布のマップにおいて各領域に含まれるＬＰＤの数を測定データとして出力してもよい。

【0020】

（情報処理装置１０の動作例）
情報処理装置１０の制御部１２は、ウェーハのＬＰＤの分布の測定データに基づいて、ウェーハの合否を判定する。ウェーハの量産工程において、ウェーハ毎にＬＰＤの分布の測定データに基づいて合否を判定することは、作業効率及び必要感度確保の観点から難しい。そこで、複数のウェーハのＬＰＤの分布を重ね合わせた測定データに基づいてロット毎の合否が判定される。制御部１２は、ロット毎のＬＰＤの測定データを入力して合否の判定結果を出力するモデルを生成し、モデルを用いてウェーハの合否をロット毎に判定する。以下、具体的な動作例が説明される。

【0021】

＜モデルの生成＞
制御部１２は、測定装置２０からロットのＬＰＤの測定データを取得して出力部１８に表示させる。ユーザは、ロットのＬＰＤの測定データを確認してそのロットの合否を判定する。制御部１２は、ユーザによるロットの合否の判定結果を入力部１６で受け付ける。ユーザに判定させた測定データは、学習データとも称される。ユーザによるロットの合否の判定結果は、第１判定結果とも称される。制御部１２は、学習データと第１判定結果とを関連づけた教師データを生成する。

【0022】

図３に例示される２つのＬＰＤのマップは、ユーザによって不合格であると判定されたデータであり、不合格の判定結果に関連づけられる。図４に例示される２つのＬＰＤのマップは、ユーザによって合格であると判定されたデータであり、合格の判定結果に関連づけられる。図示されているＬＰＤのマップにおいて黒い点は測定装置２０で検出されたＬＰＤの位置を表している。

【0023】

制御部１２は、教師データを用いた学習によってモデルを生成する。制御部１２は、機械学習による学習済みモデルをモデルとして生成してよい。機械学習は、深層学習を含んでもよい。モデルは、機械学習による学習済みモデルに限られず、例えばデータベース型のモデル等の他の種々のモデルとして生成されてもよい。モデルは、ＬＰＤの測定データを入力したときに、その測定データを取得したロットの合否の判定結果を出力するように構成される。モデルに入力される測定データは、入力データとも称される。モデルが出力する判定結果は、モデル判定結果とも称される。

【0024】

本実施形態において、モデルはロットを合格及び不合格の２つの分類のどちらの分類に属するかの判定結果を出力するように構成される。モデルは、学習データが少なくとも２つの分類のうちのどの分類に属するかをユーザに判定させた結果を教師データとして用いることによって生成されてよい。この場合、モデルは、入力データが少なくとも２つの分類のうちどの分類に属するかを判定するように構成される。

【0025】

＜モデルの検証＞
制御部１２は、生成したモデルを検証する。具体的に、制御部１２は、教師データとして用いた学習データを生成したモデルに入力し、モデル判定結果を取得する。制御部１２は、モデル判定結果と、入力した学習データに関連づけられている第１判定結果とを比較する。制御部１２は、複数の学習データをモデルに入力してモデル判定結果を取得し、モデル判定結果を各学習データに関連づけられている第１判定結果と比較する。制御部１２は、モデル判定結果と第１判定結果との一致率を算出する。モデル判定結果と第１判定結果との一致率は、第１一致率とも称される。制御部１２は、第１一致率が所定の閾値以上である場合、生成したモデルをロットの合否判定に実際に使用できると判定してよい。所定の閾値は、例えば９５％等に設定されてよいがこれに限られず種々の値に設定されてよい。

【0026】

ここで、測定データに基づくロットの合否判定がばらつくことがある。例えば、測定データに示されているＬＰＤの分布が合格ロットの分布とも不合格ロットの分布とも判断される分布となっていることがある。このような測定データは、実際は合格であるにもかかわらず不合格であると判定されたり、実際は不合格であるにもかかわらず合格であると判定されたりし得る。

【0027】

本実施形態において、制御部１２は、ユーザに学習データの少なくとも一部のデータに基づいてロットの合否を再判定させて、再判定の結果を取得する。ユーザに再判定させる、学習データの少なくとも一部のデータは、検証データとも称される。ロットの合否の再判定の結果は、第２判定結果とも称される。第１判定結果と第２判定結果とで合否が異なるロットは、合否判定がばらつくロットである。例えば図５に例示される２つのＬＰＤのマップは、第１判定結果で不合格と判定され、第２判定結果で合格と判定されたデータである。また、図６に例示される２つのＬＰＤのマップは、第１判定結果で合格と判定され、第２判定結果で不合格と判定されたデータである。

【0028】

第１判定結果を生成するために判定するユーザと第２判定結果を生成するために判定するユーザとは、同一人物であり、所定の人物とも称される。後述するように、第１判定結果を生成するために判定するユーザと第２判定結果を生成するために判定するユーザとは、異なる人物であってもよい。所定の人物は、学習データに基づいて第１判定結果を生成するための判定を行った後に所定の期間を空けて、学習データの少なくとも一部のデータ（検証データ）に基づいて第２判定結果を生成するための判定を行ってよい。所定の期間は、例えば２週間等に設定されてよい。所定の期間は、人間の忘却曲線に基づいて設定されてよい。所定の人物が２回の判定を実行する間に所定の期間を空けることによって、１回目の判定結果が２回目の判定結果に影響を及ぼしにくくなる。本実施形態において、１回目の判定から２週間空けて２回目の判定が実行された。

【0029】

また、所定の人物は、学習データに基づいて第１判定結果を生成するための判定を行った後に、学習データとは異なるデータに基づく判定を実行してから、検証データに基づいて第２判定結果を生成するための判定を行ってよい。所定の人物が２回の判定を実行する間に異なるデータに基づく判定を実行することによって、１回目の判定結果が２回目の判定結果に影響を及ぼしにくくなる。

【0030】

制御部１２は、第１判定結果と第２判定結果との一致率を算出する。第１判定結果と第２判定結果との一致率は、第２一致率とも称される。制御部１２は、第１一致率が第２一致率以上である場合に、モデルが妥当であると決定してよい。制御部１２は、妥当であると決定したモデルを用いてロットの合否を判定してよい。

【0031】

（モデル検証方法の手順例）
情報処理装置１０の制御部１２は、図７に例示されるフローチャートの手順を含むモデル検証方法を実行することによってモデルを生成し検証してよい。モデル検証方法は、制御部１２に実行させるモデル検証プログラムとして実現されてもよい。

【0032】

制御部１２は、学習データと第１判定結果とを関連づけた教師データを取得する（ステップＳ１）。制御部１２は、教師データに基づく学習によってモデルを生成する（ステップＳ２）。制御部１２は、生成したモデルに学習データを入力してモデル判定結果を取得する（ステップＳ３）。制御部１２は、第１判定結果とモデル判定結果との一致率（第１一致率）を算出する（ステップＳ４）。

【0033】

制御部１２は、ユーザに検証データを再判定させて第２判定結果を取得する（ステップＳ５）。制御部１２は、第１判定結果と第２判定結果との一致率（第２一致率）を算出する（ステップＳ６）。制御部１２は、第１一致率が第２一致率以上であるか判定する（ステップＳ７）。制御部１２は、第１一致率が第２一致率以上でない場合（ステップＳ７：ＮＯ）、モデルが妥当でないとみなしてステップＳ２の手順に戻り、モデルを生成しなおす。制御部１２は、第１一致率が第２一致率以上である場合（ステップＳ７：ＹＥＳ）、モデルが妥当であると決定する（ステップＳ８）。制御部１２は、妥当であると決定したモデルをロットの合否判定に適用する。制御部１２は、ステップＳ８の手順の実行後、図７のフローチャートの手順の実行を終了する。

【0034】

（モデルの検証の他の実施態様）
制御部１２は、検証データの中から、第１判定結果と第２判定結果とが一致する場合のデータを判定一致データとして抽出してよい。判定一致データは、学習データの少なくとも一部のデータである。制御部１２は、学習データをモデルに入力して得られたモデル判定結果のうち、判定一致データをモデルに入力して得られる判定結果に基づいてモデルが妥当であるか判定してよい。具体的に、制御部１２は、判定一致データをモデルに入力して得られる判定結果と第１判定結果との一致率を算出する。制御部１２は、判定一致データをモデルに入力して得られる判定結果と第１判定結果との一致率が一致閾値以上である場合にモデルが妥当であると判定してよい。一致閾値は、例えば９０％又は９５％等に設定されてよいがこれに限られず種々の値に設定されてよい。この値は、不合格ロット流出時の損失を考慮して設定されるのが一般的理解であるが、官能検査における人間の判定のばらつき、端的には第２一致率を考慮に加えて設定されるのが望ましい。

【0035】

制御部１２は、学習データの中から第１判定結果及び第２判定結果の両方で不合格と判定されたデータを抽出してよい。制御部１２は、第１判定結果及び第２判定結果の両方で不合格と判定されたデータをモデルに入力した場合に不合格と判定されるデータ割合を再現率として算出してよい。制御部１２は、算出した再現率が再現閾値以上である場合にモデルが妥当であると判定してよい。再現閾値が高いほど、モデルをロットの合否の判定に適用した場合に実際には不合格であるロットが合格と判定されて流出する可能性が低くなる。

【0036】

（まとめ）
以上述べてきたように、本実施形態に係る情報処理装置１０は、第１判定結果と第２判定結果とモデル判定結果とに基づいてモデルが妥当であるか判定する。つまり、情報処理装置１０は、ユーザが判定を２回実行した結果に基づいてモデルの妥当性を検証できる。ユーザが判定を２回実行することによって、判定対象となるデータの中に明確に分類できないデータが存在することが可視化され得る。教師データとして用いたユーザの１回目の判定結果がモデルの判定結果に一致する確率がユーザの２回目の判定結果に一致する確率よりも高い場合、モデルはユーザよりも安定して判定できるといえる。したがって、本実施形態において第１判定結果と第２判定結果とモデル判定結果とに基づいてモデルが妥当であるか判定されることによって、モデルの判定精度が向上され得る。その結果、モデルで判定する製品の品質が向上され得る。

【0037】

（実施例）
本実施形態に係る判定システム１において、ウェーハの合否を判定するモデルを検証する実施例が説明される。真の合否が分かっているサンプルに対して判定を実行して判定結果が取得される場合、図８に示されるように、４つの類型に分類される。真の分類が「不合格」であるサンプルを「不合格」とする判定は、真陽性（ＴＰ）に分類される。真の分類が「不合格」であるサンプルを「合格」とする判定は、偽陰性（ＦＮ）に分類される。真の分類が「合格」であるサンプルを「不合格」とする判定は、偽陽性（ＦＰ）に分類される。真の分類が「合格」であるサンプルを「合格」とする判定は、真陰性（ＴＮ）に分類される。

【0038】

判定精度は、図８に示される各類型に分類される頻度に基づいて算出される。真陽性に分類された数と真陰性に分類された数との和を全サンプル数で割った値（（ＴＰ＋ＴＮ）／（ＴＰ＋ＴＮ＋ＦＰ＋ＦＮ））は、正答率として算出される。正答率は、判定が正しい割合を表す。正答率が高いほど判定精度が高いといえる。

【0039】

真陽性に分類された数を真陽性と偽陽性とに分類された数で割った値（ＴＰ／（ＴＰ＋ＦＰ））は、適合率として算出される。適合率は、「不合格」と判定されたサンプルのうち実際に「不合格」であるサンプルの割合を表す。適合率が高いほど製品が無駄に廃棄される可能性が低くなる。

【0040】

真陽性に分類された数を真陽性と偽陰性とに分類された数で割った値（ＴＰ／（ＴＰ＋ＦＮ））は、再現率として算出される。再現率は、実際に「不合格」であるサンプルのうち「不合格」と判定されたサンプルの割合を表す。再現率が高いほど、「不合格」の製品が流出する可能性が低くなる。

【0041】

適合率と再現率は、判定の閾値次第でトレードオフの関係にあるため、両者を総合的に考慮したＦ値が判定精度の指標として用いられている。Ｆ値は、適合率と再現率の調和平均で定義される。

【0042】

図９に示されるように、情報処理装置１０がモデルを生成するために用いた教師データに含まれる第１判定結果における合否と、教師データに含まれる学習データをモデルに入力して得られたモデル判定結果における合否とが集計された。

【0043】

第１判定結果で「不合格」と判定されたデータのうち、モデル判定結果でも「不合格」と判定されたデータは２６個であった。一方で、第１判定結果と異なりモデル判定結果で「合格」と判定されたデータは３個であった。また、第１判定結果で「合格」と判定されたデータのうち、モデル判定結果でも「合格」と判定されたデータは２９４８個であった。一方で、第１判定結果と異なりモデル判定結果で「不合格」と判定されたデータは８個であった。

【0044】

第１判定結果及びモデル判定結果のどちらが真の判定結果を表しているか不明である。そこで、図９に例示されるデータに基づいて、第１判定結果とモデル判定結果とが一致する割合として正答率ではなく一致率が算出される。一致率は、（２６＋２９４８）／（２６＋２９４８＋３＋８）＝９９．６％と算出される。また、適合率は、２６／（２６＋８）＝７６．５％と算出される。また、再現率は、２６／（２６＋３）＝８９．７％と算出される。適合率と再現率の調和平均により、Ｆ値は８２．５％と算出される。

【0045】

一方で、図１０に示されるように、第１判定結果における合否と、教師データに含まれる学習データをユーザに再判定させて得られた第２判定結果における合否とが集計された。ユーザが全数を再判定することは、ユーザの作業負荷に鑑みて困難である。そこで、全部で２９８５個のサンプルの中からランダムに抽出された１０００個のサンプルについてユーザによる再判定が実行された。したがって、サンプル数は１０００個となっている。

【0046】

第１判定結果で「不合格」と判定されたデータのうち、モデル判定結果でも「不合格」と判定されたデータは６個であった。一方で、第１判定結果と異なりモデル判定結果で「合格」と判定されたデータは５個であった。また、第１判定結果で「合格」と判定されたデータのうち、モデル判定結果でも「合格」と判定されたデータは９８５個であった。一方で、第１判定結果と異なりモデル判定結果で「不合格」と判定されたデータは４個であった。

【0047】

第１判定結果及び第２判定結果のどちらが真の判定結果を表しているか不明である。そこで、図１０に例示されるデータに基づいて、第１判定結果と第２判定結果とが一致する割合として正答率ではなく一致率が算出される。一致率は、（６＋９８５）／１０００＝９９．１％と算出される。また、適合率は、６／（６＋４）＝６０．０％と算出される。また、再現率は、６／（６＋５）＝５４．５％と算出される。適合率と再現率の調和平均により、Ｆ値は５７．１％と算出される。

【0048】

図９及び図１０に示される判定結果によれば、情報処理装置１０が生成したモデルの判定結果（モデル判定結果）とユーザの１回目の判定結果（第１判定結果）との一致率（第１一致率）は、第１判定結果と第２判定結果との一致率（第２一致率）よりも高い。第２一致率は、ユーザの判断のばらつきを表す。したがって、一致率を考慮すれば、モデルによる判断のばらつきは、ユーザによる判断のばらつきよりも少ないといえる。その結果、モデルが妥当であると判断され得る。また、Ｆ値についても、情報処理装置１０が生成したモデルのほうが、ユーザの判断のばらつきを含むＦ値よりも高く、同様にモデルが妥当であると判断され得る。

【0049】

（他の実施形態）
本実施形態に係る情報処理装置１０がモデル検証方法を実行することによって妥当であると決定されたモデルが、ウェーハの合否判定に用いられる。したがって、情報処理装置１０がモデル検証方法を実行することによって妥当であると決定されたモデルによってウェーハの合否を判定するステップを含むウェーハの製造方法が実現される。また、情報処理装置１０がモデル検証方法を実行することによって妥当であると決定されたモデルによって合格と判定されたウェーハが実現される。

【0050】

判定システム１において、第１判定結果を生成するための判定を実行するユーザと、第２判定結果を生成するための判定を実行するユーザとは、異なってもよい。第１判定結果を生成するための判定を実行するユーザは、第１の人物とも称される。第２判定結果を生成するための判定を実行するユーザは、第２の人物とも称される。つまり、判定システム１において、第１の人物又は第２の人物の少なくとも一方のユーザが第２判定結果を生成するための判定を実行してよい。また、ユーザによって判定が２回実行される実施形態が説明されたが、判定が３回以上実行されてもよい。判定が３回以上実行された場合、複数の判定が全て一致したサンプル数で一致率が算出されてよい。また、複数の判定結果の比較に基づいて適合率、再現率、又はＦ値が算出されてもよい。

【0051】

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は改変を行うことが可能であることに注意されたい。従って、これらの変形又は改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。

【0052】

本開示に含まれるグラフは、模式的なものである。スケールなどは、現実のものと必ずしも一致しない。

【産業上の利用可能性】

【0053】

本開示に係る実施形態によれば、製品の品質が向上され得る。

【符号の説明】

【0054】

１ 判定システム
１０ 情報処理装置（１２：制御部、１４：記憶部、１６：入力部、１８：出力部）
２０ 測定装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】