(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-10-24
(54)【発明の名称】可解釈な深層学習ベース欠陥検出及び分類
(51)【国際特許分類】
H01L 21/66 20060101AFI20231017BHJP
H01J 37/22 20060101ALI20231017BHJP
G06T 7/00 20170101ALI20231017BHJP
G06V 10/82 20220101ALI20231017BHJP
【ＦＩ】
H01L21/66 J
H01J37/22 502H
G06T7/00 350C
G06T7/00 610B
G06V10/82
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023517330
(86)(22)【出願日】2021-09-15
(85)【翻訳文提出日】2023-03-15
(86)【国際出願番号】 US2021050563
(87)【国際公開番号】W WO2022066489
(87)【国際公開日】2022-03-31
(31)【優先権主張番号】17/033,887
(32)【優先日】2020-09-27
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】500049141
【氏名又は名称】ケーエルエー コーポレイション
(74)【代理人】
【識別番号】110001210
【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所
(72)【発明者】
【氏名】チャン ジョウ
(72)【発明者】
【氏名】フー リイ
(72)【発明者】
【氏名】ベンカタラマン サンカー
【テーマコード（参考）】
4M106
5C101
5L096
【Ｆターム（参考）】
4M106AA01
4M106BA02
4M106DB05
4M106DH24
4M106DH33
4M106DJ11
4M106DJ21
4M106DJ26
5C101AA03
5C101AA07
5C101BB03
5C101FF02
5C101GG05
5C101HH11
5C101HH24
5C101HH25
5C101HH36
5C101JJ04
5C101JJ08
5C101KK19
5L096BA03
5L096DA02
5L096HA08
5L096HA11
5L096KA04
(57)【要約】
深層学習ニューラルネットワークを用いなされる、検出／分類アルゴリズムについての説明により、形成される結果を明瞭化すると共にユーザを助け、欠陥検出／分類モデル性能問題の根本原因を識別させる。関連度マップが、層毎関連度伝播アルゴリズムに基づき決定される。その関連度マップとグランドトゥルースとの間の平均積集合和集合比スコアが決定される。それら半導体画像のうち１枚のなかでその深層学習モデルを用いての分類に寄与した部分が、それら関連度マップ及び平均積集合和集合比スコアに基づき特定される。
【特許請求の範囲】
【請求項1】
方法であって、深層学習モデルと共にプロセッサを用い、複数枚の半導体画像を対象にして欠陥検出及び分類を実行し、
前記プロセッサを用い、前記深層学習モデルに由来する前記半導体画像に対し層毎関連度伝播アルゴリズムを適用し、
前記プロセッサを用い、前記層毎関連度伝播アルゴリズムに基づき関連度マップを決定し、
前記プロセッサを用い、前記関連度マップとグランドトゥルースとの間の平均積集合和集合比スコアを決定し、且つ
前記プロセッサを用い、前記半導体画像のうち１枚のなかで前記深層学習モデルを用いての前記分類に寄与した部分を前記関連度マップ及び前記平均積集合和集合比スコアに基づき特定する、
方法。
【請求項2】
請求項１に記載の方法であって、前記関連度マップが出力層の関連度と早期層の関連度とに基づくものである方法。
【請求項3】
請求項２に記載の方法であって、前記関連度マップが正規化される方法。
【請求項4】
請求項２に記載の方法であって、前記早期層の関連度が、Ｒｉを第１層にあるニューロンｉの関連度、Ｒｊを第２層にあるニューロンｊの関連度、ａｉを前記ニューロンｉの活性値、ｗｉｊを前記ニューロンｉ・前記ニューロンｊ間の荷重とする等式【数1】
【請求項5】
請求項１に記載の方法であって、更に、前記プロセッサを用い前記複数枚の半導体画像を平滑化する方法。
【請求項6】
請求項１に記載の方法であって、更に、前記深層学習モデルに係る訓練画像のアノテーションを変化させる方法。
【請求項7】
請求項１に記載の方法であって、更に、前記深層学習モデルに係る訓練画像のクラスコードを変化させる方法。
【請求項8】
請求項１に記載の方法であって、更に、電子ビームを用いるウェハ検査ツールで以て前記半導体画像を生成する方法。
【請求項9】
ウェハ検査ツールであって、エネルギビームを生成するエネルギビーム源と、
ウェハを保持するよう構成されたステージと、
前記ウェハから戻ってきた前記エネルギビームを受け取る検出器と、
前記検出器と電子通信するプロセッサと、
を備え、前記プロセッサが、
前記検出器から受け取ったデータを用い複数枚の半導体画像を生成し、
深層学習モデルを用い前記複数枚の半導体画像を対象にして欠陥検出及び分類を実行し、
前記深層学習モデルに由来する前記半導体画像に対し層毎関連度伝播アルゴリズムを適用し、
前記層毎関連度伝播アルゴリズムに基づき関連度マップを決定し、
前記関連度マップとグランドトゥルースとの間の平均積集合和集合比スコアを決定し、且つ
前記半導体画像のうち１枚のなかで前記深層学習モデルを用いての前記分類に寄与した部分を前記関連度マップ及び前記平均積集合和集合比スコアに基づき特定するよう、
構成されているウェハ検査ツール。
【請求項10】
請求項９に記載のウェハ検査ツールであって、前記関連度マップが出力層の関連度と早期層の関連度とに基づくものであるウェハ検査ツール。
【請求項11】
請求項１０に記載のウェハ検査ツールであって、前記関連度マップが正規化されるウェハ検査ツール。
【請求項12】
請求項１０に記載のウェハ検査ツールであって、前記早期層の関連度が、Ｒｉを第１層にあるニューロンｉの関連度、Ｒｊを第２層にあるニューロンｊの関連度、ａｉを前記ニューロンｉの活性値、ｗｉｊを前記ニューロンｉ・前記ニューロンｊ間の荷重とする等式【数2】
【請求項13】
請求項９に記載のウェハ検査ツールであって、前記エネルギビームが電子ビームであり前記エネルギビーム源が電子ビーム源であるウェハ検査ツール。
【請求項14】
非一時的コンピュータ可読格納媒体であって、１個又は複数個の情報処理デバイス上で以下の諸ステップ、即ち深層学習モデルを用い複数枚の半導体画像を対象にして欠陥検出及び分類を実行するステップ、
前記深層学習モデルに由来する前記半導体画像に対し層毎関連度伝播アルゴリズムを適用するステップ、
前記層毎関連度伝播アルゴリズムに基づき関連度マップを決定するステップと、
前記関連度マップとグランドトゥルースとの間の平均積集合和集合比スコアを決定するステップ、並びに
前記半導体画像のうち１枚のなかで前記深層学習モデルを用いての前記分類に寄与した部分を前記関連度マップ及び前記平均積集合和集合比スコアに基づき特定するステップ、
を実行させるための、１個又は複数個のプログラムが備わる非一時的コンピュータ可読格納媒体。
【請求項15】
請求項１４に記載の非一時的コンピュータ可読格納媒体であって、前記関連度マップが出力層の関連度と早期層の関連度とに基づくものである非一時的コンピュータ可読格納媒体。
【請求項16】
請求項１５に記載の非一時的コンピュータ可読格納媒体であって、前記関連度マップが正規化される非一時的コンピュータ可読格納媒体。
【請求項17】
請求項１５に記載の非一時的コンピュータ可読格納媒体であって、前記早期層の関連度が、Ｒｉを第１層にあるニューロンｉの関連度、Ｒｊを第２層にあるニューロンｊの関連度、ａｉを前記ニューロンｉの活性値、ｗｉｊを前記ニューロンｉ・前記ニューロンｊ間の荷重とする等式【数3】
【請求項18】
請求項１４に記載の非一時的コンピュータ可読格納媒体であって、更に、電子ビームを用いるウェハ検査ツールからのデータを用い前記半導体画像を生成するステップを有する、非一時的コンピュータ可読格納媒体。【発明の詳細な説明】
【技術分野】
【0001】
本件開示は半導体製造向けプロセス制御に関する。
【背景技術】
【0002】
半導体製造業界の発展につれ歩留まり管理、とりわけ計量及び検査システムに対する要請が強まっている。限界寸法が縮まり続けているのに、業界にはより短時間で高歩留まり高付加価値生産を達成することが求められている。歩留まり問題を察知してからそれを正すまでの合計時間を縮めることが、半導体製造業者にとり投資収益率の決め手である。
【0003】
半導体デバイス、例えば論理及び記憶デバイスを製造する際には、通常、多数の製造プロセスを用い半導体ウェハを処理することで、それら半導体デバイスの様々なフィーチャ（外形特徴）及び複数の階層が形成される。例えばリソグラフィなる半導体製造プロセスにおいては、半導体ウェハ上に配置されたフォトレジストへと、レティクルからパターンが転写される。半導体製造プロセスの更なる例には、これに限られるものではないが化学機械研磨（ＣＭＰ）、エッチング、堆積及びイオンインプランテーションがある。１枚の半導体ウェハ上に作成され配列をなしている複数個の半導体デバイスを分け、個別の半導体デバイスにすることができる。
【0004】
検査プロセスは半導体製造中の様々な工程にて用いられており、それによりウェハ側の欠陥を検出することで、その製造プロセスにおける歩留まり向上、ひいては利益向上を促進することができる。検査は、常に、半導体デバイス例えば集積回路（ＩＣ）の製造の重要部分とされてきた。しかしながら、半導体デバイスの寸法が縮小されるにつれ、より小さな欠陥でもデバイスの不調が生じかねないとの理由で、許容しうる半導体デバイスの首尾よい製造のために検査がかつてなく重要になってきている。例えば、半導体デバイスの寸法縮小につれ、より小サイズの欠陥の検出が必要になってきたのは、比較的小さな欠陥でさえもそれら半導体デバイスに不要な誤差を引き起こしかねないからである。
【0005】
デザインルールが縮小されるにつれ、反面で、半導体製造プロセスがそれらプロセスの性能ケイパビリティ上の限界により近いところで稼働することになりうる。加えて、デザインルールが縮小されるにつれ、より小さな欠陥がそれらデバイスの電気的パラメタに影響を及ぼしうるようになり、ひいては検査の高感度化へと駆り立てられる。デザインルールが縮小されるにつれ、検査により検出される潜在的歩留まり関連欠陥の個体群が劇的に成長し、検査により検出されるヌーサンス欠陥の個体群も劇的に増大する。そのため、より多くの欠陥がそれらウェハ上で検出されることとなること、ひいてはそれらのプロセスを正すことによる全欠陥の解消が困難且つ高価になることがある。何れの欠陥がそれらデバイスの電気的パラメタ及び歩留まりに対し実際に影響するのかを判別することで、それらの欠陥に集中しつつ他の欠陥を概ね無視するプロセス制御方法とすることができよう。更に、小さめなデザインルールでは、プロセス誘起不調が、場合にもよるが系統的となる傾向がある。即ち、プロセス誘起不調には、デザイン内でしばしば多数回反復される所定のデザインパターンにて、不調となる傾向がある。空間系統的な電気関連欠陥の解消により、歩留まりに対し大きな影響を及ぼすことができる。
【0006】
深層学習モデルを用い、検査画像内の欠陥を識別及び分類することができる。しかしながら、その分類結果を、ネットワークアーキテクチャの随所でステップバイステップ確認に供することができない。深層学習モデルの内部動作は「隠れている」ので、その深層学習モデルでの最終決定は、そのネットワーク内のニューロン毎にリトレース（解明）することができず、ユーザには知らされない。質を増強するにはより多くの信頼を提供することが必要である。
【0007】
現在、深層学習モデルの性能は、出力指標を観測して性能問題の原因候補を推量することによって、評価されている。これには訓練ロス曲線の観測を組み込むことができる。検出に当たっては、受信者操作特性（ＲＯＣ）を検出マップと併せ観測すること、ひいてはなぜ欠陥が見落とされたのかを推量することができる。分類に当たっては、そのＲＯＣを混同行列と併せ観測すること、ひいてはなぜ分類に失敗したのかを推量することができる。これらの現用技術を用いユーザが行えるのは、ニューラルネットワークの出力を評価することだけである。ユーザには、なぜそのニューラルネットワークがその決定を下したのかは知らされない。即ち、ユーザがその問題の根本原因を推量する必要があり、それには広範なドメイン知識が必要となる。半導体製造の脈絡においては、ニューラルネットワークがなぜその決定を下したかの説明なしで、性能問題を解明することは難しい。
【先行技術文献】
【非特許文献】
【0008】
【非特許文献1】Bach et al., “On pixel-wise explanations for non-linear classifier decisions by layer-wise relevance propagation,” PloS one 10 (2015)
【非特許文献2】Zintraf et al, “Visualizing Deep Neural Network Decisions: Prediction Difference Analysis” (2017)
【発明の概要】
【発明が解決しようとする課題】
【0009】
そのため、新たな検査及び分類システム及び方法が必要とされている。
【課題を解決するための手段】
【0010】
第１実施形態では方法が提供される。本方法では、深層学習モデルと共にプロセッサを用い、複数枚の半導体画像を対象にして欠陥検出及び分類が実行され、そのプロセッサを用いその深層学習モデルに由来する半導体画像に対し層毎関連度伝播(layer-wise relevance propagation)アルゴリズムが適用され、そのプロセッサを用い関連度マップがその層毎関連度伝播アルゴリズムに基づき決定され、そのプロセッサを用いその関連度マップとグランドトゥルースとの間の平均積集合和集合比(mean intersection over union)スコアが決定され、且つそのプロセッサを用い、それら半導体画像のうち１枚のなかでその深層学習モデルを用いての分類に寄与した部分がそれら関連度マップ及び平均積集合和集合比スコアに基づき特定される。
【0011】
関連度マップは、出力層の関連度と早期層の関連度とに基づくものとすることができる。ある例ではその関連度マップが正規化される。それら早期層の関連度は、等式
を用い、層毎に決定することができる。Ｒｉは第１層にあるニューロンｉの関連度、Ｒｊは第２層にあるニューロンｊの関連度、ａｉはニューロンｉの活性値、ｗｉｊはニューロンｉ・ニューロンｊ間の荷重である。
【数1】
【0012】
本方法にて、更に、そのプロセッサを用いそれら複数枚の半導体画像を平滑化することもできる。
【0013】
本方法にて、更に、その深層学習モデルに係る訓練画像のアノテーション（注釈）を変化させることもできる。
【0014】
本方法にて、更に、その深層学習モデルに係る訓練画像のクラス（階級）コードを変化させることもできる。
【0015】
本方法にて、更に、電子ビームを用いるウェハ検査ツールで以てそれら半導体画像を生成することもできる。
【0016】
第２実施形態ではウェハ検査ツールが提供される。本ウェハ検査ツールは、エネルギビームを生成するエネルギビーム源と、ウェハを保持するよう構成されたステージと、そのウェハから戻ってきたエネルギビームを受け取る検出器と、その検出器と電子通信するプロセッサとを備える。そのプロセッサが、その検出器から受け取ったデータを用い複数枚の半導体画像を生成し、深層学習モデルを用いそれら複数枚の半導体画像を対象にして欠陥検出及び分類を実行し、その深層学習モデルに由来する半導体画像に対し層毎関連度伝播アルゴリズムを適用し、関連度マップをその層毎関連度伝播アルゴリズムに基づき決定し、その関連度マップとグランドトゥルースとの間の平均積集合和集合比スコアを決定し、且つそれら半導体画像のうち１枚のなかでその深層学習モデルを用いての分類に寄与した部分をそれら関連度マップ及び平均積集合和集合比スコアに基づき特定するよう、構成される。そのエネルギビームを電子ビームとすることができ、且つそのエネルギビーム源を電子ビーム源とすることができる。
【0017】
関連度マップは出力層の関連度と早期層の関連度とに基づくものとすることができる。その関連度マップを正規化することもできる。それら早期層の関連度は、等式
を用い層毎に決定することができる。Ｒｉは第１層にあるニューロンｉの関連度、Ｒｊは第２層にあるニューロンｊの関連度、ａｉはニューロンｉの活性値、ｗｉｊはニューロンｉ・ニューロンｊ間の荷重である。
【数2】
【0018】
第３実施形態では非一時的コンピュータ可読格納媒体が提供される。この非一時的コンピュータ可読格納媒体には、１個又は複数個の情報処理デバイス上で以下の諸ステップを実行させる１個又は複数個のプログラムが備わる。それらのステップのなかに、深層学習モデルを用い複数枚の半導体画像を対象にして欠陥検出及び分類を実行するステップと、その深層学習モデルに由来する半導体画像に対し層毎関連度伝播アルゴリズムを適用するステップと、関連度マップをその層毎関連度伝播アルゴリズムに基づき決定するステップと、その関連度マップとグランドトゥルースとの間の平均積集合和集合比スコアを決定するステップと、それら半導体画像のうち１枚のなかでその深層学習モデルを用いての分類に寄与した部分をそれら関連度マップ及び平均積集合和集合比スコアに基づき特定するステップとを、含める。
【0019】
関連度マップは出力層の関連度と早期層の関連度とに基づくものとすることができる。その関連度マップを正規化することもできる。それら早期層の関連度は、等式
を用い層毎に決定することができる。Ｒｉは第１層にあるニューロンｉの関連度、Ｒｊは第２層にあるニューロンｊの関連度、ａｉはニューロンｉの活性値、ｗｉｊはニューロンｉ・ニューロンｊ間の荷重である。
【数3】
【0020】
それらステップのなかに、更に、電子ビームを用いるウェハ検査ツールからのデータを用いそれら半導体画像を生成するステップを、含めることができる。
【0021】
本件開示の性質及び目的についてのより遺漏なき理解のためには、後掲の詳細記述と併せ、以下の添付図面を参照すべきである。
【図面の簡単な説明】
【0022】
【図1】相対応する半導体画像例を示す図であり、走査型電子顕微鏡（ＳＥＭ）画像が左側、層毎関連度伝播（ＬＲＰ）画像が中央、ＳＥＭ及びＬＲＰの重ね合わせが右側に示されている。
【図2】本件開示に係る方法実施形態のフローチャートである。
【図3】可視化方法の比較結果を示す図である。
【図4】本件開示に係る潜在的ユーザインタフェースの一実施形態のフローチャートである。
【図5】不正確に分類されるサイトに対処するためのＬＲＰの使用を示す図である。
【図6】クラスに基づく正確なラベルを伴うＬＲＰの使用を示す図である。
【図7】本件開示に係るシステム実施形態の図である。
【発明を実施するための形態】
【0023】
特定の諸実施形態により特許請求の範囲記載の主題につき記述するが、本件開示の技術的範囲内には、本願中で説明される諸利益及び諸特徴が全ては提供されない諸実施形態を含め、他の諸実施形態も存在している。本件開示の技術的範囲から離隔することなく様々な構造的、論理的、処理ステップ的及び電子的改変を施すことができる。従って、本件開示の技術的範囲は専ら別項の特許請求の範囲への参照によって定まる。
【0024】
本願開示の諸実施形態では、ニューラルネットワークを用いる検出／分類アルゴリズムによる結果の説明が提供される。この説明によりユーザ例えば半導体製造業者を支援し、深層学習結果を理解させることや、性能を診断し及び／又は改善するやり方を理解させることができる。欠陥検出／分類モデルの性能問題の根本原因を識別することができ、それによりユーザを支援してそのモデルの性能を改善させることができる。定量的なスコア（平均積集合和集合比（ｍＩｏＵ））を、ＬＲＰマップとグランドトゥルースアノテーションとの間で決定することができる。これにより、そのアノテーションが不正確な場合にユーザに対するアノテーションフィードバックを提供することができる。これによりユーザを案内して検出及び分類性能を改善させることもできる。その結果を用い、ＬＲＰを用いての深層学習ベース欠陥検出及び分類を解釈することができる。
【0025】
図１には相対応する半導体画像例が示されており、そのうち左側がＳＥＭ画像、中央がＬＲＰ画像、右側がＳＥＭとＬＲＰの重ね合わせである。そのＳＥＭ画像中に示されている通り、トレンチ１００は構造（黒い輪郭線で示されているそれ）の中央に位置していない。そのトレンチ１００の位置を理由にして欠陥を検出し又はその欠陥を分類する決定を下す際には、この例の場合、深層学習モデルが重ね合わせ画像のなかで領域１０１（灰色で示されているそれ）を注視する。図１においては、領域１０１によりその深層学習モデルが欠陥の検出／分類へと導かれることとなりうる。本願開示の諸実施形態によれば、領域１０１の識別を助けることができ、ひいてはその深層学習モデルの動作についてのユーザの理解を支援することができる。
【0026】
図２は方法２００のフローチャートである。本方法２００の諸ステップのうち幾つか又は全てをプロセッサ上で実行することができる。２０１では、深層学習モデルを用い半導体画像を対象にして欠陥検出及び分類が実行される。ある例ではその深層学習モデルが畳込みニューラルネットワーク（ＣＮＮ）とされる。半導体画像は、例えば、電子ビームを用いるウェハ検査ツール例えばＳＥＭを用い、生成することができる。
【0027】
その深層学習モデルを訓練画像で以て訓練することができる。それらの訓練画像にアノテーションを付けること、並びにそれら訓練画像をクラスコードによりカテゴリ分けすることができる。
【0028】
２０２では、その深層学習モデルに由来する半導体画像に対しＬＲＰアルゴリズムが適用される。ＬＲＰは、ある標本（例．画像）に亘り計算されたニューラルネットワークによる予測を、その標本の単一入力次元例えば画像のサブ画素群に係る関連度スコアへと分解するフレームワーク（枠組み）である。ＬＲＰアルゴリズムについては非特許文献１に開示されているので、参照によりその全容を繰り入れることにする。
【0029】
順方向パスにおいては、その訓練済ニューラルネットワークにて、その入力がそのネットワークを通じ伝播され、その出力層にて予測がなされることとなる。その出力層の関連度は、調査すべくユーザが選ぶクラスの予測確率であり、それは通常は最大値を伴うものである。最大値は最高確率を伴うものである。言い換えれば、そのネットワークがそのクラスに最も自信を持っていることを意味している。逆方向パスにおいては、早期層の関連度が、等式
を用い逆方向に沿い層毎に計算される。Ｒｉは第１層（例．より早期な層）にあるニューロンｉの関連度、Ｒｊは第２層（例．より後期な層）にあるニューロンｊの関連度、ａｉはニューロンｉの活性値、ｗｉｊはニューロンｉ・ニューロンｊ間の荷重である。
【数4】
【0030】
ある例によれば、そのニューラルネットワークを、約５０層を有するものとすることができる。とはいえ、より多数の層又は少数の層を用いることもできる。
【0031】
２０３では、その層毎関連度伝播アルゴリズムに基づく関連度マップが決定される。関連度（Ｒｊ）は出力層ｊから入力層ｉへと逆方向に（遡行して）計算することができる。その画像層に達するまで反復を実行することができる。その関連度マップは、その出力層の関連度と早期層の関連度とに基づくものとすることができる。その関連度マップを、例えば［０，２５５］間で正規化することができる。例えば関連度マップの例が図３に示されている。
【0032】
翻って図２では、２０４にて、その関連度マップとグランドトゥルースとの間の平均積集合和集合比（ｍＩｏＵ）スコアが決定される。平均積集合(intersection)和集合(union)比は、重なり合い(overlap)の面積を合一体(union)の面積で除算したものである。従って、真陽（トゥルーポジティブ）を、真陽、偽陽（フォールスポジティブ）及び偽陰（フォールスネガティブ）の総和により除算することで、得ることができる。ｍＩｏＵにより、それらネットワーク予測・グランドトゥルース間の重なり合いを判別することができる。そのｍＩｏＵ判別を用い、どの訓練画像又はアノテーションがそのユーザの結果を引き起こしているのを探し出すことができる。
【0033】
正確な訓練画像であれば、ＬＲＰを実行することで高いｍＩｏＵがそれの画像ラベルと併せもたらされるはずであり、不正確な訓練画像であれば低いｍＩｏＵがもたらされるはずである。ハイライト部分はその関連度スコアの部分である。ｍＩｏＵは、その画像の元々のラベルと併せその関連度マップを用い決定される数値である。
【0034】
２０５では、諸半導体画像のうち１枚のなかでその深層学習モデルを用いての分類に寄与した部分が、それら関連度マップ及びｍＩｏＵスコアに基づき特定される。そのｍＩｏＵの閾値は、実行される全画像を対象にして、また閾値未満のｍＩｏＵを有する諸例を見つけて間違ったアノテーションを有する問題含みなＳＥＭ画像を特定することを目的として、設定することができる。
【0035】
例えば図１に半導体画像例が示されている。領域１０１で以て示されている通り、関連度マップ上での可視表示により、その画像のうちそのニューラルネットワークにより用いられた部分についての情報を、提供することができる。そのＬＲＰ関連度マップとｍＩｏＵスコアを用い、入力画像のうちそのニューラルネットワーク決定に寄与している部分を、表示させることができる。原ＳＥＭ画像上への閾値ｍＩｏＵの重ね合わせを用い、その画像のその寄与部分をハイライトすることができる。そのニューラルネットワークにより用いられるグランドトゥルースは、定量的に計測することができる。ユーザは、次ステップについてのガイダンスや、そのニューラルネットワークで以て性能問題を正すやり方についてのそれを、受け取ることができる。なぜ画像が分類されるのか或いはされないのかを判別する際に、この領域１０１によりユーザを案内することができる。
【0036】
ある例によれば、ガウスカーネルその他の技術を用い画像を平滑化した後に、決定・特定をなすことができる。それら画像を前処理してノイズを除去することで、ｍＩｏＵ性能が改善される。
【0037】
本方法２００にて、更に、訓練画像のアノテーションや訓練画像のクラスコードを変化させることもできる。例えば、図１中の領域１０１を基礎として用い、アノテーション又はクラスコードを変化させることができる。非欠陥エリアが検出に寄与した場合にアノテーションを変化させることができる。画像が不正確なクラスコードに寄与している場合にクラスコードを変化させることができる。それによりその欠陥検出又は分類が改善されそうな場合に、より多数の訓練画像を、特定の構造又は欠陥クラス向けに用いることもできる。例えば、その構造がそのニューラルネットワークにより用いられない場合や関連度マップ値が低くてほとんど０である場合に、構造についての、より多数の訓練画像を、そのニューラルネットワークに供給することができる。
【0038】
例えば、クラスＡ・クラスＢ間誤分類が、訓練画像におけるクラスＣのアノテーションにより引き起こされることがある。ＬＲＰ関連度マップをもとに、その画像のうちクラスＣに寄与しそうな部分を特定することができる。
【0039】
ＬＲＰについて開示したが、他の深層学習可視化方法でも、本願開示の諸実施形態を用いることができる。従って、ＧｒａｄＣａｍ、デコンボリューション及びＧｕｉｄｅｄ－Ｂｐの何れでも、本願開示の諸実施形態から利を得ることができる。ＬＲＰは合焦状態の改善が発揮されるものであり、有用な情報が捕捉される傾向がある。図３に示されている通り、ＧｒａｄＣａｍと比べＬＲＰではより詳細な情報が捉えられており、それが諸結果に寄与しうる。図３中のＤｉｆｆは非特許文献２に記載されている予測差分分析であり、参照によりその全容を繰り入れることにする。ＬＲＰではＤｉｆｆに比べ改善された結果がもたらされている。Ｇｕｉｄｅｄ－Ｂｐと比べＬＲＰではより連続的な関連度マップが示されているのに対し、Ｇｕｉｄｅｄ－Ｂｐは不連続勾配に起因する破断を有している。
【0040】
図４にはユーザインタフェースに係るフローチャートが描かれている。ユーザが、スマートイグザンプルアノテーション（ＳＥＡ）にて分類（ｃｌｓ）及び検出（ｄｅｔｅｃｔ）結果をレビューすることができる。ＳＭＡＲＴＳ訓練ステーション（ＳＴＳ）が層毎関連度伝播を実行する。ＳＥＡにて、その重ね合わせ又は関連度画像を表示することができる。ユーザが、その関連度を許容できそうか否かを判別することができる。イエスである場合、そのパッチを、レビュー済みであるとして保存することができる。ノーである場合は、ｍＩｏＵスコアを用い、あらゆる問題含みアノテーションを特定することができる。
【0041】
検出に当たっては、そのＬＲＰアルゴリズムにより与えられる関連度マップを用い、アノテーションとＬＲＰにより与えられる関連度との間の類似度を計算することによって、その画像内にあり潜在的に誤っているアノテーションをサーチすることができる。例えば、図５に示されている画像は不正確に分類されている。図５のハイライト部分は、そのニューラルネットワークによる検出及び分類に用いられた画像区画を表している。そこには強い重なり合いがあり高いｍＩｏＵを伴っている。ＬＲＰ画像は前処理することができ、アノテーションとＬＲＰのｍＩｏＵを決定することができる。この場合、その根本原因のなかには、ツイスト欠陥として不正確にアノテーションされた幾つかのシフト付留置欠陥が含まれている。
【0042】
更に、図６に示されている通り、そのモデルがうまく実行されている場合、そのサイトには正しいアノテーションが付き、そのＩｏＵが他のアノテーションよりも高くなる。図６のハイライト部分は、そのニューラルネットワークによる検出及び分類に用いられた画像区画を表している。
【0043】
現状では、レシピセットアップ中に深層学習結果を説明して次のステップを案内するのが難しい。ユーザが、性能問題のデバッグのため試行錯誤を用いることとなるため、タイムトゥレシピ（ＴＴＲ）が長くなっている。本願開示の諸実施形態によれば、性能診断についての明瞭なガイダンスを提供することができ、それによりＴＴＲを縮めることができる。例えば、ＴＴＲを約２０％縮めることができる。本願開示の諸実施形態によれば、使いやすさも改善され、製造設備におけるサポートの必要性も減少する。ニューラルネットワーク内で直にフィードバックされるので、深層学習ベースの検出及び分類がより使いやすくなる。製造設備にて、深層学習ベースの検出及び分類をより直観的に用いることができる。
【0044】
図７はシステム３００の一実施形態のブロック図である。本システム３００は、ウェハ３０４の画像を生成するよう構成されたウェハ検査ツール（電子カラム３０１を含むそれ）を有している。
【0045】
そのウェハ検査ツールは出力獲得サブシステムを有しており、それには少なくともエネルギ源及び検出器が備わっている。その出力獲得サブシステムを電子ビーム式出力獲得サブシステムとすることができる。例えばある実施形態では、ウェハ３０４に差し向けられるエネルギが電子、そのウェハ３０４から検出されるエネルギが電子によるものとされる。こうすることで、そのエネルギ源を電子ビーム源とすることができる。図７に示されているのはそうした実施形態の一つであり、出力獲得サブシステムに備わる電子カラム３０１がコンピュータサブシステム３０２に結合されている。ステージ３１０によりそのウェハ３０４を保持することができる。
【0046】
やはり図７に示されている通り、電子カラム３０１は、電子を生成するよう構成された電子ビーム源３０３を有しており、それら電子が１個又は複数個の素子３０５によりウェハ３０４へと集束・合焦されている。電子ビーム源３０３は、例えば、カソード源又はエミッタチップを有するものとすることができる。その１個又は複数個の素子３０５のなかには、例えばガンレンズ、アノード、ビーム制限アパーチャ、ゲートバルブ、ビーム流選択アパーチャ、対物レンズ並びに走査サブシステムを含めることができ、それら全てに、本件技術分野にて既知で好適なあらゆる類種の素子を含めることができる。
【0047】
ウェハ３０４から戻ってきた電子（例．二次電子）を、１個又は複数個の素子３０６により検出器３０７へと集束・合焦させることができる。１個又は複数個の素子３０６のなかには例えば走査サブシステムを含めることができ、またそれを、素子３０５に含まれているそれと同じ走査サブシステムとすることができる。
【0048】
電子カラム３０１内には、本件技術分野にて既知で好適な何れの他素子も設けることができる。
【0049】
電子カラム３０１は、図７に示すところによれば、電子がウェハ３０４にある斜め入射角にて差し向けられそのウェハ３０４から別の斜め角にて散乱されてくるよう構成されているが、電子ビームがウェハ３０４に差し向けられそこから散乱されてくる角度は好適な何れの角度ともすることができる。加えて、その電子ビーム式サブシステムを、複数通りのモードを用い（例．様々な照射角、収集角等々で以て）ウェハ３０４の画像を生成するよう構成することができる。その電子ビーム式サブシステムに備わる複数通りのモードの違いを、その出力獲得サブシステムの何らかの画像生成パラメタの違いとすることができる。
【0050】
コンピュータサブシステム３０２は上述の如く検出器３０７に結合させることができる。検出器３０７にて、ウェハ３０４の表面から戻ってきた電子を検出し、それによりそのウェハ３０４の電子ビーム画像を形成することができる。それら電子ビーム画像にはあらゆる好適な電子ビーム画像を含めることができる。コンピュータサブシステム３０２は、検出器３０７の出力及び／又はそれら電子ビーム画像を用い本願記載の機能の何れを実行するようにも構成することができる。コンピュータサブシステム３０２は、本願記載の何れの付加的ステップ（群）を実行するようにも構成することができる。図７に示されている出力獲得サブシステムを有するシステム３００を、更に、本願記載の如く構成することができる。
【0051】
注記されることに、図７が本願に設けられているのは、本願記載の諸実施形態にて用いられうる電子ビーム式出力獲得サブシステムの構成を大まかに描出するためである。商用の出力獲得システムを設計する際に通常行われている通り、本願記載の電子ビーム式出力獲得サブシステムの構成を、その出力獲得サブシステムの性能が最適化されるよう改変することもできる。加えて、本願記載のシステムを実施するに当たり、（例．本願記載の機能を既存システムに付加することで）既存システムを用いることもできる。そうしたシステムのうちある種のものによれば、本願記載の諸方法を（例．そのシステムの他の機能に加え）そのシステムのオプション的機能として提供することができる。これに代え、本願記載のシステムを完全に新規なシステムとして設計することもできる。
【0052】
出力獲得サブシステムは、上掲の記述では電子ビーム式出力獲得サブシステムとされているが、出力獲得サブシステムをイオンビーム式出力獲得サブシステムとすることもできる。そうした出力獲得サブシステムは、本件技術分野にて既知であり好適な何らかのイオンビーム源で以てその電子ビーム源が置換される点を除き、図７に示されている通り構成することができる。加えて、その出力獲得サブシステムを他の好適な何らかのイオンビーム式出力獲得サブシステムとすること、例えば商業的に入手可能な集束イオンビーム（ＦＩＢ）システム、ヘリウムイオン顕微（ＨＩＭ）システム及び二次イオン質量分析（ＳＩＭＳ）システム内にあるそれとすることもできる。
【0053】
コンピュータサブシステム３０２はプロセッサ３０８及び電子データ格納ユニット３０９を有している。プロセッサ３０８にはマイクロプロセッサ、マイクロコントローラその他のデバイスを含めることができる。
【0054】
コンピュータサブシステム３０２を何らかの好適な要領にて（例．１個又は複数個の伝送媒体、例えば有線及び／又は無線伝送媒体を含むそれを介し）システム３００の諸部材に結合させることができ、それによりそのプロセッサ３０８にて出力を受け取れるようにすることができる。プロセッサ３０８を、その出力を用い多数の機能を実行するよう構成することができる。ウェハ検査ツールにて、そのプロセッサ３０８から命令その他の情報を受け取ることができる。プロセッサ３０８及び／又は電子データ格納ユニット３０９にて、オプション的に、別のウェハ検査ツール、ウェハ計量ツール又はウェハレビューツール（描出せず）と電子通信し、付加的な情報を受け取ることや命令を送ることができる。
【0055】
プロセッサ３０８はウェハ検査ツール、例えば検出器３０７と電子通信する。プロセッサ３０８は、検出器３０７からの計測結果を用い生成された画像を処理するよう、構成することができる。例えば、そのプロセッサにて方法２００の諸実施形態を実行することができる。
【0056】
本願記載のコンピュータサブシステム３０２その他のシステム（群）又はその他のサブシステム（群）は、パーソナルコンピュータシステム、イメージコンピュータ、メインフレームコンピュータシステム、ワークステーション、ネットワーク機器、インターネット機器その他のデバイスを初め、様々なシステムの一部分とすることができる。そのサブシステム（群）又はシステム（群）のなかに、本件技術分野にて既知であり好適なあらゆるプロセッサ、例えば並列プロセッサを含めることもできる。加えて、そのサブシステム（群）又はシステム（群）のなかに、スタンドアロンであれネットワーク接続されたツールであれ、高速な処理及びソフトウェアを伴うプラットフォームを含めることができる。
【0057】
プロセッサ３０８及び電子データ格納ユニット３０９は、システム３００その他のデバイスの一部分とすること、例えばその内部に配置することができる。ある例によれば、プロセッサ３０８及び電子データ格納ユニット３０９をスタンドアロン制御ユニットの一部とし、或いは集中品質制御ユニット内に設けることができる。複数個のプロセッサ３０８又は電子データ格納ユニット３０９を用いることもできる。
【0058】
プロセッサ３０８は、実際上、ハードウェア、ソフトウェア及びファームウェアのどのような組合せにより実施することもできる。また、それの諸機能であり本願記載のものを、単一ユニットで実行することもでき、複数個の異なる部材間で分かち合うこともでき、翻ってそれら部材それぞれをハードウェア、ソフトウェア及びファームウェアのどのような組合せにより実施することもできる。プロセッサ３０８に様々な方法及び機能を実行・実施させるためのプログラムコード又は命令を、可読格納媒体内、例えば電子データ格納ユニット３０９内メモリやその他のメモリに格納することができる。
【0059】
システム３００が複数個のコンピュータサブシステム３０２を有しているのであれば、それら別々なサブシステム同士を結合させることで、画像、データ、情報、命令等々をそれらサブシステム間で送り合えるようにすることができる。例えば、あるサブシステムを付加的なサブシステム（群）に何らかの好適な伝送媒体により結合させることができ、またその媒体のなかに、本件技術分野にて既知であり好適なあらゆる有線及び／又は無線伝送媒体を含めることができる。そうしたサブシステムのうち２個以上を、共有型コンピュータ可読格納媒体（図示せず）により実質結合させることもできる。
【0060】
プロセッサ３０８は、システム３００の出力その他の出力を用い多数の機能を実行するよう構成することができる。例えば、プロセッサ３０８を、その出力を電子データ格納ユニット３０９その他の格納媒体に送るよう構成することができる。プロセッサ３０８を、更に、本願記載の如く構成することができる。
【0061】
プロセッサ３０８又はコンピュータサブシステム３０２は、欠陥レビューシステム、検査システム、計量システム、或いはある種の他システムの一部分とすることができる。即ち、本願開示の諸実施形態により記述されている幾つかの構成を、別々な能力を有しており異なるアプリケーションに大なり小なり適するシステム向けに、多様な要領にて仕立て上げることができる。
【0062】
プロセッサ３０８は、システム３００に備わる様々な部材又はサブシステムの何れにも可通信結合させることができ、またそれを本件技術分野で既知な何れの要領にて行うこともできる。更に、プロセッサ３０８を、他の諸システムからのデータ又は情報（例．検査システム例えばレビューツールからの検査結果、リモートデータベース内のデザインデータ等）を受領及び／又は獲得するよう、またそれを伝送媒体、例えば有線及び／又は無線区間を有するそれにより行うよう、構成することができる。この構成によれば、その伝送媒体を、プロセッサ３０８と、システム３００の他の諸サブシステム又はシステム３００外の諸システムとの間で、データリンクとして働かせることができる。
【0063】
本願開示のシステム３００及び諸方法の様々なステップ、機能及び／又は動作は、電子回路、論理ゲート、マルチプレクサ、プログラマブル論理デバイス、ＡＳＩＣ、アナログ又はディジタルコントローラ／スイッチ、マイクロコントローラ、或いは情報処理システムのうち、１個又は複数個により実行される。方法例えば本願記載のそれらを実現するプログラム命令を、キャリア媒体上で伝送させ又はキャリア媒体上に格納させることができる。そのキャリア媒体に含めうるものに格納媒体、例えばリードオンリメモリ、ランダムアクセスメモリ、磁気又は光ディスク、不揮発性メモリ、固体メモリ、磁気テープ等がある。キャリア媒体に含めうるものに伝送媒体、例えばワイヤ、ケーブル又は無線伝送リンクがある。例えば、本件開示の随所に記載されている様々なステップを、単一のプロセッサ３０８（又はコンピュータサブシステム３０２）により実行することも、それに代え複数個のプロセッサ３０８（又は複数個のコンピュータサブシステム３０２）により実行することもできる。更に、システム３００に備わる様々なサブシステムを、１個又は複数個の情報処理又は論理システムを有するものとすることができる。従って、上掲の記述は、本件開示に対する限定としてではなく、単なる例証として解されるべきである。
【0064】
ある例ではプロセッサ３０８がＧＰＵとされる。別の例ではプロセッサ３０８がＣＰＵとされる。
【0065】
プロセッサ３０８により、図２の実施形態を含め、本願開示の諸実施形態の何れを実行することもできる。プロセッサ３０８を、システム３００の出力を用い或いは他の源泉からの画像又はデータを用い他の諸機能又は付加的ステップを実行するよう、構成することもできる。ある例においては、プロセッサ３０８が、検出器から受け取ったデータをもとに複数枚の半導体画像を生成するよう構成される。欠陥検出及び分類を、プロセッサ３０８で以て深層学習モデルを用いそれら複数枚の半導体画像を対象にして実行することができる。そのプロセッサにて、ＬＲＰアルゴリズムを、その深層学習モデルに由来する半導体画像に適用することができる。プロセッサ３０８にて、関連度マップをそのＬＲＰ伝播アルゴリズムに基づき決定することができる。プロセッサ３０８にて、その関連度マップとグランドトゥルースとの間の平均積集合和集合比スコアを決定することができる。プロセッサ３０８にて、それら半導体画像のうち１枚のなかでその深層学習モデルを用いての分類に寄与した部分を、それら関連度マップ及び平均積集合和集合比スコアに基づき特定することができる。
【0066】
付加的実施形態の一つは、コントローラ上で実行可能なプログラム命令群が格納されている非一時的コンピュータ可読媒体に関する。具体的には、図７に示されている通り、電子データ格納ユニット３０９その他の格納媒体のなかに、プロセッサ３０８上で実行可能なプログラム命令群が入っている非一時的コンピュータ可読媒体を含めることができる。そのコンピュータ実施方法には、本願記載のあらゆる方法（群）のあらゆるステップ（群）を含めることができる。
【0067】
ある例によれば、電子データ格納ユニット３０９を、１個又は複数個の情報処理デバイス上で諸ステップを実行するための１個又は複数個のプログラムが入っているものとすることができる。それらのステップのなかに、深層学習モデルを用い複数枚の半導体画像を対象にして欠陥検出及び分類を実行するステップを含める。ＬＲＰアルゴリズムを、その深層学習モデルに由来する半導体画像に対し適用することができる。関連度マップを、そのＬＲＰアルゴリズムに基づき決定することができる。その関連度マップとグランドトゥルースとの間の平均積集合和集合比スコアを決定することができる。それら半導体画像のうち１枚のなかでその深層学習モデルを用いての分類に寄与した部分を、それら関連度マップ及び平均積集合和集合比スコアに基づき特定することができる。その関連度マップを、出力層の関連度と早期層の関連度とに基づくものとすることができる。ある例ではその関連度マップが正規化される。諸ステップのなかに、電子ビームを用いるウェハ検査ツールからのデータを用いそれら半導体画像を生成するステップか、命令を送ることでそれら半導体画像を取得するステップを、含めることもできる。
【0068】
電子ビームをもとに形成される画像との関連で記述してきたが、本願記載の諸実施形態を、光子ビームをもとに形成される画像を用い実行することもできる。即ち、そのエネルギビームを電子ビームとも光子ビームともすることができる。その光子ビームを生成するのに、レーザを用いることも広帯域プラズマ光源を用いることもできる。ウェハは、その光子ビームの経路上にあるチャック上で保持させることができる。検出器にて、そのウェハから反射されてきた光子ビームを捉えることができる。
【0069】
本願記載の諸実施形態では深層学習モデルを用いることができ、それをＣＮＮその他の種類のアプリケーションとすることができる。この種の手法のことを、エンドトゥエンド学習戦略と呼ぶことがある。例えば、ある実施形態ではその生成モデルが深層生成モデルとされる。別の実施形態ではその生成モデルが機械学習モデルとされる。例えば、その生成モデルを、その生成モデル内に複数個の層がありそれらによって多数のアルゴリズム又は変換が実行される深層学習アーキテクチャを有するものとなるよう、構成することができる。その生成モデルに、１個又は複数個のエンコーダ側層及び／又は１個又は複数個のデコーダ側層を組み込むこともできる。その生成モデルの一方又は双方の側にある層の個数は可変であり、一般に用例依存的である。それら深層生成モデル及び機械学習モデルには、本願記載の諸機能を実行するよう構成でき本件技術分野にて既知なその種の好適モデル全てが含まれうる。
【0070】
ある実施形態ではその生成モデルがＣＮＮとされる。その生成モデルを、本件技術分野にて既知な何れのＣＮＮコンフィギュレーション又はアーキテクチャを有するものともとすることもできる。一般に、多種多様なＣＮＮアーキテクチャを採用可能であり、それらは本件技術分野で既知である。
【0071】
本方法の各ステップを本願記載の如く実行することができる。それらの方法には、本願記載のプロセッサ及び／又はコンピュータサブシステム（群）若しくはシステム（群）により実行することができる、他の何れのステップ（群）も含めることができる。それらのステップは１個又は複数個のコンピュータシステムにより実行することができ、またそれを本願記載の諸実施形態のうち何れに従い構成することもできる。加えて、上述した諸方法を本願記載のシステム実施形態の何れにより実行することもできる。
【0072】
１個又は複数個の具体的実施形態との関連で本件開示につき記述してきたが、本件開示の技術的範囲から離隔することなく本件開示の他の諸実施形態をなすことができる。即ち、本件開示は、添付する特許請求の範囲及びその合理的解釈によってのみ限定される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【国際調査報告】