特許 7204017 実験ポイント推薦装置、実験ポイント推薦方法及び半導体装置製造システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-01-04

(45)【発行日】2023-01-13

(54)【発明の名称】実験ポイント推薦装置、実験ポイント推薦方法及び半導体装置製造システム

(51)【国際特許分類】

   H01L 21/02 20060101AFI20230105BHJP

   G06N 20/00 20190101ALI20230105BHJP

   G06N 3/02 20060101ALI20230105BHJP

【ＦＩ】

H01L21/02 Z

G06N20/00

G06N3/02

【請求項の数】 14

(21)【出願番号】P 2021576616

(86)(22)【出願日】2021-03-01

(86)【国際出願番号】 JP2021007716

【審査請求日】2021-12-23

(73)【特許権者】

【識別番号】501387839

【氏名又は名称】株式会社日立ハイテク

(74)【代理人】

【識別番号】110000350

【氏名又は名称】ポレール弁理士法人

(72)【発明者】

【氏名】オウ ユヨ

(72)【発明者】

【氏名】森 靖英

(72)【発明者】

【氏名】恵木 正史

(72)【発明者】

【氏名】大森 健史

(72)【発明者】

【氏名】酒井 哲

(72)【発明者】

【氏名】松田 航平

【審査官】堀江 義隆

(56)【参考文献】

【文献】特開２０１１－７１２９６（ＪＰ，Ａ）

【文献】国際公開第２０１０／１１９９３９（ＷＯ，Ａ１）

【文献】特開２０１８－４９９３６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０１Ｌ ２１／０２

Ｇ０６Ｎ ２０／００

Ｇ０６Ｎ ３／０２

(57)【特許請求の範囲】

【請求項1】

半導体処理装置の制御パラメータを入力とし、前記半導体処理装置によって加工された半導体試料の加工形状を表現する形状パラメータを出力とする機械学習モデルの学習データを得る実験のため、前記半導体処理装置に設定される制御パラメータの値の組み合わせである実験ポイントを推薦する実験ポイント推薦装置であって、
貢献度算出プログラム、安定性算出プログラム、不確実性算出プログラム及び実験ポイント推薦プログラムを記憶する記憶装置と、
前記記憶装置から読み出されたプログラムを実行するプロセッサとを有し、
前記プロセッサは前記貢献度算出プログラムを実行することにより、前記機械学習モデルの学習に用いた学習データの制御パラメータの値である特徴量データから、前記機械学習モデルの予測に対する制御パラメータごとの貢献度を評価し、
前記プロセッサは前記安定性算出プログラムを実行することにより、前記貢献度に基づいて選定された制御パラメータの値の変更によって前記機械学習モデルの予測に異常な変化が発生するか否かに基づき、前記選定された制御パラメータを軸として張られる第１の空間における前記機械学習モデルによる予測の安定性を評価し、
前記プロセッサは前記不確実性算出プログラムを実行することにより、前記選定された制御パラメータを軸として張られる第２の空間における前記特徴量データの分布に基づき、前記第２の空間における前記機械学習モデルによる予測の不確実性を評価し、
前記プロセッサは前記実験ポイント推薦プログラムを実行することにより、前記選定された制御パラメータの前記機械学習モデルの予測に対する貢献度評価、安定性評価及び不確実性評価に基づき実験ポイントを推薦する実験ポイント推薦装置。

【請求項2】

請求項１において、
前記第２の空間において、軸とする前記選定された制御パラメータの値の単位には、当該制御パラメータの貢献度換算値が用いられ、
前記貢献度換算値は、前記機械学習モデルが予測した形状パラメータの値を制御パラメータの貢献度評価に基づき割り振った値として算出される実験ポイント推薦装置。

【請求項3】

請求項２において、
前記第１の空間において、軸とする前記選定された制御パラメータの値の単位には、当該制御パラメータの単位が用いられ、
前記プロセッサは前記実験ポイント推薦プログラムを実行することにより、前記第１の空間における前記機械学習モデルによる予測の安定性評価を前記第２の空間における前記機械学習モデルによる予測の安定性評価に変換し、前記第２の空間に、前記貢献度評価に基づく重要領域、前記安定性評価に基づく安定領域及び前記不確実性評価に基づく不確実領域を表示する実験ポイント推薦装置。

【請求項4】

請求項３において、
前記不確実領域は、前記不確実性評価がユーザの指定した前記不確実性評価の範囲に含まれる領域である実験ポイント推薦装置。

【請求項5】

請求項３において、
前記重要領域、前記安定領域及び前記不確実領域が表示された前記第２の空間がユーザ端末上に表示され、
前記プロセッサは前記実験ポイント推薦プログラムを実行することにより、前記ユーザにより前記ユーザ端末に表示された前記第２の空間で指定された点を、実験ポイントとして特定する実験ポイント推薦装置。

【請求項6】

請求項２において、
前記第１の空間において、軸とする前記選定された制御パラメータの値の単位には、当該制御パラメータの単位が用いられ、
前記プロセッサは前記実験ポイント推薦プログラムを実行することにより、前記第１の空間における前記機械学習モデルによる予測の安定性評価を前記第２の空間における前記機械学習モデルによる予測の安定性評価に変換し、前記第２の空間における前記安定性評価の値及び前記不確実性の値に基づく統合スコアを求め、前記統合スコアに基づき実験ポイントを特定する実験ポイント推薦装置。

【請求項7】

半導体処理装置の制御パラメータを入力とし、前記半導体処理装置によって加工された半導体試料の加工形状を表現する形状パラメータを出力とする機械学習モデルの学習データを得る実験のため、前記半導体処理装置に設定される制御パラメータの値の組み合わせである実験ポイントを推薦する実験ポイント推薦方法において、
前記機械学習モデルの学習に用いた学習データの制御パラメータの値である特徴量データから、前記機械学習モデルの予測に対する制御パラメータごとの貢献度を評価する第１のステップと、
前記貢献度に基づいて選定された制御パラメータの値の変更によって前記機械学習モデルの予測に異常な変化が発生するか否かに基づき、前記選定された制御パラメータを軸として張られる第１の空間における前記機械学習モデルによる予測の安定性を評価する第２のステップと、
前記選定された制御パラメータを軸として張られる第２の空間における前記特徴量データの分布に基づき、前記第２の空間における前記機械学習モデルによる予測の不確実性を評価する第３のステップと、
前記選定された制御パラメータの前記機械学習モデルの予測に対する貢献度評価、安定性評価及び不確実性評価に基づき実験ポイントを推薦する第４のステップとを有する実験ポイント推薦方法。

【請求項8】

請求項７において、
前記第２の空間において、軸とする前記選定された制御パラメータの値の単位には、当該制御パラメータの貢献度換算値が用いられ、
前記貢献度換算値は、前記機械学習モデルが予測した形状パラメータの値を制御パラメータの貢献度評価に基づき割り振った値として算出される実験ポイント推薦方法。

【請求項9】

請求項８において、
前記第１の空間において、軸とする前記選定された制御パラメータの値の単位には、当該制御パラメータの単位が用いられ、
前記第４のステップにおいて、前記第１の空間における前記機械学習モデルによる予測の安定性評価を前記第２の空間における前記機械学習モデルによる予測の安定性評価に変換し、前記第２の空間に、前記貢献度評価に基づく重要領域、前記安定性評価に基づく安定領域及び前記不確実性評価に基づく不確実領域を表示する実験ポイント推薦方法。

【請求項10】

請求項９において、
前記不確実領域は、前記不確実性評価がユーザの指定した前記不確実性評価の範囲に含まれる領域である実験ポイント推薦方法。

【請求項11】

請求項９において、
前記重要領域、前記安定領域及び前記不確実領域が表示された前記第２の空間がユーザ端末上に表示され、
前記第４のステップにおいて、前記ユーザにより前記ユーザ端末に表示された前記第２の空間で指定された点を、実験ポイントとして特定する実験ポイント推薦方法。

【請求項12】

請求項８において、
前記第１の空間において、軸とする前記選定された制御パラメータの値の単位には、当該制御パラメータの単位が用いられ、
前記第４のステップにおいて、前記第１の空間における前記機械学習モデルによる予測の安定性評価を前記第２の空間における前記機械学習モデルによる予測の安定性評価に変換し、前記第２の空間における前記安定性評価の値及び前記不確実性の値に基づく統合スコアを求め、前記統合スコアに基づき実験ポイントを特定する実験ポイント推薦方法。

【請求項13】

半導体処理装置と、ネットワークを介して前記半導体処理装置に接続され、実験ポイント推薦処理を実行するプラットフォームとを備える半導体装置製造システムにおいて、
前記半導体処理装置の制御パラメータを入力とし、前記半導体処理装置によって加工された半導体試料の加工形状を表現する形状パラメータを出力とする機械学習モデルの学習データを得る実験のため、前記半導体処理装置に設定される制御パラメータの値の組み合わせである実験ポイントを推薦する前記実験ポイント推薦処理は、
前記機械学習モデルの学習に用いた学習データの制御パラメータの値である特徴量データから、前記機械学習モデルの予測に対する制御パラメータごとの貢献度が評価されるステップと、
前記貢献度に基づいて選定された制御パラメータの値の変更によって前記機械学習モデルの予測に異常な変化が発生するか否かに基づき、前記選定された制御パラメータを軸として張られる第１の空間における前記機械学習モデルによる予測の安定性が評価されるステップと、
前記選定された制御パラメータを軸として張られる第２の空間における前記特徴量データの分布に基づき、前記第２の空間における前記機械学習モデルによる予測の不確実性が評価されるステップと、
前記選定された制御パラメータの前記機械学習モデルの予測に対する貢献度評価、安定性評価及び不確実性評価に基づき実験ポイントが推薦されるステップと、
を有することを特徴とする半導体装置製造システム。

【請求項14】

請求項１３に記載の半導体装置製造システムにおいて、
前記実験ポイント推薦処理は、前記プラットフォームに備えられたアプリケーションとして実行されることを特徴とする半導体装置製造システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習モデルの学習を効果的に促進する実験ポイント推薦装置、実験ポイント推薦方法及び半導体装置製造システムに関する。

【背景技術】

【0002】

半導体プロセスにおいて適正な処理条件により半導体試料を処理することで、望ましい半導体加工を実施できる。近年、デバイスを構成する新材料が導入されるとともにデバイス構造が複雑化しており、半導体処理装置の制御範囲が拡大され、多くの制御パラメータが追加されてきた。プロセスはマルチステップ化し、微細で複雑な加工が実現されるようになった。半導体処理装置を用いて高性能なデバイス（半導体装置）を生産するためには、半導体試料の目標の加工形状を実現する適正な処理条件を導出するプロセス開発を行う必要がある。

【0003】

半導体処理装置の性能を十分に引き出すには、多数の制御パラメータの最適化が不可欠であり、その実現にはプロセス開発のノウハウや高い装置運用スキルおよび処理試験の多数の試行錯誤が必要である。したがって、プロセス開発には大規模な回数の処理試験を必要とする。

【0004】

特許文献１には、半導体処理装置に与える加工条件と半導体処理装置による加工結果との関係を示す予測モデルを生成し、予測モデルを用いて、加工結果の目標値を出力する条件を推定することが開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１９－４０９８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

予測モデルを用いた条件推定を適切に行うには、予測モデルの精度が求められる。予測モデルの精度を高めるには、学習データを多数用いて、学習する必要があり、このため、半導体処理装置による処理試験を多数回繰り返す必要がある。処理試験の繰り返しは、プロセス開発の費用、期間に大きな影響を及ぼすため、予測モデルの精度を効果的に高められる学習データの収集が望まれる。

【課題を解決するための手段】

【0007】

本発明の一実施の態様である実験ポイント推薦装置は、半導体処理装置の制御パラメータを入力とし、半導体処理装置によって加工された半導体試料の加工形状を表現する形状パラメータを出力とする機械学習モデルの学習データを得る実験のため、半導体処理装置に設定される制御パラメータの値の組み合わせである実験ポイントを推薦する実験ポイント推薦装置であって、貢献度算出プログラム、安定性算出プログラム、不確実性算出プログラム及び実験ポイント推薦プログラムを記憶する記憶装置と、記憶装置から読み出されたプログラムを実行するプロセッサとを有し、
プロセッサは貢献度算出プログラムを実行することにより、機械学習モデルの学習に用いた学習データの制御パラメータの値である特徴量データから、機械学習モデルの予測に対する制御パラメータごとの貢献度を評価し、
プロセッサは安定性算出プログラムを実行することにより、貢献度に基づいて選定された制御パラメータの値の変更によって機械学習モデルの予測に異常な変化が発生するか否かに基づき、選定された制御パラメータを軸として張られる第１の空間における機械学習モデルによる予測の安定性を評価し、
プロセッサは不確実性算出プログラムを実行することにより、選定された制御パラメータを軸として張られる第２の空間における特徴量データの分布に基づき、第２の空間における機械学習モデルによる予測の不確実性を評価し、
プロセッサは実験ポイント推薦プログラムを実行することにより、選定された制御パラメータの機械学習モデルの予測に対する貢献度評価、安定性評価及び不確実性評価に基づき実験ポイントを推薦する。

【発明の効果】

【0008】

機械学習モデルの学習を効果的に促進する学習データが得ることが可能になる。その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

【図面の簡単な説明】

【0009】

【図1】実験ポイント推薦システムのシステム構成図である。

【図2】各情報処理装置が保持する、実験ポイント推薦処理のためのプログラムおよびデータを示す図である。

【図3】実験ポイント推薦処理のフローチャートである。

【図4】実験ポイントデータを示す図である。

【図5】安定性解析の処理フローである。

【図6A】安定性解析を説明するための模式図である。

【図6B】安定性解析処理におけるステップＳ１４～Ｓ１５の処理例である。

【図7】不確実性解析の処理フローである。

【図8】不確実性解析を説明するための模式図である。

【図9】実験ポイント推薦の処理フローである。

【図10】表示画面の例である。

【図11A】ＸＡＩ分析結果の表示例である。

【図11B】安定性解析結果の表示例である。

【図11C】不確実性解析結果の表示例である。

【図12】実験ポイント選択図の例である。

【発明を実施するための形態】

【0010】

以下、本発明の好ましい実施形態について図面を参照して説明する。

【0011】

図１に実験ポイント推薦システムのシステム構成図を示す。以下では、本システムを半導体デバイスのプロセス開発に用いる例に即して説明する。プロセス開発では、半導体試料を処理する半導体処理装置について、目標の加工形状を実現する適正な処理条件を導出する。レシピＡＩ（Artificial Intelligence）サーバ１０は、ＡＩモデルを用いて、所定の処理条件（レシピ）で半導体処理装置が半導体試料を処理することにより得られる加工形状を予測する。ＡＩモデルは、半導体処理装置の制御パラメータを入力とし、半導体処理装置によって加工された半導体試料の加工形状を表現する形状パラメータを出力とする機械学習モデルである。ＡＩモデルの精度を高めるには、制御パラメータと形状パラメータの組である学習データを多数用いて、学習する必要がある。このため、半導体処理装置に与える制御パラメータを変えて半導体試料の加工を行い、加工された半導体試料の加工形状を計測して形状パラメータを得る作業（以下、実験という）を繰り返す必要がある。実験には、半導体処理装置に実際に加工を行わせる必要があるため、時間と費用がかかる。このため、実験を行う制御パラメータとして、ＡＩモデルの精度を上げるために効果的な制御パラメータを選択することができれば、プロセス開発に要する時間の短縮、費用の低減につながる。しかしながら、プロセス開発時に調整を行う半導体処理装置の制御パラメータは多数あるため、実験ポイント候補となる制御パラメータの値の組み合わせはいわば無数に存在する。実験ポイント推薦サーバ２０は、そのような、レシピＡＩサーバ１０のＡＩモデルの精度を改善するために適切な制御パラメータの値の組み合わせの特定を支援する。ユーザは、実験ポイント推薦サーバ２０が推薦する制御パラメータの値の組み合わせについて実験を行い、得られた学習データを用いてＡＩモデルの学習を継続することで、ＡＩモデルの学習を加速することができる。

【0012】

ユーザは、ユーザ端末３０から、レシピＡＩサーバ１０、実験ポイント推薦サーバ２０にアクセスし、ＡＩモデルの学習、ＡＩモデルの学習データを得るための実験ポイントの選択を実行する。図１に示すように、レシピＡＩサーバ１０、実験ポイント推薦サーバ２０、ユーザ端末３０はネットワーク４０を介して相互に接続可能とされている。レシピＡＩサーバ１０、実験ポイント推薦サーバ２０、ユーザ端末３０はいずれも情報処理装置であって、ハードウェアの基本構成は同様であるので、以下、ユーザ端末３０を例に説明する。

【0013】

ユーザ端末３０は、ＣＰＵ（Central Processing Unit）３１、メモリ３２、記憶装置３３、ネットワークインタフェース３４、入力装置３６、出力装置３７を備え、これらがバス３５により結合されている。キーボードやポインティングデバイスである入力装置３６と出力装置３７であるディスプレイとにより、ＧＵＩ（Graphical User Interface）が実装され、ユーザはＧＵＩを介してインタラクティブにシステムを利用することができる。ネットワークインタフェース３４はネットワーク４０と接続するためのインタフェースである。

【0014】

記憶装置３３は通常、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などで構成され、ユーザ端末３０が実行するプログラムやプログラムが処理対象とするデータ等を記憶する。メモリ３２はＲＡＭ（Random Access Memory）で構成され、ＣＰＵ３１の命令により、プログラムやプログラムの実行に必要なデータ等を一時的に記憶する。ＣＰＵ３１は、記憶装置３３からメモリ３２にロードしたプログラムを実行する。

【0015】

ユーザ端末３０は、例えば、ＰＣ（Personal Computer）、あるいはタブレットなどである。また、図１では、レシピＡＩサーバ１０、実験ポイント推薦サーバ２０はそれぞれ別の情報処理装置上に実装した例を示しているが、同じ情報処理装置上に実装してもよく、クラウド上に実装してもよい。

【0016】

図２に各情報処理装置の記憶装置が保持する、実験ポイント推薦処理のためのプログラムおよびデータを示し、図３に実験ポイント推薦処理のフローを示す。ユーザ端末３０のアプリケーション／ＧＵＩプログラム４１は、本システムに対してユーザの指示を入力したり、システムの処理結果をユーザに提示したりする処理を行う。ユーザは、ユーザ端末３０のアプリケーション／ＧＵＩプログラム４１を用いて、実験ポイント推薦処理を実行する。

【0017】

レシピＡＩサーバ１０は、学習データを用いてＡＩモデル５１の学習を行う（Ｓ０１）。ＡＩモデル５１は、半導体処理装置の制御パラメータを入力して、当該制御パラメータが設定された半導体処理装置によって加工された半導体試料の形状パラメータを予測して出力する。学習データは制御パラメータと形状パラメータとの組であり、学習データの形状パラメータは、実際に半導体処理装置に当該制御パラメータを設定して半導体試料を加工させることによって得られる。

【0018】

本実施例では、ＡＩモデル５１の学習に用いられた学習データの制御パラメータの値（特徴量データ５２）を、新しい実験ポイントを探索するために利用する。ステップＳ０１の後、レシピＡＩサーバ１０は、学習を終えたＡＩモデル５１に、学習に用いた制御パラメータの値である特徴量データ５２を入力して、予測値データ５３を求める（Ｓ０２）。

【0019】

実験ポイント推薦サーバ２０が保持するＸＡＩ（Explainable AI）算出プログラム６１は、ＡＩモデル５１がどのような根拠でその予測を行ったかを解釈するプログラムである。ＡＩモデル５１は中身がブラックボックスであるため、そのままでは予測が得られた理由が分からない。ＸＡＩ算出プログラム６１は、ＡＩモデル５１がそのような予測に至った根拠の一つとして、予測結果に対する各入力の貢献度を示す貢献度データ６５を算出する。このような算出を行うツールとしてはＳＨＡＰ（Shapley Additive explanations）といったものが知られている。実験ポイント推薦サーバ２０は、ＸＡＩ算出プログラム６１により、予測値データ５３について、特徴量データ５２の各制御パラメータの貢献度データ６５を求める（Ｓ０３）。

【0020】

半導体処理装置の制御パラメータの数は極めて多い。このため、貢献度データ６５により、予測値に対して貢献の大きい少数の制御パラメータ、すなわち、加工形状に大きな変動を及ぼす少数の制御パラメータを選択して、以降の処理を実行する。

【0021】

ＡＩモデル５１の学習の促進に効果的な学習データが得られる実験ポイントを選択するため、本実施例では、実験ポイントを安定性と不確実性という２つの観点から評価する。詳細については後述するが、安定性とは、制御パラメータの値の変更によって予測値が異常な変化を生じない（例えば、予測形状が破壊されない）ことをいう。また、不確実性とは、ＡＩモデルの予測の精度が低いことをいう。

【0022】

実験ポイント推薦サーバ２０は、安定性算出プログラム６２を用いて特徴量データ５２について安定性評価データ６６を求め（Ｓ０４）、不確実性算出プログラム６３を用いては特徴量データ５２について不確実性評価データ６７を求める（Ｓ０５）。その後、実験ポイント推薦プログラム６４を用い、貢献度データ６５、安定性評価データ６６、不確実性評価データ６７に基づき、ユーザの意向に沿った、次の学習データを得るための実験ポイントを推薦する（Ｓ０６）。

【0023】

図４に実験ポイント推薦処理によって得られる実験ポイントデータの例を示す。ＩＤ７１は実験ポイントを一意に特定するＩＤである。実験ポイントは、複数の制御パラメータの値の組み合わせとして定義され、制御パラメータ情報７２は、名称７２ａ、値７２ｂ、レンジ７２ｃを含んでいる。値７２ｂは、レンジ７２ｃに含まれるよう設定される。これらの値や単位は制御パラメータによって異なる。ここでは電力［Ｗ］、流量［ｓｃｃｍ］が例示されている。貢献度評価情報７３は、ＡＩモデルにより実験ポイントについての予測を行った場合の各制御パラメータの貢献度を示すものであり、ＸＡＩ算出プログラム６１により算出される。安定性評価情報７４、不確実性評価情報７５は、実験ポイントごとにそれぞれ安定性解析（ステップＳ０４）、不確実性解析（ステップＳ０５）により、求められる値である。

【0024】

図５に、安定性解析（ステップＳ０４）の処理フローを示す。上述したように、調整する制御パラメータを貢献度データ６５に基づき絞り込む（Ｓ１１）。ここでは、貢献度の大きい上位２つの制御パラメータを選択するものとし、以下の特徴量データ５２に対する処理は、ステップＳ１１で絞り込まれた制御パラメータに対して実行される。

【0025】

まず、特徴量データ５２をクラスタリングし（Ｓ１２）、クラスタの中心データを初期ポイントとして選択する（Ｓ１３）。図６Ａに安定性解析を説明するための模式図を示す。特徴量データ５２が制御パラメータ１と制御パラメータ２を軸として張られる特徴量空間においてクラスタリングされた様子を示している。この例では、３つのクラスタＣ１～Ｃ３が形成され、それぞれのクラスタ中心Ｃｃ１～Ｃｃ３が表されている。ここで、クラスタ中心は、クラスタを代表する実験ポイントであればよく、クラスタ中心の求め方は特に限定されない。クラスタ中心に最も近い特徴量データをクラスタ中心としてもよい。

【0026】

続いて、初期ポイントの制御パラメータの値をランダムに変更し（Ｓ１４）、ＡＩモデル５１により予測する（Ｓ１５）。図６Ｂに、ステップＳ１４～Ｓ１５の処理例を示す。初期ポイントで予測される加工形状８０が、深さｄの溝形状であるとする。制御パラメータの値を変更することによって、予測される加工形状が変化する。例えば、予測ポイント１では、溝の深さがｄ’に変化した加工形状８１が予測され、予測ポイント２では、破壊された加工形状８２が予測される。

【0027】

このように制御パラメータの値を変更して、予測形状が破壊された場合には（Ｓ１５でYes）、予測ポイント（制御パラメータの値の組み合わせ）を危険領域（danger zone）の１点としてラベリングし（Ｓ１６）、予測形状が破壊されなかった場合には（Ｓ１５でNo）、再度、初期ポイントの制御パラメータの値をランダムに変更して（Ｓ１４）、同様の処理を行い、危険領域としてラベリングされる予測ポイントが十分な点数となるまで繰り返す（Ｓ１７）。十分な点数が得られたら、危険境界（danger boundary）を近似的に決定する（Ｓ１８）。危険境界の内部を安全領域（safe zone）と呼ぶものとする。

【0028】

図６Ａには、クラスタＣ１について、ステップＳ１４～Ｓ１７においてＡＩモデル５１による形状予測を行った予測ポイントについて、破壊のない加工形状が得られた予測ポイントと破壊された加工形状が得られた予測ポイントとを区別してプロット（図６Ｂを参照）した様子を示している。クラスタ中心Ｃｃ１から離れるほど、破壊された加工形状が得られる可能性が高まる。したがって、破壊された加工形状が得られた予測ポイントが優位に存在する領域（危険領域）と破壊のない加工形状が得られた予測ポイントが優位に存在する領域（安全領域）を区分するよう危険境界を定めることができる。なお、破壊された加工形状が得られる頻度の高さに対応させた複数の危険境界を設けるようにしてもよい。例えば、後述する不確実性解析と同様に、特徴量空間中に多数のサンプリング点をとって、サンプリング点を中心とする半径γの円内に含まれる×プロットの点数をカウントする。これにより、特徴量空間における×プロットの密度を把握し、複数の危険境界を設けることができる。

【0029】

すべてのクラスタについて、危険境界を決定すれば（Ｓ１９でYes）、安定性解析を終了する（Ｓ２０）。終了にあたり、特徴量空間における危険境界の座標（複数の危険境界を求めた場合には、複数の危険境界それぞれの定義と座標）を安定性評価データ６６として記憶する。あるいは、破壊された加工形状が得られた予測ポイントの座標を安定性評価データ６６として記憶してもよい。

【0030】

図７に、不確実性解析（ステップＳ０５）の処理フローを示す。不確実性は、ＡＩモデルの予測の精度に基づく評価である。制御パラメータを軸として張られる特徴量空間において、既にＡＩモデルの学習データとして使用された実験ポイントが多数存在する第１の領域と、ＡＩモデルの学習データとして使用された実験ポイントがほとんど存在しない第２の領域とがあるとする。新たな実験ポイントが第１の領域に含まれているとすれば、ＡＩモデルの予測の精度は高く（不確実性が低い）、第２の領域に含まれていれば、ＡＩモデルの予測の精度は低い（不確実性が高い）、といえる。

【0031】

このように、本実施例では不確実性を特徴量空間における実験ポイントの分布に基づき判定するが、分布状態を評価するには、空間における距離が定義できる必要がある。ところが、制御パラメータの単位は様々であり、かつ制御パラメータが取りうるレンジも様々であるから、制御パラメータの値をそのまま使うことができない。このため、実験ポイントの分布を評価するため、ＸＡＩ算出プログラム６１により算出される制御パラメータの貢献度に基づく貢献度換算値（以下では、ＸＡＩ換算値と表記する）を用いる。加工ターゲットとする形状パラメータが溝の深さである場合を例にとる。予測された加工形状における溝の深さ（形状パラメータ）が１０ｎｍの溝であり、かつ制御パラメータ１の貢献度が50％、制御パラメータ２の貢献度が30％であったとするとき、溝の深さを貢献度に応じて割り振りした値がＸＡＩ換算値である。この場合、制御パラメータ１のＸＡＩ換算値は５（＝10×0.5）ｎｍ、制御パラメータ２のＸＡＩ換算値は３（＝10×0.3）ｎｍになる。このように異なる単位の制御パラメータであっても、比例尺度であるＸＡＩ換算値で評価することにより、特徴量空間における実験ポイントの分布を適正に評価することができる。ＸＡＩ換算値により単位を揃えた特徴量空間のことをＸＡＩ空間と呼ぶ。

【0032】

まず、調整する制御パラメータを貢献度データ６５に基づき絞り込む（Ｓ３１）。本ステップは、図５のステップＳ１１と同じ処理であり、図３のように、安定性解析を不確実性解析よりも先に行っている場合には、再度行う必要はない。

【0033】

図８に不確実性解析を説明するための模式図を示す。特徴量データ５２が制御パラメータ１の値（ＸＡＩ換算値）と制御パラメータ２の値（ＸＡＩ換算値）を軸として張られるＸＡＩ空間において分布している様子を示している。ＸＡＩ空間における特徴量データ５２の分布を評価するため、以下の処理を行う。

【0034】

ＸＡＩ空間上でサンプリング点を選択する（Ｓ３２）。サンプリング点は、ＸＡＩ空間において十分密になるように選択する。サンプリング点はＸＡＩ空間上で、ランダムに設定してもよく、規則的に（例えば、格子状に）設定してもよい。サンプリング点を中心とする半径γの円内に含まれる特徴量データの点数をカウントし（Ｓ３３）、円内に含まれる特徴量データの点数を、サンプリング点における不確実性評価値としてラベリングする（Ｓ３４）。図８には２つのサンプリング点Ｓｐ１，Ｓｐ２を中心とする半径γの円を表示している。この場合、サンプリング点Ｓｐ１の不確実性評価値は１、サンプリング点Ｓｐ２の不確実性評価値は３となる。サンプリング点を十分密にとることにより、ＸＡＩ空間における特徴量データの分布状況をサンプリング点ごとの不確実性評価値により評価できる。この処理をすべてのサンプリング点について繰り返す（Ｓ３５）。

【0035】

すべてのサンプリング点について、不確実性評価値を求めていれば（Ｓ３５でYes）、不確実性解析を終了する（Ｓ３６）。終了にあたり、ＸＡＩ空間における各サンプリング点での不確実性評価値を不確実性評価データ６７として記憶する。

【0036】

なお、サンプリング点を中心とする半径γの大きさは、不確実性評価の分解能に影響する。このため、異なる半径γの大きさでサンプリング点の不確実性評価値を求め、所望の分解能を与える半径γで求めたサンプリング点の不確実性評価値を用いて、以降の処理を行ってもよい。

【0037】

図９に実験ポイント推薦（ステップＳ０６）の処理フローを示す。また、図１０にユーザ端末３０に表示されるＧＵＩ例として、表示画面９０を示す。表示画面９０は、レシピＡＩサーバ１０及び実験ポイント推薦サーバ２０に対するＧＵＩの両方を含んでいる。制御パラメータ（レシピ）入力欄９１に制御パラメータの値の組み合わせが設定されると、レシピＡＩサーバ１０は設定された制御パラメータの値の組み合わせをＡＩモデル５１に入力し、出力された形状パラメータを画像化し、予測形状欄９２に表示する。

【0038】

実験ポイント推薦サーバ２０が実行したＸＡＩ分析（図３のステップＳ０３）、安定性解析（図３のステップＳ０４）、不確実性解析（図３のステップＳ０５）の結果は、それぞれＸＡＩ分析結果表示欄９３、安定性解析結果表示欄９５、不確実性解析結果表示欄９７に表示される。実験ポイント推薦サーバ２０は、実験ポイント推薦プログラム６４を実行することにより、貢献度データ６５、安定性評価データ６６、不確実性評価データ６７をユーザが結果を理解しやすいように可視化して、ユーザ端末３０に表示される表示画面９０の各表示欄に表示する（Ｓ４１）。図１０の例は、ＸＡＩ空間における特徴量データ５２の分布とそれぞれの結果から実験ポイントとしての適正を評価する指標の等高線とを表示する形式で結果を表示している。さらに、各表示欄の表示形式は複数の表示形式の間で変更できるようにしてもよい。

【0039】

図１１Ａに貢献度データ６５に基づくＸＡＩ分析結果９４を示す。制御パラメータ１と制御パラメータ２とで張られるＸＡＩ空間における特徴量データ５２の分布と重要性指標の等高線が表示されている。ＸＡＩ分析では、予測結果に対する各制御パラメータの貢献度を算出しているため、ＸＡＩ空間の左下の空間ほど制御パラメータ１と制御パラメータ２は予測結果に対する重要性が低くなり、右上の空間ほど制御パラメータ１と制御パラメータ２は予測結果に対する重要性が高くなるといえる。したがって、重要性指標の等高線は右下がりの線状になる。

【0040】

ＸＡＩ分析結果の表示形式としては、他に、特徴量データ５２について算出した貢献度の代表値（平均値、中央値等）を制御パラメータごとに表示する形式も考えられる。

【0041】

図１１Ｂに安定性評価データ６６に基づく安定性解析結果９６を示す。制御パラメータ１と制御パラメータ２とで張られるＸＡＩ空間における特徴量データ５２の分布と安定性指標の等高線が表示されている。ＸＡＩ空間における安定性指標の等高線は、特徴量空間における危険境界をＸＡＩ空間に座標変換して写像したものである。

【0042】

安定性解析結果の表示形式としては、特徴量空間における特徴量データ５２の分布と危険境界とを表示する形式も考えられる。

【0043】

図１１Ｃに不確実性評価データ６７に基づく不確実性解析結果９８を示す。制御パラメータ１と制御パラメータ２とで張られるＸＡＩ空間における特徴量データ５２の分布と不確実性指標の等高線が表示されている。ＸＡＩ空間における不確実性指標の等高線は、各サンプリング点における不確実性評価値に基づき描画される。すなわち、等高線は、２つの等高線の間に挟まれるサンプリング点の不確実性評価値の値が等しくなるよう、ＸＡＩ空間中に描画される。

【0044】

次に、ユーザは、実験ポイントの不確実性評価レンジを設定する（Ｓ４２）。表示画面９０の不確実性評価レンジ入力欄１００にユーザが値を入力することにより設定する。不確実性指標は高すぎても、低すぎてもＡＩモデルへの学習効果は薄くなると考えられるため、特徴量データ５２の分布状況から適切な範囲をユーザが設定するようにしている。他の指標のレンジはシステムで設定する。重要性指標は、安定性解析、不確実性解析を行った２つの制御パラメータの貢献が大きい実験ポイントを選択する方がよい。制御パラメータの貢献の小さい領域では、ＡＩモデルの予測通りの加工結果が得られないおそれがあるためである。また、半導体処理装置によって加工形状が破壊されてしまうと得られる情報が乏しくなるため、破壊を起こさず加工ができる制御パラメータの組み合わせを実験ポイントとして選んだ方がよい。したがって、安定性指標も高い値を選択することが望ましい。もちろん、ユーザが不確実性指標と同様に、重要性指標や安定性指標について、レンジを設定できるようにしてもよい。

【0045】

実験ポイント推薦サーバ２０は、実験ポイント推薦プログラム６４を実行することにより、表示画面９０に実験ポイント選択図１０１を表示する（Ｓ４３）。実験ポイント選択図１０１を図１２に示す。実験ポイント選択図１０１はＸＡＩ空間上に重要領域１１１、安定領域１１２、ステップＳ４２で設定された不確実性評価レンジを有する不確実領域１１３を重畳表示したものである。重要領域１１１はＸＡＩ分析結果、安定領域１１２は安定性解析結果、不確実領域１１３は不確実性解析結果から得られる。ユーザは、３つの領域の重なり具合に基づき、実験ポイントを選択する（Ｓ４４）。図１２の例であれば、３つの領域が互いに重なった重なり領域１１４において実験ポイントを選択することにより、ＡＩモデル５１の学習を促進する学習データが得られる可能性が高い。

【0046】

ステップＳ４４の実験ポイントの選択は、表示画面９０の実験ポイント選択図１０１に表示されたＸＡＩ空間に対してカーソル１０２で１点を指定することによって行える（図１０参照）。カーソル１０２で指定した位置における値は、推奨制御パラメータ表示欄１０３に表示される。なお、表示欄１０３の値は、ＸＡＩ換算値で表示してもよいし、制御パラメータの値を表示してもよい。

【0047】

以上、本発明を実施例に沿って説明したが、さまざまな変形が可能である。例えば、実験ポイントを２次元で表示したＸＡＩ空間上で指定する例で説明したが、例えばＸＡＩ空間を３次元で表示するＧＵＩとすれば、３つの制御パラメータを最適化する実験ポイントを選択することが可能になる。さらに、ＧＵＩに表示したＸＡＩ空間により実験ポイントを選択する方法に限らず、例えば、安定性評価値と不確実性評価値に基づく統合スコアを求め、統合スコアを高くするように実験ポイントを選択するといった方法でもよい。統合スコアＳは、例えば、Ｓ＝ａ×（安定性評価値）＋ｂ×（不確実性評価値）、ただし、ａ，ｂは重み、として定めることができる。

【0048】

以上、説明した実施例の実施態様として、半導体処理装置を含むラインを運用管理するアプリケーションをプラットフォーム上で実行する半導体装置製造システムが考えられる。半導体処理装置は、ネットワークを介してプラットフォームに接続され、プラットフォームからの制御を受ける。この場合、レシピＡＩサーバ１０、実験ポイント推薦サーバ２０をプラットフォーム上のアプリケーションとして、それぞれの処理を実行させることにより、半導体装置製造システムにおいて、本実施例を実施することが可能になる。

【符号の説明】

【0049】

１０：レシピＡＩサーバ、１１，２１，３１：ＣＰＵ、１２，２２，３２：メモリ、１３，２３，３３：記憶装置、１４，２４，３４：ネットワークインタフェース、１５，２５，３５：バス、２０：実験ポイント推薦サーバ、３０：ユーザ端末、３６：入力装置、３７：出力装置、４０：ネットワーク、４１：アプリケーション／ＧＵＩプログラム、５１：ＡＩモデル、５２：特徴量データ、５３：予測値データ、６１：ＸＡＩ算出プログラム、６２：安定性算出プログラム、６３：不確実性算出プログラム、６４：実験ポイント推薦プログラム、６５：貢献度データ、６６：安定性評価データ、６７：不確実性評価データ、７１：ＩＤ、７２：制御パラメータ情報、７２ａ：名称、７２ｂ：値、７２ｃ：レンジ、７３：貢献度評価情報、７４：安定性評価情報、７５：不確実性評価情報、８０，８１，８２：加工形状、９０：表示画面、９１：制御パラメータ（レシピ）入力欄、９２：予測形状欄、９３：ＸＡＩ分析結果表示欄、９４：ＸＡＩ分析結果、９５：安定性解析結果表示欄、９６：安定性解析結果、９７：不確実性解析結果表示欄、９８：不確実性解析結果、１００：不確実性評価レンジ入力欄、１０１：実験ポイント選択図、１０２：カーソル、１０３：推奨制御パラメータ表示欄、１１１：重要領域、１１２：安定領域、１１３：不確実領域、１１４：重なり領域。

【要約】

半導体処理装置の制御パラメータを入力とし、半導体処理装置によって加工された半導体試料の加工形状を表現する形状パラメータを出力とする機械学習モデルについて、学習データを得る実験ポイントを推薦する。機械学習モデルの学習に用いた学習データの制御パラメータの値である特徴量データから、機械学習モデルの予測に対する制御パラメータごとの貢献度を評価し、貢献度に基づいて選定された制御パラメータを軸として張られる空間における機械学習モデルによる予測の安定性評価、不確実性評価に基づき実験ポイントを推薦する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図11C】

【図12】