特許 7584925 管理装置、リソグラフィー装置、管理方法および物品製造方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-08

(45)【発行日】2024-11-18

(54)【発明の名称】管理装置、リソグラフィー装置、管理方法および物品製造方法

(51)【国際特許分類】

   G05B 13/02 20060101AFI20241111BHJP

   G03F 7/20 20060101ALI20241111BHJP

   H01L 21/68 20060101ALI20241111BHJP

【ＦＩ】

G05B13/02 L

G03F7/20 521

G03F7/20 501

G05B13/02 E

H01L21/68 F

H01L21/68 K

【請求項の数】 26

(21)【出願番号】P 2020111910

(22)【出願日】2020-06-29

(65)【公開番号】P2022011044

(43)【公開日】2022-01-17

【審査請求日】2023-06-14

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】伊藤 覚

【審査官】影山 直洋

(56)【参考文献】

【文献】特開２０１９－０７１４０５（ＪＰ，Ａ）

【文献】特開２００７－２７１１８７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｂ １３／０２

Ｇ０３Ｆ ７／２０

Ｈ０１Ｌ ２１／６８

(57)【特許請求の範囲】

【請求項1】

強化学習によってパラメータ値が決定されるニューラルネットワークを使って制御対象の制御を行う制御部を管理する管理装置であって、
前記制御における制御偏差の移動平均に基づいて求められた報酬が所定基準を満たさない場合に、前記制御偏差が閾値以下に収束するまでの時間に基づいて求められる報酬に基づき強化学習によって前記パラメータ値を再決定する学習部を備えることを特徴とする管理装置。

【請求項2】

前記制御対象は、処理対象物を保持する保持部を含み、
前記制御部は、前記処理対象物に対する処理を実行する処理シーケンスにおいて、前記保持部を移動させるように前記保持部を制御し、
前記学習部は、前記処理シーケンスにおける前記制御部による前記保持部の制御における制御偏差の移動平均に基づいて求められた報酬が前記所定基準を満たさない場合に、強化学習によって前記パラメータ値を再決定する、
ことを特徴とする請求項１に記載の管理装置。

【請求項3】

前記処理シーケンスは、複数のサブシーケンスを含み、
前記所定基準は、前記複数のサブシーケンスにそれぞれ対する複数の基準を含み、
前記学習部は、前記複数のサブシーケンスの各々における前記制御部による前記保持部の制御における制御偏差の移動平均に基づいて求められた報酬が前記複数の基準のうち対応する基準を満たさない場合に、強化学習によって前記パラメータ値を再決定する、
ことを特徴とする請求項２に記載の管理装置。

【請求項4】

前記処理シーケンスは、基板に原版のパターンを転写するためのシーケンスであり、
前記複数のサブシーケンスは、前記基板を搬送する搬送シーケンスと、前記基板と前記原版とのアライメント誤差を計測する計測シーケンスと、前記基板に前記原版のパターンを投影し前記基板を露光する露光シーケンスと、を含む、
ことを特徴とする請求項３に記載の管理装置。

【請求項5】

前記複数の基準のうち前記搬送シーケンスに対応する基準は、前記保持部の制御偏差の移動平均が規定値以下に収束するまでの時間に関する、
ことを特徴とする請求項４に記載の管理装置。

【請求項6】

前記複数の基準のうち前記計測シーケンスに対応する基準は、前記基板と前記原版とのアライメント誤差の計測中における前記保持部の制御偏差に関する、
ことを特徴とする請求項４又は５に記載の管理装置。

【請求項7】

前記学習部は、前記基板の露光中における前記基板と前記原版との同期誤差が、前記同期誤差に関する基準を満たさない場合にも、強化学習によって前記パラメータ値を再決定する、
ことを特徴とする請求項４乃至６のいずれか１項に記載の管理装置。

【請求項8】

前記学習部は、前記処理シーケンスが終了した後に、強化学習によって前記パラメータ値を再決定する、
ことを特徴とする請求項２乃至７のいずれか１項に記載の管理装置。

【請求項9】

前記制御対象は、処理対象物を保持する保持部を含み、
前記制御部は、処理対象物に対する処理を実行する処理シーケンスを実行していない期間において、前記保持部を移動させるように前記保持部を制御し、
前記学習部は、前記期間における前記制御部による前記保持部の制御における制御偏差の移動平均に基づいて求められた報酬が前記所定基準を満たさない場合に、強化学習によって前記パラメータ値を再決定する、
ことを特徴とする請求項１に記載の管理装置。

【請求項10】

前記制御部は、前記制御対象の位置を制御する、
ことを特徴とする請求項１乃至４のいずれか１項に記載の管理装置。

【請求項11】

前記制御部は、制御偏差に基づいて第１指令値を発生する第１補償器と、前記制御偏差に基づいて第２指令値を発生する第２補償器と、前記第１指令値と前記第２指令値に基づいて指令値を生成する加算器とを含み、
前記指令値は、前記制御対象を駆動するドライバに対して供給される、
ことを特徴とする請求項１乃至１０のいずれか１項に記載の管理装置。

【請求項12】

強化学習によってパラメータ値が決定されるニューラルネットワークを使って基板を保持する保持部を制御する制御部を管理する管理装置であって、
前記制御部は、前記基板に原版のパターンを転写するための処理シーケンスにおいて、前記保持部を移動させるように前記保持部を制御し、
前記管理装置は、前記処理シーケンスに含まれる前記基板を搬送する搬送シーケンスおける前記保持部の制御偏差から求められた報酬が、前記保持部の制御偏差が規定値以下に収束するまでの時間に関する基準を満たさない場合に、強化学習によって前記パラメータ値を再決定する学習部を備える、
ことを特徴とする管理装置。

【請求項13】

強化学習によってパラメータ値が決定されるニューラルネットワークを使って基板を保持する保持部を制御する制御部を管理する管理装置であって、
前記制御部は、前記基板に原版のパターンを転写するための処理シーケンスにおいて、前記保持部を移動させるように前記保持部を制御し、
前記管理装置は、前記処理シーケンスに含まれる前記基板と前記原版とのアライメント誤差を計測する計測シーケンスおける前記保持部の制御偏差から求められた報酬が、前記基板と前記原版とのアライメント誤差の計測中における前記保持部の制御偏差に関する基準を満たさない場合に、強化学習によって前記パラメータ値を再決定する学習部を備える、
ことを特徴とする管理装置。

【請求項14】

強化学習によってパラメータ値が決定されるニューラルネットワークを使って、基板に原版のパターンを投影し前記基板を露光する露光シーケンスにおいて、前記基板および前記原版を制御する制御部を管理する管理装置であって、
前記露光シーケンスおける前記基板と前記原版との同期誤差から求められた報酬が、前記露光シーケンスにおける前記基板と前記原版との同期誤差に関する基準を満たさない場合に、強化学習によって前記パラメータ値を再決定する学習部を備える、
ことを特徴とする管理装置。

【請求項15】

原版のパターンを基板に転写する処理を行うリソグラフィー装置であって、
前記処理のために動作する動作部と、
強化学習によってパラメータ値が決定されるニューラルネットワークを含み、前記ニューラルネットワークを使って前記動作部の制御を行う制御部と、
前記制御における制御偏差の移動平均に基づいて求められた報酬が所定基準を満たさない場合に、前記制御偏差が閾値以下に収束するまでの時間に基づいて求められる報酬に基づき強化学習によって前記パラメータ値を再決定する学習部と、
を備えることを特徴とするリソグラフィー装置。

【請求項16】

前記動作部は、前記基板を保持する保持部を含み、
前記制御部は、前記処理を実行する処理シーケンスにおいて、前記保持部を移動させるように前記保持部を制御し、
前記学習部は、前記処理シーケンスにおける前記制御部による前記保持部の制御における制御偏差の移動平均に基づいて求められた報酬が前記所定基準を満たさない場合に、強化学習によって前記パラメータ値を再決定する、
ことを特徴とする請求項１５に記載のリソグラフィー装置。

【請求項17】

前記処理シーケンスは、複数のサブシーケンスを含み、
前記所定基準は、前記複数のサブシーケンスにそれぞれ対する複数の基準を含み、
前記学習部は、前記複数のサブシーケンスの各々における前記制御部による前記保持部の制御における制御偏差の移動平均に基づいて求められた報酬が前記複数の基準のうち対応する基準を満たさない場合に、強化学習によって前記パラメータ値を再決定する、
ことを特徴とする請求項１６に記載のリソグラフィー装置。

【請求項18】

前記複数のサブシーケンスは、前記基板を搬送する搬送シーケンスと、前記基板と前記原版とのアライメント誤差を計測する計測シーケンスと、前記基板に前記原版のパターンを投影し前記基板を露光する露光シーケンスと、を含む、
ことを特徴とする請求項１７に記載のリソグラフィー装置。

【請求項19】

前記複数の基準のうち前記搬送シーケンスに対応する基準は、前記保持部の制御偏差の移動平均が規定値以下に収束するまでの時間に関する、
ことを特徴とする請求項１８に記載のリソグラフィー装置。

【請求項20】

前記複数の基準のうち前記計測シーケンスに対応する基準は、前記基板と前記原版とのアライメント誤差の計測中における前記保持部の制御偏差に関する、
ことを特徴とする請求項１８又は１９に記載のリソグラフィー装置。

【請求項21】

前記学習部は、前記基板の露光中における前記基板と前記原版との同期誤差が、前記同期誤差に関する基準を満たさない場合にも、強化学習によって前記パラメータ値を再決定する、
ことを特徴とする請求項１８乃至２０のいずれか１項に記載のリソグラフィー装置。

【請求項22】

原版のパターンを基板に転写する処理シーケンスを行うリソグラフィー装置であって、
前記基板を保持する保持部と、
強化学習によってパラメータ値が決定されるニューラルネットワークを含み、前記ニューラルネットワークを使って、前記処理シーケンスにおいて、前記保持部を移動させるように前記保持部の制御を行う制御部と、
前記処理シーケンスに含まれる前記基板を搬送する搬送シーケンスおける前記保持部の制御偏差から求められた報酬が、前記保持部の制御偏差が規定値以下に収束するまでの時間に関する基準を満たさない場合に、強化学習によって前記パラメータ値を再決定する学習部と、
を備えることを特徴とするリソグラフィー装置。

【請求項23】

原版のパターンを基板に転写する処理シーケンスを行うリソグラフィー装置であって、
前記基板を保持する保持部と、
強化学習によってパラメータ値が決定されるニューラルネットワークを含み、前記ニューラルネットワークを使って、前記処理シーケンスにおいて、前記保持部を移動させるように前記保持部の制御を行う制御部と、
前記処理シーケンスに含まれる前記基板と前記原版とのアライメント誤差を計測する計測シーケンスおける前記保持部の制御偏差から求められた報酬が、前記基板と前記原版とのアライメント誤差の計測中における前記保持部の制御偏差に関する基準を満たさない場合に、強化学習によって前記パラメータ値を再決定する学習部と、
を備えることを特徴とするリソグラフィー装置。

【請求項24】

原版のパターンを基板に投影し前記基板を露光する露光シーケンスを行うリソグラフィー装置であって、
前記基板を保持する保持部と、
強化学習によってパラメータ値が決定されるニューラルネットワークを含み、前記ニューラルネットワークを使って、前記露光シーケンスにおいて、前記基板および前記原版の制御を行う制御部と、
前記露光シーケンスおける前記基板と前記原版との同期誤差から求められた報酬が、前記露光シーケンスにおける前記基板と前記原版との同期誤差に関する基準を満たさない場合に、強化学習によって前記パラメータ値を再決定する学習部と、
を備えることを特徴とするリソグラフィー装置。

【請求項25】

強化学習によってパラメータ値が決定されるニューラルネットワークを使って制御対象の制御を行う制御部を管理する管理方法であって、
前記制御における制御偏差を取得する取得工程と、
前記制御偏差の移動平均に基づいて求められた報酬が所定基準を満たさない場合に、前記制御偏差が閾値以下に収束するまでの時間に基づいて求められる報酬に基づき強化学習によって前記パラメータ値を再決定する学習工程と、
を含むことを特徴とする管理方法。

【請求項26】

請求項１５乃至２４のいずれか１項に記載のリソグラフィー装置によって基板に原版のパターンを転写する転写工程と、
前記転写工程を経た前記基板を処理する処理工程と、を含み、
前記処理工程を経た前記基板から物品を得ることを特徴とする物品製造方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、管理装置、リソグラフィー装置、管理方法および物品製造方法に関する。

【背景技術】

【0002】

特許文献１には、反復学習制御回路を備える位置制御装置が記載されている。該位置制御装置は、制御対象の位置を検出する検出部と、該検出部の出力を目標値から減算した偏差を生成する減算部と、該偏差が入力されるフィルタを含む反復学習制御回路と、該制御対象のパラメータ変動を算出する算出手段とを備える。該フィルタの特性は、該制御対象のパラメータ変動に応じて変更される。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００９－２０５６４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ニューラルネットワークを用いた制御装置は、強化学習を経てニューラルネットワークのパラメータ値が決定されうる。しかし、制御対象の状態は、経時変化によって変化しうるので、ある時点で最適化されていたニューラルネットワークであっても、その後の制御対象の状態の変化に伴って最適ではなくなりうる。そのため、制御対象の状態の変化に伴って、制御装置の制御精度が低下しうる。

【0005】

本発明は、制御対象の状態の変化による制御精度の低下を抑えるために有利な技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の１つの側面は、強化学習によってパラメータ値が決定されるニューラルネットワークを使って制御対象の制御を行う制御部を管理する管理装置に係り、前記管理装置は、前記制御における制御偏差の移動平均に基づいて求められた報酬が所定基準を満たさない場合に、前記制御偏差が閾値以下に収束するまでの時間に基づいて求められる報酬に基づき強化学習によって前記パラメータ値を再決定する学習部を備える。

【発明の効果】

【0007】

本発明によれば、制御対象の状態の変化による制御精度の低下を抑えるために有利な技術が提供される。

【図面の簡単な説明】

【0008】

【図1】一実施形態の製造システムの構成を示す図。

【図2】処理装置の構成を例示する図。

【図3】図２に例示された処理装置の構成を例示するブロック線図。

【図4】学習シーケンスにおける管理装置の動作を例示する図。

【図5】実シーケンスにおける管理装置の動作を例示する図。

【図6】走査露光装置の構成を例示する図。

【図7】実シーケンスにおける走査露光装置の動作を例示する図。

【図8】報酬の計算例を説明するための図。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0010】

図１には、一実施形態の製造システムＭＳの構成が示されている。製造システムＭＳは、例えば、処理装置１と、処理装置１を制御する制御装置２と、処理装置１および制御装置２を管理する管理装置（学習装置）３とを備えうる。処理装置１は、例えば、製造装置、検査装置、監視装置等のように、処理対象物に対する処理を実行する装置である。処理の概念には、処理対象物を加工すること、検査すること、監視すること、観察することなどが含まれうる。

【0011】

処理装置１は、制御対象を含み、強化学習によってパラメータ値が決定されるニューラルネットワークを使って該制御対象を制御しうる。制御装置２は、処理装置１に駆動指令を送り、処理装置１から駆動結果あるいは制御結果を受け取るように構成されうる。管理装置３は、処理装置１のニューラルネットワークの複数のパラメータ値を決定する強化学習を行いうる。具体的には、管理装置３は、処理装置１に駆動指令を送り、処理装置１から駆動結果を受け取る動作を該ニューラルネットワークの該複数のパラメータ値の全部または一部を変更しながら繰り返すことによって該複数のパラメータ値を決定しうる。管理装置３は、学習装置として理解されてもよい。

【0012】

制御装置２の全部または一部の機能は、管理装置３に組み込まれてもよい。制御装置２の全部または一部の機能は、処理装置１に組み込まれてもよい。処理装置１、制御装置２および管理装置３は、物理的に一体化されて構成されてもよいし、物理的に別体をなすように構成されてもよい。処理装置１は、その全体が制御装置２によって制御されてもよいし、制御装置２によって制御される構成要素の他に、制御装置２によって制御されない構成要素を含んでもよい。

【0013】

図２には、処理装置１の構成が例示されている。処理装置１は、制御対象であるステージ（保持部）ＳＴを含むステージ機構５と、ステージＳＴの位置あるいは状態を検出するセンサ６と、ステージ機構５を駆動するドライバ７と、ドライバ７に指令値を与え、センサ６からの出力を受け取る制御部８とを含みうる。ステージＳＴは、位置決め対象物を保持しうる。ステージＳＴは、不図示のガイドによってガイドされうる。ステージ機構５は、ステージＳＴを移動させるアクチュエータＡＣを含みうる。ドライバ７は、アクチュエータＡＣを駆動する。より具体的には、ドライバ７は、例えば、制御部８から与えられる指令値に応じた電流(電気的エネルギー)をアクチュエータＡＣに供給しうる。アクチュエータＡＣは、ドライバ７から供給される電流に応じた力（機械的エネルギー）でステージＳＴを移動させうる。制御部８は、強化学習によってパラメータ値が決定されるニューラルネットワークを使って制御対象であるステージＳＴの位置あるいは状態を制御しうる。

【0014】

図３には、図２に例示された処理装置１の構成を例示するブロック線図が示されている。制御部８は、減算器８１と、第１補償器８２と、第２補償器（ニューラルネットワーク）８３と、加算器８４とを含みうる。減算器８１は、制御装置２から与えられる駆動指令（例えば、目標位置指令）とセンサ６から出力される検出結果（例えば、ステージＳＴの位置）との差分である制御偏差を演算しうる。第１補償器８２は、減算器８１から提供される制御偏差に対して補償演算を行って第１指令値を発生しうる。第２補償器８３は、ニューラルネットワークで構成され、減算器８１から提供される制御偏差に対して補償演算を行って第２指令値を発生しうる。加算器８４は、第１指令値と第２指令値とを加算し指令値を発生しうる。制御部８、ドライバ７、ステージ機構５およびセンサ６は、制御偏差に基づいて制御対象としてのステージＳＴを制御するフィードバック制御系を構成している。

【0015】

第１補償器８２は、例えば、ＰＩＤ補償器でありうるが、他の補償器であってもよい。第２補償器８３は、例えば、入力数をＬ、中間層数をＭ、出力数をＮ（Ｌ、Ｍ、Ｎはいずれも正の整数）とした時に、Ｌ×Ｍの行列とＭ×Ｎの行列との積で定義されるニューラルネットワークでありうる。該ニューラルネットワークの複数のパラメータ値は、管理装置３によって実行される強化学習によって決定あるいは更新されうる。第１補償器８２は、必ずしも必要ではなく、第２補償器８２のみがドライバ７に与える指令値を発生してもよい。

【0016】

管理装置３は、処理装置１の制御部８によるステージＳＴの制御結果から求められる報酬が所定基準を満たさない場合に学習シーケンスを実行する学習部あるいは再学習部として機能しうる。学習シーケンスでは、強化学習によって第２補償器（ニューラルネットワーク）８３の複数のパラメータ値からなるパラメータ値セットを決定あるいは再決定されうる。

【0017】

図４には、学習シーケンスにおける管理装置３の動作が例示されている。工程Ｓ１０１では、管理装置３は、第２補償器（ニューラルネットワーク）８３の複数のパラメータ値（パラメータ値セット）を初期化しうる。工程Ｓ１０２では、管理装置３は、制御対象としてのステージＳＴを駆動するように処理装置１に指令を送りうる。具体的には、工程Ｓ１０２では、管理装置３は、駆動指令を制御装置２を介して処理装置１の制御部８に送りうる。これに応答して、処理装置１の制御部８は、駆動指令に従ってドライバ７にステージＳＴを駆動させ、ステージＳＴの位置を制御しうる。

【0018】

工程Ｓ１０３では、管理装置３は、工程Ｓ１０２における制御対象としてのステージＳＴの駆動の状態を示す駆動データを制御装置２を介して処理装置１の制御部８から取得しうる。駆動データは、例えば、センサ６の出力および減算器８１の出力の少なくとも１つを示すデータを含みうる。工程Ｓ１０４では、管理装置３は、工程Ｓ１０３で取得した駆動データに基づいて報酬を計算しうる。報酬は、予め定義された式に基づいて計算されうる。例えば、制御偏差に基づいて報酬を計算する場合、報酬は、制御偏差の逆数を与える式、制御偏差の対数の逆数を与える式、または、制御偏差の二次関数の逆数を与える式等に従って計算されうるが、他の式に従って計算されてもよい。一例においては、報酬の値が大きいほど、第２補償器（ニューラルネットワーク）８３が優秀であることを意味するが、これとは逆に、報酬の値が小さいほど、第２補償器（ニューラルネットワーク）８３が優秀であることを意味する場合もある。

【0019】

工程Ｓ１０５では、管理装置３は、第２補償器（ニューラルネットワーク）８３の複数のパラメータ値の少なくとも１つを変更して、新たなパラメータ値セットを生成し、新たなパラメータ値を第２補償器（ニューラルネットワーク）８３に設定する。工程Ｓ１０６、Ｓ１０７、Ｓ１０８は、工程Ｓ１０２、Ｓ１０３、Ｓ１０４とそれぞれ同じでありうる。工程Ｓ１０６では、管理装置３は、ステージＳＴを駆動するように処理装置１に指令を送りうる。具体的には、工程Ｓ１０６では、管理装置３は、駆動指令を制御装置２を介して処理装置１の制御部８に送りうる。これに応答して、処理装置１の制御部８は、駆動指令に従ってドライバ７にステージＳＴを駆動させ、ステージＳＴの位置を制御しうる。工程Ｓ１０７では、管理装置３は、工程Ｓ１０６におけるステージＳＴの駆動の状態を示す駆動データを制御装置２を介して処理装置１の制御部８から取得しうる。工程Ｓ１０８では、管理装置３は、工程Ｓ１０７で取得した駆動データに基づいて報酬を計算しうる。

【0020】

工程Ｓ１０９では、管理装置３は、工程Ｓ１０８で計算した報酬が工程Ｓ１０４で計算した報酬より向上しているかどうかを判定する。そして、管理装置３は、工程Ｓ１０８で計算した報酬が工程Ｓ１０４で計算した報酬より向上している場合には、工程Ｓ１１０において、工程Ｓ１０５において変更を実行した後のパラメータ値セットを最新のパラメータ値として採用する。一方、管理装置３は、工程Ｓ１０８で計算した報酬が工程Ｓ１０４で計算した報酬より向上していない場合には、工程Ｓ１１１において、工程Ｓ１０５において変更を実行した後のパラメータ値セットを不採用とし、工程Ｓ１０５に戻る。この場合、工程Ｓ１０５において、第２補償器（ニューラルネットワーク）８３に新たなパラメータ値セットを設定される。

【0021】

工程Ｓ１１０が実行された場合には、工程Ｓ１１２において、管理装置３は、直前に実行された工程Ｓ１０８で計算した報酬が所定基準を満たすかどうかを判定し、該報酬が所定基準を満たす場合には、図４に示される処理を終了する。これは、直前に実行された工程Ｓ１０５で生成されたパラメータ値セットが強化学習後のパラメータ値セットとして決定されることを意味する。強化学習後のパラメータ値セットが設定されたニューラルネットワークは、学習済モデルと呼ばれうる。一方、工程Ｓ１１２において直前に実行された工程Ｓ１０８で計算した報酬が所定基準を満たさない場合、管理装置３は、工程Ｓ１０５からの処理を繰り返す。

【0022】

処理装置１は、処理対象物に対する処理を実行するシーケンス（これを実シーケンスと呼ぶ）において、上記の学習シーケンスで得られた学習済モデル（第２補償器８３）を有する装置として動作しうる。一例において、処理装置１は、管理装置３による管理下において実シーケンスを実行しうるが、他の例において、処理装置１は、管理装置３による管理とは独立して実シーケンスを実行しうる。

【0023】

図５には、実シーケンスにおける管理装置３の動作が例示されている。工程Ｓ２０１では、管理装置３は、処理装置１に実シーケンスの実行を開始させうる。実シーケンスにおいて、処理装置１の制御部８は、予め設定された駆動プロファイルに従って駆動指令を発生し、該駆動指令に従ってドライバ７にステージＳＴを駆動させ、ステージＳＴの位置を制御しうる。工程Ｓ２０２では、管理装置３は、工程Ｓ２０１におけるステージＳＴの駆動の状態を示す駆動データを制御装置２を介して処理装置１の制御部８から取得しうる。駆動データは、例えば、駆動指令、および、センサ６の出力および減算器８１の出力（制御偏差）の少なくとも１つを示すデータを含みうる。工程Ｓ２０３では、管理装置３は、工程Ｓ２０２で取得した駆動データに基づいて報酬を計算しうる。報酬は、予め定義された式に基づいて計算されうる。この式は、図４に示される学習シーケンスの工程Ｓ１０４、１０８における報酬の計算において使用される式と同じであってもよいし、異なってもよい。例えば、学習シーケンスでは、制御偏差が閾値以下に収束するまでの時間に基づいて報酬を計算し、実シーケンスでは、制御偏差の移動平均に基づいて報酬を計算することができる。学習シーケンスでは、変化に敏感な指標を使うことで学習の精度を高め、実シーケンスでは、計算負荷が小さい式に従って報酬を計算することが有用である。

【0024】

工程Ｓ２０４では、管理装置３は、工程Ｓ２０３で計算した報酬が所定基準を満たすかどうかを判断する。そして、管理装置３は、該報酬が該所定基準を満たす場合は、工程Ｓ２０１に戻り、該報酬が該所定基準を満たさない場合には、工程Ｓ２０５に進み、工程Ｓ２０５において、図４に例示される学習シーケンス（即ち、再学習）を実行する。工程Ｓ２０５において、学習シーケンス（再学習）を実行するタイミングとしては、次のようなタイミングを例示的に挙げることができる。
（１）第１の例では、学習シーケンスは、工程Ｓ２０４において報酬が所定基準を満たさないと判断された直後に実施されうる。
（２）第２の例では、現在実行中の実シーケンスの終了を待ち、次の実シーケンスの開始前（即ち、実シーケンスを実行してない期間）に、学習シーケンスが実行されうる。
（３）第３の例では、報酬が所定基準を満たさなかったことを記憶しておき、次回のメンテナンス工程において学習シーケンスが実行されうる。

【0025】

工程Ｓ２０５における学習シーケンスは、現在の学習済モデルを出発点として実行されうる。あるいは、工程Ｓ２０５における学習シーケンスは、ニューラルネットワークを初期状態または学習過程の任意の状態に戻してから実行されうる。

【0026】

以下、図６を参照しながら上記の製造システムＭＳを走査露光装置５００に適用した例を説明する。走査露光装置５００は、スリット部材によって整形されたスリット光により基板１４を走査露光するステップ・アンド・スキャン方式の露光装置である。走査露光装置５００は、照明光学系２３、原版ステージ機構１２、投影光学系１３、基板ステージ機構１５、第１位置計測部１７、第２位置計測部１８、基板マーク計測部２１、基板搬送部２２および制御部２５を含みうる。

【0027】

制御部２５は、照明光学系２３、原版ステージ機構１２、投影光学系１３、基板ステージ機構１５、第１位置計測部１７、第２位置計測部１８、基板マーク計測部２１、基板搬送部２２を制御する。制御部２５は、原版１１のパターンを基板１４に転写する処理を制御する。制御部２５は、例えば、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略。）などのＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅの略。）、又は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略。）、又は、プログラムが組み込まれた汎用コンピュータ、又は、これらの全部または一部の組み合わせによって構成されうる。制御部２５は、図２、図３に記載された処理装置１における制御部８に相当しうる。

【0028】

原版ステージ機構１２は、原版１１を保持する原版ステージＲＳＴと、原版ステージＲＳＴを駆動する第１アクチュエータＲＡＣとを含みうる。基板ステージ機構１５は、基板１４を保持する基板ステージＷＳＴと、基板ステージＷＳＴを駆動する第２アクチュエータＷＡＣとを含みうる。照明光学系２３は、原版１１を照明する。照明光学系２３は、マスクキングブレードなどの遮光部材により、光源（不図示）から射出された光を、例えばＸ方向に長い帯状または円弧状の形状を有するスリット光に整形し、そのスリット光で原版１１の一部を照明する。原版１１および基板１４は、原版ステージＲＳＴおよび基板ステージＷＳＴによってそれぞれ保持されており、投影光学系１３を介して光学的にほぼ共役な位置（投影光学系１３の物体面および像面）にそれぞれ配置される。

【0029】

投影光学系１３は、所定の投影倍率（例えば、１倍、１／２倍又は１／４倍）を有し、原版１１のパターンをスリット光により基板１４上に投影する。原版１１のパターンが投影された基板１４上の領域（スリット光が照射される領域）は、照射領域と呼ばれうる。原版ステージＲＳＴおよび基板ステージＷＳＴは、投影光学系１３の光軸方向（Ｚ方向）に直交する方向（Ｙ方向）に移動可能に構成されている。原版ステージＲＳＴおよび基板ステージＷＳＴは、互いに同期しながら、投影光学系１３の投影倍率に応じた速度比で相対的に走査される。これにより、照射領域に対して基板１４がＹ方向に走査され、原版１１に形成されたパターンが基板１４のショット領域に転写される。そして、このような走査露光を、基板ステージＷＳＴを移動させながら、基板１４の複数のショット領域の各々について順次に行うことにより、１枚の基板１４における露光処理が完了する。

【0030】

第１位置計測部１７は、例えばレーザ干渉計を含み、原版ステージＲＳＴの位置を計測する。レーザ干渉計は、例えば、レーザ光を原版ステージＲＳＴに設けられた反射板（不図示）に向けて照射し、反射板で反射されたレーザ光と基準面で反射されたレーザ光との干渉によって原版ステージＲＳＴの変位（基準位置からの変位）を検出する。第１位置計測部１７は、当該変位に基づいて原版ステージＲＳＴの現在位置を取得することができる。ここで、第１位置計測部１７は、レーザ干渉計以外に位置計測器、例えば、エンコーダによって原版ステージＲＳＴの位置を計測してもよい。基板マーク計測部２１は、例えば、光学系および撮像素子を含み、基板１４に設けられたマークの位置を検出しうる。

【0031】

第２位置計測部１８は、例えばレーザ干渉計を含み、基板ステージＷＳＴの位置を計測する。レーザ干渉計は、例えば、レーザ光を基板ステージＷＳＴに設けられた反射板（不図示）に向けて照射し、反射板で反射されたレーザ光と基準面で反射されたレーザ光との干渉によって基板ステージＷＳＴの変位（基準位置からの変位）を検出する。第２位置計測部１８は、当該変位に基づいて基板ステージＷＳＴの現在位置を取得することができる。ここで、第２位置計測部１８は、レーザ干渉計以外に位置計測器、例えば、エンコーダによって基板ステージＷＳＴの位置を計測してもよい。

【0032】

走査露光装置５００では、原版１１のパターンを基板１４の目標位置に正確に転写することが求められる。そのためには、走査露光中における基板ステージＷＳＴ上の基板１４に対する原版ステージＲＳＴ上の原版１１の相対位置を正確に制御することが重要である。よって、報酬としては、原版ステージＲＳＴと基板ステージＷＳＴとの相対位置誤差（同期誤差）を評価する値を採用しうる。また、基板１４のマークの検出精度を向上させるためには、基板ステージＷＳＴを基板マーク計測部２１の下に正確に位置決めすることが重要であるため、報酬としては、マークを撮像している間の基板ステージＷＳＴの制御偏差を評価する値を採用しうる。また、スループットを向上させるために、基板の搬送速度を上げることが重要である。基板のロードおよびアンロードの際には、駆動完了後に基板ステージＷＳＴおよび基板搬送部２２の制御偏差が短時間で規定値以下に収束することが重要であるため、報酬としては、基板ステージＷＳＴおよび基板搬送部２２の収束時間を評価する値を採用しうる。基板ステージ機構１５、原版ステージ機構１２、基板搬送部２２は、それぞれ原版１１のパターンを基板１４に転写する処理のための動作をする動作部の一例である。

【0033】

図７には、走査露光装置５００の実シーケンスが例示されている。工程Ｓ３０１では、管理装置３は、走査露光装置５００の制御部２５に実シーケンス、即ち基板を処理する処理シーケンスの実行の開始を指示する。この指示に応答して、走査露光装置５００は、該処理シーケンスを開始する。該処理シーケンスは、複数のサブシーケンスとして、例えば、工程Ｓ３０２、Ｓ３０３、Ｓ３０４、Ｓ３０５を含みうる。

【0034】

工程Ｓ３０２では、制御部２５は、基板１４を基板ステージＷＳＴにロード（搬送）するように基板搬送部２２を制御する。具体的には、工程Ｓ３０２では、制御部２５は、基板１４のマークが基板マーク計測部２１の視野に入るように基板ステージ機構１５を制御し、基板１４のマークの位置が検出されるように基板マーク計測部２１を制御しうる。このような動作は、基板１４の複数のマークのそれぞれについて実行されうる。工程Ｓ３０４では、制御部２５は、基板１４の複数のショット領域のそれぞれに対して原版１１のパターンが転写されるように基板ステージ機構１５、原版ステージ機構１２、照明光学系２３等を制御する。工程Ｓ３０５では、制御部２５は、基板ステージＷＳＴ上の基板１４をアンロード（搬送）するように基板搬送部２２を制御する。工程Ｓ３０２、Ｓ３０３、Ｓ３０４、Ｓ３０５では、工程Ｓ３０２、Ｓ３０３、Ｓ３０４、Ｓ３０５における制御に関する報酬を計算するために必要な駆動データが制御部２５（制御部８）から制御装置２を介して管理装置３に提供されうる。このような駆動データは、工程Ｓ３０５の終了後に一括して制御部２５（制御部８）から制御装置２を介して管理装置３に提供されてもよい。

【0035】

工程Ｓ３０６では、管理装置３は、複数のサブシーケンス、即ち工程Ｓ３０２、Ｓ３０３、Ｓ３０４、Ｓ３０５のそれぞれにおける制御に関する報酬を駆動データに基づいて計算する。例えば、工程Ｓ３０２、Ｓ３０５における制御に関しては、報酬として、基板を保持する基板ステージあるいは保持部の制御偏差が規定値以下に収束するまでに要する時間を評価する値が計算されうる。工程Ｓ３０３における制御に関しては、報酬として、基板と原版とのアライメント誤差の計測中における基板ステージ（保持部）の制御偏差を評価する値が計算されうる。工程Ｓ３０４における制御に関しては、報酬として、基板の露光中における基板と原版との同期誤差を評価する値が計算されうる。

【0036】

工程Ｓ３０７では、管理装置３は、工程Ｓ３０６で計算した報酬が所定基準を満たすかどうかを判断する。そして、管理装置３は、該報酬が該所定基準を満たす場合は、図７に示される実シーケンスを終了し、該報酬が該所定基準を満たさない場合には、工程Ｓ３０８に進み、工程Ｓ３０８において、図４に例示される学習シーケンス（再学習）を実行する。ここで、工程Ｓ３０７では、管理装置３は、複数のサブシーケンス、即ち工程Ｓ３０２、Ｓ３０３、Ｓ３０４、Ｓ３０５のそれぞれについて、報酬がそれに対応する基準を満たすかどうかがを判断しうる。そして、管理装置３は、報酬が基準を満たさないサブシーケンスについて、学習シーケンスを実行するように動作しうる。あるいは、管理装置３は、複数のサブシーケンス、即ち工程Ｓ３０２、Ｓ３０３、Ｓ３０４、Ｓ３０５の少なくとも１つについて、報酬がそれに対応する基準を満たさない場合に、全てのサブシーケンスについて学習シーケンスを実行してもよい。

【0037】

計算される報酬が基板を保持する基板ステージあるいは保持部の制御偏差が規定値以下に収束するまでに要する時間を評価する値である場合、それに対応する基準も、制御偏差が規定値以下に収束するまでに要する時間として与えられる。計算される報酬が基板と原版とのアライメント誤差の計測中における基板ステージの制御偏差を評価する値である場合、それに対応する基準も、アライメント誤差の計測中における基板ステージの制御偏差として与えられうる。計算される報酬が基板の露光中における基板と原版との同期誤差を評価する値である場合、それに対応する基準も、基板の露光中における基板と原版との同期誤差で与えられうる。

【0038】

ニューラルネットワークが構成される制御対象としては、例えば、基板ステージ機構１５、原版ステージ機構１２、基板搬送部２２等を挙げることができるが、他の構成要素にもニューラルネットワークが組み込まれてもよい。ここで、例えば、基板ステージ機構１５、原版ステージ機構１２、基板搬送部２２等の複数の構成要素を１つのニューラルネットワークで制御してもよいし、複数の構成要素を別々のニューラルネットワークで制御してもよい。また、学習済モデルとして、搬送シーケンス、計測シーケンス、および露光シーケンスのそれぞれに対して同一の学習済モデルを用いてもよいし、別々の学習済モデルを用いてもよい。報酬の計算においては、搬送シーケンス、計測シーケンス、および露光シーケンスについて同一の計算式を用いてもよいし、別々の計算式を用いてもよい。

【0039】

図８を参照しながら報酬の計算例を説明する。図８において、横軸は時間（ｔｉｍｅ）であり、縦軸は制御対象の制御偏差（ｅｒｒｏｒ）である。搬送シーケンスおいては、例えば、制御対象の制御偏差が閾値を下回るまでの期間における制御対象の制御偏差がカーブ５０であるとすると、カーブ５０が閾値５４を下回るまでの期間５２を報酬として採用しうる。計測シーケンスにおいては、基板のマークの位置を計測する計測期間が期間５３、期間５３における基板ステージＷＳＴの制御偏差がカーブ５１であるとすると、カーブ５１の平均値を報酬として採用しうる。露光シーケンスにおいては、露光期間が期間５３、期間５３における基板ステージＷＳＴと原版ステージＲＳＴの同期誤差がカーブ５１であるとすると、カーブ５１の移動平均と移動分散を報酬として採用しうる。

【0040】

工程Ｓ３０８の学習を実行するタイミングは、例えば、シーケンスの実行を終了した直後、又は、ある基板に対する処理と次の基板に対する処理との間、又は、同じ原版を使う基板の処理が終わった後といったことが考えられる。あるいは、工程Ｓ３０８の学習は、例えば、光源の構成要素のメンテナンスと並行して実施されてもよい。

【0041】

以上では、走査露光装置５００に製造システムＭＳを適用した例を説明したが、製造システムＭＳは、他のタイプの露光装置（例えば、ステッパ）に適用されてもよいし、インプリント装置等の他のタイプのリソグラフィー装置に適用されてもよい。ここで、リソグラフィー装置は、基板にパターンを形成するための装置であり、その概念には、露光装置、インプリント装置、電子線描画装置等が含まれうる。

【0042】

以下、上記のようなリソグラフィー装置を使って物品（例えば、半導体ＩＣ素子、液晶表示素子、ＭＥＭＳ等））を製造する物品製造方法を説明する。該物品製造方法は、リソグラフィー装置によって基板に原版のパターンを転写する転写工程と、該転写工程を経た該基板を処理する処理工程と、を含み、該処理工程を経た該基板から物品を得る方法でありうる。

【0043】

リソグラフィー装置が露光装置である場合、物品製造方法は、感光剤が塗布された基板（基板、ガラス基板等）を露光する工程と、その基板（感光剤）を現像する工程と、その現像された基板を他の周知の工程で処理する工程とを含みうる。他の周知の工程には、エッチング、レジスト剥離、ダイシング、ボンディング、パッケージング等が含まれる。本物品製造方法によれば、従来よりも高品位の物品を製造することができる。リソグラフィー装置がインプリント装置である場合、物品製造方法は、基板の上のインプリント材を型を使って成形することによって、インプリント材の硬化物からなるパターンを形成する工程と、該パターンを使って該基板を処理する工程とを含みうる。

【0044】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0045】

１：処理装置、２：制御装置、３：学習装置、５：ステージ装置、６：センサ、７：ドライバ、ＳＴ：ステージ、ＡＣ：アクチュエータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】