特許 7572863 複数のサブモジュールを有する基板処理モジュールを備えた半導体製造装置においてサブモジュールの最適使用数を決定する方法、および半導体製造装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-16

(45)【発行日】2024-10-24

(54)【発明の名称】複数のサブモジュールを有する基板処理モジュールを備えた半導体製造装置においてサブモジュールの最適使用数を決定する方法、および半導体製造装置

(51)【国際特許分類】

   G05B 19/418 20060101AFI20241017BHJP

   H01L 21/02 20060101ALI20241017BHJP

【ＦＩ】

G05B19/418 Z

H01L21/02 Z

【請求項の数】 12

(21)【出願番号】P 2021002657

(22)【出願日】2021-01-12

(65)【公開番号】P2022107939

(43)【公開日】2022-07-25

【審査請求日】2023-10-12

(73)【特許権者】

【識別番号】000000239

【氏名又は名称】株式会社荏原製作所

(74)【代理人】

【識別番号】100106208

【弁理士】

【氏名又は名称】宮前 徹

(74)【代理人】

【識別番号】100146710

【弁理士】

【氏名又は名称】鐘ヶ江 幸男

(74)【代理人】

【識別番号】100186613

【弁理士】

【氏名又は名称】渡邊 誠

(74)【代理人】

【識別番号】100138759

【弁理士】

【氏名又は名称】大房 直樹

(72)【発明者】

【氏名】小泉 竜也

【審査官】程塚 悠

(56)【参考文献】

【文献】特開２０１９－１５３７８７（ＪＰ，Ａ）

【文献】国際公開第２０２０／２２５９９５（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｂ １９／４１８

Ｈ０１Ｌ ２１／０２

(57)【特許請求の範囲】

【請求項1】

各々が複数のサブモジュールを有する１または複数の基板処理モジュールを備えた半導体製造装置において前記サブモジュールの最適使用数を決定する方法であって、
基板の目標生産量および予測生産量ならびに前記基板処理モジュールの使用率に基づいて、前記サブモジュールの最適使用数を推定するステップと、
前記推定された最適使用数に基づいて、前記最適使用数のサブモジュールによって基板を処理するスケジュールを作成するステップと、
前記作成されたスケジュールに基づいて、前記予測生産量および前記使用率を更新するステップと、
前記更新された予測生産量と使用率を用いて前記推定するステップを繰り返すことにより、前記サブモジュールの最適使用数を更新するステップと、
を含み、
前記推定するステップは、前記基板の目標生産量および予測生産量ならびに前記基板処理モジュールの使用率を状態ｓ _ｔ とし、前記基板を処理するために稼働する前記サブモジュールの数を行動ａ _ｔ とし、各状態ｓ _ｔ における各行動ａ _ｔ の行動価値をＱ（ｓ _ｔ ，ａ _ｔ ）とする強化学習を用いて、前記サブモジュールの最適使用数を推定することを含む、
方法。

【請求項2】

前記基板の目標生産量および予測生産量は、生産すべき基板の種類毎の目標生産量および予測生産量である、請求項１に記載の方法。

【請求項3】

前記強化学習の即時報酬ｒ_ｔは、前記目標生産量と前記予測生産量の差に基づいて設定される、請求項１に記載の方法。

【請求項4】

前記強化学習の即時報酬ｒ_ｔは、前記基板の種類毎の前記目標生産量と前記予測生産量の差に基づいて設定される、請求項２に記載の方法。

【請求項5】

前記強化学習の即時報酬ｒ_ｔは、各基板処理モジュールの使用率の積に基づいて設定される、請求項１から４のいずれか１項に記載の方法。

【請求項6】

前記複数の基板処理モジュールは、基板に対してそれぞれ異なる処理をする複数の基板処理モジュールであり、
前記基板処理モジュールの使用率は、処理がそれぞれ異なる基板処理モジュール毎の使用率である、
請求項１から５のいずれか１項に記載の方法。

【請求項7】

前記行動価値Ｑ（ｓ_ｔ，ａ_ｔ）は、処理がそれぞれ異なる基板処理モジュール毎の、稼働するサブモジュールの数に対応する行動価値である、請求項６に記載の方法。

【請求項8】

前記強化学習は深層強化学習である、請求項１から７のいずれか１項に記載の方法。

【請求項9】

前記最適使用数に基づいて、各サブモジュールの使用または不使用を設定するステップを更に含む、請求項１から８のいずれか１項に記載の方法。

【請求項10】

前記設定するステップは、複数の使用するサブモジュールが同一の基板処理モジュールに含まれるように設定することを含む、請求項９に記載の方法。

【請求項11】

前記基板処理モジュールは、複数のめっき槽を有するめっきモジュールであり、
前記サブモジュールは、前記めっき槽である、
請求項１から１０のいずれか１項に記載の方法。

【請求項12】

各々が複数のサブモジュールを有する１または複数の基板処理モジュールを備えた半導体製造装置であって、
基板の目標生産量および予測生産量ならびに前記基板処理モジュールの使用率に基づいて、前記サブモジュールの最適使用数を推定し、
前記推定された最適使用数に基づいて、前記最適使用数のサブモジュールによって基板を処理するスケジュールを作成し、
前記作成されたスケジュールに基づいて、前記予測生産量および前記使用率を更新し、
前記更新された予測生産量と使用率を用いて前記推定するステップを繰り返すことにより、前記サブモジュールの最適使用数を更新する、
ように構成され、
前記推定することは、前記基板の目標生産量および予測生産量ならびに前記基板処理モジュールの使用率を状態ｓ _ｔ とし、前記基板を処理するために稼働する前記サブモジュールの数を行動ａ _ｔ とし、各状態ｓ _ｔ における各行動ａ _ｔ の行動価値をＱ（ｓ _ｔ ，ａ _ｔ ）とする強化学習を用いて、前記サブモジュールの最適使用数を推定することを含む、
半導体製造装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数のサブモジュールを有する基板処理モジュールを備えた半導体製造装置においてサブモジュールの最適使用数を決定する方法、および半導体製造装置に関する。

【背景技術】

【0002】

半導体製造装置では、情勢によって基板の生産量が刻一刻と変化する。需要生産量が少ない閑散期には、使用モジュール数を減らして遊休モジュールをアイドル状態にすれば電力消費量を低減できる。逆に生産量が大きい繁忙期には、使用モジュールを増やす必要がある。また、算出した搬送スケジュールに基づき、所定時間以上にわたり基板処理を行わない場合にはモジュールを省電力モードにすることは知られている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－１３５３８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし現状では、各時期での需要生産量に応じた必要な使用モジュール数が判らず、使用モジュール数を調整するには至っていない。結果的に全てのモジュールを使用待機状態にすると、常に大きな待機消費電力を消費する。

【0005】

作成した基板搬送スケジュールに応じて遊休モジュールをアイドル状態にすることも可能ではあるが、前提として全モジュールを使用設定状態にして基板搬送スケジュールを立てるのであれば、需要生産量に対して実際の生産量が過剰になることがある。

【0006】

また処理する基板のレシピが１種類しかなく同種基板を常時大量生産しているのであれば生産量に応じた必要モジュール数も比較的簡単に算出できる。しかし多様なレシピの基板を混在して生産する状況においては、使用モジュール数に対する実生産量の予測がつかない。

【0007】

本発明は、上記の点に鑑みてなされたものであり、その目的の１つは、半導体製造装置においてモジュールの最適使用数を正確に推定することにある。

【課題を解決するための手段】

【0008】

［形態１］形態１によれば、各々が複数のサブモジュールを有する１または複数の基板処理モジュールを備えた半導体製造装置において前記サブモジュールの最適使用数を決定する方法であって、基板の目標生産量および予測生産量ならびに前記基板処理モジュールの使用率に基づいて、前記サブモジュールの最適使用数を推定するステップと、前記推定された最適使用数に基づいて、前記最適使用数のサブモジュールによって基板を処理するスケジュールを作成するステップと、前記作成されたスケジュールに基づいて、前記予測生産量および前記使用率を更新するステップと、前記更新された予測生産量と使用率を用いて前記推定するステップを繰り返すことにより、前記サブモジュールの最適使用数を更新するステップと、を含む方法が提供される。

【0009】

［形態２］形態２によれば、形態１の方法において、前記推定するステップは、前記基
板の目標生産量および予測生産量ならびに前記基板処理モジュールの使用率を状態ｓ_ｔとし、前記基板を処理するために稼働する前記サブモジュールの数を行動ａ_ｔとし、各状態ｓ_ｔにおける各行動ａ_ｔの行動価値をＱ（ｓ_ｔ，ａ_ｔ）とする強化学習を用いて、前記サブモジュールの最適使用数を推定することを含む。

【0010】

［形態３］形態３によれば、形態２の方法において、前記基板の目標生産量および予測生産量は、生産すべき基板の種類毎の目標生産量および予測生産量である。

【0011】

［形態４］形態４によれば、形態２の方法において、前記強化学習の即時報酬ｒ_ｔは、前記目標生産量と前記予測生産量の差に基づいて設定される。

【0012】

［形態５］形態５によれば、形態３の方法において、前記強化学習の即時報酬ｒ_ｔは、前記基板の種類毎の前記目標生産量と前記予測生産量の差に基づいて設定される。

【0013】

［形態６］形態６によれば、形態２から５のいずれか１つの方法において、前記強化学習の即時報酬ｒ_ｔは、各基板処理モジュールの使用率の積に基づいて設定される。

【0014】

［形態７］形態７によれば、形態２から６のいずれか１つの方法において、前記複数の基板処理モジュールは、基板に対してそれぞれ異なる処理をする複数の基板処理モジュールであり、前記基板処理モジュールの使用率は、処理がそれぞれ異なる基板処理モジュール毎の使用率である。

【0015】

［形態８］形態８によれば、形態７の方法において、前記行動価値Ｑ（ｓ_ｔ，ａ_ｔ）は、処理がそれぞれ異なる基板処理モジュール毎の、稼働するサブモジュールの数に対応する行動価値である。

【0016】

［形態９］形態９によれば、形態２から８のいずれか１つの方法において、前記強化学習は深層強化学習である。

【0017】

［形態１０］形態１０によれば、形態１から９のいずれか１つの方法において、前記最適使用数に基づいて、各サブモジュールの使用または不使用を設定するステップを更に含む。

【0018】

［形態１１］形態１１によれば、形態１０の方法において、前記設定するステップは、複数の使用するサブモジュールが同一の基板処理モジュールに含まれるように設定することを含む。

【0019】

［形態１２］形態１２によれば、形態１から１１のいずれか１つの方法において、前記基板処理モジュールは、複数のめっき槽を有するめっきモジュールであり、前記サブモジュールは、前記めっき槽である。

【0020】

［形態１３］形態１３によれば、各々が複数のサブモジュールを有する１または複数の基板処理モジュールを備えた半導体製造装置であって、基板の目標生産量および予測生産量ならびに前記基板処理モジュールの使用率に基づいて、前記サブモジュールの最適使用数を推定し、前記推定された最適使用数に基づいて、前記最適使用数のサブモジュールによって基板を処理するスケジュールを作成し、前記作成されたスケジュールに基づいて、前記予測生産量および前記使用率を更新し、前記更新された予測生産量と使用率を用いて前記推定するステップを繰り返すことにより、前記サブモジュールの最適使用数を更新する、ように構成された半導体製造装置が提供される。

【図面の簡単な説明】

【0021】

【図1】本発明の一実施形態に係る方法を適用することが可能なめっき装置の全体配置図である。

【図2】めっき装置におけるめっきモジュールの他の構成例を示す。

【図3】本発明の一実施形態に係る方法を実施するシステムの構成図である。

【図4】本発明の一実施形態に係る方法を実施するシステムにおけるコンピュータの機能を表すブロック図である。

【図5】ＤＱＮを用いた機械学習部の構成図である。

【図6】本発明の一実施形態に係る方法の実施手順（学習フェーズ）を示すフローチャートである。

【図7】本発明の一実施形態に係る方法の実施手順（運用フェーズ）を示すフローチャートである。

【発明を実施するための形態】

【0022】

以下、本発明の実施形態について図面を参照して説明する。以下で説明する図面において、同一の又は相当する構成要素には、同一の符号を付して重複した説明を省略する。

【0023】

図１は、本発明の一実施形態に係る方法を適用することが可能なめっき装置１０の全体配置図である。めっき装置１０は、半導体製造装置の一例である。以下において、めっき装置１０を参照して本発明の実施形態が説明されるが、本発明の一実施形態に係る方法は、めっき装置以外の半導体製造装置にも適用することが可能である。

【0024】

図１に示すように、めっき装置１０は、２台のカセットテーブル１０２と、基板のオリフラ（オリエンテーションフラット）やノッチなどの位置を所定の方向に合わせるアライナ１０４と、めっき処理後の基板を高速回転させて乾燥させるスピンリンスドライヤ１０６とを有する。カセットテーブル１０２は、半導体ウェハ等の基板を収納したカセット１００を搭載する。スピンリンスドライヤ１０６の近くには、基板ホルダ３０を載置して基板の着脱を行うロード／アンロードステーション１２０が設けられている。これらのユニット１００，１０４，１０６，１２０の中央には、これらのユニット間で基板を搬送する搬送ロボット１２２が配置されている。

【0025】

ロード／アンロードステーション１２０は、レール１５０に沿って横方向にスライド自在な平板状の載置プレート１５２を備えている。２個の基板ホルダ３０は、この載置プレート１５２に水平状態で並列に載置され、一方の基板ホルダ３０と搬送ロボット１２２との間で基板の受渡しが行われた後、載置プレート１５２が横方向にスライドされ、他方の基板ホルダ３０と搬送ロボット１２２との間で基板の受渡しが行われる。

【0026】

めっき装置１０は、さらに、ストッカ１２４と、プリウェットモジュール１２６と、プリソークモジュール１２８と、第１リンスモジュール１３０ａと、ブローモジュール１３２と、第２リンスモジュール１３０ｂと、めっきモジュール１１０と、を有する。ストッカ１２４では、基板ホルダ３０の保管及び一時仮置きが行われる。プリウェットモジュール１２６では、基板が純水に浸漬される。プリソークモジュール１２８では、基板の表面に形成したシード層等の導電層の表面の酸化膜がエッチング除去される。第１リンスモジュール１３０ａでは、プリソーク後の基板が基板ホルダ３０と共に洗浄液（純水等）で洗浄される。ブローモジュール１３２では、洗浄後の基板の液切りが行われる。第２リンスモジュール１３０ｂでは、めっき後の基板が基板ホルダ３０と共に洗浄液で洗浄される。ロード／アンロードステーション１２０、ストッカ１２４、プリウェットモジュール１２６、プリソークモジュール１２８、第１リンスモジュール１３０ａ、ブローモジュール１３２、第２リンスモジュール１３０ｂ、及びめっきモジュール１１０は、この順に配置されている。

【0027】

めっきモジュール１１０は、例えば、オーバーフロー槽１３６の内部に複数のめっき槽１１４を収納して構成されている。図１の例では、めっきモジュール１１０は、８つのめっき槽１１４を有している。各めっき槽１１４は、内部に１つの基板を収納し、内部に保持しためっき液中に基板を浸漬させて基板表面に銅めっき等のめっきを施すように構成される。めっきモジュール１１０は「基板処理モジュール」の一例であり、めっき槽１１４は「サブモジュール」の一例である。めっきモジュール１１０（基板処理モジュール）は、複数のめっき槽１１４（サブモジュール）を備えている。

【0028】

めっき装置１０は、これらの各機器の側方に位置して、これらの各機器の間で基板ホルダ３０を基板とともに搬送する、例えばリニアモータ方式を採用した搬送装置１４０を有する。この搬送装置１４０は、第１搬送装置１４２と、第２搬送装置１４４を有している。第１搬送装置１４２は、ロード／アンロードステーション１２０、ストッカ１２４、プリウェットモジュール１２６、プリソークモジュール１２８、第１リンスモジュール１３０ａ、及びブローモジュール１３２との間で基板を搬送するように構成される。第２搬送装置１４４は、第１リンスモジュール１３０ａ、第２リンスモジュール１３０ｂ、ブローモジュール１３２、及びめっきモジュール１１０との間で基板を搬送するように構成される。めっき装置１０は、第２搬送装置１４４を備えることなく、第１搬送装置１４２のみを備えるようにしてもよい。

【0029】

オーバーフロー槽１３６の両側には、各めっき槽１１４の内部に位置してめっき槽１１４内のめっき液を攪拌する掻き混ぜ棒としてのパドルを駆動する、パドル駆動部１６０及びパドル従動部１６２が配置されている。

【0030】

このめっき装置１０による一連のめっき処理の一例を説明する。まず、カセットテーブル１０２に搭載したカセット１００から、搬送ロボット１２２で基板を１つ取出し、アライナ１０４に基板を搬送する。アライナ１０４は、オリフラやノッチなどの位置を所定の方向に合わせる。このアライナ１０４で方向を合わせた基板を搬送ロボット１２２でロード／アンロードステーション１２０まで搬送する。

【0031】

ロード／アンロードステーション１２０においては、ストッカ１２４内に収容されていた基板ホルダ３０を搬送装置１４０の第１搬送装置１４２で２基同時に把持して、ロード／アンロードステーション１２０まで搬送する。そして、２基の基板ホルダ３０をロード／アンロードステーション１２０の載置プレート１５２の上に同時に水平に載置する。この状態で、それぞれの基板ホルダ３０に搬送ロボット１２２が基板を搬送し、搬送した基板を基板ホルダ３０で保持する。

【0032】

次に、基板を保持した基板ホルダ３０を搬送装置１４０の第１搬送装置１４２で２基同時に把持し、プリウェットモジュール１２６に収納する。次に、プリウェットモジュール１２６で処理された基板を保持した基板ホルダ３０を、第１搬送装置１４２でプリソークモジュール１２８に搬送し、プリソークモジュール１２８で基板上の酸化膜をエッチングする。続いて、この基板を保持した基板ホルダ３０を、第１リンスモジュール１３０ａに搬送し、この第１リンスモジュール１３０ａに収納された純水で基板の表面を水洗する。

【0033】

水洗が終了した基板を保持した基板ホルダ３０は、第２搬送装置１４４により、第１リンスモジュール１３０ａからめっきモジュール１１０に搬送され、めっき液を満たしためっき槽１１４に収納される。第２搬送装置１４４は、上記の手順を順次繰り返し行って、基板を保持した基板ホルダ３０を順次めっきモジュール１１０の各々のめっき槽１１４に収納する。

【0034】

各々のめっき槽１１４では、めっき槽１１４内のアノード（図示せず）と基板との間にめっき電圧を印加し、同時にパドル駆動部１６０及びパドル従動部１６２によりパドルを基板の表面と平行に往復移動させることで、基板の表面にめっきを行う。

【0035】

めっきが終了した後、めっき後の基板を保持した基板ホルダ３０を第２搬送装置１４４で２基同時に把持し、第２リンスモジュール１３０ｂまで搬送し、第２リンスモジュール１３０ｂに収容された純水に浸漬させて基板の表面を純水洗浄する。次に、基板ホルダ３０を、第２搬送装置１４４によってブローモジュール１３２に搬送し、エアーの吹き付け等によって基板ホルダ３０に付着した水滴を除去する。その後、基板ホルダ３０を、第１搬送装置１４２によってロード／アンロードステーション１２０に搬送する。

【0036】

ロード／アンロードステーション１２０では、搬送ロボット１２２によって基板ホルダ３０から処理後の基板が取り出され、スピンリンスドライヤ１０６に搬送される。スピンリンスドライヤ１０６は、高速回転によってめっき処理後の基板を高速回転させて乾燥させる。乾燥した基板は、搬送ロボット１２２によりカセット１００に戻される。

【0037】

図２は、めっき装置１０におけるめっきモジュール１１０の他の構成例を示す。図２において、めっき装置１０は、第１めっきモジュール１１０Ａと、第２めっきモジュール１１０Ｂと、第３めっきモジュール１１０Ｃを備える。第１めっきモジュール１１０Ａ、第２めっきモジュール１１０Ｂ、および第３めっきモジュール１１０Ｃは、それぞれ、図１のめっき装置１０におけるめっきモジュール１１０と同様の構成を有する。すなわち、各めっきモジュール１１０Ａ、１１０Ｂ、１１０Ｃは、それぞれ、オーバーフロー槽１３６と、複数のめっき槽１１４とを備えている。図２の例では、各めっきモジュール１１０Ａ、１１０Ｂ、１１０Ｃ（基板処理モジュール）は、それぞれ４つのめっき槽１１４（サブモジュール）を有している。各めっきモジュール１１０Ａ、１１０Ｂ、１１０Ｃに、それぞれ第２リンスモジュール１３０ｂ（図２において不図示）が併設されてもよい。第１めっきモジュール１１０Ａ、第２めっきモジュール１１０Ｂ、および第３めっきモジュール１１０Ｃは、同種のめっき（例えば銅めっき）処理を行うものであってもよいし、または、異なるめっき（例えば、銅めっき、ニッケルめっき、はんだ（ＳｎＡｇ等）めっきの３種）処理を行うものであってもよい。また、めっき装置１０が備えるめっきモジュールの数、および１つのめっきモジュールに含まれるめっき槽１１４の数は、図２の例に限られず、任意の数であってよい。

【0038】

図３は、本発明の一実施形態に係る方法を実施するシステム３００の構成図である。システム３００は、めっき装置１０およびコンピュータ３２０を備える。めっき装置１０は、図１または図２を参照して説明しためっき装置である。めっき装置１０とコンピュータ３２０は、例えば、ＬＡＮ（ローカルエリアネットワーク）またはインターネット等のネットワーク３３０を介して相互に通信可能に接続されている。あるいは、コンピュータ３２０は、めっき装置１０の構成の一部としてめっき装置１０に組み込まれてもよい。コンピュータ３２０は、プロセッサ３２２およびメモリ３２４を備える。メモリ３２４には、本発明の一実施形態に係る方法を実現するためのプログラム３２６が格納される。プロセッサ３２２は、メモリ３２４からプログラム３２６を読み出して実行する。これにより、システム３００は、本発明の一実施形態に係る方法を実施することができる。なお、図３には１つのコンピュータ３２０のみが示されているが、システム３００は、複数のコンピュータ３２０を備えてもよい。そのような構成において、各コンピュータ３２０のメモリ３２４には本発明の一実施形態に係る方法の一部に対応するプログラムがそれぞれ格納され、各コンピュータ３２０のプロセッサ３２２がそれらのプログラムを個々に実行することにより、複数のコンピュータ３２０が協働し全体として本発明の一実施形態に係る方法を実施するのであってよい。

【0039】

図４は、本発明の一実施形態に係る方法を実施するシステム３００におけるコンピュータ３２０の機能を表すブロック図である。図４に示されるように、コンピュータ３２０の機能は、装置環境４１０とエージェント４２０に分かれる。装置環境４１０は、生産管理部４１２と、スケジューラ４１４と、装置コントローラ４１６と、メトリクス管理部４１８を含む。エージェント４２０は、行動決定部４２２と、機械学習部４２４を含む。上述したように、これらの機能は、１つのコンピュータ３２０上で実現されてもよいし、各機能（または全体のうちのいくつかの機能）が別個のコンピュータ３２０によって実現されるのであってもよい。

【0040】

生産管理部４１２は、めっき装置１０における基板の生産に関連する情報を管理する。特に、生産管理部４１２は、めっきモジュール１１０（または、めっきモジュール１１０Ａ、１１０Ｂ、１１０Ｃ。以下、単にめっきモジュール１１０と記す）におけるめっき工程に関連する情報を管理する。これらの情報は、例えば、めっき装置１０が単位時間当りに生産する基板の目標枚数（以下、目標生産量という）、および、めっきモジュール１１０に含まれる複数のめっき槽１１４の各々の使用／不使用に関する設定（以下、モジュール使用設定という）を含む。

【0041】

基板の目標生産量は、例えば、めっき装置１０の過去の生産履歴から直近の所定期間における平均的な生産量として算出することもできるし、あるいは、めっき装置１０のオペレータからユーザインターフェイスを介して与えられてもよい。モジュール使用設定は、複数のめっき槽１１４の１つ１つについて、当該めっき槽１１４を基板のめっき処理に使用するか、休止させるかを指定する情報であり、この設定は、行動決定部４２２によって決定されて、生産管理部４１２へ通知される。

【0042】

スケジューラ４１４は、めっき装置１０の各モジュール（１２６、１２８、１３０ａ、１３０ｂ、１３２、１１０）、搬送装置１４０、およびその他各部（１２２、１２０、１０６等）の動作スケジュールを作成する。特に、スケジューラ４１４は、めっきモジュール１１０の各めっき槽１１４において基板をめっきするスケジュールを作成する。スケジューラ４１４は、生産管理部４１２から目標生産量とモジュール使用設定を通知され、これらの情報に基づいて、スケジュールを作成することができる。

【0043】

装置コントローラ４１６は、スケジューラ４１４によって作成されたスケジュールに従って、めっき装置１０の各モジュール（１２６、１２８、１３０ａ、１３０ｂ、１３２、１１０）、搬送装置１４０、およびその他各部（１２２、１２０、１０６等）の動作を制御する。

【0044】

メトリクス管理部４１８は、エージェント４２０に提供するための情報を作成し管理する。エージェント４２０に提供する情報は、例えば、基板の目標生産量、基板の予測生産量、めっきモジュール１１０の使用率、およびエージェント４２０の機械学習部４２４がめっきモジュール１１０におけるめっき槽１１４の最適使用数を学習する際に使用する報酬（後述）を含む。

【0045】

基板の目標生産量は、生産管理部４１２から通知される。基板の予測生産量は、スケジューラ４１４から通知されるスケジュールに基づいて、めっき装置１０の各部（めっきモジュール１１０等）が当該スケジュールに従って動作した場合に単位時間当りに生産されると見込まれる基板の枚数として算出（予測）することができる。なお、めっきモジュール１１０に含まれる複数のめっき槽１１４のうち実際に基板のめっき処理に使用されるめっき槽１１４の数が最適でない（例えば、めっき槽１１４の実際の使用数が基板の目標生産量に対して過剰または過少である）場合には、この基板の予測生産量は基板の目標生産量と一致しない。基板の目標生産量および予測生産量は、生産する基板の種類毎の情報（
例えば、基板種１の目標生産量と予測生産量、基板種２の目標生産量と予測生産量、および基板種３の目標生産量と予測生産量）であってよい。ここで基板の「種類」は、基板に施すめっきの種類に基づく分類でもよいし、基板に施す同一種類のめっきの厚さに基づく分類であってもよい。

【0046】

なお、基板の予測生産量は、めっき装置１０の各部がスケジューラ４１４の作成したスケジュールに従って動作している限りにおいて、めっき装置１０の実生産量（めっき装置１０が単位時間当りに実際に生産する基板の枚数）と等しいが、めっき装置１０がスケジュールどおりに動作しない場合（例えば、何らかの装置トラブル発生時）には、実生産量と異なってくる。予測生産量が実生産量と大きく異なると、機械学習部４２４での学習の妥当性が低下するので、基板の予測生産量と実生産量との誤差が所定の基準値の範囲内に収まっていることを常に監視し、収まっていない場合は、機械学習部４２４における学習を中断することとしてもよい。

【0047】

めっきモジュール１１０の使用率は、スケジューラ４１４から通知されるスケジュールに基づいて、めっき装置１０の稼働時間に対する当該めっきモジュール１１０の実使用時間の割合として算出することができる。例えば、めっきモジュール１１０が２つのめっき槽１１４を有する構成において、めっき装置１０の稼働時間が１０時間であり、この１０時間の稼働時間のうち、第１のめっき槽１１４が基板にめっき処理を行っている時間の総計（＝実使用時間）が６時間、第２のめっき槽１１４のめっき処理時間の総計が８時間であったとすると、使用率は（６＋８）／（１０×２）＝０．７と算出される。めっき装置１０が異なるめっき処理を行う第１～第３めっきモジュール１１０Ａ、１１０Ｂ、および１１０Ｃを備える場合、第１めっきモジュール１１０Ａ、第２めっきモジュール１１０Ｂ、および第３めっきモジュール１１０Ｃのそれぞれについて別個に使用率を算出してもよい。

【0048】

上述したように、スケジューラ４１４は基板の目標生産量とモジュール使用設定に基づいてスケジュールを作成するが、基板の目標生産量またはモジュール使用設定が変化することによりスケジュールが変更されると、メトリクス管理部４１８は、当該変更されたスケジュールに基づいて、基板の予測生産量とめっきモジュール１１０の使用率を算出し直す。これにより、めっき装置１０におけるスケジュールの変更に応じて、基板の予測生産量およびめっきモジュール１１０の使用率は逐次更新されていく。

【0049】

機械学習部４２４は、めっきモジュール１１０に含まれる複数のめっき槽１１４のうちいくつのめっき槽１１４を使用して基板をめっきするのが最も効率的であるか（すなわちめっき槽１１４の最適使用数）を、機械学習によって推定する。より具体的に、機械学習部４２４は、行動決定部４２２を介してメトリクス管理部４１８から上述の目標生産量、予測生産量、使用率、および報酬を取得する。機械学習部４２４は、基板の目標生産量、予測生産量、およびめっきモジュール１１０の使用率に基づいて、めっき槽１１４の最適使用数を推定する。

【0050】

機械学習部４２４は、機械学習の一方法である強化学習を用いることで、めっき槽１１４の最適使用数の推定を行うことができる。例えば、この強化学習における「状態ｓ_ｔ」には、基板の目標生産量、基板の予測生産量、およびめっきモジュール１１０の使用率を採用することができ、強化学習における「行動ａ_ｔ」には、基板のめっき処理に使用するめっき槽１１４の数としてとり得る全ての値を採用することができる（ただしｔは時刻を表す）。状態ｓ_ｔとしての目標生産量、予測生産量、および使用率は、前述したように基板の種類毎、またはめっきの種類毎（すなわち第１めっきモジュール１１０Ａ、第２めっきモジュール１１０Ｂ、および第３めっきモジュール１１０Ｃ毎）のものであってもよい。また行動ａ_ｔに関し、例えば、めっきモジュール１１０が４つのめっき槽１１４を有す
る構成の場合は、「０」「１」「２」「３」「４」という５個の行動を定義することができ、第１～第３めっきモジュール１１０Ａ、１１０Ｂ、および１１０Ｃがそれぞれ２つのめっき槽１１４を有する構成の場合には、第１めっきモジュール１１０Ａについて「０」「１」「２」、第２めっきモジュール１１０Ｂについて「０」「１」「２」、第３めっきモジュール１１０Ｃについて「０」「１」「２」の合わせて９個の行動を定義することができる。

【0051】

機械学習部４２４は、上記のように時刻ｔの状態ｓ_ｔおよび行動ａ_ｔが規定された強化学習において、「報酬（即時報酬）ｒ_ｔ」を用いて、各状態ｓ_ｔにおいて選択することが可能な各行動ａ_ｔの「行動価値Ｑ（ｓ_ｔ，ａ_ｔ）」を計算する。例えば、上記の例において、第１めっきモジュール１１０Ａのめっき槽１１４を「０」個使用する場合の行動価値、第１めっきモジュール１１０Ａのめっき槽１１４を「１」個使用する場合の行動価値、第１めっきモジュール１１０Ａのめっき槽１１４を「２」個使用する場合の行動価値、第２めっきモジュール１１０Ｂのめっき槽１１４を「０」個使用する場合の行動価値、第２めっきモジュール１１０Ｂのめっき槽１１４を「１」個使用する場合の行動価値、第２めっきモジュール１１０Ｂのめっき槽１１４を「２」個使用する場合の行動価値、第３めっきモジュール１１０Ｃのめっき槽１１４を「０」個使用する場合の行動価値、第３めっきモジュール１１０Ｃのめっき槽１１４を「１」個使用する場合の行動価値、および第３めっきモジュール１１０Ｃのめっき槽１１４を「２」個使用する場合の行動価値の９個の行動価値が計算される。行動価値Ｑ（ｓ_ｔ，ａ_ｔ）を計算するアルゴリズムとして、例えば、以下の式で表されるＱ学習を用いることができる。ただし、αは学習率、γは時間割引率を表す。また、Ｑ学習を深層強化学習に適用したＤＱＮ（Deep Q-Network）を用いるように機械学習部４２４を構成してもよい（図５参照）。

【0052】

【数1】

【0053】

機械学習部４２４は、メトリクス管理部４１８から与えられた状態ｓ_ｔ（すなわち目標生産量、予測生産量、および使用率）に対して行動価値Ｑ（ｓ_ｔ，ａ_ｔ）を計算し、得られた行動価値Ｑ（ｓ_ｔ，ａ_ｔ）の中から最大のものを選択する。このように選択された行動価値は、当該状態ｓ_ｔにおいてある行動ａ_ｔ（すなわち使用するめっき槽１１４の数の選択）をとったときに得られる価値が最大となるような行動、つまり、めっき槽１１４の最適使用数を表す。こうして機械学習部４２４は、メトリクス管理部４１８からの状態ｓ_ｔに応じた、めっき槽１１４の最適使用数を推定することができる。

【0054】

行動決定部４２２は、機械学習部４２４によって推定された最新の時刻と直前の時刻におけるめっき槽１１４の最適使用数を比較し、最適使用数が変化した場合は、当該最新の時刻におけるめっき槽１１４の最適使用数に基づいて、モジュール使用設定（すなわち、各めっき槽１１４をめっき処理に使用するか、休止させるかを指定する設定情報）を変更する。例えば、最適使用数が増加したならより多くのめっき槽１１４を使用状態とし、最適使用数が減少したならより多くのめっき槽１１４を不使用（休止）状態とするように、モジュール使用設定が変更される。

【0055】

この変更されたモジュール使用設定は生産管理部４１２へ送られ、これに応じてスケジューラ４１４においてスケジュールが変更され、さらにそれに応じて、メトリクス管理部４１８において基板の予測生産量およびめっきモジュール１１０の使用率（すなわち状態ｓ_ｔ）が更新される。そしてこの更新された状態ｓ_ｔが再び機械学習部４２４へ入力されることによって、機械学習部４２４において推定されるめっき槽１１４の最適使用数が、より適切な値へと近づく。したがって、このような更新が繰り返されることで、めっきモ
ジュール１１０に含まれるめっき槽１１４の最適使用数に対する推定の正確性を逐次向上させていくことができる。また、めっき槽１１４の正確な最適使用数が得られることで、めっき装置１０の複数のめっき槽１１４の使用／不使用の制御をより適切に行うことができ、またそれにより、最小限の数のめっきモジュール１１０のみを稼働させめっき装置１０の消費電力を低減することができる。

【0056】

なお、めっき装置１０が同種のめっき処理を行う第１～第３めっきモジュール１１０Ａ、１１０Ｂ、および１１０Ｃを備える構成において、行動決定部４２２が作成するモジュール使用設定は、使用状態に設定される複数のめっき槽１１４が、複数のめっきモジュールに分散するのではなく、できるだけ同一のめっきモジュールにまとまるように、設定されるのが好ましい。例えば、第１～第３めっきモジュール１１０Ａ、１１０Ｂ、および１１０Ｃがそれぞれ４つのめっき槽１１４を有し、最適使用数が「３」である場合、第１めっきモジュール１１０Ａの３つのめっき槽１１４を使用状態に設定し、第１めっきモジュール１１０Ａの残りのめっき槽１１４と、第２および第３めっきモジュール１１０Ｂ、１１０Ｃの全てのめっき槽１１４を不使用状態に設定するのが好ましい。これにより、第２および第３めっきモジュール１１０Ｂ、１１０Ｃを完全に休止させることでめっき装置１０の消費電力をより効果的に低減することができる。

【0057】

めっき装置１０の消費電力を確実に低減させる観点から、行動決定部４２２におけるモジュール使用設定の更新頻度が調整されてもよい。例えば、めっき槽１１４を使用状態と休止状態の間で頻繁に切り替えると、めっき槽１１４の内部のめっき液を繰り返し昇温・降温させるために必要な電力が増大するため、最適使用数のめっき槽１１４が常時使用されているにもかかわらず、全体としてはめっき装置１０の消費電力が低減されないということが起こり得る。そのようなことを避けるために、例えば、行動決定部４２２は、モジュール使用設定に従って各めっき槽１１４の使用／不使用を切り替えた場合のめっき装置１０の消費電力を事前に（モジュール使用設定を変更する前に）計算し、その切り替えによって消費電力が増加しないことが確認された場合にのみ、モジュール使用設定を実際に変更することとしてもよい。

【0058】

次に、機械学習部４２４が使用する即時報酬ｒ_ｔについて説明する。即時報酬ｒ_ｔは、例えば次式のように定義することができる。ただし、ｒ_ｗｐｈは基板の予測生産量に関連する即時報酬、ｒ_{ｕｓａｇｅ}はめっきモジュール１１０の使用率に関連する即時報酬、βは適宜の調整係数である。

【0059】

【数2】

【0060】

ｒ_ｗｐｈおよびｒ_{ｕｓａｇｅ}はさらに次式のように定義することができる。ここで、ｆ_ｘは基板種ｘについての報酬関数、ＷＰＨ_ｔｘは基板種ｘの基板の目標生産量、ＷＰＨ_ｍｘは基板種ｘの基板の予測生産量、Ｘは基板種の全集合（例えば基板種１、基板種２、基板種３）、Ｕ_ｍはめっきモジュールｍの使用率、Ｍはめっきモジュールの全集合（例えば第１めっきモジュール１１０Ａ、第２めっきモジュール１１０Ｂ、および第３めっきモジュール１１０Ｃ）である。

【0061】

【数3】

【0062】

報酬関数ｆ_ｘは、目標生産量ＷＰＨ_ｔｘと予測生産量ＷＰＨ_ｍｘの差が小さいほど値が大きくなるような関数であることが好ましい。一例として、報酬関数ｆ_ｘは次式のように定義することができる。

【0063】

【数4】

【0064】

予測生産量の即時報酬ｒ_ｗｐｈとして上記のような報酬関数ｆ_ｘを設定することにより、システム３００への入力である基板の目標生産量と、めっき装置１０におけるモジュール使用設定を反映した基板の予測生産量とに応じて、予測生産量ができるだけ目標生産量に近くなるように機械学習部４２４の学習が進んでいく。したがって、めっき槽１１４の最適使用数の推定の正確性を、より一層向上させることができる。

【0065】

図６および図７は、本発明の一実施形態に係る方法の実施手順を示すフローチャートである。まず図６を参照し、システム３００の学習フェーズにおける処理の手順を説明する。

【0066】

ステップ６０２：システム３００に新規ジョブが入力され、スケジューラ４１４がスケジュールを作成する。新規ジョブは、目標生産量を含む。
ステップ６０４：メトリクス管理部４１８において状態ｓ_ｔ（目標生産量、予測生産量、および使用率）が更新され、即時報酬ｒ_ｔが計算される。
ステップ６０６：エージェント４２０へ状態ｓ_ｔおよび即時報酬ｒ_ｔが通知される。

【0067】

ステップ６０８：エージェント４２０が状態ｓ_ｔおよび即時報酬ｒ_ｔを受信する。
ステップ６１０：状態ｓ_ｔおよび即時報酬ｒ_ｔを用いて機械学習部４２４（例えば図５のＤＱＮにおけるニューラルネットワーク）の行動価値Ｑ（ｓ_ｔ，ａ_ｔ）が更新される。
ステップ６１２：機械学習部４２４が最大の行動価値Ｑ（ｓ_ｔ，ａ_ｔ）（すなわちめっき槽１１４の最適使用数）を選択する。
ステップ６１４：行動決定部４２２が最適使用数に応じてモジュール使用設定を変更する。

【0068】

ステップ６１６：モジュール使用設定に基づいてスケジューラ４１４がスケジュールを更新する。
ステップ６１８：スケジュールの更新を受け、メトリクス管理部４１８において再び状態ｓ_ｔおよび即時報酬ｒ_ｔが更新される。
ステップ６２０：更新された状態ｓ_ｔおよび即時報酬ｒ_ｔがエージェント４２０へ通知される。

【0069】

ステップ６２２：エージェント４２０が更新された状態ｓ_ｔおよび即時報酬ｒ_ｔを受信
する。
ステップ６２４：更新された状態ｓ_ｔおよび即時報酬ｒ_ｔを用いて機械学習部４２４の行動価値Ｑ（ｓ_ｔ，ａ_ｔ）がさらに更新される。
ステップ６２６：行動価値Ｑ（ｓ_ｔ，ａ_ｔ）の変化量が十分に小さくなければ、ステップ６１２に戻り、以降のステップを繰り返す。変化量が十分小さければ、学習フェーズを終了する。

【0070】

次に図７を参照し、システム３００の運用フェーズにおける処理の手順を説明する。
ステップ７０２：システム３００に新規ジョブが入力され、スケジューラ４１４がスケジュールを作成する。新規ジョブは、目標生産量を含む。
ステップ７０４：メトリクス管理部４１８において状態ｓ_ｔ（目標生産量、予測生産量、および使用率）が更新される。
ステップ７０６：エージェント４２０へ状態ｓ_ｔが通知される。

【0071】

ステップ７０８：エージェント４２０が状態ｓ_ｔを受信する。
ステップ７１０：機械学習部４２４が最大の行動価値Ｑ（ｓ_ｔ，ａ_ｔ）（すなわちめっき槽１１４の最適使用数）を選択する。
ステップ７１２：行動決定部４２２が最適使用数に応じてモジュール使用設定を変更する。

【0072】

ステップ７１４：モジュール使用設定に基づいてスケジューラ４１４がスケジュールを更新する。
ステップ７１６：更新されたスケジュールに従って、装置コントローラ４１６がめっき装置１０の各部の動作を制御する。

【0073】

以上、いくつかの例に基づいて本発明の実施形態について説明してきたが、上記した発明の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得るとともに、本発明には、その均等物が含まれることはもちろんである。また、上述した課題の少なくとも一部を解決できる範囲、または、効果の少なくとも一部を奏する範囲において、特許請求の範囲および明細書に記載された各構成要素の任意の組み合わせ、または、省略が可能である。

【符号の説明】

【0074】

１０ めっき装置
３０ 基板ホルダ
１００ カセット
１０２ カセットテーブル
１０４ アライナ
１０６ スピンリンスドライヤ
１１０ めっきモジュール
１１０Ａ 第１めっきモジュール
１１０Ｂ 第２めっきモジュール
１１０Ｃ 第３めっきモジュール
１１４ めっき槽
１２０ ロード／アンロードステーション
１２２ 搬送ロボット
１２４ ストッカ
１２６ プリウェットモジュール
１２８ プリソークモジュール
１３０ａ 第１リンスモジュール
１３０ｂ 第２リンスモジュール
１３２ ブローモジュール
１３６ オーバーフロー槽
１４０ 搬送装置
１４２ 第１搬送装置
１４４ 第２搬送装置
１５０ レール
１５２ 載置プレート
１６０ パドル駆動部
１６２ パドル従動部
３００ システム
３２０ コンピュータ
３２２ プロセッサ
３２４ メモリ
３２６ プログラム
３３０ ネットワーク
４１０ 装置環境
４１２ 生産管理部
４１４ スケジューラ
４１６ 装置コントローラ
４１８ メトリクス管理部
４２０ エージェント
４２２ 行動決定部
４２４ 機械学習部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】