特開 2024-138715 スケジュール作成プログラム生成方法、スケジュール作成プログラム生成装置、スケジュール作成装置、記録媒体、生成プログラム、スケジュール作成プログラム、基板処理装置、及び基板処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024138715

(43)【公開日】2024-10-09

(54)【発明の名称】スケジュール作成プログラム生成方法、スケジュール作成プログラム生成装置、スケジュール作成装置、記録媒体、生成プログラム、スケジュール作成プログラム、基板処理装置、及び基板処理システム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20241002BHJP

   G06Q 50/04 20120101ALI20241002BHJP

   G06N 3/092 20230101ALN20241002BHJP

【ＦＩ】

G06N20/00

G06Q50/04

G06N3/092

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2023049347

(22)【出願日】2023-03-27

(71)【出願人】

【識別番号】000207551

【氏名又は名称】株式会社ＳＣＲＥＥＮホールディングス

(74)【代理人】

【識別番号】110002310

【氏名又は名称】弁理士法人あい特許事務所

(74)【代理人】

【識別番号】100168583

【弁理士】

【氏名又は名称】前井 宏之

(72)【発明者】

【氏名】河合 淳

(72)【発明者】

【氏名】笠原 敬

【テーマコード（参考）】

5L049

5L050

【Ｆターム（参考）】

5L049CC03

5L050CC03

(57)【要約】

【課題】開発者の負担を軽減できるスケジュール作成プログラム生成方法を提供する。
【解決手段】スケジュール作成プログラム生成方法は、基板処理装置ＷＰに含まれる複数の構成要素のタイムスケジュールを作成するためのスケジュール作成プログラムＰＬ２を強化学習により生成する。当該方法は、強化学習により、配置工程（Ｓ１１）と報酬決定工程（Ｓ１２）とを含む経験ステップを繰り返して報酬の値を大きくする工程と、タイムスケジュールの時間長と報酬の値との関係を規定する報酬関数を変更する変更工程（Ｓ１４）とを含む。配置工程（Ｓ１１）は、基板Ｗの各々に予め与えられた複数の計画要素ＢＬをタイムテーブルＴＢに順次配置する工程を示す。報酬決定工程（Ｓ１２）は、報酬関数に基づいて報酬の値を決定する工程を示す。変更工程（Ｓ１４）は、一部の区間ＴＳにおける勾配が変更前と比べて大きくなるように報酬関数を変更する工程を含む。
【選択図】図８

【特許請求の範囲】

【請求項1】

基板処理装置に含まれる複数の構成要素のタイムスケジュールを作成するためのスケジュール作成プログラムを強化学習により生成するスケジュール作成プログラム生成方法であって、
前記複数の構成要素は、複数の基板を処理する際に前記基板によって占有され、
当該スケジュール作成プログラム生成方法は、
前記強化学習により、配置工程と報酬決定工程とを含む経験ステップを繰り返して報酬の値を大きくする工程と、
前記タイムスケジュールの時間長と前記報酬の値との関係を規定する報酬関数を変更する変更工程と
を含み、
前記配置工程は、前記基板の各々に予め与えられた複数の計画要素を、前記タイムスケジュールを規定するためのタイムテーブルに順次配置して、前記タイムテーブルの状態を順次変化させる工程を示し、
前記報酬決定工程は、前記報酬関数と、全ての前記計画要素が配置された前記タイムテーブルの最終状態とに基づいて、前記報酬の値を決定する工程を示し、
前記タイムスケジュールは、前記タイムテーブルの最終状態に対応し、
前記変更工程は、前記報酬の最大値に対応する前記タイムスケジュールの時間長から、前記報酬の最小値に対応する前記タイムスケジュールの時間長までの時間範囲の一部の区間における勾配が変更前と比べて大きくなるように前記報酬関数を変更する工程を含む、スケジュール作成プログラム生成方法。

【請求項2】

前記変更工程は、前記時間範囲の一部の区間における勾配が、前記時間範囲の全区間を一次関数で規定する場合の勾配より大きくなる前記報酬関数へ変更する工程を含む、請求項１に記載のスケジュール作成プログラム生成方法。

【請求項3】

複数の前記変更工程を含み、
前記変更工程が行われる度に、前記時間範囲の一部の区間における勾配が現段階の勾配より大きくなる前記報酬関数に変更する、請求項１又は請求項２に記載のスケジュール作成プログラム生成方法。

【請求項4】

前記変更工程は、前記一部の区間をシフトさせる工程を更に含む、請求項１又は請求項２に記載のスケジュール作成プログラム生成方法。

【請求項5】

前記複数の構成要素は、
前記基板を処理する複数の基板処理部と、
前記基板を搬送する搬送部と
を含み、
前記複数の計画要素は、
前記搬送部によって前記基板処理部のいずれかに前記基板を搬入して、前記基板処理部のいずれかによって前記基板を処理する第１計画要素と、
前記基板処理部によって処理された後の前記基板を、前記搬送部によって前記基板処理部から搬出させる第２計画要素と
を含む、請求項１又は請求項２に記載のスケジュール作成プログラム生成方法。

【請求項6】

前記第１計画要素の時間長は、前記第２計画要素より長い、請求項５に記載のスケジュール作成プログラム生成方法。

【請求項7】

前記複数の計画要素は、前記基板処理部の各々に対応する計画要素を含み、
前記配置工程において、前記基板処理部の各々に対応する計画要素のうちの一つが選択される、請求項５に記載のスケジュール作成プログラム生成方法。

【請求項8】

基板処理装置に含まれる複数の構成要素のタイムスケジュールを作成するためのスケジュール作成プログラムを強化学習により生成するスケジュール作成プログラム生成装置であって、
請求項１又は請求項２に記載のスケジュール作成プログラム生成方法を規定する生成プログラムを記憶する記憶部と、
前記生成プログラムを実行して前記スケジュール作成プログラムを生成する処理部と
を備える、スケジュール作成プログラム生成装置。

【請求項9】

基板処理装置に含まれる複数の構成要素のタイムスケジュールを作成するスケジュール作成装置であって、
請求項１又は請求項２に記載のスケジュール作成プログラム生成方法に基づいて生成されたスケジュール作成プログラムを記憶する記憶部と、
前記スケジュール作成プログラムを実行して前記タイムスケジュールを作成する処理部と
を備える、スケジュール作成装置。

【請求項10】

コンピュータ読み取り可能な記録媒体であって、請求項１又は請求項２に記載のスケジュール作成プログラム生成方法を規定する生成プログラムを記録する、記録媒体。

【請求項11】

コンピュータ読み取り可能な記録媒体であって、請求項１又は請求項２に記載のスケジュール作成プログラム生成方法に基づいて生成されたスケジュール作成プログラムを記録する、記録媒体。

【請求項12】

コンピュータによって実行可能であり、請求項１又は請求項２に記載のスケジュール作成プログラム生成方法を規定する生成プログラム。

【請求項13】

コンピュータによって実行可能であり、請求項１又は請求項２に記載のスケジュール作成プログラム生成方法に基づいて生成されたスケジュール作成プログラム。

【請求項14】

複数の基板を処理する際に前記基板によって占有される複数の構成要素と、
請求項１又は請求項２に記載のスケジュール作成プログラム生成方法を規定する生成プログラムを記憶する記憶部と、
前記生成プログラムを実行して、前記複数の構成要素のタイムスケジュールを作成するためのスケジュール作成プログラムを生成する処理部と
を備え、
前記処理部は、前記スケジュール作成プログラムを実行して前記タイムスケジュールを作成する、基板処理装置。

【請求項15】

複数の基板を処理する際に前記基板によって占有される複数の構成要素と、
請求項１又は請求項２に記載のスケジュール作成プログラム生成方法に基づいて生成されたスケジュール作成プログラムを記憶する記憶部と、
前記スケジュール作成プログラムを実行して、前記複数の構成要素のタイムスケジュールを作成する処理部と
を備える、基板処理装置。

【請求項16】

基板処理装置と、
請求項８に記載のスケジュール作成プログラム生成装置と
を備え、
前記スケジュール作成プログラム生成装置は、前記スケジュール作成プログラムを前記基板処理装置へ送信する送信部を更に備え、
前記基板処理装置は、
複数の基板を処理する際に前記基板によって占有される複数の構成要素と、
前記スケジュール作成プログラム生成装置の前記送信部から送信された前記スケジュール作成プログラムを受信する受信部と、
前記スケジュール作成プログラムを実行して、前記複数の構成要素のタイムスケジュールを作成する処理部と
を備える、基板処理システム。

【請求項17】

基板処理装置と、
請求項９に記載のスケジュール作成装置と
を備え、
前記スケジュール作成装置は、前記タイムスケジュールを前記基板処理装置へ送信する送信部を更に備え、
前記基板処理装置は、
複数の基板を処理する際に前記基板によって占有される複数の構成要素と、
前記スケジュール作成装置の前記送信部から送信された前記タイムスケジュールを受信する受信部と
を備える、基板処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、スケジュール作成プログラム生成方法、スケジュール作成プログラム生成装置、スケジュール作成装置、記録媒体、生成プログラム、スケジュール作成プログラム、基板処理装置、及び基板処理システムに関する。

【背景技術】

【0002】

基板処理装置のスケジュール作成方法が知られている（例えば、特許文献１参照。）。基板処理装置のスケジュール作成方法は、基板処理装置の各構成要素のタイムスケジュールを作成する方法である。基板処理装置のスケジュール作成方法によれば、基板処理装置が基板単位（１枚単位）又はロット単位（例えば、２５枚単位）で基板を効率的に処理できるようにタイムスケジュールを作成することができる。特許文献１のスケジュール作成方法は、バッチ式の基板処理装置に適用される。具体的には、特許文献１のスケジュール作成方法は、基板処理装置の各構成要素のタイムスケジュールをロット単位で作成する。

【0003】

基板処理装置のスケジュール作成方法は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びカウンタ・タイマ等を含む制御部がコンピュータプログラムを実行することにより実施される。したがって、スケジュール作成方法の開発者は、プロセッサが実行する処理のフローを開発する。具体的には、開発者は、基板処理装置の装置構成を考慮してルール（制約）を決定し、決定したルールが反映されたタイムスケジュールを作成できるように、プロセッサが実行する処理のフローを開発する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００９－４８３２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、基板処理装置の装置構成を考慮してルール（制約）を決定し、決定したルールが反映されたタイムスケジュールを作成できるように、プロセッサが実行する処理のフローを開発する場合、機種ごとに装置構成が異なるため、開発者は、機種ごとにフロー全体を開発する必要がある。したがって、開発者の負担を考慮すれば、更なる改良の余地がある。

【0006】

本発明は上記課題に鑑みてなされたものであり、その目的は、開発者の負担を軽減できるスケジュール作成プログラム生成方法、スケジュール作成プログラム生成装置、スケジュール作成装置、記録媒体、生成プログラム、スケジュール作成プログラム、基板処理装置、及び基板処理システムを提供することにある。

【課題を解決するための手段】

【0007】

本発明の一局面によれば、スケジュール作成プログラム生成方法は、基板処理装置に含まれる複数の構成要素のタイムスケジュールを作成するためのスケジュール作成プログラムを強化学習により生成する。前記複数の構成要素は、複数の基板を処理する際に前記基板によって占有される。当該スケジュール作成プログラム生成方法は、前記強化学習により、配置工程と報酬決定工程とを含む経験ステップを繰り返して報酬の値を大きくする工程と、前記タイムスケジュールの時間長と前記報酬の値との関係を規定する報酬関数を変更する変更工程とを含む。前記配置工程は、前記基板の各々に予め与えられた複数の計画要素を、前記タイムスケジュールを規定するためのタイムテーブルに順次配置して、前記タイムテーブルの状態を順次変化させる工程を示す。前記報酬決定工程は、前記報酬関数と、全ての前記計画要素が配置された前記タイムテーブルの最終状態とに基づいて、前記報酬の値を決定する工程を示す。前記タイムスケジュールは、前記タイムテーブルの最終状態に対応する。前記変更工程は、前記報酬の最大値に対応する前記タイムスケジュールの時間長から、前記報酬の最小値に対応する前記タイムスケジュールの時間長までの時間範囲の一部の区間における勾配が変更前と比べて大きくなるように前記報酬関数を変更する工程を含む。

【0008】

ある実施形態において、前記変更工程は、前記時間範囲の一部の区間における勾配が、前記時間範囲の全区間を一次関数で規定する場合の勾配より大きくなる前記報酬関数へ変更する工程を含む。

【0009】

ある実施形態において、上記スケジュール作成プログラム生成方法は、複数の前記変更工程を含む。前記変更工程が行われる度に、前記時間範囲の一部の区間における勾配が現段階の勾配より大きくなる前記報酬関数に変更する。

【0010】

ある実施形態において、前記変更工程は、前記一部の区間をシフトさせる工程を更に含む。

【0011】

ある実施形態において、前記複数の構成要素は、複数の基板処理部と、搬送部とを含む。前記基板処理部はそれぞれ、前記基板を処理する。前記搬送部は、前記基板を搬送する。前記複数の計画要素は、第１計画要素と、第２計画要素とを含む。前記第１計画要素は、前記搬送部によって前記基板処理部のいずれかに前記基板を搬入して、前記基板処理部のいずれかによって前記基板を処理する計画を示す。前記第２計画要素は、前記基板処理部によって処理された後の前記基板を、前記搬送部によって前記基板処理部から搬出させる計画を示す。

【0012】

ある実施形態において、前記第１計画要素の時間長は、前記第２計画要素より長い。

【0013】

ある実施形態において、前記複数の計画要素は、前記基板処理部の各々に対応する計画要素を含む。前記配置工程において、前記基板処理部の各々に対応する計画要素のうちの一つが選択される。

【0014】

本発明の一局面によれば、スケジュール作成プログラム生成装置は、基板処理装置に含まれる複数の構成要素のタイムスケジュールを作成するためのスケジュール作成プログラムを強化学習により生成する。当該スケジュール作成プログラム生成装置は、記憶部と、処理部とを備える。前記記憶部は、上記スケジュール作成プログラム生成方法を規定する生成プログラムを記憶する。前記処理部は、前記生成プログラムを実行して前記スケジュール作成プログラムを生成する。

【0015】

本発明の一局面によれば、スケジュール作成装置は、基板処理装置に含まれる複数の構成要素のタイムスケジュールを作成する。当該スケジュール作成装置は、記憶部と、処理部とを備える。前記記憶部は、上記スケジュール作成プログラム生成方法に基づいて生成されたスケジュール作成プログラムを記憶する。前記処理部は、前記スケジュール作成プログラムを実行して前記タイムスケジュールを作成する。

【0016】

本発明の一局面によれば、記録媒体は、コンピュータ読み取り可能な記録媒体である。当該記録媒体は、上記スケジュール作成プログラム生成方法を規定する生成プログラムを記録する。

【0017】

本発明の他の局面によれば、記録媒体は、コンピュータ読み取り可能な記録媒体である。当該記録媒体は、上記スケジュール作成プログラム生成方法に基づいて生成されたスケジュール作成プログラムを記録する。

【0018】

本発明の一局面によれば、生成プログラムは、コンピュータによって実行可能である。当該生成プログラムは、上記スケジュール作成プログラム生成方法を規定する。

【0019】

本発明の一局面によれば、スケジュール作成プログラムは、コンピュータによって実行可能である。当該スケジュール作成プログラムは、上記スケジュール作成プログラム生成方法に基づいて生成される。

【0020】

本発明の一局面によれば、基板処理装置は、複数の構成要素と、記憶部と、処理部とを備える。前記複数の構成要素は、複数の基板を処理する際に前記基板によって占有される。前記記憶部は、上記スケジュール作成プログラム生成方法を規定する生成プログラムを記憶する。前記処理部は、前記生成プログラムを実行して、前記複数の構成要素のタイムスケジュールを作成するためのスケジュール作成プログラムを生成する。前記処理部は、前記スケジュール作成プログラムを実行して前記タイムスケジュールを作成する。

【0021】

本発明の他の局面によれば、基板処理装置は、複数の構成要素と、記憶部と、処理部とを備える。前記複数の構成要素は、複数の基板を処理する際に前記基板によって占有される。前記記憶部は、上記スケジュール作成プログラム生成方法に基づいて生成されたスケジュール作成プログラムを記憶する。前記処理部は、前記スケジュール作成プログラムを実行して、前記複数の構成要素のタイムスケジュールを作成する。

【0022】

本発明の一局面によれば、基板処理システムは、基板処理装置と、上記スケジュール作成プログラム生成装置とを備える。上記スケジュール作成プログラム生成装置は、前記スケジュール作成プログラムを前記基板処理装置へ送信する送信部を更に備える。前記基板処理装置は、複数の構成要素と、受信部と、処理部とを備える。前記複数の構成要素は、複数の基板を処理する際に前記基板によって占有される。前記受信部は、前記スケジュール作成プログラム生成装置の前記送信部から送信された前記スケジュール作成プログラムを受信する。前記処理部は、前記スケジュール作成プログラムを実行して、前記複数の構成要素のタイムスケジュールを作成する。

【0023】

本発明の他の局面によれば、基板処理システムは、基板処理装置と、上記スケジュール作成装置とを備える。上記スケジュール作成装置は、前記タイムスケジュールを前記基板処理装置へ送信する送信部を更に備える。前記基板処理装置は、複数の構成要素と、受信部とを備える。前記複数の構成要素は、複数の基板を処理する際に前記基板によって占有される。前記受信部は、前記スケジュール作成装置の前記送信部から送信された前記タイムスケジュールを受信する。

【発明の効果】

【0024】

本発明に係るスケジュール作成プログラム生成方法、スケジュール作成プログラム生成装置、スケジュール作成装置、記録媒体、生成プログラム、スケジュール作成プログラム、基板処理装置、及び基板処理システムによれば、開発者の負担を軽減することができる。

【図面の簡単な説明】

【0025】

【図1】（ａ）及び（ｂ）は、本発明の実施形態１に係るスケジュール作成プログラム生成装置を含むスケジュール作成プログラム生成システムを示す図である。

【図2】本発明の実施形態１に係るスケジュール作成プログラムを適用する対象の基板処理装置の一例を示す図である。

【図3】処理手順、処理時間、及び計画要素の一例を示す図である。

【図4】図３に示す第２計画要素の詳細を示す図である。

【図5】図２に示す基板処理装置に対応するタイムテーブルの一例を示す図である。

【図6】タイムスケジュールを作成する処理の流れの一例を示す図である。

【図7】強化学習システムを示すブロック図である。

【図8】本発明の実施形態１に係るスケジュール作成プログラム生成方法を示すフローチャートである。

【図9】タイムスケジュール作成処理を示すフローチャートである。

【図10】アクションのうちの１つをランダムに選択して計画要素をタイムテーブルに配置する処理を示すフローチャートである。

【図11】報酬を最も大きくするアクションを予測して計画要素をタイムテーブルに配置する処理を示すフローチャートである。

【図12】（ａ）は、変更処理に含まれる第１変更処理を示すフローチャートである。（ｂ）は、変更処理に含まれる第２変更処理を示すフローチャートである。

【図13】第１変更処理の一例を示す図である。

【図14】第１変更処理の他例を示す図である。

【図15】第２変更処理の一例を示す図である。

【図16】変更処理の他例を示す図である。

【図17】本発明の実施形態１に係る基板処理装置を含む基板処理システムを示す図である。

【図18】本発明の実施形態２に係る基板処理装置を含む基板処理システムを示す図である。

【図19】本発明の実施形態３に係る基板処理システムを示す図である。

【図20】本発明の実施形態４に係る基板処理システムを示す図である。

【発明を実施するための形態】

【0026】

以下、図面（図１～図２０）を参照して本発明のスケジュール作成プログラム生成方法、スケジュール作成プログラム生成装置、スケジュール作成装置、記録媒体、生成プログラム、スケジュール作成プログラム、基板処理装置、及び基板処理システムに係る実施形態を説明する。但し、本発明は以下の実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能である。なお、説明が重複する箇所については、適宜説明を省略する場合がある。また、図中、同一又は相当部分については同一の参照符号を付して説明を繰り返さない。

【0027】

本発明の実施形態における「基板」には、半導体ウエハ、フォトマスク用ガラス基板、液晶表示用ガラス基板、プラズマ表示用ガラス基板、ＦＥＤ（Ｆｉｅｌｄ Ｅｍｉｓｓｉｏｎ Ｄｉｓｐｌａｙ）用基板、光ディスク用基板、磁気ディスク用基板、及び光磁気ディスク用基板などの各種基板を適用可能である。以下では主として、円盤状の半導体ウエハの処理に用いられるスケジュール作成プログラム生成方法、スケジュール作成プログラム生成装置、スケジュール作成装置、記録媒体、生成プログラム、スケジュール作成プログラム、基板処理装置、及び基板処理システムを例に本発明の実施形態を説明するが、上に例示した各種の基板の処理にも同様に適用可能である。また、基板の形状についても各種のものを適用可能である。

【0028】

［実施形態１］
以下、図１～図１７を参照して、本発明の実施形態１を説明する。図１（ａ）及び図１（ｂ）は、本実施形態のスケジュール作成プログラム生成装置１００を含むスケジュール作成プログラム生成システム１００Ａを示す図である。詳しくは、図１（ａ）は、スケジュール作成プログラムＰＬ２を作成する前のスケジュール作成プログラム生成システム１００Ａを示す。図１（ｂ）は、スケジュール作成プログラムＰＬ２を作成した後のスケジュール作成プログラム生成システム１００Ａを示す。

【0029】

図１（ａ）に示すように、スケジュール作成プログラム生成システム１００Ａは、スケジュール作成プログラム生成装置１００と、記録媒体１１０とを備える。

【0030】

記録媒体１１０は、コンピュータによって読み取り可能である。記録媒体１１０は、コンピュータに実行させるプログラム（コンピュータプログラム）を非一時的に記録する。記録媒体１１０は、生成プログラムＰＬ１を格納している。生成プログラムＰＬ１は、コンピュータによって実行可能なコンピュータプログラムである。

【0031】

記録媒体１１０は、例えば、ＳＤメモリカード及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリのような半導体メモリを含む媒体であってもよいし、ハードディスクドライブのような磁気ディスクを含む媒体であってもよい。あるいは、記録媒体１１０は、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、及びブルーレイディスクのような光ディスクであってもよい。あるいは、記録媒体１１０は、他のコンピュータシステムに搭載された主記憶装置又は補助記憶装置であってもよい。

【0032】

スケジュール作成プログラム生成装置１００は、生成プログラムＰＬ１に基づいて、基板処理装置ＷＰに含まれる複数の構成要素のタイムスケジュールを作成するためのスケジュール作成プログラムＰＬ２を生成する。より具体的には、生成プログラムＰＬ１は、強化学習用のプログラムを含む。スケジュール作成プログラム生成装置１００は、強化学習によりスケジュール作成プログラムＰＬ２を生成する。スケジュール作成プログラム生成装置１００は、例えば、汎用のコンピュータシステムであってもよいし、専用のコンピュータシステムであってもよい。

【0033】

図１（ａ）に示すように、スケジュール作成プログラム生成装置１００は、入力部１０１と、記憶部１０２と、インターフェイス部１０３と、表示部１０４と、演算処理部１０５とを備える。

【0034】

インターフェイス部１０３は、記録媒体１１０との間で情報、データ、又は信号を遣り取りする。具体的には、インターフェイス部１０３は、記録媒体１１０から生成プログラムＰＬ１を読み出して演算処理部１０５に入力する。この結果、スケジュール作成プログラム生成装置１００に生成プログラムＰＬ１がインストールされる。また、図１（ｂ）に示すように、インターフェイス部１０３は、スケジュール作成プログラムＰＬ２を記録媒体１１０に担持させる。

【0035】

例えば、インターフェイス部１０３は、記録媒体１１０と電気的に接続して、記録媒体１１０との間で情報、データ、又は信号の入出力を行ってもよい。例えば、インターフェイス部１０３は、スロット及びＵＳＢ端子を含み得る。スロットには、例えば、ＳＤメモリカードのようなカード状の情報担持体が差し込まれてもよい。ＵＳＢ端子には、例えば、ＵＳＢメモリが差し込まれてもよいし、一端がハードディスクドライブと電気的に接続されたＵＳＢケーブルの他端が差し込まれてもよい。あるいは、インターフェイス部１０３は、光ディスクドライブを含んでもよい。光ディスクドライブは、ＣＤ及びＤＶＤ、ブルーレイディスクから情報（データ）を読み出す。また、光ディスクドライブは、ＣＤ及びＤＶＤ、ブルーレイディスクに情報（データ）を書き込む。

【0036】

また、インターフェイス部１０３は、他のコンピュータシステムから生成プログラムＰＬ１を受信してもよい。例えば、インターフェイス部１０３は、他のコンピュータシステムとケーブルを介して通信可能に接続してもよいし、他のコンピュータシステムとインターネット網等の回線網を介して通信可能に接続してもよい。

【0037】

入力部１０１は、作業者が操作するユーザーインターフェース装置を含む。入力部１０１は、作業者の操作に応じた信号を演算処理部１０５に入力する。入力部１０１は、例えば、キーボード及びマウスを含む。入力部１０１は、表示部１０４の表示面に重畳されるタッチセンサを含んでもよい。表示部１０４の表示面にタッチセンサが重畳されることにより、グラフィカルユーザーインターフェースが構成されてもよい。

【0038】

作業者は、例えば、入力部１０１を操作して、生成プログラムＰＬ１のインストールを指示することができる。作業者は、入力部１０１を操作して、強化学習の開始を指示することができる。作業者は、入力部１０１を操作して、強化学習を終了する条件を設定することができる。例えば、強化学習を終了する条件として、タイムスケジュールの作成（試行）を繰り返す回数に対する閾値が設定されてもよい。この場合、タイムスケジュールを作成した回数（試行の回数）が、設定された閾値に到達すると、強化学習が終了する。以下、強化学習を終了する条件として設定される閾値を、「第１閾値」と記載する場合がある。

【0039】

本実施形態では、強化学習の１回のステップにおいて、１つのタイムスケジュールが作成される。換言すると、タイムスケジュールが作成されることにより、強化学習の１つのエピソードが終了する。よって、タイムスケジュールの作成（試行）を繰り返す回数は、強化学習のステップを繰り返す回数に対応する。

【0040】

表示部１０４は、演算処理部１０５によって制御されて、各種の画面を表示する。具体的には、表示部１０４は、学習曲線を表示してもよい。学習曲線は、強化学習のステップ数と報酬との関係を示す。表示部１０４は、例えば、液晶表示装置又は有機ＥＬ（ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）表示装置のような表示装置を含む。

【0041】

記憶部１０２は、主記憶装置を有する。主記憶装置は、例えば、半導体メモリを含む。記憶部１０２は、補助記憶装置を更に有してもよい。補助記憶装置は、例えば、半導体メモリ及びハードディスクドライブの少なくも一方を含む。記憶部１０２はリムーバブルメディアを含んでもよい。記憶部１０２は、各種のコンピュータプログラム及び各種のデータを記憶する。具体的には、記憶部１０２は、生成プログラムＰＬ１を記憶する。また、記憶部１０２は、強化学習を終了する条件を記憶する。例えば、記憶部１０２は、強化学習を終了する条件として、作業者が入力部１０１を操作して設定した第１閾値を記憶する。

【0042】

既に説明したように、生成プログラムＰＬ１は、強化学習用のプログラムを含む。強化学習のアルゴリズムは、特に限定されるものではないが、例えば、Ｑ学習、ＳＡＲＳＡ法、方策勾配法、Ａｃｔｏｒ－Ｃｒｉｔｉｃ法、又はモンテカルロ法に準拠するアルゴリズムであり得る。

【0043】

強化学習のニューラルネットワークには、ディープラーニングを行うニューラルネットワークが含まれてもよい。具体的には、ニューラルネットワークは、ディープニューラルネットワーク（ＤＮＮ：Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ディープＱネットワーク（ＤＱＮ：Ｄｅｅｐ Ｑ－Ｎｅｔｗｏｒｋ）、再帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、又は、量子ニューラルネットワーク（ＱＮＮ：Ｑｕａｎｔｕｍ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を含み得る。例えば、ディープニューラルネットワークは、入力層、複数の中間層（隠れ層）、及び、出力層を含む。

【0044】

演算処理部１０５は、プロセッサを含む。演算処理部１０５は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＮＰＵ（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、又は、量子コンピュータを含み得る。あるいは、演算処理部１０５は、汎用演算機又は専用演算器を含み得る。例えば、演算処理部１０５は、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を含んでもよい。

【0045】

演算処理部１０５は、記憶部１０２に記憶されている生成プログラムＰＬ１を実行して、スケジュール作成プログラムＰＬ２を生成する。演算処理部１０５は、スケジュール作成プログラムＰＬ２を記録媒体１１０に記録させる。

【0046】

具体的には、演算処理部１０５は、強化学習の各ステップにおいて、図５を参照して説明するタイムテーブルＴＢに、図３及び図４を参照して説明する複数の計画要素ＢＬを配置して、基板処理装置ＷＰに含まれる複数の構成要素のタイムスケジュールを作成する。つまり、演算処理部１０５は、強化学習により、タイムスケジュールを作成する試行を繰り返す。

【0047】

例えば、演算処理部１０５は、基板Ｗごとに４つの計画要素ＢＬをタイムテーブルＴＢに配置する条件の下、２５枚の基板Ｗを処理するタイムスケジュールを作成する試行を繰り返す場合、強化学習の各ステップにおいて、タイムテーブルＴＢに１００個の計画要素ＢＬを配置する。タイムテーブルＴＢを示す情報は、記憶部１０２に記憶される。タイムテーブルＴＢを示す情報は、生成プログラムＰＬ１に含まれてもよいし、作業者が入力部１０１を操作して入力してもよい。

【0048】

詳しくは、生成プログラムＰＬ１には、タイムスケジュールの時間長が短いほど高い報酬を与えるように規定された報酬関数が含まれる。演算処理部１０５は、報酬関数を参照して、タイムスケジュールを作成する度に報酬を取得する。演算処理部１０５は、強化学習のステップ（試行）を繰り返す過程で、報酬の値が最大化するようにニューラルネットワークのパラメータ（重み付け係数）を調整する。換言すると、演算処理部１０５は、タイムスケジュールの時間長が短くなるようにニューラルネットワークのパラメータを調整する。この結果、スケジュール作成プログラムＰＬ２（学習済みモデル）が生成される。このように生成されたスケジュール作成プログラムＰＬ２を用いてタイムスケジュールを作成することにより、所定枚数の基板Ｗの処理をより短い期間で完了させるタイムスケジュールを作成することができる。

【0049】

続いて、図２を参照して、スケジュール作成プログラムＰＬ２を適用する対象の基板処理装置ＷＰの一例を説明する。図２は、本実施形態のスケジュール作成プログラムＰＬ２を適用する対象の基板処理装置ＷＰの一例を示す図である。

【0050】

図２に示す基板処理装置ＷＰは、枚葉式の装置であり、基板Ｗを一枚ずつ処理する。図２に示す基板処理装置ＷＰは、４つのロードポートＬＰと、インデクサロボットＩＲと、受渡部ＰＳと、搬送ロボットＣＲと、４つの基板処理部ＰＵ（第１基板処理部ＰＵ１～第４基板処理部ＰＵ４）とを含む。

【0051】

ロードポートＬＰにはそれぞれ基板収容容器ＣＡがドッキングする。基板収容容器ＣＡはそれぞれ複数の基板Ｗを積層状態で収容する。具体的には、複数の基板Ｗは、基板収容容器ＣＡ内で、水平姿勢で互いに間隔を開けて鉛直方向に積層される。ここで、水平姿勢とは、基板Ｗの厚み方向が鉛直方向に沿う状態を示す。基板収容容器ＣＡは、例えば、ＦＯＵＰ（Ｆｒｏｎｔ Ｏｐｅｎｉｎｇ Ｕｎｉｆｉｅｄ Ｐｏｄ）であってもよいし、ＳＭＩＦ（Ｓｔａｎｄａｒｄ Ｍｅｃｈａｎｉｃａｌ Ｉｎｔｅｒ Ｆａｃｅ）ポッドであってもよいし、ＯＣ（Ｏｐｅｎ Ｃａｓｓｅｔｔｅ）であってもよい。

【0052】

インデクサロボットＩＲは、未処理の基板Ｗを基板収容容器ＣＡから受渡部ＰＳに搬送する。また、インデクサロボットＩＲは、処理後の基板Ｗを受渡部ＰＳから基板収容容器ＣＡに搬送する。ここで、未処理の基板Ｗは、基板処理部ＰＵによって処理される前の基板Ｗを示す。処理後の基板Ｗは、基板処理部ＰＵによって処理された後の基板Ｗを示す。インデクサロボットＩＲは、「搬送部」の一例である。

【0053】

インデクサロボットＩＲは、２つのハンド（ハンド８Ａ、８Ｂ）を含む。ハンド８Ａ、８Ｂはそれぞれ１枚の基板Ｗを把持する。詳しくは、ハンド８Ａは、未処理の基板Ｗを把持する。ハンド８Ｂは、処理後の基板Ｗを把持する。なお、ハンド８Ａ、８Ｂは上下に重なるように配置されてもよいが、図２では、明瞭化のために、ハンド８Ａ、８Ｂを紙面に平行な方向（水平方向）にずらしている。

【0054】

受渡部ＰＳは、基板Ｗを支持する複数の棚を有する。詳しくは、受渡部ＰＳは、未処理の基板Ｗを支持する少なくとも１つの棚と、処理後の基板Ｗを支持する少なくとも１つの棚とを有する。本実施形態では、受渡部ＰＳは、未処理の基板Ｗを支持する１つの棚と、処理後の基板Ｗを支持する１つの棚とを有する。以下、未処理の基板Ｗを支持する棚を「棚ＰＳ１」と記載する場合がある。また、処理後の基板Ｗを支持する棚を「棚ＰＳ２」と記載する場合がある。

【0055】

搬送ロボットＣＲは、未処理の基板Ｗを受渡部ＰＳから基板処理部ＰＵのいずれか１つに搬送する。また、搬送ロボットＣＲは、処理後の基板Ｗを基板処理部ＰＵから受渡部ＰＳに搬送する。搬送ロボットＣＲは、「搬送部」の一例である。具体的には、搬送ロボットＣＲは、２つのハンド（ハンド１３Ａ、１３Ｂ）を含む。ハンド１３Ａ、１３Ｂはそれぞれ１枚の基板Ｗを把持する。詳しくは、ハンド１３Ａは、未処理の基板Ｗを把持する。ハンド１３Ｂは、処理後の基板Ｗを把持する。なお、ハンド１３Ａ、１３Ｂは上下に重なるように配置されてもよいが、図２では、明瞭化のために、ハンド１３Ａ、１３Ｂを紙面に平行な方向（水平方向）にずらしている。

【0056】

基板処理部ＰＵは、基板Ｗを１枚ずつ処理する。基板Ｗは、４つの基板処理部ＰＵ（第１基板処理部ＰＵ１～第４基板処理部ＰＵ４）のいずれかによって処理される。基板処理部ＰＵが実行する処理の内容は特に限定されず、例えば、基板処理部ＰＵは、基板Ｗに対して、処理剤（処理液又は処理ガス、あるいは処理液及び処理ガス）を用いた処理、紫外線等の電磁波を用いた処理、あるいは、物理洗浄処理（ブラシ洗浄又はスプレーノズル洗浄等）を施す。例えば、基板処理部ＰＵは、基板Ｗに対して、薬液洗浄処理、ブラシ洗浄処理、ウェットエッチング処理、ドライエッチング処理、感光膜塗布処理、現像処理、アニール処理、及び描画処理のいずれかの基板処理を実行してもよい。

【0057】

続いて、図３及び図４を参照して、処理手順ＰＤ、処理時間ＰＴ、及び計画要素ＢＬを説明する。図３は、処理手順ＰＤ、処理時間ＰＴ、及び計画要素ＢＬの一例を示す図である。詳しくは、図３は、図２に示す基板処理装置ＷＰに対応する処理手順ＰＤ、処理時間ＰＴ、及び計画要素ＢＬを示す。処理手順ＰＤを示す情報、処理時間ＰＴを示す情報、及び計画要素ＢＬを示す情報は、互いに関連付けられて記憶部１０２に記憶される。これらの情報の全部又は一部は、生成プログラムＰＬ１に含まれてもよい。これらの情報の全部又は一部は、作業者が入力部１０１を操作して入力してもよい。

【0058】

処理手順ＰＤは、基板処理装置ＷＰによって実行される処理の手順を示す。より具体的には、処理手順ＰＤは、基板処理装置ＷＰに含まれる複数の構成要素が実行する処理の手順を示す。

【0059】

図３に示すように、図２に示す基板処理装置ＷＰに対応する処理手順ＰＤは、処理パターンＡ～処理パターンＭを含む。１枚の基板Ｗに対し、処理パターンＡ～処理パターンＭがこの順に実行される。処理手順ＰＤは、１枚の基板Ｗに対して実行される処理の流れ（処理フロー）を示す。図５を参照して説明するタイムテーブルＴＢに、処理パターンＡ～処理パターンＭがタイムテーブルＴＢの時間軸に沿ってこの順に配置される。

【0060】

処理パターンＡは、インデクサロボットＩＲが基板収容容器ＣＡから未処理の基板Ｗを搬出する処理を示す。処理パターンＢは、インデクサロボットＩＲが受渡部ＰＳまで未処理の基板Ｗを搬送して、未処理の基板Ｗを受渡部ＰＳに搬入する処理を示す。処理パターンＡ及び処理パターンＢが実行されている間、インデクサロボットＩＲのハンド８Ａが１枚の基板Ｗによって占有される。

【0061】

処理パターンＣは、受渡部ＰＳに未処理の基板Ｗが搬入される処理を示す。処理パターンＤは、受渡部ＰＳから未処理の基板Ｗが搬出される処理を示す。処理パターンＣ及び処理パターンＤが実行されている間、受渡部ＰＳの棚ＰＳ１が１枚の基板Ｗによって占有される。

【0062】

処理パターンＥは、搬送ロボットＣＲが受渡部ＰＳから未処理の基板Ｗを搬出する処理を示す。処理パターンＦは、搬送ロボットＣＲが未処理の基板Ｗを基板処理部ＰＵのいずれか１つに搬送して、未処理の基板Ｗを基板処理部ＰＵのいずれか１つに搬入する処理を示す。処理パターンＥ及び処理パターンＦが実行されている間、搬送ロボットＣＲのハンド１３Ａが１枚の基板Ｗによって占有される。

【0063】

処理パターンＧは、基板処理部ＰＵのいずれかによって実行される基板処理を示す。処理パターンＧが実行されている間、基板処理部ＰＵのいずれかが１枚の基板Ｗによって占有される。

【0064】

処理パターンＨは、搬送ロボットＣＲが基板処理部ＰＵから処理後の基板Ｗを搬出する処理を示す。処理パターンＩは、搬送ロボットＣＲが処理後の基板Ｗを受渡部ＰＳまで搬送して、処理後の基板Ｗを受渡部ＰＳに搬入する処理を示す。処理パターンＨ及び処理パターンＩが実行されている間、搬送ロボットＣＲのハンド１３Ｂが１枚の基板Ｗによって占有される。

【0065】

処理パターンＪは、受渡部ＰＳに処理後の基板Ｗが搬入される処理を示す。処理パターンＫは、受渡部ＰＳから処理後の基板Ｗが搬出される処理を示す。処理パターンＪ及び処理パターンＫが実行されている間、受渡部ＰＳの棚ＰＳ２が１枚の基板Ｗによって占有される。

【0066】

処理パターンＬは、インデクサロボットＩＲが受渡部ＰＳから処理後の基板Ｗを搬出する処理を示す。処理パターンＭは、インデクサロボットＩＲが処理後の基板Ｗを基板収容容器ＣＡまで搬送して、処理後の基板Ｗを基板収容容器ＣＡに搬入する処理を示す。処理パターンＬ及び処理パターンＭが実行されている間、インデクサロボットＩＲのハンド８Ｂが１枚の基板Ｗによって占有される。

【0067】

以上、図３を参照して説明したように、１枚の基板Ｗは、基板処理装置ＷＰに含まれる複数の構成要素を順次占有していく。このように、処理パターンＡ～処理パターンＭは、１枚の基板Ｗによる占有情報を示す。図２に示す基板処理装置ＷＰにおいては、インデクサロボットＩＲのハンド８Ａ及びハンド８Ｂ、受渡部ＰＳの棚ＰＳ１及び棚ＰＳ２、搬送ロボットＣＲのハンド１３Ａ及びハンド１３Ｂ、及び基板処理部ＰＵのいずれか１つが、１枚の基板Ｗによって順次占有される。インデクサロボットＩＲのハンド８Ａ及びハンド８Ｂ、受渡部ＰＳの棚ＰＳ１及び棚ＰＳ２、搬送ロボットＣＲのハンド１３Ａ及びハンド１３Ｂ、及び４つの基板処理部ＰＵ（第１基板処理部ＰＵ１～第４基板処理部ＰＵ４）は、基板処理装置ＷＰに含まれる複数の構成要素の一例である。

【0068】

続いて、処理時間ＰＴを説明する。処理時間ＰＴは、基板処理装置ＷＰによって実行される各処理の時間長を示す。詳しくは、処理時間ＰＴは、基板処理装置ＷＰに含まれる各構成要素が実行する処理の時間長を示す。換言すると、処理時間ＰＴは、基板処理装置ＷＰに含まれる各構成要素が１枚の基板Ｗによって占有される時間長を示す。

【0069】

図３に示すように、図２に示す基板処理装置ＷＰに対応する処理時間ＰＴは、処理時間Ｘ１～処理時間Ｘ１３を含む。処理時間Ｘ１～処理時間Ｘ１３はそれぞれ、処理パターンＡ～処理パターンＭの時間長を示す。処理時間Ｘ１～処理時間Ｘ１３はそれぞれ、処理パターンＡ～処理パターンＭに関連付けられて記憶部１０２に記憶される。処理時間Ｘ１～処理時間Ｘ１３のうち、処理時間Ｘ１～処理時間Ｘ６及び処理時間Ｘ８～処理時間Ｘ１３は、基板Ｗの搬送に要する時間長を示す。処理時間Ｘ７は、基板処理に要する時間長を示す。処理時間Ｘ１～処理時間Ｘ６及び処理時間Ｘ８～処理時間Ｘ１３の時間長は、処理時間Ｘ７よりも短い。

【0070】

続いて、計画要素ＢＬについて説明する。図３に示すように、処理手順ＰＤは複数の計画要素ＢＬに分割される。各計画要素ＢＬには、処理手順ＰＤに含まれる処理パターンのうちの少なくとも一つが含まれる。図３に示す例では、処理パターンＡ～処理パターンＭが４つの計画要素ＢＬ（第１計画要素ＢＬ１～第４計画要素ＢＬ４）に分割される。計画要素ＢＬはそれぞれ、基板Ｗが連続して占有する構成要素を示す。複数の計画要素ＢＬは、処理手順ＰＤに対して予め与えられる。換言すると、１枚の基板Ｗに対して複数の計画要素ＢＬが予め与えられる。

【0071】

第１計画要素ＢＬ１は、処理パターンＡ～処理パターンＣを含む。つまり、第１計画要素ＢＬ１は、インデクサロボットＩＲによって基板収容容器ＣＡから受渡部ＰＳの棚ＰＳ１まで未処理の基板Ｗを搬送する計画を示す。また、第１計画要素ＢＬ１は、１枚の基板ＷによりインデクサロボットＩＲのハンド８Ａと受渡部ＰＳの棚ＰＳ１とが連続して占有されることを示す。

【0072】

第２計画要素ＢＬ２は、処理パターンＤ～処理パターンＧを含む。つまり、第２計画要素ＢＬ２は、搬送ロボットＣＲによって受渡部ＰＳの棚ＰＳ１から基板処理部ＰＵのいずれか１つまで未処理の基板Ｗを搬送して、基板処理部ＰＵのいずれか１つによって未処理の基板Ｗを処理する計画を示す。また、第２計画要素ＢＬ２は、１枚の基板Ｗにより受渡部ＰＳの棚ＰＳ１、搬送ロボットＣＲのハンド１３Ａ、及び基板処理部ＰＵのうちの１つが連続して占有されることを示す。

【0073】

第３計画要素ＢＬ３は、処理パターンＨ～処理パターンＪを含む。つまり、第３計画要素ＢＬ３は、搬送ロボットＣＲによって基板処理部ＰＵから受渡部ＰＳの棚ＰＳ２まで処理後の基板Ｗを搬送する計画を示す。換言すると、第３計画要素ＢＬ３は、１枚の基板Ｗにより搬送ロボットＣＲのハンド１３Ｂと受渡部ＰＳの棚ＰＳ２とが連続して占有されることを示す。

【0074】

第４計画要素ＢＬ４は、処理パターンＫ～処理パターンＭを含む。つまり、第４計画要素ＢＬ４は、受渡部ＰＳの棚ＰＳ２から基板収容容器ＣＡまで処理後の基板Ｗを搬送する計画を示す。また、第４計画要素ＢＬ４は、１枚の基板Ｗにより受渡部ＰＳの棚ＰＳ２とインデクサロボットＩＲのハンド８Ｂとが連続して占有されることを示す。

【0075】

図１に示す演算処理部１０５は、複数の計画要素ＢＬを処理手順ＰＤの順序に従ってタイムテーブルＴＢに配置する。より具体的には、演算処理部１０５は、処理パターンＡ～処理パターンＭを、処理手順ＰＤの順序に従って計画要素ＢＬごとにタイムテーブルＴＢに配置する。処理パターンＡ～処理パターンＭを計画要素ＢＬごとにタイムテーブルＴＢに配置することにより、基板処理装置ＷＰにおいて物理的に不可能な行為を禁止することができる。

【0076】

続いて、図４を参照して、処理手順ＰＤ及び計画要素ＢＬを説明する。図４は、図３に示す第２計画要素ＢＬ２の詳細を示す図である。図２を参照して説明したように、１枚の基板Ｗは第１基板処理部ＰＵ１～第４基板処理部ＰＵ４のいずれかによって処理される。したがって、図４に示すように、第２計画要素ＢＬ２には、４つの第２計画要素ＢＬ２－１～ＢＬ２－４が含まれる。したがって、処理手順ＰＤ（１枚の基板Ｗ）に対して、７つの計画要素ＢＬが予め与えられる。図１に示す演算処理部１０５は、タイムテーブルＴＢに第２計画要素ＢＬ２を配置する際に、４つの第２計画要素ＢＬ２－１～ＢＬ２－４のうちの１つを配置する。

【0077】

具体的には、第２計画要素ＢＬ２－１は、第１基板処理部ＰＵ１によって基板Ｗを処理することを示す。換言すると、第２計画要素ＢＬ２－１は、１枚の基板Ｗが第１基板処理部ＰＵ１を占有することを示す。同様に、第２計画要素ＢＬ２－２～第２計画要素ＢＬ２－４はそれぞれ、第２基板処理部ＰＵ２～第４基板処理部ＰＵ４によって基板Ｗを処理することを示す。

【0078】

続いて、制約条件を説明する。以下の表１は、図２に示す基板処理装置ＷＰに対応する制約条件の一例を示す。制約条件は、タイムテーブルＴＢに計画要素ＢＬを配置する際の条件を示す。制約条件は、基板処理装置ＷＰの装置構成に依存する。例えば、制約条件は、基板処理装置ＷＰにおいて物理的に不可能な行為を禁止する旨の条件を含む。

【表1】

【0079】

図１に示す演算処理部１０５は、制約条件を参照して、タイムテーブルＴＢに複数の計画要素ＢＬ（処理パターンＡ～処理パターンＭ）を配置する。制約条件は、記憶部１０２に記憶される。制約条件は、生成プログラムＰＬ１に含まれてもよいし、作業者が入力部１０１を操作して入力してもよい。

【0080】

以上、図１～図４及び表１を参照して説明したように、演算処理部１０５は、タイムテーブルＴＢに複数の計画要素ＢＬを配置する際に、処理手順ＰＤを示す情報と、処理時間ＰＴを示す情報と、計画要素ＢＬを示す情報と、制約条件とを参照する。更に、演算処理部１０５は、タイムテーブルＴＢに複数の計画要素ＢＬを配置する際に、基板Ｗの枚数を示す情報を参照する。以下、基板Ｗの枚数を示す情報を、「枚数情報」と記載する場合がある。枚数情報は、生成プログラムＰＬ１に含まれてもよいし、作業者が入力部１０１を操作して入力してもよい。

【0081】

演算処理部１０５は、枚数情報を参照して、基板Ｗの枚数に対応する数の計画要素ＢＬをタイムテーブルＴＢに配置する。例えば、基板Ｗごとに４つの計画要素ＢＬをタイムテーブルＴＢに配置する条件の下、枚数情報が２５枚を示す場合、演算処理部１０５は、強化学習の各ステップにおいて、１００個の計画要素を配置してタイムスケジュールを作成する。

【0082】

続いて、図１～図５を参照して、タイムテーブルＴＢを説明する。図５は、図２に示す基板処理装置ＷＰに対応するタイムテーブルＴＢの一例を示す図である。図５に示すように、タイムテーブルＴＢに複数の計画要素ＢＬが配置される。計画要素ＢＬはそれぞれ、タイムテーブルＴＢに配置されて、基板処理装置ＷＰに含まれる複数の構成要素のうちの少なく１つを排他的に占有する。タイムテーブルＴＢに複数の計画要素ＢＬが配置されることにより、基板処理装置ＷＰの各構成要素のタイムスケジュールが規定される。換言すると、タイムテーブルＴＢに複数の計画要素ＢＬが配置されることにより、基板処理装置ＷＰの各構成要素の占有予定時間が規定される。

【0083】

具体的には、タイムテーブルＴＢの横軸は時刻を示す。タイムテーブルＴＢには、基板処理装置ＷＰの構成要素ごとに、対応する処理パターンがタイムテーブルＴＢの時間軸に沿って配置される。図５に示すタイムテーブルＴＢには、図３及び図４を参照して第１計画要素ＢＬ１～第４計画要素ＢＬ４（処理パターンＡ～処理パターンＭ）が、表１に示す制約条件１～９に基づいて配置されている。タイムテーブルＴＢは、例えば、ガントチャートである。なお、タイムテーブルＴＢに配置される処理パターンＡ～処理パターンＭは、数値情報であってもよいし、画像情報であってもよい。

【0084】

また、図３～図５に示すように、第２計画要素ＢＬ２には処理パターンＧ（基板処理）が含まれる。したがって、第２計画要素ＢＬ２の時間長は、他の計画要素ＢＬ（第１計画要素ＢＬ１、第３計画要素ＢＬ３、及び第４計画要素ＢＬ４）よりも長い。第２計画要素ＢＬ２は、搬送ロボットＣＲ（搬送部）によって基板処理部ＰＵのいずれかに未処理の基板Ｗを搬入して、基板処理部ＰＵのいずれかによって未処理の基板Ｗを処理する計画要素の一例である。第３計画要素ＢＬ３は、基板処理部ＰＵによって処理された後の基板Ｗを、搬送部ロボット（搬送部）によって基板処理部ＰＵから搬出させる計画要素の一例である。

【0085】

続いて、図１～図６を参照して、タイムスケジュールを作成する処理を説明する。図６は、タイムスケジュールを作成する処理の流れの一例を示す図である。詳しくは、図６は、タイムテーブルＴＢに複数の計画要素ＢＬを配置する処理を示す。以下、タイムテーブルＴＢに複数の計画要素ＢＬを配置する処理を、「タイムスケジュール作成処理」と記載する場合がある。

【0086】

図６に示すように、演算処理部１０５は、現在のタイムテーブルＴＢの状態と、複数の計画要素ＢＬとを参照して、タイムテーブルＴＢに未配置の計画要素ＢＬを取得する（工程Ｓ１）。以下、未配置の計画要素ＢＬを、「計画要素ＮＢＬ」と記載する場合がある。

【0087】

例えば、タイムスケジュール作成処理の開始時においては、全ての計画要素ＢＬが計画要素ＮＢＬである。例えば、基板Ｗごとに４つの計画要素ＢＬをタイムテーブルＴＢに配置する条件の下、枚数情報が２５枚を示す場合、タイムスケジュール作成処理の開始時に、演算処理部１０５は、１００個の計画要素ＮＢＬを取得する。タイムスケジュール作成処理が進行するにつれて、計画要素ＮＢＬの数が減少していく。タイムスケジュール作成処理は、計画要素ＮＢＬが無くなるまで続けられる。

【0088】

演算処理部１０５は、計画要素ＮＢＬを取得すると、現在のタイムテーブルＴＢの状態と、計画要素ＮＢＬと、制約条件（制約条件１～９）と、処理手順ＰＤとを参照して、計画要素ＮＢＬのうちから、次配置可能な計画要素ＢＬを取得する。ここで、次配置可能な計画要素ＢＬとは、タイムテーブルＴＢに次ぎに配置可能な計画要素ＢＬを示す。以下、次配置可能な計画要素ＢＬを、「計画要素ＡＢＬ」と記載する場合がある。

【0089】

演算処理部１０５は、計画要素ＡＢＬを取得すると、現在のタイムテーブルＴＢの状態と、計画要素ＡＢＬと、制約条件（制約条件１～９）と、処理手順ＰＤとを参照して、計画要素ＡＢＬのそれぞれの配置可能時刻を算出する（工程Ｓ２）。配置可能時刻は、タイムテーブルＴＢによって示される時刻に対応する。詳しくは、配置可能時刻は、計画要素ＡＢＬに含まれる処理を開始可能なタイムテーブルＴＢ上の時刻を示す。

【0090】

演算処理部１０５は、配置可能時刻を算出すると、計画要素ＡＢＬごとにアクションＡＣを生成する（工程Ｓ３）。アクションＡＣは、タイムテーブルＴＢの配置可能時刻に計画要素ＡＢＬを配置する行動を示す。

【0091】

演算処理部１０５は、アクションＡＣを生成すると、アクションＡＣのうちの１つを選択し（工程Ｓ４）、選択したアクションＡＣに基づいて、計画要素ＢＬ（計画要素ＡＢＬ）をタイムテーブルＴＢに配置する（工程Ｓ５）。この結果、タイムテーブルＴＢが更新される。換言すると、タイムテーブルＴＢが次の状態となる。

【0092】

ここで、アクションＡＣを選択する処理の第１例を説明する。例えば、演算処理部１０５は、強化学習の初期の段階において、アクションＡＣのうちの１つをランダムに選択する。演算処理部１０５は、強化学習のステップ（試行）を繰り返した回数が第２閾値以上になると、アクションＡＣのうちから、報酬を最も大きくするアクションＡＣを予測して、選択する。具体的には、生成プログラムＰＬ１は、行動選択ニューラルネットワーク１２１（図７参照）を含む。行動選択ニューラルネットワーク１２１は、予測器を構築するニューラルネットワークを含む。予測器は、アクションＡＣごとに評価値（Ｑ値）を算出する。評価値は、報酬の期待値を示す。演算処理部１０５（行動選択ニューラルネットワーク１２１）は、評価値（報酬の期待値）が最も大きいアクションＡＣを選択する。

【0093】

なお、演算処理部１０５は、強化学習のステップ（試行）を繰り返した回数が第２閾値以上になった後に、予め定められた第１条件に基づいて、アクションＡＣのうちの１つをランダムに選択してもよい。例えば、第１条件は、アクションＡＣのうちの１つをランダムに選択する周期を示してもよい。この場合、演算処理部１０５は、周期的に、アクションＡＣのうちの１つをランダムに選択する。

【0094】

あるいは、第１条件は、アクションＡＣのうちの１つをランダムに選択するタイミングを、ステップ数（試行の回数）で示してもよい。以下、アクションＡＣのうちの１つをランダムに選択するタイミングを規定するステップ数を、「ランダム選択ステップ数」と記載する場合がある。ランダム選択ステップ数は、複数のステップ数を示してもよい。この場合、演算処理部１０５は、強化学習のステップを繰り返した回数（試行の回数）がランダム選択ステップ数に含まれるステップ数に達する度に、アクションＡＣのうちの１つをランダムに選択する。なお、１回のステップ（１回の試行）は、タイムスケジュール作成処理を開始してから、全ての計画要素ＢＬがタイムテーブルＴＢに配置されて報酬を取得するまでの処理を示す。

【0095】

続いて、アクションＡＣを選択する処理の第２例を説明する。例えば、演算処理部１０５は、乱数を取得し、取得した乱数の値が第３閾値以上であるか否かを判定する。演算処理部１０５は、乱数の値が第３閾値以上である場合、アクションＡＣのうちから、報酬を最も大きくするアクションＡＣを予測して、選択する。演算処理部１０５は、取得した乱数の値が第３閾値未満である場合、アクションＡＣのうちの１つをランダムに選択する。演算処理部１０５は、ステップ数（試行の回数）の増加に合わせて、第３閾値を小さくする。

【0096】

タイムテーブルＴＢが更新されると、演算処理部１０５は、工程Ｓ１～工程Ｓ５の処理を再度実行する。演算処理部１０５は、計画要素ＮＢＬが無くなるまで工程Ｓ１～工程Ｓ５の処理を繰り返す。この結果、タイムスケジュール作成処理が終了する。

【0097】

演算処理部１０５は、タイムスケジュール作成処理が終了すると、タイムテーブルＴＢの最終状態と、報酬関数とに基づいて、報酬を決定する（工程Ｓ６）。既に説明したように、報酬関数は、タイムスケジュールの時間長が短いほど高い報酬を与えるように規定されている。

【0098】

続いて、図７を参照して、演算処理部１０５が生成プログラムＰＬ１を実行することによって構築される強化学習システム１２０を説明する。図７は、強化学習システム１２０を示すブロック図である。

【0099】

図７に示すように、強化学習システム１２０は、エージェントＡＧの行動を選択する。エージェントＡＧの行動により、エージェントＡＧと環境ＥＢとが相互作用する。具体的には、エージェントＡＧの行動は、図６を参照して説明したアクションＡＣを含む。環境ＥＢは、図５を参照して説明したタイムテーブルＴＢを含む。強化学習システム１２０は、図６を参照して説明したようにアクションＡＣを選択する。エージェントＡＧは、選択されたアクションＡＣに基づいて、タイムテーブルＴＢに計画要素ＢＬを配置する。

【0100】

強化学習システム１２０は、行動選択ニューラルネットワーク１２１と、訓練エンジン１２２とを含む。訓練エンジン１２２は、リプレイメモリ１２３を含む。リプレイメモリ１２３は、記憶部１０２の記憶領域に含まれる。

【0101】

既に説明したように、行動選択ニューラルネットワーク１２１は、アクションＡＣごとに評価値（Ｑ値）を算出して、評価値が最も大きいアクションＡＣを選択する。訓練エンジン１２２は、行動選択ニューラルネットワーク１２１を訓練して、行動選択ニューラルネットワーク１２１に含まれる複数のパラメータ（重み付け係数）を調整する。

【0102】

詳しくは、訓練エンジン１２２は、経験データをリプレイメモリ１２３に格納する。経験データは、エージェントＡＧが環境ＥＢに相互作用した結果を示す。経験データは、教師あり学習のための学習用データ（訓練データ）であり、訓練エンジン１２２は、行動選択ニューラルネットワーク１２１に経験データを学習させて、行動選択ニューラルネットワーク１２１を訓練する。この結果、行動選択ニューラルネットワーク１２１に含まれる複数のパラメータ（重み付け係数）が調整されて、行動選択ニューラルネットワーク１２１の予測精度が向上する。

【0103】

具体的には、訓練エンジン１２２（演算処理部１０５）は、タイムテーブルＴＢに計画要素ＢＬを配置する度に経験データを生成してリプレイメモリ１２３に格納する。経験データには、現在のタイムテーブルＴＢの状態と、現在の計画要素ＮＢＬ（未配置の計画要素ＢＬ）と、現在の配置可能時刻と、選択されたアクションＡＣ（選択された計画要素ＡＢＬ）と、次のタイムテーブルＴＢの状態とが含まれる。タイムスケジュールの作成が完了した際の経験データには、報酬の値が更に含まれる。

【0104】

訓練エンジン１２２（演算処理部１０５）は、予め定められた第２条件に基づいて、行動選択ニューラルネットワーク１２１を訓練する。例えば、第２条件は、行動選択ニューラルネットワーク１２１を訓練する周期を示してもよい。この場合、訓練エンジン１２２（演算処理部１０５）は、周期的に、行動選択ニューラルネットワーク１２１を訓練する。

【0105】

あるいは、第２条件は、行動選択ニューラルネットワーク１２１を訓練するタイミングを、ステップ数で示してもよい。以下、行動選択ニューラルネットワーク１２１を訓練するタイミングを規定するステップ数を、「訓練ステップ数」と記載する場合がある。訓練ステップ数は、複数のステップ数を示す。この場合、訓練エンジン１２２（演算処理部１０５）は、強化学習のステップを繰り返した回数（試行の回数）が訓練ステップ数に含まれるステップ数に達する度に、行動選択ニューラルネットワーク１２１に経験データを学習させる。

【0106】

続いて、図１～図１６を参照して、本実施形態のスケジュール作成プログラム生成方法を説明する。図８は、本実施形態のスケジュール作成プログラム生成方法を示すフローチャートである。本実施形態のスケジュール作成プログラム生成方法は、図１～図７を参照して説明したスケジュール作成プログラム生成装置１００により実行される。具体的には、本実施形態のスケジュール作成プログラム生成方法は、図１～図７を参照して説明した演算処理部１０５により実行される。したがって、図８は、演算処理部１０５により実行される処理の流れを示す。

【0107】

図８に示すように、本実施形態のスケジュール作成プログラム生成方法は、工程Ｓ１１～工程Ｓ１５を含む。例えば、スケジュール作成プログラム生成装置１００に生成プログラムＰＬ１がインストールされた状態で、作業者が入力部１０１を操作して強化学習の開始を指示したことに応じて、図８に示す処理が開始されてもよい。

【0108】

図８に示す処理が開始すると、演算処理部１０５は、タイムスケジュールを作成する（工程Ｓ１１）。タイムスケジュールを作成する処理については、図９を参照して後述する。工程Ｓ１１は、「配置工程」の一例である。

【0109】

演算処理部１０５は、タイムスケジュールを作成した後、タイムテーブルＴＢの最終状態と報酬関数とに基づいて、報酬の値を決定する（工程Ｓ１２）。なお、タイムテーブルＴＢの最終状態は、全ての計画要素ＢＬが配置されたタイムテーブルＴＢの状態を示す。タイムスケジュールは、タイムテーブルＴＢの最終状態に対応する。工程Ｓ１２は、「報酬決定工程」の一例である。

【0110】

演算処理部１０５は、報酬の値を決定した後、報酬関数を変更するか否かを決定する（工程Ｓ１３）。具体的には、演算処理部１０５は、予め定められた第３条件に基づいて、報酬関数を変更するか否かを決定する。例えば、第３条件は、報酬関数を変更する周期を示してもよい。この場合、演算処理部１０５は、周期的に、報酬関数を変更する。

【0111】

あるいは、第３条件は、報酬関数を変更するタイミングを、ステップ数で示してもよい。以下、報酬関数を変更するタイミングを規定するステップ数を、「変更ステップ数」と記載する場合がある。変更ステップ数は、少なくとも１つのステップ数を示す。この場合、演算処理部１０５は、強化学習のステップを繰り返した回数（試行の回数）が変更ステップ数に含まれるステップ数に達する度に、報酬関数を変更することを決定する。

【0112】

演算処理部１０５は、報酬関数を変更することを決定した場合（工程Ｓ１３のＹｅｓ）、変更処理を実行して、報酬関数を変更する（工程Ｓ１４）。変更処理については、図１２～図１６を参照して後述する。工程Ｓ１４は、「変更工程」の一例である。

【0113】

演算処理部１０５は、報酬関数を変更した後、強化学習を終了するか否かを決定する（工程Ｓ１５）。あるいは、演算処理部１０５は、報酬関数を変更しないことを決定した場合（工程Ｓ１３のＮｏ）、強化学習を終了するか否かを決定する（工程Ｓ１５）。

【0114】

演算処理部１０５が強化学習を終了しないことを決定した場合（工程Ｓ１５のＮｏ）、図８に示す処理は、工程Ｓ１１の処理に戻る。一方、演算処理部１０５が強化学習を終了することを決定した場合（工程Ｓ１５のＹｅｓ）、図８に示す処理は終了する。

【0115】

例えば、図１を参照して説明したように、強化学習を終了する条件として第１閾値が設定されてもよい。この場合、演算処理部１０５は、強化学習のステップを繰り返した回数（試行の回数）が第１閾値以上になると、強化学習を終了することを決定する。

【0116】

図６及び図７を参照して説明したように、演算処理部１０５は、タイムスケジュール作成処理を繰り返す過程で、行動選択ニューラルネットワーク１２１のパラメータ（重み付け係数）を調整する。したがって、強化学習のステップ（試行）が繰り返されることにより、報酬の値が大きくなる。本実施形態では、強化学習の１回のステップ（１回の試行）は、図８に示す工程Ｓ１１～工程Ｓ１５を含む。なお、工程Ｓ１１～工程Ｓ１５のうち、工程Ｓ１１及び工程Ｓ１２を含むステップは、「経験ステップ」の一例である。

【0117】

続いて、図９を参照して、図８に示すタイムスケジュール作成処理（工程Ｓ１１）を説明する。図９は、タイムスケジュール作成処理を示すフローチャートである。

【0118】

図９に示すように、タイムスケジュール作成処理は、工程Ｓ２１及び工程Ｓ２２を含む。演算処理部１０５は、タイムスケジュール作成処理を開始すると、複数の計画要素ＢＬのうちの一つをタイムテーブルＴＢに配置して、タイムテーブルＴＢの状態を変化させる（工程Ｓ２１）。

【0119】

演算処理部１０５は、複数の計画要素ＢＬのうちの一つをタイムテーブルＴＢに配置すると、全ての計画要素ＢＬをタイムテーブルＴＢに配置したか否かを判定する（工程Ｓ２２）。

【0120】

全ての計画要素ＢＬをタイムテーブルＴＢに配置したと演算処理部１０５が判定した場合（工程Ｓ２２のＹｅｓ）、タイムスケジュール作成処理が終了して、演算処理部１０５は、報酬の値を決定する（図８の工程Ｓ１２）。

【0121】

演算処理部１０５は、複数の計画要素ＢＬの一部がタイムテーブルＴＢに配置されていないと判定した場合（工程Ｓ２２のＮｏ）、工程Ｓ２１に戻り、次の計画要素ＢＬを選択してタイムテーブルＴＢに配置する。このように、演算処理部１０５は、複数の計画要素ＢＬをタイムテーブルＴＢに順次配置して、タイムテーブルＴＢの状態を順次変化させる。

【0122】

続いて、図１０及び図１１を参照して、計画要素ＢＬをタイムテーブルＴＢに配置する処理（図９の工程Ｓ２１）を説明する。図６及び図７を参照して説明したように、演算処理部１０５は、アクションＡＣのうちの１つをランダムに選択することにより、次に配置可能な計画要素ＢＬ（計画要素ＡＢＬ）のうちの一つをタイムテーブルＴＢに配置する。あるいは、演算処理部１０５は、アクションＡＣのうちから、報酬を最も大きくするアクションＡＣを予測して選択することにより、次に配置可能な計画要素ＢＬ（計画要素ＡＢＬ）のうちの一つをタイムテーブルＴＢに配置する。

【0123】

図１０は、アクションＡＣのうちの１つをランダムに選択して計画要素ＢＬをタイムテーブルＴＢに配置する処理を示すフローチャートである。図１０に示すように、アクションＡＣのうちの１つをランダムに選択する場合、計画要素ＢＬをタイムテーブルＴＢに配置する処理（図９の工程Ｓ２１）は、工程Ｓ３１～工程Ｓ３４を含む。

【0124】

演算処理部１０５は、計画要素ＢＬをタイムテーブルＴＢに配置する処理を開始すると、未配置の計画要素ＢＬ（計画要素ＮＢＬ）うちから、タイムテーブルＴＢに次ぎに配置可能な計画要素ＢＬ（計画要素ＡＢＬ）を取得する（工程Ｓ３１）。

【0125】

演算処理部１０５は、次配置可能な計画要素ＢＬ（計画要素ＡＢＬ）を取得すると、計画要素ＡＢＬのそれぞれの配置可能時刻を取得する（工程Ｓ３２）。演算処理部１０５は、配置可能時刻を取得すると、計画要素ＡＢＬのうちの一つをランダムに選択する（工程Ｓ３３）。詳しくは、演算処理部１０５は、計画要素ＡＢＬごとにアクションＡＣを生成して、アクションＡＣのうちの一つをランダムに選択する。

【0126】

演算処理部１０５は、ランダムに選択した計画要素ＡＢＬをタイムテーブルＴＢに配置する（工程Ｓ３４）。この結果、図１０に示す処理が終了する。詳しくは、演算処理部１０５は、ランダムに選択したアクションＡＣに基づいて、計画要素ＢＬ（計画要素ＡＢＬ）をタイムテーブルＴＢに配置する。

【0127】

なお、計画要素ＡＢＬのうちの一つをランダムに選択する際に、第２計画要素ＢＬ２が選択される場合、第２計画要素ＢＬ２－１～ＢＬ２－４のうちの一つがランダムに選択される。換言すると、第１基板処理部ＰＵ１～第４基板処理部ＰＵ４のうちの一つが選択されて、選択した基板処理部ＰＵに対応する第２計画要素ＢＬ２がタイムテーブルＴＢに配置される。

【0128】

図１１は、報酬を最も大きくするアクションＡＣを予測して計画要素ＢＬをタイムテーブルＴＢに配置する処理を示すフローチャートである。図１１に示すように、報酬を最も大きくするアクションＡＣを予測する場合、計画要素ＢＬをタイムテーブルＴＢに配置する処理（工程Ｓ２１）は、工程Ｓ４１～工程Ｓ４４を含む。

【0129】

図１１に示す工程Ｓ４１、工程Ｓ４２及び工程Ｓ４４は、図１０に示す工程Ｓ３１、工程Ｓ３２及び工程Ｓ３４と同様の処理であるため、それらの説明は割愛する。

【0130】

図１１に示すように、演算処理部１０５は、配置可能時刻を取得した後、評価値（報酬の期待値）が最も大きい計画要素ＢＬ（計画要素ＡＢＬ）を選択する（工程Ｓ４３）。詳しくは、演算処理部１０５は、計画要素ＡＢＬごとにアクションＡＣを生成する。そして、演算処理部１０５は、行動選択ニューラルネットワーク１２１（図７参照）を用いて、アクションＡＣのうちから、評価値が最も大きいアクションＡＣを選択する。演算処理部１０５は、選択したアクションＡＣに基づいて、計画要素ＢＬ（計画要素ＡＢＬ）をタイムテーブルＴＢに配置する。

【0131】

なお、計画要素ＡＢＬのうちの一つを選択する際に、第２計画要素ＢＬ２が選択される場合、第２計画要素ＢＬ２－１～ＢＬ２－４のうちの一つが選択される。換言すると、第１基板処理部ＰＵ１～第４基板処理部ＰＵ４のうちの一つが選択されて、選択した基板処理部ＰＵに対応する第２計画要素ＢＬ２がタイムテーブルＴＢに配置される。

【0132】

続いて、図１２（ａ）を参照して、図８に示す変更処理（工程Ｓ１４）を説明する。図１２（ａ）は、変更処理に含まれる第１変更処理を示すフローチャートである。図１２（ａ）に示すように、演算処理部１０５は、報酬関数を変更することを決定すると、現在の報酬関数に対して対象区間ＴＳの勾配が大きくなる報酬関数に変更する（工程Ｓ５１）。この結果、図１２（ａ）に示す処理が終了する。

【0133】

本実施形態において、変更処理（工程Ｓ１４）には、図１２（ｂ）に示す第２変更処理が更に含まれてもよい。図１２（ｂ）は、変更処理に含まれる第２変更処理を示すフローチャートである。図１２（ｂ）に示すように、演算処理部１０５は、報酬関数を変更することを決定すると、図１２（ａ）の処理（第１変更処理）により勾配を大きくした区間（対象区間ＴＳ）をシフトさせる（工程Ｓ５２）。この結果、図１２（ｂ）に示す処理が終了する。

【0134】

演算処理部１０５は、報酬関数を変更することが決定される度に、図１２（ａ）に示す第１変更処理を実行してもよい。この結果、対象区間ＴＳの勾配が徐々に大きくなる。あるいは、第１変更処理は、１回だけ行われてもよい。例えば、演算処理部１０５は、報酬関数を変更することが最初に決定された際にのみ、第１変更処理を実行してもよい。

【0135】

演算処理部１０５は、少なくとも１回、第１変更処理を実行した後に、図１２（ｂ）に示す第２変更処理を実行する。演算処理部１０５は、第１変更処理と第２変更処理とを交互に実行してもよい。あるいは、演算処理部１０５は、第１変更処理の最初の実行後、報酬関数を変更することが決定される度に、第１変更処理と第２変更処理とを同時に実行してもよい。あるいは、演算処理部１０５は、第１変更処理の最初の実行後、報酬関数を変更することが決定される度に、第２変更処理のみを実行してもよい。なお、第２変更処理は省略されてもよい。

【0136】

続いて、図１３及び図１４を参照して、第１変更処理を説明する。図１３は、第１変更処理の一例を示す図である。詳しくは、図１３は、初期の報酬関数２と、第１変更処理後の報酬関数３とを示す。図１３において、横軸は最終払出時刻を示し、縦軸は報酬を示す。ここで、最終払出時刻は、基板処理装置ＷＰにおいて最後の基板Ｗが基板収容容器ＣＡに戻る時刻を示す。最終払出時刻は、タイムスケジュールの時間長に相当する。

【0137】

図１３に示すように、報酬関数２、３は、タイムスケジュールの時間長が小さいほど報酬の値が高くなるように、タイムスケジュールの時間長と報酬の値との関係を規定する。また、報酬関数２、３は、報酬の最小値ｒｗ１と、報酬の最大値ｒｗ２と、報酬の最小値ｒｗ１に対応するタイムスケジュールの時間長（最終払出時刻ｔ２２）と、報酬の最大値ｒｗ２に対応するタイムスケジュールの時間長（最終払出時刻ｔ２１）とを規定する。

【0138】

図１３に示すように、報酬関数３は、報酬関数２に対して対象区間ＴＳの勾配が大きくなる関数を含む。例えば、報酬関数２は、線形の関数を含む。報酬関数３は、非線形の関数を含む。図１３に示す例において、報酬関数２は、一次関数を含み、最終払出時刻ｔ２１から最終払出時刻ｔ２２まで、報酬の値を最大値ｒｗ２から最小値ｒｗ１まで単調に減少させる。報酬関数３は、対象区間ＴＳにおける勾配が一次関数より大きくなるロジスティックス曲線の関数を含む。

【0139】

対象区間ＴＳは、最終払出時刻ｔ２１から最終払出時刻ｔ２２までの時間範囲の一部の区間を示す。対象区間ＴＳは、例えば、最終払出時刻ｔ２１から最終払出時刻ｔ２２の時間範囲のうち、報酬の値が飽和する区間に合わせて設定されてもよい。

【0140】

詳しくは、報酬関数２のように、タイムスケジュールの時間長と報酬の値との関係を一次関数で規定して強化学習を実行した場合、タイムスケジュールの時間長（報酬の値）が目標値に到達する前に、試行間での評価値の差が小さくなり、報酬の値が飽和することがある。これは、基板処理装置ＷＰに、処理時間ＰＴが大きく異なる構成要素が含まれることに原因があると考えられる。

【0141】

具体的には、基板処理部ＰＵの処理時間ＰＴ（処理時間Ｘ７）と、搬送部（インデクサロボットＩＲ及び搬送ロボットＣＲ）の処理時間ＰＴとが大きく異なる。したがって、図５に示すように、第２計画要素ＢＬ２の時間長は、他の計画要素ＢＬ（第１計画要素ＢＬ１、第３計画要素ＢＬ３、及び第４計画要素ＢＬ４）よりも長い。その故、タイムスケジュールの時間長と報酬の値との関係を一次関数で規定した場合、評価値の差異が小さい行動選択と、評価値の差異が大きい行動選択とが混在することになる。学習が進み、報酬の値が目標値に近付いた段階では、評価値の差異が小さい行動選択が繰り返されて、報酬の値が目標値に到達する前に飽和するものと考えられる。

【0142】

これに対し、本実施形態によれば、対象区間ＴＳの報酬関数の勾配を大きくするため、試行間での評価体の差を対象区間ＴＳにおいて拡大することができる。その結果、対象区間ＴＳで試行を繰り返しても、行動選択ニューラルネットワーク１２１のパラメータ（重み付け係数）をより大きく（よりダイナミックに）変更させることができる。よって、報酬関数として一次関数を使用した場合に報酬の値が飽和する区間を対象区間ＴＳに設定して、試行間での評価値の差が強調されるようにすることで、タイムスケジュールの時間長（報酬の値）が目標値に到達する前に報酬の値が飽和することを抑制できる。

【0143】

したがって、本実施形態によれば、強化学習の実行中に報酬関数を変更することで、タイムスケジュールの時間長をより目標値に近づけることができるスケジュール作成プログラムＰＬ２を生成できる。

【0144】

図１４は、第１変更処理の他例を示す図である。詳しくは、図１４は、初期の報酬関数２と、複数回の第１変更処理後の報酬関数３ａ～報酬関数３ｆとを示す。図１４において、横軸は最終払出時刻を示し、縦軸は報酬を示す。

【0145】

図１４に示すように、報酬関数３ａ～報酬関数３ｆは、報酬関数２に対して対象区間ＴＳの勾配が大きくなる関数を含む。詳しくは、報酬関数３ａ～報酬関数３ｆは、この順に対象区間ＴＳの勾配がより大きい。このように、演算処理部１０５は、複数回の第１変更処理を実行して、対象区間ＴＳの勾配を徐々に大きくしていってもよい。具体的には、演算処理部１０５は、第１変更処理を実行する度に、対象区間ＴＳにおける勾配が現在の勾配より大きくなる報酬関数に変更してもよい。

【0146】

例えば、報酬関数３ａ～３ｆは、非線形の関数を含む。図１４に示す例において、報酬関数３ａ～３ｆは、対象区間ＴＳにおける勾配が一次関数より大きくなるロジスティックス曲線の関数を含む。より詳しくは、報酬関数３ａ～３ｆは、勾配可変ロジスティックス曲線の関数を含む。この場合、演算処理部１０５は、第１変更処理を実行する度に、勾配可変ロジスティックス曲線の関数に含まれる定数を変更して、対象区間ＴＳの勾配を徐々に大きくする。

【0147】

本実施形態によれば、図１４に示すように、対象区間ＴＳの勾配を徐々に大きくすることで、試行間での評価値の差が徐々に強調されるようになる。その結果、行動選択ニューラルネットワーク１２１のパラメータを徐々に変更させることができる。したがって、強化学習の学習効率を向上させることができる。

【0148】

続いて、図１５を参照して、第２変更処理を説明する。図１５は、第２変更処理の一例を示す図である。詳しくは、図１５は、初期の報酬関数２と、複数回の第２変更処理後の報酬関数４ａ～４ｃとを示す。図１５において、横軸は最終払出時刻を示し、縦軸は報酬を示す。

【0149】

図１５に示すように、報酬関数４ａ～報酬関数４ｃは、タイムスケジュールの時間長が小さいほど報酬の値が高くなるように、タイムスケジュールの時間長と報酬の値との関係を規定する。また、報酬関数４ａ～報酬関数４ｃは、報酬の最小値ｒｗ１と、報酬の最大値ｒｗ２と、報酬の最小値ｒｗ１に対応するタイムスケジュールの時間長（最終払出時刻ｔ２２）と、報酬の最大値ｒｗ２に対応するタイムスケジュールの時間長（最終払出時刻ｔ２１）とを規定する。

【0150】

図１５に示すように、報酬関数４ａ～４ｃは、報酬関数２に対して対象区間ＴＳの勾配が大きくなる関数を含む。報酬関数４ａ～４ｃは、勾配が大きくなる区間（対象区間ＴＳ）が異なる。詳しくは、報酬関数４ａ～４ｃの順に、対象区間ＴＳの位置が最終払出時刻ｔ２１により近い位置になる。このように、演算処理部１０５は、複数回の第２変更処理を実行して、対象区間ＴＳを最終払出時刻ｔ２２側から最終払出時刻ｔ２１側へシフトさせてもよい。

【0151】

例えば、報酬関数４ａ～４ｃは、非線形の関数を含む。図１５に示す例において、報酬関数４ａ～４ｃは、対象区間ＴＳにおける勾配が一次関数より大きくなるロジスティックス曲線の関数を含む。より詳しくは、報酬関数４ａ～４ｃは、Ｘ軸可変ロジスティックス曲線の関数を含む。この場合、演算処理部１０５は、第２変更処理を実行する度に、Ｘ軸可変ロジスティックス曲線の関数に含まれる定数を変更して、対象区間ＴＳを最終払出時刻ｔ２２側から最終払出時刻ｔ２１側へシフトさせる。

【0152】

本実施形態によれば、報酬関数として一次関数を使用した場合に報酬の値が飽和する区間を予め求めることなく、タイムスケジュールの時間長をより目標値に近づけることができるスケジュール作成プログラムＰＬ２を生成できる。

【0153】

なお、図１５に示す例では、対象区間ＴＳにおける勾配を一定にして、対象区間ＴＳをシフトさせたが、対象区間ＴＳをシフトさせつつ、図１４を参照して説明したように、対象区間ＴＳにおける勾配を徐々に大きくさせてもよい。

【0154】

また、図１３～図１５に示す例において、変更処理後の報酬関数３、３ａ～３ｆ、４ａ～４ｃは、非線形の関数であったが、変更処理後の報酬関数は、対象区間ＴＳにおける勾配が報酬関数２の勾配より大きい限り、非線形の関数に限定されない。例えば、変更処理後の報酬関数は、対象区間ＴＳにおける勾配が報酬関数２の勾配より大きい線形の関数を含んでもよい。

【0155】

図１６は、変更処理の他例を示す図である。詳しくは、図１６は、初期の報酬関数２と、変更処理後の報酬関数５とを示す。図１６において、横軸は最終払出時刻を示し、縦軸は報酬を示す。

【0156】

図１６に示すように、報酬関数５は、最終払出時刻ｔ３１から最終払出時刻ｔ３２までの時間範囲において、タイムスケジュールの時間長が小さいほど報酬の値が高くなるように、タイムスケジュールの時間長と報酬の値との関係を規定する。また、報酬関数５は、報酬の最小値ｒｗ１と、報酬の最大値ｒｗ２と、報酬の最小値ｒｗ１に対応するタイムスケジュールの時間長（最終払出時刻ｔ３２以上最終払出時刻ｔ２２以下の範囲）と、報酬の最大値ｒｗ２に対応するタイムスケジュールの時間長（最終払出時刻ｔ２１以上最終払出時刻ｔ３１以下の範囲）とを規定する。

【0157】

図１６に示すように、報酬関数５は、報酬関数２に対して対象区間ＴＳの勾配が大きくなる関数を含む。対象区間ＴＳの少なくとも一部は、最終払出時刻ｔ３１から最終払出時刻ｔ３２までの時間範囲内に含まれる。詳しくは、報酬関数５は、報酬関数２（一次関数）より勾配が大きい一次関数を含む。報酬関数５に含まれる一次関数は、最終払出時刻ｔ３１から最終払出時刻ｔ３２までの時間範囲において、最終払出時刻に対する報酬の値を線形に変化させる。

【0158】

図１６に示す報酬関数５によれば、報酬関数２に対して対象区間ＴＳの勾配が大きくなるため、図１３～図１５を参照して説明した報酬関数３、３ａ～３ｆ、及び４ａ～４ｃと同様に、タイムスケジュールの時間長をより目標値に近づけることができるスケジュール作成プログラムＰＬ２を生成できる。

【0159】

続いて、図１７を参照して、本実施形態の基板処理装置２００を説明する。図１７は、本実施形態の基板処理装置２００を含む基板処理システム２００Ａを示す図である。

【0160】

図１７に示すように、基板処理システム２００Ａは、記録媒体１１０と、基板処理装置２００とを含む。基板処理装置２００は、インターフェイス部２０１と、複数のロードポートＬＰと、インデクサロボットＩＲと、搬送ロボットＣＲと、複数の基板処理部ＰＵと、記憶部２０２と、制御部２０３ａとを備える。

【0161】

インターフェイス部２０１は、記録媒体１１０との間で情報、データ、又は信号を遣り取りする。具体的には、記録媒体１１０は、図１～図１６を参照して説明したスケジュール作成プログラムＰＬ２を格納している。インターフェイス部２０１は、記録媒体１１０からスケジュール作成プログラムＰＬ２を読み出して制御部２０３ａに入力する。

【0162】

インターフェイス部２０１の構成は、図１を参照して説明したインターフェイス部１０３と同様であるため、その詳しい説明は割愛する。また、ロードポートＬＰ、インデクサロボットＩＲ、搬送ロボットＣＲ及び基板処理部ＰＵの構成は、図２を参照して説明したロードポートＬＰ、インデクサロボットＩＲ、搬送ロボットＣＲ及び基板処理部ＰＵと同様であるため、その説明は割愛する。

【0163】

記憶部２０２は、基板処理装置２００の動作を制御するための各種情報を記憶する。例えば、記憶部２０２は、データ及びコンピュータプログラムを記憶する。データは、種々のレシピデータを含む。レシピデータは、例えば、プロセスレシピを含む。プロセスレシピは、基板処理の手順を規定するデータである。また、記憶部２０２は、記録媒体１１０から読み出されたスケジュール作成プログラムＰＬ２を記憶する。記憶部２０２は、処理手順ＰＤと、処理時間ＰＴと、計画要素ＢＬと、制約条件とを更に記憶する。

【0164】

記憶部２０２は、主記憶装置を有する。主記憶装置は、例えば、半導体メモリである。記憶部２０２は、補助記憶装置を更に有してもよい。補助記憶装置は、例えば、半導体メモリ及びハードディスクドライブの少なくも一方を含む。記憶部２０２はリムーバブルメディアを含んでもよい。

【0165】

制御部２０３ａは、例えば、プロセッサを有する。制御部２０３ａは、プロセッサとして、ＣＰＵ又はＭＰＵを有してもよい。あるいは、制御部２０３ａは、汎用演算機又は専用演算器を有してもよい。制御部２０３ａは、記憶部２０２に記憶されている各種情報に基づいて基板処理装置２００の各部の動作を制御する。例えば、制御部２０３ａは、インターフェイス部２０１と、ロードポートＬＰと、インデクサロボットＩＲと、搬送ロボットＣＲと、基板処理部ＰＵと、記憶部２０２とを制御する。

【0166】

また、制御部２０３ａは、複数の基板Ｗを処理する際に、スケジュール作成プログラムＰＬ２を実行して、基板処理装置２００に含まれる複数の構成要素（インデクサロボットＩＲ、受渡部ＰＳ、搬送ロボットＣＲ、及び基板処理部ＰＵ）を複数の基板Ｗが順次占有していくタイムスケジュールを作成する。そして、制御部２０３ａは、作成したタイムスケジュールに基づいて、ロードポートＬＰと、インデクサロボットＩＲと、搬送ロボットＣＲと、基板処理部ＰＵとを制御する。

【0167】

具体的には、スケジュール作成プログラムＰＬ２は、図１～図１６を参照して説明したように、パラメータ（重み付け係数）が調整された行動選択ニューラルネットワーク１２１を含む。制御部２０３ａは、スケジュール作成プログラムＰＬ２と、処理手順ＰＤと、処理時間ＰＴと、計画要素ＢＬと、制約条件とに基づいて、図６を参照して説明した工程Ｓ１～工程Ｓ５に沿ってタイムスケジュールを作成する。

【0168】

本実施形態によれば、図１～図１６を参照して説明したように、スケジュール作成プログラムＰＬ２は、タイムスケジュールの時間長をより目標値に近づけることができる。したがって、基板処理装置２００は、所定枚数の基板Ｗの処理をより短い期間で完了させるタイムスケジュールを作成することができる。

【0169】

以上、図１～図１７を参照して本発明の実施形態１を説明した。本実施形態によれば、プロセッサが実行する処理のフロー全体を開発する必要がない。具体的には、開発者は、処理手順ＰＤと、処理時間ＰＴと、計画要素ＢＬと、制約条件とを開発すればよい。したがって、開発者の負担を軽減できる。

【0170】

更に、本実施形態によれば、タイムスケジュールの時間長をより目標値に近づけることができるスケジュール作成プログラムＰＬ２を生成できる。

【0171】

また、本実施形態によれば、強化学習の初期の報酬関数に一次関数を使用することができる。したがって、強化学習の学習効率を向上させることができる。

【0172】

具体的には、強化学習の初期では、最終払出時刻が比較的遅いタイムスケジュールが作成される。そのため、強化学習の初期の報酬関数に、図１３～図１６を参照して説明した報酬関数３、報酬関数３ａ～３ｆ、報酬関数４ａ～４ｃ、又は報酬関数５を使用した場合、強化学習の初期の段階における試行間の評価値の差が小さくなる。したがって、報酬の値が大きくなり難い。その結果、強化学習の学習効率が低下する。これに対し、強化学習の初期の報酬関数に一次関数を使用した場合、最終払出時刻が比較的遅いタイムスケジュールが作成されても、報酬関数３、報酬関数３ａ～３ｆ、報酬関数４ａ～４ｃ、又は報酬関数５と比較して、試行間の評価値の差を大きくすることができる。よって、強化学習の学習効率を向上させることができる。

【0173】

［実施形態２］
続いて図１８を参照して本発明の実施形態２について説明する。但し、実施形態１と異なる事項を説明し、実施形態１と同じ事項についての説明は割愛する。実施形態２は、実施形態１と異なり、基板処理装置２００がスケジュール作成プログラムＰＬ２を生成する。

【0174】

図１８は、本実施形態の基板処理装置２００を含む基板処理システム２００Ａを示す図である。図１８に示すように、基板処理システム２００Ａは、記録媒体１１０と、基板処理装置２００とを含む。基板処理装置２００は、インターフェイス部２０１と、複数のロードポートＬＰと、インデクサロボットＩＲと、搬送ロボットＣＲと、複数の基板処理部ＰＵと、記憶部２０２と、制御部２０３ｂとを備える。

【0175】

記録媒体１１０は、図１～図１６を参照して説明した生成プログラムＰＬ１を格納している。基板処理装置２００のインターフェイス部２０１は、記録媒体１１０から生成プログラムＰＬ１を読み出して制御部２０３ｂに入力する。

【0176】

記憶部２０２は、記録媒体１１０から読み出された生成プログラムＰＬ１を記憶する。また、記憶部２０２は、図１７を参照して説明したように、処理手順ＰＤと、処理時間ＰＴと、計画要素ＢＬと、制約条件とを記憶する。

【0177】

制御部２０３ｂは、プロセッサを有する。制御部２０３ｂは、プロセッサとして、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＮＰＵ、又は、量子コンピュータを有してもよい。あるいは、制御部２０３ｂは、汎用演算機又は専用演算器を有してもよい。制御部２０３ｂは、記憶部２０２に記憶されている各種情報に基づいて基板処理装置２００の各部の動作を制御する。例えば、制御部２０３ｂは、インターフェイス部２０１と、ロードポートＬＰと、インデクサロボットＩＲと、搬送ロボットＣＲと、基板処理部ＰＵと、記憶部２０２とを制御する。

【0178】

また、制御部２０３ｂは、図１～図１６を参照して説明した演算処理部１０５と同様に、生成プログラムＰＬ１を実行して、スケジュール作成プログラムＰＬ２を生成する。スケジュール作成プログラムＰＬ２は、記憶部２０２に記憶される。制御部２０３ｂは、複数の基板Ｗを処理する際に、図１７を参照して説明した制御部２０３ａと同様に、スケジュール作成プログラムＰＬ２を実行してタイムスケジュールを作成する。そして、制御部２０３ｂは、作成したタイムスケジュールに基づいて、ロードポートＬＰと、インデクサロボットＩＲと、搬送ロボットＣＲと、基板処理部ＰＵとを制御する。

【0179】

以上、図１８を参照して本発明の実施形態２を説明した。実施形態２によれば、実施形態１と同様に、開発者の負担を軽減できる。更に、実施形態２によれば、実施形態１と同様に、タイムスケジュールの時間長をより目標値に近づけることができるスケジュール作成プログラムＰＬ２を生成できる。したがって、基板処理装置２００は、所定枚数の基板Ｗの処理をより短い期間で完了させるタイムスケジュールを作成することができる。

【0180】

［実施形態３］
続いて図１９を参照して本発明の実施形態３について説明する。但し、実施形態１、２と異なる事項を説明し、実施形態１、２と同じ事項についての説明は割愛する。実施形態３は、実施形態１、２と異なり、基板処理システム２００Ｂがスケジュール作成装置３００を備える。

【0181】

図１９は、本実施形態の基板処理システム２００Ｂを示す図である。図１９に示すように、基板処理システム２００Ｂは、スケジュール作成装置３００と、基板処理装置２００とを含む。

【0182】

スケジュール作成装置３００は、スケジュール作成プログラムＰＬ２に基づいて、タイムスケジュールを作成する。具体的には、スケジュール作成装置３００は、入力部３０１と、記憶部３０２と、通信部３０３と、演算処理部３０４とを備える。スケジュール作成装置３００は、例えば、サーバである。

【0183】

入力部３０１は、作業者が操作するユーザーインターフェース装置を含む。入力部３０１は、作業者の操作に応じた信号を演算処理部３０４に入力する。入力部３０１の構成は、図１を参照して説明した入力部１０１と同様であるため、その説明は割愛する。作業者は、例えば、入力部３０１を操作して、タイムスケジュールの作成の開始を指示することができる。

【0184】

記憶部３０２は、主記憶装置を有する。主記憶装置は、例えば、半導体メモリを含む。記憶部３０２は、補助記憶装置を更に有してもよい。補助記憶装置は、例えば、半導体メモリ及びハードディスクドライブの少なくも一方を含む。記憶部３０２はリムーバブルメディアを含んでもよい。記憶部３０２は、各種のコンピュータプログラム及び各種のデータを記憶する。具体的には、記憶部３０２は、スケジュール作成プログラムＰＬ２を記憶する。図１～図１６を参照して説明したように、スケジュール作成プログラムＰＬ２は、生成プログラムＰＬ１に基づいて生成される。

【0185】

演算処理部３０４は、プロセッサを含む。演算処理部３０４は、プロセッサとして、ＣＰＵ又はＭＰＵを含んでもよい。あるいは、演算処理部３０４は、汎用演算機又は専用演算器を含んでもよい。演算処理部３０４は、図１７を参照して説明した制御部２０３ａと同様に、記憶部３０２に記憶されているスケジュール作成プログラムＰＬ２を実行して、基板処理装置２００に含まれる複数の構成要素（インデクサロボットＩＲ、受渡部ＰＳ、搬送ロボットＣＲ、及び基板処理部ＰＵ）を複数の基板Ｗが順次占有していくタイムスケジュールを作成する。

【0186】

通信部３０３は、ネットワークに接続されて、基板処理装置２００との間で通信を実行する。ネットワークは、例えば、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、公衆電話網、及び、近距離無線ネットワークを含む。通信部３０３は、通信機を含む。通信部３０３は、例えば、ネットワークインターフェースコントローラーである。通信部３０３は、演算処理部３０４によって制御されて、演算処理部３０４が作成したタイムスケジュールを基板処理装置２００へ送信する。通信部３０３は、「送信部」の一例である。

【0187】

基板処理装置２００は、複数のロードポートＬＰと、インデクサロボットＩＲと、搬送ロボットＣＲと、複数の基板処理部ＰＵと、記憶部２０２と、制御部２０３ｃと、通信部２０４とを備える。

【0188】

通信部２０４は、ネットワークに接続されて、スケジュール作成装置３００の通信部３０３との間で通信を実行する。通信部２０４は、通信機を含む。通信部２０４は、例えば、ネットワークインターフェースコントローラーである。通信部２０４は、スケジュール作成装置３００の通信部３０３から送信されたタイムスケジュールを受信する。通信部２０４は、「受信部」の一例である。

【0189】

制御部２０３ｃは、例えば、プロセッサを有する。制御部２０３ｃは、プロセッサとして、ＣＰＵ又はＭＰＵを有してもよい。あるいは、制御部２０３ｃは、汎用演算機又は専用演算器を有してもよい。制御部２０３ｃは、記憶部２０２に記憶されている各種情報に基づいて基板処理装置２００の各部の動作を制御する。例えば、制御部２０３ｃは、ロードポートＬＰと、インデクサロボットＩＲと、搬送ロボットＣＲと、基板処理部ＰＵと、記憶部２０２と、通信部２０４とを制御する。

【0190】

具体的には、制御部２０３ｃは、複数の基板Ｗを処理する際に、スケジュール作成装置３００に対してタイムスケジュールの作成を指示する。この結果、通信部２０４がスケジュール作成装置３００からタイムスケジュールを受信する。制御部２０３ｃは、通信部２０４が受信したタイムスケジュールに基づいて、ロードポートＬＰと、インデクサロボットＩＲと、搬送ロボットＣＲと、基板処理部ＰＵとを制御する。

【0191】

詳しくは、制御部２０３ｃは、タイムスケジュールの作成を指示する命令を、通信部２０４からスケジュール作成装置３００へ送信させる。この結果、通信部２０４がスケジュール作成装置３００からタイムスケジュールを受信する。制御部２０３ｃは、タイムスケジュールの作成を指示する際に、処理手順ＰＤを示す情報と、処理時間ＰＴを示す情報と、計画要素ＢＬを示す情報と、制約条件とを通信部２０４からスケジュール作成装置３００へ送信させてもよい。

【0192】

以上、図１９を参照して本発明の実施形態３を説明した。実施形態３によれば、実施形態１、２と同様に、開発者の負担を軽減できる。更に、実施形態３によれば、実施形態１、２と同様に、タイムスケジュールの時間長をより目標値に近づけることができるスケジュール作成プログラムＰＬ２を生成できる。したがって、基板処理装置２００は、所定枚数の基板Ｗの処理をより短い期間で完了させるタイムスケジュールを作成することができる。

【0193】

［実施形態４］
続いて図２０を参照して本発明の実施形態４について説明する。但し、実施形態１～３と異なる事項を説明し、実施形態１～３と同じ事項についての説明は割愛する。実施形態４は、実施形態１～３と異なり、基板処理システム２００Ｃがスケジュール作成プログラム生成装置１００を備える。

【0194】

図２０は、本実施形態の基板処理システム２００Ｃを示す図である。図２０に示すように、基板処理システム２００Ｃは、スケジュール作成プログラム生成装置１００と、基板処理装置２００とを含む。スケジュール作成プログラム生成装置１００は、例えば、サーバである。

【0195】

スケジュール作成プログラム生成装置１００は、入力部１０１と、記憶部１０２と、演算処理部１０５と、通信部１０６とを備える。演算処理部１０５は、図１～図１６を参照して説明したように、記憶部１０２に記憶されている生成プログラムＰＬ１を実行して、スケジュール作成プログラムＰＬ２を生成する。

【0196】

通信部１０６は、ネットワークに接続されて、基板処理装置２００との間で通信を実行する。通信部１０６は、演算処理部１０５によって制御されて、演算処理部１０５が作成したスケジュール作成プログラムＰＬ２を基板処理装置２００へ送信する。通信部１０６は、「送信部」の一例である。なお、通信部１０６の構成は、図１９を参照して説明した通信部３０３と同様であるため、その説明は割愛する。

【0197】

基板処理装置２００は、複数のロードポートＬＰと、インデクサロボットＩＲと、搬送ロボットＣＲと、複数の基板処理部ＰＵと、記憶部２０２と、制御部２０３ａと、通信部２０４とを備える。

【0198】

通信部２０４は、ネットワークに接続されて、スケジュール作成プログラム生成装置１００の通信部１０６との間で通信を実行する。通信部２０４は、スケジュール作成プログラム生成装置１００の通信部１０６から送信されたスケジュール作成プログラムＰＬ２を受信する。通信部２０４によって受信されたスケジュール作成プログラムＰＬ２は、記憶部２０２に記憶される。

【0199】

制御部２０３ａは、複数の基板Ｗを処理する際に、スケジュール作成プログラムＰＬ２を実行してタイムスケジュールを作成する。そして、制御部２０３ａは、作成したタイムスケジュールに基づいて、ロードポートＬＰと、インデクサロボットＩＲと、搬送ロボットＣＲと、基板処理部ＰＵとを制御する。

【0200】

以上、図２０を参照して本発明の実施形態４を説明した。実施形態４によれば、実施形態１～３と同様に、開発者の負担を軽減できる。更に、実施形態４によれば、実施形態１～３と同様に、タイムスケジュールの時間長をより目標値に近づけることができるスケジュール作成プログラムＰＬ２を生成できる。したがって、基板処理装置２００は、所定枚数の基板Ｗの処理をより短い期間で完了させるタイムスケジュールを作成することができる。

【0201】

以上、図面（図１～図２０）を参照して本発明の実施形態について説明した。ただし、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施できる。また、上記の実施形態に開示される複数の構成要素は適宜改変可能である。例えば、ある実施形態に示される全構成要素のうちのある構成要素を別の実施形態の構成要素に追加してもよく、又は、ある実施形態に示される全構成要素のうちのいくつかの構成要素を実施形態から削除してもよい。

【0202】

図面は、発明の理解を容易にするために、それぞれの構成要素を主体に模式的に示しており、図示された各構成要素の厚さ、長さ、個数、間隔等は、図面作成の都合上から実際とは異なる場合もある。また、上記の実施形態で示す各構成要素の構成は一例であって、特に限定されるものではなく、本発明の効果から実質的に逸脱しない範囲で種々の変更が可能であることは言うまでもない。

【0203】

例えば、図１～図２０を参照して説明した実施形態において、基板処理装置ＷＰ及び基板処理装置２００は枚葉式の装置であったが、基板処理装置ＷＰ及び基板処理装置２００はバッチ式の装置であってもよい。

【0204】

また、基板処理装置２００は、基板Ｗを処理する装置である限り、特に限定されない。例えば、基板処理装置２００は、薬液洗浄装置、ブラシ洗浄装置、ウェットエッチング装置、ドライエッチング装置、塗布装置、現像装置、露光装置、コータデベロッパー、ベーク装置、又は成膜装置であってもよい。

【0205】

また、図１～図２０を参照して説明した実施形態において、変更処理後の報酬関数として、曲線状のグラフを表す関数（報酬関数３、３ａ～３ｆ、及び４ａ～４ｃ）、及び直線状のグラフを表す関数（報酬関数５）を例示したが、変更処理後の報酬関数は、対象区間ＴＳにおける勾配が報酬関数２の勾配より大きい限り、特に限定されない。例えば、変更処理後の報酬関数は、ステップ状のグラフを示す階段関数であってもよい。

【産業上の利用可能性】

【0206】

本発明は、基板を処理する装置に有用である。

【符号の説明】

【0207】

２、３、３ａ～３ｆ、４ａ～４ｃ、５ ：報酬関数
８Ａ、８Ｂ ：ハンド
１３Ａ、１３Ｂ ：ハンド
１００ ：スケジュール作成プログラム生成装置
１００Ａ ：スケジュール作成プログラム生成システム
１０２ ：記憶部
１０５ ：演算処理部
１０６ ：通信部
１１０ ：記録媒体
１２０ ：強化学習システム
２００ ：基板処理装置
２００Ｂ ：基板処理システム
２００Ｃ ：基板処理システム
２０２ ：記憶部
２０３ａ ：制御部
２０３ｂ ：制御部
２０３ｃ ：制御部
２０４ ：通信部
３００ ：スケジュール作成装置
３０２ ：記憶部
３０３ ：通信部
３０４ ：演算処理部
ＢＬ、ＮＢＬ、ＡＢＬ ：計画要素
ＢＬ１ ：第１計画要素
ＢＬ２、ＢＬ２－１～ＢＬ２－４ ：第２計画要素
ＢＬ３ ：第３計画要素
ＢＬ４ ：第４計画要素
ＰＬ１ ：生成プログラム
ＰＬ２ ：スケジュール作成プログラム
ＰＳ１ ：棚
ＰＳ２ ：棚
ＰＵ ：基板処理部
ＰＵ１ ：第１基板処理部
ＰＵ２ ：第２基板処理部
ＰＵ４ ：第４基板処理部
ＴＢ ：タイムテーブル
ＴＳ ：対象区間
Ｗ ：基板
ＷＰ ：基板処理装置
ｒｗ１ ：最小値
ｒｗ２ ：最大値
ｔ２１ ：最終払出時刻
ｔ２２ ：最終払出時刻

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】