特許 7374790 搬送装置および搬送方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-27

(45)【発行日】2023-11-07

(54)【発明の名称】搬送装置および搬送方法

(51)【国際特許分類】

   H01L 21/677 20060101AFI20231030BHJP

   G05B 11/36 20060101ALI20231030BHJP

   G05B 13/02 20060101ALI20231030BHJP

   H01L 21/683 20060101ALI20231030BHJP

   H01L 21/68 20060101ALI20231030BHJP

【ＦＩ】

H01L21/68 A

G05B11/36 D

G05B13/02 A

G05B13/02 L

H01L21/68 N

H01L21/68 F

【請求項の数】 6

(21)【出願番号】P 2020013114

(22)【出願日】2020-01-30

(65)【公開番号】P2021119587

(43)【公開日】2021-08-12

【審査請求日】2022-12-19

(73)【特許権者】

【識別番号】000207551

【氏名又は名称】株式会社ＳＣＲＥＥＮホールディングス

(74)【代理人】

【識別番号】100135013

【弁理士】

【氏名又は名称】西田 隆美

(72)【発明者】

【氏名】臼本 宏昭

【審査官】渡井 高広

(56)【参考文献】

【文献】特開２００９－０３２００８（ＪＰ，Ａ）

【文献】特開平１０－０５５９５２（ＪＰ，Ａ）

【文献】特開２００３－１６２３３０（ＪＰ，Ａ）

【文献】国際公開第２０１９／０６９６４９（ＷＯ，Ａ１）

【文献】特開２０１８－１９５０１８（ＪＰ，Ａ）

【文献】特開平０７－０９８２５６（ＪＰ，Ａ）

【文献】特開２００８－９１７８５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０１Ｌ ２１／６７７

Ｇ０５Ｂ １１／３６

Ｇ０５Ｂ １３／０２

Ｈ０１Ｌ ２１／６８３

Ｈ０１Ｌ ２１／６８

(57)【特許請求の範囲】

【請求項1】

平板状のステージを、一対の直進機構により水平方向に搬送する搬送装置であって、
前記ステージのヨーイング角度を取得する角度取得部と、
前記角度取得部により取得されたヨーイング角度に基づいて、前記一対の直進機構を制御する搬送制御部と、
を備え、
前記搬送制御部は、前記ヨーイング角度を所望の状態に維持するための強化学習により得られた第１学習済みモデルに、前記角度取得部により取得されたヨーイング角度および前記ヨーイング角度の角速度を含む第１入力データを入力し、前記第１学習済みモデルから出力される制御値に基づいて、前記一対の直進機構を制御する、搬送装置。

【請求項2】

請求項１に記載の搬送装置であって、
前記ステージのヨーイング角度を計測する角度計測装置
をさらに備え、
前記角度取得部は、前記角度計測装置による前記ヨーイング角度の計測結果を取得する、搬送装置。

【請求項3】

平板状のステージを、一対の直進機構により水平方向に搬送する搬送装置であって、
前記ステージのヨーイング角度を取得する角度取得部と、
前記角度取得部により取得されたヨーイング角度に基づいて、前記一対の直進機構を制御する搬送制御部と、
を備え、
前記搬送制御部は、前記ヨーイング角度を所望の状態に維持するための強化学習により得られた第１学習済みモデルに、前記角度取得部により取得されたヨーイング角度を含む第１入力データを入力し、前記第１学習済みモデルから出力される制御値に基づいて、前記一対の直進機構を制御し、
前記一対の直進機構を含む搬送機構から出力される計測値に基づいて前記ステージのヨーイング角度を推定する角度推定部
をさらに備え、
前記角度推定部は、前記計測値を含む第２入力データから前記ステージのヨーイング角度を推定するための教師あり機械学習により得られた第２学習済みモデルを用いて、前記ヨーイング角度を推定し、
前記角度取得部は、前記角度推定部による前記ヨーイング角度の推定結果を取得する、搬送装置。

【請求項4】

請求項１から請求項３までのいずれか１項に記載の搬送装置であって、
前記制御値は、前記一対の直進機構のトルク値である、搬送装置。

【請求項5】

請求項１から請求項４までのいずれか１項に記載の搬送装置であって、
前記強化学習は、前記ヨーイング角度を所定の範囲内に維持することを目標として実行される機械学習である、搬送装置。

【請求項6】

平板状のステージを、一対の直進機構により水平方向に搬送する搬送方法であって、
ａ）前記ステージのヨーイング角度を取得する工程と、
ｂ）前記工程ａ）により取得されたヨーイング角度に基づいて、前記一対の直進機構を制御する工程と、
を備え、
前記工程ｂ）では、前記ヨーイング角度を所望の状態に維持するための強化学習により得られた第１学習済みモデルに、前記工程ａ）により取得されたヨーイング角度および前記ヨーイング角度の角速度を含む第１入力データを入力し、前記第１学習済みモデルから出力される制御値に基づいて、前記一対の直進機構を制御する、搬送方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、平板状のステージを、一対の直進機構により水平方向に搬送する搬送装置および搬送方法に関する。

【背景技術】

【0002】

従来、平板状のステージを搬送しつつ、ステージに保持された基板に対して種々の処理を行う装置が知られている。例えば、特許文献１には、基板（Ｗ）を載置したステージ（１０）をステージ移動機構（２０）により移動させつつ、基板（Ｗ）の上面に露光パターンを描画する装置が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－７２４３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

この種の装置に搭載されるステージの搬送装置は、一対の直進機構を備えている場合がある。具体的には、互いに平行に設けられた一対のリニアモータにより、ステージを所定の方向に搬送する機構が知られている。

【0005】

当該搬送装置では、ステージを一定の姿勢で移動させるために、一対の直進機構を均等に動作させる必要がある。しかしながら、一対の直進機構の微小な駆動誤差、リニアモータのガイドの間隙内のエア圧変動、加工誤差等によって、ステージの鉛直軸周りの回転角度（いわゆる「ヨーイング角度」）が僅かに変動する場合がある。このようなヨーイング角度の変動が生じると、ステージに保持された基板に対して、精密な処理を行うことが困難となる。

【0006】

このため、この種の搬送装置では、ステージのヨーイング角度を計測し、その計測結果に基づいて、搬送装置の動作をフィードバック制御している。しかしながら、フィードバック制御を行うための比例ゲイン、積分ゲイン、微分ゲイン等のパラメータは、人が試行錯誤しながら設定する必要があり、作業負担が大きかった。

【0007】

本発明は、このような事情に鑑みなされたものであり、制御のためのパラメータを人が設定することなく、ステージを適切に搬送することができる搬送装置および搬送方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記課題を解決するため、本願の第１発明は、平板状のステージを、一対の直進機構により水平方向に搬送する搬送装置であって、前記ステージのヨーイング角度を取得する角度取得部と、前記角度取得部により取得されたヨーイング角度に基づいて、前記一対の直進機構を制御する搬送制御部と、を備え、前記搬送制御部は、前記ヨーイング角度を所望の状態に維持するための強化学習により得られた第１学習済みモデルに、前記角度取得部により取得されたヨーイング角度および前記ヨーイング角度の角速度を含む第１入力データを入力し、前記第１学習済みモデルから出力される制御値に基づいて、前記一対の直進機構を制御する。

【0009】

本願の第２発明は、第１発明の搬送装置であって、前記ステージのヨーイング角度を計測する角度計測装置をさらに備え、前記角度取得部は、前記角度計測装置による前記ヨーイング角度の計測結果を取得する。

【0010】

本願の第３発明は、平板状のステージを、一対の直進機構により水平方向に搬送する搬送装置であって、前記ステージのヨーイング角度を取得する角度取得部と、前記角度取得部により取得されたヨーイング角度に基づいて、前記一対の直進機構を制御する搬送制御部と、を備え、前記搬送制御部は、前記ヨーイング角度を所望の状態に維持するための強化学習により得られた第１学習済みモデルに、前記角度取得部により取得されたヨーイング角度を含む第１入力データを入力し、前記第１学習済みモデルから出力される制御値に基づいて、前記一対の直進機構を制御し、前記一対の直進機構を含む搬送機構から出力される計測値に基づいて前記ステージのヨーイング角度を推定する角度推定部をさらに備え、前記角度推定部は、前記計測値を含む第２入力データから前記ステージのヨーイング角度を推定するための教師あり機械学習により得られた第２学習済みモデルを用いて、前記ヨーイング角度を推定し、前記角度取得部は、前記角度推定部による前記ヨーイング角度の推定結果を取得する。

【0011】

本願の第４発明は、第１発明から第３発明までのいずれか１発明の搬送装置であって、前記制御値は、前記一対の直進機構のトルク値である。

【0012】

本願の第５発明は、第１発明から第４発明までのいずれか１発明の搬送装置であって、前記強化学習は、前記ヨーイング角度を所定の範囲内に維持することを目標として実行される機械学習である。

【0014】

本願の第６発明は、平板状のステージを、一対の直進機構により水平方向に搬送する搬送方法であって、ａ）前記ステージのヨーイング角度を取得する工程と、ｂ）前記工程ａ）により取得されたヨーイング角度に基づいて、前記一対の直進機構を制御する工程と、を備え、前記工程ｂ）では、前記ヨーイング角度を所望の状態に維持するための強化学習により得られた第１学習済みモデルに、前記工程ａ）により取得されたヨーイング角度および前記ヨーイング角度の角速度を含む第１入力データを入力し、前記第１学習済みモデルから出力される制御値に基づいて、前記一対の直進機構を制御する。

【発明の効果】

【0015】

本願の第１発明から第６発明によれば、ステージのヨーイング角度を所望の状態に維持するための制御を、強化学習により得られた第１学習済みモデルを用いて行う。これにより、制御のためのパラメータを人が設定することなく、ステージを適切に搬送することができる。

【0016】

特に、本願の第３発明によれば、大掛かりな角度計測装置を常時設置することなく、ステージのヨーイング角度を取得できる。

【図面の簡単な説明】

【0017】

【図1】搬送装置を備えた描画装置の斜視図である。

【図2】搬送装置を備えた描画装置の概略上面図である。

【図3】制御部と描画装置内の各部との電気的接続を示したブロック図である。

【図4】搬送装置の一部分を、主走査方向に対して垂直な面で切断したときの部分断面図である。

【図5】主走査機構を制御するための制御部の機能を、概念的に示したブロック図である。

【図6】事前強化学習の流れを示すフローチャートである。

【図7】事前強化学習における評価値の変化の例を示したグラフである。

【図8】直進機構の動作制御の流れを示したフローチャートである。

【図9】第１変形例に係る制御部の機能を、概念的に示したブロック図である。

【発明を実施するための形態】

【0018】

以下、本発明の実施形態について、図面を参照しつつ説明する。

【0019】

なお、以下では、水平方向のうち、一対の直進機構によりステージが移動する方向を「主走査方向」と称し、主走査方向に直交する方向を「副走査方向」と称する。

【0020】

＜１．描画装置の構成＞
図１は、本発明の一実施形態に係る搬送装置１０を備えた描画装置１の斜視図である。図２は、描画装置１の概略上面図である。この描画装置１は、感光材料が塗布された半導体基板やガラス基板等の基板Ｗの上面に、空間変調された光を照射して、基板Ｗの上面に露光パターンを描画する装置である。図１および図２に示すように、描画装置１は、搬送装置１０、フレーム２０、描画処理部３０、および制御部４０を備える。

【0021】

搬送装置１０は、基台１１の上面において、平板状のステージ１２を、略一定の姿勢で水平方向に搬送する装置である。搬送装置１０は、主走査機構１３と副走査機構１４とを含む搬送機構を有する。主走査機構１３は、ステージ１２を主走査方向に搬送するための機構である。副走査機構１４は、ステージ１２を副走査方向に搬送するための機構である。基板Ｗは、ステージ１２の上面に水平姿勢で保持され、ステージ１２とともに主走査方向および副走査方向に移動する。

【0022】

搬送装置１０のより詳細な構成については、後述する。

【0023】

フレーム２０は、基台１１の上方において、描画処理部３０を保持するための構造である。フレーム２０は、一対の支柱部２１と架橋部２２とを有する。一対の支柱部２１は、副走査方向に間隔をあけて立設されている。各支柱部２１は、基台１１の上面から上方へ向けて延びる。架橋部２２は、２本の支柱部２１の上端部の間において、副走査方向に延びる。基板Ｗを保持したステージ１２は、一対の支柱部２１の間、かつ、架橋部２２の下方を通過する。

【0024】

描画処理部３０は、２つの光学ヘッド３１、照明光学系３２、レーザ発振器３３、およびレーザ駆動部３４を有する。２つの光学ヘッド３１は、副走査方向に間隔をあけて、架橋部２２に固定される。照明光学系３２、レーザ発振器３３、およびレーザ駆動部３４は、例えば、架橋部２２の内部空間に収容される。レーザ駆動部３４は、レーザ発振器３３と電気的に接続されている。レーザ駆動部３４を動作させると、レーザ発振器３３からパルス光が出射される。そして、レーザ発振器３３から出射されたパルス光が、照明光学系３２を介して光学ヘッド３１へ導入される。

【0025】

光学ヘッド３１の内部には、空間変調器を含む光学系が設けられている。空間変調器には、例えば、回折格子型の空間光変調器であるＧＬＶ（Grating Light Valve）（登録商標）が用いられる。光学ヘッド３１へ導入されたパルス光は、空間変調器により所定のパターンに変調されて、基板Ｗの上面に照射される。これにより、基板Ｗの上面に塗布されたレジスト等の感光材料が露光される。

【0026】

描画装置１の稼働時には、光学ヘッド３１による露光と、搬送装置１０による基板Ｗの搬送とが、繰り返し実行される。具体的には、副走査機構１４によりステージ１２を副走査方向に搬送しつつ、光学ヘッド３１からのパルス光の照射を行うことにより、副走査方向に延びる帯状の領域（スワス）に露光を行った後、主走査機構１３によりステージ１２を主走査方向に１スワス分だけ搬送する。描画装置１は、このような副走査方向の露光と、主走査方向のステージ１２の搬送とを繰り返すことにより、基板Ｗの上面全体にパターンを描画する。

【0027】

制御部４０は、描画装置１の各部を動作制御するための手段である。図３は、制御部４０と、描画装置１内の各部との電気的接続を示したブロック図である。図３中に概念的に示すように、制御部４０は、ＣＰＵ等のプロセッサ４１、ＲＡＭ等のメモリ４２、およびハードディスクドライブ等の記憶部４３を有するコンピュータにより構成されている。記憶部４３には、描画装置１を動作制御するためのコンピュータプログラムＰが記憶されている。

【0028】

また、図３に示すように、制御部４０は、描画処理部３０（上述した光学ヘッド３１およびレーザ駆動部３４を含む）、主走査機構１３（後述するリニアモータ６１およびエアガイド６２を含む）、副走査機構１４（後述するリニアモータ７１を含む）、後述する角度計測装置８０、および各種センサ５０と、電気的に接続されている。制御部４０は、記憶部４３に記憶されたコンピュータプログラムＰやデータＤをメモリ４２に読み出し、当該コンピュータプログラムＰおよびデータＤに基づいて、プロセッサ４１が演算処理を行うことにより、描画装置１内の上記各部を動作制御する。これにより、描画装置１における描画処理が進行する。

【0029】

＜２．搬送装置の構成＞
次に、搬送装置１０の詳細な構成について、説明する。図４は、搬送装置１０の一部分を、主走査方向に対して垂直な面で切断したときの部分断面図である。図１～図４に示すように、搬送装置１０は、基台１１、ステージ１２、主走査機構１３、副走査機構１４、支持プレート１６、角度計測装置８０、および上述した制御部４０を有する。

【0030】

基台１１は、搬送装置１０の各部を支持する支持台である。基台１１は、主走査方向および副走査方向に広がる平板状の外形を有する。基台１１の下面には、４つの脚部１１１および２つのダンパ１１２が設けられている。脚部１１１およびダンパ１１２の長さは、個別に調節可能である。したがって、脚部１１１およびダンパ１１２の長さを調節することにより、基台１１の姿勢を水平に調整できる。

【0031】

支持プレート１６およびステージ１２は、それぞれ、平板状の外形を有する。支持プレート１６は、基台１１上において、主走査機構１３により主走査方向に移動可能に支持されている。ステージ１２は、支持プレート１６上において、副走査機構１４により副走査方向に移動可能に支持されている。ステージ１２は、基板Ｗを載置可能な上面を有する。また、ステージ１２の上面には、基板Ｗを保持するためのチャックピンや、基板Ｗを吸着する複数の吸着孔が設けられている。

【0032】

主走査機構１３は、基台１１に対して支持プレート１６を、主走査方向に移動させる機構である。主走査機構１３は、一対の直進機構６０を有する。一対の直進機構６０は、基台１１の上面の副走査方向の両端部に設けられている。図２および図４に示すように、一対の直進機構６０は、それぞれ、リニアモータ６１とエアガイド６２とを有する。

【0033】

リニアモータ６１は、固定子６１１および移動子６１２を有する。固定子６１１は、基台１１の上面に、主走査方向に沿って敷設されている。すなわち、一対の固定子６１１は、互いに平行に配置されている。移動子６１２は、後述するエアベアリング６２２を介して、支持プレート１６に固定されている。

【0034】

また、主走査機構１３は、リニアモータ６１の動作を制御するための制御基板６３を有する。制御基板６３には、例えばサーボパック（登録商標）が用いられる。制御基板６３は、制御部４０と電気的に接続されている。リニアモータ６１の駆動時には、制御部４０からの指令に従って、制御基板６３が、リニアモータ６１において発生させるべきトルクを算出する。そして、算出されたトルクに応じた駆動信号を、各リニアモータ６１の固定子６１１へ供給する。そうすると、固定子６１１と移動子６１２との間に生じる磁気的な吸引力および反発力によって、移動子６１２が、固定子６１１に沿って主走査方向に移動する。

【0035】

エアガイド６２は、ガイドレール６２１およびエアベアリング６２２を有する。ガイドレール６２１は、基台１１の上面に、主走査方向に沿って敷設されている。すなわち、リニアモータ６１の固定子６１１と、エアガイド６２のガイドレール６２１とは、互いに平行に配置されている。エアベアリング６２２は、支持プレート１６と移動子６１２とに、固定されている。また、エアベアリング６２２は、ガイドレール６２１の上方に配置されている。

【0036】

図４に示すように、エアベアリング６２２の下面には、気体吹出口６２３が設けられている。搬送装置１０の稼働時には、工場のユーティリティからエアベアリング６２２に常に気体が供給され、気体吹出口６２３からガイドレール６２１の上面に向けて、加圧された気体が吹き出される。これにより、エアベアリング６２２は、ガイドレール６２１上に非接触で浮上支持される。したがって、リニアモータ６１を駆動させると、支持プレート１６は、エアガイド６２により浮上支持された状態で、主走査方向に沿って低摩擦で滑らかに移動する。

【0037】

副走査機構１４は、支持プレート１６に対してステージ１２を、副走査方向に移動させる機構である。副走査機構１４は、リニアモータ７１と、一対のガイド機構７２とを有する。

【0038】

リニアモータ７１は、支持プレート１６の上面の主走査方向の略中央に設けられている。リニアモータ７１は、固定子７１１および移動子７１２を有する。固定子７１１は、支持プレート１６の上面に、副走査方向に沿って敷設されている。移動子７１２は、ステージ１２に対して固定されている。リニアモータ７１の駆動時には、固定子７１１と移動子７１２との間に生じる磁気的な吸引力および反発力により、移動子７１２が、固定子７１１に沿って副走査方向に移動する。

【0039】

一対のガイド機構７２は、支持プレート１６の上面の主走査方向の両端部に設けられている。一対のガイド機構７２は、それぞれ、ガイドレール７２１とボールベアリング７２２とを有する。ガイドレール７２１は、支持プレート１６の上面に、副走査方向に沿って敷設されている。ボールベアリング７２２は、ステージ１２の下面に固定されている。また、ボールベアリング７２２は、ガイドレール７２１に沿って、副走査方向に移動可能である。したがって、リニアモータ７１を駆動させると、ステージ１２は、支持プレート１６に対して、副走査方向に移動する。

【0040】

このように、ステージ１２は、主走査機構１３および副走査機構１４により、基台１１に対して、主走査方向および副走査方向に移動可能となっている。

【0041】

角度計測装置８０は、ステージ１２のヨーイング角度θを計測するための装置である。角度計測装置８０は、ステージ１２に固定されるミラー８１と、レーザ干渉計８２とを有する。ミラー８１は、ステージ１２の主走査方向の端縁部に固定される。レーザ干渉計８２は、基台１１の上面に固定される。レーザ干渉計８２は、ミラー８１へ向けて２本のレーザ光を照射する。そして、ミラー８１から反射する２本のレーザ光の干渉により、２本のレーザ光の光路差を検出する。そして、当該光路差に基づいて、ステージ１２のヨーイング角度θを計測する。

【0042】

＜３．主走査機構の搬送制御について＞
＜３－１．制御部の構成＞
図５は、上述した主走査機構１３を制御するための制御部４０の機能を、概念的に示したブロック図である。図５に示すように、制御部４０は、角度取得部９１と搬送制御部９２とを有する。角度取得部９１および搬送制御部９２の機能は、制御部４０としてのコンピュータが、コンピュータプログラムＰに従って動作することにより、実現される。

【0043】

角度取得部９１には、角度計測装置８０によるヨーイング角度θの計測結果が入力される。角度取得部９１は、取得したヨーイング角度θを含む第１入力データｄ１を、搬送制御部９２へ送る。第１入力データｄ１は、ヨーイング角度θのみであってもよく、ヨーイング角度θ以外の変数を含んでいてもよい。例えば、第１入力データｄ１は、ヨーイング角度θと、ヨーイング角度θの角速度ｄθ/ｄｔとを含んでいてもよい。また、角度取得部９１は、ヨーイング角度θに、フィルタ処理等の加工処理を施し、加工処理後のヨーイング角度θを、第１入力データｄ１に含めてもよい。

【0044】

搬送制御部９２は、第１学習済みモデルＭ１を有する。第１学習済みモデルＭ１は、強化学習アルゴリズムを用いた事前強化学習により、パラメータが調整された推論プログラムである。第１学習済みモデルＭ１を得るための強化学習アルゴリズムとしては、例えば、Ｑ学習法、ＤＱＮ（Deep Q Network）法、ＳＡＲＳＡ、モンテカルロ法、epsilon-greedy法、BoltzmannQPolicy法等を用いることができる。

【0045】

搬送制御部９２は、角度取得部９１から送られる第１入力データｄ１を、第１学習済みモデルＭ１へ入力する。第１学習済みモデルＭ１は、第１入力データｄ１に基づいて、一対の直進機構６０を制御するための制御値ｖを出力する。制御値ｖは、例えば、各直進機構６０のリニアモータ６１へ入力すべきトルク値とすることができる。ただし、第１学習済みモデルＭ１から出力される制御値ｖは、各直進機構６０を動作させるための、トルク値以外の値であってもよい。

【0046】

搬送制御部９２は、第１学習済みモデルＭ１から出力される制御値ｖに基づいて、一対の直進機構６０を制御する。具体的には、搬送制御部９２は、制御基板６３を介して一対のリニアモータ６１へ、制御値ｖを送信する。一対の直進機構６０は、搬送制御部９２から送信される制御値ｖに従って動作する。

【0047】

＜３－２．事前強化学習＞
続いて、搬送装置１０において予め実行される事前強化学習について、説明する。図６は、事前強化学習の流れを示すフローチャートである。

【0048】

事前強化学習は、ステージ１２のヨーイング角度θを所定の範囲内に維持するための制御ルールを、自律的に学習する機械学習である。事前強化学習を行うときには、制御部４０は、強化学習プログラムに基づいて、第１学習済みモデルＭ１の原型となる学習中モデルＭｏを用意する。そして、用意された学習中モデルＭｏに、制御値ｖと、ヨーイング角度θを含む第１入力データｄ１との関係を、学習させる。

【0049】

具体的には、まず、学習中モデルＭｏから、ある制御値ｖを出力する（ステップＳ１１）。事前強化学習の初期段階では、ステップＳ１１において出力される制御値ｖは、ランダムな値となる。搬送制御部９２は、学習中モデルＭｏから出力された制御値ｖに基づいて、一対の直進機構６０を動作させる（ステップＳ１２）。そして、角度計測装置８０から角度取得部９１へ入力されるヨーイング角度θを取得する（ステップＳ１３）。

【0050】

続いて、制御部４０は、強化学習プログラムに基づいて、ヨーイング角度θに応じた評価値を付与する（ステップＳ１４）。このとき、制御部４０は、ヨーイング角度θが、予め設定された目標値に近づくほど、高い評価値を付与する。

【0051】

その後、制御部４０は、事前強化学習を終了するか否かを判断する（ステップＳ１５）。制御部４０は、ステップＳ１４において付与される評価値が、所望のレベルに達していない場合には、引き続き、事前強化学習を継続する（ステップＳ１５：ｎｏ）。

【0052】

事前強化学習を継続する場合、角度取得部９１は、ステップＳ１３において取得したヨーイング角度θを含む第１入力データｄ１を生成して、搬送制御部９２へ送る。そして、搬送制御部９２は、当該第１入力データｄ１を、学習中モデルＭｏへ入力する。そうすると、学習中モデルＭｏから、新たな制御値ｖが出力される（ステップＳ１１）。その後、上述したステップＳ１２～Ｓ１５の処理を、再度実行する。

【0053】

上述の通り、学習中モデルＭｏは、事前強化学習の初期段階では、ランダムな制御値ｖを出力する。しかしながら、ステップＳ１１～Ｓ１５の処理を繰り返す過程で、学習中モデルＭｏは、第１入力データｄ１に応じて、制御値ｖの増加、維持、減少等を試行する。これにより、制御値ｖと、ヨーイング角度θを含む第１入力データｄ１との関係を、自動的に学習する。そして、学習中モデルＭｏは、次第に、高い評価値を得ることができるようになる。すなわち、学習中モデルＭｏは、次第に、第１入力データｄ１に応じて、ヨーイング角度θを所定の範囲内に維持するための制御値ｖを、出力できるようになる。

【0054】

図７は、ステップＳ１１～Ｓ１５の処理を繰り返すことによる、評価値の変化の例を示したグラフである。図７の横軸は、ステップＳ１１～Ｓ１５の処理の繰返し回数を示している。図７の縦軸は、評価値を示している。図７のように、上述した評価値は、学習中モデルＭｏの学習が進むにつれて、徐々に高くなる。

【0055】

やがて、ステップＳ１４において付与される評価値が、所望のレベルに達したと判断されると（ステップＳ１５：ｙｅｓ）、制御部４０は、事前強化学習を終了する。そして、以上の事前強化学習により強化された学習中モデルＭｏを、第１学習済みモデルＭ１とする。

【0056】

＜３－３．一対の直進機構の動作制御＞
続いて、事前強化学習が完了した後に実行される、一対の直進機構６０の動作制御について、説明する。図８は、直進機構６０の動作制御の流れを示したフローチャートである。

【0057】

一対の直進機構６０の動作制御時には、まず、角度計測装置８０から出力されるヨーイング角度θが、角度取得部９１に入力される（ステップＳ２１）。続いて、角度取得部９１は、取得したヨーイング角度θを含む第１入力データｄ１を生成して、搬送制御部９２へ送る（ステップＳ２２）。

【0058】

角度取得部９１から搬送制御部９２へ送られる第１入力データｄ１は、上述した事前学習処理において学習中モデルＭｏに入力された第１入力データｄ１と、同種のデータとされる。例えば、上述した事前学習処理において学習中モデルＭｏに入力された第１入力データｄ１が、ヨーイング角度θとヨーイング角度θの角速度ｄθ/ｄｔとを含むものである場合、このステップＳ２２において搬送制御部９２へ送られる第１入力データｄ１も、ヨーイング角度θとヨーイング角度θの角速度ｄθ/ｄｔとを含むものとされる。

【0059】

搬送制御部９２は、角度取得部９１から送られる第１入力データｄ１を、第１学習済みモデルＭ１へ入力する（ステップＳ２３）。すると、第１学習済みモデルＭ１から、第１入力データｄ１に対応する制御値ｖが出力される（ステップＳ２４）。ここで出力される制御値ｖは、第１学習済みモデルＭ１が、上述した事前強化学習により最適化された制御ルールに従って決定する値となる。したがって、制御値ｖは、ヨーイング角度θを所定の範囲内に維持することが可能な値となっている。

【0060】

搬送制御部９２は、第１学習済みモデルＭ１から出力される制御値ｖに基づいて、一対の直進機構６０を制御する（ステップＳ２５）。これにより、一対の直進機構６０が適切に動作し、ステージ１２のヨーイング角度θが所定の範囲内に維持されながら、ステージ１２が搬送される。

【0061】

以上のように、この搬送装置１０では、ステージ１２のヨーイング角度θを所望の状態に維持するための制御を、事前強化学習により得られた第１学習済みモデルＭ１を用いて行う。このため、搬送装置１０の製造者またはユーザが、制御のためのパラメータを設定する必要がない。これにより、制御のためのパラメータを設定する作業負担を低減しつつ、ステージ１２を適切に搬送することができる。

【0062】

＜４．変形例＞
以上、本発明の一実施形態について説明したが、本発明は、上記の実施形態に限定されるものではない。以下では、種々の変形例について、上記の実施形態との相違点を中心に説明する。

【0063】

＜４－１．第１変形例＞
図９は、第１変形例に係る制御部４０の機能を、概念的に示したブロック図である。図９の例では、制御部４０は、角度推定部９３を有する。角度推定部９３の機能は、制御部４０としてのコンピュータが、コンピュータプログラムＰに従って動作することにより、実現される。

【0064】

角度推定部９３は、第２学習済みモデルＭ２を有する。第２学習済みモデルＭ２は、機械学習アルゴリズムを用いた事前学習により、パラメータが調整された推論プログラムである。第２学習済みモデルＭ２を得るための機械学習アルゴリズムとしては、例えば、一層ニューラルネットワークやディープラーニング等を含むニューラルネットワーク、ランダムフォレストや勾配ブースティング等を含む決定木系アルゴリズム、サポートベクトルマシンといった、教師あり機械学習アルゴリズムを用いることができる。

【0065】

角度推定部９３には、各種センサ５０から出力される計測値が入力される。計測値は、例えば、主走査機構１３の一対のリニアモータ６１のトルク値を実測したものであってもよく、あるいは、エアベアリング６２２の空気圧、ガイドレール６２１の温度、搬送装置１０の駆動音、ステージ１２の振動、ステージ１２の位置などを計測したものであってもよい。

【0066】

角度推定部９３は、入力された計測値を含む第２入力データｄ２を、第２学習済みモデルＭ２へ入力する。第２入力データｄ２は、計測値のみであってもよく、計測値以外の変数を含んでいてもよい。

【0067】

第２学習済みモデルＭ２は、予め行われる事前学習により、第２入力データｄ２と、ステージ１２のヨーイング角度θとの関係を学習している。事前学習においては、角度計測装置８０の計測結果を教師データとして、上述した機械学習アルゴリズムにより、第２入力データｄ２と、ヨーイング角度θとの関係が学習される。このため、事前学習が完了した後に、第２学習済みモデルＭ２に第２入力データｄ２を入力すると、第２学習済みモデルＭ２から、ヨーイング角度θの推定結果が出力される。

【0068】

角度推定部９３は、この第２学習済みモデルＭ２から出力されるヨーイング角度θの推定結果を、角度取得部９１へ入力する。このようにすれば、事前学習の間のみ、角度計測装置８０を設置すればよく、事前学習が完了した後は、角度計測装置８０を取り外して運用することができる。したがって、大掛かりな角度計測装置８０を常時設置することなく、ステージ１２のヨーイング角度θに基づいて、一対の直進機構６０を制御することができる。

【0069】

＜４－２．他の変形例＞
上記実施形態の搬送装置１０は、主走査機構１３だけではなく、副走査機構１４を備えていた。しかしながら、本発明は、副走査機構１４を備えていない搬送装置を対象とするものであってもよい。

【0070】

また、上記実施形態の搬送装置１０は、描画装置１に搭載されていた。しかしながら、本発明は、描画装置１以外の装置に搭載される搬送装置を対象とするものであってもよい。例えば、搬送装置は、ステージ上に保持された基板に対して処理液を塗布する装置に搭載されるものであってもよい。また、搬送装置は、ステージ上に保持された記録媒体に対して印刷を行う装置に搭載されるものであってもよい。

【0071】

また、上記の実施形態の角度計測装置８０は、レーザ干渉計８２により、ステージ１２のヨーイング角度θを計測していた。しかしながら、ステージ１２のヨーイング角度θは、他の方法で計測してもよい。例えば、カメラにより取得したステージ１２の画像に基づいて、ステージ１２のヨーイング角度θを計測してもよい。

【0072】

また、上記の実施形態の直進機構６０は、リニアモータ６１を有するものであった。しかしながら、リニアモータ６１に代えて、回転モータから出力される回転運動をボールネジにより直進運動に変換する機構を用いてもよい。

【0073】

また、上記の実施形態や変形例に登場した各要素を、矛盾が生じない範囲で、適宜に組み合わせてもよい。

【符号の説明】

【0074】

１ 描画装置
１０ 搬送装置
１１ 基台
１２ ステージ
１３ 主走査機構
１４ 副走査機構
１６ 支持プレート
２０ フレーム
３０ 描画処理部
４０ 制御部
５０ センサ
６０ 直進機構
６１ リニアモータ
６２ エアガイド
６３ 制御基板
７１ リニアモータ
７２ ガイド機構
８０ 角度計測装置
９１ 角度取得部
９２ 搬送制御部
９３ 角度推定部
Ｍ１ 第１学習済みモデル
Ｍ２ 第２学習済みモデル
Ｗ 基板
ｄ１ 第１入力データ
ｄ２ 第２入力データ
θ ヨーイング角度
ｖ 制御値

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】