特許 7401405 機械学習方法、機械学習装置、機械学習プログラム、通信方法、及び成膜装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-11

(45)【発行日】2023-12-19

(54)【発明の名称】機械学習方法、機械学習装置、機械学習プログラム、通信方法、及び成膜装置

(51)【国際特許分類】

   C23C 14/32 20060101AFI20231212BHJP

   C23C 14/54 20060101ALI20231212BHJP

【ＦＩ】

C23C14/32 Z

C23C14/54 Z

【請求項の数】 13

(21)【出願番号】P 2020121054

(22)【出願日】2020-07-15

(65)【公開番号】P2022018154

(43)【公開日】2022-01-27

【審査請求日】2022-11-01

(73)【特許権者】

【識別番号】000001199

【氏名又は名称】株式会社神戸製鋼所

(74)【代理人】

【識別番号】100115381

【弁理士】

【氏名又は名称】小谷 昌崇

(74)【代理人】

【識別番号】100118049

【弁理士】

【氏名又は名称】西谷 浩治

(72)【発明者】

【氏名】国末 晃伸

(72)【発明者】

【氏名】高橋 哲也

【審査官】今井 淳一

(56)【参考文献】

【文献】米国特許第０５２３４５６１（ＵＳ，Ａ）

【文献】国際公開第２０１９／２１６１４３（ＷＯ，Ａ１）

【文献】特開２００９－１９１３０８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｃ２３Ｃ １４／３２

Ｃ２３Ｃ １４／５４

(57)【特許請求の範囲】

【請求項1】

基材に装飾皮膜を成膜する成膜装置の成膜条件を機械学習装置が決定する機械学習方法であって、
前記成膜装置は、チャンバーを真空にするための真空排気システムと、前記チャンバーを加熱及び冷却する加熱冷却システムと、ターゲットを蒸発させる蒸発源システムと、ワークを載置するテーブルシステムと、前記チャンバーにプロセスガスを導入するプロセスガスシステムと、エッチングシステムとを含むＡＩＰ装置であり、
前記装飾皮膜の性能評価に関する少なくとも１つの物理量と、少なくとも１つの成膜条件とを含む状態変数を取得し、
前記状態変数に基づいて、前記少なくとも１つの成膜条件の決定結果に対する報酬を計算し、
前記状態変数から前記少なくとも１つの成膜条件を決定するための関数を、前記報酬に基づいて更新し、
前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる成膜条件を決定し、
前記少なくとも１つの成膜条件は、前記真空排気システムに関する第１パラメータと、前記加熱冷却システムに関する第２パラメータと、前記蒸発源システムに関する第３パラメータと、前記テーブルシステムに関する第４パラメータと、前記プロセスガスシステムに関する第５パラメータとのうちの少なくとも１つであり、
前記少なくとも１つの物理量は、膜質特性及び物理的特性のうちの少なくとも１つであり、
前記第５パラメータは、前記プロセスガスの流量、前記プロセスガスの種類、及び前記プロセスガスの圧力の少なくとも１つであり、
前記膜質特性は、前記装飾皮膜における、膜厚、粗さ、表面性状、組成、結晶構造、膜微細組織、結晶性、結晶粒径、残留応力、密度、欠陥量、及び欠陥サイズの少なくとも１つを含み、
前記物理的特性は、前記装飾皮膜における密着性及び光学特性を含む、
機械学習方法。

【請求項2】

前記第１パラメータは、排気速度、到達圧力、残留ガス種、残留ガス分圧、及びＰ－Ｑ特性の少なくとも１つである、
請求項１記載の機械学習方法。

【請求項3】

前記第２パラメータは、前記加熱冷却システムを構成するヒータのヒータ温度、前記ワークの温度であるワーク温度、前記ヒータの昇温速度、前記ワークの昇温速度、前記ヒータの出力、前記ヒータの温度精度、前記ワークの温度精度、前記ヒータ温度及び前記ワーク温度の応答特性、前記ヒータの温度分布、及び前記ワークの温度分布の少なくとも１つである、
請求項１又は２記載の機械学習方法。

【請求項4】

前記第３パラメータは、前記ターゲットの組成、前記ターゲットの厚さ、前記ターゲットの製法、アーク放電電圧、アーク放電電流、蒸発源磁場、蒸発源コイル電流、及びアーク点火特性の少なくとも１つである、
請求項１～３のいずれかに記載の機械学習方法。

【請求項5】

前記第４パラメータは、前記ワークに対するバイアス電圧、前記ワークに対するバイアス電流、異常放電回数、前記異常放電の時間変化、前記バイアス電圧の波形、前記バイアス電流の波形、前記ワークの回転数、前記ワークの形状、前記ワークの搭載量、前記ワークの搭載方法、及び前記ワークの材質の少なくとも１つを含む、
請求項１～４のいずれかに記載の機械学習方法。

【請求項6】

前記少なくとも１つの成膜条件は、さらに前記エッチングシステムに関する第６パラメータを含む、
請求項１～５のいずれかに記載の機械学習方法。

【請求項7】

前記第６パラメータは、前記エッチングシステムのフィラメントを加熱するための加熱電流、前記フィラメントを加熱するための加熱電圧、前記フィラメントの直径、前記フィラメントの放電電流、及び前記フィラメントの放電電圧の少なくとも１つである、
請求項６記載の機械学習方法。

【請求項8】

前記関数は深層強化学習を用いてリアルタイムで更新される、
請求項１～７のいずれかに記載の機械学習方法。

【請求項9】

前記報酬の計算では、前記少なくとも１つの物理量が各物理量に対応する所定の基準値に近づいている場合、前記報酬を増大させ、前記少なくとも１つの物理量が各物理量に対応する基準値に近づいていない場合、前記報酬を減少させる、
請求項１～８のいずれかに記載の機械学習方法。

【請求項10】

基材に装飾皮膜を成膜する成膜装置の成膜条件を決定する機械学習装置であって、
前記成膜装置は、チャンバーを真空にするための真空排気システムと、前記チャンバーを加熱及び冷却する加熱冷却システムと、ターゲットを蒸発させる蒸発源システムと、ワークを載置するテーブルシステムと、前記チャンバーにプロセスガスを導入するプロセスガスシステムと、エッチングシステムとを含むＡＩＰ装置であり、
前記装飾皮膜の性能評価に関する少なくとも１つの物理量と、少なくとも１つの成膜条件とを含む状態変数を観測する状態取得部と、
前記状態変数に基づいて、前記少なくとも１つの成膜条件の決定結果に対する報酬を計算する報酬計算部と、
前記状態変数に基づいて前記少なくとも１つの成膜条件を決定するための関数を、前記報酬に基づいて更新する更新部と、
前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる成膜条件を決定する決定部とを備え、
前記少なくとも１つの成膜条件は、前記真空排気システムに関する第１パラメータと、前記加熱冷却システムに関する第２パラメータと、前記蒸発源システムに関する第３パラメータと、前記テーブルシステムに関する第４パラメータと、前記プロセスガスシステムに関する第５パラメータとのうちの少なくとも１つであり、
前記少なくとも１つの物理量は、膜質特性及び物理的特性のうちの少なくとも１つであり、
前記第５パラメータは、前記プロセスガスの流量、前記プロセスガスの種類、及び前記プロセスガスの圧力の少なくとも１つであり、
前記膜質特性は、前記装飾皮膜における、膜厚、粗さ、表面性状、組成、結晶構造、膜微細組織、結晶性、結晶粒径、残留応力、密度、欠陥量、及び欠陥サイズの少なくとも１つを含み、
前記物理的特性は、前記装飾皮膜における密着性及び光学特性を含む、
機械学習装置。

【請求項11】

基材に装飾皮膜を成膜する成膜装置の成膜条件を決定する機械学習装置としてコンピュータを機能させるコンピュータ読み取り可能な機械学習プログラムであって、
前記成膜装置は、チャンバーを真空にするための真空排気システムと、前記チャンバーを加熱及び冷却する加熱冷却システムと、ターゲットを蒸発させる蒸発源システムと、ワークを載置するテーブルシステムと、前記チャンバーにプロセスガスを導入するプロセスガスシステムと、エッチングシステムとを含むＡＩＰ装置であり、
前記装飾皮膜の性能評価に関する少なくとも１つの物理量と、少なくとも１つの成膜条件とを含む状態変数を観測する状態取得部と、
前記状態変数に基づいて、前記少なくとも１つの成膜条件の決定結果に対する報酬を計算する報酬計算部と、
前記状態変数に基づいて前記少なくとも１つの成膜条件を決定するための関数を、前記報酬に基づいて更新する更新部と、
前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる成膜条件を決定する決定部とを備え、
前記少なくとも１つの成膜条件は、前記真空排気システムに関する第１パラメータと、前記加熱冷却システムに関する第２パラメータと、前記蒸発源システムに関する第３パラメータと、前記テーブルシステムに関する第４パラメータと、前記プロセスガスシステムに関する第５パラメータとのうちの少なくとも１つであり、
前記少なくとも１つの物理量は、膜質特性及び物理的特性のうちの少なくとも１つであり、
前記第５パラメータは、前記プロセスガスの流量、前記プロセスガスの種類、及び前記プロセスガスの圧力の少なくとも１つであり、
前記膜質特性は、前記装飾皮膜における、膜厚、粗さ、表面性状、組成、結晶構造、膜微細組織、結晶性、結晶粒径、残留応力、密度、欠陥量、及び欠陥サイズの少なくとも１つを含み、
前記物理的特性は、前記装飾皮膜における密着性及び光学特性を含む、
機械学習プログラム。

【請求項12】

基材に装飾皮膜を成膜する成膜装置の成膜条件を機械学習する際の前記成膜装置の通信方法であって、
前記成膜装置は、チャンバーを真空にするための真空排気システムと、前記チャンバーを加熱及び冷却する加熱冷却システムと、ターゲットを蒸発させる蒸発源システムと、ワークを載置するテーブルシステムと、前記チャンバーにプロセスガスを導入するプロセスガスシステムと、エッチングシステムと、通信部とを含むＡＩＰ装置であり、
前記装飾皮膜の性能評価に関する少なくとも１つの物理量と、少なくとも１つの成膜条件とを含む状態変数を観測し、
前記状態変数をネットワーク上に送信し、機械学習済みの少なくとも１つの成膜条件を受信し、
前記少なくとも１つの成膜条件は、前記真空排気システムに関する第１パラメータと、前記加熱冷却システムに関する第２パラメータと、前記蒸発源システムに関する第３パラメータと、前記テーブルシステムに関する第４パラメータと、前記プロセスガスシステムに関する第５パラメータとのうちの少なくとも１つであり、
前記少なくとも１つの物理量は、膜質特性及び物理的特性のうちの少なくとも１つであり、
前記第５パラメータは、前記プロセスガスの流量、前記プロセスガスの種類、及び前記プロセスガスの圧力の少なくとも１つであり、
前記膜質特性は、前記装飾皮膜における、膜厚、粗さ、表面性状、組成、結晶構造、膜微細組織、結晶性、結晶粒径、残留応力、密度、欠陥量、及び欠陥サイズの少なくとも１つを含み、
前記物理的特性は、前記装飾皮膜における密着性及び光学特性を含む、
通信方法。

【請求項13】

ＡＩＰ装置で構成され、基材に装飾皮膜を成膜する成膜装置であって、
チャンバーを真空にするための真空排気システムと、
前記チャンバーを加熱及び冷却する加熱冷却システムと、
ターゲットを蒸発させる蒸発源システムと、
ワークを載置するテーブルシステムと、
前記チャンバーにプロセスガスを導入するプロセスガスシステムと、
エッチングシステムと、
前記装飾皮膜の性能評価に関する少なくとも１つの物理量と、少なくとも１つの成膜条件とを含む状態変数を観測する状態観測部と、
前記状態変数をネットワーク上に送信し、機械学習済みの成膜条件を受信する通信部とを備え、
前記少なくとも１つの成膜条件は、前記真空排気システムに関する第１パラメータと、前記加熱冷却システムに関する第２パラメータと、前記蒸発源システムに関する第３パラメータと、前記テーブルシステムに関する第４パラメータと、前記プロセスガスシステムに関する第５パラメータとのうちの少なくとも１つであり、
前記少なくとも１つの物理量は、膜質特性及び物理的特性のうちの少なくとも１つであり、
前記第５パラメータは、前記プロセスガスの流量、前記プロセスガスの種類、及び前記プロセスガスの圧力の少なくとも１つであり、
前記膜質特性は、前記装飾皮膜における、膜厚、粗さ、表面性状、組成、結晶構造、膜微細組織、結晶性、結晶粒径、残留応力、密度、欠陥量、及び欠陥サイズの少なくとも１つを含み、
前記物理的特性は、前記装飾皮膜における密着性及び光学特性を含む、
成膜装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、機械学習により成膜条件を学習する技術に関するものである。

【背景技術】

【0002】

近年、腕時計や携帯電話等の製品においては、装飾性を高める目的で基材の表面を成膜することが行われている。このような目的で成膜された皮膜を以下、装飾皮膜と呼ぶ。例えば、特許文献１には、化学気相成長法（ＣＶＤ）又は物理的気相成長法（ＰＶＤ）等の成膜手法を用いて基材上に形成された黒色硬質皮膜を有する装飾品であって、黒色硬質皮膜がＤＬＣ（ダイヤモンドライクカーボン）からなる傾斜層を含み、傾斜層中の水素含有量が基材から離れるにしたがって増加する装飾品が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－５３３６５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来、このような装飾皮膜の成膜条件は熟練した技術者による長年の経験を頼りに決定されており、容易に決定することが困難であった。

【0005】

本発明は、上述の問題を解決するためになされたものであり、熟練した技術者による長年の経験に頼ることなく、装飾皮膜を適切に成膜するための成膜条件を容易に決定する機械学習装置等を提供することを目的とする。

【課題を解決するための手段】

【0006】

近年、ディープラーニングをはじめとする機械学習に関する様々なサービスがクラウド上で提供されており、ユーザはこのサービスを容易に利用することが可能になってきている。そこで、本発明者は、成膜条件と装飾皮膜の性能評価に関する物理量とを機械学習させれば、装飾皮膜に対する適切な成膜条件を容易に決定できるとの知見を得て本発明を想到するに至った。

【0007】

本発明の一態様に係る機械学習方法は、基材に装飾皮膜を成膜する成膜装置の成膜条件を機械学習装置が決定する機械学習方法であって、前記成膜装置は、チャンバーを真空にするための真空排気システムと、前記チャンバーを加熱及び冷却する加熱冷却システムと、ターゲットを蒸発させる蒸発源システムと、ワークを載置するテーブルシステムと、前記チャンバーにプロセスガスを導入するプロセスガスシステムと、エッチングシステムとを含み、前記装飾皮膜の性能評価に関する少なくとも１つの物理量と、少なくとも１つの成膜条件とを含む状態変数を取得し、前記状態変数に基づいて、前記少なくとも１つの成膜条件の決定結果に対する報酬を計算し、前記状態変数から前記少なくとも１つの成膜条件を決定するための関数を、前記報酬に基づいて更新し、前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる成膜条件を決定し、前記少なくとも１つの成膜条件は、前記真空排気システムに関する第１パラメータと、前記加熱冷却システムに関する第２パラメータと、前記蒸発源システムに関する第３パラメータと、前記テーブルシステムに関する第４パラメータと、前記プロセスガスシステムに関する第５パラメータとのうちの少なくとも１つであり、前記少なくとも１つの物理量は、膜質特性及び物理的特性のうちの少なくとも１つである。

【0008】

本構成によれば、真空排気システムに関する第１パラメータと、加熱冷却システムに関する第２パラメータと、蒸発源システムに関する第３パラメータと、テーブルシステムに関する第４パラメータと、プロセスガスシステムに関する第５パラメータとのうちの少なくとも１つの成膜条件と、装飾被膜の性能評価に関する、膜質特性及び物理的特性のうちの少なくとも１つの物理量とが状態変数として観測される。そして、観測された状態変数に基づいて、成膜条件の決定結果に対する報酬が計算され、計算された報酬に基づいて、状態変数から成膜条件を決定するための関数が更新され、この更新が繰り返されて報酬が最も多く得られる成膜条件が学習される。さらに、本構成は、装飾皮膜の評価に関する物理量として膜質特性及び物理的特性の少なくとも１つが用いられて機械学習が行われている。そのため、本構成は、装飾皮膜に対する適切な成膜条件を容易に決定できる。

【0009】

上記構成において、前記第１パラメータは、排気速度、到達圧力、残留ガス種、残留ガス分圧、及びＰ－Ｑ特性の少なくとも１つであってもよい。

【0010】

本構成によれば、排気速度、到達圧力、残留ガス種、残留ガス分圧、及びＰ－Ｑ特性の少なくとも１つが真空排気システムに関する成膜条件とされて機械学習が行われているため、真空排気システムの状態を考慮に入れて適切な成膜条件を決定できる。

【0011】

上記構成において、前記第２パラメータは、前記加熱冷却システムを構成するヒータのヒータ温度、前記ワークの温度であるワーク温度、前記ヒータの昇温速度、前記ワークの昇温速度、前記ヒータの出力、前記ヒータの温度精度、前記ワークの温度精度、前記ヒータ温度及び前記ワーク温度の応答特性、前記ヒータの温度分布、及び前記ワークの温度分布の少なくとも１つであってもよい。

【0012】

本構成によれば、ヒータ温度、ワーク温度、ヒータの昇温速度、ワークの昇温速度、ヒータの出力、ヒータの温度精度、ワークの温度精度、ヒータ温度の応答特性、ワーク温度の応答特性、ヒータの温度分布、及びワークの温度分布の少なくとも１つが、加熱冷却システムに関する成膜条件とされて機械学習が行われているため、加熱冷却システムの状態を考慮に入れて適切な成膜条件を決定できる。

【0013】

上記構成において、前記第３パラメータは、前記ターゲットの組成、前記ターゲットの厚さ、前記ターゲットの製法、アーク放電電圧、アーク放電電流、蒸発源磁場、蒸発源コイル電流、及びアーク点火特性の少なくとも１つであってもよい。

【0014】

本構成によれば、ターゲットの組成、ターゲットの厚さ、ターゲットの製法、アーク放電電圧、アーク放電電流、蒸発源磁場、蒸発源コイル電流、及びアーク点火特性の少なくとも１つが蒸発源システムに関する成膜条件とされて機械学習が行われているため、蒸発源システムの状態を考慮に入れて適切な成膜条件を決定できる。

【0015】

上記構成において、前記第４パラメータは、前記ワークに対するバイアス電圧、前記ワークに対するバイアス電流、異常放電回数、前記異常放電の時間変化、前記バイアス電圧の波形、前記バイアス電流の波形、前記ワークの回転数、前記ワークの形状、前記ワークの搭載量、前記ワークの搭載方法、及び前記ワークの材質の少なくとも１つを含んでもよい。

【0016】

本構成によれば、バイアス電圧、バイアス電流、異常放電回数、異常放電の時間変化、バイアス電圧の波形、バイアス電流の波形、ワークの回転数、ワークの形状、ワークの搭載量、ワークの搭載方法、及びワークの材質の少なくとも１つがテーブルシステムに関する成膜条件として機械学習が行われているため、テーブルシステムの状態を考慮に入れて適切な成膜条件を決定できる。

【0017】

上記構成において、前記第５パラメータは、前記プロセスガスの流量、前記プロセスガスの種類、及び前記プロセスガスの圧力の少なくとも１つであってもよい。

【0018】

本構成によれば、プロセスガスの流量、プロセスガスの種類、及びプロセスガスの圧力の少なくとも１つがプロセスガスシステムに関する成膜条件として機械学習が行われているため、プロセスガスシステムの状態を考慮に入れて適切な成膜条件を決定できる。

【0019】

上記構成において、前記少なくとも１つの成膜条件は、さらに前記エッチングシステムに関する第６パラメータを含んでもよい。

【0020】

本構成によれば、エッチングシステムに関する成膜条件が考慮されて機械学習が行われているため、エッチングシステムの状態を考慮に入れて適切な成膜条件を決定できる。

【0021】

上記構成において、前記第６パラメータは、前記エッチングシステムのフィラメントを加熱するための加熱電流、前記フィラメントを加熱するための加熱電圧、前記フィラメントの直径、前記フィラメントの放電電流、及び前記フィラメントの放電電圧の少なくとも１つであってもよい。

【0022】

本構成によれば、フィラメントの加熱電流、フィラメントの加熱電圧、フィラメントの直径、フィラメントの放電電流、及びフィラメントの放電電圧の少なくとも１つがエッチングシステムに関する成膜条件として機械学習が行われているため、エッチングシステムの状態を考慮に入れて適切な成膜条件を決定できる。

【0023】

上記構成において、前記膜質特性は、前記装飾皮膜における、膜厚、粗さ、表面性状、組成、結晶構造、膜微細組織、結晶性、結晶粒径、残留応力、密度、欠陥量、及び欠陥サイズの少なくとも１つを含み、前記物理的特性は、前記装飾皮膜における光学特性を含んでもよい。

【0024】

本構成によれば、装飾皮膜における、膜厚、粗さ、表面性状、組成、結晶構造、膜微細組織、結晶性、結晶粒径、残留応力、密度、欠陥量、及び欠陥サイズの少なくとも１つが膜質特性として採用されている。また、装飾皮膜における光学特性が物理的特性として採用されている。そのため、これらの膜質特性及び物理的特性を満たす装飾皮膜を得ることが可能な成膜条件を容易に得ることができる。

【0025】

上記構成において、前記関数は深層強化学習を用いてリアルタイムで更新されてもよい。

【0026】

本態様によれば、関数の更新が深層強化学習を用いてリアルタイムで行われるため、関数の更新を正確かつ速やかに行うことができる。

【0027】

上記構成において、前記報酬の計算では、前記少なくとも１つの物理量が各物理量に対応する所定の基準値に近づいている場合、前記報酬を増大させ、前記少なくとも１つの物理量が各物理量に対応する基準値に近づいていない場合、前記報酬を減少させてもよい。

【0028】

本態様によれば、物理量が基準値に近づくにつれて報酬が増大されるため、物理量を速やかに基準値に到達させることができる。

【0029】

上述した機械学習方法の各処理は、機械学習装置により実装されてもよいし、機械学習プログラムに実装されて流通されてもよい。この機械学習装置は、サーバで構成されてもよいし、成膜装置で構成されてもよい。

【0030】

本発明の別の一態様に係る通信方法は、基材に装飾皮膜を成膜する成膜装置の成膜条件を機械学習する際の前記成膜装置の通信方法であって、前記成膜装置は、チャンバーを真空にするための真空排気システムと、前記チャンバーを加熱及び冷却する加熱冷却システムと、ターゲットを蒸発させる蒸発源システムと、ワークを載置するテーブルシステムと、前記チャンバーにプロセスガスを導入するプロセスガスシステムと、エッチングシステムと、通信部とを含み、前記装飾皮膜の性能評価に関する少なくとも１つの物理量と、少なくとも１つの成膜条件とを含む状態変数を観測し、前記状態変数をネットワーク上に送信し、機械学習済みの少なくとも１つの成膜条件を受信し、前記少なくとも１つの成膜条件は、前記真空排気システムに関する第１パラメータと、前記加熱冷却システムに関する第２パラメータと、前記蒸発源システムに関する第３パラメータと、前記テーブルシステムに関する第４パラメータと、前記プロセスガスシステムに関する第５パラメータとのうちの少なくとも１つであり、前記少なくとも１つの物理量は、膜質特性及び物理的特性のうちの少なくとも１つである。

【0031】

本構成によれば、成膜条件を機械学習する際に必要な情報が提供される。このような通信方法は、成膜装置にも実装可能である。

【発明の効果】

【0032】

本発明によれば、装飾皮膜の適切な成膜条件を熟練した技術者により長年の経験を頼らずに容易に決定できる。

【図面の簡単な説明】

【0033】

【図1】実施の形態に係る機械学習システムに適用される成膜装置の全体構成図である。

【図2】実施の形態における機械学習システムの全体構成図である。

【図3】図２に示す機械学習システムにおける処理の一例を示すフローチャートである。

【図4】成膜条件の一例を示す図である。

【図5】物理量の一例を示す図である。

【図6】本発明の変形例に係る機械学習システムの全体構成図である。

【発明を実施するための形態】

【0034】

図１は、実施の形態に係る機械学習システムに適用される成膜装置の全体構成図である。成膜装置３０は、アークイオンプレーティング法により基材であるワーク（被コーティング物）に装飾性を高める目的で皮膜（以下、装飾皮膜）を成膜する装置である。ワークとしては、例えば、腕時計及びネックレス等の装飾品、又は携帯電話の筐体、自動車のバンパーなどが採用できる。アークイオンプレーティング法は、真空アーク放電を利用して固体材料を蒸発させるイオンプレーティング法の一種である。アークイオンプレーティング法は、蒸発した材料のイオン化率が高く、密着性に優れた皮膜が形成できるため、装飾皮膜の成膜に適している。装飾皮膜は、例えば、ＴｉＮ、ＴｉＡｌＮ、ＴｉＣＮ、ＣｒＮ、ＤＬＣなどである。

【0035】

成膜装置３０は、真空排気システム５１０、加熱冷却システム５２０、蒸発源システム５３０、テーブルシステム５４０、プロセスガスシステム５５０、エッチングシステム５６０、及びチャンバー５７０を含む。

【0036】

真空排気システム５１０は、排気装置５１１を含み、チャンバー５７０の内部を真空にする。排気装置５１１は、チャンバー５７０内の空気を排気するためのポンプなどを含む。

【0037】

加熱冷却システム５２０は、ヒータ電源部５２１及びヒータ５２２を含み、ワーク５４５を加熱する。ヒータ電源部５２１は、ヒータ５２２に電力を供給する電源回路である。ヒータ５２２は、チャンバー５７０内に設けられ、ヒータ電源部５２１から供給される電力によって発熱する。また、加熱冷却システム５２０は、ヒータ５２２の発熱を停止させることでワーク５４５を冷却する。

【0038】

蒸発源システム５３０は、ターゲット（成膜形成材料）を蒸発させるシステムである。蒸発源システム５３０は、アークカソード５３１及びアーク電源部５３２を含む。アーク電源部５３２は、アークカソード５３１に放電電流を供給する電源回路である。アークカソード５３１は、ターゲットを含み、アーク電源部５３２から供給された電力によって、チャンバー５７０の内壁との間で真空アーク放電を発生させる。真空アーク放電が開始されると、カソード表面上に数μｍ径のアークスポットと呼ばれる溶融領域が発生する。アークスポットには、高密度の電流が集中し、カソード表面は瞬時に溶融蒸発される。この真空アーク放電により、ワーク５４５の表面が成膜される。

【0039】

図１の例では、２対のアークカソード５３１及びアーク電源部５３２が図示されているが、これは一例であり、アークカソード５３１及びアーク電源部５３２は、１対であってもよいし、３対以上であってもよい。

【0040】

テーブルシステム５４０は、ワーク５４５を搭載する回転テーブルである。テーブルシステム５４０は、テーブル５４１、テーブル駆動部５４２、及びバイアス電源部５４３を含む。テーブル５４１は、チャンバー５７０内に設けられている。ワーク５４５はテーブル５４１上に載置される。テーブル駆動部５４２は、モータなどを含み、テーブル５４１を回転させる。バイアス電源部５４３は、テーブル５４１を介してワーク５４５に負の電位を与える。

【0041】

プロセスガスシステム５５０は、チャンバー５７０内に反応性皮膜を形成するためのプロセスガスを導入する。

【0042】

エッチングシステム５６０は、放電電源部５６１、一対のフィラメント電極５６２、及び一対のびフィラメント電極５６２間に設けられたフィラメント（図略）を含む。放電電源部５６１は一対のフィラメント電極５６２を介してフィラメントに放電電流を供給する電源回路である。エッチングシステム５６０は、アークカソード５３１及びフィラメント間並びにチャンバー５７０の内壁及びフィラメント間にアルゴンプラズマを発生させる。このアルゴンプラズマの発生により、ワーク５４５の表面が清浄化される。この洗浄化において、アークカソード５３１及びチャンバー５７０の内壁はアノードとして機能し、フィラメントはカソードとして機能する。

【0043】

チャンバー５７０は、ワーク５４５を収容する容器である。チャンバー５７０は、真空排気システム５１０によって内部が真空状態にされ、真空状態を維持する。

【0044】

図２は、実施の形態における機械学習システムの全体構成図である。機械学習システムは、サーバ１０、通信装置２０、及び成膜装置３０を含む。サーバ１０及び通信装置２０はネットワーク４０を介して相互に通信可能に接続されている。通信装置２０及び成膜装置３０はネットワーク５０を介して相互に通信可能に接続されている。ネットワーク４０は、例えばインターネットなどの広域通信網である。ネットワーク５０は、例えばローカルエリアネットワークである。サーバ１０は、例えば１以上のコンピュータで構成されるクラウドサーバである。通信装置２０は、例えば成膜装置３０を使用するユーザが所持するコンピュータである。通信装置２０は、成膜装置３０をネットワーク４０に接続するゲートウェイとして機能する。通信装置２０は、ユーザ自身が所持するコンピュータに専用のアプリケーションソフトウェアをインストールすることで実現される。或いは通信装置２０は、成膜装置３０の製造メーカがユーザに提供する専用の装置であってもよい。成膜装置３０は、図１で説明した成膜装置である。

【0045】

以下、各装置の構成を具体的に説明する。サーバ１０は、プロセッサ１００及び通信部１０１を含む。プロセッサ１００は、ＣＰＵなどを含む制御装置である。プロセッサ１００は、報酬計算部１１０、更新部１２０、決定部１３０、学習制御部１４０を含む。プロセッサ１００が備える各ブロックは、コンピュータを機械学習システムにおけるサーバ１０として機能させる機械学習プログラムをプロセッサ１００が実行することで実現されてもよいし、専用の電気回路で実現されてもよい。

【0046】

報酬計算部１１０は、状態観測部３２１が観測した状態変数に基づいて、少なくとも１つの成膜条件の決定結果に対する報酬を計算する。

【0047】

更新部１２０は、状態観測部３２１が観測した状態変数から少なくとも１つの成膜条件を決定するための関数を、報酬計算部１１０によって計算された報酬に基づいて更新する。関数としては、後述の行動価値関数が採用される。

【0048】

決定部１３０は、少なくとも１つの成膜条件を変更しながら、関数の更新を繰り返すことによって、報酬が最も多く得られる少なくとも１つの成膜条件を決定する。

【0049】

学習制御部１４０は、機械学習の全体制御を司る。本実施の形態の機械学習システムは強化学習によって成膜条件を学習する。強化学習とは、エージェント（行動主体）が環境の状況に基づいてある行動を選択し、選択した行動に基づいて環境を変化させ、環境変化に伴う報酬をエージェントに与えることにより、エージェントにより良い行動の選択を学習させる機械学習手法である。強化学習としては、Ｑ学習及びＴＤ学習が採用できる。以下の説明では、Ｑ学習を例に挙げて説明する。本実施の形態では、報酬計算部１１０、更新部１２０、決定部１３０、学習制御部１４０、及び後述する状態観測部３２１がエージェントに相当する。

【0050】

通信部１０１は、サーバ１０をネットワーク４０に接続する通信回路で構成される。通信部１０１は、状態観測部３２１により観測された状態変数を通信装置２０を介して受信する。通信部１０１は、決定部１３０が決定した成膜条件を通信装置２０を介して成膜装置３０に送信する。本実施の形態において、通信部１０１は、状態変数を取得する状態取得部の一例である。

【0051】

通信装置２０は、送信器２０１及び受信器２０２を含む。送信器２０１は、成膜装置３０から送信された状態変数をサーバ１０に送信すると共に、サーバ１０から送信された成膜条件を成膜装置３０に送信する。受信器２０２は、成膜装置３０から送信された状態変数を受信すると共に、サーバ１０から送信された成膜条件を受信する。

【0052】

成膜装置３０は、図１で示す構成の他、通信部３１０、プロセッサ３２０、メモリ３３０、センサ部３４０、及び入力部３５０を含む。

【0053】

通信部３１０は、成膜装置３０をネットワーク５０に接続するための通信回路である。通信部３１０は、状態観測部３２１によって観測された状態変数をサーバ１０に送信する。通信部３１０は、サーバ１０の決定部１３０が決定した成膜条件を受信する。通信部３１０は、学習制御部１４０が決定した後述する成膜実行コマンドを受信する。

【0054】

プロセッサ３２０は、ＣＰＵなどを含む制御装置である。プロセッサ３２０は、状態観測部３２１、成膜実行部３２２、及び入力判定部３２３を含む。通信部３１０は、状態観測部３２１が取得した状態変数をサーバ１０に送信する。プロセッサ３２０が備える各ブロックは、例えばＣＰＵが機械学習システムの成膜装置３０として機能させる機械学習プログラムを実行することで実現される。

【0055】

状態観測部３２１は、成膜実行後において、センサ部３４０が検出した物理量を取得する。状態観測部３２１は、成膜実行後において成膜の性能評価に関する少なくとも１つの物理量と、少なくとも１つの成膜条件とを含む状態変数を観測する。具体的には、状態観測部３２１は、センサ部３４０の計測値に基づいて成膜条件を取得する。また、状態観測部３２１は、センサ部３４０の計測値などに基づいて物理量を取得する。

【0056】

図４は、成膜条件の一例を示す図である。成膜条件は、大きく中分類に分類される。中分類には、真空排気システム５１０に関する第１パラメータと、加熱冷却システム５２０に関する第２パラメータと、蒸発源システム５３０に関する第３パラメータと、テーブルシステム５４０に関する第４パラメータと、プロセスガスシステム５５０に関する第５パラメータとのうちの少なくとも１つのパラメータが含まれる。さらに、中分類には、エッチングシステム５６０に関する第６パラメータが含まれていても良い。

【0057】

第１パラメータは、排気速度、到達圧力、残留ガス種、残留ガス分圧、及びＰ－Ｑ特性の少なくとも１つを含む。排気速度は、真空排気システム５１０がチャンバー５７０内の空気や残留ガス、導入されたプロセスガスを排気する速度である。排気速度は、例えば真空排気システム５１０を構成するポンプの性能値から計算によって得られる。或いは、排気速度は、圧力センサと排気時間から算出される計測値であってもよい。到達圧力は、成膜プロセス開始前のチャンバー５７０内の圧力である。到達圧力は、例えば真空排気システム５１０を構成するポンプの性能値から計算によって得られる。或いは、到達圧力は、圧力センサの計測値であってもよい。残留ガス種は、チャンバー５７０内に残留するガスであり、不純物である。残留ガス種は、例えば、窒素、酸素、水分、及び水素などである。残留ガス種は、後述する残留ガスの分圧に基づいて決定される。残留ガス分圧は、チャンバー５７０内に残留する複数の残留ガスの分圧である。残留ガス分圧は、四重極形質量分析計などの真空残留ガスモニタの計測によって得られる。Ｐ－Ｑ特性は、チャンバー内圧力（Ｐ）と流量（Ｑ）との関係を示す特性である。Ｐ－Ｑ特性は、例えば流量センサで検知されたチャンバー５７０内のガスの流量と圧力センサの計測値から計算によって得られる。

【0058】

第２パラメータは、ヒータ温度、ワーク温度、ヒータ昇温速度、ワーク昇温速度、ヒータ出力、ヒータ温度精度、ワーク温度精度、ヒータ温度／ワーク温度、ヒータ温度分布、ワーク温度分布、冷却ガス種、冷却ガス圧力、及びワーク冷却速度の少なくとも１つを含む。

【0059】

ヒータ温度は、ヒータ５２２の温度である。ヒータ温度は、例えば温度センサ（熱電対）の計測値である。ワーク温度は、ワーク５４５の温度である。ワーク温度は、例えばワーク５４５の近傍に設けられた温度センサの計測値である。ヒータ昇温速度は、ヒータ５２２が昇温する際のヒータ温度の変化速度である。ヒータ昇温速度は、ヒータ温度の時系列変化から得られる。ワーク昇温温度は、ワーク５４５が昇温する際のワーク温度の変化速度である。ワーク昇温速度は、ワーク温度の時系列変化から得られる。

【0060】

ヒータ出力は、ヒータ５２２の出力である。ヒータ出力は、ヒータ電源部５２１の設定値から計算により得られる。ヒータ出力は、ヒータに供給される電流値と電圧値とのセンサによる計測値から計算されてもよい。

【0061】

ヒータ温度精度は、ヒータ温度のバラツキを示す値である。ヒータ温度精度は過去のヒータ温度の計測値から計算される。ワーク温度精度は、ワーク温度のバラツキを示す値である。ワーク温度精度は過去のワーク温度の計測値から計算される。ヒータ温度／ワーク温度は、ヒータ５２２のワーク５４５に対する応答特性である。

【0062】

ヒータ温度分布は、ヒータ５２２の温度分布である。ヒータ温度分布はヒータ５２２の周囲に設けられた複数の温度センサの計測値から得られる。ワーク温度分布は、ワーク５４５の温度分布である。ワーク温度分布は、ワーク５４５の周囲に設けられた複数の温度センサの計測値から得られる。

【0063】

冷却ガス種は、チャンバー５７０内を冷却するガスの種別を示す情報であり、予め入力された入力値である。冷却ガス圧力は、冷却ガスの圧力である。冷却ガス圧力は、チャンバー５７０内に設けられた圧力センサによる計測値である。ワーク冷却速度は、ワーク５４５の冷却速度である。ワーク冷却速度は、ワーク５４５の近傍に設けられた温度センサが検出したワーク温度の時系列変化から得られる。

【0064】

第３パラメータは、ターゲット組成、ターゲット厚さ、ターゲット製法、アーク放電電圧、アーク放電電流、蒸発源磁場、蒸発源コイル電流、及びアーク点火特性のうちの少なくとも１つを含む。ターゲット組成は、ターゲットを構成する物質の組成である。ターゲット厚さは、ターゲットの厚みである。ターゲット製法は、ターゲットの製造方法である。ターゲット組成、ターゲット厚さ、ターゲット製法は、予め入力された入力値である。

【0065】

アーク放電電圧は、アーク電源部５３２がアークカソード５３１に供給する電圧であり、センサによる計測値である。アーク放電電流は、アーク電源部５３２がアークカソード５３１に供給する電流であり、センサによる計測値である。

【0066】

蒸発源磁場は、蒸発源システム５３０に含まれる永久磁束が放出する磁場の位置及び強度である。蒸発源磁場は予め入力された入力値である。蒸発源コイル電流は、蒸発源システム５３０に含まれるコイルに流れる電流であり、センサによる計測値である。アーク点火特性は、アーク点火時のアーク表面の電圧及び電流の挙動である。アーク点火特性は、アーク放電電圧及びアーク放電電流のあるタイミングの計測値から得られる。

【0067】

第４パラメータは、バイアス電圧、バイアス電流、ＯＬ回数、ＯＬ時間変化、バイアス電圧波形、バイアス電流波形、ワーク回転数、ワーク形状、ワーク搭載量、ワーク搭載方法、及びワーク材質の少なくとも１つを含む。

【0068】

バイアス電圧は、バイアス電源部５４３がワーク５４５に供給するバイアス電圧であり、センサによる計測値である。バイアス電流は、バイアス電源部５４３がワーク５４５に供給するバイアス電流であり、センサによる計測値である。

【0069】

ＯＬ（ＯｖｅｒＬｏａｄ）回数は、テーブルシステムまたはワークでの異常放電回数であり、センサによる計測値である。ＯＬ時間変化は、単位時間あたりのＯＬ回数である。バイアス電圧波形は、バイアス電圧の波形であり、センサによる計測値から得られる。バイアス電圧波形は特にパルスバイアス時の電圧波形である。バイアス電流波形は、バイアス電流の波形であり、センサによる計測値から得られる。ワーク回転数は、ワーク５４５の単位時間あたりの回転数であり、テーブル５４１の単位時間あたりの回転数と、ワーク５４５がテーブル５４１上で自転する際の単位時間あたりの回転数とを含む。ワーク回転数は、例えばセンサによる検出値である。ワーク形状は、ワーク５４５の形状を示す数値であり、予め入力された入力値である。ワーク搭載量は、ワーク５４５の搭載量（例えば重量）であり、予め入力された入力値である。ワーク搭載方法は、テーブル５４１に対するワーク５４５の搭載方法であり、予め入力された入力値である。ワーク材質は、ワーク５４５の材質であり、予め入力された入力値である。

【0070】

第５パラメータは、ガス流量、ガス種、及びガス圧の少なくとも１つを含む。ガス流量は、プロセスガスの流量である。ガス種は、プロセスガスの種類を示す情報である。ガス圧力は、プロセスガスの圧力である。これらは、例えばセンサの検出値である。

【0071】

第６パラメータは、フィラメント加熱電流、フィラメント加熱電圧、フィラメント径、放電電流、及び放電電圧の少なくとも１つを含む。フィラメント加熱電流は、エッチングシステム５６０を構成する一対のフィラメント電極５６２を加熱するための加熱電流であり、センサによる計測値である。フィラメント加熱電圧は、一対のフィラメント電極５６２を加熱するための加熱電圧であり、センサによる計測値である。

【0072】

フィラメント径は、一対のフィラメント電極５６２のそれぞれの直径であり、予め入力された入力値である。なお、フィラメント径は、計算によって算出されてもよい。放電電流は、一対のフィラメント電極５６２の放電電流であり、センサによる計測値である。放電電圧は、一対のフィラメント電極５６２の放電電圧であり、センサによる計測値である。

【0073】

図５は、物理量の一例を示す図である。物理量は、大きく中分類に分類される。中分類には、膜質特性及び物理的特性のうちの少なくとも１つを含む。膜質特性は、膜厚、粗さ、表面性状、組成、結晶構造、膜微細組織、結晶性、結晶粒径、残留応力、密度、パーティクル量、及びパーティクルサイズの少なくとも１つが含まれる。

【0074】

膜厚は、皮膜の厚さである。表面性状は、表面粗さを含む表面の形態である。組成は、皮膜の組成である。結晶構造は、皮膜の結晶構造である。膜微細組織は、一般的な意味であり、結晶の形態や配向性などの微細組織構造を表す。結晶性は、結晶になっている割合である。結晶粒径は、結晶粒の大きさである。残留応力は、皮膜の内部応力である。

【0075】

膜厚は膜厚計測器により得られる。粗さは粗さ計により得られる。表面性状は顕微鏡又は粗さ計により得られる。組成はＸ線分光法によって得られる。結晶構造、膜微細組織、結晶性、結晶粒径、及び残留応力はＸ線回折法又は電子顕微鏡によって得られる。

【0076】

密度は、皮膜を構成する粒子の密度である。パーティクル量（欠陥量）は皮膜に含まれるゴミの量である。パーティクルサイズ（欠陥サイズ）は皮膜に含まれるゴミの大きさである。密度はＸ線反射法により得られる。パーティクル量及びパーティクルサイズは顕微鏡又は画像処理により得られる。

【0077】

物理的特性は、密着性及び光学特性の少なくとも１つを含む。密着性は皮膜の基材への密着の度合いを示し、圧痕法又はスクラッチ試験により得られる。光学特性は皮膜の色彩、艶感、又は質感を示す。光学特性は、分光測色計により計測される。

【0078】

図２に参照を戻す。成膜実行部３２２は、成膜装置３０の成膜運転を制御する。入力判定部３２３は、量産工程であるか否かを自動又は手動により判定する。入力判定部３２３は、量産工程であるか否かを自動で判定する場合、入力部３５０に入力された条件番号の入力回数が基準回数を超えた場合、成膜装置３０は量産工程にあると判定する。条件番号とは、ある１つの成膜条件を特定するための識別番号である。条件番号により特定される成膜条件は、少なくとも図４に示す成膜条件のうちＩｎｐｕｔと記載された成膜条件を含む。

【0079】

入力判定部３２３は、量産工程であるか否かを手動により判定する場合において、入力部３５０に量産工程である旨のデータが入力された場合、成膜装置３０は量産工程にあると判定する。量産工程にある場合、成膜装置３０は機械学習を行わない。

【0080】

メモリ３３０は、例えば不揮発性の記憶装置であり、最終的に決定された最適な成膜条件などを記憶する。センサ部３４０は、図４に例示された成膜条件及び図５に例示された物理量の計測に用いられる各種センサである。入力部３５０は、キーボード、及びマウスなどの入力装置である。

【0081】

図３は、図２に示す機械学習システムにおける処理の一例を示すフローチャートである。ステップＳ１では、学習制御部１４０は、入力部３５０を用いてユーザにより入力された、成膜条件の入力値を取得する。ここで取得される入力値は、図４に列記された成膜条件のうち、Ｉｎｐｕｔと記載された成膜条件に対する入力値である。

【0082】

ステップＳ２では、学習制御部１４０は、少なくとも１つの成膜条件と成膜条件に対する設定値とを決定する。ここで、設定対象となる成膜条件は、図４に列挙された成膜条件のうち、Ｉｎｐｕｔと記載された成膜条件以外の成膜条件であって、設定値が設定可能な少なくとも１つの成膜条件である。ここで、決定される成膜条件の設定値は強化学習における行動に相当する。

【0083】

具体的には、学習制御部１４０は、設定対象となる成膜条件のそれぞれについて設定値をランダムに選択する。ここで、設定値は、成膜条件のそれぞれについて所定の範囲内からランダムに選択される。成膜条件の設定値の選択方法としては、例えばε－ｇｒｅｅｄｙ法が採用できる。

【0084】

ステップＳ３では、学習制御部１４０は、成膜装置３０に成膜実行コマンドを送信することで、成膜装置３０に成膜運転を開始させる。成膜実行コマンドが通信部３１０により受信されると、成膜実行部３２２は、成膜実行コマンドにしたがって成膜条件を設定し、成膜運転を開始する。成膜実行コマンドには、ステップＳ１で設定された成膜条件の入力値及びステップＳ２で決定された成膜条件の設定値などが含まれる。

【0085】

成膜運転が終了すると、状態観測部３２１は、状態変数を観測する（ステップＳ４）。具体的には、状態観測部３２１は、図５に記載された成膜評価に関する物理量と、図４に記載された成膜条件のうちセンサなどによって状態が観測される成膜条件とを状態変数として取得する。物理量は、例えばユーザが入力部３５０を操作することによって成膜装置３０に入力されてもよいし、物理量を計測する計測器と成膜装置３０が通信することで成膜装置３０に入力されてもよい。状態観測部３２１は、取得した状態変数を通信部３１０を介してサーバ１０に送信する。

【0086】

ステップＳ５では、決定部１３０は、物理量を評価する。ここで、決定部１３０は、ステップＳ４で取得された物理量のうち評価対象となる物理量（以下、対象物理量と呼ぶ。）が所定の基準値に到達しているか否かを判定することで物理量を評価する。対象物理量は、図５に列記された物理量のうち１又は複数の物理量である。対象物理量が複数の場合、基準値は、各対象物理量に対応する複数の基準値が存在することになる。基準値は、例えば、皮膜が一定の基準に到達していることを示す予め定められた値が採用できる。

【0087】

基準値は、例えば上限値と下限値とを含む値であってもよい。この場合、対象物理量が上限値と下限値との範囲内に入った場合、基準値に到達したと判定される。基準値は一つの値であってもよい。この場合、対象物理量が基準値を超えた場合、又は基準値を下回った場合に一定の基準を満たすと判定される。

【0088】

決定部１３０は、対象物理量が基準値に到達していると判定した場合（ステップＳ６でＹＥＳ）、ステップＳ２で設定した成膜条件を最終的な成膜条件として出力する（ステップＳ７）。一方、決定部１３０は、物理量が基準値に到達していないと判定した場合（ステップＳ６でＮＯ）、処理をステップＳ８に進める。なお、対象物理量が複数の場合、決定部１３０は、全ての対象物理量が基準値に到達した場合、ステップＳ６でＹＥＳと判定すればよい。

【0089】

ステップＳ８では、報酬計算部１１０は、対象物理量が基準値に近づいているか否かを判定する。対象物理量が基準値に近づいている場合（ステップＳ８でＹＥＳ）、報酬計算部１１０は、エージェントに対する報酬を増大させる（ステップＳ９）。一方、対象物理量が基準値に近づいていない場合（ステップＳ８でＮＯ）、報酬計算部１１０は、エージェントに対する報酬を減少させる（ステップＳ１０）。この場合、報酬計算部１１０は、予め定められた報酬の増減値にしたがって報酬を増減させればよい。なお、対象物理量が複数の場合、報酬計算部１１０は、複数の対象物理量のそれぞれについて、ステップＳ８の判定を行えばよい。この場合、報酬計算部１１０は、複数の対象物理量のそれぞれについて、ステップＳ８の判定結果に基づいて報酬を増減させればよい。また、報酬の増減値は対象物理量に応じて異なる値が採用されてもよい。

【0090】

ステップＳ１１では、更新部１２０は、エージェントに付与した報酬を用いて行動価値関数を更新する。本実施の形態で採用されるＱ学習は、ある環境状態ｓの下で、行動ａを選択することへの価値であるＱ値（Ｑ（ｓ，ａ））を学習する方法である。なお、環境状態ｓ_ｔは、上記のフローの状態変数に相当する。そして、Ｑ学習では、ある環境状態ｓのときに、Ｑ（ｓ，ａ）の最も高い行動ａが選択される。Ｑ学習では、試行錯誤により、ある環境状態ｓの下で様々な行動ａをとり、そのときの報酬を用いて正しいＱ（ｓ，ａ）が学習される。行動価値関数Ｑ（ｓ_ｔ，ａ_ｔ）の更新式は以下の式（１）で示される。

【0091】

【数1】

【0092】

ここで、ｓ_ｔ，ａ_ｔは、それぞれ、時刻ｔにおける環境状態と行動とを表す。行動ａ_ｔにより、環境状態はｓ_ｔ＋１に変化し、その環境状態の変化によって、報酬ｒ_ｔ＋１が算出される。また、ｍａｘの付いた項は、環境状態ｓ_ｔ＋１の下で、その時に分かっている最も価値の高い行動ａを選んだ場合のＱ値（Ｑ（ｓ_ｔ＋１，ａ））にγを掛けたものである。ここで、γは割引率であり、０＜γ≦１（通常は０．９～０．９９）の値をとる。αは学習係数であり、０＜α≦１（通常は０．１程度）の値をとる。

【0093】

この更新式は、状態ｓにおける行動ａのＱ値であるＱ（ｓ_ｔ，ａ_ｔ）よりも、行動ａによる次の環境状態ｓ_ｔ＋１における最良の行動をとったときのＱ値に基づくγ・ｍａｘＱ（ｓ_ｔ＋１，ａ）の方が大きければ、Ｑ（ｓ_ｔ，ａ_ｔ）を大きくする。一方、この更新式は、Ｑ（ｓ_ｔ，ａ_ｔ）よりもγ・ｍａｘＱ（ｓ_ｔ＋１，ａ）の方が小さければ、Ｑ（ｓ_ｔ，ａ_ｔ）を小さくする。つまり、ある状態ｓ_ｔにおけるある行動ａの価値を、それによる次の状態ｓ_ｔ＋１における最良の行動の価値に近づけるようにしている。これにより、ワーク５４５を成膜するのに最適な状態、つまり、少なくとも一つの最適な成膜条件が決定される。

【0094】

ステップＳ１１の処理が終了すると、処理はステップＳ２に戻り、選択済みの成膜条件の設定値が変更されたり、未選択の成膜条件が次の成膜条件として選択されたりして、同様にして行動価値関数が更新される。更新部１２０は、行動価値関数を更新したが、本発明はこれに限定されず、行動価値テーブルを更新してもよい。

【0095】

Ｑ（ｓ，ａ）は、全ての状態と行動とのペア（ｓ，ａ）に対する値がテーブル形式で保存されてもよい。或いは、Ｑ（ｓ，ａ）は、全ての状態と行動とのペア（ｓ，ａ）に対する値を近似する近似関数によって表されてもよい。この近似関数は多層構造のニューラルネットワークにより構成されてもよい。この場合、ニューラルネットワークは、実際に成膜装置３０を動かして得られたデータをリアルタイムで学習し、次の行動に反映させるオンライン学習を行えばよい。これにより、深層強化学習が実現される。

【0096】

従来、成膜装置においては、良好な装飾皮膜が得られるように成膜条件を変化させることによって成膜条件の開発が行われてきた。良好な装飾皮膜を得るためには、装飾皮膜の評価と成膜条件との関係性を見出すことが要求される。しかし、図４に示されるように成膜条件の種類は膨大であるため、このような関係性を規定するには極めて多くの物理モデルが必要となり、物理モデルによってこのような関係性を記述するのは困難であるとの知見が得られた。さらに、このような物理モデルを構築するには、どのパラメータがどの装飾皮膜の評価に影響を与えているのかを人為的に見いだすことも要求され、この構築は困難である。

【0097】

本実施の形態によれば、上述した第１～第６のパラメータのうちの少なくとも１つのパラメータと、成膜の性能評価に関する、膜質特性及び物理的特性のうちの少なくとも１つの物理量とが状態変数として観測される。そして、観測された状態変数に基づいて、成膜条件の決定結果に対する報酬が計算され、計算された報酬に基づいて、状態変数から成膜条件を決定するための行動価値関数が更新され、この更新が繰り返されて報酬が最も多く得られる成膜条件が学習される。このように、本実施の形態は、上述の物理モデルを用いることなく、機械学習により成膜条件が決定される。その結果、本実施の形態は、装飾皮膜に対する適切な成膜条件を容易に決定できる。

【0098】

なお、本発明は以下の変形例が採用できる。

【0099】

（１）図６は、本発明の変形例に係る機械学習システムの全体構成図である。この変形例に係る機械学習システムは、成膜装置３０Ａ単体で構成されている。成膜装置３０Ａは、プロセッサ３２０Ａ、入力部３９１、及びセンサ部３９２を含む。プロセッサ３２０Ａは、機械学習部３７０及び成膜部３８０を含む。機械学習部３７０は、報酬計算部３７１、更新部３７２、決定部３７３、及び学習制御部３７４を含む。報酬計算部３７１～学習制御部３７４は、それぞれ、図２に示す報酬計算部１１０～学習制御部１４０と同じである。状態観測部３８１、成膜実行部３８２、及び入力判定部３８３は、それぞれ図２に示す状態観測部３２１、成膜実行部３２２、及び入力判定部３２３と同じである。入力部３９１及びセンサ部３９２は、それぞれ図２に示す入力部３５０及びセンサ部３４０と同じである。本変形例において状態観測部３８１は、状態情報を取得する状態取得部の一例である。

【0100】

このようにこの変形例に係る機械学習システムによれば、成膜装置３０Ａ単体で最適な成膜条件を学習させることができる。

【0101】

（２）上記のフローでは、成膜運転の終了後に状態変数が観測されていたが、これは一例であり、１回の成膜運転中に状態変数が複数観測されてもよい。例えば、状態変数が瞬時に計測可能なパラメータのみで構成されている場合、１回の成膜運転中に複数の状態変数を観測できる。これにより、学習時間の短縮が図られる。

【0102】

（３）上記実施の形態では成膜装置３０はアークイオンプレーティング法で成膜する装置であったが、本発明はこれに限定されず、蒸着法など他の物理的気相成長法により成膜する装置であってもよい。

【符号の説明】

【0103】

１０ ：サーバ
３０ ：成膜装置
１００ ：プロセッサ
１１０ ：報酬計算部
１２０ ：更新部
１３０ ：決定部
１４０ ：学習制御部
５１０ ：真空排気システム
５２０ ：加熱冷却システム
５３０ ：蒸発源システム
５４０ ：テーブルシステム
５５０ ：プロセスガスシステム
５６０ ：エッチングシステム
５７０ ：チャンバー
５７４ ：学習制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】