特開2023-62867機械学習方法、機械学習装置、機械学習プログラム、通信方法、及び制御装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023062867
(43)【公開日】2023-05-09
(54)【発明の名称】機械学習方法、機械学習装置、機械学習プログラム、通信方法、及び制御装置
(51)【国際特許分類】
B30B 11/00 20060101AFI20230427BHJP
G06N 3/02 20060101ALI20230427BHJP
G06N 20/00 20190101ALI20230427BHJP
【ＦＩ】
B30B11/00 Z
G06N3/02
G06N20/00
B30B11/00 B
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2021173018
(22)【出願日】2021-10-22
(71)【出願人】
【識別番号】000001199
【氏名又は名称】株式会社神戸製鋼所
(74)【代理人】
【識別番号】100115381
【弁理士】
【氏名又は名称】小谷 昌崇
(74)【代理人】
【識別番号】100178582
【弁理士】
【氏名又は名称】行武 孝
(72)【発明者】
【氏名】伊藤 洋行
(72)【発明者】
【氏名】南野 友哉
(72)【発明者】
【氏名】白樫 浩
(72)【発明者】
【氏名】岸 新和
(72)【発明者】
【氏名】溝上 忠孝
(72)【発明者】
【氏名】宮下 泰秀
(57)【要約】
【課題】被処理物に対する適切なＣＩＰ処理条件を容易に決定する。
【解決手段】被処理物に関する少なくとも１つの物理量と、少なくとも１つの等方圧加圧処理条件とを含む状態変数に基づいて、等方圧加圧処理条件の決定結果に対する報酬を計算し、状態変数から少なくとも１つの等方圧加圧処理条件を決定するための関数を、報酬に基づいて更新し、関数の更新を繰り返すことによって、報酬が最も多く得られる等方圧加圧処理条件を決定する。等方圧加圧処理条件は、被処理物に関する第１パラメータと、等方圧加圧処理の前工程に関する第２パラメータと、等方圧加圧装置の運転条件に関する第３パラメータとのうちの少なくとも１つであり、少なくとも１つの物理量は、被処理物の緻密化および圧粉体化に関する物理量のうちの少なくとも１つである。
【選択図】図１
【解決手段】被処理物に関する少なくとも１つの物理量と、少なくとも１つの等方圧加圧処理条件とを含む状態変数に基づいて、等方圧加圧処理条件の決定結果に対する報酬を計算し、状態変数から少なくとも１つの等方圧加圧処理条件を決定するための関数を、報酬に基づいて更新し、関数の更新を繰り返すことによって、報酬が最も多く得られる等方圧加圧処理条件を決定する。等方圧加圧処理条件は、被処理物に関する第１パラメータと、等方圧加圧処理の前工程に関する第２パラメータと、等方圧加圧装置の運転条件に関する第３パラメータとのうちの少なくとも１つであり、少なくとも１つの物理量は、被処理物の緻密化および圧粉体化に関する物理量のうちの少なくとも１つである。
【選択図】図１
【特許請求の範囲】
【請求項1】
被処理物に圧媒を用いて等方圧加圧処理を行う等方圧加圧システムの等方圧加圧処理条件を機械学習装置が決定する機械学習方法であって、
前記等方圧加圧システムは、
前記被処理物を格納する圧力容器を含み、冷間等方圧加圧装置または温間等方圧加圧装置からなる等方圧加圧装置と、
前記圧力容器に前記圧媒を供給するための圧縮機と、
前記圧力容器内の圧力を調整することが可能な圧力調整機構と、
前記等方圧加圧装置を制御する制御装置と、を備え、
前記被処理物に関する少なくとも１つの物理量と、少なくとも１つの等方圧加圧処理条件とを含む状態変数を取得し、
前記状態変数に基づいて、前記少なくとも１つの等方圧加圧処理条件の決定結果に対する報酬を計算し、
前記少なくとも１つの等方圧加圧処理条件を変更しながら、前記状態変数から前記少なくとも１つの等方圧加圧処理条件を決定するための関数を、前記報酬に基づいて更新し、
前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる等方圧加圧処理条件を決定し、
前記少なくとも１つの等方圧加圧処理条件は、前記被処理物に関する第１パラメータと、
前記等方圧加圧処理の前工程に関する第２パラメータと、
前記等方圧加圧装置の運転条件に関する第３パラメータと、のうちの少なくとも１つであり、
前記少なくとも１つの物理量は、前記被処理物の緻密化および圧粉体化に関する物理量のうちの少なくとも１つである、
機械学習方法。
前記等方圧加圧システムは、
前記被処理物を格納する圧力容器を含み、冷間等方圧加圧装置または温間等方圧加圧装置からなる等方圧加圧装置と、
前記圧力容器に前記圧媒を供給するための圧縮機と、
前記圧力容器内の圧力を調整することが可能な圧力調整機構と、
前記等方圧加圧装置を制御する制御装置と、を備え、
前記被処理物に関する少なくとも１つの物理量と、少なくとも１つの等方圧加圧処理条件とを含む状態変数を取得し、
前記状態変数に基づいて、前記少なくとも１つの等方圧加圧処理条件の決定結果に対する報酬を計算し、
前記少なくとも１つの等方圧加圧処理条件を変更しながら、前記状態変数から前記少なくとも１つの等方圧加圧処理条件を決定するための関数を、前記報酬に基づいて更新し、
前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる等方圧加圧処理条件を決定し、
前記少なくとも１つの等方圧加圧処理条件は、前記被処理物に関する第１パラメータと、
前記等方圧加圧処理の前工程に関する第２パラメータと、
前記等方圧加圧装置の運転条件に関する第３パラメータと、のうちの少なくとも１つであり、
前記少なくとも１つの物理量は、前記被処理物の緻密化および圧粉体化に関する物理量のうちの少なくとも１つである、
機械学習方法。
【請求項2】
前記少なくとも１つの等方圧加圧処理条件は、前記第１パラメータを含み、
前記第１パラメータは、前記被処理物の化学成分、組成比、処理量、配置、形状、寸法、かさ密度、真密度の少なくとも１つである、
請求項１記載の機械学習方法。
前記第１パラメータは、前記被処理物の化学成分、組成比、処理量、配置、形状、寸法、かさ密度、真密度の少なくとも１つである、
請求項１記載の機械学習方法。
【請求項3】
前記少なくとも１つの等方圧加圧処理条件は、前記第２パラメータを含み、
前記第２パラメータは、予熱温度、予熱時間、真空包装時の真空度の少なくとも１つである、
請求項１又は２記載の機械学習方法。
前記第２パラメータは、予熱温度、予熱時間、真空包装時の真空度の少なくとも１つである、
請求項１又は２記載の機械学習方法。
【請求項4】
前記少なくとも１つの等方圧加圧処理条件は、前記第３パラメータを含み、
前記第３パラメータは、前記等方圧加圧処理における処理圧力、昇圧速度、減圧速度、圧力保持時間、段階昇圧の有無、段階減圧の有無の少なくとも１つである、
請求項１乃至３のいずれか１項に記載の機械学習方法。
前記第３パラメータは、前記等方圧加圧処理における処理圧力、昇圧速度、減圧速度、圧力保持時間、段階昇圧の有無、段階減圧の有無の少なくとも１つである、
請求項１乃至３のいずれか１項に記載の機械学習方法。
【請求項5】
前記等方圧加圧装置は、前記圧力容器内の圧媒の温度を調整することが可能な温度調整機構を更に備え、
前記制御装置は、前記温度調整機構を更に制御することが可能である、
請求項１乃至４のいずれか１項に記載の機械学習方法。
前記制御装置は、前記温度調整機構を更に制御することが可能である、
請求項１乃至４のいずれか１項に記載の機械学習方法。
【請求項6】
前記等方圧加圧装置は、前記圧力容器内の圧媒の温度を調整することが可能な温度調整機構を更に備え、
前記制御装置は、前記温度調整機構を更に制御することが可能であり、
前記第３パラメータは、前記等方圧加圧処理における処理圧力、昇圧速度、減圧速度、圧力保持時間、段階昇圧の有無、段階減圧の有無、処理温度、処理中昇温速度、処理中降温速度、温度分布の少なくとも１つである、
請求項１乃至４の何れか１項に記載の機械学習方法。
前記制御装置は、前記温度調整機構を更に制御することが可能であり、
前記第３パラメータは、前記等方圧加圧処理における処理圧力、昇圧速度、減圧速度、圧力保持時間、段階昇圧の有無、段階減圧の有無、処理温度、処理中昇温速度、処理中降温速度、温度分布の少なくとも１つである、
請求項１乃至４の何れか１項に記載の機械学習方法。
【請求項7】
前記関数は深層強化学習を用いて更新される、
請求項１乃至６の何れか１項に記載の機械学習方法。
請求項１乃至６の何れか１項に記載の機械学習方法。
【請求項8】
前記報酬の計算では、前記少なくとも１つの物理量が各物理量に対応する所定の基準値に近づいている場合、前記報酬を増大させる、
請求項１乃至７の何れか１項に記載の機械学習方法。
請求項１乃至７の何れか１項に記載の機械学習方法。
【請求項9】
被処理物に圧媒を用いて等方圧加圧処理を行う等方圧加圧システムの等方圧加圧処理条件を決定する機械学習装置であって、
前記等方圧加圧システムは、
前記被処理物を格納する圧力容器を含み、冷間等方圧加圧装置または温間等方圧加圧装置からなる等方圧加圧装置と、
前記圧力容器に前記圧媒を供給するための圧縮機と、
前記圧力容器内の圧力を調整することが可能な圧力調整機構と、
前記等方圧加圧装置を制御する制御装置と、を備え、
前記機械学習装置は、
前記被処理物に関する少なくとも１つの物理量と、少なくとも１つの等方圧加圧処理条件とを含む状態変数を取得する状態取得部と、
前記状態変数に基づいて、前記少なくとも１つの等方圧加圧処理条件の決定結果に対する報酬を計算する報酬計算部と、
前記少なくとも１つの等方圧加圧処理条件を変更しながら、前記状態変数から前記少なくとも１つの等方圧加圧処理条件を決定するための関数を、前記報酬に基づいて更新する更新部と、
前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる等方圧加圧処理条件を決定する決定部と、を備え、
前記少なくとも１つの等方圧加圧処理条件は、前記被処理物に関する第１パラメータと、
前記等方圧加圧処理の前工程に関する第２パラメータと、
前記等方圧加圧装置の運転条件に関する第３パラメータと、
のうちの少なくとも１つであり、
前記少なくとも１つの物理量は、前記被処理物の緻密化および圧粉体化に関する物理量のうちの少なくとも１つである、
機械学習装置。
前記等方圧加圧システムは、
前記被処理物を格納する圧力容器を含み、冷間等方圧加圧装置または温間等方圧加圧装置からなる等方圧加圧装置と、
前記圧力容器に前記圧媒を供給するための圧縮機と、
前記圧力容器内の圧力を調整することが可能な圧力調整機構と、
前記等方圧加圧装置を制御する制御装置と、を備え、
前記機械学習装置は、
前記被処理物に関する少なくとも１つの物理量と、少なくとも１つの等方圧加圧処理条件とを含む状態変数を取得する状態取得部と、
前記状態変数に基づいて、前記少なくとも１つの等方圧加圧処理条件の決定結果に対する報酬を計算する報酬計算部と、
前記少なくとも１つの等方圧加圧処理条件を変更しながら、前記状態変数から前記少なくとも１つの等方圧加圧処理条件を決定するための関数を、前記報酬に基づいて更新する更新部と、
前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる等方圧加圧処理条件を決定する決定部と、を備え、
前記少なくとも１つの等方圧加圧処理条件は、前記被処理物に関する第１パラメータと、
前記等方圧加圧処理の前工程に関する第２パラメータと、
前記等方圧加圧装置の運転条件に関する第３パラメータと、
のうちの少なくとも１つであり、
前記少なくとも１つの物理量は、前記被処理物の緻密化および圧粉体化に関する物理量のうちの少なくとも１つである、
機械学習装置。
【請求項10】
被処理物に圧媒を用いて等方圧加圧処理を行う等方圧加圧システムの等方圧加圧処理条件を決定する機械学習装置の学習プログラムであって、
前記等方圧加圧システムは、
前記被処理物を格納する圧力容器を含み、冷間等方圧加圧装置または温間等方圧加圧装置からなる等方圧加圧装置と、
前記圧力容器に前記圧媒を供給するための圧縮機と、
前記圧力容器内の圧力を調整することが可能な圧力調整機構と、
前記等方圧加圧装置を制御する制御装置と、を備え、
前記被処理物に関する少なくとも１つの物理量と、少なくとも１つの等方圧加圧処理条件とを含む状態変数を取得する状態取得部と、
前記状態変数に基づいて、前記少なくとも１つの等方圧加圧処理条件の決定結果に対する報酬を計算する報酬計算部と、
前記少なくとも１つの等方圧加圧処理条件を変更しながら、前記状態変数から前記少なくとも１つの等方圧加圧処理条件を決定するための関数を、前記報酬に基づいて更新する更新部と、
前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる等方圧加圧処理条件を決定する決定部としてコンピュータを機能させ、
前記少なくとも１つの等方圧加圧処理条件は、前記被処理物に関する第１パラメータと、
前記等方圧加圧処理の前工程に関する第２パラメータと、
前記等方圧加圧装置の運転条件に関する第３パラメータと、
のうちの少なくとも１つであり、
前記少なくとも１つの物理量は、前記被処理物の緻密化および圧粉体化に関する物理量のうちの少なくとも１つである、
機械学習プログラム。
前記等方圧加圧システムは、
前記被処理物を格納する圧力容器を含み、冷間等方圧加圧装置または温間等方圧加圧装置からなる等方圧加圧装置と、
前記圧力容器に前記圧媒を供給するための圧縮機と、
前記圧力容器内の圧力を調整することが可能な圧力調整機構と、
前記等方圧加圧装置を制御する制御装置と、を備え、
前記被処理物に関する少なくとも１つの物理量と、少なくとも１つの等方圧加圧処理条件とを含む状態変数を取得する状態取得部と、
前記状態変数に基づいて、前記少なくとも１つの等方圧加圧処理条件の決定結果に対する報酬を計算する報酬計算部と、
前記少なくとも１つの等方圧加圧処理条件を変更しながら、前記状態変数から前記少なくとも１つの等方圧加圧処理条件を決定するための関数を、前記報酬に基づいて更新する更新部と、
前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる等方圧加圧処理条件を決定する決定部としてコンピュータを機能させ、
前記少なくとも１つの等方圧加圧処理条件は、前記被処理物に関する第１パラメータと、
前記等方圧加圧処理の前工程に関する第２パラメータと、
前記等方圧加圧装置の運転条件に関する第３パラメータと、
のうちの少なくとも１つであり、
前記少なくとも１つの物理量は、前記被処理物の緻密化および圧粉体化に関する物理量のうちの少なくとも１つである、
機械学習プログラム。
【請求項11】
被処理物に圧媒を用いて等方圧加圧処理を行う等方圧加圧システムの等方圧加圧処理条件を機械学習する際の前記等方圧加圧システムの制御装置の通信方法であって、
前記等方圧加圧システムは、
前記被処理物を格納する圧力容器を含み、冷間等方圧加圧装置または温間等方圧加圧装置からなる等方圧加圧装置と、
前記圧力容器に前記圧媒を供給するための圧縮機と、
前記圧力容器内の圧力を調整することが可能な圧力調整機構と、
前記制御装置と、を備え、
前記制御装置は、前記被処理物に関する少なくとも１つの物理量と、少なくとも１つの等方圧加圧処理条件とを含む状態変数を観測し、
前記制御装置は、前記状態変数をネットワークを介してサーバに送信し、機械学習済みの少なくとも１つの等方圧加圧処理条件を前記サーバから受信し、
前記少なくとも１つの等方圧加圧処理条件は、前記サーバが、前記状態変数に基づいて、前記少なくとも１つの等方圧加圧処理条件の決定結果に対する報酬を計算し、前記少なくとも１つの等方圧加圧処理条件を変更させながら、前記状態変数から前記少なくとも１つの等方圧加圧処理条件を決定するための関数を、前記報酬に基づいて更新し、前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる等方圧加圧処理条件を決定することによって生成されたものであり、
前記少なくとも１つの等方圧加圧処理条件は、前記被処理物に関する第１パラメータと、
前記等方圧加圧処理の前工程に関する第２パラメータと、
前記等方圧加圧装置の運転条件に関する第３パラメータと、
のうちの少なくとも１つであり、
前記少なくとも１つの物理量は、前記被処理物の緻密化および圧粉体化に関する物理量のうちの少なくとも１つである、
通信方法。
前記等方圧加圧システムは、
前記被処理物を格納する圧力容器を含み、冷間等方圧加圧装置または温間等方圧加圧装置からなる等方圧加圧装置と、
前記圧力容器に前記圧媒を供給するための圧縮機と、
前記圧力容器内の圧力を調整することが可能な圧力調整機構と、
前記制御装置と、を備え、
前記制御装置は、前記被処理物に関する少なくとも１つの物理量と、少なくとも１つの等方圧加圧処理条件とを含む状態変数を観測し、
前記制御装置は、前記状態変数をネットワークを介してサーバに送信し、機械学習済みの少なくとも１つの等方圧加圧処理条件を前記サーバから受信し、
前記少なくとも１つの等方圧加圧処理条件は、前記サーバが、前記状態変数に基づいて、前記少なくとも１つの等方圧加圧処理条件の決定結果に対する報酬を計算し、前記少なくとも１つの等方圧加圧処理条件を変更させながら、前記状態変数から前記少なくとも１つの等方圧加圧処理条件を決定するための関数を、前記報酬に基づいて更新し、前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる等方圧加圧処理条件を決定することによって生成されたものであり、
前記少なくとも１つの等方圧加圧処理条件は、前記被処理物に関する第１パラメータと、
前記等方圧加圧処理の前工程に関する第２パラメータと、
前記等方圧加圧装置の運転条件に関する第３パラメータと、
のうちの少なくとも１つであり、
前記少なくとも１つの物理量は、前記被処理物の緻密化および圧粉体化に関する物理量のうちの少なくとも１つである、
通信方法。
【請求項12】
被処理物に圧媒を用いて等方圧加圧処理を行う等方圧加圧システムの制御装置であって、
前記等方圧加圧システムは、
前記被処理物を格納する圧力容器を含み、冷間等方圧加圧装置または温間等方圧加圧装置からなる等方圧加圧装置と、
前記圧力容器に前記圧媒を供給するための圧縮機と、
前記圧力容器内の圧力を調整することが可能な圧力調整機構と、
前記被処理物に関する少なくとも１つの物理量と、少なくとも１つの等方圧加圧処理条件とを含む状態変数を観測する状態観測部と、
前記状態変数をネットワークを介してサーバに送信し、機械学習済みの少なくとも１つの等方圧加圧処理条件を前記サーバから受信する通信部と、を備え、
前記少なくとも１つの等方圧加圧処理条件は、前記サーバが、前記状態変数に基づいて、前記少なくとも１つの等方圧加圧処理条件の決定結果に対する報酬を計算し、前記少なくとも１つの等方圧加圧処理条件を変更させながら、前記状態変数から前記少なくとも１つの等方圧加圧処理条件を決定するための関数を、前記報酬に基づいて更新し、前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる等方圧加圧処理条件を決定することによって生成されたものであり、
前記少なくとも１つの等方圧加圧処理条件は、前記被処理物に関する第１パラメータと、
前記等方圧加圧処理の前工程に関する第２パラメータと、
前記等方圧加圧装置の運転条件に関する第３パラメータと、
のうちの少なくとも１つであり、
前記少なくとも１つの物理量は、前記被処理物の緻密化および圧粉体化に関する物理量のうちの少なくとも１つである、
制御装置。
前記等方圧加圧システムは、
前記被処理物を格納する圧力容器を含み、冷間等方圧加圧装置または温間等方圧加圧装置からなる等方圧加圧装置と、
前記圧力容器に前記圧媒を供給するための圧縮機と、
前記圧力容器内の圧力を調整することが可能な圧力調整機構と、
前記被処理物に関する少なくとも１つの物理量と、少なくとも１つの等方圧加圧処理条件とを含む状態変数を観測する状態観測部と、
前記状態変数をネットワークを介してサーバに送信し、機械学習済みの少なくとも１つの等方圧加圧処理条件を前記サーバから受信する通信部と、を備え、
前記少なくとも１つの等方圧加圧処理条件は、前記サーバが、前記状態変数に基づいて、前記少なくとも１つの等方圧加圧処理条件の決定結果に対する報酬を計算し、前記少なくとも１つの等方圧加圧処理条件を変更させながら、前記状態変数から前記少なくとも１つの等方圧加圧処理条件を決定するための関数を、前記報酬に基づいて更新し、前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる等方圧加圧処理条件を決定することによって生成されたものであり、
前記少なくとも１つの等方圧加圧処理条件は、前記被処理物に関する第１パラメータと、
前記等方圧加圧処理の前工程に関する第２パラメータと、
前記等方圧加圧装置の運転条件に関する第３パラメータと、
のうちの少なくとも１つであり、
前記少なくとも１つの物理量は、前記被処理物の緻密化および圧粉体化に関する物理量のうちの少なくとも１つである、
制御装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、等方圧加圧装置の等方圧加圧条件を機械学習する技術に関するものである。
【背景技術】
【0002】
従来、超硬セラミックなどの粉体からなる被処理物を加圧して圧縮成形することを目的として、ＣＩＰ法（Ｃｏｌｄ Ｉｓｏｓｔａｔｉｃ Ｐｒｅｓｓｉｎｇ法：冷間等方圧加圧方法）やＷＩＰ法（Ｗａｒｍ Ｉｓｏｓｔａｔｉｃ Ｐｒｅｓｓｉｎｇ法：温間等方圧加圧方法）を用いて、被処理物に加圧処理を施す加圧装置（ＣＩＰ装置：等方圧加圧装置）が知られている（例えば、特許文献１）。このような加圧装置では、筒状の圧力容器内に被処理物が収容され、前記圧力容器内に水などの圧力媒体が封入されることで、加圧処理が施される。このような加圧処理において高品質なＣＩＰ処理品を得るためには、加圧条件等のＣＩＰ処理条件を適切に決定することが要求される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平８－２５２６９５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来、ＣＩＰ処理条件は、蓄積された実験データをもとに決定されているため、被処理物に対する適切なＣＩＰ処理条件を容易に決定することが困難であった。
【0005】
本発明の目的は、被処理物に対する適切なＣＩＰ処理条件を効率的に導くことができる機械学習方法などを提供することにある。
【課題を解決するための手段】
【0006】
本発明の一態様に係る機械学習方法は、被処理物に圧媒を用いて等方圧加圧処理を行う等方圧加圧システムの等方圧加圧処理条件を機械学習装置が決定する機械学習方法であって、前記等方圧加圧装置は、前記被処理物を格納する圧力容器を含み、冷間等方圧加圧装置または温間等方圧加圧装置からなる等方圧加圧装置と、前記圧力容器に前記圧媒を供給するための圧縮機と、前記圧力容器内の圧力を調整することが可能な圧力調整機構と、前記等方圧加圧装置を制御する制御装置と、を備え、前記被処理物に関する少なくとも１つの物理量と、少なくとも１つの等方圧加圧処理条件とを含む状態変数を取得し、前記状態変数に基づいて、前記少なくとも１つの等方圧加圧処理条件の決定結果に対する報酬を計算し、前記少なくとも１つの等方圧加圧処理条件を変更しながら、前記状態変数から前記少なくとも１つの等方圧加圧処理条件を決定するための関数を、前記報酬に基づいて更新し、前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる等方圧加圧処理条件を決定し、前記少なくとも１つの等方圧加圧処理条件は、前記被処理物に関する第１パラメータと、前記等方圧加圧処理の前工程に関する第２パラメータと、前記等方圧加圧装置の運転条件に関する第３パラメータと、のうちの少なくとも１つであり、前記少なくとも１つの物理量は、前記被処理物の緻密化および圧粉体化に関する物理量のうちの少なくとも１つである。
【0007】
本態様によれば、被処理物に関する第１パラメータと、等方圧加圧処理の前工程に関する第２パラメータと、等方圧加圧装置の運転条件に関する第３パラメータとのうちの少なくとも１つが状態変数として取得される。さらに、被処理物について緻密化および圧粉体化に関する物理量のうちの少なくとも１つの物理量が状態変数として取得される。
【0008】
そして、取得された状態変数に基づいて、等圧加圧処理条件の決定結果に対する報酬が計算され、計算された報酬に基づいて、状態変数から等方圧加圧処理条件を決定するための関数が更新され、この更新が繰り返されて報酬が最も多く得られる等方圧加圧処理条件が学習される。このため、等方圧加圧処理条件を効率的に導くことができる。
【0009】
上記機械学習方法において、前記少なくとも１つの等方圧加圧処理条件は、前記第１パラメータを含み、前記第１パラメータは、前記被処理物の化学成分、組成比、処理量、配置、形状、寸法、かさ密度、真密度の少なくとも１つであってもよい。
【0010】
本態様によれば、前記第１パラメータとして、前記被処理物の化学成分、組成比、処理量、配置、形状、寸法、かさ密度、真密度の少なくとも１つが被処理物に関する状態変数として取得されて機械学習が行われるため、被処理物の状態を考慮に入れて適切な等方圧加圧処理条件を決定できる。
【0011】
上記機械学習方法において、前記少なくとも１つの等方圧加圧処理条件は、前記第２パラメータを含み、前記第２パラメータは、予熱温度、予熱時間、真空包装時の真空度の少なくとも１つであってもよい。
【0012】
本態様によれば、前記第２パラメータとして、予熱温度、予熱時間、真空包装時の真空度の少なくとも１つが前工程に関する状態変数として取得されて機械学習が行われるため、等方圧加圧処理の前工程の状態を考慮に入れて適切な等方圧加圧処理条件を決定できる。
【0013】
上記機械学習方法において、前記少なくとも１つの等方圧加圧処理条件は、前記第３パラメータを含み、前記第３パラメータは、前記等方圧加圧処理における処理圧力、昇圧速度、減圧速度、圧力保持時間、段階昇圧の有無、段階減圧の有無の少なくとも１つであってもよい。
【0014】
本態様によれば、前記第３パラメータとして、等方圧加圧処理における処理圧力、昇圧速度、減圧速度、圧力保持時間、段階昇圧の有無、段階減圧の有無の少なくとも１つが運転条件に関する状態変数として取得されて機械学習が行われるため、運転条件を考慮に入れて適切な等方圧加圧処理条件を決定できる。
【0015】
上記機械学習方法において、前記等方圧加圧装置は、前記圧力容器内の圧媒の温度を調整することが可能な温度調整機構を更に備え、前記制御装置は、前記温度調整機構を更に制御することが可能であってもよい。また、前記第３パラメータは、前記等方圧加圧処理における処理圧力、昇圧速度、減圧速度、圧力保持時間、段階昇圧の有無、段階減圧の有無、処理温度、処理中昇温速度、処理中降温速度、温度分布の少なくとも１つであってもよい。
【0016】
本態様によれば、温度調整機構によって圧力容器内の温度を調整することで、被処理物の特性を好適に変化させることができる。また、第３パラメータとして、処理温度、処理中昇温速度、処理中降温速度、温度分布の少なくとも１つが運転条件に関する状態変数として取得されて機械学習が行われる場合には、当該運転条件を考慮に入れて適切な等方圧加圧処理条件を決定できる。
【0017】
上記機械学習方法において、前記関数は深層強化学習を用いて更新されてもよい。
【0018】
本態様によれば、関数の更新が深層強化学習を用いて行われるため、当該関数の更新を正確かつ速やかに行うことができる。このため、等方圧加圧処理条件をより効率的に導くことができる。
【0019】
上記機械学習方法において、前記報酬の計算では、前記少なくとも１つの物理量が各物理量に対応する所定の基準値に近づいている場合、前記報酬を増大させてもよい。
【0020】
この構成によれば、物理量が基準値に近づくにつれて報酬が増大されるため、物理量を速やかに基準値に到達させることができる。
【0021】
なお、本発明において、上記の機械学習方法が備える各処理は機械学習装置に実装されてもよいし、機械学習プログラムとして実装されて流通されてもよい。この機械学習装置は、サーバで構成されてもよいし、等方圧加圧装置で構成されてもよい。
【0022】
本発明の別の一態様に係る通信方法は、被処理物に圧媒を用いて等方圧加圧処理を行う等方圧加圧システムの等方圧加圧処理条件を機械学習する際の前記等方圧加圧装置の制御装置の通信方法であって、前記等方圧加圧装置は、前記被処理物を格納する圧力容器を含み、冷間等方圧加圧装置または温間等方圧加圧装置からなる等方圧加圧装置と、前記圧力容器に前記圧媒を供給するための圧縮機と、前記圧力容器内の圧力を調整することが可能な圧力調整機構と、前記制御装置と、を備え、前記制御装置は、前記被処理物に関する少なくとも１つの物理量と、少なくとも１つの等方圧加圧処理条件とを含む状態変数を観測し、前記制御装置は、前記状態変数をネットワークを介してサーバに送信し、機械学習済みの少なくとも１つの等方圧加圧処理条件を前記サーバから受信し、前記少なくとも１つの等方圧加圧処理条件は、前記サーバが、前記状態変数に基づいて、前記少なくとも１つの等方圧加圧処理条件の決定結果に対する報酬を計算し、前記少なくとも１つの等方圧加圧処理条件を変更させながら、前記状態変数から前記少なくとも１つの等方圧加圧処理条件を決定するための関数を、前記報酬に基づいて更新し、前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる等方圧加圧処理条件を決定することによって生成されたものであり、前記少なくとも１つの等方圧加圧処理条件は、前記被処理物に関する第１パラメータと、前記等方圧加圧処理の前工程に関する第２パラメータと、前記等方圧加圧装置の運転条件に関する第３パラメータと、のうちの少なくとも１つであり、前記少なくとも１つの物理量は、前記被処理物の緻密化および圧粉体化関する物理量のうちの少なくとも１つである。
【0023】
本態様によれば、等方圧加圧処理条件を機械学習する際に必要な情報が提供される。このような通信方法は、等方圧加圧装置にも実装可能である。
【0024】
また、本発明の別の一態様に係る制御装置は、被処理物に圧媒を用いて等方圧加圧処理を行う等方圧加圧システムの制御装置であって、前記等方圧加圧装置は、前記被処理物を格納する圧力容器を含み、冷間等方圧加圧装置または温間等方圧加圧装置からなる等方圧加圧装置と、前記圧力容器に前記圧媒を供給するための圧縮機と、前記圧力容器内の圧力を調整することが可能な圧力調整機構と、前記被処理物に関する少なくとも１つの物理量と、少なくとも１つの等方圧加圧処理条件とを含む状態変数を観測する状態観測部と、前記状態変数をネットワークを介してサーバに送信し、機械学習済みの少なくとも１つの等方圧加圧処理条件を前記サーバから受信する通信部と、を備え、前記少なくとも１つの等方圧加圧処理条件は、前記サーバが、前記状態変数に基づいて、前記少なくとも１つの等方圧加圧処理条件の決定結果に対する報酬を計算し、前記少なくとも１つの等方圧加圧処理条件を変更させながら、前記状態変数から前記少なくとも１つの等方圧加圧処理条件を決定するための関数を、前記報酬に基づいて更新し、前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる等方圧加圧処理条件を決定することによって生成されたものであり、前記少なくとも１つの等方圧加圧処理条件は、前記被処理物に関する第１パラメータと、前記等方圧加圧処理の前工程に関する第２パラメータと、前記等方圧加圧装置の運転条件に関する第３パラメータと、のうちの少なくとも１つであり、前記少なくとも１つの物理量は、前記被処理物の緻密化および圧粉体化に関する物理量のうちの少なくとも１つである。
【発明の効果】
【0025】
本発明によれば被処理物に対する適切な等方圧加圧処理条件を効率的に導くことができる。
【図面の簡単な説明】
【0026】
【図1】本発明の一実施形態において学習対象となるＣＩＰシステムの全体構成図である。
【図2】本発明の一実施形態におけるＣＩＰシステムを機械学習させる機械学習システムの全体構成図である。
【図3】ＣＩＰ処理条件の一例を示す図である。
【図4】ＣＩＰ処理中の圧力容器内の圧力及び温度の推移の一例を示すグラフである。
【図5】被処理物の物理量の一例を示す図である。
【図6】被処理物の物理量の一例を示す図である。
【図7】被処理物の物理量の一例を示す図である。
【図9】本発明の変形実施形態に係る機械学習システムの全体構成図である。
【発明を実施するための形態】
【0027】
以下、図面を参照して、本発明の一実施形態に係るＣＩＰ装置１００（等方圧加圧装置、冷間等方圧加圧装置、温間等方圧加圧装置）を含むＣＩＰシステム１００Ｓについて説明する。図１は、本発明の一実施形態において学習対象となるＣＩＰシステム１００Ｓの全体構成図である。図２は、本実施形態におけるＣＩＰシステム１００Ｓを機械学習させる機械学習システムの全体構成図である。ＣＩＰシステム１００Ｓは、被処理物に対して圧力媒体を用いて等方圧加圧処理を行う。特に、本実施形態では、ＣＩＰシステム１００Ｓは、湿式冷間等方圧加圧処理を行う。
【0028】
なお、以下の説明では、処理対象である被処理物をセラミックスなどの粉体としているが、被処理物は、このような粉体以外のものであってもよい。
【0029】
ＣＩＰシステム１００Ｓは、圧力容器１を含むＣＩＰ装置１００と、給排水ユニット３１と、ポンプユニット３２と、加熱ジャケット３３と、後記の制御装置８００とを備える。
【0030】
ＣＩＰ装置１００は、冷間等方圧加圧装置または温間等方圧加圧装置からなる。圧力容器１は、被処理物を格納する。ＣＩＰ装置１００は、被処理物Ｗに対して、等方圧加圧処理を施す。圧力容器１は、筒形状を有しており、単一の円筒体、あるいは、内・外多重の円筒体を焼嵌め等して構成される。圧力容器１は、その胴部が架台２に固着されて上下方向に沿って縦置きとされている。圧力容器１の上下端部はそれぞれ開口されており、上開口部１Ａ、下開口部１Ｂが形成されている。上開口部１Ａおよび下開口部１Ｂにはそれぞれ液密パッキンを有する上蓋３および下蓋４が嵌合され、圧力容器１内に処理室５（処理空間）が画定されている。
【0031】
給排水ユニット３１は、この処理室５内に液体（水）の圧力媒体を導入するとともに、処理室５から液体を排出する。本実施形態では、圧力媒体として水、冷水、温水が使用される。給排水ユニット３１は、本発明の圧縮機として機能する。具体的に、給排水ユニット３１は、供給用の供給用ポンプ３１Ａと、排出用ポンプ３１Ｂを備え、その回路途中に切換弁３１Ｃを有している。処理室５内には被処理物Ｗが収容されており、該被処理物Ｗはポンプユニット３２（図２）の駆動による加圧で圧力媒体により等方的に加圧可能であるとともに、該加圧時に上蓋３および下蓋４に発生する軸力をプレスフレーム８で担持可能としている。
【0032】
本実施形態では、処理室５に圧力媒体が供給されると同時に、ポンプユニット３２によって圧力媒体が加圧される。ポンプユニット３２は、本発明の圧力調整機構として機能する。ポンプユニット３２は、圧力容器１内の圧力を調整することが可能である。
【0033】
なお、被処理物Ｗはこれがセラミックス等の粉体のときはゴム型に詰込まれている。プレスフレーム８は上蓋３および下蓋４に対して係脱自在であり、図１では、伸縮シリンダ９によってレール１０上を往復走行する台車１１に、開口を有するフレーム要素８Ａを積層してタイロッド８Ｂで締結したプレスフレーム８が例示されている。
【0034】
また、プレスフレーム８の上部には上蓋３の開閉用に伸縮シリンダ１２が備えられ、該シリンダ１２の伸縮動作で上蓋３は上開口部１Ａに対して嵌脱自在とされる。このため、プレスフレーム８の上部内周端板１３と上蓋３の上端面との間に周外のシリンダによって出入自在なコッター部材１４が備えられ、ここに、該コッター部材１４を退出した状態で上蓋３を上開口部１Ａより抜出し、プレスフレーム８を図１の鎖線で示すように離脱可能であり、被処理物Ｗを処理室５に収めた後は、プレスフレーム８を再び進出させ、かつ、コッター部材１４を介入することでプレス軸力が担持可能とされる。
【0035】
加熱ジャケット３３（図２）は、圧力容器１の外側に配置されており、外部の加熱ユニットにて加熱された熱媒体を加熱ジャケット３３に循環させて圧力容器１内の圧力媒体を加熱することで、被処理物Ｗに対する加圧処理前または加圧処理中に、被処理物を予熱または加熱することができる。また、加熱ジャケット３３に循環させる熱媒体の温度は、熱媒体を加熱する不図示の加熱ユニットの熱電対にて測温可能であり、その温度検出結果に応じて発熱量が調整可能とされている。加熱ジャケット３３は、本発明の温度調整機構として機能する。すなわち、加熱ジャケット３３は、圧力容器１内の圧力媒体の温度を調整することが可能である。なお、本実施形態において圧力容器１内の圧力媒体の温度は、公知のＨＩＰ（Ｈｏｔ Ｉｓｏｓｔａｔｉｃ Ｐｒｅｓｓｉｎｇ）装置における圧媒の温度（数１００度～２０００度の高温）よりは低く、一例として１００度以下である。圧力媒体として、常温の水が使用される場合は、一例として、その温度は２０度前後である。
【0036】
制御装置８００は、給排水ユニット３１、ポンプユニット３２、加熱ジャケット３３、ＣＩＰ装置１００の駆動機構、駆動シリンダおよび加熱ユニットなどの動作を制御する。制御装置８００は、不図示の操作パネルを有している。制御装置８００は、コンピュータで構成され、ＣＩＰ装置１００の全体制御を司る。
【0037】
上記のようなＣＩＰ装置１００において、被処理物Ｗに対して等方圧加圧処理を施す場合、まず、圧力容器１含むＣＩＰ装置１００が準備される（準備工程）。作業者は、圧力容器１内にセラミックス粉体などの被処理物Ｗを収容する（被処理物収容工程）。この際、加熱ジャケット３３によって圧力容器１内の圧媒（または被処理物）をたとえば８０℃前後に加温（予熱）してもよい。
【0038】
次に、作業者の操作指令を受けて制御装置８００が給排水ユニット３１を制御し、給排水ユニット３１から圧力容器１の処理室５内に常温（たとえば２０℃）の水が供給される。水は、圧力容器１の処理室５を満たすまで充填される。
【0039】
次に、制御装置８００は、ポンプユニット３２を制御して、処理空間内の水を加圧する（等方圧加圧処理、加圧処理工程）。この際、加圧により処理空間内の水の体積が減少するため、常温の水が追加補給されることが望ましい。圧力容器１内の被処理物Ｗに高い圧力が所定の時間付与されることで、セラミックスの粉体がゴム型の形状に応じて成形される。なお、上記の加圧中に、加熱ジャケット３３によって圧力容器１内の圧媒（被処理物）を加温してもよい。
【0040】
加圧処理が終了すると、処理空間に対する減圧処理が施される。具体的に、圧力容器１から圧力媒体が排出され、圧力容器１内が減圧される（減圧処理工程）。
【0041】
その後、プレスフレーム８が、図１の二点鎖線の位置に移動され、作業者は、圧力容器１から加圧処理後の被処理物Ｗを取り出す。
【0042】
図２を参照して、機械学習システム（機械学習装置）は、図１で説明した制御装置８００に加えてサーバ９００（管理装置）及び通信装置７００を含む。サーバ９００及び通信装置７００はネットワークＮＴ１を介して相互に通信可能に接続されている。通信装置７００及び制御装置８００はネットワークＮＴ２を介して相互に通信可能に接続されている。ネットワークＮＴ１は、例えばインターネットなどの広域通信網である。ネットワークＮＴ２は、例えばローカルエリアネットワークである。サーバ９００は、例えば１以上のコンピュータで構成されるクラウドサーバである。通信装置７００は、例えば制御装置８００を使用するユーザが所持するコンピュータである。通信装置７００は、制御装置８００をネットワークＮＴ１に接続するゲートウェイとして機能する。通信装置７００は、ユーザ自身が所持するコンピュータに専用のアプリケーションソフトウェアをインストールすることで実現される。或いは通信装置７００は、ＣＩＰ装置１００の製造メーカがユーザに提供する専用の装置であってもよい。制御装置８００は、前述のように図１で説明したＣＩＰ装置１００を制御する制御装置である。
【0043】
以下、各装置の構成を具体的に説明する。サーバ９００は、プロセッサ９１０及び通信部９２０を含む。プロセッサ９１０は、ＣＰＵなどを含む制御装置である。プロセッサ９１０は、報酬計算部９１１、更新部９１２、決定部９１３、及び学習制御部９１４を含む。プロセッサ９１０が備える各ブロックは、コンピュータを機械学習システムにおけるサーバ９００として機能させる機械学習プログラムをプロセッサ９１０が実行することで実現されてもよいし、専用の電気回路で実現されてもよい。
【0044】
報酬計算部９１１は、状態観測部８２１が観測した状態変数に基づいて、少なくとも１つのＣＩＰ処理条件の決定結果に対する報酬を計算する。
【0045】
更新部９１２は、状態観測部８２１が観測した状態変数からＣＩＰ処理条件を決定するための関数を、報酬計算部９１１によって計算された報酬に基づいて更新する。関数としては、後述の行動価値関数が採用される。
【0046】
決定部９１３は、少なくとも１つのＣＩＰ処理条件を変更しながら、関数の更新を繰り返すことによって、報酬が最も多く得られるＣＩＰ処理条件を決定する。
【0047】
学習制御部９１４は、機械学習の全体制御を司る。本実施の形態の機械学習システムは強化学習によってＣＩＰ処理条件を学習する。強化学習とは、エージェント（行動主体）が環境の状況に基づいてある行動を選択し、選択した行動に基づいて環境を変化させ、環境変化に伴う報酬をエージェントに与えることにより、エージェントにより良い行動の選択を学習させる機械学習手法である。強化学習としては、Ｑ学習及びＴＤ学習が採用できる。以下の説明では、Ｑ学習を例に挙げて説明する。本実施形態では、報酬計算部９１１、更新部９１２、決定部９１３、学習制御部９１４、及び後述する状態観測部８２１がエージェントに相当する。本実施形態において、通信部９２０は、状態変数を取得する状態取得部の一例である。
【0048】
通信部９２０は、サーバ９００をネットワークＮＴ１に接続する通信回路で構成される。通信部９２０は、状態観測部８２１により観測された状態変数を通信装置７００を介して受信する。通信部９２０は、決定部９１３が決定したＣＩＰ処理条件を通信装置７００を介して制御装置８００に送信する。
【0049】
通信装置７００は、送信器７１０及び受信器７２０を含む。送信器７１０は、制御装置８００から送信された状態変数をサーバ９００に送信すると共に、サーバ９００から送信されたＣＩＰ処理条件を制御装置８００に送信する。受信器７２０は、制御装置８００から送信された状態変数を受信すると共に、サーバ９００から送信されたＣＩＰ処理条件を受信する。
【0050】
制御装置８００は、通信部８１０、プロセッサ８２０、センサー部８３０、入力部８４０、及びメモリ８５０を含む。
【0051】
通信部８１０は、制御装置８００をネットワークＮＴ２に接続するための通信回路である。通信部８１０は、状態観測部８２１によって観測された状態変数をサーバ９００に送信する。通信部８１０は、サーバ９００の決定部９１３が決定したＣＩＰ処理条件を受信する。通信部８１０は、学習制御部９１４が決定した後述するＣＩＰ処理実行コマンドを受信する。
【0052】
プロセッサ８２０は、ＣＰＵなどを含むコンピュータである。プロセッサ８２０は、状態観測部８２１、処理実行部８２２、及び入力判定部８２３を含む。通信部８１０は、状態観測部８２１が取得した状態変数をサーバ９００に送信する。プロセッサ８２０が備える各ブロックは、例えばＣＰＵが機械学習システムの制御装置８００として機能させる機械学習プログラムを実行することで実現される。
【0053】
状態観測部８２１は、ＣＩＰ処理実行後において、センサー部８３０が検出した物理量を取得する。状態観測部８２１は、ＣＩＰ処理実行後において被処理物Ｗに関する少なくとも１つの物理量と、少なくとも１つのＣＩＰ処理条件とを含む状態変数を観測する。具体的には、状態観測部８２１は、センサー部８３０の計測値に基づいてＣＩＰ処理条件を取得する。また、状態観測部８２１は、センサー部８３０の計測値などに基づいて物理量を取得する。本実施形態において、被処理物Ｗに関する少なくとも１つの物理量は、緻密化および圧粉体化に関する物理量である。
【0054】
図３は、ＣＩＰ処理条件の一例を示す図である。ＣＩＰ処理条件は、大きく中分類に分類される。中分類には、被処理物に関する第１パラメータと、ＣＩＰ処理の前工程に関する第２パラメータと、ＣＩＰ装置１００の運転条件に関する第３パラメータとのうちの少なくとも１つが含まれる。表中の学習制御の欄において、「１」と記載されたパラメータはユーザが入力部８４０を操作することによって値を指定するパラメータであり、機械学習によって学習されるパラメータではない。したがって、本実施の形態では「１」と記載された以外、すなわち「２」と記載されたパラメータが学習対象となる。なお、「３」と記載された「かさ密度」は、ＣＩＰ装置１００の装置構成に応じて学習対象とされる場合がある。但し、これらの分類は一例であり、「１」と記載されたパラメータのうちのいずれか１つ又は複数のパラメータが学習対象とされてもよい。
【0055】
第１パラメータは、小分類として、処理品の化学成分、処理品の組成比、処理量、配置、形状、寸法、かさ密度、真密度の少なくとも１つを含む。処理品の化学成分および組成比は、被処理物Ｗを構成する材料の化学成分、組成比を示す。たとえば、化学成分はＴｉ、Ａｌ、Ｆｅなどである。また、たとえば、組成比は、Ｔｉ：８０ｗｔ％、Ａｌ：１０ｗｔ％、Ｆｅ：１０ｗｔ％などのように設定される。処理量は、１バッチあたり処理する量、すなわち、１度のＣＩＰ処理において圧力容器１に収容される被処理物Ｗの量を示す。配置は、圧力容器１内で被処理物Ｗをどのように配置するかを示している。形状は、被処理物Ｗの外形状である。前述のように、被処理物Ｗがセラミックスの粉体の場合は、ゴム型の型形状を示す。例えば、形状としては、円筒、円柱、直方体、球体、円錐台、多角柱といった情報が採用できる。このように、形状をＣＩＰ処理条件に加えたのは、被処理物Ｗの形状によってＣＩＰ処理の結果が変わる可能性があるからである。寸法は、被処理物Ｗが直方体の場合、幅、高さ、及び奥行き等の情報が採用され、被処理物Ｗが円筒形の場合、平均直径及び高さ等の情報が採用される。かさ密度は、被処理物Ｗが粉体の場合における、かさ密度を意味する。真密度は、被処理物Ｗの実際の密度を示す。なお、他の実施形態において、被処理物の形状や寸法を機械学習によって学習されるパラメータとする場合には、例えば、カメラ又は３次元測定器等を用いてこれらを観測することができる。
【0056】
前述のように、化学成分、組成比、処理量、配置、形状、寸法、かさ密度および真密度は、それぞれ、ユーザによって入力部８４０を介して入力される。したがって、状態観測部８２１は、これらのパラメータを入力部８４０から取得すればよい。
【0057】
第２パラメータは、小分類として、予熱温度、予熱時間、真空包装時の真空度を含む。予熱温度は被処理物Ｗに対してＣＩＰ処理（加圧処理）前に行われる予熱処理における温度を示す。同様に、予熱時間は被処理物Ｗに対してＣＩＰ処理前に行われる予熱処理における時間を示す。真空包装時の真空度は、被処理物Ｗを真空包装する場合の真空度を示す。これらの第２パラメータは、それぞれ、ユーザによって入力部８４０を介して入力される。したがって、状態観測部８２１はこれらのパラメータを入力部８４０から取得すればよい。なお、前工程である予熱工程は、被処理物Ｗを圧力容器１の内部に格納して行うものでもよいし、被処理物Ｗに対して圧力容器１の外部で行うものでもよい。いずれの場合においても、予熱温度、予熱時間は、本発明の第２パラメータを構成する。
【0058】
第３パラメータは、小分類として、処理圧力、昇圧速度、減圧速度、圧力保持時間、段階昇圧の有無、段階減圧の有無、処理温度、昇温速度（処理中）、降温速度（処理中）、温度分布を含む。処理圧力は、ＣＩＰ処理中の圧力容器１内の圧力を示す。昇圧速度および減圧速度は、ＣＩＰ処理前後の圧力の変化における速度を示す。なお、減圧速度は、二次減圧も含んでいる。すなわち、予め設定される二次減圧設定値以下で、減圧速度が変化する。圧力保持時間は、被処理物Ｗに対してＣＩＰ処理を行う時間を示す。段階昇圧の有無は、ＣＩＰ処理時に一定の処理圧力に到達するまでの昇圧を段階的に行うか否かを示す。同様に、段階減圧の有無は、ＣＩＰ処理時に一定の処理圧力からの減圧を段階的に行うか否かを示す。処理温度は、ＣＩＰ処理中の圧力容器１内の温度を示す。昇温速度（処理中）は、ＣＩＰ処理中の圧力容器１内の温度上昇の速度を示す。同様に、降温速度（処理中）は、ＣＩＰ処理中の圧力容器１内の温度低下の速度を示す。温度分布は、圧力容器１内の所定の方向に沿って複数の加熱ジャケット３３が配置された場合に、各加熱ジャケット３３の発熱量を調整することで形成される圧力容器１内の温度分布を示す。
【0059】
図４は、ＣＩＰ処理中の圧力容器１内の圧力及び温度の推移の一例を示すグラフである。図４において縦軸は圧力及び温度を示し、横軸は時間を示す。この例では、圧力及び温度の推移は共に台形状である。圧力及び温度はそれぞれ最大圧力及び最高温度になるまで一定の傾きで増大し、一定時間最大圧力（処理圧力）及び最高温度（処理温度）を維持した後、一定の傾きで減少する。圧力について、前述のように処理圧力、昇圧時の傾き（昇圧速度）、降圧時の傾き（減圧速度）、最大圧力の維持時間（圧力保持時間）、段階昇圧、段階減圧の有無などが変化されて機械学習が行われる。また、温度について、処理温度、増大時の傾き（昇温速度）、減少時の傾き（降温速度）、最高温度の維持期間、温度分布などが変化されて機械学習が行われる。圧力に関する運転条件は入力部８４０を介してユーザが入力したデータが採用されてもよいし、給排水ユニット３１が有する圧力センサー（不図示）の計測値が採用されてもよい。上記のその他のパラメータは、入力部８４０を介してユーザにより入力されたデータが採用される。
【0060】
【0061】
緻密化は大きく分けて機械的特性、形状的特性、形態情報、光学的特性、電気的特性、物理的特性の中分類に分類される。
【0062】
機械的特性の中分類は、処理目的に応じて、複数の小分類に分類される。当該小分類には、内部欠陥、引張強度、疲労寿命、靭性、クリープ強度、摩耗速度、硬度が含まれる。これらの機械的特性の各小分類は、対象素材を選ばず、各素材に共通して適用可能な分類である。
【0063】
内部欠陥の小分類は、加圧処理を受けた被処理物Ｗの内部欠陥の有無を示す。内部欠陥は、公知のＵＴ法（超音波探傷試験法）、ＲＴ法（放射線透過法）、ＭＴ法（磁粉探傷試験法）を採用することができる。
【0064】
引張強度の小分類は、加圧処理を受けた被処理物Ｗの引張強度を示す。引張強度は、公知の引張試験機で試験することができる。
【0065】
疲労寿命の小分類は、加圧処理を受けた被処理物Ｗの疲労寿命を示す。疲労寿命は、公知の疲労試験機で試験することができる。
【0066】
靭性の小分類は、加圧処理を受けた被処理物Ｗの靭性を示す。靭性は、公知の引張試験機で試験することができる。
【0067】
クリープ強度の小分類は、加圧処理を受けた被処理物Ｗのクリープ強度を示す。クリープ強度は、公知のクリープ試験機で試験することができる。
【0068】
摩耗速度の小分類は、加圧処理を受けた被処理物Ｗの摩耗速度を示す。摩耗速度は、公知の摩耗試験機で試験することができる。
【0069】
硬度の小分類は、加圧処理を受けた被処理物Ｗの硬度を示す。硬度は、公知の硬度計で測定することができる。
【0070】
形状的特性の中分類は、形状変化の小分類を含む。形状変化の小分類は、加圧処理を受けた被処理物Ｗの形状の変化を意味する。形状変化は、公知の３Ｄ寸法測定器によって、その経時的な形状変化を測定することができる。
【0071】
形態情報の中分類は、電極材料厚み、誘電体厚み、活物質－固体電解質間コート層厚み、活物質－固体電解質間コート層の被膜状態、正極合剤／固体電解質の分散性、正極合剤／固体電解質の配合比率、正極合剤／固体電解質の偏在度、空隙の有無、活物質の繋がり（分布）、活物質／固体電解質の接触面積の小分類に分類される。
【0072】
電極材料厚みの小分類は、主に被処理物Ｗが金属である場合に採用され、公知の膜厚測定器、断面ＳＥＭ（走査電子顕微鏡）、ＡＦＭ（原子間力顕微鏡）によって測定することができる。
【0073】
誘電体厚みの小分類は、主に被処理物Ｗがセラミックス、樹脂である場合に採用され、同様に、公知の膜厚測定器、断面ＳＥＭ（走査電子顕微鏡）、ＡＦＭ（原子間力顕微鏡）によって測定することができる。
【0074】
活物質－固体電解質間コート層厚みの小分類は、主に被処理物Ｗがセラミックスである場合に採用され、同様に、公知の膜厚測定器、断面ＳＥＭ（走査電子顕微鏡）、ＡＦＭ（原子間力顕微鏡）によって測定することができる。
【0075】
活物質－固体電解質間コート層の被膜状態の小分類は、主に被処理物Ｗがセラミックスである場合に採用され、公知の飛行時間型二次イオン質量分析装置、ＴＥＭ－ＥＤＸ（エネルギー分散型Ｘ線分光法）、低速イオン散乱分光法によって測定することができる。
【0076】
正極合剤／固体電解質の分散性、正極合剤／固体電解質の配合比率、正極合剤／固体電解質の偏在度、空隙の有無、活物質の繋がり（分布）、活物質／固体電解質の接触面積の各小分類は、主に被処理物Ｗがセラミックスである場合に採用され、公知の３Ｄ－ＳＥＭによって測定することができる。なお、活物質／固体電解質の接触面積は、３Ｄ－ＳＥＭに画像解析を組み合わせることで測定することができる。
【0077】
光学的特性の中分類は、透明度の小分類を含む。透明度は、主に被処理物Ｗがセラミックス、ガラス、樹脂などの場合に採用され、公知の分光光度計によって測定することができる。
【0078】
図６を参照して、電気的特性の中分類は、電気抵抗、誘電率、静電容量、インピーダンス、充放電時の平均電位、充放電容量、充放電効率、電流密度（レート）特性、サイクル寿命の各小分類に分類される。
【0079】
電気抵抗の小分類は、加圧処理を受けた被処理物Ｗの電気抵抗を意味し、共通の対象素材に対して適用可能である。電気抵抗は、公知の導電率計によって測定することができる。
【0080】
誘電率の小分類は、加圧処理を受けた被処理物Ｗの誘電率を意味し、共通の対象素材に対して適用可能である。誘電率も、公知の誘電率計によって測定することができる。
【0081】
静電容量の小分類は、加圧処理を受けた被処理物Ｗの静電容量を意味し、対象素材が積層セラミックスコンデンサの場合に適用される。静電容量は、公知のＬＣＲメータ、インピーダンスアナライザによって測定することができる。
【0082】
インピーダンスの小分類は、加圧処理を受けた被処理物Ｗのインピーダンスを意味し、主に被処理物Ｗがセラミックスの場合に適用される。インピーダンスは、公知のインピーダンスアナライザによって測定することができる。
【0083】
充放電時の平均電位、充放電容量、充放電効率の各小分類は、主に対象素材が二次電池の場合に適用される。これらは、充放電試験機（バッテリーテスター）によって測定することができる。
【0084】
電流密度（レート）特性、サイクル寿命の各小分類も、主に対象素材が二次電池の場合に適用される。電流密度特性は、放電レート特性試験によって取得することができる。また、サイクル寿命は、充放電サイクル試験によって測定することができる。
【0085】
物理的特性の中分類は、真密度（体積減少率）、イオン伝導率、成形性、密度の均一性（配向性）の各小分類に分類され、いずれもどのような対象部材にも適用可能である。
【0086】
真密度（体積減少率）は、真密度測定装置によって測定することができる。イオン伝導率は、交流インピーダンス測定装置、ＦＦＴアナライザ、ＦＲＡ法によって測定することができる。また、成形性は、３Ｄ寸法測定器によって測定することができる。更に、密度の均一性は、真密度測定装置を用いて被処理物Ｗの複数箇所で測定することで取得することができる。
【0087】
図７を参照して、圧粉体化の大分類は、機械的特性、電気的特性、物理的特性の各中分類に分類される。機械的特性の中分類は、引張強度、疲労寿命、靭性、クリープ強度、摩耗速度、硬度など、電機的特性の中分類は、誘電率、電気抵抗など、物理的特性の中分類は、真密度、イオン伝導率などの各小分類に分類される。なお、これらの小分類は、前述の緻密化の大分類に含まれるものと同様であるため、その説明を省略する。
【0088】
図２に参照を戻す。処理実行部８２２は、ＣＩＰ装置１００によるＣＩＰ処理の実行を制御する。入力判定部８２３は、量産工程であるか否かを自動又は手動により判定する。入力判定部８２３は、量産工程であるか否かを自動で判定する場合、入力部８４０に入力された条件番号の入力回数が基準回数を超えた場合、ＣＩＰ装置１００は量産工程にあると判定する。条件番号とは、ある１つのＣＩＰ処理条件を特定するための識別番号である。条件番号により特定されるＣＩＰ処理条件は、少なくとも図３に示すＣＩＰ処理条件のうち「１」と記載されたＣＩＰ処理条件を含む。
【0089】
入力判定部８２３は、量産工程であるか否かを手動により判定する場合において、入力部８４０に量産工程である旨のデータが入力された場合、ＣＩＰ装置１００は量産工程にあると判定する。量産工程にある場合、制御装置８００は機械学習を行わない。
【0090】
メモリ８５０は、例えば不揮発性の記憶装置であり、最終的に決定された最適なＣＩＰ処理条件などを記憶する。
【0091】
センサー部８３０は、図３に例示されたＣＩＰ処理条件及び図５、図６、図７に例示された被処理物Ｗの物理量の計測に用いられる各種センサーである。具体的には、センサー部８３０は、圧力容器１内の温度を計測する温度センサー、圧力センサー等を含む。また、センサー部８３０は、被処理物Ｗに対するＣＩＰ処理の終了後、圧力容器１から取り出された被処理物Ｗに前述の各種の測定試験を行うためのセンサーを含む。図２では、センサー部８３０は、制御装置８００の内部に設けられているが、これは一例であり、制御装置８００の外部に設けられていてもよく、センサー部８３０の設置場所は特に限定されない。入力部８４０は、キーボード、及びマウスなどの入力装置である。
【0092】
図８は、図２に示す機械学習システムが実行する処理の一例を示すフローチャートである。ステップＳ１では、学習制御部９１４は、入力部８４０を用いてユーザにより入力された、ＣＩＰ処理条件の入力値を取得する。ここで取得される入力値は、図３に列記されたＣＩＰ処理条件のうち、「１」と記載されたＣＩＰ処理条件に対する入力値である。
【0093】
ステップＳ２では、学習制御部９１４は、少なくとも１つのＣＩＰ処理条件とＣＩＰ処理条件に対する設定値とを決定する。ここで、設定対象となるＣＩＰ処理条件は、図３に列挙されたＣＩＰ処理条件のうち、「２」または「３」と記載されたＣＩＰ処理条件であって、設定値が設定可能な少なくとも１つのＣＩＰ処理条件である。ここで、決定されるＣＩＰ処理条件の設定値は強化学習における行動に相当する。
【0094】
具体的には、学習制御部９１４は、設定対象となるＣＩＰ処理条件のそれぞれについて設定値をランダムに選択する。ここで、設定値は、ＣＩＰ処理条件のそれぞれについて所定の範囲内からランダムに選択される。ＣＩＰ処理条件の設定値の選択方法としては、例えばε－ｇｒｅｅｄｙ法が採用できる。
【0095】
ステップＳ３では、学習制御部９１４は、制御装置８００にＣＩＰ処理実行コマンドを送信することで、制御装置８００を通じてＣＩＰ装置１００にＣＩＰ処理を開始させる。ＣＩＰ処理実行コマンドが通信部８１０により受信されると、処理実行部８２２は、ＣＩＰ処理実行コマンドにしたがってＣＩＰ処理条件を設定し、ＣＩＰ処理を開始する。ＣＩＰ処理実行コマンドには、ステップＳ１で設定されたＣＩＰ処理条件の入力値及びステップＳ２で決定されたＣＩＰ処理条件の設定値などが含まれる。
【0096】
ＣＩＰ処理が終了すると、状態観測部８２１は、状態変数を観測する（ステップＳ４）。具体的には、状態観測部８２１は、図５、図６、図７に記載された緻密化・圧粉体化に関する物理量と、図３に記載されたＣＩＰ処理条件のうちセンサー部８３０などによって状態が観測されるＣＩＰ処理条件とを状態変数として取得する。物理量は、例えばユーザが入力部８４０を操作することによって制御装置８００に入力されてもよいし、物理量を計測する計測器と制御装置８００とが通信することで制御装置８００に入力されてもよい。状態観測部８２１は、取得した状態変数を通信部８１０を介してサーバ９００に送信する。
【0097】
ステップＳ５では、決定部９１３は、物理量を評価する。ここで、決定部９１３は、ステップＳ４で取得された物理量のうち評価対象となる物理量（以下、対象物理量と呼ぶ。）が所定の基準値に到達しているか否かを判定することで物理量を評価する。対象物理量は、図５、図６、図７に列記された物理量のうち１又は複数の物理量である。対象物理量が複数の場合、基準値は、各対象物理量に対応する複数の基準値が存在することになる。基準値は、例えば、対象物理量が一定の基準に到達していることを示す予め定められた値が採用できる。
【0098】
例えば、緻密化の引張強度について機械学習が行われる場合は、基準値は引張強度について予め定められた値が採用され、靭性について機械学習が行われる場合は、基準値は靭性について予め定められた値が採用される。基準値は、例えば上限値と下限値とを含む値であってもよい。この場合、対象物理量が上限値と下限値との範囲内に入った場合、基準値に到達したと判定される。基準値は一つの値であってもよい。この場合、対象物理量が基準値を超えた場合、又は基準値を下回った場合に一定の基準を満たすと判定される。
【0099】
決定部９１３は、対象物理量が基準値に到達していると判定した場合（ステップＳ６でＹＥＳ）、ステップＳ２で設定したＣＩＰ処理条件を最終的なＣＩＰ処理条件として出力する（ステップＳ７）。一方、決定部９１３は、物理量が基準値に到達していないと判定した場合（ステップＳ６でＮＯ）、処理をステップＳ８に進める。なお、対象物理量が複数の場合、決定部９１３は、全ての対象物理量が基準値に到達したとき、ステップＳ６でＹＥＳと判定すればよい。
【0100】
ステップＳ８では、報酬計算部９１１は、対象物理量が基準値に近づいているか否かを判定する。対象物理量が基準値に近づいている場合（ステップＳ８でＹＥＳ）、報酬計算部９１１は、エージェントに対する報酬を増大させる（ステップＳ９）。一方、対象物理量が基準値に近づいていない場合（ステップＳ８でＮＯ）、報酬計算部９１１は、エージェントに対する報酬を減少させる（ステップＳ１０）。この場合、報酬計算部９１１は、予め定められた報酬の増減値にしたがって報酬を増減させればよい。なお、対象物理量が複数の場合、報酬計算部９１１は、複数の対象物理量のそれぞれについて、ステップＳ８の判定を行えばよい。この場合、報酬計算部９１１は、複数の対象物理量のそれぞれについて、ステップＳ８の判定結果に基づいて報酬を増減させればよい。また、報酬の増減値は対象物理量に応じて異なる値が採用されてもよい。
【0101】
また、対象物理量が基準値に近づいていない場合（ステップＳ８でＮＯ）、報酬を減少させる処理（ステップＳ１０）は省かれてもよい。この場合、対象物理量が基準値に近づいている場合にのみ報酬が与えられることになる。
【0102】
ステップＳ１１では、更新部９１２は、エージェントに付与した報酬を用いて行動価値関数を更新する。本実施の形態で採用されるＱ学習は、ある環境状態ｓの下で、行動ａを選択することへの価値であるＱ値（Ｑ（ｓ，ａ））を学習する方法である。なお、環境状態ｓｔは、上記のフローの状態変数に相当する。そして、Ｑ学習では、ある環境状態ｓのときに、Ｑ（ｓ，ａ）の最も高い行動ａが選択される。Ｑ学習では、試行錯誤により、ある環境状態ｓの下で様々な行動ａをとり、そのときの報酬を用いて正しいＱ（ｓ，ａ）が学習される。行動価値関数Ｑ（ｓｔ，ａｔ）の更新式は以下の式（１）で示される。
【0103】
【数1】
【0104】
この更新式は、状態ｓにおける行動ａのＱ値であるＱ（ｓｔ，ａｔ）よりも、行動ａによる次の環境状態ｓｔ＋１における最良の行動をとったときのＱ値に基づくγ・ｍａｘＱ（ｓｔ＋１，ａ）の方が大きければ、Ｑ（ｓｔ，ａｔ）を大きくする。一方、この更新式は、Ｑ（ｓｔ，ａｔ）よりもγ・ｍａｘＱ（ｓｔ＋１，ａ）の方が小さければ、Ｑ（ｓｔ，ａｔ）を小さくする。つまり、ある状態ｓｔにおけるある行動ａの価値を、それによる次の状態ｓｔ＋１における最良の行動の価値に近づけるようにしている。これにより、最適なＣＩＰ処理条件が決定される。
【0105】
ステップＳ１１の処理が終了すると、処理はステップＳ２に戻り、ＣＩＰ処理条件の設定値が変更され、同様にして行動価値関数が更新される。更新部９１２は、行動価値関数を更新したが、本発明はこれに限定されず、行動価値テーブルを更新してもよい。
【0106】
Ｑ（ｓ，ａ）は、全ての状態と行動とのペア（ｓ，ａ）に対する値がテーブル形式で保存されてもよい。或いは、Ｑ（ｓ，ａ）は、全ての状態と行動とのペア（ｓ，ａ）に対する値を近似する近似関数によって表されてもよい。この近似関数は多層構造のニューラルネットワークにより構成されてもよい。この場合、ニューラルネットワークは、実際にＣＩＰ装置１００を動かして得られたデータをリアルタイムで学習し、次の行動に反映させるオンライン学習を行えばよい。これにより、深層強化学習が実現される。
【0107】
具体的に、強化学習では、機械学習システムが、所定の環境の中で目的として設定された報酬（スコア）を最大化するための行動を学習する。一方、深層学習（ディープラーニング）では、ニューラルネットワークの中間層を複数にすることで、機械学習システムが自ら学習データから特徴量を抽出し、予測モデルを構築する表現学習が可能となる。したがって、本実施形態における強化学習に深層学習を応用した深層強化学習では、図３に示されるＣＩＰ処理条件（第１パラメータ、第２パラメータ、第３パラメータ）および図５、図６、図７に示される被処理物Ｗの物理量の中から、機械学習システムが好適な特徴量を抽出することができる。この際、図３の運転条件における処理圧力および処理温度のように互いに影響しあう（交互作用）特徴量に対しては、これらを含む新たな特徴量（たとえば圧力／温度の比）を機械学習システムが抽出し、当該特徴量を変化させてもよい。このような構成によれば、高い報酬を得ることが可能なＣＩＰ処理条件をより早く効率的に得ることができる。また、上記のような深層強化学習が量産工程に対して事前に実行されることで、望ましいＣＩＰ処理条件に基づく量産工程を実現することができる。
【0108】
従来、ＣＩＰ装置においては、高品質なＣＩＰ処理品が得られるようにＣＩＰ処理条件を変化させることによってＣＩＰ処理条件の開発が行われてきた。良好なＣＩＰ処理条件を得るためには、被処理物Ｗの評価とＣＩＰ処理条件との関係性を見出すことが要求される。しかし、図３に示されるようにＣＩＰ処理条件の種類は膨大であるため、このような関係性を規定するには極めて多くの物理モデルが必要となり、物理モデルによってこのような関係性を記述するのは困難であるとの知見が得られた。さらに、このような物理モデルを構築するには、どのパラメータがどの被処理物Ｗの評価に影響を与えているのかを人為的に見いだすことも要求され、この構築は困難である。
【0109】
本実施形態によれば、上述した第１～第３のパラメータのうちの少なくとも１つのパラメータと、緻密化・圧粉体化に関する物理量のうちの少なくとも１つの物理量とが状態変数として観測される。そして、観測された状態変数に基づいて、ＣＩＰ処理条件の決定結果に対する報酬が計算され、計算された報酬に基づいて、状態変数からＣＩＰ処理条件を決定するための行動価値関数が更新され、この更新が繰り返されて報酬が最も多く得られるＣＩＰ処理条件が学習される。このように、本実施形態は、上述の物理モデルを用いることなく、機械学習によりＣＩＰ処理条件が決定される。この結果、本実施形態は、適切なＣＩＰ処理条件を、熟練した技術者による長年の経験を頼らずに、効率的かつ容易に決定することができる。
【0110】
特に、水などを圧力媒体として圧力容器１内に流入させ、被処理物Ｗに対してＣＩＰ処理を施す場合には、図３に示される各種の処理条件が相互に関連しながら、被処理物Ｗの物理量（図５、図６、図７）が変化する。たとえば、被処理物Ｗに関する第１パラメータとして圧力容器１内における被処理物Ｗの配置、形状、寸法などを変化させると、同じ処理圧力（運転条件、第３パラメータ）であっても、各被処理物Ｗに対する圧力の作用が変化する結果、空隙の有無（図５、形態情報）に差が生じる可能性がある。このような各物理量の影響を多くの物理モデルによって見出すことは困難である。一方、本実施形態によれば、機械学習システムが行動価値関数を更新しながら、より報酬の高いＣＩＰ処理条件を学習することで、効率的に望ましいＣＩＰ処理条件を決定することができる。この際、前述のように機械学習システムに深層強化学習を適用することによって、システムが自ら新たな物理量を抽出し、適切なＣＩＰ処理条件をより早く効率的に導き出すことができる。
【0111】
以上のように、本実施形態では、制御装置８００は、前記状態変数をネットワークを介してサーバ上に送信し、機械学習済みの少なくとも１つの等方圧加圧処理条件を前記サーバから受信する。また、前記少なくとも１つの等方圧加圧処理条件は、前記サーバが、前記状態変数に基づいて、前記少なくとも１つの等方圧加圧処理条件の決定結果に対する報酬を計算し、前記少なくとも１つの等方圧加圧処理条件を変更させながら、前記状態変数から前記少なくとも１つの等方圧加圧処理条件を決定するための関数を、前記報酬に基づいて更新し、前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる等方圧加圧処理条件を決定することによって生成されたものである。
【0112】
なお、本発明は以下の変形実施形態を採用することができる。
【0113】
（１）図９は、本発明の変形実施形態に係る機械学習システムの全体構成図である。この変形実施形態に係る機械学習システムは、制御装置８００Ａ単体で構成されている。制御装置８００Ａは、プロセッサ８２０Ａ、入力部８８０、及びセンサー部８９０を含む。プロセッサ８２０Ａは、機械学習部８６０、及びＣＩＰ処理部８７０を含む。機械学習部８６０は、報酬計算部８６１、更新部８６２、決定部８６３、及び学習制御部８６４を含む。報酬計算部８６１～学習制御部８６４は、それぞれ、図２に示す報酬計算部９１１～学習制御部９１４と同じである。ＣＩＰ処理部８７０は、状態観測部８７１、処理実行部８７２、及び入力判定部８７３を含む。状態観測部８７１～入力判定部８７３は、それぞれ図２に示す状態観測部８２１、処理実行部８２２、及び入力判定部８２３と同じである。入力部８８０及びセンサー部８９０は、それぞれ図２に示す入力部８４０及びセンサー部８３０と同じである。本変形例において状態観測部８２１は、状態情報を取得する状態取得部の一例である。なお、センサー部８９０は、制御装置８００Ａの内部に設けられていてもよいし、制御装置８００Ａの外部に設けられていてもよく、センサー部８９０の設置場所は特に限定されない。
【0114】
このように、この変形実施形態に係る機械学習システムによれば、制御装置８００Ａ単体で最適なＣＩＰ処理条件を学習させることができる。
【0115】
（２）上記の図８に示されるフローでは、ＣＩＰ処理の終了後に状態変数が観測されていたが、これは一例であり、１回のＣＩＰ処理中に状態変数が複数観測されてもよい。例えば、状態変数が瞬時に計測可能なパラメータのみで構成されている場合、１回のＣＩＰ処理中に複数の状態変数を観測できる。これにより、学習時間の短縮が図られる。また、図８のステップＳ７においてＣＩＰ処理が開始されると、その処理の中で状態変数の観測、物理量の評価を並行して行うことで、同ＣＩＰ処理の最終段階における被処理物Ｗの物理量をより基準値に近づけるように、処理中のＣＩＰ処理条件を変化させることもできる。すなわち、本発明に係る機械学習システムが実行する機械学習方法には、複数回のＣＩＰ処理を通じて報酬が最も多く得られる等方圧加圧処理条件を決定するもののみならず、所定のＣＩＰ処理中に最終的な報酬が最も多く得られる等方圧加圧処理条件を決定するものも含まれる。
【0116】
（３）本発明に係る通信方法は、図２に示す制御装置８００がサーバ９００と通信する際の各種処理によって実行される。また、本発明に係る学習プログラムは図２に示すサーバ９００としてコンピュータを機能させるプログラムによって実現される。
【符号の説明】
【0117】
１ 圧力容器
１００ ＣＩＰ装置
３１ 給排水ユニット
３１Ａ 供給用ポンプ
３１Ｂ 排出用ポンプ
３１Ｃ 切換弁
３２ ポンプユニット
３３ ヒーター
７００ 通信装置
７１０ 送信器
７２０ 受信器
８００、８００Ａ 制御装置
８１０ 通信部
８２０、８２０Ａ プロセッサ
８２１ 状態観測部
８２２ 処理実行部
８２３ 入力判定部
８３０ センサー部
８４０ 入力部
８５０ メモリ
８６０ 機械学習部
８６１ 報酬計算部
８６２ 更新部
８６３ 決定部
８６４ 学習制御部
８７０ ＣＩＰ処理部
８７１ 状態観測部
８７２ 処理実行部
８７３ 入力判定部
８８０ 入力部
８９０ センサー部
９００ サーバ
９１０ プロセッサ
９１１ 報酬計算部
９１２ 更新部
９１３ 決定部
９１４ 学習制御部
９２０ 通信部
１００ ＣＩＰ装置
３１ 給排水ユニット
３１Ａ 供給用ポンプ
３１Ｂ 排出用ポンプ
３１Ｃ 切換弁
３２ ポンプユニット
３３ ヒーター
７００ 通信装置
７１０ 送信器
７２０ 受信器
８００、８００Ａ 制御装置
８１０ 通信部
８２０、８２０Ａ プロセッサ
８２１ 状態観測部
８２２ 処理実行部
８２３ 入力判定部
８３０ センサー部
８４０ 入力部
８５０ メモリ
８６０ 機械学習部
８６１ 報酬計算部
８６２ 更新部
８６３ 決定部
８６４ 学習制御部
８７０ ＣＩＰ処理部
８７１ 状態観測部
８７２ 処理実行部
８７３ 入力判定部
８８０ 入力部
８９０ センサー部
９００ サーバ
９１０ プロセッサ
９１１ 報酬計算部
９１２ 更新部
９１３ 決定部
９１４ 学習制御部
９２０ 通信部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
