特開2023-62866機械学習方法、機械学習装置、機械学習プログラム、通信方法、及び制御装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023062866
(43)【公開日】2023-05-09
(54)【発明の名称】機械学習方法、機械学習装置、機械学習プログラム、通信方法、及び制御装置
(51)【国際特許分類】
A23L 3/015 20060101AFI20230427BHJP
G06N 20/00 20190101ALI20230427BHJP
G06N 3/02 20060101ALI20230427BHJP
A23L 5/10 20160101ALI20230427BHJP
【ＦＩ】
A23L3/015
G06N20/00
G06N3/02
A23L5/10 Z
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2021173017
(22)【出願日】2021-10-22
(71)【出願人】
【識別番号】000001199
【氏名又は名称】株式会社神戸製鋼所
(74)【代理人】
【識別番号】100115381
【弁理士】
【氏名又は名称】小谷 昌崇
(74)【代理人】
【識別番号】100178582
【弁理士】
【氏名又は名称】行武 孝
(72)【発明者】
【氏名】伊藤 洋行
(72)【発明者】
【氏名】南野 友哉
(72)【発明者】
【氏名】白樫 浩
(72)【発明者】
【氏名】岸 新和
(72)【発明者】
【氏名】溝上 忠孝
(72)【発明者】
【氏名】宮下 泰秀
【テーマコード（参考）】
4B021
4B035
【Ｆターム（参考）】
4B021LP07
4B021LT01
4B021LT06
4B035LC16
4B035LP44
4B035LP55
4B035LP59
4B035LT20
(57)【要約】
【課題】被処理物に対する適切なＣＩＰ処理条件を容易に決定する。
【解決手段】取得した状態変数に基づいて、冷間等方圧加圧処理条件の決定結果に対する報酬を計算し、状態変数から少なくとも１つの冷間等方圧加圧処理条件を決定するための関数を、報酬に基づいて更新し、関数の更新を繰り返すことによって、報酬が最も多く得られる冷間等方圧加圧処理条件を決定し、冷間等方圧加圧処理条件は、被処理物に関する第１パラメータと、冷間等方圧加圧処理の前工程に関する第２パラメータと、冷間等方圧加圧装置の運転条件に関する第３パラメータとのうちの少なくとも１つであり、少なくとも１つの物理量は、被処理物の殺菌・不活性化、脱殻、味・風味改善、食感・栄養改善のうちの少なくとも１つである。
【選択図】図１
【解決手段】取得した状態変数に基づいて、冷間等方圧加圧処理条件の決定結果に対する報酬を計算し、状態変数から少なくとも１つの冷間等方圧加圧処理条件を決定するための関数を、報酬に基づいて更新し、関数の更新を繰り返すことによって、報酬が最も多く得られる冷間等方圧加圧処理条件を決定し、冷間等方圧加圧処理条件は、被処理物に関する第１パラメータと、冷間等方圧加圧処理の前工程に関する第２パラメータと、冷間等方圧加圧装置の運転条件に関する第３パラメータとのうちの少なくとも１つであり、少なくとも１つの物理量は、被処理物の殺菌・不活性化、脱殻、味・風味改善、食感・栄養改善のうちの少なくとも１つである。
【選択図】図１
【特許請求の範囲】
【請求項1】
被処理物に圧媒を用いて冷間等方圧加圧処理を行う冷間等方圧加圧装置の冷間等方圧加圧処理条件を機械学習装置が決定する機械学習方法であって、
前記冷間等方圧加圧装置は、
前記被処理物を格納する圧力容器と、
前記圧力容器に前記圧媒を供給するための圧縮機と、
前記圧力容器内の圧力を調整することが可能な圧力調整機構と、
前記冷間等方圧加圧装置を制御する制御装置と、を備え、
前記被処理物に関する少なくとも１つの物理量と、少なくとも１つの冷間等方圧加圧処理条件とを含む状態変数を取得し、
前記状態変数に基づいて、前記少なくとも１つの冷間等方圧加圧処理条件の決定結果に対する報酬を計算し、
前記少なくとも１つの冷間等方圧加圧処理条件を変更しながら、前記状態変数から前記少なくとも１つの冷間等方圧加圧処理条件を決定するための関数を、前記報酬に基づいて更新し、
前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる冷間等方圧加圧処理条件を決定し、
前記少なくとも１つの冷間等方圧加圧処理条件は、前記被処理物に関する第１パラメータと、
前記冷間等方圧加圧処理の前工程に関する第２パラメータと、
前記冷間等方圧加圧装置の運転条件に関する第３パラメータと、のうちの少なくとも１つであり、
前記少なくとも１つの物理量は、前記被処理物の殺菌・不活性化に関する物理量、脱殻に関する物理量、味・風味改善に関する物理量、食感・栄養改善に関する物理量のうちの少なくとも１つである、
機械学習方法。
前記冷間等方圧加圧装置は、
前記被処理物を格納する圧力容器と、
前記圧力容器に前記圧媒を供給するための圧縮機と、
前記圧力容器内の圧力を調整することが可能な圧力調整機構と、
前記冷間等方圧加圧装置を制御する制御装置と、を備え、
前記被処理物に関する少なくとも１つの物理量と、少なくとも１つの冷間等方圧加圧処理条件とを含む状態変数を取得し、
前記状態変数に基づいて、前記少なくとも１つの冷間等方圧加圧処理条件の決定結果に対する報酬を計算し、
前記少なくとも１つの冷間等方圧加圧処理条件を変更しながら、前記状態変数から前記少なくとも１つの冷間等方圧加圧処理条件を決定するための関数を、前記報酬に基づいて更新し、
前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる冷間等方圧加圧処理条件を決定し、
前記少なくとも１つの冷間等方圧加圧処理条件は、前記被処理物に関する第１パラメータと、
前記冷間等方圧加圧処理の前工程に関する第２パラメータと、
前記冷間等方圧加圧装置の運転条件に関する第３パラメータと、のうちの少なくとも１つであり、
前記少なくとも１つの物理量は、前記被処理物の殺菌・不活性化に関する物理量、脱殻に関する物理量、味・風味改善に関する物理量、食感・栄養改善に関する物理量のうちの少なくとも１つである、
機械学習方法。
【請求項2】
前記少なくとも１つの冷間等方圧加圧処理条件として、前記第１パラメータを含み、
前記第１パラメータは、前記被処理物の処理量、配置、形状、寸法、包装有無、真密度、包装材の成分吸着性及び包装材の容積の少なくとも１つである、
請求項１記載の機械学習方法。
前記第１パラメータは、前記被処理物の処理量、配置、形状、寸法、包装有無、真密度、包装材の成分吸着性及び包装材の容積の少なくとも１つである、
請求項１記載の機械学習方法。
【請求項3】
前記少なくとも１つの冷間等方圧加圧処理条件として、前記第２パラメータを含み、
前記第２パラメータは、予熱温度、予熱時間、真空包装時の真空度の少なくとも１つである、
請求項１又は２記載の機械学習方法。
前記第２パラメータは、予熱温度、予熱時間、真空包装時の真空度の少なくとも１つである、
請求項１又は２記載の機械学習方法。
【請求項4】
前記少なくとも１つの冷間等方圧加圧処理条件として、前記第３パラメータを含み、
前記第３パラメータは、前記冷間等方圧加圧処理における処理圧力、昇圧速度、減圧速度、圧力保持時間、段階昇圧の有無、段階減圧の有無の少なくとも１つである、
請求項１～３のいずれか１項に記載の機械学習方法。
前記第３パラメータは、前記冷間等方圧加圧処理における処理圧力、昇圧速度、減圧速度、圧力保持時間、段階昇圧の有無、段階減圧の有無の少なくとも１つである、
請求項１～３のいずれか１項に記載の機械学習方法。
【請求項5】
前記冷間等方圧加圧装置は、前記圧力容器内の圧媒の温度を調整することが可能な温度調整機構を更に備え、
前記制御装置は、前記温度調整機構を更に制御することが可能である、
請求項１乃至４のいずれか１項に記載の機械学習方法。
前記制御装置は、前記温度調整機構を更に制御することが可能である、
請求項１乃至４のいずれか１項に記載の機械学習方法。
【請求項6】
前記冷間等方圧加圧装置は、前記圧力容器内の圧媒の温度を調整することが可能な温度調整機構を更に備え、
前記制御装置は、前記温度調整機構を更に制御することが可能であり、
前記第３パラメータは、前記冷間等方圧加圧処理における処理圧力、昇圧速度、減圧速度、圧力保持時間、段階昇圧の有無、段階減圧の有無、処理温度、処理中昇温速度、処理中降温速度、温度分布の少なくとも１つである、
請求項４に記載の機械学習方法。
前記制御装置は、前記温度調整機構を更に制御することが可能であり、
前記第３パラメータは、前記冷間等方圧加圧処理における処理圧力、昇圧速度、減圧速度、圧力保持時間、段階昇圧の有無、段階減圧の有無、処理温度、処理中昇温速度、処理中降温速度、温度分布の少なくとも１つである、
請求項４に記載の機械学習方法。
【請求項7】
前記関数は深層強化学習を用いて更新される、
請求項１～６のいずれか１項に記載の機械学習方法。
請求項１～６のいずれか１項に記載の機械学習方法。
【請求項8】
前記報酬の計算では、前記少なくとも１つの物理量が各物理量に対応する所定の基準値に近づいている場合、前記報酬を増大させる、
請求項１～７のいずれか１項に記載の機械学習方法。
請求項１～７のいずれか１項に記載の機械学習方法。
【請求項9】
被処理物に圧媒を用いて冷間等方圧加圧処理を行う冷間等方圧加圧装置の冷間等方圧加圧処理条件を決定する機械学習装置であって、
前記冷間等方圧加圧装置は、
前記被処理物を格納する圧力容器と、
前記圧力容器に前記圧媒を供給するための圧縮機と、
前記圧力容器内の圧力を調整することが可能な圧力調整機構と、
前記冷間等方圧加圧装置を制御する制御装置と、を備え、
前記機械学習装置は、
前記被処理物に関する少なくとも１つの物理量と、少なくとも１つの冷間等方圧加圧処理条件とを含む状態変数を取得する状態取得部と、
前記状態変数に基づいて、前記少なくとも１つの冷間等方圧加圧処理条件の決定結果に対する報酬を計算する報酬計算部と、
前記少なくとも１つの冷間等方圧加圧処理条件を変更しながら、前記状態変数から前記少なくとも１つの冷間等方圧加圧処理条件を決定するための関数を、前記報酬に基づいて更新する更新部と、
前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる冷間等方圧加圧処理条件を決定する決定部と、を備え、
前記少なくとも１つの冷間等方圧加圧処理条件は、前記被処理物に関する第１パラメータと、
前記冷間等方圧加圧処理の前工程に関する第２パラメータと、
前記冷間等方圧加圧装置の運転条件に関する第３パラメータと、
のうちの少なくとも１つであり、
前記少なくとも１つの物理量は、前記被処理物の殺菌・不活性化に関する物理量、脱殻に関する物理量、味・風味改善に関する物理量、食感・栄養改善に関する物理量のうちの少なくとも１つである、
機械学習装置。
前記冷間等方圧加圧装置は、
前記被処理物を格納する圧力容器と、
前記圧力容器に前記圧媒を供給するための圧縮機と、
前記圧力容器内の圧力を調整することが可能な圧力調整機構と、
前記冷間等方圧加圧装置を制御する制御装置と、を備え、
前記機械学習装置は、
前記被処理物に関する少なくとも１つの物理量と、少なくとも１つの冷間等方圧加圧処理条件とを含む状態変数を取得する状態取得部と、
前記状態変数に基づいて、前記少なくとも１つの冷間等方圧加圧処理条件の決定結果に対する報酬を計算する報酬計算部と、
前記少なくとも１つの冷間等方圧加圧処理条件を変更しながら、前記状態変数から前記少なくとも１つの冷間等方圧加圧処理条件を決定するための関数を、前記報酬に基づいて更新する更新部と、
前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる冷間等方圧加圧処理条件を決定する決定部と、を備え、
前記少なくとも１つの冷間等方圧加圧処理条件は、前記被処理物に関する第１パラメータと、
前記冷間等方圧加圧処理の前工程に関する第２パラメータと、
前記冷間等方圧加圧装置の運転条件に関する第３パラメータと、
のうちの少なくとも１つであり、
前記少なくとも１つの物理量は、前記被処理物の殺菌・不活性化に関する物理量、脱殻に関する物理量、味・風味改善に関する物理量、食感・栄養改善に関する物理量のうちの少なくとも１つである、
機械学習装置。
【請求項10】
被処理物に圧媒を用いて冷間等方圧加圧処理を行う冷間等方圧加圧装置の冷間等方圧加圧処理条件を決定する機械学習装置の学習プログラムであって、
前記冷間等方圧加圧装置は、
前記被処理物を格納する圧力容器と、
前記圧力容器に前記圧媒を供給するための圧縮機と、
前記圧力容器内の圧力を調整することが可能な圧力調整機構と、
前記冷間等方圧加圧装置を制御する制御装置と、を備え、
前記被処理物に関する少なくとも１つの物理量と、少なくとも１つの冷間等方圧加圧処理条件とを含む状態変数を取得する状態取得部と、
前記状態変数に基づいて、前記少なくとも１つの冷間等方圧加圧処理条件の決定結果に対する報酬を計算する報酬計算部と、
前記少なくとも１つの冷間等方圧加圧処理条件を変更しながら、前記状態変数から前記少なくとも１つの冷間等方圧加圧処理条件を決定するための関数を、前記報酬に基づいて更新する更新部と、
前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる冷間等方圧加圧処理条件を決定する決定部としてコンピュータを機能させ、
前記少なくとも１つの冷間等方圧加圧処理条件は、前記被処理物に関する第１パラメータと、
前記冷間等方圧加圧処理の前工程に関する第２パラメータと、
前記冷間等方圧加圧装置の運転条件に関する第３パラメータと、
のうちの少なくとも１つであり、
前記少なくとも１つの物理量は、前記被処理物の殺菌・不活性化に関する物理量、脱殻に関する物理量、味・風味改善に関する物理量、食感・栄養改善に関する物理量のうちの少なくとも１つである、
機械学習プログラム。
前記冷間等方圧加圧装置は、
前記被処理物を格納する圧力容器と、
前記圧力容器に前記圧媒を供給するための圧縮機と、
前記圧力容器内の圧力を調整することが可能な圧力調整機構と、
前記冷間等方圧加圧装置を制御する制御装置と、を備え、
前記被処理物に関する少なくとも１つの物理量と、少なくとも１つの冷間等方圧加圧処理条件とを含む状態変数を取得する状態取得部と、
前記状態変数に基づいて、前記少なくとも１つの冷間等方圧加圧処理条件の決定結果に対する報酬を計算する報酬計算部と、
前記少なくとも１つの冷間等方圧加圧処理条件を変更しながら、前記状態変数から前記少なくとも１つの冷間等方圧加圧処理条件を決定するための関数を、前記報酬に基づいて更新する更新部と、
前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる冷間等方圧加圧処理条件を決定する決定部としてコンピュータを機能させ、
前記少なくとも１つの冷間等方圧加圧処理条件は、前記被処理物に関する第１パラメータと、
前記冷間等方圧加圧処理の前工程に関する第２パラメータと、
前記冷間等方圧加圧装置の運転条件に関する第３パラメータと、
のうちの少なくとも１つであり、
前記少なくとも１つの物理量は、前記被処理物の殺菌・不活性化に関する物理量、脱殻に関する物理量、味・風味改善に関する物理量、食感・栄養改善に関する物理量のうちの少なくとも１つである、
機械学習プログラム。
【請求項11】
被処理物に圧媒を用いて冷間等方圧加圧処理を行う冷間等方圧加圧装置の冷間等方圧加圧処理条件を機械学習する際の前記冷間等方圧加圧装置の制御装置の通信方法であって、
前記冷間等方圧加圧装置は、
前記被処理物を格納する圧力容器と、
前記圧力容器に前記圧媒を供給するための圧縮機と、
前記圧力容器内の圧力を調整することが可能な圧力調整機構と、
前記制御装置と、を備え、
前記制御装置は、前記被処理物に関する少なくとも１つの物理量と、少なくとも１つの冷間等方圧加圧処理条件とを含む状態変数を観測し、
前記制御装置は、前記状態変数をネットワークを介してサーバに送信し、機械学習済みの少なくとも１つの冷間等方圧加圧処理条件を前記サーバから受信し、
前記少なくとも１つの冷間等方圧加圧処理条件は、前記サーバが、前記状態変数に基づいて、前記少なくとも１つの冷間等方圧加圧処理条件の決定結果に対する報酬を計算し、前記少なくとも１つの冷間等方圧加圧処理条件を変更させながら、前記状態変数から前記少なくとも１つの冷間等方圧加圧処理条件を決定するための関数を、前記報酬に基づいて更新し、前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる冷間等方圧加圧処理条件を決定することによって生成されたものであり、
前記少なくとも１つの冷間等方圧加圧処理条件は、前記被処理物に関する第１パラメータと、
前記冷間等方圧加圧処理の前工程に関する第２パラメータと、
前記冷間等方圧加圧装置の運転条件に関する第３パラメータと、
のうちの少なくとも１つであり、
前記少なくとも１つの物理量は、前記被処理物の殺菌・不活性化に関する物理量、脱殻に関する物理量、味・風味改善に関する物理量、食感・栄養改善に関する物理量のうちの少なくとも１つである、
通信方法。
前記冷間等方圧加圧装置は、
前記被処理物を格納する圧力容器と、
前記圧力容器に前記圧媒を供給するための圧縮機と、
前記圧力容器内の圧力を調整することが可能な圧力調整機構と、
前記制御装置と、を備え、
前記制御装置は、前記被処理物に関する少なくとも１つの物理量と、少なくとも１つの冷間等方圧加圧処理条件とを含む状態変数を観測し、
前記制御装置は、前記状態変数をネットワークを介してサーバに送信し、機械学習済みの少なくとも１つの冷間等方圧加圧処理条件を前記サーバから受信し、
前記少なくとも１つの冷間等方圧加圧処理条件は、前記サーバが、前記状態変数に基づいて、前記少なくとも１つの冷間等方圧加圧処理条件の決定結果に対する報酬を計算し、前記少なくとも１つの冷間等方圧加圧処理条件を変更させながら、前記状態変数から前記少なくとも１つの冷間等方圧加圧処理条件を決定するための関数を、前記報酬に基づいて更新し、前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる冷間等方圧加圧処理条件を決定することによって生成されたものであり、
前記少なくとも１つの冷間等方圧加圧処理条件は、前記被処理物に関する第１パラメータと、
前記冷間等方圧加圧処理の前工程に関する第２パラメータと、
前記冷間等方圧加圧装置の運転条件に関する第３パラメータと、
のうちの少なくとも１つであり、
前記少なくとも１つの物理量は、前記被処理物の殺菌・不活性化に関する物理量、脱殻に関する物理量、味・風味改善に関する物理量、食感・栄養改善に関する物理量のうちの少なくとも１つである、
通信方法。
【請求項12】
被処理物に圧媒を用いて冷間等方圧加圧処理を行う冷間等方圧加圧装置の制御装置であって、
前記冷間等方圧加圧装置は、
前記被処理物を格納する圧力容器と、
前記圧力容器に前記圧媒を供給するための圧縮機と、
前記圧力容器内の圧力を調整することが可能な圧力調整機構と、
前記被処理物に関する少なくとも１つの物理量と、少なくとも１つの冷間等方圧加圧処理条件とを含む状態変数を観測する状態観測部と、
前記状態変数をネットワークを介してサーバに送信し、機械学習済みの少なくとも１つの冷間等方圧加圧処理条件を前記サーバから受信する通信部と、を備え、
前記少なくとも１つの冷間等方圧加圧処理条件は、前記サーバが、前記状態変数に基づいて、前記少なくとも１つの冷間等方圧加圧処理条件の決定結果に対する報酬を計算し、前記少なくとも１つの冷間等方圧加圧処理条件を変更させながら、前記状態変数から前記少なくとも１つの冷間等方圧加圧処理条件を決定するための関数を、前記報酬に基づいて更新し、前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる冷間等方圧加圧処理条件を決定することによって生成されたものであり、
前記少なくとも１つの冷間等方圧加圧処理条件は、前記被処理物に関する第１パラメータと、
前記冷間等方圧加圧処理の前工程に関する第２パラメータと、
前記冷間等方圧加圧装置の運転条件に関する第３パラメータと、
のうちの少なくとも１つであり、
前記少なくとも１つの物理量は、前記被処理物の殺菌・不活性化に関する物理量、脱殻に関する物理量、味・風味改善に関する物理量、食感・栄養改善に関する物理量のうちの少なくとも１つである、
制御装置。
前記冷間等方圧加圧装置は、
前記被処理物を格納する圧力容器と、
前記圧力容器に前記圧媒を供給するための圧縮機と、
前記圧力容器内の圧力を調整することが可能な圧力調整機構と、
前記被処理物に関する少なくとも１つの物理量と、少なくとも１つの冷間等方圧加圧処理条件とを含む状態変数を観測する状態観測部と、
前記状態変数をネットワークを介してサーバに送信し、機械学習済みの少なくとも１つの冷間等方圧加圧処理条件を前記サーバから受信する通信部と、を備え、
前記少なくとも１つの冷間等方圧加圧処理条件は、前記サーバが、前記状態変数に基づいて、前記少なくとも１つの冷間等方圧加圧処理条件の決定結果に対する報酬を計算し、前記少なくとも１つの冷間等方圧加圧処理条件を変更させながら、前記状態変数から前記少なくとも１つの冷間等方圧加圧処理条件を決定するための関数を、前記報酬に基づいて更新し、前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる冷間等方圧加圧処理条件を決定することによって生成されたものであり、
前記少なくとも１つの冷間等方圧加圧処理条件は、前記被処理物に関する第１パラメータと、
前記冷間等方圧加圧処理の前工程に関する第２パラメータと、
前記冷間等方圧加圧装置の運転条件に関する第３パラメータと、
のうちの少なくとも１つであり、
前記少なくとも１つの物理量は、前記被処理物の殺菌・不活性化に関する物理量、脱殻に関する物理量、味・風味改善に関する物理量、食感・栄養改善に関する物理量のうちの少なくとも１つである、
制御装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、冷間等方圧加圧装置の冷間等方圧加圧条件を機械学習する技術に関するものである。
【背景技術】
【0002】
従来、食品などの被処理物に付着する微生物の殺菌を目的として、ＣＩＰ法（Ｃｏｌｄ Ｉｓｏｓｔａｔｉｃ Ｐｒｅｓｓｉｎｇ法：冷間等方圧加圧方法）を用いて、被処理物に加圧処理を施す加圧装置（ＣＩＰ装置：冷間等方圧加圧装置）が知られている（例えば、特許文献１）。このような加圧装置では、筒状の圧力容器内に被処理物が収容され、前記圧力容器内に圧力媒体が封入されることで、加圧処理が施される。このような加圧処理は、高温の加熱処理と比較して、食品の味、食感や風味などが損なわれることが少ないため有効である。高品質なＣＩＰ処理品を得るためには、加圧条件等のＣＩＰ処理条件を適切に決定することが要求される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－４６９２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来、ＣＩＰ処理条件は、この蓄積された研究データをもとに決定されているため、被処理物に対する適切なＣＩＰ処理条件を容易に決定することが困難であった。
【0005】
本発明の目的は、被処理物に対する適切なＣＩＰ処理条件を効率的に導くことができる機械学習方法などを提供することにある。
【課題を解決するための手段】
【0006】
本発明の一態様に係る機械学習方法は、被処理物に圧媒を用いて冷間等方圧加圧処理を行う冷間等方圧加圧の冷間等方圧加圧処理条件を機械学習装置が決定する機械学習方法であって、前記冷間等方圧加圧装置は、前記被処理物を格納する圧力容器と、前記圧力容器に前記圧媒を供給するための圧縮機と、前記圧力容器内の圧力を調整することが可能な圧力調整機構と、前記冷間等方圧加圧装置を制御する制御装置と、を備え、前記被処理物に関する少なくとも１つの物理量と、少なくとも１つの冷間等方圧加圧処理条件とを含む状態変数を取得し、前記状態変数に基づいて、前記少なくとも１つの冷間等方圧加圧処理条件の決定結果に対する報酬を計算し、前記少なくとも１つの冷間等方圧加圧処理条件を変更しながら、前記状態変数から前記少なくとも１つの冷間等方圧加圧処理条件を決定するための関数を、前記報酬に基づいて更新し、前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる冷間等方圧加圧処理条件を決定し、前記少なくとも１つの冷間等方圧加圧処理条件は、前記被処理物に関する第１パラメータと、前記冷間等方圧加圧処理の前工程に関する第２パラメータと、前記冷間等方圧加圧装置の運転条件に関する第３パラメータと、のうちの少なくとも１つであり、前記少なくとも１つの物理量は、前記被処理物の殺菌・不活性化に関する物理量、脱殻に関する物理量、味・風味改善に関する物理量、食感・栄養改善に関する物理量のうちの少なくとも１つである。
【0007】
本態様によれば、被処理物に関する第１パラメータと、冷間等方圧加圧処理の前工程に関する第２パラメータと、冷間等方圧加圧装置の運転条件に関する第３パラメータとのうちの少なくとも１つが状態変数として取得される。さらに、被処理物について殺菌・不活性化に関する物理量、脱殻に関する物理量、味・風味改善に関する物理量、食感・栄養改善に関する物理量のうちの少なくとも１つの物理量が状態変数として取得される。
【0008】
そして、取得された状態変数に基づいて、冷間等圧加圧処理条件の決定結果に対する報酬が計算され、計算された報酬に基づいて、状態変数から冷間等方圧加圧処理条件を決定するための関数が更新され、この更新が繰り返されて報酬が最も多く得られる冷間等方圧加圧処理条件が学習される。このため、冷間等方圧加圧処理条件を効率的に導くことができる。
【0009】
上記機械学習方法において、前記少なくとも１つの冷間等方圧加圧処理条件として、前記第１パラメータを含み、前記第１パラメータは、前記被処理物の処理量、配置、形状、寸法、包装有無、真密度、包装材の成分吸着性及び包装材の容積の少なくとも１つであってもよい。
【0010】
本態様によれば、前記第１パラメータとして、前記被処理物の処理量、配置、形状、寸法、包装有無、真密度の少なくとも１つが被処理物に関する状態変数として取得されて機械学習が行われるため、被処理物の状態を考慮に入れて適切な冷間等方圧加圧処理条件を決定できる。
【0011】
上記機械学習方法において、前記少なくとも１つの冷間等方圧加圧処理条件として、前記第２パラメータを含み、前記第２パラメータは、予熱温度、予熱時間、真空包装時の真空度の少なくとも１つであってもよい。
【0012】
本態様によれば、前記第２パラメータとして、予熱温度、予熱時間、真空包装時の真空度の少なくとも１つが前工程に関する状態変数として取得されて機械学習が行われるため、冷間等方圧加圧処理の前工程の状態を考慮に入れて適切な冷間等方圧加圧処理条件を決定できる。
【0013】
上記機械学習方法において、前記少なくとも１つの冷間等方圧加圧処理条件として、前記第３パラメータを含み、前記第３パラメータは、前記冷間等方圧加圧処理における処理圧力、昇圧速度、減圧速度、圧力保持時間、段階昇圧の有無、段階減圧の有無の少なくとも１つであってもよい。
【0014】
本態様によれば、前記第３パラメータとして、冷間等方圧加圧処理における処理圧力、昇圧速度、減圧速度、圧力保持時間、段階昇圧の有無、段階減圧の有無の少なくとも１つが運転条件に関する状態変数として取得されて機械学習が行われるため、運転条件を考慮に入れて適切な冷間等方圧加圧処理条件を決定できる。
【0015】
上記機械学習方法において、前記冷間等方圧加圧装置は、前記圧力容器内の圧媒の温度を調整することが可能な温度調整機構を更に備え、前記制御装置は、前記温度調整機構を更に制御することが可能であってもよい。また、前記第３パラメータは、前記冷間等方圧加圧処理における処理圧力、昇圧速度、減圧速度、圧力保持時間、段階昇圧の有無、段階減圧の有無、処理温度、処理中昇温速度、処理中降温速度、温度分布の少なくとも１つであってもよい。
【0016】
本態様によれば、温度調整機構によって圧力容器内の温度を調整することで、被処理物の特性を好適に変化させることができる。また、第３パラメータとして、処理温度、処理中昇温速度、処理中降温速度、温度分布の少なくとも１つが運転条件に関する状態変数として取得されて機械学習が行われる場合には、当該運転条件を考慮に入れて適切な冷間等方圧加圧処理条件を決定できる。
【0017】
上記機械学習方法において、前記関数は深層強化学習を用いて更新されてもよい。
【0018】
本態様によれば、関数の更新が深層強化学習を用いて行われるため、当該関数の更新を正確かつ速やかに行うことができる。このため、冷間等方圧加圧処理条件をより効率的に導くことができる。
【0019】
上記機械学習方法において、前記報酬の計算では、前記少なくとも１つの物理量が各物理量に対応する所定の基準値に近づいている場合、前記報酬を増大させてもよい。
【0020】
この構成によれば、物理量が基準値に近づくにつれて報酬が増大されるため、物理量を速やかに基準値に到達させることができる。
【0021】
なお、本発明において、上記の機械学習方法が備える各処理は機械学習装置に実装されてもよいし、機械学習プログラムとして実装されて流通されてもよい。この機械学習装置は、サーバで構成されてもよいし、冷間等方圧加圧装置で構成されてもよい。
【0022】
本発明の別の一態様に係る通信方法は、被処理物に圧媒を用いて冷間等方圧加圧処理を行う冷間等方圧加圧装置の冷間等方圧加圧処理条件を機械学習する際の前記冷間等方圧加圧装置の制御装置の通信方法であって、前記冷間等方圧加圧装置は、前記被処理物を格納する圧力容器と、前記圧力容器に前記圧媒を供給するための圧縮機と、前記圧力容器内の圧力を調整することが可能な圧力調整機構と、前記制御装置と、を備え、前記制御装置は、前記被処理物に関する少なくとも１つの物理量と、少なくとも１つの冷間等方圧加圧処理条件とを含む状態変数を観測し、前記制御装置は、前記状態変数をネットワークを介してサーバに送信し、機械学習済みの少なくとも１つの冷間等方圧加圧処理条件を前記サーバから受信し、前記少なくとも１つの冷間等方圧加圧処理条件は、前記サーバが、前記状態変数に基づいて、前記少なくとも１つの冷間等方圧加圧処理条件の決定結果に対する報酬を計算し、前記少なくとも１つの冷間等方圧加圧処理条件を変更させながら、前記状態変数から前記少なくとも１つの冷間等方圧加圧処理条件を決定するための関数を、前記報酬に基づいて更新し、前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる冷間等方圧加圧処理条件を決定することによって生成されたものであり、前記少なくとも１つの冷間等方圧加圧処理条件は、前記被処理物に関する第１パラメータと、前記冷間等方圧加圧処理の前工程に関する第２パラメータと、前記冷間等方圧加圧装置の運転条件に関する第３パラメータと、のうちの少なくとも１つであり、前記少なくとも１つの物理量は、前記被処理物の殺菌・不活性化に関する物理量、脱殻に関する物理量、味・風味改善に関する物理量、食感・栄養改善に関する物理量のうちの少なくとも１つである。
【0023】
本態様によれば、冷間等方圧加圧処理条件を機械学習する際に必要な情報が提供される。このような通信方法は、冷間等方圧加圧装置にも実装可能である。
【0024】
また、本発明の別の一態様に係る制御装置は、被処理物に圧媒を用いて冷間等方圧加圧処理を行う冷間等方圧加圧装置の制御装置であって、前記冷間等方圧加圧装置は、前記被処理物を格納する圧力容器と、前記圧力容器に前記圧媒を供給するための圧縮機と、前記圧力容器内の圧力を調整することが可能な圧力調整機構と、前記被処理物に関する少なくとも１つの物理量と、少なくとも１つの冷間等方圧加圧処理条件とを含む状態変数を観測する状態観測部と、前記状態変数をネットワークを介してサーバに送信し、機械学習済みの少なくとも１つの冷間等方圧加圧処理条件を前記サーバから受信する通信部と、を備え、前記少なくとも１つの冷間等方圧加圧処理条件は、前記サーバが、前記状態変数に基づいて、前記少なくとも１つの冷間等方圧加圧処理条件の決定結果に対する報酬を計算し、前記少なくとも１つの冷間等方圧加圧処理条件を変更させながら、前記状態変数から前記少なくとも１つの冷間等方圧加圧処理条件を決定するための関数を、前記報酬に基づいて更新し、前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる冷間等方圧加圧処理条件を決定することによって生成されたものであり、前記少なくとも１つの冷間等方圧加圧処理条件は、前記被処理物に関する第１パラメータと、前記冷間等方圧加圧処理の前工程に関する第２パラメータと、前記冷間等方圧加圧装置の運転条件に関する第３パラメータと、のうちの少なくとも１つであり、前記少なくとも１つの物理量は、前記被処理物の殺菌・不活性化に関する物理量、脱殻に関する物理量、味・風味改善に関する物理量、食感・栄養改善に関する物理量のうちの少なくとも１つである。
【発明の効果】
【0025】
本発明によれば被処理物に対する適切な冷間等方圧加圧処理条件を効率的に導くことができる。
【図面の簡単な説明】
【0026】
【図1】本発明の一実施形態において学習対象となるＣＩＰ装置の全体構成図である。
【図2】本発明の一実施形態におけるＣＩＰ装置を機械学習させる機械学習システムの全体構成図である。
【図3】ＣＩＰ処理条件の一例を示す図である。
【図4】ＣＩＰ処理中の圧力容器内の圧力及び温度の推移の一例を示すグラフである。
【図5】被処理物の物理量の一例を示す図である。
【図6】被処理物の物理量の一例を示す図である。
【図8】本発明の変形実施形態に係る機械学習システムの全体構成図である。
【発明を実施するための形態】
【0027】
以下、図面を参照して、本発明の一実施形態に係るＣＩＰ装置１００（冷間等方圧加圧装置、等方圧加圧装置）について説明する。図１は、本発明の実施の形態において学習対象となるＣＩＰ装置１００の全体構成図である。ＣＩＰ装置１００は、被処理物に対して圧力媒体を用いて等方圧加圧処理を行う。
【0028】
なお、以下の説明では、処理対象である被処理物を食品としているが、被処理物は、食品以外の製品（例えば飲料）であってもよい。
【0029】
本発明の一実施形態に係るＣＩＰ装置１００は、圧力容器２と、収容容器５０と、プレスフレーム１０と、搬入用レール１１と、搬出用レール１２と、移動用レール１３と、給排水ユニット３１（圧媒供給機構）と、ポンプユニット３２（加圧機構）と、ヒーター３３（図２）と、制御装置８００とを備える。
【0030】
圧力容器２は、内部に被処理物を収容し、被処理物に対して等方圧加圧処理を施す。圧力容器２は、容器本体２０と、第１蓋部２１と、第２蓋部２２と、を有する。圧力容器２は、高い耐圧性を備えるためにステンレスなどの金属材料から構成される。
【0031】
容器本体２０は、水平方向に沿って延びる中心軸回りに形成された円筒状の内周面を備える。容器本体２０の内部には、前記内周面によって画定される処理空間が形成されているとともに、前記内周面の軸方向の両端部がそれぞれ開口されている（図１）。
【0032】
第１蓋部２１および第２蓋部２２は、容器本体２０の前記軸方向の両端部にそれぞれ装着され処理空間を封止する。
【0033】
第１蓋部２１および第２蓋部２２は、不図示の給排水路を有する。給排水路は各蓋部の外部と処理空間とを連通し、加圧処理後の圧力媒体が給排水路を通じて処理空間から排出される。また、給排水路は、不図示の流路を介して、給排水ユニット３１、ポンプユニット３２に連通しており、当該給排水路を通じて圧力媒体が処理空間に流入する。給排水路には必要に応じて開閉可能な不図示の弁が配置されている。
【0034】
収容容器５０は、被処理物を収容するとともに圧力容器２の処理空間に配置される（図１の矢印参照）。本実施形態では、収容容器５０の内部には、被処理物を収容することが可能な収容空間が形成されている。
【0035】
また、本実施形態では、収容容器５０は、圧力容器２よりも熱伝導率が低い材料から構成されている。具体的に、収容容器５０は、塩化ビニル、ＭＣナイロン、テフロン（登録商標）などから構成されればよい。また、収容容器５０の一部に、これらの材料が使用される態様でもよい。このような構成によれば、収容容器５０の保温性を高く維持することができる。一方、圧力容器２は、加圧処理を施すために高い耐圧性を備えた金属材料から構成される。
【0036】
プレスフレーム１０（図１）は、圧力容器２の両端蓋に働く軸力を支持する機能を有する。プレスフレーム１０は、枠構造を有し、枠内の加圧位置Ｐに圧力容器２が配置されると、圧力容器２内の被処理物に等方圧加圧処理が施される。
【0037】
移動用レール１３は、圧力容器２の容器本体２０を加圧位置Ｐと待機位置Ｔとの間で移動可能なように容器本体２０を案内する。容器本体２０は不図示の駆動機構の駆動力を受けて加圧位置Ｐと待機位置Ｔとの間を移動する。図１に示すように、待機位置Ｔは、加圧位置Ｐから離間した位置である。なお、圧力容器２の第１蓋部２１および第２蓋部２２は、常に加圧位置Ｐに配置されている。容器本体２０が加圧位置Ｐに配置されると、不図示の駆動シリンダが第１蓋部２１および第２蓋部２２を軸方向に沿って移動させ容器本体２０の両端部に装着する。
【0038】
搬入用レール１１は、加圧処理前に待機位置Ｔにおいて待機する容器本体２０の内部に向かって収容容器５０を案内する。一方、搬出用レール１２は、加圧処理後に待機位置Ｔに移動された容器本体２０から収容容器５０を引き出すように収容容器５０を案内する。
【0039】
給排水ユニット３１は、タンク３１Ａを含み、圧力容器２の処理空間に圧力媒体（圧媒）を供給する。本実施形態では、圧力媒体として水、温水が使用される。給排水ユニット３１は、本発明の圧縮機として機能する。
【0040】
ポンプユニット３２は、処理空間に封入された前記圧力媒体を加圧する。本実施形態では、処理空間に圧力媒体が供給されると同時に、ポンプユニット３２によって圧力媒体が加圧される。ポンプユニット３２は、本発明の圧力調整機構として機能する。ポンプユニット３２は、圧力容器２内の圧力を調整することが可能である。
【0041】
ヒーター３３（図２）は、圧力容器２の内部に配置されており、被処理物に対する加圧処理前または加圧処理中に、被処理物を予熱または加熱する。ヒーター３３は、収容容器５０内に配置されてもよい。また、ヒーター３３は、不図示の熱電対を含み、その温度検出結果に応じて発熱量が調整可能とされている。ヒーター３３は、本発明の温度調整機構として機能する。ヒーター３３は、圧力容器２内の圧力媒体の温度を調整することが可能である。なお、本実施形態において圧力容器２内の圧媒の温度は、公知のＨＩＰ（Ｈｏｔ Ｉｓｏｓｔａｔｉｃ Ｐｒｅｓｓｉｎｇ）装置における圧媒の温度（数１００度～２０００度の高温）よりは低く、一例として１００度以下である。
【0042】
制御装置８００は、給排水ユニット３１、ポンプユニット３２、ヒーター３３、前記駆動機構および前記駆動シリンダの動作を制御する。制御装置８００は、不図示の操作パネルを有している。制御装置８００は、コンピュータで構成され、ＣＩＰ装置１００の全体制御を司る。
【0043】
上記のようなＣＩＰ装置１００において、被処理物に対して等方圧加圧処理を施す場合、まず、圧力容器２および収容容器５０を含むＣＩＰ装置１００が準備される（準備工程）。前述のように、圧力容器２の容器本体２０は、移動用レール１３上の待機位置Ｔに配置され、圧力容器２の第１蓋部２１および第２蓋部２２は、プレスフレーム１０に配置されている。また、収容容器５０は、搬入用レール１１上に配置される。作業者は、収容容器５０の不図示の蓋部を開放し、収容容器５０内に食品などの被処理物を収容する（被処理物収容工程）。この際、ヒーター３３によって収容容器５０内の圧媒（または被処理物）をたとえば８０℃前後に加温（予熱）してもよい。
【0044】
次に、作業者が搬入用レール１１に沿って収容容器５０を容器本体２０の内部に挿入する（収容容器配置工程）。また、作業者は、制御装置８００を操作し、容器本体２０を移動用レール１３に沿ってプレスフレーム１０内の加圧位置Ｐに設置する。移動用レール１３上の加圧位置Ｐでは、第１蓋部２１および第２蓋部２２が容器本体２０に対向して配置されている。そして、容器本体２０が加圧位置Ｐに配置されると、不図示の駆動シリンダが伸長し、不図示の受圧盤を介して、第１蓋部２１および第２蓋部２２がそれぞれ容器本体２０に装着される。この結果、圧力容器２の処理空間が密閉状態とされる。
【0045】
次に、作業者の操作指令を受けて制御装置８００が給排水ユニット３１を制御し、給排水ユニット３１から圧力容器２の処理空間内に常温（たとえば２０℃）の水が供給される。水は、圧力容器２の処理空間および収容容器５０の収容空間を満たすまで充填される。
【0046】
次に、制御装置８００は、ポンプユニット３２を制御して、処理空間内の水を加圧する（等方圧加圧処理、加圧処理工程）。この際、加圧により処理空間内の水の体積が減少するため、常温の水が追加補給される。加圧時には、処理空間の圧力が約６００ＭＰａに設定される。収容容器５０内の被処理物に高い圧力が所定の時間付与されることで、収容容器５０内の被処理物に対する高い殺菌作用などが発現される。なお、上記の加圧中に、ヒーター３３によって収容容器５０内の圧媒（被処理物）をたとえば８０℃前後に加温してもよい。
【0047】
加圧処理が終了すると、処理空間に対する減圧処理が施される。具体的に、第１蓋部２１および第２蓋部２２の給排水路から水が排出される。この際、処理空間から水が排出されていくと、処理空間と収容空間との間に生じる差圧に伴って収容空間から処理空間に圧力媒体が排出され、収容空間内が大気圧に近づきながら、圧力容器内が減圧される（減圧処理工程）。
【0048】
その後、不図示の駆動シリンダが受圧盤を介して第１蓋部２１および第２蓋部２２を容器本体２０から脱離させる。その後、収容容器５０を含む容器本体２０が再び、待機位置Ｔに移動される（図１）。そして、搬出用レール１２に沿って収容容器５０が容器本体２０から引き出され、収容容器５０から加圧処理後の被処理物が取り出される。
【0049】
図２は、本実施形態におけるＣＩＰ装置１００を機械学習させる機械学習システムの全体構成図である。機械学習システム（機械学習装置）は、図１で説明した制御装置８００に加えてサーバ９００（管理装置）及び通信装置７００を含む。サーバ９００及び通信装置７００はネットワークＮＴ１を介して相互に通信可能に接続されている。通信装置７００及び制御装置８００はネットワークＮＴ２を介して相互に通信可能に接続されている。ネットワークＮＴ１は、例えばインターネットなどの広域通信網である。ネットワークＮＴ２は、例えばローカルエリアネットワークである。サーバ９００は、例えば１以上のコンピュータで構成されるクラウドサーバである。通信装置７００は、例えば制御装置８００を使用するユーザが所持するコンピュータである。通信装置７００は、制御装置８００をネットワークＮＴ１に接続するゲートウェイとして機能する。通信装置７００は、ユーザ自身が所持するコンピュータに専用のアプリケーションソフトウェアをインストールすることで実現される。或いは通信装置７００は、ＣＩＰ装置１００の製造メーカがユーザに提供する専用の装置であってもよい。制御装置８００は、前述のように図１で説明したＣＩＰ装置１００を制御する制御装置である。
【0050】
以下、各装置の構成を具体的に説明する。サーバ９００は、プロセッサ９１０及び通信部９２０を含む。プロセッサ９１０は、ＣＰＵなどを含む制御装置である。プロセッサ９１０は、報酬計算部９１１、更新部９１２、決定部９１３、及び学習制御部９１４を含む。プロセッサ９１０が備える各ブロックは、コンピュータを機械学習システムにおけるサーバ９００として機能させる機械学習プログラムをプロセッサ９１０が実行することで実現されてもよいし、専用の電気回路で実現されてもよい。
【0051】
報酬計算部９１１は、状態観測部８２１が観測した状態変数に基づいて、少なくとも１つのＣＩＰ処理条件の決定結果に対する報酬を計算する。
【0052】
更新部９１２は、状態観測部８２１が観測した状態変数からＣＩＰ処理条件を決定するための関数を、報酬計算部９１１によって計算された報酬に基づいて更新する。関数としては、後述の行動価値関数が採用される。
【0053】
決定部９１３は、少なくとも１つのＣＩＰ処理条件を変更しながら、関数の更新を繰り返すことによって、報酬が最も多く得られるＣＩＰ処理条件を決定する。
【0054】
学習制御部９１４は、機械学習の全体制御を司る。本実施の形態の機械学習システムは強化学習によってＣＩＰ処理条件を学習する。強化学習とは、エージェント（行動主体）が環境の状況に基づいてある行動を選択し、選択した行動に基づいて環境を変化させ、環境変化に伴う報酬をエージェントに与えることにより、エージェントにより良い行動の選択を学習させる機械学習手法である。強化学習としては、Ｑ学習及びＴＤ学習が採用できる。以下の説明では、Ｑ学習を例に挙げて説明する。本実施形態では、報酬計算部９１１、更新部９１２、決定部９１３、学習制御部９１４、及び後述する状態観測部８２１がエージェントに相当する。本実施形態において、通信部９２０は、状態変数を取得する状態取得部の一例である。
【0055】
通信部９２０は、サーバ９００をネットワークＮＴ１に接続する通信回路で構成される。通信部９２０は、状態観測部８２１により観測された状態変数を通信装置７００を介して受信する。通信部９２０は、決定部９１３が決定したＣＩＰ処理条件を通信装置７００を介して制御装置８００に送信する。
【0056】
通信装置７００は、送信器７１０及び受信器７２０を含む。送信器７１０は、制御装置８００から送信された状態変数をサーバ９００に送信すると共に、サーバ９００から送信されたＣＩＰ処理条件を制御装置８００に送信する。受信器７２０は、制御装置８００から送信された状態変数を受信すると共に、サーバ９００から送信されたＣＩＰ処理条件を受信する。
【0057】
制御装置８００は、通信部８１０、プロセッサ８２０、センサー部８３０、入力部８４０、及びメモリ８５０を含む。
【0058】
通信部８１０は、制御装置８００をネットワークＮＴ２に接続するための通信回路である。通信部８１０は、状態観測部８２１によって観測された状態変数をサーバ９００に送信する。通信部８１０は、サーバ９００の決定部９１３が決定したＣＩＰ処理条件を受信する。通信部８１０は、学習制御部９１４が決定した後述するＣＩＰ処理実行コマンドを受信する。
【0059】
プロセッサ８２０は、ＣＰＵなどを含むコンピュータである。プロセッサ８２０は、状態観測部８２１、処理実行部８２２、及び入力判定部８２３を含む。通信部８１０は、状態観測部８２１が取得した状態変数をサーバ９００に送信する。プロセッサ８２０が備える各ブロックは、例えばＣＰＵが機械学習システムの制御装置８００として機能させる機械学習プログラムを実行することで実現される。
【0060】
状態観測部８２１は、ＣＩＰ処理実行後において、センサー部８３０が検出した物理量を取得する。状態観測部８２１は、ＣＩＰ処理実行後において被処理物に関する少なくとも１つの物理量と、少なくとも１つのＣＩＰ処理条件とを含む状態変数を観測する。具体的には、状態観測部８２１は、センサー部８３０の計測値に基づいてＣＩＰ処理条件を取得する。また、状態観測部８２１は、センサー部８３０の計測値などに基づいて物理量を取得する。本実施形態において、被処理物に関する少なくとも１つの物理量は、殺菌・不活性化に関する物理量、脱殻に関する物理量、味・風味改善に関する物理量、食感・栄養改善に関する物理量である。
【0061】
図３は、ＣＩＰ処理条件の一例を示す図である。ＣＩＰ処理条件は、大きく中分類に分類される。中分類には、被処理物に関する第１パラメータと、ＣＩＰ処理の前工程に関する第２パラメータと、ＣＩＰ装置１００の運転条件に関する第３パラメータとのうちの少なくとも１つが含まれる。表中の学習制御において、「１」と記載されたパラメータはユーザが入力部８４０を操作することによって値を指定するパラメータであり、機械学習によって学習されるパラメータではない。したがって、本実施の形態では「１」と記載された以外、すなわち「２」と記載されたパラメータが学習対象となる。但し、これは一例であり、「１」と記載されたパラメータのうちのいずれか１つ又は複数のパラメータが学習対象とされてもよい。
【0062】
第１パラメータは、小分類として、処理量、配置、形状、寸法、包装有無、真密度、包装材の成分吸着性及び包装材の容積の少なくとも１つを含む。処理量は、１バッチあたり処理する量、すなわち、１度のＣＩＰ処理において収容容器５０に収容される被処理物の量を示す。配置は、収容容器５０内で被処理物をどのように配置するかを示している。形状は、被処理物の外形状である。例えば、形状としては、球、長楕円体、偏楕円体、直方体、立方体、円筒形といった情報が採用できる。このように、形状をＣＩＰ処理条件に加えたのは、被処理物の形状によってＣＩＰ処理の結果が変わる可能性があるからである。寸法は、被処理物が直方体の場合、幅、高さ、及び奥行き等の情報が採用され、被処理物が円筒形の場合、平均直径及び高さ等の情報が採用される。包装有無は、処理時に被処理物を包装するか否かを示すものであり、例えば真空パックの有無などを意味する。真密度は、被処理物の密度を示す。包装材の成分吸着性は、被処理物を入れる包装材表面の吸着性（吸着しやすさ）を示す。また、包装材の容積は、被処理物を入れる包装材の容積を示す。なお、他の実施形態において、被処理物の形状や寸法を機械学習によって学習されるパラメータとする場合には、例えば、カメラ又は３次元測定器等を用いてこれらを観測することができる。
【0063】
前述のように、処理量、配置、形状、寸法、包装有無および真密度は、それぞれ、ユーザによって入力部８４０を介して入力される。したがって、状態観測部８２１は、これらのパラメータを入力部８４０から取得すればよい。
【0064】
第２パラメータは、小分類として、予熱温度、予熱時間、真空包装時の真空度を含む。予熱温度は被処理物に対してＣＩＰ処理（加圧処理）前に行われる予熱処理における温度を示す。同様に、予熱時間は被処理物に対してＣＩＰ処理前に行われる予熱処理における時間を示す。真空包装時の真空度は、被処理物を真空包装する際の真空度を示す。これらの第２パラメータは、それぞれ、ユーザによって入力部８４０を介して入力される。したがって、状態観測部８２１はこれらのパラメータを入力部８４０から取得すればよい。
【0065】
第３パラメータは、小分類として、処理圧力、昇圧速度、減圧速度、圧力保持時間、段階昇圧の有無、段階減圧の有無、処理温度、昇温速度（処理中）、降温速度（処理中）、温度分布を含む。処理圧力は、ＣＩＰ処理中の圧力容器２内の圧力を示す。昇圧速度および減圧速度は、ＣＩＰ処理前後の圧力の変化における速度を示す。なお、減圧速度は、二次減圧も含んでいる。予め設定される二次減圧設定値以下で、減圧速度が変化する。圧力保持時間は、被処理物に対してＣＩＰ処理を行う時間を示す。段階昇圧の有無は、ＣＩＰ処理時に一定の処理圧力に到達するまでの昇圧を段階的に行うか否かを示す。同様に、段階減圧の有無は、ＣＩＰ処理時に一定の処理圧力からの減圧を段階的に行うか否かを示す。処理温度は、ＣＩＰ処理中の圧力容器２内の温度を示す。昇温速度（処理中）は、ＣＩＰ処理中の圧力容器２内の温度上昇の速度を示す。同様に、降温速度（処理中）は、ＣＩＰ処理中の圧力容器２内の温度低下の速度を示す。温度分布は、圧力容器２内の所定の方向に沿って複数のヒーター３３が配置された場合に、各ヒーター３３の発熱量を調整することで形成される圧力容器２内の温度分布を示す。
【0066】
図４は、ＣＩＰ処理中の圧力容器２内の圧力及び温度の推移の一例を示すグラフである。図４において縦軸は圧力及び温度を示し、横軸は時間を示す。この例では、圧力及び温度の推移は共に台形状である。圧力及び温度はそれぞれ最大圧力及び最高温度になるまで一定の傾きで増大し、一定時間最大圧力（処理圧力）及び最高温度（処理温度）を維持した後、一定の傾きで減少する。圧力について、前述のように処理圧力、昇圧時の傾き（昇圧速度）、降圧時の傾き（減圧速度）、最大圧力の維持時間（圧力保持時間）、段階昇圧、段階減圧の有無などが変化されて機械学習が行われる。また、温度について、処理温度、増大時の傾き（昇温速度）、減少時の傾き（降温速度）、最高温度の維持期間、温度分布などが変化されて機械学習が行われる。圧力に関する運転条件は入力部８４０を介してユーザが入力したデータが採用されてもよいし、給排水ユニット３１が有する圧力センサー（不図示）の計測値が採用されてもよい。上記のその他のパラメータは、入力部８４０を介してユーザにより入力されたデータが採用される。
【0067】
図５および図６は、被処理物の物理量の一例を示す図である。物理量は、大分類として、殺菌・不活性化に関する物理量と、脱殻に関する物理量と、味・風味改善に関する物理量と、食感・栄養改善に関する物理量とがある。
【0068】
殺菌・不活性化は大きく分けて殺菌および不活性化に分類される。殺菌の中分類は、処理目的に応じて、複数の小分類に分類される。当該小分類には、サルモネラ属菌、ビブリオ属菌、腸管出血性大腸菌、芽胞菌（セレウス菌、クロストリジウム属菌、ボツリヌス菌など）、カンピロバクター・ジェジュニ/コリ、リステリア・モノサイトゲネス、黄色ブドウ球菌の菌数が含まれる。また、不活性化の中分類も、処理目的の詳細に応じて、複数の小分類に分類される。当該小分類には、ノロウイルス、サポウイルス、Ａ型肝炎ウイルス、Ｅ型肝炎ウイルスのウイルス数が含まれる。
【0069】
サルモネラ属菌の小分類は、同菌の殺菌を目的とするものであり、一例として、卵、鶏肉などを対象とする。サルモネラ属菌の測定には、ＩＳＯ６５７９に準拠した試験法、国立医薬品食品衛生研究所が定めるサルモネラ属菌標準試験法ＮＩＨＳＪ－０１などがあげられる。
【0070】
ビブリオ属菌の小分類は、同菌の殺菌を目的とするものであり、一例として、魚介類を対象とする。ビブリオ属菌の測定には、ＩＳＯ２１８７２に準拠した試験法、国立医薬品食品衛生研究所が定める腸炎ビブリオ標準試験法ＮＩＨＳＪ－０７などがあげられる。
【0071】
腸管出血性大腸菌の小分類は、同菌の殺菌を目的とするものであり、食品全般を対象とする。腸管出血性大腸菌の測定には、ＩＳＯ１６６５４に準拠した試験法、又は厚生労働省が定める「腸管出血性大腸菌Ｏ２６、Ｏ１０３、Ｏ１１１、Ｏ１２１、Ｏ１４５及びＯ１５７の検査法」などがあげられる。
【0072】
芽胞菌の小分類は、同菌（セレウス菌、クロストリジウム属菌、ボツリヌス菌など）の殺菌を目的とするものであり、一例として、セレウス菌については、魚肉ねり製品などの製造に使用する砂糖、でん粉、香辛料などを対象とし、クロストリジウム属菌については、特定加熱食肉製品、包装後加熱食肉製品、ミネラルウォーター類の原水などを対象とする。これらの菌の測定には、セレウス菌の場合には、検体の前処理として沸騰水浴中で１０分加熱し、標準寒天培地において３０度で４８時間の好気培養を行う。また、クロストリジウム属菌の場合には、前処理として７０度で２０分加熱し、クロストリジウム測定用培地（嫌気性パウチ）において３５度で２４時間の培養を行う。いずれも、１グラム当たり１０００個以下の菌数を基準に判定することができる。
【0073】
カンピロバクター・ジェジュニ/コリの小分類は、同菌の殺菌を目的とするものであり、一例として、食肉（特に鶏肉）、飲料水、サラダなどを対象とする。これらの菌の測定には、ＩＳＯ１０２７２に準拠した試験法、国立医薬品食品衛生研究所が定めるカンピロバクター標準試験法ＮＩＨＳＪ－０２などがあげられる。
【0074】
リステリア・モノサイトゲネスの小分類は、同菌の殺菌を目的とするものであり、一例として、乳、乳製品、食肉加工品、サラダ、魚介類加工品などを対象とする。これらの菌の測定には、ＩＳＯ１１２９０に準拠した試験法、厚生労働省が定める「リステリア・モノサイトゲネス定量試験法」、国立医薬品食品衛生研究所が定めるリステリア・モノサイトゲネス標準試験法ＮＩＨＳＪ－０９などがあげられる。
【0075】
黄色ブドウ球菌の小分類は、同菌の殺菌を目的とするものであり、一例として、にぎりめし、寿司、肉、卵、乳などの調理加工品及び菓子類など多岐にわたる対象があげられる。当該菌の測定には、ＩＳＯ６８８８に準拠した試験法、国立医薬品食品衛生研究所が定める黄色ブドウ球菌標準試験法ＮＩＨＳＪ－０３、ＮＩＨＳＪ－０５などがあげられる。
【0076】
ノロウイルスの小分類は、同ウイルスの不活性化を目的とするものであり、一例として、二枚貝などを対象とする。同ウイルスの測定には、ＩＳＯ１５２１６に準拠した試験法、厚生労働省が定める「ノロウイルスの検出方法（リアルタイムＰＣＲ法）」などがあげられる。
【0077】
サポウイルスの小分類は、同ウイルスの不活性化を目的とするものであり、一例として、二枚貝などを対象とする。同ウイルスの測定には、リアルタイムＰＣＲ法があげられる。
【0078】
Ａ型肝炎ウイルスの小分類は、同ウイルスの不活性化を目的とするものであり、一例として、井戸水、二枚貝、野菜などを対象とする。同ウイルスの測定には、ＩＳＯ１５２１６に準拠した試験法、国立医薬品食品衛生研究所が定める「Ａ型肝炎ウイルス検出法（リアルタイムＰＣＲ法）」などがあげられる。
【0079】
Ｅ型肝炎ウイルスの小分類は、同ウイルスの不活性化を目的とするものであり、一例として、水、ブタ、イノシシ、シカなどを対象とする。同ウイルスの測定には、公知の細胞培養法、遺伝子検査法、血清検査法などがあげられる。
【0080】
脱殻の物理量は、いずれもタンパク質性変性の中分類に対応する。当該中分類は、処理目的に応じて、処理できた個数、むけ量の小分類に分類される。
【0081】
処理できた個数およびむけ量に関する小分類は、一例として二枚貝・甲殻類などを対象とする。当該分類の測定方法として、タンパク質の変性による脱殻処理が達成できた被処理物の個数をカウントするとともに、むけた面積を測定する。
【0082】
味・風味改善の物理量はいずれも味・風味改善の中分類に対応する。当該中分類は、処理目的に応じて、酸味、塩味、旨味、苦味、渋味、甘味、匂いの小分類に分類される。これらはいずれも食品全般を対象とし、酸味、塩味、旨味、苦味、渋味、甘味の測定は味覚センサーを用い、匂いの測定は匂いセンサーを用いることができる。なお、匂いについては、特にジャムなどの食品を対象とすることができる。
【0083】
食感・栄養改善の物理量は大きく中分類に分類される。当該中分類には、タンパク質変性、含浸、組織破壊、酵素失活、酵素反応促進が含まれる。タンパク質変性の中分類は、処理目的に応じて、ゲル化、色調の小分類に分類される。同様に、含浸の中分類は、油分量、アルコール量、リモネンの小分類に分類される。組織破壊の中分類は、水分量（保水性）、弾力性、硬さ、粘り、糊化度（α化度）、イノシン酸、ペプチド、アミノ酸、光沢、形状変化、消化性、製造時間の小分類に分類される。酵素失活の中分類は、リコピン、ケルセチン、核酸、アリシン、ビタミンＣの小分類に分類される。酵素反応促進の中分類は、ＧＡＢＡ（Ｇａｍｍａ－Ａｍｉｎｏ Ｂｕｔｙｒｉｃ Ａｃｉｄ）の小分類に相当する。
【0084】
ゲル化の小分類は、タンパク質変性に伴う被処理物のゲル化の度合いを測るものであり、一例として、ジャムなどの食品を対象とする。ゲル化の測定には公知のレオメーターを用いることができる。
【0085】
色調の小分類は、グロビンタンパク質部の変性に伴う色素分子プロトヘムの遊離を測るものであり、一例として、食肉などを対象とする。色調の測定には、色彩計、分光測色計などを用いることができる。
【0086】
油分量、アルコール量およびリモネンの小分類は、いずれも食品全般を対象とする。油分量の測定には、赤外線多成分計、油分濃度計を用いることができる。アルコール量の測定には、酵素法、液体クロマトグラフィー、比重法、酸化法、ガスクロマトグラフィー、エタノールセンサーなどを用いることができる。また、リモネンの測定には、ガスクロマトグラフィーを用いることができる。
【0087】
水分量（保水性）、弾力性、硬さ、粘り、糊化度（α化度）の小分類は、いずれも細胞壁が破壊され、水分が侵入しやすくなることによって変化する特性を測るものである。水分量の小分類は、食肉などを対象とし、水分計によって測定することができる。同様に、弾力性の小分類は、食肉などを対象とし、レオメーターによって測定することができる。また、硬さの小分類は、食肉、無菌化包装米飯などを対象とし、クリープメーター、テクスチュロメーターによって測定することができる。粘りの小分類は、無菌化包装米飯などを対象とし、レオメーターによって測定することができる。また、糊化度（α化度）の小分類は、無菌化包装米飯などを対象とし、グルコアミラーゼ第２法、グルコアミラーゼ法、ジアスターゼ法、β－アミラーゼ・ブルラナーゼ法などによって測定することができる。
【0088】
イノシン酸、ペプチド、アミノ酸の小分類は、いずれも細胞壁の破壊によるタンパク質分解酵素の溶出によって変化する特性を測るものである。イノシン酸の小分類は、一例として、食肉を対象とし、ダイレクトＵＶ検出法、蛍光プローブ、高速液体クロマトグラフィーによって測定することができる。ペプチドの小分類は、主に食肉、大豆などを対象とし、蛍光法、高感度酵素免疫測定法によって測定することができる。アミノ酸の小分類は、食肉、昆布などを対象とし、アミノ酸自動分析装置によって測定することができる。
【0089】
光沢の小分類は、細胞壁の破壊により水分を吸収しやすくなることによって変化する特性を測るものであり、主に無菌化包装米飯などを対象とする。光沢の測定には、公知の光沢測定装置を用いることができる。形状変化の小分類は、被処理物の細胞壁の破壊をその形状を保ったまま行うことができるか否かを測るものであり、主に無菌化包装米飯などを対象とする。当該形状の測定には、公知の３次元形状測定装置などを用いることができる。消化性の小分類は、被処理物の細胞壁の破壊により消化しやすくなることを測るものであり、主に無菌化包装米飯などを対象とする。当該消化性の測定には、官能試験を用いることができる。製造時間の小分類は、細胞壁の破壊により水分を吸収しやすくなることによって変化する特性を測るものであり、主に無菌化包装米飯などを対象とする。製造時間は、被処理物の吸水時間によって測ることができる。
【0090】
リコピン、ケルセチン、核酸、アリシンおよびビタミンＣの小分類は、それぞれ、酵素の失活による機能性成分の変化を測るものである。リコピンは、トマトなどの食品を対象とし、液体クロマトグラフィー、可視・近赤外分光法によって測定することができる。ケルセチンは、玉ねぎなどの食品を対象とし、試料細断後、メタノールで抽出し吸光度測定を行う方法や液体クロマトグラフィーなどの測定方法を用いることができる。
【0091】
核酸は、シイタケなどの食品を対象とし、吸光分光法、蛍光分析法、液体クロマトグラフィー同位体希釈質量分析法などを用いて測定することができる。アリシンは、ニンニクなどの食品を対象とし、液体クロマトグラフィーを用いて測定することができる。ビタミンＣは、じゃがいも、アボカドなどの食品を対象とし、ヒドラジン法を用いて測定することができる。
【0092】
ＧＡＢＡは、酵素反応の促進によって変化する特性を測るものであり、玄米などを対象とし、アミノ酸自動分析装置によって測定することができる。
【0093】
図２に参照を戻す。処理実行部８２２は、ＣＩＰ装置１００によるＣＩＰ処理の実行を制御する。入力判定部８２３は、量産工程であるか否かを自動又は手動により判定する。入力判定部８２３は、量産工程であるか否かを自動で判定する場合、入力部８４０に入力された条件番号の入力回数が基準回数を超えた場合、ＣＩＰ装置１００は量産工程にあると判定する。条件番号とは、ある１つのＣＩＰ処理条件を特定するための識別番号である。条件番号により特定されるＣＩＰ処理条件は、少なくとも図３に示すＣＩＰ処理条件のうち「１」と記載されたＣＩＰ処理条件を含む。
【0094】
入力判定部８２３は、量産工程であるか否かを手動により判定する場合において、入力部８４０に量産工程である旨のデータが入力された場合、ＣＩＰ装置１００は量産工程にあると判定する。量産工程にある場合、制御装置８００は機械学習を行わない。
【0095】
メモリ８５０は、例えば不揮発性の記憶装置であり、最終的に決定された最適なＣＩＰ処理条件などを記憶する。
【0096】
センサー部８３０は、図３に例示されたＣＩＰ処理条件及び図５、図６に例示された被処理物の物理量の計測に用いられる各種センサーである。具体的には、センサー部８３０は、圧力容器２内の温度を計測する温度センサー、圧力センサー等を含む。また、センサー部８３０は、被処理物に対するＣＩＰ処理の終了後、収容容器５０から取り出された被処理物に各種の測定試験を行うためのセンサーを含む。図２では、センサー部８３０は、制御装置８００の内部に設けられているが、これは一例であり、制御装置８００の外部に設けられていてもよく、センサー部８３０の設置場所は特に限定されない。入力部８４０は、キーボード、及びマウスなどの入力装置である。
【0097】
図７は、図２に示す機械学習システムが実行する処理の一例を示すフローチャートである。ステップＳ１では、学習制御部９１４は、入力部８４０を用いてユーザにより入力された、ＣＩＰ処理条件の入力値を取得する。ここで取得される入力値は、図３に列記されたＣＩＰ処理条件のうち、「１」と記載されたＣＩＰ処理条件に対する入力値である。
【0098】
ステップＳ２では、学習制御部９１４は、少なくとも１つのＣＩＰ処理条件とＣＩＰ処理条件に対する設定値とを決定する。ここで、設定対象となるＣＩＰ処理条件は、図３に列挙されたＣＩＰ処理条件のうち、「２」と記載されたＣＩＰ処理条件であって、設定値が設定可能な少なくとも１つのＣＩＰ処理条件である。ここで、決定されるＣＩＰ処理条件の設定値は強化学習における行動に相当する。
【0099】
具体的には、学習制御部９１４は、設定対象となるＣＩＰ処理条件のそれぞれについて設定値をランダムに選択する。ここで、設定値は、ＣＩＰ処理条件のそれぞれについて所定の範囲内からランダムに選択される。ＣＩＰ処理条件の設定値の選択方法としては、例えばε－ｇｒｅｅｄｙ法が採用できる。
【0100】
ステップＳ３では、学習制御部９１４は、制御装置８００にＣＩＰ処理実行コマンドを送信することで、制御装置８００を通じてＣＩＰ装置１００にＣＩＰ処理を開始させる。ＣＩＰ処理実行コマンドが通信部８１０により受信されると、処理実行部８２２は、ＣＩＰ処理実行コマンドにしたがってＣＩＰ処理条件を設定し、ＣＩＰ処理を開始する。ＣＩＰ処理実行コマンドには、ステップＳ１で設定されたＣＩＰ処理条件の入力値及びステップＳ２で決定されたＣＩＰ処理条件の設定値などが含まれる。
【0101】
ＣＩＰ処理が終了すると、状態観測部８２１は、状態変数を観測する（ステップＳ４）。具体的には、状態観測部８２１は、図５、図６に記載された殺菌・不活性化、脱殻、味・風味改善、食感・栄養改善に関する物理量と、図３に記載されたＣＩＰ処理条件のうちセンサー部８３０などによって状態が観測されるＣＩＰ処理条件とを状態変数として取得する。物理量は、例えばユーザが入力部８４０を操作することによって制御装置８００に入力されてもよいし、物理量を計測する計測器と制御装置８００とが通信することで制御装置８００に入力されてもよい。状態観測部８２１は、取得した状態変数を通信部８１０を介してサーバ９００に送信する。
【0102】
ステップＳ５では、決定部９１３は、物理量を評価する。ここで、決定部９１３は、ステップＳ４で取得された物理量のうち評価対象となる物理量（以下、対象物理量と呼ぶ。）が所定の基準値に到達しているか否かを判定することで物理量を評価する。対象物理量は、図５、図６に列記された物理量のうち１又は複数の物理量である。対象物理量が複数の場合、基準値は、各対象物理量に対応する複数の基準値が存在することになる。基準値は、例えば、対象物理量が一定の基準に到達していることを示す予め定められた値が採用できる。
【0103】
例えば、サルモネラ属菌について機械学習が行われる場合は、基準値はサルモネラ属菌について予め定められた値が採用され、ゲル化について機械学習が行われる場合は、基準値はゲル化について予め定められた値が採用される。基準値は、例えば上限値と下限値とを含む値であってもよい。この場合、対象物理量が上限値と下限値との範囲内に入った場合、基準値に到達したと判定される。基準値は一つの値であってもよい。この場合、対象物理量が基準値を超えた場合、又は基準値を下回った場合に一定の基準を満たすと判定される。
【0104】
決定部９１３は、対象物理量が基準値に到達していると判定した場合（ステップＳ６でＹＥＳ）、ステップＳ２で設定したＣＩＰ処理条件を最終的なＣＩＰ処理条件として出力する（ステップＳ７）。一方、決定部９１３は、物理量が基準値に到達していないと判定した場合（ステップＳ６でＮＯ）、処理をステップＳ８に進める。なお、対象物理量が複数の場合、決定部９１３は、全ての対象物理量が基準値に到達したとき、ステップＳ６でＹＥＳと判定すればよい。
【0105】
ステップＳ８では、報酬計算部９１１は、対象物理量が基準値に近づいているか否かを判定する。対象物理量が基準値に近づいている場合（ステップＳ８でＹＥＳ）、報酬計算部９１１は、エージェントに対する報酬を増大させる（ステップＳ９）。一方、対象物理量が基準値に近づいていない場合（ステップＳ８でＮＯ）、報酬計算部９１１は、エージェントに対する報酬を減少させる（ステップＳ１０）。この場合、報酬計算部９１１は、予め定められた報酬の増減値にしたがって報酬を増減させればよい。なお、対象物理量が複数の場合、報酬計算部９１１は、複数の対象物理量のそれぞれについて、ステップＳ８の判定を行えばよい。この場合、報酬計算部９１１は、複数の対象物理量のそれぞれについて、ステップＳ８の判定結果に基づいて報酬を増減させればよい。また、報酬の増減値は対象物理量に応じて異なる値が採用されてもよい。
【0106】
また、対象物理量が基準値に近づいていない場合（ステップＳ８でＮＯ）、報酬を減少させる処理（ステップＳ１０）は省かれてもよい。この場合、対象物理量が基準値に近づいている場合にのみ報酬が与えられることになる。
【0107】
ステップＳ１１では、更新部９１２は、エージェントに付与した報酬を用いて行動価値関数を更新する。本実施の形態で採用されるＱ学習は、ある環境状態ｓの下で、行動ａを選択することへの価値であるＱ値（Ｑ（ｓ，ａ））を学習する方法である。なお、環境状態ｓｔは、上記のフローの状態変数に相当する。そして、Ｑ学習では、ある環境状態ｓのときに、Ｑ（ｓ，ａ）の最も高い行動ａが選択される。Ｑ学習では、試行錯誤により、ある環境状態ｓの下で様々な行動ａをとり、そのときの報酬を用いて正しいＱ（ｓ，ａ）が学習される。行動価値関数Ｑ（ｓｔ，ａｔ）の更新式は以下の式（１）で示される。
【0108】
【数1】
【0109】
この更新式は、状態ｓにおける行動ａのＱ値であるＱ（ｓｔ，ａｔ）よりも、行動ａによる次の環境状態ｓｔ＋１における最良の行動をとったときのＱ値に基づくγ・ｍａｘＱ（ｓｔ＋１，ａ）の方が大きければ、Ｑ（ｓｔ，ａｔ）を大きくする。一方、この更新式は、Ｑ（ｓｔ，ａｔ）よりもγ・ｍａｘＱ（ｓｔ＋１，ａ）の方が小さければ、Ｑ（ｓｔ，ａｔ）を小さくする。つまり、ある状態ｓｔにおけるある行動ａの価値を、それによる次の状態ｓｔ＋１における最良の行動の価値に近づけるようにしている。これにより、最適なＣＩＰ処理条件が決定される。
【0110】
ステップＳ１１の処理が終了すると、処理はステップＳ２に戻り、ＣＩＰ処理条件の設定値が変更され、同様にして行動価値関数が更新される。更新部９１２は、行動価値関数を更新したが、本発明はこれに限定されず、行動価値テーブルを更新してもよい。
【0111】
Ｑ（ｓ，ａ）は、全ての状態と行動とのペア（ｓ，ａ）に対する値がテーブル形式で保存されてもよい。或いは、Ｑ（ｓ，ａ）は、全ての状態と行動とのペア（ｓ，ａ）に対する値を近似する近似関数によって表されてもよい。この近似関数は多層構造のニューラルネットワークにより構成されてもよい。この場合、ニューラルネットワークは、実際にＣＩＰ装置１００を動かして得られたデータをリアルタイムで学習し、次の行動に反映させるオンライン学習を行えばよい。これにより、深層強化学習が実現される。
【0112】
具体的に、強化学習では、機械学習システムが、所定の環境の中で目的として設定された報酬（スコア）を最大化するための行動を学習する。一方、深層学習（ディープラーニング）では、ニューラルネットワークの中間層を複数にすることで、機械学習システムが自ら学習データから特徴量を抽出し、予測モデルを構築する表現学習が可能となる。したがって、本実施形態における強化学習に深層学習を応用した深層強化学習では、図３に示されるＣＩＰ処理条件（第１パラメータ、第２パラメータ、第３パラメータ）および図５、図６に示される被処理物の物理量の中から、機械学習システムが好適な特徴量を抽出することができる。この際、図３の運転条件における処理圧力および処理温度のように互いに影響しあう（交互作用）特徴量に対しては、これらを含む新たな特徴量（たとえば圧力／温度の比）を機械学習システムが抽出し、当該特徴量を変化させてもよい。このような構成によれば、高い報酬を得ることが可能なＣＩＰ処理条件をより早く効率的に得ることができる。また、上記のような深層強化学習が量産工程に対して事前に実行されることで、望ましいＣＩＰ処理条件に基づく量産工程を実現することができる。
【0113】
従来、ＣＩＰ装置においては、高品質なＣＩＰ処理品が得られるようにＣＩＰ処理条件を変化させることによってＣＩＰ処理条件の開発が行われてきた。良好なＣＩＰ処理条件を得るためには、被処理物の評価とＣＩＰ処理条件との関係性を見出すことが要求される。しかし、図３に示されるようにＣＩＰ処理条件の種類は膨大であるため、このような関係性を規定するには極めて多くの物理モデルが必要となり、物理モデルによってこのような関係性を記述するのは困難であるとの知見が得られた。さらに、このような物理モデルを構築するには、どのパラメータがどの被処理物の評価に影響を与えているのかを人為的に見いだすことも要求され、この構築は困難である。
【0114】
本実施形態によれば、上述した第１～第３のパラメータのうちの少なくとも１つのパラメータと、殺菌・不活性化に関する物理量、脱殻に関する物理量、味・風味改善に関する物理量および食感・栄養改善に関する物理量のうちの少なくとも１つの物理量とが状態変数として観測される。そして、観測された状態変数に基づいて、ＣＩＰ処理条件の決定結果に対する報酬が計算され、計算された報酬に基づいて、状態変数からＣＩＰ処理条件を決定するための行動価値関数が更新され、この更新が繰り返されて報酬が最も多く得られるＣＩＰ処理条件が学習される。このように、本実施形態は、上述の物理モデルを用いることなく、機械学習によりＣＩＰ処理条件が決定される。この結果、本実施形態は、適切なＣＩＰ処理条件を、熟練した技術者による長年の経験を頼らずに、効率的かつ容易に決定することができる。
【0115】
特に、水などを圧力媒体として圧力容器２内に流入させ、被処理物に対してＣＩＰ処理を施す場合には、図３に示される各種の処理条件が相互に関連しながら、被処理物の物理量（図５、図６）が変化する。たとえば、被処理物に関する第１パラメータとして圧力容器２（収容容器５０）内における無菌化包装米飯の配置、形状、寸法などを変化させると、同じ処理圧力（運転条件、第３パラメータ）であっても、各包装米飯に対する圧力の作用が変化する結果、粘り（図６、食感・栄養改善）に差が生じる可能性がある。このような各物理量の影響を多くの物理モデルによって見出すことは困難である。一方、本実施形態によれば、機械学習システムが行動価値関数を更新しながら、より報酬の高いＣＩＰ処理条件を学習することで、効率的に望ましいＣＩＰ処理条件を決定することができる。この際、前述のように機械学習システムに深層強化学習を適用することによって、システムが自ら新たな物理量を抽出し、適切なＣＩＰ処理条件をより早く効率的に導き出すことができる。
【0116】
以上のように、本実施形態では、制御装置８００は、前記状態変数をネットワークを介してサーバ上に送信し、機械学習済みの少なくとも１つの冷間等方圧加圧処理条件を前記サーバから受信する。また、前記少なくとも１つの冷間等方圧加圧処理条件は、前記サーバが、前記状態変数に基づいて、前記少なくとも１つの冷間等方圧加圧処理条件の決定結果に対する報酬を計算し、前記少なくとも１つの冷間等方圧加圧処理条件を変更させながら、前記状態変数から前記少なくとも１つの冷間等方圧加圧処理条件を決定するための関数を、前記報酬に基づいて更新し、前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる冷間等方圧加圧処理条件を決定することによって生成されたものである。
【0117】
なお、本発明は以下の変形実施形態を採用することができる。
【0118】
（１）図７は、本発明の変形実施形態に係る機械学習システムの全体構成図である。この変形実施形態に係る機械学習システムは、制御装置８００Ａ単体で構成されている。制御装置８００Ａは、プロセッサ８２０Ａ、入力部８８０、及びセンサー部８９０を含む。プロセッサ８２０Ａは、機械学習部８６０、及びＣＩＰ処理部８７０を含む。機械学習部８６０は、報酬計算部８６１、更新部８６２、決定部８６３、及び学習制御部８６４を含む。報酬計算部８６１～学習制御部８６４は、それぞれ、図２に示す報酬計算部９１１～学習制御部９１４と同じである。ＣＩＰ処理部８７０は、状態観測部８７１、処理実行部８７２、及び入力判定部８７３を含む。状態観測部８７１～入力判定部８７３は、それぞれ図２に示す状態観測部８２１、処理実行部８２２、及び入力判定部８２３と同じである。入力部８８０及びセンサー部８９０は、それぞれ図２に示す入力部８４０及びセンサー部８３０と同じである。本変形例において状態観測部８２１は、状態情報を取得する状態取得部の一例である。なお、センサー部８９０は、制御装置８００Ａの内部に設けられていてもよいし、制御装置８００Ａの外部に設けられていてもよく、センサー部８９０の設置場所は特に限定されない。
【0119】
このように、この変形実施形態に係る機械学習システムによれば、制御装置８００Ａ単体で最適なＣＩＰ処理条件を学習させることができる。
【0120】
（２）上記の図７に示されるフローでは、ＣＩＰ処理の終了後に状態変数が観測されていたが、これは一例であり、１回のＣＩＰ処理中に状態変数が複数観測されてもよい。例えば、状態変数が瞬時に計測可能なパラメータのみで構成されている場合、１回のＣＩＰ処理中に複数の状態変数を観測できる。これにより、学習時間の短縮が図られる。また、図７のステップＳ７においてＣＩＰ処理が開始されると、その処理の中で状態変数の観測、物理量の評価を並行して行うことで、同ＣＩＰ処理の最終段階における被処理物の物理量をより基準値に近づけるように、処理中のＣＩＰ処理条件を変化させることもできる。すなわち、本発明に係る機械学習システムが実行する機械学習方法には、複数回のＣＩＰ処理を通じて報酬が最も多く得られる冷間等方圧加圧処理条件を決定するもののみならず、所定のＣＩＰ処理中に最終的な報酬が最も多く得られる冷間等方圧加圧処理条件を決定するものも含まれる。
【0121】
（３）本発明に係る通信方法は、図２に示す制御装置８００がサーバ９００と通信する際の各種処理によって実行される。また、本発明に係る学習プログラムは図２に示すサーバ９００としてコンピュータを機能させるプログラムによって実現される。
【符号の説明】
【0122】
１０ プレスフレーム
１００ ＣＩＰ装置
１１ 搬入用レール
１２ 搬出用レール
１３ 移動用レール
２ 圧力容器
２０ 容器本体
２０Ａ 第１開口部
２０Ｂ 第２開口部
２１ 第１蓋部
２２ 第２蓋部
３１ 給排水ユニット
３１Ａ タンク
３２ ポンプユニット
３３ ヒーター
５０ 収容容器
７００ 通信装置
７１０ 送信器
７２０ 受信器
８００、８００Ａ 制御装置
８１０ 通信部
８２０、８２０Ａ プロセッサ
８２１ 状態観測部
８２２ 処理実行部
８２３ 入力判定部
８３０ センサー部
８４０ 入力部
８５０ メモリ
８６０ 機械学習部
８６１ 報酬計算部
８６２ 更新部
８６３ 決定部
８６４ 学習制御部
８７０ ＣＩＰ処理部
８７１ 状態観測部
８７２ 処理実行部
８７３ 入力判定部
８８０ 入力部
８９０ センサー部
９００ サーバ
９１０ プロセッサ
９１１ 報酬計算部
９１２ 更新部
９１３ 決定部
９１４ 学習制御部
９２０ 通信部
Ｐ 加圧位置
Ｔ 待機位置
１００ ＣＩＰ装置
１１ 搬入用レール
１２ 搬出用レール
１３ 移動用レール
２ 圧力容器
２０ 容器本体
２０Ａ 第１開口部
２０Ｂ 第２開口部
２１ 第１蓋部
２２ 第２蓋部
３１ 給排水ユニット
３１Ａ タンク
３２ ポンプユニット
３３ ヒーター
５０ 収容容器
７００ 通信装置
７１０ 送信器
７２０ 受信器
８００、８００Ａ 制御装置
８１０ 通信部
８２０、８２０Ａ プロセッサ
８２１ 状態観測部
８２２ 処理実行部
８２３ 入力判定部
８３０ センサー部
８４０ 入力部
８５０ メモリ
８６０ 機械学習部
８６１ 報酬計算部
８６２ 更新部
８６３ 決定部
８６４ 学習制御部
８７０ ＣＩＰ処理部
８７１ 状態観測部
８７２ 処理実行部
８７３ 入力判定部
８８０ 入力部
８９０ センサー部
９００ サーバ
９１０ プロセッサ
９１１ 報酬計算部
９１２ 更新部
９１３ 決定部
９１４ 学習制御部
９２０ 通信部
Ｐ 加圧位置
Ｔ 待機位置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
