知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024140307
(43)【公開日】2024-10-10
(54)【発明の名称】空気調和システム
(51)【国際特許分類】
F24F 11/46 20180101AFI20241003BHJP
F24F 11/64 20180101ALI20241003BHJP
F24F 11/65 20180101ALI20241003BHJP
F24F 11/70 20180101ALI20241003BHJP
【ＦＩ】
F24F11/46
F24F11/64
F24F11/65
F24F11/70
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2023051393
(22)【出願日】2023-03-28
(71)【出願人】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】110001461
【氏名又は名称】弁理士法人きさ特許商標事務所
(72)【発明者】
【氏名】范 芸青
(72)【発明者】
【氏名】齊藤 信
【テーマコード（参考）】
3L260
【Ｆターム（参考）】
3L260AB02
3L260BA02
3L260BA75
3L260CA03
3L260CA12
3L260CA13
3L260CA32
3L260CA34
3L260CB62
3L260CB67
3L260DA05
3L260EA01
3L260EA22
3L260FA09
3L260FC40
(57)【要約】
【課題】空調負荷の変動に対して室温が目標値からアンダーシュートまたはオーバシュートすることを抑制し、室内に居る人の快適性を維持する空気調和システムを得る。
【解決手段】空調対象空間を空気調和する空気調和装置と、空気調和装置の運転データと空調対象空間に関する環境情報とを含む状態変数に基づいて、空調対象空間に発生する空調負荷を予測する負荷推定手段と、空気調和装置の空調能力を調整する関数を更新する学習手段と、を有し、学習手段は、空調負荷に対して空調対象空間の温度変動量が小さいほど報酬が増える報酬条件を設定し、報酬条件に基づいて、関数の更新を繰り返すことによって空気調和装置に必要な空調能力および空調能力の適用時間を学習し、報酬が最も多くなる空調能力および適用時間を求める。
【選択図】図１
【解決手段】空調対象空間を空気調和する空気調和装置と、空気調和装置の運転データと空調対象空間に関する環境情報とを含む状態変数に基づいて、空調対象空間に発生する空調負荷を予測する負荷推定手段と、空気調和装置の空調能力を調整する関数を更新する学習手段と、を有し、学習手段は、空調負荷に対して空調対象空間の温度変動量が小さいほど報酬が増える報酬条件を設定し、報酬条件に基づいて、関数の更新を繰り返すことによって空気調和装置に必要な空調能力および空調能力の適用時間を学習し、報酬が最も多くなる空調能力および適用時間を求める。
【選択図】図１
【特許請求の範囲】
【請求項1】
空調対象空間を空気調和する空気調和装置と、
前記空気調和装置の運転データと前記空調対象空間に関する環境情報とを含む状態変数に基づいて、前記空調対象空間に発生する空調負荷を予測する負荷推定手段と、
前記空気調和装置の空調能力を調整する関数を更新する学習手段と、
を有し、
前記学習手段は、
前記空調負荷に対して前記空調対象空間の温度変動量が小さいほど報酬が増える報酬条件を設定し、前記報酬条件に基づいて、前記関数の更新を繰り返すことによって前記空気調和装置に必要な前記空調能力および前記空調能力の適用時間を学習し、前記報酬が最も多くなる前記空調能力および前記適用時間を求める、
空気調和システム。
前記空気調和装置の運転データと前記空調対象空間に関する環境情報とを含む状態変数に基づいて、前記空調対象空間に発生する空調負荷を予測する負荷推定手段と、
前記空気調和装置の空調能力を調整する関数を更新する学習手段と、
を有し、
前記学習手段は、
前記空調負荷に対して前記空調対象空間の温度変動量が小さいほど報酬が増える報酬条件を設定し、前記報酬条件に基づいて、前記関数の更新を繰り返すことによって前記空気調和装置に必要な前記空調能力および前記空調能力の適用時間を学習し、前記報酬が最も多くなる前記空調能力および前記適用時間を求める、
空気調和システム。
【請求項2】
前記学習手段は、
前記学習を実行することで、前記報酬が最も多くなる前記空調能力の最大値および前記適用時間を求め、前記適用時間に前記空調能力を現在の空調能力から増加させて前記最大値に到達させる空調制御を前記空気調和装置に実行させる、
請求項１に記載の空気調和システム。
前記学習を実行することで、前記報酬が最も多くなる前記空調能力の最大値および前記適用時間を求め、前記適用時間に前記空調能力を現在の空調能力から増加させて前記最大値に到達させる空調制御を前記空気調和装置に実行させる、
請求項１に記載の空気調和システム。
【請求項3】
前記空調対象空間の人数、換気量および日射量と外気温度とを含む前記環境情報を取得し、前記空気調和装置から前記運転データを取得する取得手段と、
過去の前記運転データおよび前記環境情報である履歴情報を記憶するデータベースと、を有し、
前記負荷推定手段は、
前記データベースによって記憶される前記履歴情報と、前記取得手段によって取得された前記環境情報および前記運転データとに基づいて、前記空調負荷を予測する、
請求項１に記載の空気調和システム。
過去の前記運転データおよび前記環境情報である履歴情報を記憶するデータベースと、を有し、
前記負荷推定手段は、
前記データベースによって記憶される前記履歴情報と、前記取得手段によって取得された前記環境情報および前記運転データとに基づいて、前記空調負荷を予測する、
請求項１に記載の空気調和システム。
【請求項4】
前記学習手段は、
前記空調負荷に対して、前記空調能力および前記適用時間を変動パラメータとするトライアル条件を複数生成し、複数の前記トライアル条件のうち、前記温度変動量が最小になる、前記空調能力および前記適用時間を求める、
請求項１～３のいずれか１項に記載の空気調和システム。
前記空調負荷に対して、前記空調能力および前記適用時間を変動パラメータとするトライアル条件を複数生成し、複数の前記トライアル条件のうち、前記温度変動量が最小になる、前記空調能力および前記適用時間を求める、
請求項１～３のいずれか１項に記載の空気調和システム。
【請求項5】
前記学習手段は、
前記空調負荷に基づいて学習期間を決定し、決定した前記学習期間において、前記空調能力および前記適用時間の変動パラメータのうち、前記温度変動量が最小になる、前記空調能力および前記適用時間を求める、
請求項１～３のいずれか１項に記載の空気調和システム。
前記空調負荷に基づいて学習期間を決定し、決定した前記学習期間において、前記空調能力および前記適用時間の変動パラメータのうち、前記温度変動量が最小になる、前記空調能力および前記適用時間を求める、
請求項１～３のいずれか１項に記載の空気調和システム。
【請求項6】
前記学習手段は、前記空気調和装置の運転中または前記空気調和装置が運転を停止した後に、前記空調能力および前記適用時間を学習する、
請求項１～３のいずれか１項に記載の空気調和システム。
請求項１～３のいずれか１項に記載の空気調和システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、空気調和装置を有する空気調和システムに関する。
【背景技術】
【0002】
従来、日射量、外気温度および湿度などの環境条件の急激な変動に対して、快適性を維持する空気調和装置が提案されている（例えば、特許文献１参照）。特許文献１に開示された空気調和装置は、日射量等の現在の環境情報を検知する手段と、環境情報を記憶する手段と、温熱環境評価指標に基づいて設定温度などの制御目標を決定する手段と、現在の環境情報と過去に記憶した環境情報とに基づいて空調負荷を予測する手段と、制御目標および予測された空調負荷に基づいて空調負荷の変動の影響を打ち消すように空調能力を制御する手段とを有する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平０５－２６４０８６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の空気調和装置は、空調負荷の変動に対して、空調負荷の変動の影響を打ち消す空調能力に対応する空調制御を実行する時間が長すぎると、室温が目標値を超えるオーバシュートが発生してしまう。また、従来の空気調和装置において、空調負荷の変動の影響を打ち消す空調能力に対応する空調制御を実行する時間が短すぎると、室温が目標値に到達しないアンダーシュートが発生してしまうおそれがある。
【0005】
本開示は、上記のような課題を解決するためになされたもので、空調負荷の変動に対して室温が目標値からアンダーシュートまたはオーバシュートすることを抑制する空気調和システムを得るものである。
【課題を解決するための手段】
【0006】
本開示に係る空気調和システムは、空調対象空間を空気調和する空気調和装置と、前記空気調和装置の運転データと前記空調対象空間に関する環境情報とを含む状態変数に基づいて、前記空調対象空間に発生する空調負荷を予測する負荷推定手段と、前記空気調和装置の空調能力を調整する関数を更新する学習手段と、を有し、前記学習手段は、前記空調負荷に対して前記空調対象空間の温度変動量が小さいほど報酬が増える報酬条件を設定し、前記報酬条件に基づいて、前記関数の更新を繰り返すことによって前記空気調和装置に必要な前記空調能力および前記空調能力の適用時間を学習し、前記報酬が最も多くなる前記空調能力および前記適用時間を求めるものである。
【発明の効果】
【0007】
本開示によれば、予測される空調負荷に対して、空調対象空間の温度変動量が小さいほど報酬が増えるように、空調能力を調整する関数の更新が繰り返されることで、必要な空調能力だけでなく、空調能力の適用時間が学習され、報酬が最も多くなる空調能力および適用時間が求まる。そのため、温度変動量が最も小さくなる空調能力に対応する空調制御が適切な長さの時間に空気調和装置によって実行される。その結果、予測された空調負荷が発生したときに、室温が目標値からアンダーシュートまたはオーバシュートしてしまうことを抑制できる。
【図面の簡単な説明】
【0008】
【図1】実施の形態１に係る空気調和システムの一構成例を示すブロック図である。
【図6】実施の形態１に係る学習手段によって実行される、適用時間および空調能力の強化学習を示すイメージ図である。
【図7】室内の温度変動量の算出方法を示す図である。
【図8】実施の形態１に係る空気調和システムの動作手順の一例を示すフローチャートである。
【図10】変形例１に係る空気調和システムの構成例を示すブロック図である。
【図11】変形例２に係る空気調和システムの構成例を示すブロック図である。
【図12】変形例３に係る空気調和システムの構成例を示すブロック図である。
【発明を実施するための形態】
【0009】
本開示の実施の形態について、図面を用いて詳細に説明する。本実施の形態で説明する各種の具体的な設定例は一例であり、記載された設定例に限定されない。また、本開示の実施の形態において、通信とは、無線通信および有線通信のいずれか一方または両方を意味する。本実施の形態において、通信は、無線通信と有線通信とが混在した通信方式であってもよい。通信方式は、例えば、ある区間では無線通信が行われ、別の空間では有線通信が行われるものであってもよい。また、ある装置から他の装置への通信が有線通信で行われ、他の装置からある装置への通信が無線通信で行われるものであってもよい。
【0010】
実施の形態１．
本実施の形態１の空気調和システムの構成を説明する。図１は、実施の形態１に係る空気調和システムの一構成例を示すブロック図である。図１に示すように、空気調和システム１は、空気調和装置２と、情報処理装置３と、データベース４０とを有する。空気調和装置２、情報処理装置３およびデータベース４０のそれぞれは、互いに他の装置と、ネットワーク５０を介して通信接続される。ネットワーク５０は、例えば、インターネットである。空気調和装置２、情報処理装置３およびデータベース４０のそれぞれは、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）／ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）等の通信規格にしたがって通信する。
本実施の形態１の空気調和システムの構成を説明する。図１は、実施の形態１に係る空気調和システムの一構成例を示すブロック図である。図１に示すように、空気調和システム１は、空気調和装置２と、情報処理装置３と、データベース４０とを有する。空気調和装置２、情報処理装置３およびデータベース４０のそれぞれは、互いに他の装置と、ネットワーク５０を介して通信接続される。ネットワーク５０は、例えば、インターネットである。空気調和装置２、情報処理装置３およびデータベース４０のそれぞれは、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）／ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）等の通信規格にしたがって通信する。
【0011】
（空気調和装置２の構成）
図２は、図１に示した空気調和装置の一構成例を示す冷媒回路図である。空気調和装置２は、熱源を生成する熱源側ユニット４と、熱源側ユニット４で生成される熱源を用いて空調対象空間の空気を調和する負荷側ユニット５とを有する。熱源側ユニット４は、圧縮機７、四方弁８、熱源側熱交換器１３、膨張弁９および室外ファン１０を有する。負荷側ユニット５は、負荷側熱交換器１４、室内ファン１１、風向調整手段１２およびコントローラ３０を有する。圧縮機７、熱源側熱交換器１３、膨張弁９および負荷側熱交換器１４が冷媒配管１６で接続され、冷媒が循環する冷媒回路１５が構成される。
図２は、図１に示した空気調和装置の一構成例を示す冷媒回路図である。空気調和装置２は、熱源を生成する熱源側ユニット４と、熱源側ユニット４で生成される熱源を用いて空調対象空間の空気を調和する負荷側ユニット５とを有する。熱源側ユニット４は、圧縮機７、四方弁８、熱源側熱交換器１３、膨張弁９および室外ファン１０を有する。負荷側ユニット５は、負荷側熱交換器１４、室内ファン１１、風向調整手段１２およびコントローラ３０を有する。圧縮機７、熱源側熱交換器１３、膨張弁９および負荷側熱交換器１４が冷媒配管１６で接続され、冷媒が循環する冷媒回路１５が構成される。
【0012】
図３は、図２に示したコントローラの一構成例を示す機能ブロック図である。空気調和装置２は、図３に示すように環境検出部２０を有する。環境検出部２０は、室温検出手段２１、湿度検出手段２２、人検知手段２３、日射量検出手段２４、換気量検出手段２５および外気温度検出手段２６を有する。室温検出手段２１、湿度検出手段２２、人検知手段２３、日射量検出手段２４、換気量検出手段２５および外気温度検出手段２６のそれぞれは、信号線（図示せず）を介してコントローラ３０と通信接続される。圧縮機７、四方弁８、膨張弁９、室外ファン１０、室内ファン１１および風向調整手段１２のそれぞれは、信号線（図示せず）を介してコントローラ３０と通信接続される。
【0013】
圧縮機７は、冷媒を吸入し、吸入した冷媒を圧縮して高温高圧の冷媒を吐出する。圧縮機７は、例えば、運転周波数を制御することで容量を変化させることができるインバータ圧縮機である。四方弁８は、空気調和装置２の運転モードに対応して、冷媒回路１５を循環する冷媒の流通方向を切り替える。運転モードは、例えば、暖房運転、冷房運転および除霜運転である。負荷側ユニット５の運転モードが冷房運転の場合、図２に示す四方弁８の内部は実線に示す流路となる。負荷側ユニット５の運転モードが暖房運転の場合、図２に示す四方弁８の内部は破線に示す流路となる。
【0014】
室外ファン１０は、外気を吸い込み、吸い込んだ外気を熱源側熱交換器１３に送出する。室外ファン１０は、例えば、プロペラファンである。熱源側熱交換器１３は、外気と冷媒とを熱交換させる熱交換器である。熱源側熱交換器１３は、例えば、伝熱管（図示せず）および複数の放熱フィン（図示せず）を有するフィンアンドチューブ型熱交換器である。膨張弁９は、冷媒を減圧して膨張させる。膨張弁９は、例えば、電子膨張弁である。
【0015】
室内ファン１１は、負荷側ユニット５が行う空気調和の空調対象空間である部屋から空気を吸い込み、吸い込んだ空気を負荷側熱交換器１４に送出する。室内ファン１１は、例えば、クロスフローファンである。負荷側熱交換器１４は、室内の空気と冷媒とを熱交換させる熱交換器である。負荷側熱交換器１４は、例えば、伝熱管（図示せず）および複数の放熱フィン（図示せず）を有するフィンアンドチューブ型熱交換器である。風向調整手段１２は、負荷側熱交換器１４において冷媒と熱交換を行った後の空気が負荷側ユニット５から室内に吹き出される吹出口（図示せず）に設けられている。風向調整手段１２は、負荷側熱交換器１４の吹出口（図示せず）から空気が室内に吹き出される方向を調整する。風向調整手段１２は、例えば、フラップである。
【0016】
図２に示すように、室温検出手段２１、湿度検出手段２２、人検知手段２３、日射量検出手段２４および換気量検出手段２５は、負荷側ユニット５に設けられている。外気温度検出手段２６は、熱源側ユニット４に設けられている。室温検出手段２１は、空調対象空間の部屋の空気の温度である室温を検出する。湿度検出手段２２は、部屋の空気の湿度を検出する。人検知手段２３は、部屋にいる人の数を検知する。日射量検出手段２４は、部屋の単位時間当たりの日射量を検出する。換気量検出手段２５は、部屋の単位時間当たりの換気量を検出する。外気温度検出手段２６は、外気温度を検出する。
【0017】
室温検出手段２１および外気温度検出手段２６は、例えば、サーミスタである。室温検出手段２１および外気温度検出手段２６のそれぞれは、一定の周期で空気の温度を検出し、検出値をコントローラ３０に送信する。人検知手段２３は、例えば、赤外線センサである。人検知手段２３は、一定の周期で部屋にいる人を赤外線で検知し、赤外線画像のデータをコントローラ３０に送信する。湿度検出手段２２は、例えば、湿度センサである。湿度センサは、空気中の湿気を吸着する物質と、物質が水分を含むことで変化する電気伝導度を検出する電極とを有する。湿度センサは、空気中の湿気を吸着する物質の電気伝導度を測定することで湿度を検出する。湿度検出手段２２は、一定の周期で湿度を検出し、検出した値をコントローラ３０に送信する。
【0018】
日射量検出手段２４は、例えば、フォトダイオードを用いた照度計である。図２は、説明の便宜上、日射量検出手段２４が負荷側ユニット５に設けられている場合を示しているが、日射量検出手段２４は、空調対象空間である部屋の床面または窓に設けられている。日射量検出手段２４は、ルクス［ｌｘ］という単位で表される日射量を検出する。日射量検出手段２４は、一定の周期で日射量を検出すると、検出した値をコントローラ３０に送信する。換気量検出手段２５は、例えば、風速センサである。風速センサは、風速を検出し、検出した風速を風量に換算し、換気量として出力する。図２は、説明の便宜上、換気量検出手段２５が負荷側ユニット５に設けられている場合を示しているが、換気量検出手段２５は、換気口（図示せず）または換気扇（図示せず）の近くに設けられている。換気量検出手段２５は、一定の周期で換気量を検出し、検出した値をコントローラ３０に送信する。
【0019】
ここで、空気調和装置２において、運転モードが冷房運転および暖房運転のそれぞれの場合の冷媒の流れを説明する。
【0020】
（冷房運転）
はじめに、図２を参照して、負荷側ユニット５が冷房運転を行う場合の冷媒の流れを説明する。負荷側ユニット５が冷房運転を行う場合、圧縮機７から吐出される冷媒が熱源側熱交換器１３に流入するように、四方弁８の内部が実線で示される流路に切り替えられる。低温低圧の冷媒が圧縮機７によって圧縮されることで、高温高圧のガス冷媒が圧縮機７から吐出される。圧縮機７から吐出されたガス冷媒は、四方弁８を経由して、熱源側熱交換器１３に流入する。熱源側熱交換器１３に流入した冷媒は、熱源側熱交換器１３において、外気と熱交換することで凝縮し、低温高圧の液冷媒となって熱源側熱交換器１３から流出する。
はじめに、図２を参照して、負荷側ユニット５が冷房運転を行う場合の冷媒の流れを説明する。負荷側ユニット５が冷房運転を行う場合、圧縮機７から吐出される冷媒が熱源側熱交換器１３に流入するように、四方弁８の内部が実線で示される流路に切り替えられる。低温低圧の冷媒が圧縮機７によって圧縮されることで、高温高圧のガス冷媒が圧縮機７から吐出される。圧縮機７から吐出されたガス冷媒は、四方弁８を経由して、熱源側熱交換器１３に流入する。熱源側熱交換器１３に流入した冷媒は、熱源側熱交換器１３において、外気と熱交換することで凝縮し、低温高圧の液冷媒となって熱源側熱交換器１３から流出する。
【0021】
熱源側熱交換器１３から流出した液冷媒は、膨張弁９によって減圧され低温低圧の液冷媒になる。低温低圧の液冷媒は、負荷側熱交換器１４に流入する。負荷側熱交換器１４に流入した冷媒は、負荷側熱交換器１４において、室内の空気と熱交換することで蒸発し、低温低圧のガス冷媒となって負荷側熱交換器１４から流出する。負荷側熱交換器１４において、冷媒が室内の空気から吸熱することで、室内の空気が冷却される。負荷側熱交換器１４から流出した冷媒は、四方弁８を介して圧縮機７に吸入される。負荷側ユニット５が冷房運転を行っている間、圧縮機７から吐出される冷媒が熱源側熱交換器１３、膨張弁９および負荷側熱交換器１４を順に流通した後、圧縮機７に吸引されるまでのサイクルが繰り返される。
【0022】
（暖房運転）
次に、図２を参照して、負荷側ユニット５が暖房運転を行う場合の冷媒の流れを説明する。負荷側ユニット５が暖房運転を行う場合、圧縮機７から吐出される冷媒が負荷側熱交換器１４に流入するように、四方弁８の内部が破線で示される流路に切り替えられる。低温低圧の冷媒が圧縮機７によって圧縮されることで、高温高圧のガス冷媒が圧縮機７から吐出される。圧縮機７から吐出された高温高圧のガス冷媒は、四方弁８を経由して、負荷側熱交換器１４に流入する。負荷側熱交換器１４に流入した冷媒は、負荷側熱交換器１４において、室内の空気と熱交換することで凝縮され、高温高圧の液冷媒となって負荷側熱交換器１４から流出する。負荷側熱交換器１４において、冷媒から室内の空気に放熱することで、室内の空気が暖められる。
次に、図２を参照して、負荷側ユニット５が暖房運転を行う場合の冷媒の流れを説明する。負荷側ユニット５が暖房運転を行う場合、圧縮機７から吐出される冷媒が負荷側熱交換器１４に流入するように、四方弁８の内部が破線で示される流路に切り替えられる。低温低圧の冷媒が圧縮機７によって圧縮されることで、高温高圧のガス冷媒が圧縮機７から吐出される。圧縮機７から吐出された高温高圧のガス冷媒は、四方弁８を経由して、負荷側熱交換器１４に流入する。負荷側熱交換器１４に流入した冷媒は、負荷側熱交換器１４において、室内の空気と熱交換することで凝縮され、高温高圧の液冷媒となって負荷側熱交換器１４から流出する。負荷側熱交換器１４において、冷媒から室内の空気に放熱することで、室内の空気が暖められる。
【0023】
負荷側熱交換器１４から流出した高温高圧の液冷媒は、膨張弁９によって低温低圧の液冷媒になる。低温低圧の液冷媒は、熱源側熱交換器１３に流入する。熱源側熱交換器１３に流入した冷媒は、熱源側熱交換器１３において、外気と熱交換することで蒸発し、低温低圧のガス冷媒となって熱源側熱交換器１３から流出する。熱源側熱交換器１３から流出した冷媒は、四方弁８を介して圧縮機７に吸入される。負荷側ユニット５が暖房運転を行っている間、圧縮機７から吐出される冷媒が負荷側熱交換器１４、膨張弁９および熱源側熱交換器１３を順に流通した後、圧縮機７に吸引されるまでのサイクルが繰り返される。
【0024】
このようにして、冷媒が圧縮と膨張とを繰り返しながら冷媒回路１５を循環することによって、ヒートポンプが形成される。図２を参照して、負荷側ユニット５が冷房運転および暖房運転を行う場合を説明したが、空気調和装置２は、除湿、加湿、空気清浄または送風などの運転を行って、室内の空気を調和してもよい。
【0025】
（コントローラ３０の構成）
次に、図３を参照して、コントローラ３０の構成を説明する。コントローラ３０は、例えば、マイクロコンピュータである。コントローラ３０は、取得手段３１と、冷凍サイクル制御手段３２と、負荷推定手段と３３と、時間を計測するタイマー３４とを有する。
次に、図３を参照して、コントローラ３０の構成を説明する。コントローラ３０は、例えば、マイクロコンピュータである。コントローラ３０は、取得手段３１と、冷凍サイクル制御手段３２と、負荷推定手段と３３と、時間を計測するタイマー３４とを有する。
【0026】
取得手段３１は、環境検出部２０に含まれる各検出手段から検出値または赤外線画像のデータを受信する。取得手段３１は、室温検出手段２１、湿度検出手段２２および外気温度検出手段２６の検出値を冷凍サイクル制御手段３２に送信する。取得手段３１は、人検知手段２３から赤外線画像のデータを受信すると、赤外線画像から室内の人の有無および人数を判定する。例えば、取得手段３１は、赤外線画像から温度を求め、壁面または床面の温度を基準にして、基準の温度よりも温度の高い部分を人と判定する。取得手段３１は、室内の温度、湿度、人数、換気量および日射量の情報と外気温度の情報とを含む環境情報を、負荷推定手段３３に送信する。
【0027】
また、取得手段３１は、一定の周期で冷凍サイクル制御手段３２から運転データを取得し、運転データおよび環境情報をデータベース４０に送信する。運転データは、空気調和装置２の機器の運転状態を示す情報である。運転データは、例えば、圧縮機７の運転周波数、膨張弁９の開度、四方弁８の流通方向および室外ファン１０の回転数を含む情報である。運転データは、空気調和装置２のサーモオンおよびサーモオフの周期と、凝縮温度および蒸発温度の情報とを含んでいてもよい。また、運転データは、ユーザによって入力された指示、設定温度および設定湿度のそれぞれの履歴と、１日における空気調和装置２の運転開始から停止までの継続時間と、空気調和装置２のサーモオンおよびサーモオフのそれぞれの時刻との情報を含んでいてもよい。さらに、負荷側ユニット５において、室内から空気が吸い込まれる吸込口（図示せず）に、吸い込まれる空気の温度を検出する温度センサ（図示せず）が設けられている場合、運転データは、負荷側ユニット５に吸い込まれる空気の温度の情報を含んでいてもよい。
【0028】
冷凍サイクル制御手段３２は、空気調和装置２のユーザによって設定された運転モードにしたがって四方弁８を制御する。また、冷凍サイクル制御手段３２は、室温検出手段２１の検出値が予め設定された設定温度に一致し、湿度検出手段２２の検出値が予め設定された設定湿度に一致するように、圧縮機７の運転周波数、膨張弁９の開度および室外ファン１０の回転数を制御する。冷凍サイクル制御手段３２は、ユーザによって設定された風量にしたがって室内ファン１１の回転数を制御し、ユーザによって設定された風向にしたがって風向調整手段１２のベーンの方向を制御する。
【0029】
冷凍サイクル制御手段３２は、一定の周期で圧縮機７、四方弁８、膨張弁９および室外ファン１０の各機器の運転データを取得手段３１および負荷推定手段３３に送信する。冷凍サイクル制御手段３２は、空調能力Ｑｃの最大値Ｑｃｍａｘおよび適用時間ｔｉｍｅＸの情報を、負荷推定手段３３を介して、情報処理装置３から受信する。冷凍サイクル制御手段３２は、適用時間ｔｉｍｅＸに空調能力Ｑｃを現在の空調能力Ｑｓから増加させて最大値Ｑｃｍａｘに到達させる空調制御を実行する。例えば、冷凍サイクル制御手段３２は、適用時間ｔｉｍｅＸに空調能力Ｑｃが現在の空調能力Ｑｓから最大値Ｑｃｍａｘに到達するように、圧縮機７の運転周波数、膨張弁９の開度および室外ファン１０の回転数を制御する。
【0030】
負荷推定手段３３は、冷凍サイクル制御手段３２から受信する運転データを基に空気調和装置２の現在の空調能力Ｑｓを求める。負荷推定手段３３は、空気調和装置２の運転データと空調対象空間に関する環境情報とを含む状態変数に基づいて、空調対象空間に発生する空調負荷Ｑｒを予測する。負荷推定手段３３は、現在の空調能力Ｑｓおよび予測した空調負荷Ｑｒの情報を、ネットワーク５０を介して、情報処理装置３に送信する。図４は、図３に示した負荷推定手段によって実行される空調負荷予測方法の一例を示す概念図である。
【0031】
図４は、空調負荷Ｑｒを予測する学習モデルとして、多層パーセプトロン（ＭＰＬ：Ｍｕｌｔｉｌａｙｅｒ ｐｅｒｃｅｐｔｒｏｎ）モデルを用いる場合を示す。多層パーセプトロンは、線形回帰の入力層と出力層との間に隠れ層が設けられ、重みつき和の結果に非線形関数を適用することで、非線形回帰を可能にしたモデルである。負荷推定手段３３は、図４に示すように、室内の温度、湿度、人数、換気量および日射量を含む室内環境情報と、外気温度を含む室外環境情報との状態変数を入力として、時間変化に対する空調負荷Ｑｒを推定する。
【0032】
ＭＰＬモデルを作成する際、過去の運転データおよび環境情報を用いる。過去の運転データおよび環境情報はデータベース４０に記憶されている。ＭＰＬモデルを作成する際、過去の運転データのセットを、訓練セットと検証セットとに分割し、検証セットでの精度が最も高くなるように、ハイパーパラメータとして、隠れ層の層数、隠れ層のノード数および正則化パラメータを調整した。その後、調整したパラメータを用いて、学習モデルに過去の運転データの全てのセットを用いて、再度、学習を実行させた。
【0033】
コントローラ３０のハードウェア構成例について説明する。図３に示したコントローラ３０の各手段の機能がハードウェアで実行される場合、取得手段３１、冷凍サイクル制御手段３２、負荷推定手段３３およびタイマー３４は、専用の処理回路で構成される。処理回路は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または、これらを組み合わせたものである。取得手段３１、冷凍サイクル制御手段３２、負荷推定手段３３およびタイマー３４が１つの処理回路で実現されてもよく、これらの手段のそれぞれが別々の処理回路で実現されてもよい。
【0034】
一方、図３に示したコントローラ３０の各手段の機能がソフトウェアで実行される場合、コントローラ３０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサ（図示せず）と、メモリ（図示せず）とを有する構成である。プロセッサ（図示せず）がメモリ（図示せず）に記憶されたプログラムを読み出して実行することによって、取得手段３１、冷凍サイクル制御手段３２および負荷推定手段３３の各手段の機能が実現される。メモリ（図示せず）は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）およびＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）等の不揮発性の半導体メモリである。
【0035】
なお、本実施の形態１においては、図２を参照し、コントローラ３０が負荷側ユニット５に設けられている場合で説明したが、コントローラ３０の設置位置は負荷側ユニット５に限定されない。コントローラ３０は、熱源側ユニット４に設けられていてもよく、負荷側ユニット５および熱源側ユニット４の両方を除く位置に設けられていてもよい。また、凝縮温度および蒸発温度を検出する温度センサ（図示せず）が空気調和装置２に設けられていてもよい。
【0036】
また、本実施の形態１においては、負荷推定手段３３が、ＭＰＬモデルを用いて空調負荷Ｑｒを予測する場合で説明したが、空調負荷Ｑｒを予測する方法はＭＰＬモデルを用いる場合に限定されない。
【0037】
また、本実施の形態１においては、取得手段３１が外気温度の情報を外気温度検出手段２６から取得して負荷推定手段３３およびデータベース４０に送信する場合で説明したが、外気温度の提供元は外気温度検出手段２６に限らない。例えば、空気調和装置２が設置された地域の天気予報の情報を提供する気象情報提供サーバ（図示せず）がネットワーク５０に接続される場合、取得手段３１は、外気温度の情報を含む気象情報を気象情報提供サーバから取得してもよい。また、気象情報提供サーバ（図示せず）が、空気調和装置２が設置された地域の日射量の予測値を提供してもよい。この場合、取得手段３１は、気象情報提供サーバ（図示せず）から日射量の予測値を取得し、取得した日射量の予測値を含む気象情報を負荷推定手段３３およびデータベース４０に送信する。
【0038】
（データベース４０の構成）
次に、データベース４０の構成を説明する。データベース４０は、情報を記憶する記憶手段（図示せず）と、メモリ管理ユニット（Ｍｅｍｏｒｙ Ｍａｎｇａｇｅｍｅｎｔ Ｕｎｉｔ）（図示せず）とを有する。メモリ管理ユニット（図示せず）は、記憶手段（図示せず）が記憶する情報を管理するとともに、記憶手段からの情報の読み出しおよび記憶手段への情報の書き込みを行う。記憶手段４１は、例えば、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）またはＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。
次に、データベース４０の構成を説明する。データベース４０は、情報を記憶する記憶手段（図示せず）と、メモリ管理ユニット（Ｍｅｍｏｒｙ Ｍａｎｇａｇｅｍｅｎｔ Ｕｎｉｔ）（図示せず）とを有する。メモリ管理ユニット（図示せず）は、記憶手段（図示せず）が記憶する情報を管理するとともに、記憶手段からの情報の読み出しおよび記憶手段への情報の書き込みを行う。記憶手段４１は、例えば、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）またはＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。
【0039】
データベース４０は、過去の運転データおよび環境情報の履歴情報を記憶する。履歴情報は、例えば、予め決められた期間ｔｐｄに蓄積された運転データおよび環境情報である。期間ｔｐｄは、例えば、１年である。また、データベース４０は、機器情報を記憶していてもよい。機器情報は、圧縮機７の定格能力と、冷媒配管１６によって接続される熱源側ユニット４および負荷側ユニット５の接続構成と、空気調和装置２から運転データおよび環境情報を受信する周期との情報を含んでいてもよい。
【0040】
（情報処理装置３の構成）
次に、情報処理装置３の構成を説明する。図５は、図１に示した情報処理装置の一構成例を示す機能ブロック図である。情報処理装置３は、例えば、サーバ装置である。情報処理装置３は、記憶手段４１と、学習手段４２とを有する。学習手段４２は、温度変動判定部４３と、報酬算出部４４と、最適条件設定部４５と、更新部４６とを有する。記憶手段４１は、例えば、ＳＳＤまたはＨＤＤである。学習手段４２は、プログラムを記憶するメモリ（図示せず）と、プログラムにしたがって処理を実行するプロセッサ（図示せず）とを有する構成である。
次に、情報処理装置３の構成を説明する。図５は、図１に示した情報処理装置の一構成例を示す機能ブロック図である。情報処理装置３は、例えば、サーバ装置である。情報処理装置３は、記憶手段４１と、学習手段４２とを有する。学習手段４２は、温度変動判定部４３と、報酬算出部４４と、最適条件設定部４５と、更新部４６とを有する。記憶手段４１は、例えば、ＳＳＤまたはＨＤＤである。学習手段４２は、プログラムを記憶するメモリ（図示せず）と、プログラムにしたがって処理を実行するプロセッサ（図示せず）とを有する構成である。
【0041】
学習手段４２は、予測された空調負荷Ｑｒに対して、空調能力Ｑｃを変化させる時間をパラメータとするトライアル条件を複数生成し、必要な空調能力Ｑｃと空調能力Ｑｃの適用時間ｔｉｍｅＸとを推定する。具体的には、学習手段４２は、空調負荷Ｑｒに対して、空調能力Ｑｃを変化させることによって、室温Ｔｒの温度変化量が最小になる適切な運転条件を求める。運転条件は、空調能力Ｑｃに相当する。
【0042】
学習手段４２は、例えば、ＤＱＮ学習またはＱ学習によって強化学習を行う。Ｑ学習では、エージェントが、状態ｓでどのような行動ａをとれば行動価値関数（報酬）が最も大きくなるかを学習する。本実施の形態１においては、状態ｓは空調対象空間の温度であり、行動ａはコントローラ３０が実行する空気調和装置２の運転条件である。学習手段４２は、Ｑ関数Ｑ（ｓｔ，ａｔ）を、式（１）で繰り返すことによって、最適なＱ値を求める。Ｑ関数は、空気調和装置２の空調能力Ｑｃを調整する関数である。
Ｑ（ｓｔ，ａｔ）←Ｑ（ｓｔ，ａｔ）＋α×［Ｒ＋γ×ｍａｘＱ（ｓｔ＋１，ａｔ＋１）－Ｑ（ｓｔ，ａｔ）］ ・・・（１）
Ｑ（ｓｔ，ａｔ）←Ｑ（ｓｔ，ａｔ）＋α×［Ｒ＋γ×ｍａｘＱ（ｓｔ＋１，ａｔ＋１）－Ｑ（ｓｔ，ａｔ）］ ・・・（１）
【0043】
式（１）において、αは、学習率であり、Ｑ値の更新量を制御するパラメータである。γは、割引率であり、その後に得られる報酬をどの程度考慮するかを制御するパラメータである。Ｒは、エージェントがｓｔ＋１に遷移したときに得た報酬である。学習手段４２は、例えば、ε－ｇｒｅｅｄｙ法にしたがって、Ｑ値の最大の行動を選択して報酬を求め、ｓｔ、ａｔ、Ｒ、ｓｔ＋１、Ｑ（ｓｔ，ａｔ）を記憶手段４１に保存する。Ｑ関数をＭＰＬによってＱ－ｎｅｔｗｏｒｋで表すと、学習手段４２は、誤差関数を求めて、Ｑ－ｎｅｔｗｏｒｋの重みを更新する。
【0044】
学習手段４２は、予測された空調負荷Ｑｒに基づいて学習期間を決定する。学習手段４２は、決定した学習期間において、適用時間ｔｉｍｅＸおよび空調能力Ｑｃの最大値Ｑｃｍａｘの変動パラメータのうち、室温Ｔｒの温度変動量が最小になる、適用時間ｔｉｍｅＸおよび空調能力Ｑｃの最大値Ｑｃｍａｘの組み合わせパターンを求める。
【0045】
図６は、実施の形態１に係る学習手段によって実行される、適用時間および空調能力の強化学習を示すイメージ図である。図６は、運転モードが冷房運転の場合である。図６の上段の３つのグラフの横軸は時間であり、縦軸は空調能力Ｑｃである。図６の下段の３つのグラフの横軸は時間であり、縦軸は予測される室温Ｔｒである。図７は、室内の温度変動量の算出方法を示す図である。図７の横軸は時間であり、縦軸は室温の予測変動を示す。
【0046】
適用時間ｔｉｍｅＸを、空調負荷Ｑｒに対して、空気調和装置２の現在の空調能力Ｑｓから空調能力Ｑｃを変化させて最大値Ｑｃｍａｘに到達するまでの室内の温度変動を最小にする時間と定義する。温度変動判定部４３は、現在の空調能力Ｑｓおよび予測された空調負荷Ｑｒを情報処理装置３から受信すると、空調能力Ｑｃの最大値Ｑｃｍａｘと適用時間ｔｉｍｅＸとをパラメータとするトライアル条件を複数生成する。温度変動判定部４３は、生成する複数のトライアル条件毎に、現在の空調能力Ｑｓから空調能力Ｑｃを最大値Ｑｃｍａｘまで連続的に変化させる。
【0047】
温度変動判定部４３は、各トライアル条件において、図７に示すように、室温の最高値Ｔｒｍａｘと最低値Ｔｒｍｉｎとを求める。温度変動判定部４３は、室内の温度変動量ΔＴを、ΔＴ＝｜Ｔｒｍａｘ｜＋｜Ｔｒｍｉｎ｜の式を用いて求める。温度変動判定部４３は、求めた温度変動量ΔＴを記憶手段４１に記憶させる。
【0048】
図６は、運転条件が「最大値Ｑｃｍａｘ＿１＝予測された空調負荷Ｑｒ」、「最大値Ｑｃｍａｘ＿２＝予測された空調負荷Ｑｒの２倍」および「最大値Ｑｃｍａｘ＿３＝予測された空調負荷Ｑｒの２.５倍」の３つの場合を示す。図６を参照して、温度変動判定部４３の動作を説明する。
【0049】
運転条件が空調能力Ｑｃの最大値ＱｃｍａｘがＱｃｍａｘ＿１である場合、温度変動判定部４３は、現在の空調能力Ｑｓから空調能力Ｑｃを予め決められた傾きで空調能力Ｑｃが最大値Ｑｃｍａｘ＿１に到達するまでの時間を適用時間ｔｉｍｅＸ＿１とする。温度変動判定部４３は、図６の上段左側のグラフに示すように、適用時間ｔｉｍｅＸ＿１の半分の時間で空調能力Ｑｃが最大値Ｑｃｍａｘ＿１に到達するように、空調能力Ｑｃを経時的に大きくさせる。空調能力Ｑｃが最大値Ｑｃｍａｘ＿１に到達すると、温度変動判定部４３は、一旦、サーモオフして、空調能力Ｑｃを下げる。続いて、温度変動判定部４３は、最初に設定した傾きに沿って、空調能力Ｑｃを最大値Ｑｍａｘ＿１まで変化させる。この空調能力Ｑｃの変化に対応して、温度変動判定部４３は、室温Ｔｒの変化を予測する。
【0050】
この場合の室温Ｔｒの予測変動を、図６の下段左側のグラフに示す。室温Ｔｒの予測変動を参照すると、初期段階の傾きに沿った空調能力Ｑｃによる空調制御が行われると、傾きの値が小さいので、空調能力Ｑｃは空調負荷Ｑｒを相殺する能力が低く、室温Ｔｒが徐々に室温最高値Ｔｒｍａｘ＿１まで上昇する。サーモオフした後、空調能力Ｑｃを再び大きくする空調制御が行われると、空調能力Ｑｃが空調負荷Ｑｒより大きいので、室温Ｔｒが徐々に下がり、室温最低値Ｔｒｍｉｎ＿１まで下がる。その後、室温Ｔｒが元に戻る。温度変動判定部４３は、温度変動量ΔＴを、ΔＴ＝｜Ｔｒｍａｘ＿１｜＋｜Ｔｒｍｉｎ＿１｜の式を用いて求める。
【0051】
続いて、温度変動判定部４３は、空調能力Ｑｃの最大値ＱｃｍａｘがＱｃｍａｘ＿１である場合と同様にして、空調能力Ｑｃの最大値ＱｃｍａｘがＱｃｍａｘ＿２およびＱｃｍａｘ＿３のそれぞれについて、温度変動量ΔＴを求める。ただし、図６の例に示すように、空調能力Ｑｃの最大値ＱｃｍａｘがＱｃｍａｘ＿２またはＱｃｍａｘ＿３である場合、Ｑｃｍａｘ＿２およびＱｃｍａｘ＿３＞空調負荷Ｑｒの関係である。そのため、温度変動判定部４３は、空調能力Ｑｃの最大値ＱｃｍａｘがＱｃｍａｘ＿２またはＱｃｍａｘ＿３である場合、適用時間ｔｉｍｅＸを適用時間ｔｉｍｅＸ＿１よりも短い時間に設定する。
【0052】
温度変動判定部４３は、空調負荷Ｑｒが入力されると、図６を参照して説明したように、適用時間ｔｉｍｅＸと空調能力Ｑｃとの組み合わせに関して、複数のトライアル条件について温度変動量ΔＴを求める。温度変動判定部４３は、運転条件として、空調能力Ｑｃの最大値をＱｃｍａｘ＿１→Ｑｃｍａｘ＿２→Ｑｃｍａｘ＿３→・・・と変化させるが、各最大値Ｑｃｍａｘ＿ｊ（ｊ＝１，２，３，・・・）において、適用時間ｔｉｍｅＸの値をいろいろ変化させる。図６は、空調能力Ｑｃの最大値ＱｃｍａｘがＱｃｍａｘ＿１～３のそれぞれの運転条件において、１つの適用時間ｔｉｍｅＸの場合しか示していないが、温度変動判定部４３は、適用時間ｔｉｍｅＸ＿１をいろいろな値に変化させ、変化させた値毎に室内の温度変動量ΔＴを求める。
【0053】
報酬算出部４４は、温度変動量ΔＴが最小になるように報酬条件を設定する。報酬算出部４４は、温度変動量ΔＴに対応して報酬を決定する。例えば、温度変動量ΔＴが予め決められた閾値Ｐｔｈより小さい場合、報酬算出部４４は、報酬を多くする。一方、温度変動量ΔＴが閾値Ｐｔｈ以上である場合、報酬算出部４４は、報酬を少なくする。報酬算出部４４は、温度変動量ΔＴが小さいほど報酬を増やし、温度変動量ΔＴが大きいほど報酬を減らすようにしてもよい。
【0054】
最適条件設定部４５は、複数のトライアル条件毎の報酬を比較する。最適条件設定部４５は、報酬が最大になるトライアル条件を、温度変動量ΔＴが最小になる、空調能力Ｑｃの最大値Ｑｃｍａｘおよび適用時間ｔｉｍｅＸの組み合わせとして決定する。図６を参照して説明したように、適用時間ｔｉｍｅＸおよび空調能力Ｑｃの最大値Ｑｃｍａｘのそれぞれを変動パラメータとしている。空調能力Ｑｃの最大値Ｑｃｍａｘおよびお適用時間ｔｉｍｅＸの組み合わせパターンの最適性の判断は、室温Ｔｒの変動量である温度変動量ΔＴを基準に行われる。最適条件設定部４５は、温度変動量ΔＴが最も小さくなる、空調能力Ｑｃの最大値Ｑｃｍａｘと適用時間ｔｉｍｅＸとの組み合わせパターンを決める。最適条件設定部４５は、決定した空調能力Ｑｃの最大値Ｑｃｍａｘおよび適用時間ｔｉｍｅＸの組み合わせの情報を、コントローラ３０の負荷推定手段３３を介して、冷凍サイクル制御手段３２に送信する。
【0055】
更新部４６は、現在の空調能力Ｑｓ、室温Ｔｒ、空調負荷Ｑｒ、適用時間ｔｉｍｅＸおよび空調能力Ｑｃの最大値Ｑｃｍａｘを記憶手段４１に保存する。更新部４６は、誤差関数を求めて、Ｑ－ｎｅｔｗｏｒｋの重みを更新する。
【0056】
図６において、各運転条件の室温最高値Ｔｒｍａｘを比較すると、｜Ｔｒｍａｘ＿１｜＞｜Ｔｒｍａｘ＿２｜＞｜Ｔｒｍａｘ＿３｜の関係である。また、各運転条件の室温最低値Ｔｒｍｉｎを比較すると、｜Ｔｒｍａｘ＿１｜＜｜Ｔｒｍａｘ＿２｜＜｜Ｔｒｍａｘ＿３｜の関係である。さらに、各運転条件の適用時間ｔｉｍｅＸを比較すると、ｔｉｍｅＸ＿１＞ｔｉｍｅＸ＿２＞ｔｉｍｅＸ＿３の関係である。これは、Ｑｃｍａｘ＿１＜Ｑｃｍａｘ＿２＜Ｑｃｍａｘ＿３に設定されているからである。空調能力Ｑｃの最大値Ｑｃｍａｘが小さすぎると、発生する空調負荷Ｑｒに対して空調能力Ｑｃが不十分となり、室温Ｔｒが設定温度からアンダーシュートする。一方、空調能力Ｑｃの最大値Ｑｃｍａｘが大きすぎると、発生する空調負荷Ｑｒに対して空調能力Ｑｃが過剰となり、室温Ｔｒが設定温度からオーバシュートする。この問題に対して、本実施の形態１においては、上述したように、報酬算出部４４によって温度変動量ΔＴが最小になるように報酬条件が設定されているので、適切な空調能力Ｑｃの最大値Ｑｃｍａｘおよび適用時間ｔｉｍｅＸの組み合わせが求まる。
【0057】
なお、更新部４６は、ネットワーク５０を介してデータベース４０と通信し、強化学習の結果をデータベース４０に記憶させてもよい。この場合の強化学習の結果とは、空調負荷Ｑｒと、報酬が最も多くなる空調能力Ｑｃの最大値Ｑｃｍａｘおよび適用時間ｔｉｍｅＸと、温度変動量ΔＴとを組み合わせた情報である。学習手段４２は、新たに空調負荷Ｑｒが入力されると、空調負荷Ｑｒに対して学習を実行する前に、データベース４０と通信し、過去に行った強化学習の結果を参照する。そして、学習手段４２は、新たな空調負荷Ｑｒに近似した過去の空調負荷Ｑｒと共にデータベース４０に記憶された温度変動量ΔＴを読み出し、読み出した温度変動量ΔＴを参考値として、新たな空調負荷Ｑｒに対する強化学習に用いてもよい。
【0058】
また、本実施の形態１においては、空気調和装置２に必要な空調能力Ｑｃについて最大値Ｑｃｍａｘを学習するとともに、報酬が最も多くなる最大値Ｑｃｍａｘを求める場合で説明したが、必要な空調能力Ｑｃに対応する値は最大値Ｑｃｍａｘに限らない。例えば、図６の上段に示すグラフにおいて、時間変化に対する空調能力Ｑｃの変化を示す傾きであってもよい。また、図６の上段に示すグラフは、適用時間ｔｉｍｅＸに発生させるサーモオフの回数が１回の場合を示しているが、サーモオフの回数は１回に限らない。適用時間ｔｉｍｅＸに発生させるサーモオフの回数は、０回でもよく、２回以上であってもよい。さらに、適用時間ｔｉｍｅＸにおけるサーモオフの回数を空気調和装置２の運転条件に含め、学習手段４２が空調能力Ｑｃ、適用時間ｔｉｍｅＸおよびサーモオフの回数を学習してもよい。
【0059】
（空気調和システム１の動作）
次に、本実施の形態１の空気調和システム１の動作を説明する。図８は、実施の形態１に係る空気調和システムの動作手順の一例を示すフローチャートである。
次に、本実施の形態１の空気調和システム１の動作を説明する。図８は、実施の形態１に係る空気調和システムの動作手順の一例を示すフローチャートである。
【0060】
ステップＳ１において、取得手段３１は、冷凍サイクル制御手段３２から機器の運転データを取得し、環境検出部２０から環境情報を取得する。ステップＳ２において、負荷推定手段３３は、運転データおよび環境情報の状態変数に基づいて、空調負荷Ｑｒを予測する。負荷推定手段３３は、現在の空調能力Ｑｓおよび予測した空調負荷Ｑｒの情報を情報処理装置３に送信する。
【0061】
ステップＳ３において、学習手段４２は、現在の空調能力Ｑｓおよび予測される空調負荷Ｑｒの情報をコントローラ３０から受信すると、空調負荷Ｑｒに対応する空調能力および適用時間を求める。図９は、図８に示したステップＳ３における学習手段の動作手順の一例を示すフローチャートである。学習手段４２は、空気調和装置２の運転中または空気調和装置２が運転を停止した後に、図９に示すフローにしたがって処理を実行することで、空調負荷Ｑｒに対して、空調能力Ｑｃおよび適用時間ｔｉｍｅＸを学習する。
【0062】
ステップＳ１１において、温度変動判定部４３に空調負荷Ｑｒが入力される。現在の空調能力Ｑｓも温度変動判定部４３に入力される。ステップＳ１２において、温度変動判定部４３は、空調能力Ｑｃの最大値Ｑｃｍａｘ＿ｊに初期値（ｊ＝１）を設定する。ステップＳ１３において、温度変動判定部４３は、適用時間ｔｉｍｅＸ＿ｋに初期値（ｋ＝１）を設定する。
【0063】
ステップＳ１４において、温度変動判定部４３は、空調能力Ｑｃの最大値Ｑｃｍａｘ＿１を運転条件として、変動パラメータである適用時間ｔｉｍｅＸに適用時間ｔｉｍｅＸ＿１を適用した場合について、予測される温度変動量ΔＴを求める。ステップＳ１５において、報酬算出部４４は、トライアル条件が空調能力Ｑｃの最大値Ｑｃｍａｘ＿１と適用時間ｔｉｍｅＸ＿１との組み合わせパターンの場合の報酬を算出する。
【0064】
ステップＳ１６において、温度変動判定部４３は、適用時間ｔｉｍｅＸ＿ｋが適用時間ｔｉｍｅＸ＿ｎ（ｎは２以上の整数）に達しているか否かを判定する。ステップＳ１６の判定の結果、適用時間ｔｉｍｅＸ＿ｋが適用時間ｔｉｍｅＸ＿ｎに達していない場合、温度変動判定部４３は、ｋの値に１を加算した後（ステップＳ１７）、ステップＳ１４の処理に戻る。一方、ステップＳ１６の判定の結果、適用時間ｔｉｍｅＸ＿ｋが適用時間ｔｉｍｅＸ＿ｎに達している場合、温度変動判定部４３は、ステップＳ１８の処理に進む。
【0065】
ステップＳ１８において、温度変動判定部４３は、空調能力Ｑｃの最大値Ｑｃｍａｘ＿ｊが最大値Ｑｃｍａｘ＿ｍ（ｍは２以上の整数）に達しているか否かを判定する。ステップＳ１８の判定の結果、空調能力Ｑｃの最大値Ｑｃｍａｘ＿ｊが最大値Ｑｃｍａｘ＿ｍに達していない場合、温度変動判定部４３は、ｊの値に１を加算した後（ステップＳ１９）、ステップＳ１３の処理に戻る。一方、ステップＳ１８の判定の結果、空調能力Ｑｃの最大値Ｑｃｍａｘ＿ｊが最大値Ｑｃｍａｘ＿ｍに達している場合、学習手段４２は、ステップＳ２０の処理に進む。
【0066】
ステップＳ２０において、最適条件設定部４５は、報酬が最大になる、空調能力Ｑｃの最大値Ｑｃｍａｘおよび適用時間ｔｉｍｅＸの組み合わせパターンを求める。最適条件設定部４５は、求めた空調能力Ｑｃの最大値Ｑｃｍａｘおよび適用時間ｔｉｍｅＸの情報を、ネットワーク５０およびコントローラ３０の負荷推定手段３３を介して、冷凍サイクル制御手段３２に送信する。
【0067】
ステップＳ２１において、更新部４６は、最適条件設定部４５によって決定された、空調能力Ｑｃの最大値Ｑｃｍａｘおよび適用時間ｔｉｍｅＸの組み合わせの情報を記憶手段４１に記憶させる。その際、更新部４６は、最適条件設定部４５によって決定された、空調能力Ｑｃの最大値Ｑｃｍａｘおよび適用時間ｔｉｍｅＸの組み合わせの情報をデータベース４０にも記憶させてもよい。
【0068】
図８に示したフローチャートの説明に戻る。図８に示したステップＳ３の学習処理が終了すると、ステップＳ４において、冷凍サイクル制御手段３２は、空調能力Ｑｃの最大値Ｑｃｍａｘおよび適用時間ｔｉｍｅＸの情報を情報処理装置３から受信すると、空調能力Ｑｃの最大値Ｑｃｍａｘおよび適用時間ｔｉｍｅＸにしたがって空調制御を実行する。具体的には、冷凍サイクル制御手段３２は、適用時間ｔｉｍｅＸに空調能力Ｑｃを現在の空調能力Ｑｓから増加させて最大値Ｑｃｍａｘに到達するように、圧縮機７の運転周波数、膨張弁９の開度および室外ファン１０の回転数を制御する。
【0069】
このようにして、予測される空調負荷Ｑｒに対して、必要な空調能力Ｑｃおよび空調能力Ｑｃの適用時間ｔｉｍｅＸが求まる。空調負荷が空調負荷Ｑｒに変動したとき、冷凍サイクル制御手段３２が、適用時間ｔｉｍｅＸに空調能力Ｑｃを現在の空調能力Ｑｓから増加させて最大値Ｑｃｍａｘに到達するように空調制御を実行する。適用時間ｔｉｍｅＸに空調能力Ｑｃが徐々に増加して最大値Ｑｃｍａｘに到達するように空調制御が行われる。そのため、室温Ｔｒの変動が抑えられるだけでなく、室温Ｔｒが設定温度からアンダーシュートまたはオーバシュートすることが抑制される。
【0070】
図９に示すステップＳ１１～Ｓ２０を学習手段４２が実行する期間が学習期間に相当するが、学習手段４２は、予測される空調負荷Ｑｒの大きさに対応して学習期間を決めてもよい。例えば、空調負荷Ｑｒが大きいほど、温度変動判定部４３は、トライアル条件の数を増やしてもよい。トライアル条件の数はｍ×ｎで表される。整数ｍおよびｎの一方または両方の数が大きいほど、学習期間が長くなる。また、学習手段４２は、予測される空調負荷Ｑｒの変動要因に対応して学習期間を決めてもよい。ただし、学習期間は、１０分以下であることが望ましい。また、図９に示すフローは、適用時間ｔｉｍｅＸ＿１～ｔｉｍｅＸ＿ｎの値が各最大値Ｑｃｍａｘ＿ｊで同じ場合を示しているように見えるが、図６を参照して説明したように、適用時間ｔｉｍｅＸ＿１～ｔｉｍｅＸ＿ｎの値は最大値Ｑｃｍａｘ＿ｊ毎に異なっていてもよい。
【0071】
本実施の形態１の空気調和システム１は、空調対象空間を空気調和する空気調和装置２と、空気調和装置２の運転データと空調対象空間に関する環境情報とを含む状態変数に基づいて、空調対象空間に発生する空調負荷Ｑｒを予測する負荷推定手段３３と、空気調和装置２の空調能力Ｑｃを調整するＱ関数を更新する学習手段４２とを有する。学習手段４２は、空調負荷Ｑｒに対して空調対象空間の温度変動量ΔＴが小さいほど報酬を増やす報酬条件を設定し、報酬条件に基づいて、Ｑ関数の更新を繰り返すことによって空気調和装置２に必要な空調能力Ｑｃおよび空調能力Ｑｃの適用時間ｔｉｍｅＸを学習し、報酬が最も多くなる空調能力Ｑｃおよび適用時間ｔｉｍｅＸを求める。
【0072】
本実施の形態１によれば、予測される空調負荷Ｑｒに対して、室内の温度変動量ΔＴが小さいほど報酬が増えるようにＱ関数の更新が繰り返されることで、必要な空調能力Ｑｃだけでなく、空調能力Ｑｃの適用時間ｔｉｍｅＸが学習され、報酬が最も多くなる空調能力Ｑｃおよび適用時間ｔｉｍｅＸが求まる。そのため、温度変動量ΔＴが最も小さくなる空調能力Ｑｃに対応する空調制御が適切な長さの適用時間ｔｉｍｅＸに空気調和装置２によって実行される。その結果、予測された空調負荷Ｑｒが発生したときに、室温Ｔｒが設定温度からアンダーシュートまたはオーバシュートすることを抑制できる。そのため、室内に居る人の快適性を維持することができる。
【0073】
従来、空調負荷を急激に変動させる要因が発生すると、室温Ｔｒが変動するという問題がある。空調負荷を急激に変動させる要因として、例えば、換気装置（図示せず）による換気量が一時的大きくなること、室内に居る人の数が急に増えること、外気温度が上昇または日射量が突然増加することなどが考えられる。このような空調負荷の急激な変動に対して、本実施の形態１において、負荷推定手段３３は、空調対象空間の温度、湿度、人数、換気量および日射量と外気温度とを含む環境情報を状態変数として空調負荷Ｑｒを予測する。そして、学習手段４２は、負荷推定手段３３によって変動要因に基づいて予測された空調負荷Ｑｒを相殺できる空調能力Ｑｃおよび適用時間ｔｉｍｅＸを学習する。学習手段４２は、学習によって、室温Ｔｒの局所的なアンダーシュートおよびオーバシュートが発生しない適切な、空調能力Ｑｃの最大値Ｑｃｍａｘおよび適用時間ｔｉｍｅＸを決定する。室内の環境が急激に変動した場合でも、適用時間ｔｉｍｅＸに空調能力Ｑｃを空調能力Ｑｓから徐々に変化させる空調制御を行うことで、室温Ｔｒの変動を早く抑制し、室温Ｔｒが設定温度から大きくずれることがない。適切な空調能力に対応する空調制御によって、室内に居る人に快適な空調を実現することができる。
【0074】
なお、本開示の空気調和システムは図１に示した構成の場合に限らない。空気調和システム１は、ネットワーク５０に接続される複数の空気調和装置２を有する構成であってもよい。以下に、本開示の空気調和システムの変形例を説明する。
【0075】
（変形例１）
図１０は、変形例１に係る空気調和システムの構成例を示すブロック図である。本変形例１の空気調和システム１ａは、空気調和装置２ａと、情報処理装置３ａとを有する。空気調和装置２ａおよび情報処理装置３ａのそれぞれは、ネットワーク５０を介して相互に通信接続される。
図１０は、変形例１に係る空気調和システムの構成例を示すブロック図である。本変形例１の空気調和システム１ａは、空気調和装置２ａと、情報処理装置３ａとを有する。空気調和装置２ａおよび情報処理装置３ａのそれぞれは、ネットワーク５０を介して相互に通信接続される。
【0076】
空気調和装置２ａは、図３に示したコントローラ３０の替わりに、コントローラ３０ａを有する。コントローラ３０ａは、取得手段３１および冷凍サイクル制御手段３２を有する。情報処理装置３ａは、負荷推定手段３３と、学習手段４２と、記憶手段４１を含むデータベース４０とを有する。
【0077】
本変形例１の場合、空調負荷Ｑｒの推定処理が情報処理装置３ａで実行されるので、空気調和装置２ａのコントローラ３０ａの演算処理の負荷が軽減する。
【0078】
（変形例２）
図１１は、変形例２に係る空気調和システムの構成例を示すブロック図である。本変形例２の空気調和システム１ｂは、空気調和装置２ｂと、情報処理装置３ａと、取得手段３１ａと、環境検出部２０とを有する。情報処理装置３ａは変形例１で説明した情報処理装置３ａと同一の構成である。空気調和装置２ｂおよび情報処理装置３ａのそれぞれは、ネットワーク５０を介して相互に通信接続される。取得手段３１ａおよび情報処理装置３ａのそれぞれは、ネットワーク５０を介して相互に通信接続される。
図１１は、変形例２に係る空気調和システムの構成例を示すブロック図である。本変形例２の空気調和システム１ｂは、空気調和装置２ｂと、情報処理装置３ａと、取得手段３１ａと、環境検出部２０とを有する。情報処理装置３ａは変形例１で説明した情報処理装置３ａと同一の構成である。空気調和装置２ｂおよび情報処理装置３ａのそれぞれは、ネットワーク５０を介して相互に通信接続される。取得手段３１ａおよび情報処理装置３ａのそれぞれは、ネットワーク５０を介して相互に通信接続される。
【0079】
空気調和装置２ｂは、図３に示したコントローラ３０の替わりに、コントローラ３０ｂを有する。コントローラ３０ｂは、冷凍サイクル制御手段３２を有する。図３に示した室温検出手段２１を含む環境検出部２０の各検出手段は、検出値または画像データを取得手段３１ａに送信する。また、室温検出手段２１、湿度検出手段２２および外気温度検出手段２６のそれぞれは検出値を冷凍サイクル制御手段３２に送信する。取得手段３１ａは、ネットワーク５０を介して、情報処理装置３ａと通信接続される通信装置である。取得手段３１ａは、例えば、Ｗｉ－Ｆｉ（登録商標）ルータである。
【0080】
本変形例２の場合、空気調和装置２の運転データおよび環境情報を空気調和装置２ｂとは別に設けられた通信装置が情報処理装置３ａに送信する処理を行うので、空気調和装置２ｂのコントローラ３０ｂの情報処理の負荷が軽減する。
【0081】
（変形例３）
図１２は、変形例３に係る空気調和システムの構成例を示すブロック図である。本変形例３の空気調和システム１ｃは、複数の空気調和装置２ａ－１～２ａ－ｖ（ｖは２以上の整数）と、空気調和装置２ａ－１～２ａ－ｖを制御する集中コントローラ６とを有する。空気調和装置２ａ－１～２ａ－ｖは、例えば、１つの建物に設置されている。集中コントローラ６は、空気調和装置２ａ－１～２ａ－ｖが設置された建物に設置されているが、別の建物に設置されていてもよい。集中コントローラ６は、変形例１で説明した情報処理装置３ａと同一の構成である。空気調和装置２ａ－１～２ａ－ｖのそれぞれは、変形例１で説明した空気調和装置２ａと同一の構成である。
図１２は、変形例３に係る空気調和システムの構成例を示すブロック図である。本変形例３の空気調和システム１ｃは、複数の空気調和装置２ａ－１～２ａ－ｖ（ｖは２以上の整数）と、空気調和装置２ａ－１～２ａ－ｖを制御する集中コントローラ６とを有する。空気調和装置２ａ－１～２ａ－ｖは、例えば、１つの建物に設置されている。集中コントローラ６は、空気調和装置２ａ－１～２ａ－ｖが設置された建物に設置されているが、別の建物に設置されていてもよい。集中コントローラ６は、変形例１で説明した情報処理装置３ａと同一の構成である。空気調和装置２ａ－１～２ａ－ｖのそれぞれは、変形例１で説明した空気調和装置２ａと同一の構成である。
【0082】
空気調和装置２ａ－１～２ａ－ｖと集中コントローラ６とは、ネットワーク５１を介して通信接続される。ネットワーク５１は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）である。空気調和装置２ａ－１～２ａ－ｖの各装置の取得手段３１は、ネットワーク５１の基地局（図示せず）と無線で通信接続される場合、Ｗｉ－Ｆｉ（登録商標）等の無線通信規格にしたがって接続される。空気調和装置２ａ－１～２ａ－ｖの各装置の取得手段３１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信規格にしたがって、ネットワーク５１の基地局（図示せず）と通信接続されてもよい。ネットワーク５１は、インターネットであってもよく、ＬＡＮおよびインターネットが組み合わされたものであってもよい。
【0083】
本変形例３によれば、複数の空気調和装置２ａ－１～２ａ－ｖの運転データおよび環境情報が、時間経過に伴って、教師データとして、情報処理装置３ａのデータベース４０に蓄積される。そのため、学習手段４２は、多くの教師データを基に、空調負荷Ｑｒの変動に対して必要な空調能力および適用時間を求める学習モデルを更新できる。その結果、空調負荷Ｑｒの変動に対して、より適切な空調能力および適用時間を求めることができる。
【0084】
以下、本開示の空気調和システムの諸態様を付記としてまとめて記載する。
【0085】
（付記１）
空調対象空間を空気調和する空気調和装置と、
前記空気調和装置の運転データと前記空調対象空間に関する環境情報とを含む状態変数に基づいて、前記空調対象空間に発生する空調負荷を予測する負荷推定手段と、
前記空気調和装置の空調能力を調整する関数を更新する学習手段と、
を有し、
前記学習手段は、
前記空調負荷に対して前記空調対象空間の温度変動量が小さいほど報酬が増える報酬条件を設定し、前記報酬条件に基づいて、前記関数の更新を繰り返すことによって前記空気調和装置に必要な前記空調能力および前記空調能力の適用時間を学習し、前記報酬が最も多くなる前記空調能力および前記適用時間を求める、
空気調和システム。
（付記２）
前記学習手段は、
前記学習を実行することで、前記報酬が最も多くなる前記空調能力の最大値および前記適用時間を求め、前記適用時間に前記空調能力を現在の空調能力から増加させて前記最大値に到達させる空調制御を前記空気調和装置に実行させる、
付記１に記載の空気調和システム。
（付記３）
前記空調対象空間の人数、換気量および日射量と外気温度とを含む前記環境情報を取得し、前記空気調和装置から前記運転データを取得する取得手段と、
過去の前記運転データおよび前記環境情報である履歴情報を記憶するデータベースと、を有し、
前記負荷推定手段は、
前記データベースによって記憶される前記履歴情報と、前記取得手段によって取得された前記環境情報および前記運転データとに基づいて、前記空調負荷を予測する、
付記１または２に記載の空気調和システム。
（付記４）
前記学習手段は、
前記空調負荷に対して、前記空調能力および前記適用時間を変動パラメータとするトライアル条件を複数生成し、複数の前記トライアル条件のうち、前記温度変動量が最小になる、前記空調能力および前記適用時間を求める、
付記１～３のいずれか１つに記載の空気調和システム。
（付記５）
前記学習手段は、
前記空調負荷に基づいて学習期間を決定し、決定した前記学習期間において、前記空調能力および前記適用時間の変動パラメータのうち、前記温度変動量が最小になる、前記空調能力および前記適用時間を求める、
付記１～４のいずれか１つに記載の空気調和システム。
（付記６）
前記学習手段は、前記空気調和装置の運転中または前記空気調和装置が運転を停止した後に、前記空調能力および前記適用時間を学習する、
付記１～５のいずれか１つに記載の空気調和システム。
空調対象空間を空気調和する空気調和装置と、
前記空気調和装置の運転データと前記空調対象空間に関する環境情報とを含む状態変数に基づいて、前記空調対象空間に発生する空調負荷を予測する負荷推定手段と、
前記空気調和装置の空調能力を調整する関数を更新する学習手段と、
を有し、
前記学習手段は、
前記空調負荷に対して前記空調対象空間の温度変動量が小さいほど報酬が増える報酬条件を設定し、前記報酬条件に基づいて、前記関数の更新を繰り返すことによって前記空気調和装置に必要な前記空調能力および前記空調能力の適用時間を学習し、前記報酬が最も多くなる前記空調能力および前記適用時間を求める、
空気調和システム。
（付記２）
前記学習手段は、
前記学習を実行することで、前記報酬が最も多くなる前記空調能力の最大値および前記適用時間を求め、前記適用時間に前記空調能力を現在の空調能力から増加させて前記最大値に到達させる空調制御を前記空気調和装置に実行させる、
付記１に記載の空気調和システム。
（付記３）
前記空調対象空間の人数、換気量および日射量と外気温度とを含む前記環境情報を取得し、前記空気調和装置から前記運転データを取得する取得手段と、
過去の前記運転データおよび前記環境情報である履歴情報を記憶するデータベースと、を有し、
前記負荷推定手段は、
前記データベースによって記憶される前記履歴情報と、前記取得手段によって取得された前記環境情報および前記運転データとに基づいて、前記空調負荷を予測する、
付記１または２に記載の空気調和システム。
（付記４）
前記学習手段は、
前記空調負荷に対して、前記空調能力および前記適用時間を変動パラメータとするトライアル条件を複数生成し、複数の前記トライアル条件のうち、前記温度変動量が最小になる、前記空調能力および前記適用時間を求める、
付記１～３のいずれか１つに記載の空気調和システム。
（付記５）
前記学習手段は、
前記空調負荷に基づいて学習期間を決定し、決定した前記学習期間において、前記空調能力および前記適用時間の変動パラメータのうち、前記温度変動量が最小になる、前記空調能力および前記適用時間を求める、
付記１～４のいずれか１つに記載の空気調和システム。
（付記６）
前記学習手段は、前記空気調和装置の運転中または前記空気調和装置が運転を停止した後に、前記空調能力および前記適用時間を学習する、
付記１～５のいずれか１つに記載の空気調和システム。
【符号の説明】
【0086】
１、１ａ～１ｃ 空気調和システム、２、２ａ、２ａ－１～２ａ－ｖ、２ｂ 空気調和装置、３、３ａ 情報処理装置、４ 熱源側ユニット、５ 負荷側ユニット、６ 集中コントローラ、７ 圧縮機、８ 四方弁、９ 膨張弁、１０ 室外ファン、１１ 室内ファン、１２ 風向調整手段、１３ 熱源側熱交換器、１４ 負荷側熱交換器、１５ 冷媒回路、１６ 冷媒配管、２０ 環境検出部、２１ 室温検出手段、２２ 湿度検出手段、２３ 人検知手段、２４ 日射量検出手段、２５ 換気量検出手段、２６ 外気温度検出手段、３０、３０ａ、３０ｂ コントローラ、３１、３１ａ 取得手段、３２ 冷凍サイクル制御手段、３３ 負荷推定手段、３４ タイマー、４０ データベース、４１ 記憶手段、４２ 学習手段、４３ 温度変動判定部、４４ 報酬算出部、４５ 最適条件設定部、４６ 更新部、５０、５１ ネットワーク。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】