特許 7208538 空調システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-11

(45)【発行日】2023-01-19

(54)【発明の名称】空調システム

(51)【国際特許分類】

   F24F 11/62 20180101AFI20230112BHJP

   F24F 11/54 20180101ALI20230112BHJP

   F24F 11/65 20180101ALI20230112BHJP

   F24F 7/007 20060101ALI20230112BHJP

   F24F 11/46 20180101ALI20230112BHJP

   F25D 13/00 20060101ALI20230112BHJP

   F25D 17/06 20060101ALI20230112BHJP

   F24F 110/10 20180101ALN20230112BHJP

【ＦＩ】

F24F11/62

F24F11/54

F24F11/65

F24F7/007 101

F24F11/46

F25D13/00 101D

F25D17/06 301

F24F110:10

【請求項の数】 6

(21)【出願番号】P 2020129931

(22)【出願日】2020-07-31

(65)【公開番号】P2022026452

(43)【公開日】2022-02-10

【審査請求日】2021-04-26

(73)【特許権者】

【識別番号】000002853

【氏名又は名称】ダイキン工業株式会社

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】別當 譲

(72)【発明者】

【氏名】小松 彰

(72)【発明者】

【氏名】齊藤 正士

(72)【発明者】

【氏名】辻河 達希

(72)【発明者】

【氏名】桶間 千遥

【審査官】森山 拓哉

(56)【参考文献】

【文献】特開２０１１－２４７５１４（ＪＰ，Ａ）

【文献】特開２０１８－０７１８５３（ＪＰ，Ａ）

【文献】特開２０２０－０９１０８０（ＪＰ，Ａ）

【文献】特開２００４－１５０６７９（ＪＰ，Ａ）

【文献】国際公開第２０２１／２１４８５２（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｆ２４Ｆ １１／００－１１／８９

Ｆ２４Ｆ ７／００７

Ｆ２５Ｄ １３／００

Ｆ２５Ｄ １７／０６

Ｆ２４Ｆ １１０／１０

(57)【特許請求の範囲】

【請求項1】

対象空間（T）を空調する複数の空調ユニット （30）を有する空気調和装置（10）と、前記空気調和装置（10）を制御する制御部（51）とを備えた空調システムであって、
前記複数の空調ユニット（30）の運転条件と、前記対象空間（T）に関する物理量とを含む状態変数に基づいて、前記複数の空調ユニット（30）の運転条件を決定する関数を更新する強化学習部（60）をさらに備え、
前記強化学習部（60）は、
前記状態変数に基づいて、前記複数の空調ユニット（30）の運転条件を決定した結果に対する報酬を決定する報酬決定部（63）と、
前記報酬決定部（63）により決定された報酬に基づいて、前記関数を更新する更新部（64）とを有し、
前記更新部（64）による前記関数の更新を繰り返すことにより、前記報酬が最も多く得られる、前記複数の空調ユニット（30）の運転条件を学習するように構成され、
前記制御部（51）は、前記強化学習部（60）で学習した前記複数の空調ユニット（30）の運転条件を満たすように、前記空気調和装置（10）を制御し、
前記物理量は、前記対象空間（T）の空気の温度分布を含み、
前記報酬は、前記対象空間（T）の空気の温度分布が許容範囲である条件を含む
ことを特徴とする空調システム。

【請求項2】

請求項１において、
前記温度分布は、前記対象空間（T）を複数に区分した空間である複数の検出空間毎に検出された空気温度に基づいている
ことを特徴とする空調システム。

【請求項3】

請求項２において、
前記対象空間（T）の空気の温度分布が許容範囲である条件は、前記検出区間毎の空気温度が目標値に近いかどうかを示す指標Ｘをパラメータとして含む
ことを特徴とする空調システム。

【請求項4】

請求項１～３のいずれか１つにおいて、
前記複数の空調ユニット（30）は、
空気を搬送するファン（33）と、
該空気と冷媒とを熱交換させる熱交換器（31）とをそれぞれ有するとともに、
前記ファン（33）を運転させ且つ前記熱交換器（31）を機能させる第１動作と、前記ファン（33）を運転させ且つ熱交換器（31）の機能を停止させる第２動作とをそれぞれ行うように構成され、
前記複数の空調ユニット（30）の運転条件は、該複数の空調ユニット（30）のうちどの空調ユニット（30）が前記第１動作及び第２動作のいずれを行うかの条件を含んでいる
ことを特徴とする空調システム。

【請求項5】

請求項４において、
前記対象空間（T）の空気を搬送する少なくとも１つの送風装置（70）をさらに備えている
ことを特徴とする空調システム。

【請求項6】

請求項１～５のいずれか１つにおいて、
前記空気調和装置（10）の運転中に前記対象空間（T）の物理量を計測する計測部（40）をさらに備え、
前記強化学習部（60）は、前記空気調和装置（10）の運転中、又は運転後に前記複数の空調ユニット（30）の運転条件を学習する
ことを特徴とする空調システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、空調システムに関する。

【背景技術】

【0002】

特許文献１には、対象空間を空調する空調システムが開示されている。空調システムは、対象空間を空調する複数の空調ユニットと、複数の温度センサと、コントローラとを備える。コントローラは、複数の温度センサで検出した対象空間の温度に基づいて、各空調ユニットを制御する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００９－２５７６１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示のような複数の空調ユニットを備えた空調システムでは、各空調ユニットが必ずしも最適な運転を行っているとは限らない。

【0005】

本開示の目的は、複数の空調ユニットがより最適な運転条件にて対象空間を空調できる空調システムを提供することである。

【課題を解決するための手段】

【0006】

第１の態様は、対象空間（T）を空調する複数の空調ユニット （30）を有する空気調和装置（10）と、前記空気調和装置（10）を制御する制御部（51）とを備えた空調システムであって、前記複数の空調ユニット（30）の運転条件と、前記対象空間（T）に関する物理量とを含む状態変数に基づいて、前記複数の空調ユニット（30）の運転条件を決定する関数を更新する強化学習部（60）をさらに備え、前記強化学習部（60）は、前記状態変数に基づいて、前記複数の空調ユニット（30）の運転条件を決定した結果に対する報酬を決定する報酬決定部（63）と、前記報酬決定部（63）により決定された報酬に基づいて、前記関数を更新する更新部（64）とを有し、前記更新部（64）による前記関数の更新を繰り返すことにより、前記報酬が最も多く得られる、前記複数の空調ユニット（30）の運転条件を学習するように構成され、前記制御部（51）は、前記強化学習部（60）で学習した前記複数の空調ユニット（30）の運転条件を満たすように、前記空気調和装置（10）を制御する。

【0007】

第１の態様では、強化学習部（60）が、複数の空調ユニット（30）の運転条件と、対象空間（T）に関する物理量とを含む状態変数に基づいて強化学習を行う。強化学習部（60）が報酬を最大とするための複数の空調ユニット（30）毎の運転条件を決定する。空調制御部（51）は、各空調ユニット（30）の運転条件が強化学習部（60）で決定した運転条件となるように各空調ユニット（30）を制御する。これにより、所定の報酬を満たすための最適な運転条件にて複数の利用ユニット（30）を運転させることができる。

【0008】

第２の態様は、第１の態様において、前記物理量は、前記対象空間（T）の空気の温度分布を含んでいる。

【0009】

第３の態様は、第２の態様において、前記複数の空調ユニット（30）は、空気を搬送するファン（33）と、該空気と冷媒とを熱交換させる熱交換器（31）とをそれぞれ有するとともに、前記ファン（33）を運転させ且つ前記熱交換器（31）を機能させる第１動作と、前記ファン（33）を運転させ且つ熱交換器（31）の機能を停止させる第２動作とをそれぞれ行うように構成され、前記複数の空調ユニット（30）の運転条件は、該複数の空調ユニット（30）のうちどの空調ユニット（30）が前記第１動作及び第２動作のいずれを行うかの条件を含んでいる。

【0010】

第３の態様では、対象空間（T）の空気の温度分布と、複数の空調ユニット（30）が第１動作と第２動作のいずれを行うかの運転条件に基づき、強化学習部（60）が強化学習を行う。強化学習部（60）の学習結果に基づき複数の空調ユニット（30）が第１動作、または第２動作を行うことで、対象空間（T）の空気の温度分布を最適に制御できる。

【0011】

第４の態様は、第３の態様において、前記対象空間（T）の空気を搬送する少なくとも１つの送風装置（70）をさらに備えている。

【0012】

第４の態様では、送風装置（70）により対象空間（T）の空気を循環させることで、複数の空調ユニット（30）の台数を減らすことができる。複数の空調ユニット（30）の台数を減らしたとしても、強化学習部（60）の学習結果を利用することで、対象空間（T）の空気の温度分布を最適に制御できる。

【0013】

第５の態様は、前記空気調和装置（10）の運転中に前記対象空間（T）の物理量を計測する計測部（40）をさらに備え、前記強化学習部（60）は、前記空気調和装置（10）の運転中、又は運転後に前記複数の空調ユニット（30）の運転条件を学習する。

【0014】

第５の態様では、空気調和装置（10）の実際の運転中において、計測部（40）が対象空間（T）の物理量を計測する。強化学習部（60）は、実際の運転中において、計測部（40）で計測した物理量と、この物理量に対応する運転条件とに基づいて強化学習を行う。あるいは、強化学習部（60）は、実際の運転中において計測部（40）で計測した物理量と、この物理量に対応する運転条件とを記憶し、空気調和装置（10）の運転後にこれらのデータに基づいて強化学習を行う。

【図面の簡単な説明】

【0015】

【図1】図１は、実施形態に係る空調システムの全体構成図である。

【図2】図２は、実施形態に係る空調システムの利用ユニットのレイアウトを表した平面図である。

【図3】図３は、実施形態に係る空調システムのブロック図である。

【図4】図４は、実施形態に係る空調システムの制御動作を示すフローチャートである。

【図5】図５は、実施形態に係る空調システムの冷却運転を評価したグラフであり、横軸は経過時間を、縦軸は指標Ｘを表している。

【図6】図６は、比較例に係る空調システムの冷却運転を評価したグラフであり、横軸は経過時間を、縦軸は指標Ｘを表している。

【図7】図７は、変形例１に係る空調システムの図２に相当する図である。

【図8】図８は、変形例３に係る空調システムの図３に相当する図である。

【発明を実施するための形態】

【0016】

以下、本開示の実施形態について図面を参照しながら説明する。なお、以下の実施形態は、本質的に好ましい例示であって、本発明、その適用物、あるいはその用途の範囲を制限することを意図するものではない。

【0017】

《実施形態》
実施形態に係る空調システム（1）について説明する。空調システム（1）は、空気調和装置（10）と、制御装置（50）とを備える。

【0018】

〈空気調和装置の概要〉
空気調和装置（10）は、対象空間（T）を空調する。本例の対象空間（T）は、冷蔵倉庫（2）内の空間である。空気調和装置（10）は、対象空間（T）の空気を冷却する運転（冷却運転）と、対象空間（T）の空気を加熱する運転（加熱運転）とを切り換えて行う。空気調和装置（10）は、冷却運転のみを行う構成であってもよい。

【0019】

図１に示すように、空気調和装置（10）は、第１空調系統（20A）と第２空調系統（20B）とを有する。以下では、第１空調系統（20A）及び第２空調系統（20B）のそれぞれを、単に空調系統（20）と呼ぶ場合もある。

【0020】

各空調系統（20）は、１つの熱源ユニット（21）と、４つの利用ユニット（30）とをそれぞれ有する。熱源ユニット（21）及び利用ユニット（30）の数量はこれに限られない。

【0021】

具体的には、第１空調系統（20A）は、第１熱源ユニット（21A）と、第１利用ユニット（30A）と、第２利用ユニット（30B）と、第３利用ユニット（30C）と、第４利用ユニット（30D）とを有する。第２空調系統（20B）は、第２熱源ユニット（21B）と、第５利用ユニット（30E）と、第６利用ユニット（30F）と、第７利用ユニット（30G）と、第８利用ユニット（30H）とを有する。以下では、第１熱源ユニット（21A）及び第２熱源ユニット（21B）のそれぞれを、単に熱源ユニット（21）と呼ぶ場合もある。以下では、第１利用ユニット（30A）、第２利用ユニット（30B）、第３利用ユニット（30C）、第４利用ユニット（30D）、第５利用ユニット（30E）、第６利用ユニット（30F）、第７利用ユニット（30G）、及び第８利用ユニット（30H）のそれぞれを、単に利用ユニット（30）と呼ぶ場合もある。

【0022】

〈空調系統の概要〉
各空調系統（20）は、熱源ユニット（21）と、利用ユニット（30）と、これらを接続する２本の連絡配管（3,4）とをそれぞれ有する。空調系統（20）では、熱源ユニット（21）と利用ユニット（30）とが連絡配管（3,4）に接続されることで、１つの冷媒回路（C）が構成される。冷媒回路（C）は、冷媒を含む。冷媒回路（C）では、冷媒が循環することで蒸気圧縮式の冷凍サイクルが行われる。２本の連絡配管は、液連絡配管（3）とガス連絡配管（4）とで構成される。

【0023】

〈熱源ユニット〉
熱源ユニット（21）は、室外に設置される。熱源ユニット（21）は、冷媒回路（C）に接続される機器として、圧縮機（22）と、熱源熱交換器（23）とを有する。熱源ユニット（21）は、冷媒回路（C）に接続される機器として、四方切換弁（24）と、熱源膨張弁（25）とをさらに有する。熱源ユニット（21）は、熱源ファン（26）を有する。

【0024】

圧縮機（22）は、吸入した冷媒を圧縮する。圧縮機（22）は、圧縮した冷媒を吐出する。圧縮機（22）は、電動機と、電動機によって回転駆動される圧縮機構とを有する。電動機の回転数は、インバータ装置によって調節される。圧縮機（22）は、その容量が可変に構成される。

【0025】

熱源ファン（26）は、室外空気を搬送する。熱源ファン（26）は、その回転数が可変に構成される。熱源熱交換器（23）は、熱源ファン（26）が搬送する室外空気と、冷媒とを熱交換させる。熱源膨張弁（25）は、冷媒を減圧する。熱源膨張弁（25）は、その開度が調節可能な電子膨張弁で構成される。

【0026】

四方切換弁（24）は、図１の実線で示す第１状態と、図１の破線で示す第２状態とに切り換わる。第１状態の四方切換弁（24）は、圧縮機（22）の吐出部と熱源熱交換器（23）のガス端とを連通させ、且つ圧縮機（22）の吸入部と利用熱交換器（31）のガス端とを連通させる。第２状態の四方切換弁（24）は、圧縮機（22）の吐出部と利用熱交換器（31）のガス端とを連通させ、且つ圧縮機（22）の吸入部と熱源熱交換器（23）のガス端とを連通させる。

【0027】

〈利用ユニット〉
利用ユニット（30）は、本開示の空調ユニットに対応する。利用ユニット（30）は、対象空間（T）である冷蔵倉庫（2）内の空間に設けられる。利用ユニット（30）は、冷媒回路（C）に接続される機器として、利用熱交換器（31）と、利用膨張弁（32）とを有する。利用ユニット（30）は、利用ファン（33）を有する。

【0028】

利用ファン（33）は、本開示のファンに対応する。利用ファン（33）は、庫内空気を搬送する。利用熱交換器（31）は、本開示の熱交換器に対応する。利用熱交換器（31）は、利用ファン（33）が搬送する庫内空気と、冷媒とを熱交換させる。利用膨張弁（32）は、冷媒を減圧する。利用膨張弁（32）は、その開度が調節可能な電子膨張弁で構成される。

【0029】

〈冷蔵倉庫、及び利用ユニットのレイアウト〉
冷蔵倉庫（2）、及び利用ユニット（30）のレイアウトについて図２を参照しながら説明する。なお、以下の説明において、「前」、「後」、「右」、「左」は、第１側壁（W1）を正面から見た場合を基準とする。

【0030】

本例の冷蔵倉庫（2）は、冷却対象である荷物（図示省略）が収容される。冷蔵倉庫（2）は、第１側壁（W1）と、第２側壁（W2）と、第３側壁（W3）と、第４側壁（W4）とを有する。第１側壁（W1）は冷蔵倉庫（2）の前側に、第２側壁（W2）は冷蔵倉庫（2）の後側に、第３側壁（W3）は冷蔵倉庫（2）の左側に、第４側壁（W4）は冷蔵倉庫（2）の右側にそれぞれ位置する。第１側壁（W1）、第２側壁（W2）、第３側壁（W3）、及び第４側壁（W4）は、断熱材料を含む。第１側壁（W1）には、２つの扉（D）が設けられる。扉（D）が開放されると、対象空間（T）の空調負荷が増大する。

【0031】

空気調和装置（10）の利用ユニット（30）は、冷蔵倉庫（2）の天井側に配置される。

【0032】

第１空調系統（20A）の各利用ユニット（30）は、第１側壁（W1）寄りに配置される。第１空調系統（20A）の各利用ユニット（30）は、第１側壁（W1）に沿うように左右に並んで配置される。具体的には、第３側壁（W3）から第４側壁（W4）に向かって、第１利用ユニット（30A）、第２利用ユニット（30B）、第３利用ユニット（30C）、及び第４利用ユニット（30D）が順に配列される。

【0033】

第２空調系統（20B）の各利用ユニット（30）は、第２側壁（W2）寄りに配置される。第２空調系統（20B）の各利用ユニット（30）は、第２側壁（W2）に沿うように左右に並んで配置される。具体的には、第３側壁（W3）から第４側壁（W4）に向かって、第５利用ユニット（30E）、第６利用ユニット（30F）、第７利用ユニット（30G）、及び第８利用ユニット（30H）が順に配列される。

【0034】

〈温度分布センサ〉
図３に示すように、空調システム（1）は、温度分布センサ（40）を備えている。温度分布センサ（40）は、対象空間（T）の空気の温度分布を物理量として検出する。温度分布センサ（40）は、本開示の計測部に対応する。温度分布センサ（40）は、空気調和装置（10）に組み込まれてもよい。

【0035】

温度分布センサ（40）は、対象空間（T）を複数の空間（以下、検出空間ともいう）に区分し、検出空間毎の空気の温度をそれぞれ検出する。検出空間の高さ位置は、冷却対象である荷物の高さ位置に対応する。本例の対象空間（T）は複数の検出空間に区分される。温度分布センサ（40）は、例えば接触式、赤外線式、あるいは音波式のセンサである。

【0036】

〈制御装置〉
制御装置（50）について図３を参照しながら詳細に説明する。

【0037】

制御装置（50）は、マイクロコンピュータ及びメモリディバイスを含む。メモリディバイスは、マイクロコンピュータを動作させるためのソフトウエアを格納する。制御装置（50）は、空気調和装置（10）と有線または無線を介して通信可能に構成される。制御装置（50）には、温度分布センサ（40）が検出した空気の温度分布が検出値として入力される。

【0038】

制御装置（50）は、空調制御部（51）と強化学習部（60）とを含む。空調制御部（51）は、本開示の制御部に対応する。空調制御部（51）は、強化学習部（60）で学習した複数の利用ユニット（30）の運転条件を満たすように、空気調和装置（10）を制御する。強化学習部（60）は、強化学習により、複数の利用ユニット（30）の最適な運転条件を決定する。

【0039】

〈空調制御部の詳細〉
空調制御部（51）は、本開示の制御部に対応する。空調制御部（51）は、圧縮機（22）、熱源膨張弁（25）、利用膨張弁（32）、熱源ファン（26）、および利用ファン（33）を制御する。空調制御部（51）は、温度設定部（52）を有する。温度設定部（52）には、対象空間（T）の設定温度Tsetが入力される。設定温度Tsetは、ユーザなどが操作するリモートコントローラを介して温度設定部（52）に入力される。

【0040】

冷却運転では、空調制御部（51）は、利用熱交換器（31）の蒸発温度を制御する。空調制御部（51）は、冷却運転中の蒸発温度の目標値（目標蒸発温度）を決定する。空調制御部（51）は、設定温度Tsetと対象空間（T）の空調負荷に応じて、目標蒸発温度を変更する。冷房運転中の蒸発温度の目標値（目標蒸発温度）は、設定温度Tsetよりも低い所定温度となる。空調制御部（51）は、利用熱交換器（31）の蒸発温度が目標蒸発温度に近づくように圧縮機（22）の回転数を制御する。

【0041】

加熱運転では、空調制御部（51）が、利用熱交換器（31）の凝縮温度を制御する。空調制御部（51）は、暖房運転中の凝縮温度の目標値（目標凝縮温度）を決定する。空調制御部（51）は、設定温度Tsetと対象空間（T）の空調負荷に応じて、目標凝縮温度を変更する。加熱運転中の凝縮温度の目標値（目標凝縮温度）は、設定温度Tsetよりも高い所定温度となる。空調制御部（51）は、利用熱交換器（31）の凝縮温度が目標凝縮温度に近づくように圧縮機（22）の回転数を制御する。

【0042】

〈強化学習部の詳細〉
強化学習部（60）は、マイクロコンピュータ及びメモリディバイスを含む。メモリディバイスは、マイクロコンピュータを動作させるためのソフトウエアを格納する。強化学習部（60）は、複数の利用ユニット（30）の運転条件と、対象空間（T）の物理量とを含む状態変数に基づいて、複数の利用ユニット（30）の運転条件を決定する関数を更新する。

【0043】

強化学習部（60）は、ＤＱＮ学習またはＱ学習により強化学習を行う。本例の強化学習部（60）は、Ｑ学習により強化学習を行う。強化学習部（60）は、強化学習におけるエージェントに相当する。Ｑ学習では、エージェントが、状態ｓでどのような行動ａをとれば行動価値関数（報酬）が最も大きくなるかを学習する。状態ｓは、対象空間（T）の物理量である。行動ａは、複数の利用ユニット（30）の運転条件である。

【0044】

強化学習部（60）は、機能的な要素として、状態観測部（61）、報酬条件設定部（62）、報酬決定部（63）、更新部（64）、および意思決定部（65）を含む。強化学習部（60）は、記憶媒体である記憶部（66）を含む。

【0045】

状態観測部（61）は、複数の利用ユニット（30）の運転条件と、この運転条件に対応する対象空間（T）の物理量とを受信する。複数の利用ユニット（30）の運転条件は、空調制御部（51）から状態観測部（61）に送られる。複数の利用ユニット（30）の運転条件は、利用ユニット（30）が第１動作及び第２動作のいずれを行うかの条件（以下、動作条件ともいう）を含む。

【0046】

対象空間（T）の物理量は、温度分布センサ（40）から空調制御部（51）を介して状態観測部（61）に送られる。対象空間（T）の物理量は、対象空間（T）の空気の温度分布を含む。温度分布センサ（40）の検出値を直に状態観測部（61）に送ってもよい。

【0047】

報酬条件設定部（62）は、報酬条件を設定する。報酬条件設定部（62）には、例えばユーザ等が操作する操作部を用いることで、任意の報酬条件が設定可能である。本実施形態の報酬条件は、第１報酬条件を含む。

【0048】

第１報酬条件は、対象空間（T）の空気の温度分布が許容範囲外であるか否かの条件を含む。具体的には、第１報酬条件は、以下の式で表される指標Ｘを含む条件である。

【0049】

指標Ｘ[％]＝（条件Ａが成立する検出空間の数ｎ）／（検出空間の総数Ｎ）

【0050】

検出空間で検出された空気の温度をTrとし、対象空間（T）の空気の設定温度をTsetとする。条件Ａは、Trが、Tsetを含む所定の温度範囲以上及び該温度範囲以下にある条件である。温度範囲の上限値T1は、Tset＋αに設定される。温度範囲の下限値T2は、Tset－βに設定される。冷却運転において、αは例えば１℃に設定される。冷却運転において、βは例えば２℃に設定される。本例では、冷却運転において、βがαより大きい。

【0051】

指標Ｘが低ければ対象空間（T）の空気の温度が全体的に設定温度Tsetに近いことを意味し、指標Ｘが高ければ対象空間（T）の温度が全体的に設定温度Tsetから遠いことを意味する。

【0052】

報酬条件設定部（62）には、報酬を決定するための閾値（上記α、β、及び後述するＰ）が変更可能に設定される。

【0053】

報酬決定部（63）は、状態変数に基づいて、複数の利用ユニット（30）の運転条件を決定した結果に対する報酬を決定する。報酬決定部（63）は、状態観測部（61）が受信した物理量と、報酬条件設定部（62）に設定された報酬条件とに基づいて報酬を決定する。

【0054】

報酬決定部（63）は、第１条件に基づき報酬を決定する。具体的には、報酬決定部（63）は、指標Ｘに応じて報酬を決定する。報酬決定部（63）は、指標Ｘが所定値Ｐより小さい場合に報酬を増やし、指標Ｘが所定値Ｐ以上である場合に報酬を減らす。なお、報酬決定部（63）は、指標Ｘが小さいほど報酬を増大させ、指標Ｘが大きいほど報酬を減らしてもよい。

【0055】

更新部（64）は、人工知能である。更新部（64）は、報酬決定部（63）で決定した報酬に基づいて、現在の状態変数から運転条件を決定する関数を更新する。この関数は、行動価値関数であるが、他の関数であってもよい。また、関数は、行動価値テーブルを含む。更新部（64）は、報酬決定部（63）で決定した報酬に基づいて、動作条件を決定する関数を更新する。

【0056】

学習結果記憶部（66）は、更新部（64）が学習した結果を適宜記憶する。

【0057】

意思決定部（65）は、更新部（64）の学習結果に基づいて、複数の利用ユニット（30）の最適な運転条件（行動ａ）を決定する。具体的には、意思決定部（65）は、更新部（64）が更新した関数に基づいて、最適な動作条件を決定する。意思決定部（65）は、必ずしも強化学習部（60）に設けられてなくてもよく、空調制御部（51）に設けられてもよい。

【0058】

以上のようにして、強化学習部（60）は、更新部（64）による関数の更新を繰り返すことにより、報酬が最も多く得られる、複数の空調ユニット（30）の運転条件を学習する。

【0059】

－空気調和装置の運転動作－
空気調和装置（10）の基本的な運転動作について説明する。空気調和装置（10）は、冷却運転と、加熱運転とを行う。各空調系統（20）の運転動作は基本的に同じである。

【0060】

〈冷却運転〉
冷却運転では、各空調系統（20）の圧縮機（22）が運転状態となる。各空調系統（20）の熱源ファン（26）及び利用ファン（33）が運転状態となる。各空調系統（20）の四方切換弁（24）が第１状態となる。冷却運転では、熱源熱交換器（23）が放熱器（凝縮器）として機能し、利用熱交換器（31）が蒸発器として機能する冷凍サイクルが行われる。

【0061】

圧縮機（22）で圧縮された冷媒は、熱源熱交換器（23）で室外空気へ放熱する。放熱した冷媒は、利用膨張弁（32）で減圧された後、利用熱交換器（31）を流れる。利用熱交換器（31）では、冷媒が庫内空気から吸熱して蒸発する。利用熱交換器（31）で冷却された空気は、対象空間（T）へ供給される。利用熱交換器（31）で蒸発した冷媒は、圧縮機（22）に吸入される。

【0062】

〈加熱運転〉
加熱運転では、各空調系統（20）の圧縮機（22）が運転状態となる。各空調系統（20）の熱源ファン（26）及び利用ファン（33）が運転状態となる。各空調系統（20）の四方切換弁（24）が第２状態となる。加熱運転では、利用熱交換器（31）が放熱器（凝縮器）として機能し、熱源熱交換器（23）が蒸発器として機能する冷凍サイクルが行われる。

【0063】

圧縮機（22）で圧縮された冷媒は、利用熱交換器（31）で室外空気へ放熱する。放熱した冷媒は、利用膨張弁（32）で減圧された後、利用熱交換器（31）を流れる。利用熱交換器（31）では、冷媒が庫内空気から吸熱して蒸発する。利用熱交換器（31）で冷却された空気は、対象空間（T）へ供給される。利用熱交換器（31）で蒸発した冷媒は、圧縮機（22）に吸入される。

【0064】

〈第１動作および第２動作〉
複数の利用ユニット（30）は、冷却運転及び加熱運転において、それぞれ第１動作と第２動作とを行う。

【0065】

第１動作は、利用ファン（33）を運転させ且つ利用熱交換器（31）を機能させる動作である。冷却運転中の第１動作では、利用ファン（33）が運転状態となり、利用熱交換器（31）が蒸発器として機能する。加熱運転中の第１動作では、利用ファン（33）が運転状態となり、利用熱交換器（31）が放熱器（凝縮器）として機能する。

【0066】

冷却運転中の第２動作では、利用ファン（33）が運転状態となり、利用熱交換器（31）の機能が停止する。加熱運転中の第２動作では、利用ファン（33）が運転状態となり、利用熱交換器（31）の機能が停止する。第２動作では、冷媒が利用熱交換器（31）を実質的に流れない。具体的には、第２動作中の利用ユニット（30）では、対応する利用膨張弁（32）の開度が、全閉又は微小開度となる。

【0067】

〈強化学習部による学習動作〉
強化学習部（60）による学習動作について、図４を参照しながらさらに説明する。学習動作は、冷却運転と加熱運転とでそれぞれ実行される。

【0068】

本実施形態の空気調和装置（10）の学習動作は、空気調和装置（10）の現地の据え付け後に実行される。なお、学習動作は、空気調和装置（10）が現地の据え付け前にシミュレーションによって実行されてもよい。この場合、空気調和装置（10）の据え付け時から、強化学習部（60）の記憶部（66）に行動価値関数が記憶されることになる。

【0069】

ステップＳＴ１では、強化学習部（60）において行動価値関数が既に作成されているか否かの判定が行われる。行動価値関数が作成されていない場合（ステップＳＴ１のＮＯ）、ステップＳＴ２へ移行する。

【0070】

ステップＳＴ２では、空調制御部（51）が、複数の利用ユニット（30）を所定の運転条件（動作条件）で制御する。所定の運転条件は、例えば予め設定された初期の運転条件であってもよいし、ランダムに決定される運転条件であってもよい。これにより、各利用ユニット（30）は、第１動作及び第２動作のいずれかを行う。

【0071】

ステップＳＴ３では、温度分布センサ（40）で検出した温度分布が、現在の各利用ユニット（30）の運転条件とともに状態観測部（61）に入力される。

【0072】

ステップＳＴ４では、報酬決定部（63）が報酬の計算を開始する。報酬決定部（63）は、上記（１）式に基づき指標Ｘを算出する。指標Ｘが所定値より小さい場合（ステップＳＴ５のＹＥＳ）、対象空間（T）の全体の温度が設定温度Tsetに近いため、報酬が増大する（ステップＳＴ６）。指標Ｘが所定値以上である場合（ステップＳＴ５のＮＯ）、対象空間（T）の全体の温度が設定温度Tsetから遠いため、報酬が減少する（ステップＳＴ７）。

【0073】

ステップＳＴ８では、更新部（64）が報酬決定部（63）で決定した報酬に基づいて、現在の状態変数から運転条件を決定する行動価値関数を作成または更新する。

【0074】

ステップＳＴ９では、意思決定部（65）が、行動価値関数に基づいて最適な動作条件を決定する。具体的には、意思決定部（65）は、複数の利用ユニット（30）のうちどの利用ユニット（30）が第１動作及び第２動作のいずれを行えば、報酬が最大となるかを決定する。これにより、対象空間（T）の全体の空気の温度を設定温度Tsetに近づけるための、各利用ユニット（30）の動作条件を決定できる。

【0075】

ステップＳＴ１０では、強化学習部（60）で決定した動作条件が空調制御部（51）に送られる。空調制御部（51）は、複数の空調ユニット（30）が強化学習部（60）決定した動作条件となるように、各空調ユニット（30）を制御する。

【0076】

次いでステップＳＴ１に戻ると、強化学習部（60）では行動価値関数が既に作成されているため、ステップＳＴ１のＹＥＳが成立し、ステップＳＴ３～ステップＳＴ１０の処理が実行される。その後は、ステップＳＴ３～ステップＳＴ１０の処理が繰り返し実行されることで、強化学習が行われる。これにより、強化学習部（60）は、温度分布センサ（40）で検出した対象空間（T）の空気の温度分布に応じて、各利用ユニット（30）のうちどの空調ユニット（30）が第１動作を行い、どの空調ユニット（30）が第２動作を行うと、対象空間（T）の全体の空気の温度がTsetに近づけるかを適切に判断できる。

【0077】

空気調和装置（10）の総運転時間が長くなるほど、強化学習部（60）の学習時間が長くなる。このため、空気調和装置（10）の総運転時間が長くなるほど、空気調和装置（10）による対象空間（T）の全体の温度調整の精度が向上する傾向にある。

【0078】

なお、本例では、空気調和装置（10）の運転中において、強化学習部（60）がリアルタイムで強化学習を行っている。しかし、強化学習部（60）は、空気調和装置（10）の運転中において、検出した物理量、及び運転条件を紐付けて記憶し、空気調和装置（10）の運転後に強化学習を行ってもよい。

【0079】

〈学習動作の検証結果〉
本実施形態の学習動作の検証結果について、比較例と対比しながら説明する。

【0080】

図５は、本実施形態の空気調和装置（10）について、冷却運転を開始し始めた後、指標Ｘがどのように推移したかをシミュレーションにより検証した結果である。シミュレーションでは、図２に示す冷蔵倉庫（2）を対象とし、既に強化学習が実行された後の空気調和装置（10）が冷却運転を行う。利用ユニット（30）は８台である。シミュレーション条件では、対象空間（T）の全体の空気の初期温度を３℃とし、外気温度を１５℃、設定温度Tsetを３℃とした。また、壁（W1,W2,W2,W4）の外部から対象空間（T）へ伝わる熱量、及び対象空間（T）の照明の熱量を考慮した。冷却運転の開始直後には、扉（D）の開放に伴い６０秒間、１５℃の外気が対象空間（T）に流入するものとした。指標Ｘを求めるための温度範囲の上限値T1は４℃、下限値T2は０℃とした。

【0081】

図５に示すように、本実施形態では、運転開始後、時点ａにおいて指標Ｘが増大している。これは、以下の１）及び２）に起因すると推察できる。

【0082】

１）冷却運転の運転開始直後に外気が対象空間（T）に流入することに起因して、一部の検出空間における空気温度Trが上限値T1（４℃）以上になった。

【0083】

２）上記１）に起因していくつかの利用ユニット（30）が第１動作を実行し、一部の検出空間における空気温度Trが下限値T2（０℃）以下になった。

【0084】

一方、時点ａの経過後には、速やかに指標Ｘが低下し、その後は０を維持した。このことは、時点ａの経過後、全ての検出空間において空気の温度Trが温度範囲内にあったことを意味する。したがって、本実施形態の空気調和装置（10）では、対象空間（T）の全体の空気の温度を速やかに設定温度Tsetに近づけることができる。

【0085】

図６は、比較例の空気調和装置において、冷却運転を開始し始めた後、指標Ｘがどのように推移したかをシミュレーションにより検証した結果である。空気調和装置の基本的な構成は実施形態と同じであり、利用ユニットは８台である。比較例の利用ユニットは、吸込温度に応じて第１動作と第２動作とを切り換える。具体的には、第１動作中において、吸込温度が設定温度Tr（本例では３℃）に至ると利用ユニットが第２動作を行う。第２動作中において、吸込温度が設定温度Tr＋α℃（本例では４℃）に至ると利用ユニットが第１動作を行う。比較例の空気調和装置のそれ以外のシミュレーション条件は、上述した本実施形態のシミュレーション条件と同じである。比較例では、実施形態と同様、温度範囲の上限値T1を４℃、下限値T2を０℃として指標Ｘを求めた。

【0086】

図６に示すように、比較例では、特に時点ｂ、ｃ、ｄ、及びｅにおいて、指標Ｘが増大している。時点ｂにおいて指標Ｘが増大したことは、冷却運転の開始直後に外気が流入したことに起因すると推察できる。時点ｃ、ｄ、及びｅにおいて指標Ｘが増大したことは、第１動作を実行する利用ユニットの台数が増え、対象空間（T）の空気が過剰に冷却されてしまったことためと推察できる。したがって、比較例では、対象空間（T）の全体の空気の温度を速やかに設定温度Trに近づけることができなかった。

【0087】

以上のことから、本実施形態の空気調和装置（10）は、比較例よりも対象空間（T）の全体の空気を速やかに設定温度Trに近づけることが確認できた。

【0088】

－実施形態の効果－
実施形態では、強化学習部（60）が複数の利用ユニット（30）の運転条件、及び対象空間（T）の物理量に基づいて強化学習を行う。空調制御部（51）は、強化学習部（60）で決定した運転条件となるように、複数の利用ユニット（30）を制御する。これにより、所定の報酬を満たすための最適な運転条件にて複数の利用ユニット（30）を運転させることができる。

【0089】

強化学習のための物理量として対象空間（T）の空気の温度分布を用いている。このため、対象空間（T）の空気の温度分布を最適に制御できる。

【0090】

強化学習のための運転条件として、複数の利用ユニット（30）のいずれが第１動作を行い、いずれが第２動作を行うかの動作条件を用いている。このため、対象空間（T）における複数の利用ユニット（30）の位置を考慮しながら、利用ユニット（30）毎に最適な動作条件を決定できる。

【0091】

さらに報酬条件は、対象空間（T）の空気の温度分布が許容範囲外であるか否かの条件を含む。対象空間（T）の空気の温度分布が許容範囲外であると報酬が増大し、許容範囲内であると報酬が減少する。この学習結果に基づき複数の利用ユニット（30）の動作条件を決定することで、対象空間（T）の空気の温度分布を許容範囲内に制御できる。

【0092】

より厳密には、報酬条件は、対象空間（T）を複数の検出空間に区分し、検出区間毎の空気温度が目標値に近いかどうかを示す指標Ｘをパラメータとしている。この学習結果に基づき複数の利用ユニット（30）の動作条件を決定することで、対象空間（T）の全体の空気の温度をきめ細かく、且つ早期に目標値に近づけることができる（図５を参照）。

【0093】

－実施形態の変形例－
上記実施形態については、以下のような変形例を採用してもよい。

【0094】

〈変形例１〉
図７に示す変形例１の空気調和装置（10）は、送風装置（70）を備える。送風装置（70）は、対象空間（T）に配置される。送風装置（70）は、対象空間（T）の空気を循環させる、いわゆるサーキュレータである。変形例１の空気調和装置（10）は、２台の送風装置（70）を有する。一方、変形例１の空気調和装置（10）は、実施形態よりも少ない６台の利用ユニット（30）を有する。それ以外の構成は、実施形態と同様である。

【0095】

変形例１においても、強化学習部（60）が、複数の利用ユニット（30）の動作条件、及び対象空間（T）の温度分布に基づいて強化学習を行う。空調制御部（51）は、この強化学習結果に基づいて複数の利用ユニット（30）を制御する。このため、対象空間（T）の全体の空気の温度を設定温度Tsetに速やかに近づけることができる。

【0096】

変形例１では、実施形態と比べて利用ユニット（30）の台数が少ない。しかしながら、強化学習に基づき複数の利用ユニット（30）の動作を制御することで、比較例よりも対象空間（T）の全体の空気の温度を設定温度Tsetに速やかに近づけることができる。

【0097】

このように変形例１では、利用ユニット（30）の台数を減らしつつ、対象空間（T）の空気の温度をきめ細かく且つ早く目標値に近づけることができる。

【0098】

〈変形例２〉
変形例２は、変形例１と同様、少なくとも１つの送風装置（70）と、複数の利用ユニット（30）を有する空気調和装置（10）において、強化学習の行動ａとして送風装置（70）の運転条件が含まれる。厳密にいうと、強化学習部（60）は、複数の利用ユニット（30）の運転条件と、送風装置（70）の運転条件と、対象空間（T）に関する物理量を含む状態変数とに基づいて、複数の利用ユニット（30）の運転条件を決定する関数を更新する。

【0099】

したがって、変形例２の強化学習部（60）は、複数の利用ユニット（30）のうち、どの利用ユニット（30）を第１動作とし、どの利用ユニット（30）を第２動作とし、どの送風装置（70）を運転させ、どの送風装置（70）を停止させると報酬が最大となるかを決定する。

【0100】

変形例２では、利用ユニット（30）の台数を減らしながら、対象空間（T）の空気の温度をよりきめ細かく且つより早く目標値に近づけることができる。

【0101】

〈変形例３〉
図８に示す変形例３の空気調和装置（10）は、電力検出部（41）を有する。電力検出部（41）は、空気調和装置（10）の消費電力を検出する。電力検出部（41）の検出値は、空調制御部（51）を介して、または直接的に強化学習部（60）に入力される。

【0102】

変形例３の強化学習部（60）は、状態ｓとして、対象空間（T）の物理量（温度分布）に加えて、空気調和装置（10）の消費電力を用いる。厳密にいうと、強化学習部（60）は、複数の利用ユニット（30）の運転条件と、対象空間（T）に関する物理量と、空気調和装置（10）の消費電力を含む状態変数に基づいて、複数の利用ユニット（30）の運転条件を決定する関数を更新する。

【0103】

報酬決定部（63）は、この状態変数に基づいて、複数の利用ユニット（30）の運転条件を決定した結果に対する報酬を決定する。具体的には、報酬決定部（63）は、実施形態と同様、指標Ｘに応じて報酬を決定する。加えて、変形例３の報酬決定部（63）は、消費電力が所定値より小さいと報酬を増やし、消費電力が所定値より大きいと報酬を減らす。なお、報酬決定部（63）は、消費電力が小さいほど報酬を増大させ、消費電力が大きいほど報酬を減らしてもよい変形例３のそれ以外の処理は、実施形態と同様である。

【0104】

変形例３では、指標Ｘ及び消費電力を報酬とし、この報酬が最大となる各利用ユニット（30）の動作条件（第１動作および第２動作のいずれを行うか）を決定している。このため、変形例３では、対象空間（T）の全体の空気を目標値に近づけることができ、且つ消費電力が少ない運転を実現できる。

【0105】

なお、変形例３において、強化学習の行動ａとして送風装置（70）の運転条件を含めるようにしてもよい。

【0106】

《その他の実施形態》
上述した各実施形態、及び各変形例においては、適用可能な範囲において以下の構成としてもよい。

【0107】

上述した形態では、対象空間（T）が冷蔵庫内の空間である。しかし、対象空間は、一般家屋、店舗、ビルなどの室内空間であってもよい。対象空間（T）は、コンテナ内の空間であってもよい。コンテナは、陸上輸送あるいは海上輸送に用いられる。コンテナの内部に食品などの冷却対象物が収容される。対象空間（T）は、陸上、海上などを移動する移動体の内部の空間であってもよい。移動体としては、車両、電車、船舶などがあげられる。

【0108】

以上、実施形態および変形例を説明したが、特許請求の範囲の趣旨および範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。また、以上の実施形態、変形例、その他の実施形態は、本開示の対象の機能を損なわない限り、適宜組み合わせたり、置換したりしてもよい。

【0109】

以上に述べた「第１」、「第２」、「第３」…という記載は、これらの記載が付与された語句を区別するために用いられており、その語句の数や順序までも限定するものではない。

【産業上の利用可能性】

【0110】

本開示は、空調システムについて有用である。

【符号の説明】

【0111】

１０ 空気調和装置
３０ 空調ユニット
３１ 熱交換器
３３ ファン
５１ 制御部
６０ 強化学習部
６３ 報酬決定部
６４ 更新部
７０ 送風装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】