知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024035841
(43)【公開日】2024-03-15
(54)【発明の名称】熱源システム
(51)【国際特許分類】
F24F 11/46 20180101AFI20240308BHJP
F24F 11/83 20180101ALI20240308BHJP
F24F 11/63 20180101ALI20240308BHJP
F24F 5/00 20060101ALI20240308BHJP
G05D 23/00 20060101ALI20240308BHJP
G05B 11/36 20060101ALI20240308BHJP
F24F 140/00 20180101ALN20240308BHJP
F24F 140/60 20180101ALN20240308BHJP
【ＦＩ】
F24F11/46
F24F11/83
F24F11/63
F24F5/00 101Z
G05D23/00 D
G05B11/36 K
F24F140:00
F24F140:60
【審査請求】有
【請求項の数】4
【出願形態】ＯＬ
(21)【出願番号】P 2022133073
(22)【出願日】2022-08-24
(11)【特許番号】
(45)【特許公報発行日】2024-03-07
(71)【出願人】
【識別番号】000220262
【氏名又は名称】東京瓦斯株式会社
(74)【代理人】
【識別番号】110000936
【氏名又は名称】弁理士法人青海国際特許事務所
(72)【発明者】
【氏名】鈴木 雄仁
【テーマコード（参考）】
3L054
3L260
5H004
5H323
【Ｆターム（参考）】
3L054BF01
3L054BF02
3L260AB06
3L260BA41
3L260CB32
3L260CB37
3L260CB38
3L260CB46
3L260EA07
3L260EA22
3L260FA10
3L260FB23
3L260FB32
3L260FB33
5H004GA05
5H004HA01
5H004HB01
5H004JA01
5H004KA24
5H004KD35
5H323AA11
5H323BB03
5H323CA03
5H323CA05
5H323CB22
5H323CB25
5H323CB43
5H323DA01
5H323DB13
5H323FF04
5H323FF06
5H323GG01
5H323KK05
5H323LL29
5H323MM08
(57)【要約】
【課題】熱源システムを構成する機器を適切に制御する。
【解決手段】熱源システムの制御装置は、熱源機補機の運転条件に関する複数種類の状態変数Ｓｔを取得する取得部と、複数種類の状態変数Ｓｔを学習モデルに入力することで、熱源機補機に関する複数種類の行動のうち１つの行動を決定する行動決定部と、決定された行動を実行するように熱源機補機の運転条件を制御する制御部と、制御された運転条件で熱源機補機を運転させた場合における、熱源機および熱源機補機を含む熱源システム全体の消費エネルギーに対する熱負荷を示すシステムＣＯＰを計算するシステムＣＯＰ計算部と、システムＣＯＰの今回値が前回値以上である場合、今回実行された行動が選択され易くなるような報酬に基づいて学習モデルを更新し、システムＣＯＰの今回値が前回値未満である場合、今回実行された行動が選択され難くなるような報酬に基づいて学習モデルを更新する更新部とを有する。
【選択図】図１
【解決手段】熱源システムの制御装置は、熱源機補機の運転条件に関する複数種類の状態変数Ｓｔを取得する取得部と、複数種類の状態変数Ｓｔを学習モデルに入力することで、熱源機補機に関する複数種類の行動のうち１つの行動を決定する行動決定部と、決定された行動を実行するように熱源機補機の運転条件を制御する制御部と、制御された運転条件で熱源機補機を運転させた場合における、熱源機および熱源機補機を含む熱源システム全体の消費エネルギーに対する熱負荷を示すシステムＣＯＰを計算するシステムＣＯＰ計算部と、システムＣＯＰの今回値が前回値以上である場合、今回実行された行動が選択され易くなるような報酬に基づいて学習モデルを更新し、システムＣＯＰの今回値が前回値未満である場合、今回実行された行動が選択され難くなるような報酬に基づいて学習モデルを更新する更新部とを有する。
【選択図】図１
【特許請求の範囲】
【請求項1】
第２熱媒体を用いて第１熱媒体を冷却または加熱して熱負荷設備に供給する熱源機と、
前記熱源機と前記熱負荷設備との間で前記第１熱媒体を循環させる第１ポンプと、前記第２熱媒体の熱交換を行う熱交換器と、前記熱源機と前記熱交換器との間で前記第２熱媒体を循環させる第２ポンプとを含む熱源機補機と、
強化学習を用いて前記熱源機補機の運転を制御する制御装置と、
を備え、
前記制御装置は、
前記熱源機補機の運転条件に関する複数種類の状態変数Ｓｔを取得する取得部と、
前記複数種類の状態変数Ｓｔを学習モデルに入力することで、前記熱源機補機に関する複数種類の行動のうち１つの行動を決定する行動決定部と、
前記決定された行動を実行するように前記熱源機補機の運転条件を制御する制御部と、
前記制御された運転条件で前記熱源機補機を運転させた場合における、前記熱源機および前記熱源機補機を含む熱源システム全体の消費エネルギーに対する熱負荷を示すシステムＣＯＰを計算するシステムＣＯＰ計算部と、
前記システムＣＯＰの今回値が前回値以上である場合、今回実行された行動が選択され易くなるような報酬に基づいて前記学習モデルを更新し、前記システムＣＯＰの今回値が前回値未満である場合、今回実行された行動が選択され難くなるような報酬に基づいて前記学習モデルを更新する更新部と、
を有し、
前記複数種類の状態変数Ｓｔは、
前記第１ポンプを駆動させるモータに電力を供給するインバータの周波数である第１ポンプ周波数と、
前記第２ポンプを駆動させるモータに電力を供給するインバータの周波数である第２ポンプ周波数と、
を少なくとも含み、
前記複数種類の行動は、
前記第１ポンプ周波数を増加させる行動と、
前記第１ポンプ周波数を減少させる行動と、
前記第２ポンプ周波数を増加させる行動と、
前記第２ポンプ周波数を減少させる行動と、
を少なくとも含む、熱源システム。
前記熱源機と前記熱負荷設備との間で前記第１熱媒体を循環させる第１ポンプと、前記第２熱媒体の熱交換を行う熱交換器と、前記熱源機と前記熱交換器との間で前記第２熱媒体を循環させる第２ポンプとを含む熱源機補機と、
強化学習を用いて前記熱源機補機の運転を制御する制御装置と、
を備え、
前記制御装置は、
前記熱源機補機の運転条件に関する複数種類の状態変数Ｓｔを取得する取得部と、
前記複数種類の状態変数Ｓｔを学習モデルに入力することで、前記熱源機補機に関する複数種類の行動のうち１つの行動を決定する行動決定部と、
前記決定された行動を実行するように前記熱源機補機の運転条件を制御する制御部と、
前記制御された運転条件で前記熱源機補機を運転させた場合における、前記熱源機および前記熱源機補機を含む熱源システム全体の消費エネルギーに対する熱負荷を示すシステムＣＯＰを計算するシステムＣＯＰ計算部と、
前記システムＣＯＰの今回値が前回値以上である場合、今回実行された行動が選択され易くなるような報酬に基づいて前記学習モデルを更新し、前記システムＣＯＰの今回値が前回値未満である場合、今回実行された行動が選択され難くなるような報酬に基づいて前記学習モデルを更新する更新部と、
を有し、
前記複数種類の状態変数Ｓｔは、
前記第１ポンプを駆動させるモータに電力を供給するインバータの周波数である第１ポンプ周波数と、
前記第２ポンプを駆動させるモータに電力を供給するインバータの周波数である第２ポンプ周波数と、
を少なくとも含み、
前記複数種類の行動は、
前記第１ポンプ周波数を増加させる行動と、
前記第１ポンプ周波数を減少させる行動と、
前記第２ポンプ周波数を増加させる行動と、
前記第２ポンプ周波数を減少させる行動と、
を少なくとも含む、熱源システム。
【請求項2】
前記強化学習は、深層強化学習であり、
前記深層強化学習の入力である前記複数種類の状態変数Ｓｔと、前記深層強化学習の出力である、前記複数種類の行動にそれぞれ対応する複数種類のＱ値との間には、ニューラルネットワークが形成されており、
前記行動決定部は、
前記複数種類の状態変数Ｓｔに、前記ニューラルネットワークにおける重みＷを乗算することで、前記複数種類のＱ値をそれぞれ計算するＱ値計算部と、
前記複数種類の行動の中から、前記計算されたＱ値のうち最も大きいＱ値に対応する行動を選択する行動選択部と、
を含み、
前記更新部は、
前記システムＣＯＰの今回値が前回値以上である場合、前記Ｑ値計算部における重みＷを、今回実行した行動に対応するＱ値が今回値よりも大きくなるような重みＷに更新し、
前記システムＣＯＰの今回値が前回値未満である場合、前記Ｑ値計算部における重みＷを、今回実行した行動に対応するＱ値が今回値よりも小さくなるような重みＷに更新する、
請求項１に記載の熱源システム。
前記深層強化学習の入力である前記複数種類の状態変数Ｓｔと、前記深層強化学習の出力である、前記複数種類の行動にそれぞれ対応する複数種類のＱ値との間には、ニューラルネットワークが形成されており、
前記行動決定部は、
前記複数種類の状態変数Ｓｔに、前記ニューラルネットワークにおける重みＷを乗算することで、前記複数種類のＱ値をそれぞれ計算するＱ値計算部と、
前記複数種類の行動の中から、前記計算されたＱ値のうち最も大きいＱ値に対応する行動を選択する行動選択部と、
を含み、
前記更新部は、
前記システムＣＯＰの今回値が前回値以上である場合、前記Ｑ値計算部における重みＷを、今回実行した行動に対応するＱ値が今回値よりも大きくなるような重みＷに更新し、
前記システムＣＯＰの今回値が前回値未満である場合、前記Ｑ値計算部における重みＷを、今回実行した行動に対応するＱ値が今回値よりも小さくなるような重みＷに更新する、
請求項１に記載の熱源システム。
【請求項3】
前記複数種類の状態変数Ｓｔは、
前記第１ポンプ周波数と、
前記第２ポンプ周波数と、
前記第２熱媒体が前記熱交換器から送出される出口における前記第２熱媒体の温度である第２熱媒体温度と、
を少なくとも含み、
前記複数種類の行動は、
前記第１ポンプ周波数を増加させる行動と、
前記第１ポンプ周波数を減少させる行動と、
前記第２ポンプ周波数を増加させる行動と、
前記第２ポンプ周波数を減少させる行動と、
前記第２熱媒体温度を上昇させる行動と、
前記第２熱媒体温度を低下させる行動と、
を少なくとも含む、請求項１または２に記載の熱源システム。
前記第１ポンプ周波数と、
前記第２ポンプ周波数と、
前記第２熱媒体が前記熱交換器から送出される出口における前記第２熱媒体の温度である第２熱媒体温度と、
を少なくとも含み、
前記複数種類の行動は、
前記第１ポンプ周波数を増加させる行動と、
前記第１ポンプ周波数を減少させる行動と、
前記第２ポンプ周波数を増加させる行動と、
前記第２ポンプ周波数を減少させる行動と、
前記第２熱媒体温度を上昇させる行動と、
前記第２熱媒体温度を低下させる行動と、
を少なくとも含む、請求項１または２に記載の熱源システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、熱源システムを構成する機器を適切に制御することが可能な熱源システムに関する。
【背景技術】
【0002】
例えば、特許文献１には、冷却塔を含む熱源システムが開示されている。かかる技術では、強化学習を利用して冷却塔の運転台数が制御されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－１８３８１６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
熱源システムでは、熱源機と熱負荷設備との間で冷水が冷水ポンプによって循環しており、冷水を冷却する冷却水が熱源機と冷却塔との間で冷却水ポンプによって循環している。熱源システム全体の消費エネルギーを抑制することが望まれているが、熱源システム全体の消費エネルギーを抑制するには、冷水ポンプや冷却水ポンプを適切に制御する必要がある。
【0005】
本発明は、このような課題に鑑み、熱源システムを構成する機器を適切に制御することが可能な熱源システムを提供することを目的としている。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明の熱源システムは、第２熱媒体を用いて第１熱媒体を冷却または加熱して熱負荷設備に供給する熱源機と、熱源機と熱負荷設備との間で第１熱媒体を循環させる第１ポンプと、第２熱媒体の熱交換を行う熱交換器と、熱源機と熱交換器との間で第２熱媒体を循環させる第２ポンプとを含む熱源機補機と、強化学習を用いて熱源機補機の運転を制御する制御装置と、を備え、制御装置は、熱源機補機の運転条件に関する複数種類の状態変数Ｓｔを取得する取得部と、複数種類の状態変数Ｓｔを学習モデルに入力することで、熱源機補機に関する複数種類の行動のうち１つの行動を決定する行動決定部と、決定された行動を実行するように熱源機補機の運転条件を制御する制御部と、制御された運転条件で熱源機補機を運転させた場合における、熱源機および熱源機補機を含む熱源システム全体の消費エネルギーに対する熱負荷を示すシステムＣＯＰを計算するシステムＣＯＰ計算部と、システムＣＯＰの今回値が前回値以上である場合、今回実行された行動が選択され易くなるような報酬に基づいて学習モデルを更新し、システムＣＯＰの今回値が前回値未満である場合、今回実行された行動が選択され難くなるような報酬に基づいて学習モデルを更新する更新部と、を有し、複数種類の状態変数Ｓｔは、第１ポンプを駆動させるモータに電力を供給するインバータの周波数である第１ポンプ周波数と、第２ポンプを駆動させるモータに電力を供給するインバータの周波数である第２ポンプ周波数と、を少なくとも含み、複数種類の行動は、第１ポンプ周波数を増加させる行動と、第１ポンプ周波数を減少させる行動と、第２ポンプ周波数を増加させる行動と、第２ポンプ周波数を減少させる行動と、を少なくとも含む。
【0007】
強化学習は、深層強化学習であり、深層強化学習の入力である複数種類の状態変数Ｓｔと、深層強化学習の出力である、複数種類の行動にそれぞれ対応する複数種類のＱ値との間には、ニューラルネットワークが形成されており、行動決定部は、複数種類の状態変数Ｓｔに、ニューラルネットワークにおける重みＷを乗算することで、複数種類のＱ値をそれぞれ計算するＱ値計算部と、複数種類の行動の中から、計算されたＱ値のうち最も大きいＱ値に対応する行動を選択する行動選択部と、を含み、更新部は、システムＣＯＰの今回値が前回値以上である場合、Ｑ値計算部における重みＷを、今回実行した行動に対応するＱ値が今回値よりも大きくなるような重みＷに更新し、システムＣＯＰの今回値が前回値未満である場合、Ｑ値計算部における重みＷを、今回実行した行動に対応するＱ値が今回値よりも小さくなるような重みＷに更新するようにしてもよい。
【0008】
複数種類の状態変数Ｓｔは、第１ポンプ周波数と、第２ポンプ周波数と、第２熱媒体が熱交換器から送出される出口における第２熱媒体の温度である第２熱媒体温度と、を少なくとも含み、複数種類の行動は、第１ポンプ周波数を増加させる行動と、第１ポンプ周波数を減少させる行動と、第２ポンプ周波数を増加させる行動と、第２ポンプ周波数を減少させる行動と、第２熱媒体温度を上昇させる行動と、第２熱媒体温度を低下させる行動と、を少なくとも含むようにしてもよい。
【発明の効果】
【0009】
本発明によれば、熱源システムを構成する機器を適切に制御することが可能となる。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易にするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【0012】
図１は、本実施形態の熱源システム１の概要を説明する図である。本実施形態の熱源システム１は、熱源機１０、熱負荷設備１２、熱源機補機１４および制御装置１６を備える。熱源機補機１４は、冷水ポンプ２０、冷却塔２２および冷却水ポンプ２４を含む。
【0013】
熱源機１０は、例えば、冷凍機である。熱源機１０は、第１熱媒体である冷水が流通する冷水流路３０を通じて熱負荷設備１２に接続される。冷水ポンプ２０は、冷水流路３０の途中に設けられる。冷水ポンプ２０は、熱源機１０と熱負荷設備１２との間で冷水（第１熱媒体）を循環させる第１ポンプである。
【0014】
冷却塔２２は、第２熱媒体である冷却水が流通する冷却水流路３２を通じて熱源機１０に接続される。冷却水ポンプ２４は、冷却水流路３２の途中に設けられる。冷却水ポンプ２４は、冷却塔２２と熱源機１０との間で冷却水（第２熱媒体）を循環させる第２ポンプである。
【0015】
冷却塔２２は、冷却塔ファン４０およびファンインバータ４２を有する。冷却塔２２は、冷却塔ファン４０の回転に従った冷却水の気化熱によって冷却水を冷却する。ファンインバータ４２は、冷却塔ファン４０に供給する電力の周波数に対応する回転数で冷却塔ファン４０を駆動させる。冷却塔２２は、冷却後の冷却水を、冷却水流路３２を通じて熱源機１０に供給する。つまり、冷却塔２２は、電力を消費して第２熱媒体の熱交換を行う熱交換器である。
【0016】
以後、冷却水（第２熱媒体）が冷却塔２２（熱交換器）から送出される出口における冷却水（第２熱媒体）の温度を、冷却水温度（第２熱媒体温度）という場合がある。換言すると、冷却水温度は、冷却塔２２から熱源機１０に供給する冷却水の温度である。
【0017】
冷却塔２２は、冷却水温度が、制御装置１６から指示された指令値になるように動作する。これを実現するために、ファンインバータ４２は、冷却水温度の指令値を制御装置１６から受信し、冷却水温度が指令値となるような回転数で冷却塔ファン４０を駆動させる。
【0018】
熱源機１０は、冷却塔２２から供給される冷却水を用いて冷水を冷却する。熱源機１０において使用された冷却水は、冷却水流路３２を通じて冷却塔２２に送られ、冷却塔２２により再び冷却される。
【0019】
熱源機１０は、冷却後の冷水を、冷水流路３０を通じて熱負荷設備１２に供給する。熱負荷設備１２は、熱源機１０から供給される冷水と冷却対象との間で熱交換を行って冷却対象を冷却する。熱負荷設備１２において使用された冷水は、冷水流路３０を通じて熱源機１０に送られ、熱源機１０により再び冷却される。
【0020】
熱負荷設備１２は、例えば、空調設備などであるが、冷水と冷却対象との間で熱交換が適切に行われる任意の設備であってもよい。熱負荷である冷凍負荷は、冷水が冷却対象と熱交換することにより消費される熱量を示す。
【0021】
冷水ポンプ２０には、冷水ポンプインバータ４４が電気的に接続される。冷水ポンプインバータ４４は、冷水ポンプ２０を駆動するモータに電力を供給し、供給する電力の周波数に対応する回転数で冷水ポンプ２０を駆動させる。以後、冷水ポンプ２０（第１ポンプ）を駆動するモータに電力を供給する冷水ポンプインバータ４４の周波数を、冷水ポンプ周波数（第１ポンプ周波数）という場合がある。
【0022】
冷却水ポンプ２４には、冷却水ポンプインバータ４６が電気的に接続される。冷却水ポンプインバータ４６は、冷却水ポンプ２４を駆動するモータに電力を供給し、供給する電力の周波数に対応する回転数で冷却水ポンプ２４を駆動させる。以後、冷却水ポンプ２４（第２ポンプ）を駆動するモータに電力を供給する冷却水ポンプインバータ４６の周波数を、冷却水ポンプ周波数（第２ポンプ周波数）という場合がある。
【0023】
熱源システム１において、冷水ポンプ２０（第１ポンプ）、冷却塔２２（熱交換器）および冷却水ポンプ２４（第２ポンプ）は、熱源機１０による熱負荷設備１２への冷水（第１熱媒体）の供給に関与する熱源機補機１４であり、熱源機１０に付帯して設けられる。
【0024】
熱源機１０には、冷水入口５０および冷水出口５２が形成されている。冷水は、冷水入口５０を通じて熱源機１０に送入され、冷水出口５２を通じて熱源機１０から送出される。
【0025】
以後、冷水入口５０における冷水の温度を、冷水入口温度（第１熱媒体入口温度）という場合がある。また、冷水出口５２における冷水の温度を、冷水出口温度（第１熱媒体出口温度）という場合がある。また、冷水入口温度と冷水出口温度との温度差を、冷水温度差（第１熱媒体温度差）という場合がある。また、冷水流路３０を流通する冷水の流量を、冷水流量（第１熱媒体流量）という場合がある。熱負荷設備１２における熱負荷は、冷水温度差と冷水流量とを乗算した値に相当する。また、熱負荷は、熱源機１０の冷凍能力と等しい。
【0026】
熱源システム１は、入口温度センサ６０、出口温度センサ６２および流量センサ６４を備える。入口温度センサ６０は、冷水入口温度を検出する。出口温度センサ６２は、冷水出口温度を検出する。流量センサ６４は、冷水流量を検出する。
【0027】
熱源システム１は、熱源機電力計７０、冷水ポンプ電力計７２、冷却水ポンプ電力計７４、冷却塔電力計７６を備える。熱源機電力計７０は、熱源機１０の消費エネルギー（例えば、消費電力）を測定する。冷水ポンプ電力計７２は、冷水ポンプ２０の消費エネルギー（例えば、消費電力）を測定する。冷却水ポンプ電力計７４は、冷却水ポンプ２４の消費エネルギー（例えば、消費電力）を測定する。冷却塔電力計７６は、冷却塔２２の消費エネルギー（例えば、消費電力）を測定する。
【0028】
制御装置１６は、熱源機１０および熱源機補機１４を制御する。例えば、制御装置１６は、熱源機１０の設定温度に相当する冷水出口温度の指令値により熱源機１０の運転を制御する。
【0029】
後述するが、制御装置１６は、強化学習（より詳細には、深層強化学習）を用いて熱源機１０補機の運転を制御する。例えば、制御装置１６は、冷水ポンプ周波数の指令値により冷水ポンプ２０の運転を制御し、冷却水ポンプ周波数の指令値により冷却水ポンプ２４の運転を制御し、冷却水温度の指令値により冷却塔２２を制御する。このことから、熱源機補機１４の運転条件は、例えば、冷水ポンプ周波数、冷却水ポンプ周波数および冷却水温度がある。
【0030】
制御装置１６は、演算部８０を含む。演算部８０は、中央処理装置およびメモリを含む半導体集積回路から構成されるコンピュータである。メモリは、プログラムが格納されたＲＯＭおよびワークエリアとしてのＲＡＭを含む。演算部８０は、プログラムを実行することで、取得部９０、行動決定部９２、制御部９４、システムＣＯＰ計算部９６および更新部９８としても機能する。また、行動決定部９２は、Ｑ値計算部１００および行動選択部１０２を含む。各機能部については、後に詳述する。
【0031】
図２は、深層強化学習について説明する図である。演算部８０の各機能部は、強化学習の一種である深層強化学習（ＤＱＮ：Deep Q Network）を利用した処理を行う。以下では、まず、深層強化学習の概要を説明し、その後、深層強化学習を本実施形態の熱源システム１に適用した場合について説明する。
【0032】
深層強化学習の入力は、複数種類の状態変数（Ｓｔ）である。図２では、第１状態変数、第２状態変数、第３状態変数、第４状態変数、第５状態変数および第６状態変数の６種類の状態変数（Ｓｔ）を例示している。なお、複数種類の状態変数（Ｓｔ）の数は、６種類に限らず、任意の複数としてもよい。
【0033】
深層強化学習の出力は、複数種類のＱ値である。図２では、第１Ｑ値、第２Ｑ値、第３Ｑ値、第４Ｑ値、第５Ｑ値および第６Ｑ値の６種類のＱ値を例示している。なお、複数種類のＱ値の数は、６種類に限らず、任意の複数としてもよい。
【0034】
複数種類のＱ値は、複数種類の行動（Ａｔ）にそれぞれ対応する。図２では、第１Ｑ値に対応する第１行動、第２Ｑ値に対応する第２行動、第３Ｑ値に対応する第３行動、第４Ｑ値に対応する第４行動、第５Ｑ値に対応する第５行動、および、第６Ｑ値に対応する第６行動の６種類を例示している。なお、Ｑ値は、行動価値関数（Ｑ（Ｓｔ，Ａｔ））と呼ばれることもある。行動価値関数（Ｑ（Ｓｔ，Ａｔ））は、状態変数（Ｓｔ）および行動（Ａｔ）の関数である。
【0035】
深層強化学習の入力である複数種類の状態変数（Ｓｔ）と、深層強化学習の出力である複数種類のＱ値との間には、ニューラルネットワークが形成されている。ニューラルネットワークは、入力を線形変換する処理単位がネットワーク状に結合した数理モデルである。
【0036】
深層強化学習では、ニューラルネットワークにおける経路ごとに「重み（Ｗ）」が設定される。後述するが、深層強化学習では、学習が進むに従って重み（Ｗ）が更新されるため、重み（Ｗ）は、学習モデルに相当する。
【0037】
深層強化学習では、以下の４つのステップが繰り返し行われる。第１ステップでは、現在の状態変数（Ｓｔ）に重みを乗算してそれぞれのＱ値が計算される。第２ステップでは、第１ステップで計算されたＱ値のうち最も大きいＱ値に対応する行動（Ａｔ）が選択され、選択された行動（Ａｔ）が実行される。第３ステップでは、第２ステップで行動（Ａｔ）を行ったことによる結果が評価される。第４ステップでは、第３ステップの評価を受けて重み（Ｗ）が更新される。
【0038】
本実施形態において、入力である複数種類の状態変数（Ｓｔ）は、熱源機補機１４の運転条件に関連して設定される。例えば、第１状態変数は、冷水ポンプ周波数に設定され、第２状態変数は、冷水ポンプ周波数差に設定され、第３状態変数は、冷却水ポンプ周波数に設定され、第４状態変数は、冷却水ポンプ周波数差に設定され、第５状態変数は、冷却水温度に設定され、第６状態変数は、冷却水温度差に設定される。
【0039】
なお、例示した６つの運転条件の全てが、複数種類の状態変数（Ｓｔ）として設定される態様に限らない。例えば、冷水ポンプ周波数差、冷却水ポンプ周波数差および冷却水温度差が省略され、冷水ポンプ周波数、冷却水ポンプ周波数および冷却水温度が、複数種類の状態変数（Ｓｔ）に設定されてもよい。また、例えば、冷却水温度、冷水ポンプ周波数差、冷却水ポンプ周波数差および冷却水温度差が省略され、冷水ポンプ周波数および冷却水ポンプ周波数が、複数種類の状態変数（Ｓｔ）に設定されてもよい。また、例示した運転条件以外の他の運転条件を、複数種類の状態変数（Ｓｔ）として含むように設定されてもよい。
【0040】
冷水ポンプ周波数差は、今回の冷水ポンプ周波数と前回の冷水ポンプ周波数との差分値である。冷却水ポンプ周波数差は、今回の冷却水ポンプ周波数と前回の冷却水ポンプ周波数との差分値である。冷却水温度差は、今回の冷却水温度と前回の冷却水温度との差分値である。
【0041】
また、複数種類の行動（Ａｔ）は、熱源機補機１４に関する行動、すなわち、熱源機補機１４の運転条件の少なくともいずれかを変更させる行動に設定される。例えば、第１行動は、「冷水ポンプ周波数を増加させる行動」に設定される。第２行動は、「冷水ポンプ周波数を減少させる行動」に設定される。第３行動は、「冷却水ポンプ周波数を増加させる行動」に設定される。第４行動は、「冷却水ポンプ周波数を減少させる行動」に設定される。第５行動は、「冷却水温度を上昇させる行動」に設定される。第６行動は、「冷却水温度を低下させる行動」に設定される。
【0042】
これらより、第１Ｑ値は、「冷水ポンプ周波数を増加させる行動」に対応するＱ値である。第２Ｑ値は、「冷水ポンプ周波数を減少させる行動」に対応するＱ値である。第３Ｑ値は、「冷却水ポンプ周波数を増加させる行動」に対応するＱ値である。第４Ｑ値は、「冷却水ポンプ周波数を減少させる行動」に対応するＱ値である。第５Ｑ値は、「冷却水温度を上昇させる行動」に対応するＱ値である。第６Ｑ値は、「冷却水温度を低下させる行動」に対応するＱ値である。
【0043】
なお、例示した６つの行動の全てが、複数種類の行動（Ａｔ）として設定される態様に限らない。例えば、「冷却水温度を上昇させる行動」および「冷却水温度を低下させる行動」が省略され、「冷水ポンプ周波数を増加させる行動」、「冷水ポンプ周波数を減少させる行動」、「冷却水ポンプ周波数を増加させる行動」および「冷却水ポンプ周波数を減少させる行動」が複数種類のＱ値にそれぞれ対応付けられてもよい。また、例示した行動以外の他の行動が、複数種類のＱ値に対応付けられるようにしてもよい。
【0044】
「冷水ポンプ周波数を増加させる行動」における冷水ポンプ周波数の増加量、および、「冷水ポンプ周波数を減少させる行動」における冷水ポンプ周波数の減少量は、予め設定される。「冷却水ポンプ周波数を増加させる行動」における冷却水ポンプ周波数の増加量、および、「冷却水ポンプ周波数を減少させる行動」における冷却水ポンプ周波数の減少量は、予め設定される。「冷却水温度を上昇させる行動」における冷却水温度の上昇量、および、「冷却水温度を低下させる行動」における冷却水温度の低下量は、予め設定される。
【0045】
取得部９０は、熱源機補機１４の運転条件に関する複数種類の状態変数（Ｓｔ）の今回値を取得する。例えば、取得部９０は、冷水ポンプ周波数の今回値、冷却水ポンプ周波数の今回値、冷却水温度の今回値、冷水ポンプ周波数差の今回値、冷却水ポンプ周波数差の今回値および冷却水温度差の今回値を取得する。
【0046】
行動決定部９２は、複数種類の状態変数（Ｓｔ）の今回値を学習モデルに入力することで、熱源機補機１４に関する複数種類の行動（Ａｔ）のうち１つの行動を決定する。
【0047】
より詳細には、行動決定部９２のＱ値計算部１００は、例えば、多層パーセプトロンのように構成されており、複数種類の状態変数（Ｓｔ）に、ニューラルネットワークにおける重み（Ｗ）を乗算することで、複数種類のＱ値をそれぞれ計算する。なお、多層パーセプトロンは、複数の入力にそれぞれ重みを乗算し、それらを加算し、クラスを判定するという流れの識別器のことである。
【0048】
例えば、図２のように、入力層と出力層との間に、第１中間層から第ｎ中間層までの複数の中間層があるとする。なお、ｎは、任意の正の整数とする。各中間層には、図２中の丸印で示すように、複数のノードがあるとする。
【0049】
Ｑ値計算部１００は、第１状態変数に、第１状態変数と第１中間層の第１ノードとの間の重みを乗算する。Ｑ値計算部１００は、第２状態変数に、第２状態変数と第１中間層の第１ノードとの間の重みを乗算する。同様に、Ｑ値計算部１００は、第３状態変数、第４状態変数、第５状態変数および第６状態変数についても、それらの状態変数と第１中間層の第１ノードとの間の重みを乗算する。Ｑ値計算部１００は、各状態変数に重みを乗算した結果を合計して、第１中間層の第１ノードに対応する値を導出する。Ｑ値計算部１００は、この計算を第１中間層の他のノードについても行うことで、第１中間層の各ノードに対応する値を導出する。
【0050】
Ｑ値計算部１００は、第１中間層の各ノードの値を入力とみなして、第１中間層のときと同様にして、次の中間層の各ノードに対応する値を導出する。Ｑ値計算部１００は、これを第ｎ中間層まで順に行う。
【0051】
Ｑ値計算部１００は、第ｎ中間層の各ノードの値を入力とみなして、第ｎ中間層の第１ノードの値に、第ｎ中間層の第１ノードと第１Ｑ値との間の重みを乗算する。Ｑ値計算部１００は、第ｎ中間層の第２ノードの値に、第ｎ中間層の第２ノードと第１Ｑ値との間の重みを乗算する。同様に、Ｑ値計算部１００は、第ｎ中間層の他のノードについても、それら第ｎ中間層の他のノードと第１Ｑ値との間の重みを乗算する。Ｑ値計算部１００は、第ｎ中間層の各ノードの値に重みを乗算した結果を合計して、第１Ｑ値を導出する。Ｑ値計算部１００は、第１Ｑ値と同様の計算を他のＱ値についても行う。これにより、複数種類のＱ値が導出される。
【0052】
行動決定部９２の行動選択部１０２は、複数種類の行動の中から、Ｑ値計算部１００で計算された複数種類のＱ値のうち最も大きいＱ値に対応する行動を選択する。以後、複数種類のＱ値のうち最も大きいＱ値を、最大Ｑ値という場合がある。
【0053】
制御部９４は、選択された行動を実行するように熱源機補機１４の運転条件を制御する。
【0054】
例えば、Ｑ値計算部１００は、第１Ｑ値が「１」であり、他のＱ値が「０」であるような結果を導出したとする。この場合、第１Ｑ値が最大Ｑ値となる。行動選択部１０２は、最大Ｑ値である第１Ｑ値に対応する第１行動を選択する。第１行動は、「冷水ポンプ周波数を増加させる行動」であるため、制御部９４は、「冷水ポンプ周波数を増加させる行動」を実行するように熱源機補機１４の運転条件を制御する。例えば、制御部９４は、冷水ポンプ周波数の指令値を、現在の冷水ポンプ周波数から所定周波数分だけ増加させた値に更新し、更新した指令値を冷水ポンプインバータ４４に送信する。冷水ポンプインバータ４４は、更新された指令値に従って、冷水ポンプ２０のモータに供給する電力の周波数を変更する。これにより、冷水ポンプ２０の回転数が増加され、熱負荷設備１２に供給される冷水の流量が多くなる。
【0055】
システムＣＯＰ計算部９６は、制御された運転条件で熱源機１０および熱源機補機１４を運転させた場合におけるシステムＣＯＰを計算する。システムＣＯＰの計算は、深層強化学習における第３ステップの結果の評価に対応する。なお、ＣＯＰ（Coefficient Of Performance）は、成績係数を示す。
【0056】
ここで、システムＣＯＰは、以下の式（１）で示すように、熱源機１０および熱源機補機１４を含む熱源システム１全体の消費エネルギー（消費電力（ｋＷ））に対する、熱負荷設備１２における熱負荷（ｋＷ）の比率である。熱源システム１全体の消費エネルギー（消費電力）は、熱源機１０の消費エネルギー（消費電力）と熱源機補機１４の消費エネルギー（消費電力）とを加算したエネルギー（電力）である。
システムＣＯＰ＝熱負荷／（熱源機の消費エネルギー＋熱源機補機の消費エネルギー）
・・・（１）
システムＣＯＰ＝熱負荷／（熱源機の消費エネルギー＋熱源機補機の消費エネルギー）
・・・（１）
【0057】
また、熱源機補機１４の消費エネルギー（消費電力）は、熱源機補機１４を構成する個々の機器の消費電力を合計したエネルギー（電力）である。例えば、熱源機補機１４の消費電力は、冷水ポンプ２０の消費電力と、冷却水ポンプ２４の消費電力と、冷却塔２２の消費電力とを合計した電力である。
【0058】
システムＣＯＰ計算部９６は、入口温度センサ６０により検出された冷水入口温度を取得し、出口温度センサ６２により検出された冷水出口温度を取得し、流量センサにより検出された冷水流量を取得する。システムＣＯＰ計算部９６は、冷水入口温度から冷水出口温度を減算して冷水温度差を導出する。システムＣＯＰ計算部９６は、冷水温度差と冷水流量とを乗算して熱負荷を導出する。
【0059】
システムＣＯＰ計算部９６は、熱源機電力計７０により測定された熱源機１０の消費エネルギーを取得する。システムＣＯＰ計算部９６は、冷水ポンプ電力計７２により測定された冷水ポンプ２０の消費電力を取得し、冷却水ポンプ電力計７４により測定された冷却水ポンプ２４の消費電力を取得し、冷却塔電力計７６により測定された冷却塔２２の消費電力を取得する。システムＣＯＰ計算部９６は、熱源機１０の消費エネルギー、冷水ポンプ２０の消費電力、冷却水ポンプ２４の消費電力および冷却塔２２の消費電力を合計して熱源システム１全体の消費電を導出する。システムＣＯＰ計算部９６は、熱負荷を熱源システム１全体の消費電力で除算してシステムＣＯＰを導出する。
【0060】
更新部９８は、システムＣＯＰの今回値が前回値以上である場合、Ｑ値計算部における重み（Ｗ）を、今回実行した行動に対応するＱ値が今回値よりも大きくなるような重み（Ｗ）に更新する。これは、今回の行動が選択され易くなるような報酬に基づいて学習モデルを更新することに相当する。
【0061】
例えば、上述のように、第１Ｑ値が「１」となって最大Ｑ値となり、制御部９４により第１行動である「冷水ポンプ周波数を増加させる行動」が実行されたとする。この場合、更新部９８は、次回の重み（Ｗ）を、今回実行した「冷水ポンプ周波数を増加させる行動」に対応する第１Ｑ値が今回の「１」よりも大きい、例えば、「１．２」などになるような重み（Ｗ）に更新する。つまり、この例において、更新部９８は、第１Ｑ値を「１」から「１．２」に変更した場合に、第１Ｑ値に関して、「状態変数（Ｓｔ）の今回値×重み（Ｗ）＝１．２」が成り立つような重み（Ｗ）に変更する。また、この例において、報酬は、「＋０．２」である。
【0062】
なお、Ｑ値に加点する値が「０．２」（換言すると、報酬の量が「＋０．２」）である例を説明したが、Ｑ値に加点する値は、この例に限らない。Ｑ値に加点する値は、深層強化学習の特定のパラメータを予め設定することで、任意の値に設定することができる。
【0063】
一方、更新部９８は、システムＣＯＰの今回値が前回値未満である場合、Ｑ値計算部１００における重み（Ｗ）を、今回実行した行動に対応するＱ値が今回値よりも小さくなるような重み（Ｗ）に更新する。これは、今回の行動が選択され難くなるような報酬に基づいて学習モデルを更新することに相当する。
【0064】
例えば、上述のように、第１Ｑ値が「１」となって最大Ｑ値となり、制御部９４により第１行動である「冷水ポンプ周波数を増加させる行動」が実行されたとする。この場合、更新部９８は、次回の重み（Ｗ）を、今回実行した「冷水ポンプ周波数を増加させる行動」に対応する第１Ｑ値が今回の「１」よりも小さい、例えば、「０．８」などになるような重み（Ｗ）に更新する。つまり、この例において、更新部９８は、第１Ｑ値を「１」から「０．８」に変更した場合に、第１Ｑ値に関して、「状態変数（Ｓｔ）の今回値×重み（Ｗ）＝０．８」が成り立つような重み（Ｗ）に変更する。また、この例において、報酬は、「－０．２」である。
【0065】
なお、Ｑ値から減点する値が「０．２」（換言すると、報酬の量が「－０．２」）である例を説明したが、Ｑ値から減点する値は、この例に限らない。Ｑ値から減点する値は、深層強化学習の特定のパラメータを予め設定することで、任意の値に設定することができる。
【0066】
図３は、演算部８０の動作の流れを説明するフローチャートである。演算部８０は、所定周期で訪れる所定の割込みタイミングが到来するごとに、図３の一連の処理を繰り返し実行する。所定周期は、例えば、１０分などであるが、この例に限らず、任意の時間に設定されてもよい。
【0067】
なお、「今回」は、所定周期で繰り返し訪れる所定の割込みタイミングのうち最新の所定の割込みタイミングの到来により実行される一連の処理の実行タイミングを示す。「前回」は、「今回」の実行タイミングよりも１つ前の所定の割込みタイミングの到来により実行された一連の処理の実行タイミングを示す。「次回」は、「今回」の実行タイミングの１つ次の所定の割込みタイミングの到来により実行される一連の処理の実行タイミングを示す。
【0068】
所定の割込みタイミングが到来すると、取得部９０は、それぞれの状態変数（Ｓｔ）の今回値を取得する（Ｓ１０）。次に、取得部９０は、ニューラルネットワークにおける現在の重み（Ｗ）を取得する（Ｓ１１）。
【0069】
次に、Ｑ値計算部１００は、取得したそれぞれの状態変数（Ｓｔ）の今回値と重み（Ｗ）とに基づいて、それぞれのＱ値を計算する（Ｓ１２）。
【0070】
次に、行動選択部１０２は、Ｑ値計算部１００により計算された複数種類のＱ値のうち最大Ｑ値を選定する（Ｓ１３）。行動選択部１０２は、選定した最大Ｑ値に対応する行動を選択する（Ｓ１４）。制御部９４は、行動選択部１０２により決定された行動を実行する（Ｓ１５）。
【0071】
制御部９４により行動が実行された後、システムＣＯＰ計算部９６は、システムＣＯＰを計算する（Ｓ１６）。
【0072】
次に、更新部９８は、システムＣＯＰ計算部９６により計算された今回のシステムＣＯＰが、前回のシステムＣＯＰ以上であるか否かを判定する（Ｓ１７）。
【0073】
今回のシステムＣＯＰが前回のシステムＣＯＰ以上である場合（Ｓ１７におけるＹＥＳ）、更新部９８は、最大Ｑ値として今回選定されたＱ値が大きくなるように重み（Ｗ）を更新し（Ｓ１８）、今回の一連の処理を終了する。
【0074】
今回のシステムＣＯＰが前回のシステムＣＯＰ未満である場合（Ｓ１７におけるＮＯ）、更新部９８は、最大Ｑ値として今回選定されたＱ値が小さくなるように重み（Ｗ）を更新し（Ｓ１９）、今回の一連の処理を終了する。
【0075】
熱源システム１では、重み（Ｗ）が更新されることで、次回のＱ値の計算において、更新された重み（Ｗ）に基づいてＱ値が計算されることになる。
【0076】
例えば、「冷水ポンプ周波数を増加させる行動」に対応する第１Ｑ値が加点されるような重み（Ｗ）に更新された場合、次回のＱ値の計算において、「冷水ポンプ周波数を増加させる行動」に対応する第１Ｑ値が最大Ｑ値になる確率が上昇する。逆に、「冷水ポンプ周波数を増加させる行動」に対応する第１Ｑ値が減点されるような重み（Ｗ）に更新された場合、次回のＱ値の計算において、「冷水ポンプ周波数を増加させる行動」に対応する第１Ｑ値が最大Ｑ値になる確率が低下する。
【0077】
このようにして、制御装置１６は、熱源機補機１４の運転と、熱源機補機１４の運転条件の学習の進行とを並行して行う。そして、制御装置１６は、システムＣＯＰが過去の値よりも高くなるように、熱源機補機１４の運転条件をリアルタイムに更新する。なお、制御装置１６は、熱源機補機の運転条件を更新するに伴って熱源機１０の運転条件を変更してもよい。
【0078】
図４は、実験結果の一例を示す図である。図４の一点鎖線Ａ１０は、熱負荷（冷凍負荷）を一定とし、熱源機１０の消費電力の時間推移を測定した一例を示す。図４の実線Ａ１２は、熱負荷（冷凍負荷）を一定とし、熱源機１０の消費電力と熱源機補機１４の消費電力とを合計したシステム全体の消費電力の時間推移を測定した一例を示す。図４の横軸は、熱源機補機１４の運転条件の学習を開始した時点を０とし、当該学習の開始時点からの経過時間を示す。
【0079】
図４で示すように、熱源機１０の消費電力およびシステム全体の消費電力の両方において、時間が経過するに従って、消費電力が徐々に低下していき、消費電力が比較的低い状態で維持されている。すなわち、熱源システム１では、システムＣＯＰが高くなるように熱源機補機１４の運転条件を学習しつつ熱源機補機１４を運転させることで、熱源システム１全体の消費電力を抑制することができる。
【0080】
以上のように、本実施形態の熱源システム１では、複数種類の状態変数（Ｓｔ）を学習モデルに入力することで、複数種類の行動のうち１つの行動が決定される。本実施形態の熱源システム１では、決定された行動を実行するように熱源機補機１４が運転され、その場合におけるシステムＣＯＰが計算される。本実施形態の熱源システム１では、システムＣＯＰの今回値が前回値以上である場合、今回実行された行動が選択され易くなるような報酬に基づいて学習モデルが更新され、システムＣＯＰの今回値が前回値未満である場合、今回実行された行動が選択され難くなるような報酬に基づいて学習モデルが更新される。
【0081】
このように、本実施形態の熱源システム１では、システムＣＯＰが過去の値よりも高くなるように学習モデルが更新されることで、更新された学習モデルに従って、熱源機補機１４の運転条件が、熱源システム１全体の消費電力が最も低くなるような運転条件に更新される。
【0082】
したがって、本実施形態の熱源システム１によれば、熱源システム１を構成する機器を適切に制御することが可能となり、熱源システム１全体の消費電力を抑制することができる。
【0083】
また、例えば、教師データを必要とする一般的な機械学習を熱源システムに適用した場合、熱源システムをあらゆる運転条件で運転させて教師データを取得することが行われる。このような教師データの取得には、時間を要するため、機械学習を適用した最適な運転を行える期間が短くなってしまう。
【0084】
これに対し、本実施形態の熱源システム１では、教師データが必要ない強化学習（より詳細には、深層強化学習）を利用しているため、教師データを取得するために熱源システム１の運転を行わなくてもよく、システムＣＯＰが高い最適な運転を、早期に、かつ、長期間実現することができる。
【0085】
また、本実施形態の熱源システム１では、深層強化学習が用いられている。本実施形態の熱源システム１では、システムＣＯＰの今回値が前回値以上である場合、重み（Ｗ）が、今回実行した行動に対応するＱ値が今回値よりも大きくなるような重み（Ｗ）に更新され、システムＣＯＰの今回値が前回値未満である場合、重み（Ｗ）が、今回実行した行動に対応するＱ値が今回値よりも小さくなるような重み（Ｗ）に更新される。
【0086】
これにより、本実施形態の熱源システム１では、熱源システム１を構成する機器を、より適切に制御することが可能となり、熱源システム１全体の消費電力を、より抑制することができる。
【0087】
また、本実施形態の熱源システム１において、複数種類の状態変数（Ｓｔ）は、第１ポンプ周波数と、第２ポンプ周波数と、第２熱媒体温度とを少なくとも含む。本実施形態の熱源システム１において、複数種類の行動は、第１ポンプ周波数を増加させる行動と、第１ポンプ周波数を減少させる行動と、第２ポンプ周波数を増加させる行動と、第２ポンプ周波数を減少させる行動と、第２熱媒体温度を上昇させる行動と、第２熱媒体温度を低下させる行動とを少なくとも含む。
【0088】
これにより、本実施形態の熱源システム１では、熱源システム１を構成する機器を、より適切に制御することが可能となり、熱源システム１全体の消費電力を、より抑制することができる。
【0089】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【0090】
例えば、上記実施形態の熱源システム１では、冷水流路３０に冷水ポンプ２０が１つだけ設けられていた。しかし、例えば、熱源機１０で冷却された冷水を熱負荷設備１２に供給する冷水１次ポンプ（１次第１ポンプ）と、熱負荷設備１２で使用された冷水を熱源機１０に供給する冷水２次ポンプ（２次第１ポンプ）との２つの冷水ポンプ２０が設けられてもよい。この場合、冷水１次ポンプを駆動させるモータに電力を供給するインバータの周波数である冷水１次ポンプ周波数（１次第１ポンプ周波数）と、冷水２次ポンプを駆動させるモータに電力を供給するインバータの周波数である冷水２次ポンプ周波数（２次第１ポンプ周波数）とを別々に取り扱ってもよい。例えば、状態変数（Ｓｔ）として、冷水１次ポンプ周波数と、冷水２次ポンプ周波数とを含んでもよい。また、行動（Ａｔ）として、冷水１次ポンプ周波数を増加させる行動と、冷水１次ポンプ周波数を減少させる行動と、冷水２次ポンプ周波数を増加させる行動と、冷水２次ポンプ周波数を減少させる行動とを含んでもよい。
【0091】
上記実施形態において、熱源機１０は、ターボ冷凍機、スクリューチラー、吸収式冷凍機など、各種の冷凍機であってもよい。
【0092】
また、第１熱媒体は、冷水に限らず、第２熱媒体は、冷却水に限らない。例えば、第１熱媒体および第２熱媒体は、それぞれ温水や熱水などであってもよい。
【0093】
また、熱源機１０は、各種の冷凍機に限らず、例えば、第２熱媒体を用いて第１熱媒体を加熱して（温水や熱水を生成して）熱負荷設備に供給する熱源機であってもよい。このような熱源機としては、例えば、熱回収ヒートポンプや吸収式で温水を生成する熱源機などが挙げられる。
【符号の説明】
【0094】
１ 熱源システム
１０ 熱源機
１２ 熱負荷設備
１４ 熱源機補機
１６ 制御装置
２０ 冷水ポンプ
２２ 冷却塔
２４ 冷却水ポンプ
９０ 取得部
９２ 行動決定部
９４ 制御部
９６ システムＣＯＰ計算部
９８ 更新部
１００ Ｑ値計算部
１０２ 行動選択部
１０ 熱源機
１２ 熱負荷設備
１４ 熱源機補機
１６ 制御装置
２０ 冷水ポンプ
２２ 冷却塔
２４ 冷却水ポンプ
９０ 取得部
９２ 行動決定部
９４ 制御部
９６ システムＣＯＰ計算部
９８ 更新部
１００ Ｑ値計算部
１０２ 行動選択部
【図1】
【図2】
【図3】
【図4】
【手続補正書】
【提出日】2023-11-01
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
第２熱媒体を用いて第１熱媒体を冷却または加熱して熱負荷設備に供給する熱源機と、
前記熱源機と前記熱負荷設備との間で前記第１熱媒体を循環させる第１ポンプと、前記第２熱媒体の熱交換を行う熱交換器と、前記熱源機と前記熱交換器との間で前記第２熱媒体を循環させる第２ポンプとを含む熱源機補機と、
深層強化学習を用いて前記熱源機補機の運転を制御する制御装置と、
を備え、
前記深層強化学習の入力である、前記熱源機補機の運転条件に関する複数種類の状態変数Ｓｔと、前記深層強化学習の出力である、前記熱源機補機に関する複数種類の行動にそれぞれ対応する複数種類のＱ値との間には、ニューラルネットワークが形成されており、
前記制御装置は、
前記複数種類の状態変数Ｓｔを取得する取得部と、
前記複数種類の状態変数Ｓｔを学習モデルに入力することで、前記複数種類の行動のうち１つの行動を決定する行動決定部と、
前記決定された行動を実行するように前記熱源機補機の運転条件を制御する制御部と、
前記制御された運転条件で前記熱源機補機を運転させた場合における、前記熱源機および前記熱源機補機を含む熱源システム全体の消費エネルギーに対する熱負荷を示すシステムＣＯＰを計算するシステムＣＯＰ計算部と、
更新部と、
を有し、
前記行動決定部は、
前記複数種類の状態変数Ｓｔに、前記ニューラルネットワークにおける重みＷを乗算することで、前記複数種類のＱ値をそれぞれ計算するＱ値計算部と、
前記複数種類の行動の中から、前記計算されたＱ値のうち最も大きいＱ値に対応する行動を選択する行動選択部と、
を含み、
前記更新部は、
前記システムＣＯＰの今回値が前回値以上である場合、前記Ｑ値計算部における重みＷを、今回実行された行動が選択され易くなるような報酬に基づく重みＷであって、今回実行された行動に対応するＱ値が今回値よりも大きくなるような重みＷに更新することで前記学習モデルを更新し、
前記システムＣＯＰの今回値が前回値未満である場合、前記Ｑ値計算部における重みＷを、今回実行された行動が選択され難くなるような報酬に基づく重みＷであって、今回実行された行動に対応するＱ値が今回値よりも小さくなるような重みＷに更新することで前記学習モデルを更新し、
前記複数種類の状態変数Ｓｔは、
前記第１ポンプを駆動させるモータに電力を供給するインバータの周波数である第１ポンプ周波数と、
前記第２ポンプを駆動させるモータに電力を供給するインバータの周波数である第２ポンプ周波数と、
を少なくとも含み、
前記複数種類の行動は、
前記第１ポンプ周波数を増加させる行動と、
前記第１ポンプ周波数を減少させる行動と、
前記第２ポンプ周波数を増加させる行動と、
前記第２ポンプ周波数を減少させる行動と、
を少なくとも含む、熱源システム。
前記熱源機と前記熱負荷設備との間で前記第１熱媒体を循環させる第１ポンプと、前記第２熱媒体の熱交換を行う熱交換器と、前記熱源機と前記熱交換器との間で前記第２熱媒体を循環させる第２ポンプとを含む熱源機補機と、
深層強化学習を用いて前記熱源機補機の運転を制御する制御装置と、
を備え、
前記深層強化学習の入力である、前記熱源機補機の運転条件に関する複数種類の状態変数Ｓｔと、前記深層強化学習の出力である、前記熱源機補機に関する複数種類の行動にそれぞれ対応する複数種類のＱ値との間には、ニューラルネットワークが形成されており、
前記制御装置は、
前記複数種類の状態変数Ｓｔを取得する取得部と、
前記複数種類の状態変数Ｓｔを学習モデルに入力することで、前記複数種類の行動のうち１つの行動を決定する行動決定部と、
前記決定された行動を実行するように前記熱源機補機の運転条件を制御する制御部と、
前記制御された運転条件で前記熱源機補機を運転させた場合における、前記熱源機および前記熱源機補機を含む熱源システム全体の消費エネルギーに対する熱負荷を示すシステムＣＯＰを計算するシステムＣＯＰ計算部と、
更新部と、
を有し、
前記行動決定部は、
前記複数種類の状態変数Ｓｔに、前記ニューラルネットワークにおける重みＷを乗算することで、前記複数種類のＱ値をそれぞれ計算するＱ値計算部と、
前記複数種類の行動の中から、前記計算されたＱ値のうち最も大きいＱ値に対応する行動を選択する行動選択部と、
を含み、
前記更新部は、
前記システムＣＯＰの今回値が前回値以上である場合、前記Ｑ値計算部における重みＷを、今回実行された行動が選択され易くなるような報酬に基づく重みＷであって、今回実行された行動に対応するＱ値が今回値よりも大きくなるような重みＷに更新することで前記学習モデルを更新し、
前記システムＣＯＰの今回値が前回値未満である場合、前記Ｑ値計算部における重みＷを、今回実行された行動が選択され難くなるような報酬に基づく重みＷであって、今回実行された行動に対応するＱ値が今回値よりも小さくなるような重みＷに更新することで前記学習モデルを更新し、
前記複数種類の状態変数Ｓｔは、
前記第１ポンプを駆動させるモータに電力を供給するインバータの周波数である第１ポンプ周波数と、
前記第２ポンプを駆動させるモータに電力を供給するインバータの周波数である第２ポンプ周波数と、
を少なくとも含み、
前記複数種類の行動は、
前記第１ポンプ周波数を増加させる行動と、
前記第１ポンプ周波数を減少させる行動と、
前記第２ポンプ周波数を増加させる行動と、
前記第２ポンプ周波数を減少させる行動と、
を少なくとも含む、熱源システム。
【請求項2】
第２熱媒体を用いて第１熱媒体を冷却または加熱して熱負荷設備に供給する熱源機と、
前記熱源機と前記熱負荷設備との間で前記第１熱媒体を循環させる第１ポンプと、前記第２熱媒体の熱交換を行う熱交換器と、前記熱源機と前記熱交換器との間で前記第２熱媒体を循環させる第２ポンプとを含む熱源機補機と、
強化学習を用いて前記熱源機補機の運転を制御する制御装置と、
を備え、
前記制御装置は、
前記熱源機補機の運転条件に関する複数種類の状態変数Ｓｔを取得する取得部と、
前記複数種類の状態変数Ｓｔを学習モデルに入力することで、前記熱源機補機に関する複数種類の行動のうち１つの行動を決定する行動決定部と、
前記決定された行動を実行するように前記熱源機補機の運転条件を制御する制御部と、
前記制御された運転条件で前記熱源機補機を運転させた場合における、前記熱源機および前記熱源機補機を含む熱源システム全体の消費エネルギーに対する熱負荷を示すシステムＣＯＰを計算するシステムＣＯＰ計算部と、
前記システムＣＯＰの今回値が前回値以上である場合、今回実行された行動が選択され易くなるような報酬に基づいて前記学習モデルを更新し、前記システムＣＯＰの今回値が前回値未満である場合、今回実行された行動が選択され難くなるような報酬に基づいて前記学習モデルを更新する更新部と、
を有し、
前記複数種類の状態変数Ｓｔは、
前記第１ポンプを駆動させるモータに電力を供給するインバータの周波数である第１ポンプ周波数と、
前記第２ポンプを駆動させるモータに電力を供給するインバータの周波数である第２ポンプ周波数と、
を少なくとも含み、
前記複数種類の行動は、
前記第１ポンプ周波数を増加させる行動と、
前記第１ポンプ周波数を減少させる行動と、
前記第２ポンプ周波数を増加させる行動と、
前記第２ポンプ周波数を減少させる行動と、
を少なくとも含む、熱源システム。
前記熱源機と前記熱負荷設備との間で前記第１熱媒体を循環させる第１ポンプと、前記第２熱媒体の熱交換を行う熱交換器と、前記熱源機と前記熱交換器との間で前記第２熱媒体を循環させる第２ポンプとを含む熱源機補機と、
強化学習を用いて前記熱源機補機の運転を制御する制御装置と、
を備え、
前記制御装置は、
前記熱源機補機の運転条件に関する複数種類の状態変数Ｓｔを取得する取得部と、
前記複数種類の状態変数Ｓｔを学習モデルに入力することで、前記熱源機補機に関する複数種類の行動のうち１つの行動を決定する行動決定部と、
前記決定された行動を実行するように前記熱源機補機の運転条件を制御する制御部と、
前記制御された運転条件で前記熱源機補機を運転させた場合における、前記熱源機および前記熱源機補機を含む熱源システム全体の消費エネルギーに対する熱負荷を示すシステムＣＯＰを計算するシステムＣＯＰ計算部と、
前記システムＣＯＰの今回値が前回値以上である場合、今回実行された行動が選択され易くなるような報酬に基づいて前記学習モデルを更新し、前記システムＣＯＰの今回値が前回値未満である場合、今回実行された行動が選択され難くなるような報酬に基づいて前記学習モデルを更新する更新部と、
を有し、
前記複数種類の状態変数Ｓｔは、
前記第１ポンプを駆動させるモータに電力を供給するインバータの周波数である第１ポンプ周波数と、
前記第２ポンプを駆動させるモータに電力を供給するインバータの周波数である第２ポンプ周波数と、
を少なくとも含み、
前記複数種類の行動は、
前記第１ポンプ周波数を増加させる行動と、
前記第１ポンプ周波数を減少させる行動と、
前記第２ポンプ周波数を増加させる行動と、
前記第２ポンプ周波数を減少させる行動と、
を少なくとも含む、熱源システム。
【請求項3】
前記強化学習は、深層強化学習であり、
前記深層強化学習の入力である前記複数種類の状態変数Ｓｔと、前記深層強化学習の出力である、前記複数種類の行動にそれぞれ対応する複数種類のＱ値との間には、ニューラルネットワークが形成されており、
前記行動決定部は、
前記複数種類の状態変数Ｓｔに、前記ニューラルネットワークにおける重みＷを乗算することで、前記複数種類のＱ値をそれぞれ計算するＱ値計算部と、
前記複数種類の行動の中から、前記計算されたＱ値のうち最も大きいＱ値に対応する行動を選択する行動選択部と、
を含み、
前記更新部は、
前記システムＣＯＰの今回値が前回値以上である場合、前記Ｑ値計算部における重みＷを、今回実行した行動に対応するＱ値が今回値よりも大きくなるような重みＷに更新し、
前記システムＣＯＰの今回値が前回値未満である場合、前記Ｑ値計算部における重みＷを、今回実行した行動に対応するＱ値が今回値よりも小さくなるような重みＷに更新する、
請求項２に記載の熱源システム。
前記深層強化学習の入力である前記複数種類の状態変数Ｓｔと、前記深層強化学習の出力である、前記複数種類の行動にそれぞれ対応する複数種類のＱ値との間には、ニューラルネットワークが形成されており、
前記行動決定部は、
前記複数種類の状態変数Ｓｔに、前記ニューラルネットワークにおける重みＷを乗算することで、前記複数種類のＱ値をそれぞれ計算するＱ値計算部と、
前記複数種類の行動の中から、前記計算されたＱ値のうち最も大きいＱ値に対応する行動を選択する行動選択部と、
を含み、
前記更新部は、
前記システムＣＯＰの今回値が前回値以上である場合、前記Ｑ値計算部における重みＷを、今回実行した行動に対応するＱ値が今回値よりも大きくなるような重みＷに更新し、
前記システムＣＯＰの今回値が前回値未満である場合、前記Ｑ値計算部における重みＷを、今回実行した行動に対応するＱ値が今回値よりも小さくなるような重みＷに更新する、
請求項２に記載の熱源システム。
【請求項4】
前記複数種類の状態変数Ｓｔは、
前記第１ポンプ周波数と、
前記第２ポンプ周波数と、
前記第２熱媒体が前記熱交換器から送出される出口における前記第２熱媒体の温度である第２熱媒体温度と、
を少なくとも含み、
前記複数種類の行動は、
前記第１ポンプ周波数を増加させる行動と、
前記第１ポンプ周波数を減少させる行動と、
前記第２ポンプ周波数を増加させる行動と、
前記第２ポンプ周波数を減少させる行動と、
前記第２熱媒体温度を上昇させる行動と、
前記第２熱媒体温度を低下させる行動と、
を少なくとも含む、請求項１から３のいずれか１項に記載の熱源システム。
前記第１ポンプ周波数と、
前記第２ポンプ周波数と、
前記第２熱媒体が前記熱交換器から送出される出口における前記第２熱媒体の温度である第２熱媒体温度と、
を少なくとも含み、
前記複数種類の行動は、
前記第１ポンプ周波数を増加させる行動と、
前記第１ポンプ周波数を減少させる行動と、
前記第２ポンプ周波数を増加させる行動と、
前記第２ポンプ周波数を減少させる行動と、
前記第２熱媒体温度を上昇させる行動と、
前記第２熱媒体温度を低下させる行動と、
を少なくとも含む、請求項１から３のいずれか１項に記載の熱源システム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【0006】
上記課題を解決するために、本発明の熱源システムは、第２熱媒体を用いて第１熱媒体を冷却または加熱して熱負荷設備に供給する熱源機と、熱源機と熱負荷設備との間で第１熱媒体を循環させる第１ポンプと、第２熱媒体の熱交換を行う熱交換器と、熱源機と熱交換器との間で第２熱媒体を循環させる第２ポンプとを含む熱源機補機と、深層強化学習を用いて熱源機補機の運転を制御する制御装置と、を備え、深層強化学習の入力である、熱源機補機の運転条件に関する複数種類の状態変数Ｓｔと、深層強化学習の出力である、熱源機補機に関する複数種類の行動にそれぞれ対応する複数種類のＱ値との間には、ニューラルネットワークが形成されており、制御装置は、複数種類の状態変数Ｓｔを取得する取得部と、複数種類の状態変数Ｓｔを学習モデルに入力することで、複数種類の行動のうち１つの行動を決定する行動決定部と、決定された行動を実行するように熱源機補機の運転条件を制御する制御部と、制御された運転条件で熱源機補機を運転させた場合における、熱源機および熱源機補機を含む熱源システム全体の消費エネルギーに対する熱負荷を示すシステムＣＯＰを計算するシステムＣＯＰ計算部と、更新部と、を有し、行動決定部は、複数種類の状態変数Ｓｔに、ニューラルネットワークにおける重みＷを乗算することで、複数種類のＱ値をそれぞれ計算するＱ値計算部と、複数種類の行動の中から、計算されたＱ値のうち最も大きいＱ値に対応する行動を選択する行動選択部と、を含み、更新部は、システムＣＯＰの今回値が前回値以上である場合、Ｑ値計算部における重みＷを、今回実行された行動が選択され易くなるような報酬に基づく重みＷであって、今回実行された行動に対応するＱ値が今回値よりも大きくなるような重みＷに更新することで学習モデルを更新し、システムＣＯＰの今回値が前回値未満である場合、Ｑ値計算部における重みＷを、今回実行された行動が選択され難くなるような報酬に基づく重みＷであって、今回実行された行動に対応するＱ値が今回値よりも小さくなるような重みＷに更新することで学習モデルを更新し、複数種類の状態変数Ｓｔは、第１ポンプを駆動させるモータに電力を供給するインバータの周波数である第１ポンプ周波数と、第２ポンプを駆動させるモータに電力を供給するインバータの周波数である第２ポンプ周波数と、を少なくとも含み、複数種類の行動は、第１ポンプ周波数を増加させる行動と、第１ポンプ周波数を減少させる行動と、第２ポンプ周波数を増加させる行動と、第２ポンプ周波数を減少させる行動と、を少なくとも含む。
上記課題を解決するために、本発明の熱源システムは、第２熱媒体を用いて第１熱媒体を冷却または加熱して熱負荷設備に供給する熱源機と、熱源機と熱負荷設備との間で第１熱媒体を循環させる第１ポンプと、第２熱媒体の熱交換を行う熱交換器と、熱源機と熱交換器との間で第２熱媒体を循環させる第２ポンプとを含む熱源機補機と、強化学習を用いて熱源機補機の運転を制御する制御装置と、を備え、制御装置は、熱源機補機の運転条件に関する複数種類の状態変数Ｓｔを取得する取得部と、複数種類の状態変数Ｓｔを学習モデルに入力することで、熱源機補機に関する複数種類の行動のうち１つの行動を決定する行動決定部と、決定された行動を実行するように熱源機補機の運転条件を制御する制御部と、制御された運転条件で熱源機補機を運転させた場合における、熱源機および熱源機補機を含む熱源システム全体の消費エネルギーに対する熱負荷を示すシステムＣＯＰを計算するシステムＣＯＰ計算部と、システムＣＯＰの今回値が前回値以上である場合、今回実行された行動が選択され易くなるような報酬に基づいて学習モデルを更新し、システムＣＯＰの今回値が前回値未満である場合、今回実行された行動が選択され難くなるような報酬に基づいて学習モデルを更新する更新部と、を有し、複数種類の状態変数Ｓｔは、第１ポンプを駆動させるモータに電力を供給するインバータの周波数である第１ポンプ周波数と、第２ポンプを駆動させるモータに電力を供給するインバータの周波数である第２ポンプ周波数と、を少なくとも含み、複数種類の行動は、第１ポンプ周波数を増加させる行動と、第１ポンプ周波数を減少させる行動と、第２ポンプ周波数を増加させる行動と、第２ポンプ周波数を減少させる行動と、を少なくとも含む。
上記課題を解決するために、本発明の熱源システムは、第２熱媒体を用いて第１熱媒体を冷却または加熱して熱負荷設備に供給する熱源機と、熱源機と熱負荷設備との間で第１熱媒体を循環させる第１ポンプと、第２熱媒体の熱交換を行う熱交換器と、熱源機と熱交換器との間で第２熱媒体を循環させる第２ポンプとを含む熱源機補機と、強化学習を用いて熱源機補機の運転を制御する制御装置と、を備え、制御装置は、熱源機補機の運転条件に関する複数種類の状態変数Ｓｔを取得する取得部と、複数種類の状態変数Ｓｔを学習モデルに入力することで、熱源機補機に関する複数種類の行動のうち１つの行動を決定する行動決定部と、決定された行動を実行するように熱源機補機の運転条件を制御する制御部と、制御された運転条件で熱源機補機を運転させた場合における、熱源機および熱源機補機を含む熱源システム全体の消費エネルギーに対する熱負荷を示すシステムＣＯＰを計算するシステムＣＯＰ計算部と、システムＣＯＰの今回値が前回値以上である場合、今回実行された行動が選択され易くなるような報酬に基づいて学習モデルを更新し、システムＣＯＰの今回値が前回値未満である場合、今回実行された行動が選択され難くなるような報酬に基づいて学習モデルを更新する更新部と、を有し、複数種類の状態変数Ｓｔは、第１ポンプを駆動させるモータに電力を供給するインバータの周波数である第１ポンプ周波数と、第２ポンプを駆動させるモータに電力を供給するインバータの周波数である第２ポンプ周波数と、を少なくとも含み、複数種類の行動は、第１ポンプ周波数を増加させる行動と、第１ポンプ周波数を減少させる行動と、第２ポンプ周波数を増加させる行動と、第２ポンプ周波数を減少させる行動と、を少なくとも含む。