(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-12
(45)【発行日】2023-12-20
(54)【発明の名称】排熱回収ボイラ及びそのダスト除去運転計画装置
(51)【国際特許分類】
F22B 37/56 20060101AFI20231213BHJP
F22B 35/18 20060101ALI20231213BHJP
F23J 3/00 20060101ALI20231213BHJP
F28G 7/00 20060101ALI20231213BHJP
G06N 20/00 20190101ALI20231213BHJP
【ＦＩ】
F22B37/56 Z
F22B35/18
F23J3/00 Z
F28G7/00 Z
G06N20/00
【請求項の数】
7
(21)【出願番号】P 2022550369
(86)(22)【出願日】2021-07-07
(86)【国際出願番号】 JP2021025644
(87)【国際公開番号】W WO2022059305
(87)【国際公開日】2022-03-24
【審査請求日】2023-01-25
(31)【優先権主張番号】202010986106.9
(32)【優先日】2020-09-18
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】000000974
【氏名又は名称】川崎重工業株式会社
(74)【代理人】
【識別番号】110000556
【氏名又は名称】弁理士法人有古特許事務所
(72)【発明者】
【氏名】槇 健良
(72)【発明者】
【氏名】竹中 幸弘
(72)【発明者】
【氏名】宮内 寛太
(72)【発明者】
【氏名】山本 修示
(72)【発明者】
【氏名】野副 拓朗
(72)【発明者】
【氏名】田中 寿典
(72)【発明者】
【氏名】雪岡 敦史
(72)【発明者】
【氏名】李 朝暉
(72)【発明者】
【氏名】陳 鳳銀
(72)【発明者】
【氏名】肖 杰玉
(72)【発明者】
【氏名】趙 峰娃
(72)【発明者】
【氏名】考 傳利
(72)【発明者】
【氏名】張 皓
(72)【発明者】
【氏名】李 娜
(72)【発明者】
【氏名】汪 寧
(72)【発明者】
【氏名】葛 海根
(72)【発明者】
【氏名】方 偉
(72)【発明者】
【氏名】周 健
【審査官】小川 悟史
(56)【参考文献】
【文献】特開２０２０－１３４０４０（ＪＰ，Ａ）
【文献】特開２０１９－１３８６０２（ＪＰ，Ａ）
【文献】特開２０１０－１３９１８６（ＪＰ，Ａ）
【文献】特開２００８－１４６３７１（ＪＰ，Ａ）
【文献】特開平０５－１４９５２４（ＪＰ，Ａ）
【文献】特開２０１３－１７８０８７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｆ２２Ｂ ３７／５６
Ｆ２２Ｂ ３５／１８
Ｆ２３Ｊ ３／００
Ｆ２８Ｇ ７／００
Ｇ０６Ｎ ２０／００
(57)【特許請求の範囲】
【請求項1】
排ガスの流路に配列された複数の伝熱管から成る伝熱セクションと、前記伝熱セクションの前記伝熱管に付着したダストを除去するダスト除去装置とを備える排熱回収ボイラにおいて、前記ダスト除去装置の運転を計画するダスト除去運転計画装置であって、前記伝熱セクションの前記伝熱管の汚れ抵抗を演算する汚れ抵抗演算装置と、
前記ダスト除去装置の運転計画の決定を機械学習する機械学習装置とを備え、
前記機械学習装置は、
排ガス源における燃料中の化石燃料の投入量に対する代替燃料の投入量の比、代替燃料中のダスト付着に関与する成分の割合、前記伝熱セクションを通過する前記排ガスのガス流速、前記伝熱セクションの入口ガス温度及び出口ガス温度、並びに、前記汚れ抵抗演算装置が求めた前記汚れ抵抗を、状態データとして取得する状態観測部と、
前記状態データに含まれる前記汚れ抵抗に基づいて報酬を計算する報酬演算部と、
前記運転計画の決定を機械学習する学習部と、
前記学習部による学習結果と前記状態データとに基づいて前記報酬が最適となるような前記運転計画を決定し、決定された前記運転計画を出力する運転計画出力部と、を有し、
前記学習部は、決定された前記運転計画と、決定された前記運転計画に基いて前記ダスト除去装置が動作することにより状態が移行した後に前記状態観測部が取得した前記状態データと、移行後の前記状態データに含まれる前記汚れ抵抗から求めた前記報酬とに基づいて前記運転計画の決定を学習する、
ダスト除去運転計画装置。
【請求項2】
前記報酬演算部は、前記汚れ抵抗が所定の範囲内にあるときにプラスの報酬を計算し、前記汚れ抵抗が所定の範囲から逸脱するときに、前記所定の範囲からの乖離量に対応したマイナスの報酬を計算する、請求項１に記載のダスト除去運転計画装置。
【請求項3】
前記運転計画は、前記ダスト除去装置の運転周期を含み、前記報酬演算部は、前記運転周期の長さが所定の第１閾値以上であるときに、前記運転周期の前記第１閾値からの乖離量に対応したプラスの報酬を計算し、前記運転周期の長さが前記第１閾値未満であるときに前記運転周期の前記第１閾値からの乖離量に対応したマイナスの報酬を計算する、
請求項２に記載のダスト除去運転計画装置。
【請求項4】
前記ダスト除去装置は、前記伝熱管に打撃による振動を加えるように構成されており、前記運転計画が、打撃回数を含み、
前記報酬演算部は、前記打撃回数が所定の第２閾値以下であるときに、前記打撃回数の前記第２閾値からの乖離量に対応したプラスの報酬を計算し、前記打撃回数が前記第２閾値より大きいときに、前記打撃回数の前記第２閾値からの乖離量に対応したマイナスの報酬を計算する、
請求項２又は３に記載のダスト除去運転計画装置。
【請求項5】
前記ダスト除去装置は、前記伝熱管に打撃による振動を加えるように構成されており、前記運転計画が、打撃力を含み、
前記報酬演算部は、前記打撃力が第３閾値以下であるときに、前記打撃力の前記第３閾値からの乖離量に対応したプラスの報酬を計算し、前記打撃力が前記第３閾値より大きいときに、前記打撃力の前記第３閾値からの乖離量に対応したマイナスの報酬を計算する、
請求項２～４のいずれか一項に記載のダスト除去運転計画装置。
【請求項6】
前記学習部は、前記状態観測部が取得した前記状態データから特定された状態と、当該状態における前記運転計画の決定とを引数で表現した価値関数を用いて、前記報酬が最大となるように前記価値関数を更新する、請求項１～５のいずれか一項に記載のダスト除去運転計画装置。
【請求項7】
排ガスの流路に配列された複数の伝熱管から成る伝熱セクションと、前記伝熱セクションの前記伝熱管に付着したダストを除去するダスト除去装置と、
請求項１～６のいずれか一項に記載のダスト除去運転計画装置とを備え、
前記ダスト除去運転計画装置が出力した運転計画に基づいて前記ダスト除去装置が動作する、
排熱回収ボイラ。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、伝熱管に付着したダストを除去するダスト除去装置を備える排熱回収ボイラに関し、より詳細には、ダスト除去装置の運転を計画する運転計画装置に関する。
【背景技術】
【0002】
セメント焼成プラント、製鉄所、金属精錬所、化学工場、ゴミ焼却炉、及び地熱発電所などの高温の排ガスが発生する施設では、排ガスの熱を回収するための排熱回収ボイラが設けられている。排熱回収ボイラに流入する排ガスにはダストが同伴しており、このダストが伝熱管に堆積・付着する。伝熱管に付着したダストは、伝熱抵抗となって、ボイラ性能を低下させる。そこで、伝熱管に付着したダストを除去するダスト除去装置を備える排熱回収ボイラが知られている。ダスト除去装置としては、ハンマリング式、スートブロア式、圧力波式、スクレーパ式など各種方式のものが知られている。特許文献１では、ハンマリング式のダスト除去装置を備えた排熱回収ボイラが開示されている。
【0003】
特許文献１の排熱回収ボイラは、多数の伝熱管を配列した伝熱面ブロックと、この伝熱面ブロックの各伝熱管に振動を加えて付着したダストを除去するハンマリング装置と、このハンマリング装置の運転を制御するハンマリング運転制御装置とを備える。ハンマリング運転制御装置は、定格負荷運転におけるボイラ蒸発量とボイラ入口ガス温度及びボイラ出口ガス温度とに基づいてガス流量を算出するガス流量演算手段と、ガス流量とボイラ入口ガス温度及びボイラ出口ガス温度とに基づいて伝熱面ブロックの汚れ抵抗計測値を算出する汚れ抵抗演算手段と、伝熱面ブロックの汚れ抵抗計測値と予め定められた汚れ抵抗計画値とに基づいてハンマリング装置の打撃回数、打撃時間、及び打撃力の少なくとも１つを変更するハンマリング運転スケジュール演算手段とを有する。このようなハンマリング運転スケジュールによれば、伝熱面ブロックの汚れ抵抗を数値的に把握することにより、ハンマリング装置によって、汚れ抵抗の大きさに応じた打撃力を伝熱管ブロックに与えることができる。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１０－１３９１８６号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
近年、排熱回収ボイラへの排熱源である焼成炉や燃焼炉等では、化石燃料に加えて代替燃料を使用するケースが増えている。代替燃料を使用した場合は、化石燃料のみを使用した場合と比較して、排熱回収ボイラの伝熱管に付着するダストの量が増加する傾向があり、ボイラの性能低下を抑止するためにダスト除去装置による効果的・効率的なダスト除去の必要性が高まっている。
【0006】
ダスト除去装置の寿命は、その運転周期により大きく影響を受ける。無計画にダスト除去装置の運転周期を増やすことは、ダスト除去装置の寿命低下やメンテナンス頻度の増加をもたらす。そのため、ダスト除去装置は適正な運転計画に沿って運転されるべきである。
【0007】
以上に鑑み、本開示では、排ガス源が化石燃料に加えて代替燃料を燃料として使用している排熱回収ボイラにおいて、伝熱管の汚れ具合（汚れ抵抗）が所定の範囲内に保持されるように適切なダスト除去が行われるように、ダスト除去装置の運転を計画する技術を提案する。
【課題を解決するための手段】
【0008】
排熱回収ボイラの伝熱管に付着するダストの量を増減させる因子は、排ガス源における燃料中の化石燃料の投入量に対する代替燃料の投入量の比、代替燃料中のダスト付着に関与する成分の割合、伝熱管の周囲を通過する排ガスのガス流速、伝熱管の周囲のガス温度など、多種類が想定し得る。これらの因子と伝熱管の汚れ具合との因果関係を現在までに蓄積されたデータから見つけ出すことができれば、それを利用して最適な運転計画を決定し、最適な運転計画に基づいてダスト除去装置を運転させることができる。
【0009】
そこで、本開示の一態様に係るダスト除去運転計画装置は、排ガスの流路に配列された複数の伝熱管から成る伝熱セクションと、前記伝熱セクションの前記伝熱管に付着したダストを除去するダスト除去装置とを備える排熱回収ボイラにおいて、前記ダスト除去装置の運転を計画するダスト除去運転計画装置であって、
前記伝熱セクションの前記伝熱管の汚れ抵抗を演算する汚れ抵抗演算装置と、
前記ダスト除去装置の運転計画の決定を機械学習する機械学習装置とを備える。
前記機械学習装置は、
排ガス源における燃料中の化石燃料の投入量に対する代替燃料の投入量の比、代替燃料中のダスト付着に関与する成分の割合、前記伝熱セクションを通過する前記排ガスのガス流速、前記伝熱セクションの入口ガス温度及び出口ガス温度、並びに、前記汚れ抵抗演算装置が求めた前記汚れ抵抗を、状態データとして取得する状態観測部と、
前記状態データに含まれる前記汚れ抵抗に基づいて報酬を計算する報酬演算部と、
前記運転計画の決定を機械学習する学習部と、
前記学習部による学習結果と前記状態データとに基づいて前記報酬が最適となるような前記運転計画を決定し、決定された前記運転計画を出力する運転計画出力部と、を有する。
前記学習部は、決定された前記運転計画と、決定された前記運転計画に基いて前記ダスト除去装置が動作することにより状態が移行した後に前記状態観測部が取得した前記状態データと、移行後の前記状態データに含まれる前記汚れ抵抗から求めた前記報酬とに基づいて前記運転計画の決定を学習する。
前記伝熱セクションの前記伝熱管の汚れ抵抗を演算する汚れ抵抗演算装置と、
前記ダスト除去装置の運転計画の決定を機械学習する機械学習装置とを備える。
前記機械学習装置は、
排ガス源における燃料中の化石燃料の投入量に対する代替燃料の投入量の比、代替燃料中のダスト付着に関与する成分の割合、前記伝熱セクションを通過する前記排ガスのガス流速、前記伝熱セクションの入口ガス温度及び出口ガス温度、並びに、前記汚れ抵抗演算装置が求めた前記汚れ抵抗を、状態データとして取得する状態観測部と、
前記状態データに含まれる前記汚れ抵抗に基づいて報酬を計算する報酬演算部と、
前記運転計画の決定を機械学習する学習部と、
前記学習部による学習結果と前記状態データとに基づいて前記報酬が最適となるような前記運転計画を決定し、決定された前記運転計画を出力する運転計画出力部と、を有する。
前記学習部は、決定された前記運転計画と、決定された前記運転計画に基いて前記ダスト除去装置が動作することにより状態が移行した後に前記状態観測部が取得した前記状態データと、移行後の前記状態データに含まれる前記汚れ抵抗から求めた前記報酬とに基づいて前記運転計画の決定を学習する。
【0010】
また、本開示の一態様に係る排熱回収ボイラは、
排ガスの流路に配列された複数の伝熱管から成る伝熱セクションと、
前記伝熱セクションの前記伝熱管に付着したダストを除去するダスト除去装置と、
前記ダスト除去運転計画装置とを備え、
前記ダスト除去運転計画装置が出力した運転計画に基づいて前記ダスト除去装置が動作するものである。
排ガスの流路に配列された複数の伝熱管から成る伝熱セクションと、
前記伝熱セクションの前記伝熱管に付着したダストを除去するダスト除去装置と、
前記ダスト除去運転計画装置とを備え、
前記ダスト除去運転計画装置が出力した運転計画に基づいて前記ダスト除去装置が動作するものである。
【0011】
上記排熱回収ボイラ及びそのダスト除去運転計画装置によれば、排ガス源が化石燃料に加えて代替燃料を燃料として使用している排熱回収ボイラにおいて、汚れ抵抗が所定範囲に維持されるような、最適なダスト除去装置の運転計画を生成し、それに基づいてダスト除去装置を動作させることができる。このように伝熱管の汚れ抵抗が所定範囲に維持されるので、排熱回収ボイラの良好なボイラ性能が維持される。また、ダスト除去装置の運転が適正化されることによって、過度な運転を回避することができる。これにより、排熱回収ボイラの設備疲労到達時間を適正化することができる。
【発明の効果】
【0012】
本開示によれば、排ガス源が化石燃料に加えて代替燃料を燃料として使用している排熱回収ボイラにおいて、伝熱管の汚れ具合（汚れ抵抗）が所定の範囲内に保持されるように適切なダスト除去を行うように、ダスト除去装置の運転を計画する技術を提案することができる。
【図面の簡単な説明】
【0013】
【発明を実施するための形態】
【0014】
次に、図面を参照して本発明の実施の形態を説明する。図１は、本発明の一実施形態に係る排熱回収ボイラ４の概略正面図、図２は、排熱回収ボイラ４の概略平面図、図３は、伝熱管４１とダスト除去装置５の構成を示す側面図である。本発明が適用される排熱回収ボイラ４は本実施形態に限定されず、本発明は広く伝熱管４１に付着したダストを除去するダスト除去装置５を備える排熱回収ボイラ４に適用することができる。
【0015】
〔排熱回収ボイラ４の構成〕
図１～３に示す排熱回収ボイラ４は、ケーシング４０と、ケーシング４０内において排ガスの流路に配列された複数の伝熱管４１と、伝熱管４１に堆積・付着したダストを除去するダスト除去装置５と、ダスト除去運転計画装置６とを備える。
図１～３に示す排熱回収ボイラ４は、ケーシング４０と、ケーシング４０内において排ガスの流路に配列された複数の伝熱管４１と、伝熱管４１に堆積・付着したダストを除去するダスト除去装置５と、ダスト除去運転計画装置６とを備える。
【0016】
ケーシング４０の上部には、ボイラ入口４０ｉｎとボイラ出口４０ｏｕｔが設けられている。ボイラ入口４０ｉｎから入った排ガスは、ケーシング４０内を水平方向に流れて、ボイラ出口４０ｏｕｔから排出される。このように、本実施形態に係る排熱回収ボイラ４は、水平方向に流れる排ガスから熱を回収する横型のボイラであるが、本発明は縦型のボイラに適用されてもよい。以下、説明の便宜を図って、ケーシング４０内の排ガスの流れと平行な水平方向を「第１方向Ｘ」と称し、第１方向Ｘと直交する水平方向を「第２方向Ｙ」と称する。ケーシング４０内は、ボイラ入口４０ｉｎからボイラ出口４０ｏｕｔへ向かって第１方向Ｘに並ぶ、Ｎ個の伝熱セクションＳ1～ＳNに分けられている。
【0017】
伝熱管４１は、平面内で直線部とベンド部とを繰り返す蛇管であり、伝熱管パネルとして取り扱われる。各伝熱セクションＳ1～ＳNにおいて、複数の伝熱管４１が第２方向Ｙに所定間隔で並べられている。
【0018】
ダスト除去装置５は、連結軸４２と、ハンマー装置４５（回転式槌打型ハンマー装置）とを備える。ダスト除去装置５は、伝熱セクションＳごとに設けられて、各ダスト除去装置５が独立して動作してよい。複数の連結軸４２は、伝熱管４１の下方において第１方向Ｘに並ぶ。各連結軸４２は、第２方向Ｙに延びる。各連結軸４２には、当板４６及び連結具４７を介して、伝熱管４１の下部が連結されている。１本の伝熱管４１に対し１本の連結軸４２が設けられていてもよいし、隣接する複数の伝熱管４１に対し１本の連結軸４２が設けられていてもよい。連結軸４２の第２方向Ｙの少なくとも一方の端部はケーシング４０の外まで延設されており、その延設部分に被打撃部４３が設けられている。
【0019】
ハンマー装置４５は、連結軸４２の被打撃部４３を打撃する。ハンマー装置４５は、打撃ヘッド４５１と、打撃ヘッド４５１と連結されたロッド４５２と、ロッド４５２と結合された駆動軸４５３と、駆動軸４５３を回転駆動する駆動装置４５４とを有する。駆動軸４５３には、複数のロッド４５２が結合されていてよい。駆動軸４５３が１回転する間に、複数の連結軸４２の被打撃部４３に対し、順次打撃が加えられる。但し、ハンマー装置４５の態様はこれに限定されず、例えば、被打撃部４３を圧縮エアによって作動するピストンが打撃するように構成されたエアノッカーがハンマー装置４５として採用されてもよい。
【0020】
上記構成のダスト除去装置５では、駆動装置４５４によって駆動軸４５３が回転駆動されると、ロッド４５２が駆動軸４５３を中心として回転する。これにより、打撃ヘッド４５１が連結軸４２の被打撃部４３に衝突する。この衝突エネルギーが、連結軸４２、連結具４７及び当板４６を介して伝熱管４１に伝達され、伝熱管４１を振動させる。この振動により、伝熱管４１の表面に付着していたダストが剥離する。ダストは、ケーシング４０内を自然落下して、ケーシング４０の下部から排出され、コンベア５５によって搬出される。
【0021】
〔ダスト除去運転計画装置６〕
図４は、１つの伝熱セクションＳに対するダスト除去装置５の運転スケジュールのタイムチャートである。このタイムチャートに示されるように、１つの伝熱セクションＳはｎ本の連結軸４２を備え、その被打撃部４３が間隔Ｔ１で順次打撃される。ダスト除去装置５の１周期は、運転時間Ｔ３とその後に続く休止時間Ｔ４からなる。運転時間Ｔ３において、１つの連結軸４２に対し、打撃力Ｆの打撃が打撃間隔Ｔ２で打撃回数Ｒだけ加えられる。１周期の長さ、即ち、或る周期の開始から次の周期の開始までの時間を、運転周期Ｔとする。
図４は、１つの伝熱セクションＳに対するダスト除去装置５の運転スケジュールのタイムチャートである。このタイムチャートに示されるように、１つの伝熱セクションＳはｎ本の連結軸４２を備え、その被打撃部４３が間隔Ｔ１で順次打撃される。ダスト除去装置５の１周期は、運転時間Ｔ３とその後に続く休止時間Ｔ４からなる。運転時間Ｔ３において、１つの連結軸４２に対し、打撃力Ｆの打撃が打撃間隔Ｔ２で打撃回数Ｒだけ加えられる。１周期の長さ、即ち、或る周期の開始から次の周期の開始までの時間を、運転周期Ｔとする。
【0022】
ダスト除去運転計画装置６は、ダスト除去装置５の運転計画を策定する。運転計画には、運転スケジュール及び運転条件が含まれる。ダスト除去運転計画装置６は、機械学習装置６１と、汚れ抵抗演算装置６２とを有する。機械学習装置６１はダスト除去装置５の運転計画を策定し、汚れ抵抗演算装置６２はその運転計画に沿ったダスト除去装置５の運転を評価する値（即ち、汚れ抵抗）を算出する。機械学習装置６１及び汚れ抵抗演算装置６２は、それぞれ、ＣＰＵ等の演算処理部と、不揮発性及び揮発性の記憶部とを備えた、所謂コンピュータとして実現され得る。機械学習装置６１と汚れ抵抗演算装置６２とは、情報の送受信が可能となるように電気的に接続されてよい。
【0023】
排熱回収ボイラ４の状態に対して、単純な演算式等を用いて、どのようなダスト除去装置５の運転計画の決定をすることが正しいのかを明示的に示すことは困難である。そこで、人工知能としての機械学習装置６１は、報酬を与えるだけで目標到達のための行動を自動的に学習する強化学習のアルゴリズムを採用する。以下、機械学習装置６１が行う機械学習について説明する。
【0024】
－機械学習方法－
図５は、強化学習アルゴリズムの基本的な概念を説明する図である。図５に示すように、強化学習では、学習する主体となるエージェント（機械学習装置６１）と、制御対象となる環境（ダスト除去装置５を備える排熱回収ボイラ４）との遣り取りにより、エージェントの学習が進行する。より具体的には、エージェントの学習に際し、次の（１）～（４）が繰り返される。
（１）エージェントが時刻ｔにおける環境の状態ｓtを観測すること。
（２）エージェントが観測結果と過去の学習に基づいて自分が取れる行動ａtを選択して、行動ａtを実行すること。
（３）行動ａtが実行されることで、環境の状態ｓtが次の状態ｓt+1へと変化し、この状態の変化に基づいて、エージェントが報酬ｒt+1を受け取ること。
（４）エージェントが状態ｓt、行動ａt、報酬ｒt+1および過去の学習の結果に基づいて学習を進めること。
図５は、強化学習アルゴリズムの基本的な概念を説明する図である。図５に示すように、強化学習では、学習する主体となるエージェント（機械学習装置６１）と、制御対象となる環境（ダスト除去装置５を備える排熱回収ボイラ４）との遣り取りにより、エージェントの学習が進行する。より具体的には、エージェントの学習に際し、次の（１）～（４）が繰り返される。
（１）エージェントが時刻ｔにおける環境の状態ｓtを観測すること。
（２）エージェントが観測結果と過去の学習に基づいて自分が取れる行動ａtを選択して、行動ａtを実行すること。
（３）行動ａtが実行されることで、環境の状態ｓtが次の状態ｓt+1へと変化し、この状態の変化に基づいて、エージェントが報酬ｒt+1を受け取ること。
（４）エージェントが状態ｓt、行動ａt、報酬ｒt+1および過去の学習の結果に基づいて学習を進めること。
【0025】
上記の（４）における学習では、エージェントは将来取得できる報酬ｒの量を判断するための基準となる情報として、状態ｓt，行動ａt，報酬ｒt+1のマッピングを獲得する。例えば、各時刻において取り得る状態の個数がｍ、取り得る行動の個数がｎとすると、行動を繰り返すことによって状態ｓtと行動ａtの組に対する報酬ｒt+1を記憶するｍ×ｎの２次元配列が得られる。そして、上記得られたマッピングに基づいて現在の状態や行動がどのくらい良いのかを示す関数である価値関数（評価関数）を用い、行動を繰り返す中で価値関数を更新していくことにより状態に対する最適な行動を学習していく。
【0026】
価値関数の一つとして知られる状態行動価値関数Ｑ（ｓt，ａt）は、ある状態ｓtにおいて行動ａtがどのくらい良い行動であるのかを示す。状態行動価値関数Ｑ（ｓt，ａt）は、状態と行動を引数とする関数として表現される。状態行動価値関数Ｑ（ｓt，ａt）は、行動を繰り返す中での学習において、ある状態における行動に対して得られた報酬や、行動により移行する未来の状態における行動の価値などに基づいて更新される。状態行動価値関数Ｑ（ｓt，ａt）の更新式は強化学習のアルゴリズムに応じて定義されており、例えば、代表的な強化学習アルゴリズムの１つであるＱ学習においては、状態行動価値関数Ｑ（ｓt，ａt）の更新式は、以下の数１で定義される。
【0027】
【数1】
【0028】
そして、上記の（２）における行動ａtの選択においては、過去の学習によって作成された価値関数を用いて現在の状態ｓtにおいて将来にわたっての報酬（ｒt+1＋ｒt+2＋…）が最適となる行動ａt（状態ｓtにおいて最も価値の高い行動ａt）を選択する。Ｑ学習においては、報酬（ｒt+1＋ｒt+2＋…）が最適となる行動ａtは、報酬（ｒt+1＋ｒt+2＋…）が最大となる行動ａtに相当し得る。
【0029】
強化学習のアルゴリズムとしては、Ｑ学習、ＳＡＲＳＡ法、ＴＤ学習、ＡＣ法など様々な手法が周知であるが、本発明に適用する方法としていずれの強化学習アルゴリズムが採用されてもよい。これらの強化学習アルゴリズムは周知であるから、本明細書における各アルゴリズムの更なる詳細な説明は省略する。
【0030】
図６は、機械学習装置６１を導入したダスト除去運転計画装置６における、ダスト除去装置５の運転計画の決定の機械学習に関するイメージを示す図である。
【0031】
図６に示すように、汚れ抵抗演算装置６２は、排熱回収ボイラ４のプロセスデータ及びボイラ条件から、各伝熱セクションＳの汚れ抵抗ｆを求める。また、汚れ抵抗演算装置６２は、排熱回収ボイラ４のプロセスデータから、各伝熱セクションＳのガス流速Ｖを求める。プロセスデータは、ボイラ出口蒸気温度、ボイラ給水温度、ボイラ蒸発量、ボイラ入口ガス温度、ボイラ出口ガス温度、各伝熱セクションの入口ガス温度、及び、各伝熱セクションの出口ガス温度を含む。伝熱セクション同士が近接している場合には、或る伝熱セクションの出口ガス温度と次の伝熱セクションの入口ガス温度とが共用されてもよい。これらのプロセスデータは、排熱回収ボイラ４の適宜位置に設けられた計器で測定されたデータである。ボイラ条件は、伝熱管４１の熱伝導率、伝熱管４１の厚さ、ボイラ効率（１－放熱損失率）、及び、ガス組成を含む。伝熱管４１の熱伝導率及び厚さは排熱回収ボイラ４に固有の値である。また、ボイラ効率及びガス組成は、定期的に測定され、ボイラ条件としてダスト除去運転計画装置６へ入力され記憶される。以下、汚れ抵抗ｆの演算方法について説明する。
【0032】
－汚れ抵抗演算方法－
汚れ抵抗ｆは、伝熱管４１に付着したダストの量を表す指標である。本実施形態に係る排熱回収ボイラ４は、伝熱セクションＳごとにダスト除去装置５を備え、ダスト除去運転計画装置６は、伝熱セクションＳごとにダスト除去装置５の運転計画を決定する。そこで、各伝熱セクションＳにおいて、当該伝熱セクションＳに含まれる１本の伝熱管４１の伝熱面の汚れ抵抗ｆを求め、それを当該伝熱セクションＳの汚れ抵抗ｆとする。
汚れ抵抗ｆは、伝熱管４１に付着したダストの量を表す指標である。本実施形態に係る排熱回収ボイラ４は、伝熱セクションＳごとにダスト除去装置５を備え、ダスト除去運転計画装置６は、伝熱セクションＳごとにダスト除去装置５の運転計画を決定する。そこで、各伝熱セクションＳにおいて、当該伝熱セクションＳに含まれる１本の伝熱管４１の伝熱面の汚れ抵抗ｆを求め、それを当該伝熱セクションＳの汚れ抵抗ｆとする。
【0033】
汚れ抵抗ｆ［m2・h・℃/kcal］は、伝熱管４１の伝熱面に付着したダストなどにより、熱の伝達が阻害される程度を表した値である。汚れ抵抗ｆは、以下に説明する手法で求め得る。但し、伝熱管４１の汚れ抵抗ｆを求める手法は公知であり、本実施形態に限定されない。
【0034】
ボイラ出口蒸気温度、ボイラ蒸発量、ボイラ給水温度、ボイラ入口ガス温度、及び、ボイラ出口ガス温度と、ガス組成とに基づいて、次の数２に示す式を利用してボイラ通過ガス量Ｇcを算出することができる。
【0035】
【数2】
【0036】
ボイラ通過ガス量Ｇcと、各伝熱セクションＳの入口ガス温度及び出口ガス温度とに基づいて、各伝熱セクションＳのガス流速Ｖを求めることができる。
【0037】
そして、各伝熱セクションＳにおいて、ガス流速Ｖと伝熱管４１の入口温度及び出口温度とに基づいて、例えば次の数３に示す近似式を利用して、汚れ抵抗ｆを算出することができる。
【0038】
【数3】
【0039】
汚れ抵抗演算装置６２が求めた各伝熱セクションＳの汚れ抵抗ｆ及びガス流速Ｖ、並びに、演算に用いた各伝熱セクションの入口ガス温度及び出口ガス温度は、機械学習装置６１へ出力される。
【0040】
機械学習装置６１は、伝熱管４１に付着したダストの量を表す指標が所定範囲内に収まることを目的として、ダスト除去装置５の運転計画の決定に関する機械学習を行う。決定される運転計画は、運転周期Ｔ、打撃回数Ｒ、及び打撃力Ｆの少なくとも１つを含む。なお、ハンマー装置４５の打撃力Ｆが不可変である場合には、打撃力Ｆは運転計画から外されてもよい。運転周期Ｔ、打撃回数Ｒ、及び打撃力Ｆのうち機械学習装置６１が決定しない値は予め与えられてよい。運転計画は、排熱回収ボイラ４の設備疲労到達時間が適正化されることを目的とし、なるべく運転周期Ｔの値が大きくなり且つ打撃回数Ｒ及び打撃力Ｆの値が小さくなるように決定される。
【0041】
機械学習装置６１は、環境（状態ｓt）を特定するための情報（即ち、入力データ）として、代替燃料／化石燃料投入割合、代替燃料中のダスト付着に関与する成分の成分割合、並びに、各伝熱セクションＳの汚れ抵抗ｆ、ガス流速Ｖ、入口ガス温度、及び出口ガス温度などを用いる。
【0042】
代替燃料／化石燃料投入割合は、排ガス源における燃料中の化石燃料の投入量に対する代替燃料の投入量の比を表す。投入量は、質量、乾燥質量、体積、乾燥体積のいずれか一つで表されてよい。化石燃料には、石炭、石油、天然ガスが含まれる。代替燃料とは、化石燃料の代替となる燃料であって、例えば、バイオマス燃料、廃プラスチック、及び紙類である。一般に、化石燃料の投入量に対する代替燃料の投入量が増えるに従って、排ガスに同伴するダスト量が増加する。但し、ダストの性質によっては、ダスト量の増加は伝熱管４１に付着するダスト量の増加と直結しないことがある。代替燃料／化石燃料投入割合は、定期的に測定され、ボイラ条件としてダスト除去運転計画装置６へ入力され記憶される。
【0043】
代替燃料は、種類によって成分が異なる。また、代替燃料は、同じ種類であっても、成分が一定とならないことが多い。代替燃料に含まれ得るダスト付着に関与する成分とは、ダスト量を増加させる成分、及び、伝熱管４１に付着しやすいダストを発生させる成分を含む。このような成分は、主に、Ｃｌ，Ｓ，Ｎａ，Ｋ，Ｚｎ，Ｐｂ，Ｃａである。これらのうち、特にダスト付着への関与の大きい特定の成分（例えば、Ｃｌ，Ｓ，Ｎａ，Ｋのうち少なくとも１つ）のみが環境を特定するための情報として用いられてもよい。代替燃料に含まれ得るダスト付着に関与する成分割合は、代替燃料の全体を１としたときの割合［％］として表わされてよい。代替燃料に含まれ得るダスト付着に関与する成分割合が大きくなるに従って、排ガスに同伴するダスト量が増加したり、排ガスに同伴するダストのうち伝熱管４１に付着するダスト量が増加したりする。代替燃料中のダスト付着に関与する成分の成分割合は、定期的に測定され、ボイラ条件としてダスト除去運転計画装置６へ入力され記憶される。
【0044】
各伝熱セクションＳのガス流速Ｖが大きくなるに従って、伝熱セクションＳを通過するガス量が増える。つまり、伝熱セクションＳを通過するダスト量が増える。また、各伝熱セクションＳを通過するガス温度によって、ダストの伝熱管４１への付着しやすさが変化する。
【0045】
機械学習装置６１は、環境に対する行動ａtとして、今周期の運転計画を決定する。本実施形態においては、ある周期において決定された運転計画は、出力データとして遅延なくダスト除去装置５へ出力されて、ダスト除去装置５で当該周期内に消費されるものとする。
【0046】
機械学習装置６１は、行動ａtに対して与えられる報酬ｒtとして、汚れ抵抗ｆと関連付けられた評価指標を用いる。汚れ抵抗ｆと評価指標との関係を表す報酬条件は、予め規定されて機械学習装置６１に記憶されている。評価指標は、汚れ抵抗ｆが所定の範囲内にあれば高く（プラス報酬）、所定の範囲からプラス及びマイナスに外れるほど低い（マイナス報酬）。詳細には、報酬演算部２４は、汚れ抵抗ｆが所定の範囲内にあるときにプラスの報酬を計算する。また、報酬演算部２４は、汚れ抵抗ｆが所定の範囲から逸脱するときに、所定の範囲からの乖離量（絶対値）に対応したマイナスの報酬を計算する。なお、排熱回収ボイラ４毎に適正な汚れ抵抗ｆ（つまり、上記の所定の範囲）は異なる。適正な汚れ抵抗ｆの範囲は、シミュレーションにより、又は、実験により決定され、予め機械学習装置６１に記憶されている。
【0047】
更に、評価指標には、運転周期Ｔ、打撃回数Ｒ、及び打撃力Ｆに関する評価が加味されることが望ましい。例えば、評価指標は、運転周期Ｔが大きくなるほど高く（プラス報酬）、作業頻度が多くなるほど低い（マイナス報酬）。また、例えば、評価指標は、打撃回数Ｒが小さくなるほど高く（プラス報酬）、打撃回数Ｒが大きくなるほど低い（マイナス報酬）。また、例えば、評価指標は、打撃力Ｆが小さくなるほど高く（プラス報酬）、打撃力Ｆが大きくなるほど低い（マイナス報酬）。
【0048】
機械学習装置６１は、上記した入力データ、出力データ、報酬に基づいて機械学習を行う。機械学習においては、ある時刻ｔにおいて、入力データの組み合わせにより状態ｓtが定義され、定義された状態ｓtに対して行われる運転計画の決定が行動ａtとなる。行動ａtに基づいてダスト除去装置５が動作した結果、新たに得られた入力データに基づいて評価計算された値が報酬ｒt+1となる。機械学習装置６１は、これを機械学習のアルゴリズムに応じた価値関数（評価関数）の更新式に当てはめることにより学習を進める。
【0049】
図７は、機械学習装置６１の機能ブロック図である。図７に示す機械学習装置６１は、状態観測部２１、状態データ記憶部２２、報酬演算部２４、学習部２５、学習結果記憶部２６、及び、運転計画出力部２７を備える。図８は、機械学習装置６１が行う機械学習（強化学習）の流れを示すフローチャートである。以下、図７及び図８を用いて、機械学習装置６１が行う機械学習（強化学習）の流れを説明する。
【0050】
機械学習が開始されると、状態観測部２１は環境（状態ｓt）を特定するための情報（入力データ）を状態データとして取得する（ステップＳ０１）。状態データには、代替燃料／化石燃料投入割合、代替燃料中のダスト付着に関与する成分の成分割合、並びに、各伝熱セクションＳの汚れ抵抗ｆ、ガス流速Ｖ、入口ガス温度、及び出口ガス温度などが含まれる。
【0051】
状態データ記憶部２２は、取得した状態データを記憶する（ステップＳ０２）。状態データは、最新の運転で取得した状態データでも、過去の運転で取得した状態データでも構わない。
【0052】
学習部２５は、状態観測部２１が取得した状態データに基づいて、現在の状態ｓtを特定する（ステップＳ０３）。学習部２５は、過去の学習結果とステップＳ３で特定した状態ｓtとに基づいて行動ａtを選択する（ステップＳ０４）。行動ａtとは、定義された状態ｓtに応じた運転計画の決定である。ここで、例えば、複数の運転計画を選択可能な行動として用意しておき、過去の学習結果に基づいて将来に得られる報酬ｒが最も大きくなる行動ａを選択するようにしてもよい。
【0053】
運転計画出力部２７は、ステップＳ４で選択された行動ａtに基づいて、出力すべき運転計画を決定し、決定された運転計画をダスト除去装置５へ出力する。ダスト除去装置５によって行動ａtが実行され（ステップＳ０５）、ダスト除去装置５は決定された運転計画に基づいて運転する。
【0054】
行動ａtが実行されて状態が移行した後、状態観測部２１が環境（状態ｓt+1）を特定するための情報を取得し（ステップＳ０６）、状態データ記憶部２２がそれを状態データとして記憶する（ステップＳ７）。この段階においては、排熱回収ボイラ４の状態は、時刻ｔから時刻ｔ＋１への時間的推移と共に、実行された行動ａtによって変化している。この状態データには、移行した状態ｓt+1について求められた汚れ抵抗ｆが含まれる。
【0055】
報酬演算部２４は、設定された報酬計算条件に基づいて、時刻ｔ＋１の状態データから報酬ｒt+1を求める（ステップＳ０８）。報酬計算条件とは、機械学習において報酬を与える条件であり、操作者などによって予め機械学習装置６１に設定される。
【0056】
学習部２５は、ステップＳ０３で特定した状態ｓt、ステップＳ０４で選択した行動ａt、及び、ステップＳ０８で算出した報酬ｒt+1に基づいて機械学習を進める（ステップＳ０９）。学習に用いられる価値関数については、適用する学習アルゴリズムに応じて決定する。
【0057】
学習結果記憶部２６は、学習部２５が学習した結果を記憶し（ステップＳ１０）、処理はステップＳ０３へ戻る。なお、学習結果としての価値関数を記憶する方法としては、近似関数を用いる方法や、配列を用いる方法を一般的に用いられる。但し、これらの方法以外にも、例えば状態が多くの状態を取るような場合には状態ｓt、行動ａtを入力として価値を出力する多値出力のＳＶＭやニューラルネットワーク等の教師あり学習器を用いる方法などが用いられてもよい。
【0058】
上述の通り、機械学習装置６１では、状態データと、自身が行ったダスト除去装置５の運転計画の決定により得られる評価結果と、報酬とに基づいて機械学習（強化学習）が繰り返されることにより、より優れた学習結果を得ることができる。このようにして機械学習装置６１が学習した結果、最適なダスト除去装置５の運転計画が確認された段階で機械学習装置６１による学習を完了させてもよい。
【0059】
学習が完了した学習データを用いて実際にダスト除去装置５の運転計画を決定する際には、機械学習装置６１は新たな学習を行なわないようにして、学習完了時の学習データをそのまま使用して繰り返し運転をするようにしてもよい。この場合、運転計画出力部２７は、学習部２５が学習した結果（即ち、学習結果記憶部２６に記憶されている学習結果）と現在の状態データとに基づいて運転計画を決定し、それをダスト除去装置５へ出力する。
【0060】
また、学習が完了した機械学習装置６１の学習機能を有効にしたままとすることで、排熱回収ボイラ４の機器の経年変化などを更に学習させ、排熱回収ボイラ４にとってより良いダスト除去装置５の運転計画を探索することも可能である。
【0061】
以上に説明した通り、本実施形態に係る排熱回収ボイラ４は、排ガスの流路に配列された複数の伝熱管４１から成る伝熱セクションＳと、伝熱セクションＳの伝熱管４１に付着したダストを除去するダスト除去装置５と、ダスト除去運転計画装置６とを備え、ダスト除去運転計画装置６が出力した運転計画に基づいてダスト除去装置５が動作するものである。
【0062】
本実施形態に係るダスト除去運転計画装置６は、伝熱セクションＳの伝熱管４１の汚れ抵抗ｆを演算する汚れ抵抗演算装置６２と、ダスト除去装置５の運転計画の決定を機械学習する機械学習装置６１とを備える。
機械学習装置６１は、
排ガス源における燃料中の化石燃料の投入量に対する代替燃料の投入量の比、代替燃料中のダスト付着に関与する成分の割合、伝熱セクションを通過する排ガスのガス流速、伝熱セクションの入口ガス温度及び出口ガス温度、並びに、汚れ抵抗演算装置６２が求めた汚れ抵抗ｆを、状態データとして取得する状態観測部２１と、
状態データに含まれる汚れ抵抗ｆに基づいて報酬を計算する報酬演算部２４と、
運転計画の決定を機械学習する学習部２５と、
学習部２５による学習結果と状態データとに基づいて報酬が最適となるような運転計画を決定し、決定された運転計画を出力する運転計画出力部２７と、を有する。
そして、学習部２５は、決定された運転計画と、決定された運転計画に基いてダスト除去装置５が動作することにより状態が移行した後に状態観測部２１が取得した状態データと、移行後の状態データに含まれる汚れ抵抗ｆから求めた報酬とに基づいて運転計画の決定（運転計画の選択）を学習する。
機械学習装置６１は、
排ガス源における燃料中の化石燃料の投入量に対する代替燃料の投入量の比、代替燃料中のダスト付着に関与する成分の割合、伝熱セクションを通過する排ガスのガス流速、伝熱セクションの入口ガス温度及び出口ガス温度、並びに、汚れ抵抗演算装置６２が求めた汚れ抵抗ｆを、状態データとして取得する状態観測部２１と、
状態データに含まれる汚れ抵抗ｆに基づいて報酬を計算する報酬演算部２４と、
運転計画の決定を機械学習する学習部２５と、
学習部２５による学習結果と状態データとに基づいて報酬が最適となるような運転計画を決定し、決定された運転計画を出力する運転計画出力部２７と、を有する。
そして、学習部２５は、決定された運転計画と、決定された運転計画に基いてダスト除去装置５が動作することにより状態が移行した後に状態観測部２１が取得した状態データと、移行後の状態データに含まれる汚れ抵抗ｆから求めた報酬とに基づいて運転計画の決定（運転計画の選択）を学習する。
【0063】
本実施形態に示されるように、学習部２５は、例えば、前記状態観測部が取得した前記状態データから特定された状態と、当該状態における前記運転計画の決定とを引数で表現した価値関数（状態行動価値関数Ｑ（ｓt，ａt））を用いて、報酬が最大となるように価値関数を更新するように構成されてよい。
【0064】
また、本実施形態に示されるように、報酬演算部２４は、汚れ抵抗ｆが所定の範囲内にあるときにプラスの報酬を計算し、汚れ抵抗ｆが所定の範囲から逸脱するときに、所定の範囲からの乖離量に対応したマイナスの報酬を計算するように構成されてよい。
【0065】
上記排熱回収ボイラ４及びそのダスト除去運転計画装置６によれば、排ガス源が化石燃料に加えて代替燃料を燃料として使用している排熱回収ボイラ４において、汚れ抵抗ｆが所定範囲に維持されるような最適なダスト除去装置５の運転計画を生成し、それに基づいてダスト除去装置５を動作させることができる。このように伝熱管４１の汚れ抵抗ｆが所定範囲に維持されるので、排熱回収ボイラ４の良好なボイラ性能が維持される。また、ダスト除去装置５の運転が適正化されることによって、過度な運転を回避することができる。これにより、排熱回収ボイラ４の設備疲労到達時間を適正化することができ、ひいては、排熱回収ボイラ４のメンテナンス頻度を適正化することができる。
【0066】
本実施形態に係るダスト除去運転計画装置６において、運転計画は、ダスト除去装置５の運転周期Ｔを含みうる。この場合、報酬演算部２４は、運転周期Ｔの長さが所定の第１閾値以上であるときに、運転周期Ｔの第１閾値からの乖離量（絶対値）に対応したプラスの報酬を計算し、運転周期Ｔの長さが第１閾値未満であるときに運転周期の第１閾値からの乖離量（絶対値）に対応したマイナスの報酬を計算してよい。このような報酬条件は、機械学習装置６１に予め記憶されている。
【0067】
このように報酬に運転周期Ｔが考慮されることによって、運転周期Ｔがより長くなるような運転計画が決定され得る。これにより、ダスト除去装置５の運転頻度が低下し、排熱回収ボイラ４の設備疲労到達時間を適正化することができる。
【0068】
また、本実施形態に係るダスト除去装置５は、伝熱管４１に打撃による振動を加えるように構成されており、運転計画は、打撃回数Ｒを含みうる。この場合、報酬演算部２４は、打撃回数Ｒが所定の第２閾値以下であるときに、打撃回数Ｒの第２閾値からの乖離量（絶対値）に対応したプラスの報酬を計算し、打撃回数Ｒが第２閾値より大きいときに、打撃回数Ｒの第２閾値からの乖離量（絶対値）に対応したマイナスの報酬を計算してよい。このような報酬条件は、機械学習装置６１に予め記憶されている。
【0069】
このように報酬に打撃回数Ｒが考慮されることによって、打撃回数Ｒがより少なくなるような運転計画が決定され得る。これにより、ダスト除去装置５が伝熱管４１に与える衝撃が適正化され、排熱回収ボイラ４の設備疲労到達時間を適正化することができる。
【0070】
また、本実施形態に係るダスト除去装置５は、伝熱管４１に打撃による振動を加えるように構成されており、運転計画は、打撃力Ｆを含みうる。この場合、報酬演算部２４は、打撃力Ｆが第３閾値以下であるときに、打撃力Ｆの第３閾値からの乖離量（絶対値）に対応したプラスの報酬を計算し、打撃力が第３閾値より大きいときに、打撃力の第３閾値からの乖離量（絶対値）に対応したマイナスの報酬を計算する。このような報酬条件は、機械学習装置６１に予め記憶されている。
【0071】
このように報酬に打撃力Ｆが考慮されることによって、打撃力Ｆがより少なくなるような運転計画が決定され得る。これにより、ダスト除去装置５が伝熱管４１に与える衝撃が適正化され、排熱回収ボイラ４の設備疲労到達時間を適正化することができる。
【0072】
以上に本発明の好適な実施の形態を説明したが、本発明の思想を逸脱しない範囲で、上記実施形態の具体的な構造及び／又は機能の詳細を変更したものも本発明に含まれ得る。上記の排熱回収ボイラ４の構成は、例えば、以下のように変更することができる。
【0073】
例えば、本実施形態に係る排熱回収ボイラ４のダスト除去装置５は、ハンマリング式であるが、ダスト除去装置５はこれに限定されない。ダスト除去装置５として、圧縮空気又は蒸気を伝熱管４１に吹き付けてその表面に付着したダストを吹き飛ばすもの（スートブロア式）、圧力波により発生した風圧及び振動で伝熱管４１の表面に付着したダストを除去するもの（圧力波式）、及び、伝熱管４１の表面に付着したダストにスクレーパを接触させて亀裂を生じさせることによりダストを剥離させるもの（スクレーパ式）、などの公知のダスト除去装置が採用されてもよい。
【符号の説明】
【0074】
４ ：排熱回収ボイラ
５ ：ダスト除去装置
６ ：ダスト除去運転計画装置
２１ ：状態観測部
２２ ：状態データ記憶部
２４ ：報酬演算部
２５ ：学習部
２６ ：学習結果記憶部
２７ ：運転計画出力部
４０ ：ケーシング
４０ｉｎ ：ボイラ入口
４０ｏｕｔ ：ボイラ出口
４１ ：伝熱管
４２ ：連結軸
４３ ：被打撃部
４５ ：ハンマー装置
４６ ：当板
４７ ：連結具
５５ ：コンベア
６１ ：機械学習装置
６２ ：汚れ抵抗演算装置
５ ：ダスト除去装置
６ ：ダスト除去運転計画装置
２１ ：状態観測部
２２ ：状態データ記憶部
２４ ：報酬演算部
２５ ：学習部
２６ ：学習結果記憶部
２７ ：運転計画出力部
４０ ：ケーシング
４０ｉｎ ：ボイラ入口
４０ｏｕｔ ：ボイラ出口
４１ ：伝熱管
４２ ：連結軸
４３ ：被打撃部
４５ ：ハンマー装置
４６ ：当板
４７ ：連結具
５５ ：コンベア
６１ ：機械学習装置
６２ ：汚れ抵抗演算装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】