特許 7625208 逆強化学習方法及び逆強化学習装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-24

(45)【発行日】2025-02-03

(54)【発明の名称】逆強化学習方法及び逆強化学習装置

(51)【国際特許分類】

   G06N 20/00 20190101AFI20250127BHJP

   G06N 3/092 20230101ALI20250127BHJP

【ＦＩ】

G06N20/00

G06N3/092

【請求項の数】 8

(21)【出願番号】P 2021023072

(22)【出願日】2021-02-17

(65)【公開番号】P2022125475

(43)【公開日】2022-08-29

【審査請求日】2024-01-24

(73)【特許権者】

【識別番号】000006208

【氏名又は名称】三菱重工業株式会社

(73)【特許権者】

【識別番号】304021831

【氏名又は名称】国立大学法人千葉大学

(74)【代理人】

【識別番号】110000785

【氏名又は名称】ＳＳＩＰ弁理士法人

(72)【発明者】

【氏名】中川 陽介

(72)【発明者】

【氏名】小野 仁意

(72)【発明者】

【氏名】筈井 祐介

(72)【発明者】

【氏名】荒井 幸代

(72)【発明者】

【氏名】中田 勇介

【審査官】山本 俊介

(56)【参考文献】

【文献】国際公開第２０１７／１６３５３８（ＷＯ，Ａ１）

【文献】大里 虹平ほか，"模倣学習を用いた動画からの動作獲得"，情報処理学会研究報告 コンピュータビジョンとイメージメディア（ＣＶＩＭ），一般社団法人情報処理学会，2019年，第2019-CVIM-217巻, 第11号，pp. 1-4，ISSN 2188-8701

【文献】中田 勇介ほか，"エキスパートが複数の環境で生成した軌跡から報酬を推定するベイジアン逆強化学習"，２０１９年度人工知能学会全国大会（第３３回），一般社団法人人工知能学会，2019年

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

エキスパートの行動の軌跡を示すエキスパートデータに基づく逆強化学習を実行して、複数の環境条件に共通の第１報酬関数を生成する報酬関数生成ステップと、
前記報酬関数生成ステップで生成された前記第１報酬関数と、前記複数の環境条件又は前記複数の環境条件を代表する環境条件におけるエージェントの行動の軌跡を示すエージェントデータとに基づく強化学習を実行して、前記複数の環境条件に共通の第１方策関数を生成する方策関数生成ステップと、
を備える逆強化学習方法。

【請求項2】

前記エージェントデータは、前記複数の環境条件における前記エージェントの行動の軌跡を示すデータである、請求項１に記載の逆強化学習方法。

【請求項3】

前記環境条件を一定の周期で切り替えて前記エージェントデータを生成するエージェントデータ生成ステップを更に備え、
前記方策関数生成ステップでは、前記報酬関数生成ステップで生成された前記第１報酬関数と、前記エージェントデータ生成ステップで生成された前記エージェントデータとに基づく強化学習を実行して、前記複数の環境条件に共通の前記第１方策関数を生成する、請求項２に記載の逆強化学習方法。

【請求項4】

前記一定の周期は、エピソードのｎ倍（ただしｎは自然数である。）の周期である、請求項３に記載の逆強化学習方法。

【請求項5】

前記報酬関数生成ステップでは、前記複数の環境条件について前記環境条件ごとに逆強化学習を実行することによって複数の第２報酬関数を生成し、前記複数の第２報酬関数を組み合わせることによって前記第１報酬関数を生成する、請求項１に記載の逆強化学習方法。

【請求項6】

前記エージェントデータは、前記複数の環境条件を代表する環境条件におけるエージェントの行動の軌跡を示すデータである、請求項５に記載の逆強化学習方法。

【請求項7】

前記複数の環境条件を代表する環境条件は、前記複数の環境条件の平均値、中間値又は最頻値である、請求項６に記載の逆強化学習方法。

【請求項8】

エキスパートの行動の軌跡を示すエキスパートデータに基づく逆強化学習を実行して、複数の環境条件に共通の第１報酬関数を生成するように構成された報酬関数生成装置と、
前記報酬関数生成装置によって生成された前記第１報酬関数と、前記複数の環境条件又は前記複数の環境条件を代表する環境条件におけるエージェントの行動の軌跡を示すエージェントデータとに基づく強化学習を実行して、前記複数の環境条件に共通の第１方策関数を生成するように構成された方策関数生成装置と、
を備える逆強化学習装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、逆強化学習方法及び逆強化学習装置に関する。

【背景技術】

【0002】

環境から得られる報酬を最大化するように方策を求める強化学習（Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ： ＲＬ）技術があり、プラント運転の自動化などへの適用が検討されている。また、強化学習に用いる報酬関数の設計が難しいため、エキスパート（熟練者）操作を示すエキスパートデータに基づいて報酬関数を推定する逆強化学習手法が提案されている。

【0003】

逆強化学習で得られる報酬関数や、それを用いた強化学習により得られる方策関数は、環境条件によって適した関数の仕様が変化する。この点、特許文献１に記載の逆強化学習では、適用環境を分類し、用いる報酬関数や方策関数を適用環境に応じて切り替えることにより、環境に適した関数が用いられている。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第２０１７／１６３５３８号

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述のように、特許文献１に記載の手法では、適用環境を分類し、用いる報酬関数や方策関数を適用環境に応じて切り替えている。このため、環境認識（分類）に関する学習が必要であり、得られる方策の善し悪しに環境認識の結果が影響することから、学習を効率的に進めることが困難である。

【0006】

上述の事情に鑑みて、本開示は、複数の環境条件に適用可能な報酬関数及び方策関数を生成して効率的な学習を実現することができる逆強化学習方法及び逆強化学習装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するため、本開示の少なくとも一実施形態に係る逆強化学習方法は、
複数の環境条件におけるエキスパートの行動の軌跡を示すエキスパートデータに基づく逆強化学習を実行して、前記複数の環境条件に共通の第１報酬関数を生成する報酬関数生成ステップと、
前記報酬関数生成ステップで生成された前記第１報酬関数と、前記複数の環境条件又は前記複数の環境条件を代表する環境条件におけるエージェントの行動の軌跡を示すエージェントデータとに基づく強化学習を実行して、前記複数の環境条件に共通の第１方策関数を生成する方策関数生成ステップと、
を備える。

【0008】

上記目的を達成するため、本開示の少なくとも一実施形態に係る逆強化学習装置は、
複数の環境条件におけるエキスパートの行動の軌跡を示すエキスパートデータに基づく逆強化学習を実行して、前記複数の環境条件に共通の第１報酬関数を生成するように構成された報酬関数生成装置と、
前記報酬関数生成装置によって生成された前記第１報酬関数と、前記複数の環境条件又は前記複数の環境条件を代表する環境条件におけるエージェントの行動の軌跡を示すエージェントデータとに基づく強化学習を実行して、前記複数の環境条件に共通の第１方策関数を生成するように構成された方策関数生成装置と、
を備える。

【発明の効果】

【0009】

本開示によれば、複数の環境条件に適用可能な報酬関数及び方策関数を生成して効率的な学習を実現することができる逆強化学習方法及び逆強化学習装置が提供される。

【図面の簡単な説明】

【0010】

【図1】一実施形態に係る逆強化学習システム２の機能的な概略構成を示す図である。

【図2】逆強化学習装置４のハードウェア構成の一例を示す図である。

【図3】一実施形態に係る逆強化学習システム２（２Ａ）における学習フローの一例を示すフローチャートである。

【図4】逆強化学習装置４の学習対象を含む蒸気系統５０を示す概略図である。

【図5】弁Ｖ１～Ｖ３の弁開度、暖気操作対象部６２の温度及び暖気操作対象部６２の圧力を時系列で示す図である。

【図6】複数の環境条件ｊ（ｊ＝１～４）の各々について、蒸気ヘッダ５２の蒸気の圧力Ｐ０と温度Ｔ０との組み合わせを示す図である。

【図7A】暖気操作対象部６２の蒸気の圧力を時系列で示す図である。

【図7B】暖気操作対象部６２の蒸気の温度を時系列で示す図である。

【図7C】暖気操作対象部６２の蒸気の温度と圧力の関係を示す図である。

【図8A】弁Ｖ３の開度を時系列で示す図である。

【図8B】弁Ｖ１の開度を時系列で示す図である。

【図8C】弁Ｖ３の開度と弁Ｖ１の開度との関係を示す図である。

【図9】一実施形態に係る逆強化学習システム２（２Ｂ）における学習フローの他の一例を示すフローチャートである。

【図10】複数の報酬関数Ｒ２の単純平均によって生成された報酬関数Ｒ３の一例を示す図である。

【図11】逆強化学習システム２（２Ａ）と逆強化学習システム２（２Ｂ）について、環境条件の変化と得られる方策関数（Π１又はΠ３）の最適性との関係を模式的に示す図である。

【図12】暖気操作対象部６２における蒸気温度の絶対値と蒸気圧の絶対値との関係を示す図である。

【図13】暖気操作対象部６２における蒸気温度の相対値と蒸気圧の相対値との関係を示す図である。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して本開示の幾つかの実施形態について説明する。ただし、実施形態として記載されている又は図面に示されている構成部品の寸法、材質、形状、その相対的配置等は、発明の範囲をこれに限定する趣旨ではなく、単なる説明例にすぎない。
例えば、「ある方向に」、「ある方向に沿って」、「平行」、「直交」、「中心」、「同心」或いは「同軸」等の相対的或いは絶対的な配置を表す表現は、厳密にそのような配置を表すのみならず、公差、若しくは、同じ機能が得られる程度の角度や距離をもって相対的に変位している状態も表すものとする。
例えば、「同一」、「等しい」及び「均質」等の物事が等しい状態であることを表す表現は、厳密に等しい状態を表すのみならず、公差、若しくは、同じ機能が得られる程度の差が存在している状態も表すものとする。
例えば、四角形状や円筒形状等の形状を表す表現は、幾何学的に厳密な意味での四角形状や円筒形状等の形状を表すのみならず、同じ効果が得られる範囲で、凹凸部や面取り部等を含む形状も表すものとする。
一方、一の構成要素を「備える」、「具える」、「具備する」、「含む」、又は、「有する」という表現は、他の構成要素の存在を除外する排他的な表現ではない。

【0012】

図１は、一実施形態に係る逆強化学習システム２の機能的な概略構成を示す図である。図２は、逆強化学習装置４のハードウェア構成の一例を示す図である。

【0013】

逆強化学習システム２は、例えば不図示のプラントの運転制御を学習してプラントの運転支援に利用されてもよく、例えばプラントの運転の自動化やスキルの低い運転員を支援するために利用されてもよい。

【0014】

図１に示すように、逆強化学習システム２は、逆強化学習装置４及び環境５を備える。逆強化学習装置４は環境５内におかれたエージェントに相当し、環境５に対して行動ａを実行する。環境５は、逆強化学習装置４（エージェント）から行動ａを受け取り、環境の状態ｓの更新と逆強化学習装置４に対する報酬の付与とを行う。

【0015】

逆強化学習装置４は、例えば敵対的ネットワーク（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ： ＧＡＮ）を利用した敵対的逆強化学習（Ａｄｖｅｒｓａｒｉａｌ Ｉｎｖｅｒｓｅ Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ： ＡＩＲＬ）を行うように構成されていてもよい。環境５は、現実の環境であってもよいし、現実の環境を模した物理シミュレータであってもよい。

【0016】

本明細書では、「行動」とは、逆強化学習装置４が環境５に対して実行する行動を意味し、「状態」とは環境５から観測された状態（観測量）を意味し、「方策」とは、行動を決めるためのルールを意味し、「報酬」とは、行動に対する善し悪しの評価値を意味する。また、「軌跡データ」とは、状態（観測量）に紐付けられた行動の軌跡（行動と状態との組み合わせの軌跡）を示す時系列データを意味する。

【0017】

図１に示すように、逆強化学習装置４は、報酬関数生成部６（報酬関数学習部）、方策関数生成部８（方策関数学習部）及び記憶部１０を含む。ここでは、図１に示す構成の概略的な説明を行い、詳細な説明については後述する。

【0018】

報酬関数生成部６は、エキスパート（熟練者）の行動ａの軌跡を示すエキスパートデータに基づく逆強化学習を実行して複数の環境条件に共通の報酬関数Ｒ１を生成する。ここでは、報酬関数生成部６は、記憶部１０に記憶されたエキスパートデータと、環境５から受け取った観測量（状態ｓ）とに基づく逆強化学習を実行して複数の環境条件に共通の報酬関数Ｒ１を生成する。エキスパートデータは、状態ｓに紐づけられた行動ａの軌跡（状態ｓとエキスパートの行動ａとの組み合わせの軌跡）を示す軌跡データであり、複数の環境条件におけるエキスパートデータが記憶部１０に記憶されている。報酬関数生成部６は、エキスパートデータ及び観測量を入力とし報酬関数Ｒ１を出力とするニューラルネットワークを含む。

【0019】

方策関数生成部８は、報酬関数生成部６によって生成された報酬関数Ｒ１と、環境５から観測された観測量（状態ｓ）とに基づく強化学習を実行して、複数の環境条件に共通の方策関数Π１を生成する。方策関数生成部８は、報酬関数Ｒ１と環境５から観測された観測量とを入力とし、方策関数Π１を出力とするニューラルネットワークを含む。また、方策関数生成部８は、環境５から観測された観測量と生成した方策関数Π１とに基づいて行動ａを決定し、環境５に行動ａを入力する。

【0020】

図２に示すように、逆強化学習装置４は、例えばプロセッサ７２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７４、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）７６、ＨＤＤ （Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）７８、入力Ｉ／Ｆ８０、及び出力Ｉ／Ｆ８２を含み、これらがバス８４を介して互いに接続されたコンピュータを用いて構成される。また逆強化学習装置４は、逆強化学習装置４の各機能を実現するプログラムをコンピュータが実行することにより構成される。以下で説明する逆強化学習装置４における各部の機能は、例えばＲＯＭ７６に保持されるプログラムをＲＡＭ７４にロードしてプロセッサ７２で実行するとともに、ＲＡＭ７４やＲＯＭ７６におけるデータの読み出し及び書き込みを行うことで実現される。環境５が物理シミュレータである場合には、物理シミュレータも同様に、プロセッサ、ＲＡＭ、ＲＯＭ、ＨＤＤ、入力Ｉ／Ｆ、及び出力Ｉ／Ｆを含み、これらがバスを介して互いに接続されたコンピュータを用いて構成されてもよい。

【0021】

次に、図３を用いて上記逆強化学習システム２の具体例を説明する。図３は、一実施形態に係る逆強化学習システム２（２Ａ）における学習フローの一例を示すフローチャートである。ここでは、環境５が物理シミュレータである場合を例に説明する。

【0022】

Ｓ１０１において、環境５が満たす条件（前提条件）である環境条件ｊが設定又は変更される。ｊは、環境条件のフラグであり、ここでは、ｊは１からｊｍａｘまでの整数である。次に、Ｓ１０２において、環境５の状態ｓを初期化（リセット）する。そして、Ｓ１０３において、方策関数生成部８によって生成された方策関数Π１（第１方策関数）を用いて、行動ａと環境５の状態ｓとの組み合わせの軌跡データ（エージェントデータ）を１エピソード分計算し、Ｓ１０４でその軌跡データを記憶部１０に一時的に保存する。

【0023】

Ｓ１０５において、軌跡データのサンプリングが完了したか否かを判断する。Ｓ１０５では、例えば、複数の環境条件ｊ（ｊ＝１～ｊｍａｘ）の各々においてサンプリングした軌跡データのエピソード数が規定数に達した場合に軌跡データのサンプリングが完了したと判断してもよいし、計算の経過時間が規定時間に到達した場合に軌跡データのサンプリングが完了したと判断してもよいし、その他の基準で軌跡データのサンプリングが完了したと判断してもよい。

【0024】

Ｓ１０５において、軌跡データのサンプリングが完了していないと判断された場合には、Ｓ１０６において環境条件ｊを更新する。Ｓ１０６において、ｊ≠ｊｍａｘを満たす場合にはｊに１を加算し、Ｓ１０１に戻る。Ｓ１０６において、ｊ＝ｊｍａｘを満たす場合にはｊを１に更新し、Ｓ１０１に戻る。

【0025】

Ｓ１０５において、軌跡データのサンプリングが完了したと判断された場合には、Ｓ１０７において、現在の学習ステップ数Ｎが学習の最大ステップ数Ｎｍａｘ以上であるか否かを判断する。Ｓ１０７において現在の学習ステップ数Ｎが学習の最大ステップ数Ｎｍａｘ以上であると判断された場合には、学習を完了する。Ｓ１０７において現在の学習ステップ数Ｎが学習の最大ステップ数Ｎｍａｘ以上ではないと判断された場合には、Ｓ１０８において、Ｓ１０４で一時的に保存した軌跡データを記憶部１０から読み出して報酬関数Ｒ１及び方策関数Π１を学習する。

【0026】

Ｓ１０８では、記憶部１０に保存された軌跡データ（Ｓ１０４で一時保存した軌跡データ）と、記憶部１０に保存されたエキスパートデータとの比較に基づく逆強化学習を実行することによって、報酬関数生成部６が報酬関数Ｒ１（第１報酬関数）を生成する。また、Ｓ１０８では、記憶部１０に保存された軌跡データ（Ｓ１０４で一時保存した軌跡データ）と、報酬関数生成部６が生成した報酬関数Ｒ１とに基づく強化学習を実行して、方策関数生成部８が方策関数Π１を生成する。そして、Ｓ１０９において、現在の学習ステップ数Ｎに１を加算し、Ｓ１０６に戻って次の学習ステップ数の学習を行う。なお、現在の学習ステップ数ＮにおいてＳ１０８で生成された方策関数Π１は、次の学習ステップ数のＳ１０３において状態ｓと行動ａとの組み合わせの軌跡データ（エージェントデータ）を１エピソード分計算する際に使用される。

【0027】

以上に示した学習フローでは、逆強化学習を実行する環境条件を一定の周期ごとに（上記の例ではエピソードごとに）順番に切り替えている。例えば、逆強化学習を行う環境条件が４つある場合（例えば環境条件Ａ、環境条件Ｂ、環境条件Ｃ及び環境条件Ｄについて逆強化学習を行う場合）には、環境条件Ａ、環境条件Ｂ、環境条件Ｃ、環境条件Ｄ、環境条件Ａ、環境条件Ｂ、環境条件Ｃ、環境条件Ｄ・・・と切り替えて得られた軌跡データを学習する。また、報酬関数生成部６によって生成する報酬関数Ｒ１は、逆強化学習を行う複数の環境条件に共通の報酬関数であり、方策関数生成部８によって生成する方策関数Π１は、それらの複数の環境条件に共通の方策関数である。

【0028】

したがって、複数の異なる環境条件に適用可能な報酬関数Ｒ１及び方策関数Π１を生成することができ、環境条件に応じて報酬関数を切り替える必要がなく、環境条件に応じて方策関数を切り替える必要がない。このため、環境条件ごとに学習することなく、効率的な学習を実現することができる。また、環境を識別することが不要となる。

【0029】

次に、上記逆強化学習装置４を蒸気タービンにおける蒸気配管の暖気操作に適用する例を説明する。図４は、逆強化学習装置４の学習対象を含む蒸気系統５０を示す概略図である。

【0030】

蒸気系統５０は、蒸気ヘッダ５２、蒸気タービン５４、蒸気ライン５６、バイパスライン５８、分岐ライン６０、弁Ｖ１、弁Ｖ２、弁Ｖ３及びタービン入口仕切弁Ｖ４を備える。

【0031】

蒸気ライン５６は蒸気ヘッダ５２と蒸気タービン５４とを接続しており、弁Ｖ１は蒸気ライン５６に設けられている。バイパスライン５８は、蒸気ライン５６における弁Ｖ１よりも上流側で蒸気ライン５６から分岐して、弁Ｖ１をバイパスし、蒸気ライン５６における弁Ｖ１よりも下流側で蒸気ライン５６に合流する。弁Ｖ２はバイパスライン５８に設けられている。分岐ライン６０は、バイパスライン５８が蒸気ライン５６に合流する位置よりも下流側で蒸気ライン５６から分岐しており、弁Ｖ３は分岐ライン６０に設けられている。蒸気ライン５６から分岐ライン６０が分岐する位置と蒸気タービン５４との間には、タービン入口仕切弁Ｖ４が設けられている。蒸気ヘッダ５２における蒸気の圧力をＰ０、蒸気ヘッダ５２における蒸気の温度をＴ０とする。

【0032】

このような構成において、図４において破線で囲った部分（蒸気ライン５６における弁Ｖ１とタービン入口仕切弁Ｖ４との間の部分。以下、暖気操作対象部６２という。）の暖気操作を学習対象とする場合の例について説明する。

【0033】

図５の上段部は、弁Ｖ１～Ｖ３の弁開度を時系列で示しており、図５の下段部は、暖気操作対象部６２の温度と圧力を時系列で示している。

【0034】

図５に示す例では、弁Ｖ１～Ｖ３の開度を段階的に操作することにより、暖気操作対象部６２の温度を大気温度から上昇させる昇温工程と、該昇圧工程に続いて暖気操作対象部６２の圧力を蒸気ヘッダ５２の蒸気の圧力Ｐ０まで上昇させる昇圧工程と、該昇圧工程に続いて暖気操作対象部６２の温度を蒸気ヘッダ５２の蒸気の温度Ｔ０まで上昇させる昇温工程とを含んでいる。

【0035】

図５に例示したような弁Ｖ１及びＶ３の開度操作を上述の行動ａとし、暖気操作対象部６２の蒸気の温度及び圧力を上述の観測量（状態ｓ）とし、蒸気ヘッダ５２の蒸気の圧力Ｐ０と温度Ｔ０との組み合わせを上述の環境条件ｊ（図６参照）とした場合について、上記逆強化学習装置４による学習結果を図７Ａ～図７Ｃ、図８Ａ～図８Ｃに示す。なお、図６に示す例では、上述の複数の環境条件ｊは、図６示すように、圧力Ｐ０の許容下限値と温度Ｔ０の許容下限値との組み合わせを示す環境条件（ｊ＝１）と、圧力Ｐ０の許容上限値と温度Ｔ０の許容下限値との組み合わせを示す環境条件（ｊ＝２）と、圧力Ｐ０の許容下限値と温度Ｔ０の許容上限値との組み合わせを示す環境条件（ｊ＝３）と、圧力Ｐ０の許容上限値と温度Ｔ０の許容上限値との組み合わせを示す環境条件（ｊ＝４）とからなる。

【0036】

図７Ａは暖気操作対象部６２の蒸気の圧力を時系列で示しており、図７Ｂは暖気操作対象部６２の蒸気の温度を時系列で示しており、図７Ｃは暖気操作対象部６２の蒸気の温度と圧力の関係を示している。図８Ａは弁Ｖ３の開度を時系列で示しており、図８Ｂは弁Ｖ１の開度を時系列で示しており、図８Ｃは弁Ｖ３の開度と弁Ｖ１の開度との関係を示している。

【0037】

また、図７Ａ～図７Ｃ、図８Ａ～図８Ｃの各々において、細線はエキスパート履歴（上述のエキスパートデータ）を示しており、太線は逆強化学習装置４による学習結果を示している。図７Ａ～図７Ｃ、図８Ａ～図８Ｃの各々に示すように、逆強化学習装置４による学習結果（太線）は、エキスパート履歴（細線）に概ね近似した線となっていることが分かる。

【0038】

次に、図１及び図２に示した逆強化学習システム２について、図３に示した例とは別の具体例について図９を用いて説明する。
図９は、一実施形態に係る逆強化学習システム２（２Ｂ）における学習フローの他の一例を示すフローチャートである。ここでは、環境５が物理シミュレータである場合を例に説明する。

【0039】

Ｓ２０１において、環境５が満たす条件（前提条件）である環境条件ｊが設定又は変更される。ｊは、環境条件のフラグであり、ここでは、ｊは１からｊｍａｘまでの整数である。次に、Ｓ２０２において、環境５の状態ｓを初期化（リセット）する。そして、Ｓ２０３において、方策関数生成部８によって生成された方策関数Π２（環境条件ｊごとの方策関数）を用いて、環境条件ｊについて状態ｓと行動ａとの組み合わせの軌跡データ（時系列データ）を１エピソード分計算し、Ｓ２０４でその軌跡データを記憶部１０に一時的に保存する。

【0040】

Ｓ２０５において、軌跡データのサンプリングが完了したか否かを判断する。Ｓ２０５では、例えば、環境条件ｊにおいてサンプリングした軌跡データのエピソード数が規定数に達した場合に軌跡データのサンプリングが完了したと判断してもよいし、計算の経過時間が規定時間に到達した場合に軌跡データのサンプリングが完了したと判断してもよいし、その他の基準で軌跡データのサンプリングが完了したと判断してもよい。

【0041】

Ｓ２０５において、軌跡データのサンプリングが完了していないと判断された場合には、環境条件ｊを維持したまま、Ｓ２０２に戻って、再びＳ２０２～Ｓ２０５を繰り返す。

【0042】

Ｓ２０５において、軌跡データのサンプリングが完了したと判断された場合には、Ｓ２０６において、現在の学習ステップ数Ｎが学習の最大ステップ数Ｎｍａｘ以上であるか否かを判断する。Ｓ２０６において現在の学習ステップ数Ｎが学習の最大ステップ数Ｎｍａｘ以上ではないと判断された場合には、Ｓ２０７において、Ｓ２０４で一時的に保存した軌跡データを記憶部１０から読み出して報酬関数Ｒ２及び方策関数Π２を学習する。

【0043】

Ｓ２０７では、記憶部１０に保存された軌跡データ（Ｓ２０４で一時保存した、環境条件ｊごとの軌跡データ）と、記憶部１０に保存された環境条件ｊごとエキスパートデータとの比較に基づいて、報酬関数生成部６が環境条件ｊごとの報酬関数Ｒ２を生成する。また、Ｓ２０７では、記憶部１０に保存された軌跡データ（Ｓ２０４で一時保存した、環境条件ｊごとの軌跡データ）と、報酬関数生成部６が生成した報酬関数Ｒ２（環境条件ｊごとの報酬関数Ｒ２）とに基づいて、方策関数生成部８が環境条件ｊごとの方策関数Π２を生成する。そして、Ｓ２０８において、現在の学習ステップ数Ｎに１を加算し、Ｓ２０２に戻って次の学習ステップ数の学習を行う。なお、現在の学習ステップ数ＮにおいてＳ２０７で生成された方策関数Π２（環境条件ｊごとの方策関数Π２）は、次の学習ステップ数のＳ２０３において状態ｓと行動ａとの組み合わせの軌跡データ（エージェントデータ）を１エピソード分計算する際に使用される。

【0044】

Ｓ２０６において、現在の学習ステップ数Ｎが学習の最大ステップ数Ｎｍａｘ以上であると判断された場合には、Ｓ２０９において、環境条件ｊがｊｍａｘ以上であるか否かが判断される。Ｓ２０９において、環境条件ｊがｊｍａｘ以上でないと判断された場合には、Ｓ２１０において、環境条件ｊに１を加算することにより環境条件ｊを更新し、Ｓ２０１に戻る。Ｓ２０９において環境条件ｊがｊｍａｘ以上であると判断された場合には、Ｓ２１１において、複数の環境条件ｊ（ｊ＝１～ｊｍａｘ）を代表する環境条件を設定する。ここでは、複数の環境条件ｊ（ｊ＝１～ｊｍａｘ）を代表する環境条件は、例えば複数の環境条件ｊ（ｊ＝１～ｊｍａｘ）の平均値、中間値又は最頻値であってもよい。

【0045】

次に、Ｓ２１２において、環境５の状態ｓを初期化（リセット）する。そして、Ｓ２１３において、方策関数生成部８によって生成された方策関数Π３（第１方策関数）を用いて、複数の環境条件ｊ（ｊ＝１～ｊｍａｘ）を代表する環境条件について状態ｓと行動ａとの組み合わせの軌跡データ（エージェントデータ）を１エピソード分計算し、Ｓ２１４でその軌跡データを記憶部１０に一時的に保存する。

【0046】

Ｓ２１５において、軌跡データのサンプリングが完了したか否かを判断する。Ｓ２１５では、例えば、複数の環境条件ｊ（ｊ＝１～ｊｍａｘ）を代表する環境条件においてサンプリングした軌跡データのエピソード数が規定数に達した場合に軌跡データのサンプリングが完了したと判断してもよいし、計算の経過時間が規定時間に到達した場合に軌跡データのサンプリングが完了したと判断してもよいし、その他の基準で軌跡データのサンプリングが完了したと判断してもよい。

【0047】

Ｓ２１５において、軌跡データのサンプリングが完了していないと判断された場合には、環境条件を維持したまま、Ｓ２１２に戻って、再びＳ２１２～Ｓ２１５を繰り返す。Ｓ２１５において、軌跡データのサンプリングが完了したと判断された場合には、Ｓ２１６において、現在の学習ステップ数Ｎが学習の最大ステップ数Ｎｍａｘ以上であるか否かを判断する。Ｓ２１６において現在の学習ステップ数Ｎが学習の最大ステップ数Ｎｍａｘ以上ではないと判断された場合には、Ｓ２１７において、Ｓ２１４で一時的に保存した軌跡データ（エージェントデータ）を記憶部１０から読み出して方策関数Π３を学習する。Ｓ１７では、Ｓ２０７において生成した複数の報酬関数Ｒ２（複数の環境条件ｊについて環境条件ごとに作成した報酬関数Ｒ２）を組み合わせることによって新たな報酬関数Ｒ３（第１報酬関数）を生成し、報酬関数Ｒ３と、Ｓ２１４で一時的に保存した軌跡データ（エージェントデータ）とに基づく強化学習を実行して方策関数Ｒ３を生成する。Ｓ２１７では、例えば複数の報酬関数Ｒ２を線形結合することによって報酬関数Ｒ３を生成してもよく、例えば図１０に例示するように、複数の報酬関数Ｒ２の単純平均又は加重平均等によって報酬関数Ｒ３を生成してもよい。

【0048】

そして、Ｓ２１８において現在の学習ステップ数Ｎに１を加算し、Ｓ２１２に戻って環境条件ｊを維持したまま次の学習ステップ数の学習を行う。なお、現在の学習ステップ数ＮにおいてＳ２１７で生成された方策関数Π３は、次の学習ステップ数のＳ２１３において状態ｓと行動ａとの組み合わせの軌跡データ（エージェントデータ）を１エピソード分計算する際に使用される。

【0049】

Ｓ２１６において、現在の学習ステップ数Ｎが学習の最大ステップ数Ｎｍａｘ以上であると判断された場合には、逆強化学習装置４による逆強化学習を完了する。

【0050】

このように、図９に示した学習フローによれば、報酬関数生成部６は、複数の環境条件ｊ（ｊ＝１～ｊｍａｘ）について環境条件ごとに逆強化学習を実行することによって複数の報酬関数Ｒ２を生成し、複数の報酬関数Ｒ２を組み合わせることによって報酬関数Ｒ３を生成する。また、方策関数生成部８は、報酬関数生成部６によって生成された報酬関数Ｒ３と、複数の環境条件ｊ（ｊ＝１～ｊｍａｘ）を代表する環境条件におけるエージェントの行動の軌跡（状態ｓに紐づけられた行動ａの軌跡）を示す軌跡データ（エージェントデータ）とに基づく強化学習を実行して、複数の環境条件ｊ（ｊ＝１～ｊｍａｘ）に共通の方策関数Π３を生成する。

【0051】

したがって、複数の異なる環境条件に適用可能な報酬関数Ｒ３及び方策関数Π３を生成することができ、環境条件に応じて報酬関数を切り替える必要がなく、環境条件に応じて方策関数を切り替える必要がない。このため、効率的な学習を実現することができる。

【0052】

また、複数の環状条件ｊ（ｊ＝１～ｊｍａｘ）を代表する環境条件として、複数の環境条件ｊの平均値、中間値又は最頻値を使用することにより、複数の環境条件に適した報酬関数Ｒ３及び方策関数Π３を生成することができる。

【0053】

ここで、上記逆強化学習システム２（２Ａ）と上記逆強化学習システム２（２Ｂ）との使い分けについて図１１を用いて説明する。図１１は、逆強化学習システム２（２Ａ）と逆強化学習システム２（２Ｂ）について、環境条件の変化と得られる方策関数（Π１又はΠ３）の最適性との関係を模式的に示す図である。

【0054】

図１１に示すように、逆強化学習システム２（２Ａ）では、環境条件の広範囲に亘って安定的に環境条件に適した方策関数を得ることができる。また、逆強化学習システム２（２Ｂ）では、Ｓ２１１で設定した環境条件の代表値付近では逆強化学習システム２（２Ａ）よりも環境条件に適した方策関数を得ることができる。また、逆強化学習システム２（２Ｂ）では、Ｓ２１１で設定した環境条件の代表値から離れるにつれて徐々に最適性が低下するため、当該代表値からある程度離れた環境条件では、逆強化学習システム２（２Ａ）の方が逆強化学習システム２（２Ｂ）よりも環境条件に適した方策関数を得ることができる。

【0055】

このため、得られる方策について最適性の優先度を下げてでもロバスト性を重視する場合には、逆強化学習システム２（２Ａ）を選択し、得られる方策についてロバスト性の優先度を下げてでも代表値付近での最適性を重視する場合には、逆強化学習システム２（２Ｂ）を選択してもよい。

【0056】

本開示は上述した実施形態に限定されることはなく、上述した実施形態に変形を加えた形態や、これらの形態を適宜組み合わせた形態も含む。

【0057】

例えば、幾つかの実施形態では、上記逆強化学習システム２（２Ａ）及び２（２Ｂ）において、逆強化学習装置４が環境５から観測する観測量（状態ｓ）は、複数の環境条件ｊ（ｊ＝１～ｊｍａｘ）の間で共通化された指標となるように、正規化された相対値であってもよい。

【0058】

例えば図４～図８Ｃを用いて説明した蒸気タービンにおける蒸気配管の暖気操作の例では、暖気操作対象部６２の昇圧操作を対象とするプロセスにおいて、暖気操作対象部６２の目標圧力（暖気操作対象部６２の圧力の終端条件、すなわち上記の例では蒸気ヘッダ５２の蒸気の圧力Ｐ０）が環境条件ｊ（ｊ＝１～ｊｍａｘ）によって異なる場合、昇圧中の圧力を図１２に示すようにそのまま観測量の絶対値として用いるのではなく、図１３に示すように運転圧力（暖気操作対象部６２の圧力）を目標圧力で除算することで正規化（相対値化）した値を観測量として用いてもよい。これにより、複数の環境条件ｊ（ｊ＝１～ｊｍａｘ）について、環境が異なっていても操作内容が同じ場合に、観測量を共通した指標として扱うことができる。

【0059】

このように、観測量の正規化に用いる分母をセンサーレンジではなく目標圧力（観測量の終端条件）とすることにより、どの環境条件でも補正された観測量を終端条件（すなわち１）に近づけるように学習させることができ、異なる環境条件（運転条件）での学習が容易になる。図１２に示す例では、複数の環境条件ｊについて、圧力レベルが異なるために観測量の絶対値を用いると大きく異なるものとして学習するが、図１３に示すように相対値化することにより、複数の環境条件が類似したものとして取り扱うことができ、効率的に学習することができる。

【0060】

なお、図１３に示した例では、運転圧力（暖気操作対象部６２の圧力）を目標圧力で除算することで正規化（相対値化）した値を観測量として用いたが、他の実施形態では、例えば目標圧力から運転圧力（暖気操作対象部６２の圧力）を減じた差分値を観測量として用いてもよい。

【0061】

上記各実施形態に記載の内容は、例えば以下のように把握される。

【0062】

（１）本開示の少なくとも一実施形態に係る逆強化学習方法は、
エキスパートの行動の軌跡を示すエキスパートデータに基づく逆強化学習を実行して、複数の環境条件件（例えば上述の複数の環境条件ｊ（ｊ＝１～ｊｍａｘ））に共通の第１報酬関数（例えば上述の報酬関数Ｒ１又はＲ３）を生成する報酬関数生成ステップと、
前記報酬関数生成ステップで生成された前記第１報酬関数と、前記複数の環境条件又は前記複数の環境条件を代表する環境条件におけるエージェントの行動の軌跡を示すエージェントデータとに基づく強化学習を実行して、前記複数の環境条件に共通の第１方策関数（例えば上述の方策関数Π１又はΠ３）を生成する方策関数生成ステップと、
を備える。

【0063】

上記（１）に記載の逆強化学習方法によれば、複数の環境条件に適用可能な報酬関数及び方策関数を生成することができ、環境条件に応じて報酬関数を切り替える必要がなく、環境条件に応じて方策関数を切り替える必要がない。このため、効率的な学習を実現することができる。

【0064】

（２）幾つかの実施形態では、上記（１）に記載の逆強化学習方法において、
前記エージェントデータは、前記複数の環境条件における前記エージェントの行動の軌跡を示すデータである。

【0065】

上記（２）に記載の逆強化学習方法によれば、複数の環境条件におけるエージェントの行動の軌跡を示すエージェントデータを、環境条件を識別することなく効率的に学習することができる。

【0066】

（３）幾つかの実施形態では、上記（２）に記載の逆強化学習方法において、
前記環境条件を一定の周期で切り替えて前記エージェントデータを生成するエージェントデータ生成ステップを更に備え、
前記方策関数生成ステップでは、前記報酬関数生成ステップで生成された前記第１報酬関数と、前記エージェントデータ生成ステップで生成された前記エージェントデータとに基づく強化学習を実行して、前記複数の環境条件に共通の前記第１方策関数を生成する。

【0067】

上記（３）に記載の逆強化学習方法によれば、複数の環境条件におけるエージェントの行動の軌跡を示すエージェントデータを、環境条件を識別することなく効率的に学習することができる。また、環境条件の広範囲に亘って安定的に環境条件に適した方策関数を得ることができる。

【0068】

（４）幾つかの実施形態では、上記（３）に記載の逆強化学習方法において、
前記一定の周期は、エピソードのｎ倍（ただしｎは自然数である。）の周期である。

【0069】

上記（４）に記載の逆強化学習方法によれば、エピソードのｎ倍ごとに環境条件を切り替えてエージェントデータを生成するため、複数の環境条件に共通の前記第１方策関数を効率的に学習することができる。

【0070】

（５）幾つかの実施形態では、上記（１）に記載の逆強化学習方法において、
前記報酬関数生成ステップでは、前記複数の環境条件について前記環境条件ごとに逆強化学習を実行することによって複数の第２報酬関数（例えば上述の報酬関数Ｒ２）を生成し、前記複数の第２報酬関数を組み合わせることによって前記第１報酬関数（例えば上述の報酬関数Ｒ３）を生成する。

【0071】

上記（５）に記載の逆強化学習方法によれば、複数の環境条件に適用可能な第１報酬関数を効率的に学習することができる。

【0072】

（６）幾つかの実施形態では、上記（５）に記載の逆強化学習方法において、
前記エージェントデータは、前記複数の環境条件を代表する環境条件におけるエージェントの行動の軌跡を示すデータである。

【0073】

上記（６）に記載の逆強化学習方法によれば、環境条件の代表値付近では上記（２）～（４）に記載の逆強化学習方法よりも環境条件に適した方策関数を得ることができる。

【0074】

（７）幾つかの実施形態では、上記（６）に記載の逆強化学習方法において、
前記複数の環境条件を代表する環境条件は、前記複数の環境条件の平均値、中間値又は最頻値である。

【0075】

上記（７）に記載の逆強化学習方法によれば、幅広い環境条件に汎用的に適用することができる。

【0076】

（８）本開示の少なくとも一実施形態に係る逆強化学習装置（例えば上述の逆強化学習装置４）は、
エキスパートの行動の軌跡を示すエキスパートデータに基づく逆強化学習を実行して、複数の環境条件（例えば上述の環境条件ｊ（ｊ＝１～ｊｍａｘ））に共通の第１報酬関数（例えば上述の報酬関数Ｒ１又はＲ３）を生成するように構成された報酬関数生成装置（例えば上述の報酬関数生成部６）と、
前記報酬関数生成装置によって生成された前記第１報酬関数と、前記複数の環境条件又は前記複数の環境条件を代表する環境条件におけるエージェントの行動の軌跡を示すエージェントデータとに基づく強化学習を実行して、前記複数の環境条件に共通の第１方策関数（例えば上述の方策関数Π１又はΠ３）を生成するように構成された方策関数生成装置（例えば上述の方策関数生成部８）と、
を備える。

【0077】

上記（８）に記載の逆強化学習装置によれば、複数の環境条件に適用可能な共通の報酬関数及び方策関数を生成することができ、環境条件に応じて報酬関数を切り替える必要がなく、環境条件に応じて方策関数を切り替える必要がない。このため、効率的な学習を実現することができる。

【符号の説明】

【0078】

２ 逆強化学習システム
４ 逆強化学習装置
５ 環境
６ 報酬関数生成部
８ 方策関数生成部
１０ 記憶部
５０ 蒸気系統
５２ 蒸気ヘッダ
５４ 蒸気タービン
５６ 蒸気ライン
５８ バイパスライン
６０ 分岐ライン
６２ 暖気操作対象部
７２ プロセッサ
７４ ＲＡＭ
７６ ＲＯＭ
７８ ＨＤＤ
８０ 入力Ｉ／Ｆ
８２ 出力Ｉ／Ｆ
８４ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図7C】

【図8A】

【図8B】

【図8C】

【図9】

【図10】

【図11】

【図12】

【図13】