特開 2024-118220 強化学習プログラム、情報処理装置および強化学習方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024118220

(43)【公開日】2024-08-30

(54)【発明の名称】強化学習プログラム、情報処理装置および強化学習方法

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240823BHJP

【ＦＩ】

G06N20/00

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023024535

(22)【出願日】2023-02-20

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】檀 隼人

(72)【発明者】

【氏名】石川 菜月

(72)【発明者】

【氏名】大川 佳寛

(72)【発明者】

【氏名】小川 雅俊

(57)【要約】

【課題】学習データにはない文章入力に対しても、認識精度を向上させる。
【解決手段】情報処理装置１は、強化学習におけるポリシーの最適化問題において、信頼領域を設定してポリシーの更新を行う際に、更新前後のポリシーの差を観測し、観測した差が信頼領域のある範囲内に留まるように、ポリシーの更新に至るアルゴリズムの動作に応じて、前記信頼領域の閾値を調整する。かかる情報処理装置１の処理は、例えば、携帯基地局の通信品質を担保しながら、省電力を行う制約条件付きのＣＰＯに適用することができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

強化学習におけるポリシーの最適化問題において、
信頼領域を設定してポリシーの更新を行う際に、更新前後のポリシーの差を観測し、
観測した差が信頼領域のある範囲内に留まるように、ポリシーの更新に至るアルゴリズムの動作に応じて、前記信頼領域の閾値を調整する
処理をコンピュータに実行させることを特徴とする強化学習プログラム。

【請求項2】

前記閾値を調整する処理は、
前記ポリシーの近似解と更新前のポリシーとの差が前記閾値以下であるという制約条件を満たすかどうかを判定し、前記制約条件を満たさないと判定した場合には前記ポリシーの近似解を前記更新前のポリシーに近づけて判定処理を繰り返し、前記制約条件を満たすと判定した場合には前記ポリシーの近似解を更新するという前記アルゴリズムの動作に基づいて、前記閾値を調整する
ことを特徴とする請求項１に記載の強化学習プログラム。

【請求項3】

前記閾値を調整する処理は、最初の前記判定処理で前記制約条件を満たすと判定した場合には、前記閾値を大きくし、最初の前記判定処理で前記制約条件を満たさないと判定した場合でも２回目以降の前記判定処理で前記制約条件を満たすと判定した場合には、前記閾値を所定値分小さくし、２回目以降の前記判定処理で前記制約条件を満たさないと判定した場合には、前記閾値を所定値分大きくする
ことを特徴とする請求項２に記載の強化学習プログラム。

【請求項4】

前記閾値を調整する処理は、前記アルゴリズムの動作により得られた、前記閾値に対する更新前後のポリシーの差に基づいて、前記閾値を調整する
ことを特徴とする請求項１に記載の強化学習プログラム。

【請求項5】

前記閾値を調整する処理は、前記閾値に対する更新前後のポリシーの差が第１の基準値以上である場合に、前記閾値を所定値分大きくし、前記閾値に対する更新前後のポリシーの差が前記第１の基準値未満である場合に、前記閾値を所定値分小さくする
ことを特徴とする請求項４に記載の強化学習プログラム。

【請求項6】

前記閾値を調整する処理は、
前記ポリシーの近似解と更新前のポリシーとの差が前記閾値以下であるという制約条件を満たすかどうかを判定し、前記制約条件を満たさないと判定した場合には前記ポリシーの近似解を前記更新前のポリシーに近づけて判定処理を繰り返し、前記制約条件を満たすと判定した場合には前記ポリシーの近似解を更新するという前記アルゴリズムにおける更新に至る繰り返し回数に基づいて、前記閾値を調整する
ことを特徴とする請求項１に記載の強化学習プログラム。

【請求項7】

前記閾値を調整する処理は、前記繰り返し回数が第２の基準値以上である場合に、前記閾値を所定値分小さくし、前記繰り返し回数が前記第２の基準値未満である場合に、前記閾値を所定値分大きくする
ことを特徴とする請求項６に記載の強化学習プログラム。

【請求項8】

強化学習におけるポリシーの最適化問題において、
信頼領域を設定してポリシーの更新を行う際に、更新前後のポリシーの差を観測する観測部と、
前記観測部によって観測された差が信頼領域のある範囲内に留まるように、ポリシーの更新に至るアルゴリズムの動作に応じて、前記信頼領域の閾値を調整する調整部と、
を有することを特徴とする情報処理装置。

【請求項9】

強化学習におけるポリシーの最適化問題において、
信頼領域を設定してポリシーの更新を行う際に、更新前後のポリシーの差を観測し、
観測した差が信頼領域のある範囲内に留まるように、ポリシーの更新に至るアルゴリズムの動作に応じて、前記信頼領域の閾値を調整する
処理をコンピュータが実行することを特徴とする強化学習方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、強化学習プログラムなどに関する。

【背景技術】

【0002】

従来、ある環境に対してポリシーに基づき行動を決定し、その結果得られる報酬を基にポリシーを更新することで、報酬が最適化されるようにポリシーを更新（改善）していく強化学習（Ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ）の技術がある。

【0003】

ポリシーを更新する手法として、例えば、信頼領域ポリシー最適化（ＴＲＰＯ：Ｔｒｕｓｔ Ｒｅｇｉｏｎ Ｐｏｌｉｃｙ Ｏｐｔｉｍｉｚａｔｉｏｎ）が知られている。かかるＴＲＰＯは、以下の式（１）のように、強化学習におけるポリシーの更新を、更新前と更新後とのポリシー間のＫＬ距離（Ｋｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒ ｄｉｖｅｒｇｅｎｃｅ）の制約条件付き最適化問題として捉える。なお、π_ｏｌｄ，π_ｎｅｗは、更新前，更新後のポリシー（確率分布）である。J（・）は、報酬期待値である。Ｅ［Ｄ_ＫＬ（π_ｎｅｗ||π_ｏｌｄ）］は、更新前と更新後とのポリシー間のＫＬ距離の期待値である。

【数1】

【0004】

Ｄ_ＫＬ（π_ｎｅｗ||π_ｏｌｄ）で表されるＫＬ距離は、２つの確率分布間の差を表す指標である。したがって、ＴＲＰＯは、更新前と更新後とのポリシーの差に上限δを設けたうえで、報酬期待値の向上幅が最大となるポリシーπ_ｎｅｗを求めるアルゴリズムといえる。なお、実際、報酬期待値J（・）やＫＬ距離の期待値Ｅ［Ｄ_ＫＬ（π_ｎｅｗ||π_ｏｌｄ）］を厳密に求めることは困難であるので、更新前のポリシーで収集したデータを用いたポリシーの近似値を使用して報酬期待値やＫＬ距離の期待値を求める。この際、更新前と更新後とのポリシーが大きく異なっていると、近似が使用できないので、信頼できる領域としてＫＬ距離に上限δが設けられている。

【0005】

また、ＴＲＰＯの派生アルゴリズムとしてＣＰＯ（Ｃｏｎｓｔｒａｉｎｅｄ Ｐｏｌｉｃｙ Ｏｐｔｉｍｉｚａｉｏｎ）がある。ＣＰＯは、ポリシーに対して物理的な制約などを考慮する際に用いられるアルゴリズムである。ＣＰＯも、ＴＲＰＯと同様に、ＫＬ距離に上限を設けた最適化問題を考慮し、ポリシーの更新を行う。

【0006】

また、強化学習において、方策（ポリシー）を改善することに関する技術が開示されている（例えば、特許文献１，２参照）。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０２１－０６４２２２号公報

【特許文献2】特開２０２１－０３３３３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

ところで、信頼領域ポリシー最適化（ＴＲＰＯ）のようなＫＬ距離に上限を設けた強化学習において、ＫＬ距離の上限δの値によって学習の進み方が変化することが知られている。しかしながら、学習には多大な時間がかかるため、様々な上限δの値で学習を行い、様々な上限δの値の中で最適な値を見つけるという作業は非効率である。すなわち、学習に最適な上限δの値を自動的に調整するのは難しいという問題がある。

【0009】

本発明は、１つの側面では、ＫＬ距離に上限を設けた強化学習において、学習に最適な上限の値を自動的に調整することを目的とする。

【課題を解決するための手段】

【0010】

１つの態様では、強化学習プログラムは、強化学習におけるポリシーの最適化問題において、信頼領域を設定してポリシーの更新を行う際に、更新前後のポリシーの差を観測し、観測した差が信頼領域のある範囲内に留まるように、ポリシーの更新に至るアルゴリズムの動作に応じて、前記信頼領域の閾値を調整する、処理をコンピュータに実行させる。

【発明の効果】

【0011】

１実施態様によれば、ＫＬ距離に上限を設けた強化学習において、学習に最適な上限の値を自動的に調整することができる。

【図面の簡単な説明】

【0012】

【図1】図１は、実施例１に係る情報処理装置の機能構成の一例を示す図である。

【図2】図２は、実施例１に係る学習で実施されるポリシー更新を説明する図である。

【図3】図３は、実施例１に係るδの調整を説明する図である。

【図4】図４は、実施例１に係る強化学習処理のフローチャートの一例を示す図である。

【図5】図５は、実施例１に係る調整処理のフローチャートの一例を示す図である。

【図6】図６は、実施例２に係る調整処理のフローチャートの一例を示す図である。

【図7】図７は、実施例３に係る調整処理のフローチャートの一例を示す図である。

【図8】図８は、実施例１～３に係る強化学習処理の検証結果の一例を示す図である。

【図9】図９は、強化学習プログラムを実行するコンピュータの一例を示す図である。

【図10】図１０は、上限δを変えて学習の進み方を示すグラフである。

【発明を実施するための形態】

【0013】

以下に、本願の開示する強化学習プログラム、情報処理装置および強化学習方法の実施例を図面に基づいて詳細に説明する。なお、本発明は、実施例により限定されるものではない。

【0014】

まず、強化学習について説明する。強化学習は、ある環境に対してポリシーに基づき行動を決定し、その結果得られる報酬を基にポリシーを更新することで、報酬が最適化されるようにポリシーを更新していく。すなわち、強化学習は、行動や報酬などの履歴をもとにより良いポリシーに更新すべく学習する。

【0015】

強化学習には、信頼領域ポリシー最適化（ＴＲＰＯ）の手法がある。ＴＲＰＯの手法は、強化学習におけるポリシーの更新を、更新前と更新後とのポリシー間のＫＬ距離の制約条件付き最適化問題として捉える。ＴＲＰＯは、前述した式（１）を用いたアルゴリズムである。すなわち、ＴＲＰＯは、更新前と更新後のポリシーの差に上限値（式（１）のδ）を設けたうえで、報酬期待値（式（１）のJ（・））の向上幅が最大となるポリシーを求めるアルゴリズムである。

【0016】

実際、報酬期待値（式（１）のJ（・））やＫＬ距離の期待値（式（１）のＥ［Ｄ_ＫＬ（π_ｎｅｗ||π_ｏｌｄ）］）を厳密に求めることは困難であるので、ＴＲＰＯは、更新前のポリシーで収集したデータを用いたポリシーの近似値を使用して報酬期待値やＫＬ距離の期待値を求める。この際、更新前と更新後とのポリシーが大きく異なっていると、近似が使用できないので、信頼できる領域としてＫＬ距離に上限δが設けられている。

【0017】

ここで、ＴＲＰＯのようなＫＬ距離に上限を設けた強化学習において、ＫＬ距離の上限δの値によって学習の進み方が変化することが知られている。

【0018】

図１０は、上限δを変えて学習の進み方を示すグラフである。各グラフは、上限δの値を「１０^－１」，「１０^－２」，「１０^－３」，「１０^－４」，「１０^－５」とした場合の学習結果である。各グラフは、横軸をポリシー更新回数とし、縦軸を報酬とする。各グラフは、同じ学習を３回実施した結果であり、平均および分散が表されている。黒の実線が平均である。

【0019】

これによると、報酬が早く（少ないポリシー更新回数で）安定的に上昇するのは、上限δが「１０^－３」の場合である。上限δが「１０^－１」については、報酬は上昇しているが、不安定である。上限δが「１０^－２」については、報酬は上昇しているが、分散(ばらつき)が大きい。また、上限δが「１０^－４」や「１０^－５」については、報酬は少しずつ上昇しているものの、学習速度が遅い。このように、上限δは、ポリシー最適化の学習に最適な値があることが示唆される。また、上限δは、対象の問題ごとに異なることが予想される。

【0020】

一般に、学習には多大な時間がかかるため、様々な上限δの値で学習を行い、最適な上限δの値を見つけるという作業は非効率である。すなわち、学習に最適な上限δの値を自動的に調整するのは難しい。

【0021】

そこで、以降の実施例では、更新前と更新後のポリシーの差の上限値δをポリシー最適化の学習と並行して動的に調整して、最適な上限値を探索する手法について説明する。

【実施例0022】

図１は、実施例に係る情報処理装置の機能構成の一例を示すブロック図である。図１に示される情報処理装置１は、強化学習において、信頼領域を設定してポリシーの更新を行う際に、更新前と更新後のポリシーの差を観測し、観測した差が信頼領域のある範囲内に留まるように、信頼領域の閾値（上限値δ）を調整する。すなわち、情報処理装置１は、更新前と更新後のポリシーの差の上限値δをポリシー最適化の学習と並行して動的に調整する。

【0023】

情報処理装置１は、制御部１０と、記憶部２０とを有する。制御部１０は、学習部１１と、調整部１２とを有する。記憶部２０は、学習データ２１を有する。なお、学習部１１は、観測部の一例である。調整部１２は、調整部の一例である。

【0024】

学習データ２１は、学習で用いられるデータを記憶する。学習データ２１は、ポリシーに基づいて行った行動、行動を行った際の環境の状態、得られた報酬をポリシーごとに記憶したログデータである。学習データ２１は、Ｔｒａｊｅｃｔｏｒｙということがある。

【0025】

学習部１１は、信頼領域を設定してポリシーの更新を行う。例えば、学習部１１は、学習データ２１から現在のポリシーに基づきＴｒａｊｅｃｔｏｒｙを収集する。そして、学習部１１は、収集したＴｒａｊｅｃｔｏｒｙを用いて、式（１）の最適化問題を満たすようにポリシーを更新する。すなわち、学習部１１は、式（１）に基づいて、更新前と更新後とのポリシーの差Ｄ_ＫＬ（π||π_ｏｌｄ）（ＫＬ距離）が上限δ以下となるような制約条件を設けたうえで、報酬期待値Ｊ（・）の向上幅が最大となるポリシーπ_ｎｅｗを求めて更新する。なお、制約条件（式（１）右式参照）は、信頼領域の一例である。制約条件の上限値δは、信頼領域の閾値の一例である。

【0026】

実際のアルゴリズムでは、式（１）の最適化問題のポリシーπの厳密解を求めることは困難である。このため、学習部１１は、求解可能である近似した最適化問題の解π^＊ _ｎｅｗを用いたうえで、以下の処理を行う。学習部１１は、解π^＊ _ｎｅｗが更新前の解π_ｏｌｄとの関係で最適化問題の制約条件を満たすかどうかを判定する。すなわち、学習部１１は、近似解π^＊ _ｎｅｗと更新前の解π_ｏｌｄとの差がδ以下であるという制約条件を満たすかどうかを判定する。そして、学習部１１は、近似解π^＊ _ｎｅｗが更新前の解π_ｏｌｄとの関係で最適化問題の制約条件を満たさない場合には、近似解π^＊ _ｎｅｗを更新前の解π_ｏｌｄに近づけて、再度判定処理を行う。そして、学習部１１は、近似解π^＊ _ｎｅｗが更新前の解π_ｏｌｄとの関係で最適化問題の制約条件を満たせば、ポリシーを近似解π^＊ _ｎｅｗに更新する。すなわち、学習部１１は、判定処理を繰り返すことで、式（１）の最適化問題の制約条件を満たすことを保証する。なお、繰り返しの回数は、δの値によって変化する。このように、更新前の解π_ｏｌｄと近似解π^＊ _ｎｅｗとのライン間で制約条件を満たす近似解を探索する処理のことを「ラインサーチ（Ｌｉｎｅ ｓｅａｒｃｈ）」という。

【0027】

ここで、学習部１１の学習で実施されるポリシー更新を、図２を参照して説明する。図２は、実施例１に係る学習で実施されるポリシー更新を説明する図である。図２で示すπ_ｏｌｄは、更新前のポリシーである。図２で示すπ^＊ _ｎｅｗは、π_ｎｅｗの近似解である（例えば式（１）左式参照）。なお、π^＊ _ｎｅｗは、ラインサーチに応じてπ_ｏｌｄとの関係で報酬期待値の向上幅が最大となる近似解となる。

【0028】

このような状況の下、学習部１１は、π^＊ _ｎｅｗが更新前のπ_ｏｌｄとの関係で最適化問題の制約条件を満たすかどうかを判定する（例えば式（１）右式参照）。学習部１１は、近似解π^＊ _ｎｅｗが更新前の解π_ｏｌｄとの関係で最適化問題の制約条件を満たさない場合には、ラインサーチを実行する。すなわち、学習部１１は、近似解π^＊ _ｎｅｗを更新前の解π_ｏｌｄに近づけて（符号ａ１）、新たなπ^＊ _ｎｅｗが更新前のπ_ｏｌｄとの関係で最適化問題の制約条件を満たすかどうかの判定処理を再び行う（例えば式（１）右式参照）。そして、学習部１１は、近似解π^＊ _ｎｅｗが制約条件を満たせば、ポリシーを近似解π^＊ _ｎｅｗに更新する。学習部１１は、近似解π^＊ _ｎｅｗが制約条件を満たさなければ、近似解π^＊ _ｎｅｗが制約条件を満たすまでラインサーチを繰り返す（符号ａ２）。なお、学習部１１は、最初のπ^＊ _ｎｅｗが更新前のπ_ｏｌｄとの関係で最適化問題の制約条件を満たす場合には、ラインサーチに入らないで、更新後のポリシーを最初の近似解π^＊ _ｎｅｗに更新する。

【0029】

図１に戻って、調整部１２は、１回分のポリシーの更新に基づいて、信頼領域の閾値を調整する。例えば、調整部１２は、ラインサーチの動作に着目して、制約条件の上限値δを調整する。

【0030】

一例として、調整部１２は、ラインサーチに入らないで（最初の判定処理で）ポリシーを更新した場合には、上限値δを予め定められた所定値分大きくする。これは、ラインサーチに入らないでも近似解π^＊ _ｎｅｗを更新できたということは、近似の精度が十分であるといえるので、学習速度を向上させるために上限値δを大きくする。なお、所定値は、例えば、上限値δの大きさに応じて予め定義されれば良い。

【0031】

また、調整部１２は、ラインサーチに入ってポリシーの更新に成功した場合には、上限値δを所定値分小さくする。これは、ラインサーチに入って近似解π^＊ _ｎｅｗを更新したということは、近似の精度が十分でないといえるので、近似の精度を良くして正確なポリシーの更新を行わせるために、上限値δを小さくする。

【0032】

また、調整部１２は、ラインサーチでポリシーの更新に失敗した場合には、上限値δを所定値分大きくする。これは、ラインサーチを繰り返した結果π^＊ _ｎｅｗが更新前のπ_ｏｌｄに戻ってしまい、良いポリシーがみつからなかったので、ラインサーチの探索範囲を広げるべく、上限値δを大きくする。

【0033】

ここで、上限値δの調整について、図３を参照して説明する。図３は、実施例１に係るδの調整を説明する図である。図３に示すように、調整部１２は、学習部１１による１回のポリシー更新の都度、上限値δを調整する。すなわち、調整部１２は、上限値δを学習と並行して動的に調整し、最適な値を探索する。ここでは、図３左は、予め定められた上限値δを変更しないで、ポリシーを更新した場合のグラフである。これに対して、図３右は、１回のポリシー更新の結果を踏まえて、上限値δを動的に調整した場合のグラフである。上限値δを動的に調整した場合には、ポリシー更新の回数を重ねるにつれて、上限値δは最適値に向かって調整される。

【0034】

図４は、実施例１に係る強化学習処理のフローチャートの一例を示す図である。なお、図４では、学習部１１は、強化学習の更新前のポリシーとしてπ_ｏｌｄを受け付けたとする。

【0035】

すると、学習部１１は、更新前のポリシーに基づき、学習データ２１からＴｒａｊｅｃｔｏｒｙを収集する（ステップＳ１１）。そして、学習部１１は、最適化問題（１´）を定式化する（ステップＳ１２）。例えば、学習部１１は、収集したＴｒａｊｅｃｔｏｒｙおよび式（１）を用いて、最適化問題を定式化する。

【0036】

そして、学習部１１は、最適化問題（１´）の解π^＊ _ｎｅｗを求める（ステップＳ１３）。例えば、学習部１１は、式（１）左式を用いて、π_ｏｌｄとの関係で報酬期待値の向上幅が最大となる近似解π^＊ _ｎｅｗを求める。

【0037】

そして、学習部１１は、ラインサーチを実行し、ポリシーを更新する（ステップＳ１４）。例えば、学習部１１は、近似解π^＊ _ｎｅｗと更新前の解π_ｏｌｄとの差が上限値δ以下であるという制約条件を満たすかどうかを判定する。そして、学習部１１は、近似解π^＊ _ｎｅｗが更新前の解π_ｏｌｄとの関係で最適化問題の制約条件を満たさない場合には、近似解π^＊ _ｎｅｗを更新前の解π_ｏｌｄに近づけて、再度判定処理を行う。そして、学習部１１は、近似解π^＊ _ｎｅｗが更新前の解π_ｏｌｄとの関係で最適化問題の制約条件を満たせば、ポリシーを近似解π^＊ _ｎｅｗに更新する。

【0038】

続いて、調整部１２は、上限値を示すδの値を調整する（ステップＳ１５）。なお、δの値を調整する処理は、後述する。

【0039】

そして、学習部１１は、ポリシー更新回数が最大か否かを判定する（ステップＳ１６）。ポリシー更新回数が最大でないと判定した場合には（ステップＳ１６；Ｎｏ）、学習部１１は、次のポリシー更新の回の処理をすべく、ステップＳ１１に移行する。

【0040】

一方、ポリシー更新回数が最大であると判定した場合には（ステップＳ１６；Ｙｅｓ）、学習部１１は、強化学習処理を終了する。

【0041】

図５は、実施例１に係る調整処理のフローチャートの一例を示す図である。図５に示すように、調整部１２は、学習部１１によるポリシー更新について、ラインサーチ（Ｌｉｎｅ ｓｅａｒｃｈ）に入ったか否かを判定する（ステップＳ２１）。すなわち、調整部１２は、ラインサーチに入ってポリシー更新をしたか否かを判定する。

【0042】

ラインサーチに入っていないと判定した場合には（ステップＳ２１；Ｎｏ）、調整部１２は、上限値δを所定値分大きくする（ステップＳ２２）。これは、ラインサーチに入らないでも近似解π^＊ _ｎｅｗを更新できたということは、近似の精度が十分であるといえるので、学習速度を向上させるために上限値δを大きくする。そして、調整部１２は、調整処理を終了する。

【0043】

一方、ラインサーチに入ったと判定した場合には（ステップＳ２１；Ｙｅｓ）、調整部１２は、ラインサーチでポリシーの更新に成功したか否かを判定する（ステップＳ２３）。ラインサーチでポリシーの更新に成功しなかった（失敗した）と判定した場合には（ステップＳ２３；Ｎｏ）、調整部１２は、上限値δを所定値分大きくする（ステップＳ２４）。これは、ラインサーチを繰り返した結果π^＊ _ｎｅｗが更新前のπ_ｏｌｄに戻ってしまい、良いポリシーがみつからなかったので、ラインサーチの探索範囲を広げるべく、上限値δを大きくする。そして、調整部１２は、調整処理を終了する。

【0044】

一方、ラインサーチでポリシーの更新に成功したと判定した場合には（ステップＳ２３；Ｙｅｓ）、調整部１２は、上限値δを所定値分小さくする（ステップＳ２５）。これは、ラインサーチに入って近似解π^＊ _ｎｅｗを更新したということは、近似の精度が十分でないといえるので、近似の精度を良くして正確なポリシーの更新を行わせるために、上限値δを小さくする。そして、調整部１２は、調整処理を終了する。

【0045】

［実施例１の効果］
上記実施例１によれば、情報処理装置１は、強化学習におけるポリシーの最適化問題において、信頼領域を設定して１回のポリシーの更新を行う際に、更新前後のポリシーの差を観測する。情報処理装置１は、観測した差が信頼領域のある範囲内に留まるように、ポリシーの更新に至るアルゴリズムの動作に応じて、信頼領域の閾値を調整する。かかる構成によると、情報処理装置１は、強化学習に最適な信頼領域の閾値を自動的に調整できる。

【0046】

また、上記実施例１によれば、情報処理装置１では、閾値を調整する処理が、ポリシーの近似解と更新前のポリシーとの差が閾値以下であるという制約条件を満たすかどうかを判定する。閾値を調整する処理は、制約条件を満たさないと判定した場合にはポリシーの近似解を更新前のポリシーに近づけて判定処理を繰り返す。閾値を調整する処理は、制約条件を満たすと判定した場合にはポリシーの近似解を更新する。閾値を調整する処理は、かかるアルゴリズムの動作に基づいて、閾値を調整する。かかる構成によると、情報処理装置１は、ポリシーを更新するアルゴリズムの動作に着目して信頼領域の閾値を調整できる。

【0047】

また、上記実施例１によれば、情報処理装置１では、閾値を調整する処理が、最初の判定処理で制約条件を満たすと判定した場合には、閾値を所定値分大きくする。閾値を調整する処理は、最初の判定処理で制約条件を満たさないと判定した場合でも２回目以降の判定処理で制約条件を満たすと判定した場合には、閾値を所定値分小さくする。閾値を調整する処理は、２回目以降の判定処理で制約条件を満たさないと判定した場合には、閾値を大きくする。かかる構成によると、情報処理装置１は、ポリシーを更新するアルゴリズムの動作に基づいて最適な信頼領域の閾値を調整できる。

【実施例0048】

ところで、実施例１に係る情報処理装置１では、調整部１２が、１回のポリシーの更新の際のラインサーチの動作（過程）に着目して、制約条件の上限値δを調整すると説明した。しかしながら、調整部１２は、これに限定されず、１回のポリシーの更新の際のラインサーチの動作により得られる更新後のポリシーと更新前のポリシーとの差（ＫＬ距離）に着目して、制約条件の上限値δを調整しても良い。

【0049】

そこで、実施例２では、情報処理装置１における調整部１２が、１回のポリシーの更新の際のラインサーチの動作により得られる更新後のポリシーと更新前のポリシーとの差（ＫＬ距離）に着目して、制約条件の上限値δを調整する場合を説明する。なお、実施例２に係る情報処理装置１の機能構成は、図１に示す情報処理装置１と同一の構成であるので、その説明を省略する。

【0050】

実施例２に係る調整部１２は、１回分のポリシーの更新に基づいて、信頼領域の閾値を調整する。例えば、調整部１２は、ラインサーチの動作により得られる更新後のポリシーと更新前のポリシーとの差（ＫＬ距離）に着目して、制約条件の上限値δを調整する。

【0051】

一例として、調整部１２は、ラインサーチの動作により得られた更新後のポリシーと更新前のポリシーとの差であってラインサーチで用いられた制約条件の上限値δに対する差を計算する。すなわち、調整部１２は、Ｅ［Ｄ_ＫＬ（π^＊ _ｎｅｗ||π_ｏｌｄ）］／δを計算する。

【0052】

そして、調整部１２は、計算した値が第１の基準値以下である場合には、上限値δを予め定められた所定値分小さくする。これは、上限値δに対して実際の更新幅が小さく、正確のポリシーの更新を行うためには、もう少し小さな幅で更新を行う必要があると考えられるので、上限値δを小さくする。なお、所定値は、例えば、上限値δの大きさに応じて予め定義されれば良い。また、第１の基準値は、例えば、上限値δの大きさおよびＫＬ距離の大きさに応じて予め定義されれば良い。

【0053】

また、調整部１２は、計算した値が第１の基準値より大きい場合には、上限値δを予め定められた所定値分大きくする。これは、上限値δに対して実際の更新幅が大きく、現在の上限値δで十分正確なポリシーの更新ができていると考えられるので、学習速度を向上させるために上限値δを大きくする。

【0054】

ここで、実施例２に係る調整処理のフローチャートについて説明する。なお、実施例２に係る強化学習処理のフローチャートについては、図４に示す強化学習処理のフローチャートと同一の処理であるので、その説明を省略する。

【0055】

図６は、実施例２に係る調整処理のフローチャートの一例を示す図である。なお、調整部１２による調整処理は、学習部１１による強化学習処理から１回のポリシー更新の更新後のポリシーπ^＊ _ｎｅｗを受け付けたとする。

【0056】

図６に示すように、調整部１２は、Ｅ［Ｄ_ＫＬ（π^＊ _ｎｅｗ||π_ｏｌｄ）］／δを計算する（ステップＳ３１）。そして、調整部１２は、計算した値が基準値以下であるか否かを判定する（ステップＳ３２）。計算した値が基準値以下であると判定した場合には（ステップＳ３２；Ｙｅｓ）、調整部１２は、上限値δを所定値分小さくする（ステップＳ３３）。これは、上限値δに対して実際の更新幅が小さく、正確のポリシーの更新を行うためには、もう少し小さな幅で更新を行う必要があると考えられるので、上限値δを小さくする。そして、調整部１２は、調整処理を終了する。

【0057】

一方、計算した値が基準値以下でないと判定した場合には（ステップＳ３２；Ｎｏ）、調整部１２は、上限値δを所定値分大きくする（ステップＳ３４）。これは、上限値δに対して実際の更新幅が大きく、現在の上限値δで十分正確なポリシーの更新ができていると考えられるので、学習速度を向上させるために上限値δを大きくする。そして、調整部１２は、調整処理を終了する。

【0058】

［実施例２の効果］
上記実施例２によれば、情報処理装置１では、閾値を調整する処理が、強化学習におけるポリシーの最適化問題において、信頼領域を設定して１回のポリシーの更新を行う際に、更新前後のポリシーの差を観測する。情報処理装置１は、観測した差が信頼領域のある範囲内に留まるように、ポリシーの更新に至るアルゴリズムの動作により得られた、信頼領域の閾値に対する更新前後のポリシーの差に基づいて、当該閾値を調整する。かかる構成によると、情報処理装置１は、信頼領域の閾値に対する更新前後のポリシーの差を用いることで、信頼領域の閾値を自動的に調整できる。

【0059】

また、上記実施例２によれば、情報処理装置１では、閾値を調整する処理が、閾値に対する更新前後のポリシーの差が第１の基準値以上である場合に、閾値を所定値分大きくし、閾値に対する更新前後のポリシーの差が第１の基準値未満である場合に、閾値を所定値分小さくする。かかる構成によれば、情報処理装置１は、信頼領域の閾値に対する更新前後のポリシーの差を用いることで最適な信頼領域の閾値を調整できる。