特開 2024-139283 学習装置、学習方法、および学習プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024139283

(43)【公開日】2024-10-09

(54)【発明の名称】学習装置、学習方法、および学習プログラム

(51)【国際特許分類】

   G06N 3/092 20230101AFI20241002BHJP

   G06F 17/10 20060101ALI20241002BHJP

【ＦＩ】

G06N3/092

G06F17/10 Z

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023050157

(22)【出願日】2023-03-27

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】高瀬 諒一

【テーマコード（参考）】

5B056

【Ｆターム（参考）】

5B056BB91

(57)【要約】

【課題】強化学習において行動の安定性を保証すること。
【解決手段】プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有し、第１指標を向上させる方策を学習するニューラルネットワークを訓練するための学習装置は、前記ニューラルネットワークに関する情報に基づいて、前記ニューラルネットワークに含まれるパラメータの更新方針に関する勾配関数を含む凸最適化問題を生成する問題生成処理と、前記問題生成処理によって生成された凸最適化問題に基づいて、前記方策に関する第２指標を生成する指標生成処理と、前記第１指標と前記第２指標とに基づいて、前記ニューラルネットワークに含まれるパラメータを更新する更新処理と、を実行する。
【選択図】図２

【特許請求の範囲】

【請求項1】

プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有し、第１指標を向上させる方策を学習するニューラルネットワークを訓練するための学習装置であって、
前記プロセッサは、
前記ニューラルネットワークに関する情報に基づいて、前記ニューラルネットワークに含まれるパラメータの更新方針に関する勾配関数を含む凸最適化問題を生成する問題生成処理と、
前記問題生成処理によって生成された凸最適化問題に基づいて、前記方策に関する第２指標を生成する指標生成処理と、
前記第１指標と前記第２指標とに基づいて、前記ニューラルネットワークに含まれるパラメータを更新する更新処理と、
を実行することを特徴とする学習装置。

【請求項2】

請求項１に記載の学習装置であって、
前記凸最適化問題は、半正定値計画問題である、
ことを特徴とする学習装置。

【請求項3】

請求項１に記載の学習装置であって、
前記ニューラルネットワークに関する情報は、前記ニューラルネットワークに含まれるパラメータである、
ことを特徴とする学習装置。

【請求項4】

請求項１に記載の学習装置であって、
前記問題生成処理では、前記プロセッサは、状態および行動に基づく環境の状態遷移をモデル化した伝達関数モデルと、前記方策と、の閉ループシステムを構成し、前記閉ループシステムの安全性が保証される条件を満たすように、前記凸最適化問題を生成する、
ことを特徴とする学習装置。

【請求項5】

請求項１に記載の学習装置であって、
前記更新処理では、前記プロセッサは、前記第１指標と前記第２指標とを用いて前記方策の損失関数を計算する順伝搬を実行し、前記順伝搬に対する逆伝搬を実行することにより勾配を算出し、前記勾配を用いて前記パラメータを更新する、
ことを特徴とする学習装置。

【請求項6】

プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有し、第１指標を向上させる方策を学習するニューラルネットワークを訓練するための学習装置が実行する学習方法であって、
前記プロセッサは、
前記ニューラルネットワークに関する情報に基づいて、前記ニューラルネットワークに含まれるパラメータの更新方針に関する勾配関数を含む凸最適化問題を生成する問題生成処理と、
前記問題生成処理によって生成された凸最適化問題に基づいて、前記方策に関する第２指標を生成する指標生成処理と、
前記第１指標と前記第２指標とに基づいて、前記ニューラルネットワークに含まれるパラメータを更新する更新処理と、
を実行することを特徴とする学習方法。

【請求項7】

第１指標を向上させる方策を学習するニューラルネットワークをプロセッサに訓練させる学習プログラムであって、
前記プロセッサに、
前記ニューラルネットワークに関する情報に基づいて、前記ニューラルネットワークに含まれるパラメータの更新方針に関する勾配関数を含む凸最適化問題を生成する問題生成処理と、
前記問題生成処理によって生成された凸最適化問題に基づいて、前記方策に関する第２指標を生成する指標生成処理と、
前記第１指標と前記第２指標とに基づいて、前記ニューラルネットワークに含まれるパラメータを更新する更新処理と、
を実行させることを特徴とする学習プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習をおこなう学習装置、学習方法、および学習プログラムに関する。

【背景技術】

【0002】

強化学習は、タスクを達成するために、環境との相互作用を通して方策を学習する機械学習である。この従来型の強化学習では、方策をニューラルネットワークで表現することが主流となっており、ニューラルネットワークのパラメータを調整することで方策が学習される。

【0003】

近年は強化学習の実システムへの応用手法にも注目されているが、実システムへの応用における問題点として、ニューラルネットワークの複雑性により、行動の安全性を保証するパラメータ調整が困難であるという点が挙げられる。

【0004】

具体的には、ニューラルネットワークはパラメータが多くて複雑であるため、適切な行動を決定する方策の学習（パラメータ調整）が難しく、適切かつ安全に行動するパラメータ調整を行うことはさらに難しい。

【0005】

行動の安全性とは、危険な行動をしないことであり、たとえば、自動車が法定速度以下で走行するという行動は適切な行動ではあるが、その速度でカーブを曲がることが危険であれば、行動の安全性は保証されないことになる。

【0006】

行動の安全性を保証するパラメータ調整が困難な点としては、技術的には安全性の定式化が難しいため、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）に対して安全性の指標を設定することができない点が挙げられる。

【0007】

このため、非特許文献１のように、学習中に凸最適化問題を生成し、凸最適化問題を解いた結果を指標に設定する技術が開示されている。非特許文献１は、凸最適化のためにドメイン固有言語（ＤＳＬ）によって使用される凸最適化問題のサブクラスである、統制された凸プログラムによる差別化へのアプローチを開示する。

【0008】

非特許文献１では、安全性は制約条件を満たす凸最適化問題として定式化されている。つまり、凸最適化問題の解は安全性を示す指標となる。従来型の強化学習では報酬を最大化すべき指標と設定するが、非特許文献１を従来型の強化学習に適用すると、報酬および安全性の指標が最大化する。したがって、ニューラルネットワークのパラメータが安全性を保証する方向にも更新され、安全性を保証するパラメータ調整が可能となる。

【0009】

また、下記特許文献１の請求項２には、「最適化分析を行い、最適化出力を生成し、前記最適化出力を使用してコマンド系列をコンパイルし、そこで前記最適化分析は（ｉ）凸最適化ソルバー、（ｉｉ）前記標的状態を表現するデータ、及び（ｉｉｉ）前記それぞれ１セットの応答を表現するデータ、を使用しそこで前記電子オーブンは前記コマンド系列を実行し、前記アイテムを前記標的状態近くへ加熱する、ことを備える、請求項１に記載のコンピュータ実装方法」と記載され、段落［００９８］には「トレーニングデータを使用して、損失関数が確率的勾配降下法評価に従い繰り返し最小化されるアプローチに従いニューラルネットワークをトレーニングすることが可能である」と記載されている。

【先行技術文献】

【特許文献】

【0010】

【特許文献1】特表２０１９－５１９７４４号公報

【非特許文献】

【0011】

【非特許文献1】Agrawal, Akshay, et al, "Differentiable convex optimization layers," 2019.

【発明の概要】

【発明が解決しようとする課題】

【0012】

凸最適化問題の結果を指標に含めて、ニューラルネットワークを学習させる場合、学習数の手順としては、（１）まず、入力データから凸問題を生成して解き、指標を出力するという順伝搬を実行し、（２）つぎに、出力した指標から勾配を逆順に計算して学習するという逆伝搬を実行する必要がある。

【0013】

しかしながら、非特許文献１を強化学習に適用した場合、学習の初期段階で凸最適化問題の最適解（全ての制約条件を満たす許容解の中で最も良い解）が求まるとは限らない。安全性を計算するための凸最適化問題は制約条件が非常に厳しいため、最適解は簡単に求まらない。最適解が求まらないと逆伝搬の計算が実行できないため、非特許文献１は、強化学習での使用には向いていない。

【0014】

また、特許文献１には、ニューラルネットワークのトレーニングにおいて、ニューラルネットワークのパラメータ更新方針に関する勾配関数を含む凸最適化問題を解くという記載はなく、凸最適化問題の最適解が求まらない場合に安全性を保証した強化学習が実施できない。

【0015】

本発明は、強化学習において行動の安定性を保証すること凸最適化問題において行動の安定性を保証することを目的とする。

【課題を解決するための手段】

【0016】

本願において開示される発明の一側面となる学習装置は、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有し、第１指標を向上させる方策を学習するニューラルネットワークを訓練するための学習装置であって、前記プロセッサは、前記ニューラルネットワークに関する情報に基づき、前記ニューラルネットワークに含まれるパラメータの更新方針に関する勾配関数を含む凸最適化問題を生成する処理と、前記凸最適化問題に基づき、前記方策に関する第２指標を生成する処理と、前記第１指標と前記第２指標とに基づいて、前記ニューラルネットワークに含まれるパラメータを更新する処理と、を実行することを特徴とする。

【発明の効果】

【0017】

本発明の代表的な実施の形態によれば、強化学習において行動の安定性を保証すること凸最適化問題において行動の安定性を保証することができる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

【図面の簡単な説明】

【0018】

【図1】図１は、学習装置のハードウェア構成例を示すブロック図である。

【図2】図２は、学習装置の機能的構成例を示すブロック図である。

【図3】図３は、一般的な順伝搬と逆伝搬の一例を示す説明図である。

【図4】図４は、凸最適化部内での順伝搬と逆伝搬の一例を示す説明図である。

【図5】図５は、行列クラスの一例を示す説明図である。

【図6】図６は、順伝搬実行部によって実行される順伝搬実行例１を示す説明図である。

【図7】図７は、変数行列の行列データを示す説明図である。

【図8】図８は、順伝搬実行部によって実行される順伝搬実行例２を示す説明図である。

【図9】図９は、変数行列および定数行列の行列データを示す説明図である。

【図10A】図１０Ａは、問題生成部による問題生成処理手順例を示すフローチャートである。

【図10B】図１０Ｂは、閉ループシステムの一例を示す説明図である。

【図11】図１１は、標準形変換部による標準系変換処理手順例を示すフローチャートである。

【図12】図１２は、解の更新アルゴリズムの一例を示す説明図である。

【図13】図１３は、変数行列Ｘの更新に対する順伝搬および逆伝搬を示す説明図である。

【図14】図１４は、最適化部による最適化処理手順例を示すフローチャートである。

【図15】図１５は、解変換部による解変換処理手順例を示すフローチャートである。

【図16】図１６は、指標計算部による指標計算処理手順例を示すフローチャートである。

【図17】図１７は、方策改善部による方策改善処理手順例を示すフローチャートである。

【図18】図１８は、図１７に示した方策ニューラルネットワーク更新処理（ステップＳ１７０２）の詳細な処理手順例を示すフローチャートである。

【図19】図１９は、図１７に示した価値関数ニューラルネットワーク更新処理（ステップＳ１７０３）の詳細な処理手順例を示すフローチャートである。

【図20】図２０は、入力画面の一例を示す説明図である。

【図21】図２１は、出力画面の一例を示す説明図である。

【発明を実施するための形態】

【0019】

＜凸最適化問題＞
凸最適化問題について、半正定値計画問題を例に挙げて説明する。半正定値計画問題は、半正定値行列全体によって作られる凸錐体上での凸最適化問題の一つである。半正定値計画問題は、下記式（１）の主問題（Ａ）および双対問題（Ｂ）によって表現される。

【0020】

【数1】

【0021】

主問題（Ａ）において、Ｃ∈Ｓ^ｎは定数行列であり、定数行列Ｃがサイズｎの実対称行列であることを示す。

【0022】

主問題（Ａ）において、Ｘ∈Ｓ^ｎは変数行列であり、変数行列Ｘがサイズｎの実対称行列であることを示す。

【0023】

主問題（Ａ）において、Ｕ・Ｖの演算子「・」は、行列Ｕと行列Ｖとの内積を示す。

【0024】

主問題（Ａ）において、Ｓ^ｎはサイズがｎの実対称行列からなる集合を示す。

【0025】

主問題（Ａ）において、ｂ∈Ｒ^ｍは定数ベクトルであり、定数ベクトルｂがｍ次のベクトルであることを示す。

【0026】

双対問題（Ｂ）において、ｙ∈Ｒ^ｍは変数ベクトルであり、、変数ベクトルｙがｍ次のベクトルであることを示す。

【0027】

双対問題（Ｂ）において、Ｚ∈Ｓ^ｎは変数行列であり、変数行列Ｚがサイズｎの実対称行列であることを示す。

【0028】

定数行列Ａ_１～Ａ_ｍ、Ｃおよび定数ベクトルｂが与えられたとき、対称行列Ｘを変数行列とする凸最適化問題を半正定値計画問題の主問題という。主問題（Ａ）の制約を満たす変数行列Ｘを主問題の実行可能解という。さらに、実行可能解である変数行列Ｘが正定値であるとき、実行可能解を内点実行可能解という。

【0029】

主問題（Ａ）に対して、変数ベクトルｙ_１～ｙ_ｍおよび変数行列Ｚを変数とする凸最適化問題を、半正定値計画問題の双対問題（Ｂ）という。双対問題（Ｂ）の制約を満たす変数の組（ｙ_ｉ，Ｚ）を、双対問題（Ｂ）の実行可能解という。さらに、実行可能解である変数行列Ｚが正定値であるとき、実行可能解を内点実行可能解という。

【0030】

主問題（Ａ）の目的関数値と双対問題（Ｂ）の目的関数値との間には、下記の不等式（２）が成り立つ。

【0031】

【数2】

【0032】

主問題（Ａ）の目的関数値（上記不等式（２）の左辺第１項）と双対問題（Ｂ）の目的関数値（上記不等式（２）の左辺第２項）とが一致すれば、（Ｘ，ｙ，Ｚ）は、半正定値計画問題の最適解である。

【0033】

＜学習装置のハードウェア構成例＞
図１は、学習装置のハードウェア構成例を示すブロック図である。学習装置１００は、プロセッサ１０１と、記憶デバイス１０２と、入力デバイス１０３と、出力デバイス１０４と、通信インターフェース（通信ＩＦ）１０５と、を有する。プロセッサ１０１、記憶デバイス１０２、入力デバイス１０３、出力デバイス１０４、および通信ＩＦ１０５は、バス１０６により接続される。プロセッサ１０１は、学習装置１００を制御する。記憶デバイス１０２は、プロセッサ１０１の作業エリアとなる。また、記憶デバイス１０２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス１０２としては、たとえば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリがある。入力デバイス１０３は、データを入力する。入力デバイス１０３としては、たとえば、キーボード、マウス、タッチパネル、テンキー、スキャナ、マイク、センサがある。出力デバイス１０４は、データを出力する。出力デバイス１０４としては、たとえば、ディスプレイ、プリンタ、スピーカがある。通信ＩＦ１０５は、ネットワークと接続し、データを送受信する。

【0034】

＜学習装置１００の機能的構成例＞
図２は、学習装置１００の機能的構成例を示すブロック図である。学習装置１００は、環境部２０１と、方策改善部２０２と、凸最適化部２０３と、を有する。環境部２０１と、方策改善部２０２、および凸最適化部２０３は、具体的には、たとえば、図１に示した記憶デバイス１０２に記憶されたプログラムをプロセッサ１０１に実行させることにより実現される。

【0035】

環境部２０１は、従来型の強化学習と同様に、状態計算部２１１と、報酬計算部２１２と、環境リセット部２１３と、を有する。状態計算部２１１は、行動が与えられると状態を更新する。報酬計算部２１２は、選択した行動に対する報酬を算出する。環境リセット部２１３は、エピソードごとに環境をリセットする。

【0036】

方策改善部２０２は、行動決定部２２１と、パラメータ更新部２２２と、学習データ収集部２２３と、を有する。行動決定部２２１は、価値関数によって算出された行動の価値が最大となる行動を選択する。パラメータ更新部２２２は、方策ニューラルネットワークの方策パラメータと、価値関数ニューラルネットワークのパラメータと、を更新する。学習データ収集部２２３は、学習データ（行動、状態、報酬）を収集する。

【0037】

凸最適化部２０３は、凸集合上の凸関数の最小化問題である凸最適化問題を解く。凸最適化部２０３は、行動、状態、報酬および方策パラメータが入力されると、凸最適化問題の解を、指標として方策改善部２０２に出力する。

【0038】

凸最適化部２０３は、勾配関数記憶部２３１と、問題生成部２３２と、標準形変換部２３３と、最適化部２３４と、解変換部２３５と、指標計算部２３６と、行列クラス２３７と、を有する。

【0039】

勾配関数記憶部２３１は、逆伝搬を実行するための情報（以下、逆伝搬実行情報）を記憶する。問題生成部２３２は、学習データ（行動、状態、報酬）および方策パラメータが与えられると、最適化問題を生成する。最適化問題とは、目的関数および制約条件の組み合わせである。後述するステップＳ１００６で目的関数が生成され、ステップＳ１００７で制約条件が生成される。

【0040】

標準形変換部２３３は、問題生成部２３２からの目的関数および制約条件に基づいて、定数行列と定数ベクトルとを出力する。標準形とは、上記式（１）に記載した主問題（Ａ）、または双対問題（Ｂ）である。定数行列Ａ、Ｃと定数ベクトルｂとを用いて、最適化問題が定義される。標準形変換部２３３は、目的関数および制約条件を、定数行列Ａ、Ｃおよび定数ベクトルｂに変換する。

【0041】

最適化部２３４は、主問題（Ａ）および双対問題（Ｂ）に対して最適解を求める処理を実行する。最適化部２３４の詳細については、図１２～図１４で後述する。

【0042】

解変換部２３５は、最適化部２３４から得られた解を変数行列に変換する。解変換部２３５の詳細については、図１５で後述する。

【0043】

指標計算部２３６は、最適化部２３４から得られた解の最適性と、解変換部２３５から得られた変数行列と、に基づいて、行動の安全性を評価する指標を計算する。行動の安全性を評価する指標は、０以上の実数値であり、指標の値が大きいほど安全性が高いことを意味する。指標計算部２３６の詳細については、図１６で後述する。

【0044】

＜順伝搬と逆伝搬＞
図３は、一般的な順伝搬と逆伝搬の一例を示す説明図である。系列３０１は順伝搬を示し、系列３０２は系列３０１に対する逆伝搬を示す。系列３０１において、関数ｆに変数ｘの値３１１が入力されると関数ｆは変数ｙの値３１２を算出し、関数ｇに変数ｙの値３１２が入力されると関数ｇは変数ｚの値３１３を算出する。順伝搬では、入力される変数ｘ，ｙの各値３１１，３１２に対して関数ｆ，ｇが演算を実行して変数ｙ，ｚの値３１２，３１３を出力する際に、入力された変数ｘ，ｙの値３１１，３１２と、出力された変数ｙ，ｚの値３１２，３１３と、関数ｆ，ｇによる演算に対応する勾配関数ｆ´（ｘ），ｇ´（ｙ）と、が保持される。このような逆伝搬を実行するための情報が保持されるため、凸最適化部２０３は逆伝搬を実行可能である。

【0045】

関数ｆ，ｇによる演算は、加減乗除、行列積、ｔａｎｈなど、ニューラルネットワークの学習に必要となる演算を含む。以降において、「順伝搬を実行する」という表記は、通常の計算の実行（入力に対して演算を実行して出力する）と同時に、逆伝搬を実行するための情報が保持されることを意味する。

【0046】

系列３０２の逆伝搬では、順伝搬の際に、保持された逆伝搬を実行するための情報に基づき、順伝搬の出力側から入力側に向かって勾配３２３，３２２，３２１を計算する。

【0047】

図４は、凸最適化部２０３内での順伝搬と逆伝搬の一例を示す説明図である。系列４０１は順伝搬を示し、系列４０２は系列４０１に対する逆伝搬を示す。系列４０１において、関数ｆ_{ｃｏｎｖｅｘ}に変数ｘ_ｉｎの値４１１が入力されると関数ｆ_{ｃｏｎｖｅｘ}は変数ｙ_ｏｕｔの値４１２を算出する。関数ｆ_{ｃｏｎｖｅｘ}は、変数ｙ_ｏｕｔの値４１２を出力する関数である。変数ｙ_ｏｕｔの最終出力値はＬであり、凸最適化部２０３からの出力となる指標である。

【0048】

順伝搬では、入力される変数ｘ_ｉｎの値４１１に対して関数ｆ_{ｃｏｎｖｅｘ}が演算を実行して変数ｙ_ｏｕｔの値４１２を出力する際に、入力された変数ｘ_ｉｎの値４１１と、出力された変数ｙ_ｏｕｔの値４１２と、関数ｆ_{ｃｏｎｖｅｘ}による演算に対応する勾配関数ｆ´_{ｃｏｎｖｅｘ}と、が勾配関数記憶部２３１に保持される。このような逆伝搬を実行するための情報が勾配関数記憶部２３１に保持されるため、凸最適化部２０３は逆伝搬を実行可能である。

【0049】

系列４０２の逆伝搬では、保持された逆伝搬を実行するための情報に基づき、順伝搬の出力側から入力側に向かって勾配４２２，４２１を計算する。

【0050】

＜行列クラス＞
図５は、行列クラス２３７の一例を示す説明図である。半正定値計画問題は、定数行列や変数行列を用いて記述される。定数行列や変数行列の生成にあたり、行列クラス２３７が生成される。行列クラス２３７は、行列データ５０１と順伝搬実行部５０２とを含む。順伝搬実行部５０２は、図３および図４に示したように、順伝搬を実行して、逆伝搬を実行するための情報を勾配関数記憶部２３１に格納する。

【0051】

行列データ５０１は、インデックス５１１と行列５１２とを含む。インデックス５１１は、同一行の行列５１２を特定する。インデックス５１１の値０～４を、インデックス＃０～＃４と表記する場合がある。変数行列は、インデックス＃０～＃４の５種類の行列５１２（０）～５１２（４）の線形結合により表現される。

【0052】

具体的には、たとえば、変数行列Ｈ（ｘ）は、下記式（３）で表現可能である。

【0053】

【数3】

【0054】

上記式（３）において、ｘ_１，ｘ_２，…，ｘ_ｐはｐ（ｐは１以上の整数）個の変数、Ｈ_０は定数行列、Ｈ_１，Ｈ_２，…，Ｈ_ｐはバイナリ行列（生成時はバイナリ行列だが、順伝搬実行後の行列はバイナリ行列ではない）である。

【0055】

たとえば、２行２列の変数行列Ｘ_１を生成した場合は、下記式（４）のように表現される。

【0056】

【数4】

【0057】

変数行列Ｘ_１は、図５に示したように、変数のインデックス５１１と対応する行列５１２のペアで記憶される。すなわち、上記式（４）の右辺において、変数ｘ_１は、インデックス＃１の行列５１２（１）を用いて表現され、変数ｘ_２は、インデックス＃２の行列５１２（２）を用いて表現され、変数ｘ_３は、インデックス＃３の行列５１２（３）を用いて表現され、変数ｘ_４は、インデックス＃４の行列５１２（４）を用いて表現される。なお、定数行列Ｈ_０は行列５１２（０）に対応する。

【0058】

＜順伝搬実行例＞
つぎに、順伝搬実行部５０２によって実行される順伝搬実行例について説明する。

【0059】

図６は、順伝搬実行部５０２によって実行される順伝搬実行例１を示す説明図である。順伝搬実行例１は、行列の加法を示す。系列６０１は順伝搬を示し、系列６０２は系列６０１に対する逆伝搬を示す。系列６０１において、加法を示す関数Ａｄｄに２つの変数Ｍ_ｊ ^１、Ｍ_ｊ ^２の値６１１，６１２が入力されると関数Ａｄｄは変数Ｍ_ｊ ^３の値６１３を算出し、勾配関数Ａｄｄ´に勾配６２３が入力されると勾配関数Ａｄｄ´は勾配６２１，６２２を算出する。ｊはインデックス５１１の値である。

【0060】

勾配６２３，６２２，６２１は、逆伝搬を実行して出力された値である。勾配関数Ａｄｄ´は関数Ａｄｄによる演算に対応する勾配関数である。

【0061】

順伝搬実行部５０２は、入力される変数Ｍ_ｊ ^１、Ｍ_ｊ ^２の各値６１１，６１２に対して関数Ａｄｄが演算を実行して変数Ｍ_ｊ ^３の値６１３を出力する際に、入力された変数Ｍ_ｊ ^１、Ｍ_ｊ ^２の値６１１，６１２と、出力された変数Ｍ_ｊ ^３の値６１３と、勾配関数Ａｄｄ´と、を勾配関数記憶部２３１に格納する。

【0062】

たとえば、２行２列の変数行列Ｘ_２を生成した場合は、下記式（５）のように表現される。

【0063】

【数5】

【0064】

関数Ａｄｄによる行列変数の加法Ｘ_３＝Ｘ_１＋Ｘ_２は、下記式（６）にように表現される。

【0065】

【数6】

【0066】

たとえば、インデックス＃１の変数ｘ_１についての上記式（６）の右辺第１項では、下記式（７）で計算する順伝搬が実行される。

【0067】

【数7】

【0068】

図７は、変数行列Ｘ_１～Ｘ_３の行列データを示す説明図である。変数行列Ｘ_１の行列データ７０１は、上記式（４）に示したように、図５に示した行列データ５０１で表現される。行列７１２は、インデックス＃ｊ（ｊ＝０～４）の行列を示す。

【0069】

変数行列Ｘ_２の行列データ７０２は、上記式（５）の右辺の各項に示した行列７２２となる。行列７２２は、インデックス＃ｊ（ｊ＝０～４）の行列を示す。

【0070】

変数行列Ｘ_３の行列データ７０３は、上記式（６）に示した右辺各項内の加法により算出された行列７３２となる。行列７３２は、インデックス＃ｊ（ｊ＝０～４）の行列を示す。

【0071】

図８は、順伝搬実行部５０２によって実行される順伝搬実行例２を示す説明図である。順伝搬実行例１は、行列積を示す。系列８０１は順伝搬を示し、系列８０２は系列８０１に対する逆伝搬を示す。系列８０１において、行列積を示す関数Ｍａｔｍｕｌに２つの変数Ｍ_ｊ ^１、Ｍ_０ ^２の値８１１，８１２が入力されると関数Ｍａｔｍｕｌは変数Ｍ_ｊ ^３の値８１３を算出し、関数Ｍａｔｍｕｌ´に勾配８２３が入力されると関数Ｍａｔｍｕｌ´は勾配８２１，８２２を算出する。ｊはインデックス５１１の値である。

【0072】

勾配８２３，８２２，８２１は、逆伝搬を実行して出力された値である。関数Ｍａｔｍｕｌ´は関数Ｍａｔｍｕｌによる演算に対応する勾配関数である。

【0073】

順伝搬実行部５０２は、入力される変数Ｍ_ｊ ^１、Ｍ_０ ^２の各値８１１，８１２に対して関数Ａｄｄが演算を実行して変数Ｍ_ｊ ^３の値８１３を出力する際に、入力された変数Ｍ_ｊ ^１、Ｍ_０ ^２の値８１１，８１２と、出力された変数Ｍ_ｊ ^３の値８１３と、勾配関数Ｍａｔｍｕｌ´と、を勾配関数記憶部２３１に格納する。

【0074】

行列積では、行列積の対象となる２つの行列のうち少なくとも１つは定数行列とする。たとえば、上記式（４）の変数行列Ｘ_１と下記式（８）の定数行列Ｃ_１との関数Ｍａｔｍｕｌによる行列積である変数行列Ｘ_４＝Ｘ_１Ｃ_１は、下記式（９）で表現される。

【0075】

【数8】

【0076】

たとえば、インデックス＃１の変数ｘ_１についての上記式（９）の右辺第１項では、下記式（１０）で計算する順伝搬が実行される。

【0077】

【数9】

【0078】

図９は、変数行列Ｘ_１，Ｘ_４および定数行列Ｃ_１の行列データを示す説明図である。変数行列Ｘ_１の行列データ７０１は、上記式（４）に示したように、図５に示した行列データ５０１で表現される。行列７１２は、インデックス＃ｊ（ｊ＝０～４）の行列を示す。

【0079】

定数行列Ｃ_１の行列データ９０１は、上記式（８）に示した行列となる。すなわち、行列データ９１２では、インデックス＃０が定数行列Ｃ_１となり、それ以外のインデックス＃１～＃４は、０行列となる。

【0080】

変数行列Ｘ_４の行列データ９０４は、上記式（９）に示した右辺各項内の行列積により算出された行列９４２となる。行列９４２は、インデックス＃ｊ（ｊ＝０～４）の行列を示す。

【0081】

＜問題生成部２３２による問題生成処理＞
図１０Ａは、問題生成部２３２による問題生成処理手順例を示すフローチャートである。問題生成部２３２は、方策改善部２０２から行動および方策パラメータを取得し、環境部２０１から状態および報酬を取得する（ステップＳ１００１）。

【0082】

問題生成部２３２は、状態および行動から、環境の状態遷移を１次の伝達関数としてモデル化する（ステップＳ１００２）。

【0083】

問題生成部２３２は、伝達関数モデルおよび方策を用いて、閉ループシステムを構成する（ステップＳ１００３）。

【0084】

図１０Ｂは、閉ループシステムの一例を示す説明図である。閉ループシステム１０００は、方策１１０１と伝達関数１１０２とにより閉ループを構成したシステムである。方策１１０１は、方策パラメータが設定された方策ネットワークにおいて、状態および報酬が与えられると、状態での行動を決定する確率分布において報酬を最大化するような行動を決定し、伝達関数１１０２に出力する。伝達関数１１０２は、行動を入力すると、状態および報酬を方策１１０１に出力する。このような閉ループシステム１０００の安定性の条件を構築することで、行動の安全性の指標を計算することが可能になる。

【0085】

図１０Ａに戻り、問題生成部２３２は、ステップＳ１００３によって構成された閉ループシステムに基づいて、定数行列を生成する（ステップＳ１００４）。

【0086】

問題生成部２３２は、閉ループシステムの安全性、すなわち、行動の安全性が保証される条件を満たすための変数行列を生成する（ステップＳ１００５）。

【0087】

問題生成部２３２は、ステップＳ１００４で生成された定数行列とステップＳ１００５で生成された変数行列とを用いて、行動の安全性に関する目的関数を生成する順伝搬を実行する（ステップＳ１００６）。

【0088】

問題生成部２３２は、ステップＳ１００４で生成された定数行列とステップＳ１００５で生成された変数行列とを用いて、行動の安全性に関する制約条件を生成する順伝搬を実行する（ステップＳ１００７）。

【0089】

問題生成部２３２は、ステップＳ１００６の順伝搬で生成された目的関数（ｃ^Ｔｘ）とステップＳ１００７の順伝搬で生成された制約条件とを標準形変換部２３３に出力する（ステップＳ１００８）。

【0090】

問題生成部２３２は、行動の安全性に関する条件を、線形行列不等式の制約（下記式（１１－２））の下で行動の安全性に関する線形の目的関数を最小化する問題（下記式（１１－１））として生成する（下記式（１１））。

【0091】

【数10】

【0092】

Ｔは行列やベクトルの転置を示す。上記式（１１－２）がステップＳ１００７の順伝搬で生成された制約条件であり、ステップＳ１００７の行動の安全性に関する制約条件である。ｃは定数ベクトルであり、ｘは変数ベクトルである。Ｇ０、Ｇ１、…Ｇｑは定数行列であり、Ｇ（ｘ）は行列値関数である。

【0093】

線形行列不等式の制約が複数（Ｋ個）存在する場合の最適化問題は以下となる（下記式（１２））。

【0094】

【数11】

【0095】

また、ステップＳ１００６、Ｓ１００７では、問題生成部２３２は、生成した定数行列や変数行列を用いて、上記式（１１）のｃ^ＴｘやＧ（ｘ）を計算する順伝搬を実行する。具体的には、たとえば、行列クラス２３７内の順伝搬実行部５０２が順伝搬を実行して、目的関数および制約条件を計算する。

【0096】

定数行列Ｇ０、Ｇ１、…Ｇｑは、凸最適化問題においては定数だが、ニューラルネットワークの学習においては勾配を計算すべきパラメータとして扱われる。

【0097】

行動の安全性の条件を上記式（１１）の一般形で表現したが、行列変数に関する不等式をそのままの形で利用することも可能である。たとえば、変数行列Ｘ∈Ｓ^ｎと定数行列Ａ∈Ｒ^ｎ×ｎに対して、行列オブジェクトを用いて以下のように表現してもよい（下記式（１３））。

【0098】

【数12】

【0099】

＜標準形変換部２３３による標準系変換処理＞
図１１は、標準形変換部２３３による標準系変換処理手順例を示すフローチャートである。標準形変換部２３３により、標準形に変換することで、汎用的に最適化問題を解くことが可能になる。たとえば、ユーザの要望や対象システムが異なると、ステップＳ１００６およびステップＳ１００７で生成される目的関数および制約条件が変化するが、標準形に変換することで、ユーザの要望やシステムが異なっても同様の形式で最適化問題を解くことが可能になる。

【0100】

標準形変換部２３３は、問題生成部２３２から目的関数と制約条件を取得する（ステップＳ１１０１）。

【0101】

標準形変換部２３３は、制約条件から、半正定値計画問題（上記式（１））の定数行列Ｃを計算する順伝搬を実行する（ステップＳ１１０２）。

【0102】

標準形変換部２３３は、制約条件から、半正定値計画問題（上記式（１））の定数行列Ａ_ｉを計算する順伝搬を実行する（ステップＳ１１０３）。

【0103】

標準形変換部２３３は、目的関数から、半正定値計画問題（上記式（１））の定数ベクトルｂを計算する順伝搬を実行する（ステップＳ１１０４）。

【0104】

標準形変換部２３３は、定数行列Ａ_ｉ，定数ベクトルｂ，定数行列Ｃを最適化部２３４に出力する（ステップＳ１１０５）。

【0105】

定数行列Ａ_ｉ，定数ベクトルｂ，定数行列Ｃは、上記式（１１）の行列Ｇ_ｉ（ｉ＝０，１，…，ｑ）および行列ｃを用いて、以下のように計算される。

【0106】

定数行列Ａ_ｉ＝Ｇ_ｉ（ｉ＝０，１，…，ｑ）・・・（１４）
定数ベクトルｂ＝－ｃ ・・・（１５）
定数行列Ｃ＝－Ｇ_０ ・・・（１６）

【0107】

上記式（１４）～（１６）には、方策パラメータ（方策ニューラルネットワークの重み）のほか、伝達関数モデルのパラメータ（重み行列）が含まれる。ただし、伝達関数モデルのパラメータから生成された定数行列は、凸最適化問題としても定数であり、ニューラルネットワーク学習においても定数であるため、勾配を計算すべきパラメータとしては扱われない。

【0108】

＜解の更新アルゴリズム＞
図１２は、解の更新アルゴリズムの一例を示す説明図である。実行可能領域１２００内の実行可能初期解１２０１または実行可能領域１２００外の実行不可能初期解１２０２から、中心パス１２０４に沿って解を更新する順伝搬が実行される。実行可能初期解１２０１は、許容解１２１１でなくてもよい。

【0109】

反復点１２０３は、順伝搬での関数からの出力値である。図１２では、反復点１２０３が３点存在し、その後最適解１２１２が得られているため、順伝搬で４回伝搬されたことを示す。各反復点１２０３において、入力値、出力値および勾配関数を、逆伝搬を実行するための情報として勾配関数記憶部２３１に格納することで、逆伝搬の実行が可能になる。

【0110】

図１３は、変数行列Ｘの更新に対する順伝搬および逆伝搬を示す説明図である。図１３において、系列１３０１は順伝搬を示し、系列１３０２は系列１３０１に対する逆伝搬を示す。系列１３０１において、関数Ｆに変数行列Ｘ^ｋが入力されると関数Ｆは変数行列Ｘ^ｋ＋１を算出する。関数Ｆは、指標となる変数行列Ｘ^ｋ＋１を出力する関数である。ｋは図１２の反復点１２０３を示す番号であり、ｋ＝１から始まる昇順の伝搬回数を示す。

【0111】

変数行列Ｘ^ｋはｋ番目の反復点１２０３を構成する変数行列であり、変数行列Ｘ^ｋ＋１はｋ＋１番目の反復点１２０３を構成する変数行列である。すなわち、ｋ番目の反復点１２０３は、変数行列Ｘ^ｋ、変数ベクトルｙ^ｋおよび変数行列Ｚ^ｋによって構成され、ｋ＋１番目の反復点１２０３は、変数行列Ｘ^ｋ＋１、変数ベクトルｙ^ｋ＋１および変数行列Ｚ^ｋ＋１によって構成される。

【0112】

順伝搬では、入力される変数行列Ｘ^ｋに対して関数Ｆが演算を実行して変数行列Ｘ^ｋ＋１を出力する際に、入力された変数行列Ｘ^ｋと、出力された変数行列Ｘ^ｋ＋１と、関数Ｆによる演算に対応する勾配関数Ｆ´と、が勾配関数記憶部２３１に保持される。このような逆伝搬を実行するための情報が勾配関数記憶部２３１に保持されるため、凸最適化部２０３は逆伝搬を実行可能である。

【0113】

系列１３０２の逆伝搬では、勾配関数記憶部２３１に保持された逆伝搬を実行するための情報に基づき、順伝搬の出力側から入力側に向かって勾配１３２２，１３２１を計算する。なお、図１３では、変数行列Ｘについての順伝搬および逆伝搬を示したが、図示はしないが変数ベクトルｙおよび変数行列Ｚについても同様である。

【0114】

ｋ＋１番目の反復点１２０３（Ｘ^ｋ＋１，ｙ^ｋ＋１，Ｚ^ｋ＋１）は、下記条件式（１７）を充足するように定められ、解の最適性δは、下記式（１８）で表現される。

【0115】

【数13】

【0116】

すなわち、上記式（１８）でδ＝０になれば、ｋ＋１番目の反復点１２０３（Ｘ^ｋ＋１，ｙ^ｋ＋１，Ｚ^ｋ＋１）は、半正定値計画問題（上記式（１））の最適解１２１２になる。なお、α_ｐは行列Ｘの更新に関するステップ長であり、α_ｄは行列Ｚの更新に関するステップ長である。

【0117】

＜最適化部２３４による最適化処理＞
図１４は、最適化部２３４による最適化処理手順例を示すフローチャートである。最適化部２３４は、標準形変換部２３３から定数行列Ａ_ｉ、定数ベクトルｂ、および定数行列Ｃ（上記式（１４）～（１６）を参照）を取得する（ステップＳ１４０１）。

【0118】

最適化部２３４は、定数行列Ａ_ｉ、定数ベクトルｂ、および定数行列Ｃを、上記式（１）の主問題（Ａ）および双対問題（Ｂ）に代入し、初期解（Ｘ^０，ｙ^０，Ｚ^０）を選択する（ステップＳ１４０２）。

【0119】

最適化部２３４は、中心パス１２０４上の点を近似するための方程式を生成する（ステップＳ１４０３）。

【0120】

最適化部２３４は、ステップＳ１４０３によって生成された方程式を解いて探索方向（ｄＸ^ｋ，ｄｙ^ｋ，ｄＺ^ｋ）を計算する順伝搬を実行する（ステップＳ１４０４）。

【0121】

最適化部２３４は、ステップサイズαｐ，αｄを計算する順伝搬を実行する（ステップＳ１４０５）。

【0122】

最適化部２３４は、次の反復点１２０３である（Ｘ^ｋ＋１，ｙ^ｋ＋１，Ｚ^ｋ＋１）を、上記式（１７）の条件式を満たすように定める順伝搬を実行する（ステップＳ１４０６）。

【0123】

最適化部２３４は、上記式（１８）の解の最適性δを計算する順伝搬を実行する（ステップＳ１４０７）。

【0124】

最適化部２３４は、所定回数繰り返すまでに最適解１２１２が得られたか否かを判断する（ステップＳ１４０８）。所定回数繰り返すまでに最適解１２１２が得られていない場合（ステップＳ１４０８：Ｎｏ）、ステップＳ１４０３に戻る。所定回数繰り返すまでに最適解１２１２が得られた場合、または、所定回数の繰り返しが終了した場合（ステップＳ１４０８：Ｙｅｓ）、最適化部２３４は、解の最適性δを指標計算部２３６に出力する（ステップＳ１４０９）。

【0125】

最適化部２３４は、更新した解（Ｘ，ｙ，Ｚ）を解変換部２３５に出力する（ステップＳ１４１０）。更新した解（Ｘ，ｙ，Ｚ）とは、最適解１２１２が得られた場合は最適解１２１２であり、最適解１２１２が得られなかった場合は、最後に更新された反復点１２０３である（Ｘ^ｋ＋１，ｙ^ｋ＋１，Ｚ^ｋ＋１）である。

【0126】

＜解変換部２３５による解変換処理＞
図１５は、解変換部２３５による解変換処理手順例を示すフローチャートである。最適化部２３４からの解（Ｘ、ｙ、Ｚ）は標準形の解であるため、解変換部２３５は、解（Ｘ、ｙ、Ｚ）を元の問題（つまり、ステップＳ１００６とステップＳ１００７で生成した目的関数と制約条件の形式）に戻す処理を実行する。

【0127】

解変換部２３５は、最適化部２３４から解（Ｘ，ｙ，Ｚ）を取得する（ステップＳ１５０１）。

【0128】

解変換部２３５は、安全性の定式化で用いた変数行列に変換する順伝搬を実行する（ステップＳ１５０２）。

【0129】

解変換部２３５は、ステップＳ１５０２の順伝搬によって変換された変数行列を指標計算部２３６に出力する（ステップＳ１５０３）。

【0130】

＜指標計算部２３６による指標計算処理＞
図１６は、指標計算部２３６による指標計算処理手順例を示すフローチャートである。指標計算部２３６は、最適化部２３４から解の最適性δを取得し、解変換部２３５から変数行列を取得する（ステップＳ１６０１）。

【0131】

指標計算部２３６は、ステップＳ１６０１で取得された変数行列を用いて行動の安全性を計算する順伝搬を実行する（ステップＳ１６０２）。

【0132】

指標計算部２３６は、ステップＳ１６０２の順伝搬で得られた行動の安全性と解の最適性δとから指標を計算する順伝搬を実行する（ステップＳ１６０３）。

【0133】

指標計算部２３６は、ステップＳ１６０３の順伝搬で得られた指標を方策改善部２０２に出力する（ステップＳ１６０４）。

【0134】

＜方策改善部２０２による方策改善処理＞
図１７は、方策改善部２０２による方策改善処理手順例を示すフローチャートである。方策改善部２０２は、行動決定部２２１により行動を決定し、学習データ収集部２２３により、学習データ（行動、状態、報酬）を収集する（ステップＳ１７０１）。方策改善部２０２は、パラメータ更新部２２２により、方策ニューラルネットワーク更新処理を実行する（ステップＳ１７０２）。方策改善部２０２は、パラメータ更新部２２２により、価値関数ニューラルネットワーク更新処理を実行する（ステップＳ１７０３）。方策改善部２０２は、学習が完了したか否かを判断する（ステップＳ１７０４）。

【0135】

具体的には、たとえば、方策改善部２０２は、環境との相互作用の回数が既定の回数に達したら学習完了と判断する。ここで、１回分の環境との相互作用とは、「状態に基づいて行動決定部２２１が行動を決定し、行動が環境部２０１に入力されて次の状態と報酬が出力される」処理である。

【0136】

学習が完了していない場合（ステップＳ１７０４：Ｎｏ）、ステップＳ１７０１に戻る。学習が完了した場合（ステップＳ１７０４：Ｙｅｓ）、方策改善処理が終了する。

【0137】

図１８は、図１７に示した方策ニューラルネットワーク更新処理（ステップＳ１７０２）の詳細な処理手順例を示すフローチャートである。方策ニューラルネットワークは、状態を入力とし、行動を出力するニューラルネットワークである。方策改善部２０２は、パラメータ更新部２２２により、方策パラメータ（方策ニューラルネットワークの重み）と学習データ（行動、状態、報酬）とを凸最適化部２０３に出力し、指標を取得する（ステップＳ１８０１）。

【0138】

方策改善部２０２は、パラメータ更新部２２２により、学習データ（行動、状態、報酬）を用いて、報酬の最大化につながる目的関数（たとえば、代理目的関数）を計算する順伝搬を実行する（ステップＳ１８０２）。具体的には、方策改善部２０２は、報酬の最大化につながる目的関数を第１指標、凸最適化部２０３から取得した指標を第２指標とする順伝搬を実行する。たとえば、方策改善部２０２は、報酬の最大化につながる目的関数を第１指標、凸最適化部２０３から取得した指標を第２指標とし、第１指標および第２指標に係数をかけて足し合わせた値を計算する順伝搬を実行する。

【0139】

方策改善部２０２は、パラメータ更新部２２２により、ステップＳ１８０１で取得された指標とステップＳ１８０２の順伝搬の実行で得られた代理目的関数とを用いて、方策の損失関数を計算する順伝搬を実行する（ステップＳ１８０３）。具体的には、たとえば、方策改善部２０２は、パラメータ更新部２２２により、ステップＳ１８０２の順伝搬の実行で得られた報酬の最大化につながる目的関数を第１指標、ステップＳ１８０１で取得された指標を第２指標とし、第１指標および第２指標に係数をかけて足し合わせた値を計算する順伝搬を実行する。

【0140】

方策改善部２０２は、パラメータ更新部２２２により、方策の損失関数を計算する順伝搬に対する逆伝搬を実行して、勾配を計算する（ステップＳ１８０４）。

【0141】

方策改善部２０２は、パラメータ更新部２２２により、ステップＳ１８０４で得られた勾配を用いて方策ニューラルネットワークの方策パラメータを更新する（ステップＳ１８０５）。このあと、価値関数ニューラルネットワーク更新処理（ステップＳ１７０３）に移行する。

【0142】

図１９は、図１７に示した価値関数ニューラルネットワーク更新処理（ステップＳ１７０３）の詳細な処理手順例を示すフローチャートである。方策改善部２０２は、パラメータ更新部２２２により、学習データ（行動、状態、報酬）を用いて価値関数の損失関数を計算する順伝搬を実行する（ステップＳ１９０１）。

【0143】

価値関数とは、行動の価値を評価する関数である。具体的には、たとえば、価値関数は、環境部２０１からの状態に対して行動を選択した場合の報酬の推定値を行動の価値として算出する関数である。方策改善部２０２は、行動決定部２２１により、報酬の推定値が最大となる行動を選択し、環境部２０１に出力することになる。

【0144】

方策改善部２０２は、価値関数の損失関数を計算する順伝搬に対する逆伝搬を実行して、勾配を計算する（ステップＳ１９０２）。

【0145】

方策改善部２０２は、ステップＳ１９０２で得られた勾配を用いて価値関数ニューラルネットワークのパラメータを更新する（ステップＳ１９０３）。このあと、ステップＳ１７０４に移行する。

【0146】

＜画面例＞
図２０は、入力画面の一例を示す説明図である。入力画面２０００は、出力デバイス１０４の一例であるディスプレイに表示され、ユーザによる操作入力が可能なグラフィックユーザインタフェースである。入力画面２０００は、第１設定項目２００１～第７設定項目２００７と、実行ボタン２００８と、を有する。

【0147】

第１設定項目２００１は、ユーザ操作により、環境との相互作用の回数を設定するための項目である。設定回数は、ステップＳ１７０４における学習終了の判断基準となる。

【0148】

第２設定項目２００２は、ユーザ操作により、方策ニューラルネットワークの学習率を設定する項目である。

【0149】

第３設定項目２００３は、ユーザ操作により、価値関数ニューラルネットワークの学習率を設定する項目である。

【0150】

第４設定項目２００４は、ユーザ操作により、報酬の最大化につながる目的関数の割引率を設定する項目である。

【0151】

第５設定項目２００５は、ユーザ操作により、報酬の最大化につながる目的関数のパラメータであるＧＡＥ（Ｇｅｎｅｒａｌｉｚｅｄ Ａｄｖａｎｔａｇｅ Ｅｓｔｉｍａｔｏｒ）、すなわち、目的関数の一般化アドバンテージ推定を設定する項目である。

【0152】

第６設定項目２００６は、ユーザ操作により、第２指標における行動の安全性にかける係数を調整するパラメータを設定する。

【0153】

第７設定項目２００７は、ユーザ操作により、第２指標行列変数の最適性にかける係数を調整するパラメータを設定する。

【0154】

実行ボタン２００８の押下により、第１設定項目２００１～第７設定項目２００７に設定されたパラメータで学習が実行される。

【0155】

図２１は、出力画面の一例を示す説明図である。出力画面２１００は、ステップＳ１７０４：Ｙｅｓの場合に、出力デバイス１０４の一例であるディスプレイに学習結果を表示する。「Ｒｅｔｕｒｎ」が報酬をどれだけ最大化できたのかを示す数値が表示され、「Ｓａｆｅｔｙ Ｍｅｔｒｉｃ」が行動の安全性を評価する指標をどれだけ最大化できたのかを示す数値が表示される。両数値は大きいほど最大化できていることを示す。

【0156】

このように、本実施例によれば、凸最適化部２０３において指標から逆伝搬を実行することにより勾配を計算することで、凸最適化問題において行動の安定性を保証することができる。

【0157】

なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。たとえば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加、削除、または置換をしてもよい。

【0158】

また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、たとえば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。

【0159】

各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置、又は、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）カード、ＳＤカード、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）の記録媒体に格納することができる。

【0160】

また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

【符号の説明】

【0161】

１００ 学習装置
１０１ プロセッサ
１０２ 記憶デバイス
２０１ 環境部
２０２ 方策改善部
２０３ 凸最適化部
２１１ 状態計算部
２１２ 報酬計算部
２１３ 環境リセット部
２２１ 方策改善部
２２１ 行動決定部
２２２ パラメータ更新部
２２３ 学習データ収集部
２３１ 勾配関数記憶部
２３２ 問題生成部
２３３ 標準形変換部
２３４ 最適化部
２３５ 解変換部
２３６ 指標計算部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】