特許 7407420 学習システム、学習方法及び学習プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-21

(45)【発行日】2024-01-04

(54)【発明の名称】学習システム、学習方法及び学習プログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20231222BHJP

【ＦＩ】

G06N20/00

【請求項の数】 9

(21)【出願番号】P 2020019844

(22)【出願日】2020-02-07

(65)【公開番号】P2021125117

(43)【公開日】2021-08-30

【審査請求日】2023-01-17

(73)【特許権者】

【識別番号】000006208

【氏名又は名称】三菱重工業株式会社

(73)【特許権者】

【識別番号】304021277

【氏名又は名称】国立大学法人 名古屋工業大学

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】松波 夏樹

(72)【発明者】

【氏名】伊藤 孝行

(72)【発明者】

【氏名】丹田 尋

【審査官】千葉 久博

(56)【参考文献】

【文献】特開２０１９－２８８９９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／０１０１０７９（ＵＳ，Ａ１）

【文献】保知良暢、外３名，外部評価機構を導入したマルチエージェント強化学習における過去の事象に基づく報酬配分，電子情報通信学会論文誌（Ｊ８７－Ｄ－Ｉ），日本，社団法人電子情報通信学会，2004年12月01日，第12号，pp.1119-1127

【文献】柴田克成、外２名，強化学習による個性・社会性の発現・分化モデル，計測自動制御学会論文集，日本，社団法人計測自動制御学会，2003年05月31日，第39巻 第5号，pp.494-502

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

複数のエージェント間における協調動作を行うマルチエージェントシステムにおいて、複数の前記エージェントの協調動作を強化学習させるための学習システムであって、
複数の前記エージェントと、
複数の前記エージェントに対してリワードを付与するリワード付与部と、を備え、
複数の前記エージェントのそれぞれは、
前記エージェントのステートを取得するステート取得部と、
前記リワード付与部から前記リワードを取得するリワード取得部と、
前記ステートと前記リワードとに基づいて、アクションを選択するための意思決定モデルを用いて、前記アクションを選択する処理部と、
前記処理部によって選択された前記アクションを実行する動作部と、を有し、
前記リワード付与部は、
前記リワードを与える対象となる対象エージェントがいるときの他の前記エージェントの協調動作に関する評価値を第１評価値として算出する第１のステップと、
前記対象エージェントがいないときの他の前記エージェントの協調動作に関する評価値を第２評価値として算出する第２のステップと、
前記第１評価値と前記第２評価値との差分を、前記対象エージェントの迷惑料として算出し、前記迷惑料に基づいて、前記対象エージェントに付与する前記リワードを算出する第３のステップと、を実行し、
前記対象エージェントは、前記リワード付与部から付与される前記リワードに基づいて、前記意思決定モデルの学習を実行する学習システム。

【請求項2】

前記第１評価値は、
前記対象エージェントがいるときの他の前記エージェントのアクション実行後における協調動作に関する評価値の合算値から、
前記対象エージェントがいるときの他の前記エージェントのアクション実行前における協調動作に関する評価値の合算値を引いた差分である増加量となっており、
前記第２評価値は、
前記対象エージェントがいないときの他の前記エージェントのアクション実行後における協調動作に関する評価値の合算値から、
前記対象エージェントがいないときの他の前記エージェントのアクション実行前における協調動作に関する評価値の合算値を引いた差分である増加量となっている請求項１に記載の学習システム。

【請求項3】

前記リワード付与部は、
前記複数のエージェントに協調動作の実行の可否に係る重み付け投票を実行させる第４のステップと、
前記対象エージェントがいるときの投票結果に対して、前記対象エージェントがいないときの投票結果が覆る場合、前記対象エージェントに対して付与するリワードから、前記対象エージェントがいないときの投票結果に基づくリワード分だけ減額する第５のステップと、をさらに実行する請求項１または２に記載の学習システム。

【請求項4】

複数のエージェント間における協調動作を行うマルチエージェントシステムにおいて、複数の前記エージェントの協調動作を強化学習させるための学習システムであって、
複数の前記エージェントと、
複数の前記エージェントに対してリワードを付与するリワード付与部と、を備え、
複数の前記エージェントのそれぞれは、
前記エージェントのステートを取得するステート取得部と、
前記リワード付与部から前記リワードを取得するリワード取得部と、
前記ステートと前記リワードとに基づいて、アクションを選択するための意思決定モデルを用いて、前記アクションを選択する処理部と、
前記処理部によって選択された前記アクションを実行する動作部と、を有し、
前記リワード付与部は、
前記複数のエージェントに協調動作の実行の可否に係る重み付け投票を実行させる第４のステップと、
前記リワードを与える対象となる対象エージェントがいるときの投票結果に対して、前記対象エージェントがいないときの投票結果が覆る場合、前記対象エージェントに対して付与する前記リワードから、前記対象エージェントがいないときの投票結果に基づく前記リワード分だけ減額する第５のステップと、を実行し、
前記対象エージェントは、前記リワード付与部から付与される前記リワードに基づいて、前記意思決定モデルの学習を実行する学習システム。

【請求項5】

前記エージェントは、移動体である請求項１から４のいずれか１項に記載の学習システム。

【請求項6】

複数のエージェント間における協調動作を行うマルチエージェントシステムにおいて、複数の前記エージェントの協調動作を強化学習させるための学習方法であって、
複数の前記エージェントのそれぞれは、
前記エージェントのステートを取得するステート取得部と、
リワードを付与するリワード付与部から前記リワードを取得するリワード取得部と、
前記ステートと前記リワードとに基づいて、アクションを選択するための意思決定モデルを用いて、前記アクションを選択する処理部と、
前記処理部によって選択された前記アクションを実行する動作部と、を有し、
前記リワードを与える対象となる対象エージェントがいるときの他の前記エージェントの協調動作に関する評価値を第１評価値として算出する第１のステップと、
前記対象エージェントがいないときの他の前記エージェントの協調動作に関する評価値を第２評価値として算出する第２のステップと、
前記第１評価値と前記第２評価値との差分を、前記対象エージェントの迷惑料として算出し、前記迷惑料に基づいて、前記対象エージェントに付与する前記リワードを算出する第３のステップと、
前記リワード付与部から付与される前記リワードに基づいて、前記対象エージェントの前記意思決定モデルの学習を実行するステップと、を備える学習方法。

【請求項7】

複数のエージェント間における協調動作を行うマルチエージェントシステムにおいて、複数の前記エージェントの協調動作を強化学習させるための学習方法であって、
複数の前記エージェントのそれぞれは、
前記エージェントのステートを取得するステート取得部と、
リワードを付与するリワード付与部から前記リワードを取得するリワード取得部と、
前記ステートと前記リワードとに基づいて、アクションを選択するための意思決定モデルを用いて、前記アクションを選択する処理部と、
前記処理部によって選択された前記アクションを実行する動作部と、を有し、
前記複数のエージェントに協調動作の実行の可否に係る重み付け投票を実行させる第４のステップと、
前記リワードを与える対象となる対象エージェントがいるときの投票結果に対して、前記対象エージェントがいないときの投票結果が覆る場合、前記対象エージェントに対して付与する前記リワードから、前記対象エージェントがいないときの投票結果に基づく前記リワード分だけ減額する第５のステップと、
前記リワード付与部から付与される前記リワードに基づいて、前記対象エージェントの前記意思決定モデルの学習を実行するステップと、を備える学習方法。

【請求項8】

複数のエージェント間における協調動作を行うマルチエージェントシステムにおいて、複数の前記エージェントの協調動作を強化学習させるための学習プログラムであって、
複数の前記エージェントのそれぞれは、
前記エージェントのステートを取得するステート取得部と、
リワードを付与するリワード付与部から前記リワードを取得するリワード取得部と、
前記ステートと前記リワードとに基づいて、アクションを選択するための意思決定モデルを用いて、前記アクションを選択する処理部と、
前記処理部によって選択された前記アクションを実行する動作部と、を有し、
複数の前記エージェントに対してリワードを付与するリワード付与部に、
前記リワードを与える対象となる対象エージェントがいるときの他の前記エージェントの協調動作に関する評価値を第１評価値として算出する第１のステップと、
前記対象エージェントがいないときの他の前記エージェントの協調動作に関する評価値を第２評価値として算出する第２のステップと、
前記第１評価値と前記第２評価値との差分を、前記対象エージェントの迷惑料として算出し、前記迷惑料に基づいて、前記対象エージェントに付与する前記リワードを算出する第３のステップと、を実行させ、
前記対象エージェントに、
前記リワード付与部から付与される前記リワードに基づいて、前記対象エージェントの前記意思決定モデルの学習を実行させる学習プログラム。

【請求項9】

複数のエージェント間における協調動作を行うマルチエージェントシステムにおいて、複数の前記エージェントの協調動作を強化学習させるための学習プログラムであって、
複数の前記エージェントのそれぞれは、
前記エージェントのステートを取得するステート取得部と、
リワードを与える対象となるリワード付与部から前記リワードを取得するリワード取得部と、
前記ステートと前記リワードとに基づいて、アクションを選択するための意思決定モデルを用いて、前記アクションを選択する処理部と、
前記処理部によって選択された前記アクションを実行する動作部と、を有し、
複数の前記エージェントに対してリワードを付与するリワード付与部に、
前記複数のエージェントに協調動作の実行の可否に係る重み付け投票を実行させる第４のステップと、
前記リワードを与える対象となる対象エージェントがいるときの投票結果に対して、前記対象エージェントがいないときの投票結果が覆る場合、前記対象エージェントに対して付与する前記リワードから、前記対象エージェントがいないときの投票結果に基づく前記リワード分だけ減額する第５のステップと、を実行させ、
前記対象エージェントに、
前記リワード付与部から付与される前記リワードに基づいて、前記対象エージェントの前記意思決定モデルの学習を実行させる学習プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、マルチエージェントの学習システム、学習方法及び学習プログラムに関するものである。

【背景技術】

【0002】

従来、マルチエージェントの強化学習において、各エージェントに対して適切に報酬を分配するための装置が知られている（例えば、特許文献１参照）。この装置は、複数の情報供給エージェントのそれぞれから受け取る情報を利用して、対象エージェントが得た報酬に基づいて、複数の情報供給エージェントのそれぞれが提供する情報によって得られる仮想収益を推定し、推定した仮想収益に基づいて、複数の情報供給エージェントに対する情報の価格を判定している。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－１９０４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、マルチエージェントシステムでは、複数のエージェントによる協調動作が行われる。マルチエージェントの強化学習では、各エージェントが、自己の報酬を最大化するように学習を実行する。このため、各エージェントに対する報酬の分配によっては、各エージェントの自己の報酬を最大化するための動作を行うこととなってしまい、協調動作に関する学習が進みにくいことがある。

【0005】

そこで、本開示は、複数のエージェントによる協調動作を適切に学習可能な報酬を付与することができる学習システム、学習方法及び学習プログラムを提供することを課題とする。

【課題を解決するための手段】

【0006】

本開示の学習システムは、複数のエージェント間における協調動作を行うマルチエージェントシステムにおいて、複数の前記エージェントの協調動作を強化学習させるための学習システムであって、複数の前記エージェントと、複数の前記エージェントに対してリワードを付与するリワード付与部と、を備え、複数の前記エージェントのそれぞれは、前記エージェントのステートを取得するステート取得部と、前記リワード付与部から前記リワードを取得するリワード取得部と、前記ステートと前記リワードとに基づいて、アクションを選択するための意思決定モデルを用いて、前記アクションを選択する処理部と、前記処理部によって選択された前記アクションを実行する動作部と、を有し、前記リワード付与部は、前記リワードを与える対象となる対象エージェントがいるときの他の前記エージェントの協調動作に関する評価値を第１評価値として算出する第１のステップと、前記対象エージェントがいないときの他の前記エージェントの協調動作に関する評価値を第２評価値として算出する第２のステップと、前記第１評価値と前記第２評価値との差分を、前記対象エージェントの迷惑料として算出し、前記迷惑料に基づいて、前記対象エージェントに付与する前記リワードを算出する第３のステップと、を実行し、前記対象エージェントは、前記リワード付与部から付与される前記リワードに基づいて、前記意思決定モデルの学習を実行する。

【0007】

本開示の他の学習システムは、複数のエージェント間における協調動作を行うマルチエージェントシステムにおいて、複数の前記エージェントの協調動作を強化学習させるための学習システムであって、複数の前記エージェントと、複数の前記エージェントに対してリワードを付与するリワード付与部と、を備え、複数の前記エージェントのそれぞれは、前記エージェントのステートを取得するステート取得部と、前記リワード付与部から前記リワードを取得するリワード取得部と、前記ステートと前記リワードとに基づいて、アクションを選択するための意思決定モデルを用いて、前記アクションを選択する処理部と、前記処理部によって選択された前記アクションを実行する動作部と、を有し、前記リワード付与部は、前記複数のエージェントに協調動作の実行の可否に係る重み付け投票を実行させる第４のステップと、前記リワードを与える対象となる対象エージェントがいるときの投票結果に対して、前記対象エージェントがいないときの投票結果が覆る場合、前記対象エージェントに対して付与する前記リワードから、前記対象エージェントがいないときの投票結果に基づく前記リワード分だけ減額する第５のステップと、を実行し、前記対象エージェントは、前記リワード付与部から付与される前記リワードに基づいて、前記意思決定モデルの学習を実行する。

【0008】

本開示の学習方法は、複数のエージェント間における協調動作を行うマルチエージェントシステムにおいて、複数の前記エージェントの協調動作を強化学習させるための学習方法であって、複数の前記エージェントのそれぞれは、前記エージェントのステートを取得するステート取得部と、前記リワード付与部から前記リワードを取得するリワード取得部と、前記ステートと前記リワードとに基づいて、アクションを選択するための意思決定モデルを用いて、前記アクションを選択する処理部と、前記処理部によって選択された前記アクションを実行する動作部と、を有し、前記リワードを与える対象となる対象エージェントがいるときの他の前記エージェントの協調動作に関する評価値を第１評価値として算出する第１のステップと、前記対象エージェントがいないときの他の前記エージェントの協調動作に関する評価値を第２評価値として算出する第２のステップと、前記第１評価値と前記第２評価値との差分を、前記対象エージェントの迷惑料として算出し、前記迷惑料に基づいて、前記対象エージェントに付与する前記リワードを算出する第３のステップと、前記リワード付与部から付与される前記リワードに基づいて、前記対象エージェントの前記意思決定モデルの学習を実行するステップと、を備える。

【0009】

本開示の他の学習方法は、複数のエージェント間における協調動作を行うマルチエージェントシステムにおいて、複数の前記エージェントの協調動作を強化学習させるための学習方法であって、複数の前記エージェントのそれぞれは、前記エージェントのステートを取得するステート取得部と、リワードを付与するリワード付与部から前記リワードを取得するリワード取得部と、前記ステートと前記リワードとに基づいて、アクションを選択するための意思決定モデルを用いて、前記アクションを選択する処理部と、前記処理部によって選択された前記アクションを実行する動作部と、を有し、前記複数のエージェントに協調動作の実行の可否に係る重み付け投票を実行させる第４のステップと、前記リワードを与える対象となる対象エージェントがいるときの投票結果に対して、前記対象エージェントがいないときの投票結果が覆る場合、前記対象エージェントに対して付与する前記リワードから、前記対象エージェントがいないときの投票結果に基づく前記リワード分だけ減額する第５のステップと、前記リワード付与部から付与される前記リワードに基づいて、前記対象エージェントの前記意思決定モデルの学習を実行するステップと、を備える。

【0010】

本開示の学習プログラムは、複数のエージェント間における協調動作を行うマルチエージェントシステムにおいて、複数の前記エージェントの協調動作を強化学習させるための学習プログラムであって、複数の前記エージェントのそれぞれは、前記エージェントのステートを取得するステート取得部と、リワードを付与するリワード付与部から前記リワードを取得するリワード取得部と、前記ステートと前記リワードとに基づいて、アクションを選択するための意思決定モデルを用いて、前記アクションを選択する処理部と、前記処理部によって選択された前記アクションを実行する動作部と、を有し、複数の前記エージェントに対してリワードを付与するリワード付与部に、前記リワードを与える対象となる対象エージェントがいるときの他の前記エージェントの協調動作に関する評価値を第１評価値として算出する第１のステップと、前記対象エージェントがいないときの他の前記エージェントの協調動作に関する評価値を第２評価値として算出する第２のステップと、前記第１評価値と前記第２評価値との差分を、前記対象エージェントの迷惑料として算出し、前記迷惑料に基づいて、前記対象エージェントに付与する前記リワードを算出する第３のステップと、を実行させ、前記対象エージェントに、前記リワード付与部から付与される前記リワードに基づいて、前記対象エージェントの前記意思決定モデルの学習を実行させる。

【0011】

本開示の他の学習プログラムは、複数のエージェント間における協調動作を行うマルチエージェントシステムにおいて、複数の前記エージェントの協調動作を強化学習させるための学習プログラムであって、複数の前記エージェントのそれぞれは、前記エージェントのステートを取得するステート取得部と、リワードを与える対象となるリワード付与部から前記リワードを取得するリワード取得部と、前記ステートと前記リワードとに基づいて、アクションを選択するための意思決定モデルを用いて、前記アクションを選択する処理部と、前記処理部によって選択された前記アクションを実行する動作部と、を有し、複数の前記エージェントに対してリワードを付与するリワード付与部に、前記複数のエージェントに協調動作の実行の可否に係る重み付け投票を実行させる第４のステップと、前記リワードを与える対象となる対象エージェントがいるときの投票結果に対して、前記対象エージェントがいないときの投票結果が覆る場合、前記対象エージェントに対して付与する前記リワードから、前記対象エージェントがいないときの投票結果に基づく前記リワード分だけ減額する第５のステップと、を実行させ、前記対象エージェントに、前記リワード付与部から付与される前記リワードに基づいて、前記対象エージェントの前記意思決定モデルの学習を実行させる。

【発明の効果】

【0012】

本開示によれば、複数のエージェントによる協調動作を適切に学習可能な報酬を付与することができる。

【図面の簡単な説明】

【0013】

【図1】図１は、実施形態１に係る学習システムを模式的に表した図である。

【図2】図２は、実施形態１に係る学習システムの報酬の算出に関するフローを示す図である。

【図3】図３は、実施形態１に係る学習システムの学習に関する説明図である。

【図4】図４は、実施形態１に係る学習方法に関するフローを示す図である。

【図5】図５は、実施形態２に係る学習システムの学習に関する説明図である。

【発明を実施するための形態】

【0014】

以下に、本発明に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。さらに、以下に記載した構成要素は適宜組み合わせることが可能であり、また、実施形態が複数ある場合には、各実施形態を組み合わせることも可能である。

【0015】

［実施形態１］
実施形態１に係る学習システム１は、協調動作を行う複数のエージェント５、すなわち、マルチエージェントを強化学習するシステムとなっている。エージェント５は、例えば、車両、船舶または航空機等の移動体が適用される。

【0016】

図１は、実施形態１に係る学習システムを模式的に表した図である。図２は、実施形態１に係る学習システムの報酬の算出に関するフローを示す図である。図３は、実施形態１に係る学習システムの学習に関する説明図である。図４は、実施形態１に係る学習方法に関するフローを示す図である。

【0017】

（学習システム）
学習システム１は、例えば、コンピュータを用いて構成され、仮想空間となるマルチエージェント環境（Environment）下において、複数のエージェント５の強化学習を実行する。図１に示すように、学習システム１は、複数のエージェント５と、複数のエージェント５に対して報酬（リワード）を付与する報酬付与部（リワード付与部）６とを備えている。複数のエージェント５と報酬付与部６とは、コンピュータ上において動作する。学習システム１では、報酬付与部６から各エージェント５に報酬を付与することで、各エージェント５が報酬に基づく学習を実行する。具体的に、各エージェント５は、報酬が最大化するように学習を実行する。

【0018】

（エージェント）
複数のエージェント５は、マルチエージェント環境（Environment）下に設けられている。エージェント５は、学習部（処理部、リワード取得部）１０と、センサ１１と、動作部１２とを有する。センサ１１は、エージェント５の状態（ステート）を取得するステート取得部として機能する。センサ１１は、学習部１０に接続されており、取得したステートを学習部１０へ向けて出力する。センサ１１は、例えば、速度センサ、加速度センサ等である。学習部１０は、報酬付与部６からリワード（報酬）が入力されることで、リワードを取得するリワード取得部として機能する。また、学習部１０には、センサ１１からステートが入力される。学習部１０は、ステートとリワードとに基づいて、意思決定モデルを用いてアクション（動作）を選択する処理部として機能している。また、学習部１０は、強化学習時において、リワードが最大となるように、意思決定モデルの学習を実行する。学習部１０は、動作部１２に接続されており、意思決定モデルを用いて選択したアクションを、動作部１２へ向けて出力する。動作部１２は、学習部１０から入力されるアクションを実行する。動作部１２は、例えば、アクチュエータである。

【0019】

エージェント５は、強化学習時において、ステートとリワードとを取得すると、学習部１０において、取得したステート及びリワードに基づいて、意思決定モデルからアクションを選択する。エージェント５は、選択したアクションを実行する。なお、強化学習後のエージェント５の意思決定モデル（学習部１０）は、現実の移動体に搭載されることで、協調動作を実行可能となる。

【0020】

（報酬付与部）
報酬付与部６は、マルチエージェント環境に基づいて、各エージェント５に付与するリワードを算出し、算出したリワードを各エージェント５へ向けて付与する。報酬付与部６は、リワードを付与する対象となる対象エージェント５がいるときの評価と、対象エージェント５がいないときの評価とに基づいて、リワードを算出している。具体的に、報酬付与部６は、下記する（１）式に基づいて、リワードを算出する。

【0021】

【数1】

【0022】

ここで、対象エージェントをｉとし、その他のエージェントをｌとする。ｒは、リワード（reward function）である。αは、従来の報酬（conventional reward）である。ｖ_ｌは、エージェントｌの評価値（agent l’s value）である。ｓ_ｌは、エージェントｌのステート（state）であり、ｓ^－ｉは、対象エージェントｉを除くエージェントｌのステートである。ａ_ｌは、エージェントｌのアクション（agent l’s action）である。

【0023】

（１）式において、右式の第２項は、対象エージェントｉがいるときの他のエージェントｌの協調動作に関する評価値（第１評価値）である。具体的に、第１評価値は、対象エージェントｉがいるときの他のエージェントｌのアクション実行後における協調動作に関する評価値の合算値から、対象エージェントｉがいるときの他のエージェントｌのアクション実行前における協調動作に関する評価値の合算値を引いた差分である増加量となっている。

【0024】

（１）式において、右式の第３項は、対象エージェントｉがいないときの他のエージェントｌの協調動作に関する評価値（第２評価値）である。具体的に、第２評価値は、対象エージェントｉがいないときの他のエージェントｌのアクション実行後における協調動作に関する評価値の合算値から、対象エージェントｉがいないときの他のエージェントｌのアクション実行前における協調動作に関する評価値の合算値を引いた差分である増加量となっている。

【0025】

そして、（１）式において、右式の第２項から第３項を引いた値、すなわち、第１評価値と第２評価値との差分は、迷惑料として算出される。そして、対象エージェントｉに付与される報酬は、迷惑料を含んで算出される。

【0026】

ここで、図３を参照して、（１）式における右式の第２項及び第３項、つまり、迷惑料について説明する。

【0027】

（１）式における右式の第２項について、図３に示すように、複数のエージェント５として、例えば、エージェントＡ～Ｄがある。このとき、エージェントＡを対象エージェントｉとし、エージェントＢ～Ｄを他のエージェントｌとする。協調動作としては、例えば、エージェントＡ～Ｄが同じ速度で並んで走行する動作とする。このとき、対象エージェントｉのステートである速度は、「２」となっている。一方で、他のエージェントｌのステートである速度は、「１」となっている。この場合、他のエージェントｌであるエージェントＢ～Ｄは、協調動作を行うべく、意思決定モデルにより選択される動作として、例えば、エージェントＢ及びエージェントＣは、速度「２」への加速を実行する一方で、エージェントＤは、速度「１」への維持を実行する。

【0028】

この場合、対象エージェントｉがいるときの他のエージェントｌのアクション実行後における最大評価値としては、最大速度「２」となり、最小評価値としては、最小速度「１」となる。一方で、対象エージェントｉがいるときの他のエージェントｌのアクション実行前における最大評価値としては、最大速度「１」となり、最小評価値としては、最小速度「１」となる。このため、右式の第２項により算出される第１評価値としての増加量は、「－｛（２－１）－（１－１）｝＝－１」となる。

【0029】

（１）式における右式の第３項について、対象エージェントｉがいない場合、他のエージェントｌは、同じ速度で並んで走行していることから、意思決定モデルにより選択される動作としては、他のエージェントｌであるエージェントＢ～Ｄは、速度「１」への維持を実行する。

【0030】

この場合、対象エージェントｉがいないときの他のエージェントｌのアクション実行後における最大評価値としては、最大速度「１」となり、最小評価値としては、最小速度「１」となる。また、対象エージェントｉがいないときの他のエージェントｌのアクション実行前における最大評価値としては、最大速度「１」となり、最小評価値としては、最小速度「１」となる。このため、右式の第３項により算出される第２評価値としての増加量は、「－｛（１－１）－（１－１）｝＝０」となる。

【0031】

そして、迷惑料は、第１評価値から第２評価値を引いた差分となるため、「－１－０＝－１」となり、対象エージェントｉは、迷惑料「－１」に基づいて、「ｒ＝α－１」の報酬が算出される。

【0032】

次に、図２を参照して、報酬付与部６による報酬の算出について説明する。報酬付与部６は、（１）式に基づく報酬を算出する場合、先ず、（１）式における右式の第２項に基づいて、第１評価値を算出する（ステップＳ１：第１のステップ）。続いて、報酬付与部６は、（１）式における右式の第３項に基づいて、第２評価値を算出する（ステップＳ２：第２のステップ）。この後、報酬付与部６は、予め設定された従来の報酬αと、第１評価値と、第２評価値とに基づいて、（１）式からリワードを算出する（ステップＳ３：第３のステップ）。

【0033】

次に、図４を参照して、報酬付与部６により算出した報酬に基づく、複数のエージェント５の強化学習について説明する。図４に示すように、学習システム１は、各エージェント５のセンサ１１から、マルチエージェント環境下におけるエージェント５のステートを取得する（ステップＳ１１ａ）。また、学習システム１は、報酬付与部６から、図２の算出方法によって算出されたリワードを取得する（ステップＳ１２ａ）。つまり、学習システム１は、ステート及びリワードを含む観測情報を収集する（collect Observation）。

【0034】

続いて、学習システム１では、各エージェント５が、取得したステート及びリワードに基づいて、意思決定モデルを用いたアクションを選択して実行する（ステップＳ１３ａ）。これにより、アクションを実行した後のマルチエージェント環境が更新される（ステップＳ１４ａ）。

【0035】

学習システム１は、ステップＳ１１からステップＳ１４を繰り返し実行することで、各エージェント５の意思決定モデルが、報酬が最大化するようなアクションを選択するように、最適化される。このように、学習システム１は、図２及び図４に示すステップを行う学習プログラムを実行することにより、複数のエージェント５の強化学習を実行する。

【0036】

［実施形態２］
次に、図５を参照して、実施形態２に係る学習システム１について説明する。なお、実施形態２では、重複した記載を避けるべく、実施形態１と異なる部分について説明し、実施形態１と同様の構成である部分については、同じ符号を付して説明する。図５は、実施形態２に係る学習システムの学習に関する説明図である。

【0037】

実施形態２の学習システム１は、実施形態１の報酬付与部６の報酬の算出に用いた迷惑料に代えて、課税を適用している。具体的に、図５に示すように、複数のエージェント５として、例えば、エージェントＡ～Ｃがある。このとき、エージェントＡを対象エージェントｉとし、エージェントＢ～Ｃを他のエージェントｌとする。協調動作としては、例えば、エージェントＡ～Ｃの全員で加速する動作とする。

【0038】

報酬付与部６は、報酬を算出するにあたり、複数のエージェント５に協調動作の実行の可否に係る重み付け投票を実行させる（ステップＳ２１：第４のステップ）。ここで、図５に示すように、重み付け投票は、協調動作の実行に賛成する、または、協調動作の実行に賛成する投票となっており、また、賛成及び反対に対して重み付けが付与されている。例えば、エージェントＡは、賛成しており、重み付けが「４」となっている。エージェントＢは、賛成しており、重み付けが「１」となっている。エージェントＣは、反対しており、重み付けが「３」となっている。

【0039】

報酬付与部６は、ステップＳ２１の実行後、対象エージェントｉがいるときの投票結果に対して、対象エージェントｉがいないときの投票結果が覆る場合、対象エージェントｉに対して付与するリワードから、対象エージェントｉがいないときの投票結果に基づくリワード分だけ減額する（ステップＳ２２：第５のステップ）。具体的に、ステップＳ２２では、対象エージェントｉであるエージェントＡがいるときの投票結果が、「２」となり加速を実行する投票結果となる。一方で、対象エージェントｉであるエージェントＡがいないときの投票結果が、「２」となり加速を実行しない投票結果となる。この場合、投票結果が覆ることから、報酬付与部６は、「－２」の投票結果に基づくリワード分だけ減額する。つまり、報酬付与部６は、報酬に対して「２」を課税することにより、「ｒ＝α－２」の報酬が算出される。このように、学習システム１は、図５に示すステップを行う学習プログラムを実行することにより、複数のエージェント５の強化学習を実行する。

【0040】

なお、実施形態２では、実施形態１の迷惑料に代えて、課税を適用したが、迷惑料と課税とを用いて報酬を算出してもよい。つまり、実施形態１と実施形態２とを組み合わせた報酬の算出を行ってもよい。

【0041】

以上のように、本実施形態に記載の学習システム１、学習方法及び学習プログラムは、例えば、以下のように把握される。

【0042】

第１の態様に係る学習システム１は、複数のエージェント５間における協調動作を行うマルチエージェントシステムにおいて、複数の前記エージェント５の協調動作を強化学習させるための学習システムであって、複数の前記エージェント５と、複数の前記エージェント５に対してリワードを付与するリワード付与部（報酬付与部）６と、を備え、複数の前記エージェント５のそれぞれは、前記エージェント５のステートを取得するステート取得部（センサ）１１と、前記リワード付与部６から前記リワードを取得するリワード取得部（学習部）１０と、前記ステートと前記リワードとに基づいて、アクションを選択するための意思決定モデルを用いて、前記アクションを選択する処理部（学習部）１０と、前記処理部１０によって選択された前記アクションを実行する動作部１２と、を有し、前記リワード付与部６は、前記リワードを与える対象となる対象エージェントｉがいるときの他の前記エージェントｌの協調動作に関する評価値を第１評価値として算出する第１のステップ（ステップＳ１）と、前記対象エージェントｉがいないときの他の前記エージェントｌの協調動作に関する評価値を第２評価値として算出する第２のステップ（ステップＳ２）と、前記第１評価値と前記第２評価値との差分を、前記対象エージェントｉの迷惑料として算出し、前記迷惑料に基づいて、前記対象エージェントｉに付与する前記リワードを算出する第３のステップ（ステップＳ３）と、を実行し、前記対象エージェントｉは、前記リワード付与部６から付与される前記リワードに基づいて、前記意思決定モデルの学習を実行する。

【0043】

第６の態様に係る学習方法は、複数のエージェント５間における協調動作を行うマルチエージェントシステムにおいて、複数の前記エージェント５の協調動作を強化学習させるための学習方法であって、複数の前記エージェント５のそれぞれは、前記エージェント５のステートを取得するステート取得部（センサ）１１と、前記リワード付与部６から前記リワードを取得するリワード取得部（学習部）１０と、前記ステートと前記リワードとに基づいて、アクションを選択するための意思決定モデルを用いて、前記アクションを選択する処理部（学習部）１０と、前記処理部１０によって選択された前記アクションを実行する動作部１２と、を有し、前記リワードを与える対象となる対象エージェントｉがいるときの他の前記エージェントｌの協調動作に関する評価値を第１評価値として算出する第１のステップ（ステップＳ１）と、前記対象エージェントｉがいないときの他の前記エージェントｌの協調動作に関する評価値を第２評価値として算出する第２のステップ（ステップＳ２）と、前記第１評価値と前記第２評価値との差分を、前記対象エージェントｉの迷惑料として算出し、前記迷惑料に基づいて、前記対象エージェントｉに付与する前記リワードを算出する第３のステップ（ステップＳ３）と、前記リワード付与部６から付与される前記リワードに基づいて、前記対象エージェントｉの前記意思決定モデルの学習を実行するステップ（ステップＳ１３）と、を備える。

【0044】

第８の態様に係る学習プログラムは、複数のエージェント５間における協調動作を行うマルチエージェントシステムにおいて、複数の前記エージェント５の協調動作を強化学習させるための学習プログラムであって、複数の前記エージェント５のそれぞれは、前記エージェント５のステートを取得するステート取得部（センサ）１１と、前記リワード付与部６から前記リワードを取得するリワード取得部（学習部）１０と、前記ステートと前記リワードとに基づいて、アクションを選択するための意思決定モデルを用いて、前記アクションを選択する処理部（学習部）１０と、前記処理部１０によって選択された前記アクションを実行する動作部１２と、を有し、複数の前記エージェント５に対してリワードを付与するリワード付与部６に、前記リワードを与える対象となる対象エージェントｉがいるときの他の前記エージェントｌの協調動作に関する評価値を第１評価値として算出する第１のステップ（ステップＳ１）と、前記対象エージェントｉがいないときの他の前記エージェントｌの協調動作に関する評価値を第２評価値として算出する第２のステップ（ステップＳ２）と、前記第１評価値と前記第２評価値との差分を、前記対象エージェントｉの迷惑料として算出し、前記迷惑料に基づいて、前記対象エージェントｉに付与する前記リワードを算出する第３のステップ（ステップＳ３）と、を実行させ、前記対象エージェントｉに、前記リワード付与部６から付与される前記リワードに基づいて、前記対象エージェントｉの前記意思決定モデルの学習を実行させる。

【0045】

これらの構成によれば、リワード付与部６は、対象エージェントｉが、他のエージェントｌに与える迷惑料に基づいて、報酬を算出することができる。このため、複数のエージェント５による協調動作を実行する場合であっても、対象エージェントｉのみの報酬が多くなる動作を抑制することができるため、マルチエージェントの協調動作に対して適切に学習可能な報酬を付与することができる。

【0046】

第２の態様として、前記第１評価値は、前記対象エージェントｉがいるときの他の前記エージェントｌのアクション実行後における協調動作に関する評価値の合算値から、前記対象エージェントｉがいるときの他の前記エージェントｌのアクション実行前における協調動作に関する評価値の合算値を引いた差分である増加量（（１）式の右辺の第２項）となっており、前記第２評価値は、前記対象エージェントｉがいないときの他の前記エージェントｌのアクション実行後における協調動作に関する評価値の合算値から、前記対象エージェントｉがいないときの他の前記エージェントｌのアクション実行前における協調動作に関する評価値の合算値を引いた差分である増加量（（１）式の右辺の第３項）となっている。

【0047】

この構成によれば、エージェント５のアクションの実行前後における増加量に基づいて、迷惑料を算出することができる。このため、マルチエージェント環境の経時的な変化に基づく迷惑料を算出することができる。

【0048】

第３の態様として、前記リワード付与部６は、前記複数のエージェント５に協調動作の実行の可否に係る重み付け投票を実行させる第４のステップ（ステップＳ２１）と、前記対象エージェントｉがいるときの投票結果に対して、前記対象エージェントｉがいないときの投票結果が覆る場合、前記対象エージェントｉに対して付与するリワードから、前記対象エージェントｉがいないときの投票結果に基づくリワード分だけ減額（課税）する第５のステップ（ステップＳ２２）と、をさらに実行する。

【0049】

この構成によれば、リワード付与部６は、対象エージェントｉが、他のエージェントｌに与える影響に応じた課税を含む報酬を算出することができる。このため、複数のエージェント５による協調動作を実行する場合であっても、対象エージェントｉが課税を考慮した動作とすることができるため、マルチエージェントの協調動作に対して適切に学習可能な報酬を付与することができる。

【0050】

第４の態様に係る学習システム１は、複数のエージェント５間における協調動作を行うマルチエージェントシステムにおいて、複数の前記エージェント５の協調動作を強化学習させるための学習システムであって、複数の前記エージェント５と、複数の前記エージェント５に対してリワードを付与するリワード付与部（報酬付与部）６と、を備え、複数の前記エージェント５のそれぞれは、前記エージェント５のステートを取得するステート取得部（センサ）１１と、前記リワード付与部６から前記リワードを取得するリワード取得部（学習部）１０と、前記ステートと前記リワードとに基づいて、アクションを選択するための意思決定モデルを用いて、前記アクションを選択する処理部（学習部）１０と、前記処理部１０によって選択された前記アクションを実行する動作部１２と、を有し、前記リワード付与部６は、前記複数のエージェント５に協調動作の実行の可否に係る重み付け投票を実行させる第４のステップ（ステップＳ２１）と、前記対象エージェントｉがいるときの投票結果に対して、前記対象エージェントｉがいないときの投票結果が覆る場合、前記対象エージェントｉに対して付与するリワードから、前記対象エージェントｉがいないときの投票結果に基づくリワード分だけ減額（課税）する第５のステップ（ステップＳ２２）と、を実行し、前記対象エージェントｉは、前記リワード付与部６から付与される前記リワードに基づいて、前記意思決定モデルの学習を実行する。

【0051】

第７の態様に係る学習方法は、複数のエージェント５間における協調動作を行うマルチエージェントシステムにおいて、複数の前記エージェント５の協調動作を強化学習させるための学習方法であって、複数の前記エージェント５のそれぞれは、前記エージェント５のステートを取得するステート取得部（センサ）１１と、前記リワード付与部６から前記リワードを取得するリワード取得部（学習部）１０と、前記ステートと前記リワードとに基づいて、アクションを選択するための意思決定モデルを用いて、前記アクションを選択する処理部（学習部）１０と、前記処理部１０によって選択された前記アクションを実行する動作部１２と、を有し、前記複数のエージェント５に協調動作の実行の可否に係る重み付け投票を実行させる第４のステップ（ステップＳ２１）と、前記対象エージェントｉがいるときの投票結果に対して、前記対象エージェントｉがいないときの投票結果が覆る場合、前記対象エージェントｉに対して付与するリワードから、前記対象エージェントｉがいないときの投票結果に基づくリワード分だけ減額（課税）する第５のステップ（ステップＳ２２）と、前記リワード付与部６から付与される前記リワードに基づいて、前記対象エージェントｉの前記意思決定モデルの学習を実行するステップ（ステップＳ１３）と、を備える。

【0052】

第９の態様に係る学習プログラムは、複数のエージェント５間における協調動作を行うマルチエージェントシステムにおいて、複数の前記エージェント５の協調動作を強化学習させるための学習プログラムであって、複数の前記エージェント５のそれぞれは、前記エージェント５のステートを取得するステート取得部（センサ）１１と、前記リワード付与部６から前記リワードを取得するリワード取得部（学習部）１０と、前記ステートと前記リワードとに基づいて、アクションを選択するための意思決定モデルを用いて、前記アクションを選択する処理部（学習部）１０と、前記処理部１０によって選択された前記アクションを実行する動作部１２と、を有し、複数の前記エージェント５に対してリワードを付与するリワード付与部６に、前記複数のエージェント５に協調動作の実行の可否に係る重み付け投票を実行させる第４のステップ（ステップＳ２１）と、前記対象エージェントｉがいるときの投票結果に対して、前記対象エージェントｉがいないときの投票結果が覆る場合、前記対象エージェントｉに対して付与するリワードから、前記対象エージェントｉがいないときの投票結果に基づくリワード分だけ減額（課税）する第５のステップ（ステップＳ２２）と、を実行させ、前記対象エージェントｉに、前記リワード付与部６から付与される前記リワードに基づいて、前記対象エージェントｉの前記意思決定モデルの学習を実行させる。

【0053】

これらの構成によれば、リワード付与部６は、対象エージェントｉが、他のエージェントｌに与える影響に応じた課税を含む報酬を算出することができる。このため、複数のエージェント５による協調動作を実行する場合であっても、対象エージェントｉが課税を考慮した動作とすることができるため、マルチエージェントの協調動作に対して適切に学習可能な報酬を付与することができる。

【0054】

第５の態様として、前記エージェントは、移動体である。

【0055】

この構成によれば、移動体の協調動作に対して適切に学習可能な報酬を付与することができる。

【符号の説明】

【0056】

１ 学習システム
５ エージェント
６ 報酬付与部
１０ 学習部
１１ センサ
１２ 動作部

【図1】

【図2】

【図3】

【図4】

【図5】