特許 7398373 制御装置、システム、制御方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-06

(45)【発行日】2023-12-14

(54)【発明の名称】制御装置、システム、制御方法、及びプログラム

(51)【国際特許分類】

   B25J 9/22 20060101AFI20231207BHJP

【ＦＩ】

B25J9/22 A

【請求項の数】 29

(21)【出願番号】P 2020529025

(86)(22)【出願日】2019-07-03

(86)【国際出願番号】 JP2019026414

(87)【国際公開番号】W WO2020009139

(87)【国際公開日】2020-01-09

【審査請求日】2022-06-29

(31)【優先権主張番号】P 2018127803

(32)【優先日】2018-07-04

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】515130201

【氏名又は名称】株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】高橋 城志

(72)【発明者】

【氏名】増田 慎平

【審査官】臼井 卓巳

(56)【参考文献】

【文献】特開２０１７－２１１９１３（ＪＰ，Ａ）

【文献】特開２００４－３２２２２４（ＪＰ，Ａ）

【文献】特開２０１７－０３０１３５（ＪＰ，Ａ）

【文献】特開２０１７－１８５５７７（ＪＰ，Ａ）

【文献】特開２００４－１７８４９２（ＪＰ，Ａ）

【文献】特開２０１４－２１１６６７（ＪＰ，Ａ）

【文献】特開２０１７－０３０１３７（ＪＰ，Ａ）

【文献】特開２０１７－０６４９１０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０１６５６０２（ＵＳ，Ａ１）

【文献】中国特許出願公開第１０６２２８３１４（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ ９／１０－１３／０８

Ｇ０５Ｂ １３／０２－２３／０２

Ｇ０６Ｎ ３／０８－９９／００

(57)【特許請求の範囲】

【請求項1】

少なくとも１つのメモリと、
少なくとも１つのプロセッサと、を備え、
前記少なくとも１つのプロセッサは、
実環境における環境情報を取得することと、
前記環境情報及び第１の方策に基づいて、前記実環境の制御対象の制御に関する第１の情報を取得することと、
前記第１の情報及び第２の方策に基づいて、前記制御対象の制御に関する第２の情報を取得することと、
前記第２の情報に基づいて、前記制御対象を制御することと、
を実行し、
前記第１の方策は、シミュレーション環境における仮想の制御対象を用いて更新されたものであり、
前記第２の方策は、少なくとも前記実環境における複数の制御対象のいずれか１つの制御結果に基づいて更新されたものであり、
前記第１の方策及び前記第２の方策は、それぞれ異なるニューラルネットワークを用いて表現される、
制御装置。

【請求項2】

少なくとも１つのメモリと、
少なくとも１つのプロセッサと、を備え、
前記少なくとも１つのプロセッサは、
実環境における環境情報を取得することと、
前記環境情報及び第１の方策に基づいて、前記実環境の制御対象の制御に関する第１の情報を取得することと、
前記第１の情報及び第２の方策に基づいて、前記制御対象の制御に関する第２の情報を取得することと、
前記第２の情報に基づいて、前記制御対象を制御することと、
を実行し、
前記第１の方策は、シミュレーション環境における仮想の制御対象を用いて更新されたものであり、
前記少なくとも１つのプロセッサは、更に、
前記シミュレーション環境における環境情報を取得することと、
前記シミュレーション環境における環境情報及び前記第１の方策に基づいて、前記仮想の制御対象の制御に関する第３の情報を取得することと、
前記第３の情報に基づいて、前記仮想の制御対象を制御することと、
前記仮想の制御対象の制御結果に基づいて、前記第１の方策を更新することと、
を実行する、
制御装置。

【請求項3】

少なくとも１つのメモリと、
少なくとも１つのプロセッサと、を備え、
前記少なくとも１つのプロセッサは、
実環境における環境情報を取得することと、
前記環境情報及び第１の方策に基づいて、前記実環境の制御対象の制御に関する第１の情報を取得することと、
前記第１の情報及び第２の方策に基づいて、前記制御対象の制御に関する第２の情報を取得することと、
前記第２の情報に基づいて、前記制御対象を制御することと、
前記制御対象の制御結果に基づいて、前記第２の方策を更新することと、
を実行し、
前記第１の方策は、シミュレーション環境における仮想の制御対象を用いて更新されたものであり、
前記少なくとも１つのプロセッサは、
前記第１の方策を更新した後、前記第２の方策を更新することと、
前記第２の方策を更新した後、前記第１の方策を更新することと、
を実行する、
制御装置。

【請求項4】

少なくとも１つのメモリと、
少なくとも１つのプロセッサと、を備え、
前記少なくとも１つのプロセッサは、
実環境における環境情報を取得することと、
前記環境情報及び第１の方策に基づいて、前記実環境の制御対象の制御に関する第１の情報を取得することと、
前記第１の情報及び第２の方策に基づいて、前記制御対象の制御に関する第２の情報を取得することと、
前記第２の情報に基づいて、前記制御対象を制御することと、
前記制御対象の制御結果に基づいて、前記第２の方策を更新することと、
を実行し、
前記第１の方策は、シミュレーション環境における仮想の制御対象を用いて更新されたものであり、
前記少なくとも１つのプロセッサは、
第１のタスクを用いて前記第２の方策を更新した後、前記第１のタスクより複雑度が高い第２のタスクを用いて前記第２の方策を更新すること、
を実行する、
制御装置。

【請求項5】

少なくとも１つのメモリと、
少なくとも１つのプロセッサと、を備え、
前記少なくとも１つのプロセッサは、
実環境における環境情報を取得することと、
前記環境情報及び第１の方策に基づいて、前記実環境の制御対象の制御に関する第１の情報を取得することと、
前記第１の情報及び第２の方策に基づいて、前記制御対象の制御に関する第２の情報を取得することと、
前記第２の情報に基づいて、前記制御対象を制御することと、
前記制御対象の制御結果に基づいて、前記第２の方策を更新することと、
を実行し、
前記第１の方策は、シミュレーション環境における仮想の制御対象を用いて更新されたものであり、
前記少なくとも１つのプロセッサは、
第１のタスクを用いて前記第１の方策を更新した後、前記第１のタスクより複雑度が高い第２のタスクを用いて前記第１の方策を更新すること、
を実行する、
制御装置。

【請求項6】

前記第２の方策は、少なくとも前記実環境における複数の制御対象のいずれか１つを用いて更新されたものである、
請求項２乃至請求項５のいずれか１項に記載の制御装置。

【請求項7】

前記第１の方策及び前記第２の方策は、それぞれ異なるニューラルネットワークを用いて表現される、
請求項２乃至請求項６のいずれか１項に記載の制御装置。

【請求項8】

前記第１の情報は、前記制御対象の行動に関する情報であり、
前記第２の情報は、前記制御対象が前記行動を実現するための制御値に関する情報である、
請求項１乃至請求項７のいずれか１項に記載の制御装置。

【請求項9】

前記行動に関する情報は、前記制御対象の駆動部のトルク値に関する情報である、
請求項８に記載の制御装置。

【請求項10】

前記制御値に関する情報は、前記制御対象の駆動部の電流値に関する情報である、
請求項８又は請求項９に記載の制御装置。

【請求項11】

前記行動は、少なくとも二足歩行及び物体の把持のいずれかを実現するためのものである、
請求項８乃至請求項１０のいずれか１項に記載の制御装置。

【請求項12】

前記第１の方策及び前記第２の方策は、深層強化学習を用いて更新されたものである、
請求項１乃至請求項１１のいずれか１項に記載の制御装置。

【請求項13】

前記環境情報は、少なくとも、前記実環境における画像及び前記制御対象の駆動部の計測値のいずれか１つに関する情報を含む、
請求項１乃至請求項１２のいずれか１項に記載の制御装置。

【請求項14】

請求項１乃至請求項１３のいずれか１項に記載の制御装置と、
前記環境情報を取得するためのセンサと、
前記制御対象と、
を備えるシステム。

【請求項15】

少なくとも１つのプロセッサが、
実環境における環境情報を取得し、
前記環境情報及び第１の方策に基づいて、前記実環境の制御対象の制御に関する第１の情報を取得し、
前記第１の情報及び第２の方策に基づいて、前記制御対象の制御に関する第２の情報を取得し、
前記第２の情報に基づいて、前記制御対象を制御する、
制御方法であって、
前記第１の方策は、シミュレーション環境における仮想の制御対象を用いて更新されたものであり、
前記第２の方策は、少なくとも前記実環境における複数の制御対象のいずれか１つの制御結果に基づいて更新されたものであり、
前記第１の方策及び前記第２の方策は、それぞれ異なるニューラルネットワークを用いて表現される、
制御方法。

【請求項16】

少なくとも１つのプロセッサが、
実環境における環境情報を取得し、
前記環境情報及び第１の方策に基づいて、前記実環境の制御対象の制御に関する第１の情報を取得し、
前記第１の情報及び第２の方策に基づいて、前記制御対象の制御に関する第２の情報を取得し、
前記第２の情報に基づいて、前記制御対象を制御する、
制御方法であって、
前記第１の方策は、シミュレーション環境における仮想の制御対象を用いて更新されたものであり、
前記少なくとも１つのプロセッサが、更に、
前記シミュレーション環境における環境情報を取得し、
前記シミュレーション環境における環境情報及び前記第１の方策に基づいて、前記仮想の制御対象の制御に関する第３の情報を取得し、
前記第３の情報に基づいて、前記仮想の制御対象を制御し、
前記仮想の制御対象の制御結果に基づいて、前記第１の方策を更新する、
制御方法。

【請求項17】

少なくとも１つのプロセッサが、
実環境における環境情報を取得し、
前記環境情報及び第１の方策に基づいて、前記実環境の制御対象の制御に関する第１の情報を取得し、
前記第１の情報及び第２の方策に基づいて、前記制御対象の制御に関する第２の情報を取得し、
前記第２の情報に基づいて、前記制御対象を制御し、
前記制御対象の制御結果に基づいて、前記第２の方策を更新する、
制御方法であって、
前記第１の方策は、シミュレーション環境における仮想の制御対象を用いて更新されたものであり、
前記少なくとも１つのプロセッサが、
前記第１の方策を更新した後、前記第２の方策を更新し、
前記第２の方策を更新した後、前記第１の方策を更新する、
制御方法。

【請求項18】

少なくとも１つのプロセッサが、
実環境における環境情報を取得し、
前記環境情報及び第１の方策に基づいて、前記実環境の制御対象の制御に関する第１の情報を取得し、
前記第１の情報及び第２の方策に基づいて、前記制御対象の制御に関する第２の情報を取得し、
前記第２の情報に基づいて、前記制御対象を制御し、
前記制御対象の制御結果に基づいて、前記第２の方策を更新する、
制御方法であって、
前記第１の方策は、シミュレーション環境における仮想の制御対象を用いて更新されたものであり、
前記少なくとも１つのプロセッサが、
第１のタスクを用いて前記第２の方策を更新した後、前記第１のタスクより複雑度が高い第２のタスクを用いて前記第２の方策を更新する、
制御方法。

【請求項19】

少なくとも１つのプロセッサが、
実環境における環境情報を取得し、
前記環境情報及び第１の方策に基づいて、前記実環境の制御対象の制御に関する第１の情報を取得し、
前記第１の情報及び第２の方策に基づいて、前記制御対象の制御に関する第２の情報を取得し、
前記第２の情報に基づいて、前記制御対象を制御し、
前記制御対象の制御結果に基づいて、前記第２の方策を更新する、
制御方法であって、
前記第１の方策は、シミュレーション環境における仮想の制御対象を用いて更新されたものであり、
前記少なくとも１つのプロセッサが、
第１のタスクを用いて前記第１の方策を更新した後、前記第１のタスクより複雑度が高い第２のタスクを用いて前記第１の方策を更新する、
制御方法。

【請求項20】

前記第２の方策は、少なくとも前記実環境における複数の制御対象のいずれか１つを用いて更新されたものである、
請求項１６乃至請求項１９のいずれか１項に記載の制御方法。

【請求項21】

前記第１の方策及び前記第２の方策は、それぞれ異なるニューラルネットワークを用いて表現される、
請求項１６乃至請求項２０のいずれか１項に記載の制御方法。

【請求項22】

前記第１の情報は、前記制御対象の行動に関する情報であり、
前記第２の情報は、前記制御対象が前記行動を実現するための制御値に関する情報である、
請求項１５乃至請求項２１のいずれか１項に記載の制御方法。

【請求項23】

前記行動に関する情報は、前記制御対象の駆動部のトルク値に関する情報である、
請求項２２に記載の制御方法。

【請求項24】

前記制御値に関する情報は、前記制御対象の駆動部の電流値に関する情報である、
請求項２２又は請求項２３に記載の制御方法。

【請求項25】

前記行動は、少なくとも二足歩行及び物体の把持のいずれかを実現するためのものである、
請求項２２乃至請求項２４のいずれか１項に記載の制御方法。

【請求項26】

前記第１のタスク及び前記第２のタスクは二足歩行であって、前記第２のタスクの歩行速度は前記第１のタスクの歩行速度より速い、
請求項１８又は請求項１９に記載の制御方法。

【請求項27】

前記第１の方策及び前記第２の方策は、深層強化学習を用いて更新される、
請求項１５乃至請求項２６のいずれか１項に記載の制御方法。

【請求項28】

前記第２の方策を用いて、前記第１の方策を更新する、
請求項１５乃至請求項２７のいずれか１項に記載の制御方法。

【請求項29】

請求項１５乃至請求項２８のいずれか１項に記載の制御方法を、前記少なくとも１つのプロセッサに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、制御装置、システム、制御方法、及びプログラムに関する。

【背景技術】

【0002】

近年、様々な機械学習の手法を用いて、アクチュエータ等の駆動部を有するロボットに対して所定のタスク（例えば、二足歩行や物体の把持等）を実現する動作を学習させることが行われている。

【0003】

しかしながら、深層強化学習では多くの試行回数が必要とされる。教師あり学習を事前に行うことで、深層強化学習の試行回数を削減することができるものの、実環境のみでは現実的な試行回数で学習させることは困難である。これに対して、シミュレーション環境での学習結果を実環境に適用可能とする手法として、Sim to realと呼ばれる手法が知られている。

【発明の概要】

【0004】

しかしながら、例えば、シミュレーション環境と実環境との差異が大きい場合には、シミュレーション環境での学習結果を実環境に適用することが困難な場合があった。例えば、物体の把持動作や二足歩行動作等のタスクをロボットに学習させる場合、実環境では、アクチュエータ等の駆動部で摩擦が発生したり、駆動部の動作遅れが発生したりする。このため、シミュレーション環境での学習結果を実環境に適用することが困難な場合がある。

【0005】

本発明の実施の形態は、上記の点に鑑みてなされたもので、シミュレーション環境での学習結果の実環境への適用を容易に行うことを目的とする。

【0006】

上記目的を達成するため、本発明の実施の形態は、第１のモデルが出力した、シミュレーション環境における仮想ロボットによる動作の行動計画に基づいて、前記動作を実現可能な実環境における実環境のロボットの制御値を出力する第２のモデルを強化学習により訓練する手順、をコンピュータが実行することを特徴とする。

【発明の効果】

【0007】

シミュレーション環境での学習結果を実環境に容易に適用することができる。

【図面の簡単な説明】

【0008】

【図1】本発明の実施の形態における学習システムの全体構成の一例を示す図である。

【図2A】本発明の実施の形態におけるロボットの一例を模式的に示す図である。

【図2B】本発明の実施の形態におけるロボットの一例を模式的に示す図である。

【図3】本発明の実施の形態における学習装置のハードウェア構成の一例を示す図である。

【図4】本発明の実施の形態における学習装置の機能構成の一例を示す図である。

【図5】本発明の実施の形態における学習処理の一例を示すフローチャートである。

【図6】シミュレーション環境での学習処理の一例を示すフローチャートである。

【図7】実環境での学習処理の一例を示すフローチャートである。

【図8】実環境での学習結果をシミュレーション環境に反映する処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本実施の形態について、図面を参照しながら詳細に説明する。以降では、シミュレーション環境での学習結果を実環境に適用することで、ロボットの効率的な学習を行うことが可能な学習システム１について説明する。

【0010】

＜全体構成＞
まず、本実施の形態の一例における学習システム１の全体構成について、図１を参照しながら説明する。図１は、本実施の形態の一例における学習システム１の全体構成の一例を示す図である。

【0011】

図１に示すように、本実施の形態の一例における学習システム１には、学習装置１０と、制御装置２０と、ロボット３０と、センサ４０とが含まれる。

【0012】

学習装置１０は、深層強化学習により、所定のタスク（例えば、二足歩行や物体の把持等）を実現する動作をロボット３０に学習させるためのコンピュータ又はコンピュータシステムである。学習装置１０は、シミュレーション環境でのロボット３０（以下、仮想装置又は仮想ロボットともいう）の深層強化学習と、実環境でのロボット３０（実環境での装置）の深層強化学習とを行うことで、タスクを実現する動作をロボット３０に学習させる。

【0013】

このとき、例えば、学習装置１０は、シミュレーション環境ではロボット３０がタスクを実現するための動作（いわゆるプランニング）を学習させて、実環境では当該動作を実現するために必要な駆動部（例えばアクチュエータ等）の制御値を学習させる。ここで、制御値は、例えば、当該動作を実現するために必要な駆動部の電流値等である。本実施形態では、一例として、制御値は、駆動部の電流値であるものとして説明するが、これに限られない。

【0014】

本実施の形態における学習装置１０は、シミュレーション環境でのロボット３０の学習と、実環境でのロボット３０の学習とをCurriculum learningを用いて行うと共に、これらの学習を所定の順序で繰り返し行う。

【0015】

ここで、所定の順序としては、以下の（１）及び（２）を満たす任意の順序を採用することができる。

【0016】

（１）シミュレーション環境での学習の次に、同一複雑度のタスク又は複雑度を上げたタスクのシミュレーション環境での学習又は実環境での学習を行う。

【0017】

（２）実環境での学習の次に、シミュレーション環境で学習済の複雑度のタスクについて実環境での学習を行うか、又は複雑度を上げたタスクのシミュレーション環境での学習を行う。

【0018】

具体的には、例えば、ロボット３０に学習させたいタスクをV₁，V₂として、これらのタスクV₁，V₂の複雑度をV₁＜V₂とする。この場合、以下の（Ａ）、（Ｂ）、（Ｃ）に例示する順序は、全て上記の所定の順序を満たす。

【0019】

（Ａ）タスクV₁のシミュレーション環境での学習、タスクV₁の実環境での学習、タスクV₂のシミュレーション環境での学習、タスクV₂の実環境での学習の順にロボット３０の学習を行う。

【0020】

（Ｂ）タスクV₁のシミュレーション環境での学習、タスクV₂のシミュレーション環境、タスクV₁の実環境での学習、タスクV₂の実環境での学習の順にロボット３０の学習を行う。

【0021】

（Ｃ）タスクV₁のシミュレーション環境での学習、タスクV₁のシミュレーション環境での学習、タスクV₂のシミュレーション環境での学習、タスクV₁の実環境での学習、タスクV₁の実環境での学習、タスクV₂の実環境での学習の順にロボット３０の学習を行う。

【0022】

なお、タスクの複雑度は、ロボット３０が実現したい動作の複雑さを表す。例えば、ロボット３０が二足歩行ロボットである場合、タスク「ゆっくり歩く」と、タスク「早く歩く」と、タスク「走る」とでは、タスク「ゆっくり歩く」、タスク「早く歩く」、タスク「走る」の順にタスクの複雑度が高くなる場合がある。なお、タスクの複雑度は、種々の方法で定められることができる。例えば、第１のタスクと第２のタスクとでロボット３０の動作の成功率が異なる場合、成功率が低いタスクを複雑度が高いものとみなすことができる。また、例えば、ロボット３０の動作の実現にあたり考慮するべき事項の数が多いほど、ロボット３０の制御に必要な計算量が多いほど、タスクの複雑度が高いとみなすことができる。

【0023】

制御装置２０は、ロボット３０の動作を制御するコンピュータ又はコンピュータシステムである。制御装置２０は、ロボット３０の動作を制御するための指示を、当該ロボット３０の駆動部（例えばアクチュエータ等）に送信する。これにより、ロボット３０の動作が制御される。

【0024】

ロボット３０は、アクチュエータ等の駆動部を有する装置又は機器である。ロボット３０としては、例えば、図２Ａ）に示す二足歩行ロボット、図２Ｂに示すロボットアーム等が挙げられる。図２Ａに示す二足歩行ロボット及び図２Ｂに示すロボットアームには、アクチュエータ等の駆動部が含まれている。このような駆動部は、例えば、関節に相当する部分等に設けられている。

【0025】

センサ４０は、例えば、カメラ装置や各種計測装置等である。センサ４０は、例えば、カメラ装置で撮影された画像や、計測装置で計測された駆動部の状態等を取得する。

【0026】

なお、図１に示す学習システム１の構成は一例であって、他の構成であっても良い。例えば、本実施の形態における学習システム１では、学習装置１０と制御装置２０とが一体の装置で構成されていても良い。また、本実施の形態における学習システム１には、複数のロボット３０が含まれていても良い。また、学習装置１０と制御装置２０とは、それぞれ２つ以上用いられてもよい。

【0027】

＜ハードウェア構成＞
次に、本実施の形態の一例における学習装置１０のハードウェア構成について、図３を参照しながら説明する。図３は、本実施の形態の一例における学習装置１０のハードウェア構成の一例を示す図である。

【0028】

図３に示すように、本実施の形態の一例における学習装置１０は、入力装置１１と、表示装置１２と、外部Ｉ／Ｆ１３と、通信Ｉ／Ｆ１４と、ＲＡＭ（Random Access Memory）１５と、ＲＯＭ（Read Only Memory）１６と、プロセッサ１７と、補助記憶装置１８とを有する。これら各ハードウェアは、それぞれがバス１９により相互に接続されている。

【0029】

入力装置１１は、例えばキーボードやマウス、タッチパネル等であり、ユーザが各種操作を入力するのに用いられる。表示装置１２は、例えばディスプレイ等であり、学習装置１０の各種の処理結果を表示する。なお、学習装置１０は、入力装置１１及び表示装置１２のうちの少なくとも一方を有していなくても良い。

【0030】

外部Ｉ／Ｆ１３は、外部装置とのインタフェースである。外部装置には、記録媒体１３ａ等がある。学習装置１０は、外部Ｉ／Ｆ１３を介して、記録媒体１３ａ等の読み取りや書き込み等を行うことができる。記録媒体１３ａには、学習装置１０が有する各機能部を実現する１以上のプログラム等が記録されていても良い。

【0031】

記録媒体１３ａには、例えば、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等がある。

【0032】

通信Ｉ／Ｆ１４は、学習装置１０を通信ネットワークに接続するためのインタフェースである。学習装置１０が有する各機能部を実現する１以上のプログラムは、通信Ｉ／Ｆ１４を介して、所定のサーバ装置等から取得（ダウンロード）されても良い。

【0033】

ＲＡＭ１５は、プログラムやデータを一時保持する揮発性の半導体メモリである。ＲＯＭ１６は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリである。ＲＯＭ１６には、例えば、ＯＳ（Operating System）に関する設定や通信ネットワークに関する設定等が格納されている。

【0034】

プロセッサ１７は、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等であり、ＲＯＭ１６や補助記憶装置１８等からプログラムやデータをＲＡＭ１５上に読み出して処理を実行する演算装置である。なお、学習装置１０は、プロセッサ１７として、ＣＰＵとＧＰＵとの両方を有していても良いし、ＣＰＵ又はＧＰＵのいずれか一方のみを有していても良い。

【0035】

補助記憶装置１８は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等であり、プログラムやデータを格納している不揮発性の記憶装置である。補助記憶装置１８には、例えば、ＯＳ、各種アプリケーションソフトウェア、学習装置１０が有する各機能部を実現する１以上のプログラム等がある。

【0036】

本実施の形態における学習装置１０は、図３に示すハードウェア構成を有することにより、後述する各種処理を実現することができる。なお、図３に示す例では、本実施の形態における学習装置１０が１台の装置（コンピュータ）で実現されている場合について説明したが、これに限られない。本実施の形態における学習装置１０は、複数台の装置（コンピュータ）で実現されていても良い。

【0037】

＜機能構成＞
次に、本実施の形態の一例における学習装置１０の機能構成について、図４を参照しながら説明する。図４は、本実施の形態の一例における学習装置１０の機能構成の一例を示す図である。

【0038】

図４に示すように、本実施の形態の一例における学習装置１０は、シミュレーション学習部１０１と、実機学習部１０２と、複雑化部１０３と、利得判定部１０４とを有する。これら各機能部は、学習装置１０にインストールされた１以上のプログラムがプロセッサ１７に実行させる処理により実現される。

【0039】

シミュレーション学習部１０１は、深層強化学習により、シミュレーション環境で所定のタスクを実現するためのロボット３０（正確には、ロボット３０のシミュレーションした仮想ロボット）の動作を学習する。ここで、本実施の形態におけるシミュレーション学習部１０１には、環境情報取得部１１１と、行動決定部１１２と、行動実行部１１３と、方策更新部１１４と、出力部１１５とが含まれる。

【0040】

環境情報取得部１１１は、シミュレーション環境での環境情報s_t,sを取得する。ここで、環境情報s_t,sは、シミュレーション環境の時刻tにおける観測値である。この観測値は、シミュレーション環境におけるセンサ４０（正確には、仮想的なカメラ）により観測される情報（例えば、シミュレーション環境における把持対象物を撮影した画像や歩行経路を撮影した画像、ロボット３０の駆動部の計測値等）である。なお、これに限られず、環境情報取得部１１１は、例えば、過去数時刻分の環境情報（具体的には、例えば、予め設定された自然数Nに対して、時刻t-Nから時刻tまでの環境情報s_t-N,s,・・・,s_t,s）を取得してもよい。

【0041】

行動決定部１１２は、シミュレーション環境における方策π_simを用いて、行動a_t,sを決定する。ここで、行動a_t,sは、シミュレーション環境の時刻tにおける駆動部の出力値である。駆動部の出力値とは、例えば、駆動部のトルク値である。本実施形態では、一例として、駆動部の出力値は、トルク値であるものとして説明するが、これに限られない。なお、行動a_t,sは、環境情報取得部１１１により取得された環境情報を方策π_simに入力することで決定される。

【0042】

行動実行部１１３は、行動決定部１１２が決定した行動a_t,sを実行する。すなわち、行動実行部１１３は、シミュレーション環境におけるロボット３０の駆動部を、行動a_t,sが示すトルク値で駆動させる。これにより、シミュレーション環境でロボット３０が動作する。ロボット３０が行動a_t,sを実行することで、環境がs_t+1,sに遷移すると共に、報酬r_t+1,sが得られる。ここで、報酬r_t,sは、シミュレーション環境の時刻tにおける報酬であり、例えば、ユーザ等により予め定義される。

【0043】

方策更新部１１４は、シミュレーション環境における方策π_simを更新する。すなわち、方策更新部１１４は、例えば、報酬r_t,sの割引現在価値の総和として求まる利得R_sが最大となるように（より正確には、利得R_sの期待値が最大となるように）方策π_simを更新する。

【0044】

出力部１１５は、方策更新部１１４により更新された方策π_simと、利得R_sとを出力する。

【0045】

実機学習部１０２は、深層強化学習により、実環境で所定の動作（すなわち、シミュレーション環境で学習した所定のタスクを実現するためのロボット３０の動作）を実現するために制御値を学習する。本実施の形態においては、制御値として、必要な駆動部の電流値を学習する。ここで、本実施の形態における実機学習部１０２には、環境情報取得部１２１と、行動決定部１２２と、制御値計算部１２３と、ロボット制御部１２４と、方策更新部１２５と、出力部１２６とが含まれる。

【0046】

環境情報取得部１２１は、実環境での環境情報s_t,rを取得する。ここで、環境情報s_t,rは、実環境の時刻tにおける観測値である。この観測値は、実環境におけるセンサ４０により観測される情報（例えば、実環境における把持対象物を撮影した画像や歩行経路を撮影した画像、ロボット３０の駆動部の計測値等）である。なお、これに限られず、環境情報取得部１２１は、例えば、過去数時刻分の環境情報（具体的には、例えば、予め設定された自然数Nに対して、時刻t-Nから時刻tまでの環境情報s_t-N,r,・・・,s_t,r）を取得してもよい。

【0047】

行動決定部１２２は、シミュレーション環境における方策π_simを用いて、行動a_t,sを決定する。なお、行動a_t,sは、環境情報取得部１２１により取得された環境情報を方策π_simに入力することで決定される。

【0048】

制御値計算部１２３は、行動決定部１２２により決定された行動a_t,sを実現するための制御値a_t,rを方策π_realとして計算する。例えば、制御値計算部１２３は、行動a_t,sが示すトルク値τ_tを実現する電流値a_t,rを方策π_realとして計算する。なお、方策π_realは、ニューラルネットワークで表される行動価値関数の期待値が環境情報s_t,rにおいて最大となる行動a_t,rである。

【0049】

ロボット制御部１２４は、制御値計算部１２３により計算された制御値a_t,r（すなわち、方策π_realとして計算された制御値a_t,r）でロボット３０の動作を制御する。これにより、実環境でロボット３０が動作する。ロボット３０が行動a_t,sを実行することで（すなわち、電流値a_t,rによりロボット３０を制御して、当該ロボット３０が行動a_t,sを実行することで）、環境がs_t+1,rに遷移すると共に、報酬r_t+1,rが得られる。ここで、報酬r_t,rは、実環境の時刻tにおける報酬であり、例えば、ユーザ等により予め定義される。

【0050】

方策更新部１２５は、実環境における方策π_realを更新する。すなわち、方策更新部１２５は、例えば、報酬r_t,rの割引現在価値の総和として求まる利得R_rが最大となるように（より正確には、利得R_rの期待値が最大となるように）方策π_realを更新する。

【0051】

出力部１２６は、方策更新部１２５により更新された方策π_realと、利得R_rとを出力する。

【0052】

複雑化部１０３は、ロボット３０に動作を学習させるタスクを複雑化する（すなわち、タスクの複雑度を高くする。）。利得判定部１０４は、利得が所定の閾値を超えているか否かを判定する。

【0053】

＜学習処理＞
以降では、本実施の形態における学習システム１による学習処理について、図５を参照しながら説明する。図５は、本実施の形態における学習処理の一例を示すフローチャートである。

【0054】

シミュレーション学習部１０１は、深層強化学習により、シミュレーション環境と仮想ロボット３０とを用いて所定のタスクを実現するためのロボット３０の動作を学習する（ステップＳ１０１）。これにより、方策π_simと利得R_sとが出力される。このとき、例えば、タスクの複雑度が所定の複雑度以下である場合は、教師あり学習でロボット３０の動作を学習しても良い。

【0055】

なお、上記の方策π_sim及び利得R_sは、或るタスクVに関する方策π_sim及び利得R_sであるため、より正確には、方策π_sim,V及び利得R_s,Vと表される。ただし、以降では、特に断らない限り、単に、方策π_sim及び利得R_sと表す。なお、シミュレーション環境での学習処理の詳細については後述する。

【0056】

次に、利得判定部１０４は、利得R_sが所定の閾値Aを超えているか否かを判定する（ステップＳ１０２）。なお、これは、シミュレーション環境での学習が十分に行われたか否かを判定することを意味する。

【0057】

ステップＳ１０２で利得R_sが所定の閾値Aを超えていないと判定された場合、複雑化部１０３は、タスクを複雑化する（ステップＳ１０３）。これにより、複雑化されたタスクに関して、上記のステップＳ１０１のシミュレーション環境での学習が行われる。

【0058】

ただし、上記のステップＳ１０３で複雑化部１０３は、タスクを複雑化しなくても良い。この場合、同一の複雑度のタスクに関して、上記のステップＳ１０１のシミュレーション環境での学習が行われる。

【0059】

一方で、ステップＳ１０２で利得R_sが所定の閾値Aを超えていると判定された場合、実機学習部１０２は、深層強化学習により、実環境で実環境のロボット３０が所定の動作（すなわち、シミュレーション環境で学習された所定のタスクを実現するためのロボット３０の動作）を実現するために必要な駆動部の電流値を学習する（ステップＳ１０４）。これにより、方策π_realと利得R_rとが出力される。

【0060】

なお、上記の方策π_real及び利得R_rも、上記のステップＳ１０１と同様に、より正確には、方策π_real,V及び利得R_r,Vと表される。ただし、以降では、特に断らない限り、単に、方策π_real及び利得R_rと表す。なお、実環境での学習処理の詳細については後述する。

【0061】

次に、利得判定部１０４は、利得R_rが所定の閾値Bを超えているか否かを判定する（ステップＳ１０５）。なお、これは、実環境での学習が十分に行われたか否かを判定することを意味する。

【0062】

ステップＳ１０５で利得R_rが所定の閾値Bを超えていないと判定された場合、複雑化部１０３は、タスクを複雑化する（ステップＳ１０６）。これにより、複雑化されたタスクに関して、上記のステップＳ１０４の実環境での学習が行われる。

【0063】

ただし、上記のステップＳ１０６において、複雑化部１０３は、タスクを複雑化しなくても良い。この場合、同一の複雑度のタスクに関して、上記のステップＳ１０４の実環境での学習が行われる。

【0064】

一方で、ステップＳ１０５で利得R_rが所定の閾値Bを超えていると判定された場合、利得判定部１０４は、利得R_sが所定の閾値A´を超えていて、かつ、利得R_rが所定の閾値B´を超えているか否かを判定する（ステップＳ１０７）。なお、閾値A´としては、例えば、閾値A以上の値が設定される。同様に、閾値B´としては、例えば、閾値B以上の値が設定される。

【0065】

ステップＳ１０７で利得R_sが所定の閾値A´を超えていて、かつ、利得R_rが所定の閾値B´を超えていると判定された場合、学習装置１０は、学習処理を終了する。これにより、実環境のロボット３０の各タスクの動作が学習される。

【0066】

一方で、ステップＳ１０７で利得R_sが所定の閾値A´を超えていて、かつ、利得R_rが所定の閾値B´を超えていると判定されなかった場合、シミュレーション学習部１０１は、実環境での学習結果（すなわち、上記のステップＳ１０４で出力された方策π_real）をシミュレーション環境に反映する（ステップＳ１０８）。なお、実環境での学習結果をシミュレーション環境に反映する処理の詳細については後述する。

【0067】

ただし、上記のステップＳ１０８は行われなくても良い。この場合、上記のステップＳ１０８が行われずに、後述するステップＳ１０９が行われる。

【0068】

次に、複雑化部１０３は、タスクを複雑化する（ステップＳ１０９）。これにより、複雑化されたタスクに関して、上記のステップＳ１０１のシミュレーション環境での学習が行われる。

【0069】

ここで、上記のステップＳ１０１の処理（シミュレーション環境での学習処理）の詳細について、図６を参照しながら説明する。図６は、シミュレーション環境での学習処理の一例を示すフローチャートである。なお、図６のステップＳ２０１～ステップＳ２０２は、例えばシミュレーション環境の学習時間をｔ＝１，・・・，Ｔ_１とした場合に、シミュレーション時刻ｔ毎に繰り返し実行される。また、上述したように、タスクの複雑度が所定の複雑度以下である場合、教師あり学習により学習処理を行っても良い。このときの教師データ（すなわち、正解となる行動a_t,s）は、ユーザにより与えられれば良い。

【0070】

環境情報取得部１１１は、シミュレーション環境での環境情報s_t,sを取得する（ステップＳ２０１）。

【0071】

次に、行動決定部１１２は、シミュレーション環境における方策π_simを用いて、タスクを実現するための行動a_t,sを決定する（ステップＳ２０２）。

【0072】

次に、行動実行部１１３は、行動決定部１１２が決定した行動a_t,sを実行する（ステップＳ２０３）。すなわち、行動実行部１１３は、シミュレーション環境における仮想ロボット３０の駆動部を、行動a_t,sが示すトルク値で駆動させるシミュレーションを行う。仮想ロボット３０が行動a_t,sを実行することで、環境がs_t+1,sに遷移すると共に、報酬r_t+1,sが得られる。

【0073】

方策更新部１１４は、シミュレーション環境における方策π_simを更新する（ステップＳ２０４）。すなわち、方策更新部１１４は、例えば、報酬r_t,sの割引現在価値の総和として求まる利得R_sが最大となるように方策π_simを更新する。

【0074】

出力部１１５は、方策更新部１１４により更新された方策π_simと、利得R_sとを出力する（ステップＳ２０５）。これにより、或る所定のタスクにおける方策π_sim及び利得R_sが出力される。

【0075】

ここで、以降では、上記のステップＳ１０４の処理（実環境での学習処理）の詳細について、図７を参照しながら説明する。図７は、実環境での学習処理の一例を示すフローチャートである。なお、図７のステップＳ３０１～ステップＳ３０４は、例えば実環境の学習時間をｔ＝１，・・・，Ｔ_２とした場合に、実時刻ｔ毎に繰り返し実行される。

【0076】

環境情報取得部１２１は、実環境での環境情報s_t,rを取得する（ステップＳ３０１）。

【0077】

次に、行動決定部１２２は、シミュレーション環境における方策π_simを用いて、行動a_t,sを決定する（ステップＳ３０２）。

【0078】

制御値計算部１２３は、行動決定部１２２により決定された行動a_t,sを実現するための制御値a_t,rを方策π_realとして計算する（ステップＳ３０３）。

【0079】

ここで、行動a_t,sが示すトルク値をτ_t、電流値をC:=a_t,r、αを任意の係数として、制御値計算部１２３は、例えば、τ_t＝αC＋π_realとして方策π_realを計算する。又は、制御値計算部１２３は、例えば、τ_t＝π_realとして方策π_realを計算しても良い。

【0080】

次に、ロボット制御部１２４は、制御値計算部１２３により計算された制御値a_t,r（すなわち、方策π_realとして計算された制御値a_t,r）でロボット３０の動作を制御する（ステップＳ３０４）。これにより、実環境でロボット３０が動作して、環境がs_t+1,rに遷移すると共に、報酬r_t+1,rが得られる。

【0081】

方策更新部１２５は、実環境における方策π_realを更新する（ステップＳ３０５）。すなわち、方策更新部１２５は、例えば、報酬r_t,rの割引現在価値の総和として求まる利得R_rが最大となるように方策π_realを更新する。

【0082】

出力部１２６は、方策更新部１２５により更新された方策π_realと、利得R_rとを出力する（ステップＳ３０６）。これにより、或る所定のタスクにおける方策π_real及び利得R_rが出力される。

【0083】

ここで、以降では、上記のステップＳ１０８の処理（実環境での学習結果をシミュレーション環境に反映する処理）の詳細について、図８を参照しながら説明する。図８は、実環境での学習結果をシミュレーション環境に反映する処理の一例を示すフローチャートである。

【0084】

まず、方策更新部１１４は、実環境での学習結果である方策π_realを取得する（ステップＳ４０１）。

【0085】

次に、方策更新部１１４は、方策π_realを用いて、方策π_simを更新する（ステップＳ４０２）。なお、方策更新部１１４は、方策π_realだけでなく、例えば、方策π_realを学習する過程で取得されたデータ（例えば、各時刻ｔにおける実環境での環境情報s_t,r等）も用いて方策π_simを更新してもよい。

【0086】

これにより、実環境での学習結果がシミュレーション環境に反映される。なお、方策π_simは、同一のタスクに関する方策π_realを用いる（すなわち、実環境と同様に、シミュレーション環境においても同一タスクに関する方策π_simを用いて制御値（つまり、行動a_t,s）を決定し、この制御値により仮想ロボット３０を駆動させる。）。

【0087】

＜まとめ＞
以上のように、本実施の形態における学習システム１では、シミュレーション環境での学習と、実環境での学習とを、Curriculum learningによりタスクの複雑度を高くしながら、所定の順序で繰り返し行う。このとき、シミュレーション環境ではロボット３０がタスクを実現するための動作（いわゆるプランニング）を学習させて、実環境では当該動作を実現するために必要な駆動部（例えばアクチュエータ等）の制御値を学習させる。すなわち、本実施の形態における学習システム１では、シミュレーション環境での方策π_simに用いられる行動価値関数と、環境での方策π_realに用いられる行動価値関数とでそれぞれ異なるニューラルネットワークを用いる。また、本実施の形態における学習システム１では、実環境での学習結果をシミュレーション環境に反映する。

【0088】

これにより、本実施の形態における学習システム１では、実環境とシミュレーション環境との差異が大きい場合（例えば、アクチュエータ等の駆動部で摩擦が発生したり、ロボット３０と実環境との接触が発生したりする場合等）や実環境で駆動部の動作遅れが発生するような場合であっても、シミュレーション環境での学習結果を実環境に適用しやすくできる。

【0089】

したがって、本実施の形態における学習システム１では、ロボット３０が所定のタスクを実現するための動作を学習する時間を大幅に削減することができる。また、本実施の形態における学習システム１では、実環境での学習で、所定の動作を行うための駆動部の制御値を学習するため、例えばアクチュエータ等のモデリングが不要となる。

【0090】

なお、本実施の形態では、ロボット３０として、二足歩行ロボットやロボットアームを例示したが、これに限られない。本実施の形態は、駆動部を有する種々のロボットが所定のタスクを実現するための動作学習に適用することができる。このようなロボットの具体例としては、パーソナルロボット、災害救助ロボット、工業用ロボット等が挙げられる。

【0091】

本発明は、具体的に開示された上記の実施の形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

【0092】

本願は、日本国に２０１８年７月４日に出願された基礎出願２０１８－１２７８０３号に基づくものであり、その全内容はここに参照をもって援用される。

【符号の説明】

【0093】

１ 学習システム
１０ 学習装置
２０ 制御装置
３０ ロボット
４０ センサ
１０１ シミュレーション学習部
１０２ 実機学習部
１０３ 複雑化部
１０４ 利得判定部
１１１ 環境情報取得部
１１２ 行動決定部
１１３ 行動実行部
１１４ 方策更新部
１１５ 出力部
１２１ 環境情報取得部
１２２ 行動決定部
１２３ 制御値計算部
１２４ ロボット制御部
１２５ 方策更新部
１２６ 出力部

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】