特許 7616695 情報処理装置、方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-08

(45)【発行日】2025-01-17

(54)【発明の名称】情報処理装置、方法、及びプログラム

(51)【国際特許分類】

   B25J 13/00 20060101AFI20250109BHJP

   B25J 3/00 20060101ALI20250109BHJP

   G05B 13/02 20060101ALI20250109BHJP

【ＦＩ】

B25J13/00 Z

B25J3/00 Z

G05B13/02 L

【請求項の数】 24

(21)【出願番号】P 2022536319

(86)(22)【出願日】2021-07-09

(86)【国際出願番号】 JP2021025932

(87)【国際公開番号】W WO2022014485

(87)【国際公開日】2022-01-20

【審査請求日】2024-01-16

(31)【優先権主張番号】P 2020120740

(32)【優先日】2020-07-14

(33)【優先権主張国・地域又は機関】JP

(31)【優先権主張番号】P 2020217788

(32)【優先日】2020-12-25

(33)【優先権主張国・地域又は機関】JP

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成３１年度、国立研究開発法人科学技術振興機構、戦略的創造研究推進事業（個人型研究（さきがけ））「未知物体操作のための位置と力情報を用いたＥｎｄ ｔｏ Ｅｎｄ ｌｅａｒｎｉｎｇ」委託研究、産業技術力強化法第１７条の適用を受ける特許出願

(73)【特許権者】

【識別番号】504171134

【氏名又は名称】国立大学法人 筑波大学

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100188558

【弁理士】

【氏名又は名称】飯田 雅人

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(74)【代理人】

【識別番号】100152272

【弁理士】

【氏名又は名称】川越 雄一郎

(74)【代理人】

【識別番号】100181722

【弁理士】

【氏名又は名称】春田 洋孝

(72)【発明者】

【氏名】境野 翔

【審査官】牧 初

(56)【参考文献】

【文献】特開２０２０－０８２３３２（ＪＰ，Ａ）

【文献】特開２０２１－０９４６７７（ＪＰ，Ａ）

【文献】特開２０２１－０１６９０８（ＪＰ，Ａ）

【文献】特開２０２１－０６４２９５（ＪＰ，Ａ）

【文献】特開２０２１－０４９８４１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００－２１／０２

Ｇ０５Ｂ １９／１８－１９／４１６

Ｇ０５Ｂ １９／４２－１９／４６

Ｇ０５Ｂ １１／００－１３／０４

(57)【特許請求の範囲】

【請求項1】

指令情報に従い動作する制御対象装置が出力する、当該制御対象装置の状態を表す情報から、前記制御対象装置に供給される前記指令情報を導出する第１学習済モデルを用いて、第１の単位時間毎に前記指令情報を推定する第１推定部と、
前記制御対象装置が出力した前記状態を表す情報と、当該状態を表す情報を前記第１学習済モデルに入力することにより導出される前記指令情報とから、前記制御対象装置に供給される前記指令情報を導出する第２学習済モデルを用いて、前記指令情報を、前記第１の単位時間よりも短い第２の単位時間毎に推定する第２推定部と、
前記第２推定部が推定した前記指令情報を用いて前記制御対象装置を動作させる動作制御部と、
を備える情報処理装置。

【請求項2】

前記指令情報は、前記指令情報を出力する装置から発行される情報であり、
前記第２学習済モデルに入力される情報は、前記第１学習済モデルが導出した指令情報、及び、前記状態を表す情報を含む、
請求項１に記載の情報処理装置。

【請求項3】

前記第２学習済モデルの入力は、前記制御対象装置が出力した前記状態を表す情報と前記第１学習済モデルの出力の情報の組を相関が小さくなるように変換したデータである、
請求項１又は２に記載の情報処理装置。

【請求項4】

前記指令情報を出力する装置、及び前記制御対象装置はそれぞれ、ロボットアームを備え、
前記指令情報及び前記状態を表す情報はそれぞれ、前記ロボットアームの動作を示す情報を含む、
請求項１～３までの何れか１項に記載の情報処理装置。

【請求項5】

前記指令情報を出力する装置は、ユーザ操作に応じて動作するマスタ装置であり、
前記制御対象装置は、前記マスタ装置から出力される前記指令情報に従い動作するスレーブ装置であり、
前記第１学習済モデル及び前記第２学習済モデルは、前記マスタ装置及び前記スレーブ装置を備えるマスタ・スレーブシステムにおいて収集される前記指令情報及び前記状態を表す情報を用いて学習される、
請求項１～４までのいずれか１項に記載の情報処理装置。

【請求項6】

指令情報に従い動作する制御対象装置が出力した、当該制御対象装置の状態を表す情報と、前記制御対象装置に供給された前記指令情報との組を用いて、前記状態を表す情報と前記指令情報との相関関係を学習させた第１学習済モデルを生成する第１生成部と、
前記制御対象装置が出力した前記状態を表す情報と当該状態を表す情報を前記第１学習済モデルに入力することにより導出される前記指令情報との関係を表す情報を含む入力情報と、前記制御対象装置に供給された前記指令情報との組を用いて、前記入力情報と前記指令情報との相関関係を学習させた第２学習済モデルを生成する第２生成部と、
を備える情報処理装置。

【請求項7】

前記制御対象装置が出力した前記状態を表す情報を第１の単位時間毎に前記第１学習済モデルに入力することにより前記指令情報を推定する第１推定部と、
前記制御対象装置が出力した前記状態を表す情報と当該状態を表す情報を前記第１学習済モデルに入力することにより導出される前記指令情報との関係を表す情報を含む入力データを、前記第１の単位時間よりも短い第２の単位時間毎に前記第２学習済モデルに入力することにより前記指令情報を推定する第２推定部と、
前記第２推定部が推定した前記指令情報を用いて前記制御対象装置を動作させる動作制御部と、
を更に備える、請求項６に記載の情報処理装置。

【請求項8】

前記指令情報を出力する装置は、ユーザ操作に応じて動作するマスタ装置であり、
前記制御対象装置は、前記マスタ装置から出力される前記指令情報に従い動作するスレーブ装置であり、
前記第１生成部は、前記マスタ装置及び前記スレーブ装置を備えるマスタ・スレーブシステムにおいて収集される前記指令情報及び前記状態を表す情報を用いて、前記第１学習済モデルを生成し、
前記第２生成部は、前記マスタ・スレーブシステムにおいて収集される前記指令情報及び前記状態を表す情報を用いて、前記第２学習済モデルを生成する、
請求項６又は７に記載の情報処理装置。

【請求項9】

前記第１学習済モデルは、前記状態を表す情報と、前記制御対象装置の動作を規定する、動作速度を含む情報とを含む入力データから、前記制御対象装置が当該状態を表す情報を出力した後に前記制御対象装置に供給される前記指令情報を導出する学習済モデルである、
請求項１～８までのいずれか１項に記載の情報処理装置。

【請求項10】

前記動作速度を含む情報は、前記制御対象装置の動作周期を表す周波数又は動作実行時間を示す情報を含む、
請求項９に記載の情報処理装置。

【請求項11】

前記第１学習済モデルは、前記入力データから、前記制御対象装置が前記状態を表す情報を出力してから予め定められた単位時間が経過した後に前記制御対象装置に供給される前記指令情報を導出する学習済モデルである、
請求項９又は１０に記載の情報処理装置。

【請求項12】

前記第１学習済モデルは、前記状態を表す情報と、前記制御対象装置に指示する動作を規定する、動作速度を含む情報とを含む入力データから、前記制御対象装置が当該状態を表す情報を出力した後に前記制御対象装置に供給される前記指令情報を出力データとして導出する学習済モデルであり、
前記第１生成部は、前記制御対象装置の動作速度を変えながら前記制御対象装置を動作させることにより収集される前記指令情報、前記状態を表す情報、及び前記動作速度を含む情報を用いて、前記第１学習済モデルを生成する、
請求項６又は７に記載の情報処理装置。

【請求項13】

前記第１学習済モデルは、前記指令情報から、前記制御対象装置に当該指令情報が供給された後に前記制御対象装置が出力する第２の状態を表す情報を導出する第３学習済モデルにより導出される第２の状態を表す情報を入力情報として学習させた学習済モデルである、
請求項１～１２までのいずれか１項に記載の情報処理装置。

【請求項14】

指令情報に従い動作する制御対象装置が出力する、当該制御対象装置の状態を表す情報から、前記制御対象装置に供給される前記指令情報を導出する第１学習済モデルを用いて、前記指令情報を、第１の単位時間毎に推定する第１ステップと、
前記制御対象装置が出力した前記状態を表す情報と、当該状態を表す情報を前記第１学習済モデルに入力することにより導出される前記指令情報との関係を表す情報から、前記制御対象装置に供給される前記指令情報を導出する第２学習済モデルを用いて、前記指令情報を、前記第１の単位時間よりも短い第２の単位時間毎に推定する第２ステップと、
前記第２ステップにおいて推定した前記指令情報を用いて前記制御対象装置を動作させる第３ステップと、
を情報処理装置が実行する方法。

【請求項15】

前記第２推定部は、ｎ個（ｎは２以上の自然数）の前記第２学習済モデルを用いて前記指令情報を推定し、
ｎ個の前記第２学習済モデルは階層的に用いられ、各層の前記第２学習済モデルから導出される指令情報に応じた関係を表す情報が、当該第２学習済モデルの下層の第２学習済モデルの入力情報となる、
請求項１～５までのいずれか１項に記載の情報処理装置。

【請求項16】

前記制御対象装置は、対象物に対する作業を行う装置であり、
前記第１の単位時間及び前記第２の単位時間の一方又は両方を、前記対象物の硬軟の程度に応じて変更する変更制御部、
を更に備える請求項１～５までのいずれか１項に記載の情報処理装置。

【請求項17】

前記第１学習済モデルは、前記状態を表す情報から、所定の時間が経過した後の前記制御対象装置の第２の状態を表す情報、及び、前記指令情報を導出する学習済モデルであって、当該第１学習済モデルが導出した前記第２の状態を表す情報を入力情報として学習させた学習済モデルである、
請求項１～１２までのいずれか１項に記載の情報処理装置。

【請求項18】

前記第１学習済モデルは、前記指令情報及び前記状態を表す情報から、所定の時間が経過した後の前記制御対象装置の第２の状態を表す情報、及び、前記指令情報を導出する学習済モデルであって、当該第１学習済モデルが導出した前記指令情報及び前記第２の状態を表す情報を、入力情報として学習させた学習済モデルである、
請求項１～１２までのいずれか１項に記載の情報処理装置。

【請求項19】

前記ｎ個の前記第２学習済モデルは、それぞれ動作周波数が異なる
請求項１５に記載の情報処理装置。

【請求項20】

前記入力情報とは、定量的に表される値である
請求項１３、１５、１７、及び１８のいずれか１項に記載の情報処理装置。

【請求項21】

前記制御対象装置は、把持対象物を把持又は接触対象物に接触し、
前記第１学習済モデルと、前記第２学習済モデルとには、前記把持対象物を把持又は前記接触対象物に接触する動作が記憶され、
前記把持対象物を把持又は前記接触対象物に接触する動作は、前記把持対象物又は前記接触対象物の硬軟の程度に応じて前記第１学習済モデル又は前記第２学習済モデルのうちいずれか学習済モデルに学習される
請求項１～５までのいずれか１項に記載の情報処理装置。

【請求項22】

前記第１学習済モデルは、前記把持対象物が柔らかい物体である場合の動作を学習し、
前記第２学習済モデルは、前記把持対象物が硬い物体である場合の動作を学習し、
前記第１学習済モデルと前記第２学習済モデルとは、動作周波数が異なる
請求項２１に記載の情報処理装置。

【請求項23】

請求項１～１３、１５～２２のいずれか１項に記載の情報処理装置としてコンピュータを機能させるためのプログラムであって、前記各部としてコンピュータを機能させるためのプログラム。

【請求項24】

前記第１推定部は、複数の時点における前記指令情報を推定し、
前記第２推定部は、推定された複数の時点における前記指令情報ごとに、前記指令情報を推定する
請求項１～５及び請求項７までのいずれか１項に記載の情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、方法、及びプログラムに関する。

【背景技術】

【0002】

ロボットを制御する技術が知られている。例えば、特許文献１には、マスタ・スレーブシステムによって遠隔制御を行うロボットが記載されている。また、マスタ・スレーブシステムを用いたロボットの遠隔操作を機械学習させて学習済モデルを生成し、この学習済モデルを用いてロボットを動作させる技術が提案されている。

【先行技術文献】

【特許文献】

【0003】

【文献】ＷＯ２０１５／０４１０４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

機械学習させた学習済モデルを用いてロボットを動作させる場合、動作条件（動作速度、等）や動作環境（操作対象物の形状や位置、柔軟性などの物理特性、障害物位置、等）が変化した場合に、ロボットが適切に動作しない場合があった。これら、動作条件や動作環境の変化に対応しロボットの動作予測を安定させるためには、膨大な教師データが必要になるとともに、計算時間も膨大になってしまうという問題があった。

【0005】

本発明の一態様は、ロボット等、制御対象装置の動作制御を行う際に、動作予測の安定した制御対象装置を実現することを目的とする。

【課題を解決するための手段】

【0006】

本発明の態様１に係る情報処理装置は、指令情報に従い動作する制御対象装置が出力する、当該制御対象装置の状態を表す情報から、前記制御対象装置に供給される前記指令情報を導出する第１学習済モデルを用いて、第１の単位時間毎に前記指令情報を推定する第１推定部と、前記制御対象装置が出力した前記状態を表す情報と、当該状態を表す情報を前記第１学習済モデルに入力することにより導出される前記指令情報とから、前記制御対象装置に供給される前記指令情報を導出する第２学習済モデルを用いて、前記指令情報を、前記第１の単位時間よりも短い第２の単位時間毎に推定する第２推定部と、前記第２推定部が推定した前記指令情報を用いて前記制御対象装置を動作させる動作制御部と、を備えている。

【0007】

上記の構成によれば、情報処理装置は、状態を表す情報から指令情報を導出する第１学習済モデルと、第１学習済モデルの出力に応じた情報から指令情報を導出する第２学習済モデルとを用いて、制御対象装置を動作させる。これらの複数の学習済モデルが制御対象装置の動作制御において階層的に用いられることにより、膨大な教師データを必要とすることなく、制御対象装置の動作予測を安定させることができる。また、ここでは２階層の学習済モデルについて記したが、さらに階層を増やしてｎ階層のモデルを用いても、制御対象装置の動作目的に応じ各階層モデルを用いる、用いないの選択をしても良い。

【0008】

本発明の態様２に係る情報処理装置は、前記態様１において、前記指令情報は、前記指令情報を出力する装置から発行される情報であり、前記第２学習済モデルに入力される情報は、前記第１学習済モデルが導出した指令情報、及び、当該指令情報と前記状態を表す情報を含んでもよい。

【0009】

上記の構成によれば、第２学習済モデルの入力データは、前記第１の単位時間で推定される前記第１学習済モデルの出力と前記第２の単位時間で出力される前記制御対象装置が出力した前記状態の組となる。前記第２単位時間と比較して前記第１単位時間を長く設定しているので、前記第１学習済モデルの出力の変動が少ないものとして前記第２学習済モデルは前記制御対象装置の動作予測することができるようになり、予測を安定させることができる。

【0010】

本発明の態様３に係る情報処理装置は、前記態様１又は２において、前記第２学習済モデルに入力される情報は、前記第１学習済モデルが導出した指令情報と前記状態を表す情報との組を低相関化（相関が小さくなるように変換）したデータであってもよい。例えば、二つのデータからそれらの和と差のデータを生成することで低相関化できる。

【0011】

上記の構成によれば、第２学習済モデルの入力データ間の相関が小さくなる。これにより、制御対象装置の動作予測を安定させることができる。データ間の相関が低ければ低いほど、制御対象装置の動作予測を安定させることができる。

【0012】

本発明の態様４に係る情報処理装置は、前記態様１～３において、前記指令情報を出力する装置、及び前記制御対象装置はそれぞれ、ロボットアームを備え、前記指令情報及び前記状態を表す情報はそれぞれ、前記ロボットアームの動作を示す情報を含んでもよい。

【0013】

上記の構成によれば、情報処理装置は、ロボットアームの動作を示す情報を含む指令情報を導出する階層的な学習済モデルを用いて、制御対象装置の動作制御を行う。これにより、ロボットアームを備える制御対象装置の動作予測を安定させることができる。

【0014】

本発明の態様５に係る情報処理装置は、前記態様１～４において、前記指令情報を出力する装置は、ユーザ操作に応じて動作するマスタ装置であり、前記制御対象装置は、前記マスタ装置から出力される前記指令情報に従い動作するスレーブ装置であり、前記第１学習済モデル及び前記第２学習済モデルは、前記マスタ装置及び前記スレーブ装置を備えるマスタ・スレーブシステムにおいて収集される前記指令情報及び前記状態を表す情報を用いて学習されてもよい。

【0015】

上記の構成によれば、情報処理装置は、マスタ・スレーブシステムにおいて収集される指令情報及び状態を表す情報を用いて生成された、階層的な複数の学習済モデルを用いて制御対象装置を動作させる。これにより、制御対象装置の動作予測を安定させることができる。

【0016】

本発明の態様６に係る情報処理装置は、指令情報に従い動作する制御対象装置が出力した、当該制御対象装置の状態を表す情報と、前記制御対象装置に供給された前記指令情報との組を用いて、前記状態を表す情報と前記指令情報との相関関係を学習させた第１学習済モデルを生成する第１生成部と、前記制御対象装置が出力した前記状態を表す情報と当該状態を表す情報を前記第１学習済モデルに入力することにより導出される前記指令情報との関係を表す情報を含む入力情報と、前記制御対象装置に供給された前記指令情報との組を用いて、前記入力情報と前記指令情報との相関関係を学習させた第２学習済モデルを生成する第２生成部と、を備えている。

【0017】

上記の構成によれば、情報処理装置は、状態を表す情報から指令情報を導出する第１学習済モデルと、第１学習済モデルの出力に応じた情報から指令情報を導出する第２学習済モデルとを生成する。これらの複数の推定する単位時間を持つ学習済モデルが制御対象装置の動作制御において階層的に用いられることにより、第１生成部と第２生成部を独立して動作させることができる。すなわち、第１学習済モデルと第２学習済モデルを独立して得ることができるため、膨大な教師データを必要とすることなく、学習や制御対象装置の動作予測を安定させることができる。

【0018】

本発明の態様７に係る情報処理装置は、前記態様６において、前記制御対象装置が出力した前記状態を表す情報を第１の単位時間毎に前記第１学習済モデルに入力することにより前記指令情報を推定する第１推定部と、前記制御対象装置が出力した前記状態を表す情報と当該状態を表す情報を前記第１学習済モデルに入力することにより導出される前記指令情報との関係を表す情報を含む入力データを、前記第１の単位時間よりも短い第２の単位時間毎に前記第２学習済モデルに入力することにより前記指令情報を推定する第２推定部と、前記第２推定部が推定した前記指令情報を用いて前記制御対象装置を動作させる動作制御部と、を更に備えてもよい。

【0019】

上記の構成によれば、情報処理装置は、状態を表す情報から指令情報を導出する第１学習済モデルと、第１学習済モデルの出力に応じた情報から指令情報を導出する第２学習済モデルとを用いて、制御対象装置を動作させる。これらの複数の学習済モデルが制御対象装置の動作制御において階層的に用いられることにより、膨大な教師データを必要とすることなく、制御対象装置の動作予測を安定させることができる。

【0020】

本発明の態様８に係る情報処理装置は、前記態様６又は７において、前記指令情報を出力する装置は、ユーザ操作に応じて動作するマスタ装置であり、前記制御対象装置は、前記マスタ装置から出力される前記指令情報に従い動作するスレーブ装置であり、前記第１生成部は、前記マスタ装置及び前記スレーブ装置を備えるマスタ・スレーブシステムにおいて収集される前記指令情報及び前記状態を表す情報を用いて、前記第１学習済モデルを生成し、前記第２生成部は、前記マスタ・スレーブシステムにおいて収集される前記指令情報及び前記状態を表す情報を用いて、前記第２学習済モデルを生成してもよい。

【0021】

上記の構成によれば、情報処理装置は、マスタ・スレーブシステムにおいて収集される指令情報及び状態を表す情報を用いて、階層的な複数の学習済モデルを生成する。マスタ装置はユーザ操作に応じ動作することから、スレーブ装置の制御の遅延や環境との動的なインタラクションをマスタ装置を通して人間が体感しながら制御する情報を前記指令情報として収集することができる。これらの複数の学習済モデルが制御対象装置の動作制御において用いられることにより、制御対象装置の動作予測を安定させることができる。

【0022】

本発明の態様９に係る情報処理装置は、前記態様１～８において、前記第１学習済モデルは、前記状態を表す情報と、前記制御対象装置の動作を規定する、動作速度を含む情報とを含む入力データから、前記制御対象装置が当該状態を表す情報を出力した後に前記制御対象装置に供給される前記指令情報を導出する学習済モデルであってもよい。

【0023】

上記の構成によれば、情報処理装置は、制御対象装置の動作を規定する、動作速度を含む情報を含む教師データを用いて学習された第１学習済モデルを用いて、指令情報を推定する。これにより、動作速度が可変である制御対象装置の動作予測を安定させることができる。

【0024】

本発明の態様１０に係る情報処理装置は、前記態様９において、前記動作速度を含む情報は、前記制御対象装置の動作周期を表す周波数又は動作実行時間を示す情報を含んでもよい。

【0025】

上記の構成によれば、情報処理装置は、制御対象装置の動作周期を示す周波数を含む教師データを用いて学習された第１学習済モデルを用いて、指令情報を推定する。これにより、周期的な動作を行う制御対象装置の動作予測を安定させることができる。

【0026】

本発明の態様１１に係る情報処理装置は、前記態様９又は１０において、前記第１学習済モデルは、前記入力データから、前記制御対象装置が前記状態を表す情報を出力してから予め定められた単位時間が経過した後に前記制御対象装置に供給される前記指令情報を導出する学習済モデルであってもよい。

【0027】

上記の構成によれば、情報処理装置は、制御対象装置が状態を表す情報を出力してから単位時間が経過した後に制御対象装置に供給される指令情報を導出する第１学習済モデルを用いて、指令情報を推定する。これにより、動作速度が可変である制御対象装置の動作予測を安定させることができる。

【0028】

本発明の態様１２に係る情報処理装置は、前記態様６又は７において、前記第１学習済モデルは、前記状態を表す情報と、前記制御対象装置に指示する動作を規定する、動作速度を含む情報とを含む入力データから、前記制御対象装置が当該状態を表す情報を出力した後に前記制御対象装置に供給される前記指令情報を出力データとして導出する学習済モデルであり、前記第１生成部は、前記制御対象装置の動作速度を変えながら前記制御対象装置を動作させることにより収集される前記指令情報、前記状態を表す情報、及び前記動作速度を含む情報を用いて、前記第１学習済モデルを生成してもよい。

【0029】

上記の構成によれば、制御対象装置の動作速度を変えながら制御対象装置を動作させることにより収集される教師データを用いて、第１学習済モデルが生成される。情報処理装置がこの学習済モデルを用いて制御対象装置の動作制御を行うことにより、動作速度が可変である制御対象装置の動作予測を安定させることができる。

【0030】

本発明の態様１３に係る情報処理装置は、前記態様１～１２において、前記第１学習済モデルは、前記指令情報から、前記制御対象装置に当該指令情報が供給された後に前記制御対象装置が出力する第２の状態を表す情報を導出する第３学習済モデルにより導出される第２の状態を表す情報を入力情報として学習させた学習済モデルであってもよい。

【0031】

上記の構成によれば、第３学習済モデルが導出する状態を表す情報が、第１学習済モデルの入力情報として学習が行われ、第１学習済モデルが生成される。情報処理装置は、この第１学習済モデルを用いて制御対象装置の動作制御を行うことにより、制御対象装置の動作予測を安定させることができる。

【0032】

本発明の態様１４に係る方法は、指令情報に従い動作する制御対象装置が出力する、当該制御対象装置の状態を表す情報から、前記制御対象装置に供給される前記指令情報を導出する第１学習済モデルを用いて、前記指令情報を、第１の単位時間毎に推定する第１ステップと、前記制御対象装置が出力した前記状態を表す情報と、当該状態を表す情報を前記第１学習済モデルに入力することにより導出される前記指令情報との関係を表す情報から、前記制御対象装置に供給される前記指令情報を導出する第２学習済モデルを用いて、前記指令情報を、前記第１の単位時間よりも短い第２の単位時間毎に推定する第２ステップと、前記第２ステップにおいて推定した前記指令情報を用いて前記制御対象装置を動作させる第３ステップと、を情報処理装置が実行する方法である。ここでは第３ステップまでを記したが、ステップ数は有限整数であるｎステップあっても良い。

【0033】

上記の構成によれば、情報処理装置は、状態を表す情報から指令情報を導出する第１学習済モデルと、第１学習済モデルの出力に応じた情報から指令情報を導出する第２学習済モデルとを用いて、制御対象装置を動作させる。これらの複数の学習済モデルが制御対象装置の動作制御において階層的に用いられることにより、膨大な教師データを必要とすることなく、制御対象装置の動作予測を安定させることができる。

【0034】

本発明の態様１５に係る情報処理装置は、前記態様１～５において、前記第２推定部は、ｎ個（ｎは２以上の自然数）の前記第２学習済モデルを用いて前記指令情報を推定し、ｎ個の前記第２学習済モデルは階層的に用いられ、各層の前記第２学習済モデルから導出される指令情報に応じた関係を表す情報が、当該第２学習済モデルの下層の第２学習済モデルの入力情報となってもよい。

【0035】

上記の構成によれば、複数の学習済モデルが階層的に用いられることにより、制御対象装置の動作予測を安定させることができる。

【0036】

本発明の態様１６に係る情報処理装置は、前記態様１～５において、前記制御対象装置は、対象物に対する作業を行う装置であり、前記第１の単位時間及び前記第２の単位時間の一方又は両方を、前記対象物の硬軟の程度に応じて変更する変更制御部、を更に備えてもよい。

【0037】

上記の構成によれば、対象物の硬軟の程度に応じて推定周期を変更することができる。これにより、制御対象装置の動作予測を安定させることができる。

【0038】

本発明の態様１７に係る情報処理装置は、前記態様１～１２において、前記第１学習済モデルは、前記状態を表す情報から、所定の時間が経過した後の前記制御対象装置の第２の状態を表す情報、及び、前記指令情報を導出する学習済モデルであって、当該第１学習済モデルが導出した前記第２の状態を表す情報を入力情報として学習させた学習済モデルであってもよい。

【0039】

上記の構成によれば、第１学習済モデルが導出する状態を表す情報を、第１学習済モデルの入力情報として学習が行われ、第１学習済モデルが生成される。情報処理装置は、この第１学習済モデルを用いて制御対象装置の動作制御を行うことにより、制御対象装置の動作予測を安定させることができる。

【0040】

本発明の態様１８に係る情報処理装置は、前記態様１～１２において、前記第１学習済モデルは、前記指令情報及び前記状態を表す情報から、所定の時間が経過した後の前記制御対象装置の第２の状態を表す情報、及び、前記指令情報を導出する学習済モデルであって、当該第１学習済モデルが導出した前記指令情報及び前記第２の状態を表す情報を、入力情報として学習させた学習済モデルであってもよい。

【0041】

上記の構成によれば、第１学習済モデルが導出する状態を表す情報を、第１学習済モデルの入力情報として学習が行われ、第１学習済モデルが生成される。情報処理装置は、この第１学習済モデルを用いて制御対象装置の動作制御を行うことにより、制御対象装置の動作予測を安定させることができる。

【0042】

本発明の態様１９に係る情報処理装置は、前記態様１５において、前記ｎ個の前記第２学習済モデルは、それぞれ動作周波数が異なっていてもよい。

【0043】

上記の構成によれば、複数の学習済モデルを階層的に用いることにより、制御対象装置が行う複数の動作のうちそれぞれの動作に好適な動作周波数で学習させることができる。

【0044】

本発明の態様２０に係る情報処理装置は、前記態様１３、１５、１７、及び１８のいずれかにおいて、前記入力情報とは、定量的に表される値であってもよい。

【0045】

上記の構成によれば、前記入力情報とは定量的に表される値であるため、情報処理装置は、実際の動作速度に応じて、指令速度を修正することができる。すなわち、情報処理装置は自律的に学習することができるため、容易に学習済モデルを学習させることができる。

【0046】

本発明の態様２１に係る情報処理装置は、前記態様１～５において、前記制御対象装置は、把持対象物を把持又は接触対象物に接触し、前記第１学習済モデルと、前記第２学習済モデルとには、前記把持対象物を把持又は前記接触対象物に接触する動作が記憶され、前記把持対象物を把持又は前記接触対象物に接触する動作は、前記把持対象物又は前記接触対象物の硬軟の程度に応じて前記第１学習済モデル又は前記第２学習済モデルのうちいずれか学習済モデルに学習されていてもよい。

【0047】

上記の構成によれば、同一の動作であっても、対象物の硬軟に応じて、学習される学習済みモデルが異なるため、より好適なサンプリングタイムで学習済モデルに学習させることができる。したがって、上記の構成によれば、学習に要する時間を低減させ、学習済モデルの記憶に要するメモリ容量を低減させることができる。

【0048】

本発明の態様２２に係る情報処理装置は、前記態様２３において、前記第１学習済モデルは、前記把持対象物が柔らかい物体である場合の動作を学習し、前記第２学習済モデルは、前記把持対象物が硬い物体である場合の動作を学習し、前記第１学習済モデルと前記第２学習済モデルとは、動作周波数が異なっていてもよい。

【0049】

上記の構成によれば、対象物が柔らかい物体である場合には、動作周波数が低い方が好適であるため、低い動作周波数の学習済モデルに学習され、対象物が硬い物体である場合には、動作周波数が高い方が好適であるため、高い動作周波数の学習済モデルに学習される。したがって、上記の構成によれば、より好適なサンプリングタイムで学習済モデルに学習させることができる。したがって、上記の構成によれば、学習に要する時間を低減させ、学習済モデルの記憶に要するメモリ容量を低減させることができる。

【0050】

本発明の態様２３に係るプログラムは、上記態様１～１３、１５～２２のいずれかの情報処理装置としてコンピュータを機能させるためのプログラムであって、前記各部としてコンピュータを機能させるためのプログラムである。

【0051】

本発明の態様２４に係る情報処理装置は、前記態様１～５及び７において、前記第１推定部は、複数の時点における前記指令情報を推定し、前記第２推定部は、推定された複数の時点における前記指令情報ごとに、前記指令情報を推定してもよい。
上記の構成によれば、上位層の学習モデルと下位層の学習モデルをそれぞれ別個独立に学習させることができる。また、上記の構成によれば、少ない学習により、より正確に状態を推定することができる。

【0052】

本発明の範疇には、態様１９に係るプログラム及びおよびそれを記録したコンピュータ読み取り可能な記録媒体も含まれる。

【0053】

本発明の各態様に係る情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記情報処理装置が備える各部（ソフトウェア要素）として動作させることにより前記情報処理装置をコンピュータにて実現させる情報処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

【発明の効果】

【0054】

本発明の一態様によれば、学習済モデルを用いて制御対象装置の動作制御を行う際の動作予測を安定させることができる。

【図面の簡単な説明】

【0055】

【図1】本発明の実施形態１に係るシステムの構成を概略的に示す図である。

【図2】第１学習済モデルの一例を模式的に示した図である。

【図3】第２学習済モデルの一例を模式的に示した図である。

【図4】情報処理装置が行う処理の流れを例示するフローチャートである。

【図5】教師データを収集するためのシステムを模式的に示す図である。

【図6】本発明の実施形態２に係るシステムの構成を概略的に示す図である。

【図7】情報処理装置が行う処理の流れを例示するフローチャートである。

【図8】階層化された学習済モデルを模式的に示す図である。

【図9】本発明の実施形態３に係るシステムの構成を概略的に示す図である。

【図10】本発明の実施形態４に係るシステムの構成を概略的に示す図である。

【図11】従来の手法により制御されたロボットアームの状態値の時間的な変化を表すグラフである。

【図12】従来の手法により制御されたロボットアームの状態値の時間的な変化を表すグラフである。

【図13】ロボットアームの状態値の時間的な変化を表すグラフである。

【図14】本発明の実施形態５に係るシステムの構成を概略的に示す図である。

【図15】本発明の実施形態６に係るシステムの構成を概略的に示す図である。

【図16】第１学習済モデルと第３学習済モデルとの関係を例示する図である。

【図17】第１学習済モデルと第３学習済モデルとの関係を例示する図である。

【図18】本発明の実施形態７に係るシステムの構成を概略的に示す図である。

【図19】本発明の実施形態８に係るシステムの構成を概略的に示す図である。

【図20】本発明の実施形態９に係るシステムの構成を概略的に示す図である。

【図21】第１学習済モデルの内容を例示する図である。

【図22】第１学習済モデルの内容を例示する図である。

【図23】第１学習済モデルの内容を例示する図である。

【図24】本発明の実施形態９の変形例に係るシステムの構成を概略的に示す図である。

【図25】本発明の実施形態１０に係るシステムの構成を概略的に示す図である。

【図26】本発明の実施形態１０に係るシステムの機能構成を説明する図である。

【図27】本発明の実施形態１０に係る階層化された動作生成器をより詳細に説明するための模式図である。

【図28】本発明の実施形態１０に係るスレーブ装置が筆記具により文字を書く場合の一例を模式的に示す図である。

【図29】本発明の実施形態１０に係るスレーブ装置により紙面に書かれた文字の一例を模式的に示す図である。

【図30】本発明の実施形態１１に係るシステムを用いた場合における理想値と応答値について説明するための図である。

【図31】従来技術に係る状態の予測について説明する図である。

【図32】本発明に係るずれの蓄積の問題点について説明する図である。

【図33】本発明の実施形態６に係る状態の予測について説明する図である。

【図34】本発明の実施形態９に係る状態の予測について説明する図である。

【図35】本発明の実施形態１２に係る階層化された学習済モデルをより詳細に説明するための模式図である。

【図36】本発明の実施形態１３に係る状態の予測について説明する図である。

【発明を実施するための形態】

【0056】

〔実施形態１〕
以下、本発明の一実施形態について説明する。

【0057】

図１は、本発明の実施形態１に係る情報処理装置３０を含むシステム１の構成を概略的に示す図である。システム１は、制御対象装置を動作させるために用いられる学習済モデルを生成するシステムである。システム１は、スレーブ装置１０、マスタ装置２０、及び情報処理装置３０を備える。

【0058】

スレーブ装置１０及びマスタ装置２０は、例えばロボットアームを備えるロボットである。スレーブ装置１０は、時刻ｔにおいて供給される指令情報ＭＡＳＴＥＲ（ｔ）に従い動作する装置である。スレーブ装置１０は、本発明に係る制御対象装置の一例である。スレーブ装置１０は、時刻ｔにおいて、スレーブ装置１０の状態を表す状態情報ＳＬＡＶＥ（ｔ）を出力する。状態情報ＳＬＡＶＥ（ｔ）は例えば、スレーブ装置１０が備えるロボットアームの時刻ｔにおける動作を示す情報を含む。ロボットアームの動作を示す情報は例えば、ロボットアームの位置、関節の角度などの姿勢、関節の角速度、トルク、周囲状況とロボットアームとの関係を表す画像を示す情報を含む。なお、状態情報ＳＬＡＶＥ（ｔ）に含まれる情報はこれらに限定されるものではなく、他の情報が含まれていてもよい。

【0059】

マスタ装置２０は、ユーザ操作に応じて動作する装置である。マスタ装置２０は、指令情報を出力する装置の一例である。マスタ装置２０はスレーブ装置１０に指令情報ＭＡＳＴＥＲ（ｔ）を供給する。指令情報ＭＡＳＴＥＲ（ｔ）は、指令情報を出力する装置から発光される情報である。本実施形態において、指令情報ＭＡＳＴＥＲ（ｔ）は、マスタ装置２０に対するユーザ操作に応じて変化したマスタ装置２０の状態を表す情報である。指令情報ＭＡＳＴＥＲ（ｔ）は例えば、マスタ装置２０が備えるロボットアームの時刻ｔにおける動作を示す情報を含む。ロボットアームの動作を示す情報は例えば、ロボットアームの位置、関節の角度などの姿勢、関節の角速度、トルク、周辺状況とロボットアームとの関係を示す画像を表す情報を含む。なお、指令情報ＭＡＳＴＥＲ（ｔ）に含まれる情報はこれらに限定されるものではなく、他の情報が含まれていてもよい。

【0060】

スレーブ装置１０及びマスタ装置２０が行う動作は、人が行うほぼすべての動作、例えば、筆記具を用いた文字又は画像の描画動作、掃除道具を用いた掃除動作、調理動作、物品の把持動作、塗装動作、研磨動作、切削動作、穴あけ動作、又は組み付け動作等、及び、人とロボットが協調して行う動作、例えば重量物の運搬や移動などである。

【0061】

情報処理装置３０は、マスタ装置２０から出力される指令情報ＭＡＳＴＥＲ（ｔ）、及びスレーブ装置１０から出力される状態情報ＳＬＡＶＥ（ｔ）を用いて、制御対象装置を動作させるための学習済モデルを生成する装置である。情報処理装置３０は例えば、サーバ装置、又はパーソナルコンピュータである。

【0062】

情報処理装置３０は、学習フェーズ実行部３１、及び、記憶部３２を備える。学習フェーズ実行部３１は、第１生成部３１１、及び第２生成部３１２を備える。記憶部３２は、第１学習済モデル３２１、第２学習済モデル３２２、及び教師データセット３２３を記憶する。

【0063】

第１生成部３１１は、入力情報と出力情報との組を用いて、入力情報と出力情報との相関関係を学習させた第１学習済モデル３２１を生成する。本実施形態において、第１学習済モデル３２１に入力される入力情報は、スレーブ装置１０が時刻ｔに出力した状態情報ＳＬＡＶＥ（ｔ）である。出力情報は、時刻ｔから予め定められた単位時間Ｔ１が経過した後の時刻（ｔ＋Ｔ１）において、スレーブ装置１０に供給される指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）である。なお、単位時間Ｔ１は、ゼロや負の値であってもよい。

【0064】

第１学習済モデル３２１は、状態情報ＳＬＡＶＥ（ｔ）から指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）を生成可能な任意の学習モデルであり得る。第１学習済モデル３２１は例えば、ＣＮＮ（Convolutional Neural Network）、ＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long Short-Term Memory）、ＤＮＮ（Deep Neural Network）、又はこれらの組み合わせで実現可能である。

【0065】

図２は、第１学習済モデル３２１の一例を模式的に示した図である。第１学習済モデル３２１には、上述のように、状態情報ＳＬＡＶＥ（ｔ）が入力データとして入力される。第１学習済モデル３２１は、例えば、畳み込み層と、プーリング層と、結合層とから成る。畳み込み層において、入力データはフィルタリングによる情報の畳み込みがなされる。畳み込みを経たデータは、プーリング層においてプーリング処理が施される。これにより、データ中の特徴の位置変化に対するモデルの認識能力が向上する。プーリング処理を経たデータは、結合層で処理されることによって、第１学習済モデル３２１の出力データ、すなわち、時刻（ｔ＋Ｔ１）においてスレーブ装置１０に供給される指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）の形式に変換されて出力される。単位時間Ｔ１は、例えばＬＳＴＭのサンプリング周期であり、例えば４００ｍｓｅｃである。

【0066】

マスタ装置２０及びスレーブ装置１０がロボットアームを備える場合、状態情報ＳＬＡＶＥ（ｔ）は、例えば、ロボットアームの時刻ｔにおける関節の角度（θｓ１（ｔ），θｓ２（ｔ），θｓ３（ｔ））、関節の角速度（θｓ１´（ｔ），θｓ２´（ｔ），θｓ３´（ｔ））、及びトルク（τｓ１（ｔ），τｓ２（ｔ），τｓ３（ｔ））の９つのパラメータを含む。指令情報ＭＡＳＴＥＲ（ｔ）も、ロボットアームの時刻ｔにおける関節の角度（θｍ１（ｔ），θｍ２（ｔ），θｍ３（ｔ））、関節の角速度（θｍ１´（ｔ），θｍ２´（ｔ），θｍ３´（ｔ））、及びトルク（τｍ１（ｔ），τｍ２（ｔ），τｍ３（ｔ））の９つのパラメータを含む。

【0067】

第２生成部３１２は、入力情報と出力情報との組を用いて、入力情報と出力情報との相関関係を学習させた第２学習済モデル３２２を生成する。第２学習済モデル３２２の入力情報は、スレーブ装置１０が出力した状態情報ＳＬＡＶＥ（ｔ）と第１学習済モデル３２１に入力することにより導出される指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）や、これらの情報を低相関化したデータであってもよい。例えば、図３に示すようにスレーブ装置１０が出力した状態情報ＳＬＡＶＥ（ｔ）と状態情報ＳＬＡＶＥ（ｔ）を第１学習済モデル３２１に入力することにより導出される指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）との関係を表す情報ＤＡＴＡ（ｔ，ｔ＋Ｔ１）を含む形態としてもよい。また、第２学習済モデル３２２の出力情報は、第２の単位時間Ｔ２が経過した後に、スレーブ装置１０に供給された指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ２）である。すなわち、第２学習済モデル３２２の出力情報は、スレーブ装置１０が上記第１学習済モデル３２１の入力情報である状態情報ＳＬＡＶＥ（ｔ）を出力してから第１の単位時間Ｔ１よりも短い第２の単位時間Ｔ２が経過した後にスレーブ装置１０に供給された指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ２）である。本実施形態において、単位時間Ｔ２は、単位時間Ｔ１よりも短くてもよい。

【0068】

第２学習済モデル３２２は、状態情報ＳＬＡＶＥ（ｔ）から指令情報ＭＡＳＴＥＲ（ｔ）を生成可能な任意の学習モデルであり得る。第２学習済モデル３２２は例えば、ＣＮＮ、ＲＮＮ、ＬＳＴＭ、ＤＮＮ、又はこれらの組み合わせで実現可能である。単位時間Ｔ２は、例えばＬＳＴＭのサンプリング周期であり、例えば２０ｍｓｅｃである。単位時間Ｔ２は、ゼロであってもよい。

【0069】

情報ＤＡＴＡ（ｔ，ｔ＋Ｔ１）は、状態情報ＳＬＡＶＥ（ｔ）と指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）との関係を表す情報である。本実施形態において、情報ＤＡＴＡ（ｔ，ｔ＋Ｔ１）は、第１学習済モデル３２１が出力する指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）と相関の小さいデータである。相関の小さいデータとは、指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）と相関関係を有しないデータ、又は、相関関係が小さいデータである。情報ＤＡＴＡ（ｔ，ｔ＋Ｔ１）は例えば、状態情報ＳＬＡＶＥ（ｔ）と指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）とから導出される情報である。

【0070】

情報ＤＡＴＡ（ｔ，ｔ＋Ｔ１）は例えば、状態情報ＳＬＡＶＥ（ｔ）と指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）との差分、又は比を表す情報である。情報ＤＡＴＡ（ｔ，ｔ＋Ｔ１）は、一例として、以下の（１）式で表される。状態情報ＳＬＡＶＥ（ｔ）と指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）との差分、又は比を用いることにより、第２学習済モデル３２２の入力と出力との相関が低減する。

【0071】

ＤＡＴＡ（ｔ，ｔ＋Ｔ１）＝ＳＬＡＶＥ（ｔ）－ＭＡＳＴＥＲ（ｔ＋Ｔ１）…（１）
図３は、第２学習済モデル３２２の一例を模式的に示した図である。図３の例において、第２学習済モデル３２２に入力される入力情報は、指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）、及び、情報ＤＡＴＡ（ｔ，ｔ＋Ｔ１）を含む。すなわち、図３の例において、第２学習済モデル３２２には、指令情報（ｔ＋Ｔ１）、及び、情報ＤＡＴＡ（ｔ，ｔ＋Ｔ１）が入力データとして入力される。

【0072】

第２学習済モデル３２２は、例えば、畳み込み層と、プーリング層と、結合層とから成る。畳み込み層において、入力データはフィルタリングによる情報の畳み込みがなされる。畳み込みを経たデータは、プーリング層においてプーリング処理が施される。これにより、データ中の特徴の位置変化に対するモデルの認識能力が向上する。プーリング処理を経たデータは、結合層で処理されることによって、第２学習済モデル３２２の出力データ、すなわち、時刻（ｔ＋Ｔ２）においてスレーブ装置１０に供給された指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ２）の形式に変換されて出力される。

【0073】

図４は、情報処理装置３０が行う学習済モデルの生成処理の流れを示すフローチャートである。なお、一部のステップは並行して、又は順序を替えて実行されてもよい。ステップＳ１００において、第１生成部３１１は、教師データセット３２３に含まれる教師データを用いて、第１学習済モデル３２１を生成する。第１学習済モデル３２１の学習で用いられる教師データは、上述したように、状態情報ＳＬＡＶＥ（ｔ）と、指令情報（ｔ＋Ｔ１）との組である。

【0074】

ステップＳ１０１において、第２生成部３１２は、教師データセット３２３に含まれる教師データを用いて、第２学習済モデル３２２を生成する。第２学習済モデル３２２の学習で用いられる教師データは、上述したように、指令情報（ｔ＋Ｔ１）及び情報ＤＡＴＡ（ｔ，ｔ＋Ｔ１）と、指令情報（ｔ＋Ｔ２）との組である。

【0075】

本実施形態により生成された第１学習済モデル３２１及び第２学習済モデル３２２は、制御対象装置を動作させる際に、階層的に用いられる。より具体的には、第１学習済モデル３２１の出力に応じた情報が、第２学習済モデル３２２の入力情報として用いられ、第２学習済モデル３２２の出力である指令情報（ｔ＋Ｔ２）が、制御対象装置の動作制御に用いられる。制御対象装置の動作制御については、後述の実施形態２で説明する。

【0076】

次いで、本実施形態の構成の具体例について、図面を参照しつつ説明する。

【0077】

（実施例）
図５は、本実施形態に係る教師データを収集するためのシステムを模式的に示す図である。図５において、システム２は、マスタ装置２０及びスレーブ装置１０を備え、マスタ装置２０の動作に応じてスレーブ装置１０が動作するマスタ・スレーブシステムである。システム２において収集される指令情報ＭＡＳＴＥＲ（ｔ）及び状態情報ＳＬＡＶＥ（ｔ）を教師データとして、第１学習済モデル３２１及び第２学習済モデル３２２が学習される。

【0078】

システム２は、消しゴムを用いて線消しを行う動作における指令情報ＭＡＳＴＥＲ（ｔ）及び状態情報ＳＬＡＶＥ（ｔ）を収集するためのシステムである。マスタ装置２０は、ベース部２１１と、ベース部２１１の上に置かれた回転部２１２と、回転部２１２に連結された第１のアーム部２１３と、第１のアーム部２１３に連結された第２のアーム部２１４と、を含む。回転部２１２は、ベース部２１１に対してＺ軸周りに回転可能になっている。第１のアーム部２１３は、第１の端部が回転部２１２に連結されており、第１の端部を支点としてＹ軸周りに揺動可能になっている。その結果、第１のアーム部２１３の第２の端部はＺ軸方向に揺動可能になっている。第２のアーム部２１４は、第１の端部が第１のアーム部２１３に連結されており、第１の端部を支点としてＹ軸周りに揺動可能になっている。その結果、第２のアーム部２１４の第２の端部はＸ軸方向に揺動可能になっている。これによって、操作者は、第２のアーム部２１４の第２の端部を把持してＸ，Ｙ，Ｚ軸方向に移動操作することができる。

【0079】

スレーブ装置１０は、マスタ装置２０から出力される指令情報ＭＡＳＴＥＲ（ｔ）により動作する。スレーブ装置１０は、ベース部１１１と、ベース部１１１の上に置かれた回転部１１２と、回転部１１２に連結された第１のアーム部１１３と、第１のアーム部１１３に連結された第２のアーム部１１４と、を含む。回転部１１２は、ベース部１１１に対してＺ軸周りに回転可能になっている。第１のアーム部１１３は、第１の端部が回転部１１２に連結されており、第１の端部を支点としてＹ軸周りに揺動可能になっている。その結果、第１のアーム部１１３の第２の端部はＺ軸方向に揺動可能になっている。第２のアーム部１１４は、第１の端部が第１のアーム部１１３に連結されており、第１の端部を支点としてＹ軸周りに揺動可能になっている。その結果、第２のアーム部１１４の第２の端部はＸ軸方向に揺動可能になっている。第２のアーム部１１４の第２の端部には、消しゴムＥが取り付けられている。消しゴムＥは、第２のアーム部２１４の第２の端部に対する操作者の移動操作に応じて移動する。

【0080】

スレーブ装置１０は、マスタ装置２０から供給された指令情報ＭＡＳＴＥＲ（ｔ）の表す状態（例えば、ロボットアームの関節の角度、角速度、及びトルク）と、自装置の状態との差分がゼロとなるよう、自装置の状態を変化させる制御を行う。

【0081】

第２のアーム部１１４の下には、線が描かれた紙面Ｐが置かれており、紙面ＰのＺ軸方向の高さは調整可能になっている。例えば、紙面Ｐの高さを２０ｍｍに調整した状態において、操作者は、まず、第２のアーム部２１４の第２の端部を把持してＺ軸方向に下ろす移動操作を行う。第２のアーム部１１４の第２の端部に取り付けられた消しゴムＥが紙面Ｐに接触すると、操作者は、消しゴムＥが紙面Ｐに接触した状態のまま第２のアーム部２１４の第２の端部をＸ軸およびＹ軸の方向に移動操作する。これにより、操作者は、紙面Ｐに描かれている線を消しゴムＥによって消す操作を行う。

【0082】

情報処理装置３０は、上記の一連の操作における時系列の指令情報ＭＡＳＴＥＲ（ｔ）及び状態情報ＳＬＡＶＥ（ｔ）を収集し、記憶部３２に保存する。情報処理装置３０は、収集した指令情報ＭＡＳＴＥＲ（ｔ）及び状態情報ＳＬＡＶＥ（ｔ）を用いて、上述した第１学習済モデル３２１及び第２学習済モデル３２２の生成処理を実行する。

【0083】

なお、上記のような消しゴムＥによる線消しの操作を、紙面Ｐの高さを５０ｍｍおよび８０ｍｍに調整したそれぞれの状態においても同様に行ってもよい。

【0084】

〔変形例〕
上述の実施形態では、マスタ装置２０がスレーブ装置１０に指令情報ＭＡＳＴＥＲ（ｔ）を供給する場合の構成について説明した。スレーブ装置１０に指令情報ＭＡＳＴＥＲ（ｔ）を供給する装置は、マスタ装置２０に限られず、他の装置であってもよい。

【0085】

上述の実施形態では、上位層の学習済モデル（第１学習済モデル３２１）と、下位層の学習済モデル（第２学習済モデル３２２）とを含む２階層の学習済モデルを生成する場合を説明した。学習済モデルの階層は２に限らず、３以上であってもよい。階層が３以上である場合も、上述の実施形態と同様に、上位層の学習済モデルの出力に応じた情報が、下位層の学習済モデルの入力として用いられる。

【0086】

すなわち、第２推定部３３２は、ｎ個（ｎは２以上の自然数）の第２学習済モデル３２２を用いて前記指令情報を推定し、ｎ個の第２学習済モデル３２２は階層的に用いられ、各層の第２学習済モデル３２２から導出される指令情報ＭＡＳＴＥＲに応じた情報ＤＡＴＡが、第２学習済モデル３２２の下層の第２学習済モデル３２２の入力情報となる。

【0087】

このとき、上位層の学習済モデルのサンプリング周期（推定周期）は、下位層の学習済モデルのサンプリング周期（推定周期）よりも長いことが好ましい。

【0088】

例えば、第１学習済モデル３２１と、２つの第２学習済モデル３２２ａ、３２２ｂとを含む３階層の学習済モデルが用いられてもよい。この場合、第１学習済モデル３２１の入力は、状態情報ＳＬＡＶＥ（ｔ）であり、出力は指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）である。第１学習済モデル３２１の出力である指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）と、情報ＤＡＴＡ（ｔ，ｔ＋Ｔ１）とが、第２学習済モデル３２２ａの入力となる。第２学習済モデル３２２ａの出力は、指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ２ａ）である。

【0089】

また、第２学習済モデル３２２ａの出力である指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ２ａ）と、情報ＤＡＴＡ（ｔ，ｔ＋Ｔ２ａ）とが、第２学習済モデル３２２ａの下位層の第２学習済モデル３２２ｂの入力となる。第２学習済モデル３２２ｂの出力は、指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ２ｂ）である。最下層の第２学習済モデル３２２ｂの出力である指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ２ｂ）が、スレーブ装置１０の動作制御に用いられる。

【0090】

上述の実施形態では、１台のスレーブ装置１０と１台のマスタ装置２０とを含むシステム１を例示したが、システム１に含まれるスレーブ装置１０の台数及びマスタ装置２０の台数は、２以上であってもよい。この場合、情報処理装置３０は、複数のスレーブ装置１０及び複数のマスタ装置２０から状態情報ＳＬＡＶＥ（ｔ）及び指令情報ＭＡＳＴＥＲ（ｔ）を収集し、収集した情報を教師データとして学習済モデルを生成する。

【0091】

また、上述の実施形態では、スレーブ装置１０と情報処理装置３０とが別体である場合の構成を説明したが、スレーブ装置１０と情報処理装置３０とが一体の装置として構成されていてもよい。

【0092】

〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

【0093】

図６は、本発明の実施形態２に係る情報処理装置３０Ｂを含むシステム１Ｂの構成を概略的に示す図である。システム１Ｂは、学習させた複数階層の学習済モデルを用いて制御対象装置１０Ｂを動作させるシステムである。システム１Ｂは、制御対象装置１０Ｂ及び情報処理装置３０Ｂを備える。制御対象装置１０Ｂは、指令情報ＭＡＳＴＥＲ（ｔ）に従い動作する装置である。制御対象装置１０Ｂは例えば、ロボットアームを備える装置であり、例えば、実施形態１に係るスレーブ装置１０である。情報処理装置３０Ｂは制御対象装置１０Ｂに指令情報ＭＡＳＴＥＲ（ｔ）を供給することにより、制御対象装置１０Ｂを動作させる。

【0094】

情報処理装置３０Ｂは、推定フェーズ実行部３３、及び記憶部３２を備える。推定フェーズ実行部３３は、第１推定部３３１、第２推定部３３２、及び動作制御部３３３を備える。第１推定部３３１は、第１学習済モデル３２１を用いて、状態情報ＳＬＡＶＥ（ｔ）から指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）を、第１の単位時間τ１毎に推定する。第２推定部３３２は、第２学習済モデル３２２を用いて、情報ＤＡＴＡ（ｔ，ｔ＋Ｔ１）を含む入力データから指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ２）を、第２の単位時間τ２毎に推定する。動作制御部３３３は、第２推定部３３２が推定した指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ２）を用いて、制御対象装置１０Ｂを動作させる。第２の単位時間τ２は、第１の単位時間τ１よりも短い。第１の単位時間τ１は、例えば４００ｍｓである。第２の単位時間τ２は、例えば２０ｍｓである。

【0095】

図７は、情報処理装置３０Ｂが行う制御対象装置１０Ｂの動作制御処理の流れを示すフローチャートである。なお、一部のステップは並行して、又は順序を替えて実行されてもよい。

【0096】

ステップＳ２００において、第１推定部３３１は、制御対象装置１０Ｂから状態情報ＳＬＡＶＥ（ｔ）を取得する。ステップＳ２０１（第１ステップの一例）において、第１推定部３３１は、取得した状態情報ＳＬＡＶＥ（ｔ）と第１学習済モデル３２１とを用いて、指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）を、単位時間τ１毎に推定する。すなわち、第１推定部３３１は、状態情報ＳＬＡＶＥ（ｔ）を第１学習済モデル３２１に入力することにより導出される指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）を推定する。

【0097】

ステップＳ２０２において、第１推定部３３１は、第１学習済モデル３２１に入力した状態情報ＳＬＡＶＥ（ｔ）と、ステップＳ２００で推定した指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）とを用いて、第２学習済モデル３２２の入力情報を算出する。例えば、指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）と情報ＤＡＴＡ（ｔ，ｔ＋Ｔ１）の組である。情報ＤＡＴＡ（ｔ，ｔ＋Ｔ１）は、例えば上述の（１）式により算出される。

【0098】

ステップＳ２０３（第２ステップの一例）において、第２推定部３３２は、状態情報ＳＬＡＶＥ（ｔ）と指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）との関係を表す情報ＤＡＴＡ（ｔ，ｔ＋Ｔ１）から、第２学習済モデル３２２を用いて、指令情報ＭＡＳＴＥＲ（ｔ，ｔ＋Ｔ２）を単位時間τ２毎に推定する。より具体的には、例えば、第２推定部３３２は、指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）と情報ＤＡＴＡ（ｔ，ｔ＋Ｔ１）とを入力データとして第２学習済モデル３２２に入力することにより導出される指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ２）を推定する。なお、本実施形態では、単位時間τ２は単位時間τ１よりも短いため、第２学習済モデル３２２に入力データが入力される頻度は、第１学習済モデル３２１から指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）が出力される頻度よりも高い。そのため、第１学習済モデル３２１から出力されたひとつの指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）が、複数回にわたって第２学習済モデル３２２に入力される場合がある。

【0099】

すなわち、本実施形態では、複数の学習済モデル（第１学習済モデル３２１及び第２学習済モデル３２２）が階層化され、上位の学習済モデルの出力に応じた情報が下位層の学習済モデルの入力とされる。

【0100】

図８は、階層化された学習済モデルを模式的に示す図である。図８の例では、第１学習済モデル３２１、及び第２学習済モデル３２２が、階層的に用いられる。第１学習済モデル３２１は上位層の学習済モデルであり、例えばサンプリング周期が４００ｍｓｅｃのＬＳＴＭである。第２学習済モデル３２２は下位層の学習済モデルであり、例えばサンプリング周期が２０ｍｓｅｃのＬＳＴＭである。すなわち、本実施形態において、上位層の学習済モデルのサンプリング周期は、下位層の学習済モデルのサンプリング周期よりも長い。

【0101】

図８の例では、上位層である第１学習済モデル３２１の出力指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）に応じた情報ＤＡＴＡ（ｔ，ｔ＋Ｔ１）が、下位層の第２学習済モデル３２２の入力とされる。

【0102】

図８において、第１学習済モデル３２１の入力情報である状態情報ＳＬＡＶＥ（ｔ）は、例えば、ロボットアームの時刻ｔにおける関節の角度（θｓ１（ｔ），θｓ２（ｔ），θｓ３（ｔ））、関節の角速度（θｓ１´（ｔ），θｓ２´（ｔ），θｓ３´（ｔ））、及びトルク（τｓ１（ｔ），τｓ２（ｔ），τｓ３（ｔ））の９つのパラメータを含む。また、第１学習済モデル３２１の出力情報である指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）は、例えば、ロボットアームの時刻ｔにおける関節の角度（θｍ１（ｔ＋Ｔ１），θｍ２（ｔ＋Ｔ１），θｍ３（ｔ＋Ｔ１））、関節の角速度（θｍ１´（ｔ＋Ｔ１），θｍ２´（ｔ＋Ｔ１），θｍ３´（ｔ＋Ｔ１））、及びトルク（τｍ１（ｔ＋Ｔ１），τｍ２（ｔ＋Ｔ１），τｍ３（ｔ＋Ｔ１））の９つのパラメータを含む。

【0103】

一方、図８において、第２学習済モデル３２２の入力情報は、例えば、９つのパラメータを含む指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）と、９つのパラメータを含む情報ＤＡＴＡ（ｔ，ｔ＋Ｔ１）との計１８個のパラメータを含む。

【0104】

図７の説明に戻る。ステップＳ２０４（第３ステップの一例）において、動作制御部３３３は、時刻（ｔ＋Ｔ２）において、ステップＳ２０２で推定された指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ２）を用いて制御対象装置１０Ｂを動作させる。上述したように、指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ２）は例えば、ロボットアームの時刻（ｔ＋Ｔ２）における関節の角度、関節の角速度、及びトルクを含む。制御対象装置１０Ｂは、時刻（ｔ＋Ｔ２）において情報処理装置３０Ｂから供給される指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ２）に従い、ロボットアームを動作させる。例えば、制御対象装置１０Ｂは、情報処理装置３０Ｂから供給された指令情報ＭＡＳＴＥＲ（ｔ）の表す状態（例えば、ロボットアームの関節の角度、角速度、及びトルク）と、自装置の状態との差分がゼロとなるよう、自装置の状態を変化させる制御を行う。

【0105】

ステップＳ２０５において、動作制御部３３３は、動作制御を終了するかを判定する。この判定は例えば、操作者により動作制御を終了する旨の操作が行われたか否かを判定することにより行われてもよい。動作制御を終了する場合（ステップＳ２０５；ＹＥＳ）、動作制御部３３３は処理を終了する。一方、動作制御を終了しない場合（ステップＳ２０５；ＮＯ）、動作制御部３３３はステップＳ２００の処理に戻り、状態情報ＳＬＡＶＥ（ｔ）を用いた指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ２）の推定処理、及び制御対象装置１０Ｂの動作制御処理を継続する。

【0106】

ところで、制御対象装置１０Ｂに供給する指令情報ＭＡＳＴＥＲ（ｔ）をひとつの学習済モデルで推定しようとすると、動作予測を安定させるためにはその学習済モデルの階層を深くする必要がある。そのため、膨大な量の教師データが必要となるとともに、計算時間も膨大になってしまう。

【0107】

それに対し本実施形態では、情報処理装置３０Ｂは、状態情報ＳＬＡＶＥ（ｔ）から指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）を導出する第１学習済モデル３２１と、第１学習済モデルの出力に応じた情報から指令情報（ｔ＋Ｔ２）を導出する第２学習済モデル３２２とを用いて、制御対象装置１０Ｂを動作させる。すなわち、本実施形態では、複数の学習済モデルが階層化され、上位層の学習済モデル（第１学習済モデル３２１）の出力が、下位層の学習済モデル（第２学習済モデル３２２）の入力とされる。これらの複数の学習済モデルが制御対象装置１０Ｂの動作制御において階層的に用いられることにより、膨大な教師データを必要とすることなく、制御対象装置１０Ｂの動作予測を安定させることができる。

【0108】

また、センシング周期がそれぞれ異なる複数のセンサを用いてロボットの状態を検知する場合、複数のセンサの検出値をひとつの学習済モデルの入力としてマージすることは困難な場合があった。それに対し本実施形態によれば、学習済モデルが階層化されているため、各層の学習済モデルをそれぞれ独立して設計することができる。そのため、センシング周期がそれぞれ異なるセンサを複数用いる場合であっても、各センサに対応する学習済モデルをそれぞれ個別に設計することができ、学習済モデルの生成が容易になる。

【0109】

〔変形例〕
上述の実施形態では、制御対象である制御対象装置１０Ｂがスレーブ装置１０である場合を説明したが、制御対象装置１０Ｂはスレーブ装置１０と異なる他の装置であってもよい。

【0110】

また、上述の実施形態では、制御対象装置１０Ｂと情報処理装置３０Ｂとが別体である場合の構成を説明したが、制御対象装置１０Ｂと情報処理装置３０Ｂとが一体の装置として構成されていてもよい。

【0111】

〔実施形態３〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

【0112】

図９は、本発明の実施形態３に係る情報処理装置３０Ｃを含むシステム１Ｃの構成を概略的に示す図である。システム１Ｃは、スレーブ装置１０、マスタ装置２０、及び情報処理装置３０Ｃを備える。情報処理装置３０Ｃは、スレーブ装置１０を動作させるための学習済モデルを生成するとともに、学習させた学習済モデルを用いて、スレーブ装置１０を動作させる。

【0113】

情報処理装置３０Ｃは、学習フェーズ実行部３１、記憶部３２、及び推定フェーズ実行部３３を備える。これらの各構成要素については、上述の実施形態１又は実施形態２で説明したため、その説明を省略する。

【0114】

本実施形態によれば、情報処理装置３０Ｃは、状態情報ＳＬＡＶＥ（ｔ）から指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）を導出する第１学習済モデル３２１と、第１学習済モデルの出力に応じた情報ＤＡＴＡ（ｔ，ｔ＋Ｔ１）から指令情報（ｔ＋Ｔ２）を導出する第２学習済モデル３２２とを生成するとともに、生成した第１学習済モデル３２１及び第２学習済モデル３２２を用いて、スレーブ装置１０を動作させる。すなわち、本実施形態では、複数の学習済モデルが階層化され、上位層の学習済モデル（第１学習済モデル３２１）の出力が、下位層の学習済モデル（第２学習済モデル３２２）の入力とされる。これらの複数の学習済モデルがスレーブ装置１０の動作制御において階層的に用いられることにより、膨大な教師データを必要とすることなく、スレーブ装置１０の動作予測を安定させることができる。

【0115】

〔実施形態４〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

【0116】

図１０は、本発明の実施形態４に係る情報処理装置３０Ｄを含むシステム１Ｄの構成を概略的に示す図である。システム１Ｄは、スレーブ装置１０、マスタ装置２０、情報処理装置３０Ｄ、及び入力装置４０を備える。情報処理装置３０Ｄは、スレーブ装置１０を動作させるための学習済モデルを生成する学習フェーズを実行するとともに、学習させた学習済モデルを用いて、スレーブ装置１０を動作させる推定フェーズを実行する。

【0117】

入力装置４０は、学習フェーズにおけるスレーブ装置１０の動作を規定する、動作速度を含む情報（以下、「速度情報」という）を、情報処理装置３０Ｄに入力する。本実施形態において、スレーブ装置１０は動作速度が可変である。入力装置４０は例えば、操作者により操作されるキーボード、マウス、又はタッチパネルである。また、入力装置４０は、インターネット等の通信ネットワークを介して情報処理装置３０Ｄに速度情報を送信する装置であってもよい。

【0118】

本実施形態において、第１学習済モデル３２１Ｄに入力される入力データは、時刻ｔにおける状態情報ＳＬＡＶＥ（ｔ）に加えて、時刻ｔにおける速度情報ｖ（ｔ）を含む。すなわち、第１学習済モデル３２１Ｄは、状態情報ＳＬＡＶＥ（ｔ）と、速度情報ｖ（ｔ）とを含む入力データから、指令情報（ｔ＋Ｔ１）を導出する学習済モデルである。

【0119】

例えば、スレーブ装置１０の動作が周期的な動作である場合、速度情報ｖ（ｔ）は、スレーブ装置１０の動作周期を表す周波数であってもよい。周期的な動作とは、例えば、スレーブ装置１０のロボットアームで筆記具を用いて繰り返し線を引く動作、又は、掃除道具で行う周期的な掃除動作である。なお、速度情報ｖ（ｔ）は、動作周期の周波数に限られず、他の情報であってもよい。速度情報は、例えば、周波数と相関の高い情報である一つの動作の実行時間、スレーブ装置１０の目標値、操作対象物、人間との会話情報などであっても良い。

【0120】

教師データの収集フェーズにおいて、マスタ装置２０の操作者は、マスタ装置２０の動作速度を変えながらマスタ装置２０を動作させる。これにより、スレーブ装置１０は、マスタ装置２０から供給される指令情報ＭＡＳＴＥＲ（ｔ）に応じて、自装置の動作速度を変えながら動作する。すなわち、この動作例では、スレーブ装置１０の動作速度を変えながらスレーブ装置１０を動作させることにより、指令情報ＭＡＳＴＥＲ（ｔ）、状態情報ＳＬＡＶＥ（ｔ）、及び速度情報ｖ（ｔ）が収集される。

【0121】

学習フェーズにおいて、第１生成部３１１Ｄは、収集された指令情報ＭＡＳＴＥＲ（ｔ）、状態情報ＳＬＡＶＥ（ｔ）、及び速度情報ｖ（ｔ）を用いて、第１学習済モデル３２１Ｄを生成する。第１学習済モデル３２１Ｄの生成に用いられる教師データは、状態情報ＳＬＡＶＥ（ｔ）及び速度情報ｖ（ｔ）と、指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）との組である。

【0122】

推定フェーズにおいては、第１推定部３３１は、状態情報ＳＬＡＶＥ（ｔ）及び速度情報ｖ（ｔ）を入力データとして第１学習済モデル３２１Ｄに入力することにより導出される指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）を推定する。また、第２推定部３３２は、上述の実施形態３と同様に、指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）及び指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）に応じた情報ＤＡＴＡ（ｔ，ｔ＋Ｔ１）を入力データとして第２学習済モデル３２２に入力することにより導出される指令情報（ｔ＋Ｔ２）を推定する。動作制御部３３３は、推定した指令情報（ｔ＋Ｔ２）を、時刻（ｔ＋Ｔ２）においてスレーブ装置１０に供給することにより、スレーブ装置１０を動作させる。

【0123】

ところで、スレーブ装置１０の動作速度を、教師データを収集した際のスレーブ装置１０の動作速度から異ならせようとすると、教師データを時間軸方向に短縮又は伸張させて用いることが考えられる。しかしながら、教師データを時間軸方向に圧縮又は伸張すると、スレーブ装置１０の動作が、教師データの収集時の動作と異なってしまい、動作の再現は困難である。これは、スレーブ装置１０のロボットアーム等の動作において慣性力や摩擦の影響が生じるためである。

【0124】

図１１及び図１２は、従来の手法により制御されたロボットアームの状態値の時間的な変化を表すグラフを例示した図である。図１１は、従来の情報処理装置において、教師データを時間軸方向に短縮させてスレーブ装置１０を動作させた場合における、教師データと実際の状態値（スレーブ装置１０から出力される状態情報ＳＬＡＶＥ（ｔ））とを表すグラフを例示した図である。また、図１２は、従来の情報処理装置において、教師データを時間軸方向に伸張させてスレーブ装置１０を動作させた場合における、教師データと実際の状態値（スレーブ装置１０から出力される状態情報ＳＬＡＶＥ（ｔ））とを表すグラフを例示した図である。

【0125】

図１１及び図１２において、横軸は時刻を示し、縦軸はロボットアームの所定軸方向における角度を示す。破線が教師データの応答を示し、実線が実行時の応答を表す。図１１の例では、スレーブ装置１０の動作速度を、教師データを収集した際の動作速度よりも速くすると、スレーブ装置１０の周期的な動作における振幅が小さくなってしまっていることがわかる。また、図１２の例では、スレーブ装置１０の動作速度を、教師データを収集した際の動作速度よりも遅くした場合、スレーブ装置１０の周期的な動作における振幅が大きくなってしまっていることがわかる。

【0126】

図１３は、本実施形態に係る情報処理装置３０Ｄによりスレーブ装置１０を動作させた場合のロボットアームの状態値の時間的な変化を示した図である。図において、横軸は時刻を示し、縦軸はスレーブ装置１０のロボットアームの所定軸方向における関節の角度を示す。図において、グラフｆ１１は、記憶部３２に記憶された教師データの表す時間と角速度との関係を表すグラフである。グラフｆ１２は、教師データをスレーブ装置１０に供給した場合におけるスレーブ装置１０の実際の状態（ロボットアームの角度）を表すグラフである。マスタ装置２０動作を予測したグラフｆ１３と、スレーブ装置１０の動作を予測したグラフｆ１２は、元の教師データを示すグラフｆ１１から、差異(誤差)を持つことが明確に示されている。

【0127】

グラフｆ１３は、本実施形態に係る情報処理装置３０Ｄによりスレーブ装置１０を動作させた場合の状態値の時間的な変化を表すグラフである。グラフｆ１２の波形の振幅は、グラフｆ１１の波形の振幅よりも小さくなってしまっているのに対し、グラフｆ１３の波形の振幅は、グラフｆ１１の波形の振幅とほぼ同程度となっている。本実施形態に係る情報処理装置３０Ｄによれば、教師データの示すスレーブ装置１０の動作と実際の動作との差分を小さくすることができる。すなわち、本実施形態によれば、教師データの示すスレーブ装置１０の動作を、異なる動作速度で再現することができる。

【0128】

以上説明したように本実施形態によれば、情報処理装置３０Ｄは、スレーブ装置１０の動作速度を示す速度情報ｖ（ｔ）を含む教師データを用いて学習された第１学習済モデル３２１Ｄを用いて、指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）を推定する。これにより、動作速度が可変であるスレーブ装置１０の動作予測を安定させることができる。

【0129】

〔変形例〕
上述の実施形態４では、スレーブ装置１０の速度情報が入力装置４０により情報処理装置３０Ｄに入力される場合を説明した。速度情報は、スレーブ装置１０が自装置の動作速度を計測することにより得られる情報であってもよい。この場合、スレーブ装置１０は、自装置の状態情報ＳＬＡＶＥ（ｔ）を出力するとともに、自装置の動作速度を表す速度情報ｖ（ｔ）を出力する。情報処理装置３０Ｄは、スレーブ装置１０から出力される状態情報ＳＬＡＶＥ（ｔ）及び速度情報ｖ（ｔ）を教師データとして、第１学習済モデル３２１Ｄを学習させる。

【0130】

本態様によれば、新しい教師データをスレーブ装置１０が自律的に生成できるようになるため、人間が教示する教師データの数を大幅に削減できる。

【0131】

〔実施形態５〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

【0132】

図１４は、実施形態５に係るシステム１Ｅの構成を概略的に示す図である。システム１Ｅは、スレーブ装置１０、マスタ装置２０、情報処理装置３０Ｅ、及び入力装置４０を備える。情報処理装置３０Ｅは、第２生成部３１２、第２学習済モデル３２２、及び第２推定部３３２を有していない点において、上述の実施形態４に係る情報処理装置３０Ｄと異なる。

【0133】

上述の実施形態４では、情報処理装置３０Ｄは、上述の実施形態３と同様に、階層化された複数の学習済モデル（第１学習済モデル３２１Ｄ及び第２学習済モデル３２２）を用いて、スレーブ装置１０の動作制御を行った。それに対し、本実施形態では、情報処理装置３０Ｅは、階層化された複数の学習済モデルでなく、ひとつの第１学習済モデル３２１Ｄを用いてスレーブ装置１０の動作制御を行う。すなわち、本実施形態では、第２学習済モデル３２２の出力である指令情報（ｔ＋Ｔ２）ではなく、第１学習済モデル３２１Ｄの出力である指令情報（ｔ＋Ｔ１）が、スレーブ装置１０の動作制御に用いられる。

【0134】

動作制御部３３３は、第１推定部３３１により推定された指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）を時刻（ｔ＋Ｔ１）においてスレーブ装置１０に供給することにより、スレーブ装置１０を動作させる。

【0135】

上記実施形態に係る情報処理装置３０Ｅが実装する機能は、複数の装置により分担されて実装されてもよい。例えば、学習フェーズ実行部３１を備える第１の装置と、推定フェーズ実行部３３を備える第２の装置と、記憶部３２を備える第３の装置とを含むシステムにより、情報処理装置３０Ｅが実現されてもよい。

【0136】

本実施形態に係る情報処理装置３０Ｅは、指令情報に従い動作する制御対象装置が出力した、当該制御対象装置の状態を表す情報と、前記制御対象装置に指示する動作を規定する、動作速度を含む情報とを含む入力データから、前記制御対象装置が当該状態情報を出力した後に前記制御対象装置に供給される前記指令情報を導出する学習済モデルを用いて、前記指令情報を推定する推定部と、前記推定部が推定した指令情報を用いて前記制御対象装置を動作させる動作制御部と、を備える装置として特定され得る。

【0137】

また、本変形例に係る情報処理装置３０Ｅは、指令情報に従い動作する制御対象装置が出力した、当該制御対象装置の状態を表す情報と、前記制御対象装置に指示する動作を規定する、動作速度を含む情報とを含む入力情報と、前記制御対象装置が当該状態を表す情報を出力した後に前記制御対象装置に供給される前記指令情報との組を用いて、前記入力情報と前記指令情報との相関関係を学習させた学習済モデルを生成する生成部、を備える装置として特定され得る。

【0138】

〔実施形態６〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

【0139】

図１５は、本発明の実施形態６に係るシステム１Ｆの構成を概略的に示す図である。システム１Ｆは、スレーブ装置１０、マスタ装置２０、及び情報処理装置３０Ｆを備える。情報処理装置３０Ｆは、第１生成部３１１に代えて第１生成部３１１Ｆを備えている点、及び、第３学習済モデル３２４を備えている点において、実施形態３の情報処理装置３０Ｃと異なる。

【0140】

第３学習済モデル３２４は、指令情報ＭＡＳＴＥＲ（ｔ）を入力データとし、状態情報ＳＬＡＶＥ（ｔ＋Ｔ３）を導出する学習済モデルである。第３学習済モデル３２４により導出される状態情報ＳＬＡＶＥ（ｔ＋Ｔ３）は、第１学習済モデル３２１Ｆの入力情報として用いられる。第３学習済モデル３２４は例えば、ＣＮＮ、ＲＮＮ、ＬＳＴＭ、ＤＮＮ、又はこれらの組み合わせで実現可能である。

【0141】

図１６は、第１学習済モデル３２１Ｆと第３学習済モデル３２４との関係を例示する図である。図において、指令情報ＭＡＳＴＥＲ（ｔ）を入力データとして第３学習済モデル３２４に入力した場合、第３学習済モデル３２４は、状態情報ＳＬＡＶＥ（ｔ＋Ｔ３）を導出する。第１生成部３１１Ｆは、第３学習済モデル３２４により導出された状態情報ＳＬＡＶＥ（ｔ＋Ｔ３）と、指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１＋Ｔ３）との組を教師データとして、第１学習済モデル３２１Ｆを学習させる。第３学習済モデル３２４により導出される状態情報ＳＬＡＶＥ（ｔ＋Ｔ３）は、本実施形態に係る第２の状態を表す情報（以下「第２状態情報」という）の一例である。

【0142】

学習フェーズにおいて、第１生成部３１１Ｆは、記憶部３２Ｆに記憶された教師データ（指令情報ＭＡＳＴＥＲ（ｔ）と状態情報ＳＬＡＶＥ（ｔ＋Ｔ３）との組）を学習させた第３学習済モデル３２４を生成する。また、第１生成部３１１Ｆは、記憶部３２Ｆに記憶された教師データ（状態情報ＳＬＡＶＥ（ｔ＋Ｔ３）と指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１＋Ｔ３）との組）を学習させた第１学習済モデル３２１Ｆを生成する。このとき、第１学習済モデル３２１Ｆの生成に用いられる状態情報ＳＬＡＶＥ（ｔ＋Ｔ３）は、スレーブ装置１０から出力された実際の状態値（状態情報ＳＬＡＶＥ（ｔ＋Ｔ３））ではなく、第３学習済モデル３２４により導出された状態情報ＳＬＡＶＥ（ｔ＋Ｔ３）である。

【0143】

また、第１学習済モデル３２１Ｆと第３学習済モデル３２４を連結し、両モデルを同時に学習させることも可能である。その場合、下記Ａ～Ｅの５通りの方法が考えられる。

【0144】

Ａ．状態情報ＳＬＡＶＥ（ｔ）から状態情報ＳＬＡＶＥ（ｔ＋Ｔ１＋Ｔ３）を出力させる。つまり、状態情報ＳＬＡＶＥ（ｔ）→第１学習済モデル３２１Ｆ→第３学習済モデル３２４→状態情報ＳＬＡＶＥ（ｔ＋Ｔ１＋Ｔ３）とする。

【0145】

Ｂ．指令情報ＭＡＳＴＥＲ（ｔ）から状態情報ＳＬＡＶＥ（ｔ＋Ｔ１＋Ｔ３）を出力させる。つまり、指令情報ＭＡＳＴＥＲ（ｔ）→第３学習済モデル３２４→第１学習済モデル３２１Ｆ→状態情報ＳＬＡＶＥ（ｔ＋Ｔ１＋Ｔ３）とする。

【0146】

Ｃ．上記ＡやＢを複数回（ｎ回）繰り返す。例えば、指令情報ＭＡＳＴＥＲ（ｔ）→第３学習済モデル３２４→第１学習済モデル３２１Ｆ→・・・→第３学習済モデル３２４→第１学習済モデル３２１Ｆ→指令情報ＭＡＳＴＥＲ（ｔ＋ｎＴ１+ｎＴ３）や、状態情報ＳＬＡＶＥ（ｔ）→第１学習済モデル３２１Ｆ→第３学習済モデル３２４→・・・→第１学習済モデル３２１Ｆ→第３学習済モデル３２４→状態情報ＳＬＡＶＥ（ｔ＋ｎＴ１+ｎＴ３）とする。

【0147】

Ｄ．上記Ａをｎ回繰り返し、最後の指令情報ＭＡＳＴＥＲから状態情報ＳＬＡＶＥを予測するステップを省略する。つまり、状態情報ＳＬＡＶＥ（ｔ）から開始して、指令情報ＭＡＳＴＥＲ（ｔ＋ｎＴ１＋（ｎ－１）Ｔ３）を予測する。

【0148】

Ｅ．上記Ｂをｎ回繰り返し、最後の状態情報ＳＬＡＶＥから指令情報ＭＡＳＴＥＲを予測するステップを省略する。つまり、指令情報ＭＡＳＴＥＲ（ｔ）から開始して、状態情報ＳＬＡＶＥ（ｔ＋ｎＴ３＋（ｎ－１）Ｔ１）を予測する。

【0149】

図１７は、Ｔ１＝Ｔ３のときの第１学習済モデル３２１Ｆと第３学習済モデル３２４との関係を例示する図である。図において、矢印ｄ１１は、第１学習済モデル３２１Ｆの入力と出力の関係を示す。矢印ｄ１２は、第３学習済モデル３２４の入力と出力の関係を示す。図１７の例では、第１学習済モデル３２１Ｆにより、状態情報ＳＬＡＶＥ（ｔ）から指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）が導出される。また、第３学習済モデル３２４により、指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）から状態情報（ｔ＋２Ｔ１）が導出される。第３学習済モデル３２４がない場合、第１学習済モデル３２１Ｆは次のステップを予測する開ループモデルである。状態情報（ｔ）から指令情報を予測する第１学習済モデル３２１Ｆの応答と状態情報（ｔ＋２Ｔ１）から指令情報を予測する第１学習済モデル３２１Ｆの応答とは何も関係がない。一方、第３学習済モデル３２４が介在する場合、状態情報（ｔ）から指令情報を予測する第１学習済モデル３２１Ｆの出力が状態情報（ｔ＋２Ｔ１）へ伝播するため、状態情報（ｔ）における第１学習済モデル３２１Ｆの応答が時刻（ｔ＋Ｔ２）における第１学習済モデル３２１Ｆの応答に影響を与える閉ループモデルとなる。

【0150】

すなわち、本実施形態では、第１学習済モデル３２１Ｆの学習フェーズにおいて、第３学習済モデル３２４の出力が第１学習済モデル３２１Ｆの入力として用いられる。

【0151】

推定フェーズにおいては、第３学習済モデル３２４は用いられず、第１学習済モデル３２１Ｆ（及び第２学習済モデル３２２）が指令情報の推定に用いられる。第１推定部３３１及び第２推定部３３２が行う推定処理は、上述の実施形態２で説明した処理と同様であり、ここではその詳細な説明を省略する。

【0152】

本実施形態によれば、情報処理装置３０Ｆは、第３学習済モデル３２４が導出する状態情報ＳＬＡＶＥ（ｔ＋Ｔ３）を、第１学習済モデル３２１Ｆの入力データとして学習を行わせ、第１学習済モデル３２１Ｆを生成する。この処理は学習フェーズにおいて閉ループとして学習をモデル化していることに相当する。一方、推定フェーズにおいては、情報処理装置３０Ｆが第１学習済モデル３２１Ｆを用いてスレーブ装置１０の動作制御を行うため閉ループをなす。よって、学習フェーズにおいて推定フェーズと同じ閉ループモデルとして学習できるため、制御対象装置の動作予測を安定させることができる。

【0153】

〔実施形態７〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

【0154】

図１８は、実施形態７に係るシステム１Ｇの構成を概略的に示す図である。システム１Ｇは、スレーブ装置１０、マスタ装置２０、及び情報処理装置３０Ｇを備える。情報処理装置３０Ｇは、第２生成部３１２、第２学習済モデル３２２、及び第２推定部３３２を有していない点において、上述の実施形態６に係る情報処理装置３０Ｆと異なる。

【0155】

上述の実施形態６では、情報処理装置３０Ｆは、上述の実施形態３と同様に、階層化された複数の学習済モデル（第１学習済モデル３２１Ｆ及び第２学習済モデル３２２）を用いて、スレーブ装置１０の動作制御を行った。それに対し、本実施形態では、情報処理装置３０Ｇは、階層化された複数の学習済モデルでなく、第１学習済モデル３２１Ｆ及び第３学習済モデル３２４を用いてスレーブ装置１０の動作制御を行う。すなわち、本実施形態では、第２学習済モデル３２２の出力である指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ２）ではなく、第１学習済モデル３２１Ｆの出力である指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）が、スレーブ装置１０の動作制御に用いられる。

【0156】

動作制御部３３３は、第１推定部３３１により推定された指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）を時刻（ｔ＋Ｔ１）においてスレーブ装置１０に供給することにより、スレーブ装置１０を動作させる。

【0157】

上記実施形態に係る情報処理装置３０Ｇが実装する機能は、複数の装置により分担されて実装されてもよい。例えば、学習フェーズ実行部３１を備える第１の装置と、推定フェーズ実行部３３を備える第２の装置と、記憶部３２を備える第３の装置とを含むシステムにより、情報処理装置３０Ｇが実現されてもよい。

【0158】

本実施形態に係る情報処理装置３０Ｇは、指令情報に従い動作する制御対象装置が出力した、当該制御対象装置の状態を表す情報から、前記制御対象装置が当該状態を表す情報を出力した後に前記制御対象装置に供給される前記指令情報を導出する第１学習済モデルを用いて、前記指令情報を推定する推定部と、前記推定部が推定した前記指令情報を用いて前記制御対象装置を動作させる動作制御部と、を備え、前記第１学習済モデルは、前記指令情報から、前記制御対象装置に当該指令情報が供給された後に前記制御対象装置が出力する第２の状態を表す情報を導出する第３学習済モデルにより導出される第２の状態を表す情報を、前記状態を表す情報として学習させた学習済モデルである、と特定され得る。

【0159】

また、本変形例に係る情報処理装置３０Ｇは、指令情報に従い動作する制御対象装置が出力した、当該制御対象装置の第１の状態を表す情報と、前記制御対象装置が当該第１の状態を表す情報を出力した後に前記制御対象装置に供給される前記指令情報との組を用いて、前記第１の状態を表す情報と前記指令情報との相関関係を学習させた第１学習済モデルを生成する第１生成部と、前記指令情報と、前記制御対象装置に当該指令情報が供給された後に前記制御対象装置が出力する、当該制御対象装置の状態を表す第２の状態を表す情報との組を用いて、前記指令情報と前記第２の状態を表す情報との相関関係を学習させた第３学習済モデルを生成する第３生成部と、を備え、前記第１生成部は、前記第３学習済モデルに導出される前記第２状態情報を、前記第１学習済モデルを学習させるための前記状態情報として用いる、と特定され得る。本実施形態に係る第１生成部３１１Ｆは、上記第３生成部の一例である。

【0160】

〔実施形態８〕
本発明の他の実施形態について以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

【0161】

図１９は、本発明の実施形態８に係る情報処理装置３０Ｈを含むシステム１Ｈの構成を概略的に示す図である。システム１Ｈは、スレーブ装置１０、マスタ装置２０、情報処理装置３０Ｈ、及び硬軟センサ５０を備える。情報処理装置３０Ｈは、スレーブ装置１０を動作させるための学習済モデルを生成する学習フェーズを実行するとともに、学習された学習済モデルを用いて、スレーブ装置１０を動作させる推定フェーズを実行する。

【0162】

情報処理装置３０Ｈの推定フェーズ実行部３３Ｈは、第１推定部３３１、第２推定部３３２、動作制御部３３３に加えて、変更制御部３３４を備える。変更制御部３３４は、単位時間τ１及び単位時間τ２の一方又は両方を、スレーブ装置１０が行う動作の対象となる対象物の硬軟の程度に応じて変更する。対象物は例えば、把持動作の対象となる物品、調理動作の対象となる食材、描画動作の対象となる筆記具及び筆記用紙、研磨動作の対象となる物品、である。

【0163】

また、柔らかいもの等の動作周波数が低い環境との相互作用の制御や操作については単位時間の長い第1生成部が主に動作を推定し、硬いもの等の動作周波数が高い環境との相互作用の制御や操作については単位時間の短い第1生成部が主に動作を推定することもできる。

【0164】

硬軟センサ５０は、スレーブ装置１０に設けられ、対象物の硬軟の程度を検知し、検知した信号を情報処理装置３０Ｈに出力する。

【0165】

変更制御部３３４は、硬軟センサ５０が検知した対象物の硬軟の程度に応じて、単位時間τ１及び単位時間τ２の一方又は両方を変更する。

【0166】

変更制御部３３４は例えば、対象物が硬いほど、単位時間τ１及び単位時間τ２を短くする一方、対象物が軟らかいほど、単位時間τ１及び単位時間τ２を長くする制御を行ってもよい。

【0167】

〔変形例〕
上記実施形態に係る情報処理装置３０Ｈが実装する機能は、複数の装置により分担されて実装されてもよい。例えば、学習フェーズ実行部３１を備える第１の装置と、推定フェーズ実行部３３Ｈを備える第２の装置と、記憶部３２を備える第３の装置とを含むシステムにより、情報処理装置３０Ｊが実現されてもよい。

【0168】

〔実施形態９〕
本発明の他の実施形態について説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

【0169】

図２０は、本発明の実施形態９に係る情報処理装置３０Ｊを含むシステム１Ｊの構成を概略的に示す図である。システム１Ｊは、スレーブ装置１０、マスタ装置２０、及び情報処理装置３０Ｊを備える。情報処理装置３０Ｊは、第１学習済モデル３２１Ｆ、第３学習済モデル３２４、第１生成部３１１Ｆ、及び第１推定部３３１に代えて、第１学習済モデル３２１Ｊ、第１生成部３１１Ｊ、及び第１推定部３３１Ｊを備えている点において、上述の実施形態７と異なっている。

【0170】

図２１は、第１学習済モデル３２１Ｊの内容を例示する図である。第１学習済モデル３２１Ｊは、状態情報ＳＬＡＶＥ（ｋ）を入力とし、状態情報ＳＬＡＶＥ（ｋ＋ｎ）及び指令情報ＳＬＡＶＥ（ｋ＋ｍ）を導出する学習済モデルである。

【0171】

学習フェーズにおいて、第１生成部３１１Ｊは、状態情報ＳＬＡＶＥ（ｋ）と、状態情報ＳＬＡＶＥ（ｋ＋ｎ）及び指令情報ＭＡＳＴＥＲ（ｋ＋ｍ）との組を教師データとして、第１学習済モデル３２１Ｊを学習させる。

【0172】

また、第１生成部３１１Ｊは、第１学習済モデル３２１Ｊの出力である状態情報ＳＬＡＶＥ（ｋ＋ｎ）を教師データとして、第１学習済モデル３２１Ｊを学習させる。すなわち、第１学習済モデル３２１Ｊにより導出された状態情報ＳＬＡＶＥ（ｋ＋ｎ）は、第１学習済モデル３２１Ｊの入力情報として用いられる。

【0173】

図２２は、第１学習済モデル３２１Ｊを説明するための図である。図において、矢印ｄ２１は、第１学習済モデル３２１Ｊの入力と出力の関係を示す。図２２の例では、上述したように、状態情報ＳＬＡＶＥ（ｋ）から状態情報ＳＬＡＶＥ（ｔ＋ｎ）及び指令情報ＭＡＳＴＥＲ（ｋ＋ｍ）が導出される。

【0174】

推定フェーズにおいては、第１推定部３３１Ｊは、第１学習済モデル３２１Ｊを用いて、状態情報ＳＬＡＶＥ（ｋ）から、状態情報ＳＬＡＶＥ（ｋ＋ｎ）、及び、指令情報ＭＡＳＴＥＲ（ｋ＋ｍ）を、単位時間τ１毎に推定する。

【0175】

動作制御部３３３は、第１推定部３３１が推定した指令情報ＭＡＳＴＥＲ（ｋ＋ｍ）を用いて制御対象装置（スレーブ装置１０）を動作させる。

【0176】

本実施形態では、スレーブ装置１０の動作予測とマスタ装置２０の動作予測とをあわせて実行することにより、これらに共通する特徴量が抽出され得る。また、本実施形態では、ひとつの第１学習済モデル３２１Ｊを学習させるだけでよく、複数の学習済モデルを学習させる場合と比べて、学習が容易である。

【0177】

本実施形態に係る情報処理装置３０Ｊは、指令情報に従い動作する制御対象装置が出力する、当該制御対象装置の状態を表す情報から、前記制御対象装置に供給される前記指令情報を導出する第１学習済モデルを用いて、前記指令情報を推定する推定部と、前記推定部が推定した前記指令情報を用いて前記制御対象装置を動作させる動作制御部と、を備え、前記第１学習済モデルは、前記状態を表す情報から、所定の時間が経過した後の前記制御対象装置の第２の状態を表す情報、及び、前記指令情報を導出する学習済モデルであって、当該第１学習済モデルが導出した前記第２の状態を表す情報を入力情報として学習させた学習済モデルである、と特定され得る。

【0178】

〔変形例〕
〔変形例１〕
第１学習済モデル３２１Ｊは、上述の実施形態９で説明した構成に限らず、他の構成であってもよい。

【0179】

図２３は、本変形例に係る第１学習済モデル３２１Ｋの内容を例示する図である。第１学習済モデル３２１Ｋは、状態情報ＳＬＡＶＥ（ｋ）及び指令情報ＭＡＳＴＥＲ（ｋ）を入力とし、状態情報ＳＬＡＶＥ（ｋ＋ｎ）及び指令情報ＳＬＡＶＥ（ｋ＋ｍ）を導出する学習済モデルである。

【0180】

学習フェーズにおいて、第１生成部３１１Ｊは、状態情報ＳＬＡＶＥ（ｋ）及び指令情報ＳＬＡＶＥ（ｋ）と、状態情報ＳＬＡＶＥ（ｋ＋ｎ）及び指令情報ＭＡＳＴＥＲ（ｋ＋ｍ）との組を教師データとして、第１学習済モデル３２１Ｋを学習させる。

【0181】

また、第１生成部３１１Ｊは、第１学習済モデル３２１Ｊの出力である状態情報ＳＬＡＶＥ（ｋ＋ｎ）、及び指令情報ＭＡＳＴＥＲ（ｋ＋ｍ）を教師データとして、第１学習済モデル３２１Ｊを学習させる。すなわち、第１学習済モデル３２１Ｊにより導出された状態情報ＳＬＡＶＥ（ｋ＋ｎ）、及び指令情報ＭＡＳＴＥＲ（ｋ＋ｍ）は、第１学習済モデル３２１Ｊの入力情報として用いられる。

【0182】

推定フェーズにおいては、第１推定部３３１Ｊは、第１学習済モデル３２１Ｊを用いて、状態情報ＳＬＡＶＥ（ｋ）及び指令情報ＳＬＡＶＥ（ｋ）から、状態情報ＳＬＡＶＥ（ｋ＋ｎ）、及び、指令情報ＭＡＳＴＥＲ（ｋ＋ｍ）を、単位時間τ１毎に推定する。

【0183】

動作制御部３３３は、第１推定部３３１が推定した指令情報ＭＡＳＴＥＲ（ｋ＋ｍ）を用いて制御対象装置（スレーブ装置１０）を動作させる。また、このとき推定したＳＬＡＶＥ（ｋ＋ｎ）と実際に計測されたＳＬＡＶＥ（ｋ＋ｎ）の相違に関わる情報、例えば差や比など、をＭＡＳＴＥＲ（ｋ＋ｍ）の予測値にフィードバックすることでＭＡＳＴＥＲ（ｋ＋ｍ）の予測誤差を低減することができる。

【0184】

本変形例に係る情報処理装置３０Ｊは、前記第１学習済モデルは、前記指令情報及び前記状態を表す情報から、所定の時間が経過した後の前記制御対象装置の第２の状態を表す情報、及び、前記指令情報を導出する学習済モデルであって、当該第１学習済モデルが導出した前記指令情報及び前記第２の状態を表す情報を、入力情報として学習させた学習済モデルである、と特定され得る。

【0185】

〔変形例２〕
上記実施形態に係る情報処理装置３０Ｊが実装する機能は、複数の装置により分担されて実装されてもよい。例えば、学習フェーズ実行部３１Ｊを備える第１の装置と、推定フェーズ実行部３３Ｊを備える第２の装置と、記憶部３２Ｊを備える第３の装置とを含むシステムにより、情報処理装置３０Ｊが実現されてもよい。

【0186】

〔変形例３〕
実施形態９に係るシステム１Ｊにおいて、上述の実施形態６に係る第２生成部３１２、第２学習済モデル３２２、及び第２推定部３３２がシステムに含まれる構成であってもよい。

【0187】

図２４は、本変形例に係るシステム１Ｈの構成を概略的に示す図である。システム１Ｈの情報処理装置３０Ｈは、第２生成部３１２、第２学習済モデル３２２、及び第２推定部３３２を有する点において、上述の実施形態９に係る情報処理装置３０Ｊと異なる。

【0188】

本変形例では、情報処理装置３０Ｈは、上述の実施形態３と同様に、階層化された複数の学習済モデル（第１学習済モデル３２１Ｊ及び第２学習済モデル３２２）を用いて、スレーブ装置１０の動作制御を行う。すなわち、本変形例では、第１学習済モデル３２１Ｊの出力である指令情報ＭＡＳＴＥＲ（ｋ＋ｍ）ではなく、第２学習済モデル３２２の出力である指令情報（ｔ＋Ｔ２）が、スレーブ装置１０の動作制御に用いられる。

【0189】

本変形例では、第１推定部３３１が推定した指令情報ＭＡＳＴＥＲ（ｋ＋ｍ）、及び、指令情報ＭＡＳＴＥＲ（ｋ＋ｍ）に基づき計算されたＤＡＴＡ（ｋ＋ｍ）が、第２学習済モデル３２２の入力として用いられ、第２学習済モデル３２２により指令情報ＭＡＳＴＥＲ（ｋ＋Ｔ２）が導出される。第２学習済モデル３２２が導出した指令情報ＭＡＳＴＥＲ（ｋ＋Ｔ２）を用いて動作制御部３３３がスレーブ装置１０の動作制御を行う。

【0190】

〔実施形態１０〕
図２５は、本発明の実施形態１０に係る情報処理装置３０Ｌを含むシステム１Ｌの構成を概略的に示す図である。システム１Ｌは、スレーブ装置１０、マスタ装置２０、及び情報処理装置３０Ｌを備える。情報処理装置３０Ｌは、図３を参照しながら説明した情報処理装置３０Ｃの変形例である。図２５を参照しながら、情報処理装置３０Ｌについて説明する。上述の実施形態３において説明した構成については、同様の符号を付すことにより説明を省略する場合がある。

【0191】

第１生成部３１１は、時刻ｔにおけるスレーブ装置１０の状態情報ＳＬＡＶＥ（ｔ）と、時刻ｔにおけるマスタ装置２０の指令情報ＭＡＳＴＥＲ（ｔ）と、時刻ｔ＋１におけるマスタ装置２０の指令情報ＭＡＳＴＥＲ（ｔ＋１）とに基づき、第１学習済モデル３２１を生成する。なお、第１生成部３１１は、教師データセット３２３に基づいて、第１学習済モデル３２１を生成してもよい。

【0192】

第２生成部３１２は、時刻ｔにおけるスレーブ装置１０の状態情報ＳＬＡＶＥ（ｔ）と、時刻ｔにおけるマスタ装置２０の指令情報ＭＡＳＴＥＲ（ｔ）と、時刻ｔ＋１におけるマスタ装置２０の指令情報ＭＡＳＴＥＲ（ｔ＋１）とに基づき、第２学習済モデル３２２を生成する。なお、第１生成部３１１は、教師データセット３２３に基づいて、第１学習済モデル３２１を生成してもよい。

【0193】

第１推定部３３１は、学習された第１学習済モデル３２１と、時刻ｔにおけるスレーブ装置１０の状態情報ＳＬＡＶＥ（ｔ）に基づいて、指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）を推定する。

【0194】

第２推定部３３２は、学習された第２学習済モデル３２２と、時刻ｔにおけるスレーブ装置１０の状態情報ＳＬＡＶＥ（ｔ）に基づいて、指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）を推定する。

【0195】

図２６は、本発明の実施形態１０に係る情報処理装置３０Ｌを含むシステム１Ｌの機能構成を説明する図である。同図を参照しながら、情報処理装置３０Ｌの機能構成について説明する。情報処理装置３０Ｌは、動作生成器６１０－１と、動作生成器６１０－２と、動作生成器６１０－３とを備える。以降の説明において、動作生成器６１０－１、動作生成器６１０－２及び動作生成器６１０－３を区別しない場合には、単に動作生成器６１０と記載する場合がある。また、動作生成器６１０－３に対し動作生成器６１０－１を上位層と記載し、動作生成器６１０－１に対し動作生成器６１０－３を下位層と記載する場合がある。

【0196】

動作生成器６１０－１は、第１生成部３１１と、第１推定部３３１とを含む。動作生成器６１０－１は、スレーブ装置１０の状態情報ＳＬＡＶＥ（ｔ）と、時刻ｔにおけるマスタ装置２０の指令情報ＭＡＳＴＥＲ（ｔ）と、時刻ｔ＋１におけるマスタ装置２０の指令情報ＭＡＳＴＥＲ（ｔ＋１）とに基づき、第１学習済モデル３２１を生成する。動作生成器６１０－１に入力されるスレーブ装置１０の状態情報ＳＬＡＶＥ（ｔ）と、時刻ｔにおけるマスタ装置２０の指令情報ＭＡＳＴＥＲ（ｔ）と、時刻ｔ＋１におけるマスタ装置２０の指令情報ＭＡＳＴＥＲ（ｔ＋１）とを区別しない場合には、入力信号ＩＮ１と記載する場合がある。
動作生成器６１０－１は、学習された第１学習済モデル３２１と、時刻ｔにおけるスレーブ装置１０の状態情報ＳＬＡＶＥ（ｔ）に基づいて、指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）を推定し、スレーブ装置２０に出力する。また、動作生成器６１０－１は、学習された第１学習済モデル３２１と、時刻ｔにおけるスレーブ装置１０の状態情報ＳＬＡＶＥ（ｔ）に基づいて、下位層の動作生成器６１０－２に対し、割り込みＩＮＴ１を発生させる。動作生成器６１０－１が出力する信号を、出力信号ＯＵＴ１と記載する場合がある。

【0197】

動作生成器６１０－２は、第２生成部３１２－１と、第２推定部３３２－２とを含む。動作生成器６１０－２は、スレーブ装置１０の状態情報ＳＬＡＶＥ（ｔ）と、時刻ｔにおけるマスタ装置２０の指令情報ＭＡＳＴＥＲ（ｔ）と、時刻ｔ＋１におけるマスタ装置２０の指令情報ＭＡＳＴＥＲ（ｔ＋１）とに基づき、第２学習済モデル３２２－１を生成する。動作生成器６１０－２に入力されるスレーブ装置１０の状態情報ＳＬＡＶＥ（ｔ）と、時刻ｔにおけるマスタ装置２０の指令情報ＭＡＳＴＥＲ（ｔ）と、時刻ｔ＋１におけるマスタ装置２０の指令情報ＭＡＳＴＥＲ（ｔ＋１）とを区別しない場合には、入力信号ＩＮ２と記載する場合がある。
動作生成器６１０－２は、学習された第２学習済モデル３２２－１と、時刻ｔにおけるスレーブ装置１０の状態情報ＳＬＡＶＥ（ｔ）に基づいて、指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）を推定し、スレーブ装置２０に出力する。また、動作生成器６１０－２は、学習された第２学習済モデル３２２と、時刻ｔにおけるスレーブ装置１０の状態情報ＳＬＡＶＥ（ｔ）に基づいて、下位層の動作生成器６１０－３に対し、割り込みＩＮＴ２を発生させる。動作生成器６１０－２が出力する信号を、出力信号ＯＵＴ２と記載する場合がある。

【0198】

動作生成器６１０－３は、第２生成部３１２－２と、第２推定部３３２－２とを含む。動作生成器６１０－３は、スレーブ装置１０の状態情報ＳＬＡＶＥ（ｔ）と、時刻ｔにおけるマスタ装置２０の指令情報ＭＡＳＴＥＲ（ｔ）と、時刻ｔ＋１におけるマスタ装置２０の指令情報ＭＡＳＴＥＲ（ｔ＋１）とに基づき、第２学習済モデル３２２－２を生成する。動作生成器６１０－３に入力されるスレーブ装置１０の状態情報ＳＬＡＶＥ（ｔ）と、時刻ｔにおけるマスタ装置２０の指令情報ＭＡＳＴＥＲ（ｔ）と、時刻ｔ＋１におけるマスタ装置２０の指令情報ＭＡＳＴＥＲ（ｔ＋１）とを区別しない場合には、入力信号ＩＮ３と記載する場合がある。
動作生成器６１０－３は、学習された第２学習済モデル３２２－２と、時刻ｔにおけるスレーブ装置１０の状態情報ＳＬＡＶＥ（ｔ）に基づいて、指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）を推定し、スレーブ装置２０に出力する。動作生成器６１０－３が出力する信号を、出力信号ＯＵＴ３と記載する場合がある。

【0199】

図２７は、本発明の実施形態１０に係る階層化された動作生成器６１０をより詳細に説明するための模式図である。同図を参照しながら、実施形態１０に係る階層化された動作生成器６１０について、より詳細に説明する。

【0200】

動作生成器６１０－１は、例えば自己位置推定を行う。自己位置推定とは、例えば、スレーブ装置２０が筆記具により文字を書く場合の一例において、スレーブ装置２０が把持する筆記具の位置を推定することであってもよい。動作生成器６１０－１は、最上位層の動作生成器６１０のため、その他、下位層の動作生成器６１０に比べ、遅い周波数によりある程度の正確さを有していれば足りる動作についての推定を行う。

【0201】

動作生成器６１０－２は、例えば画像認識を行う。画像認識とは、例えば、スレーブ装置２０が筆記具により文字を書く場合の一例において、用紙に書かれた文字及び、文字を書こうとしている用紙についての画像認識をであってもよい。動作生成器６１０－２は、上位層の動作生成器６１０及び下位層の動作生成器６１０の間に位置するため、上位層の動作生成器６１０よりも速い周波数であって、下位層の動作生成器６１０よりも遅い周波数を要する動作についての推定を行う。

【0202】

動作生成器６１０－３は、例えばリアルタイム制御を行う。リアルタイム制御とは、例えば、スレーブ装置２０が筆記具により文字を書く場合の一例において、筆記具を把持する力や、筆記具を動かす早さ等のリアルタイムな制御を必要とする動作についての推定であってもよい。動作生成器６１０－３は、最下位層の動作生成器６１０のため、その他、上位層の動作生成器６１０に比べ、速い周波数により正確さを要する動作についての推定を行う。

【0203】

すなわち、動作生成器６１０－１の動作周波数は、動作生成器６１０－２の動作周波数よりも低速であり、動作生成器６１０－２の動作周波数は、動作生成器６１０－３の動作周波数より低速である。また、動作生成器６１０－１は、動作生成器６１０－２よりも複雑な動作を制御し、動作生成器６１０－２は、動作生成器６１０－３よりも複雑な動作を制御する。すなわち、本実施形態によれば、上位層の動作生成器６１０は、下位層の動作生成器６１０よりも、より低速で複雑な動作を制御し、下位層の動作生成器６１０は、上位層の動作生成器６１０よりも、より高速で単純な動作を制御する。

【0204】

本実施形態によれば、上位層の動作生成器６１０から下位層の動作生成器６１０に割り込みを発生させることにより、それぞれの動作生成器６１０は、それぞれの動作に応じて、個別に学習されることができる。例えば自己位置推定のような低速で複雑な動作を制御する場合、動作生成器６１０は、低い周波数で学習される。また、リアルタイム制御のような高速で単純な動作を制御する場合、動作生成器６１０は、高い周波数で学習される。ここで、低速で複雑な動作を学習する場合に、高い周波数で学習すると、記憶容量を膨大に消費する場合がある、また、高速で単純な動作を学習する場合に、低い周波数で学習すると、サンプリング周波数が不足することによる誤差が大きくなってしまう場合がある。本実施形態においては、動作に応じて学習済モデルを階層化することにより、それぞれの動作に好適な周波数で学習されることができるため、無駄なメモリ容量を要することがない。

【0205】

図２８は、本発明の実施形態１０に係るスレーブ装置が筆記具により文字を書く場合の一例を模式的に示す図である。本実施形態の効果を説明するための具体的な一例として、システム２がスレーブ装置１０に、筆記具Ｗにより文字を書かせる場合の一例について説明する。図２８におけるスレーブ装置１０は、消しゴムＥに代えて筆記具Ｗを備える点において、図５に記載のスレーブ装置１０とは異なる。スレーブ装置１０は、筆記具Ｗにより、紙面Ｐに文字を書く。

【0206】

図２９は、本発明の実施形態１０に係るスレーブ装置により紙面に書かれた文字の一例を模式的に示す図である。本実施形態におけるスレーブ装置１０は、例えば、図２９（Ａ）に示すような文字Ｃを書いてもよいし、図２９（Ｂ）に示すような文字列ＣＳを書いてもよい。同図に示す一例において、文字列ＣＳが並ぶ方向をｘ軸方向と、ｘ軸方向に直行する方向をｙ方向と記載する場合がある。

【0207】

図２９（Ａ）に示す一例では、スレーブ装置１０は、文字Ｃとしてアルファベットの“Ａ”を書く。図２９（Ｂ）に示す一例では、スレーブ装置１０は、文字列ＣＳとしてアルファベットの“ＡＢＣ”を書く。文字列“ＡＢＣ”を書く場合には、文字Ｃを書いてから次の文字Ｃを書く場所まで筆記具Ｗを移動させる必要がある。図２９（Ｂ）に示す一例においては、スレーブ装置１０は、ｘ軸上の範囲Ｌ１においてアルファベット“Ａ”を書いた後、距離Ｌ２の分だけ筆記具Ｗをｘ軸方向に移動させ、次のアルファベット“Ｂ”を書く。また、スレーブ装置１０は、範囲Ｌ３においてアルファベット“Ｂ”を書いた後、距離Ｌ４の分だけ筆記具Ｗをｘ軸方向に移動させ、次のアルファベット“Ｃ”を書く。

【0208】

ここで、範囲Ｌ１、Ｌ２又はＬ３に文字を記載する場合は、動作周波数は高い方が好適である。しかしながら、距離Ｌ２又はＬ４をｘ軸方向に移動させる場合は、動作周波数は低くてもよいため、メモリの消費量や学習に要する時間等を考慮すると、動作周波数が低い方が好適である。すなわち、スレーブ装置１０により文字列ＣＳを書く場合、動作周波数が高い方が好適な場合と、動作周波数が低い方が好適な場合が混在する。本実施形態によれば、動作生成器６１０を階層化する事により、それぞれの動作に好適な動作周波数で学習させることができる。

【0209】

〔実施形態１１〕
図３０は、本発明の実施形態１１に係るシステムを用いた場合における理想値と応答値について説明するための図である。実施形態１１は、実施形態４の変形例である。同図を参照しながら、実施形態１１に係るシステムについてより詳細に説明する。本実施形態において、スレーブ装置１０は、動作の結果、自装置が動作する予定の速度情報（すなわち、指令速度）と計測された自装置の動作速度（すなわち、動作速度）とを比較することにより、第１学習済モデル３２１Ｄを学習させる。図３０に示す一例は、指令速度と動作速度との対応関係を示す。

【0210】

図３０には、理想値と、応答値が示されている。理想値とは、指令速度と動作速度とが同一となる場合を指す。例えば、指令速度が速度ｖ１２である場合における動作速度の理想値は速度ｖ２２である。しかしながら、この一例においては、指令速度が速度ｖ１２である場合における実際の動作速度は、速度ｖ２１である。この場合、第１学習済モデル３２１Ｄは、指令速度が速度ｖ１２であると学習されていた速度を、実際の動作速度ｖ２１に対応する指令速度の理想値である速度ｖ１１であると学習する。

【0211】

本実施形態において、第１学習済モデル３２１の入力情報及び出力情報は、速度である。すなわち、第１学習済モデル３２１の入力情報及び出力情報は、定量的に表すことが可能な値である。したがって、第１学習済モデル３２１は、入力情報と出力情報との関係から、自律的に学習することができる。また、本実形態のように構成することにより、情報処理装置３０Ｄは、容易に第１学習済モデル３２１を学習させることができる。

【0212】

〔実施形態６及び実施形態９に係る状態の予測〕
図３１から図３４を参照しながら、実施形態６において図１７を参照しながら説明した状態の予測と、実施形態９において図２２を参照しながら説明した状態の予測について、より詳細に説明する。

【0213】

図３１は、従来技術に係る状態の予測について説明する図である。同図を参照しながら、制御対象装置の状態と、当該状態における未来の状態の予測について説明する。なお、同図における説明において横軸を時間ｔとして示す。従来技術においては、スレーブ装置とマスタ装置とを備えていないため、入力と出力とが同一の値となり、制御対象装置は、自装置の未来の状態を予測できた。すなわち、従来技術によれば、時刻ｔ＝ｋの状態において時刻ｔ＝ｋ＋１の状態を予測し、時刻ｔ＝ｋ＋１の状態においては、自装置の予測した結果を初期値として時刻ｔ＝ｋ＋２の状態を予測することができた。すなわち、従来技術によれば、自装置の状態に応じて未来の状態を予測するため、遠い未来を予測する場合であっても、ずれが蓄積することがなかった。

【0214】

図３２は、本発明に係るずれの蓄積の問題点について説明する図である。同図を参照しながら、スレーブ装置１０と、マスタ装置２０とを用いた場合の、制御対象装置の状態と、当該状態における未来の状態の予測について説明する。図３２（Ａ）は、学習時における一例についての図であり、図３２（Ｂ）は、実行時における一例の図である。

【0215】

まず、図３２（Ａ）を参照しながら学習時における未来の予測について説明する。学習時、学習済モデルは、スレーブ装置１０がある状態（例えば時刻ｔ＝ｋにおけるスレーブ装置１０の状態）に基づいて、未来のマスタ装置２０の状態（例えば時刻ｔ＝ｋ＋１におけるマスタ装置２０の状態）を予測する。また、学習済モデルは、時刻ｔ＝ｋ＋１におけるスレーブ装置１０の状態に基づいて、さらに未来のマスタ装置２０の状態（例えば時刻ｔ＝ｋ＋２におけるマスタ装置２０の状態）を予測する。すなわち、学習済モデルが時刻ｔ＝ｋにおいて予測した状態と、時刻ｔ＝ｋ＋１において予測した状態とは、それぞれ独立しているため、開ループを構成する。

【0216】

次に、図３２（Ｂ）を参照しながら実行時における未来の予測について説明する。実行時において、学習済モデルは、スレーブ装置１０の状態と、マスタ装置２０からの応答とに基づいて、未来のマスタ装置２０の状態を予測する。例えば、時刻ｔ＝ｋ＋１において、学習済モデルは、時刻ｔ＝ｋ＋１におけるスレーブ装置１０の状態と、マスタ装置２０からの応答に基づいて、時刻ｔ＝ｋ＋２におけるマスタ装置２０の状態を予測する。すなわち、学習済モデルが時刻ｔ＝ｋにおいて予測した状態に基づいて動作した結果に応じて、時刻ｔ＝ｋ＋１において未来の状態を予測するため、閉ループを構成する。よって、図３２に示したモデルによれば、学習時と実行時でモデルが異なっている点において問題がある。図３２に示したモデルによれば、学習時には開ループであるにもかかわらず、実行時においては閉ループが構成されるため、学習時においては考慮されていないずれが実行時には生じており、遠い未来を予測する場合には当該ずれが蓄積してしまうことによって、未来の状態の予測が正確にできないといった問題があった。なお、ずれが大きい場合には、制御が不安定になる恐れがある。

【0217】

図３３は、本発明の実施形態６に係る状態の予測について説明する図である。本発明の実施形態６に係る状態の予測は、図３２を参照しながら説明した問題点を解決しようとするものである。図３３を参照しながら、本発明の実施形態６における、制御対象装置の状態と、当該状態における未来の状態の予測について説明する。図３３（Ａ）は、学習時における一例についての図であり、図３３（Ｂ）は、実行時における一例の図である。

【0218】

まず、図３３（Ａ）を参照しながら学習時における未来の予測について説明する。学習時、学習済モデルは、時刻ｔ＝ｋにおけるスレーブ装置１０の状態に基づいて、時刻ｔ＝ｋ＋１におけるマスタ装置２０の状態を予測する（以降、スレーブ装置１０の状態に基づくマスタ装置２０の状態の予測を“人間の行動予測”と記載する。）。また、学習済モデルは、時刻ｔ＝ｋ＋１におけるマスタ装置２０の状態に基づいて、時刻ｔ＝ｋ＋２におけるスレーブ装置１０の状態を予測する（以降、マスタ装置２０の状態に基づくスレーブ装置１０の状態の予測を“環境の応答予測”と記載する。）。すなわち、本実施形態においては、学習済モデルが時刻ｔ＝ｋにおいて予測した状態と、当該予想に基づいた応答を予測する。

【0219】

次に、図３３（Ｂ）を参照しながら実行時における未来の予測について説明する。実行時において、学習済モデルは、スレーブ装置１０の状態と、マスタ装置２０からの応答とに基づいて、未来のマスタ装置２０の状態を予測する。例えば、時刻ｔ＝ｋ＋１において、学習済モデルは、時刻ｔ＝ｋ＋１におけるスレーブ装置１０の状態と、マスタ装置２０からの応答に基づいて、時刻ｔ＝ｋ＋２におけるマスタ装置２０の状態を予測する。すなわち、学習済モデルが時刻ｔ＝ｋにおいて予測した状態に基づいて動作した結果に応じて、時刻ｔ＝ｋ＋１において未来の状態を予測するため、閉ループを構成する。しかしながら本実施形態においては、時刻ｔ＝ｋ＋１におけるマスタ装置２０からの応答は、“環境の応答予測”によって、既に予測されているため、ずれが蓄積することがない。よって、図３１に示したモデルによれば、未来の状態を、より正確に予測することができる。

【0220】

ここで、図３３に示したモデルによれば、学習時に学習された“環境の応答予測”は、実行時には用いられることがない。したがって、図３３に示したモデルによれば、実行時は“環境の応答予測”を使用しないため、学習時に時間とメモリ容量を消費して収集したデータを、実行時には活用できないといった問題点があった。

【0221】

図３４は、本発明の実施形態９に係る状態の予測について説明する図である。本発明の実施形態６に係る状態の予測は、図３３を参照しながら説明した方法により新たに生じた問題点を解決しようとするものである。図３４を参照しながら、本発明の実施形態９における、制御対象装置の状態と、当該状態における未来の状態の予測について説明する。図３４（Ａ）は、学習時における一例についての図であり、図３４（Ｂ）は、実行時における一例の図である。

【0222】

まず、図３４（Ａ）を参照しながら学習時における未来の予測について説明する。学習時、学習済モデルは、時刻ｔ＝ｋにおけるスレーブ装置１０の状態に基づいて、時刻ｔ＝ｋ＋１におけるマスタ装置２０の状態と、時刻ｔ＝ｋ＋２におけるスレーブ装置１０の状態とを予測する。すなわち、本実施形態においては、学習済モデルは、スレーブ装置１０の状態に基づいて所定時間経過後のマスタ装置２０の状態と、所定時間よりさらに先の時刻におけるスレーブ装置１０の状態とを予測する。本実施形態においては、スレーブ装置１０の状態に基づいて“環境の応答予測”を行う点において、図３３における一例とは異なる。

【0223】

次に、図３４（Ｂ）を参照しながら実行時における未来の予測について説明する。実行時において、学習済モデルは、スレーブ装置１０の現在の状態と、マスタ装置２０からの応答と、スレーブ装置１０の過去の状態から予測された状態とに基づいて、未来のスレーブ装置１０の状態と、未来のマスタ装置２０の状態とを予測する。例えば、時刻ｔ＝ｋ＋１において、学習済モデルは、時刻ｔ＝ｋ＋１におけるスレーブ装置１０の状態と、マスタ装置２０からの応答と、時刻ｔ＝ｋの時点で予測されたスレーブ装置１０の状態とに基づいて、時刻ｔ＝ｋ＋２におけるマスタ装置２０の状態と、スレーブ装置１０の状態とを予測する。すなわち、本実施形態によれば、実際の応答と、過去に予測した情報に基づいて制御をすることができるため、未来の状態を、より正確に予測することができる。

【0224】

〔実施形態１２〕
図３５は、本発明の実施形態１２に係る階層化された学習済モデルをより詳細に説明するための模式図である。実施形態１２は、実施形態８の変形例である。同図を参照しながら、実施形態１２に係るシステムについて説明する。実施形態８においては、システム１Ｈが硬軟センサ５０を備えることにより、把持動作の対象となる物品の硬軟の程度に応じて単位時間τ１及び単位時間τ２の一方又は両方を変更する場合の一例について説明したが、実施形態１２においては、硬軟センサ５０を備えない点において実施形態８とは異なる。

【0225】

実施形態１２においては、情報処理装置３０Ｈは、複数の学習済みモデルを備え、把持動作の対象となる物品の硬軟に応じて、異なる学習済モデルに学習される。具体的には、情報処理装置３０Ｈは、複数の動作生成器６１１－ｎ（ｎは、１以上の整数）により構成される。図３５に示す一例においては、動作生成器６１１－１と、動作生成器６１１－２とにより構成される。動作生成器６１１－１及び動作生成器６１１－２は、いずれも把持動作を行う。動作生成器６１１－１は、動作生成器６１１－２に比べて動作周波数が低く、動作生成器６１１－２は、動作生成器６１１－１に比べて動作周波数が低い。

【0226】

ここで、物体を把持する動作においては、物体の硬軟に応じて学習に好適なサンプリングタイムは異なる。例えば、柔らかい物体を把持する場合のサンプリングタイムは、硬い物体を把持する場合のサンプリングタイムに比べて、長くてもよい。本実施形態において、スレーブ装置１０は、柔らかい物体を把持する動作は、動作周波数の低い動作生成器６１１－１に学習され、硬い物体を把持する動作は、動作周波数の高い動作生成器６１１－２に学習される。すなわち、本実施形態において、スレーブ装置１０は、物体の硬軟に応じて、学習される学習済モデルが異なる。

【0227】

なお、実施形態１２における構成は、実施形態１０で説明した階層構造と同様の構成を有するが、実施形態１２においては自装置の動きに応じて学習される学習済モデルが異なり、実施形態１２においては、把持対象となる物体に応じて学習される学習済みモデルが異なる点において、両者は異なる。実施形態１０の構成と、実施形態１２の構成とを組み合わせた構成を用いてもよい。

【0228】

実施形態１２のように構成することにより、より好適なサンプリングタイムで学習済モデルに学習させることができる。実施形態１２によれば、より好適なサンプリングタイムで学習済モデルに学習させることができるため、学習に要する時間を低減させ、学習済モデルの記憶に要するメモリ容量を低減させることができる。

【0229】

〔実施形態１３〕
図３６は、本発明の実施形態１３に係る状態の予測について説明する図である。実施形態１３は、上位層の第１推定部３３１が複数の異なる時点における指令情報を推定し、第２推定部３３２が推定された複数の時点における指令情報ごとに指令情報を推定する点において上述した実施形態とは異なる。複数の異なる時点とは、過去の時点であってもよいし、現在であってもよいし、未来の時点であってもよい。
同図において、上位層の周期が下位層の５倍である場合の一例について説明する。上位層の第１推定部３３１は、時刻ｋ＋５、時刻ｋ＋１０及び時刻ｋ＋１５の３つの時点における状態を予測する。

【0230】

図３６（Ａ）から図３６（Ｃ）は、時刻ｋから時刻ｋ＋５の間に、下位層である第２推定部３３２の推定について説明するための図である。
図３６（Ａ）において、第２推定部３３２は、時刻ｋ＋１における状態を予測する。図３６（Ｂ）において、第２推定部３３２は、時刻ｋ＋２における状態を予測する。図３６（Ｃ）において、第２推定部３３２は、時刻ｋ＋３における状態を予測する。
第２推定部３３２は、上位層である第１推定部３３１からの入力を更新しないことにより、上位層と下位層とを非干渉化させることができる。

【0231】

上位層の第１推定部３３１が複数の異なる時点における指令情報を推定し、第２推定部３３２が推定された複数の時点における指令情報ごとに指令情報を推定することにより、指令情報の時間変化に関わる情報を下位層に伝達することができる。そのため例えば、上位層の出力が位置情報のみである場合でも、等価的に速度に関わる情報を下位層が得ることができる。よって、上位層が画像情報やＧＰＳなど、速度情報を生成しづらいセンサを用いて指令情報を出力する場合でも適切な指令情報を階層へ伝達できるようになる。

【0232】

また、第１生成部３１１が第１学習済モデル３２１を生成する際に用いる入力情報と出力情報との組のうち、出力情報とは、スレーブ装置１０に供給される指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）である場合の一例に限定されず、状態情報ＳＬＡＶＥ（ｔ＋Ｔ１）等、指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）と相関の高い情報を出力するモデルとしてもよい。
特に、状態情報ＳＬＡＶＥ（ｔ＋Ｔ１）を予測することは有効である。なぜならば、指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）を予測する場合、その予測結果が正しかったかどうかを自律動作時にはスレーブしか存在せず、マスタが存在しないため確かめることができない。一方、状態情報ＳＬＡＶＥ（ｔ＋Ｔ１）を予測する場合、自律動作時でもスレーブが存在するため一ステップ後の応答値と比較することで予測誤差を評価することができる。よって、予測誤差を低減させることや、予測を安定させることが容易になる。

【0233】

また、第１学習済モデル３２１は、状態情報ＳＬＡＶＥ（ｔ）から指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）を生成可能な任意の学習モデルである場合の一例に限定されず、状態情報ＳＬＡＶＥ（ｔ＋Ｔ１）など指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）と相関の高い情報を出力するモデルとしてもよい。上述した説明における第1学習済モデル３２１の出力する指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）は、指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）と相関の高い情報に代替可能である。
特に、状態情報ＳＬＡＶＥ（ｔ＋Ｔ１）を予測することは有効である。なぜならば、指令情報ＭＡＳＴＥＲ（ｔ＋Ｔ１）を予測する場合、その予測結果が正しかったかどうかを自律動作時にはスレーブしか存在せず、マスタが存在しないため確かめることができない。一方、状態情報ＳＬＡＶＥ（ｔ＋Ｔ１）を予測する場合、自律動作時でもスレーブが存在するため一ステップ後の応答値と比較することで予測誤差を評価することができる。よって、予測誤差を低減させることや、予測を安定させることが容易になる。

【0234】

また、第２推定部３３２が推定に用いるｎ個の第２学習済モデル３２２は、ｎが２以上の自然数である場合に限定されず、１個、すなわちｎが１以上の自然数であってもよい。
本実施形態において、第１推定部３３１と、第２推定部３３２とは、それぞれ異なる学習済モデルを用いる。したがって、学習段階において、第１推定部３３１が用いる第１学習済モデル３２１と、第２推定部３３２が用いる第２学習済モデル３２２とを、それぞれ別個独立に学習させることができるため設計コストを大幅に低減できる。また、新たな動作を学習させる必要が生じた場合にも、第２学習済モデル３２２を新たに学習させ、第１学習済モデル３２１を流用することにより、学習する量を少なくすることができる。同様に、第1学習済モデル３２１を新たに学習させ、第２学習済モデル３２２を流用することにより、学習する量を少なくすることもできる。

【0235】

また、情報処理装置３０Ｈの推定フェーズ実行部３３Ｈにおいて、変更制御部３３４は、把持動作の対象となる物品、調理動作の対象となる食材、描画動作の対象となる筆記具及び筆記用紙、研磨動作の対象となる物品に加え、単に接触する接触対象物の硬軟の程度に応じて、単位時間τ１及び単位時間τ２の一方又は両方を変更してもよい。すなわち、制御対象装置（マスタ装置及びスレーブ装置）の動作は把持動作に限定されず、単に接触する動作も含まれる。

【0236】

〔ソフトウェアによる実現例〕
情報処理装置３０、３０Ｂ～３０Ｌの制御ブロック（特に学習フェーズ実行部３１、推定フェーズ実行部３３）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

【0237】

後者の場合、情報処理装置３０、３０Ｂ～３０Ｌは、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

【0238】

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【符号の説明】

【0239】

１、１Ｂ、１Ｃ、１Ｄ、１Ｅ、１Ｆ、１Ｇ、１Ｈ、１Ｉ、１Ｊ、１Ｋ、１Ｌ、２ システム
１０ スレーブ装置
１０Ｂ 制御対象装置
２０ マスタ装置
３０、３０Ｂ、３０Ｃ、３０Ｄ、３０Ｅ、３０Ｆ、３０Ｇ、３０Ｈ、３０Ｉ、３０Ｋ、３０Ｋ、３０Ｌ 情報処理装置
３１ 学習フェーズ実行部
３２ 記憶部
３３ 推定フェーズ実行部
４０ 入力装置
１１１、２１１ ベース部
１１２、２１２ 回転部
１１３、２１３ 第１のアーム部
１１４、２１４ 第２のアーム部
３１１、３１１Ｄ、３１１Ｆ 第１生成部
３１２ 第２生成部
３２１、３２１Ｄ、３２１Ｆ 第１学習済モデル
３２２ 第２学習済モデル
３２３ 教師データセット
３２４ 第３学習済モデル
３３１ 第１推定部
３３２ 第２推定部
３３３ 動作制御部
６１０、６１０－１、６１０－２、６１０－３ 動作生成器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】