ホーム > 特許ランキング > 本田技研工業株式会社
▶ 本田技研工業株式会社の特許一覧 ▶ 国立大学法人 奈良先端科学技術大学院大学の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024076330
(43)【公開日】2024-06-05
(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム
(51)【国際特許分類】
B25J 5/00 20060101AFI20240529BHJP
G06N 20/00 20190101ALN20240529BHJP
【ＦＩ】
B25J5/00 F
G06N20/00
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2023125874
(22)【出願日】2023-08-01
(31)【優先権主張番号】P 2022187489
(32)【優先日】2022-11-24
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(71)【出願人】
【識別番号】504143441
【氏名又は名称】国立大学法人 奈良先端科学技術大学院大学
(74)【代理人】
【識別番号】100165179
【弁理士】
【氏名又は名称】田▲崎▼ 聡
(74)【代理人】
【識別番号】100126664
【弁理士】
【氏名又は名称】鈴木 慎吾
(74)【代理人】
【識別番号】100154852
【弁理士】
【氏名又は名称】酒井 太一
(74)【代理人】
【識別番号】100194087
【弁理士】
【氏名又は名称】渡辺 伸一
(72)【発明者】
【氏名】郭 政佑
(72)【発明者】
【氏名】松原 崇充
(72)【発明者】
【氏名】進 寛史
(72)【発明者】
【氏名】上岡 拓未
【テーマコード（参考）】
3C707
【Ｆターム（参考）】
3C707BS24
3C707CS08
3C707JS03
3C707LS20
3C707LW07
3C707LW08
3C707LW12
3C707WA13
3C707WK03
(57)【要約】
【課題】より簡素でコンパクトなダイナミクスモデルを用いてロボットの最適な行動を決定することができる情報処理装置、情報処理方法、及びプログラムを提供する。
【解決手段】実施形態に係る情報処理装置は、対象物のダイナミクスに関する複数のエネルギーを含む前記対象物の状態を取得する取得部と、モデル予測制御計画を用いて、前記ダイナミクスがモデル化されたダイナミクスモデルと前記取得された状態とに基づいて、前記対象物が目標の状態となるために前記対象物にとらせるべき行動を決定する演算部と、を備える。
【選択図】図２
【解決手段】実施形態に係る情報処理装置は、対象物のダイナミクスに関する複数のエネルギーを含む前記対象物の状態を取得する取得部と、モデル予測制御計画を用いて、前記ダイナミクスがモデル化されたダイナミクスモデルと前記取得された状態とに基づいて、前記対象物が目標の状態となるために前記対象物にとらせるべき行動を決定する演算部と、を備える。
【選択図】図２
【特許請求の範囲】
【請求項1】
対象物のダイナミクスに関する複数のエネルギーを含む前記対象物の状態を取得する取得部と、
モデル予測制御計画を用いて、前記ダイナミクスがモデル化されたダイナミクスモデルと前記取得された状態とに基づいて、前記対象物が目標の状態となるために前記対象物にとらせるべき行動を決定する演算部と、
を備える情報処理装置。
モデル予測制御計画を用いて、前記ダイナミクスがモデル化されたダイナミクスモデルと前記取得された状態とに基づいて、前記対象物が目標の状態となるために前記対象物にとらせるべき行動を決定する演算部と、
を備える情報処理装置。
【請求項2】
前記ダイナミクスモデルは、予め想定される前記対象物の状態が互いに異なる複数のフェーズの其々に対応して存在し、かつ前記複数のフェーズ間でエネルギー保存則が成立するモデルであり、
前記演算部は、
前記複数のフェーズの中から、前記取得された状態に対応した特定フェーズを選択し、
前記特定フェーズに対応する前記ダイナミクスモデルと前記取得された状態とに基づいて、前記行動を決定する、
請求項１に記載の情報処理装置。
前記演算部は、
前記複数のフェーズの中から、前記取得された状態に対応した特定フェーズを選択し、
前記特定フェーズに対応する前記ダイナミクスモデルと前記取得された状態とに基づいて、前記行動を決定する、
請求項１に記載の情報処理装置。
【請求項3】
前記ダイナミクスモデルは、エネルギー発生源の一部のエネルギーを含む、
請求項１又は２に記載の情報処理装置。
請求項１又は２に記載の情報処理装置。
【請求項4】
前記モデル予測制御計画の目的関数は、前記ダイナミクスモデルの状態に依存する軌道である、
請求項１又は２に記載の情報処理装置。
請求項１又は２に記載の情報処理装置。
【請求項5】
前記対象物は、２つの脚を用いてホッピングするロボットであり、
前記複数のフェーズには、前記２つの脚のいずれもが接地しておらず前記ロボットが自由落下する第１フェーズと、前記２つの脚の片方で着地する第２フェーズと、前記２つの脚の両方で着地する第３フェーズと、前記２つの脚の片方で地面を蹴りだす第４フェーズと、前記２つの脚の両方で飛び跳ねる第５フェーズと、が含まれる、
請求項１又は２に記載の情報処理装置。
前記複数のフェーズには、前記２つの脚のいずれもが接地しておらず前記ロボットが自由落下する第１フェーズと、前記２つの脚の片方で着地する第２フェーズと、前記２つの脚の両方で着地する第３フェーズと、前記２つの脚の片方で地面を蹴りだす第４フェーズと、前記２つの脚の両方で飛び跳ねる第５フェーズと、が含まれる、
請求項１又は２に記載の情報処理装置。
【請求項6】
前記対象物には、ばねが設けられており、
前記複数のエネルギーには、少なくとも前記ばねの弾性エネルギーが含まれる、
請求項１又は２に記載の情報処理装置。
前記複数のエネルギーには、少なくとも前記ばねの弾性エネルギーが含まれる、
請求項１又は２に記載の情報処理装置。
【請求項7】
コンピュータを用いた情報処理方法であって、
対象物のダイナミクスに関する複数のエネルギーを含む前記対象物の状態を取得すること、
モデル予測制御計画を用いて、前記ダイナミクスがモデル化されたダイナミクスモデルと前記取得された状態とに基づいて、前記対象物が目標の状態となるために前記対象物にとらせるべき行動を決定すること、
を含む情報処理方法。
対象物のダイナミクスに関する複数のエネルギーを含む前記対象物の状態を取得すること、
モデル予測制御計画を用いて、前記ダイナミクスがモデル化されたダイナミクスモデルと前記取得された状態とに基づいて、前記対象物が目標の状態となるために前記対象物にとらせるべき行動を決定すること、
を含む情報処理方法。
【請求項8】
コンピュータに実行させるためのプログラムであって、
対象物のダイナミクスに関する複数のエネルギーを含む前記対象物の状態を取得すること、
モデル予測制御計画を用いて、前記ダイナミクスがモデル化されたダイナミクスモデルと前記取得された状態とに基づいて、前記対象物が目標の状態となるために前記対象物にとらせるべき行動を決定すること、
を含むプログラム。
対象物のダイナミクスに関する複数のエネルギーを含む前記対象物の状態を取得すること、
モデル予測制御計画を用いて、前記ダイナミクスがモデル化されたダイナミクスモデルと前記取得された状態とに基づいて、前記対象物が目標の状態となるために前記対象物にとらせるべき行動を決定すること、
を含むプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、及びプログラムに関する。本願は、２０２２年１１月２４日に日本に出願された特願２０２２－１８７４８９号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【0002】
二足歩行ロボットは、人間環境での展開の可能性が高いため、研究者の注目を集めており、高剛性二足歩行ロボットを用いた二足歩行運動の結果がいくつか得られている。しかしながら、高剛性二足歩行ロボットが人間のように振る舞うことは難しく、特に人間の組織や筋肉が弾性的に作用する走行時やホッピング時の衝撃を処理することには適していない。そこで、ＳＬＩＰ（Spring Loaded Inverted Pendulum）を応用した二足歩行ロボット（ＳＬＩＰ－ｂｉｐｅｄ）が広く用いられており，その弾力性は衝撃に対する耐障害性を効果的に向上させる。ＳＬＩＰ－ｂｉｐｅｄの多くは、脚部に複雑なリンク機構とばねを採用し、ロボットの俊敏性と動力効率を向上させることができる。
【0003】
ＳＬＩＰ－ｂｉｐｅｄの運動を解析することにはいくつかの理由から困難である。
１）ＳＬＩＰ－ｂｉｐｅｄのばね付きリンク機構は、ＳＬＩＰとは質量分布が異なり、ばねは衝撃に対して非線形かつ非吸収性の挙動を示す。
２）浮遊型二足歩行ロボットのダイナミクスは、運動中の接触状態に大きく依存する。
３）ＳＬＩＰの制御のための解析的な動力学モデルの構築は困難である。
１）ＳＬＩＰ－ｂｉｐｅｄのばね付きリンク機構は、ＳＬＩＰとは質量分布が異なり、ばねは衝撃に対して非線形かつ非吸収性の挙動を示す。
２）浮遊型二足歩行ロボットのダイナミクスは、運動中の接触状態に大きく依存する。
３）ＳＬＩＰの制御のための解析的な動力学モデルの構築は困難である。
【0004】
強化学習（Reinforcement Learning：ＲＬ）は、ロボットのダイナミクスをモデル化しないモデルフリーＲＬとして、シミュレーションや実機でＳＬＩＰ－Ｂｉｐｅｄの運動を実現することができる。しかしながら、強化学習のようにダイナミクスモデルを用いないモデルフリーなアプローチは、タスクに特化し、膨大な学習サイクルを必要とする傾向がある。
【0005】
これに対して、ロボットのダイナミクスをモデル化するモデルベースＲＬ（ＭＢＲＬ）は、複数の制御目的に活用できるデータ駆動型のダイナミクスを捉え、より汎用的な手法である。モデル予測制御（ＭＰＣ）を用いたＭＢＲＬは、ロボットのダイナミクスを把握し、オンライン／オフラインの制御計画を行うロボットアプリケーションに広く実装することができる。一般的なダイナミクスモデリング手法として、ガウス過程（ＧＰ）ベースのダイナミクスモデルは、高いサンプル効率を実証している（例えば特許文献１参照）。
【0006】
一方、ニューラルネットワークベースのダイナミクスモデルは、複雑なダイナミクスをモデル化するのに優れている。両手法とも複雑なロボットのダイナミクスをモデル化することができるが，ニューラルネットワークベースモデルは膨大なサンプルを必要とし、ガウス過程ベースモデルは高い計算負荷により実時間計画能力に限界がある。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開２０２１－９８３９１号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
従来の手法では、複雑で大規模なダイナミクスモデルであったため、ＳＬＩＰ－ｂｉｐｅｄのようなロボットの実装の実現性が低かった。この結果、ロボットに最適な行動をとらせることができない場合があった。
【0009】
本発明は、このような事情を考慮してなされたものであり、より簡素でコンパクトなダイナミクスモデルを用いてロボットの最適な行動を決定することができる情報処理装置、情報処理方法、及びプログラムを提供することを目的の一つとする。
【課題を解決するための手段】
【0010】
本発明に係る情報処理装置、情報処理方法、及びプログラムは以下の構成を採用した。
（１）本発明の第１の態様は、対象物のダイナミクスに関する複数のエネルギーを含む前記対象物の状態を取得する取得部と、モデル予測制御計画を用いて、前記ダイナミクスがモデル化されたダイナミクスモデルと前記取得された状態とに基づいて、前記対象物が目標の状態となるために前記対象物にとらせるべき行動を決定する演算部と、を備える情報処理装置である。
（１）本発明の第１の態様は、対象物のダイナミクスに関する複数のエネルギーを含む前記対象物の状態を取得する取得部と、モデル予測制御計画を用いて、前記ダイナミクスがモデル化されたダイナミクスモデルと前記取得された状態とに基づいて、前記対象物が目標の状態となるために前記対象物にとらせるべき行動を決定する演算部と、を備える情報処理装置である。
【0011】
（２）本発明の第２の態様は、第１の態様において、前記ダイナミクスモデルは、予め想定される前記対象物の状態が互いに異なる複数のフェーズの其々に対応して存在し、かつ前記複数のフェーズ間でエネルギー保存則が成立するモデルであり、前記演算部は、前記複数のフェーズの中から、前記取得された状態に対応した特定フェーズを選択し、前記特定フェーズに対応する前記ダイナミクスモデルと前記取得された状態とに基づいて、前記行動を決定するものである。
【0012】
（３）本発明の第３の態様は、第１又は第２の態様において、前記ダイナミクスモデルが、エネルギー発生源の一部のエネルギーを含むものである。
【0013】
（４）本発明の第４の態様は、第１又は第２において、前記モデル予測制御計画の目的関数が、前記ダイナミクスモデルの状態に依存する軌道であるものである。
【0014】
（５）本発明の第５の態様は、第１又は第２の態様において、前記対象物は、２つの脚を用いてホッピングするロボットであり、前記複数のフェーズには、前記２つの脚のいずれもが接地しておらず前記ロボットが自由落下する第１フェーズと、前記２つの脚の片方で着地する第２フェーズと、前記２つの脚の両方で着地する第３フェーズと、前記２つの脚の片方で飛び跳ねる第４フェーズと、前記２つの脚の両方で飛び跳ねる第５フェーズと、が含まれるものである。
【0015】
（６）本発明の第６の態様は、第１又は第２において、前記対象物には、ばねが設けられており、前記複数のエネルギーには、少なくとも前記ばねの弾性エネルギーが含まれるものである。
【0016】
（７）本発明の第７の態様は、コンピュータを用いた情報処理方法であって、対象物のダイナミクスに関する複数のエネルギーを含む前記対象物の状態を取得すること、モデル予測制御計画を用いて、前記ダイナミクスがモデル化されたダイナミクスモデルと前記取得された状態とに基づいて、前記対象物が目標の状態となるために前記対象物にとらせるべき行動を決定すること、を含む情報処理方法である。
【0017】
（８）本発明の第８の態様は、コンピュータに実行させるためのプログラムであって、対象物のダイナミクスに関する複数のエネルギーを含む前記対象物の状態を取得すること、モデル予測制御計画を用いて、前記ダイナミクスがモデル化されたダイナミクスモデルと前記取得された状態とに基づいて、前記対象物が目標の状態となるために前記対象物にとらせるべき行動を決定すること、を含むプログラムである。
【発明の効果】
【0018】
上記の態様によれば、より簡素でコンパクトなダイナミクスモデルを用いてロボットの最適な行動を決定することができる。
【図面の簡単な説明】
【0019】
【図1】ＴＤＥ２－ＭＢＲＬの概念図である。
【図2】第１実施形態に係る情報処理装置１００の構成の一例を表す図である。
【図3】第１実施形態に係る二足歩行ロボット１０の実機の外観図である。
【図4】第１実施形態に係る二足歩行ロボット１０のメカニズムを表す図である。
【図5】第１実施形態に係る二足歩行ロボット１０のシミュレーション結果を表す図である。
【図6】第１実施形態に係る二足歩行ロボット１０のロボット座標系を表す図である。
【図7】第１実施形態に係る二足歩行ロボット１０のパラメータを纏めたテーブルである。
【図8】シミュレーションロボットに搭載されているセンサの一覧を示すテーブルである。
【図9】ホッピングタスクを分解した各フェーズを模式的に表すである。
【図10】ホッピングタスクを分解した各フェーズの説明と条件を表すテーブルである。
【図11】第１実施形態の処理部１５０によって実行されるＴＤＥ２－ＭＢＲＬの一連の処理の流れを表すフローチャートである。
【図12】第１実施形態の処理部１５０によって実行されるＴＤＥ２－ＭＢＲＬのアルゴリズムを表す図である。
【図13】第２実施形態の歩行パラメータを説明するための図である。
【図14】第２実施形態に係る二足歩行ロボット１０の構成の一例を表す図である。
【図15】第２実施形態に係る二足歩行ロボット１０に用いられる変数（システム変数）の対応関係を表すテーブルである。
【発明を実施するための形態】
【0020】
以下、図面を参照し、本発明の情報処理装置、情報処理方法、及びプログラムの実施形態について説明する。
【0021】
（第１実施形態）
［概要］
第１実施形態では、二足歩行ロボット（「対象物」の一例）のダイナミクスモデルを、より簡素かつコンパクトにするため、２つのコンセプトが採用される。１つ目のコンセプトは、二足歩行ロボットに設けられた各ばねのダイナミクスを明示的にモデル化する代わりに、エネルギー交換のダイナミクスをモデル化することにより、ダイナミクスの次元を削減することである。エネルギー交換のダイナミクスとは、ロボットの運動エネルギー、重力エネルギー、及びばねの弾性エネルギーの間でエネルギーが流動しかつ保存されることを考慮してモデル化されたロボットのダイナミクスである。２つ目のコンセプトは、ロボットによって実行される一連のタスクをいくつかのグループに分解するタスク分解技術により、各運動フェーズにおいて、より複雑度の低いダイナミクスを個別に捕捉することである。モデル予測制御（ＭＰＣ）は、各フェーズにおいて、当該フェーズに対応するダイナミクスモデルと目的関数を利用する。ダイナミクスのモデル化には、フーリエ特徴と線形ガウスモデル（ＬＧＭ）で近似したＧＰダイナミクス（ＬＧＭ－ＦＦ）を利用し、高いサンプル効率を持ちながら計算負荷を軽減することが可能である。
［概要］
第１実施形態では、二足歩行ロボット（「対象物」の一例）のダイナミクスモデルを、より簡素かつコンパクトにするため、２つのコンセプトが採用される。１つ目のコンセプトは、二足歩行ロボットに設けられた各ばねのダイナミクスを明示的にモデル化する代わりに、エネルギー交換のダイナミクスをモデル化することにより、ダイナミクスの次元を削減することである。エネルギー交換のダイナミクスとは、ロボットの運動エネルギー、重力エネルギー、及びばねの弾性エネルギーの間でエネルギーが流動しかつ保存されることを考慮してモデル化されたロボットのダイナミクスである。２つ目のコンセプトは、ロボットによって実行される一連のタスクをいくつかのグループに分解するタスク分解技術により、各運動フェーズにおいて、より複雑度の低いダイナミクスを個別に捕捉することである。モデル予測制御（ＭＰＣ）は、各フェーズにおいて、当該フェーズに対応するダイナミクスモデルと目的関数を利用する。ダイナミクスのモデル化には、フーリエ特徴と線形ガウスモデル（ＬＧＭ）で近似したＧＰダイナミクス（ＬＧＭ－ＦＦ）を利用し、高いサンプル効率を持ちながら計算負荷を軽減することが可能である。
【0022】
［準備（Preliminaries）］
第１実施形態で提案する手法（２種類のコンセプトを採用した手法）を説明するのに先立って、まずは、その提案手法に採用されるＬＧＭ－ＦＦと、ＭＰＣ、モデルベース強化学習（ＭＢＲＬ）について説明する。
第１実施形態で提案する手法（２種類のコンセプトを採用した手法）を説明するのに先立って、まずは、その提案手法に採用されるＬＧＭ－ＦＦと、ＭＰＣ、モデルベース強化学習（ＭＢＲＬ）について説明する。
【0023】
［ＬＧＭ－ＦＦ］
ＬＧＭ－ＦＦとは、上述したように、フーリエ特徴と線形ガウスモデル（ＬＧＭ）で近似したガウス過程（ＧＰｓ）ダイナミクスである。確率的ＧＰｓモデルを用いたＭＢＲＬは高いサンプル効率を示すものの、ＭＰＣの制御頻度は学習サンプルサイズに反比例することが知られている。従って、第１実施形態では、ＬＧＭ－ＦＦを用いて、学習サンプルサイズと制御頻度のトレードオフを緩和する。
ＬＧＭ－ＦＦとは、上述したように、フーリエ特徴と線形ガウスモデル（ＬＧＭ）で近似したガウス過程（ＧＰｓ）ダイナミクスである。確率的ＧＰｓモデルを用いたＭＢＲＬは高いサンプル効率を示すものの、ＭＰＣの制御頻度は学習サンプルサイズに反比例することが知られている。従って、第１実施形態では、ＬＧＭ－ＦＦを用いて、学習サンプルサイズと制御頻度のトレードオフを緩和する。
【0024】
ＧＰｓダイナミカルシステムは、ｘｔ＋１＝ｆ（ｘｔ，ｕｔ）＋εのようにシステムの真の状態遷移を表すことができる。ここで、ｘｔ∈Ｘ⊂ＲＤは、ロボットの状態を表し、ｕｔ∈Ｕ⊂ＲＵは、ロボットに与える制御コマンドを表し、ε～Ｎ（０，Σｎ）は、システムノイズを表している。システムノイズεには、共分散行列Σｎ＝ｄｉａｇ［σ２
ｎ，１，…，σ２
ｎ，Ｄ］が含まれる。各ターゲット次元ｉ（ｉ＝１，…，Ｄ）に対して、潜在的なＧＰｓダイナミクスｆｉ（・）をＬＧＭ－ＦＦで近似し、Ｎ個のサンプルで学習する。入力Ｘ～＝［ｘ～
１，…，ｘ～
Ｎ］およびターゲットｙｉ＝［ｘｉ，２，…，ｘｉ，Ｎ＋１］Ｔとしたとき、ｘｉ，ｔは、ｘｔとｘ～
ｔ：＝［ｘＴ
ｔ，ｕＴ
ｔ］Ｔ∈ＲＤ＋Ｕのｉ番目のサンプルである。Ｘ～の記号「～」はチルダを表している。
【0025】
学習済みの潜在的なＧＰｓダイナミクスｆｉ（・）を用いると、入力ｘ～＊が与えられたときのロボットの状態分布を予測することができる。数式（１）は、予測される状態分布を表す。
【0026】
【数1】
【0027】
ｗｉ∈ＲＭ×１は、対応する重みを表し、Φ＊
ｉ：＝Φｉ（ｘ＊）であり、フーリエ特徴量マップΦｉ（・）：Ｘ×Ｕ→ＲＭを用いている。
【0028】
［ＬＧＭ－ＦＦを用いた確率的ＭＰＣ］
確率的ＭＰＣ（ｐＭＰＣ）は、確率的なダイナミクスモデルによる予測を利用して制御計画を行うＭＰＣである。確率的ＭＰＣを用いて再帰的に状態を予測することは、将来の状態をガウス分布として近似する解析的モーメントマッチング技術によって導かれる。各潜在的状態予測に対して、ＬＧＭ－ＦＦダイナミクスｆｉ（・）を状態分布ｐ（ｘｔ）に積分して、ガウス分布の未来状態ｐ（ｘｔ＋１）≒Ｎ（μｔ＋１，Σｔ＋１）を求める。μｔ＋１∈ＲＤとΣｔ＋１∈ＲＤ×Ｄのｉ番目（対角）の要素は、数式（２）及び（３）に示す通りである。
確率的ＭＰＣ（ｐＭＰＣ）は、確率的なダイナミクスモデルによる予測を利用して制御計画を行うＭＰＣである。確率的ＭＰＣを用いて再帰的に状態を予測することは、将来の状態をガウス分布として近似する解析的モーメントマッチング技術によって導かれる。各潜在的状態予測に対して、ＬＧＭ－ＦＦダイナミクスｆｉ（・）を状態分布ｐ（ｘｔ）に積分して、ガウス分布の未来状態ｐ（ｘｔ＋１）≒Ｎ（μｔ＋１，Σｔ＋１）を求める。μｔ＋１∈ＲＤとΣｔ＋１∈ＲＤ×Ｄのｉ番目（対角）の要素は、数式（２）及び（３）に示す通りである。
【0029】
【数2】
【0030】
【数3】
【0031】
ｑｉ＝Ｅｘｔ，［Φｉ｜μｔ，Σｔ］及びＱｉ＝Ｅｘｔ，［ΦｉΦＴ
ｉ｜μｔ，Σｔ］は、公知の研究によって解析的な解が提供されている。
【0032】
ｐＭＰＣは、再帰的状態予測に基づき、Ｈステップの長期損失Ｌを最小化することにより、最適制御シーケンスｕ＊＝ｕ＾１，…，ｕ＾Ｈを求めることができる。最適制御シーケンスｕ＊とは、ロボットが最適な行動をとるように、そのロボットにシーケンシャルに与える制御コマンドの集合である。数式（４）は、Ｈステップにおける長期損失Ｌの最小化問題を表す。ｕ＾の「＾」はハットを表している。
【0033】
【数4】
【0034】
ここでｘ＾１＝ｘｔであり、ｌ：Ｘ→Ｒは即時損失である。
【0035】
Ｍ個の特徴とＮ個のサンプルを仮定すると、ＬＧＭ－ＦＦと標準的ＧＰｓダイナミクスによるモーメントマッチングの計算コストは、Ｏ（Ｍ２）とＯ（Ｎ２）であり、ＬＧＭ－ＦＦの計算コストは、サンプルサイズＮに依存しない。また、フーリエ特徴の効率性は既に証明されており、ロボットタスクにおいてＭ≪Ｎが実証された。
【0036】
［モデルベース強化学習（ＭＢＲＬ）を用いたＭＰＣ計画］
ＭＢＲＬの学習過程はＮ回の試行を含み、１回の試行につきＬｓｔｅｐ個のステップがある。各ステップにおいて、ＭＰＣは状態予測を再帰的に利用して長期損失Ｌを最小化することにより、Ｈステップの最適制御シーケンスｕ＊＝ｕ＾１，…，ｕ＾Ｈを計画し、制御ｕ＾１を環境へ適用する。つまり、ｕ＾１という制御コマンドに基づいてロボットを制御する。各試行が終了する前に、ＭＢＲＬは以前の全ての試行から収集したサンプルでダイナミクスモデルを再トレーニングする。
ＭＢＲＬの学習過程はＮ回の試行を含み、１回の試行につきＬｓｔｅｐ個のステップがある。各ステップにおいて、ＭＰＣは状態予測を再帰的に利用して長期損失Ｌを最小化することにより、Ｈステップの最適制御シーケンスｕ＊＝ｕ＾１，…，ｕ＾Ｈを計画し、制御ｕ＾１を環境へ適用する。つまり、ｕ＾１という制御コマンドに基づいてロボットを制御する。各試行が終了する前に、ＭＢＲＬは以前の全ての試行から収集したサンプルでダイナミクスモデルを再トレーニングする。
【0037】
制御遅れを補償し、ＭＰＣの制御頻度を上げるために、時間ステップｔにおいて、ＭＰＣは予測された状態ｘ＾ｔ＋１に基づいて最適制御ｕｔ＋１を計画する。このように、各ステップにおいて、次のステップの制御計画の前に、現在のステップの最適制御が実行される。
【0038】
［提案手法］
以下、第１実施形態の提案手法について説明する。二足歩行ロボット（ＳＬＩＰ－ｂｉｐｅｄ）の運動は、以下の理由で非常に複雑である。
１）多くの二足歩行ロボットは、先端から質量中心（ＣｏＭ）までの中心線が揃っていない複数のバネを有している。これらのバネはエネルギーを蓄積し、衝撃に対して非線形な挙動を示す。
２）浮遊型二足歩行ロボットのダイナミクスは、運動中に変化する接触条件に大きく依存する。
以下、第１実施形態の提案手法について説明する。二足歩行ロボット（ＳＬＩＰ－ｂｉｐｅｄ）の運動は、以下の理由で非常に複雑である。
１）多くの二足歩行ロボットは、先端から質量中心（ＣｏＭ）までの中心線が揃っていない複数のバネを有している。これらのバネはエネルギーを蓄積し、衝撃に対して非線形な挙動を示す。
２）浮遊型二足歩行ロボットのダイナミクスは、運動中に変化する接触条件に大きく依存する。
【0039】
そのため、ＭＢＲＬを用いて二足歩行ロボットのダイナミクスをモデル化するには、ばねを含むすべての状態遷移を表現する高次元のモデルと、運動フェーズ間のダイナミクスの非類似性を捉えるための高い複雑性が必要となる。高次元かつ高複雑なダイナミクスモデルの学習は、大規模なサンプルセットとより多くの特徴量を用いることで実現できる可能性があるが、その計算負荷によりＭＰＣ計画は、実時間制御において非現実的である。
【0040】
二足歩行ロボットのダイナミクスの高次元性と複雑性を緩和するために、ＭＢＲＬを用いたタスク分解型エネルギー交換ダイナミクス学習（以下、ＴＤＥ２－ＭＢＲＬという）を提案する。
【0041】
エネルギー保存の法則に基づき、閉じたシステム内のエネルギーは増幅も減衰もできない。そこで、二足歩行ロボットとそのバネの間の相互作用を表現するために、ＭＢＲＬを用いてエネルギー交換のダイナミクスをモデル化する。エネルギー交換をモデル化することで、二足歩行ロボットのモデリング次元は小さくなるが、接触状態の変化によるダイナミクスの違いを扱うには、複雑なモデルが必要となる。有限状態マシン（ＦＳＭ）は、運動タスクをフェーズに分解し、フェーズ間で制御目標を切り替えるものである。本手法では、ＦＳＭにヒントを得て、図１に示すように、独立した制御目標に加えて、より複雑度の低いダイナミクスモデルを運動タスクのフェーズごとに独立にモデル化する。また、各フェーズにおけるＭＰＣ計画では、タスク分解されたダイナミクスモデルを利用して予測値を利用する。
【0042】
図１は、ＴＤＥ２－ＭＢＲＬの概念図である。二足歩行ロボットのダイナミクスモデルは、タスクに応じて分解された二足歩行ロボットの一連の運動フェーズの其々に対応して存在している（フェーズＰ１には、モデルｆ１（・）があり、フェーズＰ２には、モデルｆ２（・）がある）。またタスク分解された各運動フェーズにおいて、ダイナミクスモデルを学習するためのサンプルが収集される。ＭＰＣ計画における目標は、運動フェーズ毎に設定される。図中のフェーズＰ３のように、一連の運動フェーズのなかには、非ＭＢＲＬアプローチが適用されたフェーズが含まれていてもよい。
【0043】
［ＭＢＲＬのエネルギー交換ダイナミクス］
ＭＢＲＬでエネルギー交換のダイナミクスをモデル化するために、ＬＧＭ－ＦＦモデルの状態にエネルギー関連の項を追加する。ここで、Θｔ∈ＲＥは、ロボットの局所空間におけるバネと無関係な状態の集合（例えば関節位置）を表す。ＰＣｏＭ＝［Ｐｘ，Ｐｙ，Ｐｚ］∈Ｒ３は、ワールド座標空間におけるロボットの質量中心（ＣｏＭ）位置を示し、その基準原点は地表に位置している。
ＭＢＲＬでエネルギー交換のダイナミクスをモデル化するために、ＬＧＭ－ＦＦモデルの状態にエネルギー関連の項を追加する。ここで、Θｔ∈ＲＥは、ロボットの局所空間におけるバネと無関係な状態の集合（例えば関節位置）を表す。ＰＣｏＭ＝［Ｐｘ，Ｐｙ，Ｐｚ］∈Ｒ３は、ワールド座標空間におけるロボットの質量中心（ＣｏＭ）位置を示し、その基準原点は地表に位置している。
【0044】
Ｎｓ個のバネを持つ二足歩行ロボットを想定した場合、エネルギー交換モデルの状態は数式（５）のように定義される。
【0045】
【数5】
【0046】
ここで、重力エネルギーＥＧ∈Ｒ、ユークリッド空間での運動エネルギーＥＫ∈Ｒ３、バネの複合弾性エネルギーＥＳ∈Ｒは、数式（６）～（８）で求められる。
【0047】
【数6】
【0048】
【数7】
【0049】
【数8】
【0050】
ここで，ｍ∈Ｒはロボットの質量であり、ｋｍ∈Ｒはｍ番目のバネのバネ定数であり、Δｌｍは、ｍ番目のバネの変形量である。“ｏ”は要素ごとの演算を表す。
【0051】
これに対して、等価な非エネルギーモデルの状態は数式（９）で求められる。
【0052】
【数9】
【0053】
ばねｌ＝［Δｌｍ］Ｔ
ｍ＝１，…，Ｎとすると、エネルギー内包型状態は状態の次元が（Ｎｓ－１）減少していることがわかる。
【0054】
［タスク分解型ダイナミクス］
Ｎｐ個のあらかじめ定義されたフェーズＰ：＝｛Ｐｎ｝ｎ＝１，…，Ｎｐに対して、タスク分解ダイナミクスモデルｆｎ（・）に対応する状態ｘｎを定義した。具体的には、タスク分解された状態ｘｎのエントリ（ｆｎ（・）の説明変数）、つまり入力は、上述した数式（５）の状態ｘから選択される。
Ｎｐ個のあらかじめ定義されたフェーズＰ：＝｛Ｐｎ｝ｎ＝１，…，Ｎｐに対して、タスク分解ダイナミクスモデルｆｎ（・）に対応する状態ｘｎを定義した。具体的には、タスク分解された状態ｘｎのエントリ（ｆｎ（・）の説明変数）、つまり入力は、上述した数式（５）の状態ｘから選択される。
【0055】
【数10】
【0056】
選択行列Ｈｎのｉｊ番目のエントリは数式（１１）のように定義される。
【0057】
【数11】
【0058】
ここで、ｘｊはｘのｊ番目のエントリ、ｘｎ
ｉはｘｎのｉ番目のエントリである。各Ｈｎの行の和は、選択の重複を避けるために１とする。
【0059】
［ＴＤＥ２－ＭＢＲＬ］
ＴＤＥ２－ＭＢＲＬは、タスク分解されたエネルギー交換のダイナミクスをモデル化し、二足歩行ロボットのダイナミクスモデルの次元と複雑さを軽減する。ＴＤＥ２－ＭＢＲＬの詳細な処理の流れやアルゴリズムは、後述の図１１及び図１２において説明する。
ＴＤＥ２－ＭＢＲＬは、タスク分解されたエネルギー交換のダイナミクスをモデル化し、二足歩行ロボットのダイナミクスモデルの次元と複雑さを軽減する。ＴＤＥ２－ＭＢＲＬの詳細な処理の流れやアルゴリズムは、後述の図１１及び図１２において説明する。
【0060】
［装置構成］
図２は、第１実施形態に係る情報処理装置１００の構成の一例を表す図である。情報処理装置１００は、単一の装置であってもよいし、ネットワークＮＷを介して接続された複数の装置が互いに協働して動作する一つのシステムであってもよい。ネットワークＮＷは、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）などを含む。すなわち、情報処理装置１００は、分散コンピューティングシステムやクラウドコンピューティングシステムに含まれる複数のコンピュータ（プロセッサ）によって実現されてもよい。
図２は、第１実施形態に係る情報処理装置１００の構成の一例を表す図である。情報処理装置１００は、単一の装置であってもよいし、ネットワークＮＷを介して接続された複数の装置が互いに協働して動作する一つのシステムであってもよい。ネットワークＮＷは、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）などを含む。すなわち、情報処理装置１００は、分散コンピューティングシステムやクラウドコンピューティングシステムに含まれる複数のコンピュータ（プロセッサ）によって実現されてもよい。
【0061】
第１実施形態に係る情報処理装置１００は、例えば、通信インターフェース１１０と、入力インターフェース１２０と、出力インターフェース１３０と、記憶部１４０と、処理部１５０とを備える。
【0062】
通信インターフェース１１０は、ネットワークＮＷを介して他の装置と通信したり、バスのような通信線を介してロボット１０と通信したりする。通信インターフェース１１０には、例えば、受信機や送信機を含む無線通信モジュールや、ＮＩＣ（Network Interface Card）などが含まれる。
【0063】
入力インターフェース１２０は、ユーザによる各種の入力操作を受け付け、受け付けた入力操作に応じた電気信号を処理部１５０に出力する。例えば、入力インターフェース１２０は、マウスやキーボード、タッチパネル、ドラッグボール、スイッチ、ボタンなどである。
【0064】
出力インターフェース１３０は、例えば、ディスプレイやスピーカである。ディスプレイは、例えば、ＬＣＤ（Liquid Crystal Display）や、有機ＥＬ（Electro Luminescence）ディスプレイなどであってよい。ディスプレイは、入力インターフェース１２０と一体として構成されるタッチパネルであってもよい。
【0065】
記憶部１４０は、例えば、ＨＤＤ（Hard Disc Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などにより実現される。記憶部１４０は、ファームウェアやアプリケーションプログラムなどの各種プログラムを格納する。
【0066】
処理部１５０は、例えば、取得部１５２と、演算部１５４と、出力制御部１５６とを備える。これらの構成要素は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などのプロセッサが記憶部１４０に格納されたプログラムを実行することにより実現される。これらの構成要素の一部または全部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアにより実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。処理部１５０の各機能については後述する。
【0067】
［ロボット構成］
図３は、第１実施形態に係る二足歩行ロボット１０の実機の外観図である。図４は、第１実施形態に係る二足歩行ロボット１０のメカニズムを表す図である。図５は、第１実施形態に係る二足歩行ロボット１０のシミュレーション結果を表す図である。図６は、第１実施形態に係る二足歩行ロボット１０のロボット座標系を表す図である。図７は、第１実施形態に係る二足歩行ロボット１０のパラメータを纏めたテーブルである。
図３は、第１実施形態に係る二足歩行ロボット１０の実機の外観図である。図４は、第１実施形態に係る二足歩行ロボット１０のメカニズムを表す図である。図５は、第１実施形態に係る二足歩行ロボット１０のシミュレーション結果を表す図である。図６は、第１実施形態に係る二足歩行ロボット１０のロボット座標系を表す図である。図７は、第１実施形態に係る二足歩行ロボット１０のパラメータを纏めたテーブルである。
【0068】
第１実施形態では、図３及び４に示すように、軽量なパラレルリンク構造とバネ式アクチュエータを有する二足歩行ロボット１０を採用した。この二足歩行ロボット１０は、２つの脚の其々に設けられた２つのバネ式アクチュエータ（図中ｋｒｏｃとｋｔｈｉｇｈ）により、レバーリンクと大腿リンクを駆動して速度制御される。ロボットの各種パラメータ（重力ｇ、質量ｍ、各リンク長ｌｔｈｉｇｈ、ｌｓｈｉｎ、ｌｒｏｃ、ｌｌｅｖｅｒ、ｌｋｎｅｅ、膝の関節角度θｋｎｅｅ，ばね係数ｋｔｈｉｇｈ，ｋｒｏｃ）は図７のテーブルに示す通りである。
【0069】
二足歩行ロボット１０の機械的仕様をもとに、実機の二足歩行ロボット１０の速度制御模擬レプリカをシミュレータ上で実装した（図５参照）。実機との動力学的な差異が最小となるように、部品のＣｏＭ位置と慣性、バネ式アクチュエータの応答、関節特性などを設定した。実機のロボットの運動は矢状面に制約があるため、模擬ロボットの運動はｘｚ平面内に限定している。模擬ロボットの更新レートと制御周波数は６０Ｈｚである。
【0070】
［センサ構成とタスク空間表現］
センサは、ローカル空間とワールド空間における時間依存の状態を捕捉するために、シミュレーションロボットに取り付けられている。図８は、シミュレーションロボットに搭載されているセンサの一覧を示すテーブルである。略号は以下の通りである。回転（Ｒｏｔ．）、位置（Ｐｏｓ．）、速度（Ｖｅｌ．）、力（Ｆｒｃ．）、左（Ｌ．）、右（Ｒ．）、アクチュエータ（Ａｃｔ．）、ばね（Ｓｐｒ．）。
センサは、ローカル空間とワールド空間における時間依存の状態を捕捉するために、シミュレーションロボットに取り付けられている。図８は、シミュレーションロボットに搭載されているセンサの一覧を示すテーブルである。略号は以下の通りである。回転（Ｒｏｔ．）、位置（Ｐｏｓ．）、速度（Ｖｅｌ．）、力（Ｆｒｃ．）、左（Ｌ．）、右（Ｒ．）、アクチュエータ（Ａｃｔ．）、ばね（Ｓｐｒ．）。
【0071】
実際のロボットでは、正確なＣｏＭの推定は困難であるため、シミュレーションでは、実際のロボットのシナリオを模倣するために、股関節の位置を推定ＣｏＭとして使用する（図５参照）。
【0072】
このセンサを基に、二足歩行ロボット１０のタスク空間表現は、図６のように定義される。各脚（左右）に対して、タスク空間表現φ、ψは、数式（１２）～（１５）のように定義される。
【0073】
【数12】
【0074】
【数13】
【0075】
【数14】
【0076】
【数15】
【0077】
［ホッピングスキル習得のためのＴＤＥ２－ＭＢＲＬ］
１）タスクの概要
二足歩行ロボット１０のタスクとして様々なタスクを採用することができる。第１実施形態では一例として、衝撃でバネが大きくたわむＴＤＥ２－ＭＢＲＬの有効性を強調するために、ＭＢＲＬの目的としてホッピングスキルを選択する。具体的には、ＴＤＥ２－ＭＢＲＬが二足歩行ロボット１０のダイナミクスを捉え、ｐＭＰＣがホッピングにより目標高さｈ＊＝０．５５ｍに到達するよう二足歩行ロボット１０を誘導する。
１）タスクの概要
二足歩行ロボット１０のタスクとして様々なタスクを採用することができる。第１実施形態では一例として、衝撃でバネが大きくたわむＴＤＥ２－ＭＢＲＬの有効性を強調するために、ＭＢＲＬの目的としてホッピングスキルを選択する。具体的には、ＴＤＥ２－ＭＢＲＬが二足歩行ロボット１０のダイナミクスを捉え、ｐＭＰＣがホッピングにより目標高さｈ＊＝０．５５ｍに到達するよう二足歩行ロボット１０を誘導する。
【0078】
性能は各試行のホップ成功回数で評価され、両足が地上０．０５ｍに到達し，どちらかの足が終端条件を満たすことなく着地した場合と定義される。終端条件は、どちらかの膝が地面につくか、体が過度に傾いた（例えば｜θＢ｜≧９０°）ことを含む。ＭＢＲＬ処理では、終端条件が満たした時点で現在の試行を終了し、二足歩行ロボット１０は初期状態に戻される。初期状態は、例えば、φＬ＝φＲ＝２５°であり、ψＬ＝－ψＲ＝２０°であり、θＢ＝０であり、バネの変形はないような状態であってよい。二足歩行ロボット１０は最初に地上０．１ｍの高さから解放され、ｐＭＰＣの目的は二足歩行ロボット１０にホッピングを継続させることである。
【0079】
２）状態と制御の定義
重力エネルギーＥＧ、運動エネルギーＥＫ、弾性エネルギーＥＳを式（６）～（８）により求める。従って、エネルギー交換状態は数式（１６）のように定義される。
重力エネルギーＥＧ、運動エネルギーＥＫ、弾性エネルギーＥＳを式（６）～（８）により求める。従って、エネルギー交換状態は数式（１６）のように定義される。
【0080】
【数16】
【0081】
ここで、Θ＝［φＬ，ψＬ，φＲ，ψＲ，θＢ］Ｔ∈Ｒ５であり、ＥＫｘは、運動エネルギーＥＫのｘ成分であり、ＥＫｚは、運動エネルギーＥＫのｚ成分である。
【0082】
以下のベースライン比較のために、等価な非エネルギー状態を数式（１７）のように定義する。
【0083】
【数17】
【0084】
ここで，ｌ：＝［θＬＳ１，θＬＳ２，θＲＳ１，θＲＳ２］Ｔ∈Ｒ４である。ｐＭＰＣ計画では、制御コマンドｕは、数式（１８）のように、タスク空間における離散的な加速度として定義される。
【0085】
【数18】
【0086】
３）フェーズの定義
ホッピング中に起こりうる全ての接触条件を基に、二足歩行ロボット１０によるホッピングタスクをいくつかのフェーズに分解した。図９は、ホッピングタスクを分解した各フェーズを模式的に表すである。図９の三角形は接地を表し、ロボットの体の横の矢印は体感速度Ｐｚの方向を表している。図１０は、ホッピングタスクを分解した各フェーズの説明と条件を表すテーブルである。
ホッピング中に起こりうる全ての接触条件を基に、二足歩行ロボット１０によるホッピングタスクをいくつかのフェーズに分解した。図９は、ホッピングタスクを分解した各フェーズを模式的に表すである。図９の三角形は接地を表し、ロボットの体の横の矢印は体感速度Ｐｚの方向を表している。図１０は、ホッピングタスクを分解した各フェーズの説明と条件を表すテーブルである。
【0087】
【0088】
ＰＦは、２つの脚のいずれもが接地しておらずロボットが自由落下するフェーズ（「第１フェーズ」の一例）である。ＰＣは、両脚で着地し、ＣｏＭ及びＺ軸方向の速度が負になるフェーズ（「第３フェーズ」の一例）である。ＰＬＣは、左脚で着地し、ＣｏＭ及びＺ軸方向の速度が負になるフェーズ（「第２フェーズ」の一例）である。ＰＲＣは、右脚で着地し、ＣｏＭ及びＺ軸方向の速度が負になるフェーズ（「第２フェーズ」の他の例）である。ＰＫは、接地した両脚で地面を蹴りだして飛び跳ねることで、ＣｏＭ及びＺ軸方向の速度が正になるフェーズ（「第５フェーズ」の一例）である。ＰＬＫは、接地した左脚で地面を蹴りだして飛び跳ねることで、ＣｏＭ及びＺ軸方向の速度が正になるフェーズ（「第４フェーズ」の一例）である。ＰＲＫは、接地した右脚で地面を蹴りだして飛び跳ねることで、ＣｏＭ及びＺ軸方向の速度が正になるフェーズ（「第４フェーズ」の他の例）である。
【0089】
４）タスク分解された制御目的。
各フェーズの制御目的は、衝撃を受けたときのバネの変形を最大化することである。例えば、キック系フェーズ｛ＰＫ，ＰＲＬ，ＰＬＫ｝はｐＭＰＣを実装し，ホッピングを行う。地面からの離陸後、ＰＦにおいては、ＰＩＤ制御（Proportional-Integral-Differential Controller）によりロボットのアクチュエータは初期位置へ戻る。圧縮関連フェーズ｛ＰＣ，ＰＲＣ，ＰＬＣ｝では、タッチダウン後の衝撃に対してばねの変形を最大にするために、ＰＩＤ制御によりアクチュエータの初期位置を保持する。
各フェーズの制御目的は、衝撃を受けたときのバネの変形を最大化することである。例えば、キック系フェーズ｛ＰＫ，ＰＲＬ，ＰＬＫ｝はｐＭＰＣを実装し，ホッピングを行う。地面からの離陸後、ＰＦにおいては、ＰＩＤ制御（Proportional-Integral-Differential Controller）によりロボットのアクチュエータは初期位置へ戻る。圧縮関連フェーズ｛ＰＣ，ＰＲＣ，ＰＬＣ｝では、タッチダウン後の衝撃に対してばねの変形を最大にするために、ＰＩＤ制御によりアクチュエータの初期位置を保持する。
【0090】
［ＴＤＥ２－ＭＢＲＬのアルゴリズム］
以下、ＴＤＥ２－ＭＢＲＬのアルゴリズムとそのフローチャートについて説明する。図１１は、第１実施形態の処理部１５０によって実行されるＴＤＥ２－ＭＢＲＬの一連の処理の流れを表すフローチャートである。図１２は、第１実施形態の処理部１５０によって実行されるＴＤＥ２－ＭＢＲＬのアルゴリズムを表す図である。以下の説明では、一例として、二足歩行ロボット１０に与えられたタスクがホッピングであるものとして説明する。
以下、ＴＤＥ２－ＭＢＲＬのアルゴリズムとそのフローチャートについて説明する。図１１は、第１実施形態の処理部１５０によって実行されるＴＤＥ２－ＭＢＲＬの一連の処理の流れを表すフローチャートである。図１２は、第１実施形態の処理部１５０によって実行されるＴＤＥ２－ＭＢＲＬのアルゴリズムを表す図である。以下の説明では、一例として、二足歩行ロボット１０に与えられたタスクがホッピングであるものとして説明する。
【0091】
まず、演算部１５４は、タスク分解されたＮｐ個のフェーズの其々の入力パラメータを初期化する（ステップＳ１００）。二足歩行ロボット１０に与えられたタスクがホッピングである場合、Ｎｐは７である。つまり演算部１５４は、７種類のフェーズ｛ＰＦ，ＰＣ，ＰＬＣ，ＰＲＣ，ＰＫ，ＰＬＫ，ＰＲＫ｝の其々の入力パラメータを初期化する。入力パラメータには、Ｐｎ、Ｈｎ、Ｘｎ、Ｙｎ、ｆｎ（・）、Ｌｎが含まれる。
【0092】
次に、出力制御部１５６は、二足歩行ロボット１０を所定の初期姿勢に戻すための指令を、通信インターフェース１１０を介して、二足歩行ロボット１０に送信する（ステップＳ１０２）。これを受けて、二足歩行ロボット１０の姿勢は、初期姿勢に戻る。
【0093】
次に、演算部１５４は、各フェーズのダイナミクスモデルｆｎ（・）及び（Ｘｎ、Ｙｎ）を更新する（ステップＳ１０４）。
【0094】
次に、取得部１５２は、通信インターフェース１１０を介して、二足歩行ロボット１０に設けられた複数のセンサから、二足歩行ロボット１０の現在の状態ｘｔとして各種検出値を取得する（ステップＳ１０６）。
【0095】
次に、演算部１５４は、Ｓ１０６の処理において取得された状態ｘｔを基に、現在の二足歩行ロボット１０のフェーズＰｎを更新（又は決定）する（ステップＳ１０８）。
【0096】
次に、演算部１５４は、タスク分解ダイナミクスモデルｆｎ（・）に対応する状態ｘｎ、つまりタスク分解された状態ｘｎの初期状態ｘｎ
０を算出する（ステップＳ１１０）。例えば、演算部１５４は、Ｓ１０８の処理で更新された現在の二足歩行ロボット１０のフェーズＰｎに応じた選択行列Ｈを状態ｘｔに乗算することで、ダイナミクスモデルｆｎ（・）に説明変数として入力する初期状態ｘｎ
０を算出する。
【0097】
次に、演算部１５４は、Ｌｓｔｅｐを含むＭＰＣ計画の最初の区間の最適化を実行する（ステップＳ１１２）。
【0098】
次に、取得部１５２は、通信インターフェース１１０を介して、二足歩行ロボット１０に設けられた複数のセンサから、二足歩行ロボット１０の現在の状態ｘｔとして各種検出値を取得する（ステップＳ１１４）。
【0099】
次に、演算部１５４は、Ｓ１１４の処理において取得された状態ｘｔを基に、現在の二足歩行ロボット１０のフェーズＰｎを更新（又は決定）する（ステップＳ１１６）。
【0100】
次に、演算部１５４は、タスク分解されたｊ番目の入力である状態ｘｎ
ｊを算出する（ステップＳ１１０）。例えば、演算部１５４は、Ｓ１１６の処理で更新された現在の二足歩行ロボット１０のフェーズＰｎに応じた選択行列Ｈを状態ｘｔに乗算することで、ダイナミクスモデルｆｎ（・）に説明変数として入力するｊ番目の状態ｘｎ
ｊを算出する。
【0101】
次に、演算部１５４は、現試行において最適な制御コマンドｕｔを算出し、出力制御部１５６は、算出された制御コマンドｕｔを、通信インターフェース１１０を介して、二足歩行ロボット１０に送信し、二足歩行ロボット１０を制御する（ステップＳ１２０）。
【0102】
次に、演算部１５４は、ＭＰＣ計画の次の区間の最適化を実行する（ステップＳ１２２）。
【0103】
次に、演算部１５４は、ＭＰＣ計画に含まれる全Ｌステップの最適化が実行されたか否かを判定する（ステップＳ１２４）。
【0104】
全Ｌステップの最適化が実行されていない場合、演算部１５４は、Ｓ１１４の処理に戻り、残りのステップの最適化を実行することを繰り返す。
【0105】
一方、全Ｌステップの最適化が実行された場合、演算部１５４は、更に、全Ｎ回の試行が実行されたか否かを判定する（ステップＳ１２６）。
【0106】
全Ｎ回の試行が実行されていない場合、演算部１５４は、Ｓ１０２の処理に戻り、残りの試行を実行することを繰り返す。
【0107】
一方、全Ｎ回の試行が実行された場合、演算部１５４は、本フローチャートの処理を終了させる。
【0108】
以上説明した第１実施形態によれば、情報処理装置１００は、二足歩行ロボット１０の状態ｘｔを取得する。この状態ｘｔには、二足歩行ロボット１０ダイナミクスに関する複数のエネルギー（重力エネルギーＥＧ∈Ｒ、ユークリッド空間での運動エネルギーＥＫ∈Ｒ３、バネの複合弾性エネルギーＥＳ∈Ｒ）が含まれる。
【0109】
情報処理装置１００は、モデル予測制御（ＭＰＣ）計画を用いて、二足歩行ロボット１０のダイナミクスがモデル化されたダイナミクスモデル（ＴＤＥ２－ＭＢＲＬ）と、状態ｘｔとに基づいて、二足歩行ロボット１０に最適な行動をとらせるための最適制御シーケンスｕ＊を決定する。このように、ＴＤＥ２－ＭＢＲＬによりモデル化されたタスク分解ダイナミクスモデル（より簡素でコンパクトなダイナミクスモデル）を用いて最適制御シーケンスｕ＊を決定することで、二足歩行ロボット１０に最適な行動をとらせることができる。特にＴＤＥ２－ＭＢＲＬを用いているため、バネによる運動をエネルギーに集約できるというコンセプトのもと状態ｘｔにエネルギーを含ませるため、バネを含まないモデルの状態数に比べてわずか３変数の増加でバネを含むシステムを学習することができる。
【0110】
（第２実施形態）
以下、第２実施形態について説明する。上述した第１実施形態では、ＴＤＥ２－ＭＢＲＬによりモデル化されたタスク分解ダイナミクスモデル（より簡素でコンパクトなダイナミクスモデル）を用いて最適制御シーケンスｕ＊を決定するものと説明した。
以下、第２実施形態について説明する。上述した第１実施形態では、ＴＤＥ２－ＭＢＲＬによりモデル化されたタスク分解ダイナミクスモデル（より簡素でコンパクトなダイナミクスモデル）を用いて最適制御シーケンスｕ＊を決定するものと説明した。
【0111】
これに対して、第２実施形態では、第１実施形態に比べてより次元数の少ないタスク分解ダイナミクスモデル（第１実施形態に比べて更に簡素でコンパクトなダイナミクスモデル）を用いて最適制御シーケンスｕ＊を決定する点で、上述した第１実施形態と相違する。以下、第１実施形態との相違点を中心に説明し、第１実施形態と共通する点については説明を省略する。第２実施形態の説明において、第１実施形態と同じ部分については同一符号を付して説明する。
【0112】
［提案手法］
以下、第２実施形態の提案手法について説明する。第２実施形態では、二足歩行ロボット（ＳＬＩＰ－ｂｉｐｅｄ）の歩行運動を実現するために、以下の３つの戦略を含むＭＢＲＬのアプローチを提案する。
以下、第２実施形態の提案手法について説明する。第２実施形態では、二足歩行ロボット（ＳＬＩＰ－ｂｉｐｅｄ）の歩行運動を実現するために、以下の３つの戦略を含むＭＢＲＬのアプローチを提案する。
【0113】
１）エネルギー交換ダイナミクス及びエネルギー状態
エネルギー状態を持つＬＧＭ－ＦＦを使用して、二足歩行ロボット１０のエネルギー交換ダイナミクスをモデル化し、ＣｏＭ（二足歩行ロボット１０の質量中心）、弾性コンポーネント（ばね等）、及びアクチュエータ（モータ等）のダイナミクスを、エネルギー交換によって特徴づけられる相互作用とエネルギーの定式化で表現する。エネルギー交換ダイナミクスにより、弾性コンポーネントを単一のエネルギーストレージとして扱うことで次元を減らすことができ、いくつかの状態の過程を暗黙的に表現することができる。アクチュエータは「エネルギー発生源」の一例である。
エネルギー状態を持つＬＧＭ－ＦＦを使用して、二足歩行ロボット１０のエネルギー交換ダイナミクスをモデル化し、ＣｏＭ（二足歩行ロボット１０の質量中心）、弾性コンポーネント（ばね等）、及びアクチュエータ（モータ等）のダイナミクスを、エネルギー交換によって特徴づけられる相互作用とエネルギーの定式化で表現する。エネルギー交換ダイナミクスにより、弾性コンポーネントを単一のエネルギーストレージとして扱うことで次元を減らすことができ、いくつかの状態の過程を暗黙的に表現することができる。アクチュエータは「エネルギー発生源」の一例である。
【0114】
２）エネルギー状態に基づく二足歩行ロボット１０の歩行軌道
確率的ＭＰＣ（ｐＭＰＣ）は、多段階の状態予測を活用して、最適な制御を見つける。そのため、エネルギー状態を利用することで、意図した歩行タスクがエネルギー制御問題に変換される。そこで、ｐＭＰＣによる歩行を成功させるために、エネルギー保存の法則を取り入れ、エネルギー状態に基づく二足歩行ロボット１０の基準となる歩行軌道を設計する。
確率的ＭＰＣ（ｐＭＰＣ）は、多段階の状態予測を活用して、最適な制御を見つける。そのため、エネルギー状態を利用することで、意図した歩行タスクがエネルギー制御問題に変換される。そこで、ｐＭＰＣによる歩行を成功させるために、エネルギー保存の法則を取り入れ、エネルギー状態に基づく二足歩行ロボット１０の基準となる歩行軌道を設計する。
【0115】
３）状態を意識した制御空間
各ｐＭＰＣの将来の状態展開は独立しているため、ｐＭＰＣからの信頼性の高い制御を確保することは困難である。そこで、エネルギー状態に基づく軌道と観測された二足歩行ロボット１０の状態の両方を利用して、ｐＭＰＣの探索を制約する状態認識型制御空間を提案する。
各ｐＭＰＣの将来の状態展開は独立しているため、ｐＭＰＣからの信頼性の高い制御を確保することは困難である。そこで、エネルギー状態に基づく軌道と観測された二足歩行ロボット１０の状態の両方を利用して、ｐＭＰＣの探索を制約する状態認識型制御空間を提案する。
【0116】
［Ａ．簡略化されたシステム変数と歩行パラメータ（Gait Parameters）］
まず、簡略化したばね式の平面二足歩行システムを用いて、第２実施形態のアプローチを説明し、続いて、ばね式の平面二足歩行システムが実装された二足歩行ロボット１０について説明する。
まず、簡略化したばね式の平面二足歩行システムを用いて、第２実施形態のアプローチを説明し、続いて、ばね式の平面二足歩行システムが実装された二足歩行ロボット１０について説明する。
【0117】
１）簡略化されたシステム変数
ばね定数行列Ｋ∈Ｒｋ×ｋによって特徴付けられる、ｋ個のばね付きアクチュエータを備えたｍ－ｋｇ点質量の平面二足歩行ロボットシステムを考える。質量中心（ＣｏＭ）の高さｈ、ＣｏＭの速度ｖ∈ＲＶ、ばねのたわみΘＳ∈Ｒｋ、アクチュエータの位置Θ∈ＲＶ，アクチュエータの速度Θ（・）∈Ｒｋと仮定する。
ばね定数行列Ｋ∈Ｒｋ×ｋによって特徴付けられる、ｋ個のばね付きアクチュエータを備えたｍ－ｋｇ点質量の平面二足歩行ロボットシステムを考える。質量中心（ＣｏＭ）の高さｈ、ＣｏＭの速度ｖ∈ＲＶ、ばねのたわみΘＳ∈Ｒｋ、アクチュエータの位置Θ∈ＲＶ，アクチュエータの速度Θ（・）∈Ｒｋと仮定する。
【0118】
２）歩行パラメータ
図１３は、第２実施形態の歩行パラメータを説明するための図である。Ｌｓｗｇは、遊脚の脚長を表し、Ｌｓｕｐは、支持脚の脚長を表す。これら脚長Ｌｓｗｇ、Ｌｓｕｐは、ワールド座標空間Ψｗ ｓｗｇ、Ψｗ ｓｕｐにおけるそれぞれの向きを表す。ＬとΨｗは、アクチュエータとばねの位置ΘとΘＳから得られると仮定する。図示のように、歩行は、どちらの脚も接地したときの脚長であるスタンス脚長Ｌｓｔａｎ、一方の脚のみが接地し、他方の脚が上げられたときの脚長であるリフト脚長Ｌｌｉｆｔ、所望の歩幅角θｓｔｒｉｄｅ、ピーク時の所望のＣｏＭ速度ｖｐ∈ＲＶという４つのパラメータで記述される。この歩行は、異なる目的を持つ２つの段階に分離可能である。１つ目はダブルサポート（ＤＳ）であり、２つ目はシングルサポート（ＳＳ）である。ＤＳフェーズの後脚は支持脚である。
図１３は、第２実施形態の歩行パラメータを説明するための図である。Ｌｓｗｇは、遊脚の脚長を表し、Ｌｓｕｐは、支持脚の脚長を表す。これら脚長Ｌｓｗｇ、Ｌｓｕｐは、ワールド座標空間Ψｗ ｓｗｇ、Ψｗ ｓｕｐにおけるそれぞれの向きを表す。ＬとΨｗは、アクチュエータとばねの位置ΘとΘＳから得られると仮定する。図示のように、歩行は、どちらの脚も接地したときの脚長であるスタンス脚長Ｌｓｔａｎ、一方の脚のみが接地し、他方の脚が上げられたときの脚長であるリフト脚長Ｌｌｉｆｔ、所望の歩幅角θｓｔｒｉｄｅ、ピーク時の所望のＣｏＭ速度ｖｐ∈ＲＶという４つのパラメータで記述される。この歩行は、異なる目的を持つ２つの段階に分離可能である。１つ目はダブルサポート（ＤＳ）であり、２つ目はシングルサポート（ＳＳ）である。ＤＳフェーズの後脚は支持脚である。
【0119】
３）歩行動作
歩行パラメータを用いると、図１３に示すような目標歩行動作となる。これには以下のような必要条件が伴う。
歩行パラメータを用いると、図１３に示すような目標歩行動作となる。これには以下のような必要条件が伴う。
【0120】
・ＤＳフェーズ：両脚の角度が所望の歩幅角θｓｔｒｉｄｅに一致し，遊脚の長さが立脚の長さに一致する。これらの必要条件をＲＤＳ＝｛Ψｗ
ｓｗｇ＝－０．５θｓｔｒｉｄｅ、Ψｗ
ｓｕｐ＝０．５θｓｔｒｉｄｅ、Ｌｓｗｇ＝Ｌｓｔａｎ｝と表記する。
【0121】
・ＳＳフェーズ：支持脚の長さが立脚の長さと一致し、システムが倒立振子として機能する。これらの必要条件をＲＳＳ＝｛Ｌｓｕｐ＝Ｌｓｔａｎ｝と表記する。
【0122】
［Ｂ．エネルギー交換（ＥＥＤ）モデルとエネルギー状態］
ＭＢＲＬを用いてロボットのエネルギー交換モデル（ｘｔ＋１＝ｆ（ｘｔ，ｕｔ）＋ε）を学習するには、エネルギー項で定式化された状態ｘと、アクチュエータの制御方法に基づくユーザ定義の制御ｕｔが必要である。
ＭＢＲＬを用いてロボットのエネルギー交換モデル（ｘｔ＋１＝ｆ（ｘｔ，ｕｔ）＋ε）を学習するには、エネルギー項で定式化された状態ｘと、アクチュエータの制御方法に基づくユーザ定義の制御ｕｔが必要である。
【0123】
まず、システムエネルギーＥ∈ＲＶ＋２を数式（１９）のように表す。
【0124】
【数19】
【0125】
Ｅｇは重力エネルギー、Ｅｋは運動エネルギー、Ｅｓはばねの全弾性エネルギー、ｇは重力ベクトル、ｏは要素別演算を表す。外部エネルギー源がない場合、システムの総エネルギーは一定である。１ＴＥ＝ｃｏｎｓｔ、ここで１は１つのベクトルである。
【0126】
次に、ロボットシステムのエネルギー源はアクチュエータだけであると仮定する。アクチュエータのエネルギーＥａｃｔは、数式（２０）のように表すことができる。数式（２０）のように、アクチュエータのエネルギーＥａｃｔは、その運動方程式（ＥｏＭ）の運動の積分によって導かれる。τ＝ＪΘ（・・）＋ＫΘ＋ＤΘ（・）である。
【0127】
【数20】
【0128】
τはアクチュエータのトルク、Ｊは慣性行列、Ｄは減衰行列を表している。アクチュエータのエネルギーを導入することで、システムのエネルギー保存式は数式（２１）のように表すことができる。
【0129】
【数21】
【0130】
数式（２１）は、ロボットのシステムエネルギーＥが、アクチュエータの位置Θと速度Θ（・）の関数であることを示している。システムエネルギーＥは、観測されたＣｏＭの状態やばねのたわみから得られる。そのため、アクチュエータの位置Θと速度Θ（・）は暗黙のうちに互いに表現することができる。第２実施形態では、アクチュエータの位置を選択し、エネルギー状態を数式（２２）のように設計することができる。
【0131】
【数22】
【0132】
一方、基準状態は数式（２３）のように表すことができる。
【0133】
【数23】
【0134】
数式（２２）と数式（２３）とを比較するとわかるように、エネルギー交換モデルのモデリングは、２ｋ－１次元を削減することができる。つまり、第２実施形態では、第１実施形態に比べて、次元数が２ｋ－１分少ないタスク分解ダイナミクスモデルを用いて最適制御シーケンスｕ＊を決定することができる。
【0135】
［Ｃ．エネルギー状態に基づく歩行軌道］
ダブルサポート（ＤＳ）：エネルギー保存の法則と与えられた歩行パラメータに基づき、システムは目標エネルギーＥ＊∈Ｒを保有させることで、所望の歩行に従うことができる。目標エネルギーＥ＊は、数式（２４）のように表すことができる。
ダブルサポート（ＤＳ）：エネルギー保存の法則と与えられた歩行パラメータに基づき、システムは目標エネルギーＥ＊∈Ｒを保有させることで、所望の歩行に従うことができる。目標エネルギーＥ＊は、数式（２４）のように表すことができる。
【0136】
【数24】
【0137】
Ｅ＊
ｇ∈ＲとＥ＊
ｋ∈Ｒは、目標とする重力エネルギーと運動エネルギーである。ｖｐは、ピーク時の望ましいＣｏＭ速度である。したがって、目的は、ｐＭＰＣがシステム（ロボット）を前進させるために必要なエネルギーを供給する最適制御を見つけることができる軌道（歩行軌道ともいう）を提供することである。目標エネルギーが一定であるため、タイムステップｔでの基準軌道は、数式（２５）及び数式（２６）のように表すことができる。
【0138】
【数25】
【0139】
【数26】
【0140】
ダブルサポート（ＤＳ）のフェーズの対応する基準軌道は、数式（２７）のように表すことができる。
【0141】
【数27】
【0142】
シングルサポート（ＳＳ）：ダブルサポート（ＤＳ）のフェーズを経てシステムがエネルギーを得たと仮定する。この場合、シングルサポート（ＳＳ）の目的は、再度ダブルサポート（ＤＳ）のフェーズに進むために、安定して遊脚を振ることである（遊脚で安定したレッグスイングを実行することである）。
【0143】
倒立振子のスイング運動を同期させるために、遊脚の基準脚長であるＬ＊
ｓｗｇとＬ＊
ｓｕｐは、支持脚の向きΨｗ
ｓｕｐの関数である必要がある。遊脚の終端姿勢がダブルサポート（ＤＳ）のフェーズで定義された姿勢と一致し、フェーズを確実に移行する限り、遊脚の中間軌道は所望の歩行パターンに従って選択することができる。遊脚の軌道は数式（２８）、（２９）のように表すことができる。
【0144】
【数28】
【0145】
【数29】
【0146】
ＳＬ，ＳΨ：Ｒ→Ｒは、支持脚の向きと参照する遊脚の軌道の間のマッピングを記述する関数である。シングルサポート（ＳＳ）のフェーズの対応する基準軌道は、数式（２９）のように表すことができる。
【0147】
【数30】
【0148】
シングルサポート（ＳＳ）のフェーズの基準軌道は位置として定式化されている。しかしながら、エネルギー交換モデルが位置とエネルギーとして特徴づけられることから、ｐＭＰＣでは将来の位置を予測するためにエネルギーが組み込まれる。
【0149】
［Ｄ．状態認識制御空間（State-aware Control Space）］
ｐＭＰＣの状態認識制御空間は、ｐＭＰＣが信頼性の低い制御を行う可能性を低減するために、数式（３１）の探索制御空間Ｕを修正する。
ｐＭＰＣの状態認識制御空間は、ｐＭＰＣが信頼性の低い制御を行う可能性を低減するために、数式（３１）の探索制御空間Ｕを修正する。
【0150】
【数31】
【0151】
探索制御空間Ｕは、各タイムステップｔにおいて、システムの状態ｘｔ、基準軌道ｘ＊
ｔ、どの制御信号がより信頼できるのかというユーザの事前知識に基づいて修正される。修正された探索制御空間Ｕ′ｔは、数式（３２）によって表すことができる。
【0152】
【数32】
【0153】
［ＭＢＲＬのためのエネルギー交換モデルの構成］
図１４は、第２実施形態に係る二足歩行ロボット１０の構成の一例を表す図である。図１５は、第２実施形態に係る二足歩行ロボット１０に用いられる変数（システム変数）の対応関係を表すテーブルである。このテーブルは、ローカル空間（関節空間）、タスク空間、及びワールド空間のそれぞれの変数の対応関係を表している。
図１４は、第２実施形態に係る二足歩行ロボット１０の構成の一例を表す図である。図１５は、第２実施形態に係る二足歩行ロボット１０に用いられる変数（システム変数）の対応関係を表すテーブルである。このテーブルは、ローカル空間（関節空間）、タスク空間、及びワールド空間のそれぞれの変数の対応関係を表している。
【0154】
第２実施形態では、ＭＢＲＬを用いて、ＬＧＭ－ＦＦによりロボットの各フェーズの状態遷移ダイナミクスを学習する。
【0155】
ダブルサポート（ＤＳ）フェーズ下のロボットの状態と、シングルサポート（ＳＳ）フェーズ下のロボットの状態とは、数式（３３）のように定義される。数式（３３）に表されるように、各フェーズのロボットの状態ｘ∈Ｒ９は、位置Θ、胴体の向きθＴ、システムエネルギーＥの組み合わせとして定義される。
【0156】
【数33】
【0157】
胴体の向きθＴは、ワールド空間の脚の向きを得るために状態ｘの定義式に加えられる。位置Θは、数式（３４）のように定義され、システムエネルギーＥは数式（３５）のように定義される。
【0158】
【数34】
【0159】
【数35】
【0160】
Ｅｇは重力エネルギー、ＥＳは全てのばねの弾性エネルギーの総和、ＥＲは半径方向のＣｏＭ速度（ＰＲ（・））から得られる運動エネルギー、ＥＴは接線方向のＣｏＭ速度（ＰＴ（・））から得られる運動エネルギーである。
【0161】
図１４に示すように、これら運動エネルギーＥＲ、ＥＴは、支持脚に対応する。接線方向の運動エネルギーＥＴにはプラス又はマイナスの方向が付加され、付加的な情報となる（前方に歩く場合は常に正）。φとψはともにばねのたわみを含み、歩行タスク制御問題を単純化するためにタスク空間（数式（１２）～（１５）参照）で構成される。ダブルサポート（ＤＳ）フェーズとシングルサポート（ＳＳ）フェーズのダイナミクスモデルは、それぞれのフェーズで収集されたサンプルで独立して学習される。
【0162】
［ｐＭＰＣの計画目標］
１）歩行時の歩行パラメータ
スタンス脚長Ｌｓｔａｎ、リフト脚長Ｌｌｉｆｔは、関節角度φｍｉｎ＝１４°、φｍａｘ＝３７°、目標歩幅角度θＳ＝２８°、ピーク時の目標速度ｖｐがｘ方向に０．４ｍ／ｓのときに測定された。したがって、目標エネルギーは数式（３６）のように求められる。
１）歩行時の歩行パラメータ
スタンス脚長Ｌｓｔａｎ、リフト脚長Ｌｌｉｆｔは、関節角度φｍｉｎ＝１４°、φｍａｘ＝３７°、目標歩幅角度θＳ＝２８°、ピーク時の目標速度ｖｐがｘ方向に０．４ｍ／ｓのときに測定された。したがって、目標エネルギーは数式（３６）のように求められる。
【0163】
【数36】
【0164】
フェーズ間の遷移は、足の接地反力ＦＳＷＧとＦｓｕｐによって決定される。その必要条件は、以下の（ａ）と（ｂ）である。ＦＳＷＧとＦｓｕｐはフェーズ間の遷移を識別するためにのみ使用し、ｐＭＰＣ計画には使用しない。
【0165】
（ａ）ＤＳ→ＳＳ ｉｆ ｜Ｆｓｕｐ｜≦５Ｎ
（ｂ）ＳＳ→ＤＳ ｉｆ ｜ＦＳＷＧ｜≧２０Ｎ
（ｂ）ＳＳ→ＤＳ ｉｆ ｜ＦＳＷＧ｜≧２０Ｎ
【0166】
２）シングルサポート（ＳＳ）フェーズの基準となる遊脚の軌道
スムーズな動きを実現するために、基準となる遊脚の軌道を、複数のシグモイド関数を用いて、人間の歩行にヒューリスティックに適合させる。これによって、安定した脚の振りを実行することができる。
スムーズな動きを実現するために、基準となる遊脚の軌道を、複数のシグモイド関数を用いて、人間の歩行にヒューリスティックに適合させる。これによって、安定した脚の振りを実行することができる。
【0167】
３）制御方式とｐＭＰＣの目的関数
数式（２７）と数式（３０）の基準軌道（ＤＳフェーズの基準軌道Ｔｔ ＤＳと、ＳＳフェーズの基準軌道Ｔｔ ＳＳ）と、３）歩行動作で説明した目標歩行動作に必要な各種必要条件（ＤＳフェーズの必要条件ＲＤＳと、ＳＳフェーズの必要条件ＲＳＳ）とを関連付けて、以下の軌道を設計する。
数式（２７）と数式（３０）の基準軌道（ＤＳフェーズの基準軌道Ｔｔ ＤＳと、ＳＳフェーズの基準軌道Ｔｔ ＳＳ）と、３）歩行動作で説明した目標歩行動作に必要な各種必要条件（ＤＳフェーズの必要条件ＲＤＳと、ＳＳフェーズの必要条件ＲＳＳ）とを関連付けて、以下の軌道を設計する。
【0168】
ダブルサポート（ＤＳ）：キック動作は、システムに必要なエネルギーを供給することが予想されるため、ダブルサポート下における最適制御シーケンスｕを数式（３７）のように定義する。
【0169】
【数37】
【0170】
また、ｐＭＰＣの即時損失は、数式（３８）のように決定される。
【0171】
【数38】
【0172】
ここで、数式（３５）の方向性（半径方向と接線方向）をもつ運動エネルギーは、ｐＭＰＣが前方に蹴り出すことによってエネルギーを得ることを促す。ＤＳフェーズの必要条件ＲＤＳと、（φｓｕｐ，ψｓｕｐ，ψｓｗｇ）の位置は、例えば、ＰＤコントローラを介して保持されてよい。
【0173】
シングルサポート（ＳＳ）：ハードウェアの制約によりアクチュエータの限界を超えないように、例えば、胴体の向きを－５°に保ったまま脚の振りを行うことを目標とする。ＳＳフェーズの必要条件ＲＳＳが与えられた場合、支持脚の長さは、胴体の傾きを打ち消すためにＰＤコントローラによって追加ψｓｕｐ＝（－５°－θＴ）で保持される。一方、基準状態が与えられると、最適な遊脚制御が行われる。最適な遊脚制御（シングルサポート下における最適制御シーケンスｕ）は、数式（３９）のように表すことができる。
【0174】
【数39】
【0175】
シングルサポート下における最適制御シーケンスｕは、ｐＭＰＣによって即時損失が設定されている。この即時損失は、数式（４０）のように表すことができる。
【0176】
【数40】
【0177】
数式（４１）は、ローカル空間（θ１，θ２）、タスク空間（φ，ψ，Ｌ）、ワールド空間（ψｗ，θＴ）間の変換を導く。ここで、θａｃｔはアクチュエータから読み出された角度（測定値）であり、θｓｐｒはスプリングから読み出された角度（測定値）である。
【0178】
【数41】
【0179】
ここでＬ＊
ｓｗｇ，ｋは、数式（４１）により、φ＊
ｓｗｇ，ｋに変換される。さらにψｗは、数式（４１）により、状態から得られるワールド空間の脚の向きである。
【0180】
４）状態認識型制御空間
ｐＭＰＣが最適な制御を見出すための信頼性の高い制御空間を提供することを目的とする。ｐＭＰＣの基準状態（φ＊ ｓｗｇ，ψ＊ ｓｗｇ，Ｅ＊）は既に知られている。したがって、この基準状態に対して理想的な制御を見つけ、その制御範囲を設定する。
ｐＭＰＣが最適な制御を見出すための信頼性の高い制御空間を提供することを目的とする。ｐＭＰＣの基準状態（φ＊ ｓｗｇ，ψ＊ ｓｗｇ，Ｅ＊）は既に知られている。したがって、この基準状態に対して理想的な制御を見つけ、その制御範囲を設定する。
【0181】
次に、理想的な速度ｕ＊
ｉ上に速度範囲［－δ，δ］を追加するように制御空間を修正する。具体的には数式（４２）の通りである。
【0182】
【数42】
【0183】
ダブルサポート（ＤＳ）のフェーズの各ステップにおいて、必要な半径方向の運動エネルギーＥ＊
Ｒから支持脚による理想的な蹴り出し速度Ｌ（・）＊
ｓｕｐを求める。数式（４３）は、運動エネルギーＥ＊
Ｒを表しており、数式（４４）は、蹴り出し速度Ｌ（・）＊
ｓｕｐを表している。
【0184】
【数43】
【0185】
【数44】
【0186】
ここで、数式（４３）は、半径方向の運動エネルギーＥ＊
Ｒが提供できる不足エネルギーを計算し、数式（４４）は、そのエネルギーを理想的な速度に変換する。最後に、数式（４１）により、Ｌ（・）＊
ｓｕｐをφ（・）＊
ｓｕｐに変換する。
【0187】
シングルサポート（ＳＳ）のフェーズの各ステップにおいて、理想的な速度ψ（・）＊
ｓｗｇ及びψ（・）＊
ｓｕｐは、現在の状態と基準軌道との間の距離をスケーリングすることによって得られる。
【0188】
【数45】
【0189】
【数46】
【0190】
ここで、αはスケーリングファクター（制御周波数）を表している。スケーリングファクターαは、例えば、位置から速度への正確な変換のために４０に設定されてよい。
【0191】
各タイムステップの理想的な速度に基づき、ダブルサポート（ＤＳ）フェーズの制御空間を数式（４７）のように定義し、シングルサポート（ＳＳ）フェーズの制御空間を数式（４８）のように定義する。
【0192】
【数47】
【0193】
【数48】
【0194】
ここで、δは、シミュレーションロボットでは１．２ｒａｄ／ｓと定義され、ハードウェアでは０．６ｒａｄ／ｓと定義され、ｐＭＰＣはアクチュエータの全能力の約２０％と１０％を探索する。
【0195】
［ＭＢＲＬの学習プロセス］
ＭＢＲＬは、目標サンプル時間に達するまで試行が繰り返される。各試行では、終了条件が満たされるまで、例えば４０Ｈｚ毎にステップが繰り返される。各ステップにおいて、ｐＭＰＣは、シミュレーションとハードウェアの両方で、有限ホライズン損失Ｌを最小化する長さＨ＝３の最適制御シーケンスｕ＊=［ｕ＾１，…，ｕ＾Ｈ］を決定するために使用される。そして、最初の最適制御ｕ＾１がシステム（二足歩行ロボット１０）に適用される。各試行が終了する度に、ＭＢＲＬは以前の全ての試行から収集したサンプルを用いてモデルを更新する。
ＭＢＲＬは、目標サンプル時間に達するまで試行が繰り返される。各試行では、終了条件が満たされるまで、例えば４０Ｈｚ毎にステップが繰り返される。各ステップにおいて、ｐＭＰＣは、シミュレーションとハードウェアの両方で、有限ホライズン損失Ｌを最小化する長さＨ＝３の最適制御シーケンスｕ＊=［ｕ＾１，…，ｕ＾Ｈ］を決定するために使用される。そして、最初の最適制御ｕ＾１がシステム（二足歩行ロボット１０）に適用される。各試行が終了する度に、ＭＢＲＬは以前の全ての試行から収集したサンプルを用いてモデルを更新する。
【0196】
以上説明した第２実施形態によれば、二足歩行ロボット１０のエネルギーＥがアクチュエータの位置Θと速度Θ（・）の両方を表現することに着目し、二足歩行ロボット１０の状態ｘｔを、第１実施形態の状態ｘｔ（数式（２３）参照）と比べてより次元数の少ない状態（数式（２２）参照）とした。
【0197】
具体的には、アクチュエータ（モータ等）のようなエネルギー発生源の一部のエネルギーを含むようにタスク分解ダイナミクスモデルを設計したため、エネルギー発生源のエネルギーと二足歩行ロボット１０全体のエネルギーとが等価という点に着目し、エネルギー発生源の状態量または二足歩行ロボット１０の状態量のどちらか一方を削減した。
【0198】
これによって、第１実施形態に比べてより次元数の少ないタスク分解ダイナミクスモデル（第１実施形態に比べて更に簡素でコンパクトなダイナミクスモデル）を用いて最適制御シーケンスｕ＊を決定することができる。
【0199】
また第２実施形態によれば、ｐＭＰＣの目的関数を、タスク分解ダイナミクスモデルの状態に依存する軌道としたため、ｐＭＰＣの計算コストを小さくすることができる。
【0200】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【符号の説明】
【0201】
１０…二足歩行ロボット、１００…情報処理装置、１１０…通信インターフェース、１２０…入力インターフェース、１３０…出力インターフェース、１４０…記憶部、１５０…処理部、１５２…取得部、１５４…演算部、１５６…出力制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】