(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-07
(45)【発行日】2024-02-16
(54)【発明の名称】動作支援装置および動作支援方法
(51)【国際特許分類】
B25J 11/00 20060101AFI20240208BHJP
A61F 2/72 20060101ALI20240208BHJP
【ＦＩ】
B25J11/00 Z
A61F2/72
【請求項の数】
10
(21)【出願番号】P 2020071886
(22)【出願日】2020-04-13
(65)【公開番号】P2021041522
(43)【公開日】2021-03-18
【審査請求日】2023-03-03
(31)【優先権主張番号】P 2019161737
(32)【優先日】2019-09-05
(33)【優先権主張国・地域又は機関】JP
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成３０年度、国立研究開発法人科学技術振興機構、戦略的創造研究推進事業「人の動作技量を再現する外骨格ロボット制御」委託研究、平成２８年度 国立研究開発法人情報通信研究機構「高度通信・研究開発委託研究／脳機能補完による高齢者・障がい者の機能回復支援技術の研究開発」、産業技術強力化法第１７条の適用を受ける特許出願
(73)【特許権者】
【識別番号】393031586
【氏名又は名称】株式会社国際電気通信基礎技術研究所
(74)【代理人】
【識別番号】100145713
【弁理士】
【氏名又は名称】加藤 竜太
(74)【代理人】
【識別番号】100109162
【弁理士】
【氏名又は名称】酒井 將行
(72)【発明者】
【氏名】古川 淳一朗
(72)【発明者】
【氏名】森本 淳
【審査官】臼井 卓巳
(56)【参考文献】
【文献】特開２０１８－１３４７２４（ＪＰ，Ａ）
【文献】特開２０１４－１５５９９８（ＪＰ，Ａ）
【文献】米国特許出願公開第２００８／００５８６６８（ＵＳ，Ａ１）
【文献】特開２０１１－１９３９４１（ＪＰ，Ａ）
【文献】特開２０１３－１３１１１７（ＪＰ，Ａ）
【文献】特開２０１７－０３０１３７（ＪＰ，Ａ）
【文献】Emanuel Todorov，Compositionality of optimal control laws，ワシントン大学コンピュータ サイエンス & エンジニアリング コミュニティのホームページ サービス，米国，ワシントン大学コンピュータ サイエンス & エンジニアリング コミュニティ，2009年，p. 1856-1864，https://homes.cs.washington.edu/~todorov/papers/TodorovNIPS09.pdf
【文献】Marco da Silva, 外２名，Linear Bellman Combination for Control of Character Animation，ワシントン大学コンピュータ サイエンス & エンジニアリング コミュニティのホームページ サービス，米国，ワシントン大学コンピュータ サイエンス & エンジニアリング コミュニティ，2009年，p. 82:1-82:10，https://homes.cs.washington.edu/~jovan/papers/dasilva-2009-lbc.pdf
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ２５Ｊ １１／００－１３／０６
Ａ６１Ｆ ２／７２
Ａ６１Ｈ １／０２－ ３／００
(57)【特許請求の範囲】
【請求項1】
ユーザの関節の運動をアシストするための動作支援装置であって、前記アシストを受ける前記ユーザの複数の関節部に装着され、前記関節部へのアシストトルクを生成するアクチュエータ手段を有する能動関節と、
前記能動関節の状態を検出するためのセンサ手段と、
前記ユーザの関節の運動に対する前記ユーザの中枢からの指令に基づいて生成される生体由来信号を検出するための生体信号検知手段と、
前記能動関節が発生する前記アシストトルクを制御するための制御信号を生成する制御部とを備え、前記制御部は、
前記センサ手段および前記生体信号検知手段からの信号に基づいて、前記ユーザの動作目的を推定する動作目的推定手段を含み、
前記動作目的推定手段は、アシストする動作の初期において、前記センサ手段により検出される所定の能動関節の角速度が所定値を超える点を運動出発点として、前記アシストする運動の開始前の所定期間の特徴量を学習することでユーザの動作目的を推定し、
複数の離散的な動作目的にそれぞれ対応した最適制御のための複数の制御方策を特定する情報を予め記憶する記憶手段と、
推定された前記ユーザの動作目的に応じて、前記複数の制御方策を対応する重みで線形に組み合わせて、前記推定された動作目的に対応する混合制御則を導出する混合手段と、
導出された前記混合制御則に応じて、前記アシストトルクを制御する信号を生成する制御信号生成手段とをさらに含む、動作支援装置。
【請求項2】
前記動作目的推定手段は、計測された前記センサ手段および前記生体信号検知手段からの信号から、部分的最小二乗法アルゴリズムにより、低次元の特徴量空間の信号を生成して、動作目的ラベルを生成し、前記混合手段は、前記動作目的ラベルに予め対応付けられている複数の制御方策を、対応する重みで線形に組み合わせる、請求項１記載の動作支援装置。
【請求項3】
前記動作目的推定手段が推定する動作目的ラベルは、前記複数の離散的な動作目的を内挿するものである、請求項２記載の動作支援装置。
【請求項4】
前記混合手段は、線形ベルマン組合せ法により、前記推定された動作目的に対応する制御則を導出する、請求項１または２記載の動作支援装置。
【請求項5】
前記アクチュエータ手段は、空圧式エアマッスルを含む、請求項１～４のいずれか１項に記載の動作支援装置。
【請求項6】
外骨格型ロボットによってユーザの関節の運動をアシストするための動作支援方法であって、前記外骨格型ロボットは、前記アシストを受ける前記ユーザの複数の関節部に装着され、前記関節部へのアシストトルクを生成するアクチュエータ手段を有する能動関節と、複数の離散的な動作目的にそれぞれ対応した最適制御のための複数の制御方策を特定する情報を予め記憶する記憶手段とを備えており、
前記能動関節の状態を検出するためのセンサ手段からの信号と、前記ユーザの関節の運動に対する前記ユーザの中枢からの指令に基づいて生成される生体由来信号を検出するための生体信号検知手段からの信号とに基づいて、前記ユーザの動作目的を推定するステップを備え、
前記ユーザの動作目的を推定するステップは、前記アシストする動作の初期において、前記センサ手段により検出される所定の能動関節の角速度が所定値を超える点を運動出発点として、前記アシストする運動の開始前の所定期間の特徴量を学習することでユーザの動作目的を推定するステップを含み、
推定された前記ユーザの動作目的に応じて、前記複数の制御方策を対応する重みで線形に組み合わせて、前記推定された動作目的に対応する混合制御則を導出するステップと、
導出された前記混合制御則に応じて、前記能動関節が発生する前記アシストトルクを制御するための制御信号を生成するステップとをさらに備える、動作支援方法。
【請求項7】
パートナーとの協調した運動において、ユーザの関節の運動をアシストするための動作支援装置であって、前記アシストを受ける前記ユーザの関節部に装着され、前記関節部へのアシストトルクを生成するアクチュエータ手段を有する能動関節と、
前記能動関節の状態を検出するためのセンサ手段と、
前記ユーザの関節の運動に対する前記ユーザの中枢からの指令に基づいて生成される生体由来信号を検出するための生体信号検知手段と、
前記パートナーを撮像する画像センサと、
前記能動関節が発生する前記アシストトルクを制御するための制御信号を生成する制御部とを備え、前記制御部は、
前記画像センサからの信号に基づいて、前記パートナーの動作目的を推定する動作目的推定手段と、
前記生体信号検知手段からの信号に基づいて、前記ユーザの運動開始意図を検出する動作意図推定手段と、
複数の離散的な動作目的にそれぞれ対応した最適制御のための複数の制御方策を特定する情報を予め記憶する記憶手段と、
推定された前記動作目的に応じて、前記複数の制御方策を対応する重みで線形に組み合わせて、前記推定された動作目的に対応する混合制御則を導出する混合手段と、
前記運動開始意図の検出に応答して、導出された前記混合制御則に応じて、前記アシストトルクを制御する信号を生成する制御信号生成手段とを含む、動作支援装置。
【請求項8】
前記動作目的推定手段は、撮像された前記画像センサの信号から、逆強化学習アルゴリズムにより、動作目的ラベルを生成し、前記混合手段は、前記動作目的ラベルに予め対応付けられている複数の制御方策を、対応する重みで線形に組み合わせる、請求項７記載の動作支援装置。
【請求項9】
前記混合手段は、線形ベルマン組合せ法により、前記推定された動作目的に対応する制御則を導出する、請求項７または８記載の動作支援装置。
【請求項10】
パートナーとの協調した運動において、外骨格型ロボットによってユーザの関節の運動をアシストするための動作支援方法であって、前記外骨格型ロボットは、前記アシストを受ける前記ユーザの関節部に装着され、前記関節部へのアシストトルクを生成するアクチュエータ手段を有する能動関節と、複数の離散的な動作目的にそれぞれ対応した最適制御のための複数の制御方策を特定する情報を予め記憶する記憶手段とを備えており、
前記パートナーを撮像する画像センサからの信号に基づいて、前記パートナーの動作目的を推定するステップと、
前記ユーザの関節の運動に対する前記ユーザの中枢からの指令に基づいて生成される生体由来信号を検出するための生体信号検知手段からの信号に基づいて、前記ユーザの運動開始意図を検出するステップと、
推定された前記パートナーの動作目的に応じて、前記複数の制御方策を対応する重みで線形に組み合わせて、前記推定された動作目的に対応する混合制御則を導出するステップと、
前記運動開始意図の検出に応答して、導出された前記混合制御則に応じて、前記能動関節が発生する前記アシストトルクを制御するための制御信号を生成するステップとを備える、動作支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザの動作を支援する動作支援装置の技術に関し、より特定的には、アクチュエータ装置を使用して、使用者（ユーザ）の行う運動を支援するパワーアシストロボットに関するものである。
【背景技術】
【0002】
日本をはじめ多くの国で少子高齢化社会が問題になる中、ロボティクス技術を応用したアシスト機器への要望が高まっている。一方、バランスや歩行が可能なロボットが開発されてきている。例えば、運動に必要な作用力を空間上の任意の複数接触点に最適に配分し，ヒトと同じように各関節のトルクを発生できるロボットが存在する（特許文献１参照）。
ロボット工学における最近の進歩によって、外骨格型ロボットのようなウェアラブルなロボットは、活動中の人間の運動と物理的に相互作用しつつ、運動を支援する、こととなるものと予想される。
ロボット工学における最近の進歩によって、外骨格型ロボットのようなウェアラブルなロボットは、活動中の人間の運動と物理的に相互作用しつつ、運動を支援する、こととなるものと予想される。
【0003】
たとえば、手の外骨格型ロボットおよび上半身と下半身の外骨格型ロボットが、研究されてきた（非特許文献１、２、３，４を参照）。
【0004】
このような外骨格型ロボットの制御には、いわゆる「モデル予測制御」を使用した技術なども報告されている（特許文献２を参照）。
【0005】
一方で、これらの応用に対しては、体表面の筋電計（ＥＭＧ）の使用は、ユーザの運動意図の評価により直観的にロボットを制御することが可能なアプローチになりえる（非特許文献５を参照）。
【0006】
図２２は、従来の制御方法である「回帰法」と「判別法」を対比して示す概念図である。
【0007】
外骨格型ロボットのようなアシスト装置をコントロールするために、回帰アプローチはユーザの運動意図を評価するためにしばしば使用されてきた。
【0008】
これらのアプローチでは、運動意図は、線形か非線形のモデルを備えた、ＥＭＧ信号と関節トルクの関係を見出すことにより評価されてきた（たとえば、非特許文献６を参照）。
【0009】
この方法では、ロボットは、連続的にモニターされた筋活動によってコントロールすることができる。
【0010】
ユーザの運動意図を評価する別の頻繁に用いられているアプローチとしては、判別法が使用される。
【0011】
例えば、サポートベクトルマシン（ＳＶＭ） あるいは線形の判別分析（ＬＤＡ）は人間のユーザから検知された、測定された情報を判別するために採用された（非特許文献７，８を参照）。
【0012】
判別結果は評価されたクラス・ラベルに関連した、あらかじめ設計されたコントロール出力パターンを開始するために使用される。
【0013】
一方で、上述のとおり、複数のＥＭＧチャンネルを使用して、さまざまなユーザー自身の運動意図が取得される例はあるものの、たとえば、日常的な産業応用の状況では、アシスト制御として、他者との交流や自動運転などのように周辺環境とのインタラクションなどでの利用が必要である。この場合、インタラクションする相手側の運動意図の検出が必要になる。
【0014】
なお、たとえば、人や車等の対象物の移動経路の選択をモデリングする手法として、逆強化学習（ＩＲＬ：Inverse Reinforcement Learning）と呼ばれる手法が利用されている例がある（例えば、特許文献３、特許文献４）。ＩＲＬでは、対象物の一例である人の移動の際に通る道や場所に潜在的なコストが存在し、人は経路全体で支払うコストの和が小さい経路をより高い確率で選択しやすくなると仮定してモデル化される。
【先行技術文献】
【特許文献】
【0015】
【文献】ＷＯ２００７／１３９１３５号公報
【0016】
【文献】特開２０１９－２５１０４号公報
【0017】
【文献】特開２０１８－１９７８９２号公報
【0018】
【文献】特開２０１９－８２７５５号公報
【非特許文献】
【0019】
【文献】J. Ngeo, T. Tamei, T. Shibata, M. Orlando, L. Behera, A. Saxena, and A. Dutta, “Control of an optimal finger exoskeleton based on continuous joint angle estimation from emg signals,”pp. 338-341, July 2013.
【0020】
【文献】C. J. Gearhart, B. Varone, M. H. Stella, and B. F. BuSha,“An effective 3-fingered augmenting exoskeleton for the human hand,” in 2016 38th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC),Aug 2016, pp. 590-593.
【0021】
【文献】J. Furukawa, T. Noda, T. Teramae, and J. Morimoto, “Estimating joint movements from observed emg signals with multiple electrodes under sensor failure situations toward safe assistive robot control,” in IEEE International Conference on Robotics and Automation (ICRA), May 2015, pp. 4985-4991.
【0022】
【文献】A. J. Young and D. P. Ferris, “State of the art and future directions for lower limb robotic exoskeletons,” IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 25,no. 2, pp. 171-182, Feb 2017.
【0023】
【文献】K. Nagata and K. Magatani, “Basic study on combined motion estimation using multichannel surface emg signals,” 33rd Annual International Conference of the IEEE EMBS Boston,Massachusetts USA, August 30 - September 3, pp. 7865-7868,2011.
【0024】
【文献】J. Furukawa, T. Noda, T. Teramae, and J. Morimoto, “Human movement modeling to detect biosignal sensor failures for myoelectric assistive robot control,” IEEE Transactions on Robotics, vol. PP, no. 99, pp. 1-12, 2017.
【0025】
【文献】M. A. Oskoei and H. Hu, “Support vector machine-based classification scheme for myoelectric control applied to upper limb,” IEEE Transactions on Biomedical Engineering, vol. 55, no. 8, pp. 1956-1965, Aug 2008.
【0026】
【文献】D. Zhang, X. Zhao, J. Han, and Y. Zhao, “A comparative study on pca and lda based emg pattern recognition for anthropomorphic robotic hand,” in 2014 IEEE International Conference on Robotics and Automation (ICRA), May 2014, pp. 4850-4855.
【発明の概要】
【発明が解決しようとする課題】
【0027】
しかしながら、判別法では、目標タスクに関連したアシスト制御のすべてが、あらかじめ計算されておく必要があるので、このようなアプローチを、制限のある個数の個別の目標タスクに使用することができるのみである。
【0028】
一方で、回帰アプローチでは、単純なＥＭＧに基づいた制御戦略に基づいて与えられたタスクを遂行するためには、人間のユーザは、事前に高度に調整されたＥＭＧプロファイルを自身で生成する必要がある。また、システム側の計算負荷も大きくなる。
【0029】
さらに、ユーザ単独での運動ではなく、ユーザとパートナーとの間の協調的な運動・作業をアシストする必要も想定されるものの、従来、このような協調的な運動に対するアシスト制御については、十分な検討がされているとは言えない状況である。
【0030】
本発明は、上記のような問題点を解決するためになされたものであって、その目的は、ユーザの事前の負担を軽減しつつ、ユーザの動作目的に適合した外骨格型ロボットの制御を可能とする動作支援装置および動作支援方法を提供することである。
【0031】
本発明の他の目的は、ユーザと他者との協調的な運動や作業において、ユーザの事前の負担を軽減しつつ、ユーザおよび他者の動作目的に適合した外骨格型ロボットの制御を可能とする動作支援装置および動作支援方法を提供することである。
【課題を解決するための手段】
【0032】
この発明の１つの局面に従うと、ユーザの関節の運動をアシストするための動作支援装置であって、アシストを受けるユーザの複数の関節部に装着され、関節部へのアシストトルクを生成するアクチュエータ手段を有する能動関節と、能動関節の状態を検出するためのセンサ手段と、ユーザの関節の運動に対するユーザの中枢からの指令に基づいて生成される生体由来信号を検出するための生体信号検知手段と、能動関節が発生するアシストトルクを制御するための制御信号を生成する制御部とを備え、制御部は、センサ手段および生体信号検知手段からの信号に基づいて、ユーザの動作目的を推定する動作目的推定手段を含み、動作目的推定手段は、アシストする動作の初期において、センサ手段により検出される所定の能動関節の角速度が所定値を超える点を運動出発点として、アシストする運動の開始前の所定期間の特徴量を学習することでユーザの動作目的を推定し、複数の離散的な動作目的にそれぞれ対応した最適制御のための複数の制御方策を特定する情報を予め記憶する記憶手段と、推定されたユーザの動作目的に応じて、複数の制御方策を対応する重みで線形に組み合わせて、推定された動作目的に対応する混合制御則を導出する混合手段と、導出された混合制御則に応じて、アシストトルクを制御する信号を生成する制御信号生成手段とをさらに含む。
【0033】
好ましくは、動作目的推定手段は、計測された記センサ手段および生体信号検知手段からの信号から、部分的最小二乗法アルゴリズムにより、低次元の特徴量空間の信号を生成して、動作目的ラベルを生成し、混合手段は、動作目的ラベルに予め対応付けられている複数の制御方策を、対応する重みで線形に組み合わせる。
【0034】
好ましくは、動作目的推定手段が推定する動作目的ラベルは、複数の離散的な動作目的を内挿するものである。
【0035】
好ましくは、混合手段は、線形ベルマン組合せ法により、推定された動作目的に対応する制御則を導出する。
【0036】
好ましくは、アクチュエータ手段は、空圧式エアマッスルを含む。
【0037】
この発明の他の局面に従うと、外骨格型ロボットによってユーザの関節の運動をアシストするための動作支援方法であって、外骨格型ロボットは、アシストを受けるユーザの複数の関節部に装着され、関節部へのアシストトルクを生成するアクチュエータ手段を有する能動関節と、複数の離散的な動作目的にそれぞれ対応した最適制御のための複数の制御方策を特定する情報を予め記憶する記憶手段とを備えており、能動関節の状態を検出するためのセンサ手段からの信号と、ユーザの関節の運動に対するユーザの中枢からの指令に基づいて生成される生体由来信号を検出するための生体信号検知手段からの信号とに基づいて、ユーザの動作目的を推定するステップを備え、ユーザの動作目的を推定するステップは、アシストする動作の初期において、センサ手段により検出される所定の能動関節の角速度が所定値を超える点を運動出発点として、アシストする運動の開始前の所定期間の特徴量を学習することでユーザの動作目的を推定するステップを含み、推定されたユーザの動作目的に応じて、複数の制御方策を対応する重みで線形に組み合わせて、推定された動作目的に対応する混合制御則を導出するステップと、導出された混合制御則に応じて、能動関節が発生するアシストトルクを制御するための制御信号を生成するステップとをさらに備える。
【0038】
この発明のさらに他の局面に従うと、パートナーとの協調した運動において、ユーザの関節の運動をアシストするための動作支援装置であって、アシストを受けるユーザの関節部に装着され、関節部へのアシストトルクを生成するアクチュエータ手段を有する能動関節と、能動関節の状態を検出するためのセンサ手段と、ユーザの関節の運動に対するユーザの中枢からの指令に基づいて生成される生体由来信号を検出するための生体信号検知手段と、パートナーを撮像する画像センサと、能動関節が発生するアシストトルクを制御するための制御信号を生成する制御部とを備え、制御部は、画像センサからの信号に基づいて、パートナーの動作目的を推定する動作目的推定手段と、生体信号検知手段からの信号に基づいて、ユーザの運動開始意図を検出する動作意図推定手段と、複数の離散的な動作目的にそれぞれ対応した最適制御のための複数の制御方策を特定する情報を予め記憶する記憶手段と、推定された動作目的に応じて、複数の制御方策を対応する重みで線形に組み合わせて、推定された動作目的に対応する混合制御則を導出する混合手段と、運動開始意図の検出に応答して、導出された混合制御則に応じて、アシストトルクを制御する信号を生成する制御信号生成手段とを含む。
【0039】
好ましくは、動作目的推定手段は、撮像された画像センサの信号から、逆強化学習アルゴリズムにより、動作目的ラベルを生成し、混合手段は、動作目的ラベルに予め対応付けられている複数の制御方策を、対応する重みで線形に組み合わせる。
【0040】
好ましくは、混合手段は、線形ベルマン組合せ法により、推定された動作目的に対応する制御則を導出する。
【0041】
この発明のさらに他の局面に従うと、パートナーとの協調した運動において、外骨格型ロボットによってユーザの関節の運動をアシストするための動作支援方法であって、外骨格型ロボットは、アシストを受けるユーザの関節部に装着され、関節部へのアシストトルクを生成するアクチュエータ手段を有する能動関節と、複数の離散的な動作目的にそれぞれ対応した最適制御のための複数の制御方策を特定する情報を予め記憶する記憶手段とを備えており、パートナーを撮像する画像センサからの信号に基づいて、パートナーの動作目的を推定するステップと、ユーザの関節の運動に対するユーザの中枢からの指令に基づいて生成される生体由来信号を検出するための生体信号検知手段からの信号に基づいて、ユーザの運動開始意図を検出するステップと、推定されたパートナーの動作目的に応じて、複数の制御方策を対応する重みで線形に組み合わせて、推定された動作目的に対応する混合制御則を導出するステップと、運動開始意図の検出に応答して、導出された混合制御則に応じて、能動関節が発生するアシストトルクを制御するための制御信号を生成するステップとを備える。
【発明の効果】
【0042】
この発明の動作支援装置および動作支援方法によれば、ユーザの事前の負担を軽減しつつ、ユーザの動作目的に適合した外骨格型ロボットの制御ができる。
【0043】
この発明の動作支援装置および動作支援方法によれば、ユーザと他者との協調的な運動や作業において、ユーザの事前の負担を軽減しつつ、ユーザおよび他者の動作目的に適合した外骨格型ロボットの制御が可能となる。
【図面の簡単な説明】
【0044】
【図1】上肢に対する外骨格型ロボットのブロック図の例である。
【図2】右上腕のための外骨格の運動学的な構成を示す図である。
【図3】実施の形態１の１自由度の空圧式アクチュエータシステムの構成を説明する図である。
【図4】本実施の形態の制御則（制御方策）による制御の概要を説明するための概念図である。
【図5】混合制御方策を決定するための手続きの流れを示す概念図である。
【図7】提案するアプローチを評価するための具体的な運動タスクを示す概念図である。
【図8】筋活動を測定されたＥＭＧ電極のユーザの体表面での位置を示す図である。
【図9】最適制御方策によって生成された状態遷移のシミュレーション結果を示す図である。
【図10】２ｍのゴールシュートのために、最適制御方策の混合方法から得られた方策における状態遷移を示す図である。
【図11】ＰＬＳ法および対応するユーザの動作目的によって得られた１人の被験者の特徴量の代表的な傾向を示す図である。
【図12】ボールが投げられた１０回の試行の間に生成されたすべてのＥＭＧ信号の平均および標準偏差、%最大随意収縮を示す図である。
【図13】各被験者によって、条件の各々の中でボールを１０回投げる場合、ゴールシュート率を示す図である。
【図14】実施の形態２の外骨格ロボットの制御手法を説明するための概念図である。
【図15】実施の形態２の上肢に対する外骨格型ロボットのブロック図の例を示す図である。
【図16】実施の形態２の制御器１３４の構成を説明するための機能ブロック図である。
【図17】実験を実施したバスケットボールのパス運動のタスクを示す概念図である。
【図18】パートナーが始点から目標位置に向かって移動したときの混合比の時系列平均と標準偏差を示す図である。
【図19】本制御法とアシストなしの制御とで、ＥＭＧ信号の振幅の総和を比較する図である。
【図20】パートナーがボールをキャッチした際のパートナーの顔中心からキャッチ位置を示す図である。
【図21】パートナーがボールをキャッチした際のパートナーの顔中心からキャッチ位置を示す別の図である。
【図22】従来の制御方法である「回帰法」と「判別法」を対比して示す概念図である。
【発明を実施するための形態】
【0045】
以下、本発明の実施の形態の外骨格型ロボットを用いたアシスト装置の構成について、図に従って説明する。なお、以下の実施の形態において、同じ符号を付した構成要素および処理工程は、同一または相当するものであり、必要でない場合は、その説明は繰り返さない。
【0046】
また、外骨格型ロボットの関節を駆動するためのアクチュエータとしては、一例として、以下に説明する「空圧式アクチュエータ（空気圧人工筋）」を例として説明する。
【0047】
そこで、以下、本実施の形態において、上肢の運動のアシストのための外骨格型ロボットについて説明する。
【0048】
ただし、本発明の外骨格型ロボットは、上肢の運動をアシストするための外骨格型ロボットに対してだけでなく、下肢の運動をアシストする外骨格型ロボットとしても使用することが可能である。
【0049】
また、以下の説明では、上肢の一方としての運動をアシストする外骨格型ロボットについて説明するが、上肢の一対、または、下肢のうちのいずれか一方又は一対の運動をアシストする外骨格型ロボットとして使用することも可能である。
【0050】
さらに、本発明の外骨格型ロボットは、対象となる人間の筋骨格系の運動をアシストするのであれば、上述したような「上肢のうちの少なくともいずれか一方、または、下肢のうちの少なくともいずれか一方の運動」に限定されるものではなく、たとえば、対象となる人間の腰の運動のみをアシストするものであってもよいし、歩行または走行時において下肢の運動と連動して腰の運動をアシストするものであってもよい。本明細書では、このような対象となる人間の運動のアシストを総称して、「対象となる人間の筋骨格系運動の支援」と呼ぶことにする。
【0051】
本実施の形態の外骨格型ロボットは、外骨格を有する。「外骨格」とは、人間の骨格構造に対応してロボットが有する骨格構造のことである。より特定的には、「外骨格」とは、外骨格型ロボットを装着する人間の体の一部を、外部から支えるフレーム（枠組み）構造のことをいう。
【0052】
このフレーム構造には、さらに、フレーム構造の各部を人間の骨格構造に基づく運動に応じて動かすための関節が設けられる。
【0053】
特に、上肢の運動をアシストする外骨格型ロボットは、肩部、肘部、手首部とを有し、少なくとも肩、肘、手首の位置に、関節を有するロボットである。また、当該関節は、空圧式アクチュエータ駆動の関節とできる。以下、このように、外骨格型ロボットにおいて、ユーザの関節に対してサポート力を与えるためにアクチュエータにより駆動される関節のことを「能動関節」と呼ぶ。また、ユーザの動きにより受動的に動く関節を「受動関節」と呼ぶ。
【0054】
[実施の形態１]
図１は、上肢に対する外骨格型ロボットのブロック図の例である。
図１は、上肢に対する外骨格型ロボットのブロック図の例である。
【0055】
外骨格型ロボット４０を制御するためのコマンドが、外部制御装置２０から、通信経路を介して外骨格型ロボットに与えられる。特に限定されないが、外部制御装置２０は、汎用のパーソナルコンピュータを用いることが可能であり、通信経路としては、イーサネット（登録商標）ケーブルを用いることができる。もちろん、通信経路としては、その他の規格の有線通信の経路の他、無線による通信経路、たとえば、無線ＬＡＮ（Local Area Network）や他の通信規格の無線などを使用してもよい。
【0056】
外部制御装置２０は、ユーザからの指示入力を受ける入力部２０８と、コマンドを生成するためのプログラムや、様々な制御パラメータなど制御のために必要とされるデータが記録された不揮発性の記憶装置２０６と、外部制御装置２０を起動するためのファームウェアが記憶されたＲＯＭ（Read Only Memory）や、ワーキングメモリとして動作するＲＡＭ（Random Access Memory）などを含むメモリ２０４と、プログラムに応じて、コマンドを生成する処理を実行する演算装置２１０と、コマンドを通信経路を介して、外骨格型ロボットに送信するためのインタフェース（Ｉ／Ｆ）部２０２と、演算装置２１０の制御の下で、外骨格型ロボット１への制御の状態に関する情報などを表示するための表示装置２１２とを備える。
【0057】
上述のとおり、外部制御装置２０が、汎用のパーソナルコンピュータである場合は、演算装置２１０は、ＣＰＵ（Central Processing Unit）で構成され、不揮発性の記憶装置２０６としては、ハードディスクドライブやソリッドステートドライブなどを用いることができる。ただし、外部制御装置２０の機能ブロックの一部または全部は、専用のハードウェアにより構成されてもよい。
【0058】
また、外部制御装置２０は、たとえば、外骨格型ロボットが装着される使用者について、検知される関節角度や収縮力から関節トルクを推定するためのモデルをキャリブレーション時に構成する処理を行う。
【0059】
外骨格型ロボットは、さらに、外骨格部１２１と内部制御装置１０を備える。なお、図では、右腕の外骨格部１２１のみを例示している。
【0060】
外骨格部１２１は、上肢の上腕、前腕および掌にそれぞれ対応するフレームと、能動関節１２２、受動関節１２３、検出機構１２４を備える。さらに、能動関節１２２は、肩部の関節ＳＦＥと、肘部の関節ＥＦＥとを含む。能動関節は、後に説明するように、エアマッスル（図示せず）から駆動力伝達ケーブルにより伝達される収縮力により駆動されるプーリー（図示せず）を備える。また、前腕には、受動関節ＷＲが設けられる。
【0061】
つまり、能動関節１２３は、エアマッスルからの駆動力を受けるハイブリッド型アクチュエータである。なお、アクチュエータは、制御目標値となるトルク値を駆動信号として受け付け、受け付けたトルク値に基づいて制御する機能を有している。たとえば、能動関節１２３にトルクセンサを配設し、当該トルクセンサにより検出した値を駆動回路にフィードバックすることにより、高精度のトルク制御を可能とすることもできる。
【0062】
また、内部制御装置１０は、Ｉ／Ｆ部１１、記録装置１３１、記憶装置 １３２、計測装置１３３、制御部１３４、出力装置１３５を備える。
【0063】
Ｉ／Ｆ部１１は、外部制御蔵置２０から指令されたトルクまたは位置指令等を受け付けることができる。
【0064】
検出機構１２４は、各関節の関節角度や各関節に係るトルクを検知する。検出機構１２４は、例えば、各関節に配置された関節角度を検出する角度センサや、各エアマッスルの駆動力を検知するロードセルなどである。また、検出機構１２４は、後述するように、ユーザの体表面に装着された電極からの信号により、筋電信号を検出する。
【0065】
なお、以下では、ユーザの関節の運動に対するユーザの中枢からの指令に基づいて生成される生体由来信号として、筋電信号を例にとって説明する。ただし、たとえば、このような生体由来信号としては、脳波や、脳に対する近赤外検出信号（ＮＩＲＳ信号：Near Infrared Spectroscopy信号）など、他の信号を使用してもよい。
【0066】
内部制御装置１０は、能動関節１２３を動作させる。内部制御装置１０は、Ｉ／Ｆ部１１が受け付けた目標トルクまたは位置指令等に対応して、能動関節１２３を動作させる。
【0067】
計測装置１３３は、センサ等の検出機構１２４から検出結果を示す様々な信号（データ）を受け付ける。制御部１３４は、制御目標値の算出等の様々な演算を行う。
【0068】
出力装置１３５は、駆動部３０に制御信号を出力する。出力装置１３５は、例えば、目標とするエアマッスルの圧力値をエアバルブ３４に出力してエアマッスル３６を駆動する。コンプレッサ４０により圧縮されエアタンク３２に蓄えられた圧縮空気が、エアバルブ３４経由で、エアマッスル３６に供給されて、エアマッスル３６の収縮力が駆動力伝達ケーブルにより駆動力として能動関節に伝達される。
【0069】
電源５０は、内部制御装置１０や駆動部３０に電源を供給する。
【0070】
駆動部３０と電源５０は、たとえば、地上に固定されていてもよいし、あるいは、被験者が車椅子に乗っている場合は、車椅子の後部などに搭載されてもよい。
【0071】
また、「駆動力伝達ケーブル」とは、自転車のブレーキ機構にも用いられるような、外被ケースの中に金属製のワイヤーを通すことで、可撓性を有しつつ、力の伝達が可能なボーデンケーブルを用いることができる。以下では、駆動力伝達ケーブルが、ボーデンケーブルであるものとして説明する。
【0072】
また、内部制御装置１０、駆動部３０および電源５０とは、一体のコントローラユニット１として、たとえば、上述したような車椅子の後部などに搭載されてもよい。
【0073】
また、上述したような空圧式エアマッスルは軽量であり、圧縮空気（または圧縮気体：以下、総称して「圧縮流体」と呼ぶ）のエネルギーをゴムチューブにより収縮力に変換することにより大きな力を生み出すことができる。
【0074】
エアマッスルが、力を発生させる原理は、空圧式の空気袋が埋め込まれたらせん状のファイバーが、圧縮空気が送り込まれて空気袋が膨張すると、長手方向（縦方向）に収縮するというものである。
【0075】
より詳しく説明すると、両端部に栓をしたゴムチューブに対して、動径方向を拘束するよう、表面にらせん状にまかれたファイバーを被せた構造になっている。このゴムチューブの中に空気を送り込むと、空気の圧力でゴムチューブが膨張する。しかし、動径方向はファイバーによって拘束されているため膨張できず、径方向の膨張に引っ張られて縦方向に収縮する。膨らみながら収縮する様が動物の筋肉に似ているところが人工筋肉と呼ばれる。
【0076】
アクチュエータ自体が軽く、柔らかい。さらに、ゴムチューブの内面全体がアクチュエータの収縮に寄与するため、断面積のみで圧力を受ける構造になっている一般的なエアシリンダー等よりも、パワー・ウェイト・レシオを大きく取りやすい。
【0077】
なお、「空気袋」は、流体により膨張ないし収縮運動をするものであれば、袋中に流入するものは、空気に限られないので、より一般には、「流体袋」と表現する。
【0078】
そこで、空圧式エアマッスルを、「空気圧人工筋」とも呼ぶこととし、より一般的には、空気以外の流体の場合を含む場合は、「流体圧人工筋」と呼ぶことにする。
【0079】
ただし、以下では、具体例として、空圧式エアマッスルを例にとって説明する。
【0080】
図２は、右上腕のための外骨格の運動学的な構成を示す図である。
【0081】
図２（ａ）に示すように、外骨格の肩と肘の能動関節部は、ボーデンケーブルを備えた空気圧人工筋（PAM）によって動力が供給される。
【0082】
後述するように、制御部１３４は、算出された最適方策（混合制御方策）にしたがって、外骨格型ロボットの上肢２つの関節をコントロールする。
【0083】
肩の能動関節は、ユーザの肩の屈曲運動/拡張運動（Shoulder E/F）をアシストし、肘の能動関節は、ユーザの肘の屈曲運動/拡張運動（Elbow E/F）をアシストする。
【0084】
図２（ａ）の中で描かれるように、ロボットにはあと２つの自由度として、肩の外転/内転（Shoulder A/A）および手首の屈曲運動/内転運動（Wrist E/F）がある。ただし、図２（ａ）の構成では、これらは自由な関節（受動関節）である。
【0085】
図２（ｂ）は、このような上肢用の外骨格型ロボットの外観を示す。
［１自由度の空圧式アクチュエータ］
以下では、本実施の形態の空圧式アクチュエータの構成と動作を説明するために、１自由度の空圧式アクチュエータを例として説明する。
［１自由度の空圧式アクチュエータ］
以下では、本実施の形態の空圧式アクチュエータの構成と動作を説明するために、１自由度の空圧式アクチュエータを例として説明する。
【0086】
図３は、実施の形態１の１自由度の空圧式アクチュエータシステムの構成を説明する図である。
【0087】
２つの拮抗する空圧式エアマッスル３０２ａおよび３０２ｂは、拮抗する収縮力を生成し、この収縮力は、ボーデンケーブル３１０ａおよび３１０ｂ内の内側ワイヤー３０８ａおよび３０８ｂにより、プーリー３２０にそれぞれ伝達される。
【0088】
ボーデンケーブルは、内側ワイヤーおよび柔軟な外側ケースから成る。ボーデンケーブルを力の伝達に用いることにより、人間に装着される外骨格型ロボット４０の重量を減らし、ロボットの骨組みの構造上のスペースを節約できる。
【0089】
プーリー３２０でのトルクτは、空圧式エアマッスルのトルク（τPAM)である。
【0090】
なお、必要に応じて、プーリー３２０に電動モータを接続する構成とすることも可能である。電動モータのトルクと空圧式エアマッスルの時間応答性により、空圧式エアマッスルは、重力補償か低周波トルク生成用の大きなトルクをカバーし、モータは、高周波トルクをカバーするものの、そのトルクは、バックドライバビリティのために、低い減速歯車で小さくする、という構成とすることも可能である。
【0091】
空圧式エアマッスルが納められる外部フレームの底部と、空圧式エアマッスル３０２ａおよび３０２ｂの下端との間には、空圧式エアマッスルの収縮力を検知するためのロードセル３０４ａおよび３０４ｂがそれぞれ設けられる。
［制御則（制御方策）による制御の概要］
図４は、本実施の形態の制御則（制御方策）による制御の概要を説明するための概念図である。
［制御則（制御方策）による制御の概要］
図４は、本実施の形態の制御則（制御方策）による制御の概要を説明するための概念図である。
【0092】
後述するように、制御部１３４による空圧式エアマッスルの制御にあたっては、事前にあらかじめ複数個の離散的な動作目的（動作目的＃１～＃ｎ）に対して最適化されたアシスト制御則を準備する。このようなアシスト制御則を特定するための情報が、予め記憶装置１３２に格納されているものとする。
【0093】
制御部１３４は、後述するように、筋電信号等に基づいて、ユーザの動作目的（動作目的＃１～＃ｎ自体に限られず、それらの中間的な目的でもよい）を推定し、予め準備された最適制御則が、外骨格型ロボットのための連続的な最適制御出力を生成するために線形のベルマン組合せ法を使用して組み合わせられる。
【0094】
このような「線形のベルマン組合せ法」については、たとえば、以下の文献に開示がある。
【0095】
文献１：M. da Silva, F. Durand, and J. Popovic, “Linear bellman combination for control of character animation,” 2009, pp.82:1-82:1０．
このような制御方法では、ユーザの動作によって引き起こされた測定データから評価された与えられたタスクに対して最適方策を、後述するように線形のベルマン組合せ法によって「混合制御則（混合制御方策）」として導出するので、人間のユーザは、事前に自分のＥＭＧ信号を注意深く生成しておかなくとも、多様な動作目的に対応した制御を実施することが可能である。
このような制御方法では、ユーザの動作によって引き起こされた測定データから評価された与えられたタスクに対して最適方策を、後述するように線形のベルマン組合せ法によって「混合制御則（混合制御方策）」として導出するので、人間のユーザは、事前に自分のＥＭＧ信号を注意深く生成しておかなくとも、多様な動作目的に対応した制御を実施することが可能である。
【0096】
更に、与えられたタスクに対して、対応する最適方策を導出するために、あらかじめ最適化された複数の制御則を単に組み合わせるだけであるので、本実施の形態の制御のためのアプローチは計算負荷が軽く、容易にリアル・タイムの方策を導出することができる。
（制御方法）
以下では、ユーザの動作目的を支援する混合制御方策を決定するためのアプローチについて説明する。
（制御方法）
以下では、ユーザの動作目的を支援する混合制御方策を決定するためのアプローチについて説明する。
【0097】
図５は、このような混合制御方策を決定するための手続きの流れを示す概念図である。
【0098】
【0099】
（A. ユーザの動作目的評価）
図５および図６を参照して、演算装置２１０または制御部１３４は、ユーザの動作目的の連続的な変更に対処するために、あらかじめ最適化されたコントロール出力をいかに組み合わせるかを決定するために、低次元の特徴量空間を最初に見出しておくものとする。
図５および図６を参照して、演算装置２１０または制御部１３４は、ユーザの動作目的の連続的な変更に対処するために、あらかじめ最適化されたコントロール出力をいかに組み合わせるかを決定するために、低次元の特徴量空間を最初に見出しておくものとする。
【0100】
この実施の形態では、タスクに関連した低次元の特徴量空間を見出すために、部分的最小二乗法（ＰＬＳ）アルゴリズムを使用する。
【0101】
このような部分的最小二乗法については、以下の文献に開示がある。
【0102】
文献２：H. Wold, “Soft modeling by latent variables: the nonlinear iterative partial least squares approach,” in Perspective in Probability and Statistics, Paper in Honour of M. S. Bartlett,pp. 520-540, 1975.
文献３：S. Wold, M. Sjostrom, and L. Eriksson, “Pls-regression: a basic tool of chemometrics,” Ｃｈemometrics and Intelligent Laboratory Systems, vol. 2, pp. 109-130, 2001.
まず、動作目的ラベルｙに関連付けられたユーザの状態ψ＝［ξ１, ξ２, …, ξm］？が観測される。
文献３：S. Wold, M. Sjostrom, and L. Eriksson, “Pls-regression: a basic tool of chemometrics,” Ｃｈemometrics and Intelligent Laboratory Systems, vol. 2, pp. 109-130, 2001.
まず、動作目的ラベルｙに関連付けられたユーザの状態ψ＝［ξ１, ξ２, …, ξm］？が観測される。
【0103】
ここで、ｎサンプル分の時間経過に従うユーザの状態ψおよび動作目的ラベルｙの訓練用のデータセットを以下のように規定する。
【0104】
【数1】
【0105】
ＰＬＳアルゴリズムにおいては、与えられたサンプル・セットに対して、ψiとyiとのサンプル共分散が、特徴空間において最大限にされるように、ｊ次元の特徴量空間への射影行列Ｗ∈Ｒm×jが、以下のように決定される。
【0106】
【数2】
【0107】
オリジナルのｍ次元の特徴量空間からｊ次元の空間（ｊ＜ｍ）への射影は、以下のように行なうことができる。
【0108】
【数3】
【0109】
上述したように、部分空間がクラス・ラベルの共分散を考慮して決定されるので、ラベル情報を反映した低次元の特徴を得ることができる。
【0110】
この実施の形態では、ユーザの動作目的は、低次元の特徴μとラベルyの間の回帰モデルによって直接評価されることになる。
なお、特に限定されないが、推定される動作目的としては、事前に設定された動作目的を内挿するような動作目的であることが望ましい。
なお、特に限定されないが、推定される動作目的としては、事前に設定された動作目的を内挿するような動作目的であることが望ましい。
【0111】
評価された動作目的ラベルy（ハット：以下、文字Ｘの頭部に＾が付されたものは推定値であることを示し、「Ｘ（ハット）」と表記するものとする）は、式（３）の中の線形のベルマン組合せに対する係数wiを決定するために使用される。
【0112】
混合の重みが０と１の間の重みwiとして、y（ハット）を写像するために、以下のようにシグモイド関数を使用する。
【0113】
【数4】
【0114】
ここで、a（＞０）およびbは、実験によって事前に調整されたパラメータである。
（B. 運動意図に基づいた最適制御）
この実施の形態では、ユーザの動作目的に従って、制御方策を以下のように導出する。
（B. 運動意図に基づいた最適制御）
この実施の形態では、ユーザの動作目的に従って、制御方策を以下のように導出する。
【0115】
【数5】
【0116】
ここで、π*'は、最終の動作目的を達成するための最適制御方策（混合制御方策）を示し、ｘは状態変数を示し、ψはユーザの動作目的を反映する。
【0117】
そこで、制御器１３４は、ユーザの動作目的を達成する最適方策を見つける処理を以下のようにして実行する。
【0118】
なお、一見すると、単純な方法は、ユーザの最終動作目的に対応する目的関数を設定し、かつそれを最適化することである。しかしながら、目標を達成する制御器を生成することは、通常は、最適化のためには、経験に基づいて時間を要する手動調整あるいはコスト集約的な計算上の負荷のいずれかを要する。さらに、目標が連続的に変わる場合、各目標に対応する制御器を生成するのは難しい。
【0119】
したがって、制御器１３４は、以下のようにそれらを組み合わせることにより新しい目的のために得られた最適な制御方策を使用して、空圧式アクチュエータを制御する。
【0120】
【数6】
【0121】
ここで、α（x、t）は混合係数である。また、π＊
nは、コスト関数（あるいは目的関数）v（・）を以下のようにして最小化することにより得られた、n番目の動作目的タスクに対応する要素であるサブ最適制御方策を示す。
【0122】
【数7】
【0123】
ここで、ｇ（・）およびl（・）は、終端コストおよび瞬時コストをそれぞれ示す。
【0124】
終端コストは、最終状態での位置誤差等を表し、瞬時コストは、動作途中におけるトルク変化の状態などを示す。
【0125】
式（５）の終端コストｇ（x（T））を除く、すべての設定を共有するN個の有限なホライズン制御を収集することが可能であると仮定すると、線形ベルマン組合せ法を使用することができ、α（x、t）を以下の式（７）のように書くことができる。
【0126】
このような「線形ベルマン組合せ法」については、上述した文献１の他に、以下の文献に開示がある。
【0127】
文献４：E. Todorov, “Compositionality of optimal control laws,” 2009, pp. 1856-1864.
【0128】
【数8】
【0129】
ここで、zi（x, t）＝exp（－v*（x, t））, v* （x, t） = vπ* （x, t）は、現在の状態に対する方策の実現可能性を示し、wiは制御器の目標を決定するための固定の重み係数である。
【0130】
サブ最適制御方策π*
nの各々を導出するために、最適制御として、反復する線形二次レギュレータ法（iLQR）を以下のように記述された非線形システムの動力学に使用する。
【0131】
【数9】
【0132】
ここで、xは状態を示し、uは入力を示す。
【0133】
このような「線形二次レギュレータ法（iLQR）」については、以下の文献に開示がある。
【0134】
文献５：E. Todorov, C. Hu, A. Simpkins, and J. Movellan, “A generalized iterative lqg method for locally-optimal feedback control of constrained nonlinear stochastic systems,” 2005, pp. 300-306.
最適化に関する問題は、目的関数（５）を最小化する最適制御方策π＊を見つけることである。制御方策は以下のように計算される。
最適化に関する問題は、目的関数（５）を最小化する最適制御方策π＊を見つけることである。制御方策は以下のように計算される。
【0135】
【数10】
【0136】
ここで、kはサンプリング番号であり、Δtはサンプリング時間である。
【0137】
iLQR法の反復はそれぞれ、名目上のコントロール・シーケンスu（バー）（t）（以後、文字Ｘの頭部に－が付されたものは、「Ｘ（バー）」と表記する）および対応する軌道x（バー）（t）から始まり、x（バー）（０）についての運動方程式（８）に、u（バー）（t）を適用することにより得られる。
【0138】
iLQR法は、システム・ダイナミックスの線形化、および名目上のコントロール・シーケンスu（バー）（k）のまわりの目的関数および対応する名目上の軌道x（バー）（k）に対する２次までの近似により、非線形のシステムに対する最適化問題を解くというものである。
【0139】
したがって、iLQR法では、リッカチ方程式を使用して問題が解かれ、制御則δu（k）は、以下のようになる。
【0140】
【数11】
【0141】
ここで、δx（k）=ｘ（ｋ）－ｘ（ｋ）（バー）であり、ｌ（ｋ）＝－Ｈ-1（k）g（ｋ）は、開ループ項であり、Ｌ（ｋ）＝－Ｈ（ｋ）-1Ｇ（ｋ）は、フィードバック項である。
（実験装置の構成）
以上説明したようなアプローチを検証するために、インフォームド・コンセントを得た後、３人の健康な右利きの被験者に対して実験を行った。
（A. 上肢外骨格型ロボット）
このロボット実験では、最適方策は外骨格型ロボットの上肢２つの関節をコントロールするために導出された。
（実験装置の構成）
以上説明したようなアプローチを検証するために、インフォームド・コンセントを得た後、３人の健康な右利きの被験者に対して実験を行った。
（A. 上肢外骨格型ロボット）
このロボット実験では、最適方策は外骨格型ロボットの上肢２つの関節をコントロールするために導出された。
【0142】
関節トルクは、空圧式アクチュエータ（PAM）によって以下のように生成される。
【0143】
【数12】
【0144】
ここで、rはプーリーの半径であり、fpamは、空気袋に埋め込まれていた螺旋状のファイバーのパス方向の短縮によって生成された空気圧人工筋の力である。
【0145】
機械的な設計および圧力力モデルの詳細は、発明者らの先行する以下の論文において紹介されている。
【0146】
文献６：J. Furukawa, T. Noda, T. Teramae, and J. Morimoto, “Human movement modeling to detect biosignal sensor failures for myoelectric assistive robot control,” IEEE Transactions on Robotics, vol. PP, no. 99, pp. 1-12, 2017.
この実施の形態では、２リンク・ロボット・モデルの動力学を考慮する。
この実施の形態では、２リンク・ロボット・モデルの動力学を考慮する。
【0147】
ユーザの運動を支援する制御方策を導出するときに、動力学を人間とロボットのシステムとして以下のように見なす。
【0148】
１）ユーザのリンクの重量は、被験者の身体パラメータから計算されたリンク質量の重心がロボット・リンク重量に加えられる。
【0149】
２）動力学方程式（８）において、状態変数ｘは、関節角度θ、角速度θ（ドット：以下、変数Ｘの時間微分は、変数Ｘの頭部に・を付すことにより表すものとし、「Ｘ（ドット）」と表記する）、計測されたエアマッスルの内部圧力である空気圧人工筋ＰＡＭの圧力 Ｐを含んでおり、以下のようにあらわされるものとする。
【0150】
x = ［θ１, θ２, θ１（ドット）, θ２（ドット）,P１, P２ ］？
ここで、右下の添字１および２は、肩の関節と肘の関節をそれぞれ表わす。
ここで、右下の添字１および２は、肩の関節と肘の関節をそれぞれ表わす。
【0151】
制御出力ｕは空圧アクチュエータに対する目標圧力Ｐrefであり、以下のようにあらわされる。
【0152】
u= ［Pref１,Pref２］？
目標圧力Ｐrefと測定された内部圧力Ｐの間の動力学は、空気力学により非線形であるものの、一次遅れのシステムにより、以下のように、この動力学を近似することができる。
目標圧力Ｐrefと測定された内部圧力Ｐの間の動力学は、空気力学により非線形であるものの、一次遅れのシステムにより、以下のように、この動力学を近似することができる。
【0153】
【数13】
【0154】
ここで、tcは時定数で、以下のように設定される：
【0155】
【数14】
【0156】
さらに、最大圧力は安全性のために０．８MPaに設定される。
【0157】
最小化のための終端コストｇ（・）は以下のように設定される。
【0158】
【数15】
【0159】
あるいは、行列として正確に表記すると以下の通りである。
【0160】
【数16】
【0161】
ここで、後述するようなバスケットボールを投げるタスクに対しては、ボールをリリースする時点でびＴは最終時間であり、θtargetはターゲット角であり、θtarget（ドット）は、目標角速度であって、目標距離に応じて計算される。
【0162】
瞬時のコストl（・）は、以下のように設定された：
【0163】
【数17】
【0164】
ここでも、行列として正確に表記すると以下の通りである。
【0165】
【数18】
【0166】
ここで、Ca、Cv、Cp、Cpdは、通常の最適制御での実施の際のように、実験により手動で選択されるものとできる。
（B. 運動タスク）
図７は、提案するアプローチを評価するための具体的な運動タスクを示す概念図である。
（B. 運動タスク）
図７は、提案するアプローチを評価するための具体的な運動タスクを示す概念図である。
【0167】
図７に示すように、運動タスクとして、バスケットボールのゴールシュートを設定する。
【0168】
このタスクでは、被験者は、着席状態でアンダーハンドでの運動でバスケットボールを投げ、ゴールの距離は１ｍ、２ｍ、３ｍまで変更された。
【0169】
被験者は、それらの腕だけでボールを投げるように指示され、２つの条件の下のボールを投げるように依頼された;
・外骨格型ロボットを装着するものの無アシスト（NA）状態
・外骨格型ロボットを着用してアシストされる（A）状態
被験者は、各状態でボールを１０回投げた。
・外骨格型ロボットを装着するものの無アシスト（NA）状態
・外骨格型ロボットを着用してアシストされる（A）状態
被験者は、各状態でボールを１０回投げた。
【0170】
ボールのリリースのタイミングを測定するために、１つの触覚センサーが被験者の中指の先端に付けられた。
（C. PLS法に基づいた特徴選択およびパラメータ同定）
ユーザのごく初期の運動からの動作目的を評価するために、整流されフィルタ処理されたＥＭＧ信号ｅと、肩および肘の関節の角度、並びに肩と肘関節によって生成された角速度が、特徴量として使用される。したがって、以下のような１２次元の特徴量が使用される。
（C. PLS法に基づいた特徴選択およびパラメータ同定）
ユーザのごく初期の運動からの動作目的を評価するために、整流されフィルタ処理されたＥＭＧ信号ｅと、肩および肘の関節の角度、並びに肩と肘関節によって生成された角速度が、特徴量として使用される。したがって、以下のような１２次元の特徴量が使用される。
【0171】
ψ = ［ｅ１,ｅ２,ｅ３,ｅ４,ｅ５,ｅ６,ｅ７,ｅ８,θ１,θ２,θ１（ドット）,θ２（ドット）］T
筋電信号（ＥＭＧ）信号は被験者の右の腕から測定された。
筋電信号（ＥＭＧ）信号は被験者の右の腕から測定された。
【0172】
図８は、筋活動を測定されたＥＭＧ電極のユーザの体表面での位置を示す図である。
【0173】
筋電信号は、８個のセンサー・チャンネル（Ｃｈ１：ｅ１、Ｃｈ２：ｅ２、Ｃｈ３：ｅ３、Ｃｈ４：ｅ４、Ｃｈ５：ｅ５、Ｃｈ６：ｅ６、Ｃｈ７：ｅ７、Ｃｈ８：ｅ８）を使用して計測された。
【0174】
各チャンネルと計測する筋肉との関係は、以下のとおりである。
【0175】
Ｃｈ１：三角筋前面部
Ｃｈ２：上腕二頭筋
Ｃｈ３：三角筋背面部
Ｃｈ４：三頭筋
Ｃｈ５：尺側手根屈筋
Ｃｈ６：橈側手根屈筋
Ｃｈ７：橈側手根伸筋
Ｃｈ８：尺側手根伸筋
Aｇ/AｇClのバイポーラの表面ＥＭＧ電極を使用することができる。
Ｃｈ２：上腕二頭筋
Ｃｈ３：三角筋背面部
Ｃｈ４：三頭筋
Ｃｈ５：尺側手根屈筋
Ｃｈ６：橈側手根屈筋
Ｃｈ７：橈側手根伸筋
Ｃｈ８：尺側手根伸筋
Aｇ/AｇClのバイポーラの表面ＥＭＧ電極を使用することができる。
【0176】
上肢外骨格型ロボット・システムのエンコーダを使用して、同時に肩と肘関節の角度および角速度を同時に取得される。
【0177】
バスケットボールのゴールへのシュートの運動中に、肩関節の角速度がしきい値を越えるポイントは、運動出発点として定義される。
【0178】
これは、予備的な試験から、このタスクにおいては、肩関節は、肘より早く運動する傾向が、観察されたからである。
【0179】
さらに、しきい値は予備的な試験から０．２に設定された。
【0180】
特に限定されないが、たとえば、運動開始前の数十ミリセカンドの各データの平均値が特徴値ψとして使用される。
【0181】
特に、ＥＭＧ信号は、実際の手足動作に６０-１００ミリセカンド先立って活性化され、この遅れはトレーニング・データの交差検証によって設定される。
【0182】
この実施の形態では、ゴールが知られていると仮定して、ゴールを１ｍおよび３ｍ分だけ離れてシュートするために、外骨格型ロボットが運動を支援したとき、センサー値はトレーニング・データとして取得された。
【0183】
対応するラベル y = １およびy = ３（１： １ｍのスロー、３： ３ｍのスロー）で、ＰＬＳによって一次元の特徴μ∈Rを計算するための射出行列Ｗが導出された。
（結果）
以下では、最初にシミュレーション結果を示し、続いて、ユーザの動作目的評価に基づくオンライン・アシスト制御の結果を示す。
（A. シミュレーション結果）
図９は、最適制御方策によって生成された状態遷移のシミュレーション結果を示す図である。
（結果）
以下では、最初にシミュレーション結果を示し、続いて、ユーザの動作目的評価に基づくオンライン・アシスト制御の結果を示す。
（A. シミュレーション結果）
図９は、最適制御方策によって生成された状態遷移のシミュレーション結果を示す図である。
【0184】
最終時点のリリース・ポイントでの目標と生成された角度の間の誤差、および角速度の誤差は、以下のとおりであった：
１ｍのボール・スロー状態では、肩関節角度は０．００３radであり、角速度は０．０３４rad/sであり、肘関節角度は０．００３radである、角速度は０．０１３rad/sであった。
一方で、３ｍのボール・スロー状態では、肩関節角度は０．００７６radであり、角速度は０．００６６rad/sであり、肘関節角度は０．００２３radであり、角速度は０．００３６rad/sである。
１ｍのボール・スロー状態では、肩関節角度は０．００３radであり、角速度は０．０３４rad/sであり、肘関節角度は０．００３radである、角速度は０．０１３rad/sであった。
一方で、３ｍのボール・スロー状態では、肩関節角度は０．００７６radであり、角速度は０．００６６rad/sであり、肘関節角度は０．００２３radであり、角速度は０．００３６rad/sである。
【0185】
同様の結果は、他のユーザの中の運動に対しても取得され、ユーザ間の誤差は小さかった。
【0186】
これらの結果から、バスケットボールのリリース・ポイントに必要な目標状態を実現させるための最適制御方策を得ることができたといえる。
【0187】
図１０は、２ｍのゴールシュートのために、最適制御方策の混合方法から得られた方策における状態遷移を示す図である。
【0188】
２ｍのゴールシュート条件のための混合制御方策を計算するために、重みパラメータはw１＝０．５およびw２＝０．５と設定された。ここで、w１とw２は、１ｍおよび３ｍのゴールシュート条件の最適制御方策の混合のための重みをそれぞれ表わす。
【0189】
比較のために、２ｍのゴールシュートのための混合による最適制御方策による状態遷移の結果も示す。
【0190】
目標と生成されたリリースポイントでの関節角および関節角速度の間の誤差は、以下のとおりであった：
最適制御方策では、肩関節角度、０．０１９rad; 角速度、０．００３１rad/s; 肘関節角度、０．００８１radおよび角速度、０．００４２rad/sであった。
最適制御方策では、肩関節角度、０．０１９rad; 角速度、０．００３１rad/s; 肘関節角度、０．００８１radおよび角速度、０．００４２rad/sであった。
【0191】
一方、混合された制御方策では、肩関節角度、０．００３８rad; 角速度、０．００６７rad/s; 肘関節角度、０．０１５radおよび角速度では０．０９rad/sであった。
【0192】
最終状態は目標に近接していた。
【0193】
これらの結果は、新しいゴールシュート条件に対する混合された方策の有用性を示す。
（B. PLSに基づいた特徴抽出および重み決定）
以下では、PLS結果の傾向を検証し結果について説明する。
（B. PLSに基づいた特徴抽出および重み決定）
以下では、PLS結果の傾向を検証し結果について説明する。
【0194】
図１１は、ＰＬＳ法および対応するユーザの動作目的によって得られた１人の被験者の特徴量の代表的な傾向を示す図である。
【0195】
ＰＬＳ法に対するパラメータは、１ｍおよび３ｍのゴールシュートデータの使用により訓練され、２ｍのゴールシュートデータでテストされた。
【0196】
この図１１は、特徴量およびゴール・ラベルが距離条件によって、順序づいていることを示す。
【0197】
この傾向は、他の被験者で同様に見られた。
【0198】
したがって、評価されたゴール・ラベルy（ハット）は、式（３）により計算されたユーザの動作目的として使用することができることが示された。
【0199】
この実施の形態では、これらの結果に基づいて、１ｍのゴールシュートに対するユーザの動作目的をｗ1＝１－ｗ2として設定し、ｗ2＝１／１＋ｅｘｐ（－ａｙ（hat）－ｂ）として、３ｍのゴールシュートを設定する。
【0200】
ユーザが１ｍ分だけ離れて投げるつもりならば、重量w１は大きく、w２は小さい。
【0201】
反対に、ユーザが３ｍ分だけ離れて投げるつもりならば、重量w１は減少し、w２は増加する。
（C. バスケットボール・ゴールシュートのオンライン・コントロール結果）
以下では、提案されたアシスト・コントロール・アプローチによるバスケットボール・ゴールをシュートするテストについての実験結果について記述する。
（C. バスケットボール・ゴールシュートのオンライン・コントロール結果）
以下では、提案されたアシスト・コントロール・アプローチによるバスケットボール・ゴールをシュートするテストについての実験結果について記述する。
【0202】
アシストの影響を検証するために、整流されフィルターされたＥＭＧ信号の振幅を観察した。
【0203】
図１２は、ボールが投げられた１０回の試行の間に生成されたすべてのＥＭＧ信号の平均および標準偏差、%MVC（%最大随意収縮）を示す図である。
【0204】
%MVCは、整流されローパスフィルターされたＥＭＧ信号の極大値を使用することにより、個別の各筋肉に対する標準化された筋活動である。
【0205】
条件ＮＡと条件ＡでのＭＶＣの間のウェルチt-検定を適用した。
【0206】
ほとんどの被験者において、平均ＭＶＣが、条件ＮＡと比較して、条件Ａの下では、有意に減少することを見出した。
【0207】
被験者１に条件Ａでシュートされた３ｍの距離ゴールは、有意な相違を示さなかったものの、平均ＭＶＣは、ＮＡ条件と比較して、減少する傾向があったことが確認された。
【0208】
これらの結果は、提案されたアプローチによって導出された制御方策が、ユーザがボールを投げる運動を支援できることを示す。
【0209】
図１３は、各被験者によって、条件の各々の中でボールを１０回投げる場合、ゴールシュート率を示す図である。
【0210】
ボールを１ｍ分だけ離れて投げる時、ＮＡとＡの条件の下のシュート率はすべての被験者に対して、あまり変わらなかった。したがって、ゴール距離が近いために、容易なタスクだったと考えられる。
【0211】
しかしながら、アシスト・コントロールがボールを投げる運動を妨害しなかったことが観測されたといえる。これはユーザの動作目的の正確な評価の結果であった。
【0212】
２ｍゴール距離では、ＮＡ条件と比較して、被験者２および３にはより高いシュート率であった。
【0213】
これは、ＮＡ条件と比較して、条件Ａの中で高精度およびより少ない努力でゴールシュートを成功させることができることを示す。
【0214】
これに反して、被験者１では、ユーザの動作目的は正確に評価されたが、シュート精度はＮＡ状態より条件Ａにおいてより低かった。
【0215】
これは、２ｍのゴールシュート距離がこのユーザのための容易なタスクであった可能性がある。
【0216】
したがって、この被験者については、外骨格型ロボットによるアシストは、運動の負担を軽減したものの、それはゴールシュート精度に影響しなかった可能性がある。
【0217】
３ｍのゴール距離では、被験者１および３は、より低い努力で、条件Ａの下のシュート率が、条件ＮＡよりも、より高くなることが実証された。
【0218】
被験者２に関しては、シュート率は条件Ａの下でさえ０%であり、このゴール距離タスクはたとえロボットが運動を支援したとしても、全く困難なようであった。
【0219】
これらの結果から、この提案されたアプローチが速度と正確さを要求する運動のためのコントロールを支援するのに有効であることは示された。
【0220】
すなわち、本実施の形態の運動支援装置を使用することで、ユーザの事前の負担を軽減しつつ、ユーザの動作目的に適合した外骨格型ロボットの制御を実現できる。
【0221】
[実施の形態２]
実施の形態１では、ユーザ単独での運動についてアシストする外骨格ロボットに対して混合制御方策を利用する態様について説明した。
実施の形態１では、ユーザ単独での運動についてアシストする外骨格ロボットに対して混合制御方策を利用する態様について説明した。
【0222】
実施の形態２では、ユーザ単独での運動ではなく、ユーザとパートナーとの間の協調的な運動・作業をアシストするために、外骨格ロボットに対して混合制御方策を用いる例を説明する。
【0223】
外骨格ロボットのユーザの運動意図については、実施の形態１のように、体表面の筋電計（ＥＭＧ）の使用を想定する。
【0224】
ただし、実施の形態２でも、ユーザの関節の運動に対するユーザの中枢からの指令に基づいて生成される生体由来信号として、筋電信号を例にとって説明する。ただし、たとえば、このような生体由来信号としては、脳波や、脳に対する近赤外検出信号（ＮＩＲＳ信号：Near Infrared Spectroscopy信号）など、他の信号を使用してもよい。
【0225】
ところで、協調的な作業・運動を行うパートナーについて、ＥＭＧを使用することは、実用性を狭めてしまうことになる。
【0226】
そこで、実施の形態２においては、以下で説明するように、ＥＭＧを使用せずに、パートナーの動きの意図を検出する。このような手法として、パートナーを画像センサにより撮像した画像を用いるビジョンベースのアプローチを採用する。
【0227】
協調作業・協調動作の相手となるパートナーが動いている状況を考慮し、ユーザーが動いていくパートナーにオブジェクトを渡すなどの迅速な動きで、相手方とインターラクションする状況を考慮する。このような状況では、従来のアプローチでは一般的に無視されてきた「他者（パートナー）」の動きの意図を予測することは、ロボットの動きを変更し、現在観察されている環境情報に基づいて相互作用タイミングを同期させることが困難であるため、ロボット制御にとって重要である。
【0228】
実施の形態１では、アシストされる本人の活動のための制御方策を導き出すための線形ベルマン組み合わせ法を用いる例を説明した。
【0229】
一方、実施の形態２では、協調作業・協調動作を考慮し、事前に算出されている制御方策を混合するための係数は、パートナーの予測状態に基づいて導出される。このアプローチでは、相手と相互作用するロボットの制御方策が導き出されるため、少数のセンサチャンネルを使用してモータの開始タイミングを検出するシンプルなＥＭＧインターフェースを介して、ユーザの動作意図を送信することで、協調作業・協調動作を開始できる。
【0230】
図１４は、実施の形態２の外骨格ロボットの制御手法を説明するための概念図である。
【0231】
図１４に示すように、パートナーの動きは、画像センサ２２０により視覚的に観察される。パートナー２０２の動きの目標が与えられると、移動経路の確率は、最大エントロピーアプローチの原理に基づいて導き出される。複数の候補目標を持つ導出された経路確率から、パートナー２０２が意図する目標の事後確率を推定する。
【0232】
次に、複数の目標に対する最適な制御方策を組み合わせるために重みを混合するものとして事後確率を使用する。外骨格ロボット１２１の制御器１３４は、導出された混合された重みで線形ベルマンの組み合わせにより制御方策を導出する。
【0233】
実施の形態２においても、このような制御方法では、ユーザ２０１の動作によって引き起こされた測定データとパートナー２０２の動作目標の予測から評価された与えられたタスクに対して最適方策を、線形のベルマン組合せ法によって「混合制御則（混合制御方策）」として導出するので、ユーザ２０１は、事前に自分のＥＭＧ信号を注意深く生成しておかなくとも、多様な動作目的に対応した制御を実施することが可能である。
【0234】
更に、与えられたタスクに対して、対応する最適方策を導出するために、あらかじめ複数の離散的な動作目的に対応してそれぞれ最適化された複数の制御則（以下、「サブ最適制御方策」と呼ぶ）を単に組み合わせるだけであるので、本実施の形態の制御のためのアプローチは計算負荷が軽く、容易にリアル・タイムの方策を導出することができる。
【0235】
図１５は、実施の形態２の上肢に対する外骨格型ロボットのブロック図の例を示す図である。
【0236】
図１に示した実施の形態１のブロック図と基本的な構成は、同様である。実施の形態では、制御部１３４には、画像センサ２２０からの情報が入力される。
【0237】
その上で、後述するように、制御部１３４は、パートナー２０２の動作目標を推定し、推定された動作目標に応じて、最適方策を導出して、外骨格ロボット１２１を制御する。
【0238】
すなわち、より具体的な例として説明すると、制御部１３４は、パートナー２０２の動きの目標を推定しながら、パートナー２０２にバスケットボールをパスする動きを正確にアシストする例について以下説明する。もちろん、制御部１３４の制御としては、このような場合に限定されることなく、パートナー２０２について、複数の動作目標が存在する場合に、事前に算出されたサブ最適制御方策を組み合わせて制御することで、他の協調作業・協調動作についても、制御することが可能である。
【0239】
図１６は、実施の形態２の制御器１３４の構成を説明するための機能ブロック図である。
【0240】
以下に説明するように、制御器１３４は、外骨格ロボットのユーザ２０１とパートナー２０２間の協調運動を支援する制御方策を決定する。
【0241】
（パートナーの運動意図の予測）
図１６に示すように、制御器１３４は、画像センサ２２０からの信号により、パートナー２０２の動きをトラッキングするトラッキング処理部１３４２と、パートナー２０２の動きの目標位置を予測するための目標位置予測部１３４４とを含む。
図１６に示すように、制御器１３４は、画像センサ２２０からの信号により、パートナー２０２の動きをトラッキングするトラッキング処理部１３４２と、パートナー２０２の動きの目標位置を予測するための目標位置予測部１３４４とを含む。
【0242】
以下に説明するように、目標位置予測部１３４４は、パートナーの運動目標（具体例としては、運動目標位置）を予測するために、最大エントロピー逆強化学習法(MaxEnt IRL)に基づいて、パートナー２０２の目標位置Ｇの確率分布を推定する。
【0243】
すなわち、まず、トラッキング処理部１３４２は、パートナー２０２の移動軌道を監視する。具体的には、目標位置予測部１３４４は、一定期間観察されたパートナー２０２の動きは、運動目標（位置）についての事後分布、すなわち、目標依存コスト関数Ｃｇを最小化しようとしていると仮定して、部分的に監視された移動軌道に基づいて、目標位置Ｇを推定する。
【0244】
このような「目標依存コスト関数」については、以下の文献に開示がある。
【0245】
文献：A. D. Dragan and S. S. Srinivasa, “A policy-blending formalism for shared control,” Int. J. Rob. Res., vol. 32, no. 7, pp.790-805, June 2013.
文献：K. Muelling, A. Venkatraman, J.-S. Valois, J. E. Downey, J. Weiss, S. Javdani, M. Hebert, A. B. Schwartz, J. L. Collinger, and J. A. Bagnell, “Autonomy infused teleoperation with application to brain computer interface controlled manipulation,” Auton. Robots, vol. 41, no. 6, pp. 1401-1422, Aug. 2017.
上記文献にも開示のとおり、最大エントロピー逆強化学習法では、特定の目標Ｇを与えられたパートナー２０２の移動経路の条件付き確率分布は、
Ｐ(ξ|Ｇ)∝ ｅｘｐ（－Ｃg（ξ））
と表現される。ここで、ξは、観測された軌道である。このモデルを利用することで、特定の目標を与えられたとき、観察されたパートナー２０２の部分的な動きの経路確率を導き出すことができる。
文献：K. Muelling, A. Venkatraman, J.-S. Valois, J. E. Downey, J. Weiss, S. Javdani, M. Hebert, A. B. Schwartz, J. L. Collinger, and J. A. Bagnell, “Autonomy infused teleoperation with application to brain computer interface controlled manipulation,” Auton. Robots, vol. 41, no. 6, pp. 1401-1422, Aug. 2017.
上記文献にも開示のとおり、最大エントロピー逆強化学習法では、特定の目標Ｇを与えられたパートナー２０２の移動経路の条件付き確率分布は、
Ｐ(ξ|Ｇ)∝ ｅｘｐ（－Ｃg（ξ））
と表現される。ここで、ξは、観測された軌道である。このモデルを利用することで、特定の目標を与えられたとき、観察されたパートナー２０２の部分的な動きの経路確率を導き出すことができる。
【0246】
【数19】
【0247】
ここで、Ｇｉは ｎ個の候補目標位置のうちのｉ番目の目標位置であり、ξ＊
sp→cpは最小コストを達成する最適な軌道であり、ｓpとｃp はパートナー２０２の開始位置と現在位置である。
【0248】
次に、各目標の条件付き確率を 以下の式（２２）として導き出すことができる。
【0249】
【数20】
【0250】
ここで、Ｐ（Ｇi）は、ｉ番目の目標位置の事前確率である。
【0251】
特に限定されないが、一例として、最初に、所定の数の目標位置の候補が規定されているものとする。次に、各候補目標位置に対する事後確率は、観測された経路に基づいて式（２２）により導出される。
（制御方策の導出）
動的な共同作業では、パートナー２０２の状況を考慮してリアルタイムで制御出力を導き出す必要がある。しかしながら、動的に変化するパートナー２０２の状況を考慮して、各制御時間ステップで外骨格コントローラを最適化することは、事実上困難である。
（制御方策の導出）
動的な共同作業では、パートナー２０２の状況を考慮してリアルタイムで制御出力を導き出す必要がある。しかしながら、動的に変化するパートナー２０２の状況を考慮して、各制御時間ステップで外骨格コントローラを最適化することは、事実上困難である。
【0252】
そこで、制御器１３４は、以下に説明するようにして、外骨格ロボット１２１に対する制御方策を算出する混合制御方策算出部１３４６を含む。
【0253】
混合制御方策算出部１３４６は、実施の形態１でも説明したような、線形ベルマンの組み合わせ法を用いて、事前に最適化されたサブ最適制御方策を混合（ブレンド）させる。
【0254】
上述したようなバスケットボールのトスのような具体例では、まず、混合制御方策算出部１３４６は、候補の目標位置に対して外骨格ロボットの最適な制御方策を事前に計算しておき、このサブ最適制御方策の情報を記憶装置１３２に格納しておく。次に、混合制御方策算出部１３４６は、サブ最適制御方策ごとの価値関数の出力に従って、事前に計算されたサブ最適制御方策を以下の式（２３）のように組み合わせる。
【0255】
【数21】
【0256】
ここで、π＊´は、パートナー２０２が移動しようとする目標位置に対して外骨格ロボットの運動を生成するための制御方策を示し、αｉ（ｘ，ｔ）は混合係数、ｘはユーザの状態変数を示し、π＊
nは、以下の式の総コスト (または目的関数)ｖ（・）を最小化することによって得られる運動タスクの第ｎ成分に対するサブ最適制御方策を示す。
【0257】
【数22】
【0258】
ここで、ｇ(・)とl(・)は、終端コストと瞬時コストをそれぞれ示す。
【0259】
式（２４）の終端コストｇ（ｘ（Ｔ））を除くすべての設定を共有すｎ個の有限ホライズン制御の問題についてのサブ最適制御方策が予め算出されていれば、ここでも、混合制御方策算出部１３４６は、線形ベルマンの組み合わせアプローチを使用して、α（ｘ）を以下のように算出することができる。
【0260】
【数23】
【0261】
ここで、以下の式で表されるｚi(x)は、現在の状態に対する方策の実現可能性を示す。
【0262】
【数24】
【0263】
ｗiは方策の導出にパートナーの条件を考慮した一定の重みである。ここでは、ｗiは、パートナーの目標候補の事後確率として、以下のように決定される。
【0264】
【数25】
【0265】
なお、パートナー２０２の各目標位置の候補に対する各サブ最適制御方策π＊
n（ｕ｜ｘ）については、混合制御方策算出部１３４６は、実施の形態１と同様にして、ユーザ２０１と外骨格ロボット１２１で構成されるダイナミクスの制約下で、反復線形二次制御器（ｉＬＱＲ）法を使用して導き出す。ここで、ｘは、以下の式（２８）で導出される外骨格ロボットの状態であり、ｕは、ロボットへの制御出力である。
【0266】
【数26】
【0267】
（ユーザーの運動意図に基づく制御）
パートナー２０２の運動の意図は視覚情報に基づいて導き出されるのに対して、ユーザ意図検出部１３４８は、外骨格ロボット１２１のユーザー２０１からモニターされた情報に基づいて、運動の開始タイミングを検出する。
パートナー２０２の運動の意図は視覚情報に基づいて導き出されるのに対して、ユーザ意図検出部１３４８は、外骨格ロボット１２１のユーザー２０１からモニターされた情報に基づいて、運動の開始タイミングを検出する。
【0268】
具体的には、運動の開始タイミングは、実際のユーザー２０１の動きに応じて抽出される。通常、自由度が限られている外骨格ロボットでは、ユーザー２０１の関節全体の動きを補助することは不可能であるため、ユーザと外骨格ロボットとの間の動きの同期は、正確な協調運動の生成のために非常に重要である。したがって、ユーザ意図検出部１３４８は、外骨格ロボットが、ユーザー２０１の動きの開始のタイミングで共同作業の動きを支援し始めるように制御信号ｕを出力する。具体的な例としては、ＥＭＧ信号を使用してユーザーの動きの開始を検出する。
［実験的セットアップ］
以下では、実施の形態２のアシスト制御を検証するために、４人の健康な被験者とバスケットボールのパスの実験を行った。以下、この実験結果について説明する。
［実験的セットアップ］
以下では、実施の形態２のアシスト制御を検証するために、４人の健康な被験者とバスケットボールのパスの実験を行った。以下、この実験結果について説明する。
【0269】
実際のセッションの前に、すべての被験者は、外骨格ロボット１２１によるアシストで動きを生成することに慣れるまで、実施の形態２の方法（以下、「本制御法」）とベースライン方法とで、数回バスケットボールをトスした。
（上肢外骨格ロボット）
実施の形態１と同様に、上肢外骨格ロボット３つの関節を制御するために、導出された方策を用いて、肩の屈曲/延長(SFE)、肩の外転/内転(SAA)、肘の屈曲/延長(EFE)関節を制御した。各関節トルクは、空気人工筋肉(PAM)によって以下の式に従い発生する:
（上肢外骨格ロボット）
実施の形態１と同様に、上肢外骨格ロボット３つの関節を制御するために、導出された方策を用いて、肩の屈曲/延長(SFE)、肩の外転/内転(SAA)、肘の屈曲/延長(EFE)関節を制御した。各関節トルクは、空気人工筋肉(PAM)によって以下の式に従い発生する:
【0270】
【数27】
【0271】
ここでも、実施の形態１と同様に、rはプーリ半径、fpamは空気ブラダに埋め込まれたスパイラル繊維の経路収縮によって発生するＰＡＭ力である。
【0272】
一方で、手首関節は自由に動かすことができる。
【0273】
言い換えると、ユーザー２０１は各試行において、自分で手首関節トルクを生成する必要がある。そこで、ボールのパスの動きはユーザー２０１のために完全に自動化することはできないものの、動きはユーザー２０１と外骨格ロボット１２１の間の共同制御によって生成される。
【0274】
状態変数には、関節角度θ、角速度θ（ドット）、および動力学（２８）に対するＰＡＭの計測された内部圧力Ｐが含まれる。
【0275】
【数28】
【0276】
ここで、添え字１，２，３はそれぞれ 関節SFE、SAA、および EFEを表す。
【0277】
上肢外骨格ロボットシステム１２１のエンコーダを用いて、角度と角速度の両方のデータを取得する。制御出力ｕは、空気圧アクチュエータに必要な圧力入力Prefであり、以下の式で表される。
【0278】
【数29】
【0279】
参照圧力Ｐrefと測定された内圧Ｐの間のダイナミクスは空気ダイナミクスによる非線形性を有するが、以下のような一次の遅延システムによって、このダイナミクスを近似する。
【0280】
【数30】
【0281】
ここで、ｔcは時定数で、次のように設定される。
【0282】
【数31】
【0283】
最小化のための終端コストｇ(・)は次のように設定される。
【0284】
【数32】
【0285】
ここで、Ｔは最終時間、θtarget はターゲット角度、θ（ドット）targetは、目標距離に基づいて計算されたバスケットボールの放出点における目標角速度である。瞬時コスト ｌ（・）が以下のように設定される。
【0286】
【数33】
【0287】
ここで、Ｃa、Ｃv、Ｃp、Ｃpdは目的関数の定数値である。ここでも、通常の最適制御での実施の際のように、実験により手動で選択されるものとできる。
（運動タスク）
図１７は、実験を実施したバスケットボールのパス運動のタスクを示す概念図である。
（運動タスク）
図１７は、実験を実施したバスケットボールのパス運動のタスクを示す概念図である。
【0288】
図１７に示すように、３人の右利きの被験者が外骨格ロボットユーザー２０１としてボールをトスし、もう一人がボールをキャッチするパートナー２０２として参加した。このタスクでは、図１７（ａ）に示すように、ユーザー２０１が座っている状態でバスケットボールを下手投げでトスし、図１７（ｂ）に示すように、パートナー２０２は扇状の領域でランダムに選択された開始点からゴールライン上のいくつかの目標位置のいずれか１つに移動する。なお、後述するように、このパートナーの移動の目標位置は、最適な制御則を導き出すために使用される候補の目標位置（サブ最適制御方策を事前に算出している位置）ではない。
【0289】
図１７（ａ）に示すように、この実験では、バスケットボール投げの目標点として、顔の中心、すなわちパートナー２０２の鼻を想定した。パートナーは、セッション前にユーザー２０１にとっては未知の目標位置の１つに移動する。
【0290】
ユーザー２０１からの未知の目標位置（ゴールライン１上で、ｇ1～ｇ3、ゴールライン２上で、ｇ4～ｇ6）までの距離は、各ゴールラインで１．５ｍ，２ｍ，２．５ｍであり、被験者は、パートナー２０２が各目標位置に到達したときにパートナー２０２にボール５回トスする。
【0291】
三角前部筋(EMG1)、上腕二頭筋(EMG2)、三角中部筋(EMG3)、尺側手根屈筋 (EMG4)、橈側手根伸筋からAｇ/AｇClバイポーラのＥＭＧ電極を用いて５つのＥＭＧ信号を測定し、ユーザのボールのトス運動の開始時点を評価する。
【0292】
ゴールライン１上の １ｍ距離の位置（Ｇ１）と、およびゴール ライン２上の １ｍ距離の位置（Ｇ３）および３ｍ距離の位置（Ｇ４）の目標距離に対する最適な方策をユーザー２０１から既知の目標位置に対する制御方策として取得する。
【0293】
そして、未知の目標位置（ｇ1，ｇ2，…，ｇ6）に対する最終的な最適制御方策π＊´は４つの既知の目標Ｇ１，…，Ｇ４に対応するこれら４つのサブ最適制御方策を組み合わせることによって導出される。
（パートナーの動きの画像による認識）
画像カメラ２２０として深度カメラを使用して、パートナーの動きをモニタする。カメラはユーザーの近くに置かれ、顔認識ツールでパートナー２０２の顔位置を検出して、パートナー２０２の軌道ξを追跡する。
（ユーザーの動き開始の検出）
外骨格ロボット１２１のユーザー２０１の筋肉活動からユーザーの動きの開始タイミングを検出する。具体的には、三角前部筋からＥＭＧ信号を測定する。運動意図は、事前に決定された閾値を有する単純な検出器によって検出される。筋肉が閾値を超えて活性化されると、外骨格ロボットの制御器１３４からの制御出力がされる。しきい値は、実験の前に各被験者に対して調整される。
［実験結果］
以下では、まずパートナーの動きに基づいてサブ最適制御方策の混合率の変化を示し、その後、ＥＭＧ信号の分析結果を示して、ユーザーの動きに対する負荷とボールをトスするパフォーマンスとを検証する。
（混合比）
図１８は、パートナーが始点から目標位置に向かって移動したときの混合比の時系列平均と標準偏差を示す図である。
（パートナーの動きの画像による認識）
画像カメラ２２０として深度カメラを使用して、パートナーの動きをモニタする。カメラはユーザーの近くに置かれ、顔認識ツールでパートナー２０２の顔位置を検出して、パートナー２０２の軌道ξを追跡する。
（ユーザーの動き開始の検出）
外骨格ロボット１２１のユーザー２０１の筋肉活動からユーザーの動きの開始タイミングを検出する。具体的には、三角前部筋からＥＭＧ信号を測定する。運動意図は、事前に決定された閾値を有する単純な検出器によって検出される。筋肉が閾値を超えて活性化されると、外骨格ロボットの制御器１３４からの制御出力がされる。しきい値は、実験の前に各被験者に対して調整される。
［実験結果］
以下では、まずパートナーの動きに基づいてサブ最適制御方策の混合率の変化を示し、その後、ＥＭＧ信号の分析結果を示して、ユーザーの動きに対する負荷とボールをトスするパフォーマンスとを検証する。
（混合比）
図１８は、パートナーが始点から目標位置に向かって移動したときの混合比の時系列平均と標準偏差を示す図である。
【0294】
図１８（ａ）、（ｂ）、（ｃ）に示すように、混合比ｗ1及びｗ2は、ｗ3及びｗ4と比較して、パートナがゴールライン１上の目標に向かうと増加した。
【0295】
図１８（ａ）から、目標位置ｇ1に向かう際に、混合比ｗ1とｗ2がこの順序で増加し、候補目標位置Ｇ１に対するサブ最適制御方策の使用率が最も高く、候補目標位置Ｇ２に対するサブ最適制御方策を使用する比率が２番目に高いことが示された。
【0296】
逆に、図１８（ｃ）から、混合比ｗ2とｗ1はこの順序で増加し、サブ最適制御方策を使用する比率が、条件（ａ）と反対であることを示した。
【0297】
図１８（ｂ）に関しては、混合比ｗ3が減少し、ｗ1が条件（ｃ）よりも増加しており、これは、サブ最適制御方策を使用する比率が条件（ａ）と（ｃ）の間にあることを示した。
【0298】
一方、図１８（ｄ），（ｅ），（ｆ）から、混合比ｗ3とｗ4は、他のパートナーがゴールライン１の反対側のゴールライン２上の目標位置に向かって移動したので、ｗ1とｗ2よりも増加した。
【0299】
【0300】
これらの結果から、パートナーの運動意図がうまく予測され、混合比率も適切に計算されたことがわかった。
（ユーザーの運動負荷の分析）
図１９は、本制御法とアシストなしの制御とで、ＥＭＧ信号の振幅の総和を比較する図である。
（ユーザーの運動負荷の分析）
図１９は、本制御法とアシストなしの制御とで、ＥＭＧ信号の振幅の総和を比較する図である。
【0301】
本制御法でユーザーの運動の負荷を検証するために、整流およびフィルタリングされたＥＭＧ信号の振幅を観察し、無アシスト条件と比較した。
【0302】
図１９では、1.5m(ｇ1,ｇ4)、2m(ｇ2,ｇ5)、および2.5m(ｇ3,ｇ6)の２つのゴールライン上のすべての被験者の合計のＥＭＧ信号の平均および標準偏差を示している。被験者間ＥＭＧ信号を比較するために、各被験者に対して、各筋肉の整流およびローパスフィルタリングされたＥＭＧ信号の最大値で個別にに正規化してある。
【0303】
図１９によれば、アシストがない状態のＥＭＧ信号と各目標位置までの距離に対する本制御法との間でウェルチのt検定を適用した。
【0304】
合計されたＥＭＧ信号の平均は、すべてのゴール距離で、アシストがない条件よりも、本制御法の条件下で大幅に減少した。これらの結果は、提案されたアプローチによって導き出された制御方策が、ユーザーのボールをトスする運動の負荷をうまく削減したことを示している。
（ボールトースのパフォーマンス）
以下では、パートナーがボールをでキャッチしたときの冠状面での顔の中心からボールまでの距離を測定し、記録されたビデオを分析することにより、ボールをトスするパフォーマンスについて本制御法を検証する。
（ボールトースのパフォーマンス）
以下では、パートナーがボールをでキャッチしたときの冠状面での顔の中心からボールまでの距離を測定し、記録されたビデオを分析することにより、ボールをトスするパフォーマンスについて本制御法を検証する。
【0305】
ユーザが、パートナーがキャッチできないボールを投げた時は、以下の測定を行った。ボールが相手に届かなくて、パートナーの前に落ちた場合、顔の中心から地面までの距離である１．６ｍに距離を設定する。ボールが落ちることなく相手の手の届かないところに投げられた場合、ボールが通過したときの顔の中心とボールの間の距離が追加される。
【0306】
本制御法を、１）ベースライン法と２）自律(自動)法の２つのスキームと比較した。ベースライン方式では、パートナーの動きは予測処理を行わないカメラによってのみ追跡され、制御方策はブレンドせずに距離ベースの基準によって判断される最も適切な最適方策から導き出された。
【0307】
【数34】
【0308】
このベースライン方式では、しきい値ベースの検出器がユーザの運動の意図を識別したときの時間に基づいて、最も近い既知の目標に対応する方策を使用した。
【0309】
自律的な方法（以下、「自律法」）では、パートナーの動きの意図は本制御法で推定されたが、ボールを投げるタイミングは、ユーザーの動きの開始を検出することなく自動的に決定された。トスする運動は、パートナーの位置とゴールラインの間の距離が一定のしきい値を下回ったときに開始され、ユーザの運動の時間とパートナーの動きがゴールラインに達するまでの時間とが一致するように計算された。
【0310】
図２０は、パートナーがボールをキャッチした際のパートナーの顔中心からキャッチ位置を示す図である。
【0311】
図２０では、ベースライン条件と提案手法での全被験者の平均値と標準偏差を、1.5m(ｇ1,ｇ4)、2m(ｇ2,ｇ5)、および2.5m(ｇ3,ｇ6)の目標について測定した値を示す。
【0312】
各ゴール距離について、ベースライン法での距離と本制御法での距離との間にウェルチのｔ検定を適用し、ベースライン法よりも本制御法で提案された条件下で距離の平均(ボールの中心)が有意に減少したことがわかった。
【0313】
図２１は、パートナーがボールをキャッチした際のパートナーの顔中心からキャッチ位置を示す別の図である。
【0314】
図２１では、自律法および本制御法での条件下で、全被験者の平均値と標準偏差を1.5m(ｇ1,ｇ4)、2m(ｇ2,ｇ5)、および2.5m(ｇ3,ｇ6)の目標で、全被験者について５回測定した値である。ここでも、各ゴール距離について、自律的方法での距離と提案条件での距離との間にウェルチのｔ検定を適用し、自律的方法と比較して本制御法で平均距離(ボールの中心)が有意に減少することを発見した。
【0315】
本制御法では、ユーザーによるボールのトスが安定的に制御されていることを考慮すると、ベースライン法は混合をせずに既知の目標に対して最適な方策のみを使用し、自律法は、パートナーの運動意図を推定することなく、ユーザーの腕を強制的に移動させたので、制御法はユーザーの意図と一致していない。
【0316】
これらの結果は、パートナーの動きの意図を予測し、ユーザーの動き開始タイミングを検出することの重要性を示唆している。本制御法は、共同作業に対するスピードと精度を必要とする運動制御を効果的にサポートするといえる。
【0317】
以上説明した通り、実施の形態２では、外骨格ロボットの制御方策は、事前に計算された最適な制御法を混合することによって導き出され、混合比は、最大エントロピー逆強化学習法によって予測されたパートナーの動きの意図から決定される。
【0318】
本制御法を検証するために、具体的な相互作用運動のタスクで、ユーザーが動いていくパートナーにボールを投げるボール投げ実験を行った。本制御法は、ユーザーの労力を大幅に削減し、ベースライン方式よりもボールトスのパフォーマンスを向上させた。これらの結果は、本制御法がパートナーとインタラクションする外骨格ロボットユーザーを効果的にサポートし、速度と精度を必要とするモーションコントロールを可能にすることを示した。
【0319】
今回開示された実施の形態は、本発明を具体的に実施するための構成の例示であって、本発明の技術的範囲を制限するものではない。本発明の技術的範囲は、実施の形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲の文言上の範囲および均等の意味の範囲内での変更が含まれることが意図される。
【符号の説明】
【0320】
１ コントローラユニット、１０ 内部制御装置、２０ 外部制御装置、４０ 外骨格型ロボット、１２１ 外骨格部、１２２ 能動関節、１２３ 受動関節 １２４ 検出機構、２２０ 画像センサ、３０２ａ，３０２ｂ 空圧式エアマッスル、３０８ａ，３０８ｂ 内側ワイヤー、３１０ａ，３１０ｂ ボーデンケーブル、３２０ プーリー、３２１ 伝達機構。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
