特許 7150306 運動生成方法、装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-30

(45)【発行日】2022-10-11

(54)【発明の名称】運動生成方法、装置及びプログラム

(51)【国際特許分類】

   G06T 13/40 20110101AFI20221003BHJP

   A61B 5/11 20060101ALI20221003BHJP

【ＦＩ】

G06T13/40

A61B5/11 200

【請求項の数】 5

(21)【出願番号】P 2018125990

(22)【出願日】2018-07-02

(65)【公開番号】P2020004331

(43)【公開日】2020-01-09

【審査請求日】2021-04-23

【新規性喪失の例外の表示】特許法第３０条第２項適用 国際学会「ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ（ＩＣＲＡ） ２０１８」（於：ブリズベン コンベンション＆エキシビジョンセンター オーストラリア クイーンズランド州ブリズベン）の予稿集、平成３０年５月２１日（発行日） 〔刊行物等〕 第２３回ロボティクスシンポジア（於：黒潮温泉 松風閣 静岡県 焼津市）の予稿集、平成３０年３月１４日（発行日） 〔刊行物等〕 ＲＯＢＯＭＥＣＨ Ｊｏｕｒｎａｌ、２０１８、ｖｏｌ．５、ｎｏ．１０、平成３０年５月１８日（発行日）

(73)【特許権者】

【識別番号】301021533

【氏名又は名称】国立研究開発法人産業技術総合研究所

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】村井 昭彦

(72)【発明者】

【氏名】多田 充徳

【審査官】橘 高志

(56)【参考文献】

【文献】特開２０１６－０６２５２８（ＪＰ，Ａ）

【文献】国際公開第２０１７／２１７０５０（ＷＯ，Ａ１）

【文献】特開２０１７－０４５１６０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １３／４０

Ａ６１Ｂ ５／１１

(57)【特許請求の範囲】

【請求項1】

被験者の身体の複数の部位における運動の運動データを取得するステップと、
前記運動データから、全身運動を再現するステップと、
前記再現された全身運動から、第１のグループの特徴量を抽出するステップと、
前記第１のグループの特徴量を運動表現モデルに適用して、第１のグループのモデルパラメータを算出するステップと、
前記第１のグループのモデルパラメータの値を変化させて、前記被験者の新たな運動の第２のグループのモデルパラメータを生成するステップと、
前記第２のグループのモデルパラメータを前記運動表現モデルに適用して、第２のグループの特徴量を算出するステップと、
前記第２のグループの特徴量を基に、全身運動を再構築するステップと、
前記再構築された全身運動を解析するステップと、
を備え、
前記再構築された全身運動を解析するステップは、運動力学解析を実行するステップである方法。

【請求項2】

前記運動データは、人工四肢の複数の部位における運動の運動データを含む、
請求項１に記載の方法。

【請求項3】

前記第１のグループのモデルパラメータは、人口四肢に関するモデルパラメータを含む、
請求項２に記載の方法。

【請求項4】

被験者の身体の複数の部位における運動の運動データを取得するデータ取得部と、
前記運動データから、全身運動を再現する再現部と、
前記再現された全身運動から、第１のグループの特徴量を抽出する特徴量抽出部と、
前記第１のグループの特徴量を運動表現モデルに適用して、第１のグループのモデルパラメータを算出するモデルパラメータ算出部と、
前記第１のグループのモデルパラメータの値を変化させて、前記被験者の新たな運動の第２のグループのモデルパラメータを生成するモデルパラメータ変化部と、
前記第２のグループのモデルパラメータを前記運動表現モデルに適用して、第２のグループの特徴量を算出する特徴量算出部と、
前記第２のグループの特徴量を基に、全身運動を再構築する全身運動再構築部と、
前記全身運動再構築部において再構築された全身運動を解析する解析部と、を
備え、
前記解析部は、運動力学解析を実行するものである装置。

【請求項5】

被験者の身体の複数の部位における運動の運動データを取得するステップと、
前記運動データから、全身運動を再現するステップと、
前記再現された全身運動から、第１のグループの特徴量を抽出するステップと、
前記第１のグループの特徴量を運動表現モデルに適用して、第１のグループのモデルパラメータを算出するステップと、
前記第１のグループのモデルパラメータの値を変化させて、前記被験者の新たな運動の第２のグループのモデルパラメータを生成するステップと、
前記第２のグループのモデルパラメータを前記運動表現モデルに適用して、第２のグループの特徴量を算出するステップと、
前記第２のグループの特徴量を基に、全身運動を再構築するステップと、
前記再構築された全身運動を解析するステップと、
をコンピュータに実行させ、
前記再構築された全身運動を解析するステップは、運動力学解析を実行するものであるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、運動を生成する方法、装置及びプログラムに関する。

【背景技術】

【0002】

人体の複雑な運動を、質点、バネ及びダンパからなる単純なモデルを用いてシミュレーションする手法として、「ＳＬＩＰ（Ｓｐｒｉｎｇ Ｌｏａｄｅｄ Ｉｎｖｅｒｔｅｄ Ｐｅｎｄｕｌｕｍ）モデル」がある（例えば、非特許文献１参照）。

【先行技術文献】

【非特許文献】

【0003】

【文献】"Ｔｈｅ ｓｐｒｉｎｇ－ｍａｓｓ ｍｏｄｅｌ ｆｏｒ ｒｕｎｎｉｎｇ ａｎｄ ｈｏｐｐｉｎｇ" Ｂｌｉｃｋｈａｎ、Ｒ． Ｊｏｕｒｎａｌ ｏｆ Ｂｉｏｍｅｃｈａｎｉｃｓ Ｖｏｌ．２２、Ｎｏ．１１／１２ ｐｐ．１２１７-１２２７（１９８９）

【発明の概要】

【発明が解決しようとする課題】

【0004】

運動力学解析は、人体の様々な部位の運動を計測し、計測したデータに運動力学的モデルを適用し、解析を実行する技術である。こうした運動力学解析は、スポーツ科学分野やバイオメカニクス分野において力を発揮し、スポーツパフォーマンスの解析や怪我の発生の解明など様々な応用先に発展を与えている。

【0005】

運動力学解析における従来の手法は、実際に実現されたパフォーマンスや、怪我の発生に至る前の人体の運動などについて、解析、検証を可能とするものである。例えばスポーツ科学に適用した場合、「優れたパフォーマンスが実現されたときに、選手はどのような姿勢を取り、身体各部はどのような運動をしていたのか、あるいは悪いパフォーマンスとの相違は何か」といったことを検証することができる。またバイオメカニクスに適用した場合、「実験室のように安全な環境に対して、人間が通常どのように振る舞うのか」といったことを一定程度解明することができる。

【0006】

一方、世界記録を超えるパフォーマンスや、ある選手の自己記録を超えるパフォーマンスなど、未だ実現されていない運動に関し、どうすればこれを実現できるかを直接的に知りたいといった要望は非常に強い。また、実際に怪我が発生したときの身体の動きや体勢の崩れ方などに基づいて怪我発生のメカニズムを解明することは、怪我の予防対策を講じる上で有用である。

【0007】

しかしながら、未だ実現されていない運動は、当然のことながらその計測データが存在しないため、従来の手法を用いて解析することはできない。同様に怪我の発生についても、被験者に危険が及ぶような実験を実行することは事実上不可能であるため、実際に怪我が発生するときの運動解析をすることはできない。

【0008】

従って、このような未だ実現されていない運動を解析しようとする場合には、その運動を計算的に生成することが必要となる。
例えばロボットの場合であれば、
１）関節角やタスクベースの運動生成、
２）順動力学シミュレーション、
を実行することにより、新たな運動を生成することができる。
これに対し人間の全身運動の場合、
１）関節などの人体部位が極めて複雑な構造を有しており、かつ各部位の自由度の数がロボットより格段に多い、
２）人体が床面などの環境に固定されていないため、環境との接触力を推定する必要があるが、一般にその計算は困難であり、結果も不安定である、
といった要因があることから、新たな運動を生成することは困難であった。これらのことから、本発明者らは、力学的に整合性の取れた人間の全身運動を生成することが本分野における重要な課題であることを認識するに至った。

【0009】

本発明はこうした状況に鑑みてなされたものであり、その目的は、未だ実現されていない運動を計算的に生成することにある。

【課題を解決するための手段】

【0010】

上記課題を解決するために、本発明のある態様の方法は、身体の複数の部位における運動の運動データを取得するステップと、運動データから、全身運動を再現するステップと、再現された全身運動から、第１のグループの特徴量を抽出するステップと、第１のグループの特徴量を運動表現モデルに適用して、第１のグループのモデルパラメータを算出するステップと、第１のグループのモデルパラメータの値を変化させて、第２のグループのモデルパラメータを生成するステップと、第２のグループのモデルパラメータを運動表現モデルに適用して、第２のグループの特徴量を算出するステップと、を備える。

【0011】

本発明の別の態様は、装置である。この装置は、身体の複数の部位における運動の運動データを取得するデータ取得部と、運動データから、全身運動を再現する再現部と、再現された全身運動から、第１のグループの特徴量を抽出する特徴量抽出部と、第１のグループの特徴量を運動表現モデルに適用して、第１のグループのモデルパラメータを算出するモデルパラメータ算出部と、第１のグループのモデルパラメータの値を変化させて、第２のグループのモデルパラメータを生成するモデルパラメータ変化部と、第２のグループのモデルパラメータを運動表現モデルに適用して、第２のグループの特徴量を算出する特徴量算出部と、を備える。

【0012】

本発明のさらに別の態様は、プログラムである。このプログラムは、身体の複数の部位における運動の運動データを取得するステップと、運動データから、全身運動を再現するステップと、再現された全身運動から、第１のグループの特徴量を抽出するステップと、第１のグループの特徴量を運動表現モデルに適用して、第１のグループのモデルパラメータを算出するステップと、第１のグループのモデルパラメータの値を変化させて、第２のグループのモデルパラメータを生成するステップと、第２のグループのモデルパラメータを運動表現モデルに適用して、第２のグループの特徴量を算出するステップと、をコンピュータに実行させる。

【0013】

なお、以上の構成要素の任意の組合せ、本発明の表現を装置、方法、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0014】

本発明によれば、未だ実現されていない運動などを含む、新たな運動を生成することができる。

【図面の簡単な説明】

【0015】

【図1】一実施形態に係る運動生成方法のフロー図である。

【図2】ＳＬＩＰモデルの概念を示す模式図である。

【図3】更なる実施形態に係る運動生成方法のフロー図である。

【図4】更なる実施形態に係る運動生成方法のフロー図である。

【発明を実施するための形態】

【0016】

（実施形態１）
図１は、一実施形態に係る運動生成方法のフロー図である。
ステップＳ１０で、本方法は、身体の複数の部位における運動の運動データを取得する。運動データを取得する手段の一例は、光学式モーションキャプチャである。光学式モーションキャプチャでは、身体の複数の部位にマーカを取付けた被験者の運動をカメラで撮影する。撮影された映像から、マーカを取付けた部位の運動データ、例えば、位置、速度、加速度などが得られる。なおモーションキャプチャは光学式に限られず、機械式、磁気式、ビデオ式等であってもよい。運動データを取得する手段のもう一つの例は、フォースプレートである。フォースプレートでは、被験者の立脚、足踏み、跳躍等の運動状態に応じて、フォースプレートの上面に加えられた力やモーメントが計測される。その他にも運動データは、ウェラブルＩＭＵセンサや圧力シート（設置型、装着型）などの既存の手段を用いて取得してよい（詳しい説明は省略する）。

【0017】

ステップＳ２０で、本方法は、ステップＳ１０で取得した各マーカの部位の運動データから、デジタルヒューマンモデル等を用いて全身運動を再現する。例えば、体の姿勢、動作速度、歩幅、膝の角度、指先の動き、各関節の関節角や関節トルク等が再現される。これらの再現は、逆運動学に基づく「逆運動学計算」や逆動力学に基づく「逆動力学計算」により行われる。

【0018】

ステップＳ３０で、本方法は、ステップＳ２０で再現した全身運動から、生成したい運動についての特徴量を抽出する。例えば未知の歩行運動や走行運動を生成したい場合、特徴量は、質量中心軌跡、足底圧力中心軌跡、脚接触力などである。
以下、本ステップＳ３０で抽出した特徴量（単数であっても複数であってもよい）を、「第１のグループの特徴量」と総称することがある。

【0019】

ステップＳ４０で、本方法は、ステップＳ３０で抽出した第１のグループの特徴量を運動表現モデルに適用してモデルパラメータを算出する。これにより複雑な全身運動を単純なモデルの形で表現することができる。運動表現モデルの一例は、ＳＬＩＰモデルである。前述のように、ＳＬＩＰモデルは、人間の身体を質点、バネ及びダンパからなるものとしてモデル化したものである。

【0020】

以下、ＳＬＩＰモデルについて詳説する。
図２は、ＳＬＩＰモデルの概念を示す模式図である。人間の身体を表す身体モデル１００は、質点１１０と、バネ１２０と、ダンパ１３０と、接触点１４０と、第１のシャフト１５０と、第２のシャフト１６０と、を備える。質点１１０は身体の質量中心である。バネ１２０及びダンパ１３０は並列に配置される。接触点１４０は、バネ１２０及びダンパ１３０を挟んで質点１１０の反対側に位置し、床面等の環境と接触することができる。第１のシャフト１５０は、質点１１０と、バネ１２０及びダンパ１３０と、を接続する。第２のシャフト１６０は、バネ１２０及びダンパ１３０と、接触点１４０と、を接続する。

【0021】

以下、「右」「左」という用語は、紙面を正面から見たときの向きを示す。時刻Ｔ１で、身体モデル１００は体勢をやや左側に倒した状態で跳躍している。このとき、接触点１４０は環境から離れている。時刻Ｔ２で、身体モデル１００は体勢をやや左側に倒したまま着地する。すなわち時刻Ｔ２で、接触点１４０は環境と接触する。時刻Ｔ２からＴ３にかけて、身体モデル１００は、接触点１４０が環境と接触したまま、体勢を右側に倒してゆく。時刻Ｔ３で、身体モデル１００は体勢をやや右側に倒したまま跳躍する。すなわち時刻Ｔ３で、接触点１４０は環境から離脱する。時刻Ｔ３からＴ４にかけて、身体モデル１００は、接触点１４０が環境から離れたまま、体勢を左側に倒してゆく。時刻Ｔ４で、身体モデル１００は体勢をやや左側に倒した状態で跳躍している。

【0022】

このような運動に関し、Ｔ１、Ｔ２、Ｔ３及びＴ４の時刻で、脚接触力Ｆ_ｌｅｇ（ｔ）、脚長Ｌ_ｌｅｇ（ｔ）を実験的に計測することにより、バネ係数Ｋ_ｌｅｇ、ダンパ係数Ｄ_ｌｅｇ、脚自然長Ｌ_{ｌｅｇ、０}などのモデルパラメータを算出することができる。具体的には、以下の式（１）で表されるＥ_ｆを最小化する最適化を行うことによって、Ｋ_ｌｅｇ、Ｄ_ｌｅｇ、Ｌ_{ｌｅｇ、０}が算出される。

【数1】

【0023】

本ステップＳ４０で算出されたモデルパラメータは、被験者の身体つきや体格などの身体的特徴、身体能力、姿勢、癖などの運動的特徴を反映したものである。従ってこれらのパラメータには、新たな運動を生成するための基礎となる、当該被験者の全身運動に関する情報が過不足なく含まれている。

【0024】

なお本ステップＳ４０で実行する計算は、質量中心軌跡、足底圧力中心軌跡、脚接触力などの運動に関する特徴量を基に、モデルパラメータを算出する「数学的最適化計算」である。
以下、本ステップＳ４０で算出されたモデルパラメータ（単数であっても複数であってもよい）を、「第１のグループのモデルパラメータ」と総称することがある。

【0025】

ステップＳ５０で、本方法は、ステップＳ４０で算出された第１のグループのモデルパラメータＫ_ｌｅｇ、Ｄ_ｌｅｇ、Ｌ_{ｌｅｇ、０}の値を変化させて、新たな値のモデルパラメータを生成する。このとき、モデルパラメータの値に加えて、環境変数（例えば、質量中心初期位置Ｈ_ＣＯＭ（０）、質量中心初期速度Ｖ_ＣＯＭ（０））の値を変化させて、新たな値の環境変数を生成してもよい。本ステップＳ５０の処理は、被験者の運動を、ステップＳ１０でデータを取得したときの運動から新たな運動へ変容させることを意味する。具体的には、モデルパラメータＫ_ｌｅｇ、Ｄ_ｌｅｇ、Ｌ_{ｌｅｇ、０}を変化させることにより、関節の硬さ等を変化させることができる。また環境変数Ｈ_ＣＯＭ（０）、Ｖ_ＣＯＭ（０）を変化させることにより、床面の高さ等を変化させることができる。

【0026】

このように、被験者に関する種々のモデルパラメータを変化させることにより、当該被験者が実現すべき運動を様々に変容させることができる。これらの変容された運動は、被験者が未だ実現したことのない運動や、怪我が発生するときの運動など、任意の新たな運動を含む。
以下、本ステップＳ５０で生成された新たな値のモデルパラメータ（単数であっても複数であってもよい）を、「第２のグループのモデルパラメータ」と総称することがある。

【0027】

ステップＳ６０で、本方法は、第２のグループのモデルパラメータや環境変数をステップＳ４０のモデルに適用して、ステップＳ５０で変容された運動に関する特徴量を算出する。この特徴量は、第２のグループのモデルパラメータに基づく新たな運動に関する特徴量である。ステップＳ３０の説明で述べたように、例えば運動が歩行や走行であった場合、算出される特徴量は、質量中心軌跡、足底圧力中心軌跡、脚接触力である。

【0028】

このように、ある被験者に関するモデルパラメータを変化させることにより、その被験者の新たな運動が生成されるため、「目的とする運動を実現するためには、どのモデルパラメータをどのように変化させればよいか」といったことが明らかとなる。換言すれば、適切なモデルパラメータを見出すことにより、例えば該被験者が未だ実現したことのない高いパフォーマンスを実現する運動を生成することができる。

【0029】

なおステップＳ２０で実行する計算が逆動力学計算であるのに対し、本ステップＳ６０で実行する計算は、モデルパラメータを基に、質量中心軌跡、足底圧力中心軌跡、脚接触力などの運動に関する特徴量を算出する「順動力学計算」である。
以下、本ステップＳ６０で算出された運動の特徴量（単数であっても複数であってもよい）を、「第２のグループの運動の特徴量」と総称することがある。

【0030】

以上で本実施形態の説明を終える。この実施形態によれば、被験者の実際の運動データを取得することにより、その被験者が未だ実現したことのない運動などを含む、新たな運動を生成することができる。

【0031】

（実施形態２）
図３は、更なる実施形態に係る運動生成方法のフロー図である。本実施形態は、図１に示される方法であって、ステップＳ６０で算出された運動に関する特徴量を基に、全身運動を再構築するステップＳ７０を更に備える。ステップＳ１０からステップＳ６０の処理は図１の方法と共通であるため、説明を省略する。

【0032】

ステップＳ７０で、本方法は、第２のグループの運動の特徴量を基に、全身運動を再構築する。具体的には、ステップＳ１０で取得した運動データおよびステップＳ３０で抽出した第１のグループの特徴量において以下の式（２）で表されるＥ_ｍを最小化するように、パラメータα及びβを最適化する。そして、ステップＳ６０で算出された運動に関する特徴量を式（２）に代入することで、すべてのマーカの運動の軌跡を再構築することができる。

【数2】

【数3】

ここで、Ｐ_ｍａｒ：マーカ位置、Ｐ_ＣＯＭ：質量中心位置、Ｐ_ＣＯＰ：足底圧力中心位置、である。

【0033】

本実施形態によれば、ステップＳ６０で生成された新たな運動に関し、被験者の全身運動を再構築して表現することができる。

【0034】

（実施形態３）
図４は、更なる実施形態に係る運動生成方法のフロー図である。本実施形態は、図３に示される方法であって、ステップＳ７０で再構築された全身運動を解析するステップＳ８０を更に備える。ステップＳ１０からステップＳ７０の処理は図３の方法と共通であるため、説明を省略する。

【0035】

ステップＳ８０で、本方法は、再構築された全身運動を解析する。全身運動の解析は、新たに再構築された全身運動を、元の計測データと比較、評価することなどを含んでもよい。全身運動の解析はまた、新たに再構築された全身運動を、目標パフォーマンスを実現する理想的な運動と比較、評価することなどを含んでもよい。

【0036】

本実施形態によれば、ステップＳ７０で再構築された新たな全身運動を基に、運動力学解析を実行することができる。

【0037】

（実施形態４）
更なる実施形態は、図１、３及び４に示される方法であって、ステップＳ１０で、身体の複数の部位における運動の運動データに加えて、人工四肢の複数の部位における運動の運動データを取得してもよい。このときステップＳ５０で変化させるモデルパラメータは、人口四肢に関するモデルパラメータ（例えば、人工四肢側の粘弾性係数など）を含んでもよい。

【0038】

一般に上肢や下肢を切断した人（以下、「四肢切断者」という）は、義手や義足などの人工四肢を装着する。人工四肢を装着した四肢切断者が走行する場合、運動は身体の運動のみならず、身体と人工四肢との間の複雑な相互作用を含む。このため、運動力学解析はより困難なものとなる。一方で、転倒等の危険のない快適な人工四肢に対するニーズは高い。更に近年の人工四肢を装着した四肢切断者のスポーツ人口の増加、パフォーマンスの向上は目覚ましく、スポーツ用品としての人工四肢の高性能化に対する要望もますます高まっている。こうした安全で高性能な人工四肢を開発するためには、人工四肢、特に実際に被験者が装着していないものや、未だ実現されていないものを装着した状態での運動を計算的に生成し、これを解析できることが望ましい。本実施形態は、このようなニーズに応えるものである。

【0039】

本実施形態によれば、人工四肢を装着した人間の運動に関し、その人間が実現したことのない運動や、その人工四肢と異なる人工四肢を装着した状態での運動を生成することができる。

【0040】

以上、本発明を実施例を基に説明した。これらの実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【0041】

例えば本発明の応用先には上に挙げたものの他、スポーツトレーニング、スポーツ用品の開発、怪我のリスクの少ない建物や設備の設計、老人医療、リハビリテーション、歩行アシストスーツの制御等様々なものがある。本発明による手法はこうした様々な分野に適用が可能であり、産業上の利用性が高いものである。

【符号の説明】

【0042】

Ｓ１０ 運動データを取得するステップ、 Ｓ２０ 全身運動を再現するステップ、 Ｓ３０ 特徴量を抽出するステップ、 Ｓ４０ モデルパラメータを算出するステップ、 Ｓ５０ モデルパラメータを変化させるステップ、 Ｓ６０ 特徴量を算出するステップ、 Ｓ７０ 全身運動を再構築するステップ、 Ｓ８０ 全身運動を解析するステップ

【図1】

【図2】

【図3】

【図4】