特許 7379742 学習実行装置、プログラム、及び学習実行方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-06

(45)【発行日】2023-11-14

(54)【発明の名称】学習実行装置、プログラム、及び学習実行方法

(51)【国際特許分類】

   G06N 3/092 20230101AFI20231107BHJP

   G06N 3/126 20230101ALI20231107BHJP

   G06N 3/06 20060101ALI20231107BHJP

【ＦＩ】

G06N3/092

G06N3/126

G06N3/06

【請求項の数】 10

(21)【出願番号】P 2023031277

(22)【出願日】2023-03-01

(62)【分割の表示】P 2020121597の分割

【原出願日】2020-07-15

(65)【公開番号】P2023085258

(43)【公開日】2023-06-20

【審査請求日】2023-05-30

【早期審査対象出願】

(73)【特許権者】

【識別番号】501440684

【氏名又は名称】ソフトバンク株式会社

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】石若 裕子

(72)【発明者】

【氏名】吉田 智博

(72)【発明者】

【氏名】伊藤 忠輝

【審査官】三沢 岳志

(56)【参考文献】

【文献】特表２０１２－５１６７８０（ＪＰ，Ａ）

【文献】國吉 康夫他，人間的身体性に基づく知能の発生原理解明への構成論的アプローチ，日本ロボット学会誌，28巻4号，日本ロボット学会，2010年09月，pp.415-434

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０９２

Ｇ０６Ｎ ３／１２６

Ｇ０６Ｎ ３／０６

(57)【特許請求の範囲】

【請求項1】

筋肉に含まれる複数の筋繊維のそれぞれに対して、筋繊維が速筋であるか遅筋であるかを示す第１パラメータと、収縮可能なエネルギーを示す第２パラメータと、前記第２パラメータの最大値と、自己回復力を示す第３パラメータと、前記第３パラメータの最大値と、前記筋繊維が速筋である場合に、前記筋繊維が収縮する毎に消費されるエネルギー量を示す第４パラメータとを格納する情報格納部と、
前記第１パラメータ、前記第２パラメータ、前記第２パラメータの最大値、前記第３パラメータ、前記第３パラメータの最大値、及び前記第４パラメータを用いた学習を実行することによって、前記筋肉のモデルを学習する学習実行部であって、前記筋繊維が収縮する毎に前記第２パラメータから予め定められた値を減算し、前記第３パラメータが０でない間は、時間経過に伴って前記第２パラメータを回復させ、前記筋繊維が損傷したと判定した後、前記筋繊維が回復したと判定した場合に、前記筋繊維が速筋である場合には、前記第２パラメータの最大値及び前記第４パラメータの値を増加させ、前記筋繊維が遅筋である場合には、前記第３パラメータの最大値を増加させることによって、前記筋肉のモデルを学習する、学習実行部と
を備える学習実行装置。

【請求項2】

前記学習実行部は、前記筋繊維が速筋である場合には、前記筋繊維が収縮する毎に前記第２パラメータから前記第４パラメータの値を減算し、前記筋繊維が遅筋である場合には、前記筋繊維が収縮する毎に前記第２パラメータから前記第４パラメータの値以外の値を減算する、請求項１に記載の学習実行装置。

【請求項3】

前記学習実行部は、前記筋繊維が損傷したと判定した後、前記筋繊維が回復したと判定した場合において、前記筋繊維が速筋である場合、前記第３パラメータの最大値は増大させない、請求項１又は２に記載の学習実行装置。

【請求項4】

前記学習実行部は、前記筋繊維が損傷したと判定した後、前記筋繊維が回復したと判定した場合において、前記筋繊維が遅筋である場合、前記第２パラメータの最大値は増大させない、請求項１から３のいずれか一項に記載の学習実行装置。

【請求項5】

それぞれに運動単位が接続された複数の介在ニューロンの発火パターンに従って、前記運動単位に含まれる運動ニューロンに接続された筋繊維を収縮させることによって筋肉を動作させる筋肉モデルと、前記筋肉モデルに含まれる複数の筋繊維のそれぞれに対して、筋繊維が速筋であるか遅筋であるかを示す第１パラメータと、収縮可能なエネルギーを示す第２パラメータと、前記第２パラメータの最大値と、自己回復力を示す第３パラメータと、前記第３パラメータの最大値と、前記筋繊維が速筋である場合に、前記筋繊維が収縮する毎に消費されるエネルギー量を示す第４パラメータとを格納する情報格納部と、
前記筋肉モデルの目標動作を設定する動作設定部と、
前記第１パラメータ、前記第２パラメータ、前記第２パラメータの最大値、前記第３パラメータ、前記第３パラメータの最大値、及び前記第４パラメータを用いた学習を実行する学習実行部であって、複数の発火パターンのうち、前記筋肉モデルの動作が前記目標動作により近い発火パターンに報酬を与える学習を実行することによって、前記目標動作を実現する発火パターンを学習し、前記発火パターンに基づいて前記筋肉モデルを動作させた場合に、前記筋繊維を収縮させた前記運動単位を成長させる、学習実行部と
を備え、
前記筋肉モデルは、速筋の運動単位と、遅筋の運動単位とを含み、
前記学習実行部は、前記発火パターンに基づいて前記筋肉モデルを動作させた場合に、前記速筋の運動単位と前記遅筋の運動単位とを異なる基準に従って成長させる、
学習実行装置。

【請求項6】

前記学習実行部は、前記発火パターンに基づいて前記筋肉モデルを動作させた場合において、前記運動単位が速筋である場合、前記第２パラメータ及び前記第４パラメータを増加させ、前記運動単位が遅筋である場合、前記第２パラメータを増加させることによって、前記速筋の運動単位と前記遅筋の運動単位とを異なる基準に従って成長させる、請求項５に記載の学習実行装置。

【請求項7】

前記情報格納部は、前記運動単位が使用されるたびに増加するパラメータである第５パラメータをさらに格納し、
前記学習実行部は、前記第５パラメータの増加に伴って、前記運動単位のレベルを向上させ、
前記学習実行部は、前記運動単位のレベルが高いほど、前記運動単位が速筋である場合の前記第２パラメータ及び前記第４パラメータを増加しにくくし、前記運動単位が遅筋である場合の前記第２パラメータを増加しにくくする、請求項６に記載の学習実行装置。

【請求項8】

コンピュータを、請求項１から７のいずれか一項に記載の学習実行装置として機能させるためのプログラム。

【請求項9】

コンピュータによって実行される学習方法であって、
筋肉に含まれる複数の筋繊維のそれぞれに対して、筋繊維が速筋であるか遅筋であるかを示す第１パラメータと、収縮可能なエネルギーを示す第２パラメータと、前記第２パラメータの最大値と、自己回復力を示す第３パラメータと、前記第３パラメータの最大値と、前記筋繊維が速筋である場合に、前記筋繊維が収縮する毎に消費されるエネルギー量を示す第４パラメータとを格納する格納ステップと、
前記第１パラメータ、前記第２パラメータ、前記第２パラメータの最大値、前記第３パラメータ、前記第３パラメータの最大値、及び前記第４パラメータを用いた学習を実行することによって、前記筋肉のモデルを学習する学習実行ステップであって、前記筋繊維が収縮する毎に前記第２パラメータから予め定められた値を減算し、前記第３パラメータが０でない間は、時間経過に伴って前記第２パラメータを回復させ、前記筋繊維が損傷したと判定した後、前記筋繊維が回復したと判定した場合に、前記筋繊維が速筋である場合には、前記第２パラメータの最大値及び前記第４パラメータの値を増加させ、前記筋繊維が遅筋である場合には、前記第３パラメータの最大値を増加させることによって、前記筋肉のモデルを学習する、学習ステップと
を備える学習実行方法。

【請求項10】

コンピュータによって実行される学習方法であって、
それぞれに運動単位が接続された複数の介在ニューロンの発火パターンに従って、前記運動単位に含まれる運動ニューロンに接続された筋繊維を収縮させることによって筋肉を動作させる筋肉モデルと、前記筋肉モデルに含まれる複数の筋繊維のそれぞれに対して、筋繊維が速筋であるか遅筋であるかを示す第１パラメータと、収縮可能なエネルギーを示す第２パラメータと、前記第２パラメータの最大値と、自己回復力を示す第３パラメータと、前記第３パラメータの最大値と、前記筋繊維が速筋である場合に、前記筋繊維が収縮する毎に消費されるエネルギー量を示す第４パラメータとを格納する格納ステップと、
前記筋肉モデルの目標動作を設定する動作設定ステップと、
前記第１パラメータ、前記第２パラメータ、前記第２パラメータの最大値、前記第３パラメータ、前記第３パラメータの最大値、及び前記第４パラメータを用いた学習を実行する学習実行ステップであって、複数の発火パターンのうち、前記筋肉モデルの動作が前記目標動作により近い発火パターンに報酬を与える学習を実行することによって、前記目標動作を実現する発火パターンを学習し、前記発火パターンに基づいて前記筋肉モデルを動作させた場合に、前記筋繊維を収縮させた前記運動単位を成長させる、学習実行ステップと
を備え、
前記筋肉モデルは、速筋の運動単位と、遅筋の運動単位とを含み、
前記学習実行ステップは、前記発火パターンに基づいて前記筋肉モデルを動作させた場合に、前記速筋の運動単位と前記遅筋の運動単位とを異なる基準に従って成長させる、学習実行方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習実行装置、プログラム、及び学習実行方法に関する。

【背景技術】

【0002】

ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）の分野において、筋収縮に基づくシミュレーション手法が知られていた（例えば、非特許文献１～非特許文献６、参照）。従来のシミュレーション手法では、いわゆるヒルタイプモデル及びいわゆるＣＰＧ（Ｃｅｎｔｒａｌ Ｐａｔｔｅｒｎ Ｇｅｎｅｒａｔｏｒ）等が用いられていた。
［先行技術文献］
［非特許文献］
［非特許文献１］Thomas Geitenbeek, Michiel van de Panne, A. F. v. d. s. Flexible muscle-based locomotion for bipedal creatures. ACM Transactions on Graphics, (206), 2013.
［非特許文献２］Jack M.Wang, Samuel R.Hmner, S. L. V. K. Optimizing locomotion controllers using biologically-based actuators and objectives. ACM Trans. Graph, 31(4), 2012.
［非特許文献３］Yoonsang Lee, Moon Seok Park, T. K. J. L. Locomotion control for many-muscle humanoids. ACM Transactions on Graphics, 33(6), 2014.
［非特許文献４］Sehee Min, Jungdam Won, S. L. J. P. J. L. Softcon: simulation and control of soft-bodied animals with biomimetic actuators. ACM Transactions on Graphics, 38(6):208:1-208:12, 2019.
［非特許文献５］Cecila Laschi, Matteo Cianchetti, B. M. L. m. M. F. P. D. Soft robot arm inspired by the octopus. Advanced Robotics, 26(7):709-727, 2012.
［非特許文献６］Jungdam Won, Jongho Park, K. K. J. L. How to train your dragon: Example-guided control of flapping flight. ACM Transactions on Graphics, 36(4):1:1-1:12, 2017.

【発明の概要】

【0003】

本発明の第１の態様によれば、学習実行装置が提供される。学習実行装置は、それぞれに運動単位が接続された複数の介在ニューロンの発火パターンに従って、運動単位に含まれる運動ニューロンに接続された筋繊維を収縮させることによって筋肉を動作させる筋肉モデルを格納する格納部を備えてよい。学習実行装置は、筋肉モデルの目標動作を設定する動作設定部を備えてよい。学習実行装置は、発火パターンを学習する学習実行部であって、複数の発火パターンのうち、筋肉モデルの動作が目標動作により近い発火パターンに報酬を与える学習を実行することによって、目標動作を実現する発火パターンを学習する学習実行部を備えてよい。

【0004】

上記学習実行部は、上記複数の発火パターンのそれぞれに従って上記筋肉モデルを動作させ、上記筋肉モデルの動作が上記目標動作により近い発火パターンに基づいて複数の発火パターンを発生させ、当該複数の発火パターンのそれぞれに従って上記筋肉モデルを動作させ、上記筋肉モデルの動作が上記目標動作により近い発火パターンに基づいて複数の発火パターンを発生させることを繰り返すことによって、上記目標動作を実現する発火パターンを学習してよい。上記学習実行部は、ランダムに発生させた上記複数の発火パターンのそれぞれに従って上記筋肉モデルを動作させ、上記筋肉モデルの動作が上記目標動作により近い発火パターンに基づいて複数の発火パターンを発生させ、当該複数の発火パターンのそれぞれに従って上記筋肉モデルを動作させ、上記筋肉モデルの動作が上記目標動作により近い発火パターンに基づいて複数の発火パターンを発生させることを繰り返すことによって、上記目標動作を実現する発火パターンを学習してよい。上記学習実行部は、学習済みの発火パターンに基づいて発生させた上記複数の発火パターンのそれぞれに従って上記筋肉モデルを動作させ、上記筋肉モデルの動作が上記目標動作により近い発火パターンに基づいて複数の発火パターンを発生させ、当該複数の発火パターンのそれぞれに従って上記筋肉モデルを動作させ、上記筋肉モデルの動作が上記目標動作により近い発火パターンに基づいて複数の発火パターンを発生させることを繰り返すことによって、上記目標動作を実現する発火パターンを学習してよい。上記学習実行部は、上記発火パターンに基づいて上記筋肉モデルを動作させた場合に、上記筋繊維を収縮させた上記運動単位を成長させてよい。上記筋肉モデルは、速筋の運動単位と、遅筋の運動単位とを含んでよく、上記学習実行部は、上記発火パターンに基づいて上記筋肉モデルを動作させた場合に、上記速筋の運動単位と上記遅筋の運動単位とを異なる基準に従って成長させてよい。上記情報格納部は、上記運動単位に対して、速筋であるか遅筋であるかを示す第１パラメータと、収縮可能なエネルギーを示す第２パラメータと、上記第２パラメータの最大値と、自己回復力を示す第３パラメータと、上記第３パラメータの最大値とを格納してよく、上記学習実行部は、上記第１パラメータ、上記第２パラメータ、上記第２パラメータの最大値、上記第３パラメータ、及び上記第３パラメータの最大値を用いた学習を実行してよい。上記学習実行部は、上記運動単位が収縮する毎に上記第２パラメータから予め定められた値を減算し、上記第３パラメータが０でない間は、時間経過に伴って上記第２パラメータを回復させてよい。上記情報格納部は、上記運動単位が速筋である場合に、上記運動単位が収縮する毎に消費されるエネルギー量を示す第４パラメータを格納し、上記学習実行部は、上記第１パラメータ、上記第２パラメータ、上記第２パラメータの最大値、上記第３パラメータ、上記第３パラメータの最大値、及び上記第４パラメータを用いた学習を実行してよい。上記学習実行部は、上記運動単位が速筋である場合には、上記運動単位が収縮する毎に上記第２パラメータから上記第４パラメータの値を減算し、上記運動単位が遅筋である場合には、上記運動単位が収縮する毎に上記第２パラメータから上記第４パラメータの値以外の値を減算してよい。上記学習実行部は、上記筋繊維が損傷したと判定した後、上記筋繊維が回復したと判定した場合に、上記運動単位が速筋である場合には、上記第２パラメータの最大値及び上記第４パラメータの値を増加させ、上記運動単位が遅筋である場合には、上記第３パラメータの最大値を増加させてよい。上記学習実行部は、上記筋繊維が損傷したと判定した後、上記筋繊維が回復したと判定した場合において、上記運動単位が速筋である場合、上記第３パラメータの最大値は増大させなくてよい。上記学習実行部は、上記筋繊維が損傷したと判定した後、上記筋繊維が回復したと判定した場合において、上記運動単位が遅筋である場合、上記第２パラメータの最大値は増大させなくてよい。上記学習実行部は、上記第２パラメータが０になった場合に、上記筋繊維が損傷したと判定してよい。上記情報格納部は、上記運動単位に対して、上記運動単位の使用に関連する第５パラメータを格納してよく、上記学習実行部は、上記第５パラメータの増加に伴って上記運動単位のレベルを向上させ、上記運動単位のレベルが高いほど、上記運動単位が速筋である場合の上記第２パラメータの最大値及び上記第４パラメータの値を増加しにくくし、上記運動単位が遅筋である場合の上記第３パラメータの最大値を増加しにくくしてよい。上記学習実行部は、一の運動単位を収縮させた後、予め定められた不応期を経過するまで、当該一の運動単位が収縮できないようにして、上記発火パターンを学習してよい。上記学習実行部は、上記運動単位の温度が高いほど上記不応期を短くして、上記発火パターンを学習してよい。上記学習実行部は、時系列の上記複数の発火パターンに従って動作させた上記筋肉モデルの動作が上記目標動作を達成した場合に、上記目標動作を達成した状態の発火パターンから予め定められた時間遡った状態の発火パターンを更新することによって、上記学習を実行してよい。

【0005】

本発明の第２の態様によれば、学習実行装置が提供される。学習実行装置は、筋肉に含まれる複数の筋繊維のそれぞれに対して、筋繊維が速筋であるか遅筋であるかを示す第１パラメータと、収縮可能なエネルギーを示す第２パラメータと、第２パラメータの最大値と、自己回復力を示す第３パラメータと、第３パラメータの最大値とを格納する情報格納部を備えてよい。学習実行装置は、上記第１パラメータ、上記第２パラメータ、上記第２パラメータの最大値、上記第３パラメータ、及び上記第３パラメータの最大値を用いた学習を実行することによって、筋肉のモデルを学習する学習実行部を備えてよい。

【0006】

上記情報格納部は、上記筋繊維が速筋である場合に、上記筋繊維が収縮する毎に消費されるエネルギー量を示す第４パラメータを格納してよく、上記学習実行部は、上記第１パラメータ、上記第２パラメータ、上記第２パラメータの最大値、上記第３パラメータ、上記第３パラメータの最大値、及び上記第４パラメータを用いた学習を実行してよい。上記学習実行部は、上記筋繊維が収縮する毎に上記第２パラメータから予め定められた値を減算し、上記第３パラメータが０でない間は、時間経過に伴って上記第２パラメータを回復させ、上記筋繊維が損傷したと判定した後、上記筋繊維が回復したと判定した場合に、上記筋繊維が速筋である場合には、上記第２パラメータの最大値及び上記第４パラメータの値を増加させ、上記筋繊維が遅筋である場合には、上記第３パラメータの最大値を増加させることによって、上記筋肉のモデルを学習してよい。上記学習実行部は、上記筋繊維が速筋である場合には、上記筋繊維が収縮する毎に上記第２パラメータから上記第４パラメータの値を減算し、上記筋繊維が遅筋である場合には、上記筋繊維が収縮する毎に上記第２パラメータから上記第４パラメータの値以外の値を減算してよい。上記学習実行部は、上記筋繊維が損傷したと判定した後、上記筋繊維が回復したと判定した場合において、上記筋繊維が速筋である場合、上記第３パラメータの最大値は増大させなくてよい。上記学習実行部は、上記筋繊維が損傷したと判定した後、上記筋繊維が回復したと判定した場合において、上記筋繊維が遅筋である場合、上記第２パラメータの最大値は増大させなくてよい。

【0007】

本発明の第３の態様によれば、コンピュータを、上記学習実行装置として機能させるためのプログラムが提供される。

【0008】

本発明の第４の態様によれば、コンピュータによって実行される学習実行方法が提供される。学習実行方法は、それぞれに運動単位が接続された複数の介在ニューロンの発火パターンに従って、運動単位に含まれる運動ニューロンに接続された筋繊維を収縮させることによって筋肉を動作させる筋肉モデルの目標動作を設定する動作設定ステップを備えてよい。学習実行方法は、複数の発火パターンのうち、筋肉モデルの動作が目標動作により近い発火パターンに報酬を与える学習を実行することによって、目標動作を実現する発火パターンを学習する学習実行ステップを備えてよい。

【0009】

本発明の第５の態様によれば、コンピュータによって実行される学習実行方法が提供される。学習実行方法は、筋肉に含まれる複数の筋繊維のそれぞれに対して、筋繊維が速筋であるか遅筋であるかを示す第１パラメータと、収縮可能なエネルギーを示す第２パラメータと、第２パラメータの最大値と、自己回復力を示す第３パラメータと、第３パラメータの最大値とを格納する格納ステップを備えてよい。学習実行方法は、第１パラメータ、第２パラメータ、第２パラメータの最大値、第３パラメータ、及び第３パラメータの最大値を用いた学習を実行することによって、筋肉のモデルを学習する学習実行ステップを備えてよい。

【0010】

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0011】

【図1】学習実行装置１００の一例を概略的に示す。

【図2】筋肉モデル３００の一例を概略的に示す。

【図3】発火パターン４００の一例を概略的に示す。

【図4】学習実行装置１００の機能構成の一例を概略的に示す。

【図5】筋肉モデル３００の具体例を概略的に示す。

【図6】学習実行装置１００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。

【発明を実施するための形態】

【0012】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0013】

図１は、学習実行装置１００の一例を概略的に示す。学習実行装置１００は、筋肉の動きをモデル化した筋肉モデルに目標動作を実行させるための学習を実行する。

【0014】

筋肉モデルは、例えば、人の一部の筋肉に対応する。筋肉モデルは、人の全部の筋肉に対応してもよい。筋肉モデルは、人に限らず、筋肉を有する任意の生物に対応してもよい。また、筋肉モデルは、ＣＧのキャラクタ等に対応してもよい。

【0015】

本実施形態に係る学習実行装置１００は、例えば、それぞれに運動単位が接続された複数の介在ニューロンの発火パターンに従って、運動単位に含まれる運動ニューロンに接続された筋繊維を収縮させることによって筋肉を動作させる筋肉モデルを格納する。介在ニューロンは、インターニューロンと呼ばれる場合もある。運動ニューロンは、モーターニューロンと呼ばれる場合もある。運動単位は、モーターユニットと呼ばれる場合もある。

【0016】

学習実行装置１００は、筋肉モデルが目標動作を実現する発火パターンを学習する。学習実行装置１００は、例えば、ランダムに発生させた複数の発火パターンのうち、筋肉モデルの動作が目標動作に近い発火パターンに報酬を与える学習を実行することによって、発火パターンを学習する。

【0017】

従来の筋収縮に基づくシミュレーション手法として、ヒルタイプモデル及びＣＰＧ等が知られている。従来手法では、パラメータを人手で設定して運動をシミュレーションしていた。従来手法では、筋肉モデルに異なる動作を実行させようとした場合に、すべて人手でパラメータを設定する必要があった。それに対して、本実施形態に係る学習実行装置１００によれば、目標動作を実現可能な発火パターンを自動的に学習できるので、動作の種類毎に個別にパラメータを設定する必要をなくすことができる。

【0018】

学習実行装置１００は、学習を進める中で、発火パターンに基づいて筋肉モデルを動作させた場合に、筋肉モデルの筋肉を成長させてもよい。学習実行装置１００は、例えば、発火パターンに基づいて筋肉モデルを動作させた場合に、筋繊維を収縮させた運動単位を成長させる。従来手法においては、パラメータの設定次第では、実際の筋肉の動きとは異なる動きを実現してしまう場合があった。それに対して、本実施形態に係る学習実行装置１００は、筋肉の成長をも考慮することによって、よりリアルな動きを実現可能にできる。

【0019】

学習実行装置１００は、様々な分野に適用されてよい。学習実行装置１００は、例えば、ＣＧのキャラクタに任意の動作を実現させる発火パターンを学習し、任意の動作を実行するキャラクタのＣＧアニメーションを生成する。

【0020】

従来は、キャラクタに任意の動作を実行させるためにアニメーションを作り込む必要があったが、本実施形態に係る学習実行装置１００によれば、例えば、筋肉モデルの筋肉を成長させつつ、目標動作を実行するように介在ニューロンの発火パターンを学習することによって、自動的に任意の動作を実行するキャラクタのＣＧアニメーションを生成することができる。例えば、目標動作としてダンスの動作を設定すると、キャラクタが当該ダンスを実行するＣＧアニメーションを自動的に生成することができる。本実施形態に係る学習実行装置１００によれば、介在ニューロンからの発火パターンを学習し、実際の生物と同じ制御系統の動きを実現することによって、リアルな動きを実現することができる。

【0021】

また、従来技術では、例えば、８頭身の人間のダンスの動きを、３頭身のキャラクタに実行させるような場合に、動きの対応がとれずに不自然な動きになってしまう場合があった。それに対して、本実施形態に係る学習実行装置１００によれば、３頭身のキャラクタの筋肉の構造及び成長を考慮した学習を実行することによって、３頭身のキャラクタに、自然な動きを実現させることができる。

【0022】

学習実行装置１００は、例えば、生成したＣＧアニメーションを、学習実行装置１００が備えるディスプレイに表示させる。また、学習実行装置１００は、例えば、生成したＣＧアニメーションを、ネットワーク２０を介して通信端末２００に送信することによって、通信端末２００に表示させてもよい。

【0023】

通信端末２００は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレット端末、及びスマートフォン等であってよい。学習実行装置１００と通信端末２００とは、ネットワーク２０を介して通信してよい。ネットワーク２０は、インターネットを含んでよい。ネットワーク２０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含んでよい。ネットワーク２０は、移動体通信ネットワークを含んでよい。移動体通信ネットワークは、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）通信方式、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）通信方式、５Ｇ（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ）通信方式、及び６Ｇ（６ｔｈ Ｇｅｎｅｒａｔｉｏｎ）通信方式以降の通信方式のいずれに準拠していてもよい。

【0024】

また、学習実行装置１００は、例えば、リハビリテーションの分野に適用されてもよい。学習実行装置１００は、例えば、歩行のリハビリを実施する実施者の筋肉モデルを登録するとともに、目標動作として歩行を登録する。そして、介在ニューロンの発火パターンのン学習を進め、歩行ができるようになるまでの動作及び筋肉の成長を記録する。これにより、歩行ができるようになるまでの適切な動作を模索することができる。

【0025】

また、学習実行装置１００は、例えば、スポーツ科学の分野に適用されてもよい。学習実行装置１００は、例えば、スポーツ選手の筋肉モデルを登録するとともに、目標動作として、理想的なフォーム等を登録する。そして、介在ニューロンの発火パターンのン学習を進め、理想的なフォームが身に着くまでの動作及び筋肉の成長を記録する。これにより、トレーニングの方法を模索することができる。

【0026】

なお、学習実行装置１００は、介在ニューロンの発火パターンに従って筋肉を動作させる筋肉モデル以外の筋肉モデルに対して、筋肉の成長を適用してもよい。例えば、学習実行装置１００は、ヒルタイプモデルに基づく筋肉モデルに対して、筋肉の成長を適用する。また、例えば、学習実行装置１００は、ＣＰＧを用いた筋肉モデルに対して、筋肉の成長を適用する。また、例えば、学習実行装置１００は、ＤＱＮを用いた筋肉モデルに対して、筋肉の成長を適用する。学習実行装置１００は、その他、任意の既存のモデルに対して、筋肉の成長を適用してもよい。

【0027】

図２は、筋肉モデル３００の一例を概略的に示す。筋肉モデル３００は、脊髄３１０内の複数の介在ニューロン３２０と、複数の介在ニューロン３２０のそれぞれに接続された複数の運動単位３３０とを含む。１つの運動単位３３０には、運動ニューロン３４０と、運動ニューロン３４０に接続された筋繊維３５０とが含まれる。１つの運動ニューロン３４０には、複数の筋繊維３５０が接続される。

【0028】

図３は、発火パターン４００の一例を概略的に示す。発火パターン４００は、複数の介在ニューロン３２０の時系列のオン４０２及びオフ４０４を示す。筋肉モデル３００に対して、発火パターン４００を適用することによって、介在ニューロン３２０から各運動単位３３０に対して時系列で信号が入力され、オン４０２に従って、運動単位３３０の筋繊維３５０が収縮する。これにより、様々な筋肉の動きが実現される。

【0029】

図４は、学習実行装置１００の機能構成の一例を概略的に示す。学習実行装置１００は、情報格納部１０２、入力受付部１０４、データ受信部１０６、動作設定部１０８、学習実行部１１０、及び表示制御部１１２を備える。

【0030】

情報格納部１０２は、各種情報を格納する。情報格納部１０２は、筋肉モデルを格納してよい。情報格納部１０２は、それぞれに運動単位３３０が接続された複数の介在ニューロン３２０の発火パターンに従って、運動単位３３０に含まれる運動ニューロン３４０に接続された筋繊維３５０を収縮させることによって筋肉を動作させる筋肉モデルを格納してよい。

【0031】

情報格納部１０２は、筋肉モデル３００に含まれる複数の運動単位３３０のそれぞれについて、関連するパラメータを格納してよい。情報格納部１０２は、運動単位３３０が、速筋であるか遅筋であるかを示すタイプパラメータを格納してよい。タイプパラメータは、第１パラメータの一例であってよい。

【0032】

情報格納部１０２は、収縮可能なエネルギーを示すパラメータであるＨＰを格納してよい。ＨＰは、第２パラメータの一例であってよい。情報格納部１０２は、ＨＰの最大値を示すＭＡＸＨＰを格納してよい。

【0033】

情報格納部１０２は、自己回復力を示すパラメータであるＭＰを格納してよい。ＭＰは、第３パラメータの一例であってよい。情報格納部１０２は、ＭＰの最大値を示すＭＡＸＭＰを格納してよい。

【0034】

情報格納部１０２は、筋繊維３５０が速筋である場合に、筋繊維３５０が収縮する毎に消費されるエネルギー量を示す第４パラメータを格納してよい。本例では、情報格納部１０２は、第４パラメータの一例である筋繊維３５０の直径を示すＤＩＡＭを格納する。情報格納部１０２は、運動単位３３０の使用に関連するパラメータであるＥＸＰを格納してよい。ＥＸＰは、例えば、運動単位３３０が使用されるたびに増加するパラメータであってよい。ＥＸＰは、例えば、運動単位３３０が使用された回数に関連するパラメータであってよい。ＥＸＰは、運動単位３３０が使用された回数そのものであってもよい。ＥＸＰは、第５パラメータの一例であってよい。

【0035】

入力受付部１０４は、各種入力を受け付ける。入力受付部１０４は、学習実行装置１００が備える入力デバイスを介した入力を受け付けてよい。

【0036】

データ受信部１０６は、ネットワーク２０を介して各種データを受信する。データ受信部１０６は、例えば、通信端末２００から、筋肉モデル３００を受信して情報格納部１０２に格納する。また、データ受信部１０６は、例えば、通信端末２００から、運動単位３３０のパラメータを受信して、情報格納部１０２に格納する。

【0037】

動作設定部１０８は、筋肉モデルの目標動作を設定する。動作設定部１０８は、例えば、入力受付部１０４が受け付けた入力に従って、筋肉モデル３００の目標動作を設定してよい。動作設定部１０８は、データ受信部１０６が通信端末２００から受信した設定指示に従って、筋肉モデル３００の目標動作を設定してよい。

【0038】

学習実行部１１０は、学習を実行する。学習実行部１１０は、発火パターンを学習してよい。学習実行部１１０は、複数の発火パターンのうち、筋肉モデル３００の動作が目標動作により近い発火パターンに報酬を与える学習によって、目標動作を実現する発火パターンを学習してよい。学習実行部１１０は、例えば、強化学習を用いる。学習実行部１１０は、ＤＱＮ（Ｄｅｅｐ Ｑ－Ｎｅｔｗｏｒｋ）を用いてもよい。学習実行部１１０は、ＧＡ（Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍ）を用いてもよい。学習実行部１１０は、その他任意の学習手法を用いてもよい。

【0039】

学習実行部１１０は、例えば、ある目標動作を実現する発火パターンを学習する場合に、まず、ランダムに複数の発火パターンを発生させる。学習実行部１１０は、ランダムに発生させた複数の発火パターンのそれぞれに従って筋肉モデル３００を動作させ、筋肉モデル３００の動作が目標動作により近い発火パターンに基づいて複数の発火パターンを発生させる。学習実行部１１０は、発生させた複数の発火パターンのそれぞれに従って筋肉モデル３００を動作させ、筋肉モデル３００の動作が目標動作により近い発火パターンに基づいて複数の発火パターンを発生させる。学習実行部１１０は、これらを繰り返すことによって、目標動作を実現する発火パターンを学習してよい。

【0040】

学習実行部１１０は、学習済みの発火パターンに基づいて複数の発火パターンを発生させてもよい。例えば、学習実行部１１０は、膝を２０度に曲げて維持するという目標動作に対して学習した発火パターンと、膝を６０度に曲げて維持するという目標動作に対して学習した発火パターンと、膝を９０度に曲げて維持するという目標動作に対して学習した発火パターンに基づいて、複数の発火パターンを発生させる。これにより、例えば、膝を任意の角度に曲げて維持するという目標動作のための複数の発火パターンを容易に準備することができ、発火パターンをランダムに発生させる場合と比較して、全体に要する時間を短くすることができる。

【0041】

学習実行部１１０は、学習を進める間、発火パターンに基づいて筋肉モデル３００を動作させた場合に、筋繊維３５０を収縮させた運動単位３３０を成長させてよい。

【0042】

筋肉モデル３００は、速筋の運動単位３３０と、遅筋の運動単位３３０とを含んでよい。学習実行部１１０は、発火パターンに基づいて筋肉モデル３００を動作させた場合に、速筋の運動単位３３０と遅筋の運動単位３３０とを異なる基準に従って成長させてよい。

【0043】

学習実行部１１０は、運動単位３３０が収縮する毎にＨＰから予め定められた値を減算してよく、ＭＰが０でない間は、時間経過に伴ってＨＰを回復させてよい。学習実行部１１０は、運動単位３３０が速筋である場合には、運動単位３３０が収縮する毎にＨＰからＤＩＡＭを減算してよい。学習実行部１１０は、運動単位３３０が遅筋である場合には、運動単位３３０が収縮する毎にＨＰから１を減算してよい。なお、これに限らず、学習実行部１１０は、運動単位３３０が速筋である場合に、運動単位３３０が収縮する毎にＨＰからＤＩＡＭ以外の値を減算してもよい。また、学習実行部１１０は、運動単位３３０が遅筋である場合に、運動単位３３０が収縮する毎にＨＰから、例えばＤＩＡＭの値等の、１以外の値を減算してもよい。学習実行部１１０は、ＭＰが０でない間は、時間経過に伴ってＨＰを回復させてよい。学習実行部１１０は、ＭＰが０になった場合、ＨＰの回復を行わなくてよい。学習実行部１１０は、時間経過に伴って、ＭＰを回復させてよい。

【0044】

学習実行部１１０は、筋繊維３５０が損傷したと判定した後、筋繊維３５０が回復したと判定した場合に、運動単位３３０が速筋である場合には、ＭＡＸＨＰ及びＤＩＡＭを増加させ、運動単位３３０が遅筋である場合には、ＭＡＸＭＰを増加させてよい。

【0045】

学習実行部１１０は、筋繊維３５０が損傷したと判定した後、筋繊維３５０が回復したと判定した場合において、運動単位３３０が速筋である場合、ＭＡＸＭＰは増大させなくてよい。学習実行部１１０は、筋繊維３５０が損傷したと判定した後、筋繊維３５０が回復したと判定した場合において、運動単位３３０が遅筋である場合、ＭＡＸＨＰは増大させなくてよい。学習実行部１１０は、例えば、ＨＰが０になった場合に、筋繊維３５０が損傷したと判定してよく、ＨＰがＭＡＸＨＰになったり、ＨＰが予め定められた閾値より高くなった場合に、筋繊維３５０が回復したと判定してよい。

【0046】

学習実行部１１０は、ＥＸＰの増加に伴って、運動単位３３０のレベルを向上させてよい。学習実行部１１０は、例えば、レベル毎に定められたＥＸＰの値を登録しておき、ＥＸＰの値がレベルに対応するＥＸＰの値を超えた場合に、運動単位３３０のレベルを向上させる。より高いレベルに対して、より多いＥＸＰの値が登録されてよい。

【0047】

学習実行部１１０は、運動単位３３０のレベルが高いほど、運動単位３３０が速筋である場合のＭＡＸＨＰ及びＤＩＡＭを増加しにくくし、運動単位３３０が遅筋である場合のＭＡＸＭＰを増加しにくくしてよい。

【0048】

学習実行部１１０は、運動単位３３０の筋繊維３５０を収縮させた後、予め定められた不応期を経過するまで、当該筋繊維３５０が収縮できないようにしてよい。情報格納部１０２は、複数の運動単位３３０のそれぞれの温度を格納してもよい。学習実行部１１０は、運動単位３３０が使用されるほど、運動単位３３０の温度を高くしてよく、運動単位３３０が使用されなければ、時間経過に伴って、運動単位３３０の温度を低くしてよい。学習実行部１１０は、運動単位３３０の温度が高いほど不応期を短くしてよい。

【0049】

学習実行部１１０は、時系列の複数の発火パターンに従って動作させた筋肉モデルの動作が目標動作を達成した場合に、目標動作を達成した状態の発火パターンから予め定められた時間遡った状態の発火パターンを更新することによって学習を実行してもよい。発火パターンが生成されてから、筋肉が実際に動くまで、不応期及び慣性の法則等の、様々なタイムディレイが存在するので、報酬を得た瞬間の発火パターンを更新するのは好ましくない場合がある。それに対して、学習実行部１１０によれば、目標動作を達成した状態の発火パターンから予め定められた時間遡った状態の発火パターンが更新されるので、学習精度を向上させることができる。

【0050】

当該予め定められた時間は、任意に設定可能であってよく、変更可能であってよい。学習実行部１１０は、速筋と遅筋とで、異なる時間を用いてもよい。例えば、学習実行部１１０は、運動単位３３０が速筋である場合、目標動作を達成した状態の発火パターンから２０ｍｓ前の状態の発火パターンを更新し、運動単位３３０が遅筋である場合、目標動作を達成した状態の発火パターンから４０ｍｓ前の状態の発火パターンを更新してよい。

【0051】

学習実行部１１０は、学習した発火パターンを用いて、表示データを生成してよい。学習実行部１１０は、例えば、発火パターンによって任意のキャラクタを動作させたＣＧアニメーションを生成する。学習実行部１１０は、筋肉モデル３００の学習を開始してから、目標動作を実現できるまでの間の、筋肉モデル３００の動作及び筋肉の成長に関するデータを表示する表示データを生成してもよい。学習実行部１１０は、筋肉モデル３００の学習を開始してから、理想的なフォームを実現できるまでの間の、筋肉モデル３００の動作及び筋肉の成長に関するデータを表示する表示データを生成してもよい。

【0052】

表示制御部１１２は、学習実行部１１０による学習結果に関連する各種表示を制御する。表示制御部１１２は、例えば、学習実行部１１０によって生成された表示データを、学習実行装置１００が備えるディスプレイに表示させる。表示制御部１１２は、学習実行部１１０によって生成された表示データを、ネットワーク２０を介して通信端末２００に送信し、通信端末２００が備えるディスプレイに表示させてもよい。

【0053】

情報格納部１０２は、既知のモデルに従った筋肉モデルを格納してもよい。情報格納部１０２は、例えば、ヒルタイプモデルに基づく筋肉モデルを格納する。情報格納部１０２は、ＣＰＧを用いた筋肉モデルを格納してもよい。情報格納部１０２は、ＤＱＮを用いた筋肉モデルを格納してもよい。

【0054】

情報格納部１０２は、既知のモデルに従った筋肉モデルの筋肉に含まれる複数の筋繊維のそれぞれに対して、タイプパラメータと、ＨＰと、ＭＡＸＨＰと、ＭＰと、ＭＡＸＭＰと、ＤＩＡＭとを格納してよい。

【0055】

学習実行部１１０は、筋繊維が収縮する毎に、筋繊維が速筋である場合にＨＰからＤＩＡＭを減算し、筋繊維が遅筋である場合にＨＰから１を減算し、ＭＰが０でない間は、時間経過に伴ってＨＰを回復させ、筋繊維が損傷したと判定した後、筋繊維が回復したと判定した場合に、筋繊維が速筋である場合には、ＭＡＸＨＰ及びＤＩＡＭを増加させ、筋繊維が遅筋である場合には、ＭＡＸＭＰを増加させてよい。

【0056】

学習実行部１１０は、ＭＰが０になった場合、ＨＰの回復を行わなくてよい。学習実行部１１０は、時間経過に伴って、ＭＰを回復させてよい。学習実行部１１０は、筋繊維が損傷したと判定した後、ＨＰが回復した場合において、筋繊維が速筋である場合、ＭＡＸＭＰは増大させなくてよい。学習実行部１１０は、筋繊維が損傷したと判定した後、ＨＰが回復した場合において、筋繊維が遅筋である場合、ＭＡＸＨＰは増大させなくてよい。

【0057】

学習実行部１１０は、ＥＸＰの増加に伴って、筋繊維のレベルを向上させてよい。学習実行部１１０は、例えば、レベル毎に定められたＥＸＰの値を登録しておき、ＥＸＰの値がレベルに対応するＥＸＰの値を超えた場合に、筋繊維のレベルを向上させる。より高いレベルに対して、より多いＥＸＰの値が登録されてよい。学習実行部１１０は、筋繊維のレベルが高いほど、筋繊維が速筋である場合のＭＡＸＨＰ及びＤＩＡＭの値を増加しにくくし、筋繊維が遅筋である場合のＭＡＸＭＰを増加しにくくしてよい。

【0058】

学習実行部１１０は、筋繊維を収縮させた後、予め定められた不応期を経過するまで、当該筋繊維が収縮できないようにしてよい。情報格納部１０２は、複数の筋繊維のそれぞれの温度を格納してもよい。学習実行部１１０は、筋繊維が使用されるほど、筋繊維の温度を高くしてよく、筋繊維が使用されなければ、時間経過に伴って、筋繊維の温度を低くしてよい。学習実行部１１０は、筋繊維の温度が高いほど不応期を短くしてよい。

【0059】

図５は、筋肉モデル３００の具体例を概略的に示す。図５では、人間の腱３７２、膝３７４、及び骨３７６に対応する筋肉３６０の筋肉モデル３００を例示する。上述の通り、脊髄３１０内には複数の介在ニューロン３２０が存在する。脊髄３１０は、学習器とみなすことも可能である。複数の介在ニューロン３２０のそれぞれは、発火と非発火の２つの状態をとり得る。運動単位３３０には、運動ニューロン３４０と、運動ニューロン３４０に接続された筋繊維３５０とが含まれる。１つの運動ニューロン３４０には、複数の筋繊維３５０が接続される。運動ニューロン３４０には、速筋と遅筋との２つの種類があってよい。運動ニューロン３４０は、サイズが大きい場合、速筋であってよく、サイズが小さい場合、遅筋であってよい。運動ニューロン３４０は、例えば、サイズが閾値より大きい場合、速筋であり、サイズが閾値より小さいばあい、遅筋である。筋繊維３５０は、速筋繊維と遅筋繊維との２つの種類があってよい。筋肉３６０は、筋繊維３５０の集合体である。本例において、学習実行部１１０は、１つのモデルとして、２つの筋肉（伸筋と屈筋）が接続された膝関節に対して、単純な動きを発火パターンで制御する。運動単位３３０には、速筋及び遅筋の２つの種類があってよく、学習実行部１１０は、速筋と遅筋とでそれぞれ異なる成長を行わせてよい。

【0060】

発火パターンを使用して筋肉を制御するためには、ニューロンの活動電位を計算する必要がある。学習実行部１１０は、介在ニューロン３２０を発火する場合に、例えば、Hodgkin-Huxleyモデル（A.L. Hodgkin, A. A quantitative description of membrane current and its application to conduction and excitation in nerve, from the physiological laboratory. University of Cambridge, pp. 500-544, 1952.）に従って、活動電位を計算してよい。計算された活動電位は、キルヒホッフの法則に従って、接続された運動ニューロン３４０に分配される。

【0061】

学習実行部１１０は、拡張したヒルタイプモデルを用いてよく、発火している運動ニューロン３４０の活動電位の合算を筋肉モデルの入力信号としてよい。筋肉モデルにおいて、筋肉の収縮力が計算され、物理法則に従って、筋肉の収縮力から膝関節のトルクに変換し、膝を動かして、関節角度が変化する。学習実行部１１０は、運動結果を関節角度として出力してよい。関節角度が目標角度を達成した場合、学習実行部１１０は、発火パターンに報酬を与えてよい。

【0062】

上述したように、学習実行部１１０は、拡張したヒルタイプモデルを用いてよい。従来のヒルタイプモデルは、筋肉の収縮要素（ＣＥ）、ＣＥに対して並列に配置される並列弾性要素（ＰＥＥ）及び直列に配置される直列弾性要素（ＳＥＥ）で構成されている。拡張モデルでは、ばね定数に起因する筋痙攣を軽減するために、従来のヒルタイプモデルにおける腱力計算に減衰係数を追加する。ヒルタイプモデルでは、筋繊維が運動ニューロンから電流を取得し、ＰＥＥ、ＳＥＥ、及びＣＥを使用して力に変換する。

【0063】

【数1】

【0064】

【数2】

【0065】

ｌｏｐｔは、ＣＥの最大の力を得るために最適化された長さであり、Ａは、筋肉活動比であり、ｌｃｅは、ＣＥの長さである。この関数を近似するためにいくつかの方程式が提案されている。例えば、Rosen and Kuoモデル（Deshpande, P.-H. K. . A. D. Contribution of passive properties of muscle-tendon units to the metacarpophalangeal joint torque of the index finger. IEEE, pp. 288-294, 2010.）を適用してよい。

【0066】

【数3】

【0067】

Ｖｃｅは、ＣＥの収縮速度であり、Ｖｍａｘは、ＣＥの最大収縮速度である。ＰＥが発生する力であるＦｐｅの式は次のとおりである。

【0068】

【数4】

【0069】

Ｋｐｅは、ＰＥのばね定数であり、ｌｐｅは、ＰＥの長さであり、ｌｐｅ_ｒｅｓｔはＰＥの平衡長であり、ｄｐｅは、ＰＥの減衰係数であり、Ｖｐｅは、ＰＥの終端速度である。ＳＥＥの力であるＦｓｅの式は次の通りである。

【0070】

【数5】

【0071】

ｋｓｅは、ＳＥＥのばね定数であり、ｌｓｅは、ＳＥＥの長さであり、ｌｓｅ_ｒｅｓｔはＳＥＥの平衡長であり、ｄｓｅは、ＳＥＥの減衰係数であり、Ｖｓｅは、ＳＥＥの終端速度である。

【0072】

運動単位３３０が活動電位を受けると、筋肉の収縮が引き起こされる。収縮が力のピークに達するまでの時間を収縮時間と呼ぶ。遅筋の運動単位３３０は、収縮時間が長く、最大収縮力が小さくなる。速筋の運動単位３３０は、収縮時間が短く、最大収縮力が高くなる。１つの筋肉は、複数の速筋の運動単位３３０と複数の遅筋及び運動単位３３０で構成されている。そこで、これらの運動単位３３０からなるヒルタイプモデルを採用する。

【0073】

【数6】

【0074】

Ｎは速筋の運動単位３３０の数であり、Ｍは遅筋の運動単位３３０の数であり、Ｆｃｅ_ｆ_ｉは、i番目の速筋の収縮力であり、Ｆｃｅ_ｓ_ｊ、ｊ番目の遅筋の収縮力である。

【0075】

遅筋の運動単位３３０及び速筋の運動単位３３０の生物学的特性が、本実施形態に係る筋肉モデルによってモデル化される。運動ニューロン３４０と筋繊維３５０で構成される運動単位３３０の成長モデルでは、すべての筋繊維３５０に、筋収縮に使用できるエネルギー値（ＨＰ）がある。収縮の度に、速筋のＨＰの値を、筋繊維３５０の直径に等しい値だけ減少させてよい。また、収縮の度に、遅筋のＨＰの値を、１だけ減少させてよい。継続的な筋肉の収縮によりＨＰが減少し、ＨＰが０になると、筋断裂が発生する。筋断裂が発生すると、回復しなければ、介在ニューロン３２０から電気信号を受信した場合でも、筋繊維３５０を再び収縮させることはできない。一方、介在ニューロン３２０からの信号の間隔が十分に大きければ、筋繊維３５０は自然に回復することができる。本モデルにおいて、自己回復力を示すＭＰが０でない限り、筋繊維３５０は、時間の経過とともに回復する。これらによって、学習実行部１１０は、様々な発火パターンを学習することができる。

【0076】

運動単位３３０は、使用されるたびにＥＸＰを取得し、成長を促進する。本モデルにおいては、成長のレベルを表すためにＬＶを定義している。遅筋の運動単位と速筋の運動単位には、異なる成長規則がある。速筋の運動単位３３０の場合、ＭＡＸＨＰ及び筋繊維３５０の直径のパラメータが増加する。当該ルールは、生物学的な成長ルールに基づいている。

【0077】

速筋の運動単位３３０には、筋繊維の周囲に衛星細胞が存在する。筋断裂が発生すると、衛星細胞が分裂し、速筋の筋繊維３５０のサイズが増加する。太い筋繊維３５０ほど強度は高くなるが、より多くのＨＰを必要とする。

【0078】

遅筋の筋繊維３５０は、サイズが増加しないが、自己回復力が増加する。生物学的な成長ルールによれば、遅筋の筋繊維３５０の周囲の毛細血管の数が増加するため、遅筋の筋繊維３５０に輸送される酸素の量が増加する。

【0079】

本モデルでは、筋繊維３５０の疲労を示すパラメータであるＳＰをさらに含んでもよい。遅筋の筋繊維３５０のみにおいて、成長に伴ってＳＰの値が減少する。すなわち、遅筋の筋繊維は、より長く使用されることができる。

【0080】

表１は、各パラメータの説明を示し、表２は、アルゴリズムの一例を示す。

【0081】

【表1】

【0082】

【表2】

【0083】

学習実行部１１０は、介在ニューロン３２０の発火パターンを学習するために、Ｑラーニングを使用してよい。学習プロセスは、各介在ニューロン３２０をエージェントとするマルチエージェントシステム学習に基づいてよい。各エージェントは、その環境を監視する。環境とは、介在ニューロン３２０と運動ニューロン３４０との接続性、及び運動単位３３０のパラメータとして定義されてよい。学習中、初期接続設定は変更されないが、運動単位のパラメータは変更可能であってよい。

【0084】

各介在ニューロン３２０は、複数の運動ニューロン３４０に接続されており、速筋又は遅筋のいずれかに接続される。なお、運動単位３３０の筋繊維３５０が速筋であるか遅筋であるかは、接続している運動ニューロンのサイズによって決まる。この原理は生物学に由来する。エージェントは、エージェント間で状態情報を共有できる。これは、ミエリン接続による情報共有と同等である。

【0085】

Ｑラーニングにおける状態と行動の組み合わせでは、Ｑｉ＝（ｓｉ：ａｉ）であり、Ｓｉは各エージェントの状態を示す。

【0086】

【数7】

【0087】

【数8】

【0088】

【数9】

【0089】

Ｍは、介在ニューロン３２０に接続されている運動ニューロン３４０の合計であり、Ｏは、他の介在ニューロン３２０に接続されている運動ニューロン３４０の合計である。 各エージェントは、発火（１）又は発火しない（０）のような行動ａｉを実行する。

【0090】

各介在ニューロン３２０は、接続されている各運動単位のすべてのパラメータと、情報を共有している他の介在ニューロン３２０が保持している運動単位のエネルギーの合計を監視し、発火するかどうかを決定する。介在ニューロン３２０の発火に基づいて、Hodgkin Huxleyモデルを用いて、接続された運動単位の電気信号が計算され、入力信号の計算に利用される。次に、拡張されたヒルタイプモデルを使用して、筋肉の収縮から計算された角度がエージェントにフィードバックされる。

【0091】

報酬には、即時と遅延の２種類があってよい。即時の報酬として、膝関節が目標の角度を達成する度に、ｒｇｏａｌを受信する。膝関節が目標角度を達成し続ける限り、エージェントは報酬を受け取り続ける。

【0092】

遅延報酬として、すべてのエージェントの残りのＨＰの合計が、エピソードの終わりに、報酬としてすべてのエージェントに均等に分配される。これは、効率的な動きを生み出す協調行動に寄与する。

【0093】

図６は、学習実行装置１００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００を、本実施形態に係る装置の１又は複数の「部」として機能させ、又はコンピュータ１２００に、本実施形態に係る装置に関連付けられるオペレーション又は当該１又は複数の「部」を実行させることができ、及び／又はコンピュータ１２００に、本実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。

【0094】

本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、ＲＡＭ１２１４、及びグラフィックコントローラ１２１６を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、記憶装置１２２４、ＤＶＤドライブ、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。ＤＶＤドライブは、ＤＶＤ－ＲＯＭドライブ及びＤＶＤ－ＲＡＭドライブ等であってよい。記憶装置１２２４は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ１２００はまた、ＲＯＭ１２３０及びキーボードのようなレガシの入出力ユニットを含み、それらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続されている。

【0095】

ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ１２１６は、ＲＡＭ１２１４内に提供されるフレームバッファ等又はそれ自体の中に、ＣＰＵ１２１２によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス１２１８上に表示されるようにする。

【0096】

通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。記憶装置１２２４は、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納する。ＤＶＤドライブは、プログラム又はデータをＤＶＤ－ＲＯＭ等から読み取り、記憶装置１２２４に提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。

【0097】

ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／又はコンピュータ１２００のハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、様々な入出力ユニットをＵＳＢポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ１２２０に接続してよい。

【0098】

プログラムは、ＤＶＤ－ＲＯＭ又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ１２００の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。

【0099】

例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、記憶装置１２２４、ＤＶＤ－ＲＯＭ、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。

【0100】

また、ＣＰＵ１２１２は、記憶装置１２２４、ＤＶＤドライブ（ＤＶＤ－ＲＯＭ）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。

【0101】

様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、当該複数のエントリの中から、第１の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

【0102】

上で説明したプログラム又はソフトウエアモジュールは、コンピュータ１２００上又はコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。

【0103】

本実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。

【0104】

コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。

【0105】

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。

【0106】

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

【0107】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0108】

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【0109】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0110】

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0111】

２０ ネットワーク、１００ 学習実行装置、１０２ 情報格納部、１０４ 入力受付部、１０６ データ受信部、１０８ 動作設定部、１１０ 学習実行部、１１２ 表示制御部、２００ 通信端末、３００ 筋肉モデル、３１０ 脊髄、３２０ 介在ニューロン、３３０ 運動単位、３４０ 運動ニューロン、３５０ 筋繊維、３６０ 筋肉、３７２ 腱、３７４ 膝、３７６ 骨、４００ 発火パターン、４０２ オン、４０４ オフ、１２００ コンピュータ、１２１０ ホストコントローラ、１２１２ ＣＰＵ、１２１４ ＲＡＭ、１２１６ グラフィックコントローラ、１２１８ ディスプレイデバイス、１２２０ 入出力コントローラ、１２２２ 通信インタフェース、１２２４ 記憶装置、１２３０ ＲＯＭ、１２４０ 入出力チップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】