特開 2024-86176 動作予測システム、動作予測方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024086176

(43)【公開日】2024-06-27

(54)【発明の名称】動作予測システム、動作予測方法、プログラム

(51)【国際特許分類】

   B25J 11/00 20060101AFI20240620BHJP

   B25J 13/08 20060101ALI20240620BHJP

【ＦＩ】

B25J11/00 Z

B25J13/08 Z

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022201170

(22)【出願日】2022-12-16

(71)【出願人】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100181135

【弁理士】

【氏名又は名称】橋本 隆史

(72)【発明者】

【氏名】高橋 潤

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707AS38

3C707HS27

3C707JS07

3C707JT09

3C707KS06

3C707KS09

3C707KS23

3C707KS24

3C707KS34

3C707KT01

3C707KT06

3C707KT11

3C707KV01

3C707KX12

3C707KX13

3C707LS20

3C707LW07

3C707LW12

3C707XK02

3C707XK06

3C707XK13

3C707XK16

3C707XK24

3C707XK33

3C707XK42

(57)【要約】

【課題】人などの動作の予測対象の動作に基づいて所定の制御対象を制御する際に、その制御対象の制御タイミングが適切となるように動作の予測対象の当該動作をできるだけ早く、かつより高精度に予測することのできる動作予測システム、動作予測方法、プログラムを提供する。
【解決手段】対象の動きとして定義された本動作の前に当該対象が行う予備動作中の当該対象の状態を示す状態情報を取得する。対象の予備動作中における状態情報と、対象の本動作における状態情報と、の関係を学習して生成された本動作予測モデルを用いて、予備動作の後の本動作における予測の状態情報を算出する。
【選択図】図１

【特許請求の範囲】

【請求項1】

対象の動きとして定義された本動作の前に当該対象が行う予備動作中の当該対象の状態を示す状態情報を取得する取得手段と、
前記対象の前記予備動作中における状態情報と本動作予測モデルを用いて、前記予備動作の後の前記本動作における予測の状態情報を算出する予測手段と、
を備える動作予測システム。

【請求項2】

前記対象の動きを補助する駆動装置の指令値を前記予測の状態情報を用いて算出し、前記駆動装置へ出力する制御手段と、
を備える請求項１に記載の動作予測システム。

【請求項3】

前記状態情報は、前記対象が装着して当該対象の動きを補助するパワードスーツに設けられたセンサの検知した情報であり、
前記制御手段は、前記パワードスーツに設けられた駆動装置に前記指令値を出力する
請求項２に記載の動作予測システム。

【請求項4】

前記状態情報は、前記対象の動作をセンシングするセンサの検知した情報であり、
前記制御手段は、通信接続した遠隔装置に設けられた駆動装置に前記指令値を出力する
請求項２に記載の動作予測システム。

【請求項5】

前記状態情報は、前記対象の動作をセンシングするセンサの検知した情報であり、
前記制御手段は、通信接続した情報処理装置であって前記対象の動作に基づいて情報処理を行う情報処理装置に前記指令値を出力する
請求項２に記載の動作予測システム。

【請求項6】

前記状態情報は、前記センサにより検知された情報を加工した情報を含む請求項３から請求項５の何れか一項に記載の動作予測システム。

【請求項7】

前記対象の前記予備動作中における状態情報と、前記対象の前記本動作における前記状態情報と、の関係を学習して前記本動作予測モデルを生成するモデル生成手段と、
を備える請求項１から請求項５の何れか一項に記載の動作予測システム。

【請求項8】

対象の動きとして定義された本動作の前に当該対象が行う予備動作中の当該対象の状態を示す状態情報を取得し、
前記対象の前記予備動作中における状態情報と本動作予測モデルを用いて、前記予備動作の後の前記本動作における予測の状態情報を算出する
動作予測方法。

【請求項9】

動作予測システムのコンピュータを、
対象の動きとして定義された本動作の前に当該対象が行う予備動作中の当該対象の状態を示す状態情報を取得する取得手段、
前記対象の前記予備動作中における状態情報と本動作予測モデルを用いて、前記予備動作の後の前記本動作における予測の状態情報を算出する予測手段、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動作予測システム、動作予測方法、プログラムに関する。

【背景技術】

【0002】

人などの対象の動作を予測する技術が求められている。例えば、人が装着して人の動作に必要な力を軽減するパワードスーツがある。パワードスーツにおいて人が動作する際に発生する力を補助するタイミングが適切となるように、人の動作を予測することが求められる場合がある。また遠隔の装置などを人が操作する場合に、当該遠隔の装置や仮想空間のアバターの動きのタイミングが、人の動作と合うように人の動作を予測することが求められる場合がある。

【0003】

特許文献１には、歩行障害支援装置の技術が開示されており、人の運動症状に伴う歩行障害の発現予兆を事前に検出する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２０１８／０６６１５１号

【発明の概要】

【発明が解決しようとする課題】

【0005】

人などの動作の予測対象の動作に基づいて所定の制御対象を制御する際に、その制御対象の制御タイミングが適切となるように動作の予測対象の当該動作をできるだけ早く予測する技術が求められている。

【0006】

そこでこの発明は、上述の課題を解決する動作予測システム、動作予測方法、プログラムを提供することを目的としている。

【課題を解決するための手段】

【0007】

発明の第一の態様によれば、動作予測システムは、対象の動きとして定義された本動作の前に当該対象が行う予備動作中の当該対象の状態を示す状態情報を取得する取得手段と、前記対象の前記予備動作中における状態情報と本動作予測モデルを用いて、前記予備動作の後の前記本動作における予測の状態情報を算出する予測手段と、を備える。

【0008】

発明の第二の態様によれば、動作予測方法は、対象の動きとして定義された本動作の前に当該対象が行う予備動作中の当該対象の状態を示す状態情報を取得し、前記対象の前記予備動作中における状態情報と本動作予測モデルを用いて、前記予備動作の後の前記本動作における予測の状態情報を算出する。

【0009】

発明の第三の態様によれば、プログラムは、動作予測システムのコンピュータを、対象の動きとして定義された本動作の前に当該対象が行う予備動作中の当該対象の状態を示す状態情報を取得する取得手段、前記対象の前記予備動作中における状態情報と本動作予測モデルを用いて、前記予備動作の後の前記本動作における予測の状態情報を算出する予測手段、として機能させる。

【発明の効果】

【0010】

本発明によれば、人などの動作の予測対象の動作に基づいて所定の制御対象を制御する際に、その制御対象の制御タイミングが適切となるように動作の予測対象の当該動作をできるだけ早く予測することができる。

【図面の簡単な説明】

【0011】

【図1】本実施形態による動作予測システムの機能ブロック図である。

【図2】本実施形態による動作予測システムの概略構成を示す図である。

【図3】他の態様による動作予測システムの機能ブロック図である。

【図4】本実施形態による動作予測装置の機能ブロック図である。

【図5】本実施形態による予備動作と本動作においてセンサが検出した状態情報の一例を示す。

【図6】本実施形態による複数の動作それぞれにおける予備動作と本動作の関係を示す図である。

【図7】本実施形態による動作予測システムの処理概要を示す図である。

【図8】本実施形態による動作予測システムの処理フローを示す図である。

【図9】本実施形態による本動作予測モデルの生成処理の概要を示す図である。

【図10】他の実施形態における動作予測システムの概要を示す図である。

【図11】動作予測装置の最小構成を示す図である。

【図12】最小構成による動作予測装置の処理フローを示す図である。

【図13】動作予測装置を実現可能な計算処理装置のハードウェア構成例を概略的に示すブロック図である。

【発明を実施するための形態】

【0012】

以下、本発明の一実施形態による動作予測システムを図面を参照して説明する。
図１は本実施形態による動作予測システムの機能ブロック図である。図１に示すように動作予測システム１００は、少なくとも動作予測装置１を備えている。図１には動作予測システム１００が、動作予測装置１に加えて、制御装置２０、駆動装置２００、センサ２１０を備える態様について示している。

【0013】

動作予測装置１は、制御装置２０、センサ２１０と通信接続する。動作予測装置１は、センサ２１０から対象である人の動きとして定義された本動作の前に人が行う予備動作中の当該人の状態を示す状態情報を取得する。動作予測装置１は、例えば人の予備動作中における状態情報と、人の本動作における状態情報と、の関係を学習して生成された本動作予測モデルを用いて、予備動作の後の本動作における予測の状態情報を算出する。動作予測装置１は、予測の状態情報を制御装置２０へ出力する。制御装置２０は、予測の状態情報に基づいて、駆動装置２００を制御する。一例として、制御装置２０は、人の動作を補助するパワードスーツ１０に備わり、パワードスーツに設けられた駆動装置２００を制御する。なお動作予測システム１００は、少なくとも動作予測装置１とセンサ２１０で構成されると定義してもよい。そして、制御装置２０と駆動装置２００はパワードスーツ１０の構成品であってよい。

【0014】

図２は本実施形態による動作予測システムの概略構成図である。図２に示すように動作予測システム１００において、制御装置２０が制御する対象が、パワードスーツ１０に設けられた駆動装置２００である場合について説明する。

【0015】

パワードスーツ１０はユーザが上半身や下半身に装着できるように構成されている。パワードスーツ１０は一例として、腕、脚、腰、肩、背中等に沿い関節近傍に位置する複数のアクチュエータ２３０を介して接続された各外骨格フレームに、制御装置２０や各種センサ２１０が取り付けられている。パワードスーツ１０は、背中の外骨格フレームにおいて荷物３０を積載可能に構成されてよい。アクチュエータ２３０は、駆動装置２００の一態様である。

【0016】

複数のアクチュエータ２３０は、例えば、股、膝、足首、肩、肱、手首などの関節の近傍に設けられる。複数のセンサ２１０は、股関節、膝関節、足関節、肩関節、肱関節、手首関節、上腕部、大腿部、胸などに設けられてよい。より具体的には、パワードスーツ１０は、フレームの腰、胸、上腕部、前腕部、大腿部、膝下部などに設けられたベルトに、センサ２１０が取り付けられている。制御装置２０は内部に備わるバッテリから得た電力により駆動する。制御装置２０は、動作予測装置１と有線または無線により通信接続する。

【0017】

図３は、他の態様による動作予測システムの機能ブロック図である。
図１や図２においては動作予測装置１が制御装置２０の外部にある態様を示しているが、図３で示すように、動作予測装置１は制御装置２０の一部として、制御装置２０の内部に組み込まれていてもよい。

【0018】

図４は動作予測装置１の機能ブロック図である。
動作予測装置１は、一例として、動作予測プログラムを起動することにより、制御部１１、モデル生成部１２、記憶部１３、取得部１４、予測部１５の機能を発揮する。動作予測装置１のこれら機能部の一部は、回路により構成されていてよい。

【0019】

制御部１１は動作予測装置１の各機能部を制御する。
モデル生成部１２は、一例として、対象の予備動作中における状態情報と、対象の本動作における状態情報と、の関係を学習して本動作予測モデルを生成する。
記憶部１３は、本動作予測モデルや各種プログラム、センサ２１０から取得した情報、その他、動作予測装置１の処理に必要な情報を記憶する。
取得部１４は、対象の動きとして定義された本動作の前に当該対象が行う予備動作中の当該対象の状態を示す状態情報や、本動作中の当該対象の状態を示す状態情報などの動作予測装置１の処理に必要な情報を取得する。
予測部１５は、例えば、少なくとも対象の予備動作中における状態情報と本動作予測モデルとを用いて、予備動作の後の本動作における予測の状態情報を算出する。

【0020】

なお本実施形態において、対象は、パワードスーツ１０を装着する人である。また状態情報は、例えばセンサ２１０の検知した角速度、加速度、圧力、地磁気などの情報であってよい。またセンサ２１０は、ＩＭＵ（Inertial Measurement Unit）や圧力センサなどの小型のセンサ装置であり、また軽量であり、耐防水性と容易な操作性を備える。センサ２１０は、パワードスーツ１０に元々装着されたものであってもよいし、動作予測システム１００を構成するために新たにパワードスーツ１０に装着されたものでもよい。またはセンサ２１０は対象である人の体に直接装着したものであってもよく、アクチュエータ２３０の内部に設けられたものであってもよい。

【0021】

図５は予備動作と本動作においてセンサが検出した状態情報の一例を示す。
図５においてグラフ５ａは、人の臀部から背中に沿うように設けられる第一の外骨格フレームと、大腿骨に沿って設けられる第二の外骨格フレームとを接続する股関節の動きを検出できる箇所等に設けられたセンサ２１０の検出する角速度の時刻０～時刻１０までの推移を示す図である。この角速度によりパワードスーツ１０を装着するユーザが腰を曲げる際の角速度や角度を検出することができる。また図５においてグラフ５ｂは、人の足裏に設けられるセンサ２１０（圧力センサ）の検出する圧力の時刻０～時刻１０までの推移を示す図である。センサ２１０（圧力センサ）が検出する圧力は、ユーザの状態情報の例である。グラフ５ａ、グラフ５ｂは共に、ユーザが座位姿勢から立位姿勢に移行する際の時刻０～時刻１０までの期間におけるユーザの状態情報（角速度や圧力）の遷移を示している。つまりユーザが座位姿勢から立位姿勢に移行する際、股関節の角速度はグラフ５ａのように遷移する。またユーザが座位姿勢から立位姿勢に移行する際、足裏の圧力はグラフ５ｂのように遷移する。なお、センサ２１０（ＩＭＵ）を使用して股関節を中心とした上半身の回転速度（角速度）を計測する場合、センサ２１０（ＩＭＵ）は、股関節よりできるだけ離れた場所に設けられる。センサ２１０の装着位置が関節などの回転軸の回転中心より離れた方がセンサ２１０自体の移動距離が長くなり、これにより、小さな角度変化でも検知しやすくなる。なおパワードスーツ１０には各関節部のアクチュエータ２３０に角度の変化量を測定することのできるエンコーダが搭載されているため、そのエンコーダを使用して角度や角速度を検出してもよい。つまりアクチュエータ２３０がセンサ２１０であってよい。

【0022】

ここで、グラフ５ａで示すように、ユーザの座位姿勢から立位姿勢に移行する間の動作における予備動作の開始を時刻０、本動作の終了時刻を１０とし、予備動作の期間を時刻０～時刻５を予備動作と定義する。ここで股関節の角度を立位時は０度とし、上半身を前方向に前傾するに従いその角度は増加するものとする。この場合、その予備動作においてユーザは座位姿勢において上半身をまず前傾して重心を前方に移動していき（前方向の角速度増加）、時刻５において荷重が足裏に乗り切るように動作し（圧力が最大）、上半身が最も前傾姿勢（角度が最大、角速度はゼロ）となるように動作する。その後、ユーザは本動作である立ち上がり動作を行う。本動作においては、股関節に関するセンサ２１０の検出する角速度は５ａの時刻５～時刻１０で示すようにユーザが後ろに上半身を起こすことにより角度が減少するように変化して立位時には角速度が０となり、これにより第一の外骨格フレームと第二の外骨格フレームの股関節近傍におけるユーザの前傾の角度は、座位の際の１２０度～１３０度付近から立位時の０度付近へと変化する。なおこの角度は荷物の重さによっても異なる（荷物の重量が軽い場合には前傾量は小さくなり、重い場合には前傾量は大きくなる）。なお角速度の積分値が角度である。

【0023】

また予備動作においてユーザの足裏のセンサ２１０の検出する圧力はグラフ５ｂの時刻０～時刻５までのように、ユーザの重心が前方に移動し荷重が足裏に乗り切ったちょうど立ち上がる瞬間に最大（加速度が掛かるため）となる。また当該圧力は、その後、（重い荷物を背負っている場合）ゆっくりと立ち上がっている最中はほぼ一定となる。圧力は、パワードスーツ１０、荷物３０、ユーザの各重さの合計値となる。このように、ユーザの動作は本動作とその本動作が行われる前の予備動作とに定義することができる。なお図５において示すグラフは一例であり、実際には時間経過に応じた股関節の角速度や足裏の圧力の遷移は異なってよい。

【0024】

図６は複数の動作それぞれにおける予備動作と本動作の関係を示す図である。
座位姿勢から立位姿勢になる立ち上がり動作（６Ａ）では、上述したように、ユーザは予備動作において、上半身を前方に傾けて、本動作において立ち上がる。なお立ち上がり動作においては、予備動作においてユーザは、足の踵を手前に引き付ける動作を行う場合もある。動作予測装置１の予測部１５は、ある期間（予備動作期間）の状態情報を、本動作予測モデルに入力する処理を繰り返し、その結果、当該繰り返し毎に、立ち上がり動作における本動作の時間推移に応じた状態情報を算出・検出してよい。動作予測装置１は立ち上がり動作の予備動作を検出した場合、当該立ち上がり動作における予備動作に適した本動作予測モデルを用いて、本動作の時間推移に応じた状態情報を予測してよい。

【0025】

またジャンプ動作（６Ｂ）の予備動作ではユーザは膝を曲げて下にしゃがみ込む。この予備動作においてユーザは立ち上がり動作と同様に股関節の角度は０度（直立）から１８０度方向（上半身と大腿が近づく方向）に変化し、早い速度で下方にしゃがみ込む。そして本動作においてユーザは腰、膝、足首を急激に伸ばしてジャンプを行う。ジャンプの本動作においては上半身の背中を沿う第一の外骨格フレームと大腿骨を沿う第二の外骨格フレームとを接続するアクチュエータ２３０の角速度や、第二の外骨格フレームと下腿を沿う第三の外骨格フレームとを接続する膝近傍のアクチュエータ２３０との角速度が急激に変化する。このようなジャンプ動作における予備動作と本動作それぞれの各センサの状態情報に基づいて上記同様に、ジャンプ動作における本動作予測モデルを生成する。動作予測装置１の予測部１５は、ある期間（予備動作期間）の状態情報を、本動作予測モデルに入力する処理を繰り返し、その結果、当該繰り返し毎に、ジャンプ動作における本動作の時間推移に応じた状態情報を算出・検出してよい。または、動作予測装置１は立ち上がり動作に対応する本動作予測モデルを用いて、本動作の時間推移に応じた状態情報を予測してよい。動作予測装置１はジャンプ動作の予備動作を検出した場合、当該ジャンプ動作における予備動作に適した本動作予測モデルを用いて、本動作の時間推移に応じた状態情報を予測してよい。

【0026】

また歩行動作（６Ｃ）の予備動作ではユーザは静止状態から第一の脚側に重心を移動した後にさらに重心を前方に移動させ、第二の脚を前方に投げ出し遊脚状態とする。そして本動作においてユーザは第二の脚を着地させると共に、第一の脚から第二の脚側に重心を移動させつつ第一の脚側の足で後方に地面をけって前方に移動し、第一の脚を後方から前方に引き付けてさらに前方に投げ出し遊脚状態とし、この動作を第一の脚と第二の脚で繰り返す。このような歩行動作における予備動作と本動作それぞれの各センサの状態情報に基づいて上記同様に歩行動作における本動作予測モデルを生成する。動作予測装置１の予測部１５は、ある期間（予備動作期間）の状態情報を、本動作予測モデルに入力する処理を繰り返し、その結果、当該繰り返し毎に、歩行動作における本動作の時間推移に応じた状態情報を算出・検出してよい。動作予測装置１は歩行動作に対応する本動作予測モデルを用いて、本動作の時間推移に応じた状態情報を予測してよい。この場合、動作予測装置１は歩行動作の予備動作を検出した場合、当該歩行動作における予備動作に適した本動作予測モデルを用いて、本動作の時間推移に応じた状態情報を予測してよい。

【0027】

図７は、本実施形態による動作予測システムの処理概要を示す図である。
動作予測装置１は、センサ２１０の検知した情報である角速度、加速度、圧力、地磁気などを取得する。動作予測装置１は、その入力した情報や、当該情報を加工、変換して得られた情報を、本動作予測モデルに入力し、その結果、予備動作の後の本動作における予測の状態情報を算出する。入力した情報を加工、変換した情報は、例えばパワードスーツ１０を装着した人の重心、アクチュエータ２３０の位置に対応する各関節の角度などであってよい。動作予測装置１は、予備動作の後の本動作における予測の状態情報を入力として、制御装置２０へ出力する。制御装置２０は、入力した本動作における予測の状態情報に基づいて、駆動装置２００であるアクチュエータ２３０の指令値を算出して、当該アクチュエータ２３０へ出力する。

【0028】

図８は、本実施形態による動作予測システムの処理フローを示す図である。
図８においては、ユーザの動作、（Ａ）動作予測装置１の無い関連するパワードスーツ１０の動作、（Ｂ）本実施形態による動作予測システム１００を組み込んだパワードスーツ１０における当該動作予測システム１００の処理について説明する。

【0029】

図８の上段において記載されたユーザの動作について説明する。図８の上段においては重い荷物３０を搭載したパワードスーツ１０をユーザが装着し、当該ユーザが座位姿勢から立位姿勢に映る際の動作の例を示している。当該ユーザは、座位姿勢から立位姿勢に移動する際、一例としては、重心を前方に移動させるために、まず踵を後に引く（Ｓ１）。次にユーザは前傾姿勢になる（Ｓ２）。次に足裏に荷重をかける（Ｓ３）。そしてユーザは、椅子から立ち上がる（Ｓ４）。このような動作によりユーザは座位姿勢から立位姿勢に移ることができる。

【0030】

座位姿勢から立位姿勢に移るユーザの当該動作において、実際に座位姿勢から立位姿勢に移る際のＳ４を本動作、当該本動作Ｓ４の前の予備動作Ｓ１～Ｓ３を定義する。本実施形態による動作予測システム１００において動作予測装置１は、予備動作Ｓ１～Ｓ３においてセンサ２１０から取得部１４が取得した情報に基づいて、予測部１５が本動作Ｓ４における人の状態情報を算出する。具体的には、図８の下段（Ｂ）に示すように、センサ２１０がユーザの予備動作を検知し（Ｓ１１）、関節の角度などのデータを状態情報として動作予測装置１へ送信する（Ｓ１２）。動作予測装置１の予測部１５は本動作予測モデルを用いて、予備動作の後の本動作における予測の状態情報（例えば角度データ等）を算出し（Ｓ１３）、制御装置２０へ送信する（Ｓ１４）。

【0031】

動作予測装置１の予測部１５は所定の期間の状態情報を、本動作予測モデルに入力する処理を繰り返し、その結果、該繰り返し毎に、本動作の識別子を算出するようにしてもよい。この場合、予測部１５は本動作の識別子に紐づけて記憶部１３に記憶した本動作の時間推移に応じた状態情報を読み取り、制御装置２０へ出力するようにしてもよい。この場合の本動作予測モデルは、予備動作の期間の状態情報の遷移と、本動作の識別子（正解データ）との関係を学習して得られた予測モデルであってよい。

【0032】

制御装置２０は、入力した本動作における予測の状態情報に基づいて、アクチュエータ２３０が必要なトルクや回転速度を計算する（Ｓ１５）。制御装置２０は計算したトルクや回転速度が得られるための指令値（電力）をアクチュエータ２３０へ送る（Ｓ１６）。これにより各関節に対応するアクチュエータ２３０のモータが駆動し（Ｓ１７）、パワードスーツ（ＰＳ）１０が動作する（Ｓ１８）。

【0033】

このような動作予測装置１の処理により、対象が本動作に移行する前の対象の予備動作に基づいて、対象が本動作に移行する前に当該本動作の指令値を算出することができる。またこのような動作予測装置１の処理により、パワードスーツ１０が人の動きを補助する動作において、当該補助のための駆動装置２００の制御のタイミングの遅れを改善することができる。つまり、パワードスーツの動作のタイミングが、本動作Ｓ４のユーザの動作のタイミングに近づく。また動作予測装置１の処理により、対象が本動作に移行する前の対象の予備動作に基づいて、対象がどのような動作で、対象にどの程度の荷重が掛かって、対象がどの程度の速さで動き、対象にどの程度の力が必要か等の予測を行うことができる。

【0034】

一方、図８の中段（Ａ）には、関連するパワードスーツ１０の動作を示す。関連するパワードスーツ１０の動作においては、ユーザが本動作Ｓ４を行った場合に、エンコーダがセンサ２１０から得た情報に基づいて本動作Ｓ４を検知し（Ｓ２１）、これに基づいて制御装置２０はアクチュエータ２３０が必要なトルクや回転速度を計算する（２２）。制御装置２０は計算したトルクや回転速度が得られるための指令値（電力）をアクチュエータ２３０へ送る（Ｓ２３）。これにより各関節に対応するアクチュエータ２３０のモータが駆動し（Ｓ２４）、パワードスーツＰＳが動作する（Ｓ２５）。このような動作の場合、ユーザの本動作Ｓ４からパワードスーツ１０（ＰＳ）が駆動するまでに遅延Ｄ１が生じるという課題があった。本実施形態による動作予測システム１００はこのような課題を解決することができる。また本実施形態による動作予測システム１００によれば、パワードスーツ１０や人に取り付けられたセンサ２１０から得られた情報に基づいて、予備動作に応じた本動作の予測の状態情報を算出することができ、当該本動作の予測の状態情報を算出するための本動作予測モデルの更新を行うことができる。これによりカメラなどの専用のセンシング装置が無くとも、屋外等において対象である人等の動作を支援するための精度の高い本動作の予測の状態情報を算出して対象である人等を補助するパワードスーツ１０の動作精度を高めることができる。

【0035】

図９は本動作予測モデルの生成処理の概要を示す図である。
動作予測装置１の取得部１４は、モデル生成部１２が本動作予測モデルを生成するにあたり、ユーザのある動作についての予備動作と本動作の多くの状態情報を、パワードスーツ１０に備わる各センサ２１０から取得する。取得部１４は取得した状態情報を一部加工してよい。加工とは例えば角速度を積分して角度を算出したり、加速度を積分して速度を算出したりすることであってよい。取得部１４は取得した情報を記憶部１３に記録する。モデル生成部１２は、予備動作と本動作の多くの状態情報を記憶部１３から取得する。モデル生成部１２は他のユーザから設定された情報をモデル生成の利用のために記憶部１３等から取得してよい。モデル生成部１２は、ある動作における予備動作の期間の時間経過に応じた状態情報と、本動作の期間の時間経過に応じた状態情報との関係を機械学習（ディープラーニング等による学習など）して本動作予測モデルを生成する。管理者はこの本動作予測モデルを評価するようにしてもよい。またはモデル生成部１２は、ある動作における予備動作の期間の時間経過に応じた状態情報と、その状態情報が示す予備動作の後の本動作が何であるかの正解データとの関係を機械学習して本動作予測モデルを生成してもよい。

【0036】

そして、生成した本動作予測モデルを用いて、動作予測装置１の予測部１５がある予備動作期間におけるセンサ２１０から取得した状態情報やその状態情報を加工した情報、設定された情報（荷物の荷重など）を含む予備動作情報を、予備動作期間を時間の経過とともにずらしながら本動作予測モデルに入力する処理を繰り返し、その結果、該繰り返し毎に、本動作における状態情報（予測データ）を出力する。当該状態情報（予測データ）はパワードスーツの制御に用いられる。

【0037】

動作予測装置１のモデル生成部１２は、ユーザが装着したパワードスーツ１０の制御において利用されている本動作予測モデルを更新するようにしてもよい。具体的には、モデル生成部１２は、過去の予備動作と本動作における状態情報の関係と、ユーザがパワードスーツ１０を装着している際に各センサ２１０で検出した予備動作と本動作における状態情報の関係とを用いて、新たに機械学習（再学習）して新たな本動作予測モデル（新・予測モデル）を生成してよい。

【0038】

ここで、上述の動作予測装置１における処理において、予測部１５は、図５で示すような時刻０～時刻５の期間における各センサ２１０の検知した状態情報の推移に基づいて、複数の異なる本動作のうちのどの本動作に対応する予備動作であるかを、第一の本動作予測モデルを用いて判定してよい。そして、動作予測装置の予測部１５は、予備動作の期間における状態情報に応じて特定した本動作の識別子に紐づいて記憶する第二の本動作予測モデルを用いて、本動作の期間における状態情報の予測をするようにしてもよい。つまり、本動作予測モデルは、入力が予備動作の期間における状態情報の推移であり、出力が本動作の識別子であるモデルであってもよい。本動作の識別子と、その本動作における時間推移に応じた状態情報の値を紐づけて記憶しておくことにより、予測部１５は、本動作予測モデルを用いて特定した本動作の識別子から本動作の時間推移に応じた状態情報の値を読み取り、制御装置２０へ出力するようにしてもよい。本動作の時間推移に応じた状態情報は、角度、荷重などの複数の異なる状態情報であってよい。

【0039】

予測部１５は、本動作の時間推移に応じた状態情報の特定を行う本動作の予測の処理において、予備動作の期間（図５で示す時刻０～時刻５等）を時間の経過と共にずらしながら、当該予測の処理を繰り返し行うようにしてよい。また予測部１５は、当該本動作の予測の処理において、複数の異なる予備動作の期間のそれぞれについて、時間の経過と共にずらしながら、当該予測の処理を繰り返し行うようにしてよい。つまり、一例としては、動作予測装置１の予測部１５は、予備動作期間を時間の経過とともにずらしながら、それら各予備動作期間における予備動作情報を順次本動作予測モデルに入力して、本動作の予測の状態情報を出力する。また動作予測装置１の予測部１５は、予備動作期間を時間の経過とともにずらすと共に、当該予備動作期間が時間の経過とともに順次長く変化させて、それら各予備動作期間における予備動作情報を順次本動作予測モデルに入力して、本動作の予測の状態情報を出力するようにしてもよい。

【0040】

＜他の実施形態＞
上述の処理においては、センサ２１０がパワードスーツ１０に設けられており、動作予測装置１の処理結果がパワードスーツ１０の制御に用いる例を説明した。しかしながら、動作予測システム１００は、パワードスーツ１０のアクチュエータ２３０とは異なる駆動対象の制御を行う為に用いられてよい。

【0041】

図１０は他の実施形態における動作予測システムの概要を示す図である。
他の実施形態においては、ユーザがマーカ３１を体の各箇所に装着する。動作予測装置１に接続するカメラ２１１は光学的にユーザの動作に応じたマーカ３１の動きを検出する。カメラ２１１は、ユーザの動きを検出するためのセンサ２１０の一態様である。カメラ２１１はマーカ３１の軌跡情報を状態情報として動作予測装置１へ出力する。動作予測装置１のモデル生成部１２は、予備動作におけるマーカ３１の軌跡情報に基づいて本動作を特定するための本動作予測モデルを事前に生成する。そして動作予測装置１の取得部１４は、ユーザの動きに応じたある期間のマーカ３１の軌跡情報を取得すると、予測部１５が当該軌跡情報を本動作予測モデルに入力して本動作の識別子を特定する。予測部１５は、特定した本動作に紐づいて記憶する本動作の期間における時間に応じた各状態情報を取得し、当該状態情報を制御装置２０へ送信する。制御装置２０は、動作予測装置１と通信接続した遠隔の装置であってよい。そして制御装置２０は、本動作に応じた各状態情報に基づいて駆動装置２００を駆動するための指令値を算出し、駆動装置２００を制御する。なお、本動作予測モデルはある期間の状態情報に基づいて、本動作の期間における１つまたは複数の状態情報の推移を出力するものであってもよい。

【0042】

図１０に示す制御装置２０は、情報処理装置３００を制御してもよい。例えば情報処理装置３００は、ユーザの動作を仮想空間上でシミュレーション（模擬）する。遠隔のユーザの動作に基づいて、動作予測装置１がユーザの本動作の期間における時間に応じた各状態情報を取得し、制御装置２０へ出力する。制御装置２０は、取得した本動作の期間における時間に応じた各状態情報に基づいて、シミュレーションにより表示するユーザに対応するアバターの動作を表示する。これにより、動作予測装置１の予測した本動作の状態情報に基づいてアバターを動作させることで、当該動作のタイミングを適切な早いタイミングに前倒しして表示し、これにより遠隔のユーザの動作と遅延なく同時に近いタイミングでアバターの動きを表示することができる。制御装置２０が情報処理装置３００を制御する処理は、制御装置２０（制御手段）が、通信接続した情報処理装置３００であって対象の動作に基づいて情報処理を行う情報処理装置３００に指令値を出力する態様の一例である。

【0043】

図１０においては説明の便宜上、駆動装置２００、情報処理装置３００を共に示しているが、駆動装置２００、情報処理装置３００は、その何れか一方が動作予測システム１００に含まれるようにしてよい。また図１０におけるカメラ２１１は光学式のセンサの一例であり、光学式のセンサにより動作対象であるユーザの予備動作、本動作の状態情報を検知している。他の態様においては、光学式のセンサに代えて、磁気式、機械式のセンサにより動作対象であるユーザの予備動作、本動作の状態情報を検知してもよい。また図１０に示す動作予測対象である人はマーカ３１を装着しているが、動作予測装置１の取得手段は、カメラ２１１から得られた画像解析した結果、動作予測対象の動きを検出して、その動作予測対象の予備動作、本動作の状態情報を検知、取得してもよい。また図１０においてマーカ３１の代わりに各マーカ３１に対応する位置などセンサ２１０を人が装着して、そのセンサ２１０の出力した信号を動作予測装置１が受信して、上述の図１～図９を用いて説明した実施形態のように、動作予測装置１や制御装置２０が動作し、駆動装置２００や情報処理装置３００が制御されてもよい。

【0044】

図１１は動作予測装置の最小構成を示す図である。
図１２は最小構成による動作予測装置の処理フローを示す図である。
動作予測装置１は、少なくとも、取得部１４（取得手段）と、予測部１５（予測手段）とを備える。
取得部１４は、対象の動きとして定義された本動作の前に当該対象が行う予備動作中の当該対象の状態を示す状態情報を取得する（ステップＳ１２１）。
予測部１５は、対象の予備動作中における状態情報と本動作予測モデルとを用いて、予備動作の後の本動作における予測の状態情報を算出する（ステップＳ１２２）。

【0045】

（ハードウェア構成）
図１３は、本発明の各実施形態に係る動作予測装置１を実現可能な計算処理装置８０のハードウェア構成例を概略的に示すブロック図である。
動作予測装置１を、１つの計算処理装置（情報処理装置、コンピュータ）を用いて実現するハードウェア資源の構成例について説明する。但し、係る動作予測装置１は、物理的または機能的に少なくとも２つの計算処理装置を用いて実現されてもよい。また、係る動作予測装置１は、専用の装置として実現されてもよい。

【0046】

計算処理装置８０は、中央処理演算装置（Ｃｅｎｔｒａｌ＿Ｐｒｏｃｅｓｓｉｎｇ＿Ｕｎｉｔ、以降「ＣＰＵ」と表す）８１、揮発性記憶装置８２、ディスク８３、不揮発性記憶装置８４、及び、通信インタフェース（以降、「通信ＩＦ」と表す）８７を有する。計算処理装置８０は、入力装置８５、出力装置８６に接続可能であってもよい。計算処理装置８０は、通信ＩＦ８７を介して、他の計算処理装置、及び、通信装置と情報を送受信することができる。

【0047】

不揮発性記憶装置８４は、コンピュータが読み取り可能な、たとえば、コンパクトディスク（Ｃｏｍｐａｃｔ＿Ｄｉｓｃ）、デジタルバーサタイルディスク（Ｄｉｇｉｔａｌ＿Ｖｅｒｓａｔｉｌｅ＿Ｄｉｓｃ）である。また、不揮発性記憶装置８４は、ユニバーサルシリアルバスメモリ（ＵＳＢメモリ）、ソリッドステートドライブ（Ｓｏｌｉｄ＿Ｓｔａｔｅ＿Ｄｒｉｖｅ）等であってもよい。不揮発性記憶装置８４は、電力を供給しなくても係るプログラムを保持し、持ち運びを可能にする。不揮発性記憶装置８４は、上述した媒体に限定されない。また、不揮発性記憶装置８４の代わりに、通信ＩＦ８７、及び、通信ネットワークを介して係るプログラムを持ち運びしてもよい。
揮発性記憶装置８２は、コンピュータが読み取り可能であって、一時的にデータを記憶することができる。揮発性記憶装置８２は、ＤＲＡＭ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ Ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＳＲＡＭ（ｓｔａｔｉｃ ｒａｎｄｏｍ Ａｃｃｅｓｓ ｍｅｍｏｒｙ）等のメモリ等である。

【0048】

すなわち、ＣＰＵ８１は、ディスク８３に格納されているソフトウェア・プログラム（コンピュータ・プログラム：以下、単に「プログラム」と称する）を、実行する際に揮発性記憶装置８２にコピーし、演算処理を実行する。ＣＰＵ８１は、プログラム実行に必要なデータを揮発性記憶装置８２から読み取る。表示が必要な場合に、ＣＰＵ８１は、出力装置８６に出力結果を表示する。外部からプログラムを入力する場合に、ＣＰＵ８１は、入力装置８５からプログラムを読み取る。ＣＰＵ８１は、図２（または図３）に示す各部が表す機能（処理）に対応するところの揮発性記憶装置８２にある解析プログラム（図４、または、図５）を解釈し実行する。ＣＰＵ８１は、上述した本発明の各実施形態において説明した処理を実行する。すなわち、このような場合に、本発明の各実施形態は、係る解析プログラムによっても成し得ると捉えることができる。さらに、係る解析プログラムが記録されたコンピュータが読み取り可能な不揮発性の記録媒体によっても、本発明の各実施形態は成し得ると捉えることができる。

【0049】

以上、上述した実施形態を模範的な例として本発明を説明した。しかし、本発明は、上述した実施形態には限定されない。すなわち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

【0050】

なお、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

【0051】

（付記１）
対象の動きとして定義された本動作の前に当該対象が行う予備動作中の当該対象の状態を示す状態情報を取得する取得手段と、
前記対象の前記予備動作中における状態情報と本動作予測モデルを用いて、前記予備動作の後の前記本動作における予測の状態情報を算出する予測手段と、
を備える動作予測システム。

【0052】

（付記２）
前記対象の動きを補助する駆動装置の指令値を前記予測の状態情報を用いて算出し、前記駆動装置へ出力する制御手段と、
を備える付記１に記載の動作予測システム。

【0053】

（付記３）
前記状態情報は、前記対象が装着して当該対象の動きを補助するパワードスーツに設けられたセンサの検知した情報であり、
前記制御手段は、前記パワードスーツに設けられた駆動装置に前記指令値を出力する
付記２に記載の動作予測システム。

【0054】

（付記４）
前記状態情報は、前記対象の動作をセンシングするセンサの検知した情報であり、
前記制御手段は、通信接続した遠隔装置に設けられた駆動装置に前記指令値を出力する
付記２に記載の動作予測システム。

【0055】

（付記５）
前記状態情報は、前記対象の動作をセンシングするセンサの検知した情報であり、
前記制御手段は、通信接続した情報処理装置であって前記対象の動作に基づいて情報処理を行う情報処理装置に前記指令値を出力する
付記２に記載の動作予測システム。

【0056】

（付記６）
前記状態情報は、前記センサにより検知された情報を加工した情報を含む付記３から付記５の何れか一つに記載の動作予測システム。

【0057】

（付記７）
前記対象の前記予備動作中における状態情報と、前記対象の前記本動作における前記状態情報と、の関係を学習して前記本動作予測モデルを生成するモデル生成手段と、
を備える付記１から付記６の何れか一項に記載の動作予測システム。

【符号の説明】

【0058】

１・・・動作予測装置
１０・・・パワードスーツ
２０・・・制御装置
３０・・・荷物
１００・・・動作予測システム
２３０・・・アクチュエータ（駆動装置２００）
２１０・・・センサ
２１１・・・カメラ
１１・・・制御部
１２・・・モデル生成部
１３・・・記憶部
１４・・・取得部（取得手段）
１５・・・予測部（予測手段）
８０・・・計算処理装置
８１・・・ＣＰＵ
８２・・・揮発性記憶装置
８３・・・ディスク
８４・・・不揮発性記憶装置
８５・・・入力装置
８６・・・出力装置
８７・・・通信ＩＦ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】