特許 7542831 仮想空間共有システム、仮想空間共有方法および仮想空間共有プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-23

(45)【発行日】2024-09-02

(54)【発明の名称】仮想空間共有システム、仮想空間共有方法および仮想空間共有プログラム

(51)【国際特許分類】

   G06T 13/40 20110101AFI20240826BHJP

【ＦＩ】

G06T13/40

【請求項の数】 8

(21)【出願番号】P 2022578268

(86)(22)【出願日】2022-01-18

(86)【国際出願番号】 JP2022001629

(87)【国際公開番号】W WO2022163439

(87)【国際公開日】2022-08-04

【審査請求日】2023-03-13

(31)【優先権主張番号】P 2021013755

(32)【優先日】2021-01-29

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】301021533

【氏名又は名称】国立研究開発法人産業技術総合研究所

(73)【特許権者】

【識別番号】503359821

【氏名又は名称】国立研究開発法人理化学研究所

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】村井 昭彦

(72)【発明者】

【氏名】持丸 正明

(72)【発明者】

【氏名】野田 茂穂

(72)【発明者】

【氏名】太田 聡史

【審査官】松永 隆志

(56)【参考文献】

【文献】特開２０２０－００９２９５（ＪＰ，Ａ）

【文献】特開２０１８－１９６５７８（ＪＰ，Ａ）

【文献】特開２００６－３２０５０２（ＪＰ，Ａ）

【文献】特表２０２０－５２９６９２（ＪＰ，Ａ）

【文献】特開２０２０－００４３３１（ＪＰ，Ａ）

【文献】国際公開第２００８／１０４２２１（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－１９／２０

(57)【特許請求の範囲】

【請求項1】

ネットワークを介して接続された第１の運動体と第２の運動体とが、コンピュータの仮想空間上で互いの状態を共有するための仮想空間共有システムであって、
コンピュータの仮想空間を表示する仮想空間表示部と、
前記第１の運動体と前記第２の運動体との間の通信遅延時間を測定する遅延時間測定部と、
前記第１の運動体および前記第２の運動体の未来の運動を予測する運動予測部と、
前記運動予測部が予測した前記第１の運動体の前記通信遅延時間の分未来の運動と、前記運動予測部が予測した前記第２の運動体の前記通信遅延時間の分未来の運動と、を仮想空間表示部に表示する表示制御部と、
を備え、
前記運動予測部は、
前記第１の運動体および前記第２の運動体の複数の部位における運動の運動データを取得する運動データ取得部と、
前記運動データから、前記第１の運動体および前記第２の運動体の運動を再現する運動再現部と、
前記再現された運動から、第１の特徴量を抽出する特徴量抽出部と、
前記第１の特徴量を運動表現モデルに適用して、第１のモデルパラメータを算出する第１モデルパラメータ算出部と、
前記第１のモデルパラメータの値を変化させることにより、第２のモデルパラメータを生成する第２モデルパラメータ生成部と、
前記第２のモデルパラメータを前記運動表現モデルに適用して、第２の特徴量を算出する特徴量算出部と、
前記第２の特徴量を基に、前記第１の運動体および前記第２の運動体の未来の運動を予測する運動予測実行部と、
を備え、
前記運動表現モデルを用いた運動のシミュレーションは、人間の解剖学的構造と運動データに基づいて構築された神経筋コントローラが、運動中の外乱に対して人間のような応答を実現することを特徴とする仮想空間共有システム。

【請求項2】

前記第１の運動体および前記第２の運動体はそれぞれ、人、ロボットまたはアバターのいずれかであることを特徴とする請求項１に記載の仮想空間共有システム。

【請求項3】

前記運動表現モデルは、運動体の骨格を複数の骨ならびに屈曲および伸長が可能な複数の筋肉にモデル化したモデルを含み、前記骨の各々は端部に単一の回転可能な関節を有し、前記骨の隣接するもの同士は前記関節で接続され、前記関節は前記筋肉によって動かされることを特徴とする請求項１または２に記載の仮想空間共有システム。

【請求項4】

前記運動表現モデルは、ＳＬＩＰモデルであることを特徴とする請求項１から３のいずれかに記載の仮想空間共有システム。

【請求項5】

前記遅延時間測定部は、前記第１の運動体と前記第２の運動体とが、ネットワークを介した接続を開始するときに、前記通信遅延時間を測定することを特徴とする請求項１から４のいずれかに記載の仮想空間共有システム。

【請求項6】

前記遅延時間測定部は、前記第１の運動体と前記第２の運動体とが、ネットワークを介して接続を行っている間に、前記通信遅延時間を測定することを特徴とする請求項１から４のいずれかに記載の仮想空間共有システム。

【請求項7】

ネットワークを介して接続された第１の運動体と第２の運動体とが、コンピュータの仮想空間上で互いの状態を共有するための仮想空間共有方法であって、
前記第１の運動体と前記第２の運動体との間の通信遅延時間を測定する遅延時間測定ステップと、
前記第１の運動体および前記第２の運動体の未来の運動を予測する運動予測ステップと、
前記運動予測ステップで予測した前記第１の運動体の前記通信遅延時間の分未来の運動と、前記運動予測ステップで予測した前記第２の運動体の前記通信遅延時間の分未来の運動と、をコンピュータの仮想空間を表示する仮想空間表示部に表示する表示制御ステップと、
を備え、
前記運動予測ステップは、
前記第１の運動体および前記第２の運動体の複数の部位における運動の運動データを取得する運動データ取得ステップと、
前記運動データから、前記第１の運動体および前記第２の運動体の運動を再現する運動再現ステップと、
前記再現された運動から、第１の特徴量を抽出する特徴量抽出ステップと、
前記第１の特徴量を運動表現モデルに適用して、第１のモデルパラメータを算出する第１モデルパラメータ算出ステップと、
前記第１のモデルパラメータの値を変化させることにより、第２のモデルパラメータを生成する第２モデルパラメータ生成ステップと、
前記第２のモデルパラメータを前記運動表現モデルに適用して、第２の特徴量を算出する特徴量算出ステップと、
前記第２の特徴量を基に、前記第１の運動体および前記第２の運動体の未来の運動を予測する運動予測実行ステップと、
を備え、
前記運動表現モデルを用いた運動のシミュレーションは、人間の解剖学的構造と運動データに基づいて構築された神経筋コントローラが、運動中の外乱に対して人間のような応答を実現することを特徴とする仮想空間共有方法。

【請求項8】

ネットワークを介して接続された第１の運動体と第２の運動体とが、コンピュータの仮想空間上で互いの状態を共有するための仮想空間共有プログラムであって、
前記第１の運動体と前記第２の運動体との間の通信遅延時間を測定する遅延時間測定ステップと、
前記第１の運動体および前記第２の運動体の未来の運動を予測する運動予測ステップと、
前記運動予測ステップで予測した前記第１の運動体の前記通信遅延時間の分未来の運動と、前記運動予測ステップで予測した前記第２の運動体の前記通信遅延時間の分未来の運動と、をコンピュータの仮想空間を表示する仮想空間表示部に表示する表示制御ステップと、
をコンピュータに実行させ、
前記運動予測ステップは、
前記第１の運動体および前記第２の運動体の複数の部位における運動の運動データを取得する運動データ取得ステップと、
前記運動データから、前記第１の運動体および前記第２の運動体の運動を再現する運動再現ステップと、
前記再現された運動から、第１の特徴量を抽出する特徴量抽出ステップと、
前記第１の特徴量を運動表現モデルに適用して、第１のモデルパラメータを算出する第１モデルパラメータ算出ステップと、
前記第１のモデルパラメータの値を変化させることにより、第２のモデルパラメータを生成する第２モデルパラメータ生成ステップと、
前記第２のモデルパラメータを前記運動表現モデルに適用して、第２の特徴量を算出する特徴量算出ステップと、
前記第２の特徴量を基に、前記第１の運動体および前記第２の運動体の未来の運動を予測する運動予測実行ステップと、
を備え、
前記運動表現モデルを用いた運動のシミュレーションは、人間の解剖学的構造と運動データに基づいて構築された神経筋コントローラが、運動中の外乱に対して人間のような応答を実現することを特徴とする仮想空間共有プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想空間共有システム、仮想空間共有方法および仮想空間共有プログラムに関する。

【背景技術】

【0002】

コンピュータの仮想現実空間上で、遠隔地にいるダンサー同士がリアルタイムでダンスインタラクションを行うためのシステムが提案されている（例えば、非特許文献１参照）。このシステムは、複数のモーションキャプチャをネットワークを介して接続し、ダンスのインタラクションを実現する。

【先行技術文献】

【非特許文献】

【0003】

【文献】「モーションキャプチャとネットワークを用いた遠隔地間ダンスインタラクションシステムに関する研究」情報処理学会シンポジウム論文集(情報処理学会ワークショップ論文集)１７３－１７８ページ、２００５年１２月１６日発行https://ipsj.ixsq.nii.ac.jp/ej/?action=repository_uri&item_id=100523&file_id=1&file_no=1

【発明の概要】

【発明が解決しようとする課題】

【0004】

モーションキャプチャなどの運動・生理データ計測システム、ロボットシステム、仮想空間構築システムなどを用いて、複数の人、ロボットあるいはアバターをネットワークを介して接続することで、複数地点における複数の人、ロボットあるいはアバターが同一の仮想空間を共有することができる。しかしながらこのとき、ネットワークの品質や通信データ量に起因して、通信の遅延等情報の劣化が生じる。これが原因となって、リアルタイムな仮想空間共有が困難となる。例えば非特許文献１のような従来技術は、キャプチャしたダンスの動作がリアルタイムで表示されること、すなわち遅延が発生しないことを保証することができない。

【0005】

本発明はこうした状況に鑑みてなされたものであり、その目的は、ネットワークを介してリアルタイムな仮想空間共有を実現することにある。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明のある態様の仮想空間共有システムは、ネットワークを介して接続された第１の運動体と第２の運動体とが、コンピュータの仮想空間上で互いの状態（例えば、運動情報、映像、音声、その他の生理情報・力情報など）を共有するための仮想空間共有システムであって、コンピュータの仮想空間を表示する仮想空間表示部と、第１の運動体と第２の運動体との間の通信遅延時間を測定する遅延時間測定部と、第１の運動体および第２の運動体の未来の運動を予測する運動予測部と、運動予測部が予測した第１の運動体の通信遅延時間の分未来の運動と、運動予測部が予測した第２の運動体の通信遅延時間の分未来の運動とを仮想空間表示部に表示する表示制御部と、を備える。

【0007】

第１の運動体および第２の運動体はそれぞれ、人、ロボットまたはアバターのいずれかであってもよい。

【0008】

運動予測部は、第１の運動体および第２の運動体の複数の部位における運動の運動データを取得する運動データ取得部と、運動データから、第１の運動体および第２の運動体の運動を再現する運動再現部と、再現された運動から、第１の特徴量を抽出する特徴量抽出部と、第１の特徴量を運動表現モデルに適用して、第１のモデルパラメータを算出する第１モデルパラメータ算出部と、第１のモデルパラメータの値を変化させることにより、第２のモデルパラメータを生成する第２モデルパラメータ生成部と、第２のモデルパラメータを運動表現モデルに適用して、第２の特徴量を算出する特徴量算出部と、第２の特徴量を基に、第１の運動体および第２の運動体の未来の運動を予測する運動予測実行部と、を備えてもよい。

【0009】

運動表現モデルは、運動体の骨格を複数の骨ならびに屈曲および伸長が可能な複数の筋肉にモデル化したモデルを含み、骨の各々は端部に単一の回転可能な関節を有し、骨の隣接するもの同士は関節で接続され、関節は筋肉によって動かされてもよい。

【0010】

運動表現モデルは、ＳＬＩＰモデルであってもよい。

【0011】

遅延時間測定部は、第１の運動体と第２の運動体とが、ネットワークを介して接続を開始するときに、通信遅延時間を測定してもよい。

【0012】

遅延時間測定部は、第１の運動体と第２の運動体とが、ネットワークを介して接続を行っている間に、通信遅延時間を測定してもよい。

【0013】

本発明の別の態様は、仮想空間共有方法である。この方法は、ネットワークを介して接続された第１の運動体と第２の運動体とが、コンピュータの仮想空間上で互いの状態を共有するための仮想空間共有方法であって、第１の運動体と第２の運動体との間の通信遅延時間を測定する遅延時間測定ステップと、第１の運動体および第２の運動体の未来の運動を予測する運動予測ステップと、運動予測ステップで予測した第１の運動体の通信遅延時間の分未来の運動と、運動予測ステップで予測した第２の運動体の通信遅延時間の分未来の運動とを、コンピュータの仮想空間を表示する仮想空間表示部に表示する表示制御ステップと、を備える。

【0014】

本発明のさらに別の態様は、仮想空間共有プログラムである。この方法は、ネットワークを介して接続された第１の運動体と第２の運動体とが、コンピュータの仮想空間上で互いの状態を共有するための仮想空間共有プログラムであって、第１の運動体と第２の運動体との間の通信遅延時間を測定する遅延時間測定ステップと、第１の運動体および第２の運動体の未来の運動を予測する運動予測ステップと、運動予測ステップで予測した第１の運動体の通信遅延時間の分未来の運動と、運動予測ステップで予測した第２の運動体の通信遅延時間の分未来の運動とを、コンピュータの仮想空間を表示する仮想空間表示部に表示する表示制御ステップと、をコンピュータに実行させる。

【0015】

なお、以上の構成要素の任意の組合せ、本発明の表現を装置、方法、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0016】

本発明によれば、ネットワークを介してリアルタイムな仮想空間共有を実現することができる。

【図面の簡単な説明】

【0017】

【図1】第１の実施の形態に係る仮想空間共有システムの機能ブロック図である。

【図2】運動予測部の構成を示す機能ブロック図である。

【図3】ＳＬＩＰモデルの概念を示す模式図である。

【図4】神経筋骨格シミュレーションの概念を示す模式図である。

【図5】第２の実施の形態に係る仮想空間共有方法の処理手順を示すフローチャートである。

【発明を実施するための形態】

【0018】

［第１の実施の形態］
図１に、第１の実施の形態に係る仮想空間共有システム１の機能ブロック図を示す。仮想空間共有システム１は、ネットワークＮＷを介して接続された第１の運動体１０と第２の運動体１２とが、コンピュータの仮想空間上で互いの状態を共有するためのシステムである。仮想空間共有システム１は、仮想空間表示部２０、２２と、遅延時間測定部３０と、運動予測部４０と、表示制御部５０と、を備える。

【0019】

第１の運動体１０および第２の運動体１２は、運動可能な物理的実体であり、例えば、人、人と似た動きをするロボット、人を模したアバターなどである。第１の運動体１０と第２の運動体１２とは、ネットワークＮＷを介して通信可能に接続される。ネットワークＮＷは、有線または無線などの任意の通信ネットワークである。

【0020】

仮想空間表示部２０、２２は、第１の運動体１０および第２の運動体１２が運動する状態を、コンピュータの仮想空間上に表示する表示装置である。仮想空間表示部２０、２２は、例えば液晶ディスプレイ、ビデオプロジェクタ、ヘッドマウントディスプレイといった任意の好適なディスプレイや表示機器であってよい。仮想空間表示部２０は第１の運動体１０の近辺にあり、仮想空間表示部２２は第２の運動体１２の近辺にあり、それぞれ同じ状態を表示する。これにより第１の運動体１０および第２の運動体１２は、互いに同じ仮想空間を共有することができる。

【0021】

遅延時間測定部３０は、第１の運動体１０と第２の運動体１２との間の通信遅延時間を測定する。遅延時間は、第１の運動体１０と第２の運動体１２との間の片道または往復の、データ通信に要する時間である。

【0022】

運動予測部４０は、第１の運動体１０および第２の運動体１２の未来の運動を予測する。運動を予測する具体的な手順は、後述で詳しく例示する。

【0023】

表示制御部５０は、運動予測部４０が予測した第１の運動体１０の通信遅延時間の分未来の運動と、運動予測部４０が予測した第２の運動体１２の通信遅延時間の分未来の運動と、を仮想空間表示部２０、２２に表示する。

【0024】

この実施の形態によれば、ネットワークを介してリアルタイムな仮想空間共有を実現することができる。

【0025】

特に第１の運動体および前記第２の運動体はそれぞれ、人、ロボットまたはアバターのいずれかであってよい。運動体が人、ロボットまたはアバターである場合、運動予測部４０は、後述するＳＬＩＰモデル等の運動表現モデルを適用して、運動体の未来の運動を予測することができる。この実施の形態によれば、運動表現モデルを用いて、正確な運動予測を実現することができる。

【0026】

特に運動予測部４０は、運動データ取得部４１と、運動再現部４２と、特徴量抽出部４３と、第１モデルパラメータ算出部４４と、第２モデルパラメータ生成部４５と、特徴量算出部４６と、運動予測実行部４７と、を備えてもよい。図２に、このような形態の運動予測部４０の機能ブロック図を示す。

【0027】

運動データ取得部４１は、第１の運動体１０および第２の運動体１２の複数の部位における運動の運動データを取得する。運動データ取得部４１は、例えば光学式モーションキャプチャである。光学式モーションキャプチャは、身体の複数の部位にマーカを取付けた被験者の運動をカメラで撮影する。撮影された映像から、マーカを取付けた部位の運動データ、例えば、位置、速度、加速度などが得られる。なおモーションキャプチャは光学式に限られず、機械式、磁気式、ビデオ式等であってもよい。運動データ取得部４１の別の例として、フォースプレートがある。フォースプレートは、被験者の立脚、足踏み、跳躍等の運動状態に応じて、フォースプレートの上面に加えられた力やモーメントが計測される。その他にも運動データは、ウェアラブルＩＭＵセンサや圧力シート（設置型、装着型）、心電計、筋電計、脳波計、カメラ、マイクなどの既存の手段を用いて取得してよい（詳しい説明は省略する）。

【0028】

運動再現部４２は、運動データ取得部４１が取得した各マーカの部位の運動データから、デジタルヒューマンモデル等を用いて第１の運動体１０および第２の運動体１２の運動を再現する。運動再現部４２は、例えば、第１の運動体１０および第２の運動体１２の体の姿勢、動作速度、歩幅、膝の角度、指先の動き、各関節の関節角や関節トルク等を再現する。これらの再現は、逆運動学に基づく「逆運動学計算」や逆動力学に基づく「逆動力学計算」により行われる。

【0029】

特徴量抽出部４３は、運動再現部４２が再現した運動から、予測したい運動についての第１の特徴量（単数であっても複数であってもよい）を抽出する。例えば未来の歩行運動や走行運動を予測したい場合、第１の特徴量は、質量中心軌跡、足底圧力中心軌跡、脚接触力などである。

【0030】

第１モデルパラメータ算出部４４は、特徴量抽出部４３が抽出した第１の特徴量を運動表現モデルに適用して第１のモデルパラメータを算出する。これにより複雑な運動を単純なモデルの形で表現することができる。運動表現モデルの一例として、ＳＬＩＰモデルがある。ＳＬＩＰモデルは、人間の身体を質点、バネおよびダンパからなるものとしてモデル化したものである。ＳＬＩＰモデルの詳細については後述する。

【0031】

第１のモデルパラメータは、第１の運動体１０および第２の運動体１２の身体つきや体格などの身体的特徴、身体能力、姿勢、癖などの運動的特徴を反映したものである。従って第１のパラメータには、第１の運動体１０および第２の運動体１２の未来の運動を予測するための基礎となる情報が過不足なく含まれている。なお第１モデルパラメータ算出部４４が実行する計算は、質量中心軌跡、足底圧力中心軌跡、脚接触力などの運動に関する特徴量を基に、モデルパラメータを算出する「数学的最適化計算」である。

【0032】

第２モデルパラメータ生成部４５は、第１モデルパラメータ算出部４４が算出した第１のモデルパラメータの値を変化させることにより、第２のモデルパラメータを生成する。このとき、モデルパラメータの値に加えて、環境変数（例えば、質量中心初期位置、質量中心初期速度、等）の値を変化させて、新たな値の環境変数を生成してもよい。第２モデルパラメータ生成部４５は、第１の運動体１０および第２の運動体１２の運動を、運動データ取得部４１が取得した運動から未来の運動へ変容させることを意味する。

【0033】

特徴量算出部４６は、第２モデルパラメータ生成部４５が生成した第２のモデルパラメータを前述の運動表現モデルに適用して、第２の特徴量を算出する。第２の特徴量は、第２のモデルパラメータに基づく未来の運動に関する特徴量である。特徴量抽出部４３の説明で述べたように、例えば運動が歩行や走行であった場合、算出される特徴量は、質量中心軌跡、足底圧力中心軌跡、脚接触力である。

【0034】

このように、第１の運動体１０および第２の運動体１２に関するモデルパラメータを変化させることにより、第１の運動体１０および第２の運動体１２の未来の運動が生成されるため、「一定時間先の（すなわち、一定時間分未来の）運動を実現するためには、どのモデルパラメータをどのように変化させればよいか」といったことが明らかとなる。換言すれば、適切なモデルパラメータを見出すことにより、第１の運動体１０および第２の運動体１２の一定時間先の（すなわち、一定時間分未来の）運動を予測することができる。

【0035】

なお運動再現部４２で実行する計算が逆動力学計算であるのに対し、特徴量算出部４６が実行する計算は、モデルパラメータを基に、質量中心軌跡、足底圧力中心軌跡、脚接触力などの運動に関する特徴量を算出する「順動力学計算」である。

【0036】

運動予測実行部４７は、特徴量算出部４６が算出した第２の特徴量を基に、前記第１の運動体および前記第２の運動体の未来の運動を予測する。例えば運動表現モデルとしてＳＬＩＰモデルを用いた場合の運動予測実行部４７の動作について後述する。

【0037】

以上説明したように、この実施の形態によれば、運動予測部４０の具体的な構成を定めて、仮想空間共有システムを実現することができる。

【0038】

［ＳＬＩＰモデル］
以下、ＳＬＩＰモデルについて説明する。図３は、ＳＬＩＰモデルの概念を示す模式図である。人間の身体を表す身体モデル１００は、質点１１０と、バネ１２０と、ダンパ１３０と、接触点１４０と、第１のシャフト１５０と、第２のシャフト１６０と、を備える。質点１１０は身体の質量中心である。バネ１２０およびダンパ１３０は並列に配置される。接触点１４０は、バネ１２０およびダンパ１３０を挟んで質点１１０の反対側に位置し、床面等の環境と接触することができる。第１のシャフト１５０は、質点１１０と、バネ１２０およびダンパ１３０と、を接続する。第２のシャフト１６０は、バネ１２０およびダンパ１３０と、接触点１４０と、を接続する。

【0039】

以下、「右」「左」という用語は、紙面を正面から見たときの向きを示す。時刻Ｔ１で、身体モデル１００は体勢をやや左側に倒した状態で跳躍している。このとき、接触点１４０は環境から離れている。時刻Ｔ２で、身体モデル１００は体勢をやや左側に倒したまま着地する。すなわち時刻Ｔ２で、接触点１４０は環境と接触する。時刻Ｔ２からＴ３にかけて、身体モデル１００は、接触点１４０が環境と接触したまま、体勢を右側に倒してゆく。時刻Ｔ３で、身体モデル１００は体勢をやや右側に倒したまま跳躍する。すなわち時刻Ｔ３で、接触点１４０は環境から離脱する。時刻Ｔ３からＴ４にかけて、身体モデル１００は、接触点１４０が環境から離れたまま、体勢を左側に倒してゆく。時刻Ｔ４で、身体モデル１００は体勢をやや左側に倒した状態で跳躍している。

【0040】

このような運動に関し、Ｔ１、Ｔ２、Ｔ３およびＴ４の時刻で、脚接触力Ｆ_ｌｅｇ（ｔ）、脚長Ｌ_ｌｅｇ（ｔ）を実験的に計測することにより、バネ係数Ｋ_ｌｅｇ、ダンパ係数Ｄ_ｌｅｇ、脚自然長Ｌ_{ｌｅｇ、０}などのモデルパラメータを算出することができる。具体的には、以下の式（１）で表されるＥ_ｆを最小化する最適化を行うことによって、Ｋ_ｌｅｇ、Ｄ_ｌｅｇ、Ｌ_{ｌｅｇ、０}が算出される。

【数1】

【0041】

モデルパラメータＫ_ｌｅｇ、Ｄ_ｌｅｇ、Ｌ_{ｌｅｇ、０}の値を変化させることにより、新たな値のモデルパラメータを生成することができる。このとき、モデルパラメータの値に加えて、環境変数（例えば、質量中心初期位置Ｈ_ＣＯＭ（０）、質量中心初期速度Ｖ_ＣＯＭ（０））の値を変化させて、新たな値の環境変数を生成してもよい。ここでの処理は、被験者の運動を、運動データ取得部が取得した運動から未来の運動に変化させることを意味する。具体的には、モデルパラメータＫ_ｌｅｇ、Ｄ_ｌｅｇ、Ｌ_{ｌｅｇ、０}を変化させることにより、関節の硬さ等を変化させることができる。また環境変数Ｈ_ＣＯＭ（０）、Ｖ_ＣＯＭ（０）を変化させることにより、床面の高さ等を変化させることができる。

【0042】

ＳＬＩＰモデルを用いた場合、運動予測実行部４７は、運動データ取得部４１が取得した運動データおよび特徴量抽出部４３が抽出した第１の特徴量において以下の式（２）で表されるＥｍを最小化するように、パラメータαおよびβを最適化する。そして、特徴量算出部４６が算出された運動に関する特徴量を式（２）に代入することで、すべてのマーカの運動の軌跡を未来の軌跡として再構築することができる。

【数2】

【数3】

ここで、Ｐ_ｍａｒ：マーカ位置、Ｐ_ＣＯＭ：質量中心位置、Ｐ_ＣＯＰ：足底圧力中心位置、である。

【0043】

特に運動表現モデルは、運動体の骨格を複数の骨ならびに屈曲および伸長が可能な複数の筋肉にモデル化したモデルを含んでもよい。このとき、これらの骨の各々は端部に単一の回転可能な関節を有し、当該骨の隣接するもの同士はこれらの関節で接続されてもよい。このとき、関節は筋肉によって動かされてもよい。このようなモデルを用いた運動のシミュレーションは、本発明者が独自に考案したものであり「神経筋骨格シミュレーション」と名付けられている。

【0044】

図４は、神経筋骨格シミュレーションの概念を示す模式図である。図４には、人の右大腿部および下腿部の骨格が、正中面で切断した断面図で示される。ここでは、大腿部および下腿部が、互いに隣接する大腿骨と脛骨とでモデル化されている。大腿骨は、一方の端部に股関節を、他方の端部に膝関節を有する。脛骨は、一方の端部に膝関節を、他方の端部に足首関節を有する。これらの関節は、ハムストリング、大殿筋、前脛骨筋、腓腹筋、大腿直筋、外側広筋およびヒラメ筋によって動かされる。

【0045】

遅延時間測定部３０は、第１の運動体１０と第２の運動体１２とが、ネットワークＮＷを介した接続を開始するときに、通信遅延時間を測定してもよい。この場合、例えば接続開始時に、第１の運動体１０と第２の運動体１２との間で遅延時間測定用のパケットを送受信することにより、片道または往復の通信遅延時間を測定してもよい。この実施の形態によれば接続開始時に１回の分測定を行えばよいので、簡便かつ高速に通信遅延時間を測定することができる。

【0046】

神経筋骨格シミュレーションは、人間の解剖学的構造と運動データに基づいて構築された神経筋コントローラが、運動中の予期せぬ外乱に対して人間のような応答を実現できることを示している。これにより、障害物による走行時の応答を対象とし、バイオメカニクスで同定された２つの戦略が１つのコントローラから生まれることが分かる。この結果は、適切に設計された運動制御装置が意図的な制御装置の選択や計画を行わなくても躓きに対する迅速な応答を提供できることを示唆している。

【0047】

この実施の形態によれば、特に生体構造における反射などの運動に関し、的確に運動を予測することができる。

【0048】

遅延時間測定部３０は、第１の運動体１０と第２の運動体１２とが、ネットワークＮＷを介して接続を行っている間に、通信遅延時間を測定してもよい。この場合、例えば通信中に、第１の運動体１０と第２の運動体１２との間で送受信するデータパケットにタイムスタンプを付すことにより、片道または往復の通信遅延時間を測定してもよい。この実施の形態によれば通信中に何らかの原因で通信遅延時間が変化した場合にもリアルタイムに測定が行われるので、正確な通信遅延時間測定をすることができる。

【0049】

［第２の実施の形態］
図５は、第２の実施の形態に係る仮想空間共有方法の処理手順を示すフローチャートである。この仮想空間共有方法は、ネットワークＮＷを介して接続された第１の運動体と第２の運動体とが、コンピュータの仮想空間上で互いの状態を共有するための方法である。本方法は、遅延時間測定ステップＳ１０と、運動予測ステップＳ２０と、表示制御ステップＳ３０と、を備える。遅延時間測定ステップＳ１０で、本方法は、第１の運動体と第２の運動体との間の通信遅延時間を測定する。運動予測ステップＳ２０で、本方法は、第１の運動体および第２の運動体の未来の運動を予測する。表示制御ステップＳ３０で、本方法は、運動予測ステップＳ２０で予測した第１の運動体の通信遅延時間の分未来の運動と、運動予測ステップＳ２０で予測した第２の運動体の通信遅延時間の分未来の運動と、をコンピュータの仮想空間を表示する仮想空間表示部に表示する。

【0050】

この実施の形態によれば、ネットワークを介してリアルタイムな仮想空間共有を実現することができる。

【0051】

［第３の実施の形態］
第３の実施の形態は、仮想空間共有プログラムである。この仮想空間共有プログラムは、ネットワークＮＷを介して接続された第１の運動体と第２の運動体とが、コンピュータの仮想空間上で互いの状態を共有するためのプログラムである。本プログラムは、遅延時間測定ステップＳ１０と、運動予測ステップＳ２０と、表示制御ステップＳ３０と、をコンピュータに実行させる。遅延時間測定ステップＳ１０では、第１の運動体と第２の運動体との間の通信遅延時間を測定する。運動予測ステップＳ２０では、第１の運動体および第２の運動体の未来の運動を予測する。表示制御ステップＳ３０では、運動予測ステップＳ２０で予測した第１の運動体の通信遅延時間の分未来の運動と、運動予測ステップＳ２０で予測した第２の運動体の通信遅延時間の分未来の運動と、をコンピュータの仮想空間を表示する仮想空間表示部に表示する。

【0052】

この実施の形態によれば、ネットワークを介してリアルタイムな仮想空間共有を実現するプログラムをコンピュータのソフトウェアとして実装することができる。

【0053】

以上、本発明を実施例を基に説明した。これらの実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【産業上の利用可能性】

【0054】

本発明は、仮想空間共有システム、仮想空間共有方法および仮想空間共有プログラムに利用可能である。

【符号の説明】

【0055】

１・・仮想空間共有システム
１０・・第１の運動体
１２・・第２の運動体
２０・・仮想空間表示部
２２・・仮想空間表示部
３０・・遅延時間測定部
４０・・運動予測部
５０・・表示制御部
１００・・身体モデル
１１０・・質点
１２０・・バネ
１３０・・ダンパ
１４０・・接触点
１５０・・第１のシャフト
１６０・・第２のシャフト
Ｓ１０・・遅延時間測定ステップ
Ｓ２０・・運動予測ステップ
Ｓ３０・・表示制御ステップ

【図1】

【図2】

【図3】

【図4】

【図5】