特開 2015-222509 遠隔地点間変形シミュレーションシステム及び変形シミュレーション装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2015-222509(P2015-222509A)

(43)【公開日】2015年12月10日

(54)【発明の名称】遠隔地点間変形シミュレーションシステム及び変形シミュレーション装置

(51)【国際特許分類】

   G06T 19/00 20110101AFI20151113BHJP

   G06F 19/00 20110101ALI20151113BHJP

【ＦＩ】

   G06T19/00 A

   G06F19/00 110

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

【全頁数】17

(21)【出願番号】特願2014-106718(P2014-106718)

(22)【出願日】2014年5月23日

(71)【出願人】

【識別番号】593006630

【氏名又は名称】学校法人立命館

(74)【代理人】

【識別番号】110000280

【氏名又は名称】特許業務法人サンクレスト国際特許事務所

(72)【発明者】

【氏名】田川 和義

(72)【発明者】

【氏名】田中 弘美

【テーマコード（参考）】

5B050

5L049

【Ｆターム（参考）】

5B050AA02

5B050BA09

5B050CA07

5B050CA08

5B050EA13

5B050EA26

5B050FA02

5L049DD02

(57)【要約】      （修正有）

【課題】変形シミュレーション装置間で変形モデルの同期を適切にとる。
【解決手段】処理部３１は、変形モデルの変形計算３１ａと、操作パラメータを他の変形シミュレーション装置へ送信する送信処理３１ｂと、変形モデルの変形状態を同期させる同期処理３１ｃと、を行う。同期処理３１ｃは、他の変形シミュレーション装置が有する変形モデルの局所領域の変形状態情報を、他の変形シミュレーション装置に対して要求する要求処理と、他の変形シミュレーション装置から取得した変形状態情報を、自装置が有する変形モデルに反映させる反映処理と、を含む。前記要求処理は、自装置が有する変形モデルと他の変形シミュレーション装置が有する変形モデルとの間の変形誤差の推定値に基づいて、前記要求処理が必要であると判定されたときに行われる。
【選択図】図２

【特許請求の範囲】

【請求項1】

変形モデルの変形計算を行う変形シミュレーションシステムであって、
ネットワークを介して接続された複数の変形シミュレーション装置を備え、
複数の前記変形シミュレーション装置は、それぞれ、
処理部と、
前記変形モデルへ作用する仮想ツールをユーザが操作するための入力デバイスと、
を備え、
複数の前記変形計算シミュレーション装置の前記処理部は、それぞれ、
自装置が有する変形モデルに対する変形計算と、
自装置の前記入力デバイスから取得した操作パラメータを他の変形シミュレーション装置へ送信する送信処理と、
自装置が有する変形モデルの変形状態及び他の変形シミュレーション装置が有する変形モデルの変形状態を同期させる同期処理と、
を行うよう構成され、
前記変形計算は、自装置の前記入力デバイスから取得した操作パラメータと、他の変形シミュレーション装置から取得した操作パラメータと、に基づいて行われ、
前記同期処理は、他の変形シミュレーション装置が有する前記変形モデルの局所領域の変形状態情報を、他の変形シミュレーション装置に対して要求する要求処理と、他の変形シミュレーション装置から取得した変形状態情報を、自装置が有する変形モデルに反映させる反映処理と、を含み、
前記局所領域は、他の変形シミュレーション装置の前記入力デバイスによって操作される仮想ツールが他の変形シミュレーション装置が有する変形モデルに接触した位置近傍の領域であり、
前記要求処理は、自装置が有する変形モデルと他の変形シミュレーション装置が有する変形モデルとの間の変形誤差の推定値に基づいて、前記要求処理が必要であると判定されたときに行われる
変形シミュレーションシステム。

【請求項2】

前記変形誤差の推定値は、自装置と他の変形シミュレーション装置との間の通信状況を示す指標に基づいて算出される
請求項１記載の変形シミュレーションシステム。

【請求項3】

前記同期処理は、複数の他の変形シミュレーション装置の前記入力デバイスによって操作される複数の仮想ツールそれぞれが前記変形モデルに接触する位置同士が近接していると判定された場合に、複数の他の変形シミュレーション装置のうちの一の変形シミュレーション装置を選択する選択処理を更に含み、
前記反映処理は、前記選択処理によって選択された変形シミュレーション装置が有する前記変形モデルの局所領域の変形状態情報を、自装置が有する変形モデルに反映させる
請求項１又は２記載の変形シミュレーションシステム。

【請求項4】

前記要求処理は、前記変形状態情報を自装置へ送信することを、複数の他の変形シミュレーション装置のうち前記選択処理によって選択された変形シミュレーション装置に対して要求する
請求項３記載の変形シミュレーション装置。

【請求項5】

変形モデルの変形計算を行う変形シミュレーション装置であって、
処理部と、
前記変形モデルへ作用する仮想ツールをユーザが操作するための入力デバイスと、
を備え、
前記処理部は、
自装置が有する変形モデルに対する変形計算と、
自装置の前記入力デバイスから取得した操作パラメータを他の変形シミュレーション装置へ送信する送信処理と、
自装置が有する変形モデルの変形状態及び他の変形シミュレーション装置が有する変形モデルの変形状態を同期させる同期処理と、
を行うよう構成され、
前記変形計算は、自装置の前記入力デバイスから取得した操作パラメータと、他の変形シミュレーション装置から取得した操作パラメータと、に基づいて行われ、
前記同期処理は、他の変形シミュレーション装置が有する前記変形モデルの局所領域の変形状態情報を、他の変形シミュレーション装置に対して要求する要求処理と、他の変形シミュレーション装置から取得した変形状態情報を、自装置が有する変形モデルに反映させる反映処理と、を含み、
前記局所領域は、他の変形シミュレーション装置の前記入力デバイスによって操作される仮想ツールが他の変形シミュレーション装置が有する変形モデルに接触した位置近傍の領域であり、
前記要求処理は、自装置が有する変形モデルと他の変形シミュレーション装置が有する変形モデルとの間の変形誤差の推定値に基づいて、前記要求処理が必要であると判定されたときに行われる
変形シミュレーション装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、遠隔地点間変形シミュレーションシステム及び変形シミュレーション装置に関するものである。

【背景技術】

【0002】

本発明者らは、遠隔多地点間で、仮想柔軟物体を共有し、力覚を伴いながら変形操作が可能な遠隔触覚協働環境の提案を行っている（非特許文献１，２参照）。
本発明者らの提案するシステムでは、各地点が変形モデルを持ち、操作パラメータとタイムスタンプを互いに送受信し、同一時刻の操作パラメータを同一の法則で抽出し変形モデルに入力する。これにより、各地点で同一の変形結果を得ることができる。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】田川和義，備藤達郎，田中弘美，「多地点遠隔触覚協働環境における階層型変形シミュレーションの同期法」，日本バーチャルリアリティ学会，力触覚の提示と計算研究委員会第４回研究会，２０１３年３月

【非特許文献2】田川和義，山田隆洋，田中弘美，「オンラインリメッシュ型共回転系変形モデルを用いたインタラクティブな手術シミュレーション」，可視化情報学会，可視化情報シンポジウム，新宿区・工学院大学，2013年7月16日〜17日

【発明の概要】

【発明が解決しようとする課題】

【0004】

遠隔多地点がそれぞれ変形モデルを持つ場合、遠隔多地点間の変形誤差（変形状態の誤差）の発生が問題となる。例えば、２つの地点Ａ，Ｂ間の通信状況が劣化して、レイテンシ（ジッタ）・パケットロスなどが生じた場合、地点Ａから地点Ｂへ送信されるべき操作パラメータが、地点Ｂの変形モデルに反映されるのに時間を要したりすることになる。この場合、地点Ａでは変形モデルに対する操作が行われた変形状態となっているのに、地点Ｂでは地点Ａにおいて行われた操作が反映されていない変形状態となる場合が生じ、地点Ａ，Ｂ間で変形誤差が生じる。
あるいは、各地点Ａ，Ｂのコンピュータの処理能力が異なる場合、それぞれのコンピュータの処理能力に応じて、変形モデルの解像度（メッシュ体の分割レベル）の最大値を個別に設定することが考えられる。この場合、地点Ａでは、例えば解像度が高い変形モデルを用いて算出した変形状態となっているのに対し、地点Ｂでは、例えば解像度が低い変形モデルを用いて算出した変形状態となり、地点Ａ，Ｂ間で変形誤差が生じる。

【0005】

ここで、非特許文献１では、変形モデルにおいて、ユーザの操作により大きな変形が与えられた操作対象の近傍領域（局所領域）を、遠隔地点間で送受信して共有することで、遠隔地点間において変形モデルを同期することが提案されている。
しかし、局所領域の情報を頻繁に送受信すると、通信コストが増大し、リアルタイム性を損なうおそれがある。
したがって、局所領域の情報の送受信は、適切な頻度で行われるのが望ましい。

【課題を解決するための手段】

【0006】

一の観点からみた本発明は、変形モデルの変形計算を行う変形シミュレーションシステムであって、ネットワークを介して接続された複数の変形シミュレーション装置を備え、複数の前記変形シミュレーション装置は、それぞれ、処理部と、前記変形モデルへ作用する仮想ツールをユーザが操作するための入力デバイスと、を備え、複数の前記変形計算シミュレーション装置の前記処理部は、それぞれ、自装置が有する変形モデルに対する変形計算と、自装置の前記入力デバイスから取得した操作パラメータを他の変形シミュレーション装置へ送信する送信処理と、自装置が有する変形モデルの変形状態及び他の変形シミュレーション装置が有する変形モデルの変形状態を同期させる同期処理と、を行うよう構成され、前記変形計算は、自装置の前記入力デバイスから取得した操作パラメータと、他の変形シミュレーション装置から取得した操作パラメータと、に基づいて行われ、前記同期処理は、他の変形シミュレーション装置が有する前記変形モデルの局所領域の変形状態情報を、他の変形シミュレーション装置に対して要求する要求処理と、他の変形シミュレーション装置から取得した変形状態情報を、自装置が有する変形モデルに反映させる反映処理と、を含み、前記局所領域は、他の変形シミュレーション装置の前記入力デバイスによって操作される仮想ツールが他の変形シミュレーション装置が有する変形モデルに接触した位置近傍の領域であり、前記要求処理は、自装置が有する変形モデルと他の変形シミュレーション装置が有する変形モデルとの間の変形誤差の推定値に基づいて、前記要求処理が必要であると判定されたときに行われる変形シミュレーションシステムである。

【0007】

前記変形誤差の推定値は、自装置と他の変形シミュレーション装置との間の通信状況を示す指標に基づいて算出されるのが好ましい。また、変形誤差の推定値は、自装置と他の変形シミュレーション装置との間における局所領域内の解像度（例えば、メッシュ体の最大分割レベル）の違いを示す指標に基づいて算出されてもよい。

【0008】

前記同期処理は、複数の他の変形シミュレーション装置の前記入力デバイスによって操作される複数の仮想ツールそれぞれが前記変形モデルに接触する位置同士が近接していると判定された場合に、複数の他の変形シミュレーション装置のうちの一の変形シミュレーション装置を選択する選択処理を更に含み、前記反映処理は、前記選択処理によって選択された変形シミュレーション装置が有する前記変形モデルの局所領域の変形状態情報を、自装置が有する変形モデルに反映させるのが好ましい。

【0009】

前記要求処理は、前記変形状態情報を自装置へ送信することを、複数の他の変形シミュレーション装置のうち前記選択処理によって選択された変形シミュレーション装置に対して要求するのが好ましい。

【0010】

他の観点からみた本発明は、変形モデルの変形計算を行う変形シミュレーション装置であって、処理部と、前記変形モデルへ作用する仮想ツールをユーザが操作するための入力デバイスと、を備え、前記処理部は、自装置が有する変形モデルに対する変形計算と、自装置の前記入力デバイスから取得した操作パラメータを他の変形シミュレーション装置へ送信する送信処理と、自装置が有する変形モデルの変形状態及び他の変形シミュレーション装置が有する変形モデルの変形状態を同期させる同期処理と、を行うよう構成され、前記変形計算は、自装置の前記入力デバイスから取得した操作パラメータと、他の変形シミュレーション装置から取得した操作パラメータと、に基づいて行われ、前記同期処理は、他の変形シミュレーション装置が有する前記変形モデルの局所領域の変形状態情報を、他の変形シミュレーション装置に対して要求する要求処理と、他の変形シミュレーション装置から取得した変形状態情報を、自装置が有する変形モデルに反映させる反映処理と、を含み、前記局所領域は、他の変形シミュレーション装置の前記入力デバイスによって操作される仮想ツールが他の変形シミュレーション装置が有する変形モデルに接触した位置近傍の領域であり、前記要求処理は、自装置が有する変形モデルと他の変形シミュレーション装置が有する変形モデルとの間の変形誤差の推定値に基づいて、前記要求処理が必要であると判定されたときに行われる変形シミュレーション装置である。

【発明の効果】

【0011】

本発明によれば、変形誤差の推定値に基づいて、変形モデルの局所領域の変形状態情報が、他の変形シミュレーション装置に対して要求されるため、同期処理を適切な頻度を行うことができる。

【図面の簡単な説明】

【0012】

【図1】変形シミュレーションシステムの構成図である。

【図2】変形シミュレーション装置の構成図である。

【図3】初期立方体とそれを分割したルート四面体を示す図である。

【図4】四面体の二分割二統合の説明図である。

【図5】変形モデルの二分木構造図である。

【図6】変形モデルの局所領域における変形を示す図である。

【図7】コンピュータによる処理手順を示すフローチャートである。

【図8】同期処理の説明図である。

【図9】局所領域の説明図である。

【図10】局所領域の重複を示す図である。

【発明を実施するための形態】

【0013】

以下、本発明の好ましい実施形態について添付図面を参照しながら説明する。

【0014】

［１．変形シミュレーションシステム（手術シミュレータ）］
図１は、変形シミュレーションシステム１を示している。この変形シミュレーションシステム１は、例えば、内視鏡下の低侵襲手術のための手術シミュレータとして用いられる。変形シミュレーションシステム１は、遠隔地にある複数の拠点（第１地点、第２地点、第３地点）それぞれに設置された複数（図１では３つ）の変形シミュレーション装置１０Ａ，１０Ｂ，１０Ｃを有して構成されている。各拠点にいる複数のユーザ（例えば、指導医と指導を受ける若手医師）それぞれが、変形シミュレーション装置１０Ａ，１０Ｂ，１０Ｃを操作し、仮想空間上の臓器（変形モデル）に対して、触覚を伴った協働作業を行うことで、手術訓練を行うことができる。

【0015】

各変形シミュレーション装置１０Ａ，１０Ｂ，Ｃは、それぞれ、ネットワーク２を介して互いに接続されたコンピュータ３Ａ，３Ｂ，３Ｃ、及び、コンピュータ３Ａ，３Ｂ，３Ｃに接続された力覚入出力デバイス４Ａ，４Ｂ、４Ｃを備えている。各拠点のコンピュータ３Ａ，３Ｂ，３ＣはＰ２Ｐ方式で、通信を行う。各拠点のコンピュータ３Ａ，３Ｂ，３Ｃは、それぞれが、同一の臓器（手術対象部位）の３次元変形モデル（臓器モデル）を有し、当該変形モデルの変形計算を行う。

【0016】

力覚入出力デバイス４Ａ，４Ｂ、４Ｃは、手術において医師が使用する鉗子・電気メスなどの手術器具としての役割を手術シミュレータ１において果たすものであり、仮想空間上の手術器具（仮想ツール）をユーザが操作するための入力デバイスである。各拠点のユーザが力覚入出力デバイス４Ａ，４Ｂ，４Ｃに設けられたスタイラス４Ａ−１，４Ｂ−１を操作することで、仮想空間上の手術器具（仮想ツール）を操作し、手術器具を介して現実の臓器に対する処置を行うのと同様の操作を、仮想空間上の臓器モデルに対して行うことができる。また、力覚入出力デバイス４Ａ，４Ｂは、各ユーザが力覚入出力デバイス４Ａ，４Ｂを介して仮想空間上の変形モデル（臓器モデル）を操作（インタラクション）した際の力覚を各ユーザに提示することができる。

【0017】

図２に示すように、各コンピュータ３Ａ，３Ｂ，３Ｃは、ＣＰＵなどからなる処理部３１と、変形モデルなどを記憶する記憶部３２と、を備えている。
処理部３１は、変形計算３１ａ、通信処理（送信処理と受信処理）３１ｂ、同期処理３１ｃ、描画処理３１ｄ、及び力覚処理３１ｅなどの処理を行う。

【0018】

変形計算３１ａでは、記憶部３２に記憶された変形モデルの変形計算を行う。つまり、各変形シミュレーション装置１０Ａ，１０Ｂ，１０Ｃの処理部３１は、自装置１０Ａ，１０Ｂ，１０Ｃが有する変形モデルの変形計算を行う。
変形計算３１ａでは、各拠点の力覚入出力デバイス４Ａ，４Ｂ，４Ｃにおけるユーザ操作に応じて各デバイス４Ａ，４Ｂ，４Ｃから出力された操作パラメータに基づいて、各コンピュータ３Ａ，３Ｂ，３Ｃが有する変形モデルの変形計算が行われる。変形計算３１ａでは、複数の力覚入出力デバイス４Ａ，４Ｂ，４Ｃからの操作パラメータに基づいてスタイラス４Ａ−１，４Ｂ−１，４Ｃ−１によって操作される仮想ツールが、変形モデルの表面に接触しているか否かを判定し、もし接触しているならば、変形モデルの表面を共有している４面体メッシュ要素に対して、仮想ツールから変形モデルに与えている力の算出を行う。変形計算では、仮想ツールの衝突時に変形モデルにかかる力を基に、例えば質点バネダンパモデルを用いて、各メッシュ要素にかかる力の算出を行う。

【0019】

通信処理３１ｂでは、他のコンピュータ３Ａ，３Ｂ，３Ｃと間で通信が行われる。通信処理３１ｂでは、各拠点のユーザが力覚入出力デバイス４Ａ，４Ｂ，４Ｃを操作することで得られた操作パラメータを送受信する。操作パラメータには、スタイラス４Ａ−１，４Ｂ−１，４Ｃ−１の３次元位置・姿勢情報及びデバイス４Ａ，４Ｂ，４Ｃに備わったボタンのＯＮ／ＯＦＦ情報のほか、当該３次元位置・姿勢情報のタイムスタンプなどが含まれる。操作パラメータの詳細については後述する。
処理部３１は、自装置１０Ａ，１０Ｂ，１０Ｃに備わった力覚入出力デバイス４Ａ，４Ｂ，４Ｃから取得した操作パラメータを、ネットワーク２を介して、他の全ての変形シミュレーション装置へ送信する。したがって、処理部３１は、自装置１０Ａ，１０Ｂ，１０Ｃに備わった力覚入出力デバイス４Ａ，４Ｂ，４Ｃの操作パラメータのほか、他の変形シミュレーション装置１０Ａ，１０Ｂ，１０Ｃに備わった力覚入出力デバイス４Ａ，４Ｂ，４Ｃの操作パラメータを取得することができる。
例えば、第１地点の変形シミュレーション装置１０Ａは、自装置１０Ａの力覚入出力デバイス４Ａから出力された操作パラメータのほか、通信処理３１ｂによって、遠隔地（第２地点及び第３地点）の力覚入出力デバイス４Ｂ，４Ｃから出力された操作パラメータも、当該遠隔地から受信できる。したがって、遠隔地の力覚入出力デバイス４Ｂ，４Ｃによる操作も自装置１０Ａが有する変形モデルの変形計算に反映させることができる。したがって、遠隔拠点間で、協働して変形モデルを操作することができる。

【0020】

同期処理３１ｃでは、自装置１０Ａ，１０Ｂ，１０Ｃが有する変形モデルの変形状態と、他の変形シミュレーション装置１０Ａ，１０Ｂ，１０Ｃが有する変形モデルの変形状態を同期させる。この同期処理３１ｃでは、変形誤差の大きくなった変形シミュレーション装置１０Ａ，１０Ｂ，１０Ｃが、より精度の良い変形モデルを有する他の変形シミュレーション装置１０Ａ，１０Ｂ，１０Ｃから、変形モデルの局所領域の変形状態情報（局所領域情報）を取得し、取得した変形状態情報（局所領域情報）を、自装置１０Ａ，１０Ｂ，１０Ｃの変形モデルに反映させることで、変形誤差を解消する。

【0021】

描画処理３１ｄでは、変形計算３１ａによって計算された変形モデルの変形状態を示す画像を生成し、モニタ３６へ出力する。これにより、ユーザは、仮想空間上の変形モデル（臓器モデル）を視覚的に認識することができる。なお、描画処理３１ｄでは、変形モデルに加えて、スタイラス４Ａ−１，４Ｂ−１，４Ｃ−１によって操作される仮想ツールを示す画像も、変形モデルの画像とともに生成する。すなわち、モニタ３６には、内視鏡手術において内視鏡から得られる映像と同様の仮想空間映像を表示することができる。

【0022】

力覚処理３１ｅでは、変形計算３１ａによって計算された変形モデルに基づき、自装置１０Ａ，１０Ｂ，１０Ｃの力覚入出力デバイス４Ａ，４Ｂ，４Ｃによって操作される仮想ツールにかかる力（反力）を計算し、自装置１０Ａ，１０Ｂ，１０Ｃの力覚入出力デバイス４Ａ，４Ｂ，４Ｃに出力する。これにより、変形モデルの変形に伴う力覚をユーザへフィードバックすることができる。

【0023】

記憶部３２には、臓器モデルである変形モデルを示す情報（変形モデル情報）３２ａが記憶される。変形モデル情報３２ａは、変形モデルを構成する四面体メッシュ要素の木構造を示す木構造情報を有して構成されている。
記憶部３５には、コンピュータ３Ａ，３Ｂ，３Ｃに、変形シミュレーション装置１０Ａ，１０Ｂ，１０Ｃとしての処理３１ａ，３１ｂ，３１ｃ，３１ｄを実行させるためのコンピュータプログラムも格納されている。このコンピュータプログラムがコンピュータ３Ａ，３Ｂ，３Ｃにおいて実行されることで、コンピュータ３Ａ，３Ｂ，３Ｃは、変形シミュレーション装置１０Ａ，１０Ｂ，１０Ｃにおける必要な機能を発揮する。

【0024】

［２．変形モデル］
力覚を伴う手術シミュレーションでは、臓器のような柔軟物体と手術ツールとのインタラクションを高精度かつリアルタイムに再現し表示する必要がある。柔軟物体の変形モデルとしては、質点バネダンパモデル（ＭＳＤＭ）と有限要素法（ＦＥＭ）とを用いたモデルが代表的である。
本発明者らは、高い精度と計算コスト低減とを両立するため、必要に応じて複数の精度のモデルを使い分ける適応的四面体を用いた多重解像度モデルとオンラインリメッシュを提案しており（非特許文献２参照）、本実施形態の変形モデルおいても、適応的四面体を用いた多重解像度モデルとオンラインリメッシュが採用されている。

【0025】

変形モデルとなる多重解像度モデルは以下の手順にて作成される。まず、臓器などの手術対象部位を示すボリュームデータが持つ空間全体を初期立方体（図３（ａ）参照）の格子で区切る。ボリュームデータは、ＣＴやＭＲＩで撮影された断層画像から得られる。それぞれの初期立方体（初期立方体メッシュ要素）は、図３（ｂ）に示すように、６等分され、６つ同形の四面体メッシュ要素（ルート四面体）から構成される。

【0026】

四面体メッシュ要素（以下、単に「四面体」という）は、ボリュームデータの複雑さに応じて、再帰的に二分割される。四面体メッシュ要素の二分割は、四面体の最長辺（基辺）の中点において行われる。
四面体の再帰的二分割の過程では、図４に示すように、親四面体の分割レベルを３ｋとすると、分割レベルが３ｋ，３ｋ＋１，３ｋ＋２，３（ｋ＋１）と進むごとに、四面体の形状は、ＴＹＰＥ０，ＴＹＰＥ１，ＴＹＰＥ２、さらに、（分割レベル＝３ｋのＴＹＰＥ０の各辺を半分にした）ＴＹＰＥ０の順に循環する。なお、初期立方体を６等分した四面体は、ＴＹＰＥ０である。
二分割は、ボリュームデータの等値面の曲率などの局所的特徴の変化に応じて、指定された近似精度を満たすまでに再帰的に行われる。より具体的には、ある四面体を二分割するか否かは、その四面体とその近傍領域の局所的特徴の変化に基づいて決定され、もし、その四面体と近傍領域内の近似精度が、指定の近似精度に達していなければ、その四面体は二分割される。

【0027】

このような再帰的二分割によって、局所的特徴の変化の大きい箇所（モデルの境界部分など）は、より小さな四面体によって構成されるとともに、局所的特徴の変化の小さい箇所は、より大きな四面体によって構成される。すなわち、メッシュ要素の解像度（分割レベル）がモデルの部分によって異なる多重解像度の変形モデルが得られる。

【0028】

上記のようにして得られた多重解像度の変形モデルは、図５に示すように、二分木階層構造を用いて表現される。二分木構造の各ノードが四面体に対応する。図５に示す二分木構造おいて、分割レベルがＬｅｖｅ１のノード（ルートノード）が、初期立方体を構成するルート四面体（ＴＹＰＥ０）の一つであるとすると、Ｌｅｖｅｌ２の２つの子ノードは、ルート四面体を二分割した２つの四面体（ＴＹＰＥ１）を示している。Ｌｅｖｅｌ３の孫ノードは、Ｌｅｖｅｌ２の四面体（ＴＹＰＥ１）をさらに二分割した四面体（ＴＹＰＥ２）を示し、Ｌｅｖｅｌ４のひ孫ノードは、Ｌｅｖｅｌ３の四面体（ＴＹＰＥ２）をさらに二分割した四面体（ＴＹＰＥ０）を示し、Ｌｅｖｅｌ５（の四面体（ＴＹＰＥ０）の玄孫ノードは、Ｌｅｖｅｌ４の四面体（ＴＹＰＥ０）をさらに二分割した四面体（ＴＹＰＥ１）を示している。

【0029】

図５の木構造において、黒丸はリーフノードであり、多重解像度の変形モデルは、各リーフノードに対応する四面体（リーフメッシュ要素；リーフ四面体）によって構成される。変形モデルを構成する四面体は、図５のリーフノードのレベルが異なるレベルに分散していることからも明らかなように、局所的に分割レベル（解像度）が異なっている。
なお、変形モデルは、多数のルート四面体を再帰的に二分割することによって構成されているため、一つの変形モデルは、複数の二分木構造の集合によって表現される。
変形モデルの木構造を示す木構造情報は、記憶部３２に記憶されている。木構造情報には、各ノードが、リーフノードであるか否かを示すリーフノードフラグが含まれている。

【0030】

オンラインリメッシュが採用されている本実施形態では、変形計算３１ａにおいて、変形モデルに対する仮想ツールによる接触（インタラクション）などによって動的に生じる各四面体の歪の大きさに従って、変形操作が与えられた部分領域の四面体を再帰的に二分割又は二統合する。
例えば、図６に示すように、仮想ツール（鉗子など）によって引っ張り操作が与えられた変形モデルの部分領域のうち、仮想ツール側（図６に示す変形モデルの左上側）に近いほど、変形が大きい（歪が大きい）ため、二分割が多く行われて細分化され、より細かい四面体（例えば、分割Ｌｅｖｅｌ５の四面体）によって構成されることになる。逆に、引っ張り操作が解除されると、変形が小さいくなる（歪が小さくなる）ため、四面体の二統合が行われて、より粗い四面体（例えば、分割Ｌｅｖｅｌ３の四面体）によって構成されることになる。
このようにオンラインリメッシュでは、変形モデルに対して動的に生じる変形に応じて、メッシュ要素である四面体の二分割又は二統合が動的に行われるため、計算量を抑えつつ精度良い変形モデルが得られる。

【0031】

本実施形態では、変形モデルの解像度（メッシュ体の分割レベル）の最大値は、各コンピュータ３Ａ，３Ｂ，３Ｃの処理能力に応じて、異なって設定される。変形モデルの解像度が大きくなると変形計算の処理負荷が増大するため、処理能力の低いコンピュータ３Ａ，３Ｂ，３Ｃの場合は最大解像度を比較的低く設定しておき、変形計算の処理負荷を軽減する一方、処理能力の高いコンピュータ３Ａ，３Ｂ，３Ｃの場合は最大解像度を比較的高く設定しておく。コンピュータ３Ａ，３Ｂ，３Ｃの処理能力の相違に応じて、最大解像度を異ならせることで、変形モデルの変形計算の進行速度を揃えることができる。変形モデルの変形計算の進行速度を揃えることで、コンピュータ３Ａ，３Ｂ，３Ｃの処理能力の相違に起因して特定のコンピュータの処理に遅れが生じることを防止することができる。

【0032】

［３．変形モデルの同期］
図７は、各変形シミュレーション装置１０Ａ，１０Ｂ，１０Ｃの処理部３１によって実行される処理のうち、操作パラメータの取得から変形計算及び同期処理に至る処理を示している。ここでは、主に、第１地点に設置された第１変形シミュレーション装置１０Ａにおける処理を示すが、第２及び第３シミュレーション装置１０Ｂ，１０Ｃにおける処理も同様である。

【0033】

処理部３１は、操作パラメータの送受信に関する処理を行う（ステップＳ１）。操作パラメータの送受信に関する処理（ステップＳ１）には、操作パラメータを自装置１０Ａの力覚入出力デバイス４Ａから取得する第１取得処理、操作パラメータを他の装置１０Ｂ，１０Ｃから取得する第２取得処理、自装置１０Ａの力覚入出力デバイス４Ａから取得した操作パラメータを他の装置１０Ｂ，１０Ｃへ送信する送信処理、及び、他の装置１０Ｂ，１０Ｃから取得すべき操作パラメータを予測（外挿入補間）する予測処理などが含まれる。

【0034】

処理部３１が自装置１０Ａの力覚入出力デバイスから取得する操作パラメータには、スタイラス４Ａ−１，４Ｂ−１，４Ｃ−１の３次元位置・姿勢情報及びデバイス４Ａ，４Ｂ，４Ｃに備わったボタンのＯＮ／ＯＦＦ情報といった操作に関する基本情報が含まれる。
処理部３１が、操作パラメータを他の装置１０Ｂ，１０Ｃへ送信する場合には、基本情報のほか、付加情報が付加される。付加情報としては、基本情報に対応するタイムスタンプ（基本情報を取得した時間又は基本情報を送信した時間を示すタイムスタンプ）が含まれる。
付加情報には、更に、仮想ツールが変形モデルに接触開始した時刻を示す接触時刻情報と、局所領域内の四面体の最大分割レベルを示す最大分割レベル情報と、が含まれる。

【0035】

接触時刻情報は、自装置１０のスタイラス４Ａ−１によって操作される仮想ツールが、変形モデルに接触している場合に付加される情報であり、当該接触が開始された時刻を示す。
最大分割レベル情報も、自装置１０のスタイラス４Ａ−１によって操作される仮想ツールが、変形モデルに接触している場合に付加される情報である。最大分割レベル情報は、当該仮想ツールが変形モデルに接触している場合に、その接触位置の近傍の範囲（局所領域）内の四面体の分割レベルのうち最大の分割レベルを示す。なお、局所領域の決め方については後述する。

【0036】

複数の変形シミュレーション装置１０Ａ，１０Ｂ，１０Ｃ間では、基本情報に付加情報を付加した操作パラメータ（送信情報）の送受信が、例えば、１ｍｓｅｃ周期といった高周期で繰り返される。

【0037】

処理部３１は、取得した操作パラメータに基づいて、自装置１０Ａが有する変形モデルの変形計算３１ａを行う（ステップＳ２）。
しかし、変形シミュレーション装置１０Ａ，１０Ｂ，１０Ｃ間の通信におけるレイテンシ（ジッタ）・パケットロスによって、他の変形シミュレーション装置１０Ｂ，１０Ｃから送信された操作パラメータ（送信情報）が変形シミュレーション装置１０Ａに届くのが遅れたり、届かなかったりすることがある。
変形計算３１ａの際には、同一時刻における各装置１０Ａ，１０Ｂ，１０Ｃの操作パラメータを用いるべきであるが、他の装置１０Ｂ，１０Ｃの操作パラメータの取得が遅れると、変形計算が遅れたり、適切な変形計算が行えなくなる。この結果、各装置１０Ａ，１０Ｂ，１０Ｃ間で変形誤差が大きくなる。

【0038】

そこで、前述のステップＳ１において説明したように、他の装置１０Ｂ，１０Ｃから取得すべき操作パラメータを予測（外挿補間）する予測処理を行い、他の装置１０Ｂ，１０Ｃから操作パラメータを取得できていない段階でも、予測した操作パラメータを用いて変形計算３１ａを行う。操作パラメータの予測は、過去の（取得済みの）操作パラメータに基づいて外挿補間によって取得すべき操作パラメータの予測値を生成する。したがって、変形計算３１ａの際には、自装置１０Ａの力覚入出力デバイス４Ａから取得した最新の操作パラメータと、当該最新の操作パラメータと同一の時刻における他の装置１０Ｂ，１０Ｃの操作パラメータ（予測値）を用いることができる。

【0039】

ただし、操作パラメータの予測を行っても、レイテンシ（ジッタ）が大きくなったり、パケットロスが頻繁に発生すると、各装置１０Ａ，１０Ｂ，１０Ｃ間の変形誤差が大きくなり易い。

【0040】

そこで、処理部３１は、自装置１０Ａが有する変形モデルと他の変形シミュレーション装置１０Ｂ，１０Ｃが有する変形モデルとの間の変形誤差を推定し、その推定値に基づいて、他の装置１０Ｂ，１０Ｃとの間で変形モデルの同期処理３１ｃが必要か否かを判定する（ステップＳ３；変形誤差判定）。
ここで、変形誤差を正確に求めるには、自装置１０Ａが有する変形モデルを、他の装置１０Ｂ，１０Ｃが有する変形モデルと比較する必要がある。しかし、他の装置１０Ｂ，１０Ｃの変形モデル全体の変形状態情報を頻繁に取得するのは、通信負荷を増大させ好ましくない。そこで、本実施形態では、変形誤差を直接求めるのではなく、変形誤差に影響を与える情報（指標）に基づいて変形誤差を推定する。本実施形態では、変形誤差は、自装置１０Ａと他の装置１０Ｂ，１０Ｂそれぞれとの間の通信状況を示す指標に基づいて算出される。

【0041】

本実施形態において、通信状況としては、ジッタなどに起因する操作パラメータの到着遅延時間Ｔｄ、パケットロスが発生した時間幅Ｔｌが用いられる。到着遅延時間Ｔｄは、操作パラメータに含まれるタイムスタンプを参照し、通常の通信遅延量を超えて遅延して到着した場合の遅延時間として算出される。また、パケットロスの発生時間幅Ｔｌは、操作パケットの最大許容遅延量を超えても操作パラメータが到着しない状況（パケットロス）が発生している時間幅として算出される。

【0042】

複数の他の装置１０Ｂ，１０Ｃが存在する場合、変形誤差は、他の装置１０Ｂ，１０Ｃ毎に算出される。
通信状況が悪化して遅延時間Ｔｄやパケットロス時間幅Ｔｌが大きくなると、他の装置１０Ｂ，１０Ｃからの操作パラメータが適切に反映されにくくなるため、変形誤差が増大し易い。したがって、このような遅延時間Ｔｄやパケットロス時間幅Ｔｌは変形誤差の大きさを推定するのに用いることができる。

【0043】

変形誤差の推定値Ｕ１ｅｒｒは、Ｔｄ及びＴｌを用いて、例えば、ｋ１×（ΣＴｄ＋ΣＴｌ）として算出される。ここで、ｋ１は係数であり、適宜設定される。ＴｄとＴｌの総和（直前の同期処理後において観測された遅延時間Ｔｄ及びパケットロス時間幅の総和）に係数ｋ１を乗じることで、変形誤差の推定値（変形誤差の大きさを示す指標）Ｕ１ｅｒｒを算出することができる。
そして、変形誤差の推定値Ｕ１ｅｒｒを、閾値と比較することで、変形誤差判定（ステップＳ３）を行うことができる。
変形誤差の推定値Ｕ１ｅｒｒが、閾値よりも大きい場合（「誤差大」の場合）、同期処理３１ｃが行われる。つまり、ステップＳ３は、同期処理における各処理（要求処理など）の実行が必要であるか否かの判定処理となっている。
変形誤差の推定値Ｕ１ｅｒｒが、閾値よりも小さい場合（「誤差小」の場合）、ステップ１に戻り、操作パラメータの取得等と変形計算とが繰り返される。

【0044】

変形誤差の推定値は、タイムスタンプを用いて算出される通信状況を示す指標に限られず、通信状況を示すその他の指標、あるいは、他の装置１０Ｂ，１０Ｃから送信された操作パラメータに含まれる「局所領域内の四面体の最大分割レベルを示す最大分割レベル情報」を用いてもよい。
最大分割レベル情報を用いる場合、他の装置１０Ｂ，１０Ｃの変形モデルにおける局所領域の最大分割レベルと、自装置１０Ａの変形モデルにおいて前記局所領域と対応する領域の最大分割レベルと、の差（モデル解像度の差）ｌｄｉｆｆを求め、当該差に基づいて、変形誤差の推定値を求めても良い。
分割レベルは変形モデルの変形度に応じて大きくなるため、同一の局所領域における分割レベルの差（モデル解像度の差）ｌｄｉｆｆは、変形誤差の大きさを推定するのに用いることができる。この場合、変形誤差の推定値Ｕ２ｅｒｒは、分割レベルの差ｌｄｉｆｆを用いて、例えば、ｋ２×ｌｄｉｆｆとして算出される。ここで、ｋ２は係数であり、適宜設定される。

【0045】

また、変形誤差の推定値Ｕｅｒｒは、前記の推定値Ｕ１ｅｒｒ及び推定値Ｕ２ｅｒｒの双方を用いて算出された値であってもよい。

【0046】

ステップＳ３において、複数の他の装置１０Ｂ，１０Ｃそれぞれの変形モデルとの間の変形誤差が推定され、少なくとも一つの他の装置１０Ｂ，１０Ｃの変形モデルとの間の変形誤差が大であると判定されると、変形誤差が大である他の装置１０Ｂ，１０Ｃそれぞれとの間で変形モデルの同期処理３１ｃが行われる。

【0047】

同期処理３１ｃは、局所領域重複判定処理（ステップＳ４）、選択処理(ステップＳ５)、局所領域情報要求処理（ステップＳ６）、局所領域情報受信処理（ステップＳ８）、反映処理（ステップＳ９）を含む。所領域重複判定処理（ステップＳ４）及び選択処理(ステップＳ５)の説明は後述する。ここでは、第１変形シミュレーション装置１０Ａは、第２変形シミュレーション装置１０Ｂとの間で、変形誤差が大きくなり、同期処理を行うものとして、ステップＳ６以降を説明する。

【0048】

図８にも示すように、処理部３１は、ステップＳ６において、第２変形シミュレーション装置１０Ｂ（変形誤差が大きい他の装置）に対して、局所領域情報の送信を要求する。ここでの局所領域は、第２変形シミュレーション装置１０Ｂの力覚入出力デバイス４Ｂによって操作される仮想ツールが変形モデルに接触している場合に、その接触位置の近傍の範囲である。第２変形シミュレーション装置１０Ｂの仮想ツールが変形モデルに接触している位置近傍の領域においては、第２シミュレーション装置１０Ｂが有する変形モデルにおける変形状態が最も正確であると考えられる。つまり、第２シミュレーション装置１０Ｂの仮想ツールによる変形モデルへの操作は、第２シミュレーション装置１０Ｂに備わった力覚入出力デバイス４Ｂによって行われるため、第２シミュレーション装置１０Ｂの処理部３１は、第２シミュレーション装置１０Ｂの仮想ツールによる変形モデルへの操作を示す操作パラメータを、ネットワーク２における通信遅延などの影響を受けることなく取得し、局所領域における変形計算を比較的正確に行うことができる。

【0049】

一方、第１シミュレーション装置１０Ａにおいては、第２シミュレーション装置１０Ｂの仮想ツールが変形モデルへ接触している位置近傍（局所領域）の変形計算を正確に行うには、第２シミュレーション装置１０Ｂから操作パラメータを取得する必要があり、変形計算の精度が低下しやすい。

【0050】

そこで、第２シミュレーション装置１０Ｂとの間で変形誤差が大きいと判定した第１シミュレーション装置１０Ａの処理部３１は、第２シミュレーション装置１０Ｂに対して、第２シミュレーション装置１０Ｂの仮想ツールが変形モデルに接触している位置近傍の領域である局所領域の変形状態情報（局所領域情報）の送信を要求する（ステップＳ６）。
その要求を受けた第２シミュレーション装置１０Ｂは、第２シミュレーション装置１０Ｂによって操作される仮想ツールが変形モデルに接触しているか否かを判定し、自身の仮想ツールが変形モデルに接触していれば、その接触位置近傍の局所領域の変形状態情報（局所領域情報）を生成し、生成した局所領域情報を、第１シミュレーション装置１０Ａに対して送信する。

【0051】

第２シミュレーション装置１０Ｂは、第２シミュレーション装置１０Ｂによって操作される仮想ツールが変形モデルに接触していると判定した場合、局所領域情報として送信すべき局所領域を決定する。局所領域は、前述のように、第２変形シミュレーション装置１０Ｂの力覚入出力デバイス４Ｂによって操作される仮想ツールが変形モデルに接触している位置の近傍の領域である。局所領域は、図９に示すように、仮想ツール先端Ｃを中心として設定されたバウンディングボリューム（球など）に内容される変形モデルの領域として決定される。また、局所領域は、第２シミュレーション装置１０Ｂが有する変形モデルにおいて分割レベルが初期の分割レベルよりも閾値以上深くなった場所の近傍領域（変形が大きい領域）として決定することができる。
第２シミュレーション装置１０Ｂは決定された局所領域における変形状態を示す情報を局所領域情報として生成する（図８参照）。

【0052】

なお、第２シミュレーション装置１０Ｂは、居所領域情報の要求を受けても、自身の仮想ツールが変形モデルに接触していない場合、局所領域情報は送信しない。
したがって、第１シミュレーション装置１０Ａが、第２シミュレーション装置１０Ｂの局所領域情報を受信した場合（ステップＳ８）、第２シミュレーション装置１０Ｂの仮想ツールがその局所領域内で変形モデルに接触しており、この場合、前述のように、その局所領域情報は、当該局所領域における変形状態を比較的正確に示す情報（正解情報）であるとみなすことができる。

【0053】

そこで、第１シミュレーション装置１０Ａの処理部３１は、第２シミュレーション装置１０Ｂから取得した局所領域情報（正解情報）を、自身１０Ａが有する変形モデルにおける対応する局所領域の変形状態として、自身１０Ａが有する変形モデルに反映させる（ステップＳ９）。これにより、両装置１０Ａ，１０Ｂの変形モデルの変形状態が、当該局所領域においては、より正確な第１シミュレーション装置１０Ａにおける変形状態に統一され、同期がとれた状態となる（図８参照）。

【0054】

本実施形態では、変形モデルの解像度（メッシュ体の分割レベル）の最大値は、各コンピュータ３Ａ，３Ｂ，３Ｃの処理能力に応じて、異なって設定されているため、他の装置１０Ｂが自装置１０Ａよりも高解像度である場合、自装置１０Ａが他の装置１０Ｂから取得した局所領域情報は、低解像度に落とされた上で、自装置１０Ａの変形モデルに反映させる。
ただし、装置１０Ａが取得した高解像度の局所領域情報は、処理負荷の大きい変形計算３１ａには用いなくても、描画処理３１ｄや力覚処理３１ｅには用いても良い。この場合、高解像度の局所領域情報を有効活用することができる。

【0055】

さて、複数の仮想ツールが近接して変形モデルに接触している場合がある。例えば、第２変形シミュレーション装置１０Ｂのデバイス４Ｂによって操作される仮想ツールと、第３変形シミュレーション装置１０Ｃのデバイス４Ｃによって操作される仮想ツールと、が変形モデルにおける近接した位置に接触していることがある。このような場合において、第１変形シミュレーション装置１０Ａが、複数の他の装置１０Ｂ，１０Ｃそれぞれとの変形誤差が大きいと判定し、複数の他の装置１０Ｂ，１０Ｃそれぞれに対して局所領域情報の要求（ステップＳ６）を送信してしまうと、複数の他の装置１０Ｂ，１０Ｃそれぞれが、局所領域情報を生成して、第１変形シミュレーション装置１０Ａに送信してくることになる。この場合、第１変形シミュレーション装置１０Ａが他の装置１０Ｂ，１０Ｂから取得した局所領域情報は重複したものとなる。

【0056】

取得した局所領域情報が重複したものとなることを避けるべく、図７に示す同期処理では、局所領域情報要求（ステップＳ６）に先立って、局所領域重複判定（ステップＳ４）が行われ、局所領域が重複していると判定された場合には、局所領域情報を要求すべき一の装置１０Ｂを選択する選択処理（ステップＳ５）が行われる。
局所領域重複判定（ステップＳ４）は、複数の他の装置１０Ｂ，１０Ｃのデバイス４Ｂ、４Ｃによって操作される仮想ツールそれぞれが変形モデルに接触する位置同士が近接しているか否かの判定となっている。この判定のために、第１変形シミュレーション装置１０Ａの処理部３１は、他の装置１０Ｂ，１０Ｃのデバイス４Ｂ、４Ｃによって操作される仮想ツールそれぞれが接触している局所領域を求め、それらの局所領域が重複しているか否かによって、複数の仮想ツールそれぞれが変形モデルに接触する位置同士が近接しているか否かを判定する。

【0057】

第１変形シミュレーション装置１０Ａの処理部３１は、他の装置１０Ｂ，１０Ｃのデバイス４Ｂ、４Ｃによって操作される仮想ツールそれぞれが接触している局所領域を求めるために、他の装置１０Ｂ，１０Ｃそれぞれから取得した操作パラメータ（基本情報）に基づいて、他の装置１０Ｂ、１０Ｃのデバイス４Ｂ、４Ｃによって操作される仮想ツールの先端位置Ｃ１，Ｃ２（図１０参照）を求める。求めた先端位置Ｃ１，Ｃ２それぞれから、他の装置１０Ｂ，１０Ｃにおいて決定される局所領域を推定する。具体的には、先端位置Ｃ１，Ｃ２から他の装置１０Ｂ，１０Ｃにおけるバウンディングボリュームの領域Ｂ１，Ｂ２を推定し、その領域Ｂ１，Ｂ２を他の装置１０Ｂ，１０Ｃの局所領域とする。
そして、第１変形シミュレーション装置１０Ａは、推定した局所領域Ｂ１，Ｂ２が重複しているか否かを判定する。

【0058】

なお、局所領域重複判定（ステップＳ４）は、他の装置１０Ｂ，１０Ｃから局所領域の範囲を示す情報を取得して行っても良い。
また、仮想ツールそれぞれが変形モデルに接触する位置同士が近接しているか否かの判定は、局所領域の重複によって判定するものに限られず、複数の仮想ツールが変形モデルに接触して位置同士間の距離によって判定してよい。

【0059】

局所領域が重複していると判定された場合、第１変形シミュレーション装置１０Ａの処理部３１は、局所領域が重複する他の装置１０Ｂ、１０Ｃから、局所領域情報を要求すべき一の装置１０Ｂを選択する（ステップＳ５）。この選択は、他の装置１０Ｂ，１０Ｃから取得した操作パラメータに含まれる「接触時刻情報」に基づいて行われる。例えば、他の装置１０Ｂ，１０Ｃのうち、接触時刻情報が示す時刻が最先である装置（最先に接触した装置）を選択したり、逆に、接触時刻情報が示す時刻が最後である装置（最後に接触した装置）を選択したりすることができる。

【0060】

第１変形シミュレーション装置１０Ａの処理部３１は、以上のようにして選択された一の装置（例えば、第２変形シミュレーション装置１０Ｂ）に対して、局所領域情報を要求する（ステップＳ６）。

【0061】

図７では、選択処理（ステップ５）は、要求処理（ステップＳ６）に先立って行われるが、複数の他の装置１０Ｂ，１０Ｃから一の装置を選択することを行わずに、複数の他の装置１０Ｂ，１０Ｃに対して要求処理（ステップＳ６）を行い、複数の他の装置１０Ｂ，１０Ｃから取得した後に、選択処理を行っても良い。この場合、取得した局所領域情報によって局所領域の重複を判定でき、選択された装置Ｂから送信された局所領域情報が自装置１０Ａの変形モデルに反映される。
なお、図７に示すように、選択処理（ステップ５）を要求処理（ステップＳ６）に先立って行うことで、不要な局所領域情報（例えば、第３変形シミュレーション装置１０Ｃの局所領域情報）が送信されるのを防止して、通信負荷を低減することができる。

【0062】

装置１０Ａ，１０Ｂ，１０Ｃ間で送受信される操作パラメータには、各仮想ツールが変形モデルに接触しているか否かといった仮想ツールの状態を示す情報を含めても良い。変形モデルが装置１０Ａ，１０Ｂ，１０Ｃが相違することによって、ある仮想ツールがある装置では変形モデルに接触しているが、他の装置では変形モデルに接触していない場合が生じることがある。操作パラメータに仮想ツールの状態を示す情報を含めることで、より適切に同期処理の必要性を判定したり、選択処理を適切に行うことが可能となる。

【0063】

なお、本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。

【符号の説明】

【0064】

１ 変形シミュレーションシステム
２ ネットワーク
３Ａ，３Ｂ，３Ｃ コンピュータ
４Ａ，４Ｂ，４Ｃ 力覚入出力デバイス
４Ａ−１，４Ｂ−１，４Ｃ−１ スタイラス
１０Ａ，１０Ｂ，１０Ｃ 変形シミュレーション装置
３１ 処理部
３１ａ 変形計算
３１ｂ 通信処理
３１ｃ 描画処理
３１ｄ 力覚処理
３２ 記憶部
３６ モニタ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】