特許 6032669 力覚提示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6032669

(24)【登録日】2016年11月4日

(45)【発行日】2016年11月30日

(54)【発明の名称】力覚提示システム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20161121BHJP

   A61B 34/10 20160101ALI20161121BHJP

   G06T 19/00 20110101ALI20161121BHJP

【ＦＩ】

   G06F3/01 560

   A61B34/10

   G06T19/00 A

【請求項の数】4

【全頁数】12

(21)【出願番号】特願2012-262762(P2012-262762)

(22)【出願日】2012年11月30日

(65)【公開番号】特開2014-109818(P2014-109818A)

(43)【公開日】2014年6月12日

【審査請求日】2015年8月4日

(73)【特許権者】

【識別番号】504136568

【氏名又は名称】国立大学法人広島大学

(73)【特許権者】

【識別番号】301021533

【氏名又は名称】国立研究開発法人産業技術総合研究所

(74)【代理人】

【識別番号】110001427

【氏名又は名称】特許業務法人前田特許事務所

(72)【発明者】

【氏名】栗田 雄一

(72)【発明者】

【氏名】辻 敏夫

(72)【発明者】

【氏名】大塚 紘之

(72)【発明者】

【氏名】清岡 雅弘

(72)【発明者】

【氏名】惠木 浩之

(72)【発明者】

【氏名】大段 秀樹

(72)【発明者】

【氏名】永田 和之

【審査官】 菊池 智紀

(56)【参考文献】

【文献】 国際公開第２００８／０７２７５６（ＷＯ，Ａ１）

【文献】 特開２００７−３１６９３６（ＪＰ，Ａ）

【文献】 特開２００１−０８４０５１（ＪＰ，Ａ）

【文献】 特開２０１１−０９６１７１（ＪＰ，Ａ）

【文献】 特開２００８−１９７４８３（ＪＰ，Ａ）

【文献】 上杉麗子 他，"柔軟シートを用いたハプティック・デバイスに関する研究"，第21回日本ロボット学会学術講演会予稿集CD-ROM，２００３年 ９月２０日，pp.1-4

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／００−３／０４８９

Ｇ０９Ｂ ９／００，２３／３０−２３／３４

Ａ６１Ｂ １／００−９０／９８

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

粘弾性材料で形成された補助物体が装着可能であり、与えられた制御係数に応じて前記補助物体に対して作用を及ぼして前記補助物体の表面の粘弾性を変化させるアクチュエータと、
手術器具が装着可能であり、与えられた制御係数に応じて前記手術器具に対して前記補助物体からの反力に追加して反力を与える力覚提示デバイスと、
さまざまな手術対象物について実測された目標反力をデータベース化して保持し、前記データベースの中から選択された手術対象物の目標反力に対して前記補助物体の変位量に応じて前記力覚提示デバイスおよび前記アクチュエータの各制御係数を決定して、当該各制御係数で前記力覚提示デバイスおよび前記アクチュエータを制御する制御装置とを備えている
ことを特徴とする力覚提示システム。

【請求項2】

請求項１に記載の力覚提示システムにおいて、
前記補助物体は、ゴムシートで形成されており、
前記アクチュエータは、前記補助物体を引き延ばす力を変化させることで前記補助物体の表面の粘弾性を変化させる
ことを特徴とする力覚提示システム。

【請求項3】

請求項１に記載の力覚提示システムにおいて、
前記補助物体は、手術対象物の形状を模した立体形状を有しており、その内部は空洞であり、
前記アクチュエータは、前記補助物体の内部の空気圧を変化させることで前記補助物体の表面の粘弾性を変化させる
ことを特徴とする力覚提示システム。

【請求項4】

請求項１から３のいずれか一つに記載の力覚提示システムにおいて、
前記手術器具による手術の仮想映像および／または効果音を提示する補助デバイスを備え、
前記制御装置は、前記補助デバイスを駆動して、前記力覚提示デバイスが提示する反力に合った前記仮想映像および／または前記効果音を提示させる
ことを特徴とする力覚提示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体に触れたときに生じる反力をユーザに仮想的に与える力覚提示システムに関し、特に、高いリアリティが要求される手術トレーニングシステムに好適な力覚提示技術に関する。

【背景技術】

【0002】

手術にはさまざまな種類があり、また、使用する器具も多岐に亘るため、手術のトレーニングを積んでおくことが重要である。しかし、手術トレーニングは現実の人体を使って行うことができないため、模擬人体や模擬臓器を用いるか、またはシミュレータを使って行う必要がある。特に手術シミュレータについては、近年のコンピュータ技術の発達によってリアリティが格段に向上している。

【0003】

手術シミュレータや手術トレーニングシステムにおいて、いかに本物に近い力覚を提示するかということは重要なファクタの一つである。力覚を提示するデバイスには、バネモデルに基づく簡単なものから、フォークトモデルに基づくもの、さらには有限要素モデルに基づいて大量のコンピューティング能力を投入するものまでさまざまなものがある。反力モデルが複雑になればなるほど複雑な反力応答を再現してリアリティは向上するが、モデル化に要するコストおよびデバイスのコストが増大する。

【0004】

力覚提示システムとして、例えば、コンピュータ内部に構築した仮想モデルとツール型力覚センサを備えたハプティック（Haptics）インタフェースから得られた実測出力値とを比較して差分を求め、実物操作ツールに該差分を提示する反力提示方法であって、操作量に応じて仮想モデルが受ける反力と実物操作ツールが受ける実測された反力との差分を算出し、該差分を反力として提示する反力提示方法およびハプティクスの記録と再生ができる力覚提示システムが提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】国際公開第２００８／０７２７５６号

【発明の概要】

【発明が解決しようとする課題】

【0006】

臓器や皮膚など手術対象物に対して切る（切開）、刺す（穿刺）、縫う（縫合）などの外科処置を施した場合、手術対象物に破壊現象が生じた瞬間にその手術対象物独特の反力応答が発生する。そのような反力応答はユーザに「刺さった感覚」や「切れた感覚」などとして知覚される。このような手術対象物の破壊現象による独特の反力応答は、その手術対象物を組成する組織の密度や粘弾性などのさまざまな要因によってさまざまに異なるため、有限要素モデルなどの複雑なモデルに基づく力覚提示デバイスを用いなければ仮想的に作り出すことは困難である。しかし、上述したように、これはモデル化が非常に複雑である上に力覚提示システムが非常に高価なものとなる。

【0007】

上記問題に鑑み、本発明は、簡単な反力モデルを実現する比較的安価な力覚提示デバイスを用いてリアリティの高い力覚提示を可能にする力覚提示システムを提供することを課題とする。

【課題を解決するための手段】

【0008】

本発明の一局面に従った力覚提示システムは、粘弾性材料で形成された補助物体が装着可能であり、与えられた制御係数に応じて前記補助物体に対して作用を及ぼして前記補助物体の表面の粘弾性を変化させるアクチュエータと、手術器具が装着可能であり、与えられた制御係数に応じて前記手術器具に対して前記補助物体からの反力に追加して反力を与える力覚提示デバイスと、さまざまな手術対象物について実測された目標反力をデータベース化して保持し、前記データベースの中から選択された手術対象物の目標反力に対して前記補助物体の変位量に応じて前記力覚提示デバイスおよび前記アクチュエータの各制御係数を決定して、当該各制御係数で前記力覚提示デバイスおよび前記アクチュエータを制御する制御装置とを備えている。

【0009】

これによると、補助物体からの反力に力覚提示デバイスが生成する反力が重ね合わされてユーザに提示される。補助物体は手術対象物と同様の複雑な反力応答特性を有するため、力覚提示デバイスは手術対象物の反力と補助物体の反力との差分を提示しさえすればよく、比較的簡単な反力モデルでこれを実現することができる。さらに、手術対象物の目標反力に合わせて補助物体の表面の粘弾性が変えられることで補助物体の応答特性が変化するため、１種類の補助物体でさまざまな手術対象物を模擬することができる。

【0010】

前記補助物体は、ゴムシートで形成されていてもよく、また、前記アクチュエータは、前記補助物体を引き延ばす力を変化させることで前記補助物体の表面の粘弾性を変化させるものであってもよい。

【0011】

あるいは、前記補助物体は、手術対象物の形状を模した立体形状を有していてもよく、その内部は空洞であり、また、前記アクチュエータは、前記補助物体の内部の空気圧を変化させることで前記補助物体の表面の粘弾性を変化させるものであってもよい。

【0012】

上記の力覚提示システムは、前記手術器具による手術の仮想映像および／または効果音を提示する補助デバイスを備えており、前記制御装置は、前記補助デバイスを駆動して、前記力覚提示デバイスが提示する反力に合った前記仮想映像および／または前記効果音を提示させるものであってもよい。

【発明の効果】

【0013】

本発明によると、簡単な反力モデルを実現する比較的安価な力覚提示デバイスを用いてリアリティの高い力覚提示が可能となる。これにより、高いリアリティを有する手術トレーニングシステムを比較的安価に構築することができる。

【図面の簡単な説明】

【0014】

【図1】本発明の一実施形態に係る力覚提示システムの概略構成図

【図2】ハプティックＡＲの原理を説明する模式図

【図3】目標物体の反力およびハプティックＡＲに係る各種反力のグラフ

【図4】最適な補助物体を用いた場合とそうでない場合におけるハプティックＡＲに係る各種反力のグラフ

【図5】本発明の一実施形態に係る力覚提示システムの制御系の概念図

【図6】補助物体に破壊現象が生じないように補助物体に針を押し当てたときの補助物体の伸び率ごとの反力応答のグラフ

【図7】補助物体に破壊現象が生じるように補助物体に針を押し当てたときの補助物体の伸び率ごとの反力応答のグラフ

【図8】立体形状を有する補助物体の模式図

【発明を実施するための形態】

【0015】

以下、図面を参照しながら本発明を実施するための形態について説明する。なお、本発明は、以下の実施形態に限定されるものではない。

【0016】

図１は、本発明の一実施形態に係る力覚提示システムの概略構成を示す。本実施形態に係る力覚提示システムは、力覚提示デバイス１０、アクチュエータ２０、表示デバイス３０、音響デバイス４０、および制御装置５０を備えている。本実施形態に係る力覚提示システムは、ハプティックＡＲ（Augmented Reality）の考えに基づき、補助物体１００を用いて補助物体１００からの反力に力覚提示デバイス１０が生成する反力を重ね合わせてユーザに合成反力を提示するものである。

【0017】

まず、ハプティックＡＲの原理について説明する。図２は、ハプティックＡＲの原理を模式的に示す。ハプティックＡＲは、目標物体を模擬する補助物体（Base Object）を用いて補助物体からの反力ｆ_ｂａｓｅに力覚提示デバイスが生成する反力ｆ_{ｄｅｖｉｃｅ}を付加することでより現実に近い反力ｆ_{ｄｅｖｉｃｅ}＋ｆ_ｂａｓｅをユーザに提示する。このように、ハプティックＡＲでは、補助物体の助けを借りることで、簡単な反力モデルを実現する力覚提示デバイスを用いてリアリティの高い力覚提示が可能となる。

【0018】

図３は、目標物体の反力およびハプティックＡＲに係る各種反力を示す。グラフの縦軸は反力（Force）、横軸は目標物体または補助物体表面に外力を印加したときの目標物体または補助物体表面の当該外力方向の変位（Displacement）を表す。

【0019】

目標物体の反力応答は非常に複雑であり、目標物体の反力ｆ_{ｔａｒｇｅｔ}は簡単な反力モデルＭ_{ｔａｒｇｅｔ}では表現しきれず、応答誤差Ｅ_{ｔａｒｇｅｔ}が存在する。したがって、次式（１）が成り立つ。

【0020】

ｆ_{ｔａｒｇｅｔ}＝Ｍ_{ｔａｒｇｅｔ}＋Ｅ_{ｔａｒｇｅｔ} … （１）

【0021】

一方、補助物体の反力応答もまた非常に複雑であり、補助物体の反力ｆ_ｂａｓｅもまた簡単な反力モデルＭ_ｂａｓｅでは表現しきれず、応答誤差Ｅ_ｂａｓｅが存在する。したがって、次式（２）が成り立つ。

【0022】

ｆ_ｂａｓｅ＝Ｍ_ｂａｓｅ＋Ｅ_ｂａｓｅ … （２）

【0023】

ハプティックＡＲにおいて、ユーザに提示される反力ｆ_ＡＲは、補助物体の反力ｆ_ｂａｓｅと力覚提示デバイスが生成する反力ｆ_{ｄｅｖｉｃｅ}と合成したものである。したがって、次式（３）が成り立つ。

【0024】

ｆ_ＡＲ＝ｆ_{ｄｅｖｉｃｅ}＋ｆ_ｂａｓｅ… （３）

【0025】

ハプティックＡＲでは、力覚提示デバイスは目標物体と補助物体のモデル化成分の差のみを出力すればよい。すなわち、ハプティックＡＲにおいて力覚提示デバイスが生成すべき反力ｆ_{ｄｅｖｉｃｅ}は次式（４）で表される。

【0026】

ｆ_{ｄｅｖｉｃｅ}＝Ｍ_{ｔａｒｇｅｔ}−Ｍ_ｂａｓｅ … （４）

【0027】

したがって、式（１）から式（４）より、目標物体の反力ｆ_{ｔａｒｇｅｔ}とハプティックＡＲによる反力ｆ_ＡＲとの応答誤差Ｅは次式（５）で表される。

【0028】

Ｅ＝ｆ_{ｔａｒｇｅｔ}−ｆ_ＡＲ
＝Ｍ_{ｔａｒｇｅｔ}＋Ｅ_{ｔａｒｇｅｔ}−（ｆ_{ｄｅｖｉｃｅ}＋ｆ_ｂａｓｅ）
＝Ｍ_{ｔａｒｇｅｔ}＋Ｅ_{ｔａｒｇｅｔ}−（Ｍ_{ｔａｒｇｅｔ}−Ｍ_ｂａｓｅ＋Ｍ_ｂａｓｅ＋Ｅ_ｂａｓｅ）
＝Ｅ_{ｔａｒｇｅｔ}−Ｅ_ｂａｓｅ … （５）

【0029】

式（５）から明らかなように、目標物体の応答誤差Ｅ_{ｔａｒｇｅｔ}に近い応答誤差Ｅ_ｂａｓｅを有する補助物体を用いることで、目標物体の反力ｆ_{ｔａｒｇｅｔ}とハプティックＡＲによる反力ｆ_ＡＲとの応答誤差Ｅをほぼゼロにすることができる。したがって、ハプティックＡＲによると、最適な補助物体を選択することで、簡単な反力モデルを実現する力覚提示デバイスを用いてリアリティの高い力覚提示が可能となる。

【0030】

図４は、最適な補助物体を用いた場合とそうでない場合におけるハプティックＡＲに係る各種反力を示す。図４（ａ）は最適な補助物体を用いた場合のグラフであり、図４（ｂ）は最適でない補助物体を用いた場合のグラフである。各グラフの縦軸は反力（Force）、横軸は目標物体または補助物体表面に外力を印加したときの目標物体または補助物体表面の当該外力方向の変位（Displacement）を表す。

【0031】

最適な補助物体を用いた場合、図４（ａ）に示すように、目標物体の反力ｆ_{ｔａｒｇｅｔ}の応答特性と補助物体の反力ｆ_ｂａｓｅの応答特性とが概ね一致するため、力覚提示デバイスは簡単な反力モデルに基づく反力ｆ_{ｄｅｖｉｃｅ}を出力すれば足りる。しかし、最適でない補助物体を用いた場合、図４（ｂ）に示すように、目標物体の反力ｆ_{ｔａｒｇｅｔ}の応答特性と補助物体の反力ｆ_ｂａｓｅの応答特性とが一致しないため、その応答特性のずれを補償するには、力覚提示デバイスの反力ｆ_{ｄｅｖｉｃｅ}に極めて複雑な応答特性が必要となる。しかし、そのような反力応答は簡単な反力モデルに基づく力覚提示デバイスでは出力することができない。そこで、本実施形態に係る力覚提示システムでは、補助物体を駆動することで補助物体の反力ｆ_ｂａｓｅの応答特性を変化させて目標物体の反力ｆ_{ｔａｒｇｅｔ}の応答特性に一致させる。

【0032】

図５は、本実施形態に係る力覚提示システムの制御系を概念的に示す。制御装置５０は、物体変形量ｘに応じて力覚提示デバイス１０用の反力を反力モデルＭ_ｄｅｖ（ｘ）に基づき決定する。目標反力は、臓器や皮膚などの手術対象物の反力応答を測定することで求められる。反力モデルＭ_ｄｅｖ（ｘ）で目標反力を完全に表現することはできないが、制御装置５０は、できるだけ目標反力に近い反力を反力モデルＭ_ｄｅｖ（ｘ）により生成する。力覚提示デバイス１０用の反力モデルＭ_ｄｅｖ（ｘ）が決まると、力覚提示デバイス１０の制御係数が決まる。力覚提示デバイス１０は、制御装置５０から与えられる反力モデルＭ_ｄｅｖ（ｘ）に対応する制御係数で反力ｆ_{ｄｅｖｉｃｅ}を出力する。

【0033】

一方、力覚提示デバイス１０用の反力モデルＭ_ｄｅｖ（ｘ）で表現しきれない反力、すなわち、目標反力と反力モデルＭ_ｄｅｖ（ｘ）との応答誤差は補助物体１００の反力ｆ_ｂａｓｅにより補償する。しかし、図４（ｂ）の例のように、目標反力と補助物体１００の反力ｆ_ｂａｓｅとで応答特性が一致しないことがある。そこで、アクチュエータ２０を用いて補助物体１００に作用を及ぼして目標反力と補助物体１００の反力ｆ_ｂａｓｅとの応答特性を一致させる。アクチュエータ２０の制御のために、制御装置５０は、物体変形量ｘに対して、アクチュエータ２０の制御係数Ｇ（ｘ）を決定する。アクチュエータ２０は、制御装置５０から与えられる制御係数Ｇ（ｘ）で補助物体１００を駆動する。

【0034】

上記のように力覚提示デバイス１０とアクチュエータ２０を制御することで、図４（ｂ）の例のような目標反力と補助物体の反力の応答特性が一致しない問題を解消して、簡単な反力モデルを実現する力覚提示デバイス１０を用いてリアリティの高い力覚提示が可能となる。

【0035】

次に、図１を参照しながら本実施形態に係る力覚提示システムの各構成要素について詳細に説明する。力覚提示デバイス１０は、例えば、３自由度（Ｘ，Ｙ，Ｚ）の反力提示機能を有するロボットアーム型の力覚フィードバック装置で構成することができる。力覚提示デバイス１０が依拠する反力モデルはバネモデルやフォークトモデルなどの簡単な反力モデルで十分である。したがって、比較的安価な力覚提示デバイス１０が利用可能である。

【0036】

力覚提示デバイス１０は図示しない複数のＤＣモータを備えており、これらＤＣモータをトルク制御することでＸ，Ｙ，Ｚの各軸方向の反力を出力する。ＤＣモータの制御に係る制御係数は制御装置５０から与えられる。

【0037】

力覚提示デバイス１０は複数のアームを有しており、その先端にスタイラスジンバル１２が取り付けられている。スタイラスジンバル１２はユーザが操作して前後・左右・上下（ピッチ・ロール・ヨー）に自在に動かすことができる。力覚提示デバイス１０はスタイラスジンバル１２の動きおよびそのＸ，Ｙ，Ｚ軸の各位置を検出できるようになっている。

【0038】

スタイラスジンバル１２には手術器具１０１が装着可能となっている。スタイラスジンバル１２に装着された手術器具１０１はスタイラスジンバル１２と一体となって動く。これにより、力覚提示デバイス１０が生成する反力はスタイラスジンバル１２に装着された手術器具１０１に直接伝達される。

【0039】

なお、本実施形態に係る力覚提示システムでは、手術器具１０１として内視鏡下手術用の鉗子を装着しているが、これ以外にも開腹開胸手術用のメス、剪刀、持針器、鑷子などを装着することができる。

【0040】

アクチュエータ２０には補助物体１００が装着可能となっている。補助物体１００は粘弾性材料で形成されている。補助物体１００は臓器や皮膚などの手術対象物を模擬するものであり、手術器具１０１によって切る（切開）、刺す（穿刺）、縫う（縫合）などの外科処置を及ぼし得るようなものである。補助物体１００として、硬度５〜１０程度のゴム製（シリコーンゴムなど）のゴムシートなどを用いることができる。

【0041】

アクチュエータ２０には４つのアーム２２があり、シート状の補助物体１００はその四隅が４つのアーム２２にそれぞれ把持されてアクチュエータ２０に装着されている。４つのアーム２２がホームポジションにあるとき、補助物体１００は所定の力で四方に引き延ばされ、補助物体１００の表面に所定の粘弾性が生じるようになっている。

【0042】

アクチュエータ２０は、４つのアーム２２を駆動するための図示しないＤＣモータを備えている。アクチュエータ２０は、当該ＤＣモータをトルク制御して４つのアーム２２による補助物体１００の引張力を変化させる。これにより、補助物体１００の表面の粘弾性が変化して補助物体１００の反力応答が変化する。なお、ＤＣモータの制御に係る制御係数は制御装置５０から与えられる。

【0043】

図６は、補助物体１００に破壊現象が生じないように補助物体１００に針を押し当てたときの補助物体１００の伸び率ごとの反力応答を示す。また、図７は、補助物体１００に破壊現象が生じるように補助物体１００に針を押し当てたときの補助物体１００の伸び率ごとの反力応答を示す。ここでいう破壊現象とは、補助物体１００に押し当てた針が補助物体１００を突き破ることを指し、外科処置の一つである穿刺を想定している。補助物体１００の伸び率は、図６（ａ）および図７（ａ）では０％、図６（ｂ）および図７（ｂ）では２０％、図６（ｃ）および図７（ｃ）では４０％である。各グラフの縦軸は反力（force）、横軸は針の先端の変位（displacement）を表す。なお、反力は針を押し込む方向を正方向としているため負値で表される。また、針の先端が補助物体１００の表面に触れるときの変位を０とする。

【0044】

図６からわかるように、補助物体１００の反力の最大値は補助物体１００の伸び率にかかわらずほぼ同値であるが、特に補助物体１００の変位が小さい領域（概ね１０ｍｍ未満）においては補助物体１００の伸び率が大きい、すなわち、補助物体１００をより強い力で引き延ばすほど、補助物体１００の反力がより大きくなっている。したがって、補助物体１００を引き延ばす力を変化させることで、補助物体１００の表面の粘弾性、特に弾性をコントロールすることができる。

【0045】

一方、図７からわかるように、補助物体１００の反力が最大値まで達すると針が補助物体１００を突き破り、すなわち、補助物体１００に破壊現象が発生し、その瞬間に反力が一気に弱まる。補助物体１００に破壊現象が発生する直前の最大反力および破壊現象の発生後に弱まった反力はそれぞれ補助物体１００の伸び率にかかわらずほぼ同値であるが、補助物体１００の伸び率の違いにより補助物体１００に破壊現象が発生するときの変位が異なっている。伸び率が０％のときは概ね２３ｍｍの変位で、伸び率が２０％のときは概ね１４ｍｍの変位で、伸び率が４０％のときは概ね１２ｍｍの変位で、それぞれ補助物体１００に破壊現象が発生している。したがって、補助物体１００を引き延ばす力を変化させることで、補助物体１００に破壊現象が生じるときの変位をコントロールすることができる。

【0046】

補助物体１００として、ゴムシート以外に、例えば、粘弾性材料で形成され、手術対象物の形状を模した立体形状物を用いることもできる。図８は、立体形状を有する補助物体１００を模式的に示す。図８の例の補助物体１００は肝臓を模したものであり、その内部は空洞になっている。この補助物体１００の内部に空気を送り込むことで、補助物体１００の表面の粘弾性が変化して補助物体１００の反力応答が変化する。図８の例のような補助物体１００を用いる場合、アクチュエータ２０は、補助物体１００に空気を送り込むための図示しないエアーコンプレッサを備えている。アクチュエータ２０は、当該エアーコンプレッサを制御して補助物体１００の内部の空気圧を変化させる。

【0047】

また、アクチュエータ２０は、補助物体１００を振動させたり、拍動させたりして補助物体１００の反力応答を適宜変化させるようにしてもよい。

【0048】

図１に戻り、表示デバイス３０および音響デバイス４０は、ハプティックＡＲを視聴覚的にサポートする補助デバイスである。表示デバイス３０は、手術器具１０１による手術の仮想映像を表示する。仮想映像では、仮想手術器具３０１と仮想手術対象物３０２がコンピュータグラフィックス（ＣＧ）により表示される。仮想手術器具３０１は手術器具１０１の動きに連動して動く。また、仮想手術対象物３０２は手術器具１０１の操作による補助物体１００の変形に応じて変形する。例えば、補助物体１００に手術器具１０１の先端を突き刺したとき、表示デバイス３０には仮想手術器具３０１の先端が仮想手術対象物３０２に突き刺さる映像が表示される。

【0049】

ただし、仮想映像において仮想手術器具３０１の先端が仮想手術対象物３０２に触れるタイミングは、手術器具１０１の先端が補助物体１００に実際に触れる現実世界の事象ではなく、スタイラスジンバル１２の動きおよびそのＸ，Ｙ，Ｚ軸の各位置から判断して手術器具１０１の先端が補助物体１００に触れたと考えられる仮想世界の事象に合わせる。

【0050】

力覚提示デバイス１０は仮想世界の事象に合わせて反力を提示するため、例えば、手術器具１０１の先端が補助物体１００にまだ触れてもいないのに力覚提示デバイス１０に反力が生じることがある。このように現実世界と仮想世界との間で齟齬が生じるとユーザが違和感を感じるおそれがある。そこで、表示デバイス３０が、力覚提示デバイス１０が提示する反力に合った仮想映像を表示することで、ユーザは、手術器具１０１の先端が補助物体１００にまだ触れていないにもかかわらず、あたかも手術器具１０１の先端が補助物体１００に触れたかのように錯覚する。このように、人間の視覚情報による錯覚を利用して現実世界と仮想世界との間で生じる齟齬による違和感を低減することができる。

【0051】

音響デバイス４０は、手術器具１０１による手術の効果音を再生する。手術の効果音は、例えば、仮想手術器具３０１が仮想手術対象物３０２に触れたときの音、仮想手術器具３０１が仮想手術対象物３０２を切開、穿刺、縫合などするときの音などである。

【0052】

音響デバイス４０もまた力覚提示デバイス１０が提示する反力に合わせて効果音を再生する。特に重要なのは仮想手術器具３０１が仮想手術対象物３０２に触れたときの音である。上述したように、現実世界と仮想世界との間で齟齬が生じるとユーザが違和感を感じるおそれがある。そこで、音響デバイス４０が、力覚提示デバイス１０が提示する反力に合った効果音を再生することで、ユーザは、手術器具１０１の先端が補助物体１００にまだ触れていないにもかかわらず、あたかも手術器具１０１の先端が補助物体１００に触れたかのように錯覚する。このように、人間の聴覚情報による錯覚を利用して現実世界と仮想世界との間で生じる齟齬によるユーザの違和感を低減することができる。

【0053】

制御装置５０は、力覚提示デバイス１０、アクチュエータ２０、表示デバイス３０、および音響デバイス４０と接続されており、これらを制御および駆動する。制御装置５０は、力覚提示システム専用のハードウェアであってもよいし、あるいは力覚提示システム用のコンピュータプログラムを実行する汎用コンピュータであってもよい。

【0054】

制御装置５０は、さまざまな手術対象物について実測された目標反力をデータベース化して保持している。ユーザは手術トレーニングを開始するにあたって、データベースの中から任意の手術対象物を選択することができるようになっている。ユーザによって手術対象物が選択されると、制御装置５０は、当該選択された手術対象物の目標反力に対して力覚提示デバイス１０およびアクチュエータ２０の各制御係数を決定する。そして、制御装置５０は、決定した各制御係数で力覚提示デバイス１０およびアクチュエータ２０を制御する。

【0055】

また、制御装置５０は、力覚提示デバイス１０からスタイラスジンバル１２の動きおよびそのＸ，Ｙ，Ｚ軸の各位置情報を受ける。制御装置５０は、当該情報から手術器具１０１の動き、特に手術器具１０１の先端の位置を計算し、当該計算結果に基づいて力覚提示デバイス１０が提示する反力に合った仮想映像および効果音を生成する。こうして生成された仮想映像および効果音は表示デバイス３０および音響デバイス３０によって表示および再生される。

【0056】

以上のように、本実施形態によると、簡単な反力モデルを実現する比較的安価な力覚提示デバイス１０を用いて、切る（切開）、刺す（穿刺）、縫う（縫合）などの外科処置についてリアリティの高い力覚提示が可能となる。また、１種類の補助物体１００でさまざまな手術対象物の手術トレーニングが可能となる。

【0057】

なお、さまざまな特性を有する補助物体１００を用意して、これら補助物体１００をアクチュエータ２０に適宜付け替えるようにすることで、手術トレーニング可能な手術対象物の選択幅をさらに広げることができる。

【産業上の利用可能性】

【0058】

本発明に係る力覚提示システムは、簡単な反力モデルを実現する比較的安価な力覚提示デバイスを用いてリアリティの高い力覚提示が可能であるため、手術トレーニングシステムなどに有用である。

【符号の説明】

【0059】

１０ 力覚提示デバイス
２０ アクチュエータ
３０ 表示デバイス（補助デバイス）
４０ 音響デバイス（補助デバイス）
５０ 制御装置
１００ 補助物体
１０１ 手術器具

【図1】

【図4】

【図5】

【図8】

【図2】

【図3】

【図6】

【図7】