特許 6104288 手術シミュレーション用モデルの生成方法、手術シミュレーション方法、及び手術シミュレータ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6104288

(24)【登録日】2017年3月10日

(45)【発行日】2017年3月29日

(54)【発明の名称】手術シミュレーション用モデルの生成方法、手術シミュレーション方法、及び手術シミュレータ

(51)【国際特許分類】

   G06Q 50/22 20120101AFI20170316BHJP

   G06T 15/08 20110101ALI20170316BHJP

   G06T 19/00 20110101ALI20170316BHJP

【ＦＩ】

   G06Q50/22

   G06T15/08

   G06T19/00 A

【請求項の数】7

【全頁数】14

(21)【出願番号】特願2015-847(P2015-847)

(22)【出願日】2015年1月6日

(62)【分割の表示】特願2009-136898(P2009-136898)の分割

【原出願日】2009年6月8日

(65)【公開番号】特開2015-127965(P2015-127965A)

(43)【公開日】2015年7月9日

【審査請求日】2015年1月6日

【前置審査】

(73)【特許権者】

【識別番号】000176730

【氏名又は名称】三菱プレシジョン株式会社

(74)【代理人】

【識別番号】100087756

【弁理士】

【氏名又は名称】船越 猛

(72)【発明者】

【氏名】窪田 吉信

(72)【発明者】

【氏名】槙山 和秀

(72)【発明者】

【氏名】菊川 孝明

(72)【発明者】

【氏名】長坂 学

(72)【発明者】

【氏名】坂本 英男

(72)【発明者】

【氏名】緒方 正人

【審査官】 青柳 光代

(56)【参考文献】

【文献】 特開平１０−１１１９５８（ＪＰ，Ａ）

【文献】 国際公開第２００８／０７２７５６（ＷＯ，Ａ１）

【文献】 特開２００８−１３４３７３（ＪＰ，Ａ）

【文献】 国際公開第２００８／０３２８７５（ＷＯ，Ａ１）

【文献】 国際公開第２００７／０１５３６５（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｑ １０／００ − ９９／００

Ｇ０６Ｔ １５／０８

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

ボリュームデータ構築部において、医療用画像データ格納部に格納された手術対象者の医用画像の元データから幾何情報を取得し、前記医用画像の元データに含まれる必要な臓器を２次元的に抽出し、各臓器の定められた連結関係に応じて配置し、さらにこれらスライスされた画像を積層し、必要な臓器の３次元ボリュームデータを構築する第１の過程と、
第１の過程の後、生成された３次元ボリュームデータの臓器をボリュームデータ構築部においてメッシングする第２の過程と、
ボリュームデータ構築部において、前記メッシングされた臓器を覆う、医療用画像からは認識できない複数層の模擬膜を形成する第３の過程と、
ボリュームデータ構築部において、前記メッシングされた臓器のメッシングにより接続する各節点間をバネ定数が非線形に設定され、模擬術具に応じた力を発生する仮想バネにより形成し配置する第４の過程とからなることを特徴とする手術シミュレーション用モデルの生成方法。

【請求項2】

力覚装置が、手術者が操作する手術操作具の位置と模擬生体との接触位置に応じた反力を発生させる力覚模擬過程と、
模擬運動演算装置が、手術対象であり、ボリュームデータ構築部において、医療用画像データ格納部に格納された手術対象者の医用画像の元データから幾何情報を取得し、前記医用画像の元データに含まれる必要な臓器を２次元的に抽出し、各臓器の定められた連結関係に応じて配置し、さらにこれらスライスされた画像を積層して３次元ボリュームデータとして構築しメッシングされた臓器及びメッシングされた臓器を覆う、医療用画像からは認識できない複数層の模擬膜にメッシングにより接続する各節点間をバネ定数が非線形に設定され、模擬術具に応じた力を発生する仮想バネで形成配置する手術シミュレーション用モデルデータを得て、前記力覚模擬過程による手術操作具の移動及び手術操作具と模擬生体との接触による反力を計算して前記力覚模擬過程に与えるとともに模擬生体の反応との運動とを計算する模擬運動演算過程と、
画像生成装置が、模擬内視鏡から撮像した模擬生体の模擬画像を生成する画像生成過程と、
画像表示装置が、前記画像生成過程により生成された画像を表示する画像表示過程とからなることを特徴とする手術シミュレーション方法。

【請求項3】

模擬運動演算過程において、加えられた力による模擬生体の反応である位置変形が生体の物性値の変化に反映させ、反映された物性値により反力を計算することを特徴とする請求項２記載の手術シミュレーション方法。

【請求項4】

【請求項5】

手術対象であり、ボリュームデータ構築部において、医療用画像データ格納部に格納された手術対象者の医用画像の元データから幾何情報を取得し、前記医用画像の元データに含まれる必要な臓器を２次元的に抽出し、各臓器の定められた連結関係に応じて配置し、さらにこれらスライスされた画像を積層して３次元ボリュームデータとして構築しメッシングされた臓器及びメッシングされた臓器を覆う、医療用画像からは認識できない複数層の模擬膜にメッシングにより接続する各節点間をバネ定数が非線形に設定され、模擬術具に応じた力を発生する仮想バネで形成配置する手術シミュレーション用モデルデータを得て、格納する手術シミュレーション用モデルデータ部と、
手術者が操作する手術操作具の位置と模擬生体との接触位置に応じた反力を発生させる力覚装置と、
前記手術シミュレーション用モデルデータ部から手術シミュレーション用モデルデータを得て前記力覚装置による手術操作具の移動及び手術操作具と模擬生体との接触による反力を計算して前記力覚装置に与えるとともに模擬生体の反応との運動とを計算する模擬運動演算装置と、
前記模擬運動演算装置が計算し模擬内視鏡から撮像した模擬生体の模擬画像を生成する画像生成装置と、
前記画像生成装置により生成された画像を表示する画像表示装置とからなることを特徴とする手術シミュレータ。

【請求項6】

模擬運動演算装置が、加えられた力による模擬生体の反応である位置変形が生体の物性値の変化に反映させ、反映された物性値により反力を計算することを特徴とする請求項５記載の手術シミュレータ。

【請求項7】

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、内視鏡下で手術をする前に手術シミュレーションをするための手術シミュレーション用モデルの生成方法、手術シミュレーション方法、及び手術シミュレータに関するものである。

【背景技術】

【0002】

医療技術と医療機器の進歩により、腹部手術の多くが腹腔鏡下に行われるようになってきた。腹腔鏡下手術は、３次元のものを２次元の画像表示装置を見ながら操作するので、その習得にはトレーニングが不可欠である。実際の腹腔鏡手術では患者毎に血管の本数や走行、臓器の位置関係、例えば腫瘍の位置や大きさが異なり、それぞれに対応した手術が要求される。
術前のシミュレーションを可能とするため、個々の患者の情報をもとにシミュレータが考えられる。
個々の患者の情報を取り入れるためには、ＣＴやＭＲＩ等の医用画像データを用いるのが一般的であるが、このような画像には手術臓器周辺にある膜組織が映らないため認識できず、モデル化できない等の問題があり、それらを持たないモデルは術前シミュレーションとして不完全である。また、手術対象臓器の物理・力学的条件を線形に設定することが考えられるが、この場合は臓器の変形模擬が実際とは大きく異なることとなり、術前シミュレーションとして不満足なものであった。

【0003】

また、シミュレーションとして国際公開第２００８／０３２８７５号公報に記載のものがあるが、これは血小板血栓形成シミュレーションに関するものであり、用いるバネに加わる力が血液の粘性による力を模擬するものである。しかし、本願発明が手術シミュレーションに関するものである点、後述するように本願のバネに加わる力が模擬術具からの力を模擬する点で技術分野および模擬する対象とその目的、実現手段が異なるものである。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２００８／０３２８７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明が解決しようとする課題は、医用画像から手術状況に即したシミュレーション用モデルの生成方法、さらには手術シミュレーション方法、並びに手術シミュレータを提供するものである。

【課題を解決するための手段】

【0006】

請求項１に係る手術シミュレーション用モデルの生成方法は、ボリュームデータ構築部において、医療用画像データ格納部に格納された手術対象者の医用画像の元データから幾何情報を取得し、前記医用画像の元データに含まれる必要な臓器を２次元的に抽出し、各臓器の定められた連結関係に応じて配置し、さらにこれらスライスされた画像を積層し、必要な臓器の３次元ボリュームデータを構築する第１の過程と、第１の過程の後、生成された３次元ボリュームデータの臓器をボリュームデータ構築部においてメッシングする第２の過程と、ボリュームデータ構築部において、前記メッシングされた臓器を覆う、医療用画像からは認識できない複数層の模擬膜を形成する第３の過程と、ボリュームデータ構築部において、前記メッシングされた臓器のメッシングにより接続する各節点間をバネ定数が非線形に設定され、模擬術具に応じた力を発生する仮想バネにより形成し配置する第４の過程とからなることを特徴とするからなることを特徴とするものである。

【0007】

請求項２に係る手術シミュレーション方法は、力覚装置が、手術者が操作する手術操作具の位置と模擬生体との接触位置に応じた反力を発生させる力覚模擬過程と、模擬運動演算装置が、手術対象であり、ボリュームデータ構築部において、医療用画像データ格納部に格納された手術対象者の医用画像の元データから幾何情報を取得し、前記医用画像の元データに含まれる必要な臓器を２次元的に抽出し、各臓器の定められた連結関係に応じて配置し、さらにこれらスライスされた画像を積層して３次元ボリュームデータとして構築しメッシングされた臓器及びメッシングされた臓器を覆う、医療用画像からは認識できない複数層の模擬膜にメッシングにより接続する各節点間をバネ定数が非線形に設定され、模擬術具に応じた力を発生する仮想バネで形成配置する手術シミュレーション用モデルデータを得て、前記力覚模擬過程による手術操作具の移動及び手術操作具と模擬生体との接触による反力を計算して前記力覚模擬過程に与えるとともに模擬生体の反応との運動とを計算する模擬運動演算過程と、画像生成装置が、模擬内視鏡から撮像した模擬生体の模擬画像を生成する画像生成過程と、画像表示装置が、前記画像生成過程により生成された画像を表示する画像表示過程とからなることを特徴とするものである。

【0008】

請求項３に係る手術シミュレーション方法は、請求項２記載のものであって、模擬運動演算過程において、加えられた力による模擬生体の反応である位置変形が生体の物性値の変化に反映させ、反映された物性値により反力を計算することを特徴とするものである。

【0009】

【0010】

請求項５に係る手術シミュレータは、手術対象であり、ボリュームデータ構築部において、医療用画像データ格納部に格納された手術対象者の医用画像の元データから幾何情報を取得し、前記医用画像の元データに含まれる必要な臓器を２次元的に抽出し、各臓器の定められた連結関係に応じて配置し、さらにこれらスライスされた画像を積層して３次元ボリュームデータとして構築しメッシングされた臓器及びメッシングされた臓器を覆う、医療用画像からは認識できない複数層の模擬膜にメッシングにより接続する各節点間をバネ定数が非線形に設定され、模擬術具に応じた力を発生する仮想バネで形成配置する手術シミュレーション用モデルデータを得て、格納する手術シミュレーション用モデルデータ部と、手術者が操作する手術操作具の位置と模擬生体との接触位置に応じた反力を発生させる力覚装置と、前記手術シミュレーション用モデルデータ部から手術シミュレーション用モデルデータを得て前記力覚装置による手術操作具の移動及び手術操作具と模擬生体との接触による反力を計算して前記力覚装置に与えるとともに模擬生体の反応との運動とを計算する模擬運動演算装置と、前記模擬運動演算装置が計算し模擬内視鏡から撮像した模擬生体の模擬画像を生成する画像生成装置と、前記画像生成装置により生成された画像を表示する画像表示装置とからなることを特徴とするものである。

【0011】

請求項６に係る手術シミュレータは、請求項５記載のものにおいて、模擬運動演算装置が、加えられた力による模擬生体の反応である位置変形が生体の物性値の変化に反映させ、反映された物性値により反力を計算することを特徴とするものである。

【0012】

【発明の効果】

【0013】

請求項１に係る手術シミュレーション用モデルの生成方法によると、臓器及び臓器を覆う、医療用画像からは認識できない複数層の模擬膜のメッシングにより接続する各節点間を仮想バネにより形成し配置するから、臓器及び臓器を覆う、医療用画像からは認識できない複数層の模擬膜にバネの弾性が働き、臓器の変形模擬精度を向上させることができ、訓練効果の高い手術シミュレーションを可能にするモデルを生成することができる。

【0014】

請求項２に係る手術シミュレーション方法によると、模擬運動演算過程が、手術シミュレーション用モデルデータを得て力覚模擬過程による手術操作具の移動及び手術操作具と模擬生体との接触による反力を計算して力覚過程に与えるとともに模擬生体の反応との運動とを計算する。このとき、手術シミュレーション用モデルデータは手術対象である臓器及び臓器を覆う、医療用画像からは認識できない複数層の模擬膜にメッシングにより接続する各節点間を仮想バネで形成配置するから、臓器及び臓器を覆う、医療用画像からは認識できない複数層の模擬膜にバネの弾性が働き、臓器の変形模擬精度を向上させることができ、訓練効果の高い手術シミュレーションを可能にする。

【0015】

請求項３に係る手術シミュレーション方法によると、加えられた力による模擬生体の反応である位置変形が生体の物性値の変化に反映させ、反映された物性値により反力を計算するから、大変形において、臓器の変形模擬精度を向上させることができ、訓練効果の高い手術シミュレーションを可能にする。

【0016】

【0017】

請求項５に係る手術シミュレータによると、手術シミュレーション用モデルデータ部が格納する手術シミュレーション用モデルデータに手術対象である臓器及び臓器を覆う、医療用画像からは認識できない複数層の模擬膜にメッシングにより接続する各節点間を仮想バネで形成配置するから、臓器及び臓器を覆う、医療用画像からは認識できない複数層の模擬膜にバネの弾性が働き、臓器の変形模擬精度を向上させることができ、訓練効果の高い手術シミュレーションを可能にする。

【0018】

請求項６に係る手術シミュレータによると、加えられた力による模擬生体の反応である位置変形が生体の物性値の変化に反映させ、反映された物性値により反力を計算するから、大変形において、臓器の変形模擬精度を向上させることができ、訓練効果の高い手術シミュレーションを可能にする。

【0019】

【図面の簡単な説明】

【0020】

【図1】図１は手術シミュレーション用モデルの生成方法の第１の実施例を説明するフロー図である。

【図2】図２は手術シミュレーション用モデルの生成方法の第２の実施例を説明するフロー図である。

【図3】図３は手術シミュレーション方法の第１の実施例を説明するフロー図である。

【図4】図４は手術シミュレーション方法の第２の実施例を説明するフロー図である。

【図5】図５は手術シミュレータの実施例を説明する機能ブロック図である。

【図6】図６は膜構造を説明する図である。

【図7】図７は臓器の有限要素モデルを説明する図である。

【図8】図８は仮想バネの特性を説明する図である。

【図9】図９は＜Ｋ_ｆ＞，＜Ｋ（＜Ｕ＞）＞，＜Ｕ＞の関係を示す図である。

【実施例1】

【0021】

図１は手術シミュレーション用モデルの生成方法の第１の実施例を説明するフロー図、図２は手術シミュレーション用モデルの生成方法の第２の実施例を説明するフロー図、図３は手術シミュレーション方法の第１の実施例を説明するフロー図、図４は手術シミュレーション方法の第２の実施例を説明するフロー図、図５は手術シミュレータの実施例を説明する機能ブロック図である。
図５において、５０１は医療用画像データ格納部、５０２はボリュームデータ構築部、５０３は画像生成装置、５０４は画像表示装置、５０５は手術シミュレーション用モデルデータ部、５０６は力覚装置、５０７は模擬運動演算装置、５０８は手術操作具、５０９は模擬内視鏡、５１０は模擬鉗子である。

【0022】

まず、手術シミュレーション用モデルの生成方法を説明する。
医療用画像データ格納部５０１は例えば手術対象者の医療用画像の元データが格納されている。医療用画像の元データは、例えばＣＴ，ＭＲＩ等で撮像されている。医療用画像データは、ボリュームデータ構築部５０２において、画像生成装置５０３により画像生成される。これは、画像表示装置５０４に表示しながら、手術対象者の断面を細かくスライスし、臓器を含む生体の部位を撮影した医療用画像データの幾何学的な情報に基づき、生体の各部位（臓器）を２次元的に抽出し、各臓器の定められた連結関係に応じて配置し、さらにこれらスライスされた画像を積層し、３次元ボリュームデータを構成する（図１のＰ１０１）。３次元ボリュームデータは医療用画像データ格納部５０１の医療用画像の元データとは別の記憶領域に格納される。

【0023】

操作者は、手術対象者の医療用画像データを医療用画像データ格納部５０１から読み出す。ボリュームデータ構築部５０２、画像生成装置５０３は読み出された目的の臓器を含む所定範囲の各臓器を抜き出し所定の位置関係で画像表示装置５０４に表示する。操作者は画像表示装置５０４に表示された臓器の中から目的の臓器を必要により移動・回転させる。
ボリュームデータには、臓器毎にＩＤが割り振られており、元のボリュームデータを
ＩＤ＝Ｆ（ｘ，ｙ，ｚ）、処理後をＩＤ＝Ｇ（ｘ，ｒ，ｚ）とかける。この移動・姿勢変換を行列Ｒ_ＩＤで表すと、ＦとＧの関係は、Ｒ_ＩＤＦ＝Ｇとなるので、Ｇ＝Ｒ_ＩＤ^−１ＦとしてＧを求めることができる。この移動位置データは、手術シミュレーション用モデルデータ部５０５に記録される。
次に目的の臓器の前記移動に合わせて目的の臓器に連結する他の臓器を生成する。この他の臓器モデルデータは、手術シミュレーション用モデルデータ部５０５に記録される。
次に、ボリュームデータに対し、幾何情報を入力情報とし、解剖学的性質を元に、プログラムにより、四面体にメッシングして有限要素モデルを生成する（図１のＰ１０２）。
次に、ボリュームデータに対し、幾何情報を入力情報とし、解剖学的性質を元に、厚さを決定し、指定した臓器の周りに膜モデルを生成させる（図１のＰ１０３）。膜は、医療用画像からは認識できるものではないが、所定の臓器の周りに複数層で形成する。この膜は、所定臓器と膜及び各膜間の間隔を一定の距離又は間隔が異なる部分を有するように適当に配置する（図１のＰ１０３ａ，Ｐ１０３ｂ）。
図６に示すように、過程Ｐ１０２でメッシングされた所定臓器６０１の表面各節点６０２ａ，６０２ｂ，６０２ｃ…から例えば法線方向に仮想線６０３ａ，６０３ｂ，６０３ｃ…を延ばし、前記仮想線６０３ａ，６０３ｂ，６０３ｃ…と過程Ｐ１０３により形成した模擬膜６０４ａ，６０４ｂ，６０４ｃ…との交点による膜面用節点６０５ａ，６０５ｂ，６０５ｃ…を形成し、この各仮想線６０３ａ，６０３ｂ，６０３ｃ…について前記所定臓器６０１の表面各節点６０２ａ，６０２ｂ，６０２ｃ…と膜面用節点６０５ａ，６０５ｂ，６０５ｃ…及び膜面用節点間を接続する仮想膜間用バネ６０６ａ，６０６ｂ，６０６ｃ…を配置し、さらに、各膜６０４ａ，６０４ｂ，６０４ｃ…の各面について前記膜面用節点６０５ａ，６０５ｂ，６０５ｃ…の間をメッシュ形成するように面方向バネ６０７ａ，６０７ｂ，６０７ｃ…を配置する（図１のＰ１０４）。仮想膜間用バネ６０６ａ，６０６ｂ，６０６ｃ…、面方向バネ６０７ａ，６０７ｂ，６０７ｃ…はバネモデルにより形成する。
このとき、各節点間に接続配置した仮想膜間用バネ６０６ａ，６０６ｂ，６０６ｃ…のバネ定数ｋが異なるもの（ｋ＝ｋ１，ｋ２…）を有するようにし、また、面方向バネ６０７ａ，６０７ｂ，６０７ｃ…のバネ定数Ｋが異なるもの（Ｋ＝Ｋ１，Ｋ２…）を有するようにしてもよい（図１のＰ１０４ａ，Ｐ１０４ｂ）。
そして、各節点間に接続配置した仮想膜間用バネ６０６ａ，６０６ｂ，６０６ｃ…と面方向バネ６０７ａ，６０７ｂ，６０７ｃ…に所定の張力又は伸びにより切断する物理定数を備えさせることもできる（図１のＰ１０４ｃ）。
これら手術シミュレーション用モデルデータは手術シミュレーション用モデルデータ部５０５に記録格納される。

【実施例2】

【0024】

次に、所定の臓器の大変形に対し高精度に模擬できることを意図した手術シミュレーション用モデルの生成法について図２により説明する。
図２において、過程Ｐ２０１，Ｐ２０２の内容は、図１における過程１０１，Ｐ１０２と同様である。
次に、過程Ｐ２０３において、四面体にメッシングした所定臓器の有限要素モデルについて、メッシングにより接続する各節点間を仮想バネ７０１ａ，７０１ｂ，７０１ｃ…により形成しこれを配置する（図７）。仮想バネ７０１ａ，７０１ｂ，７０１ｃ…は、バネモデルにより形成し、臓器内部の節点間についても、実施例１と同様にバネ定数が異なるものを含むように構成することができる。また、各節点間に接続配置した仮想バネ７０１ａ，７０１ｂ，７０１ｃ…に所定の張力又は伸びにより切断する物理定数を備えさせることもできる。このとき、各仮想バネ７０１ａ，７０１ｂ，７０１ｃ…の加える力と伸びに対する特性が直線でなく、一つのバネが例えば図８のように上に凸の非線形のものとし、所定の張力又は伸びにより切断するものとする。
これら手術シミュレーション用モデルデータは手術シミュレーション用モデルデータ部５０５に記録格納される。

【実施例3】

【0025】

次に、実施例１において構成した手術シミュレーション用モデルデータを用いてシミュレーションを行うこと及びその実施するため装置について説明する。実施例装置は図５で説明した装置が用いられる。
手術対象である臓器にそれを覆う、医療用画像からは認識できない複数層の模擬膜組織を備え当該臓器及び模擬膜の生体組織の力学的性質を設定した手術シミュレーション用モデルデータを手術シミュレーション用モデルデータ部５０５から読み出し、画像生成装置５０３で当該臓器を含む画像を生成し、画像表示装置５０４で表示する。
手術者が手術操作具５０８の一つである模擬鉗子５１０を操作して、模擬生体である模擬膜に接触し、模擬鉗子５１０の狭持面で模擬膜を引っ張る。模擬鉗子５１０の位置と模擬膜との接触位置に応じた反力を力覚装置５０６により発生され、力覚装置５０６を介して模擬鉗子５１０にフィードバックされる。（Ｐ３０１）
模擬鉗子５１０に与えられる反力は、仮想膜間用バネ６０６ａ，６０６ｂ，６０６ｃ…、面方向バネ６０７ａ，６０７ｂ，６０７ｃ…のバネ定数と模擬鉗子５１０の移動位置とにより、模擬運動演算装置５０７が計算し、力覚装置５０６に引っ張り力を発生させて、模擬する。このとき、模擬膜をはさむ模擬鉗子５１０の狭持面の位置により模擬鉗子のグリップ力が異なり、このグリップ力は、模擬運動演算装置５０７により計算される。模擬鉗子５１０が膜を引っ張りときの模擬膜の伸び又は張力が所定以上に達すると仮想膜間用バネ６０６ａ，６０６ｂ，６０６ｃ…、面方向バネ６０７ａ，６０７ｂ，６０７ｃ…が切断し、模擬膜が剥がれることを模擬することができる。（Ｐ３０２）
手術シミュレーションの間、画像生成装置５０３は、模擬運動演算装置５０７が計算する模擬鉗子５１０と模擬膜との移動運動に基づく位置により、模擬内視鏡から撮像したように模擬膜を含む模擬生体と模擬鉗子を含む手術操作具５０８の運動模擬画像を生成する。（Ｐ３０３）
この模擬画像は、画像表示装置５０４に表示され、手術者はこの画像を見ながら、手術シミュレーションを行う。（Ｐ３０４）

【実施例4】

【0026】

次に、実施例２において構成した手術シミュレーション用モデルデータを用いてシミュレーションを行うこと及びその実施するため装置について説明する。実施例装置は図５で説明した装置が用いられる。
手術対象である臓器にメッシングにより接続する各節点間を仮想バネで形成配置する手術シミュレーション用モデルデータを手術シミュレーション用モデルデータ部５０５から読み出し、画像生成装置５０３で当該臓器を含む画像を生成し、画像表示装置５０４で表示する。
手術者が手術操作具５０８の一つである模擬鉗子５１０を操作して、模擬生体である臓器に接触し、模擬鉗子５１０の狭持面で模擬臓器を押す又は引っ張る。模擬鉗子５１０の位置と模擬臓器との接触位置に応じた反力を力覚装置５０６により発生される。（Ｐ４０１）
模擬鉗子５１０に与えられる反力は、バネ定数が非線形に設定されている仮想バネ７０１ａ，７０１ｂ，７０１ｃ…のバネ定数と模擬鉗子の移動位置とにより、模擬運動演算装置５０７が計算し、力覚装置５０６に圧縮力又は引っ張り力を発生させて、模擬する。このとき、医療用画像からは認識できない模擬膜をはさむ模擬鉗子の狭持面の位置により模擬鉗子のグリップ力が異なり、このグリップ力は、模擬運動演算装置５０７により計算される。
高精度に生体の変形を模擬するために、主要臓器の変形モデルに、非線形ＦＥＭ（有限要素法）を用いる。
非線形処理を、区分的に線形化することにより、実時間で、非線形処理を行う。従来の線形計算モデルは、変位が少ないことを前提として、変位ベクトルを＜Ｕ＞、質量マトリクスを＜Ｍ＞、粘性抵抗マトリクスを＜Ｃ＞、剛性マトリクスを＜Ｋ＞、外力を＜ｆ＞としたとき以下の絶対表示で示される。（本明細書で、＜ａ＞はａのベクトル、マトリクスを表示し、太字とともに用いる。）

【数1】

これを、剛性マトリクス＜Ｋ＞が変位＜Ｕ＞の関数である＜Ｋ（＜Ｕ＞）＞とした次の非線形モデルとする。

【数2】

（区分的に線形化すること）
今、物体（臓器等）に鉗子等の模擬術具（手術操作具）により力を加えたとする。すると、物体が変形して応力を発生しこの表面力と、模擬術具による力が釣り合った状態で変形が止まり、平衡状態に達する。ここで、更に力を加えると、次の釣り合う表面力を発生するまで変形し、次の平衡状態で安定する。実時間の処理では、これを、高速に繰り返している。
このような動的な計算を想定した場合、１フレーム前の剛性マトリクス（応力発生の元となる情報）と現在の剛性マトリクスの差は少ないと考えられる（即ち、区分的には線形化される）。特に、手術シミュレータでは操作が比較的緩やかである。従って、１フレーム前の位置（＜Ｕ＞^ｋ−１）に対応する剛性マトリクス＜Ｋ＞_ｉ、とΔ＜ｕ＞^ｋ_ｉを用いて、

【数3】

から得られる。
従って、処理は、

処理（１）から処理（７）全体を式（４）とする。
但し、添え字ｋは計算時刻、α_ｉはｉ番目の要素の加速度、ｆ_ｉは同外力、ｖ_ｉは同速度、ｕ_ｉは同変位、Ｋ_ｆｉは剛性力である。図９に＜Ｋ_ｆ＞，＜Ｋ（＜Ｕ＞）＞，＜Ｕ＞の関係を示す。また、＜Ｕ^ｋ＞は、各要素に対応したｕ_ｉ^ｋを積み重ねて、

ｕ^ｋ＝（ｕ_１^ｋ，ｕ_２^ｋ，…ｕ_Ｎ^ｋ） （５）

としたものである。但し、Ｎは有限要素数である。
処理（６）におけるＫ_ｉ^ｋをｕ_ｉ^ｋを用いて計算することは、以下の式を用いる。
Ｋ_ｉはＫ_ｅと表示して、

【数4】

ここで、＜Ｂ（＜ｘ＞）＞は歪みテンソルと変位（節点１から節点ｎの変位）とを（歪みテンソル）＝（形状マトリクス）・（変位）として関係付ける形状マトリクス、＜Ｄ＞は応力テンソルと歪みテンソルとを（応力テンソル）＝（物性マトリクス）・（歪みテンソル）として関係付ける物性マトリクスである。
上記式（４）の処理により、形状に応じた剛性マトリクス＜Ｋ＞の再構成と、模擬運動演算装置５０７上での更新を、実時間で実施する。（Ｐ４０３）
手術シミュレーションの間、画像生成装置５０３は、模擬運動演算装置５０７が計算する模擬鉗子５１０と模擬臓器との移動運動に基づく位置により、模擬内視鏡から撮像したように模擬臓器を含む模擬生体と模擬鉗子を含む手術操作具５０８の運動模擬画像を生成する。（Ｐ４０３）
この模擬画像は、画像表示装置５０４に表示され、手術者はこの画像を見ながら、手術シミュレーションを行う。（Ｐ４０４）

【符号の説明】

【0027】

５０１：医療用画像データ格納部、５０２：ボリュームデータ構築部、
５０３：画像生成装置、５０４：画像表示装置、
５０５：手術シミュレーション用モデルデータ部、５０６：力覚装置、
５０７：模擬運動演算装置、５０８：手術操作具、５０９：模擬内視鏡、
５１０：模擬鉗子、６０１：所定臓器、６０２ａ，６０２ｂ，６０２ｃ…：表面各節点、
６０３ａ，６０３ｂ，６０３ｃ…：仮想線、
６０４ａ，６０４ｂ，６０４ｃ…：模擬膜、
６０５ａ，６０５ｂ，６０５ｃ…：膜面用節点、
６０６ａ，６０６ｂ，６０６ｃ…：仮想膜間用バネ、
６０７ａ，６０７ｂ，６０７ｃ…：面方向バネ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】