特許 6275488 手術支援装置および手術支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6275488

(24)【登録日】2018年1月19日

(45)【発行日】2018年2月7日

(54)【発明の名称】手術支援装置および手術支援プログラム

(51)【国際特許分類】

   A61B 6/03 20060101AFI20180129BHJP

   A61B 6/12 20060101ALI20180129BHJP

   A61B 5/055 20060101ALI20180129BHJP

   G01T 1/161 20060101ALI20180129BHJP

   A61B 90/00 20160101ALI20180129BHJP

   A61B 34/20 20160101ALI20180129BHJP

【ＦＩ】

   A61B6/03 377

   A61B6/12

   A61B6/03 360G

   A61B6/03 360Q

   A61B5/05 390

   G01T1/161 D

   A61B90/00

   A61B34/20

【請求項の数】10

【全頁数】23

(21)【出願番号】特願2014-2538(P2014-2538)

(22)【出願日】2014年1月9日

(65)【公開番号】特開2015-130911(P2015-130911A)

(43)【公開日】2015年7月23日

【審査請求日】2016年8月5日

(73)【特許権者】

【識別番号】513096761

【氏名又は名称】コニカミノルタメディカルソリューションズ株式会社

(74)【代理人】

【識別番号】110001900

【氏名又は名称】特許業務法人 ナカジマ知的財産綜合事務所

(74)【代理人】

【識別番号】110000202

【氏名又は名称】新樹グローバル・アイピー特許業務法人

(72)【発明者】

【氏名】高嶋 伸幸

【審査官】 遠藤 直恵

(56)【参考文献】

【文献】 国際公開第２０１３／１４５０１０（ＷＯ，Ａ１）

【文献】 特開２０１３−０５９６０９（ＪＰ，Ａ）

【文献】 特開２００１−１４９３６６（ＪＰ，Ａ）

【文献】 国際公開第２０１３／１４５７３０（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ６／００−６／１４

Ａ６１Ｂ ５／０５５

Ｇ０１Ｔ １／１６１

Ａ６１Ｂ ３４／２０

Ａ６１Ｂ ９０／００

(57)【特許請求の範囲】

【請求項1】

術具を用いて実施される手術中に、断層画像情報から生成される３次元画像を表示装置に表示させながらナビゲーションを行う手術支援装置であって、
患者の断層画像情報を取得する断層画像情報取得部と、
前記断層画像情報取得部において取得された前記断層画像情報のボクセル情報に基づいて、ボクセル情報をサンプリングして３次元画像を再構成するボリュームレンダリング演算部と、
前記術具の３次元術具画像を生成する術具画像生成部と、
前記術具の根元付近に取り付けられたセンサから、前記術具の先端位置に関する情報を取得する先端位置情報取得部と、
前記術具画像生成部において生成された前記３次元術具画像を、前記先端位置情報取得部において取得された前記術具の先端位置に基づいて、前記ボリュームレンダリング演算部において生成された３次元画像と合成する画像合成部と、
前記先端位置情報取得部において取得された前記術具の先端位置近傍が、所定の視点群からの視線の交点上に配置されるように、前記術具の３次元画像が合成された前記３次元画像を表示する表示制御部と、
を備え、
前記表示制御部は、前記視線の交点が前記表示装置の表示画面の表面付近に配置されるように、前記術具の３次元画像が合成された前記３次元画像を表示するとともに、手術中の術者から見た視点と同じ方向から前記３次元画像を表示する、
手術支援装置。

【請求項2】

前記表示制御部は、前記術具先端よりも手前側にある物体が、前記表示装置の表示画面よりも手前に飛び出した位置に３次元表示を行う、
請求項１に記載の手術支援装置。

【請求項3】

前記表示制御部は、前記術具先端よりも奥側にある物体が、前記表示装置の表示画面よりも奥まった位置にあるように３次元表示を行う、
請求項１または２に記載の手術支援装置。

【請求項4】

術具を用いて実施される手術中に、断層画像情報から生成される３次元画像を表示装置に表示させながらナビゲーションを行う手術支援装置であって、
内視鏡の位置情報に基づいて、仮想内視鏡画像を生成する仮想内視鏡画像生成部と、
前記術具の３次元術具画像を生成する術具画像生成部と、
前記術具の根元付近に取り付けられたセンサから、前記術具の先端位置に関する情報を取得する先端位置情報取得部と、
前記術具画像生成部において生成された前記３次元術具画像を、前記先端位置情報取得部において取得された前記術具の先端位置に関する情報に基づいて、前記仮想内視鏡画像生成部において生成された３次元画像と合成する画像合成部と、
前記内視鏡の位置と内視鏡特性に基づいて決定される内視鏡焦点の近傍位置が、所定の視点群からの視線の交点上に配置されるように、前記術具の３次元画像が合成された前記３次元画像を表示する表示制御部と、
を備え、
前記表示制御部は、さらに前記視線の交点が前記表示装置の表示画面の表面付近に配置されるように、前記術具の３次元画像が合成された前記３次元画像を表示し、手術中の術者から見た視点と同じ方向から前記３次元画像を表示する、
手術支援装置。

【請求項5】

前記表示制御部は、前記内視鏡焦点の近傍位置よりも手前側にある物体が、前記表示装置の表示画面よりも手前に飛び出した位置に３次元表示を行う、
請求項４に記載の手術支援装置。

【請求項6】

前記表示制御部は、前記内視鏡焦点の近傍位置よりも奥側にある物体が、前記表示装置の表示画面よりも奥まった位置にあるように３次元表示を行う、
請求項４から５のいずれか１項に記載の手術支援装置。

【請求項7】

前記術具画像生成部は、前記術具の先端位置、その反対側の根元位置、および前記術具の立体画像に基づいて、仮想的な術具画像を生成する、
請求項１から６のいずれか１項に記載の手術支援装置。

【請求項8】

前記先端位置情報取得部は、前記術具の先端とは反対側の端部に設けられた２つの位置角度センサ、あるいは３つの位置センサにおける検出結果を用いて、前記術具の先端位置情報を取得する、
請求項１から７のいずれか１項に記載の手術支援装置。

【請求項9】

術具を用いて実施される手術中に、断層画像情報から生成される３次元画像を表示装置に表示させながらナビゲーションを行う手術支援プログラムであって、
患者の断層画像情報を取得するステップと、
前記断層画像情報のボクセル情報に基づいて、ボクセル情報をサンプリングして３次元画像を再構成するステップと、
前記術具の３次元術具画像を生成するステップと、
前記術具の根元付近に取り付けられたセンサから、前記術具の先端位置に関する情報を取得するステップと、
前記術具の先端位置に関する情報に基づいて、前記３次元術具画像と前記３次元画像とを合成するステップと、
前記術具の先端位置近傍が、所定の視点群からの視線の交点上に配置されるように、前記術具の３次元画像が合成された前記３次元画像を表示するステップと、
前記視線の交点が前記表示装置の表示画面の表面付近に配置されるように、前記術具の３次元画像が合成された前記３次元画像を表示するステップと、
手術中の術者から見た視点と同じ方向から前記３次元画像を表示するステップと、
を備えた手術支援方法をコンピュータに実行させる手術支援プログラム。

【請求項10】

術具を用いて実施される手術中に、断層画像情報から生成される３次元画像を表示装置に表示させながらナビゲーションを行う手術支援プログラムであって、
内視鏡の位置情報に基づいて、仮想内視鏡画像を生成するステップと、
前記術具の３次元術具画像を生成するステップと、
前記術具の根元付近に取り付けられたセンサから、前記術具の先端位置に関する情報を取得するステップと、
前記３次元術具画像を、前記術具の先端位置に関する情報に基づいて、３次元画像と合成するステップと、
前記内視鏡の位置と内視鏡特性に基づいて決定される内視鏡焦点の近傍位置が、所定の視点群からの視線の交点上に配置されるように、前記術具の３次元画像が合成された前記３次元画像を表示するステップと、
前記視線の交点が前記表示装置の表示画面の表面付近に配置されるように、前記術具の３次元画像が合成された前記３次元画像を表示するステップと、
手術中の術者から見た視点と同じ方向から前記３次元画像を表示するステップと、
を備えた手術支援方法をコンピュータに実行させる手術支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、手術中のナビゲーションを行う手術支援装置および手術支援プログラムに関する。

【背景技術】

【0002】

医療現場において、より適切な手術を行うために、手術のシミュレーションを行うことが可能な手術支援装置が活用されている。
従来の手術支援装置は、例えば、Ｘ線ＣＴ画像や核磁気共鳴画像（ＭＲＩ画像）、ＰＥＴ（陽電子放射断層法）によって取得された画像等の断層画像情報を取得する断層画像情報取得部と、断層画像情報取得部に接続されたメモリと、メモリに接続されたボリュームレンダリング演算部と、ボリュームレンダリング演算部の演算結果を表示するディスプレイと、ディスプレイに表示された表示対象物に対して切削指示を行う入力部と、を備えていた。

【0003】

例えば、特許文献１には、処置具の挿入量、挿入位置、挿入傾斜角に基づいて処置具形状画像をライブの内視鏡画像に同期した仮想内視鏡画像中に合成することで、ライブの内視鏡画像に対応した術中の処置具のアプローチ状況を表示することが可能な手術支援装置について開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００５−２１３５３号公報（平成１７年１月２７日公開）

【特許文献2】国際公開第２０１３／１４５７３０号（２０１３年１０月３日国際公開）

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記従来の手術支援装置では、以下に示すような問題点を有している。
すなわち、上記公報に開示された手術支援装置では、リアルタイムの内視鏡画像に同期した仮想内視鏡画像および仮想内視鏡画像に合成される術具が平面状の画像であるため、表示画像に立体感がなく、術具、特に、術具先端の位置と臓器や血管等との前後の位置関係が認識しにくいという問題がある。

【0006】

本発明の課題は、実際の手術中において、術具先端と臓器、血管等との位置関係を正確に認識できるように表示して、より効果的な手術ナビゲーションを実施することが可能な手術支援装置および手術支援プログラムを提供することにある。

【課題を解決するための手段】

【0007】

第１の発明に係る手術支援装置は、術具を用いて実施される手術中に、断層画像情報から生成される３次元画像を表示装置に表示させながらナビゲーションを行う手術支援装置であって、断層画像情報取得部と、ボリュームレンダリング演算部と、術具画像生成部と、先端位置情報取得部と、画像合成部と、表示制御部と、を備えている。断層画像情報取得部は、患者の断層画像情報を取得する。ボリュームレンダリング演算部は、断層画像情報取得部において取得された断層画像情報のボクセル情報に基づいて、ボクセル情報をサンプリングして３次元画像を再構成する。術具画像生成部は、術具の３次元術具画像を生成する。先端位置情報取得部は、術具の先端位置に関する情報を取得する。画像合成部は、術具画像生成部において生成された３次元術具画像を、先端位置情報取得部において取得された術具の先端位置に基づいて、ボリュームレンダリング演算部において生成された３次元画像と合成する。表示制御部は、先端位置情報取得部において取得された術具の先端位置近傍が、所定の視点群からの視線の交点上に配置されるように、術具の３次元画像が合成された３次元画像を表示する。

【0008】

ここでは、例えば、複数のＸ線ＣＴ画像を用いて作成した３次元画像を用いて特定の骨や血管、臓器等の周辺を表示した状態で手術を行う際に、実際に手術で使用する術具の３次元位置を逐次検出し、複数のＸ線ＣＴ画像から形成され臓器や血管等を含む３次元画像と術具の３次元画像とを合成する。そして、３次元画像の所定の視点群からの視線の交点上に術具の先端位置が配置されるように表示させる。

【0009】

ここで、上記断層画像には、例えば、Ｘ線ＣＴやＭＲＩ、ＰＥＴ等の医用機器を用いて取得された２次元画像が含まれる。また、上記術具には、内臓や骨等を切削する切削器具や鉗子等が含まれる。また、上記術具の先端位置は、実際に手術に用いられる術具に取り付けられた位置角度センサ等を用いて検出される。また、上記術具の先端位置に関する情報とは、術具の先端位置の近傍に関する情報を含む。

【0010】

通常、立体感のある画像表示を行う３次元画像は、左右の視点からの視線の交点が表示画面の表面にくるように表示される。
これにより、術具の先端が視線の交点の位置にくるように３次元画像と３次元術具画像とが位置合わせされて表示されるため、術具の先端位置に対応する表示装置の表示画面の表面を基準として、臓器や血管、術具を含む立体的な３次元画像を表示することができる。よって、従来よりも立体感のある３次元画像を表示することで、術具の位置と臓器や血管、神経等の位置を術者に正確に認識させることができるため、より効果的な手術ナビゲーションを実施することができる。

【0011】

第２の発明に係る手術支援装置は、第１の発明に係る手術支援装置であって、表示制御部は、視線の交点が表示装置の表示画面の表面付近に配置されるように、術具の３次元画像が合成された３次元画像を表示する。
ここでは、３次元画像を表示する際に、術具の先端が視線の交点にくるように３次元画像が位置合わせされた表示装置の表示画面の表面付近を基準にして、３次元画像を表示する。

【0012】

これにより、術具の先端位置に対応する表示装置の表示画面の表面を基準として、臓器や血管、術具を含む立体的な３次元画像を表示することができる。よって、従来よりも立体感のある３次元画像を表示して、効果的な手術ナビゲーションを実施することができる。
第３の発明に係る手術支援装置は、第１または第２の発明に係る手術支援装置であって、表示制御部は、術具先端よりも手前側にある物体が、表示装置の表示画面よりも手前側に飛び出した位置に３次元表示を行う。

【0013】

ここでは、３次元画像の所定の視点群からの視線の交点上に術具の先端位置が配置されるように表示させる際に、術具先端から手前側にある臓器や血管等の物体が、表示画面から飛び出すように表示させる。
これにより、手術中の術者から見た視点と同じ方向から３次元の手術ナビゲーション画像を表示することができる。よって、術者は術具の先端が臓器や血管に対してどの位置にあるのかを正確に認識することができるため、より精度の高い手術ナビゲーションを実施することができる。

【0014】

第４の発明に係る手術支援装置は、第１から第３の発明のいずれか１つに係る手術支援装置であって、表示制御部は、術具先端よりも奥側にある物体が、表示装置の表示画面よりも奥まった位置にあるように３次元表示を行う。
ここでは、３次元画像の所定の視点群からの視線の交点上に術具の先端位置が配置されるように表示させる際に、術具先端よりも奥側にある臓器や血管等の物体が、表示画面から奥まった位置にあるように表示させる。

【0015】

これにより、手術中の術者から見た視点と同じ方向から３次元の手術ナビゲーション画像を表示することができる。よって、術者は術具の先端が臓器や血管に対してどの位置にあるのかを正確に認識することができるため、より精度の高い手術ナビゲーションを実施することができる。
第５の発明に係る手術支援装置は、術具を用いて実施される手術中に、断層画像情報から生成される３次元画像を表示装置に表示させながらナビゲーションを行う手術支援装置であって、仮想内視鏡画像生成部と、術具画像生成部と、先端位置情報取得部と、画像合成部と、表示制御部と、を備えている。仮想内視鏡画像生成部は、内視鏡の位置情報に基づいて、仮想内視鏡画像を生成する。術具画像生成部は、術具の３次元術具画像を生成する。先端位置情報取得部は、術具の先端位置に関する情報を取得する。画像合成部は、術具画像生成部において生成された３次元術具画像を、先端位置情報取得部において取得された術具の先端位置に関する情報に基づいて、仮想内視鏡画像生成部において生成された３次元画像と合成する。表示制御部は、内視鏡の位置と内視鏡特性に基づいて決定される内視鏡焦点の近傍位置が、所定の視点群からの視線の交点上に配置されるように、術具の３次元画像が合成された３次元画像を表示する。

【0016】

ここでは、内視鏡を用いた手術に対応するために、仮想内視鏡画像を生成して、臓器や血管等を含む３次元画像と３次元術具画像とが合成された３次元画像に合成する。
ここで、仮想内視鏡画像は、３次元術具画像と同様に、内視鏡に取り付けられた位置センサ等における検出結果に基づいて立体的な３次元画像として生成されることが好ましい。また、上記術具の先端位置に関する情報とは、術具の先端位置の近傍に関する情報を含む。

【0017】

これにより、内視鏡を用いた手術と同様に、視野が制限された状態で３次元画像を表示するとともに、内視鏡の先端と臓器や骨等との前後の位置関係を正確に術者に認識させながら、手術ナビゲーションを実施することができる。
第６の発明に係る手術支援装置は、第５の発明に係る手術支援装置であって、表示制御部は、内視鏡焦点の近傍位置よりも手前側にある物体が、表示装置の表示画面よりも手前側に飛び出した位置に３次元表示を行う。

【0018】

ここでは、３次元画像の所定の視点群からの視線の交点上に内視鏡焦点の近傍位置が配置されるように表示させる際に、内視鏡焦点の近傍位置から手前側にある臓器や血管等の物体が、表示画面から飛び出すように表示させる。
これにより、手術中の術者から見た視点と同じ方向から３次元の手術ナビゲーション画像を表示することができる。よって、術者は内視鏡焦点の近傍位置に対する臓器や血管の位置を正確に認識することができるため、より精度の高い手術ナビゲーションを実施することができる。

【0019】

第７の発明に係る手術支援装置は、第５または第６の発明に係る手術支援装置であって、表示制御部は、内視鏡焦点の近傍位置よりも奥側にある物体が、表示装置の表示画面よりも奥まった位置にあるように３次元表示を行う。
ここでは、３次元画像の所定の視点群からの視線の交点上に内視鏡焦点の近傍位置が配置されるように表示させる際に、内視鏡焦点の近傍位置よりも奥側にある臓器や血管等の物体が、表示画面から奥まった位置にあるように表示させる。

【0020】

これにより、手術中の術者から見た視点と同じ方向から３次元の手術ナビゲーション画像を表示することができる。よって、術者は内視鏡焦点の近傍位置に対する臓器や血管の位置を正確に認識することができるため、より精度の高い手術ナビゲーションを実施することができる。
第８の発明に係る手術支援装置は、第５から第７の発明のいずれかに係る手術支援装置であって、表示制御部は、仮想内視鏡画像における内視鏡の先端位置よりも手前側に配置された物体を表示しない、あるいは半透明で表示する。

【0021】

ここでは、内視鏡を用いた手術における表示態様に合わせるために、仮想内視鏡画像における内視鏡の先端位置よりも手前側にある臓器や血管等を、表示させない、あるいは半透明にして表示させる。
これにより、実際の内視鏡手術と同様に、内視鏡によって視野が制限された表示態様とすることができる。よって、実際の内視鏡を用いた手術と同様の見せ方で、手術ナビゲーションを実施することができる。

【0022】

第９の発明に係る手術支援装置は、第１から第７の発明のいずれか１つに係る手術支援装置であって、術具画像生成部は、術具の先端位置、その反対側の根元位置、および術具の立体画像に基づいて、仮想的な術具画像を生成する。
ここでは、３次元術具画像を生成する際に、実際の術具の先端・根元位置情報に基づいて、術具の立体画像の位置や方向を設定して仮想的な術具画像を生成する。

【0023】

ここで、術具の立体画像は、例えば、実際の術具の位置情報と、予め入力された術具の長さ、円筒部の半径等のデータに基づいて幾何学図形の組み合わせによって生成されてもよい。
これにより、臓器等を含む３次元画像に３次元術具画像を合成して、より立体感のある３次元画像を表示しながら手術ナビゲーションを実施することができる。

【0024】

第１０の発明に係る手術支援装置は、第１から第９の発明のいずれか１つに係る手術支援装置であって、先端位置情報取得部は、術具の先端とは反対側の端部に設けられた２つの位置角度センサ、あるいは３つの位置センサにおける検出結果を用いて、術具の先端位置情報を取得する。
ここでは、術具の位置情報取得手段として、術具の根元付近に配置された２つの位置角度センサ、あるいは３つの位置センサを用いている。

【0025】

これにより、実際に術具を移動させることで、術具の先端位置、根元付近の位置等を正確に検出して３次元術具画像に反映させることができる。
第１１の発明に係る手術支援プログラムは、術具を用いて行われる手術中に、断層画像情報から生成される３次元画像を表示装置に表示させながらナビゲーションを行う手術支援プログラムであって、以下のようなステップを備えた手術支援方法をコンピュータに実行させる。患者の断層画像情報を取得するステップ。断層画像情報のボクセル情報に基づいて、ボクセル情報をサンプリングして３次元画像を再構成するステップ。術具の３次元術具画像を生成するステップ。術具の先端位置に関する情報を取得するステップ。術具の先端位置に関する情報に基づいて３次元術具画像と３次元画像とを合成するステップ。術具の先端位置近傍が、所定の視点群からの視線の交点上に配置されるように、術具の３次元画像が合成された３次元画像を表示するステップ。

【0026】

ここでは、例えば、複数のＸ線ＣＴ画像を用いて作成した３次元画像を用いて特定の骨や血管、臓器等の周辺を表示した状態で手術を行う際に、実際に手術で使用する術具の３次元位置を逐次検出し、複数のＸ線ＣＴ画像から形成され臓器や血管等を含む３次元画像と術具の３次元画像とを合成する。そして、３次元画像の所定の視点群からの視線の交点上に術具の先端位置が配置されるように表示させる。

【0027】

ここで、上記断層画像には、例えば、Ｘ線ＣＴやＭＲＩ、ＰＥＴ等の医用機器を用いて取得された２次元画像が含まれる。また、上記術具には、内臓や骨等を切削する切削器具や鉗子等が含まれる。また、上記術具の先端位置は、実際に手術に用いられる術具に取り付けられた位置角度センサ等を用いて検出される。
通常、立体感のある画像表示を行う３次元画像は、左右の視点からの視線の交点が表示画面の表面にくるように表示される。

【0028】

これにより、術具の先端が視線の交点の位置にくるように３次元画像と３次元術具画像とが位置合わせされて表示されるため、術具の先端位置に対応する表示装置の表示画面の表面を基準として、臓器や血管、術具を含む立体的な３次元画像を表示することができる。よって、従来よりも立体感のある３次元画像を表示することで、術具の位置と臓器や血管、神経等の位置を術者に正確に認識させることができるため、より効果的な手術ナビゲーションを実施することができる。

【0029】

第１２の発明に係る手術支援プログラムは、術具を用いて実施される手術中に、断層画像情報から生成される３次元画像を表示装置に表示させながらナビゲーションを行う手術支援プログラムであって、以下のようなステップを備えた手術支援方法をコンピュータに実行させる。内視鏡の位置情報に基づいて、仮想内視鏡画像を生成するステップ。術具の３次元術具画像を生成するステップ。術具の先端位置に関する情報を取得するステップ。３次元術具画像を、術具の先端位置に関する情報に基づいて、３次元画像と合成するステップ。内視鏡の位置と内視鏡特性に基づいて決定される内視鏡焦点の近傍位置が、所定の視点群からの視線の交点上に配置されるように、術具の３次元画像が合成された３次元画像を表示するステップ。

【0030】

ここでは、内視鏡を用いた手術に対応するために、仮想内視鏡画像を生成して、臓器や血管等を含む３次元画像と３次元術具画像とが合成された３次元画像に合成する。
ここで、仮想内視鏡画像は、３次元術具画像と同様に、内視鏡に取り付けられた位置センサ等における検出結果に基づいて立体的な３次元画像として生成されることが好ましい。また、上記術具の先端位置に関する情報とは、術具の先端位置の近傍に関する情報を含む。

【0031】

これにより、内視鏡を用いた手術と同様に、視野が制限された状態で３次元画像を表示するとともに、内視鏡の先端と臓器や骨等との前後の位置関係を正確に術者に認識させながら、手術ナビゲーションを実施することができる。

【発明の効果】

【0032】

本発明に係る手術支援装置によれば、実際の手術中において、術具先端と臓器、血管等との位置関係を正確に認識できるように表示して、より効果的な手術ナビゲーションを実施することができる。

【図面の簡単な説明】

【0033】

【図1】本発明の一実施形態に係るパーソナルコンピュータ（手術支援装置）を含む手術支援システムの構成を示す図。

【図2】図１の手術支援システムに含まれるパーソナルコンピュータを示す斜視図。

【図3】（ａ）〜（ｃ）は、本手術支援システムにおいて用いられる術具の一例を示す図。

【図4】図２のパーソナルコンピュータの制御ブロック図。

【図5】図２のパーソナルコンピュータ内に形成される機能ブロックを示すブロック図。

【図6】図５の表示制御部によって臓器や血管等を含む３次元画像と術具の３次元画像とを合成する際の位置合わせについて説明する概念図。

【図7】図１の手術支援システムにおいて用いられる術具とその根元に取り付けられた位置角度センサを示す図。

【図8】（ａ）〜（ｃ）は、図２のパーソナルコンピュータによる手術支援方法の流れを示すフローチャート。

【図9】（ａ）および（ｂ）は、図１の手術支援システムのディスプレイに表示されるナビゲーション画面の一例を示す図。

【図10】（ａ）および（ｂ）は、図１の手術支援システムのディスプレイに表示されるナビゲーション画面の他の例を示す図。

【図11】本発明の他の実施形態に係るパーソナルコンピュータ内に形成される機能ブロックを示すブロック図。

【図12】本発明のさらに他の実施形態に係る手術支援システムのディスプレイに表示されるナビゲーション画面の一例を示す図。

【発明を実施するための形態】

【0034】

本発明の一実施形態に係るパーソナルコンピュータ（手術支援装置）について、図１〜図１０（ｂ）を用いて説明すれば以下の通りである。
本実施形態に係るパーソナルコンピュータ１は、図１に示すように、ディスプレイ（表示装置）２、位置・角度検出装置２９、術具３３、測位用トランスミッタ（磁場発生装置）３４とともに手術支援システム１００を構成する。

【0035】

パーソナルコンピュータ１は、本実施形態の手術支援方法をコンピュータに実行させる手術支援プログラムを読み込んで手術支援装置として機能する。なお、パーソナルコンピュータ１の構成については、後段にて詳述する。
ディスプレイ（表示装置）２は、後段にて詳述する手術中のナビゲーションや術前シミュレーションを行う３次元画像を表示するとともに、手術ナビゲーションや術前シミュレーションの設定画面等を表示する。

【0036】

なお、手術中のナビゲーションを表示する表示装置としては、手術中の術者に分かり易くナビゲーション画面を表示する必要があるため、パーソナルコンピュータ１のディスプレイ２に加えて、図１の手術支援システム１００に含まれる大型の液晶ディスプレイ１０２も併用される。
位置・角度検出装置２９は、パーソナルコンピュータ１、測位用トランスミッタ３４、および術具３３に接続されており、術具３３に取り付けられた位置角度センサ４１ａ，４１ｂ（図７等参照）における検知結果に基づいて、実際の手術中の術具３３の位置や姿勢を検出する。

【0037】

術具３３は、手術中に使用される道具であって、例えば、図３（ａ）に示す電気メスや、図３（ｂ）に示す超音波メス、あるいは図３（ｃ）に示す鉗子等が含まれる。また、術具３３には、その根元付近に２つの位置角度センサ４１ａ，４１ｂ（図７等参照）が設けられている。これにより、実際の手術中における術具３３の位置・姿勢等を、位置角度センサ４１ａ，４１ｂによって検出することができる。

【0038】

測位用トランスミッタ（磁場発生装置）３４は、患者が横になる手術台の近傍に配置され、磁場を発生させる。これにより、術具３３に取り付けられる位置角度センサ４１ａ，４１ｂ（図７参照）において測位用トランスミッタ３４によって発生させた磁場を検出することで、実際の手術中における術具３３の位置や姿勢を検出することができる。
（パーソナルコンピュータ１）
パーソナルコンピュータ１は、図２に示すように、ディスプレイ（表示装置）２と、各種入力部（キーボード３、マウス４、およびタブレット５（図４参照）等））と、を備えている。

【0039】

ディスプレイ２は、Ｘ線ＣＴ画像等の複数の断層画像から形成される骨や臓器の３次元画像を表示するとともに、術前シミュレーションの結果や手術ナビゲーションの内容を表示する。
また、パーソナルコンピュータ１は、メモリ９に格納された手術支援プログラムをＣＰＵが読み込むことで、内部に、図５に示すように、断層画像情報取得部５１、ボリュームレンダリング演算部５２、術具画像生成部５３、画像合成部５４、先端位置情報取得部５５、および表示制御部５６等の機能ブロックを形成する。なお、各機能ブロックの機能については、後段にて詳述する。

【0040】

メモリ９は、パーソナルコンピュータ１内に設けられており、ボクセル情報格納部１０、ボクセルラベル格納部１１、および色情報格納部１２、術具パラメータ格納部２４を有している。また、メモリ９には、ボリュームレンダリング演算部５２が接続されている。
ボクセル情報格納部１０は、ボクセル情報抽出部７から断層画像情報取得部５１を介して受信したボクセル情報を格納している。

【0041】

ボクセルラベル格納部１１は、第１ボクセルラベル格納部、第２ボクセルラベル格納部、第３ボクセルラベル格納部を有している。これらの第１〜第３ボクセルラベル格納部は、後述する予め設定されたＣＴ値の範囲、つまり表示対象となる臓器にそれぞれ対応して設けられている。例えば、第１ボクセルラベル格納部は、肝臓を表示するＣＴ値の範囲に対応しており、第２ボクセルラベル格納部は、血管を表示するＣＴ値の範囲に対応しており、第３ボクセルラベル格納部は、骨を表示するＣＴ値の範囲に対応している。

【0042】

色情報格納部１２は、内部に複数の格納部を有している。各格納部は、予め設定されたＣＴ値の範囲、つまり表示対象となる骨、血管、神経、臓器等にそれぞれ対応して設けられている。例えば、肝臓を表示するＣＴ値の範囲に対応する格納部、血管を表示するＣＴ値の範囲に対応する格納部、骨を表示するＣＴ値の範囲に対応する格納部等が挙げられる。このとき、各格納部には、表示対象となる骨、血管、神経、臓器ごとにそれぞれ異なる色情報が設定されている。例えば、骨に対応するＣＴ値の範囲には白色の色情報、血管に対応するＣＴ値の範囲には赤色の色情報がそれぞれ格納されている。

【0043】

なお、表示対象となる骨や血管、神経、臓器ごとに設定されるＣＴ値とは、人体におけるＸ線吸収の程度を数値化したものであり、水を０とする相対値（単位：ＨＵ）として表される。例えば、骨が表示されるＣＴ値の範囲は５００〜１０００ＨＵ、血液が表示されるＣＴ値の範囲は３０〜５０ＨＵ、肝臓が表示されるＣＴ値の範囲は６０〜７０ＨＵ、腎臓が表示されるＣＴ値の範囲は３０〜４０ＨＵである。

【0044】

術具パラメータ格納部２４は、例えば、術具３３を電気メス（図２（ａ）参照）とすると、術具３３の長さ、先端形状、位置、姿勢等に関する情報がそれぞれ格納されている。また、術具パラメータ格納部２４は、図４に示すように、術具パラメータ設定部２５と接続されている。
術具パラメータ設定部２５は、キーボード３やマウス４を介して、術具３３の各種パラメータの設定を行い、術具パラメータ格納部２４へ送る。

【0045】

術具位置・姿勢取得部２６は、バス１６を介して、術具３３の位置や角度を検出する位置・角度検出装置２９における検出結果を受信して、ボリュームレンダリング演算部５２、レジストレーション演算部２７へ送る。
バス１６には、上述したボリュームレンダリング演算部５２に加えて、メモリ９内の色情報格納部１２等、ウィンドウ座標取得部２０、術具位置・姿勢取得部２６が接続されており、キーボード３、マウス４、タブレット５、位置・角度検出装置２９等から入力された内容に基づいて、ディスプレイ２，１０２に３次元画像等を表示する。

【0046】

ウィンドウ座標取得部２０には、色情報設定部２１とレジストレーション演算部２７とが接続されている。
色情報設定部２１は、メモリ９内の色情報格納部１２に接続されている。
術具位置・姿勢取得部２６は、上述したように、術具３３に取り付けられる位置角度センサ４１ａ，４１ｂにおいて測位用トランスミッタ３４で発生した磁場を検出することで、術具３３の位置や姿勢に関する情報を取得する。

【0047】

なお、術具３３の３次元における位置や姿勢を検出するための位置角度センサ４１ａ，４１ｂは、図７に示すように、術具３３の根元付近にある把持部における操作の邪魔にならない位置に設けられている。
レジストレーション演算部２７は、ボリュームレンダリング演算部５２において生成される３次元画像と、実際の手術中の患者の基準位置、術具３３の３次元位置および回転角度を一致させるための演算を行う。なお、このレジストレーション演算部２７におけるレジストレーション処理（座標変換処理）については、後段にて詳述する。

【0048】

変換行列保持部２８は、レジストレーション演算部２７およびボリュームレンダリング演算部５２と接続されており、レジストレーション処理（座標変換処理）を実施する際に使用される変換行列を複数保持している。
位置・角度検出装置２９は、上述したように、パーソナルコンピュータ１、測位用トランスミッタ３４に接続されており、術具３３に取り付けられた位置角度センサ４１ａ，４１ｂ（図７等参照）における検知結果に基づいて、実際の手術中の術具３３の位置や姿勢を検出する。

【0049】

術具３３は、本実施形態では、上述したように、図２（ａ）〜図２（ｃ）に示す電気メス等を用いている。また、術具３３には、先端とは反対側の根元部分の付近に位置角度センサ４１ａ，４１ｂが取り付けられている。これにより、手術中に切開等を行う術具３３の先端（処置部）の位置についても、術具パラメータ格納部２４に保存された術具３３の長さや形状に基づいて算出することができる。

【0050】

位置角度センサ４１ａ，４１ｂは、図７に示すように、術具３３の先端３３ｂ（図９等参照）とは反対側の根元付近に２つ設けられている。よって、術具３３の先端位置は、上述した術具パラメータ格納部２４に予め保存された術具３３の長さや形状に基づいて、計算によって算出される。なお、本実施形態では、術具３３の位置や姿勢を検出するセンサとして、位置情報と角度情報とを検出可能な位置角度センサ４１ａ，４１ｂを用いている。このため、２つの位置角度センサ４１ａ，４１ｂによって、術具３３の位置や姿勢を正確に測位することができる。

【0051】

（パーソナルコンピュータ１内に形成される機能ブロック）
本実施形態では、上述したように、メモリ９に格納された手術支援プログラムをＣＰＵが読み込むことで、パーソナルコンピュータ１の内部に、図５に示すように、断層画像情報取得部５１、ボリュームレンダリング演算部５２、術具画像生成部５３、画像合成部５４、先端位置情報取得部５５、および表示制御部５６等の機能ブロックが形成される。

【0052】

断層画像情報取得部５１は、図４に示すように、ボクセル情報抽出部７を介して、断層画像情報部８が接続されている。つまり、断層画像情報部８では、ＣＴあるいはＭＲＩ、ＰＥＴ等の断層画像を撮影する機器から断層画像情報が供給され、この断層画像情報がボクセル情報抽出部７によってボクセル情報として抽出される。
ボリュームレンダリング演算部５２は、ボクセル情報格納部１０に格納されているボクセル情報と、ボクセルラベル格納部１１に格納されているボクセルラベルと、色情報格納部１２に格納されている色情報と、に基づいて、視線に対して垂直、かつＺ方向の間隔が一定の複数枚のスライス情報を取得する。そして、ボリュームレンダリング演算部５２は、その演算結果を３次元画像としてディスプレイ２に表示させる。

【0053】

術具画像生成部５３は、術具パラメータ格納部２４に格納されている術具情報（長さ、形状、円筒部の半径等）と、術具位置・姿勢取得部２６における検出結果と、に基づいて、術具３３の３次元の術具画像３３ａを生成する。
画像合成部５４は、ボリュームレンダリング演算部５２において生成された患者の臓器や血管等を含む３次元画像と、術具画像生成部５３において生成された術具画像３３ａとを合成する。

【0054】

先端位置情報取得部５５は、術具パラメータ格納部２４に格納されている術具情報（長さ、形状等）と、術具位置・姿勢取得部２６における検出結果とに基づいて、術具３３の先端位置を取得する。
表示制御部５６は、図６に示すように、画像合成部５４において臓器等を含む３次元画像と術具３３の３次元術具画像３３ａとを合成する際に、術具３３の先端位置が、ディスプレイ２，１０２の表示画面の表面に設定された所定の視点群｛Ｐ_e-n，・・・，Ｐ_e-1，Ｐ_e-2，Ｐ_e-3，・・・，Ｐ_e+n｝からのそれぞれのベクトル｛Ｖ_e-n，・・・，Ｖ_e-1，Ｖ_e-2，Ｖ_e-3，・・・，Ｖ_e+n｝方向における視線の交点Ｐ_t上に配置されるように、表示制御を行う。なお、各視点Ｐ_e-n，Ｐ_e-1，Ｐ_e-2，Ｐ_e-3，・・・，Ｐ_e+n間の距離ｄとする。

【0055】

これにより、実際の術具３３の動きを３次元術具画像３３ａとして表示して臓器等を含む３次元画像に組み合わせることで、リアルタイムで手術ナビゲーション用の３次元画像を表示することができる。
また、本実施形態では、術具３３の先端位置が、ディスプレイ２，１０２の表示画面の表面に設定された所定の視点群｛Ｐ_e-n，Ｐ_e-1，Ｐ_e-2，Ｐ_e-3，・・・，Ｐ_e+n｝からの視線の交点Ｐ_t上に配置されるように３次元画像が表示されるため、ディスプレイ２，１０２の表示画像の表面、つまり術具３３の先端の位置を基準にして、立体的な３次元画像を表示することができる。

【0056】

さらに、本実施形態では、表示制御部５６が、術具３３の先端よりも手前側にある臓器や血管については、ディスプレイ２，１０２の表示画面の表面から飛び出すように３次元画像を表示する。一方、表示制御部５６は、術具３３の先端よりも奥側にある臓器や血管については、ディスプレイ２，１０２の表示画面の表面よりも奥まった位置にあるように３次元画像を表示する。

【0057】

これにより、術者は、ディスプレイ２，１０２に表示される手術ナビゲーション用の３次元画像を見ることで、術具先端と臓器や血管との前後の位置関係を正確に認識することができる。よって、従来よりも効果的な手術ナビゲーションを実施することができる。
＜本手術支援方法に関する制御フロー＞
ここで、本実施形態のパーソナルコンピュータ１による手術支援方法の流れを示す制御フローについて、図８（ａ）から図８（ｃ）を用いて説明すれば以下の通りである。

【0058】

本実施形態のパーソナルコンピュータ１では、図８（ａ）に示すように、Ｓ１において、上述したように、断層画像情報部８からの断層画像情報が入力され、これがボクセル情報抽出部７に供給される。
次に、Ｓ２において、ボクセル情報抽出部７において、断層画像情報からボクセル情報が抽出される。抽出されたボクセル情報は、断層画像情報取得部５１を介して、メモリ９のボクセル情報格納部１０に格納される。ボクセル情報格納部１０に格納されるボクセル情報は、例えば、Ｉ（ｘ，ｙ，ｚ，α）で構成される点の情報である。このとき、Ｉは当該点の輝度情報であり、ｘ，ｙ，ｚは座標点を示し、αは透明度情報である。

【0059】

次に、Ｓ３において、ボリュームレンダリング演算部５２が、ボクセル情報格納部１０に格納されているボクセル情報に基づいて、視線に対して垂直、かつ間隔が一定の複数のスライス情報を算出し、スライス情報群を取得する。そして、スライス情報群は、ボリュームレンダリング演算部５２内に少なくとも一時的に格納される。
なお、上述した視線に対して垂直なスライス情報とは、視線に対して直交する面を意味している。例えば、ディスプレイ２を鉛直方向に沿って立てた状態で、これと顔の面とを平行にした状態で見た場合に、スライス情報が視線に対して垂直な面となる。

【0060】

このようにして得られた複数のスライス情報は、上述したように、Ｉ（ｘ，ｙ，ｚ，α）で構成される点の情報を保有している。よって、スライス情報は、例えば、ボクセルラベルがＺ方向に複数枚配置されている。なお、ボクセルラベルの集合体は、ボクセルラベル格納部１１に収納されている。
次に、Ｓ４において、ディスプレイ２には、レンダリング像が表示される。このとき、ディスプレイ２では、マウス４等を用いてＣＴ値の範囲が指定されることで、ナビゲーション表示対象物となる骨や血管等が選択されて表示される。

【0061】

次に、Ｓ５において、ユーザからレジストレーションを実施するように指示を受け付けたか否かを判定する。ここで、レジストレーションの指示を受け付けた場合には、レジストレーションを実施するために、Ａ（Ｓ６）へ進む。一方、レジストレーションの指示を受け付けていない場合には、ナビゲーションを実施するように指示を受けたか否かを確認するＳ７へ移行する。

【0062】

Ｓ５においてレジストレーションの指示を受け付けている場合には、図８（ｂ）に示すフローに従って、レジストレーションを実施する。
すなわち、まず、Ｓ６１において、レジストレーションの特徴点となる位置を指示する。具体的には、体表面から位置が確認し易い骨の部分、例えば、第五棘突起、左右の腸骨等を特徴点とする。

【0063】

次に、Ｓ６２において、術者あるいは看護師等がセンサを持ったまま、手術台上に横たわる患者の体表面からそれらの特徴点に近い位置へ押し当てた状態とし、ディスプレイ２，１０２を見ながらセンサの位置を微調整してセンサ位置情報を取得する。
次に、Ｓ６３において、取得したセンサ位置を示す実空間座標系を、仮想空間座標系へ変換するための変換行列を算出する。

【0064】

座標変換行列は、仮想空間内において指定した特徴点３点（P_v1,P_v2,P_v3）、（P_v1,P_v2,P_v3）からなる三角形の重心を原点としたP_v0とセンサから取得した実空間内のオブジェクトに対し、対応する特徴点座標（P_r1,P_r2,P_r3）、（P_r1,P_r2,P_r3）からなる三角形の重心を原点としたP_r0から下記手順で求める。
まず、P_v0は、仮想空間内で指定した特徴点三角形の重心なので
P_v0＝（P_v1+P_v2+P_v3）／３ (1)
となる。この、仮想空間の原点ベクトルP_v0と特徴点３点P_v1,P_v2,P_v3から仮想空間における正規直交ベクトルを下記の手順で求める。

【0065】

１軸ベクトルV_v1を、
V_v1＝１／（│P_v2−P_v0│）×（P_v2−P_v0） (2)
と定義し、特徴点P_v2，P_v3を含む平面に直交するベクトルを３軸目として求めるための一時２軸ベクトルV_{v2_Tmp}を、
V_{v2_Tmp}=１／（│P_v3−P_v0│）×（P_v3−P_v0） (3)
と定義し、V_v1,V_{v2_Tmp}の外積をとって３軸ベクトルV_v3を、
V_v3=V_v1×V_{v2_Tmp} (4)
V_v3，V_v1の外積をとって２軸ベクトルV_v2を、
V_v2=V_v3×V_v1 (5)
と求める。

【0066】

同様の手順でP_r0は実空間の特徴点三角形の重心から
P_r0＝（P_r1+P_r2+P_r3）／３ (6)
となり、P_r0と特徴点３点P_r1,P_r2,P_r3から実空間の正規直交ベクトルV_r1,V_r2,V_r3を下記のように求める。
V_r1＝１／（│P_r2−P_r0│）×（P_r2−P_r0） (7)
V_{r2_Tmp}=１／（│P_r3−P_r0│）×（P_r3−P_r0） (8)
V_r3=V_r1×V_{r2_Tmp} (9)
V_r2=V_r3×V_r1 (10)
次に、本実施形態の主な特徴部分となる内容について説明する。具体的には、仮想空間と、実空間の正規直交ベクトルから、各空間座標への回転行列を求める。まず、仮想空間上の回転行列M_vは、
M_v=［V_v1 V_v2 V_v3］^T (11)
となり、実空間の回転行列M_rは、
M_r=［V_r1 V_r2 V_r3］^T (12)
となる。

【0067】

実空間座標系から仮想空間座標系への回転行列を求めるために、実空間座標系から実空間座標系への回転行列が必要となる。これは、実空間座標系の回転行列による変換の逆変換なので逆行列となる。この逆行列によって変換された実空間座標系に対して仮想空間座標系の回転行列による変換を行うことで、実空間座標系から仮想空間座標系への回転行列M_rotateが求まる。

【0068】

式で表すと下記(13)式のようになる。
M_rotate=M_v M_r^-1 (13)
スケーリング行列H_scaleは、実空間とＤＩＣＯＭデータは同一であると考えられるので仮想空間も同一になる。よって単位行列として定義する。
求まった回転行列M_rotate、スケーリング行列と平行移動分である仮想空間の原点P_v0により、実空間座標系から仮想空間座標系への変換行列H_tは下記のようになる。

【0069】

本実施形態では、この変換行列を用いて、３次元センサから取得した実空間座標を仮想空間座標に変換する。
なお、変換行列Ｈは、変換行列保持部２８内に複数保存されている。
次に、Ｓ６４において、レジストレーションの精度が十分か否かを判定する。ここで、レジストレーションの精度が所定の範囲内であることを確認できるまで、Ｓ６１〜Ｓ６４を繰り返し行う。そして、精度が所定の範囲内確認できた段階で終了する。

【0070】

つまり、Ｓ６４では、レジストレーションの精度が所定の範囲内にないことが分かった場合には、再度、レジストレーションの処理を実施して最初の結果を補正する。これにより、レジストレーション処理の精度を向上させることができる。
なお、レジストレーションの補正処理については、後段にて詳述する。
以上のように、Ｓ５においてレジストレーションの実施指示を受けた場合にはレジストレーションを実施後、あるいはレジストレーションの実施指示を受け付けていない場合にはそのままＳ７に移行する。

【0071】

次に、Ｓ７においては、手術中のナビゲーションを実施するように指示を受け付けている場合には、Ｂ（Ｓ８）へ進む。一方、ナビゲーションの実施指示を受け付けていない場合には、Ｓ３の処理に戻る。
すなわち、Ｓ８１において、術具位置・姿勢取得部２６が、位置・角度検出装置２９における検出結果に基づいて、術具３３の３次元位置および姿勢に関する情報を取得する。

【0072】

次に、Ｓ８２において、術具３３の３次元位置に基づいて、上述した変換行列Ｈを用いて、実空間座標系から仮想空間座標系へ変換する。
次に、Ｓ８３において、術具画像生成部５３が、術具パラメータ格納部２４から術具３３の長さ、形状等に関する各種パラメータを取得する。
次に、Ｓ８４において、術具画像生成部５３が、術具パラメータ格納部２４から術具のパラメータに基づいて、仮想的に、術具３３の３次元術具画像３３ａを生成する。

【0073】

次に、Ｓ８５において、術具先端位置情報取得部５５において術具３３の先端位置に関する情報が取得されたか否かを判定し、取得された場合にはＳ８６へ進む。
次に、Ｓ８６において、術具先端位置情報に基づいて、ボリュームレンダリング演算部５２によって生成された臓器や血管等を含む患者の３次元画像と、術具３３の３次元術具画像３３ａとを用いて、術具３３の先端位置が複数の視点群からの視線の交点Ｐ_t上にくるように重ね合わせて合成する。

【0074】

これにより、実際の術具３３の動きを位置角度センサ４１ａ，４１ｂによって検知して３次元画像上にリアルタイムで術具画像３３ａが立体的に表示されることで、術者は、ディスプレイ２，１０２に表示された３次元画像を見て、術具３３の先端と臓器や血管等との距離がどの程度の位置関係にあるのかを正確に認識することができる。よって、術者にとって有効な手術ナビゲーションを実施することができる。

【0075】

なお、術者に立体的に見せるための視差画像の生成について、図６を用いて説明すれば以下の通りである。
すなわち、仮想的な術具３３の術具画像３３ａを臓器等を含む３次元画像に重畳した状態でボリュームレンダリングを行うことで、以下のように生成することができる。
具体的には、右手座標系で説明すると、実空間において位置角度センサ４１ａ，４１ｂにおける検出結果に基づいて設定される術具先端座標をP_sとすると、実空間座標系から仮想空間座標系への変換行列H_tを用いて、仮想空間座標における術具先端位置P_tは、
P_t=H_tP_s (15)
となる。

【0076】

次に、術具先端位置P_tと、ユーザ操作によって定まるベースの視野設定による視点P_e0、同様に、ユーザ操作によって定まる視野の上方向を示す単位ベクトルV_upから術具先端に応じた視差画像を生成するための視点を以下のように生成していく。
術具先端までの視線を示す単位ベクトルV_eは、術具先端位置P_tと視点P_e0から、以下のように求められる。

【0077】

V_e＝１／（│P_t−P_e0│）×（P_t−P_e0） (16)
そして、視差画像生成に必要な視点を生成するための視点移動ベクトルV_mを、
V_m＝V_e×V_up (17)
として求め、各視差画像の視差量を示すパラメータdを使って視点を以下のように生成する。

【0078】

P_e-n＝P_e0−ndV_m
：
P_e-1＝P_e0−dV_m
P_e0＝P_e0 （18）
P_e+1＝P_e0＋dV_m
：
P_e+n＝P_e0+ndV_m
各視点からの視線は、視差0のポイントが術具３３の先端位置となるように、術具先端位置P_tから、以下のように生成する。

【0079】

V_e-n＝P_t−P_e-n
：
V_e-1＝P_t−P_e-1
V_e0＝P_t−P_e0 （19）
V_e+1＝P_t−P_e+1
：
V_e+n＝P_t−P_e+n
次に、上記視点P_e-n，・・・，P_e-1，P_e0，P_e+1，・・・,P_e+n、視線V_e-n，・・・，V_e-1，V_e0，V_e+1，・・・,V_e+n
と視野の上方向ベクトルV_upの設定から、各視野設定における視差画像をレンダリングする。

【0080】

レンダリングした各視差画像を表示手段に合わせて出力する。
なお、立体視画像の出力フォーマットとしては、P_e-1を左目視点L，P_e+1を右目視点Rとした２視点の視差画像であればよい。
具体的には、視差画像の作成方法としては、アナグリフ方式、サイドバイサイド方式、ラインバイライン方式、トップアンドボトム方式がある。これらの方式で作成された視差画像は、アナグリフ（赤・青）式、偏光式やアクティブシャッター式のメガネを用いることで立体視として認識することができる。また、サイドバイサイド方式、ラインバイライン方式、トップアンドボトム方式で作成された視差画像は、裸眼立体ディスプレイを用いることで立体視として認識することができる。

【0081】

ここで、Ｓ８７において、ディスプレイ２，１０２に表示される３次元画像について、図９（ａ）から図１０（ｂ）を用いて説明すれば以下の通りである。
図９（ａ）および図９（ｂ）は、腎臓Ｋを含むアナグリフ方式の立体視画像に対して、術具３３を近づけていく際の様子を示している。
すなわち、図９（ａ）に示すディスプレイ２，１０２のモニタ画面Ｍは、ナビゲーション画面として、腎臓Ｋの切削部位に対して、３次元の術具画像３３ａの先端３３ｂが手前側にある状態を示している。

【0082】

そして、図９（ｂ）に示すディスプレイ２，１０２のモニタ画面Ｍは、ナビゲーション画面として、図９（ａ）に示す状態から実際の術具３３の動きに連動して、腎臓Ｋの切削部位に向かって３次元の術具画像３３ａの先端３３ｂを移動させた状態を示している。
なお、図９（ａ）および図９（ｂ）に示す立体視画像は、例えば、右目用のレンズは青、左目用のレンズは赤に着色加工された３Ｄメガネを装着することで、立体的な画像として見ることができる。

【0083】

具体的には、図９（ａ）に示すディスプレイ２，１０２のモニタ画面Ｍでは、術具画像３３ａの先端３３ｂの位置、つまりディスプレイ２，１０２の表示画面の表面の位置に、複数の視線の交点Ｐ_t（図６参照）が設定されているため、術具画像３３ａの先端３３ｂよりも奥にある腎臓Ｋや血管Ｂ等を、術具画像３３ａよりも奥まった位置にあるように表示することができる。

【0084】

一方、図９（ｂ）に示すディスプレイ２，１０２のモニタ画面Ｍでは、実際の術具３３の動きに連動して術具画像３３ａの先端３３ｂが腎臓Ｋに近づくため、術具画像３３ａの先端３３ｂよりも手前側にある腎臓Ｋの周辺の血管Ｂ等は、ディスプレイ２，１０２の表示画面の表面から飛び出しているように表示することができる。
また、立体視の別の例としては、図１０（ａ）および図１０（ｂ）に示すように、裸眼でも立体的な画像を表示することが可能なラインバイライン方式が考えられる。

【0085】

なお、裸眼が立体視画像を表示する方式の場合には、２視点以上（好ましくは５視点）の立体視画像を表示することが好ましい。
この場合でも、上述したアナグリフ方式の立体視画像と同様に、術具３３の先端位置、つまりディスプレイ２，１０２の表示画面の表面を基準にして複数の視線の交点が設定されているため、術具画像３３ａの先端３３ｂよりも手前側にある血管Ｂ等については、表示画面の表面から飛び出しているように表示することができるとともに、先端３３ｂよりも奥にある腎臓Ｋ等については、表示画面の表面よりも奥まった位置にあるように表示することができる。

【0086】

［他の実施形態］
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。
（Ａ）
上記実施形態では、手術支援装置として本発明を実現した例を挙げて説明した。しかし、本発明はこれに限定されるものではない。

【0087】

例えば、図８（ａ）〜図８（ｃ）に示す手術支援方法をコンピュータに実行させる手術支援プログラムとして、本発明を実現してもよい。
（Ｂ）
上記実施形態では、術具３３の３次元位置と姿勢を検出して、臓器等を含む３次元画像中に実際の術具３３の動きに応じて移動する３次元術具画像を表示する例を挙げて説明した。しかし、本発明はこれに限定されるものではない。

【0088】

例えば、術具に加えて、内視鏡を用いた手術を実施する場合には、図１１に示すように、仮想内視鏡画像生成部５７を機能ブロックとして形成した手術支援装置１０１を用いてもよい。
この場合には、実際に内視鏡によって見える範囲を限定したナビゲーション画像を形成するために、図１２に示すように、仮想的な内視鏡画像データを生成すればよい。

【0089】

より詳細には、図１２に示すように、ディスプレイ２，１０２のモニタ画面Ｍでは、内視鏡によって制限された視野の中において、内視鏡焦点の近傍位置、つまりディスプレイ２，１０２の表示画面の表面の位置を基準にして、奥にある腎臓Ｋ等については奥まった位置にあるように視差画像を生成し、手前側にある血管Ｂ等については手前側に飛び出しているように視差画像を生成すればよい。

【0090】

なお、図１２に示すような仮想内視鏡画像を用いて手術ナビゲーションを実施する場合には、内視鏡の位置と内視鏡の特性に基づいて決定される内視鏡焦点の位置の近傍が、所定の視点群からの視線の交点上に配置されるように、術具画像３３ａを合成することが望ましい。
また、仮想内視鏡画像を用いた手術ナビゲーションでは、視野が限定されるため、内視鏡先端よりも手前側にある臓器や血管等は画面上から消えていくという特質がある。よって、上記実施形態の３次元画像、３次元術具画像と、仮想内視鏡画像とを組み合わせて表示させる場合には、内視鏡の先端よりも手前側にある臓器や血管については表示しない、あるいは半透明にして表示する等、実際の内視鏡画像に近い表示とすることが望ましい。

【0091】

（Ｃ）
上記実施形態では、３次元画像の表示方法として、実際に術具先端よりも手前にある臓器や血管等については、表示画面から手前に飛び出すように表示するとともに、術具先端よりも奥にある臓器や血管等については、表示画面から奥まった位置にあるように表示する例を挙げて説明した。しかし、本発明はこれに限定されるものではない。

【0092】

例えば、上記とは逆に、実際に術具先端よりも手前にある臓器や血管等については、表示画面から奥まった位置にあるように表示するとともに、術具先端よりも奥にある臓器や血管等については、表示画面から飛び出すように表示してもよい。
この場合には、術具を奥側（先端側）から見た３次元画像を表示することができるため、上記と同様の効果を得ることができる。

【0093】

（Ｄ）
上記実施形態では、術具３３の３次元位置および姿勢を検出するために、図７に示すように、術具３３の根元付近に位置角度センサ４１ａ，４１ｂを２つ取り付けた例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、位置角度センサの代わりに位置センサを用いる場合には、術具の根元付近に３つ取り付けることで、術具の３次元位置や姿勢を検出することが可能である。

【0094】

あるいは、術具の先端に取り付けることが可能であれば、術具先端に１つだけ位置角度センサを取り付けてもよい。
また、術具の先端位置を検出するためのセンサとしては、磁気センサに限らず、他のセンサを用いてもよい。
（Ｅ）
上記実施形態では、図９（ａ）および図９（ｂ）に示すように、３Ｄメガネを用いて立体画像を見るアナグリフ方式の３次元画像や、図１０（ａ）および図１０（ｂ）に示すように、裸眼立体視ディスプレイに表示されるラインバイライン方式の３次元画像を表示する例を挙げて説明した。しかし、本発明はこれに限定されるものではない。

【0095】

例えば、３Ｄメガネを用いる表示方式としては、上記アナグリフ方式以外にも、偏光方式やアクティブシャッター方式で表示される３次元画像を用いてもよい。
また、裸眼でも３次元画像が表示される表示の出力方式としては、上記ラインバイライン方式以外にも、左目用の画像と右目用の画像とを左右に並べて表示するサイドバイサイド方式や、上下に並べて表示するトップアンドボトム方式等を用いてもよい。

【産業上の利用可能性】

【0096】

本発明の手術支援装置は、実際の手術中において、術具先端と臓器、血管等との位置関係を正確に認識できるように表示することができるという効果を奏することから、各種手術を実施する際の手術支援装置として広く適用可能である。

【符号の説明】

【0097】

１ パーソナルコンピュータ（手術支援装置）
２ ディスプレイ（表示装置）
３ キーボード
４ マウス
５ タブレット
７ ボクセル情報抽出部
８ 断層画像情報部
９ メモリ
１０ ボクセル情報格納部
１１ ボクセルラベル格納部
１２ 色情報格納部
１６ バス
２０ ウィンドウ座標取得部
２１ 色情報設定部
２４ 術具パラメータ格納部
２５ 術具パラメータ設定部
２６ 術具位置・姿勢取得部
２７ レジストレーション演算部
２８ 変換行列保持部
２９ 位置・角度検出装置
３３ 術具
３３ａ 術具画像
３３ｂ 先端
３４ ＢＯＸ型トランスミッタ
４１ａ，４１ｂ 位置角度センサ
５１ 断層画像取得部
５２ ボリュームレンダリング演算部
５３ 術具画像生成部
５４ 画像合成部
５５ 先端位置情報取得部
５６ 表示制御部
５７ 仮想内視鏡画像生成部
１００ 手術支援システム
１０１ 手術支援装置
１０２ 液晶ディスプレイ（表示装置）
Ｂ 血管
Ｋ 腎臓
Ｍ モニタ表示画面

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】