【実施例】
【0023】
図1は、本発明の一実施例である医用観察支援システム10(以下、単にシステム10という)の構成を例示する図である。この
図1に示すように、本実施例のシステム10は、本体装置(計算機)であるコンピュータ12と、位置情報取得装置14と、観察対象となる臓器の3次元模型16とを、備えている。前記位置情報取得装置14には種々の形態が考えられ、
図3〜
図5等を用いて後述する。前記3次元模型16については、観察対象となる臓器の3次元画像データの説明と併せて後述する。
【0024】
前記コンピュータ12は、中央演算処理装置であるCPU20と、読出専用メモリであるROM22と、随時書込読出メモリであるRAM24と、記憶装置26と、入力装置28と、映像表示装置30と、入力インターフェイス32とを、備えて構成されている。前記CPU20は、前記RAM24の一時記憶機能を利用しつつ前記ROM22に予め記憶された所定のプログラムに基づいて電子情報を処理・制御する所謂マイクロコンピュータである。
【0025】
前記記憶装置26は、情報を記憶可能なハードディスクドライブ等の公知の記憶装置(記憶媒体)である。小型メモリカードや光ディスク等の着脱式記憶媒体であってもよい。前記入力装置28は、キーボードやマウス等の公知の入力デバイスである。前記映像表示装置30は、TFT(Thin Film Transistor Liquid Crystal)等の公知の表示装置(ディスプレイ)である。前記入力インターフェイス32は、後述する位置情報取得装置14から入力される信号を前記CPU20へ供給する公知の入力インターフェイスである。
【0026】
図2は、前記システム10に備えられた制御機能の一例の要部を説明する機能ブロック線図である。この
図2に示す画像表示部50、位置判定部62、対応付制御部64、及び距離算出部66は、好適には、何れも前記コンピュータ12のCPU20に機能的に備えられたものであるが、各制御部が個別に複数のCPUやコンピュータに設けられると共に相互に通信が可能に構成されたものであってもよい。
【0027】
図2に示すように、前記コンピュータ12に備えられた記憶装置26には、画像データベース68が設けられている。この画像データベース68には、公知のX線CT(Computed Tomography)装置や磁気共鳴映像(MRI;Magnetic Resonance Imaging)装置等によって予め得られた被検体の3次元画像データが記憶される。この3次元画像データは、少なくとも前記システム10の観察対象である臓器の3次元画像データを含む。前記3次元画像データは、X線CTにより得られたものにおいては、被検体に対して多方向からX線を照射し、被検体を透過してきたX線を検出器で検出して、透過X線量の情報をコンピュータで処理して3次元画像として再構成したものである。前記画像データベース68には、例えば、X線CTや磁気共鳴装置等により得られた被検体の3次元濃淡画像、換言すれば被検体の単位体積であるボクセル毎の画素値(濃度値)が記憶される。
【0028】
前記3次元模型16は、前記画像データベース68に記憶された前記臓器の3次元画像データに基づいて、公知の3次元造型装置により作成されたものである。例えば、前記臓器の3次元画像データに基づいて、公知の立体プリンタ(3Dプリンタ)により前記臓器の形状を模造するように(すなわち、略同一の形状となるように)作成された3次元臓器モデル(レプリカ)である。前記3次元模型16は、好適には、観察対象となる臓器である肝臓の3次元画像データに基づいて作成された、その肝臓の3次元模型である。好適には、観察対象となる実物の臓器と同じ大きさ(実物大サイズ)に作成されたものであるが、取り扱いのし易さ等を考慮し、実物の臓器の大きさに対して拡大又は縮小して作成されるものであってもよい。この場合、前記3次元模型16の前記実物の臓器に対する拡大率又は縮小率は前記コンピュータ12に入力される。前記3次元模型16を入力インターフェイスとして用いた場合の距離或いは長さ等の測定結果は、前記拡大率又は縮小率に基づいて、前記実物の臓器の大きさに変換(換算)されて前記映像表示装置30に表示される。好適には、臓器内部の血管や腫瘍等の病変部位が有色の材料で、周囲の組織が無色の透明材料でそれぞれ構成されたものである。前記3次元模型16には、後述する対応付制御部64による対応付けの基準となる複数(少なくとも3カ所)の基準位置が予め定められている。例えば、前記複数の基準位置にそれぞれ既定の深さの凹部(穴部)が形成されている。前記3次元模型16の造型に際して、前記複数の基準位置それぞれに後述するマーカが前記3次元模型16と一体的に造型されたものであってもよい。
【0029】
前記システム10は、前記3次元模型16を指し示すために用いられる指示部を備えている。この指示部としては、鉗子の先端部、施術者の指先(例えば、人差指の指先)、棒状のポインタ(ポインティングデバイス)の先端部等、種々の態様が考えられる。すなわち、前記指示部は、既定の器具における一部であってもよいし、人体の一部であってもよい。例えば、以下に詳述するように、前記指示部であることを示すマーカが取り付けられた部位、或いはその位置と既定の関係にある部位が、前記指示部に相当する。
【0030】
前記3次元模型16には、好適には、複数(少なくとも3つ)のマーカが取り付けられている。例えば、予め定められた複数の前記基準位置それぞれに、各基準位置であることを示すマーカが取り付けられている。前記指示部には、好適には、少なくとも1つのマーカが取り付けられている。例えば、予め指示部として定められた鉗子の先端部、施術者の指先、或いは棒状のポインタの先端部等に、前記指示部であることを示すマーカが取り付けられている。前記システム10は、前記マーカの位置を検出するマーカ検出装置を備えている。以下、
図3〜
図5等を用いて、前記指示部、前記マーカ、及び前記マーカ検出装置の具体例を説明する。
【0031】
図3は、前記システム10において、前記マーカとして2次元コード34、36を備え、施術者の指先70が前記指示部に相当する態様を概略的に示す図である。
図10は、前記3次元模型16の一構成例を撮影した写真である。これらの図に示す態様において、前記3次元模型16は、有色の材料で構成された血管に相当する部分16a、同じく有色(好ましくは部分16aとは異なる色)の材料で構成された病変部位に相当する部分16b、及び透明(好ましくは無色透明)の材料で構成された周囲の組織に相当する部分16cを備えている(以下の説明に用いる
図4及び
図5等において同じ)。前記3次元模型16(部分16c)の表面には、基準位置であることを示す複数(
図3では3つ)の2次元コード34が取り付けられている。例えば、予め印刷された2次元コード34が、前記3次元模型16において予め定められた複数の前記基準位置それぞれに貼り付けられている。前記複数の2次元コード34は、
図3においては特に区別していないが、前記3次元模型16におけるそれぞれの基準位置に対応してそれぞれ異なる情報を表すもの(異なったコードのマーカ)とされている。前記システム10を用いて臓器の観察を行う施術者の指先(例えば、人差指の指先)70には、前記指示部であることを示す2次元コード36が取り付けられている。好適には、予め印刷された2次元コード36が前記施術者の指先70に貼り付けられている。この2次元コード36は、少なくとも前記3次元模型16に取り付けられた前記2次元コード34とは異なるものである。ここで、前記指示部の1次元的な位置(点としての位置)を判定すれば足りる態様においては、
図3に示すように1つの2次元コード36が前記施術者の指先70に取り付けられれば足りるが、前記指示部の指し示す方向(すなわち指向する方向)を判定する態様において、好ましくは、その指示部に2つ以上の2次元コード36が取り付けられる。例えば、前記施術者の指先70及び指の根本に、それぞれ2次元コード36が取り付けられる。或いは、前記指示部に対して予め方向を定めて前記2次元コード36を取り付けることで、1つの2次元コード36から前記指示部の指し示す方向を判定すると共に、撮影された画像中における前記2次元コード36の大きさ等に基づいて後述する撮像装置38からの距離を判定するものであってもよい。前記二次元コードとは、例えば日本工業規格「JIS X 0510」に規定されたQRコード(登録商標)のように、二次元(平面)的な図形からなる情報表現符号である。
【0032】
図3に示す態様において、前記システム10は、前記2次元コード34、36を撮影する撮像装置38を備えている。この撮像装置38としては、撮影された画像に対応する電子データ(画像データ)を前記位置情報取得装置14に入力し得る公知のデジタルカメラが用いられる。或いは、A/Dコンバータを備えたアナログカメラ等が用いられてもよい。前記撮像装置38は、前記位置情報取得装置14に接続されており、前記撮像装置38により撮影された画像(映像)が、前記位置情報取得装置14に入力されるように構成されている。
図3においては、前記撮像装置38と前記位置情報取得装置14とが別体の装置として構成された態様を図示しているが、前記撮像装置38が前記位置情報取得装置14に内蔵されたものであってもよい。前記撮像装置38が前記コンピュータ12に内蔵されたものであってもよい。前記位置情報取得装置14は、好適には、前記2次元コード34、36を識別する公知の2次元コードリーダを備えている。以下に詳述する位置判定部62が2次元コードリーダとしての機能を備えたものであってもよい。
図3に示す態様においては、前記撮像装置38及び前記位置情報取得装置14が前記マーカ検出装置に相当する。
【0033】
前記位置判定部62は、前記位置情報取得装置14により取得される位置情報に基づいて、前記3次元模型16において、前記指示部が指し示す模型上位置を判定する。この模型上位置とは、前記3次元模型16の表面(部分16cの表面)における位置に対応し、好適には、その表面における1点の座標である。或いは、前記3次元模型16上の位置のみならず、前記3次元模型16が置かれる画像空間上の任意の位置であってもよい。前記3次元模型16の表面における位置に加え、前記3次元模型16に対する前記指示部の方向(指示部が3次元模型16を指し示す相対的な方向)をも判定するものであってもよい。前記位置判定部62は、好適には、前記マーカ検出装置による検出結果に基づいて、前記模型上位置を判定する。本実施例においては、前記マーカ検出装置により常に3つ以上のマーカを読み取ることができるように、前記複数のマーカが配置されている。
図3に示す態様では、前記撮像装置38により前記複数の2次元コード34が撮影され、前記位置情報取得装置14に備えられた2次元コードリーダにより読み取られると、前記撮像装置38に対する前記複数の2次元コード34の位置及び方向が特定される。これにより、前記3次元模型16における前記複数の基準位置の、前記撮像装置38に対する位置及び方向が判定される。前記撮像装置38により前記2次元コード36が撮影され、前記位置情報取得装置14に備えられた2次元コードリーダにより読み取られると、前記撮像装置38に対する前記2次元コード36の位置及び方向が特定される。これにより、前記撮像装置38に対する前記施術者の指先70の位置及び方向が判定される。前記撮像装置38に対する位置及び方向から、前記3次元模型16に対する前記施術者の指先70の相対的な位置が判定される。すなわち、前記3次元模型16において、前記施術者の指先70が指し示す模型上位置が判定される。
【0034】
図3に示す態様では、前記撮像装置38により前記複数の2次元コード34が撮影され、前記位置情報取得装置14に備えられた2次元コードリーダにより読み取られると、既定の方向(例えば、鉛直方向)を基準とする前記3次元模型16の姿勢が特定される。例えば、前記3次元模型16において予め定められた前記複数の基準位置の、鉛直方向に対する傾きによって、鉛直方向を基準とする前記3次元模型16の姿勢が特定される。すなわち、
図3に示す態様においては、前記2次元コード34、前記撮像装置38、及び前記位置情報取得装置14が、既定の方向を基準とする前記3次元模型16の姿勢を検出する姿勢センサとして機能する。
【0035】
図4は、前記システム10において、前記マーカとして磁気式位置センサ40、42を備え、ポインタの先端部72が前記指示部に相当する態様を概略的に示す図である。
図4に示す態様において、前記3次元模型16(部分16c)の表面には、基準位置であることを示す複数(
図4では1つのみを例示)の磁気式位置センサ40が取り付けられている。例えば、前記磁気式位置センサ40が、前記3次元模型16において予め定められた複数の前記基準位置それぞれに取り付けられている。棒状の部材である前記ポインタの先端部72には、磁気式位置センサ42が取り付けられている。前記磁気式位置センサ40、42は、前記位置情報取得装置14に有線接続されている。或いは、無線により接続されたものであってもよい。前記磁気式位置センサ40、42は、公知の磁気式位置センサであり、例えば、各磁気式位置センサ40、42とは別に図示しない発信機が設けられ、その発信機から発信される磁気信号を各磁気式位置センサ40、42が受信することにより各磁気式位置センサ40、42から5次元の情報すなわち3次元の位置情報及び2次元の方向情報が取得され、前記位置情報取得装置14に供給されるようになっている。
図4に示す態様においては、前記位置情報取得装置14が前記マーカ検出装置に相当する。
【0036】
図4に示す態様では、前記複数の磁気式位置センサ40それぞれに対応する位置情報及び方向情報が前記位置情報取得装置14に供給されると、前記発信機に対する前記複数の磁気式位置センサ40の位置及び方向が特定される。これにより、前記3次元模型16における前記複数の基準位置の、前記発信機に対する位置及び方向が判定される。前記磁気式位置センサ42に対応する位置情報及び方向情報が前記位置情報取得装置14に供給されると、前記発信機に対する前記磁気式位置センサ42の位置及び方向が特定される。これにより、前記発信機に対する前記ポインタの先端部72の位置及び方向が判定される。前記発信機に対する位置及び方向から、前記3次元模型16に対する前記ポインタの先端部72の相対的な位置が判定される。すなわち、前記3次元模型16において、前記ポインタの先端部72が指し示す模型上位置が判定される。
【0037】
図4に示す態様では、前記複数の磁気式位置センサ40それぞれに対応する位置情報及び方向情報が前記位置情報取得装置14に供給されると、既定の方向(例えば、鉛直方向)を基準とする前記3次元模型16の姿勢が特定される。すなわち、
図4に示す態様においては、前記磁気式位置センサ40及び前記位置情報取得装置14が、既定の方向を基準とする前記3次元模型16の姿勢を検出する姿勢センサとして機能する。
【0038】
前記システム10は、前記マーカとして光学式マーカを備えたものであってもよい。例えば、
図3又は
図4を用いて前述した態様において、前記2次元コード34、36或いは前記磁気式位置センサ40、42が光学式マーカに置換されたものであってもよい。この光学式マーカとしては、近赤外線を放出するLEDをはじめとする発光素子、或いは光を反射する反射マーカ等が好適に用いられる。斯かる態様においては、近赤外線を検出する近赤外カメラ等、前記光学式マーカの位置及び方向を検出するマーカ検出装置が備えられる。そのマーカ検出装置により検出された各光学式マーカの位置及び方向が前記位置情報取得装置14に供給され、前述と同様の手法により、前記3次元模型16に対する前記指示部の相対的な位置が判定される。すなわち、前記3次元模型16において、前記指示部が指し示す模型上位置が判定される。
【0039】
図5は、前記システム10において、姿勢センサとしてのジャイロセンサ44が前記3次元模型16に取り付けられた態様を概略的に示す図である。
図5に示す態様において、前記3次元模型16には、姿勢センサとしてのジャイロセンサ44が取り付けられている。このジャイロセンサ44は、既定の方向(例えば、鉛直方向)に対する角度及び方向を検出する公知のジャイロセンサである。
図5に示す態様において、前記位置情報取得装置14は、前記ジャイロセンサ44による検出結果を無線により受信する受信部として機能する。前記ジャイロセンサ44による検出結果が前記位置情報取得装置14に供給されると、前記既定の方向を基準とする前記3次元模型16の姿勢が特定される。
図5に示す態様において、前記3次元模型16に対する前記指示部の相対的な位置を判定するためには、更に別のマーカが前記3次元模型16に取り付けられる。例えば、
図3を用いて前述した前記2次元コード34或いは
図4を用いて前述した前記磁気式位置センサ40等が、前記3次元模型16に取り付けられる。ここで、前記3次元模型16が前記ジャイロセンサ44を備えた態様においては、
図3又は
図4を用いて先述した態様に比べて少ない数のマーカにより、前記3次元模型16に対する前記指示部の相対的な位置を判定することができる。
【0040】
以上、
図3〜
図5を用いて、前記システム10における前記指示部、前記マーカ、及び前記マーカ検出装置の具体例を説明したが、他の態様も考えられる。例えば、前記3次元模型16の表面(すなわち、前記部分16cの表面)に接触式位置センサを備え、前記3次元模型16に対する前記指示部の接触位置を前記接触式位置センサにより検出するものであってもよい。斯かる態様においては、前記接触式位置センサによる検出結果に基づいて、前記3次元模型16に対する前記指示部の相対的な位置が判定される。すなわち、前記3次元模型16において、前記指示部が指し示す模型上位置が判定される。或いは、超音波発信器を備え、その超音波発信器が発する超音波を複数のセンサで受信し、その時間差に応じて位置を検出する超音波検出装置により、前記3次元模型16に対する前記指示部の相対的な位置が判定されるものであってもよい。或いは、電波を発するアクティブタイプの無線タグを備えたRFID(Radio Frequency Identification)システムが、前記マーカ及び前記マーカ検出装置として用いられるものであってもよい。
【0041】
図6は、前記ジャイロセンサ44が取り付けられた前記3次元模型16が袋部材74に封入された様子を例示する図である。前記システム10は、好適には、滅菌済みの袋部材74を備えている。この袋部材74は、ビニル樹脂等から成る無色透明な袋であり、手術室内に持ち込むことができる程度の滅菌処理が施されている。前記3次元模型16及び前記ジャイロセンサ44は、前記袋部材74に封入された状態で手術室内に持ち込まれ、前記システム10における観察支援に用いられる。前記3次元模型16及び前記ジャイロセンサ44が前記袋部材74に封入された後、その袋部材74内部の空気が抜かれた所謂真空パック様の状態で用いられるものであってもよい。
図3を用いて前述した前記2次元コード34或いは
図4を用いて前述した前記磁気式位置センサ40等が取り付けられた前記3次元模型16が、前記2次元コード34或いは前記磁気式位置センサ40と共に前記袋部材74に封入された状態で用いられるものであってもよい。
【0042】
前記画像表示部50は、図示しないグラフィックスプロセッサ等を介して、前記システム10による制御に係る各種画像(映像)を前記映像表示装置30に表示させる。前記画像表示部50は、前記画像データベース68に記憶された前記臓器の3次元画像データに基づいて、前記臓器の画像を生成して前記映像表示装置30に表示させる。斯かる処理を行うため、前記画像表示部50は、
図2に示すように、3次元仮想画像表示部52、断層画像表示部54、指示位置表示部56、切開線表示部58、及び距離表示部60を備えている。
【0043】
前記3次元仮想画像表示部52は、前記画像データベース68に記憶された前記臓器の3次元画像データに基づいて、前記臓器の3次元仮想画像を生成して前記映像表示装置30に表示させる。この臓器の3次元仮想画像は、前記臓器全体の形状を示す像であり、好適には、前記臓器の外形像である。すなわち、前記3次元仮想画像表示部52は、好適には、前記3次元画像データに基づいて前記臓器の外形(例えば、任意の方向から視た外観を表す像)を示す図像を表示させる。すなわち、前記システム10による観察対象である臓器に対応して予め得られて前記画像データベース68に記憶された3次元画像データを読み出し、例えばボリュームレンダリング法或いはサーフェスレンダリング法等の公知の技術によりその3次元画像データに基づいて前記臓器の外形像を生成して前記映像表示装置30に表示させる。
図3〜
図5及び
図7においては、前記臓器の3次元画像データに基づいて生成された、その臓器の3次元仮想画像80が前記映像表示装置30に表示された様子を例示している。
【0044】
前記断層画像表示部54は、前記画像データベース68に記憶された前記臓器の3次元画像データに基づいて、指定された位置又は切断線において前記臓器の断層画像を生成して前記映像表示装置30に表示させる。この臓器の断層画像は、前記臓器の断面を示す像である。予めX線CT装置等により得られた断層画像がそのまま表示されるものであってもよいし、3次元画像データに基づいて生成される仮想的な断面に相当する画像であってもよい。すなわち、前記断層画像表示部54は、前記システム10による観察対象である臓器に対応して予め得られて前記画像データベース68に記憶された3次元画像データを読み出し、公知の技術によりその3次元画像データに基づいて前記臓器の断面を示す像を生成して前記映像表示装置30に表示させる。
図7においては、前記臓器の3次元画像データに基づいて生成された、その臓器の断層画像86が前記映像表示装置30に表示された様子を例示している。
【0045】
前記対応付制御部64は、前記3次元模型16において前記指示部が指し示す模型上位置を、前記映像表示装置30に表示される前記臓器の画像における位置又は当該位置に関連する関連情報に対応付ける。すなわち、前記3次元模型16及び前記指示部に対応する座標系と、前記映像表示装置30に表示される前記臓器の画像に対応する座標系とを対応付ける座標系レジストレーション処理を行う。座標系の対応付けではなく、臓器における複数の特徴点に基づいて、それら特徴点の位置関係が前記3次元模型16と前記映像表示装置30に表示される前記臓器の画像とで一致するように対応付けが行われるものであってもよい。前記対応付制御部64は、好適には、前記模型上位置を、前記3次元仮想画像表示部52により表示される前記臓器の3次元仮想画像80における位置に対応付ける。好適には、前記模型上位置を、前記断層画像表示部54により表示される前記臓器の断層画像86における位置に対応付ける。以下、前記対応付制御部64による対応付けに係る具体的なアルゴリズムの一例を説明する。
【0046】
前記システム10における、前記指示部に対応する座標系と前記臓器の画像に対応する座標系との対応付け(座標系レジストレーション)について説明する。前記指示部に対応する座標系をL、前記指示部に取り付けられた前記マーカに対応する座標系をM、前記マーカを検出するマーカ検出装置(例えば、位置情報取得装置14或いは撮像装置38等)に対応する座標系をP、前記臓器の画像に対応する座標系をIとする。例えば
図3のように前記指示部のマーカと前記3次元模型16のマーカとが共通する撮像装置によって撮影される場合等は、両者の座標系L、Mは共通するものとなる。前記座標系Lと前記座標系Mとが実質的に同一である場合には、以下に説明する座標系Lから座標系Mへの変換は行われなくともよい。前記座標系Lから前記座標系Mへの変換行列をT
ML、前記座標系Mから前記座標系Pへの変換行列をT
PM、前記座標系Pから前記座標系Iへの変換行列をT
IPとすると、前記指示部に対応する座標系Lにおける座標p
Lは、次の(1)式に示すように、前記変換行列T
ML、T
PM、T
IPを用いて前記臓器の画像に対応する座標系Iにおける座標p
Iに変換される。すなわち、前記座標系Lにおける座標p
Lは、次の(1)式により前記座標系Iにおける座標p
Iに対応付けられる。剛体の座標変換は、回転及び平行移動を要素とする。このため、変換行列Tによる座標pの変換は、回転行列R及び変換ベクトルtを用いて次の(2)式のように表される。
p
I=T
IPT
PMT
MLp
L ・・・(1)
Tp=Rp+t ・・・(2)
【0047】
前記システム10において、前記指示部に対応する位置及び方向(例えば、ポインタの先端部の位置及び方向)と、前記指示部に取り付けられたマーカの位置及び方向(例えば、ポインタにおけるマーカの取り付け位置及び方向)との関係は予め定められている。この関係が、前記座標系Lから前記座標系Mへの変換行列T
MLに相当する。前記マーカ検出装置により、前記指示部に取り付けられたマーカの位置及び方向に相当する情報が取得される。この情報により、前記座標系Mから前記座標系Pへの変換行列T
PMが定まる。すなわち、前記指示部に取り付けられたマーカの位置及び方向に相当する情報を前記マーカ検出装置により検出することで、前記指示部に対応する座標系Lにおける座標p
Lを、前記マーカ検出装置に対応する座標系Pにおける座標p
Pに変換できる。前記マーカ検出装置に対応する座標系Pにおける座標p
Pは、次の(3)式に示すように、前記変換行列T
IPを用いて前記臓器の画像に対応する座標系Iにおける座標p
Iに変換される。
p
I=T
IPp
P ・・・(3)
【0048】
前記マーカ検出装置に対応する座標系Pから前記臓器の画像に対応する座標系Iへの変換は、例えば、それぞれの座標系における基準位置を一致させることにより実現される。好適には、前記臓器の画像に対応する座標系Iにおいて、前記指示部に対応する座標系Lとの対応付けに係る基準位置が予め定められている。この基準位置は、前記3次元模型16に定められた基準位置の何れかであることが好ましい。前記3次元模型16において、前記指示部が前記基準位置を指し示している場合において、前記マーカ検出装置に対応する座標系Pにおける基準位置と、前記臓器の画像に対応する座標系Iにおける基準位置とを一致させる対応付けを行うことで、前記座標系Pから前記座標系Iへの変換行列T
IPが定まる。例えば、前記マーカ検出装置に対応する座標系Pにおける基準位置の座標をpi、前記臓器の画像に対応する座標系Iにおける基準位置の座標をqi、基準位置の数をNとして、次の(4)式を満たす変換行列T
*が、前記変換行列T
IPに相当する。
【数1】
【0049】
以上、前記指示部に対応する座標系Lと前記臓器の画像に対応する座標系Iとの対応付けについて説明したが、前記3次元模型16に対応する座標系と前記臓器の画像に対応する座標系Iとの対応付けも、前記と同様のアルゴリズムにより実現される。すなわち、前記と同様のアルゴリズムにより、前記3次元模型16において予め定められた複数の基準位置と、前記臓器の画像に対応する座標系Iにおいて予め定められた複数の基準位置とを、前記座標系L及びIの相互間で一致させることにより実現される。前記指示部に対応する座標系Lと前記臓器の画像に対応する座標系Iとが対応付けられ、且つ、前記3次元模型16に対応する座標系と前記臓器の画像に対応する座標系Iとが対応付けられることで、前記3次元模型16において前記指示部が指し示す模型上位置を、前記画像表示部50により表示される前記臓器の画像に対応付けることができる。
【0050】
前記距離算出部66は、前記対応付制御部64による対応付けの結果に基づいて、前記画像表示部50により表示される前記臓器の画像における、前記3次元模型16において前記指示部が指し示す模型上位置に対応する距離を算出する。具体的には、前記画像データベース68に記憶された前記臓器の3次元画像データに基づいて前記距離を算出する。前記距離算出部66は、好適には、前記臓器の画像における、前記3次元模型16において前記指示部が指し示す主要な血管の距離(血管の長さ)を算出する。この主要な血管とは、前記指示部が指し示す方向(臓器の内部)に存在する動脈又は静脈であり、例えば一般に解剖学的名称がつけられた血管である。前記距離算出部66は、好適には、前記臓器の画像における、前記3次元模型16において前記指示部が指し示す模型上位置と前記臓器における病変部位との距離を算出する。前記距離算出部66は、好適には、前記臓器の画像における、前記3次元模型16において前記指示部が指し示す複数の模型上位置(例えば、続けて指し示された2点)相互間の距離を算出する。
【0051】
前記画像表示部50は、前記対応付制御部64による対応付けの結果に基づいて、前記3次元模型16において前記指示部が指し示す模型上位置を、前記臓器の画像に反映させる。すなわち、前記3次元模型16において前記指示部が指し示す模型上位置の変化に応じて、前記映像表示装置30に表示される前記臓器の画像を変化させる。或いは、前記映像表示装置30に表示される前記臓器の画像に付加的な画像(数値等のテキストを含む)を合成表示させる。この場合、前記付加的な画像等が位置に関連する関連情報に該当する。
【0052】
前記距離表示部60は、前記距離算出部66により算出された距離を前記映像表示装置30に表示させる。好適には、前記映像表示装置30に表示される前記臓器の画像に、前記距離算出部66により算出された距離に対応する数値を合成表示させる。前記距離算出部66が、前記3次元模型16において前記指示部が指し示す血管の長さを算出する態様においては、前記臓器の画像において対象となる血管を示すと共に、前記血管の長さを表す数値を合成表示させる。前記距離算出部66が、前記3次元模型16において前記指示部が指し示す模型上位置と前記臓器における病変部位との距離を算出する態様においては、前記臓器の画像において対象となる病変部位を示すと共に、前記距離を表す数値を合成表示させる。前記距離算出部66が、前記3次元模型16において前記指示部が指し示す複数の模型上位置相互間の距離を算出する態様においては、前記臓器の画像において前記指示部が指し示す複数の位置を示すと共に、前記距離を表す数値を合成表示させる。この場合、当該数値が位置に関連する関連情報に該当する。
【0053】
前記3次元仮想画像表示部52は、前記位置情報取得装置14或いは前記ジャイロセンサ44等により取得される前記3次元模型16の姿勢情報に基づいて、前記映像表示装置30に表示される前記3次元仮想画像80の姿勢を変更する。すなわち、前記位置情報取得装置14或いは前記ジャイロセンサ44等による検出結果に基づいて前記位置判定部62により判定される、既定の方向(例えば、鉛直方向)を基準とする前記3次元模型16の姿勢の変化に基づいて、前記映像表示装置30に表示される前記3次元仮想画像80の姿勢(方向及び角度)を変更する。
【0054】
前記切開線表示部58は、前記3次元模型16において前記指示部が指し示す模型上位置の推移に応じた切開線82を、前記映像表示装置30に表示される前記3次元仮想画像80に合成表示させる。例えば、
図3に示す態様において、前記指示部としての施術者の指先70が破線で示す位置から実線で示す位置まで推移した(3次元模型16の表面をなぞった)場合、その軌跡は前記3次元模型16上に太い破線で示すものとなる。この場合、
図3に示すように、前記軌跡に対応する切開線82を生成して前記3次元仮想画像80に合成表示させる。この場合、当該切開線82が位置に関連する関連情報に該当する。或いは、前記3次元仮想画像80を、前記切開線82に対応する面で切断した、前記臓器の断面(切開面)を示す仮想断層画像を生成し、前記映像表示装置30に表示させるものであってもよい。
【0055】
図7は、前記システム10が前記臓器の手術の場で実際に用いられる様子を模式的に示す図である。
図7においては、被験者(被験体)90における肝臓90aの手術に係る執刀医92が、前記肝臓90aの3次元画像データに基づいて作成された前記3次元模型16を手に持ち、鉗子の先端部76によりその3次元模型16を指し示す態様を例示している。すなわち、
図7に示す態様においては、前記鉗子の先端部76が前記指示部に相当する。前記手術に係る助手94及び看護師96は、前記執刀医92の説明を聞きながら前記映像表示装置30の表示を注視している。前記映像表示装置30には、前記肝臓90aの3次元画像データに基づいて生成された前記3次元仮想画像80及び前記断層画像86が表示されている。
【0056】
前記指示位置表示部56は、前記3次元模型16において前記指示部が指し示す模型上位置を、前記3次元仮想画像80に反映させる。例えば、
図4に示す態様においては、前記指示部としてのポインタの先端部72が指し示す模型上位置に対応する、前記3次元仮想画像80における位置を表す目印84を、その3次元仮想画像80の前面側に合成表示させている。
図7に示す態様においては、前記指示部としての鉗子の先端部76が指し示す模型上位置に対応する、前記3次元仮想画像80における位置を表す目印84を、その3次元仮想画像80の前面側に合成表示させている。この場合、当該目印84が位置に関連する関連情報に該当する。
図4及び
図7においては、前記目印84を星印で示している。前記指示位置表示部56は、前記位置判定部62により判定される前記模型上位置の変化に基づいて、前記3次元仮想画像80に対する前記目印84の相対位置を変更する。
【0057】
前記断層画像表示部54は、前記3次元模型16において前記指示部が指し示す模型上位置を含む断面に相当する断層画像86を表示させる。すなわち、前記臓器の3次元画像データに基づいて表示可能な断層画像86のうち、前記模型上位置を含む断面に相当する断層画像86を選択して表示させる。前記指示位置表示部56は、前記3次元模型16において前記指示部が指し示す模型上位置を、前記断層画像86に反映させる。例えば、
図7に示す態様においては、前記指示部としての鉗子の先端部76が指し示す模型上位置に対応する、前記断層画像86における位置を表す目印88を、その断層画像86の前面側に合成表示させている。
図7においては、前記目印88を星印で示している。前記指示位置表示部56は、前記位置判定部62により判定される前記模型上位置の変化に基づいて、前記断層画像86に対する前記目印88の相対位置を変更する。
【0058】
図9は、前記画像表示部50により前記映像表示装置30に表示される前記3次元仮想画像80及び前記断層画像86の具体例を示す図である。
図9に示す例では、対象となる臓器の病変部位(腫瘍等)を、前記3次元仮想画像80においては部位80bで、前記断層画像86においては部位86bで、それぞれ示している。前記3次元模型16において前記指示部が指し示す模型上位置の推移に応じた切開線82が、前記3次元仮想画像80の前面側に合成表示されている。更に、前記指示部を示すポインタ画像98が前記3次元仮想画像80の前面側に合成表示されている。前記3次元模型16において前記指示部が指し示す模型上位置の推移に応じて、前記ポインタ画像98の前記3次元仮想画像80に対する位置が変化させられる。前記3次元模型16において前記指示部が指し示す模型上位置を表すx座標線100x及びy座標線100yが、前記断層画像86の前面側に合成表示されている。前記x座標線100x及びy座標線100yは、前記断層画像86に対応する平面内における、前記模型上位置のx座標及びy座標にそれぞれ対応し、その交点が前記模型上位置に相当する。更に、
図9に示す例では、前記断層画像86に対応する平面内における、前記模型上位置のxy座標(x1,y1)を示すテキスト102が、前記断層画像86の前面側に合成表示されている。
【0059】
以上に説明したように、本実施例のシステム10は、前記3次元模型16を入力インターフェイスとして用い、前記映像表示装置30に表示される前記3次元仮想画像80及び前記断層画像86等とのインタラクションを可能とする。前記3次元模型16と、前記3次元仮想画像80及び前記断層画像86とは、共通の3次元画像データに基づいて、その3次元画像データをそれぞれ異なる態様で具現化した臓器モデルである。すなわち、前記3次元模型16は、前記3次元画像データを触覚的に確認可能に具現化した、前記臓器と同じ形状(実体)を有する現実化臓器モデルである。前記3次元仮想画像80及び前記断層画像86は、前記3次元画像データを視覚的に確認可能に具現化した、前記臓器と同じ形状情報及び詳細な構造情報を有する仮想化臓器モデルである。現実化臓器モデルとしての前記3次元模型16を用いての操作に、仮想化臓器モデルとしての前記3次元仮想画像80及び前記断層画像86等の表示を同期させることで、実空間上における前記臓器の形状を触覚にて確認しつつ、その臓器における各部の距離や仮想的な断面等を仮想空間上において視認できる。すなわち、現実化臓器モデル及び仮想化臓器モデルそれぞれの長所を両立させることができる。同時に、現実化臓器モデルとしての前記3次元模型16そのものを操作(入力)デバイスとして活用することで、直感的な操作により適切な手術支援を実現するナビゲーションシステムを構築できる。
【0060】
図8は、前記コンピュータ12のCPU20による本実施例の観察支援制御の一例の要部を説明するフローチャートであり、繰り返し実行されるものである。
【0061】
先ず、ステップ(以下、ステップを省略する)S1において、前記画像データベース68から観察対象となる臓器の3次元画像データが読み出される。次に、S2において、S1にて読み出された3次元画像データに基づいて、前記臓器の3次元仮想画像80及び断層画像86が生成され、前記映像表示装置30に表示される。次に、S3において、前記3次元模型16及び前記指示部の位置及び方向を示す情報が前記位置情報取得装置14により取得され、前記3次元模型16において前記指示部が指し示す模型上位置が判定される。次に、S4において、S3にて判定された模型上位置を、S2にて表示された前記臓器の3次元仮想画像80及び断層画像86における位置に対応付ける対応付け処理すなわち座標系レジストレーションが行われる。
【0062】
次に、S5において、前記3次元模型16が動かされたか否かが判断される。具体的には、既定の方向を基準とする前記3次元模型16の姿勢が変更されたか否かが判断される。このS5の判断が否定される場合には、S10以下の処理が実行されるが、S5の判断が肯定される場合には、S6において、前記位置情報取得装置14により取得される前記3次元模型16の姿勢情報に基づいて、前記既定の方向を基準とする前記3次元模型16の変位が算出される。次に、S7において、S6にて算出された変位に基づいて、前記3次元仮想画像80が回転させられる。次に、S8において、S7の回転結果に基づいて3Dレンダリングが行われる。すなわち、S7の回転の結果としての前記3次元仮想画像80(S6にて算出された変位に基づいて回転させられた姿勢に相当する3次元仮想画像80)が生成される。次に、S9において、S8にて生成された前記3次元仮想画像80が前記映像表示装置30に表示された後、それをもって本ルーチンが終了させられる。
【0063】
S10においては、指示位置の入力すなわち前記3次元模型16において前記指示部が指し示す模型上位置の入力が行われたか否かが判断される。このS10の判断が否定される場合には、S14以下の処理が実行されるが、S10の判断が肯定される場合には、S11において、前記入力された模型上位置に対応する距離が、前記臓器の3次元仮想画像80(断層画像86)において算出される。次に、S12において、S11にて算出された距離が、前記映像表示装置30に表示される。次に、S13において、前記入力された模型上位置が、前記映像表示装置30に表示された前記3次元仮想画像80及び前記断層画像86に合成表示された後、それをもって本ルーチンが終了させられる。S14においては、前記3次元模型16において前記指示部が指し示す模型上位置の推移による切開線の入力が行われたか否かが判断される。このS14の判断が否定される場合には、それをもって本ルーチンが終了させられるが、S14の判断が肯定される場合には、S15において、前記模型上位置の推移による切開線に基づく切開シミュレーションが実行される。例えば、前記3次元仮想画像80を、前記切開線に対応する面で切断した、前記臓器の断面(切開面)を示す仮想断層画像が生成される。次に、S16において、前記模型上位置の推移による切開線82が前記3次元仮想画像80に合成されると共に、S15の切開シミュレーションの結果が前記映像表示装置30に表示された後、それをもって本ルーチンが終了させられる。
【0064】
以上の制御において、S2、S8、S9、S12、S13、S16が前記画像表示部50の動作に、S2、S7〜S9が前記3次元仮想画像表示部52の動作に、S2が前記断層画像表示部54の動作に、S13が前記指示位置表示部56の動作に、S15及びS16が前記切開線表示部58の動作に、S12が前記距離表示部60の動作に、S3及びS6が前記位置判定部62の動作に、S4が前記対応付制御部64の動作に、S11が前記距離算出部66の動作に、それぞれ対応する。
【0065】
本実施例によれば、予め得られた臓器の3次元画像データに基づいて、3次元造型装置により作成された前記臓器の3次元模型16と、前記3次元模型16において、施術者の指先70、ポインタの先端部72、鉗子の先端部76等の指示部が指し示す模型上位置を判定する位置判定部62(S3及びS6)と、前記臓器の3次元画像データに基づいて、前記臓器の画像を生成して表示させる画像表示部50(S2、S8、S9、S12、S13、S16)と、前記模型上位置を、前記画像表示部50により表示される前記臓器の画像における位置又は当該位置に関連する関連情報に対応付ける対応付制御部64(S4)とを、備えたものであることから、前記臓器の3次元模型16を入力インターフェイスとして用いて、前記指示部が前記臓器の3次元模型16を指し示す操作を、前記画像表示部50により表示される前記臓器の画像に反映させることができる。すなわち、直感的な操作による実用性の高い観察支援を実現するシステム10を提供することができる。
【0066】
前記模型上位置に対応する距離を、前記臓器の画像において算出する距離算出部66(S11)を備えたものであるため、前記臓器の3次元模型16を入力インターフェイスとして用いて、前記指示部の操作に対応した距離を簡便に算出できる。
【0067】
前記画像表示部50は、前記臓器の3次元画像データに基づいて、前記臓器の3次元仮想画像80を生成して表示させるものであり、前記模型上位置の推移に応じた切開線82を、前記臓器の3次元仮想画像80に合成表示させるものであるため、前記臓器の3次元模型16を入力インターフェイスとして用いて、前記臓器の3次元仮想画像80上に、前記指示部の操作に応じた切開線82を簡便に合成表示できる。
【0068】
前記画像表示部50は、前記臓器の3次元画像データに基づいて、前記臓器の3次元仮想画像80を生成して表示させるものであり、前記模型上位置を、前記臓器の3次元仮想画像80に合成表示させるものであるため、前記臓器の3次元模型16を入力インターフェイスとして用いて、前記臓器の3次元仮想画像80上に、前記指示部が指し示す位置を簡便に合成表示できる。
【0069】
前記画像表示部50は、前記臓器の3次元画像データに基づいて、前記臓器の断層画像86を生成して表示させるものであり、前記模型上位置を、前記臓器の断層画像86に合成表示させるものであるため、前記臓器の3次元模型16を入力インターフェイスとして用いて、前記臓器の断層画像86上に、前記指示部が指し示す位置を簡便に合成表示できる。
【0070】
既定の方向を基準とする前記臓器の3次元模型16の姿勢を検出する姿勢センサとしてのジャイロセンサ44等を備え、前記画像表示部50は、前記臓器の3次元画像データに基づいて、前記臓器の3次元仮想画像80を生成して表示させるものであり、前記姿勢センサによる検出結果に基づいて、前記臓器の3次元仮想画像80の姿勢を変更するものであるため、前記臓器の3次元模型16を入力インターフェイスとして用いて、前記臓器の3次元仮想画像80の姿勢が、前記臓器の3次元模型16の姿勢に追従する表示制御を実現できる。
【0071】
滅菌済みの袋部材74を備え、前記臓器の3次元模型16及び前記姿勢センサは、前記袋部材74に封入されたものであるため、手術中においても、前記臓器の3次元模型16を入力インターフェイスとして用いることができる。
【0072】
前記臓器の3次元模型16に取り付けられた複数のマーカと、前記指示部に取り付けられたマーカと、前記マーカの位置を検出するマーカ検出装置とを、備え、前記位置判定部62は、前記マーカ検出装置による検出結果に基づいて、前記模型上位置を判定するものであるため、実用的な態様で、前記臓器の3次元模型16において前記指示部が指し示す位置を判定できる。
【0073】
前記マーカ検出装置は、前記マーカを磁気的に検出する磁気式位置センサ40、42であるため、実用的な態様で、前記臓器の3次元模型16において前記指示部が指し示す位置を判定できる。
【0074】
前記マーカは、光学式マーカであり、前記マーカ検出装置は、前記マーカを光学的に検出する装置であるため、実用的な態様で、前記臓器の3次元模型16において前記指示部が指し示す位置を判定できる。
【0075】
前記マーカは、2次元コード34、36であり、前記マーカ検出装置は、前記撮像装置38及び2次元コードリーダとしての位置情報取得装置14であるため、実用的な態様で、前記臓器の3次元模型16において前記指示部が指し示す位置を判定できる。
【0076】
前記システム10に用いられる臓器の3次元模型16であって、前記対応付制御部64による対応付けの基準となる単数又は複数の基準位置が予め定められ、各基準位置に前記マーカが取り付けられたものであるため、実用的な態様で、前記臓器の3次元模型16において前記指示部が指し示す模型上位置を、前記画像表示部50により表示される前記臓器の画像における位置に対応付けることができる。
【0077】
以上、本発明の好適な実施例を図面に基づいて詳細に説明したが、本発明はこれらの実施例に限定されるものではなく、その趣旨を逸脱しない範囲内において種々の変更が加えられて実施されるものである。例えば、位置に関連する関連情報は、前記実施例における関連情報に限定されるものではなく、前記以外の種々の関連情報を様々な態様で表示させることができる。