(58)【調査した分野】(Int.Cl.,DB名)
複数時相のX線透視画像から作成された血管のX線画像に基づき、造影像の変化を基に血流の走行情報を解析することにより、前記血管芯線画像を算出する血管芯線算出手段をさらに有する
ことを特徴とする請求項5に記載の画像処理表示装置。
【発明を実施するための形態】
【0010】
[第1の実施形態]
この画像処理表示装置の第1の実施形態について各図を参照して説明する。ここでは、画像処理表示装置が、小切開冠動脈バイパス術とカテーテル治療が同時に行われるハイブリッド治療に適用される場合を説明する。
【0011】
図1は画像処理表示装置の機能ブロック図、
図2はX線透視画像上にカテーテルの先端部の2次元画像が重ねて表示された一例を示す図である。
【0012】
図1に示すように、画像処理表示装置は、血管走行情報作成部13、記憶手段14、血管芯線処理部15、画像処理部22、治療器具画像抽出部33、画像合成部44、表示制御部51、及び、表示部52を有している。
【0013】
ハイブリッド治療の前段階あるいは初期段階において、血管を含む領域の3次元データ(
図1にaで示す)、及び2次元画像である血管のX線画像(
図1にdで示す)が取得される。
【0014】
血管を含む領域の3次元データ(ボリュームデータ)は、医用診断装置(例えば、X線CT装置)により取得される。3次元データは、インターネット上の記憶装置(医用診断装置の記憶装置を含む)から読み出し可能となっている。なお、3次元データが画像処理表示装置の記憶装置に記憶されてもよい。
【0015】
血管のX線画像は、X線血管造影検査により取得される。この検査には、医用診断装置(例えば、X線撮影装置)が用いられ、X線を通しにくい造影剤を目的の血管に流し込んでから、X線撮影をすることで、造影剤の入った部分の血管の形をはっきりと写し出すものである。この検査により取得された血管のX線画像は、医用診断装置の記憶装置(バッファを含む)から読み出し可能となっている。なお、血管のX線画像は、インターネット上の記憶装置あるいは画像処理表示装置の記憶装置に記憶されてもよく、それらの記憶装置から読み出し可能としてもよい。
【0016】
例えば、x1軸、y1軸、z1軸が互いに直交する直交座標において、血管をX線撮影するときの撮影方向がz1軸方向であるとき、血管のX線画像dのピクセル(pixel)の平面座標は(x1、y1)となる。記憶装置に血管のX線画像dを記憶させるとき、血管のX線画像dのピクセルの平面座標と、メモリアドレスの平面座標とを対応させておく。
【0017】
(記憶手段)
血管走行情報作成部13は、3次元データaに基づいて血管を表す3次元画像bを抽出する。抽出された血管の3次元画像bは、記憶手段14に記憶される。
【0018】
例えば、x2軸方向をX線検出素子(図示省略)の配列方向、y2軸方向を体軸方向(スライス方向)、z2軸方向をx2軸及びy2軸に直交する方向とすると、空間座標は(x2、y2、z2)となる。記憶手段14に血管の3次元画像bを記憶させるとき、血管の3次元画像bのボクセル(voxel)の空間座標とメモリアドレスの空間座標とを1対1に対応させておく。
【0019】
(血管芯線処理部)
血管芯線処理部15は、血管芯線を表す3次元の血管芯線画像(
図1に示すc)を抽出する血管芯線抽出部16を有している。なお、血管の3次元画像bや血管芯線画像cの抽出については、種々の方法が提案されているが、本実施形態では、公知のいずれの方法を採用してもよい。なお、血管の3次元画像bを血管走行情報という場合もある。また、血管芯線画像cを血管走行情報に含めて説明する場合がある。
【0020】
ハイブリッド治療においては、医用診断装置(例えば、診断用X線システム)により血管を含む領域がX線により透視され、X線透視データが取得され、X線透視データに基づいてX線透視画像(
図1にfで示す)が作成される。なお、X線透視画像fが画像処理表示装置の記憶装置に記憶されてもよい。ここで、X線透視画像fを作成するときのX線撮影方向と、X線血管造影検査において血管のX線画像dを取得するときのX線撮影方向とは同じに設定されている。
【0021】
〔画像処理部〕
画像処理部22は、位置合わせ処理部23、位置算出部26、及び、オーバーレイ画像作成部42を有している。
【0022】
(位置合わせ処理部)
位置合わせ処理部23は、2次元の血管のX線画像dに対して血管の3次元画像bを位置合わせすることにより、2次元の血管のX線画像dに対する血管の3次元画像bの対応位置関係を求める。その理由は、血管のX線画像dだけでは、X線透視画像fにおいて、重なるように表示された2つの物の前後位置を判断することがきないからである。
【0023】
血管のX線画像dに対し、血管の3次元画像bを位置合わせするには、血管の3次元画像bの座標(x2、y2、z2)を変換(反転、拡大、縮小、平行移動)することにより行う。血管の3次元画像bの座標(x2、y2、z2)の変換は、3次元座標変換手段(図示省略)により行われる。
【0024】
例えば、先ず、血管の3次元画像bの座標(x2、y2、z2)を回転させることにより、そのx2軸、y2軸を、血管の平面座標(x1、y1)のx1軸、y1軸に合わせる。合わせた後の軸を、x2’、y2’、z2’とする。次に、平面座標(x1、y1)、(x2、y2)において、所定の2点間の距離が互いに等しくなるように、血管の3次元画像bの座標(x2’、y2’、z2’)を拡大、縮小する。さらに、場合により血管の3次元画像の座標を平行移動する。
【0025】
なお、以下の説明では、血管のX線画像dの座標(x1、y1)に対して位置合わせされた後の血管の3次元画像bの座標を(x2’、y2’、z2’)として説明する。
【0026】
3次元座標変換手段による座標変換においては、メモリアドレス空間の座標を(x2、y2、z2)、変換後の座標を(x2’、y2’、z2’)とすると、アフィン変換において、係数行列ベクトルA及び平行移動用のベクトルBの値を制御することで、回転、反転、拡大、縮小、平行移動といった座標変換が可能となる。
【0027】
アフィン変換は次の式で表される。
ここで、A、Bは次のように表される。
例えば、y軸を回転軸としてz軸から正の方向に角度θで回転させるベクトルAは、次の式で表される。
このとき、平行移動がないとすれば、
ベクトルBは、次の式となる。
【0028】
以上のように、ベクトルA、Bの値を制御し、血管の3次元画像の座標(x2、y2、z2)を回転、反転、拡大、縮小、平線移動することで、血管のX線画像dに対して血管の3次元画像bを位置合わせすることが可能となる。それにより、血管のX線画像に対する血管の3次元画像の対応位置関係(位置合わせ情報)を得ることができる。位置合わせ情報(ベクトルA、B)を
図1にeで示す。
【0029】
また、位置合わせ情報eに基づいて、血管の3次元画像bの座標上の任意の位置を、血管のX線画像dの座標上のいずれかの位置に対応付けることが可能となる。
【0030】
治療器具画像抽出部33は、バイパス手術において挿入された治療器具を表す治療器具画像(
図1にgで示す)をX線透視画像fに基づいて抽出する。治療器具画像gの抽出については、種々の方法が提案されているが、本実施形態では、公知のいずれの方法を採用してもよい。治療器具画像gは、治療器具の輪郭の画像として抽出される(
図2参照)。
【0031】
(位置算出部)
位置算出部26は、カテーテルの先端部の位置及び進行方向を求める。カテーテルの先端部の位置等を求めるには、X線透視画像fが用いられる場合と、血管芯線画像c、位置合わせ情報e、治療器具画像g、及びカテーテルに係る操作情報(
図1にhで示す)が用いられる場合とがある。ここで、カテーテルに係る操作情報とは、術者の操作により進められたカテーテルの移動量をいい、例えば、カテーテルの被検体への挿入位置にカテーテルの移動量を検出するためのセンサを設けて、その検出結果に基づいて求めた値であり、以下、単に「操作情報」という。なお、位置算出部26が、「カテーテルの先端部の位置を求める手段」の一例である。
【0032】
先ず、カテーテルの先端部の位置等を求めるときに、X線透視画像fが用いられる場合について説明する。
【0033】
位置算出部26は、所定時間をおいて撮影された2つのX線透視画像fを読み出し、それらの差分を計算することで、それらの画像fに写るカテーテルの影の移動から、カテーテルの先端部の位置及び進行方向を求める。
【0034】
以上のように、2つのX線透視画像fにカテーテルの影がそれぞれ写っていて、かつ、その影が移動しているとき、位置算出部26は、それらの画像fを用いることで、カテーテルの先端部の位置等を求めることができる。
【0035】
反対に、2つのX線透視画像fにカテーテルの影がそれぞれ写っていても、カテーテルの先端部が治療器具に隠れているとき、カテーテルの影の移動が表れないとき、位置算出部26は、それらの画像fを用いても、カテーテルの先端部の位置等を求めることができない。
【0036】
すなわち、位置算出部26は、治療器具の輪郭の画像としての治療器具画像gにカテーテルの影が重ならないと判断したとき、X線透視画像fを用い、その影が重なると判断したとき、X線透視画像fを用いず、血管芯線画像c等を用いて、カテーテルの先端部の位置等を求める。
【0037】
なお、位置算出部26の内部メモリには、治療器具画像gにカテーテルの影が重なる前のカテーテルの先端部の位置p10(
図2に示す)、及び、その位置からのカテーテルの移動量sである操作情報hが記憶される。位置p10は、血管のX線画像dの座標(x1、y1)上の点として示される。また、移動量sは、血管の3次元画像bの座標(x2’、y2’、z2’)において血管芯線に沿った移動量として示される。
【0038】
次に、カテーテルの先端部の位置等を求めるときに、X線透視画像fが用いられず、血管芯線画像c等が用いられる場合について説明する。
【0039】
位置算出部26は、内部メモリに記憶されたカテーテルの先端部の位置p10を、位置合わせ情報eに基づき血管の3次元画像bの座標上の位置p20’として対応付ける。さらに、位置算出部26は、操作情報hを用いることにより、位置p20’から血管芯線に沿って移動量sだけ移動後のカテーテルの先端部の位置p21’を算出する(p21’=(p20’+s))。さらに、位置算出部26は、位置p21’に対応付けられた血管のX線画像dの座標上の位置p11(
図2に示す)を求める。位置p10から位置p11に至る線分Lの画像は、カテーテルの先端部の位置情報(
図1にiで示す)として、オーバーレイ画像作成部42に送られる。
【0040】
(オーバーレイ画像作成部)
オーバーレイ画像作成部42は、位置情報i及び治療器具画像gに基づき、線分Lの画像(
図2に示す)が治療器具画像gと重なる画像を作成する。この重なる画像が、カテーテルの先端部の2次元画像(
図1にjで示す)となる。カテーテルの先端部の2次元画像jを
図2に破線で示す。
【0041】
(画像合成部、表示制御部)
画像合成部44は、X線透視画像fとカテーテルの先端部の2次元画像jとを合成し、合成した画像kを表示制御部51に出力する。表示制御部51は、合成された画像kを表示部52に表示させる。
【0042】
それにより、カテーテルの先端部が治療器具に隠れたときであっても、X線透視画像f上にカテーテルの先端部の2次元画像jが重ねられて表示されるため、カテーテル治療に支障が発生するのを防止することが可能となる。
【0043】
次に、画像処理表示装置の一連の処理について
図3を参照して説明する。
図3は、ハイブリッド治療における画像処理表示の一連の流れを示すフローチャートである。
【0044】
(ステップ101:前段階)
図3に示すように、ハイブリッド治療の前段階あるいは初期段階において、血管の3次元画像bが記憶手段14に予め記憶される。
【0045】
(ステップ102:前段階)
さらに、ハイブリッド治療の前段階あるいは初期段階において、血管のX線画像dを取得しておく。
【0046】
(ステップ103:血管芯線処理)
血管芯線抽出部16は、血管の3次元データaに基づいて、血管芯線を表す3次元の血管芯線画像cを抽出する。
【0047】
(ステップ104:X線透視画像の作成)
X線透視データに基づいてX線透視画像fを作成する。なお、X線透視画像fを作成するときのX線撮影方向と、血管のX線画像dを取得するときのX線撮影方向とを同じに設定する。さらに、X線透視画像fに基づいて治療器具を表す治療器具画像gを抽出する。
【0048】
(ステップ105:位置合わせ処理)
位置合わせ処理部23は、血管のX線画像dに対して血管の3次元画像bを位置合わせする。それにより、位置合わせ情報eを求める。
【0049】
(ステップ106:位置算出)
位置算出部26は、血管芯線画像c、操作情報h、位置合わせ情報e、X線透視画像f及び治療器具画像gに基づいて、カテーテルの先端部の位置及び進行方向を求める。
【0050】
位置算出部26は、X線透視画像fの差分があるとき、X線透視画像fに基づいて、カテーテルの先端部の位置及び進行方向を求める。X線透視画像fの差分がないとき、血管芯線画像c、操作情報h、位置合わせ情報e及び治療器具画像gに基づいてカテーテルの先端部の位置及び進行方向を求める。
【0051】
(ステップ107:オーバーレイ画像作成)
オーバーレイ画像作成部42は、位置情報i及び治療器具画像gに基づき、線分Lの画像が治療器具画像gと重なる画像を作成する。
【0052】
(ステップ108:画像合成)
画像合成部44は、X線透視画像fとカテーテルの先端部の2次元画像jとを合成する。
【0053】
(ステップ109:表示)
表示制御部51は、X線透視画像f上にカテーテルの先端部の2次元画像jを重ねて表示させる。
【0054】
なお、第1実施形態では、ステップ105の位置合わせ処理において、血管のX線画像dに対する血管の3次元画像bの相対位置関係(位置合わせ情報e)を求めた。これは、血管の情報同士を対比することにより、より高い精度の位置合わせ情報eを得ることができるためであるが、高い精度を求めないのであれば、X線透視画像fに対する血管の3次元画像bの位置合わせ情報を求めてもよい。
【0055】
[第2の実施形態]
次に、画像処理表示装置の第2の実施形態について
図4〜
図7を参照して説明する。
第2の実施形態において、第1の実施形態の構成と同じものについては同一番号を付してその説明を省略する。
【0056】
第1の実施形態では、X線の撮影方向において、カテーテルの先端部が治療器具の背後に位置していて、カテーテルの先端部を撮影することができないため、位置算出部26は、操作情報hを用いることにより、カテーテルの先端部の位置情報iをオーバーレイ画像作成部42に出力し、オーバーレイ画像作成部42がカテーテルの先端部の画像jを作成することが可能となる。
【0057】
図4は第2実施形態に係る画像処理部の機能ブロック図である。
図4に示すように、画像処理部25にオーバーレイ判断処理部45が追加されている。
【0058】
オーバーレイ判断処理部45は、位置算出部26からの位置情報iを受けると、X線再撮影指示(
図4にlで示す)をX線撮影装置に出力する。
【0059】
第2の実施形態では、X線の投影方向の角度を変更することにより、カテーテルの先端部を直接臨んでX線撮影する(X線再撮影)。X線再撮影により新たに取得されたX線透視画像を用いて、カテーテルの先端部の位置を求める。
【0060】
X線再撮影におけるX線の投影方向の角度を求める方法について、
図5〜
図7を参照して説明する。
【0061】
図5は、被検体P、治療器具画像g及びカテーテルの影mの模式図、
図6はX線撮影方向の角度θ=0でX線撮影するときの被検体P、X線源1及びX線検出器2等の模式図、
図7はX線撮影方向の角度θ=θ1でX線撮影するときの被検体P、X線源1及びX線検出器2等の模式図である。ここで、X線撮影方向の角度θは、y1軸を回転軸としてz1軸から正の方向に回転させた角度をいう。
【0062】
位置算出部26は、治療器具の輪郭の画像としての治療器具画像gにカテーテルの影(
図5をmで示す)が重なると判断したとき、X線撮影装置(医用診断装置)に対して、X線再撮影の指示を出す。X線再撮影の指示には、X線再撮影時に用いるべきX線の投影方向の角度θ1の情報が含まれている。
【0063】
位置算出部26は、X線再撮影時におけるX線の投影方向の角度θ1を求める。
【0064】
図6において、座標(x1、z1)上の治療器具の位置Uを(xu1、zu1)、治療器具の輪郭である治療器具画像gにカテーテルの影mが重なる座標(x1、z1)上の位置Vを(xv1、zv1)で示す。
【0065】
図7において、座標(x1、z1)上で、y1軸を中心O(0、0)として半径Rで回転するX線源1を示す。
以上により、X線源1の回転軌跡は次の式で表わされる。
x1
2 +z1
2 =R
【0066】
上記式で表される円と、二つの位置U(xu1、zu1)、V(xv1、zv1)を結ぶ直線L1との交点Wが(xw、zw)として求められる。
【0067】
この交点W(xw、zw)と中心O(0、0)とを結ぶ直線と、z1軸とが成す角度θ1が求められる。
【0068】
X線の投影方向の角度θを0からθ1に変更し、X線再撮影することにより、X線透視画像f’が新たに取得される。
【0069】
次に、X線撮影方向の角度θ1、新たに取得されたX線透視画像に基づいてカテーテルの先端部の位置を求める順序の一例について
図8を参照して説明する。
図8はカテーテルの先端部の位置を求める順序を表した図である。
【0070】
第1の実施形態で説明したように、血管のX線画像dの座標(x1、y1)と、血管の3次元画像bの座標(x2’、y2’、z2’)とは位置合わせされているものとする。なお、このときの位置合わせ情報はeである。
【0071】
図8では、血管のX線画像d’の座標(x1、y1)から変換された座標を(x1’、y1’)、この座標(x1’、y1’)と位置合わせされた、血管の3次元画像b’の座標を(x2’’、y2’’、z2’’)で示す。
【0072】
なお、座標(x1、y1)から座標(x1’、y1’)への変換情報を位置合わせ情報e’とし、座標(x1’、y1’)と座標(x2’’、y2’’、z2’’)が位置合わせされたときの位置合わせ情報をe’’とし、座標(x2’’、y2’’、z2’’)から座標(x2’、y2’、z2’)への変換情報を位置合わせ情報e’’’とする。
【0073】
位置算出部26は、X線透視画像f’及び位置合わせ情報e’に基づき、座標(x1、y1)上の位置P11に対応する座標(x1’、y1’)上の位置p11’を求める。さらに、位置算出部26は、位置合わせ情報e’’に基づき、位置p11’に対応する座標(x2’’、y2’’、z2’’)上の位置p21’’を求める。さらに、位置算出部26は、位置P21’’に対する座標(x2’、y2’、z2’)上の位置p21’を求める。さらに、位置算出部26は、位置合わせ情報eに基づき、位置p21’に対応付けられた血管のX線画像dの座標(x1、y1)上の位置p11’’を求める。なお、位置P11、P11’、P11’’、P21’、P21’’は、各座標上のカテーテルの先端部の位置を示す。
【0074】
(x1、y1)上の位置p11’’がカテーテルの先端部の位置情報i’として、オーバーレイ画像作成部42に送られる。オーバーレイ画像作成部42は、位置情報i’及び治療器具画像gに基づき、カテーテルの先端部の2次元画像jを作成する。
【0075】
以上の第2実施形態では、カテーテルに係る操作情報hを用いることなく、カテーテルの先端部の位置情報i’を求めることが可能となる。
【0076】
[第3の実施形態]
次に、画像処理表示装置の第3の実施形態について
図9を参照して説明する。
第3の実施形態において、第1の実施形態の構成と同じものについては同一番号を付してその説明を省略する。
【0077】
図9は画像処理部の機能ブロック図である。
図9に示すように、画像処理部25に血管分岐判断処理部28が追加されている。
【0078】
血管分岐判断処理部28は、位置算出部26からの位置情報iを受けて、X線透視画像と対応付けられた血管分岐の2次元画像(
図9にnで示す)を作成する。
【0079】
血管分岐の2次元画像nの作成は、第1の実施形態において位置算出部26がカテーテルの先端部の位置情報iを算出する方法と基本的に同じである。
【0080】
第1の実施形態においては、位置算出部26がX線透視画像f、血管芯線画像c、位置合わせ情報e、治療器具画像g、及びカテーテルに係る操作情報hを用いて、カテーテルの先端部の位置情報iを求めたが、第3の実施形態では、位置算出部26がX線透視画像f、血管芯線画像c、位置合わせ情報e、治療器具画像gを用いて、血管分岐の2次元画像nを求める。
【0081】
オーバーレイ画像作成部42は、治療器具画像g及び血管分岐の2次元画像nに基づいて、血管分岐の2次元画像nが治療器具画像gに重なる血管分岐の重なり画像n’を作成する。
【0082】
第3の実施形態によれば、X線透視画像f上にカテーテルの先端部の2次元画像jばかりでなく、血管分岐の重なり画像n’が表示されるので、カテーテルの操作を支障なく行うことが可能となる。
【0083】
[第4の実施形態]
次に、画像処理表示装置の第4の実施形態について
図10を参照して説明する。
第4の実施形態において、第1の実施形態の構成と同じものについては同一番号を付してその説明を省略する。
【0084】
図10は血管芯線処理部の機能ブロック図である。
図10に示すように、血管芯線処理部15に血管芯線抽出部16に代えて血管芯線算出部16aが設けられている。
【0085】
第1の実施形態では、血管芯線処理部15は、血管の3次元データaを用いて血管芯線画像cを抽出する血管芯線抽出部16を設けたが、第4の実施形態では、血管の3次元データaを用いずに、血管芯線画像cを算出する。
【0086】
血管芯線算出部16aは、異なるX線撮影方向から撮影された二以上の血管のX線画像dを用いて、血管芯線画像cを算出する。二以上の血管のX線画像dは、前述するX線血管造影検査により取得される。
【0087】
第4の実施形態によれば、血管の3次元データaを用いることなく、血管芯線画像cを得ることが可能となる。
【0088】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、書き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるととともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。