(58)【調査した分野】(Int.Cl.,DB名)
超音波の送受信を行う超音波送受信部及び光の送受信を行う光送受信部とが配置された送受信部を有するプローブを回転自在且つ脱着可能に保持し、前記超音波送受信部が受信した生体組織からの反射波、及び、前記光送受信部が受信した生体組織からの反射光とを用いて、該生体組織の超音波断面画像及び光断面画像を生成する画像診断装置であって、
断面画像を表示するための画像表示領域、及び、当該画像表示領域内にあって、ユーザの指示位置に応じて表示位置が自在な枠とを含むユーザインタフェースを表示する表示手段と、
ユーザの指示に従い前記枠の表示位置を変更すると共に、前記画像表示領域内であって前記枠の外部の領域に、生体組織の互いに対応する前記超音波断面画像及び前記光断面画像うち一方の第1の断面画像を表示し、前記枠の内部には、前記超音波断面画像及び前記光断面画像のうちの他方の第2の断面画像における該当する部分画像を表示する表示制御手段と
を有することを特徴とする画像診断装置。
前記超音波断面画像を前記第1の断面画像とし前記光断面画像を前記第2の断面画像とする第1のモード、前記光断面画像を前記第1の断面画像とし、前記超音波断面画像を前記第2の断面画像とする第2のモードのいずれかを選択する選択手段を更に有することを特徴とする請求項1乃至4のいずれか1項に記載の画像診断装置。
超音波の送受信を行う超音波送受信部及び光の送受信を行う光送受信部とが配置された送受信部を有するプローブを回転自在且つ脱着可能に保持し、前記超音波送受信部が受信した生体組織からの反射波、及び、前記光送受信部が受信した生体組織からの反射光とを用いて、該生体組織の超音波断面画像及び光断面画像を生成する画像診断装置の制御方法であって、
断面画像を表示するための画像表示領域、及び、当該画像表示領域内にあって、ユーザの指示位置に応じて表示位置が自在な枠とを含むユーザインタフェースを、表示手段に表示する表示工程と、
ユーザの指示に従い前記枠の表示位置を変更すると共に、前記画像表示領域内であって前記枠の外部の領域に、生体組織の互いに対応する前記超音波断面画像及び前記光断面画像うち一方の第1の断面画像を表示し、前記枠の内部には、前記超音波断面画像及び前記光断面画像のうちの他方の第2の断面画像における該当する部分画像を表示する表示制御工程と
を有することを特徴とする画像診断装置の制御方法。
【発明を実施するための形態】
【0018】
以下添付図面に従って本発明に係る実施形態を詳細に説明する。
【0019】
<1.画像診断装置の外観構成>
図1は本発明の一実施形態にかかる画像診断装置(IVUSの機能と、OCTの機能とを備える画像診断装置)100の外観構成を示す図である。
【0020】
図1に示すように、画像診断装置100は、プローブ部101と、スキャナ及びプルバック部102と、操作制御装置103とを備え、スキャナ及びプルバック部102と操作制御装置103とは、信号線104により各種信号が伝送可能に接続されている。
【0021】
プローブ部101は、直接血管内に挿入され、パルス信号に基づく超音波を血管内に送信するとともに、血管内からの反射波を受信する超音波送受信部と、伝送された光(測定光)を連続的に血管内に送信するとともに、血管内からの反射光を連続的に受信する光送受信部と、を備えるイメージングコアが内挿されている。画像診断装置100では、該イメージングコアを用いることで血管内部の状態を測定する。
【0022】
スキャナ及びプルバック部102は、プローブ部101が着脱可能に取り付けられ、内蔵されたモータを駆動させることでプローブ部101に内挿されたイメージングコアの血管内の軸方向の動作及び回転方向の動作を規定している。また、超音波送受信部において受信された反射波及び光送受信部において受信された反射光を取得し、操作制御装置103に対して送信する。
【0023】
操作制御装置103は、測定を行うにあたり、各種設定値を入力するための機能や、測定により得られたデータを処理し、血管内の断面画像(横方向断面画像及び縦方向断面画像)を表示するための機能を備える。
【0024】
操作制御装置103において、111は本体制御部であり、測定により得られた反射波に基づいて超音波データを生成するとともに、該超音波データに基づいて生成されたラインデータを処理することで、超音波断面画像を生成する。更に、測定により得られた反射光と光源からの光を分離することで得られた参照光とを干渉させることで干渉光データを生成するとともに、該干渉光データに基づいて生成されたラインデータを処理することで、光断面画像を生成する。
【0025】
111−1はプリンタ及びDVDレコーダであり、本体制御部111における処理結果を印刷したり、データとして記憶したりする。112は操作パネルであり、ユーザは該操作パネル112を介して、各種設定値及び指示の入力を行う。113は表示装置としてのLCDモニタであり、本体制御部111において生成された断面画像を表示する。114は、ポインティングデバイス(座標入力装置)としてのマウスである。
【0026】
<2.プローブ部の全体構成及び先端部の断面構成>
次に、プローブ部101の全体構成及び先端部の断面構成について
図2を用いて説明する。
図2に示すように、プローブ部101は、血管内に挿入される長尺のカテーテルシース201と、ユーザが操作するために血管内に挿入されることなく、ユーザの手元側に配置されるコネクタ部202とにより構成される。カテーテルシース201の先端には、ガイドワイヤルーメンを構成するガイドワイヤルーメン用チューブ203が設けられている。カテーテルシース201は、ガイドワイヤルーメン用チューブ203との接続部分からコネクタ部202との接続部分にかけて連続する管腔を形成している。
【0027】
カテーテルシース201の管腔内部には、超音波を送受信する超音波送受信部と光を送受信する光送受信部とが配置された送受信部221と、電気信号ケーブル及び光ファイバケーブルを内部に備え、それを回転させるための回転駆動力を伝達するコイル状の駆動シャフト222とを備えるイメージングコア220が、カテーテルシース201のほぼ全長にわたって挿通されている。
【0028】
コネクタ部202は、カテーテルシース201の基端に一体化して構成されたシースコネクタ202aと、駆動シャフト222の基端に駆動シャフト222を回動可能に固定して構成された駆動シャフトコネクタ202bとを備える。
【0029】
シースコネクタ202aとカテーテルシース201との境界部には、耐キンクプロテクタ211が設けられている。これにより所定の剛性が保たれ、急激な物性の変化による折れ曲がり(キンク)を防止することができる。
【0030】
駆動シャフトコネクタ202bの基端は、スキャナ及びプルバック部102に着脱可能に取り付けられる。
【0031】
次に、プローブ部101の先端部の断面構成について説明する。カテーテルシース201の管腔内部には、超音波を送受信する超音波送受信部と光を送受信する光送受信部とが配置された送受信部221が配されたハウジング223と、それを回転させるための回転駆動力を伝送する駆動シャフト222とを備えるイメージングコア220がほぼ全長にわたって挿通されており、プローブ部101を形成している。
【0032】
駆動シャフト222は、カテーテルシース201に対して送受信部221を回転動作及び軸方向動作させることが可能であり、柔軟で、かつ回転をよく伝送できる特性をもつ、例えば、ステンレス等の金属線からなる多重多層密着コイル等により構成されている。そして、その内部には電気信号ケーブル及び光ファイバケーブル(シングルモードの光ファイバケーブル)が配されている。
【0033】
ハウジング223は、短い円筒状の金属パイプの一部に切り欠き部を有した形状をしており、金属塊からの削りだしやMIM(金属粉末射出成形)等により成形される。また、先端側には短いコイル状の弾性部材231が設けられている。
【0034】
弾性部材231はステンレス鋼線材をコイル状に形成したものであり、弾性部材231が先端側に配されることで、イメージングコア220を前後移動させる際にカテーテルシース201内での引っかかりを防止する。
【0035】
232は補強コイルであり、カテーテルシース201の先端部分の急激な折れ曲がりを防止する目的で設けられている。
【0036】
ガイドワイヤルーメン用チューブ203は、ガイドワイヤが挿入可能なガイドワイヤ用ルーメンを有する。ガイドワイヤルーメン用チューブ203は、予め血管内に挿入されたガイドワイヤを受け入れ、ガイドワイヤによってカテーテルシース201を患部まで導くのに使用される。
【0037】
<3.イメージングコアの断面構成>
次に、イメージングコア220の断面構成、ならびに超音波送受信部及び光送受信部の配置について説明する。
図3は、イメージングコアの断面構成、ならびに超音波送受信部及び光送受信部の配置を示す図である。
【0038】
図3の3Aに示すように、ハウジング223内に配された送受信部221は、超音波送受信部310と光送受信部320とを備え、超音波送受信部310及び光送受信部320は、それぞれ、駆動シャフト222の回転中心軸上((a)の一点鎖線上)において軸方向に沿って配置されている。
【0039】
このうち、超音波送受信部310は、プローブ部101の先端側に、また、光送受信部320は、プローブ部101の基端側に配置されている。
【0040】
また、超音波送受信部310及び光送受信部320は、駆動シャフト222の軸方向に対する、超音波送受信部310の超音波送信方向(仰角方向)、及び、光送受信部320の光送信方向(仰角方向)が、それぞれ、略90°となるようにハウジング223内に取り付けられている。なお、各送信方向は、カテーテルシース201の管腔内表面での反射を受信しないように90°よりややずらして取り付けられることが望ましい。
【0041】
駆動シャフト222の内部には、超音波送受信部310と接続された電気信号ケーブル311と、光送受信部320に接続された光ファイバケーブル321とが配されており、電気信号ケーブル311は、光ファイバケーブル321に対して螺旋状に巻き回されている。
【0042】
図3の3Bは、超音波送受信位置において、回転中心軸に略直交する面で切断した場合の断面図である。
図3の3Bに示すように、紙面下方向を0度とした場合、超音波送受信部310の超音波送信方向(回転角方向(方位角方向ともいう))は、θ度となっている。
【0043】
図3の3Cは、光送受信位置において、回転中心軸に略直交する面で切断した場合の断面図である。
図3の3Cに示すように、紙面下方向を0度とした場合、光送受信部320の光送信方向(回転角方向)は、0度となっている。つまり、超音波送受信部310と光送受信部320は、超音波送受信部310の超音波送信方向(回転角方向)と、光送受信部320の光送信方向(回転角方向)とが、互いにθ度ずれるように配置されている。
【0044】
<4.画像診断装置の機能構成>
次に、画像診断装置100の機能構成について説明する。
図4は、IVUSの機能とOCT(ここでは、一例として波長掃引型OCT)の機能とを組み合わせた画像診断装置100の機能構成を示す図である。なお、IVUSの機能と他のOCTの機能とを組み合わせた画像診断装置についても、同様の機能構成を有するため、ここでは説明を省略する。
【0045】
(1)IVUSの機能
イメージングコア220は、先端内部に超音波送受信部310を備えており、超音波送受信部310は、超音波信号送受信器452より送信されたパルス波に基づいて、超音波を生体組織に送信するとともに、その反射波(エコー)を受信し、アダプタ402及びスリップリング451を介して超音波信号として超音波信号送受信器452に送信する。
【0046】
なお、スキャナ及びプルバック部102において、スリップリング451の回転駆動部側は回転駆動装置404のラジアル走査モータ405により回転駆動される。また、ラジアル走査モータ405の回転角度は、エンコーダ部406により検出される。更に、スキャナ及びプルバック部102は、直線駆動装置407を備え、信号処理部428からの信号に基づいて、イメージングコア220の軸方向動作を規定する。
【0047】
超音波信号送受信器452は、送信波回路と受信波回路とを備える(不図示)。送信波回路は、信号処理部428から送信された制御信号に基づいて、イメージングコア220内の超音波送受信部310に対してパルス波を送信する。
【0048】
また、受信波回路は、イメージングコア220内の超音波送受信部310より超音波信号を受信する。受信された超音波信号はアンプ453により増幅された後、検波器454に入力され検波される。
【0049】
更に、A/D変換器455では、検波器454より出力された超音波信号を30.6MHzで200ポイント分サンプリングして、1ラインのデジタルデータ(超音波データ)を生成する。なお、ここでは、30.6MHzとしているが、これは音速を1530m/secとしたときに、深度5mmに対して200ポイントサンプリングすることを前提として算出されたものである。したがって、サンプリング周波数は特にこれに限定されるものではない。
【0050】
A/D変換器455にて生成されたライン単位の超音波データは信号処理部428に入力される。信号処理部428では、超音波データをグレースケールに変換することにより、血管内の各位置での超音波断面画像(以下、IVUS断面画像という)を生成し、所定のフレームレートでLCDモニタ113に出力する。
【0051】
なお、信号処理部428はモータ制御回路429と接続され、モータ制御回路429のビデオ同期信号を受信する。信号処理部428では、受信したビデオ同期信号に同期して超音波断面画像の生成を行う。
【0052】
また、このモータ制御回路429のビデオ同期信号は、回転駆動装置404にも送られ、回転駆動装置404はビデオ同期信号に同期した駆動信号を出力する。
【0053】
なお、信号処理部428における上記処理、ならびに、
図6、
図7を用いて後述する画像診断装置100におけるユーザインタフェースに関する画像処理は、信号処理部428において所定のプログラムがコンピュータによって実行されることで実現されるものとする。
【0054】
(2)波長掃引型OCTの機能
次に、同図を用いて波長掃引型OCTの機能構成について説明する。408は波長掃引光源(Swept Laser)であり、SOA415(semiconductor optical amplifier)とリング状に結合された光ファイバ416とポリゴンスキャニングフィルタ(408b)よりなる、Extended−cavity Laserの一種である。
【0055】
SOA415から出力された光は、光ファイバ416を進み、ポリゴンスキャニングフィルタ408bに入り、ここで波長選択された光は、SOA415で増幅され、最終的にcoupler414から出力される。
【0056】
ポリゴンスキャニングフィルタ408bでは、光を分光する回折格子412とポリゴンミラー409との組み合わせで波長を選択する。具体的には、回折格子412により分光された光を2枚のレンズ(410、411)によりポリゴンミラー409の表面に集光させる。これによりポリゴンミラー409と直交する波長の光のみが同一の光路を戻り、ポリゴンスキャニングフィルタ408bから出力されることとなる。つまり、ポリゴンミラー409を回転させることで、波長の時間掃引を行うことができる。
【0057】
ポリゴンミラー409は、例えば、48面体のミラーが使用され、回転数が50000rpm程度である。ポリゴンミラー409と回折格子412とを組み合わせた波長掃引方式により、高速、高出力の波長掃引が可能である。
【0058】
Coupler414から出力された波長掃引光源408の光は、第1のシングルモードファイバ440の一端に入射され、先端側に伝送される。第1のシングルモードファイバ440は、途中の光カップラ部441において第2のシングルモードファイバ445及び第3のシングルモードファイバ444と光学的に結合されている。
【0059】
第1のシングルモードファイバ440の光カップラ部441より先端側には、非回転部(固定部)と回転部(回転駆動部)との間を結合し、光を伝送する光ロータリジョイント(光カップリング部)403が回転駆動装置404内に設けられている。
【0060】
更に、光ロータリジョイント(光カップリング部)403内の第4のシングルモードファイバ442の先端側には、プローブ部101の第5のシングルモードファイバ443がアダプタ402を介して着脱自在に接続されている。これによりイメージングコア220内に挿通され回転駆動可能な第5のシングルモードファイバ443に、波長掃引光源408からの光が伝送される。
【0061】
伝送された光は、イメージングコア220の光送受信部320から血管内の生体組織に対して回転動作及び軸方向動作しながら照射される。そして、生体組織の表面あるいは内部で散乱した反射光の一部がイメージングコア220の光送受信部320により取り込まれ、逆の光路を経て第1のシングルモードファイバ440側に戻る。さらに、光カップラ部441によりその一部が第2のシングルモードファイバ445側に移り、第2のシングルモードファイバ445の一端から出射された後、光検出器(例えばフォトダイオード424)にて受光される。
【0062】
なお、光ロータリジョイント403の回転駆動部側は回転駆動装置404のラジアル走査モータ405により回転駆動される。
【0063】
一方、第3のシングルモードファイバ444の光カップラ部441と反対側の先端には、参照光の光路長を微調整する光路長の可変機構432が設けられている。
【0064】
この光路長の可変機構432はプローブ部101を交換して使用した場合の個々のプローブ部101の長さのばらつきを吸収できるよう、その長さのばらつきに相当する光路長を変化させる光路長変化手段を備えている。
【0065】
第3のシングルモードファイバ444およびコリメートレンズ418は、その光軸方向に矢印423で示すように移動自在な1軸ステージ422上に設けられており、光路長変化手段を形成している。
【0066】
具体的には、1軸ステージ422はプローブ部101を交換した場合に、プローブ部101の光路長のばらつきを吸収できるだけの光路長の可変範囲を有する光路長変化手段として機能する。さらに、1軸ステージ422はオフセットを調整する調整手段としての機能も備えている。例えば、プローブ部101の先端が生体組織の表面に密着していない場合でも、1軸ステージにより光路長を微小変化させることにより、生体組織の表面位置からの反射光と干渉させる状態に設定することが可能である。
【0067】
1軸ステージ422で光路長が微調整され、グレーティング419、レンズ420を介してミラー421にて反射された光は第3のシングルモードファイバ444の途中に設けられた光カップラ部441で第1のシングルモードファイバ440側から得られた光と混合されて、フォトダイオード424にて受光される。
【0068】
このようにしてフォトダイオード424にて受光された干渉光は光電変換され、アンプ425により増幅された後、復調器426に入力される。この復調器426では干渉した光の信号部分のみを抽出する復調処理を行い、その出力は干渉光信号としてA/D変換器427に入力される。
【0069】
A/D変換器427では、干渉光信号を例えば180MHzで2048ポイント分サンプリングして、1ラインのデジタルデータ(干渉光データ)を生成する。なお、サンプリング周波数を180MHzとしたのは、波長掃引の繰り返し周波数を80kHzにした場合に、波長掃引の周期(12.5μsec)の90%程度を2048点のデジタルデータとして抽出することを前提としたものであり、特にこれに限定されるものではない。
【0070】
A/D変換器427にて生成されたライン単位の干渉光データは、信号処理部428に入力される。信号処理部428では干渉光データをFFT(高速フーリエ変換)により周波数分解して深さ方向のデータ(ラインデータ)を生成し、これを座標変換することにより、血管内の各位置での光断面画像(以下、OCT断面画像という)を構築し、所定のフレームレートでLCDモニタ113に出力する。
【0071】
信号処理部428は、更に光路長調整手段制御装置430と接続されている。信号処理部428は光路長調整手段制御装置430を介して1軸ステージ422の位置の制御を行う。
【0072】
なお、信号処理部428におけるこれらの処理も、所定のプログラムがコンピュータによって実行されることで実現されるものとする。
【0073】
上記構成において、ユーザが操作制御装置103を操作して、スキャン開始の指示を入力すると、信号処理部428は、スキャナ及びプルバック部102を制御し、イメージングコア220の回転並びに、イメージコア220を所定速度で引っ張って、血管の長手方向への移動を行なわせる。この結果、先に説明したように、A/D変換器427、455はデジタルの超音波データ、干渉光データを出力してくるので、信号処理部428はそれらにおけるイメージングコア220の移動方向に沿った各位置の超音波断面画像、光断面画像を、信号処理部428が有するメモリ428a内に構築していく。この際、超音波断面画像、光断面画像のスケールも一致させ、更に、それぞれ断面画像の中央位置を、スキャン時の回転軸に一致させておく。
図5は、信号処理部428が有するメモリ428aに記憶された、超音波断面画像、光断面画像の例を示している。なお、先に説明したように、超音波送受信部310、光送受信部320の出射方向は
図3の3Bに示すようにθだけズレているので、断面画像を構成する際には、一方をθだけずらすことで、それら2種類の断面画像の向きを合せておく。また、超音波送受信部310、光送受信部320は、
図3の3Aに示す如く、プルバック操作によるイメージングコア220の移動方行に対してLだけのズレているので、同じ血管の位置の超音波断面画像と光断面画像を得るためには、
図5に示す如く、再構成される断面画像もLだけズレているものとし、例えば或る光断面画像と対応する位置の超音波断面画像を得るためには、Lだけズレた位置から取得することになる。
【0074】
なお、上記のθ、Lはスキャン開始時に、操作制御装置103を操作して設定しておけばよい。
【0075】
<5.ユーザインタフェースの説明>
次に、LCDモニタ113に表示されるユーザインタフェースについて説明する。以下の説明は、既に患者の血管内のスキャンが完了し、
図5に示すような各位置の断面画像の生成処理が完了しているのとして説明する。また、以下に説明する各種指示は、操作パネル112やマウス114による行うものである。
【0076】
図6は、LCDモニタ113に表示される、スキャン完了後の並列表示モードにおけるユーザインタフェース600を示している。図示のユーザインタフェース600は、大きく分けて、4つの表示領域610、620、630、640で構成される。また、マウス114に連動して表示されるカーソル650が示されている。
【0077】
表示領域610には、表示モードを指示するための並列表示モードボタン611、拡大鏡モードボタン612が設けられている。なお、マウス114を操作してボタン611上にカーソル650を移動し、マウス114のボタンをクリックする操作を、単に「ボタン611をクリックする」という。
【0078】
図6の場合、以下に説明するようにIVUS断面画像とOCT断面画像とを並べて表示する並列表示モードであるので、図示の如く、並列表示モードボタン611がハイライト表示されている。拡大鏡モードボタン612がクリックされた場合のユーザインタフェースについて後述する。
【0079】
領域620には、表示されたIVUS断面画像、或いは、OCT断面画像のうち、選択状態にある断面画像に対する各種画像処理のボタンが配置されている。例えば、図示のコントラストボタンをクリックすると、その時点で選択されている断面画像に対してコントラストに係る設定を変更できる。なお、画像処理の種類に制限はないが、多数の画像処理ボタンを表示できるようにするため、スクロールバーを設けても構わないし、タブ表示形式で各種画像処理ボタンを表示しても構わない。
【0080】
領域630は、OCT断面画像表示領域631、IVUS断面画像表示領域633を含む。また、それぞれが何の画像であるかを明示するため、それぞれの断面画像の上部には、画像種識別用のラベル632、634が付加されている。ユーザは、OCT断面画像表示領域631、或いは、IVUS断面画像表示領域633内でクリックすると、クリックした際のカーソルが位置していた断面画像が各種画像処理対象として選択状態になる。
図6の場合、ラベル632がハイライト表示されているので、OCT断面画像が選択状態にあることがわかる。ユーザが、IVUS断面画像表示領域633内でクリックすると、IVUS断面画像が画像処理対象として選択状態となり、ラベル634がハイライト表示されることになる。
【0081】
領域640には、複数のIVUS断面画像(或いは、複数のOCT断面画像でも構わない)に基づいて生成された血管の長手方向の断面画像641を表示する。また、領域640に、IVUS断面画像とOFDI断面画像に基づいて生成された血管の長手方向の断面画像を同時に表示しても良い。この表示領域内のマーカ642は、領域610、620に表示している断面画像の位置を示している。このマーカ642の位置は、マウス114を操作することで変更できる。すなわち、カーソル650をマーカ642上に移動させ、マウスボタンを押下しながらマウス114を移動させる(一般に、ドラッグ操作と呼ばれる)ことで、そのマーカ642が水平方向に沿って移動する。信号処理部428は、この移動中のマーカ642の位置から、その位置のOCT断面画像及びIVUS断面画像を、メモリ428aより読み出し、それを表示領域631、633に表示する処理を行うことになる。
【0082】
以上、
図6のユーザインタフェースについて説明したが、患者の血管内を診察する場合には、マウス114を操作して、マーカ642を自由に移動させ、その都度、領域631、633に表示されるIVUS断面画像とOCT断面画像とを見ながら、患者の血管について診断を行うことになる。
【0083】
さて、OCT断面画像はその比較的浅い組織に対して高い解像度の像が得られる反面、深い組織を得るには不向きである。一方、IVUS断面画像は、解像度はOCT断面画像より劣るものの、比較的深い組織の像を得ることができる。つまり、OCT断面画像とIVUS断面画像は互いに補う関係にあると言える。従って、これら2つの像を、視点を変更せずに、同時に確認できるようにすると診断に有利である。そのために考えられるには、これら2つの画像を合成し、1枚の合成画像を生成し、それを表示することである。しかしながら、仮に2つの画像を50:50の割合で合成して表示した場合、本来の個々の画像が持っていたコントラストは、それぞれのオリジナルの画像の半分になってしまい、診断の妨げになってしまう。
【0084】
そこで、本実施形態では、OCT断面画像、IVUS断面画像の一方を基準画像として表示し、もう一方の断面画像は仮想的な拡大鏡を介して見えるようにした。更に、この拡大鏡の位置をユーザに操作により自在に変更できるようにした。この表示モードが拡大鏡モードである。領域610における拡大鏡モードボタン612をクリックすることで、このモードに移行する。
【0085】
図7は実施形態における拡大鏡モード時のユーザインタフェース600を示している。図示において、領域610、620、640は
図6のそれと同じであり、その説明や省略する。ただし、拡大鏡表示モードにおけるユーザインタフェースであるので、領域610における拡大鏡モードボタン612がハイライト表示される。
【0086】
図7において、領域730は、
図6の領域630に代って表示される領域であり、ユーザにより指示されるボタン731、732、基準画像を表示する画像表示領域733、拡大鏡のサイズを指示するスライダ734、拡大鏡の拡大率Mを指示するスライダ735、並びに、スライダ735による拡大率M(百分率)を表示する領域736(デフォルトでは「100%」が表示される)、並びに、拡大鏡を表わす円形枠の太さを指示するスライダ737で構成されている。
【0087】
ボタン731は、基準となる画像をIVUS断面画像とし、拡大鏡を介して見える画像をOCT断面画像とするモードに移行させるためのボタンである。図示では、ボタン731の表記が「OCT_in_IVUS」となっているのは、IVUS断面画像内にOCT断面画像を表示することを示している。拡大鏡モードに移行した際には、ボタン731がデフォルトで選択された状態になる。
【0088】
ボタン732は、基準となる画像をOCT断面画像とし、拡大鏡を介して見える画像をIVUS断面画像とするモードに移行させるためのボタンである。図示では、ボタン732の表記が「IVUS_in_OCT」となっているのは、OCT断面画像内にIVUS断面画像を表示することを示している。
【0089】
つまり、拡大鏡モードには、その下位モードとしてOCT_in_IVUSモード、IVUS_in_OCTモードの2つが存在することになる。
【0090】
OCT_in_IVUSモードとIVUS_in_OCTモードのいずれか一方が選択できれば良いので、2つのボタン731、732のうち一方は無くしても良い。すなわち、1つのボタンがON/OFFで2つのモードを切り替えるようにしても良い。
【0091】
画像表示領域733には、ボタン731、732のいずれかで選択されたモードに応じて、IVUS断面画像、又は、OCT断面画像の一方が基準画像として表示される。そして、この領域734には、拡大鏡を表わす円形枠が設けられ、その円形枠内には、基準画像とは異なる、他方の断面画像が表示される。
図6の場合、OCT_in_IVUSを示すボタン731がハイライト表示されているので、画像表示領域733には基準画像としてIVUS断面画像が表示され、円形枠内にはOCT断面画像が表示される。なお、ボタン732をクリックすることで、IVUS_in_OCTモードに以降した場合、基準画像はOCT断面画像になり、円形枠内にはIVUS断面画像が表示されることになる。
【0092】
スライダ737を左右に移動させることで、円形枠の太さを自由に変更できる。実施形態では、円形枠の太さを0乃至5の6段階としたが、これは一例である。なお、円形枠の太さを0にしたとき、円形枠が非表示状態となる。つまり、このスライダ737は、円形枠の表示/非表示の切り替えも兼ねていることになる。なお、円形枠が非表示であっても、後述するように画像の切り出しや書込みに利用する円形枠は演算上では存在する。また、円形枠の色は予め設定されているものとして説明するが、その枠の色は自由に変更できるようにしても構わない。
【0093】
以下では、
図7に従って、拡大鏡モードにおいて、更にOCT_in_IVUSモードが指示された場合を説明する。
【0094】
画像表示領域733内の円形枠のサイズは、スライダ734の位置に応じたサイズとなる。また、円形枠内に表示するOCT断面画像の拡大率は、スライダ735の位置に依存したものとなる。
【0095】
この円形枠は、マウス114に連動するカーソル650が画像表示領域733内に一旦移動させることで、その位置を変更できる。すなわち、マウス114による指示位置が画像表示領域733内にある限り、ユーザはカーソル650の代わりに、今度は円形枠の位置を操作することになる。
図7のユーザインタフェースには、カーソル650が非表示であるので、ユーザの指示位置が画像表示領域733内にある状態を示していることになる。
【0096】
上記の通りなので、ユーザがマウス114を操作して画像表示領域733内で円形枠を移動させると、その円形枠の中心位置に対応するOCT断面画像中の一部が、その時点での拡大率Mに応じて拡大処理され、円形枠内に表示されることになる。この結果、ユーザから見ると、IVUS断面画像内のユーザが関心する位置の像を、あたかも拡大鏡を介してOCT断面画像として観察することが可能になる。しかも、その拡大率Mはユーザが自由に設定できることをも意味する。
【0097】
上記のOCT_in_IVUSモードにおける信号処理部428の処理を
図8に従って更に詳しく説明する。
【0098】
信号処理部428は、マーカ642の位置で特定されるIVUS断面画像データ810、OCT断面画像データ820をメモリ428aから読込む。ここで、IVUS断面画像データ810、OCT断面画像データ820のスケールは同一であり、且つ、画像表示領域733のスケールとも一致するものとする。
【0099】
OCT_in_IVUSモードでは、
図7に示す画像表示領域733に、IVUS断面画像を基準画像として表示するわけであるから、
図7に示す円形枠は、IVUS断面画像データ810上に位置しているものと考えてよい。そこで、
図7の円形枠は
図8の円形枠811として考える。
【0100】
円形枠811に、OCT断面画像データ820の一部分を拡大して表示するためには以下の手順を踏めばよい。
(1)マーカ642の位置に対応するOCT断面画像データ820、IVUS断面画像データ810をメモリ428aより読込む。
(2)OCT断面画像データ820内の拡大表示対象の円形領域821内の部分画像を切り出す。
(3)切り出した円形領域821内の部分画像をその時点での拡大率Mに応じて拡大する。
(4)拡大処理して得られた画像を、IVUS断面画像データ810の円形枠811内に上書きし、その結果を表示する。
【0101】
上記の工程(2)の円形領域821の中心点P_octは、円形枠811の中心点P_ivusの座標と同じである。異なるのは、円形領域821の半径R1と、円形枠811の半径R0である。円形枠811の半径R0は、スライダ734の位置に依存して決定されることが既に説明した。一方、円形領域821の半径R1は、次式に示すように、拡大率Mと、円形枠811の半径R0で表わすことができる。
R1=R0/M
つまり、拡大率が100%の場合にはR1=R0となり、拡大率が200%の場合にはR1=R0/2
従って、信号処理部428は、マウス114で指示された位置P_octを中心とし、半径R1(=R0/M)の円形領域内の部分画像を、OCT断面画像データ820から切り出す。
【0102】
工程(3)にて、信号処理部428は、切り出した部分画像を、拡大率Mに基づき、拡大処理する。この拡大処理により、半径R0の円形状画像が生成される。なお、拡大処理には様々な手法が知られているが、ここでは線形補間処理を適用するものとする。
【0103】
工程(4)にて、信号処理部428は、生成された拡大した画像を、IVUS断面画像データ810における円形枠811内に上書きする。そして、この上書き処理後のIVUS断面画像データ810(一部が、OCT断面画像データで書き換えられている)を表示する。
【0104】
信号処理部428は、ユーザがマウス114を操作して指示位置が変更され、且つ、その変更後の指示位置が画像表示領域733内にある限り、上記の処理を繰り返し実行する。
【0105】
上記の結果、
図7の円形枠(拡大鏡)の位置が、ユーザの意図した通りに自由に変更できる。画像表示領域733内であって、拡大鏡を示す円形枠の外側にはIVUS断面画像が、円形枠内にはOCT断面画像の部分画像が表示される。ここで円形枠はユーザによりその位置が自由に移動できるわけであるから、ユーザにとっては、IVUS断面画像の、拡大鏡で「覗く」範囲にはOCT断面画像が表示されるように見えることになる。更に、もしユーザが円形枠内のOCT断面画像で隠れたIVUS断面画像を確認したいのであれば、単純に今現在の円形枠の位置をずらして、隠れていたIVUS断面画像を表示させれば良いだけである。つまち、ユーザにしてみれば、ユーザの望む部位を、視点を変えずに、OCT断面画像で確認することは勿論のこと、IVUS断面画像でも確認することもできることを意味する。
【0106】
上記は、OCT_in_IVUSモード時のものであるが、IVUS_in_OCTモードにおける処理は、上記処理における「OCT断面画像」を「IVUS断面画像」と読みかえ、上記処理における「IVUS断面画像」を「OCT断面画像」と読み変えるだけであるので、その説明は省略する。
【0107】
[処理手順の説明]
実施形態における特徴は、
図7のユーザインタフェースに係る処理にある。そこで、以下では、
図7のユーザインタフェースの表示における信号処理部428の処理手順を
図9、
図10のフローチャートに従って説明する。同図のフローチャートに係る処理手順に係るプログラムはハードディスク装置等に格納されているものある。
【0108】
先ず、ステップS901にて、初期化処理を行う。この初期化処理には、デフォルトのモードとしてOCT_in_IVUSモードを設定する処理、円形枠の太さや半径R0、拡大率Mを初期値(実施形態では100%)に設定する処理、並びに、マーカ642の初期位置の設定等が含まれる。
【0109】
次に、ステップS902にて、初期化処理結果に基づき、
図7のユーザインタフェースの画面をLCDモニタ113上に表示する。
【0110】
この後、ステップS903乃至S909にて、
図7のユーザインタフェース上でのユーザの操作対象が何であるのかの判定を行う。
【0111】
ボタン731がクリックされた場合には、ステップS911にて、表示モードをOCT_in_IVUSモードに設定する。このとき、基準画像となるIVUS断面画像が、各種画像処理対象として選択状態にする。
【0112】
また、ボタン732がクリックされたかと判定した場合には、ステップS912にて、表示モードをIVUS_in_OCTモードに設定する。このとき、基準画像となるOCT断面画像が、各種画像処理対象として選択状態にする。
【0113】
スライダ734が操作されたと判断した場合には、ステップS913にて、スライダ734の位置に応じて円形枠の半径R1を更新する。また、スライダ735が操作されたと判断した場合には、ステップS914にて、スライダ735の位置に応じて、拡大率Mを更新する。
【0114】
チェックボックス737が操作されたと判断した場合には、ステップS915に進み、円形枠の太さを決定する。なお、太さが0の場合には円形枠は非表示になる点は既に説明した。
【0115】
マーカ642が操作されたと判断した場合には、ステップS916にて、その位置に応じて、表示対象のOCT断面画像データ、IVUS断面画像データを決定する。
【0116】
また、ユーザの指示位置(カーソル650)が、画像表示領域733内にあると判断した場合には、ステップS917に進み、後述する合成処理を実行する。
【0117】
そして、上記以外が操作されたと判断した場合、ステップS918にて、対応する処理を実行する。このステップS918の処理としては、領域610、630内の各種ボタンに係る処理であり、例えば、コントラストボタンがクリックされた場合、選択状態となっている断面画像に対してコントラストの調整処理に移行する。また、並列表示モードボタン611がクリックされた場合には、
図7のユーザインタフェースから、
図6のユーザインタフェースに切り替えることになるが、画像表示領域730が630に変更になり、画像処理対象の選択に係る操作が異なるだけであるので、ここでの詳述は不要であろう。
【0118】
次に、ステップS917の合成処理の詳細を
図10のフローチャートに従って説明する。この処理は、ユーザのマウス114による指示位置(カーソル650の本来の位置)が、画像表示領域733内にある場合の処理である。
【0119】
先ず、信号処理部428は、ステップS1001にて、先のステップ916で決定されたOCT断面画像、IVUS断面画像をメモリ428aより読込む。
【0120】
次で、ステップS1002にて、ユーザによる指示位置である座標を、P_ivus、P_octとして設定する(
図8参照)。
【0121】
この後、ステップS1003に進み、現在のモードは、OCT_in_IVUSモードであるか否かを判定する。OCT_in_IVUSモードであると判定した場合、処理はステップS1004に進む。
【0122】
このステップS1004にて、信号処理部428は、OCT断面画像データ内の座標P_octを中心とする半径R1(=R0/M)の円形領域内の部分画像を切り出す。そして、ステップS1005に進み、切り出した部分画像を拡大率Mで拡大し、ステップS1006に進む。このステップS1006にて、信号処理部428は、IVUS断面画像内の座標P_ivusを中心とする半径R0の円形領域内に、拡大して得られた部分画像を上書きし、その結果を、画像表示領域733に表示する。このとき、設定された太さの円形枠も合わせて合成する。ただし、円形枠の太さが0の場合には、円形枠の合成は不要である。
【0123】
一方、ステップS1003にて、現在のモードはOCT_in_IVUSモードではない、つまり、現在のモードはIVUS_in_OCTモードであると判定した場合、処理はステップS1007に進める。
【0124】
このステップS1007にて、信号処理部428は、IVUS断面画像データ内の座標P_ivusを中心とする半径R1(=R0/M)の円形領域内の部分画像を切り出す。そして、ステップS1008に進み、切り出した部分画像を拡大率Mで拡大し、ステップS1009に進む。このステップS1009にて、信号処理部428は、OCT断面画像内の座標P_octを中心とする半径R0の円形領域内に、拡大して得られた部分画像を上書きし、その結果を、画像表示領域733に表示する。このとき、設定された太さの円形枠も合わせて合成する。ただし、円形枠の太さが0の場合には、円形枠の合成は不要である。
【0125】
以上、実施形態におけるユーザインタフェースに係る処理を説明した。上記実施形態の拡大鏡モードによれば、並列表示モードと比較して、ユーザは自身が操作するマウス114に連動する円形枠とその周囲を観察するだけで、IVUS断面画像とOCT断面画像の両方を確認できることになり、容易に患部の診断を行うことが可能なる。更に、拡大鏡を示す円形枠はユーザの操作により自由にその位置が変更できる。従って、OCT_in_IVUSモードにおいて、ユーザが、円形枠内のOCT断面画像で隠れる部分のIVUS断面画像を見たい場合には、視点を変更せず、円形枠を動かすだけでよい。つまり、ユーザにしてみれば、視点を変えずとも、着目部位のOCT断面画像、IVUS断面画像を見比べることができるようになる。
【0126】
なお、上記実施形態で説明した表示例は一例であって、本願発明がこれらによって限定されるものではない。特に、実施形態では、OCT_in_IVUSモードと、IVUS_in_OCTモードの2つを有し、そのいずれかをユーザが指定できるものとして説明したが、いずれか一方のみであっても構わない。後者の場合、円形枠外に表示する断面画像はIVUS断面画像、円形枠内に表示する断面画像はOCT断面画像が好ましい。理由は、IVUS断面画像の方は、比較的生体組織の深部まで観察できるので、広範囲の画像を表示するのに都合が良いこと、並びに、OCT断面画像は元々解像度が高いので、高い倍率にも十分に耐えることができるからである。
【0127】
また、上記実施形態からもわかるように、拡大鏡モードに係る処理の大部分は、マイクロプロセッサで構成される信号処理部428によるものである。従って、マイクロプロセッサはプログラムを実行することで、その機能を実現するわけであるから、当然、そのプログラムも本願発明の範疇になる。特に、実施形態では、
図1に示す画像診断装置を例にして説明したが、通常のパーソナルコンピュータが、アプリケーションプログラムを実行することで、
図1に示す画像診断装置で得られたIVUS断面画像情報、OCT断面画像情報を記憶した記憶媒体(例えばCDROMやメモリカード)をアクセスし、その結果、読み出されたIVUS断面画像情報、OCT断面画像情報を、上記実施形態のユーザインタフェースとして実現させても構わない。また、通常プログラムは、CD−ROMやDVD−ROM等のコンピュータ可読記憶媒体に格納されており、それのコンピュータが有する読み取り装置(CD−ROMドライブ等)にセットし、システムにコピーもしくはインストールすることで実行可能になるわけであるから、係るコンピュータ可読記憶媒体も本願発明の範疇に入ることも明らかである。
【0128】
本発明は上記実施の形態に制限されるものではなく、本発明の要旨及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。