(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0011】
本発明に係る医用画像処理装置および医用画像処理プログラムの実施の形態について、添付図面を参照して説明する。
【0012】
図1は、本発明の一実施形態に係る医用画像処理装置10の一構成例を示すブロック図である。
【0013】
医用画像処理装置10は、
図1に示すように、入力部11、表示部12、ネットワーク接続部13、記憶部14および制御部15を有する。
【0014】
入力部11は、少なくともポインティングデバイスを含み、たとえばマウス、トラックボール、キーボード、タッチパネル、テンキーなどの一般的な入力装置により構成され、ユーザの操作に対応した操作入力信号を制御部15に出力する。
【0015】
表示部12は、たとえば液晶ディスプレイやOLED(Organic Light Emitting Diode)ディスプレイなどの一般的な表示出力装置により構成され、制御部15の制御に従ってSPRレンダリング画像などの各種画像を表示する。
【0016】
ネットワーク接続部13は、ネットワーク100の形態に応じた種々の情報通信用プロトコルを実装する。ネットワーク接続部13は、この各種プロトコルに従って医用画像処理装置10と他の電気機器とを接続する。ここでネットワーク100とは、電気通信技術を利用した情報通信網全般を意味し、病院基幹LAN(Local Area Network)などの無線/有線LANやインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。
【0017】
記憶部14は、モダリティ101から出力される医療用のボリュームデータ(医用3次元画像データ)や再構成画像データを記憶する。モダリティ101は、たとえばX線CT(Computed Tomography)装置やMRI(Magnetic Resonance Imaging)装置、超音波診断装置、X線診断装置などの医用画像診断装置であって、被検体(患者)の撮像により得られた投影データにもとづいてボリュームデータ(3次元画像データ)を生成可能な装置により構成することができる。
【0018】
また、医用画像処理装置10は、ネットワーク100を介して接続されたモダリティ101や画像サーバ102から再構成画像やボリュームデータを受けてもよい。ネットワーク100を介して受信した再構成画像やボリュームデータもまた、記憶部14に記憶される。
【0019】
画像サーバ102は、たとえばPACS(Picture Archiving and Communication System:医用画像保管通信システム)に備えられる画像の長期保管用のサーバであり、ネットワーク100を介して接続されたX線CT(Computed Tomography)装置、磁気共鳴イメージング(MRI:Magnetic Resonance Imaging)装置、超音波診断装置などのモダリティ101で生成された再構成画像やボリュームデータなどを記憶する。
【0020】
制御部15は、CPU、RAMおよびROMをはじめとする記憶媒体などにより構成され、この記憶媒体に記憶されたプログラムに従って医用画像処理装置10の動作を制御する。
【0021】
制御部15のCPUは、ROMをはじめとする記憶媒体に記憶された医用画像処理プログラムおよびこのプログラムの実行のために必要なデータをRAMへロードし、このプログラムに従って、ユーザが管状構造物の内壁の様子、外壁の様子および全体像を容易に同時に把握することができる画像としてSPRレンダリング画像を生成するための処理を実行する。
【0022】
制御部15のRAMは、CPUが実行するプログラムおよびデータを一時的に格納するワークエリアを提供する。制御部15のROMをはじめとする記憶媒体は、医用画像処理装置10の起動プログラム、医用画像処理プログラムや、これらのプログラムを実行するために必要な各種データを記憶する。なお、ROMをはじめとする記憶媒体は、磁気的もしくは光学的記録媒体または半導体メモリなどの、CPUにより読み取り可能な記録媒体を含んだ構成を有し、これら記憶媒体内のプログラムおよびデータの一部または全部は電子ネットワークを介してダウンロードされるように構成してもよい。
【0023】
図2は、制御部15のCPUによる機能実現部の構成例を示す概略的なブロック図である。なお、この機能実現部は、CPUを用いることなく回路などのハードウエアロジックによって構成してもよい。
【0024】
図2に示すように、制御部15のCPUは、医用画像処理プログラムによって、少なくとも画像データ取得部21、芯線抽出部22、画像生成部23、視点情報取得部24、異常箇所情報取得部25、および終了判定部26として機能する。この各部21−26は、RAMの所要のワークエリアをデータの一時的な格納場所として利用する。
【0025】
画像データ取得部21は、モダリティ101により生成された再構成画像やボリュームデータを取得し、記憶部14に記憶させる。
【0026】
ここで、血管、気管支、大腸、小腸などの管状構造物を観察するために、従来の方法によりボリュームデータにもとづいて生成される画像について簡単に説明する。
【0027】
図3(a)は従来のフライスルー画像の一例を示す説明図であり、(b)は従来のクロスカット画像の一例を示す説明図であり、(c)は従来のSPR画像の一例を示す説明図である。
【0028】
図3(a)に示すフライスルー画像は、管状構造物30の芯線31に沿って内壁40を観察するための画像である。フライスルー画像によれば、ユーザは管状構造物30の内部の様子を容易に把握することができる。しかし、当然ながらフライスルー画像には外壁の画像が含まれず、管状構造物30の全体像を把握することは困難である。
【0029】
図3(b)に示すクロスカット画像は、管状構造物30の芯線31に直交する断面の画像である。このクロスカット画像を用いて全体像を把握するためには、ユーザは1枚ずつ断面を呼び出す必要がある。
【0030】
なお、以下の説明において、芯線31に沿った方向をz軸方向として空間座標を設定する場合の例について説明する。
【0031】
図3(c)に示すSPR画像は、管状構造物30の芯線31に沿って一方向に曲率を有する曲面で3次元データを切断し、この曲面を平面に展開した後、さらに芯線31を直線状に引き伸ばすことにより得られる管状構造物30の芯線31に沿った断面画像である。SPR画像によれば、ユーザは管状構造物30の芯線31に沿った方向の全体像を把握することができる。しかし、SPR画像はあくまで芯線31を通る1断面の画像にすぎないため、内壁の様子および外壁の様子は、この1断面で捉えられるごく一部の様子しか把握することができない。
【0032】
そこで、本実施形態に係る医用画像処理装置10は、内壁の様子、外壁の様子および全体像を容易に同時に把握可能な画像(以下、SPRレンダリング画像という)を生成する。
【0033】
図4は、SPRレンダリング画像の生成方法の一例を説明するための図である。
【0034】
このSPRレンダリング画像は、いわばフライスルー画像を、SPR画像のように芯線31に沿って直線状に引き伸ばし、外壁50の外側に位置する視点32から外壁50に対するレンダリング処理も行うことで生成される3次元画像である。視点32の位置は、あらかじめ設定された位置を用いてもよいし、ユーザにより入力部11を介して適宜設定された位置であってもよい。
【0035】
また、SPRレンダリング画像に内壁40の画像が含まれるようにするため、SPRレンダリング画像において、管状構造物30は芯線31に沿った方向に引き伸ばされるとともに、一部が破断される。具体的には、管状構造物30は、外壁50の外側に位置する視点32の前面の仮想的な投影面33に対して管状構造物30を投影した際に内壁40の画像が含まれる位置で破断される。
図4は、管状構造物30の一部が切断面34で切断される場合の例について示した。
【0036】
図5は、管状構造物30の一部が切断面34で切断された場合のSPRレンダリング画像の一例を示す説明図である。
【0037】
図5に示すように、芯線31に沿った方向に管状構造物30を引き伸ばし、内壁40の画像が含まれるよう管状構造物30を一部破断して外壁50の外側に位置する視点32からレンダリング処理を行うことにより、内壁40の画像および外壁50の画像を同時に含むSPRレンダリング画像を生成することができる。
【0038】
図6は、管状構造物30の一部が曲面で切断された場合のSPRレンダリング画像の一例を示す説明図である。
図6に示すように、管状構造物30の破断方法は、SPRレンダリング画像に内壁40の様子および外壁50の様子が同時に含まれる方法であればよく、切断面34で切断する方法に限られない。
【0039】
このような管状構造物30の内壁40の様子、外壁50の様子および全体像を容易に同時に把握可能なSPRレンダリング画像は、本実施形態に係る医用画像処理装置10の芯線抽出部22および画像生成部23により生成される。
【0040】
芯線抽出部22は、ボリュームデータにもとづいて管状構造物30の芯線31を抽出する。たとえば、芯線抽出部22は、まずボリュームデータを閾値処理することによりボリュームデータに含まれる管状構造物30の領域を抽出する。そして、芯線抽出部22は、この領域をたとえば細線化処理することで、芯線31を抽出する。
【0041】
管状構造物30は、ボリュームデータを閾値処理することにより全自動で抽出されてもよいし、モダリティ101から取得した再構成画像を表示部12に表示しておき、ユーザがこの表示部12に表示された再構成画像を確認しながら入力部11を介して手動により領域設定されてもよい。また、ユーザにより入力部11を介してユーザが管状構造物30に属すると考える1点の情報をクリック操作などにより受け付け、この1点の位置からセグメンテーション(領域拡張)することにより半自動で抽出してもよい。
【0042】
また、管状構造物30の芯線抽出方法としては細線化処理方法の他にも距離変換を用いる方法など従来種々の全自動による芯線抽出方法が知られており、これらのうち任意のものを使用することが可能である。また、たとえばモダリティ101から取得した再構成画像を表示部12に表示しておき、ユーザがこの表示部12に表示された再構成画像を確認しながら入力部11を介して手動により芯線31を設定してもよい。この場合、芯線抽出部22はユーザにより手動で設定された芯線31の情報を受け付ける。また、半自動で芯線31を抽出する場合、芯線抽出部22は、たとえばユーザにより入力部11を介してユーザが芯線31に属すると考える複数点の情報をクリック操作などにより受け付け、この複数点の間を自動補間することにより芯線31を抽出する。
【0043】
手動による場合や半自動による場合には、芯線抽出部22は管状構造物30の領域を抽出する作業を省略してもよい。また、管状構造物30の領域情報を必要としない芯線抽出アルゴリズムを用いる場合にも、芯線抽出部22は管状構造物30の領域を抽出する作業を省略してもよい。
【0044】
画像生成部23は、ボリュームデータから管状構造物30の内壁40および外壁50を抽出する。また、画像生成部23は、芯線31に沿った方向に管状構造物30を引き伸ばし、外壁50の外側に設定された所定の視点32から見たときに内壁40の画像が含まれるよう、管状構造物30を一部破断する。芯線31に沿った方向に管状構造物30を引き伸ばす方法は、SPR画像を生成する際に従来用いられる種々の方法を利用することができる。そして、画像生成部23は、視点32にもとづいて管状構造物30の内壁40および外壁50のレンダリング処理を行うことにより、SPRレンダリング画像を生成する(
図5、
図6参照)。
【0045】
また、画像生成部23は、ボリュームデータから抽出した内壁40の情報にもとづいて一度フライスルー画像を生成し、このフライスルー画像を芯線31に沿って直線状に引き伸ばして一部破断させてから、視点32にもとづいて管状構造物30の内壁40および外壁50のレンダリング処理を行うことにより、SPRレンダリング画像を生成してもよい。
【0046】
視点情報取得部24は、ユーザにより入力部11を介して視点32の位置の変更指示を受けると、この変更指示の内容を画像生成部23に与える。
【0047】
図7(a)は芯線31を軸として管状構造物30を回転させる場合の回転前のSPRレンダリング画像の一例を示す説明図であり、(b)は(a)に示す例から芯線31を軸として90度回転したSPRレンダリング画像の一例を示す説明図であり、(c)は(b)に示す例から芯線31を軸としてさらに90度回転したSPRレンダリング画像の一例を示す説明図である。
【0048】
なお、
図7には、内壁40に第1内壁異常箇所41および第2内壁異常箇所42が、外壁50に第1外壁異常箇所51および第2外壁異常箇所52が、それぞれ存在する場合の例について示した。
【0049】
ユーザにより芯線31を軸として管状構造物30を回転させたい旨の指示を受けた場合、画像生成部23は、芯線31を軸として視点32を回転移動させてレンダリング処理を行う。
【0050】
図7(a)に示すように、回転前のSPRレンダリング画像では第2内壁異常箇所42および第1外壁異常箇所51が確認できない場合について考える。この場合、
図7(b)、(c)に示すように、画像生成部23が芯線31を軸として管状構造物30を回転させるようにSPRレンダリング画像を再生成することにより、回転前のSPRレンダリング画像では確認できなかった第2内壁異常箇所42および第1外壁異常箇所51を確認することができる。
【0051】
図8(a)は、芯線31に沿って管状構造物30を移動させる場合の移動前のSPRレンダリング画像の一例を示す説明図であり、(b)は(a)に示す例から芯線31に沿って所定距離移動したSPRレンダリング画像の一例を示す説明図であり、(c)は(b)に示す例から芯線31に沿ってさらに所定距離移動したSPRレンダリング画像の一例を示す説明図である。
【0052】
なお、
図8には、内壁40に第3内壁異常箇所43および第4内壁異常箇所44が、外壁50に第3外壁異常箇所53および第4外壁異常箇所54が、それぞれ存在する場合の例について示した。
【0053】
図8(a)に示すように、移動前のSPRレンダリング画像では第4内壁異常箇所44および第4外壁異常箇所54が確認できない場合について考える。この場合、
図8(b)、(c)に示すように、フライスルー画像と同様に観察断面を再生表示できるよう、画像生成部23が芯線31に沿って管状構造物30を移動させるようにSPRレンダリング画像を再生成することにより、移動前のSPRレンダリング画像では確認できなかった第4内壁異常箇所44および第4外壁異常箇所54を確認することができる。
【0054】
なお、芯線31に沿って管状構造物30を移動させる場合、画像生成部23は、たとえば視点32および切断面34の空間座標を固定し、管状構造物30を芯線31に沿って空間座標内で移動させつつ所定の移動間隔ごとにSPRレンダリング画像を生成するとよい。視点32および切断面34の空間座標を固定しておくことにより、SPRレンダリング画像に常に内壁40の画像が含まれるようにすることができる。
【0055】
異常箇所情報取得部25は、ボリュームデータまたはモダリティ101から取得したこのボリュームデータに対応する再構成画像にもとづいて狭窄箇所や肥厚箇所などの異常箇所の位置情報を取得し、この情報を画像生成部23に与える。
【0056】
図9は、SPRレンダリング画像およびSPR画像に異常箇所の位置を示す強調画像45、55を重畳表示する場合の画像の一例を示す説明図である。
【0057】
図9に示すように、画像生成部23は、SPRレンダリング画像に対し、内壁40の異常箇所の位置を示す強調画像45および外壁50の異常箇所の位置を示す強調画像55を重畳表示させる。また、SPR画像やX線CT画像、MRI画像などの再構成画像に対して強調画像45および55を重畳表示させ、SPRレンダリング画像とともに表示部12に同時に並べて表示してもよい。強調画像45および55としては、たとえば異常箇所を囲む図形や文字情報、異常レベルに応じた
、異常箇所また
は異常箇所を囲む図形の色分けや輝度わけ、またはこれらの組み合わせなどを用いることができる。
【0058】
異常箇所の位置情報の取得方法として、異常箇所情報取得部25は、たとえばボリュームデータまたはモダリティ101から取得したこのボリュームデータに対応する再構成画像に対して凸領域の自動抽出アルゴリズムを適用することにより、異常箇所の位置情報を取得する方法などを用いることができる。また、モダリティ101から取得した再構成画像を表示部12に表示しておき、ユーザがこの表示部12に表示された再構成画像を確認しながら入力部11を介して手動により異常箇所を設定してもよい。この場合、異常箇所情報取得部25はユーザにより手動で設定された異常箇所の位置情報を受け付ける。また、半自動で異常箇所の位置情報を取得してもよく、この場合、異常箇所情報取得部25は、ユーザにより入力部11を介してユーザが異常箇所に属すると考える1点の情報をクリック操作などにより受け付け、この1点の位置からセグメンテーションすることにより異常箇所を抽出する。
【0059】
終了判定部26は、入力部11を介してSPRレンダリング画像の表示を終了すべき旨の指示を受けたか否かを判定する。
【0060】
次に、本実施形態に係る医用画像処理装置および医用画像処理プログラムの動作の一例について説明する。
【0061】
図10は、
図1に示す制御部15のCPUにより、ユーザが管状構造物30の内壁40の様子、外壁50の様子および全体像を容易に同時に把握することができるSPRレンダリング画像を生成する際の手順を示すフローチャートである。
図10において、Sに数字を付した符号は、フローチャートの各ステップを示す。
【0062】
まず、ステップS1において、画像データ取得部21は、モダリティ101により生成された再構成画像やボリュームデータを取得し、記憶部14に記憶させる。
【0063】
次に、ステップS2において、芯線抽出部22は、ボリュームデータを閾値処理することにより全自動で、または手動あるいは半自動により、ボリュームデータに含まれる管状構造物30の領域を抽出する。
【0064】
次に、ステップS3において、芯線抽出部22は、この領域をたとえば細線化処理することにより全自動で、または手動あるいは半自動により、芯線31を抽出する。
【0065】
なお、ステップS3において手動あるいは半自動により芯線31を抽出する場合や、管状構造物30の領域情報を必要としない芯線抽出アルゴリズムを用いて芯線31を抽出する場合は、ステップS2は省略されてもよい。
【0066】
次に、ステップS4において、画像生成部23は、ボリュームデータから管状構造物30の内壁40および外壁50を抽出する。また、画像生成部23は、芯線31に沿った方向に管状構造物30を引き伸ばし、外壁50の外側に設定された所定の視点32から見たときに内壁40の画像が含まれるよう、管状構造物30を一部破断する。そして、画像生成部23は、視点32にもとづいて管状構造物30の内壁40および外壁50のレンダリング処理を行うことにより、SPRレンダリング画像を生成し、表示部12に表示させる(
図5、
図6参照)。
【0067】
次に、ステップS5において、視点情報取得部24は、ユーザにより入力部11を介して視点32の位置の変更指示を受けたか否かを判定する。視点変更指示を受けた場合はステップS4に戻り、画像生成部23により視点変更指示に応じてSPRレンダリング画像が再生成されて表示部12に表示される(
図7、
図8参照)。一方、視点変更指示がない場合はステップS6に進む。
【0068】
次に、ステップS6において、異常箇所情報取得部25は、異常箇所の情報を取得したか否かを判定する。異常箇所の情報を取得した場合はステップS7に進み、画像生成部23により異常箇所の位置を示す強調画像45、55がSPRレンダリング画像に重畳表示される。このとき、画像生成部23は、SPR画像やX線CT画像、MRI画像などの再構成画像に対して強調画像45および55を重畳表示させ、SPRレンダリング画像とともに表示部12に同時に並べて表示してもよい(
図9参照)。
【0069】
そして、ステップS8において、終了判定部26は、入力部11を介してSPRレンダリング画像の表示を終了すべき旨の指示を受けたか否かを判定する。終了すべき旨の指示を受けていない場合はステップS5に戻る。一方、終了すべき旨の指示を受けた場合は、一連の手順は終了となる。
【0070】
以上の手順により、ユーザが管状構造物30の内壁40の様子、外壁50の様子および全体像を容易に同時に把握することができるSPRレンダリング画像を生成することができる。
【0071】
本実施形態に係る医用画像処理装置10は、SPRレンダリング画像を生成することができる。このSPRレンダリング画像は、いわばフライスルー画像を、SPR画像のように芯線31に沿って直線状に引き伸ばし、外壁50の外側に位置する視点32から外壁50に対するレンダリング処理も行うことで生成される3次元画像である。このため、医用画像処理装置10により生成されるSPRレンダリング画像によれば、ユーザは、管状構造物30の内壁40の様子、外壁50の様子および全体像を容易に同時に把握することができる。したがって、医用画像処理装置10によれば、ユーザは、管状構造物30の全体像を把握しながら、内壁40および外壁50のいずれに存在する異常箇所であっても非常に容易に発見することができる。
【0072】
また、医用画像処理装置10は、ユーザにより入力部11を介して視点32の位置の変更指示を受けると、この視点変更指示に応じてSPRレンダリング画像を再生成することができる。このため、初期の視点32では確認しづらい位置に異常箇所が存在する場合であっても、ユーザは、視点変更指示によって再生成されるSPRレンダリング画像により、容易にこの異常箇所を発見することができる。
【0073】
また、医用画像処理装置10は、異常箇所に対して強調画像45、55を重畳表示することができる。このため、ユーザは、一度確認した異常箇所に強調画像45、55を重畳させておくことにより、後日もう一度確認する際にこの異常箇所を見落とすおそれがなくなる。また、異常箇所を自動抽出する場合、初期の視点32では確認しづらい位置に異常箇所が存在する場合であっても、容易にこの異常箇所の存在を知ることができる。
【0074】
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【0075】
また、本発明の実施形態では、フローチャートの各ステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。