(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上述したようにアノテーションを付加する際には、アノテーションの色を3次元医用画像の色と区別できるようにする必要があり、予め設定されたアノテーションの色によっては3次元医用画像の色と区別することが困難な場合があった。
【0006】
また、3次元医用画像に基づいてCPR(Curved Planer Reformation)画像を表示する際、そのCPR画像の切断曲面の表面画像をアノテーションとしてボリュームレンダリング画像上に表示させることがあるが、一般的にボリュームレンダリング画像はカラー表示されるので、上述した表面画像の色によっては表面画像がボリュームレンダリング画像内に埋もれてしまい、結局、どの曲面を表示しているのか把握できなくなることがある。また、アノテーションの色については、第3者に対して見易くしたり、強調したりするためにユーザが指定した色を用いることが望ましい。
【0007】
ここで、特許文献1には、医用画像に対してテキストボックスなどのオブジェクトを表示する際、医用画像の輝度に応じてオブジェクトの輝度を調整することが提案されているが、これはオブジェクトの輝度によっては高い表示精度が求められる医用画像に対して影響を与え、読影に支障がでるという問題を解決するためであり、特許文献1には、オブジェクトを識別し易くするという観点での対策は全く提案されていない。
【0008】
また、特許文献2および特許文献3には、関心領域と関心領域以外の領域とを識別可能に表示することが提案されているが、アノテーションと3次元医用画像との関係については何も提案されていない。
【0009】
本発明は、上記事情に鑑み、被検体の3次元医用画像とともに、その3次元医用画像に付加される情報を表す付加情報画像を表示する医用画像表示装置、方法およびプログラムにおいて、付加情報画像を所望の色で表示することができ、かつ付加情報画像と3次元医用画像とを明確に区別することができる医用画像表示装置、方法およびプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【0010】
本発明の医用画像表示装置は、被検体の3次元医用画像を取得する医用画像取得手段と、医用画像取得手段によって取得された3次元医用画像とその3次元医用画像に付加される情報を表す付加情報画像とを表示する表示制御手段と、3次元医用画像に対して付加情報画像を表示する指示を受け付ける付加情報表示指示受付手段とを備え、表示制御手段が、付加情報画像を表示する指示が受け付けられた際、3次元医用画像に対して付加情報画像を表示し、かつ現在表示されている3次元医用画像の色を付加情報画像の色と識別可能な色に変更するものであることを特徴とする。
【0011】
また、本発明の医用画像表示装置においては、表示制御手段を、付加情報画像をカラー表示し、3次元医用画像をカラー表示からモノクロ表示に変更するものとできる。
【0012】
また、付加情報画像の色の変更指示を受け付ける色変更指示受付手段を設け、表示制御手段を、色変更指示受付手段によって付加情報画像の色の変更指示が受け付けられた際、現在表示されている3次元医用画像の色を付加情報画像の変更後の色と識別可能な色に変更するものとできる。
【0013】
また、表示制御手段を、付加情報画像として3次元医用画像上における所定の位置を指し示すための指標を表示するものとできる。
【0014】
また、表示制御手段を、3次元医用画像に基づくCPR(Curved Planer Reformation)画像を表示するものとし、かつCPR画像の切断曲面を表す画像を3次元医用画像上に付加情報画像として表示するものとできる。
【0015】
また、付加情報表示指示受付手段を、付加情報画像を非表示とする指示も受け付けるものとし、表示制御手段を、付加情報画像を非表示とする指示が受け付けられた際、付加情報画像を非表示とし、かつ3次元医用画像の色を変更前の色に戻すものとできる。
【0016】
また、表示制御手段を、付加情報画像を非表示とする指示が受け付けられた際、3次元医用画像をモノクロ表示から変更前のカラー表示に戻すものとできる。
【0017】
また、表示制御手段を、3次元医用画像としてボリュームレンダリング画像を表示するものとできる。
【0018】
本発明の医用画像表示方法は、被検体の3次元医用画像を取得し、その取得した3次元医用画像とその3次元医用画像に付加される情報を表す付加情報画像とを表示する医用画像表示方法において、3次元医用画像に対して付加情報画像を表示する指示を受け付けた際、3次元医用画像に対して付加情報画像を表示し、かつ現在表示されている3次元医用画像の色を付加情報画像の色と識別可能な色に変更することを特徴とする。
【0019】
本発明の医用画像表示プログラムは、コンピュータを、被検体の3次元医用画像を取得する医用画像取得手段と、医用画像取得手段によって取得された3次元医用画像とその3次元医用画像に付加される情報を表す付加情報画像とを表示する表示制御手段と、3次元医用画像に対して付加情報画像を表示する指示を受け付ける付加情報表示指示受付手段として機能させる医用画像表示プログラムであって、表示制御手段が、付加情報画像を表示する指示が受け付けられた際、3次元医用画像に対して付加情報画像を表示し、かつ現在表示されている3次元医用画像の色を付加情報画像の色と識別可能な色に変更するものであることを特徴とする。
【発明の効果】
【0020】
本発明の医用画像表示装置、方法およびプログラムによれば、3次元医用画像に対して付加情報画像を表示する指示を受け付け、付加情報画像を表示する指示が受け付けられた場合には、3次元医用画像に対して付加情報画像を表示し、かつ現在表示されている3次元医用画像の色を付加情報画像の色と識別可能な色に変更するようにしたので、付加情報画像を所望の色で表示することができ、かつ付加情報画像と3次元医用画像とを明確に区別することができる。
【0021】
また、付加情報画像の色の変更指示を受け付け、その付加情報画像の色の変更指示が受け付けられた際には、現在表示されている3次元医用画像の色を付加情報画像の変更後の色と識別可能な色に変更するようにした場合には、付加情報画像の色をユーザが変更することができるとともに、付加情報画像の色をどのように変更したとしても常に付加情報画像と3次元医用画像との区別を明確にすることができる。
【0022】
また、付加情報画像を非表示とする指示を受け付け、その付加情報画像を非表示とする指示が受け付けられた際、付加情報画像を非表示とし、かつ3次元医用画像の色を変更前の色に戻すようにした場合には、付加情報画像を表示していない状態では、3次元医用画像の色をユーザが普段見慣れた色に戻すことができる。
【発明を実施するための形態】
【0024】
以下、本発明の医用画像表示装置、医用画像表示プログラムおよび医用画像表示方法の一実施形態について、図面を参照しながら詳細に説明する。
図1は、本実施形態の医用画像表示装置の一実施形態を備えた医用画像表示システムの概略構成を示す図である。本実施形態の医用画像表示システムは、
図1に示すように、医用画像表示装置1と記憶装置2とディスプレイ3とを備えている。
【0025】
医用画像表示装置1は、一台のコンピュータに、本発明の医用画像表示プログラムの一実施形態をインストールしたものである。コンピュータは、画像診断を行う医師が直接操作するワークステーションやパソコンでもよいし、またはそれらとネットワークを介して接続されるサーバコンピュータでもよい。医用画像表示プログラムは、DVD,CD−ROM等の記録媒体や、ネットワークに接続された外部からアクセス可能なサーバコンピュータのなどに記憶されるものであり、医師からの要求に応じて、上記記録媒体やサーバコンピュータから読み出されてコンピュータにダウンロードされてインストールされる。
【0026】
そして、医用画像表示装置1は、中央処理装置(CPU)および半導体メモリや、上述した医用画像表示プログラムがインストールされたハードディスクやSSD(Solid State Drive)等のストレージデバイスなどを備えており、これらのハードウェアによって、
図1に示すような医用画像取得部11(医用画像取得手段)、表示制御部12(表示制御手段)、付加情報表示指示受付部13(付加情報表示指示受付手段)および色変更指示受付部14(色変更指示受付手段)が構成されている。そして、ハードディスクにインストールされた医用画像表示プログラムが中央処理装置によって実行されることによって上記各部がそれぞれ機能する。また、医用画像表示装置1には、ディスプレイ3と、マウスやキーボードなどから構成される入力装置4が接続されている。
【0027】
医用画像取得部11は、予め撮影された被検体の3次元医用画像を取得するものである。具体的には、CT検査やMRI検査において被検体を撮影した3次元医用画像5や、この3次元医用画像5に基づいて生成されたCPR(Curved Planer Reformation)画像6などを取得するものである。CPR画像6は、たとえば血管、気管支、大腸や脊髄などの細長い構造物の3次元医用画像を、その構造物の中心線に沿った切断曲面で切断し、さらにその曲面を伸長させて生成された画像である。CPR画像には、切断面を2次元平面画像として表示する際の手法別に、投影CPR画像、伸張CPR画像、ストレートCPR画像の3種類がある。なお、3次元医用画像5やCPR画像6は、予め記憶装置2に記憶されるものである。
【0028】
表示制御部12は、医用画像取得部11によって取得された3次元医用画像5や、上述したCPR画像6をディスプレイ3に表示させるものである。さらに表示制御部12は、3次元医用画像5に付加される情報を表す付加情報画像をディスプレイ3に表示させるものである。
【0029】
ここで、上述した付加情報画像とは、いわゆるアノテーションのようなものであり、具体的には、たとえば3次元医用画像5上におけるCPR画像6の切断曲面の表面を表す画像(以下、切断曲面の表面画像という)や、3次元医用画像5上における関心領域の位置を指定するために表示される指標などがある。上記指標としては、たとえば矢印や×などによって表されるカーソルや、関心領域の位置とその範囲を示す四角や円などの枠画像などがある。また、付加情報画像は、その他にも3次元医用画像5についての所見が記入されたコメント欄の画像なども含むものであり、要するに3次元医用画像5に付加される情報を表す画像であれば如何なる画像でもよい。
【0030】
なお、3次元医用画像5上におけるCPR画像6の切断曲面の表面画像は、CPR画像6を生成する際に用いられた情報、たとえば血管、気管支や腸などの管状組織の芯線の情報などに基づいて生成されるものであるが、このような情報はCPR画像6とともに医用画像表示装置1に入力され、表示制御部12は、その入力された情報に基づいてCPR画像6の切断曲面の表面画像を生成するものである。CPR画像6の切断曲面の表面画像の生成方法については、たとえば特開2012−24517号公報に記載のとおり既に公知であるので、ここでは詳細な説明は省略する。
【0031】
また、後で述べるように表示制御部12は、CPR画像6の切断曲面の表面画像(付加情報画像)の表示、非表示を制御したり、色の変更を制御したりするものであるが、このときCPR画像6を生成する際に用いられた芯線の情報が用いられることになる。この芯線の情報は、たとえば特許第4717935号公報に記載の方法を用いて取得することができる。以下、たとえば心臓の血管の芯線の情報を取得する方法について説明する。
【0032】
具体的には、まず、心臓の3次元医用画像に対して多重解像度変換することにより、ガウシアンピラミッドを生成する。
【0033】
そして、その生成したガウシアンピラミッドごとに所定の検出処理を施すことによって異なるサイズの線状構造からなる血管候補を検出する。次に、その検出した血管候補を含む所定の領域内にて、ヘッセ行列の固有値解析を行い、血管候補の主軸方向を算出する。ヘッセ行列は、2階の偏微分係数を要素とする行列であり、三次元画像に対しては、下式のように3×3行列となる。
【数1】
【0034】
ここで、任意の画素におけるヘッセ行列の固有値をλ1、λ2、λ3としたとき、固有値のうち2つの固有値が大きく、1つの固有値が0に近い場合、例えば、λ3、λ2≫λ1、λ1≒0を満たすとき、その画素は線状構造物であることが知られている。したがって、ヘッセ行列の最小の固有値(λ1≒0)に対応する固有ベクトルが血管候補の主軸方向となる。
【0035】
次に、上述したようにして算出された主軸方向に基づいて、血管候補を含む所定の対象領域に対して正規化処理が施される。そして、正規化処理を施した対象領域からマシンラーニング手法等により特徴量を算出し、その算出した特徴量を用いて対象領域に真の血管が含まれるか否かを判別する。
【0036】
そして、血管であると判別した場合、対象領域の所定の点を候補点として設定する。判別すべき対象領域がある限り、上述した判別を繰り返す。
【0037】
次に、全ての対象領域の判別が終了し、判別が不要となった際には、設定された複数の候補点のうち少なくとも二つの候補点の関係が、二つの候補点それぞれの位置情報から一定の距離内にあって、かつ二つの候補点を結ぶ基本線と、基本線とそれぞれの主軸方向から求まる二つの鋭角の和が一定角度内であることを条件とするコスト関数を用いて、複数の候補点が接続されるものであるか否かを再構築することによって血管の芯線を得る。具体的には、たとえば設定した複数の候補点を最小全域木手法によって、再構築し、血管の芯線を得ることができる。なお、上述したように、この血管の芯線を用いて、血管のCPR画像や、そのCPR画像の切断曲面の表面画像が生成されることになる。
【0038】
付加情報表示指示受付部13は、ディスプレイ3に表示された3次元医用画像5に対して、上述した付加情報画像を表示する指示または非表示とする指示を受け付け、その旨を表示制御部12に出力するものである。付加情報画像を表示する指示または非表示とする指示は、入力装置4を用いてユーザによって入力され、付加情報表示指示受付部13は、その入力信号を受け付けるものである。
【0039】
そして、表示制御部12は、付加情報画像を表示する指示信号が入力された際に、ディスプレイ3に上述した付加情報画像を表示し、付加情報画像を非表示とする指示信号が入力された際に、ディスプレイ3に表示された付加情報画像を非表示とするものである。
【0040】
さらに、表示制御部12は、付加情報画像を表示する指示信号が入力された際、上述したように付加情報画像を表示するとともに、かつ現在表示されている3次元医用画像5の色を付加情報画像の色と識別可能な色に変更するものである。
【0041】
具体的には、たとえば、表示制御部12が、付加情報画像が表示される前においては3次元医用画像5をカラー表示するよう予め設定されるともに、付加情報画像をカラー表示するように予め設定されている場合には、付加情報画像を表示する指示信号が入力された際には、カラー表示の付加情報画像をディスプレイ3に表示するとともに、現在表示されている3次元医用画像5をカラー表示からモノクロ表示に変更する。
【0042】
なお、変更後の3次元医用画像5の色は、必ずしも上述したようなモノクロである必要はなく、その他にも付加情報画像の色と識別可能な色であれば如何なる色でもよい。ただし、変更後の3次元医用画像5の色と付加情報画像の色とのコントラストが高くなるようにすることが望ましく、少なくとも変更前の3次元医用画像5の色と、付加情報画像の色とのコントラストよりも変更後の3次元医用画像5の色と、付加情報画像の色とのコントラストの方が高くなるようにする。すなわち、変更前の3次元医用画像5の色と付加情報画像の色との関係のよりも変更後の3次元医用画像5の色と付加情報画像の色との関係の方がより識別し易いようにする。
【0043】
また、表示制御部12は、付加情報画像が表示されている状態において、付加情報画像を非表示とする指示信号が入力された際には、カラー表示の付加情報画像を非表示するとともに、3次元医用画像5をモノクロ表示から変更前のモノクロ表示に戻すものである。
【0044】
色変更指示受付部14は、付加情報画像の色の変更指示を受け付け、その旨を表示制御部12に出力するものである。付加情報画像の色の変更指示は入力装置4を用いてユーザによって入力され、色変更指示受付部14は、その入力信号を受け付けるものである。また、付加情報画像の色の変更指示は、たとえばディスプレイ3に複数の色が配列されたパレットなどを表示させ、そのパレットの中からユーザが所定の色を選択することによって行うようにすればよい。
【0045】
そして、表示制御部12は、付加情報画像の色の変更指示信号が入力された際には、その信号に応じて付加情報画像の色を変更するものである。また、このとき表示制御部12は、現在表示されている3次元医用画像の色を、変更後の付加情報画像の色と識別可能な色に変更するものである。
【0046】
具体的には、上述したように付加情報画像をカラー表示とし、3次元医用画像をモノクロ表示とした場合には、付加情報画像の色を変更したとしてもあまり影響はないが、たとえば付加情報画像と3次元医用画像の両方について、互いに識別可能な異なるカラー表示とした場合には、付加情報画像の色を変更した場合に、3次元医用画像の色との識別が困難な場合がある。
【0047】
そこで、このような問題が生じないように、表示制御部12は、付加情報画像の色を変更した際には、その変更後の色と3次元医用画像の色とが識別可能なように3次元医用画像の色も変更するものである。
【0048】
このときの3次元医用画像の色としては、ユーザによって変更された付加情報画像の色とのコントラストが高いものが望ましく、上記と同様に、少なくともユーザによる変更前の付加情報画像の色と、そのときの3次元医用画像の色とのコントラストよりも、ユーザによる変更後の付加情報画像の色と、その付加情報画像の色の変更に応じて変更した3次元医用画像の色とのコントラストの方が高くなるようにする。すなわち、ユーザによる変更前の付加情報画像の色と、そのときの3次元医用画像の色との関係よりも、ユーザによる変更後の付加情報画像の色と、その付加情報画像の色の変更に応じて変更した3次元医用画像の色との関係の方がより識別し易いようにする。
【0049】
3次元医用画像の色の変更については、表示制御部12においてそのような色を自動的に判定するようにしてもよい。コントラストの高い色の判定方法としては、たとえばW3Cによって提案されているコントラスト判定方法を採用するようにしてもよい。もしくは、表示制御部12において、コントラストが高い色同士を対応付けたテーブルなどを設定しておき、ユーザによって変更された付加情報画像の色に基づいて、上記テーブルを参照することによって3次元医用画像の色を決定して変更するようにしてもよい。
【0050】
記憶装置2には、3次元医用画像5として、CT装置やMRI装置から出力されたスライスデータに基づいて再構成されたボリュームデータや、MS(Multi Slice)CT装置やコーンビームCT装置から出力されたボリュームデータ等が記憶されている。また、記憶装置2には、上述したボリュームデータに基づいて生成されたCPR画像6が記憶されている。
【0051】
図2は、本実施形態の医用画像表示システムの作用を説明するためのフローチャートである。以下、このフローチャートを参照しながら説明する。なお、ここでは付加情報画像としてCPR画像6の切断曲面の表面画像を表示する場合について説明する。
【0052】
まず、本実施形態の医用画像表示システムにおいては、ディスプレイ3に被検体のIDの一覧が表示される。そして、そのディスプレイ3に表示された被検体のIDの一覧の中から診断対象である被検体のIDが選択され、医用画像表示装置1によってユーザによる選択操作が検出されると、医用画像表示装置1の医用画像取得部11によってその選択された被検体に関連する3次元医用画像5およびCPR画像6が取得される(S10)。
【0053】
次に、医用画像取得部11によって取得された3次元医用画像5とCPR画像とが表示制御部12に入力され、表示制御部12は、入力された3次元医用画像5とCPR画像とをディスプレイ3に表示する(S12)。
図3は、ディスプレイ3に表示された3次元医用画像5の一例を示すものである。このとき本実施形態における表示制御部12は、3次元医用画像5を薄い緑でカラー表示する。
【0054】
ここで、ユーザが、ディスプレイ3に表示されたCPR画像6の3次元医用画像5上における切断面を確認したいと判断した場合には、付加情報画像としてCPR画像6の切断曲面の表面画像を表示する指示信号を入力装置4を用いて入力する(S14,YES)。
【0055】
ユーザによって入力装置4から入力された上記指示信号は付加情報表示指示受付部13によって受け付けられ、付加情報表示指示受付部13は、その旨を表示制御部12に出力する。
【0056】
次いで、表示制御部12は、切断曲面の表面画像を表示する指示信号が入力されると、ディスプレイ3に表示された3次元医用画像5上に切断曲面の表面画像を表示する(S16)。
【0057】
ここで、たとえば、
図4に示すように3次元医用画像5を薄い緑でカラー表示している際に切断曲面の表面画像を濃い緑でカラー表示したのでは3次元医用画像5と切断曲面の表面画像との識別が困難となる。
【0058】
そこで、表示制御部12は、切断曲面の表面画像を表示する指示信号が入力されると、切断曲面の表面画像を表示するとともに、さらに現在表示されている3次元医用画像5の色を、切断曲面の表面画像の色と識別可能な色に変更する(S18)。具体的には、たとえば、
図5に示すように3次元医用画像5をカラー表示からモノクロ表示に変更する。このように切断曲面の表面画像の色に応じて3次元医用画像5の色を変更することによって、3次元医用画像5における表面画像をより識別し易く表示することができ、その表面画像が示している曲面をより明確に認識することができる。
【0059】
次に、ユーザが、切断曲面の表面画像を非表示にしたいと判断した場合には、切断曲面の表面画像を非表示する指示信号を入力装置4を用いて入力する(S20,YES)。
【0060】
ユーザによって入力装置4から入力された上記指示信号は付加情報表示指示受付部13によって受け付けられ、付加情報表示指示受付部13は、その旨を表示制御部12に出力する。
【0061】
次いで、表示制御部12は、切断曲面の表面画像を非表示とする指示信号が入力されると、ディスプレイ3に表示された切断曲面の表面画像を非表示とし(S22)、さらに3次元医用画像5の色を変更前の薄い緑のカラー表示に戻す(S24)。
【0062】
一方、S16において切断曲面の表面画像が表示された後、ユーザが、切断曲面の表面画像の色を変更したいと判断した場合には、切断曲面の表面画像の色を変更する指示信号を入力装置4を用いて入力する(S26,YES)。
【0063】
ユーザによって入力装置4から入力された上記色変更の指示信号は、色変更指示受付部14によって受け付けられ、付加情報表示指示受付部13は、その旨を表示制御部12に出力する。
【0064】
そして、表示制御部12は、色変更の指示信号が入力された際には、その信号に応じて切断曲面の表面画像の色を変更し、さらにこのとき表示制御部12は、現在表示されている3次元医用画像の色を、変更後の切断曲面の表面画像の色と識別可能な色に変更する(S28)。
【0065】
ただし、上述したように切断曲面の表面画像の色が濃い緑のカラー表示であり、3次元医用画像がモノクロ表示である状態において、切断曲面の表面画像の色がモノクロ表示と識別可能な濃い緑とは別の色のカラー表示に変更された場合には、モノクロ表示の3次元医用画像5と切断曲面の表面画像とは識別可能なので、3次元医用画像5の色の変更は行わない。
【0066】
一方、3次元医用画像と切断曲面の表面画像との両方が、互いに識別可能な異なるカラー表示である状態において、切断曲面の表面画像の色を変更した場合には、その変更後の切断曲面の表面画像の色と3次元医用画像の色とが識別可能なように3次元医用画像の色も変更する。
【0067】
上記実施形態の医用画像表示システムによれば、3次元医用画像に対して付加情報画像(CPR画像6の切断曲面の表面画像)を表示する指示を受け付け、その付加情報画像を表示する指示が受け付けられた場合には、3次元医用画像に対して付加情報画像を表示し、かつ現在表示されている3次元医用画像の色を付加情報画像の色と識別可能な色に変更するようにしたので、付加情報画像を所望の色で表示することができ、かつ付加情報画像と3次元医用画像とを明確に区別することができる。
【0068】
なお、上記説明においては、付加情報画像としてCPR画像6の切断曲面の表面画像を表示する場合について説明したが、上述したように付加情報画像はこれに限らず、たとえば関心領域の位置を示す矢印のカーソルや、関心領域の位置と範囲を示す枠画像がある。
図6は、付加情報画像として関心領域の位置を示す矢印のカーソルを表示した場合の一例であり、
図7は、付加情報画像として関心領域の位置と範囲を示す枠画像を表示した場合の一例である。
図6に示す矢印のカーソルや
図7に示す枠画像を表示した際にも、上記説明と同様に、3次元医用画像5の色をこれらの色と識別可能な色に変更するようにすればよい。