(58)【調査した分野】(Int.Cl.,DB名)
前記表示制御部は、更に、前記合成画像を、前記複数の医用画像の少なくとも一つと互いに一部の画像領域を重畳させて前記第1表示領域に表示することを特徴とする請求項1に記載の医用画像表示装置。
前記表示制御部は、更に、前記合成画像と、当該合成画像の元となった医用画像とに対して、同一の識別情報を付与して表示することを特徴とする請求項1〜3のいずれか一つに記載の医用画像表示装置。
前記検出部は、前記表示部の全画面に前記第1表示領域を表示させる旨の第1表示指示と、前記全画面に前記第2表示領域を表示させる旨の第2表示指示と、前記全画面に前記第1表示領域及び前記第2表示領域を表示させる旨の第3表示指示とをそれぞれ検出し、
前記表示制御部は、前記第1表示指示が検出されると、前記全画面に前記第1表示領域を表示させ、前記第2表示指示が検出されると、前記全画面に前記第2表示領域を表示させ、前記第3表示指示が検出されると、前記全画面に前記第1表示領域及び前記第2表示領域を表示させることを特徴とする請求項1〜11のいずれか一つに記載の医用画像表示装置。
【発明を実施するための形態】
【0009】
以下に本発明に関する概要を提出し、本発明についての一側面の基本的な理解を提供する。理解すべきことに、該概要は本発明に関する網羅的な概要ではない。それは本発明の鍵となる部分或いは重要な部分を決定するために意図されておらず、また本発明の範囲を制限する意図ではなく、簡単化である形式である概念をあげることによって、後にもっと詳しく述べる内容の前書きとすることである。
【0010】
本発明の一つの側面においては、医用画像表示装置を提供する。医用画像表示装置は、複数の医用画像をスクリーンの一つのウィンドウに階層的に表示し、前記複数の医用画像の配列方向は各医用画像の平面の延伸方向が違う表示ユニットと、前記複数の医用画像に合成する医用画像を選択する操作を検出するための操作検出ユニットと、選択の操作によって合成する医用画像の合成画像を生成する合成画像生成ユニットとを備え、また、前記表示ユニットが合成画像をウィンドウにある所定領域に表示する。
【0011】
本発明の他の側面においては、医用画像表示方法を提供する。医用画像表示方法は、複数の医用画像をスクリーンの一つのウィンドウに階層的に表示し、前記複数の医用画像の配列方向は各医用画像の平面の延伸方向が違うことと、前記複数の医用画像に合成する医用画像を選択する操作を検出することと、前記選択の操作によって合成する医用画像の合成画像を生成する合成画像と、前記合成画像を前記ウィンドウにある所定領域に表示させることとを含む。
【0012】
また、本発明の他の側面では、さらに、前記方法を実現するコンピュータプログラムを提供する。
【0013】
その他、本発明の他の側面では、さらに、少なくともコンピュータ読み取り可能な媒体の形式であるコンピュータプログラム製品を提供し、その上に前記方法を実現するためのコンピュータプログラムコードが記録される。
【0014】
本発明は、下記の図面にある説明と組み合わせてよく理解するようになり、全ての図面に同一或いは類似の図面の符号によって、同一或いは類似の部分を表す。前記図面は、以下の詳細な説明とともに本明細書に含んで本明細書の一部分になり、例を挙げてさらに本発明の好適な実施形態を説明し、また本発明の原理と効果を説明する。
【0015】
以下、本実施形態について図面を参照しながら説明する。本発明の一つの図面或いは一実施形態に表す要素と特徴は一つ或いは複数の他の図面或いは実施形態にある要素と特徴と組み合わせても良い。注意すべきことは、明瞭化するために、図面及び説明には本発明と関係ない、或いは当業者に周知の要素及び処理について表示と説明を省略する。
【0016】
図1は、本発明の実施形態に基づく医用画像表示装置を示すブロック図である。
図1に示すように、医用画像表示装置100は操作検出ユニット110、合成画像生成ユニット120及び表示ユニット130を備える。表示ユニット130は複数の医用画像をスクリーンの一つのウィンドウに階層的に表示し、前記複数の医用画像の配列方向(或いは医用画像の階層的な方向)は各医用画像の平面の延伸方向が異なる。前記スクリーンは、各種の適当な表示装置であるスクリーンであり、例えば、ディスプレイ、タッチスクリーンなどのスクリーンである。操作検出ユニット110は、前記複数の医用画像から合成される医用画像を選択する選択操作をスクリーン上で検出する。合成画像生成ユニット120は、操作検出ユニット110が検出した選択操作によって合成される医用画像の合成画像を生成する。表示ユニット130は、生成した合成画像を前記ウィンドウにある所定領域に表示させる。
【0017】
理解すべきことは、表示ユニットが表示する複数の医用画像は登録した医用画像である。医用画像表示装置100に入力する前に複数の医用画像に登録する。或いは、医用画像表示装置100に複数の医用画像を登録するための登録ユニットを含むことが出来る。ここでは、本発明を必要以上に曖昧することを避けるために、医用画像の登録を詳しく説明しない。
【0018】
図1に操作検出ユニット110と表示ユニット130の間の点線接続は本発明の他の実施形態に表示し、表示ユニット130は操作検出ユニット110が検出された操作に基づいて、相応の医用画像或いは合成画像の表示を変更/表示/非表示する。この接続関係は選択可能で必須ではなく、後で説明する。
【0019】
理解を促すために、
図3A−3Cは、本発明の実施形態に基づく合成ウィンドウを示す図である。
【0020】
図3Aにおいて、ウィンドウの下側の四つの画像は、階層的に表示された四つの医用画像の図である。
図3Aにおいて、医用画像の配列方向(例えば、中空の矢印に示すように)は、各医用画像の平面の延伸方向とは基本的には垂直である。該図において、合成画像は、ウィンドウの最上段に表示され、医用画像の最上層より上の層に位置する。該合成画像は、四つの医用画像から選択された二つの医用画像(例えば、実線の矢印で示すように)が合成されることにより形成される。
【0021】
図3Bにおいて、ウィンドウの下側の四つの画像は、階層的に表示された四つの医用画像の図である。医用画像の配列方向(例えば中空の矢印に示すように)は、各医用画像の平面の延伸方向とは異なり、概ね各医用画像の平面の延伸方向と垂直である。該図において、合成画像がウィンドウの最上段に表示され、医用画像の最上層より上の層に位置する。合成画像は、四つの医用画像の中から選択された二つの医用画像(例えば実線の矢印に示すように)が合成されることにより形成される。
【0022】
図3Cにおいて、ウィンドウの左上側にある四つの画像は、階層的に表示された四つの医用画像の図である。医用画像の配列方向(例えば、中空の矢印に示すように)は、各医用画像の平面の延伸方向とは異なる。本実施形態においては、各医用画像の配列方向は、各医用画像の平面と交差する。合成画像はウィンドウの右下側に表示され、最右側の医用画像の外側にあり、さらに四つの医用画像から選択された二つの医用画像(例えば実線の矢印に示すように)が合成されることにより形成される。
【0023】
合成ウィンドウの例として、
図3A−
図3Cに示した医用画像及び合成画像の表示は、一例であり、これに限定するものではなく、スクリーン上のウインドウに複数の医用画像が階層的に表示されても良いし、複数の医用画像の配列方向が各医用画像の平面の延伸方向と異なっていて良いし、合成画像がウィンドウの所定領域に表示されても良い。以上の説明と図面において、当業者は本発明の発想に基づく医用画像及び合成画像の表示を複数思い出さられ、例えば、複数の医用画像に一部分の医用画像は重なることがあるとか、或いは合成画像がウィンドウの他の位置に表示するとか、ここで一々列挙しないことにする。
【0024】
本発明の一つの実施形態に、
図3Cに示すように、表示ユニット130は複数の医用画像と合成画像を二次元の画像を表示できる。例えば、表示ユニット130は医用画像がウィンドウにある位置を設置することで、階層的な医用画像を表示でき、さらに合成画像を所定領域に設置することで、所定領域に合成画像を表示する。二次元画像の表示が占めるシステム資源が比較的に少ない。
【0025】
他の実施形態としては、
図3A及び
図3Bに示すように、表示ユニット130は、複数の医用画像と合成画像を三次元画像として表示しても良い。例えば、表示ユニット130は、従来の適切な方法で複数の医用画像に対して三次元レンダリングを行って三次元ボリュームデータを形成し、さらに該三次元ボリュームデータをウィンドウに表示し、また従来の適切な方法で合成画像に対して三次元レンダリングして、さらに三次元レンリングした合成画像をウィンドウにある所定位置に表示し、好適に複数の医用画像の三次元ボリュームデータとして表示する。医用画像と合成画像を三次元画像として表示することによって、ユーザーは各画像を直感的に観察でき、特に入力した各医用画像の間に空間の関係があるときは、この効果が顕著である。ここで、
図3A及び
図3Bを三次元レンリングの例とする。しかしながら、
図3Cが示すのは二次元表示でもいいし、
図3Cに基づいて三次元レンダリングしても良いことは、明らかである。
【0026】
理想的には、
図3Aに示すように、各層の医用画像は重畳することなく、各画像を完全に表示することができる。しかし、
図3B及び
図3Cに示すように、膨大な数の医用画像の入力があれば、隣接の層の医用画像は少なくとも部分的に重畳することができ、さらに医用画像が占めるウィンドウの領域を節約し、それによって、一つのウィンドウに複数の医用画像を表示しても良い。各層の医用画像は、互いに平行に配置しても良い。さらに、合成画像も各層の医用画像と平行に配置しても良い。
【0027】
観察と操作のために、
図3A−
図3Cに示すように、合成画像を表示するための所定領域が、複数の医用画像の最外層の医用画像の外側に設けることができる。理解すべきは、所定領域は、ウィンドウの中において使用者が簡単に観察できる他の任意の位置に設けることができる。
【0028】
合成に用いる複数の医用画像は、異なるモダリティ及び/又は異なる撮影シーケンス(sequence)の医用画像を含めることができる。観察を促すために、本発明の一つの好適な実施形態において、表示ユニット130は、ウィンドウにおいて、第一の標識により異なるモダリティの医用画像を際立たせ(区別を可能にする)、第二の標識により異なる撮影シーケンスの医用画像を際立たせる。更に、表示ユニット130は、合成された医用画像の標識の組み合わせにより合成画像を標識できる。
【0029】
例としてこれに制限されるものではなく、異なるモダリティの医用画像は異なる枠の色で互いに識別され、同一のモダリティにある異なる撮影シーケンスの医用画像はシリアルナンバーにより互いに識別される。例えば、
図3A−
図3Cにおいては、実線(水平線又は垂線)で表示する医用画像は同じモダリティで異なる撮影シーケンスの医用画像に属し、それは同じ枠の色(図示せず)及び異なるシリアルナンバー1と2がある。点線(左斜線)で表示する医用画像と点線(右斜線)で表示する医用画像はそれぞれ実線で画像を表示する医用画像とは、異なるモダリティに属する医用画像であって、実線で画像を表示する医用画像と異なる枠の色を有する(図示せず)。その他、
図3A−
図3Cに、合成画像の枠の色は合成に関与する医用画像の枠の色の混合色でもよく(図示せず)、合成画像のシリアルナンバーは合成に関与する医用画像のシリアルナンバーの組合せでもかまわない。以上の説明に基づいて、本分野の当業者であれば、容易に思いつく他の標識により異なるモダリティと異なる撮影シーケンスの医用画像を標識する方法も含めることができるが、ここで一々挙げないことにする。
【0030】
以下に
図3A−
図3Cを組み合わせて、
図4−
図11は操作検出ユニット110が検出した各種の操作及びそれらの操作に対応する処理を説明する。
【0031】
予め決められた選択操作は、複数の医用画像から合成する医用画像を選択するために用いられ、合成する医用画像をウィンドウの所定領域と関連付ける。
図3A−
図3Cに示すように、選択操作の例として、合成する医用画像(或いはそのコピー)を所定領域にドラッグアンドドロップする。選択操作の他の例として、まずは合成する医用画像に所定回数のクリック(例えばダブルクリック)をしてから所定領域をクリックして、両者を関連付けさせ、合成する医用画像(或いはそのコピー)を所定領域に配置することを示す。前記選択操作は、例えば、マウスでスクリーンの上のカーソルを動かしたり、タッチスクリーン上を指でタッチしたりすることで実現できる。操作検出ユニット110は、従来のいずれの適切な技術によりスクリーンの上の選択操作を検出できるが、ここでは詳しく説明しないことにする。
【0032】
合成画像生成ユニット120は、操作検出ユニット110が検出した選択操作に基づいて、選択した医用画像を合成させ、合成画像を生成する。合成画像生成ユニット120は、従来のいずれの適切な合成方法により医用画像の合成できるが、ここでは詳しく説明しない。
【0033】
その他、ある合成方法について、合成に関与する画像を重ねる順序は、合成の結果に影響する。例えば、合成計算方法によっては、時には後に追加した医用画像のピクセルは、先に追加した医用画像のピクセルにオーバーラップする可能性があり、時には逆にオーバーラップしないこともある。したがって、本発明の一つの実施形態において、合成画像生成ユニット120は、選択操作の選択順序によって、合成する医用画像を重ね、合成画像を生成する。例えば、先に選択した医用画像は先に合成に加え、後で選択した医用画像は後で合成に加え、或いはそれと反する順序で行う。
【0034】
(合成画像の表示の解除)
合成を解除する場合、操作検出ユニット110は、合成の解除操作を検出でき、表示ユニット130は、合成の解除操作によって合成画像の表示を解除(キャンセル)できる。
図4に示すように、合成の解除操作の一つの例として、合成画像を所定領域の外側に移動させる。合成の解除操作のもう一つの例として、所定回数のクリックをして(例えばダブルクリック)画像を合成する。マウスでスクリーンの上のカーソルを動かしたり、タッチスクリーン上を指でタッチしたりすることで実現できる。操作検出ユニット110は、従来のいずれの適切な技術によりスクリーンの上の合成キャンセル操作を検出できるが、ここでは詳しく説明しない。
【0035】
前記枠の色により異なるモダリティの医用画像を識別してシリアルナンバーにより異なる撮影シーケンスの医用画像を識別する例において、医用画像と合成画像に対する操作も対応する画像のシリアルナンバーの操作で実現できる。例えば、選択操作は、医用画像のシリアルナンバーをドラッグアンドドロップ或いはクリックすることなどの合成する医用画像のシリアルナンバーの操作で、合成する医用画像を所定領域と関連付けさせる。同様に、合成の解除操作も、合成画像のシリアルナンバーをドラッグアンドドロップして合成画像を所定領域の外側に移動させるなどの合成画像のシリアルナンバーの操作で実現される。
【0036】
(層間隔の変更)
操作検出ユニット110は、層の間隔を変更する層間隔変更操作を検出でき、表示ユニット130は層間隔変更操作によって、ウィンドウに二層或いは多層の間の間隔で変更後の各層の画像を表示する。
図5は本発明の実施形態に基づく層間隔変更操作を示す図である。
図5に、左側にウィンドウに下から数えて第2−3層の画像に層間隔変更操作を行い、右側にウィンドウに表示する各層の画像に、下から数えて第2−3層の画像の層間隔が変更する。層間隔変更操作の一つの例として、上に或いは下に画像をドラッグアンドドロップして該層の画像が隣層の画像との間隔を変更する。層間隔変更操作のもう一つの例として、二層画像の間の位置に予定の回数をクリックして(例えばダブルクリック)二層画像の間隔を予定の程度を変更する。層間隔変更操作を利用し、ユーザーはもっとはっきり画像の中の興味ある区域(ROI)をチェックでき、特に画像の中の興味ある区域が隣層画像で遮断する場合である。層間隔変更操作は一回きりで隣同士の二層画像の距離だけをかえることもできるが、一回きりで多層画像の間の距離を変えるようにしてもよい。例えば、複数の画像を同時に選択でき、例えば、ブロックを用いてある縁あるいはある角などの多層画像の対応区域を囲んで、或いはブロックを用いて多層画像が対応するシリアルナンバーを囲んで、該ブロックを拡大することによって、多層画像を同時に相互の距離の増大を実現することができる。
【0037】
(層順序の変更)
操作検出ユニット110は、層の順序を変更する順序変更操作を検出でき、表示ユニット130は、順序変更操作によってウィンドウに層の順序を変更後の複数の医用画像を表示する。
図6は、本発明の実施形態に基づく順序変更操作を示す図である。
図6の左側に示すように、ウィンドウの下から数えて1番目と4番目の画像の層の順序を変更する順序変更操作が行われると(矢印で示すように)、右側のウィンドウに表示された各層の画像のように、下から数えて1番目と4番目の画像の順序が変更される。順序変更操作の一つの例として、層の順序を変更する医用画像のシリアルナンバーなどの配列標識を所望の層の位置にドラッグアンドドロップする。順序変更操作を利用して、ユーザーは画像における関心領域をさらに明確に検出できる。順序変更操作と同様に、同時に二層の画像の順序が変えられ、同時に多層の画像の順序も変えられる。例えば、順序変更操作の方式と同様に多層の画像を選択した後、順序変更操作をし、それによって、全体的に順序の逆転などの多層の画像の順序を変更することを実現できる。
【0038】
複数の層の画像の選択は、上記の層の間隔の変更操作と層の順序の変更操作の両方に言及する。この場合、一度に多数の層の画像が選択され、選択した多数の層の画像に対して(例えば前記選択ブロックに対して)右ボタンをクリックし、右クリックメニューから「順序反転」「距離延長」「距離短縮」などの操作を選択する。層の回転操作、画像非表示或いは表示操作、表示パラメーターの変更操作、表示内容の変更操作などに関する同様の処理が実行できる。
【0039】
(層の回転)
操作検出ユニット110は、層を回転させる旨の層回転操作を検出でき、表示ユニット130は層回転操作によってウィンドウに回転した各層の画像を表示できる。
図7は、本発明の実施形態に基づく層回転操作を示す図である。
図7に示すように、図の左側において、各層の画像は、その各層の画像の配列方法Aを反時計回りに約90度を回転させ、図の右側において、ウィンドウに90度回転させた各層の画像を表示する。層回転操作の一つの例として、医用画像の配列方向を回して回転的なドラッグアンドドロップ(
図7の曲がった矢印に示すように)をし、或いは医用画像の外側にある合成画像の任意の角をドラッグアンドドロップして、各層の画像をドラッグアンドドロップの幅と相応する角度を回転させる。層回転操作のもう一つの例として、所定のホットキー「Ctrl+L」を入力して層回転操作を動作させ、各層の画像を所定の角度回転させる。例えば、毎回のホットキー操作は、各層の画像の配列方向を回って時計回り或いは反時計回りで90度を回転させる。層回転操作を利用して、ユーザーは画像のそれぞれの部分を検出でき、特に画像に興味ある領域がカバーされる時、画像にその部分をさらに明確に検出できる。
【0040】
(配列方向の回転)
操作検出ユニット110は、配列方向を回転させる配列方向回転操作を検出でき、表示ユニット130は、配列方向回転操作によってウィンドウに配列方向が回転された各層の画像を表示する。
図8は、本発明の実施形態に基づく配列方向の回転操作を示す図である。
図8に示すように、図の左側において、ウィンドウにある垂直に配列する各層の画像の配列方向Aを左に約90度を回転させ、図の右側において、ウィンドウに配列方向が回転して水平配列になった各層の画像を表示する。配列方向回転操作の一つの例として、各層の画像以外の位置に各層の画像の配列方向を他の方向にドラッグアンドドロップして(
図8の曲がった矢印に示すように)、各層の画像の配列方向を他の方向に回転させる。配列方向回転操作のもう一つの例として、所定のホットキー「Ctrl+L」を入力して配列方向回転操作を動作させ、配列方向を所定の角度を回転させる。例えば、毎回のホットキー操作は、各層の画像の配列方向を時計回り或いは反時計回りに90度回転させる。配列方向回転操作を利用して、ユーザーは、画像のそれぞれの部分をチェックし、画像に興味ある領域をよりはっきりとチェックすることができる。例えば、
図3Bに示す配列方向から
図3Cに示す位置に変えられる。この過程に、配列方向は任意の中間状態で留められる。
【0041】
(表示/非表示の切替)
操作検出ユニット110は、画像の非表示或いは表示操作を検出でき、表示ユニット130は、画像の非表示或いは表示操作によってウィンドウに複数の医用画像にある一部の医用画像を非表示あるいは表示させる。ここで、一部の医用画像とは、例えば、合成に関与しない医用画像、或いは合成に関与する医用画像、或いは任意の他の基準に基づいて識別される異なる画像の部分集合などである。
図9は、本発明の実施形態に基づく画像の非表示或いは表示操作を示す図である。例えば、左側において、ウィンドウに画像の非表示操作をし、右側において、ウィンドウに合成に関与していない医用画像を非表示する(下から数えて第2−3層の画像)。逆に、右側において、ウィンドウに画像表示操作をしたら、左側において、ウィンドウに合成に関与しない医用画像を表示する(下から数えて第2−3層の画像)。画像非表示或いは表示操作の一つの例として、ウィンドウの所定の位置に所定の回数をクリックして(例えばダブルクリック)画像の非表示と表示にスイッチする。画像非表示或いは表示操作のもう一つの例として、所定のホットキー例えば「Ctrl+H」を入力して画像の非表示操作を動作させ、「Ctrl+H」を入力して画像の表示操作を動作させ、或いは同じホットキーで画像の非表示と表示にスイッチする。画像の非表示或いは表示操作を利用して、入力した医用画像が多くある場合に、合成に関与しない画像を非表示でき、表示スペースを節約できるようになる。
【0042】
(画面の切替)
操作検出ユニット110は、画面(ウィンドウ)全体を切り替える画面切替操作を検出でき、表示ユニット130は、画面切替操作によって、複数の医用画像と合成画像の表示と、合成画像或いは選択された医用画像の画面全体表示との間で、画面の表示を切り替える。
図10は、本発明の実施形態に基づく画面全体の画面切替操作を示す図である。
図10に示すように、画面全体の画面切替操作によって、画面の表示は、図の左側にある複数の医用画像と合成画像の表示が、図の右側にある合成画像或いは選択された医用画像の画面全体表示(該例に画面全体が合成画像を表示した)との間で切り替える。画面全体の画面切替操作の一つの例として、所定の回数をクリックして(例えばダブルクリック)合成画像或いは任意の医用画像は画面全体表示が該合成画像或いは該任意の医用画像を表示することに切り替え、或いは画面全体が表示する場合に元の表示状態に切り替える(画面に合成画像と複数の医用画像を表示する)。画面全体表示操作を利用して、合成画像或いは選ばれた医用画像をもっと完全に、はっきりとチェックすることができる。
【0043】
(表示パラメーターの変更)
操作検出ユニット110は、選択された合成する医用画像の表示パラメーターを変更するための表示パラメーター変更操作を検出でき、合成画像生成ユニット120は、表示パラメーターが変更された選択された医用画像を用いて、合成画像を再生成し、それに表示ユニット130は表示パラメーター変更操作によって、ウィンドウに表示パラメーターを変更後の医用画像及び再生成した合成画像を表示する。例えば、合成する医用画像の明るさ、コントラスト、透明度、表示区域の大きさなどの表示パラメーターを変えて、医用画像の表示効果を変更する。医用画像で合成する医用画像の表示効果も相応的に変更する。表示パラメーターの変更操作の一つの例として、選択して得られた画像をウィンドウに表示するウィンドウレベルの値を調節して医用画像の明るさを変え、ウィンドウに表示するウィンドウの幅の値を調節して医用画像のコントラストを変え、選択された画像の透明度範囲(例えばバーで示す)の指示器をドラッグアンドドロップして(例えばカーソルで示す)画像の透明度を変え、スケール操作で画像の表示領域の大きさを変更する。画像の表示領域は画像の枠が限定する領域である。画像の表示領域の大きさが変更される時に、画像の拡大率も相応的に変えて、それによって、画像の大きさがその表示領域の大きさに適応する。選択された表示パラメーターを変更する画像の縁或いはシリアルナンバーなどの配列標識はハイライト表示にされ、ユーザーに該画像の表示パラメーターを変えていることを提示する。表示パラメーターの変更操作はただ単層の医用画像に対してだけではなく、多層の医用画像に対して行われても良い。或いは、単層の医用画像に表示パラメーターの変更操作をする時に、該操作は同時に他の層の医用画像及び/又は合成画像に適用することを設定する。
【0044】
操作検出ユニット110は、選ばれた合成する医用画像の表示内容を変更するための表示内容の変更操作を検出でき、合成画像生成ユニット120は、表示内容を変更後の選択された医用画像で合成画像を再生成することに用いられ、それに表示ユニット130は、表示内容の変更操作によってウィンドウに表示内容を変更後の医用画像及び再生成した合成画像を表示する。ズーム(zoom)操作で医用画像の拡大率を変え、表示ユニット130は、医用画像の表示領域が変わらない場合に、拡大或いは縮小した医用画像を表示する。それによって、大きさが変わらない表示領域に医用画像に関心のある領域を強調して表示する。また、パン操作で医用画像の観察位置を変え、表示ユニット130は、医用画像の表示領域が変わらない場合に、観察位置が移動した医用画像を表示する。例えば、ズーム操作で医用画像の拡大率を高めるときに、該医用画像が拡大された大きさはその表示領域の大きさを越えたため、該医用画像の表示領域に医用画像の一部分を表示する。この場合、パン操作で大きさが変わらない表示領域に拡大された医用画像のそれぞれの部分をチェックできる。また、ブラウズ操作で医用画像のスライス位置を変えられる。理解すべきことは、表示の一層の医用画像は、ある撮影シーケンスの医用画像でもかまわない。ブラウズ操作を通して(たとえば、マウスのホイールを転がす)、該層の表示領域に該撮影シーケンスの各医用画像をそれぞれ表示する。同じ撮影シーケンスである各医用画像が異なるスライス位置にある。スライス位置の変更操作を利用して、異なるスライスの画像をチェックできる。表示内容の変更操作は単層の医用画像に対してだけではなく、多層の医用画像に対して同時に行われる。或いは、単層の医用画像に表示内容の変更操作をする時に、該操作は同時に他の層の医用画像及び/又は合成画像に施すことを配置する。
【0045】
操作検出ユニット110は、同期的に有効にするか解除する操作を検出できる。表示ユニット130は、同期的に有効にするか解除する操作によって、少なくとも二層の医用画像の間の表示を同期的に有効にするか解除し、表示パラメーター変更の同期と表示内容変更の同期を含む。特に、本発明が画像の合成に用いる目的で、その中の一層の医用画像のスライス位置を変更する時に、他層の医用画像最も合成に関与した医用画像のスライス位置が必ず同期でなければならない。しかし、各層医用画像は異なるモダリティ或いは異なる撮影シーケンスに属するため、同期に変更後の各層医用画像のスライス位置が精確的に対応しない可能性があり、その時に、同期を禁止し、各層の医用画像のスライス位置を一々(或いは一回で複数の)細かく調整する。
【0046】
操作検出ユニット110は、スクリーンに生成した合成画像を他のウィンドウにポジショニングするための移転操作を検出でき、表示ユニット130は、移転操作によって、スクリーンに一つの或いは複数の他のウィンドウに一つの或いは複数の生成した合成画像を表示する。
図11は、本発明の実施形態に基づく移転操作を示す図である。
図11に示すように、移転操作によって、右上、左下と左上のウィンドウに生成した合成画像をそれぞれに表示する。移転操作の一つの例として、表示合成画像と複数の医用画像のウィンドウにある合成画像を他のウィンドウにドラッグアンドドロップして、他のウィンドウに前記合成画像を表示する。移転操作を利用して、複数のウィンドウに異なる合成画像を同時に表示できることによって、異なる合成画像の比較を行う。その他、他のウィンドウにおいて合成画像に様々な操作は、元のウィンドウに該合成画像を形成するための医用画像に影響させずに、実行可能である。さらに、移転操作は、合成に参加する医用画像を合成した合成画像とともに他のウィンドウにコピーできる。同様に、操作検出ユニット110は、他のウィンドウに対する第二ウィンドウ全体スイッチ操作を検出でき、表示ユニット130は、第二ウィンドウ全体スイッチ操作によって生成した合成画像のウィンドウ全体の表示が生成した合成画像の合成に関与する医用画像と生成した合成画像の表示との間で、前記他のウィンドウにある表示をスイッチする。それぞれの適切な方式で今操作するウィンドウを選択できる。理解すべきことは、他のウィンドウに適用する層の順序の変更操作、層の間隔の変更操作、層の回転操作、配列方向の回転操作、表示パラメーターの変更操作、表示内容の変更操作などを設定して、操作検出ユニット110は、他のウィンドウに対して前記任意の操作を検出し、それに表示ユニット130は、検出した操作によって前記他のウィンドウの表示を相応的に変更する。他のウィンドウに対する前記操作の検出と画像表示の相応の変更は前記元のウィンドウに対する相応の操作は大体同じで、ここでは重複しないことにする。
【0047】
同様に、前記層の順序の変更操作、層の間隔の変更操作、層の回転操作、配列方向の回転操作、画像の非表示或いは表示操作、ウィンドウ全体のスイッチ操作、表示パラメーターの変更操作、表示内容の変更操作などは、マウスでスクリーンの上のカーソルを動かしたり、タッチスクリーン上を指でタッチしたりすることで実現できる。操作検出ユニット110は、従来の任意の適切な技術でスクリーンの上の或いは物理キーボードで入力した前記操作を検出し、ここでは詳しく説明しないことにする。その他、ホットキーで前記部分或いは全部操作を触発する時に、操作検出ユニット110は従来の任意の適切な技術でキーボード(例えば物理キーボード或いはスクリーンの上のソフトキーボード)で入力したホットキーを検出でき、ここでは詳しく説明しないことにする。
【0048】
以上の説明によって、本分野の技術スタッフはもっと他の操作をデザインすることによって、ウィンドウに表示する医用画像或いは合成画像にもっと他の適切な処理を行い、ここで一々説明しないことにする。
【0049】
図2は、本発明の実施形態に基づく医用画像合成方法を示すフロー図である。
図2に示すように、ステップS210においては、複数の医用画像を階層的にスクリーンにあるウィンドウに表示し、前記複数の医用画像の配列方向は、各の医用画像の平面の延長方向とは異なる。ステップS220においては、前記複数の医用画像に合成する医用画像を選択するための選択画像を検出する。ステップS230においては、前記選択操作によって合成する医用画像の選択操作を生成する。ステップS240においては、合成画像をウィンドウにある所定領域に表示させる。ステップS210とステップS240は本発明の実施形態の医用画像表示装置110にある表示ユニット130によって行われ、ステップS220は操作検出ユニット110によって行われ、ステップS230は合成画像生成ユニット120によって行われる。前記医用画像合成方法の各ステップのもっと細かいところについて、以上に本発明の実施形態に基づく医用画像表示装置に各処理部の説明を参考でき、ここでは繰り返し説明しないことにする。
【0050】
本発明の実施形態に基づく医用画像表示装置と方法によれば、複数の医用画像及び合成画像が一つのウィンドウに同時に表示し、ウィンドウの資源を節約した。複数の医用画像の階層的な表示は複数の医用画像に同時に操作できる。
【0051】
一つの例として、前記医用画像合成方法の各のステップ及び前記医用画像表示装置の各の組成モジュール及び/又はユニットは医療診断装置(X線診断装置、超音波診断装置、CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置或いはPET(Positron Emission Tomography)装置など)のソフトウェア、ファームウェア、ハードウェア或いはその組み合わせに実施し、さらに該医療診断装置の一部分とする。一つの例として、従来の医療診断装置に本発明の前記方法及び/又は装置に基づいて、従来の医療診断装置の各の部分にある程度の修正をすればいい。もう一つの例として、前記方法の各のステップ及び前記装置の各の組成モジュール及び/又はユニットは前記医療診断装置に独立する装置に実施する。前記医用画像表示装置にある各の組成モジュール、ユニットはソフトウェア、ファームウェア、ハードウェア或いはその組み合わせの方式で配置する時に使われる具体的な手段或いは方式が当業者に周知であり、ここでは繰り返し説明しないことにする。
【0052】
一つの例として、前記方法の各のステップ及び前記装置の各の組成モジュール、ユニットはソフトウェア、ファームウェア、ハードウェア或いはその組み合わせに実施する。ソフトウェア或いはファームウェアを通して実現する場合、ストレージ・メディア或いはインタネットから専用のハードウェア構成を持つコンピュータ(例えば
図12に示す共用コンピュータ1200)に前記方法を実施するためのソフトウェアのプログラムを取り付け、該コンピュータに各種のプログラムが取り付けられるときに、様々な機能を行われるなどである。
【0053】
図12に、計算処理ユニット(即ちCPU(Central Processing Unit))1201は読み取り専用メモリ(ROM(Read Only Memory))1202に記憶したプログラム或いは記憶部1208がランダムアクセスメモリ(RAM(Random Access Memory))1203に読み込んだプログラムに基づいて各の処理を執行する。RAM1203に、必要によってCPU1201が各の処理などを執行する時に必要なデータを記憶する。CPU1201、ROM1202及びRAM1203はバス1204を通してリンクする。入力/出力インタフェース1205もバス1204にリンクする。
【0054】
以下の部品入力部分1206(キーボード、マウスなどを含む)、出力部分1207(ブラウン管(CRT(Cathode Ray Tube))、液晶ディスプレイ(LCD(Liquid Crystal Display))など、スピーカーなどのディスプレイなど)、記憶部1208(ハードウェアなどを含む)、通信部分1209(LAN(Local Area Network)カード、モデムなどのネットワーク・インタフェース・カードを含む)は入力/出力インタフェース1205にリンクする。通信部分1209はインタネットなどのネットを経て通信処理を執行する。要求によって、ドライブ1210も入力/出力インタフェース1205にリンクする。ディスク、CD(Compact Disc)、光磁気ディスク、半導体メモリなどのリムーバブルメディア1211が要求によってドライブ1201に取り付けられ、それで読み取ったコンピュータプログラムが要求によって記憶部1208に取り付けられる。
【0055】
ソフトウェアを通して前記一列の処理を実現する場合、インタネットなどのネッ及び/又はリムーバブルメディア1211などのストレージ・メディアからソフトウェアを構成するプログラムを取り付ける。
【0056】
本分野の技術スタッフに理解すべきことは、このストレージ・メディアは
図12に示すプログラムが記憶され、装置に分離して配布してユーザーにプログラムを提供するリムーバブルメディア1211に限らない。リムーバブルメディア1211の例はディスク(フロッピーディスク(登録商標)を含む)、ディスク(読み取り専用メモリ(CD−ROM)、コンパクトディスク、デジタルバーサタイルディスク(DVD(Digital Versatile Disc))を含む)、光磁気ディスク(ミニディスク(MD(Mini Disc))(登録商標)を含む)、及び半導体メモリを含む。或いは、ストレージ・メディアは、ROM1202、記憶部1208に格納されているハードディスクでもよく、プログラムが記憶され、その装置を含んでユーザーに配布される。
【0057】
本発明は、機械が読み取れる指令コードを記憶するプログラム製品を提出する。前記指令コードは機械で読み取って執行する時に、前記本発明の実施形態に基づく方法を執行できる。
【0058】
相応的に、機械が読み取れる指令コードを記憶するプログラム製品を受けるストレージ・メディアも本発明に含む。前記ストレージ・メディアはフロッピーディスク(登録商標)、CD−ROM、光磁気ディスク、メモリカード、メモリスティックなどを含むがそれに限らない。
【0059】
以上の本発明の具体的な実施形態に対する説明において、一つの実施形態に対する説明及び/又は示される特徴は同じ或いは類似の方式で一つの或いは複数の他の実施形態に適用でき、他の実施形態にある特徴と組み合わせて、或いは他の実施形態にある特徴と代替可能である。
【0060】
強調すべきは、術語の「備える/含む」は本文には特徴、要素、ステップ或いは部品の存在を示すが、一つの或いは複数の他の特徴、要素、ステップ或いは部品の存在や付加を排除できない。
【0061】
前記実施形態と例に、数字でできた付図標識を採用して各ステップ及び/又はユニットを表示する。本分野の普通の技術スタッフは理解すべきことは、この付図標識はただ説明や製図のために、その順序あるは他のいずれの限定を表示することではない。
【0062】
その他、本発明の方法は説明書に書かれた時間の順序に行うことに限らず、他の時間順序に従って並行的に或いは独立的に行われる。それによって、本説明書が書かれた方法の執行順序は本発明の技術範囲に制限しない。
【0063】
以上はもう本発明の具体的な実施形態に対する説明で本発明を披露したが、理解すべきのは、前記実施形態と例示の全てが例示的で、非制限的ではない。本分野の技術スタッフは付いた請求項の精神や範囲内に本発明の様々な修正、改進あるいは相当物をデザインできる。これらの修正、改進或いは相当物は本発明の保護範囲内に含むべきと思われる。
【0065】
(1)複数の医用画像をスクリーンの一つのウィンドウに階層的に表示し、前記複数の医用画像の配列方向は各医用画像の平面の延伸方向と異なる表示ユニットと、前記複数の医用画像から合成される医用画像を選択する選択操作を検出する操作検出ユニットと、前記選択操作によって合成される医用画像の合成画像を生成する合成画像生成ユニットとを備え、前記表示ユニットは、生成した合成画像を前記ウィンドウにある所定領域に表示させることを特徴とする医用画像表示装置。
【0066】
(2)前記所定領域は、前記複数の医用画像の最外層の医用画像の外側に設置されることを特徴とする上記(1)に記載の医用画像表示装置。
【0067】
(3)前記選択操作は、合成する医用画像を前記所定領域と関連付けることを特徴とする上記(1)に記載の医用画像表示装置。
【0068】
(4)前記選択操作は、合成する医用画像を前記所定領域にドラッグアンドドロップすることを含むことを特徴とする上記(3)に記載の医用画像表示装置。
【0069】
(5)前記複数の医用画像は、異なるモダリティ及び/又は異なる撮影シーケンスの医用画像であって、前記表示ユニットは、前記ウィンドウにおいて、第一の標識により異なるモダリティの医用画像を際立たせ、第二の標識により異なる撮影シーケンスの医用画像を際立たせることを特徴とする上記(1)に記載の医用画像表示装置。
【0070】
(6)前記表示ユニットは、合成する医用画像の標識の組み合わせに基づいて、前記合成画像を識別することを特徴とする上記(5)に記載の医用画像表示装置。
【0071】
(7)前記異なるモダリティの医用画像は、異なる枠の色で互いに識別され、同一のモダリティの異なる撮影シーケンスの医用画像は、シリアルナンバーにより互いに識別されることを特徴とする上記(5)に記載の医用画像表示装置。
【0072】
(8)前記選択操作は、合成する医用画像のシリアルナンバーに対する操作により、前記合成する医用画像を前記所定領域と関連付けることを含むことを特徴とする上記(7)に記載の医用画像表示装置。
【0073】
(9)前記合成画像生成ユニットは、前記選択操作の選択順序に基づいて前記合成する医用画像を重ね合わせ、前記合成画像を生成することを特徴とする上記(1)に記載の医用画像表示装置。
【0074】
(10)前記操作検出ユニットは、順序変更操作、層間隔変更操作、層回転操作、配列方向回転操作、表示切替操作、画面切替操作及び合成の解除操作のうち少なくとも一つの操作を検出し、前記表示ユニットは、前記操作検出ユニットにより検出された前記順序変更操作に基づいて、層の順序を変更後の前記複数の医用画像を前記ウィンドウに表示し、前記操作検出ユニットにより検出された前記層間隔変更操作に基づいて、層の間隔を変更後の前記複数の医用画像を前記ウィンドウに表示し、前記操作検出ユニットにより検出された前記層回転操作に基づいて、層が回転された前記複数の医用画像を前記ウィンドウに表示し、前記操作検出ユニットにより検出された前記配列方向回転操作に基づいて、配列方向が回転された前記複数の医用画像を前記ウィンドウに表示し、前記操作検出ユニットにより検出された前記表示切替操作に基づいて、前記複数の医用画像のうち合成に関与しない医用画像を前記ウィンドウに表示或いは非表示とし、前記操作検出ユニットにより検出された前記画面切替操作に基づいて、前記複数の医用画像及び前記合成画像を表示する画面と、前記合成画像を全画面に表示する画面と、選択した医用画像を全画面に表示する画面との間で表示を切り替え、前記操作検出ユニットにより検出された前記解除操作に基づいて、前記合成画像の表示を解除することを特徴とする上記(1)に記載の医用画像表示装置。
【0075】
(11)前記解除操作は、前記合成画像を前記所定領域の外に移動させることを含むことを特徴とする上記(10)に記載の医用画像表示装置。
【0076】
(12)前記操作検出ユニットは、選択した合成する医用画像の表示パラメーターを変更する表示パラメーター変更操作を検出し、前記合成画像生成ユニットは、前記表示パラメーターが変更された選択された医用画像を用いて、前記合成画像を再生成し、前記表示ユニットは、前記表示パラメーター変更操作によって、前記ウィンドウに表示パラメーターを変更後の医用画像及び再生成した合成画像を表示することを特徴とする上記(1)に記載の医用画像表示装置。
【0077】
(13)前記操作検出ユニットは、選択した合成する医用画像の表示内容を変更するための表示内容の変更操作を検出し、前記合成画像生成ユニットは、表示内容変更後の選択した医用画像を用いて合成画像を再生成し、前記表示ユニットは、前記表示内容の変更操作によって前記ウィンドウに前記表示内容変更後の医用画像及び再生成された前記合成画像を表示することを特徴とする上記(1)に記載の医用画像表示装置。
【0078】
(14)前記操作検出ユニットは、同期的に有効にするか解除する操作を検出し、前記表示ユニットは、同期的に有効にするか解除する操作によって、少なくとも二層の医用画像の間の表示を同期的に有効にするか解除キャンセルすることを特徴とする上記(12)又は(13)に記載の医用画像表示装置。
【0079】
(15)前記表示ユニットは、前記複数の医用画像と前記合成画像とを三次元画像として表示させることを特徴とする上記(1)に記載の医用画像表示装置。
【0080】
(16)前記操作検出ユニットは、前記スクリーンに生成した合成画像を他のウィンドウにポジショニングするための移転操作を検出し、前記表示ユニットは、前記移転操作に基づいて、前記スクリーンに一つの或いは複数の他のウィンドウに一つの或いは複数の生成した合成画像を表示することを特徴とする上記(1)に記載の医用画像表示装置。
【0081】
(17)前記移転操作は、前記生成した合成画像の合成に関与する医用画像を前記他のウィンドウにコピーすることに用いられ、前記操作検出ユニットは、第二ウィンドウ全体のスイッチ操作を検出することに用いられ、前記表示ユニットは、第二ウィンドウ全体のスイッチ操作によって前記生成した合成画像のウィンドウ全体への表示、前記生成した合成画像の合成に関与した医用画像の表示および前記生成した合成画像の表示との間を切り換えて前記他のウィンドウに表示することに用いられることを特徴とする上記(16)に記載の医用画像表示装置。
【0082】
(18)隣接する層の前記医用画像は、互いに、少なくとも一部分が重なり合うことを特徴とする上記(1)に記載の医用画像表示装置。
【0083】
(19)コンピュータが、複数の医用画像をスクリーンの一つのウィンドウに階層的に表示し、前記複数の医用画像の配列方向は各医用画像の平面の延伸方向と異なる表示ステップと、前記複数の医用画像から合成される医用画像を選択する選択操作を検出する操作検出ステップと、前記選択操作によって合成される医用画像の合成画像を生成する合成画像生成ステップとを含み、前記表示ステップは、生成した合成画像を前記ウィンドウにある所定領域に表示させることを特徴とする医用画像表示方法。