(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-04
(45)【発行日】2024-03-12
(54)【発明の名称】医用画像表示装置、医用画像表示方法、および、プログラム
(51)【国際特許分類】
A61B 6/46 20240101AFI20240305BHJP
A61B 6/03 20060101ALI20240305BHJP
A61B 5/055 20060101ALI20240305BHJP
A61B 6/50 20240101ALI20240305BHJP
G01T 1/161 20060101ALI20240305BHJP
【FI】
A61B6/46 506B
A61B6/03 577
A61B6/46 536Q
A61B5/055 383
A61B5/055 390
A61B5/055 380
A61B6/50 511G
G01T1/161 A
(21)【出願番号】P 2020050987
(22)【出願日】2020-03-23
【審査請求日】2022-12-23
(73)【特許権者】
【識別番号】000001270
【氏名又は名称】コニカミノルタ株式会社
(74)【代理人】
【識別番号】110001900
【氏名又は名称】弁理士法人 ナカジマ知的財産綜合事務所
(72)【発明者】
【氏名】和田 恒
【審査官】松岡 智也
(56)【参考文献】
【文献】米国特許出願公開第2007/0287905(US,A1)
【文献】国際公開第2008/050823(WO,A1)
【文献】特開2009-273597(JP,A)
【文献】再公表特許第2008/050823(JP,A1)
【文献】特開平5-298417(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01T 1/161-1/166
A61B 5/055、6/00-6/58
G06T 1/00-1/60
(57)【特許請求の範囲】
【請求項1】
被検者の同一の部位から取得された、組織の構造を示す2次元画像である第1の画像と、生体の活動状態を示す2次元画像である第2の画像とを取得する画像取得部と、
前記第1の画像に前記第2の画像を重畳した
第1の合成画像を生成する画像合成部と、
表示部と、
前記第1の合成画像を前記表示部に表示させる表示制御部と、
ユーザーから、前記第1の画
像と前記第2の画
像との相対
的な位置調整が必要であることを示す第1の指示と、前記第1の画像と前記第2の画像との相対位置をどれだけ変更するかを示す第2の指示の入力を受け付ける入力部と
を備え、
前記入力部が前記
第1の指示の入力を受け付けると、前記画像合成部は、前記第1の画像と前記第2の画像の少なくとも一方に強調処理を行った上で、前記
受け付けられた第2の指示による前記相対位置
の変更に基づいて、
前記強調処理が行われた後の前記第1の画像に前記第2の画像を重畳した
状態の第2の合成画像
を生成し、前記表示
制御部は、前記
第2の合成画像を
前記表示部に表示
させる
ことを特徴とする医用画像表示装置。
【請求項2】
前記画像合成部は、前記
第2の合成画像を生成する際の第2の画像の不透明率が低いほど、前記第2の画像の強調処理の強調度を強くする
ことを特徴とする請求項1に記載の医用画像表示装置。
【請求項3】
前記第2の画像は、PET、造影CT、造影MRIのいずれかである
ことを特徴とする請求項1または2に記載の医用画像表示装置。
【請求項4】
前記画像合成部は、前記
第2の合成画像を生成する際の第1の画像の不透明率が低いほど、前記第1の画像の強調処理の強調度を強くする
ことを特徴とする請求項1から3のいずれか1項に記載の医用画像表示装置。
【請求項5】
前記第1の画像は、CTまたはMRIから生成された断層画
像、超音波断層画像のいずれかである
ことを特徴とする請求項1から4に記載の医用画像表示装置。
【請求項6】
前記入力部
は、ユーザーからさらに、前記第2の指示により変更された前記相対位置
を確定することを示す第3の指示の入力を受け付け、
前記画像合成部は、
前記入力部が前記第3の指示の入力を受け付けると、前記確定した前記相対位置に基づいて、強調前の前記第1の画像に強調前の前記第2の画像を重畳した
第3の合成画像
を生成し、前記表示
制御部は、前記
第3の合成画像を
前記表示部に表示
させる
ことを特徴とする請求項1から5のいずれか1項に記載の医用画像表示装置。
【請求項7】
被検者の同一の部位から取得された、組織の構造を示す2次元画像である第1の画像と、生体の活動状態を示す2次元画像である第2の画像とを取得し、
前記第1の画像に前記第2の画像を重畳した
第1の合成画像を生成して
表示部に表示し、
ユーザーから、前記第1の画
像と前記第2の画
像との相対
的な位置調整が必要であることを示す第1の指示の入力を受け付けると、前記第1の画像と前記第2の画像の少なくとも一方に強調処理を行った上で、
ユーザーから、前記第1の画像と前記第2の画像との相対位置をどれだけ変更するかを示す第2の指示の入力を受け付けると、前記受け付けられた第2の指示による前記相対位置
の変更に基づいて、
前記強調処理が行われた後の前記第1の画像に前記第2の画像を重畳した
状態の第2の合成画像
を生成して
前記表示部に表示する
ことを特徴とする医用画像表示方法。
【請求項8】
コンピュータに医用画像を表示させるプログラムであって、
前記医用画像を表示する処理は、
被検者の同一の部位から取得された、構造を示す断層画像である第1の画像と、生体の活動状態を示す断層画像である第2の画像とを取得し、
前記第1の画像に前記第2の画像を重畳した第1の合成画像を生成して表示部に表示し、
ユーザーから、前記第1の画
像と前記第2の画
像との相対
的な位置調整が必要であることを示す第1の指示の入力を受け付けると、前記第1の画像と前記第2の画像の少なくとも一方に強調処理を行った上で、
ユーザーから、前記第1の画像と前記第2の画像との相対位置をどれだけ変更するかを示す第2の指示の入力を受け付けると、前記受け付けられた第2の指示による前記相対位置
の変更に基づいて
、前記強調処理が行われた後の前記第1の画像に前記第2の画像を重畳した
状態の第2の合成画像を生成
して前記表示部に表示する
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、医用画像表示装置及び画像表示方法に関し、特に、組織の構造を示す形態画像と生体活動を示す機能画像との重畳表示に関する。
【背景技術】
【0002】
いわゆる断層画像を用いる画像診断において、組織の構造を示す形態画像と、生体活動を示す機能画像が用いられている。形態画像は、X線断層撮像や超音波診断装置によるBモード画像、CT(Computed Tomography)やMRI(Magnetic Resonance Imaging)などから得た組織の構造を示す画像であり、組織の形状や大きさ、構造の異なる異物の検出に適しているが、構造の類似した異物の検出や組織の生体活動の評価が難しい。一方、機能画像は、PET(Positron Emission Tomography)、造影CTなどから得た組織の生体活動の程度を示す画像であり、生体活動の状態について分布状態を評価できるが、組織間の境界が直接的に示されるとは限らず、どの組織による生体活動であるかの同定が困難な場合がある。そこで、例えば、形態画像上に機能画像を重ね合わせ重畳表示することにより、形態画像を用いて機能画像における位置の同定が行われる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
一般に、形態画像に機能画像を重畳した場合、すべての画素について対応する空間的(三次元的)位置が同一となることがないため、着目したい領域のみにおいて形態画像と機能画像との間で画素が示す空間的位置が一致するように位置合わせを行う必要がある。そのため、読影医等の操作者は、着目したい領域の読影に適するように、解剖学的見地に基づいて形態画像と機能画像との位置合わせの微調整を行っている。しかしながら、機能画像は一般に輪郭が不明瞭であり、形態画像との位置合わせにおいて視認性が低い課題がある。
【0005】
本開示は、上記課題に鑑みてなされたものであり、機能画像と形態画像の重畳表示において画像間の位置合わせを容易とすることを目的とする。
【課題を解決するための手段】
【0006】
本開示の一態様に係る医用画像表示装置は、被検者の同一の部位から取得された、組織の構造を示す2次元画像である第1の画像と、生体の活動状態を示す2次元画像である第2の画像とを取得する画像取得部と、前記第1の画像に前記第2の画像を重畳した第1の合成画像を生成する画像合成部と、表示部と、前記第1の合成画像を前記表示部に表示させる表示制御部と、ユーザーから、前記第1の画像と前記第2の画像との相対的な位置調整が必要であることを示す第1の指示と、前記第1の画像と前記第2の画像との相対位置をどれだけ変更するかを示す第2の指示の入力を受け付ける入力部とを備え、前記入力部が前記第1の指示の入力を受け付けると、前記画像合成部は、前記第1の画像と前記第2の画像の少なくとも一方に強調処理を行った上で、前記受け付けられた第2の指示による前記相対位置の変更に基づいて、前記強調処理が行われた後の前記第1の画像に前記第2の画像を重畳した状態の第2の合成画像を生成し、前記表示制御部は、前記第2の合成画像を前記表示部に表示させる。
【発明の効果】
【0007】
上記構成によれば、第1の画像と第2の画像との重畳表示を行う場合において、第1の画像と第2の画像との位置合わせの少なくとも一方が強調された状態で表示される。したがって、視認性を向上させた状態で第1の画像と第2の画像との位置合わせを行うことができるため、読影医等の操作者による位置合わせが容易となる。
【図面の簡単な説明】
【0008】
【
図1】実施の形態に係る画像表示システム1000の機能ブロック図である。
【
図2】実施の形態に係る画像表示装置100の動作を示すフローチャートである。
【
図3】(a)は形態画像の一例であり、(b)は機能画像の一例であり、(c)は形態画像と機能画像に基づく表示画像の一例である。
【
図4】(a)は強調処理後の形態画像の一例であり、(b)は強調処理後の機能画像の一例であり、(c)は表示画像の一例である。
【発明を実施するための形態】
【0009】
≪実施の形態≫
以下、実施の形態に係る画像表示システム1000について、図面を参照しながら説明する。
【0010】
≪全体構成≫
図1は、実施の形態に係る画像表示システム1000の機能ブロック図である。
図1に示すように、画像表示システム1000は、形態画像データベース10と、機能画像データベース20と、画像表示装置100と、表示部31と、入力部32とを含んでなる。
【0011】
<形態画像データベース10>
形態画像データベース10は、被検者の一部を撮像した形態画像を記憶管理するサーバ装置である。形態画像とは、体内の組織や器官の形態を示す2次元画像であり、例えば、断層画像である。より具体的には、例えば、単純X線断層画像、超音波Bモード画像であってもよいし、CTまたはMRIによって取得された3次元ボクセルデータから形成された断層画像であってもよい。形態画像データベース10は、形態画像を記憶するためのストレージと、画像表示装置100と通信するためのインターフェースとを備える。形態画像データベース10は、例えば、プロセッサとメモリ、および、ソフトウェアを備えるコンピュータとして実現され、ストレージとして、例えば、ハードディスク、SSD等を備え、インターフェースとして、例えば、10GBASE-T対応のインタフェースカードを備える。
【0012】
<機能画像データベース20>
機能画像データベース20は、被検者の一部を撮像した機能画像を記憶管理するサーバ装置である。機能画像とは、体内における生体活動状態を示す2次元画像であり、例えば、PET画像、造影断層画像等である。PET画像としては、例えば、15Oをトレーサーとした酸素または水の分布を示す画像、18Fをトレーサーとしたブドウ糖(グルコース)の分布を示す画像などがある。造影断層画像としては、造影剤を用いて血管や特定の組織のみを撮像した断層画像、または、CTまたはMRIによって取得された3次元ボクセルデータから形成された断層画像が挙げられる。機能画像データベース20は、形態画像を記憶するためのストレージと、画像表示装置100と通信するためのインターフェースとを備える。機能画像データベース20は、例えば、プロセッサとメモリ、および、ソフトウェアを備えるコンピュータとして実現され、ストレージとして、例えば、ハードディスク、SSD等を備え、インターフェースとして、例えば、10GBASE-T対応のインタフェースカードを備える。なお、機能画像データベース20は、形態画像データベース10と同一のハードウェア上に実現されてもよい。
【0013】
<表示部31>
表示部31は、画像表示装置100と接続され、画像表示装置100から出力される画像を表示するディスプレイ装置である。表示部31は、例えば、液晶ディスプレイ、有機ELディスプレイ、CRT等を備え、画像表示装置100から画像を受信するためのインターフェースとして、例えば、DVI、DisplayPort等を備える。
【0014】
<入力部32>
入力部32は、画像表示装置100と接続され、画像表示装置100に対してユーザーから入力された指示を出力する入力デバイスである。入力部32は、例えば、マウス、トラックボール、スライドパッドなどのポインティングデバイスを備え、画像表示装置100に支持を送信するためのインターフェースとして、例えば、USB、Bluetooth(登録商標)等を備える。なお、入力部32は表示部31の表示領域上のタッチパネルとして実現されてもよい。
【0015】
≪画像表示装置100の構成≫
画像表示装置100は、同一の被検者の同一部位を同一の断面に沿って撮像した機能画像と形態画像とを、それぞれ、機能画像データベース20と形態画像データベース10から取得し、縮尺(解像度)と画素が示す位置とを一致させた状態で、形態画像上に機能画像を重畳して表示画像を生成し、表示部31に表示させる装置である。画像表示装置100は、例えば、一般的なCPU(Central Processing Unit)およびGPU(Graphics Processing Unit)とRAMと、これらで実行されるプログラムを備えるコンピュータとして実現される。画像表示装置100は、
図1に示すように、形態画像取得部110、機能画像取得部120、画像合成部130、表示制御部140、制御部150を備える。
【0016】
<形態画像取得部110>
形態画像取得部110は、形態画像データベース10から、被検者の一部を撮像した形態画像を取得する回路である。
【0017】
図3(a)は、形態画像200の一例である。形態画像200は、被検者を特定の断面に沿って撮像した断層画像であり、例えば、X線の透過率、または、X線の透過率に基づいて算出された密度を2次元直交座標上に濃淡情報としてマッピングしたグレースケール画像である。図中の像210は被検者に対応し、像220は被検者が横たわっている寝台に対応する。また、像210は、皮膚の像201、臓器の像203、204、骨格の像202、205を含んでいる。なお、形態画像取得部110は、形態画像がグレースケール画像でない場合、例えば、カラーマップ等であれば、グレースケール画像に変換する。また、形態画像取得部110は、形態画像に加えて、形態画像の撮像条件や解像度情報、形態画像内の画素と被検者体内の3次元位置との対応情報などを形態画像データベース10から取得してもよい。
【0018】
形態画像取得部110は、取得した形態画像を画像合成部130に出力する。
【0019】
<機能画像取得部120>
機能画像取得部120は、機能画像データベース20から、被検者の一部を撮像した機能画像を取得する回路である。
【0020】
図3(b)は、機能画像300の一例である。機能画像300は、被検者の特定の断面に沿った領域における生体活動を示した画像であり、例えば、特定の物質や反応の密度を2次元直交座標上に色情報としてマッピングしたカラーマップ画像である。具体的には、例えば、
18F-FDG(Fluorodeoxy Glucose)をトレーサーとしたPETの場合、ブドウ糖(グルコース)の密度を示すカラーマップ画像である。図中において境界311内の領域301は、ブドウ糖の密度が高い領域を示し、境界312内の領域302はブドウ糖の密度が中程度である領域を示し、境界313内の領域303はブドウ糖の密度が低い領域を示す。なお、機能画像300は、形態画像200と同一の被検者について同一の断面に沿って撮像した断層画像である。ここで、実施の形態では、機能画像の中心点が指し示す被検者体内の3次元位置および解像度(縮尺)、画像の向きは形態画像200と同一であるとし、中心点同士を重ね合わせるだけで機能画像300を形態画像200との重畳処理が可能であるとする。なお、形態画像200と機能画像300との間で、基準点の位置、縮尺、画像の向きの1以上が異なっていてもよい。この場合、形態画像取得部110と機能画像取得部120の少なくとも一方が、形態画像200と機能画像300との基準点の位置、縮尺、画像の向きが一致するように拡大または縮小、平行移動、回転等の処理を行うことが好ましい。なお、機能画像取得部120は、機能画像がカラーマップでない場合、例えば、グレースケール画像等であれば、カラーマップに変換する。また、機能画像取得部120は、機能画像に加えて、機能画像の撮像条件や解像度情報、機能画像内の画素と被検者体内の3次元位置との対応情報などを機能画像データベース20から取得してもよい。
【0021】
機能画像取得部120は、取得した機能画像を画像合成部130に出力する。
【0022】
<画像合成部130>
画像合成部130は、形態画像上に機能画像を重畳した表示画像を生成する回路である。
【0023】
画像合成部130は、機能画像と形態画像のそれぞれから、各画素の画素値を抽出する。そして、各画素について、機能画像の透過度を用いて、表示画像の各画素の画素値を算出する。具体的には、座標(i,j)における形態画像の画素値をVs(i,j)、座標(i,j)における機能画像の画素値をVf(i,j)、機能画像の不透明度(以下、「透過度」とも呼ぶ)をα、座標(i,j)における表示画像の画素値をVv(i,j)としたとき、これらは以下の式を満たす。
Vv(i,j)=α・Vf(i,j)+(1-α)・Vs(i,j)
そして、画像合成部130は、算出した各画素の画素値を2次元直交座標上にマッピングし、表示画像を生成する。
【0024】
機能画像の不透明度αは、例えば、0.3、0.5など、所定の値を用いてもよい。または、例えば、後述する制御部150からの指示により設定または変更するとしてもよい。
【0025】
また、画像合成部130は、後述する制御部150からの指示がある場合に、重畳前の形態画像と機能画像の一方、または、両方に、強調処理を行ってから重畳合成を行う。強調処理としては、例えば、画素値の増幅、ガンマ補正、エッジ強調処理などを用いることができる。このとき、強調の程度は、透過度に応じて変更する、とすることができる。特に、不透明度αが小さい(表示画像において明瞭でない)ほど強調を強くすることにより、エッジを見やすくして機能画像と形態画像の重なりが適正かを容易に確認することができる。
【0026】
画像合成部130は、生成した表示画像を、表示制御部140に出力する。
【0027】
<表示制御部140>
表示制御部140は、画像合成部130が生成した表示画像を表示部31で表示可能な映像信号に変換する回路である。
【0028】
<制御部150>
制御部150は、上述した各機能部を制御する。また、制御部150は、入力部32を介してユーザーからの指示を受け付け、その反映を行う。具体的には、ユーザーが機能画像と形態画像の相対的な位置関係を修正すべき指示を行った場合に、機能画像の表示位置をシフトして表示画像を再生成するとともに、指示の受付中において形態画像と機能画像の一方、または、両方に、強調処理を行わせる。より具体的には、ユーザーが入力部32であるマウスを用いて表示画像上でドラッグを開始した場合、形態画像と機能画像の強調処理と、ドラッグの向き及び距離だけ機能画像の位置変更とを行った上で表示画像の再生成を行わせる。そして、ユーザーがドラッグを終了した場合、形態画像と機能画像の強調処理を終了させ、ドラッグの向き及び距離に応じた機能画像の位置変更のみ反映した状態で表示画像の再生成を行わせる。なお、ユーザーが機能画像と形態画像の相対的な位置関係を修正すべき指示の開始と終了はドラッグの開始と終了に限らず、例えば、表示部31に表示した位置調整モードアイコンのクリックにより開始し、当該アイコンの再度のクリックにより終了する、としてもよい。
【0029】
なお、機能画像と形態画像の相対的な位置関係とは、形態画像の座標と機能画像の座標との対応関係を指し、具体的には、形態画像の基準点と対応する表示画像上の画素から、基準画像の基準点に対応する表示画像上の画素までのベクトルで表示される。すなわち、形態画像の基準点と機能画像の基準点とを重ね合わせて重畳合成する場合、相対的な位置関係はゼロベクトルで示される。また、形態画像の基準点からx方向にa、y方向にb移動した点と機能画像の基準点とを重畳合成する場合、相対的な位置関係は(a,b)で示される。
【0030】
≪動作≫
以下、画像表示装置100の動作について、図面を参照しながら説明する。
図2は画像表示装置100の動作を示すフローチャートである。
【0031】
まず、形態画像取得部110において、形態画像を取得する(ステップS10)。
【0032】
次に、機能画像取得部120において、機能画像を取得する(ステップS20)。
【0033】
次に、形態画像と機能画像を重畳合成する(ステップS30)。ここでは、所定の不透明率α=0.5(50%)を用いて、形態画像と機能画像を重畳合成する。これにより、
図3(a)に示す形態画像200に
図3(b)に示す機能画像300が重畳合成され、表示画像400が形成される。この例では、臓器の像203の内部に境界301が存在し、当該臓器内に活動領域である領域301が表示されている。同様に、臓器の像204の内部に境界302が存在し、当該臓器内の活動領域である領域312が表示されている。一方、皮下の活動領域である領域303は、その境界313の一部が皮膚の像201の外部に存在しており、被検者が存在しない位置に活動領域のみが存在する画像となっている。この理由は、機能画像300と形態画像200が同時に取得されておらず、皮膚表面と臓器との相対位置関係が機能画像300と形態画像200とで一致しないためである。ここでは、基準点と皮膚表面との相対位置関係が機能画像300と形態画像200とで一致しているため、表示画像400は、
図3(c)に示すように、皮膚の像近傍では、器官の像に対応する皮膚表面と、当該器官の像に重畳された活動領域に対応する場所である皮膚表面とが一致しており、位置ずれが生じない。一方で、臓器の像202、203の近傍では、臓器の像に対応する実際の臓器の領域と、当該臓器の像に重畳された活動領域に対応する実際の臓器の領域とが一致せず、臓器の像と活動領域の表示位置に位置ずれが生じる。
【0034】
次に、機能画像300と形態画像200との位置調整が必要か否かの入力を受け付ける(ステップS40)。位置調整が必要である旨の入力は、例えば、表示画像上でのドラッグの開始とすることができる。または、例えば、表示画像上または表示画像の側面等に、位置調整モードのアイコンを表示し、アイコンがクリックされたことを位置調整が必要である旨の入力としてもよい。
【0035】
ユーザーから位置調整が必要であるとの入力があった場合(ステップS40でYes)、まず、機能画像の透過度に基づいて機能画像の強調処理を行う。このとき、不透明率は50%であるので、強調処理の程度は中程度であると決定する。なお、不透明率が小さい(表示画像において明瞭でない)場合は、強調を強く、不透明率が大きい場合には、強調を弱くする、としてもよい。このようにすることで、表示画像上において機能画像が不鮮明であるほど強調を強くして位置調整を容易とすることができる。
図4(b)に示す強調後の機能画像350は、
図3(b)に示す強調前の機能画像300に対して強調処理を行った結果である。
図4(b)に示すとおり、強調処理によって、境界361、362、363が強調され、また、領域351、352、353が均一かつ明瞭な領域となっている。
【0036】
次に、形態画像の透過度に基づいて形態画像の強調処理を行う。このとき、透過率は50%であるので、強調処理の程度は中程度であると決定する。なお、透過率が大きい(表示画像上での表示が弱い)場合は、強調を強く、透過率が小さい場合には、強調を弱くする、としてもよい。このようにすることで、表示画像上において形態画像が不鮮明であるほど強調を強くして位置調整を容易とすることができる。
図4(a)に示す強調後の形態画像250は、
図3(a)に示す強調前の形態画像200に対して強調処理を行った結果である。
図4(a)に示すとおり、強調処理によって、組織の像251、252、253、254が明瞭な境界を有する状態となっている。
【0037】
次に、ユーザーから位置調整の指示を受け付ける(ステップS70)。例えば、入力部32がマウスやトラックボールである場合には、ドラッグ動作による移動の向きと距離を位置調整の指示として受け付ける。また、入力部32がタッチパネルである場合には、例えば、ドラッグ動作による移動前座標と移動後座標との差を位置調整の指示として受け付ける。なお、入力はこれに限られず、入力部32がキーボードを含む場合は、カーソルキーの押下を当該方向への位置調整の指示として受け付けてもよい。
【0038】
次に、強調後の形態画像に強調後の機能画像を重畳合成する(ステップS80)。このとき、ステップS70において受け付けた入力に基づいて形態画像と機能画像との相対位置を変更する。例えば、ステップS70において、機能画像の位置をx方向にdxだけ、y方向にdyだけ移動させる指示を受け付けた場合、形態画像の基準点である中心点から、機能画像の基準点である中心点へのベクトルが(dx,dy)となるように相対位置を調整する。すなわち、合成後の表示画像の座標(x1,y1)の画素値は、強調処理後の形態画像の座標(x1,y1)の画素値と、強調処理後の機能画像の座標(x1-dx,y1-dy)の画素値との重畳合成によって生成される。したがって、入力がなければ
図4(c)に示すような合成後の表示画像が生成されるところ、入力を反映し
図5(a)に示すように、臓器の像351の内部に活動領域251が存在するような状態の表示画像が生成される。このとき、形態画像と表示画像はいずれも強調処理がなされているため、ユーザーは、表示画像により、着目したい領域において、形態画像と機能画像が適切に重畳されているかを確認することができる。ここでは、臓器の像301の近傍に着目したいため、臓器の像351の内部に活動領域251が存在する状態であるか否かを確認できる。
【0039】
次に、ユーザーから形態画像と機能画像の相対位置を確定するか否かの指示を受け付ける(ステップS90)。例えば、表示画像上でのドラッグの開始を位置調整が必要である旨の入力とした場合には、ドラッグの終了を形態画像と機能画像の相対位置を確定する旨の入力とすることができる。または、例えば、位置調整モードのアイコンのクリックを位置調整が必要である旨の入力とした場合には、位置調整モードのアイコンの再度のクリックを形態画像と表示画像の相対位置を確定する旨の入力としてもよい。形態画像と機能画像の相対位置を確定する旨の入力がない場合(ステップS90でNo)、ステップS70に戻り、位置調整指示をさらに受け取って再度のステップS80によりこれを表示画像に反映する。このとき、形態画像と機能画像の相対位置としては、全てのステップS70において受け付けた入力を累積したものを適用する。
【0040】
一方、形態画像と表示画像の相対位置を確定する旨の入力がある場合(ステップS90でYes)、強調前の形態画像上に強調前の機能画像を重畳合成する(ステップS100)。このとき、形態画像と機能画像との相対位置関係としては、最後にステップS80で反映した状態を反映する。すなわち、ステップS70が一度だけ実施された場合、当該ステップS70において受け付けた入力を反映する。また、ステップS70が2度以上実施された場合、それぞれのステップS70で受け付けた入力を累積したものを反映する。すなわち、1度目のステップS70の入力が(dx1,dy1)に対応し、2度目のステップS70の入力が(dx2,dy2)に対応する場合、(dx1+dx2,dy1+dy2)だけ、形態画像の基準点である中心点から機能画像の基準点である中心点の位置をずらした状態で重畳合成を行う。したがって、最後に実施されたステップS80で生成された表示画像に対し、形態画像と機能画像の強調処理が解除された状態の画像が形成される。例えば、ステップS80において
図5(a)の表示画像410を生成した場合、
図5(b)の表示画像400に示すように強調処理のみが解除された状態となる。これにより、形態画像と機能画像との位置合わせの際の強調処理が、読影時のノイズや誤診の原因となり得るようなものであっても、ステップS80で形成された表示画像を読影することにより、強調処理が読影に悪影響を与えることを抑止できる。
【0041】
なお、機能画像300と形態画像200との位置調整が必要である旨の入力がない場合(ステップS40でNo)、ステップS30で生成した表示画像を読影することができる。
【0042】
≪小括≫
上記構成によれば、機能画像と形態画像との重畳を行う際、機能画像と形態画像に強調処理を行うことで、形態画像内の組織の像と機能画像内の活動領域とを容易に対応付けることができる。したがって、同一の被検者の同一部位を同一の断面に沿った機能画像と形態画像との間で器官間の位置関係が同一でない場合にも、着目した器官や領域について位置合わせを容易に行うことができ、画像に基づきより正確な診断が可能となる。また、上記構成では、機能画像と形態画像の位置合わせの完了後、機能画像と形態画像への強調処理を解除する。この構成によれば、強調処理によって虚像の生成や活動領域の拡大や変形といった読影に影響するノイズが生成する場合においても、読影時にノイズの影響を排除することができる。したがって、読影の精度に影響させることなく、機能画像と形態画像の位置合わせのみを精度良く行うことができる。
【0043】
≪実施の形態に係るその他の変形例≫
(1)実施の形態では、機能画像と形態画像の両方に強調を行うとした。しかしながら、機能画像と形態画像の一方のみに強調を行うとしてもよい。このとき、不透明度の低い画像に強調を行うことで、強調の効果を向上させることができる。例えば、機能画像の不透明度が50%より大きい場合には
図6(a)のように形態画像の強調を行い、機能画像の不透明度が50%以下であるときには
図6(b)のように機能画像の強調を行うとしてもよい。このようにすることで、表示画像における明瞭性の低い画像を強調することができ、器官の像と活動領域の形状との比較が容易となって位置合わせが容易となる。
【0044】
(2)実施の形態では、機能画像と形態画像はいずれも2次元画像として画像表示装置に取得されるとした。しかしながら、例えば、少なくとも一方が3次元ボクセルデータであるとしてもよい。一例として、形態画像が被検者体内の位置情報を含む2次元画像であり、機能画像が被検者体内の位置情報を含む3次元ボクセルデータであってもよく、この場合、機能画像取得部は、形態画像の位置情報に沿って3次元ボクセルデータから2次元カラーマップを生成すればよい。
【0045】
(3)実施の形態では、形態画像がグレースケール画像、機能画像がカラーマップであるとした。しかしながら、機能画像がグレースケール画像であってもよい。この場合、機能画像取得部または画像合成部は、機能画像をカラーマップに変換してから重畳合成することが好ましい。また、機能画像と形態画像とで基準点の位置、縮尺、画像の向きが異なる場合に、機能画像取得部と形態画像取得部とのうち少なくとも一方が基準点の位置、縮尺、画像の向きを揃える処理を行うとしたが、この処理を画像合成部が重畳合成や強調処理に先立って行うとしてもよい。
【0046】
(4)なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されず、以下のような場合も本発明に含まれる。
【0047】
例えば、本発明において、画像表示装置は、FPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated Circuit)をプロセッサとした装置であってもよい。また、画像表示装置と表示部と入力部とは、単一の装置として実現されてもよい。
【0048】
また、上記の各装置を構成する構成要素の一部又は全部は、1つのシステムLSI(Large Scale Integration(大規模集積回路))から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。これらは個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。なお、LSIは、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。上記RAMには、上記各装置と同様の動作を達成するコンピュータプログラムが記憶されている。上記マイクロプロセッサが、上記コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。例えば、本発明の画像表示方法がLSIのプログラムとして格納されており、このLSIがコンピュータ内に挿入され、所定のプログラムを実施する場合も本発明に含まれる。
【0049】
なお、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGAや、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサー(Reconfigurable Processor)を利用してもよい。
【0050】
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
【0051】
上記実施の形態に係る形態画像データベースおよび機能画像データベースでは、記憶部をサーバに含む構成としたが、記憶部はこれに限定されず、半導体メモリ、ハードディスクドライブ、光ディスクドライブ、磁気記憶装置、等が、サーバに外部から接続される構成であってもよい。または、記憶部またはこれに代わる機構を含む装置、例えば、ファイルサーバの機能を有するサーバコンピュータが、断層画像データベースとは独立して画像表示システムに含まれる構成であってもよい。
【0052】
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
【0053】
また、上記のステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時(並列)に実行されてもよい。
【0054】
また、各実施の形態に係る画像表示装置、及びその変形例の機能のうち少なくとも一部を組み合わせてもよい。更に上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
【0055】
さらに、本実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。
【0056】
≪まとめ≫
(1)本開示の一態様に係る医用画像表示装置は、被検者の同一の部位から取得された、組織の構造を示す2次元画像である第1の画像と、生体の活動状態を示す2次元画像である第2の画像とを取得する画像取得部と、前記第1の画像に前記第2の画像を重畳した合成画像を生成する画像合成部と、前記合成画像を表示する表示部と、前記第1の画像の基準画素と前記第2の画像の基準画素との相対位置を示す入力を受け付ける入力部とを備え、前記入力部が前記相対位置を示す入力を受け付けると、前記画像合成部は、前記第1の画像と前記第2の画像の少なくとも一方に強調処理を行った上で、前記相対位置に基づいて、前記第1の画像に前記第2の画像を重畳した合成画像を再度合成し、前記表示部は、前記再度合成された合成画像を表示する。
【0057】
また、本開示の一態様に係る医用画像表示方法は、被検者の同一の部位から取得された、組織の構造を示す2次元画像である第1の画像と、生体の活動状態を示す2次元画像である第2の画像とを取得し、前記第1の画像に前記第2の画像を重畳した合成画像を生成して表示し、前記第1の画像の基準画素と前記第2の画像の基準画素との相対位置を示す入力を受け付けると、前記第1の画像と前記第2の画像の少なくとも一方に強調処理を行った上で、前記相対位置に基づいて、前記第1の画像に前記第2の画像を重畳した合成画像を再度合成して表示することを特徴とする。
【0058】
また、本開示の一態様に係るプログラムは、コンピュータに医用画像を表示させるプログラムであって、前記医用画像を表示する処理は、被検者の同一の部位から取得された、構造を示す断層画像である第1の画像と、生体の活動状態を示す断層画像である第2の画像とを取得し、前記第1の画像の基準画素と前記第2の画像の基準画素との相対位置を示す入力を受け付けると、前記第1の画像と前記第2の画像の少なくとも一方に強調処理を行った上で、前記相対位置に基づいて前記第1の画像に前記第2の画像を重畳した合成画像を生成することを特徴とする。
【0059】
上記医用画像表示装置、医用画像表示方法、またはプログラムによれば、第1の画像と第2の画像との重畳表示を行う場合において、第1の画像と第2の画像との位置合わせの少なくとも一方が強調された状態で表示される。したがって、視認性を向上させた状態で第1の画像と第2の画像との位置合わせを行うことができるため、ユーザーによる位置合わせが容易となる。
【0060】
(2)また、上記(1)の医用画像表示装置は、前記画像合成部は、前記表示画像を生成する際の第2の画像の不透明率が低いほど、前記第2の画像の強調処理の強調度を強くする、としてもよい。
【0061】
上記構成により、第2の画像の視認性が低いほど強調度を強くすることで、過度の強調を抑止しつつ適度な強調により視認性を向上させることができる。
【0062】
(3)また、上記(1)~(2)の医用画像表示装置は、前記第2の画像は、PET、造影CT、造影MRIのいずれかである、としてもよい。
【0063】
上記構成により、生体内の物質または反応程度の分布に基づいて生体の活動状態を評価することができる。
【0064】
(4)また、上記(1)~(3)の医用画像表示装置は、前記画像合成部は、前記表示画像を生成する際の第1の画像の不透明率が低いほど、前記第1の画像の強調処理の強調度を強くする、としてもよい。
【0065】
上記構成により、第1の画像の視認性が低いほど強調度を強くすることで、過度の強調を抑止しつつ視適度な強調により視認性を向上させることができる。
【0066】
(5)また、上記(1)~(4)の医用画像表示装置は、前記第1の画像は、CTまたはMRIから生成された断層画像、断層X線、超音波断層画像のいずれかである、としてもよい。
【0067】
上記構成により、解剖学的見地に基づいて、生体の活動状態を評価することができる。
【0068】
(6)また、上記(1)~(5)の医用画像表示装置は、前記入力部が前記相対位置関係の入力の受付を終了したとき、前記強調処理を解除する、としてもよい。
【0069】
上記構成により、位置合わせのための強調が読影の精度を低下させることを抑止することができる。
【産業上の利用可能性】
【0070】
本開示はPET画像等の機能画像を、CTやMRIの断層画像と組み合わせて読影する際に容易に位置調整をする技術として有用である。
【符号の説明】
【0071】
100 画像表示装置
110 形態画像取得部
120 機能画像取得部
130 画像合成部
140 表示制御部
150 制御部
10 形態画像データベース
20 機能画像データベース
31 表示部
32 入力部