(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-30
(45)【発行日】2023-12-08
(54)【発明の名称】医用画像処理装置、医用画像処理方法及びプログラム、医用画像表示システム
(51)【国際特許分類】
A61B 6/03 20060101AFI20231201BHJP
G06T 7/00 20170101ALI20231201BHJP
G06T 7/70 20170101ALI20231201BHJP
【FI】
A61B6/03 360Q
A61B6/03 360J
G06T7/00 616
G06T7/70 A
(21)【出願番号】P 2022505170
(86)(22)【出願日】2021-02-26
(86)【国際出願番号】 JP2021007302
(87)【国際公開番号】W WO2021177157
(87)【国際公開日】2021-09-10
【審査請求日】2022-11-21
(31)【優先権主張番号】P 2020037840
(32)【優先日】2020-03-05
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】100083116
【氏名又は名称】松浦 憲三
(74)【代理人】
【識別番号】100170069
【氏名又は名称】大原 一樹
(74)【代理人】
【識別番号】100128635
【氏名又は名称】松村 潔
(74)【代理人】
【識別番号】100140992
【氏名又は名称】松浦 憲政
(72)【発明者】
【氏名】奥野 拓馬
【審査官】亀澤 智博
(56)【参考文献】
【文献】特開2008-259622(JP,A)
【文献】特開2006-167169(JP,A)
【文献】特開2017-051591(JP,A)
【文献】米国特許出願公開第2018/0024995(US,A1)
【文献】国際公開第2005/009242(WO,A1)
【文献】米国特許出願公開第2014/0016845(US,A1)
【文献】国際公開第2010/047324(WO,A1)
【文献】特開2008-289548(JP,A)
【文献】特開2008-212396(JP,A)
【文献】特開2000-287955(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 6/00 - 6/14
G06T 1/00 , 7/00
(57)【特許請求の範囲】
【請求項1】
プロセッサに実行させるための命令を記憶するメモリと、
メモリに記憶された命令を実行するプロセッサと、
を備え、
前記プロセッサは、
被検体の第1の医用画像を表示するための信号を出力し、
前記第1の医用画像内の位置であって、ユーザから指定された位置を取得し、
前記第1の医用画像内の前記指定された位置に最も近い解剖学的特徴構造を識別し、
過去に撮影された前記被検体の第2の医用画像であって、前記識別された解剖学的特徴構造を含む第2の医用画像を取得し、
前記第1の医用画像と前記第2の医用画像との位置合わせをし、
前記位置合わせの結果を基に、前記第2の医用画像から前記識別された解剖学的特徴構造を含む領域を切り出して第2の部分領域画像を生成し、
前記第2の部分領域画像を前記第1の医用画像に重ねて表示するための信号
であって、前記第1の医用画像の前記識別された解剖学的特徴構造と前記第2の部分領域画像の前記識別された解剖学的特徴構造とが被らない位置に表示するための信号を出力する医用画像処理装置。
【請求項2】
前記プロセッサは、
前記第2の医用画像内の前記識別された解剖学的特徴構造の位置を推定し、
前記第1の医用画像内の前記識別された解剖学的特徴構造の位置と前記第2の医用画像内の前記推定された解剖学的特徴構造の位置とを用いて、前記第1の医用画像と前記第2の医用画像との位置合わせをする請求項1に記載の医用画像処理装置。
【請求項3】
前記プロセッサは、
前記第1の医用画像から前記識別された解剖学的特徴構造を含む領域を切り出して第1の部分領域画像を生成し、
前記第1の部分領域画像を前記第2の部分領域画像に並べて表示するための信号を出力する請求項1又は2に記載の医用画像処理装置。
【請求項4】
前記第1の部分領域画像と前記第2の部分領域画像は同一の大きさの画像である、請求項3に記載の医用画像処理装置。
【請求項5】
前記プロセッサは、前記第1の医用画像の前記識別された解剖学的特徴構造を含む領域を囲む枠を前記第1の医用画像に重ねて表示するための信号を出力する請求項1から4のいずれか1項に記載の医用画像処理装置。
【請求項6】
前記プロセッサは、前記第2の部分領域画像を前記枠と重ならない位置に表示するための信号を出力する、請求項5に記載の医用画像処理装置。
【請求項7】
前記プロセッサは、前記第1の医用画像と前記第2の医用画像との差分を示す差分画像を前記第1の医用画像に重ねて表示するための信号を出力する請求項1から6のいずれか1項に記載の医用画像処理装置。
【請求項8】
前記プロセッサは、第1の画質調整条件で前記第1の医用画像の画質を調整し、前記第1の画質調整条件で前記第2の医用画像の画質を調整する請求項1から7のいずれか1項に記載の医用画像処理装置。
【請求項9】
前記第1の医用画像及び前記第2の医用画像の画質の調整は、エッジを強調するシャープネス処理を含む、請求項8に記載の医用画像処理装置。
【請求項10】
前記解剖学的特徴構造は、臓器、骨、筋肉、及び病変領域のうち少なくとも1つを含む請求項1から9のいずれか1項に記載の医用画像処理装置。
【請求項11】
前記第1の医用画像と前記第2の医用画像とは、CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、PET(Positron Emission Tomography)装置、超音波診断装置、及びCR(Computed Radiography)装置のうちのいずれかの装置で撮影された画像を含む請求項1から10のいずれか1項に記載の医用画像処理装置。
【請求項12】
前記プロセッサは、前記第2の部分領域画像の一部を、前記第1の医用画像に重ねて表示するための信号を出力する、請求項1から11のいずれか1項に記載の医用画像処理装置。
【請求項13】
前記プロセッサは、第1の医用画像のうち第2の部分領域画像と解剖学的に同一の領域に被らない位置に第2の部分領域画像を表示するための信号を出力する、請求項1から12のいずれか1項に記載の医用画像処理装置。
【請求項14】
前記プロセッサは、前記第2の医用画像から前記識別された解剖学的特徴構造を含む矩形領域を切り出して第2の部分領域画像を生成する、請求項1から13のいずれか1項に記載の医用画像処理装置。
【請求項15】
請求項1から14のいずれか1項に記載の医用画像処理装置と、
取得した信号に基づいて画像を表示するディスプレイと、
前記ディスプレイに表示された画像内の位置を指定する入力装置と、
を備える医用画像表示システム。
【請求項16】
被検体の第1の医用画像を表示するための信号を出力する第1の医用画像表示工程と、
前記第1の医用画像内の位置であって、ユーザから指定された位置を取得する指定位置取得工程と、
前記第1の医用画像内の前記指定された位置に最も近い解剖学的特徴構造を識別する解剖学的特徴構造識別工程と、
過去に撮影された前記被検体の第2の医用画像であって、前記識別された解剖学的特徴構造を含む第2の医用画像を取得する第2の医用画像取得工程と、
前記第1の医用画像と前記第2の医用画像との位置合わせをする位置合わせ工程と、
前記位置合わせの結果を基に、前記第2の医用画像から前記識別された解剖学的特徴構造を含む領域を切り出して第2の部分領域画像を生成する第2の医用画像切り出し工程と、
前記第2の部分領域画像を前記第1の医用画像に重ねて表示するための信号
であって、前記第1の医用画像の前記識別された解剖学的特徴構造と前記第2の部分領域画像の前記識別された解剖学的特徴構造とが被らない位置に表示するための信号を出力する第2の医用画像表示工程と、
を備える医用画像処理方法。
【請求項17】
請求項16に記載の医用画像処理方法をコンピュータに実行させるためのプログラム。
【請求項18】
非一時的かつコンピュータ読取可能な記録媒体であって、請求項17に記載のプログラムが記録された記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は医用画像処理装置、医用画像処理方法及びプログラム、医用画像表示システムに係り、特に複数の医用画像を表示する技術に関する。
【背景技術】
【0002】
医療現場では、過去に撮影された医用画像と現在の医用画像との関心領域の経時変化を観察することが行われる。
【0003】
特許文献1には、異なる時期に撮影されたCT(Computed Tomography)画像を並列して表示させる画像表示装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に記載された装置のように、ビューア上に現在画像と過去画像とを並べて配置すると、現在画像と過去画像とのビューア上の距離が離れているため、ユーザの視線移動量が大きくなり、視認行為自体の負荷が高いという問題があった。
【0006】
本発明はこのような事情に鑑みてなされたもので、医用画像の観察時の視線移動量を低減させる医用画像処理装置、医用画像処理方法及びプログラム、医用画像表示システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために医用画像処理装置の一の態様は、プロセッサに実行させるための命令を記憶するメモリと、メモリに記憶された命令を実行するプロセッサと、を備え、プロセッサは、被検体の第1の医用画像を表示するための信号を出力し、第1の医用画像内の位置であって、ユーザから指定された位置を取得し、第1の医用画像内の指定された位置に最も近い解剖学的特徴構造を識別し、過去に撮影された被検体の第2の医用画像であって、識別された解剖学的特徴構造を含む第2の医用画像を取得し、第1の医用画像と第2の医用画像との位置合わせをし、位置合わせの結果を基に、第2の医用画像から識別された解剖学的特徴構造を含む領域を切り出して第2の部分領域画像を生成し、第2の部分領域画像を第1の医用画像に重ねて表示するための信号を出力する医用画像処理装置である。
【0008】
本態様によれば、第2の医用画像から識別された解剖学的特徴構造を含む領域を切り出して第2の部分領域画像を生成し、第2の部分領域画像を第1の医用画像に重ねて表示するための信号を出力するので、医用画像の観察時の視線移動量を低減させることができる。
【0009】
プロセッサは、第2の医用画像内の識別された解剖学的特徴構造の位置を推定し、第1の医用画像内の識別された解剖学的特徴構造の位置と第2の医用画像内の推定された解剖学的特徴構造の位置とを用いて、第1の医用画像と第2の医用画像との位置合わせをすることが好ましい。これにより、医用画像の撮影時に体動及び呼吸の動きがあった場合であっても、解剖学的特徴構造にずれのない位置合わせをすることができる。
【0010】
プロセッサは、第1の医用画像から識別された解剖学的特徴構造を含む領域を切り出して第1の部分領域画像を生成し、第1の部分領域画像を第2の部分領域画像に並べて表示するための信号を出力することが好ましい。これにより、第1の部分領域画像と第2の部分領域画像との観察時の視線移動量を低減させることができる。
【0011】
プロセッサは、第1の医用画像の識別された解剖学的特徴構造を含む領域を囲む枠を第1の医用画像に重ねて表示するための信号を出力することが好ましい。これにより、ユーザに第2の部分領域画像に対応する第1の医用画像の領域を認識させることができる。
【0012】
プロセッサは、第1の医用画像と第2の医用画像との差分を示す差分画像を第1の医用画像に重ねて表示するための信号を出力することが好ましい。これにより、ユーザに第1の医用画像と第2の医用画像との差分を認識させることができる。
【0013】
プロセッサは、第1の画質調整条件で第1の医用画像の画質を調整し、第1の画質調整条件で第2の医用画像の画質を調整することが好ましい。第1の医用画像と第2の医用画像とが同一の画質調整条件で画質が調整されることで、第1の医用画像と第2の部分領域画像との観察が容易となる。
【0014】
解剖学的特徴構造は、臓器、骨、筋肉、及び病変領域のうち少なくとも1つを含むことが好ましい。本態様は、臓器、骨、筋肉、及び病変領域の観察に好適である。
【0015】
第1の医用画像と第2の医用画像とは、CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、PET(Positron Emission Tomography)装置、超音波診断装置、及びCR(Computed Radiography)装置のうちのいずれかの装置で撮影された画像を含むことが好ましい。本態様は、CT装置、MRI装置、PET装置、超音波診断装置、及びCR装置で撮影された医用画像を用いた観察に好適である。
【0016】
上記目的を達成するために医用画像表示システムの一の態様は、上記に記載の医用画像処理装置と、取得した信号に基づいて画像を表示するディスプレイと、ディスプレイに表示された画像内の位置を指定する入力装置と、を備える医用画像表示システムである。
【0017】
本態様によれば、入力装置によって指定された第1の医用画像の位置に最も近い解剖学的特徴構造を含む領域を第2の医用画像から切り出して第2の部分領域画像を生成し、第1の医用画像に重ねてディスプレイに表示するので、医用画像の観察時の視線移動量を低減させることができる。
【0018】
上記目的を達成するために医用画像処理方法の一の態様は、被検体の第1の医用画像を表示するための信号を出力する第1の医用画像表示工程と、第1の医用画像内の位置であって、ユーザから指定された位置を取得する指定位置取得工程と、第1の医用画像内の指定された位置に最も近い解剖学的特徴構造を識別する解剖学的特徴構造識別工程と、過去に撮影された被検体の第2の医用画像であって、識別された解剖学的特徴構造を含む第2の医用画像を取得する第2の医用画像取得工程と、第1の医用画像と第2の医用画像との位置合わせをする位置合わせ工程と、位置合わせの結果を基に、第2の医用画像から識別された解剖学的特徴構造を含む領域を切り出して第2の部分領域画像を生成する第2の医用画像切り出し工程と、第2の部分領域画像を第1の医用画像に重ねて表示するための信号を出力する第2の医用画像表示工程と、を備える医用画像処理方法である。
【0019】
本態様によれば、第2の医用画像から識別された解剖学的特徴構造を含む領域を切り出して第2の部分領域画像を生成し、第2の部分領域画像を第1の医用画像に重ねて表示するための信号を出力するので、医用画像の観察時の視線移動量を低減させることができる。
【0020】
上記に記載の医用画像処理方法の各工程をコンピュータに実行させるプログラム、及びそのプログラムを記録したコンピュータ読み取り可能な非一時的記録媒体も本態様に含まれる。
【発明の効果】
【0021】
本発明によれば、医用画像の観察時の視線移動量を低減させることができる。
【図面の簡単な説明】
【0022】
【
図1】
図1は、従来の医用画像の比較表示例を示す図である。
【
図2】
図2は、本実施形態に係る医用画像表示システムのブロック図である。
【
図3】
図3は、医用画像内の解剖学的特徴構造の抽出領域データの保存方法の処理を示すフローチャートである。
【
図4】
図4は、医用画像表示方法の処理を示すフローチャートである。
【
図5】
図5は、本実施形態に係る医用画像の比較表示例を示す図である。
【
図6】
図6は、腫瘍が指定された場合の医用画像の比較表示例を示す図である。
【発明を実施するための形態】
【0023】
以下、添付図面に従って本発明の好ましい実施形態について詳説する。
【0024】
<従来の画像表示>
図1は、従来の医用画像の比較表示例を示す図である。
図1に示す例では、被検体の現在の医用画像である現在画像I
1と、現在画像I
1に対応する同一被検体の過去画像I
2とが、左右に並べて表示されている。
【0025】
医師等のユーザは、
図1に示すように表示された現在画像I
1と過去画像I
2とを比較することで、解剖学的特徴構造等の関心領域の経過を観察することができる。
【0026】
しかしながら、
図1に示すように現在画像と過去画像とを表示すると、関心領域を観察する際のユーザの視線移動量が大きいという問題点があった。
【0027】
<医用画像表示システムの構成>
本実施形態に係る医用画像表示システムの構成について説明する。
図2は、医用画像表示システム10のブロック図である。
図2に示すように、医用画像表示システム10は、医用画像処理装置12と、医用画像保管装置18と、医用画像ビューア装置20とを備える。
【0028】
医用画像処理装置12は、例えば病院内にて使用されるコンピュータである。医用画像処理装置12は、プロセッサ14と、メモリ16とを備える。
【0029】
メモリ16は、プロセッサ14に実行させるための命令を記憶する。医用画像処理装置12は、プロセッサ14が、メモリ16から読み出した命令を含むプログラムを実行することにより、画像処理機能と、臓器認識機能と、表示画像生成機能とを含む各種機能が実現される。
【0030】
医用画像保管装置18は、医用画像を記憶する大容量ストレージを含む。医用画像保管装置18には、DICOM(Digital Imaging and Communication in Medicine)規格で規定された付帯情報が付加された医用画像が保管される。
【0031】
医用画像ビューア装置20は、ユーザが医用画像を観察するための装置である。医用画像ビューア装置20は、ディスプレイ22と、入力装置24とを含む。
【0032】
ディスプレイ22は、医用画像処理装置12から取得した信号に基づいて画像を表示する表示装置である。ディスプレイ22には、医用画像保管装置18に保管された医用画像が表示される。
【0033】
入力装置24は、ディスプレイ22に表示された画像に対して、ユーザが所望の位置を指定する装置である。入力装置24は、例えばポインタの移動及びクリック操作を行うための不図示のマウスを備える。
【0034】
医用画像表示システム10は、病院内ネットワーク26に接続される。
【0035】
病院内ネットワーク26は、例えばLAN(Local Area Network)によって実現される。医用画像表示システム10は、病院内ネットワーク26を介してCT(Computed Tomography)撮影装置28と、MRI(Magnetic Resonance Imaging)撮影装置30とに接続されている。病院内ネットワーク26には、PET(Positron Emission Tomography)装置、超音波診断装置、又はCR(Computed Radiography)装置等が接続されていてもよい。
【0036】
<解剖学的特徴構造の抽出領域データの保存方法>
図3は、医用画像内の解剖学的特徴構造の抽出領域データの保存方法の処理を示すフローチャートである。
【0037】
解剖学的特徴構造は、例えば臓器、骨、筋肉、及び病変領域等の体内のランドマークとなる部位及び領域である。臓器とは、脳、心臓、肺、胃、腸、膵臓、右腎臓、左腎臓、脾臓、及び肝臓等を含む。骨とは、脊柱を含む。脊柱とは、頸椎、胸椎、及び腰椎を含む。筋肉とは、脊柱直立筋、側筋、腹直筋、大腰筋、及び腰方形筋等を含む。病変領域とは、出血領域及び腫瘍領域を含む。
【0038】
いずれの解剖学的特徴構造も経過観察が必要になるケースがあり得るため、あらゆる解剖学的特徴構造が対象となる。なお、医用画像処理装置12は、解剖学的特徴構造のうち少なくとも1つを抽出すればよい。
【0039】
ステップS1では、医用画像処理装置12は、医用画像の受信待ち状態である。
【0040】
CT撮影装置28が3次元CT画像を撮影すると、撮影された3次元CT画像は病院内ネットワーク26を介して医用画像処理装置12に送信される。同様に、MRI撮影装置30が3次元MRI画像を撮影すると、撮影された3次元MRI画像は病院内ネットワーク26を介して医用画像処理装置12に送信される。
【0041】
ステップS2では、医用画像処理装置12は、CT撮影装置28及びMRI撮影装置30から送信された3次元画像を医用画像として受信する。
【0042】
ステップS3では、医用画像処理装置12は、受信した医用画像の撮影部位を判定する。医用画像処理装置12は、パターンマッチング等の公知の画像認識処理によって撮影部位を判定する。医用画像処理装置12は、学習済みの機械学習モデルを用いて撮影部位を判定してもよい。
【0043】
ステップS4では、医用画像処理装置12は、ステップS3で判定した撮影部位に応じた解剖学的特徴構造の抽出処理に振り分ける。
【0044】
ステップS3で判定した撮影部位が腹部である場合は、医用画像処理装置12は、ステップS5で医用画像から肝臓領域を抽出し、ステップS6で医用画像から腎臓領域を抽出する。
【0045】
ステップS3で判定した撮影部位が胸部である場合は、医用画像処理装置12は、ステップS7で医用画像から肺領域を抽出し、ステップS8で医用画像から心臓領域を抽出し、ステップS9で医用画像から肋骨領域を抽出する。
【0046】
ステップS3で判定した撮影部位が頭部である場合は、医用画像処理装置12は、ステップS10で医用画像から脳領域を抽出し、ステップS11で医用画像から出血領域を抽出する。
【0047】
医用画像処理装置12は、学習済みの機械学習モデルを用いてそれぞれの解剖学的特徴構造の抽出処理を行う。解剖学的特徴構造の抽出処理を終えたら、医用画像処理装置12は、次にステップS12の処理を行う。
【0048】
ステップS12では、医用画像処理装置12は、抽出した領域の抽出領域データを医用画像と関連付けて、抽出した領域の種類ごとに医用画像保管装置18に保存する。
【0049】
以上で、医用画像処理装置12は、解剖学的特徴構造の抽出領域データの保存方法の処理を終了する。
【0050】
<医用画像表示方法>
本実施形態に係る医用画像表示方法について説明する。なお、本実施形態において現在画像とは、例えば被検体を撮影した医用画像の中で撮影日時が最も新しい医用画像であり、画像が表示されている時点を現在とするものに限られない。また、過去画像とは、例えば現在画像と同じ被検体を撮影した医用画像であって、現在画像よりも撮影日時が古い医用画像である。本実施形態は、撮影した時点がそれぞれ異なる第1の医用画像と第2の医用画像とを表示できればよく、過去画像とそれよりも古い過去画像とを表示してもよい。
【0051】
図4は、医用画像表示方法の処理を示すフローチャートである。
【0052】
最初に、ステップS21(第1の医用画像表示工程の一例)では、ユーザは、医用画像ビューア装置20の入力装置24を用いて、被検体の現在画像を指定する。医用画像処理装置12は、入力装置24からの入力に従って、医用画像保管装置18から指定された現在画像を読み出し、指定された現在画像を表示するための信号を医用画像ビューア装置20に出力する。医用画像ビューア装置20は、この信号を取得し、取得した信号に基づいて指定された現在画像をディスプレイ22に表示させる。
【0053】
ステップS22(指定位置取得工程の一例)では、ユーザは、医用画像ビューア装置20の入力装置24を用いて、ディスプレイ22に表示された現在画像内の位置を指定する。ここでは、ユーザは、マウスを用いて所望の位置にマウスカーソルを移動させ、マウスダウン及びドラッグ操作を行うことで、現在画像のうち経過観察をしたい関心位置を指定する。医用画像処理装置12は、現在画像内の指定された関心位置を取得する。
【0054】
ステップS23(解剖学的特徴構造識別工程)では、医用画像処理装置12は、現在画像内のステップS22で指定された関心位置に解剖学的に最も近い臓器(解剖学的特徴構造の一例)を識別する。
【0055】
図3を用いて説明したように、医用画像保管装置18に保管された医用画像には、予め臓器を含む解剖学的特徴構造の抽出領域データが関連付けられている。したがって、医用画像処理装置12は、この抽出領域データを用いることで、指定された関心位置に解剖学的に最も近い臓器を識別することができる。なお、指定された関心位置に解剖学的に最も近い臓器が複数ある場合には、予め定められた優先順位の高い臓器を選択してもよい。
【0056】
ステップS24(第2の医用画像取得工程の一例)では、医用画像処理装置12は、ディスプレイ22に表示されている現在画像と同じ被検体の過去画像であって、現在画像と類似する過去画像を特定し、医用画像保管装置18から取得する。ここでは、ステップS23で識別された臓器を含む過去画像を特定する。医用画像処理装置12は、医用画像に関連付けられた解剖学的特徴構造の抽出領域データを用いることで、ステップS23で識別された臓器を含む過去画像を取得することができる。
【0057】
ステップS25(位置合わせ工程の一例)では、医用画像処理装置12は、ステップS23で識別された臓器の3次元的位置を基に、現在画像と過去画像との位置合わせをする。ここでは、医用画像処理装置12は、現在画像内のステップS23で識別された臓器の位置と、過去画像内のステップS23で識別された臓器の位置とを推定する。さらに、医用画像処理装置12は、現在画像内の臓器の位置と過去画像内の臓器の位置とを用いて、位置合わせをする。
【0058】
ステップS23で識別された臓器が肝臓及び肺等の非剛体の臓器の場合は、現在画像と過去画像とで非剛体位置合わせを行い、切り出す過去画像の位置精度を上げることが好ましい。非剛体位置合わせは、公知の手法を用いることができる。
【0059】
なお、現在画像のサイズと過去画像のサイズとが異なる場合は、過去画像のサイズを現在画像のサイズにリサイズしてから位置合わせをすればよい。
【0060】
ステップS26(第2の医用画像切り出し工程の一例)では、医用画像処理装置12は、ステップS25における位置合わせの結果を基に、過去画像からステップS23で識別された解剖学的特徴構造を含む領域を切り出して過去部分領域画像(第2の部分領域画像の一例)を生成する。ここでは、医用画像処理装置12は、過去画像から現在画像のステップS22で指定された関心位置と解剖学的に同一位置が中心となる関心領域を切り出して、過去部分領域画像を生成する。
【0061】
ステップS27では、医用画像処理装置12は、現在画像に適用した画質調整条件である第1の画質調整条件を適用して、過去部分領域画像の画質を調整する。画質調整処理は、例えば入力画像における輝度値の階調を異なる階調に変換する階調変換処理と、エッジを強調するシャープネス処理とを含んでもよい。
【0062】
なお、医用画像処理装置12は、第1の画質調整条件を適用して過去画像の画質を調整してから、過去部分領域画像を生成してもよい。
【0063】
また、医用画像処理装置12は、現在画像に画質調整処理が施されていない場合に、第1の画質調整条件で現在画像の画質を調整し、同一の第1の画質調整条件で過去部分領域画像の画質を調整してもよい。
【0064】
ステップS28(第2の医用画像表示工程の一例)では、医用画像処理装置12は、ステップS26で生成した過去部分領域画像を現在画像にオーバーラップさせて表示するための信号を出力する。医用画像ビューア装置20は、この信号を取得してディスプレイ22に画像を表示させる。これにより、医用画像ビューア装置20のディスプレイ22には、現在画像に重ねて過去部分領域画像が表示される。過去部分領域画像は、現在画像のうち、ステップS26で生成された過去部分領域画像と解剖学的に同一の関心領域に被らない位置に重ねて表示されることが好ましい。過去部分領域画像を配置する位置をマウスで指定してもよい。
【0065】
ステップS29では、医用画像処理装置12は、現在画像からステップS23で識別された解剖学的特徴構造を含む領域を切り出して現在部分領域画像(第1の部分領域画像の一例)を生成する。ここでは、医用画像処理装置12は、ステップS26で生成された過去部分領域画像と解剖学的に同一の関心領域を切り出す。
【0066】
ステップS30では、医用画像処理装置12は、ステップS29で生成した現在部分領域画像を現在画像にオーバーラップさせ、かつ過去部分領域画像と並べて表示するための信号を出力する。医用画像ビューア装置20は、この信号を取得してディスプレイ22に画像を表示させる。これにより、医用画像ビューア装置20のディスプレイ22には、現在画像に重ねて過去部分領域画像と現在部分領域画像とが並べて表示される。現在部分領域画像は、過去部分領域画像と同様に、現在画像の関心領域に被らない位置に表示されることが好ましい。
【0067】
ステップS31では、医用画像処理装置12は、ディスプレイ22に表示された現在画像のうちステップS29で生成した現在部分領域画像に対応する関心領域を囲む枠を現在画像にオーバーラップ表示するための信号を出力する。医用画像ビューア装置20は、この信号を取得してディスプレイ22に画像を表示させる。これにより、医用画像ビューア装置20のディスプレイ22には、現在画像に重ねて現在部分領域画像の範囲を示す枠が表示される。
【0068】
ステップS32では、医用画像処理装置12は、ディスプレイ22に表示された現在画像とステップS24で取得した過去画像との差分画像を生成し、生成した差分画像を現在画像にオーバーラップ表示するための信号を出力する。医用画像ビューア装置20は、この信号を取得してディスプレイ22に画像を表示させる。これにより、医用画像ビューア装置20のディスプレイ22には、現在画像に重ねて差分画像が表示される。
【0069】
差分画像は、例えば、差分領域について現在画像と明度、彩度、色相のうちの少なくとも1つを変更した画像であればよい。
【0070】
以上で、医用画像処理装置12は、医用画像表示方法の処理を終了する。なお、マウスドラッグ操作に合わせて上記の処理を繰り返し実施することで、シームレスに関心領域を移動させつつ同時に過去画像との比較表示を行うことができる。
【0071】
図5は、本実施形態に係る医用画像の比較表示例を示す図である。
図5に示すように、医用画像ビューア装置20のディスプレイ22には、現在画像I
11と、現在画像I
11から生成された現在部分領域画像I
12と、現在画像I
11に対応する過去画像から生成された過去部分領域画像I
13と、現在画像I
11と対応する過去画像との差分画像I
14と、現在画像I
11の関心領域を囲む枠Fとが表示される。ここでは枠Fは破線で構成されているが、枠Fの色や線種は適宜選択すればよい。
【0072】
現在画像I11は、ディスプレイ22の中央に表示される。現在部分領域画像I12と過去部分領域画像I13とは、現在画像I11に重ねて、並べて表示される。なお、現在部分領域画像I12と過去部分領域画像I13とは、枠Fと重ならない位置に表示される。
【0073】
また、現在画像I
11には、差分画像I
14が重ねて表示される。差分画像I
14は、現在画像I
11と対応する過去画像との骨領域の差分画像である。即ち、
図5に示す例は、骨差分表示が行われている。
【0074】
図5に示した骨差分表示では、現在画像I
11に差分画像I
14がオーバーレイ表示されるため、過去部分領域画像I
13だけでなく、オーバーレイ表示を排除した現在部分領域画像I
12を表示することが好ましい。
図5に示す例では、同一の関心領域の3つの画像を同時に、かつ隣接させて表示することで、観察の際の視線移動量を低減させている。
【0075】
ここでは、現在画像と、現在部分領域画像と、過去部分領域画像と、差分画像と、枠とを全て表示したが、適宜必要な情報のみを表示させてもよい。
【0076】
過去画像が複数存在する場合に、過去画像を並べて表示してもよい。また、過去画像が複数存在する場合に、マウスのホイール操作、右クリック操作、及びキー操作のうちの少なくとも1つで過去画像を切り替えることで、過去画像の数に関わらず一定の表示領域で経過観察をスムーズに行えるようにしてもよい。
【0077】
過去から現在までの検査で腫瘍登録が行われている場合(腫瘍トラッキング)には、現在画像で任意の腫瘍を指定した際に、過去画像の同一腫瘍付近を切り出し、現在画像にオーバーラップさせて表示させることが考えられる。
【0078】
図6は、腫瘍が指定された場合の医用画像の比較表示例を示す図である。
図6に示すように、医用画像ビューア装置20のディスプレイ22には、現在画像I
21が表示されている。この現在画像I
21には、腫瘍領域R
1が含まれている。
【0079】
現在画像I21から腫瘍領域R1が関心位置として指定されると、医用画像処理装置12は、指定された腫瘍領域R1に対応する腫瘍領域を含む過去画像を医用画像保管装置18から取得する。また、医用画像処理装置12は、現在画像I21と過去画像との位置合わせ後に、過去画像から過去部分領域画像I22を生成する。さらに、医用画像処理装置12は、過去部分領域画像I22を現在画像I21に重ねて表示するための信号を出力する。
【0080】
その結果、
図6に示すように、ディスプレイ22には、過去部分領域画像I
22が現在画像I
21に重ねて表示される。過去部分領域画像I
22には、腫瘍領域R
1に対応する腫瘍領域R
2が含まれている。
【0081】
このように医用画像を表示させることで、ユーザによる腫瘍領域の観察の際の視線移動量を低減させることができる。
【0082】
また、
図6に示す例では、腫瘍領域R
1の情報T
1が現在画像I
21に重ねて表示されている。同様に、腫瘍領域R
2の情報T
2が過去部分領域画像I
22に重ねて表示されている。情報T
1と情報T
2とは、それぞれ腫瘍R
1とR
2との面積、長径、平均値、最大値、及び最小値を含んでいる。これらの情報は、医用画像と関連付けられて医用画像保管装置18に保管されている。このように腫瘍の情報を表示させることで、腫瘍の経過観察を適切に行わせることができる。
【0083】
<その他>
本実施形態では、入力装置24としてマウスを使用したが、キーボード、タッチパネル、タッチパッド、トラックボール、及びジョイスティック等であってもよい。
【0084】
上記の医用画像処理方法は、各工程をコンピュータに実現させるためのプログラムとして構成し、このプログラムを記憶したCD-ROM(Compact Disk-Read Only Memory)等の非一時的な記録媒体を構成することも可能である。
【0085】
プロセッサ14には、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、画像処理に特化したプロセッサであるGPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【0086】
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種又は異種の2つ以上のプロセッサ(例えば、複数のFPGA、或いはCPUとFPGAの組み合わせ、又はCPUとGPUの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、サーバ及びクライアント等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、各種のプロセッサを1つ以上用いて構成される。
【0087】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)である。
【0088】
本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
【符号の説明】
【0089】
10…医用画像表示システム
12…医用画像処理装置
14…プロセッサ
16…メモリ
18…医用画像保管装置
20…医用画像ビューア装置
22…ディスプレイ
24…入力装置
26…病院内ネットワーク
28…CT撮影装置
30…MRI撮影装置
S1~S12…解剖学的特徴構造の抽出領域データの保存方法の処理のステップ
S21~S32…医用画像表示方法の処理のステップ