(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024039384
(43)【公開日】2024-03-22
(54)【発明の名称】画像処理プログラム、画像処理方法および画像処理装置
(51)【国際特許分類】
A61B 6/50 20240101AFI20240314BHJP
A61B 6/03 20060101ALI20240314BHJP
【FI】
A61B6/03 375
A61B6/03 360J
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2022143900
(22)【出願日】2022-09-09
(71)【出願人】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110002918
【氏名又は名称】弁理士法人扶桑国際特許事務所
(72)【発明者】
【氏名】山口 達也
(72)【発明者】
【氏名】石原 正樹
(72)【発明者】
【氏名】馬場 孝之
【テーマコード(参考)】
4C093
【Fターム(参考)】
4C093AA22
4C093AA24
4C093AA26
4C093CA18
4C093FD09
4C093FF17
4C093FF19
4C093FF32
(57)【要約】
【課題】複数の医用画像を用いて病変領域を高精度に検出する。
【解決手段】処理部2は、人体の同一部位を異なる撮影条件で撮影した医用画像3a~3cのそれぞれから、所定の臓器領域を抽出する。処理部2は、医用画像3a~3cのそれぞれについて、臓器領域における画素値の分布状態に基づいて、所定の病変を検出するための閾値TH1~TH3を設定する。処理部2は、医用画像3a~3cのそれぞれについて、対応する閾値と画素値との比較結果を算出する。処理部2は、医用画像3a~3cのそれぞれに対応する比較結果に基づいて所定の病変の画像領域を検出する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
コンピュータに、
人体の同一部位を異なる撮影条件で撮影した複数の医用画像のそれぞれから、所定の臓器領域を抽出し、
前記複数の医用画像のそれぞれについて、前記臓器領域における画素値の分布状態に基づいて、所定の病変を検出するための閾値を設定し、
前記複数の医用画像のそれぞれについて、対応する前記閾値と画素値との比較結果を算出し、
前記複数の医用画像のそれぞれに対応する前記比較結果に基づいて前記所定の病変の画像領域を検出する、
処理を実行させる画像処理プログラム。
【請求項2】
前記閾値の設定では、前記複数の医用画像のそれぞれについて、前記臓器領域における画素値の中央値を基準として前記閾値を設定する、
請求項1記載の画像処理プログラム。
【請求項3】
前記複数の医用画像には、造影剤を注入してから時間経過にしたがって複数回撮影することで得られた2以上の医用画像が含まれる、
請求項1記載の画像処理プログラム。
【請求項4】
前記複数の医用画像には、強調して表示される組織がそれぞれ異なる2以上の医用画像が含まれる、
請求項1記載の画像処理プログラム。
【請求項5】
前記所定の病変の画像領域は、前記複数の医用画像のそれぞれにおける同一画素での前記比較結果の組み合わせに基づいて検出される、
請求項1記載の画像処理プログラム。
【請求項6】
コンピュータが、
人体の同一部位を異なる撮影条件で撮影した複数の医用画像のそれぞれから、所定の臓器領域を抽出し、
前記複数の医用画像のそれぞれについて、前記臓器領域における画素値の分布状態に基づいて、所定の病変を検出するための閾値を設定し、
前記複数の医用画像のそれぞれについて、対応する前記閾値と画素値との比較結果を算出し、
前記複数の医用画像のそれぞれに対応する前記比較結果に基づいて前記所定の病変の画像領域を検出する、
画像処理方法。
【請求項7】
人体の同一部位を異なる撮影条件で撮影した複数の医用画像のそれぞれから、所定の臓器領域を抽出し、
前記複数の医用画像のそれぞれについて、前記臓器領域における画素値の分布状態に基づいて、所定の病変を検出するための閾値を設定し、
前記複数の医用画像のそれぞれについて、対応する前記閾値と画素値との比較結果を算出し、
前記複数の医用画像のそれぞれに対応する前記比較結果に基づいて前記所定の病変の画像領域を検出する、処理部、
を有する画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理プログラム、画像処理方法および画像処理装置に関する。
【背景技術】
【0002】
各種疾患の診断には、CT(Computed Tomography)やMRI(Magnetic Resonance Imaging)などによる医用画像が広く用いられている。医用画像を用いた画像診断では、医師は多数の画像を読影しなければならず、医師の負担が大きい。そのため、医師の診断作業をコンピュータによって何らかの形で支援する技術が求められている。
【0003】
医用画像を用いた診断支援技術として、次のような提案がある。例えば、放射線画像データを基に二値化のための閾値を段階的に変化させることで複数の二値化画像を生成し、各二値化画像に対するラベリング処理の結果に基づいて異常陰影候補領域を検出する検出装置が提案されている。また、医用画像データに対して閾値を用いて関心領域を設定するシステムも提案されている。
【0004】
さらに、造影剤を用いたダイナミック検査に関して、造影剤の注入前後にわたって撮影された診断画像における各画素信号の上昇率に基づいて、造影効果を計測する関心領域を診断画像に設定する画像診断装置が提案されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2004-222776号公報
【特許文献2】米国特許出願公開第2019/0347788号明細書
【特許文献3】特開2015-181763号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、医用画像を用いた検査方法の一例として、人体の同一部位を異なる撮影条件で撮影した複数の医用画像を用いる方法がある。例えば、上記のダイナミック検査では、造影剤の注入から時間経過にしたがって複数回撮影することで、複数の医用画像が取得される。このような検査方法では、撮影された各医用画像に対して閾値が設定され、画素値と閾値との比較結果に基づいて病変領域が検出される。
【0007】
しかし、医用画像の撮影では、撮影機器の違いや撮影設定の違い、被験者の状態などの影響によって画素値が変化し得る。このため、病変検出のための閾値を固定的に設定した場合には、上記の影響によって正確な検出ができない場合がある。特に、異なる撮影条件で撮影した複数の医用画像を用いる検査方法では、上記の影響を考慮しながら各医用画像に対して個別に適切な閾値を設定しなければ、正確な検出を行うことが難しい。
【0008】
1つの側面では、本発明は、複数の医用画像を用いて病変領域を高精度に検出可能な画像処理プログラム、画像処理方法および画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
1つの案では、コンピュータに、人体の同一部位を異なる撮影条件で撮影した複数の医用画像のそれぞれから、所定の臓器領域を抽出し、複数の医用画像のそれぞれについて、臓器領域における画素値の分布状態に基づいて、所定の病変を検出するための閾値を設定し、複数の医用画像のそれぞれについて、対応する閾値と画素値との比較結果を算出し、複数の医用画像のそれぞれに対応する比較結果に基づいて所定の病変の画像領域を検出する、処理を実行させる画像処理プログラムが提供される。
【0010】
また、1つの案では、上記の画像処理プログラムに基づく処理と同様の処理をコンピュータが実行する画像処理方法が提供される。
されに、1つの案では、上記の画像処理プログラムに基づく処理と同様の処理を実行する画像処理装置が提供される。
【発明の効果】
【0011】
1つの側面では、複数の医用画像を用いて病変領域を高精度に検出できる。
【図面の簡単な説明】
【0012】
【
図1】第1の実施の形態に係る画像処理装置の構成例および処理例を示す図である。
【
図2】第2の実施の形態に係る診断支援システムの構成例を示す図である。
【
図3】診断支援装置のハードウェア構成例を示す図である。
【
図4】EOB造影剤を用いたMRI検査について説明するための図である。
【
図5】診断支援装置が備える処理機能の構成例を示す図である。
【
図6】診断支援装置による病変検出処理全体の手順を示すフローチャートの例である。
【
図7】肝臓領域の抽出処理手順を示すフローチャートの例である。
【
図8】肝臓領域を特定するための閾値判定例を示す図である。
【
図9】閾値設定処理の手順を示すフローチャートの例である。
【
図11】閾値を用いたマスク画像の生成について説明するための図である。
【
図12】癌を検出するための論理演算の例を示す図である。
【
図13】良性病変を検出するための論理演算の例を示す図である。
【
図15】検出結果の画面表示例を示す第1の図である。
【
図16】検出結果の画面表示例を示す第2の図である。
【
図17】検出結果の画面表示例を示す第3の図である。
【
図18】検出結果の画面表示例を示す第4の図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施の形態について図面を参照して説明する。
〔第1の実施の形態〕
図1は、第1の実施の形態に係る画像処理装置の構成例および処理例を示す図である。
図1に示す画像処理装置1は、医用画像から所定の病変の領域を検出する装置である。この画像処理装置1は、処理部2を有する。処理部2は、例えばプロセッサである。この場合、処理部2による以下の処理は、例えば、プロセッサが所定のプログラムを実行することで実現される。
【0014】
処理部2は、人体の同一部位を異なる撮影条件で撮影した複数の医用画像を取得する。これらの複数の医用画像は、例えば、CTやMRIによる断層画像である。この場合、複数の医用画像は、人体における同一断面の断層画像となる。
【0015】
また、これらの複数の医用画像には、例えば、異なる時刻に撮影された2以上の医用画像が含まれる。一例として、造影剤が注入されてから時間経過にしたがって複数回撮影することで得られた複数の医用画像が含まれる。また、複数の医用画像には、例えば、強調して表示される組織がそれぞれ異なる2以上の医用画像が含まれてもよい。
【0016】
図1の例では、このような複数の医用画像として、3つの医用画像3a~3cが取得されたとする。処理部2は、医用画像3a~3cのそれぞれから、所定の臓器領域を抽出する(ステップS1)。
図1に示す画像4a~4cは、医用画像3a~3cのそれぞれについて、臓器領域以外の領域を黒色(画素値「0」)で表したものである。なお、医用画像3a~3cは同一部位を撮影した画像であるので、医用画像3a~3cからは同一の領域が臓器領域として抽出される。
【0017】
次に、処理部2は、医用画像3a~3cのそれぞれについて、臓器領域における画素値の分布状態に基づいて、上記の病変の画像領域を検出するための閾値を設定する(ステップS2)。これにより、医用画像3a,3b,3cに対してそれぞれ個別の閾値TH1,TH2,TH3が設定される。
【0018】
次に、処理部2は、医用画像3a~3cのそれぞれについて、対応する閾値TH1~TH3と画素値との比較結果を算出する(ステップS3)。例えば、医用画像3aの臓器領域の画素値が閾値TH1以上、かつ、医用画像3bの臓器領域の画素値が閾値TH2未満、かつ、医用画像3cの臓器領域の画素値が閾値TH3以上の画素が、上記の病変の領域であると判定されるとする。
【0019】
この場合、処理部2は、医用画像3aの臓器領域から画素値が閾値TH1以上の領域を特定する。
図1では、該当する領域を白色で表し、その他の領域を黒色で表した画像5aが生成されたとする。また、処理部2は、医用画像3bの臓器領域から画素値が閾値TH2未満の領域を特定する。
図1では、該当する領域を白色で表し、その他の領域を黒色で表した画像5bが生成されたとする。さらに、処理部2は、医用画像3cの臓器領域から画素値が閾値TH3以上の領域を特定する。
図1では、該当する領域を白色で表し、その他の領域を黒色で表した画像5cが生成されたとする。
【0020】
次に、処理部2は、ステップS3で得られた各比較結果に基づいて、病変の画像領域を検出する(ステップS4)。画像5a~5cが用いられる場合、例えば、画像5a~5cのAND(論理積)演算を行うことで病変の画像領域を特定できる。
図1に示す画像6は、病変の画像領域を白色で表し、その他の領域を黒色で表したものである。
【0021】
以上の処理では、医用画像3a~3cのそれぞれについて、臓器領域における画素値の分布状態に基づいて閾値が個別に設定される。これにより、撮影機器の違いや撮影設定の違い、被験者の状態などの影響によらず、医用画像3a~3cのそれぞれに対して適切な閾値を動的に設定できる。そして、このような閾値を用いることで、病変領域を高精度に検出できる。
【0022】
〔第2の実施の形態〕
次に、造影剤を用いたダイナミック検査が行われるシステムについて説明する。
図2は、第2の実施の形態に係る診断支援システムの構成例を示す図である。
図2に示す診断支援システムは、MRI撮影による画像診断作業(読影作業)を支援するシステムであり、診断支援装置100、MRI装置210および端末装置220を含む。なお、診断支援装置100は、
図1に示した画像処理装置1の一例である。
【0023】
MRI装置210は、人体のMR画像を撮影する。本実施の形態では、MRI装置210は、肝臓を含む腹部領域におけるアキシャル面の断層画像を、人体の高さ方向(アキシャル面に垂直な方向)に対する位置を所定間隔で変えながら所定枚数撮影する。また、本実施の形態では、MRI装置210は、ガドキセト酸ナトリウム(Gd-EOB-DTPA,EOB:Ethoxybenzyl,DTPA:Diethylenetriamine Penta-acetic Acid)を有効成分とする肝臓用造影剤を用いた撮影を行うものとする。以下、この造影剤を「EOB造影剤」と記載する。
【0024】
診断支援装置100は、MRI装置210によって撮影された各断層画像から、画素値に対する閾値判定によって特定の病変領域を検出する。本実施の形態では、特定の病変として肝臓癌の領域が検出される。また、肝臓癌と誤診断されやすい良性病変(具体的には嚢胞および血管腫)の領域も検出される。
【0025】
端末装置220は、撮影された断層画像を読影するユーザ(通常は読影医)によって操作される端末装置であり、表示装置が接続されている。端末装置220は、読影医の操作に応じて病変検出対象の断層画像を診断支援装置100に指定し、診断支援装置100による病変の検出結果を示す情報を表示装置に表示させる。
【0026】
図3は、診断支援装置のハードウェア構成例を示す図である。診断支援装置100は、例えば、
図3に示すようなハードウェア構成のコンピュータとして実現される。
図3に示すように、診断支援装置100は、プロセッサ101、RAM(Random Access Memory)102、HDD(Hard Disk Drive)103、GPU(Graphics Processing Unit)104、入力インタフェース(I/F)105、読み取り装置106および通信インタフェース(I/F)107を備える。
【0027】
プロセッサ101は、診断支援装置100全体を統括的に制御する。プロセッサ101は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)またはPLD(Programmable Logic Device)である。また、プロセッサ101は、CPU、MPU、DSP、ASIC、PLDのうちの2以上の要素の組み合わせであってもよい。なお、プロセッサ101は、
図1に示した処理部2の一例である。
【0028】
RAM102は、診断支援装置100の主記憶装置として使用される。RAM102には、プロセッサ101に実行させるOS(Operating System)プログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、RAM102には、プロセッサ101による処理に必要な各種データが格納される。
【0029】
HDD103は、診断支援装置100の補助記憶装置として使用される。HDD103には、OSプログラム、アプリケーションプログラム、および各種データが格納される。なお、補助記憶装置としては、SSD(Solid State Drive)などの他の種類の不揮発性記憶装置を使用することもできる。
【0030】
GPU104には、表示装置104aが接続されている。GPU104は、プロセッサ101からの命令にしたがって、画像を表示装置104aに表示させる。表示装置104aとしては、液晶ディスプレイや有機EL(Electroluminescence)ディスプレイなどがある。
【0031】
入力インタフェース105には、入力装置105aが接続されている。入力インタフェース105は、入力装置105aから出力される信号をプロセッサ101に送信する。入力装置105aとしては、キーボードやポインティングデバイスなどがある。ポインティングデバイスとしては、マウス、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。
【0032】
読み取り装置106には、可搬型記録媒体106aが脱着される。読み取り装置106は、可搬型記録媒体106aに記録されたデータを読み取ってプロセッサ101に送信する。可搬型記録媒体106aとしては、光ディスク、半導体メモリなどがある。
【0033】
通信インタフェース107は、ネットワークを介して、MRI装置210や端末装置220などの他の装置との間でデータの送受信を行う。
以上のようなハードウェア構成によって、診断支援装置100の処理機能を実現することができる。
【0034】
図4は、EOB造影剤を用いたMRI検査について説明するための図である。EOB造影剤を用いたMRI検査では、時間経過にしたがって複数回の撮影が行われる。
具体的には、まず、EOB造影剤の注入前に造影前画像が撮影される。次に、EOB造影剤が注入された後、EOB造影剤が移動していく様子を可視化するダイナミック相の画像が撮影される。ダイナミック相の画像としては、動脈相の画像(動脈相画像)、門脈相の画像(門脈相画像)、後期相の画像(後期相画像)が順に撮影される。これらのダイナミック相の画像は、例えば、EOB造影剤の注入から1分程度の間に撮影される。
【0035】
その後、EOB造影剤が肝細胞に十分取り込まれるまでの間に、T2強調画像および拡散強調画像が撮影される。これらの強調画像は、後述する肝細胞造影相画像を含む他の種類の画像と比較して、強調して表示される組織が異なる画像であり、EOB造影剤の影響を受けない。そして、EOB造影剤が肝細胞に取り込まれるのに十分な時間(例えば、造影剤注入から15分程度)が経過すると、肝細胞造影相の画像(肝細胞造影相画像)が撮影される。
【0036】
このようにして、EOB造影剤の注入時を基準とした撮影時刻や、画像上で強調される組織の違いなど、撮影条件が異なる7種類の画像が撮影される。これにより、同一断面(同一スライス)について7種類の断層画像が撮影されることになる。読影医は、同一断面についての種類の異なる複数の断層画像を比較しながら、病変領域を特定していくことになる。本実施の形態において、診断支援装置100は、同一断面についての複数種類の断層画像のそれぞれに対して閾値判定を行い、判定結果の組み合わせに基づいて、前述した肝臓癌の領域や良性病変の領域を検出する。これにより、読影医による画像診断作業を支援する。
【0037】
ところで、MRI装置210による撮影では、印加する磁場などの機器設定に応じて得られる信号値も変化し得る。例えば、MRI装置210の機種が異なれば得られる信号も変化し得るし、同じ機種でも撮影時の設定の違いによって得られる信号が変化し得る。このため、同じ種類の断層画像でも、このような機器設定によって断層画像上の画素値も変化し得る。また、機器設定が同じであっても被験者の状態によって断層画像上の画素値が変化し得る。
【0038】
このため、診断支援装置100が、MRI装置210から取得した同じ種類の断層画像に対して固定的な閾値を用いて病変の有無を検出した場合、誤検出や検出漏れが発生する可能性がある。例えば、拡散強調画像における高信号部や、EOB造影剤を用いた場合の肝細胞造影相画像における低信号部は、肝臓癌の領域として検出される。しかし、肝臓癌の中には、拡散強調画像で高信号にならないケースや、肝機能が低下しているために肝細胞造影相画像での検出精度が低下するケースが存在する。上記のように同一種類の断層画像に対して固定的な閾値を用いた場合には、機器設定や被験者の状態によってはこのような例外ケースを見落とすリスクがある。
【0039】
さらに、
図4に示したように、EOB造影剤を用いたMRI検査では複数種類の断層画像が撮影されるが、病変検出の際には画像種類ごとに個別の閾値が用いられる。上記のように機器設定や被験者の状態によって各種類の断層画像での画素値が変化し得るので、病変検出の精度向上のためには読影医は画像種類ごとに適切な閾値を設定しなければならず、読影医の作業負荷が過大になってしまう。
【0040】
このような課題に対して、本実施の形態の診断支援装置100は、各種類の断層画像を解析することで画像種類ごとに適切な閾値を自動設定し、設定された閾値を用いて各種類の断層画像から病変の候補領域を特定する。そして、診断支援装置100は、画像種類ごとに特定された病変候補領域の組み合わせに基づいて、病変領域を最終的に検出する。
【0041】
図5は、診断支援装置が備える処理機能の構成例を示す図である。
図5に示すように、診断支援装置100は、記憶部110、画像取得部121、肝臓領域抽出部122、閾値設定部123、病変検出部124および検出結果出力処理部125を備える。
【0042】
記憶部110は、RAM102やHDD103など、診断支援装置100が備える記憶装置に確保される記憶領域である。記憶部110には、撮影画像データベース(DB)111と検出結果データベース(DB)112が記憶される。
【0043】
撮影画像データベース111には、MRI装置210によって撮影された断層画像が登録される。前述のように、肝臓を含む腹部領域におけるアキシャル面の断層画像が、人体に高さ方向に対して複数枚撮影されて撮影画像データベース111に登録される。さらに、このような撮影1回分の断層画像群が、前述の画像種類のそれぞれについて取得されて撮影画像データベース111に登録される。撮影画像データベース111では、同一断面に対応する各種類の断層画像に同一の断面識別番号が付加され、これらの断層画像が対応付けて管理される。
【0044】
検出結果データベース112には、病変の検出結果を示す情報が登録される。この検出結果データベース112には、最終的な病変の検出結果だけでなく、その検出結果の根拠となった情報(所定種類の断層画像における所定信号域の部分を示すマスク画像など)も登録される。
【0045】
画像取得部121、肝臓領域抽出部122、閾値設定部123、病変検出部124および検出結果出力処理部125の処理は、例えば、プロセッサ101が所定のアプリケーションプログラムを実行することで実現される。
【0046】
画像取得部121は、MRI装置210によって撮影された断層画像を取得し、撮影画像データベース111に登録する。なお、画像取得部121が取得する撮影1回分の断層画像群(複数種類の断層画像を含む)のそれぞれは、単一のMRI装置210によって撮影されたものではなく、異なる複数のMRI装置210によって撮影されたものであってよい。
【0047】
肝臓領域抽出部122は、各断層画像から肝臓の領域を抽出する。閾値設定部123は、画像種類ごとに肝臓領域の画像を解析することで、上記の画像種類ごとに閾値を設定する。病変検出部124は、設定された閾値を用いて各種類の断層画像に対する閾値判定を実行し、画像種類ごとの閾値判定結果の組み合わせに基づいて断層画像から病変領域を検出する。検出結果出力処理部125は、病変領域の検出結果を示す情報を表示装置に表示させる。
【0048】
図6は、診断支援装置による病変検出処理全体の手順を示すフローチャートの例である。
図6の処理は、断面ごとに実行される。すなわち、
図6の処理対象は、同一断面に対応する上記各画像種類の断層画像となる。この断面とは、MRI装置210によってZ軸方向(断層画像に垂直な方向)に複数ステップ分だけ断層画像が撮影されたときの1つのステップに対応する。ただし、Z軸方向の各断層画像によって三次元のボリュームデータが生成される場合、
図6の処理単位となる断面は、ボリュームデータにおけるZ軸上の任意の位置の断面であってもよい。この場合、上記のステップとステップとの間に位置する断面の断層画像は、その位置の周囲の複数の断層画像を基に補間演算を行うことで生成される。
【0049】
[ステップS11]肝臓領域抽出部122は、断層画像から肝臓領域を抽出する。この処理では、例えば、該当する断面における肝細胞造影相画像と造影前画像との差分に基づいて、肝臓領域が抽出される。
【0050】
[ステップS12]動脈相画像、門脈相画像、後期相画像、T2強調画像、拡散強調画像および肝細胞造影相画像の6つの画像種類のそれぞれについて、ステップS15までの閾値判定ループが実行される。
【0051】
[ステップS13]閾値設定部123は、該当する画像種類の断層画像を解析することで、その画像種類に対応する閾値を設定する。
[ステップS14]病変検出部124は、該当する画像種類の断層画像に対し、設定された閾値を用いた閾値判定を実行する。病変検出部124は、閾値判定によって1以上のマスク画像を生成する。マスク画像は、断層画像の画素のうち、該当する画像種類に対してあらかじめ決められた信号域に画素値が含まれる画素に「1」をマッピングし、その他の画素に「0」をマッピングした画像である。病変検出部124は、生成されたマスク画像を検出結果データベース112に登録する。
【0052】
[ステップS15]すべての画像種類に対して閾値判定ループが実行された場合、処理がステップS16に進められる。
[ステップS16]病変検出部124は、ステップS14での閾値判定結果に基づいて病変領域を検出する。この検出では、生成されたマスク画像を組み合わせることによって病変領域が検出される。病変領域としては、肝臓癌の領域と良性結節の領域とが個別に検出される。
【0053】
[ステップS17]検出結果出力処理部125は、病変の検出結果を示す情報を端末装置220に表示させる。
図7は、肝臓領域の抽出処理手順を示すフローチャートの例である。
図7の処理は、
図6のステップS11の処理に対応する。
【0054】
[ステップS21]肝臓領域抽出部122は、該当する断面における肝細胞造影相画像と造影前画像との差分に基づく差分画像を生成する。この差分画像は、肝細胞造影相画像の輝度値と造影前画像の輝度値との差分を画素ごとに算出することによって生成される。
【0055】
[ステップS22]肝臓領域抽出部122は、生成された差分画像に基づき、輝度値ごとの頻度を示すヒストグラムを算出する。
[ステップS23]肝臓領域抽出部122は、算出されたヒストグラムに基づいて差分画像の輝度値を正規化する。この正規化では、差分画像における輝度値の最小値から最大値までの範囲において、輝度値が0から100までの値に変換される。
【0056】
[ステップS24]肝臓領域抽出部122は、差分画像から、正規化後の輝度値が所定の閾値範囲に含まれる画素を特定する。
[ステップS25]肝臓領域抽出部122は、ステップS24で特定された画素を用いた輪郭検出によって、断面画像から肝臓領域を抽出する。
【0057】
図8は、肝臓領域を特定するための閾値判定例を示す図である。
図8に示すヒストグラムは、差分画像における、
図7のステップS23での正規化後の輝度値と頻度との関係を示す。ステップS24では、このようなヒストグラムに対して、あらかじめ決められた輝度値の下限閾値THminおよび上限閾値THmaxが適用される。そして、差分画像の画素のうち、下限閾値THminから上限閾値THmaxまでの閾値範囲に正規化後の輝度値が含まれる画素が特定される。このような閾値範囲は、正規化後の輝度値の中央値より高い領域(例えば輝度値が60~90の領域)に設定される。
【0058】
ステップS25では、例えば、断面画像のうち、ステップS24で特定された領域の画素に「1」をマッピングし、その他の画素の「0」をマッピングしたマスク画像が生成される。そして、マスク画像における画素値「1」の領域についての輪郭検出処理が実行され、画素値「1」の閉領域が肝臓領域として抽出される。
【0059】
なお、上記の肝臓領域の抽出方法は一例であり、他の方法によって肝臓領域が抽出されてもよい。例えば、肝臓領域抽出部122は、機械学習によって生成された臓器抽出モデルを用いて肝臓領域を抽出してもよい。
【0060】
このような臓器抽出モデルは、例えば、特定の画像種類(例えば造影前画像)の多数の断面画像を教師データとして用いた機械学習によって生成される。この場合、肝臓領域抽出部122は、該当する画像種類の断層画像を臓器抽出モデルに入力することで、断層画像上の肝臓領域を抽出できる。あるいは、臓器抽出モデルは、例えば、特定の画像種類(例えば造影前画像)の断面画像群を基にそれぞれ生成された多数の3次元ボリュームデータを教師データとして用いた機械学習によって生成されてもよい。この場合、肝臓領域抽出部122は、該当する画像種類の断層画像を基に三次元ボリュームデータを生成し、その三次元ボリュームデータを臓器抽出モデルに入力することで、三次元ボリュームデータ内の肝臓領域を抽出できる。
【0061】
図9は、閾値設定処理の手順を示すフローチャートの例である。
図9の処理は、
図6のステップS13の処理に対応する。
[ステップS31]閾値設定部123は、該当する画像種類の断層画像のうち、抽出された肝臓領域の輝度値を正規化する。この正規化では、肝臓領域における輝度値の最小値から最大値までの範囲において、輝度値が0から100までの値に変換される。
【0062】
例えば、元の断層画像における座標(x,y)の画素の輝度値をI(x,y)とする。ただし、座標(x,y)は元の断層画像のうち肝臓領域内の画素の位置だけを示すものとする。また、元の断層画像の肝臓領域における最小輝度値をIminとし、最大輝度値をImaxとする。この場合、座標(x,y)の画素についての正規化後の輝度値I’(x,y)は、次の式(1)を用いて算出される。
I’(x,y)={(I(x,y)-Imin)/(Imax-Imin)}×100 ・・・(1)
[ステップS32]閾値設定部123は、正規化後の輝度値の中央値を基準として、上側に閾値α1を設定し、下側に閾値α2を設定する。
【0063】
[ステップS33]該当する画像種類がT2強調画像である場合、閾値設定部123は、閾値α1のさらに上側に閾値α1’を設定する。
図10は、閾値と信号域との関係を示す図である。閾値α1,α2,α1’は、断層画像における正規化後の輝度値が複数の信号域のいずれかに含まれるかを判定するために利用される。
【0064】
具体的には、
図10に示すように、閾値α1,α2を利用して輝度値が低信号域、等信号域、高信号域のいずれに含まれるかが判定される。すなわち、0以上α2未満の輝度値が低信号域に分類され、α2以上α1未満の輝度値が等信号域に分類され、α1以上100以下の輝度値が高信号域に分類される。
【0065】
図10に示すように、閾値α1,α2は、肝臓領域における正規化後の輝度値の中央値I’
medianを基準として上側および下側に等距離の位置に設定される。すなわち、閾値α1,α2は、それぞれ次の式(2-1),(2-2)を用いて算出される。
α1=I’
median+k ・・・(2-1)
α2=I’
median-k ・・・(2-2)
ただし、係数kは、0<k<min(100-I’
median,I’
median)を満たす任意の値として設定される。なお、min(A,B)は、AとBのうち小さい値を示す。係数kの設定により病変の検出感度を調整可能である。
【0066】
また、T2強調画像については、閾値α1よりさらに大きな閾値α’1が設定される。そして、α1以上α’1未満の輝度値が高信号域に分類され、α’1以上100以下の輝度値が超高信号域に分類される。閾値α’1は、次の式(3)を用いて算出される。
α’1=I’median+s ・・・(3)
ただし、係数sは、k<s<100-I’medianを満たす任意の値として設定される。閾値α’1は良性病変を検出するために利用されるので、係数kの設定により良性病変の検出感度を調整可能である。
【0067】
以上のように、閾値設定部123は、ある画像種類の断層画像に適用する閾値を、その断層画像のうち肝臓領域における正規化後の輝度値の分布状態に基づいて動的に設定する。これにより、断層画像の撮影時における機器設定や被験者の状態に関係なく、病変を高精度に検出可能とする適切な閾値を設定できるようになる。また、複数種類の断層画像のそれぞれに対して適切な閾値を自動設定できるので、閾値を用いた病変の検出精度を向上させることができるとともに、読影医による画像種類ごとの閾値設定作業を不要とし、読影作業負荷を軽減できる。
【0068】
なお、係数kは、各画像種類の間で共通の値として設定されてもよい。また、例えば、T2強調画像や拡散共通画像の係数kが、他の画像種類の係数kとは別の値に設定されてもよい。
【0069】
図11は、閾値を用いたマスク画像の生成について説明するための図である。
図11に示す検出パターンテーブル131は、特定の病変を検出するための画像種類ごとの信号域のパターンをテーブル化して示したものである。この検出パターンテーブル131では、病変として癌、嚢胞(良性病変の1つ)、血管腫(良性病変の他の1つ)をそれぞれ検出するためのパターンを例示している。なお、以下の説明では、ある画素の輝度値が低信号域に含まれる場合、その画素を「低信号部」と記載する。等信号域、高信号域および超高信号域についても同様である。
【0070】
例えば、同一断面の断層画像のうち、肝細胞造影相画像P1の低信号部、T2強調画像P2の高信号部、拡散強調画像P3の高信号部、動脈相画像P4の高信号部のいずれかに該当する画素は、癌の領域として検出される。なお、この場合、該当数が多いほど癌の可能性が高い。また、肝細胞造影相画像P1の低信号部、T2強調画像P2の超高信号部、動脈相画像P4の低信号部、門脈相画像P5の低信号部、後期相画像P6の低信号部という条件のすべてに合致する画素は、嚢胞の領域として検出される。さらに、肝細胞造影相画像P1の低信号部、T2強調画像P2の超高信号部、拡散強調画像P3の高信号部、動脈相画像P4の低信号部、後期相画像P6の等信号部または高信号部という条件のすべてに合致する画素は、血管腫の領域として検出される。
【0071】
このような癌、嚢胞および血管腫を検出できるようにするために、病変検出部124は
図6のステップS14において、各画像種類の断層画像に対する閾値判定を行うことで以下のようなマスク画像を生成する。
【0072】
・肝細胞造影相画像P1における低信号部の画素を「1」とし、その他の画素を「0」とした低信号マスクPm1
・T2強調画像P2における高信号部の画素を「1」とし、その他の画素を「0」とした高信号マスクPm2a
・T2強調画像P2における超高信号部の画素を「1」とし、その他の画素を「0」とした超高信号マスクPm2b
・拡散強調画像P3における高信号部の画素を「1」とし、その他の画素を「0」とした高信号マスクPm3
・動脈相画像P4における低信号部の画素を「1」とし、その他の画素を「0」とした低信号マスクPm4a
・動脈相画像P4における高信号部の画素を「1」とし、その他の画素を「0」とした高信号マスクPm4b
・門脈相画像P5における低信号部の画素を「1」とし、その他の画素を「0」とした低信号マスクPm5
・後期相画像P6における低信号部の画素を「1」とし、その他の画素を「0」とした低信号マスクPm6
なお、血管腫の検出のために後期相画像P6の等信号部および高信号部を示すマスク画像が必要となるが、本実施の形態では、このマスク画像を低信号マスクPm6のNOT(否定)演算を行って生成するものとする。
【0073】
病変検出部124は、
図6のステップS15において、以上の手順で生成されたマスク画像を組み合わせて論理演算することによって病変領域を検出する。以下、
図12、
図13を用いて病変検出のための論理演算について説明する。
【0074】
図12は、癌を検出するための論理演算の例を示す図である。肝臓癌の領域を検出する場合、病変検出部124は、肝細胞造影相画像P1に基づく低信号マスクPm1と、T2強調画像P2に基づく高信号マスクPm2aと、拡散強調画像P3に基づく高信号マスクPm3と、動脈相画像P4に基づく高信号マスクPm4bとのOR(論理和)演算を実行する。この演算では、各マスク画像における同一画素の画素値のOR演算が実行される。これにより、癌の可能性が高い癌候補の画素を「1」とし、その他の画素を「0」とした癌候補マスクPm11が生成される。病変検出部124は、生成された癌候補マスクPm11を検出結果データベース112に登録する。
【0075】
図13は、良性病変を検出するための論理演算の例を示す図である。良性病変である嚢胞および血管腫の領域の検出は、以下のような手順で行われる。
嚢胞の領域の検出では、病変検出部124は、肝細胞造影相画像P1に基づく低信号マスクPm1と、T2強調画像P2に基づく超高信号マスクPm2bと、動脈相画像P4に基づく低信号マスクPm4aと、門脈相画像P5に基づく低信号マスクPm5と、後期相画像P6に基づく低信号マスクPm6とのAND(論理積)演算を実行する。この演算では、各マスク画像における同一画素の画素値のAND演算が実行される。これにより、嚢胞の可能性が高い嚢胞候補の画素を「1」とし、その他の画素を「0」とした嚢胞候補マスクPm12が生成される。病変検出部124は、生成された嚢胞候補マスクPm12を検出結果データベース112に登録する。
【0076】
また、血管腫の検出では、病変検出部124はまず、後期相画像P6に基づく低信号マスクPm6のNOT演算を実行する。これにより、低信号マスクPm6の各画素の画素値が判定される。次に、病変検出部124は、肝細胞造影相画像P1に基づく低信号マスクPm1と、T2強調画像P2に基づく超高信号マスクPm2bと、拡散強調画像P3に基づく高信号マスクPm3と、動脈相画像P4に基づく低信号マスクPm4aと、低信号マスクPm6のNOT演算により得られたマスク画像とのAND演算を実行する。これにより、血管腫の可能性が高い血管腫候補の画素を「1」とし、その他の画素を「0」とした血管腫候補マスクPm13が生成される。病変検出部124は、生成された血管腫候補マスクPm13を検出結果データベース112に登録する。
【0077】
そして、病変検出部124は、嚢胞候補マスクPm12と血管腫候補マスクPm13とのOR演算を実行する。これにより、良性病変の可能性が高い良性候補の画素を「1」とし、その他の画素を「0」とした良性候補マスクPm14が生成される。病変検出部124は、生成された良性候補マスクPm14を検出結果データベース112に登録する。
【0078】
検出結果出力処理部125は、以上の手順で生成された癌候補マスクPm11および良性候補マスクPm14を用いて、それぞれ癌および良性病変の断層画像上の領域を端末装置220に表示可能になる。また、検出結果出力処理部125は、生成された嚢胞候補マスクPm12および血管腫候補マスクPm13を用いて、それぞれ嚢胞および血管腫の断層画像上の領域を端末装置220に表示可能になる。
【0079】
図14は、病変領域の表示方法の例を示す図である。この
図14では、癌の領域を表示する場合について例示する。
第1の表示方法として、検出結果出力処理部125は、癌候補マスクPM11における癌候補の領域(画素値「0」の領域)を、そのまま癌の領域として断層画像P11に重畳表示する。第2の表示方法として、検出結果出力処理部125は、癌候補マスクPM11から癌候補の閉領域に外接する矩形領域を抽出する。
図14の例では、癌候補マスクPM11に存在する2つの閉領域にそれぞれ対応する矩形領域141,142が抽出されている。そして、検出結果出力処理部125は、抽出された矩形領域を断層画像P11に重畳表示する。
【0080】
なお、病変の領域が表示される断層画像P11としては、例えば造影前画像が用いられる。しかし、他の画像種類の断層画像上に病変の領域が表示されてもよい。以下の例では、任意の画像種類の断層画像上に病変の領域を表示可能な場合を示す。
【0081】
図15は、検出結果の画面表示例を示す第1の図である。
図15に示す検出結果画面150は、画像一覧表示部151と画像拡大表示部152を含む。
図15の上側に示すように、画像一覧表示部151には、同一断面における各画像種類の断層画像が表示される。
図15では例として、肝細胞造影相画像、T2強調画像、拡散強調画像、動脈相画像、門脈相画像および後期相画像が、画像一覧表示部151に表示されている。また、画像一覧表示部151では、対応するマスク画像に画素値「1」の画素が存在する断層画像に対して、点線矩形枠153が表示されている。この「対応するマスク画像」とは、病変の検出に用いられるマスク画像である。例えば癌の検出の場合、肝細胞造影相画像に基づく低信号マスクPm1、T2強調画像に基づく高信号マスクPm2a、拡散強調画像に基づく高信号マスクPm3、動脈相画像に基づく高信号マスクPm4bが該当する。このような点線矩形枠153の表示により、読影医が癌の検出の根拠を認識できるようになる。
【0082】
図15の下側に示すように、画像一覧表示部151に表示された断層画像の1つが選択されると、選択された断層画像が画像拡大表示部152に拡大されて表示される。このとき、画像一覧表示部151では、選択された断層画像に対して実線矩形枠154が表示されている。また、画像拡大表示部152に表示された断層画像には、検出された病変領域の位置を示すマーク155(
図15の例では矩形枠)が表示される。
【0083】
なお、点線矩形枠153と実線矩形枠154とは、
図15の例のように点線、実線で区別されるのではなく、例えば、色の違いや線の太さなど、他の方法によって区別されてもよい。
【0084】
図16は、検出結果の画面表示例を示す第2の図である。
図16の例では、画像一覧表示部151に表示された断層画像のうち、点線矩形枠153が表示されていない断層画像が選択された場合を示している。画像拡大表示部152には、
図15と同様に、選択された断層画像が拡大表示され、拡大表示された断層画像上に、検出された病変領域の位置を示すマーク155が表示される。
【0085】
このように、該当する病変の領域であるための条件を満たす画素が存在しない種類の断層画像や、その病変の検出には用いられない種類の断層画像が選択されて拡大表示された場合でも、拡大表示された断層画像上に病変の領域を表示できる。これにより、読影時の確認が容易になる。
【0086】
図17は、検出結果の画面表示例を示す第3の図である。
図17の例では、画像拡大表示部152に拡大表示された断層画像上に、異なる病変の領域が表示される。
図17では例として、癌の領域を示すマーク156と良性病原の領域を示すマーク157とが表示されている。これらのマーク156,157は、異なる表示形態で表示される。
図17の例では前者が実線の矩形で示され、後者が点線の矩形で示されているが、例えばこれらが色の異なる矩形や、線の太さが異なる矩形で示されてもよい。
【0087】
図18は、検出結果の画面表示例を示す第4の図である。
図18に示す検出結果画面160は、画像一覧表示部161と比較読影用表示部162を含む。
上記の検出結果画面150と同様に、画像一覧表示部161には、同一断面における各画像種類の断層画像が表示される。ただし、画像一覧表示部161では、比較読影用表示部162に表示させる断層画像を複数選択可能になっている。
図18の例では4つの断層画像が選択され、選択された各断層画像に対して実線矩形枠163が表示されている。
【0088】
比較読影用表示部162には、選択された各断層画像が並列されて拡大表示される。これにより、読影医は、複数の画像種類の断層画像を比較して読影することができる。また、比較読影用表示部162に表示された各断層画像には、病変の領域が一例として矩形領域として表示されている。表示された矩形領域の表示形態は、病変の検出に用いられる、表示された断層画像に基づくマスク画像上で、矩形領域内の画素の画素値がどのような信号域に含まれているかによって変えられる。
図18の例では、該当するマスク画像上で矩形領域内の画素が高信号部であった場合、矩形領域は実線で表示され、低信号部であった場合、矩形領域は点線で表示されている。このような表示により、読影医は、病変の検出の根拠を容易に確認できる。
【0089】
以上の第2の実施の形態によれば、診断支援装置100は、画像種類ごとに適切な閾値を自動設定できる。診断支援装置100は、設定された適切な閾値を用いた閾値判定の結果の組み合わせに基づいて、病変の領域を検出するので、撮影時の機器設定や被験者の状態によらず、病変検出を高精度に実行できる。換言すると、病変検出の精度に対して、撮影時の機器設定や被験者の状態の違いが与える影響を低減できる。
【0090】
なお、上記の各実施の形態に示した装置(例えば、画像処理装置1、診断支援装置100)の処理機能は、コンピュータによって実現することができる。その場合、各装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置(HDD)、磁気テープなどがある。光ディスクには、CD(Compact Disc)、DVD(Digital Versatile Disc)、ブルーレイディスク(Blu-ray Disc:BD、登録商標)などがある。
【0091】
プログラムを流通させる場合には、例えば、そのプログラムが記録されたDVD、CDなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【0092】
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムにしたがった処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムにしたがった処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムにしたがった処理を実行することもできる。
【符号の説明】
【0093】
1 画像処理装置
2 処理部
3a~3c 医用画像
4a~4c,5a~5c,6 画像
S1~S4 ステップ
TH1~TH3 閾値