(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024006836
(43)【公開日】2024-01-17
(54)【発明の名称】医用情報提供装置及び医用情報の提供方法
(51)【国際特許分類】
A61B 8/08 20060101AFI20240110BHJP
【FI】
A61B8/08
【審査請求】未請求
【請求項の数】8
【出願形態】書面
(21)【出願番号】P 2022115088
(22)【出願日】2022-06-29
(71)【出願人】
【識別番号】517346521
【氏名又は名称】株式会社Lily MedTech
(74)【代理人】
【識別番号】100103850
【弁理士】
【氏名又は名称】田中 秀▲てつ▼
(74)【代理人】
【識別番号】100105854
【弁理士】
【氏名又は名称】廣瀬 一
(74)【代理人】
【識別番号】100116012
【弁理士】
【氏名又は名称】宮坂 徹
(74)【代理人】
【識別番号】100066980
【弁理士】
【氏名又は名称】森 哲也
(72)【発明者】
【氏名】東 隆
【テーマコード(参考)】
4C601
【Fターム(参考)】
4C601BB03
4C601BB09
4C601DD08
4C601DE04
4C601DE18
4C601EE09
4C601EE16
4C601EE20
4C601GB05
4C601GC02
4C601GC10
4C601JB41
4C601JB51
4C601JC05
4C601JC08
4C601JC09
4C601JC23
4C601JC25
4C601KK02
(57)【要約】
【課題】乳がんの治療において実施される非外科的療法において、実施の期間に合わせて適宜腫瘍の状態の変化を高精度に検出し、医療従事者に対して治療効果の判定に有用な診断支援情報を可視化して提示する。
【解決手段】第1の医用画像診断装置1Aにおいて取得された被検体に関する三次元の第1の画像情報と、第1の医用画像診断装置1Aに先行して第2の医用画像診断装置1Bにおいて取得された被検体に関する三次元の第2の画像情報を基に、これら第1の画像情報に基づく第1の画像と第2の画像情報に基づく第2の画像の位置合わせ処理を行う演算部51と、位置合わせ処理が終了した第1の画像と第2の画像とにおいて、互いの類似度を判定する類似度判定部52と、類似度判定部52によって類似度が低いと判定された領域における変化の状態を診断支援情報として表示させる表示制御部53とを備える。
【選択図】
図8
【特許請求の範囲】
【請求項1】
第1の医用画像診断装置において取得された被検体に関する三次元の第1の画像情報と、前記第1の医用画像診断装置に先行して第2の医用画像診断装置において取得された前記被検体に関する三次元の第2の画像情報を基に、これら前記第1の画像情報に基づく第1の画像と前記第2の画像情報に基づく第2の画像の位置合わせ処理を行う演算部と、
前記位置合わせ処理が終了した前記第1の画像と前記第2の画像とにおいて、互いの類似度を判定する類似度判定部と、
前記類似度判定部によって類似度が低いと判定された領域における変化の状態を診断支援情報として表示させる表示制御部と、
を備えることを特徴とする医用情報提供装置。
【請求項2】
前記類似度判定部は、構造的類似性指数を用いて前記類似度を判定することを特徴とする請求項1に記載の医用情報提供装置。
【請求項3】
前記類似度判定部は、病変が存在する病変領域と前記病変が認められない正常領域のそれぞれの領域について前記類似度の判定を行うことを特徴とする請求項2に記載の医用情報提供装置。
【請求項4】
前記類似度判定部は、前記類似度の判定を行うに当たって、類似構造の探索処理の後、歪み補正処理を実行することを特徴とする請求項2または請求項3に記載されている医用情報提供装置。
【請求項5】
前記表示制御部は、前記第1の画像、及び、前記第2の画像それぞれにおいて、前記類似度判定部によって前記類似度が低いと判定された領域である前記病変領域が明確になるように表示させることを特徴とする請求項3に記載の医用情報提供装置。
【請求項6】
前記表示制御部は、前記病変領域に着色して表示させることを特徴とする請求項5に記載されている医用情報提供装置。
【請求項7】
第1の医用画像診断装置において取得された被検体に関する三次元の第1の画像情報と、前記第1の医用画像診断装置に先行して第2の医用画像診断装置において取得された前記被検体に関する三次元の第2の画像情報を基に、これら前記第1の画像情報に基づく第1の画像と前記第2の画像情報に基づく第2の画像の位置合わせ処理を行うステップと、
前記位置合わせ処理が終了した前記第1の画像と前記第2の画像とにおいて、互いの類似度を判定するステップと、
前記類似度判定部によって類似度が低いと判定された領域における変化の状態を診断支援情報として表示させるステップと、
を備えることを特徴とする医用情報の提供方法。
【請求項8】
前記類似度を判定するステップは、前記第1の画像と前記第2の画像における類似構造の探索を行うステップと、
前記第1の画像と前記第2の画像のそれぞれ全体に対して歪みを補正するステップと、
を備えていることを特徴とする請求項7に記載されている医用情報の提供方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施の形態は、医用情報提供装置及び医用情報の提供方法に関する。
【背景技術】
【0002】
乳がんの治療は、例えば、抗がん剤といった薬物を投与する化学療法やホルモン療法と切除等を伴う外科的な手術を組み合わせて行われることが多い。化学療法については、外科的な手術の前に行われる場合や手術の後に行われる場合があるが、手術の前に行われる化学療法は術前化学療法と言われる。
【0003】
術前化学療法を行うメリットの1つは、術前化学療法により乳がんが小さくなった場合には、小さくなった状態で外科的手術によって乳がんを摘出することができるため、手術で乳房を温存することができる確率(温存率)を向上させることができる点にある。また、術前化学療法によって完全に乳がんがなくなってしまった場合には、手術で乳房を切除する必要がなくなる。
【0004】
さらに、腫瘍を取り除く前に抗がん剤を投与することにより、投与される抗がん剤の効果を確かめながら治療を行うことができる。例えば、抗がん剤感受性の低いがんに罹患している患者や、特にホルモン剤感受性の高い患者に対しては、抗がん剤やホルモン剤治療計画によって、本人の術後のQOLが著しく影響を受ける。特にホルモン剤治療は術後何年にもわたり継続されることがあり、効果を見極めつつ治療計画を設計することが求められる。
【0005】
もし投与される抗がん剤等が被検者に合わない場合には、途中で抗がん剤等を変更することも可能であり、より患者に合わせた対応を取ることで術後の治療をより効果的に計画することができる。
【0006】
従って、術前化学療法が行われる場合に、術前化学療法によって乳がん(以下、適宜「腫瘍」と表す)がどのように変化するのか、例えば腫瘍の大きさの変化を経過観察する必要がある。治療中の腫瘍の経過観察という観点からは、例えば、以下の特許文献1を挙げることができる。
【先行技術文献】
【特許文献】
【0007】
【発明の概要】
【発明が解決しようとする課題】
【0008】
術前化学療法が実施される場合、通常抗がん剤の効きを確認しながら実施されるので、ある程度の期間が必要である。また、途中で抗がん剤の種類を変更する場合には、より期間が必要である。
【0009】
しかしながら、上記特許文献1に開示されている発明は、確かに腫瘍の経過観察を行ってはいるが、あくまでも術中の腫瘍の変化を観察するものであり、術前化学療法で必要とされる期間からすると、数時間単位という非常に短時間における限られた腫瘍領域の変化を観察している。
【0010】
また、焼灼による組織変化をとらえることから、治療前後の境界線に起こるインピーダンスの差は顕著なものとなる。そのため、数週間から数か月間にわたる術前療法を実施したことに伴う効果を観察するには適していない。
【0011】
また、乳がんの検診や治療においては、これまでハンドヘルド型の汎用超音波画像診断装置が用いられてきた。腫瘍の状態変化の経過を観察するためには、腫瘍の形状等がなるべく変えずに経過を観察できると良いが、当該ハンドヘルド型の汎用超音波画像診断装置は、プローブを被検体である乳房に直接接触、圧迫させて検査を行うものである。従って、腫瘍があっても当該腫瘍が変形して撮影されることも多く、腫瘍の変化を客観的に描出することが困難であり、経過を観察するには向いていない。
【0012】
また、この他に腫瘍の変化を見るモダリティとして、例えば、MRI(磁気共鳴断層撮影装置:Magnetic resonance Imager)を挙げることができる。MRIによる撮影結果は三次元画像として得られることから経過を観察するには向いていると思われる。
【0013】
但し、MRIを用いた観察は、例えば、撮影費用の観点や造影剤が使用される場合の侵襲性の観点から、例えば、術前化学療法の開始前と終了後といった時に限って用いられるのであればまだしも、術前化学療法の期間中に何度も撮影して腫瘍の変化を観察するには適していないと考えられる。
【0014】
一方で超音波CT撮像装置は、被検体への接触による乳房、或いは、腫瘍の変形がないため腫瘍の状態に対する再現性が高い。超音波が用いられることから侵襲性が低く、撮影により得られる画像は、圧迫等を伴わない三次元画像であることから、腫瘍の経過観察に適している。
【0015】
また術前化学療法で用いられる抗がん剤は被検者に対する副作用が大きい場合もあり、もし術前化学療法が実施されている間に複数回腫瘍の状態変化を術前化学療法の効果として示すことができれば、術前から術後に及ぶ長期間の薬物療法期間においても、患者の治療に対するモチベーションを維持、向上させ、治療の完了まで導くことも期待できる。
【0016】
本発明は、乳がんの治療において実施される非外科的療法において、実施の期間に合わせて適宜腫瘍の状態の変化を高精度に検出し、医療従事者に対して治療効果の判定に有用な診断支援情報を可視化して提示することができる医用情報提供装置及び医用情報の提供方法を提供することを目的とする。
【課題を解決するための手段】
【0017】
本発明の実施の形態における医用情報提供装置は、第1の医用画像診断装置において取得された被検体に関する三次元の第1の画像情報と、第1の医用画像診断装置に先行して第2の医用画像診断装置において取得された被検体に関する三次元の第2の画像情報を基に、これら第1の画像情報に基づく第1の画像と第2の画像情報に基づく第2の画像の位置合わせ処理を行う演算部と、位置合わせ処理が終了した第1の画像と第2の画像とにおいて、互いの類似度を判定する類似度判定部と、類似度判定部によって類似度が低いと判定された領域における変化の状態を診断支援情報として表示させる表示制御部とを備える。
【0018】
また、類似度判定部は、構造的類似性指数を用いて類似度を判定することを特徴とする。そして類似度判定部は、病変が存在する病変領域と病変が認められない正常領域のそれぞれの領域について類似度の判定を行う。さらに、類似度判定部は、類似度の判定を行うに当たって、類似構造の探索処理の後、歪み補正処理を実行する。
【0019】
表示制御部は、第1の画像、及び、第2の画像それぞれにおいて、類似度判定部によって類似度が低いと判定された領域である病変領域が明確になるように表示させる。また一例として、表示制御部は、病変領域に着色して表示させる。
【0020】
さらに、本発明の実施の形態における医用情報の提供方法は、第1の医用画像診断装置において取得された被検体に関する三次元の第1の画像情報と、第1の医用画像診断装置に先行して第2の医用画像診断装置において取得された被検体に関する三次元の第2の画像情報を基に、これら第1の画像情報に基づく第1の画像と第2の画像情報に基づく第2の画像の位置合わせ処理を行うステップと、位置合わせ処理が終了した第1の画像と第2の画像とにおいて、互いの類似度を判定するステップと、類似度判定部によって類似度が低いと判定された領域における変化の状態を診断支援情報として表示させるステップとを備える。
【0021】
また類似度を判定するステップは、第1の画像と第2の画像における類似構造の探索を行うステップと、第1の画像と第2の画像のそれぞれ全体に対して歪みを補正するステップとを備えている。
【発明の効果】
【0022】
このような本発明の実施の形態における医用情報提供装置及び医用情報の提供方法であれば、乳がんの治療において実施される非外科的療法において、数か月にわたる被検体全体や腫瘍領域周辺の緩慢な構造変化の影響を受けることなく、実施の期間に合わせて適宜腫瘍の状態の変化を高精度に検出し、医療従事者に対して治療効果の判定に有用な診断支援情報を可視化して提示することができる。
【図面の簡単な説明】
【0023】
【
図1】本発明の実施の形態における医用情報提供システムの全体構成を示す構成図である。
【
図2】本発明の実施の形態における超音波CT撮像装置を示す外観斜視図である。
【
図3】本発明の実施の形態における超音波CT撮像装置を用いて被検者への検査が行われる様子を抜粋して示す説明図である。
【
図4】本発明の実施の形態における医用情報提供装置の内部構成を示すブロック図である。
【
図5】本発明の実施の形態において類似度の判定処理において用いる構造的類似性指数について示す説明図である。
【
図6】本発明の実施の形態における類似度の判定処理にて示す腫瘍の状態変化の説明図である。
【
図7】類似構造の抽出と類似度推定の精度向上のために画像の歪エネルギーを活用するする方法を説明するために用いる説明図である。
【
図8】本発明の実施の形態において類似度の判定処理の結果を診断支援情報として表示部に表示させた例を示す画面例である。
【
図9】本発明の実施の形態における診断支援情報の提供の流れを示すフローチャートである。
【発明を実施するための形態】
【0024】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【0025】
[医用情報提供システムの構成]
図1は、本発明の実施の形態における医用情報提供システムSの全体構成を示す構成図である。医用情報提供システムSは、情報通信ネットワークNに医用情報提供システムSを構成する各機器が接続されることによって構成される。
図1に示す医用情報提供システムSでは、第1の医用画像診断装置1Aと、第2の医用画像診断装置1Bと、医用画像保存システム2と、医用情報提供装置3とが情報通信ネットワークNに接続されている。
【0026】
なお、
図1における情報通信ネットワークNに接続される医用情報提供システムSは、術前化学療法による腫瘍の状態変化の経過を観察するために必要な装置のみを記載している。
【0027】
乳がんの治療が行われるに当たって、外科的な手術が行われる前に、術前化学療法が実施される場合がある。そして当該術前化学療法が実施される場合、読影医や診察医といった医療従事者がその効果を確認する。本発明の実施の形態における医用情報提供システムSは、術前化学療法が実施されたことによる腫瘍の状態変化を医用情報である診断支援情報として医療従事者に提供するために使用される。
【0028】
なお、術前化学療法やホルモン療法などの非外科的療法は、術後にも行われる。従って、本発明は、術前化学療法には限定されず、非外科的療法に対して適用可能であるが、以下に、実施態様として、術前化学療法を例に説明する。
【0029】
腫瘍に生じる代表的な変化は、例えば固形がんであれば、腫瘍サイズの大きさの変化、すなわち、画像診断における腫瘍領域の縮小である。薬物治療は術前であれば数週間から数か月、術後であれば、数年~10年程度にわたり継続される。なお、長期にわたる薬物療法中には、患者である被検者自身の成長や老齢化、生活伴う体重変化などから、乳房サイズや乳腺領域の拡大縮小、内部構造の変化、乳房の左右差の拡大などが生じているのが一般的である。
【0030】
また、薬物投与による治療効果判定は、がんの兆候がすべてなくなる(ただし必ずしも治癒ではない)「完全奏効[完全寛解](CR:complete response)」、状態が改善した「部分奏効[部分寛解](PR:partial response)」、状態が悪化した「進行(PD:progressive disease)」、変化が見られない「安定(SD:stable disease)」の4つに分類される。
【0031】
このような術前化学療法が実施されている間に腫瘍の状態がどのように変化したのか、追跡するべく医用情報提供システムSが用いられる。腫瘍の状態変化を追跡することに鑑みれば、上述したようなハンドヘルド型の汎用超音波画像診断装置のように被検体に圧力を掛ける形で撮影された画像情報を用いることは腫瘍の状態の再現性を損なう。
【0032】
そのため、本発明の実施の形態において使用されるモダリティとしては、被検体に対して非接触で腫瘍を変形させることなく腫瘍の状態変化を追跡することが可能な、例えば、超音波CT撮像装置、或いは、MRIを採用しうる。以下においては、第1の医用画像診断装置1Aと第2の医用画像診断装置1Bがいずれも超音波CT撮像装置であることを前提に説明する。
【0033】
さらに、医用情報提供システムSを構成する第1の医用画像診断装置1Aと第2の医用画像診断装置1Bとは、基本的に同じ種類のモダリティであることを想定している。これは、第1の医用画像診断装置1Aにおいて取得された被検体に関する三次元の第1の画像情報と、第2の医用画像診断装置1Bにおいて取得された被検体に関する三次元の第2の画像情報を基に、これら第1の画像情報に基づく第1の画像と第2の画像情報に基づく第2の画像を用いて以下に説明するような様々な処理を実行するからである。すなわち、第1の医用画像診断装置1Aと第2の医用画像診断装置1Bとは同じ種類のモダリティであった方が、処理が実行しやすい。
【0034】
但し、このように第1の医用画像診断装置1Aと第2の医用画像診断装置1Bとが同じ種類のモダリティであることを原則とするが、例えば、一方が超音波CT撮像装置であり他方がMRIというように、第1の医用画像診断装置1Aと第2の医用画像診断装置1Bとが異種のモダリティである場合を排除するものではない。
【0035】
また、腫瘍の状態変化を追跡することから、比較のために異なる時期に撮影された複数の医用画像を用いる。そこで、ここでは便宜上腫瘍の状態変化を確認するために用いられる医用画像を第1の画像とする。従って当該第1の画像は後述する比較の対象となる第2の画像よりも時期的に後から撮影されている。そして当該第1の画像を撮影する超音波CT撮像装置を第1の医用画像診断装置1Aとする。
【0036】
一方、第1の医用画像診断装置1Aに先行して撮影する超音波CT撮像装置が第2の医用画像診断装置1Bであり、当該第2の医用画像診断装置1Bによって撮影された画像を第2の画像とする。従って、撮影対象となる被検体たる乳房は、第1の画像も第2の画像も同じ被検者の乳房であるが、上述した通り第1の画像よりも第2の画像の方が撮影された時期は早いことが一般的である。
【0037】
ただし、同時期に測定されたMRI画像と超音波CT画像の比較により、撮像頻度の異なる他モダリティ画像間の差異を確認し補正するなどの用途の場合には、第1画像および第2画像の時期的な差は、比較目的に影響を与えない。
【0038】
なお、適宜、第1の医用画像診断装置1Aと第2の医用画像診断装置1Bはそれぞれ第1の超音波CT撮像装置1A、第2の超音波CT撮像装置1Bと表し、まとめて表す際には、医用画像診断装置1、或いは、超音波CT撮像装置1と表す。
【0039】
また、
図1における医用情報提供システムSでは、第1の医用画像診断装置1A、第2の医用画像診断装置1Bの2台の医用画像診断装置1が情報通信ネットワークNに接続されている状態が示されている。一方、医用画像保存システム2及び医用情報提供装置3については、それぞれ1台ずつが接続されている。
【0040】
但し、超音波CT撮像装置1、医用画像保存システム2、医用情報提供装置3がそれぞれ何台情報通信ネットワークNに接続されて医用情報提供システムSを構成するかについては自由である。例えば、医療機関の各科にそれぞれ医用情報提供装置3が設置される場合にはその分医用情報提供システムSを構成する装置を増やしてもよい。
【0041】
さらに、情報通信ネットワークNに接続される装置としては、これらの装置に限られず、例えば、医療機関内に構築される各システム、装置、或いは、その他のモダリティ等が任意に接続可能とされていて良い。また、接続の仕方も有線、無線を問わない。
【0042】
[超音波CT撮像装置の構成]
超音波CT撮像装置は、検査対象となる被検体である乳房の全体を、例えばリング状に配置された超音波振動子を用いて走査し、三次元の超音波CT画像を取得する装置である。
図2は、本発明の実施の形態における超音波CT撮像装置1を示す外観斜視図である。
【0043】
超音波CT撮像装置1は、寝台11と、
図2においては図示されていないが、寝台11の内部に配置される測定モジュール12を備えている。寝台11は、検査を受ける被検者を載せる台である。検査に当たって被検者は、当該寝台11のX-Y面で示される上面111に、寝台11の長手方向であるY方向に頭から足先まで伸ばすように、うつぶせになって載る。
【0044】
なお、
図2に示す寝台11には特段示していないが、被検者が寝台11に乗り降りする際の便宜を考えて、昇降機能が付されていても良い。また、寝台11は水平面から傾斜していてもよいし、その上面111は平らでなくてもよい。
【0045】
寝台11には、開口部112が設けられている。当該開口部112は、被検者が寝台11に載った際に、Y方向において概ね胸の辺りであって、被検体である乳房が挿入可能な大きさとなるように形成されている。なお、開口部112の位置、サイズ、形状は例示である。また、左右の乳房それぞれに対応する位置に開口部112を2つ設けてもよい。
【0046】
図3は、本発明の実施の形態における超音波CT撮像装置1を用いて被検者への検査が行われる様子を抜粋して示す説明図である。
図3に示すように、検査は被検者の被検体となる片側の乳房の少なくとも一部が開口部112に挿入されるように、うつぶせ(伏臥位)になった状態で行われる。
【0047】
すなわち、被検者の測定対象である乳房が浴槽121内で下垂された状態で、超音波CT撮像装置1はリングアレイ122をZ方向に走査させて、乳房の検査対象全域のデータを収集する。
【0048】
本発明の実施の形態における超音波CT撮像装置1の場合、測定は片側の乳房毎に行う。従って
図2に示すように、開口部112が1つのみ設けられる場合において、両方の乳房を測定する必要がある場合は、片側の乳房の測定完了後、被検者は体勢を直して反対側の乳房を浴槽121に挿入する。
【0049】
寝台11の内部であって、当該開口部112の直下には、乳房の計測を行うための測定モジュール12が配置されている。このように測定モジュール12は寝台11の内部に配置されていることから、
図3では、測定モジュール12が破線で示されている。
【0050】
測定モジュール12は、浴槽121とリングアレイ122とを含む。浴槽121は、脱気水等の超音波の伝搬性が良好な媒質が注入され、被検体である乳房を測定の間保持するための容器である。そのため、本発明の実施の形態における超音波CT撮像装置1においては、被検者が寝台11にうつぶせになった場合に、浴槽121には、被検体となる片方の乳房の少なくとも一部が収容される。
【0051】
なお、測定モジュール12には、図示しないバルブやタンクと接続する管などの注水・排水を行う機構が備えられており、この機構によって浴槽121への注水及び排水が行われる。
【0052】
また、測定モジュール12には、図示しない位置特定センサを備えてもよい。本発明の実施の形態における超音波CT撮像装置1では、浴槽121に被検体である乳房が挿入された後、測定デバイスの自動走査によって撮像が終了する。従って、被検体の乳腺領域を漏れなく撮像するために、被検体の検査領域全体が測定モジュール12に配置されている必要がある。
【0053】
この点について、撮像の初期位置を特定する方法としては、カメラやレーザースキャナ等による、例えば乳頭などの被検体の生体表面組織から得られる情報に基づいて当該位置を特定する方法を挙げることができる。また、測定モジュール12の底面に、被検体のZ軸方向の生体組織情報を取得する超音波センサ等を配置することで、大胸筋や肋骨など被検体である乳房の生体表面組織に基づく情報や乳房外の外部組織の位置情報を取得することもできる。
【0054】
ここで位置情報には、DICOM(Digital Imaging and Communication in Medicine)のヘッダに記されているスライスの位置や向きを示す座標情報が含まれる。
【0055】
このような位置測定センサにより、大胸筋や肋骨など被検体である乳房の生体表面組織に基づく情報や乳房外の外部組織の情報を取得することで、相対的な位置を算出し、他のモダリティとの位置合わせに利用することも可能となる。
【0056】
リングアレイ122は、被検体の生体情報の測定を行うための測定デバイスである。リングアレイ122は、平面状(
図3に示すリングアレイ122の例ではXY面内)に、被検体の少なくとも一部を取り囲むように配置された複数の測定用超音波素子を備えている。リングアレイ122は、浴槽121内へ超音波を照射し、散乱した超音波を受信する超音波素子群である。
【0057】
リングアレイ122は、電気信号を超音波に変換し、複数の振動子から位相等を調整しつつ超音波ビームを生成して被検体である乳房に向けて出射する。そして乳房からの複数の散乱超音波を受信し、この散乱超音波をそれぞれ電気信号に変換して出力する。これらの処理が行われることにより、超音波素子群の配置面(XY面)にある乳房内部の組織の断面の情報が得られる。これをスライスデータと呼ぶ。
【0058】
ここで、散乱超音波とは、反射波及び透過波の少なくともいずれかを含む。すなわち、リングアレイ122は、反射波を受信するタイプでも良いし、透過波を受信するタイプでも良く、或いは、反射波及び透過波を受信するタイプであっても良い。
【0059】
リングアレイ122は、支持部材123によって浴槽121の内部において所定の方向に移動可能に固定される。また、支持部材123は移動機構124を備える。
図3に示す測定モジュール12の例では、移動機構124は、リングアレイ122を深さ方向(Z方向)に移動させるためのスライド機構を示している。
【0060】
そして、当該移動機構124を用いてリングアレイ122を移動させつつ超音波測定を行い、撮影断面の位置が異なる情報を繰り返し取得していくことで、被検体である乳房内部全体の組織の情報を得る。ここで、走査の間隔は、例えば1mmである。従って、測定範囲の深さが20mmの場合、計21枚の断層画像が得られる。なお、走査の方向は、Z方向上から下でも、下から上でもよいが、一方向であることが好ましい。
【0061】
また、走査方向は撮像面に垂直である必要はない。例えば、螺旋運動のように、回転運動と並行移動とを組み合わせた動きができるように移動機構124を構成しても良い。すなわち、浴槽121内に下垂された状態の被検体である乳房の検査対象範囲を網羅するように超音波が出射できれば良い。
【0062】
従って、出射ビームを制御することができれば、リングアレイ122の「移動」は、超音波ビームの出射方向の制御による測定位置のみの移動であってもよく、移動機構124等を用いたリングアレイ122の物理的な移動を必ずしも伴わなくても良い。
【0063】
なお、リングアレイ122の形状は、円状、楕円状、あるいは多角形状であっても良い。またこのリングアレイ122は、一体物であっても、単数、ないし、複数の素子で構成されたユニットを、例えば、環状等の所定形状に配列させたものであっても良い。
【0064】
さらに、このリングアレイ122の平面形状は、環状ではなく、半円状や、C字型であっても良い。或いは、素子が直線状に配置されたリニアアレイであっても良い。アレイ構造が被検体の全周に配置されない場合、例えば測定モジュール12を水平方向に回転させることで、全方位からの超音波照射によるスライスデータを取得することとしても良い。さらにこれを平面に垂直方向(Z方向)に移動させることで、ボリュームデータの取得が可能となる。
【0065】
また、本発明の実施の形態では測定モジュール12としてリングアレイ122を用いて説明するが、測定モジュール12は、乳房全体の超音波三次元画像を撮像できればよい。従って、例えば、半球状に被検体の周囲に超音波振動子を配置し電子的走査によって三次元画像を撮像することができる測定デバイスであってもよい。
【0066】
超音波CT撮像装置1の検査に関係する主な構造は上述した通りであるが、その他例えば、図示しない送信部と、受信部と、送受信制御部と、信号処理部と、画像処理部と、駆動制御部と、各部を制御する制御部とを備えていても良い。
【0067】
送信部は、制御部による制御に基づき、リングアレイ122に超音波を発生させるための駆動信号、すなわち各圧電振動子に印加する電気パルス信号である駆動パルスを生成し、その駆動パルスをリングアレイ122に送信する。送信部は、図示しない、例えば、基準パルス発生部、遅延制御部、駆動パルス発生部等の各部を備えており、各部が上述した機能を果たす。
【0068】
また、受信部は、リングアレイ122において受信した反射信号、或いは、透過信号の受信を行う。そしてその受信信号に対して整相加算を行い、その整相加算により取得した信号を信号処理部に出力する。
【0069】
送受信制御部は、リングアレイ122を構成する複数の超音波素子のうち、送信に寄与する送信開口および受信に寄与する複数の受信開口を決定する。1か所の送信開口から送信された超音波を複数の受信開口で受信したのち、送信開口の位置をずらしながら受信を繰り返すことで、被検体に対し全方位から超音波を照射し、リングアレイ122の配置された平面における断面のスライスデータを取得する。
【0070】
信号処理部は、受信部から供給されたリングアレイ122からの受信信号を用いて各種のデータを生成し、画像処理部や制御部に出力する処理を行う。信号処理部は、いずれも図示しない、例えば、Bモード処理部(或いは、Bcモード処理部)やドプラモード処理部、カラードプラモード処理部、透過波処理部などを有している。
【0071】
Bモード処理部は、受信信号の振幅情報の映像化を行い、Bモード信号を基にしたデータを生成する。ドプラモード処理部は、受信信号からドプラ偏移周波数成分を取り出し、さらに、FFT(Fast Fourier Transform)処理などを施し、血流情報のドプラ信号のデータを生成する。カラードプラモード処理部は、受信信号に基づいて血流情報の映像化を行い、カラードプラモード信号を基にしたデータを生成する。
【0072】
画像処理部は、信号処理部から供給されたデータに基づいてスキャン領域に関する2次元や三次元の超音波画像を生成する。
【0073】
例えば、画像処理部は、供給されたスライスデータからスキャン断面に関する2次元のスライス画像を生成する。そしてその生成したスライスデータからMPR処理(多断面再構成法)やボリュームレンダリング処理により三次元の超音波画像のデータを生成する。そして画像処理部は、生成した2次元や三次元の超音波画像をディスプレイに出力する。なお、超音波画像としては、例えば、Bモード画像やドプラモード画像、エラストグラフィ、音速像や減衰像などがある。
【0074】
駆動制御部は、測定モジュール12の駆動を制御する。すなわち、移動機構124を深さ方向(Z方向)に移動させることで、リングアレイ122をスライドさせる。また、制御部は、超音波CT撮像装置1の各部を統括的に制御する。例えば、画像処理回路において生成された超音波画像をディスプレイに表示させる。
【0075】
医用画像保存システム2は、超音波CT撮像装置1において撮影された被検者の乳房に関する医用画像を保存する。また、これらの画像に対して医療従事者が読影や判定を行いその結果をまとめた、所見や読影レポートを併せて保存しても良い。
【0076】
医用画像保存システム2としては、例えば、ハードディスクドライブ(HDD)やサーバといった記憶媒体、記憶装置からなる。或いは、医療機関内に構築される管理システムである医用画像管理システム(PACS:Picture Archiving Communication System)を挙げることができる。
【0077】
また、病院情報管理システム(HIS:Hospital Information System)や放射線科情報システム(RIS:Radiology Information System)を医用画像保存システム2として用いても良い。
【0078】
なおここでは、超音波CT撮像装置1によって取得された画像情報は、上述したように医用画像保存システム2に保存されている。但し、これら画像情報については、医用画像保存システム2に保存されず、適宜取得されたそれぞれの超音波CT撮像装置1の内部に保存されていても良い。
【0079】
[医用情報提供装置の内部構成]
医用情報提供装置3は、超音波CT撮像装置1にて撮影、取得された被検体である乳房に関する画像を基に、医療従事者が読影、判定を行うために使用される装置である。さらには、当該医用情報提供装置3を用いて判定結果である読影レポートが作成されても良い。この読影レポートは、最終的に医師が診断を行う際に、必要とされる医用情報を提供するものとして用いられる。
【0080】
従って、医用情報提供装置3としては、例えば、PC(パーソナルコンピュータ)やワークステーション等が使用され、汎用機であっても専用機であっても良い。また、据え置き型であっても、例えば、スマートフォン、タブレットやPDA(Personal Digital Assistant)といった携帯型であっても良く、医用情報提供装置3が使用される場所、環境も医療従事者によって適宜選択される。
【0081】
図4は、本発明の実施の形態における医用情報提供装置3の内部構成を示すブロック図である。なお、
図4においては、医療従事者が超音波CT撮像装置1において取得された医用画像を用いて術前化学療法が実施された場合における腫瘍の状態変化の経過を観察、判定する際に用いるに必要な構成のみを示している。従って、医用情報提供装置3の構成は描画されている構成に限定されず、その他の構成を備えていても良い。
【0082】
医用情報提供装置3は、CPU(Central Processing Unit)31と、ROM(Read Only Memory)32と、RAM(Random Access Memory)33及び入出力インターフェイス34がバスBを介して接続される構成を備えている。さらに当該入出力インターフェイス34には、入力部35と、表示部36と、通信制御部37と、記憶部38と、制御部39とが接続される。
【0083】
CPU31は、入力部35からの入力信号に基づいてROM32から医用情報提供装置3を起動するためのブートプログラムを読み出して実行し、記憶部38に格納されている各種オペレーティングシステムを読み出す。
【0084】
さらにCPU31は、RAM33や記憶部38等に記憶されたプログラム及びデータを読み出してRAM33にロードするとともに、RAM33から読み出されたプログラムのコマンドに基づいて、例えば、後述する第1の画像と第2の画像との間における類似度の判定処理を実行するために必要なデータの計算、加工等、一連の処理を実現する処理装置である。
【0085】
入力部35は、医用情報提供装置3を用いる医療従事者が各種の操作を入力する、例えばタッチパネル等の入力デバイスにより構成されている。入力部35を介した医療従事者の操作に基づいて入力信号が作成されバスBを介してCPU31に送信される。
【0086】
この入力部35としては、例えば、GUI、或いは、ボタンやキーボード、トラックボール、次に説明する表示部36に表示されるタッチパネル、或いは、表示部36とは別体のディスプレイを用いたタッチパネルといった入力デバイスを用いることが可能である。
【0087】
また、この他、マイク、カメラ等、医用情報提供装置3に設けられている装置、または、当該医用情報提供装置3に接続可能な各種装置も入力部35の一種として挙げることができる。
【0088】
表示部36は、上述した、例えば、超音波CT撮像装置1の画像処理部により生成された超音波画像、或いは、操作画面(例えば、ユーザから各種指示を受け付けるためのGUI(Graphical User Interface))などの各種画像を制御部39の制御に従って表示する。すなわち表示部36は、CPU31からバスBを介して出力信号を受信し、例えば、乳房が映し出されている医用画像における腫瘍の状態変化や読影レポート等を表示し、或いは、CPU31の処理結果を表示する。
【0089】
具体的にこの表示部36は、例えばモニタであり、その種類としては、液晶ディスプレイや有機EL(Electroluminescence)ディスプレイなどを用いることが可能である。
【0090】
なお、本発明の実施の形態においては、
図4に示すように、入力部35、表示部36を医用情報提供装置3の1つの構成要素として記載しているが、このような構成に限られない。また、表示部36としては、例えば1つのモニタを使用しても、或いは、複数のモニタを使用して適宜必要な情報を表示させることも可能である。
【0091】
通信制御部37は、LANカードやモデム等の手段であり、医用情報提供装置3をインターネットやLAN等の情報通信ネットワークNに接続することを可能とする手段である。通信制御部37を介して情報通信ネットワークNと送受信したデータは入力信号または出力信号として、入出力インターフェイス34及びバスBを介してCPU31に送受信される。
【0092】
なお、通信制御部37及び情報通信ネットワークNを介して他の機器とやり取りされる情報や医用画像に関する規格は、上述したDICOM等、いずれの規格であっても良い。
【0093】
通信制御部37は、医用情報提供装置3を情報通信ネットワークNに接続し、当該情報通信ネットワークNに接続されている装置との間で必要な医用情報をやり取りする。特に超音波CT撮像装置1から読影や診断の対象となる被検者に関する撮像結果(画像情報)を取得する。
【0094】
記憶部38は、半導体や磁気ディスクで構成されており、CPU31で実行される、例えば、医療従事者に対して提示する診断支援情報としての腫瘍の状態変化を追跡するために用いられる演算プログラム、その他診断支援情報を表示させるために必要なプログラムやデータが記憶されている。
【0095】
なお、本発明の実施の形態においては、医用情報提供装置3の内部に記憶部38を備えた例を挙げて以下説明を行うが、例えば、記憶部38の機能の一部を医用画像保存システム2に委ねる構成としても良い。また、医用情報提供装置3の内部に複数の記憶部38を設ける構成としても良い。
【0096】
制御部39は、医用情報提供装置3の各部を統合的に制御する。例えば制御部39は、入力部35を介した医療従事者からの指示に基づき、第1の画像と第2の画像との間で類似度の判定処理の実行を制御し、判定結果を診断支援情報として表示部36に表示させる。
【0097】
次に、医用情報提供装置3を用いて実際に術前化学療法の実施による腫瘍の状態変化を把握し、医療従事者に対して診断支援情報を提供する機能について、以下説明する。まず前提として、何と何を比較するのか、類似度を判定するために使用される第1の画像と第2の画像を抽出、選択しておく必要がある。
【0098】
本発明の実施の形態における医用情報提供システムSが用いられるのは、術前化学療法が実施されたことに伴う腫瘍の状態変化を把握し医療従事者に対して診断支援情報の提供を行うためである。そして腫瘍の状態変化は、第1の画像と第2の画像とを比較してその類似度を判定することによって把握する。
【0099】
従って、例えば、術前化学療法が実施される前の腫瘍を含む乳房の画像と、術前化学療法が実施されて所定の期間が経過した時における乳房の画像が用いられ。ここでは、前者の画像が第2の画像、後者の画像が第1の画像に該当する。
【0100】
すなわち第1の画像が腫瘍の状態変化を確認するための画像であり、第2の画像が比較対象となる画像である。従って、第2の画像として上述した術前化学療法が実施される前に撮影された画像を用いる場合には、当該第2の画像には腫瘍が含まれている。一方、第1の画像については、術前化学療法による腫瘍の状態変化によってはその画像内に腫瘍が含まれているか否かは問わない。
【0101】
このように第1の画像及び第2の画像には、例えば腫瘍と認められる領域やその他の領域が認められる。そこで、以下では適宜、腫瘍に当たる領域を病変領域、腫瘍は存在せず正常な領域を正常領域と表す。また、正常領域と病変領域とは明確にその境界を接するのではなく、病変領域の外側には、病変領域の状態の変化に伴って受動的に変化する領域も存在する。そこで適宜このような領域を周辺領域と表す。
【0102】
また、術前化学療法が実施されている期間内に一度腫瘍の状態変化を確認している場合には、第1の画像は今回確認するために改めて取得された画像であり、第2の画像は、前回確認した際における第1の画像となる。このように医療従事者は、術前化学療法が実施されている時期に応じて適切な画像を選択する必要がある。
【0103】
そのため具体的には、医療従事者は、比較したい第1の医用画像診断装置(第1の超音波CT撮像装置)1Aによって取得された第1の画像情報や第2の医用画像診断装置(第2の超音波CT撮像装置)1Bによって取得された第2の画像情報を取得するための、例えば、腫瘍の状態変化を確認したい被検者や時期に関する条件等を入力し、第1の画像情報と第2の画像情報とを特定する。そして医用情報提供装置3で取得した第1の画像情報から第1の画像を、第2の画像情報から第2の画像を決定する。
【0104】
なおこの点については、例えば、腫瘍の状態変化を確認したい被検者と時期に関する条件を医療従事者が入力部35を介して医用情報提供装置3に入力するだけで、後は医用情報提供装置3が適切な第1の画像及び第2の画像を特定、抽出することが可能である。
【0105】
演算部51は、上述した比較対象として特定された第1の画像と第2の画像との位置合わせ処理を実行する。これら第1の画像と第2の画像は、いずれも同一の被検者の乳房が映っているが、同時に撮影されたものではなく、上述したように第2の画像が撮影されてから一定の期間経過後に第1の画像が撮影されている。従って、異なる時期に超音波CT撮像装置1を用いて撮影されていることから、たとえ被検者が同じであっても撮影状況が異なる。
【0106】
そこで第1の画像と第2の画像との間で類似度を判定する前に、両者の位置合わせを行ってそのズレを可能な限り小さくする処理をしておく。位置合わせが確実に行われていれば、より精度良く腫瘍の状態変化を把握することができるからである。
【0107】
なお、演算部51が実行する位置合わせ処理の方法としては、例えば、画像の回転、縮尺の変更、平行移動、アフィン変換等、既知の処理の方法を採用することができる。さらに、撮影されている乳房全体の位置合わせとして、乳頭や大胸筋の位置を合わせることや高さ(乳頭と大胸筋との間の距離)を合わせるといった方法も採用することができる。
【0108】
演算部51による第1の画像と第2の画像の位置合わせが完了すると、演算部51はその旨を類似度判定部52へと通知する。そこで類似度判定部52では、位置合わせ処理が完了した第1の画像及び第2の画像を用いて、両画像における類似度を判定する処理を開始する。
【0109】
ここで画像間における類似度を判定する手法としては、例えば、テンプレートマッチングであるSAD(Sum of Absolute Difference)を挙げることができる。
【0110】
SADは、「画素値の差分の絶対値の和」を用いて対象となる画像間における類似度を判定するものであり、値が最小になる場所が類似度の最も高い場所となる。より具体的には、構造を比較する場合に、全体としては構造が異なったとしても細かなROI(Region Of Interest)を設定し、そのROIごとに差分が最も小さくなる所を探す。
【0111】
SADの手法であれば、正常領域では変化値が小さく、病変領域は変化値が大きくなるので、変化値の比較により病変領域が可視化されるはずである。
【0112】
しかしながら、当該SADを術前化学療法の実施による腫瘍の状態変化の確認に適用してみたところ、芳しい結果を得ることができなかった。ここでSADを用いた解析を行うに当たって、2つの症例を用いた。症例1は、術前化学療法の結果として、腫瘍の縮小が目視により明白に確認できる例である。一方症例2は、術前化学療法が実施されても、目視では大きな腫瘍の状態変化は認められない例である。なお症例1に対する病理診断は、浸潤性乳癌硬性型、症例2は、浸潤性乳癌腺管形成型である。
【0113】
症例1については、SADを用いた場合、両者を並べて見比べると把握できる腫瘍の明らかな縮小を捉えることができなかった。一方症例2の場合、第1の画像及び第2の画像のいずれにおいても、腫瘍が認められる病変領域と腫瘍が認められない正常領域とがあり、目視の場合には正常領域について第1の画像及び第2の画像において違いはなかったにも拘わらず、SADでは正常領域に構造の変化を示す結果が見られた。
【0114】
本来症例1については、腫瘍が縮小していることから病変領域においては大きな構造的な変化があるにも拘わらず、構造的な変化が認められない正常領域との間で構造の変化に有意な差は認められなかった。また症例に2については、正常領域の構造的な変化が病変領域の構造的な変化よりも大きく検出された。従って、SADを用いた解析では、構造的な変化による病変領域と正常領域との区別をすることができなかった。
【0115】
上述したSADやSDD(Sum of Squared Difference)、NNC(Normalized Cross-Correlation)などに代表されるパターンマッチングでは、探索画像中における検査画像の誤差の相関値やスコアを比較する。
【0116】
しかし、薬物投与による長期間の経過観察を行う場合、探索画像となる第2の画像もまた、患者の生活と共に変化している。また、治療効果は患者本人に依存することから、変化速度を一律に想定することが困難である。このため、これらパターンマッチングの手法では、正常部位も病変部位もともに変化している場合に画像同士の類似度を比較するためには適さない。
【0117】
そこで本発明の実施形態においては、異なる変化率で変化する検査画像である第1の画像と比較画像である第2の画像の類似度を検出するためのアルゴリズムを用い、治療対象領域の変化のみを特定する。
【0118】
本発明の実施の一つの形態として、構造的類似性指数(SSIM:Structural SIMilarity)を用いて第1の画像と第2の画像との比較を行い、類似度を判定する場合を説明する。SSIMは、画質評価指標として用いられる。対象画像内から小領域(ウィンドウ)を特定し、画素輝度値の変化、コントラストの変化、及び構造の変化をもって、当該ウィンドウの評価を行う手法である。SSIMはウィンドウ単位で算出されるため、広い領域の評価をする場合には、注目領域内でウィンドウを移動させ、各位置におけるSSIMの平均をとる。
【0119】
以下の式1における各項目は、各変化に該当し、lは画素輝度値の変化、cはコントラストの変化、sは構造の変化を表している。
【0120】
【0121】
ここで(ν,ξ)は、比較する第1の画像と第2の画像におけるそれぞれの座標を示している。また、C1とC2は、信号が小さい時に出力が不安定とならないようにするための係数である。さらに、適宜、α=β=γ=1として評価を行った。そして上記数1に示す3つの項は以下のように表される。
【0122】
【0123】
なお数2において、μはそれぞれのウィンドゥ内の平均画素値、σγ、σξは同じウィンドゥ内の画素値の標準偏差、σνξはνとξの共分散である。このようなSSIMの手法を用いて、類似度判定部52では第1の画像と第2の画像との類似度を判定する。
【0124】
図5は、本発明の実施の形態において類似度の判定処理において用いる構造的類似性指数について示す説明図である。
図5においては、上述した症例1に対してSSIMを適用する場合を例に挙げている。
【0125】
図5のうち、
図5(a)は術前化学療法が実施される前に第2の超音波CT撮像装置1Bによって撮影された画像であり、第2の画像に該当する。そして
図5(a)の左側には第2の画像の全体画像が示されており、その右側に番号が振られた5枚の画像が示されている。5枚の画像に振られている番号は、全体画像の中に示されているROIごとに振られている番号と合致する。
【0126】
当該ROIは、第2の画像内において4カ所の特徴がある領域と1カ所の病変領域を示す領域とに設定されている。なお、第2の画像でROIを設定する方法は後述する。ここでは5つのROIが選ばれたとして、その後の処理を説明する。
【0127】
一方、
図5(b)は、術前化学療法が開始されてから所定の期間が経過し、今回改めて第1の超音波CT撮像装置1Aで撮影された画像であり、第1の画像に該当する。そして
図5(b)においては右側に示されている第1の画像の全体画像は、第2の画像と互いに断層位置が対応している。
【0128】
図5(b)の全体画像の左側にはアルファベットが振られた5枚の画像が示されている。5枚の画像に振られているアルファベットは、全体画像の中に示されているROIごとに振られているアルファベットと合致する。そしてこれら5枚の画像は、
図5(a)の左側に示されている第2の画像の5つのROIを示す画像に対応している。
【0129】
そして、
図5(a)に示す「1の画像」と比較してSSIMが最大の画像が
図5(b)に示す「aの画像」である。同様に「2」に対しては「b」、「3」に対して「c」、「4」に対して「d」がそれぞれ対応している。病変領域に関しては、後述するするように病変領域として認識された2つのROIが「5」と「e」として選択される。
【0130】
すなわち、(1、a)、(2、b)、(3、c)、(4、d)、(5、e)がそれぞれ第1の画像と第2の画像とにおける互いに対応すると推定される領域の組み合わせとなる。
【0131】
なお、ここではSSIMの手法を説明するために比較する第1の画像と第2の画像のそれぞれから5枚ずつ抽出した状態を示しているが、実際に類似度判定部52が類似度を判定する処理を実行する場合にも、このように複数の領域を抽出して判定しても良い。この他、例えば、画像の全領域に対してマトリクス状に区分けしてROIを設定し、全てのROIに対してSSIMの手法を用いて類似度を判定しても良い。
【0132】
次にROIの設定に関しては、第2の画像上で等間隔に設定(ROIの大きさの半分から1/10程度の間隔)する方法がある。但し、変化が小さい部分に関しては等間隔にすべて計算することは必ずしも計算資源の利用効率が高くない。
【0133】
そのための1つの方法は後述する病変領域の近傍は狭い間隔でROIを設定して、病変領域から離れた領域ではROIの設定間隔を広げる方法がある。また別の方法として、特徴度が小さい形状はSSIMなどの方法を用いて変形を推定しても精度が低下することを考慮して、精度が一定となるようにROIを設定する方法もある。
【0134】
具体的には、第2の画像上でROIの候補位置を定めた際に、画像上の他の部位とのSSIMを計算し、SSIMが高くなる別の領域が存在する場合にはそのROI候補は採用しない。この方法は、SSIMが高い領域が画像内に存在しない、すなわちユニークさが大きい不等間隔なROIの集合を用いる方法である。後述する
図8のような画像を出力する際には、変化度が求まっている点の間の変化度は補間などの方法で推定する。
【0135】
これまでの説明で何度か述べているように、第1の画像と2の画像の比較の際に、第2の画像における病変領域が分かっている方が望ましい場合もある。そのために腫瘤検出AIなどを用いて病変領域である確からしさの高い領域を予め推定しておいて、画像変化度を計算する際に参考とする(ROIの設定間隔を調整する)ことや、表示の際に病変可能性の高い領域も同時に表示することも情報提示の仕方として有効である。AIを使用する方法以外にも、読影者が病変疑い領域の中央部を指定して入力し、アクティブカウンターモデル(active counter model)の1つであるSNAKEなどの領域拡大と抽出方法などを用いて病変領域と正常領域の境界として入力された情報を使用する方法などもある。
【0136】
類似度判定部52による類似度を判定する処理の説明に戻ると、第2の画像上に設定したROIに対してそのROIの位置が病変領域でない場合には、第1の画像上から類似度が高い領域を抽出できるという結果を示している。すなわちこのことは、正常領域では画像内の局所構造を利用して解析を行うことで、その構造を経時的に追跡可能であるあることを示し、治療効果の大きい病変領域においては、相対的に類似度が高い領域を見つけることが出来ない領域として腫瘍を経時的に追跡することが可能であることを示している。
【0137】
そして類似度を判定する際には、例えば
図5(c)に示すようなマトリクスを用いることもできる。このマトリクスにおいて、例えば横軸は第2の画像における5枚の画像を示し、縦軸は第1の画像における5枚の画像を示す。つまり当該マトリクスには、術前化学療法が実施される前に撮影された第2の画像に対して、今回撮影された第1の画像の全ての画像との間で解析を行った結果を示す。
【0138】
このマトリクスでは、左上から右下につながる斜めのマスは、上述した第1の画像の第2の画像とにおける互いに対応する領域の画像の組み合わせに対する類似度の判定結果が示される。
【0139】
このようにマトリクスを用いる場合、例えば、比較領域のマトリクスサイズを5×5とすることができる。但しマトリクスのサイズは、検査領域の大きさやその空間分解能、コントラスト比、S/N比といった、画像の性質に依存する。
【0140】
例えば、本発明の実施の形態で使用する超音波CT撮像装置1と用いる場合、取得される画像は、その撮像領域が512×512の画素サイズからなる超音波画像で、空間分解能は0.5~2mm前後である。また構造的特徴と対応するクーパー靭帯等が構成する形状の寸法は、5~30mm程度である。(これらの構造的特徴は、
図5のROI内に描出されている線状構造等である。)
【0141】
従って、マトリクスのサイズは10×10から30×30の範囲がより好ましい。分解能を考慮すると、30mmのROIではROI内の画素数は60から100程度となるので、デシメーションなどの処理によってROI内の画素サイズを低減してからSSIMなどの処理を行うことも有効である。
【0142】
このように、SSIMの手法は上述したSADの手法よりも精度良く類似度を判定することができると考えられる。
【0143】
これに対して、SADは、剛体の追跡やPIV(Paricle Image Velocimetry)などの場合に精度の高い方法であるが、生体(特に追跡期間が秒や分のオーダーではなく、日、週、月のような長期間間隔が開いた場合)のように変形を伴う場合には、ROIを小さくしても大きくしても、回転しても、完全に一致するROIを見つけることが出来ないので、精度を高めることに限界がある。一方、SSIMや後述する画像特徴量を用いた手法は、多少の変形に対してもロバストに対応部位を探索することが可能である。
【0144】
このように本発明の実施の形態における類似度の判定処理においては、数週間から数年にわたる経過観察を想定するため、質的変化、受動的変化、無変化を正確に検出することが重要となる。質的変化とはすなわち組織性状の変化であり、受動的変化とは周囲の変形に引きずられて移動しているだけの変化であり、無変化とは組織の変化も、空間的な移動もないことである。
【0145】
ここで
図6は、本発明の実施の形態における類似度の判定処理にて示す腫瘍の状態変化の説明図である。
図6においては左側に超音波CT撮像装置1にて撮影された画像データが示されており、第2の画像である。これに対して、右側の模式図は表示部36に示される腫瘍の状態変化を示す図である。
【0146】
上述したこれらの違いは、例えば、
図6のような構造類似度を示すカラーバーとは別に、平行移動の大きさとして示すことが可能であり、平行移動した領域に関してはベクトルなどで移動ベクトルを示すことも有用である。すなわち、
図6の右側の模式図において、腫瘍の周りの白い領域は平行移動が生じた領域を示しており、平行移動のベクトルが矢印で示されている。
【0147】
同様に、FAST、Harris、Shi & Tomasiなどが提案するコーナー検出器や、SIFT、SURF、KAZE、およびMSERのブロブ検出器等も適用が可能であり、またこれに限らない。
【0148】
コーナー検出器は、明るさの変化が一番大きな点を検出するエッジ検出の代わりにコーナーを検出する。例えば、周囲の検出点の中で最もコーナーらしい(例えば、Corner Hessian関数を用いた場合のヘシアン値の最も大きい値)点を抽出し、第1の画像と第2の画像において、その類似度を算出する。
【0149】
一方、ブロブ検出器は、事前に定められた所定の閾値に収まる画素の領域を塊として認識する。比較に用いられる画像同士は、異なる時節で撮像されるため、輝度など画像条件が微妙に変化している。構造領域を塊として検出することで、検出構造の領域のうち、新出また減少した領域の偽陰性及び偽陽性の判断が容易になる。
【0150】
そしてこれらの検出器を単独で適用してもよいし、組み合わせにより腫瘍領域を特定したのちに、当該特定された領域の類似度を算出してもよい。例えば、エッジ検出やコーナー検出により腫瘍領域の境界線の一部が検出されたのち、これを起点に、塊としての腫瘍領域を特定することができる。
【0151】
本発明の実施の形態における類似度判定部52ではSSIMの手法を用いて第1の画像と第2の画像とにおいて互いに対応する領域を比較し、その類似度を判定する。そして、病変領域について言えば、腫瘍の状態がそれほど変化していない場合には類似度が高いことを、腫瘍の状態変化が大きい場合には、類似度が低いことを示している。
【0152】
さらに類似度判定部52では、上述したSSIMの手法で第1の画像と第2の画像における類似構造の探索処理を実行した後、画像の歪み補正処理を行うこととしても良い。すなわち、腫瘍が存在する病変領域においては、例えば腫瘍の状態が変化することによって、病変領域に接する周辺領域についても変化を生じさせる可能性がある。
【0153】
ここで類似構造の抽出と類似度推定の精度向上のために画像の歪エネルギーを活用するする方法を
図7を用いて説明する。
図7は、類似構造の抽出と類似度推定の精度向上のために画像の歪エネルギーを活用するする方法を説明するために用いる説明図である。
【0154】
SSIMで類似した構造を探索する際に、探索のための移動量を横軸に取るとガウス関数のように単峰になる場合もあるが、2番目に値が大きい場所、3番目に値が大きい場所など、複数の極大点を持つ結果となる場合もある。特にROIのサイズが小さい場合や、変形が大きくて全体で類似度が下がった場合などである。
【0155】
例えば、その時に最大類似度の値が「0.80」で、2番目の類似度が「0.78」のような場合に、誤差まで考慮すると本当に一番大きい値を示したROIを選択するのが妥当であるか疑問な場合がある。測定対象である乳房は、内部に大きなすべり面を含まないので、変形を伴う場合でも粘弾性体として連続的な変化を示していることが想像される(活断層のようなすべり面がある場合には、必ずしも局所変形は連続的な分布とはならない)。
【0156】
この時、推定される変形量の集合を用いて、変形の前後で乳房全体での歪エネルギーを計算することができる。例えば局所のヤング率は一定という仮定をしたら、歪の二乗の総和が、変形によって乳房全体に蓄えられた歪エネルギーとなる。この時、類似度が最大の点と2番目の点を比べて、どちらが歪エネルギーが小さいかを比較する。
【0157】
例えば
図7では説明のために空間を一次元化して説明している。例えば、探索候補1では、左から右に順に示される丸、三角、星1(左側)、星2(右側)の4点のうち、星1のみ左に移動しており、他の3点は右に移動している。このような場合は星1の位置は探索候補2の集合の中の星1の位置を選択した方が、全体の歪エネルギーは小さくなる。従って、離散的な候補群の中から、全体のエネルギー(変形には空間的な連続性が存在する)を考えて、個々のROIを追跡するだけの場合より精度を上げることができる。
【0158】
このように、第1の画像と第2の画像とで互いに対応する領域だけをみて類似度を判定するだけではなく、周辺領域における変化も含めて類似度を判定すれば、より精度の良い判定が可能となる。そこで、類似度判定部52は、歪み補正処理を行って類似度が低い領域(病変領域)とその周辺の領域(周辺領域)をも含めて類似度の判定を実行する。
【0159】
なお、ここでは歪み補正処理を類似度判定部52が実行することを前提に説明したが、例えば、類似度の判定を行った後、類似度が低い領域とその周辺に関する歪み補正処理を演算部51に実行させることとしても良い。
【0160】
表示制御部53は、類似度判定部52によって判定された類似度に基づいて、医療従事者に対して腫瘍の状態変化に関する診断支援情報を提供する。
図8は、本発明の実施の形態において類似度の判定処理の結果を診断支援情報として表示部36に表示させた例を示す画面例である。なお、
図8において表示部36の描画は省略している。
【0161】
図8では、症例1に対して類似度判定部52がSSIMの手法を用いて類似度の判定を行った結果が示されている。
図8(a)に示す画像が、術前化学療法が実施される前に超音波CT撮像装置1において撮影された画像であり、第2の画像である。一方中央の
図8(a)に示す画像は、術前化学療法の進展に伴って撮影された画像であり、第1の画像である。
【0162】
第2の画像には、白矢印で示した領域に、腫瘍を示す黒い領域が映っている。そして、同じ領域について右側の第1の画像を見てみると、黒く映っていた腫瘍が非常に小さく映っている。
【0163】
このように例えば、第1の画像と第2の画像とを並べて表示部36に表示させるとともに、腫瘍の状態変化を分かりやすく可視化することで、医療従事者に対して有益な診断支援情報を提供することができる。
【0164】
また
図5で説明を行ったように、第2の画像をROIに分割し、各ROIに対してSSIMが最も大きくなるROIを第1の画像上から探索し、その時のSSIMの値をグレースケールで表示することもできる。このような処理を行って表示部36に表示させた画像が
図8(c)に示す図である。
【0165】
図8(c)では、参考のために前述の方法で第2の画像から病変領域を抽出した結果を白点線で示している。すなわち、白点線は術前化学療法が実施される前の病変領域を示す。またグレーで示されている、特に濃い領域が病変領域であり、補正を行った上で表示しているものである。
【0166】
なお、第1の画像と2の画像の間には大きな変形があるので、
図8(c)の図は、第1の画像をベースに作成することも、第2の画像をベースに作成することも可能であるが、この図の例では第2の画像をベースに作成しているので、乳房輪郭の形状は第2の画像と一致している。表示の方法については、
図8に示すような方法以外の方法も採用することができる。
【0167】
[動作]
次に、医用情報提供装置3が、超音波CT撮像装置1による撮像で取得された第1の画像と第2の画像とを用いて腫瘍の状態変化を追跡し、医療従事者に対して状態変化を可視化して提示する処理の流れについて、
図9を用いて説明する。
図9は、本発明の実施の形態における診断支援情報の提供の流れを示すフローチャートである。
【0168】
医療従事者は、まず、読影、或いは、診断の対象となる被検者、すなわち、術前化学療法の対象となる被検者を選択し、医用情報提供装置3に当該被検者を識別する、例えば患者ID等を入力する(ST1)。なおここでは特段示していないが、医用情報に触れることから事前に医療従事者のID等が入力され、アクセス権限の確認等が行われる。
【0169】
さらに医用情報提供装置3は、例えば第2の画像情報が取得された時期等、医療従事者によって入力部35から入力された超音波CT撮像装置1が撮影した対象となる被検者の画像情報の取得指示を検出し、通信制御部37を介して医用画像保存システム2にアクセスする。そして、医用画像保存システム2から当該被検者の乳房に関する画像情報を取得する(ST2)。
【0170】
上述したように、本発明の実施の形態においては、2種類の画像が必要となる。1つは、腫瘍の状態変化を追跡するための第1の超音波CT撮像装置1Aによって取得された三次元の第1の画像情報に基づく第1の画像である。当該第1の画像は、例えば、上述した医用画像保存システム2にアクセスして取得しても良く、或いは、直接第1の超音波CT撮像装置1にアクセスして取得しても良い。
【0171】
もう1種類の画像は、第1の画像の比較の対象となる、例えば、術前化学療法が開始される前に第2の超音波CT撮像装置1Bによって取得され三次元の第2の画像情報に基づく第2の画像である。当該第2の画像は、第1の画像に先行して取得されていることから、例えば、医用画像保存システム2にアクセスして取得される。
【0172】
取得された第1の画像と第2の画像は、演算部51に提供され両画像の位置合わせ処理が行われる(ST3)。位置合わせ処理が終了すると、今度は類似度判定部52が第1の画像と第2の画像における類似度の判定処理を実行する(ST4)。
【0173】
類似度判定部52では、類似度の判定処理を行うとともに、適宜歪み補正処理を実行し、より判定処理の精度を高める。そして病変領域のように、類似度が低く構造的な変化が大きな領域についてその判定結果を診断支援情報として表示部36に表示して提供する(ST5)。
【0174】
以上説明した通り、本発明の実施の形態における医用情報提供装置及び医用情報の提供方法によれば、乳がんの治療において実施される術前化学療法において、実施の期間に合わせて適宜腫瘍の状態の変化を高精度に検出し、医療従事者に対して治療効果の判定に有用な診断支援情報を可視化して提示することができる。
【0175】
なお、演算部51、類似度判定部52及び表示制御部53については、制御部39とは別の処理部であることを前提にこれまで説明してきた。但し、このような構成ではなく、例えば、制御部39が演算機能、類似度判定機能、及び、表示制御機能を備えており、制御部39が各々の機能に従って処理を実行しても良い。
【0176】
また、演算部51、類似度判定部52及び表示制御部533、或いは、制御部39における演算機能、類似度判定機能、及び、表示制御機能については、記憶部38、或いは、医用画像保存システム2内に記憶されている類似度判定プログラムといったプログラムをプロセッサに実行させることによって実現することも可能である。
【0177】
そしてここで本明細書における「プロセッサ」という文言は、例えば、専用又は汎用のCPU(Central Processing Unit) arithmetic circuit(circuitry)、或いは、特定用途向け集積部(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の部を意味する。
【0178】
プロセッサは、例えば記憶部38や医用画像保存システム2に保存された、又は、プロセッサの部内に直接組み込まれたプログラムを読み出し実行することで機能を実現する。プログラムを記憶する記録部は、プロセッサごとに個別に設けられるものであっても構わないし、上述したような記憶部38や医用画像保存システム2の構成を採用しても構わない。記憶部の構成には、例えば、半導体や磁気ディスクといった一般的なRAM(Random Access Memory)やHDD(Hard Disc Drive)等の記憶装置が適用される。
【0179】
なお、これまでの説明では、術前化学療法が実施される期間における腫瘍の状態変化を追跡するために、超音波CT撮像装置によって撮影された画像を用いて例えばSSIMの手法を用いた類似度の判定処理を行っていた。
【0180】
これは腫瘍の状態変化の追跡に関しては、その特質から超音波CT撮像装置を用いることが適しているからである。但し、例えば、術前化学療法の実施前と終了後については別途MRIも用いて腫瘍の状態変化を追跡する処理も行い、これら両者の結果を組み合わせて術前化学療法の効果を判定することも可能である。
【0181】
また、SSIMの手法を用いた場合に、類似度が低い領域と高い領域とが、例えば第1の画像上に可視化して示される。これまでは、画像上病変領域と正常領域とが区別されている状態を前提に類似度の判定処理を行う場合を説明した。
【0182】
但しこのような処理の仕方ではなく、例えば、病変領域と正常領域とを区別することなく第1の画像及び第2の画像の全域に対して類似度の判定処理を行い、類似度の高低を画像上に示した上で、医療従事者に類似度の低い領域に対する判断を委ねる、という使い方も考えられる。
【0183】
また、上述した実施の形態においては、術前化学療法が実施される際の腫瘍の状態変化を追跡する場合を例に挙げていたが、本発明の実施の形態に係る医用情報提供装置や医用情報の提供方法は、その他、例えば、隔年で行われる健康診断における状態変化や左右の乳房の違いを把握する場合にも用いることができる。
【0184】
さらには、状態変化の追跡、という観点からは、例えば、美容でクーパー靱帯の違いを見せる等、エイジングとアンチエイジングの効果判定を行う場合や補正下着に関してその補正具合を把握するような場合にも利用することができる。
【0185】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【0186】
本明細書中に記載されている構成要素により実現される機能は、当該記載された機能を実現するようにプログラムされた、汎用プロセッサ、特定用途プロセッサ、集積回路、ASICs (Application Specific Integrated Circuits)、CPU (a Central Processing Unit)、従来型の回路、又はそれらの組合せを含む、Circuitry又はprocessing circuitryにおいて実装されてもよい。プロセッサは、トランジスタやその他の回路を含み、circuitry又はprocessing circuitryとみなされる。プロセッサは、メモリに格納されたプログラムを実行する、programmed processorであってもよい。
【0187】
本明細書において、circuitry、ユニット、手段は、記載された機能を実現するようにプログラムされたハードウェア、又は実行するハードウェアである。当該ハードウェアは、本明細書に開示されているあらゆるハードウェア、又は、当該記載された機能を実現するようにプログラムされた、又は、実行するものとして知られているあらゆるハードウェアであってもよい。
【0188】
当該ハードウェアがcircuitryのタイプであるとみなされるプロセッサである場合、当該circuitry、手段、又はユニットは、ハードウェアと、当該ハードウェア及び又はプロセッサを構成する為に用いられるソフトウェアの組合せである。
【0189】
なお、本発明の実施の形態において説明した技術については、以下のような構成を採用することもできる。
(1)第1の医用画像診断装置において取得された被検体に関する三次元の第1の画像情報と、前記第1の医用画像診断装置に先行して第2の医用画像診断装置において取得された前記被検体に関する三次元の第2の画像情報を基に、これら前記第1の画像情報に基づく第1の画像と前記第2の画像情報に基づく第2の画像の位置合わせ処理を行う演算部と、
前記位置合わせ処理が終了した前記第1の画像と前記第2の画像とにおいて、互いの類似度を判定する類似度判定部と、
前記類似度判定部によって類似度が低いと判定された領域における変化の状態を診断支援情報として表示させる表示制御部と、
を備えることを特徴とする医用情報提供装置。
(2)前記類似度判定部は、構造的類似性指数を用いて前記類似度を判定することを特徴とする上記(1)に記載の医用情報提供装置。
(3)前記類似度判定部は、病変が存在する病変領域と前記病変が認められない正常領域のそれぞれの領域について前記類似度の判定を行うことを特徴とする上記(1)または(2)に記載の医用情報提供装置。
(4)前記類似度判定部は、前記類似度の判定を行うに当たって、類似構造の探索処理の後、歪み補正処理を実行することを特徴とする上記(1)ないし(3)のいずれかに記載されている医用情報提供装置。
(5)前記表示制御部は、前記第1の画像、及び、前記第2の画像それぞれにおいて、前記類似度判定部によって前記類似度が低いと判定された領域である前記病変領域が明確になるように表示させることを特徴とする上記(1)ないし(4)のいずれかに記載の医用情報提供装置。
(6)前記表示制御部は、前記病変領域に着色して表示させることを特徴とする上記(5)に記載されている医用情報提供装置。
(7)第1の医用画像診断装置において取得された被検体に関する三次元の第1の画像情報と、前記第1の医用画像診断装置に先行して第2の医用画像診断装置において取得された前記被検体に関する三次元の第2の画像情報を基に、これら前記第1の画像情報に基づく第1の画像と前記第2の画像情報に基づく第2の画像の位置合わせ処理を行うステップと、
前記位置合わせ処理が終了した前記第1の画像と前記第2の画像とにおいて、互いの類似度を判定するステップと、
前記類似度判定部によって類似度が低いと判定された領域における変化の状態を診断支援情報として表示させるステップと、
を備えることを特徴とする医用情報の提供方法。
(8)前記類似度を判定するステップは、前記第1の画像と前記第2の画像における類似構造の探索を行うステップと、
前記第1の画像と前記第2の画像のそれぞれ全体に対して歪みを補正するステップと、
を備えていることを特徴とする上記(7)に記載されている医用情報の提供方法。
【符号の説明】
【0190】
1・・・超音波CT撮像装置
11・・・寝台
12・・・測定モジュール
121・・・浴槽
122・・・リングアレイ
123・・・支持部材
124・・・移動機構
2・・・医用画像保存システム
3・・・医用情報提供装置
31・・・CPU
32・・・ROM
33・・・RAM
34・・・入出力インターフェイス
35・・・入力部
36・・・表示部
37・・・通信制御部
38・・・記憶部
39・・・制御部
51・・・演算部
52・・・類似度判定部
53・・・表示制御部