(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-13
(45)【発行日】2023-09-22
(54)【発明の名称】画像診断支援装置、画像診断支援プログラム、及び、それを備えた医用画像取得装置
(51)【国際特許分類】
A61B 5/055 20060101AFI20230914BHJP
G16H 30/00 20180101ALI20230914BHJP
A61B 6/03 20060101ALI20230914BHJP
【FI】
A61B5/055 380
G16H30/00
A61B6/03 360B
(21)【出願番号】P 2019231677
(22)【出願日】2019-12-23
【審査請求日】2022-11-08
(73)【特許権者】
【識別番号】320011683
【氏名又は名称】富士フイルムヘルスケア株式会社
(74)【代理人】
【識別番号】110000888
【氏名又は名称】弁理士法人山王坂特許事務所
(72)【発明者】
【氏名】佐藤 良太
(72)【発明者】
【氏名】雨宮 知樹
(72)【発明者】
【氏名】白猪 亨
(72)【発明者】
【氏名】尾藤 良孝
【審査官】下村 一石
(56)【参考文献】
【文献】米国特許出願公開第2019/0228524(US,A1)
【文献】米国特許出願公開第2018/0101644(US,A1)
【文献】米国特許出願公開第2015/0201895(US,A1)
【文献】特開2018-136961(JP,A)
【文献】特開2007-275440(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/055
G16H 30/00
A61B 6/03
(57)【特許請求の範囲】
【請求項1】
複数の医用画像をもとに診断情報を作成する診断情報作成部を有する画像診断支援装置であって、
複数の医用画像について、画質を評価し画像の信頼度を算出する信頼度算出部と、前記信頼度算出部が算出した信頼度、及び、
画像種ごとに診断対象に対する適切度を表す指標として予め定めた内部パラメータを用いて
、前記診断情報を算出する際の前記複数の医用画像の重みである寄与度を算出する寄与度算出部と、を備えることを特徴とする画像診断支援装置。
【請求項2】
請求項1に記載の画像診断支援装置であって、
前記信頼度算出部は、画像を複数の領域又は部分に分けて、領域または部分毎に信頼度を算出することを特徴とする画像診断支援装置。
【請求項3】
請求項1に記載の画像診断支援装置であって、
前記信頼度算出部は、前記
医用画像に含まれるアーチファクト又は前記
医用画像の信号ノイズ比に基づき信頼度を算出することを特徴とする画像診断支援装置。
【請求項4】
請求項1に記載の画像診断支援装置であって、
前記寄与度算出部が算出した各医用画像の寄与度に基づき、検出用画像を作成する検出用画像作成部をさらに備え、前記診断情報作成部は前記検出用画像を用いて前記診断情報を作成することを特徴とする画像診断支援装置。
【請求項5】
請求項4に記載の画像診断支援装置であって、
前記医用画像または前記検出用画像のコントラストを特定の画像のコントラストに合わせるコントラスト調整部をさらに備えることを特徴とする画像診断支援装置。
【請求項6】
請求項5に記載の画像診断支援装置であって、
前記コントラスト調整部は、コントラスト調整の対象となる画像を組織毎に分割したセグメンテーション画像を作成するセグメンテーション部を備え、前記セグメンテーション画像の画素値を用いて作成した変換関数を用いてコントラスト調整を行うことを特徴とする画像診断支援装置。
【請求項7】
請求項5に記載に画像診断支援装置であって、
前記診断情報作成部は、多数の医用画像と診断結果との関係を用いて学習した学習済み機械学習アルゴリズムを備え、
前記特定の画像は、前記機械学習アルゴリズムの学習に用いた医用画像であることを特徴とする画像診断支援装置。
【請求項8】
請求項4に記載に画像診断支援装置であって、
前記検出用画像作成部は、前記寄与度算出部が算出した寄与度が最も大きい医用画像を用いて前記検出用画像を作成することを特徴とする画像診断支援装置。
【請求項9】
請求項8に記載に画像診断支援装置であって、
前記検出用画像作成部は、前記複数の医用画像のコントラストを特定の画像のコントラストに合わせるコントラスト調整部、を備え、
前記コントラスト調整部によりコントラスト調整後の複数の医用画像を、前記寄与度に基づく重みで重み付け加算して前記検出用画像を作成することを特徴とする画像診断支援装置。
【請求項10】
請求項1に記載の画像診断支援装置であって、
前記診断情報作成部は、前記複数の医用画像を用いて解析を行う解析部を備えることを特徴とする画像診断支援装置。
【請求項11】
コンピュータに、
複数の医用画像について、画質を評価し画質の信頼度を算出するステップと、
前記信頼度
、及び、画像種ごとに診断対象に対する適切度を表す指標として予め定めた内部パラメータを用いて
、診断情報を算出する際の前記複数の医用画像の重みである寄与度を算出するステップと、
前記複数の医用画像と前記寄与度を用いて、診断情報の作成に用いる検出用画像を作成するステップと、
を実行させる画像診断支援プロ
グラム。
【請求項12】
請求項11に記載の画像診断支援プログラムであって、
前記検出用画像を入力とし、診断情報を出力する機械学習アルゴリズムを実行するステップをさらに含むことを特徴とする画像診断支援プログラム。
【請求項13】
医用画像を取得する撮像部と、前記撮像部が取得した医用画像の処理を行う画像処理部とを備え、
前記画像処理部は、複数の医用画像をもとに診断情報を作成する診断情報作成部と、
複数の医用画像について、画質を評価し画質の信頼度を算出する信頼度算出部と、 前記信頼度算出部が算出した信頼度
、及び、画像種ごとに診断対象に対する適切度を表す指標として予め定めた内部パラメータを用いて
、前記診断情報を算出する際の前記複数の医用画像の重みである寄与度を算出する寄与度算出部と、を備えることを特徴とする医用画像取得装置。
【請求項14】
請求項13に記載の医用画像取得装置であって、
前記撮像部が、被検体の核磁気共鳴信号を収集し、核磁気共鳴信号を用いた医用画像を取得する磁気共鳴撮像部であり、
前記複数の医用画像が、T1強調画像、T2強調画像、プロトン密度強調画像、FLAIR画像、磁化率強調画像、及び、拡散強調画像のいずれか1以上を含むことを特徴とする医用画像取得装置。
【請求項15】
請求項13に記載の医用画像取得装置であって、
前記複数の医用画像は脳画像であり、前記診断情報作成部は、前記診断情報として脳血管障害に関する情報を作成することを特徴とする医用画像取得装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、磁気共鳴撮像装置(以下、MRI装置)やX線撮影装置、CT装置などの医用画像取得装置で取得した画像を利用して診断支援を行う技術に関する。
【背景技術】
【0002】
医療の現場では、MRI装置やCT装置で撮像した画像をもとに疾患や病変を診断する画像診断が広く行われている。近年では、機械学習によって学習したAIを用いて、計測した画像について病変の有無や進行度あるいは悪性度など判断する診断支援技術も開発されている(非特許文献1など)。
【0003】
機械学習を用いた画像診断支援では、病気の種類や部位毎にそれらと画像との関係を学習したAIを用いて、1ないし複数の計測画像を入力として、病変の有無等を判定する。非特許文献1には、MRI装置で取得した磁化率強調画像(SWI)を用いて学習された機械学習モデルにより脳の小血管病変を自動検出する技術が開示されている。
【0004】
画像診断においては、疾患や病変に応じて、診断に適切な撮像方法や画像種があり、診断対象に応じて適切なモダリティの画像や画像種を選択する必要がある。例えばMRI画像は、撮像条件を変換させることによって、T1強調画像(T1W)、T2強調画像(T2W)、磁化率強調画像(SWI)など、組織のコントラストを異ならせた種々の画像を取得することが可能であり、画像種によりどの病変の検出に優れているかは異なる。
【0005】
一方、疾患や病変の診断の精度を高めるために、1つの画像だけでなく、複数種の画像や複数のモダリティで取得した画像を参照することが有効であることが知られている。特許文献1には、診断対象に対して、どのモダリティの画像が有効であるかを客観的に示すために、複数のモダリティのうちいずれが有効であるかを示す指標を提示する技術が開示されている。
【先行技術文献】
【特許文献】
【0006】
【非特許文献】
【0007】
【文献】Chen Y 他、「Toward Automatic Detection of Radiation-Induced Cerebral Microbleeds Using a 3D Deep Residual Netword」、J Digit Imaging, 2019 10月、32(5) 766-772
【発明の開示】
【発明が解決しようとする課題】
【0008】
画像診断に際して、同一被検体に複数種の画像を計測し、それら複数種の画像のうち診断対象に最も適した1ないし複数の画像を選択して用いる場合、体動等の影響や撮像条件などにより、選択すべき画像の診断すべき部位や領域にアーチファクトが生じていて、診断に用いることができない場合が生じる。その場合、他の画像を代用することが考えられるが、その選択は容易ではない。この問題は画像種が異なるモダリティで取得した画像、例えばMR画像、CT画像、X線画像などであっても同様であり、特許文献1に記載された技術でも解決はできない。
【0009】
また所定の画像を選択したとしても、画像のコントラストは、医用画像取得装置の製造元(ベンダー)や撮像条件、例えばMRI装置であれば、磁場強度や撮像パラメータの違いによって異なり、選択した画像は必ずしも学習済みAIを作成する際に用いた画像のコントラストとは同じではないため、既存のAIを用いた場合、精度のよい画像診断支援を行うことができない。
【0010】
本発明は複数の画像のうち、診断対象に対し、最も適切な画像を選択する手段を提供すること、選択した画像の種類やモダリティ等の如何に関わらず、精度のよい診断支援情報を提示できる手段を提供することを課題とする。
【課題を解決するための手段】
【0011】
上記課題を解決するため、本発明の第一の態様では、画像を2つの指標、すなわち診断対象に対する適切性を表す指標(内部パラメータ)と画像自体の画質に関わる指標(信頼度)、を用いて自動的に選択する手段を備える。また本発明の第二の態様では、所定の診断対象の診断支援用に選択された画像を、当該診断対象用に学習された学習済みAIの入力画像に変換する手段を備える。
【0012】
即ち、本発明の第一の態様の画像診断支援装置は、複数の医用画像をもとに診断情報を作成する診断情報作成部と、複数の医用画像について、画質を評価し画像の信頼度を算出する信頼度算出部と、前記信頼度算出部が算出した信頼度及び診断対象に対する各医用画像の適切度を表す指標として予め定めた内部パラメータを用いて前記診断情報に対する前記複数の医用画像の寄与度を算出する寄与度算出部と、を備える。この画像診断支援装置は、寄与度に基づき画像を選択する画像選択部や画像選択部が選択した医用画像を用いて、検出用画像を作成する検出用画像作成部をさらに備えることができる。
【0013】
また第二の態様の画像診断支援装置は、前記医用画像または前記検出用画像のコントラストを特定の画像のコントラストに合わせるコントラスト調整部をさらに備える。
【0014】
また本発明の画像診断支援プログラムは、コンピュータに次のステップを実行させる。複数の医用画像について、画質を評価し画質の信頼度を算出するステップと、前記信頼度及び診断対象に対する各医用画像の適切度を表す内部パラメータを用いて前記複数の医用画像の前記診断対象に対する寄与度を算出するステップと、前記複数の医用画像と前記寄与度を用いて、診断情報の作成に用いる検出用画像を作成するステップ。
【0015】
さらに本発明の医用画像取得装置は、医用画像を取得する撮像部と、前記撮像部が取得した医用画像の処理を行う画像処理部とを備え、前記画像処理部は、複数の医用画像をもとに診断情報を作成する診断情報作成部と、複数の医用画像について、画質を評価し画質の信頼度を算出する信頼度算出部と、前記信頼度算出部が算出した信頼度及び診断対象に対する各医用画像の適切度を表す内部パラメータを用いて前記診断情報に対する前記複数の医用画像の寄与度を算出する寄与度算出部と、を備える。
【図面の簡単な説明】
【0016】
【
図1】本発明の画像診断支援装置の一実施形態の概要を示す図。
【
図3】画像診断支援装置の処理の概要を示すフロー図。
【
図4】第一実施形態の画像診断支援装置の画像処理部の構成を示す図で、(A)は寄与度算出部の構成を示す機能ブック図、(B)は検出用画像作成部の構成を示す機能ブック図。
【
図5】第一実施形態における寄与度算出及び画像選択の処理を説明する図。
【
図6】第一実施形態における検出用画像作成の処理を説明する図。
【
図7】記憶装置に格納されている内部パラメータの一例を示す図。
【
図11】第三実施形態の解析部の処理の一例を説明する図。
【
図12】第三実施形態の解析部の処理の別の一例を説明する図。
【
図13】(A)、(B)は、それぞれ第三実施形態の表示例を示す図。
【
図14】本発明が適用されるMRI装置の全体概要を示す図。
【発明を実施するための形態】
【0017】
以下、本発明の画像診断支援装置の一実施形態を、図面を参照して説明する。
【0018】
図1は、画像診断支援装置の全体構成の一実施形態を示す図である。この画像診断支援装置200は、画像処理部20、ユーザーインターフェイス(UI)部30、及び記憶装置40を備え、医用画像取得装置100が取得した医用画像(以下、単に画像ともいう)を入力し、画像処理部20において入力した画像の評価を行い、その結果をUI部30に提示する。画像診断支援装置200が画像を受付ける医用画像取得装置100は、単一の装置でもよいし、図示するように、複数の医用撮像装置100A、100B・・・でもよく、それらは例えば、MRI装置、CT装置、X線撮影装置、超音波装置などの異なるモダリティでもよい。画像診断支援装置200と医用画像取得装置100とは、有線或は無線で或いはネットワークを介して接続される。或は、医用画像取得装置100が取得した画像を可搬媒体を介して画像診断支援装置200に入力するようにしてもよい。
【0019】
画像診断支援装置200は、CPUやGPUを備えたコンピュータ(ワークステーション)上に構築することができ、画像処理部20の機能はコンピュータが所定のプログラムを読み込むことにより実行される。UI部30は、ディスプレイ(表示装置)及びタッチパネル、ポインティングデバイス、キーボードなどの入力装置を備え、画像処理部20における処理結果やGUIを表示したり、ユーザーからの指示を受け付けたりする。記憶装置40は、処理結果を記憶したり、その他画像処理部20の処理に必要なデータなどを格納したりするものであり、コンピュータの内部記憶装置のほか、外部記憶装置やクラウド等を含んでいてもよい。
【0020】
画像処理部20は、画像の処理に関わる種々の機能を持たせることができるが、本実施形態では、入力した複数の画像について、UI部30を介して設定された特定の診断対象に対し、最も適切な画像を選択し、選択した画像やそれから導かれる診断情報を提示する機能を持つ。ここで複数の画像とは、複数の異なるモダリティの画像であってもよいし、同一の医用撮像装置で取得した異なる種類の画像、異なる時間で取得した画像であってもよい。さらに一つの画像データのうちの異なる断面の画像や一枚の画像のうちの異なる部分画像であってもよい。
【0021】
この機能を実現するために、画像処理部20は、複数の画像のそれぞれに対し、特定の診断対象に対する適切度や画像の信頼度を考慮した重み(診断情報に対する寄与度)を算出する寄与度算出部210と、寄与度に基づき所定の画像から検出用画像を作成する検出用画像作成部230と、診断情報を作成する診断情報作成部240とを備える。さらに画像処理部20は、
図2に示すように、検出用画像を作成するために、複数の画像から所定の画像を選択する画像選択部220や、画像間のコントラストを調整するコントラスト調整部260を備えていてもよい。また診断情報作成部240には、例えば、機械学習アルゴリズムを用いて入力画像から病変や異常などを検出する検出部250や画像の解析を行う解析部270などが含まれる。検出用画像とは、検出部250の機械学習アルゴリズムに入力するための画像である。
【0022】
上述した画像処理部20の各部の機能は、それぞれ、プログラムされた手順をコンピュータが実行することにより実現されるが、一部の機能は、ASICやFPGA等のハードウェアで実現することも可能である。
【0023】
上記構成における画像診断支援装置200の動作の流れを、
図3を参照して説明する。まずUI部30により、例えば腹部の腫瘍や脳の血管性障害の検査などのように診断対象が設定されているものとする。画像処理部20は、診断対象である検査目的に応じて取得した複数の画像(画像群)を医用画像取得装置100又は記憶装置から入力する(S1)。
【0024】
寄与度算出部210は、入力した各画像に対し、診断情報に対する寄与度を算出する(S2)。寄与度は、画像の画質などの信頼度及び診断対象に対する画像の適切度を示すパラメータ(内部パラメータという)に基づいて、所定の数式に従って算出される。
【0025】
ついで検出用画像作成部230が、寄与度をもとに、複数の画像を用いて或は複数の画像から所定の画像を選択した所定の画像を用いて、検出部250の入力画像となる検出用画像を作成する(S3)。検出用画像の作成には、例えば、寄与度をもとに画像選択部220が選択した画像や、寄与度を重みとして重み付け加算した画像を用いる。また検出用画像の作成に用いる画像は、検出部250を構成する機械学習アルゴリズムの学習過程で用いられた入力画像(学習画像)とは、画像を取得した装置や撮像条件などの違いによってコントラストも異なり、そのまま検出部250に入力しても良好な結果を得られないので、これを検出部250の学習画像のコントラストに合わせる処理を行う(コントラスト調整部260)。
【0026】
検出部250は、検出用画像作成部230が作成した検出用画像を入力として、病変や異常などの有無、程度を検出する(S4)。検出結果は、UI部30のディスプレイに表示される(S5)。
【0027】
以上が画像診断支援装置200の処理の概要であるが、個々の処理については、いくつかの手法を取りえる。以下の実施形態において、画像処理部20の処理の詳細を説明する。なお以下の実施形態では、画像診断支援装置200に入力される複数の画像がMRI装置で取得したコントラストの異なる画像である場合を例に説明する。
【0028】
<第一実施形態>
本実施形態は、複数の画像から一つの画像を選択し、その画像を検出用画像に変換した後、該当する疾患や病変を検出し提示する。
【0029】
本実施形態の画像処理部
20の構成は
図2に示す構成と同様であり、寄与度算出部210が算出した寄与度に基づき複数の画像の一つを選択する画像選択部220が備えられている。また検出
用画像作成部230はコントラスト調整部260Aを備えている。寄与度算出部210及び検出
用画像作成部230の詳細を
図4(A)、(B)に示す。寄与度算出部210は、画像のアーチファクトを検出するアーチファクト検出部211、アーチファクトを数値化し、それを信頼度として算出する信頼度算出部213、信頼度と画像毎に予め定められた内部パラメータとを用いて重みを算出する重み算出部215と、を備える。重み算出部215が算出する重みが実質的に画像の診断情報に対する寄与度を表している。
【0030】
検出用画像作成部230は、画像選択部220が選択した画像を、組織毎に分割したセグメンテーション画像を作成するセグメンテーション部231、画像選択部220が選択した画像(選択画像という)から病変と推定される部分を検出する病変仮検出部233と、セグメンテーション画像及び病変仮検出部233が推定した病変部の画素値を用いて、コントラスト調整のための変換関数を算出する変換関数算出部235と、選択画像に変換関数を適用して検査用画像を作成するコントラスト調整部260Aとを備える。
【0031】
以下、本実施形態における各部の処理を、
図3に示すフロー、及び
図5及び
図6を参照して説明する。
図5は、主として
図3のステップS2の詳細を示す図、
図6は、主として
図3のステップS3の詳細を示す図である。
【0032】
まず画像処理部20は、UI部30を介して診断対象を受付ける。ここでは診断対象が脳血管障害であるものとする。画像処理部20は、医用画像取得装置(ここではMRI装置)100において、脳血管障害の検査において取得した複数の画像を入力する(
図3:S1)。脳血管障害は、血管性認知症を診断する場合の一つの診断指標であり、NINDS-AIREN診断基準によって、血管性認知症の原因別分類とそれらの診断の判断基準となる梗塞、白質病変、微小出血などの脳血管障害との関係が定められている。そして、これら脳血管障害を診断するのに適したMR画像の種類もわかっており、例えば、FLARは白質病変や梗塞の診断に有効であり、またT2Wは梗塞、血管周囲拡大、T2*WやSWIは微小出血の診断に有効である。従って、医用画像取得装置100(MRI装置)では、脳血管障害の検査のために同一被検体に対し、
図5に示すように、T1W、FLAIR、T2W、T2*W、SWIなどの画像を取得しており、画像処理
部20はこれら複数の画像を入力する(
図3:S1)。
【0033】
寄与度算出部210では、各画像の診断対象に対する寄与度を算出する(S1)。このため、まず
図5に示すように、アーチファクト検出部211が入力した複数の画像のそれぞれについて、アーチファクトを検出する(S21)。アーチファクトの検出は、例えば、アーチファクトがない発生していない画像とアーチファクトが発生している画像との多数の組み合わせを用いて学習したCNN(コンボリューショナルニューラルネットワーク)を用いて検出する方法、公知のアーチファクト除去法によってアーチファクトが除去された画像と元画像との差分から検出する方法、など公知の手法を用いることができる。これにより、体動アーチファクトや磁化率アーチファクトなど画質に与える影響が大きいアーチファクトの有無とその大きさを検出する。
【0034】
信頼度算出部213は、アーチファクト検出部211が検出したアーチファクトの大きさを標準化し、信頼度の指標とする(S22)。
図5に示す例では、5つの画像に対し、一例として1.0、0.2、0.9、0.9、0.7の信頼度が算出されている。ここでアーチファクトの検出は、画像全体について行ってもよいが、画像を複数の領域に分けて検出し、領域毎に信頼度を算出してもよい。或は画像のスライス毎に信頼度を算出してもよい。その場合、画像の信頼度としては、これら部分毎の信頼度の加算(重み付け加算)を用いることができる。
【0035】
次に重み算出部215が、信頼度算出部213が算出した各画像の信頼度と内部パラメータとを用いて重みを算出する(S23)。内部パラメータは、画像種毎に診断対象(病変)に対する適切度を表す指標であり、例えば、
図7に示すテーブル等の形式で、予め定められ記憶装置40に格納されている。
図5に示す例では、5つの画像に対し、一例として0.5、1.0、0.7、0.2、0.0の内部パラメータが設定されているものとする。
重みは、これら「信頼度」と「内部パラメータ」との積、和など、二つの値を用いた関数で算出することができ、複数の画像の重みの和が1となるように決定する。
図5に示す例では、単純に信頼度と内部パラメータとの積を重みとしている。
【0036】
画像選択部220は、複数の画像から、算出した重みに従って一つの画像あるいは予め定めた数の画像を選択する(S24)。即ち、重みが最大である画像、あるいは上位二つの画像を選択する。ここでは一つの画像、例えばT2強調画像が選択されているものとする。
【0037】
画像選択部220により、一つの画像が選択されると、検出用画像作成部230は、選択された画像(選択画像)を検出部250の入力画像に合わせるための処理、即ち検出部250に入力する検出用画像に変換するための処理を行う(
図3:S3)。このため、
図6に示すように、セグメンテーション部231が、選択画像を灰白質、白質、脳脊髄液などの組織毎に分割してセグメンテーション画像を作成し、各セグメンテーション画像の画素値を求める(S31)。セグメンテーションは、閾値を用いた自動セグメンテーションアルゴリズムやニューラルネットワーク(CNN)等公知の手法を用いて行うことができる。
【0038】
また病変仮検出部233が、選択画像から病変の可能性が高い部位を抽出し、その部位の画素値を算出する。病変の仮検出は、上述したセグメンテーションと同様にCNN等を用いた病変セグメンテーションにより行うことができる。ここで行う病変仮検出は、検出部250が行う最終的な病変の検出とは異なり、病変と推定される部位についても画素値を求めておくことにより、後述する検出画像への変換処理の精度を高めるために行うものである。従って、実施することが好ましいが、セグメンテーションによって分割される組織の数が多い場合など省略することも可能である。
【0039】
次に変換関数算出部235が、上記ステップS31で算出された各セグメンテーション画像及び病変部の画素値(算出画素値)と、検出部250が学習時に使用した画像の対応する組織の画素値(学習時画素値)とを用いて変換関数を作成する(S32)。変換関数は、
図8に示すように、横軸を学習時画素値、縦軸を算出画素値とするグラフに、算出した画素値をプロットし、それをスプライン補間やフィッティングすることにより求めることができる。次にコントラスト調整部260Aが選択画像の各画素に変換関数を適用して検出用画像を作成する(S33)。このように作成された
検出用画像は、
検出部250が学習時に使用した画像とコントラストが同じになるように調整された画像である。
【0040】
ステップS33で作成した
検出用画像を検出部250に入力し、検出情報を得る。検出部250は、
図9に示すような、CNNの検出アルゴリズムで構成され、学習用データとして、どのようなデータを用いるかに応じて種々の態様をとることができ、例えば、出力である検出情報は、病変の有無や程度を示す文字情報でもよいし、画像に重畳した画像情報でもよいし、両者であってもよい。
図9に示す例では、T2強調画像を入力として、白質病変の検出結果を出力するように学習されており、画像とその上に例えば病変位置をカラー(ここでは灰色)で示す画像などが出力される。検出部250から出力される検出情報は、検出情報は、UI部30のディスプレイに表示される(
図3:S5)。
【0041】
本実施形態の画像診断支援装置によれば、複数の画像の中に、体動等の影響で病変検出に不適な画像がある場合にも、自動的に最も適切な画像を選択することができ、病変検出の精度を上げることができる。また入力される複数の画像のコントラストは、医用画像取得装置のベンダー、磁場強度(MRI装置の場合)、撮像条件などによって変化するが、本実施形態によれば、選択された画像を検出部の入力画像に合わせたコントラストに調整するので、元の画像のコントラストの違いの影響を排除することができ、検出部における検出精度を上げることができる。結果として、有用な支援情報を提供することができる。
【0042】
さらに本実施形態では、選択画像を検出部250の入力画像に合わせる際に、仮検出した病変部位の画素値も用いて変換関数を作成することにより、高い変換精度でコントラスト調整を行うことができる。
【0043】
<変形例1>
上述した実施形態では、複数の画像の信頼度の指標として、アーチファクトの有無及び大きさを用いる場合を説明したが、アーチファクトに代えて、或は加えて、画像のSNRを用いることも可能である。画像のSNRは、任意に設定した関心領域の画素値の平均値と標準偏差から求める方法など公知の方法で求めることができ、各画像について算出したSNRを標準化することで、信頼度を算出することができる。またアーチファクトから算出した信頼度とSNRから算出した信頼度を重み付け加算して信頼度としてもよい。
【0044】
<変形例2>
上述した実施形態では、コントラスト調整部260Aが選択画像のコントラストを検出部250の学習画像のコントラストに調整する場合を説明したが、選択画像がMR画像の場合、コントラストの異なる画像種間のコントラスト調整を行い、別のコントラスト画像を選択画像とすることも可能である。例えば、画像選択部220により選択された画像がT1強調画像であるが、診断対象にはT2強調画像が適切である場合、T1強調画像のコントラストを、採用されなかったT2強調画像に合わせる調整を行った後、学習画像であるT2強調画像のコントラストに調整してもよい。直接、学習画像のコントラストに調整してもよいが、このように計測したT2強調画像へのコントラスト調整をしておくことにより、もとの情報を最大限保ちながらコントラスト調整を行うことができる。
【0045】
<変形例3>
上述した実施形態では、コントラストの異なるMRI画像を処理対象として、その中の一つの画像種を選択する場合を示したが、同一の画像種の画像であってスライス位置の異なる複数の画像を処理対象としてもよい。スライス位置の異なる画像の場合にも、内部パラメータとしては、診断対象に対し最も適切な断面位置の適切度を最大の値とし、それから離れるに従い、或はその断面位置との角度が大きくなるに従い内部パラメータの値を小さくするように設定しておく。アーチファクトやSNRを用いて信頼度を算出することは第一実施形態と同様である。また信頼度の算出について、画像種毎に信頼度を算出するのではなく、画像の一部の領域毎、ピクセル毎、あるいは画像が3次元データの場合にはスライス位置毎に信頼度を算出してもよい。
【0046】
<第二実施形態>
第一実施形態では、画像選択部が複数の入力画像のうち一つの画像を選択して検出用画像を作成する場合を説明したが、本実施形態は、複数の入力画像を用いて検出用画像を作成する。本実施形態においても画像処理部20の構成は、
図2及び
図4に示す第一実施形態の構成とほほ同様であるが、画像選択部220は省略することができる。また第一実施形態ではコントラスト調整部260Aを検出用画像作成部230の一機能部としたが、本実施形態では、検出用画像作成前にコントラスト調整部260によるコントラスト調整を行う。以下、
図10のフローを参照して本実施形態の画像処理部20の処理を説明する。
図10において、
図3と同じ処理は同じ符号で示し、重複する説明は省略する。
【0047】
アーチファクトあるいはSNRの検出とそれに基づく信頼度を算出した後、重み算出部215が、入力した複数の画像について、その信頼度と内部パラメータとを用いて重み(寄与度)を算出する(S201)。信頼度の算出及び重みの算出方法は、第一実施形態と同様であり、画像全体についてアーチファクトやSNRを用いて信頼度を算出してもよいし、画像の部分、例えば、スライス毎、複数の領域毎、さらにはピクセル毎に信頼度を算出してもよい。第一実施形態では、画像選択部220が、重みが最大である画像を選択したが、本実施形態では検出用画像作成部230は画像の選択を行うことなく、複数の画像の重み付き加算を行う。画像を加算するために、まず、コントラスト調整部260が、複数の画像間のコントラスト調整を行う(S202)。コントラストの調整は、第一実施形態と同様に、セグメンテーション部231及び変換関数算出部235により、複数の画像のそれぞれについて、セグメンテーション及び病変仮検出を行い、各組織及び病変の画素と学習画像の画素とを用いて変換関数(
図8)を算出する。コントラスト調整部260は、変換関数をもとの複数の画像に適用して、それぞれ、コントラストが調整された画像を得る。
【0048】
ついでコントラスト調整後の複数の画像をステップS201で算出した重みを用いて合成し検出用画像を作成する(S301)。重みを用いた合成は、画素毎の重み加算となる。ここで、信頼度を画像の部分毎(組織毎やピクセル毎など)に求めている場合には、部分毎に重み加算する。これにより、信頼度が非常に低い画像の部分は重みも非常に小さくなるため、殆ど検出用画像には寄与しないことになり、信頼度の高い部分の情報が反映された検出用画像が得られる。また診断対象によって内部パラメータ(当該診断対象に対する適切度)が0に設定されている画像は重みもゼロとなり、その情報は検出用画像には反映されない。これにより寄与度の高い画像のみが、病変検出等に供されることになる。なお、本実施形態の重み加算(画像合成)の処理は、重みが最大の画像の重みを「1」とし、その他の画像の重みを「0」とした場合、第一実施形態における画像選択結果と同じであり、その意味で第一実施形態は本実施形態の特殊な一例とみなすことができる。
【0049】
合成された画像は、既にステップS202で検出部250の学習画像のコントラストとコントラストを一致される調整が行われているので、そのまま検出用画像として検出部250の入力画像となる。検出部250がこの検出用画像を入力し、所定の検出結果(診断支援情報)を出力する。
【0050】
本実施形態によれば、複数の画像の情報を重み付け加算して検出用画像を作成し、病変等の検出を行うので、複数の画像による診断が適切であるとされている病変等において、複数の画像の情報を無駄にすることなく、精度の高い病変検出が可能となる。また検出用画像を作成するための画像には画像の信頼度に基づく重みが付けられているので、検出用画像の信頼度の低下を防止できる。
【0051】
以上、第二実施形態の処理を説明したが、本実施形態においても、第一の実施形態の変形例として説明した変形例をそのまま適用することが可能である。
【0052】
<第三実施形態>
本実施形態は、検出用画像の作成までは、上述した第一及び第二実施形態と同様であるが、診断情報作成部240は機械学習アルゴリズムを用いた検出部250による病変検出機能に加え、解析処理を行う機能(
図2:解析部270)が備えられている。
【0053】
解析部270は、検出用画像を用いて、例えば、病変部の面積計算や出血部(微小出血)の個数計算などの処理を行う。また診断対象が脳の場合には、脳アトラスを用いて、算出した病変面積や出血部の個数などの数値を組織毎に解析し、解析結果を、UI部を介してユーザーに提示する。
【0054】
解析部270の処理を、脳解析の場合を例に、
図11及び
図12を参照して説明する。
病変の面積の算出の場合、
図11に示すように、検出用画像の解剖学的標準化を行う(S41)。脳画像については、予め取得した多数の被験者の脳画像から算出された平均的な形状・大きさの脳画像が標準脳として知られており、解剖学的標準化は、解析対象である画像を標準脳に変換する処理である。変換手法としては、アフィン変換や非剛体レジストレーションなどの手法が知られている。解析部270には、このような手法の変換モジュールが組み込まれており、検出用画像を標準脳の脳座標に変換する。解剖学的標準化された画像では、画素値で表される組織情報(灰白質であればその情報)はもとの画像の情報を保たれている。例えば座標変換に伴い、ある組織の座標が変化し、その面積は縮小されたり拡大されたりするが、その組織を構成する画素の積算値は情報として残り、面積の情報が保たれている。
【0055】
こうして得られた変換画像に対し、脳の各領域、例えば頭頂、前頭、側頭、後頭などを定めた脳アトラスを適用し、変換時に維持された各組織の情報を用いて、脳アトラスで指定された領域の面積を算出する(S42)。算出された面積は、任意の表示形態でディスプレイ等に表示される(S43)。
【0056】
個数算出の場合は、
図12に示すように、検出用画像において、まず出血の位置を特定し、その代表点を算出しておく(S51)。出血はある程度広がりを持つので、例えばその中心を代表点とする。出血位置の特定は、病変の画素値を用いて病変セグメンテーションを行うことによって検出することができる。
【0057】
ついで面積算出の際の解剖学的標準化と同様に検出用画像の解剖学的標準化を行い、標準脳の座標への変換を行う(S52)。この際、代表点の数の情報は、その位置情報とともに保存される。変換に伴って代表点の位置は変化し、出血部分が広がりを持つ場合には一部が重複してしまう場合もあるが、代表点(一点)の情報は重複することはないので、変換後にも一点の位置として求めることができる。変換後の画像に対し、脳アトラスを適用し、脳の領域毎にその領域に含まれる代表点の数をカウントする(S53)。
【0058】
解析部270は、以上のステップS41~S42或はS51~S53の処理によって算出した面積或は出血個数をUI部30のディスプレイに数値やグラフとして表示する(S54)。
図13(A)、(B)に表示例を示す。
図13(A)、(B)に示す例では、脳の病変を着色された領域(
図13(A)では灰色で示す)として示す脳画像とともに、脳の領域毎に例えば白質の面積と小出血の個数が棒グラフとして示されている。ユーザ(医師)は、このような表示を見ることで白質病変や出血が生じている脳の領域やその重症度を把握することができ、各病変の有無や程度から脳卒中や血管性認知症などの発症リスクを診断しやすくなる。
【0059】
なお上述した組織の面積や出血の個数の算出は一例であり、脳腫瘍の有無や程度など例示した解析以外の解析も同様の手段で行うことが可能である。
また上述した実施形態では、主として脳画像を中心に説明を行ったが、本発明の画像診断支援装置は脳の疾患のみならず、腹部や胸部の腫瘍等の病変についても同様に適用することが可能である。
【0060】
また以上の実施形態は、医用画像取得装置から独立した画像診断支援装置を説明したが、本発明の画像診断支援装置の機能は、MRI装置やCT装置などの医用画像取得装置が備える画像処理部において実現することも可能である。
【0061】
画像診断支援装置の機能を搭載した医用画像取得装置100の一例としてMRI装置の一実施形態を
図14に示す。このMRI装置100Aは、被検体60が置かれる空間に静磁場を発生する静磁場発生磁石11、傾斜磁場コイル12とその電源13(傾斜磁場発生部12)、送信用及び受信用の高周波コイル14とそれに接続された送信部(高周波発生器や高周波増幅器を含む)15及び受信部(直交検波器やA/D変換器を含む)16を含む撮像部10と、所定のパルスシーケンスに従い上記各部を制御するシーケンサ17と、受信部16が受信した核磁気共鳴信号を処理し、画像再構成等の演算を行う画像処理部20Aを備えている。
【0062】
画像処理部20Aと装置全体の制御を行う制御系の機能は、CPUやGPU及びメモリを備えたコンピュータ50で実現することができ、コンピュータに付属するディスプレイや入力デバイスからなるUI部51を介して画像処理部20Aの結果を表示したり画像処理部20Aの処理や装置の制御に必要な指令やデータを入力したりすることができる。また画像処理部20Aの処理結果や処理途中のデータは記憶装置52に格納することができる。このMRI装置100Aは、画像処理部20Aが画像診断支援機能を備えていること、画像診断支援機能に伴う制御や表示が追加されること以外は、一般的なMRI装置と同様である。即ち、画像処理部20Aの機能ブロック図は、
図1及び
図2に示した上記実施形態の画像診断支援装置の画像処理部20と同様であり、例えば、
図3に示すフローに従って処理を行う画像診断支援プログラムが搭載されている。
【0063】
診断情報作成部240の検出部250が検出した結果や、さらに解析部270を備える場合には、その解析結果がUI部51のディスプレイに表示される。また画像診断支援機能を動作させるために必要な情報、例えば、所定の病変を指定する指令は、UI部51の入力デバイスを介して画像処理部20Aに与えられる。
【0064】
MRI装置100Aでは、ユーザーが設定したパルスシーケンスと撮像条件に従い、撮像部10が動作することにより、パルスシーケンスと撮像条件で決まる所望のコントラストの画像を取得することができる。MRI装置100Aを用いた検査では、取得する画像種が、その撮像順序とともに予めプロトコルとして決められている。MRI検査をこのような検査プロトコルに従って行う場合には、プロトコルの一部に画像診断支援機能の実行を予め加えておいてもよく、これによって自動的に必要な種類の画像の取得と、それら画像を用いた画像診断支援機能が実行される。例えば撮像部10は、プロトコルで定められた順序で所定のパルスシーケンスと撮像パラメータを用いた複数の撮像シーケンスを実行し、T1W、T2W等の複数種の画像を取得する。画像処理部20Aは、これら複数種の画像を受け取り、診断情報の作成と提示を行う。
【0065】
以上、本発明の画像診断支援装置をMRI装置に適用した例を説明したが、MRI装置以外の医用画像取得装置でも画像処理部として画像診断支援機能を追加することができる。
【符号の説明】
【0066】
10:撮像部、20(20A):画像処理部、30:UI部、40:記憶装置、50:コンピュータ、100:医用画像取得装置、100A:医用画像取得装置(MRI装置)、200:画像診断支援装置、210:寄与度算出部、211:アーチファクト検出部、213:信頼度算出部、215:重み算出部、220:画像選択部、230:検出用画像作成部230、231:セグメンテーション部、233:病変仮検出部、235:変換関数算出部、240:診断情報作成部、250:検出部、260(260A):コントラスト調整部、270:解析部