(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-18
(45)【発行日】2024-10-28
(54)【発明の名称】診断支援装置、推測装置、診断支援システム、診断支援方法、診断支援プログラム及び学習済みモデル
(51)【国際特許分類】
A61B 5/055 20060101AFI20241021BHJP
A61B 10/00 20060101ALI20241021BHJP
【FI】
A61B5/055 380
A61B10/00 H
(21)【出願番号】P 2021516228
(86)(22)【出願日】2020-04-24
(86)【国際出願番号】 JP2020017585
(87)【国際公開番号】W WO2020218460
(87)【国際公開日】2020-10-29
【審査請求日】2023-04-04
(31)【優先権主張番号】P 2019085889
(32)【優先日】2019-04-26
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】506137147
【氏名又は名称】エーザイ・アール・アンド・ディー・マネジメント株式会社
(74)【代理人】
【識別番号】100079108
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100080953
【氏名又は名称】田中 克郎
(74)【代理人】
【識別番号】100109346
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100134120
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】廣田 宗司
(72)【発明者】
【氏名】伊東 純一
(72)【発明者】
【氏名】三浦 雄治
(72)【発明者】
【氏名】青島 健
(72)【発明者】
【氏名】今林 悦子
【審査官】安田 明央
(56)【参考文献】
【文献】特許第6483890(JP,B1)
【文献】特開2016-064004(JP,A)
【文献】特開2018-138537(JP,A)
【文献】椎名顯彦ほか,アルツハイマー病の画像診断-voxel-based morphometryと人工知能によるアルツハイ,脳循環代謝,2017年,第28巻、第2号,第303-308頁
【文献】椎野顯彦 岩本祐太郎 陳延偉,人工知能によるMR画像からのprogressive MCIの予測,日本認知症学会誌 第36回日本認知症学会学術集会プログラム・抄録集,日本,一般社団法人日本認知症学会,2017年10月15日,Vol.31,No.4,p.608(188),https://web.archive.org/web/20011102115111/http://www.interq.or.jp/ox/dwm/se/se23/se2329009.html
【文献】西田恒彦 武田雅俊(編),認知症の脳画像診断 早期検出と鑑別をめざして,日本,株式会社メジカルビュー社,2015年09月20日,p.8-13
【文献】Shannon L. Risacher et al.,Baseline MRI Predictors of Conversion from MCI to ,Current Alzheimer Research,2009,Vol.6,No.4,米国,2009年,p.347-361
【文献】L. O. Iheme et al.,Atrophy Measurement Biomarkers Using Structural MR,MICCAI 2012 Workshop on Novel Imaging Biomarkers f,米国,2012年,p.247-255
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/055
A61B 10/00
(57)【特許請求の範囲】
【請求項1】
対象者の全脳の画像を取得する第1取得部と、
複数の被験者の認知症の実測データが関連付けられ、前記複数の被験者の全脳の画像、及び前記被験者の認知機能に関するテストのスコア、前記被験者の年齢、前記被験者の性別、前記被験者の身長、前記被験者の体重、前記被験者の既往歴、前記被験者の前記全脳の部位毎の体積及び前記被験者の前記全脳の萎縮度を表すスコア並びにこれらの経年別データの少なくともいずれか一つ又は複数の組み合わせの情報を含む被験者データを含む学習データに基づいて生成された学習済みモデルに前記
対象者の全脳の画像を入力し、前記対象者の認知症に関連する推測を行った推測結果を取得する第2取得部と、
前記推測結果及び前記推測結果の根拠となる前記
対象者の画像における全脳の関心領域を示す情報を表示する表示部と、
を備える診断支援装置。
【請求項2】
前記第1取得部は、前記全脳の3次元画像を取得する、
請求項1に記載の診断支援装置。
【請求項3】
前記表示部は、前記推測結果の根拠となる前記3次元画像における全脳の関心領域を、3次元位置が識別可能な態様で表示する、
請求項2に記載の診断支援装置。
【請求項4】
前記第2取得部は、前記学習済みモデルを用いて、前記
対象者の画像に基づいて、前記対象者が所定期間内に認知症を発症するリスクの推測を行った推測結果を取得する、
請求項1から3のいずれか一項に記載の診断支援装置。
【請求項5】
前記第2取得部は、前記学習済みモデルを用いて、前記
対象者の画像に基づいて、前記全脳に関する認知症原因タンパク質の蓄積を推測した推測結果を取得する、
請求項1から3のいずれか一項に記載の診断支援装置。
【請求項6】
前記第2取得部は、前記学習済みモデルを用いて、前記
対象者の画像に基づいて、前記全脳に関するアミロイドβタンパク質の蓄積を推測した推測結果を取得する、
請求項1から3のいずれか一項に記載の診断支援装置。
【請求項7】
前記第2取得部は、前記学習済みモデルを用いて、前記対象者の認知機能に関するテストのスコア、前記対象者の年齢、前記対象者の性別、前記対象者の身長、前記対象者の体重、前記対象者の既往歴、前記対象者の前記全脳の部位毎の体積及び前記対象者の前記全脳の部位毎の萎縮度を表すスコア並びにこれらの経年別データの少なくともいずれか一つ又は複数の組み合わせの情報と、前記
対象者の画像とに基づいて、前記対象者の認知症に関連する推測を行った前記推測結果を取得する、
請求項1から6のいずれか一項に記載の診断支援装置。
【請求項8】
複数の被験者の認知症の実測データが関連付けられ、前記複数の被験者の全脳の画像、及び前記被験者の認知機能に関するテストのスコア、前記被験者の年齢、前記被験者の性別、前記被験者の身長、前記被験者の体重、前記被験者の既往歴、前記被験者の前記全脳の部位毎の体積及び前記被験者の前記全脳の萎縮度を表すスコア並びにこれらの経年別データの少なくともいずれか一つ又は複数の組み合わせの情報を含む被験者データを含む学習データに基づいて生成された学習済みモデルに対象者の全脳の画像を入力し、前記対象者の認知症に関連する推測を行う推測部と、
前記学習済みモデルを用いて、前記推測
の結果の根拠となる前記
対象者の画像における全脳の関心領域を推定する推定部と、
前記推測の結果及び前記推測の結果の根拠となる前記
対象者の画像における全脳の関心領域を示す情報を診断支援装置に提供する提供部と、
を備える推測装置。
【請求項9】
診断支援装置と、
複数の被験者の認知症の実測データが関連付けられ、前記複数の被験者の全脳の画像、及び前記被験者の認知機能に関するテストのスコア、前記被験者の年齢、前記被験者の性別、前記被験者の身長、前記被験者の体重、前記被験者の既往歴、前記被験者の前記全脳の部位毎の体積及び前記被験者の前記全脳の萎縮度を表すスコア並びにこれらの経年別データの少なくともいずれか一つ又は複数の組み合わせの情報を含む被験者データを含む学習データに基づいて生成された学習済みモデルを記憶している推測装置とを備える診断支援システムであって、
前記診断支援装置は、
対象者の全脳の画像を取得する第1取得部と、
前記学習済みモデルに前記
対象者の全脳の画像を入力し、前記対象者の認知症に関連する推測を行った推測結果を取得する第2取得部と、
前記推測結果及び前記推測結果の根拠となる前記
対象者の画像における全脳の関心領域を示す情報を表示する表示部と、を有する、
診断支援システム。
【請求項10】
前記推測装置は、
前記学習済みモデルを用いて、前記
対象者の画像に基づいて、前記対象者の認知症に関連する推測を行う推測部と、
前記学習済みモデルを用いて、前記推測の結果の根拠となる前記
対象者の画像における全脳の関心領域を推定する推定部と、を有する、
請求項9に記載の診断支援システム。
【請求項11】
前記推測装置は、
前記学習済みモデルを生成する生成部を有する、
請求項10に記載の診断支援システム。
【請求項12】
前記生成部は、前記対象者の全脳の画像及び前記対象者の認知症に関連する診断結果に基づいて、前記学習済みモデルの再学習を行う、
請求項11に記載の診断支援システム。
【請求項13】
診断支援装置の第1取得部により、対象者の全脳の画像を取得することと、
複数の被験者の認知症の実測データが関連付けられ、前記複数の被験者の全脳の画像、及び前記被験者の認知機能に関するテストのスコア、前記被験者の年齢、前記被験者の性別、前記被験者の身長、前記被験者の体重、前記被験者の既往歴、前記被験者の前記全脳の部位毎の体積及び前記被験者の前記全脳の萎縮度を表すスコア並びにこれらの経年別データの少なくともいずれか一つ又は複数の組み合わせの情報を含む被験者データを含む学習データに基づいて生成された学習済みモデルに前記
対象者の全脳の画像を入力し、前記診断支援装置の第2取得部により前記対象者の認知症に関連する推測を行った推測結果を取得することと、
前記診断支援装置の表示部により、前記推測結果及び前記推測結果の根拠となる前記
対象者の画像における全脳の関心領域を示す情報を表示することと、
を含む診断支援方法。
【請求項14】
診断支援装置に、
対象者の全脳の画像を取得することと、
複数の被験者の認知症の実測データが関連付けられ、前記複数の被験者の全脳の画像、及び前記被験者の認知機能に関するテストのスコア、前記被験者の年齢、前記被験者の性別、前記被験者の身長、前記被験者の体重、前記被験者の既往歴、前記被験者の前記全脳の部位毎の体積及び前記被験者の前記全脳の萎縮度を表すスコア並びにこれらの経年別データの少なくともいずれか一つ又は複数の組み合わせの情報を含む被験者データを含む学習データに基づいて生成された学習済みモデルに前記
対象者の全脳の画像を入力し、前記対象者の認知症に関連する推測を行った推測結果を取得することと、
前記推測結果及び前記推測結果の根拠となる前記
対象者の画像における全脳の関心領域を示す情報を表示することと、
を実行させる診断支援プログラム。
【請求項15】
コンピュータが備える演算部に演算させるための学習済みモデルであって、
複数の被験者の認知症の実測データが関連付けられ、前記複数の被験者の全脳の画像、及び前記被験者の認知機能に関するテストのスコア、前記被験者の年齢、前記被験者の性別、前記被験者の身長、前記被験者の体重、前記被験者の既往歴、前記被験者の前記全脳の部位毎の体積及び前記被験者の前記全脳の萎縮度を表すスコア並びにこれらの経年別データの少なくともいずれか一つ又は複数の組み合わせの情報を含む被験者データを含む学習データを用いた学習モデルの学習処理によって、
対象者の全脳の画像を入力し、前記対象者の認知症に関連する推測を
コンピュータの演算部が行うことと、
前記推測の結果の根拠となる前記
対象者の画像における全脳の関心領域を
、前記コンピュータの演算部が推定することと、
を実行するように学習処理されている学習済みモデル。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、診断支援装置、推測装置、診断支援システム、診断支援方法、診断支援プログラム及び学習済みモデルに関する。
【背景技術】
【0002】
従来、機械学習技術を用いて、脳のMRI(Magnetic Resonance Imaging)画像等に基づいて認知症のリスクを推測する研究が行われている。
【0003】
例えば、下記特許文献1には、軽度認知障害の被験者が所定期間内にアルツハイマー病を発症するか否かの予測を行う診断支援装置が記載されている。診断支援装置は、被験者から取得した脳画像を灰白質、白質、および髄液部分に分割し、分割された各領域に複数の関心領域を設定し、各関心領域の体積について、各関心領域におけるt値およびp値を演算し、t値およびp値に基づいて、各関心領域のz値を演算し、z値に基づいて、機械学習された予測アルゴリズムに従って、被験者が所定期間内にアルツハイマー病を発症するか否かの予測を行う。
【0004】
下記特許文献2には、同一患者の脳画像間の変化量を精度よく取得するための医用画像処理装置が記載されている。医用画像処理装置は、標準脳画像を基準に被検体の第1の脳画像を位置合わせした後複数の領域に分割し、第1の脳画像を基準に被検体の第2の脳画像を位置合わせして、少なくとも一つの領域についての変化量を取得する。分割の手法としては、ブロードマンの脳地図に基づいて、脳を運動、言語、知覚、記憶、視覚及び聴覚等の各機能を司る領域に分割する手法、脳を大脳、間脳、中脳、後脳、小脳及び延髄の6種類の領域に分割する手法が記載されている。また、同文献には、過去の複数の患者について、領域毎の変化量、すなわち委縮率を教師データとして機械学習させることにより判別機を作成することが記載されている。
【0005】
下記非特許文献1には、脳画像をボクセルごとに分割して、PET検査により評価するVBM(Voxel Based morphometry)法によるSUVR値の分布が示されている。同文献の
図2には、ロジスティック回帰分析により、眼窩前頭皮質、中央前頭皮質、中側頭皮質、側頭後頭接合部、後部帯状皮質、角回、楔前部、被殻、および側坐核に分割し、各領域のSUVR値の疾患寄与率のマップが示されている。
【0006】
下記非特許文献2には、身体所見、神経学的診察、血液検査、画像検査等を用いて、認知症の鑑別診断を行うことが記載されている。
【先行技術文献】
【特許文献】
【0007】
【文献】特許第6483890号公報
【文献】国際公開WO2019/003749号
【非特許文献】
【0008】
【文献】MATHOTAARACHCHI, Sulantha et al., “Identifying incipient dementia individuals using machine learning and amyloid imaging”,Neurobiology of Aging, 2017年11月,Vol.59,p.80-90
【文献】“認知症疾患 診療ガイドライン 2017”,株式会社 医学書院,2017年8月1日,p.36-37
【発明の概要】
【発明が解決しようとする課題】
【0009】
機械学習技術を用いて、MRI画像等に基づいて認知症のリスクを推測した結果は、医師による診断に活用される。
【0010】
しかしながら、単に推測結果を提示するだけでは、どのような理由でその推測がされたのかが明らかでない。そのため、医師は、推測結果の妥当性を判断することが難しく、結果として推測結果が採用しづらくなるおそれがある。
【0011】
また、海馬に委縮がみられないにもかかわらずAD(Alzheimer Disease;アルツハイマー病)に相当しない場合や、PET検査においてアミロイドβタンパク質の蓄積が大きいことが検出されたにもかかわらずADの前駆状態であるMCI(Mild Cognitive Impairment;軽度認知障害)に相当しない場合等、脳の一部領域を評価する従来の手法では、精度の高い診断を行うことが困難な場合がある。
【0012】
そこで、本発明は、学習済みモデルによる推測結果の妥当性が確認しやすく、かつ、診断精度を高めることが可能になる診断支援装置、推測装置、診断支援システム、診断支援方法、診断支援プログラム及び学習済みモデルを提供する。
【課題を解決するための手段】
【0013】
本発明の一態様に係る診断支援装置は、対象者の全脳の画像を取得する第1取得部と、学習済みモデルに画像を入力し、対象者の認知症に関連する推測を行った推測結果を取得する第2取得部と、推測結果及び推測結果の根拠となる画像における全脳の関心領域を示す情報を表示する表示部と、を備える。
【0014】
この態様によれば、学習済みモデルを用いて、対象者の認知症に関連する推測を行った推測結果を、推測結果の根拠となる画像における全脳の関心領域を示す情報とともに表示することで、学習済みモデルによる推測結果の妥当性が確認しやすくなる。
【0015】
ここで「全脳の画像」とは、頭蓋骨によって囲まれた全ての領域の画像(断面画像の場合、その断面における、頭蓋骨によって囲まれた全ての領域)をいう。典型的な場合、脳の水平断面(軸位断、軸位面)の全脳画像には、前頭葉、側頭葉、後頭葉等が含まれ、前後方向と平行な垂直断面(矢状断、矢状面)には、前頭葉、頭頂葉、後頭葉及び延髄が含まれ、左右方向と平行な垂直断面(冠状断、冠状面)には、側頭葉、前頭葉又は頭頂葉、延髄が含まれる。
【0016】
また、「推測結果の根拠となる画像における全脳の関心領域」とは、仮に、その領域の画像データを異ならせたときに、異なる推測結果をもたらす領域をいう。例えば、認知症である可能性が高い、という推測結果をもたらした全脳画像の画像データについて表示される関心領域の画像データを異ならせて学習済みモデル入力した場合に、認知症である可能性が低い、という推測結果をもたらす領域をいう。
【0017】
「全脳の関心領域」とは、頭蓋骨によって囲まれた全ての領域内の関心領域をいい、「関心領域」とは、認知症に関連する推測結果の起因となった領域をいう。
【0018】
上記態様において、第1取得部は、全脳の3次元画像を取得してもよい。
【0019】
この態様によれば、全脳の3次元画像を用いることで、全脳の立体的な特徴を捉えて認知症に関連する推測を行うことができる。
【0020】
上記態様において、表示部は、推測結果の根拠となる3次元画像における全脳の関心領域を、3次元位置が識別可能な態様で表示してもよい。
【0021】
この態様によれば、推測結果の根拠となる画像における全脳の関心領域を、立体的に捉えることができ、学習済みモデルによる推測結果の妥当性がより確認しやすくなる。
【0022】
上記態様において、第2取得部は、学習済みモデルを用いて、画像に基づいて、対象者が所定期間内に認知症を発症するリスクの推測を行った推測結果を取得してもよい。
【0023】
この態様によれば、対象者が所定期間内に認知症を発症するリスクに関する推測結果が妥当なものであるか、推測結果の根拠となる画像における全脳の関心領域を示す情報によって確認することができる。
【0024】
上記態様において、第2取得部は、学習済みモデルを用いて、画像に基づいて、全脳に関するアミロイドβタンパク質やタウタンパク質等の認知症原因タンパク質の蓄積を推測した推測結果を取得してもよい。
【0025】
この態様によれば、対象者の全脳に関するアミロイドβタンパク質やタウタンパク質等の認知症原因タンパク質の蓄積を推測した推測結果が妥当なものであるか、推測結果の根拠となる画像における全脳の関心領域を示す情報によって確認することができる。
【0026】
上記態様において、第2取得部は、学習済みモデルを用いて、対象者の認知機能に関するテストのスコア、対象者の年齢、対象者の性別、対象者の身長、対象者の体重、対象者の既往歴、対象者の全脳の部位毎の体積及び対象者の全脳の部位毎の萎縮度を表すスコア並びにこれらの経年別データの少なくともいずれか一つ又は複数の組み合わせの情報と、画像とに基づいて、対象者の認知症に関連する推測を行った推測結果を取得してもよい。
【0027】
この態様によれば、学習済みモデルを用いて、対象者に関する情報及び対象者の全脳の画像に基づいて対象者の認知症に関連する推測を行うことで、推測精度をより高くすることができる。
【0028】
本発明の他の態様に係る推測装置は、学習済みモデルに対象者の全脳の画像を入力し、対象者の認知症に関連する推測を行う推測部と、学習済みモデルを用いて、推測結果の根拠となる画像における全脳の関心領域を推定する推定部と、推測の結果及び推測の結果の根拠となる画像における全脳の関心領域を示す情報を診断支援装置に提供する提供部と、を備える。
【0029】
この態様によれば、学習済みモデルを用いて、対象者の認知症に関連する推測を行った推測結果と、推測結果の根拠となる画像における全脳の関心領域を示す情報とを算出し、診断支援装置に提供することで、診断支援装置を用いるユーザが学習済みモデルによる推測結果の妥当性を確認しやすくなる。
【0030】
本発明の他の態様に係る診断支援システムは、診断支援装置と、学習済みモデルを記憶している推測装置とを備える診断支援システムであって、診断支援装置は、対象者の全脳の画像を取得する第1取得部と、学習済みモデルに画像を入力し、対象者の認知症に関連する推測を行った推測結果を取得する第2取得部と、推測結果及び推測結果の根拠となる画像における全脳の関心領域を示す情報を表示する表示部と、を有する。
【0031】
この態様によれば、学習済みモデルを用いて、対象者の認知症に関連する推測を行った推測結果を、推測結果の根拠となる画像における全脳の関心領域を示す情報とともに表示することで、学習済みモデルによる推測結果の妥当性が確認しやすくなる。
【0032】
上記態様において、推測装置は、学習済みモデルを用いて、画像に基づいて、対象者の認知症に関連する推測を行う推測部と、学習済みモデルを用いて、推測結果の根拠となる画像における全脳の関心領域を推定する推定部と、を有してもよい。
【0033】
この態様によれば、推測装置によって、学習済みモデルを用いて、対象者の認知症に関連する推測を行った推測結果と、推測結果の根拠となる画像における全脳の関心領域を示す情報とを算出し、診断支援装置に提供することができる。
【0034】
上記態様において、推測装置は、複数の被験者の認知症に関連する実測データが関連付けられた、複数の被験者の全脳の画像を含む学習データを用いて、学習モデルの学習処理を実行し、学習済みモデルを生成する生成部を有してもよい。
【0035】
この態様によれば、複数の被験者の認知症に関連する実測データが関連付けられた、複数の被験者の全脳の画像を用いて、適切な推測ができる学習済みモデルを生成することができる。
【0036】
上記態様において、学習データは、被験者の認知機能に関するテストのスコア、被験者の年齢、被験者の性別、被験者の身長、被験者の体重、被験者の既往歴、被験者の全脳の部位毎の体積及び被験者の全脳の部位毎の萎縮度を表すスコア並びにこれらの経年別データの少なくともいずれか一つ又は複数の組み合わせの情報を含む被験者データをさらに含み、生成部は、複数の被験者の全脳の画像及び被験者データに基づいて、学習済みモデルを生成してもよい。
【0037】
この態様によれば、複数の被験者に関する被験者データ及び対象者の全脳の画像に基づいて学習済みモデルを生成することで、対象者の認知症に関連する推測精度がより高い学習済みモデルを生成することができる。
【0038】
上記態様において、生成部は、対象者の全脳の画像及び対象者の認知症に関連する診断結果に基づいて、学習済みモデルの再学習を行ってもよい。
【0039】
この態様によれば、蓄積される対象者の全脳の画像及び診断結果を用いて、学習済みモデルを改善していくことができる。
【0040】
本発明の他の態様に係る診断支援方法は、対象者の全脳の画像を取得することと、学習済みモデルに画像を入力し、対象者の認知症に関連する推測を行った推測結果を取得することと、推測結果及び推測結果の根拠となる画像における全脳の関心領域を示す情報を表示することと、を含む。
【0041】
この態様によれば、学習済みモデルを用いて、対象者の認知症に関連する推測を行った推測結果を、推測結果の根拠となる画像における全脳の関心領域を示す情報とともに表示することで、学習済みモデルによる推測結果の妥当性が確認しやすくなる。
【0042】
本発明の他の態様に係る診断支援プログラムは、診断支援装置に、対象者の全脳の画像を取得することと、学習済みモデルに画像を入力し、対象者の認知症に関連する推測を行った推測結果を取得することと、推測結果及び推測結果の根拠となる画像における全脳の関心領域を示す情報を表示することと、を実行させる。
【0043】
この態様によれば、学習済みモデルを用いて、対象者の認知症に関連する推測を行った推測結果を、推測結果の根拠となる画像における全脳の関心領域を示す情報とともに表示することで、学習済みモデルによる推測結果の妥当性が確認しやすくなる。
【0044】
本発明の他の態様に係る学習済みモデルは、複数の被験者の認知症に関連する実測データが関連付けられた、複数の被験者の全脳の画像を含む学習データを用いた学習モデルの学習処理に対象者の全脳の画像を入力し、対象者の認知症に関連する推測を行うことと、推測の結果の根拠となる画像における全脳の関心領域を推定することと、を実行するように学習処理されている。
【0045】
この態様によれば、対象者の認知症に関連する推測を行った推測結果と、推測結果の根拠となる画像における全脳の関心領域を示す情報とを算出し、診断支援装置に提供することができる。
【0046】
本発明の他の態様に係る診断支援装置は、対象者の全脳の第1画像を取得する第1取得部と、学習済みモデルに第1画像を入力し、対象者の認知症に関連する推測を行った第1推測結果を取得する第2取得部と、この第1画像の一部領域のみが異なるデータである第2画像を学習済みモデルに入力した場合に第1推測結果と異なる第2推測結果が得られる一部領域を取得する設定部と、第1推測結果及び一部領域を表示する表示部を備える。
【0047】
本発明の他の態様に係る診断支援方法は、対象者の全脳の第1画像を取得することと、学習済みモデルに第1画像を入力し、対象者の認知症に関連する推測を行った第1推測結果を取得することと、この第1画像の一部領域のみが異なるデータである第2画像を学習済みモデルに入力した場合に第1推測結果と異なる第2推測結果が取得される一部領域を設定することと、第1推測結果及び一部領域を表示することと、を含む。
【0048】
ここで、一部領域は、推測結果の根拠となる領域に相当し、対象者ごとに異なる。すなわち、ある対象者にとっての一部領域と、異なる対象者にとっての一部領域は、異なる。
【発明の効果】
【0049】
本発明によれば、学習済みモデルによる推測結果の妥当性が確認しやすく、かつ、診断精度を高めることが可能になる診断支援装置、推測装置、診断支援システム、診断支援方法、診断支援プログラム及び学習済みモデルを提供することができる。
【図面の簡単な説明】
【0050】
【
図1】本発明の実施形態に係る診断支援システムのネットワーク構成を示す図である。
【
図2】本実施形態に係る診断支援装置及び推測装置の機能ブロックを示す図である。
【
図3】本実施形態に係る診断支援装置の物理的構成を示す図である。
【
図4】本実施形態に係る推測装置による認知症に関する推測結果及びその根拠を診断支援装置に表示する例を示す図である。
【
図5】本実施形態に係る推測装置による認知症に関する推測精度を示す図である。
【
図6】本実施形態に係る診断支援システムによる認知症に関する推測及びその根拠の表示に関するフローチャートである。
【
図7】本実施形態に係る推測装置による第1学習済みモデルの学習処理のフローチャートである。
【
図8】本実施形態に係る推測装置によるアミロイドβタンパク質の蓄積に関する推測結果及びその根拠を診断支援装置に表示する例を示す図である。
【
図9】本実施形態に係る推測装置によるアミロイドβタンパク質の蓄積に関する推測精度を示す図である。
【
図10】本実施形態に係る診断支援システムによるアミロイドβタンパク質の蓄積に関する推測及びその根拠の表示に関するフローチャートである。
【発明を実施するための形態】
【0051】
添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
【0052】
図1は、本発明の実施形態に係る診断支援システム100のネットワーク構成を示す図である。診断支援システム100は、診断支援装置10と、学習済みモデルを記憶している推測装置20と、画像管理サーバ30と、MRIスキャナ50とを備える。診断支援装置10、推測装置20及び画像管理サーバ30は、インターネットやLAN(Local Area Network)等の通信ネットワークNで通信可能に接続される。画像管理サーバ30とMRIスキャナは、DICOM(Digital Imaging and Communications in Medicine)等によって通信可能に接続される。
【0053】
診断支援装置10は、汎用のコンピュータで構成され、例えば医師によって使用される。診断支援装置10は、推測装置20から対象者の認知症に関連する推測を行った推測結果と、推測結果の根拠となるMRI画像における脳の関心領域を示す情報とを表示する。診断支援装置10を用いる医師等のユーザは、表示される推測結果及び推測結果の根拠となる脳の関心領域を示す情報を診断の補助として、対象者の認知症に関連する診断を行うことができる。
【0054】
推測装置20は、汎用のコンピュータで構成され、学習済みモデルを用いて、画像管理サーバ30から取得した対象者の脳の画像に基づいて、対象者の認知症に関連する推測を行う。また、推測装置20は、学習済みモデルを用いて、推測結果の根拠となる画像における脳の関心領域を推定する。推測装置20により算出された推測結果及び推測結果の根拠となる脳の関心領域に関する情報は、診断支援装置10に提供される。
【0055】
画像管理サーバ30は、汎用のコンピュータで構成され、MRIスキャナ50で測定された対象者の脳のMRI画像のデータベースを有する。画像管理サーバ30は、推測装置20の学習済みモデルを生成するために用いられる、複数の被験者の脳の画像を含む学習データを記憶してもよい。なお、画像管理サーバ30は、MRIスキャナ50で測定された対象者の脳のMRI画像だけでなく、CT(Computed Tomography)スキャナで測定された対象者の脳のCT画像や、PET(Positron Emission Tomography)スキャナで測定された対象者の脳のPET画像等の脳の医用画像を記憶してもよいが、検査の簡便さなどを考慮すれば、脳のMRI画像を用いるのが好ましい。
【0056】
MRIスキャナ50は、核磁気共鳴を利用して対象者の身体内部の画像を撮影する。MRIスキャナ50は、特に、対象者の頭部内の画像、すなわち脳の画像を撮影する。撮影されたMRI画像は、画像管理サーバ30に蓄積され、推測装置20や診断支援装置10によって取得される。
【0057】
図2は、本実施形態に係る診断支援装置10及び推測装置20の機能ブロックを示す図である。診断支援装置10は、第1取得部11、第2取得部12及び表示部10fを備える。また、推測装置20は、記憶部21、生成部22、推測部23、推定部24及び提供部25を備える。
【0058】
第1取得部11は、画像管理サーバ30から、対象者の脳の画像を取得する。第1取得部11は、対象者の脳の3次元画像を取得してよい。ここで、3次元画像は、MRIスキャナ50で測定された脳のMRI画像であってよい。脳の3次元画像を用いることで、脳の立体的な特徴を捉えて認知症に関連する推測を行うことができる。
【0059】
第2取得部12は、第1学習済みモデル21b又は第2学習済みモデル21cを用いて、脳の画像に基づいて、対象者の認知症に関連する推測を行った推測結果を、推測装置20から取得する。また、第2取得部12は、推測結果の根拠となる画像における脳の関心領域を示す情報を推測装置20から取得する。
【0060】
第2取得部12は、第1学習済みモデル21bを用いて、脳の画像に基づいて、対象者が所定期間内に認知症を発症するリスクの推測を行った推測結果を取得してよい。対象者が所定期間内に認知症を発症するリスクの推測を行った推測結果は、例えば、対象者が2年以内に認知症を発症する確率を算出した結果であってよい。
【0061】
また、第2取得部12は、第2学習済みモデル21cを用いて、脳の画像に基づいて、脳に関するアミロイドβタンパク質の蓄積を推測した推測結果を取得してよい。脳に関するアミロイドβタンパク質の蓄積を推測した推測結果は、アミロイドβタンパク質の蓄積量の推測結果であったり、アミロイドβタンパク質の蓄積量が閾値以上であるか否か(アミロイドβタンパク質の蓄積の有無)を推測した結果であったりしてよい。
【0062】
表示部10fは、対象者の認知症に関連する推測を行った推測結果及び推測結果の根拠となる画像における脳の関心領域を示す情報を表示する。このように、学習済みモデルを用いて、対象者の認知症に関連する推測を行った推測結果を、推測結果の根拠となる画像における脳の関心領域を示す情報とともに表示することで、学習済みモデルによる推測結果の妥当性が確認しやすくなる。
【0063】
表示部10fは、推測結果の根拠となる3次元画像における脳の関心領域を、3次元位置が識別可能な態様で表示してよい。表示部10fは、例えば、脳のMRI画像に重畳するヒートマップによって、推測結果の根拠となる3次元画像における脳の関心領域を表示してよい。また、表示部10fは、回転操作可能に脳の3次元画像を表示し、3次元画像に重畳するヒートマップによって、推測結果の根拠となる3次元画像における脳の関心領域を表示してよい。これにより、推測結果の根拠となる画像における脳の関心領域を、立体的に捉えることができ、学習済みモデルによる推測結果の妥当性がより確認しやすくなる。
【0064】
表示部10fは、対象者が所定期間内に認知症を発症するリスクの推測を行った推測結果及び推測結果の根拠となる画像における脳の関心領域を示す情報を表示してよい。これにより、対象者が所定期間内に認知症を発症するリスクの推測結果が妥当なものであるか、推測結果の根拠となる画像における脳の関心領域を示す情報によって確認することができる。
【0065】
また、表示部10fは、脳に関するアミロイドβタンパク質の蓄積を推測した推測結果及び推測結果の根拠となる画像における脳の関心領域を示す情報を表示してよい。これにより、対象者の脳に関するアミロイドβタンパク質の蓄積を推測した推測結果が妥当なものであるか、推測結果の根拠となる画像における脳の関心領域を示す情報によって確認することができる。本実施形態に係る診断支援システム100によれば、MRI画像によってアミロイドβタンパク質の蓄積を推測することができ、PETスキャナによる測定や脳脊髄液の採取を行わずに、MRIスキャナ50による脳画像の撮影という比較的簡易な方法で認知症のリスクを推測することができる。
【0066】
推測装置20の記憶部21は、学習データ21a、第1学習済みモデル21b及び第2学習済みモデル21cを記憶する。学習データ21aは、複数の被験者の認知症に関連する実測データが関連付けられた、複数の被験者の脳の画像を含む。学習データ21aは、複数の被験者が2年以内に認知機能が悪化したか否かを示す実測データが関連付けられた、複数の被験者の脳のMRI画像であったり、複数の被験者の脳に関するアミロイドβタンパク質の蓄積を示す実測データ(蓄積量又は蓄積の有無)が関連付けられた、複数の被験者の脳のMRI画像であったりしてよい。
【0067】
生成部22は、学習データ21aを用いて、学習モデルの学習処理を実行し、第1学習済みモデル21b及び第2学習済みモデル21cを生成する。生成部22は、複数の被験者が2年以内に認知機能が悪化したか否かを示す実測データが関連付けられた、複数の被験者の脳のMRI画像を含む学習データ21aを用いて、畳み込みニューラルネットワークで構成される学習モデルの学習処理を実行し、第1学習済みモデル21bを生成する。また、生成部22は、複数の被験者の脳に関するアミロイドβタンパク質の蓄積を示す実測データが関連付けられた、複数の被験者の脳のMRI画像を含む学習データ21aを用いて、畳み込みニューラルネットワークで構成される学習モデルの学習処理を実行し、第2学習済みモデル21cを生成する。学習処理は、例えば、推測結果と正答の誤差を評価する損失関数を最小化するように、誤差逆伝播法によってニューラルネットワークのパラメータを更新する処理であってよい。第1学習済みモデル21b及び第2学習済みモデル21cは、例えば、脳画像のボクセルデータを入力として受け付ける3D CNN(Convolutional Neural Network)により構成されてよい。なお、第1学習済みモデル21b及び第2学習済みモデル21cは、いずれも畳み込みニューラルネットワークで構成されてよいが、ネットワーク構造は異なっていてよい。このように、複数の被験者の認知症に関連する実測データが関連付けられた、複数の被験者の脳の画像を用いて、適切な推測ができる学習済みモデルを生成することができる。
【0068】
推測部23は、第1学習済みモデル21b又は第2学習済みモデル21cを用いて、脳の画像に基づいて、対象者の認知症に関連する推測を行う。推測部23は、第1学習済みモデル21bを用いて、脳の画像に基づいて、対象者が所定期間内に認知症を発症するリスクの推測を行ったり、第2学習済みモデル21cを用いて、脳の画像に基づいて、脳に関するアミロイドβタンパク質の蓄積を推測したりしてよい。
【0069】
学習データは、被験者の認知機能に関するテストのスコア、被験者の年齢、被験者の性別、被験者の身長、被験者の体重、被験者の既往歴、被験者の脳の部位毎の体積及び被験者の脳の萎縮度を表すスコア並びにこれらの経年別データの少なくともいずれか一つ又は複数の組み合わせの情報を含む被験者データをさらに含んでよい。被験者データは、診断支援装置10から推測装置20に送信され、記憶部21に格納されてよいが、被験者データの一部を外部データベースから推測装置20に取り込んでもよい。ここで、脳の部位毎の体積は、例えば、前脳基底核の体積、後部帯状回の体積及び内側側頭葉の体積を含んでよい。また、脳の萎縮度を表すスコアは、Z値(平均が0、標準偏差が1になるように変換した値)で表されてよい。そして、生成部22は、被験者データを数値に変換し、畳み込みニューラルネットワークにより算出した脳の画像の特徴マップと被験者データを表す数値を合成して、例えば全結合層による演算を行い、被験者の認知症に関する推測を行うように、第1学習済みモデル21b及び第2学習済みモデル21cを生成してよい。このように、複数の被験者に関する被験者データ及び対象者の脳の画像に基づいて学習済みモデルを生成することで、対象者の認知症に関連する推測精度がより高い学習済みモデルを生成することができる。
【0070】
この場合、推測部23は、脳の画像及び被験者データに基づいて、対象者の認知症に関連する推測を行う。推測部23は、第1学習済みモデル21b又は第2学習済みモデル21cを用いて、対象者の認知機能に関するテストのスコア、対象者の年齢、対象者の性別、対象者の身長、対象者の体重、対象者の既往歴、対象者の脳の部位毎の体積及び対象者の脳の萎縮度を表すスコア並びにこれらの経年別データの少なくともいずれか一つ又は複数の組み合わせの情報と、脳の画像とに基づいて、対象者の認知症に関連する推測を行う。このように、学習済みモデルを用いて、対象者に関する情報及び対象者の脳の画像に基づいて対象者の認知症に関連する推測を行うことで、推測精度をより高くすることができる。
【0071】
推定部24は、第1学習済みモデル21b又は第2学習済みモデル21cを用いて、推測結果の根拠となる画像における脳の関心領域を推定する。第1学習済みモデル21b又は第2学習済みモデル21cがニューラルネットワークによって構成される場合、推定部24は、例えばLRP(Layer-wise Relevance Propagation)を用いて、推測結果の根拠となる画像における脳の関心領域を推定してよい。
【0072】
生成部22は、対象者の脳の画像及び対象者の認知症に関連する診断結果に基づいて、第1学習済みモデル21b又は第2学習済みモデル21cの再学習を行ってもよい。対象者の脳の画像及び対象者の認知症に関連する診断結果は、医師が対象者の診断を行うことで蓄積されていく。生成部22は、新たに測定された対象者の脳の画像を学習データに追加して、第1学習済みモデル21b又は第2学習済みモデル21cの再学習を行ってよい。これにより、蓄積される対象者の脳の画像及び診断結果を用いて、学習済みモデルを改善していくことができる。
【0073】
提供部25は、推測部23により算出した推測結果と、推定部24により推定した推測結果の根拠となる画像における脳の関心領域を示す情報とを、診断支援装置10に提供する。提供部25は、通信ネットワークNを介して、推測結果及び推測結果の根拠となる画像における脳の関心領域を示す情報を診断支援装置10に送信してよい。
【0074】
このように、本実施形態に係る推測装置20によれば、学習済みモデルを用いて、対象者の認知症に関連する推測を行った推測結果と、推測結果の根拠となる画像における脳の関心領域を示す情報とを算出し、診断支援装置10に提供することができる。
【0075】
図3は、本実施形態に係る診断支援装置10の物理的構成を示す図である。診断支援装置10は、演算部に相当するCPU(Central Processing Unit)10aと、記憶部に相当するRAM(Random Access Memory)10bと、記憶部に相当するROM(Read only Memory)10cと、通信部10dと、入力部10eと、表示部10fと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では診断支援装置10が一台のコンピュータで構成される場合について説明するが、診断支援装置10は、複数のコンピュータが組み合わされて実現されてもよい。また、
図3で示す構成は一例であり、診断支援装置10はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。
【0076】
CPU10aは、RAM10b又はROM10cに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。CPU10aは、対象者の認知症に関連する推測を行った推測結果及び推測結果の根拠となる画像における脳の関心領域を示す情報を表示するプログラム(診断支援プログラム)を実行する演算部である。CPU10aは、入力部10eや通信部10dから種々のデータを受け取り、データの演算結果を表示部10fに表示したり、RAM10bに格納したりする。
【0077】
RAM10bは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。RAM10bは、CPU10aが実行するプログラム、対象者の脳の画像といったデータを記憶してよい。なお、これらは例示であって、RAM10bには、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。
【0078】
ROM10cは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ROM10cは、例えば診断支援プログラムや、書き換えが行われないデータを記憶してよい。
【0079】
通信部10dは、診断支援装置10を他の機器に接続するインターフェースである。通信部10dは、インターネット等の通信ネットワークNに接続されてよい。
【0080】
入力部10eは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード及びタッチパネルを含んでよい。
【0081】
表示部10fは、CPU10aによる演算結果を視覚的に表示するものであり、例えば、LCD(Liquid Crystal Display)により構成されてよい。表示部10fは、対象者の認知症に関連する推測を行った推測結果及び推測結果の根拠となる画像における脳の関心領域を示す情報を表示してよい。
【0082】
診断支援プログラムは、RAM10bやROM10c等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部10dにより接続される通信ネットワークを介して提供されてもよい。診断支援装置10では、CPU10aが診断支援プログラムを実行することにより、
図2を用いて説明した様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、診断支援装置10は、CPU10aとRAM10bやROM10cが一体化したLSI(Large-Scale Integration)を備えていてもよい。
【0083】
推測装置20の物理的構成は、診断支援装置10と同様であってよいが、GPU(Graphical Processing Unit)を備えてもよく、必ずしも同一でなくてよい。推測装置20に記憶される学習済みモデルは、複数の被験者の認知症に関連する実測データが関連付けられた、複数の被験者の脳の画像を含む学習データを用いた学習モデルの学習処理によって生成される。学習済みモデルは、対象者の脳の画像に基づいて、対象者の認知症に関連する推測を行うことと、推測結果の根拠となる画像における脳の関心領域を推定することと、を実行するように学習処理される。学習済みモデルによって、対象者の認知症に関連する推測を行った推測結果と、推測結果の根拠となる画像における脳の関心領域を示す情報とを算出し、診断支援装置10に提供することができる。
【0084】
図4は、本実施形態に係る推測装置20による認知症に関する推測結果及びその根拠を診断支援装置10に表示する例を示す図である。同図では、診断支援装置10の表示部10fに表示される第1画像IMG1、第2画像IMG2及び第1推測結果PD1を示している。
【0085】
第1画像IMG1及び第2画像IMG2は、対象者の脳のMRI画像と、第1学習済みモデル21bによる推測結果の根拠となる画像における脳の関心領域とを示す画像である。第1画像IMG1は、矢状面における脳の断面画像であり、関心領域として第1領域R1及び第2領域R2が示されている。また、第2画像IMG2は、冠状面における脳の断面画像であり、関心領域として第3領域R3が示されている。本例では、関心領域は、第1学習済みモデル21bの算出した推測結果に対する貢献度が大きい画素ほど明るく示されるヒートマップにより表示されている。
【0086】
第1推測結果PD1は、「2年以内に認知症を発症する確率(推測):90%」であり、第1画像IMG1及び第2画像IMG2に基づいて第1学習済みモデル21bによって認知症の発症確率を算出した結果を示している。
【0087】
診断支援装置10を用いる医師は、第1画像IMG1及び第2画像IMG2を参照して、第1学習済みモデル21bによる第1推測結果PD1の妥当性を確認しつつ、第1推測結果PD1を診断に活用することができる。
【0088】
なお、本例では、第1学習済みモデル21bの算出した推測結果に対する貢献度が大きい画素ほど明るく示すヒートマップによって関心領域を表示する例を示したが、関心領域は、第1学習済みモデル21bの算出した推測結果に対する貢献度が大きい脳の部位をマーキングすることで表示したり、脳画像とは別に文字情報で表示したりしてもよい。
【0089】
第1画像IMG1、第2画像IMG2、第1領域R1、第2領域R2、第3領域R3及び第1推測結果PD1は、対象者が用いるスマートフォンやPC(Personal Computer)等の端末に表示されてもよい。その場合、提供部25は、推測結果及び推測結果の根拠となる画像における脳の関心領域を示す情報を対象者の端末に送信する。これにより、対象者は、第1画像IMG1、第2画像IMG2、第1領域R1、第2領域R2、第3領域R3及び第1推測結果PD1を参照して、自己の状態を確認することができる。なお、提供部25は、第1推測結果PD1のみを対象者の端末に提供し、必要に応じて第1画像IMG1、第2画像IMG2、第1領域R1、第2領域R2及び第3領域R3を対象者の端末に提供することとしてもよい。
【0090】
図5は、本実施形態に係る推測装置20による認知症に関する推測精度を示す図である。同図では、学習データの一部を予めテストデータとして分離して、推測装置20によって第1学習済みモデル21bを生成した場合に、テストデータを用いて第1学習済みモデル21bの推測精度を算出した結果を示している。同図の表の「推測結果」は、第1学習済みモデル21bによって、対象者の脳の画像に基づいて、対象者が所定期間内に認知症を発症する確率が閾値以上であるか否かを推測した結果を示している。対象者が所定期間内に認知症を発症する確率が閾値以上である場合は、「AD進行群」としてカウントされ、対象者が所定期間内に認知症を発症する確率が閾値未満であれば「AD非進行群」としてカウントされる。また、「正解」は、対象者が所定期間内に認知機能が悪化したか否かを示す実測データを示している。
【0091】
なお、
図5に示す第1学習済みモデル21bの「推測結果」のカウントは、対象者の認知機能に関するテストのスコア等を、脳の画像の特徴マップと合成して最終判定を行った場合について行っている。
【0092】
図5に示す例では、推測結果として、AD進行群が144であり、AD非進行群が77である。そして、AD進行群と推測された144例のうち140例が正解であり、4例が偽陽性(実際にはAD非進行群)であった。また、AD非進行群と推測された77例のうち74例が正解であり、3例が偽陰性(実際にはAD進行群)であった。そのため、第1学習済みモデル21bの正確度(accuracy)は、(140+74)/(140+4+74+3)×100%=96.8%であり、感度(sensitivity)は、140/(140+3)×100%=97.9%であり、特異度(specificity)は、74/(74+4)×100%=94.9%である。このように、本実施形態に係る第1学習済みモデル21bは、いずれの指標に関しても高い性能を示しており、偽陽性及び偽陰性の発生を低く抑えて、認知症のリスクを適切に評価できる。
【0093】
なお、推測装置20は、第1学習済みモデル21bを生成した場合に、
図5に示すような推測精度を示す表を診断支援装置10に表示させたり、正確度、感度及び特異度等の指標を診断支援装置10に表示させたりしてよい。また、ROC(Receiver Operating Characteristic)曲線やAUC(Area Under the Curve)等の指標を診断支援装置10に表示させてもよい。
【0094】
図6は、本実施形態に係る診断支援システム100による認知症に関する推測及びその根拠の表示に関するフローチャートである。はじめに、MRIスキャナ50によって、対象者の脳画像を撮影する(S10)。
【0095】
その後、推測装置20によって、第1学習済みモデル21bを用いて、脳画像及び対象者データに基づいて、所定期間経過後における対象者の認知症の進行を推測する(S11)。ここで、対象者データとは、対象者の認知機能に関するテストのスコア、対象者の年齢、対象者の性別、対象者の身長、対象者の体重、対象者の既往歴、対象者の脳の部位毎の体積及び対象者の脳の萎縮度を表すスコア並びにこれらの経年別データの少なくともいずれか一つ又は複数の組み合わせの情報である。
【0096】
さらに、推測装置20によって、第1学習済みモデル21bを用いて、推測結果の根拠となる脳画像の関心領域を推定する(S12)。
【0097】
最後に、診断支援装置10によって、脳画像、推測結果及び推測結果の根拠となる脳画像の関心領域を表示する(S13)。
【0098】
図7は、本実施形態に係る推測装置20による第1学習済みモデル21bの学習処理のフローチャートである。はじめに、推測装置20は、複数の被験者の脳画像、被験者データ及び所定期間経過後における認知症の進行に関する情報を含む学習データ21aを蓄積する(S20)。
【0099】
推測装置20は、学習データ21aを用いて、学習モデルによる推測を実行し(S21)、推測結果と正解の誤差を算出する(S22)。ここで、正解とは、所定期間経過後における認知症の進行に関する情報であり、所定期間経過後に認知症が進行したか否かを示す情報であってよい。
【0100】
推測装置20は、誤差を小さくするように、学習モデルのパラメータを更新する(S23)。その後、学習の終了条件を満たさない場合(S24:NO)、推測装置20は、処理S21~S23を再び実行する。ここで、学習の終了条件は、推測結果と正解の誤差が所定値以下となることであったり、処理S21~S23の実行回数が所定値以上となることであったりしてよい。
【0101】
一方、学習の終了条件を満たす場合(S24:YES)、推測装置20は、生成した第1学習済みモデル21bを保存する(S25)。以上により、第1学習済みモデル21bの学習処理が終了する。
【0102】
推測装置20は、第1学習済みモデル21bを生成する場合と同様の処理によって、複数の被験者の脳画像、被験者データ及びアミロイドβタンパク質の蓄積に関する情報を含む学習データ21aを用いて、第2学習済みモデル21cの学習処理を行ってよい。
【0103】
図8は、本実施形態に係る推測装置20によるアミロイドβタンパク質の蓄積に関する推測結果及びその根拠を診断支援装置10に表示する例を示す図である。同図では、診断支援装置10の表示部10fに表示される第3画像IMG3、第4画像IMG4及び第2推測結果PD2を示している。
【0104】
第3画像IMG3及び第4画像IMG4は、対象者の脳のMRI画像と、第2学習済みモデル21cによる推測結果の根拠となる画像における脳の関心領域とを示す画像である。第3画像IMG3は、矢状面における脳の断面画像であり、関心領域として第4領域R4が示されている。また、第4画像IMG4は、冠状面における脳の断面画像であり、関心領域として第5領域R5が示されている。本例では、関心領域は、第2学習済みモデル21cの算出した推測結果に対する貢献度が大きい画素ほど明るく示されるヒートマップにより表示されている。
【0105】
第2推測結果PD2は、「アミロイドβタンパク質が閾値以上蓄積している確率(推測):95%」であり、第3画像IMG3及び第4画像IMG4に基づいて第2学習済みモデル21cによってアミロイドβタンパク質の蓄積の有無の確率を算出した結果を示している。
【0106】
診断支援装置10を用いる医師は、第3画像IMG3及び第4画像IMG4を参照して、第2学習済みモデル21cによる第2推測結果PD2の妥当性を確認しつつ、第2推測結果PD2を診断に活用することができる。
【0107】
なお、本例では、第2学習済みモデル21cの算出した推測結果に対する貢献度が大きい画素ほど明るく示すヒートマップによって関心領域を表示する例を示したが、関心領域は、第2学習済みモデル21cの算出した推測結果に対する貢献度が大きい脳の部位をマーキングすることで表示したり、脳画像とは別に文字情報で表示したりしてもよい。
【0108】
第3画像IMG3、第4画像IMG4、第4領域R4、第5領域R5及び第2推測結果PD2は、対象者が用いるスマートフォンやPC等の端末に表示されてもよい。その場合、提供部25は、推測結果及び推測結果の根拠となる画像における脳の関心領域を示す情報を対象者の端末に送信する。これにより、対象者は、第3画像IMG3、第4画像IMG4、第4領域R4、第5領域R5及び第2推測結果PD2を参照して、自己の状態を確認することができる。なお、提供部25は、第2推測結果PD2のみを対象者の端末に提供し、必要に応じて第3画像IMG3、第4画像IMG4、第4領域R4及び第5領域R5を対象者の端末に提供することとしてもよい。
【0109】
図9は、本実施形態に係る推測装置20によるアミロイドβタンパク質の蓄積に関する推測精度を示す図である。同図では、学習データの一部を予めテストデータとして分離して、推測装置20によって第2学習済みモデル21cを生成した場合に、テストデータを用いて第2学習済みモデル21cの推測精度を算出した結果を示している。同図の表の「推測結果」は、第2学習済みモデル21cによって、対象者の脳の画像に基づいて、脳にアミロイドβタンパク質が閾値以上蓄積しているか否かを推測した結果を示している。対象者の脳にアミロイドβタンパク質が閾値以上蓄積している確率が所定値以上である場合は、「Positive」としてカウントされ、対象者の脳にアミロイドβタンパク質が閾値以上蓄積している確率が所定値未満である場合には「Negative」としてカウントされる。また、「正解」は、対象者の脳にアミロイドβタンパク質が閾値以上蓄積しているか否かをPETや脳脊髄液の採取によって測定した結果を示している。
【0110】
なお、
図9に示す第2学習済みモデル21cの「推測結果」のカウントは、対象者の認知機能に関するテストのスコア等を、脳の画像の特徴マップと合成して最終判定を行った場合について行っている。
【0111】
図9に示す例では、推測結果として、Positiveが865であり、Negativeが467である。そして、Positiveと推測された865例のうち807例が正解であり、58例が偽陽性(実際にはNegative)であった。また、Negativeと推測された467例のうち427例が正解であり、40例が偽陰性(実際にはPositive)であった。そのため、第2学習済みモデル21cの正確度(accuracy)は、(807+427)/(807+58+427+40)×100%=92.6%であり、感度(sensitivity)は、807/(807+40)×100%=95.3%であり、特異度(specificity)は、427/(427+58)×100%=88.0%である。このように、本実施形態に係る第2学習済みモデル21cは、いずれの指標に関しても高い性能を示しており、偽陽性及び偽陰性の発生を低く抑えて、アミロイドβタンパク質の蓄積有無を適切に評価できる。
【0112】
なお、推測装置20は、第2学習済みモデル21cを生成した場合に、
図9に示すような推測精度を示す表を診断支援装置10に表示させたり、正確度、感度及び特異度等の指標を診断支援装置10に表示させたりしてよい。また、ROC曲線やAUC等の指標を診断支援装置10に表示させてもよい。
【0113】
図10は、本実施形態に係る診断支援システム100によるアミロイドβタンパク質の蓄積に関する推測及びその根拠の表示に関するフローチャートである。はじめに、MRIスキャナ50によって、対象者の脳画像を撮影する(S30)。
【0114】
その後、推測装置20によって、第2学習済みモデル21cを用いて、脳画像及び対象者データに基づいて、対象者の脳に関するアミロイドβタンパク質の蓄積を推測する(S31)。ここで、対象者データとは、対象者の認知機能に関するテストのスコア、対象者の年齢、対象者の性別、対象者の身長、対象者の体重、対象者の既往歴、対象者の脳の部位毎の体積及び対象者の脳の萎縮度を表すスコア並びにこれらの経年別データの少なくともいずれか一つ又は複数の組み合わせの情報である。
【0115】
さらに、推測装置20によって、第2学習済みモデル21cを用いて、推測結果の根拠となる脳画像の関心領域を推定する(S32)。
【0116】
最後に、診断支援装置10によって、脳画像、推測結果及び推測結果の根拠となる脳画像の関心領域を表示する(S33)。
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
【0117】
以上のような診断支援装置10において、対象者の矢状面である第1画像IMG1(
図4)は、頭蓋骨によって囲まれた全ての領域の脳画像を示しているから、全脳の画像に相当する。また、対象者の冠状面である第2画像IMG2(
図4)は、頭蓋骨によって囲まれた全ての領域の脳画像を示しているから、全脳の画像に相当する。
【0118】
従って、推測装置20の記憶部21に格納される学習データ21aには、複数の被験者の全脳の画像が含まれる。また、生成部22は、複数の被験者の全脳のMRI画像を含む学習データ21aを入力とする畳み込みニューラルネットワークで構成される学習モデルの学習処理を実行することにより第1学習済みモデル21b及び第2学習済みモデル21cを生成する。推測部23は、対象者の全脳の画像を入力として、認知症に関連する推測を行い、推定部24は、推測結果の根拠となる画像における全脳の関心領域を推定する。ここで、第1画像IMG1の第1領域R1は、全脳のうち、後頭葉付近の領域を示しており、第2領域R2は、前頭葉付近の領域を示し、第3画像IMG3は、側頭葉付近の領域を示している。従って、推定部24は、頭蓋骨によって囲まれた全ての領域内における関心領域を推定することが可能なように構成されている。更に提供部25は、推定された全脳の関心領域を診断支援装置10に提供する。
【0119】
また、診断支援装置10の第1取得部11は、対象者の全脳の画像を入力として取得する。第2取得部12は、対象者の全脳の画像に基づいて、対象者の認知症に関連する推測を行った推測結果を推測装置20から取得する。更に表示部10fは、対象者の認知症に関連する推測を行った推測結果及び推測結果の根拠となる画像における全脳の関心領域を示す情報を表示する。
【0120】
このような構成によれば、対象者の全脳の画像を取得し、学習済みモデルにこの画像を入力することにより、対象者の認知症に関連する推測を行った推測結果を取得することが可能となる。このため、脳画像をボクセルごとに分割して評価する手法では評価することが困難であった、複数の領域の関連性に基づいた評価を行うことが可能となる。例えば、前頭葉、後頭葉、側頭葉のそれぞれに認知症原因タンパク質のある程度の蓄積がある場合、脳画像を分割して評価する手法では、各領域の認知症原因タンパク質の蓄積量が小さい等の理由で認知症である可能性が低い、という評価結果が得られる場合であっても、本発明に係る診断支援装置10によれば、複数の領域の関連性に基づいた評価や、複数の領域を横断するような原因に起因する評価を行うことが可能となるから、例えば、前頭葉、後頭葉、側頭葉のそれぞれに認知症原因タンパク質のある程度の蓄積があることに起因して、認知症である可能性が高い、という推測結果を得ることが可能になる。更には、従来の技術常識では認識されていなかったような、認知症に係る脳の新規領域、又は、新規な相関性の発見を期待することが可能になる。また、脳外科を専門とする医師等、脳の個別部位の同定に係る専門知識を十分に有しない医師等であっても、簡易に診断を行うことが可能になる。
【0121】
更に、推定部24は、頭蓋骨によって囲まれた全ての領域内における関心領域を推定し、表示部10fは、頭蓋骨によって囲まれた全ての領域内における関心領域を表示する。例えば、表示部10fは、第1画像IMG1乃至第3画像IMG3に示されるように、前頭葉、後頭葉、側頭葉という複数の領域にわたる関連領域を表示する。従って、診断支援装置10のユーザは、複数の領域の関連性が認知症の原因になり得るという新たな知見を得ることが可能になる。このような構成によってもたらされる効果は、脳画像をボクセルごとに分割して評価するVBM(Voxel Based Morphometry)や、薬剤を吸収する部位のみを表示するPET検査では得ることが困難である。
【0122】
また、表示部10fが表示する全脳の関心領域は、その推測結果の根拠となるものであるから、対象者によって異なるのが通常である。例えば前頭側頭型認知症の対象者であれば、前頭葉又は側頭葉が、関心領域として表示される場合があるが、血管性認知症の対象者であれば、血管が損傷した部位が、関心領域として表示される場合がある。関心領域は、対象画素を強調表示すること、例えば、対象画素の輝度を大きくすること、により表現される。従って、同じ前頭葉の中でも、対象者によって異なる関心領域が表示されるのが通常である。このような構成は、認知症の原因になる可能性が高いとして予め知られていた領域(例えば、前頭葉)を単に強調表示するものとは全く異なるものである。
【0123】
関心領域、すなわち、全脳のうち、推測結果の根拠となる領域を抽出する方法として、上述したLRPは、入力値が出力値に対して与える影響を計算する手法である。例えば、CNN等のニューラルネットワークをある層まで伝搬させた後、調べたい箇所以外の値をゼロにして逆伝搬することにより、影響が大きい箇所を特定することが可能になる。また、LRP以外では、入力情報を変更して複数の入力情報を作成し、それらを、同じ学習済みモデルに入力し結果を比較することにより、推測結果の根拠となる領域を取得する手法が考えられる。具体的には、まず、推測部23は、対象者の全脳の画像(「第1画像」の一例)を第1学習済みモデル21b又は第2学習済みモデル21cに入力して推測結果(「第1推測結果」の一例)を取得する。次いで、推定部24は、第1画像の一部領域のみが異なる複数の全脳の画像(「第2画像」の一例)を生成する。例えば、前頭葉の一部の画素値をマスクした第2画像、後頭葉の一部の画素値をマスクして異なる値に変更した第2画像等を生成する。そして、推測部23は、生成された複数の第2画像を第1学習済みモデル21b又は第2学習済みモデル21cに入力して複数の推測結果(「第2推測結果」の一例)を取得する。そして推定部24は、第1推測結果と第2推測結果を比較して、異なる推測結果が得られる第2画像を決定する。推定部24は、第1推測結果と異なる第2推測結果をもたらした第2画像において、マスクされた領域を推測結果の根拠となる関心領域として取得し、提供部25に提供する。表示部10fは、関心領域に相当する画素ほど輝度を高めて、対象者の全脳の画像に重畳させて表示する。なお、推測結果を3種類以上選択する場合、関心領域は、2種類以上の領域(根拠を有する第1関心領域と、より根拠を有する第2関心領域)を含むように構成することが可能になる。
【0124】
以上のような構成によれば、学習済みモデルによる推測結果の妥当性が確認しやすく、かつ、診断精度を高めることが可能になる診断支援装置、推測装置、診断支援システム、診断支援方法、診断支援プログラム及び学習済みモデルを提供することが可能になる。
【符号の説明】
【0125】
10…診断支援装置、10a…CPU、10b…RAM、10c…ROM、10d…通信部、10e…入力部、10f…表示部、11…第1取得部、12…第2取得部、20…推測装置、21…記憶部、21a…学習データ、21b…第1学習済みモデル、21c…第2学習済みモデル、22…生成部、23…推測部、24…推定部、25…提供部、30…画像管理サーバ、50…MRIスキャナ、100…診断支援システム