(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-07-26
(54)【発明の名称】解剖学的特徴構造の識別
(51)【国際特許分類】
A61B 5/055 20060101AFI20240719BHJP
A61B 6/03 20060101ALI20240719BHJP
G06T 7/00 20170101ALI20240719BHJP
G06T 7/11 20170101ALI20240719BHJP
【FI】
A61B5/055 380
A61B6/03 560J
A61B6/03 560D
A61B6/03 560G
A61B6/03 560T
G06T7/00 350B
G06T7/11
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024504516
(86)(22)【出願日】2022-07-27
(85)【翻訳文提出日】2024-02-06
(86)【国際出願番号】 EP2022071025
(87)【国際公開番号】W WO2023006794
(87)【国際公開日】2023-02-02
(32)【優先日】2021-07-29
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Koninklijke Philips N.V.
【住所又は居所原語表記】High Tech Campus 52, 5656 AG Eindhoven,Netherlands
(74)【代理人】
【識別番号】110001690
【氏名又は名称】弁理士法人M&Sパートナーズ
(72)【発明者】
【氏名】プラサド ヴィディヤ マダプシ シュリニヴァス
(72)【発明者】
【氏名】マリヤ ヨギシャ
(72)【発明者】
【氏名】シャストリー アルン ヘデセ
【テーマコード(参考)】
4C093
4C096
5L096
【Fターム(参考)】
4C093AA22
4C093AA26
4C093CA35
4C093DA02
4C093FF16
4C093FF28
4C093FF42
4C096AC04
4C096AD14
4C096DC19
4C096DC36
5L096AA05
5L096BA06
5L096BA13
5L096CA18
5L096FA02
5L096FA69
5L096HA11
5L096KA04
(57)【要約】
一実施形態において、コンピュータ実施方法100が説明されている。方法100は、被験者の解剖学的構造のボリュームを表す撮像データを受信するステップ102を含む。受信された撮像データは、少なくとも1つの識別されていない関心のある解剖学的特徴構造を含む。方法100は、更に、受信された撮像データ内の少なくとも1つの関心のある解剖学的特徴構造を識別するためにセグメンテーション手法を実施するように構成された機械学習モデルを使用して、受信された撮像データ内の関心のある解剖学的特徴構造を識別するステップ104を含む。
【特許請求の範囲】
【請求項1】
被験者の解剖学的構造のボリュームを表す撮像データを受信するステップであって、該受信された撮像データが少なくとも1つの識別されていない解剖学的関心特徴構造を含む、ステップと、
前記受信された撮像データにおける解剖学的関心特徴構造を識別するために、前記受信された撮像データにおける少なくとも1つの解剖学的関心特徴構造を識別するためのセグメンテーション手法を実施する機械学習モデルを使用するステップと
を有し、
前記機械学習モデルは一連のトレーニングデータセットの各々に対して生成されるマップを使用してトレーニングされ、各トレーニングデータセットはトレーニングする解剖学的構造のボリュームを表すトレーニング撮像データを含み、
各トレーニングデータセットのための前記マップは、該マップに関連付けられたトレーニングデータセット内の少なくとも1つの制御位置に対する少なくとも1つのトレーニング領域の空間分布を指定する空間関数により生成され、該マップは前記少なくとも1つのトレーニング領域における学習エラーにペナルティを課し、前記少なくとも1つのトレーニング領域が当該マップに関連付けられたトレーニングデータセットにおける前記少なくとも1つの識別されていない解剖学的関心特徴構造を含む、
コンピュータ実施方法。
【請求項2】
前記機械学習モデルが、
前記セグメンテーション手法を使用して、前記撮像データにおける何処に識別された解剖学的関心特徴構造が位置するかを決定し、及び
前記撮像データにおける何処に前記識別された解剖学的関心特徴構造が位置するかを示す指示子を生成する
ことにより、前記解剖学的関心特徴構造を識別する、請求項1に記載のコンピュータ実施方法。
【請求項3】
前記少なくとも1つの制御位置が前記解剖学的関心特徴構造とは重ならない、請求項1又は2に記載のコンピュータ実施方法。
【請求項4】
前記機械学習モデルを使用するステップは前記受信された撮像データにおける少なくとも1つの解剖学的関心特徴構造を識別するための前記機械学習モデルに対する入力として追加のマップを使用するステップを含み、該追加のマップが前記受信された撮像データから生成される、請求項1から3の何れか一項に記載のコンピュータ実施方法。
【請求項5】
各トレーニングデータセットに対して生成された前記マップにより指定される隣接するトレーニング領域間の空間的重なりが、前記機械学習モデルが少なくとも1つの優先トレーニング領域における学習エラーのペナルティ付けを前記トレーニングデータセットの重なり合わないトレーニング領域及び/又は前記トレーニングデータセットの他の領域における学習エラーのペナルティ付けよりも優先させるために使用するための前記トレーニングデータセットにおける少なくとも1つの優先トレーニング領域を定義する、請求項1から4の何れか一項に記載のコンピュータ実施方法。
【請求項6】
前記受信された撮像データは前記被験者の心臓の心底領域に対応し、前記トレーニングされた機械学習モデルを使用して識別されるべき前記少なくとも1つの解剖学的関心特徴構造が前記被験者の心臓の隣接する腔の間の少なくとも1つの解剖学的境界面を含む、請求項1から5の何れか一項に記載のコンピュータ実施方法。
【請求項7】
前記少なくとも1つの制御位置が、該少なくとも1つの制御位置を識別するために使用された初期セグメンテーションモデルの結果に基づいて識別される、請求項1から6の何れか一項に記載のコンピュータ実施方法。
【請求項8】
前記少なくとも1つの制御位置が、
心臓の腔の重心、及び/又は
心臓の各腔の間の少なくとも1つの境界面を定める心室及び/又は心房筋構造の端点及び/又は接合部
を含む、請求項7に記載のコンピュータ実施方法。
【請求項9】
前記少なくとも1つのトレーニング領域の空間分布は前記空間関数の少なくとも1つのパラメータにより定義され、該少なくとも1つのパラメータが前記トレーニングデータセットにおける少なくとも1つの以前に識別された解剖学的特徴構造の少なくとも1つの寸法に基づくものである、請求項1から8の何れか一項に記載のコンピュータ実施方法。
【請求項10】
前記空間関数は前記トレーニングデータセットにおける前記少なくとも1つの制御位置により定義される原点を中心とする第1のガウスベースの関数を含み、該第1のガウスベースの関数により定義される前記少なくとも1つのトレーニング領域の空間分布が前記原点から遠位にある、請求項1から9の何れか一項に記載のコンピュータ実施方法。
【請求項11】
前記第1のガウスベースの関数が逆ガウス関数を含む、請求項10に記載のコンピュータ実施方法。
【請求項12】
前記ボリュームは心臓の少なくとも一部を含み、前記第1のガウスベースの関数が心臓の少なくとも1つの腔の重心を中心とする、請求項10又は11に記載のコンピュータ実施方法。
【請求項13】
前記空間関数は第2のガウスベースの関数を含み、該第2のガウスベースの関数は自身に関連付けられる少なくとも1つのトレーニング領域を示す空間分布を指定し、該第2のガウスベース関数に関連付けられる少なくとも1つのトレーニング領域を示す空間分布が前記トレーニングデータセットにおける隣接する制御位置と重なる、請求項1から12の何れか一項に記載のコンピュータ実施方法。
【請求項14】
前記ボリュームは心臓の少なくとも一部を含み、前記第2のガウスベースの関数により定義される前記少なくとも1つのトレーニング領域の空間分布が、心臓の各腔の間の少なくとも1つの境界面を定める心室及び/又は心房の筋肉構造の隣接する端点及び/又は接合部を結ぶ線を含む、請求項13に記載のコンピュータ実施方法。
【請求項15】
学習エラーにペナルティを課すために使用される損失関数は前記マップにより修正され、該損失関数が前記トレーニング撮像データの少なくとも1つのピクセル又はボクセルに関する測定値とグラウンドトゥルース値との間の差に基づくものである、請求項1から14の何れか一項に記載のコンピュータ実施方法。
【請求項16】
前記一連のトレーニングデータセットのうちの少なくとも1つ及び各トレーニングデータセットにおける前記解剖学的関心特徴構造を識別するグラウンドトゥルースの指示情報を受信し、
前記少なくとも1つのトレーニングデータセットにおける前記少なくとも1つの制御位置を決定し、
前記少なくとも1つのトレーニングデータセットのための前記マップを一群の損失値を生成する空間関数を使用することにより生成し、ここで、前記一群の損失値は前記少なくとも1つのトレーニング領域の空間分布を示すと共に、前記トレーニングデータの各ピクセル又はボクセルに適用して各ピクセル又はボクセルにおける学習エラーにペナルティを課すための損失関数を示し、及び
前記機械学習モデルを前記一連のトレーニングデータセットのうちの少なくとも1つ及び該少なくとも1つのトレーニングデータセットの対応するマップを使用してトレーニングする
ことにより、前記機械学習モデルをトレーニングするステップを含む、請求項1から15の何れか一項に記載のコンピュータ実施方法。
【請求項17】
少なくとも1つのプロセッサにより実行可能な命令を記憶した非一時的マシン可読媒体であって、前記命令は前記少なくとも1つのプロセッサに、
被験者の解剖学的構造のボリュームを表す撮像データを受信させ、ここで、該受信された撮像データは少なくとも1つの識別されていない解剖学的関心特徴構造を含み、及び
前記受信された撮像データにおける解剖学的関心特徴構造を識別するために、前記受信された撮像データにおける少なくとも1つの解剖学的関心特徴構造を識別するためのセグメンテーション手法を実施する機械学習モデルを使用させる、非一時的マシン可読媒体において、
前記機械学習モデルは一連のトレーニングデータセットの各々に対して生成されるマップを使用してトレーニングされ、各トレーニングデータセットはトレーニングする解剖学的構造のボリュームを表すトレーニング撮像データを含み、
各トレーニングデータセットのための前記マップは、該マップに関連付けられたトレーニングデータセット内の少なくとも1つの制御位置に対する少なくとも1つのトレーニング領域の空間分布を指定する空間関数により生成され、該マップは前記少なくとも1つのトレーニング領域における学習エラーにペナルティを課し、前記少なくとも1つのトレーニング領域は当該マップに関連付けられたトレーニングデータセットにおける前記少なくとも1つの識別されていない解剖学的関心特徴構造を含む、
非一時的マシン可読媒体。
【請求項18】
インターフェースに通信可能に結合された少なくとも1つのプロセッサであって、該インターフェースは被験者の解剖学的構造のボリュームを表す撮像データを受信し、該受信された撮像データが少なくとも1つの識別されていない解剖学的関心特徴構造を含む、少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサにより読み取り可能及び実行可能な命令を記憶した非一時的マシン可読媒体であって、前記命令が、前記少なくとも1つのプロセッサに、前記受信された撮像データ内の解剖学的関心特徴構造を識別するために該受信された撮像データにおける少なくとも1つの解剖学的関心特徴構造を識別するためのセグメンテーション手法を実施する機械学習モデルを使用させる、非一時的マシン可読媒体と
を有する装置であって、
前記機械学習モデルは一連のトレーニングデータセットの各々に対して生成されるマップを使用してトレーニングされ、各トレーニングデータセットはトレーニングする解剖学的構造のボリュームを表すトレーニング撮像データを含み、
各トレーニングデータセットのための前記マップは、該マップに関連付けられたトレーニングデータセット内の少なくとも1つの制御位置に対する少なくとも1つのトレーニング領域の空間分布を指定する空間関数により生成され、該マップは前記少なくとも1つのトレーニング領域における学習エラーにペナルティを課し、前記少なくとも1つのトレーニング領域は当該マップに関連付けられたトレーニングデータセットにおける前記少なくとも1つの識別されていない解剖学的関心特徴構造を含む、
装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、解剖学的特徴構造を識別するための方法、非一時的マシン可読媒体及び装置に関する。
【背景技術】
【0002】
心臓を画像化するための磁気共鳴撮像法(MRI)及び他の放射線撮像技術は、心室容積(ボリューム)の定量化及び心臓に関連する種々のパラメータの評価を容易にするためのデータを提供するために使用することができる。そのような評価のために、種々の心臓構造の輪郭が描かれ得る。例えば、左心室及び右心室並びに左心室筋肉構造が、拡張期及び収縮期における空洞の容積(したがって駆出率)並びに心筋質量を計算するために描写され得る。これらのパラメータは、種々の病状を検出及び定量化するために有用であり得る。これらの心臓構造の手動トレースは、例えば取得される撮像スライスの数により、関係するデータ量が多いため、時間が掛かるものである。例えば、患者のシネMRIには20を超えるフェーズが存在し、フェーズ当たり10を超える短軸スライスが存在し得る。トレーニングを受けた専門家が単一の被験者の心室を手動でトレースし、画像を分析するには、約30分かかり得る。
【0003】
一例としての臨床ワークフローは、半自動的技術を使用して、シネ心臓MRIにおける或るフェーズ内の心腔をセグメント化し、それらの輪郭を他のフェーズに伝播させる。大きな難題の1つは、心臓の心底領域における正確で自動的な心室セグメント化法(セグメンテーション)が欠如していることである。幾つかの場合において、専門家は心臓MRIの心尖及び心底スライスにおいてセグメンテーション出力を手動で修正するのに相当の時間を費やす必要があり得る。
【0004】
心臓MRIで評価される主要な臨床パラメータのうちの1つは、左心室の駆出率である。心室セグメンテーションを使用して、心底撮像スライスから駆出率を決定することができる。自動セグメンテーション法は、心底撮像スライスにおいて右心室(RV)、左心室(LV)、右心房(RA)、左心房(LA)及び周囲の構造の間を区別するのに苦労し得る。セグメンテーションの精度を向上させるために自動セグメンテーションの手動編集が必要になり得、セグメンテーションを扱う専門家により、病状を評価できるようになる前に費やされる時間が増加する。心尖及び心底画像スライスにおけるもの等の特定の構造は、心室中部の画像スライスにおける構造よりも自動的にセグメント化することが一層困難であり得る。
【0005】
深層学習等の技術は、例えばモデル/アトラスベースのセグメンテーションと比較した場合、強い境界の正確な識別を行い得る。しかしながら、心底スライス(及び特定の他の解剖学的特徴構造)におけるセグメンテーションは、心房/心室境界面における不十分なコントラスト(例えば、ピクセル強度勾配に関する)により困難であり得る。特定の深層学習技術は、心尖/心底撮像スライスにおいて及び種々の他の解剖学的特徴構造の間において劣ったセグメンテーションとなり得る。
【発明の概要】
【発明が解決しようとする課題】
【0006】
解剖学的特徴構造を識別するための方法、非一時的マシン可読媒体及び装置を提供する。
【0007】
本明細書に記載される態様又は実施形態は、撮像データからの特定の解剖学的特徴構造の識別を改善することに関連し得る。本明細書に記載される態様又は実施形態は、撮像データから特定の解剖学的特徴構造を識別するための機械学習モデルをトレーニングすることに関連する1以上の問題を回避することができる。
【課題を解決するための手段】
【0008】
第1の態様においては、方法が説明される。該方法は、コンピュータ実施方法である。該方法は、被験者の解剖学的構造のボリュームを表す撮像データを受信するステップを有する。受信された撮像データは、少なくとも1つの識別されていない関心のある解剖学的特徴構造(解剖学的関心特徴構造)を含む。該方法は、更に、受信された撮像データにおける解剖学的関心特徴構造を識別するために、該受信された撮像データにおける少なくとも1つの解剖学的関心特徴構造を識別するためのセグメンテーション手法を実施するように構成された機械学習モデルを使用するステップを有する。
【0009】
上記機械学習モデルは、一連のトレーニングデータセットの各々に対して生成されるマップを使用してトレーニングされる。各トレーニングデータセットは、トレーニングする解剖学的構造のボリュームを表すトレーニング撮像データを含む。
【0010】
各トレーニングデータセットのための上記マップは、該マップに関連付けられたトレーニングデータセット内の少なくとも1つの制御位置に対する少なくとも1つのトレーニング領域の空間分布を指定するように構成された空間関数により生成される。該マップは、少なくとも1つのトレーニング領域における学習エラーにペナルティを課すように構成される。少なくとも1つのトレーニング領域は、当該マップに関連付けられたトレーニングデータセットにおける少なくとも1つの識別されていない解剖学的関心特徴構造を含む。
第1及び他の態様に関する幾つかの実施形態が以下に記載される。
【0011】
幾つかの実施形態において、機械学習モデルは解剖学的関心特徴構造を:セグメンテーション手法を使用して、撮像データにおける何処に識別された解剖学的関心特徴構造が位置するかを決定し;及び撮像データにおける何処に識別された解剖学的関心特徴構造が位置するかを示す指示子(インジケータ)を生成する;ことにより識別するよう構成される。
【0012】
幾つかの実施形態において、少なくとも1つの制御位置は、解剖学的関心特徴構造とは重ならない。
【0013】
幾つかの実施形態において、前記機械学習モデルを使用するステップは、受信された撮像データにおける少なくとも1つの解剖学的関心特徴構造を識別するための該機械学習モデルに対する入力として追加のマップを使用するステップを含む。該追加のマップは、受信された撮像データから生成され得る。
【0014】
幾つかの実施形態において、各トレーニングデータセットに対して生成されたマップにより指定される隣接するトレーニング領域間の空間的重なりは、機械学習モデルが少なくとも1つの優先トレーニング領域における学習エラーのペナルティ付けをトレーニングデータセットの重なり合わないトレーニング領域及び/又はトレーニングデータセットの他の領域における学習エラーのペナルティ付けよりも優先させるために使用するための当該トレーニングデータセットにおける少なくとも1つの優先トレーニング領域を定義する。
【0015】
幾つかの実施形態において、受信された撮像データは、被験者の心臓の心底領域に対応する。トレーニングされた機械学習モデルを使用して識別されるべき少なくとも1つの解剖学的関心特徴構造は、被験者の心臓の隣接する腔(内腔)の間の少なくとも1つの解剖学的境界面を含み得る。
【0016】
幾つかの実施形態において、少なくとも1つの制御位置は、該少なくとも1つの制御位置を識別するために使用された初期セグメンテーションモデルの結果に基づいて識別される。
【0017】
幾つかの実施形態において、少なくとも1つの制御位置は:心臓の腔の重心;及び/又は心臓の各腔の間の少なくとも1つの境界面を定める心室及び/又は心房筋構造の端点及び/又は接合部;を含む。
【0018】
幾つかの実施形態において、少なくとも1つのトレーニング領域の空間分布は、空間関数の少なくとも1つのパラメータにより定義される。該少なくとも1つのパラメータは、トレーニングデータセットにおける少なくとも1つの以前に識別された解剖学的特徴構造の少なくとも1つの寸法に基づくものであり得る。
【0019】
幾つかの実施形態において、上記空間関数はトレーニングデータセットにおける少なくとも1つの制御位置により定義される原点を中心とする第1のガウスベースの関数を含む。該第1のガウスベースの関数により定義される少なくとも1つのトレーニング領域の空間分布は、原点から遠位にあり得る。
【0020】
幾つかの実施形態において、第1のガウスベースの関数は逆ガウス関数を含む。
【0021】
幾つかの実施形態において、前記ボリュームは心臓の少なくとも一部を含む。第1のガウスベースの関数は、心臓の少なくとも1つの腔の重心を中心とし得る。
【0022】
幾つかの実施形態において、前記空間関数は第2のガウスベースの関数を含み、該第2のガウスベースの関数は自身に関連付けられる少なくとも1つのトレーニング領域を示す空間分布を指定する。第2のガウスベース関数に関連付けられる少なくとも1つのトレーニング領域を示す空間分布は、トレーニングデータセットにおける隣接する制御位置と重なる。
【0023】
幾つかの実施形態において、前記ボリュームは心臓の少なくとも一部を含む。第2のガウスベースの関数により定義される少なくとも1つのトレーニング領域の空間分布は、心臓の各腔の間の少なくとも1つの境界面を定める心室及び/又は心房の筋肉構造の隣接する端点及び/又は接合部を結ぶ線(ライン)を含み得る。
【0024】
幾つかの実施形態において、学習エラーにペナルティを課すために使用される損失関数は、マップにより修正される。該損失関数は、トレーニング撮像データの少なくとも1つのピクセル又はボクセルに関する測定値とグラウンドトゥルース値との間の差に基づくものであり得る。
【0025】
幾つかの実施形態において、当該方法は機械学習モデルをトレーニングするステップを更に有する。該方法は、一連のトレーニングデータセットのうちの少なくとも1つ、及び各トレーニングデータセットにおける解剖学的関心特徴構造を識別するグラウンドトゥルースの指示情報(表示)を受信するステップを有する。該方法は、少なくとも1つのトレーニングデータセットにおける少なくとも1つの制御位置を決定するステップを更に有する。該方法は、少なくとも1つのトレーニングデータセットのためのマップを一群の損失値を生成する空間関数を使用することにより生成するステップを更に有する。上記一群の損失値は、少なくとも1つのトレーニング領域の空間分布を示す。該一群の損失値は、トレーニングデータの各ピクセル又はボクセルに適用して各ピクセル又はボクセルにおける学習エラーにペナルティを課すための損失関数を示すものであり得る。該方法は、機械学習モデルを一連のトレーニングデータセットのうちの少なくとも1つ及び該少なくとも1つのトレーニングデータセットの対応するマップを使用してトレーニングするステップを更に有する。
【0026】
第2の態様では、非一時的マシン可読媒体が説明される。該非一時的マシン可読媒体は、少なくとも1つのプロセッサにより実行可能な命令を記憶する。該命令は、少なくとも1つのプロセッサに、被験者の解剖学的構造のボリュームを表す撮像データを受信させるように構成される。受信された撮像データは、少なくとも1つの識別されていない解剖学的関心特徴構造を含む。当該命令は、更に、少なくとも1つのプロセッサに、受信された撮像データにおける解剖学的関心特徴構造を識別するために、該受信された撮像データにおける少なくとも1つの解剖学的関心特徴構造を識別するためのセグメンテーション手法を実施するように構成された機械学習モデルを使用させるように構成される。該機械学習モデルは、第1の態様及び関連する実施形態において参照されるものである。
【0027】
第3の態様では、装置が説明される。該装置は、インターフェースに通信可能に結合された少なくとも1つのプロセッサを有する。上記インターフェースは、被験者の解剖学的構造のボリュームを表す撮像データを受信するように構成される。該受信された撮像データは、少なくとも1つの識別されていない解剖学的関心特徴構造を含む。当該装置は、更に、少なくとも1つのプロセッサにより読み取り可能及び実行可能な命令を記憶する非一時的マシン可読媒体を有する。該命令は、上記少なくとも1つのプロセッサに、受信された撮像データ内の解剖学的関心特徴構造を識別するために該受信された撮像データにおける少なくとも1つの解剖学的関心特徴構造を識別するためのセグメンテーション手法を実施するように構成された機械学習モデルを使用させるように構成される。該機械学習モデルは、第1の態様及び関連する実施形態で参照されるものである。
【0028】
本発明の上記及び他の態様は、後述される実施形態から明らかとなり、そのような実施形態を参照して解説されるであろう。
【0029】
本発明の例示的実施形態は、以下の図面を参照して、例示のみとして説明されるであろう。
【図面の簡単な説明】
【0030】
【
図1】
図1は、一実施形態による解剖学的特徴構造を識別する方法を示す。
【
図2】
図2は、一実施形態による解剖学的特徴構造を識別するためのシステムの概略図である。
【
図3】
図3は、一実施形態に従って特定の解剖学的特徴構造が識別された画像を示す。
【
図4】
図4は、一実施形態による解剖学的特徴構造を識別する方法を示すフローチャートである。
【
図5】
図5は、一実施形態に従って特定の制御位置が識別された画像を示。
【
図6】
図6は、特定の実施形態で使用される空間関数を示す。
【
図7】
図7は、特定の実施形態で使用される他の空間関数を示す。
【
図8】
図8は、特定の実施形態による画像に基づいて生成されたマップを示す。
【
図9】
図9は、一実施形態による表示データを生成する方法を示す。
【
図10】
図10は、一実施形態による機械学習モデルをトレーニングする方法を示す。
【
図11】
図11は、一実施形態による解剖学的特徴構造を識別するためのマシン可読媒体の概略図である。
【
図12】
図12は、一実施形態による解剖学的特徴構造を識別するための装置の概略図である。
【発明を実施するための形態】
【0031】
機械学習モデル(Ronneberger他による文献“U-Net:Convolutional Networks for Biomedical Image Segmentation”、arXiv:1505.04597(2015)に記載された「U-Net」アーキテクチャに基づくディープニューラルネットワーク等;該文献の全内容は参照により本明細書に組み込まれる)を、MRIスキャナ、CTスキャナ等の放射線撮像装置により取得された撮像データのセグメンテーションを介して特定の解剖学的特徴構造を識別するようにトレーニングすることができる。幾つかの例示的なトレーニング手順において、機械学習モデルは、当該モデルからの出力と「グラウンドトゥルース」データとの間に誤差(エラー)が生じるモデルにペナルティを課すことにより識別誤差を低減するように試みることができる。
【0032】
これらのトレーニング手順において、トレーニングに使用される撮像データの各領域は均一にペナルティが科され、トレーニング手順の間に該撮像データの全ての領域が同等に扱われるようされ得るようにする。しかしながら、撮像データにおける幾つかの領域は、機械学習モデルが正確に識別することが困難であり得る。困難な領域の例は特定の解剖学的特徴構造間の境界面を含み、これは、そのような境界面にまたがるピクセル/ボクセルの強度コントラストが低い/弱いからである。心臓の特定の解剖学的特徴構造/領域(心腔の重心等)は特定の機械学習ベースのモデル(例えば、U-Netアーキテクチャ)又は特定の「伝統的」技術(例えば、モデル/アトラスベースのセグメンテーション)を使用して正確に検出できるが、特定の境界面(心房/心室境界面等)は、そのような技術のいずれでも正確に検出することは困難であり得る。
【0033】
本明細書に記載される枠組み(構成)は、機械学習モデルが、劣った/弱い境界面(すなわち、当該境界面にまたがって劣った/弱いピクセル/ボクセル輝度コントラストが存在し得る場所)に関連する撮像データの特定の領域を識別するための学習に一層集中することを可能にする。本明細書に記載されるように、当該枠組みは心臓MRIデータに対して説明されている。しかしながら、該枠組みは、脳、肝臓等の他の解剖学的部位又は構造にも一般化できる。更に、当該撮像データは、CTスキャン、超音波ベースの撮像等の任意の適切な放射線撮像技術を使用して取得することができる。
【0034】
図1は、一実施形態による解剖学的特徴構造を識別する方法100を示す。方法100は、コンピュータ実施方法であり、以下に説明するようなコンピューティング装置上に実装できる。例えば、方法100は、撮像データを取得するための放射線撮像装置の現場におけるか又は該現場から離れているかに関係なく、ユーザコンピュータ(例えば、放射線科医等の臨床医による使用に関連する)、サーバ、クラウドベースのサービス及び/又は任意の他のコンピューティング装置により実施され得る。
【0035】
方法100は、ブロック102に、被験者の解剖学的構造のボリュームを表す撮像データを受信するステップを含む。受信される撮像データは、少なくとも1つの識別されていない「関心のある(対象となる)」解剖学的特徴構造を含む。
【0036】
放射線撮像装置は、被験者の解剖学的構造の少なくとも一部を撮像することにより少なくとも1つの画像(すなわち、「撮像データ」)を取得できる。放射線撮像装置により取得された一組の画像(例えば、画像スライス)は、一緒に位置合わせされ、集合的に被験者の解剖学的構造のボリューム(例えば、被験者の心臓等の少なくとも1つの解剖学的関心部位を含む身体の一部)を表すことができる。幾つかの場合では、ボリュームを表す単一の組の画像が取得され得る。他の場合には、例えば身体の一部(例えば心臓)が動く場合、各スライス位置に関する複数の画像が或る期間にわたって取得され得る。
【0037】
ボリューム内には、当該領域においてピクセル/ボクセル輝度の「微弱な」差として現れる境界面等の少なくとも1つの識別されない解剖学的関心特徴構造が存在し得る。該識別されない解剖学的関心特徴構造は、以前に識別不可能なものであったか、又は正確に識別された解剖学的関心特徴構造であると検証できない以前に識別された解剖学的特徴構造であるかのいずれかであり得る。
【0038】
心臓の場合、識別されない解剖学的関心特徴構造は、例えば心底/心尖領域に対応する撮像データに示されるような、心房/心室境界面であり得る。幾つかの場合において、少なくとも1つの解剖学的特徴構造(識別されない解剖学的関心特徴構造以外の)は、当該撮像データにおいて既に識別されている可能性がある(例えば、深層学習手法又は従来の手法を用いた初期セグメンテーション処理に基づいて)。例えば、心臓の場合、以前に識別された解剖学的特徴構造は心臓の内腔の重心(及び該特徴構造の大凡の形状及び位置)であり得、これらは、特定のセグメンテーション方法にとり心房/心室境界面又は特定の他の境界面よりも識別することが一層容易であり得る。
【0039】
方法100は、ブロック104に、受信された撮像データにおける少なくとも1つの解剖学的関心特徴構造を識別するためにセグメンテーション手法を実施するように構成された機械学習モデルを使用して、当該受信された撮像データ内の解剖学的関心特徴構造を識別するステップを有する。
【0040】
前述した「U-Net」アーキテクチャに基づくもの等の深層学習手法を含み得る当該セグメンテーション手法は、機械学習モデルが、受信された撮像データ内の少なくとも1つの解剖学的関心特徴構造を識別することを可能にし得る。
【0041】
例えば、当該放射線撮像装置は患者等の被写体の撮像データを取得することができる。当該コンピューティング装置は、この撮像データを受信し、次いでブロック104によるセグメンテーション手法を適用して少なくとも1つの解剖学的関心特徴構造を識別することができる。該少なくとも1つの解剖学的関心特徴構造の識別は、当該撮像データの少なくとも1つの領域の該撮像データの他の領域からのセグメント化を表すデータを生成することを含み得る。このように生成されたデータは、例えばセグメント化された領域を示すように表示されるために、ボリューム内のセグメント化された部分(又は複数の部分)を視覚的に表すために使用できる。臨床医又は他の操作者は、このセグメンテーション手法を使用して、以前に識別されなかった解剖学的関心特徴構造を視覚化することができる。
【0042】
当該機械学習モデルは、一連のトレーニングデータセットの各々に関して生成されるマップ(例えば、「ペナルティマップ」又は「ヒートマップ」)を使用してトレーニングされる。各トレーニングデータセットは、トレーニングする解剖学的構造のボリュームを表すトレーニング撮像データを含む。該マップは、機械学習モデルに、当該マップに関連したトレーニングデータセットにおける当該少なくとも1つの識別されない解剖学的関心特徴構造を含む少なくとも1つのトレーニング領域における学習エラーにペナルティを科させるように構成される。言い換えると、学習手順の間において、当該マップは、トレーニング撮像データのうちの少なくとも1つの解剖学的関心特徴構造を含む領域における学習エラーのペナルティ付けを行わせるために使用され得る。幾つかの場合において、当該マップは、モデルをトレーニングする際に、該モデルを少なくとも1つの関心領域に集中させるための「注目(注意)」メカニズムとして機能し得る。このように、幾つかの場合において、当該マップは、トレーニング撮像データにおける少なくとも1つの点(例えば、ピクセル又はピクセル領域)に関して該少なくとも1つの点における学習エラーにペナルティを課すための「損失関数」を計算するために使用でき(後述されるように)、及び/又はトレーニングの間において注意メカニズムとして機能できる。更に、当該マップがトレーニングの間において注意メカニズムとして使用された場合、そのようなマップは、方法100を実施する際に当該モデルを少なくとも1つの解剖学的関心特徴構造を含む少なくとも1つの関心領域に集中させるための注意メカニズムとして、受信された(入力)撮像データに基づいて生成され、該受信された(入力)撮像データに対する追加の入力として使用され得る。
【0043】
このように、トレーニングは一連のトレーニングデータセットに基づくものであり得、その場合、一連のものにおける各トレーニングデータセットはトレーニング対象者の身体の一部に対応する撮像データを含む(すなわち、該トレーニング対象者の身体の一部は本明細書では「トレーニング解剖構造」と呼ぶことができる)。該身体の一部は前記少なくとも1つの解剖学的関心特徴構造を含む。例えば、少なくとも1つの解剖学的関心特徴構造が心臓内にある場合、各トレーニングデータセットは一群のトレーニング対象者のセットからの心臓の撮像データを含み得る。上級放射線科医等の少なくとも1人の専門家は、一連のものにおける各トレーニングデータセットにおいて解剖学的関心特徴構造を識別する「グラウンドトゥルース」を示すことができる。
【0044】
例示として、本明細書に記載される特定の実施形態の実施が20組の心臓「トレーニング」データセットを含む一連のデータセットに基づいて示され、ここで、トレーニングされたモデルの精度を検査するためにk分割(例えば、10分割)交差検証が使用された。使用された該一連の心臓トレーニングデータセットは、種々の心臓画像スライス (すなわち、種々の心拍位相における種々の患者からのもの)の選択を含むものであった。当該モデルは、一連のデータセットの異なる数でトレーニング及び検査することができる。更に、当該一連のものに対する追加のトレーニングデータセットを生成するために、ガウスノイズの追加等の強化技術を使用することもできる。20組の小児トレーニングデータセットを含む本事例においては、上級放射線科医が各トレーニングデータセットにおける解剖学的関心特徴構造の「グラウンドトゥルース」位置を示した。20組のトレーニングデータセットに基づいて機械学習モデルをトレーニング及びテストする例示的プロセスを以下に説明する。以下に記されるように、当該トレーニングは、自動セグメンテーションを容易にし得る、正確なセグメンテーションを提供するモデルをもたらした。同様の原理に基づいて、他のトレーニングデータセットも選択できる。
【0045】
使用できる例示的トレーニングプロセスを、本事例で使用されたプロセス(すなわち、一連の20組の小児「トレーニング」データセットを使用したトレーニング)を参照して更に詳細に説明する。
【0046】
使用された該20組の小児心臓「トレーニング」データセットの系列は、系列全体にわたって高い構造の変動度を有するものであった。心臓の4つの部屋及び心筋が、各データセットの「グラウンドトゥルース」を示すために上級放射線科医により手作業でセグメント化された。
【0047】
撮像データにおける当該モデルにより考慮された困難な関心領域は、専門家(すなわち、上級放射線科医)により識別されるか、又は特定のベースラインモデルに従い少なくとも1つの関心領域における誤差に基づいて自動的に識別され得る。
【0048】
重心/主要角度等の特定の解剖学的特徴構造は、困難な領域におけるセグメンテーションに役立ち得る。幾つかの場合において、変動の大きさは専門家により手作業により識別でき、解剖学的特徴構造の位置及び構造(形状/サイズ等)がモデルにより明示的に学習され得るようにする。しかしながら、本例のトレーニングプロセスで使用されたように、特徴構造は、初期モデルをU-Netモデル(損失関数を含み得る)でトレーニングして初期セグメンテーションを得ることにより推定できる。該初期セグメンテーションから、関連すると思われる特徴構造を、ここでも画像処理方法を使用して、自動的に識別できる。
【0049】
初期セグメンテーションにより抽出された特徴構造に基づいて、「ペナルティ」マップが生成された。次いで、該ペナルティマップは、トレーニングのために入力撮像データ及びグラウンドトゥルース専門家セグメンテーションと一緒に(2Dスライス式)U-Netモデルに供給された。本事例において、ペナルティマップは2つの態様で、すなわち、(1)困難な領域におけるトレーニングにペナルティ付けするために;及び(2)以前に学習された領域に集中させ、これにより初期セグメンテーションの後のセグメンテーションの改善を簡素化するように当該モデルを補助する「注意」メカニズムを提供するために;使用された。
【0050】
上述した例は、一連の20組の小児心臓トレーニングデータセットの使用を参照している。この実験の結果を以下に説明する。他の実験では、方法100で参照される機械学習モデルをトレーニングするために、一連の50の成人の心臓トレーニングデータが使用された。該他の実験において、本明細書に記載されるトレーニング手法/注意メカニズムは、困難な関心特徴構造のセグメンテーションの改善により検証された。
【0051】
方法100を参照して、トレーニングデータセットに対するマップの生成について説明する。マップを受信された(入力された)撮像データに基づいて生成する場合も、同じマップ生成の原理を適用できる。
【0052】
各トレーニングデータセットに対するマップは、当該マップに関連付けられたトレーニングデータセット内の少なくとも1つの制御位置に対する少なくとも1つのトレーニング領域の空間分布を指定するように構成された空間関数により生成される。マップは、該少なくとも1つのトレーニング領域における学習エラーにペナルティを付けるように構成される。少なくとも1つのトレーニング領域は、当該マップに関連付けられたトレーニングデータセット内の少なくとも1つの識別されていない解剖学的関心特徴構造を含む。
【0053】
特定の実施形態において、このペナルティ付けは、トレーニングプロセス中に機械学習モデルにより実施される損失関数を修正することにより達成できる。例えば、上記空間関数は一群の損失値を生成し得る。該一群の損失値は、少なくとも1つのトレーニング領域の空間分布を示し得る。該一群の損失値は、各々のピクセル又はボクセルにおける学習エラーにペナルティを課すためにトレーニングデータセットの各ピクセル又はボクセルに適用する損失関数を示し得る。言い換えると、機械学習モデルは該損失関数を使用して、トレーニングデータセットにおける何処で(すなわち、何のピクセル/ボクセルで)損失にペナルティを課すか(及び損失にどの程度ペナルティを課すか)を決定し得る。上記空間分布は、損失に最大に/最少にペナルティが科されるべき関連ピクセル/ボクセルを示し得る(ここで、各ピクセル/ボクセルの損失値は、各々のピクセル/ボクセルにおいてどの程度多く損失にペナルティが科されるべきかを示す)。空間分布に対応する一群の損失値は、識別することが困難な解剖学的関心特徴構造を有する領域(すなわち、少なくとも1つの「トレーニング領域」)において損失に最も多くペナルティを課し、識別が容易な領域において損失に一層少なくペナルティを課すことを示し得る。このようにして、当該機械学習モデルは、識別が困難な解剖学的関心特徴構造を持つ領域に注意を集中させる(及びトレーニングプロセス中に計算資源を効率的に割り当てる)ことができる。
【0054】
幾つかの事例において、上記少なくとも1つの制御位置は、トレーニングデータセットにおける少なくとも1つの以前に識別された位置に対応し得る。例えば、該少なくとも1つの制御位置は、幾つかの事例においてU?Netアーキテクチャ等に基づいたセグメンテーション手法から正確に識別され得る心腔の重心等の当該トレーニング解剖学的構造の特定の領域に対応し得る。
【0055】
少なくとも1つの制御位置に適用される空間関数を使用してマップを生成することができる。空間関数を少なくとも1つの制御位置に適用することにより、マップにより定義される空間分布が生成される。該空間分布は、少なくとも1つの制御位置に対する少なくとも1つのトレーニング領域の位置を定義することができる。該空間分布は、トレーニングデータセットにより表される各ピクセル/ボクセルによりどの程度損失にペナルティが科されるべきかに対応する一群の損失値を定義することができる。空間関数を適用し/空間分布を生成することにより、結果として得られるマップは、空間関数に関連付けられた空間分布に従って指定された少なくとも1つのトレーニング領域を含み得る。言い換えると、当該マップは、トレーニングデータセットの何の領域が空間分布から導出された少なくとも1つの「トレーニング領域」を表すかを示し得る。トレーニングの間の当該マップの使用時において、上記少なくとも1つのトレーニング領域は、当該少なくとも1つの解剖学的関心特徴構造に関して学習する(すなわち、エラーを減少させる)ために当該トレーニング撮像データの何の領域に焦点を当てるべきかを示し得る。幾つかの事例において、該少なくとも1つのトレーニング領域は、少なくとも1つの解剖学的関心特徴構造と少なくとも部分的に重なり得る。このように、少なくとも1つのトレーニング領域の空間分布の決定は、(例えば、識別するのが困難な)解剖学的関心特徴構造がトレーニング撮像データ内の何処で見付かるかの指標を提供でき、その結果、当該機械学習モデルは、そのようなトレーニング領域における識別エラーを低減するようにトレーニングされ得る。
【0056】
ここで説明される特定の実施形態は、トレーニングされた機械学習モデルを使用して特定の解剖学的特徴構造の識別を容易にする機能を提供できる。例えば、前記少なくとも1つの制御位置は空間関数の適用との組み合わせで、少なくとも1つの解剖学的関心特徴構造の識別を改善するためにトレーニング撮像データの何処を学習に集中させるべきかに関し、U?Netアーキテクチャにより実施されるようなセグメンテーションモデルに対してガイダンスを提供することができる。
【0057】
少なくとも1つの制御位置と空間関数の適用との組み合わせから得られるマップは、識別エラーを減らすためにトレーニング撮像データの何の領域を学習に集中すべきかを示す「ペナルティ」又は「ヒート」マップを定義することができる。例えば、トレーニング撮像データの異なる領域間の相対的な「ヒート(熱)」により示される最大の「ペナルティ」が存在する領域において、当該機械学習モデルは、そのような領域におけるエラーを最小化することにより学習を試行できる。言い換えると、当該マップは、モデルに対して、少なくとも1つの解剖学的関心特徴構造を識別するために、当該トレーニング撮像データ内のどの領域が機械学習モデルにとり一層良く理解するために有用であるかを示すことができる。
【0058】
例えば、当該マップは、少なくとも1つの制御領域からの距離に基づいて自動モデル学習のペナルティ付けを容易にすることができ、最大のペナルティが心室/心房境界面、心室境界面及び/又は何らかの他の関心境界面を含む少なくとも1つのトレーニング領域に付与されるようにする。
【0059】
正確に識別することが困難な特定の解剖学的特徴構造は、トレーニング撮像データの各領域が、検出することが一層容易な「強い」(すなわち、高ピクセルコントラストの)境界面を有する空間輝度パターンに基づいて「盲目的に」学習、検出及び/又はセグメント化し得る幾つかの技術におけるように等しく扱われる場合、容易に識別することはできない。トレーニング撮像データの各領域が等しく扱われる場合、得られる最終的な識別誤差(セグメンテーションモデルの識別精度を示すために使用される「ダイス」スコアにより定量化できる)は、全領域にわたる平均である。したがって、受信された撮像データに対して全体的な「ダイス」スコアが高いとしても、心底におけるような特定の領域におけるセグメンテーションの精度は低くなり得る(すなわち、ダイススコアは全体的に良好に見え得るが、このことは、心底領域等の特定の領域における識別誤差を隠蔽し得る)。しかしながら、生成される当該マップは、正確に識別することが困難な解剖学的特徴構造に関連するトレーニング撮像データの特定の領域に払われる注意を高めることにより(例えば、ペナルティ付けすることにより)、トレーニングの改善を容易にすることができる。
【0060】
上述した一連のトレーニングデータセット(すなわち、20組の一連の小児心臓データセット)に基づいて、トレーニングされた当該機械学習モデルがテストされ、該モデルは、0.018の標準偏差(0.04のベースライン標準偏差と比較して)で0.931の「ダイス」スコアによる精度(0.891のベースライン精度と比較して)のセグメンテーションをもたらした。該実験データにより実証されたこの精度の改善は、ここで説明される手法の有効性を証明している。
【0061】
解剖学的特徴構造を識別するための幾つかのトレーニングされた機械学習モデルにおいて、そのようなモデルは、確率マップ(解剖学的特徴構造が画像内の特定の位置にある確率を示す)を当該識別プロセスの単なる出力として生成し得る(すなわち、該マップは他の目的を有さない)。しかしながら、種々の実施形態に関連して本明細書で説明されるマップ(或る/他のトレーニングされた機械学習モデルの出力である場合も、そうでない場合もある)は、トレーニングデータ内の何処で特定の関心領域における損失を最もペナルティ付けすべきか(すなわち、トレーニングプロセス自体の間での使用のために)を示し得る。このような実施形態は、トレーニングデータ内で識別された少なくとも1つの制御位置に関して生成された斯様なマップを使用し得る。このような制御位置は、解剖学的関心特徴構造自体よりも識別するのが容易であり得る(例えば、心腔の重心は、或る/他の機械学習モデルにとり、心臓の心底領域と比較して識別するのが相対的に容易であり得る)。本明細書で説明される空間関数は、当該機械学習モデルが自身の学習をトレーニングデータ内の何処に集中すべきかの識別を容易にすることができる(例えば、該空間関数は、トレーニングプロセスの間において損失に他の領域よりも多くのペナルティが科される領域の空間分布(制御位置に対する)を定義することができる)。特定の領域(本明細書ではトレーニング領域と呼ぶ)において損失にペナルティを課すためにマップを使用する結果、機械学習モデルは、その学習を(識別するのが困難な)解剖学的関心特徴構造を含むと予想されるトレーニングデータの領域に集中させるように指示され得る。トレーニングデータ内の全ての領域に対して同じ方法で損失にペナルティを課すのではなく、識別するのが困難な領域における損失にペナルティを課すことにより、トレーニングプロセスの間において、より少ない計算資源が使用され得るようになる。言い換えれば、トレーニングプロセスのために上記マップを使用することは、識別するのが困難な特徴構造を識別するためのモデルのトレーニングが改善されるのと同時に、そもそも識別するのがそれほど難しくない領域における損失に過度にペナルティを課すことに計算資源を割り当てる必要性を低減又は回避できる。
【0062】
したがって、特定の実施形態(例えば、方法100及び/又は関連する実施形態)は、受信された撮像データ内の少なくとも1つの解剖学的関心特徴構造を識別するための精度の向上を促進できる。この精度の向上は、より正確なセグメンテーションを可能にし得ると共に、専門家による手動入力を低減するか又は伴わない潜在的に自動化されたセグメンテーションを可能にし得る。この改善されたセグメンテーションの正確さは、心臓の心底領域及び/又は心尖領域における特定の境界等の、正確に識別することが困難な解剖学的特徴構造に関連する特定のビューのために有用であり得る。
【0063】
当該マップは、計算的に生成するのが容易であり得ると同時に、機械学習モデルの自動トレーニング/ガイダンスを容易にするためにトレーニング手順に容易に組み込むことができる。当該マップは、トレーニング撮像データが1次元、2次元、3次元又は4次元撮像データを参照するかによらず、該トレーニング撮像データのどの領域に焦点を当てるべきかの指標を提供できる。例えば、当該「マップ」はトレーニング撮像データのフォーマットに従って任意の適切な次元を有することができ、該トレーニング撮像データの適切な領域が、集中される学習(例えば、学習が斯様な領域においてペナルティ付けされることにより)に関連するものとして示されるようにする。
【0064】
図2は、本明細書に記載される特定の実施形態(例えば、方法100及び特定の他の実施形態)を実施するための例示的なシステム200を示す。システム200は、磁気共鳴撮像(MRI)スキャナ、コンピュータ断層撮影(CT)スキャナ等の放射線撮像装置202を備える。システム200の使用時において、患者204等の被験者及び他の医療機器(図示略)は、放射線撮像装置202に関連する寝台206により支持される。放射線撮像装置202は、該放射線撮像装置202へ/からデータ(放射線撮像装置202の動作を制御/監視するための制御データ、及び/又は放射線撮像装置202により取得される撮像データ等)を送信/受信するためにコントローラ208(特定の実施形態において「コンピュータ装置」と称されるものの一例である)に通信可能に接続されている。コントローラ208は、撮像データ及び/又はシステム200の使用に関連する他の情報を表示するためにディスプレイ210等のユーザインターフェースに通信可能に接続される。
【0065】
幾つかの事例において、コントローラ208は、
図2に示されるように、オプションとしてのサービスプロバイダ212(例えば、放射線撮像装置202の製造者、又は放射線撮像装置202及び/又はコントローラ208に関連してデータ処理を制御/監視/実行できる他の主体)に通信可能に結合され得る。サービスプロバイダ212は、様々なデータを交換するためにコントローラ208が接続され得るサーバ又はクラウドベースのサービスであり得る。幾つかの事例において、サービスプロバイダ212はデータ処理サービス(例えば、本明細書で説明される特定の実施形態を少なくとも部分的に実施するための)を提供することができる。幾つかの事例において、コントローラ208はデータ処理(例えば、本明細書に記載の特定の実施形態を少なくとも部分的に実施するための)を実行できる。幾つかの事例において、コントローラ208及びサービスプロバイダ212は、本明細書に記載される特定の実施形態を実施するために、データを交換し及び/又はデータ処理を共同で実行/促進できる。幾つかの事例において、コントローラ208はサービスプロバイダ212から更新(例えば、ソフトウェア更新等)を受信できる。そのような更新には、新しいモデル及び/又は更新されたモデル(例えば、トレーニングされた機械学習モデル、及び/又はコントローラ208がそのようなトレーニングされた機械学習モデルを実装するためのニューラルネットワーク重み等のパラメータ)に関する情報が含まれ得る。このように、或るシナリオにおいて、サービスプロバイダ212は、機械学習モデル(例えば、本明細書で説明される特定の実施形態によるもの)をトレーニングし、次いで、該トレーニングされた機械学習モデル(又は、そのような機械学習を有効にするためのパラメータ等の情報)をコントローラ208に送信することができる(コントローラ208が、本明細書に記載される特定の実施形態にしたがって該トレーニングされた機械学習モデルを実施できるようにするために)。他のシナリオにおいて、コントローラ208には、トレーニングされた機械学習モデルを事前にロードできる。他のシナリオにおいて、コントローラ208は機械学習モデルを実施しなくてもよく、その代わりに、サービスプロバイダ212がトレーニングされた機械学習モデルを実施することができる(例えば、コントローラ208によりサービスプロバイダ212に送信された撮像データに基づいて)。このように、コントローラ208及び/又はサービスプロバイダ212は、本明細書に記載の様々な実施形態(例えば、方法100及び本明細書に記載の他の実施形態)において参照される「コンピュータ装置」を実施することができる。
【0066】
コントローラ208及びサービスプロバイダ212(存在する場合)は、各々、本明細書に記載される特定の実施形態を実施するためのデータ処理を実行するように構成された処理回路(少なくとも1つのプロセッサ等の、図示略)を備え得る。コントローラ208及び/又はサービスプロバイダ212は、上記処理回路により実行された場合に該処理回路に本明細書に記載された特定の実施形態を実施させる命令を記憶したメモリ(例えば、非一時的マシン可読媒体)を備えるか、又はそのようなメモリにアクセスすることができる。
【0067】
幾つかの事例において、コントローラ208はユーザコンピュータにより実施化できる。幾つかの事例において、コントローラ208及び/又はサービスプロバイダ212は、サーバ又はクラウドベースのコンピューティングサービスにより実施化できる。幾つかの事例において、メモリ(上述した非一時的マシン可読媒体等の、及び/又は他の非一時的マシン可読媒体若しくは一時的マシン可読媒体等の他のメモリ)は、当該機械学習モデルに関連する情報(例えば、機械学習モデル自体及び/又は該モデルに関連するパラメータ)、及び/又は放射線撮像装置202に関連する撮像データ等の他のデータを記憶することができる。
【0068】
図3は、本明細書に記載の特定の実施形態による解剖学的特徴構造の(a)識別前及び(b)識別後の心臓の心底領域を含んだ画像を含む撮像データを示す。画像(a)は、
図2の放射線撮像装置202により取得されたものであり得る。この場合、コントローラ208及び/又はサービスプロバイダ212は、該撮像データを受信し、本明細書に記載される特定の実施形態(例えば、方法100)に従って少なくとも1つの解剖学的関心特徴構造を自動的に識別できる。この場合、画像(b)は、この識別を心臓の内腔間のセグメンテーション(白線の)を示すことにより描いている。
図3に示されるように、本明細書に記載の実施形態により達成されるセグメンテーションは、画(a)により最もよく示されるような特定の境界面(例えば、心房/心室境界面)に跨がる低いピクセルコントラストの問題を克服している。
【0069】
図4は、本明細書に記載される特定の実施形態(例えば、方法100及び/又は他の実施形態)を実施するためのシステムの動作(例えば、コントローラ208及び/又はサービスプロバイダ212等のシステム200の少なくとも一部により実施されるべき)の概要を示すフローチャート400である。
図4には様々なブロックが示されており、特定の実施形態によれば特定のブロックは省略できる。
【0070】
幾つかの事例において、当該モデルトレーニングは本明細書に記載される特定の実施形態を実施する前に実行され得る(例えば、「受信された撮像データ」はトレーニングには寄与しない場合がある)。幾つかの事例においては、本明細書に記載される特定の実施形態を実施する一部として何らかのモデルトレーニングが実行され得る(例えば、
図4で参照されるように、「受信された撮像データ」は更なるモデルトレーニングに使用され得る)。幾つかの事例において、専門家の入力のレベルは様々であり得る。例えば、手動修正が必要な場合もあれば、必要でない場合もある。
【0071】
幾つかの事例において、受信された撮像データから少なくとも1つの解剖学的関心特徴構造を識別するために機械学習モデルにより使用されるガイダンス(すなわち、注意メカニズムとして)を提供するためには、「受信された撮像データ」の各群に対して新規なペナルティマップ(例えば、本明細書に記載されるような「追加のマップ」)を生成する必要があり得る。幾つかの事例において、ペナルティマップは、受信された各撮像データに対して生成されることを要さない場合がある(例えば、機械学習モデルのトレーニングの改善が、該機械学習モデルが受信された撮像データのみに基づいて独立して識別を実行することを可能にする場合)。他のケースにおいて、例えばモデルトレーニングが損失関数においてのみペナルティマップを使用して実行される場合、新規なペナルティマップは、配備時にモデルに対して生成されることを要しない。このように、トレーニングの間においてペナルティマップが注意メカニズムとして使用される場合、当該モデルを受信された撮像データをセグメント化するために展開する際に、新規なペナルティマップが使用され得る。
【0072】
フローチャート400のブロック402において、少なくとも1つの画像スライス等の撮像データが受信される(例えば、方法100のブロック102と同様に)。
【0073】
フローチャート400のブロック404において、該受信された撮像データ内で少なくとも1つの制御位置(方法100で参照されたような)が検出される。
【0074】
フローチャート400のブロック406において、マップが生成される(方法100で参照したように)。
【0075】
当該フローチャート400は、構成に応じて、ブロック408、410及び/又は412のうちの少なくとも1つに進む。
【0076】
ブロック408では、上記マップに基づいてペナルティ依存損失が計算され、当該撮像データの異なる領域におけるエラーにどの程度多くペナルティを課すかを決定する。
【0077】
ブロック410において、当該機械学習モデルは、ブロック406で生成されたマップに基づいて、又はブロック408で計算されたペナルティ依存損失に基づいてトレーニングされる。
【0078】
ブロック412では、機械学習モデル(ブロック410でトレーニングされたもの、又は以前にトレーニングされたもの)が、受信された撮像データ(ブロック402の)及び対応するマップ(ブロック406の)に基づいて実行され、少なくとも1つの解剖学的関心特徴構造を識別する(例えば、方法100のブロック104と同様に)。
【0079】
ブロック414では、ブロック412においてモデルを実行した結果が補正され得る(例えば、専門家等のユーザにより手動で)。この補正は、ブロック404における制御位置検出にフィードバックされ得る。
【0080】
以下の記載は、フローチャート400のブロックの少なくとも幾つかの可能な構成を、心臓の心底領域を表す受信された撮像データ内の境界面を識別するというコンテキストで参照する。前の図の特徴についても参照する。
【0081】
フローチャート400のブロック404は、制御位置検出を参照している。入力された心臓MRI(CMRI)画像(後述される)に基づいて、一群の制御位置が定義される。この構成において、該一群の制御位置は、LV、RV、LA及びRAの重心、並びに心室筋構造の起点を表す2つの端点(又は「接合部」)を含む。
【0082】
LV、RV、LA、RAの重心は以下のようにして取得できる。
【0083】
初期セグメンテーションモデル(例えば、U-Netアーキテクチャに基づくような任意のセグメンテーション手法)がトレーニングされて、LV、RV、LA及びRAの初期セグメンテーションを得る。
【0084】
該4腔セグメンテーションから、LV、RV、LA及びRAの対応する重心(すなわち、各々、center_LV、center_RV、center_LA、center_RA)が得られる。当該仮説は、全体的なダイススコアが低くても、該初期セグメンテーションの重心は相対的に正確であるというものである。
【0085】
更に、各構造のサイズ(例えば、各画像スライスにおけるLV、RV、LA及びRAの少なくとも1つの内部寸法)も、最初の2つの主方向の長さ等の構造のサイズ(及びそれらの変化の大きさ)に対応する変化の少なくとも1つの方向及び大きさを初期モデルからLV、RV、LA及びRAのセグメント化された領域に対し主成分分析(PCA)等の手法を使用して識別することにより推定され、各腔の長さ、すなわちlength_LV、length_RV、length_LA、length_RAを得る。
【0086】
LV心筋構造の端点(本明細書では「EP1」及び「EP2」と呼ぶ)は初期心筋セグメンテーションを取得する(例えば、「従来の」非機械学習ベースの画像処理及び/又は機械学習方法を使用して)ことにより検出でき、次いで、EP1及びEP2が心室筋構造の原点を見つける(例えば、長軸4腔ビューにおいて)ことにより識別され、当該心筋をセグメント化できるようにする。心室心筋が最も薄いLVの両側で検出された点が各スライスの端点を表す。
【0087】
図5は、上述した初期セグメンテーション及び心筋セグメンテーションを示す例示的な画像500において点「EP1」及び「EP2」を示している。EP1及びEP2を結ぶ点線502が示されている。該線502は、セグメンテーションがまだ決定されていない心底領域における大凡の位置を表す。
【0088】
次いで、マップが、以下で説明するように、6つの制御位置に基づいて生成される。
【0089】
入力画像と同じサイズのマップがゼロで初期化される。
【0090】
重心(すなわち、center_LV、center_RV、center_LA、center_RA)の各々に逆ガウス関数(方法100で参照される「空間関数」の一例である)が適用され、ここで、各逆ガウス関数は前述した対応する長さに比例する少なくとも1つの標準偏差を有する。
【0091】
図6は逆ガウス関数600の一例を示すもので、該関数は原点602(すなわち、各重心位置に中心を合わされるべき)に最小値(「0」)を生じさせると共に該原点から指定された距離(該指定された距離は原点からの半径方向に依存し得る)離れて最大値(「1」)を生じさせる空間分布を有する。該マップにおける最小値及び最大値、並びにそれらの間の値を示すために見出し(key)が設けられている。逆ガウス関数600を生成するために使用されるパラメータは、該逆ガウス関数600が適用される腔の少なくとも1つの寸法に依存する。例えば、
図6により示されるように、逆ガウス関数600の形状は、ほぼ楕円の形状を持つ腔に関して大及び小寸法604及び606を各々有する(すなわち、第1の寸法604は当該楕円形状の相対する側の間の最大距離であり、第2の寸法606は該楕円形状の相対する側の間の最小距離である)。このように、各腔において中心を合わされた逆ガウスを生成するためのパラメータは、当該腔の少なくとも1つの寸法604、606から適切に決定できる(初期セグメンテーションから、又は他の手法を使用することにより決定できたように)。
【0092】
点EP1とEP2との間に線502を重ね合わせるためにガウス「ビーム」関数(方法100で参照される「空間関数」の他の例である)が適用される。該ガウスビーム関数を生成するために使用されるパラメータは、EP1とEP2との間の距離、及び解剖学的関心特徴構造の予想される厚さに基づく予め定義された値に依存し得る。
【0093】
図7はガウスビーム関数700の一例を示す。
図7に示されるガウスビーム関数700は、点EP1及びEP2と重なっている。ガウスビーム関数700の長さ702を定義する第1のパラメータは、EP1とEP2との間の距離に基づいて選択され得る(すなわち、長さ702は上記重なりを保証するために該距離よりも長くなるように選択される)。ガウスビーム関数700の幅704を定義する第2のパラメータ(例えば、標準偏差)は、当該解剖学的関心特徴構造の予想される厚さに基づいて選択され得る。
【0094】
図6で参照された逆ガウス関数と
図7で参照されるガウスビーム関数との組み合わせを使用して、撮像データ内のピクセル位置におけるペナルティを定義するマップを生成することができる。
【0095】
図8は、(a)に心臓の一部の画像スライス、及び(b)に画像(a)に基づいて生成された「ヒート」マップを示し、ヒートマップ(b)を画像スライス(a)と重ね合わせて関心領域(又は複数の関心領域)を特定することができる。ヒートマップ(b)により示されるように、4つの逆ガウス関数(重心位置に原点を持つ)が存在し、これら逆ガウス関数の各々は、少なくとも1つの他の逆ガウス関数及びガウスビーム関数と少なくとも部分的に重なり合う(ヒートマップの「最も明るい」領域において)。
【0096】
ヒートマップにおける最大値は、種々の制御位置に関連するガウス関数が重なり合う又は交差する領域に対応する。この場合、最大値は制御位置に対して定義されたガウス関数の重なり、例えば、隔壁上縁の周囲の領域及び心底スライスに対応し、LV/LA及びRV/RAの間の境界面、次いで、各構造の他の境界面又は点が続き、最後に、該マップにおける最小値はLV/RV/LA/RAの重心の位置及びこれらの構造の外側に対応する。見出しが設けられ、該ヒートマップの最大値(「1」)及び最小値(「0」)を示している。「1」なる最大値は、少なくとも2つの異なるガウス関数の重なりを意味するが、最小値及び最大値の選択は当該マップ及びトレーニングシステムの設計に応じて任意である。
【0097】
生成されたマップはモデルに対し最も困難な領域を識別するためのガイダンスを提供でき、該モデルが、位置及び重み付けに基づいて、これらの領域におけるセグメンテーションを最適化するための特徴構造を自動的に学習できるようにする。
【0098】
上述したマップは、当該機械学習モデルがエラーにペナルティを科そうとする領域に対応した空間分布(互いに重なり合っても重なり合わなくてもよい)を持つ特定の空間関数に基づいて生成される。適切なら、他の空間関数を使用することもできる。更に、逆ガウス関数が説明されたが、当該機械学習モデルが集中すべきでない領域を指すために重心に原点を持つ正ガウス関数を使用することも可能である。言い換えると、当該マップは、機械学習モデルに自身の学習を特定の関心領域(少なくとも1つの解剖学的関心特徴構造を含む)に集中させるような方法で生成(及びオプションとして変換)することができ、このことは、ペナルティを課すことにより実行されるか、又は機械学習モデルにこれらの関心領域に関する学習を優先させる何らかの他の方法で実行されるかによるものではない。このように、マップの値は、トレーニングの間において使用するために適切に変換される限りにおいて、正又は負であるか、大きな又は小さなスケーリング範囲を有するか等は重要ではない。
【0099】
フローチャート400のブロック410は、モデルのトレーニング(例えば、上述した「ペナルティ」マップを使用した)を参照するものである。
【0100】
モデルのトレーニング中において、ペナルティマップを使用してモデルにペナルティを課し、該モデルに困難な領域において正確なセグメンテーションを生成させるようにすることができる。ある構成において、このペナルティ付けは、セグメンテーションモデルのトレーニングに使用される何らかの適切な損失関数に追加のペナルティ項を付加することにより実行できる。例示として、該損失関数は:
【数1】
と定義できる。
【0101】
ここで、Loss(i)は所与のボクセルiの損失であり、I±はペナルティマップに関連付けられた重み係数であり、実験的に決定できる。PenaltyMap(i)はボクセルiにおける関連付けられたペナルティである。これは、種々の損失関数に適用できる。以下に、セグメンテーション問題に広く使用されている(重み付け/修正された)ダイス損失への適用例を示す。このように、修正されたダイス損失は:
【数2】
により計算される。
【0102】
ここで、yj,l(y_j,l)及びy’j,l(y’_j,l)は、各々、l番目のクラスにおけるj番目のピクセルのグラウンドトゥルース及び予測ラベルであり、wl(w_l)はクラスlに関連付けられた重みである。ダイス値(1に等しい場合はセグメンテーション精度が高いことを意味し、0(ゼロ)に等しい場合はセグメンテーション精度が低いことを意味する)は、括弧内の2番目の項を参照することに注意されたい。該ダイス損失式の構造は、ダイススコアが低い(すなわち、弱い境界面における等の特定のピクセル位置におけるセグメンテーション精度が劣る)場合に、ダイス損失値は大きな数となり、ダイススコアが高い(すなわち、心腔重心における等の特定のピクセル位置におけるセグメンテーション精度が高い)場合は、小さな数になることを意味する。したがって、j番目のピクセルに関するダイス損失が、特定のピクセル又はピクセル群に関して(例えば、そのようなピクセル/ピクセル群におけるエラーが大きいため)学習に焦点を当てるかどうかを当該モデルに示すために使用される。
【0103】
それ故、ペナルティが高い領域においてセグメンテーション精度が低い場合、モデルの損失は大きくなり、該モデルはこの領域におけるセグメンテーションエラーを最小化するように自動的に学習し、したがって、少なくとも1つの解剖学的関心特徴構造を含む少なくとも1つの領域等の特定の領域において一層高いセグメンテーション精度がもたらされる。
【0104】
フローチャート400のブロック412は、トレーニングされたモデルの実行を参照している。トレーニングが完了すると、必要とされる制御位置が、幾つかの事例では、自動的に生成され、受諾/修正のためにユーザに提供され得る。ユーザが識別された領域を受諾したら、セグメンテーションをガイドするために、ペナルティマップが生成され、撮像データと共に入力として提供される。
【0105】
上記に関連する幾つかの実施形態を、以下に説明する。
【0106】
幾つかの実施形態において、当該機械学習モデルは解剖学的関心特徴構造を:セグメンテーション手法を使用して撮像データ内の何処に識別される解剖学的関心特徴構造が位置するかを決定し;撮像データ内の何処に識別される解剖学的関心特徴構造が位置するかを示すための指示子(インジケータ)を生成する;ことにより識別するように構成される。幾つかの事例において、上記インジケータは、撮像データの表示画像(例えば、ユーザディスプレイ上の)上に識別された解剖学的関心特徴構造の視覚的指示情報(例えば、矢印又は文章等のマーカを介して)を提供するように構成され得る。
【0107】
幾つかの実施形態において、少なくとも1つの制御位置は解剖学的関心特徴構造とは重ならない。例えば、該少なくとも制御位置は、或る/他の機械学習モデルにとり識別することが容易な位置/解剖学的特徴構造であり得る。この制御位置は、次いで、トレーニングデータセット内の何処に学習を集中させるべきかを決定するために使用され得る(例えば、該少なくとも1つの制御位置に関して定義される空間分布を介して)。幾つかの事例において、制御位置のうちの少なくとも1つは解剖学的関心特徴構造と重なり得る(これら制御位置のうちの少なくとも1つの他のものは当該解剖学的関心特徴構造とは重ならないが)。
【0108】
幾つかの実施形態において、当該機械学習モデルを使用するステップは、追加のマップを該機械学習モデルへの入力として使用して、受信された撮像データ内の少なくとも1つの解剖学的関心特徴構造を識別するステップを含む。該追加のマップは、受信された撮像データから生成することができる。言い換えると、該追加のマップは受信された撮像データを伴う追加の入力であり得る。すなわち、該機械学習モデルは、特徴構造を抽出する(すなわち、解剖学的関心特徴構造の識別を実行する)ために該追加のマップに加えて撮像データを実際に処理する。受信された撮像データから生成される該追加のマップは、各トレーニングデータセットから生成されるマップとは別であることに注意されたい。このように、該追加のマップの使用は、同じマップがトレーニング過程の間において損失にペナルティを課す(例えば、損失関数を変更することにより)ために使用されることに加えてのものである。
【0109】
上記追加のマップは、トレーニングプロセスの間において損失にペナルティを課すために使用するマップと同様/同一の方法で生成することができる。例えば、機械学習モデル(又は他の機械学習モデル)は受信された撮像データ内で少なくとも1つの制御位置を決定できる(例えば、腔重心等の相対的に識別するのが容易な位置を識別することにより)。該機械学習モデルは、次いで、空間関数を使用して、該機械学習モデルが解剖学的関心特徴構造を識別するために自身の注意を何処に集中すべきか示す空間分布を生成することにより、受信された撮像データに対する追加のマップを生成することができる(すなわち、空間関数が一連の損失値を生成するために使用された方法と同様の方法で)。このように、マップはトレーニングデータセットに基づいて生成され、トレーニングプロセスのために使用される。付加のマップは、受信された撮像データに基づいて生成され、識別プロセスのために使用される。これらマップ及び追加のマップは、ヒートマップ、アテンション(注意)マップ及び/又はペナルティマップとして表すことができる。機械学習モデルが(トレーニング)マップを該機械学習モデルのトレーニングを支援するために使用したような幾つかの事例において、追加のマップは識別プロセスへの入力として必要とされ得る。
【0110】
幾つかの実施形態において、各トレーニングデータセットに対して生成されたマップにより指定される隣接するトレーニング領域間の空間的重なりは、当該トレーニングデータセットにおける少なくとも1つの優先トレーニング領域を定義し、この優先トレーニング領域は、機械学習モデルが該少なくとも1つの優先トレーニング領域における学習エラーのペナルティ付けを当該トレーニングデータセットの重なり合わないトレーニング領域及び/又は当該トレーニングデータセットの他の領域における学習エラーのペナルティ付けよりも優先させるために使用するものである。
【0111】
図8b)により示されるように、マップの「最も明るい」領域は、当該撮像データの複数のトレーニング領域(異なる優先度を持つ)を定義する異なる空間関数の重なり(すなわち、逆ガウス関数及びガウスビーム関数により定義される空間分布の間の重なり)に対応する。「空間的重なり」に対応する如何なる空間領域も、学習すべき撮像データの最高の優先領域(例えば、少なくとも1つの「高」優先度の「優先トレーニング領域」)を定義することができる。重なり合う領域は最高の輝度を有し得るからである。空間関数の重なり合わない空間分布に対応する空間領域(すなわち、上述した「重なり合わないトレーニング領域」)は、学習すべき撮像データの次に高い優先度を定義し得る。マップの他の領域(すなわち、上述した「他の領域」)(すなわち、「最も暗い」領域)は、学習すべき撮像データの最も低い優先度を定義し得る。このように、最も低い優先度の領域は、撮像データにおけるセグメンテーションモデルにとり識別するのが相対的に容易な領域を示し得る一方、最も高い優先度の領域は、撮像データにおけるセグメンテーションモデルにとり本明細書に記載のマップを使用せずに識別するのが困難な領域を指し得る。
【0112】
幾つかの実施形態において、受信される撮像データは、被験者の心臓の心底領域に対応する。この場合、トレーニングされた機械学習モデルを使用して識別されるべき少なくとも1つの解剖学的関心特徴構造は、被験者の心臓の隣接する心腔間の少なくとも1つの解剖学的境界面を含み得る。
【0113】
幾つかの実施形態において、前記少なくとも1つの制御位置は、該少なくとも1つの制御位置を識別するために使用される初期セグメンテーションモデルの結果に基づいて識別される。
【0114】
幾つかの実施形態において、当該少なくとも1つの制御位置は、心臓の腔の重心を含む。幾つかの実施形態において、該少なくとも1つの制御位置は、心臓の各腔の間の少なくとも1つの境界面を定める心室及び/又は心房筋構造の端点及び/又は接合部を含む。幾つかの実施形態において、該制御位置は、心臓の腔の少なくとも1つの重心と、心室及び/又は心房筋構造の少なくとも1つの端点及び/又は接合部との組み合わせを含み得る。
【0115】
幾つかの実施形態において、少なくとも1つのトレーニング領域の空間分布は空間関数の少なくとも1つのパラメータにより定義される。該少なくとも1つのパラメータは、トレーニングデータセットにおける少なくとも1つの以前に特定された解剖学的特徴構造の少なくとも1つの寸法に基づくものであり得る。
図6及び
図7に関連して言及されたように、該少なくとも1つの解剖学的特徴構造の寸法(例えば、心腔の少なくとも1つの寸法)は、空間関数の空間的範囲/分布を定め得る。このように、空間関数の少なくとも1つのパラメータは、画像スライスにおける心腔の長さ及び/又は幅等の少なくとも1つの(測定された又は予想される)寸法に基づいて選択され得る。
【0116】
幾つかの実施形態において、上記空間関数は、トレーニングデータセット内の少なくとも1つの制御位置により定義される原点に中心が合わされた第1のガウスベースの関数を有する。第1のガウスベースの関数により定義される少なくとも1つのトレーニング領域の空間分布は、原点から遠位にあり得る。言い換えると、機械学習モデルが原点に焦点を合わせるのではなく、空間分布により定義される領域に焦点を合わせるように、第1のガウスベースの関数により定義される少なくとも1つのトレーニング領域の空間分布の間には特定の距離(原点からの半径方向に応じて変化し得る)が存在し得る。
【0117】
幾つかの実施形態において、第1のガウスベースの関数は逆ガウス関数を含む。
【0118】
幾つかの実施形態において、当該ボリュームは心臓の少なくとも一部を含む。この場合、第1のガウスベースの関数は心臓の少なくとも1つの腔の重心に中心を合わされ得る。
【0119】
幾つかの実施形態において、前記空間関数は空間分布を指定する第2のガウスベース関数を含み、該空間分布は第2のガウスベース関数に関連付けられた少なくとも1つのトレーニング領域を示す。第2のガウスベース関数に関連付けられた少なくとも1つのトレーニング領域を示す該空間分布は、トレーニングデータセット内の隣接する制御位置と重なり得る。このことは、関心領域を定義する空間分布が制御位置(すなわち、原点)と重なり合わない第1のガウスベースの関数とは対照的である。
【0120】
幾つかの実施形態において、当該ボリュームは心臓の少なくとも一部を含む。この場合、第2のガウスベースの関数により定義される少なくとも1つのトレーニング領域の空間分布は、心臓の各腔の間の少なくとも1つの境界面を定める心室及び/又は心房筋組織の隣接する端点及び/又は接合部を接続するラインを有し得る。
【0121】
幾つかの実施形態において、学習エラーにペナルティを課すために使用される損失関数は、マップにより修正される。幾つかの実施形態において、損失関数はトレーニング撮像データの少なくとも1つのピクセル又はボクセルに関する測定値とグラウンドトゥルース値との間の差に基づくものである。例えば、前述したダイス損失は、機械学習モデルのトレーニングを容易にするために使用できる「損失関数」の一例である。
【0122】
幾つかの実施形態において、機械学習モデルは最初に「トレーニングデータセット」に基づいてトレーニングされ得る。幾つかの実施形態において、機械学習モデルは、この初期トレーニングに基づいて展開され得る。幾つかの実施形態において、機械学習モデルは方法100で参照された「受信された撮像データ」を使用して更にトレーニングされ得る(例えば、機械学習モデルを改善するために)。このように、幾つかの実施形態において、「トレーニング撮像データ」は「受信された撮像データ」を含む。他の実施形態において、方法100で参照された「受信された撮像データ」は、更なるトレーニングには使用されないこともある。
【0123】
図9は、一実施形態による表示データを生成する方法900を示す。方法900は、例えば方法100と同様に、前述したようなコンピューティング装置上で実施化することができる。幾つかの実施形態において、方法900は方法100とは独立して実施することができる。この実施形態において、方法900は方法100と併せて実施される(例えば、方法900は方法100に従って識別が実行された後に実施され得る)。
【0124】
方法900のブロック902は、受信された撮像データ内の少なくとも1つの他の解剖学的構造に対する識別された解剖学的関心特徴構造のセグメンテーションをユーザインターフェース(例えば、ディスプレイ210)上に表示するための表示データを生成するステップを含む。
【0125】
図10は、一実施形態による機械学習モデルをトレーニングする方法1000を示す。方法1000は、例えば方法100と同様に、前述したようなコンピューティング装置上で実施化することができる。幾つかの実施形態において、方法1000は方法100とは独立して実施することができる。この実施形態において、方法1000は方法100と併せて実施される(例えば、方法1000は
図1で参照された機械学習モデルのトレーニングを容易にするために実施され得る)。
【0126】
方法1000は、機械学習モデルを以下のようにトレーニングするステップを含む。
【0127】
方法1000は、ブロック1002に、少なくとも1つの一連のトレーニングデータセット(例えば、各データセットは、受信された撮像データ等の少なくとも1つの画像スライス及び/又は以前に取得されたトレーニングデータセットを含む)及び各トレーニングデータセット内の解剖学的関心特徴構造を識別するグラウンドトゥルースの指示情報を受信するステップを有する。幾つかの事例において、ブロック1002はフローチャート400のブロック402と同様の又は類似のものであり得る。上記少なくとも1つの画像スライスは、一連の2D画像を一緒に位置合わせすることにより三次元(3D)画像を構築するために使用できる二次元(2D)画像であり得る。
【0128】
方法1000は、ブロック1004に、上記少なくとも1つのトレーニングデータセットにおいて少なくとも1つの制御位置を決定するステップを有する。幾つかの事例において、ブロック1004はフローチャート400のブロック404と同様の又は類似のものであり得る。
【0129】
方法1000は、ブロック1006に、(少なくとも1つの)空間関数を使用して一群の損失値を生成することにより、少なくとも1つのトレーニングデータセットのためのマップを生成するステップを有する。該一群の損失値は、少なくとも1つのトレーニング領域の空間分布を示し得る。該一群の損失値は、各ピクセル又はボクセルにおける学習エラーにペナルティを課すためにトレーニングデータセットの各ピクセル又はボクセルに適用すべき損失関数を示し得る。幾つかの事例において、ブロック1006は、フローチャート400のブロック406と同様の又は類似のものであり得る。
【0130】
方法1000は、ブロック1008に、前記一連のものうちの少なくとも1つのトレーニングデータセット及び該少なくとも1つのトレーニングデータセットの対応するマップを使用して機械学習モデルをトレーニングするステップを有する。幾つかの事例において、ブロック1008はフローチャート400のブロック410と同様の又は類似のものであり得る。前述したように、上記マップは、損失関数を生成するため及び/又は注意メカニズムとして使用され得る。
【0131】
図11は、一実施形態による解剖学的特徴構造を識別するための非一時的なマシン可読媒体1100を示す。非一時的マシン可読媒体1100は、少なくとも1つのプロセッサ1104上で実行された場合に、該少なくとも1つのプロセッサ1104に本明細書に記載の特定の方法(例えば、方法100、900、1000及び/又はいずれかの関連する実施形態)を実施させる命令1102を有する。この実施形態において、命令1102は方法100を実施するように構成される。非一時的マシン可読媒体1100は、
図2のコントローラ208及び/又はサービスプロバイダ212内に設けられ得る。更に、少なくとも1つのプロセッサ1104も、
図2のコントローラ208及び/又はサービスプロバイダ212内に設けられ得る。このように、システム200は以下に説明する命令を含む命令1102を実行するために使用することができる。
【0132】
命令1102は、少なくとも1つのプロセッサ1104に被験者の解剖学的構造のボリュームを表す撮像データを受信させるように構成された命令1106を含む。該受信される撮像データは、少なくとも1つの識別されていない解剖学的関心特徴構造を含む。
【0133】
命令1102は命令1108を更に含み、該命令1108は、少なくとも1つのプロセッサ1104に、受信された撮像データ内の解剖学的関心特徴構造を識別するためにセグメンテーション手法を実施すると共に該撮像データ内の解剖学的関心特徴構造を識別するように構成された機械学習モデルを使用させるように構成される。
【0134】
該機械学習モデルは、一連のトレーニングデータセットの各々に関して生成されるマップを使用してトレーニングされる。各トレーニングデータセットは、トレーニングする解剖学的構造のボリュームを表すトレーニング撮像データを含む。
【0135】
各トレーニングデータセットのためのマップは、該マップに関連付けられたトレーニングデータセット内の少なくとも1つの制御位置に対する少なくとも1つのトレーニング領域の空間分布を指定するように構成された空間関数により生成される。該マップは、少なくとも1つのトレーニング領域における学習エラーにペナルティを課すように構成される。少なくとも1つのトレーニング領域は、当該マップに関連付けられたトレーニングデータセット内の少なくとも1つの識別されていない解剖学的関心特徴構造を含む。
【0136】
幾つかの実施形態において、命令1102は、本明細書に記載される他の方法のいずれかを実施するための他の命令を含む。
【0137】
図12は、一実施形態による解剖学的特徴構造を識別するための装置1200を示す。装置1200は少なくとも1つのプロセッサ1202(例えば、
図2により示されたコントローラ208及び/又はサービスプロバイダ212等のコンピューティング装置により実装される)を備える。該少なくとも1つのプロセッサ1202は、(例えば、放射線撮像装置202及び/又は使用時に少なくとも1つのプロセッサ1202がデータを交換することができる他の任意の主体と)データを通信するためのインターフェース1204に通信可能に結合される。この実施形態において、インターフェース1204は被験者の解剖学的構造のボリュームを表す撮像データを受信するように構成される。受信された撮像データは、少なくとも1つの識別されていない解剖学的関心特徴構造を含む。インターフェース1204は、
図2で参照されたコントローラ208及び/又はサービスプロバイダ212の一部であってもよい。
【0138】
装置1200は、更に、本明細書に記載される特定の方法に対応する方法(例えば、方法100、900、1000及び/又は本明細書に記載されているいずれかの他の方法)を実行するために少なくとも1つのプロセッサ1202により読み取り可能及び実行可能な命令1208を記憶した非一時的なマシン可読媒体1206を有する。
【0139】
命令1208は、少なくとも1つのプロセッサ1202に、受信された撮像データ内の解剖学的関心特徴構造を識別するためのセグメンテーション手法を実施すると共に該受信された撮像データ内の解剖学的関心特徴構造を識別するように構成された機械学習モデルを使用させるように構成される。
【0140】
上記機械学習モデルは、一連のトレーニングデータセットの各々に対して生成されるマップを使用してトレーニングされる。各トレーニングデータセットは、トレーニングする解剖学的構造のボリュームを表すトレーニング撮像データを含む。
【0141】
各トレーニングデータセットのためのマップは、該マップに関連付けられたトレーニングデータセット内の少なくとも1つの制御位置に対する少なくとも1つのトレーニング領域の空間分布を指定するように構成された空間関数により生成される。該マップは、少なくとも1つのトレーニング領域における学習エラーにペナルティを課すように構成される。少なくとも1つのトレーニング領域は、当該マップに関連付けられたトレーニングデータセット内の少なくとも1つの識別されていない解剖学的関心特徴構造を含む。
【0142】
幾つかの実施形態において、命令1208は、本明細書に記載の他の方法のいずれかを実施するための他の命令を含んでもよい。
【0143】
本開示は、以下の番号が付された段落で定義される主題を含む。
1.コンピュータ実施方法であって:
- 被験者の解剖学的構造のボリュームを表す撮像データを受信するステップであって、受信された撮像データが少なくとも1つの識別されていない解剖学的関心特徴構造を含むステップ;及び
- 受信された撮像データ内の解剖学的関心特徴構造を、少なくとも1つの解剖学的関心特徴構造を識別するためにセグメンテーション手法を実施するように構成された機械学習モデルを使用して識別するステップ;
を有し、
- 前記機械学習モデルは一連のトレーニングデータセットの各々に対して生成されるマップを使用してトレーニングされ、各トレーニングデータセットはトレーニングする解剖学的構造のボリュームを表すトレーニング撮像データを含み、当該マップは機械学習モデルに該マップに関連付けられたトレーニングデータセット内の少なくとも1つの識別されていない解剖学的関心特徴構造を含んだ少なくとも1つのトレーニング領域における学習エラーにペナルティを科させるように構成され;
- 各トレーニングデータセットに対するマップは、該マップに関連付けられたトレーニングデータセット内の少なくとも1つの制御位置に空間関数を適用することにより生成され;及び
- 該空間関数は、当該マップに関連付けられたトレーニングデータセット内の少なくとも1つの制御位置に対する少なくとも1つのトレーニング領域の空間分布を指定するように構成される。
2.段落1.の方法であって、各トレーニングデータセットに対して生成されたマップにより指定される隣接するトレーニング領域の間の空間的重なりは、機械学習モデルが少なくとも1つの優先トレーニング領域における学習エラーのペナルティ付けをトレーニングデータセットの重なり合わないトレーニング領域及び/又はトレーニングデータセットの他の領域における学習エラーのペナルティ付けよりも優先させるために使用するためのトレーニングデータセット内の少なくとも1つの優先トレーニング領域を定義する。
3.段落1.又は段落2.の方法であって、受信された撮像データは被験者の心臓の心底領域に対応し、トレーニングされた機械学習モデルを使用して識別されるべき少なくとも1つの解剖学的関心特徴構造は、被験者の心臓の隣接する腔の間の少なくとも1つの解剖学的境界面を含む。
4.段落1.から3.の何れか1つの段落の方法であって、少なくとも1つの制御位置は、該少なくとも1つの制御位置を識別するために使用される初期セグメンテーションモデルの結果に基づいて識別される。
5.段落4.の方法であって、少なくとも1つの制御位置は:心臓の腔の重心;及び/又は心臓の各腔間の少なくとも1つの境界面を定める心室及び/又は心房筋構造の端点及び/又は接合部;を含む。
6.段落1.から5.の何れか1つの段落の方法であって、少なくとも1つのトレーニング領域の空間分布は空間関数の少なくとも1つのパラメータにより定義され、該少なくとも1つのパラメータはトレーニングデータセットにおける少なくとも1つの以前に識別された解剖学的特徴構造の少なくとも1つの寸法に基づくものである。
7.段落1.から6.の何れか1つの段落の方法であって、空間関数はトレーニングデータセット内の少なくとも1つの制御位置により定義される原点を中心とする第1のガウスベースの関数を含み、該第1のガウスベースの関数により定義される少なくとも1つのトレーニング領域の空間分布は原点から遠位にある。
8.段落7.の方法であって、第1のガウスベースの関数は逆ガウス関数を含む。
9.段落7.又は8.の方法であって、ボリュームは心臓の少なくとも一部を含み、第1のガウスベースの関数は心臓の少なくとも1つの腔の重心を中心とする。
10.段落1.から9.の何れか1つの段落の方法であって、空間関数はトレーニングデータセット内の隣接する制御位置の間に広がる第2のガウスベースの関数を含み、該第2のガウスベースの関数により定義される少なくとも1つのトレーニング領域の空間分布は隣接する制御位置を含む。
11.段落10.の方法であって、ボリュームは心臓の少なくとも一部を含み、第2のガウスベースの関数により定義される少なくとも1つのトレーニング領域の空間分布は、心臓の各腔の間の少なくとも1つの境界面を定める心室及び/又は心房の筋肉組織の隣接する端点及び/又は接合部を結ぶラインを含む。
12.段落1.から11.の何れか1つの段落の方法であって、学習エラーにペナルティを課すために使用される損失関数はマップにより修正され、該損失関数はトレーニング撮像データの少なくとも1つのピクセル又はボクセルに関する測定値とグラウンドトゥルース値との間の差に基づくものである。
13.段落1.から12.の何れか1つの段落の方法であって、機械学習モデルを:
- 一連のトレーニングデータセットの少なくとも1つ及び各トレーニングデータセット内の解剖学的関心特徴構造を識別するグラウンドトゥルースの指示情報を受信し;
- 少なくとも1つのトレーニングデータセットにおける少なくとも1つの制御位置を決定し;
- トレーニングデータセット内の少なくとも1つの制御位置に空間関数を適用することにより少なくとも1つのトレーニングデータセットのためのマップを生成し、ここで、該マップはトレーニングデータセットの各ピクセル又はボクセルに適用する損失関数を示し;及び
- 機械学習モデルを、一連のトレーニングデータセットのうちの少なくとも1つのトレーニングデータセット及び該少なくとも1つのトレーニングデータセットのための対応するマップを使用してトレーニングする;
ことによりトレーニングするステップを有する。
14.少なくとも1つのプロセッサにより実行可能な命令を記憶する非一時的マシン可読媒体であって、前記命令は、少なくとも1つのプロセッサに:
- 被験者の解剖学的構造のボリュームを表す撮像データを受信させ、ここで、該受信された撮像データは少なくとも1つの識別されていない解剖学的関心特徴構造を含み;及び
- 受信された撮像データ内の解剖学的関心特徴構造を、少なくとも1つの解剖学的関心特徴構造を識別するためにセグメンテーション手法を実施するように構成された機械学習モデルを使用して識別させる;
ように構成され、
- 前記機械学習モデルは一連のトレーニングデータセットの各々に対して生成されるマップを使用してトレーニングされ、各トレーニングデータセットはトレーニングする解剖学的構造のボリュームを表すトレーニング撮像データを含み、上記マップは機械学習モデルに該マップに関連付けられたトレーニングデータセット内の少なくとも1つの識別されていない解剖学的関心特徴構造を含む少なくとも1つのトレーニング領域における学習エラーにペナルティを科させるように構成され;
- 各トレーニングデータセットのためのマップは、該マップに関連付けられたトレーニングデータセット内の少なくとも1つの制御位置に空間関数を適用することにより生成され;及び
- 該空間関数は前記マップに関連付けられたトレーニングデータセット内の少なくとも1つの制御位置に対する少なくとも1つのトレーニング領域の空間分布を指定するように構成される。
15.装置であって:
- インターフェースに通信可能に結合された少なくとも1つのプロセッサであって、該インターフェースは被験者の解剖学的構造のボリュームを表す撮像データを受信するように構成され、受信された撮像データが少なくとも1つの識別されていない解剖学的関心特徴構造を含む、プロセッサ;及び
- 少なくとも1つのプロセッサにより読み取り可能及び実行可能な命令を記憶する非一時的マシン可読媒体であって、これら命令が、少なくとも1つのプロセッサに前記受信された撮像データ内の解剖学的関心特徴構造を少なくとも1つの解剖学的関心特徴構造を識別するためにセグメンテーション手法を実施するように構成された機械学習モデルを使用して識別させるように構成された、非一時的マシン可読媒体;
を有し、
- 前記機械学習モデルは一連のトレーニングデータセットの各々に対して生成されるマップを使用してトレーニングされ、各トレーニングデータセットはトレーニングする解剖学的構造のボリュームを表すトレーニング撮像データを含み、上記マップは機械学習モデルに該マップに関連付けられたトレーニングデータセット内の少なくとも1つの識別されていない解剖学的関心特徴構造を含む少なくとも1つのトレーニング領域における学習エラーにペナルティを科させるように構成され;
- 各トレーニングデータセットのためのマップは、該マップに関連付けられたトレーニングデータセット内の少なくとも1つの制御位置に空間関数を適用することにより生成され;及び
- 該空間関数は前記マップに関連付けられたトレーニングデータセット内の少なくとも1つの制御位置に対する少なくとも1つのトレーニング領域の空間分布を指定するように構成される。
【0144】
以上、本発明を図面及び上記記載において詳細に図示及び説明したが、このような図及び説明は解説的又は例示的なものであって、限定するものではないと見なされるべきである。すなわち、本発明は開示された実施形態に限定されるものではない。
【0145】
或る実施形態で説明された1つ以上のフィーチャは、他の実施形態に記載されたフィーチャと組み合わせるか、又は置き換えることができる。
【0146】
本開示の実施形態は、方法、システムとして、又はマシン可読命令と処理回路との組み合わせとして提供できる。このようなマシン可読命令は、コンピュータ可読プログラムコードを有する非一時的なマシン(例えば、コンピュータ)可読記憶媒体(限定されるものではないが、ディスクストレージ、CD-ROM、光ストレージ、フラッシュストレージ等)に含まれ得る。
【0147】
本開示は、本開示の実施形態による方法、装置及びシステムのフローチャート及びブロック図を参照して説明されている。上述されたフローチャートは特定の実行順序を示しているが、実行順序は図示のものと異なることができる。或るフローチャートに関連して説明されたブロックは、他のフローチャートのものと組み合わせることができる。フローチャート及び/又はブロック図における各ブロック、ならびにフローチャート及び/又はブロック図におけるブロックの組み合わせはマシン可読命令により実現できることを理解されたい。
【0148】
上記マシン可読命令は、例えば、汎用コンピュータ、専用コンピュータ、組み込みプロセッサ、又は他のプログラム可能なデータ処理装置のプロセッサにより実行されて、当該記載及び図面で説明された機能を実現することができる。特に、プロセッサもしくは処理回路、又はそれらのモジュールが、当該マシン可読命令を実行することができる。このように、本明細書に記載される装置及び他のデバイスの機能モジュールは、メモリに格納されたマシン可読命令を実行するプロセッサ、又は論理回路に埋め込まれた命令に従って動作するプロセッサにより実施化できる。「プロセッサ」という用語は、CPU、処理ユニット、ASIC、論理ユニット、又はプログラマブルゲートアレイ等を含むように広く解釈されるべきである。当該方法及び機能モジュールは、全て、単一のプロセッサにより実行でき、又は幾つかのプロセッサに分割され得る。
【0149】
このようなマシン可読命令は、コンピュータ又は他のプログラム可能なデータ処理装置を特定のモードで動作させることができるコンピュータ可読記憶装置に格納することもできる。
【0150】
このようなマシン可読命令は、コンピュータ又は他のプログラム可能なデータ処理装置にロードすることもでき、該コンピュータ又は他のプログラム可能なデータ処理装置が一連の動作を実行してコンピュータ実施処理を行い、該コンピュータ又は他のプログラム可能な装置上で実行される命令が当該フローチャート及び/又はブロック図におけるブロックにより指定された機能を実現するようにする。
【0151】
更に、本明細書における教示内容はコンピュータプログラム製品の形態で実装することができ、この場合、該コンピュータプログラム製品は記憶媒体に記憶され、コンピュータ装置に本開示の実施形態で説明される方法を実行させるための複数の命令を含む。
【0152】
或る実施形態に関連して説明された要素又はステップは、他の実施形態に関連して説明される要素又はステップと組み合わせるか、又はそれらにより置き換えることができる。開示された実施形態に対する他の変形例は、当業者によれば、請求項に記載の発明を実施する際に、図面、本開示及び添付請求項の精査から理解し、実現することができる。請求項において、「含む(有する)」という文言は他の要素又はステップを排除するものではなく、単数形は複数を排除するものではない。単一のプロセッサ又は他のユニットは、請求項に記載されている幾つかの項目の機能を果たすことができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用できないことを示すものではない。コンピュータプログラムは、他のハードウェアと一緒に、又は他のハードウェアの一部として供給される光記憶媒体又はソリッドステート媒体等の適切な媒体により記憶又は配布することができるのみならず、インターネット又は他の有線若しくは無線通信システムを介して等のように、他の形態で配布することもできる。請求項における如何なる参照符号も、当該範囲を限定するものとして解釈されるべきではない。
【国際調査報告】