IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ブラッコ・イメージング・ソシエタ・ペル・アチオニの特許一覧

特表2024-536959医療撮像アプリケーションにおける高用量造影剤で画像をシミュレートするための機械学習モデルの訓練
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-10
(54)【発明の名称】医療撮像アプリケーションにおける高用量造影剤で画像をシミュレートするための機械学習モデルの訓練
(51)【国際特許分類】
   A61B 5/055 20060101AFI20241003BHJP
   A61B 6/03 20060101ALI20241003BHJP
   A61B 6/50 20240101ALI20241003BHJP
   A61B 6/46 20240101ALI20241003BHJP
【FI】
A61B5/055 380
A61B5/055 383
A61B6/03 560T
A61B6/50 511E
A61B6/46 536Q
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023576374
(86)(22)【出願日】2022-10-14
(85)【翻訳文提出日】2024-04-15
(86)【国際出願番号】 EP2022078668
(87)【国際公開番号】W WO2023062196
(87)【国際公開日】2023-04-20
(31)【優先権主張番号】21203019.1
(32)【優先日】2021-10-15
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】504448162
【氏名又は名称】ブラッコ・イメージング・ソシエタ・ペル・アチオニ
【氏名又は名称原語表記】BRACCO IMAGING S.P.A.
(74)【代理人】
【識別番号】100145403
【弁理士】
【氏名又は名称】山尾 憲人
(74)【代理人】
【識別番号】100135703
【弁理士】
【氏名又は名称】岡部 英隆
(74)【代理人】
【識別番号】100189544
【弁理士】
【氏名又は名称】柏原 啓伸
(72)【発明者】
【氏名】ヴァルブーザ,ジョヴァンニ
(72)【発明者】
【氏名】コロンボ セッラ,ソニア
(72)【発明者】
【氏名】フリングエッロ ミンゴ,アルベルト
(72)【発明者】
【氏名】テドルディ,ファビオ
(72)【発明者】
【氏名】ベッラ,ダヴィデ
【テーマコード(参考)】
4C093
4C096
【Fターム(参考)】
4C093AA22
4C093AA24
4C093CA33
4C093DA04
4C093FF35
4C093FF41
4C096AA11
4C096AB46
4C096AC01
4C096AD14
4C096DC33
4C096DC35
4C096FB10
(57)【要約】
医療撮像アプリケーションで使用するための機械学習モデル(420)を訓練するための解決策が提案される。対応する方法(700)は、サンプルセットを提供(703~743、759~763)し、その各々はサンプルベースライン画像、サンプル標的画像(特定の用量の造影剤が投与された対象の対応する身体部分から取得される)、およびサンプルソース用量(異なる用量の造影剤に対応する)を含む。機械学習モデル(420)は、対応するサンプルベースライン画像およびサンプルソース画像から各サンプル標的画像を生成するその能力を最適化するように訓練(744~758)される。1つまたは複数のサンプルセットは不完全であり、サンプルソース画像を欠いている。各不完全なサンプルセットは、少なくともサンプルセットのサンプルベースライン画像およびサンプル標的画像からサンプルソース画像をシミュレートすることによって完成(704~742;759~763)する。方法(700)を実施するためのコンピュータプログラム(500)およびコンピュータプログラム製品が提案される。さらに、方法(700)を実行するためのコンピューティングシステム(130)が提案される。
【特許請求の範囲】
【請求項1】
医療撮像アプリケーションで使用するための動作機械学習モデル(420)を訓練するための方法(700)であって、コンピューティングシステム(130)の制御下で、
前記コンピューティングシステム(130)に、対象の対応する身体部分を表す、対応するサンプルベースライン画像、サンプルソース画像およびサンプル標的画像を含む複数のサンプルセットを提供すること(703~743;759~763)であって、前記サンプルベースライン画像は、造影剤を含まない前記対応する身体部分から取得され、前記サンプル標的画像は、サンプル標的用量で造影剤が投与された前記対象の前記対応する身体部分から取得され、前記サンプルソース画像は、前記サンプルソース用量と前記サンプル標的用量との間の比が減少係数に等しい、前記サンプル標的用量よりも低い前記造影剤のサンプル用量に対応する、提供すること(703~743;759~763)と、
前記コンピューティングシステム(130)によって、前記動作機械学習モデル(420)を、少なくとも前記サンプルセットの前記サンプルベースライン画像および前記サンプルソース画像から前記サンプルセットの各々の前記サンプル標的画像を生成するためにその能力を最適化するように訓練すること(744~758)と、
前記コンピューティングシステム(130)によって、前記減少係数の逆数に対応する増加係数に従って対応する患者に投与される前記造影剤の用量の増加を模倣するために、前記医療撮像アプリケーションで使用するように訓練されている前記動作機械学習モデル(420)を展開すること(765)と
を含み、
前記サンプルセットを提供すること(703-743;759~763)は、
前記コンピューティングシステム(130)によって、前記サンプルソース画像を各々欠く前記サンプルセットのうちの1つまたは複数の不完全なサンプルセットを受信すること(703)と、
前記コンピューティングシステム(130)によって、前記サンプルセットの前記サンプルベースライン画像および前記サンプル標的画像から前記サンプルソース画像をシミュレートすることによって前記不完全なサンプルセットを各々完了させること(704-742;759~763)であって、前記サンプルソース画像は、前記サンプルソース用量での前記造影剤の投与を模倣する前記対象の前記対応する身体部分を表すようにシミュレートされる、完了させること(704-742;759~763)とを含む、方法。
【請求項2】
前記サンプルセットの各々において、前記サンプル標的画像は、前記造影剤が標準的な全用量で投与された前記対象の前記対応する身体部分から取得されている、請求項1に記載の方法(700)。
【請求項3】
前記サンプルセットのうちの1つまたは複数は完全なサンプルセットであり、前記完全なサンプルセットの各々の前記サンプルソース画像は、前記サンプルソース用量で前記造影剤が投与された前記対象の前記対応する身体部分から取得されている、請求項1または2に記載の方法(700)。
【請求項4】
前記対象の少なくとも一部は動物であり、前記動作機械学習モデル(420)は、ヒトに対する前記医療撮像アプリケーションで使用するためのものである、請求項1から3のいずれか一項に記載の方法(700)。
【請求項5】
前記不完全なサンプルセットの前記対象は動物であり、前記完全なサンプルセットの前記対象はヒトである、請求項3に従属する場合の請求項4に記載の方法(700)。
【請求項6】
前記動作機械学習モデル(420)は、動作ニューラルネットワーク(420)である、請求項1から5のいずれか一項に記載の方法(700)。
【請求項7】
前記サンプルベースライン画像の各々、前記サンプルソース画像の各々、および前記サンプル標的画像の各々は、複数のサンプルベースライン値、複数のサンプルソース値、および複数のサンプル標的値をそれぞれ含み、前記不完全なサンプルセットを完了させること(704~742;759~763)は、
前記コンピューティングシステム(130)によって、前記減少係数に応じたシミュレーション式を適用することによって前記サンプルソース画像の各々の前記サンプルソース値の各々を計算すること(708~722)であって、前記シミュレーション式は、前記造影剤の局所濃度の関数として前記身体部分の応答信号の大きさを表す信号則から導出される、計算すること(708~722)を含む、請求項1から6のいずれか一項に記載の方法(700)。
【請求項8】
前記シミュレーション式は、前記造影剤の前記局所濃度に対して線形化された前記信号則から導出される、請求項7に記載の方法(700)。
【請求項9】
前記シミュレーション式は、前記局所濃度と前記造影剤の用量との間の正比例を仮定することによって前記信号則から導出される、請求項7または8に記載の方法(700)。
【請求項10】
前記サンプルソース値の各々を計算すること(708~722)は、
前記コンピューティングシステム(130)によって、前記サンプルソース値を、前記対応するサンプルベースライン値に、前記サンプル標的用量と前記サンプルソース用量との間の差を乗じた前記減少係数を加えたものに設定すること(713;721)を含む、請求項7から9のいずれか一項に記載の方法(700)。
【請求項11】
前記サンプルベースライン値、前記サンプルソース値および前記サンプル標的値は、前記身体部分の対応する位置の前記応答信号を表し、前記サンプルソース値の各々を計算すること(700~722)は、
前記コンピューティングシステム(130)によって、前記サンプル標的画像から導出された前記対応する位置における前記造影剤の前記局所濃度の指示に従って前記サンプルソース値を計算するために使用される前記減少係数を調節すること(709;712;720)を含む、請求項7から10のいずれか一項に記載の方法(700)。
【請求項12】
前記サンプルソース値を計算するために使用される前記減少係数を調節すること(709;712;720)は、
前記コンピューティングシステム(130)によって、前記対応するサンプル標的値と前記サンプルベースライン値との間の差に応じて、前記対応する位置の局所コントラスト強調に従って前記減少係数を線形的に増分(712;720)することを含む、請求項11に記載の方法(700)。
【請求項13】
前記不完全なサンプルセットを完了させること(704~742;759~763)は、
前記コンピューティングシステム(130)によって、前記不完全なサンプルセットの各々の前記サンプルソース画像に人工ノイズを注入すること(706;715~716;723~724;734~738)であって、前記人工ノイズは、前記減少係数に応じた統計分布を有する、注入すること(706;715~716;723~724;734~738)を含む、請求項1から12のいずれか一項に記載の方法(700)。
【請求項14】
前記サンプルソース画像に前記人工ノイズを注入すること(706;715~716;723~724;734~738)は、
前記コンピューティングシステム(130)によって、前記対応するサンプルベースライン画像および/またはサンプル標的画像のノイズに基づいて基準ノイズの1つまたは複数の統計パラメータの対応する基準値を計算すること(706)と、
前記コンピューティングシステム(130)によって、前記基準ノイズの統計分布と一致する前記サンプルソース画像のノイズの統計分布を作成するために必要な前記人工ノイズの前記統計パラメータの対応する人工値を計算すること(706)と、
前記コンピューティングシステム(130)によって、前記統計パラメータの前記人工値を用いた統計分布を有するように前記人工ノイズをランダムに生成すること(715;723;734;737)と
を含む、請求項13に記載の方法(700)。
【請求項15】
前記統計パラメータは標準偏差を含み、前記サンプルソース画像に前記人工ノイズを注入すること(706;715~716;723~724;734~738)は、
前記コンピューティングシステム(130)によって、前記標準偏差の前記人工値を、前記減少係数の2倍の平方根に1と前記減少係数との差を乗じた前記標準偏差の前記基準値に設定すること(706)を含む、請求項14に記載の方法(700)。
【請求項16】
前記統計パラメータの前記人工値を計算すること(706)は、
前記コンピューティングシステム(130)によって、対応する経験的補正に従って前記統計パラメータの前記人工値を補正すること(706)を含む、請求項14または15に記載の方法(700)。
【請求項17】
前記サンプルソース画像に前記人工ノイズを注入すること(706;715~716;723~724;734~738)は、
前記コンピューティングシステム(130)によって、ゼロ平均を有する正規型の前記統計分布を有するように前記人工ノイズをランダムに生成すること(715;737)と、
前記コンピューティングシステム(130)によって、前記サンプルソース画像に前記人工ノイズを加算すること(716;738)と
を含む、請求項13から16のいずれか一項に記載の方法(700)。
【請求項18】
前記サンプルソース画像に前記人工ノイズを注入すること(706;715~716;723~724;734~738)は、
前記コンピューティングシステム(130)によって、ユニタリ平均を有する正規型の前記統計分布を有するように前記人工ノイズをランダムに生成すること(734)と、
前記コンピューティングシステム(130)によって、前記サンプルソース画像に前記人工ノイズを乗算すること(735)と
を含む、請求項13から17のいずれか一項に記載の方法(700)。
【請求項19】
前記サンプルソース画像に前記人工ノイズを注入すること(706;715~716;723~724;734~738)は、
前記コンピューティングシステム(130)によって、ユニタリ平均を有する正規型の前記統計分布を有するように前記人工ノイズをランダムに生成すること(723)と、
前記コンピューティングシステム(130)によって、前記人工ノイズを通して前記サンプルソース画像を畳み込むこと(724)と
を含む、請求項13から17のいずれか一項に記載の方法(700)。
【請求項20】
前記構成コンピューティングシステム(130)によって、前記対応するサンプルソース画像をシミュレートするために使用される前記不完全なサンプルセットの各々の前記サンプルベースライン画像および前記サンプル標的画像をノイズ除去すること(708)を含む、請求項1から19のいずれか一項に記載の方法(700)。
【請求項21】
前記不完全なサンプルセットを完了させる(704~742;759~763)ことは、
前記コンピューティングシステム(130)によって、前記対応するサンプルベースライン画像およびサンプル標的画像から前記サンプルセットの各々の前記サンプルソース画像を生成するためにその能力を最適化するように訓練機械学習モデル(540)を訓練すること(759)と、
前記コンピューティングシステム(130)によって、前記不完全なサンプルセットの前記サンプルベースライン画像および前記サンプル標的画像を訓練されている前記訓練機械学習モデル(540)に適用することによって、前記不完全なサンプルセットの各々の前記サンプルソース画像の精緻化バージョンを生成すること(760~762)と
を含む、請求項1から20のいずれか一項に記載の方法(700)。
【請求項22】
前記訓練機械学習モデル(540)は訓練ニューラルネットワーク(540)である、請求項21に記載の方法(700)。
【請求項23】
前記コンピューティングシステム(130)によって、前記不完全なサンプルセットを完了させる(704~742;759~763)ことと、前記減少係数の複数の値について前記動作機械学習モデル(420)を訓練(744~758)することとを繰り返すこと(764)と、
前記コンピューティングシステム(130)によって、前記医療撮像アプリケーションの各々における前記増加係数の1つまたは複数の対応する値を選択するために前記減少係数の前記値で訓練されている対応する構成の前記動作機械学習モデルを展開すること(765)と
を含む、請求項1から22のいずれか一項に記載の方法(700)。
【請求項24】
前記コンピューティングシステム(130)によって、前記造影剤の対応するさらなるサンプルソース用量について前記サンプルセットの前記サンプルベースライン画像および前記サンプル標的画像から1つまたは複数のさらなるサンプルソース画像をシミュレートすることによって前記サンプルセットの各々を拡張すること(704-742;759~763)を含む、請求項1から23のいずれか一項に記載の方法(700)。
【請求項25】
前記コンピューティングシステム(115)によって、前記患者の前記さらなる身体部分を表す動作ベースライン画像および1つまたは複数の動作投与画像を受信すること(609、621)であって、前記動作投与画像は、前記造影剤が動作投与用量で投与された前記患者の前記さらなる身体部分から取得されている、受信すること(609、621)と、
前記コンピューティングシステム(115)によって、前記機械学習モデル(420)が訓練されている状態で前記動作ベースライン画像および前記動作投与画像から対応する動作シミュレーション画像をシミュレートすること(624~630)であって、前記動作シミュレート画像は、前記増加係数に対応する前記動作シミュレーション用量と前記動作投与用量との間の比を有する、前記動作投与用量よりも高い動作シミュレーション用量での前記造影剤の投与を模倣する前記患者の前記さらなる身体部分を表す、シミュレートすること(624~630)と、
前記コンピューティングシステム(115)によって、前記動作シミュレーション画像に基づいて前記身体部分の表現を出力すること(633~636)と
によって、対応する患者のさらなる身体部分を撮像するために前記医療撮像アプリケーションの各々で訓練されている前記機械学習モデル(420)を使用することを含む、請求項1から24のいずれか一項に記載の方法(600、700)。
【請求項26】
コンピューティングシステム(130)上で実行されると、前記コンピューティングシステム(130)に請求項1から25のいずれか一項に記載の方法(700)を実行させるように構成されているコンピュータプログラム(500)。
【請求項27】
コンピュータプログラムを具現化するコンピュータ可読記憶媒体を備えるコンピュータプログラム製品であって、前記コンピュータプログラムは、コンピューティングシステムのワーキングメモリにロード可能であり、それによって前記コンピューティングシステムを、請求項1から25のいずれか一項に記載の方法を実行するように構成する、コンピュータプログラム製品。
【請求項28】
請求項1から25のいずれか一項に記載の方法(700)の工程を実行するように構成された手段(500)を備える、コンピューティングシステム(130)。
【請求項29】
請求項1から25のいずれか一項に記載の撮像方法の各工程を実行するための回路を備える、コンピューティングシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、医療撮像アプリケーションの分野に関する。より具体的には、本開示は、造影剤に基づく医療撮像アプリケーションに関する。
【背景技術】
【0002】
以下、本開示の背景について、その背景に関連する技術を説明しながら紹介する。しかしながら、この説明が文書、行為、成果物などに言及する場合であっても、説明された技術が従来技術の一部であること、または本開示に関連する分野における共通の一般知識であることを示唆または表すものではない。
【0003】
撮像技術は、医師が(典型的には、身体部分が直接見えない場合であっても、実質的に非侵襲的な方法で)その視覚的表現を提供する画像を介して患者の身体部分を検査するための医療用途において一般的である。この目的のために、造影剤は通常、(生物学的)関心対象(例えば、病変)のコントラストを増強し、画像中でより目立つようにするために、(医学的)撮像処置を受ける患者に投与される。これは、例えば、病変を発見/監視するための診断用途、治療される病変を描出するための治療用途、および切除される病変の縁を認識するための外科用途など、いくつかの医療用途における医師の作業を容易にする。
【0004】
これに関連して、造影剤の用量を減少させて(例えば、全用量の1/10に等しい低減された用量で)使用することも提案されている。低減された用量は、臨床現場において標準である造影剤の全用量よりも少ない。この目的のために、撮像手順の間に、造影剤の投与前に身体部分の(ゼロ用量)画像が取得され、患者への低用量造影剤の投与後に身体部分の1つまたは複数の(低用量)画像が取得される。次いで、患者への全用量造影剤の投与を模倣する身体部分の対応する(全用量)画像が、ディープラーニングネットワーク(DLN)によってゼロ用量画像および対応する低用量画像からシミュレートされる。深層学習ネットワークは、(造影剤の用量が減少したために不十分である)低用量画像におけるそのレベルから、全用量の造影剤によって提供されたであろう所望のレベルまでコントラスト強調を復元する。深層学習ネットワークは、対応する患者への造影剤の投与前、低用量造影剤の投与後、および全用量造影剤の投与後に取得されている同じタイプの身体部分のゼロ用量画像、低用量画像、および全用量画像を各々含むサンプルセット(または異なる取得条件で取得された2つ以上のゼロ用量画像、または異なる低用量造影剤で取得された2つ以上の低用量画像)を使用することによって訓練される。例えば、「Enhao Gongら、Deep learning enables reduced gadolinium dose for contrast-enhanced brain MRI、Journal of Magnetic Resonance Imaging、vol.48、no.2、2018年2月13日、330-340ページ」は、造影増強脳MRIにおけるガドリニウム用量を低減するための深層学習モデルの訓練を開示しており、モデルは、3つの異なる条件、すなわち、造影前、10%用量減での造影後、および100%全用量での造影後に取得された画像で訓練される。
【0005】
深層学習ネットワークを訓練するために必要な低用量画像(または異なる取得条件下でのゼロ用量画像)は、標準的な臨床現場では通常取得されない。したがって、サンプルセットの収集は、標準的なケアから逸脱した専用の撮像プロトコルを用いて撮像手順が実行される、対応する前向き研究を必要とする。特に、造影剤の用量の所望の低減ごとに、および関心対象の身体部分の各タイプについて、対応する数の前向き研究を行わなければならない。
【0006】
しかしながら、前向き研究は、関連する保健当局によって対応する承認(標準治療からの逸脱の承認)を得るための比較的複雑な手順を必要とする。さらに、撮像手順の対応する変更は、臨床ワークフローに影響を及ぼし、それによって患者にとっての遅れ、技術的困難、追加のコストおよびリスクを潜在的に引き起こす(特に、撮像手順において通常必要とされない追加の画像の取得が患者にとって危険であり得る場合、例えば、それが患者を不要な放射線にさらすことを必要とする場合)。
【0007】
前向き研究の必要性はまた、利用可能な(ゼロ用量/低用量/全用量)画像のサンプルセットの数、およびそれらが取得されるときの条件の多様性を制限する。その結果、サンプルセットの量および多様性が相対的に少なくなり、深層学習ネットワークの訓練の質が低下する。深層学習ネットワークの訓練の質の低下は、その堅牢性、特に全用量画像を予測する能力に悪影響を及ぼす。これは、医師の作業に悪影響を及ぼし、患者の健康に対する対応するリスク(例えば、診断用途における偽陽性/陰性または誤ったフォローアップ、治療用途における健康な組織に対する治療または損傷の有効性の低下、および外科用途における病変の不完全な切除または正常組織の過剰な除去)を伴う。
【0008】
文献「Johannes Hauboldら、Contrast agent dose reduction in computed tomography with deep learning using conditional generative adversarial network、European Radiology(2021)31:6087-6095」は、ICMを仮想的に増強する可能性を検証するための、低減されたヨウ素ベースの造影剤(ICM)を用いた画像のシミュレーションを開示している。この目的のために、ICMに基づく二重エネルギーコンピュータ断層撮影(CT)画像が取得される。分離されたICM画像は、ICMの分布を符号化して生成され、仮想非造影(VCN)画像を作成するために使用される。低減されたICM(50%または80%)に対応する二重エネルギーCT画像は、比例減算によってシミュレートされる。入力画像および標的画像のペアは、それぞれ低減ICM画像および分離ICM画像をVCN画像と合成することによって得られる。敵対的生成ネットワーク(ICM強調をシミュレートしてこれを検証するために使用される)は、入力/標的画像のペアで訓練される。
【0009】
国際公開第2022/129633号(2020年12月18日を優先日として2021年12月20日に出願、2022年6月23日に公開)は、一連の灌流画像から灌流マップを生成するために使用される畳み込みニューラルネットワーク(CNN)の訓練を開示している。この目的のために、一連の灌流画像および関連する灌流マップによって形成された訓練ベースが提供される。訓練ベースは、対応する灌流マップに依然として関連付けられている灌流画像の1つまたは複数のシーケンスの対応する劣化バージョンで強化される。次いで、そのように強化された訓練ベースを使用してニューラルネットワークを訓練する。灌流画像のこれらの劣化シーケンスは、対応する造影製品の低用量をシミュレートすることによって生成される。特に、灌流画像の劣化シーケンスの各値は、その元の値、経時的な対応する値、および造影製品の減少係数に応じた式を適用することによって計算される。
【0010】
国際公開第2022/129634号(2020年12月18日を優先日として2021年12月20日に出願、2022年6月23日に公開)は、造影剤の投与によって造影画像を取得するために使用される場合に所望の品質レベルを提供する注入パラメータを予測するために使用される予測モデルの訓練を開示している。この目的のために、訓練画像を取得するために使用された注入パラメータの対応する基準値および手動で決定された基準品質レベルに関連付けられた事前コントラスト/コントラスト画像を含む訓練画像が提供される。各事前コントラスト画像は、注入パラメータの対応する候補値を決定するための予測モデルに適用され、注入パラメータの候補値を用いて取得される理論コントラスト画像が標的品質レベルを有するかどうかが検証される。対応するコントラスト画像が存在する場合、検証は直接的である。そうでなければ、理論コントラスト画像は、生成器モデルを介してシミュレートされ、その品質レベルは、分類モデルを介して決定される。
【先行技術文献】
【特許文献】
【0011】
【特許文献1】国際公開第2022/129633号
【特許文献2】国際公開第2022/129634号
【非特許文献】
【0012】
【非特許文献1】Enhao Gongら、Deep learning enables reduced gadolinium dose for contrast-enhanced brain MRI、Journal of Magnetic Resonance Imaging、vol.48、no.2、2018年2月13日、330-340ページ
【非特許文献2】Johannes Hauboldら、Contrast agent dose reduction in computed tomography with deep learning using conditional generative adversarial network、European Radiology(2021)31:6087-6095
【発明の概要】
【0013】
本開示の基本的な理解を提供するために、本開示の簡略化された概要を本明細書に提示する。しかしながら、この概要の唯一の目的は、以下のより詳細な説明の前置きとして、本開示のいくつかの概念を簡略化した形で紹介することであり、その重要な要素の識別としてもその範囲の描写としても解釈されるべきではない。
【0014】
一般的に言えば、本開示は、機械学習(ML)モデルの訓練のために画像をシミュレートするという考えに基づいている。
【0015】
特に、一態様は、医療撮像アプリケーションで使用するための機械学習モデルを訓練するための方法を提供する。この方法は、サンプルベースライン画像、サンプル標的画像(特定の用量の造影剤が投与された対象の対応する身体部分から取得)およびサンプルソース用量(異なる用量の造影剤に対応)を各々含むサンプルセットを提供することを含む。機械学習モデルは、対応するサンプルベースライン画像およびサンプルソース画像から各サンプル標的画像を生成するその能力を最適化するように訓練される。1つまたは複数のサンプルセットは不完全であり、サンプルソース画像を欠いている。各不完全なサンプルセットは、少なくともサンプルセットのサンプルベースライン画像およびサンプル標的画像からサンプルソース画像をシミュレートすることによって完成する。
【0016】
さらなる態様は、本方法を実施するためのコンピュータプログラムを提供する。
【0017】
さらなる態様は、対応するコンピュータプログラム製品を提供する。
【0018】
さらなる態様は、本方法を実施するためのコンピューティングシステムを提供する。
【0019】
より具体的には、本開示の1つまたは複数の態様は独立請求項に記載されており、その有利な特徴は従属請求項に記載されており、参照により本明細書にそのまま組み込まれるすべての請求項の文言が含まれる(任意の有利な特徴は、他のすべての態様に準用する任意の特定の態様を参照して提供される)。
【図面の簡単な説明】
【0020】
本開示の解決策、ならびにそのさらなる特徴および利点は、添付の図面と併せて読まれる、純粋に非限定的な指示として与えられるその以下の詳細な説明を参照して最もよく理解されるであろう(ここで、簡単にするために、対応する要素は、同等または類似の参照符号で示され、それらの説明は繰り返されず、各エンティティの名前は、一般に、そのタイプと、値、内容、および表現などのその属性との両方を示すために使用される)。特に:
図1】本開示の一実施形態による解決策を実施するために使用され得るインフラストラクチャの概略ブロック図を示す。
図2A】本開示の一実施形態による撮像手順に関する異なる例示的なシナリオを示す。
図2B】本開示の一実施形態による撮像手順に関する異なる例示的なシナリオを示す。
図2C】本開示の一実施形態による撮像手順に関する異なる例示的なシナリオを示す。
図2D】本開示の一実施形態による撮像手順に関する異なる例示的なシナリオを示す。
図2E】本開示の一実施形態による撮像手順に関する異なる例示的なシナリオを示す。
図3】本開示の一実施形態による訓練手順に関する例示的なシナリオを示す。
図4】本開示の一実施形態による撮像手順を実施するために使用され得る主要なソフトウェア構成要素を示す。
図5】本開示の一実施形態による訓練手順を実施するために使用され得る主要なソフトウェア構成要素を示す。
図6】本開示の一実施形態による撮像手順に関する活動のフローを説明する活動図を示す。
図7A】本開示の一実施形態による訓練手順に関する活動のフローを説明する活動図である。
図7B】本開示の一実施形態による訓練手順に関する活動のフローを説明する活動図である。
図7C】本開示の一実施形態による訓練手順に関する活動のフローを説明する活動図である。
図8A】本開示の一実施形態による解決策に関する実験結果の代表的な例を示す。
図8B】本開示の一実施形態による解決策に関する実験結果の代表的な例を示す。
【発明を実施するための形態】
【0021】
特に図1を参照すると、本開示の一実施形態による解決策を実施するために使用され得るインフラストラクチャ100の概略ブロック図が示されている。
【0022】
インフラストラクチャ100は、以下の構成要素を備える。
【0023】
1つまたは複数の(医療)撮像システム105は、対応するスキャナ110と、制御コンピューティングシステムまたは単に制御コンピュータ115とを備える。各スキャナ110は、病変などの対応する(生物学的)標的のコントラストを強調するための患者への造影剤の投与に基づいて、対応する(医療)撮像手順中に患者の身体部分を表す画像を取得するために使用される。例えば、スキャナ110は、磁気共鳴画像法(MRI)タイプのものである。この場合、図示されていないが、(MRI)スキャナ110は、患者を受け入れるためのガントリを有し、ガントリは、(非常に高い定常磁場を発生させるための)超伝導磁石、(定常磁場を調整するための)異なる軸の複数の傾斜コイルセット、および(ある種の身体部分に磁気パルスを印加し、対応する応答信号を受信するための特定の構造を有する)RFコイルを収容する。代替として、スキャナ110は、コンピュータ断層撮影(CT)タイプのものである。この場合、やはり図には示されていないが、(CT)スキャナ110は、患者を受け入れるためのガントリを有する。ガントリは、X線発生器、X線検出器、およびそれらを患者の身体部分の周りで回転させるためのモータを収容する。対応する制御コンピュータ115、例えばパーソナルコンピュータ(PC)は、スキャナ110の動作を制御するために使用される。この目的のために、制御コンピュータ115はスキャナ110と結合される。例えば、スキャナ110がMRIタイプである場合、制御コンピュータ115は、スキャナ110を遮蔽するために使用されるスキャナ室の外側に配置され、貫通パネルを通過するケーブルを介して結合され、一方、スキャナ110がCTタイプである場合、制御コンピュータ115は、その近くに配置される。
【0024】
撮像システム105は、対応する中央コンピューティングシステムまたは単に中央サーバ120を備えた1つまたは複数の医療施設(例えば、病院)に設置される。各中央サーバ120は、ネットワーク125、例えば、医療施設のローカルエリアネットワーク(LAN)を介して、その撮像システム105の制御コンピュータ115と通信する。中央サーバ120は、撮像システム105によって実行された撮像手順に関する情報を収集し、各情報は、対応する身体部分を表す画像の(撮像)シーケンスと、撮像手順に関する追加情報、例えば、患者の識別情報、撮像手順の結果、撮像手順の取得パラメータなどとを含む。
【0025】
撮像システム105の制御コンピュータ115を構成するために、構成コンピューティングデバイス130、または単に構成コンピュータ130(またはそれ以上)が使用される。構成コンピュータ130は、例えばインターネットに基づくネットワーク135を介して、すべての医療施設の中央サーバ120と通信する。構成コンピュータ130は、撮像システム105の制御コンピュータ115を構成するのに使用するために、医療施設で実行された撮像手順の対応する撮像パラメータを有する画像シーケンスを(匿名で)収集する。
【0026】
制御コンピュータ115および構成コンピュータ130の各々は、それらの間にバス構造140を介して接続されたいくつかのユニットを備える。特に、マイクロプロセッサ(μP)145またはそれ以上は、(制御/構成)コンピュータ115、130の論理能力を提供する。不揮発性メモリ(ROM)150はコンピュータ115、130のブートストラップ用の基本コードを記憶し、揮発性メモリ(RAM)155はマイクロプロセッサ145によるワーキングメモリとして使用される。コンピュータ115、130には、プログラムやデータを記憶するためのマスメモリ160、例えばソリッドステートディスク(SSD)が設けられている。さらに、コンピュータ115、130は、周辺機器または入出力(I/O)ユニット用のいくつかのコントローラ165を備える。特に、本開示に関連する限り、周辺機器は、キーボード、マウス、モニタ、対応するネットワーク125、135に接続するためのネットワークアダプタ(NIC)、取り外し可能な記憶ユニット(USBキーなど)を読み書きするためのドライブ、ならびに各制御コンピュータ115について、トラックボール、およびそのスキャナ110の関連ユニット用の対応するドライブを備える。
【0027】
ここで図2A図2Eを参照すると、本開示の一実施形態による撮像手順に関する異なる例示的なシナリオが示されている。
【0028】
各撮像手順中に、対応するスキャナは、検査中の患者の身体部分を表す(動作)取得画像の画像シーケンスを取得する。取得された画像は、(動作)ベースライン画像(またはそれ以上)および1つまたは複数の(動作)投与または低用量の画像を含む。例えば、ベースライン画像は、造影剤を含まない身体部分から取得され、その後、以下、(動作)ゼロ用量画像と呼ばれる。投与画像は、造影剤が(動作)投与用量または低用量で投与された患者の身体部分から取得される。スキャナに関連する制御コンピュータは、(例えば、以下で詳細に説明するように、この目的のために適切に訓練されたニューラルネットワークによって)ゼロ用量画像および投与画像から対応する(動作)シミュレーションまたは高用量画像をシミュレートする(または合成する)。シミュレーション画像は、投与用量よりも多い、すなわち(シミュレーション用量と投与用量との間の比によって与えられる)増加係数が1よりも高い(動作)シミュレーション用量、または高用量での造影剤の患者への投与を模倣する。次いで、シミュレーション画像に基づく身体部分の表現は、撮像手順を担当する医師に(例えば、それらを表示することによって)出力される。
【0029】
造影剤のシミュレーション用量は、臨床現場で標準的な値に等しくてもよい。この場合、シミュレーション用量およびシミュレーション画像は、(動作)全用量および(動作)全用量画像と呼ばれる。したがって、投与用量は、全用量に対して減少する。この場合、投与用量および投与画像は、(動作)低用量および(動作)低用量画像と呼ばれる。低用量画像からの全用量画像のシミュレーションは、全用量の造影剤の投与で通常得られるであろうコントラスト強調を復元する。これは、患者への全用量での造影剤の投与が危険であり得る場合(例えば、小児、妊婦、腎機能不全などの特定の病状に罹患している患者などに対する)場合に特に有用である。特に、患者に投与される造影剤を減量することによって、その起こり得る効果を長期間追跡する必要がなくなる。同時に、模倣される造影剤の全用量は、医師に提供される全用量画像のコントラスト強調を実質的に変化させずに維持する(そうでなければ、全用量での造影剤の実際の投与によって引き起こされ得る動き/エイリアシングアーチファクトを低減することによってこれを増加させる)。
【0030】
より一般的には、本発明者らは、驚くべきことに、ニューラルネットワークを訓練するために使用されるものとは異なるものであっても、造影剤の対応するシミュレーション用量を模倣するための任意の投与用量に増加係数が適用され得ることを見出した。
【0031】
特に、図2Aを参照すると、本開示の一実施形態による解決策では、投与用量は全用量に等しい。したがって、シミュレーション用量は、全用量に対してブーストされる。この場合、シミュレーション用量およびシミュレーション画像は、(動作)ブースト用量および(動作)ブースト用量画像と呼ばれる。全用量画像からのブースト用量画像のシミュレーションは、あたかもブースト用量画像が、現在の臨床現場で達成可能なものよりも高い(仮想)用量の造影剤を投与して取得されたかのように、コントラストを強調する。例えば、この図は、ゼロ用量画像、全用量画像および2つの異なるブースト用量画像(それぞれ増加係数x2およびx10でシミュレート)を示す。これにより、医師の作業が容易になる。特に、模倣される造影剤のブースト用量(全用量よりも多い)は、医師に提供されるブースト用量画像におけるコントラストを実質的に増加させる(可能であれば、ブースト用量での造影剤の実際の投与によって代わりに引き起こされ得る動き/エイリアシングアーチファクトが低減される)。同時に、患者に投与される全用量の造影剤は、標準治療に影響せず、臨床ワークフローに影響を与えない。これは、コントラスト強調が低すぎる場合(例えば、標的が、低悪性度腫瘍のようないくつかの病状などにおいて、造影剤の蓄積が比較的低い場合)に特に有利である。いずれの場合でも、提案する解決策は、撮像手順の標的をより顕著にし、それにより、より容易かつ迅速に他の近くの(生物学的)特徴と区別可能にする(特に医師が低い専門知識を有するおよび/または過負荷である場合)。これは、例えば、診断用途における偽陽性/陰性および誤ったフォローアップのリスク、治療用途における治療の有効性の低下または正常組織への損傷のリスク、外科用途における病変の不完全な切除または正常組織の過剰な除去のリスクを実質的に軽減し、撮像手順の質に有益な効果を有する。
【0032】
さらなる改善として、増加係数の値は、例えば、その複数の予め定義された離散値(例えば、x2、x5、x10など)の中から、または予め定義された範囲内(x2からx20など)で連続的に選択することができる。これにより、さらなる柔軟性が追加される。実際、各撮像手順において、医師は、特定の状態(例えば、患者、身体部分、造影剤、標的など)に最も適した増加係数の値を使用することができる。さらに、医師はまた、増加係数の様々な値の影響をリアルタイムで検証し、次に最良のコントラスト強調を提供するものを選択することができる。これにより、対応する撮像手順の品質がさらに向上する(例えば、上記のリスクがさらに低減される)。
【0033】
ここで図2Bに移ると、(動作)合成画像はまた、高ダイナミックレンジ(HDR)技術を適用することによって生成されてもよい。一般に、HDR技術は、画像のコントラストを(ダイナミックレンジを増加させるかどうかにかかわらず)増加させるために写真撮影/ビデオグラフィ用途において使用される。この目的のために、同じシーンの複数の画像が異なる露出で取得される。画像のダイナミックレンジが限られているため、対応する限られた光度範囲(すなわち、低露出の明るい特徴および高露出の暗い特徴)内でのみ区別が可能である。次に、各画像は、最適なコントラストを提供する領域で主に寄与するように合成される。
【0034】
この場合、ゼロ用量画像(取得中)、全用量画像(取得中)、および対応するブースト用量画像(シミュレート元)から各合成画像を生成するために同じHDR技術が代わりに使用される。一般に、ゼロ用量画像は低い光度を有し、ブースト用量画像は高い光度を有し、全用量画像は中間の光度を有する。したがって、合成画像への寄与は、主に、最も暗い領域のゼロ用量画像、最も明るい領域のブースト用量画像、およびそれ以外の全用量画像に起因する。これにより、(主にブースト用量画像の寄与による)造影剤を用いた標的の良好なコントラストと、(主にゼロ用量画像による)造影剤を用いない身体部分の残りの部分の良好な解剖学的詳細との両方を得ることが可能になる。したがって、標的は、身体部分の形態に十分に関連したままであると同時に、より目立つようにされる(それによって、撮像手順の品質がさらに改善される)。
【0035】
図2Cに移ると、合成画像に対するブースト用量画像の寄与も変調され得る。実際、合成画像は、コントラスト強調の増分を低減する。いずれの場合であっても、合成画像におけるコントラスト強調は、(ゼロ用量画像および全用量画像のうちの一方に関して)合成画像に対するブースト用量画像の寄与をより重要にすることによって増大され得る。例えば、この図は、対応するゼロ用量画像、全用量画像およびブースト用量画像(4に等しい増加係数)から得られる異なる合成画像を示し、ブースト用量画像の異なる(相対的な)寄与はゼロ用量画像および全用量画像の寄与に関して、1.0、1.5、2.0および3.0である。図から分かるように、(標的と近傍特徴との間の)コントラストは、合成画像へのブースト用量画像の寄与と共に増加する。
【0036】
図2Dを参照すると、上記と同じ(ゼロ用量/全用量/ブースト用量/合成)画像における腫瘍を有する領域の平均値と正常組織を有する領域の平均値との差によって与えられるコントラスト指標を横軸に任意の単位でプロットした図が示されている。ゼロ用量画像では、コントラスト指標はほぼゼロである(腫瘍が正常組織よりも暗く見える問題の例ではわずかにマイナス)。全用量画像では、コントラストインジケータが増加する(プラスになる)。ブースト用量の画像では、コントラストインジケータは増加係数(x4)に従ってはるかに高くなる。合成画像では、ブースト用量画像に対してコントラスト指標が小さくなる。しかしながら、合成画像に対するブースト用量画像の寄与が高いほど、対応するコントラストインジケータは高くなる(この特定の場合には、常に全用量画像のコントラストインジケータを超える)。
【0037】
図2Eに移ると、上記の画像のいくつかにおいて、正常組織を有する領域を横切る(横軸上の)一般的な線に沿って値を縦軸に任意の単位でプロットしたさらなる図が示されている。特に、曲線205はゼロ用量画像に関連し、曲線205は全用量画像に関連し、曲線205はブースト用量画像に関連し、曲線205c1はブースト用量画像への寄与が最も低い(1.0)合成画像に関連し、曲線205c3はブースト用量画像への寄与が最も高い(3.0)合成画像に関連する。図から分かるように、ブースト用量画像(曲線205)における値の広がりは、ゼロ用量画像(曲線205)および全用量画像(曲線205)における値の広がりに対して低減される。これは、ブースト用量画像が正常組織の解剖学的詳細の劣化を含むことを意味する。しかしながら、合成画像(曲線205c1および205c3)における値の広がりは、合成画像へのブースト用量画像の寄与(問題の例では1.0から3.0)とは無関係に、ゼロ用量/全用量画像(曲線205および205)における値の広がりと実質的に同じである。これは、ブースト用量画像の寄与が比較的高い場合でも、合成画像が正常組織の解剖学的詳細を復元することを意味する。
【0038】
ここで図3を参照すると、本開示の一実施形態による訓練手順に関する例示的なシナリオが示されている。
【0039】
ニューラルネットワークは、異なる対象の対応する身体部分、例えば、撮像される同じタイプの身体部分のさらなる患者の身体部分を表す(サンプル画像の)複数のサンプルセットを使用することによって訓練される。各サンプルセットは、(サンプル)ベースライン、画像、(サンプル)ソース画像および(サンプル)標的画像を含む。ベースライン画像は、造影剤なしで対応する身体部分から取得された(サンプル)ゼロ用量画像である。サンプル標的画像は、造影剤が(サンプル)標的用量で投与された対象の対応する身体部分から取得されている。ソース画像は、標的用量よりも低い造影剤の(サンプル)ソース用量に対応する。ソース用量と標的用量との間の比は、ニューラルネットワークの所望の増加係数の逆数に対応する減少係数に等しい(例えば、これと等しい)。
【0040】
ソース画像もまた、(例えば、前臨床研究において)ソース用量で造影剤が投与された対象の対応する身体部分から取得されていてもよい。しかしながら、本開示の一実施形態では、サンプルセットの少なくとも一部は、対応するソース画像なしで受け取られる(以下、それらのすべてのサンプル画像を既に含むサンプルセットを完全なサンプルセットと呼び、それらのソース画像を欠くサンプルセットを不完全なサンプルセットと呼ぶ)。各不完全なサンプルセットのソース画像は、代わりに、ソース用量での造影剤の対象への投与を模倣するように、不完全なサンプルセットの他の(取得された)サンプル画像、すなわちゼロ用量画像および標的画像から(例えば、分析的に)シミュレート(または合成)される。
【0041】
次いで、サンプルセット(完了しているか、または既に完了して受け取られたかのいずれか)を使用してニューラルネットワークが訓練され、(例えば、サンプルセットの一部を使用してニューラルネットワークの対応する構成を決定し、サンプルセットの別の部分を使用してそれを検証することによって)サンプルセットのゼロ用量画像およびソース画像から各サンプルセットの標的画像(グラウンドトゥルース)を生成するその能力が最適化される。
【0042】
例えば、造影剤が全用量で投与された対象の対応する身体部分から標的画像が取得され、それらは以下、(サンプル)全用量画像と呼ばれる。次いで、ソース用量を、全用量に対して低減させる。この場合、ソース用量およびソース画像は、(サンプル)低用量および(サンプル)低用量画像と呼ばれる。
【0043】
上記の解決策は、ニューラルネットワークの訓練を著しく容易にする。
【0044】
特に、これは主に、ゼロ用量画像および全用量画像のみを実際に取得する必要がある。したがって、標準的な臨床現場で通常取得されるゼロ用量画像および全用量画像を使用することが可能である。
【0045】
結果として、ニューラルネットワークの訓練は、過去に実行された撮像手順から遡及的に収集された不完全なサンプルセットのサンプル画像を主に用いて実行することができる。したがって、不完全なサンプルセットの収集は、ケアの標準に影響を与えず、その結果、患者のリスクが低いため、(例えば、倫理委員会または機関の審査委員会などの対応する機関によって)より許容可能である。
【0046】
不完全なサンプルセットの取得は臨床ワークフローに影響を与えず、それによって患者にとっての遅れ、技術的困難、追加のコストおよびリスクを低減する。特に、これは、撮像手順において通常は必要とされない追加の画像を取得することを回避し(または少なくとも実質的に減少させ)、これらの追加の画像の取得が患者にとって危険であり得る(例えば、不要な放射線に患者を曝露することが必要である)場合に特に重要である。
【0047】
さらに、(多くの医療施設によって数十年にわたって通常収集されるように)数百万とは言わないまでも数千程度の比較的多数の不完全なサンプルセットが利用可能である。不完全なサンプルセットはまた、一般に、いくつかの条件下(例えば、異なるスキャナ、患者のタイプ、身体部分の状態など)で取得される。結果として得られる対応するサンプルセットの量および多様性が比較的高くなり、ニューラルネットワークの訓練の質が向上する。ニューラルネットワークの訓練の質の向上は、その堅牢性、特に(動作)投与画像を予測する能力に良い影響を与える。これは、対応する撮像手順における医師の作業を容易にする(例えば、上記のリスクを大幅に低減する)。
【0048】
提案する解決策は、増加係数の異なる値についてニューラルネットワークを比較的簡単かつ迅速に訓練することを可能にする。実際、必要なサンプルセット(またはそれらの少なくとも大部分)は、増加係数の必要な値に対して対応する低用量画像を単純にシミュレートすることによって、同じ不完全なサンプルセットから生成され得る。これにより、特に異なる動作条件(患者、身体部分、病変など)に対して、これらの増加係数の値を使用したニューラルネットワークの柔軟な使用が可能になる。
【0049】
ここで図4を参照すると、本開示の一実施形態による撮像手順を実施するために使用され得る主要なソフトウェア構成要素が示されている。
【0050】
すべてのソフトウェアコンポーネント(プログラムおよびデータ)は、全体として参照番号400で示されている。ソフトウェア構成要素400は、典型的には、大容量メモリに記憶され、プログラムが実行されているときに、オペレーティングシステムおよび本開示の解決策に直接関連しない他のアプリケーションプログラム(したがって、簡略化のために図では省略されている)と共に、各制御コンピュータ115のワーキングメモリに(少なくとも部分的に)ロードされる。プログラムは、最初に、例えばリムーバブル記憶装置またはネットワークから大容量メモリにインストールされる。この点において、各プログラムは、指定された論理機能を実装するための1つまたは複数の実行可能命令を含むモジュール、セグメント、またはコードの一部であってもよい。
【0051】
取得器405は、各撮像手順中に患者の身体部分の(動作)取得画像、すなわち(動作)ベースライン画像および(動作)投与画像を取得するための専用の対応するスキャナの構成要素を駆動する。取得器405は、進行中の撮像手順中に取得されている取得画像を含む(動作)取得画像リポジトリ410を書き込む。取得画像リポジトリ410は、取得イメージごとにエントリを有する。エントリは取得された画像のビットマップを記憶し、これは、各々がボクセルの値を含むセルの行列(例えば、512行および512列)、すなわち、身体部分の対応する位置(基本ボリューム)を表す基本画像要素によって定義される。各ボクセル値は、対応する位置に関連する応答信号の(信号)強度の関数としてのボクセルの輝度(グレースケール)を定義する。例えば、MRIスキャナの場合、応答信号は、その位置に印加された磁場に対する位置の応答を表し、CTスキャナの場合、応答信号は、その位置に印加されたX線放射の減衰を表す。
【0052】
プリプロセッサ415は、取得した画像を(例えば、それらを登録することによって)前処理する。プリプロセッサ415は、取得画像リポジトリ410を読み書きする。(動作)機械学習モデルは、機械学習技術を適用することによってベースライン画像および対応する投与画像から(動作)シミュレーション画像をシミュレート(または合成)するために使用される。基本的に、機械学習は、明示的な命令を使用せずに特定のタスク(この場合、シミュレーション画像のシミュレーション)を実行するために使用されるが、そうする方法を(例から学習された対応するモデルを利用することによって)例から自動的に推論する。問題の特定の実施態様では、ニューラルネットワークに基づく機械学習の一分野である深層学習技術が適用されている。この場合、機械学習モデルは、(動作)ニューラルネットワーク420である。ニューラルネットワーク420は、基本的には、人間の脳の動作を近似するデータ処理システムである。ニューラルネットワーク420は、対応する重みに基づいて演算を実行する基本処理要素(ニューロン)を備える。ニューロンは、一方向チャネル(シナプス)を介して接続され、ニューロン間でデータが転送される。ニューロンは、異なる動作を実行する層に編成され、それぞれニューラルネットワーク420の入力データを受信し、出力データを提供するための入力層および出力層を常に備える。本開示の一実施形態では、ニューラルネットワーク420は、畳み込みニューラルネットワーク(CNN)、すなわち、(ニューラルネットワークの処理方向に沿って入力層と出力層との間に連続して配置された1つまたは複数の隠れ層を有する)特定の種類のディープニューラルネットワークであり、その隠れ層のうちの1つまたは複数が(交差)畳み込み演算を実行する。特に、ニューラルネットワーク420は、オートエンコーダ(エンコーダ-デコーダ)畳み込みニューラルネットワークであり、これは、データを(いわゆる潜在空間内で)より密な形態で圧縮するエンコーダであって、そのように圧縮されたデータは所望の動作を実行するために使用される、エンコーダと、そのようにして得られた結果を必要なより拡張された形態に拡張するデコーダとを備える。より詳細には、入力層は、ベースライン画像および投与画像を受け取るように構成される。エンコーダは、3つの畳み込み層の各々の3つのグループを含み、これらのグループの後に対応する最大プーリング層が続き、デコーダは、3つの畳み込み層の各々の3つのグループを含み、これらのグループの後に対応するアップサンプリング層が続く。各畳み込み層は、対応する重みによって定義された畳み込み行列(フィルタまたはカーネル)を介して畳み込み演算を実行し、この畳み込み演算は、適用されたデータにわたってフィルタを選択された数のセル(ストライド)だけシフトすることによって適用されたデータの限られた部分(受信フィールド)に対して連続して実行され、適用されたデータの境界の周りにゼロコンテンツを有するセルを追加して(パディング)、フィルタを適用することも可能にする。次いで、バッチ正規化を適用し(対応するデータの平均および分散を固定する)、続いて活性化関数を適用する(非線形係数を導入する)。例えば、各畳み込み層は、1のパディングおよび1のストライドを有する3x3のフィルタを適用し、その各ニューロンは、正規化線形ユニット(ReLU)活性化関数を適用する。各最大プーリング層は、(その適用されたデータをダウンサンプリングする)プーリング層であり、これは、適用されたデータにわたって選択された数のセル(ストライド)だけウィンドウをシフトすることによって、適用されたデータ(ウィンドウ)の各限定された部分の値を単一の値、この場合はその最大値に置き換える。例えば、各最大プーリング層は、1のストライドを有する2×2のウィンドウを有する。各アップサンプリング層は、(プーリングを反転させる)アンプーリング層であり、例えば最大アンプーリング技術(値は、ダウンサンプリングに使用される最大値と同じ位置に配置され、ゼロで囲まれる)を使用して、各値をその周囲の領域(ウィンドウ)に拡大する。例えば、各アップサンプリング層は2×2のウィンドウを有する。バイパス接続は、(解像度損失を回避するために)エンコーダとデコーダの対称層の間に追加され、スキップ接続は、(投与画像とベースライン画像との間の差に焦点を合わせるために)畳み込み層の各グループ内および入力層から出力層に追加される。次いで、出力層は、得られた結果(ノイズ除去されている投与用量でのコントラスト強調から導出されたシミュレーション用量でのコントラスト強調を表す)をベースライン画像に追加することによってシミュレーション画像を生成する。
【0053】
ニューラルネットワーク420は、ニューラルネットワーク420の1つまたは複数の(動作)構成を定義する(動作)構成リポジトリ425を読み取る。構成リポジトリ425は、ニューラルネットワーク420の構成ごとにエントリを有する。エントリは、ニューラルネットワーク420の構成(その重みによって定義される)およびこの構成に従って動作するときにニューラルネットワーク420によって提供される増加係数を記憶する。ニューラルネットワーク420は、取得画像リポジトリ410を読み取り、(動作)シミュレーション画像リポジトリ430を書き込む。シミュレーション画像リポジトリ430は、取得画像リポジトリ410内の投与画像ごとにエントリを有する。エントリは、取得画像リポジトリ410内の対応する投与画像へのリンクと、各々が身体部分の対応する位置のボクセル値を含む(取得した画像と同じサイズを有する)セルの行列によって同様に定義される対応するシミュレーション画像のビットマップとを記憶する。合成器435は、ベースライン画像、各投与画像および対応するシミュレーション画像を対応する合成画像に合成する。合成器435は、取得画像リポジトリ410およびシミュレーション画像リポジトリ430を読み取り、(動作)合成画像リポジトリ440を書き込む。合成画像リポジトリ440は、合成画像ごとにエントリを有する。エントリは、合成画像のビットマップを記憶し、これは同様に、各々が身体部分の対応する位置のボクセル値を含む(シミュレーション画像と同じサイズを有する)セルの行列によって定義される。セレクタ445は、ニューラルネットワーク420が適用する増加係数の値と、合成画像に対するシミュレーション画像の寄与度の値とを選択するためのユーザインターフェースを公開する。セレクタ445は、構成リポジトリ425を読み取り、ニューラルネットワーク420および合成器435を制御する。
【0054】
表示器450は、各撮像手順中に取得された取得画像および生成された合成画像を表示するために制御コンピュータ115のモニタを駆動する。表示器450は、取得器405によって供給され、合成画像リポジトリ440を読み取る。撮像マネージャ455は、各撮像手順を管理する。この目的のために、撮像マネージャ455は、それと対話するためのユーザインターフェースを公開する。撮像マネージャ455は、取得器405、ニューラルネットワーク420、合成器435および表示器450を制御する。
【0055】
ここで図5を参照すると、本開示の一実施形態による訓練手順を実施するために使用され得る主要なソフトウェアコンポーネントが示されている。
【0056】
すべてのソフトウェアコンポーネント(プログラムおよびデータ)は、全体として参照番号500で示されている。ソフトウェア構成要素500は、典型的には、大容量メモリに記憶され、プログラムが実行されているときに、オペレーティングシステムおよび本開示の解決策に直接関連しない他のアプリケーションプログラム(したがって、簡略化のために図では省略されている)と共に、構成コンピュータ130のワーキングメモリに(少なくとも部分的に)ロードされる。プログラムは、最初に、例えばリムーバブル記憶装置またはネットワークから大容量メモリにインストールされる。この点において、各プログラムは、指定された論理機能を実装するための1つまたは複数の実行可能命令を含むモジュール、セグメント、またはコードの一部であってもよい。
【0057】
収集器505は、(完全/不完全な)サンプルセットを収集する。例えば、不完全なサンプルセット、すなわち対応する(サンプル)ゼロ用量画像および(サンプル)全用量画像は、対応する撮像手順中に取得された医療施設の中央サーバ(図示せず)から受信される。完成したサンプルセット、すなわち、対応する(サンプル)低用量画像をさらに含むサンプルセットは、代わりに、動物(ラットなど)に関する前臨床研究を行う実験室で得られる。実際、本発明者らは、驚くべきことに、動物から(少なくとも部分的に)導出されたサンプルセットで訓練された動作ニューラルネットワークが、ヒトに適用された場合にも良好な品質を提供することを見出した。結果として、完全なサンプルセットは、比較的簡単な方法で提供され得る。収集器505は、サンプルセットに関する情報を含むサンプルセットリポジトリ510を書き込む。サンプルセットリポジトリ510は、サンプルセットごとにエントリを有する。エントリは、サンプルセットのサンプル画像、すなわち、その(取得した)ゼロ用量画像、(取得した)全用量画像、および(取得/シミュレートされた)低用量画像の対応するビットマップを記憶する。上記のように、各サンプル画像のビットマップは、それぞれの身体部分の対応する位置のボクセル値を各々含むセルの行列(例えば、512行および512列)によって定義される。さらに、サンプルセットが最初に不完全であった場合、エントリは、そのゼロ用量/全用量画像の取得に関する1つまたは複数の取得パラメータを記憶する。特に、取得パラメータは、ゼロ用量/全用量画像を取得するために使用されるスキャナの設定に関する1つまたは複数の外部パラメータと、対応する身体部分に関する1つまたは複数の内部パラメータ(例えば、身体部分の主要組織の平均値)とを含む。
【0058】
プリプロセッサ515は、各不完全なサンプルセットのゼロ用量/全用量画像を(例えば、共登録、ノイズ除去などによって)前処理する。プリプロセッサ515は、サンプルセットリポジトリ510を読み書きする。分析エンジン520は、各不完全なサンプルセットのゼロ用量/全用量画像から低用量画像をシミュレート(または合成)する。分析エンジン520は、それと対話するためのユーザインターフェースを公開する。分析エンジン520は、サンプルセットリポジトリ510を読み書きする。分析エンジン520は、低用量画像をシミュレートするために使用されるべき1つまたは複数のシミュレーション式を記憶するシミュレーション式リポジトリ525を読み取る。
【0059】
例えば、MRIスキャナの場合、動作モードとしてスピンエコーが選択されると、サンプル画像の各ボクセル値を定義する信号強度(RFコイルによる磁気パルスの印加後にそれらの平衡状態に戻るために存在する水分子のプロトンのスピンの緩和中の身体部分の対応する位置の磁化の横方向成分によって与えられる)は、以下の信号則によって表される。
【数1】
式中、Mは信号強度であり、Mはプロトンの密度、ボクセルのサイズ、磁気パルスおよび磁場の強度に依存するパラメータであり、TEは(磁気パルスの印加とエコー信号の受信との間の)エコー時間であり、Tはプロトンの横方向緩和時間であり、TRは(磁気パルスの連続シーケンスの間の)反復時間であり、Tはプロトンの縦方向緩和時間である。ゼロ用量画像(造影剤なし)では、パラメータTおよびTは、信号強度(Mzeroとして識別される)が以下のようになるように、それぞれ一般にT10およびT20で示される対応する反磁性値で置き換えることができる。
【数2】
【0060】
逆に、造影剤がその位置に存在する場合、パラメータTおよびTは、造影剤によって与えられる対応する反磁性値プラス対応する常磁性値に依存し、その結果、信号強度(Magentとして区別される)は以下のようになる。
【数3】
式中、rは造影剤の横緩和度であり、cは位置における造影剤の局所濃度であり、rは造影剤の縦緩和度である。造影剤の局所濃度の関数としてこの式をそのテイラー級数の一次近似に直線化すると、(造影剤の局所濃度の二乗に依存する無視できる誤差を除いて)以下が得られる。
【数4】
式中、
【数5】
である。
【0061】
したがって、全用量画像では、信号強度(Mfullとして識別される)は次のようになる。
【数6】
式中、cfullは、全用量で投与されたときの造影剤の局所濃度である。同様に、低用量画像では、信号強度(Mreducedとして識別される)は次のようになる。
【数7】
式中、creducedは、低減された用量で投与されたときの造影剤の局所濃度である。造影剤の局所濃度は、投与される造影剤の量に実質的に線形に比例し、その結果、次のようになる。
【数8】
式中、dは、(対応する増加係数k=1/dについての)減少係数である。
【0062】
以上のことから、シミュレーション式は、
【数9】
となり、対応する強度信号:
【数10】
の定義から得られた全用量cfullでの局所濃度を置き換えると、シミュレーション式は
【数11】
となり、次いで、
【数12】
となる。
【0063】
勾配エコー、MP-RAGEなどのMRIスキャナの他の動作モードでも同じシミュレーション式が得られる。
【0064】
同様に、CTスキャナの場合、サンプル画像の各ボクセル値を定義する信号強度(減衰のために対応する位置を横切った後に残っているX線放射によって与えられる)は、以下の信号則によって表される。
【数13】
式中、Iは信号強度であり、IはX線放射の初期強度であり、μは線形減衰係数であり、ρは密度であり、xは位置の厚さである。ゼロ用量画像(造影剤なし)では、パラメータμ、ρ、およびxは、それぞれμ、ρ、およびxで示される身体部分の対応するものに関連するパラメータであり、その結果、信号強度(Izeroとして識別される)は次のようになる。
【数14】
【0065】
逆に、造影剤がその位置に存在する場合、X線放射の追加の減衰がそれによって引き起こされ、その結果、信号強度(Iagentとして識別される)は以下のようになる。
【数15】
式中、μは線減衰係数であり、ρは密度(造影剤の局所濃度によって与えられる)であり、xは位置の厚さである。造影剤の局所濃度の関数としてこの式をそのテイラー級数の一次近似に直線化すると、(造影剤の局所濃度の二乗に依存する無視できる誤差を除いて)以下が得られる。
【数16】
【0066】
したがって、全用量画像では、信号強度(Ifullとして識別される)は次のようになる。
【数17】
式中、ρfullは、全用量で投与されたときの造影剤の密度である。同様に、低用量画像では、信号強度(Ireducedとして識別される)は次のようになる。
【数18】
式中、ρreducedは、用量を減少させて投与した場合の造影剤の密度である。造影剤の密度は、投与される造影剤の量に実質的に線形に比例し、その結果、以下のようになる。
【数19】
(dは、やはり対応する増加係数k=1/dの減少係数である)。
【0067】
以上のことから、シミュレーション式は、
【数20】
となり、対応する強度信号:
【数21】
の定義から得られた全用量ρfullでの密度を置き換えると、シミュレーション式は
【数22】
となり、次いで、上記のように
【数23】
となる。
【0068】
提案する実施態様(シミュレーション式は、造影剤の局所濃度に関して線形化された信号則から導出される)は、計算上非常に単純であり、(信号則の線形化による)そのようにして得られた低用量画像の精度の損失は、(動作)ニューラルネットワークを訓練する目的には許容可能である。
【0069】
代替として、信号則は、局所濃度(または密度)の関数として、そのテイラー級数の高次(第2、第3など)に近似される。この場合、全用量での造影剤の局所濃度について得られた式の解は、物理的に意味のない値のいずれか1つを破棄するために評価する必要がある対応する数の値を提供する。これにより、シミュレートされる低用量画像の精度が向上する(近似の次数が高いほど精度が高くなる)。別の代替案として、信号則は、全用量での造影剤の局所濃度について(やはり、物理的に意味のない造影剤のいずれか1つを廃棄するための可能な解決策の評価を用いて)数値的に解かれる。これにより、シミュレートされる低用量画像の精度がさらに向上する。
【0070】
ノイズ補正器530は、低用量画像のノイズを補正する。実際、各不完全なサンプルセットのゼロ用量画像および全用量画像は、シミュレーション式に従って対応する低用量画像に伝搬するノイズを含む。しかしながら、このようにして得られたノイズ(シミュレーションされたノイズ)は、低用量の造影剤が投与された患者の対応する身体部分から実際に低用量画像を取得することによって得られたノイズ(実ノイズ)とはわずかに異なる統計分布を有する。特に、ゼロ用量画像のノイズおよび全用量画像のノイズは、ゼロ平均および対応する標準偏差を有する正規型の統計分布を有するとみなすことができ、これらは誤差(または不確実性)伝播の規則
【数24】
に従って低用量画像に伝播し、
式中、σreducedは低用量画像のノイズの標準偏差であり、σfullは全用量画像のノイズの標準偏差であり、σzeroはゼロ用量画像のノイズの標準偏差である(dはやはり、対応する増加係数k=1/dの減少係数である)。全用量画像のノイズとゼロ用量画像のノイズの両方が同じ標準偏差σ=σfull=σzeroを有すると仮定すると、ゼロ平均および標準偏差σを有する同じ正規型の統計分布を有する低用量画像のノイズを作るために、人工ノイズは、以下のようにゼロ平均および標準偏差σartificialを有する正規型の統計分布を有する低用量画像に注入されるべきである。
【数25】
(人工ノイズを加法的な形態で注入する場合、乗算/畳み込み形の人工ノイズを注入する場合に適用される同様の考慮事項);次いで、人工ノイズの標準偏差は、以下のノイズ公式によって与えられる。
【数26】
【0071】
しかしながら、本発明者らは、そのようにして得られた標準偏差σartificialの(理論上の)値を、経験的に決定される補正係数(例えば、1.5~2.5、好ましくは1.7~2.3、さらにより好ましくは1.9~2.1に等しく、例えば2.0)に従って増分することによって、より良好な結果が得られることを見出した。ノイズ補正器530は、サンプルセットリポジトリ510を読み書きする。
【0072】
追加的または代替的に、不完全なサンプルセットの低用量画像は、追加の(訓練)機械学習モデルによってシミュレート(または合成)される。例えば、機械学習モデルは、訓練ニューラルネットワーク535であり、特に、上記のようなオートエンコーダ畳み込みニューラルネットワークである。訓練ニューラルネットワーク535は、訓練ニューラルネットワーク535の(訓練)構成(すなわち、上記のようなその重み)を記憶する(訓練)構成リポジトリ540を読み取る。訓練ニューラルネットワーク535はまた、サンプルセットリポジトリ510を読み書きする。
【0073】
訓練エンジン545は、同じ参照番号420で示される動作ニューラルネットワークのコピー、および訓練ニューラルネットワーク535(利用可能な場合)を訓練する。訓練エンジン545は、サンプルセットリポジトリ510を読み取る。訓練エンジン545は、同じ参照番号425で示される、動作ニューラルネットワーク420によって読み取られる(動作)構成リポジトリのコピーを書き込み、訓練ニューラルネットワーク535の構成リポジトリ540を書き込む。
【0074】
ここで図6を参照すると、本開示の一実施形態による撮像手順に関連する活動のフローを説明する活動図が示されている。
【0075】
この点において、各ブロックは、制御コンピュータ上で指定された論理機能を実施するための1つまたは複数の実行可能命令に対応することができる。特に、活動図は、方法600を用いて各撮像処置中に患者の身体部分を撮像するために使用され得る例示的なプロセスを表す。
【0076】
プロセスは、(新しい)撮像手順が開始されるとすぐに、黒い開始円603で始まる(MRI/CTスキャナの場合にはガントリの内側など、患者がスキャナに対して適切な位置に到達した後に、撮像マネージャのユーザインターフェースを介して、医師または放射線技師などのヘルスケアオペレータによって入力された対応するコマンドによって示されるように)。これに応答して、ブロック606において、取得器は、身体部分の(動作)ベースライン画像の取得を開始し、表示器は、それらを制御コンピュータのモニタにリアルタイムで表示する。ベースライン(ゼロ用量)画像は、患者に造影剤を投与する前に取得され、その結果、身体部分は造影剤を含まないか、または少なくとも有意な量の造影剤を含まない(患者は造影剤を投与されたことがないか、または患者への造影剤の以前の投与から比較的長い時間が経過していて、造影剤が実質的に除去されたことが確実なため)。医師が(撮像マネージャのユーザインターフェースを介して直接またはヘルスケアオペレータによって入力された対応するコマンドによって)ゼロ用量画像のうちの1つを選択すると、ブロック609において、取得器は、このゼロ用量画像を(動作)取得画像リポジトリ(最初は空)に保存する。
【0077】
次いで、ブロック612において、表示器は、患者への造影剤(例えば、MRI用途ではガドリニウムに基づくもの、CT用途ではヨウ素に基づくものなど)の投与を求めるメッセージを制御コンピュータのモニタに表示する。造影剤は投与用量で投与される。通常、投与用量は造影剤の全用量に等しい。全用量は、医療当局(すなわち、医療の適用に関する管轄権を有する機関)によって要求されるか、または承認されている機関もしくは一貫した科学刊行物によって推奨される、臨床現場における標準値を有する。例えば、MRI用途では、造影剤の全用量は、患者の体重1kg当たり0.1mmolのガドリニウムである。CT用途では、例えば、ブラッコ・イメージングS.p.A(商標)によってイオメロンの名称で市販されている、155~400mg/mLの製剤を有するイオメプロールに基づく造影剤の全用量は、頭部の撮像については20~200mL、他の身体部分タイプの撮像については100~200mLである。あるいは、例えば、ブラッコ・イメージングS.p.A(商標)によってIsovueの名称で市販されている、イオパミドールに基づく造影剤の全用量は、成人では250mg/mLの製剤で100~230mL、または300mg/mLの製剤で100~200mL(ヨウ素の総用量は60gを超えるべきでない)、小児では250mg/mLの製剤で患者の体重1kg当たり1.2~3.6mL、または300mg/mLの製剤で患者の体重1kg当たり1.0~3.0mL(ヨウ素の総用量は30gを超えるべきでない)である。しかしながら、投与用量はまた、特定の状況(例えば、全用量の投与が危険であり得る場合)では全用量よりも少なくてもよい。
【0078】
これに応じて、ヘルスケアオペレータは、患者に造影剤を投与する。特に、造影剤は、検査/切除/治療される腫瘍などの特定の(生物学的)標的に到達し、その中に実質的に固定されたままであるように適合される。この結果は、非標的造影剤(受動的蓄積などによって、標的との特定の相互作用なしに標的に蓄積するように適合されている)または標的造影剤(例えば、異なる組織、血管特性、代謝特性などと相互作用することができる化学結合特性および/または物理的構造に基づいて、造影剤の製剤に標的特異的リガンドを組み込むことによって達成されるなど、標的との特異的相互作用によって標的に結合するように適合されている)のいずれかを使用することによって達成され得る。造影剤は、ボーラス(例えば、シリンジを用いて)として患者に静脈内投与することができる。その結果、造影剤は、標的に到達してこれに結合するまで患者の血管系内を循環する。代わりに、残りの(結合していない)造影剤は、患者の血液プールから除去される。造影剤が(可能性のある)標的に蓄積し、患者の残りの部分から洗い流されるのが可能になる待機時間(例えば、数分)の後、(例えば、撮像マネージャのユーザインターフェースを介して医師またはヘルスケアオペレータによって入力された対応するコマンドによって示されるように)撮像手順を実際に開始することができる。一方、取得器は、制御コンピュータのモニタ上にリアルタイムで表示する表示器を用いて、身体部分の(動作)投与画像を取得し続ける。
【0079】
いつでも、医師は、ブロック615において、(セレクタのユーザインターフェースを介して直接またはヘルスケアオペレータによって)増加係数の所望の(選択された)値を選択することができる。特に、離散モードでは、増加係数の選択された値は、対応するリポジトリ内の(動作)ニューラルネットワークの動作構成に対応するものの中から選択されてもよい。同時に、医師は、(セレクタのユーザインターフェースを介して直接またはヘルスケアオペレータによって)ゼロ用量/投与画像のうちの1つに対する(動作)シミュレーション画像の(動作)合成画像への(相対的な)寄与の所望の(選択された)値を選択することができる。例えば、シミュレーション画像の寄与は、デフォルトでゼロ用量/投与画像の1つと同じに設定され、その最大値(5~10など)まで(連続的または離散的に)増加させることができる。これに応じて、表示器は、制御コンピュータのモニタへの投与画像の表示を停止する。ブロック618において、ニューラルネットワークは、(対応するリポジトリから取得された)増加係数の選択された値の構成に従って構成する。ブロック621において、取得器は、取得されたばかりの(新しい)投与画像を(動作)取得イメージリポジトリに保存する。ブロック624において、プリプロセッサは、投与画像を前処理する。特に、プリプロセッサは、例えば、投与画像に剛体変換を適用することによって、投与画像を(取得画像ジリポジトリ内の)ゼロ用量画像と共登録して、それらを空間的に対応させる。ブロック627において、撮像マネージャは、ゼロ用量画像および(前処理された)投与画像をニューラルネットワークに供給する。ブロック630に移ると、ニューラルネットワークは、対応するリポジトリに保存された対応するシミュレーション画像を出力する。
【0080】
ブロック633において、合成器は、(対応するリポジトリから取得された)ゼロ用量画像、投与画像およびシミュレーション画像をそれらの合成画像に合成し、これは対応するリポジトリに保存される。例えば、この目的のために、合成器は、ダイナミックレンジを変更せずに維持する特定のタイプのHDR技術を実装する露光混合アルゴリズムの修正バージョン(この異なる用途に適合されている)を適用する。具体的には、合成器は、ゼロ用量画像、投与画像およびシミュレーション画像からそれぞれ(動作)ゼロ用量マスク、(動作)投与マスクおよび(動作)シミュレーションマスクを計算する。各ゼロ用量/投与/シミュレーションマスクは、各々が対応する位置のマスク値を含む(ゼロ用量/投与/シミュレーション画像と同じサイズを有する)セルの行列を含む。投与マスクおよびシミュレーションマスクの場合、各マスク値は、それぞれ投与画像およびシミュレーション画像の対応するボクセル値に設定される。ゼロ用量マスクの場合、代わりに、各マスク値は、その最大可能値に補完されるゼロ用量画像の対応するボクセル値に設定される。次いで、合成画像の各ボクセル値は、以下の混合式を適用することによって計算される。
【数27】
式中、V、V、VおよびVは、それぞれ、合成画像、ゼロ用量画像、投与画像およびシミュレーション画像のボクセル値であり、
【数28】
、MおよびMは、それぞれ、ゼロ用量マスク、投与マスクおよびシミュレーションマスクの対応するマスク値であり、w、wおよびwは、それぞれ、ゼロ用量画像、投与画像およびシミュレーション画像の(ゼロ用量)重み、(投与)重みおよび(シミュレーション)重みである。投与/シミュレーションマスクのマスク値M、M(グレースケール値)は、投与/シミュレーション画像のボクセル値V、Vが高い場合(明るいボクセル)には合成画像のボクセル値Vに主に寄与するようにし、一方、ゼロ用量マスクのマスク値(反転グレースケール値)
【数29】
は、ゼロ用量画像のボクセル値Vが低い場合(暗いボクセル)には合成画像のボクセル値Vに主に寄与するようにする。ゼロ用量重みw、投与重みwおよびシミュレーション重みwは、それぞれ、合成画像に対するゼロ用量画像、投与画像およびシミュレーション画像の(相対的な)寄与を定義する(それらの値と共に増加する)。この用語
【数30】
は、合成画像のダイナミックレンジをゼロ用量/投与/シミュレーション画像のものと同じに維持する正規化値である。
【0081】
ブロック636において、表示器は、(対応するリポジトリから取得された)合成画像を制御コンピュータのモニタに表示する。次いで、合成画像は、対応する投与画像の取得と実質的にリアルタイムで(ニューラルネットワークおよび合成器がそれを生成するのに必要な時間による短い遅延は別として)表示される。ブロック639において、セレクタは、増加係数および/または合成画像に対するシミュレーション画像の寄与の異なる値が選択されたかどうかを検証する。選択された場合、プロセスはブロック618に戻り、増加係数の(新しい)選択値および/またはシミュレーション画像の(新しい)選択された寄与に従ってシミュレーション重みwに従って動作ニューラルネットワークの構成を更新し、次いで同じ動作を連続的に繰り返す。逆に、ブロック642において、撮像マネージャは撮像手順の状態を検証する。撮像手順がまだ進行中である場合、活動のフローはブロック621に戻り、同じ動作を継続的に繰り返す。逆に、(撮像マネージャのユーザインターフェースを介して医師またはヘルスケアオペレータによって入力された対応するコマンドによって示されるように)撮像処置が終了した場合、プロセスは同心円の白/黒停止円645で終了する。
【0082】
ここで図7A図7Cを参照すると、本開示の一実施形態による訓練手順に関連する活動のフローを説明する活動図が示されている。
【0083】
この点において、各ブロックは、構成コンピュータで指定された論理機能を実施するための1つまたは複数の実行可能命令に対応することができる。特に、活動図は、方法700を用いて動作ニューラルネットワークを訓練するために使用することができる例示的なプロセスを表す。
【0084】
プロセスは、動作ニューラルネットワークを訓練する必要があるときはいつでも、黒い開始円701で始まる。特に、これは、動作ニューラルネットワークの最初の配送の前に行われる。さらに、これはまた、撮像システムの必要な性能を経時的に維持するために、動作ニューラルネットワークのメンテナンスの場合または動作ニューラルネットワークの新しいバージョンのリリースの場合に、撮像システムの動作状態の任意の著しい変化(例えば、対応するスキャナの新しいモデルの配信、撮像されている患者集団の変動など)に応答して、周期的に起こり得る。これに応答して、ブロック702において、分析エンジンは、動作ニューラルネットワークが訓練されなければならない所望の増加係数の指示を(そのユーザインターフェースを介して)入力するようにオペレータに促し、また、この目的のためにシミュレートされる(サンプル)低用量画像の減少係数をその逆数として定義する。
【0085】
ブロック703において、収集器は、不完全なサンプルセットの対応する取得パラメータと共に、(例えば、不完全なサンプルセットについては1つまたは複数の医療施設の、完全なサンプルセットについては研究所の)異なる対象の身体部分に対して実行されている対応する撮像手順の複数の画像シーケンスを収集する。身体部分は、動作ニューラルネットワークが使用されることが意図されているのと同じタイプのものである。不完全なサンプルセットの各画像シーケンスは、造影剤なしで最初に取得され、次いで全用量の造影剤で取得された画像のシーケンスを含む(例えば、対応する身体部分の視覚的表現を提供するために対応する撮像手順中に実際に使用される)。完全なサンプルセットの各画像シーケンスは、(例えば、前臨床研究では)低用量の造影剤を用いて取得された画像のシーケンスをさらに含む。いくつかの画像シーケンスはまた、対応する生データ(対応するサンプル画像を生成するために使用される)を含むことができる。例えば、MRIスキャナの場合、k空間形式の(k空間)画像として生データを取得する。各k空間画像は、横軸が空間周波数、すなわち波数k(単位距離当たりのサイクル)に対応し、縦軸が検出される応答信号の位相に対応するセルの行列によって定義される。各セルは、対応する応答信号の異なる振幅成分を定義する複素数を含む。k空間画像は、逆フーリエ変換を適用することにより、対応する(複素)画像に複素変換される。複素画像は、対応するボクセルのセルの行列によって定義される。各セルは、対応する位置から受信されている応答信号を表す複素数を含む。最終的に、複素画像は、その各ボクセル値を複素画像内の対応する複素数の係数に設定することによって、大きさ形式で対応する(サンプル)取得画像に変換される。
【0086】
この段階では、収集器は、例えば、低品質の画像シーケンスを破棄するために、画像シーケンスをフィルタリングすることができる。いずれの場合も、各画像シーケンスについて、収集器は、造影剤なしで取得されている画像のうちの1つを(サンプル)ゼロ用量画像として選択し、1つまたは複数の画像が造影剤ありで取得され、それらのすべてまでが(サンプル)全用量画像および対応する低用量画像(利用可能な場合)として選択される。次いで、収集器は、各全用量画像のサンプルセットリポジトリに新しいエントリを作成し、ゼロ用量画像、全用量画像、対応する低用量画像(利用可能な場合)、および対応する取得パラメータへのリンク(低用量画像が利用できない場合)を追加する。次いで、サンプルセットリポジトリは、不完全なサンプルセットと完全なサンプルセットの混合を記憶することができる。例えば、完全なサンプルセットは、(不完全/完全な)サンプルセットの総数の1~20%、好ましくは5~15%、さらにより好ましくは6~12%、例えば10%である。これは、限られた追加の労力で(特に完全なサンプルセットが前臨床試験から得られる場合)、動作ニューラルネットワークの訓練の質をさらに高める。
【0087】
ブロック704において、分析エンジンは、不完全なサンプルセットの低用量画像をシミュレートするために使用されるシミュレーション式(例えば、そのユーザインターフェースを介してオペレータによって手動で選択されたもの、デフォルトで定義されたもの、または利用可能な唯一のもの)を(対応するリポジトリから)取得する。次いで、ブロック705でループに入り、分析エンジンは、(任意の順序の最初のものから開始して)サンプルセットリポジトリの(現在の)不完全なサンプルセットを考慮に入れる。ブロック706において、ノイズ補正器は、(取得時とノイズ除去時との差として)ゼロ用量画像のノイズを計算し、次いでその(ゼロ用量)標準偏差を計算する。同様に、ノイズ補正器は、(取得時とノイズ除去時との差として)全用量画像のノイズを計算し、次いでその(全用量)標準偏差を計算する。どちらの場合も、取得された(ゼロ用量および全用量)画像は、オートエンコーダ(畳み込みニューラルネットワーク)でノイズ除去され得る。この目的のために、オートエンコーダは、複数の画像(取得されたすべての画像など)を用いて教師なしで訓練されている。特に、自動エンコーダは、ノイズが低減された同じ画像を再構成するために、各画像を符号化し、その上のわずかなデータ(ノイズによるもの)を無視し、次いで得られた結果をデコードするその能力を最適化するように訓練されている。ノイズ補正器は、例えば、ゼロ用量標準偏差と全用量標準偏差との平均に等しい基準標準偏差を決定する。ノイズ補正器は、ノイズ公式を基準標準偏差に適用した後、得られた結果を補正係数で増加させることにより、人工ノイズの標準偏差を計算する。活動のフローは、ブロック707において、分析エンジンの構成(例えば、そのユーザインターフェースを介してオペレータによって手動で選択されたもの、デフォルトで定義されたもの、または利用可能な唯一のもの)に従って分岐する。特に、分析エンジンがk空間ブロック内で動作するように構成されていない場合にはブロック708~726が実行され、そうでない場合にはブロック727~740が実行される。両方の場合において、ブロック741において、活動のフローが再び合流する。
【0088】
ここでブロック708(k空間ではない)を参照すると、プリプロセッサは、不完全なサンプルセットの取得された(ゼロ用量/全用量)画像を前処理する。特に、プリプロセッサは、全用量画像をゼロ用量画像と共登録して、(例えば、全用量画像に剛体変換を適用することによって)それらを空間的に対応させる。加えて、または代替として、プリプロセッサは、取得された画像のノイズを除去して、それらのノイズを低減する(上記のように)。ブロック709において、分析エンジンは、シミュレーション式を適用するために使用される減少係数を変調するための変調係数を計算する。実際、シミュレーション式は、造影剤の局所濃度が高いほど高い近似を導入することができる。特に、造影剤が存在しないときの信号強度の実際の値(造影剤が(サンプル)低用量で投与された患者の身体部分から実際に低用量画像を取得することによって得られた)に実質的に等しい(シミュレーション式によって与えられる)信号強度のシミュレーション値から始まり、造影剤の局所濃度が増加するにつれてシミュレーション値は実際の値よりも低くなる。このシミュレーション値の実値に対する損失を補償するために、(対応する投与値に対するシミュレーション値の減少を制限するように)シミュレーション式で使用されている減少係数の値を増加させることが可能である。より具体的には、信号則とその近似との比を減少係数について1に等しく設定する式を解くことによって、減少係数の値は、取得パラメータに応じた比例係数(変調係数)に従って造影剤の局所濃度の関数として線形に増分されるべきであることが得られる。変調率は、取得パラメータの関数として分析的に決定された(補正)式によって、または経験的に決定された取得パラメータに対応する値によって与えられる。したがって、分析エンジンは、サンプルセットリポジトリから不完全なサンプルセットの取得パラメータを取得し、次いで、取得パラメータに補正式を適用することによって、または取得パラメータに対応するその値を所定の表から取得することによって変調率を計算する。
【0089】
活動のフローは、ブロック710において、分析エンジンの構成に従ってさらに分岐する。特に、分析エンジンが大きさ形式の画像で動作するように構成されている場合、ブロック711でループに入り、分析エンジンは、(任意の順序の最初のボクセルから開始して)全用量画像の(現在の)ボクセルを考慮に入れる。ブロック712において、分析エンジンは、ボクセルのシミュレーション式を適用するために使用される減少係数を変調する。この目的のために、分析エンジンは、全用量画像のボクセル値とゼロ用量画像のボクセル値との間の差としてボクセルのコントラスト強調を計算し、次いで、変調係数とコントラスト強調との間の積を乗算することによって減少係数の変調値を計算する。ブロック713において、分析エンジンは、ゼロ用量画像のボクセル値および全用量画像のボクセル値に(変調された)減少係数を有するシミュレーション式を適用することによって、低用量画像のボクセル値を計算する。したがって、問題の例では、分析エンジンは、全用量画像のボクセル値からゼロ用量画像のボクセル値を減算し、この差に減少係数を乗算し、得られた結果をゼロ用量画像のボクセル値に加算する。次いで、分析エンジンは、そのようにして得られたボクセル値をサンプルセットリポジトリ内の構築中の低用量画像に追加する。ブロック714において、分析エンジンは、最後のボクセルが処理されたかどうかを検証する。処理されてない場合、活動フローはブロック711に戻り、次のボクセルに対して同じ動作を繰り返す。逆に(すべてのボクセルが処理されると)、対応するループはブロック715に降下することによって終了する。
【0090】
このとき、ノイズ補正器は、そのようにして得られた低用量画像に対して、人工ノイズを加法的な形態で注入する。この目的のために、ノイズ補正器は、人工ノイズを、低用量画像と同じサイズを有するセルの(ノイズ)行列として生成する。ノイズ行列は、ゼロ平均および人工ノイズと等しい標準偏差を有する正規型の統計分布を有するランダム値を含むブロック716において、ノイズ補正器は、ノイズ行列をサンプルセットリポジトリ内のボクセルごとの低用量画像に追加する。その後、プロセスはブロック741に続く。
【0091】
ブロック710に戻って参照すると、分析エンジンが複素形式の画像に対して動作するように構成されている場合、ブロック717において、それらの可用性に従って活動のフローの分岐が行われる。ゼロ用量画像および全用量画像が既に複素形式で利用可能である場合、ブロック718において、分析エンジンは、その引数をキャンセルする(同じ係数を維持する)ようにその各セルの複素数を表すベクトルを回転させることによって位相補正を実行する。この動作により、(虚数部のない対応する複素数に適用される演算はすべて、対応する係数に適用されるものと等価であるため)複素形式のゼロ用量画像および全用量画像に対して演算しても、シミュレーション式の適用結果は同じになる。その後、プロセスはブロック719に続く。ゼロ用量画像および全用量画像が大きさ形式で利用可能である場合、同じ点はブロック717からも直接到達される。この場合、ゼロ用量画像および全用量画像は、各々のボクセル値(実数)が虚数部がゼロである複素数である、複素形式であると直接みなされる。
【0092】
ここで上記と同様の動作が、ゼロ用量画像から低用量画像を生成するために実行され、全用量画像はそれらに複素形式で作用する。特に、解析エンジンが(任意の順序の最初のボクセルから開始して)全用量画像の(現在の)ボクセルを考慮に入れるループに入る。ブロック720において、分析エンジンは、(全用量画像のボクセル値の係数とゼロ用量画像のボクセル値の係数との間の差として)ボクセルのコントラスト強調を計算することによって減少係数を変調し、次いで、それに変調係数とコントラスト強調との間の積を乗算することによって減少係数の変調値を変調する。ブロック721において、分析エンジンは、ゼロ用量画像のボクセル値および全用量画像のボクセル値に(変調された)減少係数を有するシミュレーション式を適用することによって、低用量画像のボクセル値を計算する。次いで、分析エンジンは、そのようにして得られたボクセル値をサンプルセットリポジトリ内の構築中の低用量画像に追加する。ブロック722において、分析エンジンは、最後のボクセルが処理されたかどうかを検証する。処理されていない場合、活動フローはブロック719に戻り、次のボクセルに対して同じ動作を繰り返す。逆に(すべてのボクセルが処理されていると)、対応するループはブロック723に降下することによって終了する。
【0093】
このとき、ノイズ補正器は、そのようにして得られた低用量画像に対して畳み込み形式で人工ノイズを注入する。この目的のために、ノイズ補正器は、人工ノイズを、低用量画像と同じサイズを有するセルの(ノイズ)行列として生成する。ノイズ行列は、人工ノイズの1つと等しいユニタリ平均および標準偏差を有する正規統計分布を有するランダム複素値を含む。次いで、ブロック724において、ノイズ補正器は、ノイズ行列を介してサンプルセットリポジトリ内の低用量画像に対して畳み込み演算を実行する(例えば、ノイズ行列を低用量画像にわたって円形に1ストライド分シフトすることによって、低用量画像をあらゆる方向に回り込ませる)。ブロック725において、分析エンジンは、そのようにして得られた低用量画像を大きさ形式に変換する。この目的のために、分析エンジンは、低用量画像の各ボクセル値(ここでは一般に複素数)をその係数で置き換える。活動のフローは、ブロック726において、分析エンジンの構成に従ってさらに分岐する。特に、分析エンジンが、同様に加法的な形態で人工ノイズを低用量画像に注入するように構成されている場合、プロセスはブロック715に進み、上記と同じ動作を実行する(次いでブロック741に進む)。逆に、プロセスはブロック741に直接降下する。
【0094】
代わりにブロック727(k空間)を参照すると、分析エンジンは、複素形式のゼロ用量画像および全用量画像を(利用可能な場合は直接、または逆フーリエ変換を適用することによってk空間形式から変換することによって)考慮に入れる。上記のように、ブロック728において、分析エンジンは、ゼロ用量画像および全用量画像の各セルの複素数を複素形式で表すベクトルを回転させることによって位相補正を実行して、その引数をキャンセルする(同じ係数を維持する)。ブロック730において、分析エンジンは、フーリエ変換を適用することによって、ゼロ用量画像および全用量画像を複素形式からk空間形式に変換する。
【0095】
ここで、低用量画像は、k空間形式で処理されるゼロ用量画像およびそれらに作用する全用量画像から生成される。特に、ブロック731でループに入り、分析エンジンは、(任意の順序の最初のものから開始して)全用量画像の(現在の)セルを考慮に入れる。ブロック732において、分析エンジンは、ゼロ用量画像のセル値および全用量画像のセル値に(元の)減少係数を有するシミュレーション式を適用することによって、低用量画像のセル値を計算する。次いで、分析エンジンは、そのようにして得られたセル値をサンプルセットリポジトリ内の構築中の低用量画像に追加する。ブロック733において、分析エンジンは、最後のセルが処理されたかどうかを検証する。処理されていない場合、活動フローはブロック731に戻り、次のセルに対して同じ動作を繰り返す。逆に(すべてのセルが処理されていると)、対応するループはブロック734に降下することによって終了する。
【0096】
このとき、ノイズ補正器は、そのようにして得られた低用量画像に対して、人工ノイズを多重化形式で注入する。この目的のために、ノイズ補正器は、人工ノイズを、低用量画像と同じサイズを有するセルの(ノイズ)行列として生成する。ノイズ行列は、人工ノイズの1つと等しいユニタリ平均および標準偏差を有する正規型の統計分布を有する複素ランダム値を含む。ブロック735において、ノイズ補正器は、サンプルセットリポジトリ内のノイズ行列をセルごとに低用量画像に乗算する。活動のフローは、ブロック736において、分析エンジンの構成に従ってさらに分岐する。特に、分析エンジンが同様に加法的な形態で低用量画像に人工ノイズを注入するように構成されている場合、プロセスはブロック737に進み、ノイズ補正器は、人工ノイズを、ヌル平均および人工ノイズの1つに等しい標準偏差を有する正規型の統計分布を有するランダム複素数値を今や含む(低用量画像と同じサイズを有する)セルの(さらなる)ノイズ行列として生成する。ブロック738において、ノイズ補正器は、ノイズ行列をサンプルセットリポジトリ内の低用量画像のセルごとに追加する。その後、プロセスはブロック739に進み、分析エンジンが加法的な形態で人工ノイズを低用量画像に注入するように構成されていない場合、ブロック736から同じ点に直接到達する。この時点で、分析エンジンは、逆フーリエ変換を適用することによってk空間形式から複素形式に低用量画像を変換する。ブロック740において、分析エンジンは、低用量画像の各ボクセル値をその係数で置き換えることによって、低用量画像を複素形式から大きさ形式に変換する。次いで、プロセスはブロック741に降下する。
【0097】
以上の動作により、不完全なサンプルセットが完成する。ここでブロック741を参照すると、分析エンジンは、最後の不完全なサンプルセットが処理されたかどうかを検証する。処理されていない場合、活動のフローはブロック705に戻り、次の不完全なサンプルセットに対して同じ動作を繰り返す。逆に(すべての不完全なサンプルセットが処理されると)、対応するループはブロック742に降下することによって終了する。
【0098】
この時点で、活動のフローは、構成コンピュータの動作モードに従って分岐する。訓練ニューラルネットワークが利用できないためにサンプルセットが動作ニューラルネットワークの訓練に使用される場合、訓練エンジンは、その性能を最適化する動作ニューラルネットワークの重みの最適化された値を見つけるために、この動作を直接実行する。この実施態様は、特に簡単で迅速である。同時に、シミュレートされる低用量画像の精度は、許容可能な性能で動作ニューラルネットワークを訓練する目的に十分である。特に、ブロック743の分析エンジンは、(上記のように完了途中か、または既に完了して提供されている)各サンプルセットのサンプル(ゼロ用量/低用量/全用量)画像を後処理することができる。例えば、分析エンジンは、それらのボクセル値を(共通の)事前定義された範囲にスケーリングすることによってサンプル画像を正規化する。さらに、分析エンジンは、各(元の)サンプルセットから(新しい)サンプルセットを生成することによってデータ増強手順を実行して、動作ニューラルネットワークの訓練における過剰適合を低減する。例えば、新しいサンプルセットは、元のサンプルセットのサンプル画像を0°から90°まで1~5°ずつ増分的に回転させることによって、および/またはそれらを水平/垂直に反転させることによって生成される。さらに、元のサンプルセットの低用量画像が不完全であるためにまだ行われていない場合、人工ノイズは、上記のように元の/新しいサンプルセットの低用量画像に追加される。いずれの場合でも、ブロック744において、訓練エンジンは、対応するリポジトリ内のサンプルセットをそのパーセンテージ(例えば、無作為に選択された50%)までサンプリングすることによって複数の訓練セットを選択する。ブロック745において、訓練エンジンは、動作ニューラルネットワークの重みをランダムに初期化する。次いで、ブロック746においてループに入り、訓練エンジンは、各訓練セットのゼロ用量画像および低用量画像を動作ニューラルネットワークに供給する。これに応答して、ブロック747において、動作ニューラルネットワークは、訓練セットの全用量画像に等しくなければならない対応する出力画像(グラウンドトゥルース)を出力する。ブロック748において、訓練エンジンは、出力画像と全用量画像との間の差に基づいて損失値を計算する。例えば、損失値は、出力画像と全用量画像との対応するボクセル値間の絶対差の平均として計算された平均絶対誤差(MAE)によって与えられる。ブロック749において、訓練エンジンは、損失値が許容可能ではなく、依然として大幅に改善中であるかどうかを検証する。この動作は、反復モード(各訓練セットをその損失値に対して処理した後)またはバッチモード(損失値の累積値、例えば損失値の平均値についてすべての訓練セットを処理した後で)のいずれかで実行され得る。改善中である場合、ブロック750において、訓練器は、その性能を改善する試みにおいて、動作ニューラルネットワークの重みを更新する。例えば、ADAM法に基づくものなどの確率的勾配降下(SGD)アルゴリズムが適用される(変化の方向および量は、損失関数の勾配によって決定され、損失値は、事前定義された学習レートに従って、バックプロパゲーションアルゴリズムで近似される重みの関数として与えられる)。その後、プロセスはブロック746に戻り、同じ動作を繰り返す。再びブロック749を参照すると、損失値が許容可能になった場合、または重みの変更が有意な改善を提供しない場合(損失関数の最小領域、少なくとも局所的な領域、または平坦な領域が見つかったことを意味する)、ループはブロック751に降下することによって終了する。上述のループは、重みにランダムノイズを追加することによって、および/または動作ニューラルネットワークの異なる初期化から開始して、異なる(および場合によってはより良好な)ローカル最小値を見つけ、損失関数の平坦領域を識別することによって、例えば100~300などの回数(エポック)繰り返される。
【0099】
損失関数の最適な最小値を提供する動作ニューラルネットワークの構成が見つかると、訓練エンジンは、そのようにして得られた動作ニューラルネットワークの性能の検証を実行する。この目的のために、訓練エンジンは、対応するリポジトリ内のサンプルセットから複数の検証セットを選択する(例えば、訓練セットとは異なるもの)。次いで、ブロック752でループに入り、訓練エンジンは、(任意の順序の最初のものから開始して)(現在の)検証セットのゼロ用量画像および低用量画像を動作ニューラルネットワークに供給する。これに応答して、ブロック753において、動作ニューラルネットワークは、検証セットの全用量画像に等しくなければならない、対応する出力画像を出力する。ブロック754において、訓練エンジンは、出力画像と全用量画像との間の差に基づいて上述のように損失値を計算する。ブロック755において、訓練エンジンは、最後の検証セットが処理されたかどうかを検証する。処理されていない場合、活動のフローはブロック752に戻り、次の検証セットに対して同じ動作を繰り返す。逆に(すべての検証セットが処理されると)、ループはブロック756に降下することによって終了する。この時点で、訓練エンジンは、上述の検証のグローバル損失を決定する(例えば、すべての検証セットの損失値の平均に等しい)。活動のフローは、ブロック757において、全体損失に従って分岐する。グローバル損失が(場合によっては厳密に)許容値よりも高い場合、これは、(訓練セットから検証セットに学習されたその構成からの)動作ニューラルネットワークの一般化の能力が低すぎることを意味する。この場合、プロセスはブロック744に戻り、異なる訓練セットおよび/または訓練パラメータ(例えば、学習率、エポックなど)を用いて同じ動作を繰り返す。逆に、グローバル損失が(場合によっては厳密に)許容値よりも低い場合、これは、動作ニューラルネットワークの一般化能力が十分であることを意味する。この場合、ブロック758において、訓練エンジンは、そのようにして取得された動作ニューラルネットワークの構成を受け入れ、増加係数のその値に関連してそれを対応するリポジトリに保存する。
【0100】
ブロック742に戻って参照すると、訓練ニューラルネットワークが(動作ニューラルネットワークを訓練するために使用される)低用量画像をシミュレートするために利用可能である場合、ブロック759において、訓練エンジンは、サンプルセットを使用することによってそれを訓練する。例えば、訓練ニューラルネットワークがここで対応するゼロ用量画像および全用量画像から低用量画像を生成するように最適化されるという違いを伴って、上記と同じ動作が実行されてもよい。この場合、例えば、敵対的生成ネットワーク(GAN)を利用する手法を用いて、より複雑な損失関数を使用して訓練ニューラルネットワークの性能を改善することも可能である。そのようにして得られた訓練ニューラルネットワークの構成は、次に、対応するリポジトリに保存される。同時に、分析的にシミュレートされた低用量画像は、対応する不完全なサンプルセットを復元するために、サンプルセットリポジトリから削除される。次いで、ブロック760において、(サンプルセットリポジトリから取得された)不完全なサンプルセットの低用量画像の精緻化バージョンをシミュレートするためのループに入る。この目的のために、訓練ニューラルネットワークは、(任意の順序の最初のものから開始して)(現在の)不完全なサンプルセットを考慮に入れる。ブロック761において、分析エンジンは、不完全なサンプルセットのゼロ用量画像および全用量画像を訓練ニューラルネットワークに供給する。ブロック762に移ると、訓練ニューラルネットワークは対応する低用量画像を出力し、これはサンプルセットリポジトリに保存される。以上の動作により、不完全なサンプルセットが再び完成する。ブロック763において、分析エンジンは、最後の不完全なサンプルセットが処理されたかどうかを検証する。処理されていない場合、活動のフローはブロック760に戻り、次の不完全なサンプルセットに対して同じ動作を繰り返す。逆に(すべての不完全なサンプルセットが処理されると)、対応するループは、(完了途中か、または既に完了して提供されている)サンプルセットを用いて上記のように動作ニューラルネットワークを訓練するためにブロック743に進むことによって終了する。この実施態様は、低用量画像の精度を改善し、次いでそれらを用いて訓練されている動作ニューラルネットワークの性能を改善する。
【0101】
再びブロック758を参照すると、プロセスはブロック764に進み、分析エンジンは、動作ニューラルの構成が完了したかどうかを検証する。完了していない場合、プロセスはブロック702に戻り、異なる増加係数に対して動作ニューラルネットワークを構成するために同じ動作を繰り返す。逆に、動作ニューラルの構成が完了すると、そのようにして得られた動作ニューラルネットワークの構成は、ブロック765において、対応する撮像システム(例えば、撮像システムの最初の配送の場合にはそれらを工場で事前ロードすることによって、または撮像システムのアップグレードの場合にはそれらをネットワークを介してアップロードすることによって)の制御コンピュータのインスタンスのバッチに展開される。次いで、プロセスは、同心円の白/黒停止円766まで終了する。
【0102】
ここで図8A図8Bを参照すると、本開示の一実施形態による解決策に関する実験結果の代表的な例が示されている。
【0103】
特に、以下の2つの脳病変(両方とも外科的に誘導された)を有するラットで専用の前臨床試験を行った。C6神経膠腫腫瘍(n=36匹の動物)および脳虚血病理(n=42匹の動物)。すべての動物は、病変を誘導するための外科的処置を受けた。外科的処置を生き残った動物であって、その後2週間の間(すなわち、病変の病理発生に必要な時間ウィンドウ)、臨床徴候が限られているか、または全く示されなかった動物を、MRIタイプの撮像処置のために登録した(すなわち、典型的には各動物について2匹、限られた場合にのみ3匹)。撮像手順は、7Tで動作し、2チャンネルを有するラット頭部体積コイルを備えたBruker Corporation(商標)によるガドリニウムベースの造影剤および前臨床スキャナ分光計Pharmascanを使用して行った。取得中に使用したCE-MRプロトコルは以下の通りであった。
・標準T1強調シーケンス(ゼロ用量画像)の事前コントラスト取得;
・0.01mmol Gd/kgに等しい低用量での造影剤の静脈内投与;
・T1強調シーケンスのコントラスト後取得(低用量画像);
・合計して0.05mmol Gd/kgに等しい全用量になるように、先の造影剤の直後に0.04mmol Gd/kgで造影剤をさらに静脈内投与する;
・T1強調シーケンスのコントラスト後取得(全用量画像)。
【0104】
この研究により、各々が24のスライス片からなる130の3D MRIボリューム(すなわち、神経膠腫を有するラットでは61、虚血を有するラットでは69)が得られた。取得したボリュームを使用して2つのデータセットを構築した:
・取得データ:取得画像のみ(ゼロ用量画像、低用量画像および全用量画像)を含む;
・シミュレートされたデータ:(取得された)ゼロ用量画像および全用量画像ならびに対応する(シミュレートされた)低用量画像(増加係数k=5)を含む。
【0105】
グラウンドトゥルースとして全用量画像を使用して、取得/シミュレートされたデータの混合を変更して、すなわち、以下のパラメータのすべての可能な組み合わせを選択して、合計7つの(動作)ニューラルネットワークを訓練した。
・学習率=0.01
・減衰=0.001
・データセット=取得データとシミュレートされたデータとの混合(シミュレートされたデータについてのみノイズレベル=0.015)、すなわち、取得データの0%、10%、20%、30%、40%、50%および100%ならびにシミュレートされたデータの100%、90%、80%、70%、60%、50%および0%
・損失=MAE+ftMAE+VGG19/4
・複合損失の相対重量(a、b、c):a=b=c=1。
【0106】
ここで図8Aを参照すると、全用量画像の元のバージョン(FD)、および取得データ(ACQ)とシミュレートされたデータ(SIM)との異なる混合で訓練されたニューラルネットワークによってシミュレートされたときの全用量画像の代表的な例が示されており、同じグレースケールがすべての全用量画像に適用されている。図から分かるように、取得データの100%で訓練されたニューラルネットワークは、グラウンドトゥルースに非常に類似した全用量画像(すなわち、取得されたそれらのバージョン)を生成した。ニューラルネットワークの性能は、訓練中のシミュレーションデータの割合が増えるにつれて(特にシミュレーションデータの割合が60%以上の場合)、徐々に中程度に悪化(ぼやけ、アーチファクト)することが観察された。しかしながら、訓練セットにおける取得データのわずか10%の追加は、主要な消失アーチファクトを除去して対応するニューラルネットワークの性能を改善するのに十分であるように思われた。
【0107】
上記を考慮すると、訓練中の取得/シミュレートされた画像の混合は、ニューラルネットワークの性能をさらに改善するための有効な戦略であるように見えた。この考察は、より低い均一性を有するデータセットに拡張された場合にさらに重要であり得る。実際、その固有の均一性(同じスキャナ、磁場、コイル、MRIシーケンスなど)のために、採用された前臨床データセットは、混合(取得/シミュレート)訓練アプローチの完全な可能性を集めるために最適ではないはずである。
【0108】
さらなる専用の前臨床試験を、C6神経膠腫腫瘍を有するラット(n=48匹の動物)で行った。すべての動物は、病変を誘導するための外科的処置を受けた。外科的処置を生き残った動物であって、その後2週間の間(すなわち、病変の病理発生に必要な時間ウィンドウ)、臨床徴候が限られているか、または全く示されなかった動物を、MRIタイプの撮像処置のために登録した(すなわち、典型的には各動物について3匹)。撮像手順は、Bracco Imaging S.p.A(商標)による市販の造影剤ProHanceおよび2つの前臨床スキャナ分光器、7Tで動作し、2チャンネルを有するラット頭部ボリュームコイルを備えたBruker Corporation(商標)によるPharmascan、および3Tで動作し、4チャンネルを有するラット頭部表面コイルを備えたBruker Corporation(商標)によるBiospecを使用して行った。取得中に使用したCE-MRプロトコルは以下の通りであった。
・標準T1強調シーケンス(ゼロ用量画像)の事前コントラスト取得;
・0.1mmol Gd/kgに等しい全用量での造影剤の静脈内投与;
・T1強調シーケンスのコントラスト後取得(全用量画像);
・合計して0.2mmol Gd/kgに等しいブースト用量になるように、直前の投与の直後に0.1mmol Gd/kgで造影剤をさらに静脈内投与する;
・T1強調シーケンスのコントラスト後取得(ブースト用量画像)。
【0109】
この研究により、122の3D MRIボリュームが得られた。
【0110】
以下のパラメータを用いて、グラウンドトゥルースとしてブースト用量画像を使用してこれらの(前臨床)データで(動作)ニューラルネットワークを訓練した。
-学習率=0.01
-減衰=0.001
-損失=MAE+ftMAE+VGG19/4
-複合損失の相対重み(a、b、c):a=5、b=c=1。
【0111】
対応するゼロ用量画像および全用量画像からのブースト用量画像をシミュレートするその能力を最適化するように、(取得された)ゼロ用量画像および全用量画像ならびに(シミュレートされた)ブースト用量画像を含む(臨床)データについて、別の(動作)ニューラルネットワークを同様に訓練した。
【0112】
訓練されると、2つのニューラルネットワークを(臨床)ゼロ用量画像および全用量画像に適用して、増加係数k=2を用いて、対応するブースト用量画像を予測した。
【0113】
ここで図8Bを参照すると、臨床データについて訓練されたニューラルネットワークおよび前臨床データについて訓練されたニューラルネットワークを用いてシミュレートされている(取得された)全用量画像および対応するブースト用量画像の代表的な例が示されている。図から分かるように、両方のニューラルネットワークは、全用量画像のコントラストを高めることに成功している。驚くべきことに、種の違い(ヒト対マウス)にもかかわらず、ニューラルネットワークは、増強された領域に対応する位置を特定し、そのような増強を増加させるように学習された前臨床データについて訓練された。
【0114】
上記を考慮すると、前臨床データの使用は、(臨床)ブースト画像を生成するためにニューラルネットワークを訓練するための有効な戦略である。
【0115】
変形例
局所的および特定の要件を満たすために、当業者は、多くの論理的および/または物理的な修正および変更を本開示に適用することができる。より具体的には、本開示は、その1つまたは複数の実施形態を参照してある程度の特殊性をもって説明されてきたが、形態および詳細ならびに他の実施形態の様々な省略、置換および変更が可能であることを理解されたい。特に、本開示の異なる実施形態は、そのより完全な理解を提供するために、前述の説明に記載された特定の詳細(数値など)がなくても実施することができる。逆に、不要な事項の記載を不明瞭にしないために、周知の事項を省略または簡略化する場合がある。さらに、本開示の任意の実施形態に関連して説明された特定の要素および/または方法工程は、一般的な設計上の選択の問題として任意の他の実施形態に組み込まれ得ることが明確に意図される。さらに、同じグループおよび異なる実施形態、例または代替物で提示された項目は、互いに事実上等価であると解釈されるべきではない(それらは別個の自律的なエンティティである)。いずれの場合も、各数値は、適用される公差に従って修正されたものとして読まれるべきである。特に、別段の指示がない限り、「実質的に」、「約」、「およそ」などの用語は、10%、好ましくは5%、さらにより好ましくは1%以内と理解されるべきである。さらに、数値の各範囲は、(その終点を含む)範囲内の連続体に沿った任意の可能な数を明示的に指定するように意図されるべきである。順序または他の修飾語は、単に同じ名前を有する要素を区別するためのラベルとして使用されるにすぎず、それ自体が優先順位、優先順位または順序を意味するものではない。用語include、comprise、have、contain、involveなどは、オープンで非網羅的な意味(すなわち、列挙された項目に限定されない)で意図されるべきであり、用語based、on、dependent on、according to、function ofなどは、非排他的な関係(すなわち、可能なさらなる変数が含まれる)として意図されるべきであり、用語a/anは、1つまたは複数の項目として意図されるべきであり(他に明示的に示されていない限り)、用語means for(または任意のmeans-plus-function式)は、関連する機能を実行するように適合または構成された任意の構造として意図されるべきである。
【0116】
例えば、一実施形態は、動作機械学習モデルを訓練するための方法を提供する。しかしながら、動作機械学習モデルは、任意のタイプ(例えば、ニューラルネットワーク、生成モデル、遺伝的アルゴリズムなど)のものであってもよい。
【0117】
一実施形態では、動作機械学習モデルは、医療撮像アプリケーションで使用するためのものである。しかしながら、医療撮像アプリケーションは、任意のタイプのものであってもよい(以下を参照)。
【0118】
一実施形態では、本方法は、コンピューティングシステムの制御下で以下の工程を含む。しかしながら、コンピューティングシステムは、任意のタイプのものであってもよい(以下を参照)。
【0119】
一実施形態では、本方法は、複数のサンプルセットを(コンピューティングシステムに)提供することを含む。しかしながら、サンプルセットは、任意の数であってもよく、任意の数および種類の供給源(例えば、病院、診療所、大学、研究所など)から任意の方法で提供されてもよい(例えば、医療施設の中央サーバから提供される場合など、インターネット経由でダウンロードされ、該当する撮像システムから自動的にまたは手動で取得され、対応するLAN経由で、または取り外し可能な記憶装置を介して手動でロードされ、中央サーバや(独立した)撮像システムからなどコピーされた取り外し可能な記憶装置から手動でロードされる)。
【0120】
一実施形態では、サンプルセットは、対応するサンプルベースライン画像、サンプルソース画像およびサンプル標的画像を含む。しかしながら、サンプルセットは、任意のタイプ(例えば、完成されるすべてのサンプルセット、既に完成されたいくつかのサンプルセット、画像シーケンスから構築された(完成されるまたは既に完成させた)サンプルセット、または既に構築されて受信したサンプルセットなど)であってもよい。さらに、各サンプルセットは、任意のタイプ(例えば、大きさ、複雑さ、k空間などの任意の形態で、ボクセル、ピクセルなどの身体部分の任意の位置に関連する任意の寸法、サイズ、解像度、色度、ビット深度などを有する)の任意の数のサンプル画像(例えば、サンプルベースライン/ソース/標的画像のみ、異なる用量の造影剤および/または異なる取得条件に対応するなど、取得および/またはシミュレートされている1つまたは複数のさらなるサンプルソース画像など)を含むことができる。
【0121】
一実施形態では、サンプルのベースライン/ソース/標的画像は、対象の対応する身体部分を表す。しかしながら、身体部分は、任意の数、任意のタイプ(例えば、臓器、その領域、組織、骨、関節など)および任意の状態(例えば、正常、任意の病変を有する病理学的状態など)であってもよい。さらに、身体部分は、任意の数および種類の対象(例えば、ヒト、動物など)に属し得る。
【0122】
一実施形態では、サンプルベースライン画像は、造影剤なしで対応する身体部分から取得されている。しかしながら、サンプルベースライン画像は、任意の方法で取得されていてもよい(例えば、造影剤の投与の前に、造影剤の可能な事前投与の任意の遅延などの後に)。
【0123】
一実施形態では、サンプル標的画像は、サンプル標的用量で造影剤が投与された対象の対応する身体部分から取得されている。しかしながら、造影剤は、任意のタイプ(例えば、特異的または非特異的相互作用などに基づく任意の標的造影剤、任意の非標的造影剤など)であってもよく、任意の方法(例えば、静脈内、筋肉内、経口など)で投与されていてもよい。いずれの場合も、これはサンプル画像の取得とは無関係に(対応する対象との相互作用を必要とせずに)実行される(コンピュータ実装)データ処理方法である。
【0124】
一実施形態では、サンプル画像は、サンプル標的用量よりも低い造影剤のサンプル用量に対応する(サンプルソース用量とサンプル標的用量との間の比は減少係数に等しい)。しかしながら、サンプルソース用量およびサンプル標的用量は、相対項の絶対値(例えば、造影剤の全用量よりも低いか、等しいか、またはそれよりも高いサンプル標的用量で、サンプルソース用量がサンプル標的用量よりも低いか、またはそれよりも高い場合など)のいずれかで任意の値を有することができ、サンプル画像は、任意の方法でサンプルソース用量に対応することができる(例えば、すべてシミュレートされ、部分的に取得されるなど)。
【0125】
一実施形態では、本方法は、動作機械学習モデルを(コンピューティングシステムによって)訓練して、その能力を最適化し、少なくともサンプルセットのサンプルベースライン画像およびサンプルソース画像からサンプルセットの各々のサンプル標的画像を生成することを含む。しかしながら、動作機械学習モデルは、任意の方法で(例えば、サンプルベースライン画像、サンプルソース画像、および場合によってはさらなるサンプルソース画像のうちの1つまたは複数からサンプル標的画像を生成するその能力を最適化するために、確率的勾配降下法、リアルタイム反復学習、高次勾配降下法、拡張カルマンフィルタリングなどの任意のアルゴリズムを使用して、サンプルセットから任意の訓練/検証セットを選択することによって、個々にまたはそのグループの位置のレベルで定義された、平均絶対誤差、平均二乗誤差、知覚的損失、敵対的損失などに基づくなどの任意の損失関数、身体部分の状態、対象の種類などの任意の相補的情報、固定された増加係数、可変増加係数が動作機械学習モデルのパラメータであることなどを考慮することによって)訓練されてもよい。
【0126】
一実施形態では、サンプルセットを提供する前記工程は、サンプルソース画像を各々欠くサンプルセットの1つまたは複数の不完全なサンプルセットを(コンピューティングシステムによって)受信することを含む。しかしながら、不完全なサンプルセットは、任意の数(例えば、すべてのサンプルセット、その一部のみなど)であってもよい。
【0127】
一実施形態では、本方法は、サンプルセットのサンプルベースライン画像およびサンプル標的画像からサンプルソース画像をシミュレートすることによって不完全なサンプルセットを各々(コンピューティングシステムによって)完成させることを含み、サンプルソース画像は、サンプルソース用量での造影剤の投与を模倣する対象の対応する身体部分を表すようにシミュレートされる。しかしながら、サンプルソース画像は、任意の方法(例えば、サンプルソース画像の予備バージョンを生成する分析エンジンと、そのように予備的に完了したサンプルセットで訓練された訓練機械学習モデルと、サンプルソース画像の精緻化バージョンを生成する訓練機械学習モデルとを用いて、分析エンジンを用いて分析的に、大きさ、複雑さ、k空間などの任意の領域で動作させ、動物の前臨床研究などから独立して取得され、登録、正規化、ノイズ除去、歪み補正、異常なサンプル画像のフィルタリングなどの前処理の有無にかかわらず、または正規化、ノイズ注入などの後処理の有無にかかわらず、さらなるサンプルセットで訓練された訓練機械学習モデルとを用いて)でシミュレートすることができる。
【0128】
一実施形態では、訓練方法は、医療撮像アプリケーションで使用するために訓練されている動作機械学習モデルを(構成コンピューティングシステムによって)展開することを含む。しかしながら、動作機械学習モデルは、任意の数および種類の撮像システムに任意の方法(例えば、対応する新しい撮像システムと一緒に配布されるか、または既にインストールされた撮像システムをアップグレードするため、オンラインにするなど)で展開することができる。
【0129】
一実施形態では、動作機械学習モデルは、減少係数の逆数に対応する増加係数に従って、対応する患者に投与される造影剤の用量の増加を模倣するために医療撮像アプリケーションで使用される。しかしながら、動作機械学習モデルは、任意の方法(例えば、リアルタイム、オフライン、ローカル、リモートなど)で造影剤の用量の増加を模倣するために使用されてもよい。さらに、増加係数は、何らかの方法(例えば、それに等しい、それより低い、またはそれより高い、例えば対応する乗算係数に従ってなど)で減少係数の逆数に対応し得る。
【0130】
さらなる実施形態は、追加の有利な特徴を提供するが、基本的な実施態様では省略することができる。
【0131】
一実施形態では、サンプルセットの各々において、サンプル標的画像は、造影剤が標準的な全用量で投与された対象の対応する身体部分から取得されている。しかしながら、全用量は、任意のタイプであり得る(例えば、医療撮像アプリケーションのタイプごとに、身体部分のタイプに応じて、対象のタイプ、体重、年齢などに応じて固定される)。いずれの場合も、異なるサンプル標的用量(例えば、全用量よりも低いまたは高い)を使用する可能性は排除されない。
【0132】
一実施形態では、サンプルセットの1つまたは複数は完全なサンプルセットである。しかしながら、完全なサンプルセットは、(不完全なサンプルセットに対して絶対的または相対的に)任意の数であってもよく、全く無くてもよい。
【0133】
一実施形態では、完全なサンプルセットの各々のサンプルソース画像は、サンプルソース用量で造影剤が投与された対象の対応する身体部分から取得されている。しかしながら、完全なサンプルセットのサンプルソース画像は、造影剤が何らかの方法で投与された対象の対応する身体部分から何らかの方法(例えば、サンプル標的画像に関して同じまたは異なるいずれかの方法)で取得されていてもよい。
【0134】
一実施形態では、対象の少なくとも一部は動物であり、動作機械学習モデルはヒトの医療撮像アプリケーションで使用するためのものである。しかしながら、動物は、任意の数および任意のタイプ(例えば、ラット、ブタなど)であり得る。いずれの場合も、ヒトに適用される医療撮像アプリケーションで使用するために動物から取得されたサンプルセットを用いた動作機械学習モデルの訓練は、より一般的には、すべてのサンプルセットを既に完了している状態で受け取った場合でも可能である。
【0135】
一実施形態では、不完全なサンプルセットの対象は動物であり、完全なサンプルセットの対象はヒトである。しかしながら、サンプルセットは、どのような方法(例えば、それらの各々を使用して完全なサンプルセットまたはその一部のみを収集する、不完全なサンプルセットまたはその一部のみを収集する、それらの任意の組み合わせなど)で動物およびヒトから収集されてもよい。
【0136】
一実施形態では、動作機械学習モデルは、動作ニューラルネットワークである。しかしながら、動作ニューラルネットワークは、どのような種類(例えば、任意の数の層、層間の接続、受信フィールド、ストライド、パディング、活性化関数などを有するオートエンコーダ、多層パーセプトロンネットワーク、リカレントネットワークなど)であってもよい。
【0137】
一実施形態では、サンプルベースライン画像の各々、サンプルソース画像の各々およびサンプル標的画像の各々は、複数のサンプルベースライン値、複数のサンプルソース値および複数のサンプル標的値をそれぞれ含む。しかしながら、サンプルのベースライン/ソース/標的値は、任意の数および任意のタイプ(例えば、ボクセル/ピクセルの大きさ/複雑な形式、k空間形式など)であってもよい。
【0138】
一実施形態では、不完全なサンプルセットを完成させる前記工程は、減少係数に応じてシミュレーション式を適用することによって、サンプルソース画像の各々のサンプルソース値の各々を(コンピューティングシステムによって)計算することを含む。ただし、シミュレーション式はどのようなもの(例えば、線形、二次、三次、対応するサンプルベースライン値および/またはサンプル投与値の関数など)であってもよい。
【0139】
一実施形態では、シミュレーション式は、造影剤の局所濃度の関数として身体部分の応答信号の大きさを表す信号則から導出される。ただし、信号則はどのような(例えば、任意の外部/内部取得パラメータなどに基づく)ものであってもよく、信号則からシミュレーション式を導出する方法はどのようなもの(例えば、信号則の任意の縮小から、実際の信号則など)であってもよい。
【0140】
一実施形態では、シミュレーション式は、造影剤の局所濃度に関して線形化されている信号則から導出される。しかしながら、信号則は、どのように(例えば、任意の直列展開、任意の近似などを用いて)線形化されてもよい。
【0141】
一実施形態では、シミュレーション式は、局所濃度と造影剤の用量との間の正比例を仮定することによって信号則から導出される。しかしながら、局所濃度と造影剤の用量との間の任意の関係(例えば、線形、非線形など)を仮定することによって、信号則からシミュレーション式を導出することができる。
【0142】
一実施形態では、サンプルソース値の各々を計算する前記工程は、サンプルソース値を、対応するサンプルベースライン値に、サンプル標的用量とサンプルソース用量との間の差を乗じた減少係数を加えたものに(コンピューティングシステムによって)設定することを含む。ただし、他の(線形/非線形)シミュレーション式の使用を排除するものではない。
【0143】
一実施形態では、サンプルベースライン値、サンプルソース値およびサンプル標的値は、身体部分の対応する位置の応答信号を表す。しかしながら、応答信号は、どのように(例えば、大きさ形式、複素形式など)表現されてもよい。
【0144】
一実施形態では、サンプルソース値の各々を計算する前記工程は、サンプル標的画像から導出された対応する位置における造影剤の局所濃度の指示に従って、サンプルソース値を計算するために使用される減少係数を(コンピューティングシステムによって)変調する工程を含む。しかしながら、局所濃度は、任意の方法で導出されてもよく(例えば、信号則などに従ってサンプル標的値から計算された対応する局所コントラスト強調に設定される)、減少係数は、その任意の線形/非線形関数に従って(常に同じに維持されるように)変調されてもよい。
【0145】
一実施形態では、サンプルソース値を計算するために使用される減少係数を変調する前記工程は、対応するサンプル標的値とサンプルベースライン値との間の差に応じて、対応する位置の局所コントラスト強調に従って減少係数を(コンピューティングシステムによって)線形に増分することを含む。しかしながら、減少係数は、任意の変調係数(例えば、経験的に決定され、任意の取得パラメータの平均値/局所値を使用して計算されるなど)に従って直線的に増分されてもよい。
【0146】
一実施形態では、前記不完全なサンプルセットを完成させることは、(コンピューティングシステムによって)不完全なサンプルセットの各々のサンプルソース画像に人工ノイズを注入することを含む。しかしながら、人工ノイズは、任意のタイプ(例えば、減少係数に応じて、固定など)のものであってもよく、また、人工ノイズは、任意の方法で(例えば、加法的な形態、乗法的な形態、畳み込み的な形態、大きさ形式でサンプルソース画像に、複素形式、k空間の形態、あらゆる場所、造影剤が存在する場所のみなど)サンプルソース画像に注入されてもよく、全く注入されなくてもよい。
【0147】
一実施形態では、人工ノイズは、減少係数に応じた統計分布を有する。しかしながら、人工ノイズの統計分布は、任意のタイプ(例えば、ノーマル、レイリー、ライスなどのタイプ)であってもよい。さらに、人工ノイズの統計分布は、何らかの方法(例えば、理論的アプローチを使用して決定された減少係数の任意の線形/非線形関数に対して、得られた結果はヒューリスティックに補正されるなど)で減少係数に依存し得る。
【0148】
一実施形態では、前記人工ノイズをサンプルソース画像に注入することは、対応するサンプルベースライン画像および/またはサンプル標的画像のノイズに基づいて、基準ノイズの1つまたは複数の統計パラメータの対応する基準値を(コンピューティングシステムによって)計算することを含む。しかしながら、統計パラメータは、任意の数および任意のタイプ(例えば、標準偏差、分散、歪度など)であってもよく、それらの基準値は、任意の方法(例えば、サンプルベースライン画像のノイズからのみ、サンプル標的画像のノイズからのみ、対応する値の平均から、サンプルベースライン画像のノイズからのみ、およびサンプル標的画像のノイズからのみなど)で計算されてもよい。
【0149】
一実施形態では、前記人工ノイズをサンプルソース画像に注入することは、サンプルソース画像のノイズの統計分布を基準ノイズの統計分布と一致させるのに必要な人工ノイズの統計パラメータの対応する人工値を(構成コンピューティングシステムによって)計算することを含む。しかしながら、人工値は、対応する基準値の任意の線形/非線形関数に従って計算されてもよい。
【0150】
一実施形態では、人工ノイズをサンプルソース画像に注入する前記工程は、統計パラメータの人工値を用いた統計分布を有するように(コンピューティングシステムによって)人工ノイズをランダムに生成することを含む。しかしながら、人工ノイズは、どのように(例えば、任意のランダムまたは擬似ランダム発生器などを用いて)生成されてもよい。
【0151】
一実施形態では、統計パラメータは標準偏差を含み、サンプルソース画像に人工ノイズを注入する前記工程は、標準偏差の人工値を、(コンピューティングシステムによって)減少係数の2倍の平方根に1と減少係数との差を乗じた標準偏差の基準値に設定することを含む。しかしながら、異なる式を使用する可能性は排除されない。
【0152】
一実施形態では、統計パラメータの人工値を計算する前記工程は、対応する経験的補正に従って(コンピューティングシステムによって)統計パラメータの人工値を補正することを含む。しかしながら、経験的補正は、任意のタイプ(例えば、すべての統計パラメータについて同じである、統計パラメータごとに異なるなど)であってもよく、それらは、任意の方法(例えば、任意の線形/非線形関数などに従ってそれらを増分/減分することによって)で対応する人工値を補正するために使用されてもよい。
【0153】
一実施形態では、人工ノイズをサンプルソース画像に注入する前記工程は、ゼロ平均を有する正規型の統計分布を有するように(コンピューティングシステムによって)人工ノイズをランダムに生成することを含む。ただし、統計分布の種類や平均が異なる人工ノイズが発生する可能性を排除するものではない。
【0154】
一実施形態では、人工ノイズをサンプルソース画像に注入する前記工程は、(コンピューティングシステムによって)人工ノイズをサンプルソース画像に追加することを含む。しかしながら、人工ノイズは、任意の方法(例えば、各セルのレベルで、任意の形態のサンプルソース画像のセルのグループなど)で加法的な形態で注入されてもよい。
【0155】
一実施形態では、人工ノイズをサンプルソース画像に注入する前記工程は、ユニタリ平均を有する正規型の統計分布を有するように(コンピューティングシステムによって)人工ノイズをランダムに生成することを含む。ただし、統計分布の種類や平均が異なる人工ノイズが発生する可能性を排除するものではない。
【0156】
一実施形態では、人工ノイズをサンプルソース画像に注入する前記工程は、(コンピューティングシステムによって)サンプルソース画像に人工ノイズを乗算することを含む。ただし、人工ノイズは、どのように(例えば、各セルのレベルで、任意の形態のサンプルソース画像のセルのグループなどで)多重化して注入してもよい。
【0157】
一実施形態では、人工ノイズをサンプルソース画像に注入する前記工程は、(コンピューティングシステムによって)人工ノイズを通してサンプルソース画像を畳み込むことを含む。しかしながら、人工ノイズは、どのような方法で(例えば、各セルのレベルで、任意の形態のサンプルソース画像のセルのグループで、任意のストライド、パディングなどを用いて円形または非円形に)畳み込み形式で注入されてもよい。
【0158】
一実施形態では、訓練方法は、対応するサンプルソース画像をシミュレートするために使用される不完全なサンプルセットの各々のサンプルベースライン画像およびサンプル標的画像を(構成コンピューティングシステムによって)ノイズ除去することを含む。しかしながら、サンプルのベースライン/標的画像は、どのような方法(例えば、オートエンコーダを用いて、ブロックマッチング、収縮フィールド、ウェーブレット変換、平滑化フィルタなどに基づく分析技術)でノイズ除去されてもよく、全くノイズ除去されなくてもよい。
【0159】
一実施形態では、不完全なサンプルセットを完成させる前記工程は、対応するサンプルベースライン画像およびサンプル標的画像からサンプルセットの各々のサンプルソース画像を生成するためにその能力を最適化するように(コンピューティングシステムによって)訓練機械学習モデルを訓練することを含む。しかしながら、訓練機械学習モデルは、任意のタイプのものであってもよく、任意のサンプルセット(例えば、不完全なサンプルセットの完了後のそれらのすべてを分析的に、完全なサンプルセットのみを分析的になど)を使用することによって任意の方法(例えば、動作機械学習モデルに関して同じまたは異なる方法のいずれか)で訓練されてもよい。
【0160】
一実施形態では、不完全なサンプルセットを完成させる前記工程は、訓練されている訓練機械学習モデルに不完全なサンプルセットのサンプルベースライン画像およびサンプル標的画像を適用することによって、不完全なサンプルセットの各々のサンプルソース画像の精緻化バージョンを(コンピューティングシステムによって)生成することを含む。しかし、別の方法で訓練機械学習モデルを使用する可能性は排除されない(例えば、不完全なサンプルセットのサンプルソース画像を精緻化し、それらを直接生成するなど)。
【0161】
一実施形態では、訓練機械学習モデルは訓練ニューラルネットワークである。しかしながら、訓練ニューラルネットワークは、任意のタイプ(例えば、動作ニューラルネットワークに関して同じか、または異なるかのいずれか)のものであってもよい。
【0162】
一実施形態では、本方法は、不完全なサンプルセットを完成させる前記工程と、減少係数の複数の値について動作機械学習モデルを訓練する前記工程とを(コンピューティングシステムによって)繰り返すことを含む。しかしながら、減少係数の値は、任意の数および任意のタイプ(例えば、一様に分布する、値を増加させるために減少させるなど、可変ピッチを有するなど)であってもよく、これらの工程は、任意の方法(例えば、連続的に、異なる時間になど)で繰り返されてもよい。
【0163】
一実施形態では、本方法は、医療撮像アプリケーションの各々における増加係数の1つまたは複数の対応する値を選択するために、減少係数の値で訓練されている対応する構成で動作機械学習モデルを(コンピューティングシステムによって)展開することを含む。しかしながら、異なる構成を、任意の方法(例えば、すべて一緒に、経時的に加えられるなど)および任意の形態(例えば、単一の動作機械学習モデルの対応する構成、動作機械学習モデルの対応するインスタンスなど)で展開することができ、任意の数および任意の方法(例えば、離散モード、連続モード、減少係数の値に関して同じまたは異なる方法など)で増加係数の値を選択するために使用することができる。
【0164】
一実施形態では、本方法は、造影剤の対応するさらなるサンプルソース用量についてサンプルセットのサンプルベースライン画像およびサンプル標的画像から1つまたは複数のさらなるサンプルソース画像をシミュレートすることによって、サンプルセットの各々を(コンピューティングシステムによって)拡張することを含む。しかしながら、さらなるサンプルソース画像は、任意の数であってもよく、任意のさらなるサンプルソース用量に対応していてもよく(全く無くてもよい)、それらは任意の方法(例えば、サンプルソース画像に関して同じまたは異なるいずれかの方法)でシミュレートされてもよい。
【0165】
一実施形態では、本方法は、患者の対応するさらなる身体部分を撮像するために医療撮像アプリケーションの各々で訓練されている動作機械学習モデルを使用することを含む。しかしながら、身体部分は、任意の種類、任意の状態であってもよく、任意の(例えば、動作機械学習モデルを訓練するために使用されている対象の身体部分に関して同じまたは異なる)患者に属してもよい。さらに、本方法は、任意の医療撮像アプリケーション(例えば、MRI、CT、蛍光透視法、蛍光または超音波技術などに基づく診断、治療または外科用途)で使用することができる。いずれにせよ、この方法は医師の仕事を容易にするかもしれないが、それは医師を助ける中間的な結果を提供するだけで、医療活動は常に厳密に医師自身が行うものである。
【0166】
一実施形態では、本方法は、(コンピューティングシステムによって)動作ベースライン画像と、患者のさらなる身体部分を表す1つまたは複数の動作投与画像とを受信することを含む。しかしながら、動作投与画像は任意の数であってもよく、動作ベースライン/投与画像は任意のタイプ(例えば、サンプル画像に関して同じまたは異なるいずれかのタイプ)であってもよい。さらに、動作ベースライン/投与画像は、任意の方法(例えば、リアルタイム、オフライン、ローカル、リモートなど)で受信され得る。
【0167】
一実施形態では、動作投与画像は、動作投与用量で造影剤が投与された患者のさらなる身体部分から取得されている。しかしながら、造影剤は任意の方法で患者に投与されていてもよく、非侵襲的な方法(例えば、胃腸管を撮像するために経口的に、ネブライザーを介して気道内に、局所スプレー適用を介して)を含み、いずれの場合も、専門的な医療専門知識を必要とするか、または健康リスクを伴う患者への実質的な物理的介入(例えば、筋肉内)を伴わない。さらに、動作投与用量は、任意の値(例えば、サンプルソース用量と同じまたは異なるか、造影剤の全用量よりも低いか、等しいかまたは高いかのいずれかなど)を有し得る。
【0168】
一実施形態では、本方法は、訓練されている機械学習モデルを用いて、動作ベースライン画像および動作投与画像から対応する動作シミュレート画像を(コンピューティングシステムによって)シミュレートすることを含む。しかしながら、動作シミュレート画像は、造影剤なしで、または動作投与用量とは異なる用量でのおよび/または異なる取得条件下での造影剤の投与で身体部分から取得される動作ベースライン画像から開始して、任意の方法(例えば、大きさ、複雑さ、k空間などの任意の領域で、リアルタイム、オフライン、ローカル、リモートなどで動作)でシミュレートすることができる。
【0169】
一実施形態では、動作シミュレーション画像は、動作投与用量よりも高い動作シミュレーション用量(動作シミュレーション用量と動作投与用量との比が増加係数に対応する)での造影剤の投与を模倣する患者のさらなる身体部分を表す。しかしながら、動作シミュレーション用量は、任意の値(例えば、サンプル標的用量と同じまたは異なるか、造影剤の全用量よりも低いか、等しいか、または高いかのいずれかなど)を有することができ、動作シミュレーション用量と動作投与用量との間の比は、何らかの形で増加係数に対応する(例えば、それに等しい、それより低い、またはそれより高い、例えば対応する乗算係数に従うなど)。
【0170】
一実施形態では、本方法は、動作シミュレーション画像に基づいて身体部分の表現を(コンピューティングシステムによって)出力することを含む。しかしながら、身体部分の表現は、任意のタイプ(例えば、動作シミュレーション画像、対応する動作合成画像など)であってもよく、任意の方法で出力されてもよい(例えば、モニタ、仮想現実眼鏡などの任意のデバイスに表示される、またはより一般的には、印刷、遠隔送信などの任意の方法でリアルタイムまたはオフラインで出力される)。
【0171】
一般に、同じ解決策が同等の方法(より多くの工程またはその一部の同じ機能を有する同様の工程を使用することによって、必須ではないいくつかの工程を除去することによって、またはさらなる任意選択の工程を追加することによって)で実施される場合、同様の考慮事項が適用される。さらに、工程は、異なる順序で、同時に、または交互に(少なくとも部分的に)実行されてもよい。
【0172】
一実施形態は、コンピュータプログラムを提供し、コンピュータプログラムは、コンピュータプログラムがコンピューティングシステム上で実行されると、コンピューティングシステムに上述の方法を実行させるように構成される。一実施形態は、コンピュータプログラムを具現化するコンピュータ可読記憶媒体を含むコンピュータプログラム製品を提供し、コンピュータプログラムは、コンピューティングシステムのワーキングメモリにロード可能であり、それにより、同方法を実行するようにコンピューティングシステムを構成する。しかしながら、(コンピュータ)プログラムは、任意のコンピューティングシステム上で実行されてもよい(下記参照)。プログラムは、スタンドアロンモジュールとして、既存のソフトウェアプログラム(例えば、構成アプリケーション、撮像アプリケーションなど)用のプラグインとして、または後者において直接実装されてもよい。
【0173】
一般に、プログラムが異なる方法で構造化されている場合、または追加のモジュールもしくは機能が提供されている場合、同様の考慮事項が適用される。同様に、メモリ構造は、他のタイプのものであってもよく、または同等のエンティティ(必ずしも物理記憶媒体からなるわけではない)で置き換えられてもよい。プログラムは、コンピューティングシステムによって使用されるのに適した任意の形態をとることができ、それによって所望の動作を実行するようにコンピューティングシステムを構成することができる。特に、プログラムは、外部または常駐ソフトウェア、ファームウェア、またはマイクロコード(オブジェクトコードまたはソースコードのいずれか、例えばコンパイルまたは解釈されるべきもの)の形態であってもよい。また、プログラムは、任意のコンピュータ可読記憶媒体上に提供することができる。記憶媒体は、コンピューティングシステムによる使用のための命令を保持および記憶することができる任意の有形媒体(一時的信号自体とは異なる)である。例えば、記憶媒体は、電子、磁気、光学、電磁気、赤外線、または半導体タイプのものであってもよい。そのような記憶媒体の例は、固定ディスク(プログラムが事前ロードされている場合がある)、リムーバブルディスク、メモリキー(例えば、USBタイプ)などである。プログラムは、記憶媒体からまたはネットワーク(例えば、インターネット、広域ネットワークおよび/または伝送ケーブル、光ファイバ、無線接続、ネットワークデバイスを含むローカルエリアネットワーク)を介してコンピューティングシステムにダウンロードすることができる。コンピューティングシステム内の1つまたは複数のネットワークアダプタは、ネットワークからプログラムを受信し、コンピューティングシステムの1つまたは複数の記憶装置に記憶するためにプログラムを転送する。いずれの場合でも、本開示の一実施形態による解決策は、ハードウェア構造(例えば、フィールドプログラマブルゲートアレイ(FPGA)または特定用途向け集積回路(ASIC)タイプなどの半導体材料の1つまたは複数のチップに集積された電子回路によって)であっても、またはソフトウェアと適切にプログラムされたもしくは他の様態で構成されたハードウェアとの組み合わせであっても実施されるのに適している。
【0174】
一実施形態は、上記の方法の工程を実行するように構成された手段を備えるコンピューティングシステムを提供する。一実施形態は、同方法の各工程を実行するための回路(すなわち、例えばソフトウェアによって適切に構成された任意のハードウェア)を備えるコンピューティングシステムを提供する。しかしながら、コンピューティングシステムは、任意のタイプ(例えば、構成コンピューティングシステムのみ、構成コンピューティングシステムおよび制御コンピューティングシステム、それらの両方の機能を提供する共通コンピューティングシステムなど)および任意の場所(例えば、複数のスキャナを制御するサーバや仮想マシンなどの場合はオンプレミスで、複数のスキャナに対応するクラウド型やSOA型などの対応するサービスを提供するサービスプロバイダによる実装の場合はリモートで、対応するスキャナ、スキャナの制御ユニットなど別個の制御コンピュータの場合はローカルで)であってもよい。
【0175】
一般に、コンピューティングシステムが異なる構造を有するか、または同等の構成要素を含むか、または他の動作特性を有する場合、同様の考慮事項が適用される。いずれの場合も、各構成要素をより多くの要素に分離してもよいし、2つ以上の構成要素を組み合わせて1つの要素にしてもよい。さらに、各構成要素は、対応する動作の実行を並行してサポートするために複製されてもよい。さらに、別段の指定がない限り、異なる構成要素間の相互作用は一般に連続的である必要はなく、直接的または1つまたは複数の中間体を介して間接的のいずれであってもよい。
図1
図2A
図2B
図2C
図2D
図2E
図3
図4
図5
図6
図7A
図7B
図7C
図8A
図8B
【国際調査報告】