(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024116114
(43)【公開日】2024-08-27
(54)【発明の名称】低投与量容積造影MRIを改良するためのシステム及び方法
(51)【国際特許分類】
A61B 5/055 20060101AFI20240820BHJP
G06T 5/60 20240101ALI20240820BHJP
【FI】
A61B5/055 380
A61B5/055 383
G06T5/60
【審査請求】有
【請求項の数】1
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2024069424
(22)【出願日】2024-04-23
(62)【分割の表示】P 2022516389の分割
【原出願日】2020-09-23
(31)【優先権主張番号】62/905,689
(32)【優先日】2019-09-25
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.TENSORFLOW
2.PYTHON
(71)【出願人】
【識別番号】520389100
【氏名又は名称】サトゥル メディカル,インコーポレイテッド
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】タミール,ジョナサン
(72)【発明者】
【氏名】パスマルティ ベンカタ,スリバーサ
(72)【発明者】
【氏名】ツァン,タオ
(72)【発明者】
【氏名】ゴン,エンハオ
(57)【要約】
【課題】モデルのロバスト性及び一般化可能性を向上させるための方法及びシステムが提供される。
【解決手段】方法は、医用イメージング装置を使用して被験者の医用画像を獲得することと、複数のスキャン方位における被験者の医用画像を再フォーマットすることと、医用画像の品質を向上させるために医用画像にディープネットワークモデルを適用することと、品質が向上された被験者の画像を医師による分析のために出力することと、を含み得る。
【選択図】
図6
【特許請求の範囲】
【請求項1】
造影剤の投与量を減少させて画像品質を向上させるためのコンピュータ実装方法であって、
(a)医用イメージング装置を使用して、造影剤の投与量を減少させた被験者の医用画像を獲得することと、
(b)複数の再フォーマット医用画像を生成するために複数の方位における前記被験者の前記医用画像を再フォーマットすることと、
(c)品質が向上した予測医用画像を生成するために、前記複数の再フォーマット医用画像にディープネットワークモデルを適用することと、
を含む、コンピュータ実装方法。
【請求項2】
前記医用イメージング装置は、変換磁気共鳴(MR)デバイスである、請求項1に記載のコンピュータ実装方法。
【請求項3】
前記医用画像は、2.5D容積画像である、請求項1に記載のコンピュータ実装方法。
【請求項4】
前記複数の方位は、前記スキャン面の前記方向ではない少なくとも1つの方位を含む、請求項1に記載のコンピュータ実装方法。
【請求項5】
複数の回転された再フォーマット医用画像を生成するために、前記複数の再フォーマット医用画像の各々を様々な角度まで回転させることを更に含む、請求項1に記載のコンピュータ実装方法。
【請求項6】
複数の予測画像を出力するために、前記複数の回転された再フォーマット医用画像に前記ディープネットワークモデルを適用することを更に含む、請求項5に記載のコンピュータ実装方法。
【請求項7】
前記複数の予測画像は、スキャン面と位置合わせされるように回転される、請求項6に記載のコンピュータ実装方法。
【請求項8】
品質が向上した前記予測医用画像を生成するために、前記スキャン面と位置合わせされるように回転された後、前記複数の予測画像を平均化することを更に含む、請求項7に記載のコンピュータ実装方法。
【請求項9】
品質が向上した前記予測医用画像は、前記複数の前記再フォーマット医用画像に対応する複数の予測医用画像を平均化することによって取得される、請求項1に記載のコンピュータ実装方法。
【請求項10】
前記ディープラーニングモデルのパラメータは、知覚的損失又は敵対的損失に少なくとも部分敵に基づいて調整される、請求項1に記載のコンピュータ実装方法。
【請求項11】
1つ以上のプロセッサによって実行されたとき、前記1つ以上のプロセッサに、
(a)医用イメージング装置を使用して、造影剤の投与量を減少させた被験者の医用画像を獲得することと、
(b)複数の再フォーマット医用画像を生成するために複数の方位における前記被験者の前記医用画像を再フォーマットすることと、
(c)品質が向上した予測医用画像を生成するために、前記複数の再フォーマット医用画像にディープネットワークモデルを適用することと、
を含む動作を実行させる命令を含む、非一時的コンピュータ可読記憶媒体。
【請求項12】
前記医用イメージング装置は、変換磁気共鳴(MR)デバイスである、請求項11に記載の非一時的コンピュータ可読記憶媒体。
【請求項13】
前記医用画像は、2.5D容積画像である、請求項11に記載の非一時的コンピュータ可読記憶媒体。
【請求項14】
前記複数の方位は、前記スキャン面の前記方向ではない少なくとも1つの方位を含む、請求項1に記載の非一時的コンピュータ可読記憶媒体。
【請求項15】
前記動作は、複数の回転された再フォーマット医用画像を生成するために、前記複数の再フォーマット医用画像の各々を様々な角度まで回転させることを更に含む、請求項1に記載の非一時的コンピュータ可読記憶媒体。
【請求項16】
前記動作は、複数の予測画像を出力するために、前記複数の回転された再フォーマット医用画像に前記ディープネットワークモデルを適用することを更に含む、請求項15に記載の非一時的コンピュータ可読記憶媒体。
【請求項17】
前記複数の予測画像は、スキャン面と位置合わせされるように回転される、請求項16に記載の非一時的コンピュータ可読記憶媒体。
【請求項18】
前記動作は、品質が向上した前記予測医用画像を生成するために、前記スキャン面と位置合わせされるように回転された後、前記複数の予測画像を平均化することを更に含む、請求項17に記載の非一時的コンピュータ可読記憶媒体。
【請求項19】
品質が向上した前記予測医用画像は、前記複数の前記再フォーマット医用画像に対応する複数の予測医用画像を平均化することによって取得される、請求項11に記載の非一時的コンピュータ可読記憶媒体。
【請求項20】
前記ディープラーニングモデルのパラメータは、知覚的損失又は敵対的損失に少なくとも部分敵に基づいて調整される、請求項11に記載の非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
[0001] 本願は、2019年9月25日出願の米国仮出願第62/905,689号の優先権を主張し、その内容はその全体が本明細書に組み込まれる。
【0002】
連邦支援による研究に関する声明
[0002] 本発明は、国立衛生研究所によって与えられた助成金第R44EB027560号に基づく政府支援によるものである。
【背景技術】
【0003】
[0003] 広範な臨床応用に不可欠な画像コントラストを生み出すために、世界中の磁気共鳴イメージング(MRI)検査のうちのおよそ3分の1において、ガドリニウム系造影剤(GBCA)などの造影剤が使用されているが、腎不全患者に健康上のリスクを引き起こし、腎臓機能が正常な患者の脳及び身体内に堆積することで知られている。近年、ディープラーニング技法は、容積造影MRIにおけるGBCA投与量を減少させるために使用されているが、スキャナハードウェアにおける多様性並びにサイト内及びサイト全体にわたる臨床プロトコルに起因して、一般化可能性における課題が残る。
【発明の概要】
【0004】
[0004] 本開示は、上記で認識された欠点を含む従来システムの様々な欠点に対処可能な、改良されたイメージングシステム及び方法を提供する。本明細書に記載される方法及びシステムは、ガドリニウム系造影剤(GBCA)などの造影剤の投与量レベルを低下させ、画像品質を向上させることが可能である。特に、異なるサイト及びスキャナにわたるコントラスト投与量の減少を伴う造影画像を予測するために、一般化されたディープラーニング(DL)モデルが利用される。
【0005】
[0005] 従来、ガドリニウム系造影剤(GBCA)及びその他などの造影剤は、病理学検査、予後の予測、並びに、神経膠腫、多発性硬化症(MS)、アルツハイマー病(AD)などに対する治療反応の評価のために、磁気共鳴イメージング(MRI)又は核磁気共鳴イメージングなどの広範な造影医用イメージングにおいて使用されている。GBCAは、冠動脈疾患(CAD)の評価、肺腫瘤の特性化、肝細胞がん(HCC)の診断、脊髄転移性疾患のイメージングなどの、他の臨床応用にも広がっている。2006年、腎機能が低下した患者における、GBCAの投与と腎性全身性線維症の進行との間の関連性が識別された。腎機能が正常な被験者におけるGBCAの他の急性副作用は、過敏症、吐き気、及び胸痛を含む。その後、2017年に米国食品医薬品局がガドリニウム滞留に関する警告及び安全対策を公表する一方で、カナダ、オーストラリア、及び他の国の規制機関が同様の警告を公表した。欧州医薬品庁は、安全勧告に加えて、線形GBCAの使用を一時中断した。ガドリニウム滞留は、CNS組織において、非造影T1W MRI上の高信号域の形で報告されないのみならず、身体の他の部分においても報告されない。ガドリニウムは新たに出現した水質汚染物質であるため、環境持続可能性の問題も生じている。造影スキャンの他の欠点は、静脈注射中の患者の不自由さ、長いスキャン時間、及びイメージングコストの全体的な増加を含む。たとえGBCAが良好な医薬品安全対策安全プロファイルを有する場合であっても、前述の安全性の問題及び懸案事項に起因する投与量の削減が明白に求められている。特に、イメージング品質を含むこと又は追加の安全性問題を導入することなしに、コントラスト材料の特性又はタイプに関わらずコントラスト投与量を減少させることが可能な、安全なイメージング技法を提供することが望ましい。
【0006】
[0006] ディープラーニング(DL)又は機械学習(ML)技法における近年の発展により、これらをコントラスト投与の使用に潜在的に代わるものとすることができる。DL/MLは、ノイズ除去、超解像、及び、例えばMRIからCT、T1からT2などのモダリティ変換を含む、医用イメージングにおける多量の応用例を見出してきた。DLモデルは、標準投与量のごく一部を使用する造影画像及びプレコントラスト画像を生成するために使用される可能性を有する。こうした方法は、非劣性の画像品質を維持しながら、投与量レベルを低下させ得るが、DL強調画像はしばしば、再フォーマット画像上のストリークなどのアーチファクトから悪影響を受ける(例えば、異なる面、方位、又は角度から見た、再フォーマットされた容積画像又は再構成された3D画像)。
【0007】
[0007] 異なるスキャナベンダ、スキャンプロトコル、患者の人口統計、及び臨床指示などの、多様な臨床環境について(時にはアグノスティックに)一般化される、ロバストなDLモデルを提供することが求められている。こうしたモデルは、アーチファクトのない画像を生成すること、及び、3D画像の斜め視覚化のための多平面再フォーマット(MPR)などの様々な臨床使用ケースをサポートすること、したがって、標準的な臨床ワークフロー内でのモデルの展開及び統合を可能にすることも望ましい。
【0008】
[0008] 本明細書で説明するシステム及び方法は、従来のソリューションの前述の欠点に対処することができる。特に、提供されるシステム及び方法は、モデルのロバスト性及び一般化可能性を向上させるアルゴリズム及び方法の固有セットを含む、DLモデルを含み得る。アルゴリズム及び方法は、例えば、多平面再構成、2.5Dディープラーニングモデル、強調重み付けL1、知覚的及び敵対的損失アルゴリズム及び方法、並びに、モデルが対応する造影画像を予測する以前に入力プレコントラスト及び低投与量画像を前処理するために使用される前処理アルゴリズムを含み得る。
【0009】
[0009] 一態様において、造影剤の投与量を減少させて画像品質を向上させるための、コンピュータ実装方法のための方法が提供される。方法は、医用イメージング装置を使用して、造影剤の投与量を減少させた被験者の医用画像を獲得すること、複数の再フォーマット医用画像を生成するために複数の方位における被験者の医用画像を再フォーマットすること、及び、品質が向上した予測医用画像を生成するために、複数の再フォーマット医用画像にディープネットワークモデルを適用すること、を含む。
【0010】
[0010] 関係するが分離された態様において、非一時的コンピュータ可読記憶媒体は、1つ以上のプロセッサによって実行されたとき、1つ以上のプロセッサに動作を実行させる、命令を含む。動作は、医用イメージング装置を使用して、造影剤の投与量を減少させた被験者の医用画像を獲得すること、複数の再フォーマット医用画像を生成するために複数の方位における被験者の医用画像を再フォーマットすること、及び、品質が向上した予測医用画像を生成するために、複数の再フォーマット医用画像にディープネットワークモデルを適用すること、を含む。
【0011】
[0011] いくつかの実施形態において、医用イメージング装置は、変換磁気共鳴(MR)デバイスである。いくつかの実施形態において、医用画像は2.5D容積画像である。
【0012】
[0012] いくつかの実施形態において、複数の方位は、スキャン面の方向ではない少なくとも1つの方位を含む。いくつかの実施形態において、方法又は動作は、複数の回転された再フォーマット医用画像を生成するために、複数の再フォーマット医用画像の各々を様々な角度まで回転させることを更に含む。場合によっては、複数の予測画像を出力するために、複数の回転された再フォーマット医用画像にディープネットワークモデルが適用される。ディープネットワークモデルの出力としての複数の予測画像は、スキャン面と位置合わせされるように回転される。場合によっては、方法又は動作は、品質が向上した予測医用画像を生成するために、スキャン面と位置合わせされるように回転された後、複数の予測画像を平均化することを更に含む。いくつかの実施形態において、品質が向上した予測医用画像は、複数の再フォーマット医用画像に対応する複数の予測医用画像を平均化することによって取得される。
【0013】
[0013] 加えて、本開示の方法及びシステムは、基礎となるインフラストラクチャの変更の必要なしに既存のシステムに適用することができる。特に、提供される方法及びシステムは、ハードウェアの追加コストなしに造影剤の投与量レベルを低下させることができ、また、基礎となるインフラストラクチャの構成又は仕様に関係なく展開することができる。
【0014】
[0014] 当業者であれば、本開示の例示の実施形態のみが図示及び記述される下記の詳細な説明から、本開示の追加の態様及び利点が容易に明らかとなろう。理解されるように、本開示は他の異なる実施形態も可能であり、そのいくつかの細部はすべて本開示を逸脱することなく様々な明白な点において修正が可能である。したがって、図面及び説明は本質的に例示的なものであり、限定的ではないものと見なされるべきである。
【0015】
参照による組み込み
[0015] 本明細書で言及するすべての文献、特許、及び特許出願は、あたかも個別の文献、特許、又は特許出願の各々が参照により組み込まれるように具体的且つ個別に示されたのと同じ範囲まで、参照により組み込まれる。参照により組み込まれる文献及び特許又は特許出願が本明細書に含まれる開示と矛盾する範囲で、本明細書は任意のこうした矛盾する材料に取って代わる、及び/又は優先する。
【0016】
[0016] 本発明の新規な特徴を、添付の特許請求の範囲における特殊性と共に説明する。本発明の原理が利用される例示的実施形態を説明する下記の詳細な記述、及び、添付の図面を(本明細書における「図」も)参照することによって、本発明の特徴及び利点がより良く理解されるであろう。
【図面の簡単な説明】
【0017】
【
図1】[0017]磁気共鳴イメージング(MRI)容積画像データを処理及び再構成するためのワークフローの一例を示す図である。
【
図2】[0018]2つの異なるサイトから収集したデータの一例を示す図である。
【
図3】[0019]研究の分析結果を示す図である。
【
図4】[0020]本開示のイメージングエンハンサが実装可能な磁気共鳴イメージング(MRI)システムを概略的に示す図である。
【
図5】[0021]研究における実験データを収集するために利用されるスキャン手順又はスキャンプロトコルの一例を示す図である。
【
図6】[0022]従来の方法を使用して生成される再フォーマットMRI画像よりも向上した品質を有する、再フォーマットMPR再構成画像の一例を示す図である。
【
図7】[0023]本明細書におけるいくつかの実施形態に従った、前処理方法の一例を示す図である。
【
図8】[0024]本明細書におけるいくつかの実施形態に従った、U-Net型エンコーダ・デコーダネットワークアーキテクチャの一例を示す図である。
【
図9】[0025]本明細書におけるいくつかの実施形態に従った、弁別器の一例を示す図である。
【
図10】[0026]3つの機関、3つの異なる製造業者、及び8つの異なるスキャナモデルからの研究データセットのデータ分散及び不均一性を含む実験結果を示す図である。
【
図11】[0027]画像品質を単調に向上させるために利用されるシステム及び方法を概略的に示す図である。
【
図12】[0028]プレコントラスト、低投与量、全投与量グラウンドトゥルース画像データ、及び合成画像、並びに、異なるサイト及びスキャナからの症例についての定量的メトリクスの例を示す図である。
【
図13】[0029]出力画像の品質及び処理時間に関するMPR内の回転角度の数の効果を示す例を示す図である。
【発明を実施するための形態】
【0018】
[0030] 本明細書において本発明の様々な実施形態を図示及び説明してきたが、当業者であれば、こうした実施形態は単なる例として提供されていることが明らかとなろう。当業者であれば、本発明を逸脱することなく様々な変形、変更、及び置換を思いつくことができる。本明細書で説明する本発明の実施形態に対する様々な代替形態が採用可能であることを理解されたい。
【0019】
[0031] ガドリニウム系造影剤(GBCA)は、磁気共鳴イメージング(MRI)検査において幅広く用いられ、血管造影、多発性硬化症、及び腫瘍検出を含む、無数の応用例における治療の観察及び病変の調査にとって不可欠であった。近年、脳及び身体内での長期にわたるガドリニウム堆積が確認され、GBCAの用法に関して安全に対する懸念が提起されてきた。GBCAの投与量を減少させることで堆積の程度は低下するが、コントラスト強調及び腫瘍顕著性も低下させる。したがって、投与量が減少されたコントラスト強調を保持する検査は、コントラスト管理の反復を必要とし、ガドリニウム堆積のリスクが高い(例えば、子供)患者(例えば、多発性硬化症患者)にとって、非常に重要である。
【0020】
[0032] 本明細書ではMRI、ガドリニウム系造影剤、MRIデータ例が主に提供されるが、本手法は他のイメージング様式コンテキスト及び/又は造影イメージングにおいて使用可能であることを理解されたい。例えば、ここで説明する手法は、コンピュータ断層撮影(CT)、単光子放出コンピュータ断層撮影(SPECT)スキャナ、ポジトロン放出型断層撮影(PET)、機能的磁気共鳴イメージング(fMRI)、又は、コントラストを強調するために造影剤が使用され得る様々な他のタイプのイメージングスキャナ又は技法を含むが限定されない、他のタイプの断層撮影スキャナによって獲得されるデータで使用され得る。
【0021】
[0033] 容積MRIのための画像品質及びコントラスト強調を維持しながら、GBCA投与量レベルを低下させるために、ディープラーニング(DL)フレームワークが使用されてきた。例として、DLモデルはU-Netエンコーダ・デコーダアーキテクチャを使用して、低投与量コントラスト画像からの画像コントラストを強調することができる。しかしながら、従来のDLモデルは、異なる臨床ワークフローを伴う異なるサイトへの一般化可能性を考慮することなく、単一の臨床サイトからのスキャンを用いてのみ適切に機能し得る。更に従来のDLモデルは、たとえ臨床医が、血管及び腫瘍などの複雑な3D強化構造を様々な角度又は方位から視覚化するために、頻繁に容積画像を必要とする場合であっても、3Dボリューム内の個別の2Dスライスについての画像品質を評価する可能性がある。
【0022】
[0034] 本開示は、上記で理解された欠点を含む、従来システムの様々な欠点に対処可能なシステム及び方法を提供する。本開示の方法及びシステムは、実際の臨床環境におけるモデルのロバスト性及び展開を向上させることが可能である。例えば、提供される方法及びシステムは、各々が異なるMRIスキャナハードウェア及びイメージングプロトコルを伴う、異なる臨床サイトに適合可能である。加えて、提供される方法及びシステムは、臨床医ワークフローを維持し、複雑な強化微細構造の斜め視覚化を可能にするために、多平面再フォーマット(MPR)の機能を保持しながら、向上した性能を提供し得る。
【0023】
[0035] 本明細書における方法及びシステムは、臨床環境における実世界変動性に取り組むために、DLモデルへの機能強化を提供することができる。DLモデルは、異なるスキャン面、スキャン時間、及び解像度を伴い、またGBCAを管理するための異なる機構を伴う、異なるMRIプラットフォームにわたる異なる病院からの患者のスキャンでトレーニング及びテストされる。データの不均一性にわたって一般化可能性が向上したこれらの環境において、DLモデルのロバスト性は向上し得る。
【0024】
多平面再フォーマット(MPR)
[0036] 従来のDLパイプラインにおいて、3Dボリュームからの2Dスライスは、標準の2Dデータ増補(例えば、回転及びフリップ)を用いて別々に処理及びトレーニングされ得る。2Dモデルの選択は、トレーニング中のメモリ制限及び推論中の性能要件によって、しばしば動機付けられる。場合によっては、DLフレームワークは、複数の近接するスライスがネットワークに入力され中央スライスが予測される「2.5D」様式で、データを処理し得る。しかしながら、2D及び2.5Dの両方の処理は、獲得の真の容積性を顧みない可能性がある。3Dボリュームは典型的には、臨床ワークフロー中に任意の面に再フォーマットされ(例えば、斜位ビュー、スキャン面/方位に対して斜めの方位/角度からのビュー)、サイトはそれらのMRIプロトコルの一部として異なるスキャン方位を使用できるため、2D処理は、再フォーマット容積画像においてストリーク状アーチファクトを伴う画像につながる可能性がある(例えば、スキャン面に対して直角な面への再フォーマット)。
【0025】
[0037] 本明細書で説明する方法及びシステムは、有益なことに、再フォーマット画像内のアーチファクト(例えば、ストリーク状アーチファクト)を取り除き、それによって、コントラスト投与量を減少させると共に画像品質を高めることができる。前述のように、複数面(例えば、直交面又は斜面)の画像を見るために3Dボリューム画像を再フォーマットすることは、標準的な臨床ワークフローにおいて一般的である。場合によっては、2.5D画像を強調するためのモデルのトレーニングは獲得面におけるストリーク状アーチファクトを減少させることができるが、他の方位への再フォーマットは、依然としてストリーク状アーチファクトを生じさせる可能性がある。本明細書で説明する方法及びシステムは、いずれの選択される面又はビューイング方向(例えば、斜位ビュー)においても、アーチファクトのない視覚化を可能にし得る。加えて方法は、血管又は腫瘍などの込み入った又は複雑な3D強調構造を学習するためにトレーニングされ得る。
【0026】
[0038]
図1は、MRI容積画像データを処理及び再構成するためのワークフローの一例を示す。例に示されるように、入力画像110は、造影剤なしで獲得された画像スライス(例えば、プレコントラスト画像スライス101)及び/又は造影剤投与量が低減された画像スライス(例えば、低投与量画像スライス103)とすることができる。場合によっては、ロー入力画像は2D画像スライスとすることができる。U-Netエンコーダ・デコーダ(111)モデルなどのディープラーニング(DL)モデルが、推論結果112を予測するために使用され得る。DLモデル111は、各スライス内に強調画像を生成するようにトレーニングされた2Dモデルであり得るが、画像再フォーマットにおけるストリーク状アーチファクトなどの、スライスにわたって一貫性のない画像強調を生成する可能性がある。例えば、直交方向の再フォーマット画像114を生成するために推論結果が再フォーマット(113)されるとき、入力2D画像110はスキャン面に一致するため、再フォーマット画像114は、直交方向のストリーク状アーチファクトなどの再フォーマットアーチファクトを含み得る。
【0027】
[0039] こうした再フォーマットアーチファクトは、多平面再フォーマット(MPR)方法120を採用すること、及び2.5Dトレーニングモデル131を使用することによって、軽減され得る。MPR方法は、有益なことに、複数の方位における入力容積データを増補し得る。
図1に示すように、2.5D容積入力画像を作成するために、選択した数のプレコントラスト又は低投与量画像110の入力スライスが、チャネル方向にスタックされ得る。2.5D容積入力画像を形成するための入力スライスの数は、少なくとも2、3、4、5、6、7、8、9、10のスライスがスタック可能であるなど、任意数であってよい。場合によっては、入力スライスの数は、アーチファクトのない容積画像が非常に望ましい微細構造などの、対象となる領域において生理学的又は生化学的に重要な構造に基づいて決定され得る。例えば、入力スライスの数は、入力された2.5D容積画像内に微細構造(例えば、血管又は腫瘍)の大部分が含まれ得るように選択することができる。代替又は追加として、スライスの数は、実験によるデータに基づいて決定されるか、又はユーザによって選択することができる。場合によっては、スライスの数は、コンピューティングシステムの計算能力及び/又はメモリストレージに応じて最適化され得る。
【0028】
[0040] 次に、入力された2.5D容積画像は、複数の再フォーマットされた容積画像121を生成するために、主軸(例えば、矢状、冠状、及び軸方向)などの複数の軸に再フォーマットされ得る。2.5D容積画像を再フォーマットするための複数の方位は、主軸と位置合わせされる必要のない任意の好適な方位とすることができる。加えて、容積画像を再フォーマットするための方位の数は、複数の再フォーマットされた容積画像のうちの少なくとも1つがスキャン面に対して斜めか又は直角の方位に沿っている限り、1、2、3、4、5などよりも多い任意数とすることができる。
【0029】
[0041] 推論段階において、複数の再フォーマットされた容積画像の各々は、複数の回転された再フォーマット容積画像122を生成し、それによって入力データを更に増補するために、一連の角度で回転させることができる。例えば、3つの再フォーマットされた容積画像121(例えば、矢状、冠状、及び軸方向)の各々は、0~90°の間の5つの等置角度で回転され得、結果として15の容積画像122が生じる。角度ステップ及び角度範囲は、任意の好適な範囲内とすることが可能であることに留意されたい。例えば、角度ステップは一定でない場合があり、回転角度数は、異なる応用例、事例、又は展開シナリオに基づいて変更可能である。別の例において、容積画像は、0~90°より大きい、小さい、又は部分的に重なる、任意の角度範囲にわたって回転可能である。予測されるMPR画像上の回転角度数の効果は、本明細書で後述する。
【0030】
[0042] 複数の回転容積2.5D画像122は、その後、推論のために2.5Dトレーニングモデル131に送ることができる。2.5Dトレーニングモデルの出力は、複数の強調2.5D容積画像を含む。場合によっては、「MPR再構成」と呼ばれる最終推論結果132は、元の獲得/スキャン面まで逆回転した後の、複数の強調2.5D容積画像の平均とすることができる。例えば、15の造影2.5D容積画像を、スキャン面と位置合わせするために逆回転させることができ、こうした容積画像の平均は、MPR再構成又は最終推論結果132である。複数の予測2.5D容積画像を、複数の2.5D容積画像の平均が算出できるように、元のスキャン面又は同じ方位と位置合わせするために逆回転させることができる。複数の強調2.5D容積画像を、元のスキャン面内にあるか又はなくてよい同じ方向と位置合わせするために逆回転させることができる。MPR再構成方法は、有益なことに、2D処理の性能利得から利益を得ながら、3Dコンテキストをネットワークに追加することができる。
【0031】
[0043]
図1に示されるように、MPR再構成画像132が元の獲得面に対して直角な面へと再フォーマット133されるとき、再フォーマット画像135はストリーク状アーチファクトを提示しない。予測MPR再構成画像の品質は、ピーク信号対雑音比(PSNR)、構造的類似性(SSIM)などの、定量的画像品質メトリクスによって数値化され得る。画像品質メトリクスは従来モデル111及び提示モデル131について算出され、再フォーマット画像114、135及びグラウンドトゥルース140の品質を示す結果の例が、
図3に示される。
【0032】
データ収集
[0044] 一例において、IRB認可及び患者同意の下で、2つのサイトでスキャンプロトコルが実施された。
図2は、2つのサイトから収集された例を示す。24人の患者(16トレーニング、8テスト)がサイト1から採用され、28人(23トレーニング、5テスト)がサイト2から採用された。スキャナハードウェアとプロトコルとの間の相違が、表1で強調表示されている。特に、2つのサイトは異なるスキャナハードウェアを使用し、スキャンプロトコルにおいて大きな変動性を有した。とりわけ、サイト1はGBCAを管理するためにパワー注入を使用したのに対して、サイト2は手動注入を使用し、強調時間及び強度の相違につながっている。
【0033】
[0045] モデルをトレーニングするためのデータの収集の一例として、投与量レベルを低下させた複数のスキャン並びに全投与量スキャンが実行され得る。投与量レベルを低下させた複数のスキャンは、例えば、低投与量(例えば、10%)造影MRIを含み得、プレコントラスト(例えば、ゼロコントラスト)が実行され得る。例えば、各患者について、2つの3D T1重み付け画像、プレコントラスト及びポスト10%投与量コントラスト(0.01mmol/kg)が取得された。トレーニング及び臨床検証のために、標準コントラスト投与量(全投与量等価、100%投与量)の残りの90%が管理され、第3のT1重み付け画像(100%投与量)が取得された。異なるスキャナプラットフォーム及び病院サイトにわたる異なる獲得間に信号強度の変化を生じさせ得る、系統的差異(例えば、送信及び受信利得)を除去するために、信号正規化が実行される。その後、事前投与量、10%投与量、及び100%投与量の画像間の非線形アフィンコレジストレーションが実行される。DLモデルは、プレコントラストと低投与量コントラスト強調画像との間のコントラスト関係信号が、全投与量コントラスト画像に対して非線形にスケーリングされたという、基礎となる仮定で、U-Netエンコーダ・デコーダアーキテクチャを使用した。加えて、T2及びT2-FLAIRなどの他のコントラストからの画像を、モデル予測を改良するために入力の一部として含めることができる。
【0034】
[0046]
図5は、
図2、
図3、及び
図10から
図12に示される、研究又は実験のためのデータを収集するために利用されるスキャン手順又はスキャンプロトコル500の一例を示す。例示されたスキャンプロトコルにおいて、各患者は単一のイメージングセッションにおいて3回のスキャンを受けた。スキャン1はプレコントラスト3D T
1重み付けMRIであり、続いて0.1mmol/kgの標準投与量の10%のスキャン2が行われた。スキャン1及びスキャン2から画像は、DLネットワークへの入力として使用された。グラウンドトゥルース画像は、コントラスト投与量(すなわち、全投与量)の残りの90%を管理した後、スキャン3から取得された。
【0035】
[0047] 推論中、提供されたシステムの展開後、造影剤なしの1つのスキャン(例えば、スキャン1と同様)、又は、コントラスト投与量が低減されたスキャン(例えば、スキャン2と同様)のみが実行され得る。こうした入力画像データは、その後、コントラストが強調された予測されたMPR再構成画像を出力するために、トレーニングされたモデルによって処理され得る。場合によっては、モデルを臨床サイトへと展開した後、ユーザ(例えば、患者)は、医用画像データを獲得するための0から30%の範囲内のいずれかのレベルとすることが可能な、低下投与量レベルを選択することが許可され得る。実用的な実装及びユーザが所望する投与量低下レベルに応じて、低下投与量レベルは30%を超える範囲内の任意数が可能であることに留意されたい。
【0036】
サイト間一般化可能性
[0048] 従来モデルは、単一サイトからの患者を同一のスキャンプロトコルを用いて評価することによって制限することができる。実際の臨床環境において、各サイトは、スキャナハードウェア及び標準手順の機能に基づいて、そのプロトコルを調整することができる。例えば、サイト2でトレーニングされたモデルは、サイト1からの場合に実行が不十分な可能性がある(
図2、中央)。
【0037】
[0049] 提供されたDLモデルは、一般化可能性が向上している可能性がある。DLモデルは、プロプライエタリトレーニングパイプラインを用いてトレーニングされ得る。例えば、トレーニングパイプラインは、第1に各画像を1mm3の名目解像度及び256×256の平面内マトリクスサイズにスケーリングすること、及び、その後、MPR処理を適用することを含み得る。DLモデルは完全な畳み込みであるため、再サンプリングのない獲得を本来の解像度で行うことができる。
【0038】
[0050] 質的及び量的な結果に基づく、MPR処理、解像度再サンプリング、及びサイト間トレーニングの追加は、モデルのロバスト性及び一般化可能性における大幅な向上につながった。任意選択の実施形態において、燃えるは全3Dモデルであってよい。例えばモデルは、MPR処理及びメモリ使用量の両方を軽減し得る、3Dパッチベースモデルであってよい。提供されたトレーニング方法及びモデルフレームワークは、異なるスキャナプラットフォームを備える、及び/又は異なるMRIベンダにわたる、異なるサイト適用され得る。
【0039】
ネットワークアーキテクチャ及びプロセス
[0051]
図6は、従来の方法611を使用して予測されたMRI画像と比較して向上した品質を有する、MPR再構成画像624の別の例を概略的に示す。MRI容積画像データ623及び再フォーマットMPR再構成画像624を処理及び再構成するためのワークフロー600は、
図1に示されたワークフローと同じとすることができる。例えば、入力画像610は、造影剤なしで(例えば、プレコントラスト画像スライス)及び/又はコントラスト投与量を低減させて(例えば、低投与量画像スライス)獲得された、複数の2D画像スライスを含み得る。入力画像は、スキャン面内で(例えば、軸方向に)又はスキャン方位に沿って、獲得され得る。選択した数の画像スライスが、2.5D容積入力画像を形成するためにスタックされ、前述のような多平面再構成(MPR)方法620を使用して更に処理される。
【0040】
[0052] 例えば、入力された2.5D容積画像は、複数の再フォーマットされた容積画像(例えば、SAG、AX、COR)を生成するために、主軸(例えば、矢状、冠状、及び軸方向)などの複数の軸に再フォーマットされ得る。2.5D容積画像は、主軸と位置合わせされてもされなくてもよい、任意の方位に再フォーマット可能であることに留意されたい。
【0041】
[0053] 複数の再フォーマットされた容積画像の各々は、複数の回転された再フォーマット画像を生成するために、一連の角度で回転され得る。例えば3つの再フォーマットされた容積画像(例えば、矢状、冠状、及び軸方向)の各々は、0~90°の間の5つの角度で回転され得、結果として15の回転された再フォーマット容積画像が生じる。複数の再フォーマットされた容積画像(例えば、矢状、冠状、及び軸方向)は、同じ角度で、又は同じ数の方位に、回転されても回転されなくてもよい。
【0042】
[0054] 次いで、複数の回転された容積画像122は、複数の強調された容積画像を生成するために、トレーニングされたモデル621によって処理され得る。場合によっては、MPR再構成画像623又は推論結果画像は、元の獲得面まで逆回転した後の、複数の推論ボリュームの平均である。MPR再構成画像は、選択した方位(例えば、スキャン面に対して直角/斜め)でビューイングされるように再フォーマットされたとき、再フォーマット画像624は、単一推論方法611及び/又は単一推論モデルを使用して取得された再フォーマット画像に比べて、ストリーク状アーチファクトを含んでいない場合がある。
【0043】
ネットワークアーキテクチャ及びデータ処理
[0055] 多平面再構成(MPR)技法を使用する際、ディープラーニングモデルは、複数の方位(例えば、3本の主軸)からなどの、容積画像(例えば、増補された2.5D画像)を用いてトレーニングされ得る。モデルは、低減されたコントラスト投与量を使用して獲得される容積MRI画像の品質を強化するための、トレーニングされたディープラーニングモデルであってよい。いくつかの実施形態において、モデルは、フィードフォワードニューラルネットワーク、動径基底関数ネットワーク、再帰型神経ネットワーク、畳み込みニューラルネットワーク、深残差ラーニングネットワークなどの、任意のタイプのニューラルネットワークモデルを使用可能な、人工ニューラルネットワークを含み得る。いくつかの実施形態において、マシンラーニングアルゴリズムは、畳み込みニューラルネットワーク(CNN)などのディープラーニングアルゴリズムを含み得る。マシンラーニングアルゴリズムの例は、サポートベクトルマシン(SVM)、単純ベイズ分類、ランダムフォレスト、ニューラルネットワークなどのディープラーニングモデル、あるいは、他の教師あり学習アルゴリズム又は教師なし学習アルゴリズムを含み得る。モデルネットワークは、複数の層を含み得るCNNなどのディープラーニングネットワークであり得る。例えば、CNNモデルは、少なくとも1つの入力層、多数の隠れ層、及び出力層を含み得る。CNNモデルは、任意の合計数の層、及び任意数の隠れ層を含み得る。ニューラルネットワークの最も単純なアーキテクチャは、入力層から始まり、続いて中間又は隠れ層のシーケンス、そして出力層で終わる。隠れ層又は中間層は、学習可能特徴抽出器として作用し得るが、この例における出力層は、品質が強化された(例えばコントラストが強調された)2.5D容積画像を提供する。ニューラルネットワークの各層は、多数のニューロン(又は、ノード)を含み得る。ニューロンは、入力データ(例えば、低品質画像データ、低減されたコントラスト投与量で獲得される画像データなど)から直接、又は他のニューロンの出力からの、いずれかから来る入力を受信し、特定の動作、例えば総和を実行する。場合によっては、入力からニューロンへの接続は、重み(又は重み付け因子)に関連付けられる。場合によっては、ニューロンはすべての入力ペアとそれらの関連付けられた重みとの積を合計ることができる。場合によっては、重み付けされた合計はバイアスでオフセットされる。場合によっては、ニューロンの出力は閾値又は活性化関数を使用してゲーティングされ得る。活性化関数は線形又は非線形であり得る。活性化関数は、例えば、正規化線形ユニット(ReLU)活性化関数、あるいは、飽和双極正接、恒等、2進ステップ、記号論理学、逆正接、ソフトサイン、パラメータ正規化線形ユニット、指数関数的線形ユニット、softPlus、bent identity、softExponential、シヌソイド、シンク、ガウス、シグモイド関数、又はそれらの任意の組み合わせなどの、他の関数であり得る。
【0044】
[0056] いくつかの実施形態において、ネットワークはエンコーダ・デコーダネットワーク又はU-Netエンコーダ・デコーダネットワークであり得る。U-Netは、エンコーダ・ハーフネットワークからの出力が、デコーダ・ハーフネットワーク内のミラーリングされた相対物と連結される、オートエンコーダである。U-Netは、演算子をアップサンプリングすることによってプール演算に代わり、それによって出力の解像度を上げることができる。
【0045】
[0057] いくつかの実施形態において、容積画像品質を強化するためのモデルは、教師あり学習を使用してトレーニングされ得る。例えば、ディープラーニングネットワークをトレーニングするために、入力としてのプレコントラスト及び低投与量画像のペア、及び、複数の被験者、スキャナ、臨床サイト、又はデータベースからのグラウンドトゥルースとしての全投与量画像を、トレーニングデータセットとして提供することができる。
【0046】
[0058] 場合によっては、入力データセットは、トレーニング又は推論に先立って前処理され得る。
図7は、本明細書のいくつかの実施形態に従った前処理方法700の一例を示す。例に示されるように、ロープレコントラスト、低投与量、及び全投与量画像(すなわち、グラウンドトゥルース)を含む入力データは、前処理画像データ710を生成するために、順次前処理され得る。ロー画像データは、DICOMベースのソフトウェアアプリケーション又は他のイメージングソフトウェアアプリケーションとして、標準臨床ワークフローから受信され得る。一例として、入力データ701は、
図5で説明したようなスキャンプロトコルを使用して獲得され得る。例えば、ゼロコントラスト投与量を用いる第1のスキャン、低減された投与量レベルを用いる第2のスキャン、及び、全投与量を用いる第3のスキャンを含む、3つのスキャンが動作可能である。しかしながら、モデルのトレーニングに使用される投与量が低減された画像データは、1%以下、5%、10%、15%、20%、20%より上か又は1%より下の任意数、あるいは、それらの間の任意数などの、様々な提言された投与量レベルで獲得された画像を含むことができる。例えば、入力データは、グラウンドトゥルースデータとしての全投与量スキャン、及び、低減されたレベルでのペアのスキャン(例えば、ゼロ投与量又は前述のような任意のレベル)の、2つのスキャンから獲得された画像データを含み得る。代替として、入力データは、異なるレベルのコントラスト投与量における複数のスキャンを伴う、3回を上回るスキャンを使用して獲得され得る。加えて、入力データは、シミュレーションから取得される増補データセットを含み得る。例えば、臨床データベースからの画像データを使用して、低減されたコントラスト投与量を用いて獲得される画像データを模倣する低品質画像データを生成することができる。一例において、低減されたコントラスト投与量で獲得された画像から再構成される画像データを模倣するために、ロー画像データにアーチファクトが追加され得る。
【0047】
[0059] 示された例では、DLベースライブラリを使用して頭蓋外組織又は非脳組織からの信号を消去することによって、脳画像を頭蓋組織又は非脳組織から分離するために、頭蓋除去703などの前処理アルゴリズムが実行され得る。組織、臓器、及び用途に基づいて、診断の処理速度及び確度を向上させるために、他の好適な前処理アルゴリズムが採用され得る。場合によっては、3回のスキャンの間の患者の動きを反映するために、低投与量及び全投与量画像をプレコントラスト画像705にコレジストすることができる。場合によっては、異なる獲得について送信及び受信利得が変化し得るものと仮定すると、ヒストグラム均等化707を介して信号正規化を実行することができる。スキャン内画像正規化のために、プレコントラスト、低投与量、及び全投与量の間で、相対的強度スケーリングを実行することができる。複数機関データセットは、異なるボクセル及びマトリクスサイズを伴う画像を含むため、3Dボリュームは0.5mm3の等方性解像度に、また、適用可能であれば、各スライスにおけるゼロパッド画像は512×512の寸法に、補間され得る。画像データは、DLネットワークが、病変及び転移などの小さな強調構造を学習できるようにするために、十分に高い解像度を有し得る。場合によっては、スケーリング及びレジストレーションパラメータは、頭蓋除去画像に関して推定され得、次いで、元の画像709に適用され得る。頭蓋除去脳から推定された前処理パラメータは、前処理された画像ボリューム710を取得するために、元の画像に適用され得る。
【0048】
[0060] 次に、前処理画像データ710は、造影画像を再構成するように、エンコーダ・デコーダネットワークをトレーニングするために使用される。ネットワークは、全投与量におけるコントラスト信号は、低投与量画像とプレコントラスト画像との間のノイズの多いコントラスト取り込みの非線形のスケーリングバージョンであるという想定を用いてトレーニングされ得る。モデルは、低投与量とプレコントラストとの間の差分画像を明示的に必要としない場合がある。
【0049】
[0061]
図8は、本明細書におけるいくつかの実施形態に従った、U-Net型エンコーダ・デコーダネットワークアーキテクチャ800の一例を示す。示された例において、各エンコーダブロックは、ReLUを伴い、特徴空間を2倍にダウンサンプリングするための最大プール(2×2)が続く、3つの2D畳み込み層(3×3)を有する。デコーダブロックは、アップサンプリング層に置き換えられた最大プールを伴う、同様の構造を有する。ダウンサンプリング中に失った空間情報を復元し、解像度損失を防ぐために、デコーダ層は、スキップ接続を使用して対応するエンコーダ層の特徴と連結される。ネットワークは、L1(平均絶対誤差)と構造的類似性指数(SSIM)損失の組み合わせでトレーニングされ得る。こうしたU-Net型エンコーダ・デコーダネットワークアーキテクチャは、ノイズを強調信号と共に拾い上げることなく、低投与量とゼロ投与量との間のコントラスト取り込みの線形10倍スケーリングを生成することが可能であり得る。
【0050】
[0062]
図8に示されるように、ネットワークへの入力データは、前述のようにMPR方法を使用して生成される複数の増補容積画像であり得る。この例では、中央の全投与量スライス803を予測するようにモデルをトレーニングするための14チャネル入力容積データを作成するために、プレコントラスト画像及び低投与量画像各々の7つのスライスが、チャネル方向にスタックされる。
【0051】
強調及び重み付けされたL1損失
[0063] いくつかの状況において、信号正規化及びスケーリングが適用された後であっても、低投与量画像とプレコントラスト画像との間の差異は、ネットワークのトレーニングを誤った方向に導く可能性のある強調に似たノイズ摂動を有し得る。ネットワークを実際の強調領域に更に注目させるために、L1損失は強調マスクを用いて重み付けされ得る。マスクは本来連続的であり、0と1の間で正規化された低投与量画像とプレコントラスト画像との間の頭蓋除去差異から計算される。強調マスクは、コントラスト取り込みの正規化された平滑バージョンとみなすことができる。
【0052】
知覚的及び敵対的損失
[0064] 強調エリア内の構造的情報、並びに、確信診断を決定するために重大な高周波数及びテクスチャ細部に注目するように、ネットワークをトレーニングすることが望ましい。L1損失及び構造的類似性指数(SSIM)損失の単純な組み合わせは、高周波数信号情報を抑制する傾向があり得、取得される結果は、画像解像度の損失として知覚される、より平滑な見かけを有し得る。この問題に対処するために、畳み込みネットワーク(例えば、6つの畳み込み層、3つの完全接続層、5つの最大プール層、及び、画像ねっとデータセット上で事前トレーニングされた1つのソフトマックス層を含む、19の層からなるVGG-19ネットワーク)からの知覚的損失が採用される。知覚的損失は、スタイル転送及び超解像タスクにおいて有効である。例えば知覚的損失は、グラウンドトゥルース及び予測に関する層活性化の平均二乗誤差(MSE)を取ることによって、VGG-19ネットワークの第3のブロック(例えば、block3 conv3)の第3の畳み込み層から算出可能である。
【0053】
[0065] 場合によっては、全体の知覚的品質を更に向上させるために、生成された画像が本物か偽物かを予測するようにエンコーダ・デコーダネットワークと並行してトレーニングされた弁別器を介して、敵対的損失が導入される。
図9は、本明細書のいくつかの実施形態に従った、弁別器900の例を示す。弁別器900は、LeakyReLU活性化を伴う一連のスペクトル正規化畳み込み層を有し、32×32パッチを予測する。2進値(例えば、偽物の場合は0、本物の場合は1)を予測する従来の弁別器とは異なり、「パッチ弁別器」900は、トレーニングプロセス及びより高速な収束の安定性を助ける、確率のマトリクスを予測する。スペクトル正規化畳み込み層は、弁別器トレーニングを更に安定させるために、重み正規化技法を採用する。パッチ弁別器は、
図9に示されるように、MSE損失を用いてトレーニング可能であり、平滑な収束のために入力にガウスノイズが追加され得る。
【0054】
[0066] ネットワークモデルを構成するための関数は、下記のように公式化可能である。
[0067] G*=argminG[λGANLGAN(G)+λL1LL1(Menh.G)+λSSIMLSSIM(G)+λVGGLVGG(G)]
[0068] 上式で、Menhは強調マスクであり、敵対的損失LGANはLGAN=maxDLGAN(G,D)として作成可能であり、ここでGはU-Netジェネレータであり、Dはパッチ弁別器である。損失重みλL、λSSIM、λVGG、及びλGANは実験的に決定可能である。前述のプロセス及び方法を用いて、単一モデルが、様々な機関及びスキャナからの画像について正確な予測を行うようにトレーニングされる。
【0055】
例
[0069]
図3は、提供されたモデルの一般化可能性及び確度を評価するための研究の分析結果の例を示す。示された例において、結果は、サイト1からのテスト症例に関する、グラウンドトゥルース(左)、元のモデル(中央)、及び提案モデル(右)の推論結果の比較を示す(赤矢印は病変顕著性を示す)。畳み込みモデルは、サイト2からのデータのみについてトレーニングされた。この例は、
図2に示されるMRIスキャンデータと一致する。提供されたモデルは、両方のサイトからのデータについてトレーニングされ、MPR処理及び解像度再サンプリングを使用した。この研究では、結果は、テストセットからの1つの例に関するMPR処理の効果を定性的に示す。多くのMPR再構成の結果を平均化することによって、偽の強調として現れるストリーク状アーチファクトが抑制される。
図3に示されるように、グラウンドトゥルース造影画像(左)の1つのスライスが、サイト2についてトレーニングされたモデル(中央)、並びに、サイト1及びサイト2について同時にトレーニングされたモデル(右)からの、推論結果と比較される。解像度及び他のプロトコル逸脱における差異を反映することによって、提供されるモデルは一般化可能性における質的向上を実証する。ピーク信号対雑音比(PSNR)などの定量的画像品質メトリクス、及び構造的類似性(SSIM)が、すべての従来モデル及び提示モデルに対して算出された。従来モデル及び提示モデルについてのテストセットに関する平均PSNR及びSSIMは、それぞれ、32.81dB(38.12dB)及び0.872(0.951)であった。本開示における方法及びシステムを使用して、より良好な画像品質が達成され得る。
【0056】
[0070]
図3に示されるような研究において、本明細書の他の場所で説明されるディープラーニング(DL)フレームワークが、低投与量(例えば、10%)造影MRIに適用される。各患者について、プレコントラスト及びポスト10%投与量コントラスト(0.01mmol/kg)の、2つの3D T
1重み付け画像が取得された。トレーニング及び臨床検証のために、標準コントラスト投与量(全投与量等価、100%投与量)の残りの90%が管理され、第3のT
1重み付け画像(100%投与量)が取得された。異なるスキャナプラットフォーム及び病院サイトにわたる異なる獲得間に信号強度の変化を生じさせ得る、系統的差異(例えば、送信及び受信利得)を除去するために、信号正規化が実行された。その後、事前投与量、10%投与量、及び100%投与量の画像間の非線形アフィンコレジストレーションが実行された。DLモデルは、プレコントラストと低投与量コントラスト強調画像との間のコントラスト関係信号が、全投与量コントラスト画像に対して非線形にスケーリングされたという、基礎となる仮定で、U-Netエンコーダ・デコーダアーキテクチャを使用した。T
2及びT
2-FLAIRなどの他のコントラストからの画像を、モデル予測を改良するために入力の一部として含めることができる。
【0057】
[0071]
図10から
図13に関連した実験の別の例として、3つの機関、3つの異なる製造業者、及び8つの異なるスキャナモデルからの研究データセットの、データ分散及び不均一性が、
図10に示される。研究は、異なるイメージング面、電界強度、ボクセルサイズ、マトリクスサイズ、脂肪抑制の使用、造影剤、及び注入方法を含む、異なる機関スキャンプロトコルを使用して、3つの機関、3つのスキャナ製造業者、及び8つのスキャナモデルからの、臨床脳MRI検査を受ける640人の患者(女性323人、52±16歳)を遡及的に識別した。臨床指示は、腫瘍の疑い、術後腫瘍経過観察、日常の脳、及び、GBCAを用いるMRI検査を必要とするその他を含んだ。各被験者は、3DプレコントラストT1wイメージングと、それに続く、標準投与量(0.1mmol/kg)の10%(0.01mmol/kg)を用いる低投与量造影T1wスキャンを受けた。トレーニング及び評価のために、グラウンドトゥルースと見なされた、全投与量の残りの90%(0.09mmol/kg)を用いた第3の3D T1w画像が取得された。3つの獲得はすべて、単一のイメージングセッションにおいて行われ、患者は、標準プロトコルと比較して、いかなる追加のガドリニウム投与も受けなかった。
【0058】
[0072] 640の症例の中から、
図11に示されるようなモデルが56の症例を用いてトレーニングされ、ハイパーパラメータを微調整し、損失重みの最適な組み合わせを実験的に見つけるために、13の検証症例が使用された。モデルがサイト及びベンダにわたって良好に一般化するのを保証するために、トレーニング及び検証セットは、すべての機関及びスキャナ製造業者からのほぼ等しい数の研究で構成された(
図10を参照)。残りの571の症例は、テスト及びモデル評価のために保持された。モデルは、Tensorflowバックエンドを伴うKerasを使用して、Python3.5で実装され、バッチサイズ8の100エポックについて、Nvidia Tesla V100(SXM2 32GB)GPUでトレーニングされた。モデル最適化は、0.001の学習率を伴うAdamオプティマイザを使用して実行された。
【0059】
[0073] モデルは、複数のメトリクスを使用して定量的に評価される。ピーク信号対雑音比(PSNR)は、ピクセル方向差のスケーリングバージョンである一方で、構造的類似性指数(SSIM)は局所構造における変化に敏感であり、したがって、グラウンドトゥルースに関して予測される画像の構造的態様をキャプチャする。571のテスト症例を使用し、モデルはPSNR及びSSIMメトリクスを使用して定量的に評価され、真の全投与量画像と合成画像との間で計算された。これらの値は、低投与量画像と全投与量画像との間のPSNR及びSSIM値と比較された。モデルの一般化可能性を証明するために、サイトごと及びスキャナごとのメトリクスも計算及び比較された。
【0060】
[0074] テストセットから、異なるタイプ及び悪性度の強調腫瘍症例(術前又は術後のいずれか)を伴う、26人の患者(女性13人、58±15歳)からの画像のサブセットが、モデル性能の詳細評価のために識別及び使用された。これらの強調腫瘍症例は、不均一性に関してトレーニングデータセットと同様であり、
図5に示されるのと同じスキャンプロトコルを使用して獲得された。強調パターンが、(基準としての真の全投与量画像を用いて)いずれの偽陽性又は偽陰性もないことを認めたかどうかを突き止めるために、2進査定が実行された。存在する場合、合成画像内の画像アーチファクトが記録され、提供されたモデルの支援で画像アーチファクトが減少することが証明される。
【0061】
[0075] モデル予測が全投与量グラウンドトゥルースと同様であったことを更に検証するために、26の強調腫瘍症例について自動腫瘍区分が実行される。適用されるモデルの変異形は、腫瘍核を区分するためにポストコントラスト画像のみを使用した。区分モデルの要件に従って、グラウンドトゥルース及び予測された全投与量画像は頭蓋除去され、1mm3解像度に補間され、解剖学的テンプレートにコレジストされた。グラウンドトゥルースの区分マスクと合成画像を使用して作成されたものとの間で予測された腫瘍核のダイススコアを計算することによって、評価が実行される。
【0062】
[0076]
図11は、画像品質を単調に向上させるために利用されるシステム及び方法を概略的に示す。この例は、強調前頭骨腫瘍を伴う矢状に獲得されたMR画像について示される。パネルaに示されるような2.5Dモデル結果の軸方向再フォーマットにおいて縦ストリークが見られ、パネルbに示されるようなMPRトレーニング及び推論によって固定された。知覚的及び敵対的損失を追加することで、腫瘍内部のテクスチャを更に改良し、パネルcに示されるように全体の知覚的品質を復元した。加えて、平滑な強調マスクを用いてL1損失を重み付けすることで、パネルdに示されるように強調パターンをグラウンドトゥルースの強調パターンと一致させた。グラウンドトゥルースに関したメトリクスにおける単調な増加(パネルeに示される)も、モデルの改良を示す。下記の表は、26の強調腫瘍症例について提案された技術的解決策の各々に対するモデルの改良を示す。
【0063】
【0064】
[0077]
図12は、プレコントラスト、低投与量、全投与量グラウンドトゥルース、及び合成画像、並びに、異なるサイト及びスキャナからの症例についての定量的メトリクスを示す。メトリクスは、提案された技術的改良を伴うモデルが、元のモデル(メトリクス31.84±4.88dB、0.88±0.06)よりも良好に実行したことを示す。最高性能のモデルは、SSIM、知覚的、敵対的、及び強調重み付けL1損失の組み合わせを備える、5回の回転を伴うMPRを使用した。512×512×300ボリュームの場合、最良モデルの前処理及び推論は、GeForce RTX2080(16GB)GPU上で約135秒を要した。
【0065】
[0078]
図13は、異なる数の回転、並びに画像の品質及び性能に与える対応する効果の例を示す。
図13に示されるようなMPRにおける回転角度の数の効果は、角度数が多ければ、腫瘍内部の水平ストリークを減少させることができ(より良好な品質)、推論時間も増加させることができることを提供する。物理サイトにトレーニングされたモデルを展開するとき、所望の画像品質及び展開環境(例えば、計算能力、メモリストレージなど)に基づいて、回転の数及び異なる角度が決定され得る。
【0066】
システム概要
[0079] 低投与量造影MRIのために提供されるDLフレームワークは、画像品質を保持し、コントラスト強調における品質低下を避けながら、造影MRIのためのGBCAの投与量を低減させることが可能である。DLモデルのロバスト性及び一般化可能性が向上し、それによって、異種の患者及びサイト分布にわたる様々な応用例への改良された適応が可能になる。
図4は、本開示のイメージングエンハンサ440が実装可能な、磁気共鳴イメージング(MRI)システム400を概略的に示す。MRIシステム400は、磁気システム403、磁気システムに接続された患者輸送テーブル405、及び磁気システムに動作可能に結合されたコントローラ401を備え得る。一例において、患者は患者輸送テーブル405上に横たわり得、磁気システム403は患者の周囲を通過する。コントローラ401は、磁気システム403によって提供される磁界及び無線周波数(RF)信号を制御し得、磁気システム403内の検出器から信号を受信し得る。
【0067】
[0080] MRIシステム400は、コンピュータシステム410、及び、ネットワーク430を介してコントローラ401に動作可能に結合された1つ以上のデータベースを、更に備え得る。コンピュータシステム410は、容積MRイメージングエンハンサ440を実装するために使用され得る。容積MRイメージングエンハンサ440は、本明細書で説明するDLフレームワーク及び方法を実装し得る。例えば、容積MRイメージングエンハンサは、MPR再構成方法及び様々な他のトレーニングアルゴリズム、並びに本明細書で説明するデータ処理方法を採用し得る。コンピュータシステム410は、トレーニングデータセットを使用するイメージングエンハンサを生成するために使用され得る。示された図は、コントローラとコンピュータシステムとを別々の構成要素として示しているが、コントローラ及びコンピュータシステムは単一構成要素内に統合することができる。
【0068】
[0081] コンピュータシステム410は、ラップトップコンピュータ、デスクトップコンピュータ、中央サーバ、分散型コンピューティングシステムなどを含み得る。プロセッサは、中央処理ユニット(CPU)、グラフィック処理ユニット(GPU)、汎用処理ユニットなどの、シングルコア又はマルチコアのプロセッサ、あるいは並列処理のための複数のプロセッサであり得る、ハードウェアプロセッサとすることができる。プロセッサは、コンピューティングプラットフォーム又はマイクロプロセッサ、論理デバイスなどの、任意の好適な集積回路とすることができる。本開示はプロセッサを参照しながら説明するが、他のタイプの集積回路及び論理デバイスも適用可能である。プロセッサ又はマシンは、データ演算機能によって制限されない場合がある。プロセッサ又はマシンは、512ビット、256ビット、128ビット、64ビット、32ビット、又は16ビットのデータ演算を実行し得る。
【0069】
[0082] MRIシステム400は、任意の好適なデータベース技法を利用し得る1つ以上のデータベース420を含むことができる。例えば、構造化照会言語(SQL)又は「NoSQL」データベースを再構成/再フォーマット画像データ、ロー収集データ、トレーニングデータセット、トレーニングされたモデル(例えば、ハイパーパラメータ)、重み付け係数、回転角、回転数、再フォーマット再構成の方位などを、記憶するために利用され得る。いくつかのデータベースは、アレイ、ハッシュ、(リンクされた)リスト、構造体、構造化テキストファイル(例えば、XML)、テーブル、JSON、NOSQL、及び/又はその他などの、様々な標準データ構造を使用して実装され得る。こうしたデータ構造は、メモリ内及び/又は(構造化)ファイル内に記憶され得る。別の代替実施形態では、オブジェクト指向データベースが使用され得る。オブジェクトデータベースは、共通属性によって共にグループ化及び/又はリンクされる多数のオブジェクト集合を含むことが可能であり、これらはいくつかの共通属性によって他のオブジェクト集合に関連付けられ得る。オブジェクト指向データベースは関係データベースと同様に実行するが、オブジェクトは単なるデータ片ではなく、所与のオブジェクト内に封入された他のタイプの機能性を有し得るという、例外を伴う。本開示のデータベースがデータ構造として実装される場合、本開示のデータベースの使用は、本発明の構成要素などの別の構成要素に統合され得る。またデータベースは、データ構造、オブジェクト、及び関係構造の混合として実装され得る。データベースは、標準データ処理技法を介して多様に合併及び/又は分散され得る。データベースの一部、例えばテーブルは、エクスポート及び/又はインポートされ得、したがって分散化及び/又は統合化され得る。
【0070】
[0083] ネットワーク430は、MRIプラットフォーム内の構成要素間の接続、及びMRIシステムの外部システムへの接続を確立し得る。ネットワーク430は、ワイヤレス及び/又はワイヤードの両方の通信システムを使用する、ローカルエリアネットワーク及び/又はワイドエリアネットワークの任意の組み合わせを含み得る。例えば、ネットワーク430は、インターネット並びに携帯電話網を含み得る。一実施形態において、ネットワーク430は、標準通信技術及び/又はプロトコルを使用する。したがってネットワーク430は、イーサネット、802.11、worldwide interoperability for microwave access(WiMAX)、2G/3G/4G/5Gモバイル通信プロトコル、InfiniBand、PCI Express Advanced Switchingなどの技術を使用する、リンクを含み得る。ネットワーク430上で使用される他のネットワーキングプロトコルは、マルチプロトコルラベルスイッチング(MPLS)、伝送制御プロトコル/インターネットプロトコル(TCP/IP)、ユーザデータグラムプロトコル(UDP)、ハイパーテキスト転送プロトコル(HTTP)、シンプルメール転送プロトコル(SMTP)、ファイル転送プロトコル(FTP)などを含むことができる。ネットワークを介して交換されるデータは、2進形式の画像データ(例えば、ポータブルネットワークグラフィクス(PNG))、ハイパーテキストマークアップ言語(HTML)、拡張可能マークアップ言語(XML)などを含む、技術及び/又はフォーマットを使用して表すことができる。加えて、すべて又はいくつかのリンクは、セキュアソケットレイヤ(SSL)、トランスポート層セキュリティ(TLS)、インターネットプロトコルセキュリティ(IPsec)などの従来の暗号技術を使用して、暗号化することができる。別の実施形態において、ネットワーク上のエンティティは、前述の技術の代わりに、又は前述の技術に加えて、カスタム及び/又は専用のデータ通信技術を使用することができる。
【0071】
[0084] 「少なくとも」、「より大きい」、又は「より大きいか又は等しい」という用語が、2つ以上の一連の数値における第1の数値に先行する場合は必ず、「少なくとも」、「より多い」、又は「より多いか又は等しい」という用語はその一連の数値における各々の数値に適用される。例えば、1、2、又は3より大きいか又は等しいとは、1より大きいか又は等しい、2より大きいか又は等しい、あるいは3より大きいか又は等しいと等価である。
【0072】
[0085] 「以下の」、「より小さい」、又は「より小さいか又は等しい」という用語が、2つ以上の一連の数値における第1の数値に先行する場合は必ず、「以下の」、「より小さい」、又は「より小さいか又は等しい」という用語はその一連の数値における各々の数値に適用される。例えば、3、2、又は1より小さいか又は等しいとは、3より小さいか又は等しい、2より小さいか又は等しい、あるいは1より小さいか又は等しいと等価である。
【0073】
[0086] 本明細書で使用される場合、A及び/又はBは、A又はBのうちの1つ以上、並びに、A及びBなどのそれらの組み合わせを包含する。「第1」、「第2」、「第3」などの用語は、本明細書では様々な要素、構成要素、領域、及び/又はセクションを記述するために使用されるが、これらの要素、構成要素、領域、及び/又はセクションはこれらの用語によって限定されるものではないことを理解されよう。これらの用語は単に、1つの要素、構成要素、領域、又はセクションを、別の要素、構成要素、領域、又はセクションと区別するために使用される。したがって、本明細書で考察される第1の要素、構成要素、領域、又はセクションは、本発明の教示から逸脱することなく、第2の要素、構成要素、領域、又はセクションと呼ぶことが可能である。
【0074】
[0087] 本明細書で使用される用語は、単に特定の実施形態を説明するためのものであり、本発明を限定することは意図されていない。本明細書で使用される際、単数形の「a」、「an」、及び「the」は、文脈が特に明白に示していない限り、複数形も含むことが意図される。「備える(comprises)」及び/又は「備えている(comprising)」、あるいは、「含む(includes)」及び/又は「含んでいる(including)」という用語は、本明細書で使用されるとき、述べられる特徴、領域、整数、ステップ、動作、要素、及び/又は構成要素の存在を指定するが、1つ以上の他の特徴、領域、整数、ステップ、動作、要素、構成要素、及び/又はそれらのグループの存在又は追加を排除するものではないことを、更に理解されよう。
【0075】
[0088] 本明細書全体を通じた「いくつかの実施形態」又は「一実施形態」との言及は、実施形態に関連して記述される特定の特徴、構造、又は特性が、少なくとも1つの実施形態に含まれることを意味する。したがって、本明細書全体を通じた様々な箇所における「いくつかの実施形態において」又は「一実施形態において」という言い回しの出現は、必ずしもすべてが同じ実施形態を指すものではない。更に、特定の特徴、構造、又は特性は、任意の好適な様式で1つ以上の実施形態に組み合わせることができる。
【0076】
[0089] 本明細書では本発明の好ましい実施形態を図示及び説明してきたが、当業者であれば、こうした実施形態が単なる例として提供されていることが明らかとなろう。本発明が、本明細書内に提供される特定の例によって限定されることは意図されていない。本発明を前述の明細書を参照しながら説明してきたが、本明細書における実施形態の説明及び図示は、限定的な意味で解釈されることは意図されていない。次に、当業者であれば、本発明を逸脱することなく多数の変形、変更、及び置換を想起するであろう。更に、本発明のすべての態様は、多様な条件及び変数に依存する、本明細書に示される特定の描写、構成、又は相対的比率に限定されないことを理解されたい。本明細書に記載される本発明の実施形態の様々な代替は、本発明を実施する際に採用され得ることを理解されたい。したがって、本発が任意のこうした代替、改変、変形、又は等価もカバーすべきであることが企図される。下記の特許請求の範囲は本発明の範囲を定義すること、及び、それによってこれら特許請求の範囲内の方法及び構成並びにそれらの等価物がカバーされることが意図される。
【手続補正書】
【提出日】2024-05-22
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
造影剤の投与量を減少させて画像品質を向上させるためのコンピュータ実装方法であって、
(a)医用イメージング装置を使用して、造影剤の投与量を減少させた被験者の医用画像を獲得することと、
(b)複数の再フォーマット医用画像を生成するために複数の方位における前記被験者の前記医用画像を再フォーマットすることと、
(c)品質が向上した予測医用画像を生成するために、前記複数の再フォーマット医用画像にディープネットワークモデルを適用することと、
を含む、コンピュータ実装方法。
【外国語明細書】