▶ ザ ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティーの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-13
(45)【発行日】2023-03-22
(54)【発明の名称】深層学習を用いた医用イメージングの造影剤用量削減
(51)【国際特許分類】
A61B 5/055 20060101AFI20230314BHJP
A61B 6/03 20060101ALI20230314BHJP
A61B 6/00 20060101ALI20230314BHJP
A61B 8/06 20060101ALI20230314BHJP
【ＦＩ】
A61B5/055 383
A61B5/055 390
A61B6/03 375
A61B6/00 331E
A61B8/06
【請求項の数】
8
(21)【出願番号】P 2020520027
(86)(22)【出願日】2018-10-09
(65)【公表番号】
(43)【公表日】2020-12-17
(86)【国際出願番号】 US2018055034
(87)【国際公開番号】W WO2019074938
(87)【国際公開日】2019-04-18
【審査請求日】2021-09-17
(31)【優先権主張番号】62/570,068
(32)【優先日】2017-10-09
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】503115205
【氏名又は名称】ザ ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティー
(74)【代理人】
【識別番号】110001379
【氏名又は名称】弁理士法人大島特許事務所
(72)【発明者】
【氏名】ザハーチャック、グレッグ
(72)【発明者】
【氏名】ゴン、エンハオ
(72)【発明者】
【氏名】ポーリー、ジョン・エム
【審査官】亀澤 智博
(56)【参考文献】
【文献】特開２００７－２６４９５１（ＪＰ，Ａ）
【文献】国際公開第２０１７／０３１０８８（ＷＯ，Ａ１）
【文献】国際公開第２０１６／１７５７５５（ＷＯ，Ａ１）
【文献】国際公開第２０１７／０３０２７６（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１０／０１９８０５４（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１０／０１６６２７３（ＵＳ，Ａ１）
【文献】XIANG et al.，Deep auto-context convolutional neural networks for standard-dose PET image estimation from low-dose PET/MRI，NEUROCOMPUTING，2017年06月29日，267，406-416
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ５／０５５
Ａ６１Ｂ ６／００ － ６／１４
Ｇ０１Ｔ １／１６１ － １／１６６
Ｇ０６Ｔ １／００ ， ７／００
Ｇ１６Ｈ ３０／００ －３０／４０
(57)【特許請求の範囲】
【請求項1】
低造影剤用量で医用画像診断を実施するために画像診断装置を訓練する方法であって、（ａ）１組の対象の画像診断を実施して、前記１組の対象の各々について画像セットを生成するステップであって、前記画像セットは、（ｉ）フル造影剤用量の造影剤を対象に投与して取得されたフル造影剤用量画像、（ｉｉ）前記フル造影剤用量より少ない低造影剤用量の前記造影剤を対象に投与して取得された低造影剤用量画像、及び（ｉｉｉ）前記造影剤を対象に投与せずに取得されたゼロ造影剤用量画像を含み、前記フル造影剤用量画像、前記低造影剤用量画像、及び前記ゼロ造影剤用量画像が、共通のイメージングモダリティを用いて取得される、該ステップと、
（ｂ）前記画像セットを前処理して、前記画像セットを共同登録して正規化し、異なるスキャン間の取得とスケーリングの差違を調整するステップと、
（ｃ）深層学習ネットワーク（ＤＬＮ）への入力として前記画像セットのゼロ造影剤用量画像群と前記画像セットの低造影剤用量画像群を適用することにより、前処理された前記画像セットでＤＬＮを訓練し、かつコスト関数を使用して、前記ＤＬＮの出力を前記画像セットのフル造影剤用量画像群と比較し、バックプロパゲーションを使用して前記ＤＬＮのパラメータを訓練するステップとを含む、方法。
【請求項2】
請求項１に記載の方法であって、前記コスト関数は、ＭＡＥ損失関数、または非局所的な構造類似性を有する混合損失関数であることを特徴とする方法。
【請求項3】
低造影剤用量で医用画像診断を実施する方法であって、（ａ）対象の画像診断を実施するステップであって、フル造影剤用量より少ない低造影剤用量の造影剤を前記対象に投与して取得された低造影剤用量画像と、前記造影剤を前記対象に投与せずに取得されたゼロ造影剤用量画像とを生成し、前記低造影剤用量画像とゼロ造影剤用量画像とが、共通のイメージングモダリティを用いて取得される、該画像診断を実施するステップと、
（ｂ）前記低造影剤用量画像と前記ゼロ造影剤用量画像とを前処理して、前記低造影剤用量画像と前記ゼロ造影剤用量画像を共同登録して正規化し、取得とスケーリングの差違を調整するステップと、
（ｃ）前記低造影剤用量画像と前記ゼロ造影剤用量画像とを深層学習ネットワーク（ＤＬＮ）への入力として適用し、前記ＤＬＮの出力として前記対象の合成されたフル造影剤用量画像を生成するステップとを含み、
前記ＤＬＮは、入力としてゼロ造影剤用量画像群と低造影剤用量画像群を適用し、参照グラウンドトゥルース画像としてフル造影剤用量画像群を適用することによって訓練されたものであることを特徴とする方法。
【請求項4】
請求項３に記載の方法であって、前記低造影剤用量は、前記フル造影剤用量の１０％未満であることを特徴とする方法。
【請求項5】
請求項３に記載の方法であって、前記画像診断を実施するステップが、血管造影法、Ｘ線透視法、コンピュータ断層撮影法（ＣＴ）、超音波イメージング、または磁気共鳴イメージングを実施するステップを含むことを特徴とする方法。
【請求項6】
請求項３に記載の方法であって、前記画像診断を実施するステップが、磁気共鳴イメージングを実施するステップを含み、前記フル造影剤用量の造影剤は、最大０．１ｍｍｏｌ／ｋｇのガドリニウムＭＲＩ造影剤であることを特徴とする方法。
【請求項7】
請求項３に記載の方法であって、前記ＤＬＮは、バイパス鎖状結合と残差結合を含むエンコーダ／デコーダ畳み込みニューラルネットワーク（ＣＮＮ）であることを特徴とする方法。
【請求項8】
医用画像診断を実施する方法であって、（ａ）対象の画像診断を実施するステップであって、第１の画像取得シーケンスで取得された第１の画像と、前記第１の画像取得シーケンスとは異なる第２の画像取得シーケンスで取得された第２の画像を生成し、前記画像診断の間に造影剤が前記対象に投与されず、前記第１の画像と、前記第２の画像とが、共通のイメージングモダリティを用いて取得される、該画像診断を実施するステップと、
（ｂ）前記第１の画像と前記第２の画像とを前処理して、前記第１の画像と前記第２の画像とを共同登録して正規化し、取得とスケーリングの差違を調整するステップと、
（ｃ）深層学習ネットワーク（ＤＬＮ）への入力として前記第１の画像と前記第２の画像とを適用し、前記ＤＬＮの出力として前記対象の合成されたフル造影剤用量画像を生成するステップとを含み、
前記ＤＬＮは、入力として異なるイメージングシーケンスで取得されたゼロ造影剤用量画像群を、参照グラウンドトゥルース画像としてフル造影剤用量で取得されたフル造影剤用量画像群を適用することによって訓練されたものであることを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、一般的に、医用画像診断に関する。本発明は特に、造影剤を使用するイメージング技術に関する。
【背景技術】
【0002】
多くの種類の医用イメージングでは、造影剤を使用して正常及び異常な構造の視覚化を強化している。その技術の例としては、血管造影法、Ｘ線透視法、コンピュータ断層撮影法（ＣＴ）、超音波イメージング、または磁気共鳴イメージング（ＭＲＩ）が挙げられるこれらの造影剤の安全性を高めるために、造影剤の用量を減らすことが望ましい場合が多い。しかし、用量を減らすと、望ましいイメージングの強調度が低下するため、これは不可能であった。
【0003】
例えば、ＭＲＩは強力なイメージング技術であり、さまざまな軟部組織や病変を区別するための独自の情報を提供する。病理の可視性と病変の描写をさらに向上させるために、ユニークな緩和パラメータを有する磁気造影剤が投与されることも多い。ガドリニウムベースの造影剤（ＧＢＣＡ）は、血管造影法、神経画像処理、肝臓イメージングなどの用途において、その常磁性特性のためＭＲＩ検査で広く使用されている。ただし、ＧＢＣＡは毒性放出を回避するように設計されており、診断を支援するために造影ＭＲＩ（ＣＥ－ＭＲＩ）検査に広く適用されているが、ＧＢＣＡ投与にはいくつかの副作用がある。したがって、ＭＲＩイメージングで向上した造影力を維持しつつＧＢＣＡの投与量を減らすことが有利である理由が数多く存在する。同様の問題は、他の画像モダリティでの造影剤の投与にも関連している。したがって、造影剤が提供する画像強調の利点を犠牲にすることなく、画像診断技術において造影剤の用量を低減できることは有益であろう。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、現在可能であるよりも低い用量の造影剤を使用して画像診断モダリティの画質を向上させる技術を提供する。これにより、医用イメージングの価値を向上させる新たな機会が生まれる。ＭＲＩに加えて、この技術は一般的に、血管造影法、Ｘ線透視法、コンピュータ断層撮影法（ＣＴ）、超音波イメージング、または磁気共鳴イメージング（ＭＲＩ）などのさまざまな画像診断技術に適用できる。
【0005】
驚くべきことに、本発明の技術は、低造影剤用量画像及び造影剤投与前画像から、合成されたフル造影剤用量画像を予測することができる。低用量は、フル用量に対していかなる割合の低用量でもよいが、好ましくはフル用量の１／１０以下である。重要なこととして、１／１０の低造影剤用量ＣＥ－ＭＲＩのコントラスト強調を単純に１０倍に増幅しても、広範囲にわたるノイズとあいまいな構造を伴う品質の低い画像となる。低造影剤用量画像を直接診断に使用することも、または単にその取込を増幅して使用することもできないが、本発明の技術によれば、フル造影剤用量画像信号を回復し、高い診断品質の予測されたフル造影剤用量画像を生成することができる。具体的には、実験的なテストでは、本発明の方法により、１０％の低造影剤用量画像よりも大幅に改善された画像、すなわち５ｄＢ以上のＰＳＮＲゲインで、ＳＳＩＭが１１％増加し、画質の評価とコントラストが向上した画像が得られた。
【課題を解決するための手段】
【0006】
本発明の実施形態は、入力として造影剤投与前画像及び低造影剤用量画像を使用し、出力が予測されたフル造影剤用量画像となる、画像間回帰のための畳み込みニューラルネットワークなどの深層学習ネットワークを用いる。好ましくは予測に残差学習アプローチが用いられる。
【0007】
本方法は、さまざまな画像を直接登録及び比較できるように前登録して正規化することを含む。各スキャンには任意の異なる条件での画像取得とスケーリング係数があるため、このステップは重要である。好ましくは、平均信号が正規化に使用される。次に、前処理された画像を使用して深層学習ネットワークを訓練し、造影剤投与前画像と低造影剤用量画像からフル造影剤用量画像を予測する。次に、訓練されたネットワークを使用して、造影剤投与前画像と低造影剤用量画像の臨床スキャンからフル造影剤用量画像を合成する。この手法は、造影剤を使用するあらゆる画像診断モダリティに一般的に適用できる。例えば、イメージングの用途としては、血管造影法、Ｘ線透視法、コンピュータ断層撮影法（ＣＴ）、超音波イメージングが挙げられる。
【0008】
一態様では、本発明は、低造影剤用量で医用画像診断を実施するために画像診断装置を訓練する方法を提供する。前記方法は、（ａ）１組の対象の画像診断を実施して、前記１組の対象の各々について画像セットを生成するステップであって、前記画像セットは、（ｉ）フル造影剤用量の造影剤を対象に投与して取得されたフル造影剤用量画像、（ｉｉ）前記フル造影剤用量より少ない低造影剤用量の前記造影剤を対象に投与して取得された低造影剤用量画像、及び（ｉｉｉ）前記造影剤を対象に投与せずに取得されたゼロ造影剤用量画像を含む、該ステップと、（ｂ）前記画像セットを前処理して、前記画像セットを共同登録して正規化し、異なるスキャン間の取得とスケーリングの差違を調整するステップと、（ｃ）深層学習ネットワーク（ＤＬＮ）への入力として前記画像セットのゼロ造影剤用量画像群と前記画像セットの低造影剤用量画像群を適用することにより、前処理された前記画像セットでＤＬＮを訓練し、かつコスト関数を使用して、前記ＤＬＮの出力を前記画像セットのフル造影剤用量画像群と比較し、バックプロパゲーションを使用して前記ＤＬＮのパラメータを訓練するステップとを含む。前記コスト関数は、ＭＡＥ損失関数、または非局所的な構造類似性を有する混合損失関数であり得る。
【0009】
別の態様では、本発明は、低造影剤用量での医用画像診断のための方法を提供する。前記方法は、（ａ）対象の画像診断を実施するステップであって、フル造影剤用量より少ない低造影剤用量の造影剤を前記対象に投与して取得された低造影剤用量画像と、前記造影剤を前記対象に投与せずに取得されたゼロ造影剤用量画像とを生成する、該画像診断を実施するステップと、（ｂ）前記低造影剤用量画像と前記ゼロ造影剤用量画像とを前処理して、前記低造影剤用量画像と前記ゼロ造影剤用量画像を共同登録して正規化し、取得とスケーリングの差違を調整するステップと、（ｃ）前記低造影剤用量画像と前記ゼロ造影剤用量画像とを深層学習ネットワーク（ＤＬＮ）への入力として適用し、前記ＤＬＮの出力として前記対象の合成されたフル造影剤用量画像を生成するステップとを含み、前記ＤＬＮは、入力としてゼロ造影剤用量画像群と低造影剤用量画像群を適用し、参照グラウンドトゥルース画像としてフル造影剤用量画像群を適用することによって訓練されたものである。
【0010】
前記低造影剤用量は、好ましくは前記フル造影剤用量の１０％未満である。前記画像診断を実施するステップは、血管造影法、Ｘ線透視法、コンピュータ断層撮影法（ＣＴ）、超音波イメージング、または磁気共鳴イメージングを実施するステップを含み得る。例えば、前記画像診断を実施するステップは、磁気共鳴イメージングを実施するステップを含み、前記フル造影剤用量の造影剤は、最大０．１ｍｍｏｌ／ｋｇのガドリニウムＭＲＩ造影剤であり得る。一実施形態では、前記ＤＬＮは、バイパス鎖状結合と残差結合を含むエンコーダ／デコーダ畳み込みニューラルネットワーク（ＣＮＮ）である。
【0011】
別の態様では、本発明は、医用画像診断を実施する方法であって、（ａ）対象の画像診断を実施するステップであって、第１の画像取得シーケンスで取得された第１の画像と、前記第１の画像取得シーケンスとは異なる第２の画像取得シーケンスで取得された第２の画像を生成し、前記画像診断の間に前記造影剤が前記対象に投与されない、該画像診断を実施するステップと、（ｂ）前記第１の画像と前記第２の画像とを前処理して、前記第１の画像と前記第２の画像とを共同登録して正規化し、取得とスケーリングの差違を調整するステップと、（ｃ）深層学習ネットワーク（ＤＬＮ）への入力として前記第１の画像と前記第２の画像とを適用し、前記ＤＬＮの出力として前記対象の合成されたフル造影剤用量画像を生成するステップとを含み、前記ＤＬＮは、入力として異なるイメージングシーケンスで取得されたゼロ造影剤用量画像群を、参照グラウンドトゥルース画像としてフル造影剤用量で取得されたフル造影剤用量画像群を適用することによって訓練されたものであることを特徴とする方法を提供する。
【図面の簡単な説明】
【0012】
【発明を実施するための形態】
【0013】
本発明の実施形態は、臨床画像の診断品質を維持しながら造影剤用量レベルを大幅に低減する、深層学習をベースにした画像診断技術を提供する。
【0014】
本発明の実施形態のプロトコル及び手順の詳細な図が図１及び図２に示されている。以下で説明する実施形態では、例示の目的でＭＲＩイメージングに焦点を合わせるが、本明細書で説明する本発明の原理及び技法は、ＭＲＩに限定されず、造影剤を利用する様々なイメージングモダリティに一般的に適用可能である。
【0015】
図１は、本発明の実施形態の処理パイプラインを示す流れ図である。深層学習ネットワークは、さまざまな臨床的兆候を持つ多数の対象のスキャンから取得されたマルチコントラスト画像１００、１０２、１０４を使用して訓練される。画像は前処理されて、画像共同登録１０６を実施し、マルチコントラスト画像１０８を生成し、データ増強１１０を実施して、正規化されたマルチコントラスト画像パッチ１１２を生成する。固定または非固定の共同登録を使用して、複数の画像スライスまたはボリュームを調整してピクセルとボクセルを互いに一致させることができる。異なるボリューム間には任意のスケーリングの相違が存在する可能性があるため、各画像／ボリュームの強度を一致させるために正規化が使用される。脳及び解剖学的なマスクは、各画像／ボリュームの重要な関心領域を抽出するために選択に応じて使用される。また参照画像１０４が処理されて共同登録及び正規化１１８を実施する。次に、これらの前処理された画像は、深層学習ネットワーク１１４を訓練するために使用されるが、深層学習ネットワークは、好ましくは畳み込みニューラルネットワークで残差学習を使用して実装される。深層学習ネットワークへの入力は、ゼロ造影剤用量画像１００と低造影剤用量画像１０２であり、ネットワークの出力は、合成されたフル造影剤用量画像１１６の予測である。訓練中、参照用フル造影剤用量画像１０４は、損失関数を使用して合成された画像１１６と比較され、誤差逆伝播法（バックプロパゲーション）を用いてネットワークを訓練する。
【0016】
図２は、訓練に使用される画像の取得のためのプロトコルと手順のワークフローを示す図である。造影剤投与前（ゼロ造影剤用量）画像２００が取得された後、低用量（例えば、１０％）の造影剤投与が施され、低造影剤用量画像２０２が取得される。次に、追加の用量（例えば、９０％）の造影剤をフルな１００％用量となるまで投与して、次いで、フル造影剤用量画像２０４が取得される。
【0017】
ＭＲＩの実施形態では、画像の取得は、３Ｔで高解像度３Ｄ Ｔ１強調ＩＲ－ＦＳＰＧＲ（反転回復準備済み高速スポイル（残留磁化消去）済み磁場勾配エコー）イメージング行う３Ｔ ＭＲＩスキャナー（ＧＥ Ｈｅａｌｔｈｃａｒｅ、Ｗａｕｋｅｓｈａ、ＷＩ、ＵＳＡ）で標準の神経臨床プロトコルを使用して行われる。具体的には、高解像度Ｔ１強調ＩＲ－ＦＳＰＧＲにより造影剤投与前画像、１０％低造影剤用量及び１００％フル造影剤用量（それぞれ０．０１及び０．１ｍｍｏｌ／ｋｇ）のガドベン酸ジメグルミン投与後画像が取得される。
【0018】
他の画像診断モダリティでは、造影剤を注入せずに取得される強調なしの少なくとも１つの画像セットを含めるために、同様の設定が使用される。そして、選択に応じて、低造影剤用量の造影剤を注入することで取得される低レベルの強調を有する少なくとも１つの画像セットが使用される。ＣＴの場合、造影剤は通常ヨウ素ベースの造影剤である。ＣＴ造影剤は通常、医師の選好、規制基準、及び患者の体重に基づいて投与される。低用量の投与とは、標準プロトコルよりも少ない用量の注射を意味する。ＣＴの場合、複数のエネルギーの放射線を使用して、異なるコントラストで視覚化された（おそらく同じ造影剤用量であるが、視覚的な外観が異なる）複数の画像セットが存在する可能性がある。ＣＴの場合、グラウンドトゥルースは、１００％フル造影剤用量のＣＴコントラストで取得された一連の画像である。超音波の場合、造影剤は、例えば、マイクロバブルであり得る。同様に、複数回のスキャンは、特定の造影剤用量での少なくとも１つの画像と、選択に応じて可変造影剤用量での画像または異なるプローブ周波数で取得された異なった造影剤用量のようにみえる画像を含み得る。
【0019】
図３は、画像処理フローの概略図である。詳細なワークフローのステップは、各被験者に対して取得されたマルチコントラスト画像群に適用される。取得段階３００では、ゼロコントラスト画像３０６、低コントラスト画像３０８、及びフルコントラスト画像３１０を取得するために、上述のようにスキャンが実施される。次に、これらのマルチコントラスト画像群は、前処理段階３０２に通過する。次に、得られた画像を深層学習訓練段階３０４で使用し、深層学習ネットワークを訓練して、フル造影剤用量画像３１２を合成する。前処理ステップには、画像の共同登録と信号の正規化が含まれる。正規化は、異なる造影剤用量で得られた画像の偏りを取り除くために利用され、非強調組織のマスク３１４を使用して実施される。具体的には、登録とマスク内の平均ボクセル値に基づく信号の正規化を実施することにより、非強調領域（頭皮脂肪など）の異なる信号強度レベル間のシステマチックな相違を除去される。あるいは、正規化は、画像または特定のパーセンタイルの最大／最小強度に基づいて行うことができる。また、正規化は、強度の分布の、特定の所定の分布または標準分布とのマッチングに基づいて行うことができる。マスクを適用して平均、最大、最小、パーセンタイル、または分布を計算することで、さまざまな画像セットにマッチングするより良い正規化を達成することができる。３つの異なるスキャンの３つのシーケンスに使用される送信ゲインと受信ゲインは、同じであることが保証されていないため、この正規化ステップが実施される。ＣＴ及び超音波の場合、取得と画像保存プロセスの両方で強度の再スケーリングのステップがあり得るため、スケーリング及び正規化も適用できる。
【0020】
共同登録及び正規化の後、異なる造影剤用量画像間の残りの信号の差は、理論的には、フル造影剤用量のＭＲＩ画像４１２を合成するための信号モデルを図示した図４に示されるように、造影剤取込及び非構造的画像ノイズにのみ関連するものとなる。造影剤投与前４００（ｐｒｅ－ｃｏｎｔｒａｓｔ）とフル造影剤用量４０４のＣＥ－ＭＲＩの間の参照高品質コントラストの造影剤取込４０６（Ｒｅｆ ｕｐｔａｋｅ）の場合と比較して、造影剤投与前４００と低造影剤用量４０２（１０％ ｌｏｗ－ｄｏｓｅ）間の低造影剤用量取込４０８（Ｎｏｉｓｙ ｕｐｔａｋｅ）はノイズが多いが、造影剤によるコントラスト強調情報を含んでいる。深層学習メソッドを用いることにより、ノイズ除去を学習して高品質の予測造影剤取込４１０を生成し、これを造影剤投与前スキャン４００と組み合わせて、フル造影剤用量ＣＥ－ＭＲＩ画像４１２（ｆｕｌｌ－ｄｏｓｅ）を合成する。
【0021】
前処理後、深層学習ネットワークは、真の１００％フル造影剤用量ＣＥ－ＭＲＩ画像を参照グラウンドトゥルースとして使用して訓練される。非コントラスト（ゼロ造影剤用量）ＭＲＩと１０％低造影剤用量ＣＥ－ＭＲＩは入力としてネットワークに提供され、ネットワークの出力はフル造影剤用量ＣＥ－ＭＲＩの近似値である。訓練中、このネットワークは、低造影剤用量画像と非コントラスト（ゼロ造影剤用量）画像間の差分信号から抽出された、ノイズを含むコントラスト取込の誘導ノイズ除去を暗黙的に学習する。
【0022】
本発明の一実施形態における詳細な深層学習（ＤＬ）モデルアーキテクチャが図２に示されている。このモデルは、３つのエンコーダステップ５００、５０２、５０４及び３つのデコーダステップ５０６、５０８、５１０を有するエンコーダ／デコーダ畳み込みニューラルネットワークである。各ステップには、３×３Ｃｏｎｖ－ＢＮ－ＲｅＬＵによって接続された３つの畳み込み層がある。エンコーダステップは２×２最大値プーリングによって順番に接続され、デコーダステップは２×２アップサンプリングによって順番に接続される。バイパス鎖状結合５１２、５１４、５１６は対称層を組み合わせて解像度の損失を回避する。残差結合５１８、５２０、５２２、５２４、５２６、５２８、５３０により、モデルが、造影剤投与前画像５４２と低造影剤用量画像５４４との間の差異から強調信号５４０を予測することによりフル造影剤用量画像を合成することが可能となる。コスト関数５３２は、予測されたフル造影剤用量画像５３４と参照グラウンドトゥルースフル造影剤用量画像５３６とを比較する。これにより、バックプロパゲーション５３８を介したネットワークパラメータの最適化が可能になる。
【0023】
上述のネットワークアーキテクチャは、単なる一例である。他のアーキテクチャも可能である。例えば、ネットワークには異なる数の層、各層の画像サイズ、及び層間の可変結合を設定できる。各層の関数は、異なる線形関数または非線形関数にすることができる。出力層は、特定の範囲の出力強度にマップする、別のいわゆる活性化関数を有することができる。複数のネットワークを結合することができ（いわゆる回帰ネットワーク）、これにより、単一のネットワークで実現できる能力がさらに向上する。
【0024】
１つのテストでは、ネットワークは、ＳＮＲが低く、解剖学やコントラストに関する有意義な情報がなかった脳底のスライスを除いて、各患者の共同登録された３Ｄボリュームの約３００の２Ｄスライスで訓練された。標準画像の剛体変換を使用して、訓練のデータセットをさらに補強し、モデルの堅牢性を確保する。
【0025】
訓練では、訓練データセットのサブセットごとに確率的勾配降下法（ＳＧＤ）を使用し、予測と真のフル造影剤用量ＭＲ画像を比較するコスト関数に関してネットワークパラメータを最適化するために、バックプロパゲーションを使用した。一実施形態では、Ｌ１損失としても知られている平均絶対誤差（ＭＡＥ）コスト関数が訓練で使用される。ＳＧＤとＡＤＡＭは、ネットワークの訓練における最適化問題を解決する演算の例でもある。ＲＭＳｐｒｏｐやＡｄａｇｒａｄなど、他にも多くの選択肢がある。要するに、オプティマイザによって、より速くよりスムーズな収束が可能となる。
【0026】
損失関数は、例えば、グラウンドトゥルース画像と予測画像のペアから設定された損失値への関数マップを含み得る。これには、通常Ｌ１（平均絶対誤差）またはＬ２（平均二乗誤差）損失を使用するピクセル／ボクセル差に基づくピクセル単位またはボクセル単位の損失が含まれる。また、損失は、構造類似性（ＳＳＩＭ構造の類似性など）を考慮した特定のサイズの領域に基づくものであり得る。
【0027】
臨床環境において、訓練された深層学習ネットワークを使用して、ゼロ造影剤用量画像と低造影剤用量画像からフル造影剤用量画像を合成する。共同登録及び正規化された非コントラスト（ゼロ造影剤用量）と低造影剤用量の画像がＤＩＣＯＭファイルからロードされ、訓練済みネットワークに入力される。５１２×５１２の画像あたり約０．１秒かかる効率的な順方向通過により、合成されたフル造影剤用量画像が生成される。次に、プロセスは各２Ｄスライスに対して実行され、３Ｄボリューム全体が生成され、さらに評価するために新しいＤＩＣＯＭフォルダに保存される。ニューラルネットワークの訓練とテストの両方に、２つのＮＶＩＤＩＡ ＧＴＸ １０８０－ＴＩ ＧＰＵを備えたＬｉｎｕｘ（登録商標）サーバで、Ｔｅｎｓｏｒｆｌｏｗバックエンド、ＣＵＤＡ８及びＣＵＤＮＮ５．１を備えたＫｅｒａｓフレームワークを使用した。これは１つの例にすぎない。使用可能な多くの深層ネットワークの代替ソフトウェア及びハードウェア実装が存在する。
【0028】
この技術のテストでは、合成されたフル造影剤用量ＣＥ－ＭＲＩ画像に、一貫したコントラスト取込と同様の強調が含まれている。いくつかの代表的なケースの詳細な比較を以下に説明する。この方法では、一貫した強調を有する合成フル造影剤用量ＭＲＩを生成できるが、低造影剤用量（例えば、フル造影剤用量の１／１０）を使用できることを示している。
【0029】
図６に示されるように、頭蓋内転移性疾患を有する患者において、影剤用投与前画像６００（Ｐｒｅ－ｃｏｎｓｔｒａｓｔ）及び低造影剤用量画像６０２（Ｌｏｗ－ｄｏｓｅ）から合成された予測画像６０６（Ｓｙｎｅｔｈｓｉｚｅｄ）は、病変におけるフル造影剤用量画像６０４（Ｆｕｌｌ－ｄｏｓｅ）と同様にコントラスト強調を有する。病変は、合成されたフルコントラスト画像（フル造影剤用量画像）６０６で改善された可視性を示すが、低造影剤用量ＣＥ－ＭＲＩ画像６０２では確実に認識できない。さらに、合成されたＣＥ－ＭＲＩ画像６０６は、真のフル造影剤用量ＣＥ－ＭＲＩ画像６０４におけるものと同程度の右後小脳における転移性病変の輪郭を示す。
【0030】
別の脳新生物を有する患者の場合について、図７に示すように、造影剤投与前画像７００（Ｐｒｅ－ｃｏｎｓｔｒａｓｔ）及び低造影剤用量画像７０２（Ｌｏｗ－ｄｏｓｅ）から予測された合成フル造影剤用量ＣＥ－ＭＲＩ画像７０６（Ｓｙｎｅｔｈｓｉｚｅｄ）は、実際のフル造影剤用量ＣＥ－ＭＲＩ画像７０４（Ｆｕｌｌ－ｄｏｓｅ）と同程度のコントラスト取込を示す。さらに、合成されたフル造影剤用量画像７０６の画質は、より厳しいモーションアーチファクト及びエイリアシングを有する取得されたフル造影剤用量ＣＥ－ＭＲＩ画像７０４と比較して優れている。これは、驚くべきことに、合成された結果が元のフル造影剤用量ＣＥ－ＭＲＩよりも優れたノイズ除去とアーチファクトの除去（モーションアーチファクトやエイリアシングの抑制など）に関してさらに有利な効果があることを示している。
【0031】
プログラム可能脳脊髄液シャント術を施された脳圧低下を有する患者の場合、図８に示すように、画像合成の結果はまた、より優れたノイズ抑制能力及び一貫したコントラスト強調能力があることを実証している。硬膜洞の充血と硬膜の強調は、造影剤投与前画像８００（Ｐｒｅ－ｃｏｎｓｔｒａｓｔ）と低造影剤用量画像８０２（Ｌｏｗ－ｄｏｓｅ）から予測された合成画像８０６（Ｓｙｎｅｔｈｓｉｚｅｄ）と、真のフル造影剤用量画像８０４（Ｆｕｌｌ－ｄｏｓｅ）の両方にはっきりと見られるが、合成画像の方が非強調領域のノイズは少なくなる。したがって、この方法は、低造影剤用量取込から診断品質のコントラストを生成し、ノイズ抑制とコントラスト強調の改善示すことが実証された。
【0032】
本発明者によるこの方法のテストにより、合成されたＣＥ－ＭＲＩ画像は、全ての定量的メトリックの低造影剤用量画像と比較して、ＳＳＩＭが１１．０％改善され、ＰＳＮＲが５．０ｄＢ超改善されるという大幅な改善（両方ともｐ＜０．００１）を達成したことが立証された。真の取得されたフル造影剤用量ＣＥ－ＭＲＩと比較して、提案された方法は、全体的な画質と強化されたコントラストの明瞭度に関して有意差（両方ともｐ＞０．０５）はない。これと比較して、１０％の低造影剤用量画像は強調されたコントラストの明瞭度が、５ポイントスケールの３以上で顕著に悪化（ｐ＜０．００１）する。
【0033】
図７及び図８が示すように、また神経放射線科医の評価によって検証されたように、合成されたフル造影剤用量画像は、非強調領域でのアーチファクトの抑制において、取得されたフル造影剤用量ＣＥ－ＭＲＩよりも有意な改善（ｐ＜０．０５）を示しており、これは深層学習メソッドがもたらす更なる利点であった。
【0034】
実際のフル造影剤用量ＣＥ－ＭＲＩと比較して、コントラスト強調情報の有意差（ｐ＞０．０５）は、画像の出所を知らせていない神経放射線科医によって特定できなかった。合成されたフル造影剤用量画像は、画像アーチファクトをよりよく抑制するとみられる（ｐ＜０．０５）。このようになる理由は、実際のフル造影剤用量画像のコントラスト強調の高輝度信号はモーション／エイリアシングアーチファクトを必然的に増大させるが、低輝度コントラスト強調からコントラストを推定するときにはこのモーション／エイリアシングアーチファクトの増大が抑制されるからである。診断情報を保持しながら造影剤用量を９０％削減できることの影響は、患者の健康とイメージングのコストに大きな影響を与え得る。
【0035】
上記の例示的な実施形態は、２Ｄ ＣＮＮを使用している。隣接する薄いスライスの相関する空間情報を考慮する３Ｄ ＣＮＮモデルでさらにパフォーマンスを向上させることができる。したがって、２Ｄ ＣＮＮで示される本発明の実施形態は単なる例示であり、３Ｄの実施形態も本発明の範囲内の形態として想定されている。より一般的には、２Ｄ（画像の単一スライスを処理）、２．５Ｄ（画像の複数スライス）、３Ｄ（ボリューム全体）、及びパッチベース（ボリュームからの切り抜き）のアルゴリズムが想定されている。
【0036】
さらに、本発明者らは、より多くのデータセットを用いて、生成モデルなどのより複雑ではあるが強力なモデルを訓練して、コントラスト画像合成をさらに改善することを想定している。最後に、上記の例示的な実施形態では、ＤＬモデルを訓練するためのコスト関数としてＭＡＥ損失が用いられるが、非局所的な構造の類似性を持つ混合損失関数や、データ主導型のコスト関数として生成的敵対的ネットワーク（ＧＡＮ）を使用するなど、他の損失関数の使用も想定されている。
【0037】
上述の例示的な実施形態では、本来の臨床的に使用される用量レベルより９０％低減した一定レベルのガドリニウム造影剤が使用されている。
【0038】
より一般的には、本明細書において、フル造影剤用量という用語は、一定の定められた視覚的品質を可能にする標準的な用量を指すものとして使用されている。通常、造影剤は薬物として扱われ、使用すべきＦＤＡ標準のフル造影剤用量がある。すなわちフル造影剤用量とは、良好な診断品質を達成するためにＦＤＡまたは臨床医が推奨または要求する標準用量を意味する。
【0039】
しかし、別のネットワーク構造と損失関数を使用し、さまざまな病理学的状態を伴うより大きな訓練データセット、及びマルチコントラストＭＲＩ、複数の画像診断モダリティ、患者の病歴情報などのその他の補足情報を使用することにより、低低造影剤用量の更なる用量の削減を可能とすることが想定されている。この技術は、入力画像サイズが１２８×１２８×１とは異なり得るパッチベースの方法を利用可能であることも想定されている。この場合、サイズｘ×ｙのパッチを使用し、ｚの深さ／厚さを考慮した任意のｘ×ｙ×ｚサイズにすることができる。
【0040】
フル造影剤用量の１０％より高い低造影剤用量レベルが使用され得ることも想定される。一般的に、合成画像が診断品質を維持するという制約を受ける用量を最小限に抑えることは有益である。結果として得られる最小限の低造影剤用量は、造影剤と画像モダリティによって異なり得る。異なる造影剤用量レベルの３つ以上の画像に基づいて訓練を行うことも可能であり、必ずしもゼロ造影剤用量画像を含める必要はない。一般的に、訓練データセットに２つの異なる造影剤用量レベルの十分な数のペアスキャンがある場合、ネットワークを自動的に一般化して、低造影剤用量ｄｌｏｗを、フル造影剤用量以下で低造影剤用量より大きい高造影剤用量ｄｈｉｇｈ（すなわち、０≦ｄｌｏｗ＜ｄｈｉｇｈ≦１）に改善することができる。
【0041】
本発明者はまた、いかなる造影剤用量画像も必要とせずに、ゼロ造影剤用量画像からの高造影剤用量画像の合成を想定している。この場合のゼロ線量画像には、さまざまな組織のさまざまな外観／強度を示すさまざまなシーケンス（Ｔ１ｗ、Ｔ２ｗ、ＦＬＡＩＲ、ＤＷＩなど）を使用して取得された複数のＭＲ画像が含まれる。そして、訓練されたネットワークは、診断に使用される合成フル造影剤用量画像Ｔ１ｗを予測できる。したがって、この方法によれば、深層学習ネットワークは、第１の画像取得シーケンスで取得された第１の画像及び第１の画像取得シーケンスとは異なる第２の画像取得シーケンスで取得された第２の画像で訓練され、これらの画像が取得されたときに画像診断中には造影剤が投与されない（ゼロ造影剤用量）。訓練では、フル造影剤用量で取得された参照グラウンドトゥルースＴ１ｗ画像を使用する。画像は前処理され、それらを共同登録及び正規化して取得とスケーリングの相違が調整される。正規化には、中央値のヒストグラムマッチングを介して各コントラスト内の強度を正規化することが含まれる。前処理には、Ｎ４ＩＴＫアルゴリズムを介してバイアスフィールドの歪みを補正するバイアスフィールド補正も含まれる。前処理には、訓練されクラシファイア（ＶＧＧ１６）を使用して、より異常なスライスを除外することも含まれ得る。深層学習ネットワークは、２．５Ｄの深層畳み込み敵対的生成ネットワークであることが好ましい。訓練されたネットワークを使用して、異なるシーケンスで取得された第１の画像と第２の画像は深層学習ネットワーク（ＤＬＮ）への入力として使用され、出力として被験者の合成されたフル造影剤用量画像を生成する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
