IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ゲルベの特許一覧 ▶ アンスティトゥー ギュスターヴ ルッシーの特許一覧

特表2024-546287少なくとも第1の用量の造影剤の注入前及び注入後の身体部分をそれぞれ表す造影前画像及び造影画像を処理する方法
<>
  • 特表-少なくとも第1の用量の造影剤の注入前及び注入後の身体部分をそれぞれ表す造影前画像及び造影画像を処理する方法 図1
  • 特表-少なくとも第1の用量の造影剤の注入前及び注入後の身体部分をそれぞれ表す造影前画像及び造影画像を処理する方法 図2
  • 特表-少なくとも第1の用量の造影剤の注入前及び注入後の身体部分をそれぞれ表す造影前画像及び造影画像を処理する方法 図3
  • 特表-少なくとも第1の用量の造影剤の注入前及び注入後の身体部分をそれぞれ表す造影前画像及び造影画像を処理する方法 図4
  • 特表-少なくとも第1の用量の造影剤の注入前及び注入後の身体部分をそれぞれ表す造影前画像及び造影画像を処理する方法 図5
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-12-19
(54)【発明の名称】少なくとも第1の用量の造影剤の注入前及び注入後の身体部分をそれぞれ表す造影前画像及び造影画像を処理する方法
(51)【国際特許分類】
   A61B 5/055 20060101AFI20241212BHJP
   G06T 1/00 20060101ALI20241212BHJP
   G06T 1/40 20060101ALI20241212BHJP
   G06T 5/50 20060101ALI20241212BHJP
【FI】
A61B5/055 380
A61B5/055 383
G06T1/00 290
G06T1/40
G06T5/50
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024536520
(86)(22)【出願日】2022-12-20
(85)【翻訳文提出日】2024-06-18
(86)【国際出願番号】 EP2022086849
(87)【国際公開番号】W WO2023118044
(87)【国際公開日】2023-06-29
(31)【優先権主張番号】21306909.9
(32)【優先日】2021-12-22
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】591052505
【氏名又は名称】ゲルベ
【氏名又は名称原語表記】GUERBET
(71)【出願人】
【識別番号】519317871
【氏名又は名称】アンスティトゥー ギュスターヴ ルッシー
(74)【代理人】
【識別番号】110000796
【氏名又は名称】弁理士法人三枝国際特許事務所
(72)【発明者】
【氏名】ボン アレクサンドル
(72)【発明者】
【氏名】ロー マルク-ミシェル
(72)【発明者】
【氏名】ラソー ナタリー
(72)【発明者】
【氏名】アマリ サミー
(72)【発明者】
【氏名】ロベール フィリップ
【テーマコード(参考)】
4C096
5B057
【Fターム(参考)】
4C096AA03
4C096AA04
4C096AA11
4C096AD06
4C096AD14
4C096BA19
4C096DC33
4C096DC35
5B057AA07
5B057CE08
(57)【要約】
本発明は、医療撮像の方法において、第2のサーバ(1b)のデータプロセッサ(11b)により、(a)第1の用量の造影剤の注入前及び注入後の身体部分をそれぞれ表す少なくとも1つの候補造影前画像及び候補造影画像であって、前記第1の用量は、所定の低用量よりも高く、所定の減少された用量は、所定の標準用量よりも低い、少なくとも1つの候補造影前画像及び候補造影画像、畳み込みニューラルネットワーク、CNNであって、前記低用量の造影剤の注入前及び注入後の身体部分をそれぞれ表す少なくとも造影前入力画像及び低用量造影入力画像から、前記標準用量の造影剤の注入後の前記身体部分を表す標準用量造影画像を再構築するように訓練される畳み込みニューラルネットワーク、CNNを取得するステップ、(b)標準用量よりも高い第2の用量の造影剤の注入をシミュレートするステップであって、CNNを少なくとも1つの候補造影前画像及び候補造影画像に適用することにより、合成造影画像を生成することを含むステップを行うことを含むことを特徴とする方法に関する。
【特許請求の範囲】
【請求項1】
医療撮像の方法において、第2のサーバ(1b)のデータプロセッサ(11b)により、
(a)(i)第1の用量の造影剤の注入前及び注入後の身体部分をそれぞれ表す少なくとも1つの候補造影前画像及び候補造影画像であって、造影剤の前記第1の用量は、造影剤の低用量よりも高く、及び前記低用量は、造影剤の標準用量よりも低い、少なくとも1つの候補造影前画像及び候補造影画像と、(ii)畳み込みニューラルネットワーク、CNNであって、前記低用量の造影剤の注入前及び注入後の前記身体部分をそれぞれ表す少なくとも1つの造影前入力画像及び低用量造影入力画像から、前記標準用量の造影剤の注入後の前記身体部分を表す標準用量造影画像を再構築するように訓練される畳み込みニューラルネットワーク、CNNとを取得するステップ、
(b)前記CNNを前記少なくとも1つの候補造影前画像及び前記候補造影画像に適用することにより、合成造影画像を生成するステップ
を行うことを含むことを特徴とする方法。
【請求項2】
造影剤の前記低用量は、造影剤の前記標準用量の10%~50%である、請求項1に記載の方法。
【請求項3】
造影剤の前記第1の用量は、造影剤の前記標準用量の少なくとも50%である、請求項1又は2に記載の方法。
【請求項4】
造影剤の前記低用量は、造影剤の前記標準用量の1/5~1/3であり、及び造影剤の前記第1の用量は、造影剤の前記標準用量の少なくとも80%である、組み合わせにおける請求項2又は3に記載の方法。
【請求項5】
前記少なくとも1つの候補造影前画像及び前記候補造影画像は、前記第2のサーバ(1b)に接続された医療撮像デバイス(10)、特にMRIスキャナによって取得される、請求項1~4のいずれか一項に記載の方法。
【請求項6】
前記少なくとも1つの候補造影前画像は、T1強調造影前画像を含み、及び前記候補造影画像は、T1強調画像である、請求項1~5のいずれか一項に記載の方法。
【請求項7】
- 前記少なくとも1つの候補造影前画像は、前記T1強調造影前画像、T2-flair強調造影前画像及びADC造影前マップを含み、
- 前記少なくとも1つの造影前入力画像は、T1強調造影前入力画像、T2-flair強調造影前入力画像及び訓練ADC造影前入力マップを含み、
- 前記低用量造影入力画像は、T1強調造影画像であり、
- 前記標準用量造影画像は、T1強調造影画像であり、
- 前記合成造影画像は、合成T1強調造影画像である、請求項6に記載の方法。
【請求項8】
前記CNNは、エンコーダブランチ、それに続くデコーダブランチを含み、前記エンコーダブランチと前記デコーダブランチとの間にスキップ接続がある、請求項1~7のいずれか一項に記載の方法。
【請求項9】
第1のサーバ(1a)のデータプロセッサ(11a)により、前記低用量の造影剤の注入前、注入後及び前記標準用量の造影剤の注入後の身体部分をそれぞれ表す少なくとも1つの訓練造影前画像、第1の訓練造影画像及び第2の訓練画像のシーケンスのベースから前記CNNを訓練する事前ステップを含む、請求項1~8のいずれか一項に記載の方法。
【請求項10】
コンピュータプログラム製品であって、前記コンピュータプログラムがコンピュータ上で実行されるとき、請求項1~9のいずれか一項に記載の医療撮像の方法を実行するためのコード命令を含むコンピュータプログラム製品。
【請求項11】
請求項1~9のいずれか一項に記載の医療撮像の方法を実行するためのコード命令を含むコンピュータプログラム製品が格納されているコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の分野は、機械学習/ディープラーニングの分野である。
【0002】
より詳細には、本発明は、第1の標準用量の造影剤の注入前及び注入後の身体部分をそれぞれ表す少なくとも造影前画像及び造影画像を処理する方法、特に標準用量よりも高い第2の用量の造影剤の注入後の前記身体部分をシミュレートする合成造影画像を生成する方法に関する。
【背景技術】
【0003】
造影剤は、医療撮像で身体内の構造又は流体のコントラストを高めるために使用される物質である。
【0004】
造影剤は、通常、医療撮像デバイスによって放出される外部放射線を吸収又は変性する。X線では、造影剤は、標的組織又は構造の放射線密度を高める。MRIでは、造影剤は、身体組織内の核の緩和時間を変更して、画像のコントラストを変える。
【0005】
造影剤は、病変の視認性を高めるために一般に使用され、とりわけ、神経膠腫、脳転移、髄膜腫などの脳腫瘍の初期診断及び治療計画のための神経画像診断で使用される。
【0006】
T2及びT1効果をそれぞれ活用する動的磁化率コントラスト(DSC)及び動的コントラスト増強(DCE)は、MRIに関する最も一般的な2つの技法である。いずれの場合にも、ガドリニウムベースの造影剤(GBCA)が患者に静脈注射され、画像の時間的シーケンスを取得するために高速の反復撮像が行われる。
【0007】
GBCAの注入により、MRIの感度が高まり、例えばより小さい悪性結節の同定、より早期の治療開始が可能になり、患者の生存率及び生活の質を向上させる。MRIの感度をさらに高めるための1つの解決策は、GBCAの注入量を増やすことである。
【0008】
しかし、予防的な考慮に基づいて、近年の臨床ガイドラインでは、十分なコントラスト増強を実現する最小限の投与量の使用が推奨されており、したがってGBCAの使用をできるだけ少なくすべきである。
【0009】
それにもかかわらず、MRIコントラスト及びMRIの病変検出性能を改良するための3つの補完的な研究の道筋を特定することができる。
- 第1に、改良された化学特性を備える新たな造影剤は、注入されるガドリニウム用量を増加することなく画像コントラストを改良することができる可能性がある。しかし、そのような造影剤は、依然として試験中であり、GBCAよりもさらに高価になる可能性がある。
- 第2に、造影剤の有無にかかわらず、新規のMRIシーケンスは、通常のコントラスト増強T1シーケンスを置き換えるか又は補完する可能性がある。特に、可変フリップ角(TSE)を有するターボスピンエコーT1シーケンスは、グラディエントエコー(GRE)シーケンスよりも感度が高いことが実証されており、現在、脳腫瘍画像診断で推奨されているが、モーションアーチファクトを助長し得るより長い最小スキャン時間に加えて、いくつかの質的な制限も認識されている。
- 第3に、腫瘍を自動的に検出して描写するために、有望なディープラーニングアプローチが一層提案されており、実質的に瞬時の読影時間で均一な一定の精度レベルを得られる可能性を秘めている。しかし、これらのディープラーニングアルゴリズムは、依然として研究段階であり、それらの性能は、直ちに大規模に展開するには不十分である。
【発明の概要】
【発明が解決しようとする課題】
【0010】
したがって、コントラスト増強医療撮像に関する感度をさらに改良するための新規の方法が依然として求められている。
【課題を解決するための手段】
【0011】
これらの目的のために、本発明は、医療撮像の方法において、第2のサーバのデータプロセッサにより、
(a)(i)第1の用量の造影剤の注入前及び注入後の身体部分をそれぞれ表す少なくとも1つの候補造影前画像及び候補造影画像であって、造影剤の第1の用量は、造影剤の低用量よりも高く、及び低用量は、造影剤の標準用量よりも低い、少なくとも1つの候補造影前画像及び候補造影画像と、(ii)畳み込みニューラルネットワーク、CNNであって、低用量の造影剤の注入前及び注入後の身体部分をそれぞれ表す少なくとも1つの造影前入力画像及び低用量造影入力画像から、標準用量の造影剤の注入後の身体部分を表す標準用量造影画像を再構築するように訓練される、畳み込みニューラルネットワーク、CNNとを取得するステップ、
(b)CNNを少なくとも1つの候補造影前画像及び候補造影画像に適用することにより、合成造影画像を生成するステップ
を行うことを含むことを特徴とする方法を提供する。
【0012】
本発明の好ましいが、非限定の特徴は、以下の通りである。
【0013】
前記低用量は、標準用量の10~50%である。
【0014】
前記低用量は、標準用量の1/5~1/3、好ましくは約25%である。
【0015】
前記第1の用量は、標準用量の少なくとも50%である。
【0016】
前記第1の用量は、標準用量の少なくとも80%、好ましくは標準用量の約100%である。
【0017】
前記第2の用量は、標準用量の少なくとも240%、好ましくは標準用量の320%~400%である。
【0018】
少なくとも1つの候補造影前画像及び候補造影画像は、第2のサーバに接続された医療撮像デバイス、特にMRIスキャナによって取得される。
【0019】
前記少なくとも1つの造影前候補画像は、T1強調造影前画像を含み、及び候補造影画像は、T1強調画像である。
【0020】
前記少なくとも1つの造影前画像は、T1強調造影前画像、T2-flair強調造影前画像及びADC造影前マップを含む3つの候補造影前画像を含む。
【0021】
CNNは、前記低用量の造影剤の注入前及び注入後の身体部分をそれぞれ表すT1強調造影前入力画像及びT2-flair強調造影前入力画像、ADC造影前入力マップ及びT1強調造影入力画像から、前記標準用量の造影剤の注入後の前記身体部分を表すT1強調低用量造影画像を再構築するように訓練される。
【0022】
ステップ(b)は、3つの候補造影前画像及び1つの候補造影画像にCNNを適用して、合成T1強調造影画像を生成することを含む。
【0023】
前記CNNは、エンコーダブランチ、それに続くデコーダブランチを含み、エンコーダブランチとデコーダブランチとの間にスキップ接続がある。
【0024】
この方法は、第1のサーバのデータプロセッサにより、前記低用量の造影剤の注入前、注入後及び前記標準用量の造影剤の注入後の身体部分をそれぞれ表す少なくとも1つの訓練造影前画像、第1の訓練造影画像及び第2の訓練画像のシーケンスのベースから前記CNNを訓練する事前ステップを含む。
【0025】
第2及び第3の態様によれば、本発明は、第1の態様による医療撮像の前記方法を実行するためのコード命令を含むコンピュータプログラム製品及び第1の態様による医療撮像の方法を実行するためのコード命令を含むコンピュータプログラム製品が格納されているコンピュータ可読媒体を提供する。
【0026】
本発明の上記及び他の目的、特徴及び利点は、添付図面と併せて読むことができる本発明の例示的実施形態の以下の詳細な説明から明らかになるであろう。
【図面の簡単な説明】
【0027】
図1】本発明による方法が行われるアーキテクチャの一例を示す。
図2】本発明による方法おけるCNNの訓練パイプライン及び操作パイプラインの一例を示す。
図3】本発明による方法で使用されるCNNの好ましいアーキテクチャを示す。
図4】本発明による方法の一実施形態を示す。
図5】本発明による方法を使用して取得されたT1c及びT1c+コントラスト画像を比較する。
【発明を実施するための形態】
【0028】
アーキテクチャ
本発明は、医療撮像の方法、特に畳み込みニューラルネットワーク、CNNにより、第1の用量の造影剤の注入前及び注入中又は注入後の身体部分をそれぞれ表す少なくとも1つの候補造影前画像及び候補造影画像を処理する方法を提案する。
【0029】
造影前画像又は「プレーン」画像とは、人又は動物に関する造影剤の注入前の所与の(監視対象の)身体部分を表す画像を意味する。造影画像とは、造影剤の注入中又は注入後の前記身体部分を表す画像を意味する。
【0030】
換言すると、画像の時間的シーケンスがある場合、最初の画像は、造影前画像であり、後続の各画像は、造影画像である。造影画像は、所与の位相(例えば、動脈、門脈、遅延など)の画像又は完全動的コントラスト増強(DCE)の画像であり得ることに留意されたい。
【0031】
以下の説明では、脳画像診断の好ましい例を考察する。即ち、前記身体部分は、脳である。
【0032】
画像(造影前又は造影)は、スキャナタイプの医療撮像デバイスによって直接取得されるか又は直接取得された画像から導出される。
【0033】
造影剤の注入による前記撮像は、以下の通りであり得る。
- CT(コンピュータ断層撮影)→医療撮像デバイスは、断層再構築が可能なX線回転スキャナである。
- MRI(磁気共鳴画像法)→医療撮像デバイスは、MRIスキャナである。
- マンモグラフィ→医療撮像デバイスは、X線マンモグラフィ装置である。
- その他。
【0034】
前記画像の取得には、MRI用のガドリニウム(GBCA)などの造影剤又は適切なX線造影剤の注入が必要となり得る。
【0035】
「画像」は、2Dオブジェクト(2つの空間次元を有する)であり得るが、3Dオブジェクト(3つの空間次元を有する)、即ち第3の空間次元に従った「スライス」として2次元画像のスタックから構成されるボリュームでもあり得る(換言すると、2+1の空間次元がある)ことに留意されたい。
【0036】
さらに、複数の造影前画像及び/又は候補造影画像を有し得る。
【0037】
好ましいMRIの実施形態では、少なくともT1強調造影前画像及びT1強調造影画像、特にGRE(グラディエントエコー)T1強調造影前/造影画像を有するが、さらに以下を有し得る。
- T2-flair強調造影前画像(特にTSE(ターボスピンエコー))、及び/又は
- ADC(見かけの拡散係数)造影前マップ(EPI(エコープラナ)DWI(拡散強調)から自動的に変換される)。
【0038】
TSE(ターボスピンエコー)T1強調造影画像も利用可能であるが、本願では使用されないことに留意されたい。
【0039】
上述の方法は、図1に示されるようなアーキテクチャ内で第1及び/又は第2のサーバ1a、1bによって実装される。第1のサーバ1aは、訓練サーバ(CNNの訓練方法を実装)であり、第2のサーバ1bは、処理サーバ(処理方法を実装)である。これら2つのサーバが統合され得ることも十分に可能である。
【0040】
これらのサーバ1a、1bの各々は、典型的には、データ交換のためにインターネットなどの拡張ネットワーク2に接続されたリモートコンピュータ機器である。各サーバは、プロセッサタイプのデータ処理手段11a、11b(特に訓練済みモデルの通常の使用と比較して学習が長く複雑であるため、第1のサーバ1aのデータプロセッサ11aは、強力な計算能力を有する)と、任意選択でコンピュータメモリ、例えばハードディスクなどのストレージ手段12a、12bとを含む。第2のサーバ1bは、処理対象の画像を提供し、パラメータを受け取るクライアント機器としての1つ又は複数の医療撮像デバイス10に接続され得る。
【0041】
撮像デバイス10は、造影剤の注入を行うための注入器を含み、前記注入器は、注入パラメータを適用すると仮定されることに留意されたい。
【0042】
第1のサーバ1aのメモリ12aは、訓練データベース、即ち(正確に処理することが求められるいわゆる入力画像と異なる)訓練画像と呼ばれる画像のセットを格納する。データベースの各画像は、造影前画像又は造影画像であり得、造影画像は、注入された造影剤の用量に関してラベル付けされ得る。同じ注入に対応する(即ち時間的シーケンスを形成する)画像は、シーケンスに関連付けられることに留意されたい。
【0043】
用量最小化CNN
以下の説明では、注入される造影剤の「低用量」及び「標準用量」に言及する。いずれの用量も予め決定されている。便宜上、標準用量の造影剤の注入後の身体部分を表す造影画像を「標準用量造影画像」、低用量の造影剤の注入後の身体部分を表す造影画像を「低用量造影画像」と呼ぶ。
【0044】
標準用量、即ち「フル用量」は、一般的に医療検査に使用される推奨用量である。副作用はあり得るが、そのような用量は患者にとって特に危険ではなく、分析/診断目的に十分な画質レベルを可能にする。GBCAの場合、標準用量は0.1mmol/kgである。
【0045】
低用量、即ち「減少された用量」は、標準用量よりも低く、患者の健康への影響がより少ない用量である。前記低用量は、標準用量の任意の割合であり得、好ましくは標準用量の1/10~1/2(10~50%)、標準用量の1/5~1/3(20~33%)、好ましくは約1/4(25%)である。GBCAの場合、低用量は、例えば、0.025mmol/kg(0.1mmol/kgの25%)である。
【0046】
明らかに、低用量造影画像は、標準用量造影画像よりもコントラストが低い。さらに、x%低用量CE-MRIのコントラスト増強を単純に100/x倍に増幅すると、画質の低下につながり、雑音が広がって構造が不明瞭になる。
【0047】
このCNNは、前記低用量の造影剤の注入前及び注入後の身体部分をそれぞれ表す少なくとも1つの造影前入力画像及び低用量造影入力画像から、前記標準用量の造影剤の注入後の前記身体部分をそれぞれ表す標準用量造影画像を再構築するように訓練される。
【0048】
そのようなCNNは当業者に知られており(例えば、国際公開第2019074938号パンフレット又はAmmari S,Bone A,Balleyguier C,et al.Can Deep Learning Replace Gadolinium in Neuro-Oncology?Invest Radiol 2021;Publish Ah(00):1-9 doi:10.1097/rli.00000000000008を参照されたい)、造影剤の用量を低減することを可能にする。即ち、低用量の造影剤のみの注入前及び注入後の身体部分を表す候補造影前画像及び候補低用量造影画像にCNNを適用することにより、標準用量の注入後の前記身体部分をシミュレートする合成造影画像を生成することができる。
【0049】
別の表現をすると、このCNNは、造影前画像及び低用量造影画像から標準用量造影画像を予測することが可能であり、したがって「用量最小化CNN」と呼ぶことができる。
【0050】
実際、低用量の造影剤を注入するのみで依然として標準用量造影画像の品質を得ることができる。
【0051】
このCNN及び訓練方法の可能な実施形態を以下に述べる。
【0052】
好ましくは、前記CNNは、少なくともT1強調造影前/造影画像(及び場合によりまたT2-flair強調造影前画像及び/又はADC造影前マップ)を入力として使用し、別のT1強調造影画像を出力として使用する。
【0053】
本方法は、造影剤の低用量よりも高く、場合により最大で標準用量の(しかし、それを超えない)「第1の用量」の注入後の身体部分を表す候補造影画像に用量低減CNNを適用することによって仮想的に用量を増加させるためのこの用量最小化CNNの賢明な使用を提案する。これにより、標準用量よりも高い「第2の用量」、即ち「超用量」の造影剤の注入後の前記身体部分を表すものと考えられる合成造影画像が生成される。
【0054】
その結果、非常に高品質の画像が得られる。これは、(患者にとって危険であり得る)高用量の造影剤が注入されたかのようであるが、現実には標準用量の造影剤のみが注入されている。
【0055】
換言すると、このCNNは、それが実際に訓練されたタスクには使用されない。これは非常に独特である。図2の2つの例示的なパイプラインを参照すると、標準用量造影画像が第1の用量の造影画像として直接使用されている。
【0056】
この図では、T1強調造影前画像が「T1」と表され、T2-flair強調造影前画像が「T2」と表され、ADC造影前マップが「ADC」と表され、低用量T1強調造影画像が「T1c-」と表され、標準用量T1強調造影画像が「T1c」と表され、「超用量」T1強調造影画像が「T1c+」と表されている。
【0057】
CNNが主に造影前の入力と造影後の入力とのコントラストの差を増幅するように学習したという仮説の下で、推論時にT1c-画像をT1c画像に置き換えることで、ほぼ4倍の用量のT1c+画像を合成することができると予想された。
【0058】
例えば、低用量(Dc-)が標準用量(D)のx%であると仮定すると、D=x/100×Dとなる。
【0059】
同じCNNが使用されるため、第1及び第2の用量(D、D)は同じ式で書くことができる。即ち、D=x/100×Dである。
【0060】
したがって、Dc-<D≦<D
x/100×D<x/100×D≦D
<D2≦100/x×D及びDc+=100/x×D
となる。
【0061】
その結果、低用量が標準用量の25%である実施形態では、標準用量が第1の用量として使用される場合、第2の用量は、標準用量の400%に達することがある(図2を参照されたい)。換言すると、標準用量が0.1mmol.kgの場合、第2の用量は0.4mmol/kg(0.3mmol/kgの仮想補充注入)に達することがあり、これが「超用量」と呼ばれる理由である。
【0062】
前記第1の用量は、有利には標準用量の少なくとも80%であり、好ましくは標準用量の約100%であることに留意されたい。これは、第2の用量が、典型的には標準用量の少なくとも160%(80%/50%)、好ましくは少なくとも240%(80%/33%)、好ましくは標準用量の320%~400%(80%/25%~100%/25%)であることを意味する。
【0063】
3次元UNet
図3は、U-Netタイプの用量最小化CNNの例示的なアーキテクチャを示す。3次元の造影前/造影画像の場合、CNN自体は、図2の例のように3次元ネットワークであり、4次元の特徴マップを処理することに留意されたい。
【0064】
U-Netは、エンコーダ-デコーダタイプのニューラルネットワークである。U-Netは、入力(少なくとも1つの造影前画像及び低用量画像/第1の用量の画像)を高レベル表現にマッピングするエンコーダブランチ(又は「収縮パス」)と、次いで高レベル表現から出力画像(標準用量画像/第2の用量の画像)を生成するデコーダブランチ(又は「拡張パス」)とを含む。
【0065】
U-Netは、エンコーダブランチとデコーダブランチとの間にスキップ(又は「ラテラル」)接続をさらに含む。
【0066】
エンコーダブランチはバックボーンとして作用し、多くのタイプのものであり得る従来の特徴抽出ネットワークとみなすことができ、特に従来のCNN、好ましくは完全畳み込みニューラルネットワーク(畳み込み層とReLU(正規化線形ユニット)などの非線形層との直接連続するブロック。これは、特に残差畳み込みブロックとストライド畳み込みブロックとを交互にしてダウンサンプリングする)である。エンコーダブランチは、入力画像から、様々なスケールで入力画像を表す複数の初期特徴マップを抽出する。より正確には、バックボーンは、複数の連続する畳み込みブロックからなり、第1のブロックは、入力から第1の初期特徴マップを生成し、第2のブロックは、第1の初期特徴マップから第2の初期特徴マップを生成し、以下同様である。
【0067】
畳み込みニューラルネットワークでは、マップが連続するにつれてスケールが小さくなっていく(換言すると、解像度が低下し、特徴マップが「より小さく」なり、したがって詳細度がより低くなる)が、より一層高レベルの画像構造がキャプチャされているため、セマンティック深さが増していくと従来理解されている。具体的には、初期特徴マップは、空間サイズが減少するにつれて増加するチャネル数を有する。
【0068】
実際には、2つのブロック間にプーリング層が配置されてスケールを2分の1にし(典型的には、3D画像の場合にはダウンサンプリングのためにストライド2で2×2×2畳み込み)、ブロックごとに、使用される畳み込み層のフィルタの数(一般に3×3×3畳み込み)が増加される(好ましくは倍化される)。
【0069】
5レベルの標準U-Netでは、例えば、連続するチャネル数は32、64、128、256及び512であり、連続するマップ空間サイズ(160×192×160の入力画像の場合)は160×192×160、80×96×80、40×48×40、20×24×20、10×12×10である。入力は、既に4つのチャネル、即ち3つの造影前画像(T1、T2-flair、ADC)と1つの造影画像(訓練ではT1c-、動作ではT1c)とを有し、出力は、単一チャネル(訓練ではT1c、動作ではT1c+)を有することが分かる。
【0070】
エンコーダブランチによって得られた特徴マップは、デコーダブランチによって再処理されるため、初期マップと呼ばれる。実際、説明したように、「低レベル」マップは、より高い空間解像度を有するが、セマンティック深度が浅い。デコーダブランチは、「高レベル」マップからの情報を組み込むことにより、セマンティック深度を高めることを目的とする。
【0071】
したがって、CNNの前記デコーダブランチは、エンコーダブランチと対称的なアーキテクチャを有する。デコーダブランチは、初期特徴マップから、ここでも異なるスケールで入力画像を表す複数のエンリッチ化特徴マップを生成するが、チャネルの数を減少しながら、より小さい又は等しいスケールの初期特徴マップからの情報を組み込む。
【0072】
換言すると、デコーダブランチも、複数の連続する畳み込みブロックからなるが、順序が逆であり、例えば、第2のブロックが第3のエンリッチ化特徴マップと第2の初期特徴マップから第2のエンリッチ化特徴マップを生成した後に、第1のブロックが、第2のエンリッチ化特徴マップと第1の初期特徴マップから第1のエンリッチ化特徴マップ(そこから出力画像を直接生成することができる)を生成する。デコーダブランチも、好ましくは、完全畳み込みニューラルネットワーク(畳み込み層とReLUなどの非線形層との直接連続するブロック、これは、特に残差畳み込みブロックとストライド畳み込みブロックとを交互にしてアップサンプリングする)である。
【0073】
より詳細には、第iのエンリッチ化マップは、それぞれ対応する第iの初期マップのスケール(即ちほぼ同じ空間サイズ)を有するが、各j≧iについて、すべての第jのマップの情報を組み込む。実際には、第iのエンリッチ化マップDiは、それぞれ対応する第iの初期マップEi及び/又は次の(第i+1の)エンリッチ化マップに従って生成され、したがって、ブランチの「収縮及び拡張」の性質(即ち「U」形状)が得られる。即ち、初期マップは、昇順で得られ、エンリッチ化マップは、降順で得られる。
【0074】
実際、最大のセマンティックレベルは「最小スケール」マップで得られ、そこから、各マップは、既にエンリッチ化されたマップの情報を用いて、再び下る途中でエンリッチ化される。エンコーダブランチとデコーダブランチとの間のスキップ接続により、デコーダブランチに様々な初期マップが提供される。
【0075】
典型的には、対応する初期マップとより小さいスケールのエンリッチ化マップとに基づくエンリッチ化マップの生成は、エンリッチ化マップの再スケーリング、通常はスケールの倍化(エンコーダブランチでスケールが半分にされている場合)を含み、即ちエンリッチ化特徴マップを2×2×2畳み込みでアップサンプリングして(「アップコンボリューション」)、特徴チャネルの数を半分にし、次いで、対応する初期マップEi(不要な部分をトリミングして、両方のマップが実質的に同じスケールにされる)と連結して、チャネルの数を再び倍化にし、ブロックごとに、使用される畳み込み層(通常は3×3×3畳み込み)のフィルタの数が再び減少される(好ましくは、さらに半分にされる)。
【0076】
ダウンサンプリング及びアップサンプリング畳み込みブロックは、2×2×2カーネルに依拠し、すべての他のカーネルは、最後の1×1×1畳み込みを除いて3×3×3である。最後のシグモイドを除くすべての活性化関数が、0.2である(LeakyReLU)。
【0077】
本発明は、特定のU-Netアーキテクチャに限定されないことに留意されたい。前記低用量の造影剤の注入前及び注入後の身体部分をそれぞれ表す少なくとも1つの訓練造影前画像及び訓練造影画像から、前記標準用量の造影剤の注入後の前記身体部分を表す訓練造影画像を再構築するように訓練された任意のCNNが適切であり得る。
【0078】
訓練について以下で述べる。
【0079】
医療撮像の方法
図4によって示されるように、本発明による方法は、好ましくは第2のサーバ1bに接続された医療撮像デバイス10から、処理対象の前記造影前画像及び造影画像(候補造影前画像及び造影画像と呼ばれる)、特にT1強調造影前画像/造影画像を取得するステップ(a)から始まる。
【0080】
候補造影前画像及び候補造影画像は、それぞれ第1の用量の造影剤の注入前及び注入後の身体部分を表し、前記第1の用量は所定の低用量よりも高く、所定の低用量は所定の標準用量よりも低い。
【0081】
好ましいMRIの実施形態では、ステップ(a)は、3つの候補造影前画像(候補T1強調造影前画像、候補T2-flair強調造影前画像及び候補ADC造影前マップ)を取得することを含む。
【0082】
このステップ(a)は、第2のサーバ1bのデータプロセッサ11bによって及び/又は医療撮像デバイス10によって実行され得ることに留意されたい。
【0083】
第2のサーバ1bのデータプロセッサ11bによって実行される主要ステップ(b)では、候補造影前画像及び候補造影画像にCNNが適用されて、標準用量よりも高い第2の用量の造影剤の注入後の前記身体部分をシミュレートすると考えられる合成造影画像が生成される。
【0084】
好ましいMRIの実施形態では、3つの候補造影前画像及び1つの候補造影画像にCNNが適用される。
【0085】
訓練方法
この方法は、有利には、第1のサーバ1aのデータプロセッサ11aによって実行されるCNNを訓練する事前ステップ(a0)を含む。
【0086】
訓練とは、CNNのパラメータ及び重みの最適値を決定することを意味する。代替として、パラメータ及び重みの事前設定値を使用してCNNを「既製品(off the shelf)」として直接採用することもできることに留意されたい。
【0087】
前記訓練方法は、従来技術に従って行うことができ、当業者に知られている任意の適切な訓練プロトコルを使用することができる。
【0088】
ここで、CNNは、その本来の「用量最小化」タスクを行うように訓練されていることを理解されたい。即ち、CNNは、前記低用量の造影剤の注入前及び注入後の身体部分をそれぞれ表す少なくとも1つの訓練造影前画像及び訓練造影画像から、前記標準用量の造影剤の注入後の前記身体部分を表す訓練造影画像を再構築するように訓練される。
【0089】
実際、低用量よりも高い第1の用量の造影剤の注入前及び注入後の身体部分をそれぞれ表す少なくとも1つの訓練造影前画像及び訓練造影画像から、標準用量よりも高い第2の用量の造影剤の注入後の前記身体部分をシミュレートする合成造影画像を生成するようにCNNを直接訓練することは不可能である。そのような訓練には、第2の用量の注入後の訓練画像が必要であり、それにより、注入される総投与量が、最新の臨床ガイドラインで推奨されている投与量よりも高くなる。
【0090】
対照的に、「用量最小化」タスクを学習するために、訓練ベースは、前記低用量の造影剤の注入前、注入後及び前記標準用量の造影剤の注入後の身体部分をそれぞれ表す少なくとも1つの訓練造影前画像(説明したように場合により3つの造影前画像が存在し得る)、「初期」訓練造影画像(低用量の造影画像)及び「最終」訓練造影画像(標準用量の造影画像)の複数のシーケンスを含んでいればよい。
【0091】
CNNは、同じシーケンスの訓練造影前画像及び初期造影画像から、最終訓練造影画像(グラウンドトゥルースとして)を予測するように訓練される。
【0092】
より詳細には、訓練例を生成するために、前記標準用量の造影剤の注入後の身体部分を表す造影画像を取得するための通常のプロトコルを行うが、標準用量の投与は、単純に2回の連続する注入に分割される。即ち、(1)低用量、及び(2)低用量と標準用量との差であり、例えば説明したようにGBCAの0.025mmol/kgと0.1-0.025=0.075mmol/kgである。その間に「初期」造影画像として追加の造影画像が取得され、この画像は、実際に、前記低用量の造影剤の注入後の身体部分を表す。2回注入MRIプロトコルは、近年、神経膠腫画像診断のためのコンセンサスガイドラインに含まれており、最初の注入は、後で行われ得る灌流シーケンスのためのプレロードボーラス(preload bolus)の役割を果たすことに留意されたい。したがってこれは無害である。
【0093】
要約すると、患者に関して、
- 造影前画像が取得される;
- 低用量が注入され、第1の造影画像が取得される;
- 標準用量と低用量との差が注入され(患者が合計で標準用量を投与される)、第2の造影画像が取得される;
- 造影前画像のシーケンス。2つの連続する造影画像が、訓練例としてラベル付けされる。
【0094】
テスト
図5は、脳転移又は神経膠腫のいずれかのテストサンプルからの4つの例示的なMRI検査に関するT2-Flair、T1c、T1c+及びtse-T1c画像を示す。T1c+画像(合成の超用量造影画像)は優れた品質を示し、読影がより容易であることが分かる。
【0095】
表1は、テストサンプルの79の検査からのT1c、T1c+及びtse-T1c画像の平均画像品質(IQ)スコアを報告する。評価は、1(不良)から4(優秀)までの4点リッカート尺度で表される。括弧内には標準偏差が与えられている。読影者間及び造影後MRI画像間の相違は、両側t検定を使用して比較され、p値が報告される。5%の有意性しきい値が満たされるとき、最良の指標は太字を用いて強調される。
【0096】
この表は、T1c画像とtse-T1c画像とで品質の相違が見られなかったとき、合成されたT1c+画像が、それらの全体的な画質について2人の読影者(それぞれ10年及び11年の経験を有する神経放射線科医)によって優先されたことを示す。読影者間の平均では、T1c及びtse-T1cは、2.7/4(平均~良好)と評価され、T1c+は、3.4/4(良好~優秀)と評価された。
【0097】
【表1】
【0098】
表2は、少なくとも1つの参照病変があるテストサンプルの52の検査からの、T1c、T1c+及びtse-T1c画像に関する平均コントラスト対雑音比(CNR)、病変対脳比(LBR)及びコントラスト増強率(CEP)性能指標を報告する。括弧内に標準偏差が与えられている。読影者間及び造影後MRI画像間の相違は、両側t検定を使用して比較され、p値が報告される。5%の有意性しきい値が満たされるとき、最良の指標は太字を用いて強調される。
【0099】
合成されたT1c+画像は、平均CNRが44.5、LBRが1.66、CEPが112.4%であり、考慮されたすべての指標に関してT1c画像とtse-T1c画像の両方を上回っている。
【0100】
【表2】
【0101】
最後に、T1c画像を読んだ場合と、それに対応する後処理されたT1c+画像を合わせて読んだ場合とに到達した平均病変検出性能を比較した。両方の読影シナリオにおいて、造影前のT2-Flair画像も読影者に利用可能であった。T2-Flair、T1c及びtse-T1c画像へのアクセスを伴う読影では、長軸長の中央値が9.2mm(四分位範囲10.7mm)の187個の参照病変が定義された。含まれる最小病変サイズ(10mm、5mm又は0mm。この場合、すべての病変が考慮される)に応じて、3つの枝分かれ評価構成が考慮された。
【0102】
T1c+画像へのアクセスにより、すべての評価構成で両方の読影者での病変検出感度(SE)が高まった。読影者間の平均では、T1c+画像が利用可能であるときの全体的なSEは75%(T1c画像のみでは59%、P<.001)、5mmよりも大きい病変については85%(T1cでは70%、P<.001)、10mmよりも大きい病変については96%(T1cでは88%、P=.008)であった。FDR(誤検出率)に関して、読影者、読影シナリオ、評価構成にわたって0.19/検査未満であり、相違は、見られなかった。SE又はFDRのいずれについても、読影者間で相違が見られなかった。
【0103】
PPVは、すべての構成で90%よりも高かった。読影者間の平均では、2つの読影シナリオ間で、PPVの定量差は最大で3%であった。F1は、10mmよりも大きい病変では、読影者及び読影にわたって90%よりも高く、5mmよりも大きい病変では80%よりも高く、すべての病変が含まれたときに70%よりも高かった。読影者間の平均では、T1c+が読影者に利用可能であったとき、考慮される病変サイズの範囲に応じて4%~11%のマージンでF1が高かった。
【0104】
コンピュータプログラム製品
第2及び第3の態様では、本発明は、本発明の第1の態様による方法を(特に第1及び/又は第2のサーバ1a、1bのデータプロセッサ11a、11b上で)実行するためのコード命令を含むコンピュータプログラム製品及びこのコンピュータプログラム製品を含むコンピュータ機器によって可読なストレージ手段(第1又は第2のサーバ1a、1bのメモリ)とを提供する。
図1
図2
図3
図4
図5
【国際調査報告】