特表 2023-540950 病変セグメンテーションのためのアテンションを伴うマルチアーム機械学習モデル

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-09-27

(54)【発明の名称】病変セグメンテーションのためのアテンションを伴うマルチアーム機械学習モデル

(51)【国際特許分類】

   A61B 5/055 20060101AFI20230920BHJP

   G06T 7/00 20170101ALI20230920BHJP

   G06V 10/82 20220101ALI20230920BHJP

【ＦＩ】

A61B5/055 380

G06T7/00 350C

G06T7/00 612

G06V10/82

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023514392

(86)(22)【出願日】2021-08-26

(85)【翻訳文提出日】2023-04-24

(86)【国際出願番号】 US2021047632

(87)【国際公開番号】W WO2022051155

(87)【国際公開日】2022-03-10

(31)【優先権主張番号】63/074,354

(32)【優先日】2020-09-03

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】509012625

【氏名又は名称】ジェネンテック， インコーポレイテッド

(71)【出願人】

【識別番号】514099673

【氏名又は名称】エフ・ホフマン－ラ・ロシュ・アクチェンゲゼルシャフト

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】ソン， チョアン

(72)【発明者】

【氏名】ベングトソン， ニルス グスタフ トーマス

(72)【発明者】

【氏名】カラノ， リチャード アラン デュレイ

(72)【発明者】

【氏名】クレイトン， デーヴィッド ビー．

(72)【発明者】

【氏名】チャンピオン デ クレスピニー， アレクサンダー ジェームズ スティーブン

(72)【発明者】

【氏名】ガエターノ， ローラ

(72)【発明者】

【氏名】クリシュナン， アニサ プリヤ

【テーマコード（参考）】

4C096

5L096

【Ｆターム（参考）】

4C096AA03

4C096AA04

4C096AB38

4C096AC01

4C096AD14

4C096DC20

4C096DC36

4C096DC40

5L096AA09

5L096BA06

5L096BA13

5L096DA01

5L096HA11

5L096KA04

(57)【要約】

本明細書に開示される実施形態は、一般に、病変検出のためのマルチアーム機械学習モデルに関する。特に、本開示の態様は、三次元磁気共鳴イメージング（ＭＲＩ）画像にアクセスすることに関する。三次元ＭＲＩ画像のそれぞれは、被験者の脳の同じ塊を表示する。脳の塊は、１つ以上の病変の少なくとも一部を含む。三次元ＭＲＩ画像の各三次元ＭＲＩ画像は、機械学習モデルの１つ以上の対応するエンコーダアームを使用して処理され、三次元ＭＲＩ画像の符号化を生成する。三次元ＭＲＩ画像の符号化は、連結表現を生成するために連結される。連結表現は、病変の少なくとも一部を表示すると予測された脳の塊の１つ以上の部分を特定する予測を生成するために、機械学習モデルのデコーダアームを使用して処理される。
【選択図】図１

【特許請求の範囲】

【請求項1】

コンピュータ実装方法であって、
複数の三次元磁気共鳴イメージング（ＭＲＩ）画像にアクセスすることであって、前記複数の三次元ＭＲＩ画像のそれぞれが、被験者の脳の同じ塊を表示し、第１の三次元ＭＲＩ画像が、第２の三次元ＭＲＩ画像を生成するために使用される第２のタイプのＭＲＩシーケンスとは異なる第１のタイプのＭＲＩシーケンスを使用して生成された、複数の三次元磁気共鳴イメージング（ＭＲＩ）画像にアクセスすることと、
前記複数の三次元ＭＲＩ画像の各三次元ＭＲＩ画像について、機械学習モデルの１つ以上の対応するエンコーダアームを使用して前記三次元ＭＲＩ画像を処理して、前記三次元ＭＲＩ画像の符号化を生成することと、
前記複数の三次元ＭＲＩ画像の前記符号化を連結して連結表現を生成することと、
前記機械学習モデルのデコーダアームを使用して前記連結表現を処理して、病変の少なくとも一部を表示すると予測された前記脳の塊の１つ以上の部分を特定する予測を生成することと
を含む、コンピュータ実装方法。

【請求項2】

前記複数の三次元ＭＲＩ画像の各三次元ＭＲＩ画像について、前記三次元ＭＲＩ画像の前記符号化の解像度よりも低い解像度を有するダウンサンプリングされた符号化を生成することと、
前記複数の三次元ＭＲＩ画像の各三次元ＭＲＩ画像について、１つ以上の対応する符号化アームの１つ以上の層を使用して前記ダウンサンプリングされた符号化を処理することと、
前記ダウンサンプリングされた符号化を連結して別の連結表現を生成することであって、前記予測が、前記機械学習モデルの前記デコーダアームを使用する前記別の連結表現の処理にさらに基づく、別の連結表現を生成することと
をさらに含む、請求項１に記載のコンピュータ実装方法。

【請求項3】

前記機械学習モデルが、Ｕ－Ｎｅｔ機械学習モデルを含む、請求項１または２に記載のコンピュータ実装方法。

【請求項4】

前記機械学習モデルが、１つ以上のスキップアテンションモジュールを含み、前記１つ以上のスキップアテンションモジュールのそれぞれが、同じ解像度で、前記機械学習モデルの前記符号化アームの符号化ブロックを前記デコーダアームのデコーダブロックに接続する、請求項１～３のいずれか一項に記載のコンピュータ実装方法。

【請求項5】

前記スキップアテンションモジュールの各スキップアテンションモジュールが、前記三次元ＭＲＩ画像の前記解像度で、前記連結表現の入力および前記別の連結表現のアップサンプリングされた符号化を受信し、前記予測が、前記機械学習モデルの前記デコーダアームを使用して前記スキップアテンションモジュールからのスキップ特徴符号化の出力を処理することにさらに基づく、請求項４に記載のコンピュータ実装方法。

【請求項6】

前記１つ以上のスキップアテンションモジュールが、関連する高次元特徴が利用できない場合に、前記スキップアテンションモジュールのスキップを容易にするための前記スキップアテンションモジュールの入力と出力との間の残差接続を含む、請求項５に記載のコンピュータ実装方法。

【請求項7】

前記機械学習モデルが、重み付きバイナリ交差エントロピー損失および／またはＴｖｅｒｓｋｙ損失を使用して訓練された、請求項１～６のいずれか一項に記載のコンピュータ実装方法。

【請求項8】

前記機械学習モデルが、前記機械学習モデルの複数の深度のそれぞれにおいて計算された損失を使用して訓練された、請求項１～７のいずれか一項に記載のコンピュータ実装方法。

【請求項9】

前記第１のタイプのＭＲＩシーケンスが、Ｔ１、Ｔ２および流体減衰反転回復（ＦＬＡＩＲ）のシーケンスセットからのシーケンスを含み、前記第２のタイプのＭＲＩシーケンスが、前記シーケンスセットからの別のシーケンスを含む、請求項１～８のいずれか一項に記載のコンピュータ実装方法。

【請求項10】

前記予測を使用して病変の数を決定することをさらに含む、請求項１～９のいずれか一項に記載のコンピュータ実装方法。

【請求項11】

前記予測を使用して１つ以上の病変サイズまたは病変負荷を決定することをさらに含む、請求項１～１０のいずれか一項に記載のコンピュータ実装方法。

【請求項12】

以前のＭＲＩに対応するデータにアクセスすることと、
前記予測および前記データを使用して１つ以上の病変の量、サイズまたは累積サイズの変化を決定することと、
前記変化を表す出力を生成することと
をさらに含む、請求項１～１１のいずれか一項に記載のコンピュータ実装方法。

【請求項13】

前記予測に基づいて治療戦略を変更することを推奨することをさらに含む、請求項１～１２のいずれか一項に記載のコンピュータ実装方法。

【請求項14】

前記予測に少なくとも部分的に基づいて、前記被験者の多発性硬化症の可能な診断または確認された診断に対応する出力を提供することをさらに含む、請求項１～１３のいずれか一項に記載のコンピュータ実装方法。

【請求項15】

前記予測に少なくとも部分的に基づいて、前記被験者を多発性硬化症と診断することをさらに含む、請求項１～１４のいずれか一項に記載のコンピュータ実装方法。

【請求項16】

システムであって、
１つ以上のデータプロセッサと、
命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令が、前記１つ以上のデータプロセッサ上で実行されると、前記１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部を実行させる、非一時的コンピュータ可読記憶媒体と
を備える、システム。

【請求項17】

１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、米国仮特許出願番号第６３／０７４，３５４号（２０２０年９月３日出願）の利益および優先権を主張し、あらゆる目的のためにその全体が参照により本明細書に組み込まれる。

【背景技術】

【0002】

背景
多発性硬化症（ＭＳ）は、中枢神経系に影響を及ぼす疾患である。疾患の結果としてＭＳを有する被験者の脳に病変が形成される。大部分の時間において、ＭＳは、最初は再発寛解型ＭＳとして現れ、これは、空間および時間の分離を特徴とする。例えば、被験者は、異なる身体領域および／または異なる機能系に影響を及ぼしている複数の症候性エピソードを経験することがある。別の例として、被験者は、中枢神経系の異なる部分の病変を経験することがある。さらに別の例として、被験者は、症状を経験し、系に対応しない脳領域に病変を有することがある。経時的に、ＭＳ被験者の病変サイズおよび数は頻繁に増加し、疾患の悪化を反映する。再発寛解型ＭＳは、典型的には、最終的には二次性進行型ＭＳに進行し、その間に症状および脳の健康の漸進的な悪化が、別個の症候性再発および回復エピソードではなく観察される。原発性進行型ＭＳも同様に、漸進的な症状の悪化および脳の分解を特徴とするが、この診断は、以前に再発寛解型を経験していない被験者に限定される。

【0003】

磁気共鳴イメージング（ＭＲＩ）は、（脳サイズ変化を介して）新たな（造影増強された）病変、古い病変、および脳萎縮の視覚化を提供することができる。これらのメトリックは、ＭＳ診断をサポートし、ＭＳの予後を促進し、ＭＳ治療を選択し、ＭＳ治療を評価するための基盤である。ＭＲＩ画像は、特定の画像外観をもたらす無線周波数パルスおよび勾配の特定の設定であるＭＲＩシーケンスを使用して生成される。３つの主要なＭＲＩシーケンスタイプは、Ｔ１シーケンス、Ｔ２シーケンス、および流体減衰反転回復（ＦＬＡＩＲ）シーケンスを含む。

【0004】

Ｔ１ ＭＲＩは、比較的迅速に収集され、構造情報を提供することができる。軸索破壊およびニューロン死を示す黒孔は、Ｔ１画像では暗く見える。Ｔ２ ＭＲＩは、総疾患負荷を示すために頻繁に使用される。新たな病変および古い病変は、これらのスキャンでは高強度領域として現れる。ＦＬＡＩＲ ＭＲＩは、ＦＬＡＩＲ ＭＲＩにおいて心室が暗くなる（Ｔ２ ＭＲＩでは明るい）ことを除いて、Ｔ２ ＭＲＩと同様である。したがって、心室付近に現れる病変（例えば、脳梁における）は、ＦＬＡＩＲ ＭＲＩにおいてより視認可能である。

【0005】

場合によっては、活動性病変の視認性を改善するために１つ以上のＭＲＩスキャンを収集する前に、造影剤（例えば、ガドリニウム）が被験者に（例えば、静脈内）投与される。血液脳関門が無傷である場合、造影剤は、中枢神経系に入らない。血液脳関門が破壊されると、造影剤は、中枢神経系に移動することができ、炎症領域に局在する。造影剤は、Ｔ１ ＭＲＩでは非常に強く見える。

【0006】

従来、放射線科医は、ＭＲＩスキャンに手動で注釈を付ける。しかしながら、シーケンスタイプの違いに加えて異なる深度および視点についてスキャンが収集されることを考えると、注釈を付けるための多くのスキャンがある。さらに、放射線科医全体で注釈に大きなばらつきがある。したがって、効率および一貫性を改善するために、ＭＲＩ画像を処理することができる自動化された技術を特定することが有利であろう。

【発明の概要】

【0007】

概要
いくつかの実施形態では、コンピュータ実装方法が提供される。複数の三次元磁気共鳴イメージング（ＭＲＩ）画像がアクセスされる。複数の三次元ＭＲＩ画像のそれぞれは、被験者の脳の同じ塊を表示する。第１の三次元ＭＲＩ画像は、第２の三次元ＭＲＩ画像を生成するために使用される第２のタイプのＭＲＩシーケンスとは異なる第１のタイプのＭＲＩシーケンス（例えば、Ｔ１、Ｔ２、または流体減衰反転回復（ＦＬＡＩＲ））を使用して生成された。複数の三次元ＭＲＩ画像の各三次元ＭＲＩ画像は、機械学習モデルの１つ以上の対応するエンコーダアームを使用して処理され、三次元ＭＲＩ画像の符号化を生成する。複数の三次元ＭＲＩ画像の符号化は、連結表現を生成するために連結される。連結表現は、病変の少なくとも一部を表示すると予測された脳の塊の１つ以上の部分を特定する予測を生成するために、機械学習モデルのデコーダアームを使用して処理される。

【0008】

いくつかの実施形態では、コンピュータ実装方法は、複数の三次元ＭＲＩ画像の各三次元ＭＲＩ画像について、三次元ＭＲＩ画像の符号化の解像度よりも低い解像度を有するダウンサンプリングされた符号化を生成することをさらに含む。複数の三次元ＭＲＩ画像の各三次元ＭＲＩ画像のダウンサンプリングされた符号化は、１つ以上の対応する符号化アームの１つ以上の層を使用して処理される。ダウンサンプリングされた符号化は連結されて、別の連結表現を生成する。予測は、機械学習モデルのデコーダアームを使用した別の連結表現の処理にさらに基づく。

【0009】

いくつかの実施形態では、機械学習モデルは、Ｕ－Ｎｅｔ機械学習モデルを含む。

【0010】

いくつかの実施形態では、機械学習モデルは、１つ以上のスキップアテンションモジュールを含み、１つ以上のスキップアテンションモジュールのそれぞれは、機械学習モデルの符号化アームの符号化ブロックをデコーダアームのデコーダブロックに同じ解像度で接続する。

【0011】

いくつかの実施形態では、スキップアテンションモジュールの各スキップアテンションモジュールは、三次元ＭＲＩ画像の解像度で、連結表現の入力および別の連結表現のアップサンプリングされた符号化を受信する。予測は、機械学習モデルのデコーダアームを使用してスキップアテンションモジュールからのスキップ特徴符号化の出力を処理することにさらに基づく。

【0012】

いくつかの実施形態では、１つ以上のスキップアテンションモジュールは、関連する高次元特徴が利用できない場合に、スキップアテンションモジュールのスキップを容易にするためのスキップアテンションモジュールの入力と出力との間の残差接続を含む。

【0013】

いくつかの実施形態では、機械学習モデルは、重み付きバイナリ交差エントロピー損失および／またはＴｖｅｒｓｋｙ損失を使用して訓練された。

【0014】

いくつかの実施形態では、機械学習モデルは、機械学習モデルの複数の深度のそれぞれにおいて計算された損失を使用して訓練された。

【0015】

いくつかの実施形態では、第１のタイプのＭＲＩシーケンスは、Ｔ１、Ｔ２およびＦＬＡＩＲのシーケンスセットからのシーケンスを含み、第２のタイプのＭＲＩシーケンスは、シーケンスセットからの別のシーケンスを含む。

【0016】

いくつかの実施形態では、コンピュータ実装方法は、予測を使用して病変の数を決定することをさらに含む。

【0017】

いくつかの実施形態では、コンピュータ実装方法は、予測を使用して１つ以上の病変サイズまたは病変負荷を決定することをさらに含む。

【0018】

いくつかの実施形態では、コンピュータ実装方法は、以前のＭＲＩに対応するデータにアクセスすることをさらに含む。１つ以上の病変の量、サイズ、または累積サイズの変化は、予測およびデータを使用して決定されることができる。変化を表す出力が生成される。

【0019】

いくつかの実施形態では、コンピュータ実装方法は、予測に基づいて治療戦略を変更することを推奨することをさらに含む。

【0020】

いくつかの実施形態では、コンピュータ実装方法は、予測に少なくとも部分的に基づいて、被験者の多発性硬化症の可能な診断または確認された診断に対応する出力を提供することをさらに含む。

【0021】

いくつかの実施形態では、コンピュータ実装方法は、予測に少なくとも部分的に基づいて多発性硬化症を有する被験者を診断することをさらに含む。

【0022】

本開示のいくつかの実施形態は、１つ以上のデータプロセッサを含むシステムを含む。システムは、命令を含む非一時的コンピュータ可読記憶媒体であって、命令が、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部を実行させる、非一時的コンピュータ可読記憶媒体をさらに含むことができる。

【0023】

いくつかの実施形態では、非一時的な機械可読記憶媒体に有形に具現化されたコンピュータプログラム製品が提供される。コンピュータプログラム製品は、１つ以上のデータプロセッサに、本明細書に開示された方法のうちの１つ以上の一部または全部を実行させるように構成された命令群を含むことができる。

【図面の簡単な説明】

【0024】

【図1】様々な実施形態にかかる、複数のアームを有するモデルを使用して画像内の病変の表示をセグメント化するための例示的なコンピューティング環境を示している。

【0025】

【図2】様々な実施形態にかかる病変の表示をセグメント化するために使用される複数のエンコーダアームを含む例示的なモデルを示している。

【0026】

【図3】様々な実施形態にかかる病変の表示をセグメント化するために使用される複数のエンコーダアームを含む別の例示的なモデルを示している。

【0027】

【図4】様々な実施形態にかかる、複数のエンコーダアームを有するモデルを使用して画像内の病変の表示をセグメント化するための例示的なプロセスを示している。

【0028】

【図5A-5B】磁気共鳴イメージング（ＭＲＩ）画像における病変の表示をセグメント化および検出する複数の機械学習モデルの例示的な結果を示している。

【0029】

【図6A-6B】ＭＲＩ画像における病変の表示をセグメント化および検出する複数の機械学習モデルの例示的な結果を示している。

【0030】

【図7】７つの異なる機械学習モデルを使用したＭＲＩ画像における病変表示の検出の例示的な結果を示している。

【0031】

【図8】異なる機械学習モデルを使用した臨床治療中の病変数予測の例示的な結果を示している。

【発明を実施するための形態】

【0032】

Ｉ．概要
本開示は、医用画像の自動病変セグメンテーションのための技術を説明する。より具体的には、本開示の実施形態は、訓練されたマルチアーム機械学習ネットワークを使用して医用画像内の病変の表示をセグメント化するための技術を提供する。いくつかの実施形態では、アテンションを有する機械学習モデルが使用されて、三次元磁気共鳴イメージング（ＭＲＩ）画像内の病変をセグメント化することができる。

【0033】

ＭＲＩ画像は、典型的には、ＭＲＩ画像に表示された病変を特定するために手動または半手動で注釈付けされる。しかしながら、シーケンスタイプの違い（Ｔ１、Ｔ２、および流体減衰反転回復（ＦＬＡＩＲ））に加えて異なる深度および視点についてスキャンが収集されることを考えると、注釈付けするための多くのスキャンが存在することが多い。さらに、アノテータにわたって注釈に高度な変動性があることが多い。したがって、手動または半手動のアプローチは、病変検出のための次善の効率および一貫性をもたらすことがある。

【0034】

これらの制限および問題に対処するために、本開示のいくつかの実施形態における自動化されたオブジェクトセグメンテーションのための技術は、病変の表示をセグメント化するために訓練されたマルチアーム深層学習ネットワークを利用する。例えば、データ処理システムは、それぞれが被験者の脳の同じ塊を示す複数の三次元ＭＲＩ画像にアクセスする。脳の塊は、１つ以上の病変の少なくとも一部を含む。三次元ＭＲＩ画像のそれぞれは、異なるタイプのＭＲＩシーケンス（例えば、Ｔ１、Ｔ２、またはＦＬＡＩＲ）を使用して生成される。データ処理システムは、機械学習モデルの１つ以上の対応するエンコーダアームを使用して各三次元ＭＲＩ画像を処理して、三次元ＭＲＩ画像の符号化を生成する。各エンコーダアームは、異なるタイプのＭＲＩシーケンスを処理するように訓練されることができる。データ処理システムは、三次元ＭＲＩ画像の符号化を連結して連結表現を生成し、機械学習モデルのデコーダアームを使用して連結表現を処理して、病変の少なくとも一部を表示すると予測される脳の塊の１つ以上の部分を特定する。病変予測は出力され、下流でさらに分析されることができる。例えば、予測病変表示は、被験者が任意の病変を有するかどうか、被験者が任意の増強病変を有するかどうか、被験者が有する病変の数、被験者が有する増強病変の数、１つ以上の病変のそれぞれの位置（例えば、脳の位置）、１つ以上の増強病変のそれぞれの位置、被験者が有する１つ以上の病変のそれぞれのサイズ、被験者が有する１つ以上の増強病変のそれぞれのサイズ、被験者の累積病変サイズ、被験者の累積増強病変サイズ、および／または被験者の脳塊を予測するために使用されることができる。

【0035】

ＩＩ．医用画像をセグメント化するための技術
画像セグメンテーションは、形状、サイズ、色などの異なる特徴の類似性を示す部分に画像を分離する手順である。病変の表示のセグメンテーションは、身体の領域（例えば、脳）内の病変のサイズおよび位置の視覚化を可能にし、治療の分析の基礎を提供することもできる。病変セグメンテーションのゴールドスタンダードは、長い間手動セグメンテーションであり、これは時間がかかり、労働集約的であり、したがって大規模な研究には適していない。病変セグメンテーションのプロセスを完全にまたは部分的に自動化しようとするかなりの研究が行われてきた。例えば、閾値処理、領域拡大、ファジークラスタリング、ウォーターシェッドアルゴリズムの使用などの画像セグメンテーション技術は、脳の白質（ＷＭ）、灰白質（ＧＭ）、および脳脊髄液（ＣＳＦ）などの正常組織の表示から異常組織（例えば、病変）の表示を分離するために使用されてきた。それにもかかわらず、セグメンテーションのプロセスは、病変の表示の形状、位置、およびサイズの多様性のために依然として困難である。

【0036】

本明細書では、病変の表示をセグメント化するために機械学習モデル（例えば、Ｕ－Ｎｅｔ）の複数の符号化アームを使用するモデルを組み込むエンドツーエンド方法について説明する。治療反応は、他の要因（例えば、再発、進行など）とともに、セグメント化された病変表示に基づいて特徴付けられることができる。開発されたモデルは、三次元スキャンの複雑さ、様々な病変タイプ間の極端な不均衡、および入力画像の異種性（例えば、可変密度およびオブジェクトサイズ）に対応するように考案されている。本明細書で使用される場合、「スキャン」は、被験者の身体を通る単一の平面上の信号のグラフィカル表現である。このモデルは、閾値化法、エッジベースのセグメンテーション法、または領域ベースのセグメンテーション法などの手動介入（例えば、シードの手動選択または境界ボックスの手動特定）に依存する従来のアルゴリズムと同等の病変セグメンテーション性能を有する。

【0037】

ＩＩ．Ａ．例示的なコンピューティング環境
図１は、様々な実施形態にかかる、複数のアームを有するモデルを使用して画像内の病変の表示をセグメント化するための例示的なコンピューティング環境１００（すなわち、データ処理システム）を示している。図１に示すように、この例におけるコンピューティング環境１００によって実行されるセグメント化は、いくつかの段階、すなわち、画像取得段階１０５、モデル訓練段階１１０、セグメンテーション段階１１５、および分析段階１２０を含む。

【0038】

画像取得段階１０５は、被験者の様々な部分の入力画像１３５（例えば、ＭＲＩ画像）を取得するための１つ以上のイメージングシステム１３０（例えば、ＭＲＩイメージングシステム）を含む。イメージングシステム１３０は、ＭＲＩなどの放射線イメージング技術を使用して入力画像１３５を取得するように構成される。イメージングシステム１３０は、イメージングシステム１３０のそれぞれに関連する特性（例えば、輝度、コントラスト、および空間解像度）に基づいて被験者内の様々な構造および機能の間の差を決定し、一連の二次元または三次元画像を生成することができる。一連の二次元画像がスキャナのコンピュータによって収集されると、二次元画像は、被験者または被験者の一部の三次元画像を再構成するためにコンピュータ分析によって一緒にデジタル的に「積層」されることができる。二次元画像および／または再構成三次元入力画像１３５は、基本構造（例えば、器官）ならびに可能性のある病変または異常のより容易な特定および位置特定を可能にする。各二次元画像および／または再構成三次元入力画像１３５は、セッション時間および被験者に対応し、被験者の内部領域を表示することができる。各二次元画像および／または再構成三次元入力画像１３５は、さらに、標準化されたサイズ、解像度、および／または倍率であってもよい。

【0039】

モデル訓練段階１１０は、他の段階によって使用されるべき１つ以上のモデル１４０ａ～１４０ｎ（本明細書では個別にモデル１４０と呼ばれてもよく、まとめてモデル１４０と呼ばれてもよい）を構築して訓練する。モデル１４０は、例えば、初期ニューラルネットワークなどの畳み込みニューラルネットワーク（「ＣＮＮ」）、残差ニューラルネットワーク（「Ｒｅｓｎｅｔ」）、Ｕ－Ｎｅｔ、Ｖ－Ｎｅｔ、シングルショットマルチボックス検出器（「ＳＳＤ」）ネットワーク、または例えば、長期短期記憶（「ＬＳＴＭ」）モデルもしくはゲーティッドリカレントユニット（「ＧＲＵ」）モデルなどのリカレントニューラルネットワーク（「ＲＮＮ」）、またはそれらの任意の組み合わせなどの複数のネットワークを含む機械学習（「ＭＬ」）モデルとすることができる。モデル１４０はまた、三次元ＣＮＮ（「３ＤＣＮＮ」）、動的時間圧伸（「ＤＴＷ」）技術、隠れマルコフモデル（「ＨＭＭ」）など、またはそのような技術のうちの１つもしくは複数の組み合わせ、例えば、ＣＮＮ－ＨＭＭもしくはＭＣＮＮ（マルチスケール畳み込みニューラルネットワーク）など、画像からのオブジェクト検出および／またはセグメンテーションにおいて訓練された任意の他の適切なＭＬモデルとすることができる。コンピューティング環境１００は、異なるタイプの病変の表示をセグメント化するために、同じタイプのモデルまたは異なるタイプのモデルを使用することができる。モデル１４０は、病変の表示のセグメンテーションおよび検出に関連する特徴を生成するためのエンコーダモデルのセットを有するエンコーダアームと、病変予測を生成するためのデコーダアーム１８５とを含むことができる。特定の例では、モデル１４０は、ネットワークを訓練するために、組み合わされた非対称損失関数、例えば、Ｔｖｅｒｓｋｙ損失と重み付きバイナリ交差エントロピー（ｗＢＣＥ）損失との組み合わせによって構築される。

【0040】

この例においてモデル１４０を訓練するために、訓練画像１４５は、デジタル画像を取得し、画像を訓練用の訓練画像１４５ａのサブセット（例えば、９０％）および検証用の訓練画像１４５ｂのサブセット（例えば、１０％）に分割し、訓練画像１４５ａのサブセットおよび訓練画像１４５ｂのサブセットを前処理し、訓練画像１４５ａのサブセットを拡張し、場合によっては、訓練画像１４５ａのサブセットにラベル１５０で注釈を付けることによって生成される。訓練画像１４５ａのサブセットは、１つ以上のイメージングモダリティ（例えば、ＭＲＩ Ｔ１、Ｔ２、プロトン密度（ＰＤ）、またはＦＬＡＩＲ）から取得される。場合によっては、訓練画像１４５ａのサブセットは、１つ以上のイメージングモダリティに関連するデータベース、画像システム（例えば、１つ以上のイメージングシステム１３０）などのデータ記憶構造から取得される。各画像は、１つ以上の病変を表示する。

【0041】

分割は、ランダムに（例えば、９０／１０％または７０／３０％）実行されてもよく、または、分割は、サンプリングバイアスおよびオーバーフィッティングを最小限に抑えるために、Ｋ－分割交差検証、一個抜き交差検証、一群抜き交差検証、入れ子交差検証などのより複雑な検証技術にしたがって実行されてもよい。前処理は、全ての特徴を同じスケール（例えば、同じサイズスケールまたは同じカラースケールまたは彩度スケール）に置くための標準化または正規化を含むことができる。特定の例では、画像は、所定の画素（例えば、２５００画素）の最小サイズ（幅または高さ）または所定の画素（例えば、３０００画素）の最大サイズ（幅または高さ）でサイズ変更され、元のアスペクト比を維持する。

【0042】

増強が使用されて、データセット内に画像の修正バージョンを作成することによって、訓練画像１４５ａのサブセットのサイズを人工的に拡大することができる。画像データ増強は、元の画像と同じクラスに属するデータセット内の画像の変換バージョンを作成することによって実行されることができる。変換は、シフト、フリップ、ズームなどの画像操作の分野からの動作の範囲を含む。場合によっては、動作は、モデル１４０が訓練画像１４５ａのサブセットから利用可能な状況外の状況下で実行することができることを保証するために、ランダム消去、シフト、輝度、回転、ガウスぼかし、および／または弾性変換を含む。

【0043】

注釈付けは、訓練画像１４５ａのサブセットの各画像内の１つ以上の病変の表示の存在を確認し、１つ以上の病変にラベル１５０を提供する、例えば、注釈ソフトウェアを使用して、１つ以上の病変の表示を含むように人間によって確認された領域の周りに境界ボックス（グラウンドトゥルース）またはセグメンテーション境界を描く、１人以上の人間（放射線科医または病理学者などの注釈者）によって手動で実行されることができる。特定の例では、境界ボックスまたはセグメンテーション境界は、病変である確率が５０％を超える事例についてのみ描画されることができる。複数の注釈者によって注釈付けされる画像については、全ての注釈者からの境界ボックスまたはセグメンテーション境界が使用されてもよい。場合によっては、注釈データは、病変の種類をさらに示すことができる。例えば、様々なタイプの病変について、注釈データは、強調、非強調、またはＴ２超強度病変などのタイプを示すことができる。

【0044】

場合によっては、訓練画像１４５のサブセットは、訓練データセット（すなわち、訓練画像１４５ａのサブセット）内に含まれるように注釈者デバイスに送信されてもよい。入力は、（例えば）画像が関心のあるオブジェクト（例えば、病変、器官など）を表示しているかどうか、画像内の表示された病変の数および種類；および画像内の表示された各病変の周囲（境界ボックスまたはセグメンテーション境界）を示すマウス、トラックパッド、スタイラスおよび／またはキーボードを使用して（例えば、放射線科医によって）アノテータデバイスに提供されることができる。注釈者デバイスは、提供された入力を使用して各画像のラベル１５０を生成するように構成されることができる。例えば、ラベル１５０は、画像内に表示された病変の数および／または種類；表示された各病変のタイプ分類；特定の種類の表示された各病変の数；ならびに画像内の１つ以上の特定された病変の周囲および／またはマスクを含むことができる。場合によっては、ラベル１５０は、医用画像上にオーバーレイされた１つ以上の特定された病変の周囲および／またはマスクをさらに含むことができる。

【0045】

場合によっては、モデル１４０は、訓練され、脳の三次元（３Ｄ）パッチのデジタル画像を処理するために使用される。３Ｄパッチは、９６×９６×３２とすることができ、１つ以上の病変の少なくとも一部を表示する第１の部分と、いずれの病変も表示しない第２の部分とを含むことができる。訓練データは、異なるＭＲＩシーケンスタイプを使用して生成された画像を含むことができる。例えば、訓練データセットは、Ｔ１シーケンス、Ｔ２シーケンス、およびＦＬＡＩＲシーケンスを使用して生成された三次元ＭＲＩ画像を含むことができる。訓練データは、病変を表示する部分および病変を表示しない部分のラベルを含むことができる。ラベルは、データベースまたは提供者システムから受信されたデータから受信、特定、または導出されることができる。ラベルデータは、（例えば）単一の画像について、病変の少なくとも一部を表示する画像の部分に関する指示、画像に少なくとも部分的に表示された病変の量、病変の少なくとも一部を表示する画像内の位置（例えば、特定のボクセル）、画像内または画像内の特定の位置に少なくとも部分的に表示された病変のタイプ（例えば、増強病変または非増強病変）などを含むことができる。

【0046】

モデル１４０のエンコーダモデルのセットのそれぞれは、特定のタイプのＭＲＩシーケンスを処理するように訓練されることができる。例えば、第１の機械学習モデルは、Ｔ１シーケンスのＭＲＩ画像について訓練されることができる。第２の機械学習モデルは、Ｔ２シーケンスのＭＲＩ画像について訓練されることができる。第３の機械学習モデルは、ＦＬＡＩＲシーケンスのＭＲＩ画像について訓練されることができる。モデル１４０を訓練するために使用される訓練データは、造影剤が被験者に投与された後に収集されたＭＲＩ画像、１つ以上の造影増強病変の少なくとも一部を示すＭＲＩ画像、造影剤が被験者に投与されることなく収集されたＭＲＩ画像、造影剤が被験者に投与される前に収集されたＭＲＩ画像、および／または造影増強病変を表示しないＭＲＩ画像を含むことができる。例えば、モデル１４０のエンコーダモデルは、造影剤が最近被験者に投与されていない状態で収集された画像のみ、造影剤が最近被験者に投与された後に収集された画像のみ、または双方のタイプの画像のいくつかによって訓練されてもよい。造影剤が投与された後に収集された画像は、場合によっては、血液脳関門が無傷である状況で、および／または所与のスキャンが造影剤が移動した脳領域を表示しない場合、いかなる増強病変も表示しないことがあることが理解されよう。

【0047】

本明細書に開示される機械学習モデル技術は、様々なタイプの病変を検出するために訓練されて使用されることができることが理解されよう。例えば、Ｔ２病変が検出されてもよく、増強Ｔ１病変が検出されてもよいなどである。場合によっては、本明細書で開示される機械学習モデル技術が訓練されて使用され、黒孔を検出することができる。

【0048】

特定の例では、モデル１４０は、重み付きバイナリ交差エントロピー（ｗＢＣＥ）損失またはＴｖｅｒｓｋｙ損失を使用して訓練される。損失関数は、領域の重なり、ボクセル単位の精度、表面の不一致、偽陽性（ＦＰ）、偽陰性（ＦＮ）、およびＡＵＣに対する起こり得るペナルティなどの複数の態様を捕捉することができる。損失関数は、重み付きバイナリ交差エントロピー（ｗＢＣＥ、ボクセル単位の精度を定量化するため）損失またはＴｖｅｒｓｋｙ損失（例えば、領域の重なりについて）とすることができる。Ｔｖｅｒｓｋｙ損失は、予測１８５における偽陽性を減少させることができ、ｗＢＣＥは、より小さな病変を特定するのに役立つことができる。例えば、損失は、ベータが０．７のＴｖｅｒｓｋｙ損失を使用して、偽陽性の寄与を０．７で重み付けし、偽陰性の寄与を０．３で重み付けして計算されることができる。さらに、Ｔｖｅｒｓｋｙ損失とｗＢＣＥ損失との組み合わせが使用されて損失を計算することができる。

【0049】

モデル１４０の訓練プロセスは、モデル１４０のハイパーパラメータを選択することと、モデル１４０の損失または誤差関数を最小化するモデルパラメータ（例えば、重みおよび／またはバイアス）のセットを見つけるために、訓練画像１４５ａのサブセットからモデル１４０に画像を入力する反復動作を実行することとを含む。ハイパーパラメータは、モデル１４０の挙動を制御するために調整または最適化されることができる設定である。ほとんどのモデルは、メモリまたは実行コストなどのモデルの異なる態様を制御するハイパーパラメータを明示的に定義する。しかしながら、モデルを特定のシナリオに適合させるために、追加のハイパーパラメータが定義されることができる。例えば、ハイパーパラメータは、モデルの隠れユニットの数、モデルの学習率、畳み込みカーネル幅、またはモデルのカーネルの数を含むことができる。訓練の各反復は、モデルパラメータのセットを使用する損失または誤差関数の値が、前の反復におけるモデルパラメータの異なるセットを使用する損失または誤差関数の値よりも小さくなるように、（ハイパーパラメータの定義されたセットによって構成された）モデル１４０のモデルパラメータのセットを見つけることを含むことができる。損失または誤差関数は、モデル１４０を使用して推論された出力と、ラベル１５０を使用して画像に注釈付けされたグラウンドトゥルースセグメンテーション境界との間の差を測定するように構築されることができる。

【0050】

モデルパラメータのセットが特定されると、モデル１４０は、訓練されており、訓練画像１４５ｂのサブセット（試験または検証データセット）を使用して検証されることができる。検証プロセスは、Ｋ倍交差検証、リーブワンアウト交差検証、リーブワングループアウト交差検証、ネスト交差検証などの検証技術を使用して訓練画像１４５ｂのサブセットからモデル１４０に画像を入力して、エポックにわたる検証セットにおいて最小損失を有するモデルを選択する反復動作を含む。検証セットが使用されてハイパーパラメータを調整し、最終的にハイパーパラメータの最適なセットを見つけることもできる。最適なハイパーパラメータのセットが得られると、訓練画像１４５ｂのサブセットからの画像の予約された試験セットがモデル１４０に入力されて出力（この例では、１つ以上の病変の表示の周りのセグメンテーション境界）を取得し、Ｂｌａｎｄ－Ａｌｔｍａｎ法およびスピアマンのランク相関係数などの相関技術を使用し、誤差、精度、適合率、再現率、受信者動作特性曲線（ＲＯＣ）などの性能メトリックを計算して、出力がグラウンドトゥルースセグメンテーション境界に対して評価される。

【0051】

理解されるべきであるように、他の訓練／検証機構が想定され、コンピューティング環境１００内に実装されてもよい。例えば、モデルは、訓練されてもよく、ハイパーパラメータは、訓練画像１４５ａのサブセットからの画像上で調整されてもよく、訓練画像１４５ｂのサブセットからの画像は、モデルの性能を試験および評価するためにのみ使用されてもよい。さらに、本明細書に記載の訓練機構は、新たなモデル１４０の訓練に焦点を当てているが、これらの訓練機構はまた、他のデータセットから訓練された既存のモデル１４０を微調整するために利用されることもできる。例えば、場合によっては、モデル１４０は、他のオブジェクトもしくは生物学的構造の画像を使用して、または他の被験者もしくは研究（例えば、ヒト試験またはマウス実験）からの切片から事前訓練されていてもよい。それらの場合、モデル１４０は、転移学習に使用され、入力画像１３５を使用して再訓練／検証されることができる。

【0052】

モデル訓練段階１１０は、エンコーダアームおよびデコーダアームのセットを含む１つ以上の訓練されたセグメンテーションモデル１６５を含む訓練されたモデルを出力する。１つ以上の入力画像１３５は、セグメンテーション段階１１５内の病変セグメンテーションコントローラ１７０によって取得される。様々な例では、入力画像１３５は、三次元ＭＲＩ画像である。三次元ＭＲＩ画像のそれぞれは、被験者の脳の同じ塊を表示する。脳の塊は、１つ以上の病変の少なくとも一部を含む。各三次元ＭＲＩ画像は、完全なＭＲＩ画像の三次元パッチを含む。三次元パッチは、完全な三次元ＭＲＩ画像のボクセルのサブセットとすることができる。場合によっては、第１の三次元ＭＲＩ画像は、第２の三次元ＭＲＩ画像を生成するために使用される第２のタイプのＭＲＩシーケンスとは異なる第１のタイプのＭＲＩシーケンスを使用して生成されることができる。特定の例では、異なるＭＲＩシーケンスを使用して取得された三次元ＭＲＩ画像は、セグメンテーションモデル１６５の別個のエンコーダアームにそれぞれ入力されることができる。

【0053】

場合によっては、三次元ＭＲＩ画像は、セグメンテーションモデル１６５に入力される前に前処理される。例えば、ＦＬＡＩＲ ＭＲＩ画像は、強度再スケーリングおよびｚスコアリングされてもよい。さらに、Ｔ１造影剤前画像に対するＴ１造影剤後画像における病変の強度の増加を捕捉するために、体積が一緒に正規化されることができる（例えば、体積間の強度関係を維持して再スケーリングされる）。双方の体積は、造影剤前スキャンにおける脳の平均および標準偏差を使用してｚスコアリングされてもよい。

【0054】

場合によっては、病変セグメンテーションコントローラ１７０は、エンコーダアームおよびデコーダアームのセットを含む訓練されたセグメンテーションモデル１６５を使用して三次元ＭＲＩ画像を処理するためのプロセスを含む。場合によっては、各三次元ＭＲＩ画像は、訓練されたセグメンテーションモデル１６５の対応するエンコーダアームに入力される。各エンコーダアームは、三次元ＭＲＩ画像の符号化を生成することができる。三次元ＭＲＩ画像の符号化の解像度よりも低い解像度を有するダウンサンプリングされた符号化が生成されることもできる。ダウンサンプリングされた符号化は、１つ以上の対応する符号化アームの１つ以上の層を使用して処理されることができる。所与の解像度での符号化（またはダウンサンプリングされた符号化）は、各解像度の連結表現を生成するために集約される（例えば、連結される）。各連結表現は、病変の少なくとも一部を表示すると予測された脳の塊の１つ以上の部分を特定する予測１８５を生成するために、セグメンテーションモデル１６５のデコーダアーム内の層のセットを使用して処理されることができる。予測１８５は、病変の表示を含む各ボクセルの尤度を特定することができる。場合によっては、病変セグメンテーションコントローラ１７０は、病変の表示の周りの推定されたセグメンテーション境界を有する三次元ＭＲＩ画像に対応する画像の予測１８５を出力することができる。

【0055】

場合によっては、セグメンテーションモデル１６５は、スキップ特徴を含むことができる。スキップ特徴は、細部がデコーダアームに転送される符号化特徴である。セグメンテーションモデル１６５のデコーダアームは、スキップアテンションモジュールの出力としてスキップ特徴符号化の集約を受信し、スキップ特徴符号化を使用して、表示された病変の予測１８５を生成することができる。場合によっては、スキップアテンションモジュールは、所与の解像度で連結表現を受信し、所与の解像度への別の連結表現のアップサンプル符号化を受信することができる。スキップアテンションモジュールは、スキップ特徴符号化を出力することができる。スキップ特徴符号化は集約されることができ、これは、所与の解像度でセグメンテーションモデル１６５のスキップアテンションモジュールによって生成されたスキップ特徴符号化、より低い解像度のスキップアテンションモジュールからの結果をアップサンプリングすることによって生成されたアップサンプリングされたスキップ特徴符号化、および／またはより高い解像度のスキップアテンションモジュールからの結果をダウンサンプリングすることによって生成されたダウンサンプリングされたスキップ特徴符号化の連結または合計を含むことができる。あるいは、デコーダアームは、他の解像度でアップサンプリングまたはダウンサンプリングされたスキップ特徴符号化を集約することなく、各解像度でスキップアテンションモジュールからスキップ特徴符号化を受信することができる。

【0056】

スキップ特徴は細かい詳細を含むが、低減された受容野を有する層（現在の畳み込み演算が見る入力画像の局所領域）を符号化することによってスキップ特徴が生成され、スキップ特徴はボクセルの正しい分類のためのコンテキストを欠いており、偽陽性（ＦＰ）をもたらすことがあるため、それらはノイズが多い可能性がある。例えば、スキャンのより小さい部分を見ると血管は小さな病変に似ているように見えるが、スキャンのより大きい部分から学習された高次元特徴を使用すると、血管の細長構造を学習することがより容易になることができる。さらに、低次元表現における構造のエッジまたは境界における不一致は、高次元表現から学習された意味情報を使用して修正されることができる。したがって、スキップアテンションモジュールは、より低い解像度を有する次のレベルの特徴からのより高い次元表現に基づいてスキップ層内の領域にアテンションを提供することによってＦＰを低減しようとする。

【0057】

予測１８５は、分析段階１２０内の分析コントローラ１７５に送信されることができる。分析コントローラ１７５は、解像度のうちの１つ以上の予測１８５を取得または受信し、１つ以上の予測１８５に基づいて分析結果１８０を決定するためのプロセスを含む。分析コントローラ１７５は、１つ以上の予測１８５を使用して病変の数を決定するためのプロセスをさらに含むことができる。分析コントローラ１７５は、１つ以上の予測１８５を使用して１つ以上の病変サイズまたは病変負荷を決定するためのプロセスをさらに含むことができる。病変の数、１つ以上の病変サイズ、および／または病変負荷は、分析結果１８０として出力されることができる。分析コントローラ１７５は、以前のＭＲＩに対応するデータにアクセスし、予測およびデータを使用して１つ以上の病変の量、サイズまたは累積サイズの変化を決定し、変化を表す出力として分析結果１８０を生成するプロセスをさらに含むことができる。例として、介護提供者は、被験者に関連するより古いＭＲＩデータと比較して、最近のＭＲＩデータで検出されるいくつかの病変表示の変化（出力において特定された）に基づいて、被験者が現在の治療から別の治療に切り替えることを推奨することができる。分析コントローラ１７５は、予測１８５に基づいて治療戦略の変更を推奨するプロセスをさらに含むことができる。分析コントローラ１７５は、予測１８５に少なくとも部分的に基づいて、被験者の多発性硬化症の可能な診断または確認された診断に対応する出力として分析結果１８０を提供するためのプロセスをさらに含むことができる。例えば、介護提供者は、出力において検出および特定された病変の表示の量に基づいて（例えば、ある種の多発性硬化症または多発性硬化症自体の）診断を特定することができる。分析コントローラ１７５は、予測１８５に少なくとも部分的に基づいて、多発性硬化症を有する被験者を診断するためのプロセスをさらに含むことができる。分析コントローラ１７５は、予測１８５に少なくとも部分的に基づいて治療反応を評価および／または予測するためのプロセスをさらに含むことができる。例えば、分析コントローラ１７５は、治療反応を評価および／または予測するために、被験者についての予測１８５を古いＭＲＩデータと比較することができる。多発性硬化症の診断、治療反応の評価および／または予測は、分析結果１８０として出力されることができる。

【0058】

いくつかの実施形態では、複数の技術を使用して偽陽性予測が減少されることができる。白質マスクによって予測がマスクされて、白質内外の真陽性（ＴＰ）およびＦＰの差次的分布（例えば、真のＴ２病変は白質にあり、偽陽性は白質の外側にある）があるという仮説によって偽陽性を減少させることができる。ＭＳ病変は、免疫系がニューロンの軸索周囲のミエリン鞘を攻撃することによって引き起こされるため、ＴＰは、白質に発生すると想定されることができる。しかしながら、ＦＰおよびＴＰの差次的分布を観察することは困難であり得る。そのような場合、偽陽性予測を減らすために、偽陽性項がまた、損失関数に追加されることもできる。さらに、異常値からの学習を減らすために、ｗＢＣＥの代わりに滑らかな切り捨てられた損失が実装されることができる。追加の機械学習モデル（例えば、放射線ベースのモデル）が実装されて、予測病変を真陽性と偽陽性とに分類することもできる。

【0059】

明示的に示されていないが、コンピューティング環境１００は、開発者に関連付けられた開発者デバイスをさらに含むことができることが理解されよう。開発者デバイスからコンピューティング環境１００の構成要素への通信は、モデルに使用される入力画像の種類、使用されるモデルの数および種類、各モデルのハイパーパラメータ、例えば学習率および隠れ層の数、データ要求をフォーマットする方法、使用される訓練データ（例えば、および訓練データへのアクセス方法）および使用される検証技術、および／またはコントローラプロセスを構成する方法を示すことができる。

【0060】

ＩＩ．Ｂ．複数のエンコーダアームを備える例示的なモデル
図２は、ＭＲＩ画像の符号化を生成するために使用されるエンコーダアーム２１０と、符号化を病変予測に変換するために使用されるデコーダアーム２２０とを含む例示的なアーキテクチャを示している。エンコーダアーム２１０は、同じアーキテクチャを有するか、または異なるアーキテクチャを有するモデルのセットを含むことができる。このアーキテクチャは、病変セグメンテーションコントローラ１７０によって病変予測を決定するために使用される図１のセグメンテーションモデル１６５に対応する。

【0061】

場合によっては、エンコーダアーム２１０の１つ、複数、または全てのエンコーダモデルのそれぞれは、図１の入力画像１３５などの三次元ＭＲＩ画像を入力として受信するように構成されることができる。三次元ＭＲＩ画像は、完全なＭＲＩ画像の三次元パッチを含むことができる。三次元パッチは、完全な三次元ＭＲＩ画像のボクセルのサブセットとすることができる。例えば、１×１×３ｍｍ^３の異方性ボクセルサイズが使用されて、９６×９６×３２のパッチサイズを作成することができる。あるいは、等方性ボクセルサイズ（例えば、１×１×１ｍｍ^３）および得られたパッチサイズ（９６×９６×９６）が使用されることができる。異方性または等方性のボクセルサイズに対応する他のパッチサイズも使用可能である。場合によっては、パッチは、再サンプリングされた（例えば、アップサンプリングされた）パッチである。

【0062】

場合によっては、エンコーダアーム２１０のエンコーダモデルのセットは、入力画像を処理し、異なるスケールで特徴を抽出するように構成された複数のモデルを含む。例えば、エンコーダアーム２１０は、Ｄ（深度）×Ｈ（高さ）×Ｗ（幅）の寸法を有する入力画像を処理するように構成された１つ以上のモデルを含むことができる。各アームは、複数の深度レベル（例えば、４）を含むことができ、各レベルにおいて特徴が抽出される（例えば、Ｄ×Ｗ×Ｈ、Ｄ／２×Ｗ／２×Ｈ／２、Ｄ／４×Ｗ／４×Ｈ／４およびＤ／８×Ｗ／８×Ｈ／８）。より低い深度レベルで抽出された特徴は、符号化をフル解像度でダウンサンプリングすることによって生成されたダウンサンプリングされた符号化とすることができる。ダウンサンプリングされた符号化の数は、ダウンサンプリング動作の数に対応する。エンコーダアーム２１０のモデルのセットは、異なるＭＲＩシーケンスデータを使用して訓練された符号化に使用されることができる。例えば、エンコーダアーム２１０の１つ以上のモデルは、（例えば）Ｔ１ ＭＲＩ画像を使用して訓練された第１のモデル、Ｔ２ ＭＲＩ画像を使用して訓練された第２のモデル、およびＦＬＡＩＲ ＭＲＩ画像を使用して訓練された第３のモデルを含むことができる。

【0063】

エンコーダアーム２１０の符号化ブロック２３０は、それぞれ受信された入力画像（例えば、特定のＭＲＩシーケンスを使用して収集されたＭＲＩ画像の三次元パッチ）の符号化を生成するために、畳み込み（例えば、１×３×３または３×３×３）層、バッチノルム層、および正規化線形ユニット（ＲｅＬＵ）活性化層の１つ以上のセットを含むことができる。符号化ブロック２３０のそれぞれは、入力画像から特徴を抽出するように構成されることができる。例えば、ネットワークの各レベルについて、特徴配列のセットが生成されることができる。特徴配列は、ストライドコンボリューション（例えば、２×２×２）を使用してダウンサンプリングされることができる。

【0064】

所与の解像度について、符号化は、より高い深度レベルからのダウンサンプル符号化の集約を使用して生成されることができる。例えば、１／４解像度に対応する深度レベルでは、符号化ブロック２３０は、１／４解像度にダウンサンプルされたより高い深度レベル（例えば、１／２解像度およびフル解像度）からの特徴表現の集約を受信することができる。集約は、特徴配列の合計または連結を含むことができる。例えば、特徴表現は、機械学習モデルの計算要件を最小化するために合計されることができる。計算能力が向上すると、各深度レベルからの特徴表現が連結されることができる。

【0065】

次いで、所与の解像度の各エンコーダモデルからの特徴表現が集約されることができる。例えば、所与の解像度（例えば、深度レベル）を有する全ての入力画像にわたる全ての符号化アームに対応する全ての特徴配列は、特徴形状を所与の解像度に維持しながら、チャネル次元に沿って連結されることができる。例えば、所与の解像度について、特徴配列は、複数のタイプのＭＲＩシーケンス（例えば、Ｔ１、Ｔ２、ＦＬＡＩＲ）からの要素を含むことができる。さらに、（例えば、特定のイメージングセッションおよび特定の被験者に対応する）各入力データセットに対して、エンコーダアーム２１０は、それぞれが特定の解像度に関連付けられた複数の連結された特徴表現２３５を生成する。これらの連結された特徴表現２３５のそれぞれは、それ自体が、入力データに表された複数のタイプのＭＲＩシーケンスを表す要素を含むことができる。

【0066】

各解像度における連結表現２３５は、デコーダアーム２２０（例えば、Ｕ－Ｎｅｔモデル）を使用して処理されることができる。デコーダアーム２２０は、モデル予測とグラウンドトゥルースマスクとの間の不一致および／または食い違いを定量化する損失関数を使用して訓練されることができる。損失は、機械学習モデルが各レベルで表現を学習するように、各レベル（例えば、深度当たりの損失）で出力されることができる。デコーダアーム２２０は、連結表現２３５を処理して、病変の一部（例えば、非増強性病変の一部、増強性病変の一部または任意のタイプの病変の一部）を表示する脳の塊の１つ以上の部分を特定する予測２６０を生成することができる。

【0067】

場合によっては、デコーダアーム２２０は、１つ以上のスキップアテンションモジュール２４５を含むことができる。スキップアテンションモジュール２４５は、デコーダアーム２２０のアップサンプリングブロックからの意味的特徴と組み合わされるように、エンコーダアーム２１０の符号化ブロック２３０によって抽出されたきめ細かい詳細を転送するために、機械学習モデルの２つの隣接しない層を接続する。デコーダアーム２２０のデコーダブロック２５０は、スキップアテンションモジュール２４５によって生成されたスキップ特徴符号化を受信して、三次元ＭＲＩ画像に表示された病変の予測２６０を生成することができる。各解像度において、デコーダブロック２５０は、複数の解像度において生成されたスキップ特徴符号化の集約を受信することができる。例えば、フル解像度レベルでは、畳み込み（例えば、１×１×１）層、ＲｅＬＵ活性化層、およびバッチノルム層の１つ以上のセットを含むスキップアテンションモジュール２４５は、連結表現２３５を処理することができる。スキップアテンションモジュール２４５によって生成されたスキップ特徴符号化は、他のスキップアテンションモジュール２４５の出力をフル解像度にアップサンプリングすることによって生成された他のスキップ特徴符号化とともに集約される。より低い解像度の場合、所与の解像度でのスキップアテンションモジュールのスキップ特徴符号化は、所与の解像度よりも低い解像度でのスキップアテンションモジュール２４５の結果を所与の解像度にアップサンプリングすることによって生成されたアップサンプリングされたスキップ特徴符号化と集約されることができる。さらに、集約は、所与の解像度よりも高い解像度でスキップアテンションモジュール２４５の結果をダウンサンプリングすることによって生成されたダウンサンプリングされたスキップ特徴符号化を含むことができる。集約のために、同じエンコーダモデルからの特徴表現が合計されることができ、異なるエンコーダモデルからの特徴表現が連結されることができる。

【0068】

機械学習モデルのデコーダブロック２５０は、図１の予測１８５の例である予測２６０を出力することができる。例えば、予測２６０は、病変の少なくとも一部を表示すると予測された脳の塊の１つ以上の部分を特定することができる。予測２６０は、脳の塊内の病変の数、病変サイズ、または病変負荷を決定する際に使用されることができる。予測２６０は、病変の量、サイズ、または累積サイズの変化を決定するために、以前のＭＲＩに対応するデータと組み合わせてさらに使用されることができる。さらに、治療戦略を変更するための推奨は、予測２６０に基づいて決定されることができる。場合によっては、予測２６０はまた、多発性硬化症を有する被験者を診断するために使用されてもよい。

【0069】

図３は、ＭＲＩ画像の符号化を生成するために使用されるエンコーダモデルのセットを有するエンコーダアーム３１０と、符号化を病変予測に変換するために使用されるデコーダアーム３２０とを含む別の例示的なアーキテクチャを示している。エンコーダモデルのセットは、同じアーキテクチャを有するか、または異なるアーキテクチャを有するモデルのセットを含むことができる。このアーキテクチャは、病変セグメンテーションコントローラ１７０によって病変予測を決定するために使用される図１のセグメンテーションモデル１６５に対応する。

【0070】

場合によっては、エンコーダアーム３１０の１つ、複数、または全てのエンコーダモデルのそれぞれは、入力として三次元ＭＲＩ画像（例えば、図１の入力画像１３５）を受信するように構成されることができる。三次元ＭＲＩ画像は、完全なＭＲＩ画像の三次元パッチを含むことができる。三次元パッチは、完全な三次元ＭＲＩ画像のボクセルのサブセットとすることができる。例えば、１×１×３ｍｍ^３の異方性ボクセルサイズが使用されて、９６×９６×３２のパッチサイズを作成することができる。あるいは、等方性ボクセルサイズ（例えば、１×１×１ｍｍ^３）および得られたパッチサイズ（９６×９６×９６）が使用されることができる。異方性または等方性のボクセルサイズに対応する他のパッチサイズも使用可能である。場合によっては、パッチは、再サンプリングされた（例えば、アップサンプリングされた）パッチである。

【0071】

場合によっては、エンコーダアーム３１０のエンコーダモデルのセットは、入力画像３２５（例えば、図１の入力画像１３５）を処理し、異なるスケールで特徴を抽出するように構成された複数のモデルを含む。例えば、エンコーダアーム３１０は、Ｄ（深度）×Ｈ（高さ）×Ｗ（幅）の寸法を有する入力画像３２５を処理するように構成された１つ以上のモデルを含むことができる。各アームは、複数の深度レベル（例えば、４）を含むことができ、各レベルにおいて特徴が抽出される（例えば、Ｄ×Ｗ×Ｈ、Ｄ／２×Ｗ／２×Ｈ／２、Ｄ／４×Ｗ／４×Ｈ／４およびＤ／８×Ｗ／８×Ｈ／８）。より低い深度レベルで抽出された特徴は、符号化をフル解像度でダウンサンプリングすることによって生成されたダウンサンプリングされた符号化とすることができる。ダウンサンプリングされた符号化の数は、ダウンサンプリング動作の数に対応する。エンコーダアーム３１０のモデルのセットは、異なるＭＲＩシーケンスデータを使用して訓練された符号化に使用されることができる。例えば、エンコーダアーム３１０の１つ以上のモデルは、（例えば）Ｔ１ ＭＲＩ画像を使用して訓練された第１のモデル、Ｔ２ ＭＲＩ画像を使用して訓練された第２のモデル、およびＦＬＡＩＲ ＭＲＩ画像を使用して訓練された第３のモデルを含むことができる。

【0072】

エンコーダアーム３１０の符号化ブロック３３０は、それぞれ受信された入力画像３２５（例えば、特定のＭＲＩシーケンスを使用して収集されたＭＲＩ画像の三次元パッチ）の符号化を生成するために、畳み込み（例えば、３×３×３）層、バッチノルム層、およびＲｅＬＵ活性化層の１つ以上のセットを含むことができる。符号化ブロック３３０のそれぞれは、入力画像３２５から特徴を抽出するように構成されることができる。例えば、ネットワークの各レベルについて、特徴配列のセットが生成されることができる。特徴配列は、ストライドコンボリューション（例えば、２×２×２）を使用してダウンサンプリングされることができる。

【0073】

所与の解像度について、符号化は集約されることができる。例えば、所与の解像度（例えば、深度レベル）を有する全ての入力画像にわたる全ての符号化アームに対応する全ての特徴配列は、特徴形状を所与の解像度に維持しながら、チャネル次元に沿って連結されることができる３３５。例えば、所与の解像度について、特徴配列は、複数のタイプのＭＲＩシーケンス（例えば、Ｔ１、Ｔ２、ＦＬＡＩＲ）からの要素を含むことができる。さらに、（例えば、特定のイメージングセッションおよび特定の被験者に対応する）各入力データセットに対して、エンコーダアーム３１０は、それぞれが特定の解像度に関連付けられた複数の連結された特徴表現３４０を生成する。これらの連結された特徴表現３４０のそれぞれは、それ自体が、入力データに表された複数のタイプのＭＲＩシーケンスを表す要素を含むことができる。

【0074】

各解像度における連結表現３４０は、デコーダアーム３２０（例えば、Ｕ－Ｎｅｔモデル）を使用して処理されることができる。デコーダアーム３２０は、モデル予測とグラウンドトゥルースマスクとの間の不一致および／または食い違いを定量化する損失関数を使用して訓練されることができる。損失は、機械学習モデルが各レベルで表現を学習するように、各レベル（例えば、深度当たりの損失）で出力されることができる。デコーダアーム３２０は、連結表現３４０を処理して、病変の一部（例えば、非増強性病変の一部、増強性病変の一部または任意のタイプの病変の一部）を表示する脳の塊の１つ以上の部分を特定する予測を生成することができる。

【0075】

場合によっては、デコーダアーム３２０は、１つ以上のスキップアテンション接続３４５を含むことができる。スキップアテンション接続３４５は、デコーダアーム３２０のアップサンプリングブロックからの意味的特徴と組み合わされるように、エンコーダアーム３１０の符号化ブロック３３０によって抽出されたきめ細かい詳細を転送するために、機械学習モデルの２つの隣接しない層を接続する。スキップ特徴は、より低い受容野（現在の畳み込み演算が見る入力画像の局所領域）を有し、スキップ特徴は、ボクセルの正しい分類のためのコンテキストを欠いている可能性があり、ＦＰをもたらす。例えば、血管は、より小さなコンテキストを見ると小さな病変に似ているように見える場合があるが、より大きなコンテキストから学習された高次元特徴を使用すると、血管の細長構造を学習することがより容易になる。さらに、低次元表現における構造のエッジまたは境界における不一致は、高次元表現から学習された意味情報を使用して修正されることができる。機械学習モデルは、エンコーダアーム３１０の符号化ブロック３３０からの細かい特徴をデコーダアーム３２０のより深いレベルなどのより高いレベルの表現からの粗い特徴によって強調および／または変調するために、スキップ接続３４５を介して特徴を伝播するために連結表現３４０を受信するスキップアテンションモジュール３５０をさらに含むことができる。スキップアテンションモジュール３５０は、スキップ機能によって導入されるＦＰを減らすことができ、その結果、病変表示の予測を改善することができる。スキップアテンションモジュール３５０は、標準的なバックプロパゲーション技術によって学習されることができるソフトアテンションを使用する。一実施形態では、スキップアテンションモジュール３５０は、残差接続３５５を介して非隣接層および／または隣接する先行層に接続された少なくとも１つの隠れ層を含む。隠れ層と隣接する先行層または非隣接層との間の残差接続３５５は、スキップ特徴がスキップ特徴およびアップサンプリングされた特徴の合計から学習されたボクセル単位のアテンションによって乗算される経路をバイパスするために使用されることができる。残差接続３５５は、アップサンプリングされた特徴が不十分な信号を含むと決定することに基づいて、アテンションをバイパスする。ＭＳ病変は小さい傾向があるため、スキップ特徴を誘導するのに十分な信号が高次元特徴にないことがある。したがって、残差接続３５５は、必要に応じて高次元特徴からのアテンションを回避する。

【0076】

機械学習モデルは、予測１８５の例とすることができる予測３６０を出力することができる。予測３６０は、病変の少なくとも一部を表示すると予測された脳の塊の１つ以上の部分を特定することができる。予測３６０は、脳の塊内の病変の数、病変サイズ、または病変負荷を決定する際に使用されることができる。予測３６０は、病変の量、サイズ、または累積サイズの変化を決定するために、以前のＭＲＩに対応するデータと組み合わせてさらに使用されることができる。さらに、治療戦略を変更するための推奨は、予測３６０に基づいて決定されることができる。場合によっては、予測３６０はまた、多発性硬化症を有する被験者を診断するために使用されてもよい。

【0077】

ＩＩ．Ｃ，例示的なプロセス
図４は、様々な実施形態にかかる、複数のエンコーダアームを有するモデルを使用して画像内の病変の表示をセグメント化するための例示的なプロセスを示している。ブロック４０２において、三次元ＭＲＩ画像（例えば、図１の入力画像１３５）がアクセスされる。三次元ＭＲＩ画像は、被験者の脳の同じ塊を表示する。脳の塊は、１つ以上の病変の少なくとも一部を含む。さらに、三次元ＭＲＩ画像の第１の三次元ＭＲＩ画像は、三次元ＭＲＩ画像の第２の三次元ＭＲＩ画像を生成するために使用される第２のタイプのＭＲＩシーケンスとは異なる第１のタイプのＭＲＩシーケンス（例えば、Ｔ１、Ｔ２、またはＦＬＡＩＲ）を使用して生成されることができる。三次元ＭＲＩ画像は、イメージングシステム（例えば、イメージングシステム１３０）からセグメンテーションコントローラ（例えば、病変セグメンテーションコントローラ１７０）によってアクセスされることができる。

【0078】

ブロック４０４において、三次元ＭＲＩ画像の各三次元ＭＲＩ画像は、機械学習モデル（例えば、図１のセグメンテーションモデル１６５）の１つ以上の対応するエンコーダアームを使用して処理される。機械学習モデルの各エンコーダアームは、ＭＲＩシーケンスのタイプに対応することができるため、特定のタイプのＭＲＩシーケンスによって生成された三次元ＭＲＩ画像は、特定のタイプのＭＲＩシーケンスに対応するエンコーダアームによって処理されることができる。エンコーダアームは、三次元ＭＲＩ画像のそれぞれの符号化を生成することができる。

【0079】

ブロック４０６において、三次元ＭＲＩ画像の符号化は、連結表現（例えば、連結表現２３５または連結表現３４０）を生成するために連結される。各エンコーダアーム（例えば、特定のタイプのＭＲＩシーケンスに対応する）からの符号化は連結されることができる。連結は、解像度ごとに生成された連結表現が存在することができるように、各解像度で実行されることができる。

【0080】

ブロック４０８において、連結表現は、病変の少なくとも一部を表示すると予測された脳の塊の１つ以上の部分を特定する予測を生成するために、機械学習モデルのデコーダアームを使用して処理される。その後、予測が出力されることができる。予測を使用して、病変の数、１つ以上の病変サイズ、および／または病変負荷が決定されることができる。以前のＭＲＩに対応するデータがアクセスされることができ、予測およびデータを使用して１つ以上の病変の量、サイズまたは累積サイズの変化が決定されることができ、変化を表す出力が生成されることができる。予測に基づいて治療戦略の変更が推奨されることができる。追加的または代替的に、予測に少なくとも部分的に基づいて、被験者の多発性硬化症の可能な診断または確認された診断に対応する出力が提供されることができる。被験者は、予測に少なくとも部分的に基づいて多発性硬化症と診断されることができる。

【0081】

ＩＩＩ．実施例
ＩＩＩ．Ａ．実施例１
モデル性能を評価するために、データセットをＯｐｅｒａ Ｉ（ＮＣＴ０１２４７３２４）から収集し、Ｏｐｅｒａ ＩＩ（ＮＣＴ０１４１２３３３）データセット（ベースライン、２４週間、４８週間および９６週間）で試験した。各データセットは、ＭＲＩ画像と、ＭＲＩ画像内のどのボクセルが病変を表示したかに関する指示とを含んでいた（強調、非強調、またはＴ２超強調）。様々なモデルアーキテクチャを、ｏｐｅｒａ１データセットを使用して訓練し、独立したｏｐｅｒａ２データセットで試験して性能結果を生成した。

【0082】

モデルアーキテクチャのそれぞれは、エンコーダモデルのセットを有するエンコーダアーム３１０を使用した。エンコーダアーム３１０は、Ｔ１強調画像を受信するように構成された第１のモデル、Ｔ２強調画像を受信するように構成された第２のモデル、およびＦＬＡＩＲ画像を受信するように構成された第３のモデルを含んでいた。エンコーダモデルのセットのそれぞれは、画像の特徴を抽出するための複数の深度レベルを含んでいた。エンコーダモデルの第１のセットのそれぞれは、複数の特徴配列を出力するように構成された。各深度レベルについて、対応するモデルの全てによって生成された特徴配列を連結した。連結された配列は、デコーダアーム３２０に供給された。
後続モデルは、以下を含むことができる：
● ３つの連続したＴ１スライス（２５６×２５６×３ボクセル）、３つの連続したＴ２スライス、および３つの連続したＦＬＡＩＲスライスの連結の単一アーム（１つの符号化モデルによって）において生成された符号化を、単一損失または深度当たりの損失を使用して入力として受信するように構成されたスタックＵ－ｎｅｔモデル（スタックＵｎｅｔ）：
● 単一損失（「３Ｄ；単一損失」）を使用して、Ｔ１パッチ（９６×９６×３２ボクセル）、Ｔ２パッチ、およびＦＬＡＩＲパッチの連結の単一アーム（１つの符号化モデルによって）において生成された符号化を入力として受信するように構成されたＵ－ｎｅｔモデル；
● 単一損失（「３Ｄ；３アーム；単一損失」）を使用して訓練された３つのタイプの画像（Ｔ１、Ｔ２およびＦＬＡＩＲ）に対応する３つのアーム（３つの符号化モデルによって）において生成された符号化を受信するように構成されたＵ－ｎｅｔモデル；
● 複数の深度（「３Ｄ；３アーム；深度当たりの損失」）のそれぞれにおいて計算された損失を使用して訓練された３つのタイプの画像（Ｔ１、Ｔ２およびＦＬＡＩＲ）に対応する３つのアームにおいて生成された符号化を受信するように構成されたＵ－ｎｅｔモデル；および
● 複数の深度（「３Ｄ；３アーム；深度当たりの損失＋ａｔｔ」）のそれぞれにおいて計算された損失を使用して訓練された３つのタイプの画像（Ｔ１、Ｔ２およびＦＬＡＩＲ）に対応する３つのアームにおいて生成された符号化を受信するように構成されたスキップアテンション接続を有するＵ－ｎｅｔモデル。

【0083】

各モデルについて、画像を断面的に処理した（例えば、時間および長手方向情報を無視する）。セグメンテーション（ボクセルごと）および検出（病変ごと）性能についてモデル予測を評価した。その後の長期分析では、ヒューリスティックアプローチを使用して、連続病変マスクから新規および拡大病変を特定した。

【0084】

３Ｄ；３アーム；深度当たりの損失＋ａｔｔモデルは、図３に示すアーキテクチャを有する。具体的には、モデルは、３Ｄ Ｔ１強調ＭＲＩ画像パッチ、３Ｄ Ｔ２強調ＭＲＩ画像パッチ、および３Ｄ ＦＬＡＩＲ画像パッチから特徴を別々に抽出するためのエンコーダアーム３１０（例えば、マルチアームエンコーダ）を含んでいた。エンコーダアームは、全ての次元において同じ受容野を有するように設計された。非等方性カーネルを使用して、非サンプリング１×１×１ｍｍ^３の解像度を使用してモデルを訓練および実行することと比較してメモリおよび計算要件を低減するために、Ｏｐｅｒａ １および２データセット（それぞれ、ＮＣＴ０１２４７３２４およびＮＣＴ０１４１２３３３）の異方性画像解像度（１×１×３ｍｍ^３のボクセルサイズを使用）を処理した。９６×９６×３２のパッチサイズを、Ｏｐｅｒａデータセットに使用した。ＩＳＢＩデータセットについては、前処理された画像が１×１×１ｍｍ^３の解像度を有するように再サンプリングされたため、等方性カーネルを使用した。

【0085】

３Ｄ；３アーム；深度当たりの損失＋ａｔｔモデルは、最高レベルから最低レベル（すなわち、ブリッジレベル）に延びて最高レベルに戻るレベルのＵ字形分布にわたって位置するノードを含むように構成されたＵ－Ｎｅｔモデルであり、各レベルからの出力は、次（より低いまたはより高いレベル）に供給される。デコーダアーム３２０は、ゲーティング信号がより深いまたはより高いレベルから提供されるようにスキップアテンションモジュール３５０を含んでいた。スキップアテンションモジュール３５０は、必要に応じて、高次元特徴からのアテンションをバイパスするために使用されることができる残差接続３５５を含んでいた。

【0086】

Ｔｖｅｒｓｋｙ損失と重み付きバイナリ交差エントロピー損失との組み合わせを使用して、Ｕ－ｎｅｔ機械学習モデルを訓練した。重み付きバイナリ交差エントロピー損失は、ボクセル単位の損失であり、より小さな病変のセグメント化を助けるために使用された。前景／病変クラスと背景との間の大きな不均衡を説明するために、重み付きバイナリ交差エントロピーは、（対応するハイパーパラメータ設定に応じて）前景を重く重み付けする。重み付けされたバイナリ交差エントロピーを追加することは、より小さな病変を検出するのに役立ったが、偽陽性が増加するリスクもあった。偽陽性を減らすために、Ｔｖｅｒｓｋｙ損失も使用した。偽陽性からの寄与が０．７であり、偽陰性からの寄与が０．３であるように、ベータ変数を０．７に設定した。各レベルでのネットワーク学習表現を促進するために、全てのレベルで損失を伴う深い教師が使用された。

【0087】

図５Ａは、３Ｄ；３アーム；３Ｄを有する単一損失モデル；３アーム；深い教師および３Ｄの効果を理解するための深度モデル当たりの損失；３アーム；アテンションの効果を理解するための深度当たりの損失＋ａｔｔモデルの性能を比較した結果を示している。セグメンテーション結果は、ボクセルレベルで予測の精度を特徴付けることによって計算した。注目すべきことに、平均ダイススコア（偽陰性、偽陽性の合計で割った真陽性の２倍および真陽性の２倍であると定義される）は、アテンション連結を含むモデルについて、含まない他のモデルと比較してより高く、深度当たりの損失を使用したモデルのダイススコアは、単一損失モデルのダイススコアよりも高かった。この結果は、５ｍｌ未満の病変負荷、５～１５ｍｌの病変負荷、または１５ｍｌ以上の病変負荷に関連する全ての画像にわたってダイススコアを計算したかどうかにかかわらず当てはまる。さらに、アテンションモデルは、優れた適合率（真陽性および偽陽性の合計で割った真陽性の数として定義される）および優れた絶対体積差（ＡＶＤ、予測体積とＧＴ体積の絶対差をＧＴ体積で割ったものとして定義される）を達成した。感度は約１％低下したが、アテンションモデルの適合率およびＡＶＤは実質的に改善された。

【0088】

図５Ｂは、３つの異なる機械学習モデルを用いた検出結果を示している。検出結果は、病変レベルでの予測の精度を特徴付けることによって計算した。計算した統計情報は、病変陽性予測値（ＰＰＶ、真陽性と偽陽性の合計で割った病変の真陽性数として定義される）、病変別真陽性率（ＬＴＰＲ）および病変別偽陽性率（ＬＦＰＲ、予測された真陽性と偽陽性の合計で割った病変の偽陽性数として定義される）を含んでいた。アテンション連結を含むモデルは、評価された他のモデルと比較して最も高いＰＰＶおよび最も低いＬＦＰＲ値を達成した。３Ｄ；３アーム；深度当たり損失モデルはまた、単一損失モデルと比較してより高いＰＰＶスコアを達成した。これらの結果は、深度当たりの損失およびスキップアテンションモジュール（例えば、スキップアテンションモジュール２４５およびスキップアテンションモジュール３５０）の双方が、病変をセグメント化および検出する能力を改善することを示唆している。

【0089】

図６Ａは、２．５Ｄおよび３Ｄ入力ＭＲＩ画像を使用した３つの異なる機械学習モデルを使用したセグメンテーションの結果を示している。二次元および三次元モデルは、病変検出に一般的に使用される。スタックＵｎｅｔは、２Ｄからの僅かな改善であり、ローカルコンテキストを捕捉する。ＭＳ病変の大部分は小さいため、スタックＵｎｅｔは、最良の感度を有する。パッチＵｎｅｔは、より多くのコンテキストを捕捉する単純な異方性３Ｄネットワークである。パッチＵｎｅｔおよびパッチＵｎｅｔの変形は、ＩＳＢＩデータセットの最良性能モデルであった。場合によっては病変情報が入力チャネルの１つに存在し、他のチャネルには存在し得ないＧＴマスクにおける観察に基づいて、マルチアームパッチモデルを使用した。

【0090】

セグメンテーション（ボクセルレベル－性能）に関しては、スタックＵｎｅｔとマルチアームＵｎｅｔは同等であり、スタックＵｎｅｔが最も高いダイススコアおよび適合率を達成した。しかしながら、図６Ｂに示すように、スタックＵｎｅｔは、３アームモデルと比較してより多くの偽陽性を有していた。したがって、検出（病変レベルの性能）に関して、スタックＵｎｅｔは、ＬＴＰＲに関してより高い性能を達成した。３Ｄ；アーム；深度当たりの損失＋ａｔｔモデルは、ＬＰＰＶを増加させ、ＬＦＰＲを低下させたが、ＬＴＰＲを犠牲にした。

【0091】

図７は、異なる７つの機械学習モデルを使用したセグメンテーションおよび検出の結果を示している。モデルをＩＳＢＩデータセットで評価した。性能メトリックは、スコア（他のメトリックの組み合わせ）、ダイス係数、ＰＰＶ、ＬＴＰＲ、ＬＴＦＲ、およびＡＶＤを含んでいた。

【0092】

マルチアームＵｎｅｔモデルは、上位性能モデルと同等のダイス係数、ＬＴＰＲ、およびＡＶＤを達成した。これらの結果は、図２および図３に記載されているようなマルチアームＵｎｅｔモデルが、病変ボクセルおよび病変カウントを正確に検出することができることを示唆している。

【0093】

ＩＩＩ．Ｂ．実施例２
疾患の進行を遅らせるために所与の治療薬が多発性硬化症の治療に有効であるかどうかを予測するために、臨床試験中に病変が頻繁に評価される。特に、試験エンドポイントは、試験期間中に病変数および／または病変サイズ（例えば、累積病変サイズ）がどの程度変化したかを調べることが多い。試験期間中に特定の治療が実施された場合に観察された変化は、試験期間中に治療またはベースライン治療が実施されなかった場合に観察された対応する変化と比較することができる。

【0094】

この実施例のデータは、インターフェロン－ベータ－１α４４μｇと比較して、オクレリズマブ４００ｍｇを投与した場合の新しく拡大したＴ２病変数の変化を比較している。連続ＭＲＩスキャンからの病変マスクを縦断的分析に使用して、発見的アプローチを開発し、前の時点（それぞれベースライン、ｗ２４およびｗ４８）に対して２４週目、４８週目および９６週目の新たな拡大するＴ２病変の数を特定および推定した。ヒューリスティックをＧＴ病変マスクで調整して、治療（Ｏｃｒ）アームと対照（Ｉｎｆ）アームとの間の新たな拡大するＴ２病変の平均数の減少率に一致させた。ヒューリスティックアプローチを、２つのグラウンドトゥルースモデル（３ボクセルの最小病変サイズで自動化および自動化）とともに、前述の３つのモデル（スタックＵｎｅｔ、パッチＵｎｅｔ、マルチアームＵｎｅｔ）からのＴ２病変セグメンテーションマスクに適用した。治療群と対照群との間のこのイメージングエンドポイントの減少率は、２４週目、４８週目および９６週目に推定された。群間でこのエンドポイントに有意差があるかどうかを理解するために、新たな拡大するＴ２病変の数の負の二項回帰を、独立変数として、治療群、ベースラインでのＴ１ Ｇｄ増強病変の存在（はいまたはいいえ）、ベースライン拡張機能障害状態スコア（ＥＤＳＳ、＜４対＞＝４）および地理的地域（米国対世界の残り）を用いて行った。

【0095】

結果を以下のそれぞれについて計算した：
● グラウンドトゥルース：放射線科医によるＯｐｅｒａデータセットの元の分析。２つの手動放射線科医読み取りをＭＲＩ画像に対して行った。１回目の読み取りは、各時点（例えば、ベースライン、ｗ２４、ｗ４８、ｗ９６）での病変セグメント化のためのものであった。２回目の読み取りは、以前のセグメンテーションおよび候補の新規／拡大病変を考慮して、新たな拡大するＴ２病変を検出するためのものであった。
● 自動ＧＴ：ＧＴ放射線科医が２回目の放射線科医からの読み取りなしにベースライン、ｗ２４、ｗ４８およびｗ９６を読み取った場合の新規／拡大するＴ２病変検出の自動化。例えば、ベースラインおよびｗ２４での病変セグメンテーションを使用して、ｗ２４においてどの病変が新しいかを決定した。このプロセスは、連続する各対（例えば、ｗ２４およびｗ４８、ｗ４８およびｗ９６）に対して行った。
● 自動ＧＴ（ＧＴ＞＝３ボクセル）：３ボクセルの最小病変サイズを強制しながら、自動ＧＴアプローチを使用した病変検出。
● スタック：スタックＵ－ｎｅｔモデルは、単一損失を使用して、３つの連続したＴ１スライス（２５６×２５６×３ボクセルの）、３つの連続したＴ２スライス、および３つの連続したＦＬＡＩＲスライスの連結の単一アームにおいて（１つの符号化モデルによって）生成された符号化を入力として受信するように構成された。スタックＵ－ｎｅｔモデルによって予測されたＴ２病変に適用された新たな拡大するＴ２病変を特定するための自動化アプローチを使用した病変検出（「２．５Ｄ；単一損失」）。
● パッチ：Ｕ－ｎｅｔモデルは、（９６×９６×３２ボクセルの）Ｔ１パッチ、Ｔ２パッチ、およびＦＬＡＩＲパッチの連結の単一アームにおいて（１つの符号化モデルによって）生成された符号化を、単一損失を使用して入力として受信するように構成された。パッチＵ－ｎｅｔモデルによって予測されたＴ２病変に適用された新たな拡大するＴ２病変を特定するための自動化アプローチを使用した病変検出（「３Ｄ；単一損失」）。
● マルチアームユニット：複数の深度のそれぞれにおいて計算された損失を使用して訓練された３つのタイプの画像（Ｔ１、Ｔ２およびＦＬＡＩＲ）に対応する３つのアームにおいて生成された符号化を受信するように構成されたスキップアテンション接続を有するＵ－ｎｅｔモデル。スキップアテンション接続を有するマルチアームＵ－ｎｅｔモデルによって予測されたＴ２病変に適用された新たな拡大するＴ２病変を特定するための自動化アプローチを使用した病変検出（「３Ｄ；３アーム；深度当たりの損失＋ａｔｔ」）。これは、前の例で説明した図３の実施形態である。

【0096】

図８に示すように、臨床データは、Ｔ２病変数が３つの時点のそれぞれにおいて２つの治療群間で有意に異なることを示した。手動放射線科医読み取りによれば、２４週目、４８週目および９６週目において、インターフェロン－ベータ－１α（Ｉｎｆ）を投与された対象群は、それぞれ、平均で約１．８個、約１．０個および約２．５個の新規／拡大Ｔ２病変を有していた。オクリズマブ（Ｏｃｒ）を投与された対象群は、それぞれ、２４週目、４８週目、および９６週目に平均で約０．７個、約０．１個、および約０．１個の新規／拡大Ｔ２病変を有していた。Ｏｃｒを受けた対象群は、Ｉｎｆを受けた対象群よりも２４週目、４８週目および９６週目にそれぞれ６１％、９６％および９７％少ない新規／拡大Ｔ２病変を有していた。対象群間の減少率は、各時点で有意に異なっていた（ｐ値＜０．００１）。自動ＧＴアプローチおよび自動ＧＴ（ＧＴ＞＝３ボクセル）アプローチは、各時点での有意差の予測に成功したが、これらの技術は、各時点での手動病変セグメンテーション注釈に依存していた。

【0097】

３つの完全自動化技術（スタック、パッチ、およびマルチアームＵｎｅｔ）は、全て、４８週および９６週の時点で治療群間の有意差を捕捉した。しかしながら、図２および図３の双方に詳述されているように、マルチアームＵｎｅｔ技術は、ＭＲＩ画像処理出力が２４週の時点で治療群間の有意差を首尾よく捕捉した唯一の完全自動化技術であった。

【0098】

さらに、マルチアームＵｎｅｔ技術によって生成された平均病変数は、臨床データベースからのものにより近かった。一方、他の２つの完全自動化技術は、真の平均病変数をより実質的に上回る平均病変数をもたらし、これらの他の技術が図２および図３のマルチアームＵｎｅｔ技術と比較してより多くの偽陽性を有したことを示している。また、３つ全てのモデルからの減少率は、手動評価からの減少率よりも有意に低く、新規／拡大Ｔ２病変を特定するためのヒューリスティックアプローチの不適切さを示している。

【0099】

ＩＶ．さらなる考察
本開示のいくつかの実施形態は、１つ以上のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、命令を含む非一時的コンピュータ可読記憶媒体であって、命令が、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させる、非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。

【0100】

使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴のいかなる均等物またはその一部も除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、特許請求の範囲に記載された本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者によってあてにされてもよく、そのような変更および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあると見なされることを理解されたい。

【0101】

その後の説明は、好ましい例示的な実施形態のみを提供し、本開示の範囲、適用可能性または構成を限定することを意図しない。むしろ、好ましい例示的な実施形態のその後の説明は、様々な実施形態を実装するための可能な説明を当業者に提供する。添付の特許請求の範囲に記載の趣旨および範囲から逸脱することなく、要素の機能および配置に様々な変更を加えることができることが理解される。

【0102】

実施形態の完全な理解を提供するために、以下の説明において具体的な詳細が与えられる。しかしながら、これらの具体的な詳細なしで実施形態が実施されることができることが理解されよう。例えば、回路、システム、ネットワーク、プロセス、および他の構成要素は、実施形態を不必要に詳細に不明瞭にしないために、ブロック図形式の構成要素として示されてもよい。他の例では、実施形態を不明瞭にすることを避けるために、周知の回路、プロセス、アルゴリズム、構造、および技術が不必要な詳細なしに示されてもよい。

【0103】

Ｖ．例示的な実施形態
以下において使用されるように、一連の実施例への任意の言及は、それらの実施例のそれぞれへの言及として選言的に理解されるべきである（例えば、「実施例１～４」は、「実施例１、２、３または４」と理解されるべきである）。

【0104】

実施例１は、コンピュータ実装方法であって、複数の三次元磁気共鳴イメージング（ＭＲＩ）画像にアクセスすることであって、複数の三次元ＭＲＩ画像のそれぞれが、被験者の脳の同じ塊を表示し、第１の三次元ＭＲＩ画像が、第２の三次元ＭＲＩ画像を生成するために使用される第２のタイプのＭＲＩシーケンスとは異なる第１のタイプのＭＲＩシーケンスを使用して生成された、複数の三次元磁気共鳴イメージング（ＭＲＩ）画像にアクセスすることと、複数の三次元ＭＲＩ画像の各三次元ＭＲＩ画像について、機械学習モデルの１つ以上の対応するエンコーダアームを使用して三次元ＭＲＩ画像を処理して、三次元ＭＲＩ画像の符号化を生成することと、複数の三次元ＭＲＩ画像の符号化を連結して連結表現を生成することと、機械学習モデルのデコーダアームを使用して連結表現を処理して、病変の少なくとも一部を表示すると予測された脳の塊の１つ以上の部分を特定する予測を生成することと、を含むコンピュータ実装方法である。

【0105】

実施例２は、複数の三次元ＭＲＩ画像の各三次元ＭＲＩ画像について、三次元ＭＲＩ画像の符号化の解像度よりも低い解像度を有するダウンサンプリングされた符号化を生成することと、複数の三次元ＭＲＩ画像の各三次元ＭＲＩ画像について、１つ以上の対応する符号化アームの１つ以上の層を使用してダウンサンプリングされた符号化を処理することと、ダウンサンプルされた符号化を連結して、別の連結表現を生成することと、をさらに含み、予測が、機械学習モデルのデコーダアームを使用する別の連結表現の処理にさらに基づく、実施例１に記載のコンピュータ実装方法である。

【0106】

実施例３は、機械学習モデルが、Ｕ－Ｎｅｔ機械学習モデルを含む、実施例１または２に記載のコンピュータ実装方法である。

【0107】

実施例４は、機械学習モデルが、１つ以上のスキップアテンションモジュールを含み、１つ以上のスキップアテンションモジュールのそれぞれが、機械学習モデルの符号化アームの符号化ブロックをデコーダアームのデコーダブロックに同じ解像度で接続する、実施例１～３のいずれか一項に記載のコンピュータ実装方法である。

【0108】

実施例５は、スキップアテンションモジュールの各スキップアテンションモジュールが、三次元ＭＲＩ画像の解像度で、連結表現の入力および別の連結表現のアップサンプル符号化を受信し、予測が、機械学習モデルのデコーダアームを使用してスキップアテンションモジュールからのスキップ特徴符号化の出力を処理することにさらに基づく、実施例１～４に記載のコンピュータ実装方法である。

【0109】

実施例６は、１つ以上のスキップアテンションモジュールが、関連する高次元特徴が利用できない場合に、スキップアテンションモジュールのスキップを容易にするためのスキップアテンションモジュールの入力と出力との間の残差接続を含む、実施例１～５に記載のコンピュータ実装方法である。

【0110】

実施例７は、機械学習モデルが、重み付きバイナリ交差エントロピー損失および／またはＴｖｅｒｓｋｙ損失を使用して訓練された、実施例１～６のいずれか一項に記載のコンピュータ実装方法である。

【0111】

実施例８は、機械学習モデルが、機械学習モデルの複数の深度のそれぞれにおいて計算された損失を使用して訓練された、実施例１～７のいずれか一項に記載のコンピュータ実装方法である。

【0112】

実施例９は、第１のタイプのＭＲＩシーケンスが、Ｔ１、Ｔ２および流体減衰反転回復（ＦＬＡＩＲ）のシーケンスセットからのシーケンスを含み、第２のタイプのＭＲＩシーケンスが、シーケンスセットからの別のシーケンスを含む、実施例１～８のいずれか一項に記載のコンピュータ実装方法である。

【0113】

実施例１０は、予測を使用して病変の数を決定することをさらに含む、実施例１～９のいずれか一項に記載のコンピュータ実装方法である。

【0114】

実施例１１は、予測を使用して１つ以上の病変サイズまたは病変負荷を決定することをさらに含む、実施例１～１０のいずれか一項に記載のコンピュータ実装方法である。

【0115】

実施例１２は、前のＭＲＩに対応するデータにアクセスすることと、予測およびデータを使用して１つ以上の病変の量、サイズまたは累積サイズの変化を決定することと、変化を表す出力を生成することと、をさらに含む、実施例１～１１のいずれか一項に記載のコンピュータ実装方法である。

【0116】

実施例１３は、予測に基づいて治療戦略を変更することを推奨することをさらに含む、実施例１～１２のいずれか一項に記載のコンピュータ実装方法である。

【0117】

実施例１４は、予測に少なくとも部分的に基づいて、被験者の多発性硬化症の可能な診断または確認された診断に対応する出力を提供することをさらに含む、実施例１～１３のいずれか一項に記載の方法である。

【0118】

実施例１５は、予測に少なくとも部分的に基づいて、多発性硬化症を有する被験者を診断することをさらに含む、実施例１～１４のいずれか一項に記載の方法である。

【0119】

実施例１６は、１つ以上のデータプロセッサと、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部を実行させる、命令を含む非一時的コンピュータ可読記憶媒体と、を備える、システムである。

【0120】

実施例１７は、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品である。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6A】

【図6B】

【図7】

【図8】

【国際調査報告】