特表 2024-544147 疾患の進行をモデル化するための深層学習

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-11-28

(54)【発明の名称】疾患の進行をモデル化するための深層学習

(51)【国際特許分類】

   G16H 50/20 20180101AFI20241121BHJP

   A61B 5/055 20060101ALI20241121BHJP

   G06N 3/08 20230101ALI20241121BHJP

【ＦＩ】

G16H50/20

A61B5/055 380

G06N3/08

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024528618

(86)(22)【出願日】2022-11-14

(85)【翻訳文提出日】2024-06-11

(86)【国際出願番号】 US2022079839

(87)【国際公開番号】W WO2023087006

(87)【国際公開日】2023-05-19

(31)【優先権主張番号】63/279,606

(32)【優先日】2021-11-15

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】509012625

【氏名又は名称】ジェネンテック， インコーポレイテッド

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】ハズラティ， セイェド モハメドモーセン

(72)【発明者】

【氏名】ハシェミファール， ソマヤ サーダート

(72)【発明者】

【氏名】イリオンド， クラウディア

【テーマコード（参考）】

4C096

5L099

【Ｆターム（参考）】

4C096AC01

4C096AD14

4C096DC18

4C096DC21

4C096DC36

5L099AA04

(57)【要約】

疾患の進行をモデル化するための深層学習のための方法が提供される。当該方法は、機械学習モデルによって、患者のベースライン認知状態に関連付けられた臨床データに基づいて、第１の特徴表現を生成することを含み得る。当該方法は、機械学習モデルによって、患者の脳の画像に基づいて、第２の特徴表現を生成することも含み得る。また、当該方法は、機械学習モデルによって、第１の特徴表現と第２の特徴表現とを少なくとも融合させることによって、セット表現を生成することも含み得る。当該方法は、機械学習モデルによって、セット表現に少なくとも基づいて、ある時間期間にわたるベースライン認知状態の変化を予測することも含み得る。関係するシステムおよび製造品も開示されている。
【選択図】図４Ａ

【特許請求の範囲】

【請求項1】

プロセッサと、
命令を記憶するメモリであって、前記プロセッサによって実行されたとき、
機械学習モデルによって、患者のベースライン認知状態に関連付けられた臨床データに基づいて、第１の特徴表現を生成することと、
前記機械学習モデルによって、前記患者の脳の画像に基づいて、第２の特徴表現を生成することと、
前記機械学習モデルによって、前記第１の特徴表現と前記第２の特徴表現とを少なくとも融合させることによって、セット表現を生成することと、
前記機械学習モデルによって、前記セット表現に少なくとも基づいて、ある時間期間にわたる前記ベースライン認知状態の変化を予測することと
を含む動作を生じる、命令を記憶するメモリと
を備える、システム。

【請求項2】

前記融合させることが、連結、加算、シンプルアテンション、スケールドドット積アテンション、テンソル融合ネットワークを適用すること、低ランク融合、および単方向コンテキストアテンションのうちの少なくとも１つを含む１つまたは複数の融合技法を使用して実施される、請求項１に記載のシステム。

【請求項3】

前記第１の特徴表現が、前記患者の前記ベースライン認知状態を表す現在の認知スコア、前記患者に関連付けられた人口統計情報、および前記患者に関連付けられたゲノム情報のうちの少なくとも１つの連結を含む符号化されたベクトルである、請求項１または２に記載のシステム。

【請求項4】

前記第２の特徴表現が、少なくとも１つの領域不変埋込み特徴を含む、請求項１から３のいずれか一項に記載のシステム。

【請求項5】

前記機械学習モデルが、前記第１の特徴表現を生成するようにトレーニングされた第１の機械学習モデルと、前記第２の特徴表現を生成するようにトレーニングされた第２の機械学習モデルと、前記セット表現を生成するようにトレーニングされた第３の機械学習モデルと、前記時間期間にわたる前記ベースライン認知状態の前記変化を予測するようにトレーニングされた第４の機械学習モデルとを含む、請求項１から４のいずれか一項に記載のシステム。

【請求項6】

前記機械学習モデルが、前記患者の前記ベースライン認知状態に関連付けられた前記臨床データと前記患者の前記脳の前記画像とを含む複数のモダリティに少なくとも基づいてトレーニングされている、請求項１から５のいずれか一項に記載のシステム。

【請求項7】

前記機械学習モデルが、複数の時点において、および複数の領域にわたって取得された複数の脳画像に少なくとも基づいて、前記患者の前記ベースライン認知状態を予測するように事前トレーニングされている、請求項１から６のいずれか一項に記載のシステム。

【請求項8】

前記機械学習モデルが、前記患者の前記脳の前記画像に関連付けられた研究間領域シフトを低減するように前記機械学習モデルの領域検出器を少なくとも敵対的にトレーニングすることによってトレーニングされている、請求項１から７のいずれか一項に記載のシステム。

【請求項9】

前記敵対的にトレーニングすることが、前記患者の前記脳の前記画像に少なくとも基づいて、前記第２の特徴表現を生成するための領域不変特徴を学習するように前記機械学習モデルの特徴抽出ネットワークを敵対的にトレーニングすることを含む、請求項８に記載のシステム。

【請求項10】

前記敵対的にトレーニングすることが、領域検出器入力を生成するために、前記第２の特徴表現に逆勾配を適用することを含み、前記領域検出器を前記敵対的にトレーニングすることが、前記領域検出器入力に少なくとも基づいている、請求項８に記載のシステム。

【請求項11】

前記領域検出器が、推測における前記研究間領域シフトのドリフトを示す、請求項８に記載のシステム。

【請求項12】

経時的な前記ベースライン認知状態の前記変化が、前記患者におけるアルツハイマー病の進行を示す、請求項１から１１のいずれか一項に記載のシステム。

【請求項13】

前記時間期間が、１２カ月である、請求項１から１２のいずれか一項に記載のシステム。

【請求項14】

前記画像が、推測されたマスクを含む３次元磁気共鳴イメージング画像である、請求項１から１３のいずれか一項に記載のシステム。

【請求項15】

前記ベースライン認知状態が、臨床的認知症重症度判定尺度（ＣＤＲＳＢ）スコア、アルツハイマー病評価尺度－認知下位尺度（ＡＤＡＳ－ＣＯＧ１２）スコア、およびミニメンタルステート検査（ＭＭＳＥ）スコアのうちの少なくとも１つを含む少なくとも１つの認知スコアによって表される、請求項１から１４のいずれか一項に記載のシステム。

【請求項16】

機械学習モデルによって、患者のベースライン認知状態に関連付けられた臨床データに基づいて、第１の特徴表現を生成することと、
前記機械学習モデルによって、前記患者の脳の画像に基づいて、第２の特徴表現を生成することと、
前記機械学習モデルによって、前記第１の特徴表現と前記第２の特徴表現とを少なくとも融合させることによって、セット表現を生成することと、
前記機械学習モデルによって、前記セット表現に少なくとも基づいて、ある時間期間にわたる前記ベースライン認知状態の変化を予測することと
を含む、コンピュータ実装方法。

【請求項17】

前記融合させることが、連結、加算、シンプルアテンション、スケールドドット積アテンション、テンソル融合ネットワークを適用すること、低ランク融合、および単方向コンテキストアテンションのうちの少なくとも１つを含む１つまたは複数の融合技法を使用して実施される、請求項１６に記載の方法。

【請求項18】

前記第１の特徴表現が、前記患者の前記ベースライン認知状態を表す現在の認知スコア、前記患者に関連付けられた人口統計情報、および前記患者に関連付けられたゲノム情報のうちの少なくとも１つの連結を含む符号化されたベクトルである、請求項１６または１７に記載の方法。

【請求項19】

前記第２の特徴表現が、少なくとも１つの領域不変埋込み特徴を含む、請求項１６から１８のいずれか一項に記載の方法。

【請求項20】

前記機械学習モデルが、前記第１の特徴表現を生成するようにトレーニングされた第１の機械学習モデルと、前記第２の特徴表現を生成するようにトレーニングされた第２の機械学習モデルと、前記セット表現を生成するようにトレーニングされた第３の機械学習モデルと、前記時間期間にわたる前記ベースライン認知状態の前記変化を予測するようにトレーニングされた第４の機械学習モデルとを含む、請求項１６から１９のいずれか一項に記載の方法。

【請求項21】

前記機械学習モデルが、前記患者の前記ベースライン認知状態に関連付けられた前記臨床データと前記患者の前記脳の前記画像とを含む複数のモダリティに少なくとも基づいて、トレーニングされている、請求項１６から２０のいずれか一項に記載の方法。

【請求項22】

前記機械学習モデルが、複数の時点において、および複数の領域にわたって取得された複数の脳画像に少なくとも基づいて、前記患者の前記ベースライン認知状態を予測するように事前トレーニングされている、請求項１６から２１のいずれか一項に記載の方法。

【請求項23】

前記機械学習モデルが、前記患者の前記脳の前記画像に関連付けられた研究間領域シフトを低減するように前記機械学習モデルの領域検出器を少なくとも敵対的にトレーニングすることによって、トレーニングされている、請求項１６から２２のいずれか一項に記載の方法。

【請求項24】

前記敵対的にトレーニングすることが、前記患者の前記脳の前記画像に少なくとも基づいて、前記第２の特徴表現を生成するための領域不変特徴を学習するように前記機械学習モデルの特徴抽出ネットワークを敵対的にトレーニングすることを含む、請求項２３に記載の方法。

【請求項25】

前記敵対的にトレーニングすることが、領域検出器入力を生成するために、前記第２の特徴表現に逆勾配を適用することを含み、前記領域検出器を前記敵対的にトレーニングすることが、前記領域検出器入力に少なくとも基づいている、請求項２３に記載の方法。

【請求項26】

前記領域検出器が、推測における前記研究間領域シフトのドリフトを示す、請求項２３に記載の方法。

【請求項27】

経時的な前記ベースライン認知状態の前記変化が、前記患者におけるアルツハイマー病の進行を示す、請求項１６から２６のいずれか一項に記載の方法。

【請求項28】

前記時間期間が、１２カ月である、請求項１６から２７のいずれか一項に記載の方法。

【請求項29】

前記画像が、推測されたマスクを含む３次元磁気共鳴イメージング画像である、請求項１６から２８のいずれか一項に記載の方法。

【請求項30】

前記ベースライン認知状態が、臨床的認知症重症度判定尺度（ＣＤＲＳＢ）スコア、アルツハイマー病評価尺度－認知下位尺度（ＡＤＡＳ－ＣＯＧ１２）スコア、およびミニメンタルステート検査（ＭＭＳＥ）スコアのうちの少なくとも１つを含む少なくとも１つの認知スコアによって表される、請求項１６から２９のいずれか一項に記載の方法。

【請求項31】

少なくとも１つのデータプロセッサによって実行されたとき、
機械学習モデルによって、患者のベースライン認知状態に関連付けられた臨床データに基づいて、第１の特徴表現を生成することと、
前記機械学習モデルによって、前記患者の脳の画像に基づいて、第２の特徴表現を生成することと、
前記機械学習モデルによって、前記第１の特徴表現と前記第２の特徴表現とを少なくとも融合させることによって、セット表現を生成することと、
前記機械学習モデルによって、前記セット表現に少なくとも基づいて、ある時間期間にわたる前記ベースライン認知状態の変化を予測することと
を含む動作を生じる命令を記憶する、非一時的コンピュータ可読媒体。

【請求項32】

前記融合させることが、連結、加算、シンプルアテンション、スケールドドット積アテンション、テンソル融合ネットワークを適用すること、低ランク融合、および単方向コンテキストアテンションのうちの少なくとも１つを含む１つまたは複数の融合技法を使用して実施される、請求項３１に記載の非一時的コンピュータ可読媒体。

【請求項33】

前記第１の特徴表現が、前記患者の前記ベースライン認知状態を表す現在の認知スコア、前記患者に関連付けられた人口統計情報、および前記患者に関連付けられたゲノム情報のうちの少なくとも１つの連結を含む符号化されたベクトルである、請求項３１または３２に記載の非一時的コンピュータ可読媒体。

【請求項34】

前記第２の特徴表現が、少なくとも１つの領域不変埋込み特徴を含む、請求項３１から３３のいずれか一項に記載の非一時的コンピュータ可読媒体。

【請求項35】

前記機械学習モデルが、前記第１の特徴表現を生成するようにトレーニングされた第１の機械学習モデルと、前記第２の特徴表現を生成するようにトレーニングされた第２の機械学習モデルと、前記セット表現を生成するようにトレーニングされた第３の機械学習モデルと、前記時間期間にわたる前記ベースライン認知状態の前記変化を予測するようにトレーニングされた第４の機械学習モデルとを含む、請求項３１から３４のいずれか一項に記載の非一時的コンピュータ可読媒体。

【請求項36】

前記機械学習モデルが、前記患者の前記ベースライン認知状態に関連付けられた前記臨床データと前記患者の前記脳の前記画像とを含む複数のモダリティに少なくとも基づいてトレーニングされている、請求項３１から３５のいずれか一項に記載の非一時的コンピュータ可読媒体。

【請求項37】

前記機械学習モデルが、複数の時点において、および複数の領域にわたって取得された複数の脳画像に少なくとも基づいて、前記患者の前記ベースライン認知状態を予測するように事前トレーニングされている、請求項３１から３６のいずれか一項に記載の非一時的コンピュータ可読媒体。

【請求項38】

前記機械学習モデルが、前記患者の前記脳の前記画像に関連付けられた研究間領域シフトを低減するように前記機械学習モデルの領域検出器を少なくとも敵対的にトレーニングすることによって、トレーニングされている、請求項３１から３７のいずれか一項に記載の非一時的コンピュータ可読媒体。

【請求項39】

前記敵対的にトレーニングすることが、前記患者の前記脳の前記画像に少なくとも基づいて、前記第２の特徴表現を生成するための領域不変特徴を学習するように前記機械学習モデルの特徴抽出ネットワークを敵対的にトレーニングすることを含む、請求項３８に記載の非一時的コンピュータ可読媒体。

【請求項40】

前記敵対的にトレーニングすることが、領域検出器入力を生成するために、前記第２の特徴表現に逆勾配を適用することを含み、前記領域検出器を前記敵対的にトレーニングすることが、前記領域検出器入力に少なくとも基づいている、請求項３８に記載の非一時的コンピュータ可読媒体。

【請求項41】

前記領域検出器が、推測における前記研究間領域シフトのドリフトを示す、請求項３８に記載の非一時的コンピュータ可読媒体。

【請求項42】

経時的な前記ベースライン認知状態の前記変化が、前記患者におけるアルツハイマー病の進行を示す、請求項３１から４１のいずれか一項に記載の非一時的コンピュータ可読媒体。

【請求項43】

前記時間期間が、１２カ月である、請求項３１から４２のいずれか一項に記載の非一時的コンピュータ可読媒体。

【請求項44】

前記画像が、推測されたマスクを含む３次元磁気共鳴イメージング画像である、請求項３１から４３のいずれか一項に記載の非一時的コンピュータ可読媒体。

【請求項45】

前記ベースライン認知状態が、臨床的認知症重症度判定尺度（ＣＤＲＳＢ）スコア、アルツハイマー病評価尺度－認知下位尺度（ＡＤＡＳ－ＣＯＧ１２）スコア、およびミニメンタルステート検査（ＭＭＳＥ）スコアのうちの少なくとも１つを含む少なくとも１つの認知スコアによって表される、請求項３１から４４のいずれか一項に記載の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、それの全体が参照により本明細書に援用される、２０２１年１１月１５日に出願された、「ＭＯＤＥＬＩＮＧ ＴＨＥ ＰＲＯＧＲＥＳＳＩＯＮ ＯＦ Ａ ＤＩＳＥＡＳＥ ＷＩＴＨ Ａ ＭＵＬＴＩ－ＭＯＤＡＬ ＮＥＵＲＡＬ ＮＥＴＷＯＲＫ」と題する、米国仮出願第６３／２７９，６０６号の優先権を主張する。

【0002】

本開示は、概して機械学習に関し、より詳細には、疾患の進行をモデル化するための深層学習に関する。

【背景技術】

【0003】

アルツハイマー病は、６５歳を超えた人々における認知症の最も一般的な原因であり、世界中で２６６０万の人々が苦しんでいる。アルツハイマー病は、いくつかの他の神経障害と同様に、脳細胞の変性によって引き起こされるゆっくりと進行する疾患であり、患者は、疾患の発現の数年後に臨床症状を示す。それゆえ、神経障害の中でも、アルツハイマー病の、その早期段階（たとえば、軽度認知障害（ＭＣＩ））における正確な診断および治療は、非可逆的で致命的な脳損傷を予防するのに役立ち得る。需要に反して、進行をモデル化することの複雑さ、早期段階のアルツハイマー病患者を含んでいる大規模な均一データセットの欠如、および概して予測することが難しいことがある雑音の多いエンドポイントを理由として、アルツハイマー病などの神経障害の進行を予測することにおいて、ほとんど進歩がなされていない。

【発明の概要】

【0004】

疾患の進行をモデル化するための深層学習のための、コンピュータプログラム製品を含む、方法、システム、および製造品が提供される。一態様では、システムが提供される。システムは、少なくとも１つのデータプロセッサと、少なくとも１つのメモリと含み得る。少なくとも１つのメモリは、少なくとも１つのデータプロセッサによって実行されたとき、動作を生じる命令を記憶し得る。動作は、機械学習モデルによって、患者のベースライン認知状態に関連付けられた臨床データに基づいて、第１の特徴表現を生成することを含み得る。動作は、機械学習モデルによって、患者の脳の画像に基づいて、第２の特徴表現を生成することをも含み得る。動作は、機械学習モデルによって、第１の特徴表現と第２の特徴表現とを少なくとも融合させることによって、セット表現を生成することをも含み得る。動作は、機械学習モデルによって、セット表現に少なくとも基づいて、ある時間期間にわたるベースライン認知状態の変化を予測することをも含み得る。

【0005】

別の態様では、疾患の進行をモデル化するための深層学習のための方法が提供される。方法は、機械学習モデルによって、患者のベースライン認知状態に関連付けられた臨床データに基づいて、第１の特徴表現を生成することを含み得る。方法は、機械学習モデルによって、患者の脳の画像に基づいて、第２の特徴表現を生成することをも含み得る。方法は、機械学習モデルによって、第１の特徴表現と第２の特徴表現とを少なくとも融合させることによって、セット表現を生成することをも含み得る。方法は、機械学習モデルによって、セット表現に少なくとも基づいて、ある時間期間にわたるベースライン認知状態の変化を予測することをも含み得る。

【0006】

別の態様では、非一時的コンピュータ可読記憶媒体を含むコンピュータプログラム製品が提供される。非一時的コンピュータ可読記憶媒体は、少なくとも１つのデータプロセッサによって実行されたとき、動作を引き起こすプログラムコードを含み得る。動作は、機械学習モデルによって、患者のベースライン認知状態に関連付けられた臨床データに基づいて、第１の特徴表現を生成することを含み得る。動作は、機械学習モデルによって、患者の脳の画像に基づいて、第２の特徴表現を生成することをも含み得る。動作は、機械学習モデルによって、第１の特徴表現と第２の特徴表現とを少なくとも融合させることによって、セット表現を生成することをも含み得る。動作は、機械学習モデルによって、セット表現に少なくとも基づいて、ある時間期間にわたるベースライン認知状態の変化を予測することをも含み得る。

【0007】

方法、システム、および非一時的コンピュータ可読媒体のいくつかの変形形態では、以下の特徴のうちの１つまたは複数が、随意に、任意の実現可能な組合せに含まれ得る。

【0008】

いくつかの変形形態では、融合させることは、連結、加算、シンプルアテンション、スケールドドット積アテンション、テンソル融合ネットワークを適用すること、低ランク融合、および単方向コンテキストアテンションのうちの少なくとも１つを含む１つまたは複数の融合技法を使用して実施される。

【0009】

いくつかの変形形態では、第１の特徴表現は、患者のベースライン認知状態を表す現在の認知スコア、患者に関連付けられた人口統計情報、および患者に関連付けられたゲノム情報のうちの少なくとも１つの連結を含む符号化されたベクトルである。

【0010】

いくつかの変形形態では、第２の特徴表現は、少なくとも１つの領域不変埋込み特徴を含む。

【0011】

いくつかの変形形態では、機械学習モデルは、第１の特徴表現を生成するようにトレーニングされた第１の機械学習モデルと、第２の特徴表現を生成するようにトレーニングされた第２の機械学習モデルと、セット表現を生成するようにトレーニングされた第３の機械学習モデルと、時間期間にわたるベースライン認知状態の変化を予測するようにトレーニングされた第４の機械学習モデルとを含む。

【0012】

いくつかの変形形態では、機械学習モデルは、患者のベースライン認知状態に関連付けられた臨床データと、患者の脳の画像とを含む複数のモダリティに少なくとも基づいて、トレーニングされている。

【0013】

いくつかの変形形態では、機械学習モデルは、複数の時点において、および複数の領域にわたって取得された複数の脳画像に少なくとも基づいて、患者のベースライン認知状態を予測するように事前トレーニングされている。

【0014】

いくつかの変形形態では、機械学習モデルは、患者の脳の画像に関連付けられた研究間領域シフトを低減するように機械学習モデルの領域検出器を少なくとも敵対的にトレーニングすることによって、トレーニングされている。

【0015】

いくつかの変形形態では、敵対的にトレーニングすることは、患者の脳の画像に少なくとも基づいて、第２の特徴表現を生成するための領域不変特徴を学習するように機械学習モデルの特徴抽出ネットワークを敵対的にトレーニングすることを含む。

【0016】

いくつかの変形形態では、敵対的にトレーニングすることは、領域検出器入力を生成するために、第２の特徴表現に逆勾配を適用することを含む。領域検出器を敵対的にトレーニングすることは、領域検出器入力に少なくとも基づく。

【0017】

いくつかの変形形態では、領域検出器は、推測における研究間領域シフトのドリフトを示す。

【0018】

いくつかの変形形態では、経時的なベースライン認知状態の変化は、患者におけるアルツハイマー病の進行を示す。

【0019】

いくつかの変形形態では、時間期間は、１２カ月である。

【0020】

いくつかの変形形態では、画像は、推測されたマスクを含む３次元磁気共鳴イメージング画像である。

【0021】

いくつかの変形形態では、ベースライン認知状態は、臨床的認知症重症度判定尺度（ＣＤＲＳＢ）スコア、アルツハイマー病評価尺度－認知下位尺度（ＡＤＡＳ－ＣＯＧ１２）スコア、およびミニメンタルステート検査（ＭＭＳＥ）スコアのうちの少なくとも１つを含む少なくとも１つの認知スコアによって表される。

【0022】

いくつかの変形形態では、対象における疾患の進行の予測を示す出力を生成するためのシステムが提供される。システムは、対象を表す長期的な生理的データを受信することを含む動作を実施し、長期的な生理的データは、対象における疾患の進行を示す複数のモダリティを含む。システムはまた、トレーニングされたマルチモーダルニューラルネットワークを長期的な生理的データに適用することを含む動作を実施する。トレーニングされたマルチモーダルニューラルネットワークは、複数のモダリティに関係するモダリティ固有深層特徴を学習するように構成された複数のフィードフォワードニューラルネットワークを含む。システムはまた、長期的な生理的データの複数のモダリティに関係するモダリティ固有深層特徴に少なくとも基づいて、対象における疾患の進行の予測を示す出力を生成することを含む動作を実施する。

【0023】

いくつかの変形形態では、動作は、モダリティ固有深層特徴の複数の領域シフトを実施することであって、複数の領域シフトが、単一の領域にモダリティ固有深層特徴を正規化するように構成された、複数の領域シフトを実施することと、単一の領域における特徴空間を形成するために、正規化されたモダリティ固有深層特徴を組み合わせることであって、特徴空間が、疾患の進行を示す、正規化されたモダリティ固有深層特徴を組み合わせることと、特徴空間における正規化されたモダリティ固有深層特徴に少なくとも基づいて、対象における疾患の進行の予測を示す出力を生成することとをさらに含む。追加として、動作は、複数のモダリティのうちのあるモダリティに対応する研究固有バイアスを緩和するために、敵対的な損失を使用して、正規化されたモダリティ固有深層特徴の各正規化されたモダリティ固有深層特徴をデバイアスすることをさらに含む。

【0024】

いくつかの変形形態では、動作は、モダリティ固有深層特徴の複数の領域シフトを単一の領域に改善するために、シャープネスアウェア最小化最適化技法を適用することをさらに含む。さらに、複数のモダリティの各モダリティは、複数のフィードフォワードニューラルネットワークの別個のフィードフォワードニューラルネットワークに供給される。追加として、長期的な生理的データは、対象を表すベースライン生理的データを含み、ベースライン生理的データは、疾患の進行を示すモダリティの第１のセットを含み、生理的データは、対象の脳に関係するベースライン画像をさらに含む。さらに、長期的な生理的データは、対象を表すデルタ生理的データを含み、デルタ生理的データは、疾患の進行を示すモダリティの第２のセットを含み、デルタ生理的データは、対象の脳に関係するデルタ画像をさらに含む。いくつかの変形形態では、トレーニングされたマルチモーダルニューラルネットワークは、特徴抽出ネットワーク、エンドポイント予測ネットワーク、および領域検出器を含む。追加として、疾患は、アルツハイマー病であり、ここにおいて、出力は、正規化された表現である。

【0025】

別の態様では、対象における疾患の進行の予測を示す出力を生成するためのコンピュータ可読記憶媒体が提供される。コンピュータ可読記憶媒体は、対象を表す長期的な生理的データを受信することであって、長期的な生理的データが、対象における疾患の進行を示す複数のモダリティを含む、長期的な生理的データを受信することを含む命令を含む。コンピュータ可読記憶媒体は、トレーニングされたマルチモーダルニューラルネットワークを長期的な生理的データに適用することを含む命令をも含む。トレーニングされたマルチモーダルニューラルネットワークは、複数のモダリティに関係するモダリティ固有深層特徴を学習するように構成された複数のフィードフォワードニューラルネットワークを含む。コンピュータ可読記憶媒体は、長期的な生理的データの複数のモダリティに関係するモダリティ固有深層特徴に少なくとも基づいて、対象における疾患の進行の予測を示す出力を生成することを含む命令をも含む。

【0026】

いくつかの変形形態では、命令は、モダリティ固有深層特徴の複数の領域シフトを実施することであって、複数の領域シフトが、単一の領域にモダリティ固有深層特徴を正規化するように構成された、複数の領域シフトを実施することと、単一領域における特徴空間を形成するために、正規化されたモダリティ固有深層特徴を組み合わせることであって、特徴空間が、疾患の進行を示す、正規化されたモダリティ固有深層特徴を組み合わせることと、特徴空間における正規化されたモダリティ固有深層特徴に少なくとも基づいて、対象における疾患の進行の予測を示す出力を生成することとをさらに含む。追加として、命令は、複数のモダリティのうちのあるモダリティに対応する研究固有バイアスを緩和するために、敵対的な損失を使用して、正規化されたモダリティ固有深層特徴の各正規化されたモダリティ固有深層特徴をデバイアスすることをさらに含む。

【0027】

いくつかの変形形態では、命令は、モダリティ固有深層特徴の複数の領域シフトを単一の領域に改善するために、シャープネスアウェア最小化最適化技法を適用することをさらに含む。さらに、複数のモダリティの各モダリティは、複数のフィードフォワードニューラルネットワークの別個のフィードフォワードニューラルネットワークに供給される。追加として、長期的な生理的データは、対象を表すベースライン生理的データを含み、ベースライン生理的データは、疾患の進行を示すモダリティの第１のセットを含み、生理的データは、対象の脳に関係するベースライン画像をさらに含む。さらに、長期的な生理的データは、対象を表すデルタ生理的データを含み、デルタ生理的データは、疾患の進行を示すモダリティの第２のセットを含み、デルタ生理的データは、対象の脳に関係するデルタ画像をさらに含む。いくつかの変形形態では、トレーニングされたマルチモーダルニューラルネットワークは、特徴抽出ネットワーク、エンドポイント予測ネットワーク、および領域検出器を含む。追加として、疾患は、アルツハイマー病であり、ここにおいて、出力は、正規化された表現である。

【0028】

また別の態様では、対象における疾患の進行の予測を示す出力を生成するための方法が提供される。方法は、対象を表す長期的な生理的データを受信することであって、長期的な生理的データが、対象における疾患の進行を示す複数のモダリティを含む、長期的な生理的データを受信することを含む。方法は、トレーニングされたマルチモーダルニューラルネットワークを長期的な生理的データに適用することをも含む。トレーニングされたマルチモーダルニューラルネットワークは、複数のモダリティに関係するモダリティ固有深層特徴を学習するように構成された複数のフィードフォワードニューラルネットワークを含む。方法は、長期的な生理的データの複数のモダリティに関係するモダリティ固有深層特徴に少なくとも基づいて、対象における疾患の進行の予測を示す出力を生成することをも含む。

【0029】

本主題の実装形態は、本明細書で提供される説明による方法、ならびに１つまたは複数の機械（たとえば、コンピュータなど）が、説明される特徴のうちの１つまたは複数を実装する動作を生じることを引き起こすように動作可能な、有形に具現された機械可読媒体を備える物品を含むことができる。同様に、１つまたは複数のプロセッサと、１つまたは複数のプロセッサに結合された１つまたは複数のメモリとを含み得る、コンピュータシステムも説明される。非一時的コンピュータ可読または機械可読記憶媒体を含むことができるメモリは、１つまたは複数のプロセッサが、本明細書で説明される動作のうちの１つまたは複数を実施することを引き起こす１つまたは複数のプログラムを含む、符号化する、記憶する、などし得る。本主題の１つまたは複数の実装形態によるコンピュータ実装方法は、単一のコンピューティングシステムまたは複数のコンピューティングシステムにある１つまたは複数のデータプロセッサによって実装され得る。そのような複数のコンピューティングシステムは、たとえば、ネットワーク（たとえば、インターネット、ワイヤレスワイドエリアネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、ワイヤードネットワークなど）を通じた接続を含む、１つまたは複数の接続を介して、複数のコンピューティングシステムのうちの１つまたは複数の間の直接接続を介してなど、接続され得、データおよび／または指令または他の命令などをやりとりすることができる。

【0030】

本明細書で説明される主題の１つまたは複数の変形形態の詳細が、添付の図面および以下の説明において記載される。本明細書で説明される主題の他の特徴および利点が、説明および図面から、ならびに特許請求の範囲から明らかになろう。本開示の主題の特定の特徴が、疾患の進行をモデル化するための深層学習に関して例示の目的で説明されるが、そのような特徴は限定するものではないことは容易に理解されよう。本開示に続く特許請求の範囲が、保護される主題の範囲を定義するものである。

【0031】

本明細書に組み込まれ、本明細書の一部を構成する、添付の図面は、本明細書で開示される主題の特定の態様を示し、説明とともに、開示される実装形態に関連付けられた原理のうちのいくつかを解説するのを助ける。

【図面の簡単な説明】

【0032】

【図1】本主題の実装形態による、例示的な疾患進行予測システムを描く図である。

【図2A】本主題の実装形態による、アルツハイマー病の例示的な進行を描く図である。

【図2B】本主題の実装形態による、様々な患者におけるアルツハイマー病の進行を図示する例示的な進行プロットを描く図である。

【図3】本主題の実装形態による、経時的なアルツハイマー病の重症度の様々な測定を図示する例示的なグラフを描く図である。

【図4A】本主題の実装形態による、疾患進行予測システムを図示するネットワーク図を描く図である。

【図4B】本主題の実装形態による、ネットワーク図の例示的な緻密層を描く図である。

【図4C】本主題の実装形態による、ネットワーク図の例示的な遷移ブロックを描く図である。

【図5】本主題の実装形態による、例示的な融合技法の線図を描く図である。

【図6】本主題の実装形態による、疾患の進行をモデル化するための深層学習のためのプロセスの例を図示するフローチャートを描く図である。

【図7】本主題の実装形態による、疾患進行予測システムのための例示的なデータセットを要約する表を描く図である。

【図8】本主題の実装形態による、機械学習モデルおよび手法の性能比較を要約する表を描く図である。

【図9】本主題の実装形態による、機械学習モデルおよび手法の性能比較を要約する表を描く図である。

【図10】本主題の実装形態による、疾患進行予測システムの性能を図示するグラフを描く図である。

【図11】本主題の実装形態による、機械学習モデルおよび手法の性能比較を要約する表を描く図である。

【図12】本主題の実装形態による、最適化手法の性能比較を図示するグラフを描く図である。

【図13】本主題の実装形態による、機械学習モデルおよび手法の性能比較を要約する表を描く図である。

【図14】本主題の実装形態による、コンピューティングシステムの例を図示するブロック図を描く図である。

【発明を実施するための形態】

【0033】

実際には、同様のラベルが、図面において同じまたは類似のアイテムを指すために使用される。

【0034】

アルツハイマー病など、神経障害を診断するための診断方法は、認知正常（ＣＮ）、軽度認知障害（ＭＣＩ）、またはアルツハイマー病（ＡＤ）を含む、大まかなカテゴリーに患者を分類するタスク、またはある分類から別の分類への（たとえば、ＭＣＩからＡＤへの）変換を予測するためのタスクに焦点を当ててきた。さらに、ＭＣＩ、軽度アルツハイマー病、中度アルツハイマー病、および重度アルツハイマー病など、より細かいカテゴリーに患者を分類するための診断方法が使用されてきた。例として、図２Ａに示されているように、アルツハイマー病によるＭＣＩは、患者の脳の海馬および嗅内皮質に影響を及ぼすことがあり、患者における軽度アルツハイマー病は、患者の脳の側頭葉および頭頂葉に広がることがあり、中度アルツハイマー病は、患者の脳の前頭葉に広がることがあり、重度アルツハイマー病は、広範囲にわたる脳萎縮を呈することがある。

【0035】

しかしながら、臨床治験における適用は、臨床治験集団が、概して、狭く定義されることがあるので（たとえば、ＭＣＩのみなど）、さらにきめの細かい測定スケールを使用する。１つの手法は、代わりに、連続する数値によって測定される、臨床的認知症重症度判定尺度（ＣＤＲＳＢ）、アルツハイマー病評価尺度－認知下位尺度（ＡＤＡＳ－ＣＯＧ１２）、ミニメンタルステート検査（ＭＭＳＥ）など、認知および機能テストの結果を予測することである。たとえば、図３は、経時的なアルツハイマー病の重症度の様々な測定を図示するグラフ３００を示す。この手法は、疾患の進行のさらに粒度の細かい推定を提供するのに役立つが、極めて雑音が多く、研究にわたって主観的であり、小さい患者集団において治療有効性を確立することを困難にし得る。さらに、図２Ｂは、認知および機能テスティングの予測結果に基づいて、同じ診断を有する一様な患者が、いろいろな進行パターンを有することがあることを図示するグラフ２００を描く。これにより、アルツハイマー病をもつ患者は、異なる表現型および進行パターンを提示することがあるので、パーソナライズされた療法および治療プランを患者に提供することは有益であり得る。また、診断のみを予測することは、概して、疾患の進行に関するきめの細かいスケール測定を提供しない。

【0036】

いくつかの事例において、機械学習および深層学習ベースの手法が、アルツハイマー病を有する患者を診断、観察、および治療するために使用されてきた。しかしながら、そのような手法は、アルツハイマー病のためのパーソナライズされた医療に適用可能でない、開発途上にあるシングルタスクおよび／またはシングルモダリティモデルに焦点を当ててきた。そのうえ、シングルタスクおよびシングルモダリティベースモデルは、モダリティ間の補完情報も、タスクの間の相関関係も利用せず、あまり正確でない予測、診断、および治療プランにつながる。

【0037】

それゆえに、アルツハイマー病（ＡＤ）をもつ患者のための臨床軌跡の正確な予測は、この複雑で不均一な疾患のための新規の治療学を評定する効率を増加させる可能性を有する。予後モデルからの予測進行速度が、治療効果推定の精度を増加させ、それゆえに、パワーを増加させるために、臨床治験の主要分析における共変量調整のために使用され得る。しかしながら、述べられたように、現在の機械学習手法は、臨床データの高次元神経イメージングおよび特徴など、多様で豊富なデータを利用することができない、シングルタスクモデルまたはシングルモダリティモデルのいずれかを組み込む。そのうえ、それらの手法は、概して、単一のデータセット（たとえば、コホート）であって、他のコホートに容易に一般化され得ない、単一のデータセット上でトレーニングされている。

【0038】

本主題の実装形態による機械学習モデルは、アルツハイマー病など、神経疾患の進行を予測することに対するマルチモーダル手法を提供する。たとえば、本明細書で説明される機械学習モデルは、環境要因、ゲノミクス、人口統計などを含む臨床データ、および医療（たとえば、脳）イメージングなど、複数のモダリティを、各モダリティの間の複雑な相互作用をモデル化しながら考慮する。これにより、医療データセットのサイズおよび複雑さが増すとき、本明細書で説明される機械学習モデルは、患者の容態を特徴づけ、コンテキストに当てはめるために、様々なモダリティを統合し、患者の認知状態など、患者の容態の進行を正確におよび効率的に予測することが可能である。疾患の進行の正確なマルチモーダルフォワードモデルを用いて、本主題の実装形態による機械学習モデルは、新規の治療の効果を評価するとき、疾患の進行の不定の速度を考慮する。

【0039】

本明細書で説明されるように、疾患の進行をモデル化することに対する深層学習手法は、たとえば、複数のコホートからの長期的な臨床および神経イメージングデータを分析することによって、疾患（たとえば、アルツハイマー病）の進行を予測する、マルチモーダルマルチタスク深層学習モデルを含む。説明される機械学習モデルは、患者の疾患の進行（たとえば、変化）を予測するために、たとえば、３次元畳み込みニューラルネットワークによって生成された高次元磁気共鳴イメージング特徴を、臨床データを含む他のデータモダリティと統合する。本明細書で説明されるように、機械学習モデルは、臨床データおよび／または画像のソースの間の、研究間領域シフトなど、研究固有イメージングバイアスを緩和するために、敵対的な損失を採用し得る。追加としておよび／または代替的に、機械学習モデルは、さらに、一般化を改善し、研究間領域シフトを低減するために、シャープネスアウェア最小化（ＳＡＭ）最適化技法を採用し得る。以下でより詳細に説明されるように、本機械学習モデルは、他のモデルを超えて著しい改善をもたらし、他のモデルよりも優れている。

【0040】

例として、本主題の実装形態による機械学習モデルは、患者のベースライン認知状態に関連する、臨床データなど、第１のモダリティに基づいて、第１の特徴表現を生成し得る。機械学習モデルは、患者の脳の画像など、第２のモダリティに基づいて、第２の特徴表現を生成し得る。機械学習モデルはまた、第１の特徴表現と第２の特徴表現とを少なくとも融合させることによって、セット表現を生成し得る。機械学習モデルは、セット表現に少なくとも基づいて、ある時間期間にわたるベースライン認知状態の変化を予測し得る。それゆえに、機械学習モデルは、患者の認知状態の変化を正確におよび効率的に予測する。これは、患者におけるアルツハイマー病を含む神経疾患など、疾患の早期で正確な診断を可能にする。追加としておよび／または代替的に、本明細書で説明される機械学習モデルは、診断された疾患を治療するための、および／または患者の疾患の予測進行に基づく、適切な治療プランを提供するために使用され得る正確な予測を行う。

【0041】

図１は、本主題の実装形態による、疾患進行予測システム１００の例を図示するシステム図を描く。図１を参照すると、疾患進行予測システム１００は、機械学習コントローラ１１０、機械学習モデル１２０、クライアントデバイス１３０、およびデータストア１０４を含み得る。機械学習コントローラ１１０、機械学習モデル１２０、クライアントデバイス１３０、およびデータストア１０４は、ネットワーク１４０を介して通信可能に結合され得る。ネットワーク１４０は、たとえば、ワイドエリアネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、仮想ローカルエリアネットワーク（ＶＬＡＮ）、パブリックランドモバイルネットワーク（ＰＬＭＮ）、インターネットなどを含む、ワイヤードネットワークおよび／またはワイヤレスネットワークであり得る。いくつかの実装形態では、機械学習コントローラ１１０、機械学習モデル１２０、データストア１０４、および／またはクライアントデバイス１３０は、同じデバイス内に含まれており、および／または同じデバイス上で動作し得る。

【0042】

クライアントデバイス１３０は、たとえば、スマートフォン、タブレットコンピュータ、ウェアラブル装置、仮想アシスタント、モノのインターネット（ＩｏＴ）機器などを含む、プロセッサベースデバイスであり得ることを諒解されたい。クライアントデバイス１３０は、磁気共鳴イメージング機械の一部を形成し、磁気共鳴イメージング機械を含み、および／または磁気共鳴イメージング機械に結合され得る。

【0043】

図１を参照すると、データストア１０４は、臨床データ１０６および／または１つまたは複数の画像１０８を記憶し得る。臨床データ１０６および／または１つまたは複数の画像１０８は、機械学習モデル１２０のための複数のモダリティからのマルチモーダル入力を定義し得る。臨床データ１０６は、患者のベースライン認知状態に関連付けられ得る。患者のベースライン認知状態は、少なくとも１つの認知スコアによって表され得る。これにより、臨床データ１０６は、臨床的認知症重症度判定尺度（ＣＤＲＳＢ）スコア、アルツハイマー病評価尺度－認知下位尺度（ＡＤＡＳ－ＣＯＧ１２）スコア、ミニメンタルステート検査（ＭＭＳＥ）スコア、機能アクティビティ質問表（ＦＡＱ）スコアなどのうちの少なくとも１つを含む少なくとも１つの認知スコアを含み得る。

【0044】

追加としておよび／または代替的に、臨床データ１０６は、患者に関連付けられた人口統計情報、および／または患者に関連付けられたゲノム情報を含む。いくつかの実装形態では、人口統計情報は、患者の年齢、性別、診断、教育水準、ボディマス指数などのうちの少なくとも１つを含む。ゲノム情報は、患者におけるアルツハイマー病を予測するための危険因子遺伝子であるアポリポタンパク質Ｅ４（ＡＰＯＥ４）の有無を含み得る。臨床データ１０６は、ベースライン通院において収集され得る。

【0045】

臨床データ１０６は、特定の患者に固有であり得、および／または複数の患者に対応するデータを含み得る。たとえば、特定の患者に対応する臨床データ１０６は、ベースライン通院において収集され得る。ベースライン通院において収集された臨床データ１０６は、患者の認知状態の進行を正確に予測するために、機械学習モデル１２０への入力モダリティとして使用され得る。追加としておよび／または代替的に、臨床データ１０６は、１人または複数の患者に対応し得る。臨床データ１０６は、追加としておよび／または代替的に、１つまたは複数の時点において収集され得る。これにより、１人または複数の患者および／または１つまたは複数の時点に対応する臨床データ１０６が、機械学習モデル１２０をトレーニングするために、機械学習コントローラ１１０によって使用され得る。

【0046】

臨床データ１０６は、ベースライン通院におけるなど、１つまたは複数の認知スコア、ゲノム情報および／または人口統計情報の連結を含むＤ長ベクトルとして表され得る。ベクトルは、ベースライン通院の後のある時間期間における１つまたは複数の認知スコアの平滑化された変化を予測するために、機械学習モデル１２０によって使用され得る。時間期間は、１年（換言すれば、１２カ月）、または６カ月、１８カ月、２４カ月など、別の時間期間であり得る。

【0047】

画像１０８は、患者の脳の１つまたは複数の画像を含み得る。脳の１つまたは複数の画像は、磁気共鳴イメージング機械によって取得され得る。患者の脳の１つまたは複数の画像１０８は、患者の脳の３次元磁気共鳴画像を含み得る。たとえば、３次元磁気共鳴画像は、高さ（Ｈ）、幅（Ｗ）、厚さ（Ｔ）、およびチャネル（Ｃ）など、１つまたは複数の寸法を有するスライス（矢状および／または冠状スライス）を含み得る。１つまたは複数の画像１０８は、生画像であり、および／または前処理された画像であり得る。たとえば、１つまたは複数の画像１０８は、各磁気共鳴画像ボリュームについて推測された脳マスク（たとえば、推測されたマスク）を含み得る。脳マスクは、少なくとも、磁気共鳴画像ボリュームに１つまたは複数の画像セグメンテーション技法を適用することによって生成され得る。たとえば、脳マスクは、画像中の脳の強度の分布に基づいて実施される強度正規化に少なくとも基づいて、予測され得る。脳マスクは、患者の脳の生画像に適用され得る。脳マスクは、１つまたは複数の画像１０８内の脳を、および／または１つまたは複数の画像１０８内の脳の特定の部分をハイライトし得る。これは、機械学習モデル１２０が、脳に対応しない、１つまたは複数の画像１０８の部分を無視することを可能にする。

【0048】

本主題の実装形態によれば、機械学習コントローラ１１０は、プロセッサと、プロセッサによって実行されたとき、本明細書で説明される１つまたは複数の動作を実施する命令を記憶するメモリとを含み得る。たとえば、本明細書で説明されるように、機械学習コントローラ１１０は、臨床データ１０６および／または画像１０８を含む１つまたは複数のモダリティに基づいてなど、機械学習モデル１２０をトレーニングおよび／または実装し得る。

【0049】

図４Ａは、機械学習モデル１２０の例示的なアーキテクチャ４００を概略的に図示する。機械学習コントローラ１１０は、アーキテクチャ４００を使用して機械学習モデル１２０をトレーニングし得る。述べられたように、機械学習モデル１２０は、３次元磁気共鳴画像（たとえば、画像１０８）、ならびに１つまたは複数の認知スコア、ゲノム情報、および人口統計情報を含む臨床特徴（たとえば、臨床データ１０６）を、患者のベースライン通院から患者の将来の状況（たとえば、疾患の進行および／または患者の認知状態の変化）を予測するための単一のエンドツーエンドモデルに組み合わせる、マルチモーダルマルチタスク深層ニューラルネットワークを含み得る。各モダリティ（たとえば、臨床データ１０６および／または画像１０８）は、異なるモダリティの間の補完知識を活用しながら、モダリティ固有潜在空間を学習するために、別個のブランチを通して機械学習モデル１２０に供給される。

【0050】

アーキテクチャ４００を参照すると、機械学習モデル１２０は、１つ、２つ、３つ、４つ、またはそれ以上の機械学習モデルなど、１つまたは複数の機械学習モデルを含み得る。１つ、２つ、３つ、４つ、またはそれ以上の機械学習モデルは、別個のネットワークを含み得、および／または単一の機械学習モデル（たとえば、機械学習モデル１２０）の一部を形成し得る。図４に示されているように、機械学習モデル１２０は、エンコーダ４０２などの第１の機械学習モデルまたはネットワーク、特徴抽出ネットワーク４２０などの第２の機械学習モデルまたはネットワーク、エンドポイント予測ネットワーク４６０などの第３の機械学習モデルまたはネットワーク、および／あるいは領域検出器４８０などの第４の機械学習モデルまたはネットワークを含み得る。いくつかの実装形態では、エンコーダ４０２、特徴抽出ネットワーク４２０、エンドポイント予測ネットワーク４６０、および領域検出器４８０は、単一の機械学習モデル（たとえば、機械学習モデル１２０）を形成し得る。他の実装形態では、エンコーダ４０２、特徴抽出ネットワーク４２０、エンドポイント予測ネットワーク４６０、および領域検出器４８０は、別個であるが接続された機械学習モデルを形成する。また他の実装形態では、エンコーダ４０２は、第１の機械学習モデルを定義し、特徴抽出ネットワーク４２０、エンドポイント予測ネットワーク４６０、および領域検出器４８０は、第１の機械学習モデルに接続された第２の機械学習モデルのサブネットワークを形成する。

【0051】

本主題の実装形態によれば、機械学習モデル１２０は、疾患の進行および診断を予測するためのマルチモーダルマルチタスク深層ニューラルネットワークを含む。機械学習モデル１２０は、患者固有進行予測を生成するために、および数個の領域（たとえば、研究間データセットなどの異なるソースデータセット、および／または患者の病状）にわたる予測を一般化するために、イメージングおよび臨床データを活用する。たとえば、機械学習モデル１２０は、臨床データ１０６（たとえば、１つまたは複数の認知スコア、人口統計情報、および／またはゲノム情報）ならびに画像１０８（たとえば、３次元磁気共鳴脳画像）を含む様々な入力を組み合わせ、これは、大きい患者集団についてのモダリティにわたる補完情報の学習を可能にする。表データおよびイメージングデータは、下流で融合される特徴表示を生成するための機械学習モデル１２０への別個の入力として（たとえば、機械学習コントローラ１１０によって）供給される。以下でより詳細に説明されるように、機械学習コントローラ１１０は、患者の１つまたは複数の認知スコアの変化によって表される、認知状態の進行を予測するための特徴空間を構築するようにエンドツーエンドで機械学習モデル１２０をトレーニングし得る。

【0052】

図４Ａを参照すると、機械学習モデル１２０は、エンコーダ４０２を含む。エンコーダ４０２は、患者のベースライン認知状態に関連付けられた臨床データ１０６を受信し得る。本明細書で説明されるように、臨床データ１０６は、患者の現在のまたはベースライン認知状態を表す１つまたは複数の認知スコア、ベースライン通院における患者に関連付けられた人口統計情報、および／またはベースライン通院における患者に関連付けられたゲノム情報を含み得る。

【0053】

患者のベースライン認知状態は、機械学習モデル１２０によって予測され得る。たとえば、機械学習コントローラ１１０は、複数の時点において、および複数の領域（たとえば、臨床研究）にわたって取得された複数の脳画像（たとえば、画像１０８）に少なくとも基づいて、患者のベースライン認知状態を予測するように機械学習モデル１２０を事前トレーニングし得る。これは、事前トレーニングのためにすべての利用可能な時点において取得された画像１０８の長期的な特徴を活用する。画像１０８の長期的な特徴を統合することは、機械学習モデル１２０が、アルツハイマー病など、標的疾患の基礎をなす時間特性を学習することを可能にする。このようにして、機械学習コントローラ１１０は、機械学習モデル１２０を、様々な時点においてなど、患者の各通院について現在の認知スコア（たとえば、ベースライン認知状態）を予測するように事前トレーニングし得る。機械学習コントローラ１１０は、機械学習モデル１２０を、患者についてベースライン認知状態（たとえば、ベースライン認知スコア）の変化を予測するようにトレーニングするための開始点として、事前トレーニングされた重みを使用し得る。

【0054】

いくつかの事例では、複数の領域および／または臨床データ（たとえば、現在の認知スコアなど）は、機械学習モデル１２０の入力（たとえば、画像１０８および／または臨床データ１０６）に領域シフトバイアスを導入し得る。たとえば、画像１０８に関して、１つの領域からの脳のスライスの画像は、別の領域からの脳の同じスライスの画像とは見た目が著しく異なり得る。以下でより詳細に説明されるように、機械学習モデル１２０は、そのような領域シフトを低減または排除するように、および機械学習モデル１２０によって行われる予測の精度を改善するように、たとえば、機械学習コントローラ１１０よってトレーニングされ得る。

【0055】

図４Ａに示されているように、エンコーダ４０２は、臨床データ１０６に基づいて、第１の特徴表現４１０を生成し得る。第１の特徴表現４１０は、ベースライン臨床データなど、臨床データ１０６から抽出された１つまたは複数の埋込み臨床特徴を含み得る。１つまたは複数の埋込み臨床特徴は、患者のベースライン認知状態を表す現在の認知スコア、患者に関連付けられた人口統計情報、および患者に関連付けられたゲノム情報のうちの少なくとも１つの連結を含む符号化されたベクトルとして表され得る。

【0056】

図４Ａを参照すると、エンコーダ４０２は、複数の層を含み得る。複数の層は、線形層４０４、リーキーＲｅＬＵ層４０６、および線形層４０８を含み得る。線形層４０４、リーキーＲｅＬＵ層４０６、および線形層４０８は、第１の特徴表現４１０を定義する埋込み臨床特徴の抽出を改善するために積層され得る。

【0057】

再び図４Ａを参照すると、機械学習モデル１２０は、特徴抽出ネットワーク４２０を含む。特徴抽出ネットワーク４２０は、患者のベースライン認知状態に関連付けられた画像１０８を受信し得る。本明細書で説明されるように、画像１０８は、患者の１つまたは複数のベースライン（たとえば、現在の）脳画像を含み得る。画像１０８は、ベースライン通院において取得され得る。画像１０８は、１つまたは複数の領域から（たとえば、磁気共鳴イメージング機械、スキャナなどから直接）受信された１つまたは複数のベースライン磁気共鳴画像を含み得る。

【0058】

特徴抽出ネットワーク４２０は、特徴抽出ネットワーク４２０の出力として、患者の脳の画像１０８に基づいて、第２の特徴表現４２１を生成し得る。第２の特徴表現４２１は、画像１０８から抽出された、（以下でより詳細に説明される）１つまたは複数の領域不変埋込み特徴など、１つまたは複数の埋込み特徴を含み得る。第２の特徴表現４２１の１つまたは複数の埋込み特徴は、画像１０８から抽出された、１つまたは複数のピクセル値、空間時間特徴などを含み得る。第２の特徴表現４２１は、特徴抽出ネットワーク４２０によって出力され得、機械学習コントローラ１１０によって、エンドポイント予測ネットワーク４６０および／または領域検出器４８０への入力として使用され得る。

【0059】

特徴抽出ネットワーク４２０は、畳み込み層４２２（たとえば、３次元畳み込み層）、バッチ正規化層４２４（たとえば、３次元バッチ正規化層）、隠れ層４２６（たとえば、リーキーＲｅＬＵ層）、およびｍａｘプーリング層４２８（たとえば、３次元ｍａｘプーリング層）を含む、１つまたは複数の積層された層を含む。特徴抽出ネットワーク４２０は、１つまたは複数の緻密層またはブロック４４０（図４Ｂを参照）、および／あるいは１つまたは複数の積層された層に続く１つまたは複数の遷移ブロック４５０（図４Ｃを参照）を含み得る。

【0060】

１つまたは複数の緻密層４４０は、第１の緻密層４３０、第２の緻密層４３４、第３の緻密層４６２、第４の緻密層４８２などを含み得る。図４Ｂを参照すると、１つまたは複数の緻密層４４０の各々は、６つの緻密層（たとえば、積層された３つの緻密層のブロックの２つのセット）または１２個の緻密層（たとえば、積層された３つの緻密層のブロックの４つのセット）を含む。たとえば、積層された３つの緻密層のブロックの各セットは、バッチ正規化層、隠れ層、および畳み込み層を含む。図４Ｂに示されているように、緻密層４４０は、バッチ正規化層４４１（たとえば、３次元バッチ正規化層）、隠れ層４４２（たとえば、リーキーＲｅＬＵ層）、畳み込み層４４３（たとえば、３次元畳み込み層）、バッチ正規化層４４４（たとえば、３次元バッチ正規化層）、隠れ層４４５（たとえば、リーキーＲｅＬＵ層）、および畳み込み層４４７（たとえば、３次元畳み込み層）など、６つの緻密層を含む。第１の緻密層４３０は、積層された３つの緻密層のブロックの２つのセットなど、６つの緻密層を含む。第２の緻密層４３４は、積層された３つの緻密層のブロックの４つのセットなど、１２個の緻密層を含む。第３および第４の緻密層４６２、４８２は、１６個の積層された緻密層のブロックを含む。１つまたは複数の緻密層の各々は、画像１０８が前のブロックを通過した後に画像１０８から１つまたは複数の特徴を抽出することによって、特徴マップを生成する。

【0061】

図４Ａを参照すると、１つまたは複数の遷移ブロック４５０は、第１の遷移ブロック４３２および第２の遷移ブロック４３６を含み得る。図４Ｂを参照すると、第１の遷移ブロック４５０の各々は、バッチ正規化層４５１（たとえば、３次元バッチ正規化層）、隠れ層４５２（たとえば、リーキーＲｅＬＵ層）、畳み込み層４５３（たとえば、３次元畳み込み層）、および平均プーリング層４５４（たとえば、３次元平均プーリング層）など、４つの緻密層を含む。１つまたは複数の遷移ブロック４５０の１つまたは複数の層の各々は、画像１０８が前のブロックを通過した後に画像１０８から１つまたは複数の特徴を抽出することによって、特徴マップを生成する。

【0062】

再び図４Ａを参照すると、特徴抽出ネットワーク４２０は、第１の緻密層４３０、第１の遷移ブロック４３２、第２の緻密層４３４、および第２の遷移ブロック４３６がその後に続く、１つまたは複数の積層された層を含む。特徴マップサイズは、第１および第２の緻密層４３０、４３４の間で、および第１および第２の遷移ブロック４３２、４３６を通して変化する。述べられたように、特徴抽出ネットワーク４２０は、画像１０８に基づいて、１つまたは複数の抽出された特徴を含む第２の特徴表現を生成する。

【0063】

機械学習コントローラ１１０は、エンドポイント予測ネットワーク４６０および領域検出器４８０への入力として第２の特徴表現４２１を提供する。エンドポイント予測ネットワーク４６０は、緻密層４６２、隠れ層４６３（たとえば、ＲｅＬＵ層）、平均プーリング層４６４（たとえば、３次元平均プーリング層）、ドロップアウト層４６６、特徴融合層４６８、線形層４７０、隠れ層４７２（たとえば、ＲｅＬＵ層）、および／または線形層４７４を含む。

【0064】

エンドポイント予測ネットワーク４６０は、１つまたは複数の回帰エンドポイント４７６を生成し得る。たとえば、エンドポイント予測ネットワーク４６０は、ある時間期間（たとえば、ベースラインから１２カ月、ベースラインから２４カ月、ベースラインから４８カ月など）にわたるベースライン認知状態の変化を予測し得る。たとえば、ベースライン認知状態の変化は、１つまたは複数の認知スコアの変化として表され得る。経時的なベースライン認知状態の変化は、患者における、アルツハイマー病など、対応する神経障害の進行を示し得る。

【0065】

述べられたように、エンドポイント予測ネットワーク４６０は、特徴融合層４６８を含む。特徴融合層４６８は、エンドポイント予測ネットワーク４６０に含まれるものとして示されているが、特徴融合層４６８は、機械学習モデル１２０の一部として、エンコーダ４０２、特徴抽出ネットワーク４２０、領域検出器４８０、エンドポイント予測ネットワーク４６０、または別のロケーションのうちの１つまたは複数の少なくとも一部を形成し得る。

【0066】

特徴融合層４６８は、エンコーダ４０２からの第１の特徴表現４１０、および／または特徴抽出ネットワーク４２０からの第２の特徴表現４２１を少なくとも融合させることによって、セット表現４６７を生成し得る。特徴融合層４６８は、連結、加算、シンプルアテンション、スケールドドット積アテンション、テンソル融合ネットワークを適用すること、低ランク融合、単方向コンテキストアテンションなどを含む、１つまたは複数の融合技法を使用して、第１の特徴表現４１０と第２の特徴表現４２１とを融合させ得る。

【0067】

例として、機械学習モデル１２０は、異なるモダリティ（たとえば、それぞれ臨床データ１０６および画像１０８）から第１の特徴表現４１０および第２の特徴表現４２１を抽出するようにトレーニングされている。マルチモーダル融合は、たとえば、セット表現４６７を生成するために第１の特徴表現４１０と第２の特徴表現４２１とを連結し、および／または加算することを含む１つまたは複数のジョイント表現技法によって、特徴融合層４６８によって達成され得る。次いで、セット表現４６７は、患者の認知状態の変化を予測するために、エンドポイント予測ネットワーク４６０の全結合層に供給される。この例では、勾配が、機械学習モデル１２０の各ブランチに全結合層を通して上流に逆伝播され、エンドツーエンドで機械学習モデル１２０をトレーニングする。これにより、ジョイント表現学習は、モダリティ（たとえば、臨床データ１０６および画像１０８）にわたる補完情報を活用し、モダリティ間相互作用をモデル化することができる。いくつかの実装形態では、特徴融合層４６８におけるセット表現４６７の生成に先立って、第１の特徴表現４１０および／または第２の特徴表現４２１は、第１の特徴表現４１０および／または第２の特徴表現４２１が同じスケールを有するように、正規化される。

【0068】

いくつかの実装形態では、セット表現４６７は、シンプルアテンションを使用して生成され得る。シンプルアテンションでは、入力された第１の特徴表現４１０および第２の特徴表現４２１は、セット表現４６７の連結された特徴ベクトルを再重み付けするために、モダリティ（たとえば、臨床データ１０６および／または画像１０８）内の、およびモダリティの間の特徴の非線形組合せを使用して、２つの全結合層、すなわち、ＲｅＬＵ層および／またはシグモイドを含む単一のブロックを通して連結され、供給される。

【0069】

いくつかの実装形態では、セット表現４６７は、スケールドドット積アテンションを使用して生成され得る。スケールドドット積アテンションでは、入力された第１の特徴表現４１０および第２の特徴表現４２１は、最初に、単一のベクトルに連結され、次いで、スケールドドット積計算においてクエリ、キー、および値として使用される。ある実装形態では、機械学習コントローラ１１０は、セット表現４６７を生成するために各クエリ、キー、および値を線形的に変化させるために、入力された第１の特徴表現４１０および第２の特徴表現４２１の１つまたは複数の重み行列をインスタンス化し得る。

【0070】

いくつかの実装形態では、セット表現４６７は、テンソル融合ネットワーク融合技法を使用して生成され得る。特徴融合層４６８は、第１の特徴表現４１０と第２の特徴表現４２１との間のテンソル出力を決定し得る。

【0071】

いくつかの実装形態では、セット表現４６７は、低ランク融合を使用して生成され得る。低ランク融合は、第１の特徴表現４１０および／または第２の特徴表現を含む入力テンソルならびに学習された重みテンソルを低ランク要因に分解する。次いで、特徴融合層４６８は、セット表現４６７を生成するために、分解された入力テンソルを並べ替える。

【0072】

いくつかの実装形態では、セット表現４６７は、単方向コンテキストアテンションを使用して生成され得る。図５は、特徴融合層４６８を示す例示的なネットワーク図５００を示す。この例では、特徴融合層４６８は、有向アテンションメカニズムを作成するために、複数のモダリティ（たとえば、臨床データ１０６および／または画像１０８）からの主要モダリティ、ならびに複数のモダリティ（たとえば、臨床データ１０６および／または画像１０８）からの残っている１つまたは複数の補助データモダリティを割り当てる。１つまたは複数の補助モダリティからの特徴表現は、５１２において特徴融合層４６８に入力され、連結され、ＲｅＬＵ層５１０およびシグモイド５０８など、２つの全結合層を含み得る、特徴融合層４６８を通され得る。特徴融合層４６８（たとえば、シグモイド）からの出力は、再重み付けされた特徴表現５０４を生成するために、主要モダリティに基づいて生成された特徴表現５０２をチャネル再較正５０６において再重み付けするために使用される。

【0073】

例として、臨床データ１０６は補助モダリティであり得、画像１０８は主要モダリティであり得る（またはその逆である）。この例では、（たとえば、５１２において入力された）第１の特徴表現４１０は、特徴融合層４６８の全結合層５１０、５０８を通過し得る。出力は、画像１０８に基づいて生成された第２の特徴表現４２１（たとえば、この例では特徴表現５０２）を再重み付けするために、チャネル再較正５０６において機械学習コントローラ１１０（たとえば、機械学習モデル１２０）によって使用され得る。再重み付けされた特徴表現（たとえば、図５に特徴表現５０４として示されている再重み付けされた第１の特徴表現４１０および／または再重み付けされた第２の特徴表現４２１）は、エンドポイント予測ネットワーク４６０への入力として、生成および使用されるセット表現４６７を定義し得る。このようにして、補助モダリティ（たとえば、この例では臨床データ１０６）に基づいて生成された特徴表現は、最適化を支配することなしに主要なモダリティ（たとえば、この例では画像１０８）に基づいて生成された特徴表現にコンテキストを提供する。それゆえに、第１の特徴表現４１０および第２の特徴表現４２１は、改善された精度を伴って、１つまたは複数のエンドポイント（たとえば、認知状態の変化、回帰エンドポイント４７６など）を予測するためのセット表現４６７を生成するために効率的に融合され得る。

【0074】

再び図４Ａを参照すると、領域検出器４８０は、緻密層４８２、バッチ正規化層４８４（たとえば、３次元バッチ正規化層）、隠れ層４８６（たとえば、リーキーＲｅＬＵ層）、平均プーリング層４８８（たとえば、３次元平均プーリング層）、および線形層４９０を含む。

【0075】

領域検出器４８０は、機械学習モデル１２０が、第２の特徴表現４２１の領域不変埋込み特徴など、領域不変イメージング特徴表示を学習することを可能にする。概して、スキャナおよびプロトコールは、研究施設ごとに異なり得、患者集団および彼らの病状は、研究の間で異なり得るので、マルチ研究画像（たとえば、磁気共鳴イメージングデータ）上でトレーニングされた畳み込みニューラルネットワークは、しばしば、領域シフトおよび不均一性に起因する問題がある。とりわけ、異なる研究の間の医療画像解析における領域シフト（たとえば、バイアス）の２つの一般的な形態、すなわち、集団シフトおよび収集シフトがある。集団シフトは、対象のコホートがいろいろな人口統計または臨床特性を呈するときに起こり、収集シフトは、イメージングプロトコール、モダリティまたはスキャナの違いにより観測される。これにより、画像１０８は、集団シフトおよび／または収集シフトにより領域シフティングを導入することがある。起こり得る研究間バイアスを緩和するために、機械学習コントローラ１１０は、機械学習モデル１２０を、抽出された特徴と、研究間分布シフトとの間で共有される相互情報量を最小にするように、および生成された特徴表示（たとえば、第１の特徴表現４１０および／または第２の特徴表現４２１）ならびに／あるいは回帰エンドポイント４７６における研究間バイアスなど、バイアス４９２を最小にするようにトレーニングする。

【0076】

とりわけ、機械学習コントローラ１１０は、バイアス分布（たとえば、バイアス４９２）を予測するように特徴抽出ネットワーク４２０に対して領域検出器４８０を敵対的にトレーニングする。言い換えれば、機械学習コントローラ１１０は、研究施設領域に対して不変のままでありながら、画像１０８および／または埋込み臨床特徴（たとえば、第１の特徴表現４１０）に基づいて、神経イメージング特徴（たとえば、第２の特徴表現４２１）を抽出するように敵対的な損失を使用して機械学習モデル１２０をトレーニングし得る。敵対的なトレーニングの結果として、画像１０８に関連付けられた領域を予測するための領域検出器４８０の能力は最小にされる。

【0077】

たとえば、特徴抽出ネットワーク４２０および／または領域検出器４８０は、特徴抽出ネットワーク４２０が、第２の特徴表現４２１を生成するための領域不変特徴を学習するような敵対的な様式でトレーニングされている。特徴抽出ネットワーク４２０は、第２の特徴表現４２１を生成するときに複数の領域にわたって一般化するための、特徴抽出ネットワーク４２０の能力を増加させるように敵対的にトレーニングされている。それゆえに、特徴抽出ネットワーク４２０は、領域検出器４８０が、特徴抽出ネットワーク４２０によって生成された第２の特徴表現４２１の領域を正しく識別することができなくなるまで、（たとえば、機械学習コントローラ１１０によって）トレーニングされ得る。

【0078】

述べられたように、機械学習コントローラ１１０は、領域検出器４８０を、患者の脳の画像１０８に関連付けられた研究間および／またはモダリティ間領域シフトを低減するように敵対的にトレーニングする。たとえば、機械学習コントローラ１１０は、領域検出器４８０を、第１の特徴表現４１０および／または第２の特徴表現４２１に少なくとも基づいて、画像１０８および／または臨床データ１０６に関連付けられた領域を区別するようにトレーニングする。同時に、機械学習コントローラ１１０は、特徴抽出ネットワーク４２０を、第２の特徴表現４２１を生成する際に、画像１０８に関連付けられた領域を一般化するように、および／またはエンコーダ４０２を、第１の特徴表現４１０を生成する際に、臨床データ１０６に関連付けられた領域を一般化するようにトレーニングする。領域検出器４８０は、領域分類損失を最小にするようにトレーニングされており、特徴抽出ネットワーク４２０は、領域分類損失を最大にするようにトレーニングされている。

【0079】

機械学習コントローラ１１０は、たとえば、領域検出器４８０への入力を生成するために、第２の特徴表現４２１（および／または第１の特徴表現４１０）に逆勾配４８１を適用することによって、領域検出器４８０を敵対的にトレーニングし得る。述べられたように、領域検出器４８０を敵対的にトレーニングすることは、第２の特徴表現４２１および／または第１の特徴表現４１０が領域不変であることを生じる。言い換えれば、第２の特徴表現４２１（または第１の特徴表現４１０）に関連付けられた領域は、第２の特徴表現４２１（または第１の特徴表現４１０）を定義する抽出された特徴に対する領域の影響が最小になるかまたは排除されるように一般化される。いくつかの実装形態では、領域検出器４８０は、追加としておよび／または代替的に、臨床データ１０６および／または第１の特徴表現４１０におけるバイアスを最小にするようにエンコーダ４０２に対して敵対的にトレーニングされ得る。これにより、領域検出器４８０は、領域が不変の第１の特徴表現４１０および／または領域が不変の第２の特徴表現４２１を生じるように敵対的にトレーニングされ得る。推測において、領域検出器４８０は、追加としておよび／または代替的に、バイアス４９２のドリフトを検出し得る。

【0080】

述べられたように、機械学習コントローラ１１０は、機械学習モデル１２０を、患者ｐのベースライン認知状態に関連付けられた臨床データ１０６および患者ｐの脳の画像１０８を含む複数のモダリティに少なくとも基づいて、経時的なベースライン認知状態の変化を予測するようにトレーニングし得る。臨床特徴Ｃｌｉｎ_ｐ（たとえば、臨床データ１０６）および３Ｄ磁気共鳴イメージングＭＲＩ_ｐ（たとえば、画像１０８）を伴う入力「患者ｐ」は、機械学習モデル１２０への入力として供給され、ここで、それぞれ、臨床埋込みａ（Ｃｌｉｎ_ｐ）（たとえば、第１の特徴表現４１０）および患者の画像埋込みｆ（ＭＲＩ_ｐ）（たとえば、第２の特徴表現４２１）を学習するために、Ｃｌｉｎ_ｐはエンコーダ１０２に入り、ＭＲＩ_ｐは特徴抽出ネットワーク４２０に入る。その後、ｆ（ＭＲＩ_ｐ）は、領域検出器４８０に供給され、抽出された特徴、すなわち、ａ（Ｃｌｉｎ_ｐ）およびｆ（ＭＲＩ_ｐ）の両方は、エンドポイント予測ネットワーク４６０を通してフォワード供給される。各ネットワークのパラメータは、（たとえば、エンコーダ４０２に対応する）θ_ａ、（たとえば、特徴抽出ネットワーク４２０に対応する）θ_ｆ、（たとえば、エンドポイント予測ネットワーク４６０に対応する）θ_ｇ、（たとえば、領域検出器４８０に対応する）θ_ｈとして定義され、下付き文字は、図４Ａに示されているそれらの固有ネットワークを示す。

【0081】

機械学習モデル１２０は、データソースの混合物に基づいてトレーニングされているが、機械学習モデル１２０は、不可視領域からのテストデータ上でロバストに作動する。この目的で、相互情報ベース損失が、機械学習モデル１２０をトレーニングするための目的関数に加えられる。それゆえ、トレーニング手順は、以下の式を最適化することになる。

ここで、損失（．，．）およびＩ（．，．）は、それぞれ、損失関数および相互情報（たとえば、バイアス４９２）を示し、λは、項を平衡させるためのハイパーパラメータである。相互情報を置き換えると、上記の式は、以下の式になる。

【0082】

ここで、Ｌ_{エンドポイント}（．）、Ｌ_バイアス（．）、およびＨ（ｈ○ｆ（．））は、それぞれ、エンドポイント予測の損失、バイアス予測の損失、およびレギュラライザーの働きをするバイアスのエントロピーを表す。エンコーダ４０２、特徴抽出ネットワーク４２０、エンドポイント予測ネットワーク４６０、および領域検出器４８０を含むネットワークのセットは、敵対的な損失および（たとえば、逆勾配４８１に基づく）勾配反転技法を用いて、エンドツーエンドでトレーニングされており、重みθ_ｆ、θ_ｈを更新する。学習の初めに、ｇ○ｆは、バイアス４９２を使用することによってエンドポイントを予測するように高速でトレーニングされている。次いで、ｈ（たとえば、領域検出器４８０）は、バイアス４９２を予測するように学習し、ｆ（たとえば、特徴抽出ネットワーク４２０）は、イメージング領域に対して不変の特徴埋込み（たとえば、第２の特徴表現４２１）を抽出するように学習する。

【0083】

さらに、機械学習モデル１２０のトレーニング中に、機械学習コントローラ１１０は、オーバーフィッティングを回避し、一般化を改善するために、シャープネスアウェア最小化（ＳＡＭ）を適用し得る。ＳＡＭは、損失ランドスケープの平滑度を推定し、最終予測精度を改善するために、２つのフォワード－バックワードパスを実施する。平滑化は、最初の２４カ月（または別の時間期間）におけるすべての通院についての各認知スコアに対して患者ごとの線形回帰を少なくともフィットさせることによって実施される。次いで、フィットされた線形回帰の傾斜は、所望の時間期間（たとえば、１２カ月）の終わりに認知スコア（たとえば、患者の認知状態）の平滑化された変化を決定するために使用される。認知スコアの平滑化された変化を使用して機械学習モデル１２０をトレーニングすることは、欠損値および測定雑音を軽減するのに役立つ。

【0084】

図６は、本主題の実装形態による、アルツハイマー病を含む１つまたは複数の神経障害の進行など、疾患の進行をモデル化するための深層学習のためのプロセス６００の例を図示するフローチャートを描く。図６を参照すると、プロセス６００は、１２カ月など、ある時間期間にわたる患者の認知状態の変化を予測するために、機械学習モデル１２０および／または機械学習コントローラ１１０によって実施され得る。これは、経時的な患者における、アルツハイマー病など、神経障害の進行の効率的で正確な予測を可能にする。

【0085】

本明細書で説明されるように、予測は、領域不変であり得る。言い換えれば、機械学習モデル１２０（たとえば、機械学習コントローラ１１０）は、１つまたは複数のモダリティ（たとえば、１つまたは複数のスキャナ、機械、研究、臨床医など）から受信された入力（たとえば、画像１０８および／または臨床データ１０６）に由来する領域シフトバイアスの影響を低減し得る。それゆえに、機械学習コントローラ１１０は、改善された精度、メモリ効率、および速さをもつ、臨床データ１０６および／または画像１０８を含む、マルチモーダルモダリティを使用して機械学習モデル１２０をトレーニングし得る。本主題の実装形態によれば、プロセス６００は、図４Ａに示されている例示的なアーキテクチャ４００を指す。

【0086】

機械学習モデル１２０は、患者のベースライン認知状態に関連付けられた臨床データ１０６および患者の脳の画像１０８など、１つまたは複数の入力モダリティを受信し得る。画像１０８は、推測されたマスクを含む３次元磁気共鳴画像を含み得る。ベースライン認知状態は、臨床的認知症重症度判定尺度（ＣＤＲＳＢ）スコア、アルツハイマー病評価尺度－認知下位尺度（ＡＤＡＳ－ＣＯＧ１２）スコア、およびミニメンタルステート検査（ＭＭＳＥ）スコアのうちの少なくとも１つを含む少なくとも１つの認知スコアによって表され得る。

【0087】

６０２において、（たとえば、機械学習コントローラ１１０を介して）機械学習モデル１２０は、患者のベースライン認知状態に関連付けられた臨床データ１０６などの臨床データに基づく第１の特徴表現４１０など、第１の特徴表現を生成し得る。第１の特徴表現４１０は、患者のベースライン認知状態を表す現在の認知スコア、患者に関連付けられた人口統計情報、および患者に関連付けられたゲノム情報のうちの少なくとも１つの連結を含む符号化されたベクトルであり得る。

【0088】

いくつかの実装形態では、機械学習モデル１２０は、複数の時点において、および複数の領域にわたって取得された複数の脳画像に少なくとも基づいて、患者のベースライン認知状態を予測するように（たとえば、機械学習コントローラ１１０によって）事前トレーニングされ得る。機械学習モデル１２０は、複数の領域に関連付けられた研究間領域シフトを低減するようにトレーニングされ得る。たとえば、機械学習モデル１２０は、患者の脳に関連付けられた画像１０８に関連付けられた研究間領域シフト（たとえば、バイアス４９２）を低減するように機械学習モデル１２０の領域検出器（たとえば、領域検出器４８０）を少なくとも敵対的にトレーニングすることによって、（たとえば、機械学習コントローラ１１０によって）トレーニングされ得る。敵対的にトレーニングすることは、領域検出器４８０への領域検出器入力を生成するために、第２の特徴表現４２１に逆勾配を適用することを含む。領域検出器４８０を敵対的にトレーニングすることは、領域検出器入力に少なくとも基づく。さらに、述べられたように、領域検出器４８０は、推測における研究間領域シフトのドリフトを示し得る。敵対的にトレーニングすることは、特徴抽出ネットワーク４２０が、第２の特徴表現４２１を生成するための領域不変特徴を学習するような敵対的な様式で特徴抽出ネットワーク４２０をトレーニングすることを含み得る。言い換えれば、特徴抽出ネットワーク４２０は、第２の特徴表現４２１を生成するときに複数の領域にわたって一般化するための、特徴抽出ネットワーク４２０の能力を増加させるように敵対的にトレーニングされ得る。

【0089】

６０４において、（たとえば、機械学習コントローラ１１０を介して）機械学習モデル１２０は、患者の脳の、画像１０８など、画像に少なくとも基づく第２の特徴表現４２１など、第２の特徴表現を生成し得る。第２の特徴表現４２１は、本明細書で説明されるように、少なくとも１つの領域不変埋込み特徴を含み得る。これは、増加された精度をもつ予測を提供するのに役立つ。

【0090】

６０６において、（たとえば、機械学習コントローラ１１０を介して）機械学習モデル１２０は、第１の特徴表現４１０と第２の特徴表現４２１とを少なくとも融合させることによって、セット表現を生成し得る。機械学習モデル１２０は、１つまたは複数の融合技法を使用して、融合させることを実施し得る。１つまたは複数の融合技法は、連結、加算、シンプルアテンション、スケールドドット積アテンション、テンソル融合ネットワークを適用すること、低ランク融合、および単方向コンテキストアテンションのうちの少なくとも１つを含み得る。

【0091】

６０８において、（たとえば、機械学習コントローラ１１０を介して）機械学習モデル１２０は、セット表現に少なくとも基づいて、ある時間期間にわたるベースライン認知状態の変化を予測し得る。経時的なベースライン認知状態の変化は、患者におけるアルツハイマー病など、疾患の進行を示し得る。時間期間は、１２カ月、２４カ月、４８カ月などであり得る。それゆえに、機械学習モデル１２０は、経時的な患者における疾患の進行を正確におよび効率的に予測し得る。

【0092】

実験
本主題の実装形態による、機械学習モデル１２０の性能が、複数の患者についての複数のモダリティに基づいてテストされた。図７は、機械学習モデル１２０のテスティングのための患者組成を要約する表７００を描く。表７００において、ＣＮは、認知的に正常な患者を指し、ＭＣＩは、軽度認知障害をもつ患者を指し、ＡＤは、アルツハイマー病をもつ患者を指す。本明細書で説明されるように、入力された臨床データ（たとえば、臨床データ１０６）は、患者の人口統計情報（たとえば、年齢、性別、診断、教育水準、およびボディマス指数）、ゲノム情報、ＣＤＲＳＢ、ＭＭＳＥ、ＡＤＡＳ－Ｃｏｇ１２、およびＦＡＱなど、１つまたは複数の認知スコアを含んだ。入力された画像（たとえば、画像１０８）は、生の３次元磁気共鳴画像およびボリュメトリック磁気共鳴イメージング特徴を含んだ。生の３次元磁気共鳴画像は、脳マスクを推測することによって標準化された。機械学習モデル１２０のトレーニング中に、３次元磁気共鳴画像およびセグメンテーションは、０，１に再スケールされた強度を用いて、および脳マスク内のボクセルのみを使用して正規化されたＺ値を用いて、１ｍｍボクセルサイズに等方的に再試料化され、カノニカル（ＲＡＳ＋）配向に標準化された。最後に、磁気共鳴画像ボリュームは、クロッピングまたはパディングされた。

【0093】

重み付けされたＲ^２が、以下の式３に示されているように、各データセットのＲ^２の重み付けされた平均によって機械学習モデル１２０の各エンドポイントについて別々に定義された。

【0094】

ここで、ＳＳ_ｒｅｓおよびＳＳ_ｔｏｔは、それぞれ、残差２乗和および総２乗和を示す。この重み付けは、Ｒ^２が、データセットサイズに比例して、重み付けされた平均Ｒ^２に寄与することを保証する。

【0095】

有効試料サイズ増加（ＥＳＳＩ）が、２つのセットアップ、すなわち、（１）未調整の分析に関してＭＭＭＴ（マルチモダリティマルチタスクモデル化）調整済み分析におけるＥＳＳＩを比較すること、（２）ＭＭＭＴ調整済み分析におけるＥＳＳＩをベースライン線形回帰モデルと比較することについて計算された。図８は、本主題の実装形態による、検証セットに基づく機械学習モデルおよび手法の性能比較を要約する表８００を描く。たとえば、表８００に示されているように、ＭＭＭＴ（たとえば、機械学習モデル１２０）は、シングルモダリティシングルタスク（ＳＭＳＴ）モデル、シングルモダリティマルチタスク（ＳＭＭＴ）モデル、およびマルチモダリティシングルタスク（ＭＭＳＴ）モデルなど、他のモデルよりも優れていた。表８００において、Ｃｌｉｎは、臨床情報モダリティ（たとえば、臨床データ１０６）を指し、ＭＲＩは、イメージングモダリティ（たとえば、画像１０８）を指す。図９は、本主題の実装形態による、機械学習モデルおよび手法の別の性能比較を要約する表９００を描く。とりわけ、表９００は、表８００に示されている機械学習モデルについてのＥＳＳＩ比較を示す。表８００および表９００に示されているように、機械学習モデル１２０は、すべての３つのエンドポイント（たとえば、３つの認知スコア）を予測するためにすべてのモダリティを使用するとき、最良の性能を呈する。臨床治験において共変量調整のために使用された場合、これは、機械学習モデル１２０が、未調整の治験と比較して試料サイズの最高３５％の増加、または表９００に示されている回帰Ｃｌｉｎモデルを用いて調整済み治験と比較して試料サイズの１２％の増加を達成し得ることを示す。

【0096】

図１０は、本主題の実装形態による、疾患進行予測システムの性能を図示するグラフ１０００を描く。グラフ１０００は、少なくとも部分的に、生画像入力に含まれる符号化された構造特徴により、抽出されたボリュメトリック特徴と比較して、生画像入力に基づいて疾患の進行を予測する際の機械学習モデル１２０の改善された性能を示す。

【0097】

図１１は、本主題の実装形態による、機械学習モデルおよび手法の性能比較を要約する表１１００を描く。表１１００に示されているように、機械学習モデル１２０のロバストネスは、研究内テストセットおよび研究外テストセットを含む２つの異なる外部テストセットを使用することによって評定される。トレーニングされたマルチタスク機械学習モデル１２０は、臨床情報または磁気共鳴画像のいずれか、あるいはその両方を使用することによってテストされた。表１１００に示されているように、両方の入力モダリティに対して適用された機械学習モデル１２０は、研究内テストセット上で著しく他のモデルよりも優れていた。研究外テストセット上で、両方のモダリティに対して適用された機械学習モデル１２０は、臨床情報に対してのみ適用されたときのＭＭＳＥおよびＡＤＡＳ－ＣＯＧ１２予測についての同等の性能に達しながら、ＣＤＲＳＢを予測するための他のモデルよりも著しく優れていた。そのうえ、患者の予測されたＣＤＳＢ変化によって患者の認知軌道を階層化することは、機械学習モデル１２０が、安定患者と低下患者を分離することができるので、グループの間の顕著な違いをあらわにする。

【0098】

図１２は、本主題の実装形態による、最適化手法の性能比較を図示するグラフ１２００を描く。グラフ１２００に示されているように、ＳＡＭ最適化方法の適用は、他の最適化方法と比較してより安定した収束およびより良い最小値につながる。

【0099】

図１３は、本主題の実装形態による、機械学習モデルおよび手法の性能比較を要約する表１３００を描く。表１３００は、機械学習モデル１２０の領域検出器４８０の敵対的なトレーニングの有効性を示す。たとえば、表１３００に示されているように、機械学習モデル１２０をトレーニングする際の敵対的な損失の組込みは、ＭＭＳＥ認知スコアについてＲ^２に関して最高０．２２％および０．０９％の改善を生じる。

【0100】

コンピューティングシステム
図１４は、本主題の実装形態による、コンピューティングシステム１４００を図示するブロック図を描く。図１～図１３を参照すると、コンピューティングシステム１４００は、機械学習コントローラ１１０、機械学習モデル１２０、疾患進行予測システム１００、および／またはその中の任意の構成要素を実装するために使用され得る。

【0101】

図１４に示されているように、コンピューティングシステム１４００は、プロセッサ１４１０、メモリ１４２０、記憶デバイス１４３０、および入出力デバイス１４４０を含むことができる。プロセッサ１４１０、メモリ１４２０、記憶デバイス１４３０、および入出力デバイス１４４０は、システムバス１４５０を介して相互接続され得る。コンピューティングシステム１４００は、追加としてまたは代替的に、画像処理のためのなど、グラフィック処理ユニット（ＧＰＵ）、および／またはＧＰＵのための関連メモリを含み得る。ＧＰＵ、および／またはＧＰＵのための関連メモリは、プロセッサ１４１０、メモリ１４２０、記憶デバイス１４３０、および入出力デバイス１４４０とシステムバス１４５０を介して相互接続され得る。ＧＰＵに関連付けられたメモリは、本明細書で説明される１つまたは複数の画像を記憶し得、ＧＰＵは、本明細書で説明される画像のうちの１つまたは複数を処理し得る。ＧＰＵは、プロセッサ１４１０の一部に結合され、および／またはプロセッサ１４１０の一部を形成し得る。プロセッサ１４１０は、コンピューティングシステム１４００内での実行のための命令を処理することが可能である。そのような実行された命令は、たとえば、機械学習コントローラ１１０、機械学習モデル１２０、疾患進行予測システム１００などの１つまたは複数の構成要素を実装することができる。本主題のいくつかの実装形態では、プロセッサ１４１０は、シングルスレッドプロセッサであり得る。代替的に、プロセッサ１４１０は、マルチスレッドプロセッサであり得る。プロセッサ１４１０は、入出力デバイス１４４０を介して提供されるユーザインターフェースのためのグラフィカル情報を表示するために、メモリ１４２０におよび／または記憶デバイス１４３０に記憶された命令を処理することが可能である。

【0102】

メモリ１４２０は、コンピューティングシステム１４００内で情報を記憶する、揮発性または不揮発性など、コンピュータ可読媒体である。メモリ１４２０は、たとえば、構成オブジェクトデータベースを表すデータ構造を記憶することができる。記憶デバイス１４３０は、コンピューティングシステム１４００のための永続的ストレージを提供することが可能である。記憶デバイス１４３０は、フロッピーディスクデバイス、ハードディスクデバイス、光ディスクデバイス、またはテープデバイス、あるいは他の好適な永続的記憶手段であり得る。入出力デバイス１４４０は、コンピューティングシステム１４００のための入出力動作を提供する。本主題のいくつかの実装形態では、入出力デバイス１４４０は、キーボードおよび／またはポインティングデバイスを含む。様々な実装形態では、入出力デバイス１４４０は、グラフィカルユーザインターフェースを表示するためのディスプレイユニットを含む。

【0103】

本主題のいくつかの実装によれば、入出力デバイス１４４０は、ネットワークデバイスのための入出力動作を提供することができる。たとえば、入出力デバイス１４４０は、１つまたは複数のワイヤードおよび／またはワイヤレスネットワーク（たとえば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネット）と通信するために、イーサネットポートまたは他のネットワーキングポートを含むことができる。

【0104】

本主題のいくつかの実装形態では、コンピューティングシステム１６００は、様々な（たとえば、表）フォーマットのデータの編成、分析および／または記憶のために使用され得る、様々な対話型コンピュータソフトウェアアプリケーションを実行するために使用され得る（たとえば、マイクロソフトエクセル（登録商標）、および／または他のタイプのソフトウェア）。代替的に、コンピューティングシステム１６００は、任意のタイプのソフトウェアアプリケーションを実行するために使用され得る。これらのアプリケーションは、様々な機能性、たとえば、プランニング機能性（たとえば、スプレッドシート文書、ワードプロセシング文書、および／または任意の他のオブジェクトなどの生成、管理、編集）、コンピューティング機能性、通信機能性などを実施するために使用され得る。アプリケーションは、様々なアドイン機能性を含むことができるか、あるいはスタンドアロンコンピューティング製品および／または機能性であり得る。アプリケーション内でアクティブになると、機能性は、入出力デバイス１６４０を介して提供されるユーザインターフェースを生成するために使用され得る。ユーザインターフェースは、コンピューティングシステム１６００によって生成され、（たとえば、コンピュータスクリーンモニタなどの上で）ユーザに提示され得る。

【0105】

本明細書で説明される主題の１つまたは複数の態様または特徴は、デジタル電子回路、集積回路、特別に設計されたＡＳＩＣ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組合せで実現され得る。これらの様々な態様または特徴は、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能および／または解釈可能である１つまたは複数のコンピュータプログラムでの実装形態を含むことができ、少なくとも１つのプログラマブルプロセッサは、専用または汎用であり得、記憶システム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスからデータおよび命令を受信するために、ならびに記憶システム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスにデータおよび命令を送信するために結合される。プログラマブルシステムまたはコンピューティングシステムは、クライアントおよびサーバを含み得る。クライアントおよびサーバは、概して、互いから遠くにあり、典型的に、通信ネットワークを通して対話する。クライアントとサーバとの関係は、それぞれのコンピュータ上で走っており、互いにクライアントサーバの関係を有するコンピュータプログラムによって生じる。

【0106】

プログラム、ソフトウェア、ソフトウェアアプリケーション、アプリケーション、コンポーネント、またはコードと呼ばれることもあるこれらのコンピュータプログラムは、プログラマブルプロセッサのための機械命令を含み、高レベル手続き型および／またはオブジェクト指向プログラミング言語で、ならびに／あるいはアセンブリ／機械言語で実装され得る。本明細書で使用される、「機械可読媒体」という用語は、機械可読シグナルとして機械命令を受信する機械可読媒体を含む、プログラマブルプロセッサに機械命令および／またはデータを提供するために使用される、たとえば、磁気ディスク、光ディスク、メモリ、およびプログラマブル論理デバイス（ＰＬＤ）など、任意のコンピュータプログラム製品、装置および／またはデバイスを指す。「機械可読シグナル」という用語は、プログラマブルプロセッサに機械命令および／またはデータを提供するために使用される任意のシグナルを指す。機械可読媒体は、たとえば、非一時的ソリッドステートメモリまたは磁気ハードドライブまたは任意の等価な記憶媒体がそうするようになど、非一時的にそのような機械命令を記憶することができる。機械可読媒体は、代替的にまたは追加として、たとえば、プロセッサキャッシュ、あるいは１つまたは複数の物理的プロセッサコアに関連付けられた他のランダムアクセスメモリがそうするようになど、一時的な様式でそのような機械命令を記憶することができる。

【0107】

ユーザとの対話を与えるために、本明細書で説明される主題の１つまたは複数の態様または特徴は、たとえば、ユーザに情報を表示するための陰極線管（ＣＲＴ）または液晶ディスプレイ（ＬＣＤ）または発光ダイオード（ＬＥＤ）モニタなどのディスプレイデバイス、およびキーボード、およびたとえば、ユーザがそれによってコンピュータに入力を提供し得るマウスまたはトラックボールなどのポインティングデバイスを有するコンピュータ上で実装され得る。他の種類のデバイスも、ユーザとの対話を与えるために使用され得る。たとえば、ユーザに提供されるフィードバックは、たとえば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックなど、任意の形態の知覚フィードバックであり得、ユーザからの入力は、音響、音声、または触覚入力を含む任意の形態で受信され得る。他の可能な入力デバイスは、シングルまたはマルチポイント抵抗性または容量性トラックパッドなどのタッチスクリーンまたは他のタッチセンシティブデバイス、音声認識ハードウェアおよびソフトウェア、光スキャナ、光ポインタ、デジタル画像キャプチャデバイス、および関連する解釈ソフトウェアなどを含む。

【0108】

本明細書で説明された主題は、所望の構成に応じて、システム、装置、方法、および／または物品で具現され得る。上記の説明に記載された実装形態は、本明細書で説明された主題によるすべての実装形態を表すとは限らない。代わりに、上記の説明に記載された実装形態は、説明された主題に関係する態様によるいくつかの例にすぎない。数個の変形形態が、上記で詳細に説明されたが、他の変更形態または追加形態が可能である。とりわけ、さらなる特徴および／または変形形態が、本明細書で記載されたものに加えて提供され得る。たとえば、上記で説明された実装形態は、開示された特徴の様々な組合せおよび部分組合せ、ならびに／または上記で開示された数個のさらなる特徴の組合せおよび部分組合せを対象とし得る。加えて、添付図に描かれ、および／または本明細書で説明された論理フローは、望ましい結果を達成するために、示された特定の順序または連続した順序を必ずしも必要とするとは限らない。たとえば、論理フローは、本開示の範囲から逸脱することなく、示されたものとは異なるおよび／または追加の動作を含み得る。論理フローの１つまたは複数の動作は、本開示の範囲から逸脱することなく繰り返され、および／または省略され得る。他の実装形態が、以下の請求項の範囲内にあり得る。

【図1】

【図2A】

【図2B】

【図3】

【図4A】

【図4B】

【図4C】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【国際調査報告】