特表2023-552377 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ ジェネンテック，　インコーポレイテッドの特許一覧

特表2023-552377地図状萎縮成長速度のマルチモーダル予測

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1A
1B
1C
1D
1E
1F
1G
2
3
4
5
6
7
8A
8B
9
10A
10B
11A
11B
12A
12B
13-1
13-2
14
15

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-12-15

(54)【発明の名称】地図状萎縮成長速度のマルチモーダル予測

(51)【国際特許分類】

A61B 3/10 20060101AFI20231208BHJP

【ＦＩ】

A61B3/10 100

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023533851

(86)(22)【出願日】2021-12-02

(85)【翻訳文提出日】2023-07-28

(86)【国際出願番号】 US2021061606

(87)【国際公開番号】W WO2022120044

(87)【国際公開日】2022-06-09

(31)【優先権主張番号】63/121,125

(32)【優先日】2020-12-03

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/169,764

(32)【優先日】2021-04-01

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/181,813

(32)【優先日】2021-04-29

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/218,905

(32)【優先日】2021-07-06

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＰＹＴＨＯＮ

(71)【出願人】

【識別番号】509012625

【氏名又は名称】ジェネンテック，インコーポレイテッド

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】ヤン，チー

(72)【発明者】

【氏名】アネゴンディ，ネハステークシュナ

(72)【発明者】

【氏名】カオ，シモンシャン

【テーマコード（参考）】

4C316

【Ｆターム（参考）】

4C316AA09

4C316AB02

4C316AB07

4C316AB11

4C316AB16

4C316FB21

4C316FB27

4C316FZ01

(57)【要約】

網膜における地図状萎縮を評価する方法およびシステム。網膜の眼底自発蛍光（ＦＡＦ）画像のセットは、機械学習システムにおいて受信される。網膜の光干渉断層撮影（ＯＣＴ）画像のセットは、機械学習システムにおいて受信される。病変成長速度は、機械学習システムを介して、ＦＡＦ画像のセットおよびＯＣＴ画像のセットを使用して、網膜における地図状萎縮病変について予測される。
【選択図】図１Ａ

【特許請求の範囲】

【請求項1】

網膜の眼底自発蛍光（ＦＡＦ）撮像データを受信することと、
前記網膜の光干渉断層撮影（ＯＣＴ）撮像データを受信することと、
前記ＦＡＦ撮像データおよび前記ＯＣＴ撮像データを使用して、前記網膜における地図状萎縮（ＧＡ）病変についての病変成長速度を予測することと
を含む、方法。

【請求項2】

前記ＦＡＦ撮像データおよび前記ＯＣＴ撮像データを使用して前記ＧＡ病変についてのベースライン病変面積を予測することをさらに含む、請求項１に記載の方法。

【請求項3】

前記病変成長速度を予測することが、
前記ＦＡＦ撮像データを使用して第１の入力を生成し、前記ＯＣＴ撮像データを使用して第２の入力を生成することと、
前記第１の入力と前記第２の入力とを融合して融合入力を形成することと、
前記融合入力を使用して、前記地図状萎縮病変についての前記病変成長速度を生成することと
をさらに含む、請求項１に記載の方法。

【請求項4】

前記融合入力からバイオマーカーを抽出することをさらに含む、請求項３に記載の方法。

【請求項5】

前記バイオマーカーが、病変周囲長、病変形状記述的特徴、楔形網膜下反射低下、網膜色素上皮（ＲＰＥ）の減弱および破壊、高反射性病巣、網状偽ドルーゼン（ＲＰＤ）、多層膜厚減少、光受容体萎縮、ドルーゼンにおける低反射性コア、中心部の大きなドルーゼン、周りを囲む異常な自己蛍光パターン、以前のＧＡ進行速度、網膜外層管形成、脈絡毛細管板の空隙、ＧＡ病変サイズ、中心窩までのＧＡ距離、病変連続性、またはそれらの組み合わせを含む、請求項４に記載の方法。

【請求項6】

前記病変成長速度を予測することが、
ＦＡＦ画像のセットを使用して第１の入力を生成し、ＯＣＴ画像のセットを使用して第２の入力を生成することと、
前記ＦＡＦ撮像データから第１の目的の特徴を抽出することと、
前記ＯＣＴ撮像データから第２の目的の特徴を抽出することと、
前記第１の目的の特徴と前記第２の目的の特徴とを融合して融合特徴入力を形成することと、
前記融合特徴入力を使用して、前記地図状萎縮病変についての前記病変成長速度を生成することと
をさらに含む、請求項１に記載の方法。

【請求項7】

前記網膜が患者と関連付けられており、前記方法が、
前記患者と関連付けられた臨床因子データを受信することと、
前記臨床因子データを前記第１の目的の特徴および前記第２の目的の特徴と融合させて、前記融合特徴入力を形成することと、
前記融合特徴入力を使用して、前記地図状萎縮病変の前記病変成長速度を生成することと
をさらに含む、請求項６に記載の方法。

【請求項8】

前記臨床因子データが、被験者の年齢、性別、喫煙状態、観察されたＧＡ病変面積、観察されたＧＡ病変の網膜の中心窩までの距離、画像の連続性、最高矯正視力（ＢＣＶＡ）スコア、低輝度欠損（ＬＬＤ）スコア、またはそれらの組み合わせを含む、請求項７に記載の方法。

【請求項9】

前記融合特徴入力は、平均プーリング法、スクイーズおよび励起法、またはそれらの組み合わせを含むモデルを使用して形成される、請求項５に記載の方法。

【請求項10】

前記網膜の赤外線（ＩＲ）撮像データを受信することと、
前記ＦＡＦ撮像データ、前記ＯＣＴ撮像データ、および前記ＩＲ撮像データを使用して、前記網膜における地図状萎縮病変についての病変成長速度を予測することと
をさらに含む、請求項１に記載の方法。

【請求項11】

前記ＦＡＦ撮像データを前処理して前記第１の入力を形成することであって、前記前処理が、黄斑視野ＦＡＦ画像選択、目的の領域抽出、画像コントラスト調整、または多視野ＦＡＦ画像の組み合わせを含む、前記ＦＡＦ撮像データを前処理して前記第１の入力を形成することをさらに含む、請求項３に記載の方法。

【請求項12】

前記ＯＣＴ撮像データを前処理して前記第２の入力を形成することであって、前記前処理が、
網膜膜の上方および前記網膜膜の下方に面内マップのセットを生成することと、
生成された前記面内マップのセットを使用して前記ＧＡ病変についての前記病変成長速度を予測することと、を含む、前記ＯＣＴ撮像データを前処理して前記第２の入力を形成することをさらに含む、請求項３に記載の方法。

【請求項13】

システムであって、
非一時的メモリと、
前記非一時的メモリに結合され、前記非一時的メモリから命令を読み出して、前記システムに、
網膜の眼底自発蛍光（ＦＡＦ）撮像データを受信することと、
前記網膜の光干渉断層撮影（ＯＣＴ）撮像データを受信することと、
前記ＦＡＦ撮像データおよび前記ＯＣＴ撮像データを使用して、前記網膜における地図状萎縮（ＧＡ）病変についての病変成長速度を予測することと
を含む動作を実行させるように構成されたハードウェアプロセッサと
を備える、システム。

【請求項14】

前記プロセッサが、前記ＦＡＦ撮像データおよび前記ＯＣＴ撮像データを使用して前記ＧＡ病変についてのベースライン病変面積を予測することをさらに含む動作を実行するように構成されている、請求項１３に記載のシステム。

【請求項15】

【請求項16】

前記プロセッサが、前記融合データからバイオマーカーを抽出することをさらに含む動作を実行するように構成されている、請求項１５に記載のシステム。

【請求項17】

前記病変成長速度を予測することが、
ＦＡＦ画像のセットを使用して第１の入力を生成し、ＯＣＴ画像のセットを使用して第２の入力を生成することと、
前記ＦＡＦ撮像データから第１の目的の特徴を抽出し、前記ＯＣＴ撮像データから第２の目的の特徴を抽出することと、
前記第１の目的の特徴と前記第２の目的の特徴とを融合して融合特徴入力を形成することと、
前記融合特徴入力を使用して、前記地図状萎縮病変についての前記病変成長速度を生成することと
を含む、請求項１３に記載のシステム。

【請求項18】

前記網膜が患者と関連付けられており、前記プロセッサが、
前記患者と関連付けられた臨床因子データを受信することと、
前記臨床因子データを前記第１の目的の特徴および前記第２の目的の特徴と融合させて、前記融合特徴入力を形成することと、
前記融合特徴入力を使用して、前記地図状萎縮病変の前記病変成長速度を生成することと
をさらに含む動作を実行するように構成されている、請求項１７に記載のシステム。

【請求項19】

前記臨床因子データが、年齢、性別、喫煙状態、観察されたＧＡ病変面積、観察されたＧＡ病変の網膜の中心窩までの距離、画像の連続性、最高矯正視力（ＢＣＶＡ）スコア、低輝度欠損（ＬＬＤ）スコア、およびそれらの組み合わせを含む、請求項１８に記載のシステム。

【請求項20】

前記プロセッサが、
前記網膜の赤外線（ＩＲ）撮像データを受信することと、
前記ＦＡＦ撮像データ、前記ＯＣＴ撮像データ、および前記ＩＲ撮像データを使用して、前記網膜における地図状萎縮病変についての病変成長速度を予測することと
をさらに含む動作を実行するように構成されている、請求項１３に記載のシステム。

【請求項21】

前記プロセッサが、前記ＯＣＴ撮像データを前処理するようにさらに構成されており、前記前処理が、
ブルッフ膜に沿って前記ＯＣＴ撮像データを平坦化することと、
全深さ、ブルッフ膜より上方の深さ、およびブルッフ膜より下方の深さの１つまたは複数にわたって面内マップのセットを平均化することと、
前記ＧＡ病変についての前記病変成長速度を予測するためのマルチチャネル入力を生成するために、前記面内マップのセットを組み合わせることと
を含む、請求項１３に記載のシステム。

【請求項22】

非一時的コンピュータ可読媒体（ＣＲＭ）であって、コンピュータシステムに、
網膜の眼底自発蛍光（ＦＡＦ）撮像データを受信することと、
前記網膜の光干渉断層撮影（ＯＣＴ）撮像データを受信することと、
前記ＦＡＦ撮像データおよび前記ＯＣＴ撮像データを使用して、前記網膜における地図状萎縮（ＧＡ）病変についての病変成長速度を予測することと
を含む動作を実行させるように実行可能なコンピュータ可読命令を記憶した、非一時的コンピュータ可読媒体（ＣＲＭ）。

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

本出願は、２０２０年１２月３日に出願された「ＭｕｌｔｉｍｏｄａｌＰｒｅｄｉｃｔｉｏｎＯｆＧｅｏｇｒａｐｈｉｃＡｔｒｏｐｈｙＧｒｏｗｔｈＲａｔｅ」と題する米国仮特許出願第６３／１２１，１２５号、２０２１年４月１日に出願された「ＭｕｌｔｉｍｏｄａｌＰｒｅｄｉｃｔｉｏｎＯｆＧｅｏｇｒａｐｈｉｃＡｔｒｏｐｈｙＧｒｏｗｔｈＲａｔｅ」と題する米国仮特許出願第６３／１６９，７６４号、２０２１年４月２９日に出願された「ＭｕｌｔｉｍｏｄａｌＰｒｅｄｉｃｔｉｏｎＯｆＧｅｏｇｒａｐｈｉｃＡｔｒｏｐｈｙＧｒｏｗｔｈＲａｔｅ」と題する米国仮特許出願第６３／１８１，８１３号、および２０２１年７月６日に出願された「ＭｕｌｔｉｍｏｄａｌＰｒｅｄｉｃｔｉｏｎＯｆＧｅｏｇｒａｐｈｉｃＡｔｒｏｐｈｙＧｒｏｗｔｈＲａｔｅ」と題する米国仮特許出願第６３／２１８，９０５号の優先権および利益を主張し、これらは、以下に完全に記載されているかのように、および全ての適用可能な目的のために参照によりその全体が本明細書に組み込まれる。

【技術分野】

【0002】

分野
この説明は、一般に、網膜における地図状萎縮の評価に関する。より具体的には、この説明は、例えば眼底自発蛍光（ＦＡＦ）画像および光干渉断層撮影（ＯＣＴ）画像などの複数のモダリティからの画像を使用して、地図状萎縮病変についての成長速度を予測する方法およびシステムを提供する。

【背景技術】

【0003】

背景
序論
加齢黄斑変性（ＡＭＤ）は、５０歳以上の患者における視力喪失の主な原因である。地図状萎縮（ＧＡ）は、ＡＭＤの２つの進行期のうちの１つであり、脈絡毛細管、網膜色素上皮（ＲＰＥ）および光受容体の進行性および不可逆性の喪失を特徴とする。ＧＡの進行は患者によって異なり、現在、ＧＡの進行を予防または遅延させるための米国食品医薬品局（ＦＤＡ）が認めている治療法は存在しない。したがって、個々の患者におけるＧＡの進行を予測することは、ＧＡを研究し、有効な治療法を開発するために重要であり得る。現在、ＧＡ病変拡大の診断および監視は、共焦点走査レーザー検眼鏡検査（ｃＳＬＯ）によって得られる眼底自発蛍光（ＦＡＦ）画像を使用して実施され得る。ＲＰＥ中のリポフスチンのトポグラフィックマッピングを示すこのタイプの撮像技術は、経時的なＧＡ病変の変化を測定するために使用され得る。さらに、ＦＡＦ画像が使用されてＧＡ成長速度を予測し得る。しかしながら、少なくともいくつかの場合において、ＦＡＦ画像は、所望のレベルの精度でＧＡ成長速度を予測することができないことがある。

【発明の概要】

【0004】

概要
１つまたは複数の実施形態では、網膜における地図状萎縮を評価する方法が提供される。網膜の眼底自発蛍光（ＦＡＦ）画像のセットは、機械学習システムにおいて受信される。網膜の光干渉断層撮影（ＯＣＴ）画像のセットは、機械学習システムにおいて受信される。病変成長速度は、機械学習システムを介して、ＦＡＦ画像のセットおよびＯＣＴ画像のセットを使用して、網膜における地図状萎縮病変について予測される。

【0005】

１つまたは複数の実施形態では、網膜における地図状萎縮を評価する方法が提供される。網膜の眼底自発蛍光（ＦＡＦ）画像のセットは、機械学習システムにおいて受信される。網膜の赤外線（ＩＲ）画像のセットは、機械学習システムにおいて受信される。病変成長速度は、機械学習システムを介して、ＦＡＦ画像のセットおよびＩＲ画像のセットを使用して、網膜における地図状萎縮病変について予測される。

【図面の簡単な説明】

【0006】

本明細書に開示された原理およびその利点のより完全な理解のために、ここで添付の図面と併せて以下の説明を参照する。

【0007】

【図1A】様々な実施形態にかかる病変評価システム１００のブロック図である。

【0008】

【図1B】様々な実施形態にかかる、病変面積分析システム１１４の概略図である。

【0009】

【図1C】様々な実施形態にかかる、網膜におけるＧＡ病変についてのベースライン病変面積および／または病変成長速度を予測するための例示的なプロセスフローを示している。

【0010】

【図1D】様々な実施形態にかかる、網膜におけるＧＡ病変についてのベースライン病変面積および／または病変成長速度を予測するための別の例示的なプロセスフローを示している。

【0011】

【図1E】様々な実施形態にかかる、網膜におけるＧＡ病変についてのベースライン病変面積および／または病変成長速度を予測するための別の例示的なプロセスフローを示している。

【0012】

【図1F】様々な実施形態にかかる、網膜におけるＧＡ病変についてのベースライン病変面積および／または病変成長速度を予測するための別の例示的なプロセスフローを示している。

【0013】

【図1G】様々な実施形態にかかる、網膜におけるＧＡ病変についてのベースライン病変面積および／または病変成長速度を予測するための別の例示的なプロセスフローを示している。

【0014】

【図2】様々な実施形態にかかる地図状萎縮を予測するためのプロセスのフローチャートである。

【0015】

【図3】様々な実施形態にかかる地図状萎縮を予測するためのプロセスのフローチャートである。

【0016】

【図4】様々な実施形態にかかる、網膜における地図状萎縮病変についての病変成長速度を予測する例示的な方法のフローチャートである。

【0017】

【図5】様々な実施形態にかかる、網膜における地図状萎縮病変についての病変成長速度を予測する別の例示的な方法のフローチャートである。

【0018】

【図6】様々な実施形態にかかる、網膜における地図状萎縮病変についての病変成長速度を予測する別の例示的な方法のフローチャートである。

【0019】

【図7】様々な実施形態にかかる深層学習ニューラルネットワークを実装するために使用され得る例示的なニューラルネットワークを示している。

【0020】

【図8A】様々な実施形態にかかる、単一モダリティマルチタスクモデルを示している。

【0021】

【図8B】様々な実施形態にかかる、マルチモダリティマルチタスクモデルを示している。

【0022】

【図9】様々な実施形態にかかる、光干渉断層撮影（ＯＣＴ）ボリュームの例示的な前処理ステップを示している。

【0023】

【図10】様々な実施形態にかかる、（Ａ）開発データセットおよび（Ｂ）ホールドアウトデータセットに対する３つのモデルおよびベンチマークモデルのモデル性能を比較するフォレストプロットを示している。

【0024】

【図11】様々な実施形態にかかる、ホールドアウトデータセット上の予測されたＧＡ病変面積対観察されたＧＡ病変面積およびＧＡ成長速度の散布図を示している。

【0025】

【図12】様々な実施形態にかかる、ホールドアウトデータセット上の予測されたＧＡ病変面積対観察されたＧＡ病変面積およびＧＡ成長速度の残差プロット１２００を示している。

【0026】

【図13】様々な実施形態にかかる、ホールドアウトデータセットに対するサブグループ残差分析に基づくＧＡ成長速度予測のプロットを示している。

【0027】

【図14】様々な実施形態にかかる、ＦＡＦのみ、ＯＣＴのみおよびマルチモーダルマルチタスクモデルを使用したＧＡ病変面積の勾配活性化マップ（ＧｒａｄＡＭ）およびＧＡ成長速度予測を示している。

【0028】

【図15】様々な実施形態にかかるコンピュータシステムのブロック図である。

【0029】

図面は必ずしも一定の縮尺で描かれているわけではなく、図面内の物体は必ずしも互いに一定の縮尺で描かれているわけではないことを理解されたい。図面は、本明細書に開示される装置、システム、および方法の様々な実施形態に明瞭さおよび理解をもたらすことを意図した描写である。可能な限り、同じまたは同様の部分を指すために図面全体を通して同じ参照符号が使用される。さらに、図面は、本教示の範囲を決して限定するものではないことを理解されたい。

【発明を実施するための形態】

【0030】

詳細な説明
Ｉ．概要
例えば、ベースライン評価または経時的情報に基づいて地図状萎縮（ＧＡ）の進行を正確に予測する能力は、多くの異なるシナリオにおいて有用であり得る。一例として、ＧＡの進行に関する予測が使用されて、ＧＡの進行を遅らせることが目標である臨床試験における患者の層別化を改善し、それによって治療効果の改善された評価を可能にし得る。さらに、場合によっては、ＧＡ進行に関する予測が使用されて、遺伝子型シグネチャまたは表現型シグネチャとの相関を介して疾患病因を理解し得る。

【0031】

ＧＡ病変は、様々な撮像モダリティによって撮像され得る。例えば、眼底自発蛍光（ＦＡＦ）画像は、ＧＡ病変面積を定量化するために使用されている。ＧＡ成長速度は、ＦＡＦ画像を使用して測定される場合、ある期間にわたる病変面積の変化であり、臨床試験におけるＧＡ進行の解剖学的パラメータとして広く受け入れられている。さらに、ＧＡ成長速度は、ベースラインＦＡＦ画像から予測され得る。しかしながら、少なくともいくつかの場合において、ベースラインＦＡＦ画像を使用して予測されたＧＡ成長速度は、所望のレベルの精度を有しないことがある。

【0032】

したがって、本明細書に記載の様々な実施形態は、これらの予測の精度を改善するために複数のモダリティからの画像を使用してＧＡ成長速度を予測する方法およびシステムを提供する。より具体的には、これらの複数のモダリティからの画像は、機械学習システムを使用して処理され、予測されたＧＡ成長速度を生成し得る。複数のモダリティからの画像を使用することは、この予測を向上させる。例えば、第１のモダリティからの網膜の画像は、第２のモダリティからの網膜の画像と比較して、より多くの情報、より大きな特徴解像度、またはその双方を提供し得る。しかしながら、第２のモダリティからの画像は、第１のモダリティからの画像を使用して識別できないまたは容易に識別できないいくつかの情報を提供し得る。機械学習システム（例えば、ニューラルネットワークシステム、深層学習システムなど）を介して双方の種類のモダリティから提供される情報を処理することは、この情報の理解およびＧＡ成長速度の予測におけるその使用を改善し得る。

【0033】

１つまたは複数の実施形態では、ＦＡＦおよび光干渉断層撮影（ＯＣＴ）画像が使用されてＧＡ成長速度を予測する。ＦＡＦ画像は２次元であるが、ＯＣＴ画像は３次元（３Ｄ）である。したがって、ＯＣＴ画像は、患者のＧＡ発症およびＧＡ進行のより大きな理解を提供することができる網膜の解剖学的構造、例えばＧＡ病変に関する追加の構造情報を提供することができる。例えば、網状偽ドルーゼン（ＲＰＤ）、反射亢進巣、多層膜厚減少、光受容体萎縮、および網膜下反射低下（例えば、楔形網膜下反射低下）は、疾患進行の可能性のある前駆体またはバイオマーカーとしてリンクされているＯＣＴ画像において特定可能な属性である。したがって、この種のＯＣＴ由来情報は、ＧＡ成長速度予測の改善を可能にし得る。

【0034】

一般に、ＯＣＴおよびＦＡＦ撮像は、基本的に異なる信号または情報を提供する。例えば、ＦＡＦは、青色光への曝露後のリポフスチン自己蛍光を捕捉することができる。リポフスチンは、網膜色素上皮（ＲＰＥ）細胞において観察可能である。したがって、ＦＡＦ画像は、ＲＰＥ細胞の１つの視野を提供する。一方、ＯＣＴは、近赤外光に対する組織反射率を３Ｄ画像の形態で捕捉する。ＯＣＴ画像は、ＦＡＦ画像では利用できない病変および構造情報を提供し得るが、ＦＡＦ画像は、ＯＣＴ撮像によって区別できないかまたは明確に捕捉されない網膜の部分を撮像し得る。本明細書で述べるように、これらの撮像モダリティにおける違いは、ＧＡの病態をより良好に視覚化するための相補的な情報を提供する。さらに、ＯＣＴおよびＦＡＦは、本明細書の方法およびシステムによって有用とすることができる唯一の撮像モダリティではなく、本明細書の説明は、本明細書の方法およびシステムの適用をこれら２つのモダリティのみに限定すると見なされるべきではない。ＩＲ撮像は、追加の値を提供することができるだけでなく、他の撮像モダリティは、ＧＡ進行を決定する際に同様の追加の値を提供することができる。

【0035】

場合によっては、ＦＡＦ画像は、ＯＣＴ画像と比較してより正確な情報を提供し得る。例えば、場合によっては、ＦＡＦ画像は、ＯＣＴ画像と比較して、ベースライン病変面積のより正確な推定を提供し得る。したがって、ＦＡＦモダリティおよびＯＣＴモダリティの双方を一緒に使用してＧＡ成長速度を予測することは、ＦＡＦモダリティのみまたはＯＣＴモダリティのみを使用することと比較して、より正確であり得る。１つまたは複数の実施形態では、ＦＡＦモダリティおよびＯＣＴモダリティの双方を使用することは、ＧＡ成長速度が予測されるベースライン病変面積が、改善されたＧＡ成長速度予測を可能にするのに十分に正確であることを確実にするのに役立ち得る。したがって、本明細書の様々な実施形態によれば、様々な画像タイプ（例えば、ＯＣＴおよびＦＡＦ撮像データ）のマルチモーダル分析は、ＧＡ病変面積のより正確な読み取りとＧＡ成長速度の双方を提供することができる。

【0036】

したがって、本開示の方法およびシステムは、マルチモーダルアプローチおよび機械学習システムを使用して自動ＧＡ成長予測を可能にする。このマルチモーダルアプローチは、ＦＡＦ画像とＯＣＴ画像の双方を使用し得る。他の実施形態では、いずれかの撮像モダリティは、例えば、限定されないが、赤外線（ＩＲ）モダリティなどの第３のモダリティによって置き換えられるか、またはそれによって補完されてもよい。例えば、機械学習システムを介してＦＡＦおよびＩＲ画像が処理されて、予測されたＧＡ成長速度を生成し得る。ＩＲ画像、特に近赤外（ＮＩＲ）画像は、ＯＣＴ面内画像よりも広い視野を提供し得る。場合によっては、ＦＡＦ画像と組み合わせたＩＲ画像、より具体的にはＮＩＲ画像は、ＧＡ病変に対してより大きな明瞭さを提供し得る。このより高い分解能および明瞭性は、ＧＡ病変についての病変面積の改善された識別、したがって最終的にはＧＡ成長速度予測の改善を可能にし得る。さらに他の実施形態では、ＦＡＦモダリティ、ＯＣＴモダリティ、およびＩＲモダリティが組み合わせて使用されてＧＡ成長速度を予測してもよく、これらのモダリティのそれぞれは、他のモダリティのうちの少なくとも１つに対する少なくとも一部の情報または何らかの改善に寄与する。

【0037】

様々な実施形態では、受信された撮像データを、撮像データ内の特定の目的の領域に焦点を合わせることを可能にするために前処理することができる。これは、例えば、特定の目的の領域を適切に評価する能力を損なう可能性がある撮像データのノイズおよび／またはアーチファクトを低減することによって行われ得る。さらに、様々なモダリティからの撮像データは、ＧＡ成長速度および病変面積の決定のための効果的なマルチモーダル分析を確実にするために、様々な方法で組み合わされるか、または融合され得る。例えば、これらの様々なモダリティからのデータは、その後の特徴抽出プロセスを受けることができる統合されたマルチチャネル入力に融合されてもよく、これは成長速度および病変面積の決定の基礎として使用され得る。別の例では、個々の撮像モダリティから特徴が抽出され得、その後、前記抽出された特徴自体が、成長速度および病変面積の決定のために一緒に融合され得る。

【0038】

そのようなマルチモーダルシステムおよび方法の用途は広い。例えば、そのようなシステムおよび方法は、ＧＡ成長速度の予測ツールとして使用され得る。そのようなシステムおよび方法は、ＧＡ病変面積決定に使用され得る。さらに、そのようなシステムおよび方法は、臨床試験空間において非常に有用とすることができ、本明細書の実施形態は、臨床試験の設計、実装、および分析に情報を提供することによって、臨床試験開発の信頼性を向上させることができる。特に、本明細書の様々な実施形態は、試験、患者の事前スクリーニング、患者の濃縮、患者の層別化、および事後データ分析（例えば、臨床試験完了後）における調整を可能にすることができる。

【0039】

上述した改善を提供することができる方法論およびシステムの重要性および有用性を認識して考慮に入れて、本明細書は、複数のモダリティの画像（例えば、ＦＡＦ画像およびＯＣＴ画像）を使用してＧＡ進行を評価するための様々な実施形態を説明する。より具体的には、本明細書は、ＧＡ病変に対応する成長速度を正確に予測するために機械学習システム（例えば、ニューラルネットワークシステム）を使用してこれらのマルチモーダル画像を処理する方法およびシステムの様々な実施形態を説明する。

【0040】

ＩＩ．定義
本開示は、これらの例示的な実施形態および用途、または例示的な実施形態および用途が本明細書で動作するまたは説明される方法に限定されない。さらに、図は、簡略化されたまたは部分的な図を示すことがあり、図の要素の寸法は、誇張されているか、または比例していないことがある。

【0041】

さらに、本明細書では、「の上にある（ｏｎ）」、「に取り付けられている（ａｔｔａｃｈｅｄｔｏ）」、「に接続されている（ｃｏｎｎｅｃｔｅｄｔｏ）」、「に結合されている（ｃｏｕｐｌｅｄｔｏ）」という用語または同様の用語が使用される場合、一方の要素が他方の要素の上に直接あるか、他方の要素に直接取り付けられているか、他方の要素に接続されているか、または他方の要素に結合されているか、または一方の要素と他方の要素との間に１つまたは複数の介在要素が存在するかにかかわらず、一方の要素（例えば、構成要素、材料、層、基板など）は、他方の要素「の上にある」、「に取り付けられている」、「に接続されている」、または「に結合されている」ことができる。さらに、要素のリスト（例えば、要素ａ、ｂ、ｃ）が参照される場合、そのような参照は、それ自体で列挙された要素のいずれか１つ、列挙された要素の全てよりも少ない要素の任意の組み合わせ、および／または列挙された要素の全ての組み合わせを含むことが意図される。本明細書におけるセクションの区分は、単に検討を容易にするためのものであり、説明された要素の任意の組み合わせを限定するものではない。

【0042】

用語「被験者」は、臨床試験の被験者、処置を受けている人、抗癌療法を受けている人、寛解または回復について監視されている人、（例えば、その病歴に起因して）予防健康分析を受けている人、または目的のある任意の他の人もしくは患者を指し得る。様々な場合では、「被験者」および「患者」は、本明細書において交換可能に使用され得る。

【0043】

特に定義されない限り、本明細書に記載の本教示に関連して使用される科学用語および技術用語は、当業者によって一般的に理解される意味を有するものとする。さらに、文脈上特に必要とされない限り、単数形の用語は複数形を含み、複数形の用語は単数形を含むものとする。一般に、化学、生化学、分子生物学、薬理学および毒物学に関連して利用される命名法およびその技術は、本明細書に記載されており、当該技術分野において周知であり、一般的に使用されるものである。

【0044】

本明細書で使用される場合、「実質的に」は、意図された目的のために機能するのに十分であることを意味する。したがって、「実質的に」という用語は、当業者によって予想されるが、全体的な性能にそれほど影響しないような、絶対的または完全な状態、寸法、測定値、結果などからの微細な、僅かな変動を可能にする。数値、または数値として表されることのできるパラメータもしくは特性に関して使用される場合、「実質的に」とは、１０パーセント以内を意味する。

【0045】

本明細書で使用される場合、数値または数値として表され得るパラメータもしくは特性に関して使用される「約」という用語は、数値の１０％以内を意味する。例えば、「約５０」は、４５以上５５以下の範囲の値を意味する。

【0046】

「複数」という用語は、２つ以上を意味する。

【0047】

本明細書で使用される場合、「複数」という用語は、２、３、４、５、６、７、８、９、１０以上とすることができる。

【0048】

本明細書で使用される場合、「のセット」という用語は、１つまたは複数を意味する。例えば、項目のセットは、１つまたは複数の項目を含む。

【0049】

本明細書で使用される場合、「のうちの少なくとも１つ」という語句は、項目のリストとともに使用される場合、列挙された項目のうちの１つまたは複数の異なる組み合わせが使用されてもよく、リスト内の項目のうちの１つのみが使用されてもよいことを意味する。項目は、特定の物体、物、ステップ、動作、プロセス、またはカテゴリであり得る。換言すれば、「のうちの少なくとも１つ」は、リストから項目の任意の組み合わせまたは任意の数の項目を使用し得るが、リスト内の項目の全てが使用されるわけではないことを意味する。例えば、限定されないが、「項目Ａ、項目Ｂ、または項目Ｃのうちの少なくとも１つ」は、項目Ａ、項目Ａおよび項目Ｂ、項目Ｂ、項目Ａ、項目Ｂ、および項目Ｃ、項目Ｂおよび項目Ｃ、または項目ＡおよびＣを意味する。場合によっては、「項目Ａ、項目Ｂ、または項目Ｃの少なくとも１つ」は、限定されないが、項目Ａのうちの２つ、項目Ｂのうちの１つ、および項目Ｃのうちの１０個、項目Ｂのうちの４個と項目Ｃのうちの７個、またはいくつかの他の適切な組み合わせを意味する。

【0050】

本明細書で使用される場合、「モデル」は、１つまたは複数のアルゴリズム、１つまたは複数の数学的技法、１つまたは複数の機械学習アルゴリズム、またはそれらの組み合わせを含み得る。

【0051】

本明細書において使用される場合、「機械学習」は、アルゴリズムを使用してデータを解析し、そこから学習し、次いで世界の何かについての決定または予測を行う実践を含む。機械学習は、ルールベースのプログラミングに依存することなくデータから学習することができるアルゴリズムを使用する。

【0052】

本明細書で使用される場合、「人工ニューラルネットワーク」または「ニューラルネットワーク」（ＮＮ）は、計算に対する接続論的アプローチに基づいて情報を処理する人工ニューロンの相互接続されたグループを模倣する数学的アルゴリズムまたは計算モデルを指し得る。ニューラルネットと呼ばれることもあるニューラルネットワークは、非線形ユニットの１つまたは複数の層を使用して、受信した入力の出力を予測することができる。いくつかのニューラルネットワークは、出力層に加えて１つまたは複数の隠れ層を含む。各隠れ層の出力は、ネットワーク内の次の層、すなわち、次の隠れ層または出力層への入力として使用され得る。ネットワークの各層は、各パラメータのセットの現在の値にしたがって、受信した入力から出力を生成する。様々な実施形態では、「ニューラルネットワーク」への言及は、１つまたは複数のニューラルネットワークへの言及であり得る。

【0053】

ニューラルネットワークは、２つの方法で情報を処理し得る。それが訓練されているとき、それは訓練モードにあり、それが学習したことを実際に実行するとき、それは推論（または予測）モードにある。ニューラルネットワークは、出力が訓練データの出力と一致するように、ネットワークが中間隠れ層内の個々のノードの重み係数を調整する（その挙動を修正する）ことを可能にするフィードバックプロセス（例えば、バックプロパゲーション）を通じて学習する。換言すれば、ニューラルネットワークは、訓練データ（学習例）を供給されることによって学習し、最終的には、新たな範囲または入力のセットが提示された場合であっても、正しい出力に到達する方法を学習する。ニューラルネットワークは、例えば、限定されないが、フィードフォワードニューラルネットワーク（ＦＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、モジュラーニューラルネットワーク（ＭＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、残差ニューラルネットワーク（ＲｅｓＮｅｔ）、常微分方程式ニューラルネットワーク（ニューラル－ＯＤＥ）、または別のタイプのニューラルネットワークのうちの少なくとも１つを含み得る。

【0054】

本明細書で使用される場合、「病変」は、（怪我または疾患を介して）損傷を受けた臓器または組織の領域を含み得る。この領域は、連続的または不連続的な領域であり得る。例えば、本明細書において使用される場合、病変は、複数の領域を含み得る。地図状萎縮（ＧＡ）病変は、慢性進行性変性を患っている網膜の領域である。本明細書で使用される場合、ＧＡ病変は、１つの病変（例えば、１つの連続病変領域）または複数の病変（例えば、複数の別個の病変からなる不連続病変領域）を含み得る。

【0055】

本明細書で使用される場合、「総病変面積」は、その病変が連続領域であるか不連続領域であるかにかかわらず、病変によって覆われる面積（総面積を含む）を指し得る。

【0056】

本明細書において使用される場合、「経時的」は、ある期間にわたることを意味する。期間は、日、週、月、年、または他の何らかの時間尺度であり得る。

【0057】

本明細書で使用される場合、ＧＡ病変に対応する「成長速度」は、ＧＡ病変の病変面積の経時的変化および／または病変面積の経時的変化のペースを指し得る。この成長速度は、ＧＡ成長速度とも呼ばれることがある。

【0058】

本明細書で使用される場合、「融合」は、データ、臨床データ、特徴入力、または入力をマージすることを意味する。この融合は、例えば、２つ以上のデータセット、２つ以上の臨床データ（例えば、臨床因子データまたは臨床試験データ）、２つ以上の特徴入力、または２つ以上の入力をマージする「一緒に融合」とも呼ばれることがある。

【0059】

本明細書で使用される場合、ＯＣＴ画像を「平坦化する」とは、ＯＣＴ画像の歪み特性が最小限であり、より一貫したデータセットを形成することを意味する。平坦化は、ＯＣＴボリュームのボリューム平坦化または平坦化とも呼ばれることがある。

【0060】

ＩＩＩ．地図状萎縮（ＧＡ）成長速度のマルチモーダル予測
図１Ａは、様々な実施形態にかかる病変評価システム１００のブロック図である。病変評価システム１００は、被験者の網膜における地図状萎縮（ＧＡ）病変を評価するために使用される。病変評価システム１００は、コンピューティングプラットフォーム１０２と、データストレージ１０４と、ディスプレイシステム１０６とを含む。コンピューティングプラットフォーム１０２は、様々な形態をとり得る。１つまたは複数の実施形態では、コンピューティングプラットフォーム１０２は、互いに通信する単一のコンピュータ（またはコンピュータシステム）または複数のコンピュータを含む。他の例では、コンピューティングプラットフォーム１０２は、クラウドコンピューティングプラットフォームの形態をとる。

【0061】

データストレージ１０４およびディスプレイシステム１０６は、それぞれ、コンピューティングプラットフォーム１０２と通信する。いくつかの例では、データストレージ１０４、ディスプレイシステム１０６、またはその双方は、コンピューティングプラットフォーム１０２の一部と見なされるか、そうでなければ統合されてもよい。したがって、いくつかの例では、コンピューティングプラットフォーム１０２、データストレージ１０４、およびディスプレイシステム１０６は、互いに通信する別個の構成要素であってもよいが、他の例では、これらの構成要素のいくつかの組み合わせが一緒に統合されてもよい。

【0062】

病変評価システム１００は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせを使用して実装され得る画像プロセッサ１０８を含む。１つまたは複数の実施形態では、画像プロセッサ１０８は、コンピューティングプラットフォーム１０２に実装される。

【0063】

画像プロセッサ１０８は、処理のために画像入力１０９を受信する。画像入力１０９は、ベースラインまたは基準時点において生成された画像を含み得る。いくつかの実施形態では、画像入力１０９は、ベースライン画像入力と呼ばれることがある。

【0064】

本明細書の様々な実施形態によれば、画像入力１０９は、眼底自発蛍光（ＦＡＦ）撮像データ、光干渉断層撮影（ＯＣＴ）撮像データ、および／または赤外線（ＩＲ）撮像データのいずれかまたは全てを含み得る。

【0065】

１つまたは複数の実施形態では、眼底自発蛍光（ＦＡＦ）撮像データは、眼底自発蛍光（ＦＡＦ）画像１１０のセットを含み得て、光干渉断層撮影（ＯＣＴ）撮像データは、光干渉断層撮影（ＯＣＴ）画像１１２のセットを含み得る。１つまたは複数の実施形態では、ＦＡＦ画像１１０のセットおよびＯＣＴ画像１１２のセットは、位置合わせされていない画像である。しかしながら、他の実施形態では、ＦＡＦ画像１１０のセットおよびＯＣＴ画像１１２のセットは、位置合わせされた画像であってもよい。

【0066】

いくつかの実施形態では、画像入力１０９は、モダリティの他の組み合わせからの画像を含み得る。例えば、いくつかの実施形態では、画像入力１０９は、眼底自発蛍光（ＦＡＦ）画像１１０のセットおよび赤外線（ＩＲ）画像１１３のセットを含み得る。いくつかの実施形態では、赤外線（ＩＲ）撮像データは、例えば、近赤外（ＮＩＲ）画像のセットであり得るＩＲ画像１１３のセットを含み得る。１つまたは複数の実施形態では、ＦＡＦ画像１１０のセットおよびＩＲ画像１１３のセットは、位置合わせされていない画像である。しかしながら、他の実施形態では、ＦＡＦ画像１１０のセットおよびＩＲ画像１１３のセットは、位置合わせされた画像であってもよい。

【0067】

いくつかの実施形態では、画像入力１０９は、モダリティの他の組み合わせからの画像を含み得る。例えば、いくつかの実施形態では、画像入力１０９は、ＯＣＴ画像１１２のセットおよび赤外線（ＩＲ）画像１１３のセットを含み得る。ＩＲ画像１１３のセットは、例えば、近赤外（ＮＩＲ）画像のセットであってもよい。１つまたは複数の実施形態では、ＯＣＴ画像１１２のセットおよびＩＲ画像１１３のセットは、位置合わせされていない画像である。しかしながら、他の実施形態では、ＯＣＴ画像１１２のセットおよびＩＲ画像１１３のセットは、位置合わせされた画像であってもよい。

【0068】

さらに他の実施形態では、画像入力１０９は、ＦＡＦ画像１１０のセット、ＯＣＴ画像１１２のセット、およびＩＲ画像１１３のセットを含み得る。１つまたは複数の実施形態では、ＦＡＦ画像１１０のセット、ＯＣＴ画像１１２のセット、およびＩＲ画像１１３のセットのいずれかまたは全ては、位置合わせされていない画像である。しかしながら、他の実施形態では、ＦＡＦ画像１１０のセット、ＯＣＴ画像１１２のセット、およびＩＲ画像１１３のセットのいずれかまたは全ては、位置合わせされた画像であってもよい。

【0069】

画像プロセッサ１０８は、病変面積分析システム１１４を使用して画像入力１０９（例えば、ＦＡＦ画像１１０のセット、ＯＣＴ画像１１２のセット、およびＩＲ画像１１３のセットのうちの任意の１つ、２つ、または全て）を処理して、ＧＡ病変に対応する病変成長速度１１６を予測し、病変面積１２０を決定する。様々な実施形態によれば、病変面積分析システム１１４は、ＧＡ病変面積１２０およびＧＡ成長速度１１６を同時に予測することができる。

【0070】

病変面積分析システム１１４は、様々な方法で実装され得る。図１Ｂは、様々な実施形態にかかる、病変面積分析システム１１４の概略図を示している。図１Ｂに示すように、病変面積分析システム１１４は、ニューラルネットワークシステム１１８を使用して実装され得る。ニューラルネットワークシステム１１８は、任意の数または組み合わせのニューラルネットワークを含み得る。１つまたは複数の実施形態では、ニューラルネットワークシステム１１８は、１つまたは複数のニューラルネットワークを含む畳み込みニューラルネットワーク（ＣＮＮ）システムの形態をとり得る。これらの１つまたは複数のニューラルネットワークのそれぞれは、それ自体が畳み込みニューラルネットワークであってもよい。場合によっては、ニューラルネットワークシステム１１８は、深層学習ニューラルネットワークシステムであってもよい。場合によっては、ニューラルネットワークシステム１１８は、それぞれが１つまたは複数のニューラルネットワークを含む複数のサブシステムを含む。本明細書で開示されるように、ニューラルネットワークシステム１１８の１つまたは複数のニューラルネットワークは、例えば、限定されないが、フィードフォワードニューラルネットワーク（ＦＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、モジュラーニューラルネットワーク（ＭＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、残差ニューラルネットワーク（ＲｅｓＮｅｔ）、常微分方程式ニューラルネットワーク（ニューラル－ＯＤＥ）、スクイーズおよび励起埋め込みニューラルネットワーク、ＭｏｂｉｌｅＮｅｔ、または別のタイプのニューラルネットワークのうちの少なくとも１つを含み得る。

【0071】

様々な実施形態では、病変面積分析システム１１４は、病変面積検出モジュール１２２および病変面積計算モジュール１２４を含み得る。病変面積分析システム１１４は、病変面積検出モジュール１２２および／または病変面積計算モジュール１２４を介して、ＦＡＦ画像および／またはＯＣＴボリュームを使用して、個々のＧＡ面積および成長速度を予測することができる。計算モジュール１２４は、様々な実施形態では、個々のＧＡ面積および成長速度を予測するためにニューラルネットワークシステムを利用することができる。予測は、例えば、ＦＡＦ画像１１０、ＯＣＴ画像１１２およびＩＲ画像１１３のいずれかまたは全てを含み得る画像入力１０９のスクリーニング画像を使用して、病変面積分析システム１１４を介して実行され得る。様々な実施形態では、ＧＡ成長速度（例えば、年間であればｍｍ^２／年）は、蓄積されたＦＡＦおよびＯＣＴの撮像に基づく利用可能な全てのＦＡＦ測定値を使用して適合された線形モデルから導出され得、これはまた、経時的に、例えば２年間にわたって２４週間ごとに行われ得る。

【0072】

様々な実施形態によれば、ＧＡ成長速度予測は、回帰タスクとして定式化され得る。例えば、３つのマルチタスク畳み込みニューラルネットワーク（ＣＮＮ）を有するニューラルネットワークシステム１１８を使用して、マルチモーダル撮像データ（例えば、ＦＡＦ画像とＯＣＴ画像との組み合わせ）によって入力として訓練されて、病変面積検出モジュール１２２および病変面積計算モジュール１２４を介して、ＧＡ病変面積およびＧＡ成長速度（例えば、年間化）を（例えば、同時に）予測することができる。様々な実施形態では、ＧＡ成長速度予測を導出するためのベースラインＧＡ病変特徴、病変面積、中心窩までの病変距離、病変連続性（単焦点／多焦点）、および低輝度欠損（ＬＬＤ）に基づく線形モデルは、性能をベンチマークするための参照モデルとして機能することができる。

【0073】

サイズ変更および正規化されたＦＡＦ／ＯＣＴ画像は、病変面積分析システム１１４における入力（例えば、融合入力）として使用され得る。例えば、以下にさらに詳細に説明するように、ＦＡＦ画像は、５１２×５１２画素にサイズ変更され、０と１との間で正規化され得る。ＯＣＴボリューム（例えば、３Ｄ画像）の場合、画像を使用する前に前処理を実行することができる。例えば、Ｂスキャン間の画像強度の差を較正するためにヒストグラムマッチングが最初に適用され得、次に各Ｂスキャンがブルッフ膜（ＢＭ）に沿って平坦化され得る。非限定的な例として、全深さにわたって平均化された３つの面内マップ、ＢＭを超える深さ、およびＢＭ未満の深さは、３チャネル入力（例えば、融合入力）として組み合わせられ得る。様々な実施形態では、ＯＣＴ前処理は、ボリューム平坦化の有無にかかわらず、一般的な画像コントラスト改善（または調整）を含み得る。平坦化は、網膜の内境界膜（ＩＬＭ）などの任意の層に沿って行うことができる。あるいは、またはそれに加えて、ＯＣＴ断面画像が画像入力チャネルに統合され得る。以下にさらに詳細に提供されるように、ＢＭの上の深さとＢＭの下の深さの双方が１００画素（３９０μｍ）に設定され得る一方で、面内マップは、５１２×５１２画素にサイズ変更され、０と１との間で正規化され得る。任意の２つ以上の撮像データソース（例えば、ＦＡＦ画像１１０、ＯＣＴ画像１１２、および／またはＩＲ画像１１３のうちの任意の２つ）について画素寸法および正規化強度を０と１との間に設定することは、病変面積分析システム１１４および／またはニューラルネットワークシステム１１８、または病変面積検出モジュール１２２および病変面積計算モジュール１２４の双方のモジュールの一方に供給する前に、上述した撮像データの融合を可能にする。

【0074】

さらに、様々な実施形態では、データセット（例えば、３チャネル入力または融合入力）に対してさらなるデータ拡張（本明細書では「オフライン」と呼ぶことができる）が実行され得る。拡張は、例えば、水平方向のフリップ、回転［－５度から５度の範囲］、およびランダムな明るさおよびコントラスト［－０．２から０．２の範囲］を含み得るが、これらに限定されない。拡張後、データセットは、元のＦＡＦ／ＯＣＴ面内画像および各ＦＡＦ／ＯＣＴ面内画像の４つの修正バージョンを含み得て、したがってデータセットのサイズを増大させる。

【0075】

様々な実施形態では、病変面積分析システム１１４は、画像入力１０９を処理して、病変成長速度１１６および／または推定病変面積１２０（本明細書ではＧＡ病変面積、ＧＡ領域、およびベースライン病変面積とも呼ばれる）を予測する。速度１１６および病変面積１２０は、同時に決定され得る。病変面積１２０は、病変面積分析システム１１４が病変成長速度１１６を予測するために使用するＧＡ病変についてのベースライン総病変面積であり得る。病変面積分析システム１１４は、単一のモダリティの画像を使用してＧＡ病変を評価し、ＧＡ進行を予測する場合と比較して、より高い精度で病変成長速度１１６を予測する。

【0076】

例えば、ＧＡ病変面積を予測するため、および／またはＧＡ病変についての病変成長速度を予測するために病変面積分析システム１１４によって実行される非限定的なワークフロー例は、図１Ｃ、図１Ｄ、図１Ｅ、図１Ｆ、および図１Ｇに関して以下のように記載される。

【0077】

図１Ｃは、様々な実施形態にかかる、網膜におけるＧＡ病変についてのベースライン病変面積および／または病変成長速度を予測するためのプロセスフロー１０を示している。様々な実施形態では、プロセスフロー１０は、病変評価システム１００などのシステムを使用して実施され、図１に関して説明した病変面積分析システム１１４によって実行される。図示されるように、プロセスフロー１０は、例えば、眼底自発蛍光（ＦＡＦ）撮像データ、光干渉断層撮影（ＯＣＴ）撮像データ、および／または赤外線（ＩＲ）撮像データのうちの１つまたは複数であり得る画像入力１０９を受信することから始まる。様々な実施形態では、画像入力１０９は、ＦＡＦ画像１１０のセット、ＯＣＴ画像１１２のセット、および／またはＩＲ画像１１３のセットを含み得る。

【0078】

様々な実施形態では、ＦＡＦ画像１１０のセット、ＯＣＴ画像１１２のセット、および／またはＩＲ画像１１３のセットは、必要に応じて、前処理１３０を介して前処理され得る。前処理１３０は、プロセスフロー１０において画像入力１０９に対して実行され得る任意のプロセスステップである。例えば、ＦＡＦ画像１１０を前処理するための前処理１３０は、自動黄斑視野ＦＡＦ画像選択、目的の領域抽出（例えば、オートマスクディスクエリア）、画像コントラスト改善（ヒストグラム等化など）、複数のＦＡＦ画像を１つのマルチチャネル入力に結合することなどを含むがこれらに限定されない、１つまたは複数の方法を含み得る。いくつかの実施形態では、前処理１３０は、ＦＡＦ撮像データまたは画像を適切な寸法にサイズ変更すること、またはＦＡＦ撮像データまたは画像を０から１の間で正規化することを含み得る。いくつかの実施形態では、ＦＡＦ撮像データの前処理は、黄斑視野ＦＡＦ画像選択、目的の領域抽出、画像コントラスト調整、または多視野ＦＡＦ画像の組み合わせを含み得る。

【0079】

様々な実施形態では、例えば、ＯＣＴ画像１１２を前処理するための前処理１３０は、ボリューム平坦化の有無にかかわらず、一般的な画像コントラスト調整（または改善）を含み得るが、これに限定されない。様々な実施形態では、ＯＣＴ画像１１２の平坦化は、網膜の内境界膜（ＩＬＭ）などの任意の層に沿って実行され得る。あるいは、またはそれに加えて、ＯＣＴ断面画像が画像入力チャネルに統合され得る。様々な実施形態では、前処理１３０は、ブルッフ膜に沿ってＯＣＴ撮像データを平坦化することと、全深さ、ブルッフ膜より上方の深さ、およびブルッフ膜より下方の深さの１つまたは複数にわたって面内マップのセットを平均化することと、ＧＡ病変についての病変成長速度を予測するためのマルチチャネルＯＣＴ入力を生成するために面内マップのセットを組み合わせることとを含み得る。様々な態様では、ＯＣＴ撮像データを前処理することは、網膜膜の上および網膜膜の下に面内マップのセットを生成することと、生成された面内マップのセットを使用してＧＡ病変についての病変成長速度を予測することとを含み得る。いくつかの実施形態では、角膜曲率、眼の動き、およびカメラの位置決めなどのアーチファクトを事前にフィルタリングされ得る。例えば、ＯＣＴ画像１１２を平坦化することは、画像をより一貫した形状にすることによって視覚化をより容易にし得て、これはまた、画像入力１０９の効率的な切り捨てを可能にする。平坦化ＯＣＴ画像は、最小限の歪み特性を提供し得る。

【0080】

プロセスフロー１０は、図１Ｃに示すように、畳み込みニューラルネットワーク（ＣＮＮ）１４０などのニューラルネットワークを使用して、前処理の有無にかかわらず、画像入力１０９の分析を続ける。ここでは実証目的のためにＣＮＮ１４０が説明されているが、人工（ＡＮＮ）またはリカレント（ＲＮＮ）ニューラルネットワークなどの任意の他の適切なニューラルネットワークシステムが使用されて分析を実行してもよい。いくつかの実施形態では、ＣＮＮ１４０は、１つまたは複数のニューラルネットワークを含んでもよい。ＣＮＮ１４０のこれら１つまたは複数のニューラルネットワークのそれぞれは、深層学習ニューラルネットワークであってもよい。場合によっては、ＣＮＮ１４０は、それぞれが１つまたは複数のニューラルネットワークを含む複数のサブシステムを含み得る。本明細書で開示されるように、ＣＮＮ１４０は、例えば、フィードフォワードニューラルネットワーク（ＦＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、モジュラーニューラルネットワーク（ＭＮＮ）、残差ニューラルネットワーク（ＲｅｓＮｅｔ）、常微分方程式ニューラルネットワーク（ニューラル－ＯＤＥ）、スクイーズおよび励起埋め込みニューラルネットワーク、ＭｏｂｉｌｅＮｅｔ、または別のタイプのニューラルネットワークのうちの少なくとも１つを含むがこれらに限定されない、ニューラルネットワークシステム１１８の１つまたは複数のニューラルネットワークとすることができる。

【0081】

ＣＮＮ１４０による分析の後、図１Ｃに示すように、分析から１つまたは複数の特徴が抽出され、グローバル平均プーリング（ＧＡＰ）１５０を介して処理され得る。ＧＡＰの使用は、画像サイズの縮小および計算速度の向上を可能にし、特徴検出をよりロバストにすることができる。ＧＡＰ１５０は、所望の特徴についての１つまたは複数の特徴マップを生成するように設計されており、ＧＡＰが同様に使用され得るバイナリ分類とは対照的に、マルチクラス分類の場合に特に有用である。特徴マップの上に全結合層を追加する代わりに、ＧＡＰは、各特徴マップの平均を取り、得られたベクトルは、例えば、ＣＮＮ出力を正規化することができるソフトマックス層にフィードフォワードされる。全結合層を超えるＧＡＰの１つの利点は、特徴マップとカテゴリとの間の対応関係を強制することによって畳み込み構造に対してよりネイティブであることである。

【0082】

様々な実施形態では、グローバル平均プーリング１５０を使用して、画像入力１０９の特徴を融合またはマージして融合入力を形成する。様々な実施形態では、融合特徴入力は、平均プーリング法（本明細書で説明する）、スクイーズおよび励起法、またはそれらの組み合わせを含むモデルを使用して形成され得る。

【0083】

様々な実施形態では、１つまたは複数の抽出された特徴（例えば、画像特徴）は、図１Ｃに示すように、１つまたは複数の高密度－２５６層１６０に供給されてもよい。高密度－２５６層が例として使用され、２５６は、層上のニューロンカウントを指すが、所与のニューロンカウントの他の任意の適切な高密度層が使用され得る。それにもかかわらず、高密度層は、一般にＣＮＮの出力層に先行する隠れ層であり、ニューロンの層を含み、各ニューロンは、ＣＮＮの前の層からの全てのニューロンから入力を受信する。場合によっては、出力は、畳み込み層から直接もたらされ、その場合、出力は多次元である。したがって、Ｆｌａｔｔｅｎ（）などの方法が使用されて、多次元出力を単次元入力に変換し、画像分類のために高密度層／出力層に変換することができる。

【0084】

様々な態様では、病変面積１２０（またはベースライン病変面積）は、この高密度－２５６層１６０を介して予測される。様々な実施形態では、病変成長速度１１６は、この高密度－２５６層１６０を介して予測される。

【0085】

様々な実施形態では、臨床因子データは、グローバル平均プーリング１５０（例えば、特徴の融合）中に、および／または畳み込み層出力が高密度層－２５６層１６０などの高密度層に供給される前に、含まれるかまたは生成され得る。様々な実施形態では、臨床因子データは、任意の臨床的特徴および／または被験者の年齢、性別、喫煙状態、観察されたＧＡ病変面積、網膜の中心窩までの観察されたＧＡ病変の距離、画像の連続性、最高矯正視力（ＢＣＶＡ）スコア、低輝度欠損（ＬＬＤ）スコア、またはそれらの組み合わせを含み得る。例えば、年齢、性別、および喫煙状態などのこのデータのいくつかは、提供される撮像データセットの一部として収集される情報であってもよい。網膜バイオマーカーと呼ばれる他のデータは、上述したように、ＣＮＮを介して生成され得る。

【0086】

図１Ｄは、様々な実施形態にかかる、網膜におけるＧＡ病変についてのベースライン病変面積および／または病変成長速度を予測するためのプロセスフロー２０を示している。様々な実施形態では、プロセスフロー２０は、病変評価システム１００などのシステムを使用して実装され、図１に関して説明した病変面積分析システム１１４によって実行される。本明細書に開示されるように、プロセスフロー２０は、プロセスフロー１０のものとは異なるプロセスであり、網膜のＧＡ病変についてのベースライン病変面積および／または病変成長速度を予測するために使用して実装され得る。しかしながら、前処理１３０、ＣＮＮ１４０、グローバル平均プーリング１５０、および高密度層２５６などのプロセスフロー２０の各ステップは、図１Ｃに関して説明したものと同じまたは実質的に同じであり得るため、これ以上詳細には説明しない。図１Ｄに示すように、様々な実施形態によれば、前処理１３０およびＣＮＮ１４０は、画像入力１０９－１および１０９－２について同じであってもなくてもよい。

【0087】

図１Ｄに示すように、プロセスフロー２０は、眼底自発蛍光（ＦＡＦ）撮像データ、光干渉断層撮影（ＯＣＴ）撮像データ、および／または赤外線（ＩＲ）撮像データから撮像データ（例えば、画像入力１０９－１および画像入力１０９－２）の複数の入力を受信することができる。図示されるように、画像入力１０９－１および画像入力１０９－２のそれぞれは、プロセスフロー１０のものと同様に、前処理１３０を介してそれぞれの前処理を受け、ＣＮＮ１４０を介して分析され得る。特徴がＣＮＮ１４０から抽出されると、画像入力１０９－１および画像入力１０９－２のそれぞれから抽出された特徴が組み合わせられて融合入力を形成することができる。画像入力１０９－１および画像入力１０９－２の融合入力は、図１Ｄに示すように、全体平均プーリング１５０を介して平均化されて、高密度－２５６層１６０に供給される出力を生成することができる。プロセスフロー２０に示すように、高密度－２５６層１６０を介した出力は、図１Ｄに示すように、ベースライン病変面積１２０および／または病変成長速度１１６であり得る。様々な実施形態では、病変面積１２０および／または病変成長速度１１６が同時に予測され得る。

【0088】

図１Ｅは、様々な実施形態にかかる、網膜におけるＧＡ病変についてのベースライン病変面積および／または病変成長速度を予測するためのプロセスフロー３０を示している。様々な実施形態では、プロセスフロー３０は、病変評価システム１００などのシステムを使用して実装され、図１に関して説明した病変面積分析システム１１４によって実行される。本明細書に開示されるように、プロセスフロー３０は、プロセスフロー１０およびプロセスフロー２０のプロセスとはさらに異なるプロセスであり、網膜におけるＧＡ病変についてのベースライン病変面積および／または病変成長速度を予測するために使用して実装され得る。プロセスフロー３０では、単一の画像入力１０９が使用されて、ＣＮＮ１４０に抽出された特徴をグローバル平均プーリング１５０に供給し得て、第１の高密度－２５６層１６０は、ベースライン病変面積１２０予測を生成し得る。第２の高密度－２５６層１６０は、病変周囲１２６を生成し得る。さらなる高密度－２５６層１６０は、他の網膜バイオマーカー１２８を生成し得る。ベースライン病変面積１２０、病変周囲１２６、および任意の他の網膜バイオマーカー１２８のそれぞれが決定されると、それらは、患者または被験者の網膜の病変成長速度１１６を生成するために、高密度－ｎ＊１７０などの別の高密度層に供給され得る。この最終的な高密度層１７０について、「ｎ＊」は、高密度層１６０のうちの１つから出力される予測バイオマーカーの数を表すことができる。

【0089】

図１Ｆは、様々な実施形態にかかる、網膜におけるＧＡ病変についてのベースライン病変面積および／または病変成長速度を予測するためのプロセスフロー４０を示している。様々な実施形態では、プロセスフロー４０は、病変評価システム１００などのシステムを使用して実装され、図１に関して説明した病変面積分析システム１１４によって実行される。本明細書に開示されるように、プロセスフロー４０は、プロセスフロー１０、プロセスフロー２０、またはプロセスフロー３０のプロセスとはさらに異なるプロセスであり、網膜のＧＡ病変についてのベースライン病変面積および／または病変成長速度を予測するために使用して実装され得る。プロセスフロー４０は、眼底自発蛍光（ＦＡＦ）撮像データ、光干渉断層撮影（ＯＣＴ）撮像データ、および／または赤外線（ＩＲ）撮像データから撮像データ（すなわち、画像入力１０９－１および画像入力１０９－２）の複数の入力を受信することができるという点でプロセスフロー２０と同様である。図１Ｆに示すように、複数の画像入力１０９－１および１０９－２のそれぞれは、特徴を生成するために独立して処理され得る。例えば、画像入力１０９－１は、任意の前処理１３０を介して処理され、ＣＮＮ１４０は、特徴を抽出して、第１の高密度－２５６層１６０がベースライン病変面積１２０を予測するために使用されるグローバル平均プーリング１５０に供給し得る。同様に、画像入力１０９－２は、任意の前処理１３０、ＣＮＮ１４０を介して処理されて特徴を抽出し、第２の高密度－２５６層１６０が病変周囲１２６を予測するために使用されるグローバル平均プーリング１５０に供給することができる。同様に、任意の追加の画像入力１０９は、プロセスフロー４０を介して、追加の高密度－２５６層１６０を介して処理され、追加の／他の網膜バイオマーカー１２８を予測することができる。図１Ｆに示すように、前処理１３０およびＣＮＮ１４０は、画像入力１０９－１および１０９－２、または任意の追加の画像入力１０９について同じであってもなくてもよい。ベースライン病変面積１２０、病変周囲１２６、および任意の他の網膜バイオマーカー１２８のそれぞれが生成されると、それらは、患者または被験者の網膜の病変成長速度１１６を生成するために、高密度－ｎ＊１７０などの別の高密度層に供給され得る。

【0090】

図１Ｇは、様々な実施形態にかかる、網膜におけるＧＡ病変についてのベースライン病変面積および／または病変成長速度を予測するためのプロセスフロー５０を示している。様々な実施形態では、プロセスフロー５０は、病変評価システム１００などのシステムを使用して実装され、図１に関して説明した病変面積分析システム１１４によって実行される。図１Ｇに示すように、プロセスフロー５０は、ＣＮＮ１４０を適用する代わりに、セグメンテーションＣＮＮ／コンピュータビジョン（ＣＶ）１５５を使用して特徴または特徴マップを抽出することができ、次いで、これを１つまたは複数のコンピュータビジョンアルゴリズム１６５に入力して、ベースライン病変面積１２０、病変周囲１２６、および／または任意の他の網膜バイオマーカー１２８を予測することができる。プロセスフロー３０およびプロセスフロー４０と同様に、ベースライン病変面積１２０、病変周囲１２６、および任意の他の網膜バイオマーカー１２８は、患者または被験者の網膜の病変成長速度１１６を生成するために、高密度－ｎ＊１７０などの別の高密度層に供給され得る。

【0091】

図２は、様々な実施形態にかかる地図状萎縮病変を評価するためのプロセス２００のフローチャートである。様々な実施形態では、プロセス２００は、図１に記載の病変評価システム１００を使用して実装される。特に、プロセス２００が使用されてＧＡ進行を予測し得る。

【0092】

ステップ２０２は、網膜の眼底自発蛍光（ＦＡＦ）画像のセットを受信することを含む。ステップ２０４は、網膜の光干渉断層撮影（ＯＣＴ）画像のセットを受信することを含む。ＦＡＦ画像のセットおよびＯＣＴ画像のセットは、被験者の同じ網膜のものである。ＦＡＦ画像のセットおよびＯＣＴ画像のセットのそれぞれは、１つまたは複数の画像を含み得る。様々な実施形態では、ＦＡＦ画像のセットおよびＯＣＴ画像のセットは、同じまたは実質的に同じ１つまたは複数の時点（例えば、同じ時間内、同じ日内、同じ１～３日内など）についての対応する画像を含むベースライン画像である。

【0093】

ステップ２０６は、機械学習システムを介して、ＦＡＦ画像のセットおよびＯＣＴ画像のセットを使用して、網膜における地図状萎縮病変についての病変成長速度を予測することを含む。この予測病変成長速度は、ＦＡＦ画像のセットのみまたはＯＣＴ画像のセットのみを使用して予測された成長速度よりも正確であり得る。上述したように、ＯＣＴ画像のセットは、ＯＣＴ画像が３次元であるため、ＧＡ病変に関するより大きな構造情報を提供し得る。さらに、場合によっては、ＯＣＴ画像は、ＦＡＦ画像では容易に識別できない特定の特徴（例えば、疾患進行の前駆体またはバイオマーカー）を明らかにし得る。

【0094】

図３は、様々な実施形態にかかる地図状萎縮病変を評価するためのプロセス３００のフローチャートである。様々な実施形態では、プロセス３００は、図１に記載の病変評価システム１００を使用して実装される。特に、プロセス３００が使用されてＧＡ進行を予測し得る。

【0095】

ステップ３０２は、網膜の眼底自発蛍光（ＦＡＦ）画像のセットを受信することを含む。網膜は、地図状萎縮、または場合によっては地図状萎縮の前駆期と診断された被験者に属し得る。

【0096】

ステップ３０４は、網膜の赤外線（ＩＲ）画像のセットを受信することを含む。ＦＡＦ画像のセットおよびＩＲ画像のセットは、被験者の同じ網膜のものである。ＦＡＦ画像のセットおよびＩＲ画像のセットのそれぞれは、１つまたは複数の画像を含み得る。様々な実施形態では、ＦＡＦ画像のセットおよびＩＲ画像のセットは、同じまたは実質的に同じ１つまたは複数の時点（例えば、同じ時間内、同じ日内、同じ１～３日内など）についての対応する画像を含むベースライン画像である。赤外線画像のセットは、例えば、近赤外（ＮＩＲ）画像のセットであってもよい。

【0097】

ステップ３０６は、機械学習システムを介して、ＦＡＦ画像のセットおよびＩＲ画像のセットを使用して網膜における地図状萎縮病変についての病変成長速度を予測することを含む。この予測された病変成長速度は、ＦＡＦ画像のセットのみまたはＩＲ画像のみを使用して予測された成長速度よりも正確であり得る。

【0098】

図４は、様々な実施形態にかかる、網膜における地図状萎縮病変についての病変成長速度を予測する方法４００のフローチャートである。様々な実施形態では、方法４００は、図１に記載の病変評価システム１００などのシステムを使用して実装される。特に、方法４００が使用されてＧＡの病変成長速度を予測し得る。

【0099】

図４に示すように、ステップ４０２は、網膜の眼底自発蛍光（ＦＡＦ）撮像データを受信することを含む。ＦＡＦ撮像データは、図１の画像入力１０９のＦＡＦ撮像データとすることができ、図１の眼底自発蛍光（ＦＡＦ）画像１１０を含むことができる。ＦＡＦ撮像データは、１つまたは複数のＦＡＦ画像のセットを含み得る。１つまたは複数のセットのＦＡＦ画像は、位置合わせされていないまたは位置合わせされた画像であってもよい。網膜は、地図状萎縮、または場合によっては地図状萎縮の前駆期と診断された被験者に属し得る。

【0100】

ステップ４０４は、網膜の光干渉断層撮影（ＯＣＴ）撮像データを受信することを含む。ＯＣＴ撮像データは、図１の画像入力１０９のＯＣＴ撮像データとすることができ、図１のＯＣＴ画像１１２を含むことができる。ＯＣＴ撮像データは、１つまたは複数のＯＣＴ画像のセットを含み得る。１つまたは複数のＯＣＴ画像のセットは、位置合わせされていないまたは位置合わせされた画像であってもよい。

【0101】

方法４００のいくつかの実施形態では、任意のステップ４０６は、網膜の赤外線（ＩＲ）撮像データを受信することを含み得る。ＩＲ撮像データは、図１の画像入力１０９のＩＲ撮像データとすることができ、図１のＩＲ画像１１３を含むことができる。ＩＲ撮像データは、１つまたは複数のＩＲ画像のセットを含み得る。１つまたは複数のＩＲ画像のセットは、位置合わせされていないまたは位置合わせされた画像であってもよい。

【0102】

方法４００の様々な実施形態では、ＦＡＦ画像の１つもしくは複数のセット、ＯＣＴ画像の１つもしくは複数のセット、および／またはＩＲ画像の任意の１つもしくは複数のセットは、被験者の同じ網膜のものである。１つまたは複数のＦＡＦ画像のセット、１つまたは複数のＯＣＴ画像のセット、および／または任意の１つまたは複数のＩＲ画像のセットのそれぞれは、１つまたは複数の画像を含み得る。様々な実施形態では、１つまたは複数のＦＡＦ画像のセット、１つまたは複数のＯＣＴ画像のセット、および／または任意の１つまたは複数のＩＲ画像のセットは、同じまたは実質的に同じ１つまたは複数の時点（例えば、同じ時間内、同じ日内、同じ１～３日内など）の対応する画像を含むベースライン画像である。

【0103】

ステップ４１０は、ＦＡＦ撮像データおよびＯＣＴ撮像データを使用して、網膜における地図状萎縮病変についての病変成長速度を予測することを含む。方法４００のいくつかの実施形態では、ステップ４１０は、ＦＡＦ撮像データ、ＯＣＴ撮像データ、および／またはＩＲ撮像データを使用して、網膜における地図状萎縮病変についての病変成長速度を予測することを含み得る。

【0104】

様々な実施形態によれば、予測は、図１に関して説明した病変面積分析システム１１４などの機械学習システムを介して実行される。ＦＡＦ撮像データおよびＯＣＴ撮像データを使用した予測病変成長速度は、ＦＡＦ画像のセットのみまたはＯＣＴ画像のセットのみを使用して予測された成長速度よりも正確であり得る。上述したように、ＯＣＴ画像のセットは、ＯＣＴ画像が３次元であるため、ＧＡ病変に関するより大きな構造情報を提供し得る。さらに、場合によっては、ＯＣＴ画像は、ＦＡＦ画像では容易に識別できない特定の特徴（例えば、疾患進行の前駆体またはバイオマーカー）を明らかにし得る。

【0105】

方法４００のいくつかの実施形態では、任意のステップ４１０がステップ４０８の前に実行され得る。任意のステップ４１０は、ＦＡＦ撮像データおよびＯＣＴ撮像データを使用して、網膜における地図状萎縮病変についてのベースライン病変面積を予測することを含み得る。様々な実施形態によれば、ベースライン病変面積の予測は、図１に関して説明した病変面積分析システム１１４などの機械学習システムを介して実行され得る。様々な実施形態では、機械学習システムは、ＦＡＦ撮像データおよびＯＣＴ撮像データを処理して、推定ベースライン病変面積を生成し、これは、機械学習システムがステップ４０８において実行される病変成長速度を予測するために使用するＧＡ病変についてのベースライン総病変面積であり得る。様々な実施形態では、機械学習システムは、単一のモダリティの画像を使用してＧＡ病変を評価し、ＧＡ進行を予測する場合と比較して、より高い精度で病変成長速度を予測し得る。

【0106】

ステップ４０８および／または任意のステップ４１０において使用される機械学習システムは、図１のニューラルネットワークシステム１１８などのニューラルネットワークシステムを使用して実装され得る。地図状萎縮病変についての病変成長速度の予測に使用されるニューラルネットワークシステムは、任意の数または組み合わせのニューラルネットワークを含んでもよく、１つまたは複数のニューラルネットワークを含む畳み込みニューラルネットワーク（ＣＮＮ）システムの形態をとってもよい。これらの１つまたは複数のニューラルネットワークのそれぞれは、それ自体が畳み込みニューラルネットワークであってもよい。場合によっては、ニューラルネットワークシステムは、深層学習ニューラルネットワークシステムであってもよい。場合によっては、ニューラルネットワークシステムは、それぞれが１つまたは複数のニューラルネットワークを含む複数のサブシステムを含み、例えば、限定はしないが、フィードフォワードニューラルネットワーク（ＦＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、モジュラーニューラルネットワーク（ＭＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、残差ニューラルネットワーク（ＲｅｓＮｅｔ）、常微分方程式ニューラルネットワーク（ニューラル－ＯＤＥ）、スクイーズおよび励起埋め込みニューラルネットワーク、ＭｏｂｉｌｅＮｅｔ、または別のタイプのニューラルネットワークのうちの少なくとも１つを含み得る。

【0107】

方法４００の様々な実施形態では、ステップ４０８の病変成長速度を予測することは、ＦＡＦ撮像データを使用して第１の入力を生成することと、ＯＣＴ撮像データを使用して第２の入力を生成することと、第１の入力と第２の入力を組み合わせて融合入力を形成することと、融合入力を使用して地図状萎縮病変についての病変成長速度予測を生成することと、をさらに含むことができる。

【0108】

様々な実施形態では、方法４００は、融合入力から１つまたは複数のバイオマーカー（または網膜バイオマーカー）を生成または予測することを含み得る。本明細書に開示される様々な実施形態によれば、バイオマーカーは、病変周囲長、病変形状記述的特徴、楔形網膜下反射低下、網膜色素上皮（ＲＰＥ）の減弱および破壊、高反射性病巣、網状偽ドルーゼン（ＲＰＤ）、多層膜厚減少、光受容体萎縮、ドルーゼンにおける低反射性コア、中心部の大きなドルーゼン、周りを囲む異常な自己蛍光パターン、以前のＧＡ進行速度、外網膜卵管形成、脈絡毛細管板の空隙、ＧＡ病変サイズ、中心窩までのＧＡ距離、病変連続性、またはそれらの組み合わせを含み得る。これらのバイオマーカーのいくつかは、例えば画像入力の一部として提供される臨床データに基づく外部入力として提供されてもよいことに留意されたい。

【0109】

方法４００の様々な実施形態では、ステップ４０８の病変成長速度を予測することは、ＦＡＦ画像のセットを使用して第１の入力を生成することと、ＯＣＴ画像のセットを使用して第２の入力を生成することと、ＦＡＦ撮像データから第１の目的の特徴を抽出することと、ＯＣＴ撮像データから第２の目的の特徴を抽出することと、第１の目的の特徴と第２の目的の特徴とを融合して融合特徴入力を形成することと、融合特徴入力を使用して地図状萎縮病変についての病変成長速度を生成することと、をさらに含み得る。

【0110】

様々な実施形態では、網膜は患者と関連付けられ得る。そのような場合、方法４００は、患者と関連付けられた臨床因子データを受信することと、臨床因子データを第１の目的の特徴および第２の目的の特徴と融合して融合特徴入力を形成することと、融合特徴入力を使用して地図状萎縮病変についての病変成長速度を生成することと、をさらに含んでもよい。場合によっては、臨床因子データは、被験者の年齢、性別、喫煙状態、観察されたＧＡ病変面積、観察されたＧＡ病変の網膜の中心窩までの距離、画像の連続性、最高矯正視力（ＢＣＶＡ）スコア、低輝度欠損（ＬＬＤ）スコア、またはそれらの組み合わせを含み得る。

【0111】

様々な実施形態では、融合特徴入力は、平均プーリング法、スクイーズおよび励起法、またはそれらの組み合わせを含むモデルを使用して形成され得る。

【0112】

様々な実施形態では、方法４００は、網膜の赤外線（ＩＲ）撮像データを受信することと、ＦＡＦ撮像データ、ＯＣＴ撮像データ、およびＩＲ撮像データを使用して、網膜における地図状萎縮病変についての病変成長速度を予測することとをさらに含み得る。

【0113】

様々な実施形態では、方法４００はまた、ＦＡＦ撮像データを前処理して第１の入力を形成することを含んでもよい。様々な実施形態では、前処理は、自動黄斑視野ＦＡＦ画像選択、目的の領域抽出、画像コントラスト改善、または１つのマルチチャネル入力へのマルチフィールドＦＡＦ画像の組み合わせなどを含み得る。そのような場合、前処理は、ＦＡＦ撮像データを５１２×５１２画素にサイズ変更することと、ＦＡＦ撮像データを０と１との間で正規化することとを含み得る。様々な実施形態では、方法４００はまた、ＯＣＴ撮像データを前処理して第２の入力を形成することを含んでもよい。様々な実施形態では、前処理ＯＣＴ画像は、一般的な画像コントラスト改善、３Ｄから２Ｄへのボリューム平坦化などを含み得るが、これらに限定されない。様々な実施形態では、ＯＣＴ画像の平坦化は、内境界膜（ＩＬＭ）などの任意の層に沿って実行されてもよく、ＯＣＴ断面画像は、画像入力チャネルに統合されてもよい。そのような場合、前処理は、ブルッフ膜に沿ってＯＣＴ撮像データを平坦化することと、全深さ、ブルッフ膜より上方の深さ、およびブルッフ膜より下方の深さの１つまたは複数にわたって面内マップのセットを平均化することと、ＧＡ病変についての病変成長速度を予測するためのマルチチャネルＯＣＴ入力を生成するために面内マップのセットを組み合わせることとを含み得る。いくつかの実施形態では、前処理は、それぞれ図１Ｃ、図１Ｄ、図１Ｅ、図１Ｆ、および図１Ｇのプロセスフロー１０、２０、３０、４０、および５０に記載されているように、前処理１３０に関して本明細書に開示されている任意の前処理方法を含み得る。

【0114】

図５は、様々な実施形態にかかる、網膜における地図状萎縮病変についての病変成長速度を予測する方法５００のフローチャートである。様々な実施形態では、方法５００は、図１に記載の病変評価システム１００などのシステムを使用して実装される。特に、方法５００が使用されて、ＧＡの病変成長速度を予測し得る。

【0115】

図５に示すように、ステップ５０２は、網膜の眼底自発蛍光（ＦＡＦ）撮像データを受信することを含む。ＦＡＦ撮像データは、図１の画像入力１０９のＦＡＦ撮像データとすることができ、図１の眼底自発蛍光（ＦＡＦ）画像１１０を含むことができる。ＦＡＦ撮像データは、１つまたは複数のＦＡＦ画像のセットを含み得る。１つまたは複数のセットのＦＡＦ画像は、位置合わせされていないまたは位置合わせされた画像であってもよい。網膜は、地図状萎縮、または場合によっては地図状萎縮の前駆期と診断された被験者に属し得る。

【0116】

方法５００のいくつかの実施形態では、任意のステップ５０４は、網膜の光干渉断層撮影（ＯＣＴ）撮像データを受信することを含み得る。ＯＣＴ撮像データは、図１の画像入力１０９のＯＣＴ撮像データとすることができ、図１のＯＣＴ画像１１２を含むことができる。ＯＣＴ撮像データは、１つまたは複数のＯＣＴ画像のセットを含み得る。１つまたは複数のＯＣＴ画像のセットは、位置合わせされていないまたは位置合わせされた画像であってもよい。

【0117】

図５に示すように、ステップ５０６は、網膜の赤外線（ＩＲ）撮像データを受信することを含む。ＩＲ撮像データは、図１の画像入力１０９のＩＲ撮像データとすることができ、図１のＩＲ画像１１３を含むことができる。ＩＲ撮像データは、１つまたは複数のＩＲ画像のセットを含み得る。１つまたは複数のＩＲ画像のセットは、位置合わせされていないまたは位置合わせされた画像であってもよい。

【0118】

方法５００の様々な実施形態では、ＦＡＦ画像の１つもしくは複数のセット、ＩＲ画像の１つもしくは複数のセット、および／またはＯＣＴ画像の任意の１つもしくは複数のセットは、被験者の同じ網膜のものである。１つまたは複数のＦＡＦ画像のセット、１つまたは複数のＩＲ画像のセット、および／または任意の１つまたは複数のＯＣＴ画像のセットのそれぞれは、１つまたは複数の画像を含み得る。様々な実施形態では、１つまたは複数のＦＡＦ画像のセット、１つまたは複数のＩＲ画像のセット、および／または任意の１つまたは複数のＯＣＴ画像のセットは、同じまたは実質的に同じ１つまたは複数の時点（例えば、同じ時間内、同じ日内、同じ１～３日内など）についての対応する画像を含むベースライン画像である。

【0119】

ステップ５１０は、ＦＡＦ撮像データおよびＩＲ撮像データを使用して、網膜における地図状萎縮病変についての病変成長速度を予測することを含む。方法５００のいくつかの実施形態では、ステップ５１０は、ＦＡＦ撮像データ、ＩＲ撮像データ、および／またはＯＣＴ撮像データを使用して、網膜における地図状萎縮病変についての病変成長速度を予測することを含み得る。

【0120】

様々な実施形態によれば、予測は、図１に関して説明した病変面積分析システム１１４などの機械学習システムを介して実行される。ＦＡＦ撮像データおよびＩＲ撮像データを使用した予測病変成長速度は、ＦＡＦ画像のセットのみまたはＩＲ画像のセットのみを使用して予測された成長速度よりも正確であり得る。上述したように、ＯＣＴ画像のセットは、ＯＣＴ画像が３次元であるため、ＧＡ病変に関するより大きな構造情報を提供し得る。さらに、場合によっては、ＯＣＴ画像は、ＦＡＦ画像では容易に識別できない特定の特徴（例えば、疾患進行の前駆体またはバイオマーカー）を明らかにし得る。

【0121】

方法５００のいくつかの実施形態では、任意のステップ５１０がステップ５０８の前に実行され得る。任意のステップ５１０は、ＦＡＦ撮像データおよびＩＲ撮像データを使用して、網膜における地図状萎縮病変についてのベースライン病変面積を予測することを含み得る。様々な実施形態によれば、ベースライン病変面積の予測は、図１に関して説明した病変面積分析システム１１４などの機械学習システムを介して実行され得る。様々な実施形態では、機械学習システムは、ＦＡＦ撮像データおよびＩＲ撮像データを処理して、推定ベースライン病変面積を生成し、これは、機械学習システムがステップ５０８において実行される病変成長速度を予測するために使用するＧＡ病変についてのベースライン総病変面積であり得る。様々な実施形態では、機械学習システムは、単一のモダリティの画像を使用してＧＡ病変を評価し、ＧＡ進行を予測する場合と比較して、より高い精度で病変成長速度を予測し得る。

【0122】

ステップ５０８および／または任意のステップ５１０において使用される機械学習システムは、図１のニューラルネットワークシステム１１８などのニューラルネットワークシステムを使用して実装され得る。地図状萎縮病変についての病変成長速度の予測に使用されるニューラルネットワークシステムは、任意の数または組み合わせのニューラルネットワークを含んでもよく、１つまたは複数のニューラルネットワークを含む畳み込みニューラルネットワーク（ＣＮＮ）システムの形態をとってもよい。これらの１つまたは複数のニューラルネットワークのそれぞれは、それ自体が畳み込みニューラルネットワークであってもよい。場合によっては、ニューラルネットワークシステムは、深層学習ニューラルネットワークシステムであってもよい。場合によっては、ニューラルネットワークシステムは、それぞれが１つまたは複数のニューラルネットワークを含む複数のサブシステムを含み、例えば、限定はしないが、フィードフォワードニューラルネットワーク（ＦＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、モジュラーニューラルネットワーク（ＭＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、残差ニューラルネットワーク（ＲｅｓＮｅｔ）、常微分方程式ニューラルネットワーク（ニューラル－ＯＤＥ）、スクイーズおよび励起埋め込みニューラルネットワーク、ＭｏｂｉｌｅＮｅｔ、または別のタイプのニューラルネットワークのうちの少なくとも１つを含み得る。

【0123】

方法５００の様々な実施形態では、ステップ５０８の病変成長速度を予測することは、ＦＡＦ撮像データを使用して第１の入力を生成することと、ＩＲ撮像データを使用して第２の入力を生成することと、第１および第２の入力を一緒に融合することと、融合入力を使用して地図状萎縮病変についての病変成長速度を生成することと、をさらに含むことができる。

【0124】

様々な実施形態では、方法５００は、融合入力から１つまたは複数のバイオマーカー（または網膜バイオマーカー）を生成または予測することを含み得る。本明細書に開示される様々な実施形態によれば、バイオマーカーは、病変周囲長、病変形状記述的特徴、楔形網膜下反射低下、網膜色素上皮（ＲＰＥ）の減弱および破壊、高反射性病巣、網状偽ドルーゼン（ＲＰＤ）、多層膜厚減少、光受容体萎縮、ドルーゼンにおける低反射性コア、中心部の大きなドルーゼン、周りを囲む異常な自己蛍光パターン、以前のＧＡ進行速度、外網膜卵管形成、脈絡毛細管板の空隙、ＧＡ病変サイズ、中心窩までのＧＡ距離、病変連続性、またはそれらの組み合わせを含み得る。これらのバイオマーカーのいくつかは、例えば画像入力の一部として提供される臨床データに基づく外部入力として提供されてもよいことに留意されたい。

【0125】

方法５００の様々な実施形態では、ステップ５０８の病変成長速度を予測することは、ＦＡＦ画像のセットを使用して第１の入力を生成することと、ＩＲ画像のセットを使用して第２の入力を生成することと、ＦＡＦ撮像データから第１の目的の特徴を抽出することと、ＩＲ撮像データから第２の目的の特徴を抽出することと、第１の目的の特徴と第２の目的の特徴とを融合して融合特徴入力を形成することと、融合特徴入力を使用して地図状萎縮病変についての病変成長速度を生成することと、をさらに含み得る。

【0126】

様々な実施形態では、網膜は患者と関連付けられ得る。そのような場合、方法５００は、患者と関連付けられた臨床因子データを受信することと、臨床因子データを第１の目的の特徴および第２の目的の特徴と融合して融合特徴入力を形成することと、融合特徴入力を使用して地図状萎縮病変についての病変成長速度を生成することと、をさらに含んでもよい。場合によっては、臨床因子データは、被験者の年齢、性別、喫煙状態、観察されたＧＡ病変面積、観察されたＧＡ病変の網膜の中心窩までの距離、画像の連続性、最高矯正視力（ＢＣＶＡ）スコア、低輝度欠損（ＬＬＤ）スコア、またはそれらの組み合わせを含み得る。

【0127】

【0128】

様々な実施形態では、方法５００は、網膜のＯＣＴ撮像データと、ＦＡＦ撮像データ、ＩＲ撮像データ、およびＯＣＴ撮像データを使用して網膜における地図状萎縮病変についての病変成長速度を予測することとをさらに含み得る。

【0129】

様々な実施形態では、方法５００はまた、ＦＡＦ撮像データを前処理して第１の入力を形成することを含んでもよい。様々な実施形態では、前処理は、自動黄斑視野ＦＡＦ画像選択、目的の領域抽出、画像コントラスト改善、または１つのマルチチャネル入力へのマルチフィールドＦＡＦ画像の組み合わせなどを含み得る。そのような場合、前処理は、ＦＡＦ撮像データを５１２×５１２画素にサイズ変更することと、ＦＡＦ撮像データを０と１との間で正規化することとを含み得る。様々な実施形態では、方法５００はまた、ＯＣＴ撮像データを前処理して第２の入力を形成することを含んでもよい。様々な実施形態では、前処理ＯＣＴ画像は、一般的な画像コントラスト改善、３Ｄから２Ｄへのボリューム平坦化などを含み得るが、これらに限定されない。様々な実施形態では、ＯＣＴ画像の平坦化は、内境界膜（ＩＬＭ）などの任意の層に沿って実行されてもよく、ＯＣＴ断面画像は、画像入力チャネルに統合されてもよい。様々な実施形態では、前処理は、ブルッフ膜に沿ってＯＣＴ撮像データを平坦化することと、全深さ、ブルッフ膜より上方の深さ、およびブルッフ膜より下方の深さの１つまたは複数にわたって面内マップのセットを平均化することと、ＧＡ病変についての病変成長速度を予測するためのマルチチャネルＯＣＴ入力を生成するために面内マップのセットを組み合わせることとを含み得る。いくつかの実施形態では、前処理は、それぞれ図１Ｃ、図１Ｄ、図１Ｅ、図１Ｆ、および図１Ｇのプロセスフロー１０、２０、３０、４０、および５０に記載されているように、前処理１３０に関して本明細書に開示されている任意の前処理方法を含み得る。

【0130】

ここで、様々な実施形態にかかる、網膜における地図状萎縮病変についての病変成長速度を予測する方法６００のフローチャートである図６を参照する。様々な実施形態では、方法６００は、図１に記載の病変評価システム１００などのシステムを使用して実装される。特に、方法６００が使用されて、ＧＡの病変成長速度を予測し得る。

【0131】

図６に示すように、ステップ６０４は、網膜の光干渉断層撮影（ＯＣＴ）撮像データを受信することを含む。網膜は、地図状萎縮、または場合によっては地図状萎縮の前駆期と診断された被験者に属し得る。ＯＣＴ撮像データは、図１の画像入力１０９のＯＣＴ撮像データとすることができ、図１のＯＣＴ画像１１２を含むことができる。ＯＣＴ撮像データは、１つまたは複数のＯＣＴ画像のセットを含み得る。１つまたは複数のＯＣＴ画像のセットは、位置合わせされていないまたは位置合わせされた画像であってもよい。

【0132】

方法６００のいくつかの実施形態では、任意のステップ６０２は、網膜の眼底自発蛍光（ＦＡＦ）撮像データを受信することを含み得る。ＦＡＦ撮像データは、図１の画像入力１０９のＦＡＦ撮像データとすることができ、図１の眼底自発蛍光（ＦＡＦ）画像１１０を含むことができる。任意のＦＡＦ撮像データは、１つまたは複数のＦＡＦ画像のセットを含み得る。任意の１つまたは複数のセットのＦＡＦ画像は、位置合わせされていないまたは位置合わせされた画像であってもよい。

【0133】

方法６００は、網膜の赤外線（ＩＲ）撮像データを受信することを含み得るステップ６０６をさらに含む。ＩＲ撮像データは、図１の画像入力１０９のＩＲ撮像データとすることができ、図１のＩＲ画像１１３を含むことができる。ＩＲ撮像データは、１つまたは複数のＩＲ画像のセットを含み得る。１つまたは複数のＩＲ画像のセットは、位置合わせされていないまたは位置合わせされた画像であってもよい。

【0134】

方法６００の様々な実施形態では、任意のＦＡＦ画像の１つまたは複数のセット、ＯＣＴ画像の１つまたは複数のセット、および／またはＩＲ画像の１つまたは複数のセットは、被験者の同じ網膜のものである。任意のＦＡＦ画像の１つまたは複数のセット、ＯＣＴ画像の１つまたは複数のセット、および／またはＩＲ画像の１つまたは複数のセットのそれぞれは、１つまたは複数の画像を含み得る。様々な実施形態では、任意のＦＡＦ画像の１つまたは複数のセット、ＯＣＴ画像の１つまたは複数のセット、および／またはＩＲ画像の１つまたは複数のセットは、同じまたは実質的に同じ１つまたは複数の時点（例えば、同じ時間内、同じ日内、同じ１～３日内など）についての対応する画像を含むベースライン画像である。

【0135】

ステップ６１０は、ＩＲ撮像データおよびＯＣＴ撮像データを使用して、網膜における地図状萎縮病変についての病変成長速度を予測することを含む。方法６００のいくつかの実施形態では、ステップ６１０は、ＩＲ撮像データ、ＯＣＴ撮像データ、および／またはＦＡＦ撮像データを使用して、網膜における地図状萎縮病変についての病変成長速度を予測することを含み得る。

【0136】

様々な実施形態によれば、予測は、図１に関して説明した病変面積分析システム１１４などの機械学習システムを介して実行される。ＩＲ撮像データおよびＯＣＴ撮像データを使用した予測病変成長速度は、ＩＲ画像のセットのみまたはＯＣＴ画像のセットのみを使用して予測された成長速度よりも正確であり得る。上述したように、ＯＣＴ画像のセットは、ＯＣＴ画像が３次元であるため、ＧＡ病変に関するより大きな構造情報を提供し得る。さらに、場合によっては、ＯＣＴ画像は、ＦＡＦ画像では容易に識別できない特定の特徴（例えば、疾患進行の前駆体またはバイオマーカー）を明らかにし得る。

【0137】

方法６００のいくつかの実施形態では、任意のステップ６１０がステップ６０８の前に実行され得る。任意のステップ６１０は、ＩＲ撮像データおよびＯＣＴ撮像データを使用して、網膜における地図状萎縮病変についてのベースライン病変面積を予測することを含み得る。様々な実施形態によれば、ベースライン病変面積の予測は、図１に関して説明した病変面積分析システム１１４などの機械学習システムを介して実行され得る。様々な実施形態では、機械学習システムは、ＩＲ撮像データおよびＯＣＴ撮像データを処理して、推定ベースライン病変面積を生成し、これは、機械学習システムがステップ６０８において実行される病変成長速度を予測するために使用するＧＡ病変についてのベースライン総病変面積であり得る。様々な実施形態では、機械学習システムは、単一のモダリティの画像を使用してＧＡ病変を評価し、ＧＡ進行を予測する場合と比較して、より高い精度で病変成長速度を予測し得る。

【0138】

ステップ６０８および／または任意のステップ６１０において使用される機械学習システムは、図１のニューラルネットワークシステム１１８などのニューラルネットワークシステムを使用して実装され得る。地図状萎縮病変についての病変成長速度の予測に使用されるニューラルネットワークシステムは、任意の数または組み合わせのニューラルネットワークを含んでもよく、１つまたは複数のニューラルネットワークを含む畳み込みニューラルネットワーク（ＣＮＮ）システムの形態をとってもよい。これらの１つまたは複数のニューラルネットワークのそれぞれは、それ自体が畳み込みニューラルネットワークであってもよい。場合によっては、ニューラルネットワークシステムは、深層学習ニューラルネットワークシステムであってもよい。場合によっては、ニューラルネットワークシステムは、それぞれが１つまたは複数のニューラルネットワークを含む複数のサブシステムを含み、例えば、限定はしないが、フィードフォワードニューラルネットワーク（ＦＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、モジュラーニューラルネットワーク（ＭＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、残差ニューラルネットワーク（ＲｅｓＮｅｔ）、常微分方程式ニューラルネットワーク（ニューラル－ＯＤＥ）、スクイーズおよび励起埋め込みニューラルネットワーク、ＭｏｂｉｌｅＮｅｔ、または別のタイプのニューラルネットワークのうちの少なくとも１つを含み得る。

【0139】

方法６００の様々な実施形態では、ステップ６０８の病変成長速度を予測することは、ＩＲ撮像データを使用して第１の入力およびＯＣＴ撮像データを使用して第２の入力を生成することと、第１および第２の入力を一緒に融合して融合入力を形成することと、融合入力を使用して地図状萎縮病変についての病変成長速度を生成することと、をさらに含むことができる。

【0140】

様々な実施形態では、方法６００は、融合入力から１つまたは複数のバイオマーカー（または網膜バイオマーカー）を生成または予測することを含み得る。本明細書に開示される様々な実施形態によれば、バイオマーカーは、病変周囲長、病変形状記述的特徴、楔形網膜下反射低下、網膜色素上皮（ＲＰＥ）の減弱および破壊、高反射性病巣、網状偽ドルーゼン（ＲＰＤ）、多層膜厚減少、光受容体萎縮、ドルーゼンにおける低反射性コア、中心部の大きなドルーゼン、周りを囲む異常な自己蛍光パターン、以前のＧＡ進行速度、外網膜卵管形成、脈絡毛細管板の空隙、ＧＡ病変サイズ、中心窩までのＧＡ距離、病変連続性、またはそれらの組み合わせを含み得る。これらのバイオマーカーのいくつかは、例えば画像入力の一部として提供される臨床データに基づく外部入力として提供されてもよいことに留意されたい。

【0141】

方法６００の様々な実施形態では、ステップ６０８の病変成長速度を予測することは、ＩＲ画像のセットを使用して第１の入力を生成することと、ＯＣＴ画像のセットを使用して第２の入力を生成することと、ＩＲ撮像データから第１の目的の特徴を抽出することと、ＯＣＴ撮像データから第２の目的の特徴を抽出することと、第１の目的の特徴と第２の目的の特徴とを融合して融合特徴入力を形成することと、融合特徴入力を使用して地図状萎縮病変についての病変成長速度を生成することと、をさらに含み得る。

【0142】

様々な実施形態では、網膜は患者と関連付けられ得る。そのような場合、方法６００は、患者と関連付けられた臨床因子データを受信することと、臨床因子データを第１の目的の特徴および第２の目的の特徴と融合して融合特徴入力を形成することと、融合特徴入力を使用して地図状萎縮病変についての病変成長速度を生成することと、をさらに含んでもよい。場合によっては、臨床因子データは、被験者の年齢、性別、喫煙状態、観察されたＧＡ病変面積、観察されたＧＡ病変の網膜の中心窩までの距離、画像の連続性、最高矯正視力（ＢＣＶＡ）スコア、低輝度欠損（ＬＬＤ）スコア、またはそれらの組み合わせを含み得る。

【0143】

【0144】

様々な実施形態では、方法６００は、網膜のＦＡＦ撮像データと、ＩＲ撮像データ、ＯＣＴ撮像データ、およびＦＡＦ撮像データを使用して、網膜における地図状萎縮病変についての病変成長速度を予測することとをさらに含み得る。

【0145】

様々な実施形態では、方法６００はまた、ＦＡＦ撮像データを前処理して第１の入力を形成することを含んでもよい。様々な実施形態では、前処理は、自動黄斑視野ＦＡＦ画像選択、目的の領域抽出、画像コントラスト改善、または１つのマルチチャネル入力へのマルチフィールドＦＡＦ画像の組み合わせなどを含み得る。そのような場合、前処理は、ＦＡＦ撮像データを５１２×５１２画素にサイズ変更することと、ＦＡＦ撮像データを０と１との間で正規化することとを含み得る。様々な実施形態では、方法６００はまた、ＯＣＴ撮像データを前処理して第２の入力を形成することを含んでもよい。様々な実施形態では、前処理ＯＣＴ画像は、一般的な画像コントラスト改善、３Ｄから２Ｄへのボリューム平坦化などを含み得るが、これらに限定されない。様々な実施形態では、ＯＣＴ画像の平坦化は、内境界膜（ＩＬＭ）などの任意の層に沿って実行されてもよく、ＯＣＴ断面画像は、画像入力チャネルに統合されてもよい。そのような場合、前処理は、ブルッフ膜に沿ってＯＣＴ撮像データを平坦化することと、全深さ、ブルッフ膜より上方の深さ、およびブルッフ膜より下方の深さの１つまたは複数にわたって面内マップのセットを平均化することと、ＧＡ病変についての病変成長速度を予測するためのマルチチャネルＯＣＴ入力を生成するために面内マップのセットを組み合わせることとを含み得る。いくつかの実施形態では、前処理は、それぞれ図１Ｃ、図１Ｄ、図１Ｅ、図１Ｆ、および図１Ｇのプロセスフロー１０、２０、３０、４０、および５０に記載されているように、前処理１３０に関して本明細書に開示されている任意の前処理方法を含み得る。

【0146】

様々な実施形態では、方法４００、方法５００、および／または方法６００を実装するためのシステムは、非一時的メモリと、非一時的メモリに結合され、非一時的メモリから命令を読み出して、システムに方法４００、方法５００、および／または方法６００の動作を実行させるように構成されたハードウェアプロセッサとを含むことができる。様々な実施形態では、システムは、図１に記載の病変評価システム１００を使用して実装され得る。システムが実行する動作は、網膜の眼底自発蛍光（ＦＡＦ）撮像データを受信すること、網膜の光干渉断層撮影（ＯＣＴ）撮像データを受信すること、および／または網膜の赤外線（ＩＲ）撮像データを受信すること、ならびにＦＡＦ、ＯＣＴ、および／またはＩＲ撮像データのうちの２つ（例えば、ＦＡＦおよびＯＣＴ撮像データ、ＦＡＦおよびＩＲ撮像データ、またはＯＣＴおよびＩＲ撮像データ）を使用して網膜における地図状萎縮（ＧＡ）病変について病変成長速度を予測することを含み得る。

【0147】

様々な実施形態では、非一時的コンピュータ可読媒体（ＣＲＭ）は、方法４００、方法５００、および／または方法６００の動作をコンピュータシステムに実行させるように実行可能なコンピュータ可読命令を記憶していてもよい。様々な実施形態では、動作は、図１に記載の病変評価システム１００などのシステムを使用して実行または実装され得る。ＣＲＭは、網膜の眼底自発蛍光（ＦＡＦ）撮像データを受信すること、網膜の光干渉断層撮影（ＯＣＴ）撮像データを受信すること、および／または網膜の赤外線（ＩＲ）撮像データを受信すること、ならびにＦＡＦ、ＯＣＴ、および／またはＩＲ撮像データのうちの２つ（例えば、ＦＡＦおよびＯＣＴ撮像データ、ＦＡＦおよびＩＲ撮像データ、またはＯＣＴおよびＩＲ撮像データ）を使用して網膜における地図状萎縮（ＧＡ）病変についての病変成長速度を予測することを含む動作を実行するためのコンピュータ可読命令を含み得る。

【0148】

ＩＶ．人工ニューラルネットワーク
図７は、本開示の様々な実施形態にかかる、コンピュータベースのモデルを実装するために使用され得る例示的なニューラルネットワークを示している。例えば、ニューラルネットワーク７００は、病変面積分析システム１１４のニューラルネットワークシステム１１８を含んでもよい。図示のように、人工ニューラルネットワーク７００は、入力層７０２、隠れ層７０４、および出力層７０６の３つの層を含む。層７０２、７０４、および７０６のそれぞれは、１つまたは複数のノードを含み得る。例えば、入力層７０２は、ノード７０８～７１４を含み、隠れ層７０４は、ノード７１６～７１８を含み、出力層７０６は、ノード７２２を含む。この例では、階層内の各ノードは、隣接する階層内の全てのノードに接続されている。例えば、入力層７０２のノード７０８は、隠れ層７０４の双方のノード７１６、７１８に接続される。同様に、隠れ層のノード７１６は、入力層７０２のノード７０８～７１４および出力層７０６のノード７２２の全てに接続される。人工ニューラルネットワーク７００についてはただ１つの隠れ層しか示されていないが、病変面積分析システム１１４のニューラルネットワークシステム１１８などのニューラルネットワークシステムを実装するために使用される人工ニューラルネットワーク７００は、必要または所望に応じた数の隠れ層を含み得ると考えられている。

【0149】

この例では、人工ニューラルネットワーク７００は、入力値のセット（入力１～４）を受信し、出力値（出力５）を生成する。入力層７０２内の各ノードは、別個の入力値に対応し得る。例えば、人工ニューラルネットワーク７００が病変面積分析システム１１４のニューラルネットワークシステム１１８などのニューラルネットワークシステムを実装するために使用される場合、入力層７０２内の各ノードは、ＯＣＴ撮像データ１１０の別個の属性に対応し得る。

【0150】

いくつかの実施形態では、隠れ層７０４内のノード７１６～７１８のそれぞれは、ノード７０８～７１４から受信した入力値に基づいて値を生成する数学的計算（またはアルゴリズム）を含み得る表現を生成する。数学的計算は、ノード７０８～７１４から受信したデータ値のそれぞれに異なる重みを割り当てることを含み得る。ノード７１６および７１８は、ノード７１６～７１８のそれぞれがノード７０８～７１４から受信した同じ入力値に基づいて異なる値を生成し得るように、ノード７０８～７１４からのデータ変数に割り当てられた異なるアルゴリズムおよび／または異なる重みを含み得る。いくつかの実施形態では、ノード７１６～７１８のそれぞれの特徴（または入力値）に最初に割り当てられる重みは、（例えば、コンピュータランダマイザを使用して）ランダムに生成されてもよい。ノード７１６および７１８によって生成された値は、人工ニューラルネットワーク７００の出力値を生成するために出力層７０６内のノード７２２によって使用され得る。人工ニューラルネットワーク７００が、病変面積分析システム１１４のニューラルネットワークシステム１１８などのニューラルネットワークシステムを実装するために使用される場合、人工ニューラルネットワーク７００によって生成される出力値は、ベースライン病変面積１２０および／または病変成長速度１１６を含み得る。

【0151】

人工ニューラルネットワーク７００は、訓練データを使用することによって訓練され得る。例えば、本明細書の訓練データは、ＯＣＴ撮像データ１１２（図１Ａを参照）からの画像のセットであってもよい。人工ニューラルネットワーク７００に訓練データを提供することによって、隠れ層７０４内のノード７１６～７１８は、訓練データに基づいて出力層７０６において最適な出力が生成されるように訓練（調整）され得る。異なる訓練データセットを連続的に提供し、人工ニューラルネットワーク７００の出力が正しくない（例えば、誤ったＧＡ病変セグメントを含むセグメンテーションマスクを生成する場合）ときに人工ニューラルネットワーク７００にペナルティを課すことによって、人工ニューラルネットワーク７００（具体的には、隠れ層７０４内のノードの表現）が訓練（調整）されて、データ分類におけるその性能を改善することができる。人工ニューラルネットワーク７００を調整することは、隠れ層７０４内の各ノードと関連付けられた重みを調整することを含み得る。

【0152】

上記の説明は、機械学習の例としての人工ニューラルネットワークに関するものであるが、他のタイプの機械学習方法もまた、本開示の様々な態様を実装するのに適し得ることが理解される。例えば、サポートベクターマシン（ＳＶＭ）が使用されて機械学習を実装し得る。ＳＶＭは、分類および回帰に使用される関連する教師あり学習方法のセットである。非確率的バイナリ線形分類器であり得るＳＶＭ訓練アルゴリズムは、新たな例が１つのカテゴリに入るか別のカテゴリに入るかを予測するモデルを構築し得る。別の例として、ベイジアンネットワークが使用されて機械学習を実装してもよい。ベイジアンネットワークは、ランダム変数のセットおよび有向非巡回グラフ（ＤＡＧ）によるそれらの条件的独立性を表す非巡回確率的グラフィカルモデルである。ベイジアンネットワークは、１つの変数と別の変数との間の確率的関係を提示することができる。別の例は、決定木学習モデルを使用して機械学習プロセスを実行する機械学習エンジンである。場合によっては、決定木学習モデルは、分類木モデルおよび回帰木モデルを含み得る。いくつかの実施形態では、機械学習エンジンは、回帰木モデルとして勾配ブースティング機械（ＧＢＭ）モデル（例えば、ＸＧＢｏｏｓｔ）を使用する。他の機械学習技術が使用されて、例えばランダムフォレストまたは深層ニューラルネットワークを介して機械学習エンジンを実装してもよい。他のタイプの機械学習アルゴリズムは、簡単にするために本明細書では詳細に説明されず、本開示は、特定のタイプの機械学習に限定されないことが理解される。

【0153】

Ｖ．本明細書で開示されるシステムおよび方法の例示的な適用
以下では、本発明をより詳細に説明する例示的なワークフローについて説明する。開示されたシステムおよび方法は、マルチモーダル、マルチタスク深層学習（ＤＬ）アプローチを介したベースライン来院からの眼底自発蛍光（ＦＡＦ）画像、赤外線（ＩＲ）画像、および／またはスペクトル領域光干渉断層法（ＯＣＴ）ボリュームを使用してＧＡ面積および成長速度を予測するために使用され得る。前向きランパリズマブ臨床試験に位置合わせされた両側ＧＡを有する患者の試験眼からのベースラインＦＡＦ画像、ＩＲ画像および／またはＯＣＴボリュームを使用して、遡及的分析が実行され得る。前向きランパリズマブ臨床試験からの１７２２人の患者／眼の遡及的分析は、ベースライン来院ＦＡＦ画像および／またはＯＣＴボリュームを使用して、マルチタスク深層学習アプローチを使用して同時ＧＡ病変面積および年間ＧＡ成長速度を予測することの実現可能性を実証する。ベースライン来院画像を使用したＧＡ成長速度の正確な予測は、臨床試験の設計、実装、および分析を改善するのに役立つ。

【0154】

ＧＡ成長速度（ｍｍ^２／年）を、病変面積の利用可能な全ての測定値（ｍｍ^２、独立したリーディングセンターによって等級付けされる）に対する線形適合の傾きとして推定した。データセットを開発（１２７９人の患者／眼）セットとホールドアウト（４４３人の患者／眼）セットに分割した。３つのマルチタスク畳み込みニューラルネットワークモデル、ＦＡＦのみ、ＯＣＴのみ、およびマルチモーダル（ＦＡＦおよびＯＣＴ）を使用して、同時病変面積および年間成長速度を同時に予測した。性能は、観察された病変面積／成長速度と予測された病変面積／成長速度との間のピアソン相関係数（ｒ）の二乗として定義される試料内決定係数（Ｒ^２）を計算することによって評価した。信頼区間（ＣＩ）は、ブートストラップリサンプリング（Ｂ＝１００００）によって計算した。

【0155】

開発セットにおいて、ＧＡ病変面積予測についてのＦＡＦのみ、ＯＣＴのみ、およびマルチモーダルモデルの平均Ｒ^２としての性能は、それぞれ０．９３、０．９１、および０．９３であり、ＧＡ成長速度予測については、それぞれ０．４８、０．４２、および０．５２であった。ホールドアウトデータセットでは、ＧＡ病変面積予測についてのＦＡＦのみ、ＯＣＴのみ、およびマルチモーダルモデルのＲ^２（９５％ＣＩ）としての性能は、それぞれ０．９６（０．９５～０．９７）、０．９１（０．８７～０．９５）、および０．９４（０．９２～０．９６）であり、ＧＡ成長速度予測については、それぞれ０．４８（０．４１～０．５５）、０．３６（０．２９～０．４３）、０．４７（０．４０～０．５４）であった。

【0156】

これらの所見は、ベースラインＦＡＦ画像および／またはＯＣＴボリュームを使用して、マルチタスクＤＬアプローチを利用して個々のＧＡ面積および成長速度を予測することの実現可能性を示す。スクリーニング画像のみを使用する人工知能ベースの予測は、臨床試験の設計および患者管理を潜在的に知らせ、改善することができる。

【0157】

地図状萎縮（ＧＡ）は、加齢黄斑変性（ＡＭＤ）の進行期であり、世界中で約５００万人が罹患している。これは、光受容体、網膜色素上皮（ＲＰＥ）および脈絡毛細管板の進行性の喪失を特徴とし、現在、有効な承認された治療法はない。

【0158】

ＧＡ病変は、カラー眼底撮影法（ＣＦＰ）、フルオレセイン蛍光造影法（ＦＡ）、眼底自発蛍光法（ＦＡＦ）、近赤外反射率（ＮＩＲ）、光干渉断層撮影法（ＯＣＴ）および光干渉断層撮影法血管造影法（ＯＣＴＡ）を含むいくつかのモダリティによって検出され得る。ＦＡＦは、ＲＰＥ中のリポフスチン顆粒内の内因性フルオロフォアのトポグラフィックマッピングを示し、ＧＡ病変面積を定量化するために臨床試験で使用されている。定義された時間（すなわち、ＧＡ成長速度）にわたるＦＡＦ由来ＧＡ病変面積の変化は、臨床試験におけるＧＡの主要評価項目として使用されている。

【0159】

ＯＣＴは、マイクロメートル分解能で組織微細構造から断面３次元画像を捕捉し、臨床眼科における標準的な技術である。ＯＣＴ技術が進歩するにつれて、ＯＣＴ画像は、ＧＡ前駆体、発症および進行を特徴付けるのに役立ち得る構造情報を提供することが現在受け入れられている。ＯＣＴ撮像は、異なる萎縮表現型を定義するための参照方法として、萎縮会議分類（ＣＡＭ）群によって推奨されている。ＧＡへの変換を含む、中程度から進行したＡＭＤへの進行のためのいくつかの可能性のある前駆体またはバイオマーカーがＯＣＴ画像上で観察されており、それらは、楔形網膜下反射低下、ＲＰＥ減弱および破壊、高反射性病巣、網状偽ドルーゼン（ＲＰＤ）、多層膜厚減少、光受容体萎縮、ドルーゼンにおける低反射性コア、および高い中心ドルーゼン容積などである。

【0160】

典型的には、個体間でＧＡ成長速度に大きな変動がある。したがって、正確で個別化されたＧＡ成長速度予測が使用されて、重要な臨床的および研究的問題に対処することができる。それは、患者のカウンセリングを支援するか、または患者のスクリーニング、濃縮および層別化による臨床試験設計、または出力を増加させるための予後共変量調整による臨床試験分析を知らせることができる。さらに、遺伝子型または表現型の特徴と相関させることによって疾患の病因をよりよく理解するために使用され得る。

【0161】

以前の研究は、ＣＦＰ、ＦＡＦ、ＮＩＲ、ＯＣＴおよびＯＣＴＡのような撮像モダリティを使用して経時的なＧＡ成長を予測することを試みてきた。一般に、ＧＡ成長速度は、線形であることが分かっている。ＣＦＰに関する最近の研究は、ＧＡ成長速度が病変周囲長と強く相関することを示した。ＦＡＦに関する研究からの所見は、病変の形状記述的特徴、周りを囲む異常な自己蛍光パターンおよび以前の進行速度がＧＡ病変拡大の予後であることを示唆した。ＦＡＦおよびＮＩＲ画像を使用した研究は、ＲＰＤがＧＡ病変の成長を高度に予測することを示した。ＯＣＴボリュームから抽出された特徴に基づく予測モデルは、ＧＡがどこで成長する可能性が高いかを予測する能力を実証した。ＯＣＴに関する別の研究は、網膜外層管形成の存在がより遅い病変成長と関連付けられ得ることを示した。さらに、ＯＣＴＡに関する研究は、脈絡毛細管板の空隙がＧＡ病変成長の前駆体であり得ることを示した。研究はまた、ＧＡの発症と関連付けられた遺伝的、環境的および人口統計学的因子も同定しているが、ＧＡの進行に対するそれらの効果は明らかではない。

【0162】

以前の知見にもかかわらず、ＧＡ疾患進行の根底にある正確な機構は依然として不明であり、したがって、個々のＧＡ進行を正確に予測する画像ベースの特徴および臨床的特徴の双方を抽出することは依然として困難である。しかしながら、これは、事前の特徴抽出および／または選択が必要とされない新たな深層学習技術を適用する機会を提供する。深層学習アルゴリズムが使用されて、有望な結果を伴うベースライン網膜画像から個々のＧＡ成長速度を予測することができる。リカレントニューラルネットワークベースの予測モデルが使用されて、ＧＡがどこで成長する可能性が高いかを予測することができる。

【0163】

この研究は、ＧＡ成長速度を正確に予測するために、以前のランパリズマブ第３相試験および観察研究からのデータセットに対して最先端の深層学習技術を活用することを目的とした。以下の３つのマルチタスクモデルをベースライン画像上でエンドツーエンドで訓練した：ＦＡＦのみ、ＯＣＴのみおよびマルチモーダル（ＦＡＦおよびＯＣＴ）。モデル性能を比較し、各モデルは同時ＧＡ病変面積および環状ＧＡ成長速度を同時に予測した。勾配活性化ヒートマップ視覚化技術が使用されて、モデル予測に寄与する画像の領域を決定した。

【0164】

この遡及的試験は、ランパリズマブ第３相臨床試験（彩度［ＮＣＴ０２２４７４７９］およびスペクトル［ＮＣＴ０２２４７５３１］）または観察試験（プロキシマＡ［ＮＣＴ０２４７９３８６］）に位置合わせされた両側ＧＡを有する患者の試験眼からのデータを使用した。これらの３つの試験における試験眼の選択基準は同じであり、以前に記載されている。試験はヘルシンキ宣言に準拠し、医療保険の携行性と責任に関する法律に準拠していた。プロトコルは、試験が開始される前に各施設の施設内審査委員会によって承認された。全ての患者は、将来の医学的研究および分析のために書面によるインフォームドコンセントを提供した。

【0165】

本研究では、ＳｐｅｃｔｒａｌｉｓＨＲＡ＋ＯＣＴ（ＨｅｉｄｅｌｂｅｒｇＥｎｇｉｎｅｅｒｉｎｇ，Ｉｎｃ．（ハイデルベルク、ドイツ））を使用して捕捉した黄斑３０度ＦＡＦ画像（７６８×７６８画素）および黄斑ＯＣＴボリューム（４９６×１０２４×４９ボクセル）を分析した。単一のＦＡＦ画像またはＢスキャンＯＣＴ画像を得るために平均化された画像の数を示す自動化実時間関数（ＡＲＴ）値は、１５以上であった。ベースライン来院からの試験眼画像のみを使用した。第３相試験では治療効果が観察されなかったため、この分析のために全ての治療アームをプールした。全ての研究来院からのＧＡ病変面積を、必要に応じて裁定者を有する２人の訓練された読者によって中央リーディングセンターにおいてＲｅｇｉｏｎＦｉｎｄｅｒソフトウェア（ＨｅｉｄｅｌｂｅｒｇＥｎｇｉｎｅｅｒｉｎｇ，Ｉｎｃ．（ハイデルベルク、ドイツ））を使用してＦＡＦ画像で等級分けした。ＧＡ成長速度（ｍｍ^２／年）は、２年間にわたって２４週間ごとにＦＡＦおよびＯＣＴ撮像を受けた各患者について利用可能な全てのＦＡＦ測定値を使用して適合させた線形モデルから導出した。画像データセットを開発データセット（１２７９人の患者／眼）およびホールドアウトデータセット（４４３人の患者／眼）に分割した。開発データセットを、入れ子式交差検証（ＣＶ）のためにさらに５つに分割した。分析に含まれる患者のベースライン特性は、データセット分割にわたってバランスがとれていた（以下の表１）。全体として、ベースラインＧＡ病変面積は、２．５４から１７．７８ｍｍ^２の範囲であり、ＧＡ成長速度は、０．１５から５．９８ｍｍ^２／年の範囲であった。

【表1】

表１において、ＢＣＶＡは、最高矯正視力を表す。ＥＴＤＲＳは、早期治療糖尿病性網膜症研究を表す。ＦＡＦは、眼底自発蛍光を表す。ＧＡは、地図状萎縮を表す。ＬＬＤは、低輝度不足を表す。ＳＤは、標準偏差を表す。

【0166】

ＧＡ成長速度予測を回帰タスクとして定式化した。３つのマルチタスク畳み込みニューラルネットワーク（ＣＮＮ）を、ベースラインのＦＡＦのみ、ＯＣＴのみ、およびマルチモーダル（ＦＡＦ画像とＯＣＴ画像との組み合わせ）画像を入力として用いて訓練して、ベースラインＧＡ病変面積および年間ＧＡ成長速度を同時に予測した。ＧＡ成長速度予測を導出するためのベースラインＧＡ病変特徴、病変面積、中心窩までの病変距離、病変連続性（単焦点／多焦点）、および低輝度欠損（ＬＬＤ）に基づく線形モデルを、性能をベンチマークするための参照モデルとして使用した。ベースライン来院画像は、ベースラインＧＡ病変の特徴およびＬＬＤ単独に基づく線形モデルよりも多くのＧＡ疾患進行の予後情報を提供する。さらに、マルチモーダルアプローチ（図８Ｂを参照）は、疾患進行に対するより多くの洞察を与え、単一モダリティアプローチ（図８Ａを参照）よりも優れている。

【0167】

３つのＣＮＮを、ベースラインＧＡ病変面積および年間ＧＡ成長速度を同時に予測するように設計した。マルチタスクモデルは、成長速度予測タスクのみではオーバーフィッティングする可能性がより少なく、双方のタスクの情報を捕捉する表現を見つけ、より低い特徴抽出ＣＮＮ層に追加の情報が提供されるため、おそらく性能を改善することが期待された。マルチタスクアプローチは、以前に良好な性能を実証している。３つのモデルは、全て、ＣＮＮベースの深層学習ネットワークアーキテクチャＩｎｃｅｐｔｉｏｎＶ３を使用した。ネットワークは、開発データセットで完全に再訓練される前に１０００クラスの１４００万個の画像を含む画像データセットであるＩｍａｇｅＮｅｔで事前訓練された。

【0168】

図８Ａおよび図８Ｂは、全体的なニューラルネットワークアーキテクチャ８００ａおよび８００ｂを示している。図８Ａは、図１Ｃに示すプロセスフロー１０と同じであり、図８Ｂとの比較のために本明細書に含まれる、単一モダリティマルチタスクモデルを示している。図８Ｂは、様々な実施形態にかかる、マルチモダリティマルチタスクモデルを示している。図８Ｂは、図１Ｄに関して説明したプロセスフロー２０と実質的に同様であるが、ニューラルネットワークアーキテクチャ８００ｂは、画像入力１０９－１がＦＡＦ撮像データ／画像であり、画像入力１０９－２がＯＣＴ撮像データ／画像である例である。以下に示す結果は、前処理されていないＦＡＦ撮像データ／画像および分析中に処理されたＯＣＴ撮像データ／画像に基づく。

【0169】

モデルは、サイズ変更および正規化されたベースラインＦＡＦ／ＯＣＴ画像を入力として取得する。ＦＡＦ画像を５１２×５１２画素にサイズ変更し、０と１との間で正規化した。ＯＣＴボリュームの場合、ヒストグラムマッチングを最初に適用してＢスキャン間の画像強度の差を較正し、次に各Ｂスキャンをブルッフ膜（ＢＭ）に沿って平坦化した。全深さにわたって平均化された３つの面内マップ、ＢＭ上深さ、およびＢＭ下深さを、３チャネル入力として組み合わせた。ＢＭ上深さとＢＭ下深さの双方が１００画素（３９０μｍ）であった。面内マップは、５１２×５１２画素にサイズ変更され、０と１との間で正規化された。

【0170】

図９は、様々な実施形態にかかる、光干渉断層撮影（ＯＣＴ）ボリュームの前処理ステップを含むワークフロー９００の例を示している。図９に示すように、ＯＣＴボリュームを処理してヒストグラムマッチングを行い、続いてブルッフ膜（ＢＭ）に沿ってボリュームを平坦化し、続いて面内マップを行うことができる。図９はまた、ヒストグラムマッチングの前後のスキャン、および３チャネル入力としての面内マップの例を示している。例えば、ＯＣＴスキャナから得られた網膜表面は、ＢスキャンおよびＣスキャンスライスにおいて異なる形態の歪みを示す。これらのアーチファクトは、角膜曲率、眼の動き、およびカメラの位置などのいくつかの要因の結果であると考えられる。データセットを平坦化すること（すなわち、ＯＣＴ画像の平坦化）は、データセットをより一貫した形状にすることによって視覚化を容易にし、データセットの効率的な切り捨ても可能にする。平坦化ＯＣＴ画像は、光干渉断層撮影画像に特徴的な最小限の歪みを有し得る。

【0171】

水平方向のフリップ、回転［－５度から５度の範囲］、ならびにランダムな明るさおよびコントラスト［－０．２から０．２の範囲］を含むオフラインデータ拡張を開発データセットに対して行った。拡張後、開発データセットは、元のＦＡＦ／ＯＣＴ面内画像および各ＦＡＦ／ＯＣＴ面内の４つの修正バージョンを含み、開発データセットのサイズを５倍増加させた。ホールドアウトデータセットに対して拡張は実行されなかった。

【0172】

各モデルの性能は、観察値と予測値との間のピアソン相関係数（ｒ）の二乗として定義されるサンプル内決定係数（Ｒ^２）を計算することによって評価した。９５％信頼区間（ＣＩ）は、ブートストラップリサンプリング（Ｂ＝１００００）によって導出された。

【0173】

モデルが依拠し得る画像特徴を特徴付けるための初期の努力において、最先端の勾配重み付けクラス活性化マッピング法（回帰タスクのためのＧｒａｄＣＡＭまたはＧｒａｄＡＭ）を適用して、ホールドアウトデータセット上の３つのモデリングアプローチのヒートマップを導出し、定性的に検討した。

【0174】

入れ子式ＣＶ設定では、各外側折り畳みのモデルハイパーパラメータの調整は、５つの内側ＣＶ折り畳みを使用して実行された。各外側折り畳みレベルで、最良のハイパーパラメータ設定を選択し、モデルを内側折り畳み開発データセットでこれらのハイパーパラメータによって再訓練し、外側折り畳みデータセットで予測するために使用した。ホールドアウトデータセットについて、各外側折り畳みの最良のハイパーパラメータを有する５つのモデルを開発データセットで再訓練し、ホールドアウトデータセットの最終予測を得るために平均化した。

【0175】

３つのマルチタスクモデルの性能を、最初に開発データセットの内側折り畳みで評価した（表２）。

【表2】

ＦＡＦは、眼底自発蛍光を表す。ＧＡは、地図状萎縮を表す。ＯＣＴは、光干渉断層法を表す。ＳＤは、標準偏差を表す。

【0176】

内側ＣＶ折り畳みの場合、性能は、毎回外側折り畳みを除いてランダムに分割された５つの内側折り畳みの平均Ｒ^２として与えられる。

【表3】

ベンチマークモデルは、ベースラインＧＡ病変面積、中心窩までの病変距離、病変連続性（単焦点／多焦点）および低輝度欠損（ＬＬＤ）に基づく線形モデルである。ＣＩは、信頼区間を表す。ＦＡＦは、眼底自発蛍光を表す。ＧＡは、地図状萎縮を表す。ＯＣＴは、光干渉断層法を表す。ＳＤは、標準偏差を表す。

【0177】

表３（上記）は、開発データセットおよびホールドアウトデータセットの外側折り畳みにおけるベースラインＧＡ病変面積および環状ＧＡ成長速度の予測におけるベンチマークモデルおよび３つのマルチタスクモデルの性能を示している。開発データセットでは、マルチモーダルモデルは、ＦＡＦのみのモデル［０．９３（０．０３）および０．４８（０．０５）］およびＯＣＴのみのモデル［０．９１（０．０３）および０．９３（０．０２）］と比較して、ＧＡ病変面積およびＧＡ成長速度予測についてそれぞれ０．４２（０．０４）および０．５２（０．０５）の平均Ｒ^２（標準偏差［ＳＤ］）でＣＶ性能を有していた（表３）。ホールドアウトデータセットでは、ＧＡ病変面積およびＧＡ成長速度についてのＲ^２（ブートストラップ９５％信頼区間［ＣＩ］）値は、ＦＡＦのみおよびマルチモーダルモデルについて類似しており［０．９６（０．９５～０．９７）および０．４８（０．４１～０．５５）対０．９４（０．９２～０．９６）および０．４７（０．４０～０．５４）］、ＯＣＴのみのモデルではより低かった［０．９１（０．８７～０．９５）および０．３６（０．２９～０．４３）］（表３）。比較すると、ベースライン来院ＧＡ病変面積、中心窩までの病変距離、病変連続性およびＬＬＤに基づく線形回帰モデルを使用して以前に開発されたベンチマークモデルは、同じホールドアウトデータセット上のＧＡ成長速度予測について０．１６（０．１０～０．２３）のＲ^２値を示した（表３）。

【0178】

図１０は、様々な実施形態にかかる、（Ａ）開発データセットおよび（Ｂ）ホールドアウトデータセットに対する３つのモデルおよびベンチマークモデルのモデル性能を比較するフォレストプロットを示している。図１０は、開発データセットおよびホールドアウトデータセットの外側折り畳みにおいて、ベンチマークモデルと３つのマルチタスクモデルとを比較した対応するフォレストプロットを示している。開発データセットでは、臨床ベンチマークモデルのサンプルサイズは１４８５であり、撮像モデルのサンプルサイズは１２７９である。９５％ＣＩは、Ｂ＝１００００ブートストラップ再サンプリングによって導出される。

【0179】

図１１は、様々な実施形態にかかる、ホールドアウトデータセット上の予測されたＧＡ病変面積対観察されたＧＡ病変面積およびＧＡ成長速度の散布図１１００を示している。プロット１１００に示すように、ホールドアウトデータセット上の３つのモデルの（Ａ）予測されたＧＡ病変面積対観察されたＧＡ病変面積および（Ｂ）予測されたＧＡ成長速度対観察されたＧＡ成長速度の散布図である。

【0180】

図１２は、様々な実施形態にかかる、ホールドアウトデータセット上の予測されたＧＡ病変面積対観察されたＧＡ病変面積およびＧＡ成長速度の残差プロット１２００を示している。ホールドアウトデータセット上の３つのモデルの（Ａ）予測されたＧＡ病変面積－観察されたＧＡ病変面積対観察されたＧＡ病変面積および（Ｂ）予測されたＧＡ成長速度－観察されたＧＡ成長速度対観察されたＧＡ成長速度の残差プロットが示されている。

【0181】

図１３は、様々な実施形態にかかる、ホールドアウトデータセットに対するサブグループ残差分析に基づくＧＡ成長速度予測のプロット１３００を示している。図１３のプロット１３００は、病変連続性（単焦点／多焦点）および病変の位置（中心窩下／中心窩外）のサブセットに基づいて、ホールドアウトデータセットに対して実行されたサブグループ分析を示している。予測バイアスは観察されず、３つ全てのモデルが双方のサブセットにわたって同様の性能を示した。

【0182】

図１４は、様々な実施形態にかかる、ＦＡＦのみ、ＯＣＴのみ、およびマルチモーダルマルチタスクモデルを使用したＧＡ病変面積の勾配活性化マップ（ＧｒａｄＡＭ）１４００およびＧＡ成長速度予測を示している。図１４に示すＧｒａｄＡＭヒートマップ１４００は、各モデルのＧＡ病変面積および成長速度予測のものである。ＧＡ病変面積予測のヒートマップは、病変自体を強調するが、ＧＡ成長速度ヒートマップは、病変周囲の領域を強調する。

【0183】

入れ子式ＣＶ設定では、各外側折り畳みのモデルハイパーパラメータの調整は、５つの内側ＣＶ折り畳みを使用して行った。調整されたハイパーパラメータは、学習率（０．０００１、０．０００２、０．０００５）、オプティマイザ（アダムス、ＳＧＤ）、損失関数（平均二乗誤差、平均絶対誤差）、およびドロップアウト（０．１、０．５、０．９）であった。ＧＡ病変面積予測およびＧＡ成長速度予測の平均二乗誤差または平均絶対誤差の接合損失を訓練に使用した。各項の重みは、０．５に固定された。バッチサイズもまた、１６において一定に保たれた。バッチサイズおよび損失関数の双方の重み設定を、１つの内側折り畳みＣＶデータを使用して実験し、次いで、計算コストを削減するために全ての折り畳みによって最適な設定を採用した。ＣＮＮ転送学習モデルの選択も同様にして決定した。ＩｎｃｅｐｔｉｏｎＶ３は、１つの内側折り畳みＣＶデータを有するＶＧＧ１６、ＲｅｓＮｅｔ５０、ＤｅｎｓｅＮｅｔ１２１およびＥｆｆｉｃｉｅｎｔＮｅｔｓと比較して最良の性能を有していた。各外側折り畳みレベルにおいて、最良の超パラメータ設定を選択した後、モデルを完全な内側折り畳み開発データセットでこれらのハイパーパラメータによって再訓練し、外側折り畳みデータセットで予測するために使用した。次いで、ホールドアウトデータセットについて、モデルタイプのネストされたＣＶ実験からの各外側折り畳みの個別折り畳み最良ハイパーパラメータを有する５つのモデルを、開発データセット全体で再訓練した。これらの５つのモデルからの結果を平均して、ホールドアウトデータ試験の最終予測を得た。ＦＡＦのみ、ＯＣＴのみ、およびマルチモーダルの３つのアプローチは、全て、上記の入れ子式ＣＶおよびホールドアウトプロセスを経た。ホールドアウトデータについては、９５％信頼区間（ＣＩ）をブートストラップリサンプリングによって計算し、ホールドアウトデータセット上の各モデルタイプの予測を１０，０００回再サンプリングし、Ｒ^２を各サンプルについて計算した。これらのサンプルのＲ^２の範囲は、ＣＩの推定値を与えた。

【0184】

ＣＮＮを設計し、事前訓練された重みをロードするために使用されたバックエンドは、Ｔｅｎｓｏｒｆｌｏｗ１．８．０（２０１８；Ｇｏｏｇｌｅ）によるＫｅｒａｓ２．２．４（２０１８；Ｇｏｏｇｌｅ（カリフォルニア州マウンテンビュー））であった。プログラムは、オンプレミスの内部高処理コンピューティングでＰｙｔｈｏｎ３．６．３において実行された。

【0185】

この研究は、標準化されたベースラインビジットＦＡＦおよび／またはＯＣＴ画像を使用して、マルチタスク深層学習アプローチを用いて個々の同時ＧＡ病変面積および年間ＧＡ成長速度を予測することの実現可能性を実証した。ＦＡＦのみのモデルは、開発データセットおよびホールドアウトデータセットにおいて一貫して良好な性能を示した。マルチモーダルアプローチは、開発データセットにおいて僅かな性能改善を示したが、ホールドアウトデータセットにおいては示さなかった。

【0186】

この研究において開発された３つの深層学習モデルは、全て、ベースライン臨床的特徴を使用する参照モデルよりも有意に優れた性能を有し、ＦＡＦとＯＣＴの双方が、ＧＡ病変サイズ、中心窩までのＧＡ距離、および病変連続性として定量化された解剖学的特徴を超える追加の予後情報を有することを示唆している。この知見は、他の研究からのデータと一致している：ＦＡＦ画像におけるＧＡ病変に由来する形状記述因子は、１つの研究においてＧＡ進行についての予後値を有し、いくつかの他の研究は、ＧＡ進行速度と強く関連付けられたＧＡ病変を取り囲む自己蛍光パターンを定量化した。外顆粒層薄化などのＯＣＴ画像特徴もＧＡ進行と推定的に関連付けられた。

【0187】

ここで使用されるＣＮＮモデルアーキテクチャの１つの固有の設計要素は、ＧＡ病変面積およびＧＡ成長速度を同時に予測する能力であった。これは、ベースラインでのＧＡ病変面積が経時的なＧＡ進行と関連付けられるという事前の知識に基づいていた。マルチタスクモデルは、共有ＣＮＮ層における双方のタスクについての情報を捕捉する表現を見つけることができる。このように、モデルは、初期特徴抽出段階において画像の臨床的に関連する領域を見るように一意に誘導されたため、ＧＡ成長速度のみを直接予測することと比較して、完全に「ブラックボックス」ではない。さらに、ＧＡ面積と成長速度との関係に関するコンセンサスまたは単純な数学モデルはまだ存在しない。例えば、ある研究は、ＧＡ面積が約１２ｍｍ^２まで二次的に成長し、その後成長速度が安定化または減少することを見出した。対照的に、平方根変換を使用してベースラインでのＧＡ面積とその経時的な進行との間の関係を決定する別の研究は、相関が負であることを見出し、より大きな病変がよりゆっくりと成長する可能性があることを示唆した。開示されたマルチタスクＣＮＮモデルは、病変面積を進行と結び付ける独自の非線形能力を提供する。最後に、マルチタスクモデルは、オーバーフィッティングする可能性が低く、潜在的に性能の改善を実証する。３つ全てのモデルによるＧＡ病変面積予測の性能は非常に良好であり、入れ子式ＣＶおよびホールドアウト試験結果の双方についてＲ^２は０．９０を超えた。潜在的に、そのようなモデルは、患者の募集中の効率的な事前スクリーニングのための臨床試験、または患者のカウンセリングのための臨床診療において使用され得る。

【0188】

ＧｒａｄＣＡＭは、深層学習モデルのための既知の事後属性化技術の１つであり、予測に最も寄与する画像領域への洞察を提供し得る。ここでは、回帰タスクにより適したＧｒａｄＣＡＭの変形を使用した：ＧｒａｄＡＭ。興味深いことに、ＧｒａｄＡＭヒートマップは、ＣＮＮネットワークがＧＡ病変面積予測を行うために病変自体、およびＧＡ成長速度予測のために病変を囲む領域を見たことを明らかにし、これらは他の所見と一致する。

【0189】

この研究は、両側性ＧＡおよび広範囲の臨床症状を有する患者を含む、広く十分に特徴付けられたランパリズマブ臨床試験データを活用した。Ｒ^２値によって評価されたＦＡＦおよび／またはＯＣＴ画像を使用した個々のＧＡ成長速度性能は、過去の複数回の来院を使用したモデルであっても、文献でこれまでに最もよく報告されている。しかしながら、モデルの開発、検証および試験は、ランパリズマブデータセットのみで完全に実行された。ランパリズマブ試験データにおける集団分布以外のいかなる使用事例も、さらなる評価を必要とする。この試験に含まれるＦＡＦおよびＯＣＴ画像は、同じベンダーの装置（ＨｅｉｄｅｌｂｅｒｇＥｎｇｉｎｅｅｒｉｎｇ，Ｉｎｃ．ドイツ）を使用して捕捉され、同様のＡＲＴ値を有し、中央リーディングセンターによる適格性スクリーニングに必要な高品質であった。様々な実施形態では、より解釈的なＣＮＮモデルまたは追加の説明可能技術を使用して意思決定プロセスに関する洞察を得ることができ、それはＧＡ病変拡大の病態生理学をさらに理解し、場合によっては新たな撮像バイオマーカーを識別するのに役立つ。例えば、病変形状特徴ならびに他の画像抽出特徴をＧＡ成長速度予測の統計モデルに明示的に組み込んで、臨床試験分析における解釈性および実装の容易さを高めることができる。さらに、他のモダリティ（例えば、ＯＣＴＡ、暗所微小周辺感度）からの画像は、追加の予測値を提供してもよく、モデル訓練のために入力データに追加されることもできる。

【0190】

要約すると、ベースラインＦＡＦおよび／またはＯＣＴ画像を利用して、マルチタスク深層学習アプローチを使用して個々のＧＡ病変面積および成長速度を予測することの実現可能性が実証される。ホールドアウトデータセットでは、マルチモーダルアプローチの性能は、より単純なＦＡＦのみのモデルと同等であった。この研究は、臨床試験の設計、実装、および分析、具体的には予後共変量調整、患者の事前スクリーニング、濃縮、および層別化、および／または事後データ分析を知らせることによって、臨床開発の信頼性を改善することができる。この技術はまた、臨床診療のために考慮され得、将来的に患者のカウンセリングを支援する可能性がある。追加のデータセットにおけるさらなる検証は、ＦＡＦのみのモデルに対するマルチモーダルアプローチのロバストな性能および任意の潜在的な利点を確認し得る。

【0191】

ＶＩ．コンピュータ実装システム
図１５は、様々な実施形態にかかるコンピュータシステムのブロック図である。コンピュータシステム１５００は、図１において上述したコンピューティングプラットフォーム１０２の一実装形態の例であり得る。１つまたは複数の例では、コンピュータシステム１５００は、情報を通信するためのバス１５０２または他の通信機構と、情報を処理するためのバス１５０２に結合されたプロセッサ１５０４とを含むことができる。様々な実施形態では、コンピュータシステム１５００はまた、プロセッサ１５０４によって実行される命令を決定するためにバス１５０２に結合された、ランダムアクセスメモリ（ＲＡＭ）１５０６または他の動的記憶装置とすることができるメモリを含むことができる。メモリはまた、プロセッサ１５０４によって実行される命令の実行中に一時変数または他の中間情報を記憶するために使用され得る。様々な実施形態では、コンピュータシステム１５００は、プロセッサ１５０４のための静的情報および命令を記憶するためにバス１５０２に結合された読み出し専用メモリ（ＲＯＭ）１５０８または他の静的記憶装置をさらに含むことができる。磁気ディスクまたは光ディスクなどの記憶装置１５１０が設けられ、情報および命令を記憶するためにバス１５０２に結合され得る。

【0192】

様々な実施形態では、コンピュータシステム１５００は、コンピュータユーザに情報を表示するために、バス１５０２を介して陰極線管（ＣＲＴ）または液晶ディスプレイ（ＬＣＤ）などのディスプレイ１５１２に結合され得る。英数字および他のキーを含む入力装置１５１４は、情報およびコマンド選択をプロセッサ１５０４に通信するためにバス１５０２に結合され得る。別のタイプのユーザ入力装置は、プロセッサ１５０４に方向情報およびコマンド選択を通信し、ディスプレイ１５１２上のカーソル移動を制御するための、マウス、ジョイスティック、トラックボール、ジェスチャ入力装置、視線ベースの入力装置、またはカーソル方向キーなどのカーソル制御装置１５１６である。この入力装置１５１４は、典型的には、装置が平面内の位置を指定することを可能にする第１の軸（例えば、ｘ）および第２の軸（例えば、ｙ）の二軸の二自由度を有する。しかしながら、３次元（例えば、ｘ、ｙおよびｚ）カーソル移動を可能にする入力装置１５１４も本明細書で企図されることを理解されたい。

【0193】

本教示の特定の実装と一致して、結果は、ＲＡＭ１５０６に含まれる１つまたは複数の命令の１つまたは複数のシーケンスを実行するプロセッサ１５０４に応答して、コンピュータシステム１５００によって提供され得る。そのような命令は、記憶装置１５１０などの別のコンピュータ可読媒体またはコンピュータ可読記憶媒体からＲＡＭ１５０６に読み込まれ得る。ＲＡＭ１５０６に含まれる命令シーケンスの実行は、プロセッサ１５０４に本明細書に記載のプロセスを実行させることができる。あるいは、本教示を実装するために、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて、ハードワイヤード回路が使用され得る。したがって、本教示の実装形態は、ハードウェア回路とソフトウェアとの特定の組み合わせに限定されない。

【0194】

本明細書で使用される「コンピュータ可読媒体」（例えば、データストア、記憶装置、データ記憶装置など）または「コンピュータ可読記憶媒体」という用語は、実行のためにプロセッサ１５０４に命令を提供することに関与する任意の媒体を指す。そのような媒体は、不揮発性媒体、揮発性媒体、および伝送媒体を含むがこれらに限定されない多くの形態をとることができる。不揮発性媒体の例は、これらに限定されないが、記憶装置１５１０などの光学、固体、磁気ディスクを含むことができる。揮発性媒体の例は、これらに限定されないが、ＲＡＭ１５０６などの動的メモリを含むことができる。伝送媒体の例は、これらに限定されないが、バス１５０２を備えるワイヤを含む、同軸ケーブル、銅線、および光ファイバを含むことができる。

【0195】

コンピュータ可読媒体の一般的な形態は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、または任意の他の磁気媒体、ＣＤ－ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを有する任意の他の物理媒体、ＲＡＭ、ＰＲＯＭ、およびＥＰＲＯＭ、フラッシュＥＰＲＯＭ、任意の他のメモリチップまたはカートリッジ、またはコンピュータが読み取ることができる任意の他の有形媒体を含む。

【0196】

コンピュータ可読媒体に加えて、命令またはデータを、実行のためにコンピュータシステム１５００のプロセッサ１５０４に１つまたは複数の命令のシーケンスを提供するために、通信装置またはシステムに含まれる伝送媒体上の信号として提供することができる。例えば、通信装置は、命令およびデータを示す信号を有するトランシーバを含み得る。命令およびデータは、１つまたは複数のプロセッサに、本明細書の開示に概説される機能を実装させるように構成されている。データ通信伝送接続の代表的な例は、限定されないが、電話モデム接続、ワイドエリアネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、赤外線データ接続、ＮＦＣ接続、光通信接続などを含むことができる。

【0197】

本明細書に記載のフローチャート、図、および付随する開示は、コンピュータシステム１５００をスタンドアロン装置として使用して、またはクラウドコンピューティングネットワークなどの共有コンピュータ処理リソースの分散ネットワーク上で実装され得ることを理解されたい。

【0198】

本明細書に記載の方法論は、用途に応じて様々な手段によって実装されてもよい。例えば、これらの方法は、ハードウェア、ファームウェア、ソフトウェア、またはそれらの任意の組み合わせで実装されてもよい。ハードウェア実装の場合、処理ユニットは、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書に記載された機能を実行するように設計された他の電子ユニット、および／またはそれらの組み合わせ内に実装されてもよい。

【0199】

様々な実施形態では、本教示の方法は、Ｃ、Ｃ＋＋、Ｐｙｔｈｏｎなどのような従来のプログラミング言語で書かれたファームウェアおよび／またはソフトウェアプログラムおよびアプリケーションとして実装されてもよい。ファームウェアおよび／またはソフトウェアとして実装される場合、本明細書に記載される実施形態は、コンピュータに上述した方法を実行させるためのプログラムが記憶された非一時的コンピュータ可読媒体上に実装され得る。本明細書に記載の様々なエンジンがコンピュータシステム１５００などのコンピュータシステム上に設けられ得、それによって、プロセッサ１５０４は、メモリ構成要素ＲＡＭ１５０６、ＲＯＭ１５０８、または記憶装置１５１０のいずれか１つ、またはそれらの組み合わせによって提供される命令、および入力装置１５１４を介して提供されるユーザ入力にしたがって、これらのエンジンによって提供される分析および決定を実行することを理解されたい。

【0200】

ＶＩＩ．結論
本教示は、様々な実施形態に関連して説明されているが、本教示がそのような実施形態に限定されることは意図されていない。逆に、本教示は、当業者によって理解されるように、様々な代替、変更、および均等物を包含する。

【0201】

例えば、上述したフローチャートおよびブロック図は、様々な方法およびシステム実施形態の可能な実装形態のアーキテクチャ、機能、および／または動作を示している。フローチャートまたはブロック図の各ブロックは、モジュール、セグメント、機能、動作もしくはステップの一部、またはそれらの組み合わせを表し得る。実施形態のいくつかの代替実装では、ブロックに記載された１つまたは複数の機能は、図に記載された順序とは異なる順序で行われてもよい。例えば、場合によっては、連続して示される２つのブロックが実質的に同時に実行されてもよい。他の場合には、ブロックは、逆の順序で実行されてもよい。さらに、場合によっては、フローチャートまたはブロック図内の１つまたは複数の他のブロックを置換または補足するために、１つまたは複数のブロックを追加され得る。

【0202】

したがって、様々な実施形態を説明する際に、本明細書は、特定の一連のステップとして方法および／またはプロセスを提示している場合がある。しかしながら、方法またはプロセスが本明細書に記載の特定の順番のステップに依拠しない限り、方法またはプロセスは、記載された特定の順序のステップに限定されるべきではなく、当業者は、順序が変動してもよく、依然として様々な実施形態の趣旨および範囲内にあることを容易に理解することができる。

【0203】

ＶＩＩＩ．実施形態の記載
実施形態１：網膜の眼底自発蛍光（ＦＡＦ）撮像データを受信することと、網膜の光干渉断層撮影（ＯＣＴ）撮像データを受信することと、ＦＡＦおよびＯＣＴ撮像データを使用して、網膜における地図状萎縮（ＧＡ）病変に対する病変成長速度を予測することと、を含む、方法。

【0204】

実施形態２：ＦＡＦおよびＯＣＴ撮像データを使用してＧＡ病変についてのベースライン病変面積を予測することをさらに含む、実施形態１に記載の方法。

【0205】

実施形態３：病変成長速度を予測することが、ＦＡＦ撮像データを使用して第１の入力を生成することと、ＯＣＴ撮像データを使用して第２の入力を生成することと、第１の入力と第２の入力とを融合して融合入力を形成することと、融合入力を使用して、地図状萎縮病変についての病変成長速度を生成することと、をさらに含む、実施形態１または２に記載の方法。

【0206】

実施形態４：融合入力からバイオマーカーを抽出することをさらに含む、実施形態１から３のいずれか一項に記載の方法。

【0207】

実施形態５：バイオマーカーが、病変周囲長、病変形状記述的特徴、楔形網膜下反射低下、網膜色素上皮（ＲＰＥ）の減弱および破壊、高反射性病巣、網状偽ドルーゼン（ＲＰＤ）、多層膜厚減少、光受容体萎縮、ドルーゼンにおける低反射性コア、中心部の大きなドルーゼン、周りを囲む異常な自己蛍光パターン、以前のＧＡ進行速度、網膜外層管形成、脈絡毛細管板の空隙、ＧＡ病変サイズ、中心窩までのＧＡ距離、病変連続性、またはそれらの組み合わせを含む、実施形態４に記載の方法。

【0208】

実施形態６：病変成長速度を予測することが、ＦＡＦ画像のセットを使用して第１の入力を生成し、ＯＣＴ画像のセットを使用して第２の入力を生成することと、ＦＡＦ撮像データから第１の目的の特徴を抽出することと、ＯＣＴ撮像データから第２の目的の特徴を抽出することと、第１の目的の特徴と第２の目的の特徴とを融合して融合特徴入力を形成することと、融合特徴入力を使用して、地図状萎縮病変についての病変成長速度を生成することと、をさらに含む、実施形態１から５のいずれか一項に記載の方法。

【0209】

実施形態７：網膜が患者と関連付けられており、方法が、患者と関連付けられた臨床因子データを受信することと、臨床因子データを第１の目的の特徴および第２の目的の特徴と融合して融合特徴入力を形成することと、融合特徴入力を使用して、地図状萎縮病変についての病変成長速度を生成することと、をさらに含む、実施形態６に記載の方法。

【0210】

実施形態８：臨床因子データが、被験者の年齢、性別、喫煙状態、観察されたＧＡ病変面積、観察されたＧＡ病変の網膜の中心窩までの距離、画像の連続性、最高矯正視力（ＢＣＶＡ）スコア、低輝度欠損（ＬＬＤ）スコア、またはそれらの組み合わせを含む、実施形態７に記載の方法。

【0211】

実施形態９：融合特徴入力が、平均プーリング法、スクイーズおよび励起法、またはそれらの組み合わせを含むモデルを使用して形成される、実施形態６から８のいずれか一項に記載の方法。

【0212】

実施形態１０：網膜の赤外線（ＩＲ）撮像データを受信することと、ＦＡＦ撮像データ、ＯＣＴ撮像データ、およびＩＲ撮像データを使用して、網膜における地図状萎縮病変についての病変成長速度を予測することと、をさらに含む、実施形態１から９のいずれか一項に記載の方法。

【0213】

実施形態１１：ＦＡＦ撮像データを前処理して第１の入力を形成することであって、前処理が、黄斑視野ＦＡＦ画像選択、目的の領域抽出、画像コントラスト調整、または多視野ＦＡＦ画像の組み合わせを含む、ＦＡＦ撮像データを前処理して第１の入力を形成することをさらに含む、実施形態３から１０のいずれか一項に記載の方法。

【0214】

実施形態１２：ＯＣＴ撮像データを前処理して第２の入力を形成することであって、前処理が、網膜膜の上方および網膜膜の下方に面内マップのセットを生成することと、生成された面内マップのセットを使用してＧＡ病変についての病変成長速度を予測することと、を含む、ＯＣＴ撮像データを前処理して第２の入力を形成することをさらに含む、実施形態３から１１のいずれかに記載の方法。

【0215】

実施形態１３：システムであって、非一時的メモリと、非一時的メモリに結合され、非一時的メモリから命令を読み出して、システムに、網膜の眼底自発蛍光（ＦＡＦ）撮像データを受信することと、網膜の光干渉断層撮影（ＯＣＴ）撮像データを受信することと、ＦＡＦおよびＯＣＴ撮像データを使用して、網膜における地図状萎縮（ＧＡ）病変に対する病変成長速度を予測することと、を含む動作を実行させるように構成されたハードウェアプロセッサと、を備える、システム。

【0216】

実施形態１４：プロセッサが、ＦＡＦおよびＯＣＴ撮像データを使用してＧＡ病変についてのベースライン病変面積を予測することをさらに含む動作を実行するように構成されている、実施形態１３に記載のシステム。

【0217】

実施形態１５：病変成長速度を予測することが、ＦＡＦ撮像データを使用して第１の入力を生成することと、ＯＣＴ撮像データを使用して第２の入力を生成することと、第１の入力と第２の入力とを融合して融合入力を形成することと、融合入力を使用して、地図状萎縮病変についての病変成長速度を生成することと、をさらに含む、実施形態１３または１４に記載のシステム。

【0218】

実施形態１６：プロセッサが、融合データからバイオマーカーを抽出することをさらに含む動作を実行するように構成されている、実施形態１５に記載のシステム。

【0219】

実施形態１７：病変成長速度を予測することが、ＦＡＦ画像のセットを使用して第１の入力を生成し、ＯＣＴ画像のセットを使用して第２の入力を生成することと、ＦＡＦ撮像データから第１の目的の特徴を抽出し、ＯＣＴ撮像データから第２の目的の特徴を抽出することと、第１の目的の特徴と第２の目的の特徴とを融合して融合特徴入力を形成することと、融合特徴入力を使用して、地図状萎縮病変についての病変成長速度を生成することと、を含む、実施形態１３から１６のいずれか一項に記載のシステム。

【0220】

実施形態１８：網膜が患者と関連付けられており、プロセッサが、患者と関連付けられた臨床因子データを受信することと、臨床因子データを第１の目的の特徴および第２の目的の特徴と融合して融合特徴入力を形成することと、融合特徴入力を使用して、地図状萎縮病変についての病変成長速度を生成することと、をさらに含む動作を実行するように構成されている、実施形態１７に記載のシステム。

【0221】

実施形態１９：臨床因子データが、年齢、性別、喫煙状態、観察されたＧＡ病変面積、観察されたＧＡ病変の網膜の中心窩までの距離、画像の連続性、最高矯正視力（ＢＣＶＡ）スコア、低輝度欠損（ＬＬＤ）スコア、およびそれらの組み合わせを含む、実施形態１８に記載のシステム。

【0222】

実施形態２０：プロセッサが、網膜の赤外線（ＩＲ）撮像データを受信することと、ＦＡＦ撮像データ、ＯＣＴ撮像データ、およびＩＲ撮像データを使用して、網膜における地図状萎縮病変についての病変成長速度を予測することと、をさらに含む動作を実行するように構成されている、実施形態１３から１９のいずれか一項に記載のシステム。

【0223】

実施形態２１：プロセッサが、ＯＣＴ撮像データを前処理するようにさらに構成されており、前処理が、ブルッフ膜に沿ってＯＣＴ撮像データを平坦化することと、全深さ、ブルッフ膜より上方の深さ、およびブルッフ膜より下方の深さの１つまたは複数にわたって面内マップのセットを平均化することと、ＧＡ病変についての病変成長速度を予測するためのマルチチャネル入力を生成するために、面内マップのセットを組み合わせることと、を含む、実施形態１３から２０のいずれか一項に記載のシステム。

【0224】

実施形態２２：非一時的コンピュータ可読媒体（ＣＲＭ）であって、コンピュータシステムに、網膜の眼底自発蛍光（ＦＡＦ）撮像データを受信することと、網膜の光干渉断層撮影（ＯＣＴ）撮像データを受信することと、ＦＡＦおよびＯＣＴ撮像データを使用して、網膜における地図状萎縮（ＧＡ）病変に対する病変成長速度を予測することと、を含む動作を実行させるように実行可能なコンピュータ可読命令を記憶した、非一時的コンピュータ可読媒体（ＣＲＭ）。

【0225】

実施形態２３：動作が、ＦＡＦおよびＯＣＴ撮像データを使用して、ＧＡ病変についてのベースライン病変面積を予測することをさらに含む、実施形態２２に記載のＣＲＭ。

【0226】

実施形態２４：病変成長速度を予測することが、ＦＡＦ撮像データを使用して第１の入力を生成することと、ＯＣＴ撮像データを使用して第２の入力を生成することと、第１の入力と第２の入力とを融合して融合入力を形成することと、融合入力を使用して、地図状萎縮病変についての病変成長速度を生成することと、をさらに含む、実施形態２２または２３に記載のＣＲＭ。

【0227】

実施形態２５：動作が、融合入力からバイオマーカーを抽出することをさらに含む、実施形態２２から２４のいずれか一項に記載のＣＲＭ。

【0228】

実施形態２６：バイオマーカーが、病変周囲長、病変形状記述的特徴、楔形網膜下反射低下、網膜色素上皮（ＲＰＥ）の減弱および破壊、高反射性病巣、網状偽ドルーゼン（ＲＰＤ）、多層膜厚減少、光受容体萎縮、ドルーゼンにおける低反射性コア、中心部の大きなドルーゼン、周りを囲む異常な自己蛍光パターン、以前のＧＡ進行速度、網膜外層管形成、脈絡毛細管板の空隙、ＧＡ病変サイズ、中心窩までのＧＡ距離、病変連続性、またはそれらの組み合わせを含む、実施形態２５に記載のＣＲＭ。

【0229】

実施形態２７：病変成長速度を予測することが、ＦＡＦ画像のセットを使用して第１の入力を生成し、ＯＣＴ画像のセットを使用して第２の入力を生成することと、ＦＡＦ撮像データから第１の目的の特徴を抽出することと、ＯＣＴ撮像データから第２の目的の特徴を抽出することと、第１の目的の特徴と第２の目的の特徴とを融合して融合特徴入力を形成することと、融合特徴入力を使用して、地図状萎縮病変についての病変成長速度を生成することと、をさらに含む、実施形態２２から２６のいずれか一項に記載のＣＲＭ。

【0230】

実施形態２８：網膜が患者と関連付けられており、方法が、患者と関連付けられた臨床因子データを受信することと、臨床因子データを第１の目的の特徴および第２の目的の特徴と融合して融合特徴入力を形成することと、融合特徴入力を使用して、地図状萎縮病変についての病変成長速度を生成することと、をさらに含む、実施形態２７に記載のＣＲＭ。

【0231】

実施形態２９：臨床因子データが、被験者の年齢、性別、喫煙状態、観察されたＧＡ病変面積、観察されたＧＡ病変の網膜の中心窩までの距離、画像の連続性、最高矯正視力（ＢＣＶＡ）スコア、低輝度欠損（ＬＬＤ）スコア、またはそれらの組み合わせを含む、実施形態２８に記載のＣＲＭ。

【0232】

実施形態３０：融合特徴入力が、平均プーリング法、スクイーズおよび励起法、またはそれらの組み合わせを含むモデルを使用して形成される、実施形態２７から２９のいずれか一項に記載のＣＲＭ。

【0233】

実施形態３１：網膜の赤外線（ＩＲ）撮像データを受信することと、ＦＡＦ撮像データ、ＯＣＴ撮像データ、およびＩＲ撮像データを使用して、網膜における地図状萎縮病変についての病変成長速度を予測することと、をさらに含む、実施形態２２から３０のいずれか一項に記載のＣＲＭ。

【0234】

実施形態３２：動作が、ＦＡＦ撮像データを前処理して第１の入力を形成することであって、前処理が、ＦＡＦ撮像データを５１２×５１２画素にサイズ変更することと、ＦＡＦ撮像データを０と１との間で正規化することと、を含む、ＦＡＦ撮像データを前処理して第１の入力を形成することをさらに含む、実施形態２４から３１のいずれかに記載のＣＲＭ。

【0235】

実施形態３３：動作が、ＯＣＴ撮像データを前処理して第２の入力を形成することであって、前処理が、ブルッフ膜に沿ってＯＣＴ撮像データを平坦化することと、全深さ、ブルッフ膜より上方の深さ、およびブルッフ膜より下方の深さの１つまたは複数にわたって面内マップのセットを平均化することと、ＧＡ病変についての病変成長速度を予測するためのマルチチャネルＯＣＴ入力を生成するために、面内マップのセットを組み合わせることと、を含む、ＯＣＴ撮像データを前処理して第２の入力を形成することをさらに含む、実施形態２４から３２のいずれか一項に記載のＣＲＭ。

【0236】

実施形態３４：網膜における地図状萎縮を評価する方法であって、網膜の眼底自発蛍光（ＦＡＦ）画像のセットを受信することと、網膜の光干渉断層撮影（ＯＣＴ）画像のセットを受信することと、機械学習システムを介して、ＦＡＦ画像のセットおよびＯＣＴ画像のセットを使用して、網膜における地図状萎縮病変についての病変成長速度を予測することと、を含む、方法。

【0237】

実施形態３５：機械学習システムを介して、病変成長速度を予測することが、地図状萎縮病変についてのベースライン病変面積を予測することを含む、実施形態３４に記載の方法。

【0238】

実施形態３６：機械学習システムを介して、病変成長速度を予測することが、ＦＡＦ画像のセットを使用して第１の入力を生成し、ＯＣＴ画像のセットを使用して第２の入力を生成することと、第１の入力と第２の入力とを融合して融合入力を形成することと、融合入力を使用して、地図状萎縮病変についての環状化病変成長速度を生成することと、を含む、実施形態３４または３５に記載の方法。

【0239】

実施形態３７：網膜における地図状萎縮を評価する方法であって、網膜の眼底自発蛍光（ＦＡＦ）画像のセットを受信することと、網膜の赤外線（ＩＲ）画像のセットを受信することと、機械学習システムを介して、ＦＡＦ画像のセットおよびＩＲ画像のセットを使用して、網膜における地図状萎縮病変についての病変成長速度を予測することと、を含む、方法。

【0240】

実施形態３８：機械学習システムを介して、病変成長速度を予測することが、地図状萎縮病変についてのベースライン病変面積を予測することを含む、実施形態３７に記載の方法。

【図1A】