(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-12-13
(54)【発明の名称】視力応答のマルチモーダル予測
(51)【国際特許分類】
A61B 3/103 20060101AFI20231206BHJP
A61B 3/10 20060101ALI20231206BHJP
A61B 3/14 20060101ALI20231206BHJP
【ＦＩ】
A61B3/103
A61B3/10 100
A61B3/14
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023533641
(86)(22)【出願日】2021-12-02
(85)【翻訳文提出日】2023-07-28
(86)【国際出願番号】 US2021061595
(87)【国際公開番号】W WO2022120037
(87)【国際公開日】2022-06-09
(31)【優先権主張番号】63/121,213
(32)【優先日】2020-12-03
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/175,544
(32)【優先日】2021-04-15
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＰＹＴＨＯＮ
(71)【出願人】
【識別番号】514099673
【氏名又は名称】エフ・ホフマン－ラ・ロシュ・アクチェンゲゼルシャフト
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】ノヴォセル， イェレーナ
【テーマコード（参考）】
4C316
【Ｆターム（参考）】
4C316AA09
4C316AA10
4C316AA13
4C316AB02
4C316AB06
4C316AB11
4C316AB16
4C316FB21
4C316FC15
(57)【要約】
視力応答を予測するための方法およびシステムが提供される。方法およびシステムは、２次元撮像データを含む第１の入力および３次元撮像データを含む第２の入力のうちの１つまたは複数を利用する。視力応答（ＶＡＲ）出力は、第１の入力および／または第２の入力を使用して、ニューラルネットワークシステムを介して予測される。ＶＡＲ出力は、処置を受けている被験者の視力の予測される変化を含む。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
視力応答を予測するための方法であって、処置を受けている被験者に関連付けられた２次元撮像データを含む第１の入力を受信することと、
前記処置を受けている前記被験者に関連付けられた３次元撮像データを含む第２の入力を受信することと、
ニューラルネットワークシステムを介して、前記第１の入力および前記第２の入力を使用して前記処置を受けている前記被験者の視力の予測される変化を含む視力応答（ＶＡＲ）出力を予測することと、
を含む、方法。
【請求項2】
前記３次元撮像データが、前記処置を受けている前記被験者に関連付けられた光干渉断層撮影（ＯＣＴ）撮像データを含み、前記２次元撮像データが、前記処置を受けている前記被験者に関連付けられたカラー眼底撮像データを含む、請求項１に記載の方法。
【請求項3】
前記第２の入力が、前記処置を受けている前記被験者に関連付けられた視力測定値および前記処置を受けている前記被験者に関連付けられた人口学的な統計データをさらに含む、請求項１に記載の方法。
【請求項4】
前記ニューラルネットワークシステムを介して前記ＶＡＲ出力を予測することが、前記処置を受けている前記被験者に関連付けられた前記２次元撮像データを使用して第１の出力を生成することと、
前記処置を受けている前記被験者に関連付けられた前記３次元撮像データを使用して第２の出力を生成することと、
前記第１の出力と前記第２の出力との融合を介して前記ＶＡＲ出力を生成することと、
を含む、請求項１に記載の方法。
【請求項5】
前記ニューラルネットワークシステムが、少なくとも１つの第１の入力層と少なくとも１つの第１の高密度内層とを含む第１のニューラルネットワークサブシステムであって、前記少なくとも１つの第１の入力層が前記第１の入力を受信するように構成され、前記少なくとも１つの第１の高密度内層が前記第１の入力層に第１の訓練されたモデルを適用するように構成されている、第１のニューラルネットワークサブシステムと、
少なくとも１つの第２の入力層と少なくとも１つの第２の高密度内層とを含む第２のニューラルネットワークサブシステムであって、前記少なくとも１つの第２の入力層が前記第１の入力を受信するように構成され、前記少なくとも１つの第２の高密度内層が前記第２の入力層に第２の訓練されたモデルを適用するように構成されている、第２のニューラルネットワークサブシステムと、
前記少なくとも１つの第１の高密度内層からの第１の出力および前記少なくとも１つの第２の高密度層からの第２の出力を受信し、第３の訓練されたモデルを前記第１の出力および前記第２の出力に適用し、それによって前記ＶＡＲ出力を予測するように構成された少なくとも１つの第３の高密度内層を含む第３のニューラルネットワークサブシステムと、
を備える、請求項１に記載の方法。
【請求項6】
前記少なくとも１つの第１の高密度内層が、訓練された画像認識モデルおよび出力された高密度内層を含み、または前記少なくとも１つの第２の高密度内層が、複数の第２の高密度内層を含む、請求項５に記載の方法。
【請求項7】
前記処置を以前に受けたことがある第１の複数の被験者に関連付けられた２次元撮像データを使用し、前記処置を以前に受けたことがある第２の複数の被験者に関連付けられた３次元撮像データを使用して、前記ニューラルネットワークシステムを訓練することをさらに含む、請求項１に記載の方法。
【請求項8】
視力応答を予測するためのシステムであって、非一時的メモリと、
前記非一時的メモリに結合され、前記システムに動作を実行させるために前記非一時的メモリから命令を読み出すように構成された１つまたは複数のプロセッサであって、前記動作が、
処置を受けている被験者に関連付けられた２次元撮像データを含む第１の入力を受信することと、
前記処置を受けている前記被験者に関連付けられた３次元撮像データを含む第２の入力を受信することと、
ニューラルネットワークシステムを介して、前記第１の入力および前記第２の入力を使用して前記処置を受けている前記被験者の視力の予測される変化を含む視力応答（ＶＡＲ）出力を予測することと、
を含む、１つまたは複数のプロセッサと、
を備える、システム。
【請求項9】
前記３次元撮像データが、前記処置を受けている前記被験者に関連付けられた光干渉断層撮影（ＯＣＴ）撮像データを含み、前記２次元撮像データが、前記処置を受けている前記被験者に関連付けられたカラー眼底撮像データを含む、請求項８に記載のシステム。
【請求項10】
前記第２の入力が、前記処置を受けている前記被験者に関連付けられた視力測定値および前記処置を受けている前記被験者に関連付けられた人口学的な統計データをさらに含む、請求項８に記載のシステム。
【請求項11】
前記ニューラルネットワークシステムを介して前記ＶＡＲ出力を予測することが、前記処置を受けている前記被験者に関連付けられた前記２次元撮像データを使用して第１の出力を生成することと、
前記処置を受けている前記被験者に関連付けられた前記３次元撮像データを使用して第２の出力を生成することと、
前記第１の出力と前記第２の出力との融合を介して前記ＶＡＲ出力を生成することと、
を含む、請求項８に記載のシステム。
【請求項12】
前記ニューラルネットワークシステムが、少なくとも１つの第１の入力層と少なくとも１つの第１の高密度内層とを含む第１のニューラルネットワークサブシステムであって、前記少なくとも１つの第１の入力層が前記第１の入力を受信するように構成され、前記少なくとも１つの第１の高密度内層が前記第１の入力層に第１の訓練されたモデルを適用するように構成されている、第１のニューラルネットワークサブシステムと、
少なくとも１つの第２の入力層と少なくとも１つの第２の高密度内層とを含む第２のニューラルネットワークサブシステムであって、前記少なくとも１つの第２の入力層が前記第１の入力を受信するように構成され、前記少なくとも１つの第２の高密度内層が前記第２の入力層に第２の訓練されたモデルを適用するように構成されている、第２のニューラルネットワークサブシステムと、
前記少なくとも１つの第１の高密度内層からの第１の出力および前記少なくとも１つの第２の高密度層からの第２の出力を受信し、第３の訓練されたモデルを前記第１の出力および前記第２の出力に適用し、それによって前記ＶＡＲ出力を予測するように構成された少なくとも１つの第３の高密度内層を含む第３のニューラルネットワークサブシステムと、
を備える、請求項８に記載のシステム。
【請求項13】
前記少なくとも１つの第１の高密度内層が、訓練された画像認識モデルおよび出力された高密度内層を含み、または前記少なくとも１つの第２の高密度内層が、複数の第２の高密度内層を含む、請求項１２に記載のシステム。
【請求項14】
前記動作が、前記処置を以前に受けたことがある第１の複数の被験者に関連付けられた２次元撮像データを使用し、前記処置を以前に受けたことがある第２の複数の被験者に関連付けられた３次元撮像データを使用して、前記ニューラルネットワークシステムを訓練することをさらに含む、請求項８に記載のシステム。
【請求項15】
システムに動作を実行させるように実行可能な機械可読命令が記憶された非一時的機械可読媒体であって、前記動作が、処置を受けている被験者に関連付けられた２次元撮像データを含む第１の入力を受信することと、
前記処置を受けている前記被験者に関連付けられた３次元撮像データを含む第２の入力を受信することと、
ニューラルネットワークシステムを介して、前記第１の入力および前記第２の入力を使用して前記処置を受けている前記被験者の視力の予測される変化を含む視力応答（ＶＡＲ）出力を予測することと、
を含む、非一時的機械可読媒体。
【請求項16】
前記３次元撮像データが、前記処置を受けている前記被験者に関連付けられた光干渉断層撮影（ＯＣＴ）撮像データを含み、前記２次元撮像データが、前記処置を受けている前記被験者に関連付けられたカラー眼底撮像データを含む、請求項１５に記載の非一時的機械可読媒体。
【請求項17】
前記第２の入力が、前記処置を受けている前記被験者に関連付けられた視力測定値および前記処置を受けている前記被験者に関連付けられた人口学的な統計データをさらに含む、請求項１５に記載の非一時的機械可読媒体。
【請求項18】
前記ニューラルネットワークシステムを介して前記ＶＡＲ出力を予測することが、前記処置を受けている前記被験者に関連付けられた前記２次元撮像データを使用して第１の出力を生成することと、
前記処置を受けている前記被験者に関連付けられた前記３次元撮像データを使用して第２の出力を生成することと、
前記第１の出力と前記第２の出力との融合を介して前記ＶＡＲ出力を生成することと、
を含む、請求項１５に記載の非一時的機械可読媒体。
【請求項19】
前記ニューラルネットワークシステムが、少なくとも１つの第１の入力層と少なくとも１つの第１の高密度内層とを含む第１のニューラルネットワークサブシステムであって、前記少なくとも１つの第１の入力層が前記第１の入力を受信するように構成され、前記少なくとも１つの第１の高密度内層が前記第１の入力層に第１の訓練されたモデルを適用するように構成されている、第１のニューラルネットワークサブシステムと、
少なくとも１つの第２の入力層と少なくとも１つの第２の高密度内層とを含む第２のニューラルネットワークサブシステムであって、前記少なくとも１つの第２の入力層が前記第１の入力を受信するように構成され、前記少なくとも１つの第２の高密度内層が前記第２の入力層に第２の訓練されたモデルを適用するように構成されている、第２のニューラルネットワークサブシステムと、
前記少なくとも１つの第１の高密度内層からの第１の出力および前記少なくとも１つの第２の高密度層からの第２の出力を受信し、第３の訓練されたモデルを前記第１の出力および前記第２の出力に適用し、それによって前記ＶＡＲ出力を予測するように構成された少なくとも１つの第３の高密度内層を含む第３のニューラルネットワークサブシステムと、
を備える、請求項１５に記載の非一時的機械可読媒体。
【請求項20】
前記少なくとも１つの第１の高密度内層が、訓練された画像認識モデルおよび出力された高密度内層を含み、または前記少なくとも１つの第２の高密度内層が、複数の第２の高密度内層を含む、請求項１９に記載の非一時的機械可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
相互参照
本出願は、２０２０年１２月３日に出願された米国仮特許出願第６３／１２１，２１３号、発明の名称「ＭＵＬＴＩＭＯＤＡＬ ＰＲＥＤＩＣＴＩＯＮ ＯＦ ＶＩＳＵＡＬ ＡＣＵＩＴＹ ＲＥＳＰＯＮＳＥ」および２０２１年４月１５日に出願された米国仮特許出願第６３／１７５，５４４号、発明の名称「ＭＵＬＴＩＭＯＤＡＬ ＰＲＥＤＩＣＴＩＯＮ ＯＦ ＶＩＳＵＡＬ ＡＣＵＩＴＹ ＲＥＳＰＯＮＳＥ」に対する優先権を主張し、これらの出願は、あらゆる目的のためにその全体が参照により本明細書に組み込まれる。
本出願は、２０２０年１２月３日に出願された米国仮特許出願第６３／１２１，２１３号、発明の名称「ＭＵＬＴＩＭＯＤＡＬ ＰＲＥＤＩＣＴＩＯＮ ＯＦ ＶＩＳＵＡＬ ＡＣＵＩＴＹ ＲＥＳＰＯＮＳＥ」および２０２１年４月１５日に出願された米国仮特許出願第６３／１７５，５４４号、発明の名称「ＭＵＬＴＩＭＯＤＡＬ ＰＲＥＤＩＣＴＩＯＮ ＯＦ ＶＩＳＵＡＬ ＡＣＵＩＴＹ ＲＥＳＰＯＮＳＥ」に対する優先権を主張し、これらの出願は、あらゆる目的のためにその全体が参照により本明細書に組み込まれる。
【0002】
分野
この説明は、一般に、加齢性黄斑変性症（ＡＭＤ）と診断された被験者における視力応答の予測に関する。より具体的には、この説明は、１つまたは複数の撮像モダリティから得られた情報を使用してＡＭＤと診断された被験者における視力応答を予測するための方法およびシステムを提供する。
この説明は、一般に、加齢性黄斑変性症（ＡＭＤ）と診断された被験者における視力応答の予測に関する。より具体的には、この説明は、１つまたは複数の撮像モダリティから得られた情報を使用してＡＭＤと診断された被験者における視力応答を予測するための方法およびシステムを提供する。
【背景技術】
【0003】
序論
加齢黄斑変性（ＡＭＤ）は、黄斑と呼ばれる、眼の網膜の中心領域に影響を及ぼす疾患である。ＡＭＤは、５０歳以上の被験者における視力喪失の主な原因である。血管新生型ＡＭＤ（ｎＡＭＤ）は、ＡＭＤの２つの進行期のうちの１つである。ｎＡＭＤでは、新しく異常な血管が黄斑の下で制御不能に増殖する。この種の増殖は、腫脹、出血、線維症、他の問題、またはそれらの組み合わせを引き起こし得る。ｎＡＭＤの処置は、典型的には、抗血管内皮増殖因子（抗ＶＥＧＦ）療法（例えば、ラニビズマブなどの抗ＶＥＧＦ薬）を含む。そのような処置に対する網膜の応答は、少なくとも部分的に被験者特異的であり、その結果、異なる被験者は、同じタイプの抗ＶＥＧＦ薬に対して異なって応答し得る。さらに、抗ＶＥＧＦ療法は、典型的には硝子体内注射によって投与され、これは高価であり、それ自体が合併症（例えば、盲目）を引き起こす可能性がある。したがって、ｎＡＭＤを有する被験者が抗ＶＥＧＦ薬による処置にどれだけ良好に応答する可能性があるかを予測することができるシステムおよび方法が必要とされている。
加齢黄斑変性（ＡＭＤ）は、黄斑と呼ばれる、眼の網膜の中心領域に影響を及ぼす疾患である。ＡＭＤは、５０歳以上の被験者における視力喪失の主な原因である。血管新生型ＡＭＤ（ｎＡＭＤ）は、ＡＭＤの２つの進行期のうちの１つである。ｎＡＭＤでは、新しく異常な血管が黄斑の下で制御不能に増殖する。この種の増殖は、腫脹、出血、線維症、他の問題、またはそれらの組み合わせを引き起こし得る。ｎＡＭＤの処置は、典型的には、抗血管内皮増殖因子（抗ＶＥＧＦ）療法（例えば、ラニビズマブなどの抗ＶＥＧＦ薬）を含む。そのような処置に対する網膜の応答は、少なくとも部分的に被験者特異的であり、その結果、異なる被験者は、同じタイプの抗ＶＥＧＦ薬に対して異なって応答し得る。さらに、抗ＶＥＧＦ療法は、典型的には硝子体内注射によって投与され、これは高価であり、それ自体が合併症（例えば、盲目）を引き起こす可能性がある。したがって、ｎＡＭＤを有する被験者が抗ＶＥＧＦ薬による処置にどれだけ良好に応答する可能性があるかを予測することができるシステムおよび方法が必要とされている。
【発明の概要】
【0004】
概要
本開示は、視力応答（ＶＡＲ）を予測するためのシステムおよび方法を提供する。システムおよび方法は、一般に、ニューラルネットワークを利用する。いくつかの実施形態では、システムおよび方法は、カラー眼底撮像（ＣＦＩ）データなどの２次元（２Ｄ）撮像データを含む入力を受信し、ＶＡＲ応答（例えば、抗ＶＥＧＦ薬による処置などの処置を受けたことに応答した被験者の視力の予測される変化など）を予測するために訓練済みモデルを入力に適用するように構成されたニューラルネットワークを利用する。いくつかの実施形態では、システムおよび方法は、光干渉断層撮影（ＯＣＴ）データなどの３次元（３Ｄ）撮像データを含む入力を受信し、ＶＡＲ応答を予測するために訓練済みモデルを入力に適用するように構成されたニューラルネットワークを利用する。いくつかの実施形態では、方法およびシステムは、２Ｄ撮像データを含む第１の入力および３Ｄ撮像データを含む第２の入力を受信し、訓練済みモデルを第１の入力および第２の入力に適用してＶＡＲ応答を予測するように構成されている。
本開示は、視力応答（ＶＡＲ）を予測するためのシステムおよび方法を提供する。システムおよび方法は、一般に、ニューラルネットワークを利用する。いくつかの実施形態では、システムおよび方法は、カラー眼底撮像（ＣＦＩ）データなどの２次元（２Ｄ）撮像データを含む入力を受信し、ＶＡＲ応答（例えば、抗ＶＥＧＦ薬による処置などの処置を受けたことに応答した被験者の視力の予測される変化など）を予測するために訓練済みモデルを入力に適用するように構成されたニューラルネットワークを利用する。いくつかの実施形態では、システムおよび方法は、光干渉断層撮影（ＯＣＴ）データなどの３次元（３Ｄ）撮像データを含む入力を受信し、ＶＡＲ応答を予測するために訓練済みモデルを入力に適用するように構成されたニューラルネットワークを利用する。いくつかの実施形態では、方法およびシステムは、２Ｄ撮像データを含む第１の入力および３Ｄ撮像データを含む第２の入力を受信し、訓練済みモデルを第１の入力および第２の入力に適用してＶＡＲ応答を予測するように構成されている。
【図面の簡単な説明】
【0005】
本明細書に開示された原理およびその利点のより完全な理解のために、ここで添付の図面と併せて以下の説明を参照する。
【0006】
【図1】様々な実施形態にかかる、予測システムのブロック図である。
【0007】
【図2】様々な実施形態にかかる、視力応答を予測するためのマルチモーダルプロセスのフローチャートである。
【0008】
【図3】様々な実施形態にかかる、マルチモーダルニューラルネットワークシステムのブロック図である。
【0009】
【図4】様々な実施形態にかかる、視力応答を予測するための第１の単一モードプロセスのフローチャートである。
【0010】
【図5】様々な実施形態にかかる、第１の単一モードニューラルネットワークシステムのブロック図である。
【0011】
【図6】様々な実施形態にかかる、視力応答を予測するための第２の単一モードプロセスのフローチャートである。
【0012】
【図7】様々な実施形態にかかる、第２の単一モードニューラルネットワークシステムのブロック図である。
【0013】
【図8】様々な実施形態にかかるコンピュータシステムのブロック図である。
【0014】
図面は必ずしも一定の縮尺で描かれているわけではなく、図面内の物体は必ずしも互いに一定の縮尺で描かれているわけではないことを理解されたい。図面は、本明細書に開示される装置、システム、および方法の様々な実施形態に明瞭さおよび理解をもたらすことを意図した描写である。可能な限り、同じまたは同様の部分を指すために図面全体を通して同じ参照符号が使用される。さらに、図面は、本教示の範囲を決して限定するものではないことを理解されたい。
【発明を実施するための形態】
【0015】
詳細な説明
概要
加齢黄斑変性（ＡＭＤ）処置に対する被験者の応答を決定することは、被験者の視力応答（ＶＡＲ）を決定することを含み得る。被験者の視力は、被験者が所与の距離で文字または数字を識別する能力によって測定され得る、被験者の視力の鋭さである。視力は、しばしば、視力検査によって確認され、標準的なスネレン視力表にしたがって測定される。しかしながら、スネレン視力表の代わりに他の視力測定値を利用してもよい。網膜画像は、被験者の視力を推定するために使用され得る情報を提供し得る。例えば、カラー眼底（ＣＦ）画像が使用されて、カラー眼底画像が取り込まれた時点での被験者の視力を推定し得る。
概要
加齢黄斑変性（ＡＭＤ）処置に対する被験者の応答を決定することは、被験者の視力応答（ＶＡＲ）を決定することを含み得る。被験者の視力は、被験者が所与の距離で文字または数字を識別する能力によって測定され得る、被験者の視力の鋭さである。視力は、しばしば、視力検査によって確認され、標準的なスネレン視力表にしたがって測定される。しかしながら、スネレン視力表の代わりに他の視力測定値を利用してもよい。網膜画像は、被験者の視力を推定するために使用され得る情報を提供し得る。例えば、カラー眼底（ＣＦ）画像が使用されて、カラー眼底画像が取り込まれた時点での被験者の視力を推定し得る。
【0016】
しかしながら、例えば臨床試験などの特定の場合には、ＡＭＤ処置に応答して被験者の将来の視力を予測することができることが望ましい場合がある。例えば、被験者の視力が処置後の選択された期間（例えば、処置後３、６、９、または１２ヶ月など）に改善したかどうかを予測することが望ましい場合がある。さらに、任意のそのような予測された視力の改善を分類することが望ましい場合がある。そのような予測および分類は、所与の被験者に対して個別化される処置レジメンを可能にし得る。例えば、特定のＡＭＤ処置に対する被験者の視力応答に関する予測が使用されて、処置投与量（注射投与量など）、処置（注射など）が行われる間隔、またはその双方をカスタマイズし得る。さらに、そのような予測は、処置にあまり応答しないと予測された被験者の除外を可能にすることによって、臨床試験スクリーニング、事前スクリーニング、またはその双方を改善し得る。
【0017】
したがって、本明細書中に記載される様々な実施形態は、ＡＭＤ処置に対する視力応答を予測するための方法およびシステムを提供する。特に、１つまたは複数の撮像モダリティからの撮像データは、視力応答（ＶＡＲ）出力を予測するためにニューラルネットワークシステムによって受信および処理される。ＶＡＲ出力は、処置を受けている被験者の視力の予測される変化を含み得る。場合によっては、ＶＡＲ出力は、この予測される変化を決定するためにＶＡＲ出力がさらに処理され得るという点で、視力の予測される変化に対応する。したがって、ＶＡＲ出力は、予測される視力の変化の指標であり得る。１つまたは複数の実施形態では、これらの異なる撮像モダリティは、カラー眼底撮像および／または光干渉断層撮影（ＯＣＴ）を含む。
【0018】
カラー眼底撮像は、２次元撮像モダリティである。カラー眼底撮像は、網膜および視神経の約３０度から約５０度の視野を取り込む。広く利用可能で使いやすいことに加えて、カラー眼底撮像は、他の撮像モダリティと比較して、視神経の外観および眼内の血液蓄積の存在をより良好に取り込み得る。しかしながら、カラー眼底撮像は、網膜に関する厚さまたはボリュームデータを取り込むことができない場合がある。
【0019】
ＯＣＴは、３次元撮像モダリティと考えられ得る。特に、ＯＣＴが使用されて、深度情報を提供するマイクロメートル（例えば、最大で約１０μｍ、９μｍ、８μｍ、７μｍ、６μｍ、５μｍ、４μｍ、３μｍ、２μｍ、１μｍ、またはそれ以上の解像度、少なくとも約１μｍ、２μｍ、３μｍ、４μｍ、５μｍ、６μｍ、７μｍ、８μｍ、９μｍ、１０μｍ、またはそれ以下の解像度、あるいは前述の値のいずれか２つによって定義される範囲内の解像度）の解像度で画像を取り込み得る。ＯＣＴ画像は、カラー眼底撮像を使用して、確認することができない、または容易にもしくは正確に確認することができない網膜の厚さおよび／またはボリューム情報を提供し得る。例えば、ＯＣＴ画像が使用されて網膜の厚さを測定し得る。さらに、ＯＣＴ画像が使用されて、網膜内の流体と網膜下の流体（例えば、網膜下液）とを明らかにし、区別し得る。さらに、ＯＣＴ画像が使用されて、眼内の異常な新たな血管の位置を識別し得る。しかしながら、ＯＣＴ画像は、カラー眼底画像と比較して、血液蓄積の識別においてあまり正確でないことがある。
【0020】
本明細書で提供される様々な実施形態は、カラー眼底画像のみまたはＯＣＴ画像のみを使用して訓練されたニューラルネットワークが、ＡＭＤ処置に対する応答の信頼性の高いＶＡＲ予測を提供するのに十分な精度、適合率、および／または再現率メトリックを達成し得ることを認識する。このようなニューラルネットワークは、カラー眼底画像およびＯＣＴ画像の一方のみが特定の被験者に利用可能である場合に特に有益であり得る。
【0021】
本明細書で提供される様々な実施形態は、カラー眼底撮像およびＯＣＴのそれぞれが、これらの２つの撮像モダリティの他方と比較して、少なくとも１つの網膜特徴に関するより正確な情報を提供し得ることを認識する。したがって、本明細書に記載の様々な実施形態は、これらの異なる撮像モダリティの双方によって提供される情報を使用することが、各撮像モダリティを独立して使用する場合と比較して、ＡＭＤ処置に対する応答の改善されたＶＡＲ予測を可能にし得ることを認識する。そのようなマルチモーダル手法は、一般に、ＡＭＤ処置転帰を予測するための現在利用可能な方法論の少なくともいくつかと比較して、より速く、より効率的で、より正確な視力応答の予測を可能にし得る。
【0022】
上述した改善を提供することができる方法論およびシステムの重要性および有用性を認識し、考慮して、本明細書は、ＡＭＤ処置に対するＶＡＲを予測するための様々な実施形態を記載する。より具体的には、本明細書は、処置後の選択された期間における被験者の将来の視力の予測を可能にするＶＡＲ出力を生成するために、ニューラルネットワークシステム（例えば、畳み込みニューラルネットワークシステム）を使用して、１つまたは２つの異なる撮像モダリティを介して取得された撮像データを処理するための方法およびシステムの様々な実施形態を記載する。
【0023】
さらに、本実施形態は、個々の被験者についての個別化された処置レジメンの作成を容易にして、適切な投与量および／または注射間の間隔を確実にする。特に、本明細書に提示されるＶＡＲを予測するための単一モードおよびマルチモーダル手法は、正確で、効率的で、および／または適切な個別化された処置および／または投与スケジュールを生成し、臨床コホート選択および／または臨床試験設計を強化するのに役立ち得る。
【0024】
定義
本開示は、これらの例示的な実施形態および用途、または例示的な実施形態および用途が本明細書で動作するまたは説明される方法に限定されない。さらに、図は、簡略化されたまたは部分的な図を示すことができ、図の要素の寸法は、誇張されているか、または比例していない場合がある。
本開示は、これらの例示的な実施形態および用途、または例示的な実施形態および用途が本明細書で動作するまたは説明される方法に限定されない。さらに、図は、簡略化されたまたは部分的な図を示すことができ、図の要素の寸法は、誇張されているか、または比例していない場合がある。
【0025】
さらに、本明細書では、「の上にある（ｏｎ）」、「に取り付けられている（ａｔｔａｃｈｅｄ ｔｏ）」、「に接続されている（ｃｏｎｎｅｃｔｅｄ ｔｏ）」、「に結合されている（ｃｏｕｐｌｅｄ ｔｏ）」という用語または同様の用語が使用される場合、一方の要素が他方の要素の上に直接あるか、他方の要素に直接取り付けられているか、他方の要素に接続されているか、または他方の要素に結合されているか、または一方の要素と他方の要素との間に１つまたは複数の介在要素が存在するかにかかわらず、一方の要素（例えば、構成要素、材料、層、基板など）は、他方の要素「の上にある」、「に取り付けられている」、「に接続されている」、または「に結合されている」ことができる。さらに、要素のリスト（例えば、要素ａ、ｂ、ｃ）が参照される場合、そのような参照は、それ自体で列挙された要素のいずれか１つ、列挙された要素の全てよりも少ない要素の任意の組み合わせ、および／または列挙された要素の全ての組み合わせを含むことが意図される。本明細書におけるセクションの区分は、単に検討を容易にするためのものであり、説明された要素の任意の組み合わせを限定するものではない。
【0026】
用語「被験者」は、臨床試験の被験者、処置を受けている人、抗癌療法を受けている人、寛解または回復について監視されている人、（例えば、その病歴に起因して）予防健康分析を受けている人、または関心のある任意の他の人もしくは患者を指し得る。様々な場合では、「被験者」および「患者」は、本明細書において交換可能に使用され得る。
【0027】
特に定義されない限り、本明細書に記載の本教示に関連して使用される科学用語および技術用語は、当業者によって一般的に理解される意味を有するものとする。さらに、文脈上別段の必要がない限り、単数形の用語には複数形が含まれ、複数形の用語には単数形が含まれるものとする。一般に、化学、生化学、分子生物学、薬理学および毒物学に関連して利用される命名法およびその技術は、本明細書に記載されており、当該技術分野において周知であり、一般的に使用されるものである。
【0028】
本明細書で使用される場合、「実質的に」は、意図された目的のために機能するのに十分であることを意味する。したがって、「実質的に」という用語は、当業者によって予想されるが、全体的な性能にそれほど影響しないような、絶対的または完全な状態、寸法、測定値、結果などからの微細な、僅かな変動を可能にする。数値、または数値として表されることのできるパラメータ若しくは特性に関して使用される場合、「実質的に」とは、１０パーセント以内を意味する。
【0029】
「複数」という用語は、２つ以上を意味する。
【0030】
本明細書で使用される場合、「複数」という用語は、２、３、４、５、６、７、８、９、１０以上とすることができる。
【0031】
本明細書で使用される場合、「のセット」という用語は、１つまたは複数を意味する。例えば、項目のセットは、１つまたは複数の項目を含む。
【0032】
本明細書で使用される場合、「のうちの少なくとも１つ」という語句は、項目のリストとともに使用される場合、列挙された項目のうちの１つまたは複数の異なる組み合わせが使用されてもよく、リスト内の項目のうちの１つのみが必要とされてもよいことを意味する。項目は、特定の物体、物、ステップ、動作、プロセス、またはカテゴリであり得る。換言すれば、「のうちの少なくとも１つ」は、リストから項目の任意の組み合わせまたは任意の数の項目が使用され得るが、リスト内の項目の全てが必要とされるわけではないことを意味する。例えば、限定されないが、「項目Ａ、項目Ｂ、または項目Ｃのうちの少なくとも１つ」は、項目Ａ、項目Ａおよび項目Ｂ、項目Ｂ、項目Ａ、項目Ｂ、および項目Ｃ、項目Ｂおよび項目Ｃ、または項目ＡおよびＣを意味する。場合によっては、「項目Ａ、項目Ｂ、または項目Ｃの少なくとも１つ」は、限定されないが、項目Ａのうちの２つ、項目Ｂのうちの１つ、および項目Ｃのうちの１０個、項目Ｂのうちの４個と項目Ｃのうちの７個、またはいくつかの他の適切な組み合わせを意味する。
【0033】
本明細書で使用される場合、「または」という用語は、選言的意味および連言的意味の双方を含み得る。すなわち、「ＡまたはＢ」という語句は、Ａのみ、Ｂのみ、またはＡおよびＢの双方を指し得る。
【0034】
図面において、同様の番号は同様の要素を指す。
【0035】
本明細書で使用される場合、「モデル」は、１つまたは複数のアルゴリズム、１つまたは複数の数学的技法、１つまたは複数の機械学習アルゴリズム、またはそれらの組み合わせを含み得る。
【0036】
本明細書において使用される場合、「機械学習」は、アルゴリズムを使用してデータを解析し、そこから学習し、次いで世界の何かについての決定または予測を行う実践を含む。機械学習は、ルールベースのプログラミングに依存することなくデータから学習することができるアルゴリズムを使用する。
【0037】
本明細書で使用される場合、「人工ニューラルネットワーク」または「ニューラルネットワーク」（ＮＮ）は、計算に対する接続論的手法に基づいて情報を処理する人工ニューロンの相互接続されたグループを模倣する数学的アルゴリズムまたは計算モデルを指し得る。ニューラルネットとも呼ばれることがあるニューラルネットワークは、線形ユニット、非線形ユニット、またはその双方の１つまたは複数の層を使用して、本明細書に記載の訓練モードで決定されたパラメータまたは重み係数によって定義された数学的演算にしたがって、受信した入力の出力を予測することができる。いくつかのニューラルネットワークは、出力層に加えて１つまたは複数の内層または隠れ層を含む。各内層または隠れ層の出力は、ネットワーク内の次の層、すなわち、次の内層または隠れ層または出力層への入力として使用され得る。ネットワークの各層は、各パラメータのセットの現在の値にしたがって、受信した入力から出力を生成する。様々な実施形態では、「ニューラルネットワーク」への言及は、１つまたは複数のニューラルネットワークへの言及であり得る。
【0038】
ニューラルネットワークは、以下の２つの方法で情報を処理し得る。それが訓練されているとき、それは訓練モードにあり、それが学習したことを実際に実行するとき、それは推論（または予測）モードにある。ニューラルネットワークは、出力が訓練データの出力と一致するように、ネットワークが中間の内層または隠れ層内の個々のノードの重み係数を調整する（その挙動を修正する）ことを可能にするフィードバックプロセス（例えば、バックプロパゲーション）を通じて学習し得る。換言すれば、ニューラルネットワークは、訓練データ（学習例）を提供されることによって学習し、最終的には、新たな範囲または入力のセットが提示された場合であっても、正しい出力に到達する方法を学習する。訓練モード中に学習された一連の数学的演算、パラメータ、および／または重み係数は、本明細書では「訓練済みモデル」と呼ばれることがある。次いで、訓練済みモデルは、予測モードにおいて新たな範囲または入力のセットに適用され得る。ニューラルネットワークは、例えば、限定されないが、フィードフォワードニューラルネットワーク（ＦＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、モジュラーニューラルネットワーク（ＭＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、完全畳み込みニューラルネットワーク（ＦＣＮ）、残差ニューラルネットワーク（ＲｅｓＮｅｔ）、常微分方程式ニューラルネットワーク（ニューラル－ＯＤＥ）、深層ニューラルネットワーク、または別のタイプのニューラルネットワークのうちの少なくとも１つを含み得る。
【0039】
視力応答の予測
図１は、様々な実施形態にかかる、予測システム１００のブロック図である。予測システム１００は、ＡＭＤ処置に反応する１人または複数の被験者の視力反応（ＶＡＲ）を予測するために使用される。ＡＭＤ処置は、例えば、これに限定されないが、硝子体内注射または別の投与様式を介して投与され得るラニビズマブなどの抗ＶＥＧＦ処置であり得る。
図１は、様々な実施形態にかかる、予測システム１００のブロック図である。予測システム１００は、ＡＭＤ処置に反応する１人または複数の被験者の視力反応（ＶＡＲ）を予測するために使用される。ＡＭＤ処置は、例えば、これに限定されないが、硝子体内注射または別の投与様式を介して投与され得るラニビズマブなどの抗ＶＥＧＦ処置であり得る。
【0040】
予測システム１００は、コンピューティングプラットフォーム１０２と、データストレージ１０４と、ディスプレイシステム１０６とを含む。コンピューティングプラットフォーム１０２は、様々な形態をとり得る。１つまたは複数の実施形態では、コンピューティングプラットフォーム１０２は、互いに通信する単一のコンピュータ（またはコンピュータシステム）または複数のコンピュータを含む。他の例では、コンピューティングプラットフォーム１０２は、クラウドコンピューティングプラットフォームの形態をとる。いくつかの例では、コンピューティングプラットフォーム１０２は、モバイルコンピューティングプラットフォーム（例えば、スマートフォン、タブレット、スマートウォッチなど）の形態をとる。
【0041】
データストレージ１０４およびディスプレイシステム１０６は、それぞれ、コンピューティングプラットフォーム１０２と通信する。いくつかの例では、データストレージ１０４、ディスプレイシステム１０６、またはその双方は、コンピューティングプラットフォーム１０２の一部と見なされるか、そうでなければ統合されてもよい。したがって、いくつかの例では、コンピューティングプラットフォーム１０２、データストレージ１０４、およびディスプレイシステム１０６は、互いに通信する別個の構成要素であってもよいが、他の例では、これらの構成要素のいくつかの組み合わせが一緒に統合されてもよい。
【0042】
予測システム１００は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせを使用して実装され得るデータアナライザ１０８を含む。１つまたは複数の実施形態では、データアナライザ１０８は、コンピューティングプラットフォーム１０２に実装される。データアナライザ１０８は、ニューラルネットワークシステム１１２を使用して１つまたは複数の入力１１０を処理して、視力応答（ＶＡＲ）出力１１４を予測（または生成）する。ＶＡＲ出力１１４は、処置を受けている被験者の視力の予測される変化を含む。いくつかの実施形態では、１つまたは複数の入力１１０は、図１に示すように、第１の入力１１０ａおよび第２の入力１１０ｂを含む。そのような実施形態は、本明細書では「マルチモーダル」と呼ばれることがある。いくつかの実施形態では、１つまたは複数の入力１１０は、単一の入力を含む。そのような実施形態は、本明細書では「単一モード」と呼ばれることがある。
【0043】
ニューラルネットワークシステム１１２は、任意の数または組み合わせのニューラルネットワークを含むことができる。１つまたは複数の実施形態では、ニューラルネットワークシステム１１２は、１つまたは複数のニューラルネットワークサブシステムを含む畳み込みニューラルネットワーク（ＣＮＮ）システムの形態をとる。いくつかの実施形態では、これらの１つまたは複数のニューラルネットワークサブシステムのうちの少なくとも１つは、それ自体が畳み込みニューラルネットワークであってもよい。他の実施形態では、これらの１つまたは複数のニューラルネットワークサブシステムのうちの少なくとも１つは、深層学習ニューラルネットワーク（または深層ニューラルネットワーク）であってもよい。いくつかの実施形態では、ニューラルネットワークシステム１１２は、図３に関して本明細書で説明されるマルチモーダルニューラルネットワークシステムを含む。いくつかの実施形態では、ニューラルネットワークシステム１１２は、図５に関して本明細書で説明される第１の単一モードニューラルネットワークシステムを含む。いくつかの実施形態では、ニューラルネットワークシステム１１２は、図７に関して本明細書で説明される第２の単一モードニューラルネットワークシステムを含む。
【0044】
マルチモーダル手法では、ニューラルネットワークシステム１１２は、ニューラルネットワークシステム１１２の様々な部分が一緒に（例えば、同時に）訓練される単一のプロセスを介して訓練されてもよい。したがって、マルチモーダル手法では、ニューラルネットワークシステム１１２は、第１の訓練の後に出力を生成し、出力をニューラルネットワークシステム１１２に統合し、次いで第２の訓練を実行することを必要としない。マルチモーダル手法では、ニューラルネットワークシステム１１２の全体が一緒に（例えば、同時に）訓練されてもよく、これは、訓練効率を改善し、および／またはこの訓練に必要な処理能力を低減し得る。
【0045】
マルチモーダルニューラルネットワーク
図２は、様々な実施形態にかかる、視力応答を予測するためのマルチモーダルプロセス２００のフローチャートである。１つまたは複数の実施形態では、プロセス２００は、図１に関して本明細書で説明される予測システム１００を使用して実装される。
図２は、様々な実施形態にかかる、視力応答を予測するためのマルチモーダルプロセス２００のフローチャートである。１つまたは複数の実施形態では、プロセス２００は、図１に関して本明細書で説明される予測システム１００を使用して実装される。
【0046】
ステップ２０２は、処置（本明細書に記載のＡＭＤ処置など）を受けている被験者に関連付けられた２次元撮像データを含む第１の入力を受信することを含む。２次元撮像データは、処置を受けている被験者に関連付けられたカラー眼底撮像データの形態をとることができる。例えば、カラー眼底撮像データは、処置を受けている被験者に関連付けられたカラー眼底画像であってもよく、またはそのようなカラー眼底画像から抽出されたデータであってもよい。カラー眼底撮像データは、処置を受けている被験者の眼のカラー眼底画像であってもよく、またはそのカラー眼底画像から抽出されたデータであってもよい。
【0047】
ステップ２０４は、処置を受けている被験者に関連付けられた３次元撮像データを含む第２の入力をニューラルネットワークシステムに受信することを含む。３次元撮像データは、ＯＣＴ撮像データを含むことができ、処置を受けている被験者に関連付けられたＯＣＴ画像から抽出されたデータ（例えば、ＯＣＴ面内画像）を含み得て、そのようなＯＣＴ画像から抽出された表形式データを含み得て、またはそのようなＯＣＴ撮像データの他の形態を含み得る。ＯＣＴ撮像データは、例えば、処置を受けている被験者に関連付けられたＯＣＴ画像の形態をとり得る。ＯＣＴ撮像データは、処置を受けている被験者の眼のＯＣＴ画像またはそのようなＯＣＴ画像から抽出されたデータであり得る。１つまたは複数の実施形態では、第２の入力は、例えば、これらに限定されないが、処置を受けている被験者に関連付けられた視力測定データ、処置を受けている被験者に関連付けられた人口学的な統計データ、またはその双方などの、処置を受けている被験者に関連付けられた他のデータを含む。視力測定データは、処置を受けている被験者に関連付けられた１つまたは複数の視力測定値（最良矯正視力（ＢＣＶＡ）測定値など）を含み得る。人口学的な統計データは、例えば、処置を受けている被験者の年齢、性別、身長、体重、または全体的な健康レベルを含み得る。様々な実施形態では、視力測定データおよび人口学的な統計データの双方が、処置を受けている被験者に関連付けられたベースラインデータである。
【0048】
１つまたは複数の実施形態では、第２の入力は、ＢＣＶＡ測定値、人口学的な統計データ、および３次元撮像データ（例えば、ＯＣＴ厚さ、ＯＣＴボリュームなど）を含む表形式データの形態をとる。ＯＣＴ画像は大きく複雑であるため、これらのＯＣＴ画像を表形式に変換することは、ニューラルネットワークシステムがこれらの画像に含まれるデータを処理するのを支援し得る。特に、ＯＣＴ撮像データを表形式に変換することによって、この表形式データを処理するニューラルネットワークシステムの部分の処理能力およびサイズは、ＯＣＴ画像（例えば、ＯＣＴ面内画像）の処理と比較して低減され得る。これらの処理の節約は、第２の入力が第１の入力とより容易に統合されることを可能にし得る。
【0049】
ステップ２０６は、ニューラルネットワークシステムを介して、第１の入力および第２の入力を使用して視力応答（ＶＡＲ）出力を予測することを含み、ＶＡＲ出力は、処置を受けている被験者の視力応答の予測された変化を含む。いくつかの実施形態では、ＶＡＲ出力は、予測された変化を識別する。他の実施形態では、ＶＡＲ出力は、ＶＡＲ出力が予測変化を決定するためにさらに処理され得るという点で予測変化に対応する。予測されたＶＡＲ出力は、ＡＭＤ処置の開始または投与後の選択された期間に対応し得る。例えば、ＶＡＲ出力は、処置開始後少なくとも約３ヶ月、６ヶ月、９ヶ月、１２ヶ月、１８ヶ月、もしくは２４ヶ月、またはそれ以上、処置開始後最大約２４ヶ月、１８ヶ月、１２ヶ月、９ヶ月、６ヶ月、３ヶ月、もしくはそれ以下、または処置開始後の期間であって、前述の値のいずれか２つによって定義される範囲内にある、被験者の視力応答の予測を可能にし得る。
【0050】
１つまたは複数の実施形態では、ＶＡＲ出力を予測することは、ニューラルネットワークシステムを介して、２次元撮像データを使用して第１の出力を生成することと、ニューラルネットワークシステムを介して、３次元撮像データを使用して第２の出力を生成することとを含む。いくつかの実施形態では、ＶＡＲ出力は、第１の出力と第２の出力との融合によって生成される。すなわち、いくつかの実施形態では、第１の出力は、ニューラルネットワークシステムの第１の部分（例えば、図３に関して本明細書で説明される第１のニューラルネットワークサブシステム）を使用して生成され、第２の出力は、ニューラルネットワークシステムの第２の部分（例えば、図３に関して本明細書で説明される第２のニューラルネットワークサブシステム）を使用して生成される。次いで、第１の出力および第２の出力が融合されて、ニューラルネットワークシステムの第３の部分（例えば、図３に関して本明細書で説明される第３のニューラルネットワークサブシステム）への融合入力を形成し得る。次いで、融合入力は、第３のニューラルネットワークサブシステムによって使用されて、被験者の視力の予測された変化に関する指標を提供するＶＡＲ出力を生成し得る。
【0051】
いくつかの実施形態では、第１の出力は、２次元撮像データから抽出された１つまたは複数の特徴を含む。いくつかの実施形態では、第２の出力は、３次元撮像データから抽出された１つまたは複数の特徴を含む。次いで、２次元撮像データから抽出された特徴および３次元撮像データから抽出された特徴が互いに融合されて、融合入力を形成し得る。次いで、ニューラルネットワークシステムの第３の部分は、融合入力に基づいてＶＡＲ出力を生成することができる。いくつかの実施形態では、２次元撮像データから抽出された特徴および／または３次元撮像データから抽出された特徴は、被験者の眼の上または中の異常（病変、異常な出血、瘢痕組織、および／または組織萎縮など）を含む領域、そのような領域のサイズ、そのような領域の周囲、そのような領域の面積、そのような領域の形状記述特徴、眼の様々な特徴（例えば、眼の中心窩、黄斑、網膜、強膜または脈絡膜）までのそのような領域の距離、そのような領域の連続性、楔形網膜下反射低下、網膜色素上皮（ＲＰＥ）の減衰および破壊、高反射焦点、網状偽ドルーゼン（ＲＰＤ）、多層膜厚減少、光受容体萎縮、ドルーゼン内の低反射コア、高中心ドルーゼンボリューム、以前の視力、外網膜卵管形成、脈絡毛細管板流動空隙、２次元撮像データおよび／または３次元撮像データもしくはその任意の領域の着色、２次元撮像データおよび／または３次元撮像データもしくはその任意の領域の退色、または前述の任意の組み合わせに関連付けられる。
【0052】
いくつかの実施形態では、第１および第２の出力は、融合されて、ニューラルネットワークシステムの第３の部分による後続の特徴抽出プロセスを受けることができる統合されたマルチチャネル入力を形成する。次いで、特徴抽出プロセスによって抽出された特徴は、ＶＡＲ出力を生成するための基礎として使用され得る。特徴抽出プロセス（および／または融合入力）によって抽出された特徴は、被験者の眼の上または中の異常（病変、異常な出血、瘢痕組織、および／または組織萎縮など）を含む領域、そのような領域のサイズ、そのような領域の周囲、そのような領域の面積、そのような領域の形状記述特徴、眼の様々な特徴（例えば、眼の中心窩、黄斑、網膜、強膜または脈絡膜）までのそのような領域の距離、そのような領域の連続性、楔形網膜下反射力低下、網膜色素上皮（ＲＰＥ）の減弱および破壊、高反射焦点、網状偽ドルーゼン（ＲＰＤ）、多層膜厚減少、光受容体萎縮、ドルーゼン内の低反射コア、高中心ドルーゼンボリューム、以前の視力、網膜外管形成、脈絡毛細管板流動空隙、２次元撮像データおよび／または３次元撮像データもしくはその任意の領域の着色、２次元撮像データおよび／または３次元撮像データもしくはその任意の領域の退色、またはそれらの任意の以前の任意の組み合わせを含むか、またはそれらと関連付けられ得る。
【0053】
様々な実施形態では、ＶＡＲ出力は、被験者の視力の予測される変化を識別する値またはスコアである。例えば、ＶＡＲ出力は、予測された改善（例えば、改善の文字）または低下（例えば、視力喪失）のレベルに関して被験者の視力応答を分類する値またはスコアであり得る。１つの具体例として、ＶＡＲ出力は、後に処理され、複数の異なるクラスのＢＣＶＡ変化のうちの１つに属すると識別されるＢＣＶＡの予測される数値変化であってもよく、ＢＣＶＡの各クラスは、異なる改善の文字の範囲に対応する。別の例として、ＶＡＲ出力は、予測された変化クラス自体であってもよい。さらに他の例では、ＶＡＲ出力は、視力の他の何らかの尺度の予測される変化であってもよい。
【0054】
他の実施形態では、ＶＡＲ出力は、予測される視力の変化に到達するために１つまたは複数の追加の処理ステップを必要とする値または表現出力であってもよい。例えば、ＶＡＲ出力は、処置後の期間（例えば、処置後少なくとも約３ヶ月、６ヶ月、９ヶ月、１２ヶ月、１８ヶ月、２４ヶ月もしくはそれ以上、処置後最大約２４ヶ月、１８ヶ月、１２ヶ月、９ヶ月、６ヶ月、３ヶ月もしくはそれ未満、または前述の値のいずれか２つによって定義される範囲内にある処置後期間）における被験者の予測される将来のＢＣＶＡであり得る。追加の１つまたは複数の処理ステップは、予測された将来のＢＣＶＡとベースラインＢＣＶＡとの間の差を計算して、予測された視力の変化を決定することを含み得る。
【0055】
いくつかの実施形態では、本方法は、第１および第２の入力を受信する前に、ニューラルネットワークシステムを訓練することをさらに含む。いくつかの実施形態では、ニューラルネットワークシステムは、以前に処置を受けたことがある第１の複数の被験者に関連付けられた２次元データおよび以前に処置を受けたことがある第２の複数の被験者に関連付けられた３次元データを使用して訓練される。第１および第２の複数は、任意の数の被験者、例えば、少なくとも約１０００、２０００、３０００、４０００、５０００、６０００、７０００、８０００、９０００、１万、２万、３万、４万、５万、６万、７万、８万、９万、１０万、２０万、３０万、４０万、５０万、６０万、７０万、８０万、９０万、１００万以上の被験者、最大で約１００万、９０万、８０万、７０万、６０万、５０万、４０万、３０万、２０万、１０万、９万、８万、７万、６万、５万、４万、３万、２万、１万、９０００、８０００、７０００、６０００、５０００、４０００、３０００、２０００、１０００以下の被験者、または、前述の値のうちの任意の２つによって定義される範囲内にある被験者の数に関連付けられたデータを含み得る。
【0056】
いくつかの実施形態では、第１および第２の複数は同じである。すなわち、場合によっては、第１および第２の複数は、全く同じ被験者を含む。いくつかの実施形態では、第１および第２の複数は異なる。すなわち、場合によっては、第１の複数は、第２の複数において特徴付けられていない１人または複数の被験者を含み、またはその逆も同様である。いくつかの実施形態では、第１および第２の複数は、部分的に重複している。すなわち、場合によっては、第１の複数と第２の複数の双方において、１人または複数の被験者は特徴的である。
【0057】
いくつかの実施形態では、ニューラルネットワークシステムを訓練することは、以前に処置を受けたことがある第２の複数の被験者に関連付けられた視力測定値、第２の複数に関連付けられた人口学的な統計データ、またはそれらの組み合わせを使用することをさらに含む。
【0058】
いくつかの実施形態では、ニューラルネットワークシステムは、焦点損失、クロスエントロピー損失、または加重クロスエントロピー損失を使用して訓練される。
【0059】
図３は、マルチモーダルニューラルネットワークシステム３００のブロック図である。いくつかの実施形態では、マルチモーダルニューラルネットワークシステムは、図１に関して本明細書で説明される予測システム１００とともに使用するように構成されている。いくつかの実施形態では、マルチモーダルニューラルネットワークシステムは、図２に関して本明細書で説明される方法２００（またはステップ２０２、２０４および２０６のいずれか）を実装するように構成されている。
【0060】
いくつかの実施形態では、マルチモーダルニューラルネットワークシステムは、第１のニューラルネットワークサブシステム３１０を備える。いくつかの実施形態では、第１のニューラルネットワークサブシステムは、少なくとも１つの第１の入力層３１２と、少なくとも１つの第１の高密度内層３１４とを含む。いくつかの実施形態では、第１の入力層は、図２に関して本明細書で説明される第１の入力を受信するように構成されている。いくつかの実施形態では、少なくとも１つの第１の高密度内層は、第１の訓練されたモデルを第１の入力層に適用するように構成されている。
【0061】
図示の例では、少なくとも１つの第１の高密度内層は、訓練された画像認識モデル３１４ａと、少なくとも１つの出力高密度内層３１４ｂとを含む。いくつかの実施形態では、訓練された画像認識モデルは、画像認識モデルを第１の入力層に適用するように構成されている。いくつかの実施形態では、画像認識モデルは、事前訓練された画像認識モデルを含む。いくつかの実施形態では、予め訓練された画像認識モデルは、ＲｅｓＮｅｔ－３４、ＲｅｓＮｅｔ－５０、ＲｅｓＮｅｔ－１０１、またはＲｅｓＮｅｔ－１５２などの深層残差ネットワークを含む。
【0062】
いくつかの実施形態では、出力高密度内層は、画像認識モデルから出力を受信し、画像認識モデルからの出力に追加の演算を適用する。いくつかの実施形態では、追加の演算は、第１の訓練されたモデルの訓練中に学習される。いくつかの実施形態では、画像認識モデルは、第１の訓練されたモデルの訓練中に更新されない。いくつかの実施形態では、出力高密度内層は、平均プーリングおよび／またはソフトマックス活性化を適用するように構成されている。
【0063】
図３では単一の出力高密度内層を含むものとして示されているが、少なくとも１つの出力高密度内層は、任意の数の高密度内層を含んでもよい。いくつかの実施形態では、少なくとも１つの出力高密度内層は、少なくとも約１、２、３、４、５、６、７、８、９、１０、２０、３０、４０、５０、６０、７０、８０、９０、１００、またはそれ以上の高密度内層、最大で約１００、９０、８０、７０、６０、５０、４０、３０、２０、１０、９、８、７、６、５、４、３、２、または１つの高密度内層、または前述の値のいずれか２つによって定義される範囲内にある高密度内層の数を含む。出力高密度内層のそれぞれは、平均プーリング、正規化線形（ＲｅＬｕ）活性化、および／またはソフトマックス活性化を適用するように構成されてもよい。
【0064】
いくつかの実施形態では、マルチモーダルニューラルネットワークシステムは、第２のニューラルネットワークサブシステム３２０を備える。いくつかの実施形態では、第２のニューラルネットワークサブシステムは、少なくとも１つの第２の入力層３２２と、少なくとも１つの第２の高密度内層３２４とを含む。いくつかの実施形態では、第２の入力層は、図２に関して本明細書で説明される第２の入力を受信するように構成されている。いくつかの実施形態では、少なくとも１つの第２の高密度内層は、第２の訓練されたモデルを第２の入力層に適用するように構成されている。
【0065】
図示の例では、少なくとも１つの第２の高密度内層は、３つの高密度内層３２４ａ、３２４ｂ、および３２４ｃを含む。いくつかの実施形態では、高密度内層３２４ａは、第１のセットの演算を第２の入力層に適用するように構成されている。いくつかの実施形態では、高密度内層３２４ｂは、高密度内層３２４ａに第２のセットの演算を適用するように構成されている。いくつかの実施形態では、高密度内層３２４ｃは、高密度内層３２４ｂに第３のセットの演算を適用するように構成されている。いくつかの実施形態では、第１、第２、および第３のセットの演算は、第２の訓練されたモデルの訓練中に学習される。いくつかの実施形態では、高密度内層３２４ａおよび３２４ｂは、ＲｅＬｕ活性化を適用するように構成され、高密度内層３２４ｃは、ソフトマックス活性化を適用するように構成されている。
【0066】
図３では３つの第２の高密度内層を含むものとして示されているが、少なくとも１つの第２の高密度内層は、任意の数の高密度内層を含んでもよい。いくつかの実施形態では、少なくとも１つの第２の高密度内層は、少なくとも約１、２、３、４、５、６、７、８、９、１０、２０、３０、４０、５０、６０、７０、８０、９０、１００、またはそれ以上の高密度内層、最大で約１００、９０、８０、７０、６０、５０、４０、３０、２０、１０、９、８、７、６、５、４、３、２、または１つの高密度内層、または前述の値のいずれか２つによって定義される範囲内にあるいくつかの高密度内層を含む。第２の高密度内層のそれぞれは、平均プーリング、正規化線形（ＲｅＬｕ）活性化、および／またはソフトマックス活性化を適用するように構成されてもよい。
【0067】
いくつかの実施形態では、マルチモーダルニューラルネットワークシステムは、第３のニューラルネットワークサブシステム３３０を備える。いくつかの実施形態では、第３のニューラルネットワークサブシステムは、少なくとも１つの第３の高密度内層３３２を含む。いくつかの実施形態では、第３の少なくとも１つの第３の高密度内層は、第１のニューラルネットワークサブシステムに関連付けられた少なくとも第１の高密度内層から第１の出力を受信し、第２のニューラルネットワークサブシステムに関連付けられた少なくとも第２の高密度内層から第２の出力を受信するように構成されている。
【0068】
図示の例では、少なくとも１つの第３の高密度内層は、単一層を含む。いくつかの実施形態では、単一層は、第１および第２の出力に演算のセットを適用するように構成されている。いくつかの実施形態では、演算のセットは、第３の訓練されたモデルの訓練中に学習される。いくつかの実施形態では、第３の高密度内層は、ソフトマックス活性化を適用するように構成されている。
【0069】
図３では単一の第３の高密度内層を含むものとして示されているが、少なくとも１つの第３の高密度内層は、任意の数の高密度内層を含んでもよい。いくつかの実施形態では、少なくとも１つの第３の高密度内層は、少なくとも約１、２、３、４、５、６、７、８、９、１０、２０、３０、４０、５０、６０、７０、８０、９０、１００、またはそれ以上の高密度内層、最大で約１００、９０、８０、７０、６０、５０、４０、３０、２０、１０、９、８、７、６、５、４、３、２、または１つの高密度内層、または前述の値のいずれか２つによって定義される範囲内にあるいくつかの高密度内層を含む。第３の高密度内層のそれぞれは、平均プーリング、正規化線形（ＲｅＬｕ）活性化、および／またはソフトマックス活性化を適用するように構成されてもよい。
【0070】
いくつかの実施形態では、ニューラルネットワークシステムは、分類データ３４０を出力するように構成されている。いくつかの実施形態では、分類データは、処置後の期間の視力測定で処置を受けている被験者が５文字未満のスコアを達成する可能性がある第１の尤度３４２、処置を受けている被験者が５～９文字のスコアを達成する可能性がある第２の尤度３４４、処置を受けている被験者が１０～１４文字のスコアを達成する可能性がある第３の尤度３４６、および／または処置を受けている被験者が１５文字を超えるスコアを達成する可能性がある第４の尤度３４８を含む。いくつかの実施形態では、出力分類データは、ニューラルネットワークシステムの出力層として配置される。
【0071】
図３では４つのクラスを含むものとして示されているが、分類データは、任意の数のクラスを含んでもよい。例えば、分類データは、少なくとも約２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、１５、１６、１７、１８、１９、２０、またはそれ以上のクラス、最大で約２０、１９、１８、１７、１６、１５、１４、１３、１２、１１、１０、９、８、７、６、５、４、３、もしくは２つのクラス、または前述の値のいずれか２つによって定義された範囲内にあるいくつかのクラスを含んでもよい。例えば、分類データは、処置を受けている被験者がそれぞれ１０文字未満のスコアおよび１１文字を超えるスコアを達成する可能性が高いという第１および第２の尤度を含み得る。さらなる例として、分類データは、処置を受けている被験者がそれぞれ２文字未満のスコア、２～３文字のスコア、４～５文字のスコア、６～７文字のスコア、８～９文字のスコア、１０～１１文字のスコア、１２～１３文字のスコア、１４～１５文字のスコア、１６～１７文字のスコア、１８～１９文字のスコアおよび２０文字を超えるスコアを達成する可能性が高いという第１、第２、第３、第４、第５、第６、第７、第８、第９、第１０および第１１の尤度を含み得る。当業者は、多くの変形が可能であることを認識するであろう。
【0072】
いくつかの実施形態では、第１、第２、および第３の訓練されたモデルは、一緒に訓練される。いくつかの実施形態では、第１、第２、および第３の訓練されたモデルは、同時に訓練される。例えば、いくつかの実施形態では、以前に処置を受けたことがある第１の複数の被験者に関連付けられた２次元撮像データの形態の訓練データが第１のニューラルネットワークサブシステムに提供され、同時に、以前に処置を受けたことがある第１の複数の被験者に関連付けられた３次元撮像データの形態の訓練データが第２のニューラルネットワークサブシステムに提供される。次いで、第１、第２、および第３のニューラルネットワークサブシステムにそれぞれ関連付けられた第１、第２、および第３のモデルが同時に訓練される。このようにして、マルチモーダルニューラルネットワークシステムは、その構成要素の別個の、独立した、または逐次的な訓練を必要とせずにエンドツーエンドで訓練され得る。
【0073】
いくつかの実施形態では、ニューラルネットワークシステムは、例示的なアテンションゲート機構を適用するように構成されている。
【0074】
２次元データを使用した単一モードニューラルネットワーク
図４は、様々な実施形態にかかる、視力応答を予測するための第１の単一モードプロセス４００のフローチャートである。１つまたは複数の実施形態では、プロセス４００は、図１に関して本明細書で説明される予測システム１００を使用して実装される。
図４は、様々な実施形態にかかる、視力応答を予測するための第１の単一モードプロセス４００のフローチャートである。１つまたは複数の実施形態では、プロセス４００は、図１に関して本明細書で説明される予測システム１００を使用して実装される。
【0075】
ステップ４０２は、処置（本明細書に記載のＡＭＤ処置など）を受けている被験者に関連付けられた２次元撮像データを含む入力を受信することを含む。２次元撮像データは、本明細書に記載の任意の２次元撮像データ（例えば、図１、図２、または図３に関して本明細書に記載される任意の２次元撮像データ）の形態をとり得る。
【0076】
ステップ４０４は、ニューラルネットワークシステムを介して、入力を使用して視力応答（ＶＡＲ）出力を予測することを含み、ＶＡＲ出力は、処置を受けている被験者の視力応答の予測された変化を含む。いくつかの実施形態では、ＶＡＲ出力は、本明細書に記載の任意のＶＡＲ出力（例えば、図１、図２、または図３に関して本明細書で説明される任意のＶＡＲ出力）を含む。
【0077】
いくつかの実施形態では、本方法は、第１および第２の入力を受信する前に、ニューラルネットワークシステムを訓練することをさらに含む。いくつかの実施形態では、ニューラルネットワークシステムは、以前に処置を受けたことがある複数の被験者に関連付けられた２次元データを使用して訓練される。複数は、少なくとも約１０００、２０００、３０００、４０００、５０００、６０００、７０００、８０００、９０００、１万、２万、３万、４万、５万、６万、７万、８万、９万、１０万、２０万、３０万、４０万、５０万、６０万、７０万、８０万、９０万、１００万、またはそれ以上の被験者、最大で約１００万、９０万、８０万、７０万、６０万、５０万、４０万、３０万、２０万、１０万、９万、８万、７万、６万、５万、４万、３万、２万、１万、９０００、８０００、７０００、６０００、５０００、４０００、３０００、２０００、１０００、またはそれ以下の被験者、または前述の値のいずれか２つによって定義される範囲内にある被験者の数など、任意の数の被験者に関連付けられたデータを含み得る。
【0078】
図５は、第１の単一モードニューラルネットワークシステム５００のブロック図である。いくつかの実施形態では、第１の単一モードニューラルネットワークシステムは、図１に関して本明細書で説明される予測システム１００とともに使用するように構成されている。いくつかの実施形態では、第１の単一モードニューラルネットワークシステムは、図４に関して本明細書に記載された方法４００（またはステップ４０２および４０４のいずれか）を実装するように構成されている。
【0079】
いくつかの実施形態では、第１の単一モードニューラルネットワークシステムは、少なくとも１つの入力層５０２と少なくとも１つの高密度内層５０４とを含む。いくつかの実施形態では、入力層は、図４に関して本明細書で説明される入力を受信するように構成されている。いくつかの実施形態では、少なくとも１つの高密度内層は、訓練済みモデルを入力層に適用するように構成されている。
【0080】
図示の例では、少なくとも１つの高密度内層は、訓練された画像認識モデル５０４ａおよび少なくとも１つの出力高密度内層５０４ｂを含む。いくつかの実施形態では、訓練された画像認識モデルは、入力層に画像認識モデルを適用するように構成されている。いくつかの実施形態では、画像認識モデルは、本明細書に記載の任意の画像認識モデル（例えば、図３に関して本明細書に記載された任意の画像認識モデル）を含む。
【0081】
いくつかの実施形態では、出力高密度内層は、画像認識モデルから出力を受信し、画像認識モデルからの出力に追加の演算を適用する。いくつかの実施形態では、追加の演算は、訓練済みモデルの訓練中に学習される。いくつかの実施形態では、画像認識モデルは、訓練済みモデルの訓練中に更新されない。いくつかの実施形態では、出力高密度内層は、平均プーリングおよび／またはソフトマックス活性化を適用するように構成されている。
【0082】
図５では単一の出力高密度内層を含むものとして示されているが、少なくとも１つの出力高密度内層は、任意の数の高密度内層を含んでもよい。いくつかの実施形態では、少なくとも１つの出力高密度内層は、少なくとも約１、２、３、４、５、６、７、８、９、１０、２０、３０、４０、５０、６０、７０、８０、９０、１００、またはそれ以上の高密度内層、最大で約１００、９０、８０、７０、６０、５０、４０、３０、２０、１０、９、８、７、６、５、４、３、２、または１つの高密度内層、または前述の値のいずれか２つによって定義される範囲内にある高密度内層の数を含む。出力高密度内層のそれぞれは、平均プーリング、正規化線形（ＲｅＬｕ）活性化、および／またはソフトマックス活性化を適用するように構成されてもよい。
【0083】
いくつかの実施形態では、ニューラルネットワークシステムは、分類データ５１０を出力するように構成されている。いくつかの実施形態では、分類データは、処置後の期間の視力測定で処置を受けている被験者が５文字未満のスコアを達成する可能性がある第１の尤度５１２、処置を受けている被験者が５～９文字のスコアを達成する可能性がある第２の尤度５１４、処置を受けている被験者が１０～１４文字のスコアを達成する可能性がある第３の尤度５１６、および／または処置を受けている被験者が１５文字を超えるスコアを達成する可能性がある第４の尤度５１８を含む。いくつかの実施形態では、出力分類データは、ニューラルネットワークシステムの出力層として配置される。
【0084】
【0085】
いくつかの実施形態では、ニューラルネットワークシステムは、例示的なアテンションゲート機構を適用するように構成されている。
【0086】
３次元データを使用した単一モードニューラルネットワーク
図６は、様々な実施形態にかかる、視力応答を予測するための第２の単一モードプロセス６００のフローチャートである。１つまたは複数の実施形態では、プロセス６００は、図１に関して本明細書で説明される予測システム１００を使用して実装される。
図６は、様々な実施形態にかかる、視力応答を予測するための第２の単一モードプロセス６００のフローチャートである。１つまたは複数の実施形態では、プロセス６００は、図１に関して本明細書で説明される予測システム１００を使用して実装される。
【0087】
ステップ６０２は、処置を受けている被験者に関連付けられた３次元撮像データを含む入力をニューラルネットワークシステムに受信することを含む。３次元撮像データは、本明細書に記載の任意の３次元撮像データ（例えば、図１、図２、または図３に関して本明細書に記載の任意の３次元撮像データ）を含み得る。
【0088】
ステップ６０４は、ニューラルネットワークシステムを介して、入力を使用して視力応答（ＶＡＲ）出力を予測することを含み、ＶＡＲ出力は、処置を受けている被験者の視力応答の予測された変化を含む。いくつかの実施形態では、ＶＡＲ出力は、本明細書に記載の任意のＶＡＲ出力（例えば、図１、図２、または図３に関して本明細書で説明される任意のＶＡＲ出力）を含む。
【0089】
いくつかの実施形態では、本方法は、第１および第２の入力を受信する前に、ニューラルネットワークシステムを訓練することをさらに含む。いくつかの実施形態では、ニューラルネットワークシステムは、以前に処置を受けたことがある複数の被験者に関連付けられた３次元データを使用して訓練される。複数は、少なくとも約１０００、２０００、３０００、４０００、５０００、６０００、７０００、８０００、９０００、１万、２万、３万、４万、５万、６万、７万、８万、９万、１０万、２０万、３０万、４０万、５０万、６０万、７０万、８０万、９０万、１００万、またはそれ以上の被験者、最大で約１００万、９０万、８０万、７０万、６０万、５０万、４０万、３０万、２０万、１０万、９万、８万、７万、６万、５万、４万、３万、２万、１万、９０００、８０００、７０００、６０００、５０００、４０００、３０００、２０００、１０００、またはそれ以下の被験者、または前述の値のいずれか２つによって定義される範囲内にある被験者の数など、任意の数の被験者に関連付けられたデータを含み得る。
【0090】
図７は、第２の単一モードニューラルネットワークシステム７００のブロック図である。いくつかの実施形態では、第２の単一モードニューラルネットワークシステムは、図１に関して本明細書で説明される予測システム１００とともに使用するように構成されている。いくつかの実施形態では、第２の単一モードニューラルネットワークシステムは、図６に関して本明細書に記載された方法６００（またはステップ６０２および６０４のいずれか）を実装するように構成されている。
【0091】
いくつかの実施形態では、第２の単一モデルニューラルネットワークシステムは、少なくとも１つの入力層７０２と、少なくとも１つの高密度内層７０４とを含む。いくつかの実施形態では、入力層は、図６に関して本明細書で説明される入力を受信するように構成されている。いくつかの実施形態では、少なくとも１つの高密度内層は、訓練済みモデルを入力層に適用するように構成されている。
【0092】
図示の例では、少なくとも１つの高密度内層は、３つの高密度内層７０４ａ、７０４ｂ、および７０４ｃを含む。いくつかの実施形態では、高密度内層７０４ａは、第１のセットの演算を入力層に適用するように構成されている。いくつかの実施形態では、高密度内層７０４ｂは、高密度内層７０４ａに第２のセットの演算を適用するように構成されている。いくつかの実施形態では、高密度内層７０４ｃは、高密度内層７０４ｂに第３のセットの演算を適用するように構成されている。いくつかの実施形態では、第１、第２、および第３のセットの演算は、訓練済みモデルの訓練中に学習される。いくつかの実施形態では、高密度内層７０４ａおよび７０４ｂは、ＲｅＬｕ活性化を適用するように構成され、高密度内層７０４ｃは、ソフトマックス活性化を適用するように構成されている。
【0093】
図７では３つの高密度内層を含むものとして示されているが、少なくとも１つの高密度内層は、任意の数の高密度内層を含んでもよい。いくつかの実施形態では、少なくとも１つの高密度内層は、少なくとも約１、２、３、４、５、６、７、８、９、１０、２０、３０、４０、５０、６０、７０、８０、９０、１００、またはそれ以上の高密度内層、最大で約１００、９０、８０、７０、６０、５０、４０、３０、２０、１０、９、８、７、６、５、４、３、２、または１つの高密度内層、または前述の値のいずれか２つによって定義される範囲内にあるいくつかの高密度内層を含む。高密度内層のそれぞれは、平均プーリング、正規化線形（ＲｅＬｕ）活性化、および／またはソフトマックス活性化を適用するように構成されてもよい。
【0094】
いくつかの実施形態では、ニューラルネットワークシステムは、分類データ７１０を出力するように構成されている。いくつかの実施形態では、分類データは、処置後の期間の視力測定で処置を受けている被験者が５文字未満のスコアを達成する可能性がある第１の尤度７１２、処置を受けている被験者が５～９文字のスコアを達成する可能性がある第２の尤度７１４、処置を受けている被験者が１０～１４文字のスコアを達成する可能性がある第３の尤度７１６、および／または処置を受けている被験者が１５文字を超えるスコアを達成する可能性がある第４の尤度７１８を含む。いくつかの実施形態では、出力分類データは、ニューラルネットワークシステムの出力層として配置される。
【0095】
【0096】
いくつかの実施形態では、ニューラルネットワークシステムは、例示的なアテンションゲート機構を適用するように構成されている。
【0097】
いくつかの実施形態では、本明細書に記載のシステムおよび方法は、処置推奨を提供するために使用される。例えば、いくつかの実施形態では、ニューラルネットワークシステムは、ＶＡＲ出力に基づいて処置出力を生成するように構成されている。いくつかの実施形態では、処置出力は、処置に応答した被験者の視力の予測される変化を示す。いくつかの実施形態では、処置推奨は、処置出力に基づいて提供される医療に提供される。いくつかの実施形態では、処置推奨は、処置出力が被験者の視力の改善であることに応じて、被験者に処置を投与するように医療提供者を促す。いくつかの実施形態では、処置を投与するステップは、処置投与量での処置またはその誘導体の硝子体内投与を含む。いくつかの実施形態では、処置はラニビズマブであり、処置投与量は、０．３ミリグラム（ｍｇ）または０．５ｍｇである。
【実施例】
【0098】
実施例
実施例１：ＣＡＴＴ試験における視力応答の予測
血管新生加齢黄斑変性症患者のベースライン（ＢＬ）特性およびカラー眼底画像（ＣＦＩ）を使用することによって、ラニビズマブ（ＲＢＺ）に対する視力応答（ＶＡＲ）を予測するための深層学習（ＤＬ）モデルを開発した。ＶＡＲは、４クラスの分類問題として定式化された（クラス１＝＜５文字、クラス２＝５～９文字、クラス３＝１０～１４文字、クラス４＝≧１５文字）。各クラスを、ＢＬから１２ヶ月目までの最高矯正視力（ＢＣＶＡ）の変化に基づいて割り当てた。分類問題を解決するために、異なるモダリティ（本明細書に記載の２次元および３次元の撮像モダリティ）からのデータを処理する３つのＤＬモデルを設計した。ＢＣＶＡ、年齢およびＣＦＩまたは光干渉断層撮影（ＯＣＴ）撮像バイオマーカーを含むＢＬ特性を処理するために、（それぞれ図４および図５、ならびに図６および図７に関して本明細書で説明するように）２つの異なる単一モードモデルを訓練した。第３のモデルは、図２および図３に関して本明細書で説明したように、２つのサブネットワークを融合して最終的な分類を生成した。入力データの関連部分を強化し、モデルの性能を改善するために、例示的なアテンション機構が活用された。データを訓練セット、検証セット、および試験セットに３：１：１の比率で分割した。表１は、各モデルの訓練中に使用された損失タイプ、エポック数、およびオプティマイザを示している。
実施例１：ＣＡＴＴ試験における視力応答の予測
血管新生加齢黄斑変性症患者のベースライン（ＢＬ）特性およびカラー眼底画像（ＣＦＩ）を使用することによって、ラニビズマブ（ＲＢＺ）に対する視力応答（ＶＡＲ）を予測するための深層学習（ＤＬ）モデルを開発した。ＶＡＲは、４クラスの分類問題として定式化された（クラス１＝＜５文字、クラス２＝５～９文字、クラス３＝１０～１４文字、クラス４＝≧１５文字）。各クラスを、ＢＬから１２ヶ月目までの最高矯正視力（ＢＣＶＡ）の変化に基づいて割り当てた。分類問題を解決するために、異なるモダリティ（本明細書に記載の２次元および３次元の撮像モダリティ）からのデータを処理する３つのＤＬモデルを設計した。ＢＣＶＡ、年齢およびＣＦＩまたは光干渉断層撮影（ＯＣＴ）撮像バイオマーカーを含むＢＬ特性を処理するために、（それぞれ図４および図５、ならびに図６および図７に関して本明細書で説明するように）２つの異なる単一モードモデルを訓練した。第３のモデルは、図２および図３に関して本明細書で説明したように、２つのサブネットワークを融合して最終的な分類を生成した。入力データの関連部分を強化し、モデルの性能を改善するために、例示的なアテンション機構が活用された。データを訓練セット、検証セット、および試験セットに３：１：１の比率で分割した。表１は、各モデルの訓練中に使用された損失タイプ、エポック数、およびオプティマイザを示している。
【表1】
【0099】
この試験は、加齢黄斑変性処置試験（ＣＡＴＴ）の無作為化比較試験（ＮＣＴ００５９３４５０）においてＲＢＺの月１回の処置を受けた２８４人の患者からのＢＬデータの遡及的分析であった。ＣＡＴＴ試験は、毎月および必要に応じたレジメンでＲＢＺおよびベバシズマブの相対的有効性および安全性を評価することを目的とした。４つのクラスにわたる分布は不均衡であり、それぞれクラス１、２、３および４の６４、４３、５２および１２５人の患者がいた。精度および受信者動作特性（ＡＵＲＯＣ）曲線下面積を使用して、検証（Ｎ＝５６）および試験（Ｎ＝５７）データサブセットに基づいて性能を評価した。さらに、マクロＦ１（ｍＦ１）スコア、クラスごとのＦ１スコア、および適合率－再現率（ＡＵＣＰＲ）曲線下面積を計算して、モデル性能のより有益な評価を提供した。
【0100】
表２は、３つのモデルの様々な性能尺度を示している。性能尺度は、３つのモデル間でかなり異なっていた（例えば、試験データセットのｍＦ１スコアは、ＯＣＴ、ＣＦＩ、およびマルチモーダルモデルについてそれぞれ０．３３２、０．２３６、および０．３５４であった）。さらに、個々のクラスごとの結果は、データにおける強いクラス不均衡の存在を反映して、大きな変動を示した。
【表2】
【0101】
表３は、毎月ＲＢＺ注射を受けた試験群を含む試験データサブセットに対する３つのモデルの性能を示している。例示的なアテンション機構を適用した場合と適用しなかった場合のモデルについての結果を示している。表４は、例示的なアテンション機構を適用しない全ての試験アームを含む試験データサブセットに対する３つのモデルの性能を示している。
【表3】
【表4】
【0102】
表１～４に示すように、マルチモーダルモデルは、多くの性能尺度においてＣＦＩおよび程度は低いがＯＣＴモデルよりも優れていた。しかしながら、特定の性能尺度では、ＣＦＩまたはＯＣＴモデルが最良の性能を提供した。したがって、本明細書に提示される３つのモデルは、全て、関心のある特定の問題に応じて有用であり得る。
【0103】
コンピュータ実装システム
図８は、様々な実施形態にかかるコンピュータシステムのブロック図である。コンピュータシステム８００は、図１において上述したコンピューティングプラットフォーム１０２の一実装の例であり得る。１つまたは複数の例では、コンピュータシステム８００は、情報を通信するためのバス８０２または他の通信機構と、情報を処理するためのバス８０２に結合されたプロセッサ８０４とを含むことができる。様々な実施形態では、コンピュータシステム８００はまた、プロセッサ８０４によって実行される命令を決定するためにバス８０２に結合された、ランダムアクセスメモリ（ＲＡＭ）８０６または他の動的記憶装置とすることができるメモリを含むことができる。メモリはまた、プロセッサ８０４によって実行される命令の実行中に一時変数または他の中間情報を記憶するために使用され得る。様々な実施形態では、コンピュータシステム８００は、プロセッサ８０４のための静的情報および命令を記憶するためにバス８０２に結合された読み出し専用メモリ（ＲＯＭ）８０８または他の静的記憶装置をさらに含むことができる。磁気ディスクまたは光ディスクなどの記憶装置８１０が設けられ、情報および命令を記憶するためにバス８０２に結合され得る。
図８は、様々な実施形態にかかるコンピュータシステムのブロック図である。コンピュータシステム８００は、図１において上述したコンピューティングプラットフォーム１０２の一実装の例であり得る。１つまたは複数の例では、コンピュータシステム８００は、情報を通信するためのバス８０２または他の通信機構と、情報を処理するためのバス８０２に結合されたプロセッサ８０４とを含むことができる。様々な実施形態では、コンピュータシステム８００はまた、プロセッサ８０４によって実行される命令を決定するためにバス８０２に結合された、ランダムアクセスメモリ（ＲＡＭ）８０６または他の動的記憶装置とすることができるメモリを含むことができる。メモリはまた、プロセッサ８０４によって実行される命令の実行中に一時変数または他の中間情報を記憶するために使用され得る。様々な実施形態では、コンピュータシステム８００は、プロセッサ８０４のための静的情報および命令を記憶するためにバス８０２に結合された読み出し専用メモリ（ＲＯＭ）８０８または他の静的記憶装置をさらに含むことができる。磁気ディスクまたは光ディスクなどの記憶装置８１０が設けられ、情報および命令を記憶するためにバス８０２に結合され得る。
【0104】
様々な実施形態では、コンピュータシステム８００は、バス８０２を介して、コンピュータユーザに情報を表示するために、陰極線管（ＣＲＴ）または液晶ディスプレイ（ＬＣＤ）などのディスプレイ８１２に結合され得る。英数字および他のキーを含む入力装置８１４は、情報およびコマンド選択をプロセッサ８０４に通信するためにバス８０２に結合され得る。別のタイプのユーザ入力装置は、プロセッサ８０４に方向情報およびコマンド選択を通信し、ディスプレイ８１２上のカーソル移動を制御するための、マウス、ジョイスティック、トラックボール、ジェスチャ入力装置、視線ベースの入力装置、またはカーソル方向キーなどのカーソル制御装置８１６である。この入力装置８１４は、典型的には、装置が平面内の位置を指定することを可能にする第１の軸（例えば、ｘ）および第２の軸（例えば、ｙ）の二軸の二自由度を有する。しかしながら、３次元（例えば、ｘ、ｙおよびｚ）カーソル移動を可能にする入力装置８１４も本明細書で企図されることを理解されたい。
【0105】
本教示の特定の実装と一致して、結果は、ＲＡＭ８０６に含まれる１つまたは複数の命令の１つまたは複数のシーケンスを実行するプロセッサ８０４に応答して、またはこれらの専用処理ユニットの専用ＲＡＭに含まれる１つまたは複数の命令の１つまたは複数のシーケンスを実行する専用処理ユニットに応答して、コンピュータシステム８００によって提供され得る。そのような命令は、記憶装置８１０などの別のコンピュータ可読媒体またはコンピュータ可読記憶媒体からＲＡＭ８０６に読み込まれ得る。ＲＡＭ８０６に含まれる命令シーケンスの実行は、プロセッサ８０４に本明細書に記載のプロセスを実行させることができる。あるいは、本教示を実装するために、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて、ハードワイヤード回路が使用され得る。したがって、本教示の実装は、ハードウェア回路とソフトウェアとの特定の組み合わせに限定されない。
【0106】
本明細書で使用される「コンピュータ可読媒体」（例えば、データストア、データストレージ、記憶装置、データ記憶装置など）、または「コンピュータ可読記憶媒体」という用語は、実行のためにプロセッサ８０４に命令を提供することに関与する任意の媒体を指す。そのような媒体は、不揮発性媒体、揮発性媒体、および伝送媒体を含むがこれらに限定されない多くの形態をとることができる。不揮発性媒体の例は、これらに限定されないが、記憶装置８１０などの光学、固体、磁気ディスクを含むことができる。揮発性媒体の例は、これに限定されないが、ＲＡＭ８０６などのダイナミックメモリを含むことができる。伝送媒体の例は、これらに限定されないが、バス８０２を備えるワイヤを含む、同軸ケーブル、銅線、および光ファイバを含むことができる。
【0107】
コンピュータ可読媒体の一般的な形態は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、または他の任意の磁気媒体、ＣＤ－ＲＯＭ、他の任意の光学媒体、パンチカード、紙テープ、孔のパターンを有する他の任意の物理媒体、ＲＡＭ、ＰＲＯＭ、およびＥＰＲＯＭ、フラッシュＥＰＲＯＭ、他の任意のメモリチップまたはカートリッジ、またはコンピュータが読み出すことができる他の任意の有形媒体を含む。
【0108】
コンピュータ可読媒体に加えて、命令またはデータは、実行のためにコンピュータシステム８００のプロセッサ８０４に１つまたは複数の命令のシーケンスを提供するために、通信装置またはシステムに含まれる伝送媒体上の信号として提供され得る。例えば、通信装置は、命令およびデータを示す信号を有するトランシーバを含み得る。命令およびデータは、１つまたは複数のプロセッサに、本明細書の開示に概説される機能を実装させるように構成されている。データ通信伝送接続の代表的な例は、これらに限定されないが、電話モデム接続、ワイドエリアネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、赤外線データ接続、ＮＦＣ接続、光通信接続などを含むことができる。
【0109】
本明細書に記載の方法論、フローチャート、図、および付随する開示は、コンピュータシステム８００をスタンドアロン装置として使用して、またはクラウドコンピューティングネットワークなどの共有コンピュータ処理リソースの分散ネットワーク上で実装され得ることを理解されたい。
【0110】
本明細書に記載の方法論は、用途に応じて様々な手段によって実装され得る。例えば、これらの方法論は、ハードウェア、ファームウェア、ソフトウェア、またはそれらの任意の組み合わせで実装され得る。ハードウェア実装の場合、処理ユニットは、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プロセッサ、グラフィカル処理ユニット（ＧＰＵ）、テンソル処理ユニット（ＴＰＵ）、人工知能（ＡＩ）アクセラレータＡＳＩＣ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書に記載の機能を実行するように設計された他の電子ユニット、またはそれらの組み合わせ内に実装されてもよい。
【0111】
様々な実施形態では、本教示の方法は、Ｃ、Ｃ＋＋、Ｐｙｔｈｏｎなどのような従来のプログラミング言語で書かれたファームウェアおよび／またはソフトウェアプログラムおよびアプリケーションとして実装されてもよい。ファームウェアおよび／またはソフトウェアとして実装される場合、本明細書に記載される実施形態は、コンピュータに上述した方法を実行させるためのプログラムが記憶された非一時的コンピュータ可読媒体上に実装され得る。本明細書に記載の様々なエンジンがコンピュータシステム８００などのコンピュータシステム上に設けられ得、それによって、プロセッサ８０４は、メモリ構成要素ＲＡＭ８０６、ＲＯＭ８０８、または記憶装置８１０のいずれか１つ、またはそれらの組み合わせによって提供される命令、および入力装置８１４を介して提供されるユーザ入力にしたがって、これらのエンジンによって提供される分析および決定を実行することを理解されたい。
【0112】
結論
本教示は、様々な実施形態に関連して説明されているが、本教示がそのような実施形態に限定されることは意図されていない。逆に、本教示は、当業者によって理解されるように、様々な代替、変更、および均等物を包含する。
本教示は、様々な実施形態に関連して説明されているが、本教示がそのような実施形態に限定されることは意図されていない。逆に、本教示は、当業者によって理解されるように、様々な代替、変更、および均等物を包含する。
【0113】
例えば、上述したフローチャートおよびブロック図は、様々な方法およびシステム実施形態の可能な実装のアーキテクチャ、機能、および／または動作を示している。フローチャートまたはブロック図の各ブロックは、モジュール、セグメント、機能、動作もしくはステップの一部、またはそれらの組み合わせを表し得る。実施形態のいくつかの代替実装では、ブロックに記載された１つまたは複数の機能は、図に記載された順序とは異なる順序で行われてもよい。例えば、場合によっては、連続して示される２つのブロックは、実質的に同時に実行されてもよく、または何らかの方法で統合されてもよい。他の場合には、ブロックは、逆の順序で実行されてもよい。さらに、場合によっては、フローチャートまたはブロック図内の１つまたは複数の他のブロックを置換または補足するために、１つまたは複数のブロックが追加されてもよい。
【0114】
したがって、様々な実施形態を説明する際に、本明細書は、特定の一連のステップとして方法および／またはプロセスを提示している場合がある。しかしながら、方法またはプロセスが本明細書に記載の特定の順番のステップに依拠しない限り、方法またはプロセスは、記載された特定の順序のステップに限定されるべきではなく、当業者は、順序が変動してもよく、依然として様々な実施形態の趣旨および範囲内にあることを容易に理解することができる。
【0115】
実施形態の列挙
実施形態１．視力応答を予測するための方法であって、
処置を受けている被験者に関連付けられた２次元撮像データを含む第１の入力を受信することと、
処置を受けている被験者に関連付けられた３次元撮像データを含む第２の入力を受信することと、
ニューラルネットワークシステムを介して、第１の入力および第２の入力を使用して処置に応答した処置を受けている被験者の視力の予測される変化を含む視力応答（ＶＡＲ）出力を予測することと、を含む、方法。
実施形態１．視力応答を予測するための方法であって、
処置を受けている被験者に関連付けられた２次元撮像データを含む第１の入力を受信することと、
処置を受けている被験者に関連付けられた３次元撮像データを含む第２の入力を受信することと、
ニューラルネットワークシステムを介して、第１の入力および第２の入力を使用して処置に応答した処置を受けている被験者の視力の予測される変化を含む視力応答（ＶＡＲ）出力を予測することと、を含む、方法。
【0116】
実施形態２．３次元撮像データが、処置を受けている被験者に関連付けられた光干渉断層撮影（ＯＣＴ）撮像データを含み、２次元撮像データが、処置を受けている被験者に関連付けられたカラー眼底撮像データを含む、実施形態１に記載の方法。
【0117】
実施形態３．第２の入力が、処置を受けている被験者に関連付けられた視力測定値および処置を受けている被験者に関連付けられた人口学的な統計データをさらに含む、実施形態１または２に記載の方法。
【0118】
実施形態４．ニューラルネットワークシステムを介してＶＡＲ出力を予測することが、
処置を受けている被験者に関連付けられた２次元撮像データを使用して第１の出力を生成することと、
処置を受けている被験者に関連付けられた３次元撮像データを使用して第２の出力を生成することと、
第１の出力と第２の出力との融合を介してＶＡＲ出力を生成することと、を含む、実施形態１から３のいずれか一項に記載の方法。
処置を受けている被験者に関連付けられた２次元撮像データを使用して第１の出力を生成することと、
処置を受けている被験者に関連付けられた３次元撮像データを使用して第２の出力を生成することと、
第１の出力と第２の出力との融合を介してＶＡＲ出力を生成することと、を含む、実施形態１から３のいずれか一項に記載の方法。
【0119】
実施形態５．ニューラルネットワークシステムが、
少なくとも１つの第１の入力層と少なくとも１つの第１の高密度内層とを含む第１のニューラルネットワークサブシステムであって、少なくとも１つの第１の入力層が第１の入力を受信するように構成され、少なくとも１つの第１の高密度内層が第１の入力層に第１の訓練されたモデルを適用するように構成されている、第１のニューラルネットワークサブシステムと、
少なくとも１つの第２の入力層と少なくとも１つの第２の高密度内層とを含む第２のニューラルネットワークサブシステムであって、少なくとも１つの第２の入力層が第１の入力を受信するように構成され、少なくとも１つの第２の高密度内層が第２の入力層に第２の訓練されたモデルを適用するように構成されている、第２のニューラルネットワークサブシステムと、
少なくとも１つの第１の高密度内層からの第１の出力および少なくとも１つの第２の高密度層からの第２の出力を受信し、第３の訓練されたモデルを第１の出力および第２の出力に適用し、それによってＶＡＲ出力を予測するように構成された少なくとも１つの第３の高密度内層を含む第３のニューラルネットワークサブシステムと、を備える、実施形態１から４のいずれか一項に記載の方法。
少なくとも１つの第１の入力層と少なくとも１つの第１の高密度内層とを含む第１のニューラルネットワークサブシステムであって、少なくとも１つの第１の入力層が第１の入力を受信するように構成され、少なくとも１つの第１の高密度内層が第１の入力層に第１の訓練されたモデルを適用するように構成されている、第１のニューラルネットワークサブシステムと、
少なくとも１つの第２の入力層と少なくとも１つの第２の高密度内層とを含む第２のニューラルネットワークサブシステムであって、少なくとも１つの第２の入力層が第１の入力を受信するように構成され、少なくとも１つの第２の高密度内層が第２の入力層に第２の訓練されたモデルを適用するように構成されている、第２のニューラルネットワークサブシステムと、
少なくとも１つの第１の高密度内層からの第１の出力および少なくとも１つの第２の高密度層からの第２の出力を受信し、第３の訓練されたモデルを第１の出力および第２の出力に適用し、それによってＶＡＲ出力を予測するように構成された少なくとも１つの第３の高密度内層を含む第３のニューラルネットワークサブシステムと、を備える、実施形態１から４のいずれか一項に記載の方法。
【0120】
実施形態６．少なくとも１つの第１の高密度内層が、訓練された画像認識モデルおよび出力高密度内層を含み、少なくとも１つの第２の高密度内層が、複数の第２の高密度内層を含む、実施形態５に記載の方法。
【0121】
実施形態７．第１の入力を受信することおよび第２の入力を受信することの前に、以前に処置を受けたことがある第１の複数の被験者に関連付けられた２次元撮像データおよび以前に処置を受けたことがある第２の複数の被験者に関連付けられた３次元撮像データを使用してニューラルネットワークシステムを訓練することをさらに含む、実施形態１から６のいずれか一項に記載の方法。
【0122】
実施形態８．ニューラルネットワークシステムを訓練することが、処置を以前に受けたことがある第２の複数の被験者に関連付けられた視力測定値、処置を以前に受けたことがある第２の複数の被験者に関連付けられた人口学的な統計データ、またはそれらの組み合わせを使用することをさらに含む、実施形態７に記載の方法。
【0123】
実施形態９．視力応答を予測するためのシステムであって、
非一時的メモリと、
非一時的メモリに結合され、システムに動作を実行させるために非一時的メモリから命令を読み出すように構成された１つまたは複数のプロセッサであって、動作が、
処置を受けている被験者に関連付けられた２次元撮像データを含む第１の入力を受信することと、
処置を受けている被験者に関連付けられた３次元撮像データを含む第２の入力を受信することと、
ニューラルネットワークシステムを介して、第１の入力および第２の入力を使用して処置に応答した処置を受けている被験者の視力の予測される変化を含む視力応答（ＶＡＲ）出力を予測することと、を含む、１つまたは複数のプロセッサと、を備える、システム。
非一時的メモリと、
非一時的メモリに結合され、システムに動作を実行させるために非一時的メモリから命令を読み出すように構成された１つまたは複数のプロセッサであって、動作が、
処置を受けている被験者に関連付けられた２次元撮像データを含む第１の入力を受信することと、
処置を受けている被験者に関連付けられた３次元撮像データを含む第２の入力を受信することと、
ニューラルネットワークシステムを介して、第１の入力および第２の入力を使用して処置に応答した処置を受けている被験者の視力の予測される変化を含む視力応答（ＶＡＲ）出力を予測することと、を含む、１つまたは複数のプロセッサと、を備える、システム。
【0124】
実施形態１０．３次元撮像データが、処置を受けている被験者に関連付けられた光干渉断層撮影（ＯＣＴ）撮像データを含み、２次元撮像データが、処置を受けている被験者に関連付けられたカラー眼底撮像データを含む、実施形態９に記載のシステム。
【0125】
実施形態１１．第２の入力が、処置を受けている被験者に関連付けられた視力測定値および処置を受けている被験者に関連付けられた人口学的な統計データをさらに含む、実施形態９または１０に記載のシステム。
【0126】
実施形態１２．ニューラルネットワークシステムを介してＶＡＲ出力を予測することが、
処置を受けている被験者に関連付けられた２次元撮像データを使用して第１の出力を生成することと、
処置を受けている被験者に関連付けられた３次元撮像データを使用して第２の出力を生成することと、
第１の出力と第２の出力との融合を介してＶＡＲ出力を生成することと、を含む、実施形態９から１１のいずれか一項に記載のシステム。
処置を受けている被験者に関連付けられた２次元撮像データを使用して第１の出力を生成することと、
処置を受けている被験者に関連付けられた３次元撮像データを使用して第２の出力を生成することと、
第１の出力と第２の出力との融合を介してＶＡＲ出力を生成することと、を含む、実施形態９から１１のいずれか一項に記載のシステム。
【0127】
実施形態１３．ニューラルネットワークシステムが、
少なくとも１つの第１の入力層と少なくとも１つの第１の高密度内層とを含む第１のニューラルネットワークサブシステムであって、少なくとも１つの第１の入力層が第１の入力を受信するように構成され、少なくとも１つの第１の高密度内層が第１の入力層に第１の訓練されたモデルを適用するように構成されている、第１のニューラルネットワークサブシステムと、
少なくとも１つの第２の入力層と少なくとも１つの第２の高密度内層とを含む第２のニューラルネットワークサブシステムであって、少なくとも１つの第２の入力層が第１の入力を受信するように構成され、少なくとも１つの第２の高密度内層が第２の入力層に第２の訓練されたモデルを適用するように構成されている、第２のニューラルネットワークサブシステムと、
少なくとも１つの第１の高密度内層からの第１の出力および少なくとも１つの第２の高密度層からの第２の出力を受信し、第３の訓練されたモデルを第１の出力および第２の出力に適用し、それによってＶＡＲ出力を予測するように構成された少なくとも１つの第３の高密度内層を含む第３のニューラルネットワークサブシステムと、を備える、実施形態９から１２のいずれか一項に記載のシステム。
少なくとも１つの第１の入力層と少なくとも１つの第１の高密度内層とを含む第１のニューラルネットワークサブシステムであって、少なくとも１つの第１の入力層が第１の入力を受信するように構成され、少なくとも１つの第１の高密度内層が第１の入力層に第１の訓練されたモデルを適用するように構成されている、第１のニューラルネットワークサブシステムと、
少なくとも１つの第２の入力層と少なくとも１つの第２の高密度内層とを含む第２のニューラルネットワークサブシステムであって、少なくとも１つの第２の入力層が第１の入力を受信するように構成され、少なくとも１つの第２の高密度内層が第２の入力層に第２の訓練されたモデルを適用するように構成されている、第２のニューラルネットワークサブシステムと、
少なくとも１つの第１の高密度内層からの第１の出力および少なくとも１つの第２の高密度層からの第２の出力を受信し、第３の訓練されたモデルを第１の出力および第２の出力に適用し、それによってＶＡＲ出力を予測するように構成された少なくとも１つの第３の高密度内層を含む第３のニューラルネットワークサブシステムと、を備える、実施形態９から１２のいずれか一項に記載のシステム。
【0128】
実施形態１４．少なくとも１つの第１の高密度内層が、訓練された画像認識モデルおよび出力高密度内層を含み、少なくとも１つの第２の高密度内層が、複数の第２の高密度内層を含む、実施形態１３に記載のシステム。
【0129】
実施形態１５．動作が、第１の入力を受信することおよび第２の入力を受信することの前に、以前に処置を受けたことがある第１の複数の被験者に関連付けられた２次元撮像データおよび以前に処置を受けたことがある第２の複数の被験者に関連付けられた３次元撮像データを使用してニューラルネットワークシステムを訓練することをさらに含む、実施形態９から１４のいずれか一項に記載のシステム。
【0130】
実施形態１６．ニューラルネットワークシステムを訓練することが、処置を以前に受けたことがある第２の複数の被験者に関連付けられた視力測定値、処置を以前に受けたことがある第２の複数の被験者に関連付けられた人口学的な統計データ、またはそれらの組み合わせを使用することをさらに含む、実施形態１５に記載のシステム。
【0131】
実施形態１７．システムに動作を実行させるように実行可能な機械可読命令が記憶された非一時的機械可読媒体であって、動作が、
処置を受けている被験者に関連付けられた２次元撮像データを含む第１の入力を受信することと、
処置を受けている被験者に関連付けられた３次元撮像データを含む第２の入力を受信することと、
ニューラルネットワークシステムを介して、第１の入力および第２の入力を使用して処置に応答した処置を受けている被験者の視力の予測される変化を含む視力応答（ＶＡＲ）出力を予測することと、を含む、非一時的機械可読媒体。
処置を受けている被験者に関連付けられた２次元撮像データを含む第１の入力を受信することと、
処置を受けている被験者に関連付けられた３次元撮像データを含む第２の入力を受信することと、
ニューラルネットワークシステムを介して、第１の入力および第２の入力を使用して処置に応答した処置を受けている被験者の視力の予測される変化を含む視力応答（ＶＡＲ）出力を予測することと、を含む、非一時的機械可読媒体。
【0132】
実施形態１８．３次元撮像データが、処置を受けている被験者に関連付けられた光干渉断層撮影（ＯＣＴ）撮像データを含み、２次元撮像データが、処置を受けている被験者に関連付けられたカラー眼底撮像データを含む、実施形態１７に記載の非一時的機械可読媒体。
【0133】
実施形態１９．第２の入力が、処置を受けている被験者に関連付けられた視力測定値および処置を受けている被験者に関連付けられた人口学的な統計データをさらに含む、実施形態１７または１８に記載の非一時的機械可読媒体。
【0134】
実施形態２０．ニューラルネットワークシステムを介してＶＡＲ出力を予測することが、
処置を受けている被験者に関連付けられた２次元撮像データを使用して第１の出力を生成することと、
処置を受けている被験者に関連付けられた３次元撮像データを使用して第２の出力を生成することと、
第１の出力と第２の出力との融合を介してＶＡＲ出力を生成することと、を含む、実施形態１７から１９のいずれか一項に記載の非一時的機械可読媒体。
処置を受けている被験者に関連付けられた２次元撮像データを使用して第１の出力を生成することと、
処置を受けている被験者に関連付けられた３次元撮像データを使用して第２の出力を生成することと、
第１の出力と第２の出力との融合を介してＶＡＲ出力を生成することと、を含む、実施形態１７から１９のいずれか一項に記載の非一時的機械可読媒体。
【0135】
実施形態２１．ニューラルネットワークシステムが、
少なくとも１つの第１の入力層と少なくとも１つの第１の高密度内層とを含む第１のニューラルネットワークサブシステムであって、少なくとも１つの第１の入力層が第１の入力を受信するように構成され、少なくとも１つの第１の高密度内層が第１の入力層に第１の訓練されたモデルを適用するように構成されている、第１のニューラルネットワークサブシステムと、
少なくとも１つの第２の入力層と少なくとも１つの第２の高密度内層とを含む第２のニューラルネットワークサブシステムであって、少なくとも１つの第２の入力層が第１の入力を受信するように構成され、少なくとも１つの第２の高密度内層が第２の入力層に第２の訓練されたモデルを適用するように構成されている、第２のニューラルネットワークサブシステムと、
少なくとも１つの第１の高密度内層からの第１の出力および少なくとも１つの第２の高密度層からの第２の出力を受信し、第３の訓練されたモデルを第１の出力および第２の出力に適用し、それによってＶＡＲ出力を予測するように構成された少なくとも１つの第３の高密度内層を含む第３のニューラルネットワークサブシステムと、を備える、実施形態１７から２０のいずれか一項に記載の非一時的機械可読媒体。
少なくとも１つの第１の入力層と少なくとも１つの第１の高密度内層とを含む第１のニューラルネットワークサブシステムであって、少なくとも１つの第１の入力層が第１の入力を受信するように構成され、少なくとも１つの第１の高密度内層が第１の入力層に第１の訓練されたモデルを適用するように構成されている、第１のニューラルネットワークサブシステムと、
少なくとも１つの第２の入力層と少なくとも１つの第２の高密度内層とを含む第２のニューラルネットワークサブシステムであって、少なくとも１つの第２の入力層が第１の入力を受信するように構成され、少なくとも１つの第２の高密度内層が第２の入力層に第２の訓練されたモデルを適用するように構成されている、第２のニューラルネットワークサブシステムと、
少なくとも１つの第１の高密度内層からの第１の出力および少なくとも１つの第２の高密度層からの第２の出力を受信し、第３の訓練されたモデルを第１の出力および第２の出力に適用し、それによってＶＡＲ出力を予測するように構成された少なくとも１つの第３の高密度内層を含む第３のニューラルネットワークサブシステムと、を備える、実施形態１７から２０のいずれか一項に記載の非一時的機械可読媒体。
【0136】
実施形態２２．少なくとも１つの第１の高密度内層が、訓練された画像認識モデルおよび出力高密度内層を含み、少なくとも１つの第２の高密度内層が、複数の第２の高密度内層を含む、実施形態２１に記載の非一時的機械可読媒体。
【0137】
実施形態２３．動作が、第１の入力を受信することおよび第２の入力を受信することの前に、以前に処置を受けたことがある第１の複数の被験者に関連付けられた２次元撮像データおよび以前に処置を受けたことがある第２の複数の被験者に関連付けられた３次元撮像データを使用してニューラルネットワークシステムを訓練することをさらに含む、実施形態１７から２２のいずれか一項に記載の非一時的機械可読媒体。
【0138】
実施形態２４．ニューラルネットワークシステムを訓練することが、処置を以前に受けたことがある第２の複数の被験者に関連付けられた視力測定値、処置を以前に受けたことがある第２の複数の被験者に関連付けられた人口学的な統計データ、またはそれらの組み合わせを使用することをさらに含む、実施形態２３に記載の非一時的機械可読媒体。
【0139】
実施形態２５．視力応答を予測するための方法であって、
処置を受けている被験者に関連付けられた２次元撮像データを含む入力を受信することと、
ニューラルネットワークシステムを介して、入力を使用して処置に応答した処置を受けている被験者の視力の予測される変化を含む視力応答（ＶＡＲ）出力を予測することと、を含む、方法。
処置を受けている被験者に関連付けられた２次元撮像データを含む入力を受信することと、
ニューラルネットワークシステムを介して、入力を使用して処置に応答した処置を受けている被験者の視力の予測される変化を含む視力応答（ＶＡＲ）出力を予測することと、を含む、方法。
【0140】
実施形態２６．２次元撮像データが、処置を受けている被験者に関連付けられたカラー眼底撮像データを含む、実施形態２５に記載の方法。
【0141】
実施形態２７．ニューラルネットワークシステムが、
入力を受信するように構成された少なくとも１つの入力層と、
訓練済みモデルを入力層に適用し、それによってＶＡＲ出力を予測するように構成された少なくとも１つの高密度内層と、を含む、実施形態２５または２６に記載の方法。
入力を受信するように構成された少なくとも１つの入力層と、
訓練済みモデルを入力層に適用し、それによってＶＡＲ出力を予測するように構成された少なくとも１つの高密度内層と、を含む、実施形態２５または２６に記載の方法。
【0142】
実施形態２８．少なくとも１つの高密度内層が、訓練された画像認識モデルおよび出力高密度内層を含む、実施形態２７に記載の方法。
【0143】
実施形態２９．入力を受信することの前に、以前に処置を受けたことがある複数の被験者に関連付けられた２次元撮像データを使用してニューラルネットワークシステムを訓練することをさらに含む、実施形態２５から２８のいずれか一項に記載の方法。
【0144】
実施形態３０．視力応答を予測するためのシステムであって、
非一時的メモリと、
非一時的メモリに結合され、システムに動作を実行させるために非一時的メモリから命令を読み出すように構成された１つまたは複数のプロセッサであって、動作が、
処置を受けている被験者に関連付けられた２次元撮像データを含む入力を受信することと、
ニューラルネットワークシステムを介して、入力を使用して処置に応答した処置を受けている被験者の視力の予測される変化を含む視力応答（ＶＡＲ）出力を予測することと、を含む、１つまたは複数のプロセッサと、を備える、システム。
非一時的メモリと、
非一時的メモリに結合され、システムに動作を実行させるために非一時的メモリから命令を読み出すように構成された１つまたは複数のプロセッサであって、動作が、
処置を受けている被験者に関連付けられた２次元撮像データを含む入力を受信することと、
ニューラルネットワークシステムを介して、入力を使用して処置に応答した処置を受けている被験者の視力の予測される変化を含む視力応答（ＶＡＲ）出力を予測することと、を含む、１つまたは複数のプロセッサと、を備える、システム。
【0145】
実施形態３１．２次元撮像データが、処置を受けている被験者に関連付けられたカラー眼底撮像データを含む、実施形態３０に記載のシステム。
【0146】
実施形態３２．ニューラルネットワークシステムが、
入力を受信するように構成された少なくとも１つの入力層と、
訓練済みモデルを入力層に適用し、それによってＶＡＲ出力を予測するように構成された少なくとも１つの高密度内層と、を含む、実施形態３０または３１に記載のシステム。
入力を受信するように構成された少なくとも１つの入力層と、
訓練済みモデルを入力層に適用し、それによってＶＡＲ出力を予測するように構成された少なくとも１つの高密度内層と、を含む、実施形態３０または３１に記載のシステム。
【0147】
実施形態３３．少なくとも１つの高密度内層が、訓練された画像認識モデルおよび出力高密度内層を含む、実施形態３２に記載のシステム。
【0148】
実施形態３４．動作が、入力を受信することの前に、以前に処置を受けたことがある複数の被験者に関連付けられた２次元撮像データを使用してニューラルネットワークシステムを訓練することをさらに含む、実施形態３０から３３のいずれか一項に記載のシステム。
【0149】
実施形態３５．ニューラルネットワークシステムを訓練することが、処置を以前に受けたことがある第２の複数の被験者に関連付けられた視力測定値、処置を以前に受けたことがある第２の複数の被験者に関連付けられた人口学的な統計データ、またはそれらの組み合わせを使用することをさらに含む、実施形態３４に記載のシステム。
【0150】
実施形態３６．システムに動作を実行させるように実行可能な機械可読命令が記憶された非一時的機械可読媒体であって、動作が、
処置を受けている被験者に関連付けられた２次元撮像データを含む入力を受信することと、
ニューラルネットワークシステムを介して、入力を使用して処置に応答した処置を受けている被験者の視力の予測される変化を含む視力応答（ＶＡＲ）出力を予測することと、を含む、非一時的機械可読媒体。
処置を受けている被験者に関連付けられた２次元撮像データを含む入力を受信することと、
ニューラルネットワークシステムを介して、入力を使用して処置に応答した処置を受けている被験者の視力の予測される変化を含む視力応答（ＶＡＲ）出力を予測することと、を含む、非一時的機械可読媒体。
【0151】
実施形態３７．２次元撮像データが、処置を受けている被験者に関連付けられたカラー眼底撮像データを含む、実施形態３６に記載の非一時的機械可読媒体。
【0152】
実施形態３８．ニューラルネットワークシステムが、
入力を受信するように構成された少なくとも１つの入力層と、
訓練済みモデルを入力層に適用し、それによってＶＡＲ出力を予測するように構成された少なくとも１つの高密度内層と、を含む、実施形態３６または３７に記載の非一時的機械可読媒体。
入力を受信するように構成された少なくとも１つの入力層と、
訓練済みモデルを入力層に適用し、それによってＶＡＲ出力を予測するように構成された少なくとも１つの高密度内層と、を含む、実施形態３６または３７に記載の非一時的機械可読媒体。
【0153】
実施形態３９．少なくとも１つの高密度内層が、訓練された画像認識モデルおよび出力高密度内層を含む、実施形態３８に記載の非一時的機械可読媒体。
【0154】
実施形態４０．動作が、入力を受信することの前に、以前に処置を受けたことがある複数の被験者に関連付けられた２次元撮像データを使用してニューラルネットワークシステムを訓練することをさらに含む、実施形態３６から３９のいずれか一項に記載の非一時的機械可読媒体。
【0155】
実施形態４１．視力応答を予測するための方法であって、
処置を受けている被験者に関連付けられた３次元撮像データを含む入力を受信することと、
ニューラルネットワークシステムを介して、入力を使用して処置に応答した処置を受けている被験者の視力の予測される変化を含む視力応答（ＶＡＲ）出力を予測することと、を含む、非一時的機械可読媒体。
処置を受けている被験者に関連付けられた３次元撮像データを含む入力を受信することと、
ニューラルネットワークシステムを介して、入力を使用して処置に応答した処置を受けている被験者の視力の予測される変化を含む視力応答（ＶＡＲ）出力を予測することと、を含む、非一時的機械可読媒体。
【0156】
実施形態４２．３次元撮像データが、処置を受けている被験者に関連付けられた光干渉断層撮影（ＯＣＴ）撮像データを含む、実施形態４１に記載の方法。
【0157】
実施形態４３．入力が、処置を受けている被験者に関連付けられた視力測定値および処置を受けている被験者に関連付けられた人口学的な統計データをさらに含む、実施形態４１または４２に記載の方法。
【0158】
実施形態４４．ニューラルネットワークシステムが、
入力を受信するように構成された少なくとも１つの入力層と、
訓練済みモデルを入力層に適用し、それによってＶＡＲ出力を予測するように構成された少なくとも１つの高密度内層と、を含む、実施形態４１から４３のいずれか一項に記載の方法。
入力を受信するように構成された少なくとも１つの入力層と、
訓練済みモデルを入力層に適用し、それによってＶＡＲ出力を予測するように構成された少なくとも１つの高密度内層と、を含む、実施形態４１から４３のいずれか一項に記載の方法。
【0159】
実施形態４５．少なくとも１つの高密度内層が複数の高密度内層を含む、実施形態４４に記載の方法。
【0160】
実施形態４６．入力を受信することの前に、以前に処置を受けたことがある複数の被験者に関連付けられた３次元撮像データを使用してニューラルネットワークシステムを訓練することをさらに含む、実施形態４１から４５のいずれか一項に記載の方法。
【0161】
実施形態４７．ニューラルネットワークシステムを訓練することが、以前に処置を受けたことがある複数の被験者に関連付けられた視力測定値、以前に処置を受けたことがある複数の被験者に関連付けられた人口学的な統計データ、またはそれらの組み合わせを使用することをさらに含む、実施形態４６に記載の方法。
【0162】
実施形態４８．視力応答を予測するためのシステムであって、
非一時的メモリと、
非一時的メモリに結合され、システムに動作を実行させるために非一時的メモリから命令を読み出すように構成された１つまたは複数のプロセッサであって、動作が、
処置を受けている被験者に関連付けられた３次元撮像データを含む入力を受信することと、
ニューラルネットワークシステムを介して、入力を使用して処置に応答した処置を受けている被験者の視力の予測される変化を含む視力応答（ＶＡＲ）出力を予測することと、を含む、非一時的機械可読媒体。
非一時的メモリと、
非一時的メモリに結合され、システムに動作を実行させるために非一時的メモリから命令を読み出すように構成された１つまたは複数のプロセッサであって、動作が、
処置を受けている被験者に関連付けられた３次元撮像データを含む入力を受信することと、
ニューラルネットワークシステムを介して、入力を使用して処置に応答した処置を受けている被験者の視力の予測される変化を含む視力応答（ＶＡＲ）出力を予測することと、を含む、非一時的機械可読媒体。
【0163】
実施形態４９．３次元撮像データが、処置を受けている被験者に関連付けられた光干渉断層撮影（ＯＣＴ）撮像データを含む、実施形態４８に記載のシステム。
【0164】
実施形態５０．入力が、処置を受けている被験者に関連付けられた視力測定値および処置を受けている被験者に関連付けられた人口学的な統計データをさらに含む、実施形態４８または４９に記載のシステム。
【0165】
実施形態５１．ニューラルネットワークシステムが、
入力を受信するように構成された少なくとも１つの入力層と、
訓練済みモデルを入力層に適用し、それによってＶＡＲ出力を予測するように構成された少なくとも１つの高密度内層と、を含む、実施形態４８から５０のいずれか一項に記載のシステム。
入力を受信するように構成された少なくとも１つの入力層と、
訓練済みモデルを入力層に適用し、それによってＶＡＲ出力を予測するように構成された少なくとも１つの高密度内層と、を含む、実施形態４８から５０のいずれか一項に記載のシステム。
【0166】
実施形態５２．少なくとも１つの高密度内層が複数の高密度内層を含む、実施形態５１に記載のシステム。
【0167】
実施形態５３．動作が、入力を受信することの前に、以前に処置を受けたことがある複数の被験者に関連付けられた３次元撮像データを使用してニューラルネットワークシステムを訓練することをさらに含む、実施形態４８から５２のいずれか一項に記載のシステム。
【0168】
実施形態５４．ニューラルネットワークシステムを訓練することが、以前に処置を受けたことがある複数の被験者に関連付けられた視力測定値、以前に処置を受けたことがある複数の被験者に関連付けられた人口学的な統計データ、またはそれらの組み合わせを使用することをさらに含む、実施形態５３に記載のシステム。
【0169】
実施形態５５．システムに動作を実行させるように実行可能な機械可読命令が記憶された非一時的機械可読媒体であって、動作が、
処置を受けている被験者に関連付けられた３次元撮像データを含む入力を受信することと、
ニューラルネットワークシステムを介して、入力を使用して処置に応答した処置を受けている被験者の視力の予測される変化を含む視力応答（ＶＡＲ）出力を予測することと、を含む、非一時的機械可読媒体。
処置を受けている被験者に関連付けられた３次元撮像データを含む入力を受信することと、
ニューラルネットワークシステムを介して、入力を使用して処置に応答した処置を受けている被験者の視力の予測される変化を含む視力応答（ＶＡＲ）出力を予測することと、を含む、非一時的機械可読媒体。
【0170】
実施形態５６．３次元撮像データが、処置を受けている被験者に関連付けられた光干渉断層撮影（ＯＣＴ）撮像データを含む、実施形態５５に記載の非一時的機械可読媒体。
【0171】
実施形態５７．入力が、処置を受けている被験者に関連付けられた視力測定値および処置を受けている被験者に関連付けられた人口学的な統計データをさらに含む、実施形態５５または５６に記載の非一時的機械可読媒体。
【0172】
実施形態５８．ニューラルネットワークシステムが、
入力を受信するように構成された少なくとも１つの入力層と、
訓練済みモデルを入力層に適用し、それによってＶＡＲ出力を予測するように構成された少なくとも１つの高密度内層と、を含む、実施形態５５から５７のいずれか一項に記載の非一時的機械可読媒体。
入力を受信するように構成された少なくとも１つの入力層と、
訓練済みモデルを入力層に適用し、それによってＶＡＲ出力を予測するように構成された少なくとも１つの高密度内層と、を含む、実施形態５５から５７のいずれか一項に記載の非一時的機械可読媒体。
【0173】
実施形態５９．少なくとも１つの高密度内層が複数の高密度内層を含む、実施形態５８に記載の非一時的機械可読媒体。
【0174】
実施形態６０．動作が、入力を受信することの前に、以前に処置を受けたことがある複数の被験者に関連付けられた３次元撮像データを使用してニューラルネットワークシステムを訓練することをさらに含む、実施形態５５から５９のいずれか一項に記載の非一時的機械可読媒体。
【0175】
実施形態６１．ニューラルネットワークシステムを訓練することが、処置を以前に受けたことがある複数の被験者に関連付けられた視力測定値、処置を以前に受けたことがある複数の被験者に関連付けられた人口学的な統計データ、またはそれらの組み合わせを使用することをさらに含む、実施形態６０に記載の非一時的機械可読媒体。
【0176】
実施形態６２．ｎＡＭＤ症状と診断された被験者を処置するための方法であって、
被験者に関連付けられた２次元撮像データを含む第１の入力を受信することと、
被験者に関連付けられた３次元撮像データを含む第２の入力を受信することと、
訓練されたニューラルネットワークシステムを介して、第１の入力および第２の入力を使用して処置出力を生成することであって、処置出力が、処置に応答した被験者の視力の予測される変化を示す、生成することと、
処置出力に基づいて、医療提供者に処置推奨を提供することであって、処置推奨が、
処置出力が被験者の視力の改善であることに応答して、処置を被験者に投与することであって、処置を投与するステップが、処置投与量での処置またはその誘導体の硝子体内投与を含み、処置がラニビズマブであり、処置投与量が０．３ミリグラム（ｍｇ）または０．５ｍｇである、投与するように医療提供者に促す、提供することと、を含む、方法。
被験者に関連付けられた２次元撮像データを含む第１の入力を受信することと、
被験者に関連付けられた３次元撮像データを含む第２の入力を受信することと、
訓練されたニューラルネットワークシステムを介して、第１の入力および第２の入力を使用して処置出力を生成することであって、処置出力が、処置に応答した被験者の視力の予測される変化を示す、生成することと、
処置出力に基づいて、医療提供者に処置推奨を提供することであって、処置推奨が、
処置出力が被験者の視力の改善であることに応答して、処置を被験者に投与することであって、処置を投与するステップが、処置投与量での処置またはその誘導体の硝子体内投与を含み、処置がラニビズマブであり、処置投与量が０．３ミリグラム（ｍｇ）または０．５ｍｇである、投与するように医療提供者に促す、提供することと、を含む、方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【国際調査報告】