(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-12-28
(54)【発明の名称】将来の視力を予測するための機械学習技術
(51)【国際特許分類】
A61B 3/10 20060101AFI20221221BHJP
G16H 30/40 20180101ALI20221221BHJP
【ＦＩ】
A61B3/10 100
G16H30/40
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022523895
(86)(22)【出願日】2020-10-12
(85)【翻訳文提出日】2022-05-25
(86)【国際出願番号】 US2020055233
(87)【国際公開番号】W WO2021080804
(87)【国際公開日】2021-04-29
(31)【優先権主張番号】19205315.5
(32)【優先日】2019-10-25
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】591003013
【氏名又は名称】エフ．ホフマン－ラ ロシュ アーゲー
【氏名又は名称原語表記】Ｆ． ＨＯＦＦＭＡＮＮ－ＬＡ ＲＯＣＨＥ ＡＫＴＩＥＮＧＥＳＥＬＬＳＣＨＡＦＴ
(74)【代理人】
【識別番号】100118902
【弁理士】
【氏名又は名称】山本 修
(74)【代理人】
【識別番号】100106208
【弁理士】
【氏名又は名称】宮前 徹
(74)【代理人】
【識別番号】100196508
【弁理士】
【氏名又は名称】松尾 淳一
(74)【代理人】
【識別番号】100119781
【弁理士】
【氏名又は名称】中村 彰吾
(72)【発明者】
【氏名】アルブレヒト，トーマス・フェリックス
(72)【発明者】
【氏名】アーカドゥ，フィリッポ
(72)【発明者】
【氏名】ベンマンスール，フェトハラー
(72)【発明者】
【氏名】リー，ユン
(72)【発明者】
【氏名】マウンツ，アンドレアス
(72)【発明者】
【氏名】サーニ，ジャヤシュリー
(72)【発明者】
【氏名】タールハンマー，アンドレアス
(72)【発明者】
【氏名】ジャーン・シェーラー，ヤン－ピーン
【テーマコード（参考）】
4C316
5L099
【Ｆターム（参考）】
4C316AA09
4C316AA13
4C316AB03
4C316FB21
5L099AA26
(57)【要約】
本明細書に開示される方法およびシステムは、一般に、機械学習モデルを使用することによって被験者の将来の視力を予測するためのシステムおよび方法に関する。被験者の網膜の少なくとも一部の画像は、網膜関連セグメントのセットを検出するために１つ以上の第１の機械学習モデルによって処理され得る。網膜関連セグメントのセットの網膜関連セグメントを特徴付けるセグメント固有メトリックが生成され得る。セグメント固有メトリックは、第２の機械学習モデルを使用することによって処理され、被験者の将来の視力に対応する予測に対応する結果を生成することができる。
【特許請求の範囲】
【請求項1】
コンピュータ実装方法であって、１つ以上の第１のモデルを使用して、被験者の網膜の少なくとも一部の画像を処理して、網膜関連セグメントのセットを検出することであって、前記網膜関連セグメントのセットのそれぞれが、網膜構造または網膜液のタイプを含む、網膜関連セグメントのセットを検出することと、
セグメント固有メトリックのセットを生成することであって、前記セグメント固有メトリックのセットのそれぞれが、前記網膜関連セグメントのセットのうちの網膜関連セグメントを特徴付ける、セグメント固有メトリックのセットを生成することと、
第２のモデルを使用して前記セグメント固有メトリックのセットを処理して、前記被験者の将来の視力に対応する予測に対応する結果を生成することと、
前記結果を出力することと
を含む、コンピュータ実装方法。
【請求項2】
前記１つ以上の第１のモデルのうちの第１のモデルが、深層畳み込みニューラルネットワークを含む、請求項１に記載のコンピュータ実装方法。
【請求項3】
前記１つ以上の第１のモデルのうちの第１のモデルが、網膜層内セグメンテーションアルゴリズムを使用する、請求項１に記載のコンピュータ実装方法。
【請求項4】
前記１つ以上の第１のモデルのうちの第１のモデルを、前記網膜液のタイプに対応するセグメントを検出するために使用し、前記１つ以上の第１のモデルのうちの別のモデルを、前記網膜構造に対応するセグメントを検出するために使用する、請求項１に記載のコンピュータ実装方法。
【請求項5】
前記第２のモデルが、訓練された勾配ブースティングマシンを含む、請求項１に記載のコンピュータ実装方法。
【請求項6】
前記画像が光干渉断層撮影（ＯＣＴ）画像である、請求項１に記載のコンピュータ実装方法。
【請求項7】
前記網膜関連セグメントのセットの網膜関連セグメントが、前記網膜の１つ以上の網膜層（例えば、神経線維層、神経節細胞層）を示す特定の網膜構造を含む、請求項１に記載のコンピュータ実装方法。
【請求項8】
前記特定の網膜構造が、網膜色素上皮の下方に位置する前記網膜の１つ以上の部分を示し、前記網膜の前記１つ以上の部分が、ブルッフ膜、脈絡膜、および強膜を含む、請求項７に記載のコンピュータ実装方法。
【請求項9】
前記網膜関連セグメントのセットの網膜関連セグメントが、前記網膜構造の色素上皮剥離を示す、請求項１に記載のコンピュータ実装方法。
【請求項10】
前記網膜関連セグメントのセットの網膜関連セグメントが、網膜下液（ＳＲＦ）または網膜内液（ＩＲＦ）を含む特定のタイプの網膜液を含む、請求項１に記載のコンピュータ実装方法。
【請求項11】
前記網膜関連セグメントのセットの網膜関連セグメントが、前記網膜に存在する１つ以上の変形を示し、前記１つ以上の変形が、黄斑円孔、黄斑プラッカ、および悪化した黄斑を含む、請求項１に記載のコンピュータ実装方法。
【請求項12】
前記結果が、特定の将来の時点における前記被験者の前記将来の視力が所定の視力閾値を超えるという予測を示す、請求項１に記載のコンピュータ実装方法。
【請求項13】
前記セグメント固有メトリックのセットのセグメント固有メトリックが、前記網膜内液に対応する液体積を示し、前記液体積に対応するより低い値が、特定の将来の時点における前記被験者の前記将来の視力が所定の視力閾値を超える可能性を上げる、請求項１０に記載のコンピュータ実装方法。
【請求項14】
前記セグメント固有メトリックのセットのセグメント固有メトリックが、前記網膜下液に対応する液体積を示し、前記液体積に対応するより高い値が、特定の将来の時点における前記被験者の前記将来の視力が所定の視力閾値を超える可能性を上げる、請求項１０に記載のコンピュータ実装方法。
【発明の詳細な説明】
【関連出願の相互参照】
【0001】
本出願は、２０１９年１０月２５日に出願された欧州特許出願第１９２０５３１５．５号の出願日の利益を主張し、その開示は、その全体があらゆる目的のために参照により本明細書に組み込まれる。
【技術分野】
【0002】
分野
本明細書に開示される方法およびシステムは、一般に、セグメント処理機械学習モデルおよびメトリック処理機械学習モデルを使用することによって被験者の将来の視力を予測するためのシステムおよび方法に関する。
本明細書に開示される方法およびシステムは、一般に、セグメント処理機械学習モデルおよびメトリック処理機械学習モデルを使用することによって被験者の将来の視力を予測するためのシステムおよび方法に関する。
【背景技術】
【0003】
背景
眼関連疾患は、個体間で重度の視力喪失を引き起こすことがある。例えば、黄斑変性症は、網膜の黄斑領域が悪化すると起こる重度の不可逆的な視力喪失の主な原因の１つである。典型的には、特定の眼関連疾患の初期段階は、症状をほとんどまたは全く示さず、視力喪失を引き起こさない。しかしながら、後の段階では、視力喪失は、眼関連疾患のために突然に且つ予想外に起こり得る。眼関連疾患の早期且つ適切な処置は、進行を予防し、所与の被験者にとって最適な視力を維持する可能性を改善し得る。処置選択肢は、眼への抗血管新生薬の注射、活発に成長している異常な血管を破壊するレーザー治療、および異常な血管を損傷するために感光性薬物を使用する光線力学的レーザー治療を含むことができる。
眼関連疾患は、個体間で重度の視力喪失を引き起こすことがある。例えば、黄斑変性症は、網膜の黄斑領域が悪化すると起こる重度の不可逆的な視力喪失の主な原因の１つである。典型的には、特定の眼関連疾患の初期段階は、症状をほとんどまたは全く示さず、視力喪失を引き起こさない。しかしながら、後の段階では、視力喪失は、眼関連疾患のために突然に且つ予想外に起こり得る。眼関連疾患の早期且つ適切な処置は、進行を予防し、所与の被験者にとって最適な視力を維持する可能性を改善し得る。処置選択肢は、眼への抗血管新生薬の注射、活発に成長している異常な血管を破壊するレーザー治療、および異常な血管を損傷するために感光性薬物を使用する光線力学的レーザー治療を含むことができる。
【0004】
処置選択肢の相対的有効性は、被験者の特性および／または所与の状態に依存し得る。しかしながら、有効性予測因子は、完全には知られておらず、処置選択を困難にしている。さらに、所与の被験者に対して処置が選択されて開始された後、処置が被験者に対して有効であるかどうかを発見するために長期間が必要とされ得る。特定の処置が無効であると分かった時点までに、別の処置を早期に使用するための絶好の機会が被験者に通過していることがある。これは、眼関連疾患からの被験者の回復の可能性を減少させることがある。
【0005】
従来の技術は、被験者の将来の視力を予測するために機械学習モデルを使用することを試みてきた。例えば、ＳＣＨＭＩＤＴ－ＥＲＦＵＲＴＨら：「Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ ｔｏ Ａｎａｌｙｚｅ ｔｈｅ Ｐｒｏｇｎｏｓｔｉｃ Ｖａｌｕｅ ｏｆ Ｃｕｒｒｅｎｔ Ｉｍａｇｉｎｇ Ｂｉｏｍａｒｋｅｒｓ ｉｎ Ｎｅｏｖａｓｃｕｌａｒ Ａｇｅ－Ｒｅｌａｔｅｄ Ｍａｃｕｌａｒ Ｄｅｇｅｎｅｒａｔｉｏｎ」、ＯＰＨＴＨＡＬＭＯＬＯＧＹ ＲＥＴＩＮＡ、ｖｕｌｏｌ．２、ｎｏ．１、２０１８年１月１日（２０１８－０１－０１）、ページ２４－３０は、機械学習モデルを使用して画像を処理し、標準化された抗血管内皮成長因子（抗ＶＥＧＦ）治療の１年後の視力を予測することを開示している。この例では、機械学習モデルの統計学的分析により、初期抗ＶＥＧＦ治療に応答した初期視力が将来の視力の予測に最も影響を与えることが明らかになった。統計学的分析はまた、網膜－関連構造の変形が予測にほとんど無関係であることが分かったことを明らかにした。
【0006】
別の例として、ＧＥＲＥＮＤＡＳら：「Ｃｏｍｐｕｔａｔｉｏｎａｌ ｉｍａｇｅ ａｎａｌｙｓｉｓ ｆｏｒ ｐｒｏｇｎｏｓｉｓ ｄｅｔｅｒｍｉｎａｔｉｏｎ ｉｎ ＤＭＥ」、ＶＩＳＩＯＮ ＲＥＳＥＡＲＣＨ、ｖｕｌｏｌ．１３９、２０１７年５月９日（２０１７－０５－０９）、ページ２０４－２１０は、機械学習モデル（例えば、ランダムフォレスト回帰モデル）を使用して糖尿病性黄斑浮腫を有する被験者の将来の視力を予測することを開示している。この例では、統計学的分析により、網膜液の領域に対応する形態学的特徴がベースライン視力に有意に寄与すること、および網膜構造の網膜の厚さに対応する形態学的特徴が処置の１年後の被験者の視力に有意に寄与することが明らかになった。識別された形態学的特徴のセットは、主に特定の網膜構造の指向領域および厚さである。さらに、この例示的なシステムは、視力の予測を生成するために、様々な時点（例えば、１２週目、２４週目）にわたる入力画像に基づいて視力の予測を生成する。これは、ベースライン時点（例えば、０週目）で収集された画像に基づいて将来の視力の予測を生成することとは異なる。
【0007】
さらに別の例では、ＩＲＶＩＮＥ Ｊ Ｍら：「Ｉｎｆｅｒｒｉｎｇ ｄｉａｇｎｏｓｉｓ ａｎｄ ｔｒａｊｅｃｔｏｒｙ ｏｆ ｗｅｔ ａｇｅ－ｒｅｌａｔｅｄ ｍａｃｕｌａｒ ｄｅｇｅｎｅｒａｔｉｏｎ ｆｒｏｍ ＯＣＴ ｉｍａｇｅｒｙ ｏｆ ｒｅｔｉｎａ」、ＰＲＯＧＲＥＳＳ ＩＮ ＢＩＯＭＥＤＩＣＡＬ ＯＰＴＩＣＳ ＡＮＤ ＩＭＡＧＩＮＧ，ＳＰＩＥ、ｖｕｌｏｌ．１０１３４、２０１７年３月３日（２０１７－０３－０３）、ページ１０１３４３９－１０１３４３９は、機械学習モデルを使用してＯＣＴ画像を処理し、特定の処置に応答して被験者の視力が改善するかどうかを予測するバイナリ出力を生成することを開示しているが、特定の時点での被験者の視力を予測することを開示していない。
【0008】
他の従来技術は、機械学習モデルを使用して光干渉断層撮影（ＯＣＴ）画像を処理し得るが、それらは、所与の被験者の将来の視力を予測しない。例えば、米国特許出願公開第２０１８／０１３２７２５号明細書は、畳み込みニューラルネットワークを使用して特定の網膜液（例えば、網膜内嚢胞液、網膜下液）に対応する画像オブジェクトを検出することを開示しているが、被験者の将来の視力を予測することを開示していない。別の例では、ＤＥ ＦＡＵＷ Ｊら：「Ｃｌｉｎｉｃａｌｌｙ ａｐｐｌｉｃａｂｌｅ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｆｏｒ ｄｉａｇｎｏｓｉｓ ａｎｄ ｒｅｆｅｒｒａｌ ｉｎ ｒｅｔｉｎａｌ ｄｉｓｅａｓｅ」、ＮＡＴＵＲＥ ＭＥＤＩＣＩＮＥ、ｖｕｌｏｌ．２４、ｎｏ．９、２０１８年８月１３日（２０１８－０８－１３）、ページ１３４２－１３５０は、分類ネットワークを使用して被験者の視力を脅かす網膜疾患の重症度を予測することを開示しているが、被験者の将来の視力を予測することを開示していない。
【0009】
したがって、効果的な処置の迅速な特定を容易にするために、眼関連疾患（例えば、所与の被験者の将来の視力）の予後をより迅速且つ正確に特徴付ける必要がある。
【発明の概要】
【0010】
概要
いくつかの実施形態では、コンピュータ実装方法が提供される。コンピュータ実装方法は、網膜関連セグメントのセットを検出するために、１つ以上の第１のモデルを使用して、被験者の網膜の少なくとも一部の画像を処理することを含むことができる。画像は、ＯＣＴ画像であってもよい。網膜関連セグメントのセットの各網膜関連セグメントは、網膜構造またはセグメント固有メトリックのセットのタイプを含むことができる。コンピュータ実装方法はまた、セグメント固有メトリックのセットを生成することを含むことができる。セグメント固有メトリックのセットのそれぞれは、網膜関連セグメントのセットの網膜関連セグメントを特徴付けてもよい。コンピュータ実装方法は、第２のモデルを使用してセグメント固有メトリックのセットを処理して、被験者の将来の視力に対応する予測に対応する結果を生成することを含むことができる。コンピュータ実装方法は、結果を出力することを含むことができる。
いくつかの実施形態では、コンピュータ実装方法が提供される。コンピュータ実装方法は、網膜関連セグメントのセットを検出するために、１つ以上の第１のモデルを使用して、被験者の網膜の少なくとも一部の画像を処理することを含むことができる。画像は、ＯＣＴ画像であってもよい。網膜関連セグメントのセットの各網膜関連セグメントは、網膜構造またはセグメント固有メトリックのセットのタイプを含むことができる。コンピュータ実装方法はまた、セグメント固有メトリックのセットを生成することを含むことができる。セグメント固有メトリックのセットのそれぞれは、網膜関連セグメントのセットの網膜関連セグメントを特徴付けてもよい。コンピュータ実装方法は、第２のモデルを使用してセグメント固有メトリックのセットを処理して、被験者の将来の視力に対応する予測に対応する結果を生成することを含むことができる。コンピュータ実装方法は、結果を出力することを含むことができる。
【0011】
第１のモデルは、深層畳み込みニューラルネットワークを含むことができる。場合によっては、第１のモデルは、網膜内層セグメンテーションアルゴリズムを含む。１つ以上の第１のモデルの第１のモデルを、網膜液のタイプに対応するセグメントを検出するために使用することができ、１つ以上の第１のモデルの別のモデルを、網膜構造に対応するセグメントを検出するために使用することができる。第２のモデルは、訓練された勾配ブースティングマシンを含むことができる。
【0012】
網膜関連セグメントのセットの網膜関連セグメントは、網膜の１つ以上の網膜層（例えば、神経線維層、神経節細胞層）を示す特定の網膜構造を含むことができる。特定の網膜構造は、網膜色素上皮の下方に位置する網膜の１つ以上の部分を示すことができ、網膜の１つ以上の部分は、ブルッフ膜、脈絡膜、および強膜を含む。網膜関連セグメントのセットの網膜関連セグメントは、網膜構造の色素上皮剥離を示すことができる。網膜関連セグメントのセットの網膜関連セグメントはまた、網膜下液（ＳＲＦ）または網膜内液（ＩＲＦ）を含む特定のタイプの網膜液を含むことができる。網膜関連セグメントのセットの網膜関連セグメントは、網膜に存在する１つ以上の変形を示すことができ、１つ以上の変形は、黄斑円孔、黄斑プラッカ、および悪化した黄斑を含む。
【0013】
結果は、特定の将来の時点における被験者の将来の視力が所定の視力閾値を超えるという予測を示すことができる。セグメント固有メトリックのセットのセグメント固有メトリックは、網膜内液に対応する液体積を示すことがあり、液体積に対応するより低い値は、特定の将来の時点における被験者の将来の視力が所定の視力閾値を超える可能性を上げることがある。セグメント固有メトリックのセットのセグメント固有メトリックはまた、網膜下液に対応する液体積を示すことができ、液体積に対応するより高い値は、特定の将来の時点における被験者の将来の視力が所定の視力閾値を超える可能性を上げることがある。
【0014】
いくつかの実施形態では、１つ以上のデータプロセッサと、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部を実行させる命令を含む非一時的コンピュータ可読記憶媒体と、を含む、システムが提供される。
【0015】
いくつかの実施形態では、非一時的機械可読記憶媒体に有形に具現化され、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部を実行させるように構成された命令を含む、コンピュータプログラム製品が提供される。
【0016】
本開示のいくつかの実施形態は、１つ以上のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させる命令を含む非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。
【0017】
使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴の均等物またはその一部を除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、特許請求の範囲に記載された本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者によってあてにされてもよく、そのような変更および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあると見なされることを理解されたい。
【図面の簡単な説明】
【0018】
本開示は、以下の添付の図面と併せて説明される：
【図1】被験者の将来の視力に対応する予測を生成するために機械学習モデルを使用するための例示的な処理方式を示している。
【図2】被験者の将来の視力に対応する予測を生成するために機械学習モデルを使用するプロセスを示している。
【図3】実際の観測と比較して、訓練された画像セグメント化機械学習モデルおよび訓練されたメトリック処理機械学習モデルによって生成された出力に対応する精度データを伝達する受信者動作特性（ＲＯＣ）曲線のセットを示している。
【図4】実際の観測と比較して、訓練された画像セグメント化機械学習モデルおよび訓練されたメトリック処理機械学習モデルによって生成された出力に対応する精度データを伝達する散布図グラフのセットを示している。
【図5】入力データタイプが被験者の将来の視力に対応する予測に影響を及ぼすことができる程度を示す箱ひげグラフを示している。
【図6】訓練されたメトリック処理機械学習モデルによって処理されたセグメント固有メトリックが、被験者の将来の視力に対応する予測に影響を及ぼすことができる程度を識別する例示的なグラフ６００を示している。
【図7A】被験者の将来の視力を予測する機械学習モデルの性能を評価するために使用され得るグラフの例示的なセットを示している。
【図7B】被験者の将来の視力を予測する機械学習モデルの性能を評価するために使用され得るグラフの例示的なセットを示している。
【0019】
添付の図面において、同様の構成要素および／または特徴は、同じ参照ラベルを有し得る。さらに、同じタイプの様々な構成要素は、参照ラベルの後に同様の構成要素を区別するダッシュおよび第２のラベルを続けることによって区別され得る。本明細書において第１の参照ラベルのみが使用される場合、説明は、第２の参照ラベルに関係なく、同じ第１の参照ラベルを有する同様の構成要素のいずれかに適用可能である。
【発明を実施するための形態】
【0020】
Ｉ．概要
従来の機械学習システムの少なくとも上記の欠点に対処するために、本技術は、被験者の将来の視力に対応する予測を生成するために機械学習モデルを使用する。被験者の網膜の少なくとも一部を描写する画像は、網膜構造または網膜液のタイプに対応する網膜関連画像セグメントのセットを検出するために、セグメント検出機械学習モデルによって処理され得る。検出された網膜関連画像セグメントのセットの各網膜関連画像セグメントについて、セグメント固有メトリックが生成され得る。セグメント固有メトリックは、（例えば）セグメントの相対的な位置、幅、深さ、曲率、または均一性の度合いに関連してもよい。網膜関連画像セグメントのセットに対応するセグメント固有メトリックは、被験者の将来の視力に対応する予測に対応する結果を生成するために、メトリック処理機械学習モデルを使用して処理され得る。結果はまた、新生血管加齢黄斑変性と診断された被験者に対する処置（例えば、抗ＶＥＧＦ治療）に対する予測された応答に対応してもよい。いくつかの実施形態では、予測は、特定のメトリック（例えば、網膜液の液体積）の寄与度が他のメトリック（例えば、網膜構造の厚さ）からの寄与度よりも高くなるように生成される。
従来の機械学習システムの少なくとも上記の欠点に対処するために、本技術は、被験者の将来の視力に対応する予測を生成するために機械学習モデルを使用する。被験者の網膜の少なくとも一部を描写する画像は、網膜構造または網膜液のタイプに対応する網膜関連画像セグメントのセットを検出するために、セグメント検出機械学習モデルによって処理され得る。検出された網膜関連画像セグメントのセットの各網膜関連画像セグメントについて、セグメント固有メトリックが生成され得る。セグメント固有メトリックは、（例えば）セグメントの相対的な位置、幅、深さ、曲率、または均一性の度合いに関連してもよい。網膜関連画像セグメントのセットに対応するセグメント固有メトリックは、被験者の将来の視力に対応する予測に対応する結果を生成するために、メトリック処理機械学習モデルを使用して処理され得る。結果はまた、新生血管加齢黄斑変性と診断された被験者に対する処置（例えば、抗ＶＥＧＦ治療）に対する予測された応答に対応してもよい。いくつかの実施形態では、予測は、特定のメトリック（例えば、網膜液の液体積）の寄与度が他のメトリック（例えば、網膜構造の厚さ）からの寄与度よりも高くなるように生成される。
【0021】
被験者の網膜の少なくとも一部を描写する画像は、特定の時点でキャプチャされ得、結果は、将来の時点（例えば、画像がキャプチャされた日から１２ヶ月）における視力の予測に対応し得る。場合によっては、結果は、ある時点でキャプチャされた被験者の画像のみに基づいて生成される。画像から網膜関連画像セグメントのセットを検出するために、セグメント検出機械学習モデルが使用され得る。例えば、網膜層内セグメンテーションアルゴリズムを、網膜構造（例えば、網膜層）を検出するために使用することができ、および／または（別の例では）深層畳み込みニューラルネットワークを、網膜液のタイプを検出するために使用することができる。網膜液のタイプは、網膜内液、網膜下液、および／または（例えば、色素上皮剥離を引き起こす）ブルッフ膜と網膜色素上皮との間の液を含むことができる。
【0022】
セグメント固有メトリックのセットのそれぞれは、網膜関連セグメントのセットの網膜関連セグメントを特徴付けてもよい。例えば、網膜関連画像セグメントが網膜液を含む場合、セグメント固有メトリックは、液の体積または厚さ（例えば、中心窩厚）を含むことができる。別の例では、網膜構造（例えば、網膜色素上皮）に対応するセグメント固有メトリックは、網膜構造と別の網膜構造（例えば、内境界膜）との間の中心窩厚および中心窩体積を含むことができる。メトリック処理機械学習モデルは、様々なメトリックが被験者の将来の視力を予測する程度を学習し得る。例えば、網膜下液セグメントに対応するより高い中心窩厚メトリックは、被験者の将来の視力が改善することを予測することがある。網膜内液に対応するより低い中心窩厚メトリックはまた、被験者の将来の視力が改善することを予測することがある。
【0023】
特定のセグメント固有メトリック（例えば、網膜液のタイプに対応する液体積の量）は、１つ、複数、または全ての他のメトリックのそれぞれが将来の視力を示す程度に対して、被験者の将来の視力を決定するための主要指標とし得る。場合によっては、特定のセグメント固有メトリックは、被験者の将来の視力の予測に対する特定のセグメント固有メトリックの寄与が、１つ、複数、または全ての他のセグメント固有メトリックからの各寄与よりも高い場合、将来の視力の主要指標として特徴付けられる。場合によっては、特定のセグメント固有メトリックの寄与は、所与のセグメント固有メトリックの各インスタンスについて計算された１つ以上の値（例えば、シャプレイ値）を集約することによって決定される。
【0024】
主要指標に対応するセグメント固有メトリックは、（ｉ）訓練されたメトリック処理機械学習モデルによって処理された情報にアクセスすることによって、（ｉｉ）アクセスされた情報に基づいて、セグメント固有メトリックごとに、被験者の将来の視力の予測への寄与を示す１つ以上の値を示すプロットを生成することによって、および（ｉｉｉ）プロットから、被験者の将来の視力の予測に対する最も高い寄与を有すると推定されるセグメント固有メトリックを選択することによって決定され得る。場合によっては、プロットは、被験者の将来の視力の予測に対するそれらの相対的な寄与に基づいてセグメント固有メトリックのセット間のランキングを生成するシャプレイ加算説明（Ｓｈａｐｌｅｙ Ａｄｄｉｔｉｖｅ ｅｘＰｌａｎａｔｉｏｎｓ）プロットである。
【0025】
場合によっては、主要指標に対応するセグメント固有メトリックは、局所解釈可能モデル非依存説明（ＬＩＭＥ）を使用して決定される。ＬＩＭＥは、（例えば）被験者の将来の視力に対応する個々の予測を説明するために局所代理モデルを訓練することに焦点を合わせている。ＬＩＭＥにおいて、その目標は、機械学習モデル（例えば、メトリック処理機械学習モデル）が特定の予測を行う理由を理解することである。ＬＩＭＥは、入力サンプルの変動（例えば、並べ替えされたサンプル）および基礎となる機械学習モデルによる対応する予測を含む新たなデータセットを生成する。例えば、被験者の網膜の少なくとも一部を示すＯＣＴ画像を処理して、ＬＩＭＥのための並べ替えられたサンプルを生成し得る。次いで、解釈可能なモデルが、この新たなデータセットを使用して訓練される。解釈可能なモデルは、例えば、最小絶対収縮および選択演算子（Ｌａｓｓｏ）または決定木とし得る。訓練された解釈可能モデルを、入力サンプルの変動（局所忠実度）について基礎となる機械学習モデルの予測を近似するために使用してもよいが、全ての入力サンプルについて良好な大域的近似である必要はない。局所代理モデルは、（１）基礎となる機械学習モデルによる予測のための説明が必要とされ得る関心のあるサンプルを選択することによって、（２）被験者のサンプルを摂動させ、基礎となる機械学習モデルによって摂動されたサンプルの予測を生成することによって、（３）関心のある被験者のサンプルへの近接度にしたがって摂動されたサンプルを重みづけすることによって、および（４）摂動されたサンプルおよび基礎となる機械学習モデルによる対応する予測を使用して、重み付きの解釈可能なモデルを訓練することによって取得され得る。次いで、基礎となる機械学習モデルによる関心のあるサンプルの予測は、訓練された解釈可能モデルを解釈することによって説明され得る。
【0026】
将来の視力の主要指標を識別するための代替的な技術は、メトリックのセットのそれぞれについて、メトリックに関連する１つ以上の学習された重みを識別することである。各メトリックについて、寄与値は、（例えば）１つ以上の学習された重みまたは１つ以上の学習された重みの学習された重みの最大値、最小値、中央値または平均値として定義され得る。主要指標は、最大の寄与と関連付けられたメトリックであるように定義され得る。
【0027】
主要指標を識別するための別の技術は、修正された試験データセットのセットを使用して機械学習モデルを適合または訓練することである。修正された試験データセットのセットのそれぞれは、入力データ内の１つ以上の特定のメトリックを欠いていてもよい。各試験データセットについて精度（例えば、Ｒ２値、標準誤差など）が計算され得、主要指標は、他の試験データセットと比較して精度が最も高かった（または誤差が最も低かった）試験データセットには存在しないメトリックであると定義され得る。
【0028】
主要指標を識別するためのさらに別の例示的な技術は、各メトリックの値の範囲にわたるデータ点を含む特定の入力データセットを設計することである。特定の入力データセットは、例えば、入力空間にわたる線形または非線形多次元グリッドに対応し得る。次いで、訓練されたモデルを、各入力データ要素（例えば、複数のメトリックの値を含むことができる）について、予測される将来の視力を生成するために使用してもよい。各メトリックについて、予測とメトリックの値との間の関係の大きさおよび／または有意性が決定され得る。１つ以上の主要指標は、最も高い（または閾値を超える）メトリックおよび／または最も有意な有意値（例えば、閾値を下回るｐ値）に関連するメトリックとして定義され得る。
【0029】
訓練中に使用され、寄与を識別するために使用され、および／または主要指標を識別するために使用される入力変数は、正規化および／または標準化されてもよいことが理解されよう。いくつかの入力変数は、関連していてもよく、および／または－独立していなくてもよいことも理解されよう。これらの状況では、関連変数は、（例えば、関連変数にわたる重みを集合的に評価することによって、修正されたデータセットから互いに関連する各変数を除去することによって、または関連変数に関連付けられた入力データ軸に沿った値間の関係の大きさまたは有意性を集合的に分析することによって）集合的に評価されてもよい。
【0030】
主要指標であると識別された識別セグメント固有メトリックを、メトリック処理機械学習モデルの性能を改善するためにさらに使用することができる。例えば、閾値量未満だけ予測に寄与すると判定されたセグメント固有メトリックを除去するために、再帰的特徴除去動作が実行され得る。別の例では、ハイパーパラメータ（例えば、ニューラルネットワークの層数、学習率）調整動作が実行されて、被験者の視力の将来の強化の程度を判定するための１つ以上の主要指標に対応するメトリックの識別を最適化することができる。
【0031】
セグメント固有メトリックのセットを処理するために使用されるメトリック処理機械学習モデルは、網膜関連画像セグメントを検出するために使用されるセグメント検出機械学習モデルのタイプとは異なり得る。例えば、セグメント固有メトリックを処理するために使用されるメトリック処理機械学習モデルは、勾配ブースティングマシンを含むことができる。メトリック処理機械学習モデルによって出力される結果は、（例えば）被験者の予測される将来の視力（例えば、特定の時間における）、予測される２０／４０最良矯正視力（ＢＣＶＡ）値（例えば、特定の時点における）、被験者の将来の視力が所定の視力閾値を超えるかどうかに関する予測（例えば、特定の時間における）に対応し得る。
【0032】
したがって、本開示の実施形態は、被験者の将来の視力に対応する個別化予測をより正確に生成することによって、従来のシステムを超える技術的利点を提供する。画像を処理するために単一のタイプの機械学習モデルを使用するのではなく、セグメント検出機械学習モデルおよびメトリック処理機械学習モデルを同じシーケンスにおいて使用して、予測される将来の視力の精度を向上させることができる。さらに、様々なメトリックが被験者の将来の視力を予測する程度を学習するためにメトリック処理機械学習モデルを使用することによって、セグメント検出機械学習モデルは、個々のセグメントタイプが被験者の将来の視力を予測する程度に基づいて網膜関連画像セグメントを差別的に重み付けするようにさらに訓練され得る。これは、従来のシステムと比較してより正確な機械学習システムをもたらすことができる。
ＩＩ．将来の視力を予測するために機械学習モデルを使用するための例示的なコンピューティング環境
ＩＩ．将来の視力を予測するために機械学習モデルを使用するための例示的なコンピューティング環境
【0033】
図１は、被験者の将来の視力に対応する予測を生成するために機械学習モデルを使用するための例示的な処理方式１００を示している。処理方式１００は、画像１０２にアクセスすることと、セグメント検出機械学習モデル１０４ａ～ｎのセットを使用して画像１０１を処理することとを含むことができる。セグメント検出機械学習モデル１０４ａ～ｎのセットは、網膜層内セグメンテーションアルゴリズム１０４ａおよび機械学習モデル（例えば、畳み込みニューラルネットワーク、深層ニューラルネットワーク、または深層畳み込みニューラルネットワーク１０４ｂ）を含むことができる。セグメント検出機械学習モデルのセットは、網膜関連画像セグメント１０６ａ～ｎ（例えば、液のタイプ、網膜層、特定の血管系、または特定の網膜異常を示す画像セグメント）のセットを検出することができる。網膜関連画像セグメント１０６ａ～ｎのセットに基づいて、セグメント固有メトリック１０８ａ～ｎのセットが生成され得る。セグメント固有メトリック１０８ａ～ｎのセットの各セグメント固有メトリックは、網膜関連画像セグメント１０６ａ～ｎのセットの網膜関連画像セグメントに対応することができる。セグメント固有メトリック１０８は、（例えば）セグメントの相対的な位置、幅、深さ、曲率、または均一性の度合いに関連することができる。場合によっては、セグメント固有メトリック１０８は、網膜関連画像セグメント１０６ａ～ｎのセットの複数のセグメント（例えば、２つのセグメント間の平均、中央値、最大または最小距離）に関連してもよい。セグメント固有メトリック１０８ａ～ｎのセットは、視力予測１１２を出力することができるメトリック処理機械学習モデル１１０を使用することによって処理され得る。視力予測１１２は、被験者の予測される将来の視力（例えば、特定の時間における）であってもよい。予測される将来の視力は、予測される正確な視力値、または所与の視力ベースの条件が満たされると予測されるかどうかに関する指標を含むことができる。
ＩＩ．Ａ．将来の視力を予測するための機械学習モデルの訓練
ＩＩ．Ａ．将来の視力を予測するための機械学習モデルの訓練
【0034】
被験者の将来の視力を予測するための機械学習モデル（例えば、セグメント検出機械学習モデル１０４ａ～ｎ、メトリック処理機械学習モデル１１０）は、教師あり訓練アルゴリズムを使用して訓練され得る。教師あり訓練アルゴリズムを、機械学習モデルを訓練して、将来の視力に対応する予測に対応する線形および／またはロジスティック回帰値に対応する出力を生成するために使用してもよい。機械学習モデルは、訓練データセットに基づいて訓練され得る。訓練データセットは、「Ａ Ｓｔｕｄｙ ｏｆ Ｒａｎｉｂｉｚｕｍａｂ Ａｄｍｉｎｉｓｔｅｒｅｄ Ｍｏｎｔｈｌｙ ｏｒ ｏｎ ａｎ Ａｓ－ｎｅｅｄｅｄ Ｂａｓｉｓ ｉｎ Ｐａｔｉｅｎｔｓ Ｗｉｔｈ Ｓｕｂｆｏｖｅａｌ Ｎｅｏｖａｓｃｕｌａｒ Ａｇｅ－ｒｅｌａｔｅｄ Ｍａｃｕｌａｒ Ｄｅｇｅｎｅｒａｔｉｏｎ」に基づく臨床データ（以下、「ＨＡＲＢＯＲ臨床データ」という）などの臨床試験データから導出され得る。訓練データセットは、訓練画像のセットを含むことができる。訓練画像のセットの各訓練画像は、訓練画像が収集された日付に対して設定された特定の時点（例えば、訓練画像が収集された日付から１２ヶ月）における被験者の視力によってラベル付けされ得る。訓練画像のセットの各訓練画像は、（１）眼関連疾患の処置の開始に対する時点（例えば、開始後１ヶ月、開始後２ヶ月）、（２）処置の投薬量、および（３）処置の頻度パターンを含む処置特性に対応する情報によってラベル付けされ得る。追加的または代替的に、訓練画像のセットの各訓練画像は、訓練画像に対応する被験者の特性を表す情報によってラベル付けされ得る。被験者の特性を表す情報は、訓練画像が収集された日付における被験者の年齢、性別、および／または視力を含むことができる。
【0035】
機械学習モデルを訓練するために、様々なタイプのコスト関数が使用され得る。コスト関数は、一次コスト関数、二次コスト関数、および三次コスト関数を含むことができる。場合によっては、バックプロパゲーション技術を、被験者の将来の視力を予測するための機械学習モデルに関連する重みの学習を容易にするために使用することができる。バックプロパゲーションは、例えば、確率的勾配降下（ＳＧＤ）アルゴリズムを使用して、隠れ層のパラメータを累積的に更新してもよい。学習されたパラメータは、例えば、重み、バイアス、および／または他の隠れ層関連パラメータを含むことができ、これらは、パラメータデータストアに記憶され得る。
ＩＩ．Ｂ．将来の視力を予測するための入力データ
ＩＩ．Ｂ．将来の視力を予測するための入力データ
【0036】
画像１０２は、被験者の網膜の少なくとも一部を描写し得る二次元または三次元画像とすることができる。画像１０２は、マイクロメータレベルの精度で網膜の断面部分を描写し得、断面部分は、網膜色素上皮層またはブルッフ膜（例えば）を含む異なる部分を示すことができる。画像１０２をキャプチャするために、様々なタイプの医療撮像技術が使用され得る。例えば、網膜の一部を描写する画像１０２は、低コヒーレンス光を利用する光干渉断層撮影（ＯＣＴ）を使用することによってキャプチャされ得る。医療撮像技術の他の例は、スペクトル領域光干渉断層撮影（ＳＤ－ＯＣＴ）、広視野光干渉断層撮影、光音響撮像、および走査レーザー検眼鏡検査を含むことができる。
【0037】
画像１０２は、様々な状態下の被験者に対応する網膜の少なくとも一部を描写するようにキャプチャされ得る。例えば、画像１０２は、眼関連疾患（例えば、黄斑変性）と診断された被験者に対応してもよい。処置は、被験者についてまだ識別および／または開始されていてもいなくてもよい。画像１０２を、眼関連疾患に関連する症状の処置または改善において有効であると予測される処置（例えば、処置有効性目標を満たすために、または他の処置選択肢に対して）を識別するために使用することができる将来の視力を生成するために処理され得る。別の例では、画像１０２は、眼関連疾患の処置を受けている被験者に対応してもよい。そのような例で説明される画像１０２を、現在の処置が眼関連疾患に関連する症状の処置または改善に有効であるかどうかを識別するために使用することができる将来の視力を生成するために処理され得る。将来の視力がそうでないことを示す場合、被験者に対して異なる処置が選択され得る。被験者の将来の視力を生成するために、キャプチャされた画像１０２がセグメント処理機械学習モデル１０４ａ～ｎによって処理されて、被験者の将来の視力を予測することができる情報を明らかにすることができる。
ＩＩ．Ｃ．入力画像内の画像セグメントを検出するためのセグメント処理機械学習モデル
ＩＩ．Ｃ．入力画像内の画像セグメントを検出するためのセグメント処理機械学習モデル
【0038】
画像１０２は、網膜関連画像セグメント１０６ａ～ｎのセットを検出するために、セグメント処理機械学習モデル１０４ａ～ｎによって処理され得る。網膜関連画像セグメント（例えば、網膜関連画像セグメント１０６ａ）は、網膜に関連する部分に対応する画像（例えば、画像１０２ｃ）内の画素領域を指すことができる。網膜に関連する部分は、網膜構造のタイプに対応してもよい。網膜構造のタイプは、単一の網膜層および／または複数の網膜層を含むことができる。網膜層の例は、以下のうちの１つ以上を含むことができる：
１．内境界膜、
２．神経繊維層、
３．神経節細胞層、
４．内網状層、
５．内核層、
６．外網状層、
７．外核層、
８．外境界膜、
９．光受容層、
１０．網膜色素上皮、
１１．ブルッフ膜、
１２．脈絡毛細管板、および
１３．脈絡膜間質。
１．内境界膜、
２．神経繊維層、
３．神経節細胞層、
４．内網状層、
５．内核層、
６．外網状層、
７．外核層、
８．外境界膜、
９．光受容層、
１０．網膜色素上皮、
１１．ブルッフ膜、
１２．脈絡毛細管板、および
１３．脈絡膜間質。
【0039】
網膜構造のタイプは、ブルッフ膜、脈絡膜、および強膜を含む、網膜色素上皮の下方に位置する追加の構造を含むことができる。検出された網膜構造は、黄斑円孔、黄斑プラッカ、および悪化した黄斑などの網膜に存在する変形を示すことができる。網膜構造のタイプは、網膜関連画像セグメントがセグメント処理機械学習モデル１０４ａ～ｎによって検出された位置に基づいて識別され得る。例えば、網膜関連画像セグメントの検出された位置が画像１０２の上部にある場合、網膜構造のタイプが内境界膜として識別され得る。
【0040】
網膜構造に加えて、網膜に関連する部分はまた、網膜内液、網膜下液（例えば、黄斑浮腫を示すことができる）、および／または（例えば、色素上皮剥離を引き起こす）ブルッフ膜と網膜色素上皮との間の液などの網膜液のタイプに対応してもよい。
ＩＩ．Ｃ．１ 網膜構造に対応する画像セグメントを検出するための網膜層内セグメンテーションアルゴリズム
ＩＩ．Ｃ．１ 網膜構造に対応する画像セグメントを検出するための網膜層内セグメンテーションアルゴリズム
【0041】
様々なタイプのセグメント処理機械学習モデル１０４ａ～ｎを、網膜関連画像セグメント１０６ａ～ｎのセットを検出するために使用することができる。セグメンテーションプロセスは、画像１０２の複数のコピーを生成することによって開始してもよい。画像１０２の第１のコピーは、網膜層内セグメンテーションアルゴリズム１０４ａを使用して処理され、網膜構造（例えば、網膜層）に対応する画像セグメント（例えば、網膜関連画像セグメント１０６ａ～ｄ）を検出することができる。画像１０２の第１のコピーでは、網膜層内セグメンテーションアルゴリズム１０４ａは、画像内の複数の網膜表面を検出することができる。画像１０２の第１のコピーを処理するために、画像１０２の第１のコピーは、画像１０２に関連する画像ノイズを低減するように異方性拡散演算を介して前処理され得る。前処理された画像は、網膜層内セグメンテーションアルゴリズム１０４ａによって処理されて、エッジのセットを検出することができる。エッジは、前処理された画像内の画素領域の明から暗および／または暗から明への遷移に基づいて識別され得る。代替的または追加的に、エッジのセットは、前処理された画像内の暗、中間、および／または明強度の画素領域に基づいて識別され得る。場合によっては、１Ｄピーク検出アルゴリズムを、前処理された画像からエッジのセットを検出するために使用することができる。エッジのセットに基づいて、網膜層内セグメンテーションアルゴリズム１０４ａによって網膜表面が検出され得る。
【0042】
複数の網膜表面のうちの１つの網膜表面は、２つの網膜層の間の境界を示す識別子と関連付けることができる。例えば、網膜層内セグメンテーションアルゴリズム１０４ａによって検出された網膜表面は、網膜表面が網膜神経線維層と神経節細胞層との間の境界として機能することを示す識別子ＲＮＦＬ－ＧＣＬに関連付けてもよい。網膜層内セグメンテーションアルゴリズム１０４ａは、網膜層に対応する網膜関連画像セグメントとして、隣接する２つの網膜表面の間の領域を指定してもよい。網膜層内セグメンテーションアルゴリズム１０４ａは、隣接する２つの網膜表面のそれぞれの識別子に基づいて、内網状層などの網膜構造のタイプを識別する。網膜層内セグメンテーションアルゴリズム１０４ａは、網膜構造に対応する網膜関連画像セグメント（例えば、網膜関連画像セグメント１０６ａ～ｄ）を検出するために、網膜表面の全てについて上記の動作を繰り返すことができる。
【0043】
様々なタイプの網膜層内セグメンテーションアルゴリズムを、網膜構造（例えば、網膜層）を検出するために使用することができる。タイプは、これらに限定されないが、Ｓｐｒｅｃｔｒａｌｉｓ ＳＤ－ＯＣＴシステム、ＩＯＷＡ参照アルゴリズム、自動網膜分析ツール（ＡＵＲＡ）、デュフールのアルゴリズム、およびＯＣＴＲＩＭＡ３Ｄシステムを含むことができる。
ＩＩ．Ｃ．２ 網膜液のタイプに対応する画像セグメントを検出するための深層畳み込みニューラルネットワーク
ＩＩ．Ｃ．２ 網膜液のタイプに対応する画像セグメントを検出するための深層畳み込みニューラルネットワーク
【0044】
網膜に関連する他の部分に対応する網膜関連画像セグメント（例えば、網膜関連画像セグメント１０６ｅ～ｇ）を検出するために、深層畳み込みニューラルネットワーク１０４ｂが使用され得る。画像１０２の第２のコピーは、網膜内液、網膜下液（例えば、黄斑浮腫を示すことができる）、および／または（例えば、色素上皮剥離を引き起こす）ブルッフ膜と網膜色素上皮との間の液を含む網膜液のタイプに対応する網膜関連画像セグメント（例えば、網膜関連画像セグメント１０６ｅ）を検出するために、深層畳み込みニューラルネットワーク１０４ｂによって処理され得る。深層畳み込みニューラルネットワーク１０４ｂは、画像１０２の第２のコピーにアクセスし、画像１０２の第２のコピー内の網膜関連画像セグメント（例えば、網膜関連画像セグメント１０６ｅ～ｇ）を検出するために使用され得る一連の隠れ畳み込み層（例えば、畳み込み、ＲｅＬＵ層、プーリング層）を介して第２のコピーを処理してもよい。検出された網膜関連セグメントの各網膜関連画像セグメントについて、深層畳み込みニューラルネットワーク１０４ｂは、網膜関連画像セグメントについての網膜液のタイプの推定に対応する結果を生成し得る全結合層（例えば、ソフトマックス層を有するマルチパーセプトロンニューラルネットワーク）を使用することができる。結果として、網膜関連画像セグメント（例えば、網膜関連画像セグメント１０６ｅ～ｇ）は、網膜液のタイプに対応する。
ＩＩ．Ｄ．セグメント固有メトリックを生成するためのシステム
ＩＩ．Ｄ．セグメント固有メトリックを生成するためのシステム
【0045】
セグメント固有メトリック１０８ａ～ｎのセットは、網膜関連画像セグメント１０６ａ～ｎのセットに基づいて生成され得る。セグメント固有メトリック１０８ａ～ｎのセットの各セグメント固有メトリックは、網膜関連画像セグメント１０６ａ～ｎのセットの網膜関連画像セグメントに対応することができる。セグメント固有メトリックは、網膜関連画像セグメントのタイプに基づいて異なるタイプのメトリックに関連付けられてもよい。例えば、網膜構造（例えば、網膜色素上皮）に対応するセグメント固有メトリックは、網膜構造と別の網膜構造（例えば、内境界膜）との間の中心窩厚および中心窩体積を含むことができる。中心窩厚および中心窩体積のそれぞれはまた、メトリックが識別された網膜内の特定の位置を示すことができる。特定の位置は、早期処置糖尿病網膜症試験（ＥＴＤＲＳ）グリッド内の１から９の範囲の値としてもよい。別の例では、網膜液（例えば、網膜下液）のタイプに対応するセグメント固有メトリックは、総液体積および網膜内の特定の位置（例えば、ＥＴＤＲＳ位置）における液体積を含むことができる。追加的および代替的に、セグメント固有メトリック１０８ａ～ｎのセットのセグメント固有メトリックは、被験者の性別、被験者の年齢、被験者に対応する最良補正視力（ＢＣＶＡ）値を含む追加のセットのメトリックによって補完されてもよい。
ＩＩ．Ｅ．将来の視力の予測を生成するためのメトリック処理機械学習モデル
ＩＩ．Ｅ．将来の視力の予測を生成するためのメトリック処理機械学習モデル
【0046】
メトリック処理機械学習モデル１１０は、セグメント固有メトリック１０８ａ～ｎのセットを処理し、画像１０２に関連付けられた被験者に対応する視力予測１１２を生成することができる。場合によっては、メトリック処理機械学習モデル１１０は、決定木などの機械学習モデルのアンサンブルを含むことができる勾配ブースティングマシンを含むことができる。セグメント固有メトリックのセットの各セグメント固有メトリックは、勾配ブースティングマシンに対応する一連の機械学習モデルによって処理され得、アンサンブルの第１の機械学習モデルの中間出力は、アンサンブルの第２の機械学習モデルへの入力として使用され得る。セグメント固有メトリックのセットのそれぞれに対応する出力が集約されて、画像１０２に関連付けられた被験者の将来の視力の予測に対応する最終出力（例えば、視力予測１１２）を生成することができる。
【0047】
場合によっては、メトリック処理機械学習モデル１１０は、深層ニューラルネットワークを含むことができる。セグメント固有メトリック１０８ａ～ｎのセットの各セグメント固有メトリック（例えば、中心窩厚）について、深層ニューラルネットワークは、その入力層のニューロンにセグメント固有メトリックを割り当ててもよい。入力層のニューロンは、隠れ層に対応するニューロンの入力として値を渡すことができ、各ニューロンは、入力、そのパラメータ、およびその関連する活性化関数に基づいて中間値を計算する。中間値は、深層ニューラルネットワークの後続の隠れ層のニューロンに対する入力として提供され得、中間値が深層ニューラルネットワークの出力層に到達するまで、隠れ層ごとに計算プロセスが繰り返され得る。出力層は、中間値に基づいて、視力予測１１２に対応する結果を出力し得る。
【0048】
場合によっては、メトリック処理機械学習モデル１１０は、ランダムフォレスト回帰モデルを含むことができる。ランダムフォレスト回帰モデルは、セグメント固有メトリック１０８ａ～ｎのセットのセグメント固有メトリックのサブセットを含むランダムサンプルを選択してもよい。ランダムサンプルの各セグメント固有メトリック（例えば、ＥＴＤＲＳ値が３の液体積）について、セグメント固有メトリックは、将来の視力に対応する中間結果を生成することができるランダムフォレスト回帰モデルの決定木に割り当てられることができる。各決定木によって生成された中間結果が集約されて、視力予測１１２に対応する最終結果を識別することができる。最終結果は、（例えば）決定木によって生成された中間結果の平均値、中央値、合計値、最大値、または最小値とすることができる。
ＩＩ．Ｆ．将来の視力の実用的応用
ＩＩ．Ｆ．将来の視力の実用的応用
【0049】
視力予測１１２を、被験者の将来の視力を予測するために使用することができる。将来の視力は、特定の時点（例えば、画像１０２がキャプチャされた日付から１２ヶ月）における被験者の視力を示すことができる。視力予測１１２は、処置がまだ識別されていない眼関連疾患（例えば、黄斑変性）と診断された被験者の画像１０２から生成された結果に対応してもよい。そのような場合、視力予測１１２を、眼関連疾患に関連する症状を処置または改善するのに最も効果的であると考えることができる処置を識別するために使用することができる。例えば、視力予測１１２に対応する値は、特定の時点における眼関連疾患の予測重症度を示すことができる。視力予測１１２に対応する予測重症度に応じて、処置が選択され得る。処置は、眼への抗血管新生薬の注射、活発に成長している異常な血管を破壊するレーザー治療、および異常な血管を損傷するために感光性薬物を使用する光線力学的レーザー治療を含むことができる。
【0050】
視力予測１１２は、眼関連疾患の処置（例えば、抗ＶＥＧＦ治療）を受けている被験者の画像１０２から生成された結果に対応してもよい。そのような場合、視力予測１１２は、特定の時点における被験者の将来の視力を示し、さらに、視力予測１１２に対応する値に基づいて、現在の処置が被験者の視力を改善したかどうかを示すことができる。現在の処置の有効性を識別するために、視力予測１１２に対応する値が、画像１０２に関連する被験者に対応する視力値（例えば、ＢＣＶＡ）と比較され得る。比較値は、被験者の視力の改善の程度を示すことができる。追加的または代替的に、視力予測１１２に対応する値は、所定の視力閾値と比較され得る。視力予測１１２に対応する値が所定の視力閾値を超える場合、現在の処置が維持され得る。視力予測１１２に対応する値が所定の視力閾値を超えない場合、異なる処置（例えば、光線力学的レーザー治療）が被験者に対して選択され得る。
ＩＩＩ．将来の視力を予測するために機械学習モデルを使用する例示的なプロセス
ＩＩＩ．将来の視力を予測するために機械学習モデルを使用する例示的なプロセス
【0051】
図２は、被験者の将来の視力に対応する予測を生成するために機械学習モデルを使用するプロセス２００を示している。プロセスは、ブロック２０２において開始する。被験者の網膜の少なくとも一部の画像は、網膜関連セグメントのセットを検出するために機械学習モデルの第１のセットを使用して処理され得る。画像は、ＯＣＴシステム（例えば、ＳＤ－ＯＣＴシステム）を使用してキャプチャされ得る。網膜関連セグメントのセットの網膜関連セグメントは、網膜に関連する部分に対応する画像内の画素領域に対応してもよい。網膜関連セグメントは、網膜構造または網膜液のタイプを含むことができる。網膜構造は、神経線維層またはブルッフ膜などの単一の網膜層および／または複数の網膜層を含むことができる。網膜液のタイプは、網膜下液、網膜内液、および網膜色素内皮を含むことができる。
【0052】
機械学習モデルの第１のセットは、異なるタイプの機械学習モデルが使用されて網膜関連セグメントのタイプを検出することができるセグメント処理機械学習モデルのセットを含んでもよい。例えば、網膜層内セグメンテーションアルゴリズムを、網膜構造に対応する網膜関連セグメントを検出するために使用してもよい。網膜層内セグメンテーションアルゴリズムを、画像内の画素強度パターンの分析に基づいて画像から網膜構造を検出するために使用することができる。
【0053】
ブロック２０４において、セグメント固有メトリックのセットが生成され得る。セグメント固有メトリックのセットの各セグメント固有メトリックは、網膜関連セグメントのセットの網膜関連セグメントを特徴付けてもよい。網膜関連セグメントのタイプに基づいて、対応するセグメント固有メトリックを異なるデータタイプに関連付けてもよい。例えば、網膜関連セグメントのタイプが網膜構造である場合、網膜構造（例えば、網膜色素上皮）に対応するセグメント固有メトリックは、網膜構造と別の網膜構造（例えば、内境界膜）との間の中心窩厚および中心窩体積を含むことができる。別の例では、網膜関連セグメントのタイプが網膜液のタイプである場合、網膜液のタイプ（例えば、網膜下液）に対応するセグメント固有メトリックは、総液体積および網膜内の特定の位置（例えば、ＥＴＤＲＳ位置）における液体積を含むことができる。
【0054】
ブロック２０６において、セグメント固有メトリックのセットは、被験者の将来の視力に対応する予測に対応する結果を生成するために、第２の機械学習モデルを使用して処理され得る。第２の機械学習モデルは、メトリック処理機械学習モデルを含むことができる。例えば、メトリック処理機械学習モデルは、勾配ブースティングマシンに対応してもよく、勾配ブースティングマシンは、決定木などの機械学習モデルのアンサンブルを含んでもよい。セグメント固有メトリックのセットの各セグメント固有メトリックは、勾配ブースティングマシンに対応する一連の機械学習モデルによって処理され得、アンサンブルの第１の機械学習モデルの中間出力は、アンサンブルの第２の機械学習モデルへの入力として使用され得る。
【0055】
被験者の将来の視力に対応する予測は、画像が収集された日付に対して設定された特定の時点における将来の視力値を含むことができる。場合によっては、予測は、将来の視力が特定の時点において所定の視力閾値（例えば、２０／４０－ＢＣＶＡ）を超えるかどうかをさらに示すことができる。
【0056】
ブロック２０８において、結果が出力される。例えば、結果は、ローカルに提示されるか、または別の装置に送信され得る。結果は、被験者の識別子とともに出力されてもよい。結果は、セグメント固有メトリックのタイプが結果に寄与する程度を識別するために使用することができる。結果は、被験者の特徴を識別する追加情報（例えば、年齢、性別、ＢＣＶＡ）とともに出力され得る。
ＩＶ．将来の視力を予測するための機械学習モデルの評価
ＩＶ．Ａ．将来の視力が所定の視力閾値を超えるかどうかを予測するための機械学習モデルの評価
ＩＶ．将来の視力を予測するための機械学習モデルの評価
ＩＶ．Ａ．将来の視力が所定の視力閾値を超えるかどうかを予測するための機械学習モデルの評価
【0057】
図３は、実際の観測と比較して、訓練された画像セグメント化機械学習モデルおよび訓練されたメトリック処理機械学習モデルによって生成された出力に対応する精度データを伝達する受信者動作特性（ＲＯＣ）曲線のセット３００を示している。受信者動作特性（ＲＯＣ）曲線のセット３００は、様々な時点で収集された訓練画像を含むように訓練データの範囲を拡張することにより、特定の時点における将来の視力が所定の視力閾値を超えるかどうかに対応する予測の全体的な精度を向上させることができることを実証するために提示される。描写された４つのＲＯＣ曲線３０５、３１０、３１５、および３２０のそれぞれは、訓練された機械学習モデルの例示的なセットに対応する精度データ（例えば、曲線下面積値）を示している。訓練された機械学習モデルのセットは、訓練された画像セグメント化機械モデル（例えば、画像セグメント化機械学習モデル１０４ａ～ｎ）および訓練されたメトリック処理機械学習モデル（例えば、図１のメトリック処理機械学習モデル１１０）を含んでいた。
【0058】
４セットの機械学習モデルの各セットは、訓練データセット（例えば、ＨＡＲＢＯＲ臨床データ）を使用して訓練された。訓練データセットは、訓練画像のセットを含んでいた。訓練画像のセットの各訓練画像は、ある時点（例えば、処置開始から１２ヶ月）における被験者の視力によってラベル付けされた。訓練データセットの異なるサブセットを、ＲＯＣ曲線３０５、３１０、３１５、および３２０に対応する４セットの機械学習モデルの各セットを訓練するために使用した。
１．ＲＯＣ曲線３０５に対応する機械学習モデルの第１のセットは、抗ＶＥＧＦ処置の開始時における被験者のキャプチャされた画像データに対応する９０７個のＳＤ－ＯＣＴ画像（ｎ＝９０７）を含む第１の訓練データセットを使用して訓練された。
２．ＲＯＣ曲線３１０に対応する機械学習モデルの第２のセットは、抗ＶＥＧＦ処置の開始後１ヶ月における被験者のキャプチャされた画像データに対応する８８０個のＳＤ－ＯＣＴ画像（ｎ＝８８０）の第１の訓練データセットおよび第２の訓練データセットを使用して訓練された。
３．ＲＯＣ曲線３１５に対応する機械学習モデルの第３のセットは、抗ＶＥＧＦ処置の開始後２ヶ月における被験者のキャプチャされた画像データに対応する８４７個のＳＤ－ＯＣＴ画像（ｎ＝８４７）の第１の訓練データセット、第２の訓練データセット、および第３の訓練データセットを使用して訓練された。
４．ＲＯＣ曲線３２０に対応する機械学習モデルの第４のセットは、抗ＶＥＧＦ処置の開始後３ヶ月における被験者のキャプチャされた画像データに対応する８１６個のＳＤ－ＯＣＴ画像（ｎ＝８１６）の第１の訓練データセット、第２の訓練データセット、第３の訓練データセット、および第４のデータセットを使用して訓練された。
１．ＲＯＣ曲線３０５に対応する機械学習モデルの第１のセットは、抗ＶＥＧＦ処置の開始時における被験者のキャプチャされた画像データに対応する９０７個のＳＤ－ＯＣＴ画像（ｎ＝９０７）を含む第１の訓練データセットを使用して訓練された。
２．ＲＯＣ曲線３１０に対応する機械学習モデルの第２のセットは、抗ＶＥＧＦ処置の開始後１ヶ月における被験者のキャプチャされた画像データに対応する８８０個のＳＤ－ＯＣＴ画像（ｎ＝８８０）の第１の訓練データセットおよび第２の訓練データセットを使用して訓練された。
３．ＲＯＣ曲線３１５に対応する機械学習モデルの第３のセットは、抗ＶＥＧＦ処置の開始後２ヶ月における被験者のキャプチャされた画像データに対応する８４７個のＳＤ－ＯＣＴ画像（ｎ＝８４７）の第１の訓練データセット、第２の訓練データセット、および第３の訓練データセットを使用して訓練された。
４．ＲＯＣ曲線３２０に対応する機械学習モデルの第４のセットは、抗ＶＥＧＦ処置の開始後３ヶ月における被験者のキャプチャされた画像データに対応する８１６個のＳＤ－ＯＣＴ画像（ｎ＝８１６）の第１の訓練データセット、第２の訓練データセット、第３の訓練データセット、および第４のデータセットを使用して訓練された。
【0059】
４つの訓練データセットにわたって、訓練データセットは、以下の様々な用量レベルおよび処置頻度で抗ＶＥＧＦ処置を受けた被験者と関連付けられた：（１）ラニビズマブ０．５ｍｇ／月、（２）ラニビズマブ２．０ｍｇ／月、（３）必要に応じてラニビズマブ０．５ｍｇ、および（４）必要に応じてラニビズマブ２．０ｍｇ。評価に関して、将来の視力値は、５重交差検証手順に基づいて生成された。
【0060】
訓練フェーズに続いて、訓練された４セットの機械学習モデルの各セットを、ラベルなし画像（例えば、図１の画像１０２）を処理し、ラベルなし画像が収集された日付から１２ヶ月に関連付けられた将来の視力に対応する予測に対応する出力を生成するために使用した。その後、訓練された機械学習モデルの各セットの予測を、将来の視力が所定の視力閾値を超えたかどうかを判定するために使用した。所定の視力閾値を超えることは、特定の時点において被験者が２０／４０を超えるＢＣＶＡ値を得ることを示した。訓練された機械学習モデルのセットの予測データは、同じラベルなし画像から導出された実際の観測と比較された。
【0061】
ＲＯＣ曲線３０５は、第１の訓練データセットによって訓練された訓練済み機械学習モデルの第１のセットに対応する精度データを示している。ＲＯＣ曲線３０５について、曲線下面積（ＡＵＣ）は、０．７７±０．０４であり、感度は、０．７４±０．０５であり、特異度は、０．７０±０．０５である。ＲＯＣ曲線３１０は、第２の訓練データセット（例えば、抗ＶＥＧＦ処置の開始時および抗ＶＥＧＦ処置の開始１ヶ月後における被験者の網膜を示す訓練画像のセット）によって訓練された訓練済み機械学習モデルの第２のセットに対応する精度データを示している。ＲＯＣ曲線３１０について、ＡＵＣは、０．８５±０．０３であり、感度は、０．８３±０．０４であり、特異度は、０．７３±０．０４である。
【0062】
ＲＯＣ曲線３１５は、第３の訓練データセット（例えば、抗ＶＥＧＦ処置の開始時、抗ＶＥＧＦ処置の開始１ヶ月後、および抗ＶＥＧＦ処置の開始２ヶ月後における被験者の網膜を示す訓練画像のセット）によって訓練された訓練済み機械学習モデルの第３のセットに対応する精度データを示している。ＲＯＣ曲線３１５について、ＡＵＣは、０．８８±０．０３であり、感度は、０．８６±０．０４であり、特異度は、０．７８±０．０４である。ＲＯＣ曲線３２０は、第４の訓練データセット（例えば、抗ＶＥＧＦ処置の開始時、抗ＶＥＧＦ処置の開始１ヶ月後、抗ＶＥＧＦ処置の開始２ヶ月後、および抗ＶＥＧＦ処置の開始３ヶ月後における被験者の網膜を示す訓練画像のセット）によって訓練された訓練済み機械学習モデルの第４のセットに対応する精度データを示している。ＲＯＣ曲線３２０について、ＡＵＣは、０．９１±０．０２であり、感度は、０．８７±０．０４であり、特異度は、０．８３±０．０４である。
【0063】
ＲＯＣ曲線３０５、３１０、３１５、３２０のそれぞれから導出されたＡＵＣ値に基づいて、訓練データの拡張された範囲（例えば、３ヶ月のラベル付けされた訓練画像に及ぶ第４の訓練データセット）を使用して機械学習モデルを訓練することにより、被験者の将来の視力に対応する予測の精度を大幅に向上させることができる。
ＩＶ．Ｂ．将来の視力値を予測するための機械学習モデルの評価
ＩＶ．Ｂ．将来の視力値を予測するための機械学習モデルの評価
【0064】
図４は、実際の観測と比較して、訓練された画像セグメント化機械学習モデルおよび訓練されたメトリック処理機械学習モデルによって生成された出力に対応する精度データを伝達する散布図グラフのセット４００を示している。上記提示された評価と同様に、散布図グラフのセット４００は、様々な時点で収集された訓練画像を含むように訓練データの範囲を拡大すると、将来の視力に対応する予測の全体的な精度を向上させることができることを実証するために提示された。４つの散布図グラフ４０５、４１０、４１５、および４２０のそれぞれは、訓練された機械学習モデルの例示的なセットに対応する精度データ（Ｒ二乗値）を示している。訓練された機械学習モデルのセットは、訓練された画像セグメント化機械モデル（例えば、画像セグメント化機械学習モデル１０４ａ～ｎ）および訓練されたメトリック処理機械学習モデル（例えば、図１のメトリック処理機械学習モデル１１０）を含んでいた。
【0065】
４セットの機械学習モデルの各セットは、訓練データセット（例えば、ＨＡＲＢＯＲ臨床データ）を使用して訓練された。訓練データセットは、訓練画像のセットを含んでいた。訓練画像のセットの各訓練画像は、ある時点（例えば、処置開始から１２ヶ月）における被験者の視力によってラベル付けされた。訓練データセットの異なるサブセットを、散布図グラフ４０５、４１０、４１５、および４２０に対応する４セットの機械学習モデルの各セットを訓練するために使用した。
１．散布図グラフ４０５に対応する機械学習モデルの第１のセットは、抗ＶＥＧＦ処置の開始時における被験者のキャプチャされた画像データに対応する９０７個のＳＤ－ＯＣＴ画像（ｎ＝９０７）を含む第１の訓練データセットを使用して訓練された。
２．散布図グラフ４１０に対応する機械学習モデルの第２のセットは、抗ＶＥＧＦ処置の開始後１ヶ月における被験者のキャプチャされた画像データに対応する８８０個のＳＤ－ＯＣＴ画像（ｎ＝８８０）の第１の訓練データセットおよび第２の訓練データセットを使用して訓練された。
３．散布図グラフ４１５に対応する機械学習モデルの第３のセットは、抗ＶＥＧＦ処置の開始後２ヶ月における被験者のキャプチャされた画像データに対応する８４７個のＳＤ－ＯＣＴ画像（ｎ＝８４７）の第１の訓練データセット、第２の訓練データセット、および第３の訓練データセットを使用して訓練された。
４．散布図グラフ４２０に対応する機械学習モデルの第４のセットは、抗ＶＥＧＦ処置の開始後３ヶ月における被験者のキャプチャされた画像データに対応する８１６個のＳＤ－ＯＣＴ画像（ｎ＝８１６）の第１の訓練データセット、第２の訓練データセット、第３の訓練データセット、および第４のデータセットを使用して訓練された。
１．散布図グラフ４０５に対応する機械学習モデルの第１のセットは、抗ＶＥＧＦ処置の開始時における被験者のキャプチャされた画像データに対応する９０７個のＳＤ－ＯＣＴ画像（ｎ＝９０７）を含む第１の訓練データセットを使用して訓練された。
２．散布図グラフ４１０に対応する機械学習モデルの第２のセットは、抗ＶＥＧＦ処置の開始後１ヶ月における被験者のキャプチャされた画像データに対応する８８０個のＳＤ－ＯＣＴ画像（ｎ＝８８０）の第１の訓練データセットおよび第２の訓練データセットを使用して訓練された。
３．散布図グラフ４１５に対応する機械学習モデルの第３のセットは、抗ＶＥＧＦ処置の開始後２ヶ月における被験者のキャプチャされた画像データに対応する８４７個のＳＤ－ＯＣＴ画像（ｎ＝８４７）の第１の訓練データセット、第２の訓練データセット、および第３の訓練データセットを使用して訓練された。
４．散布図グラフ４２０に対応する機械学習モデルの第４のセットは、抗ＶＥＧＦ処置の開始後３ヶ月における被験者のキャプチャされた画像データに対応する８１６個のＳＤ－ＯＣＴ画像（ｎ＝８１６）の第１の訓練データセット、第２の訓練データセット、第３の訓練データセット、および第４のデータセットを使用して訓練された。
【0066】
４つの訓練データセットにわたって、訓練データセットは、以下の様々な用量レベルおよび処置頻度で抗ＶＥＧＦ処置を受けた被験者と関連付けられた：（１）ラニビズマブ０．５ｍｇ／月、（２）ラニビズマブ２．０ｍｇ／月、（３）必要に応じてラニビズマブ０．５ｍｇ、および（４）必要に応じてラニビズマブ２．０ｍｇ。評価に関して、将来の視力値は、５重交差検証手順に基づいて生成された。
【0067】
訓練フェーズに続いて、訓練された機械学習モデルの４セットを、ラベルなし画像（例えば、図１の画像１０２）を処理し、ラベルなし画像が収集された日付から１２ヶ月に関連付けられた将来の視力に対応する予測に対応する出力を生成するために使用した。４つの訓練された機械学習モデルのセットの各セットによって生成された各出力は、ｙ軸値に割り当てられ、出力を生成するために使用されたラベルなし画像から導出された観測データは、対応するｘ軸値に割り当てられた。予測出力と実際のデータとの比較に対応するｘおよびｙの値の対が散布図グラフ（例えば、散布図グラフ４０５）にプロットされた。全てのｘおよびｙ値の対が対応する散布図グラフにプロットされた後、散布図グラフのＲ二乗値が計算された。
【0068】
散布図グラフ４０５は、第１の訓練データセット（例えば、抗ＶＥＧＦ処置の開始時における被験者の網膜を示す画像）によって訓練された訓練済み機械学習モデルの第１のセットに対応する精度データを示している。散布図グラフ４０５の場合、Ｒ二乗値は、０．４０である。散布図グラフ４１０は、第２の訓練データセット（例えば、抗ＶＥＧＦ処置の開始時および抗ＶＥＧＦ処置の開始１ヶ月後における被験者の網膜を示す画像）によって訓練された訓練済み機械学習モデルの第２のセットに対応する精度データを示している。散布図グラフ４１０の場合、Ｒ二乗値は、０．５６である。
【0069】
散布図グラフ４１５は、第３の訓練データセット（例えば、抗ＶＥＧＦ処置の開始時、抗ＶＥＧＦ処置の開始１ヶ月後、および抗ＶＥＧＦ処置の開始２ヶ月後における被験者の網膜を示す画像）によって訓練された訓練済み機械学習モデルの第３のセットに対応する精度データを示している。散布図グラフ４１５の場合、Ｒ二乗値は、０．６５である。散布図グラフ４２０は、第４の訓練データセット（例えば、抗ＶＥＧＦ処置の開始時、抗ＶＥＧＦ処置の開始１ヶ月後、抗ＶＥＧＦ処置の開始２ヶ月後、および抗ＶＥＧＦ処置の開始３ヶ月後における被験者の網膜を示す画像）によって訓練された訓練済み機械学習モデルの第４のセットに対応する精度データを示している。散布図グラフ４２０の場合、Ｒ二乗値は、０．７１である。
【0070】
散布図グラフ４０５、４１０、４１５、および４２０のそれぞれから導出されたＲ二乗値に基づいて、訓練データの拡張された範囲（例えば、３ヶ月のラベル付けされた訓練画像に及ぶ第４の訓練データセット）を使用して機械学習モデルを訓練することにより、被験者の将来の視力に対応する予測の精度を大幅に向上させることができる。
ＩＶ．Ｃ．将来の視力に寄与する入力データタイプの評価
ＩＶ．Ｃ．将来の視力に寄与する入力データタイプの評価
【0071】
図５は、入力データタイプが被験者の将来の視力に対応する予測に影響を及ぼすことができる程度を示す箱ひげグラフ５００を示している。箱ひげグラフ５００は、どの特定のカテゴリのデータおよびそれらのそれぞれの組み合わせが、被験者の将来の視力に対応する予測のより高い精度をもたらすことができるかを示している。より具体的には、箱ひげグラフ５００は、セグメント固有メトリックのセットに基づいて将来の視力の予測を生成することが、セグメント固有メトリックと被験者に対応する臨床メトリック（例えば、年齢、性別、およびＢＣＶＡ値）との組み合わせセットに基づいて将来の視力の予測に匹敵することができるかどうかを示している。箱ひげグラフ５００は、３つの箱ひげ５０５、５１０、および５１５を含む。３つの箱ひげ５０５、５１０、および５１５のそれぞれは、訓練された機械学習モデルの例示的なセットに対応する精度データ（Ｒ二乗値）の分布に対応する。訓練された機械学習モデルのセットは、訓練された画像セグメント化機械モデル（例えば、画像セグメント化機械学習モデル１０４ａ～ｎ）および訓練されたメトリック処理機械学習モデル（例えば、図１のメトリック処理機械学習モデル１１０）を含んでいた。
【0072】
箱ひげ５０５、５１０、および５１５に対応する３セットの機械学習モデルの各セットは、訓練データセット（例えば、ＨＡＲＢＯＲ臨床データ）を使用して訓練された。訓練データセットは、訓練画像のセットを含んでいた。訓練画像のセットの各訓練画像は、ある時点（例えば、処置開始から１２ヶ月）における被験者の視力によってラベル付けされた。機械学習モデルの３セットの全ては、抗ＶＥＧＦ処置の開始時における被験者のキャプチャされた画像データに対応する９０７個のＳＤ－ＯＣＴ画像（ｎ＝９０７）を含む訓練データセットを使用して訓練された。
【0073】
訓練フェーズに続いて、訓練された機械学習モデルの３セットの各セットを、ラベルなし画像（例えば、図１の画像１０２）に対応する異なるタイプの入力データを処理し、ラベルなし画像が収集された日付から１２ヶ月に関連付けられた将来の視力に対応する予測に対応する出力を生成するために使用した。異なるタイプの入力データは、以下のとおりである：
１．箱ひげ５０５に対応する訓練された機械学習モデルの第１のセットは、セグメント処理機械学習モデルから生成されたセグメント固有メトリックのみに対応する入力データを処理した。
２．箱ひげ５１０に対応する機械学習モデルの第２のセットは、被験者の性別、被験者の年齢、被験者のＢＣＶＡ値を含む、被験者に対応する臨床測定基準のセットのみに対応する入力データを処理した。
３．箱ひげ５１５に対応する機械学習モデルの第３のセットは、セグメント処理機械学習モデルおよび臨床メトリックセットから生成されたセグメント固有メトリックに対応する入力データを処理した。
１．箱ひげ５０５に対応する訓練された機械学習モデルの第１のセットは、セグメント処理機械学習モデルから生成されたセグメント固有メトリックのみに対応する入力データを処理した。
２．箱ひげ５１０に対応する機械学習モデルの第２のセットは、被験者の性別、被験者の年齢、被験者のＢＣＶＡ値を含む、被験者に対応する臨床測定基準のセットのみに対応する入力データを処理した。
３．箱ひげ５１５に対応する機械学習モデルの第３のセットは、セグメント処理機械学習モデルおよび臨床メトリックセットから生成されたセグメント固有メトリックに対応する入力データを処理した。
【0074】
３セットの訓練された機械学習モデルの各セットから生成された各出力、および出力を生成するために使用されたラベルなし画像から導出された観測データが使用されて、Ｒ二乗値を生成した。Ｒ二乗値が対応する箱ひげ（例えば、箱ひげ５０５）にプロットされた。
【0075】
箱ひげ５０５は、訓練された機械学習モデルの第１のセットに対応する精度データの分布を示している。箱ひげ５０５はまた、セグメント固有メトリックが、被験者の将来の視力に対応する予測に影響を与えた程度を示している。箱ひげグラフ５０５の場合、Ｒ二乗値の分布に対応する中央値は、０．２未満である。箱ひげ５１０は、訓練された機械学習モデルの第２のセットに対応する精度データの分布を示している。箱ひげ５１０はまた、臨床メトリック（例えば、年齢、ＢＣＶＡ値、性別）のセットが被験者の将来の視力に対応する予測に影響を与えた程度を示している。箱ひげグラフ５１０の場合、Ｒ二乗値の分布に対応する中央値は、３．５を僅かに上回っている。箱ひげ５１５は、訓練された機械学習モデルの第３のセットに対応する精度データの分布を示している。箱ひげ５１５はまた、臨床メトリックのセットと組み合わされたセグメント固有メトリックが、被験者の将来の視力に対応する予測に影響を与えた程度を示している。箱ひげグラフ５１５の場合、Ｒ二乗値の分布に対応する中央値は、ほぼ４．０である。さらに、箱ひげ５１０からのデータおよび箱ひげ５１５からのデータから抜き出したランダムサンプルに基づいて、対応のあるｔ検定を行った。ｔ検定の結果は、ｔ統計値が４．６、平均差分値が２４であることを含んでいた。
【0076】
箱ひげ５０５、５１０、および５１５によって示される結果によって示されるように、セグメント固有メトリックと臨床メトリックとの組み合わせセットを処理した訓練された機械学習モデルから生成された出力は、被験者の将来の視力を予測する際に最も正確である。
ＩＶ．Ｄ．将来の視力に寄与するセグメント固有メトリックの評価
ＩＶ．Ｄ．将来の視力に寄与するセグメント固有メトリックの評価
【0077】
図６は、訓練されたメトリック処理機械学習モデルによって処理されたセグメント固有メトリックが、被験者の将来の視力に対応する予測に影響を及ぼすことができる程度を識別する例示的なグラフ６００を示している。訓練されたメトリック処理機械学習モデルの訓練フェーズ中に収集された情報に基づいて、シャプレイ加算説明（ＳＨＡＰ）プロット６０５は、セグメント固有メトリックに対応する値と、被験者の将来の視力値が所定の視力閾値（例えば、２０／４０ ＢＣＶＡ閾値）を超えるかどうかに対応する確率値との間の相関を示すグラフィカル情報を示している。ＳＨＡＰプロット６０５をプロットするために使用される情報を生成するために、機械学習モデルのセットが訓練された。機械学習モデルのセットは、画像セグメント化機械モデルおよびメトリック処理機械学習モデルを含んでいた。
【0078】
ＳＨＡＰプロット６０５に対応する機械学習モデルのセットは、訓練データセット（例えば、ＨＡＲＢＯＲ臨床データ）を使用して訓練された。訓練画像のセットの各訓練画像は、ある時点（例えば、処置開始から１２ヶ月）における被験者の視力によってラベル付けされた。機械学習モデルのセットは、抗ＶＥＧＦ処置の開始時における被験者のキャプチャされた画像データに対応する９０７個のＳＤ－ＯＣＴ画像（ｎ＝９０７）を含む訓練データセットを使用して訓練された。機械学習モデルのセットが訓練されているとき、メトリック処理機械学習モデルを使用することによって処理されたセグメント固有メトリックセットの各セグメント固有メトリックは、予測される将来の視力が２０／４０ ＢＣＶＡ閾値を超えたかどうかを示す出力に関連付けられた。関連する値が収集され、ＳＨＡＰプロット６０５にプロットされた。
【0079】
ＳＨＡＰプロット６０５は、複数の行および列を含む。ＳＨＡＰプロットの行は、以下の特定のセグメント固有メトリックに対応する様々な属性を識別する：（１）セグメント固有メトリックのタイプ（例えば、液体積、２つの網膜層の間の厚さ）、（２）セグメント固有メトリックタイプに対応する網膜関連画像セグメントのタイプ、（３）訓練データセットに対応する識別子、および（４）セグメント特異的マトリックスが識別された網膜の特定の位置（例えば、特定のＥＴＤＲＳ値）。ＳＨＡＰプロット６０５のｙ軸に沿った特定の行の配置は、セグメント固有メトリックタイプが、被験者の将来の視力に対応する予測に寄与した程度を示している。例えば、ＳＨＡＰプロット６０５のｙ軸における第１の行のより高い配置は、対応するセグメント固有メトリックが、ＳＨＡＰプロット６０５のｙ軸における第１の行よりも低く配置された第２の行と比較して、将来の視力に対応する予測へのより高い寄与を有することを示すことができる。
【0080】
ＳＨＡＰプロット６０５の各行について、対応するセグメント特異的メトリックタイプのＳＨＡＰ値に対応する一連のドットが、ＳＨＡＰプロット６０５のｘ軸に沿ってプロットされた。ＳＨＡＰ値は、被験者の将来の視力値が２０／４０ ＢＣＶＡ閾値を超えるかどうかに対応する確率値を示している。ドットは、特定のＳＨＡＰ値の程度を示すために、異なる色タイプにおいて特徴付けられることができる。青色ドット色（例えば）は、低いセグメント固有メトリック値を示すことができ、赤色ドット色（例えば）は、高いセグメント固有メトリック値を示すことができる。さらに、ｘ軸の特定の位置に配置されたドットは、セグメント固有メトリックの値が被験者の将来の視力に対応する予測に寄与した程度を示した。例えば、高いｘ軸値に配置された赤色ドットは、セグメント固有メトリック値が高いほど、被験者の将来の視力値が２０／４０ ＢＣＶＡ閾値を超える確率が高いことを示すことができる。別の例では、低いｘ軸値に配置された赤色ドットは、セグメント固有メトリック値が高いほど、被験者の将来の視力値が２０／４０ ＢＣＶＡ閾値を超える確率がはるかに低いことを示すことができる。
【0081】
ＳＨＡＰプロット６０５は、特定のタイプのセグメント固有メトリックおよびそれらの対応する値の範囲が、将来の視力が２０／４０ ＢＣＶＡ閾値を超えるという予測に対する高い寄与を有することを示している。網膜内液に対応する液体積が少ないほど、将来の視力が２０／４０ ＢＣＶＡ閾値を満たすかまたは超える確率が高いことを示している。網膜下液または色素上皮剥離に対応する液体積が多いほど、将来の視力が２０／４０ ＢＣＶＡ閾値を満たすかまたは超える確率が高いことも示している。さらに、年齢値が高いほど、一般に、将来の視力が２０／４０ ＢＣＶＡ閾値を満たすかまたは超える確率が低いことを示している。
ＩＶ．Ｅ．入力データのタイプに基づく機械学習モデルの評価
ＩＶ．Ｅ．入力データのタイプに基づく機械学習モデルの評価
【0082】
図７Ａ～Ｂは、被験者の将来の視力を予測する機械学習モデルの性能を評価するために使用することができるグラフの例示的なセットを示している。より具体的には、図７Ａは、散布図グラフのセット７００Ａを示し、図７Ｂは、ＲＯＣ曲線のセット７００Ｂを示し、双方のセットは、訓練された画像セグメント化機械学習モデルおよび訓練されたメトリック処理機械学習モデルによって生成された出力に対応する精度データを伝達する。グラフ７００Ａおよび７００Ｂのセットは、特定の用量および頻度の処置を受ける被験者に対応する訓練画像に限定された訓練データが、将来の視力に対応する予測の全体的な精度を向上させることができることを実証するために提示される。４つの散布図グラフ７０５Ａ、７１０Ａ、７１５Ａ、および７２０Ａの各散布図グラフ、ならびにＲＯＣ曲線７０５Ｂ、７１０Ｂ、７１５Ｂ、および７２０Ｂのその対応するＲＯＣ曲線は、訓練された機械学習モデルのセットに対応する。機械学習モデルのセットは、訓練された画像セグメント化機械モデル（例えば、画像セグメント化機械学習モデル１０４ａ～ｎ）および訓練されたメトリック処理機械学習モデル（例えば、図１のメトリック処理機械学習モデル１１０）を含んでいた。
【0083】
４セットの機械学習モデルの各セットは、訓練データセット（例えば、ＨＡＲＢＯＲ臨床データ）を使用して訓練された。訓練データセットは、訓練画像のセットを含んでいた。訓練画像のセットの各訓練画像は、ある時点（例えば、処置開始から１２ヶ月）における被験者の視力によってラベル付けされた。訓練データセットの異なるサブセットを、４セットの機械学習モデルの各セットを訓練するために使用した。
１．散布図グラフ７０５ＡおよびＲＯＣ曲線７０５Ｂに対応する機械学習モデルの第１のセットは、ラニビズマブ０．５ｍｇ／月で抗ＶＥＧＦ処置を開始した被験者のキャプチャされた画像データに対応する訓練画像を含む第１の訓練データセットを使用して訓練された。
２．散布図グラフ７１０ＡおよびＲＯＣ曲線７１０Ｂに対応する機械学習モデルの第２のセットは、ラニビズマブ２．０ｍｇ／月で抗ＶＥＧＦ処置を開始した被験者のキャプチャされた画像データに対応する訓練画像を含む第２の訓練データセットを使用して訓練された。
３．散布図グラフ７１５ＡおよびＲＯＣ曲線７１５Ｂに対応する機械学習モデルの第３のセットは、ラニビズマブ０．５ｍｇで必要に応じて抗ＶＥＧＦ処置を開始した被験者のキャプチャされた画像データに対応する訓練画像を含む第３の訓練データセットを使用して訓練された。
４．散布図グラフ７２０ＡおよびＲＯＣ曲線７２０Ｂに対応する機械学習モデルの第４のセットは、必要に応じてラニビズマブ２．０ｍｇで抗ＶＥＧＦ処置を開始した被験者のキャプチャされた画像データに対応する訓練画像を含む第４の訓練データセットを使用して訓練された。
１．散布図グラフ７０５ＡおよびＲＯＣ曲線７０５Ｂに対応する機械学習モデルの第１のセットは、ラニビズマブ０．５ｍｇ／月で抗ＶＥＧＦ処置を開始した被験者のキャプチャされた画像データに対応する訓練画像を含む第１の訓練データセットを使用して訓練された。
２．散布図グラフ７１０ＡおよびＲＯＣ曲線７１０Ｂに対応する機械学習モデルの第２のセットは、ラニビズマブ２．０ｍｇ／月で抗ＶＥＧＦ処置を開始した被験者のキャプチャされた画像データに対応する訓練画像を含む第２の訓練データセットを使用して訓練された。
３．散布図グラフ７１５ＡおよびＲＯＣ曲線７１５Ｂに対応する機械学習モデルの第３のセットは、ラニビズマブ０．５ｍｇで必要に応じて抗ＶＥＧＦ処置を開始した被験者のキャプチャされた画像データに対応する訓練画像を含む第３の訓練データセットを使用して訓練された。
４．散布図グラフ７２０ＡおよびＲＯＣ曲線７２０Ｂに対応する機械学習モデルの第４のセットは、必要に応じてラニビズマブ２．０ｍｇで抗ＶＥＧＦ処置を開始した被験者のキャプチャされた画像データに対応する訓練画像を含む第４の訓練データセットを使用して訓練された。
【0084】
訓練フェーズに続いて、訓練された機械学習モデルの４セットを、ラベルなし画像（例えば、図１の画像１０２）を処理し、ラベルなし画像が収集された日付から１２ヶ月に関連付けられた将来の視力に対応する予測に対応する出力を生成するために使用した。図７Ａの散布図グラフのセット７００Ａに関して、４セットの訓練された機械学習モデルの各セットから生成された各出力は、出力を生成するために使用されたラベルなし画像から導出された観測データに関連付けられた。関連する値を散布図グラフ（例えば、散布図グラフ７０５Ａ）にプロットし、散布図グラフに対応するＲ二乗値を生成するために使用した。図７ＢのＲＯＣ曲線７００Ｂのセットに関して、４セットの訓練された機械学習モデルの各セットから生成された各出力を、将来の視力が２０／４０ ＢＣＶＡ閾値を超えたかどうかを識別するために使用した。これらの出力はまた、同じラベル付けされていない画像から導出された実際の観測結果と比較された。
【0085】
散布図グラフ７０５Ａに対応する訓練された機械学習モデルの第１のセットは、０．５２のＲ二乗値を示す。ＲＯＣ曲線７０５Ｂに関して、訓練された機械学習モデルの第１のセットは、０．８３±０．０６のＡＯＣ値、０．８８±０．０６の感度値、および０．６８±０．１０の特異度値を示す。散布図グラフ７１０Ａに対応する訓練された機械学習モデルの第２のセットは、０．４９のＲ二乗値を示す。ＲＯＣ曲線７１０Ｂに関して、訓練された機械学習モデルの第１のセットは、０．８４±０．０６のＡＯＣ値、０．７４±０．０９の感度値、および０．８１±０．０８の特異度値を示す。
【0086】
散布図グラフ７１５Ａに対応する訓練された機械学習モデルの第３のセットは、０．３０のＲ二乗値を示す。ＲＯＣ曲線７１５Ｂに関して、訓練された機械学習モデルの第１のセットは、０．７２±０．０７のＡＯＣ値、０．６７±０．０９の感度値、および０．７２±０．０８の特異度値を示す。散布図グラフ７２０Ａに対応する訓練された機械学習モデルの第４のセットは、０．３５のＲ二乗値を示す。ＲＯＣ曲線７２０Ｂに関して、訓練された機械学習モデルの第１のセットは、０．７９±０．０６のＡＯＣ値、０．６９±０．０９の感度値、および０．７９±０．０７の特異度値を示す。
【0087】
上記の結果を比較するために、訓練された機械学習モデルの対照セットが、様々な用量レベルおよび処置頻度の下で抗ＶＥＧＦ処置を受けた被験者に関連する訓練データセットに対して訓練された。対照セットに対応する結果は、０．４０のＲ二乗値、０．７７±０．０４のＡＯＣ値、０．７４±０．０５の感度値、および０．７０±０．０５の特異度値を含む。結果の比較に基づいて、定期的な抗ＶＥＧＦ処置を受けた被験者に関する訓練データセットによって訓練された機械学習モデルのセットは、様々な用量および頻度の抗ＶＥＧＦ処置を受けた被験者によって訓練された訓練済み機械学習モデルよりも著しく良好に機能した。必要に応じて抗ＶＥＧＦ処置を受けた被験者に関する訓練データセットによって訓練された機械学習モデルのセットに関して、結果は、対照セットからの結果とほぼ同じであるかまたは僅かに良好である。これらの所見は、機械学習モデルが、被験者に投与されている用量頻度に応じて異なるタイプの訓練データセットによって訓練され得ることを示すことができる。
Ｖ．さらなる考察
Ｖ．さらなる考察
【0088】
本開示のいくつかの実施形態は、１つ以上のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させる命令を含む非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。
【0089】
さらに、本開示の実施形態は、以下の項を考慮して説明され得る：
１．コンピュータ実装方法であって、
１つ以上の第１のモデルを使用して、被験者の網膜の少なくとも一部の画像を処理して、網膜関連セグメントのセットを検出することであって、網膜関連セグメントのセットのそれぞれが、網膜構造または網膜液のタイプを含む、網膜関連セグメントのセットを検出することと、
セグメント固有メトリックのセットを生成することであって、セグメント固有メトリックのセットのそれぞれが、網膜関連セグメントのセットのうちの網膜関連セグメントを特徴付ける、セグメント固有メトリックのセットを生成することと、
第２のモデルを使用してセグメント固有メトリックのセットを処理して、被験者の将来の視力に対応する予測に対応する結果を生成することと、
結果を出力することと
を含む、コンピュータ実装方法。
２．１つ以上の第１のモデルのうちの第１のモデルが、深層畳み込みニューラルネットワークを含む、項１に記載のコンピュータ実装方法。
３．１つ以上の第１のモデルのうちの第１のモデルが、網膜層内セグメンテーションアルゴリズムを使用する、項１または２に記載のコンピュータ実装方法。
４．
１つ以上の第１のモデルのうちの第１のモデルを、網膜液のタイプに対応するセグメントを検出するために使用し、
１つ以上の第１のモデルのうちの別のモデルを、網膜構造に対応するセグメントを検出するために使用する、項１から３のいずれか一項に記載のコンピュータ実装方法。
５．第２のモデルが、訓練された勾配ブースティングマシンを含む、項１から４のいずれか一項に記載のコンピュータ実装方法。
６．画像が光干渉断層撮影（ＯＣＴ）画像である、項１から５のいずれか一項に記載のコンピュータ実装方法。
７．網膜関連セグメントのセットの網膜関連セグメントが、網膜の１つ以上の網膜層（例えば、神経線維層、神経節細胞層）を示す特定の網膜構造を含む、項１から６のいずれか一項に記載のコンピュータ実装方法。
８．特定の網膜構造が、網膜色素上皮の下方に位置する網膜の１つ以上の部分を示し、網膜の１つ以上の部分が、ブルッフ膜、脈絡膜、および強膜を含む、項１から７のいずれか一項に記載のコンピュータ実装方法。
９．網膜関連セグメントのセットの網膜関連セグメントが網膜構造の色素上皮剥離を示す、項１から８のいずれか一項に記載のコンピュータ実装方法。
１０．網膜関連セグメントのセットの網膜関連セグメントが、網膜下液（ＳＲＦ）または網膜内液（ＩＲＦ）を含む特定のタイプの網膜液を含む、項１から９のいずれか一項に記載のコンピュータ実装方法。
１１．網膜関連セグメントのセットの網膜関連セグメントが、網膜に存在する１つ以上の変形を示し、１つ以上の変形が、黄斑円孔、黄斑プラッカ、および悪化した黄斑を含む、項１から１０のいずれか一項に記載のコンピュータ実装方法。
１２．結果が、特定の将来の時点における被験者の将来の視力が所定の視力閾値を超えるという予測を示す、項１から１１のいずれか一項に記載のコンピュータ実装方法。
１３．セグメント固有メトリックのセットのセグメント固有メトリックが、網膜内液に対応する液体積を示し、液体積に対応するより低い値が、特定の将来の時点における被験者の将来の視力が所定の視力閾値を超える可能性を上げる、項１から１２のいずれか一項に記載のコンピュータ実装方法。
１４．セグメント固有メトリックのセットのセグメント固有メトリックが、網膜下液に対応する液体積を示し、液体積に対応するより高い値が、特定の将来の時点における被験者の将来の視力が所定の視力閾値を超える可能性を上げる、項１から１３のいずれか一項に記載のコンピュータ実装方法。
１５．コンピュータ実装方法であって、
１つ以上の画像セグメント化モデルを使用して、被験者の網膜の少なくとも一部の画像を処理して、画像内の網膜関連セグメントのセットを検出することであって、網膜関連セグメントのセットのそれぞれが、網膜構造または網膜液のタイプを含む、網膜関連セグメントのセットを検出することと、
セグメント固有メトリックのセットを生成することであって、セグメント固有メトリックのセットのそれぞれが、網膜関連セグメントのセットの網膜関連セグメントを特徴付け、セグメント固有メトリックが、網膜液のタイプまたは網膜構造に対応する厚さに対応する液体積の量を識別する、セグメント固有メトリックのセットを生成することと、
メトリック処理モデルを使用してセグメント固有メトリックのセットを処理することであって、網膜液のタイプに対応する液体積の量が、網膜構造に対応する厚さに対する被験者の視力の将来の向上の程度を判定するための主要指標である、セグメント固有メトリックのセットを処理することと、
判定することに応答して、被験者の将来の視力に対応する予測に対応する結果を生成することと、
結果を出力することと
を含む、コンピュータ実装方法。
１６．コンピュータ実装方法であって、
１つ以上の画像セグメント化モデルを使用して、被験者の網膜の少なくとも一部の画像を処理して、画像内の網膜関連セグメントのセットを検出することであって、網膜関連セグメントのセットのそれぞれが、網膜構造または網膜液のタイプを含む、網膜関連セグメントのセットを検出することと、
セグメント固有メトリックのセットを生成することであって、セグメント固有メトリックのセットのそれぞれが、網膜関連セグメントのセットの網膜関連セグメントを特徴付け、セグメント固有メトリックが、網膜液のタイプに対応する液体積の量を識別する、セグメント固有メトリックのセットを生成することと、
メトリック処理モデルを使用してセグメント固有メトリックのセットを処理することであって、網膜液のタイプに対応する液体積の量が、網膜構造に対応する厚さに対する被験者の将来の視力を決定するための主要指標である、セグメント固有メトリックのセットを処理することと、
判定することに応答して、被験者の将来の視力に対応する予測に対応する結果を生成することと、
結果を出力することと
を含む、コンピュータ実装方法。
１７．システムであって、
１つ以上のデータプロセッサと、
１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、項１から１６のいずれか一項を実行させる命令を含む非一時的コンピュータ可読記憶媒体と
を備える、システム。
１８．１つ以上のデータプロセッサに、項１から１６のいずれか一項を実行させるように構成された命令を含む、非一時的機械可読記憶媒体に有形に具現化されたコンピュータプログラム製品。
１．コンピュータ実装方法であって、
１つ以上の第１のモデルを使用して、被験者の網膜の少なくとも一部の画像を処理して、網膜関連セグメントのセットを検出することであって、網膜関連セグメントのセットのそれぞれが、網膜構造または網膜液のタイプを含む、網膜関連セグメントのセットを検出することと、
セグメント固有メトリックのセットを生成することであって、セグメント固有メトリックのセットのそれぞれが、網膜関連セグメントのセットのうちの網膜関連セグメントを特徴付ける、セグメント固有メトリックのセットを生成することと、
第２のモデルを使用してセグメント固有メトリックのセットを処理して、被験者の将来の視力に対応する予測に対応する結果を生成することと、
結果を出力することと
を含む、コンピュータ実装方法。
２．１つ以上の第１のモデルのうちの第１のモデルが、深層畳み込みニューラルネットワークを含む、項１に記載のコンピュータ実装方法。
３．１つ以上の第１のモデルのうちの第１のモデルが、網膜層内セグメンテーションアルゴリズムを使用する、項１または２に記載のコンピュータ実装方法。
４．
１つ以上の第１のモデルのうちの第１のモデルを、網膜液のタイプに対応するセグメントを検出するために使用し、
１つ以上の第１のモデルのうちの別のモデルを、網膜構造に対応するセグメントを検出するために使用する、項１から３のいずれか一項に記載のコンピュータ実装方法。
５．第２のモデルが、訓練された勾配ブースティングマシンを含む、項１から４のいずれか一項に記載のコンピュータ実装方法。
６．画像が光干渉断層撮影（ＯＣＴ）画像である、項１から５のいずれか一項に記載のコンピュータ実装方法。
７．網膜関連セグメントのセットの網膜関連セグメントが、網膜の１つ以上の網膜層（例えば、神経線維層、神経節細胞層）を示す特定の網膜構造を含む、項１から６のいずれか一項に記載のコンピュータ実装方法。
８．特定の網膜構造が、網膜色素上皮の下方に位置する網膜の１つ以上の部分を示し、網膜の１つ以上の部分が、ブルッフ膜、脈絡膜、および強膜を含む、項１から７のいずれか一項に記載のコンピュータ実装方法。
９．網膜関連セグメントのセットの網膜関連セグメントが網膜構造の色素上皮剥離を示す、項１から８のいずれか一項に記載のコンピュータ実装方法。
１０．網膜関連セグメントのセットの網膜関連セグメントが、網膜下液（ＳＲＦ）または網膜内液（ＩＲＦ）を含む特定のタイプの網膜液を含む、項１から９のいずれか一項に記載のコンピュータ実装方法。
１１．網膜関連セグメントのセットの網膜関連セグメントが、網膜に存在する１つ以上の変形を示し、１つ以上の変形が、黄斑円孔、黄斑プラッカ、および悪化した黄斑を含む、項１から１０のいずれか一項に記載のコンピュータ実装方法。
１２．結果が、特定の将来の時点における被験者の将来の視力が所定の視力閾値を超えるという予測を示す、項１から１１のいずれか一項に記載のコンピュータ実装方法。
１３．セグメント固有メトリックのセットのセグメント固有メトリックが、網膜内液に対応する液体積を示し、液体積に対応するより低い値が、特定の将来の時点における被験者の将来の視力が所定の視力閾値を超える可能性を上げる、項１から１２のいずれか一項に記載のコンピュータ実装方法。
１４．セグメント固有メトリックのセットのセグメント固有メトリックが、網膜下液に対応する液体積を示し、液体積に対応するより高い値が、特定の将来の時点における被験者の将来の視力が所定の視力閾値を超える可能性を上げる、項１から１３のいずれか一項に記載のコンピュータ実装方法。
１５．コンピュータ実装方法であって、
１つ以上の画像セグメント化モデルを使用して、被験者の網膜の少なくとも一部の画像を処理して、画像内の網膜関連セグメントのセットを検出することであって、網膜関連セグメントのセットのそれぞれが、網膜構造または網膜液のタイプを含む、網膜関連セグメントのセットを検出することと、
セグメント固有メトリックのセットを生成することであって、セグメント固有メトリックのセットのそれぞれが、網膜関連セグメントのセットの網膜関連セグメントを特徴付け、セグメント固有メトリックが、網膜液のタイプまたは網膜構造に対応する厚さに対応する液体積の量を識別する、セグメント固有メトリックのセットを生成することと、
メトリック処理モデルを使用してセグメント固有メトリックのセットを処理することであって、網膜液のタイプに対応する液体積の量が、網膜構造に対応する厚さに対する被験者の視力の将来の向上の程度を判定するための主要指標である、セグメント固有メトリックのセットを処理することと、
判定することに応答して、被験者の将来の視力に対応する予測に対応する結果を生成することと、
結果を出力することと
を含む、コンピュータ実装方法。
１６．コンピュータ実装方法であって、
１つ以上の画像セグメント化モデルを使用して、被験者の網膜の少なくとも一部の画像を処理して、画像内の網膜関連セグメントのセットを検出することであって、網膜関連セグメントのセットのそれぞれが、網膜構造または網膜液のタイプを含む、網膜関連セグメントのセットを検出することと、
セグメント固有メトリックのセットを生成することであって、セグメント固有メトリックのセットのそれぞれが、網膜関連セグメントのセットの網膜関連セグメントを特徴付け、セグメント固有メトリックが、網膜液のタイプに対応する液体積の量を識別する、セグメント固有メトリックのセットを生成することと、
メトリック処理モデルを使用してセグメント固有メトリックのセットを処理することであって、網膜液のタイプに対応する液体積の量が、網膜構造に対応する厚さに対する被験者の将来の視力を決定するための主要指標である、セグメント固有メトリックのセットを処理することと、
判定することに応答して、被験者の将来の視力に対応する予測に対応する結果を生成することと、
結果を出力することと
を含む、コンピュータ実装方法。
１７．システムであって、
１つ以上のデータプロセッサと、
１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、項１から１６のいずれか一項を実行させる命令を含む非一時的コンピュータ可読記憶媒体と
を備える、システム。
１８．１つ以上のデータプロセッサに、項１から１６のいずれか一項を実行させるように構成された命令を含む、非一時的機械可読記憶媒体に有形に具現化されたコンピュータプログラム製品。
【0090】
使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴の均等物またはその一部を除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、特許請求の範囲に記載された本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者によってあてにされてもよく、そのような変更および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあると見なされることを理解されたい。
【0091】
その後の説明は、好ましい例示的な実施形態のみを提供し、本開示の範囲、適用可能性または構成を限定することを意図しない。むしろ、好ましい例示的な実施形態のその後の説明は、様々な実施形態を実装するための可能な説明を当業者に提供する。添付の特許請求の範囲に記載の趣旨および範囲から逸脱することなく、要素の機能および配置に様々な変更を加えることができることが理解される。
【0092】
実施形態の完全な理解を提供するために、以下の説明において具体的な詳細が与えられる。しかしながら、これらの具体的な詳細なしで実施形態が実施され得ることが理解されよう。例えば、回路、システム、ネットワーク、プロセス、および他の構成要素は、実施形態を不必要に詳細に不明瞭にしないために、ブロック図形式の構成要素として示されてもよい。他の例では、実施形態を不明瞭にすることを避けるために、周知の回路、プロセス、アルゴリズム、構造、および技術が不必要な詳細なしに示されてもよい。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【国際調査報告】