(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-05-28
(54)【発明の名称】地図状萎縮進行予測および差分勾配活性化マップ
(51)【国際特許分類】
G16H 50/00 20180101AFI20240521BHJP
【ＦＩ】
G16H50/00
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023571163
(86)(22)【出願日】2022-05-17
(85)【翻訳文提出日】2024-01-04
(86)【国際出願番号】 US2022029699
(87)【国際公開番号】W WO2022245873
(87)【国際公開日】2022-11-24
(31)【優先権主張番号】63/189,679
(32)【優先日】2021-05-17
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＰＹＴＨＯＮ
(71)【出願人】
【識別番号】509012625
【氏名又は名称】ジェネンテック， インコーポレイテッド
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】アネゴンディ， ネハ ステークシュナ
(72)【発明者】
【氏名】カオ， シモン シャン
(72)【発明者】
【氏名】クルセルー， ジュリア ガブリエラ
【テーマコード（参考）】
5L099
【Ｆターム（参考）】
5L099AA26
(57)【要約】
地図状萎縮を評価するための方法である。網膜画像のセットが受信される。複数のモデルの各モデルは、網膜画像のセットを使用して、地図状萎縮（ＧＡ）病変に対する地図状萎縮（ＧＡ）進行パラメータのセットを予測するように訓練される。視覚化出力は、複数のモデルの各モデルについて生成される。複数のモデルの対応するモデルの視覚化出力は、対応するモデルがどのように網膜画像のセットを使用してＧＡ進行パラメータのセットを予測するかに関する情報を提供する。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
地図状萎縮を評価するための方法であって、網膜画像のセットを受信することと、
複数のモデルの各モデルを訓練して、前記網膜画像のセットを使用して、地図状萎縮（ＧＡ）病変に対する地図状萎縮（ＧＡ）進行パラメータのセットを予測することと、
前記複数のモデルの各モデルの視覚化出力を生成することであって、前記複数のモデルの対応するモデルの前記視覚化出力は、前記対応するモデルが前記網膜画像のセットをどのように使用して前記ＧＡ進行パラメータのセットを予測するかに関する情報を提供する、視覚化出力を生成することと、を含む、方法。
【請求項2】
前記生成することが、前記対応するモデルの前記網膜画像のセット内の対応する網膜画像の勾配活性化マップを生成することであって、前記勾配活性化マップが、前記ＧＡ病変の前記対応するモデルによって予測された前記ＧＡ進行パラメータのセットに寄与した前記対応する網膜画像内の領域のセットを示す、勾配活性化マップを生成することを含む、請求項１に記載の方法。
【請求項3】
前記複数のモデルが深層学習モデルを含み、さらに、前記深層学習モデルについて生成された前記視覚化出力を使用して前記深層学習モデルを検証することを含む、請求項１または２に記載の方法。
【請求項4】
前記複数のモデルが、第１の深層学習モデルおよび第２の深層学習モデルを含み、さらに、前記第１の深層学習モデルについて生成された前記視覚化出力と前記第２の深層学習モデルについて生成された前記視覚化出力との比較を実行することを含む、請求項１から３のいずれか一項に記載の方法。
【請求項5】
さらに、前記比較に基づいて前記ＧＡ進行パラメータのセットを予測するための最良のモデルとして前記第１の深層学習モデルまたは前記第２の深層学習モデルのいずれかを選択することを含む、請求項４に記載の方法。
【請求項6】
さらに、モデルの性能を改善するために、前記モデルについて生成された前記視覚化出力に基づいて新たなモデルを形成するように前記複数のモデルのうちのモデルを変更することを含む、請求項１から５のいずれか一項に記載の方法。
【請求項7】
前記ＧＡ進行パラメータのセットが、前記ＧＡ病変の成長速度または前記ＧＡ病変のベースライン病変面積のうちの少なくとも１つを含む、請求項１から６のいずれか一項に記載の方法。
【請求項8】
前記網膜画像のセットが、眼底自発蛍光（ＦＡＦ）画像のセットまたは光干渉断層撮影（ＯＣＴ）画像のセットのうちの少なくとも１つを含む、請求項１から７のいずれか一項に記載の方法。
【請求項9】
前記眼底自発蛍光（ＦＡＦ）画像のセットがベースラインＦＡＦ画像のセットであり、前記光干渉断層撮影（ＯＣＴ）画像のセットがベースラインＯＣＴ画像のセットである、請求項８に記載の方法。
【請求項10】
網膜における地図状萎縮を評価するための方法であって、網膜画像のセットを受信することと、
前記網膜画像のセットおよび深層学習モデルを使用して、前記網膜における地図状萎縮（ＧＡ）病変に対する地図状萎縮（ＧＡ）進行パラメータのセットを予測することと、
前記深層学習モデルの前記網膜画像のセットに対応する勾配活性化マップのセットを生成することであって、前記網膜画像のセットの対応する網膜画像の前記勾配活性化マップのセット内の勾配活性化マップが、前記深層学習モデルによる前記ＧＡ進行パラメータのセットの予測に関連する前記対応する網膜画像内の領域のセットを特定する、勾配活性化マップのセットを生成することと、を含む、方法。
【請求項11】
さらに、前記勾配活性化マップのセットに基づいて前記深層学習モデルの性能を改善するのに使用するための出力を生成することを含む、請求項１０に記載の方法。
【請求項12】
前記ＧＡ進行パラメータのセットが、前記ＧＡ病変の成長速度または前記ＧＡ病変のベースライン病変面積のうちの少なくとも１つを含む、請求項１０または１１に記載の方法。
【請求項13】
前記網膜画像のセットが、眼底自発蛍光（ＦＡＦ）画像のセットまたは光干渉断層撮影（ＯＣＴ）画像のセットのうちの少なくとも１つを含む、請求項１０から１２のいずれか一項に記載の方法。
【請求項14】
地図状萎縮を評価するためのシステムであって、機械実行可能コードを含む機械可読媒体を含むメモリと、
前記メモリに結合されたプロセッサであって、前記機械実行可能コードを実行して、前記プロセッサに、
網膜画像のセットを受信することと、
複数のモデルの各モデルを訓練して、前記網膜画像のセットを使用して、地図状萎縮（ＧＡ）病変に対する地図状萎縮（ＧＡ）進行パラメータのセットを予測することと、
前記複数のモデルの各モデルの視覚化出力を生成することであって、前記複数のモデルの対応するモデルの前記視覚化出力は、前記対応するモデルが前記網膜画像のセットをどのように使用して前記ＧＡ進行パラメータのセットを予測するかに関する情報を提供する、視覚化出力を生成することと、を行わせるように構成されたプロセッサと、を備える、システム。
【請求項15】
前記視覚化出力が、前記対応するモデルの前記網膜画像のセット内の対応する網膜画像の勾配活性化マップを含み、前記勾配活性化マップが、前記ＧＡ病変の前記対応するモデルによって予測された前記ＧＡ進行パラメータのセットに寄与した前記対応する網膜画像内の領域のセットを示す、請求項１４に記載のシステム。
【請求項16】
前記対応するモデルが、対応する深層学習モデルであり、前記プロセッサが、前記機械実行可能コードを実行して、前記プロセッサに、前記対応する深層学習モデルについて生成された前記視覚化出力を使用して前記対応する深層学習モデルを検証させるように構成される、請求項１４または１５に記載のシステム。
【請求項17】
前記複数のモデルが、第１の深層学習モデルおよび第２の深層学習モデルを含み、前記プロセッサが、前記機械実行可能コードを実行して、前記プロセッサに、前記第１の深層学習モデルについて生成された前記視覚化出力と前記第２の深層学習モデルについて生成された前記視覚化出力との比較を実行することと、
前記比較に基づいて前記ＧＡ進行パラメータのセットを予測するための最良のモデルとして前記第１の深層学習モデルまたは前記第２の深層学習モデルのいずれかを選択することと、を行わせるように構成される、請求項１４から１６のいずれか一項に記載のシステム。
【請求項18】
前記プロセッサが、前記機械実行可能コードを実行して、前記プロセッサに、モデルの性能を改善するために前記モデルについて生成された前記視覚化出力に基づいて新たなモデルを形成するように前記複数のモデルのうちのモデルを変更させるように構成される、請求項１４から１７のいずれか一項に記載のシステム。
【請求項19】
前記ＧＡ進行パラメータのセットが、前記ＧＡ病変の成長速度または前記ＧＡ病変のベースライン病変面積のうちの少なくとも１つを含む、請求項１４から１８のいずれか一項に記載のシステム。
【請求項20】
前記網膜画像のセットが、眼底自発蛍光（ＦＡＦ）画像のセットまたは光干渉断層撮影（ＯＣＴ）画像のセットのうちの少なくとも１つを含む、請求項１４から１９のいずれか一項に記載のシステム。【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０２１年５月１７日に出願された「Ｇｅｏｇｒａｐｈｉｃ Ａｔｒｏｐｈｙ Ｐｒｏｇｒｅｓｓｉｏｎ Ｐｒｅｄｉｃｔｉｏｎ ａｎｄ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｇｒａｄｉｅｎｔ Ａｃｔｉｖａｔｉｏｎ Ｍａｐｓ」と題する米国仮特許出願第６３／１８９，６７９号の優先権を主張し、その全体が参照により本明細書に組み込まれる。
本出願は、２０２１年５月１７日に出願された「Ｇｅｏｇｒａｐｈｉｃ Ａｔｒｏｐｈｙ Ｐｒｏｇｒｅｓｓｉｏｎ Ｐｒｅｄｉｃｔｉｏｎ ａｎｄ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｇｒａｄｉｅｎｔ Ａｃｔｉｖａｔｉｏｎ Ｍａｐｓ」と題する米国仮特許出願第６３／１８９，６７９号の優先権を主張し、その全体が参照により本明細書に組み込まれる。
【0002】
分野
この説明は、一般に、地図状萎縮進行の予測に関する。より具体的には、この説明は、様々なモデルおよびこれらのモデルに対して行われる分析（例えば、勾配活性化マップ分析、切除分析）を使用して地図状萎縮進行を予測するための方法およびシステムを提供する。
この説明は、一般に、地図状萎縮進行の予測に関する。より具体的には、この説明は、様々なモデルおよびこれらのモデルに対して行われる分析（例えば、勾配活性化マップ分析、切除分析）を使用して地図状萎縮進行を予測するための方法およびシステムを提供する。
【背景技術】
【0003】
背景
加齢黄斑変性（ＡＭＤ）は、５０歳以上の患者における視力喪失の主な原因である。地図状萎縮（ＧＡ）は、ＡＭＤの２つの進行期のうちの１つであり、脈絡毛細管、網膜色素上皮（ＲＰＥ）および光受容体の進行性および不可逆性の喪失を特徴とする。ＧＡの進行は、患者によって異なり、現在、ＧＡの進行を予防または減速するための広く受け入れられている治療法は存在しない。したがって、個々の患者におけるＧＡの進行を評価することは、ＧＡを研究し、有効な治療法を開発するために重要であり得る。
加齢黄斑変性（ＡＭＤ）は、５０歳以上の患者における視力喪失の主な原因である。地図状萎縮（ＧＡ）は、ＡＭＤの２つの進行期のうちの１つであり、脈絡毛細管、網膜色素上皮（ＲＰＥ）および光受容体の進行性および不可逆性の喪失を特徴とする。ＧＡの進行は、患者によって異なり、現在、ＧＡの進行を予防または減速するための広く受け入れられている治療法は存在しない。したがって、個々の患者におけるＧＡの進行を評価することは、ＧＡを研究し、有効な治療法を開発するために重要であり得る。
【発明の概要】
【0004】
概要
１つまたは複数の実施形態では、地図状萎縮を評価する方法が提供される。網膜画像のセットが受信される。複数のモデルの各モデルは、網膜画像のセットを使用して、地図状萎縮（ＧＡ）病変に対する地図状萎縮（ＧＡ）進行パラメータのセットを予測するように訓練される。視覚化出力は、複数のモデルの各モデルについて生成される。複数のモデルの対応するモデルの視覚化出力は、対応するモデルが網膜画像のセットをどのように使用してＧＡ進行パラメータのセットを予測するかに関する情報を提供する。
１つまたは複数の実施形態では、地図状萎縮を評価する方法が提供される。網膜画像のセットが受信される。複数のモデルの各モデルは、網膜画像のセットを使用して、地図状萎縮（ＧＡ）病変に対する地図状萎縮（ＧＡ）進行パラメータのセットを予測するように訓練される。視覚化出力は、複数のモデルの各モデルについて生成される。複数のモデルの対応するモデルの視覚化出力は、対応するモデルが網膜画像のセットをどのように使用してＧＡ進行パラメータのセットを予測するかに関する情報を提供する。
【0005】
１つまたは複数の実施形態では、網膜における地図状萎縮を評価する方法が提供される。網膜画像のセットが受信される。網膜における地図状萎縮（ＧＡ）病変に対する地図状萎縮（ＧＡ）進行パラメータのセットは、網膜画像のセットおよび深層学習モデルを使用して予測される。網膜画像のセットに対応する勾配活性化マップのセットが、深層学習モデルのために生成される。網膜画像のセットの対応する網膜画像の勾配活性化マップのセット内の勾配活性化マップは、深層学習モデルによるＧＡ進行パラメータのセットの予測に関連する対応する網膜画像内の領域のセットを特定する。
【0006】
１つまたは複数の実施形態では、地図状萎縮の評価を管理するためのシステムは、機械実行可能コードを含む機械可読媒体を含むメモリと、メモリに結合されたプロセッサと、を備える。プロセッサは、機械実行可能コードを実行して、プロセッサに、網膜画像のセットを受信させ、網膜画像のセットを使用して地図状萎縮（ＧＡ）病変に対する地図状萎縮（ＧＡ）進行パラメータのセットを予測するために複数のモデルの各モデルを訓練させ、複数のモデルの各モデルについての視覚化出力を生成させるように構成される。複数のモデルの対応するモデルの視覚化出力は、対応するモデルが網膜画像のセットをどのように使用してＧＡ進行パラメータのセットを予測するかに関する情報を提供する。
【図面の簡単な説明】
【0007】
本明細書に開示された原理およびその利点のより完全な理解のために、ここで添付の図面と併せて以下の説明を参照する。
【0008】
【図1】様々な実施形態にかかる病変評価システム１００のブロック図である。
【0009】
【図2】様々な実施形態にかかる地図状萎縮を評価するためのプロセスのフローチャートである。
【0010】
【図3】様々な実施形態にかかる地図状萎縮を評価するためのプロセスのフローチャートである。
【0011】
【図4】様々な実施形態にかかる、モデル性能を改善するためのプロセス４００のフローチャートである。
【0012】
【図5】１つまたは複数の実施形態にかかる、ＧＡ病変が単焦点病変である２つの深層学習モデルについて生成された勾配活性化マップを比較するチャートである。
【0013】
【図6】１つまたは複数の実施形態にかかる、ＧＡ病変が多焦点病変である２つの深層学習モデルについて生成された勾配活性化マップを比較するチャートである。
【0014】
【図7】１つまたは複数の実施形態にかかる例示的な切除画像を示すチャートである。
【0015】
【図8】様々な実施形態にかかるコンピュータシステムのブロック図である。
【0016】
図は必ずしも一定の縮尺で描かれているわけではなく、図内の物体は必ずしも互いに一定の縮尺で描かれているわけではないことを理解されたい。図は、本明細書に開示された装置、システム、および方法の様々な実施形態に明確さおよび理解をもたらすことを意図した描写である。可能な限り、同じまたは同様の部分を指すために図面全体を通して同じ参照符号が使用される。さらに、図面は、本教示の範囲を決して限定するものではないことを理解されたい。
【発明を実施するための形態】
【0017】
Ｉ．概要
ベースライン評価に基づいて地図状萎縮（ＧＡ）の進行を正確に予測する能力は、多くの異なるシナリオで有用であり得る。ＧＡ進行に関連するパラメータは、病変成長速度およびベースライン病変面積を含む。ベースライン病変面積は、ＧＡ病変の総面積（例えば、ｍｍ２単位）である。ベースライン病変面積は、ＧＡ進行の指標であることが示されており、これは、病変成長速度に基づいて評価され得る。病変成長速度は、本明細書ではＧＡ病変成長速度または成長速度とも称され、ある期間にわたる病変面積の変化である。多くの場合、成長速度は年換算される（例えば、ｍｍ２／年）。
ベースライン評価に基づいて地図状萎縮（ＧＡ）の進行を正確に予測する能力は、多くの異なるシナリオで有用であり得る。ＧＡ進行に関連するパラメータは、病変成長速度およびベースライン病変面積を含む。ベースライン病変面積は、ＧＡ病変の総面積（例えば、ｍｍ２単位）である。ベースライン病変面積は、ＧＡ進行の指標であることが示されており、これは、病変成長速度に基づいて評価され得る。病変成長速度は、本明細書ではＧＡ病変成長速度または成長速度とも称され、ある期間にわたる病変面積の変化である。多くの場合、成長速度は年換算される（例えば、ｍｍ２／年）。
【0018】
入力網膜画像およびモデル（例えば、深層学習モデル）を使用してベースライン病変面積、病変成長速度、またはその両方を自動的に予測することができることは、ＧＡ進行を遅らせることを目標とする臨床試験における患者のスクリーニング、濃縮、および／または層別化を改善するのに役立ち、それによって処置効果の改善された評価を可能にする場合がある。そのようなＧＡ進行パラメータ（例えば、病変成長速度、ベースライン病変面積）の予測を改善することはまた、例えば、限定されるものではないが、分析中の共変量調整を可能にすることによって臨床試験の有効性を改善し得る。共変量調整は、臨床試験における処置効果推定値の分散を減少させ、臨床試験の力を増加させるために使用され得る。さらに、場合によっては、ＧＡ進行パラメータの予測が使用されて、遺伝子型シグネチャまたは表現型シグネチャとの相関を介して疾患病因を理解し得る。
【0019】
ＧＡ病変は、限定されるものではないが、眼底自発蛍光（ＦＡＦ）および光干渉断層撮影（ＯＣＴ）を含む様々な撮像モダリティによって撮像され得る。例えば、眼底自発蛍光（ＦＡＦ）画像は、１つまたは複数のモデル（例えば、１つまたは複数の深層学習モデル）に入力されて、ベースライン病変面積、病変成長速度、またはその両方を予測し得る。ＦＡＦ画像は、ベースライン時点で撮影されたベースラインＦＡＦ画像であってもよい。ベースライン時点は、臨床試験の開始、初期評価の時点、処置の最初の投与の直前の時点、処置の最初の投与と一致する時点、処置の最初の投与と同日、または他の何らかのベースライン時点であり得る。
【0020】
本明細書に記載の実施形態は、深層学習モデルが１つまたは複数のベースラインＦＡＦ画像をどのように使用して、病変成長速度、ベースライン病変面積、またはその両方を予測するかを理解することが望ましい場合があることを認識する。例えば、ベースラインＦＡＦ画像のどの領域または特徴が予測される病変成長速度に寄与するかを理解することが望ましい場合がある。病変成長速度の予測に関連する（または推進する）画像領域または特徴を特定することは、新たなバイオマーカーを特定または局在化し、ＧＡ病理への洞察を得て、深層学習モデルが偽または無関係の画像領域または特徴に焦点を当てていないという信頼を構築し、および／または深層学習モデルの性能を改善するのに役立ち得る。
【0021】
したがって、本明細書に記載の実施形態は、モデル（例えば、深層学習モデル）によるＧＡ進行パラメータ（例えば、病変成長速度、ベースライン病変面積など）の予測に寄与する画像（例えば、ＦＡＦ画像）の画像領域または特徴を評価するための方法およびシステムを提供する。１つまたは複数の実施形態では、そのようなモデルがどのようにそれらの入力を処理するかを理解するために、様々なタイプの視覚化が使用される。
【0022】
例えば、入力画像（例えば、ＦＡＦ画像）のどの領域が深層学習モデルの最終出力に寄与するかを示すために、勾配活性化マップが使用され得る。勾配活性化マップは、モデルによって行われた予測（例えば、予測成長速度および／または予測病変面積）に関連した画像内の１つまたは複数の領域を（例えば、色、陰影、強調、パターンなどを介して）視覚的に特定し得る。そのような勾配活性化マップは、既知のまたは予想されるものに基づいて、モデルが画像の非偽の関連部分に焦点を当てているか否かを確認することによって深層学習モデルを検証するために使用され得る。さらに、異なるモデルについて生成された勾配活性化マップを比較することは、病変成長速度、病変面積、またはその両方を予測するのに使用するための最良のモデルを選択するのに役立ち得る。勾配活性化マップを生成し、これらの勾配活性化マップを使用して、どの画像領域が深層学習モデルによって行われた予測に関連したか（例えば、最も関連性が高い）を評価することは、そのような動作を実行するための他の方法と比較して計算上安価であり得る。このようにして、そのような動作を実行するために必要な全体の時間および／またはコンピューティングリソースが削減され得る。さらに、本明細書に記載の勾配活性化マップを使用することは、（例えば、ヒトまたは他のモデルによる）画像領域の注釈を必要とせず、それにより、プロセス全体をより効率的および／またはより正確にする。
【0023】
１つまたは複数の実施形態では、勾配活性化マップを使用して、深層学習モデルの性能を改善するために深層学習モデルに対して行うことができる変更を特定し得る。例えば、勾配活性化マップが使用されて、新たなバイオマーカーを特定するか、または既知のバイオマーカーを局在化し、それによって深層学習モデルの焦点をより狭く調整し得る。場合によっては、勾配活性化マップは、所望のレベルの予測精度を維持しながら、深層学習モデルの時間および計算リソースの消費を削減するために、深層学習モデルの焦点を狭めるために使用されてもよい。
【0024】
本明細書に記載の１つまたは複数の実施形態は、切除分析を使用して、深層学習モデルによって予測された１つまたは複数のＧＡ進行パラメータに寄与する網膜画像の部分を直接導出する。切除分析は、網膜画像のセグメンテーションを実行し、次いでセグメント化された領域の様々な組み合わせを切除（例えば、除去）することを含み得る。例えば、セグメンテーションアルゴリズムが使用されて、ＧＡ病変、ＧＡ病変の周囲の縁部（例えば、５００μｍ幅のマージン）、および背景（例えば、ＧＡ病変または縁部として特定されない画像の任意の部分）をセグメント化（または別々に特定）し得る。ＧＡ病変、縁部、および背景の様々な組み合わせが網膜画像から切除され、その後に入力として深層学習モデルに供給される切除画像を形成し得る。異なるタイプの切除画像入力に基づくモデルの性能を比較することは、どの画像領域または特徴が深層学習モデルによって予測された１つまたは複数のＧＡ進行パラメータに関連する（例えば、最も関連性が高い）かの決定を可能にする。
【0025】
切除分析によって提供される情報は、深層学習モデルを検証し、既知または予想されることに基づいて、深層学習モデルが網膜画像の非偽の関連部分に焦点を当てているか否かを確認するために使用され得る。１つまたは複数の実施形態では、切除分析が使用されて、深層学習モデルの性能を改善するのに使用するための出力を生成し得る。例えば、切除分析が使用されて、新たなバイオマーカーを特定するか、または既知のバイオマーカーを局在化し、それによって深層学習モデルの焦点をより狭く調整し得る。場合によっては、切除分析は、所望のレベルの予測精度を維持しながら、深層学習モデルの時間および計算リソースの消費を削減するために、深層学習モデルの焦点を狭めるために使用されてもよい。他の実施形態では、切除分析の結果を使用して、深層学習モデルの精度および／または信頼性を改善するために深層学習モデルに対して行うことができる変更を特定する出力を生成し得る。
【0026】
上述した改善を提供することができる方法論およびシステムの重要性および有用性を認識し、考慮に入れて、本明細書は、１つまたは複数のモデルを使用して１つまたは複数のＧＡ進行パラメータを予測し、勾配活性化マップおよび／または切除分析を使用してこれらのモデルがそれらの予測をどのように行うかを評価することによってＧＡ進行を評価するための様々な実施形態を記載する。例えば、本明細書に記載の様々な実施形態は、ＧＡ病変の成長速度を予測するためにこれらのモデル（例えば、深層学習モデル）が画像（例えば、ＦＡＦ画像）の異なる部分をどのように使用するかをよりよく理解するために使用され得る視覚化出力（例えば、勾配活性化マップ）を生成するための方法およびシステムを提供する。さらに、本明細書に記載の様々な実施形態はまた、切除分析を使用してモデルを検証し、および／または成長速度の予測に関連する（例えば、最も関連性が高い）画像特徴を特定するための方法およびシステムを提供する。
【0027】
ＩＩ．地図状萎縮（ＧＡ）進行予測のための例示的なシステム
図１は、様々な実施形態にかかる病変評価システム１００のブロック図である。病変評価システム１００は、被験者の網膜における地図状萎縮（ＧＡ）病変を評価するために使用される。病変評価システム１００は、コンピューティングプラットフォーム１０２と、データストレージ１０４と、ディスプレイシステム１０６とを含む。コンピューティングプラットフォーム１０２は、様々な形態をとり得る。１つまたは複数の実施形態では、コンピューティングプラットフォーム１０２は、互いに通信する単一のコンピュータ（またはコンピュータシステム）または複数のコンピュータを含む。他の例では、コンピューティングプラットフォーム１０２は、クラウドコンピューティングプラットフォームの形態をとる。
図１は、様々な実施形態にかかる病変評価システム１００のブロック図である。病変評価システム１００は、被験者の網膜における地図状萎縮（ＧＡ）病変を評価するために使用される。病変評価システム１００は、コンピューティングプラットフォーム１０２と、データストレージ１０４と、ディスプレイシステム１０６とを含む。コンピューティングプラットフォーム１０２は、様々な形態をとり得る。１つまたは複数の実施形態では、コンピューティングプラットフォーム１０２は、互いに通信する単一のコンピュータ（またはコンピュータシステム）または複数のコンピュータを含む。他の例では、コンピューティングプラットフォーム１０２は、クラウドコンピューティングプラットフォームの形態をとる。
【0028】
データストレージ１０４およびディスプレイシステム１０６は、それぞれ、コンピューティングプラットフォーム１０２と通信する。いくつかの例では、データストレージ１０４、ディスプレイシステム１０６、またはその両方は、コンピューティングプラットフォーム１０２の一部と見なされるか、そうでなければ統合されてもよい。したがって、いくつかの例では、コンピューティングプラットフォーム１０２、データストレージ１０４、およびディスプレイシステム１０６は、互いに通信する別個の構成要素であってもよいが、他の例では、これらの構成要素のいくつかの組み合わせが一緒に統合されてもよい。
【0029】
病変評価システム１００は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせを使用して実装され得る画像プロセッサ１０８を含む。１つまたは複数の実施形態では、画像プロセッサ１０８は、コンピューティングプラットフォーム１０２に実装される。
【0030】
画像プロセッサ１０８は、処理のための画像入力１０９を受信する。画像入力１０９は、１つまたは複数の網膜画像を含む。１つまたは複数の実施形態では、画像入力１０９は、ベースラインまたは基準時点で生成される１つまたは複数の網膜画像を含む。いくつかの実施形態では、画像入力１０９は、ベースライン画像入力と称されることがある。１つまたは複数の実施形態では、画像入力１０９は、網膜画像のセット１１０を含む。網膜画像のセット１１０は、例えば、限定されるものではないが、眼底自発蛍光（ＦＡＦ）画像のセット、光干渉断層撮影（ＯＣＴ）画像のセット、またはその両方を含み得る。ＦＡＦ画像のセットは、例えば、ベースラインＦＡＦ画像のセットであってもよい。ＯＣＴ画像のセットは、例えば、ベースラインＯＣＴ画像のセットであってもよい。ベースライン画像（例えば、ベースラインＦＡＦまたはＯＣＴ画像）は、ベースライン時点で撮像された画像である。ベースライン時点は、臨床試験の開始、最初の評価または最初の診療所もしくは臨床試験訪問の時点、処置の最初の投与の直前の時点、処置の最初の投与と一致する時点、処置の最初の投与と同じ日、または他の何らかのベースライン時点であり得る。他の実施形態では、網膜画像のセット１１０は、１つまたは複数の他のタイプの網膜画像（例えば、カラー眼底（ＣＦ）写真画像、近赤外（ＮＩＲ）画像など）を含み得る。
【0031】
画像プロセッサ１０８は、複数のモデル１１２を使用して画像入力１０９（例えば、網膜画像のセット１１０）を処理して、地図状萎縮（ＧＡ）進行パラメータのセット１１４を予測する。ＧＡ進行パラメータは、ＧＡ病変のＧＡ進行に関連する（示す、または示すために使用され得る）パラメータである。ＧＡ病変は、連続的または不連続的な病変であり得る。例えば、ＧＡ進行パラメータのセット１１４は、病変面積１１５、成長速度１１６、またはその両方を含み得る。病変面積１１５は、ＧＡ病変のベースライン病変面積であり得る。成長速度１１６（または病変成長速度）は、規定の期間にわたる病変面積の変化であり得る。成長速度１１６は、年換算されてもよい（例えば、ｍｍ２／年）。
【0032】
モデル１１２のそれぞれは、例えば、限定されるものではないが、１つまたは複数の深層学習モデルを使用することを含む、いくつかの異なる方法のいずれかで実装され得る。モデル１１２は、例えば、第１のモデル１１７および第２のモデル１１８を含む。１つまたは複数の実施形態では、第１のモデル１１７および第２のモデル１１８のそれぞれは、深層学習モデルを含む。第１のモデル１１７、第２のモデル１１８、またはその両方の深層学習モデルは、例えば、限定されるものではないが、任意の数または組み合わせのニューラルネットワークを含み得る。１つまたは複数の実施形態では、深層学習モデルは、１つまたは複数のニューラルネットワークを含む畳み込みニューラルネットワーク（ＣＮＮ）システムを含み得る。これら１つまたは複数のニューラルネットワークのそれぞれは、それ自体、畳み込みニューラルネットワークであってよい。場合によっては、深層学習モデルは、それぞれが１つまたは複数のニューラルネットワークを含む複数のサブシステムを含む。
【0033】
１つまたは複数の実施形態では、画像プロセッサ１０８は、モデル分析装置１２０を含む。モデル分析装置１２０が使用されて、モデル１１２のそれぞれの視覚化出力を生成し得る。例えば、モデル分析装置１２０は、第１のモデル１１７の第１の視覚化出力１２２および第２のモデル１１８の第２の視覚化出力１２３を生成し得る。
【0034】
第１の視覚化出力１２２は、網膜画像のセット１１０に対する視覚化のセットを含み得る。例えば、第１の視覚化出力１２２は、網膜画像のセット１１０の各画像の視覚化を含み得る。第１の視覚化出力１２２は、第１のモデル１１７がＧＡ進行パラメータのセット１１４を予測するために網膜画像のセット１１０をどのように使用するかに関する情報を提供する。第２の視覚化出力１２３は、網膜画像のセット１１０に対する視覚化のセットを含み得る。例えば、第２の視覚化出力１２３は、網膜画像のセット１１０の各画像の視覚化を含み得る。第２の視覚化出力１２３は、第２のモデル１１８がＧＡ進行パラメータのセット１１４を予測するために網膜画像のセット１１０をどのように使用するかに関する情報を提供する。
【0035】
１つまたは複数の実施形態では、第１の視覚化出力１２２は、網膜画像のセット１１０に対する勾配活性化マップのセット１２４を含み、第２の視覚化出力１２３は、網膜画像のセット１１０に対する勾配活性化マップのセット１２６を含む。第１のモデル１１７と関連付けられた勾配活性化マップのセット１２４および第２のモデル１１８と関連付けられた勾配活性化マップのセット１２６の各勾配活性化マップは、網膜画像のセット１１０の対応する画像のための勾配重み付け活性化マッピング技術を使用して生成され得る。各勾配活性化マップは、それぞれの関連するモデル（例えば、第１のモデル１１７または第２のモデル１１８）によって予測されたＧＡ進行パラメータのセット１１４に寄与した対応する網膜画像内の領域のセットを示す。
【0036】
例えば、勾配活性化マップは、対応するモデルによるＧＡ進行パラメータのセット１１４の予測に関連した画像内の１つまたは複数の領域を（例えば、色、陰影、強調、パターンなどを介して）視覚的に特定し得る。さらに、着色、陰影、強調表示、パターン、テキストおよび／または数値ラベル、他のタイプのインジケータ、またはそれらの組み合わせが使用されて、関連性の程度を示し得る。一例として、赤色、橙色、黄色、および緑色から青色の間の色の範囲が使用されて、モデルによるＧＡ進行パラメータのセット１１４の予測およびそれらの関連性の程度に関連した画像内の１つまたは複数の領域を視覚的に特定し得る。例えば、赤色が使用されて、ＧＡ進行パラメータのセット１１４の予測に対する最も高い関連度を有する１つまたは複数の領域を特定し得て、青色が使用されて、最も低い関連度を有する１つまたは複数の領域を特定し得る。
【0037】
１つまたは複数の実施形態では、第１の視覚化出力１２２は、第１のモデル１１７を検証するために使用されてもよく、第２の視覚化出力１２３は、第２のモデル１１８を検証するために使用されてもよく、またはその両方であってもよい。例えば、第１の視覚化出力１２２は、第１のモデル１１７によるＧＡ進行パラメータのセット１１４の予測に関連すると特定された画像の部分（例えば、画像の１つまたは複数の領域）が予想と一致するかどうかを評価するために使用されてもよい。同様に、第２の視覚化出力１２３は、第２のモデル１１８によるＧＡ進行パラメータのセット１１４の予測に関連すると特定された画像の部分（例えば、画像の１つまたは複数の領域）が予想と一致するかどうかを評価するために使用されてもよい。
【0038】
１つまたは複数の実施形態では、第１の視覚化出力１２２および第２の視覚化出力１２３は、それぞれ、第１のモデル１１７および第２のモデル１１８に対して任意の調整が行われるべきかどうかを決定するために使用されてもよい。例えば、第１の視覚化出力１２２が、第１のモデル１１７によるＧＡ進行パラメータのセット１１４の予測に最も関連する画像の領域が予想されるものとは異なることを特定した場合、モデル分析装置１２０は、第１のモデル１１７に対して調整が行われるべきであることを示す出力を生成してもよい。この調整は、例えば、限定されるものではないが、第１のモデル１１７を再訓練すること、第１のモデル１１７において使用される層を変更すること、第１のモデル１１７のアーキテクチャを変更すること、第１のモデル１１７を別のモデルと組み合わせること、またはそれらの組み合わせを含み得る。第２のモデル１１８は、第２の視覚化出力１２３を使用して同様に評価され得る。
【0039】
いくつかの実施形態では、第１のモデル１１７および第２のモデル１１８がＧＡ進行パラメータのセット１１４をどのように予測するかの類似性および／または差を決定するために、第１のモデル１１７について生成された第１の視覚化出力１２２が第２のモデル１１８について生成された第２の視覚化出力１２３と比較され得る。例えば、勾配活性化マップのセット１２４および勾配活性化マップのセット１２６は、同じまたは異なる領域が第１のモデル１１７および第２のモデル１１８によって行われる予測に最も関連したかどうかを決定するために比較され得る。
【0040】
比較は、ＧＡ進行パラメータのセット１１４を予測する際に使用するための最良のモデルの選択を可能にし得る。例えば、モデル分析装置１２０は、第１のモデル１１７および第２のモデル１１８がそれぞれ、複数の訓練ベースラインＦＡＦ画像を含み得る網膜画像のセット１１０に基づいてＧＡ進行パラメータのセット１１４の予測について訓練および試験された後に、第１の視覚化出力１２２および第２の視覚化出力１２３を生成するために使用され得る。これらの２つの視覚化出力が使用されて、一方のモデルが特定のタイプのＧＡ病変に対して他方のモデルよりも適しているかどうか、モデルが同じタイプのＧＡ病変に対して同様に機能するかどうかなどを決定し得る。次いで、これらの視覚化出力によって提供される情報が使用されて、特定の被験者または被験者の群のＧＡ進行パラメータのセット１１４を予測する際に使用するためにどのモデルを選択するかを決定し得る。
【0041】
１つまたは複数の実施形態では、画像プロセッサ１０８は、画像改質装置１２８を含む。画像改質装置１２８は、画像入力１０９を処理して、入力としてモデル１１２のうちの１つまたは複数に供給される複数の切除画像１３０を生成する。これらの切除画像１３０を使用してモデル１１２の性能を分析することは、新たなバイオマーカーを特定または局在化し、ＧＡ病理に対する洞察を得て、モデル１１２が偽または無関係の画像領域または特徴に焦点を当てていない（例えば、背景のみに焦点を当てている）という信頼を得るのに役立ち得る。
【0042】
切除画像１３０は、様々な方法で生成され得る。例えば、１つまたは複数の選択された領域（例えば、ＧＡ病変、縁部、バックグラウンド）に対応するものとして特定された画素を黒色として割り当てることによって、切除画像が形成され得る。これらの選択された領域は、例えば、セグメンテーションアルゴリズムを使用して特定され得る。一例では、切除画像は、切除画像がＧＡ病変のみの画像（すなわち、病変保持画像）であるように、縁部および背景の画素を黒く塗りつぶすことによって形成される。別の例では、切除画像が縁部のみの画像（例えば、縁部保持画像）であるように、ＧＡ病変および背景の画素を黒く塗りつぶすことによって、切除病変が形成される。さらに別の例では、切除画像が背景のみの画像（例えば、背景保持画像）であるように、ＧＡ病変および縁部の画素を黒く塗りつぶすことによって、切除病変が形成される。さらに別の例では、切除画像が縁部および背景の画像（例えば、縁部および背景保持画像）であるように、ＧＡ病変の画素を黒く塗りつぶすことによって、切除病変が形成される。
【0043】
切除画像の異なるグループ化が使用されて、例えば、第１のモデル１１７を訓練して、異なる訓練されたモデルを形成し得る。これらの異なる訓練済みモデルの性能は、例えば、モデル分析装置１２０を使用して評価され得る。モデル分析装置１２０は、精度、正確さ、信頼性、決定係数（ｒ２）、１つもしくは複数の他のメトリック、またはそれらの組み合わせに関して性能を評価し得る。どのようにこの訓練および評価が実行され得るかの例は、以下の図４に関してより詳細に説明される。これらの異なる訓練されたモデルの性能を評価することは、バイオマーカーを特定または局在化し、ＧＡ病理への洞察を得て、第１のモデル１１７が偽または無関係の画像領域または特徴に焦点を当てていないという信頼を構築し、および／または第１のモデル１１７の性能を改善するのに役立ち得る。
【0044】
１つまたは複数の実施形態では、モデル分析装置１２０は、上述した切除技術を使用して形成された異なる訓練モデルの性能の評価に基づいて、および／または第１の視覚化出力１２２および第２の視覚化出力１２３に基づいて、出力１３２を生成するために使用され得る。出力１３２は、例えば、モデル１１２のうちの１つまたは複数の焦点を狭めるのを助けるために使用することができる新たなバイオマーカーおよび／または局所的なバイオマーカーのセットを特定し得る。出力１３２は、例えば、ＧＡ病理への洞察を提供する情報を特定し得る。出力１３２は、例えば、モデル１１２のうちのモデルを検証することができるかどうかを示し得る。出力１３２は、例えば、モデル１１２のうちのモデルが非偽の関連する画像領域または特徴に焦点を当てているか否かを確認し得る。出力１３２は、例えば、モデルの性能を改善するためにモデル１１２のうちのモデルに対して行うことができる１つまたは複数の変更を特定し得る。
【0045】
ＩＩＩ．ＧＡ病変を評価するための例示的な方法およびＧＡ病変成長速度を予測するモデル
図２は、様々な実施形態にかかる地図状萎縮病変を評価するためのプロセス２００のフローチャートである。様々な実施形態では、プロセス２００は、図１に記載の病変評価システム１００を使用して実装される。特に、プロセス２００が使用されて、１つまたは複数のＧＡ進行パラメータを予測し得る。
図２は、様々な実施形態にかかる地図状萎縮病変を評価するためのプロセス２００のフローチャートである。様々な実施形態では、プロセス２００は、図１に記載の病変評価システム１００を使用して実装される。特に、プロセス２００が使用されて、１つまたは複数のＧＡ進行パラメータを予測し得る。
【0046】
ステップ２０２は、網膜画像のセットを受信することを含む。網膜画像のセットは、図１の網膜画像のセット１１０の実装の一例であり得る。網膜画像のセットは、ＦＡＦ画像のセット、ＯＣＴ画像のセット、またはその両方を含み得る。１つまたは複数の実施形態では、網膜画像のセットは、地図状萎縮、または場合によっては地図状萎縮の前駆期と診断された複数の被験者についてのベースラインＦＡＦ画像の集合を含む。
【0047】
ステップ２０４は、網膜画像のセットを使用して地図状萎縮（ＧＡ）病変に対する地図状萎縮（ＧＡ）進行パラメータのセットを予測するために、複数のモデルの各モデルを訓練することを含む。複数のモデルは、例えば、限定されるものではないが、複数の深層学習モデルを含み得る。ステップ２０４における複数のモデルは、図１のモデル１１２の実装の一例であり得る。一例として、複数のモデルは、１つまたは複数の畳み込みニューラルネットワークから構成される第１の深層学習モデルと、１つまたは複数の畳み込みニューラルネットワークから構成される第２の深層学習モデルとを含み得る。ＧＡ進行パラメータのセットは、図１のＧＡ進行パラメータのセット１１４の実装の一例であり得る。ＧＡ進行パラメータのセットは、成長速度、ベースライン病変面積、またはその両方を含み得る。
【0048】
複数のモデルの各モデルの視覚化出力を生成するステップ２０６では、複数のモデルの対応するモデルの視覚化出力は、対応するモデルが網膜画像のセットをどのように使用してＧＡ進行パラメータのセットを予測するかに関する情報を提供する。例えば、ステップ２０６は、対応するモデルの網膜画像のセット内の対応する網膜画像の勾配活性化マップを生成することを含み得る。勾配活性化マップは、ＧＡ病変の対応するモデルによって予測されたＧＡ進行パラメータのセットに寄与した対応する網膜画像内の領域のセットを示す（例えば、視覚的に特定する）。例えば、勾配活性化マップは、ＧＡ進行パラメータのセットの予測に関連した（またはそれを推進した）網膜画像の１つまたは複数の領域を特定する。さらに、勾配活性化マップは、ＧＡ進行パラメータのセットの予測に対するこれらの１つまたは複数の領域の関連性の程度を視覚的に特定し得る。
【0049】
１つまたは複数の実施形態では、異なるモデルに対して生成された視覚化出力が使用されて、これらのモデルを検証し得る。例えば、複数のモデルのうちの１つは、深層学習モデルであり得る。この深層学習モデルについて生成された視覚化出力は、深層学習モデルを検証し、深層学習モデルがＧＡ進行パラメータのセットを予測するために関連画像の非偽の関連部分に焦点を当てていることを確認するために使用され得る。場合によっては、異なるモデルに対して生成された異なる視覚化出力の比較が実行されて、ＧＡ進行パラメータのセットを予測するための最良のモデルを選択し得る。
【0050】
１つまたは複数の実施形態では、複数のモデルのうちの１つは、そのモデルに対して生成された視覚化出力に基づいて新たなモデルを形成するように変更され、それによってモデルの性能を改善し得る。モデルの性能は、精度、正確さ、信頼性、予測の生成に費やされる時間、予測の生成に利用される計算リソースの量、決定係数、またはそれらの組み合わせに関して測定され得る。
【0051】
図３は、様々な実施形態にかかる地図状萎縮病変を評価するためのプロセス３００のフローチャートである。様々な実施形態では、プロセス３００は、図１に記載の病変評価システム１００を使用して実装される。特に、プロセス３００が使用されて、１つまたは複数のＧＡ進行パラメータを予測し得る。
【0052】
ステップ３０２は、網膜画像のセットを受信することを含む。網膜画像のセットは、図１の網膜画像のセット１１０の実装の一例であり得る。１つまたは複数の実施形態では、網膜画像のセットは、地図状萎縮、または場合によっては地図状萎縮の前駆期と診断された単一の被験者に属し得る。例えば、網膜画像のセットは、被験者の同じ網膜のベースラインＦＡＦ画像のセット、ベースラインＯＣＴ画像のセット、またはその両方を含み得る。これらのベースライン画像は、同じまたは実質的に同じ１つまたは複数の時点（例えば、同じ時間内、同じ日内、同じ１～３日内など）について撮像された画像を含み得る。
【0053】
ステップ３０４は、網膜画像のセットおよび深層学習モデルを使用して、網膜における地図状萎縮（ＧＡ）病変に対する地図状萎縮（ＧＡ）進行パラメータのセットを予測することを含む。ＧＡ進行パラメータのセットは、ＧＡ病変の成長速度またはＧＡ病変のベースライン病変面積のうちの少なくとも１つを含む。
【0054】
ステップ３０６は、深層学習モデルの網膜画像のセットに対応する勾配活性化マップのセットを生成することを含み、網膜画像のセットの対応する網膜画像の勾配活性化マップのセット内の勾配活性化マップは、深層学習モデルによるＧＡ進行パラメータのセットの予測に関連する対応する網膜画像内の領域のセットを特定する。勾配活性化マップは、例えば、着色、陰影、強調表示、パターン、テキストおよび／もしくは数値ラベル、他のタイプのインジケータ、またはそれらの組み合わせを使用して、網膜画像内の１つまたは複数の領域の関連性の程度を視覚的に特定し得る。
【0055】
プロセス３００は、任意に、勾配活性化マップのセットに基づいて深層学習モデルの性能を改善するのに使用するための出力を生成するステップ３０８を含み得る。出力は、例えば、深層学習モデルの焦点を狭めるのを助けるために使用することができる新たなバイオマーカーおよび／または局所的なバイオマーカーのセットを特定し、ＧＡ病理に関する洞察を提供し、深層学習モデルを変更するために使用することができる情報を特定し、深層学習を検証することができるかどうかを示し、深層学習モデルが非偽の関連する画像領域または特徴に焦点を当てているかどうかを確認し、そのモデルの性能を改善するために深層学習モデルに行うことができる１つまたは複数の変更を特定し、またはそれらを組み合わせて行い得る。
【0056】
【0057】
ステップ４０２は、複数の被験者についての複数の網膜画像を受信することを含む。この複数の網膜画像は、図１の網膜画像のセット１１０の実装の一例であり得る。複数の網膜画像は、例えば、限定されるものではないが、被験者のベースラインＦＡＦ画像を含み得る。これらの被験者は、ＧＡまたはＧＡの前駆期と診断され、ＧＡ進行情報（例えば、ＧＡ病変の成長速度）が既知である人であり得る。１つまたは複数の実施形態では、複数の網膜画像の各網膜画像は、対応する被験者の網膜内のＧＡ病変を撮像する。
【0058】
ステップ４０４は、複数の切除画像群を形成するように複数の網膜画像を変更することを含み、複数の切除画像群の各切除画像群は、ＧＡ病変、ＧＡ病変の縁部、または背景（ＧＡ病変または縁部として特定されない画像の一部）のうちの少なくとも１つが切除された複数の網膜画像に対応する複数の切除画像を含む。縁部は、例えば、ＧＡ病変を取り囲む幅５００μｍの境界として定義され得る。他の例では、縁部は、２５０μｍから７５０μｍの間で選択された幅を有する周囲の境界として定義されてもよい。
【0059】
１つまたは複数の実施形態では、画像の選択された部分または領域を切除することは、切除された部分または領域に対応する画素を黒く塗りつぶすことによって実行される。例えば、ステップ４０４は、ＧＡ病変を表す画像の部分、ＧＡ病変の縁部を表す画像の部分、および各網膜画像の背景（ＧＡ病変または縁部として特定されない画像の部分）を特定するために、セグメンテーションアルゴリズムを使用して複数の網膜画像をセグメント化することを含み得る。画像の一部を切除することは、その部分を表すと特定された画素を黒の値（例えば、０の画素値）に割り当てることを含み得る。例えば、ＧＡ病変を表すものとしてセグメント化された画素を画素値０に割り当てることによって、ＧＡ病変の縁部が切除され得る。
【0060】
ステップ４０４において形成された複数の切除画像群は、網膜画像の１つまたは複数の異なる部分を切除することによって形成され得る。例えば、切除画像群は、元の網膜画像のＧＡ病変のみが保持されるようにＧＡ病変の縁部および背景が切除された複数の病変保持画像からなる病変保持画像群であり得る。切除画像群は、元の網膜画像のＧＡ病変の縁部のみが保持されるようにＧＡ病変および背景が切除された複数の縁部保持画像からなる病変縁部画像群であり得る。切除画像群は、元の網膜画像の背景のみが保持されるようにＧＡ病変およびＧＡ病変の縁部が切除される、保持された複数の背景からなる背景保持画像群であり得る。
【0061】
別の切除画像群は、ＧＡ病変の縁部および元の網膜画像の背景が保持されるようにＧＡ病変が切除された複数の病変切除画像からなる病変切除画像群であり得る。さらに別の切除画像群は、ＧＡ病変および元の網膜画像の背景が保持されるようにＧＡ病変の縁部が切除された複数の縁部切除画像からなる縁部切除画像群であり得る。さらに別の切除画像群は、元の網膜画像のＧＡ病変およびＧＡ病変の縁部が保持されるように背景が切除された複数の背景切除画像からなる背景切除画像群であり得る。このようにして、網膜画像の異なる部分または部分の組み合わせが切除されて、切除画像を形成し得る。
【0062】
いくつかの実施形態では、ステップ４０４は、切除画像を形成するために元の網膜画像のどの部分が保持されても、その部分内の画素値をシャッフルすることをさらに含む。このシャッフルは、網膜画像の保持部分に含まれる画素間の画素値のランダムに実行される再配置であり得る。例えば、切除画像は、ＧＡ病変として特定された網膜画像の一部が保持され且つこの部分内の画素の画素値がシャッフルされた病変シャッフル画像であり得る。このシャッフルは、網膜画像のこの部分に関連する強度情報を保持するが、テクスチャ情報（例えば、この部分のどの領域が他の領域よりも明るいか）を除去する。切除画像は、ＧＡ病変の縁部として特定された網膜画像の一部がシャッフルされているこの部分の画素値によって保持されている、縁部シャッフル画像であり得る。切除画像は、背景として特定された網膜画像の一部がシャッフルされているこの部分の画素値によって保持されている、背景シャッフル画像であり得る。したがって、いくつかの実施形態では、複数の切除画像群は、病変シャッフル画像群、縁部シャッフル画像群、背景シャッフル画像群、病変および縁部シャッフル画像群、病変および背景シャッフル画像群、縁部および背景シャッフル画像群、またはそれらの組み合わせを含み得る。
【0063】
ステップ４０６は、複数の訓練されたモデルを形成するために複数の切除画像群のそれぞれを使用してＧＡ病変の成長速度を予測するために初期モデルを訓練することを含む。初期モデルは、例えば、深層学習モデルであってもよく、１つまたは複数のニューラルネットワークを含んでもよい。訓練されたモデルは、複数の切除画像群の各切除画像群に対して形成され得る。例えば、初期モデルは、複数の切除画像群のうちの第１の切除画像群を使用して訓練および試験され、第１の訓練モデルを形成し得る。別の例として、複数の切除画像群のうちの第２の切除画像群を使用して初期モデルが訓練および試験されて、第２の訓練モデルを形成してもよい。
【0064】
ステップ４０８は、複数の訓練されたモデルの性能を評価することを含む。例えば、限定されるものではないが、精度、正確さ、決定係数（ｒ２）、対応する元の網膜画像を分析するために初期モデルによって費やされた時間と比較して、成長速度を予測するために単一の切除画像を分析するために訓練されたモデルによって費やされた時間、対応する元の網膜画像を分析するために初期モデルによって費やされた計算リソースの量と比較して、成長速度を予測するために単一の切除画像を分析するために訓練されたモデルによって費やされた計算リソースの量、１つまたは複数の他のタイプのメトリック、またはそれらの組み合わせを含む、任意の数のメトリックに関して性能が分析され得る。
【0065】
ステップ４１０は、複数の訓練されたモデルの性能に基づいて初期モデルの性能を改善するのに使用するための出力を生成することを含む。ステップ４１０は、様々な方法で実行され得る。１つまたは複数の実施形態では、出力は、最良の性能を有する訓練されたモデルに対応する切除画像群の特定であり得る。例えば、縁部保持画像群に対応する訓練されたモデルは、最良の性能を有するものとして特定され得る。この例では、出力は、成長速度の予測に最も関連するものとしてＧＡ病変の縁部を特定し得る。出力は、この縁部領域に関連する１つまたは複数のバイオマーカーをさらに特定し得て、これらの１つまたは複数のバイオマーカーに焦点を当てることにより、利用される速度およびコンピューティングリソースに関してモデル性能を改善し得ることを示す。このようにして、成長速度の予測に最も関連するものとしてＧＡ病変の縁部を特定することは、目的のバイオマーカーの局在化に役立ち得る。
【0066】
プロセス４００は、任意に、出力に基づいて初期モデルを調整して新たなモデルを形成することを含むステップ４１２を含み得る。１つまたは複数の実施形態では、初期モデルを調整することは、初期モデルによって分析されたバイオマーカーを、成長速度の予測に最も関連すると特定された網膜の領域（例えば、ＧＡ病変、ＧＡ病変の縁部、または背景）に関連するバイオマーカーに狭めることを含む。いくつかの実施形態では、初期モデルを調整することは、初期モデルの一部として補足モデル（それ自体が１つまたは複数のアルゴリズムまたはモデルを含み得る）を統合して新たなモデルを形成すること、または補足モデルを初期モデルと組み合わせて新たなモデルを形成することを含む。補足モデルは、例えば、入力網膜画像をセグメント化し、このセグメンテーションに基づいて切除画像を形成するために使用され得る。新たなモデルは、切除画像を使用して成長速度を予測し、これは、切除されていない網膜画像を使用して成長速度を予測するよりも速く、および／またはより少ないコンピューティングリソースを消費し得る。
【0067】
ＩＶ．例示的な視覚化出力および切除画像
Ａ．２つの深層学習モデルについて生成された例示的な視覚化出力
２つの異なる深層学習モデルを訓練し、複数の被験者について網膜画像を使用して試験する実験を行った。これらの網膜画像は、ベースラインＦＡＦ画像であり、そのそれぞれは、単焦点ＧＡ病変または多焦点病変であり得るＧＡ病変を撮像した。第１の深層学習モデルおよび第２の深層学習モデルの両方を使用して、ＧＡ病変の病変成長速度を予測した。これらの２つの深層学習モデルについて、視覚化出力を生成した。具体的には、勾配活性化マップを２つの深層学習モデルについて生成して、各網膜画像のどの部分が対応する深層学習モデルによって予測された成長速度に最終的に関連したかに関する情報を提供した。
Ａ．２つの深層学習モデルについて生成された例示的な視覚化出力
２つの異なる深層学習モデルを訓練し、複数の被験者について網膜画像を使用して試験する実験を行った。これらの網膜画像は、ベースラインＦＡＦ画像であり、そのそれぞれは、単焦点ＧＡ病変または多焦点病変であり得るＧＡ病変を撮像した。第１の深層学習モデルおよび第２の深層学習モデルの両方を使用して、ＧＡ病変の病変成長速度を予測した。これらの２つの深層学習モデルについて、視覚化出力を生成した。具体的には、勾配活性化マップを２つの深層学習モデルについて生成して、各網膜画像のどの部分が対応する深層学習モデルによって予測された成長速度に最終的に関連したかに関する情報を提供した。
【0068】
図５は、１つまたは複数の実施形態にかかる、２つの深層学習モデルについて生成された勾配活性化マップを比較するチャートである。図５では、第１の深層学習モデル（第１のＤＬモデル）について生成された勾配活性化マップの第１の群５０２は、図１の勾配活性化マップのセット１２４の少なくとも一部の実装の一例である。第２の深層学習モデル（第２のＤＬモデル）について生成された勾配活性化マップの第２の群５０４は、図１の勾配活性化マップのセット１２６の少なくとも一部の実装の一例である。
【0069】
勾配活性化マップの第１の群５０２における５つの勾配活性化マップおよび勾配活性化マップの第２の群５０４における５つの勾配活性化マップは、それぞれが単焦点ＧＡ病変を撮像した５つの網膜画像の同じ群について生成された。勾配活性化マップの第１の群５０２と勾配活性化マップの第２の群５０４とを比較すると、単焦点ＧＡ病変の網膜画像について、これらの網膜画像の異なる部分が第２の深層学習モデルと比較して第１の深層学習モデルに関連していたことが明らかになる。
【0070】
図６は、１つまたは複数の実施形態にかかる、２つの深層学習モデルについて生成された勾配活性化マップを比較するチャートである。図６では、第１の深層学習モデル（第１のＤＬモデル）について生成された勾配活性化マップの第１の群６０２は、図１の勾配活性化マップのセット１２４の少なくとも一部の実装の一例である。第２の深層学習モデル（第２のＤＬモデル）について生成された勾配活性化マップの第２の群６０４は、図１の勾配活性化マップのセット１２６の少なくとも一部の実装の一例である。
【0071】
勾配活性化マップの第１の群６０２における５つの勾配活性化マップおよび勾配活性化マップの第２の群６０４における５つの勾配活性化マップは、それぞれが多焦点ＧＡ病変を撮像した５つの網膜画像の同じ群について生成された。勾配活性化マップの第１の群６０２と勾配活性化マップの第２の群６０４とを比較すると、多焦点ＧＡ病変の網膜画像について、これらの網膜画像の類似部分が、第２の深層学習モデルと比較して第１の深層学習モデルの両方に関連していたことが明らかになる。
【0072】
Ｂ．切除分析のための例示的な切除画像
図７は、１つまたは複数の実施形態にかかる例示的な切除画像を示すチャートである。切除画像７００のそれぞれは、図１の切除画像１３０の切除画像の実装の一例であり得る。切除画像７００は、病変切除画像７０２、縁部切除画像７０４、背景切除画像７０６、病変保持画像７０８、縁部保持画像７１０、背景保持画像７１２、病変シャッフル画像７１４、縁部シャッフル画像７１６、および背景シャッフル画像７１８を含む。
図７は、１つまたは複数の実施形態にかかる例示的な切除画像を示すチャートである。切除画像７００のそれぞれは、図１の切除画像１３０の切除画像の実装の一例であり得る。切除画像７００は、病変切除画像７０２、縁部切除画像７０４、背景切除画像７０６、病変保持画像７０８、縁部保持画像７１０、背景保持画像７１２、病変シャッフル画像７１４、縁部シャッフル画像７１６、および背景シャッフル画像７１８を含む。
【0073】
Ｖ．コンピュータ実装システム
図８は、様々な実施形態にかかるコンピュータシステムのブロック図である。コンピュータシステム８００は、図１において上述したコンピューティングプラットフォーム１０２の一実装の例であり得る。１つまたは複数の例では、コンピュータシステム８００は、情報を通信するためのバス８０２または他の通信機構と、情報を処理するためのバス８０２に結合されたプロセッサ８０４とを含むことができる。様々な実施形態では、コンピュータシステム８００はまた、プロセッサ８０４によって実行される命令を決定するためにバス８０２に結合された、ランダムアクセスメモリ（ＲＡＭ）８０６または他の動的記憶装置とすることができるメモリを含むことができる。メモリはまた、プロセッサ８０４によって実行される命令の実行中に一時変数または他の中間情報を記憶するために使用され得る。様々な実施形態では、コンピュータシステム８００は、プロセッサ８０４のための静的情報および命令を記憶するためにバス８０２に結合された読み出し専用メモリ（ＲＯＭ）８０８または他の静的記憶装置をさらに含むことができる。情報および命令を記憶するために、磁気ディスクまたは光ディスクなどの記憶装置８１０が設けられ、バス８０２に結合され得る。
図８は、様々な実施形態にかかるコンピュータシステムのブロック図である。コンピュータシステム８００は、図１において上述したコンピューティングプラットフォーム１０２の一実装の例であり得る。１つまたは複数の例では、コンピュータシステム８００は、情報を通信するためのバス８０２または他の通信機構と、情報を処理するためのバス８０２に結合されたプロセッサ８０４とを含むことができる。様々な実施形態では、コンピュータシステム８００はまた、プロセッサ８０４によって実行される命令を決定するためにバス８０２に結合された、ランダムアクセスメモリ（ＲＡＭ）８０６または他の動的記憶装置とすることができるメモリを含むことができる。メモリはまた、プロセッサ８０４によって実行される命令の実行中に一時変数または他の中間情報を記憶するために使用され得る。様々な実施形態では、コンピュータシステム８００は、プロセッサ８０４のための静的情報および命令を記憶するためにバス８０２に結合された読み出し専用メモリ（ＲＯＭ）８０８または他の静的記憶装置をさらに含むことができる。情報および命令を記憶するために、磁気ディスクまたは光ディスクなどの記憶装置８１０が設けられ、バス８０２に結合され得る。
【0074】
様々な実施形態では、コンピュータシステム８００は、コンピュータユーザに情報を表示するために、バス８０２を介して、陰極線管（ＣＲＴ）または液晶ディスプレイ（ＬＣＤ）などのディスプレイ８１２に結合され得る。英数字および他のキーを含む入力装置８１４は、情報およびコマンド選択をプロセッサ８０４に通信するためにバス８０２に結合され得る。別のタイプのユーザ入力装置は、プロセッサ８０４に方向情報およびコマンド選択を通信し、ディスプレイ８１２上のカーソル移動を制御するための、マウス、ジョイスティック、トラックボール、ジェスチャ入力装置、視線ベースの入力装置、またはカーソル方向キーなどのカーソル制御装置８１６である。この入力装置８１４は、典型的には、装置が平面内の位置を指定することを可能にする第１の軸（例えば、ｘ）および第２の軸（例えば、ｙ）の二軸の二自由度を有する。しかしながら、３次元（例えば、ｘ、ｙおよびｚ）カーソル移動を可能にする入力装置８１４も本明細書において企図されることを理解されたい。
【0075】
本教示の特定の実装によれば、ＲＡＭ８０６に含まれる１つ以上の命令の１つ以上のシーケンスのプロセッサ８０４による実行に応答して、結果がコンピュータシステム８００によって提供され得る。そのような命令は、記憶装置８１０などの別のコンピュータ可読媒体またはコンピュータ可読記憶媒体からＲＡＭ８０６に読み込まれ得る。ＲＡＭ８０６に含まれる命令シーケンスの実行は、プロセッサ８０４に本明細書に記載のプロセスを実行させることができる。あるいは、本教示を実装するために、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて、ハードワイヤード回路が使用され得る。したがって、本教示の実装は、ハードウェア回路とソフトウェアとの特定の組み合わせに限定されない。
【0076】
本明細書において使用される「コンピュータ可読媒体」（例えば、データストア、記憶装置、データ記憶装置など）または「コンピュータ可読記憶媒体」という用語は、実行のためにプロセッサ８０４に命令を提供することに関与する任意の媒体を指す。そのような媒体は、不揮発性媒体、揮発性媒体、および伝送媒体を含むがこれらに限定されるものではない多くの形態をとることができる。不揮発性媒体の例は、これらに限定されるものではないが、記憶装置８１０などの光学、固体、磁気ディスクを含むことができる。揮発性媒体の例は、これに限定されるものではないが、ＲＡＭ８０６などのダイナミックメモリを含むことができる。伝送媒体の例は、これらに限定されるものではないが、バス８０２を備えるワイヤを含む、同軸ケーブル、銅線、および光ファイバを含むことができる。
【0077】
コンピュータ可読媒体の一般的な形態は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、または他の任意の磁気媒体、ＣＤ－ＲＯＭ、他の任意の光学媒体、パンチカード、紙テープ、孔のパターンを有する他の任意の物理媒体、ＲＡＭ、ＰＲＯＭ、およびＥＰＲＯＭ、フラッシュＥＰＲＯＭ、他の任意のメモリチップまたはカートリッジ、またはコンピュータが読み出すことができる他の任意の有形媒体を含む。
【0078】
コンピュータ可読媒体に加えて、命令またはデータは、実行のためにコンピュータシステム８００のプロセッサ８０４に１つまたは複数の命令のシーケンスを提供するために、通信装置またはシステムに含まれる伝送媒体上の信号として提供され得る。例えば、通信装置は、命令およびデータを示す信号を有するトランシーバを含み得る。命令およびデータは、１つまたは複数のプロセッサに、本明細書における開示に概説される機能を実装させるように構成されている。データ通信伝送接続の代表的な例は、これらに限定されるものではないが、電話モデム接続、ワイドエリアネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、赤外線データ接続、ＮＦＣ接続、光通信接続などを含むことができる。
【0079】
本明細書に記載の方法論、フローチャート、図、および付随する開示は、コンピュータシステム８００をスタンドアロン装置として使用して、またはクラウドコンピューティングネットワークなどの共有コンピュータ処理リソースの分散ネットワーク上で実装され得ることを理解されたい。
【0080】
本明細書に記載の方法論は、用途に応じて様々な手段によって実装され得る。例えば、これらの方法論は、ハードウェア、ファームウェア、ソフトウェア、またはそれらの任意の組み合わせで実装され得る。ハードウェア実装の場合、処理ユニットは、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、デジタルシグナルプロセッサ（ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子装置、本明細書において説明される機能を実施するように設計された他の電子ユニット、またはそれらの組み合わせ内に実装され得る。
【0081】
様々な実施形態では、本教示の方法は、Ｃ、Ｃ＋＋、Ｐｙｔｈｏｎなどのような従来のプログラミング言語で書かれたファームウェアおよび／またはソフトウェアプログラムおよびアプリケーションとして実装され得る。ファームウェアおよび／またはソフトウェアとして実装される場合、本明細書に記載される実施形態は、コンピュータに上述した方法を実行させるためのプログラムが記憶された非一時的コンピュータ可読媒体上に実装され得る。本明細書に記載の様々なエンジンがコンピュータシステム８００などのコンピュータシステム上に設けられ得、それによって、プロセッサ８０４は、メモリ構成要素ＲＡＭ８０６、ＲＯＭ８０８、または記憶装置８１０のいずれか１つ、またはそれらの組み合わせによって提供される命令、および入力装置８１４を介して提供されるユーザ入力にしたがって、これらのエンジンによって提供される分析および決定を実行することを理解されたい。
【0082】
ＶＩ．例示的な文脈および定義
本開示は、これら例示の実施形態および応用例に、または例示の実施形態および応用例が動作するまたは本明細書に記載されるやり方に限定されるものではない。さらに、図は、簡略化されたまたは部分的な図を示すことがあり、図の要素の寸法は、誇張されているか、または比例していないことがある。
本開示は、これら例示の実施形態および応用例に、または例示の実施形態および応用例が動作するまたは本明細書に記載されるやり方に限定されるものではない。さらに、図は、簡略化されたまたは部分的な図を示すことがあり、図の要素の寸法は、誇張されているか、または比例していないことがある。
【0083】
さらに、本明細書では、「の上にある（ｏｎ）」、「に取り付けられている（ａｔｔａｃｈｅｄ ｔｏ）」、「に接続されている（ｃｏｎｎｅｃｔｅｄ ｔｏ）」、「に結合されている（ｃｏｕｐｌｅｄ ｔｏ）」という用語または同様の用語が使用される場合、一方の要素が他方の要素の上に直接あるか、他方の要素に直接取り付けられているか、他方の要素に接続されているか、または他方の要素に結合されているか、または一方の要素と他方の要素との間に１つまたは複数の介在要素が存在するかにかかわらず、一方の要素（例えば、構成要素、材料、層、基板など）は、他方の要素「の上にある」、「に取り付けられている」、「に接続されている」、または「に結合されている」であり得る。さらに、要素のリスト（例えば、要素ａ、ｂ、ｃ）が参照される場合、そのような参照は、それ自体で列挙された要素のいずれか１つ、列挙された要素の全てよりも少ない要素の任意の組み合わせ、および／または列挙された要素の全ての組み合わせを含むことが意図される。本明細書におけるセクションの区分は、単に検討を容易にするためのものであり、説明された要素の任意の組み合わせを限定するものではない。
【0084】
用語「被験者」は、臨床試験の被験者、処置を受けている人、抗癌療法を受けている人、寛解または回復について監視されている人、（例えば、その病歴に起因して）予防健康分析を受けている人、または目的のある任意の他の人もしくは患者を指し得る。様々な場合では、「被験者」および「患者」は、本明細書において交換可能に使用され得る。
【0085】
特に定義されない限り、本明細書に記載の本教示に関連して使用される科学用語および技術用語は、当業者によって一般的に理解される意味を有するものとする。さらに、文脈が特に必要としない限り、単数形の用語は、複数形を含み、複数形の用語は、単数形を含むものとする。一般に、化学、生化学、分子生物学、薬理学および毒物学に関連して利用される命名法およびその技術は、本明細書に記載されており、当該技術分野において周知であり、一般的に使用されるものである。
【0086】
本明細書において使用される場合、「実質的に」は、意図された目的のために機能するのに十分であることを意味し得る。したがって、「実質的に」という用語は、当業者によって予想されるが、全体的な性能にそれほど影響しないような、絶対的または完全な状態、寸法、測定値、結果などからの微細な、僅かな変動を可能にする。数値、または数値として表されることのできるパラメータもしくは特性に関して使用される場合、「実質的に」とは、１０パーセント以内を意味する。
【0087】
「複数」という用語は、２つ以上を意味する。
【0088】
本明細書において使用される場合、「複数」という用語は、２、３、４、５、６、７、８、９、１０以上とすることができる。
【0089】
本明細書において使用される場合、「のセット」という用語は、１つまたは複数を意味する。例えば、項目のセットは、１つまたは複数の項目を含む。
【0090】
本明細書において使用される場合、「少なくとも１つ」という語句は、項目のリストとともに使用される場合、列挙された項目のうちの１つまたは複数の異なる組み合わせが使用されてもよく、リスト内の項目のうちの１つのみが必要であってもよいことを意味し得る。項目は、特定の物体、物、ステップ、動作、プロセス、またはカテゴリであり得る。換言すれば、「のうちの少なくとも１つ」は、リストから項目の任意の組み合わせまたは任意の数の項目が使用され得るが、リスト内の項目の全てが必要とされるわけではないことを意味する。例えば、限定されるものではないが、「項目Ａ、項目Ｂ、または項目Ｃのうちの少なくとも１つ」は、項目Ａ、項目Ａおよび項目Ｂ、項目Ｂ、項目Ａ、項目Ｂ、および項目Ｃ、項目Ｂおよび項目Ｃ、または項目ＡおよびＣを意味する。場合によっては、「項目Ａ、項目Ｂ、または項目Ｃの少なくとも１つ」は、これらに限定されるものではないが、項目Ａのうちの２つ、項目Ｂのうちの１つ、および項目Ｃのうちの１０個、項目Ｂのうちの４個と項目Ｃのうちの７個、またはいくつかの他の適切な組み合わせを意味する。
【0091】
本明細書において使用される場合、「モデル」は、１つまたは複数のアルゴリズム、１つまたは複数の数学的技術、１つまたは複数の機械学習アルゴリズム、またはそれらの組み合わせを含み得る。
【0092】
本明細書において使用される場合、「機械学習」は、アルゴリズムを使用してデータを分析し、そこから学習し、次いで世界の何かについての決定または予測を行う実践であり得る。機械学習は、ルールベースのプログラミングに頼ることなくデータから学習することができるアルゴリズムを使用する。
【0093】
本明細書において使用される場合、「人工ニューラルネットワーク」または「ニューラルネットワーク」（ＮＮ）は、計算に対するコネクショニストアプローチに基づいて情報を処理する、人工ニューロンの相互接続された群を模倣する数学的アルゴリズムまたは計算モデルを指し得る。ニューラルネットと称される場合もあるニューラルネットワークは、非線形ユニットの１つまたは複数の層を用いて受信した入力に対する出力を予測することができる。いくつかのニューラルネットワークは、出力層に加えて１つまたは複数の隠れ層を含む。それぞれの隠れ層の出力は、ネットワークにおける次の層、すなわち、次の隠れ層または出力層への入力として使用される。ネットワークの各層は、各パラメータのセットの現在の値にしたがって、受信した入力から出力を生成する。様々な実施形態では、「ニューラルネットワーク」への言及は、１つまたは複数のニューラルネットワークへの言及であり得る。
【0094】
ニューラルネットワークは、２つの方法で情報を処理し得る。それが訓練されているとき、それは訓練モードにあり、それが学習したことを実際に実行するとき、それは推論（または予測）モードにある。ニューラルネットワークは、出力が訓練データの出力と一致するように、ネットワークが中間隠れ層内の個々のノードの重み係数を調整する（その挙動を変更する）ことを可能にするフィードバックプロセス（例えば、バックプロパゲーション）を通じて学習する。換言すれば、ニューラルネットワークは、訓練データ（学習例）を供給されることによって学習し、最終的には、新たな範囲または入力のセットが提示された場合であっても、正しい出力に到達する方法を学習する。ニューラルネットワークは、例えば、限定されるものではないが、フィードフォワードニューラルネットワーク（ＦＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、モジュラーニューラルネットワーク（ＭＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、残差ニューラルネットワーク（ＲｅｓＮｅｔ）、常微分方程式ニューラルネットワーク（ニューラル－ＯＤＥ）、または別のタイプのニューラルネットワークのうちの少なくとも１つを含み得る。
【0095】
本明細書において使用される場合、「病変」は、損傷または疾患を介して損傷を受けた臓器または組織の領域であり得る。この領域は、連続的または不連続的な領域であり得る。例えば、本明細書において使用される場合、病変は、複数の領域を含み得る。地図状萎縮（ＧＡ）病変は、慢性進行性変性を患っている網膜の領域であり得る。本明細書において使用される場合、ＧＡ病変は、１つの病変（例えば、１つの連続病変面積）または複数の病変（例えば、複数の別個の病変からなる不連続病変面積）を含み得る。
【0096】
本明細書において使用される場合、「病変面積」は、その病変が連続領域であるか不連続領域であるかにかかわらず、病変によって覆われる総面積を意味し得る。
【0097】
本明細書において使用される場合、「長期的」は、ある期間にわたることを意味し得る。期間は、日、週、月、年、または他の何らかの時間尺度であり得る。
【0098】
本明細書において使用される場合、ＧＡ病変に対応する「成長速度」は、ＧＡ病変の病変面積の長期的な変化を意味し得る。この成長速度は、ＧＡ成長速度とも称されることがある。
【0099】
ＶＩＩ．実施形態の記載
実施形態１．地図状萎縮を評価するための方法であって、網膜画像のセットを受信することと、複数のモデルの各モデルを訓練して、網膜画像のセットを使用して、地図状萎縮（ＧＡ）病変に対する地図状萎縮（ＧＡ）進行パラメータのセットを予測することと、複数のモデルの各モデルの視覚化出力を生成することであって、複数のモデルの対応するモデルの視覚化出力は、対応するモデルが網膜画像のセットをどのように使用してＧＡ進行パラメータのセットを予測するかに関する情報を提供する、視覚化出力を生成することと、を含む、方法。
実施形態１．地図状萎縮を評価するための方法であって、網膜画像のセットを受信することと、複数のモデルの各モデルを訓練して、網膜画像のセットを使用して、地図状萎縮（ＧＡ）病変に対する地図状萎縮（ＧＡ）進行パラメータのセットを予測することと、複数のモデルの各モデルの視覚化出力を生成することであって、複数のモデルの対応するモデルの視覚化出力は、対応するモデルが網膜画像のセットをどのように使用してＧＡ進行パラメータのセットを予測するかに関する情報を提供する、視覚化出力を生成することと、を含む、方法。
【0100】
実施形態２．生成することが、対応するモデルの網膜画像のセット内の対応する網膜画像の勾配活性化マップを生成することであって、勾配活性化マップが、ＧＡ病変の対応するモデルによって予測されたＧＡ進行パラメータのセットに寄与した対応する網膜画像内の領域のセットを示す、勾配活性化マップを生成することを含む、実施形態１に記載の方法。
【0101】
実施形態３．複数のモデルが深層学習モデルを含み、さらに、深層学習モデルについて生成された視覚化出力を使用して深層学習モデルを検証することを含む、実施形態１または２に記載の方法。
【0102】
実施形態４．複数のモデルが、第１の深層学習モデルおよび第２の深層学習モデルを含み、さらに、第１の深層学習モデルについて生成された視覚化出力と第２の深層学習モデルについて生成された視覚化出力との比較を実行することを含む、実施形態１から３のいずれか１つに記載の方法。
【0103】
実施形態５．さらに、比較に基づいてＧＡ進行パラメータのセットを予測するための最良のモデルとして第１の深層学習モデルまたは第２の深層学習モデルのいずれかを選択することを含む、実施形態４に記載の方法。
【0104】
実施形態６．さらに、モデルの性能を改善するために、モデルについて生成された視覚化出力に基づいて新たなモデルを形成するように複数のモデルのうちのモデルを変更することを含む、実施形態１から５のいずれか１つに記載の方法。
【0105】
実施形態７．ＧＡ進行パラメータのセットが、ＧＡ病変の成長速度またはＧＡ病変のベースライン病変面積のうちの少なくとも１つを含む、実施形態１から６のいずれか１つに記載の方法。
【0106】
実施形態８．網膜画像のセットが、眼底自発蛍光（ＦＡＦ）画像のセットまたは光干渉断層撮影（ＯＣＴ）画像のセットのうちの少なくとも１つを含む、実施形態１から７のいずれか１つに記載の方法。
【0107】
実施形態９．眼底自発蛍光（ＦＡＦ）画像のセットがベースラインＦＡＦ画像のセットであり、光干渉断層撮影（ＯＣＴ）画像のセットがベースラインＯＣＴ画像のセットである、実施形態８に記載の方法。
【0108】
実施形態１０．網膜における地図状萎縮を評価するための方法であって、網膜画像のセットを受信することと、網膜画像のセットおよび深層学習モデルを使用して、網膜における地図状萎縮（ＧＡ）病変に対する地図状萎縮（ＧＡ）進行パラメータのセットを予測することと、深層学習モデルの網膜画像のセットに対応する勾配活性化マップのセットを生成することであって、網膜画像のセットの対応する網膜画像の勾配活性化マップのセット内の勾配活性化マップが、深層学習モデルによるＧＡ進行パラメータのセットの予測に関連する対応する網膜画像内の領域のセットを特定する、勾配活性化マップのセットを生成することと、を含む、方法。
【0109】
実施形態１１．さらに、勾配活性化マップのセットに基づいて深層学習モデルの性能を改善するのに使用するための出力を生成することを含む、実施形態１０に記載の方法。
【0110】
実施形態１２．ＧＡ進行パラメータのセットが、ＧＡ病変の成長速度またはＧＡ病変のベースライン病変面積のうちの少なくとも１つを含む、実施形態１０または１１に記載の方法。
【0111】
実施形態１３．網膜画像のセットが、眼底自発蛍光（ＦＡＦ）画像のセットまたは光干渉断層撮影（ＯＣＴ）画像のセットのうちの少なくとも１つを含む、実施形態１０から１２のいずれか１つに記載の方法。
【0112】
実施形態１４．地図状萎縮を評価するためのシステムであって、機械実行可能コードを含む機械可読媒体を含むメモリと、メモリに結合されたプロセッサであって、機械実行可能コードを実行して、プロセッサプロセッサに、網膜画像のセットを受信することと、複数のモデルの各モデルを訓練して、網膜画像のセットを使用して、地図状萎縮（ＧＡ）病変に対する地図状萎縮（ＧＡ）進行パラメータのセットを予測することと、複数のモデルの各モデルの視覚化出力を生成することであって、複数のモデルの対応するモデルの視覚化出力は、対応するモデルが網膜画像のセットをどのように使用してＧＡ進行パラメータのセットを予測するかに関する情報を提供する、視覚化出力を生成することと、を行わせるように構成されたプロセッサと、を備える、システム。
【0113】
実施形態１５．視覚化出力が、対応するモデルの網膜画像のセット内の対応する網膜画像の勾配活性化マップを含み、勾配活性化マップが、ＧＡ病変の対応するモデルによって予測されたＧＡ進行パラメータのセットに寄与した対応する網膜画像内の領域のセットを示す、実施形態１４に記載のシステム。
【0114】
実施形態１６．対応するモデルが、対応する深層学習モデルであり、プロセッサが、機械実行可能コードを実行して、プロセッサに、対応する深層学習モデルについて生成された視覚化出力を使用して対応する深層学習モデルを検証させるように構成される、実施形態１４または１５に記載のシステム。
【0115】
実施形態１７．複数のモデルが、第１の深層学習モデルおよび第２の深層学習モデルを含み、プロセッサが、機械実行可能コードを実行して、プロセッサに、第１の深層学習モデルについて生成された視覚化出力と第２の深層学習モデルについて生成された視覚化出力との比較を実行することと、比較に基づいてＧＡ進行パラメータのセットを予測するための最良のモデルとして第１の深層学習モデルまたは第２の深層学習モデルのいずれかを選択することと、を行わせるように構成される、実施形態１４から１６のいずれか１つに記載のシステム。
【0116】
実施形態１８．プロセッサが、機械実行可能コードを実行して、プロセッサに、モデルの性能を改善するためにモデルについて生成された視覚化出力に基づいて新たなモデルを形成するように複数のモデルのうちのモデルを変更させるように構成される、実施形態１４から１７のいずれか１つに記載のシステム。
【0117】
実施形態１９．ＧＡ進行パラメータのセットが、ＧＡ病変の成長速度またはＧＡ病変のベースライン病変面積のうちの少なくとも１つを含む、実施形態１４から１８のいずれか１つに記載のシステム。
【0118】
実施形態２０．網膜画像のセットが、眼底自発蛍光（ＦＡＦ）画像のセットまたは光干渉断層撮影（ＯＣＴ）画像のセットのうちの少なくとも１つを含む、実施形態１４から１９のいずれか１つに記載のシステム。
【0119】
ＶＩＩＩ．さらなる考察
本文書のセクションおよびサブセクション間の見出しおよび小見出しは、読みやすさを改善するために含まれるに過ぎず、セクションおよびサブセクションをまたいで特徴を組み合わすことができないことを示唆するものではない。したがって、セクションおよびサブセクションは、別個の実施形態を説明するものではない。
本文書のセクションおよびサブセクション間の見出しおよび小見出しは、読みやすさを改善するために含まれるに過ぎず、セクションおよびサブセクションをまたいで特徴を組み合わすことができないことを示唆するものではない。したがって、セクションおよびサブセクションは、別個の実施形態を説明するものではない。
【0120】
本開示のいくつかの実施形態は、１つまたは複数のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、１つまたは複数のデータプロセッサ上で実行されると、１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部または全部および／または１つまたは複数のプロセスの一部または全部を実行させる命令を含む非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部または全部および／または１つまたは複数のプロセスの一部または全部を実行させるように構成された命令を含む非一時的機械可読記憶媒体において、有形に具現化されたコンピュータプログラム製品を含む。
【0121】
使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴の均等物またはその一部を除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、特許請求の範囲に記載された本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者によってあてにされてもよく、そのような変更および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあると見なされることを理解されたい。
【0122】
本明細書に提供される説明は、好ましい例示的な実施形態のみを提供し、本開示の範囲、適用可能性または構成を限定することを意図しない。むしろ、好ましい例示的な実施形態の説明は、様々な実施形態を実装するための可能な説明を当業者に提供する。添付の特許請求の範囲に記載の趣旨および範囲から逸脱することなく、要素（例えば、ブロック図または概略図の要素、フロー図の要素など）の機能および配置に様々な変更が加えられ得ることが理解される。
【0123】
上記の説明では、実施形態の完全な理解を提供するために具体的な詳細が示されている。しかしながら、これらの具体的な詳細なしで実施形態が実施され得ることが理解されよう。例えば、回路、システム、ネットワーク、プロセス、および他の構成要素は、実施形態を不必要に詳細に不明瞭にしないために、ブロック図形式の構成要素として示されてもよい。他の例では、実施形態を不明瞭にすることを避けるために、周知の回路、プロセス、アルゴリズム、構造、および技術が不必要な詳細なしに示されてもよい。
【0124】
本教示は、様々な実施形態に関連して説明されているが、本教示がそのような実施形態に限定されることは意図されていない。逆に、本教示は、当業者によって理解されるように、様々な代替、変更、および均等物を包含する。
【0125】
様々な実施形態を説明する際に、本明細書は、特定の一連のステップとして方法および／またはプロセスを提示している場合がある。しかしながら、方法またはプロセスが本明細書に記載される特定の順序のステップに依存していない範囲で、方法またはプロセスは、説明した特定の順序のステップに限定されるべきではなく、当業者が容易に理解することができるように、順序は変えられる場合があり、且つ依然として、様々な実施形態の趣旨および範囲内にとどまる場合がある。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【国際調査報告】