特表 2024-539991 バイオマーカーの同定および発見のための方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-31

(54)【発明の名称】バイオマーカーの同定および発見のための方法およびシステム

(51)【国際特許分類】

   A61B 3/10 20060101AFI20241024BHJP

【ＦＩ】

A61B3/10 100

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024524980

(86)(22)【出願日】2022-10-26

(85)【翻訳文提出日】2024-06-12

(86)【国際出願番号】 US2022047944

(87)【国際公開番号】W WO2023076433

(87)【国際公開日】2023-05-04

(31)【優先権主張番号】63/272,060

(32)【優先日】2021-10-26

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】509012625

【氏名又は名称】ジェネンテック， インコーポレイテッド

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】ハズラティ， セイェド モハメドモーセン

(72)【発明者】

【氏名】ヤーオ， ヘミング

(72)【発明者】

【氏名】チャン， ミャオ

【テーマコード（参考）】

4C316

【Ｆターム（参考）】

4C316AA09

4C316AB02

4C316AB11

4C316FB13

4C316FB21

4C316FB27

(57)【要約】

対象の網膜の健康状態を判定するためのシステムおよび方法。対象の網膜の光干渉断層撮影（ＯＣＴ）ボリューム画像が受信され得る。ＯＣＴボリューム画像を使用して、深層学習モデルを介して、健康表示出力が生成される。健康表示出力は、ＯＣＴボリューム画像と網膜の選択された健康状態カテゴリとの間の関連付けのレベルを示す。深層学習モデルについてのマップ出力は、顕著性マッピングアルゴリズムを使用して生成され、顕著性マッピングアルゴリズムを使用して深層学習モデルについてのマップ出力を生成する。マップ出力は、深層学習モデルによって生成された健康表示出力に対するＯＣＴボリューム画像内の一連の領域の寄与度を示す。
【選択図】図２

【特許請求の範囲】

【請求項1】

対象の網膜の光干渉断層撮影（ＯＣＴ）ボリューム画像を受信することと、
前記ＯＣＴボリューム画像を使用して、深層学習モデルを介して、健康表示出力を生成することであって、前記健康表示出力が前記ＯＣＴボリューム画像と前記網膜の選択された健康状態カテゴリとの間の関連付けのレベルを示す、健康表示出力を生成することと、
顕著性マッピングアルゴリズムを使用して前記深層学習モデルについてのマップ出力を生成することであって、前記マップ出力が前記深層学習モデルによって生成された前記健康表示出力に対する前記ＯＣＴボリューム画像内の一連の領域の寄与度を示す、マップ出力を生成することと、
を含む、方法。

【請求項2】

前記選択された健康状態カテゴリが、加齢黄斑変性の選択されたステージであり、前記健康表示出力が、前記ＯＣＴボリューム画像が前記加齢黄斑変性の選択されたステージの証拠となる確率である、請求項１に記載の方法。

【請求項3】

前記加齢黄斑変性の選択されたステージが、新生期地図状萎縮を含む、請求項２に記載の方法。

【請求項4】

前記選択された健康状態カテゴリが、前記ＯＣＴボリューム画像が生成された時点に関する現在の健康状態、または前記ＯＣＴボリューム画像が生成された前記時点後の選択された期間内に発症すると予測される将来の健康状態のいずれかを表す、請求項１～３のいずれか一項に記載の方法。

【請求項5】

前記顕著性マッピングアルゴリズムが、勾配重み付けクラス活性化マッピング（Ｇｒａｄ－ＣＡＭ）アルゴリズムを含み、前記マップ出力が、前記深層学習モデルによって生成された前記健康表示出力に対する前記ＯＣＴボリューム画像内の前記一連の領域の前記寄与度を視覚的に示す、請求項１～４のいずれか一項に記載の方法。

【請求項6】

前記ＯＣＴボリューム画像が、２次元である複数のＯＣＴスライス画像を含み、
前記方法が、前記健康表示出力または前記マップ出力の少なくとも一方に基づいて評価推奨を生成することであって、前記評価推奨がさらなるレビューのために前記複数のＯＣＴスライス画像のサブセットを識別する、評価推奨を生成すること、をさらに含む、
請求項１～５のいずれか一項に記載の方法。

【請求項7】

前記サブセットが、前記複数のＯＣＴスライス画像の５％未満を含む、請求項６に記載の方法。

【請求項8】

前記マップ出力を使用して、前記選択された健康状態カテゴリに対する前記ＯＣＴボリューム画像内の一連のバイオマーカーを同定すること、
をさらに含む、請求項１～７のいずれか一項に記載の方法。

【請求項9】

前記同定することが、
前記選択された健康状態カテゴリに関連付けられていると示された前記一連の領域のうちの一領域と関連付けて潜在的なバイオマーカー領域を識別することと、
前記潜在的なバイオマーカー領域に対するスコアリングメトリックを生成することと、
前記スコアリングメトリックが、選択されたしきい値を満たす場合に、前記選択された健康状態カテゴリに対する少なくとも１つのバイオマーカーを含むものとして前記潜在的なバイオマーカー領域を識別することと、
を含む、請求項８に記載の方法。

【請求項10】

前記スコアリングメトリックが、前記潜在的なバイオマーカー領域のサイズまたは前記潜在的なバイオマーカー領域の信頼スコアの少なくとも一方を含む、請求項９に記載の方法。

【請求項11】

前記マップ出力を生成することが、
前記顕著性マッピングアルゴリズムを使用して前記ＯＣＴボリューム画像のＯＣＴスライス画像に対する顕著性マップを生成することであって、前記顕著性マップが、前記選択された健康状態カテゴリについての前記ＯＣＴスライス画像内の各画素の重要度を示す、顕著性マップを生成することと、
前記顕著性マップをフィルタリングして、修正された顕著性マップを生成することと、
前記修正された顕著性マップを前記ＯＣＴスライス画像上にオーバーレイして前記マップ出力を生成することと、
を含む、請求項１～９のいずれか一項に記載の方法。

【請求項12】

前記健康表示出力に基づいて前記網膜のための治療推奨を生成すること、
をさらに含む、請求項１～１１のいずれか一項に記載の方法。

【請求項13】

前記深層学習モデルを介して、前記健康表示出力を生成することが、
複数の初期出力を形成するために、前記ＯＣＴボリューム画像を形成する複数のＯＣＴスライス画像の各ＯＣＴスライス画像についての初期出力を生成することと、
前記複数の初期出力を平均化して、前記健康表示出力を形成することと、
を含む、請求項１～１２のいずれか一項に記載の方法。

【請求項14】

対象の網膜の光干渉断層撮影（ＯＣＴ）ボリューム画像を受信することと、
前記ＯＣＴボリューム画像を使用して、深層学習モデルを介して、健康表示出力を生成することであって、前記健康表示出力が前記ＯＣＴボリューム画像と前記網膜の選択された健康状態カテゴリとの間の関連付けのレベルを示す、健康表示出力を生成することと、
顕著性マッピングアルゴリズムを使用して前記ＯＣＴボリューム画像に対する顕著性ボリュームマップを生成することであって、前記顕著性ボリュームマップが、前記深層学習モデルによって生成された前記健康表示出力に対する前記ＯＣＴボリューム画像内の一連の領域の寄与度を示す、顕著性ボリュームマップを生成することと、
前記顕著性ボリュームマップを使用して、前記選択された健康状態カテゴリに対する前記ＯＣＴボリューム画像内の一連のバイオマーカーを検出することと、
を含む、方法。

【請求項15】

前記検出することが、
修正された顕著性ボリュームマップを生成するために、前記顕著性ボリュームマップをフィルタリングすることであって、前記修正された顕著性ボリュームマップが前記深層学習モデルによって生成された前記健康表示出力への少なくともしきい値寄与を有する一連の領域を識別する、顕著性ボリュームマップをフィルタリングすることと、
前記一連の領域のうちの一領域と関連付けて潜在的なバイオマーカー領域を識別することと、
前記潜在的なバイオマーカー領域に対するスコアリングメトリックを生成することと、
前記スコアリングメトリックが、選択されたしきい値を満たす場合に、前記一連のバイオマーカーの少なくとも１つのバイオマーカーを含むものとして前記潜在的なバイオマーカー領域を識別することと、
を含む、請求項１４に記載の方法。

【請求項16】

前記選択された健康状態カテゴリが、加齢黄斑変性の選択されたステージであり、前記健康表示出力が、前記ＯＣＴボリューム画像が前記加齢黄斑変性の選択されたステージの証拠となる確率である、請求項１４または１５に記載の方法。

【請求項17】

システムであって、
非一時的メモリと、
前記非一時的メモリに結合され、前記システムに、
対象の網膜の光干渉断層撮影（ＯＣＴ）ボリューム画像を受信させ、
前記ＯＣＴボリューム画像を使用して、深層学習モデルを介して、前記ＯＣＴボリューム画像と前記網膜の選択された健康状態カテゴリとの間の関連付けのレベルを示す健康表示出力を生成させ、
顕著性マッピングアルゴリズムを使用して前記深層学習モデルについてのマップ出力であって、前記深層学習モデルによって生成された前記健康表示出力に対する前記ＯＣＴボリューム画像内の一連の領域の寄与度を示す前記マップ出力を生成させる、
命令を前記非一時的メモリから読み出すように構成されたハードウェアプロセッサと、
を備える、システム。

【請求項18】

前記選択された健康状態カテゴリが、加齢黄斑変性の選択されたステージであり、前記健康表示出力が、前記ＯＣＴボリューム画像が前記加齢黄斑変性の選択されたステージの証拠となる確率である、請求項１７に記載のシステム。

【請求項19】

前記選択された健康状態カテゴリが、前記ＯＣＴボリューム画像が生成された時点に関する現在の健康状態、または前記ＯＣＴボリューム画像が生成された前記時点後の選択された期間内に発症すると予測される将来の健康状態のいずれかを表す、請求項１７または１８に記載のシステム。

【請求項20】

前記顕著性マッピングアルゴリズムが、勾配重み付けクラス活性化マッピング（Ｇｒａｄ－ＣＡＭ）アルゴリズムを含み、前記マップ出力が、前記深層学習モデルによって生成された前記健康表示出力に対する前記ＯＣＴボリューム画像内の前記一連の領域の前記寄与度を視覚的に示す、請求項１７～１９のいずれか一項に記載のシステム。

【請求項21】

前記ＯＣＴボリューム画像が、２次元である複数のＯＣＴスライス画像を含み、前記ハードウェアプロセッサが、前記健康表示出力または前記マップ出力の少なくとも一方に基づいて前記システムに評価推奨を生成させる命令を前記非一時的メモリから読み出すようにさらに構成され、前記評価推奨が、さらなるレビューのために前記複数のＯＣＴスライス画像のサブセットを識別し、前記サブセットが前記複数のＯＣＴスライス画像の５％未満を含む、請求項１７～２０のいずれか一項に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２１年１０月２６日に出願された「Ｍｅｔｈｏｄｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｂｉｏｍａｒｋｅｒ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ａｎｄ Ｄｉｓｃｏｖｅｒｙ」と題する米国仮特許出願第６３／２７２，０６０号の優先権を主張し、その全体が参照により本明細書に組み込まれる。

【0002】

本開示は、一般に、網膜の光干渉断層撮影（ＯＣＴ）画像の分析に関し、より詳細には、現在の健康状態を識別する、および／または将来の健康状態を予測するための深層学習モデルの使用、ならびに現在の網膜の健康状態を示す、および／または将来の網膜の健康状態の予後を示すＯＣＴ画像内のバイオマーカーを同定するための顕著性マッピングアルゴリズムの使用に関する。

【背景技術】

【0003】

組織の医用画像を捕捉するために様々な撮像技術が開発されており、この画像を分析して疾患の存在または進行を判定することがある。例えば、光干渉断層撮影（ＯＣＴ）は、光波を使用して患者の網膜などの組織の２次元スライス画像および３次元ボリューム画像を捕捉し、次いで、これらの画像が、診断、監視、治療などをするために分析され得る技術を指す。しかしながら、大量のデータを含み得るこのような画像の分析は、手動で、通常は対象分野の専門家によって行われ、そのため、煩雑で非常に高価である場合がある。したがって、患者の診断、監視、および治療に使用するためのＯＣＴ画像などの大量の医用画像の一貫した、正確な、および迅速な分析を容易にする方法およびシステムを有することが望ましい場合がある。

【発明の概要】

【0004】

以下は、論じられる技術の基本的な理解を提供するために、本開示のいくつかの実施形態を要約する。この概要は、本開示のすべての企図される特徴の広範な概要ではなく、本開示のすべての実施形態の主要なまたは重要な要素を特定することも、本開示のいずれかまたはすべての実施形態の範囲を画定することも意図されていない。その唯一の目的は、後に提示されるより詳細な説明の前置きとして、本開示の１つまたは複数の実施形態のいくつかの概念を要約形式で提示することである。

【0005】

１つまたは複数の実施形態では、対象の網膜の光干渉断層撮影（ＯＣＴ）ボリューム画像を受信するための方法が提供される。健康表示出力は、ＯＣＴボリューム画像を使用して、深層学習モデルを介して生成され、健康表示出力は、ＯＣＴボリューム画像と網膜の選択された健康状態カテゴリとの間の関連付けのレベルを示す。顕著性マッピングアルゴリズムを使用して深層学習モデルについてのマップ出力が生成される。マップ出力は、深層学習モデルによって生成された健康表示出力に対するＯＣＴボリューム画像内の一連の領域の寄与度を示す。

【0006】

１つまたは複数の実施形態では、対象の網膜の光干渉断層撮影（ＯＣＴ）ボリューム画像を受信するための方法が提供される。健康表示出力は、ＯＣＴボリューム画像を使用して、深層学習モデルを介して生成され、健康表示出力は、ＯＣＴボリューム画像と網膜の選択された健康状態カテゴリとの間の関連付けのレベルを示す。顕著性マッピングアルゴリズムを使用して、ＯＣＴボリューム画像について顕著性ボリュームマップが生成される。顕著性ボリュームマップは、深層学習モデルによって生成された健康表示出力に対するＯＣＴボリューム画像内の一連の領域の寄与度を示す。顕著性ボリュームマップを使用して、選択された健康状態カテゴリに対するＯＣＴボリューム画像内の一連のバイオマーカーが検出される。

【0007】

１つまたは複数の実施形態において、システムは、非一時的メモリと、非一時的メモリに結合されたハードウェアプロセッサとを備える。ハードウェアプロセッサは、システムに、対象の網膜の光干渉断層撮影（ＯＣＴ）ボリューム画像を受信させ、ＯＣＴボリューム画像を使用して、深層学習モデルを介して、ＯＣＴボリューム画像と網膜の選択された健康状態カテゴリとの間の関連付けのレベルを示す健康表示出力を生成させ、顕著性マッピングアルゴリズムを使用して、深層学習モデルによって生成された健康表示出力に対するＯＣＴボリューム画像内の一連の領域の寄与度を示す、深層学習モデルについてのマップ出力を生成させる命令を非一時的メモリから読み出すように構成される。

【図面の簡単な説明】

【0008】

本明細書に開示された原理およびその利点のより完全な理解のために、ここで、添付の図面と併せて以下の説明を参照する。

【0009】

【図1】１つまたは複数の実施形態によるネットワーク化されたシステム１００のブロック図である。

【0010】

【図2】様々な実施形態による、対象の網膜のＯＣＴボリューム画像を処理して、ＯＣＴボリューム画像が、網膜の選択された健康状態カテゴリの証拠となるかどうかを判定するプロセスのフローチャートである。

【0011】

【図3】様々な実施形態による、対象の網膜のＯＣＴボリューム画像におけるバイオマーカーを同定するためのプロセスのフローチャートである。

【0012】

【図4】様々な実施形態による、注釈付きＯＣＴスライス画像および注釈付きＯＣＴスライス画像の対応するヒートマップを示す図である。

【0013】

【図5】様々な実施形態による異なるマップの図である。

【0014】

【図6】本開示の様々な実施形態による、コンピュータベースのモデルを実装するために使用することができる例示的なニューラルネットワークを示す図である。

【0015】

【図7】本開示の様々な実施形態によるコンピュータシステムのブロック図である。

【0016】

図は必ずしも縮尺通りに描かれているとは限らず、図中のオブジェクトも必ずしも互いとの関係において縮尺通りに描かれているとは限らないことを理解されたい。図は、本明細書に開示される装置、システム、および方法の様々な実施形態に明瞭さおよび理解をもたらすことを意図した描写である。可能な限り、同じまたは同様の部分を指すために図面全体を通して同じ参照符号が使用される。さらに、図面は、本教示の範囲を決して限定するものではないことを理解されたい。

【発明を実施するための形態】

【0017】

Ｉ．概要
医療撮像技術は、医療従事者が患者の医学的問題をより良く視覚化および理解することを可能にする医療画像を生成するために使用され得る強力なツールであり、そのため、同じより正確な診断および治療選択肢を提供する。例えば、光干渉断層撮影（ＯＣＴ）は、網膜の画像を捕捉するために特に人気のある非侵襲的撮像技術である。ＯＣＴは、音波を使用して組織をスキャンする超音波スキャンと同様に、組織から光波を散乱させて、組織の２次元（２Ｄ）画像および／または３次元（３Ｄ）画像の形態のＯＣＴ画像を生成する超音波スキャン技術として説明されることがある。２Ｄ ＯＣＴ画像は、ＯＣＴスライス、ＯＣＴ断面画像、またはＯＣＴスキャン（例えば、ＯＣＴ Ｂスキャン）と呼ばれることもある。３Ｄ ＯＣＴ画像は、ＯＣＴボリューム画像と呼ばれることがあり、多くのＯＣＴスライス画像から構成されることがある。次いで、ＯＣＴ画像は、画像が得られた患者の診断、監視および／または治療に使用されてもよい。例えば、加齢黄斑変性（ＡＭＤ）患者の網膜のＯＣＴスライス画像およびＯＣＴボリューム画像は、ＡＭＤ診断および治療選択肢を患者に提供するために分析されることがある。

【0018】

網膜のＯＣＴ画像は、患者の眼科的状態に関する貴重な情報を含むことがあるが、ＯＣＴ画像から情報を抽出することは、資源集約的で困難な作業であり、ＯＣＴ画像に含まれる情報について誤った結論を引き出すことにつながることがある。例えば、ＡＭＤなどの眼疾患を有する患者を治療する場合、患者の網膜のＯＣＴスライスの大規模なセットが得られる場合があり、訓練を受けた人間のレビュアーのセットが、ＯＣＴスライスのセット内のＡＭＤのバイオマーカーを手動で同定することを任務とすることがある。しかしながら、このようなプロセスは、煩雑で困難な場合があり、網膜疾患のバイオマーカーの同定に時間がかかり、不正確さ、および／またはばらつきが生じる可能性がある。ＯＣＴ画像をレビューする訓練を受けた対象分野の専門家が、バイオマーカー同定の精度を向上させるために使用され得るが、このプロセスは依然として面倒な場合があり、レビュアー間の固有の望ましくないばらつきがある可能性があり、特にコストがかかる可能性がある。したがって、このようなＯＣＴスライス片の大規模なセットをレビューするために、このような対象分野の専門家に依拠することは、ＡＭＤなどの疾患のバイオマーカーを同定するために所望される効率的で、費用対効果が高く、一貫性のある、正確なメカニズムを医療提供者に提供しない可能性がある。さらに、ＯＣＴ画像の手動レビューは、網膜疾患の将来の発症の予後を示す新しいバイオマーカーを発見するのにあまり成功しない可能性さえある。

【0019】

例えば、地図状萎縮（ＧＡ）は、視力を脅かす後期ＡＭＤ合併症である可能性がある。カラー眼底写真（ＣＦＰ）または眼底自発蛍光（ＦＡＦ）を使用してＧＡを識別することができるが、対象分野の専門家がこれらのタイプの画像上でＧＡの証拠を確認できる頃には、網膜外組織が既に実質的に失われている可能性がある。ＡＭＤの初期ステージでＧＡの発症を遅らせるまたは予防する方法を決定するには、ＧＡ発症の初期徴候または予測因子を識別することが有益である場合がある。例えば、ＧＡ発症の早期識別および／または予測のためのバイオマーカーは、高リスクの個体を識別して臨床試験集団を充実させるために、これを使用することができ、ＡＭＤ進行の様々なステージのバイオマーカーとして役立ち、および／またはＧＡの発症を予防することを目指す臨床試験における早期エンドポイントとして潜在的に作用することができる。

【0020】

ＯＣＴ画像は、新生期地図状萎縮（新生期ＧＡまたはｎＧＡ）を識別するために使用されており、これはＧＡの発症が近い（例えば、６～３０ヶ月以内）という強力な予測因子である場合がある。例えば、場合によっては、ＯＣＴ画像において新生期ＧＡを示す網膜は、新生期ＧＡを示さない網膜と比較して、ＧＡを発症するリスクが７０倍を超える。したがって、新生期ＧＡは、初期ＡＭＤからＧＡへの進行の予後指標であり得る。ＯＣＴ画像における新生期ＧＡを定義する解剖学的バイオマーカーの例には、内顆粒層（ＩＮＬ）および外網状層（ＯＰＬ）の沈降、ヘンレの線維層内の低反射くさび形バンド、またはその両方が含まれるが、これらに限定されない。

【0021】

新生期ＧＡを正確に識別できれば、ＧＡの発症に対する予防治療を評価する実現可能性が向上する可能性がある。しかしながら、ＯＣＴボリューム画像内の多数の個々のＯＣＴスライス画像（またはＢスキャン）を手動でグレーディングすることは、労働集約的であり、時間がかかり、結果として、高価である。これは、特に、網膜を撮像するときに高い空間分解能を提供するために、ＯＣＴボリューム画像ごとに多数のＢスキャンを取得する場合に当てはまる。

【0022】

したがって、本明細書に記載の実施形態は、網膜のＯＣＴボリューム画像が網膜の選択された健康状態カテゴリの証拠となるかどうかを迅速、効率的、および正確に検出するための人工知能（ＡＩ）ベースのシステムおよび方法を提供する。選択された健康状態カテゴリは、例えば、網膜疾患（例えば、ＡＭＤ）または網膜疾患のステージであってもよい。１つまたは複数の実施形態では、選択された健康状態カテゴリは新生期ＧＡである。他の実施形態では、選択された健康状態カテゴリは、ＡＭＤ進行の別のステージ（例えば、初期ＡＭＤ、中期ＡＭＤ、ＧＡなど）であってもよい。深層学習モデルは、ＯＣＴボリューム画像を受け取り、ＯＣＴボリューム画像が網膜の選択された健康状態カテゴリ（例えば、新生期ＧＡ）の証拠となるかどうかを示す健康表示出力を生成するように訓練されてもよい。例えば、健康表示出力は、ＯＣＴボリューム画像と選択された健康状態カテゴリとの間の関連付けのレベルを示し得る。この関連付けレベルは、関連付けなし、何らかの関連付け、または完全な関連付けであってもよい。深層学習モデルは、例えば、ニューラルネットワークモデルを含んでもよい。１つの非限定的な例として、深層学習モデルは、ＯＣＴボリューム画像と選択された健康状態カテゴリとの間の関連付けのレベルを示す確率（例えば、０．００から１．００の間）である健康表示出力を生成し得る。

【0023】

さらに、本明細書に記載のシステムおよび方法は、網膜疾患のバイオマーカーおよび／または将来の網膜疾患発症の予後を示すバイオマーカーを迅速、効率的、および正確に同定するために使用されてもよい。例えば、本明細書に記載のシステムおよび方法は、選択された健康状態カテゴリを示す、さもなければそれに対応するＯＣＴボリューム画像内の一連のバイオマーカーを同定するために使用されてもよい。システムおよび方法はまた、選択された健康状態カテゴリ（例えば、選択された期間内の選択された健康状態カテゴリへの進行）に対する予後を示すＯＣＴボリューム画像内の一連の予後バイオマーカーを同定するために使用されてもよい。

【0024】

１つまたは複数の実施形態では、深層学習モデルを含む健康状態識別システムは、ＯＣＴボリューム画像を処理するために使用される。健康識別システムは、ニューラルネットワークモデルを含み得る深層学習モデルを使用して、ＯＣＴボリューム画像が、選択された健康状態カテゴリの証拠となるかどうかを示す健康表示出力を生成する。場合によっては、選択された健康状態カテゴリは、関心のある健康状態カテゴリのグループのうちの１つであってもよい。１つまたは複数の実施形態において、選択された健康状態カテゴリは、ＡＭＤの選択されたステージである。ＡＭＤの選択されたステージは、例えば、新生期ＧＡであってもよい。

【0025】

１つまたは複数の実施形態では、健康状態識別システムは、顕著性マッピングアルゴリズム（顕著性マッピング技術とも呼ばれる）を使用して、ＯＣＴボリューム画像内の一連の領域が、選択された健康状態カテゴリに関連付けられているかどうかを示す深層学習モデルについてのマップ出力を生成する。顕著性マッピングアルゴリズムは、所与のＯＣＴボリューム画像について深層学習モデルによって生成された健康表示出力に対するＯＣＴボリューム画像の様々な部分の寄与度（または重要度）を識別するために使用され得る。健康状態識別システムは、マップ出力を使用して、ＯＣＴボリューム画像内のバイオマーカーを同定し得る。バイオマーカーは、ＯＣＴボリューム画像が現在、網膜の選択された健康状態カテゴリの証拠となることを示し得る。場合によっては、バイオマーカーは、ＯＣＴボリューム画像が、選択された期間（例えば、６ヶ月、１年、２年、３年など）内に、選択された健康状態カテゴリに進行する網膜の予後を示すことを示すという点で予後予測であってもよい。

【0026】

上述した顕著性マッピングアルゴリズムは、様々な方法で実装されてもよい。顕著性マッピングアルゴリズムの一例は、勾配重み付けクラス活性化マッピング（Ｇｒａｄ－ＣＡＭ）であり、これは、予測を実行する際に深層学習モデルが行う決定についてヒートマップの形態で「視覚的説明」を提供する技術である。すなわち、Ｇｒａｄ－ＣＡＭは、訓練された深層学習モデルがＯＣＴスライス画像の顕著性マップまたはヒートマップを生成するために実装されてもよく、ヒートマップは、ＯＣＴスライス画像に示される網膜の疾患のステージに関する判定および／または予測を行う際に、ニューラルネットワークモデルが使用するＯＣＴスライス画像の領域または位置を示す（例えば、色、輪郭、注釈などを使用する）。１つまたは複数の実施形態では、Ｇｒａｄ－ＣＡＭは、ＯＣＴスライス画像内の各画素の、深層学習モデルによって生成された健康表示出力に対する重要度を決定し得る。Ｇｒａｄ－ＣＡＭに関するさらなる詳細は、参照によりその全体が本明細書に組み込まれるＲ．Ｒ．Ｓｅｌｖａｒａｊｕら、「Ｇｒａｄ－ＣＡＭ：Ｖｉｓｕａｌ Ｅｘｐｌａｎａｔｉｏｎｓ ｆｒｏｍ Ｄｅｅｐ Ｎｅｔｗｏｒｋｓ ｖｉａ Ｇｒａｄｉｅｎｔ－ｂａｓｅｄ Ｌｏｃａｌｉｚａｔｉｏｎ」、Ａｒｘｉｖ：１６１０．０２３９１（２０１７）に見出され得る。顕著性マッピング技術の他の非限定的な例には、クラス活性化マッピング（ＣＡＭ）、ＳｍｏｏｔｈＧｒａｄ、変分推論のための低分散勾配推定器（ＶａｒＧｒａｄ）などが含まれる。

【0027】

次いで、顕著性マッピングアルゴリズムによって生成された顕著性マップを使用して、所与のＯＣＴスライス画像上の１つまたは複数の潜在的なバイオマーカーの位置を特定し得る。例えば、顕著性マップを使用して、ＯＣＴスライス画像内の各潜在的バイオマーカーまたは潜在的なバイオマーカー領域の周りにバウンディングボックスを生成してもよい。したがって、各バウンディングボックスは、潜在的なバイオマーカーの位置を特定し得る。１つまたは複数の実施形態において、スコアリングメトリック（例えば、信頼スコア）を使用して、どのバウンディングボックスが選択された健康状態カテゴリに対する１つまたは複数のバイオマーカーであるか、またはそれを含むかを決定し得る。

【0028】

深層学習モデルおよび顕著性マッピングアルゴリズムを有する健康状態識別システムを使用して、ＯＣＴボリューム画像において網膜の健康状態を分類し、選択された健康状態カテゴリに対するバイオマーカーを同定することにより、対象の網膜の評価に関連付けられた時間およびコストを削減し得て、診断、監視、および／または治療を実施することができる効率および精度を向上させ得る。さらに、本明細書に記載の実施形態を使用することにより、ＡＭＤ進行の初期ステージで対象を臨床試験に加えることが可能になり、このような臨床試験の有益性が向上する可能性がある。さらに、本明細書に記載の実施形態を使用することにより、網膜の健康状態の分類、将来の網膜の健康状態の予測、および／または選択された健康状態カテゴリに対するバイオマーカーの同定に関して、使用される全体的なコンピューティングリソースを低減し、および／またはコンピュータの性能を高速化し得る。

【0029】

ＩＩ．例示的な健康状態識別システム
図１は、１つまたは複数の実施形態によるネットワーク化されたシステム１００のブロック図である。ネットワークシステム１００は、網膜などの組織のＯＣＴボリューム画像の捕捉、深層学習モデルを介したＯＣＴボリューム画像の処理、顕著性マッピングアルゴリズムを使用したＯＣＴボリューム画像の処理、現在の網膜の健康状態を示すか、もしくは網膜の健康状態の予後を示すバイオマーカーの同定、またはそれらの組合せに関連する様々なプロセスを実行するように動作する任意の数または組合せのサーバおよび／またはソフトウェア構成要素を含み得る。例示的なサーバは、例えば、ＭＩＣＲＯＳＯＦＴ（商標）ＯＳ、ＵＮＩＸ（商標）ＯＳ、ＬＩＮＵＸ（商標）ＯＳ、または他の適切なサーバベースのＯＳなどのサーバＯＳを動作させるスタンドアロンおよびエンタープライズクラスのサーバを含み得る。ネットワーク化されたシステム１００で使用されるサーバは、他の方法で配備されてもよく、そのようなサーバによって実行される動作および／または提供されるサービスは、所与の実装のために結合または分離されてもよく、より多数またはより少数のサーバによって実行されてもよいことが理解され得る。１つまたは複数のサーバが、同じまたは異なるエンティティによって運用および／または維持され得る。

【0030】

ネットワーク化されたシステム１００は、健康状態識別（ＨＳＩ）システム１０１を含む。健康状態識別システム１０１は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組合せを使用して実施されてもよい。１つまたは複数の実施形態では、健康状態識別システム１０１は、コンピューティングプラットフォーム１０２、データストレージ１０４（例えば、データベース、サーバ、ストレージモジュール、クラウドストレージなど）、および表示システム１０６を含み得る。コンピューティングプラットフォーム１０２は、様々な形態をとり得る。１つまたは複数の実施形態では、コンピューティングプラットフォーム１０２は、互いに通信する単一のコンピュータ（もしくはコンピュータシステム）または複数のコンピュータを含む。他の例では、コンピューティングプラットフォーム１０２は、クラウドコンピューティングプラットフォーム、モバイルコンピューティングプラットフォーム（例えば、スマートフォン、タブレットなど）、またはそれらの組合せの形態をとる。

【0031】

データストレージ１０４および表示システム１０６はそれぞれ、コンピューティングプラットフォーム１０２と通信する。いくつかの例では、データストレージ１０４、表示システム１０６、またはその両方は、コンピューティングプラットフォーム１０２の一部と見なされてもよく、さもなければコンピューティングプラットフォーム１０２と統合されてもよい。したがって、いくつかの例では、コンピューティングプラットフォーム１０２、データストレージ１０４、および表示システム１０６は、互いに通信する別個の構成要素であってもよいが、他の例では、これらの構成要素のいくつかの組合せが一緒に統合されてもよい。

【0032】

ネットワーク化されたシステム１００は、ＯＣＴスキャナとも呼ばれ得るＯＣＴ撮像システム１１０をさらに含んでもよい。ＯＣＴ撮像システム１１０は、ＯＣＴ撮像データ１１２を生成し得る。ＯＣＴ撮像データ１１２は、ＯＣＴボリューム画像（すなわち、３Ｄ ＯＣＴ画像）および／またはＯＣＴスライス画像（すなわち、２Ｄ ＯＣＴ画像）を含んでもよい。例えば、ＯＣＴ撮像データ１１２は、ＯＣＴボリューム画像１１４を含んでもよい。ＯＣＴボリューム画像１１４は、複数（例えば、１０枚、１００枚、１０００枚など）のＯＣＴスライス画像から構成されてもよい。ＯＣＴスライス画像は、ＯＣＴ Ｂスキャンまたは断面ＯＣＴ画像と呼ばれることもある。

【0033】

１つまたは複数の実施形態では、ＯＣＴ撮像システム１１０は、患者の組織のＯＣＴ撮像データ１１２を生成するように構成された光干渉断層撮影（ＯＣＴ）システム（例えば、ＯＣＴスキャナまたは機械）を含む。例えば、ＯＣＴ撮像システム１１０を使用して、患者の網膜のＯＣＴ撮像データ１１２を生成し得る。場合によっては、ＯＣＴシステムは、臨床現場で使用される大型卓上構成、携帯型もしくはハンドヘルド専用システム、またはスマートフォンなどのユーザのパーソナル機器に組み込まれた「スマート」ＯＣＴシステムであってもよい。ＯＣＴ撮像システム１１０は、生のＯＣＴボリューム画像からノイズおよび他のアーチファクトを除去してＯＣＴボリューム画像１１４を生成するように構成された画像ノイズ除去装置を含み得る。

【0034】

健康状態識別システム１０１は、ネットワーク１２０を介してＯＣＴ撮像システム１１０と通信し得る。ネットワーク１２０は、単一のネットワークまたは複数のネットワークを組み合わせて使用して実装されてもよい。ネットワーク１２０は、任意の数の有線通信リンク、無線通信リンク、光通信リンク、またはそれらの組合せを使用して実装されてもよい。例えば、様々な実施形態では、ネットワーク１２０は、インターネットまたは１つもしくは複数のイントラネット、地上通信線ネットワーク、無線ネットワーク、および／または他の適切なタイプのネットワークを含んでもよい。別の例では、ネットワーク１２０は、インターネットなどの他の通信ネットワークと通信するように適合された無線電気通信ネットワーク（例えば、携帯電話ネットワーク）を備えてもよい。

【0035】

ＯＣＴ撮像システム１１０および健康状態識別システム１０１はそれぞれ、本明細書に記載の様々なアプリケーション、データ、およびステップを実施するために、１つまたは複数のコンピュータ可読媒体に記憶されたプログラムコードおよび／またはデータなどの命令を実行するための１つまたは複数の電子プロセッサ、電子メモリ、および他の適切な電子部品を含み得る。例えば、そのような命令は、ネットワーク化されたシステム１００の様々な構成要素の内部および／または外部のメモリまたはデータストレージ（例えば、データストレージ１０４）などの１つまたは複数のコンピュータ可読媒体に記憶されてもよく、および／またはネットワーク１２０を介してアクセス可能であってもよい。ＯＣＴ撮像システム１１０および健康状態識別システム１０１のそれぞれのうちの１つのみが示されているが、他の実施形態では、それぞれのうちの２つ以上が存在し得る。

【0036】

いくつかの実施形態では、ＯＣＴ撮像システム１１０は、診断、監視、治療、研究、臨床試験などの目的で、対象の組織試料のＯＣＴ撮像データ１１２を取得することを任務とするエンティティによって維持され得る。例えば、エンティティは、患者が有する可能性のある眼の状態または疾患（例えば、ＡＭＤ）の診断に使用するために患者の網膜のＯＣＴ撮像データを取得しようとする医療提供者（例えば、眼科医療提供者）とすることができる。別の例として、エンティティは、網膜に影響を及ぼす疾患の進行／退行の結果としての網膜の変化、および／または疾患を治療するために対象に投与された薬物の効果を監視するために対象の網膜のＯＣＴ画像データを収集することを任務とする臨床試験の管理者とすることができる。上記の例は非限定的なものであり、ＯＣＴ撮像システム１１０は、ＯＣＴ撮像システム１１０を使用して上述のまたは任意の他の医療目的のための網膜のＯＣＴ撮像データを取得することができる他のエンティティおよび／または専門家によって維持され得ることに留意されたい。

【0037】

いくつかの実施形態では、健康状態識別システム１０１は、組織のＯＣＴ画像から組織の疾患または状態のバイオマーカーを同定もしくは発見することを任務とするエンティティによって維持され得る。例えば、健康状態識別システム１０１は、ＡＭＤなどの網膜疾患のバイオマーカーの同定または発見することを任務とする眼科ヘルスケア提供者、研究者、臨床試験管理者などによって維持されてもよい。図１は、ＯＣＴ撮像システム１１０および健康状態識別システム１０１を２つの別個の構成要素として示しているが、いくつかの実施形態では、ＯＣＴ撮像システム１１０および健康状態識別システム１０１は、同じシステムまたはモジュール（例えば、医療提供者または臨床試験管理者などの同じエンティティによって維持される）の一部であってもよい。

【0038】

健康状態識別システム１０１は、ＯＣＴ撮像システム１１０からＯＣＴ撮像データ１１２を受信するように構成された画像プロセッサ１３０を含み得る。画像プロセッサ１３０は、ハードウェア、ファームウェア、ソフトウェア、またはそれらの組合せを使用して実装されてもよい。１つまたは複数の実施形態では、画像プロセッサ１３０は、コンピューティングプラットフォーム１０２内に実装されてもよい。

【0039】

画像プロセッサ１３０は、モデル１３２（健康状態モデル１３２とも呼ばれ得る）、顕著性マッピングアルゴリズム１３４、および出力生成器１３６を含み得る。モデル１３２は、機械学習モデルを含み得る。例えば、モデル１３２は、深層学習モデルを含み得る。１つまたは複数の実施形態では、深層学習モデルは、１つまたは複数のニューラルネットワークを含むニューラルネットワークモデルを含む。モデル１３２は、対象の網膜の現在および／または将来の健康状態を識別（または分類）するために使用され得る。

【0040】

例えば、モデル１３２は、入力としてＯＣＴ撮像データ１１２を受信してもよい。特に、モデル１３２は、対象の網膜のＯＣＴボリューム画像１１４を受信し得る。モデル１３２は、ＯＣＴボリューム画像１１４を構成するＯＣＴスライス画像の少なくとも一部を処理することによってＯＣＴボリューム画像１１４を処理してもよい。いくつかの実施形態では、モデル１３２は、ＯＣＴボリューム画像１１４を構成するすべてのＯＣＴスライス画像を処理する。モデル１３２は、ＯＣＴボリューム画像１１４に基づいて健康表示出力１３８を生成し、健康表示出力１３８は、ＯＣＴボリューム画像１１４が対象の網膜について選択された健康状態カテゴリ１４０の証拠となるかどうかを示す。

【0041】

例えば、健康表示出力１３８は、ＯＣＴボリューム画像１１４と選択された健康状態カテゴリ１４０との間の関連付けのレベルを示し得る。この関連付けのレベルは、確率を介して示されてもよい。例えば、１つまたは複数の実施形態では、健康表示出力１３８は、ＯＣＴボリューム画像１１４と選択された健康状態カテゴリ１４０との間の関連付けのレベル、またはＯＣＴボリューム画像１１４が、選択された健康状態カテゴリ１４０の証拠となる可能性がどの程度であるかを示す確率であってもよい。この関連付けのレベルは、例えば、関連付けなし（例えば、０．０の確率）、弱い関連付け（例えば、０．０１～０．４の確率）、中程度の関連付け（例えば、０．４～０．６の確率）、強い関連付け（例えば、０．６～１．０の確率）、または何らかの他のタイプの関連付けであってもよい。これらのパーセンテージは、確率範囲および関連付けのレベルの一部の例に過ぎない。他の実施形態では、他のレベルの関連付けおよび／または他のパーセンテージ範囲が使用されてもよい。モデル１３２が健康表示出力１３８を生成するプロセスは、以下の図２に関してより詳細に説明される。

【0042】

選択された健康状態カテゴリ１４０は、現時点または将来の時点（例えば、今後６ヶ月、１年、２年など）を指す網膜の健康状態であってもよい。言い換えれば、選択された健康状態カテゴリ１４０は、現在の健康状態または将来の健康状態を表し得る。現時点は、例えば、ＯＣＴボリューム画像１１４が生成された時点の選択された間隔（例えば、１週間、２週間、１ヶ月、２ヶ月など）内にＯＣＴボリューム画像１１４が生成された時点であってもよい。

【0043】

１つまたは複数の実施形態では、選択された健康状態カテゴリ１４０は、ＡＭＤの選択されたステージであってもよい。選択された健康状態カテゴリ１４０は、例えば、限定されないが、現在の新生期ＧＡまたは将来の新生期ＧＡであってもよい。場合によっては、選択された健康状態カテゴリ１４０は、選択された期間（例えば、６ヶ月、１年、２年など）内に新生期ＧＡに至ると予測されるＡＭＤのステージを表す。他の例では、選択された健康状態カテゴリ１４０は、選択された期間内にＧＡの発症に至ると予測されるＡＭＤのステージを表す。さらに他の例では、選択された健康状態カテゴリ１４０は、選択された期間内に新生期ＧＡに至ると予測されるＡＭＤのステージを表す。このようにして、選択された健康状態カテゴリ１４０は、網膜の現在の健康状態または網膜の将来の健康状態の予測のためのものであってもよい。健康状態カテゴリの他の例には、初期ＡＭＤ、中期ＡＭＤ、ＧＡなどが含まれるが、これらに限定されない。

【0044】

上述したように、モデル１３２は、ニューラルネットワークモデルを使用して実施されてもよい。ニューラルネットワークモデルは、任意の数または組合せのニューラルネットワークを含み得る。ニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）（例えば、Ｕ－Ｎｅｔ）、完全畳み込みネットワーク（ＦＣＮ）、スタック型ＦＣＮ、マルチチャネル学習を伴うスタック型ＦＣＮ、フィードフォワードニューラルネットワーク（ＦＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、モジュラーニューラルネットワーク（ＭＮＮ）、残差ニューラルネットワーク（ＲｅｓＮｅｔ）、常微分方程式ニューラルネットワーク（ｎｅｕｒａｌ－ＯＤＥ）、スクイズおよび励起埋め込みニューラルネットワーク、ＭｏｂｉｌｅＮｅｔ、または別のタイプのニューラルネットワークの形態をとり得るが、これらに限定されない。１つまたは複数の実施形態では、ニューラルネットワークは、それ自体、ＣＮＮ（例えば、Ｕ－Ｎｅｔ）、ＦＣＮ、スタック型ＦＣＮ、マルチチャネル学習を伴うスタック型ＦＣＮ、ＦＮＮ、ＲＮＮ、ＭＮＮ、ＲｅｓＮｅｔ、ニューラルド、スクイズおよび励起埋め込みニューラルネットワーク、ＭｏｂｉｌｅＮｅｔ、または別のタイプのニューラルネットワークのうちの少なくとも１つから構成されてもよい。１つまたは複数の実施形態では、ニューラルネットワークモデルは、１つまたは複数の畳み込みニューラルネットワークを含む畳み込みニューラルネットワーク（ＣＮＮ）システムの形態をとる。例えば、ＣＮＮは、それぞれがそれ自体畳み込みニューラルネットワークであってもよい複数のニューラルネットワークを含み得る。

【0045】

１つまたは複数の実施形態では、ニューラルネットワークモデルは、それぞれが単一のエンコーダまたは複数のエンコーダとすることができるエンコーダのセットと、デコーダとを含み得る。いくつかの実施形態では、１つまたは複数のエンコーダおよび／またはデコーダは、ニューラルネットワークを介して実装されてもよく、ニューラルネットワークは、１つまたは複数のニューラルネットワークから構成されてもよい。場合によっては、デコーダおよび１つまたは複数のエンコーダは、ＣＮＮを使用して実装されてもよい。デコーダおよび１つまたは複数のエンコーダは、Ｙ－Ｎｅｔ（Ｙ字型ニューラルネットワークシステム）またはＵ－Ｎｅｔ（Ｕ字型ニューラルネットワークシステム）として実装されてもよい。ニューラルネットワークに関するさらなる詳細は、図６を参照して以下に提供される。

【0046】

健康状態識別システム１０１はまた、選択された健康状態カテゴリ１４０のバイオマーカー１４２のセットを同定（または検出）するために使用されてもよい。例えば、健康状態識別システム１０１を使用して、対象の網膜について選択された健康状態カテゴリ１４０の証拠となるＯＣＴボリューム画像１１４内のバイオマーカー１４２のセットを同定し得る。例えば、選択された健康状態カテゴリ１４０が現在の新生期ＧＡである場合、バイオマーカー１４２のセットは、ＯＣＴボリューム画像１１４が現在、網膜の選択された健康状態カテゴリ１４０の証拠となることを示す１つまたは複数の解剖学的バイオマーカーを含み得る。選択された健康状態カテゴリ１４０が将来の健康状態（例えば、選択された期間内に新生期ＧＡに進行すると予測される）を表す場合、バイオマーカー１４２のセットは、この将来の健康状態の予後予測であってもよい。

【0047】

健康状態識別システム１０１は、顕著性マッピングアルゴリズム１３４を使用して、バイオマーカー１４２のセットを同定する。例えば、顕著性マッピングアルゴリズム１３４を使用して、モデル１３２の健康表示出力１３８に最も影響を与えたまたは最も寄与したＯＣＴボリューム画像１１４の部分（または領域）を識別し得る。例えば、顕著性マッピングアルゴリズム１３４は、選択された健康状態カテゴリ１４０についてのＯＣＴボリューム画像１１４の様々な部分（または領域）の重要度を示すことがある。

【0048】

顕著性マッピングアルゴリズム１３４は、Ｇｒａｄ－ＣＡＭ、ＣＡＭ、ＳｍｏｏｔｈＧｒａｄ、ＶａｒＧｒａｄ、別のタイプの顕著性マッピングアルゴリズムもしくは技術、またはそれらの組合せを含み得るが、これらに限定されない。顕著性マッピングアルゴリズム１３４は、選択された健康状態カテゴリ１４０に関してＯＣＴボリューム画像１１４の様々な部分（または領域）の重要度を（例えば、ヒートマップを介して）示す顕著性ボリュームマップ１４４を生成し得る。言い換えれば、顕著性ボリュームマップ１４４は、モデル１３２によって生成された健康表示出力１３８に対するＯＣＴボリューム画像１１４の様々な部分の寄与度を示す。顕著性ボリュームマップ１４４は、複数の顕著性マップから構成されてもよく、そのそれぞれがＯＣＴボリューム画像１１４内の複数のＯＣＴスライス画像のうちの異なるＯＣＴスライス画像に対応する。各顕著性マップは、選択された健康状態カテゴリ１４０についてモデル１３２に最も影響を与えた対応するＯＣＴスライス画像の領域を視覚的に示し得る（例えば、色、強調表示、陰影、パターン、輪郭線、テキスト、注釈などを介して）。

【0049】

出力生成器１３６は、顕著性ボリュームマップ１４４を受け取って処理し、マップ出力１４６を生成し得る。１つまたは複数の実施形態では、マップ出力１４６は、顕著性ボリュームマップ１４４のフィルタリングされた形態または修正された形態をとる。他の実施形態では、マップ出力１４６は、顕著性ボリュームマップ１４４の形態、またはＯＣＴボリューム画像１１４に重ね合わされた顕著性ボリュームマップ１４４の修正形態をとる。顕著性ボリュームマップ１４４が複数の顕著性マップ（２次元）から構成され得るのと同様に、マップ出力１４６は複数の個々の２次元マップから構成され得る。これらのマップは、ＯＣＴスライス画像上のヒートマップまたはヒートマップのオーバーレイであってもよい。

【0050】

１つまたは複数の実施形態では、フィルタ（例えば、しきい値フィルタ）を顕著性ボリュームマップ１４４に適用して、顕著性ボリュームマップ１４４内の顕著性マップのサブセットを識別して修正してもよい。しきい値フィルタは、例えば、選択されたしきい値を上回る対応するＯＣＴスライス画像内の少なくとも１つの領域の寄与を示す顕著性マップのみがサブセットについて選択されることを確実にするように設定されてもよい。次いで、顕著性マップのこのサブセットは、形成される修正された顕著性ボリュームマップが顕著性ボリュームマップ１４４よりも少ないマップを含むように修正され得る。このようにして、マップ出力１４６が生成されると、マップ出力１４６は、顕著性ボリュームマップ１４４よりも少ないマップで構成され得る。他の実施形態では、生成されるマップ出力１４６が顕著性ボリュームマップ１４４内のマップよりも少ない数のマップを含むように、他のタイプのフィルタリングステップおよび／または他の前処理ステップが実行されてもよい。

【0051】

マップ出力１４６は、ＯＣＴボリューム画像１１４内の一連の領域が選択された健康状態カテゴリに関連付けられているかどうかを示し得る。例えば、マップ出力１４６は、モデル１３２によって生成された健康表示出力１３８に対するＯＣＴボリューム画像１１４内の一連の領域の寄与度を示し得る。領域は、画素レベルの領域、または複数の画素によって形成された領域であってもよい。領域は、連続的または不連続な領域であってもよい。いくつかの実施形態では、マップ出力１４６は、バイオマーカー１４２のセットを視覚的に位置特定する。他の実施形態では、マップ出力１４６は、出力生成器１３６によってさらに処理されて、ＯＣＴボリューム画像１１４のどの領域がバイオマーカーであるか、またはバイオマーカーを含むかを識別し得る。顕著性マッピングアルゴリズム１３４および出力生成器１３６を使用してバイオマーカー１４２のセットを同定するプロセスは、以下の図２～図３に関してより詳細に説明される。いくつかの実施形態では、顕著性マッピングアルゴリズム１３４は、出力生成器１３６と統合されるか、またはその一部として実装される。

【0052】

いくつかの実施形態では、モデル１３２は、組織のＯＣＴボリューム画像を含み得る訓練データセット１４８で訓練されてもよく、その結果、モデル１３２は、前記組織のＯＣＴボリューム画像の試験データセットから、組織の健康状態カテゴリ（例えば、疾患、状態、疾患進行など）に関連付けられたバイオマーカーを同定および／または発見することができる。場合によっては、組織の健康状態カテゴリは、健康から疾患の様々なステージにおよび得る。例えば、網膜に関連付けられた健康状態カテゴリは、健康から、初期ＡＭＤ、中期ＡＭＤ、新生期ＧＡなどを含むがこれらに限定されないＡＭＤの様々なステージに及ぶことができる。いくつかの例では、異なるバイオマーカーは、疾患の異なる健康状態カテゴリに関連付けられてもよい。

【0053】

例えば、ＡＭＤは、５０歳以上の患者における視力喪失の主な原因である。当初、ＡＭＤは、乾性型のＡＭＤとして現れ、後のステージで湿性型に進行する。乾性型では、ドルーゼンと呼ばれる小さな沈着物が網膜色素上皮（ＲＰＥ）の基底膜および網膜のブルッフ膜（ＢＭ）の内側コラーゲン層の下に形成され、網膜を経時的に劣化させる。進行したステージでは、乾性型ＡＭＤは、地図状萎縮（ＧＡ）として現れることがあり、これは、脈絡毛細管、ＲＰＥおよび光受容体の進行性かつ不可逆的な喪失を特徴とする。湿性型ＡＭＤは、眼の脈絡膜層に由来する異常な血管が網膜内に成長し、血液から網膜内に流体が漏出することによって現れる。したがって、いくつかの実施形態では、ドルーゼンは、ＡＭＤの１つのタイプの健康状態カテゴリ（例えば、ＡＭＤの乾性型）のバイオマーカーと考えられてもよく、欠損ＲＰＥは、ＡＭＤの別のタイプの健康状態カテゴリ（例えば、ＡＭＤの湿性型）のバイオマーカーと見なされ得る。他の健康状態カテゴリ（例えば、中期ＡＭＤ、新生期ＧＡなど）がＡＭＤ（例えば、または他のタイプの網膜疾患）について定義されてもよく、少なくとも１つまたは複数の区別可能なバイオマーカーがこれらの健康状態カテゴリに関連付けられてもよいことに留意されたい。

【0054】

上記のように、網膜または眼における形態変化および／または新たな領域、境界などの出現は、ＡＭＤなどの網膜疾患のバイオマーカーと見なされ得る。そのような形態学的変化の例には、歪み（例えば、形状、サイズなど）、減衰、異常、欠損したまたは存在しない領域／境界、欠陥、病変などが含まれ得る。例えば、上述のように、ＲＰＥの欠損は、ＡＭＤなどの網膜変性疾患を示し得る。別の例として、沈着物（例えば、ドルーゼン）、漏出など、健康な眼または網膜に存在しない領域、それらの間の境界などの出現もまた、ＡＭＤなどの網膜疾患のバイオマーカーと見なされ得る。バイオマーカーと見なされ得る網膜の特徴の他の例としては、網状偽ドルーゼン（ＲＰＤ）、網膜内高輝度点（例えば、ＲＰＥと同等以上の反射率を有する病変）、低反射性楔形構造（例えば、ＯＰＬの境界内に現れる）、脈絡膜透過亢進欠損などが挙げられる。

【0055】

出力生成器１３６は、他の形態の出力を生成し得る。例えば、１つまたは複数の実施形態では、出力生成器は、表示システム１０６に表示されるか、またはネットワーク１２０もしくは別のネットワークを介してリモートデバイス（例えば、クラウド、モバイルデバイス、ラップトップ、タブレットなど）に送信されるレポート１５０を生成し得る。レポート１５０は、例えば、限定されないが、ＯＣＴボリューム画像１１４、顕著性ボリューム画像、ＯＣＴボリューム画像のマップ出力、任意の同定されたバイオマーカーのリスト、対象の網膜の治療推奨、評価推奨、監視推奨、何らかの他の種類の推奨もしくは指示、またはそれらの組合せを含み得る。監視推奨は、例えば、対象の網膜を監視するための計画および将来のＯＣＴ撮像予約のスケジュールを含み得る。評価推奨は、例えば、ＯＣＴボリューム画像を形成する複数のＯＣＴスライス画像のサブセットをさらにレビューする（例えば、人間のレビュアーによって手動でレビューする）推奨を含み得る。識別されたサブセットは、複数のＯＣＴスライス画像の５％未満を含み得る。場合によっては、サブセットは、複数のＯＣＴスライス画像の５０％、４５％、４０％、３５％、３０％、２５％、２０％、１５％、１０％、５％、２％、または何らかの他のパーセンテージ未満を含み得る。

【0056】

１つまたは複数の実施形態では、健康状態識別システム１０１は、ＯＣＴ撮像システム１１０から得られたＯＣＴボリューム画像１１４、顕著性マップ１４４、マップ出力１４６、一連のバイオマーカー１４２の同定、レポート１５０、ＯＣＴボリューム画像１１４の処理中に生成された他のデータ、またはそれらの組合せをデータ構造１０４に格納する。いくつかの実施形態では、そのような情報を格納するデータ構造１０４の部分は、患者データ（例えば、患者の組織のＯＣＴ画像など）を取り扱う際に特定のセキュリティ手順を義務付ける医療保険の相互運用性および説明責任法（ＨＩＰＡＡ）のセキュリティ要件に準拠するように構成されてもよく、すなわち、データ構造１０４はＨＩＰＡＡ準拠であってもよい。例えば、記憶されている情報は暗号化され、匿名化されてもよい。例えば、ＯＣＴボリューム画像１１４は、ＯＣＴボリューム画像１１４が得られた対象の個人識別情報（ＰＩＩ）を除去および／または難読化するために暗号化および処理されることがある。場合によっては、ネットワーク１２０を利用するＯＣＴ撮像システム１１０と健康状態識別システム１０１との間の通信リンクもＨＩＰＡＡ準拠であってもよい。例えば、通信リンクは、エンドツーエンドで暗号化され、そこで送信されるＰＩＩデータを匿名化するように構成された仮想プライベートネットワーク（ＶＰＮ）であってもよい。

【0057】

１つまたは複数の実施形態では、健康識別システム１０１は、人間のレビュアーが健康識別システム１０１によって生成された画像、マップ、および／または他の出力と対話することを可能にするシステムインターフェース１６０を含む。システムインターフェース１６０は、例えば、ウェブブラウザ、アプリケーションインターフェース、ウェブベースのユーザインターフェース、何らかの他の種類のインターフェース構成要素、またはそれらの組合せを含み得るが、これらに限定されない。

【0058】

本明細書における議論は、一般に、ＡＭＤのステージに関するＯＣＴボリューム画像（およびＯＣＴスライス画像）の分類、ならびに網膜のＯＣＴボリューム画像（またはＯＣＴスライス画像）からのＡＭＤのバイオマーカーの同定および発見を対象としているが、議論は、任意の他の医療撮像技術を使用して得られた対象の他の組織の医療画像にも同様に適用され得る。すなわち、ＯＣＴボリューム画像１１４およびＯＣＴボリューム画像１１４を分類するためのステップ、ならびに網膜ＯＣＴスライス画像の顕著性マップ（例えば、ヒートマップ）の生成を介したＡＭＤバイオマーカーの同定および／または発見のための関連する議論は、非限定的な例示として意図されており、同じまたは実質的に同様の方法ステップは、組織の３Ｄ画像（例えば、ＯＣＴまたはその他）からの他の組織疾患の識別および／または発見に適用され得る。

【0059】

ＩＩＩ．健康状態を識別するための例示的な方法
ＩＩＩ．Ａ．例示的な健康状態分類およびバイオマーカー同定
図２は、様々な実施形態による、対象の網膜のＯＣＴボリューム画像を処理して、ＯＣＴボリューム画像が網膜の選択された健康状態カテゴリの証拠となるかどうかを判定するプロセスのフローチャートである。図２のプロセス２００は、図１の健康状態識別システム１０１を使用して実施されてもよい。例えば、プロセス２００のステップの少なくともいくつかは、健康状態識別システム１０１の一部として実装されたコンピュータまたはサーバのプロセッサによって実行されてもよい。プロセス２００は、図１のモデル１３２、顕著性マッピングアルゴリズム１３４、および／または出力生成器１３６を使用して実施されてもよい。さらに、以下で説明するプロセス２００のステップの前、間、または後に追加のステップが実行され得ることが理解される。さらに、いくつかの実施形態では、ステップのうちの１つまたは複数は、省略されるか、または異なる順序で実行されてもよい。

【0060】

プロセス２００は、任意に、深層学習モデルを訓練するステップ２０１を含んでもよい。深層学習モデルは、図１のモデル１３２の実施態様の一例であり得る。深層学習モデルは、例えば、ニューラルネットワークモデルを含み得るが、これに限定されない。深層学習モデルは、例えば、限定されないが、図１の訓練データセット１４８などの訓練データセットで訓練されてもよい。深層学習モデルがどのように訓練され得るかの例は、以下のセクションＩＩＩ．Ｂでさらに詳細に説明される。

【0061】

プロセス２００のステップ２０２は、対象の網膜の光干渉断層撮影（ＯＣＴ）ボリューム画像を受信するステップを含む。ＯＣＴボリューム画像は、例えば、図１のＯＣＴボリューム画像１１４であってもよい。ＯＣＴボリューム画像は、複数のＯＣＴスライス画像から構成されてもよい。

【0062】

ステップ２０４は、ＯＣＴボリューム画像を使用して、深層学習モデルを介して、健康表示出力を生成することを含み、健康表示出力は、ＯＣＴボリューム画像と網膜の選択された健康状態カテゴリとの間の関連付けのレベルを示す。健康表示出力は、例えば、図１の健康表示出力１３８であってもよい。１つまたは複数の実施形態では、健康表示出力は分類スコアである。分類スコアは、例えば、ＯＣＴボリューム画像、ひいてはＯＣＴボリューム画像に捕捉された網膜が、選択された健康状態カテゴリのものとして分類され得る確率であり得る。言い換えれば、分類スコアは、ＯＣＴボリューム画像が網膜の選択された健康状態カテゴリの証拠となる確率であり得る。いくつかの実施形態では、確率スコア（例えば、＞０．５、＞０．６、＞０．７、＞０．７５、＞０．８など）のしきい値を使用して、ＯＣＴボリューム画像が選択された健康状態カテゴリの証拠となるかどうかを判定する。

【0063】

選択された健康状態カテゴリは、例えば、図１の選択された健康状態カテゴリ１４０であってもよい。１つまたは複数の実施形態では、選択された健康状態カテゴリは、網膜の現在の健康状態（例えば、現在の疾患状態）を表す。１つまたは複数の他の実施形態では、選択された健康状態カテゴリは、将来の健康状態（例えば、選択された期間内に発症すると予測される将来の疾患状態）を表す。例えば、選択された健康状態カテゴリは、現在存在するか、または選択された期間（例えば、３ヶ月、６ヶ月、１年、２年、３年、または他の何らかの期間）内に発症すると予測される新生期ＧＡを表し得る。

【0064】

深層学習モデルは、異なる方法で健康表示出力を生成し得る。１つまたは複数の実施形態では、深層学習モデルは、ＯＣＴボリューム画像内の各ＯＣＴスライス画像の初期出力を生成して、複数の初期出力を形成する。ＯＣＴスライス画像の初期出力は、例えば、限定されないが、ＯＣＴスライス画像が網膜の選択された健康状態カテゴリの証拠となる確率であり得る。深層学習モデルは、複数の初期出力を使用して健康表示出力を生成し得る。例えば、深層学習モデルは、複数の初期出力を一緒に平均化して、ＯＣＴボリューム画像が全体として網膜の選択された健康状態カテゴリの証拠となる確率である健康表示出力を生成し得る。言い換えれば、健康表示出力は、網膜が選択された健康状態カテゴリに分類され得る確率であってもよい。他の実施形態では、複数の初期出力の中央値を健康表示出力として使用してもよい。さらに他の実施形態では、複数の初期出力は、健康表示出力を生成するために他の何らかの方法で組み合わされるかまたは統合されてもよい。

【0065】

ステップ２０６は、顕著性マッピングアルゴリズムを使用して深層学習モデルについてのマップ出力（例えば、マップ出力１４６）を生成するステップを含み、マップ出力は、深層学習モデルによって生成された健康表示出力に対するＯＣＴボリューム画像内の一連の領域の寄与度を示す。ＯＣＴボリューム内の領域の寄与度は、その領域が深層学習モデルによって生成された健康表示出力に与える重要度または影響度であり得る。この領域は、単一の画素または複数の画素として定義されてもよい。領域は連続的であっても不連続的であってもよい。１つまたは複数の実施形態において、顕著性マッピングアルゴリズムは、深層学習モデルからデータを受け取る。このデータは、例えば、ステップ２０４において健康表示出力を生成するために深層学習モデルによって使用される特徴、重み、または勾配を含み得る。顕著性マップアルゴリズムは、選択された健康状態カテゴリ（関心のあるクラスである）に対するＯＣＴボリューム画像の様々な部分の重要度を示す顕著性マップ（またはヒートマップ）を生成するために使用されてもよい。

【0066】

例えば、顕著性マッピングアルゴリズムは、ＯＣＴボリューム画像の各ＯＣＴスライス画像についての顕著性マップを生成し得る。１つまたは複数の実施形態では、顕著性マッピングアルゴリズムは、Ｇｒａｄ－ＣＡＭを使用して実装される。顕著性マップは、例えば、選択された健康状態カテゴリに関して深層学習モデルによって生成された健康表示出力に対する対応するＯＣＴスライス画像内の各画素の寄与度（または重要度）を示すヒートマップであってもよい。ＯＣＴボリューム画像内の複数のＯＣＴスライス画像についての顕著性マップは共に、顕著性ボリュームマップを形成し得る。顕著性マップは、重要度を示すために、色、注釈、テキスト、強調表示、陰影、パターン、または他の種類の視覚的インジケータを使用し得る。一例では、ある範囲の色を使用して、重要度の範囲を示すことがある。

【0067】

顕著性ボリュームマップは、様々な方法でマップ出力を生成するために使用され得る。１つまたは複数の実施形態では、各ＯＣＴスライス画像の各顕著性マップをフィルタリングして、修正された顕著性マップを生成し得る。例えば、１つまたは複数のフィルタ（例えば、しきい値、処理フィルタ、数値フィルタ、カラーフィルタ、シェーディングフィルタなど）を顕著性マップに適用して、修正された顕著性ボリュームマップを共に形成する修正された顕著性マップを生成し得る。各修正された顕著性マップは、対応するＯＣＴスライス画像の最も重要な領域を視覚的にシグナリングし得る。１つまたは複数の実施形態において、各修正された顕著性マップは、マップ出力を生成するために、その対応するＯＣＴスライス画像上にオーバーレイされる。例えば、修正された顕著性マップは、選択された健康状態カテゴリのモデルにとって最も重要である（または関連する）と判定されたＯＣＴスライス画像の部分が示されるように、対応するＯＣＴスライス画像にオーバーレイされてもよい。１つまたは複数の実施形態では、マップ出力は、オーバーレイされたＯＣＴスライス画像のすべてを含む。１つまたは複数の実施形態では、マップ出力は、健康表示出力の生成に最も重要または影響を与える寄与を有する領域の各オーバーレイされたＯＣＴスライス画像上に視覚的表示を提供し得る。

【0068】

他の実施形態では、修正された顕著性マップは、別の方法で処理されて、ＯＣＴスライス画像のどの領域が選択された健康状態カテゴリのモデルに最も影響を与えるかを示すマップ出力を生成する。例えば、修正された顕著性マップからの情報を使用して、対応するＯＣＴスライス画像を注釈付けおよび／または他の方法でグラフィカルに修正して、マップ出力を形成し得る。

【0069】

プロセス２００は、任意に、ステップ２０８を含んでもよい。ステップ２０８は、マップ出力を使用して、選択された健康状態カテゴリに対するＯＣＴボリューム画像内の一連のバイオマーカー（例えば、図１の一連のバイオマーカー１４２）を同定することを含む。ステップ２０８は、異なる方法で実行されてもよい。１つまたは複数の実施形態では、潜在的なバイオマーカー領域は、選択された健康状態カテゴリにとって重要または影響力があるとしてマップ出力によって識別されたＯＣＴスライス画像の選択された領域と関連付けて識別されてもよい。潜在的なバイオマーカー領域は、ＯＣＴスライス画像のこの選択された領域として識別されてもよく、またはＯＣＴスライス画像のこの選択された領域に基づいて定義されてもよい。１つまたは複数の実施形態では、潜在的なバイオマーカー領域を定義するために、ＯＣＴスライス画像の選択された領域の周りにバウンディングボックスが作成される。

【0070】

潜在的なバイオマーカー領域についてスコアリングメトリックが生成され得る。スコアリングメトリックは、例えば、潜在的なバイオマーカー領域のサイズ、潜在的なバイオマーカー領域の信頼スコア、何らかの他のメトリック、またはそれらの組合せを含み得る。潜在的なバイオマーカー領域（例えば、バウンディングボックス）は、スコアリングメトリックが選択されたしきい値を満たす場合、選択された健康状態カテゴリのバイオマーカーとして識別され得る。例えば、スコアリングメトリックが信頼スコアおよび次元を含む場合、選択されたしきい値は、信頼スコアしきい値（例えば、スコア最小値）および最小次元を含み得る。いくつかの実施形態では、特定のバイオマーカーは、複数のＯＣＴスライス画像上に見出されるか、または複数のＯＣＴスライス画像にまたがってもよい。１つまたは複数の実施形態では、しきい値を満たし、バイオマーカー領域として分類されるバウンディングボックスは、対応するＯＣＴスライス画像上で識別され、バイオマーカーマップを形成し得る。

【0071】

同定されたバイオマーカーのうちの１つまたは複数は、以前に人間のレビュアーによって見られた既知のバイオマーカーであってもよい。いくつかの実施形態では、バイオマーカーの１つまたは複数は、以前には知られていなかった新しいバイオマーカーであってもよい。言い換えれば、ステップ２０８における一連のバイオマーカーの同定は、選択された健康状態カテゴリに関連付けられた１つまたは複数の新しいバイオマーカーの発見を含み得る。１つまたは複数の新しいバイオマーカーの発見は、例えば、選択された健康状態カテゴリが、（例えば、初期ＡＭＤまたは中期ＡＭＤから新生期ＧＡへのＡＭＤの将来の進行、新生期ＧＡからＧＡへＡＭＤの進行、中期ＡＭＤからＧＡへのＡＭＤの進行など）発症すると予測される将来の健康状態を表す場合に、より起こりやすい可能性がある。

【0072】

プロセス２００は、任意に、ステップ２１０を含んでもよい。ステップ２１０は、レポートを生成することを含む。レポートは、例えば、限定されないが、ＯＣＴボリューム画像、顕著性ボリューム画像、ＯＣＴボリューム画像のマップ出力、任意の同定されたバイオマーカーのリスト、対象の網膜の治療推奨、評価推奨、監視推奨、何らかの他の種類の推奨もしくは指示、またはそれらの組合せを含み得る。監視推奨は、例えば、対象の網膜を監視するための計画および将来のＯＣＴ撮像予約のスケジュールを含み得る。評価推奨は、例えば、ＯＣＴボリューム画像を形成する複数のＯＣＴスライス画像のサブセットをさらにレビューする（例えば、人間のレビュアーによって手動でレビューする）推奨を含み得る。識別されたサブセットは、複数のＯＣＴスライス画像の５％未満を含み得る。場合によっては、サブセットは、複数のＯＣＴスライス画像の５０％、４５％、４０％、３５％、３０％、２５％、２０％、１５％、１０％、５％、２％、または何らかの他のパーセンテージ未満を含み得る。

【0073】

いくつかの実施形態では、図１の健康識別システム１０１は、バイオマーカーマップ上で識別されたバウンディングボックスと同じまたは実質的に同様の位置にある１つまたは複数の特徴（またはバイオマーカー）を同定するために、ＯＣＴボリューム画像内のＯＣＴスライス画像の特定のサブセットのユーザレビューを（例えば、図１のレポート１５０の評価推奨を介して）促し得る。例えば、場合によっては、健康識別システム１０１は、バイオマーカーを同定および／または発見するために、レビュアー（例えば、ヘルスケア専門家、訓練を受けたレビュアーなど）がＯＣＴボリューム画像のＯＣＴスライス画像にアクセスし、レビューし、注釈を付けることを可能にするシステムインターフェース１６０を含み得る。すなわち、例えば、システムインターフェース１６０は、バイオマーカーを有するＯＣＴスライス画像のレビュアーによる注釈付けを容易にし得る。場合によっては、レビュアーがバイオマーカーマップに示されるＯＣＴスライス画像上のバイオマーカーを同定することを可能にする代わりに、またはそれに加えて、システムインターフェース１６０は、レビュアーがバイオマーカーマップ上のバウンディングボックスを補正または調整する（例えば、バウンディングボックスのサイズ、形状、または連続性を調整する）ことを可能にするように構成されてもよい。場合によっては、レビュアーは、行うべき調整を示すためにバウンディングボックスに注釈を付けることができる。場合によっては、レビュアーによって作成された注釈付きおよび／または調整されたバイオマーカーマップは、深層学習モデルの追加の訓練のために（例えば、訓練データセット１４８の一部として）深層学習モデルにフィードバックされてもよい。

【0074】

図３は、様々な実施形態による、対象の網膜のＯＣＴボリューム画像におけるバイオマーカーを同定するためのプロセスのフローチャートである。図３のプロセス３００は、図１の健康状態識別システム１０１を使用して実施され得る。例えば、プロセス３００のステップの少なくともいくつかは、健康状態識別システム１０１の一部として実装されたコンピュータまたはサーバのプロセッサによって実行されてもよい。プロセス３００は、図１のモデル１３２、顕著性マッピングアルゴリズム１３４、および／または出力生成器１３６を使用して実施され得る。さらに、以下で説明するプロセス２００のステップの前、間、または後に追加のステップが実行され得ることが理解される。さらに、いくつかの実施形態では、ステップのうちの１つまたは複数は、省略されるか、または異なる順序で実行されてもよい。

【0075】

プロセス３００は、任意に、深層学習モデルを訓練するステップ３０２を含んでもよい。深層学習モデルは、図１のモデル１３２の実施態様の一例であり得る。深層学習モデルは、例えば、ニューラルネットワークモデルを含み得るが、これに限定されない。深層学習モデルは、例えば、限定されないが、図１の訓練データセット１４８などの訓練データセットで訓練されてもよい。深層学習モデルがどのように訓練され得るかの例は、以下のセクションＩＩＩ．Ｂでさらに詳細に説明される。

【0076】

プロセス３００のステップ３０４は、対象の網膜の光干渉断層撮影（ＯＣＴ）ボリューム画像を受け取るステップを含む。ＯＣＴボリューム画像は、例えば、図１のＯＣＴボリューム画像１１４であってもよい。ＯＣＴボリューム画像は、複数のＯＣＴスライス画像から構成されてもよい。

【0077】

プロセス３００のステップ３０６は、ＯＣＴボリューム画像を使用して、深層学習モデルを介して、健康表示出力を生成することを含み、健康表示出力は、ＯＣＴボリューム画像と網膜の選択された健康状態カテゴリとの間の関連付けのレベルを示す。例えば、健康表示出力は、ＯＣＴボリューム画像内の網膜の分類が選択された健康状態カテゴリである可能性を示す確率であり得る。言い換えれば、健康表示出力は、ＯＣＴボリューム画像が網膜の選択された健康状態カテゴリの証拠となる可能性を示す確率であり得る。

【0078】

プロセス３００のステップ３０８は、顕著性マッピングアルゴリズムを使用してＯＣＴボリューム画像の顕著性ボリュームマップを生成するステップを含み、顕著性ボリュームマップは、深層学習モデルによって生成された健康表示出力に対するＯＣＴボリューム画像内の一連の領域の寄与度を示す。ステップ３０８は、図２のステップ２０６に関して説明した顕著性ボリュームマップの生成と同様の方法で実行されてもよい。顕著性マッピングアルゴリズムは、例えば、Ｇｒａｄ－ＣＡＭアルゴリズムを含み得る。寄与度は、深層学習モデル（例えば、深層学習モデルの最後の活性化層で使用される特徴、勾配、または重み）で使用される特徴、勾配、または重みに基づいて決定され得る。

【0079】

プロセス３００のステップ３１０は、顕著性ボリュームマップを使用して、選択された健康状態カテゴリに対する一連のバイオマーカーを検出することを含む。ステップ３１０は、図２のステップ２０８に関して上述したバイオマーカーの同定と同様の方法で実施されてもよい。例えば、ステップ３１０は、修正された顕著性ボリュームマップを生成するために顕著性ボリュームマップをフィルタリングすることを含み得る。修正された顕著性ボリュームマップは、選択された健康状態カテゴリに関連付けられた一連の領域を識別する。ステップ３１０は、一連の領域のうちの一領域と関連付けて潜在的なバイオマーカー領域を識別することをさらに含み得る。潜在的なバイオマーカー領域についてスコアリングメトリックが生成され得る。潜在的なバイオマーカー領域は、スコアリングメトリックが選択されたしきい値を満たす場合、少なくとも１つのバイオマーカーを含むものとして識別され得る。

【0080】

ＩＩＩ．Ｂ．深層学習モデルの例示的な訓練
図１（例えば、モデル１３２）、図２、および図３で上述した深層学習モデルは、異なる方法で訓練されてもよい。１つまたは複数の実施形態では、深層学習モデルは、１つまたは複数の訓練用ＯＣＴボリューム画像を含む訓練データセット（例えば、図１の訓練データセット１４８）で訓練される。これらの訓練用ＯＣＴボリューム画像のそれぞれは、選択された健康状態カテゴリ（例えば、新生期ＧＡなど）に対応する疾患または状態を表示していると識別された異なる網膜のものであってもよい。網膜は、訓練用ＯＣＴボリューム画像が撮影または生成された後の持続時間に少なくとも実質的に等しい期間にわたって疾患または状態を表示していてもよい。

【0081】

１つまたは複数の実施形態では、深層学習モデル（例えば、図１のモデル１３２、図２～図３に記載されている深層学習モデル）は、１つまたは複数の健康状態カテゴリに罹患している患者の網膜のＯＣＴボリューム画像の訓練データセット（例えば、図１の訓練データセット１４８）に基づいて網膜の健康状態を分類するように訓練されてもよく、その結果、深層学習モデルは、ＯＣＴボリューム画像内の網膜のどの特徴およびその位置が１つまたは複数の健康状態カテゴリの信号であるかを学習し得る。ＯＣＴボリューム画像のテストデータセットが提供されると、訓練された深層学習モデルは、ＯＣＴボリューム画像が選択された健康状態カテゴリの証拠となるかどうかを効率的かつ正確に識別し得る。

【0082】

ＯＣＴボリューム画像の訓練データセットは、所与のステージのＡＭＤ（すなわち、網膜の健康状態カテゴリは、ＡＭＤの前記ステージであり得る）に罹患していることが知られている患者の網膜のＯＣＴ画像を含み得る。そのような場合、深層学習モデルは、ＯＣＴボリューム画像内のどの特徴がＡＭＤのそのステージに対応するか、関連付けられるか、またはシグナリングするかを学習するために訓練データセットを用いて訓練され得る。例えば、患者は、後期ＡＭＤの罹患者である場合があり、深層学習モデルは、患者の網膜のＯＣＴボリューム画像の訓練データセットから、重度に変形したＲＰＥを表すＯＣＴボリューム画像の解剖学的特徴が後期ＡＭＤの証拠であり得ることを識別または発見し得る。そのような場合、重度に変形したＲＰＥを示す患者の網膜のＯＣＴボリューム画像が提供されると、訓練された深層学習モデルは、ＯＣＴボリューム画像を後期ＡＭＤ患者に属するものとして識別し得る。

【0083】

いくつかの実施形態では、深層学習モデルは、網膜疾患の未知のバイオマーカーに基づいてさえ健康状態を分類し得る。例えば、深層学習モデルは、すべてのバイオマーカーが知られていない可能性があるいくつかの網膜疾患（例えば、新生期ＧＡ）に罹患している患者の網膜のＯＣＴボリューム画像の訓練データセットを提供されることがある。すなわち、網膜疾患のその選択された健康状態カテゴリ（例えば、新生期ＧＡ）のバイオマーカーが知られていない場合がある。そのような場合、深層学習モデルは、ＯＣＴボリューム画像のデータセットを処理し、ＯＣＴボリューム画像内の特徴またはパターン、例えば病変が、選択された健康状態カテゴリの証拠であることを学習し得る。

【0084】

ＩＶ．例示的なＯＣＴ画像および顕著性マップ
図４は、様々な実施形態による、注釈付きＯＣＴスライス画像および注釈付きＯＣＴスライス画像の対応するヒートマップを示す。ＯＣＴスライス画像４０２は、図１のＯＣＴボリューム画像１１４におけるＯＣＴスライス画像の実施態様の一例であってもよい。ＯＣＴスライス画像４０２はまた、図１の訓練データセット１４８内のＯＣＴスライス画像からの実施態様の一例であってもよい。ＯＣＴスライス画像４０２は、新生期ＧＡのバイオマーカーであるとして人間のグレーダーによってマークされた注釈付き領域４０４を含む。

【0085】

ヒートマップ４０６は、図１のマップ出力１４６の少なくとも一部の実施態様の一例である。ヒートマップ４０６は、図１の顕著性マッピングアルゴリズム１３４などの顕著性マッピングアルゴリズムを使用して生成された（例えば、Ｇｒａｄ－ＣＡＭを使用して生成された）顕著性マップをＯＣＴスライス画像４０２にオーバーレイした結果であってもよい。顕著性マップは、ＯＣＴスライス画像４０２を処理した訓練された深層学習モデルについて生成された。ヒートマップ４０６は、領域４０８が新生期ＧＡのモデルに最も影響を及ぼしたことを示し、例えば図１のモデル１３２であり得る深層学習モデルが、新生期ＧＡに関する分類のためにＯＣＴスライス画像４０２の正しい領域を正確に使用したことを示す。

【0086】

ヒートマップ４０６を使用して、領域４０８内に示される新生期ＧＡのバイオマーカーを同定し、位置特定し得る。例えば、領域４０８内に位置する解剖学的バイオマーカーを同定する出力が生成され得る。バイオマーカーは、例えば、網膜の病変、網膜色素上皮（ＲＰＥ）の欠損、網膜の剥離層、または他の何らかのタイプのバイオマーカーであってもよい。場合によっては、領域４０８内に１つまたは複数のバイオマーカーが存在し得る。場合によっては、バイオマーカーであるヒートマップ４０６の領域４０８内またはＯＣＴスライス画像４０２の領域４０４内の特定の画素を識別するためにフィルタリングが実行されることがある。場合によっては、領域４０８のサイズを使用して、領域４０８が１つまたは複数のバイオマーカーを含むかどうかを判定してもよい。１つまたは複数の実施形態では、領域４０８のサイズは約２０画素より大きい。

【0087】

バイオマーカーのそのような同定および位置特定により、医療従事者が、網膜がＯＣＴスライス画像４０２に描写されている患者に対して診断、監視、治療などを行うことができる可能性がある。例えば、ヒートマップ４０６またはヒートマップ４０６に基づいて生成された情報をレビューする眼科医は、ＧＡの開始前に治療選択肢または監視選択肢を推奨することができる可能性がある。

【0088】

図５は、様々な実施形態による異なるマップの図である。顕著性マップ５０２は、図１の顕著性ボリュームマップ１４４を構成する顕著性マップの実施態様の一例である。修正された顕著性マップ５０４は、フィルタリング（例えば、しきい値フィルタの適用）後に修正された顕著性マップの実施態様の一例である。ヒートマップ５０６は、図１のマップ出力１４６の構成要素の実施態様の一例である。ヒートマップ５０６は、ＯＣＴスライス画像上の顕著性マップ５０２の修正されたオーバーレイを含む。

【0089】

バイオマーカーマップ５０８は、ヒートマップ５０６を使用して図１の出力生成器１３６によって生成され得る出力の実施態様の一例である。バイオマーカーマップ５０８において、第１のバウンディングボックスは、少なくとも一つのバイオマーカーを含むバイオマーカー領域と見なされるのに十分高い信頼スコア（例えば、＞０．６）を有しない潜在的なバイオマーカー領域を識別する。さらに、バイオマーカーマップ５０８は、少なくとも１つのバイオマーカーを含むバイオマーカー領域と見なされるのに十分に高い信頼スコアを有する潜在的なバイオマーカー領域を識別する第２のバウンディングボックスを含む。

【0090】

Ｖ．例示的なニューラルネットワーク
図６は、本開示の様々な実施形態による、コンピュータベースのモデルを実装するために使用することができる例示的なニューラルネットワークを示す。例えば、ニューラルネットワーク６００を使用して、健康状態識別システム１０１のモデル１３２を実装し得る。図示のように、人工ニューラルネットワーク６００は、入力層６０２、隠れ層６０４、および出力層６０７の３つの層を含む。各層６０２、６０４、６０７は、１つまたは複数のノードを含んでもよい。例えば、入力層６０２はノード６０８～６１４を含み、隠れ層６０４はノード６１７および６１８を含み、出力層６０７はノード６２２を含む。この例では、階層内の各ノードは、隣接する階層内のすべてのノードに接続されている。例えば、入力層６０２のノード６０８は、隠れ層６０４のノード６１７および６１８の両方に接続されている。同様に、隠れ層６０４のノード６１７は、入力層６０２のノード６０８～６１４および出力層６０７のノード６２２のすべてに接続されている。人工ニューラルネットワーク６００にはただ１つの隠れ層しか示されていないが、モデル１３２を実装するために使用される人工ニューラルネットワーク６００は、必要または所望に応じて同数の隠れ層を含み得ることが企図されている。

【0091】

この例では、人工ニューラルネットワーク６００は入力値のセットを受け取り、出力値を生成する。入力層６０２内の各ノードは、別個の入力値に対応し得る。例えば、人工ニューラルネットワーク６００がモデル１３２を実装するために使用される場合、入力層６０２内の各ノードは、（例えば、ＯＣＴ撮像システム１１０から得られる）網膜のＯＣＴボリューム画像の別個の属性に対応し得る。

【0092】

いくつかの実施形態では、隠れ層６０４内のノード６１７および６１８のそれぞれは、ノード６０８～６１４から受信した入力値に基づいて値を生成する数学的計算（またはアルゴリズム）を含み得る表現を生成する。数学的計算は、ノード６０８～６１４から受信したデータ値のそれぞれに異なる重みを割り当てることを含んでもよい。ノード６１７および６１８は、ノード６１７および６１８のそれぞれがノード６０８～６１４から受信した同じ入力値に基づいて異なる値を生成し得るように、ノード６０８～６１４からのデータ変数に割り当てられた異なるアルゴリズムおよび／または異なる重みを含んでもよい。いくつかの実施形態では、ノード６１７および６１８のそれぞれの特徴（または入力値）に最初に割り当てられる重みは、（例えば、コンピュータランダマイザを使用して）ランダムに生成されてもよい。ノード６１７および６１８によって生成された値は、人工ニューラルネットワーク６００の出力値を生成するために出力層６０７内のノード６２２によって使用され得る。人工ニューラルネットワーク６００がモデル１３２を実施するために使用される場合、人工ニューラルネットワーク６００によって生成される出力値は、限定はしないが、網膜のＯＣＴボリューム画像のヒートマップ（例えば、顕著性マップ１４４）など、網膜内のバイオマーカーを同定する顕著性マップを含み得る。

【0093】

人工ニューラルネットワーク６００は、訓練データを使用して訓練されてもよい。例えば、本明細書の訓練データは、網膜のＯＣＴボリューム画像であってもよい。人工ニューラルネットワーク６００に訓練データを提供することによって、隠れ層６０４内のノード６１７および６１８は、訓練データに基づいて出力層６０７において最適な出力が生成されるように訓練（調整）され得る。異なるセットの訓練データを連続的に提供し、人工ニューラルネットワーク６００の出力が正しくない（例えば、ＯＣＴボリューム画像においてバイオマーカーを誤って同定する場合）場合に人工ニューラルネットワーク６００にペナルティを課すことによって、人工ニューラルネットワーク６００（具体的には、隠れ層６０４内のノードの表現）は、データ分類におけるその性能を改善するように訓練（調整）され得る。人工ニューラルネットワーク６００を調整することは、隠れ層６０４内の各ノードに関連付けられた重みを調整することを含んでもよい。

【0094】

上記の説明は、機械学習の一例としての人工ニューラルネットワークに関するものであるが、他のタイプの機械学習方法もまた、本開示の様々な態様を実施するのに適し得ることが理解される。例えば、サポートベクターマシン（ＳＶＭ）を使用して機械学習を実施してもよい。ＳＶＭは、分類および回帰に使用される関連する教師あり学習方法のセットである。非確率的バイナリ線形分類器であり得るＳＶＭトレーニングアルゴリズムは、新しい例が１つのカテゴリに入るか別のカテゴリに入るかを予測するモデルを構築し得る。別の例として、ベイジアンネットワークを使用して機械学習を実施してもよい。ベイジアンネットワークは、ランダム変数のセットとそれらの条件付き独立性を有向非巡回グラフ（ＤＡＧ）で表す非巡回確率的グラフィカルモデルである。ベイジアンネットワークは、１つの変数と別の変数との間の確率的関係を提示し得る。別の例は、決定木学習モデルを使用して機械学習プロセスを実行する機械学習エンジンである。場合によっては、決定木学習モデルは、分類木モデルおよび回帰木モデルを含んでもよい。いくつかの実施形態では、機械学習エンジンは、回帰木モデルとして勾配ブースティング機械（ＧＢＭ）モデル（例えば、ＸＧＢｏｏｓｔ）を使用する。他の機械学習技術を使用して、例えばランダムフォレストまたはディープニューラルネットワークを介して機械学習エンジンを実装し得る。他のタイプの機械学習アルゴリズムは、簡単にするために本明細書では詳細に説明されず、本開示は特定のタイプの機械学習に限定されないことが理解される。

【0095】

ＶＩ．コンピュータ実装システム
図７は、本明細書に記載の様々な方法および装置、例えば、ＯＣＴ撮像システム１１０、健康状態識別システム１０１などを実施するのに適したコンピュータシステム７００のブロック図である。様々な実施態様では、ステップを実行することができる装置は、撮像システム（例えば、ＯＣＴスキャナまたは撮像システムなど）、ネットワーク通信装置（例えば、携帯電話、ラップトップ、パーソナルコンピュータ、タブレット、ワークステーションなど）、ネットワークコンピューティング装置（例えば、ネットワークサーバ、コンピュータプロセッサ、電子通信インターフェースなど）、または別の適切な装置を含み得る。したがって、上述のサーバおよびモジュール、ならびに上述の図２のプロセス２００および図３のプロセス３００の様々な方法ステップを実施することができる装置は、以下のような方法でコンピュータシステム７００として実施され得ることを理解されたい。

【0096】

本開示の様々な実施形態によれば、ネットワークサーバ、ワークステーション、コンピューティング装置、通信装置などのコンピュータシステム７００は、情報を通信するためのバス構成要素７０２または他の通信機構を含み、バス構成要素は、コンピュータ処理構成要素７０４（例えば、プロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）など）、システムメモリ構成要素７０６（例えば、ＲＡＭ）、静的記憶構成要素７０８（例えば、ＲＯＭ）、ディスクドライブ構成要素７１０（例えば、磁気式または光学式）、ネットワークインターフェース構成要素７１２（例えば、モデムまたはイーサネットカード）、表示構成要素７１４（例えば、陰極線管（ＣＲＴ）または液晶ディスプレイ（ＬＣＤ））、入力構成要素７１６（例えば、キーボード）、カーソル制御構成要素７１８（例えば、マウスまたはトラックボール）、および画像捕捉構成要素７２０（例えば、アナログまたはデジタルカメラ）などのサブシステムおよび構成要素を相互接続する。一実施態様では、ディスクドライブ構成要素７１０は、１つまたは複数のディスクドライブ構成要素を有するデータベースを備え得る。

【0097】

本開示の実施形態によれば、コンピュータシステム７００は、システムメモリ構成要素７０６に含まれる１つまたは複数の命令の１つまたは複数のシーケンスを実行するプロセッサ７０４によって特定の動作を実行する。そのような命令は、静的記憶構成要素７０８またはディスクドライブ構成要素７１０などの別のコンピュータ可読媒体からシステムメモリ構成要素７０６に読み込まれてもよい。他の実施形態では、本開示を実施するために、ソフトウェア命令の代わりに（または組み合わせて）ハードワイヤード回路が使用されてもよい。いくつかの実施形態では、ＯＣＴ撮像システム１１０、健康状態識別システム１０１、モデル１３２などの様々な構成要素は、ユーザに代わってコンテキストに適したタスクを自動的に実行するためにプロセッサ７０４によって実行され得るソフトウェア命令の形態であってもよい。

【0098】

ロジックは、実行のためにプロセッサ７０４に命令を提供することに関与する任意の媒体を指してもよいコンピュータ可読媒体に符号化されてもよい。そのような媒体は、不揮発性媒体および揮発性媒体を含むがこれらに限定されない多くの形態をとり得る。一実施形態では、コンピュータ可読媒体は非一時的である。様々な実施態様において、不揮発性媒体は、ディスクドライブ構成要素７１０などの光ディスクまたは磁気ディスクを含み、揮発性媒体は、システムメモリ構成要素７０６などのダイナミックメモリを含む。一態様では、実行命令に関連するデータおよび情報は、電波および赤外線データ通信中に生成されたものを含む、音波または光波の形態などの送信媒体を介してコンピュータシステム７００に送信されてもよい。様々な実施態様では、伝送媒体は、バス７０２を備えるワイヤを含む、同軸ケーブル、銅線、および光ファイバを含んでもよい。

【0099】

コンピュータ可読媒体のいくつかの一般的な形態は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ－ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、穴のパターンを有する任意の他の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、任意の他のメモリチップまたはカートリッジ、搬送波、またはコンピュータが読み取るように適合されている任意の他の媒体を含む。これらのコンピュータ可読媒体はまた、上述したＯＣＴ撮像システム１１０、健康状態識別システム１０１、モデル１３２などのためのプログラミングコードを格納するために使用されてもよい。

【0100】

本開示の様々な実施形態において、本開示を実施するための命令シーケンスの実行は、コンピュータシステム７００によって実行されてもよい。本開示の様々な他の実施形態では、通信リンク７２２（例えば、ＬＡＮ、ＷＬＡＮ、ＰＴＳＮ、および／または電気通信、モバイル、および携帯電話ネットワークを含む様々な他の有線もしくは無線ネットワークなどの通信ネットワーク）によって結合された複数のコンピュータシステム７００は、互いに協調して本開示を実施するための命令シーケンスを実行し得る。

【0101】

コンピュータシステム７００は、通信リンク７２２および通信インターフェース７１２を介して、１つまたは複数のプログラム（すなわち、アプリケーションコード）を含むメッセージ、データ、情報および命令を送受信し得る。受信されたプログラムコードは、実行のためにディスクドライブ構成要素７１０または他の何らかの不揮発性記憶構成要素に受信および／または記憶されると、コンピュータプロセッサ７０４によって実行され得る。通信リンク７２２および／または通信インターフェース７１２は、例えば、ＯＣＴ撮像システム１１０と健康状態識別システム１０１との間の電子通信を行うために使用されてもよい。

【0102】

適用可能な場合、本開示によって提供される様々な実施形態は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアとの組合せを使用して実施され得る。また、適用可能な場合、本明細書に記載の様々なハードウェア構成要素および／またはソフトウェア構成要素は、本開示の趣旨から逸脱することなく、ソフトウェア、ハードウェア、および／またはその両方を含む複合構成要素に組み合わされてもよい。適用可能な場合、本明細書に記載の様々なハードウェア構成要素および／またはソフトウェア構成要素は、本開示の範囲から逸脱することなく、ソフトウェア、ハードウェア、またはその両方を含むサブ構成要素に分離されてもよい。さらに、適用可能な場合、ソフトウェア構成要素はハードウェア構成要素として実装されてもよく、その逆も可能であると考えられる。

【0103】

コンピュータプログラムコードおよび／またはデータなどの本開示によるソフトウェアは、１つまたは複数のコンピュータ可読媒体に格納されてもよい。本明細書で識別されるソフトウェアは、ネットワーク化されたおよび／またはネットワーク化されていない、１つもしくは複数の汎用もしくは専用のコンピュータおよび／またはコンピュータシステムを使用して実装され得ることも企図される。適用可能な場合、本明細書に記載の様々なステップの順序は、本明細書に記載の特徴を提供するために、変更され、複合ステップに組み合わされ、および／またはサブステップに分離されてもよい。ＯＣＴ撮像システム１１０、健康状態識別システム１０１、モデル１３２などの少なくとも一部は、そのようなソフトウェアコードとして実装されてもよいことが理解される。

【0104】

ＶＩＩ．定義
本開示は、これらの例示的な実施形態および適用例、または例示的な実施形態および適用例が動作する、もしくは本明細書に記載される方法に限定されない。さらに、図は、簡略化されたまたは部分的な図を示す場合があり、図の要素の寸法は、誇張されているか、または比例していない場合がある。

【0105】

要素のリスト（例えば、要素ａ、ｂ、ｃ）が参照される場合、そのような参照は、列挙された要素のいずれか１つを単独で、列挙された要素のすべてよりも少ない要素の任意の組合せ、および／または列挙された要素のすべての組合せを含むことが意図されている。本明細書におけるセクションの分割は、単に検討を容易にするためのものであり、説明された要素の任意の組合せを限定するものではない。

【0106】

用語「対象」は、臨床試験の対象、治療を受けている人もしくは動物、抗がん療法を受けている人もしくは動物、寛解もしくは回復について監視されている人もしくは動物、予防的健康分析を（例えば、その病歴に起因して）受けている人もしくは動物、または関心のある任意の他の人もしくは患者もしくは動物を指し得る。様々な場合において、「対象」および「患者」は、本明細書では交換可能に使用され得る。

【0107】

「ＯＣＴ画像」という用語は、光干渉断層撮影（ＯＣＴ）撮像技術を使用して走査または捕捉された、網膜などの組織、器官などの画像を指し得る。この用語は、２Ｄ「スライス」画像および３Ｄ「ボリューム」画像の一方または両方を指すことがある。明示的に示されていない場合、この用語はＯＣＴボリューム画像を含むと理解されてもよい。

【0108】

特に定義されない限り、本明細書に記載の本教示に関連して使用される科学用語および技術用語は、当業者によって一般的に理解される意味を有するものとする。さらに、文脈上別段の定めがない限り、単数形の用語は複数形を含み、複数形の用語は単数形を含むものとする。一般に、本明細書に記載される化学、生化学、分子生物学、薬理学および毒物学に関連して利用される命名法ならびにそれらの技術は、当技術分野では周知であり、一般的に使用されるものである。

【0109】

本明細書で使用される場合、「実質的に」は、意図された目的のために機能するのに十分であることを意味する。したがって、「実質的に」という用語は、当業者によって予想されような、絶対的または完全な状態、寸法、測定値、結果などからのわずかな、有意でない変動を可能にするが、全体的な性能に目立つほど影響を及ぼさない。数値または数値として表すことのできるパラメータもしくは特性について、「実質的に」とは、１０％以内を意味する。

【0110】

本明細書で使用される場合、数値または数値として表すことができるパラメータもしくは特性に関して使用される「約」という用語は、数値の１０％以内を意味する。例えば、「約５０」は、４５以上５５以下の範囲の値を意味する。

【0111】

「１つ」という用語は、２つ以上を意味する。

【0112】

本明細書で使用される場合、「複数」という用語は、２、３、４、５、６、７、８、９、１０またはそれ以上であり得る。

【0113】

本明細書で使用される場合、「のセット」という用語は、１つまたは複数を意味する。例えば、アイテムのセットは、１つまたは複数のアイテムを含む。

【0114】

本明細書で使用される場合、「少なくとも１つ」という語句は、項目のリストと共に使用される場合、列挙された項目のうちの１つまたは複数の異なる組合せが使用されてもよく、リスト内の項目のうちの１つのみが必要であってもよいことを意味する。項目は、特定の物体、物、ステップ、操作、プロセス、またはカテゴリであってもよい。言い換えれば、「のうちの少なくとも１つ」は、リストから項目の任意の組合せまたは任意の数の項目が使用されてもよいが、リスト内の項目のすべてが必要とされるわけではないことを意味する。例えば、限定されないが、「項目Ａ、項目Ｂ、または項目Ｃのうちの少なくとも１つ」は、項目Ａ、項目Ａと項目Ｂ、項目Ｂ、項目Ａと項目Ｂと項目Ｃ、項目Ｂと項目Ｃ、または項目Ａと項目Ｃを意味する。場合によっては、「項目Ａ、項目Ｂ、または項目Ｃのうちの少なくとも１つ」は、限定されないが、項目Ａの２つ、項目Ｂの１つ、および項目Ｃの１０個、項目Ｂの４つ、項目Ｃの７つ、またはいくつかの他の適切な組合せを意味する。

【0115】

本明細書で使用される場合、「モデル」は、１つまたは複数のアルゴリズム、１つまたは複数の数学的技法、１つまたは複数の機械学習（ＭＬ）アルゴリズム、またはそれらの組合せを含み得る。

【0116】

本明細書で使用される場合、「機械学習」は、アルゴリズムを使用してデータを解析し、そこから学習し、次いで世の中の何かについての決定または予測を行う実践を含み得る。機械学習は、ルールベースのプログラミングに依存することなくデータから学習することができるアルゴリズムを使用する。

【0117】

本明細書で使用される場合、「人工ニューラルネットワーク」または「ニューラルネットワーク」は、計算への接続論的手法に基づいて情報を処理する人工ニューロンの相互接続されたグループを模倣する数学的アルゴリズムまたは計算モデルを指す場合がある。ニューラルネットとも呼ばれるニューラルネットワークは、非線形ユニットの１つまたは複数の層を使用して、受信された入力の出力を予測することができる。いくつかのニューラルネットワークは、出力層に加えて１つまたは複数の隠れ層を含む。各隠れ層の出力は、ネットワーク内の次の層、すなわち、次の隠れ層または出力層への入力として使用される。ネットワークの各層は、各パラメータセットの現在の値に従って、受信した入力から出力を生成する。様々な実施形態において、「ニューラルネットワーク」への言及は、１つまたは複数のニューラルネットワークへの言及であり得る。

【0118】

ニューラルネットワークは、２つの方法で情報を処理することがあり、（例えば、訓練データセットを使用して）訓練されているときは、訓練モードにあり、（例えば、テストデータセットを使用して）学習したことを実践するきは、推論（または予測）モードにある。ニューラルネットワークは、出力が訓練データの出力と一致するように、ネットワークが中間隠れ層内の個々のノードの重み係数を調整する（その挙動を修正する）ことを可能にするフィードバックプロセス（例えば、逆伝播）を通じて学習し得る。言い換えれば、ニューラルネットワークは、訓練データ（学習例）を供給されることによって学習し得て、最終的には、新しい範囲または入力のセットが提示された場合でも、正しい出力に到達する方法を学習する。

【0119】

ＶＩＩＩ．例示的な実施形態の列挙
実施形態１対象の網膜の光干渉断層撮影（ＯＣＴ）ボリューム画像を受信することと、前記ＯＣＴボリューム画像を使用して、深層学習モデルを介して、健康表示出力を生成することであって、前記健康表示出力が、前記ＯＣＴボリューム画像と前記網膜の選択された健康状態カテゴリとの間の関連付けのレベルを示す、健康表示出力を生成することと、顕著性マッピングアルゴリズムを使用して前記深層学習モデルについてのマップ出力を生成することであって、前記マップ出力が、前記深層学習モデルによって生成された前記健康表示出力に対する前記ＯＣＴボリューム画像内の一連の領域の寄与度を示す、マップ出力を生成することと、を含む方法。

【0120】

実施形態２前記選択された健康状態カテゴリが、加齢黄斑変性の選択されたステージであり、前記健康表示出力が、前記ＯＣＴボリューム画像が前記加齢黄斑変性の選択されたステージの証拠となる確率である、実施形態１に記載の方法。

【0121】

実施形態３ 前記加齢黄斑変性の選択されたステージが、新生期地図状萎縮を含む、実施形態２に記載の方法。

【0122】

実施形態４ 前記選択された健康状態カテゴリが、前記ＯＣＴボリューム画像が生成された時点に関する現在の健康状態、または前記ＯＣＴボリューム画像が生成された前記時点後の選択された期間内に発症すると予測される将来の健康状態のいずれかを表す、実施形態１～３のいずれか一項に記載の方法。

【0123】

実施形態５ 前記顕著性マッピングアルゴリズムが、勾配重み付けクラス活性化マッピング（Ｇｒａｄ－ＣＡＭ）アルゴリズムを含み、前記マップ出力が、前記深層学習モデルによって生成された前記健康表示出力に対する前記ＯＣＴボリューム画像内の前記一連の領域の前記寄与度を視覚的に示す、実施形態１～４のいずれか一項に記載の方法。

【0124】

実施形態６ 前記ＯＣＴボリューム画像が、２次元である複数のＯＣＴスライス画像を含み、前記方法が、前記健康表示出力または前記マップ出力の少なくとも一方に基づいて評価推奨を生成することであって、前記評価推奨が、さらなるレビューのために前記複数のＯＣＴスライス画像のサブセットを識別する、評価推奨を生成することをさらに含む、実施形態１～５のいずれか一項に記載の方法。

【0125】

実施形態７ 前記サブセットが、前記複数のＯＣＴスライス画像の５％未満を含む、実施形態６に記載の方法。

【0126】

実施形態８前記マップ出力を使用して、前記選択された健康状態カテゴリに対する前記ＯＣＴボリューム画像内の一連のバイオマーカーを同定することをさらに含む、実施形態１～７のいずれか一項に記載の方法。

【0127】

実施形態９ 前記同定することが、前記選択された健康状態カテゴリに関連付けられていると示された前記一連の領域のうちの一領域と関連付けて潜在的なバイオマーカー領域を識別することと、前記潜在的なバイオマーカー領域に対するスコアリングメトリックを生成することと、前記スコアリングメトリックが選択されたしきい値を満たす場合、前記選択された健康状態カテゴリに対する少なくとも１つのバイオマーカーを含むものとして前記潜在的なバイオマーカー領域を識別することと、を含む、実施形態８に記載の方法。

【0128】

実施形態１０ 前記スコアリングメトリックが、前記潜在的なバイオマーカー領域のサイズまたは前記潜在的なバイオマーカー領域の信頼スコアの少なくとも一方を含む、実施形態９に記載の方法。

【0129】

実施形態１１ 前記マップ出力を生成することが、前記顕著性マッピングアルゴリズムを使用して前記ＯＣＴボリューム画像のＯＣＴスライス画像に対する顕著性マップを生成することであって、前記顕著性マップが、前記選択された健康状態カテゴリに対する前記ＯＣＴスライス画像内の各画素の重要度を示す、顕著性マップを生成することと、修正された顕著性マップを生成するために前記顕著性マップをフィルタリングすることと、前記修正された顕著性マップを前記ＯＣＴスライス画像にオーバーレイして前記マップ出力を生成することと、を含む、実施形態１～９のいずれか一項に記載の方法。

【0130】

実施形態１２ 前記健康表示出力に基づいて、前記網膜に対する治療推奨を生成することをさらに含む、実施形態１～１１のいずれか一項に記載の方法。

【0131】

実施形態１３ 前記深層学習モデルを介して、前記健康表示出力を生成することが、前記ＯＣＴボリューム画像を形成する複数のＯＣＴスライス画像の各ＯＣＴスライス画像について初期出力を生成して、複数の初期出力を形成することと、前記健康表示出力を形成するために前記複数の初期出力を平均化することと、を含む、実施形態１～１２のいずれか一項に記載の方法。

【0132】

実施形態１４ 対象の網膜の光干渉断層撮影（ＯＣＴ）ボリューム画像を受信することと、前記ＯＣＴボリューム画像を使用して、深層学習モデルを介して、健康表示出力を生成することであって、前記健康表示出力が、前記ＯＣＴボリューム画像と前記網膜の選択された健康状態カテゴリとの間の関連付けのレベルを示す、健康表示出力を生成することと、顕著性マッピングアルゴリズムを使用して前記ＯＣＴボリューム画像の顕著性ボリュームマップを生成することであって、前記顕著性ボリュームマップが、前記深層学習モデルによって生成された前記健康表示出力に対する前記ＯＣＴボリューム画像内の一連の領域の寄与度を示す、顕著性ボリュームマップを生成することと、前記顕著性ボリュームマップを使用して、前記選択された健康状態カテゴリに対する前記ＯＣＴボリューム画像内の一連のバイオマーカーを検出することと、を含む方法。

【0133】

実施形態１５ 前記検出することが、修正された顕著性ボリュームマップを生成するために前記顕著性ボリュームマップをフィルタリングすることであって、前記修正された顕著性ボリュームマップが、前記深層学習モデルによって生成された前記健康表示出力に対する少なくともしきい値寄与を有する一連の領域を識別する、顕著性ボリュームマップをフィルタリングすることと、前記一連の領域のうちの一領域と関連付けて潜在的なバイオマーカー領域を識別することと、前記潜在的なバイオマーカー領域に対するスコアリングメトリックを生成することと、前記スコアリングメトリックが選択されたしきい値を満たす場合、前記一連のバイオマーカーの少なくとも１つのバイオマーカーを含むものとして前記潜在的なバイオマーカー領域を識別することと、を含む、実施形態１４に記載の方法。

【0134】

実施形態１６ 前記選択された健康状態カテゴリが、加齢黄斑変性の選択されたステージであり、前記健康表示出力が、前記ＯＣＴボリューム画像が加齢黄斑変性の前記選択されたステージの証拠となる確率である、実施形態１４または実施形態１５に記載の方法。

【0135】

実施形態１７ システムであって、非一時的メモリと、前記非一時的メモリに結合され、前記システムに、
対象の網膜の光干渉断層撮影（ＯＣＴ）ボリューム画像を受信させ、
前記ＯＣＴボリューム画像を使用して、深層学習モデルを介して、前記ＯＣＴボリューム画像と前記網膜の選択された健康状態カテゴリとの間の関連付けのレベルを示す健康表示出力を生成させ、
顕著性マッピングアルゴリズムを使用して前記深層学習モデルについてのマップ出力であって、前記深層学習モデルによって生成された前記健康表示出力に対する前記ＯＣＴボリューム画像内の一連の領域の寄与度を示す前記マップ出力を生成させる、命令を前記非一時的メモリから読み出すように構成されたハードウェアプロセッサと、
を備える、システム。

【0136】

実施形態１８ 前記選択された健康状態カテゴリが、加齢黄斑変性の選択されたステージであり、前記健康表示出力が、前記ＯＣＴボリューム画像が前記加齢黄斑変性の選択されたステージの証拠となる確率である、実施形態１７に記載のシステム。

【0137】

実施形態１９ 前記選択された健康状態カテゴリが、前記ＯＣＴボリューム画像が生成された時点に関する現在の健康状態、または前記ＯＣＴボリューム画像が生成された前記時点後の選択された期間内に発症すると予測される将来の健康状態のいずれかを表す、実施形態１７または実施形態１８に記載のシステム。

【0138】

実施形態２０ 前記顕著性マッピングアルゴリズムが勾配重み付けクラス活性化マッピング（Ｇｒａｄ－ＣＡＭ）アルゴリズムを含み、前記マップ出力が前記深層学習モデルによって生成された前記健康表示出力に対する前記ＯＣＴボリューム画像内の前記一連の領域の前記寄与度を視覚的に示す、実施形態１７から１９のいずれか一項に記載のシステム。

【0139】

実施形態２１ 前記ＯＣＴボリューム画像が、２次元である複数のＯＣＴスライス画像を含み、前記ハードウェアプロセッサが、前記健康表示出力または前記マップ出力の少なくとも一方に基づいて前記システムに評価推奨を生成させる命令を前記非一時的メモリから命令を読み出すようにさらに構成され、前記評価推奨が、さらなるレビューのために前記複数のＯＣＴスライス画像のサブセットを識別し、前記サブセットが、前記複数のＯＣＴスライス画像の５％未満を含む、実施形態１７～２０のいずれか一項に記載のシステム。

【0140】

ＩＸ．さらなる考察
本教示は様々な実施形態に関連して説明されているが、本教示がそのような実施形態に限定されることは意図されていない。逆に、本教示は、当業者によって理解されるように、様々な代替物、改変物、および均等物を包含する。

【0141】

様々な実施形態を説明する際に、本明細書は、特定の一連のステップとして方法および／またはプロセスを提示している場合がある。しかしながら、方法またはプロセスが本明細書に記載の特定の順序のステップに依存しない限り、方法またはプロセスは記載された特定の順序のステップに限定されるべきではなく、当業者は、順序が変更されてもよく、依然として様々な実施形態の趣旨および範囲内にあることを容易に理解することができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【国際調査報告】