IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ジェネンテック, インコーポレイテッドの特許一覧

特表2023-534447深層ニューラルネットワークを使用する眼底自発蛍光画像からの地図状萎縮成長速度の予測
<>
  • 特表-深層ニューラルネットワークを使用する眼底自発蛍光画像からの地図状萎縮成長速度の予測 図1
  • 特表-深層ニューラルネットワークを使用する眼底自発蛍光画像からの地図状萎縮成長速度の予測 図2
  • 特表-深層ニューラルネットワークを使用する眼底自発蛍光画像からの地図状萎縮成長速度の予測 図3
  • 特表-深層ニューラルネットワークを使用する眼底自発蛍光画像からの地図状萎縮成長速度の予測 図4
  • 特表-深層ニューラルネットワークを使用する眼底自発蛍光画像からの地図状萎縮成長速度の予測 図5
  • 特表-深層ニューラルネットワークを使用する眼底自発蛍光画像からの地図状萎縮成長速度の予測 図6
  • 特表-深層ニューラルネットワークを使用する眼底自発蛍光画像からの地図状萎縮成長速度の予測 図7
  • 特表-深層ニューラルネットワークを使用する眼底自発蛍光画像からの地図状萎縮成長速度の予測 図8
  • 特表-深層ニューラルネットワークを使用する眼底自発蛍光画像からの地図状萎縮成長速度の予測 図9
  • 特表-深層ニューラルネットワークを使用する眼底自発蛍光画像からの地図状萎縮成長速度の予測 図10
  • 特表-深層ニューラルネットワークを使用する眼底自発蛍光画像からの地図状萎縮成長速度の予測 図11
  • 特表-深層ニューラルネットワークを使用する眼底自発蛍光画像からの地図状萎縮成長速度の予測 図12
  • 特表-深層ニューラルネットワークを使用する眼底自発蛍光画像からの地図状萎縮成長速度の予測 図13
  • 特表-深層ニューラルネットワークを使用する眼底自発蛍光画像からの地図状萎縮成長速度の予測 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-08-09
(54)【発明の名称】深層ニューラルネットワークを使用する眼底自発蛍光画像からの地図状萎縮成長速度の予測
(51)【国際特許分類】
   A61B 3/12 20060101AFI20230802BHJP
   A61B 3/14 20060101ALI20230802BHJP
   G06T 7/00 20170101ALI20230802BHJP
【FI】
A61B3/12
A61B3/14
G06T7/00 616
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023501885
(86)(22)【出願日】2021-07-14
(85)【翻訳文提出日】2023-03-07
(86)【国際出願番号】 US2021041697
(87)【国際公開番号】W WO2022015895
(87)【国際公開日】2022-01-20
(31)【優先権主張番号】63/052,292
(32)【優先日】2020-07-15
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/149,073
(32)【優先日】2021-02-12
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.PYTHON
(71)【出願人】
【識別番号】509012625
【氏名又は名称】ジェネンテック, インコーポレイテッド
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】カオ, シモン シャン
(72)【発明者】
【氏名】アネゴンディ, ネハ ステークシュナ
【テーマコード(参考)】
4C316
5L096
【Fターム(参考)】
4C316AA09
4C316AB07
4C316AB16
4C316FB05
4C316FB21
4C316FB23
4C316FB27
5L096AA06
5L096BA06
5L096BA13
5L096CA02
5L096DA02
5L096HA09
5L096HA11
5L096KA04
5L096KA15
(57)【要約】
網膜における地図状萎縮を評価するための方法およびシステム。網膜の眼底自発蛍光(FAF)画像のセットが受信される。眼底自発蛍光画像のセットを使用して機械学習システム用の入力が生成される。機械学習システムを介して、眼底自発蛍光画像のセットを使用して網膜における地図状萎縮病変の病変面積が予測される。機械学習システムを介して、入力を使用して網膜における地図状萎縮病変の病変成長速度が予測される。
【選択図】図1
【特許請求の範囲】
【請求項1】
網膜における地図状萎縮を評価するための方法であって、
前記網膜の眼底自発蛍光(FAF)画像のセットを受信することと、
前記眼底自発蛍光画像のセットを使用して機械学習システム用の入力を生成することと、
前記機械学習システムを介して、前記眼底自発蛍光画像のセットを使用して前記網膜における地図状萎縮病変の病変面積を予測することと、
前記機械学習システムを介して、前記入力を使用して前記網膜における前記地図状萎縮病変の病変成長速度を予測することと
を含む、方法。
【請求項2】
前記眼底自発蛍光画像のセットが、ベースライン時点に対応する前記網膜のベースライン眼底自発蛍光画像を含み、前記病変成長速度が、前記ベースライン時点の後の時点について予測される、請求項1に記載の方法。
【請求項3】
前記眼底自発蛍光画像のセットが、ベースライン時点に対応する前記網膜のベースライン眼底自発蛍光画像を含み、前記病変面積が、前記ベースライン時点の後の時点について予測される、請求項1または請求項2に記載の方法。
【請求項4】
前記生成することが、前記眼底自発蛍光画像のセットを前処理して、前記機械学習システム用の前記入力を形成することを含む、請求項1~3のいずれか一項に記載の方法。
【請求項5】
前記前処理することが、前記眼底自発蛍光画像のセットの各眼底自発蛍光画像を選択されたサイズにサイズ変更して、前記機械学習システム用の前記入力を形成することを含む、請求項4に記載の方法。
【請求項6】
前記前処理することが、前記眼底自発蛍光画像のセットの各眼底自発蛍光画像の画像強度を選択されたスケールに対して正規化して、前記機械学習システム用の前記入力を形成することを含む、請求項4または請求項5に記載の方法。
【請求項7】
前記機械学習システムを介して、前記病変成長速度を予測することが、
前記機械学習システムの畳み込みニューラルネットワーク層を介して、前記入力に基づいて第1の出力を生成することと、
前記機械学習システムのプーリング層を介して、前記第1の出力を使用して第2の出力を生成することと、
前記機械学習システムの緻密層を介して、前記第2の出力を使用して、前記地図状萎縮病変の前記病変成長速度を予測することと
を含む、請求項1~6のいずれか一項に記載の方法。
【請求項8】
前記機械学習システムを介して、前記病変面積を予測することが、
前記機械学習システムの畳み込みニューラルネットワーク層を介して、前記入力に基づいて第1の出力を生成することと、
前記機械学習システムのプーリング層を介して、前記第1の出力を使用して第2の出力を生成することと、
前記機械学習システムの緻密層を介して、前記第2の出力を使用して前記地図状萎縮病変の前記病変面積を予測することと
を含む、請求項1~7のいずれか一項に記載の方法。
【請求項9】
同じ包含基準を有する複数の臨床試験から取得された複数の眼底自発蛍光画像を使用して前記機械学習システムを訓練することをさらに含む、請求項1から8のいずれか一項に記載の方法。
【請求項10】
前記機械学習システムが、深層学習ニューラルネットワークシステムを備える、請求項1から9のいずれか一項に記載の方法。
【請求項11】
網膜における地図状萎縮を評価するための方法であって、
前記網膜の眼底自発蛍光(FAF)画像のセットを受信することと、
前記眼底自発蛍光画像のセットを使用して機械学習システム用の入力を生成することと、
前記機械学習システムを介して、前記入力を使用して前記網膜における地図状萎縮病変の病変面積を予測することと、
前記機械学習システムを介して、前記機械学習システムによって予測された前記病変面積を使用して、前記地図状萎縮病変の病変成長速度を予測することと
を含む、方法。
【請求項12】
前記眼底自発蛍光画像のセットが、ベースライン時点に対応する前記網膜のベースライン眼底自発蛍光画像を含み、前記病変成長速度が、前記ベースライン時点の後の時点について予測される、請求項11に記載の方法。
【請求項13】
前記眼底自発蛍光画像のセットが、ベースライン時点に対応する前記網膜のベースライン眼底自発蛍光画像を含み、前記病変面積が、前記ベースライン時点の後の時点について予測される、請求項11または請求項12に記載の方法。
【請求項14】
前記生成することが、前記眼底自発蛍光画像のセットを前処理して、前記機械学習システム用の前記入力を形成することを含む、請求項11~13のいずれか一項に記載の方法。
【請求項15】
前記前処理することが、
前記眼底自発蛍光画像のセットの各眼底自発蛍光画像を選択されたサイズにサイズ変更して、前記機械学習システム用の前記入力を形成すること、または、
前記眼底自発蛍光画像のセットの各眼底自発蛍光画像の画像強度を選択されたスケールに対して正規化して、前記機械学習システム用の前記入力を形成すること
のうちの少なくとも1つを含む、請求項14に記載の方法。
【請求項16】
前記機械学習システムが、深層学習を使用するニューラルネットワークシステムを備え、
前記ニューラルネットワークシステムの面積サブシステムを訓練して、病変面積を予測することと、
前記機械学習システムの成長速度サブシステムを訓練して、前記面積サブシステムの訓練から特定された予め訓練されたパラメータのセットを使用して病変成長速度を予測することと
をさらに含む、請求項11~15のいずれか一項に記載の方法。
【請求項17】
地図状萎縮病変の病変成長速度を予測するための方法であって、
コンピューティングシステムにおいて、眼底自発蛍光画像のセットにアクセスすることと、
前記眼底自発蛍光画像のセットの画像から地図状萎縮進行メトリックを導出することと、
被験者の眼底自発蛍光画像にアクセスすることと、
前記眼底自発蛍光画像および前記地図状萎縮進行メトリックから、前記被験者の地図状萎縮病変の被験者特異的な病変面積を予測することと、
予測された前記病変面積から病変成長速度の被験者特異的な予測を出力することと
を含む、方法。
【請求項18】
前記地図状萎縮進行メトリックが地図状萎縮病変成長速度である、請求項17に記載の方法。
【請求項19】
システムであって、
1つ以上のデータプロセッサと、
命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令が前記1つ以上のデータプロセッサ上で実行されると、前記1つ以上のデータプロセッサに請求項1から18のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読記憶媒体と
を備える、システム。
【請求項20】
1つ以上のデータプロセッサに請求項1から18のいずれか一項に記載の方法を実行させるように構成された命令を含む、非一時的機械可読記憶媒体に有形に具現化されたコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2021年2月12日に出願された「Predicting Geographic Atrophy Growth Rate from Fundus Autofluorescence Images using Deep Neural Networks」と題する米国仮特許出願第63/149,073号、および2020年7月15日に出願された「Predicting Geographic Atrophy Growth Rate from Fundus Autofluorescence Images using Deep Neural Networks」と題する米国仮特許出願第 63/052,292号に対する優先権を主張し、双方とも参照によりその全体が本明細書に組み込まれる。
【0002】
分野
この説明は、一般に、網膜における地図状萎縮の評価に関する。より具体的には、この説明は、例えば眼底自発蛍光(FAF)画像および光干渉断層撮影(OCT)画像などの複数のモダリティからの画像を使用して、地図状萎縮病変の成長速度を予測するための方法およびシステムを提供する。
【背景技術】
【0003】
背景
加齢黄斑変性(AMD)は、50歳以上の患者における視力喪失の主な原因である。地図状萎縮(GA)は、AMDの後期形態である。GAは、網膜の変性であり、例えば運転、読書などの日常活動を妨げる可能性がある。GAは、脈絡毛細管、網膜色素上皮(RPE)および光受容体の進行性および不可逆的な喪失を特徴とする。GAの進行は、患者によって異なり、現在、GAの進行を予防または減速するための広く受け入れられている治療法は存在しない。したがって、個々の患者におけるGAの進行を評価することは、GAを研究し、有効な治療法を開発するために重要であり得る。現在、GA病変拡大の診断および監視は、共焦点走査レーザー検眼鏡検査(cSLO)によって得られる眼底自発蛍光(FAF)画像を使用して実施されることができる。FAF画像では、GAの領域は、暗い領域として見ることができ、GAの進行は、それらの暗い領域の経時的な増加率に基づいて評価されることができる。FAF画像を使用してGA進行を評価するための現在利用可能な技術は、知識および専門知識を必要とし、時間がかかる手動ステップを実行するために人間の採点者に依存している。さらに、人間の等級付けの変動性のために、1級評価者が2級評価者と比較してFAF画像をどのように見るかに違いがあり得る。この変動は、結果を歪める可能性がある。GA進行をより一貫して、確実に、かつ迅速に評価することが望まれる。
【発明の概要】
【0004】
概要
1つ以上の実施形態では、網膜における地図状萎縮を評価するための方法およびシステムが提供される。網膜の眼底自発蛍光(FAF)画像のセットが受信される。眼底自発蛍光画像のセットを使用する機械学習システム用の入力が生成される。機械学習システムを介して、眼底自発蛍光画像のセットを使用して網膜における地図状萎縮病変の病変面積が予測される。機械学習システムを介して、入力を使用して網膜における地図状萎縮病変の病変成長速度が予測される。
【0005】
1つ以上の実施形態では、網膜における地図状萎縮を評価するための方法およびシステムが提供される。網膜の眼底自発蛍光(FAF)画像のセットが受信される。眼底自発蛍光画像のセットを使用する機械学習システム用の入力が生成される。機械学習システムを介して、入力を使用して網膜の地図状萎縮病変の病変面積が予測される。機械学習システムを介して、機械学習システムによって予測された病変面積を使用して地図状萎縮病変の病変成長速度が予測される。
【0006】
1つ以上の実施形態では、地図状萎縮病変の病変成長速度を予測するための方法が提供される。眼底自発蛍光画像のセットは、コンピューティングシステムにおいてアクセスされる。地図状萎縮進行メトリックは、眼底自発蛍光画像のセットから導出される。被験者の眼底自発蛍光画像がアクセスされる。眼底自発蛍光画像および地図状萎縮進行メトリックから、被験者の地図状萎縮病変の被験者特異的な病変面積が予測される。病変成長速度の被験者特異的な予測は、予測された地図状萎縮病変面積から出力される。
【0007】
1つ以上の実施形態では、システムは、1つ以上のデータプロセッサと、1つ以上のデータプロセッサ上で実行されると、1つ以上のデータプロセッサに、本明細書に記載の実施形態のいずれか1つの方法を実行させる命令を含む非一時的コンピュータ可読記憶媒体と、を備える。
【0008】
1つ以上の実施形態では、非一時的機械可読記憶媒体に有形に具現化され、1つ以上のデータプロセッサに本明細書に記載の実施形態のいずれか1つの方法を実行させるように構成された命令を含むコンピュータプログラム製品が提供される。
【図面の簡単な説明】
【0009】
本明細書に開示された原理およびその利点のより完全な理解のために、ここで添付の図面と併せて以下の説明を参照する。
【0010】
図1】様々な実施形態にかかる病変評価システムのブロック図である。
【0011】
図2】様々な実施形態にかかるベースアーキテクチャを有する図1のニューラルネットワークシステムのブロック図である。
【0012】
図3】様々な実施形態にかかるマルチタスクアーキテクチャを有する図1のニューラルネットワークシステムのブロック図である。
【0013】
図4】様々な実施形態にかかるカスケードアーキテクチャを有する図1のニューラルネットワークシステムのブロック図である。
【0014】
図5】様々な実施形態にかかる地図状萎縮病変を評価するためのプロセスのフローチャートである。
【0015】
図6】様々な実施形態にかかる地図状萎縮病変を評価するためのプロセスのフローチャートである。
【0016】
図7】様々な実施形態にかかる地図状萎縮病変を評価するためのプロセスのフローチャートである。
【0017】
図8】様々な実施形態にかかるGA進行パラメータのセットを予測するためのプロセスのフローチャートである。
【0018】
図9】様々な実施形態にかかるGA進行パラメータのセットを予測するためのプロセスのフローチャートである。
【0019】
図10】様々な実施形態にかかる3つの異なるタイプの機械学習モデルの性能を示す表である。
【0020】
図11】様々な実施形態にかかる予測される病変成長速度対真の病変成長速度の回帰プロット図である。
【0021】
図12】様々な実施形態にかかる予測される病変面積対真の病変面積の回帰プロット図である。
【0022】
図13】様々な実施形態にかかる病変成長速度および病変面積の双方を予測する際のマルチタスクモデルの訓練性能を示す表である。
【0023】
図14】様々な実施形態にかかるコンピュータシステムのブロック図である。
【0024】
図面は必ずしも一定の縮尺で描かれているわけではなく、図面内の物体は必ずしも互いに一定の縮尺で描かれているわけではないことを理解されたい。図面は、本明細書に開示される装置、システム、および方法の様々な実施形態に明瞭さおよび理解をもたらすことを意図した描写である。可能な限り、同じまたは同様の部分を指すために図面全体を通して同じ参照符号が使用される。さらに、図面は、本教示の範囲を決して限定するものではないことを理解されたい。
【発明を実施するための形態】
【0025】
詳細な説明
I.概要
ベースライン評価に基づいて地図状萎縮(GA)の進行を正確に予測する能力は、多くの異なるシナリオで有用であり得る。一例として、GAの進行に関する予測が使用されて、GAの進行を遅らせることが目標である臨床試験における患者の層別化を改善し、それによって治療効果の改善された評価を可能にすることができる。さらに、場合によっては、GA進行に関する予測が使用されて、遺伝子型シグネチャまたは表現型シグネチャとの相関を介して疾患病因を理解することができる。
【0026】
GA病変は、様々な撮像モダリティによって撮像されることができる。眼底自発蛍光(FAF)画像は、GA病変面積を定量化するために使用されている。GA成長速度は、FAF画像を使用して測定される場合、ある期間にわたる病変面積の変化であり、臨床試験におけるGA進行の解剖学的指標として広く受け入れられている。本実施形態では、GA成長速度(例えば、年間成長速度)が、ベースラインFAF画像から予測されることができる。
【0027】
FAF画像を使用してGA進行を評価するための現在利用可能な技術は、GA病変であるFAF画像の部分を最初に手動で特定するために人間の採点者に依存している。場合によっては、この第1のステップは、半自動化され、GA領域のソフトウェア生成された初期輪郭に対する手動の改良および/または補正を行うために人間の採点者に依存する。次に、FAF画像の特定された部分が評価されて、GA病変面積およびGA成長速度を決定する。したがって、これらの技術は、望ましいよりも多くの時間がかかる可能性があり、ヒューマンエラーを起こしやすく、所望よりも正確でない可能性があり、および/または1人または人間の採点者の知識および専門知識に応じて可変の結果を生成する可能性がある2段階プロセスを含むことができる。したがって、GA病変面積またはGA成長速度の予測に関連する速度、効率、および精度を改善する方法およびシステムが望まれている。
【0028】
本明細書の実施形態は、研究および臨床状況のためのGA病変面積、GA成長速度、またはその双方の予測に関連する速度、効率、および精度の所望の改善を提供する。特に、本明細書に記載の様々な実施形態は、ベースラインFAF画像および機械学習システムを使用してGA進行メトリック(例えば、GA成長速度、GA病変面積、またはその双方)のセットを自動的に予測するための方法およびシステムを提供する。例えば、所与の被験者について、機械学習システムは、被験者の網膜のベースラインFAF画像からGA進行メトリックのセットを自動的に予測するように訓練された深層学習を使用する。機械学習システムは、同じまたは類似の包含基準を共有する複数の研究から導出された訓練データセットを使用して訓練される。このタイプの訓練データセットを用いた訓練は、機械学習システムの予測性能を改善する。例えば、そのような訓練された機械学習システムを使用してFAF画像(例えば、ベースラインFAF画像)を分析し、1つ以上のGA進行メトリックを自動的に予測することは、これらの予測を行う速度および効率、ならびにこれらの予測の精度を改善することができる。したがって、本明細書に記載の実施形態は、本明細書に記載のように訓練された深層学習を使用する機械学習システムに入力されたベースラインFAF画像に基づいて、将来のある時点におけるGA病変面積、GA成長速度(例えば、年間成長速度)、またはその双方を予測するための完全に自動化された方法論およびシステムを提供する。
【0029】
様々な実施形態では、深層学習を使用する機械学習システムが使用されて、ベースラインFAF画像から経時的なGA病変の進行の正確な予測を生成することができる。例えば、被験者の網膜の1つ以上のベースラインFAF画像は、網膜のGA病変の予測病変面積、GA病変の予測病変成長率、またはその双方を自動的に出力する深層学習システムを使用して処理されることができる。場合によっては、病変面積の予測に基づいて病変成長速度が予測される。例えば、2つ以上の異なる時点に対する病変面積の2つ以上の予測がそれぞれ使用されて、病変成長速度を予測することができる。
【0030】
予測された病変面積および/または予測された病変成長速度は、臨床診療での使用にうまく依拠することができる精度を有することができる。例えば、1つ以上の予測GA進行メトリックが使用されて、被験者が臨床試験の候補であるかどうか、どの臨床試験に被験者を割り当てるか、被験者の治療をカスタマイズする方法、臨床試験中に被験者の進行を監視する方法、またはそれらの組み合わせを決定することができる。
【0031】
FAF画像に基づいてGA進行メトリックを予測するために使用される機械学習システム(例えば、深層学習システム)は、所望のレベルの予測精度を保証するデータセットを使用して訓練されることができる。例えば、訓練データセットは、同じ(または実質的に同じまたは類似の)包含基準(例えば、両側性GAを有する被験者)を有する複数の研究から編集されることができる。訓練データセットが同じ(または実質的に同じまたは同様の)包含基準を共有する研究から構築されることを確実にすることは、異なる種類の包含基準を有する研究からの訓練データを使用する場合と比較して、訓練精度、ひいては予測精度を改善するFAF画像にわたる特定の種類の一貫性を確実にするのに役立つ。いくつかの実施形態では、機械学習システムは、訓練に使用される時間、処理リソース、またはその双方の総量が低減されるように選択または構成されることができる。
【0032】
したがって、本明細書に記載の様々な実施形態は、GA進行予測方法およびシステムに関する。これらのGA進行予測方法論およびシステムは、被験者の網膜において特定されたGA病変について、病変面積、病変成長速度、またはその双方を予測するために使用されることができる。本明細書に記載の技術は、1人以上の被験者の予後を予測するため、1人以上の被験者の様々な治療に対する応答性を予測するため、個々の被験者に有効であると予測される治療を特定するため、1人以上の被験者を臨床試験内の適切なアームに割り当てるため、またはそれらの組み合わせのために使用されることができる。
【0033】
本明細書に記載の方法論および/またはシステムを使用して予測された病変面積、病変成長速度、またはその双方が使用されて、被験者が地図状萎縮の医学的治療を試験するための臨床試験に適格であるかどうかの指標を含む出力を生成することができる。いくつかの実施形態では、この出力は、被験者を臨床試験に登録するため、被験者を臨床試験に参加することから除外するため、被験者のために臨床試験におけるプロトコルをカスタマイズするため、または被験者を異なる臨床試験に登録するために使用されることができる。
【0034】
II.地図状萎縮(GA)病変評価
ここで図面を参照すると、図1は、様々な実施形態にかかる病変評価システム100のブロック図である。病変評価システム100は、被験者の網膜における地図状萎縮(GA)病変を評価するために使用される。病変評価システム100は、コンピューティングプラットフォーム102と、データストレージ104と、ディスプレイシステム106とを含む。コンピューティングプラットフォーム102は、様々な形態をとることができる。1つ以上の実施形態では、コンピューティングプラットフォーム102は、互いに通信する単一のコンピュータ(またはコンピュータシステム)または複数のコンピュータを含む。他の例では、コンピューティングプラットフォーム102は、クラウドコンピューティングプラットフォームの形態をとる。
【0035】
データストレージ104およびディスプレイシステム106は、それぞれ、コンピューティングプラットフォーム102と通信する。いくつかの例では、データストレージ104、ディスプレイシステム106、またはその双方は、コンピューティングプラットフォーム102の一部と見なされるか、そうでなければ統合されてもよい。したがって、いくつかの例では、コンピューティングプラットフォーム102、データストレージ104、およびディスプレイシステム106は、互いに通信する別個の構成要素であってもよいが、他の例では、これらの構成要素のいくつかの組み合わせが一緒に統合されてもよい。
【0036】
病変評価システム100は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせを使用して実装されることができる画像プロセッサ108を含む。1つ以上の実施形態では、画像プロセッサ108は、コンピューティングプラットフォーム102に実装される。画像プロセッサ108は、処理のために画像入力110を受信する。例えば、画像入力110は、画像プロセッサ108への入力として送信されてもよく、データストレージ104もしくは他の何らかの種類のストレージ(例えば、クラウドストレージ)から取得されてもよく、または他の何らかの方法で受信されてもよい。
【0037】
画像入力110は、1人以上の被験者について取得された1つ以上の画像を含むことができる。画像入力110は、眼底自発蛍光(FAF)画像112のセットを含む。FAF画像112のセットは、それぞれが被験者の網膜を撮像する1つ以上のFAF画像を含む。被験者の網膜は、地図状萎縮(GA)病変を有することができる。このGA病変は、変性(例えば、慢性進行性変性)を患っている網膜の連続的または不連続的な領域とすることができる。GA病変は、1つの病変(例えば、1つの連続病変領域)または複数の病変(例えば、複数の別個の病変からなる不連続病変領域)を含むことができる。
【0038】
1つ以上の実施形態では、FAF画像112のセットは、ベースライン(または基準)時点で撮像された1つ以上のベースラインFAF画像を含む。ベースライン(または基準)時点は、例えば、処置前の時点、処置用量と同日(例えば、第1の治療用量)、または何らかの他のタイプのベースラインまたは基準時点とすることができる。FAF画像114は、FAF画像112のセットにおけるFAF画像の一例である。FAF画像114は、GA病変を撮像したベースラインFAF画像である。
【0039】
様々な実施形態では、画像プロセッサ108は、機械学習システム116を使用して画像入力110(例えば、FAF画像112のセット)を処理して、GA病変に対応するGA進行パラメータ118のセットを予測する。例えば、機械学習システム116は、入力としてFAF画像114を受信し、FAF画像114を処理して、FAF画像114において撮像されたGA病変のGA進行パラメータ118のセットを予測することができる。他の例では、前処理モジュール119は、画像入力110を機械学習システム116に送信する前に画像入力110を前処理するために使用される。例えば、前処理モジュール119は、機械学習システム116に送信される修正されたFAF画像120を形成するためにFAF画像114を前処理することができる。前処理は、サイズ変更、画像強度の正規化(例えば、画素強度)、またはそれらの組み合わせを含むことができる。サイズ変更は、FAF画像114を画素サイズによって選択された画素にサイズ変更すること(例えば、512画素×512画素)を含むことができる。画像強度の正規化は、FAF画像114内の画素の強度値を選択されたスケール(例えば、0から1のスケール、-1から1のスケール、または別の種類のスケール)に正規化することを含むことができる。
【0040】
機械学習システム116によって生成されたGA進行パラメータ118のセットは、例えば、GA病変に対応する病変面積121、病変成長速度122、またはその双方を含むことができる。病変面積121は、GA病変が連続領域であるか不連続領域であるかにかかわらず、GA病変によって覆われた領域を指すことができる。いくつかの実施形態では、病変面積121は、単位ミリメートル平方(mm)で生成されることができる。病変面積121は、ベースライン時点について推定された病変面積とすることができる。他の例では、病変面積121は、ベースライン時点の後の時点について予測された病変面積である。例えば、病変面積121は、ベースライン時点から3ヶ月、6ヶ月、9ヶ月、1年間、または他の何らかの期間にわたって予測されるGA病変の面積を含む。さらに他の例では、病変面積121は、ベースライン時点の後の複数の時点の複数の予測を含む。
【0041】
病変成長速度122は、GA病変の病変面積の長期的な変化とすることができる。換言すれば、病変成長速度122は、経時的な病変面積の予測された変化とすることができる。場合によっては、この成長速度は、年間成長速度(例えば、mm/年)であってもよい。
【0042】
機械学習モデルとも呼ばれることがある機械学習システム116は、いくつかの異なる方法のいずれかで実装されてもよい。1つ以上の実施形態では、機械学習システム116は、深層学習システムを使用して実装される。例えば、機械学習システム116は、深層学習を使用するGA予測ニューラルネットワーク(NN)システム124を使用して実装されてもよい。GA予測NNシステム124は、任意の数または組み合わせのニューラルネットワークを含むことができる。1つ以上の実施形態では、GA予測NNシステム124は、1つ以上のニューラルネットワークを含む畳み込みニューラルネットワーク(CNN)システムの形態をとる。これらの1つ以上のニューラルネットワークのそれぞれは、それ自体が畳み込みニューラルネットワークであってもよい。場合によっては、GA予測NNシステム124は、それぞれが1つ以上のニューラルネットワークを含む複数のサブシステムおよび/または層を含む。
【0043】
機械学習システム116は、訓練モード126または予測モード128のいずれかにおいて使用されることができる。訓練モード126では、機械学習システム116は、訓練データセット130を使用して訓練される。訓練データセット130は、機械学習システム116が所望の精度レベルで予測モード128で使用されることができることを保証するように選択されたFAF画像データセットを含む。1つ以上の実施形態では、訓練データセット130は、1つ以上の研究(例えば、臨床研究、調査研究など)を介して得られたFAF画像を含む。FAF画像が複数の研究から得られる場合、研究の包含基準が同じになるように研究が選択される。同じ包含基準が研究において使用されたことを確実にすることは、訓練精度、ひいては予測精度を改善するFAF画像全体の特定の種類の一貫性を確実にするのに役立つ。様々な実施形態では、訓練データセット130は、両側性地図状萎縮症を有する被験者に対するFAF画像を含む。
【0044】
図2図4は、図1のGA予測NNシステム124の様々なアーキテクチャまたは構成を示すブロック図である。図2図4は、図1の病変評価システム100を継続的に参照して説明される。GA予測NNシステム124は、入力としてFAF画像を受信し、それらのFAF画像を処理するための様々な構成を有することができる。
【0045】
図2は、様々な実施形態にかかるベースアーキテクチャ200を有するGA予測NNシステム124のブロック図である。ベースアーキテクチャ200を有するGA予測NNシステム124は、FAF入力202を受信し、FAF入力202を処理し、FAF入力202に基づいて病変成長速度122を生成するために使用される。FAF入力202は、図1のFAF画像114などのFAF画像、または図1の修正FAF画像120などの前処理されたFAF画像の形態をとる。
【0046】
ベースアーキテクチャ200は、例えば、限定されないが、畳み込みニューラルネットワーク204、プーリング層206、および緻密層208を含むことができる。訓練モード126において使用される場合、ベースアーキテクチャ200は、ドロップアウト層210も含むことができる。GA予測NNシステム124の畳み込みニューラルネットワーク204は、FAF入力202を受信する。畳み込みニューラルネットワーク204は、少なくとも1つの畳み込みニューラルネットワークを含む任意の数または組み合わせのニューラルネットワークから構成されてもよい。畳み込みニューラルネットワーク204は、FAF入力202を使用してFAF画像処理205を行う。畳み込みニューラルネットワーク204は、プーリング層206に供給される出力212を生成する。プーリング層206は、1つ以上の異なるおよび/または同じプーリング層を含むことができる。1つ以上の実施形態では、プーリング層206は、グローバル平均プーリング層を含む。プーリング層206は、緻密層208に送られる出力214を生成する。
【0047】
緻密層208は、1つ以上の異なるおよび/または同じ緻密層を含む。これらの緻密層のそれぞれは、選択された数のノードから構成されてもよい。例えば、緻密層dense(256)は、256個のノードから構成される。訓練モード126にあるとき、緻密層208は、入力としてドロップアウト層210に送信される出力216を生成するために、その受信した入力に対して1つ以上の動作を実行する。ドロップアウト層210は、訓練データセット130の過剰適合を低減または防止するのに役立つ1つ以上の動作ドロップアウト層を含むことができる。例えば、ドロップアウト層210が使用されて、最終出力である病変成長速度122に対するいくつかのノードの寄与を無効にすることができる。予測モード128の場合、ドロップアウト層210は使用されず、緻密層208が病変成長速度122を出力する。
【0048】
いくつかの実施形態では、ベースアーキテクチャ200は、1つ以上の追加の層を含むことができる。例えば、ベースアーキテクチャ200は、病変面積121および病変成長速度122を出力するドロップアウト層310の後に予測層を含むことができる。この予測層は、例えば、限定されないが、1つのノードからなる緻密層を使用して実装されることができる。他の実施形態では、ベースアーキテクチャ200は、いくつかの他の数のノードから構成される緻密層を含むことができる。
【0049】
このようにして、ベースアーキテクチャ200を有するGA予測NNシステム124は、FAF入力202を受信し、自動化されたプロセスを介して、所望のレベルの精度で病変成長速度122を出力することができる。例えば、GA予測NNシステム124は、GA予測NNシステム124がFAF入力202に基づいて病変成長速度122を効率的かつ正確に出力することを可能にする多数のベースラインFAF画像(例えば、同じ包含基準を共有する複数の研究から構築された訓練データセットについて)を使用して訓練されていてもよい。
【0050】
図3は、様々な実施形態にかかるマルチタスクアーキテクチャ300を有するGA予測NNシステム124のブロック図である。マルチタスクアーキテクチャ300を有するGA予測NNシステム124は、処理のためにFAF入力202を受信することができる。上述したように、FAF入力202は、図1のFAF画像114または修正FAF画像120の形態をとることができる。GA予測NNシステム124は、FAF入力202を処理して、病変成長速度122および病変面積121の双方を生成する。1つ以上の実施形態では、病変面積121は、ベースライン時点に対する推定ベースライン病変面積である。他の実施形態では、病変面積121は、ベースライン時点に対する将来の時点の予測病変面積である。
【0051】
マルチタスクアーキテクチャ300は、畳み込みニューラルネットワーク304と、プーリング層306と、緻密層308とを含む。訓練モード126において使用される場合、マルチタスクアーキテクチャ300は、ドロップアウト層310も含むことができる。様々な実施形態では、畳み込みニューラルネットワーク304、プーリング層306、緻密層308、およびドロップアウト層310は、図2の畳み込みニューラルネットワーク204、プーリング層206、緻密層208、およびドロップアウト層210とそれぞれ同様の方法で実装される。しかしながら、訓練モード126では、ドロップアウト層210は、病変面積121および病変成長速度122の双方を出力する。予測モード128では、緻密層208は、病変面積121および病変成長速度122の双方を出力する。
【0052】
畳み込みニューラルネットワーク304は、FAF入力202を受信し、FAF入力202を使用してFAF画像処理311を実行する。畳み込みニューラルネットワーク304は、プーリング層306に送られる出力312を生成する。プーリング層306は、出力312を受信し、出力312を使用して1つ以上の動作を実行し、緻密層308に送信される出力314を生成する。
【0053】
いくつかの実施形態では、緻密層308は、2つの副層、すなわち、第1の緻密副層316(例えば、dense(256))および第2の緻密副層318(例えば、dense(256)を含む。さらに、ドロップアウト層310はまた、2つの対応する副層、すなわち、第1のドロップアウト副層320および第2のドロップアウト副層322を含むことができる。第1の緻密副層316は、出力314を受信し、第1のドロップアウト副層320に送られる出力324を生成する。第2の緻密副層318は、出力314を受信し、第2のドロップアウト副層322に送られる出力326を生成する。第1のドロップアウト副層320は、病変面積121を出力し、第2のドロップアウト副層322は、病変成長面積122を出力する。
【0054】
このようにして、マルチタスクアーキテクチャ300を有するGA予測NNシステム124は、FAF入力202を受信し、自動化プロセスを介して、所望のレベルの精度で病変面積121および病変成長速度122を出力することができる。例えば、GA予測NNシステム124は、GA予測NNシステム124がFAF入力202に基づいて病変面積121および病変成長速度122を効率的かつ正確に出力することを可能にする多数のベースラインFAF画像(例えば、同じ包含基準を共有する複数の研究から構築された訓練データセットについて)を使用して訓練されていてもよい。
【0055】
図4は、様々な実施形態にかかるカスケードアーキテクチャ400を有するGA予測NNシステム124のブロック図である。カスケードアーキテクチャ400を有するGA予測NNシステム124は、処理のためにFAF入力202を受信することができる。上述したように、FAF入力202は、図1のFAF画像114または修正FAF画像120の形態をとることができる。GA予測NNシステム124は、FAF入力202を処理して、病変成長速度122および病変面積121の双方を生成する。1つ以上の実施形態では、病変面積121は、ベースライン時点に対する推定ベースライン病変面積である。他の実施形態では、病変面積121は、ベースライン時点に対する将来の時点の予測病変面積である。
【0056】
カスケードアーキテクチャ400は、面積サブシステム401および成長速度サブシステム402を含む。面積サブシステム401は、病変面積121を出力するように訓練される。成長速度サブシステム402は、病変成長速度122を出力するように訓練される。訓練モード126では、面積サブシステム401が最初に訓練され、そのパラメータ(例えば、重み)が使用されて成長速度サブシステム402を訓練することができる。予測モード128では、面積サブシステム401によって予測された病変面積121が成長速度サブシステム402において使用されて、病変成長速度122を予測することができる。
【0057】
面積サブシステム401は、畳み込みニューラルネットワーク404、プーリング層406、および緻密層408を含む。訓練モード126において使用される場合、面積サブシステム401は、ドロップアウト層410も含むことができる。様々な実施形態では、畳み込みニューラルネットワーク404、プーリング層406、緻密層408、およびドロップアウト層410は、図2の畳み込みニューラルネットワーク204、プーリング層206、緻密層208、およびドロップアウト層210とそれぞれ同様の方法で実装される。例えば、畳み込みニューラルネットワーク404は、FAF入力202を受信し、FAF画像処理411を実行して、プーリング層406に送られる出力を生成することができ、プーリング層は、出力を緻密層408に送る。予測モード128では、緻密層408は、病変面積121を出力する。しかしながら、訓練モード126では、緻密層408は、病変面積121を出力するドロップアウト層410に出力を送信する。
【0058】
成長速度サブシステム402は、畳み込みニューラルネットワーク412、プーリング層414、および緻密層416を含む。訓練モード126において使用される場合、成長速度サブシステム402はまた、ドロップアウト層418を含むことができる。様々な実施形態では、畳み込みニューラルネットワーク412、プーリング層414、緻密層416、およびドロップアウト層410は、図2の畳み込みニューラルネットワーク204、プーリング層206、緻密層208、およびドロップアウト層210とそれぞれ同様の方法で実装される。例えば、畳み込みニューラルネットワーク412は、FAF入力202を受信し、FAF画像処理419を実行して、プーリング層414に送られる出力を生成することができ、プーリング層は、出力を緻密層408に送る。予測モード128では、緻密層416は、面積サブシステム401によって予測された病変面積121を使用して病変成長速度122を出力する。訓練モード126では、緻密層416は、ドロップアウト層418に出力を送信し、ドロップアウト層は、面積サブシステム401によって予測された病変面積121を使用して決定された病変成長速度122を出力する。
【0059】
カスケードアーキテクチャ400を用いて、面積サブシステム401の予め訓練されたニューラルネットワークパラメータ(例えば、重み)が訓練によって微調整されて、面積サブシステム401が所望のレベルの精度で病変面積121を予測することを可能にすることができる。次いで、成長速度サブシステム402のパラメータは、面積サブシステム401の調整されたパラメータを使用して微調整され、成長速度サブシステム402が所望のレベルの精度で病変成長速度122を予測することを可能にする。
【0060】
いくつかの実施形態では、このタイプのカスケード経路手法は、訓練モード126においてのみ使用される。GA予測NNシステム124がカスケード経路手法を介して訓練されると、FAF入力202は、面積サブシステム401および成長速度サブシステム402に供給されてもよく、そのそれぞれは、その対応するGA進行パラメータを独立して予測することができてもよい。
【0061】
このようにして、カスケードアーキテクチャ400を有するGA予測NNシステム124は、FAF入力202を受信し、自動化されたプロセスを介して、所望のレベルの精度で病変面積121および病変成長速度122を出力することができる。例えば、GA予測NNシステム124は、GA予測NNシステム124がFAF入力202に基づいて病変面積121および病変成長速度122を効率的かつ正確に出力することを可能にする多数のベースラインFAF画像(例えば、同じ包含基準を共有する複数の研究から構築された訓練データセットについて)を使用して訓練されていてもよい。
【0062】
図2のベースアーキテクチャ200、図3のマルチタスクアーキテクチャ300、および図4のカスケードアーキテクチャ400は、図1のGA予測NNシステム124のアーキテクチャまたは構成の例である。しかしながら、他の実施形態では、GA予測NNシステム124は、何らかの他のタイプのアーキテクチャまたは構成を有してもよい。
【0063】
図5は、様々な実施形態にかかる地図状萎縮病変を評価するためのプロセス500のフローチャートである。様々な実施形態では、プロセス500は、図1に記載の病変評価システム100を使用して実装される。特に、プロセス500が使用されて、図1のGA進行パラメータ118のセットを予測することができる。
【0064】
ステップ502は、網膜の眼底自発蛍光(FAF)画像のセットを受信することを含む。網膜は、地図状萎縮、または場合によっては地図状萎縮の前駆期と診断された被験者に属することができる。FAF画像のセットは、例えば、単一のベースラインFAF画像または複数のベースラインFAF画像を含むことができる。上述したように、ベースラインFAF画像は、ベースライン時点に対応する。FAF画像のセットが複数のベースラインFAF画像を含む場合、これらのベースラインFAF画像は、全て、同じまたは実質的に同じ(例えば、同じ時間内、同じ日内、同じ1~3日内など)1つ以上の時点について生成されていてもよい。
【0065】
ステップ504は、FAF画像のセットを使用して機械学習システム用の入力を生成することを含む。いくつかの実施形態では、ステップ504は、入力としてFAF画像のセットを機械学習システムに直接送信することを含む。他の実施形態では、ステップ504は、入力を形成するためにFAF画像のセットを前処理することによって実行されてもよい。前処理は、FAF画像のセットのそれぞれを選択されたサイズにサイズ変更することを含むことができる。選択されるサイズは、例えば、512画素×512画素であってもよいが、これに限定されない。前処理は、画像(例えば、画素)強度を選択されたスケールに正規化することを含むことができる。選択されたスケールは、例えば、0から1、-1から1、または他の何らかのスケールであってもよいが、これらに限定されない。
【0066】
ステップ506は、機械学習システムを介して、入力を使用して網膜における地図状萎縮病変の病変成長速度を予測することを含む。いくつかの実施形態では、病変成長速度は、環状成長速度である。ステップ506は、例えば、図1の機械学習システム116のGA予測NNシステム124を使用して実装されることができる。図2の基本アーキテクチャ200、図3のマルチタスクアーキテクチャ300、または図4のカスケードアーキテクチャ400を有するGA予測NNシステム124が使用されて、ステップ506を実行することができる。ベースアーキテクチャ200を用いて、GA予測NNシステム124は、図1および図2から病変成長速度122を出力する。ベースアーキテクチャ200を用いて、GA予測NNシステム124は、入力が病変成長速度122を予測するために自動的に処理されるエンドツーエンド予測を提供する。
【0067】
マルチタスクアーキテクチャ300を用いて、GA予測NNシステム124は、図1および図3から病変成長速度122および病変面積121の双方を出力する。例えば、マルチタスクアーキテクチャ300では、GA予測NNシステム124は、マルチパス手法において病変成長速度122および病変面積121の双方を同時に出力することができる。カスケードアーキテクチャ400を用いて、GA予測NNシステム124は、図1および図4から病変成長速度122および病変面積121を出力するが、病変面積121が最初に面積サブシステム401によって予測され、次いで成長速度サブシステム402によって使用されて病変成長速度122を予測するようなカスケードパス手法で出力する。換言すれば、カスケードアーキテクチャ400では、成長速度サブシステム402によって予測される病変成長速度122は、面積サブシステム401によって予測される病変面積121に依存する。
【0068】
GA予測NNシステム124のこれらの異なるアーキテクチャのそれぞれを用いて、GA予測NNシステム124は、入力が病変成長速度122および/または病変面積121を予測するために自動的に処理されるエンドツーエンド予測を提供することができる。予測モードでは人間の介入は必要ない。さらに、出力のスコアリングも特徴抽出も中間ステップとして必要とされない。
【0069】
ステップ506において使用される機械学習システムは、病変面積121および病変成長速度122が少なくとも閾値レベルの精度で予測されることを保証する訓練データセット(例えば、図1の訓練データセット130)を使用して訓練されている。病変面積121の精度のこの閾値レベルは、例えば、性能メトリック(例えば、ピアソン相関係数の二乗として計算された決定係数(R))に基づいて定義されることができる。例えば、約0.45以上、約0.48以上、または約0.50以上であるRは、所望の精度レベルを示すことができる。病変成長速度122の精度の閾値レベルはまた、例えば、性能メトリック(例えば、ピアソン相関係数の二乗として計算された決定係数(R))に基づいて定義されることができる。例えば、約0.90以上、約0.92以上、約0.94以上、または約0.95以上であるRは、所望の精度レベルを示すことができる。
【0070】
図6は、様々な実施形態にかかる地図状萎縮病変を評価するためのプロセス600のフローチャートである。様々な実施形態では、プロセス600は、図1に記載の病変評価システム100を使用して実装される。特に、プロセス600は、病変成長速度122および病変面積121を予測するために、図3のマルチタスクアーキテクチャ300を有するGA予測NNシステム124を使用して実装されることができる。
【0071】
ステップ602は、網膜の眼底自発蛍光(FAF)画像のセットを受信することを含む。網膜は、地図状萎縮、または場合によっては地図状萎縮の前駆期と診断された被験者に属することができる。FAF画像のセットは、例えば、単一のベースラインFAF画像または複数のベースラインFAF画像を含むことができる。上述したように、ベースラインFAF画像は、ベースライン時点に対応する。FAF画像のセットが複数のベースラインFAF画像を含む場合、これらのベースラインFAF画像は、全て、同じまたは実質的に同じ(例えば、同じ時間内、同じ日内、同じ1~3日内など)1つ以上の時点について生成されていてもよい。
【0072】
ステップ604は、FAF画像のセットを使用して機械学習システム用の入力を生成することを含む。いくつかの実施形態では、ステップ604は、入力としてFAF画像のセットを機械学習システムに直接送信することを含む。他の実施形態では、ステップ604は、入力を形成するためにFAF画像のセットを前処理することによって実行されてもよい。前処理は、FAF画像のセットのそれぞれを選択されたサイズにサイズ変更することを含むことができる。選択されるサイズは、例えば、612画素×612画素であってもよいが、これに限定されない。前処理は、画像(例えば、画素)強度を選択されたスケールに正規化することを含むことができる。選択されたスケールは、例えば、0から1、-1から1、または他の何らかのスケールであってもよいが、これらに限定されない。
【0073】
ステップ606は、機械学習システムを介して、入力を使用して網膜における地図状萎縮病変の病変成長速度を予測することを含む。いくつかの実施形態では、図1および図3からの病変成長速度122とすることができる病変成長速度は、環状成長速度である。
【0074】
ステップ608は、機械学習システムを介して、入力を使用して網膜における地図状萎縮病変の病変面積を予測することを含む。図1および図3からの病変面積121とすることができる病変面積は、ベースライン時点のベースライン病変面積とすることができるか、またはベースライン時点後の時点の予測病変面積とすることができる。
【0075】
ステップ606および608は、例えば、図3のマルチタスクアーキテクチャ300を有する、図1および図3の機械学習システム116のGA予測NNシステム124を使用して実装されることができる。マルチタスクアーキテクチャ300を用いて、GA予測NNシステム124は、病変面積121および病変成長速度122を並行して(例えば、同時に)予測することができる。いくつかの実施形態では、マルチタスクアーキテクチャは、カスケードアーキテクチャと比較して、訓練にかかる時間が短い(例えば、半分の時間)。さらに、そのようなマルチタスクアーキテクチャを有するニューラルネットワークシステムは、病変面積および病変成長速度の双方を予測するために使用されることができる入力から情報を取り込むことができるため、マルチタスクアーキテクチャは、過適合しにくい可能性がある。
【0076】
図7は、様々な実施形態にかかる地図状萎縮病変を評価するためのプロセス700のフローチャートである。様々な実施形態では、プロセス700は、図1に記載の病変評価システム100を使用して実装される。特に、プロセス700は、病変成長速度122および病変面積121を予測するために、図4のカスケードアーキテクチャ400を有するGA予測NNシステム124を使用して実装されることができる。
【0077】
ステップ702は、網膜の眼底自発蛍光(FAF)画像のセットを受信することを含む。網膜は、地図状萎縮、または場合によっては地図状萎縮の前駆期と診断された被験者に属することができる。FAF画像のセットは、例えば、単一のベースラインFAF画像または複数のベースラインFAF画像を含むことができる。上述したように、ベースラインFAF画像は、ベースライン時点に対応する。FAF画像のセットが複数のベースラインFAF画像を含む場合、これらのベースラインFAF画像は、全て、同じまたは実質的に同じ(例えば、同じ時間内、同じ日内、同じ1~3日内など)1つ以上の時点について生成されていてもよい。
【0078】
ステップ704は、FAF画像のセットを使用して機械学習システム用の入力を生成することを含む。いくつかの実施形態では、ステップ704は、入力としてFAF画像のセットを機械学習システムに直接送信することを含む。他の実施形態では、ステップ704は、入力を形成するためにFAF画像のセットを前処理することによって実行されてもよい。前処理は、FAF画像のセットのそれぞれを選択されたサイズにサイズ変更することを含むことができる。選択されるサイズは、例えば、712画素×712画素であってもよいが、これに限定されない。前処理は、画像(例えば、画素)強度を選択されたスケールに正規化することを含むことができる。選択されたスケールは、例えば、0から1、-1から1、または他の何らかのスケールであってもよいが、これらに限定されない。
【0079】
ステップ706は、機械学習システムを介して、入力を使用して網膜における地図状萎縮病変の病変面積を予測することを含む。図1および図4からの病変面積121とすることができる病変面積は、ベースライン時点のベースライン病変面積とすることができるか、またはベースライン時点後の時点の予測病変面積とすることができる。ステップ706は、機械学習システムのニューラルネットワークシステムの面積サブシステム(例えば、図4の面積サブシステム401)によって実行されてもよい。
【0080】
ステップ708は、機械学習システムを介して、機械学習システムによって予測された病変面積を使用して地図状萎縮病変の病変成長速度を予測することを含む。いくつかの実施形態では、図1および図4からの病変成長速度122とすることができる病変成長速度は、環状成長速度である。ステップ708は、機械学習システムのニューラルネットワークシステムの成長速度サブシステム(例えば、図4の成長速度サブシステム402)によって実行されてもよい。様々な実施形態では、成長速度サブシステムは、面積サブシステムからの予め訓練されたパラメータ(例えば、重み)に基づいて訓練される。このようにして、機械学習システムの訓練はカスケード方式で行われる。
【0081】
図8は、様々な実施形態にかかるGA進行パラメータのセットを予測するためのプロセス800のフローチャートである。プロセス800は、図1の機械学習システム116を使用して実装されることができる。例えば、プロセス800は、図1の機械学習システム116のGA予測NNシステム124を使用して実装されることができる。いくつかの実施形態では、GA予測NNシステム124は、図3のマルチタスクアーキテクチャ300または同様のタイプのマルチタスクアーキテクチャを有する。他の実施形態では、GA予測NNシステム124は、図3のマルチタスクアーキテクチャ300または同様のタイプのマルチタスクアーキテクチャを有する。
【0082】
ステップ802は、複数のFAF画像を含むデータセットにアクセスすることを含む。このデータセットは、例えば、データベース、クラウドストレージ、または何らかの他の種類のストレージからアクセスされてもよい。データセットは、例えば、臨床試験または研究などの複数のソースからのFAF画像を含むことができる。これらの選択された臨床試験または研究は、同じ(または実質的に同じまたは類似の)包含基準を有する。データセットは、両側性地図状萎縮症と診断された被験者のFAF画像を含むことができる。
【0083】
ステップ804は、複数のFAF画像から訓練データセットおよびホールドアウトデータセットを形成することを含む。例えば、限定されないが、データセットの約80%が使用されて訓練データセットを形成することができ、データセットの約20%が使用されてホールドアウトセットを形成することができる。訓練およびホールドアウトの双方のために複数のFAF画像から選択されたFAF画像は、ベースラインFAF画像であってもよい。いくつかの実施形態では、ステップ804は、FAF画像を前処理すること(例えば、サイズ変更、正規化)を含む。いくつかの実施形態では、ステップ804は、訓練のために選択された各FAF画像を増強または修正して、1つ以上の修正されたFAF画像を生成することを含む。したがって、元のFAF画像および1つ以上の修正画像は、訓練のためのFAF画像の群を形成する。例えば、元のFAF画像は、フリップされたFAF画像を形成するために水平方向にフリップされ、回転されたFAF画像を形成するために回転され、輝度調整されたFAF画像を形成するために輝度に対して調整され、コントラスト調整されたFAF画像を形成するためにコントラストに対して調整されてもよい。元のFAF画像、フリップされたFAF画像、回転されたFAF画像、輝度調整された画像、およびコントラスト調整された画像は、全て、訓練データセットに追加されることができる。
【0084】
ステップ806は、訓練データセットを使用してGA進行パラメータシステムのセットを予測するようにニューラルネットワークを訓練することを含む。GA進行パラメータのセットは、病変面積および病変成長速度を含む。訓練は、異なる方法で実行されてもよい。ニューラルネットワークシステムがマルチタスクアーキテクチャを有する場合、病変面積および病変成長速度の予測のための訓練が並行して(例えば、同時に)行われることができる。ニューラルネットワークシステムが面積サブシステムおよび成長速度サブシステムの双方を有するカスケードアーキテクチャを有する場合、病変面積の予測のための面積サブシステムの訓練が最初に行われて、面積サブシステムのパラメータの第1のセットを特定することができる。次いで、この第1のパラメータセットが使用されて、病変成長速度の予測のために成長速度サブシステムを訓練することができる。
【0085】
ステップ808は、ホールドアウトデータセットを使用して、訓練されたニューラルネットワークシステムの性能を検証することを含む。この検証は、ニューラルネットワークシステムが所望のレベルの精度でGA進行パラメータのセットを予測することができることを保証する。
【0086】
ステップ810は、訓練されたニューラルネットワークシステムを介して、被験者について取得されたベースラインFAF画像のセットを使用して、被験者についてのGA進行パラメータのセットを予測することを含む。ステップ810は、病変面積および病変成長領域を予測することを含む。
【0087】
ステップ812は、予測されたGA進行パラメータのセットに基づいて出力を生成することを含む。ステップ812は、少なくとも1つのGA進行パラメータを使用して決定または判定を行うことを含むことができる。例えば、ステップ812において生成される出力は、視覚出力(例えば、視覚的アラート、視覚的通知、レポートなど)、可聴出力(例えば、可聴警報、可聴通知、トーンなど)、または被験者を臨床試験に登録するかどうかの決定、最初の治療用量に対する用量の決定、治療の用量間の間隔の決定、何らかの他の種類の臨床決定、またはそれらの組み合わせを示す何らかの他の種類の出力とすることができる。
【0088】
図9は、様々な実施形態にかかるGA進行パラメータのセットを予測するためのプロセス900のフローチャートである。様々な実施形態では、プロセス800は、図1の機械学習システム116を使用して実装されることができる。例えば、プロセス800は、図1の機械学習システム116のGA予測NNシステム124を使用して実装されることができる。
【0089】
ステップ902は、コンピューティングシステムにおいて、眼底自発蛍光(FAF)画像のセットにアクセスすることを含む。コンピューティングシステムは、例えば、以下の図1のコンピューティングプラットフォーム102または図14のコンピュータシステム1400とすることができる。FAF画像のセットは、異なる訪問時に1人以上の被験者に対して生成されたFAF画像を含むことができる。所与の被験者について、FAF画像のセットは、ベースライン訪問のベースラインFAF画像および被験者の少なくとも1回のフォローアップ訪問からのFAF画像を含むことができる。
【0090】
ステップ904は、FAF画像のセットの画像からGA進行メトリックを導出することを含む。GA進行メトリックは、例えば、病変成長速度とすることができる。ステップ904は、例えば、線形モデルを各被験者の推定病変面積測定値に適合させることによって実行されることができる。
【0091】
ステップ906は、被験者のFAF画像にアクセスすることを含む。ステップ906においてアクセスされるFAF画像は、被験者のベースラインFAF画像とすることができる。
【0092】
ステップ908は、FAF画像およびGA進行メトリックから被験者特異的な病変面積を予測することを含む。ステップ908は、深層学習を使用して実行されることができる。病変面積は、将来のある時点(例えば、ベースライン時点から6ヶ月後、1年後、または2年後)について予測されることができる。
【0093】
ステップ910は、予測された病変面積から病変成長速度の被験者特異的予測を出力することを含む。ステップ910は、深層学習を使用して実行されることができる。
【0094】
III.実施例/結果
図10は、様々な実施形態にかかる3つの異なるタイプの機械学習モデルの性能を示す表である。表1000は、図2のベースアーキテクチャ200などのベースアーキテクチャを有する深層学習ニューラルネットワークシステムを有するベースモデル1002、図3のマルチタスクアーキテクチャ300などのマルチタスクアーキテクチャを有する深層学習ニューラルネットワークシステムを有するマルチタスクモデル1004、および図4のカスケードアーキテクチャ400などのカスケードアーキテクチャを有する深層学習ニューラルネットワークシステムを有するカスケードモデル1006の訓練後の性能を示す。
【0095】
ベースモデル1002、マルチタスクモデル1004、およびカスケードモデル1006は、選択されたGA治療のための3つの別々の臨床試験から取得されたベースラインFAF画像から導かれる訓練データセットを使用して訓練された。これらの3つの臨床試験は、ヘルシンキ宣言の趣旨に沿い、医療保険の携行性および説明責任に関する法律に準拠していた。各臨床試験のプロトコルは、被験者を臨床試験に登録するために使用されたのと同じ包含基準を使用して含まれた。臨床試験に登録した全ての被験者は、両側性GAと診断されていた。
【0096】
3つの臨床試験において撮像されたFAF画像は、768画素×768画素のサイズを有する黄斑中心の30度FAF画像であった。FAF画像は、各被験者について、2年間の範囲内で24週間ごとに撮像された。病変面積(mm)は、各回のヒト悪性腫瘍医(例えば、訓練された専門家、および場合によっては裁定者を含む)の来院ごとに決定された。病変成長速度(mm/年)は、2年間にわたる病変面積測定に適合した線形モデルから導出された。2年間の3つの臨床試験にわたる病変成長速度は、0.15mm/年から5.98mm/年の範囲であった。2年間にわたる3つの臨床試験にわたる病変面積は、2.54mmから17.78mmの範囲であった。
【0097】
この例示的研究では、3つの臨床試験からの1312人の被験者のベースラインFAF画像が使用され、1047人の被験者のベースラインFAF画像が訓練データセットに使用され、265人の被験者のベースラインFAF画像がモデル調整のためのホールドアウトデータセットに使用された。訓練データセットは、交差検証のために5つの折り畳みにさらに分割され、分割はベースライン因子(例えば、性別、病変面積、病変成長速度、中心窩病変、病変隣接性、多病巣性、最良矯正視力(BCVA)測定、および低輝度欠損)についてバランスがとられていた。
【0098】
例示的研究では、訓練およびモデル調整の前に、ベースラインFAF画像が前処理された。ベースラインFAF画像が512画素×512画素にサイズ変更された。画像(例えば、画素)強度が0から1のスケールに正規化された。このサイズ変更および正規化は、評価されている3つのモデルのそれぞれの性能を改善するために選択された。この例示的研究では、前処理は、訓練データセットを増強することをさらに含んでいた。例えば、訓練データセット内の各ベースラインFAF画像が水平方向に反転され、回転させ(例えば、約-5度から5度の間)、ランダムな明るさに調整され、ランダムなコントラストに調整されて、4つの追加のベースラインFAF画像を生成した。したがって、各被験者について、合計5つのベースラインFAF画像(元の画像および4つの修正画像)が訓練に使用された。そのような増強は、ホールドアウトデータセットのベースラインFAF画像の性能ではなかった。
【0099】
モデルハイパーパラメータの調整は、5倍交差検証(CV)手法を使用して行われた。モデルハイパーパラメータが選択された後、各モデルが完全な訓練データセットに対して再訓練され、次いでホールドアウトデータセット対して予測するために使用された。表1000に示す3つのモデルの訓練性能は、5倍のRとして与えられ、ホールドアウト性能は、Rとして与えられる。表1000に示すように、訓練データセットでは、カスケードモデル1006は、病変成長速度を予測するために、ベースモデル1002およびマルチタスクモデル1004よりも良好に機能した。ホールドアウトデータセットでは、カスケードモデル1006およびマルチタスクモデル1004の双方が、双方の病変成長速度を予測するためのベースモデル1002の性能よりも優れた同様の性能を有していた。病変面積については、カスケードモデル1006およびマルチタスクモデル1004の双方が、訓練データセットおよびホールドアウトデータセットの双方について同様の性能を有していた。
【0100】
図11は、様々な実施形態にかかる予測される病変成長速度対真の病変成長速度の回帰プロット図である。プロット1100は、予測病変成長速度に対応するx軸1102と、真の病変成長速度に対応するy軸1104とを有する。プロット1100は、図10のマルチタスクモデル1004を使用して、ホールドアウトセットについての予測病変成長速度対真の病変成長速度を示す散布図である。
【0101】
図12は、様々な実施形態にかかる予測される病変面積対真の病変面積の回帰プロット図である。プロット1200は、予測病変面積に対応するx軸1202と、真の病変面積に対応するy軸1204とを有する。プロット1200は、図10のマルチタスクモデル1004を使用して設定されたホールドアウトについての予測病変面積対真の病変面積を示す散布図である。
【0102】
図13は、様々な実施形態にかかる病変成長速度および病変面積の双方を予測する際のマルチタスクモデルの訓練性能を示す表である。マルチタスクモデルは、例えば図3のマルチタスクアーキテクチャ300などのマルチタスクアーキテクチャを有するニューラルネットワークシステムを含む機械学習モデルである。図13において評価された同じマルチタスクモデルのホールドアウトの性能は、病変面積予測のRが0.96、病変成長速度のRが0.48(範囲0.41~0.55)であった。
【0103】
IV.コンピュータ実装システム
図14は、様々な実施形態にかかるコンピュータシステムのブロック図である。コンピュータシステム1400は、図1において上述したコンピューティングプラットフォーム102についての一実装の例とすることができる。
【0104】
1つ以上の例では、コンピュータシステム1400は、情報を通信するためのバス1402または他の通信機構と、情報を処理するためのバス1402に結合されたプロセッサ1404とを含むことができる。様々な実施形態では、コンピュータシステム1400はまた、プロセッサ1404によって実行される命令を決定するためにバス1402に結合された、ランダムアクセスメモリ(RAM)1406または他の動的ストレージデバイスとすることができるメモリを含むことができる。メモリはまた、プロセッサ1404によって実行される命令の実行中に一時変数または他の中間情報を記憶するために使用されることができる。様々な実施形態では、コンピュータシステム1400は、プロセッサ1404のための静的情報および命令を記憶するためにバス1402に結合された読み出し専用メモリ(ROM)1408または他の静的ストレージデバイスをさらに含むことができる。磁気ディスクまたは光ディスクなどのストレージデバイス1410が設けられ、情報および命令を記憶するためにバス1402に結合されることができる。
【0105】
様々な実施形態では、コンピュータシステム1400は、バス1402を介して、コンピュータユーザに情報を表示するために、陰極線管(CRT)または液晶ディスプレイ(LCD)などのディスプレイ1412に結合されることができる。英数字および他のキーを含む入力デバイス1414は、情報およびコマンド選択をプロセッサ1404に通信するためにバス1402に結合されることができる。別のタイプのユーザ入力デバイスは、プロセッサ1404に方向情報およびコマンド選択を通信し、ディスプレイ1412上のカーソル移動を制御するための、マウス、ジョイスティック、トラックボール、ジェスチャ入力デバイス、視線ベースの入力デバイス、またはカーソル方向キーなどのカーソルコントロール1416である。この入力デバイス1414は、典型的には、デバイスが平面内の位置を指定することを可能にする第1の軸(例えば、x)および第2の軸(例えば、y)の2軸の2自由度を有する。しかしながら、3次元(例えば、x、y、およびz)カーソル移動を可能にする入力デバイス1414も本明細書で企図されることを理解されたい。
【0106】
本教示の特定の実施と一致して、結果は、RAM1406に含まれる1つ以上の命令の1つ以上のシーケンスを実行するプロセッサ1404に応答して、コンピュータシステム1400によって提供されることができる。そのような命令は、ストレージデバイス1410などの別のコンピュータ可読媒体またはコンピュータ可読記憶媒体からRAM1406に読み込まれることができる。RAM1406に含まれる命令のシーケンスの実行は、プロセッサ1404に本明細書に記載のプロセスを実行させることができる。あるいは、本教示を実装するために、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて、ハードワイヤード回路が使用されることができる。したがって、本教示の実装形態は、ハードウェア回路とソフトウェアとの特定の組み合わせに限定されない。
【0107】
本明細書において使用される「コンピュータ可読媒体」、(例えば、データストア、データストレージ、ストレージデバイス、データストレージデバイスなど)、または「コンピュータ可読記憶媒体」という用語は、実行のためにプロセッサ1404に命令を提供することに関与する任意の媒体を指す。そのような媒体は、不揮発性媒体、揮発性媒体、および伝送媒体を含むがこれらに限定されない多くの形態をとることができる。不揮発性媒体の例は、これらに限定されないが、ストレージデバイス1410などの光学、固体、磁気ディスクを含むことができる。揮発性媒体の例は、これに限定されないが、RAM1406などのダイナミックメモリを含むことができる。伝送媒体の例は、これらに限定されないが、バス1402を備えるワイヤを含む、同軸ケーブル、銅線、および光ファイバを含むことができる。
【0108】
コンピュータ可読媒体の一般的な形態は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、または任意の他の磁気媒体、CD-ROM、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを有する任意の他の物理媒体、RAM、PROM、およびEPROM、フラッシュEPROM、任意の他のメモリチップまたはカートリッジ、またはコンピュータが読み取ることができる任意の他の有形媒体を含む。
【0109】
コンピュータ可読媒体に加えて、命令またはデータは、実行のためにコンピュータシステム1400のプロセッサ1404に1つ以上の命令のシーケンスを提供するために、通信装置またはシステムに含まれる伝送媒体上の信号として提供されることができる。例えば、通信装置は、命令およびデータを示す信号を有するトランシーバを含むことができる。命令およびデータは、1つ以上のプロセッサに、本明細書の開示に概説される機能を実装させるように構成される。データ通信伝送接続の代表的な例は、これらに限定されないが、電話モデム接続、ワイドエリアネットワーク(WAN)、ローカルエリアネットワーク(LAN)、赤外線データ接続、NFC接続、光通信接続等を含むことができる。
【0110】
本明細書に記載されるフローチャート、図、および付随する開示は、コンピュータシステム1400をスタンドアロンデバイスとして使用して、またはクラウドコンピューティングネットワークなどの共有コンピュータ処理リソースの分散ネットワーク上で実装されることができることを理解されたい。
【0111】
本明細書に記載される方法論は、用途に応じて様々な手段によって実装されることができる。例えば、これらの方法は、ハードウェア、ファームウェア、ソフトウェア、またはそれらの任意の組み合わせで実装されることができる。ハードウェア実装の場合、処理ユニットは、1つ以上の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブルロジックデバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書に記載された機能を実行するように設計された他の電子ユニット、および/またはそれらの組み合わせ内に実装されることができる。
【0112】
様々な実施形態では、本教示の方法は、C、C++、Pythonなどのような従来のプログラミング言語で書かれたファームウェアおよび/またはソフトウェアプログラムおよびアプリケーションとして実装されてもよい。ファームウェアおよび/またはソフトウェアとして実装される場合、本明細書に記載される実施形態は、コンピュータに上述した方法を実行させるためのプログラムが記憶された非一時的コンピュータ可読媒体上に実装されることができる。本明細書に記載の様々なエンジンは、コンピュータシステム1400などのコンピュータシステム上に設けられることができ、プロセッサ1404は、メモリ構成要素RAM1406、ROM1408、またはストレージデバイス1410のいずれか、またはそれらの組み合わせによって提供される命令、および入力デバイス1414を介して提供されるユーザ入力を受ける、これらのエンジンによって提供される分析および決定を実行することを理解されたい。
【0113】
V.例示的な定義
本開示は、これらの例示的な実施形態および用途、または例示的な実施形態および用途が本明細書で動作するまたは説明される方法に限定されない。さらに、図は、簡略化されたまたは部分的な図を示すことができ、図の要素の寸法は、誇張されているか、または比例していない場合がある。
【0114】
特に定義されない限り、本明細書に記載される本教示に関連して使用される科学用語および技術用語は、当業者によって一般的に理解される意味を有するものとする。さらに、文脈上別段の必要がない限り、単数形の用語には複数形が含まれ、複数形の用語には単数形が含まれるものとする。一般に、化学、生化学、分子生物学、薬理学および毒物学に関連して利用される命名法およびその技術は、本明細書に記載されており、当該技術分野において周知であり、一般的に使用されるものである。
【0115】
本明細書では、「の上にある(on)」、「に取り付けられている(attached to)」、「に接続されている(connected to)」、「に結合されている(coupled to)」という用語または同様の用語が使用される場合、一方の要素が他方の要素の上に直接あるか、他方の要素に直接取り付けられているか、他方の要素に接続されているか、または他方の要素に結合されているか、または一方の要素と他方の要素との間に1つ以上の介在要素が存在するかにかかわらず、一方の要素(例えば、構成要素、材料、層、基板など)は、他方の要素「の上にある」、「に取り付けられている」、「に接続されている」、または「に結合されている」ことができる。さらに、要素のリスト(例えば、要素a、b、c)が参照される場合、そのような参照は、それ自体で列挙された要素のいずれか1つ、列挙された要素の全てよりも少ない要素の任意の組み合わせ、および/または列挙された要素の全ての組み合わせを含むことが意図される。本明細書におけるセクションの区分は、単に検討を容易にするためのものであり、説明された要素の任意の組み合わせを限定するものではない。
【0116】
用語「被験者」は、臨床試験の被験者、治療を受けている人、抗癌療法を受けている人、寛解または回復について監視されている人、(例えば、その病歴に起因して)予防健康分析を受けている人、または関心のある任意の他の人もしくは患者を指すことができる。様々な場合では、「被験者」および「患者」は、本明細書において交換可能に使用されることができる。
【0117】
本明細書で使用される場合、「実質的に」は、意図された目的のために機能するのに十分であることを意味する。したがって、「実質的に」という用語は、当業者によって予想されるが、全体的な性能にそれほど影響しないような、絶対的または完全な状態、寸法、測定値、結果などからの微細な、僅かな変動を考慮する。数値、または数値として表されることのできるパラメータもしくは特性に関して使用される場合、「実質的に」とは、10パーセント以内を意味する。
【0118】
「複数」という用語は、2つ以上を意味する。
【0119】
本明細書で使用される場合、「複数」という用語は、2、3、4、5、6、7、8、9、10以上とすることができる。
【0120】
本明細書において使用される場合、「のセット」という用語は、1つ以上を意味する。例えば、項目のセットは、1つ以上の項目を含む。
【0121】
本明細書において使用される場合、「少なくとも1つ」という語句は、項目のリストとともに使用される場合、列挙された項目のうちの1つ以上の異なる組み合わせが使用されてもよく、リスト内の項目のうちの1つのみが必要であってもよいことを意味する。項目は、特定の物体、物、ステップ、動作、プロセス、またはカテゴリとすることができる。換言すれば、「のうちの少なくとも1つ」は、リストから項目の任意の組み合わせまたは任意の数の項目が使用されることができるが、リスト内の項目の全てが必要とされるわけではないことを意味する。例えば、限定されないが、「項目A、項目B、または項目Cのうちの少なくとも1つ」は、項目A、項目Aおよび項目B、項目B、項目A、項目B、および項目C、項目Bおよび項目C、または項目AおよびCを意味する。場合によっては、「項目A、項目B、または項目Cの少なくとも1つ」は、限定されないが、項目Aのうちの2つ、項目Bのうちの1つ、および項目Cのうちの10個、項目Bのうちの4個と項目Cのうちの7個、またはいくつかの他の適切な組み合わせを意味する。
【0122】
本明細書において使用される場合、「モデル」は、1つ以上のアルゴリズム、1つ以上の数学的技法、1つ以上の機械学習アルゴリズム、またはそれらの組み合わせを含むことができる。
【0123】
本明細書において使用される場合、「機械学習」は、アルゴリズムを使用してデータを解析し、そこから学習し、次いで世界の何かについての決定または予測を行う実践とすることができる。機械学習は、ルールベースのプログラミングに依存することなくデータから学習することができるアルゴリズムを使用する。
【0124】
本明細書で使用される場合、「人工ニューラルネットワーク」または「ニューラルネットワーク」(NN)は、計算に対する接続論的手法に基づいて情報を処理する人工ノードまたはニューロンの相互接続されたグループを模倣する数学的アルゴリズムまたは計算モデルを指すことができる。ニューラルネットと呼ばれることもあるニューラルネットワークは、非線形ユニットの1つ以上の層を使用して、受信した入力の出力を予測することができる。いくつかのニューラルネットワークは、出力層に加えて1つ以上の隠れ層を含む。各隠れ層の出力は、ネットワーク内の次の層、すなわち、次の隠れ層または出力層への入力として使用される。ネットワークの各層は、各パラメータのセットの現在の値にしたがって、受信した入力から出力を生成する。様々な実施形態では、「ニューラルネットワーク」への言及は、1つ以上のニューラルネットワークへの言及とすることができる。
【0125】
ニューラルネットワークは、2つの方法で情報を処理することができる:それが訓練されているとき、それは訓練モードにあり、それが学習したことを実際に実行するとき、それは推論(または予測)モードにある。ニューラルネットワークは、出力が訓練データの出力と一致するように、ネットワークが中間隠れ層内の個々のノードの重み係数を調整する(その挙動を修正する)ことを可能にするフィードバックプロセス(例えば、バックプロパゲーション)を通じて学習する。換言すれば、ニューラルネットワークは、訓練データ(学習例)を供給されることによって学習し、最終的には、新たな範囲または入力のセットが提示された場合であっても、正しい出力に到達する方法を学習する。ニューラルネットワークは、例えば、限定されないが、フィードフォワードニューラルネットワーク(FNN)、リカレントニューラルネットワーク(RNN)、モジュラーニューラルネットワーク(MNN)、畳み込みニューラルネットワーク(CNN)、残差ニューラルネットワーク(ResNet)、常微分方程式ニューラルネットワーク(ニューラル-ODE)、または別のタイプのニューラルネットワークのうちの少なくとも1つを含むことができる。
【0126】
本明細書において使用される場合、「病変」は、損傷または疾患を介して損傷を受けた臓器または組織の領域とすることができる。この領域は、連続的または不連続的な領域とすることができる。例えば、本明細書において使用される場合、病変は、複数の領域を含むことができる。地図状萎縮(GA)病変は、慢性進行性変性を患っている網膜の領域である。本明細書において使用される場合、GA病変は、1つの病変(例えば、1つの連続病変領域)または複数の病変(例えば、複数の別個の病変からなる不連続病変領域)を含むことができる。
【0127】
本明細書において使用される場合、「病変面積」は、その病変が連続領域であるか不連続領域であるかにかかわらず、病変によって覆われる総面積とすることができる。
【0128】
本明細書で使用される場合、「長期的」は、ある期間にわたることを指すことができる。期間は、日、週、月、年、または他の何らかの時間尺度とすることができる。
【0129】
本明細書で使用される場合、GA病変に対応する「成長速度」は、GA病変の病変面積の長期的な変化とすることができる。換言すれば、「成長速度」は、病変面積の経時的な変化とすることができる。場合によっては、この成長速度は、年間成長速度であってもよい。この成長速度は、病変成長速度またはGA成長速度とも呼ばれることがある。
【0130】
VI.さらなる考察
この文書のセクションとサブセクションとの間のヘッダおよび/またはサブヘッダは、単に読みやすさを改善する目的で含まれており、セクションとサブセクションとにわたって特徴を組み合わせることができないことを意味するものではない。したがって、セクションおよびサブセクションは、別個の実施形態を説明しない。
【0131】
本教示は、様々な実施形態に関連して説明されているが、本教示がそのような実施形態に限定されることは意図されていない。逆に、本教示は、当業者によって理解されるように、様々な代替物、改変物、および均等物を包含する。本説明は、好ましい例示的な実施形態を提供し、本開示の範囲、適用可能性または構成を限定することを意図しない。むしろ、好ましい例示的な実施形態の本説明は、様々な実施形態を実装するための可能な説明を当業者に提供する。添付の特許請求の範囲に記載の趣旨および範囲から逸脱することなく、要素の機能および配置に様々な変更を加えることができることが理解される。したがって、そのような変更および変形は、添付の特許請求の範囲に記載された範囲内にあると考えられる。さらに、使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴の均等物またはその一部を除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。
【0132】
様々な実施形態を説明することにおいて、本明細書は、特定の一連のステップとして方法および/またはプロセスを提示している場合がある。しかしながら、方法またはプロセスが本明細書に記載の特定の順序のステップに依存しない限り、方法またはプロセスは、記載の特定の順序のステップに限定されるべきではなく、当業者は、順序が変更されてもよく、依然として様々な実施形態の趣旨および範囲内にあることを容易に理解することができる。
【0133】
本開示のいくつかの実施形態は、1つ以上のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、命令を含む非一時的コンピュータ可読記憶媒体であって、命令が、1つ以上のデータプロセッサ上で実行されると、1つ以上のデータプロセッサに、本明細書に開示された1つ以上の方法の一部または全部および/または1つ以上のプロセスの一部または全部を実行させる、非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、1つ以上のデータプロセッサに、本明細書に開示された1つ以上の方法の一部または全部および/または1つ以上のプロセスの一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。
【0134】
実施形態の理解を提供するために、本明細書では具体的な詳細が与えられる。しかしながら、これらの具体的な詳細なしで実施形態が実施されることができることが理解される。例えば、回路、システム、ネットワーク、プロセス、および他の構成要素は、実施形態を不必要に詳細に不明瞭にしないために、ブロック図形式の構成要素として示されてもよい。他の例では、実施形態を不明瞭にすることを避けるために、周知の回路、プロセス、アルゴリズム、構造、および技術が不必要な詳細なしに示されてもよい。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
【国際調査報告】