(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-11-10
(54)【発明の名称】マルチモーダル地図状萎縮病変セグメンテーション
(51)【国際特許分類】
A61B 3/10 20060101AFI20231102BHJP
A61B 3/18 20060101ALI20231102BHJP
G06T 7/00 20170101ALI20231102BHJP
【FI】
A61B3/10 300
A61B3/10 100
A61B3/18
G06T7/00 612
G06T7/00 350C
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023524753
(86)(22)【出願日】2021-10-22
(85)【翻訳文提出日】2023-06-16
(86)【国際出願番号】 US2021056327
(87)【国際公開番号】W WO2022087469
(87)【国際公開日】2022-04-28
(32)【優先日】2020-10-23
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2021-07-06
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】509012625
【氏名又は名称】ジェネンテック, インコーポレイテッド
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】アネゴンディ, ネハ ステークシュナ
(72)【発明者】
【氏名】カオ, シモン シャン
(72)【発明者】
【氏名】チャン, チャーシャン
(72)【発明者】
【氏名】カウチンスキー, マイケル グレッグ
(72)【発明者】
【氏名】パティル, ジャスミン
(72)【発明者】
【氏名】スペイド, セオドア シー.
【テーマコード(参考)】
4C316
5L096
【Fターム(参考)】
4C316AA09
4C316AB02
4C316AB07
4C316AB12
4C316AB16
4C316FB27
4C316FC11
4C316FY10
4C316FZ01
4C316FZ03
5L096BA06
5L096CA02
5L096DA01
5L096DA02
5L096FA52
5L096FA59
5L096FA65
5L096FA70
5L096HA11
5L096KA04
(57)【要約】
網膜の地図状萎縮(GA)病変に対応するGA病変セグメンテーションマスクを生成するための方法およびシステムが本明細書に開示される。いくつかの実施形態では、1つまたは複数の地図状萎縮(GA)病変を有する網膜の眼底自発蛍光(FAF)画像のセットと、網膜の赤外線(IR)画像のセットまたは網膜の光干渉断層撮影(OCT)画像のセットの一方または双方とを使用して、網膜の1つまたは複数のGA病変に対応する1つまたは複数のGA病変セグメントを含むGA病変セグメンテーションマスクを生成することができる。場合によっては、ニューラルネットワークを使用してGA病変セグメンテーションマスクを生成することができる。
【選択図】
図1
【特許請求の範囲】
【請求項1】
1つまたは複数の地図状萎縮(GA)病変を有する網膜の眼底自発蛍光(FAF)画像のセットを受信することと、
前記網膜の赤外線(IR)画像のセットまたは前記網膜の光干渉断層撮影(OCT)画像のセットの一方または双方を受信することと、
前記FAF画像のセットおよび前記IR画像のセットまたは前記OCT画像のセットの一方または双方を使用して、前記網膜内の前記1つまたは複数のGA病変に対応する1つまたは複数のGA病変セグメントを含むGA病変セグメンテーションマスクを生成することと
を含む、方法。
【請求項2】
プロセッサによって、前記GA病変セグメンテーションマスクから前記網膜内の前記1つまたは複数のGA病変の特徴を抽出することをさらに含む、請求項1に記載の方法。
【請求項3】
前記プロセッサによって、抽出された前記特徴に基づいて、前記1つまたは複数のGA病変を処置するためのリコメンデーションを生成することをさらに含む、請求項2に記載の方法。
【請求項4】
前記抽出された特徴が、いくつかの前記1つまたは複数のGA病変を含む、請求項2に記載の方法。
【請求項5】
前記プロセッサによって、前記1つまたは複数のGA病変セグメントを単一の病変成分に組み合わせることをさらに含み、前記抽出された特徴が、前記単一の病変成分の面積、周囲長、フェレット直径、または過剰リム強度のうちの1つまたは複数を含む、請求項2に記載の方法。
【請求項6】
前記生成することが、ニューラルネットワークを使用して前記GA病変セグメンテーションマスクを生成することを含み、前記ニューラルネットワークが、エンコーダおよびデコーダを有するU-Net深層学習ニューラルネットワークを含む、請求項1に記載の方法。
【請求項7】
前記エンコーダを使用して、前記FAF画像のセットと、前記IR画像のセットまたは前記OCT画像のセットの一方または双方とを連結することによって、符号化画像入力を生成することをさらに含む、請求項6に記載の方法。
【請求項8】
前記GA病変セグメンテーションマスクを生成することが、前記U-Net深層学習ニューラルネットワークの前記デコーダを使用して前記符号化画像入力を復号することを含む、請求項7に記載の方法。
【請求項9】
前記生成することが、ニューラルネットワークを使用して前記GA病変セグメンテーションマスクを生成することを含み、前記ニューラルネットワークが、第1のエンコーダと、第2のエンコーダまたは第3のエンコーダの一方または双方と、デコーダとを有するY-Net深層学習ニューラルネットワークを含む、請求項1に記載の方法。
【請求項10】
前記第1のエンコーダを介して、前記FAF画像のセットを使用して、符号化FAF画像入力を生成することと、
前記第2のエンコーダを介して、前記IR画像のセットから符号化IR画像入力を生成すること、または
前記第3のエンコーダを介して、前記OCT画像のセットから符号化OCT画像入力を生成すること
のうちの一方または双方を行うことと
をさらに含む、請求項9に記載の方法。
【請求項11】
前記符号化FAF画像入力と、前記符号化IR画像入力または前記符号化OCT画像入力の一方または双方とを連結することによって、符号化画像入力を生成することをさらに含み、
前記GA病変セグメンテーションマスクを生成することが、前記Y-Net深層学習ニューラルネットワークの前記デコーダを使用して前記符号化画像入力を復号することを含む、請求項10に記載の方法。
【請求項12】
システムであって、
非一時的メモリと、
前記非一時的メモリに結合され、かつ前記非一時的メモリから命令を読み取って前記システムに動作を実行させるように構成されたハードウェアプロセッサであって、前記動作が、
1つまたは複数の地図状萎縮(GA)病変を有する網膜の眼底自発蛍光(FAF)画像のセットを受信することと、
前記網膜の赤外線(IR)画像のセットまたは前記網膜の光干渉断層撮影(OCT)画像のセットの一方または双方を受信することと、
前記FAF画像のセットおよび前記IR画像のセットまたは前記OCT画像のセットの一方または双方を使用して、前記網膜内の前記1つまたは複数のGA病変に対応する1つまたは複数のGA病変セグメントを含むGA病変セグメンテーションマスクを生成することと
を含む、ハードウェアプロセッサと
を備える、システム。
【請求項13】
前記プロセッサが、前記GA病変セグメンテーションマスクから前記網膜内の前記1つまたは複数のGA病変の特徴を抽出するようにさらに構成されている、請求項12に記載のシステム。
【請求項14】
前記特徴が、いくつかの前記1つまたは複数のGA病変、前記1つまたは複数のGA病変が単一病変成分に組み合わされた前記単一病変成分の面積、前記単一病変成分の周囲長、前記単一病変成分のフェレット直径、または前記単一病変成分の過剰リム強度を含む、請求項13に記載のシステム。
【請求項15】
前記プロセッサが、抽出された前記特徴に基づいて前記1つまたは複数のGA病変を処置するためのリコメンデーションを生成するようにさらに構成されている、請求項13に記載のシステム。
【請求項16】
前記プロセッサが、ニューラルネットワークを使用して前記GA病変セグメンテーションマスクを生成するように構成され、前記ニューラルネットワークが、エンコーダおよびデコーダを有するU-Net深層学習ニューラルネットワークを含む、請求項12に記載のシステム。
【請求項17】
前記U-Net深層学習ニューラルネットワークが、
前記エンコーダを介して、前記FAF画像のセットと、前記IR画像のセットまたは前記OCT画像のセットの一方または双方とを連結することによって、符号化画像入力を生成し、
前記デコーダを介して、前記符号化画像入力を復号することによって前記GA病変セグメンテーションマスクを生成するようにさらに構成されている、請求項16に記載のシステム。
【請求項18】
前記プロセッサが、ニューラルネットワークを使用して前記GA病変セグメンテーションマスクを生成するように構成され、前記ニューラルネットワークが、第1のエンコーダと、第2のエンコーダまたは第3のエンコーダの一方または双方と、デコーダとを含むY-Net深層学習ニューラルネットワークを含む、請求項12に記載のシステム。
【請求項19】
前記Y-Net深層学習ニューラルネットワークが、
前記第1のエンコーダを介して、前記FAF画像のセットを使用して、符号化FAF画像入力を生成し、
前記第2のエンコーダを介して、前記IR画像のセットから符号化IR画像入力を生成すること、または
前記第3のエンコーダを介して、前記OCT画像のセットから符号化されたOCT画像入力を生成すること
のうちの一方または双方を行い、
前記デコーダを介して、前記符号化画像入力を復号することによって前記GA病変セグメンテーションマスクを生成するようにさらに構成されている、請求項18に記載のシステム。
【請求項20】
コンピュータシステムに動作を実行させるように実行可能なコンピュータ可読命令を記憶した非一時的コンピュータ可読媒体(CRM)であって、前記動作が、
1つまたは複数の地図状萎縮(GA)病変を有する網膜の眼底自発蛍光(FAF)画像のセットを受信することと、
前記網膜の赤外線(IR)画像のセットまたは前記網膜の光干渉断層撮影(OCT)画像のセットの一方または双方を受信することと、
前記FAF画像のセットおよび前記IR画像のセットまたは前記OCT画像のセットの一方または双方を使用して、前記網膜内の前記1つまたは複数のGA病変に対応する1つまたは複数のGA病変セグメントを含むGA病変セグメンテーションマスクを生成することと
を含む、非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、双方とも「Multimodal Geographic Atrophy Lesion Segmentation」と題された、2020年10月23日に出願された米国仮特許出願第63/105,105号、および2021年7月6日に出願された米国仮特許出願第63/218,908号の優先権および利益を主張し、これらは、以下に完全に記載されているかのように、および全ての適用可能な目的のために、その全体が参照により本明細書に組み込まれる。
【0002】
分野
この説明は、一般に、網膜における地図状萎縮の評価に関する。より具体的には、この説明は、眼底自発蛍光(FAF)画像、ならびに近赤外(NIR)画像および光干渉断層撮影(OCT)画像の一方または双方を含む複数のモダリティからの画像を使用して、地図状萎縮を評価するための方法およびシステムを提供する。
【背景技術】
【0003】
背景
加齢黄斑変性(AMD)は、50歳以上の患者における視力喪失の主な原因である。地図状萎縮(GA)は、AMDの2つの進行期のうちの1つであり、脈絡毛細管、網膜色素上皮(RPE)および光受容体の進行性および不可逆性の喪失を特徴とする。GA病変拡大の診断および監視は、共焦点走査レーザー検眼鏡検査(cSLO)によって得られる眼底自発蛍光(FAF)画像を使用して実施されることができる。RPE中のリポフスチンのトポグラフィックマッピングを示すこのタイプの撮像技術は、経時的なGA病変の変化を測定するために使用することができる。FAF画像では、GA病変は、RPEの喪失、したがってリポフスチンの喪失に起因して、境界が明確に画定された低自家蛍光の領域として現れる。しかしながら、FAF画像上のGA病変を定量化することは、中心窩に天然に存在する低強度のために困難であり得る。さらに、FAF画像を使用してGA病変を定量化することは、典型的には、所望よりも時間がかかり、観察者間および観察者内の変動が生じやすい手動プロセスである。したがって、これらの問題の1つまたは複数を認識して考慮に入れる1つまたは複数の方法、システム、またはその双方を有することが望ましい場合がある。
【発明の概要】
【0004】
概要
本開示のいくつかの実施形態は、1つまたは複数の地図状萎縮(GA)病変を有する網膜の眼底自発蛍光(FAF)画像のセットを受信することを含む方法を含む。本方法は、網膜の赤外線(IR)画像のセットまたは網膜の光干渉断層撮影(OCT)画像のセットの一方または双方を受信することと、FAF画像のセットおよびIR画像のセットまたはOCT画像のセットの一方または双方を使用して、網膜内の1つまたは複数のGA病変に対応する1つまたは複数のGA病変セグメントを含むGA病変セグメンテーションマスクを生成することと、をさらに含む。
【0005】
いくつかの実施形態では、システムは、非一時的メモリと、非一時的メモリに結合され、かつ非一時的メモリから命令を読み取ってシステムに動作を実行させるように構成されたハードウェアプロセッサと、を備える。場合によっては、動作は、1つまたは複数のGA病変を有する網膜のFAF画像のセットを受信することと、網膜のIR画像のセットまたは網膜のOCT画像のセットの一方または双方を受信することと、FAF画像のセットおよびIR画像のセットまたはOCT画像のセットの一方または双方を使用して、網膜内の1つまたは複数のGA病変に対応する1つまたは複数のGA病変セグメントを含むGA病変セグメンテーションマスクを生成することと、を含む。
【0006】
本開示のいくつかの実施形態は、1つまたは複数のGA病変を有する網膜のFAF画像のセットを受信することを含む動作をコンピュータシステムに実行させるように実行可能なコンピュータ可読命令を記憶した非一時的コンピュータ可読媒体(CRM)を開示する。いくつかの実施形態では、動作は、網膜のIR画像のセットまたは網膜のOCT画像のセットの一方または双方を受信することと、FAF画像のセットおよびIR画像のセットまたはOCT画像のセットの一方または双方を使用して、網膜内の1つまたは複数のGA病変に対応する1つまたは複数のGA病変セグメントを含むGA病変セグメンテーションマスクを生成することと、をさらに含む。
【0007】
本発明の他の態様、特徴、および実施形態は、本発明の特定の例示的な実施形態の以下の説明を添付の図面と併せて検討することにより、当業者にとって明らかになるであろう。本発明の特徴は、以下の特定の実施形態および図に関して説明されることができるが、本発明の全ての実施形態は、本明細書で説明される有利な特徴の1つまたは複数を含むことができる。換言すれば、1つまたは複数の実施形態は、特定の有利な特徴を有するものとして説明されることができるが、そのような特徴の1つまたは複数は、本明細書で説明される本発明の様々な実施形態にしたがって使用されることもできる。同様に、例示的な実施形態は、装置、システム、または方法の実施形態として以下に説明されることができるが、そのような例示的な実施形態は、様々なシステムおよび方法において実装されることができることを理解されたい。
【図面の簡単な説明】
【0008】
本明細書に開示された原理およびその利点のより完全な理解のために、ここで添付の図面と併せて以下の説明を参照する。
【0009】
【
図1】様々な実施形態にかかる病変評価システムのブロック図である。
【0010】
【
図2】様々な実施形態にかかる地図状萎縮を評価するためのプロセスのフローチャートである。
【0011】
【
図3A-3B】様々な実施形態にかかる地図状萎縮病変を評価するためのU-Net深層学習ニューラルネットワークおよびその使用を示している。
【0012】
【
図4A-4B】様々な実施形態にかかる地図状萎縮病変を評価するためのY-Net深層学習ニューラルネットワークおよびその使用を示している。
【0013】
【
図5】様々な実施形態にかかる、Y-NetおよびU-Netの深層学習ニューラルネットワークを使用してFAF画像およびNIR画像をセグメント化するための例示的なワークフローを示している。
【0014】
【
図6A-6B】様々な実施形態にかかる、Y-NetおよびU-Netの深層学習ニューラルネットワークを使用したFAF画像およびNIR画像の例示的なセグメンテーション結果を示している。
【0015】
【
図7】様々な実施形態にかかる、Y-Net深層学習ニューラルネットワーク、U-Net深層学習ニューラルネットワーク、および人間の評価者によって実行されるセグメンテーション間の類似性を測定する例示的なダイス類似性係数スコアを示している。
【0016】
【
図8A-8D】様々な実施形態にかかる、Y-Net深層学習ニューラルネットワーク、U-Net深層学習ニューラルネットワーク、および人間の評価者によって測定されたスクリーニング時の病変面積サイズの例示的な比較を示している。
【0017】
【
図9A-9E】様々な実施形態にかかる、Y-Net深層学習ニューラルネットワーク、U-Net深層学習ニューラルネットワーク、および人間の評価者によって測定された12ヶ月目の病変面積サイズの例示的な比較を示している。
【0018】
【
図10】様々な実施形態にかかる、Y-Net深層学習ニューラルネットワークおよびU-Net深層学習ニューラルネットワークを実装するために使用することができる例示的なニューラルネットワークを示している。
【0019】
【
図11】様々な実施形態にかかるコンピュータシステムのブロック図である。
【0020】
図面は必ずしも一定の縮尺で描かれているわけではなく、図面内の物体は必ずしも互いに一定の縮尺で描かれているわけではないことを理解されたい。図面は、本明細書に開示される装置、システム、および方法の様々な実施形態に明瞭さおよび理解をもたらすことを意図した描写である。可能な限り、同じまたは同様の部分を指すために図面全体を通して同じ参照符号が使用される。さらに、図面は、本教示の範囲を決して限定するものではないことを理解されたい。
【発明を実施するための形態】
【0021】
詳細な説明
I.概要
光受容体、網膜色素上皮(RPE)および脈絡毛細管板の進行性および不可逆性の喪失を特徴とする地図状萎縮(GA)を評価するための現在の方法は、眼底自発蛍光(FAF)画像を分析して、RPE細胞および内在性フルオロフォアであるリポフスチンの喪失によって引き起こされる自己蛍光の減少に起因して検出および境界付けられるGA病変を評価することを含む。GA病変の描写またはセグメンテーションは、FAF画像内のGA病変の画素単位マスクを作成することを含む。画素単位マスクは、各画素を少なくとも2つの異なるクラスのうちの1つに属するものとして識別する。一例として、各画素は、GA病変に対応する第1のクラスまたはGA病変に対応しない第2のクラスのいずれかに割り当てられることができる。このようにして、第1のクラスに割り当てられた画素は、GA病変を識別する。このタイプのセグメンテーションは、GAセグメンテーションと呼ばれることがある。
【0022】
FAF画像におけるGA病変のセグメンテーションは、手動とされるかまたは自動化されることができる。人間の評価者によるFAF画像からのGA病変の手動測定は、経験豊富な評価者によって優れた再現性を与えることができるが、GA領域の手動描写は時間がかかり、特にあまり経験豊富でない評価者では、評価者間および評価者内の変動、ならびに異なる読み取りセンター間の変動を受けやすい可能性がある。いくつかの方法は、FAF画像におけるGA病変をセグメント化するために、半自動化されることができるソフトウェアを使用することを含む。しかしながら、高品質のセグメンテーションのために、FAF画像の訓練されたリーダが依然として必要とされることがあり、例えば、人間のユーザ入力を使用して、病変境界を正確に描くことができる。したがって、網膜におけるGA病変のFAF画像の完全に自動化されたセグメンテーションを可能にする方法およびシステムが必要とされている。
【0023】
人工知能(AI)、特に機械学習および深層学習システムは、GA病変を自動的にセグメント化するか、または網膜のFAF画像からGA進行の形状記述特徴を評価するように構成されることができる。AIシステムは、特に大規模なデータセットを処理する場合に、GA病変を少なくとも人間の評価者と同程度に正確に検出および定量化することができるが、はるかに速く、よりコスト効率的に検出および定量化することができる。例えば、k近傍(k-NN)画素分類器、ファジーc-ミーンズ(クラスタリングアルゴリズム)、または深層畳み込みニューラルネットワーク(CNN)を使用するアルゴリズムによって実行されるセグメンテーションは、訓練された評価者によって実行される手動セグメンテーションと良好な一致を有することができる。とは言え、FAF画像は、被験者の網膜の中心窩を示す画像の部分において低い強度を示す傾向がある。強度が低いということは、病変の境界または領域が不明瞭になるか、または区別が困難になる可能性があることを意味する。その結果、AIまたは手動注釈を使用しても、FAF画像からGA病変を正確に定量化することは困難である。
【0024】
同時に、網膜画像を捕捉するために、様々な他の撮像モダリティが臨床試験または臨床診療において使用されることがある。例えば、赤外線反射率(IR)撮像および光干渉断層撮影(OCT)撮像は、他の一般的な撮像方法である。現在、撮像モダリティは、GA進行を評価する際に互いに独立して相互に排他的に使用される。
【0025】
本実施形態は、GA進行の評価を改善するための努力において、様々な撮像モダリティによって提供される網膜画像の有益な特性を活用することを目的とする。様々な撮像技術の組み合わせである網膜画像から得られたGA病変セグメンテーション結果は、単峰性画像入力から得られたセグメンテーション結果と比較して、より正確であり、追加情報を提供することができる。したがって、本開示の方法およびシステムは、マルチモーダルアプローチおよびニューラルネットワークシステムを使用して画像上のGA病変の自動セグメンテーションを可能にする。このマルチモーダルアプローチは、FAF画像と、IR(例えば、近赤外(NIR))画像およびOCT画像の一方または双方(例えば、正面OCT画像)とを使用する。
【0026】
例えば、近赤外反射撮像は、FAFよりも長い波長を使用して、中膜混濁、神経感覚層および黄斑の黄体色素を回避する。したがって、GA病変は、非萎縮性領域よりも明るく見えることがある。そのような場合、NIR画像は、中心窩病変境界の検出を容易にするためにFAF画像を補完することができ、これは、中心窩におけるより低い画像コントラスト/強度のためにFAF単独ではより困難であり得る。場合によっては、指定された深さの網膜層および脈絡膜層の横方向画像であるOCT正面画像もまた、FAF画像、場合によってはNIR画像と組み合わせてセグメント化されることができる。複数の撮像技術から得られた画像がGA病変セグメンテーションAIシステム(例えば、ニューラルネットワークシステム)の画像入力として使用されるそのようなマルチモーダルアプローチは、上述したように、改善されたセグメンテーション結果の生成を容易にすることができるが、経時的に、すなわち長期的にGA病変拡大を評価するために使用されることもできる。
【0027】
さらに、本開示は、機械学習を使用したGA病変の自動セグメンテーションのシステムおよび方法を提供する。一実施形態では、本開示は、マルチモーダルアプローチおよびニューラルネットワークシステムを使用した画像上のセグメンテーションのシステムおよび方法を提供する。すなわち、例えば、ニューラルネットワークシステムは、マルチモーダル画像入力を受信することができ、すなわち、2つ以上のモダリティ(例えば、FAF画像、NIR画像、OCT画像など)からの網膜画像を含む画像入力は、単一のモダリティ画像入力からのセグメンテーション結果と比較してより正確で有益であり得るGA病変セグメンテーション結果を生み出すまたは生成することができる。これは、あるモダリティからの網膜画像が、別のモダリティからは利用できない可能性がある、描写された網膜に関する情報を含むことがあるためとすることができる。
【0028】
ニューラルネットワークシステムは、畳み込みニューラルネットワーク(CNN)システム、深層学習システム(例えば、U-Net深層学習ニューラルネットワーク、Y-Net深層学習ニューラルネットワークなど)などを含むことができるが、これらに限定されない。網膜画像をセグメント化するためにニューラルネットワークシステムを利用するそのようなマルチモーダルアプローチは、GA病変の正確なセグメンテーション、ならびにGA病変の長期的な正確且つ効率的な定量化、すなわち経時的なGA病変拡大の正確且つ効率的な定量化を容易にする。
【0029】
例えば、IR画像、特にNIR画像は、OCT正面画像よりも大きな視野を提供することができる。さらに、FAF画像と組み合わせてIR画像、より具体的にはNIR画像を使用することは、GA病変のセグメント化に関してより高い解像度および明瞭性を提供する。このより高い解像度および明瞭性は、網膜画像からのGA病変の改善されたセグメンテーションを容易にし、ひいては改善された特徴抽出を容易にする。例えば、限定されないが、GA病変の境界、形状、テクスチャなどの特徴は、より正確に識別されることができる。この改善された特徴抽出は、ひいては、疾患進行、治療レジメン効果、またはその双方を評価するために重要であり得るGA病変の改善された全体的な長期監視を可能にする。
【0030】
例えば、ベースライン時点から後の時点(例えば、6ヶ月、12ヶ月など)までの実際のGA病変拡大と、本明細書に開示される実施形態によって推定されるGA病変拡大(すなわち、FAF画像と、IR画像、特にNIR画像およびOCT画像の一方または双方との双方を使用する)との相関は、現在利用可能な方法のいくつかによって提供される相関よりも高くなることができる。場合によっては、本明細書に記載の実施形態は、より長い時間間隔との改善された相関を可能にする。例えば、FAF画像およびIR画像、特にNIR画像の双方を使用すると、12ヶ月までのベースライン時点の間隔に対して提供される相関は、6ヶ月までのベースライン時点の間隔に対して提供される相関よりも大きくなることができる。
【0031】
II.定義
本開示は、これらの例示的な実施形態および用途、または例示的な実施形態および用途が本明細書で動作するまたは説明される方法に限定されない。さらに、図は、簡略化されたまたは部分的な図を示すことができ、図の要素の寸法は、誇張されているか、または比例していない場合がある。
【0032】
さらに、本明細書では、「の上にある(on)」、「に取り付けられている(attached to)」、「に接続されている(connected to)」、「に結合されている(coupled to)」という用語または同様の用語が使用される場合、一方の要素が他方の要素の上に直接あるか、他方の要素に直接取り付けられているか、他方の要素に接続されているか、または他方の要素に結合されているか、または一方の要素と他方の要素との間に1つまたは複数の介在要素が存在するかにかかわらず、一方の要素(例えば、構成要素、材料、層、基板など)は、他方の要素「の上にある」、「に取り付けられている」、「に接続されている」、または「に結合されている」ことができる。さらに、要素のリスト(例えば、要素a、b、c)が参照される場合、そのような参照は、それ自体で列挙された要素のいずれか1つ、列挙された要素の全てよりも少ない要素の任意の組み合わせ、および/または列挙された要素の全ての組み合わせを含むことが意図される。本明細書におけるセクションの区分は、単に検討を容易にするためのものであり、説明された要素の任意の組み合わせを限定するものではない。
【0033】
用語「被験者」は、臨床試験の被験者、処置を受けている人、治療を受けている人、寛解または回復について監視されている人、(例えば、その病歴に起因して)予防健康分析を受けている人、GAを患っている人、または関心のある任意の他の人もしくは患者を指すことができる。様々な場合では、「被験者」および「患者」は、本明細書において交換可能に使用することができる。
【0034】
特に定義されない限り、本明細書に記載の本教示に関連して使用される科学用語および技術用語は、当業者によって一般的に理解される意味を有するものとする。さらに、文脈上別段の必要がない限り、単数形の用語には複数形が含まれ、複数形の用語には単数形が含まれるものとする。一般に、化学、生化学、分子生物学、薬理学および毒物学に関連して利用される命名法およびその技術は、本明細書に記載されており、当該技術分野において周知であり、一般的に使用されるものである。
【0035】
本明細書で使用される場合、「実質的に」は、意図された目的のために機能するのに十分であることを意味する。したがって、「実質的に」という用語は、当業者によって予想されるが、全体的な性能にそれほど影響しないような、絶対的または完全な状態、寸法、測定値、結果などからの微細な、僅かな変動を可能にする。数値、または数値として表されることのできるパラメータもしくは特性に関して使用される場合、「実質的に」とは、10パーセント以内を意味する。
【0036】
本明細書で使用される場合、数値または数値として表されることができるパラメータもしくは特性に関して使用される「約」という用語は、数値の10%以内を意味する。例えば、「約50」は、45以上55以下の範囲の値を意味する。
【0037】
「複数」という用語は、2つ以上を意味する。
【0038】
本明細書で使用される場合、「複数」という用語は、2、3、4、5、6、7、8、9、10以上とすることができる。
【0039】
本明細書で使用される場合、「のセット」という用語は、1つまたは複数を意味する。例えば、項目のセットは、1つまたは複数の項目を含む。
【0040】
本明細書で使用される場合、「のうちの少なくとも1つ」という語句は、項目のリストとともに使用される場合、列挙された項目のうちの1つまたは複数の異なる組み合わせが使用されてもよく、リスト内の項目のうちの1つのみが必要とされてもよいことを意味する。項目は、特定の物体、物、ステップ、動作、プロセス、またはカテゴリとすることができる。換言すれば、「のうちの少なくとも1つ」は、リストから項目の任意の組み合わせまたは任意の数の項目を使用することができるが、リスト内の項目の全てが必要とされるわけではないことを意味する。例えば、限定されないが、「項目A、項目B、または項目Cのうちの少なくとも1つ」は、項目A、項目Aおよび項目B、項目B、項目A、項目B、および項目C、項目Bおよび項目C、または項目AおよびCを意味する。場合によっては、「項目A、項目B、または項目Cの少なくとも1つ」は、限定されないが、項目Aのうちの2つ、項目Bのうちの1つ、および項目Cのうちの10個、項目Bのうちの4個と項目Cのうちの7個、またはいくつかの他の適切な組み合わせを意味する。
【0041】
本明細書で使用される場合、「モデル」は、1つまたは複数のアルゴリズム、1つまたは複数の数学的技法、1つまたは複数の機械学習アルゴリズム、またはそれらの組み合わせを含むことができる。
【0042】
本明細書で使用される場合、「機械学習」は、アルゴリズムを使用してデータを解析し、そこから学習し、次いで世界の何かについての決定または予測を行う実践を含むことができる。機械学習は、ルールベースのプログラミングに依存することなくデータから学習することができるアルゴリズムを使用する。
【0043】
本明細書で使用される場合、「人工ニューラルネットワーク」または「ニューラルネットワーク」(NN)は、計算に対する接続論的手法に基づいて情報を処理する人工ニューロンの相互接続されたグループを模倣する数学的アルゴリズムまたは計算モデルを指すことができる。ニューラルネットと呼ばれることもあるニューラルネットワークは、非線形ユニットの1つまたは複数の層を使用して、受信した入力の出力を予測することができる。いくつかのニューラルネットワークは、出力層に加えて1つまたは複数の隠れ層を含む。各隠れ層の出力は、ネットワーク内の次の層、すなわち、次の隠れ層または出力層への入力として使用される。ネットワークの各層は、各パラメータのセットの現在の値にしたがって、受信した入力から出力を生成する。様々な実施形態では、「ニューラルネットワーク」への言及は、1つまたは複数のニューラルネットワークへの言及とすることができる。
【0044】
ニューラルネットワークは、2つの方法で情報を処理することができる。それが訓練されているとき、それは訓練モードにあり、それが学習したことを実際に実行するとき、それは推論(または予測)モードにある。ニューラルネットワークは、出力が訓練データの出力と一致するように、ネットワークが中間隠れ層内の個々のノードの重み係数を調整する(その挙動を修正する)ことを可能にするフィードバックプロセス(例えば、バックプロパゲーション)を通じて学習する。換言すれば、ニューラルネットワークは、訓練データ(学習例)を供給されることによって学習し、最終的には、新たな範囲または入力のセットが提示された場合であっても、正しい出力に到達する方法を学習する。ニューラルネットワークは、例えば、限定されないが、フィードフォワードニューラルネットワーク(FNN)、リカレントニューラルネットワーク(RNN)、モジュラーニューラルネットワーク(MNN)、畳み込みニューラルネットワーク(CNN)、残差ニューラルネットワーク(ResNet)、常微分方程式ニューラルネットワーク(ニューラル-ODE)、または別のタイプのニューラルネットワークのうちの少なくとも1つを含むことができる。
【0045】
本明細書で使用される場合、「病変」は、損傷または疾患を介して損傷を受けた臓器または組織の領域を含むことができる。この領域は、連続的または不連続的な領域とすることができる。例えば、本明細書で使用される場合、病変は、複数の領域を含むことができる。GA病変は、慢性進行性変性を患っている網膜の領域である。本明細書で使用される場合、GA病変は、1つの病変(例えば、1つの連続病変領域)または複数の病変(例えば、複数の別個の病変からなる不連続病変領域)を含むことができる。
【0046】
本明細書で使用される場合、「総病変面積」は、その病変が連続領域であるか不連続領域であるかにかかわらず、病変によって覆われる面積(総面積を含む)を指すことができる。
【0047】
本明細書で使用される場合、「長期的」は、ある期間にわたることを指すことができる。期間は、日、週、月、年、または他の何らかの時間尺度とすることができる。
【0048】
本明細書で使用される場合、「エンコーダ」は、データ(例えば、1つまたは複数の画像)を複数の次元を有するパラメータのベクトルに効率的に符号化するように学習するタイプのニューラルネットワークを含むことができる。次元の数は、予め選択されてもよい。
【0049】
本明細書で使用される場合、「デコーダ」は、いくつかの次元(例えば、いくつかの予め選択された次元)を有するパラメータのベクトルを出力データ(例えば、1つまたは複数の画像または画像マスク)に効率的に復号するように学習するタイプのニューラルネットワークを含むことができる。
【0050】
本明細書で使用される場合、「マスク」は、画像の各画素が少なくとも2つの異なる予め選択された電位値のうちの1つを有するタイプの画像を含むことができる。
【0051】
III.地図状萎縮(GA)病変セグメンテーション
図1は、様々な実施形態にかかる病変評価システム100のブロック図である。病変評価システム100は、被験者の網膜における地図状萎縮(GA)病変を評価するために使用される。病変評価システム100は、コンピューティングプラットフォーム102と、データストレージ104と、ディスプレイシステム106とを含む。コンピューティングプラットフォーム102は、様々な形態をとることができる。1つまたは複数の実施形態では、コンピューティングプラットフォーム102は、互いに通信する単一のコンピュータ(またはコンピュータシステム)または複数のコンピュータを含む。他の例では、コンピューティングプラットフォーム102は、クラウドコンピューティングプラットフォームの形態をとる。
【0052】
データストレージ104およびディスプレイシステム106は、それぞれ、コンピューティングプラットフォーム102と通信する。いくつかの例では、データストレージ104、ディスプレイシステム106、またはその双方は、コンピューティングプラットフォーム102の一部と見なされるか、そうでなければ統合されてもよい。したがって、いくつかの例では、コンピューティングプラットフォーム102、データストレージ104、およびディスプレイシステム106は、互いに通信する別個の構成要素であってもよいが、他の例では、これらの構成要素のいくつかの組み合わせが一緒に統合されてもよい。
【0053】
病変評価システム100は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせを使用して実装されることができる画像プロセッサ108を含む。1つまたは複数の実施形態では、画像プロセッサ108は、コンピューティングプラットフォーム102に実装される。
【0054】
画像プロセッサ108は、処理のために画像入力109を受信する。1つまたは複数の実施形態では、画像入力109は、眼底自発蛍光(FAF)画像のセット110と、赤外線(IR)画像のセット112および光干渉断層撮影(OCT)画像のセット124の一方または双方とを含む。1つまたは複数の実施形態では、IR画像のセット112は、近赤外(NIR)画像のセットである。1つまたは複数の実施形態では、画像入力109は、同じ撮像装置によって生成された画像を含む。例えば、FAF画像のセット110、IR画像のセット112、および/またはOCT画像のセット124の任意の組み合わせが、同じ撮像装置によって生成されることができる。1つまたは複数の実施形態では、FAF画像のセット110、IR画像のセット112、および/またはOCT画像のセット124のいずれか1つは、位置合わせされていない画像とすることができる。しかしながら、他の実施形態では、FAF画像のセット110、IR画像のセット112、および/またはOCT画像のセット124のいずれか1つは、位置合わせされた画像であってもよい。
【0055】
画像プロセッサ108は、病変定量化システム114を使用して画像入力109(例えば、FAF画像のセット110、IR画像のセット112、および/またはOCT画像のセット124)を処理して、GA病変に対応するセグメンテーション出力116を生成する。病変定量化システム114は、任意の数または組み合わせのニューラルネットワークを含むことができる。1つまたは複数の実施形態では、病変定量化システム114は、1つまたは複数のニューラルネットワークを含む畳み込みニューラルネットワーク(CNN)システムの形態をとる。これらの1つまたは複数のニューラルネットワークのそれぞれは、それ自体が畳み込みニューラルネットワークであってもよい。場合によっては、病変定量化システム114は、深層学習ニューラルネットワークシステムであってもよい。例えば、病変定量化システム114は、
図4A~
図4Bを参照してより詳細に説明するように、Y-Net深層学習ニューラルネットワークであってもよい。別の例として、病変定量化システム114は、
図3A~
図3Bを参照してより詳細に説明するように、U-Net深層学習ニューラルネットワークであってもよい。
【0056】
様々な実施形態では、病変定量化システム114は、エンコーダのセット118およびデコーダ120を含むことができる。1つまたは複数の実施形態では、エンコーダのセット118は、単一のエンコーダを含むが、他の実施形態では、エンコーダのセット118は、複数のエンコーダを含む。様々な実施形態では、エンコーダのセット118の各エンコーダ、ならびにデコーダ120は、ニューラルネットワークを介して実装されてもよく、ニューラルネットワークは、1つまたは複数のニューラルネットワークから構成されてもよい。1つまたは複数の実施形態では、デコーダ120およびエンコーダのセット118の各エンコーダは、CNNを使用して実装される。1つまたは複数の実施形態では、エンコーダのセット118およびデコーダ120は、Y-Net(Y字型)ニューラルネットワークシステムまたはU-Net(U字型)ニューラルネットワークシステムとして実装される。例えば、病変定量化システム114は、複数のエンコーダ(例えば、2つのエンコーダ)と、エンコーダよりも少ない数のデコーダ(例えば、1つのデコーダ)とを有するY-Netニューラルネットワークシステムとすることができる。別の例として、病変定量化システム114は、同数のエンコーダおよびデコーダ、例えば単一のエンコーダおよび単一のデコーダを有するU-Netニューラルネットワークシステムとすることができる。
【0057】
病変定量化システム114によって生成されたセグメンテーション出力116は、1つまたは複数のセグメンテーションマスクを含む。各セグメンテーションマスクは、網膜の領域の画素単位の評価を提供する。例えば、セグメンテーション出力116におけるセグメンテーションマスクは、各画素が2つの値のうちの一方を有するバイナリ画像とすることができる。具体的な一例として、セグメンテーションマスクは、白がGA病変として識別された領域を示す白黒のバイナリ画像であってもよい。GA病変を示すセグメンテーションマスクの非限定的な例が
図6A~
図6Bに示されている。
【0058】
1つまたは複数の実施形態では、病変定量化システム114は、各画素が0から1の範囲の強度を有する予備確率マップ画像を生成するために使用される。1に近い画素強度は、GA病変である可能性が高い。病変定量化システム114は、バイナリ確率マップの形態のセグメンテーションマスクを生成するために、予備確率マップに閾値を適用する閾値処理モジュールを含むことができる。例えば、閾値(例えば、0.5、0.75など)以上の予備確率マップ内の任意の画素強度に「1」の強度が割り当てられることができ、閾値未満の予備確率マップ内の任意の画素強度に「0」の強度が割り当てられることができる。このようにして、セグメンテーション出力116は、GA病変として識別された領域を識別するバイナリセグメンテーションマスクを含む。
【0059】
様々な実施形態では、画像プロセッサ108(またはコンピューティングプラットフォーム102内に実装された別のエージェントもしくはモジュール)は、セグメンテーション出力116を使用してGA病変の定量的評価を生成する。例えば、画像プロセッサ108は、セグメンテーション出力116を使用して、GA病変に対応する特徴のセット122を抽出することができる。特徴のセット122を使用して、(例えば、長期的に)GA病変を評価することができる。例えば、FAF画像のセット110、IR画像のセット112、および/またはOCT画像のセット124は、同じまたは実質的に同じ(例えば、同じ時間内、同じ日内、同じ1~3日内など)時点の対応する画像を含むことができる。1つまたは複数の実施形態では、各対応するFAF画像、ならびにIR画像およびOCT画像の一方または双方は、セグメンテーション出力116において対応するセグメンテーションマスクをもたらすことができる。生成された異なるセグメンテーションマスクのそれぞれから抽出された特徴のセット122は、経時的なGA病変の長期的な定量的評価を提供または可能にすることができる。
【0060】
特徴のセット122は、例えば、限定されないが、形状、テクスチャ、境界線もしくは境界マップ、病変の数、総病変面積(すなわち、複合または単一の病変成分と見なされる場合の病変の面積)、総病変周囲長(すなわち、単一の病変成分の周囲長)、単一病変成分のフェレット直径、過剰リム強度(例えば、病変の周囲の0.5mmのリムの平均強度から病変の周囲の0.5~1mmのリムの平均強度を引いた差)、総病変面積の円形度、被験者の現在のもしくは予測される/予測されるGA進行を示すメトリック、またはそれらの組み合わせを含むことができる。これらの異なるタイプの特徴を使用して、GA病変を経時的に定量的に評価することができる。例えば、セグメンテーション出力116内のセグメンテーションマスクの場合、病変の数は、GA病変を形成するセグメンテーションマスク内で識別された不連続領域または領域の数とすることができる。総病変面積は、病変によって占有された総面積または空間を含む、識別された1つまたは複数の病変によって占有された面積または空間として識別されることができる。全病変周囲長は、例えば、1つまたは複数の病変によって占められる一般的な面積または空間の周囲長とすることができる。他の例では、総病変周囲長は、1つまたは複数の病変の個々の周囲長の合計とすることができる。メトリックは、被験者の現在のまたは見込みの/予測されるGA進行を示す。場合によっては、メトリックは、例えば、形状、テクスチャ、境界線もしくは境界マップ、病変の数、総病変面積(すなわち、複合または単一の病変成分と見なされる場合の病変の面積)、総病変周囲長(すなわち、単一病変成分の周囲長)、単一病変成分のフェレット直径、過剰リム強度(例えば、病変の周囲の0.5mmのリムの平均強度から病変の周囲の0.5~1mmのリムの平均強度を引いた差)、総病変面積の円形度、またはそれらの組み合わせを含む、セグメンテーションマスクから抽出された任意の特徴のセット122から計算されてもよい。
【0061】
1つまたは複数の実施形態では、セグメンテーション出力116内の第1のセグメンテーションマスクは、ベースライン時点に対応してもよく、セグメンテーション出力116内の第2のセグメンテーションマスクは、ベースラインの6ヶ月後に対応してもよく、セグメンテーション出力116内の第3のセグメンテーションマスクは、ベースラインの12ヶ月後に対応してもよい。特徴のセット122(例えば、形状、テクスチャ、病変の数、総病変面積、総病変周囲長、フェレット直径、過剰リム強度、病変面積の円形度など)は、第1、第2、および第3のセグメンテーションマスクのそれぞれについて識別されることができる。したがって、特徴のセット122を使用して、ベースライン時点と12ヶ月との間の期間にわたってGA病変を定量的に評価することができる。
【0062】
いくつかの実施形態では、特徴のセット122は、ある時間範囲に対応する特徴を含む。第1、第2、および第3のセグメンテーションマスクを説明する上記の例に関して、特徴のセット122は、6ヶ月の期間にわたって、12ヶ月の期間にわたって、またはその双方にわたって、GA病変の拡大率または成長率を含むことができる。病変面積の変化率、すなわち拡大率は、1つまたは複数の他の識別された特徴を使用して計算されることができる。例えば、6ヶ月間の拡大率は、第1のセグメンテーションマスクのために抽出された全病変面積と第2のセグメンテーションマスクのために抽出された全病変面積との間の差に基づいて計算されることができる。12ヶ月の期間の拡大率は、第1のセグメンテーションマスクのために抽出された総病変面積と、第3のセグメンテーションマスクのために抽出された総病変面積との間の差に基づいて計算されることができる。このようにして、特徴のセット122は、特徴のセット122内の1つまたは複数の他の特徴に基づいて計算される1つまたは複数の特徴を含むことができる。
【0063】
セグメンテーション出力116は、選択された期間(例えば、3ヶ月、6ヶ月、12ヶ月、18ヶ月など)にわたってGA病変を評価するために必要な数のセグメンテーションマスクを含むことができる。さらに、セグメンテーション出力116は、選択された期間内の所望の時間間隔でGA病変を評価するために、所望の数のセグメンテーションマスクを含むことができる。所望の時間間隔は、一定または異なる時間間隔であってもよい。1つまたは複数の実施形態では、セグメンテーション出力116は、12か月の期間内の10日ごとのセグメンテーションマスクを含む。
【0064】
図2は、様々な実施形態にかかる地図状萎縮病変を評価するためのプロセス200のフローチャートである。様々な実施形態では、プロセス200は、
図1に記載の病変評価システム100を使用して実装される。
【0065】
ステップ202は、1つ以上の地図状萎縮(GA)病変を有する網膜の眼底自発蛍光(FAF)画像のセットを受信することを含む。
【0066】
ステップ204は、網膜の赤外線(IR)画像のセットまたは網膜の光干渉断層撮影(OCT)画像のセットの一方または双方を受信することを含む。
【0067】
ステップ206は、FAF画像のセットおよびIR画像のセットまたはOCT画像のセットの一方または双方を使用して、網膜内の1つまたは複数のGA病変に対応する1つまたは複数のGA病変セグメントを含むGA病変セグメンテーションマスクを生成することを含む。いくつかの実施形態では、生成することは、ニューラルネットワークを使用してGA病変セグメンテーションマスクを生成することを含み、ニューラルネットワークは、エンコーダおよびデコーダを有するU-Net深層学習ニューラルネットワークを含む。そのような場合、プロセス200は、エンコーダを使用して、FAF画像のセットとIR画像のセットまたはOCT画像のセットの一方または双方とを連結することによって、符号化画像入力を生成することをさらに含むことができる。場合によっては、GA病変セグメンテーションマスクを生成することは、U-Net深層学習ニューラルネットワークのデコーダを使用して符号化画像入力を復号することを含む。
【0068】
いくつかの実施形態では、生成することは、ニューラルネットワークを使用してGA病変セグメンテーションマスクを生成することを含み、ニューラルネットワークは、第1のエンコーダと、第2のエンコーダまたは第3のエンコーダの一方または双方と、デコーダとを有するY-Net深層学習ニューラルネットワークを含む。そのような場合、プロセス200は、第1のエンコーダを介して、FAF画像のセットを使用して、符号化FAF画像入力を生成することと、第2のエンコーダを介して、IR画像のセットから符号化IR画像入力を生成すること、または、第3のエンコーダを介して、OCT画像のセットから符号化OCT画像入力を生成すること、のうちの一方または双方を行うことと、をさらに含む。さらに、場合によっては、プロセス200は、符号化FAF画像入力と、符号化IR画像入力または符号化OCT画像入力の一方または双方とを連結することによって、符号化画像入力を生成することと、GA病変セグメンテーションマスクを生成することは、Y-Net深層学習ニューラルネットワークのデコーダを使用して入力された符号化画像を復号することと、を含む。
【0069】
プロセス200のいくつかの実施形態は、GA病変セグメンテーションマスクから網膜における1つまたは複数のGA病変の特徴をプロセッサによって抽出することをさらに含む。さらに、プロセス200はまた、抽出された特徴に基づいて、1つまたは複数のGA病変を処置するためのリコメンデーションをプロセッサによって生成することを含んでもよい。いくつかの実施形態では、抽出された特徴は、いくつかの1つまたは複数のGA病変を含む。
【0070】
プロセス200のいくつかの実施形態は、プロセッサによって、1つまたは複数のGA病変セグメントを単一の病変成分に組み合わせることをさらに含み、抽出された特徴は、単一の病変成分の面積、周囲長、フェレット直径、または過剰リム強度のうちの1つまたは複数を含む。
【0071】
図3Aは、様々な実施形態にかかる、地図状萎縮病変を評価するためにU-Net深層学習ニューラルネットワークを利用するプロセス300を示している。いくつかの実施形態では、プロセス300は、U-Net深層学習ニューラルネットワーク(略して「U-Net」とも呼ばれる)を介してセグメンテーションするための複数の異なる撮像技術を使用して、1つまたは複数のGA病変を有する網膜の画像が得られるマルチモーダルアプローチを使用することができる。場合によっては、U-Netは、例えばcSLOから、1つまたは複数のGA病変を有する網膜のFAF画像310aのセットを受信することができる。U-Netはまた、IR撮像装置から網膜のIR画像310bのセット(例えば、NIR画像)および/またはOCT撮像装置から網膜のOCT画像310cのセット(例えば、ボリュームOCT画像)を受信することができる。
【0072】
いくつかの実施形態では、受信したマルチモーダル画像入力のうちの1つまたは複数、すなわち、FAF画像のセット310a、IR画像のセット310b、およびOCT画像のセット310cのうちの1つまたは複数は、マルチチャネル画像入力330として統合される前に前処理320a、320b、320cされてもよい。例えば、画像入力は、サイズ変更されてもよく、またはそれらの強度は、正規化されてもよい(例えば、0から1のスケールに)。OCT画像のセット310cの場合、前処理320cは、ボリュームOCT画像310cにヒストグラムマッチングを適用することと、ブルッフ膜に沿った各Bスキャンを平坦化して正面OCT画像を生成することと、を含むことができる。場合によっては、正面OCT画像が組み合わせられて、マルチチャネル正面OCT画像入力を生成することができる。例えば、3つの正面画像またはマップは、ブルッフの膜上の全深さにわたって平均化されてもよく、サブ-ブルッフの膜深さは、3チャネルの正面OCT画像入力と組み合わされてもよい。場合によっては、前処理されたマルチモーダル画像入力のセットは、次いでU-Netのエンコーダ340によって符号化されることができるマルチチャネル画像入力330として統合(例えば、連結)されてもよい。
【0073】
本開示で論じるように網膜画像をセグメント化するために使用することができるU-Netの例示的なアーキテクチャは、FAF画像のセットおよびNIR画像のセットを含むマルチモーダル画像入力を参照して以下に提示される。しかしながら、例示的なアーキテクチャおよび関連する説明は例示を目的としており、本開示は、異なる数およびタイプの網膜画像のセットを含むマルチモーダル画像入力に適用される任意のU-Netアーキテクチャに適用可能であることを理解されたい。いくつかの実施形態では、U-Netアーキテクチャは、画像内の各画素(例えば、マルチチャネル画像入力330)を予測および分類するように設計されることができ、これは、より少ない訓練画像によってより正確なセグメンテーションを可能にする。場合によっては、U-Netは、収縮エンコーダE340および拡張デコーダD350を含むことができる。このアーキテクチャでは、前処理された画像のセット(例えば、それぞれの前処理ステップ320a、320b、320cの後のFAF画像のセット310a、IR画像のセット310b、およびOCT画像のセット310c)が統合または連結されてマルチチャネル入力330を生成することができ、これは次に収縮エンコーダE340によって符号化される。場合によっては、符号化画像は、セグメンテーションマスク360を生成するために拡張デコーダD350に渡されてもよい。例示的な説明としてFAF画像310aおよびNIR画像310bを含むマルチモーダル画像入力を参照すると、プロセスは、以下のように表されることができる:
(Z,S)=E(concat(FAF,NIR));
P=D(Z,S),
ここで、「FAF」はFAF画像を表し、「NIR」はNIR画像を表す。
【0074】
U-Netアーキテクチャの例示的な実施形態が
図3Bに示されており、収縮エンコーダE340は、畳み込みブロックとダウンサンプリング動作とを交互に繰り返し、合計6つのダウンサンプルが実行されることができる。各畳み込みブロックは、2つの3×3の畳み込みを含む。各畳み込みの後に、グループ正規化(GroupNorm)および正規化線形ユニット(ReLU)アクティベーションを行うことができる。ダウンサンプリングは、2×2のmaxpool演算によって実行されることができる。Zは最終的な符号化画像とすることができ、Sは各ダウンサンプリングステップの前からの収縮エンコーダE340の部分結果のセットとすることができる。デコーダD350では、アップサンプルのステップと畳み込みブロックとが交互に行われ、合計で6回のアップサンプルが行われることができる。場合によっては、畳み込みブロックは、エンコーダ内の畳み込みブロックと同じまたは類似とすることができるが、アップサンプリングは、2×2転置畳み込みによって行われることができる。各アップサンプリングの後、Sからの同じサイズの部分的な結果は、スキップ接続においてコピーされ、結果に連結されることができる。最後の畳み込みブロックの後、1×1の畳み込みが実行され、続いてシグマ活性化が実行されて、0と1との間の確率Pを得ることができ、そこからセグメンテーションマスク360が生成されることができる。例えば、閾値以上の確率Pを有する画像画素には「1」の値が割り当てられ、GA病変として識別され、閾値未満の確率Pを有する画素にはGA病変がないことを示す「0」の値が割り当てられ、
図6A~
図6Bに示すようなバイナリセグメンテーションマップをもたらす。
【0075】
いくつかの実施形態では、
図3BのU-Netのエンコーダ-デコーダ構造ならびに使用される畳み込みフィルタの数およびサイズのために、U-Net深層学習ニューラルネットワークは、画像コンテキスト情報を学習することができる。場合によっては、デコーダD350におけるアップサンプリングは、画像コンテキスト情報をより高い解像度のチャネルに伝播するのに役立つことができる。画像コンテキスト情報または特徴は、値の小さな2次元配列であるミニ画像と考えることができる。特徴は、画像の共通の態様と一致することができる。例えば、文字「X」の画像の場合、対角線および交差からなる特徴は、Xの重要な特性のほとんどまたは全てを捕捉することができる。場合によっては、これらの特徴は、Xの任意の画像まで一致することができる。したがって、特徴は、画像の何らかのコンテキスト情報を捕捉するミニ画像の本質的な値である。U-Netアーキテクチャによって多数のそのような特徴が生成され、U-Net深層学習ニューラルネットワークが画像と対応するラベル/マスクとの間の関係を学習することを可能にする。
【0076】
図3Aに戻ると、いくつかの実施形態では、網膜の1つまたは複数のGA病変の特徴370がセグメンテーションマスク360から抽出されることができる。例えば、1つまたは複数のGA病変の数は、セグメンテーションマスク360から決定されてもよい。セグメンテーションマスク360から抽出または決定されることができる他の特徴370には、GA病変のサイズ、形状、面積、周囲長、フェレット直径、円形度、過剰リム強度などを含むが、これらに限定されない。場合によっては、1つまたは複数のGA病変は断片化されていてもよく、そのような場合、上記の特徴370は、1つまたは複数のGA病変から構成される単一の病変成分のパラメータを指してもよい。すなわち、これらのパラメータ(すなわち、サイズ、形状、面積、周囲長、フェレット直径、円形度、過剰リム強度など)は、1つまたは複数のGA病変を組み合わせる単一の病変成分に対して抽出または決定されることができる。場合によっては、網膜の1つまたは複数のGA病変を処置するためのリコメンデーションは、抽出された特徴370に基づいて決定または生成されてもよい。例えば、眼科医は、GA病変(例えば、GA病変の病期または重症度)を診断し、抽出された特徴370に基づいて処置を処方することができる。
【0077】
図4Aは、様々な実施形態にかかる、地図状萎縮病変を評価するためにY-Net深層学習ニューラルネットワークを利用するプロセス400を示している。いくつかの実施形態では、プロセス400は、Y-Net深層学習ニューラルネットワーク(略して「Y-Net」とも呼ばれる)を介したセグメンテーションするための複数の異なる撮像技術を使用して、1つまたは複数のGA病変を有する網膜の画像が得られるマルチモーダルアプローチを使用することができる。場合によっては、Y-Netは、例えばcSLOから、1つまたは複数のGA病変を有する網膜のFAF画像410aのセットを受信することができる。Y-Netはまた、IR撮像装置からの網膜のIR画像のセット410b(例えば、NIR画像)および/またはOCT撮像装置からの網膜のOCT画像のセット410c(例えば、ボリュームOCT画像)を受信することができる。
【0078】
いくつかの実施形態では、受信したマルチモーダル画像入力のうちの1つまたは複数、すなわち、FAF画像のセット410a、IR画像のセット410b、およびOCT画像のセット410cのうちの1つまたは複数は、Y-Netのそれぞれのエンコーダ430a、430b、430cによって符号化される前に前処理420a、420b、420cされてもよい。例えば、画像入力は、サイズ変更されてもよく、またはそれらの強度は、正規化されてもよい(例えば、0から1のスケールに)。OCT画像のセット410cの場合、前処理420cは、ボリュームOCT画像410cにヒストグラムマッチングを適用することと、ブルッフの膜に沿った各Bスキャンを平坦化して正面OCT画像を生成することと、を含むことができる。場合によっては、正面OCT画像が組み合わせられて、マルチチャネル正面OCT画像入力を生成することができる。例えば、3つの正面画像またはマップは、ブルッフの膜上の全深さにわたって平均化されてもよく、サブ-ブルッフの膜深さは、3チャネルの正面OCT画像入力と組み合わされてもよい。場合によっては、上述したように、前処理されたマルチモーダル画像入力のセット(例えば、FAF画像410aのセット、IR画像410bのセット、および正面OCT画像410cのセット)は、Y-Netのそれぞれのエンコーダ430a、430b、430cによって符号化されてもよい。
【0079】
場合によっては、Y-Netは、網膜画像のソースであるモダリティの数と同じ数のエンコーダを有することができる。例えば、Y-Netに入力されたマルチモーダル画像が網膜の一対の画像セット(例えば、FAF画像のセット310aとIR画像のセット310bとを含む対(例えば、OCT画像のセット310cではない)、または、FAF画像のセット310aとOCT画像のセット310cとを含む対(例えば、IR画像のセット310bではない))を含む場合、Y-Netは、2つのエンコーダを有するように構成されてもよく、各エンコーダは、一対の画像セットのうちの一方を符号化するように構成されている。別の例として、Y-Netに入力されたマルチモーダル画像が網膜の3つの画像セット(例えば、FAF画像のセット310a、IR画像のセット310b、および正面OCT画像のセット310c)を含む場合、Y-Netは、3つのエンコーダ(例えば、エンコーダ430a、430b、430c)を有するように構成されてもよく、各エンコーダは、3つの画像セットのうちの1つを符号化するように構成されている。
【0080】
本開示で論じるように網膜画像をセグメント化するために使用することができるY-Netの例示的なアーキテクチャは、FAF画像のセットおよびNIR画像のセットを含むマルチモーダル画像入力を参照して以下に提示される。しかしながら、例示的なアーキテクチャおよび関連する説明は例示を目的としており、本開示は、異なる数およびタイプの網膜画像のセットを含むマルチモーダル画像入力に適用される任意のY-Netアーキテクチャに適用可能であることを理解されたい。いくつかの実施形態では、Y-Netは、画像入力(例えば、2つのエンコーダE
1 430aおよびE
2 430b)のモダリティと同じ数のエンコーダブランチと、デコーダD440とを含むことができる。このアーキテクチャでは、前処理された画像のセット(例えば、それぞれの前処理ステップ420a、420b、420cの後のFAF画像のセット410a、IR画像のセット410b、およびOCT画像のセット410c)は、それぞれのエンコーダによって別々に符号化されることができる。例えば、
図4Aを参照すると、前処理420a後のFAF画像410aのセットおよび前処理420b後のIR画像410bのセットは、Y-NetのデコーダD440による復号の前に統合または連結される前に、それぞれエンコーダE
1 430aおよびエンコーダE
2 430bによって別々に符号化されてもよく、そこからセグメンテーションマスク450が生成されてもよい。例示的な説明としてFAF画像410aおよびNIR画像410bを含むマルチモーダル画像入力を参照すると、プロセスは、以下のように表されることができる:
(Z
1,S
1)=E
1(FAF);
(Z
2,S
2)=E
2(NIR);
P=D(concat(Z
1,Z
2),S
1)。
【0081】
場合によっては、エンコーダE
1 430aおよびエンコーダE
2 430bは、エンコーダE
1 430aおよびエンコーダE
2 430bの画像入力が単一チャネル画像入力、すなわち、それぞれ前処理されたFAF画像のセット410およびNIR画像のセット420aであり、エンコーダ340の画像入力がマルチチャネル画像入力330であることを除いて、
図3A~
図3BのU-Netのエンコーダ340と同じまたは同様のアーキテクチャを有することができる。さらに、デコーダD440は、前者の入力が画像入力モダリティの数と同じ数のチャネルを有することができることを除いて、デコーダD350のアーキテクチャと同じまたは同様のアーキテクチャを有することができる。例えば、上記の例示的な図のように、マルチモーダル画像入力がFAF画像410aおよびNIR画像410bを含む場合、デコーダD440の入力は、エンコーダ340のチャネルの2倍の数のチャネルを有することができる。さらに、場合によっては、第1のエンコーダE
1からの部分結果S
1(例えば、FAFエンコーダE
1)は、デコーダD440において使用されたが、第2のエンコーダE
2からの部分結果(例えば、NIRエンコーダE
2)は使用されなかった。次いで、0と1との間の値を有する確率PがデコーダD440から計算されることができ、そこから、
図3Aを参照して上述したようにセグメンテーションマスク450が生成されることができる。すなわち、閾値以上の確率Pを有する画像画素には「1」の値が割り当てられ、GA病変として識別され、閾値未満の確率Pを有する画素にはGA病変がないことを示す「0」の値が割り当てられ、
図6A~
図6Bに示すようなバイナリセグメンテーションマップをもたらす。
【0082】
U-Net、
図4BのY-Netのエンコーダ-デコーダ構造、および使用される畳み込みフィルタの数およびサイズに関して上述したように、Y-Net深層学習ニューラルネットワークは、画像コンテキスト情報を学習することができる。場合によっては、デコーダD440におけるアップサンプリングは、画像コンテキスト情報をより高い解像度のチャネルに伝播するのに役立つことができる。画像コンテキスト情報または特徴は、値の小さな2次元配列であるミニ画像と考えることができる。特徴は、画像の共通の態様と一致することができる。例えば、文字「X」の画像の場合、対角線および交差からなる特徴は、Xの重要な特性のほとんどまたは全てを捕捉することができる。場合によっては、これらの特徴は、Xの任意の画像まで一致することができる。したがって、特徴は、画像の何らかのコンテキスト情報を捕捉するミニ画像の本質的な値である。Y-Netアーキテクチャによって多数のそのような特徴が生成され、Y-Net深層学習ニューラルネットワークが画像と対応するラベル/マスクとの間の関係を学習することを可能にする。
【0083】
いくつかの実施形態では、
図3Aを参照して上述したように、網膜の1つまたは複数のGA病変の特徴460もセグメンテーションマスク450から抽出されることができる。例えば、1つまたは複数のGA病変の数、サイズ、形状、面積、周囲長、フェレット直径、円形度、過剰リム強度などは、セグメンテーションマスク450から決定されることができる。上記のように、1つまたは複数のGA病変が断片化されている場合、上記の特徴460は、1つまたは複数のGA病変から構成される単一の病変成分のパラメータを指してもよい。すなわち、これらのパラメータ(すなわち、サイズ、形状、面積、周囲長、フェレット直径、円形度、過剰リム強度など)は、1つまたは複数のGA病変を組み合わせる単一の病変成分に対して抽出または決定されることができる。さらに、場合によっては、網膜の1つまたは複数のGA病変を処置するためのリコメンデーションは、抽出された特徴460に基づいて決定または生成されてもよい。例えば、眼科医は、1つまたは複数のGA病変を診断し、抽出された特徴460に基づいて(例えば、GA病変のサイズに基づいて)処置を処方することができる。
【0084】
いくつかの実施形態では、
図3A~
図3BのU-Net深層学習ニューラルネットワークおよび/または
図4A~
図4BのY-Net深層学習ニューラルネットワークは、以下のようにセグメンテーションマスク360および450をそれぞれ生成するように訓練されてもよい。場合によっては、U-NetアーキテクチャおよびY-Netアーキテクチャは、ランダムな重みによって初期化されてもよい。最小化されるべき損失関数は、1からダイス係数を引いたものとして定義されるダイス損失とすることができる。確率的目的関数の一次勾配ベースの最適化のためのアルゴリズムであるAdam最適化器を訓練に使用することができる。初期学習率は、1e
-3(すなわち、0.001)に設定され、早期停止なしで100エポックの間30エポックごとに0.1倍されることができる。次いで、検証データセットを使用して、ハイパーパラメータを調整および選択することができる。ハイパーパラメータを選択すると、いくつかの実施形態では、U-NetおよびY-Netを使用して、試験セット上のGA病変セグメンテーションマスクを予測することができる。長期成績を評価するために、GA病変拡大を、試験セットにおいて、例えばベースラインから6ヶ月目まで、およびベースラインから12ヶ月目までの経時的なGA病変面積の絶対変化(mm
2)として計算されることができる。さらに、U-Netおよび/またはY-Netの予測されたセグメンテーションのGA病変拡大が、評価者注釈のものと比較されることができる。ダイススコアも計算され、CNNセグメンテーションの性能メトリックとして報告されることができる。さらに、ピアソン相関係数(r)を使用して、長期性能を評価することができる。
【0085】
いくつかの実施形態では、ニューラルネットワークの訓練中に、グラウンドトゥルースマスクの修正バージョンを使用して、病変のエッジを内部よりも重み付けすることができる。例えば、修正マスクは、以下のように定義されてもよい:
ここで、orig_maskは、値0および1を有する元のグラウンドトゥルースマスクを表し、edtは、ユークリッド距離変換を表す。場合によっては、edtおよびmax以外の全ての演算は、要素ごとの演算であってもよく、maxは、入力配列の最大値を返した。結果は、病変がない場合は0、病変がある場合は少なくとも0.5のマスクであった。場合によっては、病変の縁付近でより高い値(最大1)が記録されることができる。
【0086】
場合によっては、以下のように表されるダイス関数を使用することができる:
ここで、εは、マスクが空である(例えば、ε=1)ときに平滑性を保証するために使用されるパラメータである。この変更によるダイス関数の勾配は、ニューラルネットワーク(U-NetまたはY-Net)が0と1との間の正しい確率値P(すなわち、正しいセグメンテーションマスク)を出力するのを助けることができる。換言すれば、ニューラルネットワークは、ダイス関数の勾配によって支援されて、GA病変がある入力画像上の領域または画素についての増加した確率値P(例えば、1の値まで)、およびGA病変がない領域または画素についての減少した確率P(例えば、0の値まで下げる)を計算することができる。場合によっては、ニューラルネットワークは、内部ではなくGA病変の境界にさらに重点を置くことができ、これは、ニューラルネットワークがGA病変の内部を適切に識別するのがより容易であることを見出すことができるため、適切とすることができ、したがって、ニューラルネットワークは、そうするための学習にあまり費やさない場合がある。
【0087】
いくつかの実施形態では、検証および試験中に、元のマスクを使用することができ、予測または確率は、予測確率が閾値よりも大きい場合に1の値を有し、そうでない場合に0の値を有することができる。例えば、予測または確率が閾値0.5以上である場合、確率Pには、GA病変が存在することを示す1の値が割り当てられてもよく、予測または確率が閾値0.5未満である場合、確率Pには、GA病変が存在しないことを示す0の値が割り当てられてもよい。
【0088】
IV.本明細書で開示されるシステムおよび方法の例示的な適用
図5は、様々な実施形態にかかる、Y-NetおよびU-Netの深層学習ニューラルネットワークを使用してFAF画像およびNIR画像をセグメント化する遡及的研究のための例示的なワークフロー500を示している。この研究は、「Study of Disease Progression in Participants with Geographic Atrophy Secondary to Age-Related Macular Degeneration」(いわゆるGA患者のProxima AおよびProxima B自然歴研究)と題された観察臨床研究に登録された患者の研究眼からのFAFおよびNIR撮像データを使用して行われた。Proxima A患者は、ベースラインで脈絡膜新生血管(CNV)のない両側GAを有し、Proxima B患者は、ベースラインで僚眼においてCNVの有無にかかわらず片側GAを有していた。
【0089】
スクリーニングおよびフォローアップ来院時のFAF画像を2人の若手の評価者によって等級分けした。若手の評価者が同意しなかった場合には、上級裁定者もスキャンに等級付けした。
図6~
図11に示す結果には、双方の若手の評価者によって等級付けされたスキャンのみが使用された(1人の患者は、第2の評価者からの不完全な等級付けのために含まれなかった)。Proxima B研究からのFAF画像は、上級評価者によって等級付けされた。
図5に示すように、Proxima B研究における194人の患者からの940枚のFAF画像およびNIR画像の対が取得され、病変を人間の評価者によってFAF画像に注釈付けし、データを患者レベルで合計748回の来院で訓練セット(155人の患者からの画像)と合計192回の来院で検証セット(39人の患者からの画像)に分割した。90人の患者からの90個のFAFおよびNIR画像対が試験に使用された。FAFおよびNIR画像の双方がない患者の来院は除外した。U-NetおよびY-Netニューラルネットワークは、訓練セットを使用して上記のように訓練され、検証セットを使用して検証された。
【0090】
双方の研究において、GA診断および病変面積測定は、GA病変が1つとして認識されるためのカットオフとして最小病変直径が使用される場合、FAF撮像に基づいていた。Proxima Aでは、研究眼がAMDに続発するGAの十分に画定された領域を有し、以前のCNVまたは活動性CNVの証拠がなく、総GA病変サイズが2.54mm2を超えるが17.78mm2以下であり、FAF撮像視野(視野2~30°、中心窩を中心とする画像)内に完全に存在し、病巣周囲の縞状またはびまん性の超自己蛍光パターンを有する場合、GA病変は1つとして認識される。GA病変が多巣性であった場合、GA病変は、少なくとも1つの巣状病変が1.27mm2以上の面積を有する場合に1つとして認識される。Proxima Bでは、GA病変は、GAを有するおよびCNVを有しない患者の研究眼、および僚眼にGAを有するまたは有しないCNVが1.27mm2から17.78mm2の総病変サイズを有する場合に1つとして認識される。片側GAを有し、研究眼にCNVがない患者では、GA病変は、その全病変サイズが0.3mm2から17.78mm2である場合、または多巣性である場合、少なくとも1つの巣状病変が0.3mm2以上の面積を有する場合に、1つとして認識される。
【0091】
GA病変サイズは、RegionFinderソフトウェアを使用して、人間の評価者によって注釈付けされた(すなわち、グラウンドトゥルースであると見なされる)GA病変から得られた。個々の病変の最小サイズが0.05mm
2に設定され、これは直径約175μmに相当する。Proxima A研究からの試験セットのFAFおよびNIR画像が、それぞれ
図3および
図4を参照して上述したようにU-NetおよびY-Netを使用してセグメント化され、次いで、これらのニューラルネットワークからの出力がグラウンドトゥルース(すなわち、2人の評価者G1およびG2からの注釈)と比較された。対応する赤外画像が、中心窩周辺の小さな萎縮領域および萎縮描写の特定に使用された。画像およびマスクが768×768画素にサイズ変更され、正規化は行われなかった。
【0092】
図6~
図11は、Proxima A研究のFAFおよびNIR画像から得られた、人間の評価者注釈付きおよびU-Net/Y-Netニューラルネットワークで生成されたGA病変セグメンテーションマスクから抽出された様々な測定結果を示している。
図6A~
図6Bは、様々な実施形態にかかる、2人の人間の評価者G1およびG2ならびにY-NetおよびU-net深層学習ニューラルネットワークを使用したGA病変を有する網膜のFAF画像およびNIR画像の例示的なセグメンテーション結果を示している。特に、
図6Aおよび
図6Bの双方において、第1の行は、スクリーニング時の網膜のFAF画像およびNIR画像を、各人間の評価者およびニューラルネットワークによって実行されたGA病変セグメンテーション結果、ならびに評価者およびニューラルネットワークによって実行されたセグメンテーションの類似性を測定するダイススコア(
図7により詳細に示す)とともに示している。第2の行は、12ヶ月後に撮影された同じ網膜のFAF画像およびNIR画像についての対応する結果を示している。
【0093】
図6Aは、かなり高いダイススコアによって確認された、人間の評価者とニューラルネットワークとのセグメンテーション結果の間の良好な一致を示し、一方、
図6Bは、より低いダイススコアによって再び確認される、より低い一致を示している。
図6Bに示されるより不良な一致は、U-NetニューラルネットワークおよびY-Netニューラルネットワークが病変として中心窩を識別する、中心窩評価に関連することができる。Y-Netニューラルネットワークは、中心窩のセグメント化を回避する際にU-Netニューラルネットワークよりも良好に機能するようである。しかしながら、Y-Netの違いおよび任意の中心窩特有の利点は軽微とすることができる。不十分な一致はまた、ニューラルネットワークが陰影を病変と誤って解釈すること、またはFAF画像品質が低いことに起因することができる。なお、病変面積の相関は高いが、輪郭は同一ではないことに留意されたい。
【0094】
図7は、様々な実施形態にかかる、Y-Net深層学習ニューラルネットワーク、U-Net深層学習ニューラルネットワーク、および人間の評価者によって実行されるセグメンテーション間の類似性を測定する例示的なダイス類似性係数スコアを示している。特に、
図7は、初期スクリーニング時(「SCR」)、スクリーニングから6ヶ月後(「M6」)、スクリーニングから12ヶ月後(「M12」)、スクリーニングから18ヶ月後(「M18」)、スクリーニングから24ヶ月後(「M24」)、(「ET」)、およびそれらの組み合わせ(「全て」)において、第1の評価者G1およびY-Net(「G1-YNet」)によって、第1の評価者G1およびY-Net(「G1-UNet」)によって、第2の評価者G2およびY-Net(「G1-YNet」)によって、第2の評価者G2およびU-Net(「G1-UNet」)によって、ならびに第1の評価者G1および第2の評価者G2(「G1-G2」)によって行われたGA病変セグメンテーション間の類似性を測定するダイススコアを含む表を示している。さらに、
図7は、スクリーニング時の前述のダイススコアを含むswarmplotを示している。図に示された結果は、ニューラルネットワークによって行われたGA病変セグメンテーションと人間の評価者との間の一致が、2人の評価者によって行われたGA病変セグメンテーションとの間の一致と同様であったことを示している。
【0095】
図8A~
図8Dは、様々な実施形態にかかる、Y-Net深層学習ニューラルネットワーク、U-Net深層学習ニューラルネットワーク、および人間の評価者によって測定されるスクリーニング時のGA病変面積サイズの例示的な比較を示している。いくつかの実施形態では、個々のGA病変面積に対するニューラルネットワークの性能を評価するために、ニューラルネットワークによって生成されたセグメンテーションマスク内のGA病変の面積の対応を、評価者によって注釈付けされたセグメンテーションマスクのGA病変面積の平均と比較した。
図8Aおよび
図8Bは、双方とも、それぞれY-NetおよびU-Netによって生成されたセグメンテーションマスクにおけるスクリーニング時のGA病変面積と、評価者によって注釈付けされたセグメンテーションマスクのGA病変面積の平均(「平均評価者」)との間の良好な一致を示している。
図8Cはまた、2つの評価者によって注釈付けされたセグメンテーションマスクにおけるスクリーニング時のGA病変面積間の良好な一致を示している。
図8Dは、Bland-Altmanプロット、すなわち、評価者によって注釈付けされ、ニューラルネットワークによって生成されたセグメンテーションマスク内のGA病変面積と、平均(x軸)の関数としてのGA病変面積の平均(y軸)との間の差を示す差プロットを示している。この図はまた、一般的な傾向を示すために平滑度2の多項式線を示している。しかしながら、評価者平均がベースラインとして使用されるため、評価者がニューラルネットワークよりもベースラインに先験的に近かったため、これらのプロットには固有の統計的バイアスが存在する可能性があることに留意すべきである。
【0096】
図9A~
図9Eは、様々な実施形態にかかる、Y-Net深層学習ニューラルネットワーク、U-Net深層学習ニューラルネットワーク、および人間の評価者によって測定された12ヶ月目の病変面積サイズの例示的な比較を示している。いくつかの実施形態では、GA病変面積変化を測定するニューラルネットワークの能力は、異なる時点で同じ眼または網膜のGA病変面積を測定することによって試験されることができる。
図9A~
図9Cは、Y-Netによって実施されたセグメンテーションと「平均評価者」(
図9A)との間、U-Netによって実施されたセグメンテーションと「平均評価者」(
図9B)との間、および2人の評価者によって実施されたセグメンテーションの間(
図9C)のスクリーニング時間から12ヶ月後までの環状GA病変面積の変化(すなわち、長期的面積変化)を示している。
図9Dは、評価者によって注釈付けされ、ニューラルネットワークによって生成されたセグメンテーションマスク内のGA病変面積の長期的変化と、GA病変面積変化の平均(y軸)との間の差を平均(x軸)の関数として示すBland-Altmanプロットを示している。この図はまた、一般的な傾向を示すために平滑度2の多項式線を示している。
図9A~
図9Dは、長期的なGA病変面積のニューラルネットワーク-評価者比較結果が、断面結果(
図8A~
図8Dに示すものなど)と比較して不良であることを示している。長期的な測定に対するこの不十分な性能は、潜在的に平均変化の大きさが小さいことに起因する統計的アーチファクトである可能性がある。さらに、ニューラルネットワークは、以前の来院と比較し、各画像を独立して処理する機会を持たない場合がある。スクリーニングと6ヶ月目との比較もまた、一般に、潜在的にノイズ増幅およびアルゴリズム誤差、ならびに小さなサンプルサイズに起因して、さらに悪いことが分かった。しかしながら、
図9Eに示す測定された面積変化の経時的な比較は、ネットワークと評価者との間の同様の平均変化およびCVを示し、個々の患者レベルまたは短い時間窓では相関は高くないが、ニューラルネットワークがエンドポイントの測定において十分に経時的に機能することを示唆している。
【0097】
V.人工ニューラルネットワーク
図10は、本開示の様々な実施形態にかかる、コンピュータベースのモデルを実装するために使用することができる例示的なニューラルネットワークを示している。例えば、ニューラルネットワーク1000を使用して、病変評価システム100の病変定量化システム114を実装することができる。図示のように、人工ニューラルネットワーク1000は、入力層1002、隠れ層1004、および出力層1006の3つの層を含む。層1002、1004、および1006のそれぞれは、1つまたは複数のノードを含むことができる。例えば、入力層1002は、ノード1008~1014を含み、隠れ層1004は、ノード1016~1018を含み、出力層1006は、ノード1022を含む。この例では、階層内の各ノードは、隣接する階層内の全てのノードに接続されている。例えば、入力層1002のノード1008は、隠れ層1004のノード1016、1018の双方に接続されている。同様に、隠れ層のノード1016は、入力層1002のノード1008~1014および出力層1006のノード1022の全てに接続されている。人工ニューラルネットワーク1000にはただ1つの隠れ層しか示されていないが、病変評価システム100の病変定量化システム114を実装するために使用される人工ニューラルネットワーク1000は、必要または所望に応じて多くの隠れ層を含むことができると考えられている。
【0098】
この例では、人工ニューラルネットワーク1000は、入力値のセットを受信し、出力値を生成する。入力層1002内の各ノードは、別個の入力値に対応することができる。例えば、人工ニューラルネットワーク1000が病変評価システム100の病変定量化システム114を実装するために使用される場合、入力層1002内の各ノードは、FAF画像のセット110、IR画像のセット112、またはOCT画像のセット124の別個の属性に対応することができる。
【0099】
いくつかの実施形態では、隠れ層1004内のノード1016~1018のそれぞれは、表現を生成し、表現は、ノード1008~1014から受信した入力値に基づいて値を生成する数学的計算(またはアルゴリズム)を含むことができる。数学的計算は、ノード1008~1014から受信したデータ値のそれぞれに異なる重みを割り当てることを含むことができる。ノード1016および1018は、ノード1016~1018のそれぞれがノード1008~1014から受信した同じ入力値に基づいて異なる値を生成することができるように、ノード1008~1014からのデータ変数に割り当てられた異なるアルゴリズムおよび/または異なる重みを含むことができる。いくつかの実施形態では、ノード1016~1018のそれぞれの特徴(または入力値)に最初に割り当てられる重みは、(例えば、コンピュータランダマイザを使用して)ランダムに生成されてもよい。ノード1016および1018によって生成された値は、人工ニューラルネットワーク1000の出力値を生成するために出力層1006内のノード1022によって使用することができる。人工ニューラルネットワーク1000が病変評価システム100の病変定量化システム114を実装するために使用される場合、人工ニューラルネットワーク1000によって生成される出力値は、セグメンテーション出力116を含むことができる。
【0100】
人工ニューラルネットワーク1000は、訓練データを使用することによって訓練されることができる。例えば、ここでの訓練データは、FAF画像のセット、IR画像のセット、またはOCT画像のセットであってもよい。人工ニューラルネットワーク1000に訓練データを提供することによって、隠れ層1004内のノード1016~1018は、訓練データに基づいて出力層1006において最適な出力が生成されるように訓練(調整)されることができる。異なる訓練データセットを連続的に提供し、人工ニューラルネットワーク1000の出力が正しくない(例えば、誤ったGA病変セグメントを含むセグメンテーションマスクを生成する場合)ときに人工ニューラルネットワーク1000にペナルティを課すことによって、人工ニューラルネットワーク1000(具体的には、隠れ層1004内のノードの表現)が訓練(調整)されて、データ分類におけるその性能を改善することができる。人工ニューラルネットワーク1000を調整することは、隠れ層1004内の各ノードに関連する重みを調整することを含むことができる。
【0101】
上記の説明は、機械学習の例としての人工ニューラルネットワークに関するものであるが、他のタイプの機械学習方法もまた、本開示の様々な態様を実装するのに適し得ることが理解される。例えば、サポートベクターマシン(SVM)を使用して機械学習を実装することができる。SVMは、分類および回帰に使用される関連する教師あり学習方法のセットである。非確率的バイナリ線形分類器とすることができるSVM訓練アルゴリズムは、新たな例が1つのカテゴリに入るか別のカテゴリに入るかを予測するモデルを構築することができる。別の例として、ベイジアンネットワークを使用して機械学習を実装することができる。ベイジアンネットワークは、ランダム変数のセットおよび有向非巡回グラフ(DAG)によるそれらの条件的独立性を表す非巡回確率的グラフィカルモデルである。ベイジアンネットワークは、1つの変数と別の変数との間の確率的関係を提示することができる。別の例は、決定木学習モデルを使用して機械学習プロセスを実行する機械学習エンジンである。場合によっては、決定木学習モデルは、分類木モデルおよび回帰木モデルを含むことができる。いくつかの実施形態では、機械学習エンジンは、回帰木モデルとして勾配ブースティング機械(GBM)モデル(例えば、XGBoost)を使用する。他の機械学習技術を使用して、例えばランダムフォレストまたは深層ニューラルネットワークを介して機械学習エンジンを実装することができる。他のタイプの機械学習アルゴリズムは、簡単にするために本明細書では詳細に説明されず、本開示は、特定のタイプの機械学習に限定されないことが理解される。
【0102】
VI.コンピュータ実装システム
図11は、本明細書に記載の様々な方法および装置、例えば、病変評価システム100、コンピューティングプラットフォーム102、データストレージ104、ディスプレイシステム106、画像プロセッサ108などを実装するのに適したコンピュータシステム1100のブロック図である。様々な実装では、ステップを実行することができる装置は、ネットワーク通信装置(例えば、携帯電話、ラップトップ、パーソナルコンピュータ、タブレットなど)、ネットワーク計算装置(例えば、ネットワークサーバ、コンピュータプロセッサ、開発者ワークステーション、電子通信インターフェースなど)、または別の適切な装置を含むことができる。したがって、上述したサーバ、システム、およびモジュールを実装することができる装置、ならびに上述した方法200の様々な方法ステップは、以下のような方法でコンピュータシステム1100として実装されることができることを理解されたい。
【0103】
本開示の様々な実施形態によれば、ネットワークサーバ、ワークステーション、コンピューティング装置、通信装置などのコンピュータシステム1100は、情報を通信するためのバス構成要素1102または他の通信機構を含み、バス構成要素は、コンピュータ処理構成要素1104(例えば、プロセッサ、マイクロコントローラ、デジタル信号プロセッサ(DSP)など)、システムメモリ構成要素1106(例えば、RAM)、静的記憶構成要素1108(例えば、ROM)、ディスクドライブ構成要素1110(例えば、磁気式または光学式)、ネットワークインターフェース構成要素1112(例えば、モデムまたはイーサネットカード)、表示構成要素1114(例えば、陰極線管(CRT)または液晶ディスプレイ(LCD))、入力構成要素1116(例えば、キーボード)、カーソル制御構成要素1118(例えば、マウスまたはトラックボール)、および画像捕捉構成要素1120(例えば、アナログまたはデジタルカメラ)などのサブシステムおよび構成要素を相互接続する。一実装では、ディスクドライブ構成要素1110は、1つまたは複数のディスクドライブ構成要素を有するデータベースを備えることができる。
【0104】
本開示の実施形態によれば、コンピュータシステム1100は、システムメモリ構成要素1106に含まれる1つまたは複数の命令の1つまたは複数のシーケンスを実行するプロセッサ1104によって特定の動作を実行する。そのような命令は、静的記憶構成要素1108またはディスクドライブ構成要素1110などの別のコンピュータ可読媒体からシステムメモリ構成要素1106に読み込まれてもよい。他の実施形態では、本開示を実装するために、ソフトウェア命令の代わりに(または組み合わせて)ハードワイヤード回路を使用することができる。いくつかの実施形態では、病変評価システム100、コンピューティングプラットフォーム102、データストレージ104、ディスプレイシステム106、画像プロセッサ108などの様々な構成要素は、ユーザに代わってコンテキスト適切なタスクを自動的に実行するためにプロセッサ1104によって実行されることができるソフトウェア命令の形態であってもよい。
【0105】
論理は、実行のためにプロセッサ1104に命令を提供することに関与する任意の媒体を指すことができるコンピュータ可読媒体に符号化されることができる。そのような媒体は、不揮発性媒体および揮発性媒体を含むがこれらに限定されない多くの形態をとることができる。一実施形態では、コンピュータ可読媒体は非一時的である。様々な実装では、不揮発性媒体は、ディスクドライブ構成要素1110などの光ディスクまたは磁気ディスクを含み、揮発性媒体は、システムメモリ構成要素1106などのダイナミックメモリを含む。一態様では、実行命令に関連するデータおよび情報は、電波および赤外線データ通信中に生成されたものを含む、音波または光波の形態などの送信媒体を介してコンピュータシステム1100に送信されてもよい。様々な実装では、伝送媒体は、バス1102を備えるワイヤを含む、同軸ケーブル、銅線、および光ファイバを含むことができる。
【0106】
コンピュータ可読媒体のいくつかの一般的な形態は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、CD-ROM、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを有する任意の他の物理媒体、RAM、PROM、EPROM、FLASH-EPROM、任意の他のメモリチップまたはカートリッジ、搬送波、またはコンピュータが読み取るように適合されている任意の他の媒体を含む。これらのコンピュータ可読媒体はまた、上述した病変評価システム100、コンピューティングプラットフォーム102、データストレージ104、ディスプレイシステム106、画像プロセッサ108などのためのプログラミングコードを記憶するために使用されてもよい。
【0107】
本開示の様々な実施形態では、本開示を実施するための命令シーケンスの実行は、コンピュータシステム1100によって実行されてもよい。本開示の様々な他の実施形態では、通信リンク1122(例えば、LAN、WLAN、PTSN、および/または電気通信、モバイル、および携帯電話ネットワークを含む様々な他の有線または無線ネットワークなどの通信ネットワーク)によって結合された複数のコンピュータシステム1100は、互いに協調して本開示を実施するための命令シーケンスを実行することができる。
【0108】
コンピュータシステム1100は、通信リンク1122および通信インターフェース1112を介して、1つまたは複数のプログラム(すなわち、アプリケーションコード)を含むメッセージ、データ、情報および命令を送受信することができる。受信されたプログラムコードは、実行のためにディスクドライブ構成要素1110または他の何らかの不揮発性記憶構成要素に受信および/または記憶されると、コンピュータプロセッサ1104によって実行されてもよい。通信リンク1122および/または通信インターフェース1112は、例えば、病変評価システム100、コンピューティングプラットフォーム102、データストレージ104、ディスプレイシステム106、画像プロセッサ108などの電子通信を行うために使用することができる。
【0109】
適用可能な場合、本開示によって提供される様々な実施形態は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアとの組み合わせを使用して実装されることができる。また、適用可能な場合、本明細書に記載の様々なハードウェア構成要素および/またはソフトウェア構成要素は、本開示の趣旨から逸脱することなく、ソフトウェア、ハードウェア、および/またはその双方を含む複合構成要素に組み合わせることができる。適用可能な場合、本明細書に記載の様々なハードウェア構成要素および/またはソフトウェア構成要素は、本開示の範囲から逸脱することなく、ソフトウェア、ハードウェア、またはその双方を含むサブ構成要素に分離されてもよい。さらに、適用可能な場合、ソフトウェア構成要素は、ハードウェア構成要素として実装されてもよく、その逆も可能であると考えられる。
【0110】
コンピュータプログラムコードおよび/またはデータなどの本開示にかかるソフトウェアは、1つまたは複数のコンピュータ可読媒体に記憶されることができる。本明細書で識別されるソフトウェアは、1つまたは複数の汎用または専用のコンピュータおよび/またはネットワーク接続されたおよび/またはその他のコンピュータシステムを使用して実装されることができることも考えられる。適用可能な場合、本明細書に記載の様々なステップの順序は、本明細書に記載の特徴を提供するために、変更され、複合ステップに組み合わされ、および/またはサブステップに分離されてもよい。病変評価システム100、コンピューティングプラットフォーム102、データストレージ104、ディスプレイシステム106、画像プロセッサ108などの少なくとも一部は、そのようなソフトウェアコードとして実装されてもよいことが理解される。
【0111】
本教示は、様々な実施形態に関連して説明されているが、本教示がそのような実施形態に限定されることは意図されていない。逆に、本教示は、当業者によって理解されるように、様々な代替物、改変物、および均等物を包含する。
【0112】
様々な実施形態を説明する際に、本明細書は、特定の一連のステップとして方法および/またはプロセスを提示している場合がある。しかしながら、方法またはプロセスが本明細書に記載の特定の順番のステップに依拠しない限り、方法またはプロセスは、記載された特定の順序のステップに限定されるべきではなく、当業者は、順序が変動してもよく、依然として様々な実施形態の趣旨および範囲内にあることを容易に理解することができる。
【0113】
VII.本開示の様々な実施形態の列挙
実施形態1:1つまたは複数の地図状萎縮(GA)病変を有する網膜の眼底自発蛍光(FAF)画像のセットを受信することと、網膜の赤外線(IR)画像のセットまたは網膜の光干渉断層撮影(OCT)画像のセットの一方または双方を受信することと、FAF画像のセットおよびIR画像のセットまたはOCT画像のセットの一方または双方を使用して、網膜内の1つまたは複数のGA病変に対応する1つまたは複数のGA病変セグメントを含むGA病変セグメンテーションマスクを生成することと、を含む、方法。
【0114】
実施形態2:プロセッサによって、GA病変セグメンテーションマスクから網膜内の1つまたは複数のGA病変の特徴を抽出することをさらに含む、実施形態1に記載の方法。
【0115】
実施形態3:プロセッサによって、抽出された特徴に基づいて、1つまたは複数のGA病変を処置するためのリコメンデーションを生成することをさらに含む、実施形態2に記載の方法。
【0116】
実施形態4:抽出された特徴が、いくつかの1つまたは複数のGA病変を含む、実施形態2または3に記載の方法。
【0117】
実施形態5:プロセッサによって、1つまたは複数のGA病変セグメントを単一の病変成分に組み合わせることをさらに含み、抽出された特徴が、単一の病変成分の面積、周囲長、フェレット直径、または過剰リム強度のうちの1つまたは複数を含む、実施形態2から4のいずれか一項に記載の方法。
【0118】
実施形態6:生成することが、ニューラルネットワークを使用してGA病変セグメンテーションマスクを生成することを含み、ニューラルネットワークが、エンコーダおよびデコーダを有するU-Net深層学習ニューラルネットワークを含む、実施形態1から5のいずれか一項に記載の方法。
【0119】
実施形態7:エンコーダを使用して、FAF画像のセットと、IR画像のセットまたはOCT画像のセットの一方または双方とを連結することによって、符号化画像入力を生成することをさらに含む、実施形態6に記載の方法。
【0120】
実施形態8:GA病変セグメンテーションマスクを生成することが、U-Net深層学習ニューラルネットワークのデコーダを使用して符号化画像入力を復号することを含む、実施形態7に記載の方法。
【0121】
実施形態9:生成することが、ニューラルネットワークを使用してGA病変セグメンテーションマスクを生成することを含み、ニューラルネットワークが、第1のエンコーダと、第2のエンコーダまたは第3のエンコーダの一方または双方と、デコーダとを有するY-Net深層学習ニューラルネットワークを含む、実施形態1から8のいずれか一項に記載の方法。
【0122】
実施形態10:第1のエンコーダを介して、FAF画像のセットを使用して、符号化FAF画像入力を生成することと、第2のエンコーダを介して、IR画像のセットから符号化IR画像入力を生成すること、または、第3のエンコーダを介して、OCT画像のセットから符号化OCT画像入力を生成すること、のうちの一方または双方を行うことと、をさらに含む、実施形態9に記載の方法。
【0123】
実施形態11:符号化FAF画像入力と、符号化IR画像入力または符号化OCT画像入力の一方または双方とを連結することによって、符号化画像入力を生成することをさらに含み、GA病変セグメンテーションマスクを生成することが、Y-Net深層学習ニューラルネットワークのデコーダを使用して入力された符号化画像を復号することを含む、実施形態10に記載の方法。
【0124】
実施形態12:システムであって、非一時的メモリと、非一時的メモリに結合され、かつ非一時的メモリから命令を読み取ってシステムに実施形態1から11の方法を実行させるように構成されたハードウェアプロセッサと、を備える、システム。
【0125】
実施形態13:記録されたプログラムコードを有する非一時的コンピュータ可読媒体(CRM)であって、プログラムコードが、システムに実施形態1から11の方法を実行させるためのコードを含む、非一時的コンピュータ可読媒体。
【国際調査報告】