IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ジェネンテック, インコーポレイテッドの特許一覧

特表2023-552376脈絡膜血管新生(CNV)の自動化された検出
<>
  • 特表-脈絡膜血管新生(CNV)の自動化された検出 図1
  • 特表-脈絡膜血管新生(CNV)の自動化された検出 図2
  • 特表-脈絡膜血管新生(CNV)の自動化された検出 図3
  • 特表-脈絡膜血管新生(CNV)の自動化された検出 図4
  • 特表-脈絡膜血管新生(CNV)の自動化された検出 図5
  • 特表-脈絡膜血管新生(CNV)の自動化された検出 図6
  • 特表-脈絡膜血管新生(CNV)の自動化された検出 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-12-15
(54)【発明の名称】脈絡膜血管新生(CNV)の自動化された検出
(51)【国際特許分類】
   A61B 3/10 20060101AFI20231208BHJP
   G06T 7/00 20170101ALI20231208BHJP
   G06V 10/82 20220101ALI20231208BHJP
【FI】
A61B3/10 100
G06T7/00 350C
G06T7/00 614
G06V10/82
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023533849
(86)(22)【出願日】2021-12-02
(85)【翻訳文提出日】2023-07-25
(86)【国際出願番号】 US2021061562
(87)【国際公開番号】W WO2022120020
(87)【国際公開日】2022-06-09
(31)【優先権主張番号】63/121,723
(32)【優先日】2020-12-04
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.PYTHON
(71)【出願人】
【識別番号】509012625
【氏名又は名称】ジェネンテック, インコーポレイテッド
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】ワン, シャオヨン
【テーマコード(参考)】
4C316
5L096
【Fターム(参考)】
4C316AA09
4C316AB02
4C316AB11
4C316FB21
4C316FB27
5L096AA06
5L096BA06
5L096BA13
5L096BA18
5L096CA18
5L096DA02
5L096EA06
5L096EA35
5L096EA39
5L096GA30
5L096HA08
5L096HA11
(57)【要約】
網膜における加齢性黄斑変性の進行した段階を検出するための方法およびシステム。網膜についての光コヒーレンストモグラフィ(OCT)撮像データが受信される(202)。OCT撮像データを使用して、機械学習システムを介して、網膜における脈絡膜血管新生(CNV)の存在が検出される(204)。網膜におけるCNVの存在が検出されたことを指し示す出力が生成される(206)。
【選択図】図2
【特許請求の範囲】
【請求項1】
患者の眼についての光コヒーレンストモグラフィ(OCT)撮像データを受信することと、
OCT入力を形成するために、関心領域に関する前記OCT撮像データをコラプスさせることと、
脈絡膜血管新生(CNV)疾患の存在について前記OCT入力を分析することと、
前記OCT入力を使用して、前記患者の眼におけるCNV疾患の前記存在を検出することと
を備える、方法。
【請求項2】
CNV疾患の前記存在を検出することが、前記OCT入力を使用して前記患者の眼における網膜流体を検出することを備え、ここにおいて、前記網膜流体が、網膜内流体、網膜下流体または網膜下色素上皮流体のうちの少なくとも1つを備える、請求項1に記載の方法。
【請求項3】
前記OCT撮像データをコラプスさせることが、前記OCT入力を形成するために、前記患者の眼の網膜色素上皮(RPE)層に関する前記OCT撮像データをコラプスさせることを備える、請求項1に記載の方法。
【請求項4】
前記OCT撮像データをコラプスさせることが、前記RPE層に向かって前記OCT撮像データの1つまたは複数のOCT画像を平坦化することを備える、請求項3に記載の方法。
【請求項5】
前記OCT撮像データをコラプスさせることが、前記RPE層に関するいくつかのピクセルをクロップすることを備える、請求項3に記載の方法。
【請求項6】
CNV疾患の前記存在を前記検出することが、再較正モジュールを含む機械学習システムを使用して実施される、請求項1に記載の方法。
【請求項7】
CNV疾患の前記存在を前記検出することが、機械学習システムに組み込まれた圧搾および励起モジュールを介して実施される、請求項1に記載の方法。
【請求項8】
システムであって、
非一時的メモリと、
前記非一時的メモリに結合されており、前記非一時的メモリから命令を読み取って、前記システムが
患者の眼についての光コヒーレンストモグラフィ(OCT)撮像データを受信することと、
OCT入力を形成するために、関心領域に関する前記OCT撮像データをコラプスさせることと、
CNV疾患の存在について前記OCT入力を分析することと、
前記OCT入力を使用して、前記患者の眼におけるCNV疾患の前記存在を検出することと
を備える動作を実施することを引き起こすように構成されたハードウェアプロセッサと
を備える、システム。
【請求項9】
CNV疾患の前記存在を検出することが、前記OCT入力を使用して前記患者の眼における網膜流体を検出することを備え、ここにおいて、前記網膜流体が、網膜内流体、網膜下流体または網膜下色素上皮流体のうちの少なくとも1つを備える、請求項8に記載のシステム。
【請求項10】
前記OCT撮像データをコラプスさせることが、前記OCT入力を形成するために、患者の網膜色素上皮(RPE)層に関する前記OCT撮像データをコラプスさせることを備える、請求項8に記載のシステム。
【請求項11】
前記OCT撮像データをコラプスさせることが、前記RPE層に向かって前記OCT撮像データのOCT画像を平坦化することを備える、請求項10に記載のシステム。
【請求項12】
前記OCT撮像データをコラプスさせることが、前記RPE層に関するいくつかのピクセルをクロップすることを備える、請求項10に記載のシステム。
【請求項13】
CNV疾患の前記存在を前記検出することが、再較正モジュールを含む機械学習システムを使用して実施される、請求項8に記載のシステム。
【請求項14】
CNV疾患の前記存在を前記検出することが、機械学習システムに組み込まれた圧搾および励起モジュールを介して実施される、請求項8に記載のシステム。
【請求項15】
コンピュータシステムが
患者の眼についての光コヒーレンストモグラフィ(OCT)撮像データを受信することと、
OCT入力を形成するために、関心領域に関する前記OCT撮像データをコラプスさせることと、
CNV疾患の存在について前記OCT入力を分析することと、
前記OCT入力を使用して、前記患者の眼におけるCNV疾患の前記存在を検出することと
を備える動作を実施することを引き起こすために実行可能なコンピュータ可読命令を記憶した、非一時的コンピュータ可読媒体。
【請求項16】
CNV疾患の前記存在を検出することが、前記OCT入力を使用して前記患者の眼における網膜流体を検出することを備え、ここにおいて、前記網膜流体が、網膜内流体、網膜下流体または網膜下色素上皮流体のうちの少なくとも1つを備える、請求項15に記載の非一時的コンピュータ可読媒体。
【請求項17】
前記OCT撮像データをコラプスさせることが、前記OCT入力を形成するために、患者の網膜色素上皮(RPE)層に関する前記OCT撮像データをコラプスさせることを備える、請求項15に記載の非一時的コンピュータ可読媒体。
【請求項18】
前記OCT撮像データをコラプスさせることが、前記RPE層に向かって前記OCT撮像データのOCT画像を平坦化することを備える、請求項17に記載の非一時的コンピュータ可読媒体。
【請求項19】
前記OCT撮像データをコラプスさせることが、前記RPE層に関するいくつかのピクセルをクロップすることを備える、請求項17に記載の非一時的コンピュータ可読媒体。
【請求項20】
CNV疾患の前記存在を前記検出することが、機械学習システムに組み込まれた圧搾および励起モジュールを介して実施される、請求項15に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、以下で完全に記載されるかのように、およびすべての適用可能な目的のためにその全体が参照により本明細書に組み込まれる、「Automated Detection Of Choroidal Neovascularization (CNV)」と題する、2020年12月4日に出願された、米国仮特許出願第63/121,723号の優先権および利益を主張する。
【0002】
本出願は、脈絡膜血管新生(CNV)の検出に関し、より詳細には、光コヒーレンストモグラフィ(OCT)撮像データを使用する、眼におけるCNVの自動化された検出に関する。
【背景技術】
【0003】
加齢性黄斑変性(AMD)は、50歳以上の対象における視力喪失の主要な原因である。AMDを患っている何人かの対象は、脈絡膜血管新生(CNV)を発症することがあり、CNVでは、眼の脈絡膜層において生じた新しく、異常な血管が、網膜の中にまで成長し、血液からの流体を網膜の中に漏洩させる。網膜に進入すると、流体は、直ちに対象の視覚をひずませることがある。時間とともに、流体は、たとえば、網膜における光受容体の損失を引き起こすことによって、網膜そのものに損傷を与えることがある。残念ながら、現在、CNVの発症を予想するやり方がない。したがって、CNVの進行を検出および追跡するためのやり方に対する要望が存在する。
【発明の概要】
【0004】
1つまたは複数の実施形態では、加齢性黄斑変性の進行した段階を検出するための方法が提供される。網膜についての光コヒーレンストモグラフィ(OCT)撮像データが受信される。OCT撮像データを使用して、機械学習システムを介して、網膜における脈絡膜血管新生(CNV)の存在が検出される。
【0005】
1つまたは複数の実施形態では、加齢性黄斑変性の進行した段階を検出するための方法が提供される。光コヒーレンストモグラフィ(OCT)撮像データが、網膜について受信される。OCT撮像データは、OCT入力を形成するために前処理される。OCT入力を使用して、機械学習システムを介して、網膜における脈絡膜血管新生(CNV)の存在が検出される。
【0006】
本明細書で開示される原理、およびそれらの利点のより完全な理解のために、次に、添付の図面とともに行われる以下の説明への参照がなされる。
【図面の簡単な説明】
【0007】
図1】様々な実施形態による、脈絡膜血管新生(CNV)検出システムのブロック図である。
図2】様々な実施形態による、網膜における加齢性黄斑変性の進行した段階を検出するためのプロセスのフローチャートである。
図3】様々な実施形態による、網膜における加齢性黄斑変性の進行した段階を検出するための別のプロセスのフローチャートである。
図4】様々な実施形態による、網膜における加齢性黄斑変性の進行した段階を検出するための別のプロセスのフローチャートである。
図5図1のCNV検出システムを使用した、何人かの対象からの多数のテスト画像に基づく、いくつかの受信者操作曲線(ROC)を表示するプロットである。
図6】様々な実施形態による、コンピュータシステムのブロック図である。
図7】様々な実施形態による、深層学習ニューラルネットワークを実装するために使用され得る例示的なニューラルネットワークを図示する図である。
【発明を実施するための形態】
【0008】
図は、必ずしも一定の縮尺で描かれているとは限らず、図中のオブジェクトも、互いの関係において必ずしも一定の縮尺で描かれているとは限らないことを理解されたい。図は、本明細書で開示される装置、システム、および方法の様々な実施形態に明快さおよび理解をもたらすことを意図された描写である。可能な場合はいつでも、同じ参照番号が、同じまたは同じような部分を指すために図面全体にわたって使用される。そのうえ、図面は、いかなるやり方でも本教示の範囲を限定することを意図されないことを諒解されたい。
【0009】
I.概要
加齢性黄斑変性(AMD)は、対象の中央の視覚を不鮮明にすることがあり、加齢が、黄斑など、網膜の部分に対して損傷を引き起こしたときに起こる、眼疾患である。AMDは、(しばしば、萎縮性AMDと呼ばれる)乾燥型であることも、(しばしば、進行性新生血管AMDと呼ばれる)滲出性AMDであることもある。滲出性AMDは、眼における異常血管の成長により起こる。脈絡膜から生じたこれらの新しい血管は、しばしば、流体(たとえば、血液または赤血球からの流体)を漏洩させ、網膜を濡らし、最終的に、黄斑など、網膜の部分に損傷を与える。この状態は、しばしば、脈絡膜血管新生(CNV)と呼ばれ、CNVは、AMDに起因するだけでなく、たとえば、病的近視、眼ヒストプラスマ症、眼外傷(たとえば、色素線条症)、ラッカークラック、およびぶどう膜炎(重篤な眼炎症)など、他の原因に起因することもある。
【0010】
CNVを検出することは、対象のための個人化された治療レジメンを生成すること、網膜損傷を緩和すること、および対象のAMD病因を理解することにとって重要であり得る。CNVを検出することは、光コヒーレンストモグラフィ(OCT)、フルオレセイン、ICG血管造影、および医療専門家OCTによる視力低下観測を含む、複数の方法の使用を伴うことができ、とりわけ、光が、生物学的試料(たとえば、生物学的組織)に向けられ、その生物学的試料の特徴から反射された光が、生物学的試料の2次元または3次元の高分解能断面画像をキャプチャするために収集される、撮像技法である。
【0011】
網膜に関連する流体(たとえば、網膜内流体、網膜下流体、網膜下色素上皮流体など)は、CNVの正確で信頼できるインジケータであり得ることが一般的に認識されている。これにより、この流体を正確に、および確実に検出するための方法論は、CNVの正確で信頼できるインジケータとして役立ち得る。OCT画像は、そのような流体を可視化することを可能にし、それゆえ、対象のOCT画像における流体の存在は、対象の網膜におけるCNVのインジケータとして使用され得る。しかしながら、人間評点者によるOCT画像の手作業による分析は、時間がかかり、間違いを起こしやすいことがある。これにより、OCT撮像データを使用するCNVの検出を自動化することができる方法およびシステムが望まれる。
【0012】
本実施形態は、CNV疾患の改善された検出に対する取り組みにおいてOCT撮像データの有益な特性を活用することを目的とする。とりわけ、本実施形態は、OCT撮像データを自動的に分析し、分析されたOCT撮像データに基づいてCNV疾患を分類する、人工知能(AI)、とりわけ、機械学習および深層学習システムを含む。これらの学習システムは、少なくとも手作業による分析と同じくらい正確にCNV疾患を分類するが、とりわけ大きいデータセットを処理するとき、現在の方法よりも速くコスト効果的に分析を提供することができる。そのうえ、学習システムを使用する分析および診断は、学習システム内での以前のデータの保持、およびそのようなデータの折り返しが、自動化されたCNV分析の精度および速度を永続的に増加させ、CNV進行の前方予測を可能にすることを可能にする。これにより、本開示の方法およびシステムは、CNV疾患の検出のために学習システム(たとえば、ニューラルネットワークシステム)を使用して、OCT撮像データの改善され自動化された分析を可能にする。
【0013】
本開示は、OCT撮像データを使用して患者の眼におけるCNV疾患の自動化された検出のシステムおよび方法を提供する。一実施形態では、たとえば、本開示は、ニューラルネットワークシステムを使用してOCT撮像データを分析するシステムおよび方法を提供する。すなわち、たとえば、ニューラルネットワークシステムは、OCT撮像データを受信し、手作業による検出、またはさらには静的アルゴリズムを使用する検出と比較してより正確で報知的であり得るCNV疾患分類結果を生成し得る。これは、ニューラルネットワークシステムを使用することが、関心パラメータを常に最適化し、これにより、検出精度を改善するようにトレーニングされるためであり得る。そのうえ、OCT撮像データの重要な部分に分析を集中させるために、損失関数を組み込むために、(たとえば、回転、平行移動、および反転を通して)OCT撮像データを増補するために、たとえば、速度のためにモデルサイズを低減するために、チャネルごとの特徴応答を自動的に再較正するために、モジュールおよび/またはブロックが、ネットワーク内で追加されるか、取り除かれるか、または操作され得る。
【0014】
ニューラルネットワークシステムは、限定されないが、畳み込みニューラルネットワーク(CNN)システム、深層学習システム(たとえば、U-Net深層学習ニューラルネットワーク、Y-Net深層学習ニューラルネットワークなど)などを含み得る。上記で論じられたように、OCT画像を分析するためにニューラルネットワークシステムを利用するそのようなシステムおよび方法は、ニューラルネットワークシステムの中への前記結果の再組込みを通して時間とともに分析精度の一貫した改善を定期的に可能にしながら、CNV疾患の正確な検出を容易にする。
【0015】
たとえば、OCT撮像データは、眼の網膜色素上皮層など、特定の関心領域に関するデータをコラプスさせることによって、ニューラルネットワークシステムを使用して前処理され得る。関心領域に関するOCT撮像データをコラプスさせることは、患者の眼の網膜色素上皮(RPE)層に関するOCT撮像データをコラプスさせること、RPE層に向かって1つまたは複数のOCT画像を平坦化すること、および/またはRPE層に関するいくつかのピクセルをクロップすることを含む。これは、OCT撮像データ(たとえば、中央B走査)の特定の部分の分析と組み合わせられて、OCTデータの集中的分析を増強すること、ならびに分析のために必要とされる処理能力を低減することを可能にし、それゆえ、分析タイミングを低減する。
【0016】
上記で説明された改善を提供することができる方法論およびシステムの重要性および有用性を認識し、考慮に入れて、本明細書は、OCT撮像データを使用するCNVの自動化された検出のための様々な実施形態を説明する。より詳細には、本明細書は、OCT撮像データおよび機械学習システム(たとえば、ニューラルネットワークシステム)を使用して網膜におけるCNVを正確におよび確実に検出するための方法およびシステムの様々な実施形態を説明する。
【0017】
II.定義
本開示は、これらの例示的実施形態および適用例に、または例示的実施形態および適用例が動作するかまたは本明細書で説明される様式に限定されない。そのうえ、図は、簡略化されたまたは部分的なビューを示し得、図中の要素の寸法は、割合が誇張されることも、またはさもなければ誇張されないこともある。
【0018】
追加として、「の上に(on)」、「に取り付けられる(attached to)」、「に接続される(connected to)」、「に結合される(coupled to)」という用語、または同様の単語が、本明細書で使用されるとき、ある要素(たとえば、構成要素、材料、層、基板など)は、ある要素が、直接的に、別の要素の上にある、別の要素に取り付けられる、別の要素に接続される、または別の要素に結合されるのか、あるいはある要素と別の要素との間に1つまたは複数の介在する要素があるのかにかかわらず、別の要素「の上に」あるか、別の要素「に取り付けられる」か、別の要素「に接続される」か、または別の要素「に結合される」ことができる。追加として、要素(たとえば、要素a、b、c)のリストへの言及がなされた場合、そのような言及は、リストされた要素のうちの任意の1つを単独で含むこと、リストされた要素の一部の任意の組合せを含むこと、および/またはリストされた要素のすべての組合せを含むことを意図される。本明細書におけるセクション分割は、検討を簡単にするためのものであるにすぎず、論じられる要素の任意の組合せを限定しない。
【0019】
「対象(subject)」という用語は、臨床治験の対象、治療を受ける人、抗がん治療を受ける人、寛解または回復についてモニタされている人、(たとえば、その人の病歴による)予防的健康分析を受ける人、あるいは任意の他の関心の人または対象を指すことがある。様々な場合では、「対象」および「対象」は、本明細書において互換的に使用され得る。
【0020】
別段に定義されない限り、本明細書で説明される本教示とともに使用される科学的および技術的用語は、当業者によって通常理解される意味を有するものとする。さらに、コンテキストによって別段に必要とされない限り、単数形の用語は、複数形を含むものとし、複数形の用語は、単数形を含むものとする。一般的に、本明細書で説明される、化学、生化学、分子生物学、薬理学および毒物学に関連して利用される名称、ならびに化学、生化学、分子生物学、薬理学および毒物学の技法は、当技術分野においてよく知られており、通常使用されるものである。
【0021】
本明細書で使用される「実質的に(substantially)」は、意図された目的のために作用するのに十分なことを意味する。「実質的に」という用語は、これにより、当分野の当業者によって予想されるが、全体的性能に明らかな影響は及ぼさないような、絶対的なまたは完全な状態、寸法、測定値、結果などからの軽微で、有意でない変動を許容する。数値、またはパラメータ、または数値として表され得る特性に関して使用されるとき、「実質的に」は、10パーセント以内を意味する。
【0022】
本明細書で使用される、数値、またはパラメータ、または数値として表され得る特性に関して使用される「約(about)」という用語は、数値の10パーセント以内を意味する。たとえば、「約50」は、包含的である、45から55までの範囲内の値を意味する。
【0023】
「もの(ones)」という用語は、2つ以上を意味する。
【0024】
本明細書で使用される「複数(plurality)」という用語は、2、3、4、5、6、7、8、9、10、またはそれ以上であり得る。
【0025】
本明細書で使用される「のセット(set of)」という用語は、1つまたは複数を意味する。たとえば、アイテムのセットは、1つまたは複数のアイテムを含む。
【0026】
本明細書で使用される「のうちの少なくとも1つ(at least one of)」という句は、アイテムのリストとともに使用されるとき、使用され得るリストされたアイテムのうちの1つまたは複数の異なる組合せを意味し、リストにおけるアイテムのうちの1つのみが必要とされ得る。アイテムは、特定のオブジェクト、物、ステップ、動作、プロセス、またはカテゴリーであり得る。言い換えれば、「のうちの少なくとも1つ」は、アイテムの任意の組合せを意味するか、またはいくつかのアイテムが、リストから使用され得るが、リストにおけるアイテムのすべてが、必要とされるとは限らないことがある。たとえば、限定はしないが、「アイテムA、アイテムB、またはアイテムCのうちの少なくとも1つ」は、アイテムAを意味するか、アイテムAおよびアイテムBを意味するか、アイテムBを意味するか、アイテムA、アイテムB、およびアイテムCを意味するか、アイテムBおよびアイテムCを意味するか、またはアイテムAおよびCを意味する。いくつかの場合には、「アイテムA、アイテムB、またはアイテムCのうちの少なくとも1つ」は、限定はされないが、2つのアイテムA、1つのアイテムB、および10個のアイテムCを意味するか、4つのアイテムBおよび7つのアイテムCを意味するか、または何らかの他の好適な組合せを意味する。
【0027】
本明細書で使用される「モデル」は、1つまたは複数のアルゴリズム、1つまたは複数の数学的技法、1つまたは複数の機械学習アルゴリズム、あるいはそれらの組合せを含み得る。
【0028】
本明細書で使用される「機械学習」は、データをパースし、そこから学習し、次いで世界における何かに関する決定または予測を行うためにアルゴリズムを使用する実践を含む。機械学習は、ルールベースプログラミングに依拠することなしにデータから学習することができるアルゴリズムを使用する。
【0029】
本明細書で使用される「人工ニューラルネットワーク」または「ニューラルネットワーク」(NN)は、計算への接続的手法に基づいて情報を処理する人工ニューロンの相互接続されたグループを模倣する数学的アルゴリズムまたは計算モデルを指すことがある。ニューラルネットと呼ばれることもあるニューラルネットワークは、受信された入力について出力を予測するために、線形単位、非線形単位、またはその両方の1つまたは複数の層を採用することができる。いくつかのニューラルネットワークは、出力層に加えて1つまたは複数の隠れ層を含む。各隠れ層の出力は、ネットワークにおける次の層、換言すれば、次の隠れ層または出力層への入力として使用され得る。ネットワークの各層は、パラメータのそれぞれのセットの現在の値に従って、受信された入力から出力を生成し得る。様々な実施形態では、「ニューラルネットワーク」への言及は、1つまたは複数のニューラルネットワークへの言及であり得る。
【0030】
ニューラルネットワークは、2つのやり方で、すなわち、ニューラルネットワークがトレーニングされるときは、トレーニングモードで、およびニューラルネットワークが学んだものをそれが実践するときは、推論(または予測)モードで情報を処理し得る。ニューラルネットワークは、ネットワークが、出力がトレーニングデータの出力に一致するように、中間隠れ層における個々のノードの(ネットワークの挙動を修正する)重み係数を調整することを可能にするフィードバックプロセス(たとえば、バックプロパゲーション)を通して学習し得る。言い換えれば、ニューラルネットワークは、トレーニングデータ(学習例)を提供されることによって学習し、最終的に、ニューラルネットワークが入力の新しい範囲またはセットを与えられたときでも、正しい出力にどのように到達するかを学習する。ニューラルネットワークは、たとえば、限定はしないが、フィードフォワードニューラルネットワーク(FNN)、リカレントニューラルネットワーク(RNN)、モジュラーニューラルネットワーク(MNN)、畳み込みニューラルネットワーク(CNN)、残留ニューラルネットワーク(ResNet)、常微分方程式ニューラルネットワーク(ニューラルODE)、圧搾および励起組込み型ニューラルネットワーク、MobileNet、または別のタイプのニューラルネットワークのうちの少なくとも1つを含み得る。
【0031】
本明細書で使用される「深層学習」は、オブジェクト検出/識別、音声認識、言語翻訳などのタスクにおいて非常に正確な予測を供給するために、人間が提供した知識なしに、画像、ビデオ、テキストなどの入力データから表現を自動的に学習するためのマルチレイヤ人工ニューラルネットワークの使用を指すことがある。
【0032】
本明細書で使用される「ボクセル」は、3次元走査または画像など、グラフィック情報を伴う3次元エンティティの規則的なグリッドの単位体積要素(たとえば、容積ピクセル)である。
【0033】
III.CNVの自動化された検出
図1は、様々な実施形態による、CNV評価システム100のブロック図である。CNV評価システム100は、対象の網膜における、たとえば、CNV疾患の存在またはCNV疾患の経時的進行を含む、CNVアクティビティを検出するために使用される。CNV疾患は、新生血管加齢性黄斑変性(nAMD)など、複雑で進行性の疾患を特徴とし得る。CNVアクティビティは、眼の脈絡膜層において生じた異常血管の、網膜の中への成長と、血液からの流体を網膜の中に漏洩させることとを含み得る。そのような場合、網膜に進入した流体は、対象の視覚をひずませ、たとえば、網膜における光受容体の損失を引き起こすことによって網膜そのものに損傷を与えることがある。
【0034】
図1中に図示されているように、CNV評価システム100は、コンピューティングプラットフォーム102、データストレージ104、およびディスプレイシステム106を含む。コンピューティングプラットフォーム102は、様々な形態をとり得る。1つまたは複数の実施形態では、コンピューティングプラットフォーム102は、単一のコンピュータ(またはコンピュータシステム)、あるいは互いと通信している複数のコンピュータを含む。他の例では、コンピューティングプラットフォーム102は、クラウドコンピューティングプラットフォーム、モバイルコンピューティングプラットフォーム(たとえば、スマートフォン、タブレットなど)、またはそれらの組合せの形態をとる。
【0035】
データストレージ104およびディスプレイシステム106は、各々、コンピューティングプラットフォーム102と通信している。いくつかの例では、データストレージ104、ディスプレイシステム106、またはその両方は、コンピューティングプラットフォーム102の一部と見なされるか、またはさもなければコンピューティングプラットフォーム102と統合され得る。これにより、いくつかの例では、コンピューティングプラットフォーム102、データストレージ104、およびディスプレイシステム106は、互いと通信している別個の構成要素であり得るが、他の例では、これらの構成要素のいくつかの組合せが、ともに統合され得る。
【0036】
図1中に図示されているように、CNV評価システム100は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組合せを使用して実装され得る画像プロセッサ108を含む。1つまたは複数の実施形態では、画像プロセッサ108は、コンピューティングプラットフォーム102において実装される。
【0037】
様々な実施形態では、CNV疾患の検出を実施するための方法は、図1に関して説明されたCNV評価システム100を使用して実施され得る。方法は、以下のようにCNV評価システム100を介して処理のための画像を入力することから始めることができる。画像プロセッサ108は、処理のための画像入力109を受信する。1つまたは複数の実施形態では、画像入力109は、対象または人の網膜についてのOCT撮像データ110を含む。OCT撮像データ110は、たとえば、網膜の1つまたは複数の高分解能OCT画像を含み得る。1つまたは複数の実施形態では、画像入力109は、同じイメージングデバイスによって生成された画像、または複数のデバイスからの画像を含む。様々な実施形態では、OCT撮像データ110は、同じ分解能または異なる分解能、(たとえば、ピクセルに関して)同じサイズまたは異なるサイズ、あるいは同じ色深度または異なる色深度(たとえば、6ビット、8ビット、10ビット、12ビットなど)の画像を含み得る。1つまたは複数の実施形態では、OCT撮像データ110の任意の画像は、未登録画像であり得る。他の実施形態では、OCT撮像データ110の任意の画像は、登録された画像であり得る。
【0038】
様々な実施形態では、画像プロセッサ108は、対象の網膜におけるCNVの存在を検出するために、CNV検出システム112を使用して、画像入力109を処理する。CNV検出システム112は、本明細書全体にわたって開示される実施形態に基づく、1つまたは複数のニューラルネットワークを用いた機械学習を採用し得る。開示される方法において使用される1つまたは複数のニューラルネットワークは、任意の数のニューラルネットワークまたはニューラルネットワークの任意の組合せを含み得る。1つまたは複数の実施形態では、CNV検出システム112は、1つまたは複数のニューラルネットワークを含む畳み込みニューラルネットワーク(CNN)システムを含み得る。本明細書の開示では、CNV検出システム112の1つまたは複数のニューラルネットワークは、たとえば、限定はしないが、フィードフォワードニューラルネットワーク(FNN)、リカレントニューラルネットワーク(RNN)、モジュラーニューラルネットワーク(MNN)、畳み込みニューラルネットワーク(CNN)、残留ニューラルネットワーク(ResNet)、常微分方程式ニューラルネットワーク(ニューラルODE)、圧搾および励起組込み型ニューラルネットワーク、MobileNet、または別のタイプのニューラルネットワークのうちの少なくとも1つを含み得る。様々な実施形態では、1つまたは複数のニューラルネットワークは、深層学習ニューラルネットワークであり得る。様々な実施形態では、CNV検出システム112は、少なくとも1つの圧搾および励起(SE)組込み型ニューラルネットワークを含み得る。
【0039】
1つまたは複数の実施形態では、画像プロセッサ108は、網膜におけるCNVの存在が検出されたかどうかを指し示す出力114を生成する。たとえば、出力114は、CNVが網膜に存在する確率を指し示す確率値であり得る。確率値は、0から100までのどこかにあり得、誤差限界または不確実性数(たとえば、プラスまたはマイナス値)が添付され得る。いくつかの例では、出力114は、CNVが網膜において存在すること、またはCNVが網膜において不在であることをシグナリングするバイナリ出力であり得る。さらに他の例では、出力114は、OCT撮像データ110から検出された、網膜に関連する流体の量を指し示す値であり得る。流体の量を指し示す値は、数値であり得、および/または、たとえば、ナノリットル、マイクロリットルなどの測定単位または任意の他の好適な測定単位が添付され得る。
【0040】
図2は、様々な実施形態による、網膜における加齢性黄斑変性の進行した段階を検出するためのプロセス200のフローチャートである。この進行した段階は、たとえば、脈絡膜血管新生(CNV)であり得る。様々な実施形態では、プロセス200は、図1に関して説明されたCNV評価システム100を使用して実装される。
【0041】
図2中に図示されているように、ステップ202は、患者の網膜についての光コヒーレンストモグラフィ(OCT)撮像データを受信することを含む。OCT撮像データは、図1に関して説明されたOCT撮像データ110に関して説明されたものなど、1つまたは複数のOCT画像を含み得、それゆえ、さらに詳細に説明されない。
【0042】
ステップ204は、機械学習システムを介して、OCT撮像データを使用して網膜における脈絡膜血管新生(CNV)の存在を検出することを含む。1つまたは複数の実施形態では、ステップ204は、網膜に関連する流体を検出することによって実施される。網膜に関連する流体は、たとえば、限定はされないが、網膜内流体、網膜下流体、および網膜下色素上皮流体を含むことができる。CNVの存在を検出する際に使用される機械学習システムは、たとえば、ニューラルネットワークシステムを含み得る。ニューラルネットワークシステムは、深層学習ニューラルネットワークシステムの形態をとり得る。いくつかの実施形態では、ニューラルネットワークシステムは、フィードフォワードニューラルネットワーク(FNN)、リカレントニューラルネットワーク(RNN)、モジュラーニューラルネットワーク(MNN)、畳み込みニューラルネットワーク(CNN)、残留ニューラルネットワーク(ResNet)、常微分方程式ニューラルネットワーク(ニューラルODE)、圧搾および励起組込み型ニューラルネットワーク、MobileNet、または別のタイプのニューラルネットワークのうちの1つまたは複数を含み得る。様々な実施形態では、1つまたは複数のニューラルネットワークは、深層学習ニューラルネットワークであり得る。様々な実施形態では、1つまたは複数のニューラルネットワークは、圧搾および励起(SE)組込み型ニューラルネットワークを含み得る。
【0043】
様々な実施形態では、ニューラルネットワークシステムは、たとえば、CNV陽性OCT画像とCNV陰性OCT画像の両方に関してトレーニングされ得る。いくつかの実施形態では、CNV陽性OCT画像の数が、CNV陰性OCT画像の数とは異なるとき、ニューラルネットワークモデルは、重み付けされたクロスエントロピー損失関数を用いてトレーニングされる。重み付けされたクロスエントロピー損失関数は、入力と目標との間の損失を最小限に抑えるためのトレーニング中にモデル重みを調整するときに使用され得る。様々な実施形態では、重み付けされたクロスエントロピー損失関数は、モデルが、過小表示されたクラスからの損失により多くの注意を支払うので、不平衡なデータセット(陽性対陰性)の場合に有用である。
【0044】
ステップ206は、網膜におけるCNVの存在が検出されたことを指し示す出力を生成することを含む。図1中の出力114であり得るこの出力は、様々な形態をとり得る。たとえば、出力は、CNVアクティビティが網膜内に存在する確率を指し示す確率値であり得る。確率値は、0から100の間にわたる数値であり得る。確率値は、誤差限界または不確実性数が添付され得る。様々な実施形態では、出力は、CNVが網膜において存在するのか不在であるのかをシグナリングするバイナリ出力である。様々な実施形態では、ステップ206は、本開示の様々な実施形態において説明されるような機械学習システムを使用して実装され得る。
【0045】
図3は、様々な実施形態による、網膜における加齢性黄斑変性の進行した段階を検出するためのプロセス300のフローチャートである。この進行した段階は、たとえば、脈絡膜血管新生(CNV)であり得る。様々な実施形態では、プロセス300は、図1に関して説明されたCNV評価システム100を使用して実装される。
【0046】
ステップ302は、患者の網膜についての光コヒーレンストモグラフィ(OCT)撮像データを受信することを含む。OCT撮像データは、図1に関して説明されたOCT撮像データ110に関して説明されたものなど、1つまたは複数のOCT画像を含み得、それゆえ、さらに詳細に説明されない。
【0047】
OCT撮像データが受信されると、プロセス300は、ステップ304に進み、ステップ304は、OCT入力を形成するためにOCT撮像データを前処理することを含む。いくつかの実施形態では、OCT撮像データの前処理は、OCT入力として、網膜の網膜色素上皮(RPE)層をキャプチャしたOCT撮像データの一部分を選択することを含み得る。一例として、前処理は、網膜のRPE層に向かってOCT画像を平坦化することと、網膜のRPE層、RPE層の上方の第1のエリア、および/またはRPE層の下方の第2のエリアを含む、OCT画像の一部分を選択することとを含み得る。
【0048】
ステップ306は、機械学習システムを介して、OCT入力を使用して網膜における脈絡膜血管新生(CNV)の存在を検出することを含む。CNVの存在を検出する際に使用される機械学習システムは、たとえば、ニューラルネットワークシステムを含み得る。ニューラルネットワークシステムは、深層学習ニューラルネットワークシステムの形態をとり得る。いくつかの実施形態では、ニューラルネットワークシステムは、フィードフォワードニューラルネットワーク(FNN)、リカレントニューラルネットワーク(RNN)、モジュラーニューラルネットワーク(MNN)、畳み込みニューラルネットワーク(CNN)、残留ニューラルネットワーク(ResNet)、常微分方程式ニューラルネットワーク(ニューラルODE)、圧搾および励起組込み型ニューラルネットワーク、MobileNet、または別のタイプのニューラルネットワークのうちの1つまたは複数を含み得る。様々な実施形態では、1つまたは複数のニューラルネットワークは、深層学習ニューラルネットワークであり得る。様々な実施形態では、1つまたは複数のニューラルネットワークは、圧搾および励起(SE)組込み型ニューラルネットワークを含み得る。
【0049】
1つまたは複数の実施形態では、機械学習システムは、網膜における流体を検出するようにトレーニングされたニューラルネットワークシステムであって、流体の存在が、CNVの存在を指し示す、ニューラルネットワークシステムを含む。流体は、たとえば、限定はされないが、網膜内流体、網膜下流体、網膜下色素上皮流体、またはそれらの組合せを含み得る。
【0050】
1つまたは複数の実施形態では、出力は、ステップ306において、CNVの存在の検出に基づいて生成され得る。図1中の出力114と同じかまたは実質的に同様であるこの出力は、様々な形態をとり得る。たとえば、出力は、CNVアクティビティが網膜内に存在する確率を指し示す確率値であり得る。確率値は、0から100の間にわたる数値であり得る。確率値は、誤差限界または不確実性数が添付され得る。様々な実施形態では、出力は、CNVが網膜において存在するのか不在であるのかをシグナリングするバイナリ出力である。
【0051】
図4は、様々な実施形態による、例示的なプロセス400のフローチャートである。プロセス400は、様々な実施形態に従って、網膜における加齢性黄斑変性の進行した段階を検出するために使用され得る。この進行した段階は、たとえば、脈絡膜血管新生(CNV)であり得る。様々な実施形態では、プロセス400は、図1に関して説明されたCNV評価システム100を使用して実装される。
【0052】
図示されているように、プロセス400のステップ402は、患者の眼についてのOCT撮像データを受信することを含む。OCT撮像データは、図1に関して説明されたOCT撮像データ110に関して説明されたものなど、1つまたは複数のOCT画像を含み得る。
【0053】
OCT撮像データが受信されると、プロセス400は、ステップ404に進み、ステップ404は、OCT入力を形成するために、関心領域に関するOCT撮像データをコラプスさせることを含む。様々な実施形態では、OCT撮像データをコラプスさせることは、OCT入力を形成するために、患者の眼の網膜色素上皮(RPE)層に関するOCT撮像データをコラプスさせることを含む。様々な実施形態では、OCT撮像データをコラプスさせることは、RPE層に向かってOCT撮像データの1つまたは複数のOCT画像を平坦化することを含む。様々な実施形態では、OCT撮像データをコラプスさせることは、RPE層に関するいくつかのピクセルをクロップすることを含む。
【0054】
図4中に図示されているように、プロセス400は、ステップ406に進み、ステップ406は、脈絡膜血管新生(CNV)疾患の存在について、OCT入力を分析することを含む。
【0055】
OCT入力が分析されると、プロセス400は、ステップ408に進み、ステップ408は、OCT入力を使用して患者の眼におけるCNV疾患の存在を検出することを含む。様々な実施形態では、CNV疾患の存在を検出することは、OCT入力を使用して患者の眼における網膜流体を検出することを含み、ここにおいて、網膜流体が、網膜内流体、網膜下流体、または網膜下色素上皮流体のうちの少なくとも1つを備える。
【0056】
様々な実施形態では、患者の眼におけるCNV疾患の存在を検出することは、機械学習システムを使用して実施される。いくつかの実施形態では、CNV疾患の存在を検出することは、再較正モジュールを含む機械学習システムを使用して実施される。いくつかの実装形態では、CNV疾患の存在を検出することは、機械学習システムに組み込まれた圧搾および励起モジュール(squeeze and excitation module)を介して実施される。様々な実装形態では、CNVの存在を検出する際に使用される機械学習システムは、たとえば、ニューラルネットワークシステムを含み得る。ニューラルネットワークシステムは、深層学習ニューラルネットワークシステムの形態をとり得る。いくつかの実施形態では、ニューラルネットワークシステムは、フィードフォワードニューラルネットワーク(FNN)、リカレントニューラルネットワーク(RNN)、モジュラーニューラルネットワーク(MNN)、畳み込みニューラルネットワーク(CNN)、残留ニューラルネットワーク(ResNet)、常微分方程式ニューラルネットワーク(ニューラルODE)、圧搾および励起組込み型ニューラルネットワーク、MobileNet、または別のタイプのニューラルネットワークのうちの1つまたは複数を含み得る。様々な実施形態では、1つまたは複数のニューラルネットワークは、深層学習ニューラルネットワークであり得る。様々な実施形態では、1つまたは複数のニューラルネットワークは、圧搾および励起(SE)組込み型ニューラルネットワークを含み得る。
【0057】
1つまたは複数の実施形態では、機械学習システムは、網膜における流体を検出するようにトレーニングされたニューラルネットワークシステムであって、流体の存在が、CNVの存在を指し示す、ニューラルネットワークシステムを含む。流体は、たとえば、限定はされないが、網膜内流体、網膜下流体、網膜下色素上皮流体、またはそれらの組合せを含み得る。
【0058】
1つまたは複数の実施形態では、出力は、ステップ406において、CNVの存在の検出に基づいて生成され得る。ステップ406の検出に基づいて生成されたこの出力は、図1中の出力114と同じかまたは実質的に同様であり、これにより、様々な形態をとり得る。いくつかの実施形態では、出力は、CNVアクティビティが網膜内に存在する確率を指し示す確率値であり得る。確率値は、0から100の間にわたる数値であり得る。確率値は、誤差限界または不確実性数が添付され得る。様々な実施形態では、出力は、CNVが患者の眼または患者の眼の網膜において存在するのか不在であるのかをシグナリングするバイナリ出力である。
【0059】
図5は、CNV検出方法または、たとえば、図1のCNV評価システム100など、CNV検出システムを使用した、何人かの対象からの多数のテスト画像に基づく、いくつかの受信者操作曲線(ROC)を表示するプロット500である。プロット500は、図1のCNV検出システムにおいて使用されたものなど、深層学習(DL)ニューラルネットワーク(DLアルゴリズムを用いたDLモデル)が、OCT撮像データ、たとえば、OCT撮像データ110上の網膜アナトミーの変化に基づいてCNV疾患アクティビティを正確に検出することができることを実証する。DLニューラルネットワークが、プロット500において表示されている曲線を生成したが、CNV検出システム112に関して説明されたような他のニューラルネットワークが、プロット500において表示されている同じまたは同様の曲線を生成するために使用され得る。DLモデルは、102人の対象からの1,706枚の画像のテストセットに対して評価され、0.76±0.027の精度、0.66±0.028の感度、および0.83±0.029の特異性をもつ、0.81±0.012の受信者操作曲線下面積(AUROC)を達成した。
【0060】
図5のプロット500を生成する際に、合計8,527枚のOCT画像が評価された。OCT画像は、新生血管加齢性黄斑変性(nAMD)におけるラニビズマブを評価したHARBOR治験(臨床治験登録番号:NCT00891735)のpro re nata(PRN)アームから取得された。研究眼における疾患アクティビティ、たとえば、CNV疾患の存在または不在は、OCT上の流体(たとえば、網膜内流体、網膜下流体、または網膜下色素上皮流体)として、あるいは対象の視力が以前の通院から≧5レター減少した場合として定義され得る。いくつかの事例では、疾患アクティビティはまた、以前の通院に対する≧5レターの減少という要件なしに、OCT上の、下にあるCNVに関連する網膜流体の存在のみによって定義され得る。通院のこのサブセットでは、1024×512×128ボクセルの研究眼OCT走査が、Zeiss Cirrusマシンから収集され、網膜色素上皮(RPE)層に向かって平坦化され、RPEの上方の384個のピクセルおよびRPEの下方の128個のピクセルにクロップされた。研究のために使用されたコンピュータシステムのグラフィック処理ユニット(GPU)メモリ制約に適応するために、中央15B走査が、代表として選択された。したがって、ネットワークへの各走査の入力サイズは、512×512×15であった。521人の対象からの合計8,527の走査が使用された。8,527の走査のうちの3,618は、疾患がある眼からのものであり、4,909は、疾患がない眼からのものであった。8,527の走査は、階層化されたサンプリングを使用して4:1の比でトレーニングセットとテストセットとに分けられた。5分割交差検証が、パラメータを最適化するためにトレーニングセットのみを使用して適用された。(MobileNetを用いた)圧搾および励起(SE)組込み型ニューラルネットワークモデルが、CNV疾患がある眼とCNV疾患がない眼とを分類するように設計された。MobileNetは、深さ方向分離可能畳み込みを使用してモデルサイズを大幅に低減し、SEモジュールは、チャネルごとの特徴応答を適応的に再較正することによって貢献する。各クラス中のサンプルの数が不平衡であるので、重み付けされたクロスエントロピーが、損失関数として使用された。いくつかの事例では、回転、平行移動、および/または反転を含むデータ増補が、モデル/ニューラルネットワークのトレーニング中に適用された。
【0061】
本明細書で開示される様々な実施形態に従って、脈絡膜血管新生(CNV)疾患を検出するための方法が説明される。様々な実施形態では、方法の様々なプロセスステップは、図1のCNV評価システム100など、システムを使用して実施され得る。方法は、患者の眼についての光コヒーレンストモグラフィ(OCT)撮像データを受信することと、OCT入力を形成するために、関心領域に関するOCT撮像データをコラプスさせることと、脈絡膜血管新生(CNV)疾患の存在についてOCT入力を分析することと、OCT入力を使用して、患者の眼におけるCNV疾患の存在を検出することとを含む。
【0062】
方法の様々な実施形態では、CNV疾患の存在を検出することは、OCT入力を使用して患者の眼における網膜流体を検出することを備え、ここにおいて、網膜流体が、網膜内流体、網膜下流体、または網膜下色素上皮流体のうちの少なくとも1つを備える。
【0063】
方法の様々な実施形態では、OCT撮像データをコラプスさせることは、OCT入力を形成するために、患者の眼の網膜色素上皮(RPE)層に関するOCT撮像データをコラプスさせることを備える。様々な実施形態では、OCT撮像データをコラプスさせることは、RPE層に向かってOCT撮像データの1つまたは複数のOCT画像を平坦化することを備える。様々な実施形態では、OCT撮像データをコラプスさせることは、RPE層に関するいくつかのピクセルをクロップすることを備える。
【0064】
方法の様々な実施形態では、CNV疾患の存在を検出することは、再較正モジュールを含む機械学習システムを使用して実施される。様々な実施形態では、CNV疾患の存在を検出することは、機械学習システムに組み込まれた圧搾および励起モジュールを介して実施される。
【0065】
本明細書で開示される様々な実施形態によれば、脈絡膜血管新生(CNV)疾患の自動化された検出は、図1に関して説明されたCNV評価システム100など、例示的なシステムを使用して実施され得る。様々な実施形態では、システムは、非一時的メモリと、非一時的メモリに結合されており、非一時的メモリから命令を読み取って、システムが動作を実施することを引き起こすように構成されたハードウェアプロセッサとを含む。たとえば、CNV評価システム100は、患者の眼についての、OCT撮像データ110など、光コヒーレンストモグラフィ(OCT)撮像データを受信するために使用され得る。さらに、図1のCNV評価システム100は、処理のために使用され得る。たとえば、CNV評価システム100の画像プロセッサ108は、CNV検出システム112など、機械学習システムを使用して、画像入力109を処理するために使用され得る。処理のいくつかの非限定的な例は、OCT入力を形成するために、関心領域に関するOCT撮像データをコラプスさせることを含み得る。
【0066】
様々な実施形態では、CNV評価システム100のCNV検出システム112など、ニューラルネットワークシステムは、CNV疾患の存在について、OCT入力を分析するために、および/またはOCT入力を使用して患者の眼におけるCNV疾患の存在を検出するために使用され得る。OCT入力を分析する際に使用されるニューラルネットワークシステムは、任意の数のニューラルネットワークまたはニューラルネットワークの任意の組合せを含み得る。いくつかの実施形態では、ニューラルネットワークシステムは、1つまたは複数のニューラルネットワークを含む畳み込みニューラルネットワークシステムの形態をとり得る。いくつかの実施形態では、ニューラルネットワークシステムは、フィードフォワードニューラルネットワーク(FNN)、リカレントニューラルネットワーク(RNN)、モジュラーニューラルネットワーク(MNN)、畳み込みニューラルネットワーク(CNN)、残留ニューラルネットワーク(ResNet)、常微分方程式ニューラルネットワーク(ニューラルODE)、圧搾および励起組込み型ニューラルネットワーク、MobileNet、または別のタイプのニューラルネットワークのうちのいずれかを含み得る。様々な実施形態では、ニューラルネットワークシステムは、深層学習ニューラルネットワークまたは圧搾および励起(SE)組込み型ニューラルネットワークであり得る。
【0067】
システムの様々な実施形態では、CNV疾患の存在を検出することは、OCT入力を使用して患者の眼における網膜流体を検出することを備え、ここにおいて、網膜流体が、網膜内流体、網膜下流体、または網膜下色素上皮流体のうちの少なくとも1つを備える。システムの様々な実施形態では、OCT撮像データをコラプスさせることは、OCT入力を形成するために、患者の網膜色素上皮(RPE)層に関するOCT撮像データをコラプスさせることを備える。システムの様々な実施形態では、OCT撮像データをコラプスさせることは、RPE層に向かってOCT撮像データのOCT画像を平坦化することを備える。システムの様々な実施形態では、OCT撮像データをコラプスさせることは、RPE層に関するいくつかのピクセルをクロップすることを備える。
【0068】
システムの様々な実施形態では、CNV疾患の存在を検出するために使用される機械学習システムは、再較正モジュールを含み得る。様々な実施形態では、CNV疾患の存在を検出することは、機械学習システムに組み込まれた圧搾および励起モジュールを介して実施される。
【0069】
本明細書で開示される様々な実施形態に従って、コンピュータ可読命令を記憶した非一時的コンピュータ可読媒体が説明される。非一時的コンピュータ可読媒体は、コンピュータシステムが動作を実施することを引き起こすために実行可能なコンピュータ可読命令を含む。様々な実施形態では、動作は、たとえば、図1に関して説明されたCNV評価システム100など、CNV検出システムを使用して実施され得る。動作のコンピュータ可読命令は、患者の眼についての光コヒーレンストモグラフィ(OCT)撮像データを受信することと、OCT入力を形成するために、関心領域に関するOCT撮像データをコラプスさせることと、CNV疾患の存在についてOCT入力を分析することと、OCT入力を使用して、患者の眼におけるCNV疾患の存在を検出することとを含む。
【0070】
様々な実施形態では、CNV疾患の存在を検出することは、OCT入力を使用して患者の眼における網膜流体を検出することを備え、ここにおいて、網膜流体が、網膜内流体、網膜下流体、または網膜下色素上皮流体のうちの少なくとも1つを備える。
【0071】
様々な実施形態では、OCT撮像データをコラプスさせることは、OCT入力を形成するために、患者の網膜色素上皮(RPE)層に関するOCT撮像データをコラプスさせることを含む。様々な実施形態では、OCT撮像データをコラプスさせることは、RPE層に向かってOCT撮像データのOCT画像を平坦化することを備える。様々な実施形態では、OCT撮像データをコラプスさせることは、RPE層に関するいくつかのピクセルをクロップすることを備える。様々な実施形態では、CNV疾患の存在を検出することは、機械学習システムに組み込まれた圧搾および励起モジュールを介して実施される。
【0072】
IV.コンピュータ実装システム
図6は、様々な実施形態による、コンピュータシステムのブロック図である。コンピュータシステム600は、図1において上記で説明されたコンピューティングプラットフォーム102の一実装形態の例であり得る。1つまたは複数の例では、コンピュータシステム600は、情報を通信するためのバス602または他の通信機構と、情報を処理するための、バス602と結合されたプロセッサ604とを含むことができる。様々な実施形態では、コンピュータシステム600は、メモリをも含むことができ、メモリは、プロセッサ604によって実行されるべき命令を決定するための、バス602に結合されたランダムアクセスメモリ(RAM)606または他のダイナミックストレージデバイスであり得る。メモリはまた、プロセッサ604によって実行されるべき命令の実行中に一時的変数または他の中間情報を記憶するために使用され得る。様々な実施形態では、コンピュータシステム600は、プロセッサ604のための静的情報および命令を記憶するための、バス602に結合された読取り専用メモリ(ROM)608または他の静的ストレージデバイスをさらに含むことができる。磁気ディスクまたは光ディスクなど、ストレージデバイス610が、情報および命令を記憶するために提供され、バス602に結合され得る。
【0073】
様々な実施形態では、コンピュータシステム600は、コンピュータユーザに情報を表示するために、陰極線管(CRT)または液晶ディスプレイ(LCD)など、ディスプレイ612にバス602を介して結合され得る。英数字および他のキーを含む入力デバイス614が、プロセッサ604に情報およびコマンド選択を通信するためにバス602に結合され得る。別のタイプのユーザ入力デバイスは、方向情報およびコマンド選択をプロセッサ604に通信するための、およびディスプレイ612上のカーソル移動を制御するための、マウス、ジョイスティック、トラックボール、ジェスチャー入力デバイス、視線ベース入力デバイス、またはカーソル方向キーなど、カーソル制御616である。この入力デバイス614は、概して、2つの軸、すなわち、第1の軸(たとえば、x)および第2の軸(たとえば、y)における2つの自由度を有し、それは、デバイスが平面における位置を指定することを可能にする。しかしながら、3次元(たとえば、x、yおよびz)カーソル移動を可能にする入力デバイス614も、本明細書において企図されることを理解されたい。
【0074】
本教示のいくつかの実装形態に一貫して、プロセッサ604が、RAM606中に含まれている1つまたは複数の命令の1つまたは複数のシーケンスを実行したことに応答して、結果が、コンピュータシステム600によって提供され得る。そのような命令は、ストレージデバイス610など、別のコンピュータ可読媒体またはコンピュータ可読記憶媒体からRAM606の中に読み込まれ得る。RAM606中に含まれている命令のシーケンスの実行は、プロセッサ604が、本明細書で説明されるプロセスを実施することを引き起こすことができる。代替的に、本教示を実装するために、ハードワイヤード回路が、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて使用され得る。これにより、本教示の実装形態は、ハードウェア回路とソフトウェアとの任意の特定の組合せに限定されない。
【0075】
本明細書において使用される「コンピュータ可読媒体」(たとえば、データストア、データストレージ、ストレージデバイス、データストレージデバイスなど)または「コンピュータ可読記憶媒体」という用語は、実行のためにプロセッサ604に命令を提供することに関与する任意の媒体を指す。そのような媒体は、限定はされないが、不揮発性媒体、揮発性媒体、および伝送媒体を含む、多くの形態をとることができる。不揮発性媒体の例は、限定はされないが、ストレージデバイス610など、光、ソリッドステート、磁気ディスクを含むことができる。揮発性媒体の例は、限定はされないが、RAM606など、ダイナミックメモリを含むことができる。伝送媒体の例は、限定はされないが、バス602を備えるワイヤを含む、同軸ケーブル、銅線、および光ファイバーを含むことができる。
【0076】
コンピュータ可読媒体の共通の形式は、たとえば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、または任意の他の磁気媒体、CD-ROM、任意の他の光媒体、パンチカード、紙テープ、穴のパターンをもつ任意の他の物理媒体、RAM、PROM、およびEPROM、フラッシュEPROM、任意の他のメモリチップまたはカートリッジ、あるいはコンピュータがそれから読み取ることができる任意の他の有形媒体を含む。
【0077】
コンピュータ可読媒体に加えて、命令またはデータは、実行のためにコンピュータシステム600のプロセッサ604に1つまたは複数の命令のシーケンスを提供するために、通信装置またはシステム中に含まれた伝送媒体上でシグナルとして提供され得る。たとえば、通信装置は、命令およびデータを示すシグナルを有するトランシーバを含み得る。命令およびデータは、1つまたは複数のプロセッサが、本明細書の開示において概説される機能を実装することを引き起こすように構成される。データ通信伝送接続の代表例は、限定はされないが、電話モデム接続、ワイドエリアネットワーク(WAN)、ローカルエリアネットワーク(LAN)、赤外線データ接続、NFC接続、光通信接続などを含むことができる。
【0078】
本明細書において説明される方法論、フローチャート、ダイヤグラム、および添付の開示は、スタンドアロンデバイスとしてコンピュータシステム600を使用して、またはクラウドコンピューティングネットワークなどの共有コンピュータ処理リソースの分散型ネットワーク上で実装され得ることを諒解されたい。
【0079】
本明細書において説明される方法論は、適用例に応じて様々な手段によって実装され得る。たとえば、これらの方法論は、ハードウェア、ファームウェア、ソフトウェア、またはそれらの任意の組合せで実装され得る。ハードウェア実装形態の場合、処理ユニットは、1つまたは複数の特定用途向け集積回路(ASIC)、デジタルシグナルプロセッサ(DSP)、デジタルシグナル処理デバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書において説明される機能を実施するように設計された他の電子ユニット、またはそれらの組合せ内に実装され得る。
【0080】
様々な実施形態では、本教示の方法は、C、C++、Pythonなどの従来のプログラミング言語で記述されたファームウェアおよび/またはソフトウェアプログラムおよびアプリケーションとして実装され得る。ファームウェアおよび/またはソフトウェアとして実装される場合、本明細書において説明される実施形態は、コンピュータが、上記で説明された方法を実施することを引き起こすためのプログラムが記憶された非一時的コンピュータ可読媒体上で実装され得る。本明細書において説明される様々なエンジンは、コンピュータシステム600など、コンピュータシステムに提供され得、それによって、プロセッサ604は、メモリ構成要素であるRAM606、ROM608、またはストレージデバイス610のうちの任意の1つ、あるいはそれらの組合せによって提供された命令、および入力デバイス614を介して提供されたユーザ入力を受けて、これらのエンジンによって提供される分析および決定を実行することを理解されたい。
【0081】
V.人工ニューラルネットワーク
図7は、本開示の様々な実施形態による、コンピュータベースモデルを実装するために使用され得る例示的なニューラルネットワークを図示する。たとえば、ニューラルネットワーク700は、CNV評価システム100のCNV検出システム112を実装するために使用され得る。示されているように、人工ニューラルネットワーク700は、3つの層、すなわち、入力層702、隠れ層704、および出力層706を含む。層702、704、および706の各々は、1つまたは複数のノードを含み得る。たとえば、入力層702はノード708~714を含み、隠れ層704はノード716~718を含み、出力層706はノード722を含む。この例では、層における各ノードは、隣接する層中のあらゆるノードに接続される。たとえば、入力層702におけるノード708は、隠れ層704におけるノード716、718の両方に接続される。同様に、隠れ層におけるノード716は、入力層702におけるノード708~714および出力層706におけるノード722のすべてに接続される。ただ1つの隠れ層が、人工ニューラルネットワーク700について示されているが、CNV評価システム100のCNV検出システム112など、ニューラルネットワークシステムを実装するために使用される人工ニューラルネットワーク700は、必要なあるいは望まれる数の隠れ層を含み得ることが企図される。
【0082】
この例では、人工ニューラルネットワーク700は、入力値(入力1~4)のセットを受信し、出力値(出力5)をもたらす。入力層702における各ノードは、別個の入力値に対応し得る。たとえば、人工ニューラルネットワーク700が、CNV評価システム100のCNV検出システム112など、ニューラルネットワークシステムを実装するために使用されるとき、入力層702における各ノードは、OCT撮像データ110の別個の属性に対応し得る。
【0083】
いくつかの実施形態では、隠れ層704におけるノード716~718の各々は、ノード708~714から受信された入力値に基づいて値をもたらす数学的計算(またはアルゴリズム)を含み得る、表現を生成する。数学的計算は、ノード708~714から受信されたデータ値の各々に異なる重みを割り当てることを含み得る。ノード716および718は、ノード716~718の各々が、ノード708~714から受信された同じ入力値に基づいて異なる値をもたらし得るように、ノード708~714からのデータ変数に割り当てられる異なるアルゴリズムおよび/または異なる重みを含み得る。いくつかの実施形態では、ノード716~718の各々について特徴(または入力値)に最初に割り当てられる重みは、(たとえば、コンピュータランダマイザを使用して)ランダムに生成され得る。ノード716および718によって生成された値は、人工ニューラルネットワーク700の出力値をもたらすために出力層706におけるノード722によって使用され得る。人工ニューラルネットワーク700が、CNV評価システム100のCNV検出システム112など、ニューラルネットワークシステムを実装するために使用されるとき、人工ニューラルネットワーク700によってもたらされた出力値は、出力114を含み得る。
【0084】
人工ニューラルネットワーク700は、トレーニングデータを使用することによってトレーニングされ得る。たとえば、本明細書におけるトレーニングデータは、OCT撮像データ110からの画像のセットであり得る。人工ニューラルネットワーク700にトレーニングデータを提供することによって、隠れ層704におけるノード716~718は、最適な出力が、トレーニングデータに基づいて出力層706においてもたらされるように、トレーニング(調整)され得る。トレーニングデータの異なるセットを連続的に提供し、人工ニューラルネットワーク700の出力が正しくないときに(たとえば、正しくないGA病変セグメントを含むセグメンテーションマスクを生成したときに)人工ニューラルネットワーク700にペナルティーを課すことによって、人工ニューラルネットワーク700(および詳細には、隠れ層704におけるノードの表現)は、データ分類においてそれの性能を改善するようにトレーニング(調整)され得る。人工ニューラルネットワーク700を調整することは、隠れ層704における各ノードに関連する重みを調整することを含み得る。
【0085】
上記の議論は、機械学習の例として人工ニューラルネットワークに関係するが、他のタイプの機械学習方法も、本開示の様々な態様を実装するのに好適であり得ることを理解されたい。たとえば、サポートベクターマシン(SVM)が、機械学習を実装するために使用され得る。SVMは、分類および回帰のために使用される関係する教師あり学習方法のセットである。非確率的バイナリ線形分類器であり得るSVMトレーニングアルゴリズムは、新しい例が、あるカテゴリーに入るのか、別のカテゴリーに入るのかを予測するモデルを構築し得る。別の例として、ベイジアンネットワークが、機械学習を実装するために使用され得る。ベイジアンネットワークは、有向非環式グラフ(DAG)を用いてランダム変数のセットおよびそれらの条件付き独立性を表す、非環式確率的グラフィカルモデルである。ベイジアンネットワークは、ある変数と別の変数との間の確率的関係を提示することができる。別の例は、機械学習プロセスを行うために決定ツリー学習モデルを採用する、機械学習エンジンである。いくつかの事例では、決定ツリー学習モデルは、分類ツリーモデルならびに回帰ツリーモデルを含み得る。いくつかの実施形態では、機械学習エンジンは、回帰ツリーモデルとして勾配ブースティングマシン(GBM)モデル(たとえば、XGBoost)を採用する。他の機械学習技法が、たとえば、ランダムフォレストまたは深層ニューラルネットワークを介して機械学習エンジンを実装するために使用され得る。他のタイプの機械学習アルゴリズムは、簡潔さの理由で本明細書において詳細に論じられず、本開示は、特定のタイプの機械学習に限定されないことを理解されたい。
【0086】
VI.結論
本教示は、様々な実施形態とともに説明されるが、本教示がそのような実施形態に限定されることは意図されない。むしろ、本教示は、当業者によって諒解されるように、様々な代替形態、変更形態、および等価形態を包含する。
【0087】
たとえば、上記で説明されたフローチャートおよびブロック図は、様々な方法およびシステム実施形態の可能性がある実装形態のアーキテクチャ、機能性、および/または動作を図示する。フローチャートまたはブロック図中の各ブロックは、モジュール、セグメント、機能、動作またはステップの一部分、あるいはそれらの組合せを表し得る。実施形態のいくつかの代替実装形態では、ブロック中に記されている1つまたは複数の機能は、図中に記されている順序外で起こり得る。たとえば、いくつかの場合には、連続して示されている2つのブロックは、実質的に同時に実行され得る。他の場合には、ブロックは、逆の順序で実施され得る。さらに、いくつかの場合には、1つまたは複数のブロックが、フローチャートまたはブロック図中の1つまたは複数の他のブロックに取って代わるかまたはそれらを補足するために追加され得る。
【0088】
これにより、様々な実施形態を説明する際に、本明細書は、方法および/またはプロセスをステップの特定のシーケンスとして提示していることがある。しかしながら、方法またはプロセスが、本明細書において記載されているステップの特定の順序に依拠しない限り、方法またはプロセスは、説明されるステップの特定のシーケンスに限定されるべきでなく、当業者は、シーケンスが、変動され得、それでも様々な実施形態の趣旨および範囲内にとどまることを容易に諒解することができる。
【0089】
VII.実施形態の列挙
実施形態1.患者の眼についての光コヒーレンストモグラフィ(OCT)撮像データを受信することと、OCT入力を形成するために、関心領域に関するOCT撮像データをコラプスさせることと、脈絡膜血管新生(CNV)疾患の存在についてOCT入力を分析することと、OCT入力を使用して、患者の眼におけるCNV疾患の存在を検出することとを備える、方法。
実施形態2.CNV疾患の存在を検出することが、OCT入力を使用して患者の眼における網膜流体を検出することを備え、ここにおいて、網膜流体が、網膜内流体、網膜下流体、または網膜下色素上皮流体のうちの少なくとも1つを備える、実施形態1に記載の方法。
実施形態3.OCT撮像データをコラプスさせることが、OCT入力を形成するために、患者の眼の網膜色素上皮(RPE)層に関するOCT撮像データをコラプスさせることを備える、実施形態1または2に記載の方法。
実施形態4.OCT撮像データをコラプスさせることが、RPE層に向かってOCT撮像データの1つまたは複数のOCT画像を平坦化することを備える、実施形態3に記載の方法。
実施形態5.OCT撮像データをコラプスさせることが、RPE層に関するいくつかのピクセルをクロップすることを備える、実施形態3または4に記載の方法。
実施形態6.CNV疾患の存在を検出することが、再較正モジュールを含む機械学習システムを使用して実施される、実施形態1から5のいずれか1つに記載の方法。
実施形態7.CNV疾患の存在を検出することが、機械学習システムに組み込まれた圧搾および励起モジュールを介して実施される、実施形態1から6のいずれか1つに記載の方法。
実施形態8.システムであって、非一時的メモリと、非一時的メモリに結合されており、非一時的メモリから命令を読み取って、システムが患者の眼についての光コヒーレンストモグラフィ(OCT)撮像データを受信することと、OCT入力を形成するために、関心領域に関するOCT撮像データをコラプスさせることと、CNV疾患の存在についてOCT入力を分析することと、OCT入力を使用して、患者の眼におけるCNV疾患の存在を検出することとを備える動作を実施することを引き起こすように構成されたハードウェアプロセッサとを備える、システム。
実施形態9.CNV疾患の存在を検出することが、OCT入力を使用して患者の眼における網膜流体を検出することを備え、ここにおいて、網膜流体が、網膜内流体、網膜下流体、または網膜下色素上皮流体のうちの少なくとも1つを備える、実施形態8に記載のシステム。
実施形態10.OCT撮像データをコラプスさせることが、OCT入力を形成するために、患者の網膜色素上皮(RPE)層に関するOCT撮像データをコラプスさせることを備える、実施形態8または9に記載のシステム。
実施形態11.OCT撮像データをコラプスさせることが、RPE層に向かってOCT撮像データのOCT画像を平坦化することを備える、実施形態10に記載のシステム。
実施形態12.OCT撮像データをコラプスさせることが、RPE層に関するいくつかのピクセルをクロップすることを備える、実施形態10または11に記載のシステム。
実施形態13.CNV疾患の存在を検出することが、再較正モジュールを含む機械学習システムを使用して実施される、実施形態8から12のいずれか1つに記載のシステム。
実施形態14.CNV疾患の存在を検出することが、機械学習システムに組み込まれた圧搾および励起モジュールを介して実施される、実施形態8から13のいずれか1つに記載のシステム。
実施形態15.コンピュータシステムが患者の眼についての光コヒーレンストモグラフィ(OCT)撮像データを受信することと、OCT入力を形成するために、関心領域に関するOCT撮像データをコラプスさせることと、CNV疾患の存在についてOCT入力を分析することと、OCT入力を使用して、患者の眼におけるCNV疾患の存在を検出することとを備える動作を実施することを引き起こすために実行可能なコンピュータ可読命令を記憶した非一時的コンピュータ可読媒体。
実施形態16.CNV疾患の存在を検出することが、OCT入力を使用して患者の眼における網膜流体を検出することを備え、ここにおいて、網膜流体が、網膜内流体、網膜下流体、または網膜下色素上皮流体のうちの少なくとも1つを備える、実施形態15に記載の非一時的コンピュータ可読媒体。
実施形態17.OCT撮像データをコラプスさせることが、OCT入力を形成するために、患者の網膜色素上皮(RPE)層に関するOCT撮像データをコラプスさせることを備える、実施形態15または16に記載の非一時的コンピュータ可読媒体。
実施形態18.OCT撮像データをコラプスさせることが、RPE層に向かってOCT撮像データのOCT画像を平坦化することを備える、実施形態17に記載の非一時的コンピュータ可読媒体。
実施形態19.OCT撮像データをコラプスさせることが、RPE層に関するいくつかのピクセルをクロップすることを備える、実施形態15から18のいずれか1つに記載の非一時的コンピュータ可読媒体。
実施形態20.CNV疾患の存在を検出することが、機械学習システムに組み込まれた圧搾および励起モジュールを介して実施される、実施形態15から19のいずれか1つに記載の非一時的コンピュータ可読媒体。
図1
図2
図3
図4
図5
図6
図7
【国際調査報告】