(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-02-08
(54)【発明の名称】処置強度を予測するためのOCT画像を処理するための深層ニューラルネットワークフレームワーク
(51)【国際特許分類】
A61B 3/10 20060101AFI20230201BHJP
G06T 7/00 20170101ALI20230201BHJP
G06V 10/82 20220101ALI20230201BHJP
【FI】
A61B3/10 100
G06T7/00 350C
G06V10/82
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022533612
(86)(22)【出願日】2020-12-04
(85)【翻訳文提出日】2022-07-27
(86)【国際出願番号】 US2020063365
(87)【国際公開番号】W WO2021113674
(87)【国際公開日】2021-06-10
(32)【優先日】2019-12-06
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2020-04-30
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】509012625
【氏名又は名称】ジェネンテック, インコーポレイテッド
(74)【代理人】
【識別番号】100078282
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【氏名又は名称】森下 夏樹
(72)【発明者】
【氏名】カウジンスキ, マイケル グレッグ
(72)【発明者】
【氏名】ウィリス, ジェフリー アール.
(72)【発明者】
【氏名】ベングトソン, ニルス グスタフ トーマス
(72)【発明者】
【氏名】ダイ, ジアン
(72)【発明者】
【氏名】ガオ, サイモン シャン
【テーマコード(参考)】
4C316
5L096
【Fターム(参考)】
4C316AA09
4C316AA10
4C316AB02
4C316AB11
4C316FB21
5L096AA06
5L096BA06
5L096BA13
5L096CA02
5L096EA06
5L096EA35
5L096GA51
5L096HA11
5L096KA04
(57)【要約】
システムおよび方法は、加齢黄斑変性を効果的に処置するために投与される処置の特性を予測するための光断層撮影干渉(OCT)画像の処理に関する。処理は、画像を平坦化および/またはトリミングすることによって画像を前処理すること、およびニューラルネットワークを使用して前処理された画像を処理することを含み得る。ニューラルネットワークは、深層畳み込みニューラルネットワークを含み得る。ニューラルネットワークの出力は、眼内の血管系の漏出を防止するために処置(例えば、抗血管内皮増殖因子療法)が投与される予測される頻度および/または間隔を示し得る。
【特許請求の範囲】
【請求項1】
コンピュータ実装方法であって、
加齢黄斑変性がある被検体の眼に対応する光干渉断層撮影(OCT)画像にアクセスすることと、
前記OCT画像内で、網膜層に対応する画素のセットを特定することと、
前記画素のセットに基づいて前記OCT画像を平坦化することと、
平坦化されたOCT画像を使用して1つ以上のトリミングプロセスを実行して1つ以上のトリミング画像を生成することと、
前記被検体の前記眼の提案された処置スケジュールの特性に対応するラベルを生成することであって、前記ラベルが前記1つ以上のトリミング画像を使用して生成されることと、および
前記ラベルを出力することと、を含む、方法。
【請求項2】
前記1つ以上のトリミング画像が複数のトリミング画像を含み、前記複数のトリミング画像のそれぞれが、前記平坦化されたOCT画像内の種々のパッチを含み、前記ラベルを生成することが、
前記1つ以上のトリミング画像の各トリミング画像について、パッチ特有のニューラルネットワークを使用してパッチ特有の結果を生成すること、および
アンサンブルモデルを使用して前記パッチ特有の結果を処理することと、を含む、請求項1に記載のコンピュータ実装方法。
【請求項3】
前記ラベルが、連続する処置投与の間に流体が前記眼の血管から漏出しないように十分に有効であると予測される処置投与の頻度を示す、請求項1または2に記載のコンピュータ実装方法。
【請求項4】
前記提案された処置スケジュールの前記特性が、処置の連続投与間の間隔を示す、請求項1または2に記載のコンピュータ実装方法。
【請求項5】
前記トリミング画像に対応するサイズの画像を使用して前記パッチ特有のニューラルネットワークを訓練する、請求項2~4のいずれか一項に記載のコンピュータ実装方法。
【請求項6】
前記網膜層が網膜色素上皮層を含む、請求項1~5のいずれか一項に記載のコンピュータ実装方法。
【請求項7】
前記提案された処置スケジュールが、抗血管内皮増殖因子を投与するための提案されたスケジュールを含む、請求項1~6のいずれか一項に記載のコンピュータ実装方法。
【請求項8】
前記ラベルが、前記1つ以上のトリミング画像をニューラルネットワークに入力することによって生成される、請求項1~7のいずれか一項に記載のコンピュータ実装方法。
【請求項9】
システムであって、
1つ以上のデータプロセッサと、
命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令が、前記1つ以上のデータプロセッサ上で実行されると、前記1つ以上のデータプロセッサに、動作のセットを実行させる、非一時的コンピュータ可読記憶媒体と、を備え、前記動作のセットが、
加齢黄斑変性がある被検体の眼に対応する光干渉断層撮影(OCT)画像にアクセスすることと、
前記OCT画像内で、網膜層に対応する画素のセットを特定することと、
前記画素のセットに基づいて前記OCT画像を平坦化することと、
平坦化されたOCT画像を使用して1つ以上のトリミングプロセスを実行して1つ以上のトリミング画像を生成することと、
前記被検体の前記眼の提案された処置スケジュールの特性に対応するラベルを生成することであって、前記ラベルが前記1つ以上のトリミング画像を使用して生成されることと、および
前記ラベルを出力することと、を含む、システム。
【請求項10】
前記1つ以上のトリミング画像が複数のトリミング画像を含み、前記複数のトリミング画像のそれぞれが前記平坦化されたOCT画像内の種々のパッチを含み、前記ラベルを生成することが、
前記1つ以上のトリミング画像の各トリミング画像について、パッチ特有のニューラルネットワークを使用してパッチ特有の結果を生成することと、および
アンサンブルモデルを使用して前記パッチ特有の結果を処理することと、を含む、請求項9に記載のシステム。
【請求項11】
前記ラベルが、連続する処置投与の間に流体が前記眼の血管から漏出しないように十分に有効であると予測される処置投与の頻度を示す、請求項9または10に記載のシステム。
【請求項12】
前記提案された処置スケジュールの前記特性が、処置の連続投与間の間隔を示す、請求項9または10に記載のシステム。
【請求項13】
前記トリミング画像に対応するサイズの画像を使用して前記パッチ特有のニューラルネットワークを訓練する、請求項10~12のいずれか一項に記載のシステム。
【請求項14】
前記網膜層が網膜色素上皮層を含む、請求項9~13のいずれか一項に記載のシステム。
【請求項15】
前記提案された処置スケジュールが、抗血管内皮増殖因子を投与するための提案されたスケジュールを含む、請求項9~14のいずれか一項に記載のシステム。
【請求項16】
1つ以上のデータプロセッサに、動作のセットを実行させるように構成された命令を含む、非一時的機械可読記憶媒体に有形に具現化されたコンピュータプログラム製品であって、前記動作のセットが、
加齢黄斑変性がある被検体の眼に対応する光干渉断層撮影(OCT)画像にアクセスすることと、
前記OCT画像内で、網膜層に対応する画素のセットを特定することと、
前記画素のセットに基づいて前記OCT画像を平坦化することと、
平坦化されたOCT画像を使用して1つ以上のトリミングプロセスを実行して1つ以上のトリミング画像を生成することと、
前記被検体の前記眼の提案された処置スケジュールの特性に対応するラベルを生成することであって、前記ラベルが前記1つ以上のトリミング画像を使用して生成されることと、および
前記ラベルを出力することと、を含む、コンピュータプログラム製品。
【請求項17】
前記1つ以上のトリミング画像が複数のトリミング画像を含み、前記複数のトリミング画像のそれぞれが、前記平坦化されたOCT画像内の種々のパッチを含み、前記ラベルを生成することが、
前記1つ以上のトリミング画像の各トリミング画像について、パッチ特有のニューラルネットワークを使用してパッチ特有の結果を生成することと、および
アンサンブルモデルを使用して前記パッチ特有の結果を処理することと、を含む、請求項16に記載のコンピュータプログラム製品。
【請求項18】
前記ラベルが、連続する処置投与の間に流体が前記眼の血管から漏出しないように十分に有効であると予測される処置投与の頻度、または連続する処置投与の間隔を示す、請求項16または17に記載のコンピュータプログラム製品。
【請求項19】
前記トリミング画像に対応するサイズの画像を使用して前記パッチ特有のニューラルネットワークを訓練する、請求項17または18に記載のコンピュータプログラム製品。
【請求項19】
加齢黄斑変性がある被検体の眼を処置する方法であって、
加齢黄斑変性がある前記被検体の前記眼の少なくとも一部を描写するOCT画像にアクセスすることと、
機械学習モデルを使用して前記OCT画像の処理を開始することであって、前記処理が、前記OCT画像を平坦化することと、ニューラルネットワークを使用して前記平坦化されたOCT画像の少なくとも一部を処理することとを含むことと、
前記OCT画像の前記処理の結果にアクセスすることであって、前記結果が、前記被検体の前記眼に対する提案された処置スケジュールの特性を示すことと、および
前記提案された処置スケジュールに従って前記被検体の前記眼を処置することと、を含む、方法。
【請求項20】
前記提案された処置スケジュールに従って前記被検体の前記眼を処置することが、前記提案された処置スケジュールに従って前記眼に抗血管内皮増殖因子を投与することを含む、請求項19に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2019年12月6日に出願された米国仮特許出願第62/944,815号および2020年4月30日に出願された米国仮特許出願第63/017,898号の利益および優先権を主張する。これらの出願の各々は、あらゆる目的のためにその全体が参照により本明細書に組み込まれる。
【背景技術】
【0002】
背景
加齢黄斑変性(AMD)は、60歳を超える人々の視力喪失の主な原因である。ほとんどの個人について、AMDは最初は乾燥型のAMDとして現れ、湿潤型のAMDに進行する。乾燥型では、網膜上の黄斑の下に小さな沈着物(ドルーゼン)が形成され、網膜の経時的な劣化の原因となる。湿性型では、異常な血管が黄斑に向かって成長する。血管は頻繁に破壊され、流体を漏出させ、これにより、黄斑がその基部から分離し、重度かつ急速な視力喪失をもたらし得る。
【0003】
抗血管内皮増殖因子(aVEGF)剤は、湿潤型AMDを処置するために頻繁に使用される。具体的には、aVEGF剤は、被検体の網膜を乾燥させ得、その結果、被検体の湿潤型AMDをより良好に制御して、永久視力喪失を低減または予防し得る。しかしながら、aVEGF剤は硝子体内注射によって投与され、これは被検体には好ましくなく、副作用(例えば、眼の充血、眼の痛み、感染症)の可能性を伴う。したがって、aVEGF注射の最小有効頻度を特定しようと試みるプロトコルが存在する。これらの技術の多くは、推測およびチェックアプローに類似している。
【0004】
そのような技術の1つは、前の注入間期間の後に新たな漏れが観察されない限り、注射間間隔がゆっくりと延長される処理拡張プロトコルである。この手法の欠点は、注入頻度が十分なレベルに上昇する前に、一部の被検体が新たな漏れを経験することである。
【0005】
過剰な注射を回避しながら効果的に眼を乾燥状態に保つのに十分なaVEGF注射スケジュールを決定するための客観的な被検体特異的アプローチを同定することが有利であろう。
【発明の概要】
【課題を解決するための手段】
【0006】
概要
加齢黄斑変性(例えば、浸潤型加齢黄斑変性)がある検体の眼に対応する光干渉断層撮影(OCT)画像にアクセスする。OCT画像内で、網膜層に対応する画素のセットが特定される。OCT画像は、画素のセットに基づいて平坦化される。1つ以上のトリミングプロセスは、平坦化されたOCT画像を使用して実行され、1つ以上のトリミング画像を生成する。被検体の眼に対する提案された処置スケジュールの特性に対応するラベルは、1つ以上のトリミング画像を使用して生成される。ラベルが出力される。
【0007】
1つ以上のトリミング画像は、複数のトリミング画像を含み得、複数のトリミング画像の各々は、平坦化されたOCT画像内の種々のパッチを含む。ラベルを生成することは、1つ以上のトリミング画像の各トリミング画像について、パッチ固有のニューラルネットワークを使用してパッチ特有の結果を生成することを含み得る。パッチ特有のニューラルネットワークは、トリミング画像に対応するサイズの他の画像で訓練されていてもよい。1つ以上のトリミング画像を処理することは、アンサンブルモデルを使用してパッチ特有の結果を処理することをさらに含み得る。
【0008】
ラベルは、処置投与の頻度(例えば、連続的な処置投与の間に眼の血管から流体が漏出しないように十分に有効であると予測される)および/または処置の連続投与間の間隔(例えば、連続的な処置投与の間に眼の血管から流体が漏出しないように十分に有効であると予測される)を示し得る。提案された処置スケジュールの特性は、処置投与の頻度(例えば、連続的な処置投与の間に眼の血管から流体が漏出しないように十分に有効であると予測される)を含み得、および/または処置の連続投与間の間隔(例えば、連続的な処置投与の間に眼の血管から流体が漏出しないように十分に有効であると予測される)を含み得る。
【0009】
ニューラルネットワークは、少なくとも5つの畳み込みブロックを有し、10,000未満の学習可能パラメータを有する深層畳み込みニューラルネットワークを含み得る。網膜内の網膜層(例えば、その描写は平坦化のために使用される)は、網膜色素上皮層を含み得る。提案された処置スケジュールは、抗血管内皮増殖因子を投与するための提案されたスケジュールを含み得る。ラベルは、1つ以上のトリミング画像をニューラルネットワーク(例えば、1つ以上の畳み込みニューラルネットワークおよび/またはアンサンブルニューラルネットワークを含む)に入力することによって生成されていてもよい。
【0010】
いくつかの実施形態では、1つ以上のデータプロセッサと、1つ以上のデータプロセッサ上で実行されると、1つ以上のデータプロセッサに、本明細書に開示された1つ以上の方法の一部または全部を実行させる命令を含む非一時的コンピュータ可読記憶媒体と、を含む、システムが提供される。
【0011】
いくつかの実施形態では、非一時的機械可読記憶媒体に有形に具現化され、1つ以上のデータプロセッサに、本明細書に開示された1つ以上の方法の一部または全部を実行させるように構成された命令を含む、コンピュータプログラム製品が提供される。
【0012】
いくつかの実施形態では、加齢黄斑変性がある被検体の眼を処置する方法が提供される。加齢黄斑変性(例えば、湿潤型加齢黄斑変性)がある被検体の眼の少なくとも一部を描写するOCT画像にアクセスされる。OCT画像の処理は、機械学習モデルを使用して開始される。処理は、OCT画像を平坦化することと、ニューラルネットワークを使用して平坦化されたOCT画像の少なくとも一部を処理することとを含む。OCT画像の処理の結果にアクセスする。結果は、被検体の眼に対する提案された処置スケジュールの特性を示す。被検体の眼は、提案された処置スケジュールに従って処置される。
【0013】
提案された処置スケジュールに従って被検体の眼を処置することは、提案された処置スケジュールに従って眼に抗血管内皮増殖因子を投与することを含み得る。
本開示のいくつかの実施形態は、1つ以上のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、1つ以上のデータプロセッサ上で実行されると、1つ以上のデータプロセッサに、本明細書に開示された1つ以上の方法の一部または全部および/または1つ以上のプロセスの一部または全部を実行させる命令を含む非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、1つ以上のデータプロセッサに、本明細書に開示された1つ以上の方法の一部または全部および/または1つ以上のプロセスの一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。
【0014】
使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴の均等物またはその一部を除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、特許請求の範囲に記載された本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者によってあてにされてもよく、そのような変更および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあると見なされることを理解されたい。
【0015】
本開示は、以下の添付の図面と併せて説明される:
【図面の簡単な説明】
【0016】
【
図1】
図1は、いくつかの実施形態に対応する眼障害の処置に有効な処置スケジュールを予測するために光干渉断層撮影(OCT)画像を収集および分析するためのネットワークのブロック図を示す。
【0017】
【
図2】
図2は、処置投与スケジュールに対応するラベルを生成するために深層ニューラルネットワークを使用してOCT画像を処理するための例示的なプロセスのフローチャートを示す。
【0018】
【
図3A】
図3Aは、被検体の眼の種々の深度に関連する複数の2次元OCT画像を示す。
【
図3B】
図3Bは、被検体の眼の種々の深度に関連する複数の2次元OCT画像を示す。
【
図3C】
図3Cは、被検体の眼の種々の深度に関連する複数の2次元OCT画像を示す。
【0019】
【
図4A】
図4Aは、それぞれ、平坦化されていないOCT画像および平坦化されたOCT画像を示す。
【
図4B】
図4Bは、それぞれ、平坦化されていないOCT画像および平坦化されたOCT画像を示す。
【0020】
【
図5】
図5は、データを処理するためにディープラーニングネットワークを訓練および使用するためのディープラーニングパイプラインを示す。
【0021】
【
図6A】
図6Aは、個々のOCT画像が、関連する眼が高-強度aVEGF処置または低強度aVEGF処置を受けることになる症例に対応するかどうかを予測する高密度ニューラルネットワークによって生成された(第1の標識フレームワークに関連する)標識に基づく集約されたレシーバオペレータ曲線(ROC)をそれぞれ示す。
【
図6B】
図6Bは、個々のOCT画像が、関連する眼が高強度aVEGF処置または低強度aVEGF受けることになる症例に対応するかどうかを予測する高密度ニューラルネットワークによって生成された(第1の標識フレームワークに関連する)標識に基づく集約されたレシーバオペレータ曲線(ROC)をそれぞれ示す。
【0022】
【
図6C】
図6Cは、OCT画像を処理するためにランダムフォレストモデルを使用することによって生成された処置強度予測(第1の標識フレームワークに関連する)の精度を特徴付けるROCを示す。
【0023】
【
図7A】
図7Aは、種々のOCT画像が、関連する眼が高強度aVEGF処置または低強度aVEGF処置を受けることになる場合に対応するかどうかを予測する高密度ニューラルネットワークによって生成された(第2の標識フレームワークに関連する)標識に基づくROCをそれぞれ示す。
【
図7B】
図7Bは、種々のOCT画像が、関連する眼が高強度aVEGF処置または低強度aVEGF処置を受けることになる場合に対応するかどうかを予測する高密度ニューラルネットワークによって生成された(第2の標識フレームワークに関連する)標識に基づくROCをそれぞれ示す。
【0024】
【
図7C】
図7Cは、OCT画像を処理するためにランダムフォレストモデルを使用することによって生成された処置強度予測(第2の標識フレームワークに関連する)の精度を特徴付けるROCを示す。
【発明を実施するための形態】
【0025】
添付の図面において、類似の構成要素および/または特徴は、同じ参照ラベルを有し得る。さらに、同じタイプの様々な構成要素は、参照ラベルの後に類似の構成要素を区別するダッシュおよび第2のラベルを続けることによって区別され得る。本明細書において第1の参照ラベルのみが使用される場合、説明は、第2の参照ラベルに関係なく、同じ第1の参照ラベルを有する類似の構成要素のいずれかに適用可能である。
【0026】
詳細な説明
I.概要
本開示は、光干渉断層撮影(OCT)画像の処理に基づいて、所与の被検体および所与の眼に対する処置スケジュールの特性を予測することに関する。処置スケジュールにより、抗-血管内皮増殖因子(aVEGF)の複数回投与がいつ投与されるべきかが示され得る。aVEGF剤は、(例えば)ラニビズマブもしくはベバシズマブを含み得る。aVEGF処置特性は、(例えば)処置投与の頻度、連続する処置投与の間の1つ以上の期間、または所与の期間内に処置が投与されるべき回数を示し得る。いくつかの例では、aVEGF処置特性により、代替的または追加的に、投与される活性成分の投与量が特定される。
【0027】
所与の眼は、加齢黄斑変性および/または湿潤型加齢黄斑変性などの黄斑変性を有していた(例えば、診断された可能性がある)と判断される可能性がある。
【0028】
一実施形態では、OCT画像は前処理され、網膜色素上皮などの特定の生物学的構造の描写に基づいて画像が平坦化される。前処理は、平坦化された画像をトリミングして、直線化された網膜色素上皮描写から比較的遠い画像の部分を除外することをさらに含む。
【0029】
次に、前処理された画像は訓練されたニューラルネットワーク(例えば、深層ニューラルネットワークおよび/または畳み込みニューラルネットワーク)に入力され、眼に有効である(例えば、例えば、眼の加齢黄斑変性、例えば湿潤型加齢黄斑変性を処置するために)と予測される処置スケジュールに対応するラベルが生成される。より具体的には、ラベルは、治療薬(例えば、連続的なaVEGFの注射)の連続投与間の血管漏出を防ぐのに有効であると予測される処置スケジュールの特性を示し得る。
【0030】
ラベルは、1以上の数字(例えば、処置投与の提案された頻度、所定の期間について提案された処置投与の回数、または連続する処置投与間の提案された間隔を特定すること)、1以上のカテゴリ(例えば、「低」、「中」、または「高」頻度識別子)、および/または1以上のバイナリインジケータ(「低」または「低ではない」頻度識別子)を含み得る。例えば、「低」ラベルは、所定の閾値または値に等しい(または潜在的にはそれを下回る)処置投与回数または頻度が、所与の被検体の眼に対する処置投与間の漏出を防ぐのに有効であることを予測し得る。別の例として、「高」ラベルは、高強度処置(例えば、処置投与回数または頻度閾値または値を使用して定義される)が使用されない限り、所与の被検体の眼に対して処置投与間の漏出が起こると予測されることを示し得る。閾値は、絶対値および期間として定義され得る(例えば、5回以下の処置が20ヶ月の期間にわたって投与される場合、低ラベルとされ、15回以上の処置が20ヶ月の期間にわたって投与される場合、高ラベルとされ、6回~14回の処置が20ヶ月の期間にわたって投与される場合、中ラベルとされるように)。いくつかの例では、ラベルは、処置投与の頻度に対する閾値を使用して定義される(例えば、平均して、処置が3ヶ月に1回未満の割合で投与される場合、「低」ラベルとされ、平均して、処置が少なくとも毎月1回の割合で投与される場合、「高」ラベルとされる)
【0031】
各ラベルは、ニューラルネットワーク内の活性化層を介して生成し得る。
【0032】
いくつかの例では、処置-投与スケジュールのセットが定義される。例えば、第1のスケジュールは、投与量がベースライン時間から1ヶ月、2ヶ月、4ヶ月、6ヶ月、9ヶ月、および12ヶ月で送達されることを示し得る。第2のスケジュールは、投与量が1ヶ月、2ヶ月、3ヶ月、4.5ヶ月、6ヶ月、8ヶ月、10ヶ月、および12ヶ月で送達されることを示し得る。次いで、ラベルは、処置-投与スケジュールのセットの特定の1つを特定し得る。
【0033】
ラベルは、初期(またはオンボーディング)の処置の投与後の維持療法のスケジュールの特性を示し得る。例えば、初期の処置は、特定のスケジュール(例えば、3ヶ月間の毎月の投与)に従って投与される特定の数の処置投与からなると定義され得る。初期の処置は、必ずしもそうである必要はないが、被検体にわたって同じ種類の治療薬および同じ特定のスケジュールを使用し得る。維持処置は、初期で使用される治療薬と同じまたは異なる治療薬を使用し得るが、使用する必要はない。
【0034】
ニューラルネットワークは、ネットワークの表現力を指数関数的に増加させ得る複数の畳み込みブロック(例えば、10個の畳み込みブロック)を含み得る深層ネットワークを含み得る。ニューラルネットワークは、さらにまたは代替的に、乏しくてもよく(例えば、6,000未満の学習可能なパラメータを有する)、これにより、ネットワークを比較的少ない計算リソースで迅速に(例えば、期間(epoch)あたり1分未満)訓練することが可能になる。ニューラルネットワークは、入力空間サイズに対して不変である完全畳み込みニューラルネットワークを含み得る。
【0035】
ニューラルネットワークは、前処理された訓練用OCT画像のパッチのセットを使用して訓練し得る。データ増強は、単一のOCT画像から複数のパッチ(例えば、種々のサイズおよび/または種々の相対位置のもの)を抽出することによって実行し得る。いくつかの例では、単一のニューラルネットワーク(例えば、フレキシブルCNN)は、種々のサイズのパッチを使用して訓練される。いくつかの例では、複数のニューラルネットワークの各々は、所与のパッチサイズおよび/または所与の相対パッチ位置に関連付けられ、所与のパッチサイズおよび/または所与の相対パッチ位置の画像を使用して訓練される。ニューラルネットワークは、複数のパッチ-サイズに特異的なニューラルネットワークからの結果を集約および処理するように構築および訓練されたアンサンブルモデルを含み得る。ニューラルネットワークを訓練しながら、交差検証技術を使用し得る。例えば、交差検証技術は、5倍交差-検証またはモンテカルロ交差検証を含み得、これは、スケーラブルであり、フォールトトレラントであり、プール可能であり、分散モデル訓練、選択、および/または評価を支援するという利点を有し得る。
【0036】
処置スケジュールの特性を特定するラベルを出力し、医療提供者に提供し得る。いくつかの例では、出力は、特定された処置スケジュール特性が維持-療法期間と潜在的に関連付けられるものであることを示し得る(または表し得る)。医療提供者は、処置アプローチの選択を知らせるためにラベルを使用し得る。例えば、医療提供者は、ラベルによって示される処置スケジュール特性を有するスケジュールによって、処置(例えば、aVEGF)を推奨および/または規定し得る。
【0037】
II.定義
本明細書で使用される場合、AMDの「有効な」処置は、投与された投与量間で新たな血-管漏出が観察されないか、または視力の低下が観察されない処置(例えば、特定の処置スケジュールに従って投与される)が観察されるシナリオを含み得る。いくつかの例では、有効な処置は最小有効処置を含む。例えば、複数の処置スケジュールがAMDの処置に有効であり得、その場合、最小有効処置は、(例えば)ある期間にわたる最小量の処置投与、ある期間にわたる最低頻度の処置投与、連続する処置投与間の最長平均期間、ある期間にわたって投与される最低総投与量の処置を含む処置スケジュールを使用し得ることが理解されよう。
【0038】
本明細書で使用される場合、処置「スケジュール」は、特定の処置の複数の処置のそれぞれがいつ投与されるかを示す。処置スケジュールにより、(例えば)日付のセット、1つ以上の投与期間、または投与頻度を特定し得る。例えば、処置スケジュールは、特定の処置が月に1回投与されることを示し得る。いくつかの例では、処置スケジュールは1つ以上の範囲を含む。例えば、処置スケジュールは、1つ以上の処置投与量のそれぞれが以前の処置投与から7~9週間の間のいずれかの時点で投与されることを示す投与間隔を特定し得る。
【0039】
III.OCT画像を用いて処置スケジュールラベルを作成するためのネットワーク
図1は、本発明のいくつかの実施形態による、眼障害を処置するのに有効な処置投与スケジュールを予測するために光干渉断層撮影(OCT)画像を収集および分析するためのネットワーク100のブロック図を示す。ネットワーク100は、各々が被検体の眼の少なくとも一部を描写する、1つ以上の画像を収集するように構成された1つ以上の撮像システム105を含む。
【0040】
撮像システム105は、OCT撮像技術を使用して光干渉断層撮影(OCT)画像を収集するように構成し得る。OCTは、光波を用いて眼の断面画像を構築する非侵襲的技術である。撮像システム105は、干渉計を含み得る(例えば、光源ビームスプリッタおよび参照ミラーを含み得る)。例えば、光源は、ビームスプリッタによって分割され得る光ビーム(例えば、低コヒーレンス近-赤外光ビーム)を生成し得る。分割光ビームの第1の部分は、被検体の眼に向けられてもよく、分割光ビームの第2の部分は、参照ミラーに向けられてもよい。眼および参照ミラーからの後方散乱光を組み合わせ得、組み合わせた光を分析して干渉を測定し得る。より多くの光を反射する標的組織の領域は、より多くの干渉をもたらし得る。
【0041】
各走査は、複数の位置に関連する干渉情報を生成するために光ビームを横方向に誘導することによって生成し得る。Aスキャンのセットの各々は、特定のスキャン関連深度に対応するように定義し得る。各Aスキャンは、一次元スキャンであり得る。次いで、Aスキャンのセット(例えば、128、256回または512回のAスキャン)を互いに位置合わせして、2次元Bスキャンを生成し得る。
【0042】
Bスキャンは、(例えば)網膜、黄斑および/または視神経の少なくとも一部を描写し得る。眼の特定の層の間の厚さおよび/または様々な層の間の形状は、血管が破裂して眼の中(例えば、網膜、網膜下または色素下上皮腔)に漏出したかどうかを示し得る。
【0043】
撮像システム105は、計算動作に役に立つ1つ以上のプロセッサおよび/または1つ以上のメモリをさらに含み得る。例えば、計算動作は、複数のAスキャンを使用してBスキャンを生成すること、強度値を正規化すること、解像度を変更すること、および/または1つ以上のフィルタを適用することを含み得る。所与の眼(例えば、複数のAスキャンのセットに基づく)に対して複数のBスキャンを生成し得ることが理解されよう。複数のBスキャンの各々は、異なる深度に関連付けられ得る。
【0044】
撮像システム105は、画像をOCT画像処理コントローラ110に送信し、および/または別の方法に役立ち得る。例えば、撮像システム105は、1つ以上の識別子に関連して画像をリモートデータストアにアップロードし得、リモートデータストアは、OCT画像処理コントローラ110に部分的または全体的にアクセス可能であり得る。別の例として、撮像システム105は、眼の1つ以上の画像をクライアントシステム115に送信し得、次いで、画像をOCT画像処理コントローラ110に送信し、または利用し得る。クライアントシステム115は、撮像システム105で眼が撮像された被検体にケアを提供している医療提供者(例えば、医師、病院、眼科医、医療技術者など)に関連付けられたコンピューティングシステムであり得る。
【0045】
OCT画像処理コントローラ110は、画像を前処理するように構成された前処理コントローラ120(例えば、1つ以上のBスキャン)を含み得る。前処理を実行して、様々なタイプの機械および/または環境によって引き起こされる画像の変動を軽減し得る。例えば、前処理は、画像の解像度を変更すること、画像のズームを変更すること、および/または画像の強度分布を変更すること(例えば、正規化技術または標準化技術を適用することによって)を含み得る。
【0046】
眼の自然な湾曲により、Bスキャンは湾曲した層を描写し得る。したがって、前処理は、画像を平坦化することを含み得る。画像を平坦化することは、所与の構造の描写の位置を最初に推定することを含み得る。位置は、画素のセットとして定義され得る。構造は、網膜色素上皮を含み得る。
【0047】
構造を検出することは、セグメント化を実行することを含み得る。構造を検出することは、代替的または追加的に、フィルタ(例えば、ガウシアンフィルタ)を適用して画像のノイズを除去することを含み得る。次に、各列内で、列全体の最高強度に関連付けられた1つ以上の画素が、構造に対応するものとして事前に特定され得る。平滑化関数を使用して、列にわたって比較的連続した画素の選択を促進し得る。次いで、平坦化は、選択された画素(例えば、最高強度に関連する)が行に整列するように、列を互いに対してシフトさせることによって実施し得る。
【0048】
いくつかのケースでは、平坦化は、生物学的構造(例えば、フィルタを適用し、次いでフィルタリングされた画像を閾値化することによって)をセグメント化し、次いで、セグメント化された画素に関数を適合させることを含み得る。関数はスプライン関数を含み得る。画像の列は、スプライン関数を平坦化するために互いに対してシフトされ得る。
【0049】
前処理は、平坦化された画像の一部を切り取ることを含み得る。トリミングは、目標サイズの画像を生成するために実行され得る。トリミングは、画像の上部および/または画像の下部を除去するために実行され得る。トリミングは、平坦化された生体構造よりも第1の閾値を上回る、およびまたは平坦化された整体構造よりも第2の閾値を上回る全ての画素を削除するために実行され得る。いくつかの例では、平坦化に続いて画素強度変更(例えば、正規化または標準化)が実行される。
【0050】
画像の少なくとも一部は、対応するラベルと共にニューラルネットワークを訓練するために使用し得る。対応するラベルは、画像の収集後の期間にわたって投与された処置の1つ以上の特性を示し得る。すなわち、訓練データセット内の各画像について、それが収集された日付をベースライン時間として定義し得る。処置が特徴付けられる期間は、(例えば)ベースライン時間、ベースライン時間の1ヶ月後、ベースライン時間の2ヶ月後、またはベースライン時間の3ヶ月後に開始し得る。いくつかの例では、初期処置はベースライン時間の直後または直前に開始され、監視される期間は初期処置の完了後に開始するように定義される。
【0051】
処理データストア125は、ラベルを決定するために使用される情報を含んでもよく、またはラベル自体を含んでもよい。例えば、処置データストア125は、被検体のセットの各々について、被検体または画像に関連付けられた識別子を含み、観察された処置情報も含むレコードを含み得る。観察された処置情報は、投与された処置の種類、処置が投与された日付、処置投与間の間隔、および/または期間にわたって投与された処置の量を特定し得る。
【0052】
OCT画像処理コントローラ110は、ベースライン画像および対応する処置ラベルデータを含む訓練データにアクセスし得るOCT画像処理訓練コントローラ130を含み得る。いくつかの例では、OCT画像処理訓練コントローラ130は、各訓練データベースライン画像に関連付けるラベルを生成し得る。ラベルは、ベースライン画像に関連付けられた識別子に対応する処置データ(例えば、処置データ記憶装置125から)に基づいて生成され得る。例えば、ラベルは、監視された期間(例えば、対応する期間内の処置投与日を照会することによって、ベースライン画像に対応する識別子に関連付けられる)にわたって投与された処置(例えば、特定の種類の)の量を特定し得る。別の例として、ラベルは、最後の2回の処置投与間の間隔、または複数の連続する処置投与対間の平均(または中央)間隔を識別し得る。いくつかの例では、処理データストア125が、ラベル自体を記憶することが理解されよう。
【0053】
OCT画像処理訓練コントローラ130は、前処理された画像および訓練データセットに関連付けられたラベルを使用して、1つ以上のニューラルネットワークを訓練し得る。ニューラルネットワークは、1つ以上の深層ニューラルネットワークおよび/または1つ以上の畳み込みニューラルネットワークを含み得る。ニューラルネットワークの各々は、少なくとも1個、少なくとも2個、少なくとも5個、少なくとも10個、少なくとも15個、または少なくとも20個の畳み込みブロックを含むように構成され得る。一つ以上の深層畳み込みニューラルネットワークの各々は、20,000個未満の学習可能パラメータ、10,000個未満の学習可能パラメータ、6,000個未満の学習可能パラメータ、または3,000個未満の学習可能パラメータを有する薄いニューラルネットワークとし得る。
【0054】
いくつかの例では、ニューラルネットワークは、複数のニューラルネットワークを含み得る。各ニューラルネットワークは、種々のサイズの画像を処理するように訓練され、および/または各ニューラルネットワークは、種々の位置に対応するパッチを処理するように訓練される。したがって、いくつかの例では、初期前処理は画像レベルで実行される(例えば、画像を平坦化しトリミングするために)。後続の前処理は、(例えば)平坦化画像およびトリミング画像から特定のパッチを抽出することによって特定のニューラルネットワークの入力を準備するために実行されてもよく、パッチのサイズおよび位置は、特定のニューラルネットワークに関連するメタデータに基づいて決定される。例えば、複数のニューラルネットワークは、128×128画素を有するパッチを処理するように訓練されたニューラルネットワークの第1のセット、256×256画素を有するパッチを処理するように訓練されたニューラルネットワークの第2のセット、512×512画素を有するパッチを処理するように訓練されたニューラルネットワークの第3のセット、1024×1024画素を有するパッチを処理するように訓練されたニューラルネットワークの第4のセット、画像全体を処理するように訓練された別のニューラルネットワーク(低レベル画像ベースのネットワーク)を含む。ニューラルネットワークの所与のセット(例えば、第1のセット、第2のセットなど)の各々は、画像領域の所与の位置に関連付けることが可能であり、第1のセットに関連付けられた領域は、画像領域を-重複してまたは重複しないように並べ得る。
【0055】
複数のニューラルネットワークからの出力は、結果を統合し得るさらに別のニューラルネットワーク(例えば、コミッティマシン)に入力し得、その結果、ニューラルネットワークは集合的にアンサンブルモデルとして機能する。例えば、他のニューラルネットワークは、各種のニューラルネットワークの出力に適用される重みを学習するように構成され得る。いくつかの例では、統合ネットワークは、所与の低レベルのニューラルネットワーク(例えば、特定のパッチに関連付けられる)の各出力に適用される単一の重みを学習する。いくつかの例では、統合ネットワークは、より複雑な関係を学習し、所与のニューラルネットワークの出力に適用される重みは、(例えば)所与のニューラルネットワークからの出力および/または1つ以上の他のニューラルネットワークの各々からの出力に依存し得る。いくつかの例では、各パッチ特有のニューラルネットワークは、出力および信頼性の測定基準のいずれをも生成するように構成される。次いで、統合ネットワークは、(さらなるまたは代替として)所与の低レベルのニューラルネットワークからの信頼度の測定基準および/または1つ以上の他の低レベルのニューラルネットワークからの信頼度の測定基準に少なくとも部分的に基づいて、所与の低レベルのニューラルネットワークからの所与の出力に適用される重みを決定し得る。
【0056】
OCT画像処理訓練コントローラ130は、全てのニューラルネットワーク(例えば、全てのパッチ特有のニューラルネットワークおよび他の統合ニューラルネットワーク)をまとめて訓練するように構成され得る。あるいは、OCT画像処理訓練コントローラ130は、各パッチ特有のネットワーク、低レベル画像ベースのネットワーク、および他の統合ネットワークを個別に訓練し得る。いくつかの例では、各モデルのパラメータを初期化するために独立した訓練が実行され、次いで集合的な訓練が実行される。
【0057】
OCT画像処理コントローラ110は、訓練されたニューラルネットワークを使用して、訓練データに含まれないOCT画像に対応する結果を生成する処置強度生成器135を含み得る。OCT画像は、訓練データに表されなかった被検体および/または眼に対応し得る。撮像された眼は、加齢黄斑変性および/または湿潤型加齢黄斑変性と診断された眼を含み得る。
【0058】
OCT画像は、前処理されたものを含み得、これは、遠隔前処理(例えば、撮像システム105において)および/または前処理コントローラ120で実行される前処理を含み得る。前処理は、複数のAスキャンを使用してBスキャンを生成すること、Bスキャン画像を平坦化すること、平坦化画像をトリミングすること、および/または強度を調整すること(例えば、正規化または標準化する)など、本明細書に開示される1つ以上の前処理技術を含み得る。
【0059】
次いで、処置強度生成器135は、前処理されたOCT画像を訓練されたニューラルネットワークに供給して、眼を処置するのに有効であると予測される処置スケジュールの特性(例えば、処置投与の間に血管が漏出するのを防ぐのに十分である)に対応する出力を生成し得る。いくつかの例では、出力は、眼を効果的に処置する時間間隔(および/または処置投与間の最長期間)にわたる最小量の処置投与を含むと予測される処置スケジュールの特性に対応する。出力は、所定の期間で投与される処置(例えば、特定の処置、例えば、特定のaVEGF処置)の量を、処置(例えば、特定のタイプの処置)が投与される頻度、処置の連続的な投与を分離するための間隔(例えば、単位を有する特定の数値または範囲として表される)、で特定し得る。いくつかの例では、処置強度生成器135は、ニューラルネットワークからの出力を結果に変換するために、1つ以上の後処理技術を適用する。例えば、出力は、処置投与の目標頻度を特定し得、後処理は、出力を処置が投与される日付のセット(または日付範囲)に変換し得る。
【0060】
結果は、クライアント装置115に返し得る。クライアント装置115は、その眼が分析されたOCT画像に少なくとも部分的に描写されていた被検体に医療を提供するエンティティに関連付け得る(例えば、所有され、使用され、制御され、および/または運用され得る)。例えば、エンティティは、医師、診療所、または眼科医を含み得る。いくつかの例では、クライアント装置115は、最初にOCT画像をOCT画像処理コントローラ110に提供した。いくつかの例では、クライアント装置115は、OCT画像を収集するための撮像システム105への要求を開始および/または完了した。
【0061】
眼に有効な処置を提供すると予測される処置スケジュールの特性を示す結果は、ケア提供エンティティによって、被検体に処方および/または推奨される処置スケジュールの選択および/または定義を知らせるために使用され得る。
【0062】
IV.OCT画像を用いて処置スケジュールラベルを生成するための機械学習プロセス
図2は、処置投与スケジュールに対応するラベルを生成するために深層ニューラルネットワークを使用してOCT画像を処理するプロセス200のフローチャートを示す。ブロック205において、OCT訓練画像のセットにアクセスする。各OCT訓練画像は、加齢黄斑変性(例えば、湿潤型加齢黄斑変性)と診断された眼および被検体から収集され得る。各OCT訓練画像は、処置スケジュール(例えば、aVEGF処置投与の頻度)および/または処置の結果(例えば、特定の処置スケジュールに従って投与された処置の有効性を示す)の選択を示す過去のデータにさらに関連付けられ得る。OCT訓練画像のそれぞれは、特定の処置(例えば、特定の治療薬)に関連する処置レジメンに応答して観察されたその後の被検体の状態を示すデータに関連付けられ得る。
【0063】
訓練データセットは、単一の被検眼に対応する複数の2次元画像を含み得る。例えば、複数の2次元画像は、種々の深度に対応し得る。
【0064】
ブロック210において、OCT訓練画像の各々が平坦化される。平坦化は、特定の生物学的構造(例えば、網膜色素上皮層などの網膜層)の描写が平坦化画像において実質的に平坦になるように画像を変形するために実行し得る。また、画像中の他の部分(例えば、画素)についても、平坦化に応じて位置を調整するようにモーフィングしてもよい。
【0065】
特定の生物学的構造は、画像に関連するメタデータ(例えば、レイヤに関連付けられた画素を識別する)に基づいて、および/またはコンピュータビジョン技術(例えば、エッジを検出および/または特徴付けるために)を実行することによって識別し得る。いくつかの例では、生物学的構造は、画像の取得中に特定され、OCTスキャナ内で検出され得る。
図4Aは、平坦化されていないOCT訓練画像の一部を示し、
図44Bは、平坦化されたOCT訓練画像の一部を示す。個々のOCT訓練画像の各々(および各平坦化OCT訓練画像)は、2次元画像を含み得ることが理解されよう。各画像の下部白色層は網膜色素上皮層であり、これは平坦化の基礎として機能した。したがって、アプローチは、強度値の標的範囲(例えば、開または閉範囲)を定義し、その範囲内の強度値を有する画素を検出し、次いで、それらの検出された画素に基づいて線(例えば、曲線)を定義することである。平坦化されたOCT画像をさらにトリミングして、
図4Bに示す平坦化およびトリミングされたOCT画像を生成した。
【0066】
ブロック215において、各平坦化されたOCT訓練画像がトリミングされる。トリミングは、平坦化された画像の上部および/または下部を除去するために実行され得る。除去された部分は、網膜の一部の描写を欠いていてもよく、および/または所定の閾値を下回る強度統計(例えば、平均強度、強度中央値、または強度変動性)を有していてもよい。いくつかの例では、平坦化された画像のパッチを生成するために同じまたは後続のトリミングが実行される(例えば、平坦化され、潜在的に最初にトリミングされるOCT訓練画像の最小幅または最大幅よりも小さい幅を有する)。トリミングは、所定のサイズの画像を生成するように実行され得る。いくつかの例では、複数の生物学的ランドマークが検出され、訓練画像をデフォルトスケールにスケーリングするようにトリミングが実行される。
【0067】
例えば、
図3A~
図3Cに示される各画像は、Zeiss Cirrusマシンを使用して単一の眼を画像化することによって収集された。
図3A~
図3Cの各々は、異なる深さの中央Bスキャンに対応する。さらに、図示された画像は、平坦化された画像(網膜色素上皮層に向かって行われる平坦化を伴う)およびトリミングされた画像を含む。トリミングは、平坦化されたRPE層の下の128画素から平坦化されたRPE層の上の384画素まで延在する領域を含むように実行された。
【0068】
ブロック220において、各OCT訓練画像について、処置投与事象(例えば、硝子体内注射事象)を特徴付ける訓練ラベルが特定される。訓練ラベルは、被検体の眼を処置するために選択された処置(例えば、OCT訓練画像の収集に続いて、および/またはOCT訓練画像の収集に続いて特定の事前に特定された時点で使用される)に基づき得る。
【0069】
訓練ラベルは、選択された処置の特性または選択された処置の結果を含み得る。例えば、訓練ラベルは、処置に使用されている薬剤、投与されている特定の治療薬の投与量、または処置投与の時間的特性(例えば、薬物投与の頻度もしくは期間または投与間期間)を特定し得る。1つの例示として、薬剤は、あらゆるaVEGF薬剤または特定のaVEGF薬剤を含み得る。別の例として、訓練ラベルは、特定の事象が観察されなかったか(例えば、新たな血管漏出が観察されなかったか)、特定の事象が観察されたか(例えば、潜在的な湿潤型の加齢性黄斑変性に続発して黄斑液が除去されたか)、または特定の事象が観察されなかったか(例えば、連続する処置投与間が漏出したか)など、特定の処置または特定の種類の処置(および/または特定の処置の特定の投与量または特定の種類の処置)が十分に有効であったかどうかを特定し得る。追加または代替の例として、訓練ラベルは、特定の処置スケジュールが、特定の事象が観察されなかったか(例えば、新たな血管漏出が観察されなかったか)、または特定の事象が特定されたか(例えば、潜在的な湿潤型の加齢性黄斑変性に続発して黄斑液が除去されたか)など、十分に有効であったかどうかを示し得る(例えば、複数の処置が投与される相対時間および潜在的に複数の処置の投与量を示し得る)。
【0070】
処置ラベルは、漏出が観察されるたびに連続する処置投与間の間隔が減少し、または各漏出観察後に処置が投与されるアプローチを使用して投与される処置の特性を示し得る。いくつかの例では、ラベルは、ある期間にわたって投与された処置の量を示し得る(例えば、潜在的に、頻度を示すように時間期間の持続時間によって正規化される)。期間は、(例えば)ベースライン日および/または初期処置期間後の日からの期間を含み得る。期間は、定義された期間(例えば、訓練データに関して)を有し得る。
【0071】
いくつかの例では、ラベルは、1つ以上の処置修飾(またはその欠如)に部分的または全体的に基づいてもよい。例えば、デフォルトの処置レジメンが選択されていてもよく、訓練ラベルは、デフォルトの処置レジメンに対する修正が眼を処置するために使用されたかどうかおよび/またはどの修正が眼を処置するために使用されたかを反映し得る。いくつかの例では、ラベルは、所与の期間内に投与された所与の種類の処置の数または頻度(例えば、および投与量)を特定する。
【0072】
ブロック225において、深層ニューラルネットワークが、トリミングされ平坦化された訓練画像および対応する訓練ラベルを使用して訓練される。いくつかの例では、ブロック225は、トリミングおよび平坦化された訓練画像および対応する訓練ラベルの少なくともいくつかを使用して、1つ以上の深層ニューラルネットワークの各々を訓練することを含む。例えば、深層ニューラルネットワークのセットを使用し得、深層ニューラルネットワークのセットの各々は、特定のサイズ(例えば、種々のパッチサイズが種々のネットワークによって処理される)のトリミングされ平坦化された訓練画像からのパッチを使用して訓練される。深層ニューラルネットワークのセットの各々は、類似または同じアーキテクチャを有し得るが、種々のパラメータ値が種々のネットワークによって学習されるように、訓練データの種々の部分を使用して訓練され得る。アンサンブルモデルを使用して、複数の低レベルのパッチサイズ固有のニューラルネットワークからの結果を集約および処理し得る。
【0073】
1つ以上の深層畳み込みニューラルネットワークの各々は、少なくとも1個、少なくとも2個、少なくとも5個、少なくとも10個、少なくとも15個、または少なくとも20個の畳み込みブロックを含み得る。一つ以上の深層畳み込みニューラルネットワークの各々は、20,000個未満の学習可能パラメータ、10,000個未満の学習可能パラメータ、6,000個未満の学習可能パラメータ、または3,000個未満の学習可能パラメータを有する薄いニューラルネットワークとし得る。
【0074】
いくつかの例では、ハイパーパラメータを選択し、および/またはエラーを推定するために、交差検証技術(例えば、ネスト化交差検証技術)を使用し得ることが理解されよう。より具体的には、一般化能力を推定するために、訓練データセットを訓練、検証、および試験サブセットに分割する代わりに、交差検証技術を使用し得る。この後者の技術は、訓練データを用いてモデルを開発すること、検証データを用いて最適なモデルを選択すること、試験データを用いて選択された最適なモデルの性能を評価することを含み得る。一方、
図5に示すように、ネスト化交差検証アプローチは、複数レベルの交差検証反復(すなわち、外側ループ505および内側ループ510)を使用して、モデルの一般化能力のデータ分割および評価を実施し得る。
【0075】
外側ループ505では、訓練データは、試験データと、訓練データおよび検証データの組み合わせ(例えば、5倍分割法による)とに分割し得る。各反復において、訓練および検証データは、内側ループ510においてさらに分離され得る。訓練データを使用して、1つ以上の完全畳み込みニューラルネットワークを訓練し得る。いくつかの例では、単一の完全畳み込みニューラルネットワークは訓練データを使用して訓練される。完全畳み込みニューラルネットワークの各々は、比較的少数のパラメータ(例えば、10,000未満のパラメータ、8,000未満のパラメータ、または5000未満のパラメータ)を含み得る。検証データを使用して、モデルのハイパーパラメータ(例えば、最適なハイパーパラメータを決定する)を選択し得る。図示の例では、検証データは、特定の停止期間(stopping epoch)(例えば、最適停止期間)を決定するために使用される。訓練データおよび検証データの所与の分割により、検証損失が最も低い期間(epoch)(訓練中に使用された複数の期間にわたる)を選択することによって、特定の停止期間を決定し得る。
【0076】
訓練分割および検証分割は、反復ごとにデータの異なる部分が訓練データに割り当てられるように、繰り返し実行し得る。最終的な特定の停止期間(図のt*)は、各分割の特定された特定の停止期間(例えば、分割を横切る特定の停止期間の平均)に基づいて生成された統計であり得る。訓練データと検証データとの組み合わせを使用して、最終的な特定の停止期間で複数のモデルを訓練し得る。複数のモデルの各々は、同じアーキテクチャを有し得るが、種々の訓練データ要素を使用して訓練された結果として種々の学習パラメータを含み得る。これらの複数のモデルは、モデルアンサンブルまたはアンサンブルモデル515を形成し得る。アンサンブルモデルは、ホールドアウトされた試験データで評価し得る。
【0077】
ブロック230において、入力画像を平坦化してトリミングし得る。入力画像は、眼および加齢黄斑変性(例えば、湿潤型加齢黄斑変性)がある被検体に関連するOCT画像を含み得る。いくつかの例では、入力画像は訓練データに表されていないものを含む。平坦化は、訓練画像を平坦化するためにブロック210で適用されたものと同じまたは類似の技術を使用して実行し得る。トリミングは、ブロック215において適用されたものと同じまたは類似の技術を使用して実行され得る。いくつかの例では、トリミングは、関心のある領域(例えば、網膜の一部)を描写しない上部および/または下部を潜在的に除去するために実行される。トリミングは、データの1つ以上のパッチを生成するように拡張し得る(例えば、モデルを訓練するためにパッチが使用されたかどうかにかかわらず)が、そうである必要はない。
【0078】
ブロック235において、平坦化およびトリミングされた入力画像は、ラベルを生成するために訓練された深層ニューラルネットワークを使用して処理される。ラベルは、処置投与スケジュールの特性に対応し得る。ラベルは、入力画像に描写された眼を処置する(例えば、潜在的な湿潤型の加齢性黄斑変性に続発する黄斑液を除去する)ため、および/または状態の進行を予防する(例えば、湿潤型の加齢黄斑変性への進行を予防する)ために有効であると予測される処置投与スケジュール(例えば、aVEGF剤の投与に関連する)の1つ以上の特性を特定し得る。
【0079】
標識は、代替的または追加的に、処置投与スケジュール(例えば、aVEGFスケジュールの投与に関連する)が、示された眼の処置および/または特定の種類の進行の予防に有効であるかどうかに関する予測に対応し得る。
【0080】
ブロック240において、処置-投与スケジュールに対応するラベルが出力される。例えば、ラベルは、(医療提供者に関連する装置において、または医療提供者に関連する装置に)提示または送信され得る。ラベルは、被検体の名前および/または診断日などの被検体に関する他の情報と共に出力され得る。
【実施例】
【0081】
V.実施例1
加齢黄斑変性と診断された網膜を画像化することによって収集されたOCT画像を、深層学習モデルを使用して分析して、各被検体の示された眼にその後どのような種類のaVEGF処置が提供されるかに関する眼および被検体に特異的な予測を生成した。
【0082】
V.A.方法
nAMDのHARBORのPRNアームからの負荷期間中に1042枚のOCT画像をキャプチャした。具体的には、352人の被検体からの研究用の眼のOCTを評価し、23ヶ月にわたる抗VEGF処置投与負荷と相関させた。低強度の抗VEGF処置の必要性は、負荷期間後および3回の連続した毎月のラニビズマブ処置投与の完了と23ヶ月目の来院との間に21回の来院にわたって5回以下の注射を有することと定義された。(あらゆる目的のためにその全体が参照により本明細書に組み込まれる、Bogunovic Hら.Prediction of anti-VEGF treatment requirements in neovascular AMD using a machine learning approach.Invest Ophthalmol Vis Sci.2017;58(7):3240-3248を参照されたい。)層別の5分割を、ネスト化交差検証のために被検体レベルで作成した。
【0083】
Zeiss Cirrus社製の装置からのOCT画像(1024×512×128の解像度)を、平坦化した網膜色素上皮(RPE)層に向かって平坦化(またはリ-ベース)し、RPEの上384ピクセル、下128ピクセルでトリミングした。中央の15回のBスキャンを選択した。確率的なトリミング(例えば、トリミングされる位置、および潜在的にトリミングに使用されるサイズが、確率的プロセスを使用して決定されるなど)を、ランダムまたは予め指定されたサイズのサンプル訓練および検証パッチに適用した。
【0084】
5600未満の重みパラメータで表現力を指数関数的に増加させるために10個の畳み込みブロックを含む深層学習ネットワークを設計した。深層学習ネットワークは、完全畳み込み層を含んでいた。この設計により、高速かつ計算上安価な訓練が容易になった。F-CNN(完全畳み込みニューラルネットワーク)アーキテクチャを適用して、任意のサイズのパッチを入力として有効にし、スライス全体で予測した。アンサンブルモデルとして、コミッティマシンを使用した。各コミッティメンバーモデルはパッチレベル予測を生成し、コミッティマシンは(例えば、パッチレベル予測の平均を決定することによって)パッチレベル予測を集約して画像レベル結果を生成した。画像レベルの結果は、特定の処置強度(例えば、高抗VEGF処置、または他の場合には低抗VEGF処置が投与されるであろう)かどうかに関するバイナリ予測に対応した。低強度の抗VEGF処置は、ラニビズマブが毎月投与されたオンボード3ヶ月間と23-ヶ月の訪問との間の20ヶ月間にわたって5回以下の抗VEGF処置投与を有することと定義された。
【0085】
V.B.結果
547個のPRN研究眼のうち、352個の独特な研究眼を分析に適格とした。これらの中で、モデルは、有効な処置のために低強度の抗VEGF処置のみを必要とする疾患を有するとして79個の眼(22.4%)が種類分けされると予測した。
【0086】
負荷期間からの1042回のOCTスキャンをモデリングに使用した。各スキャンについて、観察された処置を低、中、または高強度の抗VEGF処置として分類し、予測された処置を同様に分類した。モデルは、受信者動作曲線下面積(AUROC)78.6%(72.7~84.4%)を達成した。
【0087】
V.C.結論
深層学習モデルは、ラニビズマブの負荷期間後にどのタイプの(例えば、低、中、または高)抗VEGF処置を個々のnAMD被検体が受けるかを予測するという点で好成績を示した。これらの種類の結果は、医師/被検体が将来の処置負荷を理解するのに役立ち得る。結果は、抗VEGF処置投与耐久性を評価することを目的とする将来の臨床試験において被検体を層別化するためにさらにまたは代替的に使用され得る。
【0088】
VI.実施例2
別の分析を、加齢黄斑変性と診断された網膜を画像化することによって収集されたOCT画像の種々のセットを使用して行った。深層学習モデルを使用して、各被検体の図示された眼にどの種類のaVEGF処置がその後提供されるかに関する眼および被検体に特異的な予測を生成した。
【0089】
VI.A.方法
深層学習モデルは、362人の被検体から収集された1069個のOCT画像を使用して訓練された。この訓練データは、モデルを訓練するために使用される第1のサブセットと、モデルを検証するための第2のサブセットとに繰り返し分割された。これらのデータ分割のそれぞれの間に、検証データに対するモデルの予測の精度を判定した。検証サブセットを使用して生成された予測を評価する場合、平均および集約された統計(例えば、平均AUROC統計および集約AUROC統計)は、データ分割にわたって予測の精度を評価することによって生成された。ホールドアウトセット(訓練に使用しない)は、62人の被検体からの183個のOCT画像を含んでいた。抗VEGF処置投与負荷を、それぞれ以下の2つの測定基準フレームワークを使用して評価した:
第1の「MUV」フレームワーク:低強度の抗VEGF処置の必要性は、3回の連続した毎月のラニビズマブ注射の完了と23ヶ月目の来院との間に5回以下の処置投与を有することと定義された。高強度の抗VEGF処置は、3回の連続した毎月のラニビズマブ処置投与の完了と23ヶ月目の来院との間に16回以上のaVEGF処置投与を有することと定義された。
第2の「チューリング」フレームワーク:低強度の抗VEGF処置の必要性は、3回の連続した毎月のラニビズマブ処置投与の完了と12ヶ月目の来院との間に2回以下のaVEGF処置投与を有することと定義された。高強度の抗VEGF処置は、3回の連続した毎月のラニビズマブ処置投与の完了と12ヶ月目の来院との間に9回以上のaVEGF処置投与を有することと定義された。
【0090】
実施例1に記載されたのと同じタイプの平坦化およびトリミングプロトコルを使用して、OCT画像を前処理した。深層学習高密度ネットワークは、実施例1で説明した通りに構成されるように設計された。
【0091】
VI.B.結果
図6A~
図6Bは、高密度ネットワークによって生成された第1のMUVフレームワークラベルの予測の精度を特徴付ける集約された交差検証レシーバオペレータ曲線(ROC)を示す。データは、検証データ査定からの精度特性評価を表す。
図6Aは、所与の眼-被検体の対が高強度の抗VEGF処置を受けるかどうかに関する予測の精度を特徴付ける。ROCを生成するために、閾値をある範囲にわたって変化させた。各画像(例えば、分割データセットまたはホールドアウトデータセットにおける各画像)および各閾値について、深層学習モデルによって生成された結果が閾値を上回ったかどうかに基づいて、「陽性」例と見なされる特定の処置スケジュールを被検体が受けたかどうかに関する予測が生成された。各データセット(例えば、ホールドアウトデータセットの分割データセット)について、感受性の測定基準を、真陽性および偽陰性の合計で割った真陽性の数として算出した。さらに、各データセットについて、特異性の測定基準を、真陰性および偽陽性の合計で割った真陰性の数として算出した。
【0092】
理想的には、感度および特異度の測定基準は、少なくとも1つの閾値に対していずれも1.0に近い(または1.0に等しい)。この例では、閾値にわたる特異性に対する感度をプロットするレシーバオペレータ曲線(ROC)は、(100,100)付近または(100,100)において1つ以上の点を含み、曲線は単位直線に従わない。ROCがこれらの特性を有する程度を測定するための1つの技術は、曲線下面積を測定することである。100%付近または100%の曲線下面積は、少なくとも1つの閾値について、モデルが、正の事例が使用されることを首尾よく予測し得、負の事例を首尾よく予測し得ることを示す。
【0093】
図6Aは、「陽性」例を、被検体が高強度の抗VEGF処置を受けた例として定義し、陽性例は、高強度抗VEGF処置を上記のMUVラベルの定義に従って定義した分析に対応する。ROC曲線を10個のデータ分割の各々について算出した。
図6Aは、ROCの平均およびROC分布を示す。平均AUROC(10個のデータ分割のそれぞれについて算出されたAUROCを平均することによって計算された)は0.77であり、集約AUROC(最初にデータ分割のROCを平均し、次いで平均ROCを使用してAUROCを算出することによって計算された)は0.76であった。
【0094】
図6Bは、「陽性」例が、被検体が低強度抗VEGF処置(MUVフレームワークによって定義される)を受けた例として定義された分析に対応する。図示されたプロットは、所与の眼-被検体の対が低強度の抗VEGF処置を受けるかどうかに関する予測の精度を特徴付ける。平均AUROCは0.80であり、集約AUROCは0.79であった。
【0095】
図6Cは、抽出された特徴のランダムフォレストモデルを使用した高および低強度処置予測のレシーバオペレータ曲線を示す(例えば、10倍交差検証を使用して、特定の処置強度が投与されたかどうかに関するバイナリ予測の生成)。示されるように、高強度処置および低強度処置を予測するためのAUROCはそれぞれ0.77および0.70であり、両方とも高密度ニューラルネットワーク技術からの予測に対応するものよりも低かった(
図6A~
図6Bのデータに関する)。
【0096】
図7A~
図7Bは、第2のチューリングフレームワークのラベルを使用して予測の精度を特徴付けるROCを示す。
図7Aは、所与の眼-被検体の対ペアが(第2のチューリングフレームワークを使用して定義されるように)高強度の抗VEGF処置を受けるかどうかに関する予測の精度を特徴付ける。AUROCの平均は0.73であり、集約AUROCは0.75であった(10倍交差検証により算出)。
図7Bは、所与の眼-被検体の対が(第2のチューリングフレームワークを使用して定義されるように)低強度の抗VEGF処置を受けるかどうかに関する予測の精度を特徴付ける。AUROCの平均は0.69であり、集約AUROCは0.69であった(10倍交差検証により算出)。
図7Cは、抽出された特徴に対するランダムフォレストモデルを使用した高強度および低強度処置予測のレシーバオペレータ曲線を示す。示されるように、高強度処理および低強度処理を予測するためのAUROCはそれぞれ0.76および0.66であり、両方とも高密度ニューラルネットワーク技術からの予測に対応するものよりも低かった(
図7A~
図7Bのデータに関する)。
【0097】
種々の測定基準および予測技術を使用したエンドツーエンド性能を比較した概要を表1に示す。
【表1】
【0098】
VI.C.結論
深層学習モデルは、検証データまたはホールドアウトデータを使用して負荷期間後の抗VEGF処置の予測(ベースラインOCT画像の処理に基づく処置投与の頻度の予測に関して)を評価した場合、強い性能を示し続けた。性能測定基準は、異なるタイプの性能測定基準を使用しても、強力なままであった。さらに、性能は、抗VEGF処置を予測するための他の技術からの出力を超えた。
【0099】
VII.さらなる考察
本開示のいくつかの実施形態は、1つ以上のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、1つ以上のデータプロセッサ上で実行されると、1つ以上のデータプロセッサに、本明細書に開示された1つ以上の方法の一部または全部および/または1つ以上のプロセスの一部または全部を実行させる命令を含む非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、1つ以上のデータプロセッサに、本明細書に開示された1つ以上の方法の一部または全部および/または1つ以上のプロセスの一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。
【0100】
使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴の均等物またはその一部を除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、特許請求の範囲に記載された本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者によってあてにされてもよく、そのような変更および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあると見なされることを理解されたい。
【0101】
説明は、好ましい例示的な実施形態のみを提供し、本開示の範囲、適用可能性または構成を限定することを意図しない。むしろ、好ましい例示的な実施形態の説明は、様々な実施形態を実装するための可能な説明を当業者に提供する。添付の特許請求の範囲に記載の趣旨および範囲から逸脱することなく、要素の機能および配置に様々な変更を加えることができることが理解される。
【0102】
実施形態の完全な理解を提供するために、本明細書では具体的な詳細が与えられる。しかしながら、これらの具体的な詳細なしで実施形態が実施され得ることが理解されよう。例えば、回路、システム、ネットワーク、プロセス、および他の構成要素は、実施形態を不必要に詳細に不明瞭にしないために、ブロック図形式の構成要素として示されてもよい。他の例では、実施形態を不明瞭にすることを避けるために、周知の回路、プロセス、アルゴリズム、構造、および技術が不必要な詳細なしに示されてもよい。
【国際調査報告】