知財求人 - 知財ポータルサイト「IP Force」
特表2023-518813セグメンテーションおよび特徴評価を使用した地図状萎縮進行の予測
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-05-08
(54)【発明の名称】セグメンテーションおよび特徴評価を使用した地図状萎縮進行の予測
(51)【国際特許分類】
A61B 3/12 20060101AFI20230426BHJP
A61B 3/10 20060101ALI20230426BHJP
A61B 3/14 20060101ALI20230426BHJP
G06T 7/00 20170101ALI20230426BHJP
G06V 10/82 20220101ALI20230426BHJP
【ＦＩ】
A61B3/12
A61B3/10 100
A61B3/14
G06T7/00 350C
G06T7/00 612
G06V10/82
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022557088
(86)(22)【出願日】2021-03-23
(85)【翻訳文提出日】2022-11-11
(86)【国際出願番号】 US2021023784
(87)【国際公開番号】W WO2021195153
(87)【国際公開日】2021-09-30
(31)【優先権主張番号】62/993,479
(32)【優先日】2020-03-23
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】509012625
【氏名又は名称】ジェネンテック， インコーポレイテッド
(74)【代理人】
【識別番号】110002077
【氏名又は名称】園田・小林弁理士法人
(72)【発明者】
【氏名】パティル， ジャスミン
(72)【発明者】
【氏名】アネゴンディ， ネハ ステークシュナ
(72)【発明者】
【氏名】フェルナンデス コアンブラ， アレクサンドル ジェー．
(72)【発明者】
【氏名】カオ， シモン シャン
(72)【発明者】
【氏名】カウチンスキー， マイケル グレッグ
【テーマコード（参考）】
4C316
5L096
【Ｆターム（参考）】
4C316AA09
4C316AB02
4C316AB07
4C316AB11
4C316AB16
4C316FB05
4C316FB21
4C316FB26
4C316FB27
5L096BA06
5L096BA13
5L096FA02
5L096FA34
5L096FA59
5L096FA64
5L096FA65
5L096HA11
5L096JA11
5L096KA04
5L096KA15
(57)【要約】
地図状萎縮病変を評価するための方法、システム、およびコンピュータプログラム製品。地図状萎縮（ＧＡ）病変の画像が受信される。第１の値のセットは、画像を使用して形状特徴のセットについて決定される。第２の値のセットは、画像を使用してテクスチャ特徴のセットについて決定される。ＧＡ病変についてのＧＡ進行は、第１の値のセットおよび第２の値のセットを使用して予測される。
【選択図】図１０
【選択図】図１０
【特許請求の範囲】
【請求項1】
地図状萎縮病変を評価するための方法であって、地図状萎縮（ＧＡ）病変の画像を受信することと、
前記画像を使用して形状特徴のセットについての第１の値のセットを決定することと、
前記画像を使用してテクスチャ特徴のセットについての第２の値のセットを決定することと、
前記第１の値のセットおよび前記第２の値のセットを使用して前記ＧＡ病変についてのＧＡ進行を予測することと
を含む、方法。
【請求項2】
前記ＧＡ進行を予測することが、前記第１の値のセット、前記第２の値のセット、および深層学習システムを使用して、前記ＧＡ病変についての前記ＧＡ進行を予測することを含む、請求項１に記載の方法。
【請求項3】
ＧＡ病変を有する複数の対象についての検査画像を使用して複数の特徴について生成された相関データに基づいて、前記複数の特徴から前記形状特徴のセットおよび前記テクスチャ特徴のセットを選択することをさらに含む、請求項１または２に記載の方法。
【請求項4】
前記検査画像を使用して、前記複数の対象の各対象について、ＧＡ病変面積の変化および複数の特徴を識別することと、前記ＧＡ病変面積の変化を前記複数の特徴のそれぞれと相関させて前記相関データを形成することと
をさらに含む、請求項３に記載の方法。
【請求項5】
前記形状特徴のセットについての前記第１の値のセットを決定することが、前記画像に基づいて生成されたセグメンテーション出力を使用して、前記形状特徴のセットについての前記第１の値のセットを決定することを含む、請求項１～４のいずれか一項に記載の方法。
【請求項6】
前記テクスチャ特徴のセットについての前記第２の値のセットを決定することが、前記画像に基づいて生成されたセグメンテーション出力を使用して、前記テクスチャ特徴のセットについての前記第２の値のセットを決定することを含む、請求項１～５のいずれか一項に記載の方法。
【請求項7】
前記ＧＡ進行を予測することが、前記第１の値のセット、前記第２の値のセット、および深層学習システムを使用して、前記ＧＡ病変についての前記ＧＡ進行を予測することを含む、請求項１～６のいずれか一項に記載の方法。
【請求項8】
前記形状特徴のセットが、病変面積、凸状面積、周囲長、円形度、最大フェレ直径、最小フェレ直径、ＧＡ病変面積の平方根、前記周囲長の平方根、または前記円形度の平方根のうちの少なくとも１つを含む、請求項１～７のいずれか一項に記載の方法。
【請求項9】
前記テクスチャ特徴のセットが、コントラスト、相関、エネルギー、または均一性のうちの少なくとも１つを含む、請求項１～８のいずれか一項に記載の方法。
【請求項10】
前記画像が眼底自発蛍光（ＦＡＦ）画像である、請求項１～９のいずれか一項に記載の方法。
【請求項11】
前記画像が光干渉断層撮影（ＯＣＴ）画像である、請求項１～９のいずれか一項に記載の方法。
【請求項12】
地図状萎縮（ＧＡ）病変を評価するための方法であって、対象の前記地図状萎縮（ＧＡ）病変の画像を受信することと、
前記画像を深層学習システムに入力することと、
前記深層学習システムを使用して第１のセグメンテーション出力を生成することであって、前記第１のセグメンテーション出力が前記ＧＡ病変に対応する前記画像内の画素を識別する、第１のセグメンテーション出力を生成することと
を含む、方法。
【請求項13】
前記第１のセグメンテーション出力を使用してＧＡ進行を予測することをさらに含む、請求項１２に記載の方法。
【請求項14】
前記画像が後の画像であり、前記第１のセグメンテーション出力と、前記対象の前記ＧＡ病変のベースライン画像について生成された第２のセグメンテーション出力とを使用してＧＡ進行を決定することをさらに含む、請求項１２に記載の方法。
【請求項15】
前記画像が眼底自発蛍光（ＦＡＦ）画像である、請求項１２～１４のいずれか一項に記載の方法。
【請求項16】
前記画像が光干渉断層撮影（ＯＣＴ）画像である、請求項１２～１４のいずれか一項に記載の方法。
【請求項17】
前記深層学習システムがニューラルネットワークモデルを含む、請求項１２～１４のいずれか一項に記載の方法。
【請求項18】
前記ニューラルネットワークモデルが、畳み込みニューラルネットワークである、請求項１７に記載の方法。
【請求項19】
システムであって、１つ以上のデータプロセッサと、
命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令が、前記１つ以上のデータプロセッサ上で実行されると、前記１つ以上のデータプロセッサに、請求項１～１４のいずれか一項に記載の１つ以上の方法の一部または全部を実行させる、非一時的コンピュータ可読記憶媒体と
を備える、システム。
【請求項20】
１つ以上のデータプロセッサに、請求項１～１４のいずれか一項に記載の１つ以上の方法の一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品。【発明の詳細な説明】
【技術分野】
【0001】
分野
この説明は、一般に、地図状萎縮（ＧＡ）評価に関する。より具体的には、この説明は、ＧＡ進行の予測を可能にする特徴の自動セグメンテーションおよび決定、ならびにそのような特徴を使用したＧＡ進行の予測のための方法およびシステムを提供する。
この説明は、一般に、地図状萎縮（ＧＡ）評価に関する。より具体的には、この説明は、ＧＡ進行の予測を可能にする特徴の自動セグメンテーションおよび決定、ならびにそのような特徴を使用したＧＡ進行の予測のための方法およびシステムを提供する。
【背景技術】
【0002】
背景
加齢黄斑変性（ＡＭＤ）は、５０歳以上の患者における視力喪失の主な原因である。地図状萎縮（ＧＡ）は、ＡＭＤの２つの進行期のうちの１つであり、脈絡毛細管、網膜色素上皮（ＲＰＥ）および光受容体の進行性および不可逆性の喪失を特徴とする。ＧＡは、経時的に視覚機能の喪失をもたらす可能性がある。ＧＡ病変拡大の診断および監視は、共焦点走査レーザー検眼鏡検査（ｃＳＬＯ）によって得られる眼底自発蛍光（ＦＡＦ）画像を使用して実施されることができる。ＲＰＥ中のリポフスチンのトポグラフィックマッピングを示すこのタイプの撮像技術は、経時的なＧＡ病変の変化を測定するために使用されることができる。ＦＡＦ画像では、ＧＡ病変は、ＲＰＥの喪失、したがってリポフスチンの喪失に起因して、境界が明確に画定された低自家蛍光の領域として現れる。ＧＡを評価するためのいくつかの現在利用可能な方法は、ＦＡＦ画像に基づいてＧＡ病変を等級分けすることを含む。しかしながら、ＦＡＦ画像を使用してＧＡ病変を定量化することは、典型的には、所望よりも時間がかかり、観察者間および観察者内の変動が生じやすい手動プロセスである。したがって、これらの問題の１つ以上を認識して考慮に入れる１つ以上の方法、システム、またはその双方を有することが望ましい場合がある。
加齢黄斑変性（ＡＭＤ）は、５０歳以上の患者における視力喪失の主な原因である。地図状萎縮（ＧＡ）は、ＡＭＤの２つの進行期のうちの１つであり、脈絡毛細管、網膜色素上皮（ＲＰＥ）および光受容体の進行性および不可逆性の喪失を特徴とする。ＧＡは、経時的に視覚機能の喪失をもたらす可能性がある。ＧＡ病変拡大の診断および監視は、共焦点走査レーザー検眼鏡検査（ｃＳＬＯ）によって得られる眼底自発蛍光（ＦＡＦ）画像を使用して実施されることができる。ＲＰＥ中のリポフスチンのトポグラフィックマッピングを示すこのタイプの撮像技術は、経時的なＧＡ病変の変化を測定するために使用されることができる。ＦＡＦ画像では、ＧＡ病変は、ＲＰＥの喪失、したがってリポフスチンの喪失に起因して、境界が明確に画定された低自家蛍光の領域として現れる。ＧＡを評価するためのいくつかの現在利用可能な方法は、ＦＡＦ画像に基づいてＧＡ病変を等級分けすることを含む。しかしながら、ＦＡＦ画像を使用してＧＡ病変を定量化することは、典型的には、所望よりも時間がかかり、観察者間および観察者内の変動が生じやすい手動プロセスである。したがって、これらの問題の１つ以上を認識して考慮に入れる１つ以上の方法、システム、またはその双方を有することが望ましい場合がある。
【発明の概要】
【0003】
概要
１つ以上の実施形態では、地図状萎縮病変を評価するための方法が提供される。地図状萎縮（ＧＡ）病変の画像が受信される。形状特徴のセットについての第１の値のセットは、画像を使用して決定される。テクスチャ特徴のセットについての第２の値のセットは、画像を使用して決定される。ＧＡ病変のＧＡ進行は、第１の値のセットおよび第２の値のセットを使用して決定される。
１つ以上の実施形態では、地図状萎縮病変を評価するための方法が提供される。地図状萎縮（ＧＡ）病変の画像が受信される。形状特徴のセットについての第１の値のセットは、画像を使用して決定される。テクスチャ特徴のセットについての第２の値のセットは、画像を使用して決定される。ＧＡ病変のＧＡ進行は、第１の値のセットおよび第２の値のセットを使用して決定される。
【0004】
１つ以上の実施形態では、地図状萎縮（ＧＡ）病変を評価するための方法が提供される。対象の地図状萎縮（ＧＡ）病変の画像が受信される。画像は、深層学習システムに入力される。第１のセグメンテーション出力は、深層学習システムを使用して生成される。第１のセグメンテーション出力は、ＧＡ病変に対応する画像内の画素を識別する。
【0005】
１つ以上の実施形態では、システムは、１つ以上のデータプロセッサと、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、例えば、第１の方法、第２の方法、またはその双方などの１つ以上の方法の一部または全部を実行させる命令を含む非一時的コンピュータ可読記憶媒体とを備える。第１の方法は、地図状萎縮（ＧＡ）病変の画像を受信することと、画像を使用して形状特徴のセットについての第１の値のセットを決定することと、画像を使用してテクスチャ特徴のセットについての第２の値のセットを決定することと、第１の値のセットおよび第２の値のセットを使用してＧＡ病変のＧＡ進行を予測することと、を含む。第２の方法は、対象の地図状萎縮（ＧＡ）病変の画像を受信することと、画像を深層学習システムに入力することと、深層学習システムを使用して第１のセグメンテーション出力を生成することであって、第１のセグメンテーション出力がＧＡ病変に対応する画像内の画素を識別する、第１のセグメンテーション出力を生成することと、を含む。
【0006】
１つ以上の実施形態では、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品は、１つ以上のデータプロセッサに、例えば、第１の方法、第２の方法、またはその双方などの１つ以上の方法の一部または全部を実行させるように構成された命令を含む。第１の方法は、地図状萎縮（ＧＡ）病変の画像を受信することと、画像を使用して形状特徴のセットについての第１の値のセットを決定することと、画像を使用してテクスチャ特徴のセットについての第２の値のセットを決定することと、第１の値のセットおよび第２の値のセットを使用してＧＡ病変のＧＡ進行を予測することと、を含む。第２の方法は、対象の地図状萎縮（ＧＡ）病変の画像を受信することと、画像を深層学習システムに入力することと、深層学習システムを使用して第１のセグメンテーション出力を生成することであって、第１のセグメンテーション出力がＧＡ病変に対応する画像内の画素を識別する、第１のセグメンテーション出力を生成することと、を含む。
【図面の簡単な説明】
【0007】
本明細書に開示された原理およびその利点のより完全な理解のために、ここで添付の図面と併せて以下の説明を参照する。
【0008】
【図1】様々な実施形態にかかる病変評価システム１００のブロック図である。
【0009】
【図2】様々な実施形態にかかる地図状萎縮病変を評価するためのプロセス２００のフローチャートである。
【0010】
【図3】様々な実施形態にかかる地図状萎縮病変についてのセグメンテーション出力を生成するためのプロセス３００のフローチャートである。
【0011】
【図4】様々な実施形態にかかる特徴を使用してＧＡ病変を評価するためのプロセス４００のフローチャートである。
【0012】
【図5】様々な実施形態にかかるＧＡ病変についての予後特徴を識別するためのプロセス５００のフローチャートである。
【0013】
【図6】様々な実施形態にかかる遡及的研究からの画像のセットを識別する。
【0014】
【図7】様々な実施形態にかかる形状およびテクスチャ特徴についての様々なメトリックを示すテーブルである。
【0015】
【図8】様々な実施形態にかかる、円形度がオーバーレイされたＯＣＴ ｅｎ ｆａｃｅ画像を示している。
【0016】
【図9】様々な実施形態にかかる、最大フェレ直径がオーバーレイされたＯＣＴ ｅｎ ｆａｃｅ画像を示している。
【0017】
【図10】様々な実施形態にかかる、セグメンテーションを自動化する際に使用される深層学習システムについての例示的なインフラストラクチャを示している。
【0018】
【図11】自動セグメンテーションおよび手動セグメンテーションによって生成されたセグメンテーションマスクの性能の比較を示している。
【0019】
【図12】様々な実施形態にかかる、手動セグメンテーションおよび自動セグメンテーションによって生成されたセグメンテーションマスクを示している。
【0020】
【図13】様々な実施形態にかかる、ＤＩＣＥスコアを使用した手動セグメンテーションと異なるタイプの自動セグメンテーション方法との比較を示している。
【0021】
【図14】様々な実施形態にかかるＤＩＣＥスコアを使用した異なるタイプの自動セグメンテーション方法の比較を示している。
【0022】
【図15】様々な実施形態にかかる同じ多巣性ＧＡ病変についての様々なセグメンテーションマスクを示している。
【0023】
【図16】様々な実施形態にかかる手動セグメンテーションおよび自動セグメンテーションによって抽出された特徴の比較を示している。
【0024】
【図17】様々な実施形態にかかる、自動セグメンテーションと手動セグメンテーションとの間の相関を決定するために特徴がどのように使用されることができるかを示すテーブルのセットを示している。
【0025】
【図18】様々な実施形態にかかる、自動セグメンテーションと手動セグメンテーションとの間の相関を決定するために特徴がどのように使用されることができるかを示すテーブルのセットを示している。
【0026】
【図19】様々な実施形態にかかるコンピュータシステムのブロック図である。
【0027】
図面は必ずしも一定の縮尺で描かれているわけではなく、図面内の物体は必ずしも互いに一定の縮尺で描かれているわけではないことを理解されたい。図面は、本明細書に開示される装置、システム、および方法の様々な実施形態に明瞭さおよび理解をもたらすことを意図した描写である。可能な限り、同じまたは同様の部分を指すために図面全体を通して同じ参照符号が使用される。さらに、図面は、本教示の範囲を決して限定するものではないことを理解されたい。
【発明を実施するための形態】
【0028】
詳細な説明
Ｉ．概要
地図状萎縮（ＧＡ）を評価するための現在の方法は、ＧＡ病変を評価するために、眼底自発蛍光（ＦＡＦ）画像および光干渉断層撮影（ＯＣＴ）画像などの様々な画像を分析することを含む。そのような画像は、セグメント化され、ＧＡ病変に関する情報を提供する特徴を識別するために使用され、ＧＡ病変を定量的に評価するために使用されることができる。
Ｉ．概要
地図状萎縮（ＧＡ）を評価するための現在の方法は、ＧＡ病変を評価するために、眼底自発蛍光（ＦＡＦ）画像および光干渉断層撮影（ＯＣＴ）画像などの様々な画像を分析することを含む。そのような画像は、セグメント化され、ＧＡ病変に関する情報を提供する特徴を識別するために使用され、ＧＡ病変を定量的に評価するために使用されることができる。
【0029】
セグメンテーションのいくつかの方法は、例えば半自動化されることができるソフトウェアを使用して、ＦＡＦ画像またはＯＣＴ画像、より具体的にはＯＣＴ ｅｎ ｆａｃｅ（またはｅｎ－ｆａｃｅまたはｅｎｆａｃｅ）画像におけるＧＡ病変をセグメンテーションすることを含む。ＯＣＴ ｅｎ ｆａｃｅ画像は、特定の深さの網膜層および脈絡膜層の横方向画像である。セグメンテーションは、画像内のＧＡ病変についての画素単位マスクを作成することを含む。画素単位マスクは、各画素を少なくとも２つの異なるクラスのうちの１つに属するものとして識別または分類することができる。一例として、各画素は、ＧＡ病変に対応する第１のクラスまたはＧＡ病変に対応しない第２のクラスのいずれかに割り当てられることができる。このようにして、第１のクラスに割り当てられた画素は、ＧＡ病変を識別する。このタイプのセグメンテーションは、ＧＡセグメンテーションと呼ばれることがある。適切なセグメンテーションは、ＧＡ病変の増殖速度を識別および追跡することを可能にし、単巣性病変と多巣性病変とを区別するのを助けることができ、ＧＡ病変に対応する特徴（例えば、面積、周囲長、直径など）を定量化することを可能にすることができる。単巣性ＧＡ病変は、単一の巣性または位置から生じる病変とすることができる。多巣性ＧＡ病変は、複数の病巣または位置から生じる病変を含むＧＡ病変とすることができる。
【0030】
しかしながら、セグメンテーションについてのいくつかの現在利用可能な方法は、手動または半自動セグメンテーションを含む。これらのタイプのセグメンテーション方法は、ＧＡ病変に対応する画像の部分をキャプチャする際に所望よりも正確でない場合がある。さらに、これらのタイプのセグメンテーション方法は、時間がかかるか、または面倒であり得る。例えば、画像の手動セグメンテーションは、画像ごとに約１２分かかる場合があるが、半自動セグメンテーションは、画像ごとに約１分かかる場合がある。したがって、本明細書に記載の実施形態は、ＧＡ病変の画像のセグメンテーションを完全に自動化するための方法およびシステムを提供する。記載された実施形態は、深層学習システムを使用して画像に基づいてＧＡ病変の自動セグメンテーションを可能にする。画像の自動セグメンテーションは、数秒しかかからない場合がある。深層学習システムは、深層学習システムの性能を改善するために、異なるタイプの病変を有する複数の対象についての訓練データに対して訓練されることができる。深層学習システムは、例えば、１つ以上のニューラルネットワークモデルを含むことができる。
【0031】
さらに、本明細書に記載の実施形態は、ＧＡ病変を評価するためのいくつかの現在利用可能な方法が、経時的なＧＡ病変拡大を評価するのに適していない可能性があることを認識している。例えば、ベースライン時点から後の時点（例えば、６ヶ月、１２ヶ月など）までの実際のＧＡ病変拡大と、現在利用可能な方法のいくつかを介して推定されたＧＡ病変拡大との相関は、所望ほど高くない場合がある。ＧＡ病変拡大を経時的に監視することは、例えば、臨床研究にとって重要であり得る。例えば、ＧＡ進行の改善された予測因子が臨床試験において使用されて、層別化因子、選択／除外基準、分析のための共変量、および／または臨床試験の設計を改善または強化するための他のタイプの情報を提供することができる。
【0032】
したがって、本明細書に記載の方法およびシステムは、ＧＡ進行の予測に関して予後能力を有するＧＡ病変に対応する様々な特徴（例えば、形状特徴およびテクスチャ特徴）の値を識別することを可能にする。１つ以上の実施形態では、これらの特徴に基づいてＧＡ進行を予測するプロセスは、完全に自動化される。さらに、本明細書に記載の実施形態は、どの特徴が（例えば、他の特徴と比較して）予後診断能力を有するかを識別するための方法およびシステムを提供する。回帰モデリングを使用して、これらの予後特徴を選択することができる。
【0033】
上述した改善を提供することができる方法論およびシステムの重要性および有用性を認識して考慮に入れて、本明細書は、セグメンテーションマスクを生成するためにＧＡ病変の画像を使用してＧＡ病変をセグメント化するための様々な実施形態を記載する。さらに、本明細書は、ＧＡ病変の画像またはセグメンテーションマスクに基づいてＧＡ病変の特徴を評価するための様々な実施形態を記載する。さらにまた、本明細書は、ＧＡ進行に関する予後能力を有する特徴を決定するための様々な実施形態を記載する。本明細書に記載の実施形態は、例えば、ＧＡ進行の予測を含む、ＧＡ病変の定量的評価（例えば、経時的なＧＡ病変面積の変化）における改善された性能を可能にする。
【0034】
ＩＩ．定義
本開示は、これらの例示的な実施形態および用途、または例示的な実施形態および用途が本明細書で動作するまたは説明される方法に限定されない。さらに、図は、簡略化されたまたは部分的な図を示すことができ、図の要素の寸法は、誇張されているか、または比例していない場合がある。
本開示は、これらの例示的な実施形態および用途、または例示的な実施形態および用途が本明細書で動作するまたは説明される方法に限定されない。さらに、図は、簡略化されたまたは部分的な図を示すことができ、図の要素の寸法は、誇張されているか、または比例していない場合がある。
【0035】
さらに、本明細書では、「の上にある（ｏｎ）」、「に取り付けられている（ａｔｔａｃｈｅｄ ｔｏ）」、「に接続されている（ｃｏｎｎｅｃｔｅｄ ｔｏ）」、「に結合されている（ｃｏｕｐｌｅｄ ｔｏ）」という用語または同様の用語が使用される場合、一方の要素が他方の要素の上に直接あるか、他方の要素に直接取り付けられているか、他方の要素に接続されているか、または他方の要素に結合されているか、または一方の要素と他方の要素との間に１つ以上の介在要素が存在するかにかかわらず、一方の要素（例えば、構成要素、材料、層、基板など）は、他方の要素「の上にある」、「に取り付けられている」、「に接続されている」、または「に結合されている」ことができる。さらに、要素のリスト（例えば、要素ａ、ｂ、ｃ）が参照される場合、そのような参照は、それ自体で列挙された要素のいずれか１つ、列挙された要素の全てよりも少ない要素の任意の組み合わせ、および／または列挙された要素の全ての組み合わせを含むことが意図される。本明細書におけるセクションの区分は、単に検討を容易にするためのものであり、説明された要素の任意の組み合わせを限定するものではない。
【0036】
用語「対象」は、臨床試験の対象、治療を受けている人、抗がん療法を受けている人、寛解または回復について監視されている人、（例えば、その病歴に起因して）予防健康分析を受けている人、または関心のある任意の他の人もしくは患者を指すことができる。様々な場合では、「対象」および「患者」は、本明細書において交換可能に使用されることができる。
【0037】
特に定義されない限り、本明細書に記載の本教示に関連して使用される科学用語および技術用語は、当業者によって一般的に理解される意味を有するものとする。さらに、文脈上別段の必要がない限り、単数形の用語には複数形が含まれ、複数形の用語には単数形が含まれるものとする。一般に、化学、生化学、分子生物学、薬理学および毒物学に関連して利用される命名法およびその技術は、本明細書に記載されており、当該技術分野において周知であり、一般的に使用されるものである。
【0038】
本明細書において使用される場合、「実質的に」は、意図された目的のために機能するのに十分であることを意味する。したがって、「実質的に」という用語は、当業者によって予想されるが、全体的な性能にそれほど影響しないような、絶対的または完全な状態、寸法、測定値、結果などからの微細な、僅かな変動を可能にする。数値、または数値として表されることのできるパラメータもしくは特性に関して使用される場合、「実質的に」とは、１０パーセント以内を意味する。
【0039】
「複数」という用語は、２つ以上を意味する。
【0040】
本明細書において使用される場合、「複数」という用語は、２、３、４、５、６、７、８、９、１０以上とすることができる。
【0041】
本明細書において使用される場合、「のセット」という用語は、１つ以上を意味する。例えば、項目のセットは、１つ以上の項目を含む。
【0042】
本明細書において使用される場合、「少なくとも１つ」という語句は、項目のリストとともに使用される場合、列挙された項目のうちの１つ以上の異なる組み合わせが使用されてもよく、リスト内の項目のうちの１つのみが必要であってもよいことを意味する。項目は、特定の物体、物、ステップ、動作、プロセス、またはカテゴリとすることができる。換言すれば、「のうちの少なくとも１つ」は、リストから項目の任意の組み合わせまたは任意の数の項目が使用されることができるが、リスト内の項目の全てが必要とされるわけではないことを意味する。例えば、限定されないが、「項目Ａ、項目Ｂ、または項目Ｃのうちの少なくとも１つ」は、項目Ａ、項目Ａおよび項目Ｂ、項目Ｂ、項目Ａ、項目Ｂ、および項目Ｃ、項目Ｂおよび項目Ｃ、または項目ＡおよびＣを意味する。場合によっては、「項目Ａ、項目Ｂ、または項目Ｃの少なくとも１つ」は、限定されないが、項目Ａのうちの２つ、項目Ｂのうちの１つ、および項目Ｃのうちの１０個、項目Ｂのうちの４個と項目Ｃのうちの７個、またはいくつかの他の適切な組み合わせを意味する。
【0043】
本明細書において使用される場合、「モデル」は、１つ以上のアルゴリズム、１つ以上の数学的技法、１つ以上の機械学習アルゴリズム、またはそれらの組み合わせを含むことができる。
【0044】
本明細書において使用される場合、「機械学習」は、アルゴリズムを使用してデータを解析し、そこから学習し、次いで世界の何かについての決定または予測を行う実践を含むことができる。機械学習は、ルールベースのプログラミングに依存することなくデータから学習することができるアルゴリズムを使用する。
【0045】
本明細書において使用される場合、「人工ニューラルネットワーク」または「ニューラルネットワーク」（ＮＮ）は、数学的アルゴリズムまたは計算モデルを指すことができる。ニューラルネットと呼ばれることもあるニューラルネットワークは、非線形ユニットの１つ以上の層を使用して、受信した入力の出力を予測することができる。いくつかのニューラルネットワークは、出力層に加えて１つ以上の隠れ層を含む。各隠れ層の出力は、ネットワーク内の次の層、すなわち、次の隠れ層または出力層への入力として使用される。ネットワークの各層は、各パラメータセットの現在の値に従って、受信した入力から出力を生成する。様々な実施形態では、「ニューラルネットワーク」への言及は、１つ以上のニューラルネットワークへの言及とすることができる。
【0046】
ニューラルネットワークは、２つの方法で情報を処理することができる。それが訓練されているとき、それは訓練モードにあり、それが学習したことを実際に実行するとき、それは推論（または予測）モードにある。ニューラルネットワークは、出力が訓練データの出力と一致するように、ネットワークが中間隠れ層内の個々のノードの重み係数を調整する（その挙動を修正する）ことを可能にするフィードバックプロセス（例えば、バックプロパゲーション）を通じて学習することができる。換言すれば、ニューラルネットワークは、訓練データ（学習例）を受信し、新たな範囲または入力のセットが提示された場合であっても、正しい出力に到達する方法を学習することができる。ニューラルネットワークは、例えば、限定されないが、フィードフォワードニューラルネットワーク（ＦＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、モジュラーニューラルネットワーク（ＭＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、残差ニューラルネットワーク（ＲｅｓＮｅｔ）、常微分方程式ニューラルネットワーク（ニューラル－ＯＤＥ）、または別のタイプのニューラルネットワークのうちの少なくとも１つを含むことができる。
【0047】
本明細書において使用される場合、「病変」は、損傷または疾患を介して損傷を受けた臓器または組織の領域を含むことができる。この領域は、連続的または不連続的な領域とすることができる。例えば、本明細書において使用される場合、病変は、複数の領域を含むことができる。地図状萎縮（ＧＡ）病変は、慢性進行性変性を患っている網膜の領域である。本明細書において使用される場合、ＧＡ病変は、１つの病変（例えば、１つの連続病変領域）または複数の病変（例えば、複数の別個の病変からなる不連続病変領域）を含むことができる。
【0048】
本明細書において使用される場合、「病変面積」は、その病変が連続領域であるか不連続領域であるかにかかわらず、病変によって覆われる総面積を指すことができる。
【0049】
本明細書において使用される場合、「長期」は、ある期間にわたって伴う。期間は、日、週、月、年、または他の何らかの時間尺度とすることができる。
【0050】
本明細書において使用される場合、「マスク」は、画像の各画素が少なくとも２つの異なる予め選択された電位値のうちの１つを有するタイプの画像を含む。
【0051】
ＩＩＩ．地理的萎縮（ＧＡ）病変評価
図１は、様々な実施形態にかかる病変評価システム１００のブロック図である。病変評価システム１００は、対象の網膜における地図状萎縮（ＧＡ）病変を評価するために使用される。病変評価システム１００は、コンピューティングプラットフォーム１０２と、データストレージ１０４と、ディスプレイシステム１０６とを含む。コンピューティングプラットフォーム１０２は、様々な形態をとることができる。１つ以上の実施形態では、コンピューティングプラットフォーム１０２は、互いに通信する単一のコンピュータ（またはコンピュータシステム）または複数のコンピュータを含む。他の例では、コンピューティングプラットフォーム１０２は、クラウドコンピューティングプラットフォームの形態をとる。
図１は、様々な実施形態にかかる病変評価システム１００のブロック図である。病変評価システム１００は、対象の網膜における地図状萎縮（ＧＡ）病変を評価するために使用される。病変評価システム１００は、コンピューティングプラットフォーム１０２と、データストレージ１０４と、ディスプレイシステム１０６とを含む。コンピューティングプラットフォーム１０２は、様々な形態をとることができる。１つ以上の実施形態では、コンピューティングプラットフォーム１０２は、互いに通信する単一のコンピュータ（またはコンピュータシステム）または複数のコンピュータを含む。他の例では、コンピューティングプラットフォーム１０２は、クラウドコンピューティングプラットフォームの形態をとる。
【0052】
データストレージ１０４およびディスプレイシステム１０６は、それぞれ、コンピューティングプラットフォーム１０２と通信する。いくつかの例では、データストレージ１０４、ディスプレイシステム１０６、またはその双方は、コンピューティングプラットフォーム１０２の一部と見なされるか、そうでなければ統合されてもよい。したがって、いくつかの例では、コンピューティングプラットフォーム１０２、データストレージ１０４、およびディスプレイシステム１０６は、互いに通信する別個の構成要素であってもよいが、他の例では、これらの構成要素のいくつかの組み合わせが一緒に統合されてもよい。
【0053】
病変評価システム１００は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせを使用して実装されることができる画像プロセッサ１０８を含む。１つ以上の実施形態では、画像プロセッサ１０８は、コンピューティングプラットフォーム１０２に実装される。
【0054】
画像プロセッサ１０８は、処理のために画像入力１０９を受信する。１つ以上の実施形態では、画像入力１０９は、眼底自発蛍光（ＦＡＦ）画像のセット１１０、光干渉断層撮影（ＯＣＴ）画像のセット１１２、１つ以上の他のタイプの画像（例えば、赤外線（ＩＲ）画像）、またはそれらの組み合わせを含む。１つ以上の実施形態では、画像入力１０９は、同じ撮像デバイスによって生成された画像を含む。
【0055】
様々な実施形態では、画像プロセッサ１０８は、セグメンテーションシステム１１４を使用して画像入力１０９を処理して、ＧＡ病変に対応するセグメンテーション出力１１６を生成する。１つ以上の実施形態では、セグメンテーションシステム１１４は、深層学習システム１１８を含む。深層学習システム１１８は、ニューラルネットワークシステムの任意の数または組み合わせを含むことができ、それらのそれぞれは、１つ以上のニューラルネットワークモデルを含む。１つ以上の実施形態では、深層学習システム１１８は、１つ以上のニューラルネットワークを含む畳み込みニューラルネットワーク（ＣＮＮ）モデルを含む。これらの１つ以上のニューラルネットワークのそれぞれは、それ自体が畳み込みニューラルネットワークであってもよい。いくつかの実施形態では、深層学習システム１１８は、Ｕ－Ｎｅｔ（Ｕ字形ニューラルネットワークモデル）を含む。
【0056】
深層学習システム１１８によって生成されたセグメンテーション出力１１６は、１つ以上のセグメンテーションマスクを含む。各セグメンテーションマスクは、網膜の領域の画素単位の評価を提供する。例えば、セグメンテーション出力１１６におけるセグメンテーションマスクは、各画素が２つの値のうちの一方を有するバイナリ画像とすることができる。具体的な一例として、セグメンテーションマスクは、白がＧＡ病変として識別された領域を示す白黒のバイナリ画像であってもよい。
【0057】
１つ以上の実施形態では、深層学習システム１１８を使用して、各画素が０から１の範囲の強度を有する予備確率マップ画像を生成する。１に近い画素強度は、ＧＡ病変である可能性が高い。深層学習システム１１８は、バイナリ確率マップの形態のセグメンテーションマスクを生成するために、予備確率マップに閾値を適用する閾値処理モジュールを含むことができる。例えば、閾値（例えば、０．５、０．７５など）以上の予備確率マップ内の任意の画素強度に「１」の強度が割り当てられることができ、閾値未満の予備確率マップ内の任意の画素強度に「０」の強度が割り当てられることができる。このようにして、セグメンテーション出力１１６は、ＧＡ病変として識別された領域を識別するバイナリセグメンテーションマスクを含む。
【0058】
様々な実施形態では、セグメンテーション出力１１６は、選択された期間（例えば、３ヶ月、６ヶ月、１２ヶ月、１８ヶ月など）にわたってＧＡ病変を評価するために所望される数のセグメンテーションマスクを含む。さらに、セグメンテーション出力１１６は、選択された期間内の所望の時間間隔でＧＡ病変を評価するために、所望の数のセグメンテーションマスクを含むことができる。所望の時間間隔は、一定または異なる時間間隔であってもよい。１つ以上の実施形態では、セグメンテーション出力１１６は、１２か月の期間内の１０日ごとのセグメンテーションマスクを含む。
【0059】
様々な実施形態では、画像プロセッサ１０８（またはコンピューティングプラットフォーム１０２内に実装された別のエージェントもしくはモジュール）は、セグメンテーション出力１１６を使用してＧＡ病変の定量的評価を生成する。例えば、画像プロセッサ１０８は、入力としてセグメンテーション出力１１６などのセグメンテーション出力を受信することができる特徴システム１２０を含むことができる。特徴システム１２０は、セグメンテーション出力１１６を使用して、ＧＡ病変に対応する複数の特徴１２２を抽出する。１つ以上の実施形態では、特徴システム１２０は、例えば、１つ以上のニューラルネットワークモデルを使用して実装されることができる深層学習システム１２１を含む。
【0060】
複数の特徴１２２は、例えば、限定されないが、形状特徴１２４のセットおよびテクスチャ特徴１２６のセットを含むことができる。形状特徴１２４のセットは、例えば、病変面積、凸状面積、周囲長、円形度、最大フェレ直径、最小フェレ直径、ＧＡ病変面積の平方根、周囲長の平方根、円形度の平方根、または他の何らかのタイプの形状特徴のうちの少なくとも１つを含むことができる。
【0061】
いくつかの実施形態では、単巣性または多巣性とすることができる特定のＧＡ病変の形状特徴１２４のセットは、ＧＡ病変の各病変についての面積、凸状面積、周囲長、重心、偏心、長軸長、または短軸長のうちの少なくとも１つに関連する様々なメトリックを含む。例えば、ＧＡ病変が多巣性病変である場合、形状特徴１２４のセットは、ＧＡ病変の各病変についての面積、凸状面積、周囲長、重心、偏心、長軸長、または短軸長のうちの少なくとも１つを含むことができる。場合によっては、各特徴は、サイズでソートされたＧＡ病変についての異なる病変の対応する値を含む。１つ以上の実施形態では、形状特徴１２４のセットは、ＧＡ病変の全ての病変についての面積、凸状面積、周囲長、重心、偏心、長軸長、または短軸長のうちの少なくとも１つの平均、加重平均、標準偏差、またはそれらの組み合わせを含む。いくつかの実施形態では、形状特徴１２４のセットは、ＧＡ病変の最大病変の面積、凸状面積、周囲長、重心、偏心、長軸長、または短軸長のうちの少なくとも１つを含む。いくつかの実施形態では、形状特徴１２４のセットは、ＧＡ病変の病変の全てを包含する凸包についての面積、周囲長、重心、偏心、長軸長、または短軸長のうちの少なくとも１つを含む。
【0062】
テクスチャ特徴１２６のセットは、例えば、コントラスト、エネルギー、エントロピー、均一性、または何らかの他のタイプのテクスチャ特徴のうちの少なくとも１つを定量化する１つ以上のメトリックを含むことができる。いくつかの実施形態では、テクスチャ特徴１２６のセット内のテクスチャ特徴のうちの１つ以上は、画像入力１０９、セグメンテーション出力１１６、またはその双方を使用して作成されることができるグレーレベル共起行列（ＧＬＣＭ）を使用して導出される。ＧＬＣＭは、隣接概念を使用し、画像の画素間の空間的関係を与える。様々な実施形態では、テクスチャ特徴１２６のセットは、例えば、限定されないが、ＧＡ病変に対応する画素強度および他のテクスチャ特性に関する異なるメトリックを含む。
【0063】
これらの異なるタイプの特徴を使用して、任意の所与の時点または長期的にＧＡ病変を定量的に評価することができる。例えば、セグメンテーション出力１１６内のセグメンテーションマスクの場合、病変の数は、ＧＡ病変を形成するセグメンテーションマスク内で識別された不連続領域または領域の数とすることができる。複数の特徴１２２における特徴の例は、病変面積（または全病変面積）および病変周囲長（または全病変周囲長）を含む。病変面積または総病変面積は、識別された１つ以上の病変によって占められる総領域または空間として識別されることができる。病変周囲長または全病変周囲長は、例えば、１つ以上の病変によって占められる一般的な領域または空間の周囲長とすることができる。他の例では、総病変周囲長は、１つ以上の病変の個々の周囲長の合計とすることができる。場合によっては、複数の特徴１２２は、複数の特徴１２２内の１つ以上の他の特徴に基づいて計算される１つ以上の特徴を含む。
【0064】
複数の特徴１２２を使用して、ＧＡ病変を長期的に評価することができる。例えば、場合によっては、複数の特徴１２２を使用して予測出力１２８を生成することができる。予測出力１２８は、例えば、ＧＡ進行の予測を含む。例えば、画像入力１０９は、同じまたは実質的に同じ時点（例えば、同じ時間内、同じ日内、同じ１～３日内など）の画像を含むことができる。複数の特徴１２２、または複数の特徴１２２の少なくとも一部は、経時的なＧＡ病変の長期的な定量的評価を可能にすることができる。予測出力１２８は、例えば、選択された期間（例えば、ベースライン時点と６ヶ月との間、ベースライン時点と１２ヶ月との間、ベースライン時点と１８ヶ月との間など）にわたるＧＡ病変面積の変化の予測を含むことができる。
【0065】
いくつかの実施形態では、複数の特徴１２２または複数の特徴１２２の一部を使用して、自動セグメンテーションの結果を手動または半自動セグメンテーションと比較または分析することができる。この比較または分析は、例えば、自動セグメンテーションを実行するために使用される深層学習システム１１８を再訓練または調整するために使用されることができる。
【0066】
【0067】
ステップ２０２は、画像入力を受信することを含む。画像入力は、例えば、眼底自発蛍光（ＦＡＦ）画像のセット、光干渉断層撮影（ＯＣＴ）画像のセット、赤外線（ＩＲ）画像のセット、１つ以上の他のタイプの画像、またはそれらの組み合わせを含むことができる。画像入力は、対象の同じ網膜の１つ以上の画像を含む。様々な実施形態では、画像入力は、同じまたは実質的に同じ時点（例えば、同じ時間内、同じ日内、同じ１～３日内など）の画像を含む。他の実施形態では、画像入力は、ある期間の画像を含む。例えば、画像入力は、ベースライン時点の第１の画像および将来の時点（例えば、３ヶ月後、６ヶ月後、１２ヶ月後、１８ヶ月後など）の第２の画像を含むことができる。
【0068】
ステップ２０４は、深層学習システムを使用してセグメンテーション出力を生成することを含み、セグメンテーション出力は、ＧＡ病変に対応する画像内の画素を識別する。深層学習システムは、例えば、図１の深層学習システム１１８とすることができる。深層学習システムは、例えば、任意の数のニューラルネットワークを含む畳み込みニューラルネットワーク（ＣＮＮ）システムを含むことができる。セグメンテーション出力は、例えば、図１に記載のセグメンテーション出力１１６とすることができる。１つ以上の例示的な実施形態では、セグメンテーション出力は、各画素が２つの値のうちの１つを有するバイナリ画像であるセグメンテーションマスクを含む。例えば、セグメンテーション出力は、白がＧＡ病変として識別された領域を示す白黒のバイナリ画像を含むことができる。場合によっては、このバイナリ画像は、「セグメンテーションマスク」（または単にマスク）と呼ばれる。
【0069】
ステップ２０６は、セグメンテーション出力を使用してＧＡ病変の定量的評価を生成することを含む。例えば、ステップ２０６は、セグメンテーション出力を使用して抽出されることができる、図１に関して上述した特徴１２２のセットなどのＧＡ病変に対応する複数の特徴を抽出することを含むことができる。特徴のセットは、ＧＡ病変の定量的評価を生成するために使用されることができる。この定量的評価は、長期評価とすることができる。いくつかの実施形態では、この定量的評価は、ＧＡ進行の予測である。例えば、定量的評価は、選択された期間にわたるＧＡ病変面積の変化の予測を含むことができる。
【0070】
ＩＩＩＩ．Ａ．ＧＡ病変セグメンテーション
図３は、様々な実施形態にかかる地図状萎縮病変のセグメンテーション出力を生成するためのプロセス３００のフローチャートである。様々な実施形態では、プロセス３００は、図１に記載の病変評価システム１００を使用して実装される。これらの実施形態では、プロセス３００は、完全に自動化されたプロセスである。
図３は、様々な実施形態にかかる地図状萎縮病変のセグメンテーション出力を生成するためのプロセス３００のフローチャートである。様々な実施形態では、プロセス３００は、図１に記載の病変評価システム１００を使用して実装される。これらの実施形態では、プロセス３００は、完全に自動化されたプロセスである。
【0071】
ステップ３０２は、対象の地図状萎縮（ＧＡ）病変についての画像入力を受信することを含む。画像入力は、第１の画像および第２の画像を含む。第２の画像は、例えば、ベースライン時点についてのベースライン画像とすることができる。第１の画像は、例えば、後の時点についての画像とすることができる。例えば、第１の画像は、処置後の時点（例えば、３ヶ月後、６ヶ月後、１２ヶ月後、１８ヶ月後など）のものとすることができる。画像入力は、ＦＡＦ画像、ＯＣＴ画像、ＩＲ画像、または何らかの他のタイプの画像を含むことができる。
【0072】
ステップ３０４は、深層学習システムに入力された画像を入力することを含む。深層学習システムは、例えば、ニューラルネットワークシステムを含むことができる。ニューラルネットワークシステムは、１つ以上のニューラルネットワークモデルを含むことができる。１つ以上の実施形態では、ニューラルネットワークシステムは、ＣＮＮを含む。他の実施形態では、ニューラルネットワークは、Ｕ－Ｎｅｔを含む。様々な実施形態では、深層学習システムは、様々な画像に対して訓練されたものである。
【0073】
ステップ３０６は、深層学習システムを使用して第１のセグメンテーション出力を生成することを含み、第１のセグメンテーション出力は、ＧＡ病変に対応する第１の画像内の画素を識別する。前述のように、セグメンテーション出力は、１つ以上のセグメンテーションマスクを含むことができる。セグメンテーションマスクは、様々な方法で使用されることができる。例えば、ベースライン画像についてのセグメンテーションマスクは、後の時点についてのセグメンテーションマスクと比較して、定性的および／または定量的評価を実行することができる。
【0074】
ステップ３０８は、深層学習システムを使用して第２のセグメンテーション出力を生成することを含み、第２のセグメンテーション出力は、ＧＡ病変に対応する第２の画像内の画素を識別する。
【0075】
ステップ３１０は、第１のセグメンテーション出力および第２のセグメンテーション出力を使用して対象についてのＧＡ進行を決定することを含む。１つ以上の実施形態では、ステップ３１０は、第１のセグメンテーション出力を使用する第１のＧＡ病変面積と、第２のセグメンテーション出力を使用する第２のＧＡ病変面積とを含む。これらの２つのＧＡ病変面積間の差は、対応する２つの時点間のＧＡ病変面積の変化である。
【0076】
ＧＡ進行は、１つ以上のメトリックを介して決定されることができる。これらのメトリックは、例えば、病変面積の変化、最大直径の変化、アスペクト比の変化、累積強度の変化、２つの時点に対する病変面積に対応する何らかの他の変化、またはそれらの組み合わせを含むことができる。これらのメトリックは、パーセンテージ、絶対値、または何らかの他のタイプの表現とすることができる。
【0077】
ＩＩＩ．Ｂ．ＧＡ病変特徴評価
図４は、様々な実施形態にかかる特徴を使用してＧＡ病変を評価するためのプロセス４００のフローチャートである。様々な実施形態では、プロセス４００は、図１に記載の病変評価システム１００を使用して実装される。様々な実施形態では、プロセス４００は、半自動プロセスである。他の実施形態では、プロセス４００は、完全に自動化されたプロセスである。
図４は、様々な実施形態にかかる特徴を使用してＧＡ病変を評価するためのプロセス４００のフローチャートである。様々な実施形態では、プロセス４００は、図１に記載の病変評価システム１００を使用して実装される。様々な実施形態では、プロセス４００は、半自動プロセスである。他の実施形態では、プロセス４００は、完全に自動化されたプロセスである。
【0078】
ステップ４０２は、地図状萎縮（ＧＡ）病変についての画像入力を受信することを含む。１つ以上の実施形態では、画像入力は、セグメンテーションマスクを含む。このセグメンテーションマスクは、例えば、図３のプロセス３００（例えば、ステップ３０６またはステップ３０８）によって生成されたセグメンテーションマスクであってもよい。他の実施形態では、画像は、ＦＡＦ画像、ＯＣＴ画像、ＩＲ画像、または他の何らかのタイプの画像を含む。さらに他の実施形態では、画像入力は、セグメンテーションマスク、ＦＡＦ画像、またはＯＣＴ画像のいくつかの組み合わせを含む。ＯＣＴ画像は、例えば、ｅｎ ｆａｃｅ脈絡膜ＯＣＴ画像であってもよい。
【0079】
ステップ４０４は、画像入力を使用して形状特徴のセットについての第１の値のセットを決定することを含む。形状特徴のセットは、限定されないが、病変面積、凸状面積、周囲長、円形度、最大フェレ直径、最小フェレ直径、ＧＡ病変面積の平方根、周囲長の平方根、円形度の平方根、または他の何らかのタイプの形状特徴のうちの少なくとも１つなどの様々な特徴を含むことができる。ＧＡ病変が多巣性病変である場合、様々な病変についての特徴の値を処理して、特徴の値に使用される加重平均を計算することができる。他の例では、最も大きい病変に対応する特徴値が使用される。さらに他の例では、特徴値は、多巣性病変内の様々な病変の全てを包含する全体形状（例えば、凸包）から特徴を抽出することによって決定される。
【0080】
病変面積は、ＧＡ病変の面積であり、例えばｍｍ２単位とすることができる。凸状面積は、ＧＡ病変の凸形状または凸包の面積とすることができ、例えばｍｍ２単位とすることができる。周囲長は、ＧＡ病変の周囲長であり、例えばｍｍ単位とすることができる。最大フェレ直径は、ＧＡ病変に対する２つの平行な接線間の最大距離を指すことができる。最小フェレ直径は、ＧＡ病変に対する２つの平行な接線間の最小距離を含むことができる。円形度は、ＧＡ病変がどの程度円形であるかの尺度を伴うことができる。場合によっては、円形度は、以下のように測定される：
円形度＝（４＊ｐｉ＊病変面積）／（周囲長２）（１）
円形度＝（４＊ｐｉ＊病変面積）／（周囲長２）（１）
【0081】
ステップ４０６は、画像入力を使用してテクスチャ特徴のセットについての第２の値のセットを決定することを含む。テクスチャ特徴のセットは、限定されないが、コントラスト、相関、エネルギー、均一性、または何らかの他のテクスチャ特徴のうちの少なくとも１つなどの様々な特徴を含むことができる。いくつかの実施形態では、テクスチャ特徴は、画像入力を使用して作成されることができるグレーレベル共起行列（ＧＬＣＭ）を使用して評価されることができる。ＧＬＣＭは、隣接概念を使用し、画像の画素間の空間的関係を与える。ＧＬＣＭを使用して、以下のようなテクスチャ特徴を導出することができる：
【0082】
ステップ４０８は、第１の値のセットおよび第２の値のセットを使用してＧＡ病変についてのＧＡ進行を予測することを含む。１つ以上の実施形態では、ステップ４０８は、第１の値のセット、第２の値のセット、および深層学習システムを使用して、ＧＡ病変についてのＧＡ進行を予測することを含む。深層学習システムは、例えば、１つ以上のニューラルネットワークモデルを含むことができる。場合によっては、深層学習システムはＣＮＮを含む。
【0083】
図５は、様々な実施形態にかかるＧＡ病変についての予後特徴を識別するためのプロセス５００のフローチャートである。様々な実施形態では、プロセス４００は、図１に記載の病変評価システム１００を使用して実装される。さらに、プロセス５００は、図４のプロセス４００のステップ４０４および４０６に記載された形状特徴のセットおよびテクスチャ特徴のセットが選択されることができる方法の一例とすることができる。様々な実施形態では、プロセス５００は、半自動プロセスである。他の実施形態では、プロセス５００は、完全に自動化されたプロセスである。
【0084】
ステップ５０２は、ＧＡ病変を有する複数の対象についての検査画像を受信することを含む。検査画像は、例えば、ベースライン時点についてのベースライン画像を含む。
【0085】
ステップ５０４は、検査画像を使用して、複数の対象の各対象について、ＧＡ病変面積の変化および複数の特徴を識別することを含む。ＧＡ病変面積の変化は、ベースライン画像およびその後の画像に基づいて識別されることができる。後の画像は、後の時点（例えば、ベースライン時点から３ヶ月後、６ヶ月後、１２ヶ月後、１８ヶ月後など）について生成された画像である。場合によっては、これらの後の画像は、検査画像に含まれる。
【0086】
ステップ５０６は、ＧＡ病変面積の変化を複数の特徴のそれぞれと相関させて相関データを形成することを含む。１つ以上の実施形態では、ステップ５０６は、１つ以上の回帰（例えば、線形回帰モデル）を使用することを含む。さらに、ステップ５０６は、１つ以上の回帰モデルを使用して複数の特徴についての決定係数（Ｒ２）値を計算することを含むことができる。特定の特徴についてＲ２値が高いほど、その特徴の予後ポテンシャル（または予後能力）は、ＧＡ進行またはＧＡ病変面積の変化の予測に関して高くなる。
【0087】
ステップ５０８は、複数の特徴について生成された相関データに基づいて、複数の特徴から形状特徴のセットおよびテクスチャ特徴のセットを選択することを含む。したがって、検査画像を使用して複数の特徴について生成された相関データに基づいて、形状特徴のセットおよびテクスチャ特徴のセットを選択する。いくつかの実施形態では、形状特徴のセットは、ステップ５０４において識別された複数の特徴の全ての形状特徴を含み、テクスチャ特徴のセットは、ステップ５０４において識別された複数の特徴の全てのテクスチャ特徴を含み、またはその双方である。１つ以上の実施形態では、ステップ５０８は、カットオフもしくは閾値Ｒ２値、閾値相関値、またはそれを超えると対応する特徴が選択される何らかの他のタイプの閾値を設定することを含む。閾値Ｒ２値は、例えば、０．０５（例えば、０．０７、０．０８、０．１、０．１２、０．１４、０．１５など）を超える値とすることができる。
【0088】
ＩＶ．実施例／結果
図６は、様々な実施形態にかかる画像のセットを示している。画像のセット６００は、ＧＡ病変を有する対象の２つの例示的なスペクトル領域光干渉断層法（ＳＤ－ＯＣＴ）ｅｎ ｆａｃｅ画像である画像６０２および画像６０４を含む。画像６０２は、ベースライン画像であり、画像６０４は、ベースラインを過ぎた１８ヶ月についての後の画像である。画像６００のセットは、それぞれ、画像６０２および６０４に対応するセグメンテーションマスク６０６およびセグメンテーションマスク６０８を含む。図６の画像のＧＡ病変がセグメント化されて、強度に基づくｋ平均クラスタリングアルゴリズムを使用してＯＣＴ ｅｎ ｆａｃｅ画像からセグメンテーションマスクを形成した。他の実施形態では、他のタイプの教師なし学習技術がセグメンテーションに使用されることができる。
図６は、様々な実施形態にかかる画像のセットを示している。画像のセット６００は、ＧＡ病変を有する対象の２つの例示的なスペクトル領域光干渉断層法（ＳＤ－ＯＣＴ）ｅｎ ｆａｃｅ画像である画像６０２および画像６０４を含む。画像６０２は、ベースライン画像であり、画像６０４は、ベースラインを過ぎた１８ヶ月についての後の画像である。画像６００のセットは、それぞれ、画像６０２および６０４に対応するセグメンテーションマスク６０６およびセグメンテーションマスク６０８を含む。図６の画像のＧＡ病変がセグメント化されて、強度に基づくｋ平均クラスタリングアルゴリズムを使用してＯＣＴ ｅｎ ｆａｃｅ画像からセグメンテーションマスクを形成した。他の実施形態では、他のタイプの教師なし学習技術がセグメンテーションに使用されることができる。
【0089】
図７は、様々な実施形態にかかる形状およびテクスチャ特徴についての様々なメトリックを示すテーブルである。テーブル７００は、ベースライン時点およびベースライン時点から１８ヶ月後の形状およびテクスチャ特徴の平均（平均の標準誤差）を識別する。Ｒ２は、病変成長についての各特徴についてベースラインと１８ヶ月の値との間の１つ以上の線形回帰モデルを介して得られた決定係数（ベースライン病変面積と１８ヶ月の病変面積との間の絶対差）である。テーブル７００の値は、図６の画像６００のセットに対応する。
【0090】
図８は、様々な実施形態にかかる、円形度がオーバーレイされたＯＣＴ ｅｎ ｆａｃｅ画像８００を示している。
【0091】
図９は、様々な実施形態にかかる、最大フェレ直径がオーバーレイされたＯＣＴ ｅｎ ｆａｃｅ画像９００を示している。
【0092】
図１０は、様々な実施形態にかかる、セグメンテーションを自動化する際に使用される深層学習システムについての例示的なインフラストラクチャ１０００を示している。
【0093】
図１１は、様々な実施形態にかかる、自動セグメンテーションおよび手動セグメンテーションによって生成されたセグメンテーションマスクの性能の比較を示している。
【0094】
図１２は、様々な実施形態にかかる、手動セグメンテーションおよび自動セグメンテーションによって生成されたセグメンテーションマスクを示している。図１２では、ＯＣＴ ｅｎ ｆａｃｅ画像１２０２は、第１のマスク１２０４を生成するために手動でセグメント化され、第２のマスク１２０６を生成するためにＵ－Ｎｅｔを含む深層学習システムを使用して自動的にセグメント化される。
【0095】
図１３は、様々な実施形態にかかる、ＤＩＣＥスコアを使用した手動セグメンテーションと異なるタイプの自動セグメンテーション方法との比較１３００を示している。自動セグメンテーション方法は、異なるタイプのＵ－Ｎｅｔベースの深層学習システムを使用する。
【0096】
図１４は、様々な実施形態にかかるＤＩＣＥスコアを使用した異なるタイプの自動セグメンテーション方法の比較１４００を示している。自動セグメンテーション方法は、異なるタイプのＵ－Ｎｅｔベースの深層学習システムを使用する。
【0097】
図１５は、様々な実施形態にかかる同じ多巣性ＧＡ病変についての様々なセグメンテーションマスクを示している。セグメンテーションマスク１５０２は、多巣性ＧＡ病変の全ての病変を示す。セグメンテーションマスク１５０４は、多巣性ＧＡ病変の最大病変を示す。セグメンテーションマスク１５０６は、多巣性ＧＡ病変の全体形状または凸包を示す。
【0098】
図１６は、様々な実施形態にかかる手動セグメンテーションおよび自動セグメンテーションによって抽出された特徴の比較１６００を示している。比較１６００は、Ｕ－Ｎｅｔベースの深層学習システムを使用した性能自動セグメンテーションと、識別された病変の総数、総病変面積、総病変周囲長についての手動セグメンテーションとを示している。
【0099】
図１７は、様々な実施形態にかかる、自動セグメンテーションと手動セグメンテーションとの間の相関を決定するために特徴がどのように使用されることができるかを示すテーブル１７００のセットを示している。
【0100】
図１８は、様々な実施形態にかかる、自動セグメンテーションと手動セグメンテーションとの間の相関を決定するために特徴がどのように使用されることができるかを示すテーブル１８００のセットを示している。図１８では、ｒは、ピアソン相関係数である。図示のように、自動セグメンテーションは、手動セグメンテーションと強く相関がある（例えば、０．８以上の「ｒ」）。
【0101】
Ｖ．コンピュータ実装システム
図１９は、様々な実施形態にかかるコンピュータシステムのブロック図である。コンピュータシステム１９００は、図１において上述したコンピューティングプラットフォーム１０２についての一実装の例とすることができる。１つ以上の例では、コンピュータシステム１９００は、情報を通信するためのバス１９０２または他の通信機構と、情報を処理するためのバス１９０２に結合されたプロセッサ１９０４とを含むことができる。様々な実施形態では、コンピュータシステム１９００はまた、プロセッサ１９０４によって実行される命令を決定するためにバス１９０２に結合された、ランダムアクセスメモリ（ＲＡＭ）１９０６または他の動的ストレージデバイスとすることができるメモリを含むことができる。メモリはまた、プロセッサ１９０４によって実行される命令の実行中に一時変数または他の中間情報を記憶するために使用されることができる。様々な実施形態では、コンピュータシステム１９００は、プロセッサ１９０４のための静的情報および命令を記憶するためにバス１９０２に結合された読み出し専用メモリ（ＲＯＭ）１９０８または他の静的ストレージデバイスをさらに含むことができる。磁気ディスクまたは光ディスクなどのストレージデバイス１９１０が設けられ、情報および命令を記憶するためにバス１９０２に結合されることができる。
図１９は、様々な実施形態にかかるコンピュータシステムのブロック図である。コンピュータシステム１９００は、図１において上述したコンピューティングプラットフォーム１０２についての一実装の例とすることができる。１つ以上の例では、コンピュータシステム１９００は、情報を通信するためのバス１９０２または他の通信機構と、情報を処理するためのバス１９０２に結合されたプロセッサ１９０４とを含むことができる。様々な実施形態では、コンピュータシステム１９００はまた、プロセッサ１９０４によって実行される命令を決定するためにバス１９０２に結合された、ランダムアクセスメモリ（ＲＡＭ）１９０６または他の動的ストレージデバイスとすることができるメモリを含むことができる。メモリはまた、プロセッサ１９０４によって実行される命令の実行中に一時変数または他の中間情報を記憶するために使用されることができる。様々な実施形態では、コンピュータシステム１９００は、プロセッサ１９０４のための静的情報および命令を記憶するためにバス１９０２に結合された読み出し専用メモリ（ＲＯＭ）１９０８または他の静的ストレージデバイスをさらに含むことができる。磁気ディスクまたは光ディスクなどのストレージデバイス１９１０が設けられ、情報および命令を記憶するためにバス１９０２に結合されることができる。
【0102】
様々な実施形態では、コンピュータシステム１９００は、バス１９０２を介して、コンピュータユーザに情報を表示するために、陰極線管（ＣＲＴ）または液晶ディスプレイ（ＬＣＤ）などのディスプレイ１９１２に結合されることができる。英数字および他のキーを含む入力デバイス１９１４は、情報およびコマンド選択をプロセッサ１９０４に通信するためにバス１９０２に結合されることができる。別のタイプのユーザ入力デバイスは、プロセッサ１９０４に方向情報およびコマンド選択を通信し、ディスプレイ１９１２上のカーソル移動を制御するための、マウス、ジョイスティック、トラックボール、ジェスチャ入力デバイス、視線ベースの入力デバイス、またはカーソル方向キーなどのカーソルコントロール１９１６である。この入力デバイス１９１４は、典型的には、デバイスが平面内の位置を指定することを可能にする第１の軸（例えば、ｘ）および第２の軸（例えば、ｙ）の２軸の２自由度を有する。しかしながら、３次元（例えば、ｘ、ｙおよびｚ）カーソル移動を可能にする入力デバイス１９１４も本明細書で企図されることを理解されたい。
【0103】
本教示の特定の実施と一致して、結果は、ＲＡＭ１９０６に含まれる１つ以上の命令の１つ以上のシーケンスを実行するプロセッサ１９０４に応答して、コンピュータシステム１９００によって提供されることができる。そのような命令は、ストレージデバイス１９１０などの別のコンピュータ可読媒体またはコンピュータ可読記憶媒体からＲＡＭ１９０６に読み込まれることができる。ＲＡＭ１９０６に含まれる命令のシーケンスの実行は、プロセッサ１９０４に本明細書に記載のプロセスを実行させることができる。あるいは、本教示を実装するために、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて、ハードワイヤード回路が使用されることができる。したがって、本教示の実装形態は、ハードウェア回路とソフトウェアとの特定の組み合わせに限定されない。
【0104】
本明細書において使用される「コンピュータ可読媒体」、（例えば、データストア、データストレージ、ストレージデバイス、データストレージデバイスなど）、または「コンピュータ可読記憶媒体」という用語は、実行のためにプロセッサ１９０４に命令を提供することに関与する任意の媒体を指す。そのような媒体は、不揮発性媒体、揮発性媒体、および伝送媒体を含むがこれらに限定されない多くの形態をとることができる。不揮発性媒体の例は、これらに限定されないが、ストレージデバイス１９１０などの光学、固体、磁気ディスクを含むことができる。揮発性媒体の例は、これに限定されないが、ＲＡＭ１９０６などのダイナミックメモリを含むことができる。伝送媒体の例は、これらに限定されないが、バス１９０２を備えるワイヤを含む、同軸ケーブル、銅線、および光ファイバを含むことができる。
【0105】
コンピュータ可読媒体の一般的な形態は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、または任意の他の磁気媒体、ＣＤ－ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを有する任意の他の物理媒体、ＲＡＭ、ＰＲＯＭ、およびＥＰＲＯＭ、フラッシュＥＰＲＯＭ、任意の他のメモリチップまたはカートリッジ、またはコンピュータが読み取ることができる任意の他の有形媒体を含む。
【0106】
コンピュータ可読媒体に加えて、命令またはデータは、実行のためにコンピュータシステム１９００のプロセッサ１９０４に１つ以上の命令のシーケンスを提供するために、通信装置またはシステムに含まれる伝送媒体上の信号として提供されることができる。例えば、通信装置は、命令およびデータを示す信号を有するトランシーバを含むことができる。命令およびデータは、１つ以上のプロセッサに、本明細書の開示に概説される機能を実装させるように構成される。データ通信伝送接続の代表的な例は、これらに限定されないが、電話モデム接続、ワイドエリアネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、赤外線データ接続、ＮＦＣ接続、光通信接続などを含むことができる。
【0107】
本明細書に記載のフローチャート、図、および付随する開示は、コンピュータシステム１９００をスタンドアロンデバイスとして使用して、またはクラウドコンピューティングネットワークなどの共有コンピュータ処理リソースの分散ネットワーク上で実装されることができることを理解されたい。
【0108】
本明細書に記載の方法論は、用途に応じて様々な手段によって実装されることができる。例えば、これらの方法は、ハードウェア、ファームウェア、ソフトウェア、またはそれらの任意の組み合わせで実装されることができる。ハードウェア実装の場合、処理ユニットは、１つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書に記載の機能を実行するように設計された他の電子ユニット、および／またはそれらの組み合わせ内に実装されることができる。
【0109】
様々な実施形態では、本教示の方法は、Ｃ、Ｃ＋＋、Ｐｙｔｈｏｎなどのような従来のプログラミング言語で書かれたファームウェアおよび／またはソフトウェアプログラムおよびアプリケーションとして実装されてもよい。ファームウェアおよび／またはソフトウェアとして実装される場合、本明細書に記載の実施形態は、コンピュータに上述した方法を実行させるためのプログラムが記憶された非一時的コンピュータ可読媒体上に実装されることができる。本明細書に記載の様々なエンジンは、コンピュータシステム１９００などのコンピュータシステム上に設けられることができ、プロセッサ１９０４は、メモリ構成要素ＲＡＭ１９０６、ＲＯＭ１９０８、またはストレージデバイス１９１０のいずれか、またはそれらの組み合わせによって提供される命令、および入力デバイス１９１４を介して提供されるユーザ入力を受ける、これらのエンジンによって提供される分析および決定を実行することを理解されたい。
【0110】
ＶＩ．さらなる考察
本教示は、様々な実施形態に関連して説明されているが、本教示がそのような実施形態に限定されることは意図されていない。逆に、本教示は、当業者によって理解されるように、様々な代替物、改変物、および均等物を包含する。説明は、好ましい例示的な実施形態のみを提供し、本開示の範囲、適用可能性または構成を限定することを意図しない。むしろ、好ましい例示的な実施形態の本説明は、様々な実施形態を実装するための可能な説明を当業者に提供する。添付の特許請求の範囲に記載の趣旨および範囲から逸脱することなく、要素の機能および配置に様々な変更を加えることができることが理解される。
本教示は、様々な実施形態に関連して説明されているが、本教示がそのような実施形態に限定されることは意図されていない。逆に、本教示は、当業者によって理解されるように、様々な代替物、改変物、および均等物を包含する。説明は、好ましい例示的な実施形態のみを提供し、本開示の範囲、適用可能性または構成を限定することを意図しない。むしろ、好ましい例示的な実施形態の本説明は、様々な実施形態を実装するための可能な説明を当業者に提供する。添付の特許請求の範囲に記載の趣旨および範囲から逸脱することなく、要素の機能および配置に様々な変更を加えることができることが理解される。
【0111】
様々な実施形態を説明する際に、本明細書は、特定の一連のステップとして方法および／またはプロセスを提示している場合がある。しかしながら、方法またはプロセスが本明細書に記載の特定の順序のステップに依存しない限り、方法またはプロセスは、記載の特定の順序のステップに限定されるべきではなく、当業者は、順序が変更されてもよく、依然として様々な実施形態の趣旨および範囲内にあることを容易に理解することができる。
【0112】
本開示のいくつかの実施形態は、１つ以上のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、命令を含む非一時的コンピュータ可読記憶媒体であって、命令が、１つ以上のデータプロセッサ上で実行されると、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させる、非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つ以上のデータプロセッサに、本明細書に開示された１つ以上の方法の一部または全部および／または１つ以上のプロセスの一部または全部を実行させるように構成された命令を含む、非一時的機械可読記憶媒体において有形に具現化されたコンピュータプログラム製品を含む。
【0113】
実施形態の理解を提供するために、本明細書では具体的な詳細が与えられる。しかしながら、これらの具体的な詳細なしで実施形態が実施されることができることが理解される。例えば、回路、システム、ネットワーク、プロセス、および他の構成要素は、実施形態を不必要に詳細に不明瞭にしないために、ブロック図形式の構成要素として示されてもよい。他の例では、実施形態を不明瞭にすることを避けるために、周知の回路、プロセス、アルゴリズム、構造、および技術が不必要な詳細なしに示されてもよい。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18-1】
【図18-2】
【図18-3】
【図18-4】
【図18-5】
【図18-6】
【図19】
【国際調査報告】