▶ カール ツァイス メディテック インコーポレイテッドの特許一覧 ▶ カール ツアイス メディテック アクチエンゲゼルシャフトの特許一覧
特表2022-520708広角自発蛍光画像における加齢黄斑変性症患者の地図状委縮パターンのセグメントテーションおよび分類
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-04-01
(54)【発明の名称】広角自発蛍光画像における加齢黄斑変性症患者の地図状委縮パターンのセグメントテーションおよび分類
(51)【国際特許分類】
A61B 3/12 20060101AFI20220325BHJP
A61B 3/14 20060101ALI20220325BHJP
G06T 7/00 20170101ALI20220325BHJP
A61B 3/10 20060101ALN20220325BHJP
【ＦＩ】
A61B3/12
A61B3/14
G06T7/00 612
G06T7/00 350C
A61B3/10 100
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021538343
(86)(22)【出願日】2020-02-06
(85)【翻訳文提出日】2021-06-29
(86)【国際出願番号】 EP2020000037
(87)【国際公開番号】W WO2020160839
(87)【国際公開日】2020-08-13
(31)【優先権主張番号】62/802,728
(32)【優先日】2019-02-08
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】503317201
【氏名又は名称】カール ツァイス メディテック インコーポレイテッド
【氏名又は名称原語表記】Ｃａｒｌ Ｚｅｉｓｓ Ｍｅｄｉｔｅｃ Ｉｎｃ．
(71)【出願人】
【識別番号】502303382
【氏名又は名称】カール ツアイス メディテック アクチエンゲゼルシャフト
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(74)【代理人】
【識別番号】100142907
【弁理士】
【氏名又は名称】本田 淳
(72)【発明者】
【氏名】ダービン、メアリー
(72)【発明者】
【氏名】マニヴァンナン、ニランチャナ
【テーマコード（参考）】
4C316
5L096
【Ｆターム（参考）】
4C316AA09
4C316AA10
4C316AB02
4C316AB07
4C316AB11
4C316AB16
4C316FB05
4C316FB13
4C316FB21
4C316FB26
4C316FB27
4C316FC15
5L096DA04
5L096FA02
5L096FA06
5L096FA32
5L096GA51
5L096HA11
5L096JA22
5L096KA04
(57)【要約】
眼底自発蛍光画像における地図状委縮（ＧＡ）表現パターンを識別するための自動セグメンテーション及び識別システム／方法。ハイブリッドプロセスは、教師付きピクセル分類器を動的輪郭アルゴリズムと組み合わせている。訓練済み機械学習モデル（例えば、ＳＶＭ又はＵ－Ｎｅｔ）は初期ＧＡセグメンテーション／分類を提供し、それに続いてＣｈａｎ－Ｖｅｓｅ動的輪郭アルゴリズムが適用される。ＧＡセグメンテーションエリアの接合部ゾーンが、幾何学的規則性及び光強度規則性について解析される。ＧＡ表現型の特定が、これらのパラメータから少なくとも部分的に行われる。
【特許請求の範囲】
【請求項1】
眼内の地図状委縮（ＧＡ）を分類する方法であって、眼科診断装置を使用して眼の眼底の画像を取得するステップと、
コンピュータプロセッサを使用して、
取得された画像を、機械学習モデルに基づく表現型分類器に提供するステップと、前記表現型分類器はＧＡ領域を識別し、その後、識別されたＧＡ領域を縞状表現型又は拡散型表現型に分類し、
前記表現型分類器の結果を電子ディスプレイ上に表示するか、又は前記結果をさらに処理するために保存するステップと、
を含む方法。
【請求項2】
前記表現型分類器は、手作業で描出されたＧＡ領域を有し、その表現型が識別された眼底画像の訓練出力セットを使用して、及び描出されたＧＡ領域を有しておらず、かつ識別された表現型を有していない同じ眼の眼底画像の訓練入力セットを使用して訓練されたニューラルネットワークであり、前記ニューラルネットワークを訓練する前に、前記訓練入力セット及び前記訓練出力セットの前記眼底画像から網膜血管が除去される、請求項１に記載の方法。
【請求項3】
前記取得された画像内の関心対象領域（ＲＯＩ）を特定するステップをさらに含み、前記ＲＯＩは眼の網膜黄変を含み、前記表現型分類器は処理を前記ＲＯＩに限定する、請求項１又は２に記載の方法。
【請求項4】
前記取得された画像の画像品質（ＩＱ）尺度を特定するステップをさらに含み、測定された特定された画像品質が所定のＩＱ閾値より高いことに応答して、前記取得された画像が前記表現型分類器に提供される、請求項１乃至３の何れか１項に記載の方法。
【請求項5】
自動ＧＡ領域識別プロセスは、ピクセルごとの分類を前記取得された画像に適用して第一のＧＡ領域を識別する、教師付きピクセル分類器に基づく第一のステージと、第二のＧＡ領域を画定する動的輪郭セグメンテーションプロセスの開始点として前記第一のＧＡ領域を使用する第二のステージとを含む２ステージＧＡ領域識別プロセスであり、画定された第二のＧＡ領域が縞状表現型又は拡散型表現型に識別される、請求項１乃至４の何れか１項に記載の方法。
【請求項6】
前記教師付きピクセル分類器は訓練済みニューラルネットワーク又はサポートベクタマシンのうちの一方である、請求項５に記載の方法。
【請求項7】
前記動的輪郭セグメンテーションプロセスはＣｈａｎ－Ｖｅｓｅ動的輪郭セグメンテーションを適用する、請求項５又は６に記載の方法。
【請求項8】
表現型分類は識別されたＧＡ領域の接合部ゾーンに基づく、請求項１乃至７の何れか１項に記載の方法。
【請求項9】
識別された各ＧＡ領域について、前記表現型分類器は、現在識別されているＧＡ領域を３Ｄ空間にマッピングし、３ＤマッピングされたＧＡ領域の表面積を特定し、
前記３ＤマッピングされたＧＡ領域の表面積が所定の最低面積閾値より小さいことに応答して、前記現在識別されているＧＡ領域を非ＧＡ領域であると再分類する、請求項１乃至８の何れか１項に記載の方法。
【請求項10】
識別された各ＧＡ領域について、前記表現型分類器は、第一の尺度であって、現在識別されているＧＡ領域の周囲に近接し、それに沿った輪郭不均一性尺度又は強度均一性尺度の１つである前記第一の尺度を特定し、
特定された前記第一の尺度が第一の閾値より高いことに応答して、前記現在識別されているＧＡ領域を高増悪速度ＧＡに分類する、請求項１乃至９の何れか１項に記載の方法。
【請求項11】
前記表現型分類器は、前記第一の尺度が前記第一の閾値以下であることに応答して、第二の尺度であって、前記輪郭不均一性尺度又は強度均一性尺度の残りの一方である前記第二の尺度を特定し、
前記第二の尺度が第二の閾値より高いことに応答して、前記現在識別されているＧＡ領域を高増悪速度ＧＡに分類する、請求項１０に記載の方法。
【請求項12】
現在識別されているＧＡ領域について、前記表現型分類器は、前記現在識別されているＧＡ領域の周囲に近接し、それに沿った輪郭不均一性尺度を特定し、
特定された輪郭不均一性尺度が所定の不均一性閾値より高いことに応答して、前記現在識別されているＧＡ領域を「拡散型」表現型に分類する、請求項１乃至１１の何れか１項に記載の方法。
【請求項13】
前記不均一性閾値は、サンプルＧＡ領域のライブラリの標準平均輪郭偏差に基づく、請求項１２に記載の方法。
【請求項14】
現在識別されているＧＡ領域について、前記表現型分類器は、前記現在識別されているＧＡ領域の周囲に近接し、それに沿った強度均一性尺度を特定し、
特定された強度均一性尺度が所定の強度均一性閾値より高いことに応答して、前記現在識別されているＧＡ領域を「縞状」表現型に分類する、請求項１乃至１３の何れか１項に記載の方法。
【請求項15】
前記強度均一性尺度を特定することは、前記現在識別されているＧＡ領域の周囲に沿ったランダム点の集合を選択することと、前記ランダム点から延びる、前記周囲の輪郭に垂直な方向に沿ったピクセル強度の山と谷を特定することを含み、前記強度均一性閾値は、サンプルＧＡ領域の接合部ゾーンに沿ったピクセル強度の山と谷の標準化平均に基づく、請求項１４に記載の方法。
【請求項16】
ＧＡ領域を識別する前に、取得された画像から網膜血管が除去される、請求項１乃至１５の何れか１項に記載の方法。
【請求項17】
眼内の地図状委縮（ＧＡ）を分類する方法であって、眼科診断装置を使用して、前記眼の眼底の画像を取得するステップと、
コンピュータプロセッサを使用して、
前記画像を、前記画像内のＧＡ領域を識別する自動ＧＡ識別プロセスに提供するステップと、
第一の尺度を特定するステップと、前記第一の尺度は、識別されたＧＡ領域の周囲に近接し、それに沿った前記画像の領域内の輪郭不均一性尺度又は強度均一性尺度のうちの一方であり、
特定された前記第一の尺度が第一の閾値より高いことに応答して、前記ＧＡ領域を高増悪速度ＧＡに分類するステップと、
前記ＧＡ領域の特定された分類を電子ディスプレイ上に表示するか、さらに処理するために特定された分類を保存するステップと、を含む方法。
【請求項18】
前記コンピュータプロセッサは、前記第一の尺度が前記第一の閾値以下であることに応答して、第二の尺度を特定し、前記第二の尺度は前記輪郭不均一性尺度又は強度均一性尺度の残りの一方であり、
第二の測定値が第二の閾値より高いことに応答して、現在識別されているＧＡ領域を高増悪速度ＧＡとして識別する、請求項１７に記載の方法。
【請求項19】
前記コンピュータプロセッサは、自動関心対象領域（ＲＯＩ）識別プロセスを使用して、少なくとも所定の解剖学的ランドマークに基づいて眼底の前記画像内でＲＯＩを識別し、前記ＲＯＩは前記眼の網膜黄斑を含み、
前記自動ＧＡ識別プロセスは、前記ＲＯＩ内の画像データに限定される、請求項１７又は１８に記載の方法。
【請求項20】
前記自動関心対象領域（ＲＯＩ）識別プロセスは、前記画像内の血管主要密集部の位置を識別することと、
識別された位置に少なくとも部分的に基づいて視神経乳頭を識別することと、
識別された視神経乳頭と前記画像が左眼のものか右眼のものかの特定を中心窩の探索の基準として使用することと、
前記ＲＯＩを前記中心窩の位置に基づいて画定することと、を含む、請求項１９に記載の方法。
【請求項21】
前記ＲＯＩは、複数のサブ画像セクタを含み、前記自動ＧＡ識別プロセスは、前記ＲＯＩの各サブ画像セクタを、サブ画像セクタごとに、ＧＡサブ画像又は非ＧＡサブ画像として分類する、請求項１９又は２０に記載の方法。
【請求項22】
各サブ画像セクタは１つのピクセルを含む、請求項２１に記載の方法。
【請求項23】
自動ＧＡ識別プロセスに提供する前に、前記画像から網膜血管が除去される、請求項１７乃至２２の何れか１項に記載の方法。
【請求項24】
自動ＧＡ識別プロセスは、前記画像を、初期ＧＡセグメンテーションを提供する訓練済み機械学習（ＭＬ）モデルに提供することを含む、請求項１７乃至２３の何れか１項に記載の方法。
【請求項25】
前記ＭＬモデルはサポートベクタマシンである、請求項２４に記載の方法。
【請求項26】
前記ＭＬモデルは、Ｕ－Ｎｅｔアーキテクチャに基づく訓練済みニューラルネットワークである、請求項２４に記載の方法。
【請求項27】
前記自動ＧＡ識別プロセスは、ＭＬモデルの結果を、前記初期ＧＡセグメンテーションを開始点として使用する動的輪郭アルゴリズムに提供することを含み、前記動的輪郭アルゴリズムの結果は前記画像内のＧＡ病巣を少なくとも部分的に識別する、請求項２４乃至２６の何れか１項に記載の方法。
【請求項28】
前記動的輪郭アルゴリズムは、輪郭成長のエネルギと移動方向を変化させるように改良されたＣｈａｎ－Ｖｅｓｅセグメンテーションに基づく、請求項２７に記載の方法。
【請求項29】
前記画像は２次元（２Ｄ）ピクセルを含む平面画像であり、前記自動ＧＡ識別プロセスは、識別されたＧＡ領域を３次元（３Ｄ）空間にマッピングして、３ＤマッピングされたＧＡ領域を画定することと、
前記３ＤマッピングされたＧＡ領域の面積を特定することと、
前記３ＤマッピングされたＧＡ領域の特定された面積が所定の面積閾値より小さいことに応答して、前記ＧＡ領域を非ＧＡ領域に再特定することと、を含む、請求項１７乃至２８の何れか１項に記載の方法。
【請求項30】
前記輪郭不均一性尺度を特定することは、識別されたＧＡ領域の周囲に沿ったランダム点の集合を選択することと、
各ランダム点から識別されたＧＡ領域の重心までの距離を特定することと、を含み、
前記輪郭不均一性尺度は特定された距離の変化性に基づく、請求項１７乃至２９の何れか１項に記載の方法。
【請求項31】
前記ランダム点の集合は、前記ＧＡ領域の周囲に沿って等距離で分散される、請求項３０に記載の方法。
【請求項32】
識別されたＧＡ領域は、前記輪郭不均一性尺度に基づいて「拡散型」表現型に分類される、請求項３０又は３１に記載の方法。
【請求項33】
前記強度均一性尺度を特定することは、識別されたＧＡ領域の周囲に沿ったランダム点の集合を選択することと、
各ランダム点に関する強度変化性尺度を、各ランダム点から延びる周囲の輪郭に垂直な方向に沿ったピクセル強度の山と谷に基づいて特定することと、を含み、
前記強度均一性尺度は前記強度変化性尺度に基づく、請求項１７乃至３２の何れか１項に記載の方法。
【請求項34】
識別されたＧＡ領域は、前記強度変化性尺度の少なくとも所定のパーセンテージが所定の変化性閾値より大きいことに応答して、「縞状」表現型に分類される、請求項３３に記載の方法。
【請求項35】
前記強度変化性尺度を特定することは、ヘシアンフィルタ勾配導関数又は方向ガウシアンフィルタの少なくとも一方を使用することを含む、請求項３３又は３４に記載の方法。
【請求項36】
眼内の地図状委縮（ＧＡ）を分類するシステムであって、前記眼の眼底の画像を取得するための眼科診断装置と、
コンピュータプロセッサと、
機械学習モデルに基づく表現型分類器と、
ディスプレイ及び／又は記憶手段と、を備え、
請求項１乃至１６の何れか１項に記載の方法を実行するように構成されるシステム。
【請求項37】
眼内の地図状委縮（ＧＡ）を分類するシステムであって、前記眼の眼底の画像を取得するための眼科診断装置と、
コンピュータプロセッサと、
前記画像内のＧＡ領域を識別する自動ＧＡ識別プロセッサと、
ディスプレイ及び／又は記憶手段と、を備え、
請求項１７乃至３５の何れか１項に記載の方法を実行するように構成されるシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は概して、眼科自発蛍光画像の分野に関する。より詳しくは、それは眼底自発蛍光画像における地図状委縮領域の分類に関する。
【背景技術】
【0002】
加齢黄斑変性症（ＡＭＤ：ａｇｅ－ｒｅｌａｔｅｄ ｍａｃｕｌａｒ ｄｅｇｅｎｅｒａｔｉｏｎ）は、発展途上国における高齢者層の失明の最多原因である。地図状委縮（ＧＡ：ｇｅｏｇｒａｐｈｉｃ ａｔｒｏｐｈｙ）は、進行したＡＭＤの形態であり、視細胞、網膜色素上皮（ＲＰＥ：ｒｅｔｉｎａｌ ｐｉｇｍｅｎｔ ｅｐｉｔｈｅｌｉｕｍ）、及び脈絡毛細管の喪失を特徴とする。地図状委縮が見られる患者は世界中で５００万人と推定されている。ＧＡは、不可逆的視機能喪失の原因となる可能性があり、ＡＭＤからの重度の視覚障害の約２０％を占める。ＧＡの増悪（ｐｒｏｇｒｅｓｓｉｏｎ）に対抗するための承認済みの治療は現時点ではない。しかしながら、近年、ＧＡの病因の理解が進み、現在では見込みのある数種の治療法の臨床試験に至っている。それでもなお、ＧＡ進行の早期識別は、その影響を遅らせる上で極めて重要である。
【0003】
異常な眼底自発蛍光（ＦＡＦ：ｆｕｎｄｕｓ ａｕｔｏｆｌｕｏｒｅｓｃｅｎｃｅ）画像の表現パターンの違いがＧＡの進行を識別するのに役立つことが判明している。したがって、ＧＡ病巣及びその表現型の識別は、ＡＭＤの病勢進行の特定と臨床診断において重要な要素であり得る。医療従事者を使ってＧＡ病巣及びその表現型についてＦＡＦ画像を視覚的に検査することも有効であるが、時間がかかる。ＧＡ病巣の評価を支援する幾つかのセグメンテーションアルゴリズムが開発されているが、これらのアルゴリズムの多くが半自動的であり、ＧＡ病巣のセグメンテーションのための手作業による入力を必要とする。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明の目的は、医用画像中のＧＡ病巣及びその表現パターンを定量化する全自動的方法を提供することである。
本発明の他の目的は、ＧＡ病巣セグメンテーションアルゴリズムに、異なる表現型パターンを識別し、分類する能力を補足することである。
本発明の他の目的は、ＧＡ病巣セグメンテーションアルゴリズムに、異なる表現型パターンを識別し、分類する能力を補足することである。
【0005】
本発明の別の目的は、広角ＦＡＦ画像中のＧＡ表現パターンの自動セグメンテーション及び識別のためのフレームワークを提供することである。
【課題を解決するための手段】
【0006】
上述の目的は、眼内の地図状委縮（ＧＡ）を分類する（例えば、識別する）システム／方法において達成される。例えば、ＧＡ領域（例えば、眼底又はｅｎ ｆａｃｅ画像中のＧＡセグメンテーション）は「拡散型」表現型又は「縞状」表現型と識別されてよい。これらの表現型は何れも、経験的に、増悪速度の速い地図状委縮を示すものと特定されてきた。システムは、眼科画像を生成／捕捉するために使用される眼底イメージャ又は光干渉断層撮影（ＯＣＴ：ｏｐｔｉｃａｌ ｃｏｈｅｒｅｎｃｅ ｔｏｍｏｇｒａｐｈｙ）装置等の眼科診断装置を含んでいてよい。代替的に、眼科診断装置は、例えばインタネット等のコンピュータネットワークを使用してデータストアから既存の眼科画像にアクセスするコンピュータシステムを具現化してもよい。眼科診断装置は、眼底画像を取得するために使用される。好ましくは、画像は眼底自発蛍光（ＦＡＦ）画像であり、これは、ＧＡ病巣が典型的にこのような画像において、より認識しやすいからである。
【0007】
取得された画像はその後、自動ＧＡ識別プロセスに提供され、画像中のＧＡ領域が識別（例えば、セグメント化）される。本願のＧＡセグメンテーションプロセスは完全自動化され、深層学習ニューラルネットワークに基づいていてよい。ＧＡセグメンテーションはさらに、２ステージセグメンテーションプロセス、例えば教師付き分類器（例えば、ピクセル／画像セグメントセグメンテーション）と動的輪郭アルゴリズムを組み合わせたハイブリッドプロセスに基づいていてよい。教師付き分類器は好ましくは機械学習（ＭＬ）モデルであり、サポートベクタマシン（ＳＶＭ）又は深層学習ニューラルネットワーク、好ましくはＵ－Ｎｅｔ型畳み込みニューラルネットワークとして実装されてよい。この第一のステージの分類器／セグメンテーションＭＬモデルは、画像中の初期ＧＡ領域（病巣）を識別し、その結果が第二のステージのセグメンテーションのための動的輪郭アルゴリズムに供給される。動的輪郭アルゴリズムは改良型Ｃｈａｓｅ－Ｖｅｓｅセグメンテーションアルゴリズムとして実装されてよく、第一のステージで識別された初期ＧＡ領域がＣｈａｓｅ－Ｖｅｓｅセグメンテーションにおける開始点（例えば、初期輪郭）として使用される。その結果、取得された画像のロバストなＧＡセグメンテーションが可能となる。
【0008】
識別されたＧＡ領域はその後、それらの特定の表現型を識別するための解析のために提供される。例えば、システム／方法は、ＧＡ領域の輪郭不均一性尺度を用いて「拡散型」表現型を識別し、強度均一性尺度を用いて「縞状」表現型を識別してよい。これら２つの表現型の何れも、高増悪速度ＧＡ領域を示す。この解析は２ステージプロセスで行われてよく、２つの尺度のうちの１つ目が計算され、１つ目の尺度が第一の閾値より高ければ、このＧＡ領域は高増悪速度に分類されてよく、２つの測定値の２つ目のものを計算する必要がない。しかしながら、１つ目の尺度が第一の閾値以下であれば、２つ目の尺度が計算され、第二の閾値と比較されて、それが高増悪速度ＧＡを示すか否かが特定されてよい。例えば、輪郭不均一性尺度が第一の所定の閾値より高い（例えば、ＧＡ領域の周辺輪郭の不均一性が所定の閾値より高い）場合、そのＧＡ領域は「拡散型」表現型と分析されてよく、強度均一性尺度が第二の閾値より高ければ、そのＧＡ領域は「縞状」表現型として分類されてよい。
【0009】
本発明のその他の目的及び達成事項は、本発明のより十分な理解と共に、添付の図面と併せて解釈される以下の説明と特許請求の範囲を参照することにより明らかとなり、理解されるであろう。
【0010】
本明細書で開示される実施形態は例にすぎず、本開示の範囲はそれらに限定されない。１つの請求カテゴリ、例えばシステムにおいて記載される何れの実施形態の特徴も、他の請求カテプリ、例えば方法においても特許請求できる。付属の請求項中の従属性又は後方参照は、形式的な理由のためにのみ選択されている。しかしながら、それ以前の請求項への慎重な後方参照から得られる何れの主題もまた特許請求でき、それによって請求項及びその特徴のあらゆる組合せが開示され、付属の特許請求の範囲の中で選択された従属性に関係なく、特許請求できる。
【0011】
図中、同様の参照記号／文字は同様の構成要素を指す。
【図面の簡単な説明】
【0012】
【図1】眼の同様の領域の忠実色画像の３つのグレイスケール画像及びその横の３つの対応する自発蛍光画像を提供する。
【図2】ＧＡ領域の例示的なＦＡＦ画像を提供する。
【図4】ＧＡ表現型パターンの自動セグメンテーション及び識別のためのフレームワーク概要を提供する。
【図5】本発明によるＧＡ表現型パターンの自動セグメンテーション及び識別のためのより詳細なプロセスを図解する。
【図6】人間の専門家が描出した４つのＧＡ領域を示す。
【図8】人間の専門家が描出した５つのＧＡ領域を示す。
【図10】その重心が円で示されている「拡散型」表現型ＧＡ領域を図解する。
【図11】重心と、ＧＡセグメンテーションの周囲に沿って等間隔に離間された１３のランダム点の集合を有する「帯状」表現型ＧＡ領域を図解する。
【図12】眼内の地図状委縮を自動的に分類する例示的な方法を図解する。
【図13】眼底を撮影するためのスリットスキャニング眼科システムの例を図解する。
【図14】本発明と使用するのに適した眼の３Ｄ画像データを収集するために使用される一般型周波数領域光干渉断層撮影システムを図解する。
【図15】ｅｎ ｆａｃｅ脈管画像の例を示す。
【図16】多層パーセプトロン（ＭＬＰ）ニューラルネットワークの例を図解する。
【図17】入力層、隠れ層、及び出力層からなる単純化されたニューラルネットワークを示す。
【図18】例示的な畳み込みニューラルネットワークアーキテクチャを図解する。
【図19】例示的なＵ－Ｎｅｔアーキテクチャを図解する。
【図20】例示的なコンピュータシステム（又は計算装置又はコンピュータ装置）を図解する。
【発明を実施するための形態】
【0013】
早期診断は様々な眼疾患の治療を成功させる上で極めて重要である。光学イメージングは、網膜の非侵襲的検査のための好ましい方法である。加齢黄斑変性症（ＡＭＤ）は失明の主原因であることが知られているが、診断はダメージ自体が発現するまで下されないことが多い。したがって、高度な眼科イメージング装置の目的は、疾患の前臨床段階で病理変化を検出し、モニタするのに役立つ診断ツールを提供することである。
【0014】
幾つもの眼科イメージングシステムが当業界で知られており、これは例えば眼底イメージングシステムや光干渉断層撮影システムであり、その中の何れも本発明に使用されてよい。眼科イメージングモダリティの例は以下に提供され、例えば図１３及び１４を参照されたい。これらの装置の何れも眼底画像を提供するために使用されてよく、眼底とは、眼の、水晶体（眼球内水晶体）の反対の内面であり、網膜、視神経乳頭、網膜黄斑、中心窩、及び後極を含みうる。
【0015】
眼科イメージングシステムは、フルカラー画像を生成し得る。他のイメージング技術、例えば蛍光眼底造影法又はインドシアニングリーン眼底造影法（ＩＣＧ：ｉｎｄｏｃｙａｎｉｎｅ ｇｒｅｅｎ ａｎｇｉｏｇｒａｐｈｙ）は、血管や病変等の特定の眼科特徴の高コントラスト画像を捕捉するために使用されてよい。高コントラスト画像は、蛍光染料を被検者の血流中に注入した後に画像を収集し、蛍光染料を励起させるために選択された特定の光周波数（例えば、色）を使用して画像捕捉することによって取得される。
【0016】
代替的に、高コントラスト画像は、蛍光染料を使用せずに取得されてもよい。例えば自発蛍光として知られる技術において、特定の周波数の光（例えば、色付きのＬＥＤ又はレーザ）を提供する個々の光源を使用して、眼内で自然に発生する異なるフルオロフォアを励起させることができる。その結果得られる蛍光は、励起波長をフィルタで除去することによって検出できる。これによって、眼の幾つかの特徴／組織を、忠実色画像で可能なレベルよりも容易に認識できるようにすることができる。例えば、眼底自発蛍光（ＦＡＦ）イメージングは、リポフスチンの自然蛍光を刺激する緑又は青の励起により実行でき、モノクロ画像が生成される。例示を目的として、図１は忠実色画像の３つのグレイスケール画像１１Ａ、１３Ａ、及び１５Ａとその隣の、眼の同じ領域の３つの対応する自発蛍光画像１１Ｂ、１３Ｂ、及び１５Ｂを提供する。明らかであるように、グレイスケール画像１１Ａ、１３Ａ、及び１５Ａ内であまり鮮鋭に画定されていない幾つかの組織の特徴（例えば、各画像の中央エリア内）は、対応する自発蛍光画像１１Ｂ、１３Ｂ、及び１５Ｂにおいては容易に識別可能である。
【0017】
ＡＭＤは一般に、ドライ型（萎縮性）ＡＭＤとして始まり、進行して滲出型（新生血管）ＡＭＤとなる。ドライ型ＡＭＤは、網膜上に（例えば、黄斑の下に）形成されるドルーセン（例えば、白又は黄色っぽい微小な堆積物）によって特徴付けられ、それによって時間の経過と共に網膜が劣化又は退化する。早期のドライ型ＡＭＤは栄養療法又はサプリメントで治療されるかもしれず、滲出型ＡＭＤは注射（例えば、ルセンティス、アバスチン、及びアイリーアの注射）により治療されるかもしれないが、より後期のドライ型ＡＭＤについては、臨床実験は実行中であるものの、承認された治療法は現時点ではない。地図状委縮（ＧＡ）は、ドライ型ＡＭＤの後期の形態であり、網膜内の、劣化又は死滅した細胞のパッチにより特徴付けられる。ＧＡは、色素脱失、すなわち網膜色素上皮（ＲＰＥ：ｒｅｔｉｎａｌ ｐｉｇｍｅｎｔ ｅｐｉｔｈｅｌｉｕｍ）の明らかな喪失の何れの鮮鋭に描かれた円又は楕円領域として画定されてもよく、そこでは脈絡膜欠陥が周囲のエリアよりよく見え、直径例えば１７５μｍと微小なサイズである。歴史的に、カラー眼底画像がＧＡのイメージングと識別に使用されてきたが、カラー眼底画像は、ＧＡの進行に伴う病変の特徴を可視化することができない。自発蛍光染料であるリポフスチンを含むＲＰＥ細胞の喪失により、眼底自発蛍光（ＦＡＦ）イメージングでは委縮エリアは暗く見える。これによって、委縮及び非委縮エリア間に高いコントラストが生じ、それがカラー眼底画像よりも容易にＧＡのエリアを画定できる。自発蛍光の使用は、ＧＡ病巣の評価と、病巣構造の変化のモニタにとってより有効なイメージングモダリティであることがわかっている。特に、４８８ｎｍの励起波長によるＦＡＦは、ＧＡ病巣の形態学的評価のための現在の、業界で好まれている技術である。例示を目的として、図２はＧＡ病巣の例示的なＦＡＦ画像を提供する。
【0018】
ＧＡのＦＡＦ画像は、委縮領域を取り囲む過剰自発蛍光の異常なパターンによって特徴付けられるかもしれない。これは分類、又はＧＡの特定の表現型の識別につながっている。この特徴的な過剰自発蛍光の異なるパターンへの分類は、ビンデバルト（Ｂｉｎｄｅｗａｌｄ）らによって「初期の加齢黄斑変性症における目眼底自発蛍光パターンの分類（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ Ｆｕｎｄｕｓ Ａｕｔｏｆｌｕｏｒｅｓｃｅｎｃｅ Ｐａｔｔｅｒｎｓ ｉｎ Ｅａｒｌｙ Ａｇｅ－Ｒｅｌａｔｅｄ Ｍａｃｕｌａｒ Ｄｉｓｅａｓｅ）」、視覚と眼の研究会議機関紙（Ｉｎｖｅｓｔ Ｏｐｈｔｈａｌｍｏｌ Ｖｉｓ Ｓｃｉ）、２００５年、第４６巻、ｐ．３３０９～１４において初めて提示された。その後、複数の研究結果が発表され、異なる表現型パターンが疾患の進行に与える影響とそれが予後の判定としての役割を果たす能力が実証されており、これはホルツ エフ．ジー．（Ｈｏｌｚ Ｆ．Ｇ．）他著、「加齢黄斑変性症における地図状委縮の進行と眼底自発蛍光パターンの影響（Ｐｒｏｇｒｅｓｓｉｏｎ ｏｆ Ｇｅｏｇｒａｐｈｉｃ Ａｔｒｏｐｈｙ ａｎｄ Ｉｍｐａｃｔ ｏｆ Ｆｕｎｄｕｓ Ａｕｔｏｆｒｌｕｏｒｅｓｃｅｎｃｅ Ｐａｔｔｅｒｎｓ ｉｎ Ａｇｅ－Ｒｅｌａｔｅｄ Ｍａｃｕｌａｒ Ｄｅｇｅｎｅｒａｔｉｏｎ）、米国眼科学会誌（Ａｍ Ｊ．Ｏｐｈｔｈａｌｍｏｌ）、２００７年、第１４３巻、ｐ．４６３～４７２、フレッケンシュタイン エム．（Ｆｌｅｃｋｅｎｓｔｅｉｎ Ｍ．）他著、「地図状委縮における『拡散トリックリング』眼底自発蛍光表現型（Ｔｈｅ‘Ｄｉｆｆｕｓｅ－Ｔｒｉｃｋｌｉｎｇ’Ｆｕｎｄｕｓ Ａｕｔｏｆｌｕｏｒｅｓｃｅｎｃｅ Ｐｈｅｎｏｔｙｐｅ ｉｎ Ｇｅｏｇｒａｐｈｉｃ Ａｔｒｏｐｈｙ）」、視覚と眼の研究会議機関紙（Ｉｎｖｅｓｔ Ｏｐｈｔｈａｌｍｏｌ Ｖｉｓ Ｓｃｉ．）、２０１４年、第５５巻、ｐ．２９１１～２０、及びチョン、ワイ．ジェイ．（Ｊｅｏｎｇ，Ｙ．Ｊ．）他著、「加齢黄斑変性症患者における地図状委縮増悪予測装置：改良型眼底カメラによる眼底自発蛍光検査（Ｐｒｅｄｉｃｔｏｒｓ ｆｏｒ ｔｈｅ Ｐｒｏｇｒｅｓｓｉｏｎ ｏｆ Ｇｅｏｇｒａｐｈｉｃ Ａｔｒｏｐｈｙ ｉｎ Ｐａｔｉｅｎｔｓ ｗｉｔｈ Ａｇｅ－Ｒｅｌａｔｅｄ Ｍａｃｕｌａｒ Ｄｅｇｅｎｅｒａｔｉｏｎ：Ｆｕｎｄｕｓ Ａｕｔｏｆｌｕｏｒｅｓｃｅｎｃｅ Ｓｔｕｄｙ ｗｉｔｈ Ｍｏｄｉｆｉｅｄ Ｆｕｎｄｕｓ Ｃａｍｅｒａ）」、眼（Ｅｙｅ）、２０１４年オンライン、２８（２）、ｐ．２０９～２１８、ＤＯＩ １０．１０３８／ｅｙｅ．２０１３．２７５に記載されているとおりである。上記の参考文献の全内容を参照によって本願に援用する。
【0019】
特に興味深いのは「拡散型」（又は、「拡散トリックリング（ｄｉｆｆｕｓｅ－ｔｒｉｃｋｌｉｎｇ）」ＧＡ表現型と「縞状（ｂａｎｄｅｄ）」ＧＡ表現型であり、これらはどちらも経験的に、より高増悪速度のＧＡを示すものであると特定されている。それゆえ、ＧＡ領域を識別することに加えて、識別されたＧＡ領域の適正な表現型の分類も同様に重要である。「拡散型」ＧＡ領域は、その周囲輪郭の不均質性の度合い（例えば、所定の不均一性閾値よりも高い輪郭不均一性尺度）によって特徴付けられるかもしれない。その結果、図２のＧＡ領域は「拡散型」表現型ではないと特定することができ、これは、その輪郭が比較的均一であるからである。それに対して、図３Ａは「拡散型」表現型のＧＡ病巣の幾つかのＦＡＦ画像例を提供しており、これらは全て、より高い輪郭不均一性を示している。ＧＡ領域では委縮領域を取り囲む過剰自発蛍光の濃度が高いかもしれないため、「縞状」ＧＡ領域は、その周囲に沿った過剰自発蛍光の強度のばらつき量によって特徴付けられるかもしれない。より具体的には、ＧＡ領域の輪郭過剰自発蛍光の強度のばらつきが比較的均一である場合（例えば、所定の強度閾値より高い強度均一性尺度）、そのＧＡ領域は「縞状」表現型として特徴付けられるかもしれない。例えば、図２のＧＡ領域は、その輪郭に沿った過剰自発蛍光の均一性を欠いているため、「縞状」表現型ではないと特定することができる。それと比較して、図３Ｂは、その輪郭に沿って均一な過剰自発蛍光が見られる『縞状』表現型のＧＡ病巣のＦＡＦの例を提供している。
【0020】
ＧＡ病巣及びその表現型パターンの自動定量化は、疾患増悪の特定とＡＭＤの臨床診断に大いに役立つ可能性がある。前述のように、現在、ＧＡ病巣評価のためのセグメンテーションアルゴリズムが幾つかあるが、その中に異なる表現型パターンの識別と分類に対応しているものはない。すなわち、これまでのところ、ＧＡ病巣に利用可能なセグメンテーション方法の何れも、異なるＧＡ表現型パターンを自動的に分類することができない。文献中で報告されているセグメンテーション方法のほとんどは半自動的であり、ＧＡ病巣のセグメンテーションのために手作業による入力が必要である。さらに、過去に報告されたセグメンテーション方法はすべて、標準的な視野（ＦＯＶ）画像（例えば、ＦＯＶが４５°～６０°）で使用するために開発されており、ＧＡ病巣の位置は一般に、標準的ＦＯＶ画像の所定の領域に限定されていた。しかしながら、最近の広角画像（例えば、そのＦＯＶが６０°～１２０°、又はそれ以上）に対する関心の高まりから、広角画像での使用に適した自動ＧＡ評価方法の必要性が強調されている。広角画像の使用によって、典型的なＧＡセグメンテーションアルゴリズムの使用は複雑となり、これは、ＧＡ病巣の位置を広角画像の所定の領域に限定することができず、病変眼の中の幾つかの（物理的な）ランドマークが十分に画定されないかもしれないからである。
【0021】
図４は、ＧＡ表現型パターンの自動セグメンテーション及び識別のための概略的フレームワークを提供する。まず、画像品質（ＩＱ）の尺度が特定される（ブロックＢ１）。これは、画像品質アルゴリズムをＦＡＦ画像に適用することによって、等級付け不能な品質（ＩＱ尺度が所定の値より低い）の画像を拒絶することを含んでいてよい。画像が拒絶されると、プロセスは直接Ｂ９に飛んでよい。ＩＱ尺度が等級付けを進めるのに十分であれば、プロセスはブロックＢ３へと続く。
【0022】
ブロックＢ３は、ＦＡＦ画像への任意選択的な前処理を提供する。これは、視神経乳頭及び／又は血管の検出、関心対象領域（ＲＯＩ：ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）の選択、及びヒストグラムの補正を含んでいてよい。自動ＲＯＩ選択は、視神経乳頭の検出に基づいていてよく、処理（例えば、分類）が必要なピクセルの量を限定し、それによってセグメンテーションプロセスの実行時間が短縮される。
【0023】
ブロックＢ５はＧＡ病巣セグメンテーションを提供する。これは、ピククセルごとの分類と改良型Ｃｈａｎ－Ｖｅｓｅ動的輪郭を組み合わせてよい。例えば、分類は機械学習（ＭＬ）モデル（例えば、サポートベクタマシン（ＳＶＭ）及び／又は深層学習ニューラルネットワーク）によって提供されてよく、これが初期ＧＡセグメンテーションを提供する。すると、ＧＡセグメンテーションは、ＧＡセグメンテーションをさらに精密にするＣｈａｎ－Ｖｅｓｅ動的輪郭アルゴリズムの開始点として供給される。このハイブリッドプロセスは、教師付きピクセル分類器と動的輪郭との新規な組み合わせを利用する。
【0024】
ブロックＢ５のＧＡセグメンテーションはその後、表現型分類ブロックＢ７に提供され、これはＧＡセグメントエリア付近の（例えば、ＧＡセグメンテーションの周囲接合部に沿った）接合部ゾーンを識別し、分類する。例えば、相互に等距離で離間され、ＧＡセグメンテーションの周囲に沿って分散されたランダム点の集合が選択されてよい。選択された各点からＧＡセグメンテーションの重心までの距離が計算されてよい。これらの距離は次に、ＧＡセグメンテーションの周囲輪郭平滑さ（例えば、ＧＡ描出の輪郭の平滑さ）を特定するために使用されてよい。強度の山と谷は、ＧＡセグメンテーションの周囲輪郭に垂直に外側に向かう方向に沿って、例えばヘシアンフィルタで処理された勾配微分係数及び／又は方向ガウシアンフィルタを使用して計算されてよい。これは、ＧＡセグメンテーションの周囲に沿った光強度規則性の尺度を提供するかもしれない。これらのパラメータはどちらも、接合部ゾーンの表現型を分類するために使用されてよい。例えば、ＧＡセグメンテーションの輪郭平滑さの尺度は、「拡散型」表現型の識別に使用されてよく、ＧＡセグメンテーションの強度規則性の尺度は「縞状」表現型を識別するために使用されてよい。
【0025】
代替的に、（例えば、深層学習）ニューラルネットワークがブロックＢ７として実装されてもよい。この場合、ニューラルネットワークは、ブロックＢ５のＧＡセグメンテーションを受け取って、各ＧＡセグメンテーションの特定の表現型（例えば、拡散型又は縞状）を分類するように訓練されてよい。さらに代替的に、ニューラルネットワークは、ＧＡ病巣セグメンテーションブロックＢ５及び表現型分類ブロックＢ７の機能を果たすように訓練されてもよい。例えば、専門家が描出したＧＡ領域と、専門家が識別したそれらのそれぞれの表現型を示す画像の集合がニューラルネットワークのための訓練出力集合として使用されてよく、当初の描出されていない画像がニューラルネットワークのための訓練入力集合として使用されてよい。ニューラルネットワークはそれによって、ＧＡ病巣領域をセグメント化（又は描出）するだけでなく、それらのそれぞれの表現型（例えば、「拡散型」又は「縞状」）を識別するように訓練されてよい。
【0026】
それに加えて、網膜血管が幾つかの眼底領域をＧＡセグメンテーションとして誤って識別する原因となるかもしれないことがわかっている。これは、ＧＡセグメンテーションを適用する前、例えばブロックＢ５の前に網膜血管（例えば、前処理ブロックＢ３で識別された網膜血管）をＦＡＦ画像から除外することによって回避されるかもしれない。この場合、網膜血管は、任意選択的に、学習モデル（ＳＶＭ又はニューラルネットワーク）を訓練するために使用される訓練画像から除外されてよい。
【0027】
最後のブロックＢ９は、現在のフレームワークの結果をまとめたレポートを生成する。例えば、レポートでは、画像品質が低すぎて等級付けできなかったか否かを明記し、識別されたＧＡ病巣が「高」増悪速度型であるか否かを明示し、ＧＡ病巣の表現型を明示し、及び／又は再診日を提案してよい。「拡散型」及び「縞状」表現型はどちらも、高増悪速度ＧＡを示すと経験的に特定されているが、「拡散型」表現型は「縞状」表現型より増悪速度が速いかもしれない。再診日の提案は、ＧＡ病巣のタイプの特定に基づいていてよい。例えば、より増悪速度の高いＧＡ病巣は、より低い増悪速度又は「低い」（又は高くない）増悪速度型のＧＡ病巣より早い再診日とする正当な理由であるかもしれない。
【0028】
図５は、本発明によるＧＡ表現型パターンの自動セグメンテーション及び識別のためのより詳細なプロセスを図解する。例示を目的として、本発明は広角ＦＡＦ画像に適用されているように説明されているが、例えばＧＡの可視化を提供する画像を生成できるＯＣＴ／ＯＣＴＡ等、他の種類の眼科イメージングモダリティにも同様に適用されてよい。例えば、これはｅｎ ｆａｃｅ ＯＣＴ／ＯＣＴＡ画像に適用されてもよい。本願のイメージングシステム及び／又は方法は、眼底自発蛍光画像を捕捉する、又はそれ以外に取得する（例えばそのデータストアにアクセスすることによる）（ステップＳ１）から始まってよい。次に、取得した眼底自動蛍光画像の画像品質の評価（例えば測定）が、当業界で知られている何れかの適当な画像品質（ＩＱ）アルゴリズムを使用して行われる。例えば、画像品質の尺度は、鮮鋭度、ノイズ、ダイナミックレンジ、コントラスト、口径食等の定量化可能要素の１つ又はその組合せに基づいていてよい。画像品質の尺度が所定の画像品質閾値より低い場合（ステップＳ３が是）、そのＦＡＦ画像はその後の解析に適さないと特定され、プロセスはステップＳ２９に進み、そこで現在のＦＡＦ画像にはＧＡセグメンテーション又は定量化を行うことができないと明記されるレポートが生成される。本質的に、画像品質ＩＱアルゴリズムは、等級付け不能な品質の画像を拒絶するために適用される。画像品質が最低閾値以上である場合（ステップＳ３＝否）、プロセスは任意選択的な前処理ステップＳ５に進んでよく、又は代替的にＧＡ画像セグメンテーションステップＳ７に直接進んでもよい。
【0029】
処理ステップＳ５は、複数の前処理サブステップを含んでいてよい。例えば、そこには視神経乳頭及び／又は血管検出（例えば、発見マスク（ａ ｆｉｎｄｉｎｇ ｍａｓｋ））を含んでいてよいほか、画像が患者の左右どちらの眼のものであるかが特定される。前述のように、病変眼では物理的ランドマークを識別するのが難しいかもしれないが、視神経乳頭はそこから出ている血管構造の集中によって識別可能であるかもしれない。例えば、機械学習モデル（例えば、後述のような深層学習ニューラルネットワーク）は、広角画像中で視神経乳頭を識別するように訓練されてよい。代替的に、他の種類の機械学習モデル（例えば、サポートベクタマシン）は、例えば視神経乳頭の位置を血管構造の集中の原点のある位置と相関させることによって、視神経乳頭を識別するように訓練されてよい。何れの場合も、画像以外の追加的情報、例えば電子カルテ（ＥＭＲ：ｅｌｅｃｔｒｏｎｉｃ ｍｅｄｉｃａｌ ｒｅｃｏｒｄ））により、又は「医療におけるデジタル画像と通信（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）」（ＤＩＣＯＭ）規格により提供される情報が訓練で使用されてもよい。
【0030】
前述のように、網膜血管はＧＡセグメンテーションにおける偽陽性の原因となるかもしれないことがわかっている。したがって、前処理はさらに、ＧＡセグメンテーションを適用する前に網膜血管を識別して除外し、偽陽性の数を減らし、例えば誤ったＧＡ領域の識別を減らすようにしてもよい。前述のように、ＧＡセグメンテーションは機械学習モデルに基づいていてよいため、網膜血管は、その訓練用画像セットから除外されてよい。例えば、ニューラルネットワークは、手作業で描出されたＧＡ領域と手作業で識別された表現型を有する眼底画像（例えば、ＦＡＦ画像）の訓練出力セットを使用し、また、手作業で描出されたＧＡ領域を有しておらず、識別された表現型も有していない同じ眼低画像の訓練入力セットを使用して訓練されてもよい。ある動作フェーズ（又は、試験フェーズ）で、ニューラルネットワークはその中から網膜血管が除外されている入力テスト画像を受け入れることになり、その後、ニューラルネットワークは、その網膜血管も除外されている訓練画像で訓練されてよい。すなわち、ニューラルネットワークを訓練する前に、網膜血管が訓練入力セット及び訓練出力セットの中の眼底画像から除外されてよい。
【0031】
前処理ステップＳ５はまた、処理（ＧＡセグメンテーションを含む）をＦＡＦ画像中の識別されたＲＯＩに限定するために、関心対象（ＲＯＩ）の選択を含んでいてよい。好ましくは、識別されたＲＯＩは網膜黄斑を含むであろう。ＲＯＩ選択は、ランドマーク検出（視神経乳頭及び網膜血管）、画像サイズ、画像エントロピ、及びＤＩＣＯＭから抽出された眼底スキャン情報等に基づいて自動化されてよい。例えば、画像が左眼のものか右眼のものかに応じて、網膜黄斑は画像内の視神経乳頭の右か左にある。理解されるように、ＲＯＩ選択により、（例えばＧＡセグメンテーションのために）分類する必要のあるピクセルの量が限定され、それによって本願のプロセス／方法の実行時間が短縮される。
【0032】
処理ステップＳ５は、照明補正及びコンテラスト調整をさらに含んでいてよい。例えば、不均一な画像照明は背景除去を用いて補正されてよく、画像コントラストはヒストグラム等化を使用して調整されてよい。
【0033】
次に、処理された画像は２ステージ病巣セグメンテーション（例えば、図４のブロックＢ５）に提供され、これにはＧＡセグメンテーションと動的輪郭解析が含まれる。ブロックＢ５の第一のステージはＧＡセグメンテーション／分類器ステージ（Ｓ７）であり、これは好ましくは機械学習に基づくものであり、１つ又は複数のＧＡ領域を識別し、ブロックＢ５の第二のステージは識別されたＧＡ領域に適用される動的輪郭アルゴリズムである。ＧＡセグメンテーションステージＳ７は、サブ画像セクタごとのＧＡ分類を提供してよく、各サブ画像セクタが１ピクセルであってよく（例えば、ピクセルごと）、又は各サブ画像セクタは複数のピクセルの集合（例えば、ウィンドウ）であってもよい。このようにして、各サブ画像セクタはＧＡサブ画像か非ＧＡサブ画像として個別に分類されてよい。動的輪郭解析ステージＳ９は、既知のＣｈａｎ－Ｖｅｓｅアルゴリズムに基づいていてよい。この場合、Ｃｈａｎ－Ｖｅｓｅアルゴリズムは、輪郭成長のエネルギと移動方向を変化させるように改良される。例えば、領域ごとの画像特性を利用して輪郭移動が決定付けられる。本質的に、ＧＡ病巣のためのセグメンテーションブロックＢ５は、（例えば、ピクセルごとの）分類とＣｈａｎ－Ｖｅｓｅ動的輪郭を組み合わせたハイブリッドプロセスを利用する。任意選択的に、ここで提案されるハイブリッドアルゴリズムは、教師付き（例えば、ピクセル）分類器（Ｓ７）と幾何学的動的輪郭モデル（Ｓ９）との新規の組合せを利用する。当業者であればわかるように、幾何学的動的輪郭モデルは典型的に、画像平面内の、初期セグメンテーションを画定する輪郭（例えば、開始地点）から始まり、その後、何れかの発展方程式に従って輪郭を発展させて、前景領域の境界で停止させる。この場合、幾何学的動的輪郭モデルは改良型Ｃｈａｎ－Ｖｅｓｅアルゴリズムに基づく。
【0034】
ＧＡセグメンテーション／分類器ステージ（Ｓ７）は好ましくは、機械学習に基づき、例えばサポートベクタマシンの使用により、又は（深層学習）ニューラルネットワークによって実装されてよい。本明細書では、各実施について別々に説明する。
【0035】
一般に、サポートベクタマシン、ＳＶＭは、分類及び回帰の問題のための機械学習線形モデルであり、線形及び非線形問題を解決するために使用されてよい。ＳＶＭの考えは、データをクラスに分離する線又は超平面を作る、というものである。より正式には、ＳＶＭは多次元空間内の１つ又は複数の超平面を画定し、超平面は分類、回帰、はずれ値検出等のために使用される。本質的に、ＳＶＭモデルはラベル付き訓練例を多次元空間内の点として表したものであり、異なるカテゴリのラベル付き訓練例が、異なるカテゴリを分離する決定境界と考えてよい超平面によって分離されるようにマッピングされる。新しい試験入力サンプルがＳＶＭモデルに供給されると、この試験入力は同じ空間内にマッピングされ、その試験入力が決定境界（超平面）のどちら側にあるかに基づいて、それがどのカテゴリに属するかに関する予測が行われる。
【0036】
好ましい実施形態において、ＳＶＭは画像セグメンテーションに使用される。画像セグメンテーションは、画像を異なる特性を有する異なるサブ画像に分割し、関心対象のオブジェクトを抽出することを目指す。本明細書においてより詳しくは、ＳＶＭは、ＦＡＦ画像内のＧＡ領域をセグメント化するように訓練される（例えば、ＦＡＦ画像内のＧＡ領域の輪郭を明確に画定するように訓練される）。画像セグメンテーションのための各種のＳＶＭアーキテクチャは当業界で知られており、このタスクに使用される具体的なＳＶＭアーキテクチャは本発明にとって重要ではない。例えば、最小二乗ＳＶＭは、ピクセルごと（又はサブ画像セクタごと）の分類に基づく画像セグメンテーションに使用されてよい。ピクセルレベルの特徴（例えば、色、強度等）とテクスチャ特徴の両方がＳＶＭへの入力として使用されてよい。任意選択的に、各々が特殊化された分類を提供するＳＶＭのアンサンブルが、よい結果を得るために関連付けられてもよい。
【0037】
それゆえ、初期輪郭選択は、ＳＶＭ分類器を使用して（例えば、ＳＶＭモデルに基づくセグメンテーションによって）行われてよい。好ましくは、グレイレベル共起マトリクス（例えば、関心対象領域内で移動する１１×１１のウィンドウ）から得られるＨａｒａｌｉｃｋテクスチャ特徴、平均強度、及び分散パラメータが、ＳＶＭ分類器の訓練に使用される。前述のように、網膜血管は任意選択により、訓練画像から除外されてもよい。いずれにしても、特徴抽出は特定のＲＯＩ（例えば、ステップＳ５で選択されたＲＯＩ）に限定され、その結果、ＧＡセグメンテーション／分類を画像全体に適用した場合よりよい時間パフォーマンスが得られる。このようにして、ＳＶＭは、よりよいパフォーマンスのために、ステップＳ９の動的輪郭アルゴリズムの対象とされる初期輪郭選択を提供する（例えば、開始点としての初期ＧＡセグメンテーションを提供する）。動的輪郭アルゴリズムの発展時間は、初期輪郭選択に大きく依存し、これは例えば、チェン、キュー（Ｃｈｅｎ，Ｑ）他著、「ＳＤ－ＯＣＴ画像のための半自動的地図状委縮セグメンテーション（Ｓｅｍｉ－ａｕｔｏｍａｔｉｃ ｇｅｏｇｒａｐｈｉｃ ａｔｒｏｐｈｙ ｓｅｇｍｅｎｔａｔｉｏｎ ｆｏｒ ＳＤ－ＯＣＴ ｉｍａｇｅｓ）」、バイオメブィカル・オプティクス・エクスプレス（Ｂｉｏｍｅｄｉｃａｌ Ｏｐｔｉｃｓ Ｅｘｐｒｅｓｓ）、第４巻（１２）、ｐ．２７２９～２７５０において説明されており、その全体を参照によって本願に援用する。
【0038】
ＳＶＭ分類器のパフォーマンス関する試験と比較が行われた。専門家の等級決定担当者が訓練に使用されないＦＡＦ画像内のＧＡ領域を手作業で描出し、その結果をＳＶＭモデルによるセグメンテーション結果と比較した。図６は、人間の専門家により描出された４つのＧＡ領域を示し、図７は本願のＳＶＭにより提供される、それに対応するＧＡ描出（例えば、ＧＡセグメンテーションの周囲）を示す。図のように、ＳＶＭモデルは、専門家の等級決定担当者が提供した手作業によるＧＡセグメンテーションとよく一致している。
【0039】
ＧＡセグメンテーション／分類器ステージ（Ｓ７）はまた、ニューラルネットワーク（ＮＮ）機械学習（ＬＭ）モデルの使用によっても実施されてよい。ニューラルネットワークの各種の例を、図１６～図１９を参照しながら以下に説明するが、その何れも、又はそれらの組合せも本発明に使用されてよい。深層学習ニューラルネットワークを用いたＧＡセグメンテーション／分類器の例示的な実装をＵ－Ｎｅｔアーキテクチャに基づいて構成した（図１９参照）。この場合、ＮＮは、手作業でセグメント化された画像（例えば、ＧＡセグメントが人間の専門家によりセグメント化された画像）を訓練出力として、及び対応するセグメント化されていない画像を訓練入力として使用して訓練された。
【0040】
ある例示的な実施例において、７９のＦＡＦグリーン画像を６２名のＧＡ患者から、ＣＬＡＲＵＳ（商標）５００眼底カメラ（ツァイス、カリフォルニア州ダブリン）を使用して取得した。これらの７９のＦＡＦ画像を訓練のための５５のＦＡＦ画像と試験のための２４のＦＡＦ画像に分けた。任意選択により、網膜血管が訓練及び／又は試験画像から除外されてよい。データ拡張方法を使用して、訓練データの規模を増大させ、１２８×１２８ピクセルのサイズの８８０の（画像）パッチを訓練用に生成した。このＵ－Ｎｅｔでは、収束経路を４つの畳み込みニューラルネットワーク（ＣＮＮ）ブロックで構成し、各ＣＮＮブロックを２つのＣＮＮ層及びそれに続く１つの最大プーリング層で構成した。ボトルネック（例えば、収束経路と拡張経路との間のブロック）は、２つのＣＮＮ層と、過学習の問題を回避するための任意選択的な０．５の逆ドロップアウトで構成した。Ｕ－ｎｅｔの拡張経路は典型的に収束経路と対称であり、ここでは４つのＣＮＮブロックとそれに続くボトルネックで構成した。拡張経路の各ＣＮＮブロックは、逆畳み込み層と結合層及びそれに続く２つのＣＮＮ層で構成された。この拡張経路の最後のＣＮＮブロック（例えば、４番目のＣＮＮブロック）は、セグメンテーション出力を提供し、これはラベリングのために任意選択的な分類層に供給されてよい。この最後の分離器が最後の層を形成した。この実施例では、機械学習モデルを訓練するために、カスタムのｄｉｃｅ係数損失関数を使用したが、その他の損失関数、例えば交差エントロピ損失関数も使用されてよい。ＤＬ ＭＬモデルのセグメンテーションパフォーマンスは、学習後最適化を使用することによって微調整されてよい。例えば、「アイシング・オン・ザ・ケイク（Ｉｃｉｎｇ ｏｎ ｔｈｅ Ｃａｋｅ）」と呼ばれる方法が使用されてよく、これは初期（通常）訓練の終了後に最後の分類器（すなわち、最後の層）のみを再び訓練するものである。
【0041】
ＤＬ方式を手作業でセグメント化されたＧＡ領域と比較した。図８は、専門家の等級付け担当者が手作業で描出した５つのＧＡ領域を示し、図９は、本願のＤＬ機械モデルにより提供された、それに対応するＧＡ描出を示す。評価のために、測定されたエリア間の面積変化率（ｆｒａｃｔｉｏｎａｌ ａｒｅａ ｄｉｆｆｅｒｅｎｃｅ）、重複比、及びピアソンの相関係数を特定した。ＤＬ機械モデルにより生成されたＧＡ領域と手作業でのセグメンテーションとの面積変化率は４．４０％±３．８８％であった。手作業及びＤＬ自動セグメンテーション間の重複比は９２．７６±５．６２であり、ＤＬアルゴリズム及び手作業の等級付けにより生成されたＧＡ面積の相関係数は０．９９５（ｐ値＜０．００１）であった。このように、定量的及び定性的評価は、ＦＡＦ画像内のＧＡのセグメンテーションのための提案されているＤＬモデルが専門家による手作業の等級付けと極めて強い一致を示すことを実証している。
【0042】
それゆえ、図６～図９から明らかであるように、ＳＶＭベース及びＤＬベースの分類はどちらも、良好な初期ＧＡ描出、又はセグメンテーションを提供する。
ステップＳ７から得られるＧＡセグメンテーションは、動的輪郭アルゴリズム（ステップＳ９）への初期輪郭選択として供給されてよい。この実施形態は、改良型Ｃｈａｎ－Ｖｅｓｅ（Ｃ－Ｖ）動的輪郭セグメンテーションアルゴリズムを使用する。一般に、動的輪郭アルゴリズムは、光干渉断層撮影（ＯＣＴ）画像におけるＧＡセグメンテーションに使用されており、これはニウ、エス．（Ｎｉｕ，Ｓ．）他著、「局所相似性係数を介した領域ベースのＣ－Ｖモデルを用いるＳＤ－ＯＣＴ画像のための自動地図状委縮セグメンテーション（Ａｕｔｏｍａｔｅｄ ｇｅｏｇｒａｐｈｉｃ ａｔｒｏｐｈｙ ｓｅｇｍｅｎｔａｔｉｏｎ ｆｏｒ ＳＤ－ＯＣＴ ｉｍａｇｅｓ ｕｓｉｎｇ ｒｅｇｉｏｎ－ｂａｓｅｄ Ｃ－Ｖ ｍｏｄｅｌ ｖｉａ ｌｏｃａｌ ｓｉｍｉｌａｒｉｔｙ ｆａｃｔｏｒ）」、バイオメディカル・オプティクス・エクスプレス（Ｂｉｏｍｅｄｉｃａｌ Ｏｐｔｉｃｓ Ｅｘｐｒｅｓｓ）、２０１６年２月１日、第７巻（２）、ｐ．５８１～６００に記載されており、その全体を参照によって本願に援用する。しかしながら、このケースでは、Ｃｈａｎ－Ｖｅｓｅ動的輪郭セグメンテーションは、２ステージセグメンテーションプロセスの第二のフェーズとして使用される。ＳＶＭ又はＤＬ学習モデル分類器により提供される初期輪郭は、専門家が注釈をつけたＧＡ境界に近い。これによって、Ｃｈａｎ－Ｖｅｓｅ動的輪郭セグメンテーションのための実行時間が短縮され、そのパフォーマンスが向上する。
ステップＳ７から得られるＧＡセグメンテーションは、動的輪郭アルゴリズム（ステップＳ９）への初期輪郭選択として供給されてよい。この実施形態は、改良型Ｃｈａｎ－Ｖｅｓｅ（Ｃ－Ｖ）動的輪郭セグメンテーションアルゴリズムを使用する。一般に、動的輪郭アルゴリズムは、光干渉断層撮影（ＯＣＴ）画像におけるＧＡセグメンテーションに使用されており、これはニウ、エス．（Ｎｉｕ，Ｓ．）他著、「局所相似性係数を介した領域ベースのＣ－Ｖモデルを用いるＳＤ－ＯＣＴ画像のための自動地図状委縮セグメンテーション（Ａｕｔｏｍａｔｅｄ ｇｅｏｇｒａｐｈｉｃ ａｔｒｏｐｈｙ ｓｅｇｍｅｎｔａｔｉｏｎ ｆｏｒ ＳＤ－ＯＣＴ ｉｍａｇｅｓ ｕｓｉｎｇ ｒｅｇｉｏｎ－ｂａｓｅｄ Ｃ－Ｖ ｍｏｄｅｌ ｖｉａ ｌｏｃａｌ ｓｉｍｉｌａｒｉｔｙ ｆａｃｔｏｒ）」、バイオメディカル・オプティクス・エクスプレス（Ｂｉｏｍｅｄｉｃａｌ Ｏｐｔｉｃｓ Ｅｘｐｒｅｓｓ）、２０１６年２月１日、第７巻（２）、ｐ．５８１～６００に記載されており、その全体を参照によって本願に援用する。しかしながら、このケースでは、Ｃｈａｎ－Ｖｅｓｅ動的輪郭セグメンテーションは、２ステージセグメンテーションプロセスの第二のフェーズとして使用される。ＳＶＭ又はＤＬ学習モデル分類器により提供される初期輪郭は、専門家が注釈をつけたＧＡ境界に近い。これによって、Ｃｈａｎ－Ｖｅｓｅ動的輪郭セグメンテーションのための実行時間が短縮され、そのパフォーマンスが向上する。
【0043】
２ステージセグメンテーションブロックＢ５により提供される最終的なＧＡセグメンテーション結果は、任意選択により、追加的な形態学的演算（ステップＳ１１）に提供されて、セグメンテーションがさらに精密化されてもよい。形態学的演算（例えば、収縮（ｅｒｏｓｉｏｎ）、膨張（ｄｉｌａｔｉｏｎ）、オープニング（ｏｐｅｎｉｎｇ）、及びクロージング（ｃｌｏｓｉｎｇ）がＣｈａｎ－Ｖｅｓｅ動的輪郭の出力に適用されて、輪郭境界線が精密化され、小さい隔離領域が除去される。
【0044】
次に、セグメント化されたＧＡのサイズが特定される。ＧＡセグメンテーションは２Ｄ画像から得られるが、眼底は湾曲しているため、２Ｄ ＧＡセグメンテーションは３Ｄ空間にマッピングされてよく（ステップＳ１３）、測定を３Ｄ空間内で行って、歪みに対処し、より正確な面積測定を得てもよい。２Ｄピクセルから３Ｄ座標への既知のイメージングジオメトリに基づく何れの適当なマッピング方法が使用されてもよい。例えば、２Ｄ画像平面内のピクセルを球（例えば、３Ｄの空間）上の点にマッピングするための当業界でよく知られた方法はステレオ投射である。２Ｄ眼底画像からの３Ｄ再構成の他の例は、チェリヤン、ジェイ．（Ｃｈｅｒｉｙａｎ，Ｊ．）他著、「眼底画像からのヒト網膜の３Ｄ再構成－ある調査（３Ｄ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ Ｈｕｍａｎ Ｒｅｔｉｎａ ｆｒｏｍ Ｆｕｎｄｕｓ Ｉｍａｇｅ － Ａ Ｓｕｒｖｅｙ）」、インターナショナル・ジャーナル・オブ・モダン・エンジニアリング・リサーチ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｍｏｄｅｒｎ Ｅｎｇｉｎｅｅｒｉｎｇ Ｒｅｓｅａｒｃｈ）、第２巻、第５号、２０１２年９～１０月、ｐ．３０８９～３０９２において提供されており、その全体を参照によって本願に援用する。
【0045】
３Ｄ空間内のＧＡサイズ測定値の特定では、利用可能であれば眼科イメージングシステムにより提供される追加情報が利用されてもよい。例えば、幾つかの眼科イメージングシステムは、アレイ内の３Ｄ位置を２Ｄ画像内の各ピクセルの２Ｄ座標と共に保存する。この方法は、医療におけるデジタル画像と通信（ＤＩＣＯＭ）標準に適合する広角眼科写真画像モジュールに含められているかもしれない。代替的に、又は組合せにより、幾つかのシステムは、２Ｄ位置の任意の集合について実行して関連する３Ｄ位置を生成できるモデルを保存していてもよい。
【0046】
３Ｄ空間内の特定された面積が所定の閾値より小さい場合（ステップＳ１５＝是）、このＧＡセグメンテーションは、実際のＧＡ病巣とするには小さすぎると判断され、処理はステップＳ２９に進んでレポートを生成する。特定された面積が所定の閾値、例えば９６Ｋμｍ２より小さい場合（ステップＳ１５＝否）、そのＧＡセグメンテーションは実際のＧＡ病巣として容認され、プロセスは識別されたＧＡセグメンテーションの表現型の特定を試みる。
【0047】
表現型の特定における第一のステップは、ＧＡセグメンテーションの輪郭平滑さを解析することであってよい（ステップＳ１７）。これには、幾つかのサブステップが含まれていてよい。ＧＡセグメント化されたエリアに近い（例えば、ＧＡセグメントエリアの縁辺に沿った）接合部ゾーンを識別し、分類することは、まずＧＡセグメント領域の重心を特定することから始められてよい。この重心計算は、ＧＡセグメント領域の２Ｄ画像表現に適用されてよい。図１０は、拡散型ＧＡ領域２１を図解しており、その重心は円２３により示されている。次のステップは、ＧＡセグメンテーションの周囲に沿って等しく離間されたランダム点の集合を特定することであってよい。図１１は縞状表現型ＧＡ領域２５を図解しており、重心２７と、ＧＡセグメンテーションの周囲に沿って等しく離間された１３のランダム点２９の集合（各々、白い十字線の中心として識別される）を有する。理解すべき点として、１３は例示的な値であり、ＧＡ領域の周囲を囲むのに十分な幾つの数の点が使用されてもよい。次に、各点２９から重心２７までの距離が計算される（例えば、直線距離３１）。距離３１の偏差は、「拡散型」表現型を例えば「縞状」表現型等のその他から区別するために使用される。
【0048】
ステップＳ１９で、距離偏差が距離偏差閾値より大きい場合（ステップＳ１９＝是）、このＧＡ領域は「拡散型表現型」であると識別され（ステップＳ２１）、プロセスはステップＳ２９に進み、そこでレポートが生成される。この距離偏差、又は輪郭不均一性の尺度が現在のＧＡセグメンテーションのための平均距離偏差であると特定されてよく、距離偏差閾値は、（例えば拡散型）ＧＡセグメントの標準化された平均偏差の２０％と定義されてよい。標準化された平均偏差はＧＡセグメントのライブラリ、例えばＧＡ病巣のＦＡＦ画像の（標準化された）ライブラリから特定されてよい。しかしながら、距離偏差が距離偏差閾値以下である場合（ステップＳ１９＝否）、そして処理はステップＳ２３に進む。
【0049】
ステップＳ２３で、ＧＡ輪郭に垂直な方向に沿って、ランダム点２９の集合（少なくともその一部）について強度の山と谷が特定される。これは、ヘッセンフィルタ処理勾配導関数及び／又は方向ガウシアンフィルタを使用して行われてよい。現在の強度偏差閾値より大きい山と谷（光強度規則性－減少蛍光（ｈｙｐｏｆｌｏｕｒｅｎｃｅｓ））が選択された点２９のうちの所定のパーセンテージ（例えば、６０％）より高い割合について存在する場合、（ステップＳ２５＝是）、画像（例えば、ＧＡセグメンテーション）は「縞状」表現型として分類され（ステップ２７）、プロセスはステップＳ２９に進み、そこでレポートが生成される。強度の山と谷は強度変化性尺度を定義してよく、強度偏差閾値は、（例えば、縞状の）ＧＡセグメントの標準化された平均強度偏差の３３％として定義されてよい。この標準化平均強度変動は、ＧＡセグメントのライブラリ、例えばＧＡ病巣のＦＡＦ画像の（標準化）ライブラリから特定されてよい。光強度規則性－減少蛍光が現在の強度偏差閾値以下である場合（ステップ２５＝否）、何れの表現型の特定も行うことができず、処理はステップＳ２９に進む。
【0050】
前述のように、ニューラルネットワークはステップＳ７に関して上で説明したようなＧＡセグメンテーションを提供するように訓練されてよい。しかしながら、図１９のＵ－Ｎｅｔ等のニューラルネットワークはまた、表現型の分類を提供するように訓練されてもよい。例えば、訓練画像セットの中で専門家が描出したＧＡ病巣セグメンテーションの各々の特定の表現型の専門家によるラベリングを提供することによって、ニューラルネットワークは、ＧＡ病巣セグメンテーション識別と共に、又はそれに加えて、表現型分類を提供するように訓練されてもよい。この場合、ステップＳ１７～ステップＳ２５に関連する表現型識別／分類ステップは、省略されて、ニューラルネットワークによって提供されてもよい。代替的に、ニューラルネットワークにより提供される表現型分類は、例えば加重平均によって、ステップＳ１７～Ｓ２５の表現型識別結果と組み合わせられてもよい。
【0051】
ステップＳ２９では、このプロセスの結果をまとめたレポートが生成される。等級付け不能なＩＱの画像に関して（ステップＳ３＝是）、画像品質のみが報告され、それ以外の画像については、生成されるレポートには以下のうちの１つ又は複数が含められる：
ａ．今回の受診でのＧＡセグメント化面積測定値。
ａ．今回の受診でのＧＡセグメント化面積測定値。
【0052】
ｂ．現在のＧＡの接合部ゾーン表現型（利用できる場合）。
ｃ．増悪のリスク（例えば、「縞状」及び「拡散型」表現型について高いと報告される増悪のリスク）。
ｃ．増悪のリスク（例えば、「縞状」及び「拡散型」表現型について高いと報告される増悪のリスク）。
【0053】
ｄ．再診時期の提案。
図１２は、眼内の地図状委縮（ＧＡ）の自動分類のための他の例示的な方法を図解する。この例において、表現型のライブラリ内の特定のＧＡ表現型（例えば、「拡散型」表現型と「縞状」表現型）の各々についてチェックするのではなく、この方法は、現在のＧＡ領域が高い増悪速度に関連付けられる（例えば、経験的関連付け）何れかの表現型として識別されたところですぐに、現在のＧＡ領域の分類を停止してよい。すると、現在のＧＡ領域は単純に「高増悪速度」ＧＡと分類され、その具体的なＧＡ表現型は明示されない。任意選択により、希望に応じて、例えばグラフィカルユーザインタフェース（ＧＵＩ）を介したユーザ入力を使用することによって、プロセスは現在のＧＡセグメンテーションを１つ又は複数の具体的な表現型として分類することへと進められてもよい。この場合、方法はさらに、「高増悪速度」ＧＡを「拡散型」表現型か「縞状」表現型として識別してもよい。任意選択により、方法は、それにしたがって表現型が特定の人口集団（例えば、ある患者が属するかもしれない集団）においてより一般的であるようなＧＡ表現型の検査をオーダするか、又はそれに基づいて表現型が（例えば経験的に）その他のものより高い憎悪速度のＧＡに関連付けられると特定される検査をオーダしてもよい。例えば、「拡散型」表現型ＧＡは、経験的観察に基づいて、「縞状」表現型のＧＡより増悪速度が速いと考えられよく、したがって、方法は、まず現在のＧＡセグメンテーションが「拡散型」表現型であるか否かをチェックし、現在のＧＡセグメンテーションが「拡散型」表現型ではないと特定された場合にのみ、２番目に「縞状」表現型か否かをチェックしてよい。
図１２は、眼内の地図状委縮（ＧＡ）の自動分類のための他の例示的な方法を図解する。この例において、表現型のライブラリ内の特定のＧＡ表現型（例えば、「拡散型」表現型と「縞状」表現型）の各々についてチェックするのではなく、この方法は、現在のＧＡ領域が高い増悪速度に関連付けられる（例えば、経験的関連付け）何れかの表現型として識別されたところですぐに、現在のＧＡ領域の分類を停止してよい。すると、現在のＧＡ領域は単純に「高増悪速度」ＧＡと分類され、その具体的なＧＡ表現型は明示されない。任意選択により、希望に応じて、例えばグラフィカルユーザインタフェース（ＧＵＩ）を介したユーザ入力を使用することによって、プロセスは現在のＧＡセグメンテーションを１つ又は複数の具体的な表現型として分類することへと進められてもよい。この場合、方法はさらに、「高増悪速度」ＧＡを「拡散型」表現型か「縞状」表現型として識別してもよい。任意選択により、方法は、それにしたがって表現型が特定の人口集団（例えば、ある患者が属するかもしれない集団）においてより一般的であるようなＧＡ表現型の検査をオーダするか、又はそれに基づいて表現型が（例えば経験的に）その他のものより高い憎悪速度のＧＡに関連付けられると特定される検査をオーダしてもよい。例えば、「拡散型」表現型ＧＡは、経験的観察に基づいて、「縞状」表現型のＧＡより増悪速度が速いと考えられよく、したがって、方法は、まず現在のＧＡセグメンテーションが「拡散型」表現型であるか否かをチェックし、現在のＧＡセグメンテーションが「拡散型」表現型ではないと特定された場合にのみ、２番目に「縞状」表現型か否かをチェックしてよい。
【0054】
方法は、方法ステップＭ１で、眼科診断装置を使用して眼底の画像を取得することから始まってよい。画像（例えば、自発蛍光画像又はｅｎ ｆａｃｅ画像）は、眼底イメージャ又はＯＣＴによって生成されてよい。眼科診断装置は画像を生成する装置であってよく、又は代替的に、コンピュータネットワーク（例えば、インタネット）上でこのような画像のデータストアからの画像にアクセスするコンピューティングデバイスであってもよい。
【0055】
方法ステップＭ３において、取得された画像は、画像内のＧＡ領域を識別する自動ＧＡ識別プロセスに提供される。自動ＧＡ識別プロセスは、当業界で知られているようにＧＡセグメンテーションプロセスを含んでいてよい。しかしながら、好ましいセグメンテーションプロセスは、ＧＡ分類（例えば、ピクセルごと）を動的輪郭セグメンテーションと組み合わせた２ステップセグメンテーションである。この２ステッププロセスの１つ目は、画像内のＧＡ領域をセグメント化／分類／識別するＳＶＭ又は（例えば、深層学習）ニューラルネットワーク等の訓練された機械モデルであってよい。例えば、Ｕ－Ｎｅｔアーキテクチャに基づくニューラルネットワークが使用されてよく、その訓練セットには、専門家が限界を定めた蛍光画像の訓練出力セットと、それに対応する、限界が定められていない蛍光画像の訓練入力セットとが含まれていてよい。この初期段階で使用されるＧＡセグメンテーション／分類の種類に関係なく、識別されたＧＡセグメンテーションは、ＧＡセグメンテーションをさらに精密化するための動的輪郭アルゴリズム（例えば、Ｃｈａｎ－Ｖｅｓｅセグメンテーション）に開始点として供給されてよい。任意選択により、結果は、次の方法ステップＭ５に進む前にセグメンテーションをさらにクリーンにするための形態学的演算（例えば、収縮、膨張、オープニング、及びクロージング）に提供されてもよい。
【0056】
任意選択により、ステップＭ５に進む前に、ステップＭ３からの最終的なＧＡセグメンテーションは眼底の形状を表す３次元空間にマッピングされてよく、マッピングされたＧＡの面積が特定される。面積が所定の閾値より小さい場合、そのＧＡセグメンテーションは非ＧＡとして再分類されて、その後の処理から除外されてよい。識別されたＧＡセグメンテーションが実際のＧＡ領域であると認定するのに十分に大きいと想定されると、処理はステップＭ５に進んでよい。
【0057】
方法ステップＭ５は、識別されたＧＡ領域について、各々が高増悪速度ＧＡに関連付けられる２種類のＧＡ表現型のうちの一方を特定するように設計された１つ又は２つの異なる尺度を特定することによって解析する。より具体的には、輪郭不均一性尺度は「拡散型」表現型ＧＡを特定するために使用されてよく、強度均一性尺度は「縞状」表現型ＧＡを特定するために使用されてよい。第一の特定尺度が「拡散型」表現型ＧＡ又は「縞状」表現型ＧＡの何れかであることを確認すると（例えば、その尺度が所定の閾値より高い）、方法ステップＭ７は識別されたＧＡ領域を「高増悪速度」ＧＡに分類する。第一の特定尺度が「拡散型」又は「縞状」表現型の一方であることを確認しない場合、第二の尺度が特定されて、２つの表現型のうちの他方が存在するか否かチェックされてよい。他方の表現型が存在する場合、識別されたＧＡ領域は再び「高増悪速度」ＧＡに分類されてよい。任意選択により、又は代替的に、方法ステップＭ７では、ＧＡ領域について識別された特定の表現型分類（「拡散型」又は「縞状」）を明示してよい。
【0058】
眼底イメージングシステム
眼底の画像を撮影するために使用される２種類のイメージングシステムは、フラッド照明型イメージングシステム（又はフラッド照明型イメージャ）と走査照明型イメージングシステム（又はスキャンイメージャ）である。フラッド照明型イメージャは、例えばフラッシュランプを使用して標本の関心対象視野領域（ＦＯＶ）全体に同時に投光し、フルフレームカメラ（例えば、所望のＦＯＶを全体として捕捉するのに十分な大きさの２次元（２Ｄ）フォトセンサアレイを有するカメラ）で標本（例えば、眼底）のフルフレーム画像を捕捉する。例えば、フラッド照明型眼底イメージャは、眼底に投光して、カメラの１回の画像捕捉シーケンスで眼底のフルフレーム画像を捕捉するものである。スキャンイメージャは、対象物、例えば眼をスキャンするスキャンビームを提供し、スキャンビームは、それが対象物をスキャンしながら異なるスキャン位置で結像されて、一連の画像セグメントが生成され、これらが再構成、例えばモンタージュされて、所望のＦＯＶの複合画像が作られてよい。スキャンビームは点、線、又はスリット若しく幅広い線等の２次元エリアとすることができる。
眼底の画像を撮影するために使用される２種類のイメージングシステムは、フラッド照明型イメージングシステム（又はフラッド照明型イメージャ）と走査照明型イメージングシステム（又はスキャンイメージャ）である。フラッド照明型イメージャは、例えばフラッシュランプを使用して標本の関心対象視野領域（ＦＯＶ）全体に同時に投光し、フルフレームカメラ（例えば、所望のＦＯＶを全体として捕捉するのに十分な大きさの２次元（２Ｄ）フォトセンサアレイを有するカメラ）で標本（例えば、眼底）のフルフレーム画像を捕捉する。例えば、フラッド照明型眼底イメージャは、眼底に投光して、カメラの１回の画像捕捉シーケンスで眼底のフルフレーム画像を捕捉するものである。スキャンイメージャは、対象物、例えば眼をスキャンするスキャンビームを提供し、スキャンビームは、それが対象物をスキャンしながら異なるスキャン位置で結像されて、一連の画像セグメントが生成され、これらが再構成、例えばモンタージュされて、所望のＦＯＶの複合画像が作られてよい。スキャンビームは点、線、又はスリット若しく幅広い線等の２次元エリアとすることができる。
【0059】
図１３は、眼Ｅの、水晶体（すなわち眼球水晶体）ＣＬと反対の内面であり、網膜、視神経乳頭、網膜黄斑、中心窩、及び後極を含んでいてよい眼底Ｆの画像を撮影するためのスリット走査型眼科システムＳＬＯ－１の例を図解する。この例では、イメージングシステムはいわゆる「スキャン－デスキャン」構成であり、スキャニングラインビームＳＢは眼Ｅの光学的構成要素（角膜Ｃｒｎ、虹彩Ｉｒｓ、瞳孔Ｐｐｌ、及び眼球水晶体ＣＬを含む）を通り、眼底Ｆをスキャンする。フラッド型眼底イメージャの場合、スキャナは不要であり、光は所望の視野（ＦＯＶ）の全体にわたって一度に当てられる。その他のスキャニング構成も当業界で知られており、具体的なスキャニング構成は本発明にとって重要ではない。図のように、イメージングシステムは、１つ又は複数の光源ＬｔＳｒｃ、好ましくはマルチカラーＬＥＤシステム又は、エタンデュが適切に調整されたレーザシステムを含む。任意選択によるスリットＳｌｔ（調整可能又は静止）が光源ＬｔＳｒｃの前に位置付けられて、スキャニングラインビームＳＢの幅を調整するために使用されてよい。追加的に、スリットＳｌｔはイメージング中に静止状態のままとすることも、又は異なる幅に調整して、異なる共焦点性レベル及び、特定のスキャン又は反射抑制に使用されるスキャン中の何れかの異なる使用を可能にすることもできる。任意選択による対物レンズＯｂｊＬはスリットＳｌｔの前に設置されてもよい。対物レンズＯｂｊＬは、最新技術によるレンズの何れの１つとすることもでき、これには屈折、回折、反射、又はハイブリッドレンズ／システムが含まれるがこれらに限定されない。スリットＳｌｔからの光は瞳分割ミラーＳＭを通過し、スキャナＬｎＳｃｎへと方向付けられる。スキャン平面と瞳孔平面をできるだけ近付けて、システム内の口径食を減少させることが望ましい。任意選択による光学系ＤＬは、２つの構成要素の画像間の光学距離を操作するために含められてもよい。瞳分割ミラーＳＭは、光源ＬｔＳｒｃからの照明ビームをスキャナＬｎＳｃｎへと通過させ、スキャナＬｎＳｃｎからの検出ビーム（例えば、眼Ｅから戻る反射光）をカメラＣｍｒへと反射させてよい。瞳分割ミラーＳＭの役割は、照明及び検出ビームを分割して、システムの反射抑制を助けることである。スキャナＬｎＳｃｎは、回転ガルボスキャナ又はその他の種類のスキャナ（例えば、圧電、ボイスコイル、微小電気機械システム（ＭＥＭＳ）スキャナ、電気光学偏向器、及び／又は回転ポリゴンスキャナ）とすることもできる。瞳分割がスキャナＬｎＳｃｎの前と後のどちらで行われるかに応じて、スキャンは２つのステップに分割でき、１つのスキャナは照明経路内にあり、別のスキャナは検出系内にある。特定の瞳分割装置は、米国特許第９，４５６，７４６号明細書に詳しく記載されており、その全体を参照によって本願に援用する。
【0060】
スキャナＬｎＳｃｎから、照明ビームが１つ又は複数の光学系、この場合はスキャニングレンズＳＬ及び眼科又は眼用レンズＯＬを通過し、それによって眼Ｆの瞳孔をシステムの瞳像（ｉｍａｇｅ ｐｕｐｉｌ）に結像できる。一般に、スキャニングレンズＳＬは、スキャナＬｎＳｃｎから複数のスキャン角度（入射角）のうちの何れのスキャニング照明ビームでも受け取り、実質的に平坦な表面の焦点面にスキャニングラインビームＳＢを生成する（例えば、コリメート光路）。眼科レンズＯＬは、スキャニングラインビームＳＢを眼Ｅの眼底Ｆ（又は網膜）に集束させ、眼底の画像を撮影してよい。このようにして、スキャニングラインビームＳＢは眼底Ｆを通じて移動する移動スキャニングラインを生成する。これらの光学系のための１つの考え得る構成は、ケプラ型テレスコープであり、この場合、２つのレンズ間の距離は、ほぼテレセントリックな中間眼底画像を作るように選択される（４－ｆ構成）。眼科レンズＯＬは、単レンズ、アクロマティックレンズ、又は異なるレンズの組合せとすることができる。すべてのレンズは、当業者の間で知られているように屈折、回折、反射又はハイブリッドとすることができる。眼科レンズＯＬ、スキャニングレンズＳＬの焦点距離並びに瞳分割ミラーＳＭ及びスキャナＬｎＳｃｎのサイズ及び／又は形態は、所望の視野（ＦＯＶ）によって異なるものとすることができ、したがって、例えば光学系内のフリップ、電動ホイール、又は取外し可能光学素子を使用することによって、視野に応じてビーム経路から出入りするように複数の構成要素を切り替えることのできる装置が想定できる。視野の変化によって瞳孔上のビームの大きさが異なるため、瞳分割もまた、ＦＯＶの変化と共に変更することができる。例えば、４５°～６０°の視野が眼底カメラの典型的又は標準的なＦＯＶである。より大きい視野、例えば６０°～１２０°又はそれ以上の広角ＦＯＶもまた実現可能であるかもしれない。広角ＦＯＶは、ブロードライン眼底イメージャ（ＢＬＦＩ：Ｂｒｏａｄ－Ｌｉｎｅ Ｆｕｎｄｕｓ Ｉｍａｇｅｒ）や光干渉断層撮影（ＯＣＴ）等の他のイメージグモダリティとの組合せにとって望ましいかもしれない。視野の上限は、人間の目の周囲の生理学的条件と共にアクセス可能な作業距離によって決定されるかもしれない。典型的な人間の網膜のＦＯＶは水平１４０°、垂直８０°～１００°であるため、システム上の最も高いＦＯＶのための非対称視野を有することが望ましいかもしれない。
【0061】
スキャニングラインビームＳＢは眼Ｅの瞳孔Ｐｐｌを通過し、網膜、又は眼底、表面Ｆへと方向付けられる。スキャナＬｎＳｃｎ１は網膜、又は眼底Ｆ上の光の位置を調整し、眼Ｅ上のある範囲の横方向の位置が照明されるようにする。反射又は散乱光（又は蛍光イメージングの場合は発光）は、照明と同様の経路に沿って逆に方向付けられて、カメラＣｍｒまでの検出経路上の集光ビームＣＢを画定する。
【0062】
この例示的なスリット走査型眼科システムＳＬＯ－１の「スキャン－デスキャン」構成では、眼Ｅから戻る光は瞳分割ミラーＳＭまでの途中でスキャナＬｎＳｃｎによって「デスキャン」される。すなわち、スキャナＬｎＳｃｎは瞳分割ミラーＳＭからの照明ビームを走査して、眼Ｅを通じたスキャニング照明ビームＳＢを画定するが、スキャナＬｎＳｃｎは同じスキャン位置において眼Ｅから戻る光も受け取るため、スキャナＬｎＳｃｎは戻り光をデスキャンして（例えば、スキャニング動作を取り消して）、スキャナＬｎＳｃｎから瞳分割ミラーＳＭへの非スキャニング用（例えば、安定又は静止）集光ビームを画定する効果を有し、これは集光ビームをカメラＣｍｒに向かって折り曲げる。瞳分割ミラーＳＭにおいて、反射光（又は蛍光イメージングの場合は発光）は照明光からカメラＣｍｒに向かう検出経路へと分離され、カメラＣｍｒは画像を捕捉するためのフォトセンサを有するデジタルカメラであってもよい。結像（例えば、対物）レンズＩｍｇＬは、検出経路内に位置付けられて、眼底をカメラＣｍｒに結像させてよい。対物レンズＯｂｊＬの場合と同様に、結像レンズＩｍｇＬは当業界で知られている何れの種類であってもよい（例えば、屈折、回折、反射、又はハイブリッドレンズ）。その他の動作の詳細、特に画像アーチファクト軽減方法は国際公開第２０１６／１２４６４４号パンフレットに記載されており、その内容の全体を参照によって本願に援用する。カメラＣｍｒは受け取った画像を捕捉し、例えば画像ファイルを作り、それが１つ又は複数の（電子）プロセッサ又はコンピューティングデバイス（例えば、図２０に示されるコンピュータシステム）によってさらに処理できる。それゆえ、集光ビーム（スキャニングラインビームＳＢのすべてのスキャニング位置から戻る）は、カメラＣｍｒによって集光され、個別に捕捉された集光ビームの、例えばモンタージュによる合成からフルフレーム画像Ｉｍｇが構成されてよい。しかしながら、その他のスキャニング構成もまた想定され、これには照明ビームが眼Ｅを通じてスキャンされて、集光ビームがカメラのフォトセンサアレイを通じてスキャンされる。国際公開第２０１２／０５９２３６号パンフレット及び米国特許出願公開第２０１５／０１３１０５０号明細書は参照によって本願に援用され、戻り光がカメラのフォトセンサアレイ上で掃引される、及び戻り光がカメラのフォトセンサアレイ上で掃引されない、様々な設計が含まれる。
【0063】
この例では、カメラＣｍｒはプロセッサ（例えば、処理モジュール）Ｐｒｏｃ及びディスプレイ（例えば、表示モジュール、コンピュータスクリーン、電子スクリーン等）Ｄｓｐｌに接続され、これらはどちらも画像システム自体の一部とすることができ、又は別の専用の処理及び／又は表示ユニット、例えばデータがカメラＣｍｒからコンピュータシステムへとケーブル又は無線ネットワークを含むコンピュータネットワークを通じてコンピュータシステムに供給されるコンピュータシステムの一部であってもよい。ディスプレイ及びプロセッサは、全てが１つのユニットとすることができる。ディスプレイは、伝統的な電子ディスプレイ／スクリーン、又はタッチスクリーンタイプとすることができ、ユーザに対して情報を表示し、機器のオペレータ又はユーザからの情報を受け取るためのユーザインタフェースを含むことができる。ユーザは、当業界で知られている何れの種類のユーザ入力デバイスを使用してディスプレイと対話することもでき、これにはマウス、ノブ、ボタン、ポインタ、及びタッチスクリーンが含まれるが、これらに限定されない。
【0064】
イメージングが行われている間、患者の視線を固定したままとすることが望ましいかもしれない。これを実現する１つの方法は、患者の向きを、それを注視するように変えることのできる固定ターゲットを提供することである。固定ターゲットは、眼のどの部分の画像を生成するかに応じて、機器の内部又は外部とすることができる。内部固定ターゲットの１つの実施形態が図１３に示されている。イメージングに使用される第一の光源ＬｔＳｒｃに加えて、１つ又は複数のＬＥＤ等の第二の任意選択的な光源ＦｘＬｔＳｒｃを、光パターンがレンズＦｘＬ、スキャニング要素ＦｘＳｃｎ、及び反射板／ミラーＦｘＭを使用して網膜に結像されるように位置付けることができる。固定スキャナＦｘＳｃｎは、光パターンの位置を移動させることができ、反射板ＦｘＭは、固定スキャナＦｘＳｃｎからの光パターンを眼Ｅの眼底Ｆへと向ける。好ましくは、固定スキャナＦｘＳｃｎは、それがシステムの瞳孔平面に配置されるように位置付けられ、それによって網膜／眼底上の光パターンは、所望の固定位置に応じて移動できる。
【0065】
スリット走査型検眼鏡システムは、使用される光源及び波長選択的フィルタ要素に応じて異なるイメージングモードで動作できる。忠実色反射イメージング（臨床医が手持ち式又はスリットランプ検眼鏡を使用して眼を検査する際に観察するものと同様のイメージング）は、一連のカラーＬＥＤ（赤、青、及び緑）で眼の画像を撮影すると実現できる。各ＬＥＤを各スキャニング位置においてオンにすることによって各色の画像を段階的に構築することができ、又は各カラー画像をその全体で別々に撮影できる。３色の画像を合成して忠実色の画像を表示することができ、又はこれらは個別に表示して、網膜の異なる特徴をハイライトすることもできる。赤のチャネルは脈絡膜を最もよくハイライトし、緑のチャネルは網膜をハイライトし、青のチャネルは網膜前層をハイライトする。それに加えて、特定の周波数の光（例えば、個々のカラーＬＥＤ又はレーザ）を使用して、眼内の異なるフルオロフォアを励起させることができ（例えば、自発蛍光）、その結果として得られた蛍光を、励起波長をフィルタで除去することによって検出できる。
【0066】
眼底イメージングシステムはまた、例えば赤外線レーザ（又は他の赤外線光源）を使うことによって、赤外線（ＩＲ）反射画像を提供することもできる。赤外線（ＩＲ）モデルは、眼がＩＲ波長に対し感受性を有していないという点で有利である。これによって、ユーザは（例えば、プレビュー／アラインメントモード中に）眼を妨害せずに連続的に画像を撮影して、機器のアラインメントにおいてユーザを助けるようにすることができる。また、ＩＲ波長は組織内により侵入し、脈絡膜構造をよりよく可視化するかもしれない。それに加えて、蛍光眼底造影法（ＦＡ）及びインドシアニングリーン眼底造影法（ＩＣＧ）によるイメージングは、蛍光染料を被検者の血流内に注入してから画像を収集することによって実現できる。
【0067】
光干渉断層撮影システム
眼底写真、眼底自発蛍光（ＦＡＦ）、蛍光眼底造影法（ＦＡ）に加えて、眼科画像はその他のイメージングモダリティ、例えば光干渉断層撮影法（ＯＣＴ）、ＯＣＴ眼底造影法（ＯＣＴＡ）、及び／又は眼エコー写真によって製作されてもよい。本発明又は本発明の少なくとも一部は、当業界で理解されるように、若干の改良を加えて、これらのその他の眼科イメージングモダリティにも応用されてもよい。より具体的には、本発明はまた、ＯＣＴ及び／又はＯＣＴＡ画像を生成するＯＣＴ／ＯＣＴＡシステムにより生成された眼科画像にも応用されてよい。例えば、本発明は、ｅｎ ｆａｃｅ ＯＣＴ／ＯＣＴＡ画像にも応用されてよい。眼底画像の例は米国特許第８，９６７，８０６号明細書及び同第８，９９８，４１１号明細書において提供されており、ＯＣＴシステムの例は米国特許第６，７４１，３５９号明細書及び同第９，７０６，９１５号明細書において提供され、ＯＣＴＡイメージングシステムの例は米国特許第９，７００，２０６号明細書及び同第９，７５９，５４４号明細書に見られるかもしれず、これらすべての内容の全体を参照によって本願に援用する。万全を期して、例示的なＯＣＴ／ＯＣＴＡシステムの例を本願で提供する。
眼底写真、眼底自発蛍光（ＦＡＦ）、蛍光眼底造影法（ＦＡ）に加えて、眼科画像はその他のイメージングモダリティ、例えば光干渉断層撮影法（ＯＣＴ）、ＯＣＴ眼底造影法（ＯＣＴＡ）、及び／又は眼エコー写真によって製作されてもよい。本発明又は本発明の少なくとも一部は、当業界で理解されるように、若干の改良を加えて、これらのその他の眼科イメージングモダリティにも応用されてもよい。より具体的には、本発明はまた、ＯＣＴ及び／又はＯＣＴＡ画像を生成するＯＣＴ／ＯＣＴＡシステムにより生成された眼科画像にも応用されてよい。例えば、本発明は、ｅｎ ｆａｃｅ ＯＣＴ／ＯＣＴＡ画像にも応用されてよい。眼底画像の例は米国特許第８，９６７，８０６号明細書及び同第８，９９８，４１１号明細書において提供されており、ＯＣＴシステムの例は米国特許第６，７４１，３５９号明細書及び同第９，７０６，９１５号明細書において提供され、ＯＣＴＡイメージングシステムの例は米国特許第９，７００，２０６号明細書及び同第９，７５９，５４４号明細書に見られるかもしれず、これらすべての内容の全体を参照によって本願に援用する。万全を期して、例示的なＯＣＴ／ＯＣＴＡシステムの例を本願で提供する。
【0068】
図１４は、本発明との使用に適した眼の３Ｄ画像データ収集用の一般型周波数領域光干渉断層撮影（ＦＤ－ＯＣＴ）システムを図解する。ＦＤ－ＯＣＴシステムＯＣＴ＿１は、光源ＬｔＳｒｃ１を含む。典型的な光源には、時間コヒーレンス長が短い広帯域光源、又は掃引レーザ源が含まれるがこれらに限定されない。光源ＬｔＳｃｒ１からの光のビームは、典型的に光ファイバＦｂｒ１によってサンプル、例えば眼Ｅを照明するように誘導され、典型的なサンプルは人間の眼内組織である。光源ＬｒＳｒｃ１は、スペクトル領域ＯＣＴ（ＳＤ－ＯＣＴ）の場合の短い時間コヒーレンス長の広帯域光源か、掃引光源ＯＣＴ（ＳＳ－ＯＣＴ）の場合の波長調整可能レーザ源の何れかとすることができる。光は、典型的には光ファイバＦｂｒ１の出力とサンプルＥとの間のスキャナＳｃｎｒ１でスキャンされ、それによって光のビーム（破線Ｂｍ）はサンプルの画像撮影対象領域を横方向に（ｘ及びｙに）スキャンされる。フルフィールドＯＣＴの場合、スキャナは不要であり、光は一度に所望の視野（ＦＯＶ）全体に当てられる。サンプルから散乱した光は、典型的に照明用の光を案内するために使用されるものと同じ光ファイバＦｂｒ１へと集光される。同じ光源ＬｔＳｒｃ１から派生する参照光は別の経路に沿って移動し、この場合、これには光ファイバＦｂｒ２及び調整可能な光学遅延を有する逆反射板ＲＲ１が含まれる。当業者であればわかるように、透過性参照経路も使用でき、調整可能遅延はサンプル又は干渉計の参照アームの中に設置できる。集光されたサンプル光は、典型的にファイバカプラＣｐｌｒ１において参照光と結合され、ＯＣＴ光検出器Ｄｔｃｔｒ１（例えば、光検出器アレイ、デジタルカメラ等）内の光干渉を形成する。１つのファイバポートが検出器Ｄｔｃｔｒ１に到達するように示されているが、当業者であればわかるように、干渉信号のバランス又はアンバランス検出のために様々な設計の干渉計を使用できる。検出器Ｄｔｃｔｒ１からの出力は、プロセッサＣｍｐ１（例えば、コンピューティングデバイス）に供給され、それが観察された干渉をサンプルの深さ情報へと変換する。深さ情報は、プロセッサＣｍｐ１に関連付けられるメモリ内に保存され、及び／又はディスプレイ（例えば、コンピュータ／電子ディスプレイ／スクリーン）Ｓｃｎ１に表示されてよい。処理及び保存機能はＯＣＴ機器内に配置されてよく、又は機能は収集されたデータが転送される外部処理ユニット（例えば、図２０に示されるコンピュータシステム）上で実行されてもよい。このユニットは、データ処理専用とすることも、又はごく一般的で、ＯＣＴデバイス装置に専用ではないその他のタスクを実行することもできる。プロセッサＣｍｐ１は例えば、ホストプロセッサに供給される前に、又は並行してデータ処理ステップの一部又は全部を実行するフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途集積回路（ＡＳＩＣ）、グラフィクス処理ユニット（ＧＰＵ）、システムオンチップ（ＳｏＣ）、中央処理ユニット（ＣＰＵ）、汎用グラフィクス処理ユニット（ＧＰＧＰＵ）、又はそれらの組合せを含んでいてよい。
【0069】
サンプルと干渉計内の参照アームは、バルク光学系、ファイバ光学系、又はハイブリッドバルク光学システムで構成でき、また、当業者の間で知られているように、マイケルソン、マッハ・ツェンダ、又は共通光路系設計等、異なるアーキテクチャを有することができる。光ビームとは、本明細書において使用されるかぎり、慎重に方向付けられるあらゆる光路と解釈されるべきである。ビームを機械的にスキャンする代わりに、光の場が網膜の１次元又は２次元エリアを照明して、ＯＣＴデータを生成できる（例えば、米国特許第９３３２９０２号明細書、ディー．ヒルマン（Ｄ．Ｈｉｌｌｍａｎｎ）他著、「ホロスコピ－ホログラフィック光干渉断層撮影（Ｈｏｌｏｓｃｏｐｙ－ｈｏｌｏｇｒａｐｈｉｃ ｏｐｔｉｃａｌ ｃｏｈｅｒｅｎｃｅ ｔｏｍｏｇｒａｐｈｙ）」オプティクスレターズ（Ｏｐｔｉｃｓ Ｌｅｔｔｅｒｓ）、第３６巻（１３）、ｐ．２２９０、２０１１年、ワイ．ナカムラ（Ｙ．Ｎａｋａｍｕｒａ）他著、「ラインフィールドスペクトルドメイン光干渉断層撮影法による高速３次元ヒト網膜イメージング（Ｈｉｇｈ－Ｓｐｅｅｄ ｔｈｒｅｅ ｄｉｍｅｎｓｉｏｎａｌ ｈｕｍａｎ ｒｅｔｉｎａｌ ｉｍａｇｉｎｇ ｂｙ ｌｉｎｅ ｆｉｅｌｄ ｓｐｅｃｔｒａｌ ｄｏｍａｉｎ ｏｐｔｉｃａｌ ｃｏｈｅｒｅｎｃｅ ｔｏｍｏｇｒａｐｈｙ）」、オプティクスエクスプレス（Ｏｐｔｉｃｓ Ｅｘｐｒｅｓｓ）、第１５巻（１２）、ｐ．７１０３、２００７年、ブラスコヴィッチ（Ｂｌａｚｋｉｅｗｉｃｚ）他著、「フルフィールドフーリエドメイン光干渉断層撮影法の信号対ノイズ比の研究（Ｓｉｇｎａｌ－ｔｏ－ｎｏｉｓｅ ｒａｔｉｏ ｓｔｕｄｙ ｏｆ ｆｕｌｌ－ｆｉｅｌｄ Ｆｏｕｒｉｅｒ－ｄｏｍａｉｎ ｏｐｔｉｃａｌ ｃｏｈｅｒｅｎｃｅ ｔｏｍｏｇｒａｐｈｙ）」、アプライド・オプティクス（Ａｐｐｌｉｅｄ Ｏｐｔｉｃｓ）、第４４巻（３６）、ｐ．７７２２（２００５年）参照）。時間領域システムでは、参照アームは干渉を生じさせるために調整可能な光学遅延を有する必要がある。バランス検出システムは典型的にＴＤ－ＯＣＴ及びＳＳ－ＯＣＴシステムで使用され、分光計はＳＤ－ＯＣＴシステムのための検出ポートで使用される。本明細書に記載の発明は、何れの種類のＯＣＴシステムにも応用できる。本発明の様々な態様は、何れの種類のＯＣＴシステムにも、又はその他の種類の眼科診断システム及び／又は、眼底イメージングシステム、視野試験装置、及び走査型レーザ偏光計を含むがこれらに限定されない複数の眼科診断システムにも適用できる。
【0070】
フーリエドメイン光干渉断層撮影法（ＦＤ－ＯＣＴ）において、各測定値は実数値スペクトル制御干渉図形（Ｓｊ（ｋ））である。実数値スペクトルデータには典型的に、背景除去、分散補正等を含む幾つかの後処理ステップが行われる。処理された干渉図形のフーリエ変換によって、複素ＯＣＴ信号出力Ａｊ（ｚ）＝｜Ａｊ｜ｅｉφが得られる。この複素ＯＣＴ信号の絶対値、｜Ａｊ｜から、異なる経路長での散乱強度、したがってサンプル内の深さ（ｚ－方向）に関する散乱のプロファイルが明らかとなる。同様に、位相φｊもまた、複素ＯＣＴ信号から抽出できる。深さに関する手散乱のプロファイルは、軸方向スキャン（Ａ－スキャン）と呼ばれる。サンプル内の隣接する位置において測定されたＡ－スキャンの集合により、サンプルの断面画像（断層画像又はＢ－スキャン）が生成される。サンプル上の横方向の異なる位置で収集されたＢスキャンの集合が、データボリューム又はキューブを構成する。特定のデータボリュームについて、速い軸とは１つのＢ－スキャンに沿ったスキャン方向を指し、遅い軸とは、それに沿って複数のＢ－スキャンが収集される軸を指す。「クラスタスキャン」という用語は、血流を識別するために使用されてよいモーションコントラストを解析するために、同じ（又は実質的に同じ）位置（又は領域）での反復的取得により生成されるデータの１つのユニット又はブロックを指してよい。クラスタスキャンは、サンプル上のほぼ同じ位置において比較的短い時間間隔で収集された複数のＡ－スキャン又はＢ－スキャンで構成できる。クラスタスキャンのスキャンは同じ領域のものであるため、静止構造はクラスタスキャン中のスキャン間で比較的変化しないままであるのに対し、所定の基準を満たすスキャン間のモーションコントラストは血液流として識別されてよい。Ｂ－スキャンを生成するための様々な方法が当業界で知られており、これには、水平又はｘ方向に沿ったもの、垂直又はｙ方向に沿ったもの、ｘ及びｙの対角線に沿ったもの、又は円形若しくは螺旋パターンのものが含まれるがこれらに限定されない。Ｂ－スキャンは、ｘ－ｚ次元内であってよいが、ｚ次元を含む何れの断面画像であってもよい。
【0071】
ＯＣＴ血管造影法又は関数型ＯＣＴにおいて、解析アルゴリズムは、動き又は流れを解析するために、サンプル上の同じ、又はほぼ同じサンプル位置において異なる時間に収集された（例えば、クラスタスキャン）ＯＣＴデータに適用されてよい（例えば、米国特許出願公開第２００５／０１７１４３８号明細書、同第２０１２／０３０７０１４号明細書、同第２０１０／００２７８５７号明細書、同第２０１２／０２７７５７９号明細書、及び米国特許第６，５４９，８０１号明細書を参照されたく、これらの全ての全体を参照によって本願に援用する）。ＯＣＴシステムでは、血流を識別するために多くのＯＣＴ血管造影法処理アルゴリズム（例えば、モーションコントラストアルゴリズム）のうちの何れの１つを使用してもよい。例えば、モーションコントラストアルゴリズムは、画像データから導出される強度情報（強度に基づくアルゴリズム）、画像データからの位相情報（位相に基づくアルゴリズム）、又は複素画像データ（複素に基づくアルゴリズム）に適用できる。ｅｎ ｆａｃｅ画像は３Ｄ ＯＣＴデータの２Ｄ投射である（例えば、個々のＡ－スキャンの各々の強度を平均することにより、これによって、各Ａ－スキャンが２Ｄ投射内のピクセルを画定する）。同様に、ｅｎ ｆａｃｅ脈管画像は、モーションコントラスト信号を表示する画像であり、その中で深さに対応するデータディメンション（例えば、Ａ－スキャンに沿ったｚ方向）は、典型的にはデータの全部又は隔離部分を加算又は集積することによって、１つの代表値（例えば、２Ｄ投射画像内のピクセル）として表示される（例えば、米国特許第７，３０１，６４４号明細書を参照されたく、その全体を参照によって本願に援用する）。血管造影機能を提供するＯＣＴシステムは、ＯＣＴ血管造影（ＯＣＴＡ）システムと呼ばれてよい。
【0072】
図１５は、ｅｎ ｆａｃｅ脈管構造画像の例を示す。データを処理し、当業界で知られるモーションコントラスト法の何れかを用いてモーションコントラストをハイライトした後に、網膜の内境界膜（ＩＬＭ：ｉｎｔｅｒｎａｌ ｌｉｍｉｔｉｎｇ ｍｅｍｂｒａｎｅ）の表面からのある組織深さに対応するピクセル範囲を加算して、その脈管構造のｅｎ ｆａｃｅ（例えば、正面図）画像が生成されてよい。
【0073】
ニューラルネットワーク
前述のように、本発明はニューラルネットワーク（ＮＮ）機械学習（ＭＬ）モデルを使用してよい。万全を期して、本明細書ではニューラルネットワークについて概説する。発明は、下記のニューラルネットワークアーキテクチャの何れも、単独でも組み合わせても使用してよい。ニューラルネットワーク、又はニューラルネットは、相互接続されたニューロンの（ノードを介した）ネットワークであり、各ニューロンはネットワーク内のノードを表す。ニューロンの集合は層状に配置されてよく、１つの層の出力は多層パーセプトロン（ＭＬＰ）配置の中の次の層へと順方向に供給される。ＭＬＰは、入力データの集合を出力データの集合にマッピングするフィードフォワードニューラルネットワークと理解されてよい。
前述のように、本発明はニューラルネットワーク（ＮＮ）機械学習（ＭＬ）モデルを使用してよい。万全を期して、本明細書ではニューラルネットワークについて概説する。発明は、下記のニューラルネットワークアーキテクチャの何れも、単独でも組み合わせても使用してよい。ニューラルネットワーク、又はニューラルネットは、相互接続されたニューロンの（ノードを介した）ネットワークであり、各ニューロンはネットワーク内のノードを表す。ニューロンの集合は層状に配置されてよく、１つの層の出力は多層パーセプトロン（ＭＬＰ）配置の中の次の層へと順方向に供給される。ＭＬＰは、入力データの集合を出力データの集合にマッピングするフィードフォワードニューラルネットワークと理解されてよい。
【0074】
図１６は、多層パーセプトロン（ＭＬＰ）ニューラルネットワークの例を図解する。その構造は、複数の隠れ（例えば内側）層ＨＬ１～ＨＬｎを含んでいてよく、これは入力層ＩｎＬ（入力（又はベクトル入力）の集合ｉｎ＿１～ｉｎ＿３を受け取る）を出力層ＯｕｔＬにマッピングし、それが出力（又はベクトル出力）の集合、例えばｏｕｔ＿１及びｏｕｔ＿２を生成する。各層は、何れの数のノードを有していてもよく、これらはここでは説明のために各層内の円として示されている。この例では、第一の隠れ層ＨＬ１は２つのノードを有し、隠れ層ＨＬ２、ＨＬ３、及びＨＬｎは各々３つのノードを有する。一般に、ＭＬＰが深いほど（例えば、ＭＬＰ内の隠れ層の数が多いほど）、その学習容量は大きい。入力層ＩｎＬは、ベクトル入力（説明のために、ｉｎ＿１、ｉｎ＿２、及びｉｎ＿３からなる３次元ベクトルとして示されている）を受け取り、受け取ったベクトル入力を隠れ層のシーケンス内の第一の隠れ層ＨＬ１に供給してよい。出力層ＯｕｔＬは、多層モデル内の最後の隠れ層、例えばＨＬｎからの出力を受け取り、ベクトル出力結果（説明のためにｏｕｔ＿１及びｏｕｔ＿２からなる２次元ベクトルとして示されている）を生成する。
【0075】
典型的に、各ニューロン（すなわちノード）は１つの出力を生成し、それがその直後の層のニューロンへと順方向に供給される。しかし、隠れ層内の各ニューロンは、入力層から、又はその直前の隠れ層内のニューロンの出力から、複数の入力を受け取るかもしれない。一般に、各ノードはその入力に関数を適用して、そのノードのための出力を生成してよい。隠れ層（例えば、学習層）内のノードは、それぞれの入力に同じ関数を適用して、それぞれの出力を生成してよい。しかしながら、幾つかのノード、例えば入力層ＩｎＬ内のノードは１つの入力しか受け取らず、受動的であってよく、これは、それらが単純にその１つの入力の値をその出力へと中継することを意味し、例えばこれらはその入力のコピーをその出力に提供し、これは説明のために入力層ＩｎＬのノード内の破線矢印によって示されている。
【0076】
説明を目的として、図１７は、入力層ＩｎＬ’、隠れ層ＨＬ１’、及び出力層ＯｕｔＬ’からなる単純化されたニューラルネットワークを示す。入力層ＩｎＬ’は、２つの入力ノードｉ１及びｉ２を有するように示されており、これらはそれぞれ入力Ｉｎｐｕｔ＿１及びＩｎｐｕｔ＿２を受け取る（例えば、層ＩｎＬ’の入力ノードは、２次元の入力ベクトルを受け取る）。入力層ＩｎＬ’は、２つのノードｈ１及びｈ２を有する１つの隠れ層ＨＬ１’へと順方向に供給し、それが今度は、２つのノードｏ１及びｏ２の出力層ＯｕｔＬ’に順方向に供給する。ニューロン間の相互接続、又はリンクは（説明のために実線の矢印で示されている）は重みｗ１～ｗ８を有する。典型的に、入力層を除き、ノード（ニューロン）は入力としてその直前の層のノードの出力を受け取るかもしれない。各ノードは、その入力の各々に各入力の対応する相互接続重みを乗じ、その入力の積を加算し、その特定のノードに関連付けられるかもしれない他の重み又はバイアス（例えば、それぞれノードｈ１、ｈ２、ｏ１、及びｏ２に対応するノード重みｗ９、ｗ１０、ｗ１１、ｗ１２）により定義される定数を加算し（又は、それを乗じ）、その後、その結果に非線形関数又は対数関数を適用することによってその出力を計算してよい。非線形関数は、活性化関数又は伝達関数と呼ばれてよい。複数の活性化関数が当業界で知られており、特定の活性化関数の選択はこの説明には重要ではない。しかしながら、留意すべき点として、ＭＬモデルの演算、ニューラルネットの挙動は重みの値に依存し、これはニューラルネットワークがある入力のための所望の出力を提供するように学習されてよい。
【0077】
ニューラルネットは、訓練、又は学習段階中に、ある入力にとって望ましい出力を実現するための適当な重み値を学習する（例えば、それを特定するように訓練される）。ニューラルネットが訓練される前に、各重みは個々に初期の（例えば、ランダムな、任意選択によりゼロ以外の）値、例えば乱数シードに割り当てられてもよい。初期重みを割り当てる様々な方法が当業界で知られている。すると、重みは、ある訓練ベクトル入力について、ニューラルネットワークが所望の（所定の）訓練ベクトル出力に近い出力を生成するように訓練される（最適化される）。例えば、重みはバックプロパゲーションと呼ばれる方法によって、何千回もの繰返しサイクルで徐々に調整されてよい。バックプロパゲーションの各サイクルで、訓練入力（例えば、ベクトル入力又は訓練入力画像／サンプル）はニューラルネットワークを通じてフォワードパスが行われて、その実際の出力（例えば、ベクトル出力）が提供される。その後、各出力ニューロン、又は出力ノードのエラーが、実際のニューロンの出力及びそのニューロンのための教師値訓練出力（例えば、現在の訓練入力画像／サンプルに対応する訓練出力画像／サンプル）に基づいて計算される。すると、それはニューラルネットワークを通じて逆方向に（出力層から入力層へと逆方向に）伝搬し、各重みが全体的エラーに対してどの程度の影響を有するかに基づいて重みが更新され、それによってニューラルネットワークの出力は所望の訓練出力に近付く。このサイクルはその後、ニューラルネットワークの実際の出力がその訓練入力のための所望の訓練出力の容認可能なエラー範囲内になるまで繰り返される。理解されるように、各訓練入力は、所望のエラー範囲を実現するまでに多くのバックプロパゲーションイテレーションを必要とするかもしれない。典型的に、エポックは全ての訓練サンプルの１つのバックプロパゲーションイテレーション（例えば、１回のフォワードパスと１回のバックワードパス）を指し、ニューラルネットワークの訓練には多くのエポックが必要かもしれない。一般に、訓練セットが大きいほど、訓練されるＭＬモデルのパフォーマンスは向上するため、各種のデータ拡張方法が、訓練セットのサイズを大きくするために使用されてよい。例えば、訓練セットが対応する訓練入力画像と訓練出力画像のペアを含む場合、訓練画像は複数の対応する画像セグメント（又はパッチ）に分割されてよい。訓練入力画像及び訓練出力画像からの対応するパッチがペアにされて、１つの入力／出力画像ペアから複数の訓練パッチペアが画定されてよく、それによって訓練セットが拡張される。しかしながら、大きい訓練セットを訓練することによって、コンピュータリソース、例えばメモリ及びデータ処理リソースへの要求が高まる。演算要求は、大きい訓練セットを複数のミニバッチに分割することによって軽減されるかもしれず、このミニバッチのサイズは１回のフォワード／バックワードパスにおける訓練サンプルの数が決まる。この場合、そして１つのエポックは複数のミニバッチを含んでいてよい。他の問題は、ＮＮが訓練セットを過剰適合して、特定の入力から異なる入力へと一般化するその能力が減少する可能性である。過剰適合の問題は、ニューラルネットワークのアンサンブルを作るか、又は訓練中にニューラルネットワーク内のノードをランダムにドロップアウトすることによって軽減されるかもしれず、これはドロップされたリードをニューラルネットワークから有効に除去する。インバースドロップアウト等、各種のドロップアウト調整方法が当業界で知られている。
【0078】
留意すべき点として、訓練済みのＮＮ機械モデルの演算は、演算／解析ステップの単純なアルゴリズムではない。実際に、訓練済みのＮＮ機械モデルが入力を受け取ると、その入力は従来の意味では解析されない。むしろ、入力の主旨や性質（例えば、ライブ画像／スキャンを画定するベクトル、又は人口構造的説明又は活動の記録等のその他何れかのエンティティを画定するベクトル）に関係なく、入力は、訓練済みニューラルネットワークの同じアーキテクチャ構築（例えば、同じノード／層配置、訓練済み重み及びバイアス値、所定の畳み込み／逆畳み込み演算、活性化関数、プーリング演算等）の対象となり、訓練済みネットワークのアーキテクチャ構築がその出力をどのように生成するかは明らかでないかもしれない。さらに、訓練された重みとバイアスの値は、決定的ではなく、そのニューラルネットワークに付与される訓練のための時間の量（例えば、訓練におけるエポック数）、訓練開始前の重みのランダムな開始値、ＮＮがそこで訓練されるマシンのコンピュータアーキテクチャ、訓練サンプルの選択、複数のミニバッチ間の訓練サンプルの分布、活性化関数の選択、重みを変更するエラー関数の選択、さらには訓練が１つのマシン（例えば、第一のコンピュータアーキテクチャを有する）で中断され、他のマシン（例えば、異なるコンピュータアーキテクチャを有する）で完了したか等、多くの要素に依存する。ポイントは、訓練済みのＭＬモデルが特定の出力になぜ到達したかの理由は明白でなく、ＭＬモデルがその出力の基礎とする要素を特定しようとする多くの研究が現在行われている、ということである。したがって、ライブデータに対するニューラルネットワークの処理は、単純なステップのアルゴリズムまで減少させることはできない。むしろ、その演算は、その訓練アーキテクチャ、訓練サンプルセット、訓練シーケンス、及びＭＬモデルの訓練における様々な状況に依存する。
【0079】
概略すると、ＮＮ機械学習モデルの構成は、学習（又は訓練）ステージと分類（又は演算）ステージを含んでいてよい。学習ステージでは、ニューラルネットワークは特定の目的のために訓練されてよく、また訓練例の集合が提供されてよく、これには訓練（サンプル）入力及び訓練（サンプル）出力が含まれ、任意選択により、訓練の進行状況を試験するためのバリデーションの例の集合が含まれる。この学習プロセス中、ニューラルネットワーク内のノード及びノード相互接続に関係付けられる各種の重みが徐々に調整されて、ニューラルネットワークの実際の出力と所望の訓練出力との間のエラーが縮小される。このようにして、多層フィードフォワードニューラルネットワーク（例えば前述のもの）は、何れの測定可能関数を何れの所望の精度までも概算できるかもしれない。学習ステージの結果として得られるのは、学習した（例えば、訓練済みの）（ニューラルネットワーク）機械学習（ＭＬ）である。演算ステージで、試験入力（又はライブ入力）の集合が学習済み（訓練済み）ＭＬモデルに提供されてよく、それが学習したことを応用して、試験入力に基づいて出力予測を生成するかもしれない。
【0080】
図１５及び図１６の通常のニューラルネットワークと同様に、畳み込みニューラルネットワーク（ＣＮＮ）もまた、学習可能な重みとバイアスを有するニューロンで構成される。各ニューロンは入力を受け取り、演算（例えば、ドット積）を行い、任意選択によってそれに非線形変換が続く。しかしながら、ＣＮＮは、一方の端（例えば入力端）で生の画像ピクセルを受け取り、反対の端（例えば、出力端）で分類（又はクラス）のスコアを提供する。ＣＮＮは入力として画像を予想するため、これらはボリューム（例えば、画像のピククセル高さと幅及び、画像の深さ、例えば赤、緑、及び青の３色で定義されるＲＧＢ深さ等の色深さ）を扱うように最適化される。例えば、ＣＮＮの層は、３次元で配置されるニューロンのために最適化されてよい。ＣＮＮ層内のニューロンは、完全に接続されたＮＮのニューロンの全部ではなく、その前の層の小さい領域に接続されてもよい。ＣＮＮの最終的な出力層は、フル画像を深さの次元に沿って配置される１つのベクトル（分類）に縮小するかもしれない。
【0081】
図１８は、例示的な畳み込みニューラルネットワークアーキテクチャを提供する。畳み込みニューラルネットワークは、２つ又はそれ以上の層（例えば、層１～層Ｎ）の連続として定義されてよく、層は（画像）畳み込みステップ、（結果の）加重和ステップ、及び非線形関数ステップを含んでいてよい。畳み込みはその入力データについて、例えばその入力データにわたる移動ウィンドウ上のフィルタ（又はカーネル）を適用して特徴マップを生成することによって行われてよい。各層及び層の構成要素は、異なる所定のフィルタ（フィルタバンクからのもの）、重み（又は重み付けパラメータ）、及び／又は関数パラメータを有していてよい。この例において、入力データは、あるピクセル高さと幅の画像であり、この画像の生のピクセル値であってもよい。この例において、入力画像は３つの色チャネルＲＧＢ（赤、緑、青）の深さを有するように描かれている。任意選択により、入力画像には様々な前処理が行われてよく、前処理の結果が生の画像データの代わりに、又はそれに加えて入力されてもよい。画像処理の幾つかの例には、網膜血管マップセグメンテーション、色空間変換、適応型ヒストグラム均一化、接続構成要素生成等が含まれていてよい。ある層内で、ドット積がある重みとそれらが入力ボリューム内で接続された小さい領域との間で計算されてよい。ＣＮＮを構成するための多くの方法が当業界で知られているが、例として、層はゼロにおけるｍａｘ（０，ｘ）閾値等、要素ごと活性化関数を適用するために構成されてもよい。プーリング関数は、ボリュームをダウンサンプルするために（例えばｘ－ｙ方向に沿って）行われてもよい。完全に接続された層は、分類出力を特定し、画像認識及び分類に有益であることが判明している１次元出力ベクトルを生成するために使用されてよい。しかしながら、画像セグメンテーションのためには、ＣＮＮは各ピクセルを分類する必要がある。各ＣＮＮ層は入力画像の解像度を低下させる傾向があるため、画像をその当初の解像度へとアップサンプルするための別のステージが必要である。これは、転置畳み込み（又は逆畳み込み）ステージＴＣの適用によって実現されてよく、これは典型的に、何れの所定の補間方法も使用せず、その代わりに学習可能パラメータを有する。
【0082】
畳み込みニューラルネットワークは、コンピュータビジョンの多くの問題にうまく適用されている。前述のように、ＣＮＮを訓練するには一般に、大きな訓練データセットが必要である。Ｕ－ＮｅｔアーキテクチャはＣＮＮに基づいており、一般に従来のＣＮＮより小さい訓練データセットで訓練できる。
【0083】
図１９は、例示的なＵ－Ｎｅｔアーキテクチャを図解する。この例示的なＵ－Ｎｅｔは、入力モジュール（又は入力層若しくはステージ）を含み、これは何れかのサイズ（例えば、１２８×１２８ピクセルのサイズ）の入力Ｕ－ｉｎ（例えば、入力画像又は画像パッチ）を受け取る。入力画像は、眼底画像、ＯＣＴ／ＯＣＴＡ ｅｎ ｆａｃｅ、Ｂ－スキャン画像等であってよい。しかしながら、理解すべき点として、入力は何れの大きさ及び次元のものであってもよい。例えば、入力画像はＲＧＢカラー画像、モノクロ画像、体積画像等であってよい。入力画像は一連の処理層を経て、その各々は例示的な大きさで図解されているが、これらの大きさは説明を目的としているにすぎず、例えば画像のサイズ、畳み込みフィルタ、及び／又はプーリングステージに依存するであろう。このアーキテクチャは、収束経路（４つの符号化モジュールを含む）とそれに続く拡張経路（４つの復号モジュールを含む）、及び対応するモジュール／ステージ間にあり、収束経路内の１つの符号化モジュールの出力をコピーして、それを拡張経路内の対応する復号モジュールの入力に結合する４つのコピー・アンド・クロップリンク（例えば、ＣＣ１～ＣＣ４）からなる。その結果、特徴的なＵ字型となり、そこからこのアーキテクチャが名付られている。収束経路はエンコーダと同様であり、その基本機能はコンパクトの特徴マップを介してコンテキストを捕捉することである。この例において、収束経路内の各符号化モジュールは２つの畳み込みニューラルネットワーク層を含み、それに続いて１つの最大プーリング層（例えば、ダウンサンプリング層）があってよい。例えば、入力画像Ｕ＿ｉｎは２つの畳み込み層を経るが、各々が３２の特徴マップを有する。特徴マップの数は各プーリングにおいて、第一のブロックの３２の特徴マップから始まり、第二のブロックで６４等々と、２倍になる。それゆえ、収束経路は、各々が畳み込みステージを提供する複数の符号化モジュール（又はステージ）と、それに続く活性化関数（例えば、正規化線形ユニットＲｅＬＵ、又はシグモイド層）及び最大プーリング演算からなる畳み込みネットワークを形成する。拡張経路はデコーダと同様であり、その機能は、収縮ステージで行われたダウンサンプリング及び何れの最大プーリングにもかかわらず、局所化を提供し、空間情報を保持することである。収束経路では、空間情報が縮小され、特徴情報は増大される。拡張経路は、複数の復号モジュールを含み、各復号モジュールは、その現在の値を対応する符号化モジュールの出力と結合する。すなわち、特徴及び空間情報は拡張経路においてアップコンボリューション（例えば、アップサンプリング又は転置畳み込み、すなわち逆畳み込み）と収束経路からの高解像度特徴との結合（例えば、ＣＣ１～ＣＣ４を介する）の連続を通じて組み合わされる。それゆえ、逆畳み込み層の出力は、収束経路からの対応する（任意選択によりクロップされた）特徴マップと、それに続いて２つの畳み込み層及び活性化関数（任意選択によるバッチ正規化）に結合される。拡張経路内の最後のモジュールからの出力は、分類器ブロック等、他の処理／訓練ブロック又は層に供給されてよく、これはＵ－Ｎｅｔアーキテクチャと共に訓練されてもよい。
【0084】
収束経路と拡張経路との間のモジュール／ステージ（ＢＮ）は、「ボトルネック」と呼ばれてもよい。ボトルネックＢＮは、２つの畳み込み層（バッチ正規化と任意選択によるドロップアウトを伴う）からなっていてよい。
【0085】
コンピューティングデバイス／システム
図２０は、例示的なコンピュータシステム（又はコンピューティングデバイス又はコンピュータデバイス）を図解する。幾つかの実施形態において、１つ又は複数のコンピュータシステムは本明細書において記載又は図解された機能を提供し、及び／又は本明細書において記載又は図解された１つ又は複数の方法の１つ又は複数のステップを実行してよい。コンピュータシステムは、何れの適当な物理的形態をとってもよい。例えば、コンピュータシステムは、埋込みコンピュータシステム、システムオンチップ（ＳＯＣ）、又はシングルボードコンピュータシステム（ＳＢＣ）（例えば、コンピュータ・オン・モジュール（ＣＯＭ）又はシステム・オン・モジュール（ＳＯＭ）等）、デスクトップコンピュータシステム、ラップトップ若しくはノートブックコンピュータシステム、コンピュータシステムのメッシュ、携帯電話、携帯型情報端末（ＰＤＡ）、サーバ、タブレットコンピュータシステム、拡張／仮想現実装置、又はこれらのうちの２つ以上の組合せであってよい。適当であれば、コンピュータシステムはクラウド内にあってよく、これは１つ又は複数のクラウドコンポーネントを１つ又は複数のネットワーク内に含んでいてよい。
図２０は、例示的なコンピュータシステム（又はコンピューティングデバイス又はコンピュータデバイス）を図解する。幾つかの実施形態において、１つ又は複数のコンピュータシステムは本明細書において記載又は図解された機能を提供し、及び／又は本明細書において記載又は図解された１つ又は複数の方法の１つ又は複数のステップを実行してよい。コンピュータシステムは、何れの適当な物理的形態をとってもよい。例えば、コンピュータシステムは、埋込みコンピュータシステム、システムオンチップ（ＳＯＣ）、又はシングルボードコンピュータシステム（ＳＢＣ）（例えば、コンピュータ・オン・モジュール（ＣＯＭ）又はシステム・オン・モジュール（ＳＯＭ）等）、デスクトップコンピュータシステム、ラップトップ若しくはノートブックコンピュータシステム、コンピュータシステムのメッシュ、携帯電話、携帯型情報端末（ＰＤＡ）、サーバ、タブレットコンピュータシステム、拡張／仮想現実装置、又はこれらのうちの２つ以上の組合せであってよい。適当であれば、コンピュータシステムはクラウド内にあってよく、これは１つ又は複数のクラウドコンポーネントを１つ又は複数のネットワーク内に含んでいてよい。
【0086】
幾つかの実施形態において、コンピュータシステムはプロセッサＣｐｎｔ１、メモリＣｐｎｔ２、ストレージＣｐｎｔ３、入力／出力（Ｉ／Ｏ）インタフェースＣｐｎｔ４、通信インタフェースＣｐｎｔ５、及びバスＣｐｎｔ６を含んでいてよい。コンピュータシステムは、任意選択により、ディスプレイＣｐｎｔ７、例えばコンピュータモニタ又はスクリーンも含んでいてよい。
【0087】
プロセッサＣｐｎｔ１は、コンピュータプログラムを構成するもの等、命令を実行するためのハードウェアを含む。例えば、プロセッサＣｐｎｔ１は、中央処理ユニット（ＣＰＵ）又は汎用コンピューティング・オン・グラフィクス処理ユニット（ＧＰＧＰＵ）であってもよい。プロセッサＣｐｎｔ１は、命令を内部レジスタ、内部キャッシュ、メモリＣｐｎｔ２、又はストレージＣｐｎｔ３から読み出し（又はフェッチし）、この命令を復号して実行し、１つ又は複数の結果を内部レジスタ、内部キャッシュ、メモリＣｐｎｔ２、又はストレージＣｐｎｔ３に書き込んでよい。特定の実施形態において、プロセッサＣｐｎｔ１は、データ、命令、又はアドレスのための１つ又は複数の内部キャッシュを含んでいてよい。プロセッサＣｐｎｔ１は、１つ又は複数の命令キャッシュ、１つ又は複数のデータキャッシュを、例えばデータテーブルを保持するために含んでいてよい。命令キャッシュ内の命令は、メモリＣｐｎｔ２又はストレージＣｐｎｔ３内の命令のコピーであってもよく、命令キャッシュはプロセッサＣｐｎｔ１によるこれらの命令の読出しをスピードアップするかもしれない。プロセッサＣｐｎｔ１は、何れの適当な数の内部レジスタを含んでいてもよく、１つ又は複数の算術論理演算ユニット（ＡＬＵ：ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔｓ）を含んでいてよい。プロセッサＣｐｎｔ１は、マルチコアプロセッサであるか、又は１つ若しくは複数のプロセッサＣｐｎｔ１を含んでいてよい。本開示は特定のプロセッサを説明し、図解しているが、本開示は何れの適当なプロセッサも想定している。
【0088】
メモリＣｐｎｔ２は、処理を実行し、又は処理中に中間データを保持するプロセッサＣｐｎｔ１のための命令を保存するメインメモリを含んでいてよい。例えば、コンピュータシステムは、命令又はデータ（例えば、データテーブル）をストレージＣｐｎｔ３から、又は他のソース（例えば、他のコンピュータシステム）からメモリＣｐｎｔ２にロードしてもよい。プロセッサＣｐｎｔ１は、メモリＣｐｎｔ２からの命令とデータを１つ又は複数の内部レジスタ又は内部キャッシュにロードしてもよい。命令を実行するために、プロセッサＣｐｎｔ１は内部レジスタ又は内部キャッシュから命令を読み出して復号してもよい。命令の実行中又はその後に、プロセッサＣｐｎｔ１は１つ又は複数の結果（これは、中間結果でも最終結果でもよい）を内部レジスタ、内部キャッシュ、メモリＣｐｎｔ２、又はストレージＣｐｎｔ３に書き込んでよい。バスＣｐｎｔ６は、１つ又は複数のメモリバス（これは各々、アズレスバスとデータバスを含んでいてよい）を含んでいてよく、プロセッサＣｐｎｔ１をメモリＣｐｎｔ２及び／又はストレージＣｐｎｔ３に連結してよい。任意選択により、１つ又は複数のメモリ管理ユニット（ＭＭＵ）は、プロセッサＣｐｎｔ１とメモリＣｐｎｔ２との間のデータ伝送を容易にする。メモリＣｐｎｔ２（これは、高速揮発性メモリであってもよい）には、ランダムアクセスメモリ（ＲＡＭ）、例えばダイナミックＲＡＭ（ＤＲＡＭ）又はスタティックＲＡＭ（ＳＲＡＭ）が含まれていてよい。ストレージＣｐｎｔ３には、データ又は命令のための長期又は大容量メストレージを含んでいてよい。ストレージＣｐｎｔ３はコンピュータシステムに内蔵されても外付けでもよく、ディスクドライブ（例えば、ハードディスクドライブＨＤＤ、又はソリッドステートドライブＳＳＤ）、フラッシュメモリ、ＲＯＭ、ＥＰＲＯＭ、光ディスク、磁気光ディスク、磁気テープ、ユニバーサルシリアルバス（ＵＳＢ）－アクセス可能ドライブ、又はその他の種類の不揮発性メモリのうちの１つ又は複数を含んでいてよい。
【0089】
Ｉ／ＯインタフェースＣｐｎｔ４は、ソフトウェア、ハードウェア、又はそれら両方の組合せであってよく、Ｉ／Ｏデバイスと通信するための１つ又は複数のインタフェース（例えば、シリアル又はパラレル通信ポート）を含んでいてよく、これはヒト（例えば、ユーザ）との通信を可能にしてもよい。例えば、Ｉ／Ｏデバイスとしては、キーボード、キーパッド、マイクロフォン、モニタ、マウス、プリンタ、スキャナ、スピーカ、スチールカメラ、スタイラス、テーブル、タッチスクリーン、トラックボール、ビデオカメラ、他の適当なＩ／Ｏデバイス、又はこれら２つ以上の組合せが含まれていてよい。
【0090】
通信インタフェースＣｐｎｔ５は、他のシステム又はネットワークと通信するためのネットワークインタフェースを提供してもよい。通信インタフェースＣｐｎｔ５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）インタフェース又はその他の種類のパケットベース通信を含んでいてよい。例えば、通信インタフェースＣｐｎｔ５は、ネットワークインタフェースコントローラ（ＮＩＣ）及び／又は、無線ネットワークとの通信のための無線ＮＩＣ若しくは無線アダプタを含んでいてよい。通信インタフェースＣｐｎｔ５は、ＷＩ－ＦＩネットワーク、アドホックネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、無線ＰＡＮ（例えば、Ｂｌｕｅｔｏｏｔｈ ＷＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、携帯電話ネットワーク（例えば、汎欧州デジタル移動電話方式（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）（ＧＳＭ（登録商標））ネットワーク等）、インタネット、又はこれらの２つ以上の組合せとの通信を提供してよい。
【0091】
バスＣｐｎｔ６は、コンピューティングシステムの上述のコンポーネント間の通信リンクを提供してよい。例えば、バスＣｐｎｔ６は、アクセラレーテッド・グラフィックス・ポート（Ａｃｃｅｌｅｒａｔｅｄ Ｇｒａｐｈｉｃｓ Ｐｏｒｔ）（ＡＧＰ）若しくはその他のグラフィクスバス、拡張業界標準（Ｅｎｈａｎｃｅｄ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ）アーキテクチャ（ＥＩＳＡ）バス、フロントサイドバス（ＦＳＢ）、ハイパートランスポート（ＨｙｐｅｒＴｒａｎｓｐｏｒｔ）（ＨＴ）インタコネクト、業界標準アーキテクチャ（ＩＳＡ）バス、インフィニバンド（ＩｎｆｉｎｉＢａｎｄ）バス、ｌｏｗ－ｐｉｎ－ｃｏｕｎｔ（ＬＰＣ）バス、メモリバス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、ペリフェラル・コンポーネント・インターコネクト（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）（ＰＣＩ）バス、ＰＣＩ－Ｅｘｐｒｅｓｓ（ＰＣＩｅ）バス、シリアル・アドバンスト・テクノロジ・アタッチメント（ｓｅｒｉａｌ ａｄｖａｎｃｅｄ ｔｅｃｈｎｏｌｏｇｙ ａｔｔａｃｈｍｅｎｔ）（ＳＡＴＡ）バス、ビデオ・エレクトロニクス・スタンダーズ・アソシエーション・ローカル（Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ ｌｏｃａｌ）（ＶＬＢ）バス、若しくはその他の適当なバス、又はこれらの２つ以上の組合せを含んでいてよい。
【0092】
本開示は、特定の数の特定のコンポーネントを特定の配置で有する特定のコンピュータシステムを説明し、図解しているが、本開示は何れの適当な数の何れの適当なコンポーネントを何れの適当な配置で有する何れの適当なコンピュータシステムも想定している。
【0093】
本明細書において、コンピュータ可読非一時的記憶媒体は、１つ又は複数の半導体ベース又はその他の集積回路（ＩＣ）（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）若しくは特定用途ＩＣ（ＡＳＩＣ））、ハードディスクドライブ（ＨＤＤ）、ハイブリッドハードドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、磁気光ディスク、磁気光ドライブ、フロッピディスケット、フロッピディスクドライブ（ＦＤＤ）、磁気テープ、ソリッドステートドライブ（ＳＳＤ）、ＲＡＭ－ドライブ、ＳＥＣＵＲＥ ＤＩＧＩＴＡＬカード若しくはドライブ、その他のあらゆる適当なコンピュータ可読非一時的記憶媒体、又は適当であればこれらの２つ以上あらゆる適当な組合せを含んでいてよい。コンピュータ可読非一時的記憶媒体は、揮発性、不揮発性、又は適当であれば揮発性と不揮発性の組合せであってよい。
【0094】
本発明は幾つかの具体的な実施形態と共に説明されているが、当業者にとっては明白であるように、上記の説明を参照すれば多くのその他の代替案、改良、及び変形型が明らかである。それゆえ、本明細書に記載の発明は、付属の特許請求の範囲の主旨と範囲に含まれるかもしれないあらゆるこのような代替案、改良、応用、及び変形型の全てを包含することが意図されている。
【図1】
【図2】
【図3A-3B】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【国際調査報告】