特表 2023-525364 網膜画像処理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-06-15

(54)【発明の名称】網膜画像処理

(51)【国際特許分類】

   A61B 3/10 20060101AFI20230608BHJP

   G06T 7/00 20170101ALI20230608BHJP

   G06T 7/60 20170101ALI20230608BHJP

   G06T 7/70 20170101ALI20230608BHJP

   A61B 3/14 20060101ALI20230608BHJP

【ＦＩ】

A61B3/10 300

G06T7/00 350B

G06T7/00 614

G06T7/60 180B

G06T7/70 A

A61B3/14

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022569209

(86)(22)【出願日】2020-05-14

(85)【翻訳文提出日】2022-12-22

(86)【国際出願番号】 EP2020063471

(87)【国際公開番号】W WO2021228395

(87)【国際公開日】2021-11-18

(81)【指定国・地域】

(71)【出願人】

【識別番号】509012991

【氏名又は名称】オプトス ピーエルシー

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】ウェイクフォード、ピーター ロバート

(72)【発明者】

【氏名】ペッレグリーニ、エンリコ

【テーマコード（参考）】

4C316

5L096

【Ｆターム（参考）】

4C316AA09

4C316AB12

4C316AB16

4C316FB21

4C316FB26

4C316FZ01

5L096DA03

5L096EA39

5L096FA66

5L096FA69

5L096GA30

5L096HA09

5L096HA11

5L096MA07

(57)【要約】

機械学習アルゴリズムによって予測された網膜画像におけるランドマーク特徴の位置が信頼できないことを示すアラートを生成する装置である。この装置は、予測位置を受信する受信モジュール、ランドマーク特徴の位置の確率分布を含むとともに、複数の網膜画像クラスを有する網膜画像におけるランドマーク特徴の決定された位置に基づいた混合モデルと、予測位置とを用いて、各クラスに対し、網膜画像がそのクラスに属する確率を示すそれぞれの確率指標を決定する確率指標決定モジュール、確率指標を用いて網膜画像がいずれのクラスにも属さない外れ値であるかどうかを判断する外れ値検出モジュール、及び、網膜画像がいずれのクラスにも属さない場合に予測位置が信頼できないことを示すアラートを生成するアラート生成モジュールを含む。
【選択図】図１０

【特許請求の範囲】

【請求項1】

機械学習アルゴリズムによって予測された眼球（３０）の網膜（２０）の少なくとも一部分の網膜画像（１２００）におけるランドマーク特徴の予測位置が信頼できないことを示すアラートを生成する方法であって、
前記機械学習アルゴリズムによって予測された前記網膜画像（１２００）における前記ランドマーク特徴の前記予測位置を受信し（Ｓ２１０）、
前記ランドマーク特徴の位置の確率分布を含むとともに、複数の所定のクラスの網膜画像を有する網膜画像のセットに属する網膜画像における前記ランドマーク特徴の決定された位置に基づいた混合モデル（１３００）と、前記ランドマーク特徴の前記受信された予測位置とを用いて、前記複数の所定のクラスの各クラスに対し、前記網膜画像（１２００）が前記クラスに属する確率を示すそれぞれの確率指標を決定し（Ｓ２２０）、
前記決定された確率指標を用いて、前記網膜画像（１２００）が前記所定のクラスのいずれにも属さないかどうかを判断し（Ｓ２３０）、
前記網膜画像（１２００）が前記所定のクラスのいずれにも属さないと判断したことに応答して、前記網膜画像（１２００）における前記予測位置が信頼できないことを示すアラートを生成する（Ｓ２４０）、
ことを含む方法。

【請求項2】

前記決定された確率指標を用いた、前記網膜画像（１２００）が前記所定のクラスのいずれにも属さないかどうかの判断は、
前記決定された確率指標の各々が閾値を超えるかどうか判断すること、
前記決定された確率指標のいずれも前記閾値を超えない場合、前記網膜画像（１２００）は前記所定のクラスのいずれにも属さないと判断すること、及び
前記決定された確率指標のうちの少なくとも１つが前記閾値を超える場合、前記網膜画像（１２００）が前記所定のクラスのうちの少なくとも１つに属すると判断すること、
によって行われる、請求項１に記載の方法。

【請求項3】

前記混合モデル（１３００）はさらに、前記機械学習アルゴリズムによる処理によって前記ランドマーク特徴のそれぞれの位置を予測した結果、信頼できないと判断された予測位置が得られた、網膜画像の失敗クラスの網膜画像におけるランドマーク特徴の決定された位置に基づいており、
前記ランドマーク特徴の前記受信された予測位置及び前記混合モデルを用いて、前記失敗クラスに対し、前記網膜画像（１２００）が前記失敗クラスに属する確率を示す確率指標を決定する（Ｓ３１０）ことをさらに含み、
前記失敗クラスに対して決定された前記確率指標が前記複数の所定のクラスに対して決定された前記確率指標よりも大きい場合、前記網膜画像（１２００）が前記失敗クラスに属すると判断し（Ｓ３２０Ａ）、
前記失敗クラスについて決定された前記確率指標が前記複数の所定のクラスに対して決定された前記確率指標よりも大きくない場合、前記網膜画像（１２００）が前記所定の網膜画像クラスのうちの１つに属すると判断する（Ｓ３２０Ｂ）、
請求項１に記載の方法。

【請求項4】

前記混合モデル（１３００）はさらに、前記機械学習アルゴリズムによる処理によって前記ランドマーク特徴のそれぞれの位置を予測した結果、信頼できないと判断された予測位置が得られた、網膜画像の失敗クラスの網膜画像におけるランドマーク特徴の決定された位置に基づいており、
前記ランドマーク特徴の前記受信された予測位置及び前記混合モデルを用いて、前記失敗クラスに対し、前記網膜画像（１２００）が前記失敗クラスに属する確率を示すそれぞれの確率指標を決定する（Ｓ４１０）ことをさらに含み、
前記複数の所定のクラスの各所定のクラスに対し、前記失敗クラスに対して決定された前記確率指標と前記所定のクラスに対して決定された前記確率指標とに基づいた比較メトリックのそれぞれの値を決定し（Ｓ４１５）、
前記複数の所定クラスに対して決定された前記比較メトリックの前記値が所定の閾値を超えた場合、前記網膜画像（１２００）が前記失敗クラスに属すると判断し（Ｓ４２０Ａ）、
前記複数の所定のクラスに対して決定された前記比較メトリックの前記値のうちの少なくとも１つが所定の閾値を超えない場合、前記網膜画像（１２００）が前記所定の網膜画像クラスのうちの１つに属すると判断する（Ｓ４２０Ｂ）、
請求項１に記載の方法。

【請求項5】

前記失敗クラスに対して決定された前記確率指標と、前記所定のクラスに対して決定された前記確率指標との比のそれぞれの値が、前記複数の所定のクラスの各所定のクラスの前記比較メトリックの前記値として決定される、請求項４に記載の方法。

【請求項6】

前記失敗クラスに対して決定された前記確率指標と、前記所定のクラスに対して決定された前記確率指標との差に基づいたそれぞれの値が、前記複数の所定のクラスの各所定のクラスの前記比較メトリックの前記値として決定される、請求項４に記載の方法。

【請求項7】

前記網膜画像（１２００）における前記ランドマーク特徴の前記予測位置の受信は、前記機械学習アルゴリズムによって予測された、前記網膜画像（１２００）における第１のランドマーク特徴の予測位置と前記網膜画像（１２００）における第２のランドマーク特徴の予測位置とを受信することを含み、
前記第１のランドマーク特徴の前記受信された予測位置と、前記第２のランドマーク特徴の前記受信された予測位置と、前記第２のランドマーク特徴の位置の確率分布をさらに含み、かつ前記網膜画像のセットに属する前記網膜画像における第２のランドマーク特徴の決定された位置に基づいた混合モデル（１３００）とを用いて、前記複数の所定のクラスの各クラスに対し、前記網膜画像が前記クラスに属する確率を示すそれぞれの確率指標を決定し、
前記網膜画像（１２００）が前記所定のクラスのいずれにも属さないという判断に応答して生成される前記アラートは、前記網膜画像における前記第１のランドマーク特徴の前記予測位置又は前記第２のランドマーク特徴の前記予測位置のうち少なくとも１つが信頼できないことを示す、
請求項１から請求項６のいずれか一項に記載の方法。

【請求項8】

前記第１のランドマーク特徴は前記網膜画像（１２００）における中心窩（１２１０）であり、前記第２のランドマーク特徴は前記網膜画像（１２００）における視神経乳頭である、請求項７に記載の方法。

【請求項9】

前記機械学習アルゴリズムを使用して前記網膜画像（１２００）における前記ランドマーク特徴の位置を予測することをさらに含む、請求項１から請求項８のいずれか一項に記載の方法。

【請求項10】

前記機械学習アルゴリズムはさらに、前記網膜画像（１２００）における前記ランドマーク特徴の前記予測位置に基づいて、前記網膜画像（１２００）を前記複数の所定のクラスのうちの１つに属するものとして分類し、
前記予測位置が信頼できないと判断された場合に生成される前記アラートは、前記機械学習アルゴリズムによる前記網膜画像（１２００）の前記分類が信頼できないことを示す、
請求項９に記載の方法。

【請求項11】

前記網膜画像（１２００）を前記複数の所定のクラスのうちの１つに属するものとして分類することは、前記網膜画像（１２００）を被検者の左眼又は右眼のいずれかの網膜画像として分類することを含む、請求項１０に記載の方法。

【請求項12】

前記機械学習アルゴリズムは、前記網膜画像（１２００）における前記ランドマーク特徴の前記位置を予測するように構成された畳み込みニューラルネットワークを含む、請求項１から請求項１１のいずれか一項に記載の方法。

【請求項13】

コンピュータプログラム命令を含み、コンピュータによって実行されると請求項１から請求項１２のいずれか一項に記載の方法を前記コンピュータに実行させる、コンピュータプログラム。

【請求項14】

機械学習アルゴリズムによって予測された眼球（３０）の網膜（２０）の少なくとも一部分の網膜画像におけるランドマーク特徴の予測位置が信頼できないことを示すアラートを生成する装置（１０１０）であって、
前記機械学習アルゴリズムによって予測された前記網膜画像（１２００）における前記ランドマーク特徴の前記予測位置を受信するように構成された受信モジュール（１０２０）と、
前記ランドマーク特徴の位置の確率分布を含むとともに、複数の所定のクラスの網膜画像を有する網膜画像のセットに属する網膜画像における前記ランドマーク特徴の決定された位置に基づいた混合モデルと、前記ランドマーク特徴の前記受信された予測位置とを用いて、前記複数の所定のクラスの各クラスに対し、前記網膜画像（１２００）が前記クラスに属する確率を示すそれぞれの確率指標を決定するように構成された確率指標決定モジュール（１０３０）と、
前記決定された確率指標を用いて、前記網膜画像（１２００）が前記所定のクラスのいずれにも属さない外れ値であるかどうかを判断するように構成された外れ値検出モジュール（１０４０）と、
前記網膜画像（１２００）が前記所定のクラスのいずれにも属さないと前記外れ値検出モジュール（１０５０）が判断したことに応答して、前記網膜画像（１２００）における前記予測位置が信頼できないことを示すアラートを生成するように構成されたアラート生成モジュール（１０５０）と、
を含む装置。

【請求項15】

前記外れ値検出モジュール（１０５０）は、前記決定された確率指標を用いて前記網膜画像（１２００）が前記所定のクラスのいずれにも属さないかどうかを判断するように構成されており、前記判断は、
前記決定された確率指標の各々が閾値を超えるかどうか判断すること、
前記決定された確率指標のいずれも前記閾値を超えない場合、前記網膜画像（１２００）は前記所定のクラスのいずれにも属さないと判断すること、及び
前記決定された確率指標のうちの少なくとも１つが前記閾値を超える場合、前記網膜画像（１２００）は前記所定のクラスのうちの少なくとも１つに属すると判断すること、
によって行われる、請求項１４に記載の装置（１０１０）。

【請求項16】

前記混合モデルはさらに、前記機械学習アルゴリズムによる処理によって前記ランドマーク特徴のそれぞれの位置を予測した結果、信頼できないと判断された予測位置が得られた、網膜画像の失敗クラスの網膜画像におけるランドマーク特徴の決定された位置に基づいており、
前記確率指標決定モジュール（１０３０）はさらに、前記ランドマーク特徴の前記受信された予測位置及び前記混合モデルを用いて、前記失敗クラスに対し、前記網膜画像（１２００）が前記失敗クラスに属する確率を示すそれぞれの確率指標を決定するように構成されており、
前記外れ値検出モジュール（１０４０）は、前記失敗クラスに対して決定された前記確率指標が前記複数の所定のクラスに対して決定された前記確率指標よりも大きい場合、前記網膜画像（１２００）が前記失敗クラスに属すると判断するように構成されており、
前記外れ値検出モジュール（１０４０）は、前記失敗クラスについて決定された前記確率指標が前記複数の所定のクラスに対して決定された前記確率指標よりも大きくない場合、前記網膜画像（１２００）が前記所定の網膜画像クラスのうちの１つに属すると判断するように構成されている、
請求項１４に記載の装置（１０１０）。

【請求項17】

前記混合モデルはさらに、前記機械学習アルゴリズムによる処理によって前記ランドマーク特徴のそれぞれの位置を予測した結果、信頼できないと判断された予測位置が得られた、網膜画像の失敗クラスの網膜画像におけるランドマーク特徴の決定された位置に基づいており、
前記確率指標決定モジュール（１０３０）はさらに、前記ランドマーク特徴の前記受信された予測位置及び前記混合モデルを用いて、前記失敗クラスに対し、前記網膜画像（１２００）が前記失敗クラスに属する確率を示す確率指標を決定するように構成されており、
前記確率指標決定モジュール（１０３０）はさらに、前記複数の所定のクラスの各所定のクラスに対し、前記失敗クラスに対して決定された前記確率指標と前記所定のクラスに対して決定された前記確率指標とに基づいた比較メトリックのそれぞれの値を決定するように構成されており、
前記外れ値検出モジュール（１０４０）は、前記複数の所定クラスに対して決定された前記比較メトリックの前記値が所定の閾値を超えた場合、前記網膜画像（１２００）が前記失敗クラスに属すると判断するように構成されており、
前記外れ値検出モジュール（１０４０）は、前記複数の所定のクラスに対して決定された前記比較メトリックの前記値のうちの少なくとも１つが所定の閾値を超えない場合、前記網膜画像（１２００）が前記所定の網膜画像クラスのうちの１つに属すると判断するように構成されている、
請求項１４に記載の装置（１０１０）。

【請求項18】

前記外れ値検出モジュール（１０４０）は、前記失敗クラスに対して決定された前記確率指標と、前記所定のクラスに対して決定された前記確率指標との比のそれぞれの値を、前記複数の所定のクラスの各所定のクラスの前記比較メトリックの前記値として決定するように構成されている、請求項１７に記載の装置（１０１０）。

【請求項19】

前記外れ値検出モジュール（１０４０）は、前記失敗クラスに対して決定された前記確率指標と、前記所定のクラスに対して決定された前記確率指標との差に基づいたそれぞれの値を、前記複数の所定のクラスの各所定のクラスの前記比較メトリックの前記値として決定するように構成されている、請求項１７に記載の装置（１０１０）。

【請求項20】

前記受信モジュール（１０２０）は、前記機械学習アルゴリズムによって予測された、前記網膜画像（１２００）における第１のランドマーク特徴の予測位置と前記網膜画像（１２００）における第２のランドマーク特徴の予測位置とを、前記網膜画像（１２００）における前記ランドマーク特徴の前記予測位置として受信するように構成されており、
確率指標決定モジュール（１０３０）は、前記第１のランドマーク特徴の前記受信された予測位置と、前記第２のランドマーク特徴の前記受信された予測位置と、前記第２のランドマーク特徴の位置の確率分布をさらに含み、なおかつ、前記網膜画像のセットに属する前記網膜画像における第２のランドマーク特徴の決定された位置に基づいた混合モデル（１３００）とを用いて、前記複数の所定のクラスの各クラスに対し、前記網膜画像（１２００）が前記クラスに属する確率を示すそれぞれの確率指標を決定するように構成されており、
前記アラート生成モジュール（１０５０）は、前記網膜画像（１２００）における前記第１のランドマーク特徴の前記予測位置又は前記第２のランドマーク特徴の前記予測位置のうち少なくとも１つが信頼できないことを示す警告を前記アラートとして生成するように構成されている、
請求項１４から請求項１９のいずれか一項に記載の装置（１０１０）。

【請求項21】

前記第１のランドマーク特徴は前記網膜画像（１２００）における中心窩（１２１０）であり、前記第２のランドマーク特徴は前記網膜画像（１２００）における視神経乳頭である、請求項２０に記載の装置（１０１０）。

【請求項22】

前記機械学習アルゴリズムを使用して前記網膜画像（１２００）における前記ランドマーク特徴の位置を予測するように構成されたランドマーク位置予測モジュール（５５）をさらに含む、請求項１４から請求項２１のいずれか一項に記載の装置（１０１０）。

【請求項23】

前記ランドマーク位置予測モジュール（５５）は、前記機械学習アルゴリズムを使用して、前記網膜画像（１２００）における前記ランドマーク特徴の前記予測位置に基づいて、前記網膜画像（１２００）を前記複数の所定のクラスのうちの１つに属するものとして分類するように構成されており、
前記アラート生成モジュール（１０５０）は、前記機械学習アルゴリズムによる前記網膜画像（１２００）の前記分類が信頼できないことを示す警告を前記アラートとして生成するように構成されている、
請求項２２に記載の装置（１０１０）。

【請求項24】

前記ランドマーク位置予測モジュール（５５）は、前記網膜画像（１２００）を被検者の左眼又は右眼のいずれかの網膜画像として分類することにより、前記網膜画像（１２００）を前記複数の所定のクラスのうちの１つに属するものとして分類するように構成されている、請求項２３に記載の装置（１０１０）。

【請求項25】

前記機械学習アルゴリズムは、前記網膜画像（１２００）における前記ランドマーク特徴の前記位置を予測するように構成された畳み込みニューラルネットワークを含む、請求項１４から請求項２４のいずれか一項に記載の装置（１０１０）。

【請求項26】

眼球（３０）の網膜（２０）の少なくとも一部分の網膜画像を取得するための眼球撮像システム（１０００）であって、
網膜画像（５１０）を取得するように構成された画像取得モジュール（４０）と、
機械学習アルゴリズムを使用して前記網膜画像におけるランドマーク特徴の位置を予測するように構成されたランドマーク位置予測モジュール（５５）と、
前記ランドマーク位置予測モジュール（５５）によって予測された前記網膜画像におけるランドマーク特徴の前記位置が信頼できないことを示すアラートを生成する請求項１４から請求項２５のいずれか一項に記載の装置（１０１０）と、
を含む眼球撮像システム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書の例示態様は概して一般に眼球画像データ処理システムの分野に関し、より詳細には、機械学習アルゴリズムを使用して網膜画像を処理する技術に関するものである。

【背景技術】

【0002】

被検者の眼の網膜の画像を取得するために、走査型レーザ検眼鏡や眼底カメラなどの様々な眼球撮像システムが一般に使用されている。取得された網膜画像を眼科医又は他の医療専門家によって検査し、網膜の健康状態を評価することができる。また、多様な目的のために、取得された網膜画像を画像処理ソフトウェアによって自動的に処理することもできる。例えば、畳み込みニューラルネットワーク（ＣＮＮ）などの機械学習アルゴリズムを使用して、網膜画像内の情報に基づいて機械学習アルゴリズムによって予測された網膜ランドマーク（例えば、視神経乳頭又は中心窩）の位置を用いた眼球画像分類を行う（例えば、左眼の画像を含む第１のクラス、又は右眼の画像を含む第２のクラスに属するものとして画像を分類する）ことができる。このような機械学習アルゴリズムは、通常は眼球画像のデータセットで訓練され、次に、新しい画像に対して予測を行うために使用される。

【発明の概要】

【課題を解決するための手段】

【0003】

本明細書の第１の例示態様に従って、機械学習アルゴリズムによって予測された眼球の網膜の少なくとも一部分の網膜画像におけるランドマーク特徴の予測位置が信頼できないことを示すアラートを生成する方法が提供される。この方法は、機械学習アルゴリズムによって予測された網膜画像におけるランドマーク特徴の予測位置を受信し、ランドマーク特徴の位置の確率分布を含むとともに、複数の所定のクラスの網膜画像を有する網膜画像のセットに属する網膜画像におけるランドマーク特徴の決定された位置に基づいた混合モデルと、ランドマーク特徴の受信された予測位置とを用いて、複数の所定のクラスの各クラスに対し、網膜画像がそのクラスに属する確率を示すそれぞれの確率指標を決定し、決定された確率指標を用いて、網膜画像が所定のクラスのいずれにも属さないかどうかを判断し、網膜画像が所定のクラスのいずれにも属さないと判断したことに応答して、網膜画像における予測位置が信頼できないことを示すアラートを生成することを含む。

【0004】

本明細書の第２の例示態様に従って、コンピュータプログラム命令を含み、コンピュータによって実行されると本明細書の第１の例示態様に記載の方法をコンピュータに実行させるコンピュータプログラムも提供される。コンピュータプログラムは非一時的なコンピュータ可読記録媒体に格納されてもよいし、信号によって運ばれてもよい。

【0005】

本明細書の第３の例示態様に従って、機械学習アルゴリズムによって予測された眼球の網膜の少なくとも一部分の網膜画像におけるランドマーク特徴の予測位置が信頼できないことを示すアラートを生成する装置も提供される。この装置は、機械学習アルゴリズムによって予測された網膜画像におけるランドマーク特徴の予測位置を受信するように構成された受信モジュールを含む。この装置は、ランドマーク特徴の位置の確率分布を含むとともに、複数の所定のクラスの網膜画像を有する網膜画像のセットに属する網膜画像におけるランドマーク特徴の決定された位置に基づいた混合モデルと、ランドマーク特徴の受信された予測位置とを用いて、複数の所定のクラスの各クラスに対し、網膜画像がそのクラスに属する確率を示すそれぞれの確率指標を決定するように構成された確率指標決定モジュールをさらに含む。この装置は、決定された確率指標を用いて、網膜画像が所定のクラスのいずれにも属さない外れ値であるかどうかを判断するように構成された外れ値検出モジュールと、網膜画像が所定のクラスのいずれにも属さないと外れ値検出モジュールが判断したことに応答して、網膜画像における予測位置が信頼できないことを示すアラートを生成するように構成されたアラート生成モジュールと、をさらに含む。

【0006】

ここで、以下に説明する添付の図面を参照して、本開示の例示実施形態を非限定的な例として詳細に説明する。異なる図面に現れる同様の参照番号は、特に示されない限り、同一又は機能的に類似した要素を示すことができる。

【図面の簡単な説明】

【0007】

【図1】本明細書の第１の例示実施形態による眼球撮像システムの概略図であり、このシステムは、網膜画像におけるランドマーク特徴の少なくとも１つの予測位置が信頼できないことをユーザに警告する装置を含む。

【図2】プログラマブル信号処理ハードウェアにおける第１の例示実施形態の装置の例示的な実施を示すブロック図である。

【図3】第１の例示実施形態に従って、網膜画像におけるランドマーク特徴の少なくとも１つの予測位置が信頼できないことをユーザに警告する、コンピュータによって実行される方法を示すフロー図である。

【図4】第１の例示実施形態において、網膜画像における第１のランドマーク特徴及び第２のランドマーク特徴の位置を予測するために機械学習アルゴリズムによって行われる取得された網膜画像の処理を示す図であり、この画像は、網膜の第１のランドマーク特徴として中心窩を、網膜の第２のランドマーク特徴として視神経乳頭を示している。

【図5】第１の例示実施形態において生成された、網膜の同一領域に関する２つの異なる網膜画像における中心窩及び視神経乳頭の予測位置を示す図である。

【図6】網膜画像のセットにおける距離の測定値に基づいており、第１の例示実施形態で用いられた、中心窩と視神経乳頭との間の距離の確率分布を示す図である。

【図7】本明細書に記載の例示実施形態に従って、重み付けされた距離メトリックを計算するために評価された距離メトリックと乗算することができる重み付け関数を示す図である。

【図8】本明細書の例示実施形態に従って、第２の評価された距離メトリック及び第２の確率分布を使用することによって網膜画像内のランドマーク特徴の信頼できない予測位置を検出する、コンピュータによって実行される方法を示すフロー図である。

【図9A】網膜画像における中心窩の予測位置と網膜画像における基準位置との間のユークリッド距離の形で、評価された第２の距離メトリックの例を重ね合わせた、例示的な網膜画像を示す図である。

【図9B】図９Ａの網膜画像の例において中心窩の予測位置の信頼性を決定するために用いることのできる第２の確率分布の例を示す図である。

【図10】本明細書に記載の第２の例示実施形態による眼球撮像システムの概略図であり、このシステムは、網膜画像におけるランドマーク特徴の予測位置が信頼できないことを検出する装置を含む。

【図11】第２の例示実施形態において、網膜画像におけるランドマーク特徴の位置を予測するために機械学習アルゴリズムによって行われる、取得された網膜画像の処理を示す図である。

【図12】第２の例示実施形態において使用される、コンピュータによって実行される方法を示すフロー図であり、この方法は、網膜画像におけるランドマーク特徴の予測位置が信頼できないことを検出するために混合モデルを用いている。

【図13】網膜画像におけるランドマーク特徴の予測位置の信頼性を検証するために、第２の例示実施形態において使用することのできる混合モデルの例を示す図である。

【図14】第２の例示実施形態の第１の変形例において行われるプロセスを示すフロー図であり、このプロセスにおいて、混合モデルはさらに、失敗（ｆａｉｌｕｒｅ）クラスの網膜画像の網膜画像におけるランドマーク特徴の決定された位置に基づいている。

【図15】第２の例示実施形態の第２の変形例において行われるプロセスを示すフロー図であり、このプロセスは、網膜画像が所定のクラスの網膜画像のうちの１つに属するかどうかを決定するために比較メトリックを利用している。

【発明を実施するための形態】

【0008】

通常、機械学習アルゴリズムは、許容可能なレベルの精度を達成するために多くの網膜画像で訓練される必要がある。大きなデータセットが使用されている場合でも、１００％の精度は殆ど不可能である。例えば、（まばたき事象や、まつ毛などの撮像アーチファクトが撮像中に生じたため、又は撮像されている眼球に白内障があるためなど）網膜画像のかなりの部分が遮られている場合、機械学習アルゴリズムはランドマーク特徴の位置について正確な予測を行うことができない可能性がある。この失敗は通常は気付かれず、網膜画像が右眼のものか左眼のものかを判断するための自動左右性判断ルーチン、種々の眼疾患又は眼障害を自動診断するための疾患パイプライン、そして（とりわけ）網膜画像に自動的に注釈を付けるためのデータ処理動作など、正確なランドマーク特徴の位置に依存するダウンストリームデータ処理動作の性能（したがってユーザの信用）に悪影響を及ぼす可能性がある。

【0009】

上記に鑑みて、本発明者らは、機械学習アルゴリズムによって予測された網膜画像における１つ以上の予測ランドマーク特徴の位置が信頼できないことをユーザに警告する、コンピュータによって実行される技術及び装置を考案した。そして、ユーザは、他の手段で（例えば網膜画像を検査することで）ランドマークの位置を決定することによってアラート（警告）に応答するか、又は他の適切な行動をとることができる。

【0010】

以下、添付の図面を参照して、このような装置及び関連するコンピュータ実行技術の例示実施形態をより詳細に説明する。

【0011】

図１は、被検者の眼球３０の網膜２０の少なくとも一部分の網膜画像を取得するように構成された、第１の例示実施形態による眼球撮像システム１０の概略図である。眼球撮像システム１０は、網膜画像を取得するように構成された画像取得モジュール４０を含む。画像取得モジュール４０は、本例示実施形態のように走査レーザ検眼鏡（ＳＬＯ）の形態をとることができるが、眼底カメラや、当業者に知られており、眼球３０から網膜データを取得できる任意の他の種類の画像取得デバイスを代わりに含むことができる。

【0012】

眼球撮像システム１０は、少なくとも１つの機械学習アルゴリズムを使用して、網膜画像内の第１のランドマーク特徴の第１の位置Ｌ_１と、網膜画像内の第２のランドマーク特徴の第２の位置Ｌ_２とを網膜画像内のランドマーク特徴の予測位置として予測するように構成されたランドマーク位置予測モジュール５０をさらに含む。眼球撮像システム１０は、ランドマーク特徴の予測位置のうち少なくとも１つが信頼できないことを眼球撮像システム１０のユーザに警告するように構成された装置６０をさらに含む。図１に示すように、装置６０は、受信モジュール６１、距離メトリック評価モジュール６２、外れ値検出モジュール６３、及びアラート生成モジュール６４を含む。装置６０の実施例とその図示された構成モジュールの機能を、以下により詳細に説明する。

【0013】

図２は、本明細書の例示実施形態による信号処理装置２００を示している。本明細書の１つの例示実施形態において、信号処理装置２００は、プログラマブル信号処理ハードウェア内の、本明細書で説明する１つ以上の種々の構成要素に含められる、及び／又はこれらの構成要素を形成する（かつそれらの実施例とする）ことが可能である。一例として、信号処理装置２００は、図１の装置６０に含められる、及び／又は装置６０を形成する（かつその実施例とする）ことが可能である。信号処理装置２００は、ランドマーク位置予測モジュール５０から網膜画像内のランドマーク特徴の予測位置を受信し、予測されたランドマーク位置が信頼できないという判断にユーザの注意を引くためのアラートを出力するインターフェースモジュール２１０を含む。インターフェースモジュール２１０はさらに、１つ以上の周辺デバイス（例えば、キーボード、タッチパッド又はマウスのうちの１つ以上）からユーザ入力を受信し、本例示実施形態の眼球撮像システム１０、又は後述する第２の例示実施形態の眼球撮像システム１０００の一部を形成することのできる１つ以上の出力デバイス（例えば、スピーカ及び／又はコンピュータモニタ）にアラートを出力することができる。信号処理装置２００は、プロセッサ（ＣＰＵ）２２０と、作業メモリ２３０（例えばランダムアクセスメモリ）と、コンピュータ可読命令を含むコンピュータプログラムを格納した命令記憶装置２４０とをさらに含み、コンピュータ可読命令は、プロセッサ２２０によって実行されると（装置２００が装置６０を形成する場合）、装置６０の処理動作をプロセッサ２２０に実行させる。命令記憶装置２４０は、コンピュータ可読命令がプリロードされたＲＯＭ（例えば、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）又はフラッシュメモリの形のもの）を含むことができる。あるいは、命令記憶装置２４０はＲＡＭ又は同様のタイプのメモリを含むことができ、ＣＤ－ＲＯＭのようなコンピュータ可読記憶媒体２５０などのコンピュータプログラム製品、又はコンピュータ可読命令を伝達するコンピュータ可読信号２６０からコンピュータ可読命令を入力することができる。

【0014】

本例示実施形態において、プロセッサ２２０、作業メモリ２３０及び命令記憶装置２４０を含む図１に示したハードウェア構成要素の組み合わせ２７０は、後述する受信モジュール６１、距離メトリック評価モジュール６２、外れ値検出モジュール６３及びアラート生成モジュール６４の機能を実行するように構成されている。さらに、本明細書の１つの例示実施形態において、図１のランドマーク位置予測モジュール５０は、図２の信号処理ハードウェア２００を含むことができ、及び／又はそれによって形成／実施されることが可能である。

【0015】

図３は、本明細書の第１の例示実施形態によるコンピュータ実行方法を示すフロー図である。この方法により、装置６０は、ランドマーク位置予測モジュール５０によって予測された網膜画像における第１のランドマーク特徴の第１の位置Ｌ_１と網膜画像における第２のランドマーク特徴の第２の位置Ｌ_２とを、網膜の少なくとも一部分の網膜画像におけるランドマーク特徴の予測位置として処理し、ランドマーク特徴の予測位置のうち少なくとも１つが信頼できないことを装置６０のユーザに警告する。ランドマーク位置予測モジュール５０は、一般的な機械学習アルゴリズムを使用して、網膜画像における第１のランドマーク特徴の第１の位置Ｌ_１と網膜画像における第２のランドマーク特徴の第２の位置Ｌ_２の双方を予測してもよいし、あるいは、第１の機械学習アルゴリズムを使用して第１のランドマーク特徴の第１の位置Ｌ_１を予測し、第１の機械学習アルゴリズムとは異なる第２の機械学習アルゴリズムを使用して網膜画像における第２のランドマーク特徴の第２の位置Ｌ_２を予測してもよい。図３に関連して後述する処理動作は、画像取得モジュール４０が網膜画像を取得した後に実行されてもよく、ランドマーク位置予測モジュール５０が網膜画像における第１のランドマーク特徴の第１の位置Ｌ_１及び第２のランドマーク特徴の第２の位置Ｌ_２を予測した後に実行されてもよい。

【0016】

図３のステップＳ１０において、受信モジュール６１は、ランドマーク位置予測モジュール５０の少なくとも１つの機械学習アルゴリズムによって予測された、網膜画像における第１のランドマーク特徴の第１の予測位置Ｌ_１と、網膜画像における第２のランドマーク特徴の第２の予測位置Ｌ_２を予測位置として受信する。ランドマーク特徴の各々は、例えば、複数の異なる（人間の）被検者の左眼又は右眼のほぼ同じ位置に位置する網膜の任意の解剖学的特徴とすることが可能である。本例示実施形態では、第１のランドマーク特徴は網膜画像における中心窩の画像を含み、第２のランドマーク特徴は網膜画像における視神経乳頭の画像を含む。しかしながら、第１のランドマーク特徴及び第２のランドマーク特徴はこれらの解剖学的特徴に限定されず、網膜画像において撮像される他の解剖学的特徴を含んでもよい。さらに、ランドマーク特徴の各予測位置は、本実施形態のように、網膜画像におけるランドマーク特徴の座標として、例えばランドマーク特徴の画像の一部を形成する網膜画像の画素のＸ－Ｙ座標として受信されてもよい。

【0017】

図３のステップＳ２０において、距離メトリック評価モジュール６２は、第１の予測位置及び第２の予測位置を用いて、第１のランドマーク特徴と第２のランドマーク特徴との間の距離を示す距離メトリックを評価する。距離メトリックの例示形態を以下に説明する。

【0018】

図３のステップＳ３０において、外れ値検出モジュール６３は、前出の網膜画像とは異なる網膜画像における第１のランドマーク特徴と第２のランドマーク特徴との間の距離の測定値から得られた第１のランドマーク特徴と第２のランドマーク特徴との間の距離の確率分布を示すデータを用いて、評価された距離メトリックが確率分布の所定の間隔の外にある外れ値であるかどうかの指標（ｉｎｄｉｃａｔｉｏｎ）を決定する。この指標は、本例示実施形態のように、評価された距離メトリックが、確率分布の少なくとも１つのピークを含む確率分布の所定の間隔の外にあるかどうかを示すことができる。前出の網膜画像とは異なる網膜画像のセットは、ランドマーク位置予測モジュール５０によって位置の予測が行われた網膜画像を得るために（システム１０によって）撮像されたものとほぼ同じ網膜部分の画像である。

【0019】

ステップＳ４０において、図３のステップＳ３０で外れ値検出モジュール６３によって決定された指標により、評価された距離メトリックが確率分布の所定の間隔（例えば所定の間隔（Ｉ））の外にあることが示された場合、アラート生成モジュール６４は、網膜画像におけるランドマーク特徴の予測位置のうち少なくとも１つが信頼できないことを示すアラートを生成する。アラートを、例えばコンピュータ画面などの表示デバイス上に表示されるメッセージ又はサインとして、またこれに加えて又はこの代わりに、音声信号としてなど、任意の適切な又は望ましい形態でユーザに提供し、例えば網膜画像における予測位置のうち少なくとも１つが信頼できないことをユーザに通知することが可能である。一方、図３のステップＳ３０において、外れ値検出モジュール６３によって決定された指標により、評価された距離メトリックが確率分布の所定の間隔（Ｉ）の外にないことが示された場合、アラート生成モジュール６４はアラートを生成せず、図３の処理は終了する。

【0020】

アラート生成モジュール６４は、評価された距離メトリックが確率分布の所定の間隔（Ｉ）の外にあると外れ値検出モジュール６３が決定した場合に（例えば視覚的、聴覚的及び／又は触覚的アラートの形で）アラートを生成するが、アラート生成モジュール６４によるアラートの生成に１つ以上のさらなる条件を付してもよいことに留意されたい。例えば、眼球撮像システム１０のユーザは、前述のように眼球撮像システム１０によって複数の網膜画像が取得され、処理された後に、外れ値検出モジュール６３による任意の外れ値の検出を警告する命令を（例えばキーボード、タッチパッド又はマウスなどの入力デバイスを介して）眼球撮像システム１０に提供することをさらなる条件としてもよい。あるいは、前述のように眼球撮像システム１０によって所定数の網膜画像が取得され、処理されたことをさらなる条件としてもよい。これらの例の双方において、前述の構成のアラート生成モジュールは、装置１０によって信頼できないと判断された予測位置を示す、及び／又は機械学習アルゴリズムによって信頼できない予測をもたらすと処理された網膜画像を取得済及び処理済の網膜画像の中から識別する識別子を生成することができ、これにより、全ての条件が満たされるとユーザによる検査が必要な１つ以上の網膜画像に関してユーザに警告することができる。

【0021】

図４は、網膜の第１のランドマーク特徴の例として中心窩４１０を、網膜の第２のランドマーク特徴の例として視神経乳頭４２０を示す網膜画像４００の例を示している。網膜画像４００は図１に示す本例示実施形態の眼球撮像システム１０によって取得されたものであり、機械学習アルゴリズムを使用して網膜画像４００内の中心窩４１０の位置及び視神経乳頭４２０の位置を予測するように構成されたランドマーク位置予測モジュール５０に入力される。本例示実施形態において、機械学習アルゴリズムは、網膜画像４００における中心窩４１０及び視神経乳頭４２０の位置を予測するように構成された畳み込みニューラルネットワーク（ＣＮＮ）を含む。しかしながら、任意の適切な機械学習アルゴリズムを使用して予測を行うことができる。また、ランドマーク位置予測モジュール５０は、本例示実施形態のように、網膜画像４００における中心窩４１０の位置Ｌ_１及び視神経乳頭４２０の位置Ｌ_２として、Ｘ次元及びＹ次元を有する網膜画像４００における中心窩４１０のＸ－Ｙ座標及び視神経乳頭４２０のＸ－Ｙ座標を予測することができる。図４において、網膜画像４００における中心窩４１０の予測Ｘ－Ｙ座標は（Ｆ_ｘ，Ｆ_ｙ）によって示され、網膜画像４００における視神経乳頭４２０の予測Ｘ－Ｙ座標は（Ｏ_ｘ，Ｏ_ｙ）によって示される。

【0022】

さらに、本例示実施形態のように、機械学習アルゴリズムを使用して、網膜画像４００における中心窩４１０の予測座標（Ｆ_ｘ，Ｆ_ｙ）及び視神経乳頭４２０の予測座標（Ｏ_ｘ，Ｏ_ｙ）に基づいて網膜画像４００を複数の所定の異なるクラスのうちの１つに属するものとして分類するようにランドマーク位置予測モジュール５０を構成することができる。したがって、この例示実施形態における、アラート生成モジュール６４によって生成されるアラートは、ランドマーク位置予測モジュール５０による網膜画像の分類が信頼できないことを示している。前述のように、アラートを、眼球撮像システム１０の音声信号生成部（例えばコンピュータスピーカ）によって生成される音声アラート、及び／又は眼球撮像システム１０の表示デバイス（例えばコンピュータ画面）上に生成される視覚アラートとすることができ、これにより、眼球撮像システム１０のディスプレイ上の網膜画像を検査し、眼球撮像システム１０の入力デバイス（例えばキーボード、マウス又はトラックパッドなど）を用いて正しい分類を入力することによって網膜画像の分類の修正をユーザに促すことができる。このようにして、ランドマーク位置予測モジュール５０は機械学習アルゴリズムを使用して網膜画像を自動的に分類することができ、ランドマーク位置予測モジュール５０がランドマーク特徴位置の信頼できない予測を生成し、結果として信頼できない分類を行った場合に、ユーザは正しい分類を決定し、決定した分類を提供することで介入するだけでよい。

【0023】

一例として、本例示実施形態のランドマーク位置予測モジュール５０は、２つの網膜画像クラス、すなわち、被検者の左眼の網膜画像のクラスである第１のクラス、又は右眼の網膜画像のクラスである第２のクラスのうちの１つに属するものとして網膜画像を分類するように構成されている。しかしながら、クラスの数は２つに限定されず、他の種類の分類を行うことができる。例えば、いくつかの例示実施形態では、ランドマーク位置予測モジュール５０は、これに加えて又はこの代わりに、第１のランドマーク及び第２のランドマークの予測位置を用いて網膜画像を健康な眼又は非健康な眼のものとして分類するように構成されてもよい。他の例示実施形態では、眼の異なるそれぞれの視線方向、例えば中央への視線、下方視線、上方視線、鼻への視線、側頭への視線に異なるクラスを関連付けることができ、これらの各々を右眼又は左眼のいずれかに指定することができる。したがって、ランドマーク位置予測モジュール５０は、このような例示実施形態において、処理中の各網膜画像を１０の異なるクラスのうちの１つに属するものとして分類することができる。

【0024】

図３のステップＳ２０、Ｓ３０、及びＳ４０で言及した距離メトリックは、本例示実施形態のように、第１のランドマーク特徴と第２のランドマーク特徴との間のユークリッド距離を含むことができる。一例として、図５は、ランドマーク位置予測モジュール５０によって処理された２つの異なる網膜画像５１０、５２０における中心窩及び視神経乳頭の予測位置を示している。網膜画像５１０では、ランドマーク位置予測モジュール５０は中心窩の座標を（Ｆ_ｘ，Ｆ_ｙ）として予測し、視神経乳頭の座標を（Ｏ_ｘ，Ｏ_ｙ）として予測しており、これらの予測座標は網膜画像５１０において「＋」で示されている。さらに、距離メトリック評価モジュール６２は、網膜画像５１０にｄ_１で示される（Ｆ_ｘ，Ｆ_ｙ）と（Ｏ_ｘ，Ｏ_ｙ）との間のユークリッド距離を、距離メトリックとして評価する。同様に、網膜画像５２０では、ランドマーク位置予測モジュール５０は、中心窩の座標を（Ｆ′_ｘ，Ｆ′_ｙ）として予測し、視神経乳頭の座標を（Ｏ′_ｘ，Ｏ′_ｙ）として予測しており、これらの予測座標は網膜画像５２０において「＋」で示されている。さらに、距離メトリック評価モジュール６２は、網膜画像５２０にｄ_２で示される（Ｆ′_ｘ，Ｆ′_ｙ）と（Ｏ′_ｘ，Ｏ′_ｙ）との間のユークリッド距離を、距離メトリックとして評価する。

【0025】

図３のステップＳ３０で言及した確率分布は、本例示実施形態のように、予測が行われる（システム１０によって取得される）網膜画像とは異なる網膜画像のセットにおけるユークリッド距離の測定値から得られる、第１のランドマーク特徴と第２のランドマーク特徴との間のユークリッド距離の正規分布Ｎ（μ，σ^２）の形をとることができる。一例として、図６は、網膜画像のセットにおける中心窩と視神経乳頭との間の距離の観察に基づいた、網膜画像における中心窩と視神経乳頭との間のユークリッド距離の確率分布を示している。図６の確率分布を本例示実施形態のようにグラウンドトゥルース分布とすることができ、確率分布が導出される網膜画像のセットは、ランドマーク特徴位置の予測を行うために機械学習アルゴリズムの訓練に使用された網膜画像の訓練データセットを含むことができる。しかしながら、確率分布は訓練データセット内の網膜画像に基づく必要はなく、網膜画像の任意の適切なセットを用いて中心窩と視神経乳頭との間のユークリッド距離の確率分布を得ることができる。

【0026】

図６の例において、予測位置の信頼性を決定するために使用される確率分布の所定の間隔は、正規分布の平均μの周りの所定の間隔Ｉとして示されている。また、図６は、（図５の網膜画像５１０の予測位置（Ｆ_ｘ，Ｆ_ｙ）と（Ｏ_ｘ，Ｏ_ｙ）との間の距離に対応する）値ｄ_１及び（図５の網膜画像５２０の座標（Ｆ′_ｘ，Ｆ′_ｙ）と（Ｏ′_ｘ，Ｏ′_ｙ）との間の距離に対応する）値ｄ_２を示している。図６の例では、図５の網膜画像５１０に対して、外れ値検出モジュール６３は、図６の確率分布を使用して、評価された距離ｄ_１が所定の間隔Ｉの外にあるという指標を決定し、アラート生成モジュール６４は、結果として、網膜画像５１０におけるランドマーク特徴の予測位置のうち少なくとも１つが信頼できないことを示すアラートを生成する。しかしながら、図５に示す網膜画像５２０に対しては、評価された距離ｄ_２は所定の間隔Ｉ内に入り、その結果、網膜画像５２０におけるランドマーク特徴の予測位置が信頼できると判断されるため、アラート生成モジュール６４はこの場合はアラートを生成しない。

【0027】

いくつかの例示実施形態では、所定の間隔Ｉを正規分布の標準偏差σの関数として定義することができる。しかしながら、任意の適切な外れ値識別方法を用いて、所定の間隔を他の方法で定義することもできる。例えば、（ステップＳ３０の確率分布に関する）確率分布の関数の値が所定の尤度閾値を超える距離の値の範囲として、所定の間隔を定義することができる。換言すれば、所定の尤度閾値ｐ_ｔｈを設定することができ、（中心窩及び視神経乳頭の予測位置間の）評価された距離メトリックの値に対する確率分布関数の値が所定の尤度閾値ｐ_ｔｈを下回る場合にのみ、視神経乳頭及び中心窩の予測位置が信頼できると判断するように、外れ値検出モジュール６３を構成することができる。

【0028】

図５及び図６を参照して説明した例は中心窩及び視神経乳頭の予測位置間のユークリッド距離を評価しているが、任意の他の適切な距離メトリックを使用できることに留意されたい。例えば、いくつかの例示実施形態において、距離メトリックは、第１のランドマーク特徴の位置と第２のランドマーク特徴の位置との間のマンハッタン距離の基準（ｍｅａｓｕｒｅ）を代わりに提供することができる。さらに、評価された距離メトリックがマンハッタン距離を含む例示実施形態では、前出の網膜画像とは異なる網膜画像のセットにおけるマンハッタン距離の測定値から得られた第１のランドマーク特徴と第２のランドマーク特徴との間のマンハッタン距離の確率分布を示すデータを用いて、評価された距離メトリックが確率分布の所定の間隔の外にあるか否かの指標を決定することができる。

【0029】

いくつかの例示実施形態では、外れ値を強調するために、評価された距離メトリックに追加の重み付け係数を適用することができる。より具体的には、いくつかの例示実施形態において、距離メトリックは第１のランドマーク特徴と第２のランドマーク特徴との間の重み付けされた距離を含むことができ、重み付けされた距離は、第１のランドマーク特徴と第２のランドマーク特徴との間の距離と重み付け係数の積であり、この距離と確率分布のピークに対応する距離の値との差の絶対値が増加するにつれて重み付け係数の値は増加する。重み付けされた距離を計算するために重み付けされる距離メトリックはユークリッド距離であってもよく、その場合、外れ値検出モジュール６３によって使用される確率分布は、（位置予測が行われる）網膜画像とは異なる網膜画像のセットにおけるユークリッド距離の測定値から得られる、第１のランドマーク特徴と第２のランドマーク特徴との間のユークリッド距離である。あるいは、重み付けされた距離を計算するために重み付けされる距離はマンハッタン距離であってもよく、その場合、外れ値検出モジュール６３によって使用される確率分布は、位置予測が行われる網膜画像とは異なる網膜画像のセットにおけるマンハッタン距離の測定値から得られる、第１のランドマーク特徴と第２のランドマーク特徴との間のマンハッタン距離である。

【0030】

図７は、（中心窩の予測位置と視神経乳頭の予測位置との間の距離を示す）評価された距離メトリックｄに重み付けするために使用することのできる、｜ｄ－μ｜と重み係数ｗとのマッピング関数の非限定的な例を示しており、ここでμは確率分布の平均、したがって確率分布のピークに対応する距離値を示している。図７のマッピング関数では、図５の網膜画像５１０及び５２０の評価されたユークリッド距離ｄ_１及びｄ_２に対して、対応する重み係数を決定する。図７の例において、外れ値検出モジュール６３は、（評価された距離ｄ_１に関連する）網膜画像５１０に対して距離｜ｄ_１－μ｜を決定し、図７のマッピング関数を用いて対応する重みｗ_１を決定する。外れ値検出モジュール６３は、例えば、重み付けされたメトリックｗ_１｜ｄ_１－μ｜を計算することにより、評価された距離に重みをさらに適用し、次いで、ｗ_１｜ｄ_１－μ｜が、中心窩と視神経乳頭との間のユークリッド距離の予想分布を表す図６の確率分布の所定の間隔Ｉ内に入るかどうかの指標を決定する。

【0031】

図７に示すように、前述の代替の実施形態では、距離メトリック評価モジュール６２及び外れ値検出モジュール６３によって同様のプロセスが網膜画像５２０に対して行われる。まず、（網膜画像５２０の中心窩の予測位置と視神経乳頭の予測位置との間の距離を示す）評価されたユークリッド距離ｄ_２に対応する重み付け係数ｗ_２を決定し、重み付けされた距離メトリックｗ_２｜ｄ_２－μ｜を距離メトリック評価モジュール６２によって計算し、外れ値検出モジュール６３は、網膜画像５２０の中心窩及び視神経乳頭の予測位置の信頼性を評価するために、ｗ_２｜ｄ_２－μ｜が所定の間隔Ｉ内に入るかどうかを判断する。図７に示すように、｜ｄ_１－μ｜は｜ｄ_２－μ｜よりも大きいため、｜ｄ_１－μ｜に適用された重みｗ_１は｜ｄ_２－μ｜に適用された重みｗ_２よりも大きい値である。

【0032】

なお、重み係数ｗの算出は図７に示した一次関数の使用に限定されず、代わりに、評価された距離と確率分布のピークに対応する距離の値との差の絶対値が大きくなるにつれて重み係数が大きくなる、重み係数の任意の好適な変形例を用いてもよい。

【0033】

前述の例示実施形態では、網膜画像における第１のランドマーク特徴の予測位置と第２のランドマーク特徴の予測位置との間の距離を示す評価された距離メトリックが予測位置の信頼性を決定するために使用されている。しかしながら、ランドマーク特徴の予測位置がランドマーク特徴の予想位置から著しく逸脱しているにもかかわらず、評価された距離メトリックが確率分布の所定の間隔内に入る可能性がある。この場合、アラート生成モジュール６４は、網膜画像におけるランドマーク特徴の予測位置のうち少なくとも１つが信頼できないことを示すアラートを生成することができない。

【0034】

図８は、前述の問題に対処するために装置６０によって実行することができ、網膜画像におけるランドマーク特徴の予測位置の信頼性の決定を改善するために前述の実施形態のいずれかと組み合わせることのできる任意のプロセスステップのフロー図である。図８のステップＳ１１０において、距離メトリック評価モジュール６２は（第１のランドマーク特徴の）第１の予測位置Ｌ_１をさらに使用して、第１の予測位置と基準位置（例えば基準位置Ｌ_ｒｅｆ）との間の第２の距離を示す第２の距離メトリックを評価する。

【0035】

次に、図８のステップＳ１２０において、外れ値検出モジュール６３は、（検討中の）網膜画像と異なる網膜画像のセットにおける距離の計測値に基づいた、第１のランドマーク特徴と基準位置Ｌ_ｒｅｆとの間の距離の第２の確率分布を示すデータを用いて第２の指標をさらに決定する。第２の指標は、評価された第２の距離メトリックが第２の確率分布のピークを含む第２の確率分布の所定の間隔Ｉ′の外にあるかどうかを示すものである。

【0036】

図８のＳ１３０において、決定された第２の指標によって、評価された第２の距離メトリックは第２の確率分布の所定の間隔Ｉ′内にないことが示された場合、アラート生成モジュール６４は、網膜画像５１０における第１の予測位置Ｌ_１が信頼できないことを示す警告をアラートとして生成する。

【0037】

図９Ａは、図５の網膜画像５２０を用いた第２の距離メトリックの例を示している。より具体的には、図９Ａは、座標（Ｆ′_ｘ，Ｆ′_ｙ）における第１のランドマーク（中心窩）の予測位置Ｌ_１、座標（Ｌ_{ｒｅｆ＿ｘ}，Ｌ_{ｒｅｆ＿ｙ}）における基準位置Ｌ_ｒｅｆ、及び（Ｆ′_ｘ，Ｆ′_ｙ）と（Ｌ_{ｒｅｆ＿ｘ}，Ｌ_{ｒｅｆ＿ｙ}）との間のユークリッド距離ｄ_３を示している。図９Ａ及び図９Ｂの本実施例では、基準位置（Ｌ_{ｒｅｆ＿ｘ}，Ｌ_{ｒｅｆ＿ｙ}）を網膜画像の（０，０）座標とし、これを一例として網膜画像の左下隅とする。しかしながら、基準位置はこれに限定されるものではなく、第１のランドマーク特徴と基準位置との間の距離の第２の分布を得るために同一の基準位置が網膜画像のセット内の全ての網膜画像に対して用いられる限りは、網膜画像内のいずれの位置でもよい。

【0038】

図９Ｂは、図９Ａにおける中心窩の予測位置Ｌ_１の信頼性を決定するために使用できる第２の確率分布の例を示している。図９Ｂにおいて、第２の確率分布は、取得された網膜画像とは異なる網膜画像のセットにおける中心窩と座標（Ｌ_{ｒｅｆ＿ｘ}，Ｌ_{ｒｅｆ＿ｙ}）における基準位置Ｌ_ｒｅｆとの間の測定されたユークリッド距離の正規分布Ｎ′（μ′，σ′^２）の形をとっている。図９ＢはステップＳ１２０で用いられた所定の間隔Ｉ′をさらに示しており、これは、中心窩の予測位置（Ｆ′_ｘ，Ｆ′_ｙ）の信頼性を決定するために外れ値検出モジュール６３によって使用される。図９Ｂの例において、所定の間隔Ｉ′は、確率密度関数の値が所定の尤度閾値Ｐ′_ｔｈを超える距離値の範囲として設定されている。しかしながら、所定の間隔Ｉ′はこれに限定されるものではなく、当業者に知られている外れ値検出を行うための任意の適切な方法を用いて設定することが可能である。さらに、図６の確率分布Ｎ（μ，σ^２）と同様に、Ｎ′（μ′，σ′^２）が導出される網膜画像のセットは、ランドマーク位置予測モジュール５０によって用いられる機械学習アルゴリズムの訓練に使用される網膜画像のセットを含むことができる。しかしながら、網膜画像と同一の網膜部分の他の網膜画像を使用することもできる。

【0039】

図９Ａ及び図９Ｂによって示される実施例において、距離評価モジュール６２は、ステップ１１０における第２の距離メトリックとして、図９Ａの網膜画像の（Ｆ′_ｘ，Ｆ′_ｙ）と（Ｌ_{ｒｅｆ＿ｘ}，Ｌ_{ｒｅｆ＿ｙ}）との間のユークリッド距離ｄ_３を評価する。外れ値検出モジュール６３はさらに、図８のステップＳ１２０において、評価されたユークリッド距離が正規分布Ｎ′（μ′，σ′^２）の所定の間隔Ｉ′の外にあることを示す指標を決定する。その結果、アラート生成モジュール６４は、網膜画像における第１の予測位置Ｌ_１が信頼できないことを示す警告をアラートとして生成する。

【0040】

第２の距離メトリックはユークリッド距離に限定されず、代わりに第１のランドマーク特徴と基準位置との間のマンハッタン距離を含んでもよいことに留意されたい。第２の距離メトリックがマンハッタン距離である場合、第２の確率分布は、前出の網膜画像とは異なる網膜画像のセットにおけるマンハッタン距離の測定値から得られる、第１のランドマーク特徴と第１のランドマーク特徴の基準位置との間のマンハッタン距離の確率分布である。

【0041】

また、いくつかの例示実施形態では、第２の距離メトリックを第２の重み付け係数によって重み付けすることができ、第２の重み付け係数の値は、評価された第２の距離メトリックと第２の確率分布のピークに対応する距離の値との差の絶対値が増加するにつれて増加する。図７の重み距離メトリックに関連して前述したのと同様の方法で、重み付けされた第２の距離メトリックが第２の確率分布の所定の間隔内に入るかどうかを判断することにより、重み付けされた第２の距離メトリックを次に使用して第１のランドマーク特徴の信頼性を評価することができる。

【0042】

いくつかの例示実施形態において、外れ値検出モジュール６３は、対象の網膜画像とは異なる網膜画像のセットに基づいた、網膜画像における第１のランドマーク特徴の位置の第３の確率分布を示すデータを使用することにより、第１のランドマーク特徴の第１の予測位置Ｌ_１の信頼性を決定し、第１の予測位置Ｌ_１が第３の確率分布のピークを含む第３の確率分布の所定の間隔の外にあるかどうかを示す第３の指標を決定するように構成可能であることに留意されたい。これらの例示実施形態において、決定された第３の指標により第１の予測位置が第３の確率分布の所定の間隔内にないことが示された場合、アラート生成モジュール６４は第１の予測位置が信頼できないことを示すアラートを生成する。第１のランドマーク特徴の予測位置は、先の例示実施形態のように、網膜画像におけるピクセルの位置を表す座標によって定義されてもよく、第３の確率分布は、例えば網膜画像のセットにおける第１のランドマーク特徴の観察位置の２次元分布であってもよい。先の例示実施形態と同様に、第３の確率分布の所定の間隔を、任意の適切な方法を用いて設定することができる。

【0043】

図１～図９に関連して説明した第１の例示実施形態では、第１のランドマーク特徴の予測位置と第２のランドマーク特徴の予測位置との間の距離を示す距離メトリックを観測された分布と比較して、これらの予測位置の信頼性と、したがってこれらの予測位置を用いて行われる次の網膜画像分類プロセスの信頼性を決定する。

【0044】

第１の例示実施形態の代替案を提供する、本明細書に記載の第２の例示実施形態では、網膜画像のデータセットにおけるランドマーク特徴のグラウンドトゥルース位置を用いて得られる混合モデルを用いて、網膜画像におけるランドマーク特徴の予測位置の信頼性を決定する。データセットは複数の所定のクラスの網膜画像を含み、ランドマーク特徴の予測位置及び混合モデルを用いて、網膜画像が所定のクラスの各々に属する確率を計算し、予測位置の信頼性を調べる。

【0045】

図１０は、本明細書の第２の例示実施形態による眼球撮像システム１０００の概略図を示している。図１０において、眼球撮像システム１０００は図１と同一の画像取得モジュール４０を含む。さらに、眼球撮像システム１０００はランドマーク位置予測モジュール５５を含み、ランドマーク位置予測モジュール５５は、機械学習アルゴリズムを使用して眼球３０の網膜２０の少なくとも一部分の網膜画像における少なくとも１つのランドマーク特徴の位置を予測するように構成されている。本明細書の１つの例示実施形態において、眼球撮像システム１０００及び／又はランドマーク位置予測モジュール５００は、プログラマブル信号処理ハードウェアにおいて、図２の信号処理装置２００を含むことができ、信号処理装置２００によって形成され、及び／又は信号処理装置２００によって実施されることが可能である。

【0046】

図１１は網膜画像１２００の例を示しており、網膜２０のランドマーク特徴の例として中心窩１２１０を示している。網膜画像１２００は、図１０に示す眼球撮像システム１０００によって取得されてランドマーク位置予測モジュール５５に入力され、ランドマーク位置予測モジュール５５は機械学習アルゴリズムを使用して網膜画像１２００における中心窩１２１０の位置を予測する。本実施例において、機械学習アルゴリズムは網膜画像１２００における中心窩の位置を予測するように構成された畳み込みニューラルネットワーク（ＣＮＮ）を含むが、他の任意の適切な機械学習アルゴリズムを使用して予測を行うことができる。また、ランドマーク位置予測モジュール５５は、本例示実施形態のように、Ｘ次元及びＹ次元を有する網膜画像１２００における中心窩１２１０の位置Ｌ_１として、中心窩１２１０のＸ－Ｙ座標を予測することができる。図１１では、網膜画像１２００における中心窩１２１０の予測Ｘ－Ｙ座標は（Ｆｘ，Ｆｙ）で示されている。

【0047】

図１０に戻ると、眼球撮像システム１０００は、網膜画像におけるランドマーク特徴の予測位置が信頼できないことを示すアラートを生成する装置１０１０をさらに含む。装置１０１０は、受信モジュール１０２０、確率指標決定モジュール１０３０、外れ値検出モジュール１０４０及びアラート生成モジュール１０５０を含む。装置１０１０の例示実施形態及びその図示された構成要素モジュールの機能を、以下により詳細に説明する。いくつかの例示実施形態では、図２の信号処理装置２００を使用して装置１０１０を実施することができる

【0048】

図１２は第２の例示実施形態において実行されるコンピュータ実行方法を示すフロー図であり、これによって装置１０１０は、ランドマーク位置予測モジュール５５によって予測された網膜画像におけるランドマーク特徴の予測位置が信頼できないことを示すアラートを生成する。網膜画像におけるランドマーク特徴は、本実施例のように、網膜画像における中心窩を含むことができる。しかしながら、ランドマーク特徴はこれに限定されるものではなく、例えば網膜画像における視神経乳頭など、上記に定義されたような他のランドマーク特徴であってもよい。

【0049】

図１２のステップＳ２１０において、受信モジュール１０２０は、ランドマーク位置予測モジュール５５が機械学習アルゴリズムを使用することで予測された網膜画像におけるランドマーク特徴の予測位置を受信する。機械学習アルゴリズムは、本例示実施形態のように、網膜画像におけるランドマーク特徴の位置を予測するように構成された畳み込みニューラルネットワーク（ＣＮＮ）を含むことができる。しかしながら、特徴の識別が可能な任意の適切な機械学習アルゴリズムを使用して予測を行うことができる。

【0050】

図１２のステップＳ２２０において、確率指標決定モジュール１０３０は、ランドマーク特徴の位置の確率分布を含むとともに、複数の所定のクラスの網膜画像を有する網膜画像のセットに属する網膜画像におけるランドマーク特徴の決定された位置に基づいた混合モデルと、受信されたランドマーク特徴の予測位置とを使用して、複数の所定のクラスの各クラスに対し、網膜画像がクラスに属する確率を示すそれぞれの確率指標を決定する。

【0051】

図１２のステップＳ２３０において、外れ値検出モジュール１０４０は、決定された確率指標を使用して、網膜画像が所定のクラスのいずれにも属さない外れ値であるかどうかを判断する。

【0052】

外れ値検出モジュール１０４０は、本例示実施形態のように、決定された確率指標を使用して、決定された確率指標の各確率指標が閾値を超えるかどうかを判断することによって網膜画像が所定のクラスのいずれにも属さないかどうかをステップＳ２３０で判断することができる。決定された確率指標がいずれも閾値を超えない場合、外れ値検出モジュール１０４０は、網膜画像が所定のクラスのいずれにも属さないと判断する。さらに、決定された確率指標のうちの少なくとも１つが閾値を超える場合、外れ値検出モジュール１０４０は、網膜画像が所定のクラスのうちの少なくとも１つに属すると判断する。

【0053】

網膜画像が所定のクラスのいずれにも属さないと外れ値検出モジュール１０４０が判断したことに応答して、アラート生成モジュール１０５０は、図１２のステップＳ２４０において、網膜画像における予測位置が信頼できないことを示すアラートを生成する。例えば、眼球撮像システム１０００のコンピュータ画面などの表示デバイス上に表示されるメッセージ又はサインとして、また、この他に又はこの代わりに、例えばオーディオ信号として、アラートを任意の適切な又は望ましい形態で眼球撮像システム１０００のユーザに提供し、網膜画像における予測位置が信頼できないことをユーザに通知することができる。

【0054】

一方、ステップＳ２３０で外れ値検出モジュール１０４０によって決定された確率指標が網膜画像を外れ値であると示していない場合、アラート生成モジュール１０５０はアラートを生成しない。

【0055】

ランドマーク位置予測モジュール５５は、本例示実施形態のように、網膜画像におけるランドマーク特徴の予測位置に基づいて、網膜画像を複数の所定のクラスのうちの１つに属するものとしてさらに分類することができる。さらに、予測位置が信頼できないと判断された場合に生成されるアラートは、機械学習アルゴリズムによる網膜画像の分類が信頼できないことを示すことができる。また、ランドマーク位置予測モジュール５５は、本例示実施形態のように、網膜画像を被検者の左眼又は右眼のいずれかの網膜画像として分類することにより、網膜画像を複数の所定のクラスのうちの１つに属する網膜画像として分類することができる。しかしながら、複数の所定のクラスは、左眼／右眼の分類用の２つのクラスの例に限定されず、この他に又はこの代わりに他のタイプの分類を行ってもよい。例えば、他の例示実施形態では、この他に又はこの代わりに、ランドマーク特徴の予測位置を使用して網膜画像を健康な目又は健康でない目のものとして分類するようにランドマーク位置予測モジュール５５を構成することができる。他の例では、眼の異なるそれぞれの視線方向、例えば中央への視線、下方視線、上方視線、鼻への視線、側頭への視線に異なるクラスを関連付けることができ、これらの各々を右眼又は左眼のいずれかに指定することができる。また、機械学習アルゴリズムは網膜画像の分類を行うように構成される必要はなく、ランドマーク特徴の位置を予測するために使用されるだけでもよい。

【0056】

図１３は、第２の例示実施形態の実施例に従った、網膜画像におけるランドマーク特徴（この例では中心窩）の予測位置の信頼性を決定するために使用することのできる混合モデルの確率密度分布１３００の例を示している。図１３において、混合モデルは、網膜画像のデータセットにおける中心窩のグラウンドトゥルース位置又は予想位置を用いて得られる２次元ガウス混合モデルを含む。本例示実施形態で用いられる網膜画像のデータセットは、２つの所定のクラス、すなわち左眼クラス及び右眼クラスの網膜画像を含む。さらに、本例示実施形態では、中心窩の位置はランドマーク特徴を含む網膜画像のピクセルのＸ－Ｙ座標によって表され、網膜画像は図１３に示すようにＸ次元及びＹ次元を含む。図１３の第３のＺ次元は、中心窩が網膜画像の対応するＸ－Ｙ座標位置に位置する確率密度値を示す。

【0057】

【0058】

【数1】

【0059】

【0060】

【数2】

【0061】

【0062】

【数3】

【0063】

【0064】

【数4】

【0065】

【0066】

【0067】

【0068】

本例示実施形態におけるガウス混合モデルは２つのクラスの網膜画像を含むデータセットを用いて形成されているが、代わりに、前述の異なる分類クラスを含むことができるがこれに限定されない任意の数の網膜画像クラスからガウス混合モデルを形成することができる。さらに、本例示実施形態は２次元ガウス混合モデルを用いているが、以下でより詳細に説明するように、さらに高次元の混合モデルの使用も可能であることに留意されたい。加えて、本例示実施形態は多変量ガウス混合モデルを用いているが、例えば、混合モデル及び後続の分類がランドマーク特徴の位置に関連する距離測定（例えば、第１の例示実施形態に関連して説明したように、第２のランドマーク特徴からの距離又は基準位置からの距離）に基づいている場合、単変量混合モデルを代わりに使用できることに留意されたい。

【0069】

図１４は、網膜画像における中心窩の予測位置が信頼できないかどうかを判断するために「失敗クラス」の網膜画像をさらに利用する、第２の例示実施形態の第１の変形例を示している。特に、例えば処理中の網膜画像がまばたき事象、撮像アーチファクトなどによって不明瞭になった場合など、予測が失敗した場合、機械学習アルゴリズムは特定の領域の周りで予測位置をクラスタ化できることを本発明者らは見出した。これらの場合、失敗した予測（すなわち、装置１０１０によって信頼できないと判断されたランドマーク特徴の予測位置）を使用して網膜画像の別個の「失敗クラス」を作成することができ、混合モデルにおける成分分布として使用できる（例えば、ガウス）分布によって特徴づけることができる。

【0070】

より具体的には、第２の例示実施形態の第１の変形例において、図１２のステップＳ２２０で使用される混合モデルはさらに、機械学習アルゴリズムによる処理によってランドマーク特徴のそれぞれの位置を予測した結果、信頼できないと判断された予測位置が得られた、網膜画像の失敗クラスの網膜画像におけるランドマーク特徴の決定された位置に基づいている。

【0071】

【0072】

【数5】

【0073】

【0074】

【数6】

【0075】

【0076】

【数7】

及び

【0077】

【数8】

【0078】

【0079】

【0080】

図１５は第２の例示実施形態の第２の変形例において実行されるプロセスを示すフロー図である。このプロセスも混合モデルを用いており、この混合モデルはさらに、機械学習アルゴリズムによる処理によってランドマーク特徴のそれぞれの位置を予測した結果、信頼できないと判断された予測位置が得られた、失敗クラスの網膜画像の網膜画像におけるランドマーク特徴の決定された位置に基づいている。

【0081】

図１５のステップＳ４１０において、第２の変形例の確率指標決定モジュール１０３０は、ランドマーク特徴の受信された予測位置及び混合モデルを用いて、失敗クラスに対し、網膜画像が失敗クラスに属する確率を示す確率指標を決定する。したがって、このステップは図１４のステップＳ３１０と同じである。

【0082】

しかしながら、第２の例示実施形態の第１の変形例とは対照的に、第２の例示実施形態の第２の変形例の確率指標決定モジュール１０３０は、失敗クラスの確率指標を所定のクラスに対して計算された確率指標と直接比較し、網膜画像が所定のクラスのいずれにも属さないかどうかを判断する、ということは行わない。その代わりに、図１５のステップＳ４１５において、第２の変形例の確率指標決定モジュール１０３０は、複数の所定のクラスの各所定のクラスに対し、失敗クラスに対して決定された確率指標と所定のクラスに対して決定された確率指標とに基づいた比較メトリックのそれぞれの値を決定する。

【0083】

【0084】

図１５のステップＳ４１７において、第２の変形例の外れ値検出モジュール１０４０は、複数の所定のクラスに対して決定された比較メトリックの値の全てが所定の閾値を超えているかどうかを判断する。複数の所定のクラスに対して決定された比較メトリックの値の全てが所定の閾値を超えていると外れ値検出モジュール１０４０が判断した場合、第２の変形例の外れ値検出モジュール１０４０は、図１５のステップＳ４２０Ａにおいて、網膜画像が失敗クラスに属し、よって所定のクラスのいずれにも属さないと判断する。一方、複数の所定のクラスに対して決定された比較メトリックの値の全てが所定の閾値を超えているわけではないと外れ値検出モジュール１０４０が判断した場合、第２の変形例の外れ値検出モジュール１０４０は、図１５のステップＳ４２０Ｂにおいて、網膜画像が所定のクラスのうちの少なくともいくつかに属すると判断する。

【0085】

前述の第２の例示実施形態及びその変形例では、説明を容易にするために、ランドマークの予測位置を単一のランドマーク特徴の予測位置（すなわち、網膜画像における中心窩の位置）とみなしている。予測位置は、中心窩の画像を含む網膜画像内のピクセルの位置を示す２次元のＸ－Ｙ座標ペアとして受信されるため、これらの例示実施形態における混合モデルは２次元混合モデルの形をとっている。しかしながら、例として後述するように、混合モデルは２次元であることに限定されず、２より大きい次元数を有してもよい。

【0086】

図１０及び図１２を参照して説明した第２の例示実施形態のさらなる（第３の）変形例において、第３の変形例の受信モジュール１０２０は網膜画像における複数のランドマーク特徴の予測位置を受信することができ、変形例の装置１０１０は、これらの予測位置のうち少なくとも１つが信頼できないかどうかを判断することができる。より具体的には、第３の変形例において、機械学習アルゴリズムによって予測された、網膜画像における第１のランドマーク特徴の予測位置と網膜画像における第２のランドマーク特徴の予測位置とを、網膜画像におけるランドマーク特徴の予測位置として受信するように受信モジュール１０２０を構成することができる。例えば、第１のランドマーク特徴を先の例のように網膜画像における中心窩とすることができ、一方では第２のランドマーク特徴を網膜画像における視神経乳頭とすることができる。

【0087】

さらに、第３の変形例の確率指標決定モジュール１０３０は、第１のランドマーク特徴の受信された予測位置と、第２のランドマーク特徴の受信された予測位置と、第２のランドマーク特徴の位置の確率分布をさらに含み、網膜画像のセットに属する網膜画像における第２のランドマーク特徴の決定された位置にさらに基づいた混合モデルとを用いて、複数の所定のクラスの各クラスに対し、網膜画像がそのクラスに属する確率を示すそれぞれの確率指標を決定するように構成することが可能である。一例として、第１のランドマーク特徴及び第２のランドマーク特徴の各々の予測位置が２次元のＸ－Ｙ座標ペアによって表されると仮定すると、中心窩及び視神経乳頭の観察位置を表す４座標変数のグラウンドトゥルース確率分布を含む混合モデルは、式（１）で与えられるのと同じ一般形式で記すことのできる４次元ガウス混合モデルとなる。さらに、（各所定のクラスに対応する）各成分分布を特徴づけるパラメータがわかると、網膜画像が各所定のクラスに属する確率を示す確率指標を、先の例について説明したのと同じ方法で式（３）を用いて計算することができる。

【0088】

さらに、第３の変形例のアラート生成モジュール１０５０は、網膜画像における第１のランドマーク機能の予測位置又は第２のランドマーク機能の予測位置のうちの少なくとも１つが信頼できないことを示す警告をアラートとして生成するように構成が可能である。

【0089】

本明細書で説明した例示実施形態において、機械学習アルゴリズムによって行われるランドマーク位置予測が信頼できないことを示すアラートを生成する装置は、画像取得モジュール及びランドマーク位置予測モジュールを有する眼球撮像システムの一部を形成している。しかしながら、記載の装置は、眼球撮像システムの一部を形成する必要はなく、その代わりに、網膜画像のランドマーク特徴の予測位置を処理するように構成された、ＰＣなどのスタンドアロンデータ処理デバイスとして提供されてもよい。そのような用途において、前述の例示実施形態のアラート生成モジュールは、装置によって信頼できないと判断された予測位置を示す、及び／又は機械学習アルゴリズムによって信頼できない予測をもたらすと処理された網膜画像を識別する識別子を生成することができ、これにより、アラート生成モジュールによって識別子を使用して、ユーザによる検査が必要な１つ以上の予測位置及び／又は網膜画像にユーザの注意を引くユーザへのアラートを生成することができる。

【0090】

本明細書で説明した例示態様は、網膜画像におけるランドマーク特徴の位置を予測するためのコンピュータ実行型機械学習技術の信頼性の欠如から生じる、特にコンピュータ技術に起因する制限を回避する。このようなコンピュータ実行型機械学習技術は、例えば、機械学習アルゴリズムによって処理中の網膜画像の大部分がまばたき事象、撮像アーチファクトなどにより遮られた場合など、特定の状況下で不正確な網膜ランドマーク位置予測をもたらす場合がある。不正確な予測はダウンストリームの処理動作の性能に悪影響を及ぼす可能性があり、その成功はランドマーク特徴位置予測の精度に依存する。単なる例として、網膜画像が右眼のものか左眼のものかを判断するための自動側性ルーチン、種々の眼疾患又は眼障害を自動診断するための疾患パイプライン、そして（とりわけ）網膜画像に自動的に注釈を付けるためのデータ処理動作といったダウンストリームの処理動作は、網膜ランドマーク特徴位置が正確に予測されない場合に支障をきたす／悪影響を受ける可能性がある。一方、本明細書で説明した例示的なシステム、装置、コンピュータプログラム及び方法は、ランドマーク特徴位置の不正確な、及び／又は信頼できない予測（例えば、機械学習アルゴリズムによって処理された網膜画像のオクルージョン（遮蔽）によって引き起こされるものなど）を自動的に検出して不正確な予測を補正し、及び／又はこれらを実質的に回避することを可能にし、これによってオクルージョンを補償し、機械学習予測の精度を改善し、また、ダウンストリームの処理動作の性能及び結果を改善する。本明細書で説明した、コンピュータ技術に根ざした例示態様の前述の能力により、本明細書で説明した例示態様はゆえにコンピュータ及びコンピュータの処理／機能性を改善し、また、少なくとも網膜画像処理の分野及びデータ処理を改善し、さらに、不正確なランドマーク特徴予測に基づいたダウンストリームの動作の実行に必要となるであろう追加のコンピュータ処理及びメモリ要件を緩和し、及び／又はこれらを実質的に回避する。

【0091】

前述の説明では、例示態様がいくつかの例示実施形態を参照して説明されている。したがって、本明細書は限定的ではなく例示的なものであるとみなされるべきである。同様に、例示実施形態の機能性及び利点を強調する、図面に示す図は例示のためだけに提示されている。例示実施形態の構成は十分に柔軟で構成変更が可能であり、添付の図面に示した方法以外の方法で利用することができる。

【0092】

本明細書に提示される例のソフトウェアの実施形態は、１つの例示実施形態において、各々を非一時的とすることのできる機械アクセス可能媒体又は機械可読媒体、命令記憶装置又はコンピュータ可読記憶デバイスなどの製造品に含まれるか又は記憶される、命令又は命令のシーケンスを有する１つ以上のプログラムのようなコンピュータプログラム又はソフトウェアとして提供されてもよい。非一時的な機械アクセス可能媒体、機械可読媒体、命令記憶装置又はコンピュータ可読記憶デバイス上のプログラム又は命令を用いて、コンピュータシステム又は他の電子デバイスをプログラムすることができる。機械可読媒体又はコンピュータ可読媒体、命令記憶装置及び記憶装置は、フロッピー（登録商標）ディスケット、光ディスク及び光磁気ディスク、又は電子命令の記憶や送信に適した他のタイプの媒体／機械可読媒体／命令記憶装置／記憶装置を含むことができるが、これらに限定されない。本明細書で説明した技術は特定のソフトウェア構成に限定されない。これらの技術は、いかなるコンピューティング環境又は処理環境にも適用可能性を見出すことができる。本明細書で使用した「コンピュータ可読」、「機械アクセス可能媒体」、「機械可読媒体」、「命令記憶装置」及び「コンピュータ可読記憶デバイス」という用語は、機械、コンピュータ又はコンピュータプロセッサによって実行する命令又は命令のシーケンスを記憶、符号化又は送信することが可能であり、本明細書で説明した方法のいずれか１つを機械／コンピュータ／コンピュータプロセッサに実行させる任意の媒体を含むものとする。さらに、当技術分野では、何らかの形態（例えば、プログラム、手順、プロセス、アプリケーション、モジュール、ユニット、ロジックなど）のソフトウェアが動作を行ったり結果を引き起こすものとして語られるのが一般的である。このような表現は、処理システムによるソフトウェアの実行によってプロセッサがある動作を行い、結果を生じることを述べる簡潔な方法にすぎない。

【0093】

また、特定用途向けの集積回路、フィールドプログラマブルゲートアレイを準備することによって、又は従来の構成要素回路の適切なネットワークを相互接続することによって、いくつかの実施形態を実施することもできる。

【0094】

いくつかの実施形態はコンピュータプログラム製品を含む。コンピュータプログラム製品を、命令が記憶された記憶媒体、命令記憶装置又は記憶デバイスとすることができ、これを使用して、本明細書に記載した例示実施形態の手順のいずれかを実行するようにコンピュータ又はコンピュータプロセッサを制御する、又はコンピュータ又はコンピュータプロセッサにこの手順を実行させることができる。記憶媒体／命令記憶装置／記憶デバイスの例としては、光ディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリ、フラッシュカード、磁気カード、光カード、ナノシステム、分子メモリ集積回路、ＲＡＩＤ、リモートデータ記憶装置／アーカイブ／ウェアハウジング、ならびに／又は命令及び／あるいはデータの記憶に適した任意の他のタイプの装置が挙げられるが、これらに限定されない。

【0095】

コンピュータ可読媒体、命令記憶装置又は記憶デバイスのいずれか１つに記憶されるいくつかの実施形態として、システムのハードウェアの双方を制御し、システム又はマイクロプロセッサが本明細書で説明した例示実施形態の結果を利用して人間のユーザ又は他の機構と対話することを可能にするソフトウェアが挙げられる。このようなソフトウェアは、デバイスドライバ、オペレーティングシステム及びユーザアプリケーションを含むことができるが、これらに限定されない。最終的に、このようなコンピュータ可読媒体又は記憶デバイスは、前述のように、本例示態様を実行するためのソフトウェアをさらに含む。

【0096】

システムのプログラミング及び／又はソフトウェアには、本明細書に記載の手順を実施するためのソフトウェアモジュールが含まれている。本明細書のいくつかの例示実施形態では、モジュールはソフトウェアを含むが、本明細書の他の例示実施形態では、モジュールは、ハードウェア、又はハードウェアとソフトウェアの組み合わせを含む。

【0097】

以上、本発明の様々な例示実施形態について説明したが、これらの実施形態は例として提示されたものであり、これらに限定されないことを理解されたい。形態及び詳細に関して種々の変更が可能であることが当業者には明らかであろう。したがって、本発明は、上記の例示実施形態のいずれによっても限定されるべきではなく、以下の特許請求の範囲及びその同等物によってのみ定義されるべきである。

【0098】

さらに、要約書の目的は特許庁及び一般の人々、特に、特許や法律の用語又は表現に精通していない科学者、技術者及び当業者が、大まかな閲覧から本願の技術開示内容の性質及び本質を迅速に判断できるようにすることである。要約書は、本明細書に提示される例示実施形態の範囲に関して、いかなる形でも限定することを意図していない。また、特許請求の範囲に記載のいかなる手順も、提示の順序で実行する必要がないことを理解されたい。

【0099】

本明細書は多くの特定の実施形態の詳細を含むが、これらは、発明や特許請求され得るものの範囲を制限するものとして解釈されるべきではなく、むしろ、本明細書に記載される特定の実施形態に特有の特徴の説明として解釈されるべきである。本明細書で別個の実施形態に照らして記載される特定の特徴を、単一の実施形態において組み合わせて実施することもできる。逆に、単一の実施形態に照らして説明される種々の特徴を、複数の実施形態において個別に、又は任意の適切なサブコンビネーションで実施することもできる。さらに、これらの特徴は特定の組み合わせで作用するものとして上記で説明され、初めはそのように主張されていることすらあるが、主張された組み合わせからの１つ以上の特徴は、場合によってはその組み合わせから削除されてもよく、主張された組み合わせはサブコンビネーション又はサブコンビネーションの変形例に関連していてもよい。

【0100】

特定の状況では、マルチタスク処理及び並列処理が有利な場合がある。さらに、前述の実施形態における種々の構成要素の分離は、全ての実施形態でこのような分離を必要とするものとして理解されるべきではなく、説明したプログラムの構成要素及びシステムを、一般に単一のソフトウェア製品に一緒に統合するか、又は複数のソフトウェア製品にパッケージ化することができることを理解されたい。

【0101】

例示実施形態及び実施形態をいくつか説明したが、前述の内容は例として提示されており、限定のためではなく説明のためであることが明らかである。特に、本明細書で提示した例の多くは装置又はソフトウェア要素の特定の組み合わせを伴うが、これらの要素を他の方法で組み合わせて同一の目的を達成することができる。１つの実施形態に関連してのみ論じられた行為、要素及び特徴が他の実施形態で同様の役割から除外される、ということは意図されていない。

【0102】

本明細書に記載の装置を、その特徴から逸脱することなく他の特定の形態で具現化することができる。前述の実施形態は、説明したシステム及び方法を限定するものではなく、例示するものである。したがって、本明細書に記載した装置の範囲は、前述の説明ではなく添付の特許請求の範囲によって示され、請求項の均等物の意味及び範囲内に入る変更は特許請求の範囲に包含される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【手続補正書】

【提出日】2022-12-22

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

眼球の網膜の少なくとも一部分の網膜画像を取得するための眼球撮像システムであって、
前記網膜画像を取得するように構成された画像取得モジュールと、
機械学習アルゴリズムを使用して、前記網膜画像における第１のランドマーク特徴の第１の位置と前記網膜画像における第２のランドマーク特徴の第２の位置とを、前記網膜画像における前記ランドマーク特徴の予測位置として予測するように構成されたランドマーク位置予測モジュールと、
前記ランドマーク特徴の前記予測位置のうち少なくとも１つが信頼できないことを前記眼球撮像システムのユーザに警告する装置であって、
前記ランドマーク特徴の前記予測位置を受信するように構成された受信モジュールと、
前記ランドマーク特徴の前記予測位置を用いて、前記第１のランドマーク特徴と前記第２のランドマーク特徴との間の距離を示す距離メトリックを評価するように構成された距離メトリック評価モジュールと、
前記網膜画像とは異なる網膜画像のセットにおける前記距離の測定値から得られた前記第１のランドマーク特徴と前記第２のランドマーク特徴との間の距離の確率分布を示すデータを使用して、前記評価された距離メトリックが前記確率分布のピークを含む前記確率分布の所定の間隔の外にあるかどうかの指標を決定するように構成された外れ値検出モジュールと、
前記評価された距離メトリックが前記確率分布の前記所定の間隔の外にあることが前記決定された指標によって示される場合、前記網膜画像における前記ランドマーク特徴の前記予測位置のうち少なくとも１つが信頼できないことを示すアラートを生成するように構成されたアラート生成モジュールと、
を含む前記装置と、
を備えた眼球撮像システム。

【請求項2】

前記距離メトリックは、前記第１のランドマーク特徴と前記第２のランドマーク特徴との間のユークリッド距離及びマンハッタン距離のうちの１つを含み、
前記外れ値検出モジュールは、前記網膜画像とは異なる網膜画像のセットにおける前記ユークリッド距離及び前記マンハッタン距離のうちの１つの測定値から得られた、前記第１のランドマーク特徴と前記第２のランドマーク特徴との間の前記ユークリッド距離及び前記マンハッタン距離のうちの１つの確率分布を示すデータを使用して、前記評価された距離メトリックが前記確率分布の前記所定の間隔の外にあるかどうかの前記指標を決定するように構成されている、
請求項１に記載の眼球撮像システム。

【請求項3】

前記距離メトリックは前記第１のランドマーク特徴と前記第２のランドマーク特徴との間の重み付けされた距離を含み、前記重み付けされた距離は、前記第１のランドマーク特徴と前記第２のランドマーク特徴との間の距離と重み付け係数との積であり、前記重み付け係数の値は、前記距離と、前記確率分布の前記ピークに対応する前記距離の値との差の絶対値が増加するにつれて増加する、請求項１又は請求項２に記載の眼球撮像システム。

【請求項4】

前記距離メトリック評価モジュールはさらに、前記予測された第１の予測位置を用いて、前記第１の予測位置と基準位置との間の距離である第２の距離を示す第２の距離メトリックを評価するように構成されており、
前記外れ値検出モジュールはさらに、前記網膜画像とは異なる網膜画像のセットにおける前記第１のランドマーク特徴と前記基準位置との間の距離の測定値に基づいた、前記第１のランドマーク特徴と前記基準位置との間の距離の第２の確率分布を示すデータを用いて、前記評価された第２の距離メトリックが前記第２の確率分布のピークを含む前記第２の確率分布の所定の間隔の外にあるかどうかの指標である第２の指標を決定するように構成されており、
前記アラート生成モジュールは、前記評価された第２の距離メトリックが前記第２の確率分布の前記所定の間隔内にないことが前記決定された第２の指標によって示される場合、前記網膜画像における前記第１の予測位置が信頼できないことを示す警告を前記アラートとして生成するように構成されている、
請求項１から請求項３のいずれか一項に記載の眼球撮像システム。

【請求項5】

前記ランドマーク位置予測モジュールはさらに、前記機械学習アルゴリズムを使用して、前記網膜画像における前記ランドマーク特徴の前記予測位置に基づいて前記網膜画像を複数の所定の異なるクラスのうちの１つに属するものとして分類するように構成されており、
前記アラート生成モジュールはさらに、前記機械学習アルゴリズムによる前記網膜画像の前記分類が信頼できないことをさらに示す警告を前記アラートとして生成するように構成されている、
請求項１から請求項４のいずれか一項に記載の眼球撮像システム。

【請求項6】

前記ランドマーク位置予測モジュールは、前記網膜画像を被検者の左眼又は右眼のいずれかの網膜画像として分類することにより、前記網膜画像を前記複数の所定の異なるクラスのうちの１つに属するものとして分類するように構成されている、請求項５に記載の眼球撮像システム。

【請求項7】

眼球の網膜の少なくとも一部分の網膜画像におけるランドマーク特徴の予測位置として、機械学習アルゴリズムによって予測された前記網膜画像における第１のランドマーク特徴の第１の位置と前記網膜画像における第２のランドマーク特徴の第２の位置とを処理して、前記ランドマーク特徴の前記予測位置のうち少なくとも１つが信頼できないことをユーザに警告するための装置であって、
前記ランドマーク特徴の前記予測位置を受信するように構成された受信モジュールと、
前記ランドマーク特徴の前記予測位置を用いて、前記第１のランドマーク特徴と前記第２のランドマーク特徴との間の距離を示す距離メトリックを評価するように構成された距離メトリック評価モジュールと、
前記網膜画像とは異なる網膜画像のセットにおける前記距離の測定値から得られた前記第１のランドマーク特徴と前記第２のランドマーク特徴との間の距離の確率分布を示すデータを使用して、前記評価された距離メトリックが前記確率分布のピークを含む前記確率分布の所定の間隔の外にあるかどうかの指標を決定するように構成された外れ値検出モジュールと、
前記評価された距離メトリックが前記確率分布の前記所定の間隔の外にあることが前記決定された指標によって示される場合、前記網膜画像における前記ランドマーク特徴の前記予測位置のうち少なくとも１つが信頼できないことを示すアラートを生成するように構成されたアラート生成モジュールと、
を含む装置。

【請求項8】

眼球の網膜の少なくとも一部分の網膜画像におけるランドマーク特徴の予測位置として、機械学習アルゴリズムによって予測された前記網膜画像における第１のランドマーク特徴の第１の位置と前記網膜画像における第２のランドマーク特徴の第２の位置とを処理して、前記ランドマーク特徴の前記予測位置のうち少なくとも１つが信頼できないことを装置のユーザに警告する方法であって、
前記ランドマーク特徴の前記予測位置を受信し、
前記ランドマーク特徴の前記予測位置を用いて、前記第１のランドマーク特徴と前記第２のランドマーク特徴との間の距離を示す距離メトリックを評価し、
前記網膜画像とは異なる網膜画像における前記第１のランドマーク特徴と前記第２のランドマーク特徴との間の前記距離の測定値から得られた前記第１のランドマーク特徴と前記第２のランドマーク特徴との間の距離の確率分布を示すデータを使用して、前記評価された距離メトリックが前記確率分布のピークを含む前記確率分布の所定の間隔の外にあるかどうかの指標を決定し、
前記評価された距離メトリックが前記確率分布の前記所定の間隔の外にあることが前記決定された指標によって示される場合、前記網膜画像における前記ランドマーク特徴の前記予測位置のうち少なくとも１つが信頼できないことを示すアラートを生成する、
ことを含む方法。

【請求項9】

前記距離メトリックは、前記第１のランドマーク特徴と前記第２のランドマーク特徴との間のユークリッド距離及びマンハッタン距離のうちの１つを含み、
前記網膜画像とは異なる網膜画像のセットにおける前記ユークリッド距離及び前記マンハッタン距離のうちの１つの測定値から得られた、前記第１のランドマーク特徴と前記第２のランドマーク特徴との間の前記ユークリッド距離及び前記マンハッタン距離のうちの１つの確率分布を示すデータを使用して、前記評価された距離メトリックが前記確率分布の前記所定の間隔の外にあるかどうかの前記指標を決定する、
請求項８に記載の方法。

【請求項10】

前記距離メトリックは前記第１のランドマーク特徴と前記第２のランドマーク特徴との間の重み付けされた距離を含み、前記重み付けされた距離は、前記第１のランドマーク特徴と前記第２のランドマーク特徴との間の距離と重み付け係数との積であり、前記重み付け係数の値は、前記第１のランドマーク特徴と前記第２のランドマーク特徴との間の前記距離と、前記確率分布の前記ピークに対応する前記距離の値との差の絶対値が増加するにつれて増加する、請求項８又は請求項９に記載の方法。

【請求項11】

前記予測された第１の予測位置を用いて、前記第１のランドマーク特徴の前記第１の予測位置と基準位置との間の第２の距離を示す第２の距離メトリックを評価し、
前記網膜画像とは異なる網膜画像における前記第１のランドマーク特徴と前記基準位置との間の距離の測定値に基づいた、前記第１のランドマーク特徴と前記基準位置との間の距離の第２の確率分布を示すデータを用いて、前記評価された第２の距離メトリックが前記第２の確率分布のピークを含む前記第２の確率分布の所定の間隔の外にあるかどうかの指標である第２の指標を決定し、
前記評価された第２の距離メトリックが前記第２の確率分布の前記所定の間隔の外にあることが前記決定された第２の指標によって示される場合、前記網膜画像における前記第１の予測位置が信頼できないことを示す警告を前記アラートとして生成する、
ことをさらに含む、請求項８～請求項１０のいずれか一項に記載の方法。

【請求項12】

前記機械学習アルゴリズムを使用して、前記網膜画像における前記第１のランドマーク特徴の前記第１の位置と、前記網膜画像における前記第２のランドマーク特徴の前記第２の位置とを予測することをさらに含む、請求項８から請求項１１のいずれか一項に記載の方法。

【請求項13】

前記機械学習アルゴリズムはさらに、前記網膜画像における前記ランドマーク特徴の前記予測位置に基づいて、前記網膜画像を複数の所定の異なるクラスのうちの１つに属するものとして分類し、
前記機械学習アルゴリズムによる前記網膜画像の前記分類が信頼できないことをさらに示す警告を前記アラートとして生成する、
ことを含む、請求項１２に記載の方法。

【請求項14】

前記網膜画像を前記複数の所定の異なるクラスのうちの１つに属するものとして分類することは、前記網膜画像を被検者の左眼又は右眼のいずれかの網膜画像として分類することを含む、請求項１３に記載の方法。

【請求項15】

コンピュータによって実行されると請求項８から請求項１４のいずれか一項に記載の方法を前記コンピュータに実行させる、コンピュータプログラム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０１０２

【補正方法】変更

【補正の内容】

【0102】

本明細書に記載の装置を、その特徴から逸脱することなく他の特定の形態で具現化することができる。前述の実施形態は、説明したシステム及び方法を限定するものではなく、例示するものである。したがって、本明細書に記載した装置の範囲は、前述の説明ではなく添付の特許請求の範囲によって示され、請求項の均等物の意味及び範囲内に入る変更は特許請求の範囲に包含される。
以下、本発明の付記項を記載する。
（付記項１）
機械学習アルゴリズムによって予測された眼球（３０）の網膜（２０）の少なくとも一部分の網膜画像（１２００）におけるランドマーク特徴の予測位置が信頼できないことを示すアラートを生成する方法であって、
前記機械学習アルゴリズムによって予測された前記網膜画像（１２００）における前記ランドマーク特徴の前記予測位置を受信し（Ｓ２１０）、
前記ランドマーク特徴の位置の確率分布を含むとともに、複数の所定のクラスの網膜画像を有する網膜画像のセットに属する網膜画像における前記ランドマーク特徴の決定された位置に基づいた混合モデル（１３００）と、前記ランドマーク特徴の前記受信された予測位置とを用いて、前記複数の所定のクラスの各クラスに対し、前記網膜画像（１２００）が前記クラスに属する確率を示すそれぞれの確率指標を決定し（Ｓ２２０）、
前記決定された確率指標を用いて、前記網膜画像（１２００）が前記所定のクラスのいずれにも属さないかどうかを判断し（Ｓ２３０）、
前記網膜画像（１２００）が前記所定のクラスのいずれにも属さないと判断したことに応答して、前記網膜画像（１２００）における前記予測位置が信頼できないことを示すアラートを生成する（Ｓ２４０）、
ことを含む方法。
（付記項２）
前記決定された確率指標を用いた、前記網膜画像（１２００）が前記所定のクラスのいずれにも属さないかどうかの判断は、
前記決定された確率指標の各々が閾値を超えるかどうか判断すること、
前記決定された確率指標のいずれも前記閾値を超えない場合、前記網膜画像（１２００）は前記所定のクラスのいずれにも属さないと判断すること、及び
前記決定された確率指標のうちの少なくとも１つが前記閾値を超える場合、前記網膜画像（１２００）が前記所定のクラスのうちの少なくとも１つに属すると判断すること、
によって行われる、付記項１に記載の方法。
（付記項３）
前記混合モデル（１３００）はさらに、前記機械学習アルゴリズムによる処理によって前記ランドマーク特徴のそれぞれの位置を予測した結果、信頼できないと判断された予測位置が得られた、網膜画像の失敗クラスの網膜画像におけるランドマーク特徴の決定された位置に基づいており、
前記ランドマーク特徴の前記受信された予測位置及び前記混合モデルを用いて、前記失敗クラスに対し、前記網膜画像（１２００）が前記失敗クラスに属する確率を示す確率指標を決定する（Ｓ３１０）ことをさらに含み、
前記失敗クラスに対して決定された前記確率指標が前記複数の所定のクラスに対して決定された前記確率指標よりも大きい場合、前記網膜画像（１２００）が前記失敗クラスに属すると判断し（Ｓ３２０Ａ）、
前記失敗クラスについて決定された前記確率指標が前記複数の所定のクラスに対して決定された前記確率指標よりも大きくない場合、前記網膜画像（１２００）が前記所定の網膜画像クラスのうちの１つに属すると判断する（Ｓ３２０Ｂ）、
付記項１に記載の方法。
（付記項４）
前記混合モデル（１３００）はさらに、前記機械学習アルゴリズムによる処理によって前記ランドマーク特徴のそれぞれの位置を予測した結果、信頼できないと判断された予測位置が得られた、網膜画像の失敗クラスの網膜画像におけるランドマーク特徴の決定された位置に基づいており、
前記ランドマーク特徴の前記受信された予測位置及び前記混合モデルを用いて、前記失敗クラスに対し、前記網膜画像（１２００）が前記失敗クラスに属する確率を示すそれぞれの確率指標を決定する（Ｓ４１０）ことをさらに含み、
前記複数の所定のクラスの各所定のクラスに対し、前記失敗クラスに対して決定された前記確率指標と前記所定のクラスに対して決定された前記確率指標とに基づいた比較メトリックのそれぞれの値を決定し（Ｓ４１５）、
前記複数の所定クラスに対して決定された前記比較メトリックの前記値が所定の閾値を超えた場合、前記網膜画像（１２００）が前記失敗クラスに属すると判断し（Ｓ４２０Ａ）、
前記複数の所定のクラスに対して決定された前記比較メトリックの前記値のうちの少なくとも１つが所定の閾値を超えない場合、前記網膜画像（１２００）が前記所定の網膜画像クラスのうちの１つに属すると判断する（Ｓ４２０Ｂ）、
付記項１に記載の方法。
（付記項５）
前記失敗クラスに対して決定された前記確率指標と、前記所定のクラスに対して決定された前記確率指標との比のそれぞれの値が、前記複数の所定のクラスの各所定のクラスの前記比較メトリックの前記値として決定される、付記項４に記載の方法。
（付記項６）
前記失敗クラスに対して決定された前記確率指標と、前記所定のクラスに対して決定された前記確率指標との差に基づいたそれぞれの値が、前記複数の所定のクラスの各所定のクラスの前記比較メトリックの前記値として決定される、付記項４に記載の方法。
（付記項７）
前記網膜画像（１２００）における前記ランドマーク特徴の前記予測位置の受信は、前記機械学習アルゴリズムによって予測された、前記網膜画像（１２００）における第１のランドマーク特徴の予測位置と前記網膜画像（１２００）における第２のランドマーク特徴の予測位置とを受信することを含み、
前記第１のランドマーク特徴の前記受信された予測位置と、前記第２のランドマーク特徴の前記受信された予測位置と、前記第２のランドマーク特徴の位置の確率分布をさらに含み、かつ前記網膜画像のセットに属する前記網膜画像における第２のランドマーク特徴の決定された位置に基づいた混合モデル（１３００）とを用いて、前記複数の所定のクラスの各クラスに対し、前記網膜画像が前記クラスに属する確率を示すそれぞれの確率指標を決定し、
前記網膜画像（１２００）が前記所定のクラスのいずれにも属さないという判断に応答して生成される前記アラートは、前記網膜画像における前記第１のランドマーク特徴の前記予測位置又は前記第２のランドマーク特徴の前記予測位置のうち少なくとも１つが信頼できないことを示す、
付記項１から付記項６のいずれか一項に記載の方法。
（付記項８）
前記第１のランドマーク特徴は前記網膜画像（１２００）における中心窩（１２１０）であり、前記第２のランドマーク特徴は前記網膜画像（１２００）における視神経乳頭である、付記項７に記載の方法。
（付記項９）
前記機械学習アルゴリズムを使用して前記網膜画像（１２００）における前記ランドマーク特徴の位置を予測することをさらに含む、付記項１から付記項８のいずれか一項に記載の方法。
（付記項１０）
前記機械学習アルゴリズムはさらに、前記網膜画像（１２００）における前記ランドマーク特徴の前記予測位置に基づいて、前記網膜画像（１２００）を前記複数の所定のクラスのうちの１つに属するものとして分類し、
前記予測位置が信頼できないと判断された場合に生成される前記アラートは、前記機械学習アルゴリズムによる前記網膜画像（１２００）の前記分類が信頼できないことを示す、
付記項９に記載の方法。
（付記項１１）
前記網膜画像（１２００）を前記複数の所定のクラスのうちの１つに属するものとして分類することは、前記網膜画像（１２００）を被検者の左眼又は右眼のいずれかの網膜画像として分類することを含む、付記項１０に記載の方法。
（付記項１２）
前記機械学習アルゴリズムは、前記網膜画像（１２００）における前記ランドマーク特徴の前記位置を予測するように構成された畳み込みニューラルネットワークを含む、付記項１から付記項１１のいずれか一項に記載の方法。
（付記項１３）
コンピュータプログラム命令を含み、コンピュータによって実行されると付記項１から付記項１２のいずれか一項に記載の方法を前記コンピュータに実行させる、コンピュータプログラム。
（付記項１４）
機械学習アルゴリズムによって予測された眼球（３０）の網膜（２０）の少なくとも一部分の網膜画像におけるランドマーク特徴の予測位置が信頼できないことを示すアラートを生成する装置（１０１０）であって、
前記機械学習アルゴリズムによって予測された前記網膜画像（１２００）における前記ランドマーク特徴の前記予測位置を受信するように構成された受信モジュール（１０２０）と、
前記ランドマーク特徴の位置の確率分布を含むとともに、複数の所定のクラスの網膜画像を有する網膜画像のセットに属する網膜画像における前記ランドマーク特徴の決定された位置に基づいた混合モデルと、前記ランドマーク特徴の前記受信された予測位置とを用いて、前記複数の所定のクラスの各クラスに対し、前記網膜画像（１２００）が前記クラスに属する確率を示すそれぞれの確率指標を決定するように構成された確率指標決定モジュール（１０３０）と、
前記決定された確率指標を用いて、前記網膜画像（１２００）が前記所定のクラスのいずれにも属さない外れ値であるかどうかを判断するように構成された外れ値検出モジュール（１０４０）と、
前記網膜画像（１２００）が前記所定のクラスのいずれにも属さないと前記外れ値検出モジュール（１０５０）が判断したことに応答して、前記網膜画像（１２００）における前記予測位置が信頼できないことを示すアラートを生成するように構成されたアラート生成モジュール（１０５０）と、
を含む装置。
（付記項１５）
前記外れ値検出モジュール（１０５０）は、前記決定された確率指標を用いて前記網膜画像（１２００）が前記所定のクラスのいずれにも属さないかどうかを判断するように構成されており、前記判断は、
前記決定された確率指標の各々が閾値を超えるかどうか判断すること、
前記決定された確率指標のいずれも前記閾値を超えない場合、前記網膜画像（１２００）は前記所定のクラスのいずれにも属さないと判断すること、及び
前記決定された確率指標のうちの少なくとも１つが前記閾値を超える場合、前記網膜画像（１２００）は前記所定のクラスのうちの少なくとも１つに属すると判断すること、
によって行われる、付記項１４に記載の装置（１０１０）。
（付記項１６）
前記混合モデルはさらに、前記機械学習アルゴリズムによる処理によって前記ランドマーク特徴のそれぞれの位置を予測した結果、信頼できないと判断された予測位置が得られた、網膜画像の失敗クラスの網膜画像におけるランドマーク特徴の決定された位置に基づいており、
前記確率指標決定モジュール（１０３０）はさらに、前記ランドマーク特徴の前記受信された予測位置及び前記混合モデルを用いて、前記失敗クラスに対し、前記網膜画像（１２００）が前記失敗クラスに属する確率を示すそれぞれの確率指標を決定するように構成されており、
前記外れ値検出モジュール（１０４０）は、前記失敗クラスに対して決定された前記確率指標が前記複数の所定のクラスに対して決定された前記確率指標よりも大きい場合、前記網膜画像（１２００）が前記失敗クラスに属すると判断するように構成されており、
前記外れ値検出モジュール（１０４０）は、前記失敗クラスについて決定された前記確率指標が前記複数の所定のクラスに対して決定された前記確率指標よりも大きくない場合、前記網膜画像（１２００）が前記所定の網膜画像クラスのうちの１つに属すると判断するように構成されている、
付記項１４に記載の装置（１０１０）。
（付記項１７）
前記混合モデルはさらに、前記機械学習アルゴリズムによる処理によって前記ランドマーク特徴のそれぞれの位置を予測した結果、信頼できないと判断された予測位置が得られた、網膜画像の失敗クラスの網膜画像におけるランドマーク特徴の決定された位置に基づいており、
前記確率指標決定モジュール（１０３０）はさらに、前記ランドマーク特徴の前記受信された予測位置及び前記混合モデルを用いて、前記失敗クラスに対し、前記網膜画像（１２００）が前記失敗クラスに属する確率を示す確率指標を決定するように構成されており、
前記確率指標決定モジュール（１０３０）はさらに、前記複数の所定のクラスの各所定のクラスに対し、前記失敗クラスに対して決定された前記確率指標と前記所定のクラスに対して決定された前記確率指標とに基づいた比較メトリックのそれぞれの値を決定するように構成されており、
前記外れ値検出モジュール（１０４０）は、前記複数の所定クラスに対して決定された前記比較メトリックの前記値が所定の閾値を超えた場合、前記網膜画像（１２００）が前記失敗クラスに属すると判断するように構成されており、
前記外れ値検出モジュール（１０４０）は、前記複数の所定のクラスに対して決定された前記比較メトリックの前記値のうちの少なくとも１つが所定の閾値を超えない場合、前記網膜画像（１２００）が前記所定の網膜画像クラスのうちの１つに属すると判断するように構成されている、
付記項１４に記載の装置（１０１０）。
（付記項１８）
前記外れ値検出モジュール（１０４０）は、前記失敗クラスに対して決定された前記確率指標と、前記所定のクラスに対して決定された前記確率指標との比のそれぞれの値を、前記複数の所定のクラスの各所定のクラスの前記比較メトリックの前記値として決定するように構成されている、付記項１７に記載の装置（１０１０）。
（付記項１９）
前記外れ値検出モジュール（１０４０）は、前記失敗クラスに対して決定された前記確率指標と、前記所定のクラスに対して決定された前記確率指標との差に基づいたそれぞれの値を、前記複数の所定のクラスの各所定のクラスの前記比較メトリックの前記値として決定するように構成されている、付記項１７に記載の装置（１０１０）。
（付記項２０）
前記受信モジュール（１０２０）は、前記機械学習アルゴリズムによって予測された、前記網膜画像（１２００）における第１のランドマーク特徴の予測位置と前記網膜画像（１２００）における第２のランドマーク特徴の予測位置とを、前記網膜画像（１２００）における前記ランドマーク特徴の前記予測位置として受信するように構成されており、
確率指標決定モジュール（１０３０）は、前記第１のランドマーク特徴の前記受信された予測位置と、前記第２のランドマーク特徴の前記受信された予測位置と、前記第２のランドマーク特徴の位置の確率分布をさらに含み、なおかつ、前記網膜画像のセットに属する前記網膜画像における第２のランドマーク特徴の決定された位置に基づいた混合モデル（１３００）とを用いて、前記複数の所定のクラスの各クラスに対し、前記網膜画像（１２００）が前記クラスに属する確率を示すそれぞれの確率指標を決定するように構成されており、
前記アラート生成モジュール（１０５０）は、前記網膜画像（１２００）における前記第１のランドマーク特徴の前記予測位置又は前記第２のランドマーク特徴の前記予測位置のうち少なくとも１つが信頼できないことを示す警告を前記アラートとして生成するように構成されている、
付記項１４から付記項１９のいずれか一項に記載の装置（１０１０）。
（付記項２１）
前記第１のランドマーク特徴は前記網膜画像（１２００）における中心窩（１２１０）であり、前記第２のランドマーク特徴は前記網膜画像（１２００）における視神経乳頭である、付記項２０に記載の装置（１０１０）。
（付記項２２）
前記機械学習アルゴリズムを使用して前記網膜画像（１２００）における前記ランドマーク特徴の位置を予測するように構成されたランドマーク位置予測モジュール（５５）をさらに含む、付記項１４から付記項２１のいずれか一項に記載の装置（１０１０）。
（付記項２３）
前記ランドマーク位置予測モジュール（５５）は、前記機械学習アルゴリズムを使用して、前記網膜画像（１２００）における前記ランドマーク特徴の前記予測位置に基づいて、前記網膜画像（１２００）を前記複数の所定のクラスのうちの１つに属するものとして分類するように構成されており、
前記アラート生成モジュール（１０５０）は、前記機械学習アルゴリズムによる前記網膜画像（１２００）の前記分類が信頼できないことを示す警告を前記アラートとして生成するように構成されている、
付記項２２に記載の装置（１０１０）。
（付記項２４）
前記ランドマーク位置予測モジュール（５５）は、前記網膜画像（１２００）を被検者の左眼又は右眼のいずれかの網膜画像として分類することにより、前記網膜画像（１２００）を前記複数の所定のクラスのうちの１つに属するものとして分類するように構成されている、付記項２３に記載の装置（１０１０）。
（付記項２５）
前記機械学習アルゴリズムは、前記網膜画像（１２００）における前記ランドマーク特徴の前記位置を予測するように構成された畳み込みニューラルネットワークを含む、付記項１４から付記項２４のいずれか一項に記載の装置（１０１０）。
（付記項２６）
眼球（３０）の網膜（２０）の少なくとも一部分の網膜画像を取得するための眼球撮像システム（１０００）であって、
網膜画像（５１０）を取得するように構成された画像取得モジュール（４０）と、
機械学習アルゴリズムを使用して前記網膜画像におけるランドマーク特徴の位置を予測するように構成されたランドマーク位置予測モジュール（５５）と、
前記ランドマーク位置予測モジュール（５５）によって予測された前記網膜画像におけるランドマーク特徴の前記位置が信頼できないことを示すアラートを生成する付記項１４から付記項２５のいずれか一項に記載の装置（１０１０）と、
を含む眼球撮像システム。

【国際調査報告】