IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オプトス ピーエルシーの特許一覧

<>
  • 特開-眼の画像内における病変の検知 図1
  • 特開-眼の画像内における病変の検知 図2
  • 特開-眼の画像内における病変の検知 図3
  • 特開-眼の画像内における病変の検知 図4A
  • 特開-眼の画像内における病変の検知 図4B
  • 特開-眼の画像内における病変の検知 図5
  • 特開-眼の画像内における病変の検知 図6
  • 特開-眼の画像内における病変の検知 図7
  • 特開-眼の画像内における病変の検知 図8
  • 特開-眼の画像内における病変の検知 図9
  • 特開-眼の画像内における病変の検知 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023021440
(43)【公開日】2023-02-10
(54)【発明の名称】眼の画像内における病変の検知
(51)【国際特許分類】
   A61B 3/10 20060101AFI20230202BHJP
   A61B 3/14 20060101ALI20230202BHJP
【FI】
A61B3/10 100
A61B3/10 300
A61B3/14
【審査請求】有
【請求項の数】19
【出願形態】OL
(21)【出願番号】P 2022202121
(22)【出願日】2022-12-19
(62)【分割の表示】P 2021195247の分割
【原出願日】2019-12-20
(31)【優先権主張番号】18214689.4
(32)【優先日】2018-12-20
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】509012991
【氏名又は名称】オプトス ピーエルシー
(74)【代理人】
【識別番号】100084995
【弁理士】
【氏名又は名称】加藤 和詳
(72)【発明者】
【氏名】ファン ヘーメルト ヤノ
(72)【発明者】
【氏名】スワン デレク アリステアー
(57)【要約】
【課題】眼の画像化システム(420)により取得された眼の部分の画像(400)内において病変を示す領域(410)を検索するためのコンピュータにより実行される方法を提供する。
【解決手段】前記方法が、前記画像を定義する画像データを受信すること(S10)、学習アルゴリズムを用いて前記受信された画像データを処理することにより、前記画像内の前記領域を検索すること(S12)、及び前記病変を示す前記画像内の領域が見つかった場合、前記画像内の前記領域の位置を確定すること(S14)、眼の測定装置に、前記眼の前記部分に対する測定の位置を設定するための、前記確定された位置に基づく基準点を用いて、前記眼の前記部分に対する前記測定を実施させて、測定データを生成させるための命令を生成すること(S16)、及び前記測定データを前記眼の測定装置から受信すること(S18)、を含む。
【選択図】図3
【特許請求の範囲】
【請求項1】
眼の画像化システムにより取得された眼の部分の画像内において病変を示す領域を検索するためのコンピュータにより実行される方法であって、前記方法が、
前記画像を定義する画像データを受信し、
健康な眼の前記部分の複数の画像を定義する画像データと、前記病変を示す少なくとも1つの領域をそれぞれが有する不健康な眼の前記部分の複数の画像を定義する画像データに基づいて訓練された教師あり学習アルゴリズムを用いて学習されたニューラルネットワークについて、当該ニューラルネットワークの出力に対する当該ニューラルネットワークの少なくとも一つの入力変数の関連性を確定することで当該ニューラルネットワークを分解して前記受信された画像データを処理することにより、前記画像内の前記領域を検索し、
前記病変を示す前記画像内の領域が、前記検索することにおいて見つかった場合、
前記画像内の前記領域の位置を確定し、
眼の測定装置に、前記眼の前記部分に対する測定の位置を設定するための、前記確定された位置に基づく基準点を用いて、前記眼の前記部分に対する前記測定を実施させて、測定データを生成させるための命令を生成し、
前記測定データを前記眼の測定装置から受信すること、
を含む、
方法。
【請求項2】
表示ユニットを制御して、前記眼の前記部分の前記画像内の前記領域の前記位置と、前記受信された測定データの表示を表示させるための命令を生成することをさらに含む、
請求項1に記載のコンピュータにより実行される方法。
【請求項3】
前記ニューラルネットワークは畳み込みニューラルネットワークであり、
前記受信された画像データにより定義された前記画像の複数の異なる区分のそれぞれについて、
マスク画像を生成するために前記画像の前記区分をマスクし、
前記学習アルゴリズムを用いて前記マスク画像を定義する画像データを処理することにより、前記マスク画像内の前記領域を検索し、
前記マスク画像を定義する前記画像データを用いて実施された前記検索の結果と、前記受信された画像データを用いて実施された検索の結果との間の差を確定する、プロセスを実行し、
前記画像内の前記領域の前記位置として、前記確定された差が最大である区分の位置を確定することにより、
前記ニューラルネットワークが分解される、
請求項1又は請求項2に記載のコンピュータにより実行される方法。
【請求項4】
前記ニューラルネットワークは畳み込みニューラルネットワークであり、
テイラー分解を、前記ニューラルネットワークの上層から前記ニューラルネットワーク
の入力層までの前記ニューラルネットワークの各層に対して適用することにより、前記ニューラルネットワークの出力に対する前記ニューラルネットワークの各入力変数の関連性を確定し、
前記ニューラルネットワークの最も関連する入力変数に対応する前記受信された画像データの少なくとも1つの区分に基づいて前記画像内の前記領域の前記位置を確定することにより、
前記畳み込みニューラルネットワークが分解される、
請求項1又は請求項2に記載のコンピュータにより実行される方法。
【請求項5】
前記ニューラルネットワークは畳み込みニューラルネットワークであり、
前記畳み込みニューラルネットワークの逆畳み込みを行うことにより、前記畳み込みニューラルネットワークが分解される、
請求項1又は請求項2に記載のコンピュータにより実行される方法。
【請求項6】
眼の画像化システムにより取得された眼の部分の画像内において病変の存在を検索するためのコンピュータにより実行される方法であって、前記方法が、
前記画像を定義する画像データを受信すること、
健康な眼の複数の画像を定義する画像データと、複数の異なる種類の病変のうちの対応する1つをそれぞれが有する不健康な眼の複数の画像に基づいて訓練された教師あり学習アルゴリズムを用いて学習されたニューラルネットワークについて、当該ニューラルネットワークの出力に対する当該ニューラルネットワークの少なくとも一つの入力変数の関連性を確定することで当該ニューラルネットワークを分解して前記受信された画像データを処理することにより、前記画像内において前記複数の異なる種類の病変のうちの少なくとも1つの存在を検索すること、及び
前記複数の異なる種類の病変のうちの少なくとも1つが、前記画像内に存在すると分かった場合、
前記画像内に存在すると分かった少なくとも1種類の病変のそれぞれについて、前記眼の前記部分に対する測定を実施するために使用されるべき複数の異なる種類の測定様式のうちの対応する1つを選択すること、
前記画像内に存在すると分かった前記少なくとも1種類の病変のそれぞれについて、前記対応する選択された測定様式の眼の測定装置に、前記眼の前記部分に対する前記測定を実施させるための対応する命令を生成すること、及び
選択された各測定様式の前記眼の測定装置により実施された前記測定の測定データを受信すること、
を含む
方法。
【請求項7】
表示ユニットを制御して、前記眼の前記部分の前記画像内の領域の記録される位置と、前記受信された測定データの表示を表示させるための命令を生成することをさらに含む、
請求項6に記載のコンピュータにより実行される方法。
【請求項8】
前記ニューラルネットワークは畳み込みニューラルネットワークであり、
前記受信された画像データにより定義された前記画像の複数の異なる区分のそれぞれについて、
マスク画像を生成するために前記画像の前記区分をマスクし、
前記学習アルゴリズムを用いて前記マスク画像を定義する画像データを処理することにより、前記マスク画像内の領域を検索し、
前記マスク画像を定義する前記画像データを用いて実施された前記検索の結果と、前記受信された画像データを用いて実施された検索の結果との間の差を確定する、プロセスを実行し、
記録される位置として、前記確定された差が最大である区分の位置を確定することにより、
前記ニューラルネットワークが分解される、
請求項6又は請求項7に記載のコンピュータにより実行される方法。
【請求項9】
前記ニューラルネットワークは畳み込みニューラルネットワークであり、
テイラー分解を、前記ニューラルネットワークの上層から前記ニューラルネットワークの入力層までの前記ニューラルネットワークの各層に対して適用することにより、前記ニューラルネットワークの出力に対する前記ニューラルネットワークの各入力変数の関連性を確定し、
前記ニューラルネットワークの最も関連する入力変数に対応する前記受信された画像データの少なくとも1つの区分に基づいて記録される位置を確定することにより、
前記畳み込みニューラルネットワークが分解される、
請求項6又は請求項7に記載のコンピュータにより実行される方法。
【請求項10】
前記ニューラルネットワークは畳み込みニューラルネットワークであり、
前記畳み込みニューラルネットワークの逆畳み込みを行うことにより、前記畳み込みニューラルネットワークが分解される、
請求項6又は請求項7に記載のコンピュータにより実行される方法。
【請求項11】
請求項1~請求項10のいずれか一項に記載の方法をコンピュータに実行させるコンピュータプログラムを格納するコンピュータ可読記憶媒体。
【請求項12】
眼の画像化システムにより取得された眼の部分の画像内において病変を示す領域を検索する装置であって、前記装置が、
前記画像を定義する画像データを受信するように構成された受信モジュールと、
健康な眼の前記部分の複数の画像を定義する画像データと、前記病変を示す少なくとも1つの領域をそれぞれが有する不健康な眼の前記部分の複数の画像を定義する画像データに基づいて訓練された教師あり学習アルゴリズムを用いて学習されたニューラルネットワークについて、当該ニューラルネットワークの出力に対する当該ニューラルネットワークの少なくとも一つの入力変数の関連性を確定することで当該ニューラルネットワークを分解して前記受信された画像データを処理することにより、前記画像内の前記領域を検索するように構成された検索モジュールと、
前記検索モジュールにより見つけられた前記病変を示す前記画像内の領域に応じて、前記画像内の前記領域の位置を確定するプロセス、及び眼の測定装置に、前記眼の前記部分に対する測定の位置を設定するための、前記確定された位置に基づく基準点を用いて、前記眼の前記部分に対する前記測定を実施させて、測定データを生成させるための命令を生成するプロセス、を実行するように構成された命令生成モジュールと、を含み、
前記受信モジュールが、前記測定データを前記眼の測定装置から受信するようにさらに構成される、
装置。
【請求項13】
前記ニューラルネットワークは畳み込みニューラルネットワークであり、
前記受信された画像データにより定義された前記画像の複数の異なる区分のそれぞれについて、
マスク画像を生成するために前記画像の前記区分をマスクし、
前記学習アルゴリズムを用いて前記マスク画像を定義する画像データを処理することにより、前記マスク画像内の前記領域を検索し、
前記マスク画像を定義する前記画像データを用いて実施された前記検索の結果と、前記受信された画像データを用いて実施された検索の結果との間の差を確定する、プロセスを実行し、
記録される位置として、前記確定された差が最大である区分の位置を確定することにより、
前記検索モジュールは前記ニューラルネットワークを分解する、
請求項12に記載の装置。
【請求項14】
前記ニューラルネットワークは畳み込みニューラルネットワークであり、
テイラー分解を、前記ニューラルネットワークの上層から前記ニューラルネットワークの入力層までの前記ニューラルネットワークの各層に対して適用することにより、前記ニューラルネットワークの出力に対する前記ニューラルネットワークの各入力変数の関連性を確定し、
前記ニューラルネットワークの最も関連する入力変数に対応する前記受信された画像データの少なくとも1つの区分に基づいて記録される位置を確定することにより、
前記検索モジュールは前記畳み込みニューラルネットワークを分解する、
請求項12に記載の装置。
【請求項15】
前記ニューラルネットワークは畳み込みニューラルネットワークであり、
前記検索モジュールは、前記畳み込みニューラルネットワークの逆畳み込みを行うことにより、前記畳み込みニューラルネットワークを分解する、
請求項12に記載の装置。
【請求項16】
眼の画像化システムにより取得された眼の部分の画像内において病変の存在を検索する装置であって、前記装置が、
前記画像を定義する画像データを受信するように構成された受信モジュールと、
健康な眼の複数の画像を定義する画像データと、複数の異なる種類の病変のうちの対応する1つをそれぞれが有する不健康な眼の複数の画像に基づいて訓練された教師あり学習アルゴリズムを用いて学習されたニューラルネットワークについて、当該ニューラルネットワークの出力に対する当該ニューラルネットワークの少なくとも一つの入力変数の関連性を確定することで当該ニューラルネットワークを分解して前記受信された画像データを処理することにより、前記画像内において前記複数の異なる種類の病変のうちの少なくとも1つの存在を検索するように構成された検索モジュールと、
前記検索モジュールにより前記画像内において存在すると分かった前記複数の異なる種類の病変のうちの少なくとも1つに応じて、前記画像内に存在すると分かった少なくとも1種類の病変のそれぞれについて、前記眼の前記部分に対する測定を実施するために使用されるべき複数の異なる種類の測定様式のうちの対応する1つを選択するプロセス、及び前記画像内に存在すると分かった前記少なくとも1種類の病変のそれぞれについて、前記対応する選択された測定様式の眼の測定装置に、前記眼の前記部分に対する前記測定を実施させるための対応する命令を生成するプロセス、を実行するように構成された命令生成モジュールと、を含み、
前記受信モジュールが、選択された各測定様式の前記眼の測定装置により実施された前記測定の測定データを受信するようにさらに構成される
装置。
【請求項17】
前記ニューラルネットワークは畳み込みニューラルネットワークであり、
前記受信された画像データにより定義された前記画像の複数の異なる区分のそれぞれについて、
マスク画像を生成するために前記画像の前記区分をマスクし、
前記学習アルゴリズムを用いて前記マスク画像を定義する画像データを処理することにより、前記マスク画像内の領域を検索し、
前記マスク画像を定義する前記画像データを用いて実施された前記検索の結果と、前記受信された画像データを用いて実施された検索の結果との間の差を確定する、プロセスを実行し、
記録される位置として、前記確定された差が最大である区分の位置を確定することにより、
前記検索モジュールは前記ニューラルネットワークを分解する、
請求項16に記載の装置。
【請求項18】
前記ニューラルネットワークは畳み込みニューラルネットワークであり、
テイラー分解を、前記ニューラルネットワークの上層から前記ニューラルネットワークの入力層までの前記ニューラルネットワークの各層に対して適用することにより、前記ニューラルネットワークの出力に対する前記ニューラルネットワークの各入力変数の関連性を確定し、
前記ニューラルネットワークの最も関連する入力変数に対応する前記受信された画像データの少なくとも1つの区分に基づいて記録される位置を確定することにより、
前記検索モジュールは前記畳み込みニューラルネットワークを分解する、
請求項16に記載の装置。
【請求項19】
前記ニューラルネットワークは畳み込みニューラルネットワークであり、
前記検索モジュールは、前記畳み込みニューラルネットワークの逆畳み込みを行うことにより、前記畳み込みニューラルネットワークを分解する、
請求項16に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書中の例示的態様は、一般的に、画像処理の分野に関し、より具体的には、眼の画像化された部分における病変の存在及び/又は位置の特定を容易にする眼の画像の処理に関する。
【背景技術】
【0002】
眼の画像化システムにより取得された対象者の眼の部分の眼の画像は、健康な眼の比較画像には存在しない病変の何らかの徴候を含む1又は複数の領域を有することがあり、そのような領域(単数又は複数)の存在は、前記対象者の病気又は他の不健康な状態を示している可能性がある。例として、対象者の網膜の蛍光眼底血管造影図に、血管からの漏出が起こったように見受けられる1又は複数の領域が含まれることがあり、このことは黄斑浮腫の徴候であり得る。眼の画像は、経験豊富な眼科医が取得及び判断する必要がある。しかし、既存の技術は、眼科医及び/又は患者にとって時間がかかり、さらに下された判断が間違いであることもよくある。
【発明の概要】
【0003】
本発明の発明者たちは、本明細書中の第1の例示的態様に従い、眼の画像化システムにより取得された眼の部分の画像内において病変を示す領域を検索するためのコンピュータにより実行される方法を発明した。前記方法は、前記画像を定義する画像データを受信すること、及び健康な眼の前記部分の複数の画像を定義する画像データと、前記病変を示す少なくとも1つの領域をそれぞれが有する不健康な眼の前記部分の複数の画像を定義する画像データに基づいて訓練された学習アルゴリズムを用いて、前記受信された画像データを処理することにより、前記画像内の前記領域を検索すること、を含む。前記病変を示す前記画像内の領域が、前記検索することにおいて見つかった場合、前記画像内の前記領域の位置が確定され、眼の測定装置に、前記眼の前記部分に対する測定の位置を設定するための、前記確定された位置に基づく基準点を用いて、前記眼の前記部分に対する前記測定を実施させて、測定データを生成させるための命令が生成され、前記測定データが前記眼の測定装置から受信される。
【0004】
本発明の発明者たちは、本明細書中の第2の例示的態様に従い、眼の画像化システムにより取得された眼の部分の画像内において病変の存在を検索するためのコンピュータにより実行される方法をさらに発明した。前記方法は、前記画像を定義する画像データを受信すること、及び健康な眼の複数の画像を定義する画像データと、複数の異なる種類の病変のうちの対応する1つをそれぞれが有する不健康な眼の複数の画像に基づいて訓練された学習アルゴリズムを用いて、前記受信された画像データを処理することにより、前記画像内において前記複数の異なる種類の病変のうちの少なくとも1つの存在を検索すること、を含む。前記方法は、前記複数の異なる種類の病変のうちの少なくとも1つが前記画像内に存在すると分かった場合、前記画像内に存在すると分かった少なくとも1種類の病変のそれぞれについて、前記眼の前記部分に対する測定を実施するために使用されるべき複数の異なる種類の測定様式のうちの対応する1つを選択するプロセス、前記画像内に存在すると分かった前記少なくとも1種類の病変のそれぞれについて、前記対応する選択された測定様式の眼の測定装置に、前記眼の前記部分に対する前記測定を実施させるための対応する命令を生成するプロセス、及び選択された各測定様式の前記眼の測定装置により実施された前記測定の測定データを受信するプロセス、をさらに含む。
【0005】
本発明の発明者たちは、本明細書中の第3の例示的態様に従い、コンピュータにより実行されたときに、前記コンピュータに、本明細書中の第1の例示的態様又は第2の例示的
態様による方法を実行させるコンピュータプログラムをさらに発明した。
【0006】
本発明の発明者たちは、本明細書中の第4の例示的態様に従い、本明細書中の第3の例示的態様によるコンピュータプログラムを記憶する非一過性のコンピュータ可読記憶媒体をさらに発明した。
【0007】
本発明の発明者たちは、本明細書中の第5の例示的態様に従い、本明細書中の第3の例示的態様によるコンピュータプログラムを搬送する信号をさらに発明した。
【0008】
本発明の発明者たちは、本明細書中の第6の例示的態様に従い、眼の画像化システムにより取得された眼の部分の画像内において病変を示す領域を検索する装置をさらに発明した。前記装置は、前記画像を定義する画像データを受信するように構成された受信モジュールを含む。前記装置は、健康な眼の前記部分の複数の画像を定義する画像データと、前記病変を示す少なくとも1つの領域をそれぞれが有する不健康な眼の前記部分の複数の画像を定義する画像データに基づいて訓練された学習アルゴリズムを用いて、前記受信された画像データを処理することにより、前記画像内の前記領域を検索するように構成された検索モジュールをさらに含む。前記装置は、前記検索モジュールにより見つけられた前記病変を示す前記画像内の領域に応じて、前記画像内の前記領域の位置を確定するプロセス、及び眼の測定装置に、前記眼の前記部分に対する測定の位置を設定するための、前記確定された位置に基づく基準点を用いて、前記眼の前記部分に対する前記測定を実施させて、測定データを生成させるための命令を生成するプロセス、を実行するように構成された命令生成モジュールをさらに含む。前記受信モジュールは、前記測定データを前記眼の測定装置から受信するようにさらに構成される。
【0009】
本発明の発明者たちは、本明細書中の第7の例示的態様に従い、眼の画像化システムにより取得された眼の部分の画像内において病変の存在を検索する装置をさらに発明した。前記装置は、前記画像を定義する画像データを受信するように構成された受信モジュール、及び健康な眼の複数の画像を定義する画像データと、複数の異なる種類の病変のうちの対応する1つをそれぞれが有する不健康な眼の複数の画像に基づいて訓練された学習アルゴリズムを用いて、前記受信された画像データを処理することにより、前記画像内において前記複数の異なる種類の病変のうちの少なくとも1つの存在を検索するように構成された検索モジュール、を含む。前記装置は、前記検索モジュールにより前記画像内に存在すると分かった前記複数の異なる種類の病変のうちの少なくとも1つに応じて、前記画像内に存在すると分かった少なくとも1種類の病変のそれぞれについて、前記眼の前記部分に対する測定を実施するために使用されるべき複数の異なる種類の測定様式のうちの対応する1つを選択するプロセス、及び前記画像内に存在すると分かった前記少なくとも1種類の病変のそれぞれについて、前記対応する選択された測定様式の眼の測定装置に、前記眼の前記部分に対する前記測定を実施させるための対応する命令を生成するプロセス、を実行するように構成された命令生成モジュールをさらに含む。前記受信モジュールは、選択された各測定様式の前記眼の測定装置により実施された前記測定の測定データを受信するようにさらに構成される。
【0010】
以下、添付の図面を参照しながら、本発明の実施形態について、単に非限定的例として詳しく説明する。図面の異なる図において見られる同じような参照符号は、そうではないという記載がない限り、同一又は機能的に同様の要素を示していることがある。
【図面の簡単な説明】
【0011】
図1】本明細書中の第1の例示的実施形態による、眼の画像内において病変を示す領域を検索する装置を示す概略図である。
図2】本明細書中に記載の例示的一実施例による、図1の装置の例示的信号処理ハードウェア構成を示すブロック図である。
図3】本明細書中の第1の例示的実施形態による、図1の装置が眼の画像内において病変を示す領域を検索するプロセスを示すフロー図である。
図4A】眼の画像化システムにより取得された眼の部分の画像を示す概略図である。
図4B】本明細書中の例示的一態様による、見つかった病変を示す領域がある図4Aの画像に印をつけた図である。
図5】本明細書中の第1の例示的態様により、健康な眼の部分の複数の画像を定義する画像データと、病変を示す少なくとも1つの領域をそれぞれが有する不健康な眼の前記部分の複数の画像を定義する画像データに基づいて、学習アルゴリズムがどのように訓練され得るかを示す概略図である。
図6】本明細書中の第2の例示的態様により、健康な眼の部分の複数の画像を定義する画像データと、複数の異なる種類の病変のうちの対応する1つを示す少なくとも1つの領域をそれぞれが有する不健康な眼の前記部分の複数の画像を定義する画像データに基づいて、学習アルゴリズムがどのように訓練され得るかを示す概略図である。
図7】入力層、隠れ層、及び出力層内に人工ニューロンを含む畳み込みニューラルネットワークの概略図である。
図8】本明細書中の例示的一実施形態による、図1の装置の検索モジュールが画像内において病変を示す領域を検索し得るプロセスを示すフロー図である。
図9】本明細書中の例示的一実施形態による、眼の画像内において病変の存在を検索する装置の概略図である。
図10】本明細書中の例示的一実施形態による、図9の装置が眼の画像内において病変の存在を検索するプロセスを示すフロー図である。
【発明を実施するための形態】
【0012】
本明細書中に記載の、ある例示的実施形態では、眼の画像内において病変を自動的に検知するために、下記に記載の画像処理技術を用いて、前記眼の画像が処理され、その後、より高い信頼性をもって、前記病変の存在を確定することを可能にする(及び/又は前記病変を特徴づけることを可能にする)補足的データを取得するために、前記眼に対するさらなる測定が自動的に命令される。例えば、前記眼は、異なる画像化様式(例えば、光学的干渉断層検査(OCT))、又は測定された光刺激に対するその機能的反応を用いて、画像化されてもよい。さらなる例として、前記画像処理により網膜の領域で血管からの漏出が起こった可能性を示す徴候が検知される蛍光眼底血管造影図の場合、前記領域に対するOCTスキャンが命令されてもよく、黄斑浮腫の存在及び場所を確定し、所望によりその重症度を診断するために、厚み又は体積についての測定値が前記OCTスキャンのデータから獲得されてもよい。よって、実施形態により、病気の早期発見のために、迅速かつ信頼性の高い病変の検知を容易にすることができ、前記眼の画像が前記眼の網膜又は他の部分の大部分をカバーする広視野画像又は超広視野画像であるその利点は、非常に明白である。
【0013】
以下、添付の図面を参照しながら、本発明の実施形態について詳しく記載する。
【0014】
[実施形態1]
【0015】
図1は、第1の例示的実施形態による、眼の画像化システム(図5の概略図において520で示されている)により取得された眼の部分の画像内において、病変を示す領域を検索する装置100の概略図である。装置100は、眼の画像化システム520により作成された画像を定義する画像データを受信するように構成された受信モジュール110、及び下記に詳しく記載する学習アルゴリズムを用いて、前記受信された画像データを処理することにより、前記画像内において病変を示す少なくとも1つの領域を自動的に検索する
ように構成された検索モジュール120、を含む。装置100は、検索モジュール120により見つけられた前記病変を示す前記画像内の領域に応じて、前記画像内の前記領域の位置を確定するプロセス、及び眼の測定装置に、前記眼の前記部分に対する測定の位置を設定するための、前記確定された位置に基づく基準点を用いて、前記眼の前記部分に対する前記測定を実施させて、測定データを生成させるための命令を生成するプロセス、を自動的に実行するように構成された命令生成モジュール130、をさらに含む。2つ以上のそのような領域が検索モジュール120により見つけられた場合、これらのプロセスが前記領域のそれぞれについて実行されてもよい。受信モジュール110は、前記測定データを前記眼の測定装置から受信するようにさらに構成される。所望により、装置100は、例示の本実施形態のように、表示制御信号発生器140を含んでもよい(この所望の構成要素は、図1において破線で示されている)。
【0016】
病変を示す領域は、健康な眼について同様に取得された画像には存在しない損傷、構造的障害、又は任意の他の異常を示す画像的特徴を含む、前記受信された画像データにより定義される前記画像の領域であってもよい。
【0017】
装置100は、(限定はされないが、)例えば、緑内障、中等度の糖尿病性網膜症、重症の糖尿病性網膜症、腫瘍、菌塊、浮腫、及び萎縮などを含み得る、前記眼の中で起こり得る任意の病変を示す領域を検索するように構成されてもよい。
【0018】
例示的な本実施形態では、受信モジュール110が、眼の画像化システム520により生成された前記眼の網膜の部分の画像を定義する画像データを受信するように構成される。しかし、他の例示的実施形態では、前記受信された画像データが、例えば、前記眼の前眼部の部分、又は前記眼の後眼部の部分など、前記眼の網膜以外の部分の画像を定義してもよい。さらに、前記受信された画像データは、例示的な本実施形態のように、二次元画像を定義してもよく、又は、代替的に、前記眼の前記画像化された部分の三次元画像を定義してもよい。前記受信された画像データは、当業者に知られている任意の適切な形式(圧縮又は非圧縮のどちらでもよい)で提供されてもよい。受信モジュール110により受信された前記画像データは、第1の画像化様式(下記により詳しく記述する)であり、画像化の解像度、アパーチャサイズ、及び波長を含み得る画像化パラメータの適切に選択された値を用いて、前記眼の網膜の画像化の結果を表すものである。
【0019】
眼の画像化システム520は、前記眼の網膜(又は、他の選択された部分)の画像化に適した任意の眼の画像化システムであってもよい。眼の画像化システム520は、例えば、眼底カメラ、又は走査型画像化システムの一種であってもよい。例として、例示的な本実施形態の眼の画像化システム520は、対象者の眼の網膜の画像を取得するように構成された、走査型画像化システムであり、走査レーザ検眼鏡(SLO)が例示的形式として挙げられる。例示的な本実施形態のSLOは、自発蛍光(AF)画像を取り込むように構成される(赤色―緑色(RG)反射画像又は他の蛍光モードからの画像を取り込むように構成されてもよい)が、代替的に又は付加的に、1又は複数の他の種類の画像を取得するように構成されてもよい。前記SLOは、例えば、網膜の表面の80%までの超広視野画像を生成することができる超広視野SLO(UWF―SLO)であってもよい。代替的に、眼の画像化システム520は、別の画像化様式、例えば、光学的干渉断層検査(OCT)スキャナであってもよく、この場合、本明細書中に記載の画像処理技術は、OCTスキャナにより取得された断層画像に適用可能である。さらなる代替として、眼の画像化システム520は、SLOとOCTスキャナを組み合わせたものであってもよく、この場合、本明細書中に記載の画像処理技術は、SLOとOCTスキャナを組み合わせたものにより取得されたSLO網膜スキャンとOCTスキャンの両方に適用可能である。
【0020】
受信モジュール110は、眼の画像化システム520又は当業者に知られている任意の
適切な手段により取得された画像を定義する画像データを受信するように構成される。例えば、受信モジュール110は、直接的通信リンク(ユニバーサル・シリアル・バス(USB)又はブルートゥース(商標)接続などの任意の適切な有線又は無線接続により提供されてもよい)、又は間接的通信リンク(ローカル・エリア・ネットワーク(LAN)、ワイド・エリア・ネットワーク(WAN)、及び/又はインターネットを含むネットワークにより提供されてもよい)を介して、眼の画像化システム520から前記画像データを受信してもよい。さらに、前記画像データは、前記眼の画像化システムにより取得された後、そのような画像データを受信する受信モジュール110により(例えば、CD又はハードディスクなどの記憶媒体から読み出されることにより、又はインターネットなどのネットワークを介して受信されることにより)受信されてもよい。
【0021】
さらに、前記画像データは、前記眼の画像化システムにより生成されている間に、受信モジュール110により受信されてもよい(さらに、続いて、下記に記載するように、眼の部分の画像内において病変を示す領域を検索するために処理されてもよい)。つまり、この画像データは、眼の画像化システム520が前記網膜の前記部分の前記画像を形成する前記画像データを全て生成し終えるのを待たずに、「オンザフライ」で取得されてもよい。しかし、例示的な本実施形態では、また本明細書の目的のためにも、受信モジュール110は、前記眼の前記部分の前記画像を定義する前記画像データを全て受信するように構成され、その後、検索モジュール120が、この画像データの処理を開始する。
【0022】
装置100が表示制御信号発生器140を含む例示の本実施形態のような実施形態では、表示制御信号発生器140が、LCDスクリーン又は他の種類の視覚表示ユニットなどの表示装置(図2において215で示されているような)を制御するための表示制御信号を生成し、前記眼の前記部分の前記画像内における前記病変を示す前記領域の前記位置と、前記受信された測定データの表示の両方を表示するように設置されてもよい。
【0023】
図2は、例示的な本実施形態のように、図1の装置100として機能するように構成されてもよい、プログラマブル信号処理ハードウェア200の概略図である。プログラマブル信号処理ハードウェア200は、上記に記載の画像データを受信し、眼の測定装置300に、前記眼の前記部分に対する前記測定を実施させて、前記測定データを生成させるための命令を生成し、前記測定データを眼の測定装置300から受信し、及び、所望により、表示装置215を制御して、前記眼の前記部分の前記画像と、前記測定データの表示の両方を表示させるための表示制御信号を出力する通信インターフェース(I/F)210を含む。信号処理装置200は、プロセッサ220(例えば、中央処理装置(CPU)又はグラフィック処理装置(GPU))、ワーキングメモリ230(例えば、ランダム・アクセス・メモリ)、及びコンピュータ可読命令を含むコンピュータプログラムを記憶する命令記憶装置240、をさらに含み、前記コンピュータプログラムがプロセッサ220により実行されると、プロセッサ220が、上記に記載の、検索モジュール120、命令生成モジュール130、及び、所望により、表示制御信号発生器140の機能を含む様々な機能を実行する。命令記憶装置240は、コンピュータ可読命令がプリロードされたROM(例えば、電気的消去可能プログラマブル・リード・オンリー・メモリ(EEPROM)又はフラッシュメモリの形式)を含んでもよい。代替的に、命令記憶装置240は、RAM又は同様の種類のメモリを含んでもよく、前記コンピュータプログラムの前記コンピュータ可読命令は、CD―ROM、DVD―ROMなどの形式の非一過性コンピュータ可読記憶媒体250などのコンピュータプログラム製品、又はコンピュータ可読命令を搬送するコンピュータ可読信号260から、前記RAM又は同様の種類のメモリに入力することができる。いずれの場合も、前記コンピュータプログラムが前記プロセッサにより実行されると、前記プロセッサが、本明細書中に記載の眼の画像化システムにより取得された眼の部分の画像内において、病変を示す領域又は病変の存在を検索する方法のうちの少なくとも1つを実行する。しかし、装置100は、代替的に、特定用途向け集積回路(AS
IC)などの非プログラム式ハードウェアとして実施されてもよいことに留意されたい。
【0024】
例示的な本実施形態では、図2に示されている、プロセッサ220、ワーキングメモリ230、及び命令記憶装置240を含むハードウェア構成要素の組み合わせ270が、検索モジュール120と命令生成モジュール130の機能を実行するように構成される。次に、これらの機能について、下記に詳しく記載する。装置100が表示制御信号発生器140を含む例示の本実施形態のような実施形態では、この所望の構成要素の機能も、ハードウェア構成要素の組み合わせ270と通信I/F210により提供される。
【0025】
例示的な本実施形態の装置100により実施される動作についての下記の記載からより明らかになるように、装置100は、眼の画像化システム520により取得された眼の前記部分の画像を定義する画像データを自動的に処理して、前記病変を示す各領域の前記画像内の位置を見つけて記録し、眼の測定装置300に、前記眼の前記部分に対する測定の対応する位置を設定するための、前記対応する領域の前記記録された位置に基づく基準点を用いて、前記眼の前記部分に対する前記測定を実施させて、測定データを生成させるための対応する命令を生成する。よって、装置100は、病変を含んでいることが疑われる各画像領域の前記位置と、前記対応する領域に関する追加の測定データの両方を取得する。装置100により自動的に取得された、これらの、異なるが相補的な種類の情報は、医師による検査のために一緒に提示することができるため、前記眼の画像を単独で検査するよりも、より迅速により高い信頼性をもって、前記受信された眼の画像の任意の病変を含む領域を特定することが可能になり得る。例えば、前記画像内の前記領域の前記記録された位置と、前記受信された測定データの表示の両方が表示装置215に(好ましくは、互いに重なり合うように)表示される例示的な実施形態では、表示装置215を見る人が、そのような領域が前記画像内で見つかるかどうか、及びどこに見つかるのかを容易に認識することができ得る。これらは、前記画像内の前記領域の前記記録された位置、又は前記受信された測定データの表示のうちのどちらか一方のみが表示装置215に表示されている状態で、どちらか一種類の情報のみを見ることでは認識しづらいことがある。同様の利点が、前記画像内の前記領域の前記記録された位置及び前記受信された測定データが自動的に処理され、関心のある領域を特定する代替的な例示的実施形態においても得られ得る。
【0026】
図3は、本明細書中の第1の例示的実施形態により、図1の装置100が、眼の画像化システム520により取得された眼の部分の画像内において病変を示す領域を検索するプロセスを示すフロー図である。
【0027】
図3のプロセスS10では、受信モジュール110が、眼の画像化システム520により取得された、第1の画像化様式の画像データを受信する。前記眼の画像化システムの前記画像化様式は、例えば、OCT、カラー眼底撮影法、蛍光眼底撮影法(FA)、インドシアニングリーン撮影法(ICG)、及び自家蛍光(AF)などの、当業者に知られている多くの異なる形式のうちの1つであってもよい。前記受信された画像データは、眼の画像化システム520により取得された前記眼の部分(例示的な本実施形態では、網膜)の画像を定義する。図4Aは、眼の画像化システム520により取得された前記受信された画像データにより定義された前記網膜の前記部分の画像400の概略図である。
【0028】
図3のプロセスS12では、検索モジュール120が、健康な眼の網膜の複数の画像を定義する画像データと、病変を示す少なくとも1つの領域をそれぞれが有する不健康な眼の網膜の複数の画像を定義する画像データに基づいて訓練された学習アルゴリズムを用いて、前記受信された画像データを処理することにより、画像400内において1種類の病変を示す領域(図4Aの410)を検索する。前記検索において見つかった各領域410の画像400内における位置は、装置100が図2のプログラマブル信号処理ハードウェ
ア200内で実施される場合、検索モジュール120により、例えば、ワーキングメモリ230内に記録される。
【0029】
図5は、健康な眼の複数の画像を定義する画像データ502と、不健康な眼の複数の画像を定義する画像データ501に基づいて、学習アルゴリズムがどのように訓練され得るかを示す概略図である。学習アルゴリズム530は、健康な眼の網膜の複数の画像を定義する画像データ502と、不健康な眼の網膜の複数の画像を定義する画像データ501とを含む、入力データの例示的な訓練セット500からモデル540を構築することにより、入力データから学習し、前記入力データに基づいて予測を行うように構成される。例として、画像データ501は、不健康な眼の前記部分の複数の画像を定義し、各画像は重症の糖尿病性網膜症を示す領域を有する。例示的な訓練セット500内の画像データ501により定義される前記複数の画像は、多数の対象者の網膜の画像を取得することにより収集されてもよい。さらに一般的には、各画像は、前記受信された画像データにより定義された画像としての、前記眼の同じ部分(又は眼510の実質的に同じ部分、又は前記同じ部分を含む前記眼の部分)に関する。さらに、例示的な訓練セット500内の前記画像データにより定義された各画像は、眼の画像化システム520、又は同じ画像化様式で動作する同じ種類の眼の画像化システムにより取得される。例として、画像データ501は、不健康な眼の前記部分の複数の画像を定義し、各画像は重症の糖尿病性網膜症を示す領域を有する。
【0030】
学習アルゴリズム530が教師あり学習アルゴリズム(例えば、ニューラルネットワーク、サポートベクタマシン、又は進化的アルゴリズムなど)である実施形態では、例示的な訓練セット500内の各例示的画像は、前記眼の前記部分の画像を定義する入力画像データと、その画像が「健康」な眼の部分に関するか「不健康」な眼の部分に関するかを示す所望の出力値とからなるペアである。教師あり学習アルゴリズム530は、例示的な訓練セット500内の前記画像データを分析して、モデル540を作成し、モデル540は、前記眼の前記部分の画像を定義する新しい初見の画像データについて「健康」か「不健康」かに分類するために使用することができる。学習アルゴリズム530は、1種類の病変のみを有する不健康な眼の複数の画像を定義する画像データ501に基づいて訓練されるため、モデル540は、複数の病変を区別することができない。モデル540では、例えば、重症の糖尿病性網膜症といった病変を示す領域が存在するか否かを確定することしかできない。
【0031】
図3のプロセスS12では、検索モジュール120が、例示的な本実施形態の変更例において、1種類の病変のみを示すのではなく、複数の異なる種類の病変のうちの1つを示す前記画像内の領域410を検索し、前記学習アルゴリズムを用いて前記受信された画像データを処理することにより、前記画像内の領域410を検索する。よって、例示的な本実施形態の前記変更例では、前記学習アルゴリズムが、前記複数の異なる種類の病変のうちの対応する1つをそれぞれが有する不健康な眼の前記部分の複数の画像を定義する画像データに基づいて訓練されてもよい。
【0032】
図6は、健康な眼の網膜の複数の画像を定義する画像データ604と、複数の異なる種類の病変のうちの対応する1つを示す少なくとも1つの領域をそれぞれが有する不健康な眼の網膜の複数の画像を定義する画像データ601、602、603に基づいて、変更された学習アルゴリズム630がどのように訓練され得るかを示す概略図である。例として、画像データ601は、緑内障を有する不健康な眼の前記部分の複数の画像を定義し、画像データ602は、中等度の糖尿病性網膜症を有する不健康な眼の前記部分の複数の画像を定義し、画像データ603は、重症の糖尿病性網膜症を有する不健康な眼の前記部分の複数の画像を定義する。
【0033】
学習アルゴリズム630は、健康な眼の網膜の複数の画像を定義する画像データ604と、不健康な眼の網膜の複数の画像を定義する画像データ601、602、603を含む、入力データの例示的な訓練セット600からモデル640を構築することにより、入力データから学習し、前記入力データに基づいて予測を行うように構成される。例示的な訓練セット600内の画像データ601~604により定義される前記複数の画像は、多数の対象者の網膜の画像を取得することにより収集されてもよい。さらに一般的には、各画像は、前記受信された画像データにより定義された画像としての、前記眼の同じ部分(又は眼510の実質的に同じ部分、又は前記同じ部分を含む前記眼の部分)に関する。さらに、例示的な訓練セット600内の画像データ610~604により定義された各画像は、眼の画像化システム520、又は同じ画像化様式で動作する同じ種類の眼の画像化システムにより取得される。
【0034】
学習アルゴリズム630は、教師あり学習アルゴリズムであってもよい。よって、例示的な訓練セット600内の眼510の前記部分の例示的各画像は、その画像が「健康」な眼の部分に関するか、「不健康」な眼の部分に関するかを示す指標に関係し、前記画像が「不健康」な眼の部分に関する場合、前記複数の病変のうちのどの1つが前記画像内に存在するかを示す第2の指標にも関係する。前記教師あり学習アルゴリズムは、例示的な訓練セット600内の前記画像データを分析して、モデル640を作成し、モデル640は、前記眼の前記部分の画像を定義する新しい(初めて見る)画像データを、例えば、「健康」、「不健康―緑内障」、「不健康―中等度の糖尿病性網膜症」、及び「不健康―重症の糖尿病性網膜症」のうちの1つとして分類するために使用することができる。
【0035】
当業者には明らかであろうが、装置100は、訓練セット600を拡大して、追加の病変のそれぞれについて、その病変を有する不健康な眼の網膜(又は他の部分)の複数の画像を定義する画像データ、及び上記に記載の関係する指標を含むようにすることにより、前記追加の病変を分類するように適合されてもよい。例えば、訓練セット600は、拡大されて、腫瘍を有する不健康な眼の前記部分の複数の画像を定義する画像データ、及び/又は浮腫を有する不健康な眼の前記部分の複数の画像を定義する画像データを含んでもよい。さらに、不健康な眼の前記部分の複数の画像を定義する画像データ601、602、603のうちのいずれかが、異なる病変を有する不健康な眼の前記部分の複数の画像を定義する画像データと取り換え又は置き換えられてもよい。その後、モデル640の修正版が、変更された訓練セット600に基づいて作成されてもよい。
【0036】
教師あり学習アルゴリズム630は、例示的な本実施形態のように、ニューラルネットワークであってもよい。ニューラルネットワークは、例示的な訓練セット600内の前記画像データなどの前記入力データを処理することにより、予備知識を全く必要とせずに、特定特徴を自動的に生成する。
【0037】
前記ニューラルネットワークは、例示的な本実施形態のように、畳み込みニューラルネットワークであってもよい。畳み込みニューラルネットワークは、画像及び動画の認識タスクに特に適している。
【0038】
図7に例示されているように、一般的に、畳み込みニューラルネットワークは、入力層、出力層、及び複数の隠れ層から構成される。これらの層のそれぞれは複数の人工ニューロン(図7中のA~F)からなり、各層はそれぞれへの入力に対して異なる種類の変換を実施してもよい。各人工ニューロンは、隣接する層内の複数の人工ニューロンに結合されていてもよい。各人工ニューロンの出力は、それぞれの人工ニューロンへの入力の和の何らかの非線形関数により計算されてもよい。人工ニューロン及び人工ニューロン間の結合は、典型的には、所与の結合における信号強度を確定する対応する重み(図7中のWAD、WAEなど)を有する。これらの重みは学習が進むにつれて調整されるため、それに伴
い、前記畳み込みニューラルネットワークの出力が調整される。信号は、第1の層(前記入力層)から最後の層(前記出力層)へと流れ、複数回にわたって各層を横断してもよい。
【0039】
前記ニューラルネットワークの出力は、前記入力画像データが前記病変の特定特徴を含む確率とみなされてもよく、前記分類は、例示的な本実施形態では、訓練されたモデル640の出力が既定の閾値を超えるか否かの判断を含んでもよい。前記既定の閾値は、前記入力画像データが前記病変の特定特徴を含む確率が容認できる程度に低いこと、よって、対象者の眼が健康である確率が高いことを表してもよい。
【0040】
前記学習アルゴリズムが、例示的な本実施形態のように、ニューラルネットワークである場合、検索モジュール120は、図3のプロセスS12の部分として、前記ニューラルネットワークを分解することにより、前記画像内において前記病変を示す領域410を検索するように構成されてもよい。
【0041】
前記眼の前記部分の画像410を定義する画像データが訓練されたモデル640に入力されると、訓練されたモデル640は、この画像を、「健康」か、「不健康」で特定の病変を有しているかに分類する(つまり、モデル640は、前記入力画像データが病変の特定特徴を含んでいるか否かを判断する)。従来の畳み込みニューラルネットワークでは、この分類についての説明が出力されない。したがって、前記畳み込みニューラルネットワークは、前記入力画像データのどの入力変数(つまり、画像400の画素)が前記ニューラルネットワークの出力に関連するのかを確定するために、分解、つまり処理することができる。前記受信された画像データにより定義された画像400の「不健康」である病変を有しているという分類に最も関連する入力変数は、前記病変を示す領域410(又は複数の領域)に対応する。
【0042】
訓練されたモデル640が、前記受信された画像データにより定義される画像400を「健康」(つまり、病変を示す領域をいっさい含まない)として分類した場合、検索モジュール120は、例示的な本実施形態のように、前記ニューラルネットワークを分解しないように構成されてもよい。
【0043】
前記ニューラルネットワークが畳み込みニューラルネットワークである例示の本実施形態のような実施形態では、検索モジュール120は、例示的な本実施形態のように、図8のフロー図に例示されているプロセスを実行することにより、前記畳み込みニューラルネットワークを分解するように構成されてもよい。
【0044】
図8のS122では、検索モジュール120が、画像400の複数の異なる区分のそれぞれについて、マスク画像を生成するために、前記画像の前記区分をマスクするプロセスを実行する。
【0045】
図8のS124では、検索モジュール120が、画像400の複数の異なる区分のそれぞれについて、前記学習アルゴリズムを用いて、前記マスク画像を定義する画像データを処理することにより、前記マスク画像内の前記領域を検索するプロセスを実行する。
【0046】
図8のS126では、検索モジュール120が、画像400の複数の異なる区分のそれぞれについて、前記マスク画像を定義する前記画像データを用いて実施した検索の結果である第1の結果と、前記受信された画像データ(つまり、前記画像の前記区分がマスクされていない前記受信された画像データ)を用いて実施した検索の結果である第2の結果との間の差を確定するプロセスを実行する。
【0047】
図8のS128では、検索モジュール120が、画像400内の領域410の位置として、前記確定された差が最大である区分の位置を確定する。
【0048】
代替的に、前記ニューラルネットワークが畳み込みニューラルネットワークである場合、検索モジュール120は、
【0049】
(i)テイラー分解を、前記ニューラルネットワークの上層から前記ニューラルネットワークの入力層までの前記ニューラルネットワークの各層に対して適用することにより、前記ニューラルネットワークの出力に対する前記ニューラルネットワークの各入力変数の関連性を確定し、
【0050】
(ii)前記ニューラルネットワークの最も関連する入力変数に対応する前記受信された画像データの少なくとも1つの区分に基づいて記録されるべき位置を確定することにより、
【0051】
前記畳み込みニューラルネットワークを分解するように構成されてもよい。
【0052】
テイラー分解は、その入力変数に基づいて個々のニューラルネットワークの出力を分解することにより、前記ニューラルネットワークの予測を説明する方法である。この方法では、画像400が、pが特定の画素を示す、x={x}の画素値のセットとしてみなされる。関数f(x)は、画像400内における、ある種類の対象物、本明細書中では、病変を示す領域410の存在を定量化する。関数値f(x)=0は、対象物の不在を示す。他方、関数値f(x)>0は、ある程度の確実性をもって、又は、ある程度の量の、対象物の存在を表す。このテイラー分解法は、前記画像中の各画素pに対して、関連性点数R(x)をつけ、この点数は画像xについて、画素pがどの程度分類の決定f(x)の説明に寄与しているかを示す。各画素の関連性は、xと同じ次元のR(x)={R(x)}により示されるヒートマップ内に記録することができ、画像として視覚化することができる。したがって、前記領域の位置を、前記ヒートマップ内における最も関連する画素の位置として確定することができる。
【0053】
さらなる代替として、前記ニューラルネットワークが畳み込みニューラルネットワークである場合、検索モジュール120は、前記畳み込みニューラルネットワークの逆畳み込みを行うことにより、前記畳み込みニューラルネットワークを分解するように構成されてもよい。特に、前記畳み込みニューラルネットワークは、入力として、前記畳み込みニューラルネットワークの出力を受け取り、出力として、あらかじめ定義されたクラスのうちの1つに属する各画素の確率を示す前記畳み込みニューラルネットワークに入力された画像と同じサイズの確率マップを提供する、多層逆畳み込みネットワークを訓練することにより分解されてもよい。したがって、前記領域の位置は、前記既定のクラスのうちの1つに属する確率が最も高い(つまり、前記複数の異なる種類の病変のうちの1つを有する確率が最も高い)画素の位置として確定されてもよい。
【0054】
よって、検索モジュール120は、例示的な本実施形態のように、病変を示す領域410として、前記ニューラルネットワークの前記出力に最も関連する前記受信された画像データにより定義された画像400の画素を特定することにより、前記画像内において病変を示す領域410を検索するように構成されてもよい。
【0055】
図3を再度参照すると、プロセスS13では、検索モジュール120が、前記病変を示す前記画像内の領域が、プロセスS12において実施された検索の結果、見つかったかを判断する。前記病変を示す前記画像内の領域が、プロセスS12において実施された検索の結果、見つかった場合、プロセスはS14へと進む。見つからなかった場合、プロセス
は終了する。
【0056】
図3のプロセスS14では、命令生成モジュール130が、検索モジュール120により見つけられた領域410の前記画像内における位置を確定する。前記位置は、例えば、検索モジュール120により、図2に例示されているハードウェア構成200のワーキングメモリ230内に記録されてもよく、S14において命令生成モジュール130により前記ワーキングメモリから読み出されてもよい。
【0057】
装置100のプロセスの結果が本明細書中に記載されるような表示装置215上に表示される例示的な本実施形態のような実施形態では、図4Aに例示されているような前記確定された位置は、前記病変を含むことが分かった画像400の領域410の上に重ねられる、図4Bに例示されている境界枠440などの、重ねて表示される視覚的要素の中央又は他の場所にあってもよい。
【0058】
図3のプロセスS16では、命令生成モジュール130が、眼の測定装置300に、前記眼の前記部分の測定の位置を設定するための、前記確定された位置に基づく基準点を用いて、前記眼の前記部分に対する前記測定を実施させて、測定データを生成させるための命令を生成する。図3のプロセスS16で生成された前記命令は、当業者に知られている任意の適切な手段により、眼の測定装置300に提供されてもよい。
【0059】
例示の本実施形態のような実施形態では、前記確定された位置は、領域410を構成する1又は複数の画素の群からなる画像400内の位置である。眼の測定装置300により前記眼の前記部分に対して実施される前記測定の位置を設定するために使用することができる基準点を確定するために、S12において検索モジュール120により記録された前記位置を、眼の測定装置300を操作して、眼の画像化システム520により画像化された位置と実質的に同じ眼の中/上の位置において、その測定を実施させる1又は複数の制御パラメータの対応するセットに変換することができる。これは、複数の異なる方法のうちの1つにより行うことができる。
【0060】
例えば、命令生成モジュール130は、前記SLOにより取得された画像からの画素座標値と、前記制御パラメータの対応する値との間のマッピングを使用してもよく、これを、例えば、参照表又はパラメータのセットにより定義された関数の形式で提供してもよい。前記マッピングは、当業者に知られている技術を用いて、較正により確定されてもよい。
【0061】
図3のプロセスS18では、受信モジュール110が、前記測定データを眼の測定装置300から受信し、その後、プロセスが終了する。
【0062】
眼の測定装置300は、対象者の眼の補足的な測定を可能にする任意の種類の装置であってもよく、そのような装置は、検索モジュール120により見つけられた前記領域が確実に(又は、高い確率で)画像化された病変を含むことを証明するために使用され得る。眼の測定装置300は、例えば、命令生成モジュール130により生成された命令に応じて、光刺激に対する対象者の眼の機能的反応を測定し、前記測定された機能的反応を表すデータを受信モジュール110に送ってもよい。
【0063】
代替的に、眼の測定装置300は、本実施形態のように、網膜(又は、上記のような前記眼の選択された他の部分)に対する前記測定として、画像取り込みプロセスにおいて画像化されるべき前記網膜の領域の位置を前記測定の位置として設定するための前述の基準点を用いて、前記網膜の前記領域を画像化するための、前記第1の画像化様式(すなわち、例示的な本実施形態ではSLO)とは異なる第2の画像化様式の画像取り込みプロセス
を実行するように構成されてもよい。よって、前記病変を示す前記画像内の領域が図2のS12において見つかる例示的な本実施形態では、命令生成モジュール120が、図3のS16において、眼の測定装置300に、前記眼の前記部分に対する前記測定を実施させるための前記命令として、眼の測定装置300に、画像取り込みプロセスにおいて画像化されるべき前記眼の前記部分の領域の位置を前記測定の位置として設定するための前記基準点を用いて、前記画像取り込みプロセスを実行させるための命令を生成する。その後、受信モジュール110が、図3のプロセスS18において、前記測定データとして、眼の測定装置300により取得された前記第2の画像化様式の画像データを受信する。2つ以上の異なる画像化様式(例えば、SLOとOCTを組み合わせた画像化システム)の眼の画像を取得できる1つの複数様式の眼の画像化システムにより、眼の画像化システム520と眼の測定装置300の機能が提供されてもよいことに留意されたい。眼の画像化システム520と前記眼の測定装置は、代替的に、別個の構成要素として提供されてもよい。
【0064】
上記に記述のマッピングは、既定の方法で前記眼の測定装置に対して位置決め及び方向づけされている対象者の眼に依存してもよい。これは任意の実際の適用例ではよい想定かもしれないが、全てのケースには当てはまらないかもしれない。この想定が当てはまらない場合、眼の画像化システム520により取得された画像と例示的な本実施形態の眼の測定装置300により取得された異なる様式の画像の両方において認識可能である解剖学的特徴(例えば、中心窩)に関して、検索モジュール120により見つけられた前記領域の位置を確定することが好ましいこともある。その後、画像400内の中心窩の場所に関する前記領域の位置が、眼の測定装置300により取得された画像内の中心窩の場所に対応する位置に変換されてもよい。
【0065】
前記基準点は、任意の適切な方法で、前記眼の前記部分に対する前記測定の位置を設定するために使用されてもよい。例えば、眼の測定装置300は、前記基準点に対応する対象者の網膜の位置の中心にある既定の大きさの領域について画像化する(又は、より一般的に、任意の他の種類の測定を行う)ように制御されてもよい。
【0066】
検索モジュール120が、前記学習アルゴリズムを用いて、前記受信された画像データを処理することにより、複数の異なる種類の病変のうちの1つを示す前記画像内の領域410を検索する上記に記載の例示的な第1の実施形態の前記変更例では、命令生成モジュール130が、検索モジュール120により見つけられた前記複数の異なる種類の病変のうちの1つを示す画像400内の領域410に応じて、前記複数の異なる種類の病変のうちの1つについて及び前記第2の画像化様式として、前記眼の網膜に対して前記画像取り込みプロセスを実行するために使用されるべき複数の異なる種類の画像化様式のうちの対応する1つを選択するプロセスを実行する。第1の実施形態の前記変更例では、命令生成モジュール130は、例えば、前記複数の異なる種類の画像化様式のうちの1つの対応する指標に関係して、前記複数の異なる種類の病変のそれぞれの指標が記憶される参照表(LUT)を参照し、検索キーとして検索モジュール120により見つけられた前記複数の異なる種類の病変のうちの前記1つを用いて、前記対象者の網膜に対する前記画像取り込みプロセスを実行するために使用されるべき、前記複数の異なる種類の画像化様式のうちの前記対応する1つを選択してもよい。
【0067】
例えば、前記複数の異なる種類の病変のうちの前記1つが緑内障である場合、命令生成モジュール130は、眼の測定装置300に、前記第2の画像化様式の画像取り込みプロセスとして、前記対象者の眼の網膜の領域に対してOCTスキャンを実施させるための命令を生成してもよい。その後、受信モジュール110は、図3のS18において、前記測定データとして、前記OCTスキャンの画像データを受信し、装置100は、前記OCTスキャンの画像データを処理して、緑内障の検知(及び、所望により、その重症度の推定)に有用な相補的データ、すなわち前記眼の網膜の神経線維層及び/又は視神経乳頭の測
定値を獲得することができる。
【0068】
さらなる例として、前記複数の異なる種類の病変のうちの前記1つが重症の糖尿病性網膜症である場合、命令生成モジュール130は、眼の測定装置300に、前記第2の画像化様式の画像取り込みプロセスとして、前記眼の網膜の領域に対してOCTスキャンを実施させるための命令を生成してもよい。その後、受信モジュール110は、図3のS18において、前記測定データとして、前記OCTスキャンの画像データを受信し、装置100は、前記OCTスキャンの画像データを処理して、重症の糖尿病性網膜症の検知(及び、所望により、その重症度の推定)に有用な相補的データ、すなわち黄斑の厚みの測定値を獲得することができる。
【0069】
別の例として、前記複数の異なる種類の病変のうちの前記1つが腫瘍である場合、命令生成モジュール130は、眼の測定装置300に、前記第2の画像化様式の画像取り込みプロセスとして、前記眼の網膜の領域に対して高密度OCT Bスキャンを実施させるための命令を生成してもよい。その後、受信モジュール110は、図3のS18において、前記測定データとして、前記高密度OCT Bスキャンの画像データを受信してもよく、前記高密度OCT Bスキャンの画像データは、腫瘍の検知(及び、所望により、その大きさの推定)に有用であり得る。
【0070】
さらなる例として、前記複数の異なる種類の病変のうちの前記1つが菌塊である場合、命令生成モジュール130は、眼の測定装置300に、前記第2の画像化様式の画像取り込みプロセスとして、前記眼の網膜の領域に対してOCT Bスキャンを実施させるための命令を生成してもよい。その後、受信モジュール110は、図3のS18において、前記測定データとして、前記OCT Bスキャンの画像データを受信してもよく、前記OCT Bスキャンの画像データは、菌塊の存在の検知、又はその大きさ及び/又は数の推定に有用であり得る。このデータは、例えば、初期の加齢黄斑変性の診断に有益であり得る。
【0071】
さらに、前記複数の異なる種類の病変のうちの前記1つが浮腫又は萎縮である場合、命令生成モジュール130は、眼の測定装置300に、前記第2の画像化様式の画像取り込みプロセスとして、前記眼の網膜の領域に対してOCTスキャンを実施させるための命令を生成してもよい。その後、受信モジュール110は、図3のS18において、前記測定データとして、前記OCTスキャンの画像データを受信してもよく、前記OCTスキャンの画像データは、浮腫(又は、場合によっては、萎縮)の検知、及び、所望により、その重症度の推定に有用であり得る。
【0072】
上記に記載の例示的な第1の実施形態の前記変更例では、検索モジュール120が、前記学習アルゴリズムを用いて、前記受信された画像データを処理することにより、複数の異なる種類の病変のうちの1つを示す前記画像内の領域410を検索し、命令生成モジュール130が、検索モジュール120により見つけられた前記複数の異なる種類の病変のうちの1つを示す画像400内の領域410に応じて、前記複数の異なる種類の病変のうちの前記1つについて及び前記第2の画像化様式として、前記眼の網膜に対して画像取り込みプロセスを実行するために使用されるべき複数の異なる種類の画像化様式のうちの対応する1つを選択するプロセスを実行する。しかし、上記したように、眼の測定装置300は、前記網膜(又は、より一般的には、前記眼の任意の他の選択された部分)の画像を取得するように構成される必要はなく、その代わり、前記眼に対して異なる種類の測定を実施してもよい。さらに、眼の測定装置300は、複数の異なる測定様式のうちの選択された1つの様式で動作可能であるという意味で、複数様式であってもよい。そのような変形例では、命令生成モジュール130は、検索モジュール120により見つけられた前記複数の異なる種類の病変のうちの1つを示す画像400内の領域410に応じて、前記複
数の異なる種類の病変のうちの前記1つについて、前記眼に対して実施されるべき測定のために複数の異なる種類の測定様式のうちの対応する1つを選択するプロセス、及び眼の測定装置300に、前記眼の前記部分に対する前記測定を実施させるための前記命令として、前記眼の前記部分に対する前記測定の位置を設定するための基準点を用いて、前記眼の前記部分に対する前記測定を実行するための前記選択された測定様式の眼の測定装置300に対する命令を生成するプロセス、を実行してもよい。
【0073】
例示的な第1の実施形態の第2の変更例では、眼の測定装置300は、第1の実施形態と同様に異なる種類の病変を区別しない、眼の画像化システム520としての、同一の画像化様式の眼の画像化装置であってもよい。この第2の変更例では、受信モジュール110は、画像化において使用される画像化の解像度、アパーチャサイズ、又は波長である画像化パラメータの第1の値を用いて、前記眼の前記部分の画像化の結果を表す画像データを受信するように構成される。命令生成モジュール130は、検索モジュール120により見つけられた病変を示す画像400内の領域410に応じて、眼の測定装置300に前記眼の前記部分に対する前記測定を実施させるための命令として、眼の測定装置300に、前記画像化パラメータの前記第1の値とは異なる、前記眼の前記部分の領域を画像化するための前記画像化パラメータの第2の値を用い、画像取り込みプロセスにおいて画像化されるべき前記眼の前記部分の領域の位置を前記測定の位置として設定するための前記基準点を再び用い、前記画像取り込みプロセスを実行させるための命令を生成するプロセスを実行するように構成される。受信モジュール110は、眼の測定装置300から、前記測定データとして、前記画像化パラメータの前記第2の値を用いて前記眼の前記部分の前記領域を画像化した前記結果を表す前記画像データを受信するように構成され、前記受信された画像データと前記受信された測定データは、同じ画像化様式である。
【0074】
例えば、前記第2の変更例では、眼の画像化システム520が、第1の画像化解像度で前記眼の前記部分を画像化することにより、前記画像を定義する画像データを取得するように構成されてもよく、命令生成モジュール130が、検索モジュール120により見つけられた病変を示す前記画像内の領域に応じて、眼の測定装置300に、より詳細に前記領域を画像化するための第2のより高い画像化解像度で、画像取り込みプロセスを実行させるための命令を生成するように構成されてもよい。
【0075】
[第2の実施形態]
【0076】
図9は、本明細書中の例示的な第2の実施形態による、眼の画像化システム(図5の520)により取得された眼の部分の画像内において病変の存在を検索する装置800の概略図である。例示的な第2の実施形態の装置800が、図1の装置100と異なる点は、図9の前記装置が、受信された画像400内において病変を示す領域の位置を確定する必要がない点である。
【0077】
装置800は、眼の画像化システム520により作成された画像を定義する画像データを受信するように構成された受信モジュール810、及び前記画像内において複数の異なる種類の病変のうちの少なくとも1つの存在を検索するように構成された検索モジュール820、を含む。装置800は、検索モジュール820により前記画像内に存在すると分かった前記複数の異なる種類の病変のうちの少なくとも1つに応じて、前記画像内に存在すると分かった病変のうちの少なくとも1種類のそれぞれについて、前記眼の前記部分に対する測定を実施するために使用されるべき複数の異なる種類の測定様式のうちの対応する1つを選択するプロセス、及び画像内に存在すると分かった病変のうちの前記少なくとも1種類のそれぞれについて、前記対応する選択された測定様式の眼の測定装置に、前記眼の前記部分に対する前記測定を実施させるための対応する命令を生成するプロセス、を実行するように構成された命令生成モジュール830をさらに含む。受信モジュール81
0は、選択された各測定様式の前記眼の測定装置により実施された前記測定の測定データを受信するようにさらに構成される。所望により、装置800は、例示の本実施形態のように、表示制御信号発生器840(この所望の構成要素は、図9において破線で示されている)を含んでもよい。
【0078】
装置800は、第1の実施形態に関して上記に記述したように、任意の病変(例えば、緑内障、中等度の糖尿病性網膜症、重症の糖尿病性網膜症、腫瘍、菌塊、浮腫、及び萎縮を含む)の存在を検索するように構成されてもよい。
【0079】
例示的な本実施形態では、受信モジュール810が、眼の画像化システム520により生成された前記眼の網膜の部分の画像を定義する画像データを受信するように構成される。しかし、他の例示的実施形態では、前記受信された画像データが、例えば、前記眼の前眼部の部分、又は前記眼の後眼部の部分など、前記眼の網膜以外の部分の画像を定義してもよい。
【0080】
眼の画像化システム520は、例示的な本実施形態のように、走査レーザ検眼鏡であってもよい。代替的に、前記眼の画像化システムは、第1の実施形態に関して上記に記載した任意の眼の画像化システムであってもよい。
【0081】
受信モジュール810は、眼の画像化システム520により、第1の実施形態に関して上記に記述した手段のうちのいずれかにより取得された画像を定義する画像データを受信するように構成されてもよい。
【0082】
例示的な本実施形態の装置800により実施される動作についての下記の記載からさらに明らかになるように、装置800は、眼の画像化システム520により取得された前記眼の前記部分の画像を定義する画像データを自動的に処理し、前記画像内において複数の異なる種類の病変のうちの少なくとも1つの存在を検索し、前記複数の異なる種類の病変のうちの少なくとも1つが前記画像内に存在すると分かった場合、前記画像内に存在すると分かった少なくとも1種類の病変のそれぞれについて、前記眼の前記部分に対する測定を実施するために使用されるべき複数の異なる種類の測定様式のうちの対応する1つを選択する。その後、前記眼の前記部分に対する前記測定を実施するための前記対応する選択された測定様式の眼の測定装置に対する対応する命令が、前記画像内に存在すると分かった前記少なくとも1種類の病変のそれぞれについて生成される。よって、装置800は、特定の種類の病変を含んでいることが疑われる前記画像と、前記疑われる種類の病変に関する測定様式の追加の測定データの両方を取得する。装置800により自動的に取得されるこれらの異なるが相補的な種類の情報により、任意の病変を含んだ眼の画像を、迅速に高い信頼性をもって特定することが可能になり得る。
【0083】
図9の装置800は、図2に示されているものなどの信号処理ハードウェア構成、又は任意の他の適切な手段により実施されてもよい。
【0084】
図10は、本明細書中の例示的な第2の実施形態により、図9の装置800が、眼の画像化システム520により取得された眼の部分の画像内において病変の存在を検索するプロセスを示すフロー図である。
【0085】
図10のプロセスS20では、受信モジュール810が、前記SLO(眼の画像化システム520の例としての)により取得された前記眼の前記部分の前記画像を定義する画像データを受信する。
【0086】
図10のプロセスS22では、検索モジュール820が、健康な眼の複数の画像を定義
する画像データと、複数の異なる種類の病変のうちの対応する1つをそれぞれが有する不健康な眼の複数の画像データに基づいて訓練された学習アルゴリズムを用いて、前記受信された画像データを処理することにより、前記画像内において前記複数の異なる種類の病変のうちの少なくとも1つの存在を検索する。前記学習アルゴリズムは、図6に関して上記に記述したように、前記眼の前記部分の画像を定義する入力画像データを「健康」か、「不健康」で特定の病変を有しているかに分類するために訓練されてもよい。
【0087】
前記装置800は、前記画像内の病変を示す領域の位置を記録しなくてもよい。よって、装置800は、例示的な本実施形態のように、前記入力された画像データのうちのどの入力変数(つまり、前記受信された画像データにより定義された前記画像の画素)が、出力(つまり、複数の異なる種類の病変のうちの1つが存在すると分かること)と関連していたのかを判断するために、前記学習アルゴリズムを処理しなくてもよい。代替的に、他の実施形態では、そのような処理は、所望により、基準点を特定するために、図10のS22の部分として、装置800により行われてもよい。
【0088】
プロセスS23では、検索モジュール820が、前記複数の異なる種類の病変のうちの少なくとも1つが、プロセスS22において実施された検索の結果、前記画像内に存在すると分かったかを判断する。前記複数の異なる種類の病変のうちの少なくとも1つが、プロセスS22において実施された検索の結果、前記画像内に存在すると分かった場合、プロセスはS24へと進む。存在すると分からなかった場合、プロセスは終了する。
【0089】
図10のプロセスS24では、検索モジュール820により前記画像内に存在すると分かった前記複数の異なる種類の病変のうちの少なくとも1つに応じて、命令生成モジュール830が、前記画像内に存在すると分かった少なくとも1種類の病変のそれぞれについて、前記眼の前記部分に対する測定を実施するために使用されるべき複数の異なる種類の測定様式のうちの対応する1つを選択するプロセスを実行する。
【0090】
命令生成モジュール830は、図1の装置100に関して上記に記載した手段のうちのいずれかにより、複数の異なる種類の測定様式のうちの対応する1つを選択してもよい。
【0091】
図10のプロセスS26では、検索モジュール820により前記画像内に存在すると分かった前記複数の異なる種類の病変のうちの少なくとも1つに応じて、命令生成モジュール830が、前記画像内に存在すると分かった前記少なくとも1種類の病変のそれぞれについて、前記眼の前記部分に対する前記測定を実施するための前記対応する選択された測定様式の眼の測定装置に対する対応する命令を生成するプロセスを実行する。
【0092】
前記命令は、実質的に、図1の装置100に関して上記に記述したように生成されてもよい。しかし、装置800が病変を示す領域を検索しない例示の本実施形態のような実施形態では、命令生成モジュール830が、前記眼の前記部分に対する前記測定の位置を設定するための、病変を示す領域の記録された位置に基づく基準点を用いる必要がない。図10のプロセスS26の一部として、命令生成モジュール130は、例示的な本実施形態のように、画像内に存在すると分かった前記少なくとも1種類の病変のそれぞれについて、前記眼の画像化システムにより画像化されたような前記眼の同じ部分に対する前記測定を実施するための前記対応する選択された測定様式の眼の測定装置に対する対応する命令を生成してもよい。
【0093】
図10のプロセスS28では、受信モジュール810が、選択された各測定様式の前記眼の測定装置により実施された前記測定の測定データを受信する。受信モジュール810は、第1の実施形態に関して上記に記述した手段のうちのいずれかにより、測定データを受信してもよい。
【0094】
上記に記載の実施形態のうちのいくつかが、下記の例E1~E52に要約される。
【0095】
E1.眼の画像化システム(520)により取得された眼の部分の画像(400)内において病変を示す領域(410)を検索するためのコンピュータにより実行される方法であって、前記方法が、
【0096】
前記画像(400)を定義する画像データを受信すること(S10)、
【0097】
健康な眼の前記部分の複数の画像を定義する画像データ(502;604)と、前記病変を示す少なくとも1つの領域をそれぞれが有する不健康な眼の前記部分の複数の画像を定義する画像データ(601、602、603;501)に基づいて訓練された学習アルゴリズム(530;630)を用いて、前記受信された画像データを処理することにより、前記画像(400)内の前記領域(410)を検索すること(S12)、及び
【0098】
前記病変を示す前記画像(400)内の領域(410)が、前記検索することにおいて見つかった場合、
【0099】
前記画像(400)内の前記領域(410)の位置を確定すること(S14)、
【0100】
眼の測定装置(300)に、前記眼の前記部分の測定の位置を設定するための、前記確定された位置に基づく基準点を用いて、前記眼の前記部分に対する前記測定を実施させて、測定データを生成させるための命令を生成すること(S16)、及び
【0101】
前記測定データを前記眼の測定装置(300)から受信すること(S18)、
【0102】
を含む、方法。
【0103】
E2.E1に記載のコンピュータにより実行される方法であって、
【0104】
前記画像(400)内の前記領域(410)を検索すること(S12)が、複数の異なる種類の病変のうちの対応する1つをそれぞれが有する不健康な眼の前記部分の複数の画像を定義する画像データ(601、602、603)に基づいて訓練された前記学習アルゴリズム(630)を用いて、前記受信された画像データを処理することにより、前記複数の異なる種類の病変のうちの1つを示す前記画像(400)内の領域(410)を検索すること、を含み、
【0105】
前記複数の異なる種類の病変のうちの1つを示す前記画像(400)内の領域(410)が、前記検索すること(S12)において見つかった場合、
【0106】
前記方法が、前記複数の異なる種類の病変のうちの前記1つについて、前記眼に対して実施すべき測定のための複数の異なる種類の測定様式のうちの対応する1つを選択すること、をさらに含み、
【0107】
前記方法が、前記眼の測定装置(300)に、前記眼の前記部分に対する前記測定を実施させるための前記命令として、前記選択された測定様式の眼の測定装置(300)に、前記眼の前記部分に対する前記測定の位置を設定するための前記基準点を用いて、前記眼の前記部分に対する前記測定を実施させるための命令を生成すること(S16)、を含む、方法。
【0108】
E3.E1に記載のコンピュータにより実行される方法であって、
【0109】
前記受信された画像データが、第1の画像化様式の画像データであり、
【0110】
前記眼の測定装置(300)が、前記眼の前記部分に対する前記測定として、前記第1の画像化様式とは異なる、前記眼の前記部分内の領域を画像化するための第2の画像化様式の画像取り込みプロセスを実行し、前記測定データとして、前記第2の画像化様式の画像データを取得し、
【0111】
前記病変を示す前記画像(400)内の領域(410)が、前記検索すること(S12)において見つかった場合、前記方法が、
【0112】
前記眼の測定装置(300)に、前記眼の前記部分に対する前記測定を実施させるための前記命令として、前記眼の測定装置(300)に、前記画像取り込みプロセスにおいて画像化されるべき前記眼の前記部分内の領域の位置を前記測定位置として設定するための前記基準点を用いて、前記画像取り込みプロセスを実行させるための命令を生成すること(S16)、及び
【0113】
前記眼の測定装置(300)から、前記測定データとして、前記眼の前記部分内の前記領域の画像を定義する前記第2の画像化様式の画像データを受信すること(S18)、を含む、方法。
【0114】
E4.E3に記載のコンピュータにより実行される方法であって、
【0115】
前記画像(400)内の前記領域(410)を検索すること(S12)が、複数の異なる種類の病変のうちの対応する1つをそれぞれが有する不健康な眼の前記部分の複数の画像を定義する前記画像データ(601、602、603)に基づいて訓練された前記学習アルゴリズム(630)を用いて、前記受信された画像データを処理することにより、前記複数の異なる種類の病変のうちの1つを示す前記画像(400)内の領域(410)を検索することを含み、
【0116】
前記複数の異なる種類の病変のうちの1つを示す前記画像(400)内の領域(410)が、前記検索すること(S12)において見つかった場合、前記方法が、前記複数の異なる種類の病変のうちの前記1つについて及び前記第2の画像化様式として、前記眼の前記部分に対して前記画像取り込みプロセスを実施するために使用されるべき複数の異なる種類の画像化様式のうちの対応する1つを選択すること、をさらに含む、方法。
【0117】
E5.E4に記載のコンピュータにより実行される方法であって、
【0118】
前記複数の異なる種類の病変のうちの前記1つが緑内障である場合、前記方法が、前記眼の測定装置に、前記第2の画像化様式の画像取り込みプロセスとして、前記眼の前記部分内の前記領域に対して光学的干渉断層検査(OCT)スキャンを実施させて、前記測定データとして、前記OCTスキャンの画像データを取得させるための命令を生成すること(S16)を含み、
【0119】
前記複数の異なる種類の病変のうちの前記1つが重症の糖尿病性網膜症である場合、前記方法が、前記眼の測定装置に、前記第2の画像化様式の画像取り込みプロセスとして、前記眼の網膜の領域に対して光学的干渉断層検査(OCT)スキャンを実施させて、前記測定データとして、前記OCTスキャンの画像データを取得させるための命令を生成すること(S16)を含み、
【0120】
前記複数の異なる種類の病変のうちの前記1つが腫瘍である場合、前記方法が、前記眼の測定装置に、前記第2の画像化様式の画像取り込みプロセスとして、前記眼の前記部分内の前記領域に対して高密度光学的干渉断層検査(OCT)Bスキャンを実施させて、前記測定データとして、前記高密度OCT Bスキャンの画像データを取得させるための命令を生成すること(S16)を含み、
【0121】
前記複数の異なる種類の病変のうちの前記1つが菌塊である場合、前記方法が、前記眼の測定装置に、前記第2の画像化様式の画像取り込みプロセスとして、前記眼の前記部分内の前記領域に対して光学的干渉断層検査(OCT)Bスキャンを実施させて、前記測定データとして、前記OCT Bスキャンの画像データを取得させるための命令を生成すること(S16)を含み、
【0122】
前記複数の異なる種類の病変のうちの前記1つが浮腫又は萎縮である場合、前記方法が、前記眼の測定装置に、前記第2の画像化様式の画像取り込みプロセスとして、前記眼の前記部分内の前記領域に対して、光学的干渉断層検査(OCT)スキャンを実施させて、前記測定データとして、前記OCTスキャンの画像データを取得させるための命令を生成すること(S16)を含む、方法。
【0123】
E6.E1に記載のコンピュータにより実行される方法であって、前記病変を示す前記画像(400)内の前記領域(410)が、前記検索することにおいて見つかった場合、前記方法が、前記眼の測定装置に、前記眼の前記部分に対して前記測定を実施させるための前記命令として、前記眼の測定装置に、前記確定された位置に基づく、前記測定の位置を設定するための前記基準点を用いて、光刺激に対する前記眼の機能的反応を測定させるための命令を生成すること(S16)を含む、方法。
【0124】
E7.E1に記載のコンピュータにより実行される方法であって、
【0125】
前記受信された画像データが、画像化において使用される画像化解像度、アパーチャサイズ、及び波長のうちの1つである画像化パラメータの第1の値を用いた前記眼の前記部分の前記画像化の結果を表し、
【0126】
前記眼の測定装置が、前記眼の前記部分に対する前記測定として、前記画像化パラメータの前記第1の値とは異なる、前記眼の前記部分内の領域を画像化するための前記画像化パラメータの第2の値を用いた画像取り込みプロセスを実行して、前記測定データとして、前記画像化パラメータの前記第2の値を用いた前記領域の画像化の結果を表す画像データを取得するように構成され、前記受信された画像データと前記取得された画像データが、同じ画像化様式のものであり、
【0127】
前記病変を示す前記画像(400)内の領域(410)が、前記検索することにおいて見つかった場合、前記方法が、
【0128】
前記眼の測定装置に、前記眼の前記部分に対する前記測定を実施させるための前記命令として、前記眼の測定装置に、前記画像取り込みプロセスにおいて画像化されるべき前記眼の前記部分内の領域の位置を前記測定の位置として設定するための前記基準点を用いて、前記画像取り込みプロセスを実行させるための命令を生成すること(S16)、及び
【0129】
前記眼の測定装置から、前記測定データとして、前記画像化パラメータの前記第2の値を用いて前記眼の前記部分内の前記領域(410)の画像化の前記結果を表す前記画像データを受信すること(S18)、
【0130】
を含む、方法。
【0131】
E8.E1~E7のうちのいずれかに記載のコンピュータにより実行される方法であって、表示ユニット(215)を制御して、前記眼の前記部分の前記画像(400)内の前記領域(410)の前記位置と、前記受信された測定データの表示を表示させるための命令を生成することをさらに含む、方法。
【0132】
E9.E1~E8のうちのいずれかに記載のコンピュータにより実行される方法であって、前記学習アルゴリズム(530;630)が教師あり学習アルゴリズムである、方法。
【0133】
E10.E9に記載のコンピュータにより実行される方法であって、前記教師あり学習アルゴリズムがニューラルネットワークを含み、前記病変を示す前記領域(410)が、前記ニューラルネットワークを分解することにより前記画像(400)内において検索される、方法。
【0134】
E11.E10に記載のコンピュータにより実行される方法であって、
【0135】
前記ニューラルネットワークが畳み込みニューラルネットワークであり、前記ニューラルネットワークが、前記受信された画像データにより定義された前記画像(400)の複数の異なる区分のそれぞれについて、
【0136】
マスク画像を生成するために前記画像(400)の前記区分をマスクすること(S122)を行うプロセス、
【0137】
前記学習アルゴリズムを用いて前記マスク画像を定義する画像データを処理することにより、前記マスク画像内の前記領域を検索すること(S124)を行うプロセス、
【0138】
前記マスク画像を定義する前記画像データを用いて実施された前記検索の結果と、前記受信された画像データを用いて実施された検索の結果との間の差を確定すること(S126)を行うプロセス、及び
【0139】
前記画像(400)内の前記領域(410)の位置として、前記確定された差が最大である区分の位置を確定すること(S128)を行うプロセス、を実行することにより分解される、方法。
【0140】
E12.E10に記載のコンピュータにより実行される方法であって、
【0141】
前記ニューラルネットワークが畳み込みニューラルネットワークであり、前記畳み込みニューラルネットワークが、
【0142】
テイラー分解を、前記ニューラルネットワークの上層から前記ニューラルネットワークの入力層まで前記ニューラルネットワークの各層に適用することにより、前記ニューラルネットワークの出力に対する前記ニューラルネットワークの各入力変数の関連性を確定すること、及び
【0143】
前記ニューラルネットワークの最も関連する入力変数に対応する前記受信された画像データのうちの少なくとも1つの区分に基づく前記画像(400)内の前記領域(410)の位置を確定することにより分解される、方法。
【0144】
E13.E10に記載のコンピュータにより実行される方法であって、前記ニューラルネットワークが畳み込みニューラルネットワークであり、前記畳み込みニューラルネットワークが、前記畳み込みニューラルネットワークの逆畳み込みを行うことにより分解される、方法。
【0145】
E14.眼の画像化システム(520)により取得された眼の部分の画像(400)内において病変の存在を検索するためのコンピュータにより実行される方法であって、前記方法が、
【0146】
前記画像(400)を定義する画像データを受信すること(S20)、
【0147】
健康な眼の複数の画像(502)を定義する画像データと、複数の異なる種類の病変のうちの対応する1つをそれぞれが有する不健康な眼の複数の画像(601、602、603)に基づいて訓練された学習アルゴリズム(630)を用いて、前記受信された画像データを処理することにより、前記画像(400)内において前記複数の異なる種類の病変のうちの少なくとも1つの存在を検索すること(S22)、及び
【0148】
前記複数の異なる種類の病変のうちの少なくとも1つが、前記画像(400)内に存在すると分かった場合、
【0149】
前記画像(400)内に存在すると分かった少なくとも1種類の病変のそれぞれについて、前記眼の前記部分に対する測定を実施するために使用されるべき複数の異なる種類の測定様式のうちの対応する1つを選択すること(S24)、
【0150】
前記画像(400)内に存在すると分かった前記少なくとも1種類の病変のそれぞれについて、前記対応する選択された測定様式の眼の測定装置(300)に、前記眼の前記部分に対する前記測定を実施させるための対応する命令を生成すること(S26)、及び
【0151】
選択された各測定様式の前記眼の測定装置(300)により実施された前記測定の測定データを受信すること(S28)、
【0152】
を含む、方法。
【0153】
E15.E14に記載のコンピュータにより実行される方法であって、
【0154】
前記複数の異なる種類の病変のうちの少なくとも1つが、前記画像(400)内に存在すると分かった場合、
【0155】
前記画像内に存在すると分かった前記複数の異なる種類の病変のうちの前記少なくとも1つのそれぞれについて、前記学習アルゴリズム(630)を用いて前記受信された画像データを処理することにより、前記対応する種類の病変を示す前記画像(400)内の対応する領域(410)を検索すること、及び前記画像(400)内の前記対応する領域(410)の位置を記録すること、をさらに含み、
【0156】
選択された各測定様式の前記眼の測定装置(300)に、前記対応する記録された位置に基づく、前記測定を位置決めするための基準点を用いて、前記眼に対する前記測定を実施させるための対応する命令が生成される、方法。
【0157】
E16.E15に記載のコンピュータにより実行される方法であって、
【0158】
前記複数の異なる種類の病変のうちの少なくとも1つが、前記画像(400)内に存在すると分かった場合、
【0159】
前記画像(400)内に存在すると分かった前記複数の異なる種類の病変のうちの前記少なくとも1つのそれぞれについて、
【0160】
前記眼の前記部分の画像化に使用されるべき複数の異なる種類の画像化様式のうちの対応する1つが、前記複数の異なる種類の測定様式のうちの前記対応する1つとして選択され、
【0161】
前記選択された画像化様式の眼の測定装置(300)に、前記対応する記録された位置に基づく、画像化されるべき前記眼の領域を位置決めするための基準点を用いて、前記眼の前記部分を画像化させるための対応する命令が、前記選択された測定様式の前記眼の測定装置(300)に対する前記対応する命令として生成され、
【0162】
前記選択された画像化様式の前記眼の測定装置(300)により実施された前記画像化の対応する画像データが、前記眼の測定装置(300)により実施された前記測定の前記測定データとして受信される、方法。
【0163】
E17.E16に記載のコンピュータにより実行される方法であって、
【0164】
前記画像(400)内に存在すると分かった前記複数の異なる種類の病変のうちの1つが緑内障である場合、前記方法が、前記選択された画像化様式の前記眼の測定装置(300)に、前記眼の前記部分の画像化をさせるための前記対応する命令として、前記眼の測定装置(300)に、前記眼の前記部分内の前記領域に対して光学的干渉断層検査(OCT)スキャンを実施させて、前記測定データとして、前記OCTスキャンの画像データを取得させるための命令を生成すること(S26)を含み、
【0165】
前記画像(400)内に存在すると分かった前記複数の異なる種類の病変のうちの1つが重症の糖尿病性網膜症である場合、前記方法が、前記選択された画像化様式の前記眼の測定装置(300)に、前記眼の前記部分を画像化させるための前記対応する命令として、前記眼の測定装置(300)に、前記眼の網膜の領域に対して光学的干渉断層検査(OCT)スキャンを実施させて、前記測定データとして、前記OCTスキャンの画像データを取得させるための命令を生成すること(S26)を含み、
【0166】
前記画像(400)内に存在すると分かった前記複数の異なる種類の病変のうちの1つが腫瘍である場合、前記方法が、前記選択された画像化様式の前記眼の測定装置(300)に、前記眼の前記部分を画像化させるための前記対応する命令として、前記眼の測定装置(300)に、前記眼の前記部分内の前記領域に対して高密度光学的干渉断層検査(OCT)Bスキャンを実施させて、前記測定データとして、前記高密度OCT Bスキャンの画像データを取得させるための命令を生成すること(S26)を含み、
【0167】
前記画像(400)内に存在すると分かった前記複数の異なる種類の病変のうちの前記1つが菌塊である場合、前記方法が、前記選択された画像化様式の前記眼の測定装置(300)に、前記眼の前記部分を画像化させるための前記対応する命令として、前記眼の測定装置(300)に、前記眼の前記部分内の前記領域に対して光学的干渉断層検査(OCT)Bスキャンを実施させて、前記測定データとして、前記OCT Bスキャンの画像データを取得させるための命令を生成すること(S26)を含み、
【0168】
前記画像(400)内に存在すると分かった前記複数の異なる種類の病変のうちの前記1つが浮腫又は萎縮である場合、前記方法が、前記選択された画像化様式の前記眼の測定装置(300)に、前記眼の前記部分を画像化させるための前記対応する命令として、前記眼の測定装置(300)に、前記眼の前記部分内の前記領域に対して光学的干渉断層検査(OCT)スキャンを実施させて、前記測定データとして、前記OCTスキャンの画像データを取得させるための命令を生成すること(S26)を含む、方法。
【0169】
E18.E14に記載のコンピュータにより実行される方法であって、前記複数の異なる種類の病変のうちの少なくとも1つが、前記画像(400)内に存在すると分かった場合、生成された前記命令のうちの少なくとも1つが、選択された測定様式の眼の測定装置(300)に、光刺激に対する前記眼の機能的反応を測定させるための命令である、方法。
【0170】
E19.E15~E17のうちのいずれかに記載のコンピュータにより実行される方法であって、表示ユニット(215)を制御して、前記眼の前記部分の前記画像(400)内の前記領域(410)の前記記録された位置と、前記受信された測定データの表示を表示させるための命令を生成することをさらに含む、方法。
【0171】
E20.E15~E17のうちのいずれかに記載のコンピュータにより実行される方法であって、前記学習アルゴリズム(630)が教師あり学習アルゴリズムである、方法。
【0172】
E21.E20に記載のコンピュータにより実行される方法であって、前記教師あり学習アルゴリズムがニューラルネットワークを含み、前記画像(400)内に存在すると分かった前記複数の異なる種類の病変のうちの1つを示す領域が、前記ニューラルネットワークを分解することにより前記画像内において検索される、方法。
【0173】
E22.E21に記載のコンピュータにより実行される方法であって、
【0174】
前記ニューラルネットワークが畳み込みニューラルネットワークであり、前記ニューラルネットワークが、前記受信された画像データにより定義された前記画像(400)の複数の異なる区分のそれぞれについて、
【0175】
マスク画像を生成するために前記画像(400)の前記区分をマスクすること(S122)を行うプロセス、
【0176】
前記学習アルゴリズムを用いて前記マスク画像を定義する画像データを処理することにより、前記マスク画像内の前記領域を検索すること(S124)を行うプロセス、
【0177】
前記マスク画像を定義する前記画像データを用いて実施された前記検索の結果と、前記受信された画像データを用いて実施された検索の結果との間の差を確定すること(S126)を行うプロセス、及び
【0178】
記録されるべき位置として、前記確定された差が最大である区分の位置を確定すること(S128)を行うプロセスを実行することにより分解される、方法。
【0179】
E23.E21に記載のコンピュータにより実行される方法であって、
【0180】
前記ニューラルネットワークが畳み込みニューラルネットワークであり、前記畳み込みニューラルネットワークが、
【0181】
テイラー分解を、前記ニューラルネットワークの上層から前記ニューラルネットワークの入力層まで前記ニューラルネットワークの各層に適用することにより、前記ニューラルネットワークの出力に対する前記ニューラルネットワークの各入力変数の関連性を確定すること、及び
【0182】
前記ニューラルネットワークの最も関連する入力変数に対応する前記受信された画像データのうちの少なくとも1つの区分に基づく記録されるべき位置を確定することにより分解される、方法。
【0183】
E24.E21に記載のコンピュータにより実行される方法であって、前記ニューラルネットワークが畳み込みニューラルネットワークであり、前記畳み込みニューラルネットワークが、前記畳み込みニューラルネットワークの逆畳み込みを行うことにより分解される、方法。
【0184】
E25.コンピュータにより実行されると、E1~E24のうちの少なくとも1つに記載される方法をコンピュータに実行させるコンピュータプログラム。
【0185】
E26.E25に記載のコンピュータプログラムを記憶するコンピュータ可読記憶媒体(250)。
【0186】
E27.E25に記載のコンピュータプログラムを搬送する信号(260)。
【0187】
E28.眼の画像化システム(520;720)により取得された眼の部分の画像(400)内において病変を示す領域を検索する装置(100)であって、前記装置(100)が、
【0188】
前記画像(400)を定義する画像データを受信するように構成された受信モジュール(110)、
【0189】
健康な眼の前記部分の複数の画像を定義する画像データ(502;604)と、前記病変を示す少なくとも1つの領域をそれぞれが有する不健康な眼の前記部分の複数の画像を定義する画像データ(601、602、603;501)に基づいて訓練された学習アルゴリズム(530;630)を用いて、前記受信された画像データを処理することにより、前記画像(400)内の前記領域を検索するように構成された検索モジュール(120)、及び
【0190】
前記検索モジュール(120)により見つけられた前記病変を示す前記画像(400)内の領域(410)に応じて、
【0191】
前記画像(400)内の前記領域(410)の位置を確定するプロセス、及び
【0192】
眼の測定装置(300)に、前記眼の前記部分に対する測定の位置を設定するための、前記確定された位置に基づく基準点を用いて、前記眼の前記部分に対する前記測定を実施させて、測定データを生成させるための命令を生成するプロセス、を実行するように構成された命令生成モジュール(130)、を含み、
【0193】
前記受信モジュール(110)が、前記測定データを前記眼の測定装置(300)から受信するようにさらに構成される、装置(100)。
【0194】
E29.E28に記載の装置(100)であって、
【0195】
前記検索モジュール(120)が、複数の異なる種類の病変のうちの対応する1つをそれぞれが有する不健康な眼の前記部分の複数の画像を定義する画像データ(601、602、603)に基づいて訓練された前記学習アルゴリズム(630)を用いて、前記受信された画像データを処理することにより、前記複数の異なる種類の病変のうちの1つを示す前記画像(400)内の領域(410)を検索することにより、前記画像(400)内の前記領域(410)を検索するように構成され、
【0196】
前記命令生成モジュール(130)が、前記検索モジュール(120)により見つけられた前記複数の異なる種類の病変のうちの1つを示す前記画像(400)内の領域(410)に応じて、
【0197】
前記複数の異なる種類の病変のうちの前記1つについて、前記眼に対して実施すべき測定のための複数の異なる種類の測定様式のうちの対応する1つを選択するプロセス、及び
【0198】
前記眼の測定装置(300)に、前記眼の前記部分に対する前記測定を実施させるための前記命令として、前記選択された測定様式の眼の測定装置(300)に、前記眼の前記部分に対する前記測定の位置を設定するための前記基準点を用いて、前記眼の前記部分に対する前記測定を実施させるための命令を生成するプロセス、を実行するように構成される、装置(100)。
【0199】
E30.E28に記載の装置(100)であって、
【0200】
前記受信モジュール(110)が、前記画像データとして、第1の画像化様式の画像データを受信するように構成され、
【0201】
前記命令生成モジュール(130)が、前記検索モジュール(120)により見つけられた前記病変を示す前記画像(400)内の領域(410)に応じて、前記眼の測定装置(300)に、前記眼の前記部分に対する前記測定を実施させるための前記命令として、前記眼の測定装置(300)に、画像取り込みプロセスにおいて画像化されるべき前記眼の前記部分内の領域の位置を前記測定の位置として設定するための前記基準点を用いて、前記第1の画像化様式とは異なる、前記眼の前記部分内の領域を画像化するための第2の画像化様式の画像取り込みプロセスを実行させるための命令を生成するように構成され、
【0202】
前記受信モジュール(110)が、前記眼の測定装置(300)から、前記測定データとして、前記眼の測定装置(300)により取得された前記第2の画像化様式の画像データを受信するように構成される、装置(100)。
【0203】
E31.E30に記載の装置(100)であって、
【0204】
前記検索モジュール(120)が、複数の異なる種類の病変のうちの対応する1つをそれぞれが有する不健康な眼の前記部分の複数の画像を定義する前記画像データ(601、602、603)に基づいて訓練された前記学習アルゴリズム(630)を用いて、前記受信された画像データを処理することにより、前記複数の異なる種類の病変のうちの1つを示す前記画像(400)内の領域(410)を検索するように構成され、
【0205】
前記命令生成モジュール(130)が、前記検索モジュール(120)により見つけられた前記複数の異なる種類の病変のうちの1つを示す前記画像(400)内の領域(410)に応じて、前記複数の異なる種類の病変のうちの前記1つについて及び前記第2の画像化様式として、前記眼の前記部分に対して前記画像取り込みプロセスを実行するために
使用されるべき複数の異なる種類の画像化様式のうちの対応する1つを選択するプロセスを実行するように構成される、装置(100)。
【0206】
E32.E31に記載の装置(100)であって、
【0207】
前記命令生成モジュール(130)が、前記複数の異なる種類の病変のうちの前記1つが緑内障である場合、前記眼の測定装置(300)に、前記第2の画像化様式の画像取り込みプロセスとして、前記眼の前記部分内の前記領域に対して光学的干渉断層検査(OCT)スキャンを実施させるための命令を生成するように構成され、前記受信モジュール(110)が、前記測定データとして、前記OCTスキャンの画像データを受信するように構成され、
【0208】
前記命令生成モジュール(130)が、前記複数の異なる種類の病変のうちの前記1つが重症の糖尿病性網膜症である場合、前記眼の測定装置(300)に、前記第2の画像化様式の画像取り込みプロセスとして、前記眼の網膜の領域に対して光学的干渉断層検査(OCT)スキャンを実施させるための命令を生成するように構成され、前記受信モジュール(110)が、前記測定データとして、前記OCTスキャンの画像データを受信するように構成され、
【0209】
前記命令生成モジュール(130)が、前記複数の異なる種類の病変のうちの前記1つが腫瘍である場合、前記眼の測定装置(300)に、前記第2の画像化様式の画像取り込みプロセスとして、前記眼の前記部分内の前記領域に対して高密度光学的干渉断層検査(OCT)Bスキャンを実施させるための命令を生成するように構成され、前記受信モジュール(110)が、前記測定データとして、前記高密度OCT Bスキャンの画像データを受信するように構成され、
【0210】
前記命令生成モジュール(130)が、前記複数の異なる種類の病変のうちの前記1つが菌塊である場合、前記眼の測定装置(300)に、前記第2の画像化様式の画像取り込みプロセスとして、前記眼の前記部分内の前記領域に対して光学的干渉断層検査(OCT)Bスキャンを実施させるための命令を生成するように構成され、前記受信モジュール(110)が、前記測定データとして、前記OCT Bスキャンの画像データを受信するように構成され、
【0211】
前記命令生成モジュール(130)が、前記複数の異なる種類の病変のうちの前記1つが浮腫である場合、前記眼の測定装置(300)に、前記第2の画像化様式の画像取り込みプロセスとして、前記眼の前記部分内の前記領域に対して光学的干渉断層検査(OCT)スキャンを実施させるための命令を生成するように構成され、前記受信モジュール(110)が、前記測定データとして、前記OCTスキャンの画像データを受信するように構成される、装置(100)。
【0212】
E33.E28に記載の装置(100)であって、前記命令生成モジュール(130)が、前記検索モジュール(120)により見つけられた前記病変を示す前記画像(400)内の前記領域(410)に応じて、前記眼の測定装置(300)に、前記眼の前記部分に対する前記測定を実施させるための前記命令として、前記眼の測定装置(300)に、前記確定された位置に基づく、前記測定の位置を設定するための前記基準点を用いて、光刺激に対する前記眼の機能的反応を測定させるための命令を生成するように構成される、装置(100)。
【0213】
E34.E28に記載の装置(100)であって、
【0214】
前記受信モジュール(110)が、画像化において使用される画像化解像度、アパーチャサイズ、及び波長のうちの1つである画像化パラメータの第1の値を用いた前記眼の前記部分の前記画像化の結果を表す画像データを受信するように構成され、
【0215】
前記命令生成モジュール(130)が、前記検索モジュール(120)により見つけられた前記病変を示す前記画像(400)内の領域(410)に応じて、前記眼の測定装置(300)に、前記眼の前記部分に対する前記測定を実施させるための前記命令として、前記眼の測定装置(300)に、前記画像化パラメータの前記第1の値とは異なる前記画像化パラメータの第2の値を用いた画像取り込みプロセスを実施させて、前記画像取り込みプロセスにおいて画像化すべき前記眼の前記部分内の領域の位置を前記測定の位置として設定するための前記基準点を用いて、前記眼の前記部分内の領域を画像化させるための命令を生成するプロセスを実行するように構成され、
【0216】
前記受信モジュール(110)が、前記眼の測定装置(300)から、前記測定データとして、前記画像化パラメータの前記第2の値を用いた前記眼の前記部分内の前記領域の画像化の前記結果を表す前記画像データを受信するように構成され、前記受信された画像データと前記受信された測定データが、同じ画像化様式のものである、装置(100)。
【0217】
E35.E28~E34のうちのいずれかに記載の装置(100)であって、前記命令生成モジュール(130)が、表示ユニット(215)を制御して、前記眼の前記部分の前記画像(400)内の前記領域(410)の前記確定された位置と、前記受信された測定データの表示を表示させるための命令を生成するようにさらに構成される、装置(100)。
【0218】
E36.E28~E35のうちのいずれかに記載の装置(100)であって、前記学習アルゴリズム(630)が教師あり学習アルゴリズムである、装置(100)。
【0219】
E37.E36に記載の装置(100)であって、前記教師あり学習アルゴリズムがニューラルネットワークを含み、前記検索モジュール(120)が、前記ニューラルネットワークを分解することにより、前記画像内において前記病変を示す前記領域を検索するように構成される、装置(100)。
【0220】
E38.E37に記載の装置(100)であって、前記ニューラルネットワークが畳み込みニューラルネットワークであり、前記検索モジュール(120)が、
【0221】
前記受信された画像データにより定義された前記画像(400)の複数の異なる区分のそれぞれについて、
【0222】
マスク画像を生成するために前記画像(400)の前記区分をマスクするプロセス、
【0223】
前記学習アルゴリズムを用いて前記マスク画像を定義する画像データを処理することにより、前記マスク画像内の前記領域を検索するプロセス、
【0224】
前記マスク画像を定義する前記画像データを用いて実施された前記検索の結果と、前記受信された画像データを用いて実施された検索の結果との間の差を確定するプロセス、及び
【0225】
前記画像(400)内の前記領域(410)の位置として、前記確定された差が最大である区分の位置を確定するプロセスを実行することにより、前記ニューラルネットワークを分解するように構成される、装置(100)。
【0226】
E39.E37に記載の装置(100)であって、
【0227】
前記ニューラルネットワークが畳み込みニューラルネットワークであり、前記検索モジュール(120)が、
【0228】
テイラー分解を、前記ニューラルネットワークの上層から前記ニューラルネットワークの入力層まで前記ニューラルネットワークの各層に適用することにより、前記ニューラルネットワークの出力に対する前記ニューラルネットワークの各入力変数の関連性を確定すること、及び
【0229】
前記ニューラルネットワークの最も関連する入力変数に対応する前記受信された画像データのうちの少なくとも1つの区分に基づく前記画像(400)内の前記領域(410)の位置を確定することにより、前記畳み込みニューラルネットワークを分解するように構成される、装置(100)。
【0230】
E40.E37に記載の装置(100)であって、前記ニューラルネットワークが畳み込みニューラルネットワークであり、前記検索モジュール(120)が、前記畳み込みニューラルネットワークの逆畳み込みを行うことにより、前記畳み込みニューラルネットワークを分解するように構成される、装置(100)。
【0231】
E41.眼の画像化システム(520)により取得された眼の部分の画像(400)内において病変の存在を検索する装置(800)であって、前記装置(800)が、
【0232】
前記画像(400)を定義する画像データを受信するように構成された受信モジュール(810)、
【0233】
健康な眼の複数の画像(604)を定義する画像データと、複数の異なる種類の病変のうちの対応する1つをそれぞれが有する不健康な眼の複数の画像(601、602、603)に基づいて訓練された学習アルゴリズム(630)を用いて、前記受信された画像データを処理することにより、前記画像(400)内において前記複数の異なる種類の病変のうちの少なくとも1つの存在を検索するように構成された検索モジュール(820)、
【0234】
前記検索モジュール(820)により前記画像(400)内において存在すると分かった前記複数の異なる種類の病変のうちの少なくとも1つに応じて、
【0235】
前記画像(400)内に存在すると分かった少なくとも1種類の病変のそれぞれについて、前記眼の前記部分に対する測定を実施するために使用されるべき複数の異なる種類の測定様式のうちの対応する1つを選択するプロセス、及び
【0236】
前記画像(400)内に存在すると分かった前記少なくとも1種類の病変のそれぞれについて、前記対応する選択された測定様式の眼の測定装置(300)に、前記眼の前記部分に対する前記測定を実施させるための対応する命令を生成するプロセス、を実行するように構成された命令生成モジュール(830)、を含み、
【0237】
前記受信モジュール(810)が、選択された各測定様式の前記眼の測定装置(300)により実施された前記測定の測定データを受信するようにさらに構成される、装置(800)。
【0238】
E42.E41に記載の装置(800)であって、前記検索モジュール(820)が、
前記複数の異なる種類の病変のうちの少なくとも1つが、前記画像(400)内に存在すると分かったことに応じ、
【0239】
前記画像(400)内に存在すると分かった前記複数の異なる種類の病変のうちの前記少なくとも1つのそれぞれについて、前記学習アルゴリズム(630)を用いて前記受信された画像データを処理することにより、前記対応する種類の病変を示す前記画像(400)内の対応する領域(410)を検索するプロセス、及び前記画像(400)内の前記対応する領域(410)の位置を記録するプロセス、を実行するようにさらに構成され、
【0240】
前記命令生成モジュール(830)が、選択された各測定様式の前記眼の測定装置(300)に、前記対応する位置に基づく、測定を位置決めするための基準点を用いて、前記眼に対する前記測定を実施させるための対応する命令を生成するように構成される、装置(800)。
【0241】
E43.E42に記載の装置(800)であって、前記命令生成モジュール(830)が、前記検索モジュール(820)により前記画像(400)内に存在すると分かった前記複数の異なる種類の病変のうちの少なくとも1つに応じて、及び前記画像(400)内に存在すると分かった前記複数の異なる種類の病変のうちの前記少なくとも1つのそれぞれについて、
【0242】
前記眼の前記部分の画像化に使用されるべき複数の異なる種類の画像化様式のうちの対応する1つを、前記複数の異なる種類の測定様式のうちの前記対応する1つとして選択するプロセス、及び
【0243】
前記選択された画像化様式の前記眼の測定装置(300)に対する前記対応する命令として、前記選択された画像化様式の眼の測定装置(300)に、前記対応する記録された位置に基づく画像化されるべき前記眼の領域を位置決めするための基準点を用いて、前記眼の前記部分を画像化させるための対応する命令を生成するプロセス、を実行するように構成され、
【0244】
前記受信モジュール(810)が、前記選択された画像化様式の前記眼の測定装置(300)により実施された前記画像化の対応する画像データを、前記眼の測定装置(300)により実施された前記測定の測定データとして受信するように構成される、装置(800)。
【0245】
E44.E43に記載の装置(800)であって、
【0246】
前記命令生成モジュール(830)が、前記画像(400)内に存在すると分かった前記複数の異なる種類の病変のうちの1つが緑内障である場合、前記選択された画像化様式の前記眼の測定装置(300)に、前記眼の前記部分を画像化させるための前記対応する命令として、前記眼の測定装置(300)に、前記眼の前記部分内の前記領域に対して光学的干渉断層検査(OCT)スキャンを実施させるための命令を生成するように構成され、前記受信モジュール(810)が、前記測定データとして、前記OCTスキャンの画像データを受信するように構成され、
【0247】
前記命令生成モジュール(830)が、前記画像(400)内に存在すると分かった前記複数の異なる種類の病変のうちの1つが重症の糖尿病性網膜症である場合、前記選択された画像化形式の前記眼の測定装置(300)に、前記眼の前記部分を画像化させるための前記対応する命令として、前記眼の測定装置(300)に、前記眼の網膜の領域に対して光学的干渉断層検査(OCT)スキャンを実施させるための命令を生成するように構成
され、前記受信モジュール(810)が、前記測定データとして、前記OCTスキャンの画像データを受信するように構成され、
【0248】
前記命令生成モジュール(830)が、前記画像(400)内に存在すると分かった前記複数の異なる種類の病変のうちの1つが腫瘍である場合、前記選択された画像化様式の前記眼の測定装置(300)に、前記眼の前記部分を画像化させるための前記対応する命令として、前記眼の測定装置(300)に、前記眼の前記部分内の前記領域に対して高密度光学的干渉断層検査(OCT)Bスキャンを実施させるための命令を生成するように構成され、前記受信モジュール(810)が、前記測定データとして、前記高密度OCT Bスキャンの画像データを受信するように構成され、
【0249】
前記命令生成モジュール(830)が、前記画像(400)内に存在すると分かった前記複数の異なる種類の病変のうちの前記1つが菌塊である場合、前記選択された画像化様式の前記眼の測定装置(300)に、前記眼の前記部分を画像化させるための前記対応する命令として、前記眼の測定装置(300)に、前記眼の前記部分内の前記領域に対して光学的干渉断層検査(OCT)Bスキャンを実施させるための命令を生成するように構成され、前記受信モジュール(810)が、前記測定データとして、前記OCT Bスキャンの画像データを受信するように構成され、
【0250】
前記命令生成モジュール(830)が、前記画像(400)内に存在すると分かった前記複数の異なる種類の病変のうちの前記1つが浮腫である場合、前記選択された画像化様式の前記眼の測定装置(300)に、前記眼の前記部分を画像化させるための前記対応する命令として、前記眼の測定装置(300)に、前記眼の前記部分内の前記領域に対して光学的干渉断層検査(OCT)スキャンを実施させるための命令を生成するように構成され、前記受信モジュール(810)が、前記測定データとして、前記OCTスキャンの画像データを受信するように構成される、装置(800)。
【0251】
E45.E41に記載の装置(800)であって、前記命令生成モジュール(830)が、前記検索モジュール(820)により前記画像内に存在すると分かった前記複数の異なる種類の病変のうちの少なくとも1つに応じて、前記選択された測定様式の眼の測定装置(300)に、光刺激に対する前記眼の機能的反応を測定させるための命令を生成するように構成される、装置(800)。
【0252】
E46.E42~E44のうちのいずれかに記載の装置(800)であって、前記命令生成モジュール(830)が、表示ユニット(215)を制御して、前記眼の前記部分の前記画像(400)内の前記領域(410)の前記記録された位置と、前記受信された測定データの表示を表示させるための命令を生成するようにさらに構成される、装置(800)。
【0253】
E47.E42~E44のうちのいずれかに記載の装置(800)であって、前記学習アルゴリズム(630)が教師あり学習アルゴリズムである、装置(800)。
【0254】
E48.E47に記載の装置(800)であって、前記教師あり学習アルゴリズムがニューラルネットワークを含み、前記検索モジュール(820)が、前記ニューラルネットワークを分解することにより、前記画像(400)内に存在すると分かった前記複数の異なる種類の病変のうちの1つを示す領域(410)を検索するように構成される、装置(800)。
【0255】
E49.E48に記載の装置であって、前記ニューラルネットワークが畳み込みニューラルネットワークであり、前記検索モジュール(820)が、
【0256】
前記受信された画像データにより定義された前記画像(400)の複数の異なる区分のそれぞれについて、
【0257】
マスク画像を生成するために前記画像(400)の前記区分をマスクするプロセス、
【0258】
前記学習アルゴリズムを用いて前記マスク画像を定義する画像データを処理することにより、前記マスク画像内の前記領域を検索するプロセス、
【0259】
前記マスク画像を定義する前記画像データを用いて実施された前記検索の結果と、前記受信された画像データを用いて実施された検索の結果との間の差を確定するプロセス、及び
【0260】
前記記録されるべき位置として、前記確定された差が最大である区分の位置を確定するプロセスを実行することにより、前記ニューラルネットワークを分解するように構成される、装置。
【0261】
E50.E48に記載の装置(800)であって、前記ニューラルネットワークが畳み込みニューラルネットワークであり、前記検索モジュール(820)が、
【0262】
テイラー分解を、前記ニューラルネットワークの上層から前記ニューラルネットワークの入力層まで前記ニューラルネットワークの各層に適用することにより、前記ニューラルネットワークの出力に対する前記ニューラルネットワークの各入力変数の関連性を確定すること、及び
【0263】
前記ニューラルネットワークの最も関連する入力変数に対応する前記受信された画像データのうちの少なくとも1つの区分に基づく記録されるべき位置を確定することにより、前記畳み込みニューラルネットワークを分解するように構成される、装置(800)。
【0264】
E51.E48に記載の装置(800)であって、前記ニューラルネットワークが畳み込みニューラルネットワークであり、前記検索モジュール(820)が、前記畳み込みニューラルネットワークの逆畳み込みを決定することにより、前記畳み込みニューラルネットワークを分解するように構成される、装置(800)。
【0265】
E52.眼の画像化システム(520;720)により取得された眼の部分の画像(400)内において病変を示す領域を検索する装置であって、前記装置(100)が、プロセッサ及びコンピュータプログラム命令を記憶するメモリを含み、前記コンピュータプログラム命令が前記プロセッサにより実行されると、前記プロセッサがE1~E24の少なくとも1つに記載される方法を実行する、装置。
【0266】
上記の記載において、例示的態様は、いくつかの例示的実施形態を参照しながら記載された。したがって、本明細書は、限定的ではなく、例示的であるとみなされるべきである。同様に、例示的実施形態の機能及び利点を強調する図面中の図も、例示のみを目的として提供される。例示的実施形態の構成は十分に適応性のあるものであり設定変更可能であるため、添付の図面に示されている構成以外の方法で使用(及び運用)可能である。
【0267】
本明細書中に提供される例示的なソフトウェアの実施形態は、例示的な一実施形態においては、それぞれが非一過性であり得る、機械アクセス可能媒体若しくは機械可読媒体、命令記憶装置、又はコンピュータ可読記憶装置などの製品に含まれる又は記憶される命令又は命令シーケンスを有する1又は複数のプログラムなどの、コンピュータプログラム、
又はソフトウェアとして提供されてもよい。前記の非一過性の機械アクセス可能媒体、機械可読媒体、命令記憶装置、又はコンピュータ可読記憶装置上のプログラム又は命令は、コンピュータシステム又は他の電子装置をプログラムするために使用されてもよい。前記の機械又はコンピュータ可読媒体、命令記憶装置、及び記憶装置は、限定はされないが、電子的命令を記憶又は伝送するのに適した、フロッピーディスケット、光ディスク、及び光磁気ディスク、又は他の種類の媒体/機械可読媒体/命令記憶装置/記憶装置を含んでもよい。本明細書中に記載の技術は、任意の特定のソフトウェア構成に限定されない。それらは、任意のコンピューティング又はプロセッシング環境において適用可能であり得る。本明細書中で使用する「コンピュータ可読」、「機械アクセス可能媒体」、「機械可読媒体」、「命令記憶装置」、及び「コンピュータ可読記憶装置」という用語は、機械、コンピュータ、又はコンピュータプロセッサによる実行のための命令又は命令シーケンスを記憶、符号化、又は伝送することができ、機械/コンピュータ/コンピュータプロセッサに本明細書中に記載の方法のうちの任意の1つを実行させる任意の媒体を含むこととする。さらに、本技術においては、通常、ソフトウェアといえば、何らかの形式で(例えば、プログラム、プロシージャ、プロセス、アプリケーション、モジュール、ユニット、ロジックなど)、動作を行う又は結果を生じさせるものである。そのような表現は、処理システムによるソフトウェアの実行により、プロセッサが、動作を行い、結果を生じさせることを単に簡略化して述べる方法である。
【0268】
さらに、いくつかの実施形態は、特定用途向け集積回路、書替え可能ゲートアレイを準備することにより、又は従来の構成回路の適切なネットワークを相互接続することにより実施されてもよい。
【0269】
いくつかの実施形態は、コンピュータプログラム製品を含む。前記コンピュータプログラム製品は、コンピュータ若しくはコンピュータプロセッサを制御する又はコンピュータ若しくはコンピュータプロセッサに本明細書中に記載の例示的実施形態の手順のうちの任意のものを実行させるために使用され得る、命令をその上に又は内に記憶する、記憶媒体(単数又は複数)、命令記憶装置(単数又は複数)、又は記憶装置(単数又は複数)であってもよい。前記記憶媒体/命令記憶装置/記憶装置は、限定はされないが例として、光ディスク、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、フラッシュメモリ、フラッシュカード、磁気カード、光カード、ナノシステム、分子メモリ集積回路、RAID、遠隔データ記憶装置/アーカイブ/保管装置、及び/又は、命令及び/又はデータの記憶に適した任意の他の種類の装置を含んでもよい。
【0270】
コンピュータ可読媒体(単数又は複数)、命令記憶装置(単数又は複数)、記憶装置(単数又は複数)のうちの任意の1つの上に記憶されたいくつかの実施態様は、本明細書中に記載の例示的実施形態の結果を用いて、システムのハードウェアを制御するため、及び前記システム又はマイクロプロセッサが人間のユーザ又は他の機械とやり取りすることを可能にするためのソフトウェアを含む。そのようなソフトウェアは、限定はされないが、装置ドライバ、オペレーティングシステム、及びユーザアプリケーションを含んでもよい。最終的に、そのようなコンピュータ可読媒体又は記憶装置(単数又は複数)は、上記に記載したように、本発明の例示的な態様を実施するためのソフトウェアをさらに含む。
【0271】
前記システムのプログラミング及び/又はソフトウェア内に含まれているのは、本明細書中に記載の手順を実施するためのソフトウェアモジュールである。本明細書中のいくつかの例示的実施形態では、モジュールはソフトウェアを含む。しかし、本明細書中の他の例示的な実施形態では、モジュールは、ハードウェア、又はハードウェアとソフトウェアの組み合わせを含む。
【0272】
本発明の様々な例示的実施形態を上記に記載したが、それらは限定ではなく例として提
供されたものであることを理解されたい。当業者にとっては、様々な変更が形式及び詳細についてそれらに加えられ得ることが明らかである。よって、本発明は、上記に記載の例示的実施形態のいずれによっても限定されるべきではなく、下記の特許請求の範囲及びその均等範囲によってのみ定義されるべきである。
【0273】
さらに、要約書の目的は、特許庁、並びに一般的に世の中の人々、特に、特許又は法律の用語又は語法に詳しくない、本技術分野の科学者、技術者、及び実務者が、一読することで本出願の技術的開示の特質及び本質を素早く確認できるようにすることである。前記要約書は、本明細書中に記載の例示的実施形態の範囲について、いかなる限定も意図していない。特許請求の範囲に列挙される手順は、示された順番で実行される必要がないことも理解されたい。
【0274】
本明細書は、多くの特定の実施形態の詳細を含んでいるが、これらは任意の発明の範囲又は請求され得るものに対する限定であると考えられるべきではなく、本明細書中に記載の特定の実施形態に特有の特徴についての記載として考えられるべきである。さらに、個々の実施形態の文脈において本明細書に記載されるある特徴は、単一の実施形態において組み合わせることにより実施され得る。反対に、単一の実施形態の文脈において記載される様々な特徴は、複数の実施形態において、個々に又は任意の適切な方法で下位的に組み合わせることにより実施され得る。さらに、特徴が、ある組み合わせで動作するものとして、上記に記載され、最初にそのように請求されるとしても、請求される組み合わせからの1又は複数の特徴は、場合によっては、その組み合わせから除外され、請求される組み合わせが、下位の組み合わせ又は下位の組み合わせの変形に関することもある。
【0275】
ある状況では、マルチタスク処理又は並列処理が、有利であることもある。さらに、上記に記載の実施形態における様々な構成要素の分離は、そのような分離が全ての実施形態において必要であるものとして理解されるべきではなく、記載のプログラム構成要素及びシステムは、一般的に、単一のソフトウェア製品と統合され得る又は複数のソフトウェア製品内に実装され得るものとして理解されるべきである。
【0276】
ここまで、いくつかの例示の実施形態及び実施形態を記載したが、上記は、例示であり限定ではなく、例として提供されたことが明らかである。特に、本明細書中に記載の例の多くが、装置又はソフトウェア要素の特定の組み合わせを含むが、それらの要素は、同じ目的を達成するための他の方法で組み合わされてもよい。一実施形態のみに関して記述された動作、要素、及び特徴は、他の実施形態又は実施形態における類似の役割から排除されることを意図していない。
【0277】
本明細書中に記載の装置及びコンピュータプログラムは、それらの特徴から逸脱することなく、他の特定の形式で実施されてもよい。上記の実施形態は、記載のシステム及び方法の限定ではなく、例示である。よって、本明細書中に記載の装置及びコンピュータプログラムの範囲は、上記の記載よりも、添付の特許請求の範囲により示されており、特許請求の範囲と均等の意味及び範囲内にある変更は、特許請求の範囲に含まれる。
図1
図2
図3
図4A
図4B
図5
図6
図7
図8
図9
図10