知財求人 - 知財ポータルサイト「IP Force」
▶ デジタル ダイアグノスティックス インコーポレイテッドの特許一覧
特開2025-23026最小フラッシュ眼疾患診断のための画像保持およびスティッチング
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025023026
(43)【公開日】2025-02-14
(54)【発明の名称】最小フラッシュ眼疾患診断のための画像保持およびスティッチング
(51)【国際特許分類】
A61B 3/14 20060101AFI20250206BHJP
【ＦＩ】
A61B3/14
【審査請求】有
【請求項の数】1
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024206211
(22)【出願日】2024-11-27
(62)【分割の表示】P 2022555774の分割
【原出願日】2021-03-15
(31)【優先権主張番号】62/992,041
(32)【優先日】2020-03-19
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】521552349
【氏名又は名称】デジタル ダイアグノスティックス インコーポレイテッド
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】ウォーレン ジェイムズ クラリダ
(72)【発明者】
【氏名】ライアン アール ローレット エムロン
(72)【発明者】
【氏名】アバイ シャー
(72)【発明者】
【氏名】ジェイコブ パトリック サザー
(72)【発明者】
【氏名】マインダート ニーマイジャー
(72)【発明者】
【氏名】マイケル デイビッド エイブラモフ
(57)【要約】
【課題】最小フラッシュ眼疾患診断のための画像保持およびスティッチングの提供。
【解決手段】診断のための画像収集中、フラッシュへの網膜暴露を最小限にするためのシステムおよび方法が、本明細書に提供される。ある実施形態では、システムは、異なる網膜領域の複数の網膜画像を捕捉する。システムは、第１の画像の第１の部分は基準を満たさない一方、第１の画像の第２の部分は基準を満たすことを決定することと、基準を満たさない第１の部分内に描写される網膜の一部を識別することと、網膜のその部分が第２の画像の第３の部分内に描写されているかどうか、および第３の部分が基準を満たすかどうかを決定することとを行う。第３の部分が基準を満たすことを決定することに応答して、システムは、診断を実施する。網膜のその部分が第２の画像内に描写されていないことを決定することに応答して、システムは、網膜領域の追加の画像を捕捉する。
【選択図】図６
【解決手段】診断のための画像収集中、フラッシュへの網膜暴露を最小限にするためのシステムおよび方法が、本明細書に提供される。ある実施形態では、システムは、異なる網膜領域の複数の網膜画像を捕捉する。システムは、第１の画像の第１の部分は基準を満たさない一方、第１の画像の第２の部分は基準を満たすことを決定することと、基準を満たさない第１の部分内に描写される網膜の一部を識別することと、網膜のその部分が第２の画像の第３の部分内に描写されているかどうか、および第３の部分が基準を満たすかどうかを決定することとを行う。第３の部分が基準を満たすことを決定することに応答して、システムは、診断を実施する。網膜のその部分が第２の画像内に描写されていないことを決定することに応答して、システムは、網膜領域の追加の画像を捕捉する。
【選択図】図６
【特許請求の範囲】
【請求項1】
本明細書に記載の発明。
【発明の詳細な説明】
【技術分野】
【0001】
（背景）
本発明は、概して、網膜異常の自律型診断に関し、より具体的には、患者の網膜にフラッシュを放つ必要性を低減させるための画像保持に関する。
本発明は、概して、網膜異常の自律型診断に関し、より具体的には、患者の網膜にフラッシュを放つ必要性を低減させるための画像保持に関する。
【背景技術】
【0002】
網膜異常を診断するための自律型システムは、患者の網膜（本明細書では、単語「眼底」と同じ意味で使用される）の画像を捕捉し、異常に関してそれらの画像を分析する。典型的には、網膜の異なる部分の画像（例えば、中心窩が中央にある画像および視神経乳頭が中央にある画像）が、捕捉される。捕捉された画像が、十分な診断を実施するために不十分であるとき、網膜の各部分の十分な画像が取得されるまで、さらなる画像が捕捉される。撮像デバイスによるフラッシュへの繰り返される暴露は、各フラッシュ後の正常な撮像の見込みをより低くする瞳孔制約をさらに引き起こし得る。したがって、十分な画像が捕捉されるまで捕捉されるべきさらなる画像の必要性を低減させることは、フラッシュの数を低減させ、無数の写真を撮る必要性、または、瞳孔が正常拡張に回復するまで、診断されることを患者に待たせる必要性を低減させる。加えて、瞳孔制約を大幅に増大させるフラッシュの数が着座状態で到達される見込みが低く、したがって、患者の眼球にフラッシュを放つために、それが実行可能な画像を再度もたらす見込みが高いそのような時間まで患者の診断を遅延させる必要性を防止するという点において、さらなる画像の必要性を低減させることは、より迅速な診断を可能にし得る。
【発明の概要】
【課題を解決するための手段】
【0003】
（概要）
先に捕捉された画像が不十分であった場合に、網膜領域の画像を捕捉するために患者の眼球にフラッシュを再度放つ必要性を低減させるためのシステムおよび方法が、本明細書に提供される。ある実施例として、患者の右眼の診断を実施するために、２つの画像、すなわち、中心窩が中央にある画像および視神経乳頭が中央にある画像が、捕捉されてもよい。これらの２つの画像内に描写される網膜の各部分の間には、いくつかの重複箇所が存在する。その画像のうちの１つ内に描写される網膜の領域が何らかの理由（例えば、露出過度または不足）のために使用不可能である場合、画像を再捕捉するのではなく、システムは、他の画像において、同一の領域が、同一の不備を伴わずに描写されているかどうかを決定し得る。その領域が他の画像から使用可能である場合、システムは、その領域の別の画像を捕捉するために患者の右眼にフラッシュを再度放つ必要性を回避し、代わりに、診断を実施するために、２つの画像の部分をスティッチングし得る。
先に捕捉された画像が不十分であった場合に、網膜領域の画像を捕捉するために患者の眼球にフラッシュを再度放つ必要性を低減させるためのシステムおよび方法が、本明細書に提供される。ある実施例として、患者の右眼の診断を実施するために、２つの画像、すなわち、中心窩が中央にある画像および視神経乳頭が中央にある画像が、捕捉されてもよい。これらの２つの画像内に描写される網膜の各部分の間には、いくつかの重複箇所が存在する。その画像のうちの１つ内に描写される網膜の領域が何らかの理由（例えば、露出過度または不足）のために使用不可能である場合、画像を再捕捉するのではなく、システムは、他の画像において、同一の領域が、同一の不備を伴わずに描写されているかどうかを決定し得る。その領域が他の画像から使用可能である場合、システムは、その領域の別の画像を捕捉するために患者の右眼にフラッシュを再度放つ必要性を回避し、代わりに、診断を実施するために、２つの画像の部分をスティッチングし得る。
【0004】
診断のための画像収集中、フラッシュへの網膜暴露を最小限にするために、ある実施形態では、網膜画像前処理ツールが、（例えば、画像を撮影し、それらを網膜画像前処理ツールに送信するように撮像デバイスに命令することによって）複数の網膜画像を捕捉する。各網膜画像は、複数の網膜領域のうちの異なる網膜領域（例えば、中心窩が中央にある領域および視神経乳頭が中央にある領域）に対応し得る。網膜画像前処理ツールは、第１の画像の第１の部分（例えば、中心窩が中央にある部分）は基準を満たさない（例えば、画像が露出過度または不足である、画像が影または他のアーチファクトを有する等）一方、第１の画像の第２の部分（例えば、視神経乳頭が中央にある部分）は基準を満たす（例えば、第２の画像は、適切に露出されている）ことを決定し得る。
【0005】
網膜画像前処理ツールは、基準を満たさない第１の部分内に描写される網膜の一部を識別し得、その網膜の同一部分が第２の画像の第３の部分内に描写されていることを決定し得る。網膜画像前処理ツールは、第３の部分が基準を満たすかどうかを決定し得る。第３の部分が基準を満たすことを決定することに応答して、複数の網膜画像を使用して、診断が実施され得る。網膜のその部分が第２の画像内に描写されていないことを決定することに応答して、網膜画像前処理ツールは、第１の画像内に描写される網膜領域の追加の画像を捕捉し得る。
本発明は、例えば、以下の項目を提供する。
（項目１）
診断のための画像収集中、フラッシュへの網膜暴露を最小限にするための方法であって、
複数の網膜画像を捕捉することであって、各網膜画像は、複数の網膜領域のうちの異なる網膜領域に対応し、前記複数の網膜画像は、第１の画像および第２の画像を含む、ことと、
前記第１の画像の第１の部分は基準を満たさない一方、前記第１の画像の第２の部分は前記基準を満たすことを決定することと、
前記基準を満たさない前記第１の部分内に描写される前記網膜の一部を識別することと、
前記網膜の前記部分が前記第２の画像の第３の部分内に描写されているかどうかを決定することと、
前記第３の部分が前記基準を満たすかどうかを決定することと、
前記第３の部分が前記基準を満たすことを決定することに応答して、前記複数の網膜画像を使用して前記診断を実施することと、
前記網膜の前記部分が前記第２の画像内に描写されていないことを決定することに応答して、前記第１の画像内に描写される前記網膜領域の追加の画像を捕捉することと
を含む方法。
（項目２）
前記診断を実施することは、前記複数の網膜画像に基づいて疾病の尤度を出力する完全自律型機械学習モデルに前記画像を通すことを含む、項目１に記載の方法。
（項目３）
前記複数の網膜画像の各網膜画像は、マルチフレーム映像を含み、前記マルチフレーム映像の各フレームは、異なるレベルのフラッシュ暴露において画像を捕捉する、項目１に記載の方法。
（項目４）
前記第１の画像の前記第１の部分が前記基準を満たさないことを決定することは、前記第１の画像の前記第１の部分が露出過度または露出不足のいずれかであることを決定することを含む、項目１に記載の方法。
（項目５）
前記第２の画像は、前記第１の画像が描写するものと同一の眼球の網膜の画像である、項目１に記載の方法。
（項目６）
前記複数の網膜画像を使用して前記診断を実施することは、
前記第１の画像内にスティッチングされた前記第２の画像の前記第３の部分とともに、前記画像の前記第１の部分を含む合成画像を生成することと、
前記合成画像を使用して前記診断を実施することと
を含む、項目１に記載の方法。
（項目７）
前記複数の網膜画像を使用して前記診断を実施することは、
前記第１の部分を考慮に入れずに前記第１の画像を分析し、第１の分析を生成することと、
前記第２の画像の前記第３の部分を分析し、第２の分析を生成することと、
前記第１の分析および前記第２の分析を使用して前記診断を実施することと
を含む、項目１に記載の方法。
（項目８）
前記追加の画像を捕捉することは、
アプリケーションプロトコルインターフェース（ＡＰＩ）を使用して、前記第１の画像を捕捉するために使用される視点を使用して追加の画像を捕捉するための指令を撮像デバイスに伝送することと、
前記撮像デバイスから前記追加の画像を受信することと
を含む、項目１に記載の方法。
（項目９）
前記複数の網膜画像を使用して前記診断を実施することは、前記診断において前記第３の部分を使用することを含む、項目１に記載の方法。
（項目１０）
診断のための画像収集中、フラッシュへの網膜暴露を最小限にするためのコンピュータプログラム製品であって、
複数の網膜画像を捕捉することであって、各網膜画像は、複数の網膜領域のうちの異なる網膜領域に対応し、前記複数の網膜画像は、第１の画像および第２の画像を含む、ことと、
前記第１の画像の第１の部分は基準を満たさない一方、前記第１の画像の第２の部分は前記基準を満たすことを決定することと、
前記基準を満たさない前記第１の部分内に描写される前記網膜の一部を識別することと、
前記網膜の前記部分が前記第２の画像の第３の部分内に描写されているかどうかを決定することと、
前記第３の部分が前記基準を満たすかどうかを決定することと、
前記第３の部分が前記基準を満たすことを決定することに応答して、前記複数の網膜画像を使用して前記診断を実施することと、
前記網膜の前記部分が前記第２の画像内に描写されていないことを決定することに応答して、前記第１の画像内に描写される前記網膜領域の追加の画像を捕捉することと
を行うためのコンピュータプログラムコードを含む非一時的コンピュータ読取可能な記憶媒体を含むコンピュータプログラム製品。
（項目１１）
前記診断を実施するための前記コンピュータプログラムコードは、前記複数の網膜画像に基づいて疾病の尤度を出力する完全自律型機械学習モデルに前記画像を通すためのコンピュータプログラムコードを含む、項目１０に記載のコンピュータプログラム製品。
（項目１２）
前記複数の網膜画像の各網膜画像は、マルチフレーム映像を含み、前記マルチフレーム映像の各フレームは、異なるレベルのフラッシュ暴露において画像を捕捉する、項目１０に記載のコンピュータプログラム製品。
（項目１３）
前記第１の画像の前記第１の部分が前記基準を満たさないことを決定するための前記コンピュータプログラムコードは、前記第１の画像の前記第１の部分が露出過度または露出不足のいずれかであることを決定するためのコンピュータプログラムコードを含む、項目１０に記載のコンピュータプログラム製品。
（項目１４）
前記第２の画像は、前記第１の画像が描写するものと同一の眼球の網膜の画像である、項目１０に記載のコンピュータプログラム製品。
（項目１５）
前記複数の網膜画像を使用して前記診断を実施するための前記コンピュータプログラムコードは、
前記第１の画像内にスティッチングされた前記第２の画像の前記第３の部分とともに、前記画像の前記第１の部分を含む合成画像を生成することと、
前記合成画像を使用して前記診断を実施することと
を行うためのコンピュータプログラムコードを含む、項目１０に記載のコンピュータプログラム製品。
（項目１６）
前記複数の網膜画像を使用して前記診断を実施するための前記コンピュータプログラムコードは、
前記第１の部分を考慮に入れずに前記第１の画像を分析し、第１の分析を生成することと、
前記第２の画像の前記第３の部分を分析し、第２の分析を生成することと、
前記第１の分析および前記第２の分析を使用して前記診断を実施することと
を行うためのコンピュータプログラムコードを含む、項目１０に記載のコンピュータプログラム製品。
（項目１７）
前記追加の画像を捕捉するための前記コンピュータプログラムコードは、
アプリケーションプロトコルインターフェース（ＡＰＩ）を使用して、前記第１の画像を捕捉するために使用される視点を使用して追加の画像を捕捉するための指令を撮像デバイスに伝送することと、
前記撮像デバイスから前記追加の画像を受信することと
を行うためのコンピュータプログラムコードを含む、項目１０に記載のコンピュータプログラム製品。
（項目１８）
前記複数の網膜画像を使用して前記診断を実施することは、前記診断において前記第３の部分を使用することを含む、項目１０に記載のコンピュータプログラム製品。
（項目１９）
診断のための画像収集中、フラッシュへの網膜暴露を最小限にするためのコンピュータプログラム製品であって、
複数の網膜画像を捕捉するための第１のモジュールであって、各網膜画像は、複数の網膜領域のうちの異なる網膜領域に対応し、前記複数の網膜画像は、第１の画像および第２の画像を含む、第１のモジュールと、
第２のモジュールであって、
前記第１の画像の第１の部分は基準を満たさない一方、前記第１の画像の第２の部分は前記基準を満たすことを決定することと、
前記基準を満たさない前記第１の部分内に描写される前記網膜の一部を識別することと、
前記網膜の前記部分が前記第２の画像の第３の部分内に描写されているかどうかを決定することと、
前記第３の部分が前記基準を満たすかどうかを決定することと
を行うための第２のモジュールと、
前記第３の部分が前記基準を満たすことを決定することに応答して、前記複数の網膜画像を使用して前記診断を実施するための第３のモジュールと、
前記網膜の前記部分が前記第２の画像内に描写されていないことを決定することに応答して、前記第１の画像内に描写される前記網膜領域の追加の画像を捕捉するための第４のモジュールと
を含むコンピュータプログラムコードを含むコンピュータ読取可能な記憶媒体を含むコンピュータプログラム製品。
（項目２０）
前記診断を実施することは、前記複数の網膜画像に基づいて疾病の尤度を出力する完全自律型機械学習モデルに前記画像を通すことを含む、項目１９に記載のコンピュータプログラム製品。
本発明は、例えば、以下の項目を提供する。
（項目１）
診断のための画像収集中、フラッシュへの網膜暴露を最小限にするための方法であって、
複数の網膜画像を捕捉することであって、各網膜画像は、複数の網膜領域のうちの異なる網膜領域に対応し、前記複数の網膜画像は、第１の画像および第２の画像を含む、ことと、
前記第１の画像の第１の部分は基準を満たさない一方、前記第１の画像の第２の部分は前記基準を満たすことを決定することと、
前記基準を満たさない前記第１の部分内に描写される前記網膜の一部を識別することと、
前記網膜の前記部分が前記第２の画像の第３の部分内に描写されているかどうかを決定することと、
前記第３の部分が前記基準を満たすかどうかを決定することと、
前記第３の部分が前記基準を満たすことを決定することに応答して、前記複数の網膜画像を使用して前記診断を実施することと、
前記網膜の前記部分が前記第２の画像内に描写されていないことを決定することに応答して、前記第１の画像内に描写される前記網膜領域の追加の画像を捕捉することと
を含む方法。
（項目２）
前記診断を実施することは、前記複数の網膜画像に基づいて疾病の尤度を出力する完全自律型機械学習モデルに前記画像を通すことを含む、項目１に記載の方法。
（項目３）
前記複数の網膜画像の各網膜画像は、マルチフレーム映像を含み、前記マルチフレーム映像の各フレームは、異なるレベルのフラッシュ暴露において画像を捕捉する、項目１に記載の方法。
（項目４）
前記第１の画像の前記第１の部分が前記基準を満たさないことを決定することは、前記第１の画像の前記第１の部分が露出過度または露出不足のいずれかであることを決定することを含む、項目１に記載の方法。
（項目５）
前記第２の画像は、前記第１の画像が描写するものと同一の眼球の網膜の画像である、項目１に記載の方法。
（項目６）
前記複数の網膜画像を使用して前記診断を実施することは、
前記第１の画像内にスティッチングされた前記第２の画像の前記第３の部分とともに、前記画像の前記第１の部分を含む合成画像を生成することと、
前記合成画像を使用して前記診断を実施することと
を含む、項目１に記載の方法。
（項目７）
前記複数の網膜画像を使用して前記診断を実施することは、
前記第１の部分を考慮に入れずに前記第１の画像を分析し、第１の分析を生成することと、
前記第２の画像の前記第３の部分を分析し、第２の分析を生成することと、
前記第１の分析および前記第２の分析を使用して前記診断を実施することと
を含む、項目１に記載の方法。
（項目８）
前記追加の画像を捕捉することは、
アプリケーションプロトコルインターフェース（ＡＰＩ）を使用して、前記第１の画像を捕捉するために使用される視点を使用して追加の画像を捕捉するための指令を撮像デバイスに伝送することと、
前記撮像デバイスから前記追加の画像を受信することと
を含む、項目１に記載の方法。
（項目９）
前記複数の網膜画像を使用して前記診断を実施することは、前記診断において前記第３の部分を使用することを含む、項目１に記載の方法。
（項目１０）
診断のための画像収集中、フラッシュへの網膜暴露を最小限にするためのコンピュータプログラム製品であって、
複数の網膜画像を捕捉することであって、各網膜画像は、複数の網膜領域のうちの異なる網膜領域に対応し、前記複数の網膜画像は、第１の画像および第２の画像を含む、ことと、
前記第１の画像の第１の部分は基準を満たさない一方、前記第１の画像の第２の部分は前記基準を満たすことを決定することと、
前記基準を満たさない前記第１の部分内に描写される前記網膜の一部を識別することと、
前記網膜の前記部分が前記第２の画像の第３の部分内に描写されているかどうかを決定することと、
前記第３の部分が前記基準を満たすかどうかを決定することと、
前記第３の部分が前記基準を満たすことを決定することに応答して、前記複数の網膜画像を使用して前記診断を実施することと、
前記網膜の前記部分が前記第２の画像内に描写されていないことを決定することに応答して、前記第１の画像内に描写される前記網膜領域の追加の画像を捕捉することと
を行うためのコンピュータプログラムコードを含む非一時的コンピュータ読取可能な記憶媒体を含むコンピュータプログラム製品。
（項目１１）
前記診断を実施するための前記コンピュータプログラムコードは、前記複数の網膜画像に基づいて疾病の尤度を出力する完全自律型機械学習モデルに前記画像を通すためのコンピュータプログラムコードを含む、項目１０に記載のコンピュータプログラム製品。
（項目１２）
前記複数の網膜画像の各網膜画像は、マルチフレーム映像を含み、前記マルチフレーム映像の各フレームは、異なるレベルのフラッシュ暴露において画像を捕捉する、項目１０に記載のコンピュータプログラム製品。
（項目１３）
前記第１の画像の前記第１の部分が前記基準を満たさないことを決定するための前記コンピュータプログラムコードは、前記第１の画像の前記第１の部分が露出過度または露出不足のいずれかであることを決定するためのコンピュータプログラムコードを含む、項目１０に記載のコンピュータプログラム製品。
（項目１４）
前記第２の画像は、前記第１の画像が描写するものと同一の眼球の網膜の画像である、項目１０に記載のコンピュータプログラム製品。
（項目１５）
前記複数の網膜画像を使用して前記診断を実施するための前記コンピュータプログラムコードは、
前記第１の画像内にスティッチングされた前記第２の画像の前記第３の部分とともに、前記画像の前記第１の部分を含む合成画像を生成することと、
前記合成画像を使用して前記診断を実施することと
を行うためのコンピュータプログラムコードを含む、項目１０に記載のコンピュータプログラム製品。
（項目１６）
前記複数の網膜画像を使用して前記診断を実施するための前記コンピュータプログラムコードは、
前記第１の部分を考慮に入れずに前記第１の画像を分析し、第１の分析を生成することと、
前記第２の画像の前記第３の部分を分析し、第２の分析を生成することと、
前記第１の分析および前記第２の分析を使用して前記診断を実施することと
を行うためのコンピュータプログラムコードを含む、項目１０に記載のコンピュータプログラム製品。
（項目１７）
前記追加の画像を捕捉するための前記コンピュータプログラムコードは、
アプリケーションプロトコルインターフェース（ＡＰＩ）を使用して、前記第１の画像を捕捉するために使用される視点を使用して追加の画像を捕捉するための指令を撮像デバイスに伝送することと、
前記撮像デバイスから前記追加の画像を受信することと
を行うためのコンピュータプログラムコードを含む、項目１０に記載のコンピュータプログラム製品。
（項目１８）
前記複数の網膜画像を使用して前記診断を実施することは、前記診断において前記第３の部分を使用することを含む、項目１０に記載のコンピュータプログラム製品。
（項目１９）
診断のための画像収集中、フラッシュへの網膜暴露を最小限にするためのコンピュータプログラム製品であって、
複数の網膜画像を捕捉するための第１のモジュールであって、各網膜画像は、複数の網膜領域のうちの異なる網膜領域に対応し、前記複数の網膜画像は、第１の画像および第２の画像を含む、第１のモジュールと、
第２のモジュールであって、
前記第１の画像の第１の部分は基準を満たさない一方、前記第１の画像の第２の部分は前記基準を満たすことを決定することと、
前記基準を満たさない前記第１の部分内に描写される前記網膜の一部を識別することと、
前記網膜の前記部分が前記第２の画像の第３の部分内に描写されているかどうかを決定することと、
前記第３の部分が前記基準を満たすかどうかを決定することと
を行うための第２のモジュールと、
前記第３の部分が前記基準を満たすことを決定することに応答して、前記複数の網膜画像を使用して前記診断を実施するための第３のモジュールと、
前記網膜の前記部分が前記第２の画像内に描写されていないことを決定することに応答して、前記第１の画像内に描写される前記網膜領域の追加の画像を捕捉するための第４のモジュールと
を含むコンピュータプログラムコードを含むコンピュータ読取可能な記憶媒体を含むコンピュータプログラム製品。
（項目２０）
前記診断を実施することは、前記複数の網膜画像に基づいて疾病の尤度を出力する完全自律型機械学習モデルに前記画像を通すことを含む、項目１９に記載のコンピュータプログラム製品。
【図面の簡単な説明】
【0006】
【0007】
【0008】
【0009】
【0010】
【0011】
【0012】
図は、本発明の種々の実施形態を例証目的のみのために描写する。当業者は、本明細書に説明される本発明の原理から逸脱することなく、本明細書に例証される構造および方法の代替実施形態が採用され得ることを以下の検討から直ちに認識するであろう。
【発明を実施するための形態】
【0013】
（詳細な説明）
（ａ）環境概説
図１は、一実施形態による、網膜画像前処理ツールを利用するための環境におけるシステムコンポーネントの例示的ブロック図である。環境１００は、撮像デバイス１１０と、ネットワーク１２０と、網膜画像前処理ツール１３０と、網膜疾患診断ツール１４０とを含む。撮像デバイス１１０は、患者の眼球の網膜の１つまたはそれより多くの画像を捕捉するように構成されるデバイスである。撮像デバイス１１０は、手動動作を通して、コンピュータプログラム命令または（例えば、網膜色素沈着決定ツール１３０から受信される）外部信号によって、またはそれらの組み合わせによって命令されると、自律的に、そのような画像を捕捉させられ得る。これらの画像がどのように見え得るか、および、それらがどのように導出されるかの実施例は、２０１７年３月２２日に出願された自己の米国特許出願第１５／４６６，６３６号において説明され、その開示は、本明細書によって、参照によってその全体が本明細書に援用される。他の実施例が、本開示の図５に関して説明される。
（ａ）環境概説
図１は、一実施形態による、網膜画像前処理ツールを利用するための環境におけるシステムコンポーネントの例示的ブロック図である。環境１００は、撮像デバイス１１０と、ネットワーク１２０と、網膜画像前処理ツール１３０と、網膜疾患診断ツール１４０とを含む。撮像デバイス１１０は、患者の眼球の網膜の１つまたはそれより多くの画像を捕捉するように構成されるデバイスである。撮像デバイス１１０は、手動動作を通して、コンピュータプログラム命令または（例えば、網膜色素沈着決定ツール１３０から受信される）外部信号によって、またはそれらの組み合わせによって命令されると、自律的に、そのような画像を捕捉させられ得る。これらの画像がどのように見え得るか、および、それらがどのように導出されるかの実施例は、２０１７年３月２２日に出願された自己の米国特許出願第１５／４６６，６３６号において説明され、その開示は、本明細書によって、参照によってその全体が本明細書に援用される。他の実施例が、本開示の図５に関して説明される。
【0014】
画像の捕捉後、撮像デバイス１１０は、画像を網膜疾患診断ツール１４０に伝送する。網膜疾患診断ツール１４０は、入力として、１つまたはそれより多くの画像を撮影し得、機械学習モデルを使用して、入力に基づいて、診断を完全に自律的に出力し得る。網膜疾患診断ツール１４０は、網膜画像を自律的に分析し、その中のバイオマーカの機械学習分析を使用して診断を決定する。診断は、具体的には、ユーザが糖尿病性網膜症等の特定の疾患を有するという決定であり得、または、ユーザが疾患を有している見込みが高く、したがって、確認および治療のために医師の診察を受けるべきであるという決定であり得る。網膜疾患診断ツール１４０が分析を実施し、診断を決定する様式は、２０１９年１０月３０日に刊行された自己の米国特許第１０，１１５，１９４号においてさらに検討され、その開示は、本明細書によって、参照によってその全体が本明細書に援用される。
【0015】
診断の実施に先立って、網膜疾患診断ツール１４０は、撮像デバイス１１０によって捕捉された画像（単数または複数）が、診断を実施するために十分であるかどうかを決定する網膜画像前処理ツール１３０を有してもよい。網膜画像前処理ツール１３０がこの分析を実施する様式は、図３に関して下記にさらに詳細に説明される。網膜疾患診断ツール１４０のコンポーネントとして描写される一方、網膜画像前処理ツール１３０は、画像を受信し、十分性に関して画像を吟味し、次いで、画像が診断のために十分である場合、画像を網膜疾患診断ツール１４０に伝送するスタンドアロンエンティティであってもよい。網膜画像前処理ツール１３０および／または網膜疾患診断ツール１４０は、１つまたはそれより多くのサーバ上でインスタンス化されてもよい。さらに、網膜画像前処理ツール１３０および／または網膜疾患診断ツール１４０は、撮像デバイス１１０において、全体または一部においてインスタンス化され得、したがって、ネットワーク１２０を経由する通信トラフィックの一部または全ての必要性を排除し得る。
【0016】
（ｂ）例示的撮像デバイスコンポーネント
図２は、一実施形態による、撮像デバイスのモジュールおよびコンポーネントの例示的ブロック図である。撮像デバイス１１０は、画像捕捉コンポーネント２１１と、フラッシュコンポーネント２１２と、網膜疾患診断ツールアプリケーションプロトコルインターフェース（ＡＰＩ）２１４と、ユーザインターフェース２１５とを含む。描写されないが、撮像デバイス１１０は、網膜画像前処理ツール１３０および網膜疾患診断ツール１４０のいずれかまたは両方の内蔵インスタンス等の他のコンポーネント、ならびにそれらの任意のコンポーネントを含んでもよい。撮像デバイス１１０は、本明細書に説明される任意の機能を実施するための任意のデータベースまたはメモリを含んでもよい。撮像デバイス１１０は、同様に、いくつかの描写されるコンポーネントを除外してもよい。
図２は、一実施形態による、撮像デバイスのモジュールおよびコンポーネントの例示的ブロック図である。撮像デバイス１１０は、画像捕捉コンポーネント２１１と、フラッシュコンポーネント２１２と、網膜疾患診断ツールアプリケーションプロトコルインターフェース（ＡＰＩ）２１４と、ユーザインターフェース２１５とを含む。描写されないが、撮像デバイス１１０は、網膜画像前処理ツール１３０および網膜疾患診断ツール１４０のいずれかまたは両方の内蔵インスタンス等の他のコンポーネント、ならびにそれらの任意のコンポーネントを含んでもよい。撮像デバイス１１０は、本明細書に説明される任意の機能を実施するための任意のデータベースまたはメモリを含んでもよい。撮像デバイス１１０は、同様に、いくつかの描写されるコンポーネントを除外してもよい。
【0017】
画像捕捉コンポーネント２１１は、患者の網膜の画像を捕捉するように構成される任意のセンサであってもよい。例えば、特殊レンズが、患者の網膜の画像を捕捉するために使用されてもよい。フラッシュコンポーネント２１２は、画像捕捉コンポーネント２１１による画像捕捉中、患者の網膜を照明することが可能な任意のコンポーネントであってもよく、画像捕捉コンポーネント２１１の画像捕捉動作と協調して、光を放出するように構成されてもよい。
【0018】
網膜疾患診断ツールＡＰＩ２１４は、網膜画像前処理ツール１３０から撮像デバイス１１０への指令を変換するために、網膜疾患診断ツール１３０とインターフェース接続する。例示的指令は、画像を捕捉または再捕捉するための指令、フラッシュコンポーネント２１２によって放出される光の強度を調節するための指令、およびその同等物を含んでもよい。これらの指令、および、これらがどのように生成されるかは、図３を参照して下記にさらに詳細に検討される。
【0019】
ユーザインターフェース２１５は、それを用いて、撮像デバイス１１０の操作者が、画像を捕捉すること、フラッシュ強度を調節すること、および同等のこと等を実施することが可能な任意の機能を実施するように撮像デバイス１１０に指令し得るインターフェースである。ユーザインターフェース２１５は、任意のハードウェアまたはソフトウェアインターフェースであってもよく、物理コンポーネント（例えば、ボタン）および／または（例えば、タッチスクリーンディスプレイ等のディスプレイ上の）グラフィックコンポーネントを含んでもよい。ユーザインターフェース２１５は、撮像デバイス１１０上に位置してもよく、撮像デバイス１１０の周辺デバイスであってもよく、または、ネットワーク１２０によって撮像デバイス１１０から分離され、それによって、撮像デバイス１１０の遠隔動作を可能にし得るデバイス上に位置してもよい。例示的ユーザインターフェースが、図５に関して示され、さらに詳細に検討される。
【0020】
（ｃ）例示的網膜画像前処理ツールコンポーネント
図３は、一実施形態による、網膜画像前処理ツールのモジュールおよびコンポーネントの例示的ブロック図である。網膜画像前処理ツール１３０は、初期画像捕捉モジュール３３１と、前処理モジュール２３２と、予備画像評価モジュール２３３と、画像再捕捉モジュール２３４と、画像スティッチングモジュール２３５とを含む。描写されないが、網膜画像前処理ツール１１０は、追加のモジュール等の他のコンポーネント、および本明細書に説明される任意の機能を実施するための任意のデータベースまたはメモリを含んでもよい。また、網膜画像前処理ツール１３０は、いくつかの描写されるコンポーネントを除外してもよい。
図３は、一実施形態による、網膜画像前処理ツールのモジュールおよびコンポーネントの例示的ブロック図である。網膜画像前処理ツール１３０は、初期画像捕捉モジュール３３１と、前処理モジュール２３２と、予備画像評価モジュール２３３と、画像再捕捉モジュール２３４と、画像スティッチングモジュール２３５とを含む。描写されないが、網膜画像前処理ツール１１０は、追加のモジュール等の他のコンポーネント、および本明細書に説明される任意の機能を実施するための任意のデータベースまたはメモリを含んでもよい。また、網膜画像前処理ツール１３０は、いくつかの描写されるコンポーネントを除外してもよい。
【0021】
初期画像捕捉モジュール３３１は、患者の眼球の片方または両方の網膜画像を捕捉する。用語「捕捉」は、本明細書中で使用される場合、画像を撮影させることを指し得、すなわち、「ｃａｐｔｕｒｉｎｇ（～を捕捉する）」は、遠隔デバイスまたはサーバから撮像デバイス１１０に画像を撮影し、ネットワーク１２０を経由して画像を初期画像捕捉モジュール３３１に伝送するように指令することを含み得る。代替として、初期画像捕捉モジュール３３１が撮像デバイス１１０上に存在する場合、初期画像捕捉モジュール３３１は、画像を撮影し、それを前処理モジュール３３２に内部ルーティングするように撮像デバイスに指令することによって、画像を捕捉し得る。
【0022】
初期画像捕捉モジュール３３１によって捕捉される初期画像は、患者の網膜の異なる部分の画像を含み得る。異なる部分の画像は、網膜疾患診断ツール１４０の１つまたはそれより多くの機械学習モデルへの入力としてともに使用されると、網膜疾患の診断の出力をもたらす。網膜領域は、予め画定されてもよい。例えば、網膜疾患診断ツール１４０の管理者は、ある網膜領域が診断のために捕捉されるべきであることを示してもよい。領域は、中心窩が中央にある画像として、および視神経乳頭が中央にある画像として画定され得る。したがって、初期画像捕捉モジュール３３１は、それらの規定された網膜領域が中央にある患者の眼球の片方または両方に関する画像を捕捉し得る。
【0023】
ある実施形態では、捕捉される画像は、ある期間にわたるマルチフレーム映像であってもよい。例えば、「ライブフォト」と同様に、各フレームは、フラッシュが最初に放出された瞬間から、フラッシュが完全に放散する瞬間まで捕捉されてもよく、各フレームは、連続して表示される場合、映像を形成する。複数のフレームを捕捉することは、フレームのうち１つが、（下記に説明される）前処理基準を満足する画像によって描写される網膜の一部を（たとえ別のフレームのその部分がその基準を満足しなくても）含む可能性を向上させる。例えば、フラッシュ例から続いて、あるフラッシュ強度によって引き起こされた露出不足、露出過度、または陰影が、フラッシュが別の強度に調節された（例えば、遮断されるにつれて、０．０５秒後にフラッシュが暗くなる）ときに補正された場合、他の強度においてフレーム内で描写される網膜の一部が、基準を満足するために使用され得る。
【0024】
前処理モジュール３３２は、捕捉された画像が機械学習モデル内への入力に対して十分であるかどうかを決定するために使用される。十分性は、管理者によって定義されてもよく、露出不足（例えば、画像が、非常に低いフラッシュ強度を使用して捕捉された）、露出過度（例えば、画像が、非常に高いフラッシュ強度を使用して捕捉された）、不鮮明さ（例えば、画像が捕捉されたときに、患者が移動し、画像を不明瞭にさせた）、影等のパラメータ、および／または任意の他の規定されるパラメータに基づいてもよい。基準は、画像が十分であるかどうかを決定するために、これらのパラメータに基づいて確立されてもよく、例えば、「画像は、露出のある距離内に存在しなければならない」、および／または「目印（例えば、視神経乳頭の境界）は、十分に狭い幅でなければならない」（この場合、幅の広い境界は、不鮮明さを示す）等である。前処理モジュール３３２は、画像のパラメータを基準と比較し、各画像が機械学習モデル内への入力に対して十分であるかどうかを決定する。
【0025】
ある実施形態では、前処理モジュール３３２が、画像が機械学習モデル内への入力に対して不十分であると決定する場合、網膜画像前処理ツール１３０は、不十分な画像が再捕捉されるように指令し得る。しかしながら、この実施形態は、患者の眼球の余分なフラッシュが要求されるという点において、患者の健康が影響を受け得るという不利点を引き起こす。画像を捕捉し、網膜画像前処理ツール１３０に再伝送するために余分な帯域幅および処理電力が要求されるため、技術的な不利益も生じる。ある実施形態では、所与の画像の不十分性にもかかわらず、画像の再捕捉を伴わずに診断が実施され得るかどうかを決定するために、予備画像評価モジュール３３３が、使用される。
予備画像評価モデル３３３は、１つまたはそれより多くの基準を満たさない画像内の網膜の１つまたはそれより多くの描写される部分を識別する。例えば、患者の網膜における網膜色素沈着が一貫性を有せず、一貫したレベルのフラッシュが患者の網膜のある部分では適切な露出を引き起こす一方、患者の網膜の他の部分では不適切な露出を引き起こすことにつながるため、画像は、部分的に露出過度または不足であり得る。別の実施例として、画像は、陰影を有し得、陰影は、網膜の部分に描写される１つまたはそれより多くのバイオマーカを曖昧にし得る一方、残りの画像を十分な品質を伴った状態にし得る。したがって、１つもしくはそれより多くの基準を満たす部分（単数もしくは複数）および／または満たさない部分（単数もしくは複数）は、予備画像評価モデル３３３によって切り離されてもよい。予備画像評価モデル３３３は、基準を満足する、および満足しない画像の部分に対して、任意のベース（例えば、ピクセル単位、四分円単位、領域単位等）において調査することによってこれらの部分を識別し得る。
予備画像評価モデル３３３は、１つまたはそれより多くの基準を満たさない画像内の網膜の１つまたはそれより多くの描写される部分を識別する。例えば、患者の網膜における網膜色素沈着が一貫性を有せず、一貫したレベルのフラッシュが患者の網膜のある部分では適切な露出を引き起こす一方、患者の網膜の他の部分では不適切な露出を引き起こすことにつながるため、画像は、部分的に露出過度または不足であり得る。別の実施例として、画像は、陰影を有し得、陰影は、網膜の部分に描写される１つまたはそれより多くのバイオマーカを曖昧にし得る一方、残りの画像を十分な品質を伴った状態にし得る。したがって、１つもしくはそれより多くの基準を満たす部分（単数もしくは複数）および／または満たさない部分（単数もしくは複数）は、予備画像評価モデル３３３によって切り離されてもよい。予備画像評価モデル３３３は、基準を満足する、および満足しない画像の部分に対して、任意のベース（例えば、ピクセル単位、四分円単位、領域単位等）において調査することによってこれらの部分を識別し得る。
【0026】
画像によって描写される網膜の部分が不十分であると決定される場合、予備画像評価モデル３３３は、初期画像捕捉モジュール３３１によって捕捉される１つまたはそれより多くの他の画像を調査し、その部分が、画像を再捕捉することなく回復可能であるかどうかを決定し、不十分性を取り除く。例えば、患者の網膜の中心窩が中央にある画像内に描写される網膜の一部が不十分である場合、予備画像評価モデル３３３は、網膜の同一部分が、初期画像捕捉中にも捕捉されていた患者の網膜の視神経乳頭が中央にある画像内に描写されているかどうかを決定し得る。別の実施例は、不十分な画像がその一部であるマルチフレーム映像のフレームが使用され得るかどうかを評価することを含んでもよい。予備画像評価モデル３３３は、各捕捉された画像が診断のために十分であるかどうかを評価するため、網膜の同一部分が別の画像内に描写されている場合、予備画像評価モデル３３３は、その同一部分が十分な品質であるかどうかを直ちに決定することができる。同一部分が十分な品質である場合、予備画像評価モジュール３３３は、予備画像が入手可能であるとき、画像の再捕捉が必要ではないことを決定する。予備画像評価モジュール３３３が、網膜の同一画像が十分な品質で別の画像内に描写されていないと決定する場合、予備画像評価モジュール３３３は、画像が再捕捉されるべきであると決定する。ある実施形態では、画像の異なる不十分な部分が２つまたはそれより多くの予備画像からの部分によって修復される場合、２つまたはそれより多くの画像は、単一の画像に対する予備として、ともに使用されてもよい。
【0027】
画像再捕捉モジュール３３４は、画像が不十分である場合、および、いくつかの実施形態では、不十分性を取り除くための適正な予備画像が存在しない場合、画像を再捕捉する。網膜の既に捕捉された領域の画像を捕捉するために使用されること以外、画像再捕捉モジュール３３４は、画像捕捉モジュール３３１と同一の様式において機能する。
【0028】
画像スティッチングモジュール３３５は、画像の不十分な部分のための差し替え内容を伴う画像の十分な部分をスティッチングし、その差し替え内容は、予備画像からのものである。用語「スティッチング」は、本明細書中で使用される場合、２つの画像からの部分の実際の集成または論理上の集成のいずれかを指す。実際のスティッチングは、少なくとも２つの画像からの部分を含む合成画像を生成することを指す。論理上のスティッチングは、診断のためのそれらの別個の部分を使用して、異なる画像から異なる部分を得ることを指す。例えば、各部分は、合成画像を生成することなく機械学習モデル内に別個に入力され、それらから診断が出力される。別の実施例として、画像の十分な部分は、その画像の不十分な部分を考慮に入れずに第１の分析を生成するために使用されてもよい。予備画像は、第２の分析を生成するために使用される、第１の画像の不十分な部分（単数または複数）に対応する部分を有し得る。２つの分析が、（例えば、画像自体の有無にかかわらず、機械学習モデル内に分析を入力することによって）診断を実施するために使用されてもよい。ある実施形態では、画像スティッチングモジュール３３５は、中心窩および視神経乳頭のような解剖学的マーカからの距離に関して、不十分な画像品質のエリアにおけるバイオマーカの分布率に基づいてそれらのエリアに重み付けし、スティッチングされる画像の中心窩において不十分な画像品質を伴うエリアが存在する場合であっても、それらの調査を処理する際のより高い信頼度を可能にする。そのような重み付けは、中心窩における種々の十分な画像品質のエリアの重要性を学習し、それに重み付けするために、代表データセットに対するランダムフォレスト、ＡＮＮ、および同等物の訓練に基づくことができる。画像スティッチングモジュール３３５は、網膜画像前処理ツール１３０のモジュールとして描写される一方、画像スティッチングモジュール３３５は、代わりに、全体または一部において、網膜疾患診断ツール１４０のモジュールであってもよい。
【0029】
（ｄ）例示的計算機のアーキテクチャ
図４は、機械読取可能な媒体から命令を読み取り、それらをプロセッサ（またはコントローラ）内で実行することが可能な例示的機械のコンポーネントを図示するブロック図である。具体的には、図４は、システム４００の例示的形態における機械の図式表現を示し、本明細書に検討される方法のうち任意の１つまたはそれより多くを機械に実施させるためのプログラムコード（例えば、ソフトウェア）が、その中で実施され得る。プログラムコードは、１つまたはそれより多くのプロセッサ４０２によって実行可能な命令４２４から成ってもよい。代替実施形態では、機械は、スタンドアロンデバイスとして動作してもよく、または他の機械に接続（例えば、ネットワーク接続）されてもよい。ネットワーク接続された展開において、機械は、サーバクライアントネットワーク環境内で、サーバマシンまたはクライアントマシンの能力において動作してもよく、または、ピアツーピア（もしくは分散型）ネットワーク環境内で、ピアマシンとして動作してもよい。
図４は、機械読取可能な媒体から命令を読み取り、それらをプロセッサ（またはコントローラ）内で実行することが可能な例示的機械のコンポーネントを図示するブロック図である。具体的には、図４は、システム４００の例示的形態における機械の図式表現を示し、本明細書に検討される方法のうち任意の１つまたはそれより多くを機械に実施させるためのプログラムコード（例えば、ソフトウェア）が、その中で実施され得る。プログラムコードは、１つまたはそれより多くのプロセッサ４０２によって実行可能な命令４２４から成ってもよい。代替実施形態では、機械は、スタンドアロンデバイスとして動作してもよく、または他の機械に接続（例えば、ネットワーク接続）されてもよい。ネットワーク接続された展開において、機械は、サーバクライアントネットワーク環境内で、サーバマシンまたはクライアントマシンの能力において動作してもよく、または、ピアツーピア（もしくは分散型）ネットワーク環境内で、ピアマシンとして動作してもよい。
【0030】
機械は、サーバコンピュータ、クライアントコンピュータ、パソコン（ＰＣ）、タブレットＰＣ、セットトップボックス（ＳＴＢ）、携帯情報端末（ＰＤＡ）、携帯電話、スマートフォン、ウェブアプライアンス、ネットワークルータ、スイッチもしくはブリッジ、または、その機械によって行われるべきアクションを規定する命令４２４を（順次、または別様に）実行する能力がある任意の機械であってもよい。さらに、単一の機械のみが図示されるが、用語「機械」は、本明細書に検討される方法のうち任意の１つまたはそれより多くを実施するために命令１２４を個々にまたはともに実行する機械の任意の集まりを含むとも捉えられるべきである。
【0031】
例示的コンピュータシステム４００は、プロセッサ４０２（例えば、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、１つもしくはそれより多くの特定用途向け集積回路（ＡＳＩＣ）、１つもしくはそれより多くの無線周波数集積回路（ＲＦＩＣ）、またはこれらの任意の組み合わせ）と、メインメモリ４０４と、スタティックメモリ４０６とを含み、これらは、バス４０８を介して相互に通信するように構成される。コンピュータシステム４００は、視覚的ディスプレイインターフェース４１０をさらに含んでもよい。視覚的インターフェースは、スクリーン（またはディスプレイ）上にユーザインターフェースを表示することを可能にするソフトウェアドライバを含んでもよい。視覚的インターフェースは、直接（例えば、スクリーン上に）または間接的に、表面、ウインドウ、または同等物上に（例えば、視覚的投影ユニットを介して）ユーザインターフェースを表示してもよい。検討の容易化のために、視覚的インターフェースは、スクリーンとして説明され得る。視覚的インターフェース４１０は、タッチ可能スクリーンを伴うインターフェースを含んでもよく、またはそれとインターフェース接続してもよい。コンピュータシステム４００は、英数字入力デバイス４１２（例えば、キーボードまたはタッチスクリーンキーボード）、カーソル制御デバイス４１４（例えば、マウス、トラックボール、ジョイスティック、モーションセンサ、または他のポインティング器具）、記憶ユニット４１６、信号生成デバイス４１８（例えば、スピーカ）、およびネットワークインターフェースデバイス４２０も含んでもよく、これらは、バス４０８を介して通信するようにも構成される。
【0032】
記憶ユニット４１６は、機械読取可能な媒体４２２を含んでもよく、本明細書に説明される方法または機能のうち任意の１つまたはそれより多くを具体化する命令４２４（例えば、ソフトウェア）が、その上に記憶される。命令４２４（例えば、ソフトウェア）は、コンピュータシステム４００によるその実行中、完全にまたは部分的に、メインメモリ４０４内に、またはプロセッサ４０２内に（例えば、プロセッサのキャッシュメモリ内に）存在してもよく、メインメモリ４０４およびプロセッサ４０２は、機械読取可能な媒体を構成してもよい。命令４２４（例えば、ソフトウェア）は、ネットワークインターフェースデバイス４２０を介して、ネットワーク４２６を経由して伝送または受信されてもよい。
【0033】
ある例示的実施形態では、機械読取可能な媒体４２２は単一の媒体であるように示されるが、用語「機械読取可能な媒体」は、命令（例えば、命令４２４）を記憶することが可能な単一の媒体または複数の媒体（例えば、集中型または分散型データベース、または関連付けられるキャッシュおよびサーバ）を含むと捉えられるべきである。用語「機械読取可能な媒体」は、機械による実行のための命令（例えば、命令４２４）を記憶することが可能であり、本明細書に開示される方法のうち任意の１つまたはそれより多くを機械に実施させる任意の媒体も含むと捉えられるべきである。用語「機械読取可能な媒体」は、限定ではないが、ソリッドステートメモリ、光学媒体、および磁気媒体の形態におけるデータリポジトリを含む。
【0034】
（ｅ）例示的画像およびユーザインターフェース
図５は、一実施形態による患者の眼球の例示的画像を描写する。ユーザインターフェース５００は、ユーザインターフェース２１５の一部として撮像デバイス１１０の操作者に表示されてもよい。ユーザインターフェース５００は、画像５１０、５２０、５３０、および５４０を含む。描写されるように、患者は、各眼球の捕捉された２つの画像、すなわち、中心窩が中央にある画像および視神経乳頭が中央にある画像を有している。描写されるように、これらの画像は、単に例示的であり、任意のパラメータが、撮像デバイス１１０の操作者および／または診断を実施するためにどのような画像が必要であるかを決定する管理者による入力として、画像が中央を合わせられるべき場所を示すために使用されてもよい。さらに、描写される実施例では、２つの画像が使用される一方、任意の数の画像が使用されてもよい。画像は、視神経乳頭および中心窩のまわりに中央を合わせられるが、画像の一部は、重複するため、したがって、１つの画像の重複部分のいずれかが、規定される基準を満たさない場合、各画像は、相互の画像の予備として使用され得る。
図５は、一実施形態による患者の眼球の例示的画像を描写する。ユーザインターフェース５００は、ユーザインターフェース２１５の一部として撮像デバイス１１０の操作者に表示されてもよい。ユーザインターフェース５００は、画像５１０、５２０、５３０、および５４０を含む。描写されるように、患者は、各眼球の捕捉された２つの画像、すなわち、中心窩が中央にある画像および視神経乳頭が中央にある画像を有している。描写されるように、これらの画像は、単に例示的であり、任意のパラメータが、撮像デバイス１１０の操作者および／または診断を実施するためにどのような画像が必要であるかを決定する管理者による入力として、画像が中央を合わせられるべき場所を示すために使用されてもよい。さらに、描写される実施例では、２つの画像が使用される一方、任意の数の画像が使用されてもよい。画像は、視神経乳頭および中心窩のまわりに中央を合わせられるが、画像の一部は、重複するため、したがって、１つの画像の重複部分のいずれかが、規定される基準を満たさない場合、各画像は、相互の画像の予備として使用され得る。
【0035】
（ｆ）診断のための画像収集中、フラッシュへの網膜暴露を最小限にするための例示的データフロー
図６は、一実施形態による、診断のための画像収集中、フラッシュへの網膜暴露を最小限にするための例示的フローチャートである。プロセス６００は、網膜画像前処理ツール１３０を起動するために使用されるデバイスの１つまたはそれより多くのプロセッサ（例えば、プロセッサ４０２）が、（例えば、初期画像捕捉モジュール３３１を使用して）複数の網膜画像を捕捉すること（６０２）から始まり、各網膜画像は、複数の網膜領域のうちの異なる網膜領域に対応し、複数の網膜画像は、第１の画像および第２の画像を含む。複数の網膜画像は、例えば、各眼球に関する、中心窩が中央にある画像および視神経乳頭が中央にある画像を含み得る。第１の画像は、患者の左眼の中心窩が中央にある画像５１０であり得、第２の画像は、患者の左眼の視神経乳頭が中央にある画像５３０であり得、異なる網膜領域は、その中に各画像が中央を合わせられる網膜領域に対応し得る。
図６は、一実施形態による、診断のための画像収集中、フラッシュへの網膜暴露を最小限にするための例示的フローチャートである。プロセス６００は、網膜画像前処理ツール１３０を起動するために使用されるデバイスの１つまたはそれより多くのプロセッサ（例えば、プロセッサ４０２）が、（例えば、初期画像捕捉モジュール３３１を使用して）複数の網膜画像を捕捉すること（６０２）から始まり、各網膜画像は、複数の網膜領域のうちの異なる網膜領域に対応し、複数の網膜画像は、第１の画像および第２の画像を含む。複数の網膜画像は、例えば、各眼球に関する、中心窩が中央にある画像および視神経乳頭が中央にある画像を含み得る。第１の画像は、患者の左眼の中心窩が中央にある画像５１０であり得、第２の画像は、患者の左眼の視神経乳頭が中央にある画像５３０であり得、異なる網膜領域は、その中に各画像が中央を合わせられる網膜領域に対応し得る。
【0036】
網膜画像前処理ツール１３０は、第１の画像の第１の部分は基準を満たさない一方、第１の画像の第２の部分は基準を満たすことを決定する（６０４）。例えば、網膜の横紋、露出過度、露出不足、陰影、または他の問題に起因して、中心窩が中央にある左眼画像５１０の一部が不十分であると決定されるが、中心窩が中央にある左眼画像５１０の残りの部分は十分であると決定される。十分性の決定は、本明細書に説明される任意の様式を使用して、前処理モジュール３３２によって実施されてもよい。
【0037】
網膜画像前処理ツール１３０は、基準を満たさない第１の部分内に描写される網膜の一部を識別する（６０６）。すなわち、網膜自体の部分が、予備画像の異なる座標において描写され得、したがって、それは、識別される網膜の部分である（画像の部分ではない）。予備画像評価モジュール３３３は、本明細書に説明される任意の様式において、この決定を実施し得る。網膜画像前処理ツール１３０は、次いで、網膜の部分が第２の画像の第３の部分内に描写されているかどうかを決定する（６０８）。すなわち、予備画像評価モジュール３３３は、別の捕捉された画像が、他の捕捉された画像のある部分において網膜の同一部分の描写を含むかどうかを決定する。例えば、網膜画像前処理ツール１３０は、視神経乳頭が中央にある左眼画像５３０が、中心窩が中央にある左眼画像５１０において不十分であった網膜のその同一部分を描写するかどうかを決定する。
【0038】
網膜画像前処理ツール１３０は、第２の画像の第３の部分（例えば、中心窩が中央にある左眼画像５１０において不十分であるものと網膜の同一部分を捕捉する、視神経乳頭が中央にある左眼画像５３０の一部）が基準を満たすかどうかを決定する（６１０）。第３の部分が基準を満たすことに応答して、網膜画像前処理ツール１３０は、複数の網膜画像を使用して（例えば、画像スティッチングモジュール３３５を使用して）、診断を実施する（６１２）。第３の部分が基準を満たさないことに応答して、網膜画像前処理ツール１３０は、（例えば、画像再捕捉モジュール３３４を使用して）第１の画像内に描写される網膜領域の追加の画像を捕捉する（６１４）。
【0039】
（ｇ）概要
本発明の実施形態の前述の説明は、例証の目的のために提示されており、網羅的であること、または開示された精密な形態に本発明を限定することを意図されない。関連技術における当業者は、上記の開示に照らして、多くの修正および変形が可能であることを理解し得る。
本発明の実施形態の前述の説明は、例証の目的のために提示されており、網羅的であること、または開示された精密な形態に本発明を限定することを意図されない。関連技術における当業者は、上記の開示に照らして、多くの修正および変形が可能であることを理解し得る。
【0040】
本開示は、具体的に網膜疾患に焦点を当てるが、本開示は、概して、疾患診断全般、ならびに患者の身体の他の部分の画像の捕捉（および可能性として考えられる再捕捉）および前処理に適用される。例えば、開示される前処理は、腎臓、肝臓、脳、または心臓、またはそれらの一部等の他の臓器の診断に適用されてもよく、本明細書中で検討される画像は、関連する臓器のものであってもよい。
【0041】
本説明のいくつかの部分は、情報に関する動作のアルゴリズムおよび象徴的表現の観点から本発明の実施形態を説明する。これらのアルゴリズム的説明および表現は、データ処理技術における当業者によって、他の当業者に研究の要旨を伝えるために一般的に使用されている。これらの動作は、機能的に、計算的に、または論理的に説明される一方、コンピュータプログラムまたは同等の電気回路、マイクロコード、または同等物によって実装されることが理解される。さらに、一般性を喪失することなく、動作のこれらの配列をモジュールと称することが時に便利であることも実証されている。説明される動作およびその関連付けられるモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはその任意の組み合わせにおいて具体化され得る。
【0042】
本明細書に説明されるステップ、動作、またはプロセスは、いずれも、１つまたはそれより多くのハードウェアまたはソフトウェアモジュールを用いて、単独で、または他のデバイスと組み合わせて実施または実装され得る。一実施形態では、ソフトウェアモジュールは、コンピュータプログラムコードを含むコンピュータ読取可能な媒体を含むコンピュータプログラム製品を用いて実装され、これは、説明されるステップ、動作、またはプロセスのいずれかまたは全てを実施するためのコンピュータプロセッサによって実行されることができる。
【0043】
本発明の実施形態は、本明細書中の動作を実施するための装置に関してもよい。本装置は、要求される目的のために特別に構築されてもよく、および／またはコンピュータ内に記憶されるコンピュータプログラムによって選択的にアクティブ化または再構成される汎用コンピューティングデバイスを備えてもよい。そのようなコンピュータプログラムは、非一時的有形コンピュータ読取可能な記憶媒体、または電子的命令を記憶するために好適な任意のタイプの媒体内に記憶されてもよく、これらは、コンピュータシステムバスに結合され得る。さらに、本明細書中で参照される任意のコンピューティングシステムは、単一のプロセッサを含んでもよく、または、計算能力を増大させるために、複数のプロセッサ設計を採用するアーキテクチャであってもよい。
【0044】
本発明の実施形態は、本明細書に説明される計算プロセスによって生産される製品に関してもよい。そのような製品は、計算プロセスから生じる情報を備えてもよく、情報が非一時的有形コンピュータ読取可能な記憶媒体上に記憶される場合、コンピュータプログラム製品または本明細書に説明される他のデータの組み合わせの任意の実施形態を含み得る。
【0045】
最後に、本明細書中で使用される用語は、主に、可読性および指導目的のために選択されており、発明の主題を正確に説明する、またはその境界線を引くために選択されていない。したがって、本発明の範囲は、本詳細な説明によってではなく、本明細書に基づく出願時に刊行される任意の請求項によって限定されることを意図される。故に、本発明の実施形態の開示は、例示的であるが、以下の特許請求の範囲に述べられる本発明の範囲を限定しないことを意図される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【外国語明細書】