(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-13
(45)【発行日】2024-09-25
(54)【発明の名称】網膜色素沈着に基づくフラッシュ強度の動的調節
(51)【国際特許分類】
A61B 3/14 20060101AFI20240917BHJP
【FI】
A61B3/14
(21)【出願番号】P 2022555776
(86)(22)【出願日】2021-03-15
(86)【国際出願番号】 US2021022424
(87)【国際公開番号】W WO2021188462
(87)【国際公開日】2021-09-23
【審査請求日】2024-01-09
(32)【優先日】2020-03-19
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】521552349
【氏名又は名称】デジタル ダイアグノスティックス インコーポレイテッド
(74)【代理人】
【識別番号】100078282
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】クラリダ, ウォーレン ジェイムズ
(72)【発明者】
【氏名】エムロン, ライアン アール ローレット
(72)【発明者】
【氏名】シャー, アバイ
(72)【発明者】
【氏名】サザー, ジェイコブ パトリック
(72)【発明者】
【氏名】ニーマイジャー, マインダート
(72)【発明者】
【氏名】エイブラモフ, マイケル デイビッド
【審査官】小野 健二
(56)【参考文献】
【文献】国際公開第2019/030375(WO,A2)
【文献】米国特許出願公開第2016/073877(US,A1)
【文献】特表2006-525054(JP,A)
【文献】特開2013-48889(JP,A)
【文献】中国特許出願公開第107692963(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 3/00-3/18
(57)【特許請求の範囲】
【請求項1】
網膜色素沈着に基づいてフラッシュ強度を調節するためのシステムを動作させる方法であって、前記システムは、1つ以上のプロセッサを備え、前記方法は、
前記1つ以上のプロセッサが、撮像デバイスに位置付けられた眼球の網膜の網膜色素沈着を決定すること
であって、前記決定することは、
前記網膜において赤外線信号を放つことによってフィードバックを取得するように前記撮像デバイスに指令することと、
前記撮像デバイスから前記フィードバックを受信することであって、前記フィードバックは、前記網膜による前記赤外線信号の吸収を示す、ことと、
前記フィードバックに基づいて前記眼球の前記網膜色素沈着を決定することと
によって行われる、ことと、
前記1つ以上のプロセッサが、前記網膜色素沈着に基づいて、第1の強度から第2の強度へとフラッシュコンポーネントの強度を調節するように前記撮像デバイスに指令することと、
前記1つ以上のプロセッサが、前記第2の強度において前記フラッシュコンポーネントによって照明された画像を捕捉するように前記撮像デバイスに指令することと、
前記1つ以上のプロセッサが、前記撮像デバイスから前記画像を受信することと
を含む、方法。
【請求項2】
前記1つ以上のプロセッサが、前記撮像デバイスに位置付けられた前記眼球の前記網膜色素沈着を決定することは、
前記撮像デバイスから前記眼球の第1の画像を受信することと、
前記第1の画像が露出不足であるかどうかを決定することと、
前記第1の画像が露出不足であることを決定することに応答して、前記第2の強度が、前記第1の強度に対して増大させられた強度であることを決定することと
を含む、請求項1に記載の方法。
【請求項3】
前記1つ以上のプロセッサが、前記撮像デバイスに位置付けられた前記眼球の前記網膜色素沈着を決定することは、
前記撮像デバイスから前記眼球の第1の画像を受信することと、
前記第1の画像が露出過度であるかどうかを決定することと、
前記第1の画像が露出過度であることを決定することに応答して、前記第2の強度が、前記第1の強度に対して
低減させられた強度であることを決定することと
を含む、請求項1に記載の方法。
【請求項4】
前記1つ以上のプロセッサが、前記フラッシュコンポーネントの前記強度を調節するように前記撮像デバイスに指令することは、アプリケーションプロトコルインターフェース(API)を使用して命令を伝送することを含む、請求項1に記載の方法。
【請求項5】
前記第1の強度は、デフォルト強度または最後に使用された強度のうち少なくとも1つである、請求項1に記載の方法。
【請求項6】
前記1つ以上のプロセッサが、前記受信された画像が適切に露出されているかどうかを決定することと、
前記受信された画像が適切に露出されていないことを前記1つ以上のプロセッサが決定することに応答して、前記1つ以上のプロセッサが、第3の強度を使用して追加の画像を捕捉するように前記撮像デバイスに指令することと
をさらに含む、請求項1に記載の方法。
【請求項7】
前記1つ以上のプロセッサが、前記網膜の前記網膜色素沈着を決定することは、前記網膜内の複数の色素沈着を識別することを含み、前記第2の強度は、前記複数の色素沈着のうち
の第1の網膜色素沈着に基づいて決定され、前記方法は、
前記1つ以上のプロセッサが、前記複数の色素沈着のうち
の第2の網膜色素沈着に基づいて、前記第2の強度から第3の強度へと前記フラッシュコンポーネントの強度を調節するように前記撮像デバイスに指令することと、
前記1つ以上のプロセッサが、前記第3の強度において前記フラッシュコンポーネントによって照らされた追加の画像を捕捉するように前記撮像デバイスに指令することと、
前記1つ以上のプロセッサが、前記撮像デバイスから前記追加の画像を受信することと
をさらに含む、請求項1に記載の方法。
【請求項8】
前記1つ以上のプロセッサが、前記画像を機械学習モデルに入力することと、
前記1つ以上のプロセッサが、前記機械学習モデルからの出力を受信することであって、前記出力は、前記画像の特徴に基づく前記網膜の網膜疾患の診断を表す、ことと
をさらに含む、請求項1に記載の方法。
【請求項9】
網膜色素沈着に基づいてフラッシュ強度を調節するためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、
撮像デバイスに位置付けられた眼球の網膜の網膜色素沈着を決定すること
であって、前記決定することは、
前記網膜において赤外線信号を放つことによってフィードバックを取得するように前記撮像デバイスに指令することと、
前記撮像デバイスから前記フィードバックを受信することであって、前記フィードバックは、前記網膜による前記赤外線信号の吸収を示す、ことと、
前記フィードバックに基づいて前記眼球の前記網膜色素沈着を決定することと
によって行われる、ことと、
前記網膜色素沈着に基づいて、第1の強度から第2の強度へとフラッシュコンポーネントの強度を調節するように前記撮像デバイスに指令することと、
前記第2の強度において前記フラッシュコンポーネントによって照明された画像を捕捉するように前記撮像デバイスに指令することと、
前記撮像デバイスから前記画像を受信することと
を行うためのコンピュータプログラムコードを含む非一時的コンピュータ読取可能な記憶媒体を備える、コンピュータプログラム製品。
【請求項10】
前記撮像デバイスに位置付けられた前記眼球の前記網膜色素沈着を決定するための前記コンピュータプログラムコードは、
前記撮像デバイスから前記眼球の第1の画像を受信することと、
前記第1の画像が露出不足であるかどうかを決定することと、
前記第1の画像が露出不足であることを決定することに応答して、前記第2の強度が、前記第1の強度に対して増大させられた強度であることを決定することと
を行うためのコンピュータプログラムコードを含む、請求項
9に記載のコンピュータプログラム製品。
【請求項11】
前記撮像デバイスに位置付けられた前記眼球の前記網膜色素沈着を決定するための前記コンピュータプログラムコードは、
前記撮像デバイスから前記眼球の第1の画像を受信することと、
前記第1の画像が露出過度であるかどうかを決定することと、
前記第1の画像が露出過度であることを決定することに応答して、前記第2の強度が、前記第1の強度に対して
低減させられた強度であることを決定することと
を行うためのコンピュータプログラムコードを含む、請求項
9に記載のコンピュータプログラム製品。
【請求項12】
前記フラッシュコンポーネントの前記強度を調節するように前記撮像デバイスに指令するための前記コンピュータプログラムコードは、アプリケーションプロトコルインターフェース(API)を使用して命令を伝送するためのコンピュータプログラムコードを含む、請求項
9に記載のコンピュータプログラム製品。
【請求項13】
前記第1の強度は、デフォルト強度または最後に使用された強度のうち少なくとも1つである、請求項
9に記載のコンピュータプログラム製品。
【請求項14】
前記コンピュータプログラムコードは、
前記受信された画像が適切に露出されているかどうかを決定することと、
前記受信された画像が適切に露出されていないことを決定することに応答して、第3の強度を使用して追加の画像を捕捉するように前記撮像デバイスに指令することと
を行うためのコンピュータプログラムコードをさらに含む、請求項
9に記載のコンピュータプログラム製品。
【請求項15】
前記網膜の前記網膜色素沈着を決定するための前記コンピュータプログラムコードは、前記網膜内の複数の色素沈着を識別するためのコンピュータプログラムコードを含み、前記第2の強度は、前記複数の色素沈着のうち
の第1の網膜色素沈着に基づいて決定され、前記コンピュータプログラムコードは、
前記複数の色素沈着のうち
の第2の網膜色素沈着に基づいて、前記第2の強度から第3の強度へと前記フラッシュコンポーネントの強度を調節するように前記撮像デバイスに指令することと、
前記第3の強度において前記フラッシュコンポーネントによって照らされた追加の画像を捕捉するように前記撮像デバイスに指令することと、
前記撮像デバイスから前記追加の画像を受信することと
を行うためのコンピュータプログラムコードをさらに含む、請求項
9に記載のコンピュータプログラム製品。
【請求項16】
前記コンピュータプログラムコードは、前記画像の特徴に基づいて前記網膜の網膜疾患を診断するためのコンピュータプログラムコードをさらに含む、請求項
9に記載のコンピュータプログラム製品。
【請求項17】
網膜色素沈着に基づいてフラッシュ強度を調節するためのコンピュータプログラム製品であって、
撮像デバイスに位置付けられた眼球の網膜の網膜色素沈着を決定するための第1のモジュール
であって、前記決定することは、
前記網膜において赤外線信号を放つことによってフィードバックを取得するように前記撮像デバイスに指令することと、
前記撮像デバイスから前記フィードバックを受信することであって、前記フィードバックは、前記網膜による前記赤外線信号の吸収を示す、ことと、
前記フィードバックに基づいて前記眼球の前記網膜色素沈着を決定することと
によって行われる、第1のモジュールと、
前記網膜色素沈着に基づいて、第1の強度から第2の強度へとフラッシュコンポーネントの強度を調節するように前記撮像デバイスに指令するための第2のモジュールと、
前記第2の強度において前記フラッシュコンポーネントによって照明された画像を捕捉するように前記撮像デバイスに指令するための第3のモジュールと、
前記撮像デバイスから前記画像を受信するための第4のモジュールと
を備えるコンピュータプログラムコードを含むコンピュータ読取可能な記憶媒体を備えるコンピュータプログラム製品。
【請求項18】
前記第1のモジュールは、
前記撮像デバイスから前記眼球の第1の画像を受信することと、
前記第1の画像が露出不足であるかどうかを決定することと、
前記第1の画像が露出不足であることを決定することに応答して、前記第2の強度が、前記第1の強度に対して増大させられた強度であることを決定することと
を行うためのサブモジュールを備える、請求項
17に記載のコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
(背景)
本発明は、概して、網膜異常の自律型診断に関し、より具体的には、網膜色素沈着に基づいて撮像デバイスのフラッシュ強度を調節することに関する。
【背景技術】
【0002】
網膜異常を診断するための自律型システムは、患者の網膜(本明細書では、単語「眼底」と同じ意味で使用される)の画像を捕捉し、異常に関してそれらの画像を分析する。画像は、予め設定されたフラッシュ強度を使用して捕捉される。しかしながら、外表皮膚と同様に、ユーザの眼底は、色素沈着し得、色素沈着は、予め設定されたフラッシュ強度を使用すると、画像を露出不足または露出過度なものにし得る。異常を診断するために使用されるバイオマーカが曖昧にされ得る場合、露出不足または露出過度は、画像を準最適なものにし、したがって、画像が適切に露出されている場合、画像上に現れるはずであった異常をシステムが診断することを妨げ得る。
【0003】
露出不足または露出過度である画像は、診断のために不十分でもあり得、したがって、複数の画像を通してじっとしていることを患者に要求し、各画像は、もう一度フラッシュを使用することを要求する。撮像デバイスによるフラッシュへの繰り返される暴露は、患者の眼球に損傷を与え得、したがって、画像が露出不足または露出過度であることを防止すること、またはその確率を低減させることは、患者の眼球の十分な画像を捕捉するためにより少ない回数のフラッシュが要求される点において、患者の健康を向上させる。
【発明の概要】
【課題を解決するための手段】
【0004】
(概要)
患者の網膜色素沈着を決定し、決定された色素沈着に基づいてフラッシュ強度を調節するためのシステムおよび方法が、本明細書中で提供される。例えば、網膜色素沈着は、露出過度または露出不足である初期画像に基づいて決定され得、後続画像を捕捉するために使用されるフラッシュ強度は、その露出過度または露出不足に基づいて調節され得る。別の実施例として、赤外光が、網膜色素沈着を決定するために使用されてもよく、したがって、フラッシュを使用して患者から捕捉されるべき初期画像に関する必要性を防止し得る。さらに別の実施例として、患者の皮膚または毛髪の画像が、捕捉されてもよく、色素沈着が、これから決定されてもよい。本明細書に開示されるシステムおよび方法は、色素沈着が学習されると、捕捉された画像の露出過度および露出不足を有利に防止し、不成功に終わった撮像に起因して不必要に患者の眼球を複数のフラッシュに暴露する必要性を防止する。
【0005】
これらの目的および他の目的を達成するために、ある実施形態では、(例えば、サーバの)プロセッサが、撮像デバイス(例えば、サーバから離れたカメラ)に位置付けられた眼球の網膜の網膜色素沈着を決定する。プロセッサは、網膜色素沈着に基づいて、第1の強度から第2の強度へとフラッシュコンポーネントの強度を調節するように撮像デバイスに指令する。プロセッサは、次いで、第2の強度においてフラッシュコンポーネントによって照明された画像を捕捉するように撮像デバイスに指令し、撮像デバイスから画像を受信する。画像は、網膜異常が患者の網膜内に観察されるかどうかを診断するために使用されてもよい。
本発明は、例えば、以下の項目を提供する。
(項目1)
網膜色素沈着に基づいてフラッシュ強度を調節するための方法であって、
撮像デバイスに位置付けられた眼球の網膜の網膜色素沈着を決定することと、
前記網膜色素沈着に基づいて、第1の強度から第2の強度へとフラッシュコンポーネントの強度を調節するように前記撮像デバイスに指令することと、
前記第2の強度において前記フラッシュコンポーネントによって照明された画像を捕捉するように前記撮像デバイスに指令することと、
前記撮像デバイスから前記画像を受信することと
を含む方法。
(項目2)
前記撮像デバイスに位置付けられた前記眼球の前記網膜色素沈着を決定することは、
前記撮像デバイスから前記眼球の第1の画像を受信することと、
前記第1の画像が露出不足であるかどうかを決定することと、
前記第1の画像が露出不足であることを決定することに応答して、前記第2の強度が、前記第1の強度に対して増大させられた強度であることを決定することと
を含む、項目1に記載の方法。
(項目3)
前記撮像デバイスに位置付けられた前記眼球の前記網膜色素沈着を決定することは、
前記撮像デバイスから前記眼球の第1の画像を受信することと、
前記第1の画像が露出過度であるかどうかを決定することと、
前記第1の画像が露出過度であることを決定することに応答して、前記第2の強度が、前記第1の強度に対して低減させられた強度であることを決定することと
を含む、項目1に記載の方法。
(項目4)
前記撮像デバイスに位置付けられた前記眼球の前記網膜色素沈着を決定することは、
前記網膜において赤外線信号を放つことによってフィードバックを取得するように前記撮像デバイスに指令することと、
前記撮像デバイスから前記フィードバックを受信することと、
前記フィードバックに基づいて前記眼球の前記網膜色素沈着を決定することと
を含む、項目1に記載の方法。
(項目5)
前記フラッシュコンポーネントの前記強度を調節するように前記撮像デバイスに指令することは、アプリケーションプロトコルインターフェース(API)を使用して命令を伝送することを含む、項目1に記載の方法。
(項目6)
前記第1の強度は、デフォルト強度または最後に使用された強度のうち少なくとも1つである、項目1に記載の方法。
(項目7)
前記受信された画像が適切に露出されているかどうかを決定することと、
前記受信された画像が適切に露出されていないことを決定することに応答して、第3の強度を使用して追加の画像を捕捉するように前記撮像デバイスに指令することと
をさらに含む、項目1に記載の方法。
(項目8)
前記網膜の前記網膜色素沈着を決定することは、前記網膜内の複数の色素沈着を識別することを含み、前記第2の強度は、前記複数の色素沈着のうち第1の網膜色素沈着に基づいて決定され、前記方法は、
前記複数の色素沈着のうち第2の網膜色素沈着に基づいて、前記第2の強度から第3の強度へと前記フラッシュコンポーネントの強度を調節するように前記撮像デバイスに指令することと、
前記第3の強度において前記フラッシュコンポーネントによって照らされた追加の画像を捕捉するように前記撮像デバイスに指令することと、
前記撮像デバイスから前記追加の画像を受信することと
をさらに含む、項目1に記載の方法。
(項目9)
前記画像の特徴に基づいて前記網膜の網膜疾患を診断することをさらに含む、項目1に記載の方法。
(項目10)
網膜色素沈着に基づいてフラッシュ強度を調節するためのコンピュータプログラム製品であって、
撮像デバイスに位置付けられた眼球の網膜の網膜色素沈着を決定することと、
前記網膜色素沈着に基づいて、第1の強度から第2の強度へとフラッシュコンポーネントの強度を調節するように前記撮像デバイスに指令することと、
前記第2の強度において前記フラッシュコンポーネントによって照明された画像を捕捉するように前記撮像デバイスに指令することと、
前記撮像デバイスから前記画像を受信することと
を行うためのコンピュータプログラムコードを含む非一時的コンピュータ読取可能な記憶媒体を備えるコンピュータプログラム製品。
(項目11)
前記撮像デバイスに位置付けられた前記眼球の前記網膜色素沈着を決定するための前記コンピュータプログラムコードは、
前記撮像デバイスから前記眼球の第1の画像を受信することと、
前記第1の画像が露出不足であるかどうかを決定することと、
前記第1の画像が露出不足であることを決定することに応答して、前記第2の強度が、前記第1の強度に対して増大させられた強度であることを決定することと
を行うためのコンピュータプログラムコードを含む、項目10に記載のコンピュータプログラム製品。
(項目12)
前記撮像デバイスに位置付けられた前記眼球の前記網膜色素沈着を決定するための前記コンピュータプログラムコードは、
前記撮像デバイスから前記眼球の第1の画像を受信することと、
前記第1の画像が露出過度であるかどうかを決定することと、
前記第1の画像が露出過度であることを決定することに応答して、前記第2の強度が、前記第1の強度に対して低減させられた強度であることを決定することと
を行うためのコンピュータプログラムコードを含む、項目10に記載のコンピュータプログラム製品。
(項目13)
前記撮像デバイスに位置付けられた前記眼球の前記網膜色素沈着を決定するための前記コンピュータプログラムコードは、
前記網膜において赤外線信号を放つことによってフィードバックを取得するように前記撮像デバイスに指令することと、
前記撮像デバイスから前記フィードバックを受信することと、
前記フィードバックに基づいて前記眼球の前記網膜色素沈着を決定することと
を行うためのコンピュータプログラムコードを含む、項目10に記載のコンピュータプログラム製品。
(項目14)
前記フラッシュコンポーネントの前記強度を調節するように前記撮像デバイスに指令するための前記コンピュータプログラムコードは、アプリケーションプロトコルインターフェース(API)を使用して命令を伝送するためのコンピュータプログラムコードを含む、項目10に記載のコンピュータプログラム製品。
(項目15)
前記第1の強度は、デフォルト強度または最後に使用された強度のうち少なくとも1つである、項目10に記載のコンピュータプログラム製品。
(項目16)
前記コンピュータプログラムコードは、
前記受信された画像が適切に露出されているかどうかを決定することと、
前記受信された画像が適切に露出されていないことを決定することに応答して、第3の強度を使用して追加の画像を捕捉するように前記撮像デバイスに指令することと
を行うためのコンピュータプログラムコードをさらに含む、項目10に記載のコンピュータプログラム製品。
(項目17)
前記網膜の前記網膜色素沈着を決定するための前記コンピュータプログラムコードは、前記網膜内の複数の色素沈着を識別するためのコンピュータプログラムコードを含み、前記第2の強度は、前記複数の色素沈着のうち第1の網膜色素沈着に基づいて決定され、前記コンピュータプログラムコードは、
前記複数の色素沈着のうち第2の網膜色素沈着に基づいて、前記第2の強度から第3の強度へと前記フラッシュコンポーネントの強度を調節するように前記撮像デバイスに指令することと、
前記第3の強度において前記フラッシュコンポーネントによって照らされた追加の画像を捕捉するように前記撮像デバイスに指令することと、
前記撮像デバイスから前記追加の画像を受信することと
を行うためのコンピュータプログラムコードをさらに含む、項目10に記載のコンピュータプログラム製品。
(項目18)
前記コンピュータプログラムコードは、前記画像の特徴に基づいて前記網膜の網膜疾患を診断するためのコンピュータプログラムコードをさらに含む、項目10に記載のコンピュータプログラム製品。
(項目19)
網膜色素沈着に基づいてフラッシュ強度を調節するためのコンピュータプログラム製品であって、
撮像デバイスに位置付けられた眼球の網膜の網膜色素沈着を決定するための第1のモジュールと、
前記網膜色素沈着に基づいて、第1の強度から第2の強度へとフラッシュコンポーネントの強度を調節するように前記撮像デバイスに指令するための第2のモジュールと、
前記第2の強度において前記フラッシュコンポーネントによって照明された画像を捕捉するように前記撮像デバイスに指令するための第3のモジュールと、
前記撮像デバイスから前記画像を受信するための第4のモジュールと
を備えるコンピュータプログラムコードを含むコンピュータ読取可能な記憶媒体を備えるコンピュータプログラム製品。
(項目20)
前記第1のモジュールは、
前記撮像デバイスから前記眼球の第1の画像を受信することと、
前記第1の画像が露出不足であるかどうかを決定することと、
前記第1の画像が露出不足であることを決定することに応答して、前記第2の強度が、前記第1の強度に対して増大させられた強度であることを決定することと
を行うためのサブモジュールを備える、項目19に記載のコンピュータプログラム製品。
【図面の簡単な説明】
【0006】
(図面の簡単な説明)
【
図1】
図1は、一実施形態による、網膜色素沈着決定ツールを利用するための環境におけるシステムコンポーネントの例示的ブロック図である。
【0007】
【
図2】
図2は、一実施形態による、撮像デバイスのモジュールおよびコンポーネントの例示的ブロック図である。
【0008】
【
図3】
図3は、一実施形態による、網膜色素沈着決定ツールのモジュールおよびコンポーネントの例示的ブロック図である。
【0009】
【
図4】
図4は、機械読取可能な媒体から命令を読み取り、それらをプロセッサ(またはコントローラ)内で実行することが可能な例示的機械のコンポーネントを図示するブロック図である。
【0010】
【
図5】
図5は、一実施形態による、種々のレベルの露出における例示的画像を描写する。
【0011】
【
図6】
図6は、一実施形態による、線条網膜色素沈着を有する網膜の例示的画像を描写する。
【0012】
【
図7】
図7は、一実施形態による、網膜色素沈着に基づいてフラッシュ強度を調節するための例示的フローチャートを描写する。
【0013】
図は、本発明の種々の実施形態を例証目的のみのために描写する。当業者は、本明細書に説明される本発明の原理から逸脱することなく、本明細書に例証される構造および方法の代替実施形態が採用され得ることを以下の検討から直ちに認識するであろう。
【発明を実施するための形態】
【0014】
(詳細な説明)
(a)環境概説
図1は、一実施形態による、網膜色素沈着決定ツールを利用するための環境におけるシステムコンポーネントの例示的ブロック図である。環境100は、撮像デバイス110と、ネットワーク120と、網膜色素沈着決定ツール130と、網膜疾患診断ツール140とを含む。撮像デバイス110は、患者の眼球の網膜の1つまたはそれより多くの画像を捕捉するように構成されるデバイスである。撮像デバイス110は、手動動作を通して、コンピュータプログラム命令または(例えば、網膜色素沈着決定ツール130から受信される)外部信号によって、またはそれらの組み合わせによって命令されると、自律的に、そのような画像を捕捉させられ得る。これらの画像がどのように見え得るか、および、それらがどのように導出されるかの実施例は、2017年3月22日に出願された自己の米国特許出願第15/466,636号において説明され、その開示は、本明細書によって、参照によってその全体が本明細書に援用される。
【0015】
画像の捕捉後、撮像デバイス110は、処理のために、画像を網膜色素沈着決定ツール130に伝送する。描写されないが、ある実施形態では、網膜色素沈着決定ツール130は、モジュールとして撮像デバイス110上にインストールされ、したがって、伝送は、撮像デバイス110の内部である。描写される実施形態では、網膜色素沈着決定ツール130は、撮像デバイス110から離れたサーバ上でインスタンス化され、画像は、ネットワーク120を経由して伝送される。ネットワーク120は、ローカルエリアネットワーク、広域ネットワーク、インターネット、および同等物等の任意の通信ネットワークであってもよい。
【0016】
図1に描写されないが、1つまたはそれより多くの追加の撮像デバイスが、患者の一部または全部(例えば、患者の皮膚または毛髪)を含む外部画像を捕捉するために使用されてもよい。網膜の色素沈着は、それから決定され得る。
【0017】
網膜色素沈着決定ツール130は、画像を受信し、画像が処理のために好適であるかどうかを決定する。ある実施形態では、処理のための好適性は、指定された光の強度を用いて、または光の強度の指定の範囲内で画像が露出され、患者の網膜内のバイオマーカが網膜疾患診断ツール140によって検出され得ることを意味する。別の実施形態では、処理のための好適性は、患者の網膜内のある目印が画像内で識別可能であることを意味する。画像が処理のために好適であるかどうかを決定する方法に関するさらなる検討が、下記の
図2~7を参照して検討される。
【0018】
画像が処理のために好適ではないことに寄与する因子は、網膜色素沈着であり、患者の網膜が色素沈着している場合(薄いまたは濃い色素沈着のいずれであっても)、網膜画像は、画像を捕捉するときに一貫したフラッシュ強度が使用される場合、露出過度または露出不足であり得る。網膜色素沈着決定ツールは、網膜色素沈着に基づいて、網膜色素沈着および/またはフラッシュ強度に対する必要な調節を決定し、画像またはさらなる画像の捕捉に先立ってフラッシュ強度を調節するように撮像デバイス110(またはその人間操作者)に命令する。網膜色素沈着決定ツール130が決定を実施し、調節を命令する様式は、下記の
図3に関してさらに詳細に説明される。
【0019】
網膜疾患診断ツール140は、網膜画像を自律的に分析し、その中のバイオマーカの機械学習分析を使用して診断を決定する。診断は、具体的には、ユーザが糖尿病性網膜症等の特定の疾患を有するという決定であり得、または、ユーザが疾患を有している見込みが高く、したがって、確認および治療のために医師の診察を受けるべきであるという決定であり得る。網膜疾患診断ツール140が分析を実施し、診断を決定する様式は、自己の米国特許第10,115,194号においてさらに検討され、その開示は、本明細書によって、参照によってその全体が本明細書に援用される。網膜色素沈着決定ツール130からの分離したエンティティとして描写される一方、網膜疾患診断ツール140は、網膜色素沈着決定ツール130と同一のサーバまたはサーバのセット上でインスタンス化されてもよく、モジュールとして撮像デバイス110内にインストールされ得る様式と同様に、網膜色素沈着決定ツール130は、一部または全部において、モジュールとして撮像デバイス110上にインストールされてもよい。
【0020】
(b)例示的撮像デバイスコンポーネント
図2は、一実施形態による、撮像デバイスのモジュールおよびコンポーネントの例示的ブロック図である。撮像デバイス110は、画像捕捉コンポーネント211と、フラッシュコンポーネント212と、赤外線コンポーネント213と、網膜色素沈着決定ツールアプリケーションプロトコルインターフェース(API)214と、ユーザインターフェース215とを含む。描写されないが、撮像デバイス110は、網膜色素沈着決定ツール130および網膜疾患診断ツール140のいずれかまたは両方の内蔵インスタンス等の他のコンポーネント、ならびにそれらの任意のコンポーネントを含んでもよい。撮像デバイス110は、本明細書に説明される任意の機能を実施するための任意のデータベースまたはメモリを含んでもよい。撮像デバイス110は、同様に、いくつかの描写されるコンポーネントを除外してもよい。例えば、撮像デバイスは、赤外線コンポーネント213を除外してもよい。
【0021】
画像捕捉コンポーネント211は、患者の網膜の画像を捕捉するように構成される任意のセンサであってもよい。例えば、特殊レンズが、患者の網膜の画像を捕捉するために使用されてもよい。フラッシュコンポーネント212は、画像捕捉コンポーネント211による画像捕捉中、患者の網膜を照明することが可能な任意のコンポーネントであってもよく、画像捕捉コンポーネント211の画像捕捉動作と協調して、光を放出するように構成されてもよい。また、画像捕捉コンポーネント211は、患者の皮膚および/または毛髪を含む画像を捕捉するための外部画像捕捉コンポーネント211を伴って構成されてもよい。
【0022】
赤外線コンポーネント213は、赤外線放射を患者の網膜に伝送し、その吸収を決定するように構成される赤外線センサである。赤外線コンポーネント213は、患者の網膜を横断する赤外線伝送の吸収を示すヒートマップを生成し得る。赤外線コンポーネント213は、患者の網膜色素沈着の決定に関して処理するための(例えば、網膜色素沈着決定ツール130の)プロセッサに、吸収の決定および/またはヒートマップを伝送する。
【0023】
網膜色素沈着決定ツールAPI214は、網膜色素沈着決定ツール130から撮像デバイス110への指令を変換するために、網膜色素沈着決定ツール130とインターフェース接続する。例示的指令は、画像を捕捉するための指令、フラッシュコンポーネント212によって放出される光の強度を調節するための指令、およびその同等物を含んでもよい。これらの指令、および、これらがどのように生成されるかは、
図3を参照して下記にさらに詳細に検討される。
【0024】
ユーザインターフェース215は、それを用いて、撮像デバイス110の操作者が、画像を捕捉すること、フラッシュ強度を調節すること、赤外線情報を捕捉すること、および同等のこと等を実施することが可能な任意の機能を実施するように撮像デバイス110に指令し得るインターフェースである。ユーザインターフェース215は、任意のハードウェアまたはソフトウェアインターフェースであってもよく、物理コンポーネント(例えば、ボタン)および/または(例えば、タッチスクリーンディスプレイ等のディスプレイ上の)グラフィックコンポーネントを含んでもよい。ユーザインターフェース215は、撮像デバイス110上に位置してもよく、撮像デバイス110の周辺デバイスであってもよく、または、ネットワーク120によって撮像デバイス110から分離され、それによって、撮像デバイス110の遠隔動作を可能にし得るデバイス上に位置してもよい。
【0025】
(c)例示的網膜色素沈着決定ツールコンポーネント
図3は、一実施形態による、網膜色素沈着決定ツールのモジュールおよびコンポーネントの例示的ブロック図である。網膜色素沈着決定ツール130は、色素決定モジュール331と、フラッシュ強度調節モジュール334と、線条網膜色素撮像モジュール335とを含む。描写されないが、網膜色素沈着決定ツール110は、追加のモジュール等の他のコンポーネント、および本明細書に説明される任意の機能を実施するための任意のデータベースまたはメモリを含んでもよい。また、網膜色素沈着決定ツール130は、いくつかの描写されるコンポーネントを除外してもよい。例えば、網膜色素沈着決定ツール130は、線条網膜色素撮像モジュール355を除外してもよい。
【0026】
色素決定モジュール331は、撮像デバイス110から受信された情報に基づいて、患者の網膜色素沈着を決定する。情報は、患者の網膜の画像もしくは一連の画像、赤外線吸収情報、および/またはそれらの組み合わせを含んでもよい。色素決定モジュール331は、露出決定モジュール332および/または赤外線色素決定モジュール333等のサブモジュールを実行し得る。代替として、露出決定モジュール332および/または赤外線色素決定モジュール333は、色素決定モジュール331のサブモジュールではなく、スタンドアロンモジュールであってもよい。
【0027】
ここで、撮像デバイス110から受信された患者の網膜画像に基づいて網膜色素沈着が決定される、ある実施形態を参照する。露出決定モジュール332は、画像が、露出不足または露出過度であるかどうかを決定する。本明細書内で使用される場合、用語「露出不足」は、患者の網膜がフラッシュコンポーネント212からの不十分な光強度に暴露されながら、画像が捕捉されることを指し得、これは、したがって、不十分な照明に起因して、適切に露出された画像内に現れるバイオマーカが、露出不足である画像内に検出される可能性を減少させる。同様に、用語「露出過度」は、患者の網膜がフラッシュコンポーネント212から過度な光強度に暴露されながら、画像が捕捉されることを指し得、これは、したがって、過剰な照明に起因して、適切に露出された画像内に現れるバイオマーカが、露出過度である画像内に検出される可能性を減少させる。用語「バイオマーカ」は、本明細書内で使用される場合、網膜疾患に対応する、患者の網膜の一部である画像内のオブジェクトである。
【0028】
露出決定モジュール332は、捕捉された画像(またはその一部)の様子を分析し、それらから露出レベルを決定することによって、画像が、一部または全部において露出過度または露出不足であることを決定し得る。例えば、明るさのレベル、(例えば個々の点または平均における)グレースケールのレベル、色の強度のレベル、または、明るさ、強度、配色、および同等物の任意の他の測定単位が、決定され得る。露出レベルは、ピクセル単位で決定され得、露出決定モジュール332は、ヒートマップを生成し、ヒートマップの各部分は、捕捉された画像内の対応するピクセルの露出レベルを反映した。露出決定モジュール332は、画像に関する集成単位で露出レベルを決定し得る。画像全体に関する露出レベルは、ピクセル単位で、またはピクセルグループ単位で露出レベルの統計演算(例えば、平均値、中間値、最頻値)を実施し、画像全体を反映した露出レベルを識別することによって捉えられ得る。
【0029】
露出決定モジュール332は、各ピクセル、各ピクセルグループ、または画像全体のいずれかに関する露出レベルが所定の露出範囲内にあるかどうかを決定し得る。例えば、露出過度である範囲、露出不足である範囲、および適切な露出である範囲は、網膜色素沈着決定ツール130の管理者によって予め定義されてもよい。露出決定モジュール332は、露出レベルがどの範囲に適合するかを決定し得、その範囲に基づいて、画像が露出過度、露出不足、または適切な露出であるかどうかを決定し得る。露出決定モジュール332は、画像全体に対して、またはピクセルグループの露出レベルに基づいて、画像の異なる部分に対して、露出過度、露出不足、または適切な露出のこの決定を実施し得る。
【0030】
露出決定モジュール332は、追加の情報を使用して、ピクセル、ピクセルグループ、またはピクセル全体のいずれかに関する露出レベルを決定し得る。例えば、露出決定モジュール332は、典型的な露出レベルを伴う参照画像を参照して、画像(またはそのピクセルまたはピクセルグループ)の類似性を算出し得る。露出レベルにマップされる類似性レベルを示すデータベースが参照され、露出レベルは、それから決定され得る。別の実施例として、露出決定モジュール332は、画像をフィルタリングし得、画像の明るさに関する色空間内の階調度(例えば、レッド・グリーン・ブルー、シアン・マゼンタ・イエロー色調等)の差を決定し得る。階調度の差は、露出レベルの階調度の差をマップするデータベースのエントリと比較されてもよい。
【0031】
露出決定モジュール332は、露出レベルに基づいて、網膜の色素沈着を決定し得る。色素沈着を決定するために、露出決定モジュール332は、色素沈着に関する露出レベルをマップするデータ構造にアクセスし得る。任意の前述の露出レベル、すなわち、ピクセル単位で、ピクセルグループ、画像全体に関して算出される露出レベルが、色素沈着にマップされ得る。色素沈着を示すマップは、各ピクセルの露出レベルに基づいて、ピクセル単位で生成され得る。
【0032】
露出決定モジュール332は、色素沈着および画像を捕捉するために使用されるフラッシュ強度に基づいて調節値を決定し得る。例えば、可能性として考えられる色素沈着の各タイプに関する、各フラッシュ強度に対応する露出レベルを示すデータ構造が、参照され得る。データ構造は、その露出レベルに関する調節値を示す。代替として、露出決定モジュール332は、色素沈着を参照することなく、露出レベルに基づいて調節値を算出し得る。画像全体の露出レベルを考慮するときにこの調節を実施するために、露出決定モジュール332は、露出レベルと所定の適切な露出値との間の差を決定し得、調節値であるようにその差を割り当て得る。
【0033】
ある実施形態では、露出決定モジュール332は、画像内の各ピクセルに関する露出レベルに基づいて、または画像内の異なるピクセルグループに関する露出レベルに基づいて調節値を算出し得る(例えば、画像の各象限は、異なる算出された露出レベルを有し得る)。露出決定モジュール332は、適切な露出である範囲内にある調節後の露出レベルを有するピクセルの量またはピクセルグループの量を最大限にすることによって、調節値を算出し得る。例えば、4つの象限のうち3つが露出過度であり、全4つの象限の露出レベルに適用された場合に4つの象限のうち3つを適切に露出させる調節値が計算され、4つの象限全てを適切に露出させる調節値が存在しない場合、調節値は、適切に露出される画像の量を最大限にするように適用される。
【0034】
ある実施形態では、露出決定モジュール332は、調節値を決定するとき、適切に露出されているピクセルまたはピクセルグループの露出レベルを考慮に入れなくてもよい。これは、適切に露出されているピクセルが画像の中にスティッチングされ得るためであり、不適切に露出された画像は、意図された目的(例えば、バイオマーカを検出すること)のために画像を使用するとき、フラッシュ強度の調節によって補正されるか、または、2つの別個の画像を分析することによって別様に考慮される。したがって、露出決定モジュール332は、画像の適切に露出されている部分の強度のレベルを無視する一方、露出過多または不足であるピクセルまたはピクセルグループを考慮することによって、調節値を算出する際に使用するための画像に対する強度のレベルを決定し得る。
【0035】
露出決定モジュール332は、調節値および/または調節値が適用された後の調節後の値をユーザ情報データベース336に記憶し得る。下記にさらに詳細に説明されるように、フラッシュ強度調節モジュール334は、調節値に基づいて、そのフラッシュ強度を調節するように撮像デバイス110に命令し得る。将来の撮像セッション中、網膜色素沈着決定ツール130は、患者を識別し、ユーザ情報336からフラッシュ強度調節値を読み出し、画像の撮影に先立ってフラッシュ調節を決定し得、したがって、不適切に露出される画像をもたらすフラッシュに患者を暴露させる必要性を排除し得る。調節値は、(画像がどちらの眼球(左眼または右眼)と対応するかをラベル付けされている場合)患者の各眼球に割り当てられてもよく、どちらの眼球が撮像されているかに応じて使用され得る。
【0036】
ある実施形態では、露出決定モジュール332は、画像を機械学習モデルに入力し、機械学習モデルからの出力として網膜色素沈着を受信することによって、網膜色素沈着および/または露出値を決定し得る。機械学習モデルは、ある網膜色素沈着および/または露出値を有するものとしてラベル付けされる画像を使用して訓練されてもよい。
【0037】
ここで、患者の眼球の赤外線吸収情報が撮像デバイス110から受信されると、網膜色素沈着がそれに基づいて決定される、ある実施形態を参照する。赤外線色素決定モジュール333は、撮像デバイス110からの吸収情報および/またはヒートマップを受信し、それから患者の網膜色素沈着を算出する。ある実施形態では、赤外線網膜色素沈着決定モジュール333は、吸収情報を色素沈着に対する吸収をマップするデータ構造内の情報と比較することによって、色素沈着を算出する。別の実施形態では、赤外線網膜色素沈着決定モジュール333は、吸収情報を機械学習モデルに入力し、機械学習モデルからの出力として色素沈着を受信する。任意の患者のバイタル、略歴、または人口統計学的情報等の吸収情報がユーザ情報データベース336から読み出されると、または吸収情報を伴って、撮像デバイス110から受信されると、それらを伴う他の入力も、機械学習モデルへと行われる。色素沈着を決定した後、色素決定モジュール331は、露出決定モジュール332を参照して、上記に説明される技法を使用して調節値を決定し得る。
【0038】
加えて、調節値は、他のパラメータを使用して通知されてもよい。例えば、フラッシュ強度および/または利得は、赤外線レベルの統計パラメータ(例えば、平均値、中央値等)に対する他の因子(例えば、撮像デバイス110のガンマ設定)と切り離して、またはそれらと組み合わせて比較されてもよい。色素決定モジュール331は、比較の結果を用いてデータベースを参照し、データベース内の、比較の結果にマップされたその対応する色素沈着を決定し得る。
【0039】
ある実施形態では、露出決定モジュール332は、赤外線画像(または上記に説明されるようなヒートマップ)を機械学習モデルに入力し、機械学習モデルからの出力として網膜色素沈着(または網膜色素沈着を決定するために使用され得る情報)を受信することによって、網膜色素沈着および/または露出値を決定し得る。機械学習モデルは、赤外線画像からのフラッシュ暴露時間および強度を出力する、訓練された画像レベル分類器であってもよい。分類器は、フラッシュ暴露時間および強度を出力するために、赤外線画像から抽出された所定の特徴を使用してもよい。フラッシュ暴露時間および強度は、データベースを参照すること、または訓練された分類器にフラッシュ暴露時間および強度を入力することのいずれかによって、網膜の色素沈着を決定するために使用されてもよく、訓練された分類器は、フラッシュ暴露時間および強度を色素沈着に変換するように訓練される。モデルから受信される、結果として得られる暴露時間および強度は、種々の色素沈着に関する代表的な規範的データベースから導出され得る。
【0040】
フラッシュ強度調節モジュール334は、調節されたフラッシュコンポーネント212によって放出されるフラッシュ強度を有するように、撮像デバイス110に指令を伝送する。指令は、それによってフラッシュ強度を調節するための量を含み得るか、または新たなフラッシュ強度値を含み得る。ある実施形態では、色素決定モジュール331および/またはそのサブモジュールによって実施されるような、上記に説明されるフラッシュ強度への調節は、代わりに、フラッシュ強度調節モジュール334によって実施されてもよい。
【0041】
ある実施形態では、網膜色素沈着決定ツール130は、既知の網膜タイプまたは色素沈着のセットに網膜をカテゴライズし得、そのセットの各既知のタイプまたは色素沈着は、電子データ構造内でそれにマップされる、対応する暴露時間および/またはフラッシュ強度を有する。例えば、網膜色素沈着決定ツール130は、赤外線画像全体(例えば、もしくは赤外線ヒートマップ)に対して、または赤外線画像の具体的な特徴(例えば、ピクセルもしくはピクセルグループ、もしくは視神経乳頭、中心窩、もしくは血管等の特徴)に対して統計演算を実施し得、既知の網膜タイプへの統計演算のマッピングを決定し得る。網膜色素沈着決定ツール130は、それらから網膜色素沈着を決定し得る。別の実施例として、網膜色素沈着決定ツール130は、クラスタ化アルゴリズム(例えば、k平均クラスタ化)と組み合わせてエンコーダを使用してもよく、公知の網膜タイプまたは色素沈着のうち合致するものに対して、エンコーダの出力をマップしてもよい。別の実施例として、網膜色素沈着決定ツール130は、網膜画像を分類ニューラルネットワークに入力し、出力として公知の網膜タイプを受信してもよい。さらに別の実施例として、既知の網膜タイプを決定するための入力として、上記で述べられた実施例と切り離して、またはそれに加えて、虹彩の1つまたはそれより多くの画像が、使用されてもよい。網膜色素沈着決定ツール130は、電子データ構造内のマッピングに基づいて、網膜の画像を捕捉するための暴露時間および/またはフラッシュ強度を決定し得る。電子データ構造は、例えば、必須メトリックを記憶することによって、または、赤外線画像および眼底のカラー画像の、結果として生じる画質スコアを埋め込み、更新された訓練データとして分類器データ内にそれをフィードすることによって、継続的に精緻化され得る。
【0042】
線条網膜色素撮像モジュール335は、網膜色素沈着内の線条を識別し、適切に露出されている網膜画像が取得または構築され得ることを確実にするための修復処置を決定する。線条網膜色素撮像モジュール335は、患者が患者の網膜内に線条色素沈着を有していることを網膜画像が示しているかどうかを決定するために、上記に説明されるような露出レベル、ピクセル毎のもしくはピクセルグループの露出マップ、赤外線吸収情報、または任意の他の情報を使用し得る。
【0043】
ある実施形態では、線条色素撮像モジュール335は、グループ内のピクセルの所定の量を超過する連続ピクセルグループが、所定の量、近傍ピクセルグループと異なる強度のレベルまたは露出レベル(例えば、赤外線または強度情報を使用して受信される)を有することを決定し得る。例えば、低いレベルの強度を伴うピクセルグループに隣接する、高いレベルの強度を伴うピクセルグループは、それらのピクセルが対応する、患者の網膜内の各点において異なる色素沈着を示し得る。線条網膜色素撮像モジュール335は、患者の網膜に線条があることをそれらから決定し得る。誤決定を防止するために、または最小限にするために、線条網膜色素撮像モジュール335は、少なくとも閾値サイズ(例えば、少なくとも30ピクセル幅)であるピクセルグループを考慮し、強度または露出のレベルを変化させているものが、バイオマーカまたは他のアーチファクトではなく、色素沈着であることを確実にする。一般的な状況が、異なる色素沈着を伴う網膜を横断する垂直または水平な縞模様または線条である一方、用語「線条」は、本明細書で使用される場合は常に、異なる色素沈着の非縞模様パターンも本開示の範囲内にある。例えば、用語「線条」が本明細書で使用される場合は常に、テッセレーションが、識別され得る。テッセレーションは、画像内の階調度、エッジ検出器、配向エッジ検出器、Bag-of-Words、パッチのヒストグラムに基づく辞書学習、テンプレート照合、および同等物を使用して検出され得る。
【0044】
代替として、または加えて、線条色素撮像モジュール335は、コンピュータビジョンを使用して、網膜が線条であることを決定し得る。ある実施形態では、線条色素撮像モジュール335は、コンピュータビジョンを使用して、エッジ(例えば、2つの色素沈着間の境界)が存在するかどうかを決定し得る。線条色素撮像モジュールは、エッジが存在する場合、エッジの各側上の色素沈着における差が、閾値の量(例えば、閾値強度または赤外線情報)異なるかどうかを決定する等、静的または適合的閾値化技法を使用して線条を決定し得る。線条色素撮像モジュール335は、コンピュータビジョンモデルにおいて、1つまたはそれより多くの角度においてハフ変換を実施し、エッジを表現し得る半線形オブジェクトを識別する。加えて、または代替として、線条色素撮像モジュール335は、線条を識別するために、種々の色チャネルに対する輪郭を比較し、輪郭の比較は、色チャネルが、線条が典型的なものより可視でない色素沈着の一部である場合の線条検出を支援する。統計分析が、赤外線および強度の分布に対して実施され得、標準偏差が、線条が検出されている尤度を確認するために適用される。さらに、分類ニューラルネットワークおよびセグメント化ニューラルネットワーク等のニューラルネットワークが、線条を識別するために訓練および使用され得る。
【0045】
線条網膜色素撮像モジュール335は、各々異なるフラッシュ強度において、2つまたはそれより多くの網膜画像を捕捉するように撮像デバイス110に指令し、線条に対応する2つまたはそれより多くの強度において、適切に露出されることが要求される強度のレベルに対応する、異なる露出レベルを引き起こし得る。線条網膜色素撮像モジュール335は、次いで、各画像から適切に露出されている部分を使用して、2つまたはそれより多くの画像をともにスティッチングし、全体を通して適切に露出されている集成画像を作成し得る。代替として、線条網膜色素撮像モジュール335は、さらなる分析のために、各画像を別個に維持し得る。例えば、網膜疾患の診断を実施するモジュールは、バイオマーカを検出するために、各画像の適切に露出されている部分を分析し得、2つまたはそれより多くの画像を横断して識別されたバイオマーカに基づいて、診断を出力し得る。
【0046】
ユーザ情報データベース336は、各患者に関するプロファイルを維持し得るデータベースである。プロファイルは、略歴情報(例えば、名前、身長、体重)、人口統計学情報(例えば、民族性、地理的な場所)、および任意の他の情報(例えば、健康記録)を含む任意の収集される情報を含み得る。
【0047】
描写されないが、ある実施形態では、患者の毛髪および/または皮膚を含む画像が、網膜色素沈着決定ツール130によって受信される。網膜色素沈着ツールは、患者の網膜色素沈着をそれから決定し得る。実施例として、網膜色素沈着ツール130は、データ構造を参照し得、データ構造は、患者の毛髪および/または皮膚の色を網膜色素沈着に対応させ、仮定される患者の網膜色素沈着として、マップされた網膜色素沈着値をとる。別の実施例として、網膜色素沈着ツール130は、それから導出された画像またはデータを機械学習モデルに入力し得、機械学習モデルは、網膜色素沈着を出力するように訓練されている。これは、患者の網膜の画像が捕捉される前に実施され得、本明細書に説明される任意の様式において、画像を捕捉することに先立ってフラッシュ強度を調節するために使用され得る。
【0048】
(d)例示的計算機のアーキテクチャ
図4は、機械読取可能な媒体から命令を読み取り、それらをプロセッサ(またはコントローラ)内で実行することが可能な例示的機械のコンポーネントを図示するブロック図である。具体的には、
図4は、システム400の例示的形態における機械の図式表現を示し、本明細書に検討される方法のうち任意の1つまたはそれより多くを機械に実施させるためのプログラムコード(例えば、ソフトウェア)が、その中で実施され得る。プログラムコードは、1つまたはそれより多くのプロセッサ402によって実行可能な命令424から成ってもよい。代替実施形態では、機械は、スタンドアロンデバイスとして動作してもよく、または他の機械に接続(例えば、ネットワーク接続)されてもよい。ネットワーク接続された展開において、機械は、サーバクライアントネットワーク環境内で、サーバマシンまたはクライアントマシンの能力において動作してもよく、または、ピアツーピア(もしくは分散型)ネットワーク環境内で、ピアマシンとして動作してもよい。
【0049】
機械は、サーバコンピュータ、クライアントコンピュータ、パソコン(PC)、タブレットPC、セットトップボックス(STB)、携帯情報端末(PDA)、携帯電話、スマートフォン、ウェブアプライアンス、ネットワークルータ、スイッチもしくはブリッジ、または、その機械によって行われるべきアクションを規定する命令424を(順次、または別様に)実行する能力がある任意の機械であってもよい。さらに、単一の機械のみが図示されるが、用語「機械」は、本明細書に検討される方法のうち任意の1つまたはそれより多くを実施するために命令124を個々にまたはともに実行する機械の任意の集まりを含むとも捉えられるべきである。
【0050】
例示的コンピュータシステム400は、プロセッサ402(例えば、中央処理ユニット(CPU)、グラフィックス処理ユニット(GPU)、デジタル信号プロセッサ(DSP)、1つもしくはそれより多くの特定用途向け集積回路(ASIC)、1つもしくはそれより多くの無線周波数集積回路(RFIC)、またはこれらの任意の組み合わせ)と、メインメモリ404と、スタティックメモリ406とを含み、これらは、バス408を介して相互に通信するように構成される。コンピュータシステム400は、視覚的ディスプレイインターフェース410をさらに含んでもよい。視覚的インターフェースは、スクリーン(またはディスプレイ)上にユーザインターフェースを表示することを可能にするソフトウェアドライバを含んでもよい。視覚的インターフェースは、直接(例えば、スクリーン上に)または間接的に、表面、ウインドウ、または同等物上に(例えば、視覚的投影ユニットを介して)ユーザインターフェースを表示してもよい。検討の容易化のために、視覚的インターフェースは、スクリーンとして説明され得る。視覚的インターフェース410は、タッチ可能スクリーンを伴うインターフェースを含んでもよく、またはそれとインターフェース接続してもよい。コンピュータシステム400は、英数字入力デバイス412(例えば、キーボードまたはタッチスクリーンキーボード)、カーソル制御デバイス414(例えば、マウス、トラックボール、ジョイスティック、モーションセンサ、または他のポインティング器具)、記憶ユニット416、信号生成デバイス418(例えば、スピーカ)、およびネットワークインターフェースデバイス420も含んでもよく、これらは、バス408を介して通信するようにも構成される。
【0051】
記憶ユニット416は、機械読取可能な媒体422を含んでもよく、本明細書に説明される方法または機能のうち任意の1つまたはそれより多くを具体化する命令424(例えば、ソフトウェア)が、その上に記憶される。命令424(例えば、ソフトウェア)は、コンピュータシステム400によるその実行中、完全にまたは部分的に、メインメモリ404内に、またはプロセッサ402内に(例えば、プロセッサのキャッシュメモリ内に)存在してもよく、メインメモリ404およびプロセッサ402は、機械読取可能な媒体を構成してもよい。命令424(例えば、ソフトウェア)は、ネットワークインターフェースデバイス420を介して、ネットワーク426を経由して伝送または受信されてもよい。
【0052】
ある例示的実施形態では、機械読取可能な媒体422は単一の媒体であるように示されるが、用語「機械読取可能な媒体」は、命令(例えば、命令424)を記憶することが可能な単一の媒体または複数の媒体(例えば、集中型または分散型データベース、または関連付けられるキャッシュおよびサーバ)を含むと捉えられるべきである。用語「機械読取可能な媒体」は、機械による実行のための命令(例えば、命令424)を記憶することが可能であり、本明細書に開示される方法のうち任意の1つまたはそれより多くを機械に実施させる任意の媒体も含むと捉えられるべきである。用語「機械読取可能な媒体」は、限定ではないが、ソリッドステートメモリ、光学媒体、および磁気媒体の形態におけるデータリポジトリを含む。
【0053】
(e)例示的画像露出
図5は、一実施形態による、種々の露出レベルにおける例示的画像を描写する。画像510は、露出不足である画像であり、バイオマーカ501を含む。バイオマーカ501は、画像の露出不足から引き起こされる陰影に起因して、見分けることが困難である。画像520は、適切に露出された画像であり、バイオマーカ501を同様に含み、これは、見分けることが容易である。画像530は、露出過度である画像であり、バイオマーカ501を同様に含み、これは、露出過度が、バイオマーカ501をそれらの特徴がぼやけているまたは不可視であるように見せる光の強度によって、バイオマーカを曖昧にしたため、見分けることが困難である。機械学習モデルまたはパターン照合ツールまたはそれらのコンポーネントは、バイオマーカが背景と同調し得るため、露出過度または露出不足である画像から、バイオマーカ501を検出することができないことがあるが、適切に露出されている画像520のバイオマーカは、その背景と容易に区別される特徴を有する。
【0054】
図6は、一実施形態による、線条網膜色素沈着を有する網膜の例示的画像を描写する。画像600は、区分621、622、623、および624を含む。描写されるように、各区分は、それに隣接する各区分から逸脱した共有の色素沈着を有するピクセルグループである。区分621および623は、相互に対して同一の色素沈着を有するものとして描写され、区分622および624も同様である一方、各区分における色素沈着において、いくつかの共通性を伴う、または共通性を全く伴わない2つより多くの異なるタイプの色素沈着が、存在し得る。バイオマーカ601が各区分内に描写されているが、バイオマーカ601は、所与の区分内に存在することもあり、存在しないこともあり、1つより多くのバイオマーカ601が、所与の区分内に存在することもある。
図5の場合と同様に、バイオマーカ601は、画像内の色素沈着によって曖昧にされ得、したがって、各線条を適切に露出するために、2つまたはそれより多くの追加の画像のために、フラッシュ強度に対する調節を要求し得る。
【0055】
(f)網膜撮像フラッシュ強度を調節するための例示的データフロー
図7は、一実施形態による、網膜色素沈着に基づいてフラッシュ強度を調節するための例示的フローチャートを描写する。プロセス700は、網膜色素沈着決定ツール130を起動するために使用されるデバイスの1つまたはそれより多くのプロセッサ(例えば、プロセッサ202)が、撮像デバイス110に位置付けられた眼球の網膜の網膜色素沈着を決定すること(702)から始まる。決定すること(702)は、色素決定モジュール331によって実施され得、色素決定モジュール331は、露出決定モジュール332および/または赤外線色素決定モジュール333を実行し、網膜色素沈着を決定するために必要な情報を取得し得る。網膜色素沈着決定ツール130は、次いで、網膜色素沈着に基づいて、第1の強度から第2の強度へとフラッシュコンポーネント(例えば、フラッシュコンポーネント212)の強度を調節するように撮像デバイスに指令し得る(704)。例えば、フラッシュ強度調節モジュール334は、デフォルト強度から、より低い強度へとフラッシュコンポーネントの強度を調節するように撮像デバイス110に指令し、薄く色素沈着した網膜の露出過度を回避する。指令することは、撮像デバイス110と網膜色素沈着決定ツール130との間の通信を促進するように構成されるAPIを使用して命令を伝送することによって実施され得る。
【0056】
網膜色素沈着決定ツール130は、次いで、第2の強度においてフラッシュコンポーネントによって照明された画像を捕捉するように撮像デバイス110に指令し得(706)、画像を撮像デバイスから受信し得る(708)。画像が適切に露出されているかどうかを決定すること、および、画像が全体的にまたは部分的に(例えば、線条網膜の場合)不適切に露出されている場合、追加の画像を捕捉すること等、さらなる処理が、実施され得る。患者の網膜の全ての部分が、1つまたはそれより多くの適切に露出されている画像によって捕捉されると、網膜色素沈着決定ツール130は、入力として画像(単数または複数)を撮影することと、網膜疾患の診断を出力することとを行うツール等の別のツールに1つまたはそれより多くの画像を渡し得る。
【0057】
(g)概要
本発明の実施形態の前述の説明は、例証の目的のために提示されており、網羅的であること、または開示された精密な形態に本発明を限定することを意図されない。関連技術における当業者は、上記の開示に照らして、多くの修正および変形が可能であることを理解し得る。
【0058】
本説明のいくつかの部分は、情報に関する動作のアルゴリズムおよび象徴的表現の観点から本発明の実施形態を説明する。これらのアルゴリズム的説明および表現は、データ処理技術における当業者によって、他の当業者に研究の要旨を伝えるために一般的に使用されている。これらの動作は、機能的に、計算的に、または論理的に説明される一方、コンピュータプログラムまたは同等の電気回路、マイクロコード、または同等物によって実装されることが理解される。さらに、一般性を喪失することなく、動作のこれらの配列をモジュールと称することが時に便利であることも実証されている。説明される動作およびその関連付けられるモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはその任意の組み合わせにおいて具体化され得る。
【0059】
本明細書に説明されるステップ、動作、またはプロセスは、いずれも、1つまたはそれより多くのハードウェアまたはソフトウェアモジュールを用いて、単独で、または他のデバイスと組み合わせて実施または実装され得る。一実施形態では、ソフトウェアモジュールは、コンピュータプログラムコードを含むコンピュータ読取可能な媒体を含むコンピュータプログラム製品を用いて実装され、これは、説明されるステップ、動作、またはプロセスのいずれかまたは全てを実施するためのコンピュータプロセッサによって実行されることができる。
【0060】
本発明の実施形態は、本明細書中の動作を実施するための装置に関してもよい。本装置は、要求される目的のために特別に構築されてもよく、および/またはコンピュータ内に記憶されるコンピュータプログラムによって選択的にアクティブ化または再構成される汎用コンピューティングデバイスを備えてもよい。そのようなコンピュータプログラムは、非一時的有形コンピュータ読取可能な記憶媒体、または電子的命令を記憶するために好適な任意のタイプの媒体内に記憶されてもよく、これらは、コンピュータシステムバスに結合され得る。さらに、本明細書中で参照される任意のコンピューティングシステムは、単一のプロセッサを含んでもよく、または、計算能力を増大させるために、複数のプロセッサ設計を採用するアーキテクチャであってもよい。
【0061】
本発明の実施形態は、本明細書に説明される計算プロセスによって生産される製品に関してもよい。そのような製品は、計算プロセスから生じる情報を備えてもよく、情報が非一時的有形コンピュータ読取可能な記憶媒体上に記憶される場合、コンピュータプログラム製品または本明細書に説明される他のデータの組み合わせの任意の実施形態を含み得る。
【0062】
最後に、本明細書中で使用される用語は、主に、可読性および指導目的のために選択されており、発明の主題を正確に説明する、またはその境界線を引くために選択されていない。したがって、本発明の範囲は、本詳細な説明によってではなく、本明細書に基づく出願時に刊行される任意の請求項によって限定されることを意図される。故に、本発明の実施形態の開示は、例示的であるが、以下の特許請求の範囲に述べられる本発明の範囲を限定しないことを意図される。