特表 2024-538033 網膜像キャプチャリング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-18

(54)【発明の名称】網膜像キャプチャリング

(51)【国際特許分類】

   A61B 3/14 20060101AFI20241010BHJP

【ＦＩ】

A61B3/14

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024521248

(86)(22)【出願日】2022-10-05

(85)【翻訳文提出日】2024-04-04

(86)【国際出願番号】 SG2022050712

(87)【国際公開番号】W WO2023075678

(87)【国際公開日】2023-05-04

(31)【優先権主張番号】10202111949W

(32)【優先日】2021-10-27

(33)【優先権主張国・地域又は機関】SG

(81)【指定国・地域】

(71)【出願人】

【識別番号】524130618

【氏名又は名称】メディオス・テクノロジーズ・ピーティーイー・リミテッド

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】フロリアン・ミカエル・サヴォイ

(72)【発明者】

【氏名】バルガヴ・ソサレ

(72)【発明者】

【氏名】チラン・マンドゥラ・ボピティヤ

【テーマコード（参考）】

4C316

【Ｆターム（参考）】

4C316AA06

4C316AA09

4C316AA10

4C316AB16

4C316FA06

4C316FA07

4C316FB22

(57)【要約】

自動化網膜像キャプチャリングのための手法について、記載する。ある例では、撮像デバイスによって記録された複数のターゲットフレームが受信され、複数のターゲットフレームは、対象の網膜に関する。複数のターゲットフレームは次いで、トレーニング済み分析モデルに基づいて分析される。たとえば、分析モデルは、トレーニング画像のセットに基づいてトレーニングされ、分析モデルは、トレーニング画像のセットの視覚属性および注釈に基づく信頼度重みのセットを組み込む。複数のターゲットフレームの分析に基づいて、撮像デバイスが、対象の網膜の網膜像をキャプチャするためにトリガされ得る。

【特許請求の範囲】

【請求項1】

自動化網膜像キャプチャリングのためのシステムであって、前記システムは、
プロセッサと、
命令を備える機械可読記憶媒体とを備え、前記命令は、
撮像デバイスから複数のターゲットフレームを受信することであって、前記複数のターゲットフレームは対象の網膜に関し、前記複数のターゲットフレームは、前記撮像デバイスのリアルタイムモードで記録される、受信することと、
分析モデルに基づいて前記複数のターゲットフレームを分析することであって、
前記分析モデルは、トレーニング画像のセットに基づいてトレーニングされ、前記分析モデルは信頼度重みのセットを組み込み、前記信頼度重みのセットは、前記トレーニング画像のセットの各々についての視覚属性および注釈に基づく、分析することと、
前記複数のターゲットフレームの前記分析に基づいて、前記撮像デバイスに、前記対象の前記網膜の網膜像をキャプチャさせることと
を行うように前記プロセッサによって実行可能である、システム。

【請求項2】

トレーニング画像に関する視覚属性は、前記トレーニング画像内の網膜の境界にわたる視覚属性、前記網膜の中心における視覚属性、前記トレーニング画像内の眼の瞳孔の視覚属性、および前記眼の内部の血管の視覚属性に対応する、請求項1に記載のシステム。

【請求項3】

トレーニング画像についての視覚属性は、前記トレーニング画像内の、配光パラメータ、鮮鋭度、コントラスト、および輝度のうちの1つを含む、請求項1に記載のシステム。

【請求項4】

トレーニング画像についての注釈は、撮像デバイスと、前記トレーニング画像内の網膜との間の作動距離、および前記撮像デバイスの位置決め情報を示す、請求項1に記載のシステム。

【請求項5】

トレーニング画像についての注釈は、前記トレーニング画像を、キャプチャに適合する正しく位置決めされた画像に対応するか、またはキャプチャに不適合な不正確に位置決めされた画像に対応するものとして示す、請求項1に記載のシステム。

【請求項6】

前記複数のターゲットフレームの前記分析は、
前記複数のターゲットフレームの各々についての視覚属性を判断することと、
前記複数のターゲットフレームのうちの少なくとも1つが、キャプチャに適合する、正しく位置決めされた画像に対応するかどうかを、前記対応する視覚属性に基づいて判断することと、
前記判断に基づいて、前記撮像デバイスに、前記網膜の前記網膜像をキャプチャさせることとを含む、請求項1に記載のシステム。

【請求項7】

前記複数のターゲットフレームの前記分析は、
前記複数のターゲットフレームからのターゲットフレームの第1のセットが、正しく位置決めされた画像に対応するかどうかを判断することと、
前記ターゲットフレームの第1のセット内の前記ターゲットフレームが連続するかどうかを判断することと、
前記判断に基づいて、前記撮像デバイスに、前記網膜の前記網膜像をキャプチャさせることとをさらに含む、請求項6に記載のシステム。

【請求項8】

前記複数のターゲットフレームからの前記ターゲットフレームの第1のセットは、前記対象の前記網膜に対応する少なくとも3つのターゲットフレームを含む、請求項7に記載のシステム。

【請求項9】

前記網膜は、前記撮像デバイスを使って前記複数のターゲットフレームをキャプチャするために、近赤外光で照射される、請求項1に記載のシステム。

【請求項10】

前記複数のターゲットフレームのうちの少なくとも1つが、キャプチャに適合する、正しく位置決めされた画像に対応すると判断すると、前記網膜は、前記網膜像のキャプチャリングを引き起こすために、白色光で照射される、請求項6に記載のシステム。

【請求項11】

自動化網膜像キャプチャリングのためにプロセッサベースモデルをトレーニングするための方法であって、
トレーニング画像のセットを受信するステップであって、前記トレーニング画像のセットの各々は網膜の赤外線ビューに対応する、ステップと、
前記トレーニング画像のセットに基づいて前記プロセッサベースモデルをトレーニングするステップと、
前記トレーニングに基づいて、前記プロセッサベースモデルの信頼度重みのセットを更新するステップと、
前記更新された信頼度重みのセットを組み込むトレーニング済みプロセッサベースモデルを、自動化網膜像キャプチャリングのためのシステムへ送信するステップと
を含む、方法。

【請求項12】

前記プロセッサベースモデルをトレーニングするステップは、
前記トレーニング画像のセットの各々についての視覚属性を判断するステップと、
前記トレーニング画像のセットの各々についての前記視覚属性を、対応する注釈と相関させるステップとを含む、請求項11に記載の方法。

【請求項13】

トレーニング画像についての注釈は、前記トレーニング画像を、キャプチャに適合する正しく位置決めされた画像、またはキャプチャに不適合な不正確に位置決めされた画像に対応するものとして示す、請求項12に記載の方法。

【請求項14】

前記プロセッサベースモデルはトレーニングシステムにおいてトレーニングされる、請求項11に記載の方法。

【請求項15】

前記プロセッサベースモデルは、トレーニングされると、撮像デバイスに動作可能に結合された評価システム上で展開される、請求項11に記載の方法。

【請求項16】

前記評価システムは、
前記撮像デバイスから複数のターゲットフレームを受信することであって、前記複数のターゲットフレームは対象の網膜に関し、前記複数のターゲットフレームは、前記撮像デバイスのリアルタイムモードで記録される、受信することと、
前記トレーニング済みプロセッサベースモデルに基づいて、前記複数のターゲットフレームを分析することと、
前記複数のターゲットフレームの前記分析に基づいて、前記撮像デバイスに、前記対象の前記網膜の網膜像をキャプチャさせることと
を行う、請求項15に記載の方法。

【請求項17】

命令を備える非一時的コンピュータ可読媒体であって、前記命令は、
トレーニング画像のセットを受信することであって、前記トレーニング画像のセットの各々は網膜の赤外線ビューに対応する、受信することと、
前記トレーニング画像のセットに基づいて分析モデルをトレーニングすることと、
前記トレーニングに基づいて、前記分析モデルの信頼度重みのセットを更新することと、
前記更新された信頼度重みのセットを組み込むトレーニング済み分析モデルをシステムへ送信することと
を行うように、処理リソースによって実行可能である、非一時的コンピュータ可読媒体。

【請求項18】

前記システムにおいて、前記トレーニング済み分析モデルを受信することと、
前記システムにおいて、撮像デバイスから、対象の網膜に関する複数のターゲットフレームを受信することであって、前記複数のターゲットフレームは、前記撮像デバイスのリアルタイムモードで記録されている、受信することと、
前記システムにおいて、前記トレーニング済み分析モデルに基づいて、前記複数のターゲットフレームを分析して、前記複数のターゲットフレームのうちの少なくとも1つが、キャプチャに適合する、正しく位置決めされた画像に対応するかどうかを判断することと、
前記システムによって、前記撮像デバイスに、前記判断に基づいて、前記対象の前記網膜の網膜像をキャプチャさせることと
を行うように、処理リソースによって実行可能な命令を備える、請求項17に記載の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

網膜像キャプチャリングに関する。

【背景技術】

【0002】

画像キャプチャリングデバイスが、眼の医療検診用の網膜像をキャプチャするために使われる場合がある。画像キャプチャリングデバイスを用いてハンドヘルドモードで網膜像をキャプチャするのは、冗長なプロセスであり得る。そのようなケースでは、画像キャプチャリングデバイスは、対象の眼から正しい距離に正しく位置決めされなければならない場合がある。その上、画像キャプチャリングデバイスは、網膜像をキャプチャするために、眼の瞳孔を通して精密にポイントしなければならない場合がある。これは、画像キャプチャリングデバイスのユーザが、環境にわたる輝度を評価し、それに応じて、網膜像をキャプチャするように画像キャプチャリングデバイスを調節することを求める。

【発明の概要】

【課題を解決するための手段】

【0003】

以下の詳細な説明では、図面を参照する。

【図面の簡単な説明】

【0004】

【図1】本主題の例による、分析モデルに基づく自動化網膜像キャプチャリングのための例示的システムを示す図である。

【図2】本主題の例による、分析モデルをトレーニングするためのトレーニングシステムを示す図である。

【図3】本主題の例による、分析モデルをトレーニングするためのトレーニング画像のセットを示す図である。

【図4】本主題の例による、分析モデルをトレーニングするためのトレーニング画像のセットを示す図である。

【図5】本主題の例による、分析モデルを実装する評価システムを示す図である。

【図6】本主題の例による、トレーニングシステムにおいて分析モデルをトレーニングするための例示的方法を示す図である。

【図7】本主題の例による、分析モデルに基づく自動化網膜像キャプチャリングのための非一時的コンピュータ可読媒体を実装するシステム環境を示す図である。

【発明を実施するための形態】

【0005】

図面を通して、同一の参照番号は、同様の、ただし必ずしも同一ではない、要素を指定する。図面は、記述に一致する例および/または実装形態を提供するが、記述は、図面において与えられる例および/または実装形態には限定されない。

【0006】

撮像デバイスは、静止または動画像をキャプチャし、記憶することが可能なデバイスであり得る。いくつかのケースでは、撮像デバイスは、画像を出力するように画像処理を実行することもできる。撮像デバイスは、視覚画像の記録、記憶、操作、閲覧および送信のための複数の構成要素を含み得る。撮像デバイスの構成要素の例は、光学的開口、撮像レンズ、マイクロレンズアレイ、撮像要素、プロセッサ、およびコントローラを含み得るが、それらに限定されない。撮像デバイスの例は、スチルカメラ、カムコーダ、動画カメラ、および3Dカメラを含むが、それらに限定されない。

【0007】

撮像デバイスは、様々な医療アプリケーション用に使われ得る。撮像デバイスは、対象の眼を撮像するなど、人体の様々な部分の撮像を実施するために使われ得る。たとえば、撮像デバイスは、診断および治療目的のための網膜撮像に使われ得る。この目的のために、網膜像は、対象の眼の裏のデジタル画像を指す。網膜像は、対象の眼の内部の網膜、視神経円板、および血管をキャプチャするか、または示し得る。そのような網膜撮像は、眼の検査または眼疾患の診断に使われ得る。

【0008】

典型的には、撮像デバイスは、対象の眼の網膜像をキャプチャするためにハンドヘルド式である。ハンドヘルド撮像デバイスを使って網膜像をキャプチャするには、かなりの注意力が求められる場合がある。特に、撮像デバイスのユーザは、眼の検査のための眼の網膜像をキャプチャすることができるようになるために、トレーニングを受けなければならない場合がある。さらに、ユーザは、撮像デバイスを正しい作動距離に位置決めし、眼の瞳孔の中央を通って撮像デバイスをポイントしなければならない場合がある。ユーザは、たとえば、作動距離、および環境の照明または輝度に基づいて、精密な網膜像をキャプチャするように撮像デバイスを評価し、調節しなければならない場合がある。ユーザは、撮像デバイスを、網膜像をキャプチャするように、所望の正しい作動距離に安定して保持すればよい。調節におけるいかなる偏差または撮像デバイスのいかなる動きも、非精密または使用不可能な網膜像を生じ得る。追加として、対象の瞳孔が小さいか、または対象が非協力的であり得るケースでは、網膜像をキャプチャする際の問題点が増す。

【0009】

いくつかのケースでは、近赤外光を網膜の中へ向けることによって、網膜像がキャプチャされ得る。撮像デバイスのユーザは次いで、撮像デバイスの視野を検査し、正しい作動距離および位置決めが達成されたとき、キャプチャをトリガしてよい。こうすることにより、対象の瞳孔を拡張する必要を減らすことができる。ただし、ユーザは依然として、正確な網膜像をキャプチャするために、環境の輝度または照明を調節しなければならない場合がある。その上、ユーザは依然として、自分の経験に基づいて、撮像デバイスの視野にわたる輝度の分布を評価しなければならない場合がある。そのような基準は技師の間で異なってよく、したがって、このようにキャプチャされた画像の品質は異なり得る。

【0010】

網膜像のキャプチャリングは、自動化機構を通して、正しい作動条件での網膜像のキャプチャをトリガすることによって簡素化され得る。この点について、正しい作動条件でキャプチャされた網膜像は、精密であり、高い解像度および輝度を有し得るので、医療用途に適合する。撮像デバイスの従来の自動キャプチャ特徴は、網膜像をキャプチャするために、光学系と、網膜から出る光線の軌道を検出することとに依拠し得る。別の例では、自動キャプチャ特徴は、撮像デバイスの視野の中での網膜特徴の存在を検出するための画像処理技法に依拠し得る。ただし、そのような自動キャプチャ特徴の動作および働きは、正確または明確に網膜を示さない場合がある。特に、そのような自動キャプチャ特徴は、眼の網膜の正しい照射を保証することはできない。結果として、網膜像の検査者が網膜像から正確な結論を導くのは困難な場合があり、それにより、網膜撮像のための自動キャプチャ特徴が無駄になる。その上、そのような自動キャプチャ特徴は追加処理デバイスを求める場合があり、それにより、撮像デバイスがかさばり、複雑になる。これは、撮像デバイスを使うユーザおよび対象の経験を阻害し得る。

【0011】

分析モデルに基づく自動化網膜像キャプチャリングのための手法について、記載する。このコンテキストでは、分析モデルは、撮像デバイスの視野内の視覚属性に基づく網膜像のキャプチャをトリガするために使われ得る。分析モデルは、撮像デバイスの視野内の視覚属性をそれによって監視することができる機構を提供するのに、機械学習技法を利用する。そのようなケースでは、分析モデルは最初に、撮像デバイスの視野内の視覚属性を評価するためにトレーニングされ、したがって、その評価に基づいて自動化網膜像キャプチャリングをトリガし得る。そのような視覚属性の例は、配光パラメータ、光強度、輝度、コントラスト、鮮鋭度、および形状を含むが、それらに限定されない。

【0012】

ある例では、撮像デバイスが、対象の網膜の複数のターゲットフレームを記録し得る。特に、撮像デバイスは、複数のターゲットフレームを記録するために、網膜から反射された光の経路に位置決めされてよい。理解され得るように、撮像デバイスは、網膜から反射された光線を収集し、一地点、すなわち、撮像デバイスの焦点に向け直し得る。ある例では、眼の網膜は近接場赤外光によって照射され得る。

【0013】

この目的のために、撮像デバイスは、複数のターゲットフレームを撮像デバイスのリアルタイムモードで記録すればよい。複数のターゲットフレームは、網膜像の実際のキャプチャリングの前に記録され得る。たとえば、複数のターゲットフレームは、対象の眼または網膜に対する撮像デバイスの調節中に撮像デバイスによって記録され得る。

【0014】

動作中、システムが、撮像デバイスから複数のターゲットフレームを受信し得る。システムは、分析モデルに基づいて、複数のターゲットフレームを分析し得る。分析モデルは最初に、トレーニング画像のセットに基づいてトレーニングされてよい。ある例では、分析モデルは、トレーニング画像のセットに対応する視覚属性および注釈に基づいてトレーニングされる。この点について、分析モデルは、トレーニング画像のセットの各々についての視覚属性および注釈に基づく信頼度重みのセットを組み込むものと見なされ得る。ある例におけるトレーニング画像についての信頼度重みは、トレーニング画像についての視覚属性と注釈との間の相関に対応してよく、それに基づいて判断されてよい。

【0015】

ある例では、トレーニング画像のセットは、リアルタイムモードで撮像デバイスによってキャプチャされた網膜の赤外線画像に対応し得る。たとえば、分析モデルのトレーニングは、分析モデルがトレーニングされ得るトレーニングシステムによって、トレーニング画像の大規模セットを使うことを伴い得る。その上、分析モデルは、トレーニング済み分析モデルをシステム上で展開する前に一度トレーニングされ得る。

【0016】

トレーニングされると、信頼度重みのセットおよびトレーニング済み分析モデルが、システム上で展開され得る。分析モデルは次いで、撮像デバイスによって記録された複数のターゲットフレームを分析するために使用され得る。たとえば、複数のターゲットフレームの分析はリアルタイムで、すなわち、ターゲットフレームの登録時に実施される。信頼度重みのセットおよび複数のターゲットフレームに基づいて、システム上の分析モデルは、網膜像をキャプチャするために、複数のターゲットフレームのいずれかが、正しく位置決めされた画像に対応するかどうかを判断すればよい。ある例では、正しく位置決めされた画像のために、撮像デバイスが、正しい作動距離に位置決めされ、撮像デバイスの視野内で適切に照射されてよい。

【0017】

ターゲットフレームが、正しく位置決めされた画像に対応すると判断すると、撮像デバイスは、撮像デバイスに、対象の網膜の網膜像をキャプチャさせるようにトリガされ得る。そのような網膜像キャプチャリングは、撮像デバイスの正しい作動条件で実施される。たとえば、正しい作動条件は、撮像デバイスが正しい作動距離に保持され、撮像デバイスの視野が適切に照射され、網膜像の視覚属性が正しいときに達成され得る。

【0018】

本主題において記載する自動化網膜像キャプチャリングのためのシステムは、網膜像をキャプチャするためのターゲットフレームを分析するために機械学習ベースの分析モデルを利用する。網膜像はしたがって、撮像デバイスによって正しい作動条件でキャプチャされる。網膜像は、精密であり高解像度を有し得るので、医療用途に効果的である。このようにして、いかなるノイズまたは望まれないアーテファクトも、自動キャプチャされた網膜像の中では実質的に削減される。ある例では、自動化網膜像キャプチャリングのための技法、すなわち、機械学習モデルは、スマートフォン、デジタルカメラなどのようなハンドヘルドシステム上で展開され得る。そのようにして、精密な網膜像は、既存の撮像技術を使ってキャプチャされ得る。追加として、機械学習モデルの使用によってシステムが複雑になることはなく、そうすることによって、システムの運用性または使いやすさが向上する。したがって、コストのいかなる実質的増加も招くことなく、精密な網膜像が自動キャプチャされ得る。

【0019】

本主題について、添付の図面を参照してさらに記載する。可能な場合はいつでも、同じ参照番号が、同じまたは同様の部分を指すために、図面および以下の説明において使われる。記述および図面は単に、本主題の原理を例示することに留意されたい。したがって、本明細書に明示的に記載も示すこともないが、本主題の原理を包含する様々な配置が考案されてよいことが理解されよう。その上、本主題の原理、態様、および例、ならびにそれらの具体例を具陳する、本明細書におけるすべての陳述は、それらの等価物を包含することを意図している。

【0020】

例示的システムが実装される様式について、図1～図7を参照して詳しく説明する。記載するシステムの態様が、任意の数の異なる電子デバイス、環境、および/または実装形態において実装され得るが、以下の例示的デバイスのコンテキストにおいて、例が記載される。ここに示す本主題の図面は、例示目的であり、特許請求される主題の範囲を限定するものとして解釈されるべきでないことに留意されたい。

【0021】

図1は、本主題の例による、分析モデルに基づく自動化網膜像キャプチャリングのための例示的システム102を示す。システム102は、プロセッサ104と、プロセッサ104に結合されるとともに、それによってアクセス可能な機械可読記憶媒体106とを含む。システム102は、記憶アレイ、サーバ、デスクトップコンピュータ、ラップトップコンピュータ、スマートフォン、分散型コンピューティングシステムなどのようなコンピューティングシステムであってよい。図示しないが、システム102は、ネットワークを介して、または外部記憶もしくはコンピューティングデバイス、ディスプレイ、入力/出力インターフェース、オペレーティングシステム、アプリケーション、データなどと通信するためのインターフェースなど、他の構成要素を含み得るが、これらについては、簡潔のために記載していない。

【0022】

プロセッサ104は、専用プロセッサ、共有プロセッサ、または複数の個々のプロセッサとして実装されてよく、それらのうちのいくつかは共有されてよい。機械可読記憶媒体106は、プロセッサ104に通信可能に接続され得る。他の能力の中でも、プロセッサ104は、機械可読記憶媒体106に記憶された命令108を含むコンピュータ可読命令をフェッチし、実行し得る。機械可読記憶媒体106は、たとえば、RAMなどの揮発性メモリ、またはEPROM、フラッシュメモリなどのような不揮発性メモリを含む非一時的コンピュータ可読媒体を含み得る。命令108は、ターゲットコンピューティングデバイスの現在の動作パラメータの分析に基づいて、ターゲットコンピューティングデバイスにおける異常の出現を判断するために実行されてよい。

【0023】

ある例では、プロセッサ104は、命令108をフェッチし、実行し得る。たとえば、命令110の実行の結果として、システム102は、撮像デバイスから複数のターゲットフレームを受信し得る。複数のターゲットフレームは、対象または患者の網膜に関し得る。複数のターゲットフレームは、撮像デバイスのリアルタイムモードでキャプチャされ得る。特に、複数のターゲットフレームは、撮像デバイスの異なる位置および角度からの、対象の網膜の画像フレームに対応し得る。複数のターゲットフレームは、リアルタイムでキャプチャされた、撮像デバイスの視野内の画像フレームに対応し得る。ある例では、そのような複数のターゲットフレームは、システム102の機械可読記憶媒体106などのメモリに一時的に記憶され得る。

【0024】

網膜の複数のターゲットフレームは、命令112の実行の結果として、分析モデルに基づいて分析され得る。分析モデルは、機械学習モデルであってよい。前述のように、分析モデルは、複数のターゲットフレームを分析するために使用されるのに先立ってトレーニングされてよい。特に、分析モデルは、トレーニング画像のセットを使ってトレーニングされ得る。ある例では、分析モデルは、トレーニングシステムにおける使用の前にトレーニングされてよく、トレーニングシステムはシステム102とは相異なり得る。

【0025】

トレーニングされると、システム102は、網膜像をキャプチャするために撮像デバイスが適切に構成されているかどうかを判断するために、撮像デバイスから受信された網膜の複数のターゲットフレームを分析するための分析モデルを使うことができる。特に、システム102は、トレーニング済み分析モデルに基づいて、複数のターゲットフレームをリアルタイムで分析することができる。この点について、システム102は、分析モデルに基づいて、またはそれを使うことによって、ターゲットフレームに対応する視覚属性を分析すればよい。ターゲットフレームについての視覚属性に基づいて、システム102は、網膜像をキャプチャするために撮像デバイスが適切に構成されているかどうかを判断するために、ターゲットフレームが、正しく位置決めされた画像に対応するかどうかを確かめることができる。

【0026】

複数のターゲットフレームがリアルタイムで分析されると、システム102は、複数のターゲットフレームのうちの少なくとも1つが、正しく位置決めされた画像に対応するかどうかを判断すればよい。続いて、命令114は、システム102によって実行されると、撮像デバイスに、対象の網膜の網膜像をキャプチャさせてよい。網膜像は、正しく位置決めされた画像に対応するターゲットフレームの登録時に対して即座にキャプチャされる。正しく位置決めされた画像は、撮像デバイスの視野が適切に照射される間、すなわち、どの望まれないアーテファクトも存在しないとき、網膜を適切に、たとえば、撮像デバイスと網膜との間の正しい作動距離からキャプチャする画像に対応し得ることに留意されたい。複数のターゲットフレームの分析に基づいて、網膜像はキャプチャされてよい。本手法は、自動化網膜像キャプチャリングのために使われ得る多くの他の例のうちの1つにすぎない。そのような他の手法が、本主題の範囲を限定することなく使われてよい。

【0027】

命令108の実行の結果として実装される、上で記載した技法は、異なるプログラム可能エンティティによって実施され得る。そのようなプログラム可能エンティティは、スタンドアロンコンピューティングデバイス、または複数のコンピューティングデバイス上のいずれかで実装され得るコンピューティングシステムを通して実装されてよい。説明されるように、本主題の様々な例について、ニューラルネットワークベースのモデルをトレーニングし、その後、複数のターゲットフレームの分析に基づいて、ニューラルネットワークモデルを自動化網膜像キャプチャリングのために使用するためのコンピューティングシステムのコンテキストにおいて記載する。たとえば、そのようなニューラルネットワークベースのモデルは、自動化網膜像キャプチャリングのためにコンピューティングシステム上でトレーニングされ、展開される分析モデルである。これらおよび他の例について、他の図面に関してさらに記載する。

【0028】

図2は、本主題の例による、分析モデル204をトレーニングするためのトレーニングシステム202を示す。トレーニングシステム202は、分析モデル204をトレーニングするために、プロセッサおよびメモリ(図示せず)を備える。ある例では、トレーニングシステムはプロセッサベースのシステムであってよい。その上、トレーニングシステム202(システム202と呼ばれる)は、ネットワーク206を通して、トレーニングデータリポジトリ208と通信していてよい。

【0029】

ネットワーク206は、プライベートネットワークまたは公衆ネットワークであってよく、ワイヤードネットワーク、ワイヤレスネットワーク、またはワイヤードおよびワイヤレスネットワークの組合せとして実装されてよい。ネットワーク206は、互いと相互接続され、インターネットなど、単一の大規模ネットワークとして機能する、個々のネットワークの集合体も含み得る。そのような個々のネットワークの例は、モバイル通信用グローバルシステム(GSM)ネットワーク、ユニバーサルモバイル通信システム(UMTS)ネットワーク、パーソナル通信サービス(PCS)ネットワーク、時分割多元接続(TDMA)ネットワーク、符号分割多元接続(CDMA)ネットワーク、次世代ネットワーク(NGN)、公衆交換電話網(PSTN)、ロングタームエボリューション(LTE)、および統合サービスデジタルネットワーク(ISDN)を含み得るが、それらに限定されない。

【0030】

トレーニングデータリポジトリ208(リポジトリ208と呼ばれる)は、機械可読記憶媒体であってよい。リポジトリ208は、システム202に結合され、それによってアクセス可能であってよい。リポジトリ208は、たとえば、RAMなどの揮発性メモリ、またはEPROM、フラッシュメモリなどのような不揮発性メモリを含む非一時的コンピュータ可読媒体を含み得る。リポジトリ208は、トレーニングデータ、具体的には、トレーニング画像のセット210および注釈212を記憶し得る。システム202は、トレーニング画像のセット210および注釈212を、分析モデル204をトレーニングするために使い得る。

【0031】

さらに、システム202はトレーニングエンジン214を含み得る。トレーニングエンジン214(エンジン214と呼ばれる)またはシステム202内のどの他のエンジンも、ハードウェアとプログラミングの組合せ、たとえば、様々な機能性を実装するためのプログラム可能命令として実装されてよい。本明細書に記載する例では、ハードウェアとプログラミングのそのような組合せは、いくつかの異なるやり方で実装され得る。たとえば、エンジン214のためのプログラミングは、命令216などの実行可能命令であってよい。そのような命令は、システム202と直接、または間接的に(たとえば、ネットワーク接続された手段を通して)のいずれかで結合され得る非一時的機械可読記憶媒体に記憶されてよい。ある例では、エンジン214は、そのような命令を実行するための、処理リソース、たとえば、単一プロセッサまたは複数のプロセッサの組合せのいずれかを含み得る。本例では、非一時的機械可読記憶媒体は、命令216などの命令を記憶してよく、これらの命令は、処理リソースによって実行されると、エンジン214を実装し得る。他の例では、トレーニングエンジン214は電子回路機構として実装されてよい。

【0032】

データ218は、システム202によってリポジトリ208から受信された、トレーニング画像のセット210および注釈212を含み得る。データ218は、信頼度重みのセット220、および他のデータ222をさらに含む。トレーニング画像のセット210は各々、対応する視覚属性と、分析モデル204がそれに基づいてトレーニングされ得る他のパラメータとを有し得る。システム202は、トレーニング画像のセット210の視覚属性および他のパラメータに基づいて分析モデル204をトレーニングするための命令216をさらに含み得る。視覚属性および他のパラメータは、トレーニング画像のセット210に関する異なる属性のデータまたは値を含み得る。視覚属性および他のパラメータは、命令216の実行の結果としてトレーニング画像のセット210を処理することによって、またはトレーニングエンジン214などのエンジンによって導出され得る。

【0033】

動作中、システム202は、トレーニング画像のセット210を受信し得る。理解され得るように、トレーニング画像のセット210の各々が、それに関する視覚属性および他のパラメータなどの属性を有し得る。ある例では、システム202は、トレーニング画像のセット210を、対応する属性を判断するために分析し得る。

【0034】

トレーニング画像についての視覚属性は、トレーニング画像用の、いくつかの特性プロパティを記述する画像セグメントのパターンに対応し得る。ある例では、そのような視覚属性は、トレーニング画像内のセグメントの外見、形状、またはレイアウトの、どの組合せであってもよい。たとえば、システム202は、トレーニング画像のセット210の各々を処理して、対応する視覚属性を識別し得る。理解され得るように、システム202は、トレーニング画像のセット210のそのような処理を、自ら、または暗黙的に自力で実施してよい。

【0035】

本主題に従って、トレーニング画像のセット210からのトレーニング画像に関する視覚属性は、トレーニング画像内の、眼の網膜の境界にわたる視覚属性、網膜の中心における視覚属性、眼の瞳孔の視覚属性、視神経円板の視覚属性、および眼の中の血管の視覚属性に対応し得る。トレーニング画像のセット210に関する視覚属性の例は、鮮鋭度、解像度、輝度、配光パラメータ、光強度、コントラスト、形状、サイズ、色、テクスチャ、ハイライト、彩度、構造、および影を含み得るが、それらに限定されない。トレーニング画像に対応する視覚属性は、トレーニング画像内でキャプチャされた眼の網膜、視神経円板、瞳孔および血管に関し得る。

【0036】

視覚属性がトレーニング画像内で起こる様式は、検討されているトレーニング画像がキャプチャされた作動条件に対応してよいことに留意されたい。作動条件が変えられると、視覚属性におけるいくつかの変化が起こる可能性があり、トレーニング画像の中に存在し得る。

【0037】

トレーニング画像のセット210の各々は、分析モデル204がそれに基づいてトレーニングされ得る注釈212として記憶された、対応する注釈に関連付けられてよい。この点について、注釈212は、トレーニング画像のセット210の中から、対応する画像を、正しく位置決めされた画像に対応するか、または不正確に位置決めされた画像に対応するものとして示し得る。正しく位置決めされた画像は、キャプチャに適合し得る正しい位置に対応し得る仲介画像フレームであってよいことが理解できよう。一方、不正確に位置決めされた画像は、キャプチャにも使用にも適合し得ない、不正確な位置に対応し得る仲介画像フレームであってよい。

【0038】

この目的のために、キャプチャに適合する正しく位置決めされた画像またはキャプチャに不適合な、不正確に位置決めされた画像に対応するものとして、トレーニング画像のセット210を示すための注釈212が、トレーニング画像のセット210に割り当てられ得る。ある例では、注釈212はラベルであってよく、トレーニング画像のセット210からの、正しく位置決めされた画像は、「正しい」とラベル付けされてよく、トレーニング画像のセット210からの、不正確に位置決めされた画像は、「不正確」とラベル付けされてよい。

【0039】

ある例では、注釈212は、トレーニング画像のセット210に割り当てられ得る作動距離も指定し得る。特に、トレーニング画像用の作動距離は、撮像デバイスと、画像がキャプチャされる眼との間の距離に対応してよい。たとえば、そのような距離は、マイクロメートル、ミリメートル、センチメートル、メートルなどでの数値として示されてよい。別の例では、注釈212は、トレーニング画像のセット210に割り当てられ得る位置決め情報も指定し得る。トレーニング画像についての位置決め情報は、眼または網膜に対する撮像デバイスの角度など、トレーニング画像をキャプチャした撮像デバイスの角度に対応し得る。

【0040】

ある例では、正しく位置決めされた画像もしくは不正確に位置決めされた画像としての、トレーニング画像のセット210のそのような注釈212、作動距離、またはトレーニング画像のセット210についての位置決め情報は、手動で、またはプロセッサベースの自動化手段を通して割り当てられてよい。その上、トレーニング画像のセット210は、それらに対応する、配光パラメータ、鮮鋭度、輝度、コントラストおよび他のパラメータなど、対応する視覚属性に関連付けられてよい。

【0041】

図3および図4は、本主題の例による、分析モデルをトレーニングするためのトレーニング画像のセットを示す。トレーニング画像のセット(トレーニング画像のセット210など)が、トレーニングデータリポジトリ(リポジトリ208など)に記憶され得る。ある例では、トレーニング画像のセット210の各々は、網膜の赤外線ビューに対応し得る。この点について、トレーニング画像は、眼をIR光で照射することによってキャプチャされ得る。分析モデル204をトレーニングするためのトレーニング画像のセット210が、IR画像フレームとして示されているが、トレーニング画像のセット210のそのような描写は、限定として解釈されるべきでない。本主題の他の例では、トレーニング画像のセットは、網膜像、眼を白色光で照射することによってキャプチャされた画像、または眼を任意の周波数の可視もしくはIR光で照射することによってキャプチャされた画像であってよい。

【0042】

さらに、作動条件に基づいて、トレーニング画像のセット210の各々は、正しく位置決めされた画像または不正確に位置決めされた画像に対応し得る。正しく位置決めされた画像は、正しい作動条件を有してよく、そうすることによって、画像をキャプチャに適合させるが、不正確に位置決めされた画像は、ノイズまたは正しくない作動条件を有する場合があり、そうすることによって、画像をキャプチャに不適合にすることに留意されたい。

【0043】

図3は、例に従って、正しく位置決めされた画像のセット300を示す。特に、正しく位置決めされた画像のセット300は、正しい作動条件でキャプチャされ得る。そのような正しい作動条件は、たとえば、適切な照射、適切な作動距離、適切な角度などによって達成され得る。正しく位置決めされた画像のセット300には、白点、暗境界、および望まれないアーテファクトなど、いかなるノイズもない。その上、正しく位置決めされた画像のセット300は、眼、具体的には、眼の網膜、瞳孔、視神経円板および血管を正確にキャプチャする。たとえば、正しく位置決めされた画像のセット300は、眼と撮像デバイスとの間の作動距離が正しく、撮像デバイスの角度が正しく、眼または網膜が適切に照射され、焦点を合わせられ、正しくキャプチャされるときなど、正しいときにキャプチャされ得る。

【0044】

図4は、例に従って、不正確に位置決めされた画像のセット400を示す。特に、不正確に位置決めされた画像のセット400は、正しくない作動条件でキャプチャされ得る。そのような正しくない作動条件は、たとえば、不適切な照射、正しくない作動距離、不適切な角度などにより得る。不正確に位置決めされた画像のセット400は、白点402、暗境界、および望まれないアーテファクト404などのノイズを有し得る。その上、不正確に位置決めされた画像のセット400は、眼、具体的には、眼の網膜、瞳孔、視神経円板および血管を不正確にキャプチャする。たとえば、不正確に位置決めされた画像のセット400は、眼と撮像デバイスとの間の作動距離が正しくなく、撮像デバイスの角度が不適切であり、眼または網膜が適切に照射されない、すなわち、画像フレームが暗く、ぼやけ、または焦点が合っていない可能性があるときなど、正しくないときにキャプチャされ得る。

【0045】

図2に戻ると、システム202は、分析モデル204をトレーニングするためのトレーニング画像のセット210を受信し得る。この点について、システム202のトレーニングエンジン214は、トレーニング画像のセット210に基づいて、分析モデル204をトレーニングすればよい。理解されるように、分析モデル204は信頼度重み220を組み込むが、この重みは、トレーニングエンジン214によって実装されるトレーニングのプロセス中にさらに定義されてよい。信頼度重みのセット220は、トレーニング画像のセット210に基づいて定義される、トレーニング可能機械学習モデル(分析モデル204のような)の学習可能パラメータを指し得る。

【0046】

ある例では、トレーニングエンジン214は、トレーニング画像のセット210の各々についての視覚属性を識別し得る。前述のように、トレーニング画像のセット210についての視覚属性は、たとえば、配光パラメータ、鮮鋭度、輝度、コントラスト、形状、構造などを含み得る。

【0047】

その後、トレーニングエンジン214は、分析モデル204を使って、トレーニング画像のセット210の視覚属性を、トレーニング画像のセット210に関連付けられた、対応する注釈212と相関させればよい。ある例では、トレーニングエンジン214は、分析モデル204を使って、トレーニング画像の視覚属性を、トレーニング画像に関連付けられた注釈と相関させればよく、注釈は、トレーニング画像が、正しく位置決めされた画像、それとも不正確に位置決めされた画像に対応するかどうかを示す。上記プロセスは、トレーニング画像のセット210の中のトレーニング画像の各々に対して繰り返されてよい。相関に基づいて、分析モデル204は、正しく位置決めされた画像に関連付けられた視覚属性、および不正確に位置決めされた画像に関連付けられた視覚属性を理解し得る。理解したことに基づいて、分析モデル204の信頼度重みのセット220が更新され得る。ある例では、分析モデル204の信頼度重みのセット220は、トレーニング画像のセット210の視覚属性と、対応する注釈212との間の相関の各々に基づいて更新されてよい。

【0048】

本主題は、トレーニング画像210のラベル付きセットを使う、分析モデル204のトレーニングについて記載する。ただし、分析モデル204のそのような教師ありトレーニングは、限定として解釈されるべきでない。本主題の他の例では、分析モデル204は、ラベルなしトレーニングデータセットを使う教師なし様式でトレーニングされ得る。そのようなケースでは、分析モデル204は、たとえば、トレーニング画像のセット210の視覚属性を分析して、トレーニング画像のセット210の各々に対応する注釈を判断し得る。それに応じて、信頼度重みのセット220が更新され得る。

【0049】

トレーニングされると、信頼度重みの更新されたセット220および分析モデル204が、自動化網膜像キャプチャリングのための評価システムにおいて展開され得る。分析モデルが自動化網膜像キャプチャリングをトリガする様式については、図5に関して記載する。

【0050】

図5は、本主題の例による、トレーニング済み分析モデル204を実装する評価システム502を示す。評価システム502(システム102など)は、自動化網膜像キャプチャリングのための、プロセッサおよびメモリ(図示せず)を備える。評価システム502は、トレーニング済み分析モデル204をさらに含み得る。評価システム502の例は、デスクトップコンピュータ、ラップトップコンピュータ、スマートフォン、デジタルカメラ、およびカムコーダを含むが、それらに限定されない。

【0051】

さらに、評価システム502は、撮像デバイス504に動作可能に結合されてよい。撮像デバイス504は、デジタル画像を記録し、記憶し、操作し、送信することが可能な電子デバイスであってよい。撮像デバイス504は、光学的開口、撮像レンズ、マイクロレンズアレイ、撮像要素、およびコントローラなど、いくつかの構成要素を含み得る。撮像デバイス504の撮像レンズは、光線を収集し、撮像デバイス504の撮像要素へ向け直してよい。一地点への光線の向け直しにより、撮像要素において画像が形成され得る。撮像デバイス504のマイクロレンズアレイは、ユーザが、撮像デバイスを、フォーカスし、ズームする、などのように調節することを可能にし得る。ただし、撮像デバイス504は、評価システム502に直接結合されるように示されているが、そのような描写は、限定的であると解釈されるべきでない。本主題のいくつかの実施形態では、評価システム502は、ネットワークを介して撮像デバイス504と結合されてよい。ネットワークは、ある例では、図2に記載したネットワーク206と同様であってよい。

【0052】

評価システム502は、撮像デバイス504とは違うように示されているが、本主題の範囲から逸脱することなく、評価システム502および撮像デバイス504は同じデバイスであってよいことに留意されたい。本例に従って、評価システム502はスマートフォンであってよく、スマートフォンは撮像デバイス504を含む。この点について、撮像デバイス504は、スマートフォンのカメラであってよい。

【0053】

評価システム502は命令506を含んでよく、これらの命令は、実行されると、自動化網膜像キャプチャリングのためのトレーニング済み分析モデル204を実装し得る。網膜像は、対象の眼のデジタルピクチャに対応し得る。デジタルピクチャは、対象の眼の、網膜、瞳孔、視神経円板、および血管を示し得る。特に、網膜は、眼に入る光線が向け直され得る点であってよい。理解され得るように、光線が眼に入ることにより、眼の網膜において、画像が形成され得る。その上、視神経円板は、視神経を保持する、網膜上の点であってよい。たとえば、眼の健康状態を調べるために、または黄斑変性、緑内障、網膜毒性などのような、いくつかの疾患の診断のために、網膜の網膜像が検査されてよい。

【0054】

評価システム502は、キャプチャリングエンジン508をさらに含み得る。キャプチャリングエンジン508は、ハードウェアとプログラミングの組合せ、たとえば、様々な機能性を実装するためのプログラム可能命令として実装されてよい。キャプチャリングエンジン508は、図2に関して記載したエンジン214と同様にして実装されてよい。キャプチャリングエンジン508は、評価システム502による網膜像キャプチャリングを容易にするための動作を実施し得る。システム502は、データ510をさらに含み得る。データ510は、複数のターゲットフレーム512、および他のデータ514を含み得る。他のデータ514は、評価システム502によってその動作中に生成され、または使われるどのデータであってもよい。

【0055】

動作中、撮像デバイス504は、複数のターゲットフレーム512を記録し得る。複数のターゲットフレーム512は、対象の網膜に関し得る。複数のターゲットフレームは、撮像デバイス504のリアルタイムモードで記録され得る。複数のターゲットフレーム512は、リアルタイムモードでの、撮像デバイス504の視野の画像フレームに対応し得る。たとえば、スマートフォンのカメラをアクティブ化するために、カメラアプリケーションが、スマートフォン上で起動されてよい。カメラは、複数のターゲットフレーム512を記録するために、対象の眼に対して、たとえば、網膜の前または網膜の上に位置決めされてよい。そのようなケースでは、リアルタイムモードは、スマートフォンのカメラのライブビューに対応してよく、複数のターゲットフレーム512は、ライブビューの画像フレームに対応してよい。たとえば、対象の眼は、撮像デバイス504を使って複数のターゲットフレーム512を記録するために、近赤外光で照射されてよい。

【0056】

評価システム502は、撮像デバイス504によって記録された複数のターゲットフレーム512を受信するための命令506を実行し得る。そのような複数のターゲットフレーム512は、キャプチャされるべき網膜像ではないことに留意されたい。複数のターゲットフレーム512は、網膜像のキャプチャリングの前に、たとえば、スマートフォン上でのカメラアプリケーションの起動後にキャプチャされた仲介画像フレームである。続いて、複数のターゲットフレーム512は、評価システム502によって処理のために一時的に記憶され得る。

【0057】

評価システム502は、トレーニング済み分析モデル204に基づいて複数のターゲットフレーム512を分析するための命令506を実行し得る。評価システム502における分析モデル204の使用の前に、分析モデル204は、リモートトレーニングシステム(図2に関して記載したトレーニングシステム202など)においてトレーニングされ得る。上で記載したように、分析モデル204は、トレーニング画像のセット(トレーニング画像のセット210など)に基づいてトレーニングされ得る。トレーニング画像210は網膜像ではなく、眼の網膜の仲介画像フレームであることに留意されたい。トレーニング中、分析モデル204は、トレーニング画像のセット210の属性に基づいて、信頼度重みのセット(信頼度重みのセット220など)を組み込み得る。ある例では、トレーニング画像のセット210の属性は、配光パラメータ、輝度、コントラスト、鮮鋭度、形状、構造および他のパラメータなどの視覚属性、ならびに注釈を含み得るが、それらに限定されない。分析モデル204は、使用のためにトレーニングされ得ると、評価システム502上で展開されてよい。

【0058】

ある例では、キャプチャリングエンジン508は、トレーニング済み分析モデル204に基づいて、複数のターゲットフレーム512の各々を分析するための命令506を実行し得る。信頼度重みのセット220を組み込むトレーニング済み分析モデル204に基づいて、複数のターゲットフレーム512が分析され得る。特に、キャプチャリングエンジン508は、トレーニング済み分析モデル204を使って、ターゲットフレームについての視覚属性を判断し得る。ある例では、キャプチャリングエンジン508は、ターゲットフレームの中心およびターゲットフレームの境界における視覚属性を判断してよく、ターゲットフレームの中心は瞳孔を示してよく、ターゲットフレームの境界は、対象の眼の網膜の境界を示してよい。本例では、キャプチャリングエンジン508は、対象の眼の血管に対応する視覚属性を判断し得る。

【0059】

ある例では、ターゲットフレームの視覚属性に基づいて、キャプチャリングエンジン508は、トレーニング済み分析モデル204を使って、ターゲットフレームに対する作動距離を判断し得る。作動距離は、ターゲットフレームがキャプチャされたときの、撮像デバイス504と対象の網膜との間の距離であってよい。キャプチャリングエンジン508は、トレーニング済み分析モデル204を使って、ターゲットフレームがキャプチャされたときの、対象の網膜に対する撮像デバイス504の角度などの位置決め情報をさらに判断し得る。たとえば、分析モデル204は、判断された視覚属性を、ターゲットフレームに対応する作動距離と相関させてよい。

【0060】

キャプチャリングエンジン508は、分析モデル204を使って、ターゲットフレームについての視覚属性が、正しく位置決めされた画像それとも不正確に位置決めされた画像に対応するかを確かめることができる。ある例では、分析モデル204は、ターゲットフレームが、正しく位置決めされた画像それとも不正確に位置決めされた画像に対応するかを、視覚属性、作動距離、および位置決め情報に基づいて確かめ得る。このようにして、複数のターゲットフレーム512が分析され得る。理解されるように、複数のターゲットフレーム512は、配光パラメータ、輝度、コントラスト、鮮鋭度などのような視覚属性における変動を有し得る。この目的のために、トレーニング済み分析モデル204は、複数のターゲットフレーム512上で実装されると、正しく位置決めされた画像または不正確に位置決めされた画像として、複数のターゲットフレーム512の視覚属性を相関させればよい。分析に基づいて、複数のターゲットフレームのうちの少なくとも1つが識別されてよく、識別されたターゲットフレームは、正しく位置決めされた画像に対応し得る。

【0061】

理解されるように、正しく位置決めされた画像として識別されたターゲットフレームは、対象の網膜を正しく記録し得る。たとえば、そのようなターゲットフレームは、不鮮明なことも焦点外れなこともなく、白点、望まれないアーテファクト、および暗境界など、いかなるノイズも含まなくてよい。さらに、そのようなターゲットフレームは、撮像デバイス504が対象の眼から適切に離間され、対象の眼に対して正しい角度で傾けられ得るような正しい作動距離から記録されてよい。結果として、ターゲットフレームは、対象の網膜を適正な様式で示し得る。

【0062】

キャプチャリングエンジン508は次いで、撮像デバイス504に、複数のターゲットフレーム512の分析に基づいて、対象の網膜の網膜像をキャプチャさせ得る。キャプチャリングエンジン508は、分析モデル204に基づいて網膜像を自動的にキャプチャするための撮像デバイス504をトリガし得る。分析モデル204を使って、ターゲットフレームが正しく位置決めされた画像に対応すると判断すると、キャプチャリングエンジン508は、網膜像をキャプチャするように撮像デバイス504をトリガしてよい。網膜像は、正しく位置決めされた画像に対応するターゲットフレームが記録されたときに対して即座にキャプチャされる。このようにキャプチャされた網膜像は、撮像デバイス504と網膜との間の正しい作動距離を有し、撮像デバイス504の視野は適切に照射され、すなわち、中心または暗境界における白点など、どの望まれないアーテファクトも存在しない。

【0063】

ある例では、トリガされると、撮像デバイス504は、網膜像のキャプチャリングの前に、対象の眼を白色光で照射させ得る。たとえば、撮像デバイス504は、電子フラッシュを使って、眼を白色光で照射し得る。白色光で照射されると、撮像デバイス504は網膜像をキャプチャし得る。

【0064】

いくつかのケースでは、キャプチャリングエンジン508は、正しく位置決めされた画像に対応し得る少なくとも2つの連続ターゲットフレームを識別するのを待ち得る。この点について、キャプチャリングエンジン508は、分析モデル204を使って、複数のターゲットフレーム512からのターゲットフレームの第1のセットが、正しく位置決めされた画像に対応するかどうかを判断し得る。たとえば、複数のターゲットフレーム512からのターゲットフレームの第1のセットは、対象の網膜に対応する少なくとも3つのターゲットフレームを含む。その後、キャプチャリングエンジン508は、分析モデル204を使って、ターゲットフレームの第1のセット内のターゲットフレームが連続するかどうかを判断し得る。たとえば、キャプチャリングエンジン508は、ターゲットフレームの第1のセットに関連付けられたタイムスタンプに基づいて、ターゲットフレームの第1のセット内のターゲットフレームが連続するかどうかを判断し得る。ターゲットフレームの第1のセット内のターゲットフレームが連続するべきであると判断すると、キャプチャリングエンジン508は、網膜像を自動的にキャプチャするために撮像デバイス504をトリガしてよい。

【0065】

本例は、評価システム502が、動作の最初に複数のターゲットフレーム512を受信することについて記載する。ただし、評価システム502のそのような実装は、限定として解釈されるべきでない。本主題の他の実装形態では、複数のターゲットフレーム512の受信は継続プロセスであってよい。この点について、少なくとも1つのターゲットフレームが、処理または分析の最初に受信され得るが、複数のターゲットフレーム512からの他のターゲットフレームは、いずれ受信され得る。結果として、複数のターゲットフレーム512は、取得されたときに分析されてよい。

【0066】

図6は、本主題の例による、自動化網膜像キャプチャリングのために、プロセッサベースモデルをトレーニングするための例示的方法600を示す。ある例では、プロセッサベースモデルは分析モデル(分析モデル204など)であってよい。上述の方法600が記載される順序は、限定として解釈されることは意図しておらず、記載する方法ブロックのいくつかは、この方法、または代替方法を実装するために、異なる順序で組み合わされてよい。

【0067】

さらに、上述の方法600は、適切なハードウェア、コンピュータ可読命令、またはそれらの組合せで実装されてよい。そのような方法のステップは、非一時的コンピュータ可読媒体上に記憶された機械実行可能命令のうちの命令下にあるシステムによって、または専用ハードウェア回路、マイクロコントローラ、もしくは論理回路によってのいずれかで実施されてよい。たとえば、方法600は、トレーニングシステム202によって実施され得る。本明細書において、いくつかの例は、コンピュータ可読である非一時的コンピュータ可読媒体、たとえば、デジタルデータ記憶媒体をカバーし、コンピュータ実行可能命令を符号化することも意図しており、前記命令は、上述の方法のステップの一部または全部を実施する。

【0068】

ブロック602において、トレーニング画像のセットが受信される。トレーニング画像のセット(トレーニング画像のセット210など)は、網膜の中間画像フレームに対応し得る。ある例では、トレーニングシステム202は、トレーニングデータリポジトリ208などのリポジトリソースから、トレーニング画像のセット210を受信し得る。別の例では、ユーザが、トレーニングシステム202上でトレーニング画像のセット210をアップロードし得る。

【0069】

ある例では、トレーニング画像のセット210の各々は、対応する属性を有し得る。そのような属性は、たとえば、視覚属性、および他のパラメータを含み得る。追加として、トレーニング画像のセット210は、分析モデル204がそれに基づいてトレーニングされ得る、対応する注釈(注釈212からの注釈など)に関連付けられ得る。たとえば、トレーニング画像についての注釈は、トレーニング画像を、正しく位置決めされた画像または不正確に位置決めされた画像として示し得る。

【0070】

ブロック604において、プロセッサベースモデルは、トレーニング画像のセットに基づいてトレーニングされる。システム202は、分析モデル204を含み得る。ある例では、トレーニングエンジン(トレーニングエンジン214など)が、トレーニング画像のセット210に基づいて、分析モデル204をトレーニングするための命令を実行し得る。視覚属性および他のパラメータなど、トレーニング画像のセット210の属性、ならびにトレーニング画像のセット210に関連付けられた注釈212が、分析モデル204のトレーニング用に検討されてよい。たとえば、トレーニング画像のセット210の各々の視覚属性は、注釈212からの対応する注釈と相関され得る。相関に基づいて、分析モデル204は、正しく位置決めされた画像に関する視覚属性および不正確に位置決めされた画像に関する視覚属性を識別するようにトレーニングされてよい。

【0071】

ブロック606において、トレーニングに基づいて、プロセッサベースモデルの信頼度重みのセットが更新され得る。ある例では、分析モデル204は、信頼度重みのセット220を組み込む。たとえば、信頼度重みのセット220は、トレーニング画像のセット210の視覚属性と、対応する注釈212との間の相関を表し得る。分析モデル204のトレーニング中、分析モデル204に組み込まれた信頼度重みのセット220は、トレーニングエンジン212によって精製され、更新され得る。

【0072】

ブロック608において、信頼度重みの更新されたセットを組み込むトレーニング済みプロセッサベースモデルが、自動化網膜像キャプチャリングのための評価システムへ送信されてよい。この目的のために、信頼度重み220の更新されたセットを組み込むトレーニング済み分析モデル204が、評価システム(評価システム502など)へ送信されてよい。評価システム502において、分析モデル204は、キャプチャリングエンジン508などのエンジンによって、複数のターゲットフレーム512を分析するために実行されてよい。キャプチャリングエンジン508は、トレーニング済み分析モデル204を使って、複数のターゲットフレーム512から、正しく位置決めされたターゲットフレームを判断すればよい。結果として、キャプチャリングエンジン508は、対象の網膜の網膜像の自動化キャプチャリングのために撮像デバイス504をトリガし得る。

【0073】

図7は、自動化網膜像キャプチャリングのために分析モデルをトレーニングするための非一時的コンピュータ可読媒体を実装するコンピューティング環境700を示す。ある例では、コンピューティング環境700は、通信リンク706を通して非一時的コンピュータ可読媒体704に通信可能に結合されたプロセッサ702を含む。ある例では、プロセッサ702は、非一時的コンピュータ可読媒体704からコンピュータ可読命令をフェッチし、実行するための1つまたは複数の処理リソースを有し得る。プロセッサ702および非一時的コンピュータ可読媒体704は、たとえば、システム202(図2に関連して記載した)中で実装されてよい。

【0074】

非一時的コンピュータ可読媒体704は、たとえば、内部メモリデバイスまたは外部メモリデバイスであってよい。例示的実装形態では、通信リンク706はネットワーク通信リンクであってよい。プロセッサ702および非一時的コンピュータ可読媒体704は、トレーニングデータリポジトリ708(トレーニングデータリポジトリ208と同様)に、ネットワークを介して通信可能に結合され得る。プロセッサ702および非一時的コンピュータ可読媒体704は同様に、ネットワークを介して、評価システム(評価システム502など)に通信可能に結合されてもよい。

【0075】

例示的実装形態では、非一時的コンピュータ可読媒体704は、通信リンク706を通してプロセッサ702によってアクセスされ得るコンピュータ可読命令710のセットを含む。図7を参照すると、ある例では、非一時的コンピュータ可読媒体704は、プロセッサ702に、トレーニング画像のセット210などのトレーニング画像のセットを受信させる命令710を含む。ある例では、トレーニング画像のセット210は、撮像デバイスによってキャプチャされた網膜の赤外線ビューに対応する仲介画像フレームであってよい。命令710は、プロセッサ702に、トレーニング画像のセット210に基づいて分析モデル204をトレーニングさせ得る。ある例では、トレーニング画像のセット210は、配光パラメータ、輝度、コントラスト、鮮鋭度、および他のパラメータなど、対応する視覚属性を有してよく、対応する注釈に関連付けられてよい。分析モデル204のトレーニングのために、トレーニング画像のセット210の各々についての視覚属性が、対応する注釈と相関され、検討されてよい。ある例では、正しく位置決めされた画像に対応する視覚属性および不正確に位置決めされた画像に対応する視覚属性が、トレーニング画像のセット210から判断され得る。

【0076】

分析モデル204のトレーニング中、命令710はさらに、プロセッサ702に、分析モデル204の信頼度重みのセットを更新させ得る。分析モデル204は、信頼度重みのセット220を組み込み得る。たとえば、トレーニングエンジン(トレーニングエンジン214など)は、分析モデルをトレーニングしている間、信頼度重みのセット220の定期的な更新を引き起こし得る。信頼度重みのセット220の更新された値は、信頼度重みのセット220の古い値と比較して、精製または向上され得ることに留意されたい。

【0077】

分析モデル204のトレーニングの後、プロセッサ702に、信頼度重みの更新されたセット220を組み込むトレーニング済み分析モデル204をシステムへ送信させる命令710が実行されてよい。分析モデル204は、正しく位置決めされた画像および不正確に位置決めされた画像の視覚属性も組み込み得る。システム(評価システム502など)へ送信されたトレーニング済み分析モデル204は、キャプチャリングエンジン(キャプチャリングエンジン508など)によって実行されてよい。キャプチャリングエンジン508は、対象の網膜に対応する複数のターゲットフレームを、トレーニング済み分析モデル204に基づいて分析し得る。分析に基づいて、キャプチャリングエンジン508は、複数のターゲットフレームからのあるターゲットフレームが、正しく位置決めされた画像に対応するかどうかを確かめればよい。ターゲットフレームが、正しく位置決めされた画像に対応することを確かめると、キャプチャリングエンジン508は、撮像デバイス(撮像デバイス504など)に、対象の網膜の網膜像をキャプチャさせてよい。

【0078】

本開示のための例について、構造的特徴および/または方法に特有の言葉で記載したが、添付の請求項は、記載した特定の特徴にも方法にも必ずしも限定されないことを理解されたい。そうではなく、特定の特徴および方法は、本開示の例として開示され、説明されている。

【符号の説明】

【0079】

102 システム
104 プロセッサ
106 機械可読記憶媒体
202 トレーニングシステム、システム
204 分析モデル
206 ネットワーク
208 トレーニングデータリポジトリ、リポジトリ
214 トレーニングエンジン、エンジン
502 評価システム、システム
504 撮像デバイス
508 キャプチャリングエンジン
700 コンピューティング環境
702 プロセッサ
704 非一時的コンピュータ可読媒体
706 通信リンク
708 トレーニングデータリポジトリ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【国際調査報告】