知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-30
(45)【発行日】2024-10-08
(54)【発明の名称】アイトラッキング固視モニタリングシステム及び方法
(51)【国際特許分類】
A61B 3/113 20060101AFI20241001BHJP
A61B 3/10 20060101ALI20241001BHJP
A61B 3/14 20060101ALI20241001BHJP
【ＦＩ】
A61B3/113
A61B3/10 100
A61B3/14
【請求項の数】
14
(21)【出願番号】P 2022506814
(86)(22)【出願日】2020-08-12
(65)【公表番号】
(43)【公表日】2022-10-18
(86)【国際出願番号】 IB2020057604
(87)【国際公開番号】W WO2021028856
(87)【国際公開日】2021-02-18
【審査請求日】2023-08-02
(31)【優先権主張番号】62/886,510
(32)【優先日】2019-08-14
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】319008904
【氏名又は名称】アルコン インコーポレイティド
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100160705
【弁理士】
【氏名又は名称】伊藤 健太郎
(72)【発明者】
【氏名】マルティン グリュンディッヒ
(72)【発明者】
【氏名】ザシャ ビルクナー
【審査官】冨永 昌彦
(56)【参考文献】
【文献】独国特許出願公開第１０２０１８２００８２９（ＤＥ，Ａ１）
【文献】特開平０３－２１５２４３（ＪＰ，Ａ）
【文献】Dean Pomerleau, Shumeet Baluja，Non-Intrusive Gaze Tracking Using Artifical Neural Networks，AAAI Technical Report，FS-93-04，米国，AAAI，1993年04月，153 - 156
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ３／００ － ３／１８
(57)【特許請求の範囲】
【請求項1】
システムであって、眼の第１の複数の画像をキャプチャするように構成される網膜撮像システム、
前記眼の第２の複数の画像をキャプチャし、且つ眼の位置及び向きをトラッキングするように構成されるアイトラッカ、
制御プロセッサであって、
中心窩が前記第１の複数の画像の１つ又は複数に存在するかどうかを検出することと、
前記検出された中心窩を有する第１の画像を前記第１の複数の画像から識別することと、
前記第１の画像に対する時間的近接性を有する第２の画像を前記第２の複数の画像から判定することと、
前記第２の画像を分析して、眼球固視パラメータを判定することと
を行うように構成される制御プロセッサ
を含み、
前記眼球固視パラメータは、固視時の前記眼の基準位置及び向きを含み、
前記制御プロセッサは、前記眼の位置及び向きをトラッキングし、且つ前記基準位置及び向きからのオフセットを計算するように構成される、
システム。
【請求項2】
前記網膜撮像システムは、網膜スキャンを実行するように構成される光干渉断層撮影（ＯＣＴ）スキャナ及び／又は眼底カメラを含む、請求項１に記載のシステム。
【請求項3】
前記制御プロセッサは、前記第１の複数の画像を受信し、且つ前記中心窩が前記第１の複数の画像のそれぞれに存在するかどうかの判定を出力するように構成される訓練済みニューラルネットワークを記憶するメモリをさらに含む、請求項１に記載のシステム。
【請求項4】
前記制御プロセッサは、前記第２の複数の画像を分析して、固視時の前記眼の前記基準位置及び向きに対する現在の眼の位置及び向きを判定するようにさらに構成される、請求項１に記載のシステム。
【請求項5】
前記制御プロセッサは、前記オフセットが閾値未満であるかどうかを判定するように構成され、前記オフセットが前記閾値未満であるとき、前記眼は、固視していると判定され、及び前記制御プロセッサは、固視の標識を生成し、
前記オフセットが前記閾値より大きいとき、前記眼は、整列状態にないと判定され、及び前記制御プロセッサは、固視でないという標識を生成する、請求項１に記載のシステム。
【請求項6】
前記制御プロセッサは、眼球診断手順を実行することであって、前記網膜撮像システムは、前記眼球診断手順の少なくとも一部中、前記眼の画像をキャプチャし、且つ前記中心窩を検出するように動作することができない、実行することと、
前記眼球診断手順中、前記アイトラッカを使用して眼の位置をトラッキングすることと
を行うようにさらに構成される、請求項１に記載のシステム。
【請求項7】
画像キャプチャデバイスを使用して前記眼の前記位置及び向きをトラッキングしつつ、眼球診断手順を実行するように構成される診断デバイスをさらに含み、前記診断デバイスは、固視位置及び眼の位置を表すデータに少なくとも部分的に基づく前記眼球診断手順中、固視位置及び眼の位置を表す前記データを受信するようにさらに構成される、請求項１に記載のシステム。
【請求項8】
前記眼のトラッキングは、診断手順中に分析及び更新される、請求項１に記載のシステム。
【請求項9】
方法であって、網膜撮像システムを使用して、眼の第１の複数の画像をキャプチャし、且つ中心窩を検出することと、
アイトラッカを使用して、前記眼の第２の複数の画像をキャプチャすることと、
前記アイトラッカを使用して、前記第２の複数の画像の分析に基づいて前記眼の位置及び向きをトラッキングすることと、
前記検出された中心窩を有する第１の画像を前記第１の複数の画像から識別することと、
前記第１の画像に対する時間的近接性を有する第２の画像を前記第２の複数の画像から判定することと、
前記第２の画像を分析して、眼球固視パラメータを判定することと
を含み、
前記眼球固視パラメータは、固視時の前記眼の基準位置及び向きを含み、
前記網膜撮像システムの制御プロセッサを使用して、前記眼の位置及び向きをトラッキングし、且つ前記基準位置及び向きからのオフセットを計算する、
方法。
【請求項10】
前記網膜撮像システムを使用して、前記眼の前記第１の複数の画像をキャプチャし、且つ前記中心窩を検出することは、網膜の光干渉断層撮影スキャンを実行することをさらに含む、請求項９に記載の方法。
【請求項11】
前記網膜撮像システム及び前記アイトラッカを含む眼科診断デバイスによって実行される、請求項９に記載の方法。
【請求項12】
前記第２の複数の画像を分析して、固視時の前記眼の前記基準位置及び向きに対する現在の眼の位置及び向きを判定することをさらに含む、請求項９に記載の方法。
【請求項13】
前記アイトラッカを使用して現在の眼の位置及び向きをトラッキングし、且つ前記基準位置及び向きからのオフセットを計算することをさらに含む、請求項９に記載の方法。
【請求項14】
前記オフセットが閾値未満であるとき、眼球固視の標識を生成することをさらに含む、請求項１３に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概して、アイトラッキングシステム及び方法に関し、より詳細には、例えば撮像、トラッキング、診断及び／又は外科システムにおいて眼の位置及び／又は向きをトラッキングするためのシステム及び方法に関する。
【背景技術】
【0002】
患者の眼を撮像し、測定し、診断し、トラッキングし、外科的に矯正し、且つ／又は外科的に修復するために、多岐にわたる眼科用デバイスが使用される。トポグラフィデバイス、角膜曲率測定デバイス、波面解析器又は眼の様相を（例えば、光学的、幾何学的など）測定する別のデバイスなどの眼科用デバイスの動作は、診断デバイスに対して定義された位置及び向きに眼が維持されているという仮定に基づくことが多い。患者は、眼科用デバイスの人間の操作者によって位置決めされ、例えばデバイス内を覗き込んで目標対象（例えば、固視灯）を見て、患者の視線（例えば、人がそれに沿って物を見る軸）を眼科用デバイスの光軸に整列させるように指示され得る。患者が適切に固視していない場合、示度が不正確である場合があり、且つ／又はシステムが適切に機能できないことがある。
【0003】
正確なデータ取得を保証するために、眼科用デバイスの人間の操作者には、患者が眼を整列させるように目標対象を適切に固視しているかどうかを判断するために、患者をモニタリングすること及び／又はデータ取得中のデバイスからのフィードバックをモニタリングすることが課されることが多い。既知の技術の１つは、デバイス操作者によって指示されるように目標対象を固視する患者の協力に依存することを含む。しかしながら、既存の手法は、固視を試みる患者の人為的過誤（例えば、高齢患者は、眼の位置を維持できないことがあり、患者は、眼を固定するための十分な集中力を欠いていることがあり、患者は、目標対象を直接見ることができないことがあるなど）及び手順中に患者をモニタリングする操作者による人為的過誤を含む多くの欠点を有する。別の手法では、網膜スキャン及び撮像分析が患者の眼の位置及び向きをトラッキングするために使用され得るが、網膜撮像システムの動作が診断手順の妨げとなることがある。その結果、網膜スキャン及び撮像システムは、眼科用デバイスを使用して実行される診断手順中、シャットダウンされるか、又はアイトラッキングにおける使用に対して動作不能にされることが多い。
【発明の概要】
【発明が解決しようとする課題】
【0004】
前述の点に鑑みて、眼科的手順中、患者の眼の位置及び向きを判断及び／又はトラッキングするための改善された技術が当技術分野において継続的に必要とされている。
【課題を解決するための手段】
【0005】
種々の実施形態によれば、眼球固視を評価するため及び／又は容易にするためのシステム及び方法が開示される。本明細書で開示される改善は、種々の眼球撮像、トラッキング、診断及び／又は外科システムにおいて、測定シーケンス、外科的手順及び／又は他の手順中、患者が適切に固視しているかどうかを検出するために使用され得る。いくつかの実施形態では、システムは、患者が診断デバイスのある光軸に沿って固視しているかどうかを評価する。システムは、網膜撮像システムと組み合わせたアイトラッキング技術及び統計的評価を使用して、網膜撮像が利用できない診断手順の段階でも絶対的な固視モニタリングを可能にし得る。
【0006】
種々の実施形態において、システムは、眼の第１の複数の画像をキャプチャするように構成される網膜撮像システムと、眼の第２の複数の画像をキャプチャし、且つキャプチャされた画像を分析して、眼の位置及び向きをトラッキングするように構成されるアイトラッカと、制御プロセッサであって、第１の複数の画像において中心窩を検出することと、検出された中心窩を有する第１の画像を第１の複数の画像から識別することと、第１の画像に対する時間的近接性を有する第２の画像を第２の複数の画像から判断することと、第２の画像を分析して、眼球固視パラメータを判断することとを行うように構成される制御プロセッサとを含む。
【0007】
眼球固視パラメータは、固視時の眼の基準位置及び向きを含み得、及び制御プロセッサは、第２の複数の画像を分析して、固視時の眼の基準位置及び向きに対する現在の眼の位置及び向きを判断するようにさらに構成され得る。制御プロセッサは、眼の位置及び向きをトラッキングし、且つ基準位置及び向きからのオフセットを計算するようにさらに構成され得る。いくつかの実施形態では、オフセットが閾値未満であるとき、眼は、固視していると判断され得、及び制御プロセッサは、固視の標識を生成する。オフセットが閾値より大きい場合、眼は、整列状態にないと判断され、及び制御プロセッサは、眼が適切に整列されていないという標識を生成する。
【0008】
いくつかの実施形態では、網膜撮像システムは、網膜スキャンを実行するように構成される光干渉断層撮影（ＯＣＴ）スキャナを含み、及び眼科用デバイスは、診断手順を実行するために提供される。網膜撮像システムは、眼球診断手順の一部中、眼の画像をキャプチャし、且つ中心窩を検出するように動作することができなくてもよく、及び制御プロセッサは、眼球診断手順中、アイトラッカを使用して眼の位置をトラッキングするように構成される。眼科用デバイスは、画像キャプチャデバイスを使用して眼の位置及び向きをトラッキングしつつ、眼球診断手順を実行するように構成され得る。いくつかの実施形態では、画像キャプチャデバイスは、診断手順の妨げとなることなく、眼の表面の画像をキャプチャするように構成される。眼科用デバイスは、固視位置及び眼の位置を表すデータに少なくとも部分的に基づく眼球診断手順中、固視位置及び眼の位置を表すデータを受信するようにさらに構成され得る。アイトラッキングは、診断手順中に分析及び更新され得る。
【0009】
システムは、アイトラッカからのアイトラッキングデータ、網膜撮像システムからの網膜撮像データ及び／又は診断手順からのデータを分析するように訓練された１つ又は複数のニューラルネットワークをさらに含み得る。ニューラルネットワークは、画像並びに眼球固視情報及び／又はオフセット情報を含む、ラベル付きデータのデータセットを使用して訓練され得る。いくつかの実施形態では、患者の網膜撮像データ及び／又はアイトラッキングデータは、１つ又は複数のセッションにおいてキャプチャ、分析及び／又は記憶され得、診断手順中に使用するためにシステムによって検索され得る。
【0010】
種々の実施形態では、方法は、網膜撮像システムを使用して、眼の第１の複数の画像をキャプチャすることと、アイトラッカを使用して、眼の第２の複数の画像をキャプチャすることとを含む。方法は、第１の複数の画像において中心窩を検出することと、第２の複数の画像の分析に基づいて眼の位置及び向きをトラッキングすることとをさらに含み得る。方法は、検出された中心窩を有する第１の画像を第１の複数の画像から識別することと、第１の画像に対する時間的近接性を有する第２の画像を第２の複数の画像から判断することと、第２の画像を分析して、眼球固視パラメータを判断することとをさらに含み得る。いくつかの実施形態では、第１の複数の画像は、網膜の光干渉断層撮影スキャンを通してキャプチャされ得る。
【0011】
いくつかの実施形態では、方法は、網膜撮像システム及びアイトラッカを含む眼科診断デバイスによって実行される。眼球固視パラメータは、固視時の眼の基準位置及び向きを含み得、及び方法は、第２の複数の画像を分析して、固視時の眼の基準位置及び向きに対する現在の眼の位置及び向きを判断することをさらに含み得る。方法は、アイトラッカを使用して現在の眼の位置及び向きをトラッキングし、且つ基準位置及び向きからのオフセットを計算し、且つオフセットが閾値未満であるとき、眼球固視の標識を生成することをさらに含み得る。
【0012】
方法は、眼球診断手順を実行することであって、網膜撮像システムは、眼球診断手順の少なくとも一部中、眼の画像をキャプチャし、且つ中心窩を検出するように動作することができない、実行することと、眼球診断手順中、アイトラッカを使用して眼の位置をトラッキングすることとをさらに含み得る。眼球診断手順は、画像キャプチャデバイスを使用して眼の位置及び向きをトラッキングしつつ実行され得、及び方法は、固視位置及び眼の位置を表すデータに少なくとも部分的に基づく眼球診断手順中、固視位置及び眼の位置を表すデータを受信することを含み得る。アイトラッキングは、診断手順中に分析及び更新され得る。
【0013】
種々の実施形態では、システムは、眼の第１の複数の画像をキャプチャするように構成されるアイトラッカと、制御プロセッサであって、第１の複数の画像のそれぞれにおいて眼の位置及び向きを検出することと、アイトラッカの光軸に対する眼球固視位置及び向きを判断することと、判断された眼球固視位置及び向きに少なくとも部分的に基づいて眼球固視パラメータを推定することと、第１の複数の画像からの１つ又は複数の画像を分析して、眼球固視パラメータに対する眼の位置及び向きを判断することにより、眼の位置及び向きをトラッキングすることとを行うように構成される制御プロセッサとを含む。眼球固視パラメータは、固視時の眼の基準位置及び向きを含み得る。
【0014】
いくつかの実施形態では、制御プロセッサは、検出された眼の位置及び向きのヒストグラムを構築及び分析することにより、アイトラッカの光軸に対する固視位置を検出するようにさらに構成される。ヒストグラムを分析することは、相対最大値を判断し、且つ相対最大値の座標が固視位置及び向きを含むかどうかを判断することとをさらに含み得、相対最大値の座標が固視位置及び向きを含み得るかどうかを判断することは、相対最大値を閾値及び／又はヒストグラムの平均座標値と比較することをさらに含む。
【0015】
システムは、眼の第２の複数の画像をキャプチャし、中心窩が第２の複数の画像の１つ又は複数に存在するかどうかを検出することと、検出された中心窩を有する第１の画像を第２の複数の画像から識別することと、第１の画像に対する時間的近接性を有する第２の画像を第１の複数の画像から判断することと、第２の画像を分析して、眼球固視パラメータを判断することとを行うように構成される網膜スキャンを実行するように構成される光干渉断層撮影（ＯＣＴ）スキャナを含む網膜撮像システムをさらに含み得る。
【0016】
制御プロセッサは、眼の位置及び向きをトラッキングし、且つ眼球固視パラメータからのオフセットを計算し、且つオフセットが閾値未満であるかどうかを判断するようにも構成され得る。オフセットが閾値未満であるとき、眼は、固視していると判断され、及び制御プロセッサは、固視の標識を生成する。オフセットが閾値より大きいとき、眼は、整列状態にないと判断され、及び制御プロセッサは、固視ではないという標識を生成する。
【0017】
いくつかの実施形態では、制御プロセッサは、眼球診断手順を実行し、且つ眼球診断手順中、アイトラッカを使用して眼の位置をトラッキングするようにさらに構成される。システムは、画像キャプチャデバイスを使用して眼の位置及び向きをトラッキングしつつ、眼球診断手順を実行するように構成される診断デバイスをさらに含み得、診断デバイスは、固視位置及び眼の位置を表すデータに少なくとも部分的に基づく眼球診断手順中、固視位置及び眼の位置を表すデータを受信するようにさらに構成される。
【0018】
種々の実施形態では、方法は、眼の第１の複数の画像をキャプチャすることと、第１の複数の画像のそれぞれにおいて眼の位置及び向きを検出することと、アイトラッカの光軸に対する眼球固視位置及び向きを判断することと、判断された眼球固視位置及び向きに少なくとも部分的に基づいて眼球固視パラメータを推定することと、第１の複数の画像からの１つ又は複数の画像を分析して、眼球固視パラメータに対する眼の位置及び向きを判断することにより、眼の位置及び向きをトラッキングすることとを含む。方法は、第１の複数の画像を受信し、且つ眼の位置の判断を出力するようにニューラルネットワークを訓練することをさらに含み得る。眼球固視パラメータは、固視時の眼の基準位置及び向きを含む。
【0019】
方法は、検出された眼の位置及び向きのヒストグラムを構築及び分析することにより、アイトラッカの光軸に対する固視位置を検出することをさらに含み得、及びヒストグラムを分析することは、相対最大値を判断することをさらに含む。
【0020】
いくつかの実施形態では、方法は、光干渉断層撮影（ＯＣＴ）スキャナを使用して眼の網膜撮像スキャンを実行することと、網膜撮像スキャンから眼の第２の複数の画像をキャプチャすることと、中心窩が第２の複数の画像の１つ又は複数に存在するかどうかを検出することと、検出された中心窩を有する第１の画像を第２の複数の画像から識別することと、第１の画像に対する時間的近接性を有する第２の画像を第１の複数の画像から判断することと、第２の画像を分析して、眼球固視パラメータを判断することとを含む。
【0021】
いくつかの実施形態では、方法は、眼の位置及び向きをトラッキングし、且つ眼球固視パラメータからのオフセットを計算し、且つオフセットが閾値未満であるかどうかを判断することをさらに含み、オフセットが閾値未満であるとき、眼は、固視していると判断され、及び制御プロセッサは、固視の標識を生成し、オフセットが閾値より大きいとき、眼は、整列状態にないと判断され、及び制御プロセッサは、固視ではないという標識を生成する。
【0022】
方法は、眼球診断手順を実行し、且つ眼球診断手順中、アイトラッカを使用して眼の位置をトラッキングすることをさらに含み得る。方法は、画像キャプチャデバイスを使用して眼の位置及び向きをトラッキングしつつ、眼の診断手順を実行し、且つ眼球固視パラメータ及びトラッキングされた眼の位置を表すデータに少なくとも部分的に基づいて眼球診断手順を修正し得る。
【0023】
本開示の範囲は、特許請求の範囲によって定義され、特許請求の範囲は、参照によりこの項目に組み込まれる。１つ又は複数の実施形態の以下の詳細な説明を考慮することにより、その追加の利点の認識と共により詳細な理解が当業者に与えられる。最初に簡潔に説明される添付図面に対して参照が行われる。
【0024】
本開示の態様及びそれらの利点は、以下の図面及び以下の詳細な説明を参照してよりよく理解され得る。類似の参照番号は、図面の１つ又は複数において示される類似の要素を識別するために使用され、図面において示されるのは、本開示の実施形態を例示するためであり、本開示の実施形態を限定するためではないと理解されたい。図面内の構成要素は、必ずしも縮尺通りではなく、代わりに本開示の原理を明確に説明することに重点が置かれている。
【図面の簡単な説明】
【0025】
【発明を実施するための形態】
【0026】
眼球撮像、トラッキング、診断及び／又は外科システムにおいて眼球固視を評価及び／又は容易にするためのシステム及び方法が本明細書で開示される。例えば、本明細書で開示される改善は、眼科用デバイスを作動させて測定シーケンス又は他の診断手順を実行する前に、患者の視線を眼科用デバイスの光軸に整列させることにおいてデバイス操作者を支援するために使用され得る。
【0027】
種々の実施形態によれば、患者の眼の正確な測定は、患者の視線（本明細書において患者の視軸とも呼ばれる）が診断システムの光軸と整列しているかどうかを判断する診断システムを使用して容易にされる。患者の視線／視軸は、患者の眼がそれに沿って対象を見るように方向付けられる軸であり得る。本明細書で開示されるシステム及び方法に従って取得される診断データは、従来の手法を通して取得されるデータよりも有意義且つ正確である。システム及び方法は、患者がデータ取得中に適切な軸に沿って固視しているかどうかについて、診断デバイスの人間の操作者にフィードバックを提供するようにも構成され得る。
【0028】
本明細書で開示されるシステム及び方法は、従来の手法を上回る多数の利点を提供する。例えば、患者の眼からのデータ取得は、眼を適切に整列させるために目標対象を固視するように患者に指示することを含み得る。しかしながら、この技術は、診断デバイスの人間の操作者が、目標対象を適切に固視していない場合がある患者の協力に依存していることが多いため、エラーを起こしやすい。別の手法では、網膜光干渉断層撮影（ＯＣＴ）が患者の網膜を撮像するために使用され、患者が適切に固視しているかどうかの標識を操作者に提供し得る。しかしながら、ＯＣＴスキャンの分析は、ＯＣＴが網膜をスキャンしている間にのみ有効である。診断システムが、ＯＣＴスキャンを眼の異なる区画に切り替えること又はＯＣＴスキャンをオフに切り替えること（例えば、眼の安全性の理由から）を必要とする手順中に異なる種類のセンサを使用する場合、分析は、これらの測定期間中、信頼性が低いものとなる。他の光学的網膜撮像技術は、網膜ＯＣＴスキャンと同一の欠点を負う。異なるセンサを利用する測定シーケンスにおいて、網膜撮像が動作可能である期間のみ固視情報が有効である。網膜撮像をオフに切り替える必要がある期間中、固視情報は、利用できない。
【0029】
本明細書で開示されるシステム及び方法は、従来のシステムでの前述の制限及び他の制限を克服し、多数の利点をもたらす。本開示は、カメラ及び照明システムを使用する従来の眼科診断デバイスを含む多様なシステムにおいて実施され得る、コスト効率のよい改善された解決策をもたらす。眼科診断デバイスと網膜ＯＣＴシステムとの組み合わせは、網膜ＯＣＴがオフに切り替えられるときでも絶対的な固視制御を可能にする。いくつかの実施形態では、システム及び方法は、網膜ＯＣＴが測定シーケンス中に少なくとも１度中心窩を検出した後、正確な固視情報を提供する。他の実施形態では、システム及び方法は、網膜ＯＣＴスキャンが利用可能でなく、且つ／又は中心窩が検出されていない実装形態において、正確な固視情報を提供する。
【0030】
本開示の実施形態は、図面を参照してここでさらに詳細に説明される。図１を参照すると、１つ又は複数の実施形態によるシステム１００は、アイトラッキングモジュール１１０（本明細書では「アイトラッカ」とも呼ばれる）及び網膜撮像システム１３０を含み、それらは、通信可能に連結されている。アイトラッキングモジュール１１０は、眼１０２の向きをトラッキングするように構成され、撮像デバイス１１２及び１つ又は複数の照明コンポーネント１１４を含み得る。いくつかの実施形態では、撮像デバイス１１２は、瞳孔及び角膜輪部（角膜と、白目、即ち強膜との間の境界）などの眼のある特徴並びに照明コンポーネント１１４からの反射を撮像するように構成されるデジタルカメラ又は他のデジタル撮像デバイスである。いくつかの実施形態では、例えば、照明コンポーネント１１４は、リングの中心が角膜曲率の中心のように見えるような、カメラ光学系の周囲に位置するＬＥＤリング（例えば、撮像デバイスの周囲の同軸照明光）を含み得る。
【0031】
システム１００は、制御ロジック１１８を含み、制御ロジック１１８は、本明細書で開示される機能を実行するように構成される記憶済みプログラム命令を実行するプロセッサを含み得る。いくつかの実施形態では、制御ロジック１１８は、撮像デバイス１１２によってキャプチャされた複数の画像を使用して測定シーケンスを実行する。測定シーケンスは、瞳孔、輪部及び虹彩特徴など、画像データ（アイトラッキングデータ１１６など）内の眼１０２の検出可能な特徴の位置を使用することにより、眼１０２の位置及び向きを判断する。測定シーケンスは、角膜における照明システムの反射（照明された要素の円形パターンを含む反射１１７など）の位置も判断し得る。いくつかの実施形態では、測定シーケンス中、眼１０２の位置及び向きは、キャプチャされた画像を使用して連続的に判断される。
【0032】
制御ロジック１１８は、アイトラッカ１１０、網膜撮像システム１３０及び／又は他のシステムコンポーネントにおいて具現化され得る。制御ロジック１１８は、システム１１０の動作中の相対眼球運動を検出するように構成され、それは、キャプチャされた画像及び照明光源位置の知識から眼の特徴を検出及びトラッキングする（例えば、瞳孔を検出する）ことを含み得る。例えば、瞳孔の中心のオフセット及び角膜曲率のオフセットを検出及び計算することは、眼の相対視線についての情報を提供し得る。
【0033】
網膜撮像システム１３０は、眼１０２の網膜を撮像するための任意のデバイス又はシステムを含み得る。網膜撮像システム１３０は、網膜光干渉断層撮影（ＯＣＴ）システム、網膜光学システム又は網膜を撮像するための類似のシステムとして実施され得る。いくつかの実施形態では、網膜撮像システム１３０及び／又は制御ロジック１１８は、全測定シーケンス中に少なくとも１度、患者の中心窩を検出するように構成される。その結果、網膜撮像システム１３０は、（例えば、技術的理由又は安全上の理由で）全診断シーケンス中にアクティブである必要はなく、必要に応じてシャットダウン又は一時停止され得る。
【0034】
中心窩は、ある網膜撮像システムにおいて検出され得る網膜内の窪みとして見えることが多い。種々の実施形態では、網膜撮像システム１３０は、網膜ＯＣＴ画像１３４及び／又は眼底画像１３６などの網膜撮像データ１３２を生成する。網膜撮像システム１３０は、網膜ＯＣＴスキャンシステム、眼底撮像システム又は他の類似のデバイスを含み得る。患者が、システム１００に関連付けられた目標対象を固視している場合、中心窩は、網膜撮像デバイスの光軸の中心に存在することになる。網膜撮像デバイスは、デバイスの光軸を中心とする中心部分をスキャンするのみでよい場合がある。患者が固視している場合、中心窩は、網膜撮像データ内に存在することになる。いくつかの実施形態では、網膜撮像デバイスは、中心窩検出のために眼の裏側を撮像するように構成される。システムが眼の異なる部分を撮像する必要がある場合（例えば、角膜の高分解能スキャン）、中心窩が画像内において視認できず、アイトラッカ１１０は、眼の位置及び回転をトラッキングするために使用される。
【0035】
システム１００は、網膜撮像システム１３０からの情報（網膜撮像データ１３２など）を使用してアイトラッキングモジュール１１０からの眼の向きに関連する情報（検出された照明光源反射１１７を含むアイトラッキングデータ１１６など）の処理を調整する。動作中、システム１００が、（例えば、網膜撮像システム１３０及び／又は制御ロジック１１８を介して）網膜撮像データ１３２のある領域において中心窩を検出する場合、眼の対応する向きがシステム１００に知られる。この情報を使用して、システム１００は、網膜撮像が利用可能でない測定段階においてさえ、患者が正しく固視しているかどうかをさらに判断し得る。
【0036】
いくつかの実施形態では、患者が固視している場合、中心窩が画像の中心に現れる。アイトラッキングモジュール１１０は、網膜撮像と同時に眼の位置及び眼の回転を撮像及びトラッキングするように構成される。いくつかの実施形態では、キャプチャされた画像は、タイムスタンプ、フレーム基準（例えば、１０フレーム前）又は網膜画像及びアイトラッカ情報の同期を可能にする他の情報など、関連する時間特性を含む。中心窩が検出された後、中心窩検出情報は、対応する時間特性及び中心窩が検出されたかどうかの標識を含み得、制御ロジック１１８、アイトラッキングモジュール１１０及び／又は他のシステムコンポーネントに提供され得る。
【0037】
いくつかの実施形態では、眼１０２の位置及び向きの分析は、中心窩が網膜撮像システムで視認できた時間における眼の向き／位置を現在のアイトラッキングデータと比較する方法を含む。システム１００は、例えば、測定シーケンスを含む診断手順において使用され得る。アイトラッカ１１０を使用する手順中、眼の位置及び向きをトラッキングすることにより、測定データは、対応するアイトラッキングデータと共に収集され、分析され得る。一実施形態では、眼１０２が固視していたとき（例えば、目の位置が固視位置から許容可能オフセット内にあるとき）に取得された測定データは、有効であると考えられ、さらなる診断／分析に使用され、眼１０２が固視していなかったとき（例えば、目の位置が固視位置から許容可能オフセット外にあるとき）に取得された測定データは、無視及び／又は破棄され得る。
【0038】
種々の実施形態では、システム１００は、中心窩検出情報を使用して基準固視情報を確立し、基準固視情報は、角膜に対する瞳孔のある向きを含み得る。アイトラッカ１１０は、中心窩検出情報（例えば、特定の時間又は他の時間基準において判断される固視）を受信し、同じ時間フレームから１つ又は複数の対応する画像を検索し、キャプチャされた画像を分析して、固視中の瞳孔と角膜中心との間の特定の関係を判断し得る。眼の位置は、その際、新たにキャプチャされた画像における眼の位置及び向きを基準画像からの眼の位置及び向きと比較することによってトラッキングされ得る。これにより、眼が固視していることをアイトラッカ１１０が確認しつつ、網膜撮像システム１３０が眼１０２の別の部分を撮像すること（又は必要に応じて他の眼科用機器の動作）が可能となる。アイトラッキングモジュール１１０は、眼が（基準データに対するエラーの範囲内で）固視していた間に現在のスキャンが行われたかどうか、又は現在の眼の位置と基準の眼の位置との間のオフセットが閾値を超えるときなど、眼が固視していなかった間に現在のスキャンが行われたかどうかを示す固視情報を網膜撮像システム１３０に提供し得る。
【0039】
図２を参照すると、システム１００の動作中、網膜撮像データ１３２がもはや生成されないように、網膜撮像システム１３０は、診断又は他の手順中にシャットダウンされ得る。図１を参照して説明されたように、中心窩が網膜撮像システム１３０によって少なくとも１度以前に検出されている場合、システム１００は、網膜撮像が利用可能でない手順の段階中でさえ、患者の眼球固視についての情報をデバイス操作者に提供し続け得る。例えば、システム１００は、アイトラッカ１１０を使用してキャプチャされた現在の眼の位置及び向きを、網膜撮像システム１３０が中心窩を検出したときに判断された眼の位置及び向きと比較し得る。アイトラッカ１１０は、１つ又は複数の可視キュー（例えば、インジケータ光、表示スクリーン上の状態情報）又は可聴キュー（例えば、ビープ音）を通してデバイス操作者に標識を提供し得る。アイトラッカ１１０は、システム１００の他のコンポーネントに固視情報をさらに提供して、例えば眼球固視を必要とする動作を制御し、且つ／又は取得されたデータを有効化／無効化し得る。
【0040】
図１及び図２において説明されるシステム及び方法は、種々の実施形態の例としての実装形態であることと、本開示の教示は、プルキンエ反射を生成する照明システム及び眼のデジタル画像をキャプチャするためのカメラを使用するシステム又はデバイスなど、他のアイトラッキングシステムにおいて使用され得ることとを理解されたい。
【0041】
眼が固視しているかどうかを判断することを支援するために、制御ロジック１１８は、眼の現在の位置及び向きを判断し、眼が所望の対象を十分固視しているかどうかを判断するためのオフセットを計算するように構成され得る。一実施形態では、閾値が判断され得、閾値より低い任意のオフセットは、眼が固視しているとの判断をもたらす。いくつかの実施形態では、固視判断及び閾値は、アプリケーション依存であり、異なるオフセットは、異なる実装形態に対して許容可能であり得る。
【0042】
例としての動作において、網膜撮像システム１３０は、複数のスキャン及び網膜撮像分析を実行するように構成され得、それは、眼１０２の種々の部分に着目し得る。一構成において、網膜撮像システム１３０は、眼の裏側を撮像し、中心窩を識別するように構成される。中心窩は、画像の中央に現れる可能性が高く、患者の視線がシステム１００の光軸と整列されることを示している。網膜撮像システム１３０は、中心窩検出が利用可能でない、眼の異なる部分の他のスキャンを次に実行するように構成され得る。これらのスキャン中、患者が目標対象を固視することが望ましいが、網膜撮像システムは、適切な眼の位置及び整列状態を確認するための中心窩を検出することができない場合がある。
【0043】
いくつかの実施形態では、網膜撮像システム１３０は、中心窩が検出された時間フレーム（例えば、期間、１つ又は複数の画像、シーケンシャルインデックス値など）を識別して、アイトラッカが、同時又はほぼ同時に撮られた対応するアイトラッキング像を識別することを可能にする。アイトラッキングモジュール１１０は、次いで、瞳孔及び角膜の相対位置を含む、固視位置に関連付けられた眼の基準位置を判断し得る。眼球固視情報は、眼の位置及び向きをトラッキングするためにシステム１００によって即時使用され得、且つ／又は後にシステム１００によって使用するために記憶及び検索され得る。例えば、眼球固視情報は、患者のために判断及び記憶され得、患者のための後続の手順又はキャプチャされた画像のオフライン分析のためシステム１００（又は類似のシステム）によって使用するために検索され得る。
【0044】
網膜撮像デバイス１３０が他のスキャンを実行している間及び／又は他の眼科用コンポーネントが動作中である間、アイトラッカ１１０は、画像ストリームをキャプチャし、基準画像から判断される位置及び向きに対する眼の位置及び整列状態を分析する。この分析は、（例えば、以前にキャプチャされたデータを分析するときに）手順及び／又はオフライン中にリアルタイムで実行され得る。現在の画像は、基準画像と比較され、オフセットが計算される。オフセットが閾値未満である場合、眼が固視しており、対応する網膜画像は、正確である。オフセットが閾値より大きい場合、眼が固視しておらず、対応する網膜画像は、フラグが立てられるか、破棄されるか、又は他のアクションが取られ得る。
【0045】
いくつかの実施形態では、アイトラッカ１１０は、手順全体を通して眼を連続的に撮像する。フレーム毎に、画像ストリームにおいて反射が検出される場所に少なくとも部分的に基づいて、瞳孔位置が画像内で検出され得る。種々の実施形態では、トラッキング及び記録された情報は、画像、画像から抽出された画像特徴、画像プロパティ、画像内の瞳孔位置及び／又は反射位置の１つ又は複数を含み得る。アイトラッキングシステム及び網膜撮像システムは、網膜スキャン画像毎に１つ又は複数の対応するアイトラッカ画像が識別され得るように同期される。一実施形態では、一対一対応関係が存在する。他の実施形態では、画像は、キャプチャされた画像に関連付けられたタイムスタンプ又は他の同期データを通して同期される。
【0046】
アイトラッキングモジュール１１０及び網膜撮像システム１３０は、別個のコンポーネントとして説明されているが、システム１００は、アイトラッキングモジュール１１０、網膜撮像システム１３０及び他のサブコンポーネントを含む種々のサブコンポーネントを有する診断デバイスを含み得ると理解されたい。いくつかの実施形態では、中央プロセッサは、システムの動作を制御するため、２つのシステム間の通信を同期し、制御するため及び他のシステム機能を実行するために提供され得る。眼の位置及び向きの分析は、システム１００によってリアルタイムで又は手順が完了した後に実行され得る。オフラインで、システム１００は、患者及び操作者にフィードバックを提供し得る。オフラインで、システム１００及び／又は他のシステムは、複雑な分析を実行するほど、より正確なスキャン及び結果を達成し得る。
【0047】
いくつかの実施形態では、システム１００は、カメラ（例えば、眼の表面を撮像するための）及び網膜を測定するための第２のコンポーネントを含むより大きい診断デバイスを含み得る。システム１００は、３Ｄ眼球モデルを生成するために眼を撮像するように構成される複数のセンサを含み得る。第１のセンサは、角膜形状を回復するため及びアイトラッキングを行うためのカメラを含み得る。第２のセンサは、眼の波面（眼の光学パラメータ）を測定する波面センサを含み得る。第３のセンサは、眼の異なる屈折面間の距離を測定し得るＯＣＴシステムを含み得る。ＯＣＴは、全眼モード、半眼モード（眼の前面）及び角膜モード（より高い分解能を有する）を含む複数のモード及び分解能を含み得る。
【0048】
センサデータは、メモリにデータを収集及び記憶するプロセッサ（例えば、図４に示されるような）に提供され得る。プロセッサは、融合アルゴリズムを使用して種々のセンサデータを組み込むパラメータ化モデルを含む眼の３Ｄモデルを導出し得る。３Ｄモデルは、例えば、白内障及び角膜屈折矯正手術計画のために使用され得る。データは、眼において眼内レンズ（ＩＯＬ）インプラント配置を支援するなどのためにレイトレーシングに使用され得る。本明細書で説明される中心窩検出及びアイトラッキングのイノベーションは、網膜を通してスキャンするデバイスを含む任意の診断デバイス又は機器と共に使用され得る。アイトラッキングは、角膜曲率計、バイオメータ、波面測定デバイス並びにデジタルカメラ及び照明を含む他のデバイスにおいて実施され得る。
【0049】
種々の実施形態では、絶対的な眼の向きは、ＯＣＴデバイスなど、網膜を通してスキャンするデバイスを利用し、それは、バイオメータ、並びに（ｉ）網膜スキャン及び他の診断モードを提供する他のデバイス、及び（ｉｉ）他の入力機能を実行する他のセンサを含み得る。本明細書に開示されるシステムは、種々の実施形態においてより多くのコンポーネント、異なるコンポーネント及びより少ない診断デバイスと共に使用され得る。
【0050】
本出願の利点は、当業者によって理解されるであろう。本明細書で開示されるシステム及び方法は、患者から独立して（例えば、患者の協力に依存せずに）、患者が固視しているとき及び固視していないときに関する情報を提供する。アイトラッキング情報は、収集され、プロセッサに提供され、それによってさらなる分析が可能となる。他のセンサデータは、アイトラッキングデータに基づく既知の又は投影された向きに対して調整するために、データを通してバックトラッキングすることによって取得され、有効にされ得る。例えば、眼の位置は、スキャンデータを分析することに使用するために判断され、網膜撮像システムに提供され得る。患者が固視しているか又は固視していないかのフラグを立てる能力は、多くのシステム動作に有益である。固視の度合を判断する能力により、システムが多様な実装形態での使用に適合することが可能となる。後の検索及び分析のためにキャプチャされたデータを記憶することにより、複雑なニューラルネットワーク又は他の分析プロセスの使用などを通して、オフラインでのさらなる計算並びにより複雑な分析及びオプションが可能となる。
【0051】
一実施形態では、プロセッサは、信頼できないセンサデータをフィルタリング除去するために使用される基準点及び閾値で構成される。例えば、システムは、小さい視線の変更（例えば、オフセットの０．０３度）が問題なくてもよいが、より大きい視線の変更が、フィルタリング除去すべき信頼できないデータを示すように構成され得る。いくつかの実施形態では、固視中に取得されるセンサデータは、共に平均され得るか又は結合され得る。他の実施形態では、取得されたデータは、計算されたオフセット並びに基準点における既知の眼の位置及び向きを使用して取得中の眼の位置を計算することにより、眼の位置及び向きの情報と共に分析され得る。いくつかの実施形態では、種々のセンサ及びデータの入力及び計算は、所望の出力データを生成するために、融合エンジンを使用して処理され得る。
【0052】
種々の実施形態では、１つ又は複数のニューラルネットワークは、眼が目標対象を固視しているかどうかを判断するなどのための画像及びデータ分析に使用され得る。図３は、いくつかの実施形態による、例としての多層ニューラルネットワーク３００の図である。ニューラルネットワーク３００は、ロジックの少なくともいくつか、本明細書で説明される画像分析及び／又は眼球固視判断ロジックを実施するために使用されるニューラルネットワークを表し得る。ニューラルネットワーク３００は、入力層３２０を使用して入力データ３１０を処理する。いくつかの実施例では、入力データ３１０は、本明細書で前述した画像キャプチャデータ及びキャプチャされた網膜画像データに対応し得る。いくつかの実施形態では、入力データは、固視、方向付け及び／又は他の判断を行うようにニューラルネットワーク３００を訓練するために使用される入力訓練データに対応する。
【0053】
入力層３２０は、スケーリング及び／又は範囲制限などによって入力データ３１０を調整するために使用される複数のニューロンを含む。入力層３２０の各ニューロンは、隠れ層３３１の入力に供給される出力を生成する。隠れ層３３１は、入力層３２０からの出力を処理する複数のニューロンを含む。いくつかの実施例では、隠れ層３３１のニューロンのそれぞれが出力を生成し、次いで、その出力は、図示されるように、隠れ層３３９で終わる１つ又は複数の追加の隠れ層を通して集合的に伝播される。隠れ層３３９は、前の隠れ層からの出力を処理する複数のニューロンを含む。隠れ層３３９の出力は、出力層３４０に供給される。出力層３４０は、スケーリング及び／又は範囲制限などによって隠れ層３３９からの出力を調整するために使用される１つ又は複数のニューロンを含む。ニューラルネットワーク３００のアーキテクチャは、代表的なものに過ぎず、１つの隠れ層のみを有するニューラルネットワーク、入力層及び／又は出力層なしのニューラルネットワーク及び／又はリカレント層を有するニューラルネットワークなどを含む他のアーキテクチャが可能であることを理解されたい。
【0054】
いくつかの実施例では、入力層３２０、隠れ層３３１～３３９及び／又は出力層３４０のそれぞれは、１つ又は複数のニューロンを含む。いくつかの実施例では、入力層３２０、隠れ層３３１～３３９及び／又は出力層３４０のそれぞれは、同じ数又は異なる数のニューロンを含み得る。いくつかの実施例では、ニューロンのそれぞれは、式ａ＝ｆ（Ｗｘ＋ｂ）に示されるように、その入力ｘの組み合わせ（例えば、訓練可能な重み行列Ｗを使用した加重和）を取り、任意選択の訓練可能なバイアスｂを加え、活性化関数ｆを適用して、出力ａを生成する。いくつかの実施例では、活性化関数ｆは、線形活性化関数、上限及び／又は下限を有する活性化関数、対数シグモイド関数、双曲線タンジェント関数及び／又は整流線形単位関数などであり得る。いくつかの実施例では、ニューロンのそれぞれは、同じ又は異なる活性化関数を有し得る。
【0055】
いくつかの実施例では、ニューラルネットワーク３００は、入力データとグラウンドトゥルース（例えば、予期された）出力データとの組み合わせを含む訓練データの組み合わせである、教師あり学習を使用して訓練され得る。生成された出力データ３５０とグラウンドトゥルース出力データとの間の差は、ニューラルネットワーク３００にフィードバックされて、種々の訓練可能な重み及びバイアスを補正し得る。いくつかの実施例では、確率的勾配降下アルゴリズムなどを使用する逆伝播技術を使用して、その差をフィードバックし得る。いくつかの実施例では、訓練データの組み合わせの多数のセットは、全体的な損失関数（例えば、各訓練の組み合わせの差に基づく平均二乗誤差）が許容レベルに収束するまで、ニューラルネットワーク３００に複数回提示され得る。訓練済みニューラルネットワークは、キャプチャされた画像の（例えば、固視若しくは固視ではないという）リアルタイム分類のために眼科用デバイス（例えば、図１のシステム１００）において記憶及び実施され、且つ／又はキャプチャされたデータの分析のためにオフラインシステムにおいて記憶及び実施され得る。
【0056】
図４は、アイトラッキングモジュール１１０及び網膜撮像システム１３０の実装形態を含む、システム１００の１つ又は複数のコンポーネント及び／又はデバイスを含み得る、例としてのコンピューティングシステムを示す。コンピューティングシステム４００は、プロセッサ４１２、メモリ４１４、通信コンポーネント４２２及びユーザインタフェース４３４を含むコンピューティングデバイス４１０を含む、互いに電気的通信関係にある１つ又は複数のデバイスを含み得る。
【0057】
プロセッサ４１２は、バス又は他のハードウェア構成（例えば、１つ又は複数のチップセット）を介して種々のシステムコンポーネントに連結され得る。メモリ４１４は、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）並びに／又は他の種類のメモリ（例えば、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ及び／若しくは任意の他のメモリチップ若しくはカートリッジ）を含み得る。メモリ４１４は、プロセッサ４１２に直接接続されるか、近接しているか、又はプロセッサ４１２の一部として統合されている高速メモリのキャッシュをさらに含み得る。コンピューティングデバイス４１０は、プロセッサ４１２による高速アクセスのために、キャッシュを通してＲＯＭ、ＲＡＭ及び／又は１つ若しくは複数のストレージデバイス４２４に記憶されたデータにアクセスし得る。
【0058】
いくつかの実施例では、メモリ４１４及び／又はストレージデバイス４２４は、１つ又は複数のソフトウェアモジュール（例えば、ソフトウェアモジュール４１６、４１８及び／又は４２０）を記憶し得、ソフトウェアモジュールは、種々のアクションを実行するようにプロセッサ４１２を制御し、且つ／又は制御するように構成され得る。コンピューティングデバイス４１０は、１つのプロセッサ４１２のみで示されているが、プロセッサ４１２は、１つ又は複数の中央処理装置（ＣＰＵ）、マルチコアプロセッサ、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、グラフィックス処理ユニット（ＧＰＵ）及び／又はテンソル処理ユニット（ＴＰＵ）などを表し得ると理解されたい。いくつかの実施例では、コンピューティングデバイス４１０は、スタンドアロンサブシステムとして、且つ／又はコンピューティングデバイスに追加されたボードとして若しくは仮想マシンとして実施され得る。
【0059】
ユーザがシステム４００と対話することを可能にするために、コンピューティングデバイス４１０は、１つ若しくは複数の通信コンポーネント４２２及び／又はユーザ入力／出力（Ｉ／Ｏ）を容易にする１つ若しくは複数のユーザインタフェースデバイス４３４を含む。いくつかの実施例では、１つ又は複数の通信コンポーネント４２２は、１つ又は複数のネットワーク及び／又は通信バス規格に従って通信を提供するために、１つ又は複数のネットワークインタフェース及び／又はネットワークインタフェースカードなどを含み得る。いくつかの実施例では、１つ又は複数の通信コンポーネント４２２は、ローカルエリアネットワーク、無線ネットワーク、インターネット又は他のネットワークなどのネットワーク４８０を介してコンピューティングデバイス４１０と通信するためのインタフェースを含み得る。いくつかの実施例では、１つ又は複数のユーザインタフェースデバイス４３４は、キーボード、ポインティング／選択デバイス（例えば、マウス、タッチパッド、スクロールホイール、トラックボール、タッチスクリーン）、オーディオデバイス（例えば、マイクロフォン及び／若しくはスピーカ）、センサ、アクチュエータ、ディスプレイデバイス並びに／又は他の入力／出力デバイスなどの１つ又は複数のユーザインタフェースデバイスを含み得る。
【0060】
いくつかの実施形態によれば、ユーザインタフェースデバイス４３４は、本明細書で開示されるプロセスの実行時にユーザ（例えば、外科医及び／又は他の医療関係者）を支援するのに適したグラフィカルユーザインタフェース（ＧＵＩ）を提供し得る。ＧＵＩは、実行される次のアクションに関する命令、眼の術前及び／又は術後の画像などの注釈付き及び／又は注釈なしの解剖学的構造の図及び／又は入力要求などを含み得る。いくつかの実施例では、ＧＵＩは、解剖学的構造などのトゥルーカラー画像及び／又はフォルスカラー画像を表示し得る。
【0061】
ストレージデバイス４２４は、ハードディスク、光学媒体及び／又はソリッドステートドライブなどによって提供されるものなどの非一時的及び不揮発性ストレージを含み得る。いくつかの実施例では、ストレージデバイス４２４は、コンピューティングデバイス４１０と同じ場所に配置され（例えば、ローカルストレージデバイス）、且つ／又はシステム４００から離れて配置され得る（例えば、クラウドストレージデバイス）。
【0062】
コンピューティングデバイス４１０は、医療関係者によって使用するための１つ又は複数の診断、撮像、外科及び／又は他のデバイスに連結され得る。例示される実施形態では、システム４００は、眼科用デバイス４５０と、アイトラッカ４６０と、網膜イメージャ４７０とを含み、それらは、コンピューティングデバイス４１０を含む１つ又は複数のコンピューティングシステムにおいて具現化され得る。眼科用デバイス４５０は、患者の眼４５２に対して手順を行う操作者に対するフィードバックを制御及び／又は提供するためのユーザインタフェース４５４を含む。眼科用デバイス４５０は、患者の眼４２４を撮像し、測定し、診断し、トラッキングし、且つ／又は外科的に矯正及び／若しくは修復するためのデバイスを含み得る。
【0063】
眼科用デバイス４５０は、アイトラッカ４６０（図１のアイトラッカ１１０など）に通信可能に連結され、アイトラッカ４６０は、眼科用デバイスから眼球撮像データを受信し、手順中、眼４５２の位置及び整列の状態情報を提供する。網膜イメージャ４７０は、眼科用デバイス４５０及びアイトラッカ４６０の両方に通信可能に連結され、眼科的手順において使用するため及び固視トラッキングに使用するための中心窩検出のために、眼４５２の網膜画像をキャプチャするように構成される。
【0064】
種々の実施形態では、メモリ４１４は、網膜撮像分析モジュール４１６、アイトラッカモジュール４１８及び眼科的手順モジュール４２０を含む。網膜撮像分析モジュール４１６は、網膜イメージャ４７０を使用して網膜画像をキャプチャし、且つ／又はキャプチャされた網膜画像を分析するようにプロセッサ４１２に命令するためのプログラム命令を含む。網膜画像分析モジュール４１６は、１つ又は複数のキャプチャされた網膜画像（例えば、キャプチャされた画像、網膜画像のリアルタイムストリーム、記憶された網膜画像など）を受信し、関連画像特徴を抽出し、中心窩の存在又は不在を検出する（例えば、中心窩検出を示す分類を出力する、適切な眼の位置及び／又は整列の可能性を出力するなど）ように訓練されたニューラルネットワークを含み得る。
【0065】
アイトラッカモジュール４１８は、アイトラッカ４６０を使用して眼４５２の画像をキャプチャし、且つ／又はキャプチャされた画像を分析するようにプロセッサ４１２に命令するためのプログラム命令を含む。アイトラッカモジュール４１８は、１つ又は複数のキャプチャされた画像（例えば、キャプチャされた画像、アイトラッカ４６０からの眼球画像のリアルタイムストリーム、記憶された眼球画像など）を受信し、関連画像特徴を抽出し、アイトラッキング情報を出力する（例えば、眼の整列標識を出力する、適切な眼の位置及び／又は整列の可能性を出力する、適切な位置及び整列状態からの眼のオフセットを出力するなど）ように訓練されたニューラルネットワークを含み得る。
【0066】
種々の実施形態では、アイトラッカ４１８は、網膜画像分析モジュール４１６から受信される整列データに基づいて基準の眼の位置を判断するように構成される。例えば、アイトラッカ４１８は、網膜画像分析モジュール４１６から中心窩検出情報を受信し得、中心窩検出情報は、適切な整列状態にある眼４５２を示すアイトラッカ４６０からの対応する画像を識別するために使用される。アイトラッカモジュール４１８は、アイトラッカ４６０によってキャプチャされた画像を分析し、基準画像に関連するアイトラッキング情報を出力するようにさらに構成される。
【0067】
眼科的手順４２０は、眼科的手順を行うようにプロセッサ４１２に命令するためのプログラム命令を含み、ユーザインタフェース４５４を通した手順中のユーザ入力及び出力並びにキャプチャされたデータの分析を含み得る。いくつかの実施形態では、眼科的手順４２０は、手順中にキャプチャされたデータを分析するための訓練済みニューラルネットワークを含む。眼科的手順４２０は、アイトラッカモジュール４１８からアイトラッキング情報を受信し、アイトラッカモジュール４１８は、許容可能なオフセット閾値、オフセットデータ及び／又は他の情報の中に整列状態を含み得る。いくつかの実施形態では、眼科的手順４２０は、患者の眼４５２が許容可能な整列位置にあるときに動作し、患者の眼が整列状態にないときに眼科用デバイス４５０の操作者にユーザインタフェース４５４を通して標識（例えば、ビープ音などの音、閃光などの視覚的標識など）を提供するように構成される。
【0068】
システム４００は、オンライン処理（例えば、後続の手順中の）及びオフライン処理を含む後の処理のために、キャプチャされた網膜のアイトラッキングデータ及び眼科的手順データを記憶し得る。ストレージ４２４は、患者についてキャプチャされた網膜画像データ４２６を記憶し得る。網膜画像データ４２６は、患者識別子、キャプチャ画像のストリーム、時間情報（例えば、タイムスタンプ、シーケンシャルインデックスなど）及び／又は中心窩が画像内で検出されたかどうかについての情報を含み得る。ストレージ４２４は、アイトラッカデータ４２８も記憶し得る。アイトラッカデータ４２８は、患者識別子、キャプチャ画像のストリーム、時間情報（例えば、タイムスタンプ、シーケンシャルインデックスなど）、中心窩が検出された期間とキャプチャ画像が対応しているかどうか、及び／又は固視中の眼の基準位置を提供する固視情報を含み得る。ストレージ４２４は、手順中に患者についてキャプチャされた手順データ４３０も記憶し得る。手順データ４３０は、患者識別子、手順中にキャプチャされたデータのストリーム（例えば、画像、データ示度、データ計算など）、時間情報（例えば、タイムスタンプ、シーケンシャルインデックスなど）、手順におけるある時点の眼の位置について計算されたオフセット情報及び／又は手順中のある時点に目が固視していたかどうかを含む。
【0069】
コンピューティングデバイス４１０は、１つ又は複数のアプリケーションサービスをコンピューティングデバイスに提供する１つ又は複数のネットワークサーバ４８２と通信し得る。いくつかの実施形態では、ネットワークサーバ４８２は、訓練データセット４８６を使用してニューラルネットワークの１つ又は複数を訓練するためのニューラルネットワーク訓練モジュール４８４を含み、訓練データセット４８６は、ラベル付き画像を含み得る。例えば、網膜画像分析モジュール４１６は、中心窩の存在及び／又は不在を識別するためにラベル付けされた網膜画像のセットを使用して訓練されたニューラルネットワークを含み得る。アイトラッカモジュール４１８は、中心窩の存在及び／又は不在を識別するためにラベル付けされた、キャプチャされた眼の画像のセットを使用して訓練されたニューラルネットワークを含み得る。アイトラッカモジュール４１８は、基準データに対する画像のオフセットを識別するためにラベル付けされた、キャプチャされた眼の画像のセット及び基準データを使用して訓練されたニューラルネットワークをさらに含み得る。眼科的手順４２０は、アイトラッカモジュール４１８からの整列データ及び／又はオフセットデータを含む、手順中にキャプチャされたデータを表すデータのセットを使用して訓練されたニューラルネットワークを含み得る。
【0070】
図５を参照すると、図１のシステム１００を動作させるための方法５００の実施形態がここで説明される。ステップ５１０において、患者は、眼科用システムにおいて位置決めされ、患者の視線を眼科用デバイスの整列軸と整列させるように目標対象に焦点を合わせる方向に向けられる。ステップ５１２において、中心窩を検出するために網膜が分析される。一実施形態では、眼科用システムは、網膜をスキャンし、スキャンされた網膜データを取得し、取得されたデータを分析して中心窩を検出するように構成される網膜撮像システム（図１の網膜撮像システム１３０）を含む。いくつかの実施形態では、中心窩は、眼が固視している場合にＯＣＴ画像の中心において視認できる。ステップ５１４において、検出された中心窩に関連付けられる網膜画像データの時間特性が判断される。種々の実施形態では、時間特性は、タイムスタンプ、シーケンシャル画像インデックス又は網膜撮像データとシステムの他のコンポーネントとの同期を可能にする他の基準を含み得る。
【0071】
同時に、アイトラッキングシステムは、ステップ５２０において眼の画像のストリームをキャプチャし、ステップ５２２においてキャプチャされた画像データを使用して眼球運動をトラッキングする。いくつかの実施形態では、ステップ５１２及び５１４において網膜を検出しながら、アイトラッキングシステムは、眼の動きをトラッキングし、固視位置を判断し、所与の手順のための許容可能なオフセットを適用する。ステップ５３０において、時間特性に合致するキャプチャ画像が識別及び分析されて、目標対象を固視しているときの眼の位置及び向きが判断される。ステップ５４０において、眼の測定及び他の取得されたデータを含み得るシステム診断が実行される。いくつかの実施形態では、網膜の分析（ステップ５１２）及び検出された中心窩に関連付けられた時間特性の判断（ステップ５１４）は、網膜撮像システムによって実行され、網膜撮像システムは、ステップ５４０の眼の診断中、無効化される。したがって、網膜撮像システムは、診断手順中、眼の位置をトラッキングするために利用できない。
【0072】
ステップ５４０における測定中、アイトラッキングシステムは、眼が測定中適切に位置決めされ、整列されているかどうかを判断するために、ステップ５５０において眼の位置及び向きをトラッキングする。いくつかの実施形態では、アイトラッキングシステムは、角膜の前側又は眼房の内側に焦点を合わせる。アイトラッキングシステムは、診断中に眼のキャプチャ画像を分析し（ステップ５４０）、キャプチャ画像に基づいて現在の位置及び回転を判断し得る。現在の位置及び回転が固視位置及び回転と比較されて、オフセットが判断される。オフセットがエラー閾値未満である場合、眼が測定のための適切な位置及び整列状態にあると判断される。オフセットがエラー閾値を超える場合、診断プロセス及び／又はシステム操作者には、眼が整列状態にないことが通知され得、それにより操作者が診断手順を休止し、眼を再配置するように患者に指示することが可能となるか、関連測定データが有効／無効を判断されることが可能となるか、又は他のアクションが取られることが可能となる。いくつかの実施形態では、眼の診断手順（ステップ５４０）中に取得されるデータは、ストレージデバイス５６０に記憶され、アイトラッキング手順（ステップ５５０）中に取得されるデータは、後続の処理及び分析のためにストレージデバイス５７０に記憶される。一実施形態では、患者のデータは、中心窩情報に加えてトラッキングされ、利用可能な場合に中心窩情報を使用して検証され得る。このようにして、値の範囲及び平均固視位置が判断され得る。
【0073】
網膜撮像情報及び／又は中心窩検出情報は、アイトラッキングにおいて使用するために常に利用可能とは限らない場合がある。いくつかの眼科用デバイスは、例えば、ＯＣＴ網膜スキャナを含まない。いくつかの手順において、中心窩は、手順の開始前に確実に検出されていない場合がある（例えば、患者が適切に固視していなかった、中心窩が満足な度合の確実性で画像内に検出されなかった、操作者又はシステムエラーなど）。これらの実施形態では、絶対固視位置は、アイトラッカからキャプチャされた画像（例えば、眼の表面の画像）の分析に少なくとも部分的に基づいて判断され得る。
【0074】
種々の実施形態では、固視分析は、カメラからキャプチャされた画像のストリームにおいて眼の位置を検出し、且つ絶対固視位置を推定するために結果を分析することによって実行される。分析は、キャプチャされた画像から判断される眼の位置のヒストグラムを使用した統計分析を含み得る。ヒストグラムが分析に従って明確な最高点を示す場合、方法は、絶対固視位置を推定し得る。ヒストグラムが明確な最高点を示さない場合、方法は、固視が検出されなかったことを示し得る。いくつかの実施形態では、キャプチャ画像の分析は、患者の眼と既知の位置における他の眼との比較（例えば、ラベル付けされた訓練画像のセットを使用して訓練されたニューラルネットワークの使用）、患者についての履歴上の固視情報、画像分析（交差／閾値を含む）及び／又は利用可能な情報の他の分析を含み得る。いくつかの実施形態では、方法は、操作者及び患者が患者の眼を適切に固定させることに依存し得る。いくつかの実施形態では、方法は、操作者及び／又は患者のエラーにより、画像が固視を反映しないシナリオ（例えば、患者が誤った場所を意図的に固視する場合又は操作者が適切に患者に指示せず、且つ／若しくは患者をモニタリングしない場合）に対処し得る。
【0075】
網膜ＯＣＴスキャンが利用可能でなく、且つ／又は手順の前に中心窩が確実に検出されていない、アイトラッキングのためのシステム及び方法の実施形態が図６～図９を参照してここで説明される。前述の通り、眼科用デバイスを使用した眼の正確な測定は、通常、患者の視線（患者の視軸）と眼科用デバイスのある光軸との整列で開始する。これに関連して、視線は、患者がそれに沿って物を見る軸であり得る。結果として生じる診断データ及び／又は眼科的手順の他の結果は、患者が適切に固視していなかった期間中、信頼できない場合がある。アイトラッカモジュール（例えば、図１のアイトラッカ１１０及び／又は他の別の画像キャプチャデバイス）によってキャプチャされた画像の分析から、眼科用デバイスが絶対固視位置を推定することを可能にするシステム及び方法が本明細書で開示される。
【0076】
推定された眼球固視情報は、患者が手順（例えば、測定手順）中、診断デバイスのある光軸に沿って固視しているか（又は適切に固視していないか）に関するフィードバックをデバイス操作者に提供するために眼科用デバイスによって使用され得る。眼科用デバイスは、手順中、推定された眼球固視情報を使用して、患者が適切に固視している期間を識別し得る。システムは、推定された眼球固視情報を使用して、手順中に取得されたデータが信頼できるデータであるか、及び／又は信頼できないデータであるかを、患者がデータ取得中に固視していると判断されたかどうかに少なくとも部分的に基づいて判断することもできる。
【0077】
図６を参照すると、絶対眼球固視を推定するための方法６００の実施形態がここで説明される。方法６００は、コンピューティングデバイスと、患者の眼の表面を撮像するためのカメラ及び照明システム（例えば、図１のカメラ１１２及び照明コンポーネント１１４）を含み得る撮像システムとを使用して実行される。方法は、画像内の眼の検出可能な特徴（例えば、瞳孔、輪部、虹彩特徴など）の位置及び角膜における照明システムの反射の位置を使用することにより、眼の位置及び向きを判断する。眼の位置は、手順又は患者が眼科用デバイスの光軸に対して適切に位置決めされ、固視していることが予期される他の時間中に判断される。操作者は、フィードバックを提供することによって（例えば、１つ又は複数のボタンを押すことによって）プロセスを開始し得、及び／又は操作者は、患者がその後従うシーケンスを開始し得る。任意選択で、操作者は、患者の手順遵守の確認を提供し得る。
【0078】
方法６００は、網膜ＯＣＴ撮像デバイスを含み得る眼科用デバイスのコンピューティングデバイスによる実装形態のための実施形態を示す。絶対固視位置を判断するために、コンピューティングシステムは、中心窩検出情報が利用可能であるかどうかを判断する（ステップ６０２）。例えば、眼科用デバイスが、患者が適切に固視している間に患者の眼をスキャンした網膜撮像デバイスを含む場合、中心窩検出情報が利用可能であり得る。中心窩検出情報が利用可能である場合、方法は、ステップ６０４に進む。ステップ６０４では、コンピューティングシステムは、（例えば、図１～図５を参照して上述したような）検出された中心窩データに対応するアイトラッキング画像を識別する。ステップ６０６において、絶対固視パラメータは、対応する画像を使用して計算される。患者の眼は、その際、アイトラッキング画像及び固視パラメータを使用して手順中にトラッキングされ得る。
【0079】
ステップ６０２に戻って参照すると、中心窩検出が利用可能でない場合、方法は、眼のキャプチャ画像（例えば、眼の表面の画像）を使用して、絶対固視パラメータを推定する。ステップ６２０において、コンピューティングデバイスは、キャプチャ画像のストリームをカメラから受信し、複数の画像のそれぞれにおいて眼の位置及び向きを判断する。コンピューティングデバイスは、（例えば、処理制約に従って）それぞれの受信した画像又は受信した画像のサブセットを処理し得る。画像は、キャプチャデータを分析するとき、手順前／手順中及び／又は手順後に受信され得る。
【0080】
眼の位置及び向きが一連のキャプチャ画像に対して判断された後、ステップ６３０において、判断された位置及び向きからヒストグラムが生成される。いくつかの実施形態では、位置及び向き情報は、画像のそれぞれにおける瞳孔の中心の画素位置を含み、それは、（ｘ，ｙ）座標の２次元ヒストグラムを構築するために使用される。位置及び向き情報は、画像のそれぞれから判断される眼の絶対位置及び向きを含み得、それは、２次元ヒストグラムを構築するために使用される。位置及び向きデータの他の表現も本方法において使用され得る（例えば、ヒートマップ）。いくつかの実施形態では、操作者フィードバックは、患者が固視するように指示されている画像を示すため、且つ／又は患者が固視していないかどうかを示すために使用され得、対応する画像は、分析に追加されるか又は分析から破棄され得る。システムの操作者が測定シーケンス中に対象を固視するように患者に指示する手順が行われ得る。
【0081】
図７を参照すると、患者が見ている固視点の例としての分布を示すヒートマップ７００が示される。マップは、色分けされるか、３次元的であるか、又は患者がある場所を固視している頻度をトラッキングするための印を含み得る。他の標識（例えば、背景色に近い色）が、その場所における短時間の固視を示すために使用され得る。例示される実施形態では、ヒートマップの領域７１０は、最も多い座標を示し、目標対象を適切に固視している間の患者の眼の位置及び向きを示し得る。破線の円７２０は、手順又は分析に必要な精度のレベルに依存した、固視判断のために選択されるべき閾値オフセットの範囲内にある位置及び向きを示す。
【0082】
図８は、キャプチャ画像から検出される眼の座標をプロットする例としてのヒストグラム８００を示す。この分布８１０の最高点は、（例えば、患者が最もよく固視していた位置及び向きを識別することによって）固視している眼の位置及び向きを推定するために使用され得る。この推定された位置及び向きは、さらなる眼の固視判断のための基準位置として使用され得る。例えば、測定シーケンスにおいて取られた医療データの分析は、眼が基準位置（例えば、ヒストグラムの最高点に少なくとも部分的に基づく）から許容可能なオフセット（例えば、円８２０によって示される）範囲内の向き及び位置を有するときに取得されたデータ点のみを使用し得る。
【0083】
前述の通り、ヒストグラム８００は、キャプチャ画像から判断される固視点をプロットすることによって構築され得る。例えば、ヒストグラムは、検出された瞳孔又は識別された眼の中心（例えば、反射又は他の測定値から判断される）の一連の画素位置として眼の位置をトラッキングし得る。画像のシーケンスが受信され、分析されると、患者が最もよく固視している位置を示すパターンが出現し得る。いくつかの実施形態では、ヒストグラムにおける値は、隣接画素の平均を含み得、且つ／又は他の平滑化を組み込み得る。
【0084】
図６の方法６００に戻って参照すると、ステップ６４０において、ヒストグラムが分析されて固視位置が検出される。前述の通り、固視位置は、ある分析基準に合致するヒストグラムの最大値に関連し得る。例えば、最高点は、平均値を超える最高点の度合、所与の数の画像についての閾値を超える度合などを含む多様な因子に基づいて選択され得る。いくつかの実施形態では、アイトラッキングは、手順中に継続し、画像がより多く分析されるにつれて最高点／固視位置がリアルタイムで更新され得る。
【0085】
ステップ６５０を参照すると、許容可能な最高点が見つからない（又は他の固視点基準に合致する）場合、眼球固視情報は、このプロセスを通して利用できない。いくつかの実施形態では、アイトラッキングは、手順中に継続し、画像がより多く分析されるにつれて最高点／固視位置がリアルタイムで識別及び／又は更新され得る。
【0086】
ステップ６６０において、推定される固視パラメータ（例えば、手順について許容可能な固視位置及びオフセット半径）は、検出された固視情報に基づいて判断される。患者の眼は、その際、アイトラッキング画像及び推定された固視パラメータを使用してステップ６０８において手順中にトラッキングされ得る。
【0087】
図９を参照すると、図６～図８の方法を実施するための例としてのシステム９００がここで説明される。コンピューティングデバイス９０２（図４のコンピューティングデバイス４１０など）は、眼科用機器９６０に通信可能に連結され、アイトラッカ９３０に関連付けられたプロセス及び眼科的手順９４０を実行するように構成される。コンピューティングデバイス９０２は、眼科用機器９６０の網膜撮像デバイス（利用可能な場合）を使用して網膜画像分析９１０を実行し、網膜画像データ９１２を記憶するように構成され得る。コンピューティングデバイス９０２は、図６に示される方法の実装形態を実行するための固視分析モジュール９２０をさらに含む。一実施形態では、固視分析モジュール９２０は、アイトラッカ９３０によってキャプチャされ、（例えば、ストレージ９３２に）記憶された眼球画像のストリームを受信及び分析し、固視位置のヒストグラムを構築及び分析し、基準位置及び関連する半径を判断する。ヒストグラムデータを含む固視データがストレージ９２２（例えば、メモリ又はストレージデバイス）に保存され得る。
【0088】
いくつかの実施形態では、コンピューティングデバイス９０２は、メモリに記憶されたプログラム命令を実行するように構成されるプロセッサを含み、メモリは、固視分析モジュール９２０と、任意選択の網膜画像分析モジュール９１０と、アイトラッカ９３０と、眼科的手順９４０に関連付けられたプロセスとを含み得る。
【0089】
固視分析モジュール９２０は、アイトラッカ９３０によってキャプチャされた画像を使用して患者の眼の相対視線を分析するように構成され得る。固視分析モジュール９２０は、視線の向き（例えば、眼のピッチ及びヨー、相対的な上／下及び左／右オフセット、曲率／回転など）をトラッキングするヒストグラムを構築し、絶対基準の推定を得るためにヒストグラムのピーク値（例えば、各場所におけるデータ値の数）を分析し得る。いくつかの実施形態では、固視分析モジュール９２０は、眼の光軸及びアイトラッカカメラとの交点を推定して、視線方向をトラッキングする。
【0090】
アイトラッカモジュール９３０は、患者の眼の画像をキャプチャ、記憶及び処理するように構成され得る。アイトラッカモジュール９３０は、固視分析モジュール９２０によるさらなる分析のために、キャプチャ画像から患者の眼の位置及び向きを判断するように構成され得る。いくつかの実施形態では、それぞれの分析された画像は、眼の位置及び向き（例えば、ｘ軸及びｙ軸を中心とする回転）を表すｘ、ｙ位置を含み得る。アイトラッカは、（例えば、網膜画像分析９１０を通して判断される）絶対固視位置又は（例えば、固視分析モジュール９２０を通して判断される）推定された絶対固視位置に関連して１つの画像から別の画像への相対的な向きの変化に関する情報を使用し得る。いくつかの実施形態では、固視分析モジュール９２０は、患者がほとんどの時間固視しようとしていたという仮定及び推定された絶対固視位置が、ｘ及びｙ回転のヒストグラムを構築し、且つ最も顕著な視線方向を判断することによって判断され得るという仮定の上で動作する。種々の実施形態では、ヒストグラムは、画素座標、ｘ及び／若しくはｙを中心とする回転、オフセット値又は他のデータから構築され得る。各画像は、ヒストグラムに追加される計算された眼の視線の向きを表す座標対を提供し得る。
【0091】
いくつかの実施形態では、固視分析モジュール９２０は、１つの明瞭なピーク（例えば、より小さいピークによって囲まれる顕著なピーク）を検出し、且つ固視位置が検出されたという信頼性のレベルを判断することによってヒストグラムを分析するように構成される。明確なピークが検出されない場合、信頼性レベルは、低くなり得る。検出されたピークの周囲の半径が使用され得る（例えば、人間は、＋／－０．５度固定し得る）。平均へのピークの閾値及び／又は半径のサイズは、システム及び手順要件に依存して変化し得る。
【0092】
コンピューティングデバイス９０２は、ヒストグラムデータを分析して、眼球固視位置が判断され得るかどうかを判断することを含む、本明細書で開示された１つ又は複数の判断を行うように訓練された１つ又は複数のニューラルネットワークを含み得る。いくつかの実施形態では、固視分析は、患者及び／又は他の患者のための既知のアイトラッキング画像及び／又は眼球固視パラメータの比較をさらに含み得る。例えば、１つ又は複数の画像は、画像内の眼が固視しているかどうかを判断するために履歴データを使用して訓練されたニューラルネットワーク内に入力され得る。
【0093】
種々の実施形態では、網膜撮像データが利用可能でない（例えば、システムの一部ではなく、且つ／又は中心窩検出が手順前に利用可能でない）ときでさえ、患者がデータ取得中にこの軸に沿って固視しているか又は固視していないかについてのフィードバックが操作者に提供され得る。本明細書で開示されるシステム及び方法は、本明細書で説明される画像キャプチャデバイス及び照明システムを使用する眼科診断デバイスで使用するのに適当である、コスト効率のよい解決策を提供する。
【0094】
当業者に理解されるように、例示された実施形態の方法は、動作中に患者の眼が目標対象を適切に固視しているかどうかを独立して検証するための改善された技術を提供する。特定の時点における中心窩を検出することにより、システムは、視線／視軸が患者に対して位置する場所を判断し得る。この情報により、システムは、測定シーケンス又は他の診断若しくは矯正手順中に患者が現在固視しているかどうかを判断することが可能となる。この方法は、網膜を撮像するシステムと、表面情報を使用して眼をトラッキングするシステムとを結合する。網膜画像における中心窩の位置から、システムは、アイトラッキング位置を判断し、眼が左又は右／上又は下に動いているかどうかを判断し得る。システムは、ユーザの視線をトラッキングし、オフセットを計算し、現在の眼の位置及び向きを判断し、眼球固視に関する判断を行い、データの有効性を判断し、本開示による他の特徴を提供し得る。
【0095】
上述の実施形態による方法は、非一時的で有形の機械可読媒体に記憶される実行可能命令として実施され得る。実行可能命令は、１つ又は複数のプロセッサ（例えば、プロセッサ４１２）による実行時、１つ又は複数のプロセッサに、方法５００、６００のプロセス又は本明細書で開示された他のプロセスの１つ又は複数を実行させ得る。これらの開示による方法を実施するデバイスは、ハードウェア、ファームウェア及び／又はソフトウェアを含み得、様々なフォームファクタのいずれかを取り得る。そのようなフォームファクタの典型的な例としては、ラップトップ、スマートフォン、スモールフォームファクタのパーソナルコンピュータ及び／又は携帯情報端末などを含む。本明細書で説明される機能性の一部は、周辺機器及び／又はアドインカードでも具現化され得る。そのような機能性は、さらなる実施例として、単一のデバイスにおいて実行される異なるチップ又は異なるプロセスの中から回路基板上でも実施され得る。
【0096】
例示的な実施形態が示され、説明されてきたが、前述の開示では広範囲の修正形態、変更形態及び置換形態が想定されており、場合により、実施形態のいくつかの特徴は、他の特徴の対応する使用なしに利用され得る。当業者であれば、多くの変形形態、代替形態及び修正形態を認識するであろう。したがって、本発明の範囲は、以下の特許請求の範囲によってのみ限定されるべきであり、特許請求の範囲は、本明細書に開示される実施形態の範囲と一致する方法で広く解釈されることが適切である。
態様（１）によれば、システムであって、
眼の第１の複数の画像をキャプチャするように構成される網膜撮像システム、
前記眼の第２の複数の画像をキャプチャし、且つ眼の位置及び向きをトラッキングするように構成されるアイトラッカ、
制御プロセッサであって、
中心窩が前記第１の複数の画像の１つ又は複数に存在するかどうかを検出することと、
前記検出された中心窩を有する第１の画像を前記第１の複数の画像から識別することと、
前記第１の画像に対する時間的近接性を有する第２の画像を前記第２の複数の画像から判断することと、
前記第２の画像を分析して、眼球固視パラメータを判断することと
を行うように構成される制御プロセッサ
を含むシステムである。
態様（２）によれば、前記網膜撮像システムは、網膜スキャンを実行するように構成される光干渉断層撮影（ＯＣＴ）スキャナ及び／又は眼底カメラを含む。
態様（３）によれば、前記制御プロセッサは、前記第１の複数の画像を受信し、且つ前記中心窩が前記第１の複数の画像のそれぞれに存在するかどうかの判断を出力するように構成される訓練済みニューラルネットワークを記憶するメモリをさらに含む。
態様（４）によれば、前記眼球固視パラメータは、固視時の前記眼の基準位置及び向きを含む。
態様（５）によれば、前記制御プロセッサは、前記第２の複数の画像を分析して、固視時の前記眼の前記基準位置及び向きに対する現在の眼の位置及び向きを判断するようにさらに構成される。
態様（６）によれば、前記制御プロセッサは、前記眼の位置及び向きをトラッキングし、且つ前記基準位置及び向きからのオフセットを計算するように構成される。
態様（７）によれば、前記制御プロセッサは、前記オフセットが閾値未満であるかどうかを判断するように構成され、
前記オフセットが前記閾値未満であるとき、前記眼は、固視していると判断され、及び前記制御プロセッサは、固視の標識を生成し、
前記オフセットが前記閾値より大きいとき、前記眼は、整列状態にないと判断され、及び前記制御プロセッサは、固視でないという標識を生成する。
態様（８）によれば、前記制御プロセッサは、
眼球診断手順を実行することであって、前記網膜撮像システムは、前記眼球診断手順の少なくとも一部中、前記眼の画像をキャプチャし、且つ前記中心窩を検出するように動作することができない、実行することと、
前記眼球診断手順中、前記アイトラッカを使用して眼の位置をトラッキングすることと
を行うようにさらに構成される。
態様（９）によれば、画像キャプチャデバイスを使用して前記眼の前記位置及び向きをトラッキングしつつ、眼球診断手順を実行するように構成される診断デバイスをさらに含み、
前記診断デバイスは、固視位置及び眼の位置を表すデータに少なくとも部分的に基づく前記眼球診断手順中、固視位置及び眼の位置を表す前記データを受信するようにさらに構成される。
態様（１０）によれば、前記アイトラッキングは、診断手順中に分析及び更新される。
態様（１１）によれば、方法であって、
網膜撮像システムを使用して、眼の第１の複数の画像をキャプチャし、且つ中心窩を検出することと、
アイトラッカを使用して、前記眼の第２の複数の画像をキャプチャすることと、
前記アイトラッカを使用して、前記第２の複数の画像の分析に基づいて前記眼の位置及び向きをトラッキングすることと、
前記検出された中心窩を有する第１の画像を前記第１の複数の画像から識別することと、
前記第１の画像に対する時間的近接性を有する第２の画像を前記第２の複数の画像から判断することと、
前記第２の画像を分析して、眼球固視パラメータを判断することと
を含む方法である。
態様（１２）によれば、前記網膜撮像システムを使用して、前記眼の前記第１の複数の画像をキャプチャし、且つ前記中心窩を検出することは、網膜の光干渉断層撮影スキャンを実行することをさらに含む。
態様（１３）によれば、前記網膜撮像システム及び前記アイトラッカを含む眼科診断デバイスによって実行される。
態様（１４）によれば、前記眼球固視パラメータは、固視時の前記眼の基準位置及び向きを含む。
態様（１５）によれば、前記第２の複数の画像を分析して、固視時の前記眼の前記基準位置及び向きに対する現在の眼の位置及び向きを判断することをさらに含む。
態様（１６）によれば、前記アイトラッカを使用して現在の眼の位置及び向きをトラッキングし、且つ前記基準位置及び向きからのオフセットを計算することをさらに含む。
態様（１７）によれば、前記オフセットが閾値未満であるとき、眼球固視の標識を生成することをさらに含む。
態様（１８）によれば、眼球診断手順を実行することであって、前記網膜撮像システムは、前記眼球診断手順の少なくとも一部中、前記眼の画像をキャプチャし、且つ前記中心窩を検出するように動作することができない、実行することと、
前記眼球診断手順中、前記アイトラッカを使用して眼の位置をトラッキングすることと
をさらに含む。
態様（１９）によれば、画像キャプチャデバイスを使用して前記眼の前記位置及び向きをトラッキングしつつ、眼球診断手順を実行することと、
固視位置及び眼の位置を表すデータに少なくとも部分的に基づく前記眼球診断手順中、固視位置及び眼の位置を表す前記データを受信することと
をさらに含む。
態様（２０）によれば、前記アイトラッキングは、診断手順中に分析及び更新される。
態様（１）によれば、システムであって、
眼の第１の複数の画像をキャプチャするように構成される網膜撮像システム、
前記眼の第２の複数の画像をキャプチャし、且つ眼の位置及び向きをトラッキングするように構成されるアイトラッカ、
制御プロセッサであって、
中心窩が前記第１の複数の画像の１つ又は複数に存在するかどうかを検出することと、
前記検出された中心窩を有する第１の画像を前記第１の複数の画像から識別することと、
前記第１の画像に対する時間的近接性を有する第２の画像を前記第２の複数の画像から判断することと、
前記第２の画像を分析して、眼球固視パラメータを判断することと
を行うように構成される制御プロセッサ
を含むシステムである。
態様（２）によれば、前記網膜撮像システムは、網膜スキャンを実行するように構成される光干渉断層撮影（ＯＣＴ）スキャナ及び／又は眼底カメラを含む。
態様（３）によれば、前記制御プロセッサは、前記第１の複数の画像を受信し、且つ前記中心窩が前記第１の複数の画像のそれぞれに存在するかどうかの判断を出力するように構成される訓練済みニューラルネットワークを記憶するメモリをさらに含む。
態様（４）によれば、前記眼球固視パラメータは、固視時の前記眼の基準位置及び向きを含む。
態様（５）によれば、前記制御プロセッサは、前記第２の複数の画像を分析して、固視時の前記眼の前記基準位置及び向きに対する現在の眼の位置及び向きを判断するようにさらに構成される。
態様（６）によれば、前記制御プロセッサは、前記眼の位置及び向きをトラッキングし、且つ前記基準位置及び向きからのオフセットを計算するように構成される。
態様（７）によれば、前記制御プロセッサは、前記オフセットが閾値未満であるかどうかを判断するように構成され、
前記オフセットが前記閾値未満であるとき、前記眼は、固視していると判断され、及び前記制御プロセッサは、固視の標識を生成し、
前記オフセットが前記閾値より大きいとき、前記眼は、整列状態にないと判断され、及び前記制御プロセッサは、固視でないという標識を生成する。
態様（８）によれば、前記制御プロセッサは、
眼球診断手順を実行することであって、前記網膜撮像システムは、前記眼球診断手順の少なくとも一部中、前記眼の画像をキャプチャし、且つ前記中心窩を検出するように動作することができない、実行することと、
前記眼球診断手順中、前記アイトラッカを使用して眼の位置をトラッキングすることと
を行うようにさらに構成される。
態様（９）によれば、画像キャプチャデバイスを使用して前記眼の前記位置及び向きをトラッキングしつつ、眼球診断手順を実行するように構成される診断デバイスをさらに含み、
前記診断デバイスは、固視位置及び眼の位置を表すデータに少なくとも部分的に基づく前記眼球診断手順中、固視位置及び眼の位置を表す前記データを受信するようにさらに構成される。
態様（１０）によれば、前記アイトラッキングは、診断手順中に分析及び更新される。
態様（１１）によれば、方法であって、
網膜撮像システムを使用して、眼の第１の複数の画像をキャプチャし、且つ中心窩を検出することと、
アイトラッカを使用して、前記眼の第２の複数の画像をキャプチャすることと、
前記アイトラッカを使用して、前記第２の複数の画像の分析に基づいて前記眼の位置及び向きをトラッキングすることと、
前記検出された中心窩を有する第１の画像を前記第１の複数の画像から識別することと、
前記第１の画像に対する時間的近接性を有する第２の画像を前記第２の複数の画像から判断することと、
前記第２の画像を分析して、眼球固視パラメータを判断することと
を含む方法である。
態様（１２）によれば、前記網膜撮像システムを使用して、前記眼の前記第１の複数の画像をキャプチャし、且つ前記中心窩を検出することは、網膜の光干渉断層撮影スキャンを実行することをさらに含む。
態様（１３）によれば、前記網膜撮像システム及び前記アイトラッカを含む眼科診断デバイスによって実行される。
態様（１４）によれば、前記眼球固視パラメータは、固視時の前記眼の基準位置及び向きを含む。
態様（１５）によれば、前記第２の複数の画像を分析して、固視時の前記眼の前記基準位置及び向きに対する現在の眼の位置及び向きを判断することをさらに含む。
態様（１６）によれば、前記アイトラッカを使用して現在の眼の位置及び向きをトラッキングし、且つ前記基準位置及び向きからのオフセットを計算することをさらに含む。
態様（１７）によれば、前記オフセットが閾値未満であるとき、眼球固視の標識を生成することをさらに含む。
態様（１８）によれば、眼球診断手順を実行することであって、前記網膜撮像システムは、前記眼球診断手順の少なくとも一部中、前記眼の画像をキャプチャし、且つ前記中心窩を検出するように動作することができない、実行することと、
前記眼球診断手順中、前記アイトラッカを使用して眼の位置をトラッキングすることと
をさらに含む。
態様（１９）によれば、画像キャプチャデバイスを使用して前記眼の前記位置及び向きをトラッキングしつつ、眼球診断手順を実行することと、
固視位置及び眼の位置を表すデータに少なくとも部分的に基づく前記眼球診断手順中、固視位置及び眼の位置を表す前記データを受信することと
をさらに含む。
態様（２０）によれば、前記アイトラッキングは、診断手順中に分析及び更新される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】