IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ニューラライト リミテッドの特許一覧

<>
  • 特表-高分解能の眼測定パラメータの取得 図1A
  • 特表-高分解能の眼測定パラメータの取得 図1B
  • 特表-高分解能の眼測定パラメータの取得 図2
  • 特表-高分解能の眼測定パラメータの取得 図3
  • 特表-高分解能の眼測定パラメータの取得 図4
  • 特表-高分解能の眼測定パラメータの取得 図5
  • 特表-高分解能の眼測定パラメータの取得 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-05-01
(54)【発明の名称】高分解能の眼測定パラメータの取得
(51)【国際特許分類】
   A61B 3/113 20060101AFI20240423BHJP
   A61B 3/11 20060101ALI20240423BHJP
【FI】
A61B3/113
A61B3/11
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023568476
(86)(22)【出願日】2022-05-02
(85)【翻訳文提出日】2023-12-26
(86)【国際出願番号】 US2022027201
(87)【国際公開番号】W WO2022235534
(87)【国際公開日】2022-11-10
(31)【優先権主張番号】63/183,388
(32)【優先日】2021-05-03
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.WINDOWS
2.BLUETOOTH
3.FIREWIRE
(71)【出願人】
【識別番号】523416988
【氏名又は名称】ニューラライト リミテッド
(74)【代理人】
【識別番号】100102978
【弁理士】
【氏名又は名称】清水 初志
(74)【代理人】
【識別番号】100205707
【弁理士】
【氏名又は名称】小寺 秀紀
(74)【代理人】
【識別番号】100160923
【弁理士】
【氏名又は名称】山口 裕孝
(74)【代理人】
【識別番号】100119507
【弁理士】
【氏名又は名称】刑部 俊
(74)【代理人】
【識別番号】100142929
【弁理士】
【氏名又は名称】井上 隆一
(74)【代理人】
【識別番号】100148699
【弁理士】
【氏名又は名称】佐藤 利光
(74)【代理人】
【識別番号】100188433
【弁理士】
【氏名又は名称】梅村 幸輔
(74)【代理人】
【識別番号】100128048
【弁理士】
【氏名又は名称】新見 浩一
(74)【代理人】
【識別番号】100129506
【弁理士】
【氏名又は名称】小林 智彦
(74)【代理人】
【識別番号】100114340
【弁理士】
【氏名又は名称】大関 雅人
(74)【代理人】
【識別番号】100214396
【弁理士】
【氏名又は名称】塩田 真紀
(74)【代理人】
【識別番号】100121072
【弁理士】
【氏名又は名称】川本 和弥
(74)【代理人】
【識別番号】100221741
【弁理士】
【氏名又は名称】酒井 直子
(74)【代理人】
【識別番号】100114926
【弁理士】
【氏名又は名称】枝松 義恵
(72)【発明者】
【氏名】ベン-アミ エドモンド
(72)【発明者】
【氏名】ブレークストーン ミシャ ヨハナン
(72)【発明者】
【氏名】バール-オル ロテム ズビ
(72)【発明者】
【氏名】アニシモフ ウラジーミル
【テーマコード(参考)】
4C316
【Fターム(参考)】
4C316AA06
4C316AA07
4C316AA11
4C316AA21
4C316AA24
4C316AA25
4C316AA28
4C316AB16
4C316FA19
4C316FA20
4C316FB22
4C316FB29
(57)【要約】
高分解能の眼測定パラメータを抽出するためのシステムおよび方法が開示される。ユーザの顔のビデオを有するビデオストリームが、第1の分解能で眼瞼データ、虹彩データ(例えば、虹彩並進、虹彩半径および虹彩回転)、ならびに瞳孔データ(例えば、瞳孔中心および瞳孔半径)などの眼測定パラメータセットを取得するために処理される。眼測定パラメータの精度および分解能を改善するために、ユーザと関連付けられたクライアントデバイス上に表示されたビデオ刺激の刺激情報、ユーザが位置する環境の環境データ、クライアントデバイスの装置データなどに基づいて、ビデオストリームに対してデコンボリューションプロセスが行われる。次いで、眼測定パラメータは、第1の分解能よりも高い分解能で眼測定パラメータを予測するために、視線追跡装置を使用して取得された高分解能の眼測定パラメータに基づいて訓練された予測モデルを使用して処理される。
【特許請求の範囲】
【請求項1】
ユーザと関連付けられたクライアントデバイスから、該ユーザの顔のビデオを含むビデオストリームを取得する工程;
第1の瞳孔中心、第1の虹彩データ、および第1の眼瞼データを含む該ユーザの眼の第1の眼測定パラメータセットを取得するために第1の予測モデルに入力として該ビデオストリームを提供する工程であって、該第1の眼測定パラメータセットが第1の分解能で取得される、工程;
該第1の眼測定パラメータセットの一部として、調整された眼瞼データ、調整された瞳孔中心および調整された瞳孔半径を取得するために、該第1の眼瞼データ、該第1の瞳孔中心、刺激データおよび環境データに基づいて該ビデオストリームをデコンボリューションする工程であって、該刺激データが、該クライアントデバイスと関連付けられたディスプレイ上に提示されたビデオ刺激の時空間情報および光学情報を含み、該環境データが、該クライアントデバイスがある環境内の光条件を含む、工程;ならびに
第2の分解能で第2の眼測定パラメータセットを取得するために第2の予測モデルに入力として該第1の眼測定パラメータセットを提供する工程であって、該第2の眼測定パラメータセットが、(a)第2の瞳孔中心と、(b)第2の瞳孔半径と、(c)虹彩半径、虹彩並進、および虹彩回転を含む第2の虹彩データとを含み、該第2の分解能が該第1の分解能よりも高い、工程
を含む、方法。
【請求項2】
前記第1の分解能がピクセル値または他のより低い分解能の値で測定され、前記第2の分解能がサブピクセル値で測定される、請求項1記載の方法。
【請求項3】
前記第2の予測モデルに前記入力を提供する工程が、
前記第2の分解能で前記第2の眼測定パラメータセットを予測するために複数のデータセットを使用して前記第2の予測モデルを訓練することであって、各データセットが、指定されたユーザの顔のビデオ、前記第1の分解能で取得された前記第1の眼測定パラメータセットに対応する第1の値セット、および前記第2の分解能で取得された前記第2の眼測定パラメータセットに対応する第2の値セットを有するラベルのセットを含む、こと
を含む、
請求項1記載の方法。
【請求項4】
前記第2の眼測定パラメータセットに対応する前記第2の値セットが、前記指定されたユーザの前記顔のビデオに対して前記第2の分解能で前記第2の眼測定パラメータセットを取得するように構成された視線追跡装置を使用して取得される、請求項3記載の方法。
【請求項5】
前記ビデオストリームをデコンボリューションする工程が、
前記第1の眼瞼データ、前記第1の瞳孔中心、前記刺激データおよび前記環境データに基づいてデコンボリューションプロセスの点像分布関数を決定すること;ならびに
前記調整された眼瞼データ、前記調整された瞳孔中心および前記調整された瞳孔半径を取得するために該点像分布関数を使用して前記ビデオストリームをデコンボリューションすること
を含む、
請求項1記載の方法。
【請求項6】
前記ビデオストリームをデコンボリューションする工程が、前記第1の瞳孔中心および眼瞼境界の位置の予測の最大尤度に基づいて、前記調整された眼瞼データ、前記調整された瞳孔中心および前記調整された瞳孔半径を決定することを含む、請求項5記載の方法。
【請求項7】
前記調整された眼瞼データを決定することが、
前記眼の眼瞼の放物線適合を取得するために、最尤推定曲線適合操作を使用して前記第1の眼瞼データを処理すること、および
前記調整された眼瞼データとして該放物線適合に沿った複数の座標を取得すること
を含む、
請求項5記載の方法。
【請求項8】
前記調整された瞳孔中心を決定することが、
前記最大尤度に基づいて前記第1の瞳孔中心に対して複数の位置を決定すること、
1組の制約および1組の仮定に基づいて該複数の位置の各々について瞳孔の形状を生成すること、
該瞳孔の該複数の形状の各々にスコアを割り当てること、
該複数の形状のうちの指定された形状を、基準を満たす該指定された形状の指定されたスコアに基づいて選択すること、ならびに
該指定された形状の中心および半径を、それぞれ、前記調整された瞳孔中心および前記調整された瞳孔半径として決定すること
を含む、
請求項6記載の方法。
【請求項9】
前記第1の眼測定パラメータセットを取得するために前記第1の予測モデルに前記ビデオストリームを提供する工程が、
前記第1の予測モデルに前記ビデオストリームを入力する前に、前記ビデオストリームを処理して、前記第1の予測モデルが前記第1の眼測定パラメータセットを抽出するのに適したフォーマットにすること
を含む、
請求項1記載の方法。
【請求項10】
前記ビデオストリームを処理することが、
ノイズを低減し、前記ビデオの色および明るさを調整し、前記ビデオの分解能を改善すること
を含む、
請求項9記載の方法。
【請求項11】
前記第1の眼測定パラメータセットを取得するために前記第1の予測モデルに前記ビデオストリームを提供する工程が、
前記ユーザの前記眼の検眼データを含む、前記ユーザと関連付けられたユーザデータを取得すること、および
該ユーザデータに基づいて前記第1の眼測定パラメータセットに補正を適用すること
をさらに含む、
請求項1記載の方法。
【請求項12】
前記第1の虹彩データが、(a)虹彩の形状を表す複数の座標、および(b)第1の虹彩並進の座標を含む、請求項1記載の方法。
【請求項13】
前記第2の予測モデルに前記第1の眼測定パラメータセットを提供する工程が、
前記虹彩の前記形状の楕円適合を取得するために、最尤推定ベースの曲線適合操作を使用して前記第1の虹彩データを処理すること;および
該楕円適合に基づいて第1の虹彩回転および第1の虹彩半径を決定すること
を含む、
請求項12記載の方法。
【請求項14】
前記第1の眼瞼データが、前記眼の眼瞼を表す形状の複数の座標を含む、請求項1記載の方法。
【請求項15】
前記第1の眼測定パラメータセットが時系列データとして取得され、前記第1の眼測定パラメータセットの第1の値セットが前記ビデオの第1の時点に対して取得され、前記第1の眼測定パラメータセットの第2の値セットが前記ビデオの第2の時点に対して取得される、請求項1記載の方法。
【請求項16】
前記第1の眼測定パラメータセットが複数の座標系において取得される、請求項1記載の方法。
【請求項17】
前記複数の座標系が、前記クライアントデバイスと関連付けられたディスプレイの中心に原点が位置する装置座標系を含む、請求項16記載の方法。
【請求項18】
前記複数の座標系が、前記ユーザの前記顔を定義する平面上にz方向の変位によって投影される眼の間の中心に原点が位置する頭部座標系を含む、請求項16記載の方法。
【請求項19】
前記第2の眼測定パラメータセットに基づいて追加の眼測定パラメータセットを決定する工程であって、該追加の眼測定パラメータセットが、瞳孔可視比率、虹彩可視比率、瞳孔被覆非対称性、または虹彩被覆非対称性のうちの少なくとも1つを含む、工程
をさらに含む、請求項1記載の方法。
【請求項20】
コンピュータによって実行されると、
ユーザと関連付けられたクライアントデバイスから、該ユーザの顔のビデオを含むビデオストリームを取得する工程;
第1の瞳孔中心、第1の虹彩データ、および第1の眼瞼データを含む該ユーザの眼の第1の眼測定パラメータセットを取得するために第1の予測モデルに入力として該ビデオストリームを提供する工程;
該第1の眼測定パラメータセットの一部として、調整された眼瞼データ、調整された瞳孔中心および調整された瞳孔半径を取得するために、該第1の眼瞼データ、該第1の瞳孔中心、刺激データおよび環境データに基づいて該ビデオストリームをデコンボリューションする工程であって、該刺激データが、該クライアントデバイスと関連付けられたディスプレイ上に提示されたビデオ刺激の時空間情報および光学情報を含み、該環境データが、該クライアントデバイスがある環境内の光条件を含む、工程;ならびに
該第1の眼測定パラメータセットよりも高い分解能で第2の眼測定パラメータセットを取得するために第2の予測モデルに入力として該第1の眼測定パラメータセットを提供する工程であって、該第2の眼測定パラメータセットが、第2の瞳孔中心、第2の瞳孔半径、虹彩半径、虹彩並進、および虹彩回転を含む、工程
を含む方法を該コンピュータに実行させる命令
を有する、非一時的コンピュータ可読媒体。
【請求項21】
前記第2の予測モデルに前記入力を提供する工程が、
前記第2の眼測定パラメータセットを予測するために複数のデータセットを使用して前記第2の予測モデルを訓練することであって、各データセットが、指定されたユーザの顔のビデオ、指定された分解能で取得された前記第1の眼測定パラメータセットに対応する第1の値セット、および該指定された分解能よりも高い分解能で取得された前記第2の眼測定パラメータセットに対応する第2の値セットを有するラベルのセットを含む、こと
を含む、
請求項20記載のコンピュータ可読媒体。
【請求項22】
前記第2の眼測定パラメータセットに対応する前記第2の値セットが、前記指定された分解能よりも高い分解能で前記第2の眼測定パラメータセットを取得するように構成された視線追跡装置を使用して取得される、請求項21記載のコンピュータ可読媒体。
【請求項23】
前記ビデオストリームをデコンボリューションする工程が、
前記第1の眼瞼データ、前記第1の瞳孔中心、前記刺激データおよび前記環境データに基づいてデコンボリューションプロセスの点像分布関数を決定すること;ならびに
前記調整された眼瞼データ、前記調整された瞳孔中心および前記調整された瞳孔半径を取得するために該点像分布関数を使用して前記ビデオストリームをデコンボリューションすること
を含む、
請求項20記載のコンピュータ可読媒体。
【請求項24】
前記ビデオストリームをデコンボリューションすることが、前記第1の瞳孔中心および眼瞼境界の位置の予測の最大尤度に基づいて、前記調整された眼瞼データ、前記調整された瞳孔中心および前記調整された瞳孔半径を決定することを含む、請求項23記載のコンピュータ可読媒体。
【請求項25】
前記調整された眼瞼データを決定することが、
前記眼の眼瞼の放物線適合を取得するために、最尤推定曲線適合操作を使用して前記第1の眼瞼データを処理すること、および
前記調整された眼瞼データとして該放物線適合に沿った複数の座標を取得すること
を含む、
請求項24記載のコンピュータ可読媒体。
【請求項26】
前記調整された瞳孔中心を決定することが、
前記最大尤度に基づいて前記第1の瞳孔中心に対して複数の位置を決定すること、
1組の制約および1組の仮定に基づいて該複数の位置の各々について瞳孔の形状を生成すること、
該瞳孔の該複数の形状の各々にスコアを割り当てること、
該複数の形状のうちの指定された形状を、基準を満たす該指定された形状の指定されたスコアに基づいて選択すること、ならびに
該指定された形状の中心および半径を、それぞれ、前記調整された瞳孔中心および前記瞳孔半径として決定すること
を含む、
請求項24記載のコンピュータ可読媒体。
【請求項27】
前記第1の眼測定パラメータセットが時系列データとして取得され、前記第1の眼測定パラメータセットの第1の値セットが前記ビデオの第1の時点に対して取得され、前記第1の眼測定パラメータセットの第2の値セットが前記ビデオの第2の時点に対して取得される、請求項20記載のコンピュータ可読媒体。
【請求項28】
前記第2の眼測定パラメータセットに基づいて追加の眼測定パラメータセットを決定する工程であって、該追加の眼測定パラメータセットが、瞳孔可視比率、虹彩可視比率、瞳孔被覆非対称性、または虹彩被覆非対称性のうちの少なくとも1つを含む、工程
をさらに含む、請求項20記載のコンピュータ可読媒体。
【請求項29】
命令セットを記憶したメモリと、
該命令セットを実行して、
ユーザと関連付けられたクライアントデバイスから、該ユーザの顔のビデオを含むビデオストリームを取得する工程;
第1の分解能で該ユーザの眼の、第1の瞳孔中心、第1の虹彩データ、および第1の眼瞼データを含む第1の眼測定パラメータセットを出力するために第1の複数のデータセットを使用して第1の予測モデルを訓練する工程であって、該第1の複数のデータセットのうちの各データセットが、指定されたユーザの顔のビデオおよび該第1の分解能で取得された眼測定パラメータセットを含む、工程;
該第1の眼測定パラメータセットの一部として、調整された眼瞼データ、調整された瞳孔中心および調整された瞳孔半径を取得するために、刺激データおよび環境データに基づいて該ビデオストリームをデコンボリューションする工程;ならびに
該第1の分解能よりも高い第2の分解能で第2の眼測定パラメータセットを出力するために第2の複数のデータセットを使用して第2の予測モデルを訓練する工程であって、該第2の眼測定パラメータセットが、第2の瞳孔中心、第2の瞳孔半径、虹彩半径、虹彩並進、および虹彩回転を含み、各データセットが、指定されたユーザの顔のビデオ、該第1の分解能で取得された該第1の眼測定パラメータセットに対応する第1の値セット、および該第2の分解能で取得された該第2の眼測定パラメータセットに対応する第2の値セットを有するラベルのセットを含む、工程
の方法をシステムに行わせるように構成された、プロセッサと
を備える、前記システム。
【発明の詳細な説明】
【技術分野】
【0001】
関連特許出願の相互参照
本特許出願は、2021年5月3日に出願された「MEASURING HIGH RESOLUTION EYE MOVEMENTS USING BLIND DECONVOLUTION TECHNIQUES」という名称の米国仮特許出願第63/183,388号の恩典を主張し、その全体が参照により本明細書に組み入れられる。
【背景技術】
【0002】
背景
微小眼球運動と神経障害の進行との間の関連性を実証するいくつかの論文が発表されている(例えば、以下の参考文献の項を参照されたい)。典型的には、これらの眼球運動は、専用の装置(例えば、赤外線視線追跡装置、瞳孔計、または他のそのような装置)を使用して十分に制御された実験室環境(例えば、動きなし、制御された周囲光、または他のそのようなパラメータ)で測定され、これは設定が難しく、法外に高くつき、または制御された環境を作成もしくは維持するためにかなりの時間および労力を伴う可能性がある。いくつかの先行技術は、これらの眼球運動を取得するためにニューラルネットワークを使用するが、測定に必要な分解能(例えば、約0.1mmまたはより高い分解能)を達成しない。さらに、先行技術は、制御された周囲条件で特定の標準化された刺激(例えば、制御された光刺激、特定のパラメータを測定するために提供される刺激、患者が意識する必要がある刺激、または他のそのような刺激)に対する眼の反応を測定することに焦点を合わせている。これらおよび他の欠点が存在する。
【発明の概要】
【0003】
概要
開示の態様は、標準的なカメラ(例えば、スマートフォンカメラ、ウェブカメラ、または別のビデオキャプチャデバイス)によって取り込まれたビデオを用いた、制御された設定を必要としない、微小眼球パラメータまたは眼球運動の測定を容易にするためのシステムおよび方法に関する。態様は、様々な高分解能の眼測定パラメータを取得する。例えば、態様は、眼瞼境界の座標などの眼瞼データを取得し得る。別の例では、態様は、虹彩並進または虹彩中心、虹彩回転、虹彩半径、虹彩可視比率、または虹彩被覆非対称性などの虹彩データを取得する。さらに別の例では、態様は、瞳孔中心、瞳孔半径、瞳孔可視比率、または瞳孔被覆非対称性などの瞳孔データを取得する。眼測定パラメータは、高分解能で、例えば、サブピクセルレベル、0.1mm、または他のより高い分解能で取得される。いくつかの態様では、眼測定パラメータは、瞳孔反応パラメータ、視線、サッカード、固視などといった眼球運動測定値を決定する際に使用される場合があり、これらは、神経学的状態または障害の進行を診断または測定するためにさらに使用され得るデジタルバイオマーカを生成するために使用され得る。デジタルバイオマーカは、客観的で、高感度で、正確であり、疾患の進行と相関しており、遠隔で、さらには分散方式で行われ得る。眼測定パラメータまたは眼球運動パラメータは、ユーザ装置上でユーザに提示される非標準刺激(例えば、患者が意識する必要がない刺激、複数のパラメータを測定するために使用され得る刺激、ユーザによって観察されている表示装置上で再生されているビデオなどの刺激、または制御された周囲照明条件を必要としない他のそのような刺激)を使用して取得され得る。
【0004】
いくつかの態様では、開示の態様は、確率的方法(例えば、最尤推定や他のそのような方法)または信号処理方法(例えば、ブラインドデコンボリューションや他のそのような方法)を使用して、分解能を高め、制御されていない設定で標準的なカメラによって取り込まれた眼球運動のビデオフレームシーケンスに存在するデータ層に対して超高分解能で(例えば、サブピクセルレベル、0.1mm、または他のより高い分解能で)眼測定パラメータ、眼球運動パラメータを確認し得る。開示の態様は、予測モデル(例えば、ニューラルネットワークなどの機械学習(ML)モデル)を使用して、高分解能で1つまたは複数の眼測定パラメータを取得し得る。
【0005】
本発明の様々な他の局面、特徴、および利点は、本発明の詳細な説明および添付の図面を通して明らかになるであろう。前述の一般的な説明および以下の詳細な説明は両方とも例示であり、本発明の範囲を限定するものではないことも理解されたい。本明細書および特許請求の範囲で使用される場合、単数形の「1つの(a)」、「1つの(an)」、および「その(the)」は、文脈上明らかに他の意味に解すべきでない限り、複数への言及を含む。さらに、本明細書および特許請求の範囲で使用される場合、「または」という用語は、文脈上明らかに他の意味に解すべきでない限り、「および/または」を意味する。
【図面の簡単な説明】
【0006】
図1A】様々な態様と一致する、ユーザの眼測定パラメータおよび眼球運動の測定を容易にするためのシステムを示す。
図1B】様々な態様と一致する、眼と関連付けられた高分解能(HR)の眼測定パラメータを抽出するプロセスを示す。
図2】1つまたは複数の態様による、眼測定パラメータの予測を容易にするように構成された機械学習モデルを示す。
図3図3Aは、様々な態様と一致する、装置座標系を例示する。図3Bは、様々な態様と一致する、頭部座標系を例示する。
図4】様々な態様と一致する、高分解能で眼測定パラメータを取得するためのプロセスの流れ図である。
図5】様々な態様と一致する、調整された眼測定パラメータを取得するためにビデオストリームをデコンボリューションするためのプロセスの流れ図である。
図6】開示の態様の特徴を実施するために使用され得るコンピュータシステムのブロック図である。
【発明を実施するための形態】
【0007】
詳細な説明
以下の記述には、本発明の態様の完全な理解を提供するために、説明を目的として多数の具体的な詳細が記載される。しかしながら、本発明の態様は、これらの特定の詳細なしで、または同等の構成を用いて実施されてもよいことが当業者には理解されよう。他の場合には、本発明の態様を不必要に不明瞭にすることを避けるために、周知の構造および装置がブロック図形式で示される。
【0008】
図1Aは、様々な態様と一致する、ユーザの眼測定パラメータおよび眼球運動の測定を容易にするためのシステム100を示している。図1Bは、様々な態様と一致する、眼と関連付けられた高分解能(HR)の眼測定パラメータを抽出するプロセス175を示している。図1Aに示すように、システム100は、コンピュータシステム102、クライアントデバイス106、または他の構成要素を含んでもよい。例として、コンピュータシステム102は、サーバ、パーソナルコンピュータ(PC)、ラップトップコンピュータ、タブレットコンピュータ、ハンドヘルドコンピュータ、または他のコンピュータ機器などの任意のコンピューティングデバイスを含んでもよい。コンピュータシステム102は、ビデオ管理サブシステム112、眼測定パラメータサブシステム(OPS)114、マーカサブシステム116、または他の構成要素を含んでもよい。クライアントデバイス106は、任意のタイプのモバイル端末、固定端末、または他の装置を含んでもよい。例として、クライアントデバイス106は、デスクトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、スマートフォン、ウェアラブルデバイス、または他のクライアントデバイスを含んでもよい。ユーザ、例えばユーザ140は、例えば、クライアントデバイス106を利用して、1つまたは複数のサーバ、またはシステム100の他の構成要素と対話し得る。カメラ120は、ユーザ140の静止画像またはビデオ画像、例えば、ユーザ140の顔のビデオを取り込み得る。カメラ120は、クライアントデバイス106(例えば、スマートフォンカメラ)と一体化されていてもよいし、クライアントデバイス106に接続されたスタンドアロンカメラ(例えば、ウェブカメラや他のそのようなカメラ)であってもよい。
【0009】
システム100の構成要素は、通信ネットワーク150(例えば、インターネット、携帯電話ネットワーク、モバイルボイスもしくはデータネットワーク、ケーブルネットワーク、公衆交換電話網、または他のタイプの通信ネットワーク、または通信ネットワークの組合せ)を介してシステム100の1つまたは複数の構成要素と通信し得る。通信ネットワーク150は、無線または有線のネットワークであり得る。一例として、クライアントデバイス106とコンピュータシステム102は、無線で通信し得る。
【0010】
本明細書では、1つまたは複数の動作がコンピュータシステム102の特定の構成要素によって行われるものとして説明されているが、それらの動作は、いくつかの態様では、コンピュータシステム102の他の構成要素またはシステム100の他の構成要素によって行われてもよいことに留意されたい。一例として、本明細書では、1つまたは複数の動作がコンピュータシステム102の構成要素によって行われるものとして説明されているが、それらの動作は、いくつかの態様では、クライアントデバイス106の構成要素によって行われてもよい。
【0011】
本明細書では機械学習モデルに関していくつかの態様が説明されているが、他の態様では、機械学習モデルの代わりに、または機械学習モデルに加えて、他の予測モデル(例えば、統計モデルや他の分析モデル)が使用されてもよい(例えば、1つまたは複数の態様において統計モデルが機械学習モデルに取って代わり、非統計モデルが非機械学習モデルに取って代わる)ことに留意されたい。
【0012】
いくつかの態様では、システム100は、カメラ120によって取り込まれた眼球運動のビデオストリーム125(例えば、眼の画像のフレームのシーケンス)を使用して、高分解能(例えば、サブピクセルレベル、0.1mmまたはより高い分解能)でのユーザ140の眼測定パラメータ170~178の決定を容易にする。ビデオ管理サブシステム112は、クライアントデバイス106からビデオストリーム125を取得し、ビデオストリーム125をデータベース132に記憶する。OPS114は、ビデオストリーム125を処理して、高分解能で、パラメータの中でも特に、眼の各々の(i)瞳孔中心176、(ii)瞳孔半径178、(iii)虹彩半径174、(iv)虹彩並進172、および(v)虹彩回転170などの眼測定パラメータを抽出する。これらの眼測定パラメータは、非標準刺激(例えば、クライアントデバイス106に表示されたビデオや画像)に反応する眼球運動を示す眼球運動パラメータ(例えば、瞳孔反応パラメータや視線パラメータ)を決定し得る。マーカサブシステム116は、1つまたは複数の神経障害の指標として機能し得る眼球運動パラメータに基づいて、デジタルバイオマーカ(例えば、パラメータ)を生成し得る。
【0013】
ビデオ管理サブシステム112は、いくつかのフォーマット(例えば、WebM、Windows Media Video、Flash Video、AVI、QuickTime、AAC、MPEG-4、または別のファイルフォーマット)のうちのいずれかでビデオストリーム125をデータベース132に記憶し得る。ビデオ管理サブシステム112はまた、眼測定パラメータを生成するためのOPS114への入力(例えば、リアルタイムで)としてビデオストリーム125を提供してもよい。いくつかの態様では、ビデオ管理サブシステム112は、ビデオストリーム125をOPS114による眼測定パラメータ抽出に適したフォーマットに変換するために、ビデオストリーム125の前処理191を行い得る。例えば、ビデオ管理サブシステム112は、OPS114用に前処理されたビデオストリーム151を生成するために、ビデオストリーム125に対して抽出、変換、およびロード(ETL)プロセスを行ってもよい。ETLプロセスは、典型的には、データが最初に抽出され、次いで変換され(例えば、クリーニングされ、無害化され、スクラブされ)、最後にターゲットシステムにロードされる多相プロセスである。データは、1つまたは複数のソースから照合されてもよく、1つまたは複数の宛先に出力されてもよい。一例では、ビデオ管理サブシステム112によって行われるETLプロセスは、ビデオストリーム125内の色および明るさ(例えば、ホワイトバランス)を調整することを含み得る。別の例では、ETLプロセスは、ビデオストリーム125からのノイズを低減することを含み得る。さらに別の例では、ETLプロセスは、例えば、低分解能画像のシーケンスから高分解能画像(またはシーケンス)を復元する1つまたは複数のマルチフレーム超分解能技術を実施することによって、マルチフレームデータに基づいてビデオストリーム125の分解能を改善することを含み得る。いくつかの態様では、超分解能は、複数のぼやけた低分解能画像から単一の高分解能画像(またはシーケンス)を取得するためのデジタル画像処理技術である。超分解能の基本的な考え方は、同じシーンの低分解能画像は、相対的なサブピクセルシフトのために異なる情報を含み、よって、画像融合によって、より高い空間情報を有する高分解能画像を再構成することができる、というものである。ビデオ管理サブシステム112は、上記の前処理動作および他の同様の前処理動作を行って、OPS114が眼測定パラメータ抽出を行うのに適したフォーマットの前処理されたビデオストリーム151を生成し得る。
【0014】
いくつかの態様では、ビデオ管理サブシステム112は、予測モデルを介して(例えば、クライアントデバイス106から取得されたビデオストリーム125に基づいて)前処理されたビデオストリーム151を取得し得る。一例として、ビデオ管理サブシステム112は、クライアントデバイス106から取得されたビデオストリーム125を予測モデルに入力してもよく、次いで予測モデルは前処理されたビデオストリーム151を出力する。いくつかの態様では、システム100は、前処理されたビデオストリームの生成を容易にするように予測モデルを訓練または構成し得る。いくつかの態様では、システム100は、ユーザと関連付けられたクライアントデバイスからビデオストリーム(例えば、ユーザ140の顔のビデオを有するビデオストリーム125)を取得し、そのような情報を、予測(例えば、色または明るさが調整された、ビデオの分解能が改善されたなど、前処理されたビデオストリーム151)を生成するための予測モデルへの入力として提供し得る。システム100は、予測モデルに参照フィードバックを提供してもよく、予測モデルは、予測および参照フィードバックに基づいて予測モデルの1つまたは複数の部分を更新し得る。一例として、予測モデルがクライアントデバイスから取得されたビデオストリームに基づいて予測を生成する場合には、そのような入力ビデオストリームと関連付けられた1つまたは複数の前処理されたビデオストリームが、予測モデルへの参照フィードバックとして提供され得る。一例として、(例えば、前処理されたビデオのユーザ確認を介して、そのような目標を実証する1つまたは複数の後続のアクションを介してなど)1つもしくは複数のユーザ応答または1つもしくは複数のサービスを介した1つもしくは複数の他のユーザアクションに基づいて、OPS114による眼測定パラメータ抽出に適したビデオストリームとして特定の前処理されたビデオストリームが検証され得る。前述のユーザ入力情報は、予測モデルに前処理されたビデオストリームの予測を生成させるための予測モデルへの入力として提供されてもよく、検証された前処理されたビデオストリームは、予測モデルを更新するために予測モデルへの参照フィードバックとして提供されてもよい。このようにして、例えば、予測モデルは、より正確な予測を生成するように訓練または構成され得る。いくつかの態様では、訓練データセットは、各データ項目が少なくともクライアントデバイスから取得されたビデオおよびグラウンドトゥルースとしての対応する前処理されたビデオを含むいくつかのデータ項目を含み得る。
【0015】
いくつかの態様では、予測モデルを更新するための前述の動作は、1人または複数のユーザと関連付けられた訓練データセット(例えば、所与のユーザについて予測モデルを特に訓練もしくは構成するための所与のユーザと関連付けられた訓練データセット、所与のグループについて予測モデルを特に訓練もしくは構成するための所与のクラスタ、個体群、もしくは他のグループと関連付けられた訓練データセット、任意の所与のユーザセットと関連付けられた訓練データセット、または他の訓練データセット)を用いて行われ得る。よって、いくつかの態様では、予測モデルの更新に続いて、システム100は、予測モデルを使用して、OPS114による眼測定パラメータ抽出を容易にするための前処理されたビデオストリームの生成を容易にし得る。
【0016】
ビデオ管理サブシステム112は、ビデオストリーム125をOPS114に入力する前に、またはビデオストリーム125をデータベース132に記憶した後に、前処理されたビデオストリーム151を生成し得る。さらに、ビデオ管理サブシステム112は、前処理されたビデオストリーム151をビデオストリーム125と共にデータベース132に記憶してもよい。
【0017】
OPS114は、ビデオストリーム125または前処理されたビデオストリーム151を処理して、ユーザ140の眼145の特性である眼測定パラメータ(例えば、眼測定パラメータ170~178)を抽出、決定、導出、または生成し得る。いくつかの態様では、眼測定パラメータは、(i)瞳孔中心176、(ii)瞳孔半径178、(iii)虹彩半径174、(iv)虹彩並進172、および(v)虹彩回転170などのパラメータを含む。瞳孔中心176は、瞳孔の中心であり、座標系における瞳孔中心の位置を特定する座標(例えば、三次元(3D)横方向変位ベクトル(x,y,z))を使用して表され得る。瞳孔半径178は、瞳孔の半径であってもよく、距離単位を有するスカラーとして表され得る。虹彩並進172(または虹彩並進160)は、虹彩の中心であり、座標系における虹彩中心の位置を特定する座標(例えば、3D横方向変位ベクトル(x,y,z))を使用して表され得る。虹彩半径174(または虹彩半径162)は、虹彩の半径であってもよく、距離単位を有するスカラーとして表され得る。いくつかの態様では、虹彩半径174は、ヒト集団において小さな分散を有する(例えば、虹彩半径を考慮した10%~15%がヒト集団の間で11mm~13mmの幅がある)と仮定される。虹彩回転170(または虹彩回転158)は、虹彩の回転を表し、(例えば、虹彩円平面に対して垂直な)虹彩法線ベクトルとして取得される。いくつかの態様では、虹彩回転170は、装置座標系における3Dベクトル(例えば、x,y,z)に投影され得るか、または頭部座標系における2Dベクトル(例えば、方位角および仰角)によって表され得る。いくつかの態様では、OPS114は、図3Aおよび図3Bにそれぞれ例示されている装置座標系や頭部座標系などの、1つまたは複数の座標系における眼測定パラメータの座標を取得し得る。
【0018】
図3Aは、様々な態様と一致する、装置座標系を例示している。いくつかの態様では、装置座標系はデカルト座標系であり、クライアントデバイス(例えば、クライアントデバイス106)のディスプレイ302の中心が、(0,0,0)としての(x,y,z)座標を有する原点304とみなされる。装置座標系は、3つの直交する軸、例えば、ディスプレイ302の水平縁部の方向のx軸、ディスプレイ302の垂直縁部の方向の、x軸に垂直なy軸、およびディスプレイ302の平面に垂直な方向のz軸を定義する。
【0019】
図3Bは、様々な態様と一致する、頭部座標系を例示している。いくつかの態様では、頭部座標系は、顔境界多角形内の以下の点、すなわち、顔多角形内の最も左、最も右、および最も上の(図3Bの点1、2および3)検出可能点を含む平面によって定義される。例えば、最も上の点3は、顔境界多角形内の最も上の検出可能点として定義され得、y軸と頭部との間の断面内に位置し得る。顔画像を取得するとき、横軸(x)は、最も左の点と最も右の点との間の線として定義され得、定義平面上のその線に対する垂直ベクトルが縦軸(y)として定義され得る。奥行き軸(z)は、x軸とy軸の両方に直交し得る。頭部座標系の原点(図3Bの点0)は、z方向の変位によって定義平面上に投影される、眼の間の中心に位置する。いくつかの態様では、虹彩回転は、2つの角度(例えば、方位角および仰角)が与えられると、眼球回転として頭部座標系上に表され得る。
【0020】
OPS114に関して、OPS114は、頭部座標系または装置座標系を含む座標系のいずれかにおける眼測定パラメータの座標を表すように構成され得る。さらに、OPS114は、頭部座標系から装置座標系に、またはその逆など、座標をある座標系から別の座標系に変換するように構成されてもよい。
【0021】
OPS114はまた、両眼の上眼瞼境界および下眼瞼境界の座標などの眼瞼データ164も取得し得る。眼瞼データ164は、眼測定パラメータを決定する際、またはその精度を改善する際に使用され得る。いくつかの態様では、OPS114は、上記のデータ(例えば、眼測定パラメータ170~178、眼瞼データ164または他のデータ)を時系列データとして取得し得る。例えば、OPS114は、ビデオストリーム125の第1の時点の眼測定パラメータ170~178の第1の値セット、ビデオストリーム125の第2の時点の眼測定パラメータ170~178の第2の値セットなどを抽出し得る。すなわち、OPS114は、指定された時間間隔(例えば、ミリ秒ごと、数ミリ秒ごと、または他の時間分解能)で眼測定パラメータ170~178を連続的に抽出し得る。さらに、OPS114は、上記のデータをユーザ140の眼145の一方または両方について取得してもよい。
【0022】
OPS114は、前処理されたビデオストリーム151から上記の眼測定パラメータ(例えば、眼測定パラメータ170~178)を抽出するためにいくつかのプロセスを行い得る。例えば、抽出プロセス192において、OPS114は、虹彩データ153、眼瞼データ155、および瞳孔中心157などの第1の眼測定パラメータセットを取得し得る。いくつかの態様では、OPS114は、前処理されたビデオストリーム151に対してコンピュータビジョン技術を使用して、カメラ120に対するユーザ140の顔の並進および回転をモデル化し、顔の眼および口を識別し得る。眼の位置を特定した後、OPS114は、フレームごとに眼瞼データ155(例えば、眼瞼を表す多角形を記述する点の配列の座標)を(例えば、それらのエッジが二次関数で近似され得るという事実を使用して)取得し得る。いくつかの態様では、OPS114は、時系列としての眼瞼の位置に基づいて任意の時点に虹彩半径の内または外にあるピクセルを決定することによって虹彩データ153(例えば、虹彩を表す楕円体などの形状)を決定し得る。いくつかの態様では、OPS114は、内または外にあるピクセルを決定する際に、虹彩および瞳孔が強膜(例えば、眼の白色部分)と比較して相対的に均一で暗い色を有する楕円体であるとみなすように構成され得る。虹彩データ153は、虹彩(例えば、楕円)を表す形状の左座標および右座標に対応する第1の座標および第2の座標、形状の上座標および下座標に対応する第3の座標および第4の座標、ならびに虹彩の中心に対応する第5の座標など、いくつかの座標を含み得る。瞳孔中心157もまた、眼瞼データ155および虹彩データ153の時系列に基づいて決定され得る。いくつかの態様では、瞳孔中心157は、瞳孔の中心の位置を表す座標を含み得る。
【0023】
いくつかの態様では、OPS114は、抽出プロセス192において予測モデルを実施してもよく、予測モデルを介して(例えば、ビデオストリーム125または前処理されたビデオストリーム151に基づいて)第1の眼測定パラメータセットを取得し得る。一例として、OPS114は、ビデオストリーム125または前処理されたビデオストリーム151を予測モデルに入力してもよく、次いで予測モデルは、第1の眼測定パラメータセットを出力する。いくつかの態様では、システム100は、第1の眼測定パラメータセットの生成を容易にするように予測モデルを訓練または構成し得る。いくつかの態様では、システム100は、ユーザの顔のビデオを有するビデオストリーム(例えば、ビデオストリーム125または前処理されたビデオストリーム151)を取得し、そのような情報を、予測(例えば、虹彩データ、眼瞼データ、瞳孔中心などといった第1の眼測定パラメータセット)を生成するための予測モデルへの入力として提供し得る。システム100は、予測モデルに参照フィードバックを提供してもよく、予測モデルは、予測および参照フィードバックに基づいて予測モデルの1つまたは複数の部分を更新し得る。一例として、予測モデルがビデオストリーム125または前処理されたビデオストリーム151に基づいて予測を生成する場合には、そのような入力ビデオストリームと関連付けられた眼測定パラメータの第1が、予測モデルへの参照フィードバックとして提供され得る。一例として、特定の眼測定パラメータセットが、(例えば、眼測定パラメータセットのユーザ確認を介して、そのような目標を実証する1つまたは複数の後続のアクションを介してなど)適切な眼測定パラメータセットとして検証されてもよい。前述のユーザ入力情報は、予測モデルに第1の眼測定パラメータセットの予測を生成させるための予測モデルへの入力として提供されてもよく、検証された眼測定パラメータセットは、予測モデルを更新するために予測モデルへの参照フィードバックとして提供されてもよい。このようにして、例えば、予測モデルは、より正確な予測を生成するように訓練または構成され得る。
【0024】
いくつかの態様では、予測モデルを更新するための前述の動作は、1人または複数のユーザと関連付けられた訓練データセット(例えば、所与のユーザについて予測モデルを特に訓練もしくは構成するための所与のユーザと関連付けられた訓練データセット、所与のグループについて予測モデルを特に訓練もしくは構成するための所与のクラスタ、個体群、もしくは他のグループと関連付けられた訓練データセット、任意の所与のユーザセットと関連付けられた訓練データセット、または他の訓練データセット)を用いて行われ得る。よって、いくつかの態様では、予測モデルの更新に続いて、システム100は、予測モデルを使用して、第1の眼測定パラメータセットの生成を容易にし得る。
【0025】
いくつかの態様では、OPS114はまた、ユーザと関連付けられた検眼データなどの他の要因に基づいて第1のパラメータセットをさらに調整、修正、または補正し得る。例えば、ユーザ140は、近視、遠視、乱視または他の視覚状態などの特定の視覚状態を有する場合があり、ユーザは、眼鏡やコンタクトレンズなどの補正レンズを装着している場合がある。OPS114は、ユーザ140のそのような検眼条件を考慮し、第1の眼測定パラメータセットのうちの1つまたは複数の値を補正、調整または修正し得る。いくつかの態様では、OPS114は、(例えば、データベース132に記憶された)ユーザプロファイルデータからユーザ140と関連付けられた検眼データを取得し得る。
【0026】
いくつかの態様では、OPS114は、虹彩データ153をさらにプロセス193を行って、虹彩回転158、虹彩並進160および虹彩半径162などの虹彩関連パラメータを抽出し得る。いくつかの態様では、上記の虹彩関連パラメータは、ML技術を使用して取得される。例えば、OPS114は、虹彩関連パラメータを推定するための最尤推定(MLE)ベースの曲線適合法を実施してもよい。虹彩データは、上記の虹彩関連パラメータを生成するMLEベースの曲線適合法(例えば、楕円適合、虹彩が円形であり、したがって2D平面に投影されると卵形/楕円であるという仮定に基づく)への入力として提供される。いくつかの態様では、統計学において、MLEは、尤度関数を最大化することによって確率分布のパラメータを推定する方法であり、そのため、仮定される統計モデルの下で観察されるデータが最も確からしい。尤度関数を最大化するパラメータ空間内の点は、最尤推定値と呼ばれる。いくつかの態様では、曲線適合操作は、制約(例えば、楕円適合)を受ける、一連のデータ点への最適解を有する曲線または数学関数を構築するプロセスである。曲線適合は、データへの正確な適合が必要とされる補間、またはデータにほぼ適合する「平滑」関数が構築される平滑化のいずれかを含み得る。適合された曲線は、データが利用できない関数の値を推測し、2つ以上の変数間の関係を要約するために、データ視覚化の補助として使用され得る。
【0027】
いくつかの態様では、MLEベースの曲線適合操作を行うことによって、虹彩関連パラメータの少なくとも一部の精度がさらに改善され得る。例えば、虹彩境界を描写する形状は、虹彩データ153内の形状の座標からさらに改善され、したがって、改善されたまたはより正確な虹彩半径162が決定され得る。いくつかの態様では、虹彩中心とも呼ばれる虹彩並進160は、虹彩データ153における虹彩中心の座標と同様である。いくつかの態様では、プロセス193において、OPS114は、異なる虹彩中心を考慮し、候補虹彩中心の各々に虹彩形状を構築し、形状の各々に信頼スコアを割り当て得る。そのような方法は異なる虹彩中心に対して繰り返されてもよく、スコア基準を満たすスコア(例えば、最良のスコア)を有する形状が選択される。いくつかの態様では、各反復のスコアは、既知の物理的制約および仮定に基づいて、検査されたパラメータセット(例えば、虹彩の形状、半径および中心の座標)の対数尤度を反映し得る。いくつかの態様では、物理的制約および仮定は、収束に向かって反復する前により良好に推定された初期条件を導入することによってMLEプロセスの効率を改善し得る。例えば、いくつかの仮定には、虹彩が円形であること(2Dとして平面に投影されたときに楕円/卵形として表されること、虹彩中心が円の重心に予想されること、虹彩と強膜との間の高いコントラスト、左眼と右眼との間の向きの類似度、予想される注視点に関する刺激ベースの仮定、およびビデオ刺激がユーザに示されるクライアントデバイスのディスプレイの明るさが含まれ得る。いくつかの態様では、物理的制約の例には、全体的な明るさ(光条件)における瞳孔散大依存性、ユーザがディスプレイを見るときの限定された顔の向きの範囲、まばたきが再調整時間に起因して不確実性を引き起こす可能性があること、または物理的に可能な可動域(顔と眼球の両方)が含まれ得る。
【0028】
OPS114は、ビデオストリーム125または前処理されたビデオストリーム151に対してデコンボリューションプロセス194を行って、眼瞼データ155や瞳孔中心166などのいくつかの眼測定パラメータを調整し(例えば、分解能を改善するか、または精度を向上させ)、瞳孔半径などの他の眼測定パラメータを決定し得る。いくつかの態様では、OPS114は、ブラインドデコンボリューションプロセスを行って、眼測定パラメータの精度を改善し得る。画像処理において、ブラインドデコンボリューションは、不十分に決定された、または未知の点像分布関数(PSF)の存在下で、単一の「ぼやけた」画像または「ぼやけた」画像のセットからのターゲットシーンの復元を可能にするデコンボリューション技術である。通常の線形および非線形のデコンボリューション技術は、既知のPSFを利用し得る。ブラインドデコンボリューションの場合、PSFは画像または画像セットから推定され、デコンボリューションが行われることが可能になる。ブラインドデコンボリューションは、反復的に行われてもよく、それによって反復ごとにPSFおよびシーンの推定が改善され、または非反復的に行われてもよく、その場合、アルゴリズムの1回の適用により、外部情報に基づいてPSFが抽出される。PSFを決定した後、PSFは、ビデオストリーム125または前処理されたビデオストリーム151をデコンボリューションして、調整された眼測定パラメータ(例えば、調整された眼瞼データ164、調整された瞳孔中心166または瞳孔半径168)を取得する際に使用され得る。
【0029】
いくつかの態様では、ブラインドデコンボリューションアルゴリズムを適用することは、画像/ビデオのぼやけの低減または除去、および(例えば、推定された畳み込みベクトル(例えば、PSF)のパラメータに基づく)放射照度の推定に役立ち得る。いくつかの態様では、推定放射照度は、ユーザ140の眼から反射された推定放射照度であり、これは眼がさらされている放射照度の指標である。ぼやけが低減または除去され、放射照度が取得された後、デコンボリューションプロセスが1回または複数回繰り返されて、(例えば、その精度または分解能が、デコンボリューションプロセス194の前の眼測定パラメータと比較して改善された)調整された眼測定パラメータが取得され得る。
【0030】
いくつかの態様では、PSFを決定する際に、ブラインドデコンボリューションプロセスは様々な要因を考慮する。例えば、OPS114は、(a)高時間分解能(例えば、1フレーム当たり30ms以上の速さ)のビデオストリーム125または前処理されたビデオストリーム151(例えば、時系列画像シーケンスである)、(b)クライアントデバイス106のディスプレイ上に提示された刺激に関する時空間情報や、スペクトル特性(例えば、色)および強度(例えば、明るさ)を含む刺激に関する光学特性情報などの刺激データ、(c)カメラ120から取得された情報を使用して測定することができる、ユーザが位置する環境(例えば、部屋)における照明などの環境データ、(d)クライアントデバイス106の向き情報、加速度センサなどのクライアントデバイス106と関連付けられた1つまたは複数のセンサからの情報などの装置データを入力してもよい。そのような要因は、PSFの効率的な計算に役立ち、ノイズの不確実性を最小限に抑え、全体的なデコンボリューションのより良好な精度につながる。
【0031】
いくつかの態様では、デコンボリューションプロセス194は、眼測定パラメータの精度をさらに改善するためにMLEプロセスと統合される。例えば、MLEプロセスは、眼瞼データ155の精度を改善するために使用され得る。上述のように、眼瞼データ155は、眼瞼の形状(例えば、多角形)を記述する点の配列の座標を含む。MLEプロセスは、調整された眼瞼データ164として眼瞼のより正確な表現を取得するために、眼瞼の形状が放物線状であるという制約の下で眼瞼データ155に対して放物曲線適合操作を行う。いくつかの態様では、調整された眼瞼データ164は、眼瞼の形状(例えば、放物線)を記述する点の集合の座標を含み得る。そのような調整された眼瞼データ164は、眼の両方の眼瞼および両眼に対して取得され得る。いくつかの態様では、OPS114は、調整された眼瞼データ164情報を使用して、たとえ一部が物理的に困難である場合(例えば、上眼瞼が瞳孔中心を覆っている場合や、虹彩の一部のみがカメラに露出している場合)であっても、瞳孔半径中心などの厳密な眼測定パラメータ値を予測し得る。
【0032】
いくつかの態様では、MLEプロセスは、瞳孔半径168などの瞳孔関連データを取得または改善するためにも使用され得る。いくつかの態様では、MLEベースの曲線適合操作を行うことによって、瞳孔関連データの精度がさらに改善され得る。いくつかの態様では、MLEプロセスにおいて、OPS114は、異なる瞳孔中心を考慮し、候補瞳孔中心の各々に瞳孔形状を構築し、形状の各々に信頼スコアを割り当て得る。そのような方法は異なる瞳孔中心に対して繰り返されてもよく、スコア基準を満たすスコア(例えば、最良のスコア)を有する形状が選択される。形状が選択されると、対応する中心が調整された瞳孔中心166として選択され、瞳孔半径168は、選択された形状および調整された瞳孔中心166に基づいて決定され得る。いくつかの態様では、各反復のスコアは、既知の物理的制約および仮定に基づいて、検査されたパラメータセット(例えば、瞳孔半径および中心)の対数尤度を反映し得る。いくつかの態様では、物理的制約および仮定は、収束に向かって反復する前により良好に推定された初期条件を導入することによってMLEプロセスの効率を改善し得る。例えば、いくつかの仮定には、瞳孔が円形であること(2D平面に投影されたときに楕円/卵形として表されること、瞳孔中心が円の重心に予想されること、左眼と右眼との間の向きの類似度、予想される注視点に関する刺激ベースの仮定、およびビデオ刺激がユーザに示されるクライアントデバイスのディスプレイの明るさが含まれ得る。いくつかの態様では、物理的制約の例には、全体的な明るさ(光条件)における瞳孔散大依存性、ユーザがディスプレイを見るときの限定された顔の向きの範囲、まばたきが再調整時間に起因して不確実性を引き起こす可能性があること、または物理的に可能な可動域(顔と眼球の両方)が含まれ得る。したがって、OPS114は、デコンボリューションプロセス194から、調整された眼瞼データ164、調整された瞳孔中心166、および瞳孔半径168などの調整された眼測定パラメータを取得し得る。いくつかの態様では、虹彩データを処理する上記のプロセス193およびデコンボリューションプロセス194は、以下の眼測定パラメータ、すなわち、調整された眼瞼データ164、調整された瞳孔中心166および瞳孔半径168、虹彩回転158、虹彩並進160および虹彩半径162(「第1の眼測定パラメータセット」とも呼ばれる)を第1の分解能で出力し得る。例えば、第1の分解能は、ピクセルレベルまたは他のより低い分解能であってもよい。
【0033】
いくつかの態様では、OPS114は、第1の眼測定パラメータセットの分解能をさらに改善し得る。例えば、OPS114は、分解能を第1の分解能から第2の分解能(例えば、0.1mm、サブピクセルレベル、または第1の分解能よりも高い他の何らかの分解能)に改善してもよい。いくつかの態様では、OPS114は、第2の分解能で第2の眼測定パラメータセット(例えば、眼測定パラメータ170~178)を取得するために、第1の眼測定パラメータセットを分解能改善プロセス195に入力し得る。いくつかの態様では、分解能改善プロセス195は、(例えば、第1の眼測定パラメータセットに基づいて)予測モデルを介して第2の眼測定パラメータセットを取得し得る。一例として、OPS114は、第1の分解能で取得された第1の眼測定パラメータセットを予測モデルに入力してもよく、次いで予測モデルは、第2の分解能で第2の眼測定パラメータセットを出力する。いくつかの態様では、システム100は、第2の眼測定パラメータセットの生成を容易にするように予測モデルを訓練または構成し得る。いくつかの態様では、システム100は、(a)ユーザの顔のビデオを有するビデオストリーム(例えば、ビデオストリーム125または前処理されたビデオストリーム151)、(b)(上述のように第1の分解能で取得された)第1の眼測定パラメータセット、(c)カメラ120から取得された情報を使用して測定することができる、ユーザが位置する環境(例えば、部屋)における照明などの環境データ、(d)クライアントデバイス106のディスプレイと関連付けられたディスプレイサイズ、ディスプレイ解像度、ディスプレイ明るさ、もしくはディスプレイコントラスト、カメラ120のモデルおよび製造者情報などの装置データ、または(e)人口統計、病歴、検眼データなどといったユーザ情報などの入力データを取得し得る。
【0034】
システム100は、そのような入力データを予測モデルに提供して予測(例えば、第2の分解能での虹彩回転170、虹彩並進172、虹彩半径174、瞳孔中心176、および瞳孔半径178などの第2の眼測定パラメータセット)を生成し得る。システム100は、予測モデルに参照フィードバックを提供してもよく、予測モデルは、予測および参照フィードバックに基づいて予測モデルの1つまたは複数の部分を更新し得る。一例として、予測モデルが上記の入力データに基づいて予測を生成する場合には、そのような入力データと関連付けられた第2の眼測定パラメータセットが、予測モデルへの参照フィードバックとして提供され得る。一例として、第2の分解能で取得された特定の眼測定パラメータセットが、(例えば、眼測定パラメータセットのユーザ確認を介して、そのような目標を実証する1つまたは複数の後続のアクションを介してなど)適切な眼測定パラメータセットとして検証されてもよい。前述のユーザ入力情報は、予測モデルに第2の眼測定パラメータセットの予測を生成させるための予測モデルへの入力として提供されてもよく、検証された眼測定パラメータセットは、予測モデルを更新するために予測モデルへの参照フィードバックとして提供されてもよい。このようにして、例えば、予測モデルは、より正確な予測を生成するように訓練または構成され得る。いくつかの態様では、第2の分解能の眼測定パラメータを有する参照フィードバックは、高分解能(例えば、第2の分解能)で眼測定パラメータを生成するいくつかの視線追跡装置のうちのいずれかを使用して取得された情報から取得、決定、または導出され得る。例えば、一部の追跡装置は、第2の分解能で視線原点、注視点、および瞳孔径などの眼測定パラメータを生成する。OPS114は、視線追跡装置を使用して生成された眼測定パラメータから、虹彩回転、虹彩並進、虹彩半径、瞳孔中心、および瞳孔半径などの第2の眼測定パラメータセットを導出し、導出された第2の眼測定パラメータセットを、予測モデルを訓練するために参照フィードバックとして提供し得る。そのような参照フィードバックは、いくつかのビデオについて取得され、予測モデルを訓練するための訓練データセットとして提供され得る。
【0035】
いくつかの態様では、予測モデルを更新するための前述の動作は、1人または複数のユーザと関連付けられた訓練データセット(例えば、所与のユーザについて予測モデルを特に訓練もしくは構成するための所与のユーザと関連付けられた訓練データセット、所与のグループについて予測モデルを特に訓練もしくは構成するための所与のクラスタ、個体群、もしくは他のグループと関連付けられた訓練データセット、任意の所与のユーザセットと関連付けられた訓練データセット、または他の訓練データセット)を用いて行われ得る。よって、いくつかの態様では、予測モデルの更新に続いて、システム100は、予測モデルを使用して、第1の眼測定パラメータセットの生成を容易にし得る。
【0036】
いくつかの態様では、OPS114は、瞳孔可視比率、瞳孔被覆非対称性、虹彩可視比率、または虹彩被覆非対称性などの追加の眼測定パラメータも抽出し得る。いくつかの態様では、瞳孔可視比率は、眼瞼で覆われていない瞳孔面積と瞳孔虹彩面積との比として計算される。瞳孔被覆非対称性は、虹彩総被覆面積によって正規化された、上眼瞼被覆比率を正の値で表し、下眼瞼被覆比率を負の値で表したときの、瞳孔上眼瞼被覆比率と瞳孔下眼瞼被覆比率との平均として定義され得る。このパラメータの値は-1~1で変化し、上眼瞼と下眼瞼との間の眼瞼被覆の非対称性を投影し得る(例えば、「-1」は、すべての被覆面積が下眼瞼で覆われていることを表し、「1」は、すべての被覆面積が上眼瞼で覆われていることを表し、「0」は、上眼瞼と下眼瞼が等しい面積を覆っていることを表し得る)。
【0037】
いくつかの態様では、虹彩可視比率は、眼瞼によって覆われていない虹彩面積と虹彩の総面積との比として計算される。いくつかの態様では、虹彩被覆非対称性は、虹彩総被覆面積によって正規化された、上眼瞼被覆比率を正の値で表し、下眼瞼被覆比率を負の値で表したときの、虹彩上眼瞼被覆比率と虹彩下眼瞼被覆比率との平均として決定され得る。このパラメータの値は-1~1で変化し、上眼瞼と下眼瞼との間の眼瞼被覆の非対称性を投影する(例えば、「-1」は、すべての被覆面積が下眼瞼で覆われている、「1」は、すべての被覆面積が上眼瞼で覆われている、「0」は、上眼瞼と下眼瞼が等しい面積を覆っている)。
【0038】
OPS114は、第2の眼測定パラメータセット170~178に基づいて追加の眼測定パラメータを抽出し得る。例えば、OPS114は、追加の眼測定パラメータを決定するために、第2の眼測定パラメータセット170~178を使用して幾何学的投影および計算を行ってもよい。
【0039】
いくつかの態様では、OPS114はまた、非標準刺激(例えば、クライアントデバイス106に表示されたビデオや画像)に反応する眼球運動を示す眼球運動パラメータ(例えば、瞳孔反応パラメータや視線パラメータ)を抽出、生成、または導出し得る。眼球運動パラメータは、(例えば、上述のように取得された)第2の眼測定パラメータセットを使用して導出され得る。いくつかの態様では、瞳孔反応パラメータは、特定の刺激に対する眼の反応を示し、視線パラメータは、眼がどこに焦点を合わせているか、またはどこを見ているかを示す。OPS114は、固視、サッカード、追跡、または別の視線パラメータなどの異なるタイプの視線パラメータを取得し得る。いくつかの態様では、固視は、刺激の特定の領域を検査している間の眼球運動の分布として定義される。いくつかの態様では、サッカードは、検査領域間の眼球運動の分布として定義される。いくつかの態様では、追跡は、追従運動中の眼球運動の分布として定義される。これらの眼球運動パラメータは、様々なデジタルバイオマーカを生成する際に使用され得る。
【0040】
いくつかの態様では、マーカサブシステム116は、1つまたは複数の神経障害の指標として機能し得るデジタルバイオマーカ(例えば、パラメータ)を生成し得る。マーカサブシステム116は、眼測定パラメータまたは(例えば、上述の)眼球運動パラメータに基づいてに基づいてデジタルバイオマーカを生成し得る。いくつかの態様では、これらのデジタルバイオマーカは、疾患の進行または激烈さと強く相関している(したがって、代理として機能することができる)。マーカサブシステム116によって生成されたデジタルバイオマーカは、客観的で、高感度で、正確(0.1mm以下)であるか、または疾患の臨床的進行と相関する場合があり、遠隔で、実験室環境の外で、さらには分散方式で取得されてもよい。
【0041】
なお、眼測定パラメータ、眼球運動パラメータ、またはデジタルバイオマーカは、リアルタイムで(例えば、カメラ120から取得されたリアルタイムのビデオストリームに基づいて)またはオフラインで(例えば、データベース132に記憶されたビデオを使用して)取得され得る。さらに、眼測定パラメータ(例えば、第2の眼測定パラメータセット170~178または他の眼測定パラメータ)は、時系列データとして、ユーザの1つまたは複数の眼について取得される。すなわち、眼測定パラメータ170~178は、指定された時間間隔(例えば、ミリ秒ごと、数ミリ秒ごと、または他の時間分解能)で連続的に抽出され得る。
【0042】
いくつかの態様では、上述の予測モデルは、1つまたは複数のニューラルネットワークまたは他の機械学習モデルを含み得る。一例として、ニューラルネットワークは、ニューラルユニット(または人工ニューロン)の大規模な集合に基づいてもよい。ニューラルネットワークは、生物脳が(例えば、軸索によって接続された生物学的ニューロンの大規模なクラスタを介して)働く様式を大まかに模倣し得る。ニューラルネットワークの各ニューラルユニットは、ニューラルネットワークの多くの他のニューラルユニットと接続され得る。そのような接続は、接続されたニューラルユニットの活性化状態に対するそれらの影響を強化するか、または抑制することができる。いくつかの態様では、各個別のニューラルユニットは、そのすべての入力の値を結合する合計関数を有し得る。いくつかの態様では、各接続(またはニューラルユニット自体)が、信号が他のニューラルユニットへ伝播する前に信号が閾値を超えなければならないような閾値関数を有し得る。これらのニューラルネットワークシステムは、明示的にプログラムされるのではなく、自己学習して訓練されてもよく、従来のコンピュータプログラムと比較して、問題解決の特定の領域において著しく良好に機能することができる。いくつかの態様では、ニューラルネットワークは、複数の層を含み得る(例えば、信号経路がフロント層からバック層へ横断する場合)。いくつかの態様では、逆伝播技術がニューラルネットワークによって利用されてもよく、順方向刺激が「前方」ニューラルユニットの重みをリセットするために使用される。いくつかの態様では、ニューラルネットワークの刺激および抑制がより自由に流れてもよく、接続はよりカオス的かつ複雑なやり方で相互作用する。
【0043】
ニューラルネットワークは、訓練データセット(例えば、グラウンドトゥルース)を使用して訓練され得る(すなわち、そのパラメータが決定される)。訓練データは、訓練サンプルのセットを含み得る。各サンプルは、入力オブジェクト(典型的には、特徴テンソルまたはベクトルと呼ばれ得る画像、測定値、テンソルまたはベクトル)と所望の出力値(教師信号とも呼ばれる)とを含むペアであってもよい。訓練アルゴリズムが訓練データを分析し、訓練データに基づいてニューラルネットワークのパラメータ(例えば、1つまたは複数の層の重み)を調整することによってニューラルネットワークの挙動を調整する。例えば、xiがi番目の例の特徴テンソル/ベクトルであり、yiがその教師信号であるような{(x1,y1),(x2,y2),…(xN,yN)}の形式のN個の訓練サンプルの集合を想定すると、訓練アルゴリズムはニューラルネットワークg:X→Yを求め、Xは入力空間であり、Yは出力空間である。特徴テンソル/ベクトルは、何らかのオブジェクト(例えば、複素電界画像)を表す数値特徴のn次元テンソル/ベクトルである。これらのベクトルと関連付けられたテンソル/ベクトル空間は、特徴または潜在空間と呼ばれることが多い。訓練後、ニューラルネットワークは、新しいサンプルを使用して予測を行うために使用され得る。
【0044】
一例として、図2に関して、機械学習モデル202は、入力204を受け取り、出力206を提供し得る。1つのユースケースでは、出力206は、(例えば、単独で、または出力206の精度のユーザ指示、入力と関連付けられたラベル、もしくは他の参照フィードバック情報と組み合わせて)機械学習モデル202を訓練するための入力として機械学習モデル202にフィードバックされ得る。別のユースケースでは、機械学習モデル202は、その予測(例えば、出力206)および参照フィードバック情報(例えば、精度のユーザ指示、参照ラベル、または他の情報)の評価に基づいて、その構成(例えば、重み、バイアス、または他のパラメータ)を更新し得る。別のユースケースでは、機械学習モデル202がニューラルネットワークである場合、ニューラルネットワークの予測と参照フィードバックとの差を調整するために接続重みを調整し得る。さらなるユースケースでは、ニューラルネットワークの1つまたは複数のニューロン(またはノード)は、更新プロセス(例えば、誤差の逆伝播)を容易にするために、ニューロンのそれぞれの誤差がニューラルネットワークを介してそれらに逆方向に送信されることを必要とし得る。接続重みの更新は、例えば、順方向パスが完了した後に逆方向に伝播される誤差の大きさを反映し得る。このようにして、例えば、機械学習モデル202は、より良い予測を生成するように訓練され得る。
【0045】
図4は、様々な態様と一致する、高分解能で眼測定パラメータを取得するためのプロセス400の流れ図である。いくつかの態様では、プロセス400は、図1Aのシステム100で実行され得る。
【0046】
動作402において、ビデオストリームが、ユーザと関連付けられたクライアントデバイスから取得される。ビデオストリームは、ユーザの顔のビデオを含み得る。例えば、ビデオストリーム125がクライアントデバイス106から取得される。いくつかの態様では、ビデオストリームは、クライアントデバイスからリアルタイムで取得されてもよく、例えば、クライアントデバイス106のカメラ120などのクライアントデバイスと関連付けられたカメラによる取り込みであってもよいし、データベース132などのデータ記憶装置、クライアントデバイス上のデータ記憶装置もしくはメモリ、または他のデータ記憶装置から取得される記録されたビデオであってもよい。
【0047】
動作404において、第1の眼測定パラメータセットを取得するために第1の予測モデルにビデオストリームが入力される。いくつかの態様では、ビデオストリームは、第1の予測モデルに入力される前に前処理され得る。いくつかの態様では、ビデオストリームを前処理することは、ビデオストリームの色および明るさ(例えば、ホワイトバランス)を調整し、ビデオストリームからのノイズを低減し、1つもしくは複数のマルチフレーム超分解能技術、または他のそのようなビデオ処理を実施することによってビデオストリームの分解能を改善するために、ビデオストリームに対してETLプロセスを行うことを含み得る。例えば、第1の予測モデルに入力されるビデオストリームは、ビデオストリーム125であってもよいし、前処理されたビデオストリーム151であってもよい。
【0048】
動作406において、第1の予測モデルから第1の眼測定パラメータセットが取得される。眼測定パラメータは、眼の様々な特性に対応する。例えば、第1の眼測定パラメータセットは、虹彩データ、眼瞼データ、および瞳孔中心を含んでもよい。虹彩データは、虹彩の中心および形状(例えば、楕円)を記述するいくつかの点の座標を含み得る。眼瞼データは、眼瞼を表す形状(例えば、多角形)を記述する点の配列の座標を含み得る。瞳孔中心は、瞳孔の中心を表す点の座標を含み得る。いくつかの態様では、第1の眼測定パラメータセットは、第1の分解能で取得される。例えば、第1の分解能は、ピクセルレベルまたは他のより低い分解能であってもよい。いくつかの態様では、虹彩データは、虹彩データから虹彩回転、虹彩並進および虹彩半径を取得するようにさらに処理される。例えば、虹彩データ153は、虹彩回転158、虹彩並進160および虹彩半径162を取得するように処理される。虹彩回転は、虹彩の回転を表してもよく、(例えば、虹彩円平面に対して垂直な)虹彩法線ベクトルとして取り出され得る。虹彩並進は、虹彩の中心であってもよく、虹彩中心の位置を特定する座標を使用して表され得る。虹彩半径は、虹彩の半径であってもよく、距離単位を有するスカラーとして表され得る。いくつかの態様では、虹彩関連パラメータを推定するためにMLEベースの曲線適合法が行われ得る。虹彩データは、上記の虹彩関連パラメータを生成するMLEベースの曲線適合法(例えば、楕円適合)への入力として提供される。
【0049】
動作408において、第1の眼測定パラメータセットを調整する(例えば、精度または分解能を改善する)ためにビデオストリームがデコンボリューションされる。デコンボリューションプロセスに入力されるビデオストリームは、ビデオストリーム125であってもよいし、前処理されたビデオストリーム151であってもよい。いくつかの態様では、ビデオストリームは、MLEプロセスと統合されたブラインドデコンボリューションプロセスを使用してデコンボリューションされ、そのさらなる詳細は、少なくとも図1Aおよび図1Bを参照して上述されており、少なくとも図5を参照して以下で説明する。いくつかの態様では、ブラインドデコンボリューションアルゴリズムを適用することは、画像/ビデオ内のぼやけ、またはビデオストリームからの任意の他のノイズを低減または除去して、抽出される眼測定パラメータの精度を改善するのに役立ち得る。デコンボリューションプロセスは、(例えば、その精度または分解能が、デコンボリューションプロセスの前の眼測定パラメータと比較して改善された)調整された眼測定パラメータを取得するために、1回または複数回繰り返され得る。調整されたパラメータには、調整された眼瞼データ、調整された瞳孔中心および瞳孔半径が含まれ得る。
【0050】
動作410において、ビデオストリームおよび第1のパラメータセットが、高分解能で眼測定パラメータを取得するために第2の予測モデルに入力される。例えば、虹彩回転158、虹彩並進160、虹彩半径162、調整された眼瞼データ164、調整された瞳孔中心166および瞳孔半径168などを含む第1の眼測定パラメータセットが第2の予測モデルに入力される。いくつかの態様では、第2の予測モデルは、高分解能で眼測定パラメータセットを予測するように訓練される。例えば、第2の予測モデルは、各データセットが、入力データとしてのユーザの顔のビデオ、クライアントデバイスの装置データ、ユーザが位置する環境の環境データおよびユーザのユーザ情報と、グラウンドトゥルースとしての高分解能の対応する眼測定パラメータセットを含むいくつかの訓練データセットで訓練される。いくつかの態様では、高分解能の眼測定パラメータセットは、高分解能で眼測定パラメータを生成するように構成された1つまたは複数の視線追跡装置を使用して取得される。
【0051】
動作412において、第2の予測モデルから第2の分解能で第2の眼測定パラメータセットが取得される。例えば、虹彩回転170、虹彩並進172、虹彩半径174、瞳孔中心176、および瞳孔半径178を含む第2の眼測定パラメータセットが、第2の分解能(例えば、0.1mm、サブピクセルレベル、または第1の分解能よりも高い他の何らかの分解能)で取得される。
【0052】
任意で、動作414において、追加の眼測定パラメータセットが取得されてもよい。例えば、瞳孔可視比率、瞳孔被覆非対称性、虹彩可視比率、または虹彩被覆非対称性などの追加の眼測定パラメータが、第2の眼測定パラメータセットに基づいて取得されてもよい。OPS114は、第2の眼測定パラメータセットを使用して幾何学的投影および計算を行うことによって、追加の眼測定パラメータを取得し得る。いくつかの態様では、瞳孔可視比率は、眼瞼で覆われていない瞳孔面積と瞳孔虹彩面積との比として計算される。瞳孔被覆非対称性は、虹彩総被覆面積によって正規化された、上眼瞼被覆比率を正の値で表し、下眼瞼被覆比率を負の値で表したときの、瞳孔上眼瞼被覆比率と瞳孔下眼瞼被覆比率との平均として定義され得る。このパラメータの値は-1~1で変化し、上眼瞼と下眼瞼との間の眼瞼被覆の非対称性を投影し得る(例えば、「-1」は、すべての被覆面積が下眼瞼で覆われていることを表し、「1」は、すべての被覆面積が上眼瞼で覆われていることを表し、「0」は、上眼瞼と下眼瞼が等しい面積を覆っていることを表し得る。
【0053】
動作402~動作414は、1つまたは複数の態様に従って、OPS114と同じかまたは同様のサブシステムによって行われ得る。
【0054】
図5は、様々な態様と一致する、調整された眼測定パラメータを取得するためにビデオストリームをデコンボリューションするためのプロセス500の流れ図である。いくつかの態様では、プロセス500は、プロセス400の動作408の一部として行われ得る。
【0055】
動作502において、ビデオストリームのデコンボリューションを行うために、ビデオストリーム、刺激データ、環境データ、装置データまたは他のデータなどの入力データが取得される。デコンボリューションプロセスに入力されるビデオストリームは、ビデオストリーム125であってもよいし、前処理されたビデオストリーム151であってもよい。刺激データは、クライアントデバイス106のディスプレイ上に提示された刺激に関する時空間情報、またはスペクトル特性(例えば、色)および強度(例えば、明るさ)を含む刺激の光学特性情報を含み得る。環境データは、カメラ120から取得された情報を使用して測定することができる、ユーザが位置する環境(例えば、部屋)における照明などの情報を含み得る。装置データは、クライアントデバイス106の向き情報、加速度センサなどのクライアントデバイス106と関連付けられた1つまたは複数のセンサからの情報などの情報を含み得る。さらに、入力データは、眼瞼データ(例えば、眼瞼データ155)および瞳孔中心(例えば、瞳孔中心157)を含んでもよい。
【0056】
動作504において、入力データに基づいてブラインドデコンボリューションアルゴリズムの点像分布関数が決定される。
【0057】
動作506において、点像分布関数に基づいてビデオストリームがデコンボリューションされる。デコンボリューションプロセスは、ユーザ環境関連の要因、クライアントデバイス関連の要因、カメラ関連の要因、ビデオ刺激関連の要因などに起因してビデオストリームに導入された任意のぼやけ、または任意の他のノイズを除去または低減して、ビデオストリームを改善し、したがって、取り出される眼測定パラメータの精度を改善する。
【0058】
動作508において、上述のようにデコンボリューションされたビデオストリームから調整された眼測定パラメータが導出される。例えば、調整された眼測定パラメータには、調整された眼瞼データ164、調整された瞳孔中心166または瞳孔半径168が含まれ得る。いくつかの態様では、デコンボリューションプロセスは、眼測定パラメータの精度をさらに改善するためにMLEプロセスと統合される。例えば、MLEプロセスは、眼瞼データ155の精度を改善するために使用され得る。MLEプロセスは、眼瞼データ155に対して放物曲線適合操作を行って、調整された眼瞼データ164として眼瞼のより正確な表現を取得するために使用され得る。別の例では、MLEプロセスは、瞳孔半径168などの瞳孔関連データを取得するか、またはその精度を改善するために使用され得る。MLEプロセスは、曲線適合操作(例えば、楕円適合)を行って瞳孔の形状を改善するために使用され得る。例えば、MLEプロセスは、異なる瞳孔中心を考慮してもよく、候補瞳孔中心の各々に瞳孔形状を構築し、形状の各々に信頼スコアを割り当て得る。そのような方法は異なる瞳孔中心に対して繰り返されてもよく、スコア基準を満たすスコア(例えば、最良のスコア)を有する形状が選択される。形状が選択されると、対応する中心が調整された瞳孔中心166として選択され得、瞳孔半径168は、選択された形状および調整された瞳孔中心166に基づいて決定され得る。
【0059】
いくつかの態様では、プロセス500は、調整された眼測定パラメータの精度または分解能を改善するために、(例えば、眼測定パラメータの精度または分解能が基準を満たす(例えば、閾値を超える)か、またはPSFが基準を満たすまで)1回または複数回繰り返され得る。
【0060】
いくつかの態様では、図1Aに例示される様々なコンピュータおよびサブシステムは、本明細書に記載の機能を行うようにプログラムされた1つまたは複数のコンピューティングデバイスを含み得る。コンピューティングデバイスは、1つもしくは複数の電子記憶装置(例えば、訓練データを記憶するための(1つもしくは複数の)訓練データデータベース134、予測モデルなどを記憶するための(1つもしくは複数の)モデルデータベース136、または他の電子記憶装置を含み得る(1つもしくは複数の)予測データベース132)、1つもしくは複数のコンピュータプログラム命令でプログラムされた1つもしくは複数の物理プロセッサ、および/または他の構成要素を含み得る。コンピューティングデバイスは、ネットワーク(例えば、ネットワーク150)内の、または有線もしくは無線技術(例えば、イーサネット、光ファイバ、同軸ケーブル、Wi-Fi、Bluetooth、近距離無線通信、もしくは他の技術)を介した他のコンピューティングプラットフォーム情報の交換を可能にする通信回線またはポートを含み得る。コンピューティングデバイスは、一緒に動作する複数のハードウェア、ソフトウェア、および/またはファームウェア構成要素を含み得る。例えば、コンピューティングデバイスは、コンピューティングデバイスとして一緒に動作するコンピューティングプラットフォームのクラウドによって実装されてもよい。
【0061】
電子記憶装置は、情報を電子的に記憶する非一時的記憶媒体を含み得る。電子記憶装置の記憶媒体は、(i)サーバもしくはクライアントデバイスと一体的に設けられた(例えば、実質的に取り外し不能の)システムストレージ、または(ii)例えばポート(例えば、USBポート、FireWireポートなど)もしくドライブ(例えば、ディスクドライブなど)を介してサーバもしくはクライアントデバイスに取り外し可能に接続可能なリムーバブルストレージの一方または両方を含み得る。電子記憶装置は、光学的に読み取り可能な記憶媒体(例えば、光ディスクなど)、磁気的に読み取り可能な記憶媒体(例えば、磁気テープ、磁気ハードドライブ、フロッピードライブなど)、電荷ベースの記憶媒体(例えば、EEPROM、RAMなど)、ソリッドステート記憶媒体(例えば、フラッシュドライブなど)、および/または他の電子的に読み取り可能な記憶媒体のうちの1つまたは複数を含み得る。電子記憶装置は、1つまたは複数の仮想記憶リソース(例えば、クラウドストレージ、仮想プライベートネットワーク、および/または他の仮想記憶リソース)を含んでもよい。電子記憶装置は、ソフトウェアアルゴリズム、プロセッサによって決定された情報、サーバから取得された情報、クライアントデバイスから取得された情報、または本明細書に記載の機能を可能にする他の情報を記憶し得る。
【0062】
プロセッサは、コンピューティングデバイスにおいて情報処理能力を提供するようにプログラムされ得る。よって、プロセッサは、デジタルプロセッサ、アナログプロセッサ、情報を処理するように設計されたデジタル回路、情報を処理するように設計されたアナログ回路、状態機械、および/または情報を電子的に処理するための他の機構のうちの1つまたは複数を含み得る。いくつかの態様では、プロセッサは、複数の処理ユニットを含み得る。これらの処理ユニットは、同じ装置内に物理的に配置されてもよいし、プロセッサは、協調して動作する複数の装置の処理機能を表してもよい。プロセッサは、サブシステム112~116または他のサブシステムの本明細書に記載の機能を行うためのコンピュータプログラム命令を実行するようにプログラムされ得る。プロセッサは、ソフトウェア、ハードウェア、ファームウェア;ソフトウェア、ハードウェア、もしくはファームウェアの何らかの組合せ;および/またはプロセッサ上の処理能力を構成するための他の機構によってコンピュータプログラム命令を実行するようにプログラムされ得る。
【0063】
本明細書に記載の異なるサブシステム112~116によって提供される機能の説明は、例示を目的としており、限定することを意図されたものではなく、サブシステム112~116のいずれも記載されているよりも多いかまたは少ない機能を提供し得ることを理解されたい。例えば、サブシステム112~116のうちの1つまたは複数が取り除かれてもよく、その機能の一部または全部がサブシステム112~116のうちの他のものによって提供されてもよい。別の例として、追加のサブシステムが、本明細書においてサブシステム112~116のうちの1つに帰せられている機能の一部または全部を行うようにプログラムされてもよい。
【0064】
図6は、開示の態様の特徴を実施するために使用され得るコンピュータシステムのブロック図である。コンピュータシステム600は、前述の図の例に示されたエンティティ、サブシステム、構成要素またはサービスのいずれか(および本明細書に記載された任意の他の構成要素)を実装するために使用され得る。コンピュータシステム600は、相互接続615に接続された、1つまたは複数の中央処理装置(「プロセッサ」)605、メモリ610、入力/出力装置625(例えば、キーボードおよびポインティングデバイス、表示装置)、記憶装置620(例えば、ディスクドライブ)、およびネットワークアダプタ630(例えば、ネットワークインターフェース)を含み得る。相互接続615は、任意の1つもしくは複数の別個の物理バス、ポイントツーポイント接続、または適切なブリッジ、アダプタ、もしくはコントローラによって接続されたその両方を表す抽象概念として例示されている。したがって、相互接続615は、例えば、システムバス、周辺機器相互接続(PCI)バスもしくはPCI-Expressバス、HyperTransportもしくは業界標準アーキテクチャ(ISA)バス、小型コンピュータシステムインターフェース(SCSI)バス、ユニバーサルシリアルバス(USB)、IIC(I2C)バス、または「FireWire」とも呼ばれる電気電子部品協会(IEEE)規格1394バスを含んでもよい。
【0065】
メモリ610および記憶装置620は、記載の態様の少なくとも部分を実施する命令を記憶し得るコンピュータ可読記憶媒体である。加えて、データ構造およびメッセージ構造は、記憶されるか、または通信リンク上の信号などのデータ伝送媒体を介して伝送され得る。インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、またはポイントツーポイントダイヤルアップ接続などの様々な通信リンクが使用され得る。よって、コンピュータ可読媒体は、コンピュータ可読記憶媒体(例えば、「非一時的」媒体)およびコンピュータ可読伝送媒体を含むことができる。電子記憶装置の記憶媒体は、(i)サーバもしくはクライアントデバイスと一体的に設けられた(例えば、実質的に取り外し不能の)システムストレージ、または(ii)例えばポート(例えば、USBポート、FireWireポートなど)もしくドライブ(例えば、ディスクドライブなど)を介してサーバもしくはクライアントデバイスに取り外し可能に接続可能なリムーバブルストレージの一方または両方を含み得る。電子記憶装置は、光学的に読み取り可能な記憶媒体(例えば、光ディスクなど)、磁気的に読み取り可能な記憶媒体(例えば、磁気テープ、磁気ハードドライブ、フロッピードライブなど)、電荷ベースの記憶媒体(例えば、EEPROM、RAMなど)、ソリッドステート記憶媒体(例えば、フラッシュドライブなど)、および/または他の電子的に読み取り可能な記憶媒体のうちの1つまたは複数を含み得る。電子記憶装置は、1つまたは複数の仮想記憶リソース(例えば、クラウドストレージ、仮想プライベートネットワーク、および/または他の仮想記憶リソース)を含んでもよい。電子記憶装置は、ソフトウェアアルゴリズム、プロセッサによって決定された情報、サーバから取得された情報、クライアントデバイスから取得された情報、または本明細書に記載の機能を可能にする他の情報を記憶し得る。
【0066】
メモリ610に記憶された命令は、上述のアクションを実行するように(1つまたは複数の)プロセッサ605をプログラムするためのソフトウェアおよび/またはファームウェアとして実装することができる。プロセッサは、ソフトウェア、ハードウェア、ファームウェア;ソフトウェア、ハードウェア、もしくはファームウェアの何らかの組合せ;および/またはプロセッサ上の処理能力を構成するための他の機構によってコンピュータプログラム命令を実行するようにプログラムされ得る。いくつかの態様では、そのようなソフトウェアまたはファームウェアは、最初に、(例えば、ネットワークアダプタ630を介して)コンピュータシステム600によってリモートシステムからダウンロードすることによってコンピュータシステム600に提供され得る。
【0067】
本明細書において紹介した態様は、例えば、ソフトウェアおよび/もしくはファームウェアでプログラムされたプログラム可能回路(例えば、1つもしくは複数のマイクロプロセッサ)によって、または完全に専用のハードワイヤード(非プログラム可能)回路において、またはそのような形態の組合せにおいて実施することができる。専用のハードワイヤード回路は、例えば、1つまたは複数のASIC、PLD、FPGAなどの形態であってもよい。
【0068】
備考
上記の説明および図面は例示であり、限定として解釈されるべきではない。本開示の完全な理解を提供するために、多数の具体的な詳細が記載されている。しかしながら、場合によっては、説明を不明瞭にすることを避けるために、周知の詳細は説明されない。さらに、態様の範囲を逸脱することなく様々な修正が行われ得る。したがって、態様は、添付の特許請求の範囲による場合を除いて限定されない。
【0069】
本明細書における「1つの態様(one embodiment)」または「一態様(an embodiment)」への言及は、その態様に関連して説明される特定の特徴、構造または特性が本開示の少なくとも1つの態様に含まれることを意味する。本明細書の様々な箇所における「1つの態様では」という句の出現は、必ずしもすべてが同じ態様を指しているわけではなく、他の態様と相互排他的な別個のまたは代替の態様でもない。さらに、いくつかの態様によっては示され、他の態様によっては示されない場合がある様々な特徴が記載されている。同様に、いくつかの態様の要件であり得るが他の態様の要件ではない様々な要件が記載されている。
【0070】
本明細書で使用される用語は、一般に、本開示の文脈内、および各用語が使用される特定の文脈内で、当技術分野におけるそれらの用語の通常の意味を有する。本開示を説明するために使用される用語は、本開示の説明に関して実務家に追加のガイダンスを提供するために、以下で、または本明細書の他の箇所で説明されている。便宜上、いくつかの用語が、例えばイタリック体および/または引用符を使用して強調表示される場合がある。強調表示の使用は、用語の範囲および意味に影響を及ぼすものではなく、用語の範囲および意味は、強調されているか否かにかかわらず、同じ文脈において同じである。同じことを複数の言い方で言えることが理解されよう。「メモリ」は「記憶装置」の一形態であり、これらの用語は場合によっては交換可能に使用され得ることが分かるであろう。
【0071】
ゆえに、本明細書で論じられている用語のいずれか1つまたは複数に対して代替の文言および同義語が使用される場合があり、用語が本明細書で詳述または議論されているか否かに特別な意味を付与すべきではない。いくつかの用語の同義語が提供される。1つまたは複数の同義語の記載は、他の同義語の使用を排除しない。本明細書において論じられる任意の用語の例を含む本明細書のどこかの例の使用は、例示にすぎず、本開示または任意の例示された用語の範囲および意味をさらに限定することを意図されたものではない。同様に、本開示は、本明細書で与えられた様々な態様に限定されない。
【0072】
当業者であれば、上記の流れ図の各々に例示されている論理が様々な方法で変更され得ることを理解するであろう。例えば、論理の順序は並べ替えられてもよいし、下位工程が並列に行われてもよいし、例示の論理が省略されてもよいし、他の論理が含まれてもよい。
【0073】
本開示の範囲をさらに限定する意図なく、本開示の態様による機器、装置、方法およびそれらの関連結果の例を以下に示す。なお、例においては、読者の便宜のために表題または副題が使用される場合があり、これらは、いかなる点においても本開示の範囲を限定すべきではない。特に定義しない限り、本明細書で使用されるすべての科学技術用語は、本開示が関連する技術分野の当業者によって一般に理解されるものと同義である。矛盾する場合には、定義を含めて、本明細書が優先される。
【0074】
本発明は、現在最も実用的で好ましい態様であるとみなされているものに基づいて例示の目的で詳細に説明されているが、そのような詳細はその目的のためだけのものであり、本発明は開示の態様に限定されず、むしろ反対に、添付の特許請求の範囲内にある修正例および均等な構成を包含することを意図されていることを理解されたい。例えば、本発明は、可能な限り、任意の態様の1つまたは複数の特徴を任意の他の態様の1つまたは複数の特徴と組み合わせることができることを企図していることを理解されたい。
図1A
図1B
図2
図3
図4
図5
図6
【国際調査報告】