特表 2024-518448 高分解能の眼球運動パラメータの取得

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-05-01

(54)【発明の名称】高分解能の眼球運動パラメータの取得

(51)【国際特許分類】

   A61B 3/113 20060101AFI20240423BHJP

   A61B 3/11 20060101ALI20240423BHJP

【ＦＩ】

A61B3/113

A61B3/11

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023568618

(86)(22)【出願日】2022-05-02

(85)【翻訳文提出日】2023-12-26

(86)【国際出願番号】 US2022027312

(87)【国際公開番号】W WO2022235578

(87)【国際公開日】2022-11-10

(31)【優先権主張番号】63/183,388

(32)【優先日】2021-05-03

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＷＩＮＤＯＷＳ

２．ＢＬＵＥＴＯＯＴＨ

３．ＦＩＲＥＷＩＲＥ

(71)【出願人】

【識別番号】523416988

【氏名又は名称】ニューラライト リミテッド

(74)【代理人】

【識別番号】100102978

【弁理士】

【氏名又は名称】清水 初志

(74)【代理人】

【識別番号】100205707

【弁理士】

【氏名又は名称】小寺 秀紀

(74)【代理人】

【識別番号】100160923

【弁理士】

【氏名又は名称】山口 裕孝

(74)【代理人】

【識別番号】100119507

【弁理士】

【氏名又は名称】刑部 俊

(74)【代理人】

【識別番号】100142929

【弁理士】

【氏名又は名称】井上 隆一

(74)【代理人】

【識別番号】100148699

【弁理士】

【氏名又は名称】佐藤 利光

(74)【代理人】

【識別番号】100188433

【弁理士】

【氏名又は名称】梅村 幸輔

(74)【代理人】

【識別番号】100128048

【弁理士】

【氏名又は名称】新見 浩一

(74)【代理人】

【識別番号】100129506

【弁理士】

【氏名又は名称】小林 智彦

(74)【代理人】

【識別番号】100114340

【弁理士】

【氏名又は名称】大関 雅人

(74)【代理人】

【識別番号】100214396

【弁理士】

【氏名又は名称】塩田 真紀

(74)【代理人】

【識別番号】100121072

【弁理士】

【氏名又は名称】川本 和弥

(74)【代理人】

【識別番号】100221741

【弁理士】

【氏名又は名称】酒井 直子

(74)【代理人】

【識別番号】100114926

【弁理士】

【氏名又は名称】枝松 義恵

(72)【発明者】

【氏名】ベン－アミ エドモンド

(72)【発明者】

【氏名】ブレークストーン ミシャ ヨハナン

(72)【発明者】

【氏名】バール－オル ロテム ズビ

(72)【発明者】

【氏名】アニシモフ ウラジーミル

【テーマコード（参考）】

4C316

【Ｆターム（参考）】

4C316AA06

4C316AA07

4C316AA11

4C316AA25

4C316AA28

4C316AB16

4C316FA19

4C316FA20

4C316FB22

(57)【要約】

高分解能の眼測定パラメータおよび眼球運動パラメータを抽出するためのシステムおよび方法を開示する。ユーザの顔のビデオを有するビデオストリームを処理して、眼瞼データ、虹彩データ（例えば、虹彩並進、虹彩半径および虹彩回転）、ならびに瞳孔データ（例えば、瞳孔中心および瞳孔半径）などの眼測定パラメータセットを取得する。眼測定パラメータは、第1の時間分解能で生成される。眼測定パラメータは、時間分解能を第2の時間分解能に高めるためにアップサンプリングされる。次いで、眼測定パラメータを処理して、瞬目パラメータ、瞳孔反応パラメータ、サッカードパラメータ、アンチサッカードパラメータ、固視パラメータ、または円滑性追跡パラメータなどの様々な眼球運動パラメータを生成する。眼測定パラメータは、眼球運動パラメータを生成する前に、ユーザ装置に提示されるビデオ刺激と同期される。

【特許請求の範囲】

【請求項1】

ユーザと関連付けられたクライアントデバイスから、該ユーザの顔のビデオを含むビデオストリームを取得する工程;
眼測定パラメータセットを取得するためにビデオストリームを処理する工程であって、該眼測定パラメータセットが、（a）該ユーザの眼と関連付けられた虹彩の回転と、瞳孔および該虹彩の位置とを示す視線追跡データと、（b）瞳孔半径および虹彩半径を示す眼サイズデータと、（c）該眼の開度を示す開眼度データとを含み、該眼測定パラメータセットが、時系列データである、工程;
同期された眼測定パラメータセットを取得するために、該眼測定パラメータセットを、該クライアントデバイスのディスプレイ上に提示されたビデオ刺激と同期させる工程であって、該同期が該ビデオ刺激内の光変調に基づく、工程;ならびに
該同期された眼測定パラメータセットに基づいて、該ビデオ刺激に反応した該眼の動きを示す眼球運動パラメータセットを取得する工程
を含む、方法。

【請求項2】

前記開眼度データが、虹彩可視比率情報、虹彩被覆非対称性情報、瞳孔可視比率情報、および瞳孔被覆非対称性情報を含む、請求項1記載の方法。

【請求項3】

前記眼球運動パラメータセットを取得する工程が、
前記開眼度データに基づいて、前記眼の瞬目を示す瞬目情報を取得すること
を含む、
請求項1記載の方法。

【請求項4】

前記瞬目情報を取得することが、
前記開眼度データの時系列に基づいて、所与の瞬間における瞬目の有無を示す瞬目存在データの時系列を取得すること;および
該瞬目存在データの該時系列に基づいて前記瞬目情報を取得すること
を含む、
請求項3記載の方法。

【請求項5】

前記瞬目情報が、（a）前記ビデオ刺激のシーケンスに対する前記眼の瞬目の持続時間を示す瞬目持続時間情報と、（b）該シーケンスに対する瞬目の頻度を示す瞬目頻度情報とを含む、請求項3記載の方法。

【請求項6】

前記眼サイズデータが虹彩半径および瞳孔半径を含む、請求項1記載の方法。

【請求項7】

前記眼球運動パラメータセットを取得する工程が、
前記眼サイズデータ、瞬目存在データ、および前記ビデオ刺激の刺激タイプに基づいて瞳孔反応情報を取得することであって、該瞳孔反応情報が、前記ビデオ刺激に対する前記瞳孔または前記眼の反応を示す、こと
を含む、
請求項1記載の方法。

【請求項8】

瞳孔反応情報が、（a）イベントに対する瞳孔径の最大分散を示す瞳孔反応振幅と、（b）該イベントに対する該瞳孔径の平均時間変化率を示す瞳孔反応速度とを含む、請求項7記載の方法。

【請求項9】

瞳孔反応情報が、（a）前記ビデオ刺激内のイベントと瞳孔径の初期変化との間の時間間隔を示す瞳孔反応潜時と、（b）該イベントに続く該瞳孔径の該初期変化と該瞳孔径のサイズの変化の安定化との間の時間間隔を示す瞳孔反応持続時間とを含む、請求項7記載の方法。

【請求項10】

前記視線追跡データが虹彩並進および瞳孔位置を含む、請求項1記載の方法。

【請求項11】

前記眼球運動パラメータセットを取得する工程が、
前記視線追跡データ、瞬目存在データ、および前記ビデオ刺激の刺激タイプに基づいてサッカード情報を取得することであって、該サッカード情報が、前記ビデオ刺激に反応した前記眼の急な動きを示す、こと
を含む、
請求項1記載の方法。

【請求項12】

前記サッカード情報が、（a）サッカード潜時、（b）サッカード振幅、（c）サッカードピーク速度、（d）サッカードオーバーシュート振幅、または（e）サッカード修正時間のうちの少なくとも1つを含む、請求項11記載の方法。

【請求項13】

前記眼球運動パラメータセットを取得する工程が、
前記視線追跡データ、瞬目存在データ、および前記ビデオ刺激の刺激タイプに基づいてアンチサッカード情報を取得することであって、該アンチサッカード情報が、前記ビデオ刺激においてターゲットが提示される側とは反対の方向への前記眼の動きを示す、こと
を含む、
請求項1記載の方法。

【請求項14】

前記アンチサッカード情報が、アンチサッカード潜時、アンチサッカード振幅、アンチサッカードピーク速度、アンチサッカードオーバーシュート振幅、アンチサッカード修正時間、アンチサッカード方向混乱率、または予想されるアンチサッカード情報のうちの少なくとも1つを含む、請求項13記載の方法。

【請求項15】

前記眼球運動パラメータセットを取得する工程が、
前記視線追跡データ、瞬目存在データ、および前記ビデオ刺激の刺激タイプに基づいて固視情報を取得することであって、該固視情報が、前記ビデオ刺激内の単一の位置に注視を維持する前記眼の能力を示す、こと
を含む、
請求項1記載の方法。

【請求項16】

前記固視情報が、前記ビデオ刺激内のターゲットの周りの角度と振幅の両方の分布を示すマイクロサッカード振幅分布を含む、請求項15記載の方法。

【請求項17】

前記固視情報を取得することが、矩形波眼球運動情報を取得することを含む、請求項15記載の方法。

【請求項18】

前記矩形波眼球運動情報が、矩形波眼球運動振幅、矩形波眼球運動周波数、または矩形波眼球運動オフセット持続時間のうちの少なくとも1つを含む、請求項17記載の方法。

【請求項19】

前記眼球運動パラメータセットを取得する工程が、
前記視線追跡データ、瞬目存在データ、および前記ビデオ刺激の刺激タイプに基づいて円滑性追跡情報を取得することであって、該円滑性追跡情報が、視線が前記ビデオ刺激内の移動オブジェクトに固定されたままであるという眼球運動のタイプを示す、こと
を含む、
請求項1記載の方法。

【請求項20】

円滑性追跡情報を取得することが、
前記眼の動きを、サッカード、固視、または円滑性追跡のうちの1つとして決定すること
を含む、
請求項19記載の方法。

【請求項21】

前記円滑性追跡情報を取得することが、
サッカード運動振幅パーセンテージまたは円滑性運動振幅パーセンテージの少なくとも一方を取得する工程
を含む、
請求項19記載の方法。

【請求項22】

前記円滑性追跡情報を取得することが、
前記ビデオ刺激内のアクトに対するサッカード運動の時間比率を示すサッカード運動時間パーセンテージを取得すること
を含む、
請求項19記載の方法。

【請求項23】

前記円滑性追跡情報を取得することが、
前記ビデオ刺激内のアクトに対する固視の時間比率を示す固視時間パーセンテージを取得すること
を含む、
請求項19記載の方法。

【請求項24】

前記円滑性追跡情報を取得することが、
前記ビデオ刺激内のアクトに対する円滑性運動の時間比率を示す円滑性運動時間パーセンテージを取得すること
を含む、
請求項19記載の方法。

【請求項25】

前記眼球運動パラメータセットが、イベント、ブリック、シーケンス、またはアクトのうちの少なくとも1つについて測定される、請求項1記載の方法。

【請求項26】

前記イベントが、前記ビデオ刺激における指定された持続時間のイベントに対応し、前記ブリックが、前記ビデオ刺激における連続したイベントの集合に対応し、前記シーケンスが、同じタイプのブリックの連続したブリックの集合に対応し、前記アクトが、前記ユーザのために記録された連続したシーケンスの集合に対応する、請求項25記載の方法。

【請求項27】

前記同期させる工程が、
ビデオ刺激情報を取得することであって、該ビデオ刺激情報が、刺激タイプ情報、前記ビデオ刺激のグラフィック特徴を記述する情報、または前記ビデオ刺激の明るさおよび色変調情報を含む、こと;
反射光情報を取得することであって、該反射光情報が、前記ユーザが位置する環境内のターゲットから反射された光に関する情報を含み、該反射光情報が、前記クライアントデバイスから受け取られた前記ビデオストリームからサンプリングされた赤色、緑色、および青色（RGB）の強度値を含む、こと;ならびに
前記同期された眼測定パラメータセットを生成するために、該ビデオ刺激情報および該反射光情報に基づいて、前記眼測定パラメータセット時系列データ内の時間成分を同期させること
を含む、
請求項1記載の方法。

【請求項28】

前記ビデオストリームを処理する工程が、
第1の時間分解能で前記眼測定パラメータセットを取得すること;および
該第1の時間分解能よりも大きい第2の時間分解能で前記眼測定パラメータセットを取得するために前記眼測定パラメータセットをアップサンプリングすること
を含む、
請求項1記載の方法。

【請求項29】

前記眼測定パラメータセットをアップサンプリングすることが、
前記眼測定パラメータセットを同期させる前に前記眼測定パラメータセットをアップサンプリングすること
を含む、
請求項28記載の方法。

【請求項30】

前記眼測定パラメータセットをアップサンプリングすることが、
前記第1の時間分解能で第1の複数の眼測定パラメータセットを取得すること;
前記第2の時間分解能で眼測定パラメータを生成するように構成された視線追跡装置を使用して、前記第2の時間分解能で該第1の複数の眼測定パラメータセットを取得すること;および
前記第2の時間分解能で予測される眼測定パラメータセットを生成するために、該第1の複数の眼測定パラメータセットで機械学習モデルを訓練すること
を含む、
請求項28記載の方法。

【請求項31】

前記眼球運動パラメータセットに基づいてデジタルバイオマーカのセットを生成する工程
をさらに含む、請求項1記載の方法。

【請求項32】

コンピュータによって実行されると、
ユーザと関連付けられたクライアントデバイスから、該ユーザの顔のビデオを含むビデオストリームを取得する工程;
該ビデオストリームから眼測定パラメータセットの時系列を取得する工程であって、該眼測定パラメータセットが、（a）該ユーザの眼と関連付けられた虹彩の回転と、瞳孔および該虹彩の位置とを示す視線追跡データと、（b）瞳孔半径および虹彩半径を示す眼サイズデータと、（c）該眼の開度を示す開眼度データとを含み、該眼測定パラメータセットが第1の時間分解能で取得される、工程;
アップサンプリングされた眼測定パラメータセットを生成するために、該眼測定パラメータセットを第2の時間分解能にアップサンプリングする工程であって、該第2の時間分解能が該第1の時間分解能よりも大きい、工程;
同期された眼測定パラメータセットを取得するために、該アップサンプリングされた眼測定パラメータセットを、該クライアントデバイスのディスプレイ上に提示されたビデオ刺激と同期させる工程であって、該同期させることが該ビデオ刺激内の光変調に基づく、工程;ならびに
該同期された眼測定パラメータセットに基づいて、該ビデオ刺激に反応した該眼の動きを示す眼球運動パラメータセットを取得する工程
を含む方法を該コンピュータに実行させる命令
を有する、非一時的コンピュータ可読媒体。

【請求項33】

前記眼球運動パラメータセットを取得する工程が、
前記開眼度データに基づいて、前記眼の瞬目を示す瞬目情報を取得すること;
前記眼サイズデータ、該瞬目情報、および前記ビデオ刺激の刺激タイプに基づいて瞳孔反応情報を取得することであって、該瞳孔反応情報が、前記ビデオ刺激に対する前記瞳孔の反応を示す、こと;ならびに
前記視線追跡データ、該瞬目情報、および該刺激タイプに基づいて、サッカード情報、アンチサッカード情報、固視情報、または円滑性追跡情報のうちの少なくとも1つを取得すること
を含む、
請求項32記載のコンピュータ可読媒体。

【請求項34】

前記同期させる工程が、
前記同期された眼測定パラメータセットを生成するために、前記ビデオストリームのサンプリングから取得された（a）ビデオ刺激情報および（b）反射光情報に基づいて、前記アップサンプリングされた眼測定パラメータセット内の時間成分を同期させること
を含む、
請求項32記載のコンピュータ可読媒体。

【請求項35】

命令セットを記憶したメモリと、
該命令セットを実行して、
ユーザと関連付けられたクライアントデバイスから、該ユーザの顔のビデオを含むビデオストリームを取得する工程;
眼測定パラメータセットを取得するためにビデオストリームを処理する工程であって、該眼測定パラメータセットが、（a）該ユーザの眼と関連付けられた虹彩の回転と、瞳孔および該虹彩の位置とを示す視線追跡データと、（b）瞳孔半径および虹彩半径を示す眼サイズデータと、（c）該眼の開度を示す開眼度データとを含む、工程;
同期された眼測定パラメータセットを取得するために、該眼測定パラメータセットを、該クライアントデバイスのディスプレイ上に提示されたビデオ刺激と同期させる工程であって、該同期させることが該ビデオ刺激内の光変調に基づく、工程;ならびに
該同期された眼測定パラメータセットに基づいて、該ビデオ刺激に反応した該眼の動きを示す眼球運動パラメータセットを取得する工程
の方法をシステムに行わせるように構成された、プロセッサと
を備える、前記システム。

【発明の詳細な説明】

【技術分野】

【0001】

関連特許出願の相互参照
本特許出願は、2021年5月3日に出願された「MEASURING HIGH RESOLUTION EYE MOVEMENTS USING BLIND DECONVOLUTION TECHNIQUES」という名称の米国仮特許出願第63/183,388号の恩典を主張し、その全体が参照により本明細書に組み入れられる。

【背景技術】

【0002】

背景
微小眼球運動と神経障害の進行との間の関連性を実証するいくつかの論文が発表されている（例えば、以下の参考文献の項を参照されたい）。典型的には、これらの眼球運動は、専用の装置（例えば、赤外線視線追跡装置、瞳孔計、または他のそのような装置）を使用して十分に制御された実験室環境（例えば、動きなし、制御された周囲光、または他のそのようなパラメータ）で測定され、これは設定が難しく、法外に高くつき、または制御された環境を作成もしくは維持するためにかなりの時間および労力を伴う可能性がある。いくつかの先行技術は、これらの眼球運動を取得するためにニューラルネットワークを使用するが、測定に必要な分解能（例えば、約0.1mmまたはより大きい、より高い、もしくはより細かい分解能）を達成しない。さらに、先行技術は、制御された周囲条件で特定の標準化された刺激（例えば、制御された光刺激、特定のパラメータを測定するために提供される刺激、患者が意識する必要がある刺激、または他のそのような刺激）に対する眼の反応を測定することに焦点を合わせている。これらおよび他の欠点が存在する。

【発明の概要】

【0003】

概要
開示の態様は、標準的なカメラ（例えば、スマートフォンカメラ、ウェブカメラ、または別のビデオキャプチャデバイス）によって取り込まれたビデオを用いた、制御された設定を必要としない、微小眼球パラメータまたは眼球運動の測定を容易にするためのシステムおよび方法に関する。態様は、様々な高分解能の眼測定パラメータを取得する。例えば、態様は、眼瞼境界の座標などの眼瞼データを取得し得る。別の例では、態様は、虹彩並進または虹彩中心、虹彩回転、虹彩半径、虹彩可視比率、または虹彩被覆非対称性などの虹彩データを取得する。さらに別の例では、態様は、瞳孔中心、瞳孔半径、瞳孔可視比率、または瞳孔被覆非対称性などの瞳孔データを取得する。眼測定パラメータは、高分解能で、例えば、サブピクセルレベル、0.1mm、または他のより大きい、より高い、もしくはより細かい分解能で取得される。いくつかの態様では、眼測定パラメータは、瞳孔反応パラメータ、視線、サッカード、固視などといった眼球運動測定値を決定する際に使用される場合があり、これらは、神経学的状態または障害の進行を予測、診断または測定するためにさらに使用され得るデジタルバイオマーカを生成するために使用され得る。デジタルバイオマーカは、客観的で、高感度で、正確であり、疾患の進行と相関しており、遠隔で、さらには分散方式で行われ得る。眼測定パラメータまたは眼球運動パラメータは、ユーザ装置上でユーザに提示される非標準刺激（例えば、患者が意識する必要がない刺激、複数のパラメータを測定するために使用され得る刺激、ユーザによって観察されている表示装置上で再生されているビデオなどの刺激、または制御された周囲照明条件を必要としない他のそのような刺激）を使用して取得され得る。

【0004】

いくつかの態様では、開示の態様は、確率的方法（例えば、最尤推定や他のそのような方法）または信号処理方法（例えば、ブラインドデコンボリューションや他のそのような方法）を使用して、分解能を高め、制御されていない設定で標準的なカメラによって取り込まれた眼球運動のビデオフレームシーケンスに存在するデータ層に対して超高分解能で（例えば、サブピクセルレベル、0.1mm、または他のより大きい、より高い、もしくはより細かい分解能で）眼測定パラメータ、眼球運動パラメータを確認し得る。開示の態様は、予測モデル（例えば、ニューラルネットワークなどの機械学習（ML）モデル）を使用して、高分解能で1つまたは複数の眼測定パラメータを取得し得る。

【0005】

いくつかの態様では、開示の態様は高分解能の眼球運動パラメータを取得し、高分解能の眼球運動パラメータは、神経学的状態または障害の進行を診断または測定するためにさらに使用され得るデジタルバイオマーカを生成するために使用され得る。眼球運動パラメータは、上記の高分解能の眼測定パラメータに基づいて取得、導出、または決定され得る。例えば、眼測定パラメータを使用して、サッカード、アンチサッカード、固視、または円滑性追跡などの眼球運動パラメータが取得され得る。いくつかの態様では、サッカードパラメータまたは情報は、眼の急な動きを示し得、サッカード潜時、サッカード振幅、サッカードピーク速度、サッカードオーバーシュート振幅、またはサッカード修正時間のうちの少なくとも1つを含み得る。いくつかの態様では、アンチサッカードパラメータまたは情報は、クライアントデバイス上に表示されたビデオ刺激においてターゲットが提示される側とは反対の方向への眼の動きを示し得、アンチサッカード潜時、アンチサッカード振幅、アンチサッカードピーク速度、アンチサッカードオーバーシュート振幅、アンチサッカード修正時間、アンチサッカード方向混乱率、または予想されるアンチサッカードのうちの少なくとも1つを含み得る。いくつかの態様では、固視パラメータまたは情報は、ビデオ刺激内の単一の位置に注視を維持する眼の能力を示し得、マイクロサッカード振幅分布、矩形波眼球運動（SWJ）周波数、SWJ振幅、またはSWJオフセット持続時間のうちの少なくとも1つを含み得る。いくつかの態様では、円滑性追跡パラメータまたは情報は、視線がビデオ刺激内の移動オブジェクトに固定されたままであるという眼球運動のタイプ（例えば、サッカードの急な動きとは対照的な滑らかで緩やかな動き）を示し得、（a）眼球運動のサッカード、固視または円滑性追跡への分類、（b）サッカード運動振幅パーセンテージ、（c）円滑性運動振幅パーセンテージ、（d）サッカード運動時間パーセンテージ、（e）固視時間パーセンテージ、または（f）円滑性運動時間パーセンテージのうちの少なくとも1つを含み得る。

【0006】

いくつかの態様では、眼球運動パラメータを生成する前に、眼測定パラメータは、眼測定パラメータの時間分解能を高めるためにアップサンプリングされ、次いで眼球運動パラメータの精度（例えば、時間成分）をさらに改善するためにユーザ装置のディスプレイ上に提示されたビデオ刺激と同期され得る。次いで、眼測定パラメータの同期された時系列データは、眼球運動パラメータを生成するために使用され得る。

【0007】

本発明の様々な他の局面、特徴、および利点は、本発明の詳細な説明および添付の図面を通して明らかになるであろう。前述の一般的な説明および以下の詳細な説明は両方とも例示であり、本発明の範囲を限定するものではないことも理解されたい。本明細書および特許請求の範囲で使用される場合、単数形の「1つの（a）」、「1つの（an）」、および「その（the）」は、文脈上明らかに他の意味に解すべきでない限り、複数への言及を含む。さらに、本明細書および特許請求の範囲で使用される場合、「または」という用語は、文脈上明らかに他の意味に解すべきでない限り、「および/または」を意味する。

【図面の簡単な説明】

【0008】

【図1A】様々な態様と一致する、ユーザの眼測定パラメータおよび眼球運動の測定を容易にするためのシステムを示す。

【図1B】様々な態様と一致する、眼と関連付けられた高分解能（HR）の眼測定パラメータを抽出するプロセスを示す。

【図2】1つまたは複数の態様による、眼測定パラメータの予測を容易にするように構成された機械学習モデルを示す。

【図3】図3Aは、様々な態様と一致する、装置座標系を例示する。図3Bは、様々な態様と一致する、頭部座標系を例示する。

【図4】様々な態様と一致する、高分解能で眼測定パラメータを取得するためのプロセスの流れ図である。

【図5】様々な態様と一致する、調整された眼測定パラメータを取得するためにビデオストリームをデコンボリューションするためのプロセスの流れ図である。

【図6】様々な態様と一致する、高分解能の眼球運動パラメータを取得するためのプロセスの流れ図である。

【図7】様々な態様と一致する、ビデオストリームから高分解能の眼球運動パラメータを取得するための別のプロセスの流れ図である。

【図8】様々な態様と一致する、瞬目情報を取得するためのプロセスの流れ図である。

【図9】様々な態様と一致する、瞳孔反応情報を取得するためのプロセスの流れ図である。

【図10】様々な態様と一致する、様々な眼球運動パラメータを取得するためのプロセスの流れ図である。

【図11】様々な態様と一致する、眼測定パラメータを同期させるためのプロセスの流れ図である。

【図12】開示の態様の特徴を実施するために使用され得るコンピュータシステムのブロック図である。

【発明を実施するための形態】

【0009】

詳細な説明
以下の記述には、本発明の態様の完全な理解を提供するために、説明を目的として多数の具体的な詳細が記載される。しかしながら、本発明の態様は、これらの特定の詳細なしで、または同等の構成を用いて実施されてもよいことが当業者には理解されよう。他の場合には、本発明の態様を不必要に不明瞭にすることを避けるために、周知の構造および装置がブロック図形式で示される。

【0010】

図1Aは、様々な態様と一致する、ユーザの眼測定パラメータおよび眼球運動の測定を容易にするためのシステム100を示している。図1Bは、様々な態様と一致する、眼と関連付けられた高分解能（HR）の眼測定パラメータを抽出するプロセス175を示している。図1Aに示すように、システム100は、コンピュータシステム102、クライアントデバイス106、または他の構成要素を含んでもよい。例として、コンピュータシステム102は、サーバ、パーソナルコンピュータ（PC）、ラップトップコンピュータ、タブレットコンピュータ、ハンドヘルドコンピュータ、または他のコンピュータ機器などの任意のコンピューティングデバイスを含んでもよい。コンピュータシステム102は、ビデオ管理サブシステム112、眼測定パラメータサブシステム（OPS）114、マーカサブシステム116、または他の構成要素を含んでもよい。クライアントデバイス106は、任意のタイプのモバイル端末、固定端末、または他の装置を含んでもよい。例として、クライアントデバイス106は、デスクトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、スマートフォン、ウェアラブルデバイス、または他のクライアントデバイスを含んでもよい。ユーザ、例えばユーザ140は、例えば、クライアントデバイス106を利用して、1つまたは複数のサーバ、またはシステム100の他の構成要素と対話し得る。カメラ120は、ユーザ140の静止画像またはビデオ画像、例えば、ユーザ140の顔のビデオを取り込み得る。カメラ120は、クライアントデバイス106（例えば、スマートフォンカメラ）と一体化されていてもよいし、クライアントデバイス106に接続されたスタンドアロンカメラ（例えば、ウェブカメラや他のそのようなカメラ）であってもよい。

【0011】

システム100の構成要素は、通信ネットワーク150（例えば、インターネット、携帯電話ネットワーク、モバイルボイスもしくはデータネットワーク、ケーブルネットワーク、公衆交換電話網、または他のタイプの通信ネットワーク、または通信ネットワークの組合せ）を介してシステム100の1つまたは複数の構成要素と通信し得る。通信ネットワーク150は、無線または有線のネットワークであり得る。一例として、クライアントデバイス106とコンピュータシステム102は、無線で通信し得る。

【0012】

本明細書では、1つまたは複数の動作がコンピュータシステム102の特定の構成要素によって行われるものとして説明されているが、それらの動作は、いくつかの態様では、コンピュータシステム102の他の構成要素またはシステム100の他の構成要素によって行われてもよいことに留意されたい。一例として、本明細書では、1つまたは複数の動作がコンピュータシステム102の構成要素によって行われるものとして説明されているが、それらの動作は、いくつかの態様では、クライアントデバイス106の構成要素によって行われてもよい。

【0013】

本明細書では機械学習モデルに関していくつかの態様が説明されているが、他の態様では、機械学習モデルの代わりに、または機械学習モデルに加えて、他の予測モデル（例えば、統計モデルや他の分析モデル）が使用されてもよい（例えば、1つまたは複数の態様において統計モデルが機械学習モデルに取って代わり、非統計モデルが非機械学習モデルに取って代わる）ことに留意されたい。

【0014】

いくつかの態様では、システム100は、カメラ120によって取り込まれた眼球運動のビデオストリーム125（例えば、眼の画像のフレームのシーケンス）を使用して、高分解能（例えば、サブピクセルレベル、0.1mmまたは他のより大きい、より高い、より細かい分解能）でのユーザ140の眼測定パラメータ170～178の決定を容易にする。ビデオ管理サブシステム112は、クライアントデバイス106からビデオストリーム125を取得し、ビデオストリーム125をデータベース132に記憶する。OPS114は、ビデオストリーム125を処理して、高分解能で、パラメータの中でも特に、眼の各々の（i）瞳孔中心176、（ii）瞳孔半径178、（iii）虹彩半径174、（iv）虹彩並進172、および（v）虹彩回転170などの眼測定パラメータを抽出する。これらの眼測定パラメータは、非標準刺激（例えば、クライアントデバイス106に表示されたビデオ刺激や画像刺激）に反応する眼球運動を示す眼球運動パラメータ（例えば、瞳孔反応パラメータや視線パラメータ）を決定し得る。マーカサブシステム116は、1つまたは複数の神経障害の指標として機能し得る眼球運動パラメータに基づいて、デジタルバイオマーカ（例えば、パラメータ）を生成し得る。

【0015】

ビデオ管理サブシステム112は、いくつかのフォーマット（例えば、WebM、Windows Media Video、Flash Video、AVI、QuickTime、AAC、MPEG-4、または別のファイルフォーマット）のうちのいずれかでビデオストリーム125をデータベース132に記憶し得る。ビデオ管理サブシステム112はまた、眼測定パラメータを生成するためのOPS114への入力（例えば、リアルタイムで）としてビデオストリーム125を提供してもよい。いくつかの態様では、ビデオ管理サブシステム112は、ビデオストリーム125をOPS114による眼測定パラメータ抽出に適したフォーマットに変換するために、ビデオストリーム125の前処理191を行い得る。例えば、ビデオ管理サブシステム112は、OPS114用に前処理されたビデオストリーム151を生成するために、ビデオストリーム125に対して抽出、変換、およびロード（ETL）プロセスを行ってもよい。ETLプロセスは、典型的には、データが最初に抽出され、次いで変換され（例えば、クリーニングされ、無害化され、スクラブされ）、最後にターゲットシステムにロードされる多相プロセスである。データは、1つまたは複数のソースから照合されてもよく、1つまたは複数の宛先に出力されてもよい。一例では、ビデオ管理サブシステム112によって行われるETLプロセスは、ビデオストリーム125内の色および明るさ（例えば、ホワイトバランス）を調整することを含み得る。別の例では、ETLプロセスは、ビデオストリーム125からのノイズを低減することを含み得る。さらに別の例では、ETLプロセスは、例えば、低分解能画像のシーケンスから高分解能画像（またはシーケンス）を復元する1つまたは複数のマルチフレーム超分解能技術を実施することによって、マルチフレームデータに基づいてビデオストリーム125の分解能を改善することを含み得る。いくつかの態様では、超分解能は、複数のぼやけた低分解能画像から単一の高分解能画像（またはシーケンス）を取得するためのデジタル画像処理技術である。超分解能の基本的な考え方は、同じシーンの低分解能画像は、相対的なサブピクセルシフトのために異なる情報を含み、よって、画像融合によって、より高い空間情報を有する高分解能画像を再構成することができる、というものである。ビデオ管理サブシステム112は、上記の前処理動作および他の同様の前処理動作を行って、OPS114が眼測定パラメータ抽出を行うのに適したフォーマットの前処理されたビデオストリーム151を生成し得る。

【0016】

いくつかの態様では、ビデオ管理サブシステム112は、予測モデルを介して（例えば、クライアントデバイス106から取得されたビデオストリーム125に基づいて）前処理されたビデオストリーム151を取得し得る。一例として、ビデオ管理サブシステム112は、クライアントデバイス106から取得されたビデオストリーム125を予測モデルに入力してもよく、次いで予測モデルは前処理されたビデオストリーム151を出力する。いくつかの態様では、システム100は、前処理されたビデオストリームの生成を容易にするように予測モデルを訓練または構成し得る。いくつかの態様では、システム100は、ユーザと関連付けられたクライアントデバイスからビデオストリーム（例えば、ユーザ140の顔のビデオを有するビデオストリーム125）を取得し、そのような情報を、予測（例えば、色または明るさが調整された、ビデオの分解能が改善されたなど、前処理されたビデオストリーム151）を生成するための予測モデルへの入力として提供し得る。システム100は、予測モデルに参照フィードバックを提供してもよく、予測モデルは、予測および参照フィードバックに基づいて予測モデルの1つまたは複数の部分を更新し得る。一例として、予測モデルがクライアントデバイスから取得されたビデオストリームに基づいて予測を生成する場合には、そのような入力ビデオストリームと関連付けられた1つまたは複数の前処理されたビデオストリームが、予測モデルへの参照フィードバックとして提供され得る。一例として、（例えば、前処理されたビデオのユーザ確認を介して、そのような目標を実証する1つまたは複数の後続のアクションを介してなど）1つもしくは複数のユーザ応答または1つもしくは複数のサービスを介した1つもしくは複数の他のユーザアクションに基づいて、OPS114による眼測定パラメータ抽出に適したビデオストリームとして特定の前処理されたビデオストリームが検証され得る。前述のユーザ入力情報は、予測モデルに前処理されたビデオストリームの予測を生成させるための予測モデルへの入力として提供されてもよく、検証された前処理されたビデオストリームは、予測モデルを更新するために予測モデルへの参照フィードバックとして提供されてもよい。このようにして、例えば、予測モデルは、より正確な予測を生成するように訓練または構成され得る。いくつかの態様では、訓練データセットは、各データ項目が少なくともクライアントデバイスから取得されたビデオおよびグラウンドトゥルースとしての対応する前処理されたビデオを含むいくつかのデータ項目を含み得る。

【0017】

いくつかの態様では、予測モデルを更新するための前述の動作は、1人または複数のユーザと関連付けられた訓練データセット（例えば、所与のユーザについて予測モデルを特に訓練もしくは構成するための所与のユーザと関連付けられた訓練データセット、所与のグループについて予測モデルを特に訓練もしくは構成するための所与のクラスタ、個体群、もしくは他のグループと関連付けられた訓練データセット、任意の所与のユーザセットと関連付けられた訓練データセット、または他の訓練データセット）を用いて行われ得る。よって、いくつかの態様では、予測モデルの更新に続いて、システム100は、予測モデルを使用して、OPS114による眼測定パラメータ抽出を容易にするための前処理されたビデオストリームの生成を容易にし得る。

【0018】

ビデオ管理サブシステム112は、ビデオストリーム125をOPS114に入力する前に、またはビデオストリーム125をデータベース132に記憶した後に、前処理されたビデオストリーム151を生成し得る。さらに、ビデオ管理サブシステム112は、前処理されたビデオストリーム151をビデオストリーム125と共にデータベース132に記憶してもよい。

【0019】

OPS114は、ビデオストリーム125または前処理されたビデオストリーム151を処理して、ユーザ140の眼145の特性である眼測定パラメータ（例えば、眼測定パラメータ170～178）を抽出、決定、導出、または生成し得る。いくつかの態様では、眼測定パラメータは、（i）瞳孔中心176、（ii）瞳孔半径178、（iii）虹彩半径174、（iv）虹彩並進172、および（v）虹彩回転170などのパラメータを含む。瞳孔中心176は、瞳孔の中心であり、座標系における瞳孔中心の位置を特定する座標（例えば、三次元（3D）横方向変位ベクトル（x,y,z））を使用して表され得る。瞳孔半径178は、瞳孔の半径であってもよく、距離単位を有するスカラーとして表され得る。虹彩並進172（または虹彩並進160）は、虹彩の中心であり、座標系における虹彩中心の位置を特定する座標（例えば、3D横方向変位ベクトル（x,y,z））を使用して表され得る。虹彩半径174（または虹彩半径162）は、虹彩の半径であってもよく、距離単位を有するスカラーとして表され得る。いくつかの態様では、虹彩半径174は、ヒト集団において小さな分散を有する（例えば、虹彩半径を考慮した10％～15％がヒト集団の間で11mm～13mmの幅がある）と仮定される。虹彩回転170（または虹彩回転158）は、虹彩の回転を表し、（例えば、虹彩円平面に対して垂直な）虹彩法線ベクトルとして取得される。いくつかの態様では、虹彩回転170は、装置座標系における3Dベクトル（例えば、x,y,z）に投影され得るか、または頭部座標系における2Dベクトル（例えば、方位角および仰角）によって表され得る。いくつかの態様では、OPS114は、図3Aおよび図3Bにそれぞれ例示されている装置座標系や頭部座標系などの、1つまたは複数の座標系における眼測定パラメータの座標を取得し得る。

【0020】

図3Aは、様々な態様と一致する、装置座標系を例示している。いくつかの態様では、装置座標系はデカルト座標系であり、クライアントデバイス（例えば、クライアントデバイス106）のディスプレイ302の中心が、（0,0,0）としての（x,y,z）座標を有する原点304とみなされる。装置座標系は、3つの直交する軸、例えば、ディスプレイ302の水平縁部の方向のx軸、ディスプレイ302の垂直縁部の方向の、x軸に垂直なy軸、およびディスプレイ302の平面に垂直な方向のz軸を定義する。

【0021】

図3Bは、様々な態様と一致する、頭部座標系を例示している。いくつかの態様では、頭部座標系は、顔境界多角形内の以下の点、すなわち、顔多角形内の最も左、最も右、および最も上の（図3Bの点1、2および3）検出可能点を含む平面によって定義される。例えば、最も上の点3は、顔境界多角形内の最も上の検出可能点として定義され得、y軸と頭部との間の断面内に位置し得る。顔画像を取得するとき、横軸（x）は、最も左の点と最も右の点との間の線として定義され得、定義平面上のその線に対する垂直ベクトルが縦軸（y）として定義され得る。奥行き軸（z）は、x軸とy軸の両方に直交し得る。頭部座標系の原点（図3Bの点0）は、z方向の変位によって定義平面上に投影される、眼の間の中心に位置する。いくつかの態様では、虹彩回転は、2つの角度（例えば、方位角および仰角）が与えられると、眼球回転として頭部座標系上に表され得る。

【0022】

OPS114に関して、OPS114は、頭部座標系または装置座標系を含む座標系のいずれかにおける眼測定パラメータの座標を表すように構成され得る。さらに、OPS114は、頭部座標系から装置座標系に、またはその逆など、座標をある座標系から別の座標系に変換するように構成されてもよい。

【0023】

OPS114はまた、両眼の上眼瞼境界および下眼瞼境界の座標などの眼瞼データ164も取得し得る。眼瞼データ164は、眼測定パラメータを決定する際、またはその精度を改善する際に使用され得る。いくつかの態様では、OPS114は、上記のデータ（例えば、眼測定パラメータ170～178、眼瞼データ164または他のデータ）を時系列データとして取得し得る。例えば、OPS114は、ビデオストリーム125の第1の時点の眼測定パラメータ170～178の第1の値セット、ビデオストリーム125の第2の時点の眼測定パラメータ170～178の第2の値セットなどを抽出し得る。すなわち、OPS114は、指定された時間間隔（例えば、ミリ秒ごと、数ミリ秒ごと、または他の時間分解能）で眼測定パラメータ170～178を連続的に抽出し得る。さらに、OPS114は、上記のデータをユーザ140の眼145の一方または両方について取得してもよい。

【0024】

OPS114は、前処理されたビデオストリーム151から上記の眼測定パラメータ（例えば、眼測定パラメータ170～178）を抽出するためにいくつかのプロセスを行い得る。例えば、抽出プロセス192において、OPS114は、虹彩データ153、眼瞼データ155、および瞳孔中心157などの第1の眼測定パラメータセットを取得し得る。いくつかの態様では、OPS114は、前処理されたビデオストリーム151に対してコンピュータビジョン技術を使用して、カメラ120に対するユーザ140の顔の並進および回転をモデル化し、顔の眼および口を識別し得る。眼の位置を特定した後、OPS114は、フレームごとに眼瞼データ155（例えば、眼瞼を表す多角形を記述する点の配列の座標）を（例えば、それらのエッジが二次関数で近似され得るという事実を使用して）取得し得る。いくつかの態様では、OPS114は、時系列としての眼瞼の位置に基づいて任意の時点に虹彩半径の内または外にあるピクセルを決定することによって虹彩データ153（例えば、虹彩を表す楕円体などの形状）を決定し得る。いくつかの態様では、OPS114は、内または外にあるピクセルを決定する際に、虹彩および瞳孔が強膜（例えば、眼の白色部分）と比較して相対的に均一で暗い色を有する楕円体であるとみなすように構成され得る。虹彩データ153は、虹彩（例えば、楕円）を表す形状の左境界点および右境界点の座標に対応する第1の座標および第2の座標、形状の上境界点および下境界点の座標に対応する第3の座標および第4の座標、ならびに虹彩の中心に対応する第5の座標など、いくつかの座標を含み得る。瞳孔中心157もまた、眼瞼データ155および虹彩データ153の時系列に基づいて決定され得る。いくつかの態様では、瞳孔中心157は、瞳孔の中心の位置を表す座標を含み得る。

【0025】

いくつかの態様では、OPS114は、抽出プロセス192において予測モデルを実施してもよく、予測モデルを介して（例えば、ビデオストリーム125または前処理されたビデオストリーム151に基づいて）第1の眼測定パラメータセットを取得し得る。一例として、OPS114は、ビデオストリーム125または前処理されたビデオストリーム151を予測モデルに入力してもよく、次いで予測モデルは、第1の眼測定パラメータセットを出力する。いくつかの態様では、システム100は、第1の眼測定パラメータセットの生成を容易にするように予測モデルを訓練または構成し得る。いくつかの態様では、システム100は、ユーザの顔のビデオを有するビデオストリーム（例えば、ビデオストリーム125または前処理されたビデオストリーム151）を取得し、そのような情報を、予測（例えば、虹彩データ、眼瞼データ、瞳孔中心などといった第1の眼測定パラメータセット）を生成するための予測モデルへの入力として提供し得る。システム100は、予測モデルに参照フィードバックを提供してもよく、予測モデルは、予測および参照フィードバックに基づいて予測モデルの1つまたは複数の部分を更新し得る。一例として、予測モデルがビデオストリーム125または前処理されたビデオストリーム151に基づいて予測を生成する場合には、そのような入力ビデオストリームと関連付けられた眼測定パラメータの第1が、予測モデルへの参照フィードバックとして提供され得る。一例として、特定の眼測定パラメータセットが、（例えば、眼測定パラメータセットのユーザ確認を介して、そのような目標を実証する1つまたは複数の後続のアクションを介してなど）適切な眼測定パラメータセットとして検証されてもよい。前述のユーザ入力情報は、予測モデルに第1の眼測定パラメータセットの予測を生成させるための予測モデルへの入力として提供されてもよく、検証された眼測定パラメータセットは、予測モデルを更新するために予測モデルへの参照フィードバックとして提供されてもよい。このようにして、例えば、予測モデルは、より正確な予測を生成するように訓練または構成され得る。

【0026】

いくつかの態様では、予測モデルを更新するための前述の動作は、1人または複数のユーザと関連付けられた訓練データセット（例えば、所与のユーザについて予測モデルを特に訓練もしくは構成するための所与のユーザと関連付けられた訓練データセット、所与のグループについて予測モデルを特に訓練もしくは構成するための所与のクラスタ、個体群、もしくは他のグループと関連付けられた訓練データセット、任意の所与のユーザセットと関連付けられた訓練データセット、または他の訓練データセット）を用いて行われ得る。よって、いくつかの態様では、予測モデルの更新に続いて、システム100は、予測モデルを使用して、第1の眼測定パラメータセットの生成を容易にし得る。

【0027】

いくつかの態様では、OPS114はまた、ユーザと関連付けられた検眼データなどの他の要因に基づいて第1のパラメータセットをさらに調整、修正、または補正し得る。例えば、ユーザ140は、近視、遠視、乱視または他の視覚状態などの特定の視覚状態を有する場合があり、ユーザは、眼鏡やコンタクトレンズなどの補正レンズを装着している場合がある。OPS114は、ユーザ140のそのような検眼条件を考慮し、第1の眼測定パラメータセットのうちの1つまたは複数の値を補正、調整または修正し得る。いくつかの態様では、OPS114は、（例えば、データベース132に記憶された）ユーザプロファイルデータからユーザ140と関連付けられた検眼データを取得し得る。

【0028】

いくつかの態様では、OPS114は、虹彩データ153をさらにプロセス193を行って、虹彩回転158、虹彩並進160および虹彩半径162などの虹彩関連パラメータを抽出し得る。いくつかの態様では、上記の虹彩関連パラメータは、ML技術を使用して取得される。例えば、OPS114は、虹彩関連パラメータを推定するための最尤推定（MLE）ベースの曲線適合法を実施してもよい。虹彩データは、上記の虹彩関連パラメータを生成するMLEベースの曲線適合法（例えば、楕円適合、虹彩が円形であり、したがって2D平面に投影されると卵形/楕円であるという仮定に基づく）への入力として提供される。いくつかの態様では、統計学において、MLEは、尤度関数を最大化することによって確率分布のパラメータを推定する方法であり、そのため、仮定される統計モデルの下で観察されるデータが最も確からしい。尤度関数を最大化するパラメータ空間内の点は、最尤推定値と呼ばれる。いくつかの態様では、曲線適合操作は、制約（例えば、楕円適合）を受ける、一連のデータ点への最適解を有する曲線または数学関数を構築するプロセスである。曲線適合は、データへの正確な適合が必要とされる補間、またはデータにほぼ適合する「平滑」関数が構築される平滑化のいずれかを含み得る。適合された曲線は、データが利用できない関数の値を推測し、2つ以上の変数間の関係を要約するために、データ視覚化の補助として使用され得る。

【0029】

いくつかの態様では、MLEベースの曲線適合操作を行うことによって、虹彩関連パラメータの少なくとも一部の精度がさらに改善され得る。例えば、虹彩境界を描写する形状は、虹彩データ153内の形状の座標からさらに改善され、したがって、改善されたまたはより正確な虹彩半径162が決定され得る。いくつかの態様では、虹彩中心とも呼ばれる虹彩並進160は、虹彩データ153における虹彩中心の座標と同様である。いくつかの態様では、プロセス193において、OPS114は、異なる虹彩中心を考慮し、候補虹彩中心の各々に虹彩形状を構築し、形状の各々に信頼スコアを割り当て得る。そのような方法は異なる虹彩中心に対して繰り返されてもよく、スコア基準を満たすスコア（例えば、最良のスコア）を有する形状が選択される。いくつかの態様では、各反復のスコアは、既知の物理的制約および仮定に基づいて、検査されたパラメータセット（例えば、虹彩の形状、半径および中心の座標）の対数尤度を反映し得る。いくつかの態様では、物理的制約および仮定は、収束に向かって反復する前により良好に推定された初期条件を導入することによってMLEプロセスの効率を改善し得る。例えば、いくつかの仮定には、虹彩が円形であること（2Dとして平面に投影されたときに楕円/卵形として表されること、虹彩中心が円の重心に予想されること、虹彩と強膜との間の高いコントラスト、左眼と右眼との間の向きの類似度、予想される注視点に関する刺激ベースの仮定、およびビデオ刺激がユーザに示されるクライアントデバイスのディスプレイの明るさが含まれ得る。いくつかの態様では、物理的制約の例には、全体的な明るさ（光条件）における瞳孔散大依存性、ユーザがディスプレイを見るときの限定された顔の向きの範囲、まばたきが再調整時間に起因して不確実性を引き起こす可能性があること、または物理的に可能な可動域（顔と眼球の両方）が含まれ得る。

【0030】

OPS114は、ビデオストリーム125または前処理されたビデオストリーム151に対してデコンボリューションプロセス194を行って、眼瞼データ155や瞳孔中心166などのいくつかの眼測定パラメータを調整し（例えば、分解能を改善するか、または精度を向上させ）、瞳孔半径などの他の眼測定パラメータを決定し得る。いくつかの態様では、OPS114は、ブラインドデコンボリューションプロセスを行って、眼測定パラメータの精度を改善し得る。画像処理において、ブラインドデコンボリューションは、不十分に決定された、または未知の点像分布関数（PSF）の存在下で、単一の「ぼやけた」画像または「ぼやけた」画像のセットからのターゲットシーンの復元を可能にするデコンボリューション技術である。通常の線形および非線形のデコンボリューション技術は、既知のPSFを利用し得る。ブラインドデコンボリューションの場合、PSFは画像または画像セットから推定され、デコンボリューションが行われることが可能になる。ブラインドデコンボリューションは、反復的に行われてもよく、それによって反復ごとにPSFおよびシーンの推定が改善され、または非反復的に行われてもよく、その場合、アルゴリズムの1回の適用により、外部情報に基づいてPSFが抽出される。PSFを決定した後、PSFは、ビデオストリーム125または前処理されたビデオストリーム151をデコンボリューションして、調整された眼測定パラメータ（例えば、調整された眼瞼データ164、調整された瞳孔中心166または瞳孔半径168）を取得する際に使用され得る。いくつかの態様では、ブラインドデコンボリューションプロセスは、調整された眼測定パラメータを、ビデオストリーム125の高い分解能の画像またはフレームを再構築することなしに取得するために使用され得る。

【0031】

いくつかの態様では、ブラインドデコンボリューションアルゴリズムを適用することは、画像/ビデオのぼやけの低減または除去、および（例えば、推定された畳み込みベクトル（例えば、PSF）のパラメータに基づく）放射照度の推定に役立ち得る。いくつかの態様では、推定放射照度は、ユーザ140の眼から反射された推定放射照度であり、これは眼がさらされている放射照度の指標である。ぼやけが低減または除去され、放射照度が取得された後、デコンボリューションプロセスが1回または複数回繰り返されて、（例えば、その精度または分解能が、デコンボリューションプロセス194の前の眼測定パラメータと比較して改善された）調整された眼測定パラメータが取得され得る。

【0032】

いくつかの態様では、PSFを決定する際に、ブラインドデコンボリューションプロセスは様々な要因を考慮する。例えば、OPS114は、（a）高時間分解能（例えば、1フレーム当たり30ms以上の速さ）のビデオストリーム125または前処理されたビデオストリーム151（例えば、時系列画像シーケンスである）、（b）クライアントデバイス106のディスプレイ上に提示された刺激に関する時空間情報や、スペクトル特性（例えば、色）および強度（例えば、明るさ）を含む刺激に関する光学特性情報などの刺激データ、（c）カメラ120から取得された情報を使用して測定することができる、ユーザが位置する環境（例えば、部屋）における照明などの環境データ、（d）クライアントデバイス106の向き情報、加速度センサなどのクライアントデバイス106と関連付けられた1つまたは複数のセンサからの情報などの装置データを入力してもよい。そのような要因は、PSFの効率的な計算に役立ち、ノイズの不確実性を最小限に抑え、全体的なデコンボリューションのより良好な精度につながる。

【0033】

いくつかの態様では、デコンボリューションプロセス194は、眼測定パラメータの精度をさらに改善するためにMLEプロセスと統合される。例えば、MLEプロセスは、眼瞼データ155の精度を改善するために使用され得る。上述のように、眼瞼データ155は、眼瞼の形状（例えば、多角形）を記述する点の配列の座標を含む。MLEプロセスは、調整された眼瞼データ164として眼瞼のより正確な表現を取得するために、眼瞼の形状が放物線状であるという制約の下で眼瞼データ155に対して放物曲線適合操作を行う。いくつかの態様では、調整された眼瞼データ164は、眼瞼の形状（例えば、放物線）を記述する点の集合の座標を含み得る。そのような調整された眼瞼データ164は、眼の両方の眼瞼および両眼に対して取得され得る。いくつかの態様では、OPS114は、調整された眼瞼データ164情報を使用して、たとえ一部が物理的に困難である場合（例えば、上眼瞼が瞳孔中心を覆っている場合や、虹彩の一部のみがカメラに露出している場合）であっても、瞳孔半径中心などの厳密な眼測定パラメータ値を予測し得る。

【0034】

いくつかの態様では、MLEプロセスは、瞳孔半径168などの瞳孔関連データを取得または改善するためにも使用され得る。いくつかの態様では、MLEベースの曲線適合操作を行うことによって、瞳孔関連データの精度がさらに改善され得る。いくつかの態様では、MLEプロセスにおいて、OPS114は、異なる瞳孔中心を考慮し、候補瞳孔中心の各々に瞳孔形状を構築し、形状の各々に信頼スコアを割り当て得る。そのような方法は異なる瞳孔中心に対して繰り返されてもよく、スコア基準を満たすスコア（例えば、最良のスコア）を有する形状が選択される。形状が選択されると、対応する中心が調整された瞳孔中心166として選択され、瞳孔半径168は、選択された形状および調整された瞳孔中心166に基づいて決定され得る。いくつかの態様では、各反復のスコアは、既知の物理的制約および仮定に基づいて、検査されたパラメータセット（例えば、瞳孔半径および中心）の対数尤度を反映し得る。いくつかの態様では、物理的制約および仮定は、収束に向かって反復する前により良好に推定された初期条件を導入することによってMLEプロセスの効率を改善し得る。例えば、いくつかの仮定には、瞳孔が円形であること（2D平面に投影されたときに楕円/卵形として表されること、瞳孔中心が円の重心に予想されること、左眼と右眼との間の向きの類似度、予想される注視点に関する刺激ベースの仮定、およびビデオ刺激がユーザに示されるクライアントデバイスのディスプレイの明るさが含まれ得る。いくつかの態様では、物理的制約の例には、全体的な明るさ（光条件）における瞳孔散大依存性、ユーザがディスプレイを見るときの限定された顔の向きの範囲、まばたきが再調整時間に起因して不確実性を引き起こす可能性があること、または物理的に可能な可動域（顔と眼球の両方）が含まれ得る。したがって、OPS114は、デコンボリューションプロセス194から、調整された眼瞼データ164、調整された瞳孔中心166、および瞳孔半径168などの調整された眼測定パラメータを取得し得る。いくつかの態様では、虹彩データを処理する上記のプロセス193およびデコンボリューションプロセス194は、以下の眼測定パラメータ、すなわち、調整された眼瞼データ164、調整された瞳孔中心166および瞳孔半径168、虹彩回転158、虹彩並進160および虹彩半径162（「第1の眼測定パラメータセット」とも呼ばれる）を第1の分解能で出力し得る。例えば、第1の分解能は、ピクセルレベルまたは他のより低い分解能であってもよい。

【0035】

いくつかの態様では、OPS114は、第1の眼測定パラメータセットの分解能をさらに改善し得る。例えば、OPS114は、分解能を第1の分解能から第2の分解能（例えば、0.1mm、サブピクセルレベル、または第1の分解能よりも大きい、高い、もしくは細かい他の何らかの分解能）に改善してもよい。いくつかの態様では、OPS114は、第2の分解能で第2の眼測定パラメータセット（例えば、眼測定パラメータ170～178）を取得するために、第1の眼測定パラメータセットを分解能改善プロセス195に入力し得る。いくつかの態様では、分解能改善プロセス195は、（例えば、第1の眼測定パラメータセットに基づいて）予測モデルを介して第2の眼測定パラメータセットを取得し得る。一例として、OPS114は、第1の分解能で取得された第1の眼測定パラメータセットを予測モデルに入力してもよく、次いで予測モデルは、第2の分解能で第2の眼測定パラメータセットを出力する。いくつかの態様では、システム100は、第2の眼測定パラメータセットの生成を容易にするように予測モデルを訓練または構成し得る。いくつかの態様では、システム100は、（a）ユーザの顔のビデオを有するビデオストリーム（例えば、ビデオストリーム125または前処理されたビデオストリーム151）、（b）（上述のように第1の分解能で取得された）第1の眼測定パラメータセット、（c）カメラ120から取得された情報を使用して測定することができる、ユーザが位置する環境（例えば、部屋）における照明などの環境データ、（d）クライアントデバイス106のディスプレイと関連付けられたディスプレイサイズ、ディスプレイ解像度、ディスプレイ明るさ、もしくはディスプレイコントラスト、カメラ120のモデルおよび製造者情報などの装置データ、または（e）人口統計、病歴、検眼データなどといったユーザ情報などの入力データを取得し得る。

【0036】

システム100は、そのような入力データを予測モデルに提供して予測（例えば、第2の分解能での虹彩回転170、虹彩並進172、虹彩半径174、瞳孔中心176、および瞳孔半径178などの第2の眼測定パラメータセット）を生成し得る。システム100は、予測モデルに参照フィードバックを提供してもよく、予測モデルは、予測および参照フィードバックに基づいて予測モデルの1つまたは複数の部分を更新し得る。一例として、予測モデルが上記の入力データに基づいて予測を生成する場合には、そのような入力データと関連付けられた第2の眼測定パラメータセットが、予測モデルへの参照フィードバックとして提供され得る。一例として、第2の分解能で取得された特定の眼測定パラメータセットが、（例えば、眼測定パラメータセットのユーザ確認を介して、そのような目標を実証する1つまたは複数の後続のアクションを介してなど）適切な眼測定パラメータセットとして検証されてもよい。前述のユーザ入力情報は、予測モデルに第2の眼測定パラメータセットの予測を生成させるための予測モデルへの入力として提供されてもよく、検証された眼測定パラメータセットは、予測モデルを更新するために予測モデルへの参照フィードバックとして提供されてもよい。このようにして、例えば、予測モデルは、より正確な予測を生成するように訓練または構成され得る。いくつかの態様では、第2の分解能の眼測定パラメータを有する参照フィードバックは、高分解能（例えば、第2の分解能）で眼測定パラメータを生成するいくつかの視線追跡装置のうちのいずれかを使用して取得された情報から取得、決定、または導出され得る。例えば、一部の追跡装置は、第2の分解能で視線原点、注視点、および瞳孔径などの眼測定パラメータを生成する。OPS114は、視線追跡装置を使用して生成された眼測定パラメータから、虹彩回転、虹彩並進、虹彩半径、瞳孔中心、および瞳孔半径などの第2の眼測定パラメータセットを導出し、導出された第2の眼測定パラメータセットを、予測モデルを訓練するために参照フィードバックとして提供し得る。そのような参照フィードバックは、いくつかのビデオについて取得され、予測モデルを訓練するための訓練データセットとして提供され得る。

【0037】

いくつかの態様では、予測モデルを更新するための前述の動作は、1人または複数のユーザと関連付けられた訓練データセット（例えば、所与のユーザについて予測モデルを特に訓練もしくは構成するための所与のユーザと関連付けられた訓練データセット、所与のグループについて予測モデルを特に訓練もしくは構成するための所与のクラスタ、個体群、もしくは他のグループと関連付けられた訓練データセット、任意の所与のユーザセットと関連付けられた訓練データセット、または他の訓練データセット）を用いて行われ得る。よって、いくつかの態様では、予測モデルの更新に続いて、システム100は、予測モデルを使用して、第1の眼測定パラメータセットの生成を容易にし得る。

【0038】

いくつかの態様では、OPS114は、瞳孔可視比率、瞳孔被覆非対称性、虹彩可視比率、または虹彩被覆非対称性などの追加の眼測定パラメータも抽出し得る。いくつかの態様では、瞳孔可視比率は、眼瞼で覆われていない瞳孔面積と瞳孔虹彩面積との比として計算される。瞳孔被覆非対称性は、虹彩総被覆面積によって正規化された、上眼瞼被覆比率を正の値で表し、下眼瞼被覆比率を負の値で表したときの、瞳孔上眼瞼被覆比率と瞳孔下眼瞼被覆比率との平均として定義され得る。このパラメータの値は-1～1で変化し、上眼瞼と下眼瞼との間の眼瞼被覆の非対称性を投影し得る（例えば、「-1」は、すべての被覆面積が下眼瞼で覆われていることを表し、「1」は、すべての被覆面積が上眼瞼で覆われていることを表し、「0」は、上眼瞼と下眼瞼が等しい面積を覆っていることを表し得る）。

【0039】

いくつかの態様では、虹彩可視比率は、眼瞼によって覆われていない虹彩面積と虹彩の総面積との比として計算される。いくつかの態様では、虹彩被覆非対称性は、虹彩総被覆面積によって正規化された、上眼瞼被覆比率を正の値で表し、下眼瞼被覆比率を負の値で表したときの、虹彩上眼瞼被覆比率と虹彩下眼瞼被覆比率との平均として決定され得る。このパラメータの値は-1～1で変化し、上眼瞼と下眼瞼との間の眼瞼被覆の非対称性を投影する（例えば、「-1」は、すべての被覆面積が下眼瞼で覆われている、「1」は、すべての被覆面積が上眼瞼で覆われている、「0」は、上眼瞼と下眼瞼が等しい面積を覆っている）。

【0040】

OPS114は、第2の眼測定パラメータセット170～178に基づいて追加の眼測定パラメータを抽出し得る。例えば、OPS114は、追加の眼測定パラメータを決定するために、第2の眼測定パラメータセット170～178を使用して幾何学的投影および計算を行ってもよい。

【0041】

いくつかの態様では、OPS114はまた、非標準刺激（例えば、クライアントデバイス106に表示されたビデオや画像）に反応する眼球運動を示す眼球運動パラメータを抽出、生成、または導出し得る。いくつかの態様では、OPS114は、瞬目情報、瞳孔反応情報、サッカード情報、アンチサッカード情報、固視情報、または円滑性追跡情報などの眼球運動パラメータを取得し得る。瞬目情報は、眼の瞬目を記述する情報を含み得る。例えば、瞬目情報は瞬目存在データを含んでもよく、瞬目存在データは、特定の瞬間における眼の瞬目の有無を示し得る。瞬目存在データは、様々な時間にわたる特定の瞬間における瞬目の有無を示す、時系列データであってもよい。別の例では、瞬目情報は瞬目持続時間を含んでもよく、瞬目持続時間は、検出された眼の瞬目の開始と終了との間の時間間隔を示し得る。さらに別の例では、瞬目情報は瞬目頻度を含んでもよく、瞬目頻度は、少なくとも2回の瞬目が時系列内で検出され得るときに計算された、一定の時間間隔についての平均瞬目回数を示し得る。瞬目持続時間は、秒などの時間単位を使用して測定されてもよく、瞬目頻度は1秒あたりのカウントとして測定され得る。いくつかの態様では、眼球運動パラメータは、異なる期間について取得される。例えば、瞬目持続時間および瞬目頻度は、ビデオ刺激内のシーケンスについて取得され得る。

【0042】

ビデオ刺激内には重要な様々な時間間隔が存在し得る。いくつかの態様では、ビデオ刺激内のイベントは、指定された持続時間のものである（例えば、クライアントデバイス106のディスプレイ上に1～3秒のランダムな時間にわたってドットが示されたり、ドットが1500ミリ秒間ランダムに動き回ったりする）。いくつかの態様では、ブリックは一続きの特定の特徴（例えば、サッカード、固視、円滑性追跡、または他のそのような特徴）であり、ビデオ刺激内のイベントの集合（例えば、ドットが中央に現れ、1500ミリ秒待機し、ドットを左または右にジャンプさせ、1000ミリ秒待機し）1500ミリ秒間ランダムに動き回る）を含み得る。いくつかの態様では、シーケンスは、同じタイプのブリックの連続したブリックの集合（例えば、60個のプロサッカードブリック）に対応する。いくつかの態様では、ブリックのタイプは、特定の特徴（例えば、サッカード、固視、円滑性追跡、または他のそのような特徴）に対応し得る。いくつかの態様では、混合シーケンスは、異なるタイプのブリックの連続したブリックの集合に対応する。いくつかの態様では、アクトは、ユーザのために記録された連続したシーケンスの集合に対応する。いくつかの態様では、セッションは、アクトの集合に対応する。

【0043】

いくつかの態様では、瞳孔反応情報は、特定の刺激に対する眼（例えば、瞳孔）の反応を示し得る。瞳孔反応情報は、瞳孔反応振幅、瞳孔反応速度、瞳孔反応潜時、または瞳孔反応持続時間のうちの少なくとも1つを含み得る。瞳孔反応振幅は、イベントなどの時間間隔の間の瞳孔径の最大分散を示し得る。瞳孔反応速度は、イベントの間の瞳孔径の平均時間変化率を示し得る。瞳孔反応潜時は、ビデオ刺激内のイベントと瞳孔径の初期変化との間の時間間隔を示し得る。瞳孔反応持続時間は、イベントに続く瞳孔径の初期変化と瞳孔径のサイズの変化の安定化との間の時間間隔を示し得る。いくつかの態様では、瞳孔反応情報は、ビデオ刺激内のイベントについて取得される。

【0044】

いくつかの態様では、眼球運動パラメータは、眼が向けられているか、または見ている方向を示す視線パラメータを含む。OPS114は、固視、サッカード、アンチサッカード、円滑性追跡、または別の視線パラメータなどの異なるタイプの視線パラメータを取得し得る。いくつかの態様では、サッカードは、ビデオ刺激内の検査領域間の眼球運動の分布として定義される。サッカード情報は、ビデオ刺激に反応した眼の急な動きを示し得る。サッカード情報は、サッカード潜時、サッカード振幅、サッカードピーク速度、サッカードオーバーシュート振幅、またはサッカード修正時間のうちの少なくとも1つを含み得る。サッカード潜時は、刺激イベントと眼のサッカード運動の検出との間の時間を示し得る。サッカード潜時は秒単位で測定され得る。サッカード振幅は、眼のサッカード運動をもたらした角回転を示し得る。サッカード振幅は、度数で測定され得る。サッカードピーク速度は、サッカード運動中に測定された最大角速度を示し得る。サッカードピーク速度は、秒あたりの度数で測定され得る。サッカードオーバーシュート振幅は、ビデオ刺激に示されたターゲットと、修正前の（例えば、眼球運動のオーバーシュートを修正する前の）初期サッカード運動の終了時の実際の注視位置との間の角度分散を示し得る。サッカードオーバーシュート振幅は、度数で測定され得る。サッカード修正時間は、（例えば、オーバーシュート停止時の）初期サッカード運動の終了と刺激ターゲットへの視線到達時間との間の時間間隔を示し得る。サッカード修正時間は、秒単位で測定され得る。いくつかの態様では、サッカード情報は、ビデオ刺激内のイベントについて取得される。

【0045】

いくつかの態様では、アンチサッカード情報は、ビデオ刺激においてターゲットが提示される側とは反対の方向への眼の動きを示す。アンチサッカード情報は、アンチサッカード潜時、アンチサッカード振幅、アンチサッカードピーク速度、アンチサッカードオーバーシュート振幅、またはアンチサッカード修正時間のうちの少なくとも1つを含み得る。アンチサッカード潜時は、刺激イベントと眼のアンチサッカード運動の検出との間の時間を示し得る。アンチサッカード潜時は、秒単位で測定され得る。眼のアンチサッカード運動をもたらした角回転を示すアンチサッカード振幅。アンチサッカード振幅は、度数で測定され得る。アンチサッカードピーク速度は、眼のアンチサッカード運動中に測定された最大角速度を示し得る。アンチサッカードピーク速度は、秒あたりの度数で測定され得る。アンチサッカードオーバーシュート振幅は、ビデオ刺激に示されたターゲットと、修正前の初期サッカード運動の終了時の実際の注視位置との間の角度分散を示し得る。アンチサッカードオーバーシュート振幅は、度数で測定され得る。アンチサッカード修正時間は、（例えば、オーバーシュート停止時の）初期サッカード運動の終了と刺激対称ツイーン（symmetric-tween）ターゲットへの視線到達時間との間の時間を示し得る。アンチサッカード修正時間は、秒単位で測定され得る。いくつかの態様では、上記のアンチサッカード情報は、ビデオ刺激内のイベントについて取得される。さらに、いくつかの態様では、アンチサッカード情報は、アンチサッカード方向混乱率および予想されるアンチサッカード運動を含み得る。アンチサッカード方向混乱率は、時系列データに3つ以上のアンチサッカード刺激が含まれる場合に、アンチサッカードターゲットに方向反転されるサッカード運動の比率を示し得る。予想されるアンチサッカード運動は、刺激が提示される前に始まるアンチサッカード運動の有無を示し得る。予想されるアンチサッカード運動は、ブール値として取得され得る。いくつかの態様では、アンチサッカード方向混乱率および予想されるアンチサッカード運動は、ビデオ刺激内のシーケンスについて測定され得る。

【0046】

いくつかの態様では、固視は、刺激の特定の領域を検査している間の眼球運動の分布として定義される。固視は、ビデオ刺激内の単一の位置に注視を維持する眼の能力を示し得る。固視情報は、マイクロサッカード振幅分布、矩形波眼球運動（SWJ）振幅、SWJ周波数、またはSWJオフセット持続時間のうちの少なくとも1つを含み得る。マイクロサッカード振幅分布は、ビデオ刺激内のターゲットの周りの角度と振幅の両方の分布を示し得る。マイクロサッカード振幅分布は、平均および標準偏差として計算され得る。いくつかの態様では、矩形波眼球運動は、固視を妨げる不随意性の水平のサッカード混入である。各SWJは、中心窩を固視の意図された位置から離れるように移動させる初期サッカードと、その後に続く、固視位置を再び中心窩で捉えさせる反対方向の第2のサッカードとからなる。SWJ振幅は、SWJの平均振幅を示し得る。SWJ振幅は、度数で測定され得る。SWJ周波数は、平均波周波数を示し得る。SWJオフセット持続時間は、ビデオ刺激内のターゲットから逸れて費やされる平均時間間隔を示し得る。SWJオフセット持続時間は、秒単位で測定され得る。いくつかの態様では、固視情報は、ビデオ刺激内のブリックから取得され得る。

【0047】

いくつかの態様では、円滑性追跡は、動きを追っている間の眼球運動の分布として定義される。円滑性追跡は、視線がビデオ刺激内の移動オブジェクトに固定されたままであるという眼球運動のタイプ（例えば、サッカードの急な動きとは対照的な滑らかで緩やかな動き）を示し得る。円滑性追跡情報は、（a）眼球運動のタイプの分類、（b）サッカード運動振幅パーセンテージ、（c）円滑性運動振幅パーセンテージ、（d）サッカード運動時間パーセンテージ、（e）固視時間パーセンテージ、または（f）円滑性運動時間パーセンテージのうちの少なくとも1つを含み得る。運動のタイプの分類は、ビデオ刺激のアクト全体における眼球運動を、サッカード運動、円滑性運動、固視運動のタイプに分類することを含み得る。サッカード運動時間パーセンテージは、ビデオ刺激内のアクトに対するサッカード運動の時間比率を示し得る。固視時間パーセンテージは、ビデオ刺激内のアクトに対する固視の時間比率を示し得る。円滑性運動時間パーセンテージは、ビデオ刺激内のアクトに対する円滑性運動の時間比率を示し得る。サッカード運動振幅比率またはパーセンテージは、ビデオ刺激内のアクトに対するサッカード運動の振幅比率を示し得る。円滑性運動振幅比率またはパーセンテージは、ビデオ刺激内のアクトに対する円滑性運動の振幅比率を示し得る。

【0048】

OPS114は、開眼度データ、眼サイズデータ、および視線追跡データなどの高分解能の眼測定パラメータに基づいて、上記の眼球運動パラメータを取得し得る。眼球運動パラメータを取得する詳細を、少なくとも図6を参照して説明する。

【0049】

図6は、様々な態様と一致する、高分解能の眼球運動パラメータを取得するためのプロセス600の流れ図である。OPS114は、開眼度データ605、眼サイズデータ610、および視線追跡データ615などの高分解能の眼測定パラメータを取得し得る。いくつかの態様では、開眼度データ605は、瞳孔可視比率、瞳孔被覆非対称性、虹彩可視比率、または虹彩被覆非対称性のうちの少なくとも1つを含む。いくつかの態様では、眼サイズデータ610は、虹彩半径（例えば、虹彩半径174）または瞳孔半径（例えば、瞳孔半径178）の少なくとも一方を含む。いくつかの態様では、視線追跡データ615は、瞳孔位置（例えば、瞳孔中心176）、虹彩並進（例えば、虹彩並進172）、または虹彩回転（例えば、虹彩回転170）のうちの少なくとも1つを含む。いくつかの態様では、開眼度データ605、眼サイズデータ610、および視線追跡データ615は、高分解能で（例えば、サブピクセルレベル、0.1mm、または他のより大きい、より高い、より細かい分解能で）、時系列データとして（例えば、少なくとも図1Bおよび図4を参照して上述した第2の眼測定パラメータセットおよび追加の眼測定パラメータセットとして）取得される。さらに、眼測定パラメータ（例えば、開眼度データ605、眼サイズデータ610、および視線追跡データ615）は、第1の時間分解能（例えば、30フレーム毎秒（fps））で取得され得る。

【0050】

OPS114は、アップサンプリングプロセス690を行って、眼測定パラメータの時間分解能を第2の時間分解能に（例えば、45fps、50fps、60fps、または第1の時間分解能よりも大きいか、高いか、もしくは細かい他の時間分解能に）高め得る。例えば、OPS114は、開眼度データ605、眼サイズデータ610、および視線追跡データ615の時系列を30fpsから50fpsにアップサンプリングして、それぞれ50fpsでアップサンプリングされた開眼度データ606、アップサンプリングされた眼サイズデータ611、およびアップサンプリングされた視線追跡データ616の時系列を生成してもよい。いくつかの態様では、OPS114は、眼測定パラメータをアップサンプリングして、眼測定パラメータを使用して導出され得る眼球運動パラメータの精度を改善する。いくつかの態様では、OPS114は、眼測定パラメータを第1の時間分解能よりも大きいか、高いか、または細かい第2の時間分解能にアップサンプリングする予測モデルを実装する。一例として、OPS114は、眼測定パラメータ（例えば、開眼度データ605、眼サイズデータ610、および視線追跡データ615）を予測モデルに入力してもよく、次いで予測モデルは、アップサンプリングされた開眼度データ606、アップサンプリングされた眼サイズデータ611、およびアップサンプリングされた視線追跡データ616などのアップサンプリングされた眼測定パラメータを第2の時間分解能で出力する。いくつかの態様では、システム100は、アップサンプリングされた眼測定パラメータの生成を容易にするように予測モデルを訓練または構成し得る。いくつかの態様では、システム100は、第1の時間分解能の眼測定パラメータ（例えば、開眼度データ605、眼サイズデータ610、および視線追跡データ615）を取得し、そのような情報を予測モデルへの入力として提供して、予測（例えば、アップサンプリングされた開眼度データ606、アップサンプリングされた眼サイズデータ611、およびアップサンプリングされた視線追跡データ616など）を第2の時間分解能で生成し得る。システム100は、予測モデルに参照フィードバックを提供してもよく、予測モデルは、予測および参照フィードバックに基づいて予測モデルの1つまたは複数の部分を更新し得る。一例として、予測モデルが、第1の時間分解能の眼測定パラメータセットに基づいて予測を生成する場合には、第2の時間分解能で取得された（例えば、そのような入力眼測定パラメータと関連付けられた）眼測定パラメータセットが、参照フィードバックとして予測モデルに提供されてもよい。一例として、第2の時間分解能の特定の眼測定パラメータセットが、（例えば、アップサンプリングされた眼測定パラメータセットのユーザ確認を介して、そのような目標を実証する1つまたは複数の後続のアクションを介してなど）適切なアップサンプリングされた眼測定パラメータセットとして検証されてもよい。前述の入力眼測定パラメータは、予測モデルにアップサンプリングされた眼測定パラメータの予測を生成させるための予測モデルへの入力として提供されてもよく、検証されたアップサンプリングされた眼測定パラメータセットは、予測モデルを更新するために予測モデルへの参照フィードバックとして提供されてもよい。このようにして、例えば、予測モデルは、より正確な予測を生成するように訓練または構成され得る。いくつかの態様では、アップサンプリングされた眼測定パラメータの予測を生成するように予測モデルを訓練するために使用される訓練データセットは、各データ項目が、少なくとも第1の時間分解能の眼測定パラメータセット、およびグラウンドトゥルースとしての第2の時間分解能で取得された対応する眼測定パラメータセットを含むいくつかのデータ項目を含み得る。

【0051】

いくつかの態様では、予測モデルを更新するための前述の動作は、1人または複数のユーザと関連付けられた訓練データセット（例えば、所与のユーザについて予測モデルを特に訓練もしくは構成するための所与のユーザと関連付けられた訓練データセット、所与のグループについて予測モデルを特に訓練もしくは構成するための所与のクラスタ、個体群、もしくは他のグループと関連付けられた訓練データセット、任意の所与のユーザセットと関連付けられた訓練データセット、または他の訓練データセット）を用いて行われ得る。よって、いくつかの態様では、予測モデルの更新に続いて、システム100は、アップサンプリングされた眼測定パラメータの生成を容易にするために予測モデルを使用し得る。

【0052】

前述の段落では、眼測定パラメータをアップサンプリングするための予測モデルを実装したOPS114を説明しているが、OPS114は、予測モデルの代わりに、または予測モデルに加えて、他の方法を使用して眼測定パラメータをアップサンプリングしてもよい。例えば、OPS114は、補間法を使用して、第1の時間分解能に基づいて第2の時間分解能で眼測定パラメータを取り出してもよい（例えば、第2の分解能は、第1の時間分解能よりも大きいか、細かいか、または高い）。

【0053】

OPS114は、同期プロセス691を行って、眼測定パラメータを、クライアントデバイス106のディスプレイ上に提示されたビデオ刺激と同期させ得る。上述のように、眼測定パラメータセット（例えば、開眼度データ605、眼サイズデータ610および視線追跡データ615、またはアップサンプリングされた開眼度データ606、アップサンプリングされた眼サイズデータ611およびアップサンプリングされた視線追跡データ616）は時系列データである。すなわち、一連の眼測定パラメータの値が様々な時点（例えば、連続した時点）に取得される。眼測定パラメータの値が測定される時間がビデオ刺激内の対応するイベントの時間に対応するようにするために、OPS114は、同期プロセス691を行って、眼測定パラメータの時系列を同期させ得る。例えば、ドットがビデオ刺激内の時間tにビデオ刺激内の特定の位置から移動を開始するなどのイベントを考えると、ただし、クライアントデバイス106のカメラ120から取り込まれたビデオストリームを使用して測定された眼球運動に対応する眼測定パラメータ（例えば、視線追跡データ615やアップサンプリングされた視線追跡データ616）はt＋xミリ秒に記録され、その場合xミリ秒の遅延が存在し、この遅延は眼球運動パラメータのいくつかを決定する際に不正確さの原因となり得る。眼測定パラメータをビデオ刺激と同期させることによって、眼測定パラメータの時間成分は、xミリ秒の遅延を補償するようにxミリ秒（例えば、t-x）だけシフトされる。したがって、いくつかの態様では、眼測定パラメータをビデオ刺激と同期させることにより、眼球運動パラメータを決定する際の精度の改善がもたらされ得る。

【0054】

OPS114は、いくつかの方法のうちの1つで同期プロセス691を行ってもよい。例えば、OPS114は、光変調に基づいて同期プロセス691を行ってもよい。いくつかの態様では、OPS114は、同期プロセス691への入力として、ビデオ刺激情報620および反射光情報625を提供してもよく、同期プロセス691は、ビデオ刺激情報620および反射光情報625に基づいて、眼測定パラメータ（例えば、開眼度データ605、眼サイズデータ610および視線追跡データ615、またはアップサンプリングされた開眼度データ606、アップサンプリングされた眼サイズデータ611およびアップサンプリングされた視線追跡データ616）を同期させて、同期された眼測定パラメータ（例えば、同期された開眼度データ607、同期された眼サイズデータ612、および同期された視線追跡データ617）を生成する。例えば、OPS114は、ビデオ刺激情報620および反射光情報625に基づいて、アップサンプリングされた開眼度データ606、アップサンプリングされた眼サイズデータ611、およびアップサンプリングされた視線追跡データ616の時系列を同期させて、同期された開眼度データ607、同期された眼サイズデータ612、および同期された視線追跡データ617の時系列をそれぞれ生成する。

【0055】

ビデオ刺激情報620は、刺激明るさおよび色変調パターン（例えば、様々な時間にわたるビデオ刺激の様々なピクセル（例えば、すべてのピクセル）の赤色、緑色、青色（RGB）の強度値の二次元配列）を含んでもよく、これは、眼測定パラメータを同期させるための同期信号として使用され得る。ビデオ刺激情報620はまた、ビデオ刺激のグラフィック特徴（例えば、ビデオ刺激の背景、明るさ、コントラスト、もしくは色成分値）を記述する情報、またはクライアントデバイス106のディスプレイ上に提示される刺激タイプ（例えば、サッカード、固視、もしくは円滑性追跡などの特定の特徴に対して指定される）に関する情報の少なくとも一方を含み得る。いくつかの態様では、同期信号は、ビデオ刺激のグラフィック特徴および刺激タイプに基づいて決定される。反射光情報625は、ユーザが位置する環境内のターゲットからの平均反射光（例えば、ユーザ140の顔から反射された光、ユーザ140が位置する部屋内の物体からの光など）を示し得る。平均反射光は、カメラ120を使用して取り込まれたビデオストリームを処理することによって測定されてもよく、RGB強度値の二次元配列として測定されてもよい。いくつかの態様では、同期プロセス691は、眼測定パラメータを同期させるために、光変調の傾向、例えば、反射光の変化やビデオ刺激のRGB強度値の変化を考慮し得る。

【0056】

OPS114は、様々な眼球運動パラメータを取得するために同期された眼測定パラメータを処理し得る。例えば、OPS114は、瞬目情報640を取得するために瞬目プロセス692を行ってもよい。いくつかの態様では、瞬目情報は瞬目存在データを含んでもよく、瞬目存在データは、特定の時点における瞬目の有無を示し得る。いくつかの態様では、瞬目存在データは、ブール値が特定の時点における瞬目の有無を示すブール配列である。瞬目存在データは、ブール値の時系列であってもよい。さらに、瞬目プロセス692は、瞬目情報640の一部として瞬目持続時間または瞬目頻度の少なくとも一方を決定するように瞬目存在データを処理（例えば、時系列分析）し得る。瞬目プロセス692は、同期された開眼度データ607および同期された眼サイズデータ612に基づいて瞬目情報640を生成し得る。

【0057】

OPS114は、ビデオ刺激に対する瞳孔の反応を示し得る瞳孔反応情報645を取得するために瞳孔反応プロセス693を行い得る。瞳孔反応情報645は、瞳孔反応振幅、瞳孔反応速度、瞳孔反応潜時、または瞳孔反応持続時間のうちの少なくとも1つを含み得る。瞳孔反応プロセス693は、瞬目情報640、同期された眼サイズデータ612、および特徴に対して指定された刺激タイプなどのビデオ刺激情報620のうちの少なくとも1つに基づいて瞳孔反応情報645を生成し得る。いくつかの態様では、指定された刺激タイプは、瞳孔反応情報645を取得する際に瞳孔反応プロセス693によって使用され得るビデオ刺激のブリックの物理的および時間的次元、色、明るさなどといった情報を取得するために使用され得る。

【0058】

OPS114は、サッカード情報650、アンチサッカード情報655、固視情報670、または円滑性追跡情報675などの様々な眼球運動パラメータを取得するために、眼球運動プロセス694を行い得る。サッカード情報650は、サッカード潜時、サッカード振幅、サッカードピーク速度、サッカードオーバーシュート振幅、またはサッカード修正時間のうちの少なくとも1つを含み得る。アンチサッカード情報655は、アンチサッカード潜時、アンチサッカード振幅、アンチサッカードピーク速度、アンチサッカードオーバーシュート振幅、またはアンチサッカード修正時間のうちの少なくとも1つを含み得る。固視情報670は、マイクロサッカード振幅分布、SWJ振幅、SWJ周波数、またはSWJオフセット持続時間のうちの少なくとも1つを含み得る。円滑性追跡情報675は、眼球運動の分類、サッカード運動振幅パーセンテージ、円滑性運動振幅パーセンテージ、サッカード運動時間パーセンテージ、固視時間パーセンテージ、または円滑性運動時間パーセンテージのうちの少なくとも1つを含み得る。

【0059】

OPS114は、ユーザの両眼について上記の眼球運動パラメータを取得し得る。さらに、OPS114は、上記の眼球運動パラメータに基づいて追加の眼球運動パラメータを導出してもよい。例えば、OPS114は、上記の眼球運動パラメータを分析し、（例えば、ユーザの眼に関して）垂直眼球運動および水平眼球運動についての別個の眼球運動パラメータを生成してもよい。別の例では、OPS114は、両眼に基づいて計算される眼球運動パラメータ（例えば、眼の間の動きの遅延、眼の間の潜時の差など）を導出し得る。いくつかの態様では、上記の眼球運動パラメータ（例えば、追加の眼球パラメータを含む）のうちの1つまたは複数が、様々なデジタルバイオマーカを生成する際に使用され得る。

【0060】

図1Aを参照すると、いくつかの態様では、マーカサブシステム116は、1つまたは複数の神経障害の指標として機能し得るデジタルバイオマーカ（例えば、パラメータ）を生成し得る。マーカサブシステム116は、眼測定パラメータまたは（例えば、上述の）眼球運動パラメータに基づいてに基づいてデジタルバイオマーカを生成し得る。いくつかの態様では、これらのデジタルバイオマーカは、疾患の進行または激烈さと強く相関している（したがって、代理として機能することができる）。マーカサブシステム116によって生成されたデジタルバイオマーカは、客観的で、高感度で、正確（例えば、0.1mm以下）であるか、または疾患の臨床的進行と相関する場合があり、遠隔で、実験室環境の外で、さらには分散方式で取得されてもよい。

【0061】

なお、眼測定パラメータ、眼球運動パラメータ、またはデジタルバイオマーカは、リアルタイムで（例えば、カメラ120から取得されたリアルタイムのビデオストリームに基づいて）またはオフラインで（例えば、データベース132に記憶されたビデオを使用して）取得され得る。さらに、眼測定パラメータ（例えば、第2の眼測定パラメータセット170～178または他の眼測定パラメータ）は、時系列データとして、ユーザの1つまたは複数の眼について取得される。すなわち、眼測定パラメータ170～178は、指定された時間間隔（例えば、ミリ秒ごと、数ミリ秒ごと、または他の時間分解能）で連続的に抽出され得る。

【0062】

いくつかの態様では、上述の予測モデルは、1つまたは複数のニューラルネットワークまたは他の機械学習モデルを含み得る。一例として、ニューラルネットワークは、ニューラルユニット（または人工ニューロン）の大規模な集合に基づいてもよい。ニューラルネットワークは、生物脳が（例えば、軸索によって接続された生物学的ニューロンの大規模なクラスタを介して）働く様式を大まかに模倣し得る。ニューラルネットワークの各ニューラルユニットは、ニューラルネットワークの多くの他のニューラルユニットと接続され得る。そのような接続は、接続されたニューラルユニットの活性化状態に対するそれらの影響を強化するか、または抑制することができる。いくつかの態様では、各個別のニューラルユニットは、そのすべての入力の値を結合する合計関数を有し得る。いくつかの態様では、各接続（またはニューラルユニット自体）が、信号が他のニューラルユニットへ伝播する前に信号が閾値を超えなければならないような閾値関数を有し得る。これらのニューラルネットワークシステムは、明示的にプログラムされるのではなく、自己学習して訓練されてもよく、従来のコンピュータプログラムと比較して、問題解決の特定の領域において著しく良好に機能することができる。いくつかの態様では、ニューラルネットワークは、複数の層を含み得る（例えば、信号経路がフロント層からバック層へ横断する場合）。いくつかの態様では、逆伝播技術がニューラルネットワークによって利用されてもよく、順方向刺激が「前方」ニューラルユニットの重みをリセットするために使用される。いくつかの態様では、ニューラルネットワークの刺激および抑制がより自由に流れてもよく、接続はよりカオス的かつ複雑なやり方で相互作用する。

【0063】

ニューラルネットワークは、訓練データセット（例えば、グラウンドトゥルース）を使用して訓練され得る（すなわち、そのパラメータが決定される）。訓練データは、訓練サンプルのセットを含み得る。各サンプルは、入力オブジェクト（典型的には、特徴テンソルまたはベクトルと呼ばれ得る画像、測定値、テンソルまたはベクトル）と所望の出力値（教師信号とも呼ばれる）とを含むペアであってもよい。訓練アルゴリズムが訓練データを分析し、訓練データに基づいてニューラルネットワークのパラメータ（例えば、1つまたは複数の層の重み）を調整することによってニューラルネットワークの挙動を調整する。例えば、x_iがi番目の例の特徴テンソル/ベクトルであり、y_iがその教師信号であるような｛（x₁,y₁）,（x₂,y₂）,…（x_N,y_N）｝の形式のN個の訓練サンプルの集合を想定すると、訓練アルゴリズムはニューラルネットワークg:X→Yを求め、Xは入力空間であり、Yは出力空間である。特徴テンソル/ベクトルは、何らかのオブジェクト（例えば、複素電界画像）を表す数値特徴のn次元テンソル/ベクトルである。これらのベクトルと関連付けられたテンソル/ベクトル空間は、特徴または潜在空間と呼ばれることが多い。訓練後、ニューラルネットワークは、新しいサンプルを使用して予測を行うために使用され得る。

【0064】

一例として、図2に関して、機械学習モデル202は、入力204を受け取り、出力206を提供し得る。1つのユースケースでは、出力206は、（例えば、単独で、または出力206の精度のユーザ指示、入力と関連付けられたラベル、もしくは他の参照フィードバック情報と組み合わせて）機械学習モデル202を訓練するための入力として機械学習モデル202にフィードバックされ得る。別のユースケースでは、機械学習モデル202は、その予測（例えば、出力206）および参照フィードバック情報（例えば、精度のユーザ指示、参照ラベル、または他の情報）の評価に基づいて、その構成（例えば、重み、バイアス、または他のパラメータ）を更新し得る。別のユースケースでは、機械学習モデル202がニューラルネットワークである場合、ニューラルネットワークの予測と参照フィードバックとの差を調整するために接続重みを調整し得る。さらなるユースケースでは、ニューラルネットワークの1つまたは複数のニューロン（またはノード）は、更新プロセス（例えば、誤差の逆伝播）を容易にするために、ニューロンのそれぞれの誤差がニューラルネットワークを介してそれらに逆方向に送信されることを必要とし得る。接続重みの更新は、例えば、順方向パスが完了した後に逆方向に伝播される誤差の大きさを反映し得る。このようにして、例えば、機械学習モデル202は、より良い予測を生成するように訓練され得る。

【0065】

図4は、様々な態様と一致する、高分解能で眼測定パラメータを取得するためのプロセス400の流れ図である。いくつかの態様では、プロセス400は、図1Aのシステム100で実行され得る。

【0066】

動作402において、ビデオストリームが、ユーザと関連付けられたクライアントデバイスから取得される。ビデオストリームは、ユーザの顔のビデオを含み得る。例えば、ビデオストリーム125がクライアントデバイス106から取得される。いくつかの態様では、ビデオストリームは、リアルタイムビデオストリーム（例えば、クライアントデバイス106のカメラ120などのクライアントデバイスと関連付けられたカメラによる取り込まれた）で取得されてもよく、データ記憶装置（例えば、データベース132）、クライアントデバイス上のデータ記憶装置もしくはメモリ、または他のデータ記憶装置から取得される記録されたビデオであってもよい。

【0067】

動作404において、第1の眼測定パラメータセットを取得するために第1の予測モデルにビデオストリームが入力される。いくつかの態様では、ビデオストリームは、第1の予測モデルに入力される前に前処理され得る。いくつかの態様では、ビデオストリームを前処理することは、ビデオストリームの色および明るさ（例えば、ホワイトバランス）を調整し、ビデオストリームからのノイズを低減し、1つもしくは複数のマルチフレーム超分解能技術、または他のそのようなビデオ処理を実施することによってビデオストリームの分解能を改善するために、ビデオストリームに対してETLプロセスを行うことを含み得る。例えば、第1の予測モデルに入力されるビデオストリームは、ビデオストリーム125であってもよいし、前処理されたビデオストリーム151であってもよい。

【0068】

動作406において、第1の予測モデルから第1の眼測定パラメータセットが取得される。眼測定パラメータは、眼の様々な特性に対応する。例えば、第1の眼測定パラメータセットは、虹彩データ、眼瞼データ、および瞳孔中心を含んでもよい。虹彩データは、虹彩の中心および形状（例えば、楕円）を記述するいくつかの点の座標を含み得る。眼瞼データは、眼瞼を表す形状（例えば、多角形）を記述する点の配列の座標を含み得る。瞳孔中心は、瞳孔の中心を表す点の座標を含み得る。いくつかの態様では、第1の眼測定パラメータセットは、第1の分解能で取得される。例えば、第1の分解能は、ピクセルレベルまたは他のより低い分解能であってもよい。いくつかの態様では、虹彩データは、虹彩データから虹彩回転、虹彩並進および虹彩半径を取得するようにさらに処理される。例えば、虹彩データ153は、虹彩回転158、虹彩並進160および虹彩半径162を取得するように処理される。虹彩回転は、虹彩の回転を表してもよく、（例えば、虹彩円平面に対して垂直な）虹彩法線ベクトルとして取り出され得る。虹彩並進は、虹彩の中心であってもよく、虹彩中心の位置を特定する座標を使用して表され得る。虹彩半径は、虹彩の半径であってもよく、距離単位を有するスカラーとして表され得る。いくつかの態様では、虹彩関連パラメータを推定するためにMLEベースの曲線適合法が行われ得る。虹彩データは、上記の虹彩関連パラメータを生成するMLEベースの曲線適合法（例えば、楕円適合）への入力として提供される。

【0069】

動作408において、第1の眼測定パラメータセットを調整する（例えば、精度または分解能を改善する）ためにビデオストリームがデコンボリューションされる。デコンボリューションプロセスに入力されるビデオストリームは、ビデオストリーム125であってもよいし、前処理されたビデオストリーム151であってもよい。いくつかの態様では、ビデオストリームは、MLEプロセスと統合されたブラインドデコンボリューションプロセスを使用してデコンボリューションされ、そのさらなる詳細は、少なくとも図1Aおよび図1Bを参照して上述されており、少なくとも図5を参照して以下で説明する。いくつかの態様では、ブラインドデコンボリューションアルゴリズムを適用することは、画像/ビデオ内のぼやけ、またはビデオストリームからの任意の他のノイズを低減または除去して、抽出される眼測定パラメータの精度を改善するのに役立ち得る。デコンボリューションプロセスは、（例えば、その精度または分解能が、デコンボリューションプロセスの前の眼測定パラメータと比較して改善された）調整された眼測定パラメータを取得するために、1回または複数回繰り返され得る。調整されたパラメータには、調整された眼瞼データ、調整された瞳孔中心および瞳孔半径が含まれ得る。

【0070】

動作410において、ビデオストリームおよび第1のパラメータセットが、高分解能で眼測定パラメータを取得するために第2の予測モデルに入力される。例えば、虹彩回転158、虹彩並進160、虹彩半径162、調整された眼瞼データ164、調整された瞳孔中心166および瞳孔半径168などを含む第1の眼測定パラメータセットが第2の予測モデルに入力される。いくつかの態様では、第2の予測モデルは、高分解能で眼測定パラメータセットを予測するように訓練される。例えば、第2の予測モデルは、各データセットが、入力データとしてのユーザの顔のビデオ、クライアントデバイスの装置データ、ユーザが位置する環境の環境データおよびユーザのユーザ情報と、グラウンドトゥルースとしての高分解能の対応する眼測定パラメータセットを含むいくつかの訓練データセットで訓練される。いくつかの態様では、高分解能の眼測定パラメータセットは、高分解能で眼測定パラメータを生成するように構成された1つまたは複数の視線追跡装置を使用して取得される。

【0071】

動作412において、第2の予測モデルから第2の分解能で第2の眼測定パラメータセットが取得される。例えば、虹彩回転170、虹彩並進172、虹彩半径174、瞳孔中心176、および瞳孔半径178を含む第2の眼測定パラメータセットが、第2の分解能（例えば、0.1mm、サブピクセルレベル、または第1の分解能よりも大きい、高い、もしくは細かい他の何らかの分解能）で取得される。

【0072】

任意で、動作414において、追加の眼測定パラメータセットが取得されてもよい。例えば、瞳孔可視比率、瞳孔被覆非対称性、虹彩可視比率、または虹彩被覆非対称性などの追加の眼測定パラメータが、第2の眼測定パラメータセットに基づいて取得されてもよい。OPS114は、第2の眼測定パラメータセットを使用して幾何学的投影および計算を行うことによって、追加の眼測定パラメータを取得し得る。いくつかの態様では、瞳孔可視比率は、眼瞼で覆われていない瞳孔面積と瞳孔虹彩面積との比として計算される。瞳孔被覆非対称性は、虹彩総被覆面積によって正規化された、上眼瞼被覆比率を正の値で表し、下眼瞼被覆比率を負の値で表したときの、瞳孔上眼瞼被覆比率と瞳孔下眼瞼被覆比率との平均として定義され得る。このパラメータの値は-1～1で変化し、上眼瞼と下眼瞼との間の眼瞼被覆の非対称性を投影し得る（例えば、「-1」は、すべての被覆面積が下眼瞼で覆われていることを表し、「1」は、すべての被覆面積が上眼瞼で覆われていることを表し、「0」は、上眼瞼と下眼瞼が等しい面積を覆っていることを表し得る。

【0073】

動作402～動作414は、1つまたは複数の態様に従って、OPS114と同じかまたは同様のサブシステムによって行われ得る。

【0074】

図5は、様々な態様と一致する、調整された眼測定パラメータを取得するためにビデオストリームをデコンボリューションするためのプロセス500の流れ図である。いくつかの態様では、プロセス500は、プロセス400の動作408の一部として行われ得る。

【0075】

動作502において、ビデオストリームのデコンボリューションを行うために、ビデオストリーム、刺激データ、環境データ、装置データまたは他のデータなどの入力データが取得される。デコンボリューションプロセスに入力されるビデオストリームは、ビデオストリーム125であってもよいし、前処理されたビデオストリーム151であってもよい。刺激データは、クライアントデバイス106のディスプレイ上に提示された刺激に関する時空間情報、またはスペクトル特性（例えば、色）および強度（例えば、明るさ）を含む刺激の光学特性情報を含み得る。環境データは、カメラ120から取得された情報を使用して測定することができる、ユーザが位置する環境（例えば、部屋）における照明などの情報を含み得る。装置データは、クライアントデバイス106の向き情報、加速度センサなどのクライアントデバイス106と関連付けられた1つまたは複数のセンサからの情報などの情報を含み得る。さらに、入力データは、眼瞼データ（例えば、眼瞼データ155）および瞳孔中心（例えば、瞳孔中心157）を含んでもよい。

【0076】

動作504において、入力データに基づいてブラインドデコンボリューションアルゴリズムの点像分布関数が決定される。

【0077】

動作506において、点像分布関数に基づいてビデオストリームがデコンボリューションされる。デコンボリューションプロセスは、ユーザ環境関連の要因、クライアントデバイス関連の要因、カメラ関連の要因、ビデオ刺激関連の要因などに起因してビデオストリームに導入された任意のぼやけ、または任意の他のノイズを除去または低減して、ビデオストリームを改善し、したがって、取り出される眼測定パラメータの精度を改善する。

【0078】

動作508において、上述のようにデコンボリューションされたビデオストリームから調整された眼測定パラメータが導出される。例えば、調整された眼測定パラメータには、調整された眼瞼データ164、調整された瞳孔中心166または瞳孔半径168が含まれ得る。いくつかの態様では、デコンボリューションプロセスは、眼測定パラメータの精度をさらに改善するためにMLEプロセスと統合される。例えば、MLEプロセスは、眼瞼データ155の精度を改善するために使用され得る。MLEプロセスは、眼瞼データ155に対して放物曲線適合操作を行って、調整された眼瞼データ164として眼瞼のより正確な表現を取得するために使用され得る。別の例では、MLEプロセスは、瞳孔半径168などの瞳孔関連データを取得するか、またはその精度を改善するために使用され得る。MLEプロセスは、曲線適合操作（例えば、楕円適合）を行って瞳孔の形状を改善するために使用され得る。例えば、MLEプロセスは、異なる瞳孔中心を考慮してもよく、候補瞳孔中心の各々に瞳孔形状を構築し、形状の各々に信頼スコアを割り当て得る。そのような方法は異なる瞳孔中心に対して繰り返されてもよく、スコア基準を満たすスコア（例えば、最良のスコア）を有する形状が選択される。形状が選択されると、対応する中心が調整された瞳孔中心166として選択され得、瞳孔半径168は、選択された形状および調整された瞳孔中心166に基づいて決定され得る。

【0079】

いくつかの態様では、プロセス500は、調整された眼測定パラメータの精度または分解能を改善するために、（例えば、眼測定パラメータの精度または分解能が基準を満たす（例えば、閾値を超える）か、またはPSFが基準を満たすまで）1回または複数回繰り返され得る。

【0080】

図7は、様々な態様と一致する、ビデオストリームから高分解能の眼球運動パラメータを取得するためのプロセス700の流れ図である。いくつかの態様では、プロセス700は、図1Aのシステム100で実行され得る。

【0081】

動作702において、ビデオストリームが、ユーザと関連付けられたクライアントデバイスから取得される。ビデオストリームは、ユーザの顔のビデオを含み得る。例えば、ビデオストリーム125がクライアントデバイス106から取得される。いくつかの態様では、ビデオストリームは、（例えば、クライアントデバイス106のカメラ120などのクライアントデバイスと関連付けられたカメラによって取り込まれた）リアルタイムビデオストリームであってもよいし、データ記憶装置（例えば、データベース132）、クライアントデバイス上のデータ記憶装置もしくはメモリ、または他のデータ記憶装置から取得された記録されたビデオであってもよい。

【0082】

動作704において、眼測定パラメータセットを取得するためにビデオストリームが処理される。眼測定パラメータセットは、開眼度データ、眼サイズデータ、および視線追跡データのうちの少なくとも1つを含み得る。例えば、開眼度データ605、眼サイズデータ610、および視線追跡データ615が、ビデオストリームから取得される。いくつかの態様では、眼が開いているかまたは閉じている程度を示す開眼度データ605は、瞳孔可視比率、瞳孔被覆非対称性、虹彩可視比率、または虹彩被覆非対称性のうちの少なくとも1つを含み得る。いくつかの態様では、瞳孔または虹彩のサイズを示す眼サイズデータ610は、虹彩半径（例えば、虹彩半径174）または瞳孔半径（例えば、瞳孔半径178）の少なくとも一方を含む。いくつかの態様では、視線または眼の焦点が合わせられている位置を示す視線追跡データ615は、瞳孔位置（例えば、瞳孔中心176）、虹彩並進（例えば、虹彩並進172）、または虹彩回転（例えば、虹彩回転170）のうちの少なくとも1つを含む。いくつかの態様では、開眼度データ605、眼サイズデータ610、および視線追跡データ615は、高分解能で時系列データとして（例えば、少なくとも図1Bおよび図4を参照して上述した第2の眼測定パラメータセットおよび追加の眼測定パラメータセットとして）取得される。さらに、眼測定パラメータセット（例えば、開眼度データ605、眼サイズデータ610、および視線追跡データ615）は、第1の時間分解能（例えば、30fps）で取得され得る。

【0083】

動作706において、時間分解能を高めるために眼測定パラメータセットがアップサンプリングされる。例えば、開眼度データ605、眼サイズデータ610、および視線追跡データ615の時系列が、それぞれ50fpsのアップサンプリングされた開眼度データ606、アップサンプリングされた眼サイズデータ611、およびアップサンプリングされた視線追跡データ616の時系列を生成するために、30fpsの第1の時間分解能から50fpsの第2の時間分解能にアップサンプリングされる。いくつかの態様では、アップサンプリングは、第2の時間分解能で眼測定パラメータを生成するように訓練された予測モデルを使用して行われ得る。例えば、第1の時間分解能の眼測定パラメータセット（例えば、開眼度データ605、眼サイズデータ610、および視線追跡データ615）が予測モデルに入力され、予測モデルは、第2の時間分解能の眼測定パラメータセット（アップサンプリングされた開眼度データ606、アップサンプリングされた眼サイズデータ611、アップサンプリングされた視線追跡データ616）の予測を生成する。いくつかの態様では、眼測定パラメータセットはまた、他の方法、例えば補間を使用してアップサンプリングされ得る。

【0084】

動作708において、眼測定パラメータセットが、クライアントデバイス106のディスプレイ上に提示されたビデオ刺激と同期される。眼測定パラメータセットは、クライアントデバイス106のディスプレイ上に提示されたビデオ刺激を示すビデオ刺激情報（例えば、ビデオ刺激情報620）と、ユーザの環境内のターゲットから反射された光を示し得る反射光情報（例えば、反射光情報625）とに基づいて同期され得る。例えば、眼測定パラメータ（例えば、開眼度データ605、眼サイズデータ610および視線追跡データ615、またはアップサンプリングされた開眼度データ606、アップサンプリングされた眼サイズデータ611およびアップサンプリングされた視線追跡データ616）は、同期された眼測定パラメータセット（例えば、同期された開眼度データ607、同期された眼サイズデータ612、および同期された視線追跡データ617）を生成するために、ビデオ刺激情報および反射情報に基づいて同期される。いくつかの態様では、眼測定パラメータをビデオ刺激と同期させることにより、眼球運動パラメータを決定する際の精度の改善がもたらされ得る。

【0085】

動作710において、同期された眼測定パラメータセットに基づいて眼球運動パラメータセットが生成される。例えば、同期された眼測定パラメータセットは、瞬目情報（例えば、瞬目情報640）、瞳孔反応情報（例えば、瞳孔反応情報645）、サッカード情報（例えば、サッカード情報650）、アンチサッカード情報（例えば、アンチサッカード情報655）、固視情報（例えば、固視情報670）、または円滑性追跡情報（例えば、円滑性追跡情報675）などの眼球運動パラメータを生成するように処理される。上述のように、瞬目情報は、瞬目存在データ、瞬目持続時間、または瞬目頻度のうちの少なくとも1つを含み得る。サッカード情報は、サッカード潜時、サッカード振幅、サッカードピーク速度、サッカードオーバーシュート振幅、またはサッカード修正時間のうちの少なくとも1つを含み得る。アンチサッカード情報は、アンチサッカード潜時、アンチサッカード振幅、アンチサッカードピーク速度、アンチサッカードオーバーシュート振幅、またはアンチサッカード修正時間のうちの少なくとも1つを含み得る。固視情報は、マイクロサッカード振幅分布、SWJ振幅、SWJ周波数、またはSWJオフセット持続時間のうちの少なくとも1つを含み得る。円滑性追跡情報は、眼球運動の分類、サッカード運動振幅パーセンテージ、円滑性運動振幅パーセンテージ、サッカード運動時間パーセンテージ、固視時間パーセンテージ、または円滑性運動時間パーセンテージのうちの少なくとも1つを含み得る。眼球運動パラメータの取得に関するさらなる詳細を、少なくとも以下の図8～図11を参照して説明する。

【0086】

図8は、様々な態様と一致する、瞬目情報を取得するためのプロセス800の流れ図である。いくつかの態様では、プロセス800は、図6のプロセス600の瞬目プロセス692と同様であり得る。プロセス800は、図7のプロセス700の動作710の一部として実施され得る。

【0087】

動作802において、開眼度データおよび眼サイズデータが取得される。例えば、同期された開眼度データ607および同期された眼サイズデータ612が取得される。いくつかの態様では、開眼度データは、瞳孔可視比率、瞳孔被覆非対称性、虹彩可視比率、または虹彩被覆非対称性のうちの少なくとも1つを含んでもよく、これらはすべて、眼が開いているかまたは閉じている程度を示す。いくつかの態様では、眼サイズデータは、瞳孔または虹彩のサイズを示す虹彩半径（例えば、虹彩半径174）または瞳孔半径（例えば、瞳孔半径178）の少なくとも一方を含む。いくつかの態様では、開眼度データおよび眼サイズデータは、時系列データとして取得される。

【0088】

動作804において、瞬目の有無を示す瞬目存在データが生成される。いくつかの態様では、瞬目存在データは、様々な時間値について特定の瞬間に眼の瞬目が検出されたかどうかを示す時系列として生成される。開眼度データおよび眼サイズデータの時系列は、特定の瞬間に眼の瞬目が検出されたかどうかを判定するために分析される。いくつかの態様では、瞬目基準が満たされる場合には瞬目が検出され、瞬目基準が満たされない場合には瞬目が検出されない。瞬目が検出されたかどうかを判定するために様々な方法が使用され得る。例えば、虹彩または瞳孔の閾値パーセンテージ（例えば、20％、25％、30％、40％、または他のパーセンテージ）がカバーされる場合には瞬目基準が満たされ得る（これは特定の瞬間における開眼度データおよび眼サイズデータを使用して決定され得る）。いくつかの態様では、瞬目存在データは、瞬目の有無を示すブール値の配列であり得る。さらに、瞬目存在データは、ビデオ刺激のブリックごとに生成されてもよく、眼ごとに別々に生成されてもよい。例えば、瞬目存在データは、以下のように生成され得る。

式中、瞬目（t）は、時間tにおける観察された眼の状態（「1」瞬目、「0」開）を示すブール変数であり、EOD（t）は、開眼度データ時系列であり、τ_瞬目は、瞬目がいつ発生するかを定義するための、瞬目閾値であり、調整可能な閾値パラメータである。

【0089】

動作806において、瞬目存在データに基づいて瞬目情報が生成される。いくつかの態様では、瞬目持続時間や瞬目頻度などの瞬目情報が瞬目存在データに基づいて生成され得る。例えば、瞬目持続時間および頻度は、瞬目の存在を示した瞬目存在データの時系列におけるインスタンスを特定することによって生成されてもよい。いくつかの態様では、瞬目持続時間および瞬目頻度は、ビデオ刺激のシーケンスごとに生成され得る。瞬目持続時間および頻度は、以下のように決定され得る。

式中、BD（T）は、時間間隔T内の瞬目持続時間であり、1回の完全な瞬目（例えば、眼が開く→眼が閉じる→眼が開く）を含む。なお、時間セグメントTは、自由に範囲指定され、イベント、ブリック、シーケンス、またはアクトを含むことができ、tは、特定のタイムスタンプを表す。

【0090】

瞬目頻度は、以下のように決定され得る。

式中、BF（T）は時間間隔Tにおける瞬目頻度である。

【0091】

図9は、様々な態様と一致する、瞳孔反応情報を取得するためのプロセス900の流れ図である。いくつかの態様では、プロセス900は、図6のプロセス600の瞳孔反応プロセス693と同様であり得る。プロセス900は、図7のプロセス700の動作710の一部として実施され得る。

【0092】

動作902において、眼サイズデータ、瞬目存在データおよびビデオ刺激情報が取得される。例えば、同期された眼サイズデータ612、プロセス800の瞬目存在データ、およびビデオ刺激情報620が取得される。いくつかの態様では、眼サイズデータは、瞳孔または虹彩のサイズを示す虹彩半径（例えば、虹彩半径174）または瞳孔半径（例えば、瞳孔半径178）の少なくとも一方を含む。いくつかの態様では、瞬目存在データは、特定の瞬間における瞬目の有無を示し得る。いくつかの態様では、ビデオ刺激情報620は、クライアントデバイス106のディスプレイ上に提示されている刺激のタイプに関する情報を含み得る。いくつかの態様では、眼サイズデータおよび瞬目存在データは、時系列データとして取得される。

【0093】

動作904において、同期された眼サイズデータ、ビデオ刺激情報、および瞬目存在データに基づいて、ビデオ刺激に対する瞳孔の反応を示す瞳孔反応情報が生成される。例えば、瞳孔反応情報645が取得されてもよい。いくつかの態様では、瞳孔反応情報は、（a）イベントに対する瞳孔径の最大分散を示す瞳孔反応振幅、（b）そのイベントに対する瞳孔径の平均時間変化率を示す瞳孔反応速度、（c）ビデオ刺激内のイベントと瞳孔径の初期変化との間の時間間隔を示す瞳孔反応潜時、および（d）イベントに続く瞳孔径の初期変化と瞳孔径のサイズの変化の安定化との間の時間間隔を示す瞳孔反応持続時間を含み得る。いくつかの態様では、瞳孔反応情報は、ビデオ刺激のイベントごとに生成されてもよく、眼ごとに別々に生成されてもよい。瞳孔反応情報は、いくつかの方法（例えば、統計分析、時系列分析、信号処理など）で、同期された眼サイズデータ、ビデオ刺激情報、および瞬目存在データを使用して生成され得る。例えば、瞳孔反応振幅は、以下のように生成され得る。

式中、PRA（T）は、所与の時間間隔Tにおける瞳孔反応振幅であり、PD（t）は、特定の時間tにおける瞳孔径である。

【0094】

瞳孔反応速度は、以下のように決定され得る。

式中、PRR（t）は、特定の時間tにおける瞳孔反応速度である。

【0095】

瞳孔反応潜時は、以下のように決定され得る。

式中、PRL（T）は、所与の時間間隔Tにおける瞳孔反応潜時であり、τ_瞳孔は、反応瞳孔を静的瞳孔から区別するための瞳孔反応速度に関する閾値であり、t_stimは、刺激イベント時間である。

【0096】

瞳孔反応持続時間は、以下のように決定され得る。

式中、PRD（T）は、時間間隔Tが与えられた場合の瞳孔反応持続時間である。

【0097】

図10は、様々な態様と一致する、様々な眼球運動パラメータを取得するためのプロセス1000の流れ図である。いくつかの態様では、プロセス1000は、図6のプロセス600の眼球運動プロセス694と同様であり得る。プロセス1000は、図7のプロセス700の動作710の一部として実施され得る。以下のパラメータは、眼ごとに別々に生成されてもよい。

【0098】

動作1002において、視線追跡データ、瞬目存在データおよびビデオ刺激情報が取得される。例えば、同期された視線追跡データ617、プロセス800の瞬目存在データ、およびビデオ刺激情報620が取得される。いくつかの態様では、視線または眼の焦点が合わせられている位置を示す視線追跡データは、瞳孔位置（例えば、瞳孔中心176）、虹彩並進（例えば、虹彩並進172）、または虹彩回転（例えば、虹彩回転170）のうちの少なくとも1つを含む。いくつかの態様では、瞬目存在データは、特定の瞬間における瞬目の有無を示し得る。いくつかの態様では、ビデオ刺激情報620は、クライアントデバイス106のディスプレイ上に提示されている刺激のタイプに関する情報を含み得る。いくつかの態様では、視線追跡データおよび瞬目存在データは、時系列データとして取得される。視線追跡データ、瞬目存在データ、およびビデオ刺激情報は、様々な眼球運動パラメータを生成するための入力データとして使用され得る。

【0099】

動作1004において、ビデオ刺激に反応した眼の急な動きを示し得るサッカード情報が取得される。例えば、サッカード情報650が取得される。サッカード情報は、ビデオ刺激内の検査領域間の眼球運動の分布を表し得る。サッカード情報は、サッカード潜時、サッカード振幅、サッカードピーク速度、サッカードオーバーシュート振幅、またはサッカード修正時間のうちの少なくとも1つを含み得る。いくつかの態様では、サッカード情報は、ビデオ刺激のイベントごとに生成され得る。サッカード情報は、いくつかの方法（例えば、統計分析、時系列分析、信号処理など）で入力データを使用して取得され得る。例えば、サッカード情報は以下のように取得され得る:サッカードパラメータは、視線追跡データまたは注視位置時系列x（t）の測定値に基づくものである。サッカードのイベントは、眼の速度

に関する調整可能な閾値τ_{サッカード}によって定義され得る。時間セグメントTにおいては、複数のサッカードイベントが発生する可能性があり、このとき、その開始時間および終了時間は以下の式によって決定され得る:

a. サッカード潜時（SL）:

式中、SLは、サッカード潜時であり、刺激イベント時間t_stimとサッカード運動の開始時間

との間の持続時間を表す。
b. サッカード振幅（SA）:

式中、SA（T）は、所与の時間間隔Tについてのサッカード振幅であり、x（t）は、特定の時間tにおける注視位置座標である。
c. サッカードピーク速度（SPV）:

式中、SPV（T）は、所与の時間間隔Tにおけるサッカードピーク速度であり、v（t）は、特定の時間tにおける注視位置速度である。
d. サッカードオーバーシュート振幅（SOA）:

式中、SOA（T）は、所与の時間間隔Tにおけるサッカードオーバーシュート振幅であり、

は、最初に取り出されたサッカード運動の検出された終了時間における注視位置であり、x_{ターゲット}は、ディスプレイ上の刺激ターゲットの位置である。
e. サッカード修正時間（SCT）:

式中、SCT（T）は、所与の時間間隔Tにおけるサッカード修正時間であり、x（t）は、特定の時間tにおける注視位置であり、x_{ターゲット}は、刺激ターゲットの位置であり、δは、ターゲットからの視線の許容誤差である。

【0100】

動作1006において、ビデオ刺激においてターゲットが提示される側とは反対の方向への眼の動きを示し得るアンチサッカード情報が取得される。例えば、アンチサッカード情報655が取得される。アンチサッカード情報は、アンチサッカード潜時、アンチサッカード振幅、アンチサッカードピーク速度、アンチサッカードオーバーシュート振幅、アンチサッカード修正時間、アンチサッカード方向混乱率、および予想されるアンチサッカード運動のうちの少なくとも1つを含み得る。いくつかの態様では、アンチサッカード情報は、ビデオ刺激のイベントごとに生成され得る。アンチサッカード情報は、いくつかの方法（例えば、統計分析、時系列分析、信号処理など）で入力データを使用して生成され得る。例えば、アンチサッカード情報は、以下のように決定され得る。
a. アンチサッカード潜時（ASL）:

式中、ASLは、アンチサッカード潜時であり、刺激イベント時間t_stimとアンチサッカード運動の開始時間

との間の持続時間を表す。
b. アンチサッカード振幅（ASA）:

式中、ASA（T）は、所与の時間間隔Tに対するアンチサッカード振幅であり、x（t）は、特定の時間tにおける注視位置座標である。
c. アンチサッカードピーク速度（ASPV）:

式中、ASPV（T）は、所与の時間間隔Tにおけるアンチサッカードピーク速度であり、v（t）は、特定の時間tにおける注視位置速度である。
d. アンチサッカードオーバーシュート振幅（ASOA）:

式中、ASOA（T）は、所与の時間間隔Tにおけるアンチサッカードオーバーシュート振幅であり、

は、最初に取り出されたアンチサッカード運動の検出された終了時間における注視位置であり、x_{ターゲット}は、ディスプレイ上の刺激ターゲットの位置である。
e. アンチサッカード修正時間（ASCT）:

式中、ASCT（T）は、所与の時間間隔Tにおけるアンチサッカード修正時間であり、x_{ターゲット}は、刺激ターゲットの位置であり、δは、ターゲットからの視線の許容誤差である。
f. アンチサッカード方向混乱率（ASCR）:
シーケンスに3つ以上のアンチサッカード刺激が含まれる場合、すなわち、アンチサッカードターゲットに方向反転されるサッカード運動の比率。
g. 予想されるアンチサッカード（AAS）:

式中、AASは、予想されるアンチサッカードのイベントを示すブール変数であり、ASLは、アンチサッカード潜時であり、

は、最初のアンチサッカード運動の開始時間における視線運動速度である。

【0101】

動作1008において、ビデオ刺激内の単一の位置に注視を維持する眼の能力を示し得る固視情報が取得される。例えば、固視情報670が取得される。固視は、刺激の特定の領域を検査している間の眼球運動の分布として定義され得る。固視情報は、マイクロサッカード振幅分布、SWJ振幅、SWJ周波数、またはSWJオフセット持続時間のうちの少なくとも1つを含み得る。固視情報は、いくつかの方法（例えば、統計分析、時系列分析、信号処理など）で入力データを使用して生成され得る。いくつかの態様では、固視情報は、ビデオ刺激のブリックごとに生成され得る。

【0102】

動作1010において、視線がビデオ刺激内の移動オブジェクトに固定されたままであるという眼球運動のタイプ（例えば、サッカードにおける急な動きとは対照的な滑らかで緩やかな動き）を示し得る円滑性追跡情報が取得される。例えば、円滑性追跡情報675が取得される。円滑性追跡は、（例えば、ビデオ刺激内のターゲットの）動きを追っている間の眼球運動の分布として定義され得る。円滑性追跡情報は、（a）眼球運動のタイプの分類、（b）サッカード運動振幅パーセンテージ、（c）円滑性運動振幅パーセンテージ、（d）サッカード運動時間パーセンテージ、（e）固視時間パーセンテージ、または（f）円滑性運動時間パーセンテージのうちの少なくとも1つを含み得る。運動のタイプの分類は、ビデオ刺激のアクト全体における眼球運動を、サッカード運動、円滑性運動、固視運動のタイプに分類することを含み得る。いくつかの態様では、眼球運動のタイプの分類は、ビデオ刺激のイベントごとに生成され、残りの固視情報は、ビデオ刺激のブリックごとに生成され得る。円滑性追跡情報は、いくつかの方法（例えば、統計分析、時系列分析、信号処理など）で入力データを使用して生成され得る。例えば、眼球運動のタイプ（EMT）の分類は、以下のように決定され得る。基本的な分類は、眼球運動速度v（t）に関する閾値に基づくものであり、式中、τ_fixは固視状態の上限速度閾値であり、τ_{サッカード}は、円滑性運動の上限閾値（およびサッカード運動の下限閾値）である。

【0103】

図11は、様々な態様と一致する、眼測定パラメータを同期させるためのプロセス1100の流れ図である。いくつかの態様では、プロセス1100は、図6のプロセス600の同期プロセス691と同様であり得る。プロセス1100は、図7のプロセス700の動作708の一部として実施され得る。

【0104】

動作1102において、ビデオ刺激情報が取得される。例えば、ビデオ刺激情報620が取得され得る。いくつかの態様では、ビデオ刺激情報は、刺激明るさおよび色変調パターン（例えば、二次元配列）を含んでもよく、これは、眼測定パラメータを同期させるための同期信号として使用され得る。ビデオ刺激情報はまた、ビデオ刺激のグラフィック特徴（例えば、ビデオ刺激の背景、明るさ、コントラスト、もしくは色成分値）を記述する情報、またはクライアントデバイス106のディスプレイ上に提示される刺激タイプ（例えば、サッカード、固視、もしくは円滑性追跡などの特定の特徴に対して指定される）に関する情報を含み得る。いくつかの態様では、同期信号は、ビデオ刺激のグラフィック特徴および刺激タイプに基づいて決定される。

【0105】

動作1104において、ユーザが位置する環境内のターゲットからの平均反射光を示し得る反射光情報が取得され得る。例えば、反射光情報625が取得され得る。反射光は、ユーザの顔から、またはユーザの環境（例えば、ユーザが位置する部屋）内の任意の物体から反射された光を含み得る。平均反射光は、カメラ120を使用して取り込まれたビデオストリームを処理することによって測定されてもよく、RGB強度値の二次元配列として測定されてもよい。

【0106】

動作1106において、ビデオ刺激情報および反射光情報に基づいて、眼測定パラメータセット（例えば、開眼度データ605、眼サイズデータ610および視線追跡データ615、またはアップサンプリングされた開眼度データ606、アップサンプリングされた眼サイズデータ611およびアップサンプリングされた視線追跡データ616）が同期され得る。いくつかの態様では、眼測定パラメータセットを同期させることにより、眼測定パラメータの時系列を同期させる。例えば、ドットがビデオ刺激内の時間tにビデオ刺激内の特定の位置から移動を開始するなどのイベントを考えると、ただし、クライアントデバイス106のカメラ120から取り込まれたビデオストリームを使用して測定された眼球運動に対応する眼測定パラメータ（例えば、視線追跡データ615やアップサンプリングされた視線追跡データ616）はt＋xミリ秒に記録され、その場合xミリ秒の遅延が存在し、この遅延は眼球運動パラメータを決定する際に不正確さの原因となり得る。眼測定パラメータをビデオ刺激と同期させることによって、眼測定パラメータの時間成分は、xミリ秒の遅延を補償するようにxミリ秒（例えば、t-x）だけシフトされる。したがって、いくつかの態様では、眼測定パラメータをビデオ刺激と同期させることにより、眼球運動パラメータを決定する際の精度の改善がもたらされ得る。

【0107】

いくつかの態様では、図1Aに例示される様々なコンピュータおよびサブシステムは、本明細書に記載の機能を行うようにプログラムされた1つまたは複数のコンピューティングデバイスを含み得る。コンピューティングデバイスは、1つもしくは複数の電子記憶装置（例えば、訓練データを記憶するための（1つもしくは複数の）訓練データデータベース134、予測モデルなどを記憶するための（1つもしくは複数の）モデルデータベース136、または他の電子記憶装置を含み得る（1つもしくは複数の）予測データベース132）、1つもしくは複数のコンピュータプログラム命令でプログラムされた1つもしくは複数の物理プロセッサ、および/または他の構成要素を含み得る。コンピューティングデバイスは、ネットワーク（例えば、ネットワーク150）内の、または有線もしくは無線技術（例えば、イーサネット、光ファイバ、同軸ケーブル、Wi-Fi、Bluetooth、近距離無線通信、もしくは他の技術）を介した他のコンピューティングプラットフォーム情報の交換を可能にする通信回線またはポートを含み得る。コンピューティングデバイスは、一緒に動作する複数のハードウェア、ソフトウェア、および/またはファームウェア構成要素を含み得る。例えば、コンピューティングデバイスは、コンピューティングデバイスとして一緒に動作するコンピューティングプラットフォームのクラウドによって実装されてもよい。

【0108】

電子記憶装置は、情報を電子的に記憶する非一時的記憶媒体を含み得る。電子記憶装置の記憶媒体は、（i）サーバもしくはクライアントデバイスと一体的に設けられた（例えば、実質的に取り外し不能の）システムストレージ、または（ii）例えばポート（例えば、USBポート、FireWireポートなど）もしくドライブ（例えば、ディスクドライブなど）を介してサーバもしくはクライアントデバイスに取り外し可能に接続可能なリムーバブルストレージの一方または両方を含み得る。電子記憶装置は、光学的に読み取り可能な記憶媒体（例えば、光ディスクなど）、磁気的に読み取り可能な記憶媒体（例えば、磁気テープ、磁気ハードドライブ、フロッピードライブなど）、電荷ベースの記憶媒体（例えば、EEPROM、RAMなど）、ソリッドステート記憶媒体（例えば、フラッシュドライブなど）、および/または他の電子的に読み取り可能な記憶媒体のうちの1つまたは複数を含み得る。電子記憶装置は、1つまたは複数の仮想記憶リソース（例えば、クラウドストレージ、仮想プライベートネットワーク、および/または他の仮想記憶リソース）を含んでもよい。電子記憶装置は、ソフトウェアアルゴリズム、プロセッサによって決定された情報、サーバから取得された情報、クライアントデバイスから取得された情報、または本明細書に記載の機能を可能にする他の情報を記憶し得る。

【0109】

プロセッサは、コンピューティングデバイスにおいて情報処理能力を提供するようにプログラムされ得る。よって、プロセッサは、デジタルプロセッサ、アナログプロセッサ、情報を処理するように設計されたデジタル回路、情報を処理するように設計されたアナログ回路、状態機械、および/または情報を電子的に処理するための他の機構のうちの1つまたは複数を含み得る。いくつかの態様では、プロセッサは、複数の処理ユニットを含み得る。これらの処理ユニットは、同じ装置内に物理的に配置されてもよいし、プロセッサは、協調して動作する複数の装置の処理機能を表してもよい。プロセッサは、サブシステム112～116または他のサブシステムの本明細書に記載の機能を行うためのコンピュータプログラム命令を実行するようにプログラムされ得る。プロセッサは、ソフトウェア、ハードウェア、ファームウェア;ソフトウェア、ハードウェア、もしくはファームウェアの何らかの組合せ;および/またはプロセッサ上の処理能力を構成するための他の機構によってコンピュータプログラム命令を実行するようにプログラムされ得る。

【0110】

本明細書に記載の異なるサブシステム112～116によって提供される機能の説明は、例示を目的としており、限定することを意図されたものではなく、サブシステム112～116のいずれも記載されているよりも多いかまたは少ない機能を提供し得ることを理解されたい。例えば、サブシステム112～116のうちの1つまたは複数が取り除かれてもよく、その機能の一部または全部がサブシステム112～116のうちの他のものによって提供されてもよい。別の例として、追加のサブシステムが、本明細書においてサブシステム112～116のうちの1つに帰せられている機能の一部または全部を行うようにプログラムされてもよい。

【0111】

図12は、開示の態様の特徴を実施するために使用され得るコンピュータシステムのブロック図である。コンピュータシステム1200は、前述の図の例に示されたエンティティ、サブシステム、構成要素またはサービスのいずれか（および本明細書に記載された任意の他の構成要素）を実装するために使用され得る。コンピュータシステム1200は、相互接続1215に接続された、1つまたは複数の中央処理装置（「プロセッサ」）1205、メモリ1210、入力/出力装置1225（例えば、キーボードおよびポインティングデバイス、表示装置）、記憶装置1220（例えば、ディスクドライブ）、およびネットワークアダプタ1230（例えば、ネットワークインターフェース）を含み得る。相互接続1215は、任意の1つもしくは複数の別個の物理バス、ポイントツーポイント接続、または適切なブリッジ、アダプタ、もしくはコントローラによって接続されたその両方を表す抽象概念として例示されている。したがって、相互接続1215は、例えば、システムバス、周辺機器相互接続（PCI）バスもしくはPCI-Expressバス、HyperTransportもしくは業界標準アーキテクチャ（ISA）バス、小型コンピュータシステムインターフェース（SCSI）バス、ユニバーサルシリアルバス（USB）、IIC（I2C）バス、または「FireWire」とも呼ばれる電気電子部品協会（IEEE）規格1394バスを含んでもよい。

【0112】

メモリ1210および記憶装置1220は、記載の態様の少なくとも部分を実施する命令を記憶し得るコンピュータ可読記憶媒体である。加えて、データ構造およびメッセージ構造は、記憶されるか、または通信リンク上の信号などのデータ伝送媒体を介して伝送され得る。インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、またはポイントツーポイントダイヤルアップ接続などの様々な通信リンクが使用され得る。よって、コンピュータ可読媒体は、コンピュータ可読記憶媒体（例えば、「非一時的」媒体）およびコンピュータ可読伝送媒体を含むことができる。電子記憶装置の記憶媒体は、（i）サーバもしくはクライアントデバイスと一体的に設けられた（例えば、実質的に取り外し不能の）システムストレージ、または（ii）例えばポート（例えば、USBポート、FireWireポートなど）もしくドライブ（例えば、ディスクドライブなど）を介してサーバもしくはクライアントデバイスに取り外し可能に接続可能なリムーバブルストレージの一方または両方を含み得る。電子記憶装置は、光学的に読み取り可能な記憶媒体（例えば、光ディスクなど）、磁気的に読み取り可能な記憶媒体（例えば、磁気テープ、磁気ハードドライブ、フロッピードライブなど）、電荷ベースの記憶媒体（例えば、EEPROM、RAMなど）、ソリッドステート記憶媒体（例えば、フラッシュドライブなど）、および/または他の電子的に読み取り可能な記憶媒体のうちの1つまたは複数を含み得る。電子記憶装置は、1つまたは複数の仮想記憶リソース（例えば、クラウドストレージ、仮想プライベートネットワーク、および/または他の仮想記憶リソース）を含んでもよい。電子記憶装置は、ソフトウェアアルゴリズム、プロセッサによって決定された情報、サーバから取得された情報、クライアントデバイスから取得された情報、または本明細書に記載の機能を可能にする他の情報を記憶し得る。

【0113】

メモリ1210に記憶された命令は、上述のアクションを実行するように（1つまたは複数の）プロセッサ1205をプログラムするためのソフトウェアおよび/またはファームウェアとして実装することができる。プロセッサは、ソフトウェア、ハードウェア、ファームウェア;ソフトウェア、ハードウェア、もしくはファームウェアの何らかの組合せ;および/またはプロセッサ上の処理能力を構成するための他の機構によってコンピュータプログラム命令を実行するようにプログラムされ得る。いくつかの態様では、そのようなソフトウェアまたはファームウェアは、最初に、（例えば、ネットワークアダプタ1230を介して）コンピュータシステム1200によってリモートシステムからダウンロードすることによってコンピュータシステム1200に提供され得る。

【0114】

本明細書において紹介した態様は、例えば、ソフトウェアおよび/もしくはファームウェアでプログラムされたプログラム可能回路（例えば、1つもしくは複数のマイクロプロセッサ）によって、または完全に専用のハードワイヤード（非プログラム可能）回路において、またはそのような形態の組合せにおいて実施することができる。専用のハードワイヤード回路は、例えば、1つまたは複数のASIC、PLD、FPGAなどの形態であってもよい。

【0115】

備考
上記の説明および図面は例示であり、限定として解釈されるべきではない。本開示の完全な理解を提供するために、多数の具体的な詳細が記載されている。しかしながら、場合によっては、説明を不明瞭にすることを避けるために、周知の詳細は説明されない。さらに、態様の範囲を逸脱することなく様々な修正が行われ得る。したがって、態様は、添付の特許請求の範囲による場合を除いて限定されない。

【0116】

本明細書における「1つの態様（one embodiment）」または「一態様（an embodiment）」への言及は、その態様に関連して説明される特定の特徴、構造または特性が本開示の少なくとも1つの態様に含まれることを意味する。本明細書の様々な箇所における「1つの態様では」という句の出現は、必ずしもすべてが同じ態様を指しているわけではなく、他の態様と相互排他的な別個のまたは代替の態様でもない。さらに、いくつかの態様によっては示され、他の態様によっては示されない場合がある様々な特徴が記載されている。同様に、いくつかの態様の要件であり得るが他の態様の要件ではない様々な要件が記載されている。

【0117】

本明細書で使用される用語は、一般に、本開示の文脈内、および各用語が使用される特定の文脈内で、当技術分野におけるそれらの用語の通常の意味を有する。本開示を説明するために使用される用語は、本開示の説明に関して実務家に追加のガイダンスを提供するために、以下で、または本明細書の他の箇所で説明されている。便宜上、いくつかの用語が、例えばイタリック体および/または引用符を使用して強調表示される場合がある。強調表示の使用は、用語の範囲および意味に影響を及ぼすものではなく、用語の範囲および意味は、強調されているか否かにかかわらず、同じ文脈において同じである。同じことを複数の言い方で言えることが理解されよう。「メモリ」は「記憶装置」の一形態であり、これらの用語は場合によっては交換可能に使用され得ることが分かるであろう。

【0118】

ゆえに、本明細書で論じられている用語のいずれか1つまたは複数に対して代替の文言および同義語が使用される場合があり、用語が本明細書で詳述または議論されているか否かに特別な意味を付与すべきではない。いくつかの用語の同義語が提供される。1つまたは複数の同義語の記載は、他の同義語の使用を排除しない。本明細書において論じられる任意の用語の例を含む本明細書のどこかの例の使用は、例示にすぎず、本開示または任意の例示された用語の範囲および意味をさらに限定することを意図されたものではない。同様に、本開示は、本明細書で与えられた様々な態様に限定されない。

【0119】

当業者であれば、上記の流れ図の各々に例示されている論理が様々な方法で変更され得ることを理解するであろう。例えば、論理の順序は並べ替えられてもよいし、下位工程が並列に行われてもよいし、例示の論理が省略されてもよいし、他の論理が含まれてもよい。

【0120】

本開示の範囲をさらに限定する意図なく、本開示の態様による機器、装置、方法およびそれらの関連結果の例を以下に示す。なお、例においては、読者の便宜のために表題または副題が使用される場合があり、これらは、いかなる点においても本開示の範囲を限定すべきではない。特に定義しない限り、本明細書で使用されるすべての科学技術用語は、本開示が関連する技術分野の当業者によって一般に理解されるものと同義である。矛盾する場合には、定義を含めて、本明細書が優先される。

【0121】

本発明は、現在最も実用的で好ましい態様であるとみなされているものに基づいて例示の目的で詳細に説明されているが、そのような詳細はその目的のためだけのものであり、本発明は開示の態様に限定されず、むしろ反対に、添付の特許請求の範囲内にある修正例および均等な構成を包含することを意図されていることを理解されたい。例えば、本発明は、可能な限り、任意の態様の1つまたは複数の特徴を任意の他の態様の1つまたは複数の特徴と組み合わせることができることを企図していることを理解されたい。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【国際調査報告】