特表 2024-518412 眼球視線－パターン異常及び関連神経疾患を検出するための方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-05-01

(54)【発明の名称】眼球視線－パターン異常及び関連神経疾患を検出するための方法及びシステム

(51)【国際特許分類】

   A61B 10/00 20060101AFI20240423BHJP

   A61B 3/113 20060101ALI20240423BHJP

   A61B 5/11 20060101ALN20240423BHJP

【ＦＩ】

A61B10/00 H

A61B3/113

A61B5/11 120

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023568336

(86)(22)【出願日】2022-05-05

(85)【翻訳文提出日】2023-12-21

(86)【国際出願番号】 CA2022050703

(87)【国際公開番号】W WO2022232935

(87)【国際公開日】2022-11-10

(31)【優先権主張番号】17/308,439

(32)【優先日】2021-05-05

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ｉＰｈｏｎｅ

２．ＴＥＮＳＯＲＦＬＯＷ

(71)【出願人】

【識別番号】520318801

【氏名又は名称】イノデム ニューロサイエンシズ

【氏名又は名称原語表記】ＩＮＮＯＤＥＭ ＮＥＵＲＯＳＣＩＥＮＣＥＳ

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100167623

【弁理士】

【氏名又は名称】塚中 哲雄

(72)【発明者】

【氏名】エティンネ デ ビラース－シダニ

(72)【発明者】

【氏名】パウル アレクサンドレ ドロウニン－ピカロ

(72)【発明者】

【氏名】イヴェス デサグネ

【テーマコード（参考）】

4C038

4C316

【Ｆターム（参考）】

4C038VA04

4C038VB04

4C038VC05

4C316AA21

4C316AA22

4C316AA30

4C316AB16

4C316FA01

4C316FB21

4C316FB26

(57)【要約】

本開示は、神経疾患を、及びユーザの神経疾患に関連した眼球視線-パターン異常を、検出するための、方法及びシステム、に関する。前記方法は、電子デバイスのスクリーン上に刺激ビデオを表示するステップ、及び前記刺激ビデオの各1つについて、ユーザの顔部のビデオを生成するために、前記電子デバイスのカメラを用いて同時に撮影するステップ、を含む、ここで、前記刺激ビデオの各1つは、タスクに対応する。前記方法は、視線予測のための機械学習モデルを提供するステップ、その記録したビデオの各ビデオ・フレームについて、視線予測を生成するステップ、及び事前に-訓練した機械学習モデルを使用して、前記神経疾患を検出するために、各タスクについての特徴を決定するステップ、を更に含む。
【選択図】図３３Ａ

【特許請求の範囲】

【請求項1】

神経疾患を検出するための方法、ここで、前記方法は、以下のステップを含む：
タスクのセットを実施するステップ、ここで、各タスクは、互いに別個である、及び前記タスクの別個の特徴のセットに対応する、ここで、前記タスクのセットは、較正タスクを、並びに、滑らかな追跡タスク、凝視タスク、プロ-サッカード・タスク、及びアンチ-サッカード・タスク、のうちの少なくとも1つを、有する、
各タスクについて、電子デバイスのスクリーン上に刺激ビデオを表示するステップ、及び前記電子デバイスのカメラを用いて同時に撮影するステップ、を含むタスクのセットを実施するステップ、ここで、前記カメラは、前記スクリーンの近傍に配置され、前記刺激ビデオの各1つについて、ユーザの顔部のビデオを生成する、ここで、前記刺激ビデオの各1つは、タスクのセットのタスクに対応する、ここで、刺激ビデオは、所定の連続的な経路又は非連続的な経路に従って、前記スクリーン上に、順次にターゲットを、及び前記スクリーン上で所定のスピードで動いて見えるターゲットを、表示する、ここで、前記刺激ビデオは、前記刺激ビデオが表示されている間、前記スクリーン上の前記ターゲットの運動を意識して追うことを、前記ユーザに促す、ここで、前記刺激ビデオの各1つは、別個の特徴のセットを抽出するために構成されている；
視線予測の機械学習モデルを提供するステップ；
前記タスクについての生成されたビデオに基づいて、及び機械学習モデルを使用して、各タスクについてのユーザの顔部の各ビデオの各ビデオ・フレームについて、視線予測を生成するステップ；
各タスクについてのユーザの顔部の各ビデオの各ビデオ・フレームについて、生成された視線予測に基づいて、各タスクについて、特徴のセットの値を決定するステップ；並びに、
各タスクについて決定された特徴のセットの値に基づいて、事前に-訓練した機械学習モデルを使用して、前記神経疾患を検出するステップ。

【請求項2】

請求項１に記載の方法、ここで、前記較正タスクは、前記スクリーン上に表示されたフォームに対して、前記ユーザの眼球の位置合わせを実施するステップ、並びに、前記ユーザに、その頭部を、前記較正タスクの第1の期間中に一方の側に傾けること、及び前記較正タスクの第2の期間中に他方の側に傾けること、をリクエストするステップ、を含む。

【請求項3】

請求項１又は２に記載の方法、ここで、前記方法は、凝視タスク中に、矩形波眼球運動(SWJ)サッカード指標及び他のサッカードの混入指標、を含む混入に関連した指標を、並びに視線ドリフト及び視線安定性に関連した指標を、決定するステップ、を更に含む。

【請求項4】

請求項１から３の何れか一項に記載の方法、ここで、プロ-サッカード・タスク中に、ある期間の間、第1のターゲットの表示に続いて、第2のターゲットが、前記スクリーン上の1セットの所定の位置のうちの1つに表示され、以下の指標を抽出する：第1のゲイン及び最後のゲイン、サッカード速度、両眼球間のピーク速度の比率、並びにターゲットに到達するのに必要なサッカードの回数。

【請求項5】

請求項１から４の何れか一項に記載の方法、ここで、前記アンチ-サッカード・タスクは、少なくとも3つの別個のビデオ・ブロックを含み、各ビデオ・ブロックは、所定の回数のトライアルを前記スクリーン上に提示するように構成され、各トライアルは、凝視の期間、ブランク・スクリーンの期間、及び刺激の期間、を有する。

【請求項6】

請求項１から５の何れか一項に記載の方法、ここで、前記タスクのセットは、所定の時間の間、コントラスト格子を表示するステップ、を含む視運動性眼振タスクを更に含む、ここで、前記コントラスト格子は、前記スクリーンを横切って動く。

【請求項7】

請求項６に記載の方法、ここで、指標を、遅いドリフト及びサッカードの各対について、決定する、及び前記指標に基づいて、前記視運動性眼振タスクの特徴のセットの値を決定する。

【請求項8】

請求項１から８の何れか一項に記載の方法、ここで、前記方法は、一連のオリジナル・イメージを、及び一連の改変イメージを、表示するステップ、を含む視覚空間潜在記憶タスクを更に含み、各改変イメージは、1つのオリジナル・イメージに対応する、及び前記オリジナル・イメージと同じ順序で表示される、ここで、各改変イメージは、そこから除去される、又はそこに追加される、少なくとも1つの目的対象を有する。

【請求項9】

請求項１から８の何れか一項に記載の方法、ここで、前記機械学習モデルを提供するステップは、視線予測を実施するために、前記較正タスク中に取得した較正データを取り込ませたもう1つ別の事前に-訓練したモデルを使用するステップ、及び視線予測を実施するために、前記機械学習モデルの内部表現を使用するステップを含む残りの別の事前に-訓練したモデルを使用するステップ、を含む。

【請求項10】

請求項１から８の何れか一項に記載の方法、ここで、前記機械学習モデルを提供するステップは、もう1つ別の事前に-訓練した機械学習モデルの層を訓練するために、前記較正タスク中に取得した較正データを使用することによって、ユーザ-特異的な機械学習モデル、を生成するステップ、を含む。

【請求項11】

請求項１から９の何れか一項に記載の方法、ここで、前記機械学習モデルを提供するステップは、前記較正タスク中に取得した較正データを使用する新しいモデルを生成するステップ、を含む。

【請求項12】

請求項１から１１の何れか一項に記載の方法、ここで、前記神経疾患を検出するステップは、前記神経疾患に関連した眼球視線-パターン異常を決定するステップ、を含む、及び前記眼球視線-パターン異常を決定するステップは、表示された前記刺激ビデオに関連する眼球運動を同定するステップ、を含む。

【請求項13】

請求項１２に記載の方法、ここで、前記視線予測を生成するステップは、以下によって、前記ビデオの中で、推定した視線位置を経時的に決定するステップ、を更に含む：
前記ビデオから、前記ユーザの少なくとも1つの眼球のイメージを受け取るステップ；
対応する少なくとも1つの成分イメージを取得するために、前記イメージの少なくとも1つの色成分を抽出するステップ；
前記イメージの少なくとも1つの成分の各1つについて、それぞれの内部表現を取得するために、それぞれの一次ストリームを適用するステップ；及び、
前記イメージの少なくとも1つの成分の各1つのそれぞれの内部表現に従って、前記イメージ中で、推定した視線位置を決定するステップ。

【請求項14】

請求項１から１３の何れか一項に記載の方法、ここで、前記タスクのセットは、以下を含む：凝視タスク、プロ-サッカード・タスク、アンチ-サッカード・タスク、視運動性眼振タスク、滑らかな追跡タスク、スパイラル・タスク、視覚空間潜在記憶タスク、及びピクチャ・フリー-ビューイング(picture free-veiwing)タスク。

【請求項15】

請求項１から１４の何れか一項に記載の方法、ここで、前記タスクのセットは、視運動性眼振タスク、滑らかな追跡タスク、スパイラル・タスク、及びピクチャ・フリー-ビューイング(picture free-veiwing)タスク、のうちの少なくとも1つを更に含む、並びに、ここで：
凝視タスクの特徴のセットは、以下のうちの少なくとも1つを含む：平均視線位置、平均視線エラー、サッカードの混入の回数、眼振の存在、眼振の方向、及び眼振の速度；
プロ-サッカード・タスクの特徴のセットは、以下のうちの少なくとも1つを含む：サッカード潜時、垂直及び水平サッカード潜時、ピーク・サッカード速度、垂直及び水平ピーク・サッカード速度、サッカード・エンドポイント精度、加速度の反転の回数、及び方向エラー比率；
アンチ-サッカード・タスクの特徴のセットは、以下のうちの少なくとも1つを含む：矢印の方向エラー比率、サッカードの方向エラー比率、補正比率、サッカード潜時、及びピーク・サッカード速度；
視運動性眼振タスクの特徴のセットは、以下のうちの少なくとも1つを含む：眼振の存在、遅い相における眼振の速度、速い相における眼振の速度、眼振の方向、眼振の振幅；
滑らかな追跡タスクの特徴のセットは、以下のうちの少なくとも1つを含む：速度ゲイン、平均ラグ（average lag）、加速度の反転の回数、視線方向エラー、及び視線方向を補正するための時間；並びに、
スパイラル・タスクの特徴のセットは、以下のうちの少なくとも1つを含む：各トライアルの刺激に対する平均視線位置エラー、刺激経路からの逸脱、角速度エラー、最大角速度、各スパイラル回転の間の視線-パターンの真円度の尺度、及び位置上のエラーがある閾値に達するトライアルの間の時間。

【請求項16】

請求項１から１５の何れか一項に記載の方法、ここで、前記方法は、前記神経疾患の進行を検出するステップ、を更に含む。

【請求項17】

請求項１から１６の何れか一項に記載の方法、ここで、前記方法は、以下を更に含む：
前記刺激ビデオの各1つについて、ユーザの顔部のビデオ上の、注目の領域の運動を測定することによって、眼球運動を検出するステップ。

【請求項18】

請求項１７に記載の方法、ここで、前記眼球運動を検出するステップは、以下を更に含む：
ユーザの顔部のビデオの少なくとも1つのイメージの中で、ユーザの眼球の注目の領域を、及びユーザの顔部の注目の領域を、決定するステップ；
ユーザの眼球の、少なくとも1つの眼球の構造物の眼球運動を測定するステップ；
ユーザの顔部の顔部の運動を測定するステップ；
眼球の全体的な運動から顔部の運動を差し引くことによって、ユーザの頭部に対するユーザの眼球の相対的な眼球運動を生成するステップ；
注目の領域の全体的な瞬間速度ベクトルを生成するために、各々のトラッキングされた注目の領域の速度ベクトルを平均化するステップ；並びに、
前記全体的な瞬間速度ベクトルに基づいて、ユーザの眼球運動の発生を、及びユーザの眼球運動の速度を、決定するステップ。

【請求項19】

神経疾患を検出するための方法、ここで、前記方法は、以下を含む：
電子デバイスのスクリーン上に刺激ビデオを表示するステップ、及び前記電子デバイスのカメラを用いて同時に撮影するステップ、ここで、前記カメラは、前記スクリーンの近傍に配置され、前記刺激ビデオの各1つについて、ユーザの顔部のビデオを生成する、ここで、前記刺激ビデオの各1つは、タスクのセットのタスクに対応する；
各タスクについて生成されたビデオに基づいて、第1の事前に-訓練した機械学習モデルを使用して、各タスクについての特徴を決定するステップ；並びに、
各タスクについて決定した特徴に基づいて、第2の事前に-訓練した機械学習モデルを使用して、前記神経疾患を検出するステップ。

【請求項20】

請求項１９に記載の方法、ここで、前記第1の事前に-訓練した機械学習モデル、及び前記第2の事前に-訓練した機械学習モデル、の内の各1つは、各タスクの特徴についての1つの機械学習モデルを含む。

【請求項21】

請求項１９に記載の方法、ここで、前記第1の事前に-訓練した機械学習モデルを使用するステップは、複数の機械学習モデルを使用するステップを含み、前記複数の機械学習モデルの各1つは、対応する前記特徴のうちの1つをターゲットとする。

【請求項22】

請求項１９から２１の何れか一項に記載の方法、ここで、前記方法は、前記神経疾患の進行を検出するステップ、を更に含む。

【請求項23】

請求項２２に記載の方法、ここで、前記神経疾患を検出するステップは、前記神経疾患に関連した眼球視線-パターン異常を決定するステップ、を含む。

【請求項24】

請求項１９から２３の何れか一項に記載の方法、ここで、前記刺激ビデオの各1つは、前記タスクについて、前記スクリーン上に一連のターゲットを表示するするステップを含み、タスクのセットは、以下を更に含む：凝視タスク、プロ-サッカード・タスク、アンチ-サッカード・タスク、視運動性眼振タスク、滑らかな追跡タスク、スパイラル・タスク、視覚空間潜在記憶タスク及びピクチャ・フリー-ビューイング(picture free-veiwing)タスク。

【請求項25】

請求項１９に記載の方法、ここで、前記タスクのセットは、凝視タスク、プロ-サッカード・タスク、アンチ-サッカード・タスク、視運動性眼振タスク、滑らかな追跡タスク、スパイラル・タスク、視覚空間潜在記憶タスク及びピクチャ・フリー-ビューイング(picture free-veiwing)タスク、のうちの少なくとも1つを更に含む、並びに、ここで：
凝視タスクの特徴は、以下のうちの少なくとも1つを含む：平均視線位置、平均視線エラー、サッカードの混入の回数、眼振の存在、眼振の方向、及び眼振の速度；
プロ-サッカード・タスクの特徴は、以下のうちの少なくとも1つを含む：サッカード潜時、垂直及び水平サッカード潜時、ピーク・サッカード速度、垂直及び水平ピーク・サッカード速度、サッカード・エンドポイント精度、加速度の反転の回数、及び方向エラー比率；
アンチ-サッカード・タスクの特徴は、以下のうちの少なくとも1つを含む：矢印の方向エラー比率、サッカードの方向エラー比率、補正比率、サッカード潜時、及びピーク・サッカード速度；
視運動性眼振タスクの特徴は、以下のうちの少なくとも1つを含む：眼振の存在、遅い相における眼振の速度、速い相における眼振の速度、眼振の方向、眼振の振幅；
滑らかな追跡タスクの特徴は、以下のうちの少なくとも1つを含む：速度ゲイン、平均ラグ（average lag）、加速度の反転の回数、視線方向エラー、及び視線方向を補正するための時間；
スパイラル・タスクの特徴は、以下のうちの少なくとも1つを含む：各トライアルの刺激に対する平均視線位置エラー、刺激経路からの逸脱、角速度エラー、最大角速度、各スパイラル回転の間の視線-パターンの真円度の尺度、及び位置上のエラーがある閾値に達するトライアルの間の時間、並びに、
視覚空間潜在記憶タスクの特徴は、注目のターゲット領域、及び前記注目のターゲット領域内の平均総時間、を含む。

【請求項26】

請求項１９から２５の何れか一項に記載の方法、ここで、前記方法は、以下を更に含む：
前記刺激ビデオの各1つについて、ユーザの顔部のビデオ上の、注目の領域の運動を測定することによって、眼球運動を検出するステップ。

【請求項27】

請求項２６に記載の方法、ここで、前記眼球運動を検出するステップは、以下を更に含む：
ユーザの顔部のビデオの少なくとも1つのイメージの中で、ユーザの眼球の注目の領域を、及びユーザの顔部の注目の領域を、決定するステップ；
ユーザの眼球の、少なくとも1つの眼球の構造物の眼球運動を測定するステップ；
ユーザの顔部の顔部の運動を測定するステップ；
眼球の全体的な運動から顔部の運動を差し引くことによって、ユーザの頭部に対するユーザの眼球の相対的な眼球運動を生成するステップ；
注目の領域の全体的な瞬間速度ベクトルを生成するために、各々のトラッキングされた注目の領域の速度ベクトルを平均化するステップ；並びに、
前記全体的な瞬間速度ベクトルに基づいて、ユーザの眼球運動の発生を、及びユーザの眼球運動の速度を、決定するステップ。

【請求項28】

神経疾患を検出するための方法、ここで、前記方法は、以下を含む：
電子デバイスのスクリーン上に1セットの刺激ビデオを表示するステップ、及び前記電子デバイスのカメラを用いて同時に撮影するステップ、ここで、前記カメラは、前記スクリーンの近傍に配置され、前記刺激ビデオの各1つについて、ユーザの顔部のビデオを生成する、ここで、前記刺激ビデオの各1つは、タスクのセットのタスクに対応する、ここで、前記タスクのセットは、以下のうちの少なくとも1つを更に含む：凝視タスク、プロ-サッカード・タスク、アンチ-サッカード・タスク、視運動性眼振タスク、滑らかな追跡タスク、スパイラル・タスク、及びピクチャ・フリー-ビューイング(picture free-veiwing)タスク；並びに、
生成されたビデオに基づいて、事前に-訓練した機械学習モデルを使用して、前記神経疾患を検出するステップ。

【請求項29】

請求項２８に記載の方法、ここで、前記方法は、前記神経疾患の進行を検出するステップ、を更に含む。

【請求項30】

請求項２８に記載の方法、ここで、前記神経疾患を検出するステップは、前記神経疾患に関連した眼球視線-パターン異常を決定するステップ、を含む。

【請求項31】

請求項２８から３０の何れか一項に記載の方法、ここで、前記方法は、以下を更に含む：
前記刺激ビデオの各1つについて、ユーザの顔部のビデオ上の、注目の領域の運動を測定することによって、眼球運動を検出するステップ。

【請求項32】

請求項３１に記載の方法、ここで、前記眼球運動を検出するステップは、以下を更に含む：
ユーザの顔部のビデオの少なくとも1つのイメージの中で、ユーザの眼球の注目の領域を、及びユーザの顔部の注目の領域を、決定するステップ；
ユーザの眼球の、少なくとも1つの眼球の構造物の眼球運動を測定するステップ；
ユーザの顔部の顔部の運動を測定するステップ；
眼球の全体的な運動から顔部の運動を差し引くことによって、ユーザの頭部に対するユーザの眼球の相対的な眼球運動を生成するステップ；
注目の領域の全体的な瞬間速度ベクトルを生成するために、各々のトラッキングされた注目の領域の速度ベクトルを平均化するステップ；並びに、
前記全体的な瞬間速度ベクトルに基づいて、ユーザの眼球運動の発生を、及びユーザの眼球運動の速度を、決定するステップ。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書は、広く、眼球トラッキングの、方法及びシステム、に関する、より具体的には、カメラを使用して、且つ何ら他のトラッキング・デバイスを必要としないで、眼球視線-パターンを検出するための、方法及びシステム、に関する。

【背景技術】

【0002】

眼球運動は、非常に速く、正確である。様々な神経障害及び精神障害は、人の、眼球運動、及び一連の眼球運動、に影響を及ぼすことがある。

【0003】

既存の眼球-視線トラッキング・ソリューションは、例えば、赤外線カメラ等の専用ハードウェアの使用を必要とし、それによって、そのような技術の、利用可能性は低くなり、コストは増大する。例えば、麻痺がある個体のために設計された視線トラッキング・システムは、ほとんどの患者及び臨床ユニットにとって、手が届かないほど高額である。

【0004】

更に、既存の技術は、嵩張り、通常、特定の神経症状を決定するために専門のオペレータを必要とする。従って、様々な神経症状を決定するのに役立つ眼球運動の異常を検出するために改良された技術、が必要とされている。

【発明の概要】

【0005】

本開示は、神経疾患を、及びユーザの神経疾患に関連した眼球視線-パターン異常を、検出するための、方法、システム及び装置、を提供する。

【0006】

開示される技術の1つの態様によれば、神経疾患を検出するための方法、が提供される、ここで、前記方法は、以下のステップを含む： 電子デバイスのスクリーン上に刺激ビデオを表示するステップ、及び前記電子デバイスのカメラを用いて同時に撮影するステップ、ここで、前記カメラは、前記スクリーンの近傍に配置され、前記刺激ビデオの各1つについて、ユーザの顔部のビデオを生成する、ここで、前記刺激ビデオの各1つは、タスクのセットのタスクに対応する、ここで、前記タスクのセットのうちの1つのタスクは較正タスクである；視線予測の機械学習モデルを提供するステップ；前記タスクについての生成されたビデオに基づいて、及び機械学習モデルを使用して、各タスクについてのユーザの顔部の各ビデオの各ビデオ・フレームについて、視線予測を生成するステップ；各タスクについてのユーザの顔部の各ビデオの各ビデオ・フレームについて、生成された視線予測に基づいて、各タスクについての特徴を決定するステップ；並びに、各タスクについて決定された特徴に基づいて、事前に-訓練した機械学習モデルを使用して、前記神経疾患を検出するステップ。

【0007】

いくつかの実施形態では、前記機械学習モデルを提供するステップは、視線予測を実施するために、前記較正タスク中に取得した較正データを取り込ませたもう1つ別の事前に-訓練したモデルを使用するステップ、を含む。残りの別の事前に-訓練したモデルを使用するステップは、視線予測を実施するために、前記機械学習モデルの内部表現を使用するステップ、を含む。いくつかの実施形態では、前記機械学習モデルを提供するステップは、もう1つ別の事前に-訓練した機械学習モデルの層を訓練するために、前記較正タスク中に取得した較正データを使用することによって、ユーザ-特異的な機械学習モデル、を生成するステップ、を含む。いくつかの実施形態では、前記機械学習モデルを提供するステップは、前記較正タスク中に取得した較正データを使用する新しいモデル、を生成するステップ、を含む。

【0008】

少なくとも1つの実施形態では、前記特徴は、ユーザの顔部のビデオの中の少なくとも1つの眼球の経時的な角運動から抽出される。前記神経疾患を検出するステップは、前記神経疾患に関連した眼球視線-パターン異常を決定するステップ、を含むことがある、及び前記眼球視線-パターン異常を決定するステップは、表示された前記刺激ビデオに関連する眼球運動を同定するステップ、を含む。前記神経疾患を検出するステップは、前記ビデオの中で、推定した視線位置を経時的に決定するステップを含む眼球視線-パターン異常を決定するステップ、を含むことがある。前記視線予測を生成するステップは、以下によって、前記ビデオの中で、推定した視線位置を、経時的に決定するステップ、を更に含むことがある：前記ビデオから、前記ユーザの少なくとも1つの眼球のイメージを受け取るステップ；対応する少なくとも1つの成分イメージを取得するために、前記イメージの少なくとも1つの色成分を抽出するステップ；前記イメージの少なくとも1つの成分の各1つについて、それぞれの内部表現を取得するために、それぞれの一次ストリームを適用するステップ；及び、前記イメージの少なくとも1つの成分の各1つのそれぞれの内部表現に従って、前記イメージ中で、推定した視線位置を決定するステップ。

【0009】

いくつかの実施形態では、前記タスクのセットは、凝視タスク、プロ-サッカード・タスク、アンチ-サッカード・タスク、視運動性眼振タスク、滑らかな追跡タスク、スパイラル・タスク、及びピクチャ・フリー-ビューイング(picture free-veiwing)タスク、のうちの少なくとも1つを更に含む；並びに、ここで：凝視タスクの特徴は、以下のうちの少なくとも1つを含む：平均視線位置、平均視線エラー、サッカードの混入の回数、眼振の存在、眼振の方向、及び眼振の速度；プロ-サッカード・タスクの特徴は、以下のうちの少なくとも1つを含む：サッカード潜時、垂直及び水平サッカード潜時、ピーク・サッカード速度、垂直及び水平ピーク・サッカード速度、サッカード・エンドポイント精度、加速度の反転の回数、及び方向エラー比率；アンチ-サッカード・タスクの特徴は、以下のうちの少なくとも1つを含む：矢印の方向エラー比率、サッカードの方向エラー比率、補正比率、サッカード潜時、及びピーク・サッカード速度；視運動性眼振タスクの特徴は、以下のうちの少なくとも1つを含む：眼振の存在、遅い相における眼振の速度、速い相における眼振の速度、眼振の方向、眼振の振幅；滑らかな追跡タスクの特徴は、以下のうちの少なくとも1つを含む：速度ゲイン、平均ラグ（average lag）、加速度の反転の回数、視線方向エラー、及び視線方向を補正するための時間；並びに、スパイラル・タスクの特徴は、以下のうちの少なくとも1つを含む：各トライアルの刺激に対する平均視線位置エラー、刺激経路からの逸脱、角速度エラー、最大角速度、各スパイラル回転の間の視線-パターンの真円度の尺度、及び位置上のエラーがある閾値に達するトライアルの間の時間。いくつかの実施形態では、前記刺激ビデオの各1つは、前記タスクについて、前記スクリーン上に一連のターゲットを表示するステップ、を含む、並びにタスクのセットは、更に以下を含む：凝視タスク、プロ-サッカード・タスク、アンチ-サッカード・タスク、視運動性眼振タスク、滑らかな追跡タスク、スパイラル・タスク、及びピクチャ・フリー-ビューイング(picture free-veiwing)タスク。

【0010】

開示される技術の1つの態様によれば、神経疾患を検出するための方法、ここで、前記方法は、以下のステップを含む：電子デバイスのスクリーン上に刺激ビデオを表示するステップ、及び前記電子デバイスのカメラを用いて同時に撮影するステップ、ここで、前記カメラは、前記スクリーンの近傍に配置され、前記刺激ビデオの各1つについて、ユーザの顔部のビデオを生成する、ここで、前記刺激ビデオの各1つは、タスクのセットのタスクに対応する；各タスクについて生成されたビデオに基づいて、第1の事前に-訓練した機械学習モデルを使用して、各タスクについての特徴を決定するステップ；並びに、各タスクについて決定した特徴に基づいて、第2の事前に-訓練した機械学習モデルを使用して、神経疾患を検出するステップ。前記第1の事前に-訓練した機械学習モデル、及び前記第2の事前に-訓練した機械学習モデル、の内の各1つは、各タスクの特徴についての1つの機械学習モデルを含むことがある。前記第1の事前に-訓練した機械学習モデルを使用するステップは、複数の機械学習モデルを使用するステップを含み、前記複数の機械学習モデルの各1つは、対応する前記特徴のうちの1つをターゲットとする。前記視線予測のための機械学習モデルを提供するステップは、複数の機械学習モデルを提供するステップ、を含むことがある、ここで、複数の機械学習モデルのうちの各1つは、対応する前記特徴のうちの1つをターゲットとする。前記方法は、前記神経疾患の進行を検出するステップ、を更に含むことがある。前記神経疾患を検出するステップは、前記神経疾患に関連した眼球視線-パターン異常を決定するステップ、を含むことがある。

【0011】

少なくとも1つの実施形態では、前記刺激ビデオの各1つは、前記タスクについて、前記スクリーン上に一連のターゲットを表示するするステップを含み、タスクのセットは、以下を更に含む：凝視タスク、プロ-サッカード・タスク、アンチ-サッカード・タスク、視運動性眼振タスク、滑らかな追跡タスク、スパイラル・タスク、及びピクチャ・フリー-ビューイング(picture free-veiwing)タスク。前記方法は、前記神経疾患の進行を検出するステップ、を更に含むことがある。

【0012】

いくつかの実施形態では、前記タスクのセットは、凝視タスク、プロ-サッカード・タスク、アンチ-サッカード・タスク、視運動性眼振タスク、滑らかな追跡タスク、スパイラル・タスク、及びピクチャ・フリー-ビューイング(picture free-veiwing)タスク、のうちの少なくとも1つを更に含むことがある、並びに、いくつかの実施形態では、凝視タスクの特徴は、以下のうちの少なくとも1つを含む：平均視線位置、平均視線エラー、サッカードの混入の回数、眼振の存在、眼振の方向、及び眼振の速度；プロ-サッカード・タスクの特徴は、以下のうちの少なくとも1つを含む：サッカード潜時、垂直及び水平サッカード潜時、ピーク・サッカード速度、垂直及び水平ピーク・サッカード速度、サッカード・エンドポイント精度、加速度の反転の回数、及び方向エラー比率；アンチ-サッカード・タスクの特徴は、以下のうちの少なくとも1つを含む：矢印の方向エラー比率、サッカードの方向エラー比率、補正比率、サッカード潜時、及びピーク・サッカード速度；視運動性眼振タスクの特徴は、以下のうちの少なくとも1つを含む：眼振の存在、遅い相における眼振の速度、速い相における眼振の速度、眼振の方向、眼振の振幅；滑らかな追跡タスクの特徴は、以下のうちの少なくとも1つを含む：速度ゲイン、平均ラグ（average lag）、加速度の反転の回数、視線方向エラー、及び視線方向を補正するための時間；並びに、スパイラル・タスクの特徴は、以下のうちの少なくとも1つを含む：各トライアルの刺激に対する平均視線位置エラー、刺激経路からの逸脱、角速度エラー、最大角速度、各スパイラル回転の間の視線-パターンの真円度の尺度、及び位置上のエラーがある閾値に達するトライアルの間の時間。様々な実施形態では、前記タスクのセットは、凝視タスク、プロ-サッカード・タスク、アンチ-サッカード・タスク、視運動性眼振タスク、滑らかな追跡タスク、スパイラル・タスク、及びピクチャ・フリー-ビューイング(picture free-veiwing)タスク、の様々な組み合わせを含むことがある。

【0013】

開示された技術の更なる態様によれば、神経疾患を検出するための方法、ここで、前記方法は、以下を含む：電子デバイスのスクリーン上に1セットの刺激ビデオを表示するステップ、及び前記電子デバイスのカメラを用いて同時に撮影するステップ、ここで、前記カメラは、前記スクリーンの近傍に配置され、前記刺激ビデオの各1つについて、ユーザの顔部のビデオを生成する、ここで、前記刺激ビデオの各1つは、タスクのセットのタスクに対応する、ここで、前記タスクのセットは、以下を更に含む：凝視タスク、プロ-サッカード・タスク、アンチ-サッカード・タスク、視運動性眼振タスク、滑らかな追跡タスク、スパイラル・タスク、及びピクチャ・フリー-ビューイング(picture free-veiwing)タスク；並びに、生成されたビデオに基づいて、事前に-訓練した機械学習モデルを使用して、前記神経疾患を検出するステップ、が提供される。タスクのセットは、以下のうちの少なくとも1つを含む：凝視タスク、プロ-サッカード・タスク、アンチ-サッカード・タスク、眼振タスク、滑らかな追跡タスク、スパイラル・タスク、及びピクチャ・フリー-ビューイング(picture free-veiwing)タスク。有利には、前記タスクのうちの少なくとも2つ、又は複数のタスク、を実施して、より多くの対応する特徴を取得することがある。前記方法は、前記神経疾患の進行を検出するステップ、を更に含むことがある。神経疾患を検出するステップは、前記神経疾患に関連した眼球視線-パターン異常を決定するステップ、を含むことがある。事前に-訓練した機械学習モデルを使用して、神経疾患を検出するステップは、各タスクについての特徴を決定するステップ、を更に含むことがある。

【0014】

開示された技術の更なる態様によれば、ユーザの神経疾患に関連した眼球視線-パターン異常を検出するための方法、ここで、前記方法は、以下のステップを含む：表示するためのスクリーンを、及び前記スクリーンの近傍にあるカメラを、含む電子デバイスを提供するステップ；第1の期間の間、前記スクリーン上に一連のターゲットを表示するステップ、及び前記ユーザの顔部のビデオをキャプチャするために、前記カメラを用いて同時に撮影するステップ、ここで、前記一連のターゲットは、固定ターゲットを、及び連続して表示される複数のスパイラルを、含む、ここで、第2の期間の間、前記スクリーン上に前記固定ターゲットを表示した後に、前記複数のスパイラルの各スパイラルは、表示される；前記ユーザの顔部の前記ビデオに基づいて、少なくとも1つの特徴を決定するステップ；並びに、前記ユーザの顔部の前記ビデオに基づいて決定された少なくとも1つの特徴に基づいて、前記眼球視線-パターン異常を検出するステップ。少なくとも1つの実施形態では、複数のスパイラルは、2つの時計回りのスパイラル、及び2つの反時計回りのスパイラル、を含む、並びに、複数のスパイラルの各1つは、前記固定ターゲットの周りを回転する。前記複数のスパイラルは、速い時計回りのスパイラル、遅い時計回りのスパイラル、速い反時計回りのスパイラル、及び遅い反時計回りのスパイラル、を含むことがある、ここで、前記速い時計回りのスパイラルは、前記遅い時計回りのスパイラルよりも、短い期間の間、表示される、及び前記速い反時計回りのスパイラルは、前記遅い反時計回りのスパイラルよりも、短い期間の間、表示される。

【0015】

前記一連のターゲットを表示するステップは、以下を更に含む：第2の期間の間、固定ターゲットの位置に、前記固定ターゲットを表示するステップ；第3の期間の間、前記固定ターゲットの位置から始まり、前記固定ターゲットの位置の周りを回転する、遅い時計回りのスパイラルを表示するステップ；第4の期間の間、前記固定ターゲットの位置に、前記固定ターゲットを表示するステップ；第5の期間の間、前記固定ターゲットの位置から始まり、前記固定ターゲットの位置の周りを回転する、速い時計回りのスパイラルを表示するステップ、ここで、前記速い時計回りのスパイラルは、前記遅い時計回りのスパイラルよりも、短い期間の間、表示される；第6の期間の間、前記固定ターゲットの位置に、前記固定ターゲットを表示するステップ；第7の期間の間、前記固定ターゲットの位置から始まり、前記固定ターゲットの位置の周りを回転する、遅い反時計回りのスパイラルを表示するステップ；第8の期間の間、前記固定ターゲットの位置に、前記固定ターゲットを表示するステップ；及び、第9の期間の間、前記固定ターゲットの位置から始まり、前記固定ターゲットの位置の周りを回転する、速い反時計回りのスパイラルを表示するステップ、ここで、前記速い反時計回りのスパイラルは、前記遅い反時計回りのスパイラルよりも、短い期間の間、表示される。

【0016】

開示される技術の更なる態様によれば、ユーザの神経疾患を検出するためのシステムが提供される、ここで、前記システムは、以下を含む：スクリーンを、及び前記スクリーンの近傍に配置されたカメラを、含む電子デバイス、ここで、前記スクリーンは、刺激ビデオを表示するように構成される、及び前記カメラは、ユーザの顔部のビデオを、撮影するように、及び生成するように、構成される；刺激ビデオを保存するメモリ；プロセシング・ユニット及びコンピュータ実行可能な命令を保存する非-一過性コンピュータ可読媒体、ここで、これらが前記プロセシング・ユニットによって実行された場合、前記プロセシング・ユニットに以下のことを引き起こす：前記電子デバイスのスクリーン上に、刺激ビデオを表示すること、及び前記カメラを用いて同時に撮影し、前記刺激ビデオの各1つについて、ユーザの顔部のビデオを生成すること、ここで、前記刺激ビデオの各1つは、タスクのセットのうちの1つのタスクに対応する、前記タスクのセットのうちの1つのタスクは、較正タスクである；視線予測のための機械学習モデルを提供すること；前記タスクについて生成されたビデオに基づいて、及び前記機械学習モデルを使用して、各タスクについてのユーザの顔部の各ビデオの各ビデオ・フレームについて、視線予測を生成すること；各タスクについてのユーザの顔部の各ビデオの各ビデオ・フレームについての生成された視線予測に基づいて、各タスクについて、特徴を決定すること；並びに、各タスクについて決定された特徴に基づいて、事前に-訓練した機械学習モデルを使用して、神経疾患を検出すること。

【0017】

開示される技術の更なる態様によれば、ユーザの神経疾患を検出するためのシステムが提供される、ここで、前記システムは、以下を含む：スクリーンを、及び前記スクリーンの近傍に配置されたカメラを、含む電子デバイス、ここで、前記スクリーンは、刺激ビデオを表示するように構成される、及び前記カメラは、ユーザの顔部のビデオを、撮影するように、及び生成するように、構成される；刺激ビデオを保存するメモリ、並びに、プロセシング・ユニット及びコンピュータ実行可能な命令を保存する非-一過性コンピュータ可読媒体、ここで、これらが前記プロセシング・ユニットによって実行された場合、前記プロセシング・ユニットに以下のことを引き起こす：前記電子デバイスのスクリーン上に、刺激ビデオを表示すること、及び前記カメラを用いて同時に撮影し、前記刺激ビデオの各1つについて、ユーザの顔部のビデオを生成すること、ここで、前記刺激ビデオの各1つは、タスクのセットのタスクに対応する；各タスクについて生成されたビデオに基づいて、第1の事前に-訓練した機械学習モデルを使用して、各タスクについて、特徴を決定すること；並びに、各タスクについて決定された特徴に基づいて、第2の事前に-訓練した機械学習モデルを使用して、神経疾患を検出すること。

【0018】

開示される技術の更なる態様によれば、ユーザの神経疾患を検出するためのシステムが提供される、ここで、前記システムは、以下を含む：スクリーンを、及び前記スクリーンの近傍に配置されたカメラを、含む電子デバイス、ここで、前記スクリーンは、刺激ビデオを表示するように構成される、及び前記カメラは、ユーザの顔部のビデオを、撮影するように、及び生成するように、構成される；刺激ビデオを保存するメモリ、並びに、プロセシング・ユニット及びコンピュータ実行可能な命令を保存する非-一過性コンピュータ可読媒体、ここで、これらが前記プロセシング・ユニットによって実行された場合、前記プロセシング・ユニットに以下のことを引き起こす：前記スクリーン上に、1セットの刺激ビデオを表示すること、及び前記カメラを用いて同時に撮影し、前記刺激ビデオの各1つについて、ユーザの顔部のビデオを生成すること、ここで、前記刺激ビデオの各1つは、タスクのセットのタスクに対応する、前記タスクのセットは、更に以下を含む：凝視タスク、プロ-サッカード・タスク、アンチ-サッカード・タスク、眼振タスク、滑らかな追跡タスク、スパイラル・タスク、及びピクチャ・フリー-ビューイング(picture free-veiwing)タスク；並びに、前記生成されたビデオに基づいて、事前に-訓練した機械学習モデルを使用して、前記神経疾患を検出すること。

【0019】

開示される技術の更なる態様によれば、ユーザの神経疾患に関連した眼球視線-パターン異常を検出する方法が提供される。前記方法は、以下のステップを含む：表示するためのスクリーンを、及び前記スクリーンの近傍にあるカメラを、含む電子デバイスを提供するステップ；第1の期間の間、前記スクリーン上に一連のターゲットを表示することによって、眼球視線-パターン・テストを実施するステップ、及び、前記第1の期間の間、前記ユーザの顔部のビデオを生成するために前記カメラを用いて同時に撮影するステップ；前記ユーザの顔部の前記ビデオ、及び、第1の期間の間、前記スクリーン上に表示される前記一連のターゲット、に基づいて、第1の特徴のセットを決定するステップ；並びに、前記ユーザの顔部の前記ビデオに基づいて決定された、前記第1の特徴のセットに基づいて、前記眼球視線-パターン異常を検出するステップ。少なくとも1つの実施形態では、前記第1の特徴のセットを決定するステップは、前記ビデオに、第1の訓練した機械学習アルゴリズムを適用するステップ、を含む。少なくとも1つの実施形態では、眼球視線-パターン異常を検出するステップは、前記第1の特徴のセットに、第2の訓練した機械学習アルゴリズムを適用するステップ、を含む。

【0020】

少なくとも1つの実施形態では、訓練した機械学習アルゴリズムは、前記ビデオに基づいて、眼球視線-パターン異常を決定するために、どの特徴を、前記第1の特徴のセットの中に含めるべきかを決定する。

【0021】

少なくとも1つの実施形態では、前記眼球視線-パターン・テストは、第1のタスク及び第2のタスクを含む；ここで、一連のターゲットは、第1のタスクに対応する第1の一連のターゲット、及び第2のタスクに対応する第2の一連のターゲット、を含む；第1の特徴のセットは、第1のタスク、及び第1のタスク中にキャプチャされたビデオの一部、に基づいて決定される；並びに、前記方法は、以下を更に含む：第2のタスクに基づいて第2の特徴のセットを決定するステップ、並びに、前記第1の特徴のセット及び前記第2の特徴のセットに基づいて、眼球視線-パターン異常を検出するステップ。

【0022】

いくつかの実施態様では、前記方法は、第1の特徴のセットを、第2の期間の間に撮影されたユーザの顔部の別のビデオに基づいて決定された先行する特徴の別のセットと、比較することによって、前記神経疾患に関連した眼球視線-パターン異常の進行を検出するステップ、を更に含む。前記眼球視線-パターン異常を検出するステップは、実施された眼球視線-パターン・テストに関連する眼球運動を同定するステップ、を含むことがある。前記第1のタスク及び第2のタスクは、以下のうちの少なくとも2つであることがある：眼球固定の特徴のセットに対応する凝視タスク、プロ-サッカードの特徴のセットに対応するプロ-サッカード・タスク、アンチ-サッカードの特徴のセットに対応するアンチ-サッカード・タスク、視運動性眼振の特徴のセットに対応する視運動性眼振タスク、及びスパイラルの特徴のセットに対応するスパイラル・タスク。

【0023】

少なくとも1つの実施形態では、眼球固定の特徴のセットは、以下を含む：平均視線位置、平均視線エラー、サッカードの混入の回数、眼振の存在、眼振の方向、及び眼振の速度。少なくとも1つの実施形態では、プロ-サッカードの特徴のセットは、以下を含む：サッカード潜時、垂直及び水平サッカード潜時、ピーク・サッカード速度、垂直及び水平ピーク・サッカード速度、サッカード・エンドポイント精度、加速度の反転の回数、方向エラー比率。少なくとも1つの実施形態では、アンチ-サッカードの特徴のセットは、以下を含む：矢印の方向エラー比率、サッカードの方向エラー比率、補正比率、サッカード潜時、ピーク・サッカード速度。少なくとも1つの実施形態では、視運動性眼振の特徴のセットは、以下を含む：速度ゲイン、平均ラグ（average lag）、加速度の反転の回数、視線方向エラー、及び視線方向を補正するための時間。

【0024】

前記方法は、眼球運動中のアーチファクトを、同定するステップ、及び除去するステップ、を更に含むことがある。前記方法は、各眼球について、前記ビデオの中で、推定した視線位置を経時的に決定するステップ、を更に含むことがある。前記ビデオの中で、前記推定した視線位置を経時的に決定するステップは、以下を含むことがある：前記ビデオから、前記ユーザの少なくとも1つの眼球のイメージを受け取るステップ；対応する少なくとも1つの成分イメージを取得するために、前記イメージの少なくとも1つの色成分を抽出するステップ；前記少なくとも1つの成分イメージの各1つについて、それぞれの内部表現を取得するために、それぞれの一次ストリームを適用するステップ；及び、前記少なくとも1つの成分イメージの各1つのそれぞれの内部表現に従って、前記イメージ中で、推定した視線位置を決定するステップ。前記眼球視線-パターン異常を検出するステップは、訓練した機械学習アルゴリズムを、前記ビデオの中で、経時的に、推定した視線位置に、適用するステップ、を含むことがある。

【0025】

少なくとも1つの実施形態では、第1の特徴のセットは、以下を含む眼球固定の特徴のセットである：平均視線位置、平均視線エラー、サッカードの混入の回数、眼振の存在、眼振の方向、及び眼振の速度。少なくとも1つの実施形態では、第1の特徴のセットは、以下を含むプロ-サッカードの特徴のセットである：サッカード潜時、垂直及び水平サッカード潜時、ピーク・サッカード速度、垂直及び水平ピーク・サッカード速度、サッカード・エンドポイント精度、加速度の反転の回数、及び方向エラー比率。少なくとも1つの実施形態では、第1の特徴のセットは、以下を含むアンチ-サッカードの特徴のセットである：矢印の方向エラー比率、サッカードの方向エラー比率、補正比率、サッカード潜時、及びピーク・サッカード速度。少なくとも1つの実施形態では、第1の特徴のセットは、以下を含む視運動性眼振の特徴のセットである：速度ゲイン、平均ラグ（average lag）、加速度の反転の回数、視線方向エラー、及び視線方向を補正するための時間。少なくとも1つの実施形態では、第1の特徴のセットは、ユーザの顔部のビデオの中の少なくとも1つの眼球の経時的な角運動から抽出される。

【0026】

開示される技術の更なる態様によれば、ユーザの神経疾患に関連した眼球視線-パターン異常を検出するための方法が提供される。前記方法は、以下のステップを含む：表示するためのスクリーンを、及び前記スクリーンの近傍にあるカメラを、含む電子デバイスを提供するステップ；第1の期間の間、前記スクリーン上に一連のターゲットを表示するステップ、及び前記ユーザの顔部のビデオをキャプチャするために、前記カメラを用いて同時に撮影するステップ、ここで、前記一連のターゲットは、固定ターゲットを、及び連続して表示される複数のスパイラルを、含む、ここで、第2の期間の間、前記スクリーン上に前記固定ターゲットを表示した後に、前記複数のスパイラルの各スパイラルは、表示される；前記ユーザの顔部の前記ビデオに基づいて、少なくとも1つの特徴を決定するステップ；並びに、前記ユーザの顔部の前記ビデオに基づいて決定された少なくとも1つの特徴に基づいて、前記眼球視線-パターン異常を検出するステップ。少なくとも1つの実施形態では、複数のスパイラルは、2つの時計回りのスパイラル、及び2つの反時計回りのスパイラル、を含む、並びに、複数のスパイラルの各1つは、前記固定ターゲットの周りを回転する。少なくとも1つの実施形態では、前記複数のスパイラルは、速い時計回りのスパイラル、遅い時計回りのスパイラル、速い反時計回りのスパイラル、及び遅い反時計回りのスパイラル、を含む、ここで、前記速い時計回りのスパイラルは、前記遅い時計回りのスパイラルよりも、短い期間の間、表示される、及び前記速い反時計回りのスパイラルは、前記遅い反時計回りのスパイラルよりも、短い期間の間、表示される。いくつかの実施形態では、前記一連のターゲットを表示するステップは、以下を更に含む：第2の期間の間、固定ターゲットの位置に、前記固定ターゲットを表示するステップ；第3の期間の間、前記固定ターゲットの位置から始まり、前記固定ターゲットの位置の周りを回転する、遅い時計回りのスパイラルを表示するステップ；第4の期間の間、前記固定ターゲットの位置に、前記固定ターゲットを表示するステップ；第5の期間の間、前記固定ターゲットの位置から始まり、前記固定ターゲットの位置の周りを回転する、速い時計回りのスパイラルを表示するステップ、ここで、前記速い時計回りのスパイラルは、前記遅い時計回りのスパイラルよりも、短い期間の間、表示される；第6の期間の間、前記固定ターゲットの位置に、前記固定ターゲットを表示するステップ；第7の期間の間、前記固定ターゲットの位置から始まり、前記固定ターゲットの位置の周りを回転する、遅い反時計回りのスパイラルを表示するステップ；第8の期間の間、前記固定ターゲットの位置に、前記固定ターゲットを表示するステップ；及び、第9の期間の間、前記固定ターゲットの位置から始まり、前記固定ターゲットの位置の周りを回転する、速い反時計回りのスパイラルを表示するステップ、ここで、前記速い反時計回りのスパイラルは、前記遅い反時計回りのスパイラルよりも、短い期間の間、表示される。

【0027】

開示される技術の更なる態様によれば、コンピュータ実行可能な命令を保存する非-一過性コンピュータ可読媒体、が提供される、ここで、これらがプロセシング・ユニットによって実行された場合、前記プロセシング・ユニットに以下のことを引き起こす：第1の期間の間、前記スクリーンに、一連のターゲットを表示させることによって、眼球視線-パターン・テストを実施すること、及び、前記第1の期間の間、前記カメラによってキャプチャされたユーザの顔部のビデオを受け取ること；前記ユーザの顔部のビデオ、及び、前記第1の期間の間、前記スクリーン上に表示された前記一連のターゲット、に基づいて、第1の特徴のセットを決定すること；並びに、前記ユーザの顔部のビデオに基づいて決定された第1の特徴のセットに基づいて、前記眼球視線-パターン異常を検出すること。

【0028】

開示される技術の更なる態様によれば、ユーザの神経疾患に関連した眼球視線-パターン異常を検出するためのシステムが提供される、ここで、前記システムは、以下を含む：表示するためのスクリーンを、及び前記スクリーンの近傍にあるカメラを、含む電子デバイス、ここで、前記スクリーンは、一連のターゲットを表示するように構成される、並びに前記カメラは、ユーザの顔部のビデオを、撮影するように、及び生成するように、構成される；前記一連のターゲットの記載を有するメモリ；プロセシング・ユニット及びコンピュータ実行可能な命令を保存する非-一過性コンピュータ可読媒体、ここで、これらが前記プロセシング・ユニットによって実行された場合、前記プロセシング・ユニットに以下のことを引き起こす：第1の期間の間、前記スクリーンに、一連のターゲットを表示させることによって、眼球視線-パターン・テストを実施すること、及び、前記第1の期間の間、前記カメラによってキャプチャされたユーザの顔部のビデオを受け取ること；前記ユーザの顔部のビデオ、及び、前記第1の期間の間、前記スクリーン上に表示された前記一連のターゲット、に基づいて、第1の特徴のセットを決定すること；並びに、前記ユーザの顔部のビデオに基づいて決定された第1の特徴のセットに基づいて、前記眼球視線-パターン異常を検出すること。

【0029】

開示される技術の更なる態様によれば、コンピュータ実行可能な命令を保存する非-一過性コンピュータ可読媒体、が提供される、ここで、これらがプロセシング・ユニットによって実行された場合、前記プロセシング・ユニットに以下のことを引き起こす：第1の期間の間、前記スクリーンに、一連のターゲットを表示させる、及び前記ユーザの顔部のビデオをキャプチャするために、前記カメラを用いて同時に撮影する、ここで、前記一連のターゲットは、固定ターゲットを、及び連続して表示される複数のスパイラルを、含む、ここで、第2の期間の間、前記スクリーン上に前記固定ターゲットを表示した後に、前記複数のスパイラルの各スパイラルは、表示される；前記ユーザの顔部の前記ビデオに基づいて、少なくとも1つの特徴を決定する；並びに、前記ユーザの顔部の前記ビデオに基づいて決定された少なくとも1つの特徴に基づいて、前記眼球視線-パターン異常を検出する。

【0030】

開示される技術の更なる態様によれば、ユーザの神経疾患に関連した眼球視線-パターン異常を検出するためのシステム、が提供される、ここで、前記システムは、以下を含む：表示するためのスクリーンを、及び前記スクリーンの近傍にあるカメラを、含む電子デバイス、ここで、前記スクリーンは、一連のターゲットを表示するように構成される、並びに一連のターゲットを同時に表示しながら、前記カメラは、ユーザの顔部のビデオを、撮影するように、及び生成するように、構成される；前記一連のターゲットの記載を有するメモリ；プロセシング・ユニット及びコンピュータ実行可能な命令を保存する非-一過性コンピュータ可読媒体、ここで、これらが前記プロセシング・ユニットによって実行された場合、前記プロセシング・ユニットに以下のことを引き起こす：第1の期間の間、前記スクリーンに、一連のターゲットを表示させること、及びユーザの顔部のビデオを受け取ること、ここで、前記一連のターゲットは、固定ターゲットを、及び連続的に表示される複数のスパイラルを、含む、ここで、第2の期間の間、前記スクリーン上に前記固定ターゲットを表示した後に、前記複数のスパイラルの各スパイラルは、表示される；前記ユーザの顔部の前記ビデオに基づいて、少なくとも1つの特徴を決定する；並びに、前記ユーザの顔部の前記ビデオに基づいて決定された少なくとも1つの特徴に基づいて、前記眼球視線-パターン異常を検出する。

【0031】

少なくとも1つの実施形態では、前記第1の特徴のセットは、以下のうちの少なくとも1つを含む：矩形波眼球運動、矩形波パルス、眼球粗動、オプソクローヌス、及び眼振の、振幅、周波数、速度、又は方向。少なくとも1つの実施形態では、ユーザの顔部のビデオから特徴を抽出するステップ、及び前記ビデオから抽出された特徴を用いて眼球視線-パターン異常を検出するステップ、が実施される。少なくとも1つの実施形態では、眼球視線-パターン・テストを実施するステップは、以下のうちの少なくとも2つに向けられた複数のタスクを実施するステップを、含む：眼球固定、プロ-サッカード、アンチ-サッカード、視運動性眼振、及びスパイラル。

【0032】

少なくとも1つの実施形態では、眼球運動中のアーチファクトを、同定するステップは、及び除去するステップは、前記ビデオ内の一連のイメージを使用して、瞬きを同定するステップを、及び眼球運動を同定するときに、前記瞬きを検討から除去するステップを、含む。

【0033】

少なくとも1つの実施形態では、前記電子デバイスは、以下の中から選択される任意のものを含む：前記カメラを有するスクリーンを含む、タブレット、スマートフォン、ラップトップ・コンピュータ、ハンドヘルド・コンピュータ、及びテーブルトップ・コンピュータ。

【0034】

開示される技術の更なる態様によれば、神経疾患に関連した眼球視線-パターン異常を検出するための方法、が提供される。前記方法は、以下を含む：電子デバイスのスクリーン上に刺激ビデオを表示するステップ、及び前記電子デバイスのカメラを用いて同時に撮影するステップ、ここで、前記カメラは、前記スクリーンの近傍に配置され、前記刺激ビデオの各1つについて、ユーザの顔部のビデオを生成する、ここで、前記刺激ビデオの各1つは、タスクのセットのタスクに対応する、ここで、前記タスクのセットのうちの1つのタスクは、較正タスクである；視線予測のための機械学習モデル、を生成するステップ；前記タスクについて生成されたビデオに基づいて、及び前記機械学習モデルを使用して、各タスクについて、前記ユーザの顔部の各ビデオの各ビデオ・フレームについて、視線予測を生成するステップ；各タスクについて、前記ユーザの顔部の各ビデオの各ビデオ・フレームについて、生成された視線予測に基づいて、各タスクについての特徴を決定するステップ；並びに、各タスクについて決定された特徴に基づいて、事前に-訓練した機械学習モデルを使用して、前記神経疾患を検出するステップ。

【0035】

開示される技術の更なる態様によれば、神経疾患に関連した眼球視線-パターン異常を検出するための方法、が提供される。前記方法は、以下を含む：電子デバイスのスクリーン上に刺激ビデオを表示するステップ、及び前記電子デバイスのカメラを用いて同時に撮影するステップ、ここで、前記カメラは、前記スクリーンの近傍に配置され、前記刺激ビデオの各1つについて、ユーザの顔部のビデオを生成する、ここで、前記刺激ビデオの各1つは、タスクのセットのタスクに対応する；各タスクについて生成されたビデオに基づいて、第1の事前に-訓練した機械学習モデルを使用して、各タスクについて、特徴を決定する；並びに、各タスクについて決定された特徴に基づいて、第2の事前に-訓練した機械学習モデルを使用して、前記神経疾患を検出するステップ。

【0036】

開示される技術の更なる態様によれば、神経疾患を検出するための方法、が提供される、ここで、前記方法は、以下を含む：電子デバイスのスクリーン上に1セットの刺激ビデオを表示するステップ、及び前記電子デバイスのカメラを用いて同時に撮影するステップ、ここで、前記カメラは、前記スクリーンの近傍に配置され、前記刺激ビデオの各1つについて、ユーザの顔部のビデオを生成する、ここで、前記刺激ビデオの各1つは、タスクのセットのタスクに対応する；並びに、生成されたビデオに基づいて、事前に-訓練した機械学習モデルを使用して、前記神経疾患を検出するステップ。前記方法は、前記神経疾患の進行を検出するステップを、更に含むことがある。

【0037】

少なくとも1つの実施形態では、前記セットの刺激ビデオのうちの刺激ビデオは、前記タスクについて、前記スクリーン上に、一連のターゲットを表示するステップ、を含む、ここで、タスクのセットは、以下を更に含む：凝視タスク、プロ-サッカード・タスク、アンチ-サッカード・タスク、眼振タスク、滑らかな追跡タスク、スパイラル・タスク、及びイメージ凝視タスク。前記神経疾患に関連した眼球視線-パターン異常を決定するステップは、前記神経疾患を決定するステップを、含むことがある。前記神経疾患を検出するステップは、前記神経疾患に関連した眼球視線-パターン異常を決定するステップ、を含むことがある。前記神経疾患に関連した眼球視線-パターン異常を検出するステップは、前記神経疾患に関連した眼球視線-パターン異常の進行を検出するステップを、含むことがある。

【0038】

開示された技術の更なる態様によれば、神経疾患を検出するための方法、が提供される、ここで、前記方法は、以下を含む：タスクのセットを実施するステップ、ここで、各タスクは、お互いに別個である、及び前記タスクについて、別個の特徴のセットに対応する、ここで、前記タスクのセットは、較正タスクを、並びに、滑らかな追跡タスク、凝視タスク、プロ-サッカード・タスク、及びアンチ-サッカード・タスク、のうちの少なくとも1つを、有する、各タスクについて、以下を含むタスクのセットを実施するステップ、電子デバイスのスクリーン上に刺激ビデオを表示するステップ、及び前記電子デバイスのカメラを用いて同時に撮影するステップ、ここで、前記カメラは、前記スクリーンの近傍に配置され、前記刺激ビデオの各1つについて、ユーザの顔部のビデオを生成する、ここで、前記刺激ビデオの各1つは、タスクのセットのタスクに対応する、ここで、刺激ビデオは、所定の連続的な経路又は非連続的な経路に従って、前記スクリーン上に、順次にターゲットを、及び前記スクリーン上で所定のスピードで動いて見えるターゲットを、表示すること、を含む、ここで、前記刺激ビデオは、前記刺激ビデオが表示されている間、前記スクリーン上の前記ターゲットの運動を意識して追うことを、前記ユーザに促す、ここで、前記刺激ビデオの各1つは、別個の特徴のセットを抽出するために構成されている；視線予測の機械学習モデルを提供するステップ；前記タスクについての生成されたビデオに基づいて、及び機械学習モデルを使用して、各タスクについてのユーザの顔部の各ビデオの各ビデオ・フレームについて、視線予測を生成するステップ；各タスクについてのユーザの顔部の各ビデオの各ビデオ・フレームについて、生成された視線予測に基づいて、各タスクについて、特徴のセットの値を決定するステップ；並びに、各タスクについて決定された特徴のセットの値に基づいて、事前に-訓練した機械学習モデルを使用して、前記神経疾患を検出するステップ。少なくとも1つの実施形態では、前記較正タスクは、前記スクリーン上に表示されたフォームに対して、前記ユーザの眼球の位置合わせを実施するステップ、並びに、前記ユーザに、その頭部を、前記較正タスクの第1の期間中に一方の側に傾けること、及び前記較正タスクの第2の期間中に他方の側に傾けること、をリクエストするステップ、を含む。前記方法は、凝視タスク中に、混入に関連した指標を決定するステップ、を更に含む、ここで、前記方法は、矩形波眼球運動(SWJ)サッカード指標及び他のサッカードの混入指標、を含む混入に関連した指標、並びに視線ドリフト及び視線安定性に関連した指標、を更に含む。プロ-サッカード・タスク中に、ある期間の間、第1のターゲットの表示に続いて、第2のターゲットが、前記スクリーン上の1セットの所定の位置のうちの1つに表示されることがあり、以下の指標を抽出することがある：第1のゲイン及び最後のゲイン、サッカード速度、両眼球間のピーク速度の比率、並びにターゲットに到達するのに必要なサッカードの回数。少なくとも1つの実施形態では、前記アンチ-サッカード・タスクは、少なくとも3つの別個のビデオ・ブロックを含み、各ビデオ・ブロックは、所定の回数のトライアルを前記スクリーン上に提示するように構成され、各トライアルは、凝視の期間、ブランク・スクリーンの期間、及び刺激の期間、を有する。

【0039】

前記タスクのセットは、所定の時間の間、コントラスト格子を表示するステップ、を含む視運動性眼振タスクを更に含むことがある、ここで、前記コントラスト格子は、前記スクリーンを横切って動く。指標を、遅いドリフト及びサッカードの各対について、決定することがある、及び前記指標に基づいて、前記視運動性眼振タスクの特徴のセットの値を決定することがある。前記機械学習モデルを提供するステップは、視線予測を実施するために、前記較正タスク中に取得した較正データを取り込ませたもう1つ別の事前に-訓練したモデルを使用するステップ、及び視線予測を実施するために、前記機械学習モデルの内部表現を使用するステップを含む残りの別の事前に-訓練したモデルを使用するステップ、を含むことがある。前記タスクのセットは、凝視タスク、プロ-サッカード・タスク、アンチ-サッカード・タスク、視運動性眼振タスク、滑らかな追跡タスク、スパイラル・タスク、及びピクチャ・フリー-ビューイング(picture free-veiwing)タスク、を更に含むことがある。少なくとも1つの実施形態では、前記タスクのセットは、視運動性眼振タスク、滑らかな追跡タスク、スパイラル・タスク、及びピクチャ・フリー-ビューイング(picture free-veiwing)タスク、のうちの少なくとも1つを更に含む、並びに、ここで：凝視タスクの特徴のセットは、以下のうちの少なくとも1つを含む：平均視線位置、平均視線エラー、サッカードの混入の回数、眼振の存在、眼振の方向、及び眼振の速度；プロ-サッカード・タスクの特徴のセットは、以下のうちの少なくとも1つを含む：サッカード潜時、垂直及び水平サッカード潜時、ピーク・サッカード速度、垂直及び水平ピーク・サッカード速度、サッカード・エンドポイント精度、加速度の反転の回数、及び方向エラー比率；アンチ-サッカード・タスクの特徴のセットは、以下のうちの少なくとも1つを含む：矢印の方向エラー比率、サッカードの方向エラー比率、補正比率、サッカード潜時、及びピーク・サッカード速度；視運動性眼振タスクの特徴のセットは、以下のうちの少なくとも1つを含む：眼振の存在、遅い相における眼振の速度、速い相における眼振の速度、眼振の方向、眼振の振幅；滑らかな追跡タスクの特徴のセットは、以下のうちの少なくとも1つを含む：速度ゲイン、平均ラグ（average lag）、加速度の反転の回数、視線方向エラー、及び視線方向を補正するための時間；並びに、スパイラル・タスクの特徴のセットは、以下のうちの少なくとも1つを含む：各トライアルの刺激に対する平均視線位置エラー、刺激経路からの逸脱、角速度エラー、最大角速度、各スパイラル回転の間の視線-パターンの真円度の尺度、及び位置上のエラーがある閾値に達するトライアルの間の時間。

【0040】

一連のターゲットを表示するステップは、所定の連続的な経路に従って、前記スクリーン上に、順次にターゲットを、並びに前記スクリーンの4つの端のうちの1つに向かって、及びスクリーンの4つの端のうちの1つから、一定のスピードで動いて見えるターゲットを、表示するステップを含むことがある、ここで、前記滑らかな追跡タスクは、前記スクリーン上の前記ターゲットの経路を辿ることを、前記ユーザに促すステップ、を含む、ここで、前記滑らかな追跡タスクの刺激ビデオは、前記滑らかな追跡タスクの別個の特徴のセットを抽出するために構成されている。前記滑らかな追跡タスクについての刺激ビデオは、所定の連続的な経路に従って、前記スクリーン上に、順次にターゲットを、及び前記スクリーンの4つの端のうちの1つに向かって、及びスクリーンの4つの端のうちの1つから、一定のスピードで動いて見えるターゲットを、表示するステップを、及び、前記滑らかな追跡タスク中に、前記スクリーン上の前記ターゲットの運動を意識して追うことを、前記ユーザに促すステップを、含むことがある、ここで、前記滑らかな追跡タスクについての刺激ビデオは、前記滑らかな追跡タスクの別個の特徴のセットを抽出するために構成されている。

【0041】

少なくとも1つの実施形態では、前記タスクのセットは、以下のタスクの任意の組み合わせを更に含む：凝視タスク、プロ-サッカード・タスク、アンチ-サッカード・タスク、視運動性眼振タスク、滑らかな追跡タスク、スパイラル・タスク、視覚空間潜在記憶タスク、及びピクチャ・フリー-ビューイング(picture free-veiwing)タスク。前記方法は、一連のオリジナル・イメージを、及び一連の改変イメージを、表示するステップを含むことがある、視覚空間潜在記憶タスクを更に含むことがある。各改変イメージは、1つのオリジナル・イメージに対応することがある、及び、前記オリジナル・イメージと同じ順序で表示することがある、ここで、各改変イメージは、そこから除去される、又はそこに追加される、少なくとも1つの目的対象を有する。

【0042】

少なくとも1つの実施形態によれば、前記方法は、前記刺激ビデオの各1つについて、ユーザの顔部のビデオ上の、注目の領域の運動を測定することによって、眼球運動を検出するステップ、を更に含むことがある。前記眼球運動を検出するステップは、ユーザの眼球運動の発生を、及び眼球運動の速度を、決定するステップ、を含むことがある。少なくとも1つの実施形態によれば、眼球運動を検出するステップは、以下を更に含む：ユーザの顔部のビデオの、少なくとも1つのイメージの中で（少なくとも1つのビデオ・フレームの中で）、ユーザの眼球の注目の領域を、及びユーザの顔部の注目の領域を、決定するステップ；ユーザの眼球に関する、少なくとも1つの眼球の構造物の眼球運動を測定するステップ；ユーザの顔部（若しくは、頭部）に関する、顔部（若しくは、頭部）の運動を測定するステップ；眼球の全体的な運動から顔部の運動を差し引くことによって、ユーザの頭部に対するユーザの眼球の相対的な眼球運動を生成するステップ；注目の領域の全体的な瞬間速度ベクトルを生成するために、各々のトラッキングされた注目の領域の速度ベクトルを平均化するステップ。前記全体的な瞬間速度ベクトルに基づいて、前記方法は、ユーザの眼球運動の発生を、及びユーザの眼球運動の速度を、決定するステップ、を更に含むことがある。少なくとも1つの実施形態では、前記神経疾患を検出するステップは、検出されたユーザの眼球運動に基づく。少なくとも1つの実施形態では、各タスクについて、特徴のセットの値を、前記ユーザの眼球運動に基づいて、決定する。

【0043】

本開示に関する更なる特徴及び効果は、添付の図面と併せて以下の詳細な説明から明らかになるのであろう。

【図面の簡単な説明】

【0044】

【図1】図１は、1つの実施形態による、ユーザの視線位置を決定するための方法を図示するフローチャートである。

【図2】図２は、1つの実施形態による、顔部のランドマークの投影に対する頭部回転の影響を示す。

【図3】図３は、1つの実施形態による、9ピクセルを含むイメージの、3-成分RGBイメージへの分解を図示する。

【図4】図４は、1つの実施形態による、RGBイメージの個々の色チャネルにおける眼の色と強膜との間の、及びそれらのグレースケール等価物間の、コントラストの実例を示す；

【図5】図５は、1つの実施形態による、図１に示される方法を実装するために使用される回帰分析アルゴリズムを図示する概略的なブロック・ダイアグラムである。

【図6】図６は、1つの実施形態による、2つのイメージの、サイズ変更、平坦化、及び連結（concatenation）、を図示する。

【図7】図７は、別の実施形態による、2つのイメージの、サイズ変更、平坦化、及び連結（concatenation）、を図示する。

【図8】図８は、1つの実施形態による、視線位置を決定するためのシステムを図示する概略的なブロック・ダイアグラムである。

【図9】図９は、1つの実施形態による、図１の方法のステップのうちの少なくともいくつかを、実行するように適合化したプロセシング・モジュールを図示するブロック・ダイアグラムである。

【図10】図１０は、ニューラル・ネットワークの人工ニューロンの構造を図示する；

【図11】図１１は、1つの実施形態による、ニューラル・ネットワークの全結合層の構造を図示する。

【図12】図１２は、1つの実施形態による、ニューラル・ネットワークの畳み込み層の構造を図示する。

【図13】図１３は、1つの実施形態による、畳み込みストリームの構造を図示する。

【図14】図１４は、1つの実施形態による、全結合ストリームの構造を図示する。

【図15】図１５は、1つの実施形態による、図１の方法を実装するためのマルチ-層パーセプトロンを使用するアーキテクチャを図示する概略的なブロック・ダイアグラムである。

【図16】図１６は、別の実施形態による、図１の方法を実装するための畳み込みニューラル・ネットワークを使用するアーキテクチャを図示する概略的なブロック・ダイアグラムである。

【図17】図１７は、1つの実施形態による、較正モデルを使用する図１の方法を図示する概略的なブロック・ダイアグラムである。

【図18】図１８は、別の実施形態による、別の較正モデルを使用する図１の方法を図示する概略的なブロック・ダイアグラムである。

【図19】図１９は、別の実施形態による、前記較正モデルが、垂直較正モデル及び水平較正モデルを有する、図１の方法を図示する概略的なブロック・ダイアグラムである；

【図20】図２０は、1つの実施形態による、ユーザの視線位置を決定するためのシステム全体に関する、詳細なブロック・ダイアグラムである。

【図21】図２１Ａ-２１Ｅは、少なくとも1つの実施形態による、較正を実施するためのターゲットを表示する、タブレットの、又は同様のコンピュータ・デバイスの、スクリーンを図示するイメージである。

【図22】図２２Ａ、２２Ｂは、1つの実施形態による、凝視テストのためのターゲットを表示する、タブレットの、又は同様のコンピュータ・デバイスの、スクリーンを図示するイメージである。

【図23】図２３Ａ-２３Ｂは、1つの実施形態による、プロ-サッカード・タスクのためのターゲットを表示する、タブレットの、又は同様のコンピュータ・デバイスの、スクリーンを図示するイメージである。

【図24】図２４Ａ-２４Ｉは、1つの実施形態による、アンチ-サッカード・タスクのためのターゲットを表示する、タブレットの、又は同様のコンピュータ・デバイスの、スクリーンを図示するイメージである。

【図25】図２５は、1つの実施形態による、アンチ-サッカード・タスクのためのV-字形ターゲットを表示する、タブレットの、又は同様のコンピュータ・デバイスの、スクリーンを図示するイメージである。

【図26】図２６は、1つの実施形態による、100%-コントラストの矩形波格子の例を表示する、タブレットの、又は同様のコンピュータ・デバイスの、スクリーンを図示するイメージである。

【図27】図２７は、1つの実施形態による、滑らかな追跡タスクのためのターゲット(初期ターゲット、及び4つの異なる考えられる端のターゲット［それらのうちの1つは、前記初期ターゲットに続く］)を表示する、タブレットの、又は同様のコンピュータ・デバイスの、スクリーンを図示するイメージである。

【図28】図２８は、1つの実施形態による、4つの特徴的な眼振波形を図示するグラフを集めたものである。

【図29】図２９は、1つの実施形態による、サッカディック運動の、典型的な、角度変動対時間、を図示するグラフである。

【図30】図３０は、1つの実施形態による、サッカディック運動の、経験的な、角度変動対時間、を図示するグラフである。

【図31】図３１は、1つの実施形態による、マクロサッカディック振動の、典型的な、角度変動対時間、を図示するグラフである。

【図32】図３２は、1つの実施形態による、眼球粗動の、典型的な、角度変動対時間、を図示するグラフである。

【図33】図３３Ａは、1つの実施形態による、眼球視線-パターン・テストに関連する眼球運動を同定し、最終的にユーザの神経疾患に関連した眼球視線-パターン異常を検出するための方法、を図示するフローチャートである。図３３Ｂは、別の実施形態による、眼球視線-パターン・テストに関連する眼球運動を同定し、最終的にユーザの神経疾患に関連した眼球視線-パターン異常を検出するための方法、を図示するフローチャートである。

【図34A】図３４Ａは、1つの実施形態による、神経疾患に関連した眼球視線-パターン異常を検出するためのスパイラル・タスク方法、のフローチャートである。

【図34B】図３４Ｂは、別の実施形態による、神経疾患に関連した眼球視線-パターン異常を検出するためのスパイラル・タスク方法、のフローチャートである。

【図35】図３５は、1つの実施形態による、前記スパイラル・タスクを実行する場合に表示される遅い時計回りのスパイラルの例である。

【図36】図３６は、1つの実施形態による、ユーザの神経疾患に関連した眼球視線-パターン異常を検出するためのシステムのブロック・ダイアグラムである。

【図37A】図３７Ａは、本開示の1つの実施形態による、神経疾患を、及び神経疾患に関連した眼球視線-パターン異常を、検出するための方法、を図示するフローチャートである。

【図37B】図３７Ｂは、本開示の別の実施形態による、神経疾患を、及び神経疾患に関連した眼球視線-パターン異常を、検出するための方法、を図示するフローチャートである。

【図37C】図３７Ｃは、本開示の別の実施形態による、神経疾患を、及び神経疾患に関連した眼球視線-パターン異常を、検出するための方法、を図示するフローチャートである。

【図38】図３８Ａ、３８Ｂは、本開示の少なくとも1つの実施形態による、オリジナル・イメージの、及び改変イメージの、例を図示する。

【発明を実施するための形態】

【0045】

更なる詳細及び有利なことは、以下に含まれる詳細な説明から明らかになるのであろう。

【0046】

詳細な説明
まず、図３３Ａを参照して、眼球視線-パターン・テストに関連する眼球運動を同定し、ユーザの神経疾患に関連した眼球運動異常を検出するための方法を、以下に説明する。以下のセクションは、それを達成するための様々な詳細を説明する、例えば、セクション２では、視線位置を決定するための方法、セクション３、更にそれ以降では、眼球視線-パターン・テストに関連する眼球運動を同定し、ユーザの神経疾患に関連した眼球運動異常を検出するための方法の詳細を、より詳細に説明する。

【0047】

簡単に述べると、本方法を詳しく説明する前に、図３３Ａは、例示的な実施形態による方法250を示す。その実施形態によれば、前記方法は、以下のステップを含む：

【0048】

ステップ251：表示するためのスクリーンを、及び前記スクリーンの近傍にあるカメラを、含む電子デバイスを提供するステップ、ここで、前記電子デバイスは、前記スクリーン、及び一緒に構築した前記カメラ、の両方を含むことがある、ここで、前記電子デバイスは、以下の中から選択される任意のものを含む：前記カメラを有する前記スクリーンを含む、タブレット、スマートフォン、ラップトップ・コンピュータ、ハンドヘルド・コンピュータ；及び、テーブルトップ・コンピュータ；

【0049】

ステップ252：ユーザの顔部のビデオを受け取るために、前記カメラを用いて撮影しながら、前記スクリーン上に、一連のターゲットを表示することによって、眼球視線-パターン・テストを実施するステップ、ここで、前記眼球視線-パターン・テストは、例えば、眼球運動を検出するステップ、眼球運動のパターンを検出するステップ、又はその両方、を含む；前記眼球視線-パターン・テストは、例えば、凝視タスク、プロ-サッカード・タスク、アンチ-サッカード・タスク、及び視運動性眼振タスク、を含むことがある；

【0050】

任意選択的なステップ253：眼球運動におけるアーチファクト、例えば、瞬き(以下のセクション2で詳述する) 等を、同定しながら、及び除去しながら、好ましくは眼球ごとに、前記ビデオにおいて、経時的に、推定した視線位置を決定するステップ；

【0051】

ステップ254：前記ユーザの顔部のビデオから特徴を抽出するステップ、ここで、前記特徴は、前記ビデオの中の少なくとも1つの眼球の角運動から抽出され、以下のうちの少なくとも1つを含む：矩形波眼球運動、矩形波パルス、眼球粗動、オプソクローヌス、及び眼振の、振幅、振動数、速度、又は方向；並びに、

【0052】

ステップ255：前記ユーザの顔部のビデオ(又は、経時的な推定した視線位置)の中の眼球視線-パターン異常を検出するステップ、これは、実施するべき眼球視線-パターン・テストに関連する眼球運動を同定するステップ、ここで、そのようなテストは、以下のうちの少なくとも1つを含む：眼球固定、プロ-サッカード、アンチ-サッカード、及び視運動性眼振、並びに、前記眼球視線-パターン異常を検出するためのビデオの中で、経時的に、推定した視線位置に、訓練した機械学習アルゴリズムを適用するステップ、を含む。或いは、前記機械学習アルゴリズムは、推定した視線位置の代わりに、ビデオで、訓練されることがある。特徴はまた、エキスパート・システムなどの他のアルゴリズムを使用して、推定した視線位置から抽出されることもある。

【0053】

図３３Ｂは、別の実施形態による、ユーザの神経疾患に関連した眼球視線-パターン異常を検出するための方法260を示す。ステップ261では、表示するためのスクリーンを、及び前記スクリーンの近傍にあるカメラを、含む電子デバイスが提供される。ステップ262では、第1の期間の間、前記スクリーン上に一連のターゲットを表示することによって、及び、第1の期間の間、前記ユーザの顔部のビデオを生成するために、前記カメラを用いて同時に撮影することによって、眼球視線-パターン・テストが実施される。ステップ263では、前記ユーザの顔部のビデオ、及び、第1の期間の間、前記スクリーン上に表示される一連のターゲット、に基づいて、第1の特徴のセットが決定される。ステップ264では、前記眼球視線-パターン異常は、前記ユーザの顔部のビデオに基づいて決定された第1の特徴のセットに基づいて、検出される。

【0054】

少なくとも1つの実施形態では、第1の訓練した機械学習アルゴリズムを前記ビデオに適用することによって、前記第1の特徴のセットを決定することがある。第2の訓練した機械学習アルゴリズムを、第1の特徴のセットに適用し、眼球視線-パターン異常を検出することがある。本出願で後述するように、第2の訓練した機械学習アルゴリズムは、第1の訓練した機械学習アルゴリズムとは異なる。

【0055】

本出願に記載される方法は、例えば、ラップトップ、タブレット、又はスマートフォン、と一体化した、又は動作可能に接続した、ビデオ・カメラなど、可視スペクトルで動作するカメラを用いて実行することがある。

【0056】

セクション1 - 定義

【0057】

機械学習(Machine Learning)：明示的にプログラミングをすることなく、学習する能力を、コンピュータに与える、コンピュータ科学の分野。これを行うために、様々なアルゴリズムが、モデルを訓練することができる方法を定義し、1セットの例を使用して、新しい類似の例から、分類する、又は予測する。

【0058】

アルゴリズム：あるクラスの問題を解決する仕方に関する明確な仕様。機械学習では、そのようなアルゴリズムによって、モデルの一般的な数学的な定式化、並びに前記モデルの一般的な定義に含まれる変数に、実際の値を割り当てるために必要なステップのセット、が提供される。

【0059】

モデル：モデルは、入力と出力との間の関係を記述する複雑な数学的な構成である。例えば、それは、ピクチャと、それがイヌ又はネコ(分類)を含むかどうかとの間の関係、又はこの書類におけるように、人の顔部のピクチャと、スクリーン上の彼らの視線の位置との間の関係、を記述することがある。別段特に設計されていない限り、モデルは決定論的である。つまり、同じ入力が与えられると、常に同じ出力が生成される。

【0060】

回帰分析：回帰分析は、出力が連続変数であるタイプの問題であり、境界があるかないかを問わない。これは，モデルの出力が、可能な出力の有限集合のうちの1つにしかなり得ない分類とは、対照的である。

【0061】

RGB：RGBは、赤の、緑の、及び青の光が様々な方法で一緒に加算され、幅広い色のアレイを再現する色モデルである。

【0062】

SWJ：SWJは、凝視中に生じる矩形波眼球運動サッカードである。本出願では、SWJを、凝視中に発生する水平サッケードで、50msと400msとの間に、第1のサッカードに匹敵する振幅(<0.75度の差)を有する、及び反対方向の、別のサッカードが続くものとして定義する。

【0063】

OSI：凝視中の他のサッカードの混入(SWJの一部ではない全てのサッカード)。

【0064】

SD：標準偏差。

【0065】

CV：平均に対する標準偏差の比である変動係数。

【0066】

BCEA：凝視の二変量輪郭楕円面積(bivariate contour ellipse area of fixation)；1回の凝視トライアルの間の、所与の割合(P)の眼球の位置について、ターゲットに最も近い凝視点を包含する。例えば、BCEAは、68%又は95%であることがある、これは平均の周りの1 SD、又は平均の周りの2 SDに対応する。

【0067】

INO：核間性眼筋まひは、複数の方法で測定することができる；最も簡単なのは、両眼球のピーク速度の比を計算することである。

【0068】

指標を、トライアル・ベースでのデータから抽出する(言い換えれば、指標を、各トライアルの間に収集されたデータから抽出する)。

【0069】

本明細書では、「特徴」は、学習、分類、予測のために計算(決定)され、いくつかのトライアルで得られたデータを平均することによって、眼球運動に適用した指標にわたって統計を実施することによって；即ち、抽出された指標の統計値を決定することによって、取得される。統計値は、例えば、標準偏差、変動係数、最大値等を含むことがある。

【0070】

セクション2 - 視線トラッキングのための、システム及び方法

【0071】

図１は、1つの実施形態による、初期イメージからユーザの視線位置を決定するための方法10を図示する。以下に詳述するように、1つの実施形態では、方法10を、少なくともプロセシング・ユニット、メモリ及び通信ユニットを備えるコンピュータ機械によって、実行する。前記ユーザのイメージを、例えば、スマートフォン、タブレット、ファブレット、ラップトップ、ウェブカメラなどのカメラを備えたコンピュータ機械等、モバイル及び／若しくはポータブル・デバイス、又は前記ユーザのイメージを取得することを可能にする任意の専用デバイス、の中に統合され得るカメラを使用して、撮ることがある。1つの実施形態では、較正プロシージャ（procedure）を実施する必要がある場合、ディスプレイ、例えば、使用されるモバイル及び／又はポータブル・デバイスのディスプレイ、がユーザに提供されるべきである。

【0072】

以下で明らかになるように、いくつかの実施形態では、本方法は、ニューラル・ネットワークを使用して実行される。ニューラル・ネットワークは、受信された入力に対する出力を予測するために、非-線形ユニットの1つ以上の後続の層を使用する機械学習モデルである。都合よく訓練したニューラル・ネットワークを使用することによって、視線位置の決定の精度を大幅に改善することが可能になる。しかしながら、便宜的に実行されるより単純な回帰分析アルゴリズムを、特定の用途のために考慮することがあるが、以下に詳述するように、位置の決定の精度は十分に満足のいくものではないことを、当業者は、理解するであろう。

【0073】

以下の記載では、ユーザの視線位置を決定するための、方法及び関連するシステムを、いくつかの実施形態に従って、簡単な回帰分析アルゴリズムを使用する基本アーキテクチャにおいて最初に説明する。ニューラル・ネットワークを用いるより複雑なアーキテクチャについては、図１５から２０を参照して、後述する。

【0074】

方法10のステップ12では、ユーザの少なくとも1つの眼球の初期イメージを受信する。1つの実施形態では、前記初期イメージは、ユーザの眼球のみを含む。別の実施形態では、受信した初期イメージは、ユーザの2つの眼球を含む。更なる実施形態では、受信した初期イメージはまた、以下に詳述するように、ユーザの眼球に加えて、他の顔部の特徴も含む。例えば、前記初期イメージは、眉、耳、鼻、口等を含むことがある。別の実施形態では、前記初期イメージは、ユーザの顔部全体を含む。

【0075】

ステップ14では、少なくとも1つの色成分を、前記初期イメージから抽出し、対応する少なくとも1つの成分イメージを取得する。1つの実施形態では、2つの色成分を、前記初期イメージから抽出し、2つの対応する成分イメージを取得する。更なる実施形態では、3つの色成分を、前記初期イメージから抽出し、3つの対応する成分イメージを取得する。実際、1つの実施形態では、ユーザの眼球の初期イメージは、赤色チャネル、緑色チャネル、及び青色チャネルを備えたRGB(Red-Green-Blue(赤-緑-青))イメージである。この例示的なRGB例では、単一の色チャネルを選択して、対応する成分イメージを構築する。より具体的には、ステップ12で受信した初期イメージの各ピクセルに関連する10進コードは、赤色値、緑色値、及び青色値、を含む。赤イメージは、初期イメージのピクセルの赤色値のみを考慮することによって生成される、即ち、赤イメージは、初期イメージのピクセルの配列と同じピクセルの配列を含むが、前記ピクセルの緑色値及び青色値は考慮されず、その結果、赤色値の10進コードのみが、各ピクセルに関連付いたままとなる。前記赤イメージは、初期イメージと同じイメージを表すが、赤色のみである。同様に、緑イメージは、初期イメージのピクセルの緑色値のみを考慮することによって生成される、即ち、緑イメージは、初期イメージのピクセルの配列と同じピクセルの配列を含むが、前記ピクセルの赤色値及び青色値は考慮されず、その結果、緑色値のみが各ピクセルに関連付いたままとなる。青イメージは、初期イメージのピクセルの青色値のみを考慮することによって生成される、即ち、青イメージは、初期イメージのピクセルの配列と同じピクセルの配列を含むが、前記ピクセルの緑色値及び赤色値は考慮されず、その結果、青色値のみが各ピクセルに関連付いたままとなる。

【0076】

従って、この実施例では、ステップ14の出力は、3つのRBG成分イメージ、即ち、ユーザの眼球の赤イメージ、眼球の緑イメージ、及び眼球の青イメージ、で構成される。

【0077】

同じ抽出又は分解プロセスが、例えば、YCbCr、HSV、又はHSL等の、他の色空間にも適用され得ることを理解されたい。しかしながら、RGBの色空間は、典型的には、色が、デジタル・カメラによってキャプチャされ、且つコンピュータ内に保存される、色空間であるので、RGB空間が好ましいことがある。実際に、他の色空間を使用するとすれば、そのRGB値を、選択した色空間に変換するためのプロセシング・ステップを更に必要とする。本出願に記載されるように、本方法は、色成分（例えば、RGB又は他の実質的に同等の色成分等）を使用して収集したイメージに、適用可能である。しかしながら、前記方法を、目に見えない光成分を含む光条件下であっても（例えば赤外イメージを使用して）、適用することができる。本出願に記載される方法は赤外プロジェクター及びカメラを必要としないが、前記方法を、可視スペクトルの外の成分を含むイメージに適用することができる。しかしながら、赤外光条件下では、強膜と虹彩との間の差異を、両方がそのイメージの中で灰色に見えるので、同定することが非常に困難であり、それ故に、赤外線を使用することは特に有益ではないことに留意されたい。

【0078】

ステップ16では、少なくとも1つの成分イメージの各々に対する各々の視線位置が決定される。以下に詳述するように、前記視線位置を決定するための、任意の適切な方法又はアルゴリズムが、使用され得ることを理解されたい。結果として、3つのRGB成分イメージを用いた例では、赤色成分イメージについて第1の視線位置が決定され、緑色成分イメージについて第2の視線位置が決定され、青色成分イメージについて第3の視線位置が決定される。単一の成分イメージが使用される実施形態では、単一の視線位置がこのステップ16で決定される。それぞれの視線位置の代わりに、それぞれの内部表現を取得するために使用される、それぞれの一次ストリーム(例えば、畳み込み層を有する、より大きなニューラル・ネットワークのそれぞれの一部など)によって、成分イメージを、代わりに個々に処理してもよい。内部表現とは、ニューラル・ネットワーク内の、出力層ではないニューラル・ネットワークの所与の層の、出力である。

【0079】

ステップ18では、初期イメージの中の推定した視線位置を、少なくとも1つの成分イメージの各々に関する、それぞれの視線位置に従って、決定する。単一成分イメージを使用する実施形態では、前記推定した視線位置は、ステップ16で決定された単一のそれぞれの視線位置に対応する。

【0080】

少なくとも2つの色成分を初期イメージから抽出する実施形態では、以下に記載されるように、任意の適切な組み合せ方法を使用して、決定された少なくとも2つのそれぞれの視線位置を、重み係数を使用して一緒に組み合わせて、推定した視線位置を取得する。RGBイメージを使用する例では、3つのそれぞれの視線位置を、重み係数を使用して一緒に組み合わせて、推定した視線位置を取得する。

【0081】

このようにして得られた推定した視線位置を、次に、ステップ20で出力する。例えば、前記推定した視線位置を、更なるプロセシングのために、メモリの中に保存することがある。

【0082】

初期イメージは、単一の眼球又は両方の眼球の表現を含むことがある、ということは理解されるべきである。また、初期イメージは、2つのイメージを含む（即ち、第1の眼球の表現を含む第1のイメージ、及び第2の眼球の表現を含む第2のイメージ、を含む）ことがあるということも、理解されるべきである。

【0083】

初期イメージが、眼球に加えて、少なくとも1つの顔部の特徴を追加的に含む実施形態では、方法10は、初期イメージを切り取るステップ［その結果、切り取られたイメージは、初期イメージのサイズに対して、小型化したサイズを有する、及び1つ又は2つの眼球の表現だけを含む（例えば、2つの切り取られた眼球の領域は、一緒に合わせることによって合成イメージを形成し、それ故に、鼻の上部領域が効果的に取り除かれる）］を、更に含む。初期イメージを切り取るために、眼球を、初期イメージ内で、事前に同定し、抽出する。初期イメージ内の眼球を同定するために、任意の適切な顔部の特徴を認識する方法が使用され得ることを理解されたい。例えば、これは、当技術分野で知られているように、初期イメージ内で、各眼球の輪郭を同定することによって、各眼球の、角膜縁(即ち、強膜-虹彩境界)、並びに／又は虹彩及び瞳孔、の位置を決定することによって、行われることがある。イメージ内の眼球を同定するための、任意の適切な方法が使用され得ることを理解されたい。

【0084】

前記初期イメージ内で、眼球が同定されると、前記眼球のみを含むイメージの一部が初期イメージから抽出され、切り取られたイメージが作成される。前記切り取られたイメージのサイズは、変化することがあり、その結果、その切り取られたイメージは、例えば、初期イメージのサイズよりも小さいサイズを依然として有しながら、眼球よりも多くを含むことがあることを、理解されたい。

【0085】

1つの実施形態では、制約付きローカル・モデル(Constrained Local Model (CLM))方法を、初期イメージ内の眼球を同定するために、使用する。この方法は、右眼球の内部角又は鼻梁のような具体的な顔部の特徴を認識するようにそれぞれ訓練した、多数のエキスパート検出器、を使用する。顔部のイメージが与えられると、これらのエキスパートの各々は、それらが検出するように訓練された特徴の位置を、推定する。次いで、位置を適切に繋いで、前記顔部の解剖学的な特徴の輪郭を生成する。一般的に検出される特徴としては、眼球、眉、鼻梁、唇、及び顎、が挙げられる。時には、耳が検出されることもある。互いに対する異なる点の位置を使用することによって、顔部の3次元モデルを構築することができる。

【0086】

1つの実施形態では、注目の領域（即ち、眼球）を同定するために、初期イメージを切り取ることによって、眼球トラッキング・アルゴリズムに供給されるデータのシグナル対ノイズの比を改善させること(特徴抽出)、並びに計算負荷を減少させること(次元削減)、及びデータを保存するためのメモリ要件を減少させること、が可能になる。

【0087】

1つの実施形態では、初期イメージから眼球を抽出することによって、入力空間を大幅に減少させることが可能になり、関連する、非-冗長な情報のみを含む。

【0088】

例えば、理想的な西洋人の男性の顔部の割合を、及びユーザの顔部がフレーム内に完全に内接することを、仮定すると、眼球は、初期イメージの、水平空間の約40%、及び垂直空間の約7%、を一緒になって表すことになる。これは、両方の眼球のイメージが、初期イメージのピクセルの約2.8%を、一緒になって表すことを意味する。本利点は、ユーザの顔部がイメージのフレームよりも小さい場合、更に大きくなる。これによって、以下に更に詳述するように、ストレージに対する要求を、及び以下に記載する回帰分析問題の計算の複雑さを、減少させることが可能になる。

【0089】

更なる実施形態では、このイメージにおけるユーザの頭部のポーズ(pose)又は姿勢(attitude)を決定するために、少なくとも1つの追加的な顔部のランドマークを、初期イメージから抽出する。この実施形態では、少なくとも1つの追加的なランドマークをそれぞれの視線位置と組み合わせて、推定した視線位置を決定する。以下で明らかになるように、そのような実施形態によって、本方法を、頭部のポーズ(pose)に対して、より不変にすることが可能になる。

【0090】

頭部のポーズ(pose)は、カメラに対する頭部の位置として定義される。これは、並進及び回転を含む。カメラから得られた初期イメージから測定する場合、並進は、顔部の中心と初期イメージの中心との間の距離として、測定される。回転は、多くの方法で表現することができ、人間にとって、そのうち最も直感的なものは、頭部のオイラー角、ピッチ(pitch)(頭部の縦揺れ)、ヨー(yaw)(頭部の横揺れ)、及びロール(roll)(頭部の傾き)である。

【0091】

前述のように、最新の赤外視線トラッキング方法及びシステムは、典型的には制御された光源を使用して、頭部に対する眼球の回転を推定し、次いで、視線位置の推定を生成する。従って、そのようなシステムは、頭部のポーズ(pose)に対して、本質的に不変であると言うことができる。

【0092】

反対に、上述の図１の方法は、相対的な眼球回転を直接的に計測しないので、頭部のポーズ(pose)不変とは言えない。前述のように、視線位置を推定するための最も関連する特徴は、角膜縁の位置、又は強膜と虹彩との間の境界、及び眼球の輪郭、であることが予想される。これは、頭部が固定され、視線の位置が変化するときに、変化するが、視線が固定され、並進又は回転のいずれかによって頭部の位置が変化するときにも、変化する。

【0093】

このように、1つの実施形態では、より正確な視線位置を推定するために、頭部のポーズ(pose)に関するいくつかの情報が、前記方法の入力データに追加される。全ての特徴がユーザの顔部のイメージから抽出されなければならないので、このための明白な候補となる特徴のセットは、頭部が動くにつれて及び回転するにつれて、互いに対する相対的な位置が変化する顔部のランドマークのセットである。これらの特徴から、例えば、前記イメージ上の凝視点と具体的な顔部のランドマークとの間の距離を測ることによって、又は前記イメージ上の凝視点と顔部のランドマークのセットの重心との間の距離を測ることによって、頭部の並進を、容易に決定することができる。

【0094】

頭部のオイラー角は、推定がはるかに困難であり、顔部のランドマークの2D座標を、ユーザの顔部の3Dモデル上に投射することを必要とする。使用するモデルがユーザの顔部の完全なモデルであると仮定すると、角度の不確定性は、顔部のランドマークの位置の不確定性と同じになる。本方法を、一般の人々による使用のために展開することを意図しているので、そのような仮定をすることはできず、代わりに人の顔部に関する少数のモデルを使用する必要があり、その結果、前記オイラー角は更に不確実になる。

【0095】

機械学習アルゴリズムを訓練する文脈では、理想的な特徴のセットは、問題を解決するために必要な情報の全て、且つ問題を解決するために必要な情報のみ、を含むべきである。顔部のランドマークの座標をオイラー角に変換することによって、顔部のモデルのトポロジーに関する情報は、特徴に追加される。これは、データセットを通して比較的不変であるが、その不確実性が増加することによって特徴の品質は低下する。これらの理由から、顔部のランドマークのセットのイメージ空間における座標は、頭部のポーズ(pose)の不変性を我々の方法に導入するための特徴として使用するように、選択されている。

【0096】

そのような特徴は、眼球イメージの中に、すでに自然に現れることに留意されたい。実際、頭部がカメラに対して移動し、回転すると、眼球の見かけの高さ及び幅も変化する。しかしながら、自然なビューイング(viewing)条件下では、カメラに対する頭部の角度が30度（30度では、ビューイング(viewing)は不快なものとなる）を超えることはほとんどない。これは、眼球の見かけの幅及び高さが、それらの最大値の15%を超えてほとんど変化しないことを意味する。これらの測定における不確実性を考慮すると、これにより、強い頭部のポーズ(pose)の不変性がもたらされる可能性は低い。

【0097】

頭部のポーズ(pose)をより良好に推定するために、1つの実施形態では、ある特定の顔部のランドマークのXY座標を、これらのランドマークが3D空間内の同じ平面内に存在しないという条件で、代わりに使用する。この効果を図２に図示する。ここで、F₁、F₂及びF₃は、上部から見た、それぞれ、左眼、右眼、及び鼻根点の位置を表すことがある（前記鼻根点は、前頭骨の鼻側部分と鼻骨をつなぐ前頭鼻縫合部の最も前方の点として定義され、顔部では眼と眼の間、鼻梁のすぐ上の窪んだ部分として見える）。本出願では、2つの特徴を選択することができる：P₃、ビューイング(viewing)面上の眼球の間の距離の投射の長さ、又はP₁-P₂、左眼と鼻根点との間の距離の投射の長さと、右眼と鼻根点との間の距離の投射の長さとの間の差。それらの特徴の値と頭部の角度Θとの間の関係は、式1及び2によって与えられる。

【数1】

【0098】

P₃よりもP₁-P₂を使用することの1つの直接的な利点は、P₁-P₂が回転方向についての情報を保存することである。実際、P₃の値は、自然な頭部の角度について、必ず正であり、P₁-P₂はある方向では正であり、他の方向では負である。加えて、良好な特徴の重要な態様は、前記特徴の両端間の大きさの差である。言い換えれば、良好な特徴は、その最小値とその最大値との間の差を最大化するはずである。この例では、これは、D1<Hである場合に当てはまり、Hは、顔部の平面に対して垂直な鼻根点と眼との間の距離であり、D1は、顔部の平面における鼻根点と眼との間の距離である。この例では、ユーザの顔部は対称であると見なされるため、D₂= 2D₁となる。従って、明らかであるように、顔部のランドマークを適切に選択すると、これらの特性を確保にすることができ、2D平面内に存在しない特徴を選択することが、頭部のポーズ(pose)の不変性にとってはるかに興味深いものになる。

【0099】

オイラー角よりも顔部のランドマークの座標を使用する別の利点は、顔部のランドマークの座標は、顔部とカメラとの間の距離に関する情報を含むが、オイラー角は、それを含まないことである。

【0100】

最後に、前記方法を実施するために選択したアルゴリズム及びアーキテクチャによっては、この情報は、モデルが良好に機能するために厳密には必要とされないことに留意されたい。しかし、省略された場合、ユーザが自分の頭部を動かして較正中の典型的な位置から離すと、パフォーマンスが急速に低下することが予想され、これについては後で詳述する。

【0101】

図３は、カラー・イメージ30を、そのRGB成分へと分解することの例を示す。イメージ30は、眼球を含む限り、元の初期イメージ、又は切り取られたイメージ、であってもよいことを理解されたい。

【0102】

イメージ30は、それぞれが異なる色を有する9つのピクセルを含む。各ピクセルは、それに関連付けられた赤色値、緑色値、及び青色値、を有する、これにより、イメージ30のRGB成分32、34、及び36が形成される。赤色成分32は、イメージ30の9つのピクセルの赤色値のみを含む。緑色成分34は、イメージ30の9つのピクセルの緑色値のみを含む。青色成分36は、イメージ30の9つのピクセルの青色値のみを含む。次いで、RBG成分を単離して、赤色値のみが関連付けられた9つのピクセルを含む赤イメージ40と、緑色値のみが関連付けられた9つのピクセルを含む緑イメージ42、及び青色値のみが関連付けられた9つのピクセルを含む青イメージ44、を生成する。

【0103】

各RGB成分イメージは、グレースケール・イメージに対応することを理解されたい。実際に、単一-カラー・イメージは、グレースケール・カラー・イメージなどの2次元マトリックスであるので、新しい単一カラー・イメージ、即ち、RGB成分イメージは、色チャネルを表すにもかかわらず、グレースケール・イメージに対応する。従って、色成分のグレースケーリングは、単に分解によるものである。

【0104】

典型的なコンピュータ・ビジョン・アプリケーションでは、イメージは、通常、3つの層を含み、各々が前記イメージのRGB成分のうちの1つに対応する、MxNx3三次元マトリックスとして供給されることを理解されたい。このマトリックスは、典型的には、ネットワークの第1層に供給され、全体として一緒に処理され(即ち、3つの層で、同じ深さを有するカーネル又はフィルターを用いる)、RGB成分の各々に関連する情報は、全てのデータが後続の層の中に混合されるネットワークの次の層において、「失われる」。そのようなケースでは、ネットワークの内部表現において、1つの色成分のみに特異的に関連する情報を同定することは不可能である。なぜなら、3次元マトリックスに適用されるネットワークの第1層で始まる時に、全てがすでに混合されているからである。

【0105】

代わりに、本開示では、前記MxNx3マトリックスを、MxNのサイズ（又はMxNx1）の3つの異なった2次元マトリックスに分割し、各々を、ニューラル・ネットワークのそれ自体の一部分によって個々に処理し（即ち、それ自体の別個の一次ストリーム）、その後、それ自体の別個の一次ストリームの数層後に融合される。例えば、3つのMxNx1マトリックスの各々は、2つ以上の層を含む、それ自体の個々の及び別個の一次ストリーム（ニューラル・ネットワークの一部）に供給される。例えば、色成分イメージの各々についてのこれらの個々の及び別個の一次ストリームは、融合する前に、2つ又は3つの畳み込み層、及び2つ又は3つの全結合層、を含むことがある。これにより、単一の色成分イメージの中にある情報は、個々に十分に解析されることが確実になる。各々の色成分イメージについて、それぞれの一次ストリームの、個々の、及び別個の出力は、ネットワーク全体の出力（訓練可能）と混同されるべきではない。むしろ、その層におけるネットワークの内部表現と呼ばれる（後続のプロセシングのための特徴融合と呼ばれるステップで融合される）。

【0106】

個々の色成分イメージが、それ自体の別個の一次ストリームに従って処理されることを確実にすることには、長所がある。実際、状況に応じて、色成分のうちの1つ（例えば、RGB色空間においては、R、G、又はBのうちの1つ）が、他のものよりも適切であることがある、又は有益であることがある、ことを経験的に見出した。これにより、以下に説明するように、精度を向上させることができる。別個の一次ストリームを並列に適用した後、3つの色成分イメージから（又はより一般的には、少なくとも1つの色成分イメージから）得られた全ての内部表現は、照明情報及び顔部のランドマーク（又は補助ストリームの後のその内部表現）と融合される。色成分イメージのうちの1つがより適切である条件は、環境中の照明情報に経験的に依存する。あらゆる状況において、他よりも適合した単一の色成分は存在しない。従って、前記ニューラル・ネットワークは、（各々の、個々の、及び別個の一次ストリームの最後の）各々の色成分イメージと、（補助ストリームを経ることもある）照明情報との間の融合、を実施することによって、照明環境に適合する。これを行うことによって、前記ニューラル・ネットワークは、実際の照明状況に自動的に適合し、この特定の状況において最も有用な色成分を、前記ネットワークの後続の層（即ち、内部ストリーム、これは、ニューラル・ネットワーク・ダウンストリームの一部の融合層である）を通して演算を更に実施することによって使用する。1つの実施形態では、周囲光における眼球トラッキングのための最も関連する特徴は、前記眼球の輪郭に対する、強膜-虹彩境界の、又は角膜縁の、位置であることがある。従って、強膜と虹彩との間のコントラストがより良好であることによって、この境界をより良好に定義することが可能になり、それ故に、より堅牢な眼球トラッキングの、方法又はアルゴリズム、が可能になる。異なる眼の色は、異なる量の赤色、緑色、及び青色の光を反映している。このため、角膜縁の同定は、ユーザの眼の色及び周囲の照明状態、に依存することがある、と予想される、そして、上述の理由により、前記ニューラル・ネットワークは、訓練を受けて、特定の色成分イメージ（又はその複数）に由来する内部表現を、同定して使用する、そのために、強膜と虹彩との間のエッジ、及び強膜と眼球の輪郭との間のエッジは、特定の光源値のもとでより容易に同定され、前記システムに供給され、融合層での成分イメージの内部表現と組み合わされる。前記イメージをそのRGB成分に分解することによって、得られるイメージの少なくとも1つは、強膜と虹彩との間のコントラストがより良好になる。従って、ユーザの眼の色、及び周囲光の温度に応じて、3つのRGB成分イメージのうちの1つが、角膜縁の最良のコントラストを提供するはずとなる。更に、我々は、色チャネルの1つは、等価なグレースケール・イメージにおけるよりも、常に高いコントラストを有する、と仮定する。これは、図４に示されており、その中で、各種照明条件下での異なる眼の色の間のコントラストが、RGB色チャネルのそれぞれについて、及び等価なグレースケール値について、図示されている。各眼の色と照明との組み合わせについて、全ての色チャネル間の最大のコントラストは、グレースケールの場合よりも、常に大きい、ということに言及することは、価値がある。

【0107】

どのチャネルを優先するかを選択するタスクは、周囲の照明条件と眼の色との組み合わせが無限に存在するので、自明なものではない。1つの実施形態では、回帰分析アルゴリズムを使用する。カラー・イメージをグレースケールに変換することができるが、又は色チャネルを互いに連結して同じパイプラインで処理することができるが、これによって色チャネル間のこれらの差異を活用することは可能にならない。この理由のため、3つの色チャネルを、別々に処理し、次いで、決定又は特徴レベルで融合し、最終的に、以下で説明するように、光源値などの以前に計算されたデータを更に使用する。

【0108】

各々の色チャネルを別々に処理するための別々のストリームを有することは、モデル／アルゴリズムのパフォーマンスにとって有益であると考えられるが、3つの色チャネル全てを含む必要はない。実際、単一チャネル・ストリームの融合が、深層学習モデルのケースでは過度に単純化されているが、不正確ではない各々のストリームの加重和を通して行われることを考慮すると、1つ以上の色チャネルを省略することは、加重和におけるこれらのチャネルに適用される重みを0に設定することになる。2つのチャネル、又は1つのチャネル、又は実際にはカラー・イメージのグレイスケール表現、を使用するだけのモデルは、1つ又は2つのプロセシング・ストリームを本質的に無視する、特殊なケースとして見ることができる。

【0109】

1つの実施形態では、前述のように、3つの成分イメージの各々の視線位置の決定を、回帰分析アルゴリズム／方法を使用して、実施する。例えば、線形回帰分析、通常の最小二乗、ディシジョン・ツリー回帰分析（decision tree regression）、及び／又は人工ニューラル・ネットワーク、を使用することがある。

【0110】

更なる実施形態では、推定した視線位置の決定を、回帰分析方法又は回帰分析アルゴリズムを使用して、実施する。例えば、線形回帰分析、通常の最小二乗、ディシジョン・ツリー回帰分析（decision tree regression）、及び／又は人工ニューラル・ネットワーク、を使用することがある。

【0111】

回帰分析アルゴリズムは、通常、同じ訓練プロシージャ（procedure）に従う。本明細書のために、入力をXと命名する、推定値をY^と命名する、及びターゲットをYと命名する。本事例では、Xはユーザの眼球の初期イメージである、及びY^は回帰分析方法によって生成されるユーザの視線の位置の推定値である、及びYはユーザの視線の実際の位置である。

【0112】

前記訓練プロシージャ（procedure）によって、XとYとの間の数学的関係を近似し、XからY^を生じる、モデルF(X)が作成される。言い換えれば、

【数2】

前記訓練プロシージャ（procedure）のゴールは、任意の所与のXについての、YとY^との間の誤差を最小化するように、この数学的関係を調整することである。

【0113】

線形回帰分析の場合、F(X)は、以下のように表される：

【数3】

【0114】

ここで、Xjは、入力ベクトルXのj番目の特徴である、Wjは、その特徴に関連する重みである、及びBは、線形回帰分析モデルのY切片、即ちバイアスである。このケースでは、訓練プロシージャ（procedure）のゴールは、予測誤差を最小化するように、重み及びバイアスを調整することである。

【0115】

1つの実施形態では、回帰分析アルゴリズムはまた、ハイパーパラメータを有し、このハイパーパラメータは、訓練プロシージャ（procedure）に影響を与え、それ故に、最終モデルに影響を与え、これもまた最適化されなければならない。線形回帰分析に関する本例では、ハイパーパラメータは、前記方程式にバイアス項を含めるかどうか、を決定する。

【0116】

ハイパーパラメータ最適化は、データセットを2つの部分、即ち訓練セット及び検証セット、に分割することを伴う。訓練の前に、探索するべきハイパーパラメータに関する可能な値を制限する、ハイパーパラメータ探索空間が定義される。値の各セットについて、上述の訓練プロシージャ（procedure）が完了し、訓練したモデルのパフォーマンスが検証セットから得られる。最良のパフォーマンスをもたらしたハイパーパラメータ値のセットは、最終的に、最終モデルとして保持される。

【0117】

方法10のステップ18で説明したように、3つのRGB成分イメージについて決定されたそれぞれの視線位置は、一緒に組み合わさって、推定した視線位置を提供する。様々な組み合わせ方法が使用され得ることを理解されたい。

【0118】

1つの実施形態では、推定した視線位置は、3つのRGB成分イメージについて決定されたそれぞれの視線位置に関する、重み付けをした平均に対応する：

【数4】

ここで、Wcは、各々のRBG成分cに関連する重み係数である。

【0119】

1つの実施形態では、前記重み係数は、各々の色チャネルがカラー・イメージにどれだけ寄与するか、に関する尺度を使用して、決定される。

【0120】

例えば、前記重み係数は、色チャネルの各ピクセルの値を合計し、その結果を前記イメージ内の全てのピクセルの合計で割ることによって、各色チャネルの相対的寄与を計算することによって、決定されることがある。1つの実施形態では、前記重み係数を計算するためのそのような方法は、簡単で、計算が速く、光の強さに対してかなり不変である。実際、環境照明の強度を、低下させる又は増加させることは、ピクセルが飽和し始める点まで、全てのチャネルにおける全てのピクセルの値を、同じ係数だけ、低下させる又は増加させる。1つの実施形態では、各々の色チャネルの相対的寄与を表す3つの値は、重み係数Wcに対応する。

【0121】

別の実施形態では、3つのRGB成分イメージについて得られた3つのそれぞれの視線位置を組み合わせるために、更なる回帰分析アルゴリズムに使用することがある。前記更なる回帰分析アルゴリズムの入力は、各々の色チャネルの相対的寄与を表す3つの値、及び3つのRGB成分イメージについて得られた3つの視線位置、であることある、これにより、訓練を通して、周囲光と色チャネル寄与との間の関係が近似される。

【0122】

先に述べたように、改善された視線位置の推定において、3つのRGB成分イメージについて得られた、3つのそれぞれの視線位置を、初期イメージの各々の色チャネルの相対的寄与を表す光源値に応じて、更に組み合わせることがある。

【0123】

1つの実施形態では、光源値を、Yang, K. F., Gao, S. B., & Li, Y. J. (2015); Efficient illuminant estimation for color constancy using grey pixels; In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 2254-2263)において提案された方法を用いて、決定することがあるが、他の方法を使用することもある。例えば、先に説明したように、色チャネルの全てのピクセルの値を合計し、その結果を前記イメージ内の全てのピクセルの合計で割ることによって、各色チャネルの相対的寄与を計算することが考えられる。

【0124】

当業者には明らかであるように、色域に制約のある光源推定（Gamut Constrained Illuminant Estimation）及びグレー・ピクセルの光源-不変量測定（Grey Pixel Illuminant-Invariant Measure）などの他の方法も使用することができる。

【0125】

光源値が決定されると、それらを、それぞれの視線位置と組み合わせて、初期イメージにおける視線位置の推定を決定する。

【0126】

図５は、1つの実施形態による、図１に示される方法10を実行するために使用される回帰分析アルゴリズムを示す。3つのリグレッサ（regressor）は、それぞれがユーザの眼球のフル・カラー・イメージの別の色チャネル上にある、単一のチャネルのリグレッサ（regressor）として、訓練される。次に、それらの決定は、3つのチャネル全てからの予測、及び前記イメージに対する各々の色チャネルの相対的寄与、を入力として、予測融合とも呼ばれる、第4のリグレッサ（regressor）によって結合される。

【0127】

この実施形態では、4つの回帰分析アルゴリズムを、単一チャネル・リグレッサ（regressor）としてテストする、これらは以下のパラメータを考慮して適切であると考えられた：小さなサイズの初期データセット、低いメモリ要件、及び比較的低い訓練時間。これらのアルゴリズムは：リッジ・リグレッション(Ridge Regression)、サポート・ベクトル・マシン(Support Vector Machine (SVM))、極めてランダム化されたツリー(Extremely Randomized Trees (ETR))、及びElasticNet、であった。

【0128】

訓練に使用されるイメージ・データベースを、ボランティアから（このボランティアは、コンピュータ・スクリーン上の13個の所定の十字を見るように求められる）、収集する。各十字は次々に現れ、3秒間、見せた。対象には、そのターゲットを見つけるために、最初の1秒が与えられた。次の2秒間、前記対象の顔部及び周囲の10個のイメージを、カメラを用いてキャプチャし、モバイル・デバイスの正面カメラから得られたイメージと、同様のイメージを得た。その後、前記ターゲットは消失し、次のターゲットが出現した。十字毎に10個のイメージをキャプチャし、瞬きのイベントの中で使用可能な情報を提供した。

【0129】

訓練に使用されるデータセットを構築するために、対象の右眼及び左眼を含むイメージを、顔部特徴認識アルゴリズムを使用して、初期イメージから切り取って、初期イメージにおける眼及び眉の位置を決定した。この情報を、各眼球の境界ボックスを定義するために使用し、その後、眼球を切り取るために使用した。これらの2つの眼球イメージを、次いで、イメージ獲得時のスクリーン上の十字の中心の位置を表す座標の(X, Y)セットに関連付けた。

【0130】

ここで図６を参照すると、この実施形態で使用されるアルゴリズムは、固定されたサイズの1次元マトリックス（即ち、ベクトル）のみを入力として受け入れるので、眼球イメージを、それらが使用されることができるようになる前に、サイズ変更をし、平坦化する必要がある。切り取られた眼球のイメージがフレーム間で同じ大きさであること、又は互いに同じ大きさであること、は保証されるものではないため、サイズ変更は必須であった。処理を簡略化するために、正方形の切り取りを使用し、両方のイメージを25×25ピクセルになるようにサイズ変更した。このサイズは、許容可能な解像度の損失とサイズの増加との間の妥協点として、経験的に選択した。次いで、前記イメージは、ピクセルの総数を保ちながら、1ピクセルの高さとなるように、平坦化される。最後に、前記イメージを連結して、2倍のピクセル数を有する単一のイメージを生成する。最後に、前記イメージを連結して、2倍のピクセル数を有する単一のイメージを生成する。このイメージは、単一色リグレッサ（regressor）への入力である。

【0131】

再整形し、連結し、及び平坦化した眼球イメージは、眼球トラッキング・システムを訓練するのに充分であると考えられるが、前記システムは頭部の運動に非常に敏感であることが考えられる。この問題を回避するために、1つの実施形態に従って、及び図7に示すように、(X, Y)の顔部のランドマークの座標のベクトルも眼球ベクトルに連結して、アルゴリズムへの入力を形成することもできる。1つの実施形態では、8つの顔部のランドマークのXY座標は、サードパーティの顔部のランドマーク検出アルゴリズムを使用して、読み取られる。これらの座標は、16個の値のベクトルに平坦化される。図６に記載されたプロセシング・ステップの後、眼球ベクトルは、個々の色チャネルに分離される。これらのベクトルの各々を、次いで、顔部のランドマーク・ベクトルのコピーと連結する。結果として得られる3つのベクトルを、最終的に、単一チャネル回帰分析アルゴリズムへの入力として使用する。

【0132】

訓練の前に、考慮中の全てのアルゴリズムに対して、可能なハイパーパラメータ値の探索空間を定義した。次いで、モデルを訓練し、各チャネルについて、各アルゴリズムについて、及び関連するハイパーパラメータの各セットについて、テストした。モデルのパフォーマンスを評価するために使用したパフォーマンス指標を、平均絶対誤差(Mean Absolute Error (MAE))及び決定係数R2とした。

【0133】

前記MAEは、推定値とターゲット値との間の平均距離である。この場合、推定値とターゲット値は、二次元座標のセットであるため、ユークリッド距離は、距離指標であった。

【0134】

R2は、前記モデルによって、将来の値が、どの程度正しく予測可能であるかを示す指標である。値は、典型的には0から1までの範囲である。1という値は、考えられる任意の入力値に対するターゲット値をもたらす、完全な予測力を有するモデルを表す。0という値は、入力値にかかわらず、常に同じ値を出力する恒常モデルを表す。モデルは任意選択的に不良となることがあるので、値は負の値に及ぶ可能性がある。

【0135】

各々の色チャネルについて、最高のR2を達成したモデルを、最終モデルとして保持した。このモデルを訓練するために使用したハイパーパラメータを、将来の使用のために保存した。

【0136】

1つの実施形態では、単一チャネル・リグレッサ（regressor）のために決められたアーキテクチャは、リッジ・リグレッサ（regressor）（Ridge Regressor）とSVMとの組み合わせであり、それらの出力を平均化した。テストをすると、これらの2つのアルゴリズムは、同じ大きさの相補的な間違いをすることが、示された。即ち、一方が、一定量だけ、視線位置を過大評価した場合、他方は、実質的に同じ量で、視線位置を過小評価した。それらの予測を平均化することによって、それらの間違いは平均化され、それ故に、モデルはより正確になった。

【0137】

予測融合、即ち、それぞれの視線位置に基づいて推定した視線位置を決定するために、線形回帰分析に加えて、上記回帰分析アルゴリズムの全てをテストした。このリグレッサ（regressor）に対する入力空間の次元性が非常に低いため、線形回帰分析を、候補として追加した。実際、前記入力は、3つの単一色リグレッサ（regressor）全ての2次元出力、並びに3つの色チャネル全ての相対的寄与から構成され、合計9次元であった。

【0138】

より複雑な回帰分析アルゴリズムを使用することによる有意な利得はなかったので、モデル探索及びハイパーパラメータ最適化のための単一色リグレッサ（regressor）と同じアプローチに従って、線形回帰分析アルゴリズムを決めて色補正を実施した。従って、組み合わせるために使用した方法は、式5に記載される上述の方法であり、ここで、Gは、最終的な視線推定値である、Wcは重みである、Icは特定の色チャネルについての光源値である、及びGcは、特定の色チャネルについての視線推定値である。

【数5】

【0139】

重み係数Wcを決定する方法は、前述のように、各色チャネルの相対的寄与を計算すること（即ち、所与のチャネルに対する各ピクセル強度の合計を、各チャネルに対する各ピクセル強度の合計で割ること）、によるものである。

【0140】

これらの初期アルゴリズムは、非常に迅速に訓練されるが、インクリメンタル学習をすることができず、これは、前記モデルが訓練されるデータセットのサイズを厳しく制限し、従って、一般化する能力を制限する。テストによれば、応用には恒常的に較正することを必要とし、1人のユーザで較正することによって得られた知見を、多数のユーザのセットに上手く拡張することができないことが示された。これらの理由から、図１５から２０を参照して以下に詳細に説明するように、畳み込みニューラル・ネットワークは、こうした問題に特によく適しているように見えるので、所与の応用、特に人工ニューラル・ネットワークには、インクリメンタル学習をすることが可能な機械学習アルゴリズムが好ましい可能性がある。

【0141】

1つの実施形態では、上述の方法10は、コンピュータによって実行されたときに方法10のステップを実施する、コンピュータ実行可能な命令を保存するコンピュータ可読メモリを含むコンピュータ・プログラム製品として具現化することがある。

【0142】

1つの実施形態では、上述の方法10は、データ受信及び送信の少なくとも一方のための通信ユニット、メモリ、及び方法10のステップを実行するように構成された少なくとも1つのプロセシング・ユニット、を含むシステムとして具現化することがある。

【0143】

ここで図８を参照すると、1つの実施形態による、初期イメージの中のユーザの視線位置を決定するためのシステム80が、ここで説明される。前記システム80は、抽出ユニット82と、視線位置決定ユニット84、及び視線位置推定ユニット86、を備える。

【0144】

抽出ユニット82は、上述したように、ユーザの少なくとも1つの眼球の初期イメージを受信し、初期イメージの少なくとも1つの色成分を抽出して、対応する少なくとも1つの成分イメージを取得するように構成される。1つの実施形態では、抽出ユニット82は、初期イメージの少なくとも2つの別個の色成分を抽出して、少なくとも2つの対応する成分イメージを得るように構成される。更なる実施形態において、抽出ユニット82ユニットは、初期イメージの3つの別個の色成分を抽出して、3つの対応する成分イメージを取得するように構成される。1つの実施形態では、抽出ユニット82は、前述したように、初期イメージの3つのRGB成分の各々を抽出するように構成される。更なる実施形態では、抽出ユニット82は、上述したように、初期イメージを切り取るように更に構成される。

【0145】

視線位置決定ユニット84は、上述したように、抽出ユニット82から、成分イメージの各々を受信し、成分イメージの各1つについて、それぞれの視線位置を決定するように構成される。

【0146】

視線位置推定ユニット86は、少なくとも1つの成分イメージの各々のそれぞれの視線位置に従って、初期イメージにおける推定した視線位置を決定し、前記推定した視線位置を出力するために、構成される。2つ又は3つの成分イメージが抽出される場合では、視線位置推定ユニット86は、前述したように、例えば重み係数を使用して、それぞれの視線位置の各々を一緒に組み合わせるために構成される。

【0147】

1つの実施形態では、受信した初期イメージは、少なくとも1つの眼球以外の、更なる特徴を含み、前記抽出ユニット82は、受信した初期イメージ内で少なくとも1つの眼球を同定するために；少なくとも1つの眼球のみを含む初期イメージの一部を抽出して、切り取ったイメージを取得するために；及び前記切り取ったイメージの少なくとも1つの色成分を抽出して、対応する少なくとも1つの成分イメージを取得するために、構成される。

【0148】

光源値が使用される実施形態では、前記抽出ユニット82は、前述のように、成分イメージの各々について、初期イメージに対する対応する成分イメージの相対的寄与を表す光源値を決定するために、更に構成される。この場合、視線位置推定ユニット86は更に、光源値をそれぞれの視線位置と組み合わせるために構成される。

【0149】

頭部のポーズ(pose)の不変性が実装される実施形態では、受信した初期イメージは、上述したように、少なくとも1つの顔部のランドマークを更に含む。抽出ユニット82は更に、少なくとも1つの顔部のランドマークを抽出し、対応する少なくとも1つのランドマーク位置を取得するために、構成される。この実施形態では、視線位置推定ユニット86は更に、少なくとも1つのランドマーク位置をそれぞれの視線位置と組み合わせるために構成される。

【0150】

1つの実施形態では、ユニット82、84及び86の各1つは、マイクロプロセッサー、それぞれのメモリ、及びそれぞれの通信手段のような、それぞれのプロセシング・ユニットを備える。別の実施形態では、ユニット82、84、及び86のうちの少なくとも2つは、同じプロセシング・ユニット、同じメモリ、及び／又は同じ通信手段、を共有することがある。例えば、システム80は、各々のユニット82、84、及び86によって使用される単一のプロセシング・ユニット、単一のメモリ、及び単一の通信ユニット、を含むことがある。

【0151】

図９は、いくつかの実施形態に従って、方法10のステップ12から20までを実行するための、例示的なプロセシング・モジュール90を示すブロック・ダイアグラムである。前記プロセシング・モジュール90は、典型的には、メモリ94に保存された、モジュール若しくはプログラム及び／又は命令を実行し、それによってプロセシング動作を実施するための、複数のコンピュータ・プロセシング・ユニット(CPU)及び／又はグラフィック・プロセシング・ユニット(GPU)92、メモリ94、並びにこれらの構成要素を相互接続するための複数の通信バス96、を含む。前記通信バス96は、システムの構成要素間の通信を、相互接続する、及び制御する、回路(チップセットと呼ばれることもある)を、任意選択的に、含む。前記メモリ94は、高速ランダム・アクセス・メモリ（例えば、DRAM、SRAM、DDR RAM、又は他のランダム・アクセス・ソリッド・ステート・メモリ・デバイス等）を含む、及び不-揮発性メモリ（例えば、複数の磁気ディスク・ストレージ・デバイス、光ディスク・ストレージ・デバイス、フラッシュ・メモリ・デバイス、又は他の不-揮発性ソリッド・ステート・ストレージ・デバイス等）を含むことがある。前記メモリ94は、任意選択的に、CPU92から遠隔に配置された複数のストレージ・デバイスを含む。前記メモリ94、又は前記メモリ94内の不-揮発性メモリ・デバイスは、非-一時的コンピュータ可読ストレージ媒体を含む。いくつかの実施形態では、メモリ94、又は前記メモリ94のコンピュータ可読ストレージ媒体は、以下のプログラム、モジュール、及びデータ構造、又はそれらのサブセット、を保存する：
初期イメージの少なくとも1つの色成分を抽出して、対応する少なくとも1つの成分イメージを取得すための、抽出モジュール91；
前記成分イメージにおける視線位置を決定するための、視線位置決定モジュール93；
前記少なくとも1つの成分イメージの各々に関する、それぞれの視線位置に従って、前記初期イメージ中の推定した視線位置を決定するための、視線位置推定モジュール95；
イメージを切り取るための、切り取りモジュール97；及び、
イメージを平坦化するための平坦化モジュール99。

【0152】

上述の特定した要素の各々を、前述のメモリ・デバイスのうちの1つ以上に保存することがある、及び上述の機能を実施するための命令セットに対応する。上記で特定したモジュール又はプログラム(即ち、命令のセット)は、別個のソフトウェア・プログラム、プロシージャ（procedure）、又はモジュール、として実装される必要はなく、従って、これらのモジュールの様々なサブセットを、様々な実施形態において、組み合わせることがある、又はその他、再配置することがある。いくつかの実施形態では、前記メモリ94は、上記で特定したモジュール及びデータ構造のサブセットを、保存することがある。更に、前記メモリ94は、上述されていない、追加的なモジュール及びデータ構造、を保存することがある。

【0153】

図９は、プロセシング・モジュール90を示しているが、本出願に記載される実施形態の構造的な概略というよりも、マネジメント・モジュール中に存在することがある、様々な特徴の機能的な説明として、より意図されている。実際には、及び当業者によって認識されるように、別々に示される項目を組み合わせることができる、及びいくつかの項目を分離することができる。

【0154】

以下の記載では、先に述べたように、初期イメージにおける視線位置の推定を改善するために使用することがある、深層学習アルゴリズム又はモデル、の使用について説明する。深層学習を使用する方法は、上述の方法と類似性を有する；しかしながら、1つの顕著な差は、別個の色成分イメージに関する第1の「一次」処理の結果が、一般的に、それぞれの視線出力と同じではない「内部表現」である、ということである。前記内部表現は、既に上述されており、ニューラル・ネットワーク内部の層の出力であり、他の内部表現と融合される。通常、それは、訓練から生じる最終的なネットワーク出力ではなく、いかなる種類の推定であるように設計されていないので、具体的な意味を持たない(それは単にその層の出力である)。

【0155】

しかしながら、上述したニューラル・ネットワークが関与しない方法は、中間段階で各々の視線出力を出力する、それ故、図５におけるリグレッサ（regressor）R、G又はBのそれぞれの出力のような、それぞれの視線出力は、訓練による結果であり、中間推定値であるように設計されているので、内部表現が意味（即ち、それぞれの視線出力）をたまたま有する、「内部表現」の特定のケースと見なすことができる。

【0156】

ここで図１０を参照すると、人工ニューロンの典型的な構造、即ち、ニューロンの接続されたいくつかの層として配置され得る人工ニューラル・ネットワークの基本ユニット、が示されている。前記人工ニューロンは、出力を生成するための加重和に適用される数学的な演算を表す。前記人工ニューロンは、4つの主要な構成要素をもつ。そのニューロンの入力は、サイズNの数のベクトルI_Nである。そのニューロンの重みもまた、サイズNのベクトルW_Nであり、要素ごとに前記入力ベクトルに掛け算をする。前記ニューロンは、バイアス項Bを有することがある。最後に、前記ニューロンは、その出力、又は活性化a(t)、を決定する活性化関数f(x)を有する。従って、ニューロンの出力は、
a(t)= ft(B + ΣIi・Wi)
と表すことができる。

【0157】

図１１は、ニューロンの全結合層（前の層の全ての出力を、入力として有するニューロンの層）の構造を図示する。即ち、前記層の各々のニューロンは、その前の層の出力ベクトルの全体を、入力ベクトルとして、受け入れる。サイズNの全結合層、及びサイズMの入力ベクトルIが与えられると、各々のニューロンは、M個の入力を有し、従って、M個の重みを有し、従って、前記層は、MxN重みマトリックスW、及びサイズNのバイアス・ベクトルBを有する。計算を単純化するために、全てのニューロンが同じ活性化関数を有するようにする。従って、前記層の出力は、マトリックス演算I・W + Bによって得られるベクトルの各要素に活性化関数を適用することによって与えられるベクトル、である。

【0158】

図１２は、ニューロンの畳み込み層（これは、単一次元ベクトルの代わりに多次元マトリックスを入力として取り込む層である）の構造を図示する。前記層は、全結合層のように、層に含まれるニューロンの個数によって定義されるのではなく、その畳み込みカーネルによって定義される。これらの層は、最初は、グレースケール・イメージで使用するように設計されていたが、それらの動作原理を、より高い次元の入力にまで、拡張することができる。簡単にするために、前記入力の要素をピクセルと呼ぶが、それは、マトリックスの要素であることだけが必要であり、イメージでなくてもよい。

【0159】

畳み込み層の動作を、本出願で説明し、図１２に図示する。サイズH * Wの所定の入力に対して、畳み込み層は、それぞれがピクセルに関連するH * W個のニューロンを有すると言われる。前記層には、本質的に重みのセットである、M * N個の畳み込みカーネルのセットも与えられる。しかし、各々のニューロンが独自の重みのセットを有する全結合層とは異なり、畳み込み層においては、全てのニューロンは、同じ重みを共有する。各ニューロンは、畳み込みカーネルと同じサイズの、入力上の受容野を有し、前記ニューロンは、前記受容野の中で中心にある。例えば、図１２では、単一の3×3カーネルを使用する。ニューロンNi及びNjの受容野を示した。

【0160】

前記層の出力は、入力と同じサイズの、各々のカーネルに1つずつの、特徴マップのセットである。特徴マップの各ピクセルは、活性化関数を、カーネルの適切な重みを乗じたピクセル値の合計に対して適用することによって、与えられる。この演算の結果は、前記カーネルを前記入力上で畳み込み、そのため、前記カーネルで前記入力をフィルタリングし、その結果に対して活性化関数を適用することと同じであり、従って、名称「畳み込み」である。

【0161】

図１３は、1つの実施形態による、本方法を実行するために使用することができるニューロンの全結合層を使用する、ニューラル・ネットワークの畳み込みストリームの構造を図示する。

【0162】

一次畳み込みストリームは、眼球イメージの個々の色チャネルを処理するために使用することがあるニューラル・ネットワーク層のプロセシング・ストリームである。それは、畳み込みであるので、少なくとも1つの畳み込み層は、各々のストリームに含まれるが、1つの実施形態では、複数のストリームを使用する。ある特定の数の畳み込み層の後、必須ではないが、いくつかの全結合層を下流に追加することがある。実際、畳み込み層のセットに全結合層を追加することは、これがモデルの予測力を向上させる傾向があるので、一般的に行われている。例えば、限定するものではないが、所与の色成分イメージの一次ストリームは、下流の融合層に到達する前に、この所与の色成分イメージについてのそれぞれの一次ストリームから内部表現を受け取る、2つ又は3つの畳み込み層、及び2つ又は3つの全結合層、を含むことがある。バッチ正則化法を、前記畳み込み層で使用することがある、一方で、L2正則化及びドロップアウト正則化法を、全結合層で使用することもある。他の正則化法又はそれらの組み合わせも、これらの畳み込み層に適用することがある。しかしながら、上述の方法が、本用途によく適していることが経験的に決定されている。更に、次の層への入力の次元数を減らすために、各々の畳み込み層の後に、マックス・プーリングを使用することがある。ここでも、プーリングは、広く使用されているツールであるが、必須ではない。他のプーリング法、例えば、平均プーリング、を使用することもある。プーリング演算は、値を平均すること、又は最大値をとることなど、近傍に対して何らかの演算を実施することによって、近傍のピクセルを単一の値にまで低減する。

【0163】

畳み込みストリームが全結合層を使用しない場合、畳み込みストリームの出力は、特徴マップのセットであり、その数は、最後の畳み込み層におけるカーネルの数に対応する。複数の全結合層を使用する場合、畳み込みストリームの出力は、最後の全結合層内のニューロンの数と同じ数の要素を含むベクトル、となる。更に、複数の全結合層を使用する場合、最後の畳み込み層の出力は、図６及び図７に関して前述したように、第1の全結合層によって入力として受け入れられるベクトルに平坦化されなければならない。

【0164】

図１４は、別の実施形態による、本方法を実施するために使用することがあるニューラル・ネットワークの全結合ストリームの構造を図示する。

【0165】

一次の全結合ストリームは、眼球イメージの個々のチャネルを処理するために使用することがあるニューラル・ネットワーク層のストリームである。それらは、全結合層のみから構成されるので、眼球イメージは、図６及び図７に関して先に詳述したように、前記ストリームの第1の全結合層によって入力として受け入れられるためには、ベクトル形式に平坦化される必要がある。全結合層を使用しない場合、そのようなストリームの出力はベクトル化された入力イメージになる。このような場合は稀であるが、更なるプロセシングのために、前記ストリームの出力が別のストリームの中に入力される場合に、有用であることがある。複数の全結合層を使用する場合、前記出力は、最後の全結合層内のニューロンの数と同じ数の要素を含むベクトルである。

【0166】

1つの実施形態では、L2正則化及びドロップアウト正則化法を、全結合層で使用するが、他の正則化法又はそれらの組み合わせを、これらの全結合層に適用することもある。

【0167】

補助入力、即ち、例えば、光源値及び顔部のランドマークの座標、を使用する場合では、それらは融合層に直接的に供給されることがある、或いは及び有利なことに、ニューラル・ネットワークの補助入力ストリームを使用して、前記補助入力に対して何らかのプロセシングを適用することがある。次に、前記融合層は、これらの補助入力(光源値及び顔部のランドマークの座標)から生じる内部表現を、受信する。これらの入力は低次元であり、前述の例ではそれぞれサイズ3及び16であるため、1つの実施形態では、これらのストリームで使用される層は、全結合層である。複数の全結合層を使用する場合、補助ストリームの出力は、最後の全結合層内のニューロンと同数の要素を含むベクトルとなる。全結合層を使用しない場合、補助ストリームの出力は、その入力である。1つの実施形態では、L2正則化及びドロップアウト正則化の方法又はアルゴリズムを、他の方法が考慮され得るが、全結合層で使用することがある。補助入力ストリームの構造は、図１４で図示した一次の全結合ストリームの構造と同様である。

【0168】

以下でより明らかになるように、融合層を使用して、上流層の出力を(即ち、複数の別個の一次ストリーム及び補助ストリームからのそれぞれの内部表現を)、単一のベクトルに融合する。これは、少なくとも1つの全結合層を使用してシステムの出力を生成するので、必要とされる、及び上述のように、全結合層は、1つ及び1つのみのベクトルを受け入れる。これは、1つ以上の融合層が、畳み込み及び補助ストリームの出力を、出力層への入力として使用される単一のベクトルに融合するために、必要とされることがあること、を意味する。

【0169】

この層への入力は、少なくとも2つの上流ストリームの出力である。全結合層を畳み込みストリームで使用しない場合、前述のように、このストリームの出力は、融合演算の前に、ベクトルに平坦化される必要がある。

【0170】

融合演算自体は、前記入力ベクトルを、単一のベクトル（その長さが、全ての入力ベクトルの長さの合計に等しい単一のベクトル）に、連結するステップからなる。このレベルでの融合は、図５に示される実施形態で使用される予測融合とは対照的に、特徴融合（feature fusion）である、と言われる。ニューラル・ネットワークにおける特徴融合は、内部表現の融合と呼ぶこともある。

【0171】

ニューラル層の内部ストリームは、融合層の出力に更なるプロセシングを適用するために使用することがある、全結合層の任意選択的なセットである。従って、前記ストリームの入力は、融合層の出力である。1 つ以上の全結合層を使用する場合、前記ストリームの出力は、最後の全結合層と同数の要素を含むベクトルになる。全結合層を使用しない場合、このストリームの出力は、その入力であり、従って前記融合層の出力である。内部ストリームの出力それ自体を、融合層への入力として使用することがある。L2正則化及びドロップアウト正則化の方法又はアルゴリズムを、他の方法が考慮され得るが、全結合層で使用することがある。

【0172】

全結合層を、この種のストリームにおいて排他的に使用することがあるが、一部の入力が比較的高い次元である可能性を考慮すると、代わりに、1D畳み込み層を使用することもできることに留意されたい。しかし、このタイプの層が、近傍の値間の、又は値の近傍内の、関係を利用することを意味することを主な理由として、畳み込み層は不適切であるように見える。内部ストリームの構造は、図１４に図示した一次の全結合ストリームの構造と似ている。

【0173】

以下でより明らかになるように、1つの実施形態では、以下で更に詳述されるように、前記システムがX及びY視線座標の両方を生成するか、又はこれらのうちの1つのみを生成するか、に依存して、サイズ1又は2の全結合層は、前記システムの出力を、提供する。この実施形態では、この層への入力は、内部ストリームの出力、又は融合層の出力、の何れかである。

【0174】

非常に多くの活性化関数が、人工ニューラル・ネットワークにおいて、一般的に使用されており、それが微分可能である限り、任意の関数を使用することができる。そのような関数としては、限定されるものではないが、恒等関数、ロジスティック関数(例えば、シグモイド関数等)、tanh関数、及び正則化線形ユニット(ReLU)関数、が挙げられる。

【0175】

1つの実施形態では、恒等関数を使用した出力層を除く全ての層に、ReLU関数を使用する。そのような実施形態は、良好な結果を示したが、他の関数を使用して、様々なパフォーマンス指標を有するモデルを得ることがある。

【0176】

ここで、図１５から２０を参照すると、いくつかの実施形態に従って、ニューラル・ネットワーク・アーキテクチャに依存するユーザの視線位置を決定するための、方法及びシステムを、ここで、より詳しく説明する。

【0177】

以下で明らかになるように、方法10の1つの実施形態では、それぞれの視線位置を、又は今般の様にニューラル・ネットワークの内部表現を、決定するステップ、及び推定した視線位置を決定するステップ、を組み合わせて実施する。実際、少なくとも1つの成分イメージを、ニューラル・ネットワークを使用して処理する。前記ニューラル・ネットワークは、1つ以上のコンピュータによって実装される、及び1つ以上のニューラル・ネットワーク層を有する。ニューラル・ネットワークは、実行時に、及び前記ニューラル・ネットワークを訓練した後に、1つ以上のニューラル・ネットワーク層を使用して、少なくとも1つの成分イメージを処理して、推定した視線位置を生成するように構成される。ニューラル・ネットワークの訓練については、後述する。

【0178】

この方法は、前述のシステム80を使用して実行され、ここで、前記システムは、ニューラル・ネットワークを備える。この実施形態では、前記ニューラル・ネットワークは、実行時に、及び前記ニューラル・ネットワークを訓練した後に、1つ以上のニューラル・ネットワーク層を使用して、少なくとも1つの成分イメージを処理して、推定した視線位置を生成するように構成される。1つの実施形態では、前記システム80は、前記ニューラル・ネットワークの第1の部分を形成する少なくとも1つの一次ストリームを有し、各々は獲得したイメージの色成分に対応し、各一次ストリームは、各々が、他のものと融合されるべきである、及び場合によっては、補助入力（例えば、光源値及び顔部のランドマークの座標等）からの内部表現と融合されるべきでもある、それぞれの内部表現を生成するように、構成される。言い換えれば、RGBイメージの3つの成分イメージを使用する場合では、前記システム80は、図１５及び図１６を説明する以下で明らかになるように、3つの別個の一次ストリームを有する。前記システム80はまた、推定した視線位置を生成するように構成された、ニューラル・ネットワークの第2の部分（即ち、内部ストリーム）を有する。明らかなように、前記ニューラル・ネットワークの第1の部分（即ち、少なくとも1つの色成分イメージからの少なくとも1つの一次ストリーム、及び、もしあれば、補助ストリーム）の出力を、前記ニューラル・ネットワークの第2の部分の入力として使用する。第1のニューラル・ネットワークのための様々なアーキテクチャを使用することがある。それは、1つ以上の全結合層のみを、及び／又は1つ以上の畳み込み層を、含むことがある。畳み込み層を使用する場合、全結合層を、以下に詳述するように、最後の畳み込み層の下流に、置く。前記ニューラル・ネットワークの第2の部分は、少なくとも1つの融合層を有し、それぞれが少なくとも1つの全結合層を有する。前記ニューラル・ネットワークのこの第2の部分、又は内部ストリームは、少なくとも1つの融合層のうちの少なくとも1つから始まる。第2のニューラル・ネットワークはまた、1つ以上の融合層の下流に出力層を含むことがある。前記出力層は、1つ以上の全結合層を含むことがある。

【0179】

ここで、2つの一般的なタイプのアーキテクチャについて、いくつかの実施形態に従って、図１５及び図１６を参照しながら説明する。前記ニューラル・ネットワークの層の詳細はハイパーパラメータ最適化の領域内にあり、所与のアーキテクチャについて、層の数及び層パラメータ、に関する多くの組み合わせを探すことができるので、アーキテクチャは、一般的に説明されるのみである。

【0180】

ここで、図１５を参照しながら、多層パーセプトロンを使用する本システムの実施形態を説明する。このアーキテクチャは、ニューラル層の5つの全結合ストリームを、各入力について1つずつ、含んでいた。ストリームのうちの3つは、眼球イメージの3つの色チャネルについての3つの別個のニューラル・ネットワークとして作用し、その最後の層において、それぞれの内部表現（ネットワーク出力ではない）を出力する。残りの2つのストリームは、補助入力ストリームであり、1つは光源値用であり、1つは顔部のランドマークの座標用である。これらの5つのストリームの出力は、融合層を用いて単一のベクトルに融合され、出力層への入力として使用される。この例では、前記融合層は、前述の第2のニューラル・ネットワークの中に含まれる。

【0181】

前述のように、多層パーセプトロンを使用して、適切なモデルサイズの推定値を得て、ハイパーパラメータ最適化を行うための開始点を提供する。1つの実施形態では、MLPは、適切に条件付けすること、即ち、実行可能なモデルを生成する一連のハイパーパラメータを選択することが、ConvNetよりもはるかに容易であるので、MLPを選択する。このアーキテクチャのもとで訓練したモデルは、いくつかの実行可能な結果を生み出したが、MLPは、イメージ・プロセシングの課題に対して、ConvNetよりもはるかにパワーが弱い。この理由から、ConvNetを、以下に説明する以降の実施形態において、使用する。

【0182】

図１５に示したアーキテクチャは、ニューラル層の入力ストリーム及び融合層のみを含んでいた。融合層と出力層の間には内部ストリームはなかった。加えて、使用した眼球イメージは、40×80ピクセルのサイズであった。同じサイズを、初期の畳み込みアーキテクチャの中で使用し、その後、結果を改善する検討の中で、80×160ピクセルにまで増加させた。

【0183】

図１６は、畳み込みニューラル・ネットワークを使用する本システムの実施形態を示す。実際、最良の結果を提供するように見えるアーキテクチャは、3つの畳み込みストリームを、それぞれの3つの第1のニューラル・ネットワーク・ストリームとして使用し（眼球イメージの色チャネルの各々について1つ）、並びに2つの補助入力ストリーム（光源値用に1つ、及び顔部のランドマークの座標用に1つ）を使用する。単一の融合層を使用して、これらの5つのストリームを融合する。次に、前記融合層は、内部ストリームに供給され、本アーキテクチャは、視線推定値を生成する出力層によって、最後を締めくくる。

【0184】

前記アーキテクチャ中の様々な深さで、畳み込みストリームと補助ストリームとを融合するいくつかの試みがなされたが、それらによって、より良い結果は生まれなかった。これらのアーキテクチャでは、及び1つの実施形態によれば、前記畳み込みストリームは、1つの融合層で融合されるものと考えられ、補助ストリームは、別の融合層で融合されるものと考えられる。次に、内部ストリームを使用して、これら2つの融合層の出力を処理するものとと考えられる。次に、別の融合層は、これらの内部ストリームの出力を融合するものと考えられる。この融合層の出力は、第3の内部ストリームに供給され、これは、最終的に出力層に出力するものと考えられる。

【0185】

そのようなアーキテクチャを実装するために、ニューラル・ネットワークの訓練が行われなければならない。使用されるデータベースを、約1500人の人々に帰属する、250万個の顔部のイメージで、構成した。前記データベースを、70-20-10%の分割を用いて、訓練セット、検証セット、及びテスト・セット、に分割した。これらのイメージは、スマートフォン（例えば、iPhone等）又はタブレット（例えば、iPad等）など、様々なスクリーン・サイズのモバイル・デバイスのスクリーン上の一連の刺激を見るというタスクを課されたボランティアから取得した。キャプチャしたイメージ毎に、幾つかのメタデータをキャプチャし、これには以下が含まれる：デバイスの種類、スクリーンのサイズ、スクリーン座標における刺激の位置、カメラからのセンチメートル単位での刺激の位置、デバイスの向き（縦方向、縦方向反転、横方向右、横方向左、のうちの1つ）。

【0186】

例示的な1つの実施形態によれば、限定されるものではないが、モデル訓練を、クラウド内のサーバ（例えば、Amazon EC2 p3.8xlargeインスタンス）上で、機械学習機能ライブラリとしてケラス（Keras）及びテンソルフロー（Tensorflow）を使用して、実施した。モデル正則化には、畳み込み層でのバッチ正則化、並びに全結合層でのL2及びドロップアウト、が含まれていた。L2正則化の重みは、全てのモデルについて、0.01とした。ドロップアウト率は、全てのモデルについて、25%とした。これらの値は、経験的に見出されたものであり、考えられる最良の値を表していない可能性がある。様々なモデルの選択したアーキテクチャを、以下の表１から３で示す。全ての畳み込み層について、2×2のサイズのマックスプーリングを使用した。ハイパーパラメータ最適化を単純化するために、全ての畳み込みストリームに対して同じアーキテクチャを使用する、及び両方の補助ストリームに対して同じアーキテクチャを使用する。

【0187】

以下の表１は、畳み込み層のサイズを示す。層のサイズは、入力から出力まで、データが層を通る順序で記載する。畳み込み層の場合、X個のMxNカーネル（X MxN カーネル）は、X個のカーネルがこの層で使用され、各々のカーネルはMxNのサイズであることを意味する。表２は、補助ストリーム中の層の数、及び各層のサイズを表す。表３は、内部ストリーム中の層の数、及び各層のサイズ、を示す。

【表1】

【表2】

【表3】

【0188】

前述のアルゴリズムが、所与の適用に対して十分に正確な視線推定値を生成しない場合には、較正プロシージャ（procedure）を使用することがあり、その間に、特定のユーザから小さなデータセットを収集して、一般モデルの予測を調整する。

【0189】

較正プロシージャ（procedure）を実施するために、ピクチャのセットを追加的にキャプチャする必要があると考えられる。これらのキャプチャされたピクチャの各々について、いくつかの刺激がスクリーン上に表示され［その位置（ターゲット）は記録される］、前記ピクチャが撮影されているとき、前記ユーザは、その位置を見る必要がある。これによって、較正プロシージャ（procedure）のための最小限のデータベースが構成されることになる。このデータベースは、他のメタデータ（例えば、デバイスの種類、スクリーンのサイズ、スクリーンの解像度、デバイスの向き等）を含むことがある。

【0190】

そこから、キャプチャされたイメージ毎に、一般モデルによって使用される同じ特徴が、前記ピクチャから抽出され、プロセシングのために一般モデルに供給される。ここでは、較正モデルを訓練するために、2つの選択肢を利用することが可能である。1つの選択肢は、各々のイメージについて、一般モデルの出力をキャプチャすることである。これらの視線推定値は、較正モデルの入力を構成する、一方、イメージ・キャプチャ時の刺激の真の位置は、ターゲットとなる。ひとたび訓練を受けると、そのようなモデルは、一般モデルの出力に付加され、それを入力として受け取り、新しい視線座標を生成する。このようなモデルを、図１７に示す。

【0191】

図１８に図示されるように、第2の選択肢は、上述のように、前記特徴を一般モデルに供給するが、出力層以外の層の出力をキャプチャする、従って、前記モデルの内部表現を、較正モデルへの入力としてキャプチャする。訓練のためのターゲットはやはり、イメージ・キャプチャ時のスクリーン上の刺激の真の位置であろう。ひとたび訓練を受けると、前記較正モデルは、図示されるように、訓練に使用された層の下流側の層の全てを置き換える。

【0192】

較正データベースのためのデータ収集プロシージャ（procedure）は、当技術分野で知られているように、スクリーンが完全に且つ均等に覆われることを確実にしながら、ユーザに一連の刺激を示すことを含む。データの質を確保するために、前記較正プロシージャ（procedure）できるだけ短くもし、ユーザの関与を最大限にするように努めるべきである。

【0193】

ここで、多くの戦略が利用可能である。前記刺激は、スクリーン全体にわたってランダムな位置に現れるようにすることができ、ピクチャが撮影される前に、各刺激を見つけることを前記ユーザに要求する。前記刺激は、スクリーン上のペアの点の間に、順次に現れるようにすることができ、ランダムに選択され、開始点を見つけることを前記ユーザに要求する。前記刺激は、所定の、しかし連結していない点のペアの間に、順次に現れるようにすることができ、これによって、単一の刺激は、所定の、しかし連結していない経路に沿って移動するように現れる。最後に、前記刺激は、所定の、順次に経路に沿って、連続して現れるようにすることができ、これによって、前記経路に沿って移動する単一の刺激の錯覚を生成する（別の言い方をすれば、スクリーン上で前記ユーザに対して現れ、知覚を与える）。これらの戦略を混合することができ、従って、較正プロシージャ（procedure）を作り出し、その間に、各々の戦略を一定期間使用する。

【0194】

1つの実施形態では、その選択された刺激は、ユーザの顔部のビデオをキャプチャしながら、所定の経路に沿って移動する。同じ効果を、ある特定のフレームレートでピクチャをキャプチャすることによって、達成することがある。この戦略を使用することによって、前記ユーザは、刺激がジャンプした後に、新しい刺激位置を見つける必要がなく、従って、前記ユーザが前記刺激を探している間に、不良データポイントがキャプチャされる可能性が低減する。この戦略はまた、刺激を位置から位置へ「ジャンプ」させることは、前記ユーザが次の刺激を見つけるのにいくらかの時間を割り当てて前述の問題を回避する必要性を生じさせるため、時間量のセットの中で最大のデータポイントをキャプチャすることも可能にする。最終的に、この戦略は、決定論的であり、前記ユーザが前記較正プロシージャ（procedure）に精通することを可能にし、従って、前記ユーザが、前記刺激の経路を正確に辿る可能性を増加させる。

【0195】

ひとたびデータがキャプチャーされると、較正モデルを訓練するために使用する機械学習アルゴリズムを選択する必要がある。データの複雑さが比較的低い場合、これらのアルゴリズムは、前述のタイプのアルゴリズムである可能性が高く、従って、リッジ回帰分析、ディシジョン・ツリー（decision tree）、サポート・ベクトル・マシン、であることがある、又は線形回帰分析でさえある。人工ニューラル・ネットワークのようなより複雑なアルゴリズムも、特定の用途に使用することができる。

【0196】

図１９は、ある実施形態に従った、提案された較正モデルの実施の概略図を図示する。一般的なモデルは、2つのサブシステムから構成され、それらのサブシステムの各々は、同じ特徴を取り入れ、X又はY視線座標のいずれかを出力する。次に、これらの視線位置は両方とも、2つのサブシステムから構成される較正モデルに供給される。これらのサブシステムの各々は、両方の視線座標を取り込み、補正されたX又はYの視線座標のいずれかを出力する。

【0197】

次いで、較正モデルを、サポート・ベクトル・マシンを使用して、訓練した。デバイスの向きごとに、2つの較正モデルを訓練した。各モデルは、適切なデバイスの向きに特有な一般モデルによって出力されたXY視線座標を取り込み、X又はYの補正した視線座標のいずれかを出力する。両方の視線座標を出力する単一のモデルとすることも可能であったが、テストをすると、X又はYの補正した視線座標を独立して決定すると、より良好な結果が得られる、ということが示された。

【0198】

ここで、1つの実施形態による、ユーザの視線位置を決定するためのシステム全体を示す図２０について言及する。

【0199】

推定するべき全ての視線位置について、前記システムをインストールしたデバイスは、ユーザの顔部を、及びシステムに応じて、デバイス又はカメラの向きを、示すデジタル・カメラで撮影されたイメージを生成する。例えば、スマートフォン又はタブレット・デバイスであれば、前面のカメラを使用し、そのデバイスの向きも提供する、一方、デスクトップ・コンピュータであれば、ウェブカメラ（典型的にはスクリーンの上部に取り付けられる）を使用し、前記ウェブカメラの向きを提供する。

【0200】

初期イメージから、5つの入力特徴が抽出される。これらの特徴は、ユーザの両眼を、又は眼球があるのであろう顔部の領域を、含むオリジナル・イメージの3つの切り取りを含む。これらの特徴はまた、顔部のランドマークのセットのXY座標を、及び初期イメージの推定した光源値を、含む。

【0201】

前記システムは、4つの予測ストリームを有し、4つの以下のデバイスの向き（縦方向、縦方向反転、横方向右、横方向左）の各々につき1つの予測ストリームを有する。これらの予測ストリームの各々は、一般モデルを含み、この向きについて較正が行われた場合には、較正モデルを含む。各々のストリームについての、一般モデル及び較正モデルの両方は、2つのサブシステムを含む。一方のサブシステムは、入力特徴から水平視線座標を推定し、他方のサブシステムは、同じ特徴から垂直視線座標を推定する。

【0202】

使用される予測ストリームは、セレクタ(selector)のように作用するデバイスの向きによって決定される。前記システムは、使用する出力を選択するためにセレクターを使用して、全てのストリームに視線位置推定値を生成させることができる。或いは、前記セレクタを使用して、どの予測ストリームを所与の特徴セットに対して使用するべきかを選択することができる。後者のオプションは、計算コストを低減することを可能にする。

【0203】

本出願に記載される方法は、視線トラッキングが関与する、ユーザ・インターフェース（例えば、スマートフォン上の、タブレット上の、又は何らかの種類のスクリーン上の、ユーザ・インターフェース等）の様々なアプリケーションを作成する目的に、特に良好に機能する。本方法を使用して達成することができる高精度さ(1cm未満)を利用することによって、これらのインターフェース上に現れるコンテンツとの相互作用が関与する実用的なアプリケーションを作ることができる。この精度は特に、入力イメージをよく考えて選択すること(例えば、切り取られた眼球のイメージと、取り除かれた環境との連結)によって達成される。この精度はまた、上述のアーキテクチャを介して、前記アルゴリズム（即ちニューラル・ネットワーク）が、照明状況に自動的に適応することができ、その照明状況において最良の結果を与える色成分イメージのうちの1つに由来する内部表現を優先することを保証することにも起因する。色成分イメージ(例えば、切り取った眼球を連結した3つの色成分イメージ)を完全に分離してから、それらの各々に別個のニューラル・ネットワーク・ストリームを適用することにより、各々が明確に処理され、照明状況を考慮して最も適切な色成分イメージを使用するニューラル・ネットワークによって更に処理するために、後に単独で選択され得ること、が保証される。

【0204】

本出願に記載される方法は、文献に見出される他の方法（例えば、MITのKrafka et al., “Eye Tracking for Everyone”, http://gazecapture.csail.mit.edu/cvpr2016_gazecapture.pdf、で入手可能）
と比較した場合、特に良好に機能する。この研究では、以下の4つの入力を使用する：それぞれ別々の眼球(切り取られた)、イメージ全体、及び前記イメージ内の顔部の位置を示すバイナリ・マスク（binary mask）。

【0205】

本開示は、顔部全体ではなく、顔部のランドマークの座標のみを使用することを記載する。MITのプロジェクトでは、第1層は、完全なイメージにおいて人物の頭部とその位置を同定するように訓練するために、かなりの時間を必要とする。頭部周囲の環境がイメージ中に存在することは余分であり、前記モデルの訓練を複雑にする。また、MITモデルはまた、携帯電話で、1.34cm-2.12cmの精度を示している。この精度は、1cm未満のスクリーン高さ又は幅を有するキーボード要素を同定する等の現実の用途には十分ではない。本出願に記載される方法は、典型的なスマートフォン・キーボードのボタンを、1cm未満のX又はYの精度で、同定することを可能にし、従って、現実の用途に充分である、入力及びアーキテクチャを利用する。これは、少なくとも、取得されているイメージ全体を使用するステップが、役に立たないことを、及びかなりの計算資源を必要とすることを、我々が同定したためである。本方法では、色成分イメージの入力として使用される、切り取った眼球イメージのコンポジット・イメージ(composite image)(眼球の切り取ったイメージを単一イメージにまとめた)に加えて、顔部のランドマークの座標(単独)を本ネットワークの第1層に供給する。これにより、計算資源の要件が低減される。前記ニューラル・ネットワークに供給される環境の全体ピクチャの代わりに、我々は、環境条件の代理としての光源値を使用し、リアル-タイムの応用及び訓練の両方で、計算資源の要件を更に減らした。更に、前記MITプロジェクトは、本出願に記載されるような、入力でイメージのRGB成分を分離する利点（これは、視線トラッキングに役立つ眼球の解剖学的構造におけるエッジを検出する際の精度に関して、技術的な利点も提供する）、を同定することができなかった。

【0206】

本出願に記載される方法はまた、文献に見出される他の方法と比較した場合、特に良好に機能する。例えば、https://arxiv.org/pdf/1504.02863.pdf、で入手可能な、Zhang et al.,は、パラレル・ネットワークを伴わず、唯順次である方法を記載する。彼らはまた、1つの眼球のみを使用することを教示し、そのために精度が失われている。本方法はまた、別の課題（即ち、眼球の角度［これは、頭部の位置（所望の出力がX, Y位置である場合に考慮する必要が有る）を扱わないため、独自の特異性を有する］を見つけること）も解決する。

【0207】

本出願に記載される方法はまた、ボーダフォンによって開発され、http：//www.fundacionvodafone.es/app/EVA-facial-mouseで入手可能なモバイル・アプリケーションであるEVA Facial Mouseと比較して、特に良好に機能する。このアプリケーションは、眼球ではなく顔部の運動を使用して、デバイス・スクリーン上のマウス・ポインタを制御する。これは、顔部を動かすことができない、完全に麻痺した人には全く適用できない。

【0208】

本明細書に記載された方法は、米国特許US10,127,680と比較した場合にも、特に良好に機能する。この文書では、ネットワークの事前訓練は存在しない。まず第一に、較正イメージをネットワークに供給する必要がある。較正イメージを収集した後、ネットワークを訓練する。実際の精度は、様々な要因、特にネットワークを訓練することを欠くために、非常に低いと予想される。従って、この方法は、本出願に記載されているように現実の状態で動作すること、が期待されるものではない。

【0209】

本方法を実行するために必要なハードウエアは、イメージ獲得が可能な任意のデバイスを含み、これは通常、カメラと呼ばれる。前記カメラは、適切なフォーマットとして、適切な速度で、イメージを収集し、解析システムに供給するので、前記カメラは必須である。前記解析システムを訓練する必要があるので、適切なコンピュータ・システムを使用する必要がある。この適切なコンピュータ・システムは、訓練のために必要とされるが、訓練以外のステップのためには必要とされないことがある。実際のリアル-タイムでの視線決定は、コンピュータ・システムによって実施される必要があるが、計算能力の要件は、通常、典型的なモバイル・デバイス（例えば、良質のスマートフォン又はタブレット等）によって満たすことができる。従って、コンピュータ・システム(必ずしも訓練のためのものと同じものではない)を、イメージ獲得のためのカメラと通信させることが、本方法を実行するために不可欠である。

【0210】

計算処理を、状況に応じて様々な特定の方式で、実施することがある。上述のように、前記システムを訓練するステップは、実施するのに、かなりの計算能力を必要とする、しかし、ひとたび訓練を受けると、アルゴリズムはより単純なコンピュータ（例えば、タブレット・コンピュータ等）上で実行することができる。しかしながら、較正を行う必要がある場合、有利なことに、較正イメージを、ネットワーク上で、リモート・サーバー(又はクラウド・コンピューティング構成におけるサーバー)に送信することができ、そこで、較正モデルを準備することができる。ひとたび、前記モデルが、前記リモート・サーバー(おそらくタブレット又はスマートフォンよりも大きな計算能力を有する)上で較正されると、その較正されたモデルは、ローカルに、クライアント・コンピュータ上で、その較正されたモデルを実際に使用するために、タブレット若しくはスマートフォン又は他の同様のデバイスに送り返される。また、クライアント・コンピュータ上で、直接的に、前記較正を実行することを考えることもある（これは、クライアント・コンピュータが、それを実行するのに十分な計算能力を有すると仮定し、また、完全な較正モデルがその上にインストールされていると仮定した場合であり、その場合では、較正イメージをリモート・サーバーに送信し、較正されたモデルを取り戻す、というステップをバイパスすることができる）。

【0211】

上述の視線トラッキング方法の実施形態を、様々な目的に使用することができる。上述の視線トラッキング方法を実施することの例としては、それを、スクリーンに対するユーザの視線をトラッキングする（前記スクリーン上に提示されているものに関連して、その上での操作を引き起こすために、又は情報を収集するために、トラッキングする）ための電子デバイス（例えば、スマートフォン、タブレット等）にインストールされたアプリケーションにおいて、使用することが挙げられる。

【0212】

本方法の出力（即ち、前記カメラからに関して定義された基準点に対するX, Y座標）は、他の入力を使用して、スクリーン座標に変換することができる。例えば、カメラと基準点(例えば、スクリーンの左上隅)との間の(通常は固定された)相対的な位置、並びにデバイスにインストールされたモバイル・アプリケーションによって、デバイス設定／パラメータの中で、照会することができるスクリーンのサイズ及びスクリーンの解像度、は分かるはずである。これらのデータを使用して、X, Y出力を、スクリーン上のピクセル座標、又はその任意の他の均等物、に変換することができる。X又はY値のみが必要とされる場合、これを、スクリーン上のピクセル行又は列に変換する。

【0213】

この見られているスクリーン位置への変換を使用することは、眼球運動のみを使用して見られているスクリーン上に提示されたコンテンツと、ユーザがやり取りする方法を提供するために、有用であることがある。他のタイプの身体運動が存在することがあるが、眼球の方向で充分であるので、上述の方法を使用する必要はない。これは、麻痺している、又は全ての運動(小さな顔部の運動を含む)及び発話でのコミュニケーションを妨げる別の問題に苦しむ、ユーザにとって有用である。通常、麻痺した人は眼球を動かすことができる。

【0214】

例えば、グラフィカル・ユーザ・インターフェースを構成するオン-スクリーン要素を、それらを指し示す方法によって同定される視線のみを使用して、始動させることができる、又は作動させることができる。これらのオン-スクリーン要素としては、ボタン、リンク、キーボード要素、を挙げることができる。従って、視線トラッキング方法を電子デバイスを使用するより大きな状況と統合することによって、麻痺した人が前記電子デバイスのスクリーンと適切にやり取りすること、それによって、彼らの眼球だけを使用するユーザ・インタフェースを効果的に使用すること、が確実になる。これは、スクリーン位置に関するトラッキングの結果を、デバイスのオペレーティング・システム又はその上で実行するアプリケーションに通信し、あたかも、人がマウス・ポインタを使用している、又はタッチ・スクリーンをタップしているかのように、リアル-タイムのやり取りを可能にするための、視線トラッキング・アプリケーションを必要とする。そのような状況で本方法が適用される場合、スクリーンを有する電子デバイスを使用することは、必須となる。

【0215】

例えば、人が何らかの種類の表示要素のどこを見ているかを評価することによって、他の用途も考えられる。例えば、カメラは、ポスター又はパネルを見ている人のイメージを獲得することがある、及び本方法を使用して、前記人が見ているポスター又はパネル上の位置を同定することがある。これを、デバイス・スクリーン以外の技術を使用して、例えば、投影又は没入型環境（immersive environment）を使用して、表示されるユーザ・インタフェースに適用することもできる。従って、本方法は、前記基準を(例えば、スクリーン上のピクセル位置への)幾何学的に変換することを通して、人が、投影されたイメージ又は仮想イメージ上に表示されたユーザ-インターフェース要素（例えば、ボタン、リンク、キーボード要素等）を見ていることを決定することができ、次いで、インターフェース要素とのユーザのやり取りを始動させることができる。

【0216】

セクション3 - 神経疾患-関連の眼球視線-パターン異常の検出

【0217】

ここで、神経疾患-関連の眼球視線-パターン異常の検出を参照し、1つの実施形態によれば、本明細書の前のセクションで記載したアプローチと同様のアプローチを使用して、眼球運動のパターンに影響を及ぼす神経症状用の診断法一式を開発する。このセクションは、すでに上述した、図３３に示される方法に関する、及びより明確にするために番号付けしたサブセクションを含むが、それはそのようなサブセクションを、本明細書中の後に参照するからである。ある特定の神経症状が眼球の異常な運動パターンを引き起こすことは、医学文献において、良く記載されている。本出願に記載されるシステムは、1つの実施形態によれば、以下のセクションで探索される3つの主要部分を含む。これらの部分は、以下である：刺激ライブラリ、データセット及びエキスパート・モデル。

【0218】

3.1 刺激ライブラリ

【0219】

本出願において言及されるように、ある特定の神経病態と異常な眼球運動パターンとの間には、関連性が存在する。しかしながら、異なる病態は、眼球運動パターンにおいて、異なる異常を誘発し、従って、本出願に記載される方法は、テストのバンク(bank)の中からのテストを実施するステップ、を含む。前記テスト（本出願では「視線-パターン・テスト」とも呼ばれる）は、病態に関連する、眼球運動パターンにおける様々な異常の検出を容易にするように設計される。

【0220】

テストのバンクは、上述のように、視線トラッキングを実施するディスプレイを有するコンピューティング・デバイスを使用して、ユーザに提示されるべき視覚刺激のセットを含む。視覚刺激の各々は、特定の眼球運動パターン異常を、それがユーザの眼球運動に存在する場合に、誘発するように設計される。そのようなテストとしては、サッカード・テスト、アンチ-サッカード・テスト、凝視テスト、及びフリー-ビューイング(free-veiwing)テスト、が挙げられる。フリー-ビューイング(free-veiwing)テストでは、ユーザには、特定のイメージ（例えば、顔部又は風景等）を単に見るというタスクが課せられる。テストのバンク中のテストは、視運動性眼振テストを含むこともある。また、前記バンク中のテストは、移動する視覚ターゲット・テストも含み、そのテストでは、ターゲットの運動は、線形であっても又は非線形であってもよい。

【0221】

これらのテストは、ある種の「広域スペクトル」テストとして、又は特定の病態が疑われる場合には個々のテストとして、単一のより長いテストにまとめて実施することがある。

【0222】

1つの実施形態によれば、以下のタスクは、1つ以上の視線-パターン・テストを形成することがある、並びにコンピューティング・デバイス上にインストールされる、及びその上で実行される、ソフトウェア・アプリケーションの中に含まれることがある。

【0223】

この明細書では、スクリーン上の各種点の位置は、視角の度数として提供される。mm又はインチ単位の変換を、前記スクリーンからの目の距離を推定することによって、及び前記ディスプレイのモデル(典型的にはオペレーティング・システムから決定されるモデルから寸法を知ることができるタブレット・コンピュータ)から抽出することができるスクリーン寸法を使用することによって、行うことがある。

【0224】

タブレット・コンピュータのスクリーン寸法は、典型的には幅(ピクセル単位)、高さ(ピクセル単位)、及びインチ当たりのピクセル(ppi)、で与えられるので、インチ単位の前記スクリーンの幅及び高さは、幅/ppi及び高さ/ppiとして計算することができる。

【0225】

3.1.1 較正タスク

【0226】

較正は、上述の視線-トラッキング方法で使用されるものと同様であるが、いくつかの違いがある。本較正タスクの文脈では、本アプリケーションは、ターゲットの表示及びスクリーンのエッジの周りでのターゲットの運動、並びに引き続いて両方の対角線に沿ってスクリーンを対角線上に横切るターゲットの運動、を指示する。眼球を含むユーザのビデオは、好ましくは、前記ターゲットを表示するコンピューティング・デバイス(即ち、上述のように、タブレット又はスマートフォン)の内蔵カメラによって、タスクを実行しながらキャプチャされる。そして、このビデオの各々のフレームは、前記フレームが獲得されたときのスクリーン上のターゲットの位置に対応付けされる。これは、前記刺激を表示するために、及び前記ビデオを獲得するために、使用されたデバイスに関するメタデータ、及び前記ユーザに関する情報、と同様に、生データ・セットを形成する。これについては、後のセクションでより詳細に説明する。

【0227】

ここで、より詳しく(図２１Ａ-２１Ｃを参照して)、較正タスクを、例えば、外側に黒い円、内側に白い円、及び前記円の中心に黒い十字、からなるターゲットで、始める。

【0228】

1. 最初のステップでは、ターゲットは、スクリーンの左上隅の位置p0 に表示される。前記ターゲットは、2秒間、静止したままである。

【0229】

2. 最初の2秒後、前記ターゲットは、スクリーンの右上隅p1に到達するまで、8.65度/秒の速度で、右に水平に移動し始める。例えば、前記ターゲットは、スクリーンの右上隅p1に到達するまで、350ポイント/秒の速度（これは、スクリーンから45cmの位置にあるユーザについて、凡そ8度/秒に対応する）で右に水平に移動し始める。

【0230】

3. ひとたびスクリーンの右上隅に移動すると、前記ターゲットは、以前と同じ速度で垂直方向に、スクリーンの右下隅p2に向かって下方向に、移動し始める。

【0231】

4. ひとたびスクリーンの右下隅に到達すると、前記ターゲットは、以前と同じ速度で水平方向に、スクリーンの左下隅p3に向かって左方向に、移動し始める。

【0232】

5. ひとたびスクリーンの左下隅に移動すると、前記ターゲットは、以前と同じ速度で垂直方向に、スクリーンの左上隅p4に向かって上方向に、移動し始める。

【0233】

6. ひとたびスクリーンの左上隅に移動すると、前記ターゲットは、以前と同じ速度で対角線方向に、スクリーンの右下隅p5に向かって下方向且つ右方向に、移動し始める。

【0234】

7. ひとたびスクリーンの右下隅に移動すると、前記ターゲットは、以前と同じ速度で垂直方向に、スクリーンの右上隅p6に向かって移動し始める。

【0235】

8. ひとたびスクリーンの右上隅に移動すると、前記ターゲットは、以前と同じ速度で対角線方向に、スクリーンの左下隅p7に向かって下方向且つ左方向に、移動し始める。

【0236】

ひとたびこれらの8つのステップが終了すると、本較正タスクは完了する。各ステップの経路の視覚的説明を図２１Ａ-２１Ｃに示す。 本較正タスクでは、指標の抽出は必要ない。

【0237】

少なくとも1つの実施形態では、較正シークエンスを、追加的に繰り返す（対象は、両方のシークエンスの間で、対象の頭部位置を変更することを求められる）。

【0238】

第2の較正シークエンスは、以下の順序に従う(図２１Ａ-２１Ｃについて概説したターゲット位置を使用する)。P3(2113)から開始して、前記ターゲットは、垂直にP4(2114)まで移動する。次いで、前記ターゲット2130は、図２１Ｄに下／上の放物線軌道で示されるように、P6まで下／上の放物線軌道を辿る (矢印2125a、2125bは、ターゲットの方向を示す)。図２１Ｄは、下／上の放物線軌道の例を図示する。そして、ターゲット2130は、P5まで下降する。次に、前記ターゲットは、図２１Ｅに図示されるように、P3まで上／下の放物線軌道を辿る、及びその方向を、矢印2125cで示す。その後、前記ターゲットは、P4まで上に移動する(2114)。

【0239】

オン-スクリーン指示を伴う例は、以下である：「スクリーンの左上隅に表示される白黒の円を見なさい」、「それが止まるまで、それを、眼で、できるだけ正確に追いなさい。」

【0240】

1つの実施形態によれば、本出願で言及される命令のいずれかについて、読み取られている命令の音声レコーディングがあり得る。一実施形態によれば、本出願で言及される命令のいずれかについて、タスクをどのように実行するかを説明する指示がオーバーレイされたビデオ／デモがあることがある。

【0241】

少なくとも1つの実施形態では、本システムは、ユーザに、頭部位置を変更するように促す。較正シークエンスは、対象(ユーザ)に対し、対象の頭部の向きを、スクリーン上に、中心に提示された矩形(又は、例えば、別の形態［例えば、円、楕円、多角形等］、これは、典型的な頭部の形状を一般的に包含する形状を有する)の方向と揃えることによって、対象の位置を変えることをリクエストするために、2回（例えば、限定されるものではないが、その較正タスクの1/3及び2/3の時点において）中断することがある。従って、本システムは、スクリーン上に表示された矩形(又は、例えば、楕円)に関連して、ユーザの眼球を揃えることを実施する。

【0242】

タスクを始める前に、以下のオン-スクリーン指示が示されることがある：「このタスクを通して、あなたには、頭部の位置を決める一助とするために、スクリーンの中心に矩形の枠が見せられます。外側のスクリーン枠が緑色に変わるまで、示されるように、頭部の位置を調整しなさい。次に、イメージが左上隅に表示され、移動を開始する。それがスクリーンを横切っている間、それが止まるまで、それを、あなたの眼で、できるだけ正確に追ってください。」

【0243】

タスクを始めるときに、以下のオン-スクリーン指示が示されることがある、これは、頭部の位置決めのための全てのタスクに共通である：「頭部を、スクリーンの中心に、垂直に、傾けずに、置きなさい。」以下のオン-スクリーン指示は、タスクを通して、約1/3で、示されることがある：「あなたの頭部を左側に少し傾けなさい。」以下のオン-スクリーン指示は、タスクを通して、約2/3で、示されることがある：「あなたの頭部を右側に少し傾けなさい。」

【0244】

従って、ユーザ(対象)の頭部の位置を、較正タスク中に、制御する。前記較正タスクの最初の約1/3の間、ユーザの頭部は、前記ユーザの片側に向かって、例えば、左側に、僅かに(例えば、約5から約15度)傾いている。前記較正タスクの続いて約2/3の間、前記ユーザの頭部は、前記ユーザの別の片側に向かって、例えば、右側に、僅かに(例えば、約5から約15度)傾いている。ユーザの頭部を、様々な方向に向かって、傾けることをリクエストすることは、そのようなリクエストに応じて（及びそれに従って）ユーザの頭部を傾けさせる結果になる。少なくとも1つの実施形態では、ユーザの頭部の位置は、較正タスク中に収集された較正データを、他のタスク中に収集されたデータと比較するために後で使用する場合に、後に考慮される。

【0245】

3.1.2 凝視タスク

【0246】

凝視タスクは、ユーザが、モバイル・コンピューティング・デバイスのスクリーン上に、何らかの形状によって示される、いくつかの点を、じっと見る（凝視する）ように求められるタスクである。1つの実施形態によれば、9つの点が使用される：1つは中心にあり、一次の位置凝視を評価する、各コーナに1つある、スクリーンの各側の中心に1つある。点の位置を図２２に示す。

【0247】

タスク・パラメータ

【0248】

凝視タスクを実施するために、図２２に示すように、黒い十字をスクリーン上の9つの異なる点に配置し、それぞれ7秒間表示する。9つの位置は以下の通りである：

【0249】

a)左上隅の16 度(左2.41 インチ、上3.63 インチ)；

【0250】

b)中心の上15 度(3.63 インチ)；

【0251】

c)右上隅の 16 度(右 2.41 インチ、上 3.63 インチ)；

【0252】

d)中心の左に10 度(2.41 インチ)；

【0253】

e)スクリーン中心；

【0254】

f)中心の右に10 度(2.41 インチ)；

【0255】

g)左下隅の16 度(左2.41 インチ、下3.63 インチ)；

【0256】

h)中心の下15 度(3.63 インチ)；

【0257】

i)右下隅の16 度(右2.41 インチ、下3.63 インチ)。

【0258】

上述の位置a)-i)からの各刺激位置は、左から右、上から下へと順に提示される。図２２Ａは、少なくとも1つの実施形態による、実際には、本出願に記載されるように、連続的に表示される、全ての十字の組み合わせを示す。

【0259】

少なくとも1つの実施形態では、凝視タスクを、以下のように実装することがある。スクリーン上の5つの異なる位置に配置された、黒いスクリーン上の、白い十字を、それぞれ7 秒間表示する。5つの位置は、以下のように、予め決められていることがある、及び各対象について、ランダムな順序で、提示されることがある：中心の上583ポイント(これは、スクリーンから45cmの距離に位置した場合、14度という視角におおよそ対応する)；中心の下583ポイント；中心の左に412ポイント(これは、スクリーンから45cmの距離に位置した場合、10度という視角におおよそ対応する)；中心の右に412ポイント；及びスクリーン中心。

【0260】

図２２Ｂは、少なくとも1つの実施形態による、実際には、本出願に記載されるように、連続的に表示される、5つの十字全ての組み合わせを示す。

【0261】

例えば、視角は、電子デバイス（例えば、タブレット等、例えば、iPad^TM）上で、距離(点)に変換されてもよい。このタスク及び本出願に記載される他のタスクのための、角度変換式を、以下のように使用することがある：
ポイント = 132*(TAN(RADIANS(角度))*(距離)、 (1)

【0262】

ここで、ポイントの数は、スクリーン中心に対する選択された角度(度)、及びスクリーンとユーザとの間の予想される距離(インチ)、に依存する。例えば、選択された距離を、17.17インチ(45 cm)としてもよい。選択された角度を、タスク及び視覚ターゲットに応じて、変化させてもよい。

【0263】

凝視テスト中にキャプチャされた（撮影された）ビデオに基づいて決定され得る眼球-運動の指標（前記指標を、いくつかのトライアルにわたって平均化する場合、本出願では、「特徴」とも呼ぶ）は以下の通りである： a. 各ターゲットについての平均誤差； b. 各ターゲットについての平均絶対誤差； c. 各ターゲットについてのサッカードの混入（x 凝視期間当たりのサッカードの回数）、例えば：矩形波眼球運動；矩形波パルス［SWPは、それらの形態及び共役性においてSWJに類似しているが、それらは通常、凝視の一方の側で振動し、より高い振幅(通常、5度より大きい)及び特徴的なより短いサッカード間間隔(intersaccadic interval (ISI))(約80ms)を有する］；眼球粗動；オプソクローヌス。d. 各凝視期間について眼振の存在（振り子又はジャーク(jerk)、ここで、衝動性眼振（jerk nystagmus）については、遅い偏心性ドリフト（eccentric drift）があり、それに続いてターゲットに向かう矯正ジャークがある、一方、振り子眼振については、両方の成分が遅いと考えられる)、これを、以下に基づいて決定することがある：各凝視期間についての振幅、各凝視期間についての振動数、各凝視期間についての遅い相の速度、各凝視期間についての眼振の方向。

【0264】

混入

【0265】

少なくとも1つの実施形態では、トライアル・ベースでの（言い換えれば、トライアルごとに平均化した）データから、抽出されることがあり、混入に関係する、指標は、以下の通りである：SWJ比率、SWJ振幅、第1のサッカード中のSWJピーク速度、水平(垂直成分)からのSWJ偏差であり、ここで、SWJは、定義により、HCで水平である、SWJの上昇と下降との間の経過時間を表すSWJ持続時間、SWJ間隔 - SWJ間の経過時間(OSIを無視する)。SWJ比率に関連するそのような指標は、本出願では、SWJサッカード指標とも呼ばれる。以下の指標も抽出され得る： OSI比率、OSI振幅、OSIピーク速度、OSI持続時間 - OSIの開始と消失との間の経過時間、OSI間隔 - OSI間の経過時間(SWJを無視する)、及び瞬き比率。

【0266】

トライアルにわたって平均化される混入の特徴は、以下である：平均SWJ比率、平均SWJ振幅、平均SWJピーク速度、水平からの平均SWJ偏差、平均SWJ持続時間、平均SWJ間隔、平均OSI比率、平均OSI振幅、平均OSIピーク速度、平均OSI持続時間、平均OSI間隔、平均瞬き比率、SWJに対する瞬きの平均割合。

【0267】

視線ドリフト及び視線安定性

【0268】

視線ドリフト及び視線安定性を考慮するために、SWJ及びOSIをトレースから除去し、ドリフト及び安定性の指標を計算した。視線ドリフト及び視線安定性に関して抽出することがある指標は、以下である：BCEA 68%； BCEA 95%；ターゲットの周りの定義された半径内(2度)の時間の割合；ターゲットの周りの定義された半径内(4度)の時間の割合；平均垂直位置；平均水平位置；サッカード、瞬き又はノイズによって中断されない凝視の期間である凝視期間の長さ。

【0269】

以下の特徴を、視線ドリフト及び視線安定性に関して抽出することがある：平均BCEA 68%；平均BCEA 95%；ターゲットの周りの定義された半径内(2度)の時間の平均割合；ターゲットの周りの定義された半径内(4度)の時間の平均割合；水平／垂直視線位置の標準偏差である水平視線SD；垂直視線SD；凝視期間の全ての連続的な視線サンプルを通して線形適合（回帰線）によって計算されるドリフトである水平視線ドリフト。この線の回帰係数（度／秒で表される）は、この凝視期間中の平均ドリフトと見なされた。視線ドリフト及び視線安定性に関して抽出することがある他の特徴：垂直視線ドリフト；推定値の標準誤差であり、回帰線からの視線の平均偏差を反映し、ドリフト線の周りの凝視安定性を定義するSE水平視線ドリフト（前記SE水平視線ドリフトは、サッカードの混入又はドリフトのいずれによっても引き起こされない、任意の凝視不安定性を反映する）； SE垂直視線ドリフト；平均最大凝視期間；平均凝視期間。

【0270】

付随するオン-スクリーン指示の例は、以下である： - 「7秒間、十字を凝視し、視線を安定させてください、そして、スクリーンを見回さないようにしてください。」

【0271】

3.1.3 プロ-サッカード・タスク

【0272】

プロ-サッカード・タスクは、ユーザが中心の十字を凝視するように求められ、刺激(又はターゲット)が十字から中心を外れた位置にスクリーン上に表示された場合には、前記刺激を凝視するように求められるタスクである。約1.5秒の凝視時間の後、前記刺激は消失し、中心の十字が再び現れ、その時点で、ユーザは、再び中心の十字を凝視するものとなる。図２３Ａ-２３Ｂは、中心の固定十字(図２３Ａ)、及び中心の固定十字とターゲットが現れることがある全ての可能な位置(図２３Ｂ)、を示す。

【0273】

より正確には、約1.5秒の中心凝視時間は、1秒と3.5秒との間でランダムに変化することがある。これは、ターゲットが次に現れることを、ユーザが予測することを防止するために行われることがある。或いは、中心凝視時間を固定することがある。

【0274】

このプロ-サッカード・タスクは、サッカディック測定障害、サッカディック破壊を誘発し、ユーザのサッカードの動態、即ちサッカディック潜時及びピーク速度を評価することを意図している。

【0275】

前記プロ-サッカード・タスクは、以下のステップを有する。

【0276】

a)前記プロ-サッカード・タスクは、図２３Ａに示すように、白いスクリーンの中心に配置された黒い十字(ターゲット)(又は、いくつかの実施形態では、黒いスクリーンの中心に配置された白い十字)で、始まる。言い換えれば、スクリーンの中心に配置された十字は、バックグラウンドとは異なる(対照的である)色を有する。このステップは、凝視期間と呼ばれ、例えば、1.0と3.5秒との間の、ランダムな持続時間にわたって継続する。

【0277】

b)凝視期間の終了後、中心の十字は消え、同時に、外側に黒い円、内側に白い円、及び前記円の中心に黒い十字、からなるターゲットが、図２３Ｂに示すように、8つの可能なランダムな位置のうちの1つに、1.5秒間、スクリーン上に現れる。このステップは、刺激期間と呼ばれる。図２３Ｂには8つの可能な所定の刺激位置が示されているが、各々の刺激の期間について、1つの刺激のみがランダムに選択される。

【0278】

前記ターゲットの8つの可能なランダムな位置の座標は、以下である：i. 中心の上方15度(3.63インチ)；ii. 中心の下方15度(3.63インチ)；iii. 中心の上方8度(1.93インチ)；iv. 中心の下方8度(1.93インチ)；v. 中心の右方10度(2.41インチ)；vi. 中心の左方10度(2.41インチ)；vii. 中心の右方7度(1.69インチ)； viii. 中心の左方7度(1.69 インチ)。

【0279】

本開示の例示的な実施形態によれば、前記ターゲットの8つの可能なランダムな位置についての座標は、以下の通りであることがある：

【0280】

i. 中心の上方500ポイント(これは、スクリーンから45cmの距離に位置した場合、12度という視角におおよそ対応する)； ii. 中心の上方250ポイント(これは、スクリーンから45cmの距離に位置した場合、6度という視角におおよそ対応する)； iii. 中心の下方500ポイント(これは、スクリーンから45cmの距離に位置した場合、12度という視角におおよそ対応する)；iv中心の下方250ポイント(これは、スクリーンから45cmの距離に位置した場合、6度という視角におおよそ対応する)；v. 中心の右方400ポイント(これは、スクリーンから45cmの距離に位置した場合、10度という視角におおよそ対応する)；vi. 中心の右方200ポイント(これは、スクリーンから45cmの距離に位置した場合、5度という視角におおよそ対応する)；vii. 中心の左方400ポイント(これは、スクリーンから45cmの距離に位置した場合、10度という視角におおよそ対応する)； viii. 中心の左方200ポイント（これは、スクリーンから45cmの距離に位置した場合、5度という視角におおよそ対応する）。

【0281】

c)この1.5秒の期間の後、前記ターゲットは消失し、前記十字が同時に再出現し、前記タスクは、新しい凝視期間で(ステップ1で)、始まる。

【0282】

d)凝視期間及び刺激期間がそれぞれ3回行われると(例えば、他の繰り返し回数を使用することがある)、前記タスクは終了する。前記ターゲットが8つの位置の各々で3回現れると、前記タスクは終了する。

【0283】

上述の8つの可能な刺激位置を全て（本出願では、スクリーン上の所定の位置のセットとも呼ぶ）、図２３Ｂに示すが、各々の刺激期間について、1つの刺激のみが、ランダムに選択されて現れる。

【0284】

凝視期間が終了する／刺激期間が開始すると、中心の十字は消失する。次に、前記十字は、再出現する。いくつかの実施形態では、前記十字は、前記刺激期間が終了した後に、再出現する。

【0285】

次の特徴(眼球-運動指標)を、プロ-サッカード・タスクを使用して決定することがある：正しく実行されたサッカードについて：サッカード潜時、垂直／水平サッカード潜時(比率)、ピーク・サッカード速度、垂直／水平ピーク・サッカード速度(比率)、サッカード・エンドポイント精度(符号付き及び符号なしの両方)、加速度の反転の回数(即ち、中心凝視からターゲットへの運動が、単一のサッカードで実施されるか、又は一連のより小さいサッカードで実施されるか)。間違った運動が行われると、エラー比率(正しい方向に移動したトライアルの比率)。

【0286】

サッカディック開始及びタイミング（Saccadic Onset and Timing）

【0287】

少なくとも1つの実施形態では、サッカディック開始及びタイミングについて、各々のトライアル(テスト)についてのデータから、以下の指標を決定(抽出)することがある：ターゲット出現の開始と第1のサッカードの開始との間に経過した時間である潜時；ターゲット出現の開始と最終サッカードの終了との間に経過した時間に対応する、ターゲットに到達する時間；及び第1のサッカードの持続時間。

【0288】

サッカディック開始及びタイミングについて、以下の特徴を、学習、分類、及び予測のために決定することがある：平均潜時；潜時SD - 個々の潜時標準偏差；集団を異なる手段を使って比較した場合の個々の変動の尺度である、個々の潜時変動係数(標準偏差と平均との比として決定することができる)である潜時CV；ターゲットに到達する平均時間；ターゲットに到達する時間SD；ターゲットに到達する時間CV；第1のサッカードの平均持続時間／振幅；第1のサッカードの持続時間／振幅SD；第1のサッカードの持続時間／振幅CV；及び垂直-対-水平平均潜時の比率。

【0289】

サッカディック振幅及び精度

【0290】

サッカディック振幅及び精度について、各々のトライアル(テスト)についてのデータから、以下の指標を決定(抽出)することがある：実際の第1のサッカード振幅を所望のサッカード振幅で割った比率である、第1のゲイン；実際の合計サッカード振幅を所望のサッカード振幅で割った比率である、最終ゲイン。

【0291】

サッカディック振幅及び精度について、以下の特徴を、学習、分類、及び予測のために決定することがある：平均最終ゲイン補正サッカード(average final gain correct saccade) - 精度の尺度(measure of accuracy)(平均最終位置)；平均最終ゲイン補正サッカード平均絶対誤差 - 精密性の尺度(measure of precision)(ターゲットからの平均誤差)；第1のゲインSD；第1のゲインCV；垂直-対-水平平均第1のゲイン比率；平均最終ゲイン補正サッカード(average final gain correct saccade) - 精度の尺度(measure of accuracy)(平均最終位置)；平均最終ゲイン補正サッカード平均絶対誤差 - 精密性の尺度(measure of precision)(ターゲットからの平均誤差)；最終ゲインSD；最終ゲインCV。

【0292】

サッカディック速度

【0293】

サッカディック速度について、各々のトレイル(trail)(テスト)についてのデータから、以下の指標を決定(抽出)することがある：平均サッカディック速度、ピーク・サッカディック速度、ピーク・サッカディック速度／サッカードの振幅、左方向INO(両眼球間のピーク速度の比率：同側／反対側)、右方向INO。

【0294】

サッカード速度について、以下の特徴を、学習、分類、及び予測のために決定することがある：平均平均サッカディック速度（average mean saccadic velocity）；平均速度SD；平均速度CV；平均ピーク・サッカディック速度；ピーク速度SD；ピーク速度CV；平均ピーク・サッカディック速度／第1のサッカードの振幅；ピーク・サッカディック速度／第1のサッカードの振幅SD； ピーク・サッカディック速度／第1のサッカードの振幅CV；平均左方向INO；平均右方向INO；垂直-対-水平平均ピーク・サッカディック速度／第1のサッカードの振幅の比率。

【0295】

各々のトレイル(trail)(テスト)についてのデータから、以下の指標も決定(抽出)することがある：ターゲットに到達するのに必要なサッカードの回数。

【0296】

サッカードの回数について、以下の特徴を、学習、分類、及び予測のために決定することがある：ターゲットに到達するのに要したサッカードの平均回数；ターゲットに到達するのに要したサッカードの回数SD；ターゲットに到達するのに要したサッカードの回数CV。

【0297】

また、各々のトライアル(テスト)についてのデータから、以下の指標を決定(抽出)することもある：正しい方向(2値)；間違った方向(2値)。サッカディック・エラーに関して、以下の特徴を、学習、分類、及び予測のために決定することがある：エラー(方向)を伴うトライアルの割合。

【0298】

なお、サッカード検出自体は、特徴抽出パイプラインの一部であるが、重要な部分であることに留意されたい。プロ-サッカード・タスクでは、例えば、サッカード検出を利用して、刺激に誘発されたサッカードがいつ起こるかを決定し、シグナルから他のものを切り出して、正確なサッカード指標を得ることがある、及び、前記サッカードが、単一ステップ又は複数ステップで起こったかどうかを、決定することがある。同様な種類のアルゴリズムを、前記サッカード検出の上に、追加することがある。

【0299】

付随するオン-スクリーン指示の例は、以下である：「中心の十字を凝視してください。」「丸いターゲットが表示されたら、そのターゲットに向けて、(あなたの頭部ではなく)あなたの眼球を、できるだけ速く動かしなさい。」「そのターゲットが消失したら、あなたの眼球を戻して、中心の十字を凝視してください。」

【0300】

このようにして、前記ユーザは、その眼球を、中心の十字に固定するように促される。次に、前記ユーザは、刺激期間中に、丸いターゲットが現れた場合、そのターゲットに、頭部ではなく眼球を、できるだけ速く動かすことを促される。そして、前記ユーザは、前記ターゲットが消失すると、中心の十字を凝視するように促される。

【0301】

3.1.4 アンチ-サッカード・タスク

【0302】

アンチ-サッカード・タスクは、それが中心の凝視点及び偏心性刺激を含むが、前記ユーザは、前記刺激から眼を離して見ないように求められる、という点で、プロ-サッカード・タスクと同様である。アンチ-サッカード・タスクはまた、凝視期間及び刺激期間を含む。

【0303】

アンチ-サッカード・タスクの文脈において、及び図２４Ａ-２４Ｄを参照すると、そのプロセスは、デバイスのスクリーンの中心における固定ターゲットで、始まる。例えば、前記ターゲットは、図２４Ａに図示されるように、白いスクリーンの中心に現れる黒い十字形であることがある。このステップは、凝視期間と呼ばれる、及びそれは、約1.0秒と約3.5秒との間のランダムな持続時間にわたって、継続する、ここで、前記ランダムな持続時間は、この間隔内で、独立して選択され、各々の時間に、前記タスクを繰り返す。

【0304】

各々の反復について1.5秒と3.5秒との間でランダムに変化する時間の後、刺激は、同様にランダムに、前記スクリーンの左側又は右側に、現れる。この刺激は、100ミリ秒間、スクリーン上に留まる。次いで、スクリーンは600ミリ秒と400ミリ秒との間で変化する時間の間（タスクの難度を高めるために、前記タスクが進行するにつれて減少する）、ブランクのままである。この期間の後、第2の刺激は、スクリーンの反対側(即ち、第1の刺激とは反対側)に現れる。

【0305】

この刺激は、150ミリ秒間、スクリーン上に留まり、図２５に示すように、上、下、左、又は右を指し示すことがある、頂点を有するV-字形のシンボル、を含む。

【0306】

最後に、3秒間、4つの可能なV-字形のシンボルを全て表示するスクリーンが示される、及びユーザは、4つのシンボルのうちのどれを見たかを声で表現するように、求められる。

【0307】

このタスクは、サッカード潜時及びピーク速度を測定するように、並びにアンチ-サッカード自体についてのエラー比率及び補正比率を、並びに前記タスクのシンボル同定部分についての成功率を、評価するように、構成される。

【0308】

アンチ-サッカード・タスク・パラメータ

【0309】

アンチ-サッカード・タスクは、それも、凝視期間及び刺激期間を含むという点で、セクション3.1.3で上述したプロ-サッカード・タスクと同様である。

【0310】

アンチ-サッカード・タスクを図２４Ａ-２４Ｄに示す。前記タスクは、位置w/2 x h/2に現れるが、図２４Ａに見られるように45度回転した、黒い十字で、始まる。このステップは、凝視期間と呼ばれる、及びそれは、1.0秒と3.5秒との間のランダムな持続時間にわたって、継続する。図２４Ａは、本開示の1つの実施形態による、45度回転した中心の十字による(可変持続時間：1から3.5秒)、凝視期間を示す。

【0311】

凝視期間の終了後、中心の十字は消失する、及び、同時に、外側に黒い円、内側に白い円、及び前記円の中心に黒い十字、からなるターゲットが、図２４Ｂに示すように、2つの可能な位置のうちの1つに、100ミリ秒間、スクリーン上に現れる。このステップは、刺激期間、と呼ばれる。

【0312】

図２４Ｂは、1つの実施形態による、前記刺激期間のステップ1(凝視持続時間： 100ミリ秒)を示す。図２４Ｃは、1つの実施形態による、前記刺激期間のステップ2(可変持続時間：600msから400ms)を示す。図２４Ｄは、1つの実施形態による、前記刺激期間のステップ3(凝視持続時間： 150ミリ秒)を示す。2つの可能なランダムな位置の座標は、例えば、以下であることがある：中心の右方に10度(2.41インチ、又はiPad 6の中心の右方に～727px)、又は中心の左方に10度(2.41インチ、又はiPad 6の中心の左方に～727px)。

【0313】

100ms間、表示された後、前記ターゲットは消失する、及び前記スクリーンは、600msから400msまでの長さで、50msの増分で、10回の連続刺激の期間ごとの後に（[800ms @ 250ms]、[600ms、550ms、500ms]、[450ms、400ms]というブランク期間による8回のトライアルのうちの7ブロック）、減少する期間の間、ブランクのままである。

【0314】

ブランク・スクリーンに続いて、円の形状が存在しない他の刺激位置に、シンボルが現れる。このシンボル(内部にV-字形を有する正方形)は、150msの期間、現れる、及び前記V-字形は左、右、上又は下の何れか、4つのランダムな方向のうちの1つを指す(より詳細については、図２４Ｃ及び２４Ｄを参照)。これで、刺激期間が終了する。

【0315】

凝視期間及び刺激期間を通した1回の実行をした後、スクリーンに3秒間表示され、ユーザがどのシンボルを見たか、を答えることを、ユーザに促す。図２５は、前記タスクを通した各々の実行の後に、ユーザに促す、前記タスク中に、ユーザがどのシンボルを見たか、を特定することを、ユーザに依頼する、スクリーンを示す。この時点で、ユーザは、知覚したV-字形が指す方向はどれか（上、下、左、又は右）を、大きな声で言うことがある、より詳細については、図２５を参照されたい。このスクリーンを表示中、マイクロホンを起動させ、ユーザの回答を記録する音声レコーディングをキャプチャするようにすることを留意されたい。カメラはまた、このスクリーンの間、眼球-運動を抽出するためにビデオを記録し続ける。

【0316】

代替的な実施形態では、以下のステップを、図２４Ｅ-２４Ｈに図示するように、実行することがある。1. アンチ-サッカード・タスクは、２４Ｅに見られるように、黒いスクリーンの中心に現れる白い十字で、始まる。このステップは、凝視期間と呼ばれる、及び約1.0秒と約3.5秒との間のランダムな持続時間にわたって、継続する、ここで、前記ランダムな持続時間は、この間隔内で、独立して選択され、各々の時間に、前記タスクを繰り返す。2. 凝視期間が終了した後、中心の十字は消失する、及び、同時に、白い丸いターゲット・シンボルからなるターゲットが、図２４Ｆに示すように、2つの可能な位置のうちの1つに、100ミリ秒間、スクリーン上に現れる。このステップは、刺激期間、と呼ばれる。2つの可能なランダムな位置の座標は、以下の通りであることがある： i. 中心の右方409ポイント（これは、スクリーンから45cmの距離に位置した場合、10度という視角におおよそ対応する）。ii. 中心の左方409ポイント。3. 100ミリ秒間、表示された後、前記ターゲットは消失する、及び図２４Ｇのように、スクリーンはブランクのままである（ブランク・スクリーンの持続時間を、以下に記載する）、これを、ブランク・スクリーン期間、と呼ぶことがある。4. ブランク・スクリーンの後、最初の刺激が現れた位置の反対側の位置に、シンボルが現れる（例えば、最初の刺激が中心の左方に現れた場合、シンボルは右方に現れる、逆もまた同様である）。このシンボルは、内側に矢印を有する白い正方形（例えば、図２４Ｈ）であることがある、及び前記矢印は、4つのランダムな方向のうちの1つ（左、右、上、又は下の何れか）に向けられることがある。これにより、刺激期間が終了する。5. タスク-難易度を、最初の刺激と矢印シンボルとの間のブランク・スクリーンの持続時間、及び矢印シンボルのオン-スクリーン持続時間、の両方を変更することによって、調整することがある。
6. 少なくとも1つの実施形態では、8回のトライアル各々の3つの別個なビデオ・ブロックがある。第1のブロックにおける全てのトライアルは、1200msのブランク・スクリーン期間を、及び400msの矢印シンボル持続時間（刺激期間持続時間）を、有する。第2のブロックにおける全てのトライアルは、800msのブランク・スクリーン期間を、及び250msのシンボル持続時間を、有する。最終ブロックにおける全てのトライアルは、550msのブランク・スクリーン期間を、及び100msのシンボル持続時間を、有する。

【0317】

少なくとも1つの実施形態では、アンチ-サッカード・タスクは、少なくとも3つの別個のビデオ・ブロックを含む、各ビデオ・ブロックは、スクリーン上に、所定の回数のトライアルを、提示するように構成される、各トライアルは、凝視期間、ブランク・スクリーン期間、及び刺激期間、を有する。従って、システムは、所定の数のトライアルのセットを実行する（例えば、セットの所定の数は3であることがある、一方、トライアルのセットは8回のトライアルを有することがある)、並びに、凝視期間中にターゲットを、ブランク・スクリーン期間中にブランク・スクリーンを、及び刺激期間中に矢印シンボルを、スクリーン上に表示する。前記矢印シンボルは、所定の方向に向けられている。少なくとも1つの実施形態では、凝視期間、ブラック・スクリーン期間及び刺激期間、の長さは、第1のビデオ・ブロックから第3のビデオ・ブロックまでで、短くなる。

【0318】

各トライアルの後、スクリーン上のメッセ―ジが、5秒間、表示され、ユーザがどのシンボルを見たのかを、正しい回答とユーザが信じるものに対応する、矢印のの向き（言い換えれば、矢印が向いている）に視線を向けることによって、回答するように、ユーザに促す（図２４H参照）。

【0319】

少なくとも1つの実施形態では、以下の眼球-運動指標(特徴)を、アンチ-サッカード・タスク中に記録したビデオの解析に基づいて、決定することがある：-ブランク期間の持続時間に関して、V-字形の方向についての正しい回答；-ユーザの回答の音声レコーディング；-クイズ期間中、各々の反応4象限において費やされた時間；-エラー比率（対象の視線が間違った方向に動いたトライアル vs 対象の視線が正しい方向に動いたトライアル、の割合）；-補正比率（エラーに続いて方向の補正が行われたトライアルの割合)；-サッカード潜時； -ピーク・サッカード速度。

【0320】

サッカディック開始／タイミング

【0321】

サッカディック開始及びタイミングについて、各トライアル（テスト）についてのデータから、以下の指標を決定（抽出）することがある：潜在正しい方向（latency correct direction）；潜在間違った方向（latency incorrect direction）；間違ったサッカードの終了とサッカードの正しい方向の開始との間の潜時である、補正までの潜時（time-to-correct latency）；ターゲットに到達するまでの時間。サッカディック開始及びタイミングについて、以下の特徴を、学習、分類、及び予測のために決定することがある：平均正しい潜時（average correct latency）；正しい潜時SD；正しい潜時CV；平均間違った潜時（average incorrect latency）；間違った潜時SD；間違った潜時CV；平均補正までの潜時（average time-to-correct latency）；補正までの潜時SD；補正までの潜時CV；ターゲットに到達するまでの平均時間；ターゲットに到達するまでの時間SD；ターゲットに到達するまでの時間CV；第1サッカードに関する平均の持続時間／振幅；第1サッカードに関する持続時間／振幅SD；第1サッカードに関する持続時間／振幅CV；潜時でのアンチ-サッカードの認知コストを指す潜在コスト（これは、プロ-サッカードの平均潜時とアンチ-サッカードの平均潜時との間の差である（正しいトライアルのみ））。

【0322】

サッカディック振幅／精密性（Precision）。サッカディック振幅／精密性について、各トライアル（テスト）についてのデータから、以下の指標を決定（抽出）することがある：第1のゲイン正しいサッカード（first gain correct saccade）；最終ゲイン正しいサッカード。サッカディック振幅／精密性について、以下の特徴を、学習、分類、及び予測のために決定することがある：平均第1のゲイン正しいサッカード（average first gain correct saccade） - 精度の尺度（measure of accuracy）（平均位置）；平均第1のゲイン正しいサッカード平均絶対誤差（average first gain correct saccade mean absolute error） - 精密性の尺度（measure of precision）(ターゲットからの平均誤差)；第1のゲイン正しいサッカードSD；第1のゲイン正しいサッカードCV；平均最終ゲイン正しいサッカード（average final gain correct saccade） - 精度の尺度（measure of accuracy）（平均最終位置）；平均最終ゲイン正しいサッカード平均絶対誤差（average final gain correct saccade mean absolute error） - 精密性の尺度（measure of precision）（ターゲットからの平均誤差）；最終ゲインSD正しいサッカード；最終ゲインCV正しいサッカード。

【0323】

サッカディック・エラー。サッカディック・エラーについて、各トライアル（テスト）についてのデータから、以下の指標を決定（抽出）することがある：正しい方向(2値)；間違った方向(2値)；補正した方向(2値)。サッカディック・エラーについて、以下の特徴を、学習、分類、及び予測のために決定することがある：エラー（方向）を伴うトライアルの割合；トライアルの割合。

【0324】

正しい応答。正しい応答について、各トライアル（テスト）についてのデータから、以下の指標を決定（抽出）することがある：合格／不合格、視線がターゲット（正しい応答）とスクリーン中心との間の距離の半分内にある場合に、合格である。正しい応答について、以下の特徴を、学習、分類、及び予測のために決定することがある：正しい（合格）応答の割合。

【0325】

付随するオン-スクリーン指示の例は、以下である：「スクリーン中心のx-字形を凝視してください。」「丸いターゲットが現れたら、できるだけ速く逆の方向を見なさい。」「あなたは、正しい方向を見ると、左、右、上又は下の何れかを指しているV-字形のシンボルが僅かな時間見えるでしょう。その方向を覚えておきなさい。」「次に、あなたは、それがどの方向であったか大きな声で言うことを求められるしょう、又、スクリーンに表示されるその対応するシンボルを見るようにも求められるでしょう。」「あなたには、答えるために、3秒あります、それから、タスクが新たに始まります。」

【0326】

或いは、上記で説明され、図２４Ｅ-Ｈに図示される代替的な実施形態に関して、指示は、以下であることがある：「あなたは、正しい方向を見ると、左、右、上又は下の何れかを指している矢印シンボルが僅かな時間見えるでしょう。その方向を覚えておきなさい。」「次に、あなたは、スクリーンに表示されるその対応するシンボルを見るようにも求められるでしょう。スクリーンに触れる必要はありません。正しい答えを、単に、あなたの目で、見なさい。」「あなたには、答えるために、5秒あります、それから、タスクが新たに、複数回、始まります。」

【0327】

トライアルの最初のブロックの後、以下のメッセージが表示されることがある：「3つのうちのパート2。準備ができたら、Continueをクリックしなさい。」トライアルの2 番目のブロックの後、以下のメッセージが表示されることがある：「3つのうちのパート3。準備ができたら、Continueをクリックしなさい。」

【0328】

図２４Ｅは、中心の十字がある凝視期間を示す。図２４Ｆは、刺激期間のうちのステップ1を示す。図２４Ｇは、刺激期間のうちのステップ2を示す。図２４Ｈは、刺激期間のうちのステップ3を示す。図２４Ｉは、前記タスクを経る各々の実行後に、ユーザを促し、ユーザがタスク中に見たのはどのシンボルかを同定するようにユーザに求める、スクリーンを図示する。

【0329】

プロ-サッカード・タスク及びアンチ-サッカード・タスク(アンチ-サッカードは、水平のみ)に関して、サッカード・ターゲット／アンチ-サッカード・ターゲットは、スクリーン中心からの視角の4つの可能な角度に対応する点に、現れる：垂直最大： +/-15度の視角；垂直中間： +/-8度の視角；水平最大： +/-10度の視角；水平中間： +/-7度、以上およそ。垂直アンチ-サッカードも同様に使用することがあるが、前記水平アンチ-サッカードは、前記診断に特に関連すると判定された。

【0330】

Dが50cmで一定のままであると仮定すると、インチでの以下のS値は：垂直最大S = 3.63インチ；垂直中間S = 1.93インチ；水平最大S = 2.41インチ；水平中間S = 1.69インチ、となるであろう。

【0331】

3.1.5 視運動性眼振タスク

【0332】

本視運動性眼振タスクの文脈では、ユーザに、スクリーンを横切って移動する、垂直又は水平何れかのフル・コントラストの、矩形波格子、が提示される。垂直格子は、一連の垂直な、交互に黒又は白の線、好ましくは等しい幅、である。水平格子は同一であるが、代わりに水平な線を有する。

【0333】

本視運動性眼振タスクは、3秒間の持続時間、中心の固定十字を含む白色スクリーンで、開始する。次いで、垂直格子が現れ、15秒間、左から右に移動し始める。前記固定十字は、前記垂直格子がスクリーン上にある間に消え、ユーザに、ユーザが留まることがあり、それによって、前記タスクを無効にする、凝視点を与えないようにする。垂直格子が、15秒間、左から右に移動した後、スタート・スクリーンが、3秒間、再び現れる。次いで、前記垂直格子は、再び現れ、15秒間、右から左に移動する。その後、スタート・スクリーンが、更に3秒間、現れる。このシーケンスは、水平格子について、繰り返されるが、この場合、格子は、上又は下に移動する。

【0334】

視運動性眼振タスクは、視運動性眼振を誘発することを意味する。いずれかのシークエンスにおいて、視運動性眼振が現れた場合、眼振の振幅及び速度を定量化する、及び記録する。

【0335】

視運動性眼振タスク・パラメータ

【0336】

注：このタスクで定義されているピクセル測定は、iPad 6 の寸法に基づいている：幅 = 1563 px、高さ = 2048 pxである。

【0337】

ユーザは、0.833周期/degの基本空間振動数（fundamental spatial frequency）を有する100%コントラストの矩形波格子（垂直面又は水平面のいずれか）を提示される（より詳細については図２６を参照されたい）。図２６に示すように、100%コントラストの矩形波格子は、白いバックグラウンドに黒い線の格子として表示される。或いは、100%コントラストの矩形波格子は、黒いバックグラウンドに白い線の格子として表示される。少なくとも1つの実施形態では、前記矩形波格子は、図２６に示されるように、垂直であり、水平方向に移動する。少なくとも1つの実施形態では、前記格子は、100ポイント（又は50ポイントの線幅）当たり1周期の基本空間振動数で、フル-スクリーンで表示される。

【0338】

前記格子が提示される前に及び後に、バックグラウンドが白色であるとき、中心に黒い十字を有する白いバックグラウンドを表示するスクリーンがある。言い換えれば、矩形波格子が表示される前で及び後で、白いバックグラウンド(格子の線が黒い場合)が、ディスプレイ(スクリーン)の中心の黒い十字と一緒に、表示される。前記格子が提示される前に及び後に、黒いスクリーンの中心に白い十字を表示するスクリーンがある。

【0339】

スクリーン表示の順序は、以下の通りであることがある：第1に、中心に黒い十字を有する白いスクリーンが、3秒、スクリーン上に表示される。3秒間の後、前記十字は消失し、第1の格子スクリーンが現れる。上述のように、水平格子は、5 deg/s(～363 px/s)の速度で、15秒間、左から右に移動するように提示される。15秒後、前記水平格子は、15秒間、10 deg/s(～726px/s)に速度を増加させて、左から右に移動し続ける。15秒後、白いスクリーン及び中心に黒い十字が、5秒間、表示される。5秒の期間の後、前記十字は消失し、水平格子が再び現れる。水平格子は提示され、今度は、15秒間、5 deg/s(～363 px/s)の速度で、右から左に移動する。15秒後、前記水平格子は、15秒間、10 deg/s(～726 px/s)に速度を増加させて、右から左に移動し続ける。15秒後、白いスクリーン及び中心に黒い十字が、5秒間、表示される。5秒の期間の後、前記十字は消失し、新しい垂直格子スクリーンが現れる。

【0340】

上述した同じ空間振動数を有する垂直格子は、15秒間、5 deg/s(～363 px/s)の速度で上から下に移動して、提示される。15秒後、前記水平格子は、15秒間、10 deg/s(～726 px/s) に速度を増加させて、上から下に移動し続ける。15秒後、白いスクリーン及び中心に黒い十字が、5秒間、表示される。5秒の期間の後、前記十字は消失し、前記垂直格子が再び現れる。垂直格子は提示され、今度は、15秒間、5 deg/s(～363 px/s)の速度で、下から上に移動する。15秒後、前記水平格子は、15秒間、10 deg/s(～726 px/s)に速度を増加させて、下から上に移動し続ける。

【0341】

図２６は、100%コントラスト矩形波格子の例を示す。1サイクル(0.833/deg)は、約92ピクセルの幅に等しい。

【0342】

少なくとも1つの実施形態では、スクリーン表示の順序は、以下の通りであることがある：

【0343】

1. 3秒間、白い十字は、黒いスクリーンの中心にある。3秒の期間の後、前記十字は消失し、第1の格子スクリーンが現れる。2. 上述のように、水平方向に移動する格子は、150ポイント／秒の速度で、15秒間、左から右に移動するように提示される。3. 15秒後、水平格子は、15秒間、300点/秒に速度を増加させて、左から右に移動し続ける。
4. 15秒後、黒いスクリーンの中心にある白い十字が、5秒間、表示される。5秒の期間の後、前記十字は消失し、新しい水平格子が再び現れる、今度は、15秒間、150ポイント／秒の速度で、右から左に移動する。5. 15秒後、前記水平格子は、15秒間、300ポイント／秒に速度を増加させて、右から左へ移動し続ける。少なくとも1つの実施形態では、以下の眼球-運動指標(特徴)を、各眼球について、抽出し、記録する必要がある：眼振の振幅、眼振の振動数、遅い相の速度、速い相の方向；及び凝視中の眼振の持続。少なくとも1つの実施形態では、以下の指標を、遅いドリフト及びサッカード(遅いドリフト-サッカードのペア)の各ペアについて、計算(決定)することがある。

【0344】

遅いドリフト相。遅いドリフト相について、以下の指標を決定することがある：第1の対の前、1回の測定のみを含む遅いドリフトの開始前の潜時；格子運動の開始と戻りサッカード（return saccade）の開始との間の時間経過であるドリフトの持続時間；ドリフト中の最大速度；格子速度に対する眼球速度の比率である速度ゲイン；遅いドリフトの振幅と呼ばれることもあるドリフト中に移動した距離。

【0345】

サッカード速い相。サッカード速い相の間に、以下の指標を決定することがある：第1のサッカード中の最大速度；第1のサッカードの移動した距離(振幅)；第1のサッカードの持続時間(時間)；遅い-ドリフト相に戻る前のサッカードの回数；遅いドリフトの開始前の、スクリーンの中心と最終位置(最終サッカードの終了時の位置)との間の距離；最後のサッカードと次の遅いドリフトの開始との間の持続時間(時間)。

【0346】

視運動性眼振タスクの凝視の間、2つの格子方向の間、5秒間、中心の十字が提示されるとき(言い換えれば、前記凝視中に収集したデータに基づいて)、以下の指標を決定する：遅いドリフトの振幅；戻りサッカード（return saccade）の振幅；ドリフト中の最大速度；戻りサッカード中の最大速度。

【0347】

以下の特徴（これは、2つの速度及び2つの方向の各々について平均化される）を決定することがある。具体的な特徴を、前記タスクの相(期間)の各1つについて、決定する：遅いドリフト相について、サッカード速い相について、及び、2つの格子方向の間、5秒間、中心の十字が提示されるときである凝視相の間。

【0348】

遅いドリフト相。遅いドリフト相の中で得られたデータに基づいて、以下の特徴を決定することがある：遅いドリフトの開始前の潜時；ドリフトの平均持続時間；SDドリフトの持続時間；CVドリフトの持続時間；ドリフト中の平均最大速度；SDドリフト中の最大速度；CVドリフト中の最大速度；格子速度に対する眼球速度の比である平均速度ゲイン；SD速度ゲイン；CV速度ゲイン；平均移動距離 - 遅いドリフトの振幅；SD移動距離；CV移動距離。

【0349】

サッカード速い相. サッカード速い相の中で得られたデータに基づいて、以下の特徴を決定することがある：第1のサッカード中の平均最大速度；SD第1のサッカード中の最大速度；CV第1のサッカード中の最大速度；第1のサッカードの平均移動距離(振幅)；SD第1のサッカードの移動距離(振幅)；CV第1のサッカードの移動距離(振幅)；第1のサッカードの平均持続時間(時間)；SD第1のサッカードの持続時間(時間)；CV第1のサッカードの持続時間(時間)；遅い-ドリフト相に戻る前のサッカードの平均回数；SD遅い-ドリフト相に戻る前のサッカードの回数；CV遅い-ドリフト相に戻る前のサッカードの回数；遅いドリフト開始前の、スクリーンの中心と最終位置(最終的なサッカードの終了時の位置)との間の平均距離；SD遅いドリフト開始前の、スクリーンの中心と最終位置(最終的なサッカードの終了時の位置)との間の距離；CV遅いドリフト開始前の、スクリーンの中心と最終位置(最終的なサッカードの終了時の位置)との間の距離；最後のサッカードと遅いドリフト開始との間の平均持続時間(時間)；SD最後のサッカードと遅いドリフト開始との間の持続時間(時間)；CV最後のサッカードと遅いドリフト開始との間の持続時間(時間)；SD最後のサッカードと遅いドリフトの開始との間の持続時間(時間)；速い相ペアを指す遅いドリフトの総数。

【0350】

凝視相の間、2つの格子の方向の間に、5秒間、中心の十字が提示される場合、以下の特徴を決定することがある：固定十字が提示されている間の、遅いドリフト-速い相のペアの数；遅いドリフトの平均振幅；戻りサッカードの平均振幅；ドリフト中の平均最大速度；戻りサッカード中の平均速度。

【0351】

付随するオン-スクリーン指示の例は、以下である：「スクリーン中心の十字を凝視し、十字が消失したとしても、その他指示があるまで、全タスクを通して、視線を十字のあったところに保持してください。」更に、以下の指示があることがある：「タスク中に、あなたは目が離れていくように感じることがあるかもしれないが、これは完全に正常です。十字があった中心に、視線を維持するように最善を尽くしなさい。」こうして、前記システムは、ユーザに、全タスク中、スクリーンの中心の視線を維持するように促し、それ故に、上記の各種指標及び特徴を測定しながら、視線を焦点を合わせたままにするように操作する（言い換えれば、強制する）。

【0352】

3.1.6 滑らかな追跡（処理スピード）タスク

【0353】

滑らかな追跡タスクのタスク・パラメータ

【0354】

a)少なくとも1つの実施形態では、滑らかな追跡タスクを、図２７の中央に示されるように、外側に黒い円、内側に白い円、及び前記円の中心に黒い十字、を含み、白いスクリーンの中心に位置する、ターゲットで、始める。この刺激は、スクリーンの中心に、2秒間、提示されたままになる。

【0355】

b)この2秒の期間が終了した後、前記ターゲット又は刺激は、x軸又はy軸のいずれかに沿って、8.65°/sの一定速度で、図２７に示される4つの端のうちの1つの方に（図示するために、全てを、一度に、及び初期中心ターゲットと同時に、示す）、滑らかに移動する。

【0356】

c)ひとたび端のうちの1つに達すると、前記刺激は、直ちに方向を変え、同じ速度で、同じ軸に沿って、反対方向に反対の端に達するまで、移動する。

【0357】

d)ひとたびもう一方の端に達すると、前記刺激は、再び直ちに方向を変え、同じ速度で、同じ軸に沿って、前記中心に向かって戻る。

【0358】

e)ひとたび中心に達すると、前記刺激は、再び直ちに方向を変え、他の軸に沿って、前記端のうちの1つに向かって移動する。

【0359】

f)ひとたび端のうちの1つに達すると、前記刺激は、直ちに方向を変え、同じ速度で、同じ軸に沿って、反対方向に反対の端に達するまで、移動する。

【0360】

g)ひとたびもう一方の端に達すると、前記刺激は、再び直ちに方向を変え、同じ速度で、同じ軸に沿って、前記中心に向かって戻る。

【0361】

h)ひとたび中心に戻ると、前記刺激は、直ちに停止し、2秒間、静止したままである。この2秒の期間が終了した後、ステップ2から8を、更に2回繰り返すが、17.1°/s及び25.9°/sの速度の増加を伴う。

【0362】

従って、ユーザの眼球は、動くターゲットを追うように強制される、ここで、前記ターゲットの運動の速度及び軌跡（又は、いくつかの実施形態では、軌跡の選択肢）は、予め決定される。前記タスクが（前記ターゲットの運動の軌跡について、速度及び選択肢の所定の範囲内で）効果的にランダム化され得るように、方向及び速度の可能な組み合わせの各々は、プログラムされる。このタスクに関して、可能な1回の実行の通し（run-through）の1つの例は、以下であることがある：-前記刺激は、中心で始まる、-前記刺激は、x軸に沿って左に移動する、-前記刺激は、x軸に沿って右に移動する、-前記刺激は、中心に戻る、-前記刺激は、y軸に沿って上に移動する、-前記刺激は、y軸に沿って下に移動する、-前記刺激は、中心に戻る。

【0363】

少なくとも1つの実施形態では、滑らかな追跡(処理速度)タスクは、以下の相を有する：初期固定ターゲット相及び滑らかな追跡トライアル相。各トライアルの前に実施される初期固定ターゲット相の間、固定ターゲットは、黒いスクリーンの中心に表示される。言い換えれば、各トライアルは、黒いスクリーンの中心にある固定ターゲットで、始まる。前記固定ターゲットは、1000又は2000msの何れかの擬似ランダム可変期間によって、提示される。ひとたび固定ターゲットの提示期間が終了すると、次に、この固定ターゲットは、直ちに、異なる変化する位置にある動くターゲットによって置き換えられる(以下を参照)。ひとたび前記動くターゲットが現れると、それは、いくつかの所定の方向及び速度のうちの1つにおいて、一定の速度で、直ちに移動する(以下を参照)。

【0364】

少なくとも1つの実施形態では、10回と14回、好ましくは約12回の滑らかな追跡トライアルがある。各トライアルについて、4つの可能な動く方向(上、下、左、右)と3つの可能なターゲット速度(低速、高速、中速)とがある。

【0365】

各々の動く方向は、中心に対して、独自の開始位置を有する（例えば、上に行く場合、それは、前記中心の下で開始する；左に行く場合、それは、中心の右で開始する）。各々のターゲットは、中心から独自の開始距離を有する（より遅い速度では前記中心により近くで開始する、より速い速度ではスクリーンのエッジにより近くで開始する）。少なくとも1つの実施形態では、4つの可能な動きのエンドポイントのみを、1方向につき1つ、中心から、約5度と約15度との間、及び好ましくは約10度（例えば、上への動きが提示される場合、それは、速さ及び中心より下の最初の距離に係わらず、中心より10度上で終了する)、使用する。

【0366】

例えば、「上方に遅い」トライアルでは、前記動くターゲットは、第1の位置でスクリーンの中心の下 (例えば、スクリーンの中心の1.4°下に対応する57ポイント) に現れ、第1の速度(速度)(例えば、8.65°/sに対応する353ポイント/sの速度)で上方に動き、スクリーンの中心の上で停止する(例えば、中心の10°上に対応する409ポイントで停止する)。例えば、「上方に中速」のトライアルでは、前記動くターゲットは、中心の下 (例えば、中心の下110ポイント又は2.69°) に現れ、第1の速度よりも速い速度で(例えば、703ポイント/s又は17.1°/sの速度で)上方に動き、中心の上で (例えば、409ポイント又は10°で) 停止する。「上方に速い」トライアルでは、前記動くターゲットは、中心の下 (例えば、中心の下168ポイント又は4.12°) に現れ、第1の速度よりも約3倍速い最速の速度で (例えば、1075ポイント/s又は25.9°/sの速度で)上方に動き、中心の上で(例えば、中心の上409ポイント又は10°で)停止する。「下方に遅い」トライアルでは、前記動くターゲットは、中心の上(例えば、中心の上57ポイント)に現れ、下方に動き(例えば、353ポイント/秒に対応する8.65°/秒の速度で)、中心の下409ポイント(10°)で、停止する。

【0367】

少なくとも1つの実施形態では、滑らかな追跡タスクにおけるトライアルの順序は、以下の通りである：4つの遅いトライアル(「上方に遅い」、「下方に遅い」、「左方に遅い」、及び「右方に遅い」など)で始まり、次いで中速であり、そして次いで速くなる。少なくとも1つの実施形態では、スピード間の様々な運動の方向の順序は、ランダムである。

【0368】

以下の眼球-運動指標(特徴)は、滑らかな追跡タスクの実施中に撮影されたビデオに基づいて、決定されることがある：

【0369】

- 右方、上方、左方、及び下方についての、速度ゲイン(刺激速度に対する追跡の眼球速度の比)。

【0370】

- 右方、上方、左方、及び下方についての、平均ラグ（average lag）(視線が刺激にどれだけ遅れているか)。

【0371】

- 加速度の反転の回数（サッカディック減弱(saccadic breakdown)を検出するため）。

【0372】

- 刺激の方向に変化がある場合、刺激に対する視線方向エラー。

【0373】

- 視線方向の補正にかかる時間。

【0374】

滑らかな追跡の特徴は、以下の指標であり、特徴は、水平及び垂直の追跡、並びに遅い、中速、速い、及び他の追跡について、抽出／計算される。

【0375】

以下の指標を、滑らかな追跡に基づいて抽出する：開始潜時；追跡中のターゲット速度に対する眼球速度の割合である追跡ゲイン（追いつきサッカード（catch-up saccades）を除く）；追跡中の時間の割合；追いつきサッカード（catch-up saccades）の回数；サッカードの総振幅；追跡ラグ；第1のサッカード潜時；初期追跡速度；ピーク速度；ピーク速度までの時間；最初のサッカード後の平均眼球速度から前記サッカード前の平均眼球速度を引いたものとして決まる、追跡眼球速度の、ポスト-サッカディックな増加。

【0376】

以下の特徴を決定する：平均開始潜時；平均追跡ゲイン；追跡中の時間の平均比率；追いつきサッカード（catch-up saccades）の平均回数；サッカードの平均総振幅；平均追跡ラグ（average pursuit lag）；平均第1サッカード潜時；平均初期追跡速度；平均ピーク速度；ピーク速度までの平均時間；追跡眼球速度の、平均ポスト-サッカディックな増加。

【0377】

付随するオン-スクリーン指示の例は、以下である：「スクリーン中心に現れる円を見なさい。」や「それが止まるまで、それを、あなたの眼で、できるだけ正確に追いなさい。間違う場合もあるかもしれないが、これは完全に正常です。」

【0378】

前記十字が表示される1つの実施形態では、以下のオン-スクリーン指示が表示される：「スクリーンの中心の十字を見なさい。動いているターゲットが現れたら、それが止まるまで、それを、あなたの眼で、できるだけ正確に追いなさい。間違う場合もあるかもしれないが、これは完全に正常です。最善を尽くし続けること。」従って、前記システムは、ユーザに、前記ターゲットを、それが動いた場合、追うように促す、それ故に、本システムは、ユーザに、視線をコントロールし、経路(本出願では、「軌跡」とも呼ばれる)を追うよう、強制する。

【0379】

3.1.7 スパイラル・タスク

【0380】

スパイラル・タスク・パラメータ

【0381】

図３４Ａは、1つの実施形態による、神経疾患に関連した眼球視線-パターン異常を検出するための、スパイラル・タスク方法300のフローチャートを示す。前記スパイラル・タスク方法300は、本スパイラル・タスクの以下のステップを実施する。

【0382】

1. 少なくとも1つの実施形態では、ステップ310で、固定ターゲット（例えば、固定十字等）が、固定ターゲット位置に、表示される。前記固定ターゲット位置は、例えば、スクリーンの中心にあることがある。例えば、白いスクリーンの中心に、1秒間、固定十字（又は別の固定ターゲット）が表示されることがある。

【0383】

2. 次に、ステップ320で、遅い時計回りのスパイラルが表示され始める。遅いとした時計回りのスパイラルは、固定十字が表示されている点（例えば、スクリーンの中心又は別の固定ターゲット位置）から生じて、その点の周りを回転しながらより遠くに移動する。時計回りのスパイラル関数は、例えば、以下である：
x = r・φcos(-φ)、y = r・φsin(-φ)、

【0384】

ここで、r、φは、極座標(r,φ)である、rは、動径座標、φは、角度座標である。角度座標φの増加のステップを、調整することがある。他の関数を使って記載される他のスパイラルを実施することがあることを理解されたい。そのようなスパイラルは、開始点から生じて、前記開始点の周りを回転しながらより遠くに移動する、曲線として特徴付けられる。

【0385】

図３４Ｂは、1つの実施形態による、神経疾患に関連した眼球視線-パターン異常を検出するための、スパイラル・タスク方法400のフローチャートを示す。ステップ410では、表示するためのスクリーンを、及び前記スクリーンの近傍にあるカメラを、含む電子デバイス、が提供される。ステップ420では、一連のターゲットが、前記スクリーン上に、第1の期間、表示される。前記カメラは、ユーザの顔部のビデオを、同時に撮影する。前記一連のターゲットは、固定ターゲット、及び順次表示される複数のスパイラル、を含む、ここで、複数のスパイラルのうちの各々のスパイラルは、固定ターゲットが、前記スクリーン上に、第2の期間、表示された後に、表示される。少なくとも1つの実施形態では、第2の期間の間、固定ターゲット位置に固定ターゲットが表示されるステップの後、複数のスパイラルのうちの各1つ、を表示するステップとする。前記複数のスパイラルは、2つの時計回りのスパイラル、及び2つの反時計回りのスパイラル、を含むことがある、及び複数のスパイラルの各1つは、固定ターゲット位置の周りを回転する。

【0386】

ステップ430では、ユーザの顔部のビデオに基づいて、少なくとも1つの特徴が決定される。ステップ440では、ユーザの顔部のビデオに基づいて決定された少なくとも1つの特徴に基づいて、眼球視線-パターン異常が検出される。

【0387】

図３５は、1つの実施形態による、スパイラル・タスクを実施するときの、遅い時計回りのスパイラルの例を示す。

【0388】

例えば、スクリーンの中心に原点を有するiPad Pro^{(登録商標)}上のピクセルでの座標を仮定すると、角度座標φは、25秒間に0と約65の間で、徐々に増加することがあり、これは約10.3回転に相当する（例えば、8回転があることがある）。動径座標rは、例えば、約15（スクリーンの中心に原点を有するiPad Pro^{(登録商標)}上のピクセルでの座標を仮定する）で、一定のままであることがある。少なくとも1つの実施形態では、前記角度座標を、スクリーンの中心に原点を有し、φが25秒間に0と65の間(約10.3回転)で変化し、一方、rが0.05で一定のままであり、その結果、x及びyが点単位であるように、調整することがある。

【0389】

3. 方法300のステップ330では、白色スクリーンの中心に、固定十字が表示される。例えば、前記固定十字は、1秒間、表示されることがある。

【0390】

4. ステップ340では、速い時計回りのスパイラルが表示され始める。そのような時計回りのスパイラルは、以下の関数で記述されることもある：
x = r・φcos(-φ)、y = r・φsin(-φ)。

【0391】

スクリーン上の速い時計回りのスパイラルの段階的レンダリングを調整することがある。例えば、角度座標φは、0と65との間で増加することがある（調整されることがある）、及び14秒で約10.3回転（又は、例えば、7と13回転との間、例えば、約8回転）スクリーン上にレンダリングされることがある。動径座標rは、一定のままであることがある。例えば、動径座標rは、スクリーンの中心に原点を有し、約15（スクリーンの中心に原点を有するiPad Pro^{(登録商標)}上のピクセルでの座標を仮定する）又は0.05であることがあり、その結果、x及びyは点単位である。この早い時計回りのスパイラルは、ステップ320で、より前に表示された遅い時計回りのスパイラルよりも速く表示される。言い換えれば、この速い時計回りのスパイラルは、ステップ320で、より前に表示された遅い時計回りのスパイラルと比較して、より短い期間、表示される。

【0392】

いくつかの実施形態では、以下のステップ350-380が、実施される。

【0393】

5. いくつかの実施形態では、ステップ350で、固定十字が白いスクリーンの中心に、再び表示される。例えば、前記固定十字は、1秒間、表示されることがある。

【0394】

6. いくつかの実施形態では、ステップ250の後、ステップ360で、遅い反時計回りのスパイラルが表示され始める。そのような反時計回りのスパイラルは、以下の関数で記述されることがある：
x = r・φcos(φ)、y = r・φsin(φ)。

【0395】

フレーム・レート（Frame rate）（言い換えれば、スクリーン上にスパイラルを段階的にレンダリングするステップ）は、φが0と65との間で増加し、25秒で約8回転を表示するように、調整されることがある。動径座標rは、一定のままであることがある。例えば、動径座標rは、約15であることがある（スクリーンの中心に原点を有するiPad Pro^{(登録商標)}上のピクセルでの座標を仮定する）。

【0396】

7. ステップ370で、前記固定十字は、スクリーンの中心に再び表示される。例えば、前記固定十字は、1秒間、表示されることがある。

【0397】

8. ステップ380で、速い反時計回りのスパイラルが表示され始める。前記反時計回りのスパイラルの関数は、以下である；x = r・φcos(φ)、y = r・φsin(φ)。

【0398】

フレーム・レート（Frame rate）（言い換えれば、スクリーン上にスパイラルを段階的にレンダリングするステップ）は、φが0と65との間で増加し、14秒で約8回転を表示するように、調整されることがある。動径座標rは、一定のままであることがある。例えば、動径座標rは、約15であることがある（スクリーンの中心に原点を有するiPad Pro^{(登録商標)}上のピクセルでの座標を仮定する）。本スパイラル・タスク方法300は、ステップ380の後に、終了する。

【0399】

なお、上記のスパイラルは、時間期間内に、スクリーンの中心から始まり、段階的に、表示される。

【0400】

次の特徴（眼球-運動指標）は、スパイラル・タスク中に（言い換えれば、スパイラル・タスク方法300の実施中に）得られたユーザの顔部のビデオに基づいて決定されることがある：各々のトライアルに対する刺激に対する平均視線位置エラー；刺激経路からの逸脱；角速度エラー；最大角速度；各スパイラル回転の間の視線-パターンの真円度の尺度；及び位置上のエラーがある閾値に達する、トライアルの間の時間。

【0401】

少なくとも1つの実施形態では、タスク中の眼球運動をモニタリングすることによって、人の眼球運動を特徴付ける以下の指標を、スパイラル・タスク中に決定することがある：速度についてはフレーム毎；距離については各フレームでの；潜時は1回測定される；動き開始の潜時；線形（接線）速度；角速度；線形（接線）加速度；角加速度；スパイラルの現在の点からの半径距離；スパイラルの現在の点からの角距離；スパイラル経路上の任意の点と視線との間の最短距離である、前記スパイラル経路からの距離（符号付き、内部又は外部経路の何れであるか）；円形経路に沿ったラグ - スパイラル刺激位置と視線を円形経路上に投射した位置との間の距離（符号付き、前方又は後方の何れであるか)。

【0402】

少なくとも1つの実施形態では、以下の特徴を、前記スパイラル・タスク中に、決定することがある（2つのスパイラルの各々の1/10あたり、これは、前記ターゲットの1回のスパイラル回転に相当する）：動き開始の潜時；平均線形（接線）速度ゲイン；平均角速度ゲイン；平均線形（接線）加速度ゲイン；平均角加速度ゲイン；SD線形（接線）速度ゲイン；SD角速度ゲイン；SD線形（接線）加速度ゲイン；SD角加速度ゲイン；CV線形（接線）速度ゲイン；CV角速度ゲイン；CV線形（接線）加速度ゲイン；CV角加速度ゲイン；最大線形(接線)速度；最大角速度；最大線形(接線)加速度；最大角加速度；スパイラルの現在のポイントからの半径距離；SDスパイラルの現在のポイントからの半径距離；CVスパイラルの現在のポイントからの半径距離；スパイラルの現在のポイントからの平均角距離；SDスパイラルの現在のポイントからの角距離；CVスパイラルの現在のポイントからの角距離；スパイラル経路上の任意の点と視線との間の最短距離である、前記スパイラル経路からの平均距離（符号付き、内部又は外部経路の何れであるか）；SD前記スパイラル経路からの距離；CV前記スパイラル経路からの距離；刺激位置と視線を円形経路上に投射した位置との間の距離である、円形経路に沿った平均ラグ（average lag）（符号付き、刺激の前又は後の何れであるか)；前記円形経路に沿ったラグの平均絶対値；SD前記円形経路に沿ったラグ；CV前記円形経路に沿ったラグ。

【0403】

スパイラル・タスク方法の実行中のオン-スクリーン指示の例は、以下であることがある：「スクリーンの中心に表示されるターゲットを見なさい」、「それが、スクリーンの周囲を移動したら、止まるまで、それを、あなたの眼で、できるだけ正確に追いなさい。間違う場合があるかもしれませんが、これは完全に普通です。」前記ターゲットは、円形の又は星形のシンボルであることがある。

【0404】

図３６は、1つの実施形態による、ユーザ530の神経疾患に関連した眼球視線-パターン異常を検出するためのシステム500、を示す。前記システム500は、以下を含む：表示するためのスクリーン502を、及びスクリーン502の近傍にあるカメラ503を、含む電子デバイス501。前記カメラ503は、ユーザ530が前記スクリーン502上に表示された様々な刺激ビデオを見ている間に、ユーザの顔部532を撮影するように構成される。前記システム500はまた、本出願に記載されるように、様々なタスクのターゲットの様々な配列の記載を有するメモリ510、も含む。前記システム500はまた、プロセシング・ユニット511、及びコンピュータ実行可能な指示を保存した非-一時的コンピュータ可読媒体512、も有する。いくつかの実施形態では、メモリ510、プロセシング・ユニット511、及び非-一時的コンピュータ可読媒体512は、サーバ515に配置され、電子デバイス501は、ネットワーク520を介して、前記サーバと通信することがある。いくつかの他の実施形態では、メモリ510、プロセシング・ユニット511、及び非-一時的コンピュータ可読媒体512は、電子デバイス501内に配置される。

【0405】

3.1.8 ピクチャ・フリー-ビューイング(picture free-veiwing)タスク

【0406】

ピクチャ・フリー-ビューイング(picture free-veiwing)タスクのタスク・パラメータ

【0407】

本ピクチャ・フリー-ビューイング(picture free-veiwing)タスクの実施中に、ユーザに対して、ある特定の期間、ランダムなイメージが表示される。少なくとも1つの実施形態では、いくつかのイメージが、ある特定の期間中に、提示される。例えば、7つと13つとの間、好ましくは約10つのランダムなイメージが、前記スクリーン上に、次々に表示されることがある（例えば、所定のイメージのセットから選択される)。例えば、前記ランダムなイメージは、15秒間、表示されることがある。

【0408】

以下の特徴（眼球-運動指標）を、ピクチャ・フリー-ビューイング(picture free-veiwing)タスク中（言い換えれば、ピクチャ・フリー-ビューイング(picture free-veiwing)タスクの実施中）に得られたユーザの顔部のビデオに基づいて、決定することがある：全視線移動距離、水平面内に生成されたサッカードの回数、水平面内に生成されたサッカードの特性（潜時、振幅、速度）、垂直面内に生成されたサッカードの回数、垂直面内に生成されたサッカードの特性（潜時、振幅、速度）、検査したピクチャの面積。これらの特徴は、まとめて「フリー-ビューイング(free-veiwing)特徴」と呼ばれることがある。

【0409】

少なくとも1つの実施形態では、以下の指標を、各イメージについて、決定する：凝視、イメージ・カバー率、サッカード、凝視クラスター。

【0410】

凝視タスクについて、眼球運動を特徴付ける以下の指標を、決定することがある；凝視の総時間；凝視点の総数。前記イメージ・カバー率について、以下の指標を、決定することがある；全視線移動距離；カバーされたピクチャの割合。サッカードに関して、以下の指標を、決定することがある；サッカードの総回数；サッカードの平均振幅；SDサッカードの振幅；CVサッカードの振幅；平均サッカード・ピーク速度／振幅。凝視クラスターに関して、以下の指標を、決定することがある；凝視クラスターの総数；凝視クラスター内で費やされた総時間；凝視クラスター内のサッカードの総回数の割合；1つのクラスターから別のクラスターに向かうサッカードの総数の割合。

【0411】

ピクチャ・フリー-ビューイング(picture free-veiwing)タスク中に、前記特徴（全てのイメージにわたって平均化される）を、凝視、イメージ・カバー、サッカード、及び凝視クラスターについて、決定する。凝視に関して、以下の特徴を、決定することがある：凝視における平均総時間、凝視点の平均総数。イメージ・カバーについて、以下の特徴を、決定することがある；平均全視線移動距離；カバーされたピクチャの平均割合。サッカードに関して、以下の特徴を、決定する；サッカードの平均総回数；サッカードの平均振幅；平均SDサッカードの振幅；平均CVサッカードの振幅；平均サッカード・ピーク速度／振幅。凝視クラスターについて、以下の特徴を、決定することがある；凝視クラスターの平均総回数；凝視クラスター内で費やされた平均総時間；凝視クラスター内のサッカードの総回数の平均割合；1つのクラスターから別のクラスターに向かうサッカードの総回数の平均割合。

【0412】

本ピクチャ・フリー-ビューイング(picture free-veiwing)タスクの実施中のオン-スクリーン指示は、例えば、以下であることがある：「以下のイメージを確認（観察）してください。」

【0413】

3.1.9 視覚空間IMタスク

【0414】

視覚空間潜在記憶(IM)タスクは潜在記憶のタスクであり、従って、参加者は、これが記憶のタスクであることを認識しない。イメージ提示の順序は、全ての個人にわたって、同じである（即ち、固定された所定の順序）。

【0415】

視覚空間IMタスクを実装するために、以下のステップを実施する。

【0416】

1. 第1のセットのオン-スクリーン指示（例えば、「次のセットのイメージをお楽しみください」等）の表示に続いて、ひとたび、参加者が「続ける（continue）」を押すと（言い換えれば、ユーザから受信された進める準備の確認に応じて)、一連のオリジナル・イメージが提示される。例えば、オリジナル・イメージの個数が10の場合、5つのイメージがオブジェクトを追加するように補正され、5つのイメージがオブジェクトを除去するように補正される。各オリジナル・イメージは、数秒間（例えば、各5秒間）表示（提示）され、白色の固定十字は、スクリーンの中央に現れ、例えば、各イメージの間は1秒間である。

【0417】

2. 第2のオン-スクリーン指示は、例えば、20秒間、表示される。例えば、以下の指示が表示される：「イメージの以下のセットをロードするまでしばらくお待ちください。頭部をできるだけ動かさず、スクリーンの中心を見続けてください。」

【0418】

3. 一連の改変イメージ （例えば、一連の10つの改変イメージ）は、数秒間（例えば、各々5秒間）表示され、白色の固定十字は、スクリーンの中央に現れ、例えば、各イメージの間は1秒間である。例えば、オリジナル・イメージの一部分（例えば、5つのオリジナル・イメージがあることがある）のうちの各1つは、第1のタイプの改変イメージの第1のセットを生成するように改変される、ここで、各改変イメージは、追加されたオブジェクトを有し、従って、5つの改変イメージを生成する。前記オリジナル・イメージの他の一部（例えば、他の5つのオリジナル・イメージ）のうちの各1つは、各々が1つのオブジェクトが除去された第2のタイプの改変イメージの第2のセットを生成するように改変される。

【0419】

改変イメージ（第1のタイプの及び第2のタイプの改変イメージ）は、オリジナル・イメージが提示されたのと同じ順序で提示（表示）される。言い換えれば、各々の改変イメージは、前記改変イメージが生成した際に由来したオリジナル・イメージと同じ順序で提示される。前記改変イメージは、1 つ以上のオブジェクトが追加されたオリジナル・イメージ（例えば、オブジェクトが追加された5つのイメージ）、又は1 つ以上のオブジェクトが削除されたオリジナル・イメージ（例えば、オブジェクトが削除された5つのイメージ）、である。

【0420】

ここで、本開示の少なくとも1つの実施形態による、オリジナル・イメージ及び改変イメージの例を図示する、図３８Ａ、３８Ｂを参照する。図３８Ａは、オリジナル・イメージ3801及び改変イメージ3802、を示す。改変イメージ3802は、オリジナル・イメージ3801と比較して、2つのオブジェクト3805が削除されている。例えば、イメージ3811を、オリジナル・イメージとして使用することがある、及び改変イメージ3812は、前記改変イメージ3812を生成するために追加されたオブジェクト3815を有する。例えば、前記イメージは、オリジナル・イメージと改変イメージとの間で変化しない、様々な他のオブジェクトを有するピクチャ、であることがある。視覚空間潜在記憶タスクは、一連のオリジナル・イメージを、及び一連の改変イメージを、表示するステップを含むことがある、各改変イメージは、1つのオリジナル・イメージに対応し、前記オリジナル・イメージと同じ順序で表示され、そこから除去されるか、又はそこに追加される、少なくとも1つのオブジェクトを、各改変イメージは有する。

【0421】

本出願で言及されるように、ROIは、注目の領域（視覚空間IMタスクに言及する場合、前記ROIは「関心-関連領域（interest-related region）」又は「注意-関連領域（attention-related region）」と呼ばれることもある）である、並びに、各々のイメージは、前記イメージの改変部分である、対応するROIを有し、注意を引くことが期待され、それ故に、モニタリングされるべき眼球運動が期待される。例えば、ROIのサイズと形体は、予め定義されていることがある、及び画像に依存することがある。

【0422】

従って、前記改変イメージは、第2のセットのイメージにおいて、提示されたイメージである。改変-追加イメージは、第1のセットにおけるその対応するイメージに対して、オブジェクトが追加された、第2のセットにおけるイメージであり（例えば、第2のセットのイメージは、以下であることがある：ベーキング、カップケーキ、農場、ノーム（gnome）、ハイキング）。改変-除去イメージは、第1のセットにおけるその対応するイメージに対して、オブジェクトが除去された、第2のセットにおけるイメージである（例えば、第2のセットのイメージは以下である：赤ちゃん、クッキー、デスク、フィッシュ、ヘリコプター)。

【0423】

視覚空間IMタスクについて、以下の指標（各々の「改変」イメージについて)）を決定する：ターゲットROI（これは、潜在記憶評価）、及びターゲットROI内の総時間。決定することがある特徴（全ての「改変-追加」イメージ、及び全ての「改変-削除」イメージ、にわたって平均化される）は、ターゲットROI（潜在記憶評価）、及びターゲットROI内の平均総時間である。視覚空間IMタスクのための特徴のセットは、ターゲットROI（潜在記憶評価）、及びターゲットROI内の平均総時間、を含むことがある。

【0424】

少なくとも1つの実施形態では、イメージ・セットについてのROI座標が抽出される。例えば、及び図３８Ａを参照すると、除去されるオブジェクト3805を囲むボックス3807のサイズ、及びボックスのコーナーの座標、が決定される。

【0425】

3.1.10 タスク、指標、及び特徴

【0426】

本出願に記載されるタスクは、ユーザ(患者)の眼に、スクリーン(ディスプレイ)上のターゲットの所定の軌道(経路)を追うことを、強制するために、表示される。従って、ピクチャ・フリー-ビューイング(picture free-veiwing)タスクについて明示的に説明されない限り、眼球の運動（これは、トラッキングされる）は、自発的ではなく、寧ろ強制的である、又は、言い換えると、誘発される。スクリーン上のターゲットは、それに向かって眼球運動を招くことが期待される、及びそれ故に、ターゲットの運動は、前記タスクについての指示として作用する、ここで、前記タスクは、それ故に、モニタリングするべき自由な眼球運動を伴った、自由ビデオ、又はイメージの連続、ではなく、寧ろ、特定のオン-スクリーン要素を使った、指示-ドリブンのタスク、である（人は、前記特定のオン-スクリーンの要素を見ることが期待される、及び前記特定のオン-スクリーンの要素（ターゲット等）に関する特定の眼球運動についてモニタリングされると期待される）。

【0427】

言い換えれば、各々のタスクは、具体的な指標及び特徴を決定するために、ユーザの眼を所定の方法で（所定の経路又は軌道に沿って）動かすことを、強制するように(促すように)、具体的に精巧に作られていている。

【0428】

特に、本出願に記載されるシステムは、ターゲットの所定の（pre-defined）（所定の（pre-determined））表示順序（例えば、ターゲットの所定の軌道など）を提供する。前記ターゲットは、ディスプレイの所定の位置に表示され、そのようなターゲットを続けて表示するステップによって、具体的な指標及び特徴が決定される。ユーザは、前記ターゲットを追うように促され、従って、前記ターゲットの所定の軌道を、及び前記ターゲット（従って、前記ターゲットの所定の軌道）を追う結果としての視線を、測定する、及び特性評価する。

【0429】

例えば、プロ-サッカード・タスクにより誘発された眼球のそのような動きは、眼球の、誘発されていない、ランダムな動きから抽出されたサッカード運動とは、異なっている。眼球のそのような誘発運動の結果として、前記指標を、タスクに参加している対象に対してリアルタイムに行われる眼球運動モニタリングを考慮して、各々のタスクの各々のトライアルから、抽出する。複数のタスク発生、又はトライアル、を実施することができる、並びに、1つの実施形態によれば、前記指標を、各々のトライアルごとに（従って、個別にかかった、前記タスクの各々の(単一)トライアルの継続時間にわたって）平均化する。特徴は、指標よりも高いレベルにあり、従って、ある実施形態によれば、前記特徴を、下表４に例示されるように、同じタスクのいくつかのトライアルにわたって（across）（にわたって（over））、平均化する。

【0430】

いくつかのタスク（例えば、凝視タスク等）は、いくつかの相を有することがある、並びに、特定の指標のセット及び特定の特徴のセットは、前記タスクの各々の相に対応する。例えば、凝視タスク中、第1の特徴のセットは、混入に対応し、本出願では、混入の特徴のセットとも呼ばれる。同様に、第1の指標のセットは、混入に対応し、本出願では、混入の指標のセットとも呼ばれる。指標の別のセット及び特徴の別のセットを、視線ドリフト及び視線安定性：特徴の視線及び安定性セット、指標の視線及び安定性セット、に関して、決定（抽出）する。特徴の視線及び安定性セットは、及び指標の凝視及び安定性のセットは、それぞれ、ドリフト及び安定性に対応する特徴及び指標、を含む。

【0431】

ユーザがスクリーン上に表示されたタスクを見るとき、前記ユーザの頭部を安定化させる必要はない。各々のタスクは、ユーザの眼球の具体的な特性が抽出され得るように、予め決定される。

【0432】

以下の表４は、本開示の様々な実施形態による、本出願に記載される様々なタスクの実施中に記録される、ユーザの顔部のビデオに基づいて決定されることがある、様々な特徴の非-網羅的な概要を示す。

【表4-1】

【表4-2】

【0433】

少なくとも1つの実施形態では、本凝視タスクの実施中に記録されたビデオに基づいて、以下の特徴（本出願ではまとめて「眼球固定の特徴のセット」とも呼ぶ）を決定することがある：平均視線位置、平均視線エラー、サッカードの混入の回数、眼振の存在、眼振の方向、眼振の速度。

【0434】

少なくとも1つの実施形態では、本プロ-サッカード・タスクの実施中に記録されたビデオに基づいて、以下の特徴（本出願ではまとめて「プロ-サッカードの特徴のセット」とも呼ぶ）を決定することがある：サッカード潜時、H/V潜時比率、ピーク・サッカード速度、H/Vピーク速度比率、サッカード・エンドポイント精度、加速度の反転の回数,方向エラー比率。

【0435】

少なくとも1つの実施形態では、本アンチ-サッカード・タスクの実施中に記録されたビデオに基づいて、以下の特徴（本出願ではまとめて「アンチ-サッカードの特徴のセット」とも呼ぶ）を決定することがある：矢印の方向エラー比率、サッカードの方向エラー比率、補正比率、サッカード潜時、ピーク・サッカード速度。

【0436】

少なくとも1つの実施形態では、本視運動性眼振タスクの実施中に記録されたビデオに基づいて、以下の特徴（本出願ではまとめて「視運動性眼振の特徴のセット」とも呼ぶ）を決定することがある：眼振の存在、眼振の速度（遅い相）、眼振の速度（速い相）、眼振の方向、眼振の振幅。

【0437】

少なくとも1つの実施形態では、本滑らかな追跡タスクの実施中に記録されたビデオに基づいて、以下の特徴（本出願ではまとめて「滑らかな追跡の特徴のセット」とも呼ぶ）を決定することがある：速度ゲイン、平均ラグ（average lag）、加速度の反転の回数、視線方向エラー、視線方向を補正するための時間。

【0438】

少なくとも1つの実施形態では、本スパイラル・タスクの実施中に記録されたビデオに基づいて、以下の特徴（本出願ではまとめて「スパイラルの特徴のセット」とも呼ぶ）を決定することがある：各々のトライアルについて、刺激に対する平均視線位置エラー；刺激経路からの逸脱；角速度エラー；最大角速度；各スパイラル回転の間の視線-パターンの真円度の尺度；及び位置上のエラーがある閾値に達するトライアルの間の時間。

【0439】

少なくとも1つの実施形態では、前記特徴を、訓練した機械学習アルゴリズムを、前記ビデオの様々なフレームに適用することによって、決定する。

【0440】

少なくとも1つの実施形態では、ビデオに基づいて特徴が決定された後（言い換えれば、ビデオから抽出された後）、別の訓練した機械学習アルゴリズムを前記特徴に適用して、様々な疾患を、及び／又はこれらの疾患の進行を、検出することがある。例えば、1つ以上の疾患の進行を、様々な時間期間の間にキャプチャされたビデオの比較に基づいて、決定することがある。少なくとも1つの実施形態では、そのようなビデオの比較を、機械学習アルゴリズムによって、実施することがある。

【0441】

視線-パターン・テストは、2つ以上のタスクを含むことがある。例えば、視線-パターン・テストは、本出願に記載されるタスクのいずれか2つの組み合わせを含むことがある。例えば、視線-パターン・テストは、眼球固定の特徴のセットに対応する固定タスク、プロ-サッカードの特徴のセットに対応するプロ-サッカード・タスク、アンチ-サッカードの特徴のセットに対応するアンチ-サッカード・タスク、及び視運動性眼振の特徴のセットに対応する視運動性眼振タスク、スパイラルの特徴のセットに対応するスパイラル・テスト、との任意の組み合わせを有することがある。上述のように、各々のタスクは、スクリーン上に表示される一連のターゲットを含む、及び前記タスクに対応する特徴のセットを、そのタスクの一連のターゲットが表示されている間に記録されたビデオに基づいて、決定することがある。従って、2つのタスクを実行する場合、第1のタスクに対応する第1の特徴のセット、及び第2のタスクに対応する第2の特徴のセット、に基づいて、眼球視線-パターン異常を検出することがある。

【0442】

3.2 データセット

【0443】

上述のテストから収集されたデータセットは、詳しく上述したように、視線トラッキングの目的のために、収集された、及び使用された、データと、多くの同じデータを含む。生データは、前記テスト中に収集された、全-顔部イメージ、並びに関連するメタデータ（例えば、デバイスのタイプ、スクリーンのサイズ、スクリーンの解像度、デバイスの向き、スクリーン上の刺激位置等）、を含むことがある。

【0444】

前記生データから抽出される特徴は、本出願で以下に記載されたエキスパート・モデルのタイプに応じて、変わることがある。いくつかの場合では、前記特徴は、視線推定システムのために使用される特徴と、同じであることがある。好ましくは、それらは、以下に記載されるように、表４に列挙した特徴等の特徴である。

【0445】

3.2.1 合成データ

【0446】

生物医学的なセッティングでは、データは、しばしば、ほとんど無く、その品質が疑わしい場合があることを考慮すると、人工データを生成して、前記モデルを、完全に又は部分的に、訓練することが、可能であることがある。現代のビデオ・ゲーム・エンジンによって達成することができる現実感を考慮すると、顔部のビデオを、全てのパラメータにわたって非常に厳密にコントロールして、生成することがある。従って、前記システムによって、例えば、バーチャルな「参加者」が、実際に、較正ターゲットを正確に見ることが、確実になることがある。

【0447】

このアプローチを使用して、アルゴリズムを、開発し、検証することもある。実際に、検出する必要がある、様々な異常な眼球運動の動態を十分に知ることにより、既知のパラメータを使って、そのような眼球運動を表示する合成データを生成することができる。これにより、前記システムが、特徴抽出アルゴリズムを比較することがある、グラウンド・トゥルース（ground truth）を確立することができる。

【0448】

同様に、視線トラッキングの文脈において、前記モデルの評価は、これまで、実データから構成されるホールドアウト・テスト・セット（holdout test set）を使用して、これまで行われており、従って、参加者が実際にターゲットを見ていたことを、確実に保証できないという、訓練データと同じ品質問題を有する。これによって、定義上、不確実性を有するべきではない、グラウンド・トゥルース（ground truth）に不確実性が加わることがある。合成データによって、そのような不確実性を実質的に減少させることが、可能になることがある。

【0449】

3.2.2 転移学習

【0450】

前述のように、データの利用可能性は、しばしば、生物医学的なセッティングにおいて、問題である。しかしながら、深層学習の訓練は、大量の高品質なデータを必要とする傾向があり、多くの場合、合理的に獲得され得るよりもはるかに多い。この問題を回避するために、転移学習として知られるアプローチを、訓練・パイプラインに適用することがある。

【0451】

人工ニューラル・ネットワーク(artificial neural network (ANN))の訓練中、例えば、各々の層は、予測エラーを最小化するために反復的に改変を受ける特徴のセットを有すると言われる。本モデルの第1層は、低-レベルの特徴、即ち「シンプルな」特徴、を有すると言われ、より深い層は、前の層の特徴を、より複雑で、高-レベルの特徴へと、組み合わせる。

【0452】

移転学習の背後にあるアイデアは、本出願で解決される問題と、ある程度類似した問題を解決するように訓練されたモデルが、実際の問題で学習したであろう特徴と、ほぼ同じ低-レベルの特徴を学習する、というものである。従って、ひとたびモデルが訓練されると、その低-レベルの特徴は、凍結され、高-レベルの特徴は、主な問題を解決するために再訓練されることがある。

【0453】

これは、ネットワークが深くなればなるほど、又はその容量が高くなればなるほど、それを訓練するために、より多くの高品質なデータが必要とされるので、重要である。従って、初期訓練を、現存する大きなデータセット上で行い、その結果、前記ネットワークは、堅牢な低-レベルな特徴を学習することが、可能になることがある、及び次いで、解決するべき問題に直接的に関連するデータ上で、前記ネットワークのより深い層によって表される、はるかに小さいネットワークを、再訓練することが、可能になることがある。

【0454】

例えば、イメージを、それらが、ツチブタ（aardvark）又はセンザンコウ（pangolin）（これらは、強い見た目の類似性を有する動物であり、その類似性のために、存在するイメージの数は、他の動物についてのイメージの数よりも小さい）を示すかどうかについて、分類するために、ネットワークを訓練するステップに関する、無関係なシナリオ、を考えてみましょう。これを堅牢に行うためには、各々のクラスの数千の異なったイメージが必要であろう、そして、そのようなデータセットが、存在すること、又は容易に生成され得ること、は疑わしい。その代わりに、前記ネットワークを、典型的な機械学習(ML)の課題で犬のイメージと猫のイメージとを区別するように、訓練することがある。訓練されたネットワークの最終的な層を、その後、ツチブタ（aardvark）及びセンザンコウ（pangolin）に関する、はるかに小さなデータセットで、再訓練することがある。

【0455】

3.3 エキスパート・モデル

【0456】

本出願では、3つの主要な問題を特定し、解決することができる。そのような3つの問題は、異なって解決され得る。最初の2つの問題は、病態が存在するかどうかを、及びどの特定の病理が存在するかを、決定するステップ、を含む。これらは相互に排他的ではなく、エキスパート・システムを訓練して、病態が存在するかどうかを決定するように訓練することがある、そして、肯定的な回答の場合では、どの病態が存在するかも決定する。ここで、「エキスパート・システム」は、規定されたルールのセットを含むことがあるので、機械学習モデルと同等ではないことに留意されたい。そのようなシステムは、同じ又は異なったアルゴリズムを使用して訓練されたモデルを集めたものであることがある。

【0457】

対処され得る第3の問題は、疾患又は症状の進行を決定することである。この場合、（以前に決定されたように）一定の疾患又は症状が存在すると仮定する、そして、見られる特徴のセットに従って、離散的又は連続的、数値的又はカテゴリー的、であることがある一定のスケールで、疾患又は症状が、どの程度「進行した」かを決定することが期待される、そして、この決定を経時的に繰り返す場合、経時的に進行があるかどうかを決定することが期待される。

【0458】

3.3.1 解析のタイプ

【0459】

上述のタスクに対処するために、2つの主要なタイプの解析が考慮され得る。第1のものは、空間解析と呼ばれることがある。ここで、「空間（space）」とは、所与の問題に対するデータ点が存在する数学的な空間である。この意味で、空間解析は、特定のデータ点が占めるデータ空間内の点から、結論を推論する。これは、視線トラッキング・システムによって実施される一種の解析であり、入力空間内の特定の位置は、出力空間内の特定の視線座標のセットにマッピングされる。

【0460】

第2のタイプの解析は、時間解析と呼ばれることがあり、この場合、結論は、特定のデータ点からの空間内の位置からではなく、一連のデータ点の位置から引き出される。この解析には、入力データが見られる順序が重要となる。このタイプの解析が一般的に用いられることがある問題の例は、自然言語処理である。本文脈では、患者の現在の状態だけでなく、患者の病歴に有益な情報が存在し得るので、そのような解析を使用して、疾患又は症状の進行をモニタリングすることがある。

【0461】

3.4 実施

【0462】

いくつかの異なるアプローチを使用して、診断パイプラインを実装することがある。概して、中間ステップとして、眼球トラッキング若しくは視線予測を使用して、前記問題にアプローチすることがある、又は機械学習を使用して、前記問題を直接的に解決することもある。

【0463】

3.4.1 中間としての視線トラッキング

【0464】

（好ましくは上述のように）中間ステップとして視線トラッキングを使用する場合、2つの機械学習システムは、一方が他方の上に働く。第1のシステムは、ユーザのデバイスによってキャプチャされたイメージ又はビデオから視線予測を生成する。これに、任意選択的に、セクション3.1で説明した特徴を抽出するための診断特徴抽出パイプラインが続くことがある。

【0465】

視線予測を生成するために、 1セットの(X, Y)視線座標を各々の眼球について生成するために、モデル又はモデルのセットが必要とされる。上述の視線トラッキングのための方法は、1セットの視線座標のみを出力するが、そのモデルを再訓練して、各々の眼について、1セットの(X, Y)視線座標を出力することがある、及び眼球視線-パターン異常を検出するという目的の為に使用することができることがある。

【0466】

より具体的には、これらは、上述の視線トラッキングのための方法で使用されるモデルと同様の一般的なモデル、であることがある、次いで、それを、セクション3.1.1に記載される較正タスクからのデータを使用して、較正することがある、又は較正データ上で排他的に訓練される、上述の図６に関して使用されるものと同様のモデルであることがある。両方のアプローチが検討されており、両方とも、他方が生じ得ない結果を提供する。従って、眼球視線-パターン異常を検知するためのパイプラインは、両方のシステムを相補的な方法で使用することが、企図される。

【0467】

それがどのように達成されるかにかかわらず、ひとたび視線位置シグナルが得られると、それらを、神経学的症状の存在を検出するために学習する、又は神経学的症状の進行を決定するために学習する、機械学習システムへの入力ベクトルとして、使用することがある。ここで、モデルの内観を行う能力は、最も重要である。なぜなら、症状を、確実に診断すること、又は追跡すること、が重要であるだけでなく、おそらく、眼球運動のどの特定の特徴がそのような決定につながったか、を判断することもまた同様に重要であるからである。

【0468】

これが、セクション3.1に詳述されているように、視線シグナルから所定の特徴のセットを代わりに抽出することが最初に好ましい理由である。これらの所定の特徴を使用して、データ収集プロトコルを改良する際に、並びに眼球視線-パターンを特徴付けること、及び異常を検出すること、に無関係であると決定される特徴を除去する際に、いくつかの最初の統計的解析を実行することがある。次に、残りの特徴を、機械学習アルゴリズムのための入力ベクトルの個々の数値として使用することがある。この構成によって、各個々の入力の予測力を決定することは、はるかに容易になる。

【0469】

このアプローチの別の利点は、これらの所定の特徴を抽出すれば、これらの特徴から、症状を、同定するために、又はトラッキングするために、訓練を受ける必要があるモデルの複雑さを、低減する可能性が高くなること、である。従って、表４に列挙されているような特徴は、以下の解析のステップ（これは、そのような所定の特徴を、視線-パターンを特徴付けるための、及び異常を検出するための、入力として、使用することがある）を簡略化するために使用される、生データ（ビデオのイメージ又はフレーム）から導出される中間情報である。

【0470】

3.4.2 直接的な予測

【0471】

直接的な予測方法では、モデルを、カメラによってキャプチャされたビデオ上で、直接的に訓練する。イメージ増強又はセグメント化など、いくつかの最小限のプロセシングを実施することがある。しかし、ビデオから診断特徴を抽出するというタスクは、直接的な予測方法を使用する場合、機械学習アルゴリズムに完全に任される。

【0472】

前のセクションで述べたように、どの特徴によって、機械学習モデルの意思決定が、診断又は症状評価と、臨床的に観察可能な特徴との、間の関連を確立することができるように促されるか、を理解することは重要である。これは、モデルがどの特徴を選択したかを決定するために、モデルの内観を実行する必要性があることによって、及びそれらの特徴は、人間の観察者によって容易に解釈され得ないという事実によって、より困難になる。実際、アルゴリズムによって選択された特徴が、特徴であると人が古典的に理解し得るものである、という保証は存在しない。

【0473】

反対に、人によって解釈されるように、人のヒューリスティック及びバイアスを用いて、人によって設計された、典型的な臨床的特徴は、本出願に記載される問題を解決するのに、理想的に適していない可能性も十分にある。機械学習アルゴリズムによって、より多くの情報に富む特徴（これは、次に、可能であれば、人の用語で解釈される必要がある）が、同定されることがある。

【0474】

最後に、直接的な予測方法は、視線トラッキングを中間として使用する別のアプローチよりも、はるかに時間-及び資源-集約的である可能性が高い。診断モデルは、それらの入力がはるかに複雑であるので、実際にはるかに複雑である必要があることがある。これは、今度は、各々の問題について、訓練時間が増加することがあること、従って、訓練のためのデータ要件が増加すること、を意味する。この最後の問題は、セクション3.2.2で論じたように、転移学習を使用することによって対処することがある。

【0475】

少なくとも1つの実施形態では、直接的な予測方法を、それ自体に使用する。少なくとも1つの別の実施形態では、視線トラッキングを、より速い結果を得るための中間として、最初に使用する。

【0476】

3.4.3 特徴抽出

【0477】

このセクションでは、3.4.1 項で説明したように、システムによって抽出される、各々の眼球についての、2 つの視線シグナルから、診断特徴を抽出するために実装された方法、を説明する。セクション3.1で述べた特徴は、タスクではなく、それらの特徴を抽出するために用いられるアルゴリズムの類似性によって、本出願では、分類される。

【0478】

3.4.3.1 アーチファクト検出

【0479】

モデル訓練又は診断特徴抽出の前に検出される必要がある重要なアーチファクトは、片眼又は両眼が閉じられている時間である。実際に、そのようなフレームを、視線推定に依拠する任意のアルゴリズムのための訓練データの中に含めることは、それらのときには視線情報を取得することは無いので、ノイズと見なされる。

【0480】

眼がいつ閉じられるかを同定することは、多くの様々な方法でアプローチすることができる問題である。注釈付きデータが十分大量に与えられると、おそらく、閉じた眼を検出するための最も簡単な方法は、機械学習モデルを訓練することであろう。なぜなら、開いた眼と閉じた眼との間には、大きな視覚的差異があり、この差異によって、前記タスクは、理想的には機械学習に適したものになる。

【0481】

瞬き又は他のアーチファクトが検出されると、ビデオ内の対応するフレーム（イメージ）は、特徴抽出には役立たないので、処理から除去することがある。或いは、様々な疾患状態が瞬き比率に影響を及ぼすことがあるので（特に、パーキンソン病及び進行性核上性麻痺）、瞬きは、抽出されるべき注目の特徴の中にあることがある。処理（瞬きをアーチファクトとして含むフレームを取り除くこと、又は特徴として瞬きを検出すること）は、前記方法の用途に依存する。

【0482】

そのようなデータがない場合、様々なソースから容易に入手可能なモデルである顔部の特徴抽出モデルを使用して、まぶたのいくつかの輪郭を抽出することがある。これから、眼球アスペクト比（Eye Aspect Ratio (EAR)）と呼ばれる測定値を計算して、眼球がどの程度開いているかを表すことがある。前記EARに基づいて、前記システムは、眼が開いている、又は閉じている、を決定することがある。

【0483】

このアプローチを、タブレットから収集されたリアル-ライフのデータの文脈において、試した場合、堅牢性を増加させるためにいくつかのステップを追加したとしても、EAR計算は、不十分な結果をもたらした、ことに留意されたい。いくつかの追加の改良を実装することがある、従って、前記方法を、前記システムによって実装することがあるが、他の方法を以下で説明する。

【0484】

より堅牢な方法は、個々のフレームではなく、一連のフレームを考慮することによって瞬きを検出する。この方法は、ビデオで動作する。この方法は、眼と周囲のまぶたのみを含むように顔部から切り取られたイメージが与えられると、強膜が数百ミリ秒の間、すばやく且つ完全に、視界から遮断されるため、瞬きが発生したときにイメージの色が2つの突然のシフトを受ける、という仮定に基づいている。

【0485】

人の顔部のビデオに基づいて、前記システムは、最初に、各々のフレームについて、常に同じ、1つの眼球のみを抽出し、そのようにして、その人の眼球のうちの1つについてのビデオを生成する。次いで、前記システムは、このビデオを単一のイメージに変換する、ここで、前記イメージの各々の垂直な線は、単一のフレームのグレースケール・ヒストグラムである。先に説明した色のシフトを考慮すると、眼が開いたり閉じたりするたびに、合成ヒストグラム・イメージ上に、垂直なエッジが現れる。次いで、前記システムは、これらのエッジを検出し、ペアにして、瞬きを検出する。この方法はかなりうまく機能する。この方法を、堅牢性を改善するために、他の方法と併用することもある。

【0486】

3.4.3.2 エンドポイント精度

【0487】

エンドポイント精度は、凝視中の単一の眼球の視線に関する平均精度である。これは、デバイスのスクリーン上（例えば、タブレットの内蔵カメラを使用するタブレットのスクリーン、又はスマートフォンの内蔵カメラを使用するスマートフォンのスクリーン等）の特定位置でターゲットを凝視するように、ユーザが求められる場合、視線をターゲットにもたらすサッカードは無視されなければならないことを、意味する。その他、前記精度は、単に、凝視中に生成された全ての視線予測の平均値をとることによって、与えられる。凝視の安定性に関する更なる情報は、視線予測の標準偏差に基づいて、生成されることがある。

【0488】

3.4.3.3 サッカードの計測

【0489】

サッカードは、中心窩を視覚的注目の対象に移動させるために行われる、速い眼球運動である。サッカードの定義的特性としては、潜時、ピーク速度、及び精度、が挙げられる。潜時は、刺激の提示と眼球運動の始まりとの間の、通常150と400ミリ秒との間の、時間量として定義される。ピーク速度は、サッカード中に眼球が到達する最高角速度であり、通常、毎秒あたりの度(deg/sec)で表される。

【0490】

精度は、サッカードの終了時における、ターゲット位置と眼球の位置との間の差異である。これは、ハイポメトリックな（hypometric）、及びハイパーメトリックな（hypermetric）サッカードが発生し、その後に補正サッカードが追加されることがあるため、前のセクションで説明したエンドポイントの精度とは異なる。従って、人は、サッカディックな不正確さを有するが、ほぼ完全なエンドポイント精度を有することが可能である。

【0491】

潜時及びピーク速度を、セクション2で上述したように収集された視線データなどの視線データからの単一のサッカディック・シグナルに、サッカードのパラメトリック・モデルを適合すること基づいて、決定することがある。サッカード・モデルのパラメトリック・モデルは、度で表された位置情報に適合することを意味するので、前記システムは、上述の視線トラッキングのための方法によって決定された(X, Y)座標を、カメラに対するユーザの眼球の角度に、変換する必要がある。

【0492】

これを行うために、前記システムは、スクリーン上の凝視の位置及びユーザとカメラとの間の距離、を考慮して、角度を決定するために、簡単な三角度法を使用することがある。ユーザとカメラとの間の距離を、顔部の平均的な寸法の人体測定データを、顔部の特徴座標のセットに関連付けることによって、決定（推定）することがある。そのような推定は、5%以内で正確であることがある。

【0493】

サッカードのパラメトリック・モデルを、サッカディック・シグナルに適合することによって、前記システムは、サッカード潜時を決定する。前記サッカード潜時に基づいて、前記システムは、サッカードのピーク速度及び振幅を計算することができ、これによって、サッカードの精度を決定することが可能になる。実際のサッカードの振幅の符号を、期待されるサッカードの振幅の符号と比較することによって、前記システムはまた、前記サッカードが正しい方向で実行されたかどうかを決定する。

【0494】

パラメトリック・モデルによってサッカードを測定することが可能になるが、それらを検出することを可能にしないので、刺激ごとに単一のサッカードが発生することが、これまで想定されてきた。これは必ずしも当てはまるわけではない。なぜなら、誤った方向のサッカードの後には、ハイポメトリックな又はハイパーメトリックなサッカード、であることがある、補正サッカードが続くことがあるからである。赤外眼球トラッキングを使用する場合、サッカードは、通常、振幅、速度、及び加速度に関するシグナルを閾値処理することによって検出され、3つのシグナル全てがある特定の値を超える場合に、サッカードが検出される。これらの値は、眼球トラッカーによって変化する傾向がある。

【0495】

3.4.3.4 サッカディックな混入

【0496】

サッカディックな混入は、一連の2つ以上の高速眼球運動が、不規則に、一過性に、発生することである。有利には、それらは、サッカードを測定することによって測定することができる。

【0497】

3.4.3.5 眼振の計測

【0498】

眼振は、凝視中又は滑らかな追跡中のいずれかの、眼球の準-周期的な振動によって特徴付けられる。生理的な特性（例えば、運動の方向、若しくはそれに伴う運動の振動等）に基づいて、又は経時的な眼球の角度の波形の形状に基づいて、様々なタイプの眼振を定義することができる。

【0499】

診断特徴の抽出パイプラインの目的のために、前記システムは、経時的な眼球の角度の波形に焦点を合わせることがある。前記システムは更に、これを、同じアルゴリズムによって、しかし独立して、処理を受けるべき、水平の次元及び垂直の次元に分解する。

【0500】

これは、4つの異なるタイプの波形を産み、同定される及び測定される：正弦波形として現れる振り子眼振、及び衝動性眼振（jerk nystagmus）（ここで、眼球は、1つの方向に、素早く移動し(速い相)、もう1つの他の方向に、よりゆっくりと戻る(遅い相)）。衝動性眼振（jerk nystagmus）を、遅い相の形状：一定速度、指数関数的に減少する速度、又は指数関数的に増加する速度、に基づいて、更に区別することがある。

【0501】

視線シグナルにおける眼振の検出を、視線シグナルのパワー・スペクトル密度における、ある特定の振動数範囲内のスパイクの存在を検出することによって、堅牢に達成することがある。このスパイクは、眼振に応じて、様々な範囲で発生し、これは、衝動性眼振（jerk nystagmus）が高調波を示す一方、振り子眼振（pendular nystagmus）が示さないという事実と同様に、存在する眼振のタイプの第1の指標として機能することがある。前記スパイクのピーク振動数を、前記眼振の振動数の尺度として、直接的に使用することができる。この基本振動数の周りのバンドパス・フィルタを使用して、オリジナルの視線シグナルをフィルタリングすることにより、眼振の振幅の直接的な計測が可能になる。

【0502】

衝動性眼振（jerk nystagmus）のケースでは、前記システムは、速い相の間に眼球が動く方向によって定義される、眼振の方向、並びに速い相の間の及び遅い相の間の、眼球の速度、を測定する。眼球は、運動中、一定の速度の衝動性眼振（jerk nystagmus）についてさえ、完全に一定の速度プロファイルを持たないので、各々の相の速度を、時系列での総角移動（total angular travel）、従って、平均角速度、として定義することがある。

【0503】

衝動性眼振（jerk nystagmus）を測定するために、前記システムは、眼振だけを残すためにフィルタリングした視線シグナルのピーク及びトラフ(trough)を見つけることがある。次いで、前記システムは、前記シグナルを、ピークからトラフ(trough)まで、及びトラフ(trough)からピークまで、にセグメント化することがある。これらのセグメントを、「短い」グループ及び「長い」グループに、グループ化することによって、前記システムは、次いで、速い相を遅い相から効果的に分離することができる。次いで、前記システムは、前記眼振の各々の相の速度を得るために、各々のグループにわたって速度を平均化することがある。速い相の速度ベクトルの角度に基づいて、眼振の方向が決定される。

【0504】

最後に、どのタイプの衝動性眼振（jerk nystagmus）が存在するかを区別するために、前記システムは、線形関数及び指数関数を、遅い相に適合することがある。2つの間の最良の適合によって、一定の速度と指数関数的な速度とが区別される。指数関数的に変化する眼振の場合、指数関数の符号によって、指数関数的に増加する速度と指数関数的に減少する速度とが区別される。

【0505】

3.4.3.6 滑らかな追跡の計測

【0506】

滑らかな追跡とは、正常な人において、眼球が滑らかに回転してターゲットをトラッキングする間の眼球運動の1つのタイプである。滑らかな追跡が始まると、サッカディックな運動が発生することで、視線がターゲットに追いつくことが可能になり、その後、前記眼球は、ターゲットを滑らかにトラッキングしようと試みる。ターゲットの速度に変化が生じた場合、眼球のモータ装置は適応するためにいくらかの時間を必要とし、その間、追跡は、元々の方向で続き、その後、上記サッカードを実行して、最終的に追跡を再開する。

【0507】

滑らかな追跡を測定するために及び分析するために、前記システムは、ターゲットの後ろの視線の平均ラグ（average lag）、ターゲットの速度と視線の速度との間の比率である、視線の速度ゲイン、並びにターゲットの速度ベクトルの変化後に視線速度ベクトルを補正するのにかかる時間、を測定することがある。

【0508】

このタスクは、いくつかのセグメント（前記セグメントの中では、ターゲットは、一定の速度で、1つの方向に、移動し、前記セグメントの終了時に、ターゲットは、方向を及び場合によっては速度を、変える）からなる。同じ解析を、各々のセグメントに、適用することがある。単一のセグメントの解析を、本出願において以下に記載する。

【0509】

初期のサッカディックな運動を無視すると、視線とターゲットとの間のラグを、視線座標とターゲット座標との間の平均絶対誤差と、みなすことがある。同様に、速度ゲインを、視線シグナルの平均速度とターゲットの速度との間の比率に基づいて、決定することがある。

【0510】

「補正（correction）」までの時間を決定するために、前記システムは、サッカード-様の補正動作(即ち、補正)、及びそれが生じるまでの時間、を検知する。サッカード-様の補正動作を検出するために、実際のサッカードとこの特定のシグナルとの間の僅かな差異を説明するために、いくつかの考えられる改良を伴って、サッカード検出アルゴリズムを使用することがある。この補正運動が堅牢に検出される場合、補正までの時間を、セグメントが始まってからの、サッカード-様の補正動作の発生時間に基づいて、決定することがある。

【0511】

3.4.4. 機械学習使用する方法の実施形態

【0512】

図３７Ａは、本開示の実施形態による、神経疾患、及び神経疾患に関連した眼球視線-パターン異常、を検出するための方法600、を示す。ステップ610では、本出願に記載される様々なタスクについての刺激ビデオが、表示される。前記刺激ビデオは、視線パターン解析の精密性を高めるために使用される、較正タスクに対応し、以下のタスクのうちの、全ての、又はいくつかの、組み合わせに対応する：凝視タスク、プロ-サッカード・タスク、アンチ-サッカード・タスク、眼振タスク、滑らかな追跡タスク、スパイラル・タスク、及びイメージ凝視タスク。刺激ビデオの各々は、各々のタスクについて、本出願で上述したように、スクリーン上に表示される、一連のターゲットを含む。

【0513】

ステップ612では、眼球-視線の予測のための、4つの機械学習モデルが生成される。前記4つの機械学習モデルは、左眼球運動、右眼球運動、水平視線座標、及び垂直視線座標、に関する。

【0514】

ステップ614では、機械学習アルゴリズムを使用して、機械学習モデルを使用して、各々のタスクについての視線予測を生成する。そのような視線予測は、各々のタスクについて記録されたユーザの顔部のビデオに基づいて、行われる。前記機械学習アルゴリズムは、様々なタスク（例えば、凝視タスク、プロ-サッカード・タスク、アンチ-サッカード・タスク、眼振タスク、滑らかな追跡タスク、スパイラル・タスク、及びイメージ凝視タスク等）を実施しながら収集されたデータを、利用する。

【0515】

ステップ616では、各々のビデオ・フレーム内で決定された視線を使用して、各タスクについて（例えば、凝視タスク、プロ-サッカード・タスク、アンチ-サッカード・タスク、眼振タスク、滑らかな追跡タスク、スパイラル・タスク、及びイメージ凝視タスク等）、特徴が抽出される。その抽出された特徴は、タスクごとに異なってもよい（例えば、表４を参照）。

【0516】

ステップ620では、事前に-訓練した機械学習モデルを使用して、神経疾患、及び／若しくは神経疾患の進行、並びに／又は神経疾患に関連した眼球視線-パターン異常（及び／若しくはその進行）を決定する。そのような事前に-訓練した機械学習モデルを、例えば、400を超える特徴を用いて訓練して、神経疾患、その進行、並びに／又は神経疾患に関連した、眼球視線-パターン異常、及び眼球視線-パターン異常の進行、を予測することがある。ステップ620では、ステップ616で、各々のタスクについて決定された特徴に基づいて、前記神経疾患を検出する。また、前記神経疾患の状態及び／又は進行、神経疾患に関連した眼球視線-パターン異常、及び眼球視線-パターン異常の進行、を決定することもある。

【0517】

図３７Ｂは、何ら較正を必要としない本開示の別の実施形態による、神経疾患及び神経疾患に関連した眼球視線-パターン異常、を検出するための方法630を示す。ステップ632で、ユーザ体験及び本方法を実行するのに必要な時間の観点で有利に、回避することができる較正タスクを除いて、本出願で記載される様々なタスクについての刺激ビデオが表示される。前記刺激ビデオは、以下のタスクの全て又は一部の組み合わせに対応する：凝視タスク、プロ-サッカード・タスク、アンチ-サッカード・タスク、眼振タスク、滑らかな追跡タスク、スパイラル・タスク、及びイメージ凝視タスク。刺激ビデオの各々は、各々のタスクについて本出願で上述したようにスクリーン上に表示される一連のターゲットを含む。

【0518】

ステップ636では、ユーザの顔部に関する記録されたビデオを、及び特徴のセットのうちの各々の特徴についての（又はカテゴリによってグループ化した特徴についての）、事前に-訓練した機械学習モデルを、使用して、各々のタスクについて、特徴が抽出（決定）される。事前に-訓練した機械学習モデルが使用する特徴は、以下のうちの組み合わせ、又は1つである：加速度の反転の回数、サッカードの混入の回数、眼振の振幅、角速度エラー、矢印の方向エラー比率、平均偏差誤差、平均視線位置、平均視線位置エラー、平均ラグ（average lag）、補正比率、方向エラー比率、眼振の方向、視線方向エラー、水平対垂直(H/V)潜時比率、H/Vピーク速度比率、最大角速度、各々のスパイラル回転の間の視線-パターンの真円度の尺度、ピーク・サッカード速度、眼振の存在、サッカード方向エラー比率、サッカード・エンドポイント精度、サッカード潜時、タイム・エラー閾値（time error threshold (TBD)）、視線方向を補正するための時間、速度ゲイン、及び眼振の速度。少なくとも1つの実施形態では、本出願に列挙される特徴のうちのいくつかの組み合わせは、事前に-訓練したモデルによって、使用されることがある。方法630の実施形態では、前記特徴を、中間的に視線予測をすること無く、直接的に抽出する。

【0519】

ステップ638は、方法600のステップ620と同様である。ステップ638では、神経疾患及び／又は前記神経疾患の進行を予測するために、400を超える特徴を用いて訓練された、事前に-訓練したモデルを使用して、前記神経疾患及び前記神経疾患の進行が決定される。少なくとも1つの実施形態では、前記機械学習モデルが、様々な特徴に基づいて、前記神経疾患に関連した眼球視線-パターン異常を予測するように訓練される、そして、それ故に、前記神経疾患に関連した眼球視線-パターン異常を決定することができる。前記神経疾患に関連した眼球視線-パターン異常の進行も決定され得る。いくつかの実施形態では、前記神経疾患に関連した眼球視線-パターン異常を決定するステップは、前記神経疾患を決定するステップ、を含む。

【0520】

ここで図３７Ｃを参照すると、何ら較正を必要としない、本開示の別の実施形態による、神経疾患及び神経疾患に関連した眼球視線-パターン異常を検出するための方法640である。ステップ632は、図３７Ｂの方法640と同じである。ステップ642では、少なくとも1つの事前に-訓練した機械学習モデルを使用して、及びユーザの顔部のビデオの一部又は全部に基づいて［前記ビデオは、タスク(凝視、プロ-サッカード、アンチ-サッカード、眼振、滑らかな追跡、スパイラル、イメージ凝視)が表示されている間に記録された］、神経疾患、並びに／若しくは前記神経疾患の、状態及び／若しくは進行、並びに／又は前記神経疾患に関連した、眼球視線-パターン異常、並びに／若しくは眼球視線-パターン異常の、状態及び／若しくは進行、が決定される。方法640では、前記神経疾患、前記神経疾患、前記神経疾患の、状態及び／又は進行、前記神経疾患に関連した眼球視線-パターン異常、並びに眼球視線-パターン異常の進行、が、ユーザの顔部の記録されたビデオから、直接的に決定される。

【0521】

方法600、630、640は、1種以上の神経疾患及び前記神経疾患に関連した眼球視線-パターン異常、を決定することがある。例えば、12種もの疾患が決定され得る。

【0522】

少なくとも1つの実施形態では、本出願に記載される方法は、コンピュータ・プログラム製品として、具現化されることがある。少なくとも1つの実施形態では、本出願に記載されるシステムは、コンピュータ実行可能な命令（プロセシング・ユニットによって実行されると、前記プロセシング・ユニットに、本出願に記載される方法のステップを実行させる命令）を保存する、非-一時的コンピュータ可読媒体を含む。

【0523】

4. 本出願に記載されるシステム及び方法によって検出され得る異常に関する考察

【0524】

サッカード - サッカディック眼球運動は、経時的な眼球の角度のグラフを見ると、おおよそS字状のカーブを描く。前記運動の間、眼球のピーク角速度は、S字状の真ん中の点に達する。このピーク速度は、サッカードの振幅及び前記運動を実行する人、に依存する。従って、人のサッカディック装置は、サッカードの振幅とそのサッカードのピーク速度との間の関係を記述する、減少する指数曲線である、「主系列（main sequence）」によって表現することができる。この関係は、以下の式によって与えられる：

【数6】

ここで、ηは、無限振幅のサッカードが与えられたときの可能な眼球角速度の最高値である；及び、cは、振幅に対する速度の成長比率である。

【0525】

時刻t=0で始まり、初期眼球角度が0度であるサッカードについて、サッカード運動の動力学は、以下の式によってパラメータ化される：

【数7】

【0526】

サッカディック潜時(t₀)及び初期眼球角度(s₀)を前記モデルの中に組み込みたい場合、その全体モデルは以下のように表される：

【数8】

【0527】

仮想の人について、サッカード装置を生成し、次いでこの装置を用いてサッカードを生成するために、η、c、及びt₀パラメータを、以下の範囲からサンプリングすることができる：

【数9】

【0528】

S₀パラメータは、単に、前記サッカードの開始における眼球の角度である、及びサッカード振幅Aが与えられると、τパラメータは、以下で与えられる：
τ=A/η 。

【0529】

このモデルは、前記運動が純粋に水平又は垂直でない場合、完全な運動を生成するために、サッカードの水平及び垂直成分に個々に適用されるべきである。

【0530】

眼振

【0531】

眼振は、少なくとも1つの遅い相を有する、不随意で、迅速で、リズミックで、振動性の眼球運動である。衝動性眼振（jerk nystagmus）は、遅い相及び速い相を有する、眼振である、一方、振り子眼振は、遅い相のみを有する、眼振である。

【0532】

眼振は、持続的又は一過性であることがある。眼振の出現は、自発的に起こることがある、ある一定の視線位置又はビューイング状態（viewing condition）においてのみ起こることがある、又は特定の操作によって引き起こされることがある。眼振の波形は4タイプしかないが、眼振のタイプはもっと多いと言うべきで、そのうちのいくつかは、生理的（正常）である、及びいくつかは病態である。そのため、観察される眼振のタイプを決定するためには、眼振が起こる状況に関する情報が極めて重要である。

【0533】

図２８は、4つの特徴的な眼振波形を示す。

【0534】

1. 図２８に描かれた一定速度の波形281は、ターゲットから離れた視線位置の一定速度のドリフトと、それに続く補正サッカードによって、特徴付けられる。そのような一定速度波形281は、視運動性眼振に対応することがある。

【0535】

2. 増加速度の波形282は、遅い相中に指数関数的に増大するスピードを有するターゲットから離れる視線位置のドリフトと、それに続く補正サッカードによって、特徴付けられる。そのような増加速度の波形282は、先天性運動眼振に対応することがある。

【0536】

3. 減少速度の波形283は、遅い相中に指数関数的に減少するスピードを有するターゲットから離れる視線位置のドリフトと、それに続く補正サッカードによって、特徴付けられる。そのような減少速度の波形283は、視線誘発眼振に対応することがある。

【0537】

4. 振り子眼振は、片眼又は両眼に、異なる量で、影響を及ぼし得る正弦波形284によって、特徴付けられる。それは、しばしば、水平平面に限定されるが、いくつかの病態は、垂直振り子眼振を引き起こすことがある。それは、正弦波であるため、振り子眼振には、遅い相又は速い相、はない。

【0538】

眼振のタイプ： APN及びGEN

【0539】

後天性振り子眼振（Acquired Pendular Nystagmus (APN)）

【0540】

多発性硬化症(MS)関連APNでは、振動は、通常、f₀∈ [2,6]Hz範囲の振動数であり、約3度の最大振幅を有するが、これは、はるかに少ないことがある。前記振動の振幅は、アレキサンダーの法則（Alexander’s Law）に従い、それによれば、振動の振幅は、視線位置の偏心（eccentricity of the gaze position）に比例する。更に、APNは、瞬き又はサッカードの間に消失し、瞬き又はサッカードが終わった後、数百ミリ秒かけて、徐々に再び現れる。前記振動はまた、前記瞬き又はサッカードを引き起こした神経パルスの持続時間に比例する分だけ、位相-シフトを起こす。従って、サッカードの場合では、前記振動の位相シフトは、前記サッカードの振幅に比例する。

【0541】

視線誘発眼振（Gaze-Evoked Nystagmus (GEN)）

【0542】

GENは、遅い相の及び速い相の運動を特徴とする、衝動性-様運動である。偏心性の視線（eccentric gaze）の間、眼球は、指数関数的に減少する角速度で、一次位置に向かって回転して戻る。これに続いて、補正サッカードが起こり、視線は偏心性の視線位置（eccentric gaze position）に戻される。従って、速い相は、偏心位置（eccentric position）の方向にある、一方、遅い相は、一次位置に向かう。

【0543】

この運動の振幅及び振動数はアレキサンダーの法則（Alexander’s Law）に従い、それによれば、前記眼振の振動数及び振幅は、偏心性の視線（eccentric gaze）の振幅に比例する。病態性のGENの振幅は、ほぼ常に4度より大きい。更に、病態性のGENは、持続し（20-30秒を超えて持続する）、非対称であることがある。

【0544】

GENは準周期的なシグナルであり、そこでは、各々の衝動（jerk）の間の平均時間は、所与の人に対して、所与の偏心性の視線位置（eccentric gaze position）について、一定であるが、衝動（jerk）によって変化する。同様に、衝動（jerk）の振幅は、衝動（jerk）によって変化する。

【0545】

多発性硬化症におけるGEN：多発性硬化症の患者では、GENは、しばしば、内側縦束（medial longitudinal fasciculus (MLF)）への病変によって引き起こされ、これは、次に、核間性眼筋麻痺（internuclear ophtalmoplegia (INO)）を引き起こす。

【0546】

INOは、内側縦束(MLF)［これは、眼球の共役運動を一方向にコントロールする脳内の組織である］の病変である。従って、2つのMLFがあり、1つは左側の共役運動をコントロールし、1つは右側の共役運動をコントロールする。INOは、MLFのうちの1つ（片側性INO）又は両方（両側性INO）に影響を及ぼすことがある。

【0547】

INOは、対側視線における患眼球の内転の衰弱、又は不全、及び外転眼球の眼振、を引き起こす。例えば、右INOでは、左を注視する場合、右眼球は固定ターゲットに到達せず、左眼球は左-拍動性眼振（left-beating nystagmus）（左側への速い相）を示す。片側性INOは、虚血を伴うことが最も多く、一方、両側性INOは、一般に、MS患者に見られる。従って、MS患者では、左の視線は、右眼球を左に最小限に移動させ、一方、左眼球は固定ターゲットに到達するが、眼振を示す。

【0548】

視運動性眼振（Optokinetic Nystagmus (OKN)）

【0549】

動いている視野によって、又は静止した視野での自己回転（眼を開いて所定の位置で回転する）によって、誘発される眼振。このタイプの眼球運動は、視野の方向移動の遅い相と、それに続く視野の方向移動とは反対側の方向移動のサッカードによって、特徴付けられる。真のOKNでは、振動は、典型的には、振幅が3-4度、振動数が2-3Hz、である。

【0550】

遅い相は、線形速度であり、健常な個体では、対称的である。真の視運動性眼振を、人を囲み、前記人の周りを回転する、ストライプ状の視野によって、近似することができる。対照的に、視運動性ドラム（optokinetic drum）を使用すると、主に滑らかな追跡システムが動員される。

【0551】

少なくとも1つの実施形態では、眼振は、スペクトル解析に基づいて検出することがある。例えば、角運動のフーリエ変換を、特定の振動数又は振動数間隔に適用することがあり、眼振と相関するように決定することがある。

【0552】

サッカディック混入 - サッカディック混入は、凝視を中断させる、不随意の共役サッカードである。いくつかのタイプのサッカディック混入が存在し、例えば、矩形波眼球運動(square wave jerks (SWJ))、矩形波パルス(square wave pulses (SWP))、マクロサッカディック振動、サッカディック・パルス、眼球粗動、及びオプソクローヌス、が挙げられる。いくつらかの断続的で、ランダムな、サッカディック混入（特に、SWJ）は、健常な患者に見られることがあるが、多発性の神経症状を有する患者においては、非特異的な所見として、見られることもある。しかしながら、より持続的なサッカディック混入（例えば、眼球粗動又はオプソクローヌス）は病態的であり、評価が必要である。患者に症状があり、根底にある病因に依存する場合、治療を考慮してもよい。

【0553】

矩形波眼球運動（Square wave jerks(SWJ)）- 矩形波眼球運動は、眼がターゲットから離れ、200-400msのサッカード間の間隔の後、ターゲットに戻る、不随意のサッカードのペアである。SWJは、1分あたり16回までの割合で、健常な個体において、単独で起こることがあるが、クラスターとして起こることもある。後者の場合、SWJの発生間に、200-400msのサッカード間の間隔が、配慮される。経時的な角運動の例を、図３３に示す。例えば、矩形波眼球運動を、サッカードを検出することによって、及び、次いで、特定の範囲内にあるサッカード間の間隔で生じる、同様の振幅であるが逆方向のサッカードのペアを見つけることによって、決定することがある。

【0554】

SWJを実際にレコーディングしたものである図３０に見られるように、個々の発生は、ターゲットの同じ側にある必要はなく、代わりに方向を変えることがある。SWJは、典型的には、0.5-5度の振幅を有する。より大きな角度振幅は可能であるが、それらは、マクロ矩形波眼球運動として分類される。

【0555】

SWJは、凝視タスク中に、並びに追跡タスク中に、起こることがある。追跡タスク中に、サッカード後の眼球の速度は、前記ターゲットの追跡が中断されないように、サッカード前と同じであるべきである。

【0556】

マクロ・サカディック振動 - マクロサッカードは、図３１に示すように、サッカディック・ハイパーメトリア（saccadic hypermetria）による、凝視点の周りの振動である。それらは、典型的には、200ms前後の通常のサッカード間の間隔で、振幅が増大し、その後、低下する、一連の通常は水平サッカード、を伴う。これらの振動は、視線シフト（あるターゲットから別のターゲットへのサッカード）によって、通常、誘発される。

【0557】

眼球粗動 - 図３２に示すように、しばしば自発的なサッカードの後に始まる、サッカード間の間隔が無い、水平共役サッカードの断続的なバースト(burst)である。振動の振動数は、10-25Hzであり、より小さい運動は、より高い振動数に関連する。前記運動は、振幅が1-5度である。

【0558】

オプソクローヌス - 眼球粗動とは異なり、オプソクローヌスは、垂直な、及びねじれの、成分を有することがあり、その結果、多-方向性サッカードがもたらされる。オプソクローヌスは、通常の凝視を妨げる、並びに追跡、輻輳（convergence）、瞬き、瞼を閉じている及び睡眠中に、存在する、典型的には、大きく、多-方向性で、共役の、及びランダムなサッカードとして、現れる。

【0559】

5. オプティカル・フロー（optical flow）

【0560】

オプティカル・フローは、ベクトル場を有する、視野における注目の領域の見かけの運動の表現である。本出願で言及されるように、「注目の領域（area of interest）」は、比較的高コントラストの任意の領域であることがある。それは、全体オブジェクト、若しくはオブジェクトの一部、又は抽象的な形状、若しくは抽象的な形状の一部、であることがある。注目の領域が微細であればあるほど、オプティカル・フローのベクトル場は、より密になる。従って、前記オプティカル・フローは、2つのイメージ間の、1つ以上の注目の領域の変位の計算である。言い換えれば、前記オプティカル・フローを決定するために、本システムは、2つのイメージ間の1つ以上の注目の領域の変位を決定する。

【0561】

本出願に記載される、視線予測を生成することによる視線トラッキング方法を使用して、神経疾患を決定するための方法は、正確であることがあるが、視線予測のみに基づくそのような方法は、大量の、ユーザ内の及びユーザ間のばらつきに、悩まされることがある。例えば、あるユーザは、一般に、他のユーザよりも、より良好な視線精度を有することがある、及びあるユーザの精度は、例えば、セッションごとに、その環境の変化に応答して、時には著しく、変化することがある。

【0562】

更に、最良の場合であっても、視線予測は、ある特定の特徴を抽出することを、困難にすることがある、又は不可能にすることがある、多量のノイズを有することがある。特に、ノイズ・レベルが増加すると、サッカードの測定（潜時、振幅、最大速度）が信頼性のないものになることがある。ユーザの眼球の運動に関する情報を取得するための代替的な方法を、以下に提供する。

【0563】

抽出された多くの特徴について、全てのフレームに対する視線の絶対位置を知る必要はなく、単に相対的な変化を観察する必要だけがあることに、留意されたい。例えば、サッカードの振幅を測定する場合、その視線予測に際して系統的バイアスを有する、システム及び方法を、依然として使用することがある。なぜならば、サッカードの振幅は、このバイアスによって、影響を受けないからである。従って、推定した視線位置の変化が実際の位置の変化に見合っている限り、視線推定は、正確である必要はない。

【0564】

本出願に記載される代替的な方法では、前記ユーザの、顔部及び各々の眼球で、オプティカル・フロー(OF)を実施することから、言い換えれば、前記ユーザの、顔部及び各々の眼球で、前記オプティカル・フローを決定することに基づいて、追加的なデータ・ストリームを取得する。眼球のオプティカル・フローは、実際の眼球運動に関する情報を提供する。顔部の、又はいくつかの顔部の構造の、オプティカル・フローは、安定化の形体に関する情報を、提供する。

【0565】

オプティカル・フロー方法は、上述のように生成されたユーザの顔部のビデオのうちのビデオ・フレームの、1つのイメージから次のイメージまで、注目の領域のセットをトラッキングする。前記方法は、ユーザの顔部のビデオの1つのイメージ（ビデオ・フレーム）から取られた注目の領域のセットにおける各々の注目の領域が、新しいイメージの中のどこにあるか、を決定する。

【0566】

本システムは、どの注目の領域をトラッキングするか、を選択する。トラッキングする「良い」注目の領域は、様々な向きに、多くのエッジ（エッジは、この領域を特徴付ける、いわゆる「署名」又は高コントラストを有し、経時的に空間におけるトラッキングを容易にする）を有する領域である。例えば、白いバックグラウンド上の黒い正方形をトラッキングする場合、注目の領域を角としてトラッキングすることが好ましい。注目の領域の選択を、手動で、又は好ましくはアルゴリズム的に、行うことがある。例えば、（ユーザの顔部のビデオからの）イメージ上のコントラスト・レベルに基づいて、操作者は、注目の領域を決定することがある、又は本システムは、アルゴリズム的に決定することがある。或いは、本システムは、少なくとも1つのイメージを、ユーザの顔部のビデオから、抽出する、及び、そのイメージの種々の領域におけるコントラストに基づいて、ユーザの顔部のそのビデオについて、注目の領域を決定することがある。

【0567】

眼球に対してオプティカル・フローを実施するステップ（オプティカル・フロー、を測定するステップ）により、眼球の周りの顔部の構造（例えば、角膜、眉、鼻梁等）に対して目に見える場合、眼球の構造（例えば、眼瞼、まつげ、角膜縁、瞳孔等）の見かけの（目に見える）運動を、直接的に測定することが可能になる。眼球の構造の運動のそのような情報は、上述のような視線推定の過程を経る必要なしに、前記眼球の回転に関する情報を提供する。

【0568】

前記眼球は、ユーザの頭部に結び付いているので、任意の頭部の運動もまた、フレーム内で、明らかな眼球運動を引き起こす。従って、前記オプティカル・フロー測定を、患者の顔部の領域(areas)（領域(regions)）に対して、実施することがある。次いで、その運動（それぞれ、ユーザの顔部又は頭部の、顔部の又は頭部の運動)を、眼球の全体的な運動から減算して、頭部に対する眼球運動を残す(提供する)。従って、本システムは、眼球運動(片眼又は両眼)を検出することができ、これは、刺激ビデオの各々についてユーザの顔部のビデオ上の注目の領域の運動を測定することによって、ユーザの眼球運動の発生を（眼球運動が実際にあったかどうか、又は眼球の速度が0であるかどうか）、及び眼球運動の速度を、検出することを含むことがある。

【0569】

本システムは、1つのフレームから次のフレームへの、トラッキングした注目の領域の各々の変位を決定する、これは、フレームレート（framerate）とも呼ばれることがある、トラッキングした注目の領域の各々の瞬間速度である。従って、全体的な瞬間速度ベクトルを、各々のトラッキングした注目の領域の速度ベクトルを、まとめて平均化することによって、決定することがある。

【0570】

従って、オプティカル・フローを使用することによって、眼球運動を検出するステップは、顔部の運動を生成するために、患者の顔部上に位置する注目の領域内のオプティカル・フロー、を測定するステップ、を含む。本方法はまた、顔部の運動を、眼球の全体的な運動から減算して、頭部に対する眼球運動を生成し、従って、トラッキングした注目の領域の各々の瞬間速度(=フレームレート)である、前記ビデオの1つのフレームから次のフレームへの、トラッキングした注目の領域の各々の変異、を生成するステップ、を含む。次に、本システムは、トラッキングした注目の領域の各々の速度ベクトルを平均化して、全ての注目の領域の全体的な瞬間速度ベクトルを生成する。言い換えれば、眼球運動を検出するステップは、更に、以下を含む：ユーザの顔部のビデオの少なくとも1つのイメージにおける、ユーザの眼球についての注目の領域を、及びユーザの顔部についての注目の領域を、決定するステップ；ユーザの眼球の少なくとも1つの眼球構造の眼球運動を測定するステップ；ユーザの顔部の運動を、眼球の全体的な運動から減算することによって、ユーザの頭部に対するユーザの眼球の相対的な眼球運動を生成するステップ；注目の領域の全体的な瞬間速度ベクトルを生成するために、トラッキングした注目の領域の各々の速度ベクトルを平均化するステップ；及び、全体的な瞬間速度ベクトルに基づいて、ユーザの眼球運動の発生を、及び眼球運動の速度を、決定するステップ。

【0571】

上述のように導出された全ての測定要素は、ピクセルとして表される。本出願に記載されるシステムは、これらの測定値を、眼球の回転の角度に、変換することがある。これを行うために、本システムは、まず、運動が物理的にどのくらい大きかを決定する。即ち、本システムは、Xピクセルの運動が表す実際の距離を決定する。前記運動の実際の距離を決定するために、人体計測データを使用することがある。例えば、利用可能な人体測定データは、瞼裂（眼球のスリット）により、成人において30mmの長さであり、ほとんど変化がないこと、が分かることがある。瞼裂のピクセル単位の見かけの長さを、本システムによって測定することがあるので、及び、ピクセル単位の眼球の変位を、上述のように測定することがあるので、3の簡単な規則により、この変位はミリメートルに変換される。次いで、ユーザとデバイスとの間の既知の距離が与えられると、本システムは。三角関係を使用して、この変位を眼球の回転量に変換することがある、これにより、前記眼球について瞬間角速度を生成することが、可能になる。

【0572】

本出願に記載されるオプティカル・フロー方法は、絶対視線位置を、又は眼球角を、生成しないが、前記オプティカル・フロー方法は、経時的に、眼球の位置の変化を検出する。経時的に眼球の位置のそのような変化を検出することは、上述のような、視線推定の方法及び視線予測の生成の方法、よりもはるかに正確であることがある。

【0573】

本出願に記載されるオプティカル・フロー方法は、例えば、サッカードなどのイベントがいつ発生したかを決定する場合に、はるかに大きな、感度及び精度、を提供する。前記オプティカル・フロー方法によって、非常に小さくて、典型的には、視線推定シグナルのノイズの中に埋もれてしまうイベントを、検出すること、が可能になることがある。例としては、凝視タスクにおけるサッカードの混入、及びOKNタスクの凝視、が挙げられることがある。

【0574】

前記オプティカル・フロー・シグナルを使用して、イベント（例えば、小サッカード、サッカード潜時の検出等）を検出することがある、及び前記イベントの時間を計ることがある（言い換えれば、前記イベントの時間を決定する）。オプティカル・フロー方法を用いて生成されたオプティカル・フロー・シグナルは、前記イベントの、振幅及び／又は速度、の測定値を提供することもある。

【0575】

前記オプティカル・フロー・シグナルは、スクリーン上の視線の実際の位置を決定する必要がある場合には、不適切であることがある。前記アルゴリズムは速度シグナルを出力するので、本システムは、それから相対的な位置シグナルのみを導出することがある。場合によっては、視線が、既知の時間に、既知の位置に、あったと判断して、シグナルを調整するために、いくつかの合理的な仮定をすることもあるが、これが必要であろう場合には、視線位置に大きな精度は要求されないので、視線シグナルを代わりに使用することがある。

【0576】

本出願に記載されるオプティカル・フロー方法は、前記眼球がスクリーン502のどこを見るか（人がどこを見るか）を決定すること無く、前記眼球の相対的な変位を、頭部の運動を決定するステップにより、及びその差異を決定するステップにより、単に決定して、前記眼球運動を決定する。従って、前記オプティカル・フロー方法に関連する、非常に高いシグナル対ノイズ比は、（例えば、前記オプティカル・フロー方法に関連するシグナル対ノイズ比ほどは高くはないシグナル対ノイズ比を有する視線予測の方法を用いること等）前記オプティカル・フロー方法ではない場合には、検出することが困難であろうと考えられる、小さな振幅の眼球運動のイベントを検出することに、非常に適している。一方、前記オプティカル・フロー方法とは対照的に、視線予測の方法は、前記視線の位置を決定するのに有用なままであり、これは、両方の方法を他方と併せて使用すること（両方を同時に[simultaneously]又は同時に[concurrently]使用する）が有利であることを意味する。

【0577】

前記オプティカル・フロー方法を、上述の視線予測方法に加えて、使用することがある。前記オプティカル・フロー方法は、ビデオ内の変位を測定する、及び前記オプティカル・フロー方法を実施するために、機械学習モデルを訓練する必要はない。前記オプティカル・フロー方法は、出力として、上述の視線予測方法によって生成されるシグナル（出力）と比較して、ノイズの少ないオプティカル・フロー・シグナルを生成する。特に、オプティカル・フロー・シグナルを実施するために、アルゴリズムを訓練する必要がないことにより、それは、訓練から生じる可能性のあるいかなるバイアスに悩まされること無く、いくつかの決定又は検出を行うことに適するようになる。

【0578】

本出願に記載されるオプティカル・フロー方法を、視線予測に基づいて神経疾患を検出するための方法と併せて（組み合わせて）使用することによって、神経疾患を検出する方法の精度は向上することがある。例えば、視線予測のみに基づく方法でのノイズによって、サッカードの発生を決定することができない場合、そのようなサッカードを検出するのに、前記オプティカル・フローを使用するステップは、役立つことがある。同様に、視線予測に基づく方法を使用して、サッカードを決定することができる場合であっても、前記オプティカル・フロー方法を用いて取得したデータを使用することは、神経疾患の決定の精度を向上させることを促進することがある。例えば、視線予測のみを使用するステップを使用して、約1度と約2度との間よりも高い振幅を有するサッカードを検出することができる、一方、オプティカル・フローと共に視線予測を使用するステップを使用して、約0.25度と約0.5度との間よりもより高い振幅を有するサッカードを検出することができる、それによって、眼球のイベント検出の閾値はより小さくなり、即ち、それによって、より小さな振幅のイベントを検出することが可能である。

【0579】

以上、好ましい実施形態を記載してきた、及び添付の図面に説明してきたが、本発明から逸脱することなく、改変を加えることができることは、当業者にとって明らかであろう。このような改変は、本開示の範囲に含まれる、可能なバリアントとして、見なされる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21A】

【図21B】

【図21C】

【図21D】

【図21E】

【図22A】

【図22B】

【図23A】

【図23B】

【図24A】

【図24B】

【図24C】

【図24D】

【図24E】

【図24F】

【図24G】

【図24H】

【図24I】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34A】

【図34B】

【図35】

【図36】

【図37A】

【図37B】

【図37C】

【図38A】

【図38B】

【手続補正書】

【提出日】2024-01-29

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

神経疾患を検出するための方法、ここで、前記方法は、以下のステップを含む：
タスクのセットを実施するステップ、ここで、各タスクは、互いに別個である、及び前記タスクの別個の特徴のセットに対応する、ここで、前記タスクのセットは、較正タスクを、並びに、滑らかな追跡タスク、凝視タスク、プロ-サッカード・タスク、及びアンチ-サッカード・タスク、のうちの少なくとも1つを、有する、
各タスクについて、電子デバイスのスクリーン上に刺激ビデオを表示するステップ、及び前記電子デバイスのカメラを用いて同時に撮影するステップ、を含むタスクのセットを実施するステップ、ここで、前記カメラは、前記スクリーンの近傍に配置され、前記刺激ビデオの各1つについて、ユーザの顔部のビデオを生成する、ここで、前記刺激ビデオの各1つは、タスクのセットのタスクに対応する、ここで、刺激ビデオは、所定の連続的な経路又は非連続的な経路に従って、前記スクリーン上に、順次にターゲットを、及び前記スクリーン上で所定のスピードで動いて見えるターゲットを、表示する、ここで、前記刺激ビデオは、前記刺激ビデオが表示されている間、前記スクリーン上の前記ターゲットの運動を意識して追うことを、前記ユーザに促す、ここで、前記刺激ビデオの各1つは、別個の特徴のセットを抽出するために構成されている；
視線予測の機械学習モデルを提供するステップ；
前記タスクについての生成されたビデオに基づいて、及び機械学習モデルを使用して、各タスクについてのユーザの顔部の各ビデオの各ビデオ・フレームについて、視線予測を生成するステップ；
各タスクについてのユーザの顔部の各ビデオの各ビデオ・フレームについて、生成された視線予測に基づいて、各タスクについての特徴のセットの値を決定するステップ；並びに、
各タスクについて決定された特徴のセットの値に基づいて、事前に-訓練した機械学習モデルを使用して、前記神経疾患を検出するステップ。

【請求項2】

請求項１に記載の方法、ここで、前記較正タスクは、前記スクリーン上に表示されたフォームに対して、前記ユーザの眼球の位置合わせを実施するステップ、並びに、前記ユーザに、その頭部を、前記較正タスクの第1の期間中に一方の側に傾けること、及び前記較正タスクの第2の期間中に他方の側に傾けること、をリクエストするステップ、を含む。

【請求項3】

請求項１又は２に記載の方法、ここで、前記方法は、凝視タスク中に、矩形波眼球運動(SWJ)サッカード指標及び他のサッカードの混入指標、を含む混入に関連した指標を、並びに視線ドリフト及び視線安定性に関連した指標を、決定するステップ、を更に含む。

【請求項4】

請求項１又は請求項２に記載の方法、ここで、プロ-サッカード・タスク中に、ある期間の間、第1のターゲットの表示に続いて、第2のターゲットが、前記スクリーン上の1セットの所定の位置のうちの1つに表示され、以下の指標を抽出する：第1のゲイン及び最後のゲイン、サッカード速度、両眼球間のピーク速度の比率、並びにターゲットに到達するのに必要なサッカードの回数。

【請求項5】

請求項１又は請求項２に記載の方法、ここで、前記アンチ-サッカード・タスクは、少なくとも3つの別個のビデオ・ブロックを含み、各ビデオ・ブロックは、所定の回数のトライアルを前記スクリーン上に提示するように構成され、各トライアルは、凝視の期間、ブランク・スクリーンの期間、及び刺激の期間、を有する。

【請求項6】

請求項１又は請求項２に記載の方法、ここで、前記タスクのセットは、所定の時間の間、コントラスト格子を表示するステップ、を含む視運動性眼振タスクを更に含む、ここで、前記コントラスト格子は、前記スクリーンを横切って動く、ここで、指標を、遅いドリフト及びサッカードの各対について、決定する、及び前記指標に基づいて、前記視運動性眼振タスクの特徴のセットの値を決定する。

【請求項7】

請求項１又は請求項２に記載の方法、ここで、前記方法は、一連のオリジナル・イメージを、及び一連の改変イメージを、表示するステップ、を含む視覚空間潜在記憶タスクを更に含み、各改変イメージは、1つのオリジナル・イメージに対応する、及び前記オリジナル・イメージと同じ順序で表示される、ここで、各改変イメージは、そこから除去される、又はそこに追加される、少なくとも1つの目的対象を有する。

【請求項8】

請求項１又は請求項２に記載の方法、ここで、前記機械学習モデルを提供するステップは、視線予測を実施するために、前記較正タスク中に取得した較正データを取り込ませたもう1つ別の事前に-訓練したモデルを使用するステップ、及び視線予測を実施するために、前記機械学習モデルの内部表現を使用するステップを含む残りの別の事前に-訓練したモデルを使用するステップ、を含む。

【請求項9】

請求項１又は請求項２に記載の方法、ここで、前記神経疾患を検出するステップは、前記神経疾患に関連した眼球視線-パターン異常を決定するステップ、を含む、及び前記眼球視線-パターン異常を決定するステップは、表示された前記刺激ビデオに関連する眼球運動を同定するステップ、を含む。

【請求項10】

請求項９に記載の方法、ここで、前記視線予測を生成するステップは、以下によって、前記ビデオの中で、推定した視線位置を経時的に決定するステップ、を更に含む：
前記ビデオから、前記ユーザの少なくとも1つの眼球のイメージを受け取るステップ；
対応する少なくとも1つの成分イメージを取得するために、前記イメージの少なくとも1つの色成分を抽出するステップ；
前記イメージの少なくとも1つの成分の各1つについて、それぞれの内部表現を取得するために、それぞれの一次ストリームを適用するステップ；及び、
前記イメージの少なくとも1つの成分の各1つのそれぞれの内部表現に従って、前記イメージ中で、推定した視線位置を決定するステップ。

【請求項11】

請求項１又は請求項２に記載の方法、ここで、前記タスクのセットは、以下を含む：凝視タスク、プロ-サッカード・タスク、アンチ-サッカード・タスク、視運動性眼振タスク、滑らかな追跡タスク、スパイラル・タスク、視覚空間潜在記憶タスク、及びピクチャ・フリー-ビューイング(picture free-veiwing)タスク。

【請求項12】

請求項１又は請求項２に記載の方法、ここで、前記タスクのセットは、視運動性眼振タスク、滑らかな追跡タスク、スパイラル・タスク、及びピクチャ・フリー-ビューイング(picture free-veiwing)タスク、のうちの少なくとも1つを更に含む、並びに、ここで：
凝視タスクの特徴のセットは、以下のうちの少なくとも1つを含む：平均視線位置、平均視線エラー、サッカードの混入の回数、眼振の存在、眼振の方向、及び眼振の速度；
プロ-サッカード・タスクの特徴のセットは、以下のうちの少なくとも1つを含む：サッカード潜時、垂直及び水平サッカード潜時、ピーク・サッカード速度、垂直及び水平ピーク・サッカード速度、サッカード・エンドポイント精度、加速度の反転の回数、及び方向エラー比率；
アンチ-サッカード・タスクの特徴のセットは、以下のうちの少なくとも1つを含む：矢印の方向エラー比率、サッカードの方向エラー比率、補正比率、サッカード潜時、及びピーク・サッカード速度；
視運動性眼振タスクの特徴のセットは、以下のうちの少なくとも1つを含む：眼振の存在、遅い相における眼振の速度、速い相における眼振の速度、眼振の方向、眼振の振幅；
滑らかな追跡タスクの特徴のセットは、以下のうちの少なくとも1つを含む：速度ゲイン、平均ラグ（average lag）、加速度の反転の回数、視線方向エラー、及び視線方向を補正するための時間；並びに、
スパイラル・タスクの特徴のセットは、以下のうちの少なくとも1つを含む：各トライアルの刺激に対する平均視線位置エラー、刺激経路からの逸脱、角速度エラー、最大角速度、各スパイラル回転の間の視線-パターンの真円度の尺度、及び位置上のエラーがある閾値に達するトライアルの間の時間。

【請求項13】

請求項１又は請求項２に記載の方法、ここで、前記方法は、以下を更に含む：
前記刺激ビデオの各1つについて、ユーザの顔部のビデオ上の、注目の領域の運動を測定することによって、眼球運動を検出するステップ：
ユーザの顔部のビデオの少なくとも1つのイメージの中で、ユーザの眼球の注目の領域を、及びユーザの顔部の注目の領域を、決定するステップ；
ユーザの眼球の、少なくとも1つの眼球の構造物の眼球運動を測定するステップ；
ユーザの顔部の顔部の運動を測定するステップ；
眼球の全体的な運動から前記顔部の運動を差し引くことによって、ユーザの頭部に対するユーザの眼球の相対的な眼球運動を生成するステップ；
注目の領域の全体的な瞬間速度ベクトルを生成するために、各々のトラッキングされた注目の領域の速度ベクトルを平均化するステップ；並びに、
前記全体的な瞬間速度ベクトルに基づいて、ユーザの眼球運動の発生を、及びユーザの眼球運動の速度を、決定するステップ。

【請求項14】

神経疾患を検出するための方法、ここで、前記方法は、以下を含む：
電子デバイスのスクリーン上に刺激ビデオを表示するステップ、及び前記電子デバイスのカメラを用いて同時に撮影するステップ、ここで、前記カメラは、前記スクリーンの近傍に配置され、前記刺激ビデオの各1つについて、ユーザの顔部のビデオを生成する、ここで、前記刺激ビデオの各1つは、タスクのセットのタスクに対応する；
各タスクについて生成されたビデオに基づいて、第1の事前に-訓練した機械学習モデルを使用して、各タスクについての特徴を決定するステップ；並びに、
各タスクについて決定した特徴に基づいて、第2の事前に-訓練した機械学習モデルを使用して、前記神経疾患を検出するステップ、
ここで、前記神経疾患を検出するステップは、前記神経疾患に関連した眼球視線-パターン異常を決定するステップ、を含む。

【請求項15】

請求項１４に記載の方法、ここで、前記第1の事前に-訓練した機械学習モデル、及び前記第2の事前に-訓練した機械学習モデル、の内の各1つは、各タスクについて、特徴についての1つの機械学習モデルを含む。

【請求項16】

請求項１４に記載の方法、ここで、前記第1の事前に-訓練した機械学習モデルを使用するステップは、複数の機械学習モデルを使用するステップを含み、前記複数の機械学習モデルの各1つは、対応する前記特徴のうちの1つをターゲットとする。

【請求項17】

請求項１４に記載の方法、ここで、前記タスクのセットは、凝視タスク、プロ-サッカード・タスク、アンチ-サッカード・タスク、視運動性眼振タスク、滑らかな追跡タスク、スパイラル・タスク、視覚空間潜在記憶タスク及びピクチャ・フリー-ビューイング(picture free-veiwing)タスク、のうちの少なくとも1つを更に含む、並びに、ここで：
凝視タスクの特徴は、以下のうちの少なくとも1つを含む：平均視線位置、平均視線エラー、サッカードの混入の回数、眼振の存在、眼振の方向、及び眼振の速度；
プロ-サッカード・タスクの特徴は、以下のうちの少なくとも1つを含む：サッカード潜時、垂直及び水平サッカード潜時、ピーク・サッカード速度、垂直及び水平ピーク・サッカード速度、サッカード・エンドポイント精度、加速度の反転の回数、及び方向エラー比率；
アンチ-サッカード・タスクの特徴は、以下のうちの少なくとも1つを含む：矢印の方向エラー比率、サッカードの方向エラー比率、補正比率、サッカード潜時、及びピーク・サッカード速度；
視運動性眼振タスクの特徴は、以下のうちの少なくとも1つを含む：眼振の存在、遅い相における眼振の速度、速い相における眼振の速度、眼振の方向、眼振の振幅；
滑らかな追跡タスクの特徴は、以下のうちの少なくとも1つを含む：速度ゲイン、平均ラグ（average lag）、加速度の反転の回数、視線方向エラー、及び視線方向を補正するための時間；
スパイラル・タスクの特徴は、以下のうちの少なくとも1つを含む：各トライアルの刺激に対する平均視線位置エラー、刺激経路からの逸脱、角速度エラー、最大角速度、各スパイラル回転の間の視線-パターンの真円度の尺度、及び位置上のエラーがある閾値に達するトライアルの間の時間、並びに、
視覚空間潜在記憶タスクの特徴は、注目のターゲット領域、及び前記注目のターゲット領域内の平均総時間、を含む。

【請求項18】

請求項１４から１７の何れか一項に記載の方法、ここで、前記方法は、以下を更に含む：
前記刺激ビデオの各1つについて、ユーザの顔部のビデオ上の、注目の領域の運動を測定することによって、眼球運動を検出するステップ、ここで、前記眼球運動を検出するステップは、以下を更に含む：
ユーザの顔部のビデオの少なくとも1つのイメージの中で、ユーザの眼球の注目の領域を、及びユーザの顔部の注目の領域を、決定するステップ；
ユーザの眼球の、少なくとも1つの眼球の構造物の眼球運動を測定するステップ；
ユーザの顔部の顔部の運動を測定するステップ；
眼球の全体的な運動から顔部の運動を差し引くことによって、ユーザの頭部に対するユーザの眼球の相対的な眼球運動を生成するステップ；
注目の領域の全体的な瞬間速度ベクトルを生成するために、各々のトラッキングされた注目の領域の速度ベクトルを平均化するステップ；並びに、
前記全体的な瞬間速度ベクトルに基づいて、ユーザの眼球運動の発生を、及びユーザの眼球運動の速度を、決定するステップ。

【請求項19】

神経疾患を検出するための方法、ここで、前記方法は、以下を含む：
電子デバイスのスクリーン上に1セットの刺激ビデオを表示するステップ、及び前記電子デバイスのカメラを用いて同時に撮影するステップ、ここで、前記カメラは、前記スクリーンの近傍に配置され、前記刺激ビデオの各1つについて、ユーザの顔部のビデオを生成する、ここで、前記刺激ビデオの各1つは、タスクのセットのタスクに対応する、ここで、前記タスクのセットは、以下のうちの少なくとも1つを更に含む：凝視タスク、プロ-サッカード・タスク、アンチ-サッカード・タスク、視運動性眼振タスク、滑らかな追跡タスク、スパイラル・タスク、及びピクチャ・フリー-ビューイング(picture free-veiwing)タスク；並びに、
生成されたビデオに基づいて、事前に-訓練した機械学習モデルを使用して、前記神経疾患を検出するステップ、
ここで、前記神経疾患を検出するステップは、前記神経疾患に関連した眼球視線-パターン異常を決定するステップ、を含む。

【請求項20】

請求項１９に記載の方法、ここで、前記方法は、以下を更に含む：
前記刺激ビデオの各1つについて、ユーザの顔部のビデオ上の、注目の領域の運動を測定することによって、眼球運動を検出するステップ、
ここで、前記眼球運動を検出するステップは、以下を更に含む：
ユーザの顔部のビデオの少なくとも1つのイメージの中で、ユーザの眼球の注目の領域を、及びユーザの顔部の注目の領域を、決定するステップ；
ユーザの眼球の、少なくとも1つの眼球の構造物の眼球運動を測定するステップ；
ユーザの顔部の顔部の運動を測定するステップ；
眼球の全体的な運動から顔部の運動を差し引くことによって、ユーザの頭部に対するユーザの眼球の相対的な眼球運動を生成するステップ；
注目の領域の全体的な瞬間速度ベクトルを生成するために、各々のトラッキングされた注目の領域の速度ベクトルを平均化するステップ；並びに、
前記全体的な瞬間速度ベクトルに基づいて、ユーザの眼球運動の発生を、及びユーザの眼球運動の速度を、決定するステップ。

【国際調査報告】