特表2023-508339 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

青山学院大学 (神奈川県相模原市中央区淵野辺)

▶ センスアイ・インコーポレーテッドの特許一覧

特表2023-508339欺まん検出のための眼球システム

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2A
2B
3
4
5
6
7
8
9
10
11
12
13
14
15
16

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-03-02

(54)【発明の名称】欺まん検出のための眼球システム

(51)【国際特許分類】

A61B 5/16 20060101AFI20230222BHJP

A61B 3/113 20060101ALI20230222BHJP

A61B 3/10 20060101ALI20230222BHJP

【ＦＩ】

A61B5/16 120

A61B3/113

A61B3/10

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022538381

(86)(22)【出願日】2020-12-19

(85)【翻訳文提出日】2022-08-19

(86)【国際出願番号】 US2020070939

(87)【国際公開番号】W WO2021127704

(87)【国際公開日】2021-06-24

(31)【優先権主張番号】62/950,918

(32)【優先日】2019-12-19

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/247,636

(32)【優先日】2020-12-18

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/247,635

(32)【優先日】2020-12-18

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/247,637

(32)【優先日】2020-12-18

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/247,634

(32)【優先日】2020-12-18

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】522246197

【氏名又は名称】センスアイ・インコーポレーテッド

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本修

(74)【代理人】

【識別番号】100106208

【弁理士】

【氏名又は名称】宮前徹

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾淳一

(74)【代理人】

【識別番号】100162846

【弁理士】

【氏名又は名称】大牧綾子

(72)【発明者】

【氏名】ザカリアイエ，デビッド

(72)【発明者】

【氏名】ボーデン，ジャレッド

(72)【発明者】

【氏名】ハーマン，パトリシア

(72)【発明者】

【氏名】ワイズバーグ，セス

(72)【発明者】

【氏名】ソマーロット，アンドリュー・アール

(72)【発明者】

【氏名】アナブタビ，タウメル

(72)【発明者】

【氏名】ブラウン，ジョセフ

(72)【発明者】

【氏名】ロウ，アレクサンダー

(72)【発明者】

【氏名】リモンチェッロ，ローレン・ケイトリン

(72)【発明者】

【氏名】マクニール，キャスリン

(72)【発明者】

【氏名】チョイ，ベロニカ

(72)【発明者】

【氏名】グリア，カイル

【テーマコード（参考）】

4C038

4C316

【Ｆターム（参考）】

4C038PP01

4C038PP03

4C038PP09

4C038PS07

4C316AA01

4C316AA06

4C316AA07

4C316AA21

4C316AA28

4C316AA30

4C316AB16

4C316FA20

4C316FB11

4C316FC28

(57)【要約】

欺まん検出、動作リスクの評定、または学習の最適化の方法は、被検者の眼の接写ビューを記録するように構成されたビデオカメラを設けることによる被検者の眼球情報に基づく。眼球情報を処理して、畳込みニューラルネットワークの使用を通じて被検者の眼球信号の変化を識別する。眼球信号の変化は、機械学習アルゴリズムによって畳込みニューラルネットワークから評価される。次に、結果を、欺まんのレベル、動作リスクのレベル、または学習を最適化する最適の方式に関して提示することができる。方法は、虹彩筋肉組織における予測応答に相関がある可視スペクトルカメラのみを用いて捕捉可能な、支質において識別される少なくとも１つの予測歪みを識別することによって促進される。

【特許請求の範囲】

【請求項1】

被検者の眼球情報に基づいた欺まん検出方法であって、前記方法は、
検査中に前記被検者を見るように構成されたスタンドオフデバイスを設けるステップであって、前記スタンドオフデバイスは前記被検者と物理的に接触せず、前記スタンドオフデバイスは、前記被検者の少なくとも一方の眼の接写ビューを記録するように構成された少なくとも１つのビデオカメラを有し、前記スタンドオフデバイスはコンピューティングデバイスを有するかまたはコンピューティングデバイスに接続される、ステップと、
前記被検者が受ける高度から低度の認知負荷を判断するように構成された認知状態モデルを設けるステップであって、前記認知負荷は、前記被検者が自身の応答を策定するために心的資源を利用する程度を測定する、ステップと、
前記被検者が受ける高度から低度の覚醒状態を判断するように構成された感情状態モデルを設けるステップであって、前記覚醒状態は、前記被検者の神経系の活性化に基づく、ステップと、
前記少なくとも１つのビデオカメラにより、前記被検者の前記少なくとも一方の眼の前記眼球情報を記録するステップと、
前記被検者に質問する前に、前記被検者の前記少なくとも一方の眼の前記眼球情報の基準状態を確立するステップと、
前記被検者に質問を行い、前記被検者が前記質問に回答することを許可するステップと、
前記質問を行い、前記被検者が前記質問に回答する時間を含めた後、前記眼球情報を処理して、前記被検者の眼球信号の変化を識別するステップと、
前記コンピューティングデバイスにより、前記眼球信号の変化のみに基づいて前記認知状態モデルおよび前記感情状態モデルを評価し、前記被検者が真実を語っているかまたは欺まん的であるかの確率を推定するステップと、
真実または欺まんのバイナリ出力を判断するステップと、
前記バイナリ出力を管理者に表示するステップと、
を含む、欺まん検出方法。

【請求項2】

前記眼球信号の変化は、以下のもの：眼球運動、視線位置Ｘ、視線位置Ｙ、サッカード率、サッカードピーク速度、サッカード平均速度、サッカード振幅、固視持続時間、固視エントロピー（空間）、視線のずれ（極角）、視線のずれ（偏心）、再固視、円滑追跡、円滑追跡持続時間、円滑追跡平均速度、円滑追跡振幅、走査経路（経時的視線軌道）、瞳孔径、瞳孔領域、瞳孔対称性、速度（瞳孔径の変化）、加速（速度変化）、痙攣（瞳孔変化加速）、瞳孔ゆらぎのトレース、収れん潜伏期、拡張持続時間、スペクトル特徴、虹彩筋特徴、虹彩筋群同定、虹彩筋線維収縮、虹彩括約筋同定、虹彩拡張筋同定、虹彩括約筋対称性、瞳孔および虹彩センタリングベクトル、瞬目率、瞬目持続時間、瞬目潜在期、瞬目速度、部分的瞬目、瞬目エントロピー（周期性からのずれ）、強膜セグメンテーション、虹彩セグメンテーション、瞳孔セグメンテーション、支質変化検出、眼球領域（斜視）、支質の変形、虹彩筋変化、のうちの任意のものを含む、請求項１に記載の欺まん検出方法。

【請求項3】

前記被検者が真実を語っているかまたは欺まん的であるかの確率を推定する前記ステップは、前記被検者の回答中の期間にわたって取得された複数の推定値を含み、前記複数の推定値は、重み付けされ、組み合わされて、前記バイナリ出力が生成される、請求項１に記載の欺まん検出方法。

【請求項4】

前記少なくとも１つのビデオカメラは、少なくとも毎秒１００フレームのレートでフレームを捕捉する、請求項１に記載の欺まん検出方法。

【請求項5】

前記少なくとも１つのビデオカメラは、少なくとも毎秒５０フレームのレートでフレームを捕捉する、請求項１に記載の欺まん検出方法。

【請求項6】

前記少なくとも１つのビデオカメラは、少なくとも毎秒３０フレームのレートでフレームを捕捉する、請求項１に記載の欺まん検出方法。

【請求項7】

前記スタンドオフデバイスは、前記被検者の顔全体を記録するように構成された第２のビデオカメラを含む、請求項１に記載の欺まん検出方法。

【請求項8】

前記コンピューティングデバイスは、前記スタンドオフデバイスから遠隔に配設されたクラウドベースのコンピューティングデバイスである、請求項１に記載の欺まん検出方法。

【請求項9】

前記コンピューティングデバイスは前記スタンドオフデバイスの一部である、請求項１に記載の欺まん検出方法。

【請求項10】

前記コンピューティングデバイスは前記スタンドオフデバイスと別個である、請求項１に記載の欺まん検出方法。

【請求項11】

前記被検者に前記質問を行い、前記被検者が前記質問に回答することを許可した後、更なる質問を前記被検者に行う前に、或る期間待機し、前記被検者の前記少なくとも一方の眼の前記眼球情報の前記基準状態を再確立する、請求項１に記載の欺まん検出方法。

【請求項12】

前記被検者による発言全体が前記質問に対する回答として評価される、請求項１に記載の欺まん検出方法。

【請求項13】

前記コンピューティングデバイスによって、各バイナリ出力と、前記少なくとも１つのビデオカメラにより記録された各対応するビデオとを保存するステップを含む、請求項１に記載の欺まん検出方法。

【請求項14】

【請求項15】

【請求項16】

被検者の眼球情報に基づいた動作リスクの評定方法であって、前記方法は、
前記被検者の少なくとも一方の眼の接写ビューを記録するように構成されたビデオカメラを設けるステップと、
複数の画像を被検者に表示するように構成された電子表示画面を設けるステップと、
前記ビデオカメラおよび電子ディスプレイに電子的に接続されたコンピューティングデバイスを設けるステップと、
前記電子ディスプレイにより、少なくとも一方の眼球運動タスクを表示するステップと、
前記少なくとも一方の眼球運動タスク中に、前記ビデオカメラにより、前記被検者の前記少なくとも一方の眼の前記眼球情報を記録するステップと、
前記コンピューティングデバイスにより、前記眼球情報を処理して、畳込みニューラルネットワークの使用を通じて前記被検者の眼球信号の変化を識別するステップと、
前記コンピューティングデバイスにより、機械学習アルゴリズムによって前記眼球信号の変化に対応する前記少なくとも一方の眼球運動タスクと組み合わされた前記畳込みニューラルネットワークからの前記眼球信号の変化を評価するステップと、
前記機械学習アルゴリズムにより、前記被検者の職務適性結果を判断するステップであって、
前記職務適性結果は、職務適性あり、職務適性なし、または更なる情報が必要である、ステップと、
前記被検者および／または監督者に、前記被検者の前記職務適性結果を表示するステップと、
を含む、動作リスクの評定方法。

【請求項17】

【請求項18】

前記少なくとも１つの眼球運動タスクは、以下のもの、瞳孔対光反射、視覚性運動反射、水平注視眼振、円滑追跡、視線較正または驚愕反応のうちの任意のものを含む、請求項１７に記載の動作リスクの評定方法。

【請求項19】

前記電子表示画面は、スマートフォン、タブレット、ラップトップ画面、デスクトップ画面または電子画面のものである、請求項１７に記載の動作リスクの評定方法。

【請求項20】

前記ビデオカメラ、前記電子表示画面および前記コンピューティングデバイスは、全てスマートフォンまたはタブレットとして含まれる、請求項１７に記載の動作リスクの評定方法。

【請求項21】

被検者の眼球情報に基づいた動作リスクの評定方法であって、前記方法は、
前記被検者の少なくとも一方の眼の接写ビューを受動的に記録するように構成されたビデオカメラを設けるステップと、
前記ビデオカメラおよび電子ディスプレイに電子的に接続されたコンピューティングデバイスを設けるステップと、
前記ビデオカメラにより、前記被検者の前記少なくとも一方の眼の前記眼球情報を記録するステップと、
前記コンピューティングデバイスにより、前記眼球情報を処理して、畳込みニューラルネットワークの使用を通じて前記被検者の眼球信号の変化を識別するステップと、
前記コンピューティングデバイスにより、機械学習アルゴリズムによって前記畳込みニューラルネットワークからの前記眼球信号の変化を評価するステップと、
前記機械学習アルゴリズムにより、前記被検者の職務適性結果を判断するステップであって、
前記職務適性結果は、職務適性あり、職務適性なし、または更なる情報が必要である、ステップと、
前記被検者および／または監督者に、前記被検者の前記職務適性結果を表示するステップと、
を含む、動作リスクの評定方法。

【請求項22】

【請求項23】

前記職務適性結果は前記被検者の酩酊度に関する、請求項２２に記載の動作リスクの評定方法。

【請求項24】

前記職務適性結果は前記被検者の機能障害度に関する、請求項２２に記載の動作リスクの評定方法。

【請求項25】

前記職務適性結果は前記被検者の疲労度に関する、請求項２２に記載の動作リスクの評定方法。

【請求項26】

前記職務適性結果は前記被検者の不安度および／またはストレス度に関する、請求項２２に記載の動作リスクの評定方法。

【請求項27】

被検者の眼球情報に基づいた前記被検者の心的状態の評定方法であって、前記方法は、
前記被検者の少なくとも一方の眼の接写ビューを受動的に記録するように構成されたビデオカメラを設けるステップと、
前記ビデオカメラおよび電子ディスプレイに電子的に接続されたコンピューティングデバイスを設けるステップと、
前記ビデオカメラにより、前記被検者の前記少なくとも一方の眼の前記眼球情報を記録するステップと、
前記コンピューティングデバイスにより、前記眼球情報を処理して、畳込みニューラルネットワークの使用を通じて前記被検者の眼球信号の変化を識別するステップと、
前記コンピューティングデバイスにより、機械学習アルゴリズムによって前記畳込みニューラルネットワークからの前記眼球信号の変化を評価するステップと、
前記機械学習アルゴリズムにより、前記被検者の前記心的状態を判断するステップと、
前記被検者および／または監督者に、前記被検者の前記心的状態を表示するステップと、
を含む、心的状態の評定方法。

【請求項28】

【請求項29】

前記心的状態は前記被検者の酩酊度に関する、請求項２８に記載の心的状態の評定方法。

【請求項30】

前記心的状態は前記被検者の機能障害度に関する、請求項２８に記載の心的状態の評定方法。

【請求項31】

前記心的状態は前記被検者の疲労度に関する、請求項２８に記載の心的状態の評定方法。

【請求項32】

前記心的状態は前記被検者の不安度および／またはストレス度に関する、請求項２８に記載の心的状態の評定方法。

【請求項33】

被検者の眼球情報に基づいた学習の最適化方法であって、前記方法は、
前記被検者の少なくとも一方の眼の接写ビューを記録するように構成されたビデオカメラを設けるステップと、
複数の教育主題を前記被検者に表示するように構成された第１の電子ディスプレイを設けるステップと、
出力をインストラクターに表示するように構成された第２の電子ディスプレイを設けるステップと、
前記ビデオカメラ、前記第１の電子ディスプレイおよび前記第２の電子ディスプレイに電子的に接続されたコンピューティングデバイスを設けるステップと、
前記複数の教育主題を学習している間、前記ビデオカメラにより、前記被検者の前記少なくとも一方の眼の前記眼球情報を記録するステップと、
前記コンピューティングデバイスにより、前記眼球情報を処理して、最適化アルゴリズムの使用を通じて前記被検者の眼球信号の変化を識別するステップと、
前記被検者が受ける低度から高度の認知負荷を判断するように構成された認知状態モデルを設けるステップであって、前記認知負荷は、前記被検者が心的資源を利用する程度を測定する、ステップと、
前記コンピューティングデバイスにより、前記眼球信号の前記変化に基づいて前記認知状態モデルを評価し、前記被検者が受ける前記低度から高度の認知負荷の確率を判断するステップと、
前記第２の電子ディスプレイにより、前記被検者が受ける前記低度から高度の認知負荷の確率を前記インストラクターに表示するステップと、
を含む、学習の最適化方法。

【請求項34】

前記コンピューティングデバイスにより、前記被検者の前記少なくとも一方の眼との関連で前記第１の電子ディスプレイの位置を確立するステップと、前記眼球信号の変化から、前記複数の教育主題との関連で被検者の視線位置を判断するステップと、前記複数の教育主題の前記被検者の視線位置および前記眼球信号の変化を前記被検者の認知負荷とリンク付けするステップと、前記第２の電子ディスプレイにより前記インストラクターに対し、前記複数の教育主題との関連で前記被検者の認知負荷を表示するステップと、
を含む、請求項３３に記載の学習の最適化方法。

【請求項35】

電力スペクトル密度周波数変換を利用することによって、認知負荷の変化から結果として生じる前記被検者の瞳孔拡張を、周辺輝度の変化から分離するステップを含む、請求項３３に記載の学習の最適化方法。

【請求項36】

代表母集団または被検者の事前データに基づいて前記被検者の学習スケールを有する最適学習スケールモデルを提供するステップであって、前記学習スケールは、刺激不足から過剰の範囲をとる、ステップと、前記コンピューティングデバイスにより、前記眼球信号の変化を評価して、前記学習スケールに沿った前記被検者の位置を判断するステップと、前記第２のディスプレイにより前記インストラクターに対し、前記学習スケールに沿った前記被検者の位置を表示するステップとを含む、請求項３３に記載の学習の最適化方法。

【請求項37】

短期および／または長期記憶の強度を判断するように構成された記憶形成モデルを提供するステップと、前記コンピューティングデバイスにより、前記眼球信号の変化を評価して、前記複数の教育主題との関連で前記被検者の前記短期および／または前記長期記憶の強度を判断するステップと、前記第２のディスプレイにより前記インストラクターに対し、前記複数の教育主題との関連で前記被検者の前記短期および／または前記長期記憶の強度を表示するステップとを含む、請求項３３に記載の学習の最適化方法。

【請求項38】

【請求項39】

前記複数の教育主題を学習している間、前記ビデオカメラにより、前記被検者の前記少なくとも一方の眼の前記眼球情報を記録するステップは、前記複数の教育主題を学習している間、前記カメラにより、前記被検者の表情および／または姿勢を記録することも含む、請求項３３に記載の学習の最適化方法。

【請求項40】

被検者の眼球情報に基づいた認知負荷の測定方法であって、前記方法は、
前記被検者の少なくとも一方の眼の接写ビューを記録するように構成されたビデオカメラを設けるステップと、
前記ビデオカメラおよび電子ディスプレイに電子的に接続されたコンピューティングデバイスを設けるステップと、
前記ビデオカメラにより、前記被検者の前記少なくとも一方の眼の前記眼球情報を記録するステップと、
前記コンピューティングデバイスにより、前記眼球情報を処理して、畳込みニューラルネットワークの使用を通じて前記被検者の眼球信号の変化を識別するステップと、
前記コンピューティングデバイスにより、機械学習アルゴリズムによって前記畳込みニューラルネットワークからの前記眼球信号の変化を評価するステップと、
前記機械学習アルゴリズムにより、前記被検者の前記認知負荷を判断するステップと、
前記被検者および／または監督者に、前記被検者の前記認知負荷を表示するステップと、
を含む、認知負荷の測定方法。

【請求項41】

【請求項42】

被検者の眼球情報に基づいた短期および／または長期記憶符号化の測定方法であって、前記方法は、
前記被検者の少なくとも一方の眼の接写ビューを記録するように構成されたビデオカメラを設けるステップと、
前記ビデオカメラおよび電子ディスプレイに電子的に接続されたコンピューティングデバイスを設けるステップと、
前記ビデオカメラにより、前記被検者の前記少なくとも一方の眼の前記眼球情報を記録するステップと、
前記コンピューティングデバイスにより、前記眼球情報を処理して、畳込みニューラルネットワークの使用を通じて前記被検者の眼球信号の変化を識別するステップと、
前記コンピューティングデバイスにより、機械学習アルゴリズムによって前記畳込みニューラルネットワークからの前記眼球信号の変化を評価するステップと、
前記機械学習アルゴリズムにより、前記被検者の前記認知負荷を判断するステップと、
前記被検者および／または監督者に、前記被検者の前記認知負荷を表示するステップと、
を含む、短期および／または長期記憶符号化の測定方法。

【請求項43】

【請求項44】

虹彩生理学と、被検者の認知状態および／または感情状態との間の関係の発見方法であって、前記方法は、
コンピューティングデバイスを設けるステップと、
前記被検者の少なくとも一方の眼の接写ビューを記録するように構成されたビデオカメラを設けるステップと、
前記被検者の下瞼の皮膚に保持されるように構成された第１のライトを設け、光が前記少なくとも一方の眼の中から光ることを可能にするステップと、
前記被検者から離れた距離に位置し、前記被検者と接触しないように構成され、前記被検者の前記少なくとも一方の眼の支質を照明するように構成された第２のライトを設けるステップであって、
前記第１のライトおよび前記第２のライトは共に電子的に同期され、交互に点滅するように構成される、ステップと、
前記ユーザに複数のタスクに従事させるステップであって、前記複数のタスクのうちの各タスクは、認知または感情を喚起するように構成される、ステップと、
前記ビデオカメラにより、前記複数のタスクによって生じた前記被検者の前記認知状態および／または前記感情状態に起因した前記虹彩筋肉組織における反応および前記支質における対応する歪みを含む眼球情報を記録するステップと、
前記コンピューティングデバイスにより、最適化アルゴリズムの使用を通じて、前記眼球情報を処理し、前記虹彩筋肉組織における前記反応と、前記支質における前記歪みとの間の相関を識別するステップと、
前記コンピューティングデバイスにより、前記被検者が前記複数のタスクによって生じた前記認知状態および／または前記感情状態にあったときに、前記虹彩筋肉組織の予測応答に相関がある可視スペクトルカメラのみを用いて捕捉可能な前記支質における少なくとも１つの予測歪みを識別するステップと、
を含む、関係の発見方法。

【請求項45】

前記第１のライトはＮＩＲＬＥＤを含む、請求項４４に記載の関係の発見方法。

【請求項46】

前記第２のライトはＮＩＲＬＥＤを含む、請求項４４に記載の関係の発見方法。

【請求項47】

前記第１のライトおよび前記第２のライトは交互に点滅するように構成される、請求項４４に記載の関係の発見方法。

【請求項48】

前記第１のライトは１５０ｍｗＮＩＲＬＥＤを含む、請求項４４に記載の関係の発見方法。

【請求項49】

前記第２のライトは１５０ｍｗＮＩＲＬＥＤを含む、請求項４４に記載の関係の発見方法。

【請求項50】

前記第１のライトおよび前記第２のライトは、１６０Ｈｚで交互に点滅し、結果として８０Ｈｚの効果を生じるように構成される、請求項４４に記載の関係の発見方法。

【請求項51】

可視光画像から近赤外線画像を生成する方法を更に含み、前記方法は、
前記被検者の前記少なくとも一方の眼の前記接写ビューを記録するように構成された可視スペクトルビデオカメラを設けるステップと、
前記可視スペクトルビデオカメラにより、前記被検者の前記認知状態および／または前記感情状態に起因した前記支質における前記歪みを含む前記眼球情報を記録するステップと、
前記コンピューティングデバイスにより、前記可視スペクトルビデオカメラからの前記眼球情報を用いて、敵対的生成ネットワークを通じて前記被検者の前記少なくとも一方の眼の赤外線画像を予測するステップと、
を含み、
前記予測は、前記コンピューティングデバイスにより、前記赤外線画像を作成するために前記支質における前記少なくとも１つの予測歪みを利用する、請求項１に記載の関係の発見方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
[Para 1]この国際出願は、２０２０年１２月１８日に出願された米国非仮実用特許出願第１７／２４７，６３４号、２０２０年１２月１８日に出願された米国非仮実用特許出願第１７／２４７，６３５号、２０２０年１２月１８日に出願された米国非仮実用特許出願第１７／２４７，６３６号、および２０２０年１２月１８日に出願された米国非仮実用特許出願第１７／２４７，６３７号の優先権を主張するものである。これらの非仮実用特許出願は全て、２０１９年１２月１９日に出願された米国仮出願第６２／９５０，９１８号の優先権を主張し、その内容全体が引用により本明細書に完全に組み入れられる。

【0002】

[Para 2]本発明は、一般には、眼球システムに関する。より詳細には、本発明は、虹彩筋の徹照により支質（ｓｔｒｏｍａ）変形を推測することで可能にすることができる、欺まん（ｄｅｃｅｐｔｉｏｎ）検出、動作リスクの評定、および学習の最適化を行うことができる眼球システムに関する。

【背景技術】

【0003】

[Para 3]本出願の発明者らは、米国仮特許出願第６２／２３９，８４０号、２０２０年３月３日に発行された米国特許第１０，５７５，７２８号、２０２０年２月５日に出願された米国特許出願第１６／７８３，１２８号、現米国特許出願公開第２０２０／０１７０５６０号によって開示されている眼球システムにおける多くの経験を有し、これらの特許文献は、その内容全体が引用により本明細書に完全に組み入れられる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

[Para 4]したがって、改善された眼球システムが必要とされている。本発明は、これらの需要を満たし、他の関連する利点を提供する。

【課題を解決するための手段】

【0005】

[Para 5]欺まん検出のための眼球システム
[Para 6]本発明の例示的な実施形態は、被検者の眼球情報に基づいた欺まん検出方法であり、この方法は、検査中に被検者を見るように構成されたスタンドオフデバイスを設けるステップであって、スタンドオフデバイスは被検者と物理的に接触せず、スタンドオフデバイスは、被検者の少なくとも一方の眼の接写ビュー（ｃｌｏｓｅ－ｕｐｖｉｅｗ）を記録するように構成された少なくとも１つのビデオカメラを有し、スタンドオフデバイスはコンピューティングデバイスを有するかまたはコンピューティングデバイスに接続される、ステップと、被検者が受ける高度から低度の認知負荷を判断するように構成された認知状態モデルを設けるステップであって、認知負荷は、被検者が自身の応答を策定するために心的資源を利用する程度を測定する、ステップと、被検者が受ける高度から低度の覚醒状態を判断するように構成された感情状態モデルを設けるステップであって、覚醒状態は、被検者の神経系の活性化に基づく、ステップと、少なくとも１つのビデオカメラにより、被検者の少なくとも一方の眼の眼球情報を記録するステップと、被検者に質問する前に、被検者の少なくとも一方の眼の眼球情報の基準状態を確立するステップと、被検者に質問を行い、被検者が質問に回答することを許可するステップと、質問を行い、被検者が質問に回答する時間を含めた後、眼球情報を処理して、被検者の眼球信号の変化を識別するステップと、コンピューティングデバイスにより、眼球信号の変化のみに基づいて認知状態モデルおよび感情状態モデルを評価し、被検者が真実を語っているかまたは欺まん的であるかの確率を推定するステップと、真実または欺まんのバイナリ出力を判断するステップと、バイナリ出力を管理者に表示するステップとを含む。

【0006】

[Para 7]他の例示的な実施形態では、眼球信号の変化は、以下のもの：眼球運動、視線位置Ｘ、視線位置Ｙ、サッカード（ｓａｃｃａｄｅ）率、サッカードピーク速度、サッカード平均速度、サッカード振幅、固視（ｆｉｘａｔｉｏｎ）持続時間、固視エントロピー（空間）、視線のずれ（極角）、視線のずれ（偏心）、再固視、円滑追跡、円滑追跡持続時間、円滑追跡平均速度、円滑追跡振幅、走査経路（経時的視線軌道）、瞳孔径、瞳孔領域、瞳孔対称性、速度（瞳孔径の変化）、加速（速度変化）、痙攣（瞳孔変化加速）、瞳孔ゆらぎのトレース、収れん潜伏期、拡張持続時間、スペクトル特徴、虹彩筋特徴、虹彩筋群同定、虹彩筋線維収縮、虹彩括約筋同定、虹彩拡張筋同定、虹彩括約筋対称性、瞳孔および虹彩センタリングベクトル、瞬目（ｂｌｉｎｋ）率、瞬目持続時間、瞬目潜在期、瞬目速度、部分的瞬目、瞬目エントロピー（周期性からのずれ）、強膜（ｓｃｌｅｒａ）セグメンテーション、虹彩セグメンテーション、瞳孔セグメンテーション、支質変化検出、眼球領域（斜視）、支質の変形、虹彩筋変化、のうちの任意のものを含むことができる。

【0007】

[Para 8]他の例示的な実施形態では、被検者が真実を語っているかまたは欺まん的であるかの確率を推定するステップは、被検者の回答中の期間にわたって取得された複数の推定値を含み、複数の推定値は、重み付けされ、組み合わされて、バイナリ出力が生成される。

【0008】

[Para 9]他の例示的な実施形態では、少なくとも１つのビデオカメラは、少なくとも毎秒１００フレーム、毎秒５０フレーム、または毎秒３０フレームのレートでフレームを捕捉することができる。

【0009】

[Para 10]他の例示的な実施形態では、スタンドオフデバイスは、被検者の顔の全体を記録するように構成された第２のビデオカメラを含むことができる。
[Para 11]他の例示的な実施形態では、コンピューティングデバイスは、スタンドオフデバイスから遠隔に配設されたクラウドベースのコンピューティングデバイスとすることができる。

【0010】

[Para 12]他の例示的な実施形態では、コンピューティングデバイスは、スタンドオフデバイスの一部であってもよく、またはスタンドオフデバイスと別個であってもよい。
[Para 13]他の例示的な実施形態では、被検者に質問を行い、被検者が質問に回答することを許可した後、更なる質問を被検者に行う前に、或る期間待機し、被検者の少なくとも一方の眼の眼球情報の基準状態を再確立することができる。

【0011】

[Para 14]他の例示的な実施形態では、被検者による発言全体を、質問に対する回答として評価することができる。
[Para 15]他の例示的な実施形態では、各バイナリ出力と、少なくとも１つのビデオカメラにより記録された各対応するビデオとを保存するステップは、コンピューティングデバイスによって行うことができる。

【0012】

[Para 16]動作リスクを評定するための眼球システム
[Para 17]本発明の例示的な実施形態は、被検者の眼球情報に基づいた動作リスクの評定方法であり、この方法は、被検者の少なくとも一方の眼の接写ビューを記録するように構成されたビデオカメラを設けるステップと、複数の画像を被検者に表示するように構成された電子表示画面を設けるステップと、ビデオカメラおよび電子ディスプレイに電子的に接続されたコンピューティングデバイスを設けるステップと、電子ディスプレイにより、少なくとも一方の眼球運動タスクを表示するステップと、少なくとも一方の眼球運動タスク中に、ビデオカメラにより、被検者の少なくとも一方の眼の眼球情報を記録するステップと、コンピューティングデバイスにより、眼球情報を処理して、畳込みニューラルネットワークの使用を通じて被検者の眼球信号の変化を識別するステップと、コンピューティングデバイスにより、機械学習アルゴリズムによって眼球信号の変化に対応する少なくとも一方の眼球運動タスクと組み合わされた畳込みニューラルネットワークからの眼球信号の変化を評価するステップと、機械学習アルゴリズムにより、被検者の職務適性結果を判断するステップであって、職務適性結果は、職務適性あり、職務適性なし、または更なる情報が必要である、ステップと、被検者および／または監督者に、被検者の職務適性結果を表示するステップとを含む。

【0013】

[Para 18]他の例示的な実施形態では、眼球信号の変化は、以下のもの：眼球運動、視線位置Ｘ、視線位置Ｙ、サッカード率、サッカードピーク速度、サッカード平均速度、サッカード振幅、固視持続時間、固視エントロピー（空間）、視線のずれ（極角）、視線のずれ（偏心）、再固視、円滑追跡、円滑追跡持続時間、円滑追跡平均速度、円滑追跡振幅、走査経路（経時的視線軌道）、瞳孔径、瞳孔領域、瞳孔対称性、速度（瞳孔径の変化）、加速（速度変化）、痙攣（瞳孔変化加速）、瞳孔ゆらぎのトレース、収れん潜伏期、拡張持続時間、スペクトル特徴、虹彩筋特徴、虹彩筋群同定、虹彩筋線維収縮、虹彩括約筋同定、虹彩拡張筋同定、虹彩括約筋対称性、瞳孔および虹彩センタリングベクトル、瞬目率、瞬目持続時間、瞬目潜在期、瞬目速度、部分的瞬目、瞬目エントロピー（周期性からのずれ）、強膜セグメンテーション、虹彩セグメンテーション、瞳孔セグメンテーション、支質変化検出、眼球領域（斜視）、支質の変形、虹彩筋変化、のうちの任意のものを含むことができる。

【0014】

[Para 19]他の例示的な実施形態では、少なくとも１つの眼球運動タスクは、以下のもの、瞳孔対光反射、視覚性運動反射、水平注視眼振、円滑追跡、視線較正または驚愕反応のうちの任意のものを含むことができる。

【0015】

[Para 20]他の例示的な実施形態では、電子表示画面は、スマートフォン、タブレット、ラップトップ画面、デスクトップ画面または電子画面のものとすることができる。
[Para 21]他の例示的な実施形態では、ビデオカメラ、電子表示画面およびコンピューティングデバイスは、全てスマートフォンまたはタブレットとして含めることができる。

【0016】

[Para 22]本発明の例示的な実施形態は、被検者の眼球情報に基づいた動作リスクの評定方法であり、この方法は、被検者の少なくとも一方の眼の接写ビューを受動的に記録するように構成されたビデオカメラを設けるステップと、ビデオカメラおよび電子ディスプレイに電子的に接続されたコンピューティングデバイスを設けるステップと、ビデオカメラにより、被検者の少なくとも一方の眼の眼球情報を記録するステップと、コンピューティングデバイスにより、眼球情報を処理して、畳込みニューラルネットワークの使用を通じて被検者の眼球信号の変化を識別するステップと、コンピューティングデバイスにより、機械学習アルゴリズムによって畳込みニューラルネットワークからの眼球信号の変化を評価するステップと、機械学習アルゴリズムにより、被検者の職務適性結果を判断するステップであって、職務適性結果は、職務適性あり、職務適性なし、または更なる情報が必要である、ステップと、被検者および／または監督者に、被検者の職務適性結果を表示するステップとを含む。

【0017】

[Para 23]他の例示的な実施形態では、眼球信号の変化は、以下のもの：眼球運動、視線位置Ｘ、視線位置Ｙ、サッカード率、サッカードピーク速度、サッカード平均速度、サッカード振幅、固視持続時間、固視エントロピー（空間）、視線のずれ（極角）、視線のずれ（偏心）、再固視、円滑追跡、円滑追跡持続時間、円滑追跡平均速度、円滑追跡振幅、走査経路（経時的視線軌道）、瞳孔径、瞳孔領域、瞳孔対称性、速度（瞳孔径の変化）、加速（速度変化）、痙攣（瞳孔変化加速）、瞳孔ゆらぎのトレース、収れん潜伏期、拡張持続時間、スペクトル特徴、虹彩筋特徴、虹彩筋群同定、虹彩筋線維収縮、虹彩括約筋同定、虹彩拡張筋同定、虹彩括約筋対称性、瞳孔および虹彩センタリングベクトル、瞬目率、瞬目持続時間、瞬目潜在期、瞬目速度、部分的瞬目、瞬目エントロピー（周期性からのずれ）、強膜セグメンテーション、虹彩セグメンテーション、瞳孔セグメンテーション、支質変化検出、眼球領域（斜視）、支質の変形、虹彩筋変化、のうちの任意のものを含むことができる。

【0018】

[Para 24]他の例示的な実施形態では、職務適性結果は被検者の酩酊度に関することができる。
[Para 25]他の例示的な実施形態では、職務適性結果は被検者の機能障害度に関することができる。

【0019】

[Para 26]他の例示的な実施形態では、職務適性結果は被検者の疲労度に関することができる。
[Para 27]他の例示的な実施形態では、職務適性結果は被検者の不安度および／またはストレス度に関することができる。

【0020】

[Para 28]学習を最適化するための眼球システム
[Para 29]本発明の例示的な実施形態は、被検者の眼球情報に基づいた学習の最適化方法であり、この方法は、被検者の少なくとも一方の眼の接写ビューを記録するように構成されたビデオカメラを設けるステップと、複数の教育主題を被検者に表示するように構成された第１の電子ディスプレイを設けるステップと、出力をインストラクターに表示するように構成された第２の電子ディスプレイを設けるステップと、ビデオカメラ、第１の電子ディスプレイおよび第２の電子ディスプレイに電子的に接続されたコンピューティングデバイスを設けるステップと、複数の教育主題を学習している間、ビデオカメラにより、被検者の少なくとも一方の眼の眼球情報を記録するステップと、コンピューティングデバイスにより、眼球情報を処理して、最適化アルゴリズムの使用を通じて被検者の眼球信号の変化を識別するステップと、被検者が受ける低度から高度の認知負荷を判断するように構成された認知状態モデルを設けるステップであって、認知負荷は、被検者が心的資源を利用する程度を測定する、ステップと、コンピューティングデバイスにより、眼球信号の変化に基づいて認知状態モデルを評価し、被検者が受ける低度から高度の認知負荷の確率を判断するステップと、第２の電子ディスプレイにより、被検者が受ける低度から高度の認知負荷の確率をインストラクターに表示するステップとを含む。

【0021】

[Para 30]他の例示的な実施形態では、この方法は、コンピューティングデバイスにより、被検者の少なくとも一方の眼との関連で第１の電子ディスプレイの位置を確立するステップと、眼球信号の変化から、複数の教育主題との関連で被検者の視線位置を判断するステップと、複数の教育主題の被検者の視線位置および眼球信号の変化を被検者の認知負荷とリンク付けするステップと、第２の電子ディスプレイによりインストラクターに対し、複数の教育主題との関連で被検者の認知負荷を表示するステップとを含むことができる。

【0022】

[Para 31]他の例示的な実施形態では、この方法は、電力スペクトル密度周波数変換を利用することによって、認知負荷の変化から結果として生じる被検者の瞳孔拡張を、周辺輝度の変化から分離するステップを含むことができる。

【0023】

[Para 32]他の例示的な実施形態では、この方法は、代表母集団または被検者の事前データに基づいて被検者の学習スケールを有する最適学習スケールモデルを提供するステップであって、学習スケールは、刺激不足から過剰の範囲をとる、ステップと、コンピューティングデバイスにより、眼球信号の変化を評価して、学習スケールに沿った被検者の位置を判断するステップと、第２のディスプレイによりインストラクターに対し、学習スケールに沿った被検者の位置を表示するステップとを含むことができる。

【0024】

[Para 33]他の例示的な実施形態では、この方法は、短期および／または長期記憶の強度を判断するように構成された記憶形成モデルを提供するステップと、コンピューティングデバイスにより、眼球信号の変化を評価して、複数の教育主題との関連で被検者の短期および／または長期記憶の強度を判断するステップと、第２のディスプレイによりインストラクターに対し、複数の教育主題との関連で被検者の短期および／または長期記憶の強度を表示するステップとを含むことができる。

【0025】

[Para 34]他の例示的な実施形態では、眼球信号の変化は、以下のもの：眼球運動、視線位置Ｘ、視線位置Ｙ、サッカード率、サッカードピーク速度、サッカード平均速度、サッカード振幅、固視持続時間、固視エントロピー（空間）、視線のずれ（極角）、視線のずれ（偏心）、再固視、円滑追跡、円滑追跡持続時間、円滑追跡平均速度、円滑追跡振幅、走査経路（経時的視線軌道）、瞳孔径、瞳孔領域、瞳孔対称性、速度（瞳孔径の変化）、加速（速度変化）、痙攣（瞳孔変化加速）、瞳孔ゆらぎのトレース、収れん潜伏期、拡張持続時間、スペクトル特徴、虹彩筋特徴、虹彩筋群同定、虹彩筋線維収縮、虹彩括約筋同定、虹彩拡張筋同定、虹彩括約筋対称性、瞳孔および虹彩センタリングベクトル、瞬目率、瞬目持続時間、瞬目潜在期、瞬目速度、部分的瞬目、瞬目エントロピー（周期性からのずれ）、強膜セグメンテーション、虹彩セグメンテーション、瞳孔セグメンテーション、支質変化検出、眼球領域（斜視）、支質の変形、虹彩筋変化、のうちの任意のものを含むことができる。

【0026】

[Para 35]他の例示的な実施形態では、複数の教育主題を学習している間、ビデオカメラにより、被検者の少なくとも一方の眼の眼球情報を記録するステップは、複数の教育主題を学習している間、カメラにより、被検者の表情および／または姿勢を記録することも含むことができる。

【0027】

[Para 36]本発明の例示的な実施形態は、被検者の眼球情報に基づいた認知負荷の測定方法であり、この方法は、被検者の少なくとも一方の眼の接写ビューを記録するように構成されたビデオカメラを設けるステップと、ビデオカメラおよび電子ディスプレイに電子的に接続されたコンピューティングデバイスを設けるステップと、ビデオカメラにより、被検者の少なくとも一方の眼の眼球情報を記録するステップと、コンピューティングデバイスにより、眼球情報を処理して、畳込みニューラルネットワークの使用を通じて被検者の眼球信号の変化を識別するステップと、コンピューティングデバイスにより、機械学習アルゴリズムによって畳込みニューラルネットワークからの眼球信号の変化を評価するステップと、機械学習アルゴリズムにより、被検者の認知負荷を判断するステップと、被検者および／または監督者に、被検者の認知負荷を表示するステップとを含む。

【0028】

[Para 37]他の例示的な実施形態では、眼球信号の変化は、以下のもの：眼球運動、視線位置Ｘ、視線位置Ｙ、サッカード率、サッカードピーク速度、サッカード平均速度、サッカード振幅、固視持続時間、固視エントロピー（空間）、視線のずれ（極角）、視線のずれ（偏心）、再固視、円滑追跡、円滑追跡持続時間、円滑追跡平均速度、円滑追跡振幅、走査経路（経時的視線軌道）、瞳孔径、瞳孔領域、瞳孔対称性、速度（瞳孔径の変化）、加速（速度変化）、痙攣（瞳孔変化加速）、瞳孔ゆらぎのトレース、収れん潜伏期、拡張持続時間、スペクトル特徴、虹彩筋特徴、虹彩筋群同定、虹彩筋線維収縮、虹彩括約筋同定、虹彩拡張筋同定、虹彩括約筋対称性、瞳孔および虹彩センタリングベクトル、瞬目率、瞬目持続時間、瞬目潜在期、瞬目速度、部分的瞬目、瞬目エントロピー（周期性からのずれ）、強膜セグメンテーション、虹彩セグメンテーション、瞳孔セグメンテーション、支質変化検出、眼球領域（斜視）、支質の変形、虹彩筋変化、のうちの任意のものを含むことができる。

【0029】

[Para 38]支質変形を推測するための虹彩筋の徹照
[Para 39]本発明の例示的な実施形態は、虹彩生理学と、被検者の認知状態および／または感情状態との間の関係の発見方法であり、この方法は、コンピューティングデバイスを設けるステップと、被検者の少なくとも一方の眼の接写ビューを記録するように構成されたビデオカメラを設けるステップと、被検者の下瞼の皮膚に保持されるように構成された第１のライトを設け、光が少なくとも一方の眼の中から光ることを可能にするステップと、被検者から離れた距離に位置し、被検者と接触しないように構成され、被検者の少なくとも一方の眼の支質を照明するように構成された第２のライトを設けるステップであって、第１のライトおよび第２のライトは共に電子的に同期され、交互に点滅するように構成される、ステップと、ユーザに複数のタスクに従事させるステップであって、複数のタスクのうちの各タスクは、認知または感情を喚起するように構成される、ステップと、ビデオカメラにより、複数のタスクによって生じた被検者の認知状態および／または感情状態に起因した虹彩筋肉組織における反応および支質における対応する歪みを含む眼球情報を記録するステップと、コンピューティングデバイスにより、最適化アルゴリズムの使用を通じて、眼球情報を処理し、虹彩筋肉組織における反応と、支質における歪みとの間の相関を識別するステップと、コンピューティングデバイスにより、被検者が複数のタスクによって生じた認知状態および／または感情状態にあったときに、虹彩筋肉組織の予測応答に相関がある可視スペクトルカメラのみを用いて捕捉可能な支質における少なくとも１つの予測歪みを識別するステップとを含む。

【0030】

[Para 40]他の例示的な実施形態では、第１のライトは（１５０ｍｗ）ＮＩＲＬＥＤを含むことができる。第２のライトは（１５０ｍｗ）ＮＩＲＬＥＤを含むことができる。

【0031】

[Para 41]他の例示的な実施形態では、第１のライトおよび第２のライトは、交互に（１６０Ｈｚで）点滅するように構成することができ、結果としての（８０Ｈｚの）効果が生じる。

【0032】

[Para 42]別の例示的な実施形態では、この方法は、可視光画像から近赤外線画像を生成する方法を更に含むことができ、この方法は、被検者の少なくとも一方の眼の接写ビューを記録するように構成された可視スペクトルビデオカメラを設けるステップと、可視スペクトルビデオカメラにより、被検者の認知状態および／または感情状態に起因した支質における歪みを含む眼球情報を記録するステップと、コンピューティングデバイスにより、可視スペクトルビデオカメラからの眼球情報を用いて、敵対的生成ネットワークを通じて被検者の少なくとも一方の眼の赤外線画像を予測するステップとを含み、予測は、コンピューティングデバイスにより、赤外線画像を作成するために、支質における少なくとも１つの予測歪みを利用する。

【0033】

[Para 43]本発明の他の特徴および利点は、本発明の原理を例として示す添付の図面と併せて解釈したときに以下のより詳細な説明から明らかになる。
[Para 44]添付の図面は本発明を例示する。

【図面の簡単な説明】

【0034】

【図1】[Para 45]ＵＮＥＴニューラルネットワークに基づいたマスキング技法を示す被検者の眼の正面図である。

【図2A】[Para 46]本発明のカメラシステムの側面図である。

【図2B】[Para 47]本発明を利用する被検者の概略上面図である。

【図3】[Para 48]本発明の１つの実施形態のフローチャートである。

【図4】[Para 49]本発明の瞳孔対光反射試験の例を示す。

【図5】[Para 50]本発明の視覚性運動反射の例を示す図である。

【図6】[Para 51]本発明の水平注視眼振の例を示す図である。

【図7】[Para 52]本発明の円滑追跡の例を示す図である。

【図8】[Para 53]本発明の視線較正の例を示す図である。

【図9】[Para 54]本発明のソフトウェア出力の１つの実施形態を示す図である。

【図10】[Para 55]本発明のソフトウェア出力の別の実施形態を示す図である。

【図11】[Para 56]本発明の認知負荷および学習パラメータ出力の１つの実施形態である図である。

【図12】[Para 57]徹照ハードウェアおよびプロセスの１つの実施形態を示す図である。

【図13】[Para 58]図１２の徹照ハードウェアを用いて捕捉された表面層支質および徹照された虹彩ビデオの静止画像である。

【図14】[Para 59]生成されたＩＲ画像を用いてＣＶマスクが作成され、次にこのＣＶマスクがリアルタイムで可視光画像上に投影される、黒目のＩＲ画像のＧＡＮ生成の例である。

【図15】[Para 60]ＵＮＥＴ予測を用いてＩＲ画像上に形成され、可視光画像の上に重ね合わされたＣＶマスクの例である。

【図16】[Para 61]同じ位置のＮＩＲ光および可視光の双方を同時に捕捉する二重カメラ設計の１つの実施形態の斜視図である。

【発明を実施するための形態】

【0035】

[Para 62]本明細書において、本出願における「Ｓｅｎｓｅｙｅ」への言及は、本発明者らの会社（すなわち、出願人）を指すことに留意されたい。
[Para 63]欺まん検出のための眼球システム：
[Para 64]Ｓｅｎｓｅｙｅ欺まん検出器は、眼球信号を用いて、構造化された質問、能動的な尋問、および人間の受動的観察を含む多岐にわたる設定において欺まんを検出するように設計されたスタンドオフ（ｓｔａｎｄｏｆｆ）デバイスである。このデバイスは眼球信号を記録し、人物の発言を真実または欺まんとして分類する。このデバイスはバイナリ分類を提供する。各質問の分類は、応答または発言時に取得された眼球情報のみに基づき、したがって、システム設計は、重複した質問または特定の質問構造を必要とすることなく、各質問の個々の分類を可能にする。これは、質問の話題の複数の事例に依拠して結論に達するか、または質問の結果を互いに比較することに依拠する、多くの欺まん検出システムおよび技法に対する進歩である。欺まんの閾値は、使用事例に基づいて設定することができる（例えば、よりハイステークスの状況の場合、より厳密なパラメータ）。

【0036】

[Para 65]欺まん検出器は、認知および感情状態のモデルの組み合わせを用いて、最終欺まんモデルおよび分類に投入する。したがって、システムは、構成要素モデルの結果のバイナリ分類を出力することが可能である。このシステムは、人物が自身の応答を策定するために心的資源を利用する程度を測定する、高認知負荷または低認知負荷の分類を出力する。このシステムは、被検者の神経系の活性化に基づいて、高覚醒または低覚醒の分類を出力する。これらの尺度の双方が、欺まんの分類のコンテキストを提供することが意図される。

【0037】

[Para 66]当業者であれば、Ｓｅｎｓｅｙｅ欺まん検出器は、スタンドオフデバイスとならないように再構成することができ、代わりに、少なくとも部分的に、ユーザが装着または保持するヘッドギア、帽子、眼鏡等に存在することができることも理解されたい。この方式で被検者を監視および観察することはより煩わしいものであるが、依然として、本明細書において教示される残りの方法および戦略を用いる。

【0038】

[Para 67]欺まん検出器は、眼球信号に依拠して分類を行う。これらの眼球信号の変化は、以下のもの：眼球運動、視線位置Ｘ、視線位置Ｙ、サッカード率、サッカードピーク速度、サッカード平均速度、サッカード振幅、固視持続時間、固視エントロピー（空間）、視線のずれ（極角）、視線のずれ（偏心）、再固視、円滑追跡、円滑追跡持続時間、円滑追跡平均速度、円滑追跡振幅、走査経路（経時的視線軌道）、瞳孔径、瞳孔領域、瞳孔対称性、速度（瞳孔径の変化）、加速（速度変化）、痙攣（瞳孔変化加速）、瞳孔ゆらぎのトレース、収れん潜伏期、拡張持続時間、スペクトル特徴、虹彩筋特徴、虹彩筋群同定、虹彩筋線維収縮、虹彩括約筋同定、虹彩拡張筋同定、虹彩括約筋対称性、瞳孔および虹彩センタリングベクトル、瞬目率、瞬目持続時間、瞬目潜在期、瞬目速度、部分的瞬目、瞬目エントロピー（周期性からのずれ）、強膜セグメンテーション、虹彩セグメンテーション、瞳孔セグメンテーション、支質変化検出、眼球領域（斜視）、支質の変形、虹彩筋変化、のうちの任意のものを含むことができる。

【0039】

[Para 68]信号は、眼から微妙な情報を抽出するように設計されたマルチステッププロセスを用いて取得される。図１に示すように、ビデオデータからの画像フレームは、関心対象の構造を分離し定量化するように設計された一連の最適化アルゴリズムを通じて処理される。これらの分離されたデータは、自動的に最適化された、手作業でパラメータ化された、およびノンパラメトリックの、変換およびアルゴリズムの混合を用いて更に処理される。これらの信号および認知負荷および覚醒コンテキスト情報の時系列の特徴を活用して、これらの方法のうちのいくつかは、入力データが欺まん状態を表す確率を特に推定する。複数の推定値が組み合わされ、重み付けされて、応答または発言中に真実または欺まんとして生じる眼球信号に基づいて、そのような応答または発言を分類するモデルを生成する。

【0040】

[Para 69]本発明によるコンピュータビジョンセグメンテーションの結果として生じる眼球メトリックを処理し、ワールド内で生じる時間にリンクしたイベント中にこれらの出力を分析することによって、この製品は機能する。欺まん検出器の１つのバージョンは、特定のＳｅｎｓｅｙｅハードウェア設計において機能する。デバイスのこの実施形態（図２Ａを参照）は、参加者から離して眼のレベルに載置されるように設計された開口を有するボックスを有する。参加者に対面するウェブカメラ等のビデオカメラは、参加者の頭部を捕捉し、顔のキーポイントを用いて眼をパースする。眼の位置が特定されると、高分解能のカメラが、左眼（または右眼）の接写ビューを得るように自動的に調整する。図２Ａの実施形態に示すように、ミラー２Ａ．１、ＵＳＢウェブカメラ２Ａ．２、Ｃａｎｏｎ７０－３００ＵＳＭＡＦレンズ２Ａ．３、Ｃマウント－ＣａｎｏｎＥＦアダプタ２Ａ．４、ＥｍｅｒｇｅｎｔＨＲ－１２０００－Ｓ－Ｍ２Ａ．５および１０ＧｉｇＥＳＦＰ＋２Ａ．６が存在する。

【0041】

[Para 70]カメラは、超高忠実度の虹彩セグメンテーションを可能にする。高い接続速度により、毎秒１００フレームを上回る更新速度が可能になり、眼の生理学において最も僅かで最速の変化でさえ検出可能となる。しかしながら、毎秒５０フレームまたは３０フレームのフレームレート等のより低速なフレームレートが用いられてもよい。アダプタマウントは、１メートル超離れた場所から眼をフレームに埋めることができる焦点距離を可能にする。加えて、アダプタは、Ｓｅｎｓｅｙｅシステムがソフトウェアにより焦点リングおよびアパーチャを制御することを可能にする。ビデオデータは、未加工フォーマットで記憶され、処理された表形式データがローカルデータベースに記憶される。

【0042】

[Para 71]ユーザ、被検者およびシステムの配置および距離を示す１つの可能な使用事例は、図２Ｂにも示される。カメラは、ユーザに対し垂直に配置され、４５度の角度ミラーを用いて眼を捕捉する。ユーザは、セッション単位でレンズをオートフォーカスするように選択することができる。システムは、手動フォーカスの必要性を回避し、ヒューマンエラーの発生点をなくす。図２Ｂの実施形態に示すように、被検者２Ｂ．１は、固視点２Ｂ．３から９１．４４ｃｍ（３６インチ）の距離２Ｂ．２にある。カメラ２Ｂ．４は、６０．９６ｃｍ（２４インチ）の距離２Ｂ．５にある。ここに示すように、実験者２Ｂ．６は約１３２．０８ｃｍ（５２インチ）の距離２Ｂ．７にある。表には本発明のデバイス２Ｂ．８もある。

【0043】

[Para 72]このハードウェアセットアップは、システムが機能するように設計されるいくつかの方式のうちの１つである。システムは、クラウドインスタンスまたはオンサイト計算ノード等の外部解決策に計算作業負荷をオフロードすることもできる。

【0044】

[Para 73]双方の場合に、システムは図３における概略に従って機能する。評定の開始時に、システムは、被検者の基準読み値を生成するメトリックを記録する。上記で列挙し、モデルに含まれたメトリックの多くは、これらの基準読み値からの様々な種類の変化に基づく。これらの変化はモデルへの入力として作用し、応答を真実または欺まんとして迅速に分類することを可能にする。各質問の間に、インタビューされる人物の神経系および眼球メトリックが基準に戻るための時間が許容される。このリセット期間後、通常１０秒後、インタビュアーは次の質問に進み、ここでもまた、応答後に迅速に欺まんまたは真実の分類を受信する。

【0045】

[Para 74]迅速な分類に加えて、システムは、質問ごとに与えられた結果を表示するセッション後レポートを出力する。システムは、セッション全体にわたって生じるイベントに対しタイムスタンプを付されたモデルにおけるメトリックごとの読み値を含むデータファイルをダウンロードするオプションを提供する。システムは、戻って任意の以前に記録されたセッションのビデオおよび分類結果を見るオプションを有する。システムは、このシステムを様々な使用事例に対し柔軟性を有するものにする他の特徴を有する。システムは、質問のテンプレートを作成するオプションを提供し、このテンプレートは、反復スクリーニングのために順序付けおよび自動化することができる。システムは、自由質問のためにテンプレートなしで動作することもできる。最後に、システムは、質問が行われていない状態で参加者が発言しているビデオを作ることができる。この場合、ビデオ発言全体はシステムによって１つの質問とみなされ、ビデオが完了すると、同じ動作後オプションを伴って、同じ形式で分類が出力される。

【0046】

[Para 75]動作リスクを評定するための眼球システム：
[Para 76]Ｓｅｎｓｅｙｅ動作リスク管理（ＯＲＭ）システムは、作業者の作業への適性の客観的尺度を提供する。システムは、過剰な疲労、アルコールまたは薬物による機能障害、ならびに仕事のパフォーマンスおよび安全性に干渉し得る心理学的リスク因子について作業者をスクリーニングする。システムは、ユーザの眼が様々な眼球運動タスクを行い、および／または受動的に画面を見ている間、ユーザの眼のビデオを記録する。ＯＲＭシステムは、ユーザに刺激を与えるソフトウェアも含む。システムは、コンピュータビジョンを用いて眼をセグメンテーションし、多岐にわたる眼球特徴を定量化する。次に、眼球メトリックが機械学習アルゴリズムに入力されることとなる。機械学習アルゴリズムは、作業者が自身の仕事を安全に行うには過度に疲労しているか、または（薬物、アルコールまたは心理学的リスク要因に起因して）機能障害があるときに検出するように設計される。適性の閾値は、使用事例に基づいて設定することができる（例えば、ハイステークス／ハイリスクの職業の場合、より厳密なパラメータ）。ＯＲＭモデルおよび閾値の更なる適用は、これらを、ユーザがタスクを行っているときに、スクリーニングの刺激を必要とせずにユーザを受動的に見るビデオにおいて実施することができることである。

【0047】

[Para 77]ＳｅｎｓｅｙｅＯＲＭシステムに対する主な入力は、ユーザの眼がシステムによって提示された眼球運動タスクを行っているか、または電話もしくはタブレットの画面もしくはコンピュータモニタを受動的に見ている間のユーザの眼のビデオフィルム映像である。開いた眼からの視認可能な解剖学的特徴（すなわち、強膜、虹彩および瞳孔）の位置およびアイデンティティが、元は医療画像セグメンテーションのために開発された畳込みニューラルネットワークによりピクセル単位でデジタル画像において分類される。畳込みニューラルネットワークの出力に基づいて、多数の眼球特徴が生成される。これらの眼球メトリックは、コンテキストおよびラベルを提供する眼球運動タスクからのイベントデータと組み合わされる。眼球メトリックおよびイベントデータは機械学習アルゴリズムに提供され、機械学習アルゴリズムは、「職務適性あり」、「職務適性なし」、または「更なる情報が必要」の結果を返す。システムは、「職務適性なし」の指定の背後にある理由も返す（例えば、過度の疲労、薬物またはアルコールによる機能障害が疑われる、過度の不安）。

【0048】

[Para 78]ＯＲＭは、眼球信号に依拠して分類を行う。これらの眼球信号の変化は、以下のもの：眼球運動、視線位置Ｘ、視線位置Ｙ、サッカード率、サッカードピーク速度、サッカード平均速度、サッカード振幅、固視持続時間、固視エントロピー（空間）、視線のずれ（極角）、視線のずれ（偏心）、再固視、円滑追跡、円滑追跡持続時間、円滑追跡平均速度、円滑追跡振幅、走査経路（経時的視線軌道）、瞳孔径、瞳孔領域、瞳孔対称性、速度（瞳孔径の変化）、加速（速度変化）、痙攣（瞳孔変化加速）、瞳孔ゆらぎのトレース、収れん潜伏期、拡張持続時間、スペクトル特徴、虹彩筋特徴、虹彩筋群同定、虹彩筋線維収縮、虹彩括約筋同定、虹彩拡張筋同定、虹彩括約筋対称性、瞳孔および虹彩センタリングベクトル、瞬目率、瞬目持続時間、瞬目潜在期、瞬目速度、部分的瞬目、瞬目エントロピー（周期性からのずれ）、強膜セグメンテーション、虹彩セグメンテーション、瞳孔セグメンテーション、支質変化検出、眼球領域（斜視）、支質の変形、虹彩筋変化、のうちの任意のものを含むことができる。

【0049】

[Para 79]ＳｅｎｓｅｙｅＯＲＭシステムは、多岐にわたるハードウェアオプション上で実行するように設計される。眼のビデオは、ウェブカメラ、携帯電話のカメラ、または十分な分解能およびフレームレートを有する任意の他のビデオカメラによって取得することができる。刺激は、携帯電話、タブレット、もしくはラップトップ画面または標準的なコンピュータモニタ上に提示することができる。ソフトウェアを実行するために必要なハードウェアは、デバイス内にあるかまたはＡＰＩを通じてアクセスされるサーバ上にあるニューラルネットワーク対応のＦＰＧＡ、ＡＳＩＣまたはアクセラレーテッドハードウェアである。

【0050】

[Para 80]ＳｅｎｓｅｙｅＯＲＭ評定は、ユーザがシステムにログインすることによってプロセスを始動することから開始する。これは、ユーザネームおよびパスワードをタイピングすることによって、または顔認識を用いることによって達成することができる。１つの実施形態において、ユーザは、瞳孔対光反射、視覚性運動反射、眼振試験および円滑追跡を含むことができる一連の眼球運動タスクを提示される。視線較正タスクは、システムによる視線測定出力を改善するように含めることもできる。各タスクについて以下で簡単に説明する。使用事例に依拠して、これらのタスクのサブセットが含まれる。別の実施形態において、スキャンはより受動的となるように設計され、このため、ユーザの眼は画面を受動的に見ている間に記録される。

【0051】

[Para 81]図４は、瞳孔対光反射の例を示す。瞳孔対光反射は、画面の輝度を操作することによってＯＲＭシステムによって測定される。ユーザは、画面が灰色から黒へ、白へと変化し、そして黒に戻る間、画面の中心の十字を固視する。明るい白色画面は瞳孔を収縮させる。瞳孔サイズは、コンピュータビジョンを用いて測定され、収れん潜伏期、速度および振幅等の様々なパラメータが計算される。非定型瞳孔動力学は、疲労、酩酊、ストレス／不安、およびＰＴＳＤを示す交感神経機能亢進を示す可能性がある。

【0052】

[Para 82]図５は視覚性運動反射の例を示す。視覚性運動反射は、画面を横切って動く交互の黒色および白色のバーをユーザに提示することによって引き起こされる。眼は、画面を横切って動くバーを反射的に追跡し、次に、バーが画面から離れて動くと、開始点まで移動して戻る。これにより、眼の視線ｘ位置において特徴的な鋸歯パターンが生成され、これは刺激速度に対応するはずである。刺激速度からのずれは、視覚性運動反射が機能障害を有することを示した。

【0053】

[Para 83]図６は、水平注視眼振の例を示す。眼振試験は、法執行機関によって用いられる現場で行われる飲酒検査の構成要素に類似している。円形刺激は、画面にわたって水平方向に動き、各方向において４５度の視角を横切る。ユーザは、眼で刺激を追跡するように命令される。健康な人では、不随意の水平方向の眼の振動は、眼が右または左に４０～４５度動くと生じることが予期される。ユーザが酩酊している場合、この不随意の動きはより小さな視角で生じることになる。

【0054】

[Para 84]図７は、円滑追跡の例を示す。このタスクは、ユーザが一定の速度で動いている円形刺激を自身の眼で追跡することを要求する。速度および空間精度の観点で刺激を正確に追跡する能力が定量化される。速度または空間位置の整合不良は機能障害を示す。

【0055】

[Para 85]図８は視線較正の例を示す。視線較正タスクは、各々数秒間、画面上の１１個の異なる空間位置に表示される一連のドットからなる。ユーザは、各ドットが現れると、このドットを固視するように要求される。このタスクは、他のタスクにおける挙動を評定するのに用いられる正確な視線情報を提供するために視線追跡システムを較正するのに用いられる。

【0056】

[Para 86]驚愕反応（図示せず）は、驚愕反応を試験するために、ホワイトノイズの予測不可能な大バーストでユーザを試験することができるときのものである。ノイズバーストに反応した急速で大きな拡張は、交感神経機能亢進を示す。

【0057】

[Para 87]上記で説明した刺激およびメトリックに基づいたＯＲＭモデルの開発の継続は、受動的監視状況における使用である。これらの状況において、製品はスクリーニングデバイスとして機能せず、むしろ、タスクを行っているユーザのビデオ観察を通じてモデルから分類状態を出力する。これらのモデルおよび閾値は、上記で列挙した同じメトリックを利用するが、１つのシナリオから別のシナリオへの学習の転送に起因して、コンテキストへの依存度がより低い。

【0058】

[Para 88]学習を最適化するための眼球システム：
[Para 89]Ｓｅｎｓｅｙｅ標的学習システム（ＴＬＳ）は、認知活動の非侵襲的眼球尺度を用いてトレーニングおよびスキルベースの学習のプロセスを通知し、最適化する。ＴＬＳアルゴリズムは、認知労力、短期および長期記憶利用および符号化、ならびに覚醒レベルを含む認知イベントおよび状態を監視および分類する。これらのメトリックは、所与のタスク中に必要とされる認知のインジケータとして個々の目的を果たす。これらは合わせて、人物が最適学習を促す状態にいるときを示すことができる。経時的に、これらは、人物の学習軌道を定量化することができる。多岐にわたる学習カリキュラムと組み合わせて用いられることで、ＴＬＳは、カリキュラムを個人の独自の学習ペースに迅速に適合させるのに役立つ。このレベルの適応型トレーニングは、カリキュラム教材の保持を確実にしながら、学習の高速化をもたらす。標的学習システムは、認知負荷、Ｓｅｎｓｅｙｅ学習パラメータ（ＳＬＰ）、ならびに短期および長期記憶符号化のインスタンスの出力を含む。

【0059】

[Para 90]ＴＬＳは、眼球信号に依拠して分類を行う。これらの眼球信号の変化は、以下のもの：眼球運動、視線位置Ｘ、視線位置Ｙ、サッカード率、サッカードピーク速度、サッカード平均速度、サッカード振幅、固視持続時間、固視エントロピー（空間）、視線のずれ（極角）、視線のずれ（偏心）、再固視、円滑追跡、円滑追跡持続時間、円滑追跡平均速度、円滑追跡振幅、走査経路（経時的視線軌道）、瞳孔径、瞳孔領域、瞳孔対称性、速度（瞳孔径の変化）、加速（速度変化）、痙攣（瞳孔変化加速）、瞳孔ゆらぎのトレース、収れん潜伏期、拡張持続時間、スペクトル特徴、虹彩筋特徴、虹彩筋群同定、虹彩筋線維収縮、虹彩括約筋同定、虹彩拡張筋同定、虹彩括約筋対称性、瞳孔および虹彩センタリングベクトル、瞬目率、瞬目持続時間、瞬目潜在期、瞬目速度、部分的瞬目、瞬目エントロピー（周期性からのずれ）、強膜セグメンテーション、虹彩セグメンテーション、瞳孔セグメンテーション、支質変化検出、眼球領域（斜視）、支質の変形、虹彩筋変化、のうちの任意のものを含むことができる。

【0060】

[Para 91]信号は、眼から微妙な情報を抽出するように設計されたマルチステッププロセスを用いて取得される。ビデオデータからの画像フレームは、関心対象の構造を分離し定量化するように設計された一連の最適化アルゴリズムを通じて処理される。これらの分離されたデータは、自動的に最適化された、手作業でパラメータ化された、およびノンパラメトリックの、変換およびアルゴリズムの混合を用いて更に処理される。

【0061】

[Para 92]認知負荷：
[Para 93]ＴＬＳソフトウェアは、前面カメラを有する任意のデバイス（タブレット、電話、コンピュータ、ＶＲヘッドセット等）上で機能することが可能である。ＴＬＳソフトウェアは、画像から抽出された解剖学的信号（より詳細には、生理学的信号）を用いて、最適化アルゴリズムを通じて様々な認知状態を予測する。アルゴリズムは、入力データが特定の認知状態を表す推定確率を提供し、１つ以上の認知状態の存在を識別することができる。画像信号は、一連のデータ処理動作を通じて実行され、信号および推定が抽出される。まず複数の画像マスクが適用され、眼の構成要素と顔の特徴とを分離し、様々なメトリックがリアルタイムで画像から抽出されることを可能にする。画像フィルタから、認知状態の最終推定を支持する変換アルゴリズムを通じて関連信号が抽出される。複数のデータストリームおよび推定を単一の計算において行うことができ、認知負荷信号は、複数の独自の処理および推定アルゴリズムの組み合わせから生じることができる。認知負荷出力は、認知負荷出力のイベント時間および時間経過を関係付けることによって刺激（示されるビデオおよび／または画像および／または空白画面）に直接リンクさせることができる。ソフトウェアは、リアルタイムで、イベントが発生している際の個人の認知負荷を表示することができる（図９および図１０）。

【0062】

[Para 94]ＴＬＳ製品は、認知状態に対する推論を実行するように様々な視線の形態を利用することも可能である。この製品において用いられる視線は、次の３つの主要なカテゴリーに分類される。１）フレームにおける眼の中心推定、２）眼の位置および向きの推定、および３）空間内の被検者の焦点に関する３Ｄ視点推定。これらの全ての手法から精製された情報は、個々にまたは連携して用いることができる。個々に、これらの方法は、眼球運動の独自の有益な測定を提供し、これらは合わせて（追加の較正ルーチンを用いても用いなくても）、眼および視線ベクトルの３Ｄモデルを構築するのに用いられるカスケード情報パラメータを提供する。次に、視線ベクトルを、オブジェクトの表面に平行な対応する２次元平面と交差させることによって、コンピュータモニタ等の現実空間内のオブジェクトにおける注視点を推定することができる。モニタ、ＩＲライト、ｎＩＲライトおよびカメラ位置は、視線推定前に全て既知の量である。参加者の視線は、参加者が見ている画面上にヒートマップの形態で投影される。視線の時点における認知負荷をプロットすることによって、ソフトウェアは、視線位置および視線に関連する認知負荷をリンクさせることができる。これにより、個人は、個人の認知負荷出力に変更があったとき、参加者が見ていた位置／オブジェクト／タスクを正確に分析することが可能になる。

【0063】

[Para 95]ユーザが見ている刺激が一定の輝度を呈する可能性は低い。周辺輝度における知覚変化が瞳孔反応の主な要因であることはよく知られている。輝度ベースの瞳孔反応を考慮するために、ＴＬＳはパワースペクトル密度（ＰＳＤ）周波数変換を使用して、結果として得られた瞳孔拡張を認知負荷から分離する。ＰＳＤ変換は、間隔内の各特定の周波数において波形のパワーを測定する。この方法を用いて、任意の種類の波を構成する様々なタイプの正弦波を決定することができる。ＰＳＤを通じた瞳孔波形の分解により、輝度条件と無関係に認知負荷が検出されることがわかっている（Ｍａｒｓｈａｌｌ、２００２；Ｎａｋａｙａｍａ＆Ｓｈｉｍｉｚｕ、２００４；Ｈａｍｐｓｏｎ他、２０１０；Ｐｅｙｓａｋｈｏｖｉｃｈ他、２０１５；Ｐｅｙｓａｋｈｏｖｉｃｈ他、２０１７；Ｒｅｉｎｅｒ＆Ｇｅｌｆｅｌｄ、２０１４）。輝度反応は反射性であり高速であるが、認知プロセスに起因した瞳孔変化はより低速である（Ｊｏｓｈｉ他、２０１６）。測定された輝度および瞳孔反応信号の混合を用いて、ＴＬＳアルゴリズムは、ＰＳＤおよび他の変換を適用し、複数の時間および周波数信号から導出された新たな結合信号を作成する。次に、これらの信号は、最適化アルゴリズムを通じて認知状態の確率推定を駆動し、外部光源からの瞳孔反応が存在する場合であっても認知負荷状態を識別する。

【0064】

[Para 96]Ｓｅｎｓｅｙｅ学習パラメータ：
[Para 97]ＴＬＳの一部として、ＳｅｎｓｅｙｅはＳｅｎｓｅｙｅ学習パラメータ（ＳＬＰ）を開発した。人物の学習能力は、内部要因（例えば、疲労、低関与、過剰）およびタスク関連要因（例えば、過度に容易、過度に難解）の双方に依拠して変化する可能性がある。ＳＬＰは、個人の内部要因を考慮し、低関与／刺激不足から、高い内部状態／過剰までのスケールとして表されるＴＬＳアルゴリズムの一部である。これは、個人の眼球信号を最適な学習スケールにおける読み値に変換するアルゴリズムを用いて計算される。最適な学習スケールは、統計的に、代表母集団または個人の事前データに基づく（適応型Ｓｅｎｓｅｙｅ学習パラメータを参照）。参加者の内部状態が低いとき（最小認知負荷が維持される）、インジケータはＳＬＰスケールの低い側にシフトするのに対し、高い内部状態（高い認知負荷が維持され、過剰であることが示される）は、ＳＬＰインジケータをスケールの高い側にシフトさせる。これにより、インストラクターは、参加者が最良の学習結果（図１１）のために最適な学習ポイント（ＳＬＰの中央）に留まることができるようにタスクを採用して調整することが可能になる。

【0065】

[Para 98]適応型Ｓｅｎｓｅｙｅ学習パラメータ：
[Para 99]上記で説明したように、ＳＬＰは、固定の方程式において演算を行い、最適学習パラメータを生成することができる。しかしながら、ＳＬＰは、被検者の専門知識および学習能力に応じてパラメータを変更する能力も有する。個人が依然として新たな情報を吸収しながら受ける可能性があるストレス量は、人物ごとに異なる。同じ量のストレスおよび覚醒の下で、何人かの人物は、学習能力を維持する一方で、他の人物は維持しない。様々な覚醒レベルにおける認知性能の変動が従来の研究において観察されている（Ｃｈａｂｙ他、２０１５；ＹｅｒｋｅｓおよびＤｏｄｓｏｎ、１９０８；Ａｎｄｅｒｓｏｎ、１９９４）。ＳＬＰの適応機能は、個人の専門知識（初級、中級、上級）を判断する性能を使用して、該性能を認知負荷と相関付けて、個人のための最適スケールを自動的に生成する。スケールは、個人がタスクを学習してマスターする際のストレス条件下の個人の性能および認知負荷の変化に依拠してシフトおよび調整することができる。この機能は、定量化された学習のカスタマイズ性を更に向上させ、インストラクターまたは自動化されたレッスンシステムが、カリキュラムを個々の学習プロファイルに応じてより効率的に変更することを可能にする。

【0066】

[Para 100]記憶分類：
[Para 101]また、ＴＬＳは、限定ではないが、学習プロセス中の短期記憶（ＳＴＭ）および長期記憶（ＬＴＭ）の形成を含む記憶形成の発生および強度を区別することができる。従来の文献は、異なる脳の領域が様々なタイプの記憶形成に関与していることを示している。前頭葉皮質は、ＬＴＭに関連し、海馬はＳＴＭに密接に関連している。前頭葉皮質に病変または損傷を有する人物は、多くの場合、記憶の符号化および索出が困難な時期を有する（Ｊｅｔｔｅｒ他、１９８６；ＭｃＡｎｄｒｅｗｓおよびＭｉｌｎｅｒ、１９９１；ＥｓｌｉｎｇｅｒおよびＧｒａｔｔａｎ、１９９４；Ｓｔｕｓｓ他、１９９４；ＭｏｓｃｏｖｉｔｃｈおよびＷｉｎｏｃｕｒ、１９９５）のに対し、短期記憶の機能障害はほとんどまたは全く示さない（Ｋｅｓｎｅｒ他、１９９４；Ｓｔｕｓｓ他、１９９４；ＳｗｉｃｋおよびＫｎｉｇｈｔ、１９９６；Ｄｉｍｉｔｒｏｖ他、１９９９；Ａｌｅｘａｎｄｅｒ他、２００３）。海馬は、短期記憶の形成に関与することがわかっており、海馬の病変は、新たな記憶の符号化を阻害する（Ｊｏｎｉｄｅｓ他、２００８；ＣｏｈｅｎおよびＥｉｃｈｅｎｂａｕｍ、１９９３）。

【0067】

[Para 102]前頭葉皮質は、ＬＴＭに関与するのみでなく、運動コマンドを脳幹に伝達することを通じて様々な眼球運動を生成する上でも重要である。また、記憶の形成および索出（Ｋｕｃｅｗｉｃｚ他、２０１８）に関連した瞳孔径の変化を調整することも知られている（Ｓｃｈｌａｇ－Ｒａｙ他、１９９２；ＥｂｉｔｚおよびＭｏｏｒｅ、２０１７）。ＬＴＭおよび眼球メトリックは共に前頭葉皮質に関連しているため、眼球メトリックを利用して、記憶形成を読み出し、ＬＴＭおよびＳＴＭの形成中に生じる眼球メトリックの様々なパターンに基づいてモデルを構築することができる。このモデルを用いて、ＴＬＳは、人物が学習タスクに従事している間に生じる記憶形成の強度およびタイプを出力する機能を構築した。

【0068】

[Para 103]図９および図１０は、認知負荷セッションのＴＬＳソフトウェア出力の１つの実施形態を示す。これらの図は、ＴＬＳユーザインタフェースの反復を表す。図９は、特定のセッション中のユーザの認知負荷およびＳＬＰ出力のライブ時系列分析である。図１０において、認知負荷およびＳＬＰの双方の即時フィード、およびそれぞれの機能を出力するのに用いられる眼の検出およびマスキングアルゴリズムのライブフィードが存在する。眼の検出アルゴリズムは、ユーザの顔における両眼を位置特定し、一方の眼に集中して虹彩、瞳孔および強膜をセグメンテーションする。認知負荷の即時読出しは、ゲージの形態で視覚的に報告され、ユーザの認知負荷のパーセントまたは類似の解釈の形態で量的に報告される。

【0069】

[Para 104]図１１は、ＴＬＳ認知負荷のＵＩ／ＵＸおよびｓｅｎｓｅｙｅ学習パラメータ出力の１つの実施形態である。ＳＬＰに沿った認知負荷レベルおよび学習状態の１つの表現。灰色のドットは、参加者の現在の状態である。上部には認知負荷メータがある。ここで、低い認知負荷は緑色の領域で表され、高い認知負荷領域は赤色で提示される。底部はＳＬＰである。認知負荷の読出しと同様に、灰色のドットは参加者の現在の学習状態を表す。スケールの末端は、刺激不足および過剰刺激に起因した準最適学習状態を表す。

【0070】

[Para 105]支質変形を推測するための虹彩筋の徹照：
[Para 106]全体的な概観として、以前の文献では、眼の虹彩筋が脳の特定の領域によって神経支配されていることが示されてきた。これらの脳領域を活性化すると、結果として、虹彩のそれぞれの筋群内で補完的な変化が生じ、虹彩生理学により、関連する認知状態を定量化するための非侵襲的な手段を提供することができるという仮説が導かれた。特に、虹彩筋生理学の直接観測は、支質として知られる、上に重なる膜により不明瞭になる。ここで概説される、以降「徹照」と呼ばれる技法は、虹彩筋生理学および解剖学的構造を視覚化し、その後、筋肉運動のこれらのパターンが虹彩の上に重なる支質内の歪みとしてどのように現れるかを視覚化するための方法である。既知の筋肉生理学と支質歪みの既知のパターンとの関連付けをマッピングすることによって、徹照は、ユーザが、眼の単純な表面レベルのビデオ記録から、虹彩筋生理学の複雑なパターンを推測することを可能にする。徹照は、眼から脳信号にアクセスするための不可欠な技術である。

【0071】

[Para 107]Ｓｅｎｓｅｙｅは、認知および感情状態に関連付けられた虹彩の動きに対する個々の筋群および線維の寄与を分析し、これらの動きを市販のカメラで視認可能な眼の表面層、すなわち支質上にマッピングするための技法を開発した。この革新は、眼球メトリックから脳活動を読み取る接触なしの方法を達成することに向けた新規の大きなステップである。これは、概念的革新および技術的革新の双方を伴う。概念的革新は、様々な認知状態下で筋肉の個々の動きを調べて信頼性の高い信号を抽出することにある。技術的革新は、支質および徹照された筋肉が、互いにマッピングされることが可能であるように視覚化される方法である。

【0072】

[Para 108]虹彩の筋肉は、副交換神経系および交換神経系によって神経支配されている。特に、虹彩の散大筋は、ＳＮＳの多くの個々の末端によって神経支配されており、括約筋は、ＰＮＳの多くの個々の末端によって神経支配されている。これらの神経支配により、情報がこれらの神経系の経路に沿って下流に虹彩の個々の筋肉まで進み、運動が生じ、この運動を測定および使用して、認知状態および感情状態を推測することができる。虹彩筋を見て支質上にマッピングする徹照技法は、虹彩における表面レベルの変化を用いて脳活動をモデル化するＳｅｎｓｅｙｅ製品の作成を可能にする。

【0073】

[Para 109]プロセスに関して、信号取得デバイスは、以降、「照明構成要素１」（ＬＣ１）および「照明構成要素２」（ＬＣ２）と呼ばれる２つの照明構成要素、および１つのカメラからなる。ＬＣ１は、５ボルトで給電される単一の１５０ｍｗｎＩＲＬＥＤである。これは、光が虹彩の筋肉組織内から光り、虹彩の筋肉組織が見えるように下瞼の皮膚に保持される。ＬＣ２は、虹彩の外側支質を照明する１５０ｍｗのｎＩＲスタンドオフＬＥＤアレイである（図１）。これらの照明システムは、各々がオシロスコープを用いて１６０ｈｚで交互に点滅するように同期され、完全に同期された、虹彩筋肉組織の１つ、および外側支質の１つの２つの８０ｈｚビデオの効果を生成する（図２）。ビデオデータは、虹彩筋の微細な動きを捕捉することが可能なフレームレートおよび分解能でカメラを用いて収集される。

【0074】

[Para 110]データ収集プロトコルは、自動化された一連の指示およびタスクが提示されている間、カメラの正面の席に参加者を配置する（図１２）。アプリケーションは、タスクごとに構成可能なタイミングを有し、眼球反応を誘導するために、参加者の正面の画面上の画像を変更し、算術または手を氷の中に置く等、認知または感情を喚起する特定の挙動を行うべきときに関する自動化された命令を提供する。アプリケーションは、表形式データの形態で特定のタイムスタンプを付されたイベントを出力し、記録されたフィルム映像が適切な分析のために生成された刺激と同期されることを可能にする。

【0075】

[Para 111]次の一連の分析において、ビデオデータからの画像フレームは、関心対象の構造を分離し定量化するように設計された一連の最適化アルゴリズムおよび変換を通じて処理される。ＬＣ１によって照明された画像から導出されたデータを用いて、虹彩筋肉組織の直接観察から構造をパースする。ＬＣ２によって照明された画像から導出されたデータを用いて、虹彩の上に重なる支質内の歪みをパースする。結果として得られる画像対は、不随意の虹彩筋動作の独自の表面対表面下のマッピングを提供する。これらの画像から抽出された信号は、構造化されたフォーマットで収集され、広範にわたる認知状態およびプロセスを文脈付けすることが可能な関連実験メタデータと共に記憶される。これらの新規のデータセットを用いて、脳活動および表面支質の運動を、測定可能で信頼性の高い方式で表面下の虹彩活性に直接マッピングすることができる。

【0076】

[Para 112]図１２は、徹照ハードウェアおよびプロセスの１つの実施形態を示す。ＬＥＤを眼の位置に保持する一方で、モニタ上のＬＥＤによっても１６０ｈｚで交互に照明されている参加者を見ることができる。眼のビデオを捕捉する、参加者に対面するカメラ。

【0077】

[Para 113]図１３は、徹照ハードウェアを用いて捕捉された表面層支質および徹照された虹彩ビデオの静止画像である。１３．１は、徹照された括約筋を指し、１３．２は、徹照された散大筋を指し、１３．３は表面層支質を指している。

【0078】

[Para 114]ＲＧＢカメラからＮＩＲ画像を生成するための方法
[Para 115]本発明の方法は、敵対的生成ネットワーク、ならびに可視光およびＩＲ光の組み合わせを用いており、これについてはここで更に論じられる。ＩＲ光において可視の表面下虹彩構造と可視光において見える表面構造とのマッピングを作成するテーマを継続すると、Ｓｅｎｓｅｙｅは、可視光から抽出されたデータに対しＩＲ画像上に形成された虹彩マスクを投影する方法を開発した。この技法は、敵対的生成ネットワーク（ＧＡＮ）を用いて、可視光の下で捕捉された入力画像のＩＲ画像を予測する（図１４を参照）。次に、ＣＶマスクが予測されたＩＲ画像上で実行され、可視光画像に戻して重ね合わされる（図１５を参照）。

【0079】

[Para 116]本方法の一部は、ＧＡＮが可視光画像からＩＲ画像を予測するように学習する画像のトレーニングセットを生成している（図１４を参照）。Ｓｅｎｓｅｙｅは、これらの画像を生成するために、ハードウェアシステムおよび実験プロトコルを開発した。装置は、１つの色感受性カメラ、および１つのＮＩＲ感受性カメラの、２つのカメラからなる（図１６における符号１６．１および１６．２を参照）。２つは互いに正接して配置され、ホットミラーが双方に対し４５度の角度を成すようになっている（図１６における符号１６．３を参照）。ミラーの第１の表面の重心は、双方のセンサから等距離にある。可視光はホットミラーを直線状に通過し、可視センサに達し、ＮＩＲはＮＩＲセンサ内に跳ね返る。したがって、システムは、高度に光学的に位置合わせされたＮＩＲおよびカラー画像を作成し、これをピクセル単位で重ね合わせることができる。ハードウェアトリガーを用いて、カメラが１μＳ未満の誤差で同時に露出されることを確実にする。

【0080】

[Para 117]図１６は、ＮＩＲおよび可視光ビデオを同時に捕捉するハードウェア設計の図である。１つは近ＩＲセンサを有し、１つは可視光センサを有する２つのカメラが、ホットミラーとの４５度の角度のシャーシに装着され（一方のカメラセンサには不可視であり、他方には不透明なミラー）、ピクセルレベルの精度で画像オーバレイを作成する。

【0081】

[Para 118]光学的および時間的に位置合わせされた可視データセットおよびＮＩＲデータセットを低誤差で作成することにより、Ｓｅｎｓｅｙｅは、ラベル付けを必要としない大量で多様なデータセットを作成することが可能になる。手動のラベル付けではなく、位置合わせにより、Ｓｅｎｓｅｙｅは、カラー画像をトレーニングする基準としてＮＩＲ画像を用いることが可能になる。既存のネットワークは、眼を強膜、虹彩、瞳孔等に分類し、セグメンテーションする能力を既に有し、それらの出力をトレーニングラベルとして用いる能力を与える。更に、ｐｉｘ－ｔｏ－ｐｉｘＧＡＮのような教師なし技法は、このフレームワークを利用して、画像タイプ間の類似性および差異をモデル化する。これらのデータを用いて、可視および不可視の虹彩特徴の表面対表面、および／または表面対表面下のマッピングを作成する。

【0082】

[Para 119]ＲＧＢスペクトルがＮＩＲ画像に似るようにＲＧＢスペクトルを適切にフィルタリングするために考えられる他の方法は、レンダリングされた画像が自然光およびＮＩＲ光スペクトルにおける自然光の双方に似るように眼のシミュレーションを用いることである。ニューラルネットワーク構造は、上記で列挙したもの（ｐｉｘ－ｔｏ－ｐｉｘ）に類似しており、目的は、角膜下構造（虹彩および瞳孔）が、自然光スペクトル（３６０～７３０ｎｍ）と特定の眼との相互作用によって生じた反射または他のアーチファクトに関わらず適切に復元およびセグメンテーションされることを可能にすることである。

【0083】

[Para 120]ＧＡＮの有用性は、ＲＧＢ画像からＮＩＲ画像を生成することが可能な機能を学習することである。ＲＧＢ画像の問題は、特により暗い眼の場合の、瞳孔と虹彩との間のコントラストの劣化から生じる。これが意味することは、眼に十分な光が溢れていない場合、茶色の虹彩と瞳孔の孔との境界が、色スペクトルの近接性に起因して区別不可能であるというものである。ＲＧＢ空間では、光の特定のスペクトルを制御しないことに起因して、ミラーとして機能する眼の別の特性に翻弄される。この特性は、任意のオブジェクトが、瞳孔／虹彩の上の透明フィルムとして現れることを可能にする。この例は、ｒｇｂ画像を所与として眼の上に明るいモニタのより小さなバージョンを作成する可能性があることである。このため、ＧＡＮがフィルタとして機能する。ＧＡＮは、反射をフィルタリング除去し、境界を先鋭化し、学習された埋め込みに起因して、虹彩および瞳孔の真の境界を回復することが可能である。

【0084】

[Para 121]例示の目的でいくつかの実施形態が詳細に説明されたが、それぞれ本発明の範囲および趣旨から逸脱することなく、様々な変更を行うことができる。したがって、本発明は、添付の特許請求の範囲によって限定されることを除き、限定されない。

【図1】