特許7492951ユーザ相互作用の高速且つ正確な追跡を使用する人間／コンピュータインターフェース
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-22
(45)【発行日】2024-05-30
(54)【発明の名称】ユーザ相互作用の高速且つ正確な追跡を使用する人間／コンピュータインターフェース
(51)【国際特許分類】
G06F 3/01 20060101AFI20240523BHJP
G06F 3/0346 20130101ALI20240523BHJP
G06F 3/038 20130101ALI20240523BHJP
【ＦＩ】
G06F3/01 510
G06F3/0346 423
G06F3/01 515
G06F3/038 310A
【請求項の数】
12
(21)【出願番号】P 2021515495
(86)(22)【出願日】2019-09-19
(65)【公表番号】
(43)【公表日】2022-01-06
(86)【国際出願番号】 US2019051997
(87)【国際公開番号】W WO2020061358
(87)【国際公開日】2020-03-26
【審査請求日】2022-09-20
(31)【優先権主張番号】16/138,791
(32)【優先日】2018-09-21
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520061723
【氏名又は名称】ニューラブル インコーポレイテッド
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】アルケイド，ラムセス
(72)【発明者】
【氏名】パッデン，デレク
(72)【発明者】
【氏名】ハーメット，ジェームス
(72)【発明者】
【氏名】モーリス ジュニア，ジェフリー
(72)【発明者】
【氏名】ペレイラ，アルナルド
(72)【発明者】
【氏名】ジャンツ，ジェイ
【審査官】酒井 優一
(56)【参考文献】
【文献】米国特許出願公開第２０１３／００５０４３２（ＵＳ，Ａ１）
【文献】国際公開第２０１８／０６４６２７（ＷＯ，Ａ１）
【文献】特開２０１６－１２６７７３（ＪＰ，Ａ）
【文献】国際公開第２０１８／１２７７８２（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１５／００４２５５８（ＵＳ，Ａ１）
【文献】特表２０１８－５０５４５７（ＪＰ，Ａ）
【文献】特開２０１３－１９０９４２（ＪＰ，Ａ）
【文献】国際公開第２０１２／１３７８０１（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０３４６
Ｇ０６Ｆ ３／０３８
(57)【特許請求の範囲】
【請求項1】
相互作用型環境をユーザへ提示するように構成されたディスプレイと、前記ディスプレイに接続された視線追跡器であって、前記ユーザの眼の複数組の眼球運動信号を記録するように構成された少なくとも２つのセンサを含み、各一組の前記眼球運動信号は前記少なくとも２つのセンサにより記録され、前記少なくとも２つのセンサのそれぞれによって記録された一組の眼球運動信号のそれぞれは、前記少なくとも２つのセンサのうちの他のセンサにより記録された一組の眼球運動信号と無関係である、視線追跡器と、
前記ディスプレイ及び前記視線追跡器と動作可能に接続されたインターフェースデバイスと、を含む装置であって、
前記インターフェースデバイスは、
メモリと、
前記メモリと動作可能に接続されたプロセッサとを含み、
前記プロセッサは、
前記視線追跡器内の前記少なくとも２つのセンサから前記複数組の眼球運動信号を受信し、
刺激を生成し、前記相互作用型環境及び前記ディスプレイを介して前記ユーザへ前記刺激を提示し、
前記複数組の眼球運動信号のそれぞれの組の前記眼球運動信号に基づき、前記少なくとも２つのセンサからのそれぞれのセンサに関連付けられた視線ベクトルであって、前記ユーザの前記眼の視線角を示す視線ベクトルを計算し、
前記少なくとも２つのセンサのそれぞれのセンサに関連付けられた前記視線ベクトルの斜度であって、当該センサに関連する頂角に対する斜度を判断し、
一組の重みを生成するために、前記少なくとも２つのセンサのそれぞれの前記センサに関連付けられた前記視線ベクトルの前記斜度に基づき、前記少なくとも２つのセンサのそれぞれの前記センサに関連付けられた重みを判断し、
一組の校正された眼球運動信号を判断するために前記一組の重みを前記複数組の前記眼球運動信号に適用し、
前記一組の校正された眼球運動信号に基づき前記ユーザの焦点を判断し、
前記ユーザにより意図された行為を前記ユーザの前記焦点に基づき判断し、
前記ユーザにより意図された前記行為を実行するように構成される、装置。
【請求項2】
前記ディスプレイは前記相互作用型環境を前記ユーザへ投影するように構成された表示レンズを含み、前記視線追跡器内の前記少なくとも２つのセンサは、前記表示レンズの１つの軸に沿って、前記表示レンズの周囲に設けられる、請求項１に記載の装置。
【請求項3】
前記ディスプレイは前記相互作用型環境を前記ユーザへ投影するように構成された表示レンズを含み、前記視線追跡器は前記少なくとも２つのセンサとして、少なくとも４つのセンサを含み、前記少なくとも４つのセンサは、前記表示レンズの直交する２つの軸に沿って、前記表示レンズの周囲に設けられる、請求項１に記載の装置。
【請求項4】
前記視線追跡器はさらに、前記少なくとも２つのセンサのそれぞれのセンサにより記録された前記複数組の眼球運動信号を、別々に前記プロセッサへ送信するように構成される、請求項１に記載の装置。
【請求項5】
前記少なくとも２つのセンサのそれぞれの前記センサに関連付けられた重みは、経験的に予め定められた重み付け関数にさらに基づいて、判断される、請求項１に記載の装置。
【請求項6】
前記プロセッサはさらに、前記複数組の前記眼球運動信号内の一組の消失データ点を識別し、
前記視線追跡器から前記少なくとも２つのセンサに関係する情報を受信し、
前記少なくとも２つのセンサに関係する前記情報に基づき、シミュレートされたユーザの一組のシミュレートされた眼球運動の運動学モデルを生成し、
前記運動学モデルに基づき、それぞれが前記少なくとも２つのセンサのうち少なくとも１つのセンサのそれぞれに関連付けられた複数組のシミュレートされた眼球運動信号を計算し、
前記少なくとも２つのセンサから受信された前記複数組の眼球運動信号内の前記一組の消失データ点を置換するために一組の置換データ点を前記複数組のシミュレートされた眼球運動信号に基づき計算し、
前記一組の消失データ点を置換するため及び前記少なくとも２つのセンサのそれぞれのセンサに関連付けられた前記一組の校正された眼球運動信号を生成するために、前記一組の置換データ点を取り込むように構成され、
前記ユーザの前記焦点は前記一組の校正された眼球運動信号に基づき判断される、請求項１に記載の装置。
【請求項7】
前記視線追跡器は前記少なくとも２つのセンサとして、２つの直交軸に沿って設けられた少なくとも４つのセンサを含み、前記プロセッサはさらに、前記２つの直交軸に対して範囲を定められた一組の視線ベクトルであって、前記ユーザの前記眼の前記視線角を集合的に表すように構成された一組の視線ベクトルを前記複数組の眼球運動信号に基づき計算するように構成される、請求項１に記載の装置。
【請求項8】
前記複数組の眼球運動信号は第１の時点における前記ユーザの前記眼の前記視線角に対応し、前記プロセッサはさらに、前記第１の時点とは異なる第２の時点であって、前記第１の時点の後に発生する第２の時点における前記ユーザの前記眼の視線角を前記複数組の眼球運動信号に基づき判断するように構成される、請求項１に記載の装置。
【請求項9】
前記複数組の眼球運動信号は、第１の時点における前記ユーザの前記眼の前記視線角に対応し、前記第１の時点における運動量の第１の測定値に関連付けられ、前記プロセッサはさらに、前記複数組の眼球運動信号に基づき、前記第１の時点における前記視線角、前記第１の時点における運動量の前記第１の測定値、及び前記第１の時点とは異なる第２の時点であって、前記第１の時点の後に発生する第２の時点における前記ユーザの前記眼の視線角を判断するように構成される、請求項１に記載の装置。
【請求項10】
前記装置はさらに、前記ユーザにより生成される神経信号であって、脳波図（ＥＥＧ）信号を含む神経信号を記録するように構成された神経記録デバイスを含み、前記焦点は計算された焦点であり、前記プロセッサはさらに、
視覚誘発電位（ＶＥＰ）、聴性誘発反応（ＡＥＰ）、運動像信号、事象関連電位（ＥＲＰ）及び脳状態依存信号のうちの少なくとも１つを含むＥＥＧ信号を受信し、
前記ユーザの予測焦点を前記ＥＥＧ信号に基づき判断し、
前記計算された焦点に関連付けられた誤差の値を前記計算された焦点と前記予測焦点との比較に基づき計算し、
前記ユーザの校正された焦点を生成するために前記誤差の前記値に基づき前記計算された焦点を補正するように構成される、請求項１に記載の装置。
【請求項11】
相互作用型環境をユーザへ提示するように構成されたディスプレイと、
前記ディスプレイに接続された視線追跡器であって、前記ユーザの眼の複数組の眼球運動信号を記録するようにそれぞれ構成された少なくとも２つのセンサを含み、各一組の前記眼球運動信号は前記少なくとも２つのセンサにより記録され、前記少なくとも２つのセンサのそれぞれによって記録された一組の眼球運動信号のそれぞれは、前記少なくとも２つのセンサのうちの他のセンサにより記録された複数組の眼球運動信号と無関係である、視線追跡器と、
前記ディスプレイ及び前記視線追跡器と動作可能に接続されたインターフェースデバイスと、を含む装置であって、
前記インターフェースデバイスは、
メモリと、
前記メモリと動作可能に接続されたプロセッサとを含み、
前記プロセッサは、
前記視線追跡器内の前記少なくとも２つのセンサから前記複数組の眼球運動信号を受信し、
刺激を生成し、前記相互作用型環境及び前記ディスプレイを介して前記ユーザへ前記刺激を提示し、
前記複数組の眼球運動信号のそれぞれの組の前記眼球運動信号に基づき、前記少なくとも２つのセンサからのそれぞれのセンサに関連付けられた視線ベクトルであって、前記ユーザの前記眼の視線角を示す視線ベクトルを計算し、
前記少なくとも２つのセンサのそれぞれのセンサに関連付けられたそれぞれの前記視線ベクトルの斜度であって、当該センサに関連する頂角に対する斜度を判断し、
一組の重みを生成するために、前記少なくとも２つのセンサのそれぞれの前記センサに関連付けられたそれぞれの前記視線ベクトルの前記斜度及び予め定められた重み付け関数に基づき、前記少なくとも２つのセンサのそれぞれの前記センサに関連付けられた重みを判断し、
一組の校正された眼球運動信号を判断するために前記一組の重みを前記複数組の前記眼球運動信号に適用し、
前記一組の校正された眼球運動信号に基づき前記ユーザの焦点を判断し、
前記ユーザにより意図された行為を前記ユーザの前記焦点に基づき判断し、
前記ユーザにより意図された前記行為を実行するように構成される、装置。
【請求項12】
相互作用型環境をユーザへ提示するように構成されたディスプレイと、
前記ディスプレイに接続された視線追跡器であって、前記ユーザの眼の複数組の眼球運動信号を記録するようにそれぞれ構成された少なくとも２つのセンサを含み、各一組の前記眼球運動信号は前記少なくとも２つのセンサにより記録され、前記少なくとも２つのセンサのそれぞれによって記録された一組の眼球運動信号のそれぞれは、前記少なくとも２つのセンサのうちの他のセンサにより記録された複数組の眼球運動信号と無関係である、視線追跡器と、
前記ディスプレイ及び前記視線追跡器と動作可能に接続されたインターフェースデバイスと、を含む装置であって、
前記インターフェースデバイスは、
メモリと、
前記メモリと動作可能に接続されたプロセッサとを含み、
前記プロセッサは、
前記視線追跡器内の前記少なくとも２つのセンサから前記複数組の眼球運動信号を受信し、
刺激を生成し、前記相互作用型環境及び前記ディスプレイを介して前記ユーザへ前記刺激を提示し、
前記プロセッサはさらに、
前記複数組の前記眼球運動信号内の一組の消失データ点を識別し、
前記視線追跡器から前記少なくとも２つのセンサに関係する情報を受信し、
前記少なくとも２つのセンサに関係する前記情報に基づき、シミュレートされたユーザの一組のシミュレートされた眼球運動の運動学モデルを生成し、
前記運動学モデルに基づき、それぞれが前記少なくとも２つのセンサに関連付けられた複数組のシミュレートされた眼球運動信号を計算し、
前記少なくとも２つのセンサから受信された前記眼球運動信号内の前記一組の消失データ点を置換するために一組の置換データ点を前記複数組のシミュレートされた眼球運動信号に基づき計算し、
前記一組の消失データ点を置換するため及び前記少なくとも２つのセンサのそれぞれのセンサに関連付けられた校正された眼球運動信号を生成するために、前記一組の置換データ点を取り込み、
前記校正された眼球運動信号に基づき前記ユーザの焦点を判断し、
前記ユーザにより意図された行為を前記ユーザの前記焦点に基づき判断するように構成される、装置。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願への相互参照
[0001]本出願は、参照のためその開示を本明細書に援用する２０１８年９月２１日出願の米国非仮特許出願第１６／１３８，７９１号：題名「ユーザ相互作用の高速且つ正確な追跡を使用する人間／コンピュータインターフェース：HUMAN-COMPUTER INTERFACE USING HIGH-SPEED AND ACCURATE TRACKING OF USER INTERACTIONS」からの優先権及び便宜を主張する。
[0001]本出願は、参照のためその開示を本明細書に援用する２０１８年９月２１日出願の米国非仮特許出願第１６／１３８，７９１号：題名「ユーザ相互作用の高速且つ正確な追跡を使用する人間／コンピュータインターフェース：HUMAN-COMPUTER INTERFACE USING HIGH-SPEED AND ACCURATE TRACKING OF USER INTERACTIONS」からの優先権及び便宜を主張する。
【背景技術】
【0002】
背景
[0002]本明細書において説明される実施形態は、高速且つ高精度の人間／機械相互作用のために戦略的に設計されたユーザインターフェース（ＵＩ：user interface）又はユーザ体験（ＵＸ：user experience）を提示及び更新するためにリアルタイム眼球運動及び／又は頭運動追跡と脳活動追跡とを一体化する脳／コンピュータインターフェースの実装に使用されるシステム、デバイス及び方法に関する。本明細書において説明される実施形態はまた、機械のユーザ操作を仲介するためにリアルタイム視線追跡及び神経活動のオンライン解析を使用するハードウェア無関知型脳／コンピュータインターフェースの実装に関する。
[0002]本明細書において説明される実施形態は、高速且つ高精度の人間／機械相互作用のために戦略的に設計されたユーザインターフェース（ＵＩ：user interface）又はユーザ体験（ＵＸ：user experience）を提示及び更新するためにリアルタイム眼球運動及び／又は頭運動追跡と脳活動追跡とを一体化する脳／コンピュータインターフェースの実装に使用されるシステム、デバイス及び方法に関する。本明細書において説明される実施形態はまた、機械のユーザ操作を仲介するためにリアルタイム視線追跡及び神経活動のオンライン解析を使用するハードウェア無関知型脳／コンピュータインターフェースの実装に関する。
【0003】
[0003]人間／コンピュータインターフェース（ＨＣＩ：human-computer interface）は、配線が付けられた脳と外部デバイスとの間の直接通信経路により脳活動がコンピュータ又は外部デバイスを制御することを許容するハードウェア及びソフトウェア通信システムである。ＨＣＩは、脳信号を解釈することにより直接的に機械及びアプリケーションを操作するためのアクセスを提供する支援技術として主に設計されてきた。ＨＣＩ開発の主ゴールの１つは、筋萎縮性側索硬化症、脳幹梗塞又は脊髄損傷などの神経学的神経筋障害により完全に麻痺又は「固定」された重度障害を持つ人（他の人との効果的コミュニケーションが極めて困難であり得る人）へコミュニケーション能力を提供することである。
【0004】
[0004]脳／コンピュータインターフェースのいくつかの知られた実装はＦａｒｗｅｌｌ及びＤｏｎｃｈｉｎにより設計されたたような綴り器（speller)を含む。この綴り器では、いくつかの他のシンボル及び命令と一緒にアルファベットの２６個の文字が、ランダムに点滅する行及び列を有する６×６行列で画面上に表示される。ユーザは、画面に注意を集中し、そして書くべき文字に逐次集中する一方で、脳の神経応答がシグネチャ神経／脳信号のために監視される。検出されると、シグネチャ脳信号は、本システムが所望シンボルを識別することを可能にする。Ｆａｒｗｅｌｌ－Ｄｏｎｃｈｉｎ綴り器は毎分約２文字の速度で人が綴ることを可能にする。
【発明の概要】
【課題を解決するための手段】
【0005】
概要
[0005]ユーザの視線又は注意のリアルタイム位置決め及び所望行為の選択／活性化を仲介するために眼球運動及び脳活動を追跡するハードウェア無関知型一体化動眼神経ハイブリッド脳／コンピュータインターフェース（ＨＣＩ：hybrid brain computer interface）プラットホームの様々な実施形態のためのシステム、デバイス及び方法が本明細書において説明される。本開示は高速且つ高精度で動作する脳／コンピュータインターフェースのニーズに対処するために一体化ＨＣＩシステムを提示する。
[0005]ユーザの視線又は注意のリアルタイム位置決め及び所望行為の選択／活性化を仲介するために眼球運動及び脳活動を追跡するハードウェア無関知型一体化動眼神経ハイブリッド脳／コンピュータインターフェース（ＨＣＩ：hybrid brain computer interface）プラットホームの様々な実施形態のためのシステム、デバイス及び方法が本明細書において説明される。本開示は高速且つ高精度で動作する脳／コンピュータインターフェースのニーズに対処するために一体化ＨＣＩシステムを提示する。
【0006】
図面の簡単な説明
[0006]本特許又は出願ファイルはカラーで描かれた少なくとも１つの図を含む。カラー図面を含む本特許又は特許出願公開の複製が、要求され所要手数料が支払われると特許商標庁により提供される。
[0006]本特許又は出願ファイルはカラーで描かれた少なくとも１つの図を含む。カラー図面を含む本特許又は特許出願公開の複製が、要求され所要手数料が支払われると特許商標庁により提供される。
【図面の簡単な説明】
【0007】
【図1】[0007]一実施形態によるハイブリッド人間／コンピュータインターフェース（ＨＣＩ）システムの概略図である。
【図2A】[0008]一実施形態によるＨＣＩシステムを介したユーザへの例示的ユーザインターフェース（ＵＩ）／ユーザ体験（ＵＸ）の提示の図である。
【図2B】[0009]一実施形態による視線追跡器及び神経記録ヘッドセットを使用するＨＣＩシステムのユーザインターフェースとのユーザの相互作用中に記録された例示的眼球運動信号及び神経信号をそれぞれ示す。
【図2C】[0009]一実施形態による視線追跡器及び神経記録ヘッドセットを使用するＨＣＩシステムのユーザインターフェースとのユーザの相互作用中に記録された例示的眼球運動信号及び神経信号をそれぞれ示す。
【図3】[0010]一実施形態によるＨＣＩシステムの例示的実施形態における一連の工程の図である。
【図4A】[0011]一実施形態によるＨＣＩシステムにおいて使用される例示的視線追跡器の正面図の概略図である。
【図4B】[0011]一実施形態によるＨＣＩシステムにおいて使用される例示的視線追跡器の背面図の概略図である。
【図4C】[0012]一実施形態によるＨＣＩシステムにおいて使用される頭部装着型ディスプレイを含む例示的視線追跡器の斜視図の概略図である。
【図4D】[0013]一実施形態によるＨＣＩシステムに含まれる例示的視線追跡器内の投影レンズに対して位置決めされたセンサの概略図である。
【図5A】[0014]中央及び斜め視線中のユーザの眼球運動信号を捕捉するために例示的ＨＣＩシステムの視線追跡器内のレンズに対して位置決めされたセンサの概略図である。
【図5B】[0014]中央及び斜め視線中のユーザの眼球運動信号を捕捉するために例示的ＨＣＩシステムの視線追跡器内のレンズに対して位置決めされたセンサの概略図である。
【図5C】[0015]一実施形態によるＨＣＩシステムを使用して視線追跡を改善するための、視線位置に基づき眼球運動センサを優先的に重み付ける例示的重み付け関数を示す。
【図6】[0016]一実施形態によるＨＣＩシステムにおける視線追跡の潜在的較正に使用されるＵＩ／ＵＸにおいて提示される例示的刺激の画像を示す。
【図7A】[0017]ＵＩ／ＵＸにおいて提示される例示的画像を示す。
【図8A】[0018]一実施形態によるＨＣＩシステムにおける視線追跡において使用されるスケーリング及びバイアスの較正前後の例示的視線軌道を示す。
【図8B】[0018]一実施形態によるＨＣＩシステムにおける視線追跡において使用されるスケーリング及びバイアスの較正前後の例示的視線軌道を示す。
【図9】[0019]一実施形態による、ユーザがＨＣＩシステムにおける視線追跡の較正のためにＵＩ／ＵＸにおいて３次元刺激を提示されるときの視差の使用の例示的図である。
【図10】[0020]一実施形態による視線追跡を校正するために脳信号を使用するＨＣＩシステムの例示的実施形態の図である。
【図11A】[0021]一実施形態によるＨＣＩシステムにおいて半教師付き（semi-supervised）眼球運動分類システムの実装において行われた解析を示す。
【図11B】[0021]一実施形態によるＨＣＩシステムにおいて半教師付き（semi-supervised）眼球運動分類システムの実装において行われた解析を示す。
【図11C】[0021]一実施形態によるＨＣＩシステムにおいて半教師付き（semi-supervised）眼球運動分類システムの実装において行われた解析を示す。
【図12A】[0022]一実施形態によるＨＣＩシステムにおける視線追跡を評価するためのベンチマークシステムの例示的実施を示す。
【図12B】[0022]一実施形態によるＨＣＩシステムにおける視線追跡を評価するためのベンチマークシステムの例示的実施を示す。
【図13】[0023]一実施形態によるＨＣＩシステムにおいて提示される例示的ＵＩ／ＵＸにおいてユーザの視線とオブジェクトとの相互作用を評価するためにＨＣＩシステムにより生成される相互作用可能オブジェクト及び境界を示す例示的画像である。
【図14B】[0025]一実施形態によるＨＣＩシステムの実装におけるＵＩ／ＵＸにおけるユーザの視線とオブジェクトとの相互作用を解析する一方で使用されるスケーリングの例示的処理の概略図である。
【図15】[0026]一実施形態によるＨＣＩシステムにおいてユーザ生成信号に基づきユーザにとって興味のある標的刺激を識別するための例示的手順の概略フローチャートを示す。
【図16】[0027]一実施形態によるＨＣＩシステムにおいて眼球運動信号を使用してユーザの標的刺激を識別するための例示的手順の概略フローチャートを示す。
【図17A】[0028]一実施形態による耳ベース神経記録デバイスと筋電図検査デバイスと視線追跡器との組み合わせを有するＨＣＩシステムを示す画像である。
【図17B】[0028]一実施形態による耳ベース神経記録デバイスと筋電図検査デバイスと視線追跡器との組み合わせを有するＨＣＩシステムを示す画像である。
【図17C】[0028]一実施形態による耳ベース神経記録デバイスと筋電図検査デバイスと視線追跡器との組み合わせを有するＨＣＩシステムを示す画像である。
【図17D】[0028]一実施形態による耳ベース神経記録デバイスと筋電図検査デバイスと視線追跡器との組み合わせを有するＨＣＩシステムを示す画像である。
【図18】[0029]一実施形態による現実世界環境を解析及びナビゲートするためのＨＣＩシステムにおいて視線追跡を使用する例示的手順の概略フローチャートである。
【図19A】[0030]ユーザの注意集中と、ユーザの眼球運動と、視覚的顕著性マップにより表される画像の顕著な特性との関係を示す。
【図19B】[0031]一実施形態によるＨＣＩシステムのユーザにより見られた例示的画像の視覚的顕著性マップを示す。
【図19C】[0031]一実施形態によるＨＣＩシステムのユーザにより見られた例示的画像の視覚的注意マップを示す。
【図20】[0032]一実施形態によるＨＣＩシステムを使用する視覚的顕著性マップ及び視覚的注意マップを生成する例示的手順の概略フローチャートである。
【図21】[0033]一実施態様のＨＣＩシステムにより生成され得る視覚的注意マップの例である。
【図22A】[0034]情動状態の例示的モデルによる感情の様々な状態の概略図である。
【図22B】[0035]一実施形態によるＨＣＩシステムを使用して検出することと比較したユーザ報告方法により様々な情動状態を検出する精度を示すプロットである。
【図22C】[0036]一実施態様のＨＣＩシステムにおける多次元表現を使用して感情の様々な状態を統計的にモデル化するための例示的手順の概略図である。
【発明を実施するための形態】
【0008】
詳細な説明
[0037]人間／コンピュータインターフェースを実装するためのデバイス、システム及び方法が本明細書において開示される。本明細書において説明される実施形態は、ユーザへ戦略的に提示されるユーザインターフェース／ユーザ体験とのユーザ相互作用の高速且つ高効率的追跡を使用する人間／コンピュータインターフェースの実装において使用されるシステム、デバイス及び方法に関する。本明細書において説明される実施形態はまた、機械及びデバイスのユーザ操作を仲介するために神経、眼球運動及び筋電図検査信号を使用するハードウェア無関知型人間／マシン又は人間／コンピュータインターフェースの実装に関する。
[0037]人間／コンピュータインターフェースを実装するためのデバイス、システム及び方法が本明細書において開示される。本明細書において説明される実施形態は、ユーザへ戦略的に提示されるユーザインターフェース／ユーザ体験とのユーザ相互作用の高速且つ高効率的追跡を使用する人間／コンピュータインターフェースの実装において使用されるシステム、デバイス及び方法に関する。本明細書において説明される実施形態はまた、機械及びデバイスのユーザ操作を仲介するために神経、眼球運動及び筋電図検査信号を使用するハードウェア無関知型人間／マシン又は人間／コンピュータインターフェースの実装に関する。
【0009】
[0038]本明細書において説明されるいくつかの実施形態は、相互作用型環境をユーザへ提示するように構成されたディスプレイ、ディスプレイに接続された視線追跡器であって、ユーザの眼から眼球運動信号を記録するように構成された少なくとも１つのセンサを含む視線追跡器、並びにディスプレイ及び視線追跡器と動作可能に接続されたインターフェースデバイスを含む装置に関する。本明細書において説明されるいくつかの実施形態は、相互作用型環境をユーザへ提示するように構成されたディスプレイ、ディスプレイに接続された視線追跡器であって、ユーザの眼から眼球運動信号を記録するように構成された少なくとも２つのセンサを含む視線追跡器、並びにディスプレイ及び視線追跡器と動作可能に接続されたインターフェースデバイスを含む装置に関する。インターフェースデバイスはメモリ及びメモリと動作可能に接続されたプロセッサを含み得る。プロセッサは、視線追跡器内の少なくとも２つのセンサから眼球運動信号を受信し、刺激を生成し、そしてこれを相互作用型環境及びディスプレイを介しユーザへ提示するように構成され得る。プロセッサはさらに、ユーザの焦点を眼球運動信号に基づき判断し、ユーザにより意図された行為をユーザの焦点に基づき判断し、そしてユーザにより意図された行為を実施するように構成され得る。
【0010】
[0039]本明細書において説明されるいくつかの実施形態は、プロセッサにより実行される指示を表すコードを格納する非一時的プロセッサ可読媒体に関する。この指示は、一組の行為を行うためにユーザにより操作され得る相互作用型ユーザ環境をプロセッサに生成させるためのためコードを含み得る。この指示はさらに、プロセッサに、相互作用型ユーザ環境を介しユーザへ提示され得る一組の刺激を定義させ、一組の刺激から少なくとも１つの刺激をディスプレイを介しユーザへ提示させ、ユーザにより生成された眼球運動信号を視線追跡器から受信させ、そして一組の校正された眼球運動信号を生成するために、提示された刺激に関係する情報に基づき眼球運動信号を自動的に校正させるためのコードを含み得る。この指示はさらに、プロセッサに、ユーザの焦点を一組の校正された眼球運動信号及び提示された刺激に基づき判断させ、ユーザにより意図された行為をユーザの焦点に基づき判断させ、そしてこの行為を相互作用型ユーザ環境を介し実施させるためのコードを含み得る。
【0011】
[0040]本明細書において説明されるいくつかの実施形態は、相互作用型ユーザインターフェースに含まれる刺激をディスプレイを介しユーザへ提示することと、ユーザ挙動に関連付けられた眼球運動信号であって、視線追跡器上に位置決めされた１つ又は複数のセンサにより独立に記録された眼球運動信号を視線追跡器から受信することとを含む方法に関する。いくつかの例では、眼球運動信号は視線追跡器上に位置決めされた少なくとも２つのセンサにより記録され得る。本方法はさらに、提示された刺激に関係する情報を受信すること、ユーザの焦点を眼球運動信号に基づき判断すること、ユーザにより意図された行為を焦点及び刺激に基づき判断すること、そしてこの行為を相互作用型ユーザインターフェースを介し実施することを含み得る。
【0012】
[0041]本明細書において使用されるように、単数形式の冠詞は文脈が明確に規定しない限り複数の指示対象物を含む。したがって、例えば、用語「システム」は単一システム又はシステムの組み合わせを意味するように意図されており、「アルゴリズム」又は「手順」は、１つ又は複数のアルゴリズム又は手順又は指示又はそれらの組み合わせを意味するように意図されている。ＨＣＩシステムの一実施形態を参照して説明される部品（視線追跡器、神経記録デバイス、ＥＭＧデバイス、又は周辺頭又は体追跡装置など）又は部品の組み合わせのうちの任意のものは文脈が特に指示しない限り本明細書において説明される任意の他の実施態様と共に使用され得る。
【0013】
例示的人間／コンピュータインターフェースシステム
[0042]ＨＣＩシステムは仮想現実環境又は体験をユーザへ提示するように設計され得る。ＨＣＩシステムは、マウス及びキーボードなどの従来の入力又は出力インターフェースの必要性無しに人がコンピュータ又は他のデータ処理機械及び／又はソフトウェアアプリケーションを操作するやり方を支援又は強化するために使用され得る。ＨＣＩシステムはまた、現実世界との相互作用を強化するために拡張現実環境をユーザへ提示するように構成され得る。ＨＣＩはまた、障害又は運動制限の患者の生活の質を強化及び改善するために使用され得る。ＨＣＩはまた、従来の入力方法よりコンピュータとのより直観的且つ自然な相互作用のためのインターフェースを提供し得る。加えて、ＨＣＩはまた、人間及び動物認知及び／又は感覚運動システム並びにそれらの機能を拡張、修理、並びにマッピング及び研究することを含む多くの他の機能をサービスするために開発され得る。いくつかの例示的ＨＣＩアプリケーションは、とりわけワードプロセッサ、適応化ウェブブラウザ、車椅子の脳仲介制御すなわち神経機能代替、及びゲームを含む。
[0042]ＨＣＩシステムは仮想現実環境又は体験をユーザへ提示するように設計され得る。ＨＣＩシステムは、マウス及びキーボードなどの従来の入力又は出力インターフェースの必要性無しに人がコンピュータ又は他のデータ処理機械及び／又はソフトウェアアプリケーションを操作するやり方を支援又は強化するために使用され得る。ＨＣＩシステムはまた、現実世界との相互作用を強化するために拡張現実環境をユーザへ提示するように構成され得る。ＨＣＩはまた、障害又は運動制限の患者の生活の質を強化及び改善するために使用され得る。ＨＣＩはまた、従来の入力方法よりコンピュータとのより直観的且つ自然な相互作用のためのインターフェースを提供し得る。加えて、ＨＣＩはまた、人間及び動物認知及び／又は感覚運動システム並びにそれらの機能を拡張、修理、並びにマッピング及び研究することを含む多くの他の機能をサービスするために開発され得る。いくつかの例示的ＨＣＩアプリケーションは、とりわけワードプロセッサ、適応化ウェブブラウザ、車椅子の脳仲介制御すなわち神経機能代替、及びゲームを含む。
【0014】
[0043]患者に適し、一般大衆にとって有用であり、そして現実世界タスクの制御において採用されるＨＣＩ技術に関し、情報転送速度は自然な対話ペースを満たすように改善される必要があり、誤り率は低減される必要があり、そして相互作用インターフェースの複雑性が現在の実装と比較して最小化される必要がある。加えて、ＨＣＩアプリケーションはユーザから高い認知的負荷を要求し、したがって、ＵＩ／ＵＸ及び信号の基礎的処理は、静かな実験室環境から離れて現実世界へ入るために改善される必要がある。ＨＣＩデバイス及びアプリケーションをより容易且つより直観的となるように構成するために、自然な過程を介しユーザ仲介行為選択を可能にするために直観的やり方で高速且つ高精度で動作する人間機械インターフェース又は人間／コンピュータインターフェースの実装における改善されたデバイス及び技術のニーズがある。
【0015】
[0044]本明細書で述べるように、ＨＣＩシステムは、コンピュータ又は外部機器を制御するためのユーザの眼球運動活動又は脳活動又は他の運動活動などの人間活動を解釈するハードウェア、指示、及びソフトウェア通信システムを含む。いくつかの実施形態では、ＨＣＩシステムは、その開示を全体として参照により本明細書に援用する２０１８年８月２２日出願（「‘５９８出願」）の国際特許出願第ＰＣＴ／ＵＳ２０１８／０４７５９８号：題名「高速眼追跡機能を有する脳／コンピュータインターフェース：Brain-computer interface with high-speed eye tracking features」に記載のものとほぼ同様であり得る。
【0016】
[0045]いくつかの実施形態では、ＨＣＩシステムは、ＨＣＩシステム及び／又は接続機械との高速度且つ直観的ユーザ相互作用を実施するための構成及び／又は適応化を含み得る。この構成又は適応化は、その開示を全体として参照により本明細書に援用する２０１７年１１月１３日出願（「‘２０９出願」）の米国特許出願第６２／５８５，２０９号：題名「正確且つ直観的相互作用のために適用化された脳／コンピュータインターフェース：Brain-computer interface with adaptations for accurate and intuitive user interactions」に記載されるものとほぼ同様であり得る。
【0017】
[0046]図１は一実施形態による人間／コンピュータインターフェースシステム１００の概略図である。例示的人間／コンピュータインターフェースシステム１００（本明細書では「ハイブリッドＨＣＩシステム」又は「ＨＣＩシステム」又は「システム」とも呼ぶ）は視線追跡器１０２及び人間／コンピュータインターフェースデバイス１１０を含む。ＨＣＩシステムは、図１において点線ブロックにより指示されるように、神経記録デバイス１０４、ユーザインターフェース／ユーザ体験（ＵＩ／ＵＸ）プレゼンタ１０６、及び筋電図検査信号を記録するように構成された筋電図検査（ＥＭＧ：electromyography）デバイス１０８を任意選択的に含む。
【0018】
視線追跡器
[0047]ＨＣＩシステム１００内の視線追跡器１０２は、眼球運動が所定時刻にユーザの焦点を指示する（すなわち、上述のポインティング制御機能を実施する）ために使用され得るようにユーザの片眼又は両眼の眼球運動信号を捕捉、記録、格納、及び／又は送信するように構成され得る。換言すれば、視線追跡器１０２は、２又は３次元空間内のユーザの眼球運動に急速に追随することにより、ユーザが所定時刻にその視野内のどこを見ているかを判断するために使用され得る。視線追跡器１０２はＨＣＩデバイス１１０へ結合され得、ＨＣＩデバイス１１０は視線追跡器１０２により取得された信号を処理するように構成される。
[0047]ＨＣＩシステム１００内の視線追跡器１０２は、眼球運動が所定時刻にユーザの焦点を指示する（すなわち、上述のポインティング制御機能を実施する）ために使用され得るようにユーザの片眼又は両眼の眼球運動信号を捕捉、記録、格納、及び／又は送信するように構成され得る。換言すれば、視線追跡器１０２は、２又は３次元空間内のユーザの眼球運動に急速に追随することにより、ユーザが所定時刻にその視野内のどこを見ているかを判断するために使用され得る。視線追跡器１０２はＨＣＩデバイス１１０へ結合され得、ＨＣＩデバイス１１０は視線追跡器１０２により取得された信号を処理するように構成される。
【0019】
[0048]視線追跡器１０２はユーザの各眼を照明するために位置決めされ構成された１つ又は複数の光源を含み得る。照明源は、任意の好適な波長の光を発射するように構成され得、そして、ユーザの瞳を照明しそして表面角膜反射（ＣＲ：corneal reflection）を生成するために任意の好適な位置に取り付けられ得る。照明源は、コンパクトであり頭部装着される電力系を介し好適に給電され得る。照明源は、データの制御及び送信などを仲介するためにデータ通信のための有線又は無線接続を介し好適に接続され得る。
【0020】
[0049]眼追跡器１０２は、ユーザの片眼又は両目を撮像するために１つ又は複数の装着型センサ又はカメラ（例えば頭部装着型ビデオカメラ）を含み得る。例えば、いくつかの実施形態では、視線追跡器１０２は各眼を撮像するように位置決めされた１つ又は複数のセンサを含み得る。いくつかの実施形態では、視線追跡器１０２は片眼（例えば利き眼）により使用されるように構成され得る。装着型センサ又はカメラはコンパクトな頭部装着型電源を介し給電され得る。装着型センサ又はカメラは、ＨＣＩデバイス１１０が各センサ又はカメラにより取得された信号をセンサ毎のやり方で独立に受信し得るように人間／コンピュータインターフェースデバイス１１０へ直接的且つ独立に結合され得る。ＨＣＩデバイス１１０は、本明細書においてさらに詳細に説明されるように、センサのそれぞれにより取得された信号を処理し得る。いくつかの実施形態では、カメラは互いに通信するように接続され得る。
【0021】
[0050]いくつかの実施形態では、視線追跡器１０２は、本明細書において説明されるように、ユーザに相互作用型インターフェースを提示するために使用され得るＵＩ／ＵＸプレゼンタへ結合され得る。いくつかの実施形態では、ＵＩ／ＵＸプレゼンタは視線追跡器１０２にすら含まれ得る。視線追跡器１０２がＵＩ／ＵＸへ結合される又はそれを含むこのようないくつかの実施形態では、視線追跡器１０２は、仮想現実（ＶＲ：virtual reality）環境の場合、ユーザの各眼に対して位置決めされる任意選択レンズ（例えば表示レンズ）であって、ＵＩ／ＵＸを介し提示された視覚的刺激をユーザの眼へ投影するために使用されるレンズを含み得る。いくつかの他の実施態様では、視線追跡器１０２は、ＵＩ／ＵＸの形式のシミュレートされた相互作用型ユーザインターフェースの代わりに、ユーザの周囲の現実世界環境を見るように構成された覗き窓を含み得る。このような実施形態では、視線追跡器１０２は、一対の眼鏡と同様に、ユーザの直接現実世界環境を投影するために各眼に対して位置決めされたレンズ（例えば視認レンズ）を含み得る。いくつかの実施形態では、視線追跡器１０２は、現実世界ビューをオーバーレイするために、シミュレートされた又は合成的に生成されたユーザインターフェースも投影する一方で現実世界環境を投影するためにユーザの各眼に対して位置決めされた特別に構成されたレンズを含み得る。このような実施形態では、視線追跡器１０２は拡張現実（ＡＲ：augmented reality）環境をユーザへ提供するために使用され得る。
【0022】
[0051]視線追跡器１０２を参照すると、センサ又はカメラは、ユーザの視線角が、ユーザが現実環境、仮想環境、又は拡張環境を見ているかどうかにかかわらず、計算され得るように、ユーザの眼球運動に関する情報を捕捉するために戦略的に位置決めされ得る。例えば、いくつかの実施形態では、センサ又はカメラは、ユーザが眼球運動を行うと光源により生成されるユーザの瞳と表面角膜反射とのリアルタイム相対位置及び構成を捕捉するように構成され得る。このような実施形態では、視線追跡器１０２は、ユーザの頭に対するユーザの眼の配向及び／又は位置を判断するために瞳と表面ＣＲとの間の位置の差を使用するように構成され得る。
【0023】
[0052]投影レンズ（例えば表示レンズ又は視認レンズ）を含む実施態様では、一方の眼から眼球運動情報を捕捉するように向けられた１つ又は複数のセンサが、視角の邪魔をしない一方で眼球運動信号を最適に捕捉するために投影レンズの周囲に位置決めされ得る。各眼を撮像するように構成された２つ以上のセンサ又はカメラを含む実施態様では、センサは、特定軸に沿って範囲を定められた成分又はベクトルの形式の眼球運動信号を最適に捕捉するために特定軸に沿って位置決めされ得る。例えば、視線追跡器１０２のいくつかの実施形態は、各眼から眼球運動信号を捕捉するように構成された少なくとも２つのセンサを含み得、少なくとも２つのセンサは直交軸に沿って対で投影レンズの周囲に位置決めされる。一例として、眼当たり２つのセンサを含む視線追跡器が水平軸に沿って位置決めされ得る。別の例として、４つのセンサを含む視線追跡器が、本明細書においてさらに詳細に説明されるように互いに直交する水平軸及び垂直軸に沿って対で位置決めされ得る。
【0024】
[0053]視線追跡器１０２は、場合によっては、商業的に入手可能な頭部装着型視線追跡デバイス（例えば数ある商業ベンダーの中でもSenseMotoric Instruments、Tobii Eye Tracking及びPupil-labsから入手可能な視線追跡デバイスなど）を含み得る。
【0025】
神経記録デバイス
[0054]ＨＣＩシステム１００内の任意選択的神経記録ヘッドセット１０４は、ユーザの認識意図を指示する１つ又は複数の脳領域からの神経制御信号を捕捉、記録、及び／又は送信するように構成され得る。神経記録デバイス１０４は、任意の好適な手法を使用して神経間の神経活動を記録するように構成された任意の好適な記録デバイス又はシステムを含み得る。神経制御信号は、ユーザが行おうとする行為の選択を指示する行為制御機能として働き得る。いくつかの実施形態では、神経記録デバイス１０４は、ユーザの焦点を指示するために使用され得る神経信号を捕捉するように、又はポインティング制御機能を実施することによりユーザの焦点を指示するために視線追跡器１０２から取得された情報を補完するように構成され得る。例えば、いくつかの実施形態では、神経記録デバイス１０４はポインティング制御機能を実施するために使用され得るユーザの髄意筋運動（例えば眼球運動、姿勢運動、身振り）を表す神経信号を記録及び送信するように構成され得る。いくつかの実施形態では、神経記録デバイス１０４は運動像（例えば行われた又は撮像された運動）に対応する神経信号を記録し送信するように構成され得る。いくつかの実施形態では、神経記録デバイス１０４により捕捉される信号は、ユーザの認識状態、情動状態、又は注意状態など脳状態に対応する神経信号を含み得る。神経記録デバイス１０４はＨＣＩデバイス１１０へ結合され得る。ＨＣＩデバイス１１０は本明細書において説明されるようにポインティング制御機能又は行為制御機能を実施するために神経信号を処理する。
[0054]ＨＣＩシステム１００内の任意選択的神経記録ヘッドセット１０４は、ユーザの認識意図を指示する１つ又は複数の脳領域からの神経制御信号を捕捉、記録、及び／又は送信するように構成され得る。神経記録デバイス１０４は、任意の好適な手法を使用して神経間の神経活動を記録するように構成された任意の好適な記録デバイス又はシステムを含み得る。神経制御信号は、ユーザが行おうとする行為の選択を指示する行為制御機能として働き得る。いくつかの実施形態では、神経記録デバイス１０４は、ユーザの焦点を指示するために使用され得る神経信号を捕捉するように、又はポインティング制御機能を実施することによりユーザの焦点を指示するために視線追跡器１０２から取得された情報を補完するように構成され得る。例えば、いくつかの実施形態では、神経記録デバイス１０４はポインティング制御機能を実施するために使用され得るユーザの髄意筋運動（例えば眼球運動、姿勢運動、身振り）を表す神経信号を記録及び送信するように構成され得る。いくつかの実施形態では、神経記録デバイス１０４は運動像（例えば行われた又は撮像された運動）に対応する神経信号を記録し送信するように構成され得る。いくつかの実施形態では、神経記録デバイス１０４により捕捉される信号は、ユーザの認識状態、情動状態、又は注意状態など脳状態に対応する神経信号を含み得る。神経記録デバイス１０４はＨＣＩデバイス１１０へ結合され得る。ＨＣＩデバイス１１０は本明細書において説明されるようにポインティング制御機能又は行為制御機能を実施するために神経信号を処理する。
【0026】
[0055]いくつかの実施形態では、神経記録デバイス１０４は神経により生成される主イオン電流（神経細胞群内に及び神経細胞群全体にわたって流れるイオン電流）を直接電気的に記録することにより神経信号を捕捉するように構成され得る。いくつかの実施形態では、神経記録デバイス１０４は神経系内の二次電流（一次電流に関連付けられた又はそれから生じる）又は他の変化を間接的に記録することにより神経信号を捕捉するように構成され得る。例えば、神経活動はまた、一次電流の結果として起きる光学的変化を記録することにより光学的撮像（例えば機能的磁気共鳴映像法：ｆＭＲＩ（functional magnetic resonance imaging））のような他の方法を介し監視され得る。脳の神経活動を記録するための他の手法は、脳波記録法（ＥＥＧ：electroencephalography）、皮質脳波記録法（ＥＣｏＧ：electrocorticography）、機能的近赤外線（ＦＮＩＲ：Functional Near-Infrared）撮像、及び他の同様な固有信号撮像（ＩＳＩ：Intrinsic Signal Imaging）方法、脳磁気図記録法（ＭＥＧ：magnetoencephalography）などを含む。
【0027】
[0056]いくつかの実施形態では、神経記録デバイス１０４は、事象関連電位（ＥＲＰ：Event Related Potential）、誘発電位（ＥＰ：Evoked Potential、例えば、視覚誘発電位（ＶＥＰ：visually evoked potential）、聴性誘発反応（ＡＥＰ：auditory evoked potential）、運動誘発電位のような知覚誘発電位）、運動像、脳状態依存信号、スロー皮質電位、及び未発見の様々な認識タスク、注意タスク、又は感覚運動タスクの基礎となる他のシグネチャ活動電位などの多様なシグネチャ脳信号を含む１つ又は複数の信号を記録するように特に適応化され得る。いくつかの実施形態では、神経記録デバイス１０４は当該周波数領域内の１つ又は複数の信号を記録するように特に適応化され得る。数ある中でもいくつかの例は、感覚運動リズム、事象関連スペクトル摂動（ＥＲＳＰ：Event Related Spectral Perturbation）、θ、γ又はμリズムのような特定信号周波数帯域などを含む。
【0028】
[0057]本明細書で述べるように、神経記録デバイス１０４は、脳活動を測定する記録段を介しユーザ意図に関する情報を収集するために神経活動信号を記録し得、そしてこの情報を、命令へ変換され得る扱い易い電気信号へ変換する。いくつかの実施形態では、例えば、神経記録ヘッドセット１０４は、高い時間分解能／低コストのセットアップ及びメンテナンスと高い携帯性とを有しそしてユーザに対して非侵入性である脳波記録法（ＥＥＧ）を介し電気生理学的活動を記録するように構成され得る。このような実施形態では、神経記録デバイス１０４は、様々な脳エリアからの脳波記録法信号を取得するセンサを有する一組の電極を含み得る。これらのセンサは、神経細胞内の樹枝状結晶のシナプス興奮中の電流の流れにより引き起こされる電気信号を測定し得、これにより二次電流の影響を伝える。神経信号は、ユーザの頭皮又は頭の一部分の上に置かれると所望脳エリア全体にわたって適切に配置される神経記録デバイス１０４内の電極を介し記録され得る。例示的神経記録デバイスは数ある中でもＢｉｏｓｅｍｉ，Ｗｅａｒａｂｌｅ Ｓｅｎｓｉｎｇ及びＧ．Ｔｅｃのような商業ベンダーから入手可能であり得る。例えば、いくつかの実施形態では、神経記録デバイス１０４、神経脳活動信号を収集する際のその動作、及び神経記録ヘッドセット１０４からの信号転送は上にその開示を全体として参照により本明細書に援用した「‘２５３出願」に記載のものとほぼ同様であり得る。
【0029】
ＵＩ／ＵＸプレゼンタ
[0058]ＨＣＩシステム１００に含まれる任意選択的ＵＩ／ＵＸプレゼンタ１０６はユーザに相互作用型ＵＩ／ＵＸを提示するように構成され得る。ＵＩ／ＵＸプレゼンタ１０６はユーザへ視聴覚入力を提供するように構成された視聴覚ディスプレイであり得る。いくつかの実施形態では、ＵＩ／ＵＸプレゼンタ１０６は、１つ又は複数の周辺アクチュエータを使用して触覚入力、体知覚入力などの追加モダリティの入力を提供し得る。いくつかの例示的アクチュエータはオーディオスピーカ、触覚刺激プロバイダなどを含み得る。
[0058]ＨＣＩシステム１００に含まれる任意選択的ＵＩ／ＵＸプレゼンタ１０６はユーザに相互作用型ＵＩ／ＵＸを提示するように構成され得る。ＵＩ／ＵＸプレゼンタ１０６はユーザへ視聴覚入力を提供するように構成された視聴覚ディスプレイであり得る。いくつかの実施形態では、ＵＩ／ＵＸプレゼンタ１０６は、１つ又は複数の周辺アクチュエータを使用して触覚入力、体知覚入力などの追加モダリティの入力を提供し得る。いくつかの例示的アクチュエータはオーディオスピーカ、触覚刺激プロバイダなどを含み得る。
【0030】
[0059]いくつかの実施形態では、視線追跡器１０２及び／又は神経記録デバイス１０４は一体化ＵＩ／ＵＸプレゼンタ１０６を含み得る。いくつかの他の実施態様では、ＨＣＩシステムは、視線追跡器１０２及び神経記録デバイス１０４から分離されるとともにＨＣＩシステム１００の残りとのデータ通信状態に在るスタンドアロンＵＩ／ＵＸを含み得る。例えば、ＵＩ／ＵＸプレゼンタ１０６と一体化された視線追跡器１０２は仮想現実環境を体験するように構成されたシステムであり得る。いくつかの実施形態では、ＵＩ／ＵＸプレゼンタ１０６と一体化された視線追跡器１０２は拡張現実空間を見るように構成され得る。すなわち、ＵＩ／ＵＸプレゼンタと一体化された視線追跡器は、視線追跡器１０２を参照して上に説明したようにディスプレイ又は投影エリア（例えば投影レンズ）を介し提示された重畳又はオーバーレイＵＩ／ＵＸにより、一対の眼鏡として、現実世界環境を見るように機能し得る。
【0031】
ＥＭＧデバイス
[0060]ＨＣＩシステム１００は図１に示すＥＭＧデバイス１０８を任意選択的に含み得る。ＥＭＧデバイス１０８は、ＨＣＩシステム１００を使用する際にユーザからの筋電図検査信号を記録し送信するためにユーザの体上に好適に位置決めされるように構成され得る。ＥＭＧデバイス１０８はＨＣＩデバイス１１０へ結合され得る。ＥＭＧデバイス１０８は、捕捉された信号を、処理されるためにＨＣＩデバイス１１０へ送信するように構成され得る。例えば、ＥＭＧデバイス１０８は、所定顔領域全体にわたるユーザの顔の筋肉活動を観察することにより顔ＥＭＧ信号を記録するように構成され得る。ＥＭＧデバイス１０８を使用して記録された顔ＥＭＧ信号は、ＨＣＩデバイス１１０へ送信され得、そして様々な認識状態及び運動状態又はユーザを検出し、解釈し、そしてＵＩ／ＵＸをユーザの状態へ適合させる際にＨＣＩシステム１００により使用され得る。別の例として、ＥＭＧデバイス１０８により記録された顔ＥＭＧ信号は、ＨＣＩシステム１００を使用してＵＩ／ＵＸが提示されている間のユーザの情動反応又は情動状態を検出するために使用され得る。ＥＭＧデバイス１０８を使用して監視され得るいくつかの例示的顔筋肉は陽性情動状態を指示し得る頬骨筋及び陰性情動状態を指示し得る皺眉筋を含み得る。
[0060]ＨＣＩシステム１００は図１に示すＥＭＧデバイス１０８を任意選択的に含み得る。ＥＭＧデバイス１０８は、ＨＣＩシステム１００を使用する際にユーザからの筋電図検査信号を記録し送信するためにユーザの体上に好適に位置決めされるように構成され得る。ＥＭＧデバイス１０８はＨＣＩデバイス１１０へ結合され得る。ＥＭＧデバイス１０８は、捕捉された信号を、処理されるためにＨＣＩデバイス１１０へ送信するように構成され得る。例えば、ＥＭＧデバイス１０８は、所定顔領域全体にわたるユーザの顔の筋肉活動を観察することにより顔ＥＭＧ信号を記録するように構成され得る。ＥＭＧデバイス１０８を使用して記録された顔ＥＭＧ信号は、ＨＣＩデバイス１１０へ送信され得、そして様々な認識状態及び運動状態又はユーザを検出し、解釈し、そしてＵＩ／ＵＸをユーザの状態へ適合させる際にＨＣＩシステム１００により使用され得る。別の例として、ＥＭＧデバイス１０８により記録された顔ＥＭＧ信号は、ＨＣＩシステム１００を使用してＵＩ／ＵＸが提示されている間のユーザの情動反応又は情動状態を検出するために使用され得る。ＥＭＧデバイス１０８を使用して監視され得るいくつかの例示的顔筋肉は陽性情動状態を指示し得る頬骨筋及び陰性情動状態を指示し得る皺眉筋を含み得る。
【0032】
人間／コンピュータインターフェースデバイス
[0061]本明細書では「デバイス」とも呼ばれる人間／コンピュータインターフェースデバイス（すなわちＨＣＩデバイス）１１０は、ハードウェアベースコンピュータデバイス及び／又はマルチメディアデバイス（例えばコンピュータデバイス、サーバ、デスクトップコンピュータデバイス、スマートフォン、タブレット、ウェアラブルデバイス、ラップトップなど）であり得る。ＨＣＩデバイス１１０はプロセッサ１２０、メモリ１６０及びコミュニケータ１８０を含む。
[0061]本明細書では「デバイス」とも呼ばれる人間／コンピュータインターフェースデバイス（すなわちＨＣＩデバイス）１１０は、ハードウェアベースコンピュータデバイス及び／又はマルチメディアデバイス（例えばコンピュータデバイス、サーバ、デスクトップコンピュータデバイス、スマートフォン、タブレット、ウェアラブルデバイス、ラップトップなど）であり得る。ＨＣＩデバイス１１０はプロセッサ１２０、メモリ１６０及びコミュニケータ１８０を含む。
【0033】
[0062]プロセッサ１２０は例えば、一組の指示又はコードを走らせる及び／又は実行するように構成されたハードウェアベース集積回路（ＩＣ）又は任意の他の好適な処理デバイスであり得る。例えば、プロセッサ１２０は、汎用プロセッサ、中央処理ユニット（ＣＰＵ：central processing unit）、加速処理ユニット（ＡＰＵ：accelerated processing unit）、特定用途向け集積回路（ＡＳＩＣ：application specific integrated circuit）、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ：field programmable gate array）、プログラム可能論理アレイ（ＰＬＡ：programmable logic array）、コンプレックスプログラム可能論理デバイス（ＣＰＬＤ：complex programmable logic device）、プログラム可能論理コントローラ（ＰＬＣ：programmable logic controller）等々であり得る。
プロセッサ１２０はシステムバス（例えばアドレスバス、データバス、及び／又は制御バス）を介しメモリ１６０へ動作可能に接続される。
プロセッサ１２０はシステムバス（例えばアドレスバス、データバス、及び／又は制御バス）を介しメモリ１６０へ動作可能に接続される。
【0034】
[0063]手短に言えば、プロセッサ１２０は視線追跡器１０２により記録され送信された眼球運動信号を受信し処理するように構成され得る。プロセッサは以下にさらに詳細に説明されるように眼球運動信号の自動校正などの高速視線追跡に関連付けられた機能を行うように構成され得る。プロセッサ１２０はさらに、ＵＩ／ＵＸプレゼンタ１０６を介しユーザへ提示される相互作用型ＵＩ／ＵＸを生成し更新し、神経記録デバイス１０４により記録され送信される神経信号、ＵＩ／ＵＸプレゼンタ１０６により送信されるデータ、ＥＭＧデバイス１０８により送信された筋電図検査信号、及びＨＣＩシステム１００へ結合された様々な周辺センサ及び／又はアクチュエータから受信される任意の他の信号を受信及び処理するように構成され得る。プロセッサ１２０は、受信された信号及びデータを個々に、別々に、又は集合体として一緒に処理し得る。視線追跡器１０２、神経記録デバイス１０４、ＵＩ／ＵＸプレゼンタ１０６及びＥＭＧデバイス１０８のような様々な他の部品から受信される信号を処理することは、信号取得、信号前処理、信号較正、及び／又は信号強調などのような手順を含み得る、
【0035】
[0064]プロセッサ１２０はさらに、ポインティング制御機能及び行為制御機能を使用して、ＵＩ／ＵＸとのユーザ相互作用を実施するように、そして視線追跡器１０２、神経記録デバイス１０４、ＵＩ／ＵＸプレゼンタ１０６、ＥＭＧデバイス１０８、様々な他の周辺センサ及び／又はアクチュエータ、並びＨＣＩシステムへ結合され得る機械と通信するように構成される。
【0036】
[0065]プロセッサ１２０は１又は複数のユーザの特定ニーズを満足するために戦略的に設計されたＵＩ／ＵＸを生成するように構成され得る。戦略的に設計されたＵＩ／ＵＸは、教育、娯楽、ゲーミング、機器管理、身体障害者のための通信インターフェース（例えば綴り器）などの様々なニーズのために生成され得る。場合によっては、ＵＩ／ＵＸは、ユーザが特定行為（例えば洗練化された機器を制御すること）を行うためにＨＣＩシステムを使用する能力を得るように、トレーニングセッションのためのものであり得る。プロセッサ１２０は１又は複数のユーザについて学習しそれに適応するように構成され得る。次に、ユーザ固有トレーニングＵＩ／ＵＸが、試験及び現実世界実現のためのＵＩ／ＵＸを生成するように適応化され得る。いくつかの実施形態では、ＵＩ／ＵＸは仮想現実環境又は拡張現実環境として設計され得る。いくつかの実施形態では、ＵＩ／ＵＸは、例えば特定ユーザ履歴、反応時間、ユーザ嗜好など特定ユーザの特定ニーズのためにカスタム構築され得る。
プロセッサ１２０は、ＵＩ／ＵＸを生成及び更新する際にこれらすべての要件を考慮し得る。
プロセッサ１２０は、ＵＩ／ＵＸを生成及び更新する際にこれらすべての要件を考慮し得る。
【0037】
[0066]いくつかの実施形態では、眼球運動信号、眼神経信号、ＥＭＧ信号及び／又は周辺センサからの信号を処理することに関連して、プロセッサ１２０はまた、原因であった刺激又は処理されている信号を引き起こしたＵＩ／ＵＸを介し提示された刺激に関係するデータにアクセスしこれを処理し得る。これらの組み合わされた情報により、プロセッサ１２０は、ユーザの意図を予測するために、以下にさらに詳細に説明されるように統計モデルに基づき当該信号特徴を検出し好適な信頼スコアを適用し得る。次に、この予測された意図は、例えばＵＩ／ＵＸプレゼンタ１０６を介し提示されたＵＩ／ＵＸを介しユーザへ伝達され、そしてＵＩ／ＵＸにおける及び任意の連結制御可能機械又は機器における変更を行うために使用され得る。
【0038】
[0067]プロセッサ１２０は、信号の解析のための任意の好適な方法を行い得る。例えば、プロセッサ１２０は、信号を解釈するために統計モデルを構築しそしてそれを適用するために使用され得る信号から一組の特徴を検出し得る。例えば、プロセッサ１２０は、信号を分類し、信号と信号を引き起こした刺激とをスコア付けし、信号と信号を引き起こした可能性のあるＵＩ／ＵＸにおける１つ又は複数の標的刺激とを相関付け、ユーザにより意図された標的刺激に関連付けられた行為を判断し行うように構成され得る。プロセッサ１２０は、ポインティング制御機能及び行為制御機能を実施することにより、ユーザにより意図された行為を判断し行い得る。プロセッサ１２０は、ユーザ行為が意図された結果事象に繋がるように、ユーザが提示されたＵＩ／ＵＸと相互作用することを可能にし、そしてユーザ相互作用に基づきＵＩ／ＵＸを更新するように構成される。例えば、ＨＣＩシステム１００が機器を操作するためにユーザにより使用され得るいくつかの実施形態では、プロセッサ１２０は、ＵＩ／ＵＸを提示し、ユーザから眼球運動信号、ニューラル信号、ＥＭＧ信号、及び／又は他の周辺信号を受信しこれらを処理し、これらの信号をユーザ相互作用へ解釈し、これらのユーザ相互作用に基づきＵＩ／ＵＸを更新し、これらのＵＩ／ＵＸとのユーザ相互作用に基づき機器を制御する。
【0039】
[0068]いくつかの実施形態では、プロセッサ１２０は、プロセッサ１２０の上に説明した機能又は機能における他の関連処理のうちの１つ又は複数を行うように構成された部品又はユニット（図１に示さず）を含み得る。例えば、プロセッサは、それぞれが視線追跡器、神経記録デバイス、ＥＭＧデバイス、ＵＩ／ＵＸプレゼンタなどから信号を受信し、受信された信号を処理し解析し解釈する等々するように構成された部品又はユニットを含み得る。プロセッサはさらに、ＵＩ／ＵＸプレゼンタを介しユーザへ提示されるＵＩ／ＵＸを生成するように構成された部品及びユーザから受信された信号の解釈に基づきＵＩ／ＵＸにおける好適な変更を実施するように構成された部品を含み得る。プロセッサ１２０は、ユーザから受信された信号（例えば視線追跡器信号、神経記録符号、ＥＭＧ信号など）とユーザの意図との関連性を学習するために好適なツール（例えば機械学習ツール）を使用して統計モデルを構築するように構成された部品をさらに含み得る。これらの関連性は、ＨＣＩシステム１００をトレーニングして特定ユーザニーズを満足するように動作させるために使用され得る。いくつかの実施形態では、プロセッサ１２０に含まれる様々な部品は、メモリ１６０内に格納されそしてプロセッサ１２０により実行され得るコードの形式のソフトウェアアプリケーション又はルーチン又は指示であり得る。いくつかの実施形態では、ＨＣＩデバイス１１０及びプロセッサ１２０は、上に参照によりその全体を本明細書に援用した‘２５３出願に記載のＨＣＩデバイス及びプロセッサとほぼ同様であり得る。
【0040】
[0069]ＨＣＩデバイス１１０のメモリ１６０は例えばランダムアクセスメモリ（ＲＡＭ）、メモリバッファ、ハードドライブ、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）等々であり得る。メモリ１２０は例えば、１つ又は複数のソフトウェアモジュール、及び／又はプロセッサ１２０に１つ又は複数の処理、機能等々（例えばＵＩ／ＵＸの生成、ユーザから受信された眼球運動信号、神経信号又はＥＭＧ信号とユーザ意図とを関連付けるために統計モデルを構築すること、ＨＣＩシステムをユーザへトレーニングし、ユーザ意図を予測するために統計モデルを使用すること、ＨＣＩシステムなどへ結合された機械又は機器を制御すること）を行わせる指示を含み得るコードを格納し得る。いくつかの実施形態では、メモリ１６０は、プロセッサ１２０へ動作可能に接続され得るポータブルメモリ（例えばフラッシュドライブ、ポータブルハードディスク等々）であり得る。他の場合には、メモリはＨＣＩデバイス１１０と遠隔的動作可能に接続され得る。例えば、リモートデータベースサーバがＨＣＩデバイス１１０へ動作可能に接続され得る。
【0041】
[0070]ＨＣＩデバイスは、ＨＣＩデバイス１１０と、視線追跡器１０２、神経記録デバイス１０４、ＵＩ／ＵＸプレゼンタ１０６、ＥＭＧデバイス１０８、及びＨＣＩシステム１００に含まれ得る他の周辺センサ又はアクチュエータ（図１に示さず）との間のコミュニケーションを送受信するように構成されたコミュニケータ１８０を含む。コミュニケータ２１３は、プロセッサ１２０及びメモリ１６０へ動作可能に接続されたハードウェアデバイス及び／又はプロセッサ１２０により実行されるメモリ１６０内に格納されるソフトウェアであり得る。コミュニケータ１８０は例えばネットワークインターフェースカード（ＮＩＣ）、Wi-Fi（商標）モジュール、Bluetooth（登録商標）モジュール、及び／又は任意の他の好適な有線及び／又は無線通信デバイスであり得る。さらに、コミュニケータはスイッチ、ルータ、ハブ、及び／又は任意の他のネットワークデバイスを含み得る。いくつかの実施形態では、コミュニケータ１２０はさらに、ＨＣＩデバイス１１０をＨＣＩシステム１００と同様な又は異なるＨＣＩシステムの他のユーザによりアクセス可能であり得る通信ネットワークへ接続するように構成され得る。場合によっては、コミュニケータ１８０は例えばインターネット、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ：wide area network）、都市域ネットワーク（ＭＡＮ：metropolitan area network)、worldwide interoperability for microwave access network（WiMAX（登録商標））、光ファイバベースネットワーク、Bluetooth（登録商標）ネットワーク、仮想ネットワーク、及び／又はそれらの任意の組み合わせなどの通信ネットワークへ接続するように構成され得る。ＨＣＩデバイス１１０はまた、リモートサーバ（図１に示さず）へ接続し、そしてコミュニケータ１８０を介し、リモートサーバに含まれるデータベース又は他の好適な情報へアクセスすることができるように構成され得る。
【0042】
[0071]図１の概略図に示さないが、いくつかの実施形態では、ＨＣＩシステム１００は、音声、接触、配向などの他のモダリティを介しユーザの挙動に関するデータを収集するために１つ又は複数の任意選択的周辺センサと、豊かなマルチモーダルユーザ体験を提示するために周辺アクチュエータとを含み得る。
【0043】
[0072]図１の概略図に示さないが、いくつかの実施形態では、ＨＣＩシステム１００は、中央制御システム又はサーバシステムを含む他のＨＣＩシステムのネットワークと接続され一体化され得る。このようないくつかの実施形態では、ＨＣＩシステム１００は各ＨＣＩシステムを使用してマルチユーザ体験を各ユーザへ提示し得る。このようないくつかの実施形態では、中央制御システムはＨＣＩデバイス１１０とほぼ同様であり得、中央制御システムはすべてのユーザに共通であり得る機能のうちのいくつか（マルチユーザＵＩ／ＵＸを生成及び更新すること、すべてのユーザ運動に関係する入力を受信することなど）を行い得る。一体化されたＨＣＩシステムのそれぞれのＨＣＩシステムの各ＨＣＩデバイス１１０は、単一ユーザ用に適合された局所化機能（単一ユーザＵＩ／ＵＸを生成及び更新すること、単一ユーザ運動に関係する入力を受信することなど）を行い得る。
【0044】
ＨＣＩシステムの仕組み
[0073]上述のように、ＨＣＩシステムは相互作用型ＵＩ／ＵＸを介し刺激をユーザへ提示するために使用され得る。ユーザにより生成される信号（眼球運動信号、神経信号、又はＥＭＧ信号など）は相互作用型ＵＩ／ＵＸの制御を行うために記録、解析、解釈、及び使用され得る。場合によっては、ＨＣＩシステムは外部機器又は装置へ結合され得る、又は現実世界環境及びＵＩ／ＵＸに関するユーザの制御の他の態様は、外部機器又は装置又は関連現実世界態様に関する制御を仲介するために使用され得る。ＵＩ／ＵＸに関するユーザの制御は、（ＵＩ／ＵＸ）機能とのユーザの相互作用を仲介するポインティング制御機能及び行為制御機能を含み得る。ポインティング制御機能は、ユーザが小さな一組の１つ又は複数のマニュピレータ又は相互作用可能行為アイテム（例えばアイコン、オブジェクト、刺激、タグなど）に絞ることを可能にするマウスポインタのような従来のポインティングデバイスであると類推され得る。行為制御機能は、ユーザがＵＩ／ＵＸを介しＵＩ／ＵＸ又は連結機械又は機器（例えば車椅子）における変更を行うための行為を実施することを可能にする例えばマウスクリック、キーボード上のキーストロークなどの行為（例えば選択、選択解除など）を仲介するデバイスであると類推され得る。ＨＣＩシステムにおけるＵＩ／ＵＸ機能は、選択メニュー、ナビゲーション制御等々を提示することのような他の機能に加えてポインティング及び行為制御機能を実現する環境を生成し維持するオペレーティングシステムであると類推され得る。
[0073]上述のように、ＨＣＩシステムは相互作用型ＵＩ／ＵＸを介し刺激をユーザへ提示するために使用され得る。ユーザにより生成される信号（眼球運動信号、神経信号、又はＥＭＧ信号など）は相互作用型ＵＩ／ＵＸの制御を行うために記録、解析、解釈、及び使用され得る。場合によっては、ＨＣＩシステムは外部機器又は装置へ結合され得る、又は現実世界環境及びＵＩ／ＵＸに関するユーザの制御の他の態様は、外部機器又は装置又は関連現実世界態様に関する制御を仲介するために使用され得る。ＵＩ／ＵＸに関するユーザの制御は、（ＵＩ／ＵＸ）機能とのユーザの相互作用を仲介するポインティング制御機能及び行為制御機能を含み得る。ポインティング制御機能は、ユーザが小さな一組の１つ又は複数のマニュピレータ又は相互作用可能行為アイテム（例えばアイコン、オブジェクト、刺激、タグなど）に絞ることを可能にするマウスポインタのような従来のポインティングデバイスであると類推され得る。行為制御機能は、ユーザがＵＩ／ＵＸを介しＵＩ／ＵＸ又は連結機械又は機器（例えば車椅子）における変更を行うための行為を実施することを可能にする例えばマウスクリック、キーボード上のキーストロークなどの行為（例えば選択、選択解除など）を仲介するデバイスであると類推され得る。ＨＣＩシステムにおけるＵＩ／ＵＸ機能は、選択メニュー、ナビゲーション制御等々を提示することのような他の機能に加えてポインティング及び行為制御機能を実現する環境を生成し維持するオペレーティングシステムであると類推され得る。
【0045】
[0074]行為制御機能により行われる行為は、多くののうちの１つであり得、そして様々なデバイス又は機械を制御するように設計されたＵＩ／ＵＸの様々なバージョンに適するように適応化され得る。いくつかの例を挙げると、行為は、ＵＩ／ＵＸに対する活性化又は非活性化、連続的又は半連続的変更であり得る。例えば、数ある中でもスクローリング、ホバーリング、ピンチング、ズーミング、タイトル付け、回転移動、スワイピング。行為はまた、ハイライトなどのような個別開始及び停止を伴うＵＩ／ＵＸに対する緊急変更を行い得る。ＵＩ／ＵＸを介する行為制御の他のいくつかの例は、仮想キーボード制御、メニューナビゲーション、オブジェクト又はアイテムを置く行為及び取り除く行為、オブジェクト又はアイテムを移動する行為、オブジェクトを拡大及び／又は縮小する行為、第１の観察者又はプレーヤの運動又はナビゲーション、観察者の観点を変更すること、及び掴むこと、摘まむこと、又はホバーリングのような行為を含み得る。行為制御のこれらの態様のいくつかが以下に開示される。
【0046】
[0075]ＨＣＩシステムを実現するいくつかの実施形態では、ユーザの焦点を識別するためのポインティング制御機能及び方法は、ユーザの眼球運動信号を処理することにより実施され得る。いくつかの実施形態では、ユーザの焦点を識別するためのポインティング制御機能及び方法は、ＵＩ／ＵＸの操作を介し、及び／又はユーザの焦点に関し有益であり得る神経信号自体を使用することにより、又は場合によってはこれらの神経信号を眼球運動信号を処理することと補完的に又はこれに加えて使用することにより、のいずれかにより実施され得る。本明細書において説明されるＨＣＩシステムのいくつかの実施形態では、ポインティング制御機能は、筋電図検査などの様々な方法を介し骨格筋群の運動又は個々の筋肉の運動から記録される信号を含み得る。さらに他の実施形態では、脳信号、筋肉運動の信号、及び眼球運動信号の組み合わせ並びにＵＩ／ＵＸの戦略的操作がポインティング制御機能を実施するために同時に（例えばＨＣＩシステム）又は個々に使用され得る。上述の信号に加えて、ハイブリッドである又はそうではないＨＣＩシステムがまた、様々な周辺センサからの他の信号（例えば頭位置追跡信号、身振り、姿勢調整など）を監視し使用し得る。
【0047】
[0076]いくつかの実施形態では、ＨＣＩシステムはＵＩ／ＵＸ又は機械の人間挙動ベース制御を実施する洗練化されたＵＩ／ＵＸを実現し得る。これらの機能のうちの１つ又は複数に対する特別の適応化が、以下に述べるように、ＨＣＩシステムとの人間相互作用の高速且つ高精度を実現するために実施され得る。例えば、いくつかの実施形態では、ＨＣＩシステムは、上に参照により援用された‘５９８出願において説明したものとほぼ同様であり得る。
【0048】
[0077]ＵＩ／ＵＸは、ＨＣＩシステムにより満足されるべきニーズを考慮して適応化され得る。例えば、移動可能性のために患者により使用されることになるＨＣＩシステムは、低認知負荷による使い易さを標的とするＵＩ／ＵＸを含み得る。別の例として、学習ツールとして子供達に使用されるＨＣＩシステムは、子供達による直観的相互作用に合わせて作られたＵＩ／ＵＸを含み得る。同様に、ゲーミング体験を対象としたＨＣＩシステムは、高速且つ高精度等々のために設計されたＵＩ／ＵＸを含み得る。例えば、いくつかの実施形態では、ＨＣＩシステム及び／又はユーザインターフェース／ユーザ体験（ＵＩ／ＵＸ）は、上に参照により援用された‘２０９出願に記載のものとほぼ同様であり得る。
【0049】
[0078]ＨＣＩシステムは、１又は複数組の基礎的方法を使用することにより操作される洗練化されたＵＩ／ＵＸを介し１又は複数のユーザと相互作用するように構成され得る。例えば、ＨＣＩシステムは、その開示を全体として参照により本明細書に援用する２０１８年１月１８日（「‘８４６出願」）出願の米国特許出願第６２／６１８，８４６号：題名「高速度、高精度、直観的ユーザ相互作用のための適応化を有する脳／コンピュータインターフェース：Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions」に記載のものとほぼ同様な基礎的解析ツール及び方法により構成され得る。
【0050】
[0079]図２Ａは例示的ＵＩ／ＵＸ２７１を介した例示的ＨＣＩシステム２００との例示的ユーザ相互作用を示す。システム２００は構造及び／又は機能において上述のＨＣＩシステム１００とほぼ同様であり得る。例えば、ＢＣＩシステム２００は視線追跡器２０２、神経記録デバイス２０４、ＨＣＩデバイス（図示せず）、及びＵＩ／ＵＸ２７１を提示するＵＩ／ＵＸプレゼンタ２０６を含み得る。図２Ａに示すように、ＨＣＩシステム２００は、ユーザが単語及び／又は文章を綴るのを助けるために視線追跡器２０２を介し眼球運動信号を捕捉しそして神経記録デバイス２０４を介し神経信号を捕捉し得る。ＵＩ／ＵＸ２７１は、図２Ａに示すようなタグ１７９（例えばキーボード上で一般的に見出される文字、数及びシンボル）を含むタグ又はオブジェクトのグループ（タググループフラッシュとも呼ばれる）の形式で刺激を提示し得る。フラッシュされたタグの１つはユーザにとって興味のある標的タグ２８５（例えば図２Ａの概略図内の文字Ｑ）であり得る。文字を選択し単語を綴るためにＵＩ／ＵＸ１７１において標的タグ２８５上の文字「Ｑ」を凝視する又は中心窩で捉えるために眼球運動を行うユーザが示される。図２Ｂ、２Ｃは、ユーザの中心窩に関連付けられた又は焦点を標的タグへ向ける例示的眼球運動信号及び神経信号（黒色）を示し、この関連付けられた神経信号は標的タグを見る際のシグネチャ形状（例えば事象関連電位）を含む。図２Ｃはまた、比較のために、ユーザが標的タグではないタグを見たときの神経信号（マゼンタ色）を示す。
【0051】
[0080]図３はＨＣＩシステム３００の例示的実施形態を処理３５０の概略フローチャートの形式で示す。システム３００は、構造及び／又は機能の点で上述のシステム１００及び／又はシステム２００とほぼ同様であり得る。図３に示す例示的実施形態では、ユーザは相互作用可能オブジェクト３７９（本明細書ではタグともは呼ばれる）の選択を含む刺激をＵＩ／ＵＸ３７１を介し提示される。例示的概略図は、タグ３７９のうちの１つ（例えば八角形）がユーザの関心の標的タグ３８５であり得る。図３に示す例における一連の事象は、刺激（例えば一組の行為に関連付けられた一組のタグを含む刺激）の提示、その後の神経活動信号及び眼球運動信号及び／又は妥当な場合周辺信号を取得すること、取得された信号を解析すること、ユーザの意図を推論又は復号化するためにこれらの信号を解釈すること、そして、ＵＩ／ＵＸにおける変更を行うこと（例えば、行為の１つ又は複数に関連付けられたタグの１つ又は複数を選択することにより）を含む。ＵＩ／ＵＸを変更するために実施される１つ又は複数の行為はまた、ＵＩ／ＵＸを介し接続された１つ又は複数の外部機械を制御し得る。
【0052】
[0081]図３に示すＨＣＩシステムの例示的実施形態では、工程３５１において、ユーザは入力刺激を提示される。入力刺激は例えば、例示的ＵＩ／ＵＸ３７１において示される一組のタグ又はシンボル３７９であり得る。ＵＩ／ＵＸ３７１におけるすべてのタグ３７９は可視であり得るが、タグ３７９の１つ又は複数は、選択のために、それらの有用性を指示するために外観が一時的に変化するように構成され得る。外観の変化はタグの任意の好適な特性（例えば、塗りつぶし、透明度、強度、コントラスト、色、形状、サイズ、配向など）の変化であり得る。例えば、タグ３７９の１又は複数は、可能な選択を指示するために点滅（そうでなければ本明細書では「タグ点滅」とも呼ばれる）するように構成され得る。様々なグループの可視タグ３７９が、一緒に点滅していくつかの組み合わせのタグ点滅（又はいくつかのタググループ点滅）を生じるように構成され得、各タグ点滅又はタググループ点滅は刺激である。例示的刺激は視覚的モダリティにおける刺激であるように説明され、変更は視覚的モダリティで提示されるが、任意の好適なモダリティが刺激を提示するとともに同様な行為選択を行うために使用され得るということに留意すべきである。例えば、音調がタグとして使用され得る。聴覚的タグの任意の好適な聴覚特性が、選択されるべきそれらの可用性を指示するために一時的に変更され得る。例えば、ラウドネス、継続時間、ピッチ、チャープ、音色などのような特性が、ＵＩ／ＵＸの聴空間においてタグ点滅として使用されるために一時的に変更され得る。
【0053】
[0082]３５１では、ＵＩ／ＵＸ３７１において提示される３つのタグ３７９はそれぞれ、選択されると別個の行為を仲介するように構成され得る。可視タグの１つは標的タグ又はユーザが選択したいタグであり得る。図３に示す例示的手順を介したＨＣＩシステム（上述のＨＣＩシステム１００のような）のゴールは、提示されたタグ３７９のどれがユーザが選択したい標的タグであるかを判断することである。
【0054】
[0083]ＵＩ／ＵＸ３７１は、工程３５１において、各可視タグ３７９を刺激として１又は複数回提示する（例えばタグ点滅により）ように構成され得、そして工程３５３において、ＨＣＩシステム（例えばシステム１００）は、適用可能であれば、その後の脳活動信号３７３及び／又は眼球運動信号３７５並びにユーザ挙動（図３に示さず）を報告する任意の他の信号を、刺激提示３７７（例えば、どのタグ又はタググループが、どの時点で、ＵＩ／ＵＸ３７１のどの場所において等々に提示されたか）に関する情報と共に取得する。
【0055】
[0084]利用可能タグ３７９は、単にタグ点滅を介し又はタググループの組み合わせで提示され得る。タググループにおけるタグ点滅は、標的タグ３８５を見出すために必要とされる点滅の数を低減し得る。場合によっては、刺激提示はまたタグへ結び付けられなくそしてユーザにより気付かれないと予測されるゴースト点滅の非可視刺激の疑似提示を含み得る。ゴースト点滅はＵＩ／ＵＸ３７１による刺激提示を校正するために使用され得る。例えば、ゴースト点滅は、特定タグ３７９上のユーザの焦点又は注意を指示する信号の解析中の検出閾値を設定するために使用され得る。ユーザは、両眼を使用して注意を標的タグに合わせることにより興味ある標的タグを中心窩で捉えるように誘導され得る。
【0056】
[0085]３５５において、ＨＣＩシステムは取得された眼球運動信号３７５、神経信号３７３（及び他のセンサからの他の周辺信号）を解析するが、これは個々に実行され得る又は統合的アプローチで集合体として実行され得る。神経信号及び眼球運動信号（並びにＥＭＧ信号、周辺信号）の解析は刺激情報３７７の文脈で行われる。例えば、提示された刺激の時空間特性は取得された眼球運動、神経信号、及び／又はＥＭＧ信号と相関付けられ得る。解析は、信号の前処理、特徴検出及び特徴抽出、次元低減、教師付き（supervised）、教師無し（unsupervised）、半教師付き（semi-supervised）分類、信号を解釈するために１つ又は複数の事前構築統計モデルを構築又は適用すること、各解析の信頼スコア（例えば分類の信頼スコア）の計算、刺激情報３７７を取り込み使用するための好適なやり方の計算（例えば１つ又は複数のスケーリング関数の適用）、各タグ３７９が各標的タグ３８５である尤度の計算、標的タグ３８５の識別子の判断に関する復号化及び／又は意思決定などのいくつかのコンピュータ的方法を含み得る。図３の概略図は、３５１において提示された３つの可能タグのうちのどれがユーザの関心の標的タグであり得るかを識別するためにＨＣＩシステムにより行われる例示的分類手順を示す。
【0057】
[0086]工程３５７は、工程３５５において行われた解析に基づく標的タグ３８５の識別子の判断を含む。工程３５７における意思決定又は判断は任意の好適な方法を使用して行われ得る。例えば、１つ又は複数の閾値交差アルゴリズム（threshold crossing algorithm）又は他の好適な機械学習ツールを使用すること。
【0058】
[0087]工程３５７における意思決定は、ＵＩ／ＵＸ３７１Ａ、３７Ｂ、３７１Ｃにより示される３つの可能な結果により指示されるように、工程３５９におけるタグ３７９のうちの１つの選択に繋がり得る。工程３５９における選択は、延いては、関連行為が行われることに繋がり得る。例えば、標的タグ３８５が八角形タグであると正しく識別されれば、八角形に関連付けられた行為３が行われ得る。ユーザ検証の１つ又は複数の工程もまた、標的タグ３８５の識別が正しかったかどうかを確定するために含まれ得る。ユーザは、標的タグ３８５の識別が正しかった又は誤っていたかに関するフィードバックを与え得る。このユーザフィードバックは、特定ユーザ又は特定使用ケースにマッチするようにＨＣＩシステムをトレーニングすることにより、標的タグ３８５の判断に使用される様々な解析処理及び統計モデルを確認又は訂正するために使用され得る。フィードバックはまたユーザをトレーニングするために使用され得る。例えば、３５７において意思決定するための情報が例えば曖昧性のために又は１つ又は複数の信号が弱過ぎるために十分でなければ、ユーザは異なる環境（例えばより良い焦点）下で再び試みるために指示子を提供され得る。
【0059】
正確且つ高速視線追跡のために眼球運動信号を処理すること
[0088]本明細書で述べるように、ＨＣＩシステム１００、２００、３００は、ユーザの焦点及びユーザの意図する行為を判断するために眼球運動信号を高速及び高精度で処理し得る。眼球運動信号は上述の視線追跡器により捕捉され得る。図４Ａ、４Ｂは、システム１００、２００それぞれの先に説明された視線追跡器１０２、２０２に構造及び／又は機能の点でほぼ同様であり得るＨＣＩシステム４００の例示的視線追跡器４０２の正面図及び背面図を示す。視線追跡器４０２は、左眼の運動（例えば左眼により生成される視線角）を捕捉し記録するように構成された左眼カメラ４２２及び右眼の運動を捕捉し記録するように構成された右眼カメラ４２４を含む。視線追跡器４０２はまた、ユーザにより見られるシーン又は環境（例えば現実世界環境）を捕捉し記録するように構成されたシーンカメラを含む。
[0088]本明細書で述べるように、ＨＣＩシステム１００、２００、３００は、ユーザの焦点及びユーザの意図する行為を判断するために眼球運動信号を高速及び高精度で処理し得る。眼球運動信号は上述の視線追跡器により捕捉され得る。図４Ａ、４Ｂは、システム１００、２００それぞれの先に説明された視線追跡器１０２、２０２に構造及び／又は機能の点でほぼ同様であり得るＨＣＩシステム４００の例示的視線追跡器４０２の正面図及び背面図を示す。視線追跡器４０２は、左眼の運動（例えば左眼により生成される視線角）を捕捉し記録するように構成された左眼カメラ４２２及び右眼の運動を捕捉し記録するように構成された右眼カメラ４２４を含む。視線追跡器４０２はまた、ユーザにより見られるシーン又は環境（例えば現実世界環境）を捕捉し記録するように構成されたシーンカメラを含む。
【0060】
独立センサ
[0089]場合によっては、ＨＣＩシステムが仮想環境を提示するために使用され得る場合、視線追跡器は、関連ＵＩ／ＵＸにより仮想環境を投影するために投影レンズを含み得る。ＨＣＩシステム５００に含まれるこのような視線追跡器５０２の例が図４Ｃに示される。システム５００は構造及び／又は機能の点でシステム１００、２００、３００、４００とほぼ同様であり得る。例示的視線追跡器５０２は、左眼及び右眼それぞれのために位置決めされた２枚の投影レンズ５２１、５２３を含む。視線追跡器５０２は、左眼及び右眼の運動をそれぞれ捕捉するためにレンズ５２１、５２３の周囲に位置決めされたセンサ５２２、５２４それぞれを含む。
[0089]場合によっては、ＨＣＩシステムが仮想環境を提示するために使用され得る場合、視線追跡器は、関連ＵＩ／ＵＸにより仮想環境を投影するために投影レンズを含み得る。ＨＣＩシステム５００に含まれるこのような視線追跡器５０２の例が図４Ｃに示される。システム５００は構造及び／又は機能の点でシステム１００、２００、３００、４００とほぼ同様であり得る。例示的視線追跡器５０２は、左眼及び右眼それぞれのために位置決めされた２枚の投影レンズ５２１、５２３を含む。視線追跡器５０２は、左眼及び右眼の運動をそれぞれ捕捉するためにレンズ５２１、５２３の周囲に位置決めされたセンサ５２２、５２４それぞれを含む。
【0061】
センサ位置及び視線角計算
[0090]高速且つ正確な眼球運動追跡を達成するために、ＨＣＩシステムに含まれる視線追跡器（例えば視線追跡器１０２、２０２、４０２、５０２）は、所定のやり方で眼球運動信号を捕捉し記録するために、一つの眼あたりいくつかのセンサを含むように適応化され得る。例えば、先に説明したように、いくつかの実施形態では、視線追跡器は、ユーザの各眼により生成される眼球運動を捕捉するように位置決めされた２つ以上のセンサを含み得る。視線追跡器はＵＩ／ＵＸ又は現実世界を各眼へ投影するように位置決めされた投影レンズを含み得、そして眼球運動信号を捕捉するように構成された２つ以上のセンサ又はカメラは各眼の投影レンズの周囲に位置決めされ得る。図４Ｄは、構造及び／又は機能の点でシステム１００、２００、３００、４００及び／又は５００とほぼ同様であり得るＨＣＩシステム６００に含まれる視線追跡器６０２の斜視図を示す。視線追跡器６０２の概略図は、ユーザの一方の眼（例えば左眼）の運動を捕捉するように向けられる４つのセンサ６２２Ａ、６２２Ｂ、６２２Ｃ、６２２Ｄの位置決めを示す。センサは、２つの軸（水平軸及び垂直軸）に沿って当該眼の投影レンズ６２１の周囲に位置決めされる。文字は４つのセンサのそれぞれの位置を指示し、６２２Ａは左上（ＴＬ）、６２２Ｂは右上（ＴＲ）、６２２Ｃは左下（ＢＬ）、６２２Ｄは右下（ＢＲ）である。２つの軸は、例えば視線位置及び視線角の観点で眼位置及び眼球運動の最良の指示を提供するように好適に選択され得る。示されるように、この例では、場合によっては、センサは、直交方向（例えば水平方向及び垂直方向）に沿った視線角を補完的に伝えるために互いに直交する軸に沿って対で位置決めされ得る。
[0090]高速且つ正確な眼球運動追跡を達成するために、ＨＣＩシステムに含まれる視線追跡器（例えば視線追跡器１０２、２０２、４０２、５０２）は、所定のやり方で眼球運動信号を捕捉し記録するために、一つの眼あたりいくつかのセンサを含むように適応化され得る。例えば、先に説明したように、いくつかの実施形態では、視線追跡器は、ユーザの各眼により生成される眼球運動を捕捉するように位置決めされた２つ以上のセンサを含み得る。視線追跡器はＵＩ／ＵＸ又は現実世界を各眼へ投影するように位置決めされた投影レンズを含み得、そして眼球運動信号を捕捉するように構成された２つ以上のセンサ又はカメラは各眼の投影レンズの周囲に位置決めされ得る。図４Ｄは、構造及び／又は機能の点でシステム１００、２００、３００、４００及び／又は５００とほぼ同様であり得るＨＣＩシステム６００に含まれる視線追跡器６０２の斜視図を示す。視線追跡器６０２の概略図は、ユーザの一方の眼（例えば左眼）の運動を捕捉するように向けられる４つのセンサ６２２Ａ、６２２Ｂ、６２２Ｃ、６２２Ｄの位置決めを示す。センサは、２つの軸（水平軸及び垂直軸）に沿って当該眼の投影レンズ６２１の周囲に位置決めされる。文字は４つのセンサのそれぞれの位置を指示し、６２２Ａは左上（ＴＬ）、６２２Ｂは右上（ＴＲ）、６２２Ｃは左下（ＢＬ）、６２２Ｄは右下（ＢＲ）である。２つの軸は、例えば視線位置及び視線角の観点で眼位置及び眼球運動の最良の指示を提供するように好適に選択され得る。示されるように、この例では、場合によっては、センサは、直交方向（例えば水平方向及び垂直方向）に沿った視線角を補完的に伝えるために互いに直交する軸に沿って対で位置決めされ得る。
【0062】
[0091]上の視線追跡器１０２を参照して先に説明したように、視線追跡器のセンサは、眼位置及び眼球運動信号を独立に捕捉し記録し、そして記録された信号をＨＣＩデバイス（例えば上述のＨＣＩデバイス１１０）へセンサ固有のやり方で独立に送信するように構成され得る。別の言い方をすると、１つのセンサにより捕捉され送信される信号は別のセンサにより捕捉され送信される信号により損われ得ない。
【0063】
[0092]ＨＣＩデバイスは、センサから取得された信号に基づき好適な処理及び解析を行い得る。例えば、ＨＣＩデバイスは、センサのそれぞれから眼球運動信号を取得し、そして目毎の視線角を指示する視線方向ベクトルを独立に計算するように構成され得る。視線方向ベクトルは、視線位置（例えば、水平軸及び／又は垂直軸に沿った位置）又はユーザの焦点を判断するために使用されることになる１つ又は複数の軸に関して計算され得る（例えば水平軸に対して定義された大きさ及び方向を有する水平視線ベクトル又は垂直軸に対して定義された大きさ及び方向を有する垂直視線ベクトル）。２つ以上の軸に関して範囲を定められる際の視線ベクトルが、ユーザの視線角を集合的に表すために使用され得る。例えば、ＨＣＩデバイスは水平方向の視線ベクトル（例えば左向きベクトル）と垂直方向（例えば、上向き）の視線ベクトルとを計算し得、併せて、これらは左上に向かう視線角を表し得る。
【0064】
[0093]ＨＣＩデバイスは、視線追跡器の構成、センサ位置、センサの数、ユーザの眼から投影レンズまでの距離、視線追跡の光学素子に関係する好適な情報（例えば投影レンズの結像特性）、提示されたＵＩ／ＵＸなどの追加情報を視線追跡器及び／又はＵＩ／ＵＸプレゼンタから取得し得る。ＨＣＩデバイスはＵＩ／ＵＸに対するユーザの焦点を見出すために追加情報を使用し得る。
【0065】
[0094]場合によっては、ＨＣＩデバイスは、別の軸に沿った眼球運動の正確な推定値を取得するために１つの軸に沿って位置決めされたセンサのそれぞれから取得された生の眼球運動信号を組み合わせ得る。いくつかの他の場合では、ＨＣＩデバイスは、センサのそれぞれからの眼球運動信号に基づき計算し、そして次に、別の軸に沿った眼球運動の正確な推定値を取得するために１つの軸に沿って位置決めされたセンサから計算された視線ベクトルを組み合わせ得る。一例として、ＨＣＩデバイスは、垂直軸における視線ベクトルの平均推定値（例えば、垂直運動＝平均（平均（ＢＬ，ＢＲ），平均（ＴＬ，ＴＲ）））を取得するために、図４Ｄの左上位置においてセンサ６２２Ａから取得された信号又は視線ベクトルと右上位置においてセンサ６２２Ｂから取得された信号又は視線ベクトルとを組み合わせ（例えば、平均（ＴＬ，ＴＲ））、そして左下位置においてセンサ６２２Ｃから取得された信号又は視線ベクトルと右下位置においてセンサ６２２Ｄから取得された信号又は視線のベクトルとを組み合わせ得る（例えば、平均（ＢＬ，ＢＲ））。別の例として、ＨＣＩデバイスは、水平軸における視線ベクトルの平均推定値（例えば、水平運動＝平均（平均（ＴＲ，ＢＲ），平均（ＴＬ，ＢＬ））を取得するために、右上及び右下位置においてセンサ６２２Ｂ、６２２Ｄから取得された信号又は視線ベクトルを組み合わせ（例えば、平均（ＴＲ，ＢＲ））そして左上及び左下位置においてセンサ６２２Ａ、６２２Ｃから取得された信号又は視線ベクトルを組み合わせ得る（例えば、平均（ＴＬ，ＢＬ））。前述のように、互いに直交する２つの軸に沿った視線ベクトルは２つの軸により定義された２次元面内のユーザの視線角又は眼球運動を集合的に表し得る。
【0066】
[0095]場合によっては、３次元空間におけるユーザの視線位置又は焦点は、両眼からの情報を使用することにより（例えば、双眼視線判断からの焦点深度を使用することにより）、及び／又は計算された視線角に関連付けられＵＩ／ＵＸにおいて知覚された深度を有するオブジェクトなどのＵＩ／ＵＸにおいて提示された刺激からの追加ヒントを使用することにより判断され得る。他のオブジェクトにより部分的に閉塞（例えば視る人に最も近いと知覚されたオブジェクトによる閉塞）されたオブジェクトは、ＵＩ／ＵＸにおける他のオブジェクトと比較して、オブジェクトの相対的サイズ及び位置のようなＵＩ／ＵＸにおける様々な特徴を操作することにより、そしてオブジェクトの相対運動（例えば、遠く離れたオブジェクトは視る人に近いオブジェクトよりゆっくり動く）により、知覚された深度に関連付けられ得る（例えば、小さく背の高いオブジェクトは深度という点で遠く離れているように知覚される傾向がある）。
【0067】
センサ重み付け
[0096]いくつかの実施形態では、ＨＣＩデバイスは、視線追跡器上のセンサのそれぞれから取得された信号が様々な重み付け係数により重み付けられ得るように、一組の重み付け係数を生成するように構成され得る。いくつかの実施形態では、重み付けは、２つの例示的場合には図５Ａ、５Ｂに示すようにユーザの眼球運動又は視線角に基づき判断され得る。例えば、いくつかの実施形態では、視線追跡器センサ又はカメラは、眼がセンサ又はカメラに直接面している場合には増加された精度と低減された変動性とを有し得る。すなわち、ユーザが左方向の眼球運動又は視線シフトを行うと、眼は左側に配置されたセンサにより近く、左側センサは低減された変動性と共に増加された精度を有し得る。逆に、斜め視線は、センサにより捕捉されるために利用可能な低減された瞳面のために検出するのが困難であり得る。これらの観察に基づき、ユーザが、方向付けられた眼球運動を行う場合、ＨＣＩデバイスは、増加された精度及び低減された変動性から恩恵を受け得るセンサが眼球運動方向に起因する不利な立場のセンサの残りのセンサより大きく依存され得るように、眼球運動を粗く評価してそして視線追跡器へ結合された各センサに関連付けられた重み付け係数を更新するように構成され得る。
[0096]いくつかの実施形態では、ＨＣＩデバイスは、視線追跡器上のセンサのそれぞれから取得された信号が様々な重み付け係数により重み付けられ得るように、一組の重み付け係数を生成するように構成され得る。いくつかの実施形態では、重み付けは、２つの例示的場合には図５Ａ、５Ｂに示すようにユーザの眼球運動又は視線角に基づき判断され得る。例えば、いくつかの実施形態では、視線追跡器センサ又はカメラは、眼がセンサ又はカメラに直接面している場合には増加された精度と低減された変動性とを有し得る。すなわち、ユーザが左方向の眼球運動又は視線シフトを行うと、眼は左側に配置されたセンサにより近く、左側センサは低減された変動性と共に増加された精度を有し得る。逆に、斜め視線は、センサにより捕捉されるために利用可能な低減された瞳面のために検出するのが困難であり得る。これらの観察に基づき、ユーザが、方向付けられた眼球運動を行う場合、ＨＣＩデバイスは、増加された精度及び低減された変動性から恩恵を受け得るセンサが眼球運動方向に起因する不利な立場のセンサの残りのセンサより大きく依存され得るように、眼球運動を粗く評価してそして視線追跡器へ結合された各センサに関連付けられた重み付け係数を更新するように構成され得る。
【0068】
[0097]図５Ａ、５Ｂは、例示的視線追跡器７０２の左投影レンズ７２１と左眼に対してこのレンズ７２１の周囲に位置決めされたセンサ７２２Ａ、７２２Ｂとを示す。視線追跡器７０２は、先に説明したＨＣＩシステム１００、２００、３００、４００、５００、６００と構造的及び／又は機能的に同様であるＨＣＩシステム７００（図示せず）に含まれ得る。レンズ７２１は標的刺激７７９をＵＩ／ＵＸ表面内の様々な位置に投影するために使用され得る。図５Ａでは標的刺激７２９は中心に在り、一方図５Ｂでは標的刺激はレンズ７２１の左縁にある。図５Ａに示すように、ユーザが、中央に在る標的刺激７２９に向かって前向き眼球運動を行う（すなわち、ユーザが前方を中心窩で捉える）場合、水平方向に沿ったセンサ７２２Ａ、７２２Ｂ（例えば左側センサ、右側センサ）はそれぞれ、各センサの垂直軸に対し法線方向（矢印により指示される）である計算された視線ベクトルを生じ得る眼球運動信号を送信し得る。２つのセンサは同程度の精度及び変動性を有するものと判断され得る。したがって、等しい重み付け（又は２つのセンサ間の５０：５０重み付け）がＨＣＩデバイスにより採用され得る。しかし、図５Ｂに示すように、ユーザが左縁において標的刺激７２９に向かって斜め左向き眼球運動を行うと、左側センサ７２２Ａは、センサ７２２Ａの中心軸に対し垂直である視線ベクトルを生じる眼球運動信号を送信し、増加された精度及び低減された変動性を有し得る。右側センサ７２２Ｂは、低減された精度及び／又は増加された変動性に悩まされ、そして、角度付けされた矢印により指示されるように高い斜度を有する計算された視線ベクトルを生成し得る。このような場合、２つのセンサ間の偏った重み付け（例えば８０：２０重み付け）は、ユーザの焦点を指示するために眼球運動信号をより良好に推定するためにセンサ７２２Ａにより大きくそしてセンサ７２２Ｂにより小さく依存するように採用され得る。
【0069】
[0098]別の言い方をすると、視線ベクトルはセンサのそれぞれを使用して眼毎に計算され得、各センサに関連付けられた視線ベクトルは、視線角の当該センサの頂角に対する斜度などの眼球運動の特性に基づき適切に重み付けられ得る。ユーザがリアルタイムに眼球運動を行うと、各センサに関連付けられた重み付けが各眼球運動に基づき動的に変更され得る。
【0070】
[0099]いくつかの実施形態では、上述のように、視線追跡器は、図４Ｄの例に示すように、直交軸に沿って対のレンズの周囲に位置決めされた３個以上のセンサを目毎に含み得る。例えば、視線追跡器は、各眼の眼球運動を捕捉するために各レンズの周囲に且つ垂直軸及び水平軸に沿って対で配置された４つのセンサを含み得る。ＨＣＩデバイスは、センサのそれぞれから取得された信号から生じる重み付けられた垂直方向視線ベクトルを組み合わせることにより垂直方向視線ベクトルの平均推定値を計算するための重み付けを各センサへ割り当て得る。組み合わされた垂直方向視線ベクトルを計算するためにセンサのそれぞれへ割り当てられた重み付け（例えばｗＴＬ－Ｖ、ｗＴＲ－Ｖ、ｗＢＬ－Ｖ、ｗＢＲ－Ｖ）は水平方向正常軸に関して範囲を定められた視線ベクトルの斜度に基づき得る。同様に、ＨＣＩデバイスは、センサのそれぞれから取得された信号から生じる重み付けられた水平視線ベクトルを組み合わせることにより水平視線ベクトルの平均推定値を計算し得る。水平視線ベクトルを計算するためにセンサのそれぞれへ割り当てられた重み付け（例えばｗＴＬ－Ｈ、ｗＴＲ－Ｈ、ｗＢＬ－Ｈ、ｗＢＲ－Ｈ）は垂直方向正常軸に関して範囲を定められた視線ベクトルの斜度に基づき得る。
【0071】
[00100]一例として、図４Ｄを参照すると、ＨＣＩデバイスは、右上及び右下位置におけるセンサ６２２Ｂ、６２２Ｄから取得された重み付けられた水平方向ベクトル（例えば、平均（ＴＲ，ＢＲ））と左上及び左下位置におけるセンサ６２２Ａ、６２２Ｃから取得された重み付けられた水平方向ベクトル（例えば、平均（ＴＬ，ＢＬ））とを組み合わせることにより組み合わされた水平視線ベクトルを生成し得る。各センサへ割り振られる重み付けは、計算の方向に垂直な軸に対するベクトルの斜度を推定することにより動的に判断され得、センサは斜度が低減されればより大きく重み付けられる。例えば、水平方向ベクトルを計算する際、斜度は垂直軸に対して計算される。
【0072】
[00101]したがって、センサ６２２Ｂ、６２２Ｄからの水平視線ベクトルは各センサの垂直軸に対する斜度に基づく重み付けとして組み合わされ得（平均（ｗＴＲ－Ｈ＊ＴＲ－Ｈ，ｗＢＲ－Ｈ＊ＢＲ－Ｈ））、センサ６２２Ａ、６２２Ｃからの水平視線ベクトルは各センサの垂直軸に対する斜度に基づく重み付けとして組み合わされ得る（平均（ｗＴＬ－Ｈ＊ＴＬ－Ｈ，ｗＢＬ－Ｈ＊ＢＬ－Ｈ））。いくつかの実施形態では、水平軸に沿って（例えば左及び右に）分解された組み合わせ視線ベクトルは他のパラメータ（水平軸における視線ベクトルの正味推定値を取得するためのセンサ位置など）に基づきさらに重み付け（例えば、重み付けＲ及び重み付けＬ）られ得る（例えば、水平運動＝平均（重み付けＲ＊平均（ｗＴＲ－Ｈ＊ＴＲ－Ｈ，ｗＢＲ－Ｈ＊ＢＲ－Ｈ），重み付けＬ＊平均（ｗＴＬ－Ｈ＊ＴＬ－Ｈ，ｗＢＬ－Ｈ＊ＢＬ－Ｈ））。場合によっては、重み付け係数は所定重み付け関数又は重み付け式に基づき判断され得る。図５Ｃは右眼センサに関連付けられた重み付けを判断する例示的重み付け関数を示す。場合によっては、重み付けられた視線角は、ユーザの焦点を正確に判断するために、校正された眼球運動信号として働き得る一方で、重み付け無し視線角は視線位置の粗い推定値として働き得る。いくつかの実施形態では、ＨＣＩデバイスは、視線追跡器に含まれるセンサから取得された信号を処理する総合解析を行うように構成され得る。換言すれば、センサからの信号は、集合体を形成するために連結され、そして各センサからの信号の適切な重み付けを使用する統合的アプローチを使用して処理され得る。例示的解析パイプラインは以下のものを含み得る：（１）１つ又は複数のフィルタシステム（例えばデュアルカルマンフィルタ又は任意の他の無遅延フィルタ）を介した、１つ又は複数の信号の好適な前処理、（２）信号の重大エポック（例えば刺激又はタグ点滅が続く又はそれと同時のエポック）で登録された事象を分類するＢａｙｅｓｉａｎ線形弁別分類器、（３）重み付けられた信号パッケージに関する空間フィルタ、（４）バッギングアンサンブル（bagging ensemble）分類器アルゴリズム、及び（５）選択精度を改善するために実験的タスク中に分類アルゴリズムからの情報とプログラムルーチンとを組み合わせる高次オラクルアルゴリズム。
【0073】
[00102]いくつかの実施形態では、ＨＣＩシステムは、視線追跡器の１つ又は複数のセンサから取得された眼球運動信号内の消失データ又は人工データが置換され補整され得るように、シミュレートされた眼球運動に基づく運動学モデルを生成し得る。運動学モデルは、眼の生体構造、視線追跡器の構成、頭位置などユーザに関係する情報、投影レンズのＵＩ／ＵＸプレゼンタとユーザの眼との間の距離、ユーザの眼の間隔、等々を含む情報を使用して生成され得る。いくつかの実施形態では、運動学モデルは、センサベースでセンサ内にシミュレートされたユーザ（実際のユーザを真似たユーザ）のシミュレートされた眼球運動信号を生成するように構成され得る。
【0074】
[00103]いくつかの実施形態では、ＨＣＩデバイスは、他のユーザからの統合データ又は以前のセッションにおける同じユーザから収集された眼球運動データのいずれかに基づき、又はユーザの眼球運動を真似るシミュレートされた眼球運動データから、ユーザの眼球運動の統計モデルを構築し得る。次に、ＨＣＩデバイスはユーザの予測眼球運動信号を生成するためのモデルを使用し得、このモデルは高速視線追跡を支援し得る。場合によっては、ＨＣＩデバイスは、所定時刻に眼球運動の特性（例えば、時刻Ｔｓにおける、継続中の眼球運動の運動量及び方向）を収集し、そして将来時点（例えばＴ＋ｔ秒、ここでＴ、ｔは時間間隔値であり得る）における視線位置又は眼球運動を予測するためにこれらの特性を使用し得る。ＨＣＩデバイスはまた、ユーザにより意図された行為を判断するために、ユーザの予測視線位置又は視線ベクトルを判断する際の追加精度のために運動学モデルを利用し得る。
【0075】
自動校正
[00104]本明細書において説明されるＨＣＩシステムのいくつかの実施形態では、ユーザの焦点を判断するために及び／又はユーザにとって興味のある標的刺激を判断するためにユーザの眼球運動信号を解析する処理は視線追跡器の正確な較正を含み得る。視線追跡器の較正は、以下に述べるように、１つ又は複数の増分的且つ独立的処理において行われ得る。場合によっては、較正は実施毎又はユーザ毎に自動的に行われ得る。
[00104]本明細書において説明されるＨＣＩシステムのいくつかの実施形態では、ユーザの焦点を判断するために及び／又はユーザにとって興味のある標的刺激を判断するためにユーザの眼球運動信号を解析する処理は視線追跡器の正確な較正を含み得る。視線追跡器の較正は、以下に述べるように、１つ又は複数の増分的且つ独立的処理において行われ得る。場合によっては、較正は実施毎又はユーザ毎に自動的に行われ得る。
【0076】
[00105]いくつかの実施形態では、較正は明白に行われ得る（すなわちユーザの明示的な知識により）。例えば、ＨＣＩシステムは、ユーザが教師付きやり方で所定期間の間凝視するように指示される所定較正点（例えば５～９点）を含む視線追跡器較正（例えば５～９点較正ルーチン）のために明示的に設計された刺激を生成し使用し得る。他のいくつかの実施形態では、自動校正は、ユーザの知識無しに潜在的（covert）に、したがって目立たないやり方で行われ得る。
【0077】
[00106]潜在的較正は、ユーザの注意及び焦点を捕捉する高尤度を有する（すなわち、ユーザに特定組の点を中心窩で捉えさせる可能性が最も高い）刺激を使用して行われ得る。例えば、ＵＩ／ＵＸは、ユーザが一組の点を中心窩で捉えることを要求される又は一組の点を中心窩で捉える可能性が高い刺激を含むように戦略的に設計され得る。図６は、ユーザが次のシーン又は環境へ進むためにドアにアクセスすることを要求されるＵＩ／ＵＸにおいて提示された仮想環境からの例示的画像を示す。ドア上の点（例えば、ドアを操作するために使用される点）はユーザ焦点を有する可能性が高い点を表す。したがって、ドア上の点は、（１）ユーザの眼球運動信号をより良く捕捉するために、そして（２）刺激を提示するためにＵＩ／ＵＸをより良く利用するために、視線追跡器及び／又はＨＣＩシステムを潜在的に較正するために使用され得る。同様に、オブジェクトの中心は、ユーザの注目を集める高尤度を有し得そして潜在的較正点として働き得る。
【0078】
[00107]別の例として、高い視覚的顕著性（視覚的特質）を含む視覚的刺激内のいくつかのエリアは眼球運動追跡の潜在的較正点として働き得る。顕著性（サリエンシー）は、ＵＩ／ＵＸを介し投影された視角シーン又は視覚像の創発特性であり得る。視覚的顕著性は、視覚的特性の差を有するオブジェクト及び／又は文脈的関連情報を含む高尤度を有するオブジェクトに帰し得る。ＨＣＩシステムは、潜在的較正において使用されるべき高い視覚的顕著性の点を判断するためにＵＩ／ＵＸに含まれる画像を解析するように構成され得る。図７Ａ、７Ｂは高い視覚的顕著性の点を判断するための例示的な一組の解析を示す。
【0079】
[00108]画像内の視覚的顕著性は高特質の点を予測するためにコンピュータ的にモデル化され得る（例えば２０１７年１月２４日に雑誌Nature Communicationsでホワイトらにより公開された科学刊行物：題名「上丘神経は自然な動画の自由視聴中に視覚的顕著性マップを符号化する：Superior colliculus neurons encode a visual saliency map during free viewing of natural dynamic video」において概説された手順など）。高特質のオブジェクトを含む視覚的刺激は較正における使用のために生成され得る。このような視覚的刺激はまた、リモートサーバから利用可能な既存データセット（様々な計算モデルからのラベル付き特質レベルを有するシーンを含む）からの例を使用して生成され得る。場合によっては、高特質オブジェクトを含む視覚刺激は、ＣＮＮを使用して特質モデルを組み合わせることにより生成され得る。
【0080】
[00109]いくつかの実施形態では、ＨＣＩシステムは明示的な較正ルーチンを使用し得る。高特質のこのようなオブジェクトは、鋭い端を有するエリア、鮮明な交差線又は面を有するエリア、高コントラストを有するエリア、又は運動を有するエリアを含むオブジェクト、又は文脈的関連情報を伝えるオブジェクトを含み得る。ユーザに高視覚的顕著性の点に焦点を合わせるように指図する一方で５又は９点などの顕在的較正アルゴリズムを使用する。いくつかの実施形態では、ＨＣＩシステムは、センサから取得された眼球運動信号を処理するためにカルマンフィルタを使用し得、そして、眼球運動信号を校正するために統計モデル又は運動学モデルに基づき、意図された眼球運動の理論的予測を使用し得る。いくつかの実施形態では、２つ以上の較正方法がユーザの焦点の判断を増分的に改善するために使用され得る。
【0081】
スケーリング及び値域定め
[00110]ＨＣＩシステムでは、ＵＩ／ＵＸプレゼンタ上に提示されるＵＩ／ＵＸを十分に利用しそしてユーザの焦点を正確に推定するために、ＵＩ／ＵＸは、ユーザの眼球運動を最良フィッティングするためにスケーリングされ、値域を定められ得る。ＨＣＩシステムの視線追跡器へ結合されたＨＣＩデバイスは、ユーザの眼球運動に目立たないやり方で適合するためにＵＩ／ＵＸを潜在的に自動的にスケーリングするとともに値域を定めるために一組の予めプログラムされた指示を実行するように構成され得る。例えば、いくつかの実施形態では、ＨＣＩデバイスは、ユーザに所定期間の間に広範囲の視覚的探索を行うように喚起する視覚刺激をＵＩ／ＵＸプレゼンタを介し生成し提示し得る。視線追跡器は、ユーザの焦点の境界を定める視線位置の軌道を形成する一連の眼球運動を捕捉し記録し、そしてこの眼球運動信号をＨＣＩデバイスへ伝える。図８Ａは、ＵＩ／ＵＸ８７１を見る際にユーザの視線又は焦点により追随された例示的軌道を示す。
[00110]ＨＣＩシステムでは、ＵＩ／ＵＸプレゼンタ上に提示されるＵＩ／ＵＸを十分に利用しそしてユーザの焦点を正確に推定するために、ＵＩ／ＵＸは、ユーザの眼球運動を最良フィッティングするためにスケーリングされ、値域を定められ得る。ＨＣＩシステムの視線追跡器へ結合されたＨＣＩデバイスは、ユーザの眼球運動に目立たないやり方で適合するためにＵＩ／ＵＸを潜在的に自動的にスケーリングするとともに値域を定めるために一組の予めプログラムされた指示を実行するように構成され得る。例えば、いくつかの実施形態では、ＨＣＩデバイスは、ユーザに所定期間の間に広範囲の視覚的探索を行うように喚起する視覚刺激をＵＩ／ＵＸプレゼンタを介し生成し提示し得る。視線追跡器は、ユーザの焦点の境界を定める視線位置の軌道を形成する一連の眼球運動を捕捉し記録し、そしてこの眼球運動信号をＨＣＩデバイスへ伝える。図８Ａは、ＵＩ／ＵＸ８７１を見る際にユーザの視線又は焦点により追随された例示的軌道を示す。
【0082】
[00111]ＨＣＩデバイスは、軌道マップがＵＩ／ＵＸプレゼンタのより良く定義されたエリア又は領域全体にわたるようにＵＩ／ＵＸをスケーリングし値域を定めるように構成され得る。一例として、ＨＣＩデバイスは、水平方向及び垂直方向に沿った軌道の最大値と最小値との差を判断するように構成され得る。ＨＣＩは、ＵＩ／ＵＸプレゼンタ（例えばＬＣＤディスプレイ）の表示解像度に関係する情報を取得し得る。２つの方向に沿った最大値及び最小値並びに解像度情報に基づき、ＨＣＩデバイスは、軌道がＵＩ／ＵＸを中心とするようにＵＩ／ＵＸを更新することにより、ユーザに利用可能なＵＩ／ＵＸのエリア内のいかなるバイアスも補正し得る。ＨＣＩデバイスはまた、軌道が、表示エリアを最良に利用するためにＵＩ／ＵＸの利用可能表面全体にまたがるように、ＵＩ／ＵＸをスケーリングし得る。図８Ａの軌道のスケーリングされ且つバイアス補正された軌道の例示的概略図が、更新されたＵＩ／ＵＸ８７１を介し図８Ｂに示される。
【0083】
[00112]場合によっては、スケーリングは図８Ａ、８Ｂに示すように線形関数を使用して行われ得る。いくつかの他の場合では、スケーリングは指数関数などの様々な非線形関数を使用して行われ得る。このような実施形態は、増加された視線角又は視線角の増加された偏心度と共に指数関数的に増加するバイアスが存在する事例下で特に有用かもしれない。スケーリング及び値域定め及びバイアスの補正は、眼球運動信号を捕捉して伝える視線追跡器へ結合されたセンサの配置及び位置決めを考慮して実行され得る。
【0084】
３次元での視線追跡の較正
[00113]先に説明したように、ＵＩ／ＵＸプレゼンタはユーザに３次元ＵＩ／ＵＸを提示し得、３次元空間におけるユーザの視線位置又は焦点は視線追跡を介し判断され得る。ＨＣＩシステムのいくつかの実施形態では、３次元空間における焦点を判断する精度は、好適に構成された刺激を使用して校正され得る。例えば、ユーザ（例えばユーザの眼）に対するＵＩ／ＵＸにおけるオブジェクトの位置決め及び運動の特性がユーザの視線追跡を校正するために使用され得る。３次元視線追跡に使用される１つの例示的特性は視差である。視差は、オブジェクトの位置又は方向が異なる位置から見ると異なるように見える効果である。したがって、ＨＣＩシステムでは、データは、ユーザの位置（例えば、ユーザの眼、頭及び／又は体の位置）に関し収集され、そして静止したＵＩ／ＵＸを見る際のユーザの運動を追跡するために使用され得る。代替的に、静止したユーザは可動式ＵＩ／ＵＸを提示され得る。
[00113]先に説明したように、ＵＩ／ＵＸプレゼンタはユーザに３次元ＵＩ／ＵＸを提示し得、３次元空間におけるユーザの視線位置又は焦点は視線追跡を介し判断され得る。ＨＣＩシステムのいくつかの実施形態では、３次元空間における焦点を判断する精度は、好適に構成された刺激を使用して校正され得る。例えば、ユーザ（例えばユーザの眼）に対するＵＩ／ＵＸにおけるオブジェクトの位置決め及び運動の特性がユーザの視線追跡を校正するために使用され得る。３次元視線追跡に使用される１つの例示的特性は視差である。視差は、オブジェクトの位置又は方向が異なる位置から見ると異なるように見える効果である。したがって、ＨＣＩシステムでは、データは、ユーザの位置（例えば、ユーザの眼、頭及び／又は体の位置）に関し収集され、そして静止したＵＩ／ＵＸを見る際のユーザの運動を追跡するために使用され得る。代替的に、静止したユーザは可動式ＵＩ／ＵＸを提示され得る。
【0085】
[00114]ＵＩ／ＵＸにおけるオブジェクトの予測位置は、ユーザと提示されたＵＩ／ＵＸとの間隔に関係する既知情報から計算され得る。予測位置情報から、予測視線角及び視線位置がユーザの予測焦点を判断するために計算され得る。視線追跡器からの眼球運動信号は、ＵＩ／ＵＸの３次元空間におけるユーザの実際の視線位置又は焦点を判断するために、本明細書において説明されるように、取得され処理され得る。３次元空間における実際の焦点は、誤差の測度を計算するために予測焦点と比較され得る。次に、計算された実際の焦点は、校正された眼球運動信号及び／又は校正された実際の焦点を生成するために、好適な補正手順を眼球運動信号へ及び／又は眼球運動信号から計算された視線ベクトルへ適用することにより補正され得る。
【0086】
[00115]いくつかの実施形態では、ユーザは円滑追跡眼球運動（断続性眼球運動とは異なる）を生成し得る。円滑追跡眼球運動はユーザが移動刺激を追跡し追随する際に又はユーザが動いているときに静止刺激を追跡する際に生成される。ユーザは、ＵＩ／ＵＸの３次元空間内の異なる深度のオブジェクトに対し異なる相対運動を有すると予測される。ＵＩ／ＵＸ９７１における例示的３次元刺激が図９に示され、ここでは、ユーザは、少なくとも３つの異なる深度：前景（木々のライン）、中景（都市風景）、及び背景（遠い水平）、におけるオブジェクトに対して移動する車中にいるとしてシミュレートされる。車が矢印により指示される方向に移動すると、３つの深度の既知固定点が３つの異なる相対速度で降順に移動すると予測される。様々な深度における既知オブジェクト又は点とユーザとの予測相対速度が、眼球運動信号から計算される実際の相対速度と比較され得る。誤差の測度がこの比較に基づき計算され得、補正測度が、上述のように眼球運動信号及び／又は焦点判断を校正するために使用され得る。
【0087】
視線追跡の較正のために神経信号を使用すること
[00116]ＨＣＩデバイスは、本明細書において説明されるように、神経記録デバイスを介し収集された神経信号を受信し処理するように構成され得る。いくつかの実施形態では、神経信号は、視線追跡器から受信された眼球運動信号に基づき眼球運動追跡を校正するために使用され得る。例えば、ＵＩ／ＵＸはＵＩ／ＵＸプレゼンタ上の特定位置において特定の所定刺激を提示するように構成され得る。様々な形式の神経信号が、視覚刺激の提示の時にユーザの焦点の二次推定値を判断するために使用され得る。例えば、定常状態ＶＥＰを含む視覚誘発電位ＶＥＰ（ＶＥＰ：visually evoked potential）が焦点の二次推定値を判断するために使用され得る。いくつかの実施形態では、事象関連電位（ＥＲＰ：event related potential）のような神経信号（Ｐ３００信号など）が、記録された神経信号において検出され得、そして焦点の二次推定値を判断するために刺激提示により確証され得る。いくつかの実施形態では、二次推定値は、視線追跡器から取得された眼球運動信号に基づく焦点判断を標的方向に軽く押すために使用され得る。図１０は、数字５がＵＩ／ＵＸ１０７１においてＥＲＰ（例えばＰ３００信号）を生成すると予測される例示的実施形態を示す。視線追跡器から取得された眼球運動信号から判断された焦点は、赤色マーカにより指示される（数字５に対してオフ位置に在ることが示される）。ＨＣＩデバイスは、神経記録デバイスから神経信号を受信し、処理し、そして神経信号（例えばＥＥＧ信号）内のＰ３００信号を検出し得る。検出されたＰ３００信号に基づき、焦点の二次推定が数字５の位置に在ると判断される（橙色マーカにより指示される）。ＨＣＩデバイスは、誤差の測度及び橙色ベクトルにより指示される補正ズレを計算するために、眼球運動信号から計算された焦点（赤色マーカ）と焦点の二次推定（橙色マーカ）とを比較するように構成され得る。眼球運動信号は補正ズレベクトルに基づき自動的に校正され得る。
[00116]ＨＣＩデバイスは、本明細書において説明されるように、神経記録デバイスを介し収集された神経信号を受信し処理するように構成され得る。いくつかの実施形態では、神経信号は、視線追跡器から受信された眼球運動信号に基づき眼球運動追跡を校正するために使用され得る。例えば、ＵＩ／ＵＸはＵＩ／ＵＸプレゼンタ上の特定位置において特定の所定刺激を提示するように構成され得る。様々な形式の神経信号が、視覚刺激の提示の時にユーザの焦点の二次推定値を判断するために使用され得る。例えば、定常状態ＶＥＰを含む視覚誘発電位ＶＥＰ（ＶＥＰ：visually evoked potential）が焦点の二次推定値を判断するために使用され得る。いくつかの実施形態では、事象関連電位（ＥＲＰ：event related potential）のような神経信号（Ｐ３００信号など）が、記録された神経信号において検出され得、そして焦点の二次推定値を判断するために刺激提示により確証され得る。いくつかの実施形態では、二次推定値は、視線追跡器から取得された眼球運動信号に基づく焦点判断を標的方向に軽く押すために使用され得る。図１０は、数字５がＵＩ／ＵＸ１０７１においてＥＲＰ（例えばＰ３００信号）を生成すると予測される例示的実施形態を示す。視線追跡器から取得された眼球運動信号から判断された焦点は、赤色マーカにより指示される（数字５に対してオフ位置に在ることが示される）。ＨＣＩデバイスは、神経記録デバイスから神経信号を受信し、処理し、そして神経信号（例えばＥＥＧ信号）内のＰ３００信号を検出し得る。検出されたＰ３００信号に基づき、焦点の二次推定が数字５の位置に在ると判断される（橙色マーカにより指示される）。ＨＣＩデバイスは、誤差の測度及び橙色ベクトルにより指示される補正ズレを計算するために、眼球運動信号から計算された焦点（赤色マーカ）と焦点の二次推定（橙色マーカ）とを比較するように構成され得る。眼球運動信号は補正ズレベクトルに基づき自動的に校正され得る。
【0088】
視線運動分類器
[00117]いくつかの実施形態では、ＨＣＩデバイスは眼球運動分類器を使用して眼球運動信号を処理するように構成され得る。教師付き、教師無し、及び半教師付きクラスタリング方法及び分類方法を含む任意の好適な分類器がユーザの視線を分類するために使用され得る。線形分類器、ロジスティックス回帰（logistic regression）に訴える方法、線形判別分析に訴える方法、サポートベクトルマシンに訴える方法、及び他の好適な機械学習ツールに訴える方法などの分類器が、眼球運動を、断続性（サッケード）運動、非断続性運動、平滑追跡運動、微小断続性運動などのようなクラスに分類するために使用され得る。例えば、いくつかの実施形態では、眼球運動分類システムは半教師付き学習手法を使用し得、ここでは、断続性及び非断続性眼球運動のラベルがＫ平均クラスタリングのような手順を使用して生成され得る。クラスタはサポートベクトルマシン内へ送られ得る。
[00117]いくつかの実施形態では、ＨＣＩデバイスは眼球運動分類器を使用して眼球運動信号を処理するように構成され得る。教師付き、教師無し、及び半教師付きクラスタリング方法及び分類方法を含む任意の好適な分類器がユーザの視線を分類するために使用され得る。線形分類器、ロジスティックス回帰（logistic regression）に訴える方法、線形判別分析に訴える方法、サポートベクトルマシンに訴える方法、及び他の好適な機械学習ツールに訴える方法などの分類器が、眼球運動を、断続性（サッケード）運動、非断続性運動、平滑追跡運動、微小断続性運動などのようなクラスに分類するために使用され得る。例えば、いくつかの実施形態では、眼球運動分類システムは半教師付き学習手法を使用し得、ここでは、断続性及び非断続性眼球運動のラベルがＫ平均クラスタリングのような手順を使用して生成され得る。クラスタはサポートベクトルマシン内へ送られ得る。
【0089】
[00118]場合によっては、断続性及び非断続性運動のクラスタは本来、非円形、非球形、又は非卵形であり得る。このような場合、Ｋ平均クラスタリングは誤分類を生じ得る。このような場合、Density Based Spatial Clustering of Applications with Noise（ＤＢＳＣＡＮ）などの密度ベース空間クラスタリング方法が使用され得る。いくつかの実施形態では、様々なクラスタの密度は不均等であり得、不均等密度はＤＢＳＣＡＮ手順を使用する効果的分類を妨げ得る。不均等密度を有する様々なクラスの眼球運動信号のサンプルを有する例示的クラスタが図１１Ａにおける概略図に示され、クラスタ１はクラスタ２より低密度のサンプルを有する。低密度のサンプルを有するクラスタは本明細書において説明されるようにアップサンプリングされ得る。例えば、眼球運動信号の既存データセット（例えば図１１Ｃに示す眼球運動信号の分布を含むデータセット）が取り出され得る。既存データセット内の一組のサンプル眼球運動信号が、所定距離メトリック「ｄ」を使用して選択され評価され得る、距離メトリック「ｄ」は、眼球運動信号の分類において重要であると思われる一組の特徴に基づき定義され得る。距離メトリックに基づく測度が低密度を有するクラスタ２に近い一組のサンプル眼球運動信号が、図１１Ｂに示すような同程度密度のクラスタを生成するために、密度性に欠けるクラスタをアップサンプリングするために使用され得、これに続いて、ＤＢＳＣＡＮのような手順が眼球運動信号を分類するために効果的に使用され得る。サンプルを選択し、距離メトリックを定義し、アップサンプリングし、分類する処理は、反復によりますます良くなる結果を達成するために反復的に行われ得る。ＤＢＳＣＡＮは、クラスタの数の手入力仕様を必要としなく、したがって、このシステムはまた、スプリアストレーニング雑音（これは、２クラスタＫ平均システムにおいて、最も近いクラスタの重心をずらす外れ値になる）に対して頑強であり得る。ＤＢＳＣＡＮクラスタは、さらなる処理のためにＳＶＭ眼球運動分類器内へ送信される盲検試験に使用され得る。新しい点を予め規定されたクラスタへ割り当てることが効率的やり方で容易に実行され得ない場合、トレーニングされたクラスタの表現が将来の分類ニーズにおける使用のために格納され得る。例えば、トレーニングされたクラスタは中心及び外周を有するｎ次元凸包又はポイントクラウドとして定義され得、クラスタ内の新しい点は、クラスタの凸包までの又はクラスタ中心及び外周までの最短距離に基づき割り当てられ得る。
【0090】
視線追跡性能のベンチマーキング
[00119]ＨＣＩシステムのいくつかの実施形態では、ＨＣＩデバイスは、眼球運動追跡の精度を評価するために内蔵ベンチマーキングシステムを実装し得る。ベンチマーキングツールは、ユーザの視線位置又は焦点の推定の誤差を計算するように構成された特別に設計された刺激を含み得る。図１２Ａ、１２Ｂは、一実施態様によるＨＣＩシステムにおいて使用される例示的ベンチマーキングツール１２８５内の例示的インターフェース１２７１を示す。図１２Ａ、１２Ｂにおける例は、点又はオブジェクト１２８０のグリッドにより指示されるデバッググリッドを含む。オブジェクトのグリッドは２次元空間又は３次元空間において定義され得る。グリッド内のオブジェクト１２８０の特性は必要に応じて独立に定義され得る。例えば、オブジェクトの密度、オブジェクトの間隔、オブジェクトのサイズ及び形状のような特性がＨＣＩシステムのオペレータの要件に従って定義され得る。ベンチマーキングツール１２８５は、オブジェクトの特性及びグリッドを変更するために一組の制御を含み得、オペレータが視線追跡を評価する間の使用中に特性を動的に修正するための一組の表示制御を提供し得る。
[00119]ＨＣＩシステムのいくつかの実施形態では、ＨＣＩデバイスは、眼球運動追跡の精度を評価するために内蔵ベンチマーキングシステムを実装し得る。ベンチマーキングツールは、ユーザの視線位置又は焦点の推定の誤差を計算するように構成された特別に設計された刺激を含み得る。図１２Ａ、１２Ｂは、一実施態様によるＨＣＩシステムにおいて使用される例示的ベンチマーキングツール１２８５内の例示的インターフェース１２７１を示す。図１２Ａ、１２Ｂにおける例は、点又はオブジェクト１２８０のグリッドにより指示されるデバッググリッドを含む。オブジェクトのグリッドは２次元空間又は３次元空間において定義され得る。グリッド内のオブジェクト１２８０の特性は必要に応じて独立に定義され得る。例えば、オブジェクトの密度、オブジェクトの間隔、オブジェクトのサイズ及び形状のような特性がＨＣＩシステムのオペレータの要件に従って定義され得る。ベンチマーキングツール１２８５は、オブジェクトの特性及びグリッドを変更するために一組の制御を含み得、オペレータが視線追跡を評価する間の使用中に特性を動的に修正するための一組の表示制御を提供し得る。
【0091】
[00120]ユーザは、図１２Ａに示すように、標的などの視覚的又はグラフィック指示子を使用することによりグリッド内の一組のオブジェクトから１つの選択されたオブジェクト（斜線円）に焦点を合わすように導かれ得る。選択されたオブジェクトの予測位置が記録される。ユーザの視線位置又は焦点は、本明細書に説明されるように視線追跡器から取得された眼球運動信号を使用して計算され得る。標的物体の予測位置とユーザの視線位置又は焦点の計算された位置とが誤差の測度を判断するために比較され得る。本処理はグリッド内のいくつかの又はすべての点又はオブジェクトに関し反復され得る。誤差の測度から、信頼性の測度が標的オブジェクトの空間位置に応じて計算され得る。信頼性の例示的空間マップが、図１２Ｂに示され、ＵＩ／ＵＸプレゼンタの左下部分内の視線追跡のより高い信頼性を示す。信頼性の空間マップは、視線追跡器に関連付けられた誤差のマージンを計算するためにＨＣＩデバイスにより使用され得る。空間マップは、ユーザが焦点を合わせようとするＵＩ／ＵＸプレゼンタの部分に基づき眼球運動信号をモデル化及び／又は校正するために使用され得る。例えば、空間マップは、当該信頼性は眼がＵＩ／ＵＸの中心から離れると低下するということを明らかにし得、したがって、眼球運動信号は、較正ずれのますますの増加、偏心度の増加、又は中心から離れる距離の増加と共に、適切に補正され得る。
【0092】
オブジェクトとの視線追跡ユーザ相互作用
[00121]ＨＣＩシステムのいくつかの実施形態では、ＵＩ／ＵＸにおいて提示される刺激又はオブジェクトとのユーザ相互作用の正確且つ高速な計算がＨＣＩシステムの効果的機能に必要である。いくつかの実施形態では、ユーザへ提示されるＵＩ／ＵＸは、３次元空間において位置決めされたオブジェクトを有する３次元環境を含み得る。このようないくつかの実施形態では、３次元空間内の特定オブジェクトとのユーザの相互作用はレイトレーシング（ray-tracing）又はレイキャスティング（ray casting）と呼ばれる処理により判断される。レイトレーシングは、像面内の画素に沿ったユーザの眼からの光路又は視経路を追跡することにより画像を生成するとともに仮想オブジェクトとの遭遇の影響をシミュレートするための描画技術である。レイキャスティングは、カメラを介しそしてＵＩ／ＵＸにおけるすべてのオブジェクトとの予測交差点を介し画素として光束を形成するために、光路又はユーザの視線角に追随することにより実施される。これに続いて、最も近い交差点からの画素値が、取得され、そして投影のためのベースとしてさらに設定される。レイキャスティングは、二次光束を再帰的に追跡しないであろう描画アルゴリズムである一方でレイトレーシングはそうすることができるという点でレイトレーシングとは異なり得る。
[00121]ＨＣＩシステムのいくつかの実施形態では、ＵＩ／ＵＸにおいて提示される刺激又はオブジェクトとのユーザ相互作用の正確且つ高速な計算がＨＣＩシステムの効果的機能に必要である。いくつかの実施形態では、ユーザへ提示されるＵＩ／ＵＸは、３次元空間において位置決めされたオブジェクトを有する３次元環境を含み得る。このようないくつかの実施形態では、３次元空間内の特定オブジェクトとのユーザの相互作用はレイトレーシング（ray-tracing）又はレイキャスティング（ray casting）と呼ばれる処理により判断される。レイトレーシングは、像面内の画素に沿ったユーザの眼からの光路又は視経路を追跡することにより画像を生成するとともに仮想オブジェクトとの遭遇の影響をシミュレートするための描画技術である。レイキャスティングは、カメラを介しそしてＵＩ／ＵＸにおけるすべてのオブジェクトとの予測交差点を介し画素として光束を形成するために、光路又はユーザの視線角に追随することにより実施される。これに続いて、最も近い交差点からの画素値が、取得され、そして投影のためのベースとしてさらに設定される。レイキャスティングは、二次光束を再帰的に追跡しないであろう描画アルゴリズムである一方でレイトレーシングはそうすることができるという点でレイトレーシングとは異なり得る。
【0093】
[00122]しかし、いくつかの実施形態では、レイトレーシング及びレイキャスティングの両方は計算集約的及び／又は時間消費的であり得る、このような実施形態では、ＵＩ／ＵＸが、３次元的に位置決めされたオブジェクトを有する３次元空間を含めば、ＨＣＩデバイスは、ＵＩ／ＵＸの３Ｄ空間におけるオブジェクトの２Ｄ投影を使用することにより、本明細書において説明されるように、改善されたユーザ／オブジェクト相互作用手順を実施し得る。改善されたユーザ／オブジェクト相互作用手順は、衝突まで３Ｄレイトレーシングよりはるかに計算効率的であるとともに被験者がオブジェクトを凝視するやり方に対しより頑強であるやり方でユーザの視線相互作用を計算し得、そしてオブジェクトの形状及びサイズのオペレータの知識を活用し得る。
【0094】
[00123]改善されたユーザ／オブジェクト相互作用手順を実施するために、ＨＣＩシステムはユーザの頭の位置を追跡するための頭部追跡デバイスを含み得る。ＨＣＩシステムはさらに、ユーザの眼から追跡対象頭基準点までの距離の測定結果を取得し得る。いくつかの実施形態では、ＨＣＩシステムは、原点と共に物理座標系を定義し、そしてユーザに関する物理座標系に関係する情報を取得し得る。仮想環境又は拡張環境を実現する際、ＨＣＩシステムは、既知のスケーリング係数を使用することによりＶＲ又はＡＲ環境を仮想座標系から物理座標系へ変換するように構成され得る。いくつかの実施形態では、ＶＲ／ＡＲ環境の物理座標系上へのマッピングは、ＵＩ／ＵＸをユーザへ投影する際に使用される変換行列及び投影行列を描画することに関係する情報を使用することを含み得、そして、投影レンズを介し投影する際のレンズ歪みなど投影中に発生する任意の歪み又は視覚効果に関係する情報を含み得る。
【0095】
[00124]改善されたユーザ／オブジェクト相互作用手順では、ユーザの単一視線点が、眼の面と平行であり且つユーザの頭の前の選択面と双眼３Ｄ視線ベクトルとの交差点を計算することにより推定される。便利な２Ｄ空間上へのこの選択された面の２Ｄ投影が計算される。例えば、図１３は３次元室内の一組の３次元オブジェクトを示す。部屋の正面により近い面が、ユーザの眼の前に在り且つユーザの眼の面と平行となるように選択され得る。３次元空間内の様々な深度に在り得るオブジェクトのそれぞれが、この選択された面上へ投影され得る。いくつかの実施形態では、選択された２Ｄ面は、ユーザにより見られるＶＲ／ＡＲシーンを表す３Ｄ投影錐台のクリッピング面近くに在り得る。いくつかの実施形態では、クリッピング面（すなわち、ユーザの眼の中間点から離れた位置の面）は現実世界３Ｄ設定へ一般化可能であり得る。
【0096】
[00125]各相互作用可能３Ｄオブジェクトが評価され得、その中心は２Ｄ面上へ投影される。場合によっては、ＨＣＩデバイスは、単純オブジェクトとしてオブジェクトの２Ｄ投影の境界（例えば円、楕円又は矩形）を計算する。これらの境界は、柔軟であり、したがってシーンレイアウト及び視線追跡器雑音に基づき拡大又は縮小され得る。図１３の概略図は、例示的シーン内のオブジェクトの各オブジェクトの周囲の例示的円状境界を示す。次に、ＨＣＩデバイスは、ユーザの視線が特定オブジェクトの上に在るかどうかとすべてのオブジェクトまでのその距離とを、３Ｄレイトレーシングと比較してコンピュータ的に効率的で正確なやり方で計算する。例えば、ＨＣＩデバイスは、ユーザの視線位置又は焦点とオブジェクトの投影画像とのオーバーラップの測度を計算する。場合によっては、ＨＣＩは、ユーザの視線位置とオブジェクトの投影の境界とのオーバーラップの測度に基づきユーザ相互作用を判断する。場合によっては、ユーザ相互作用は、眼球運動信号から計算されたユーザの視線位置と選択された２Ｄ面上のオブジェクトの投影画像の中心又は周囲との間の距離測度に基づき判断され得る。
【0097】
[00126]いくつかの実施形態では、３Ｄオブジェクトとのユーザ相互作用は、ＨＣＩデバイスが相互作用可能な３Ｄオブジェクトの各３Ｄオブジェクト上の３次元分布点のサンプルを識別しそして識別された点を、ユーザの視線位置が在り得る選択された２Ｄ面上へ投影することにより実行される。識別された点は、例えば図１４Ａのオブジェクト上にオーバーレイされた黒点により示されるように、境界体積の頂点、又はオブジェクトモデルの頂点の間引きされた集合を含み得る。次に、各オブジェクトのサンプリングされた点の２Ｄ投影が、オブジェクトのユーザの視界に対応する２次元面上へのオブジェクトの投影の凸包を計算するために使用される。
【0098】
[00127]いくつかの実施形態では、ＨＣＩデバイスは、ユーザの視線がオブジェクト上にあるかどうか又は視線が最近傍オブジェクトの凸包の縁までどれくらい離れているかを判断するために計算幾何学技術を適用し得る。計算される凸包は、点の数、点間隔などのような所定パラメータに基づき定義され得る。ＨＣＩデバイスは、凸包の計算を定義するパラメータを修正するために一組の制御を生成及び表示し、そして柔軟となり且つ様々なＵＩ／ＵＸ環境へカスタム化されるようにパラメータを動的に変更するための制御をＨＣＩシステムのオペレータへ提示し得る。例えば、凸包は、図１４Ｂに示された例に示すようにシーンレイアウト及び視線追跡器雑音に基づき拡大又は縮小され得る。
【0099】
[00128]サンプリングされた点を含む凸包又は単純な２Ｄオブジェクト表現のいずれかを使用することにより、ＨＣＩデバイスは、ユーザが相互作用しているシーン内の活性可視オブジェクトの密度及びそれらの境界に基づきオブジェクトの２Ｄ投影の境界を拡大又は縮小し得る。本手順又はアルゴリズムにより使用される正確なスケーリングは利用可能データセットから体験的に導出され得る。
【0100】
[00129]加えて、ユーザの視線までの距離に基づき相互作用可能オブジェクトをスコア付けするために使用される任意の非線形スケーリング（例えば指数関数的スケーリング）パラメータ（本明細書において説明される）がまた、活性シーン内の相互作用可能オブジェクト間の平均距離に基づき動的に調整され得る（例えば、オペレータによりリアルタイムで調整され得る）。
【0101】
意図された標的オブジェクトを識別するための相互作用可能オブジェクトのスコア付け
[00130]いくつかの実施形態では、ＨＣＩシステムは、刺激として一組の選択肢を提示するように、そしてユーザの挙動を指示するユーザから記録された信号（例えば眼球運動信号又は神経信号）から、行為を開始又は仲介し得る１つの特定刺激を選択するユーザの意図を復号化するように構成される。ユーザへ提示される一組の刺激は、そのうちの特定の１つのオブジェクトがユーザにとって興味ある一組の相互作用可能オブジェクト（タグとも呼ばれる）であり得る。興味のあるこのオブジェクトは標的オブジェクトと呼ばれ得る。したがって、別の言い方をすると、このようなＨＣＩシステムの１つのゴールは、ユーザへ提示される一組の利用可能な相互作用可能又は可視オブジェクトから標的オブジェクトの識別子をある程度の精度及び信頼性で識別することであり得る。標的オブジェクトの識別子の処理は、「特定オブジェクトが提示される」以前の尤度、特定オブジェクトがシグネチャ脳活動応答を喚起し得る尤度等々のようないくつかの情報源を取り込み得る。本明細書において説明されるＨＣＩシステム（例えばＨＣＩシステム１００、２００、３００、１２００、１３００）は、一組の相互作用可能オブジェクトのユーザへの提示を実現するために任意の好適な手順を使用し得、そしてユーザにより選択されるべき意図された標的オブジェクトを識別するための任意の好適な手順を実施し得、これらの手順は、その全体を参照により本明細書に援用する‘８４６出願に記載のものとほぼ同様であり得る。
[00130]いくつかの実施形態では、ＨＣＩシステムは、刺激として一組の選択肢を提示するように、そしてユーザの挙動を指示するユーザから記録された信号（例えば眼球運動信号又は神経信号）から、行為を開始又は仲介し得る１つの特定刺激を選択するユーザの意図を復号化するように構成される。ユーザへ提示される一組の刺激は、そのうちの特定の１つのオブジェクトがユーザにとって興味ある一組の相互作用可能オブジェクト（タグとも呼ばれる）であり得る。興味のあるこのオブジェクトは標的オブジェクトと呼ばれ得る。したがって、別の言い方をすると、このようなＨＣＩシステムの１つのゴールは、ユーザへ提示される一組の利用可能な相互作用可能又は可視オブジェクトから標的オブジェクトの識別子をある程度の精度及び信頼性で識別することであり得る。標的オブジェクトの識別子の処理は、「特定オブジェクトが提示される」以前の尤度、特定オブジェクトがシグネチャ脳活動応答を喚起し得る尤度等々のようないくつかの情報源を取り込み得る。本明細書において説明されるＨＣＩシステム（例えばＨＣＩシステム１００、２００、３００、１２００、１３００）は、一組の相互作用可能オブジェクトのユーザへの提示を実現するために任意の好適な手順を使用し得、そしてユーザにより選択されるべき意図された標的オブジェクトを識別するための任意の好適な手順を実施し得、これらの手順は、その全体を参照により本明細書に援用する‘８４６出願に記載のものとほぼ同様であり得る。
【0102】
[00131]図１５は、一組の相互作用可能オブジェクトをユーザへ提示するＨＣＩシステム（本明細書において説明されるＨＣＩシステムと同様な）であって、意図された行為を引き起こし得るオブジェクトをユーザが選択することを可能にするＨＣＩシステムを実現する処理１５５０を概説するフローチャートを示す。本処理１５５０は本明細書において説明される処理３５０及び／又は上に参照された‘８４６出願に記載された処理と同じ又はほぼ同様であり得る。本処理１５５０は、選択するとそれぞれが１つ又は複数の行為へリンクされる１つ又は複数の相互作用可能オブジェクトを含む刺激をＨＣＩシステムのユーザへ提示する工程１５０１を含む。処理１５５０の１５０３では、ユーザの挙動に関係する信号が記録される。例えば、神経信号及び／又は眼球運動信号が神経記録デバイス及び視線追跡器を介し記録される。１５０５では、取得された信号が処理され解析される。例えば、これらの信号は眼球運動又は認識状態などのユーザ挙動を指示する特徴を抽出するために解析され得る。眼球運動信号及び／又は神経信号はユーザの視線位置を計算するために解析され得る。視線ベクトル及び視線角がユーザの焦点を判断するために計算され得る。相互作用可能オブジェクトとのユーザ相互作用を計算する手順は本明細書において説明されるように実行され得る。別の例として、神経信号はユーザ意図を検出するために解析され得る。１５０７では、好適な統計モデル又は解析ツールが、信号内のエポック（例えば眼球運動信号内の断続性エポック、神経信号内のシグネチャ事象関連電位など）を分類、ラベル付け及び／又は識別するために使用され得る。解析された信号のエポックは解析された信号を評価し分類するためのスコアを割り当てられ得る。
【0103】
[00132]１５０９において、ＵＩ／ＵＸを介しユーザに利用可能な各相互作用可能オブジェクトは、識別、ラベル付け及び／又は解析された信号に基づきスコア付けされる。尤度に対応するように構成された相互作用可能オブジェクトに関連付けられたスコアは、取得され処理された信号に基づき、オブジェクトがユーザにとって興味のある標的オブジェクトであるということを推定する。スコアは、オブジェクト及びそれらの関連スコアを列挙することによりスコア表を形成するために、１つ又は複数の好適なスコア付け方式を使用して、解析された信号に基づき、オブジェクトに割り当てられ得る又は関連付けられ得る。別個のスコア表が、各相互作用可能オブジェクトを、ＨＣＩシステムに利用可能な情報の様々なストリームに基づき、興味のある物体であるという尤度に関しスコア付けするために生成され得る。例えば、ＨＣＩシステムは、眼球運動信号の解析に基づくオブジェクトの別個のスコア表（例えば視覚スコア表）、神経信号の解析から生成される別個のスコア表（例えば神経スコア表）、刺激の提示に関する利用可能情報に基づく別個のスコア表（例えば距離スコア表）、及びユーザの視線相互作用に基づく別個のスコア表（例えば相互作用スコア表）などを生成し得る。場合によっては、１又は複数の表が任意の好適な段階において解析を組み合わせることにより纏められ得る。例えば、眼球運動信号及びユーザ相互作用は、図１６を参照して以下にさらに詳細に説明されるように、組み合わされた視覚スコア表を生成するために一緒に解析され得る。１５１１では、様々なスコア表がマスタースコア表を生成するために組み合わされる。１５１３では、最高スコア（すなわち標的オブジェクトである最高尤度）を有するオブジェクトが識別され戻される。場合によっては、ＨＣＩシステムは識別されたオブジェクトを再び提示することによりユーザから検証を求め得る。場合によっては、識別された標的オブジェクトに関連付けられた行為がＨＣＩシステムにより実行又は実施される。
【0104】
[00133]図１６は、眼球運動信号及びユーザ相互作用に基づきスコアを計算して例示的視覚スコア表を生成するためにＨＣＩシステムのいくつかの実施形態において使用される例示的手順１６５０を描写する概略フローチャートを示す。この例示的方法では、ユーザは、図１６の例示的ＵＩ／ＵＸ１６７１における５つの番号付き菱形により示される５つの相互作用可能オブジェクトを含む刺激を提示され得る。一例として、オブジェクト１がユーザにとって興味があり得る。ユーザが刺激を見る又は体験すると、神経信号がＨＣＩシステムにより眼球運動信号と共に取得される。神経信号内のＥＥＧ信号は、興味ある標的オブジェクトを選択することに関係する意思決定の選択を行うユーザに対応し得るエポックを識別するために解析される。
【0105】
[00134]１６０１では、ＥＥＧ信号内の識別されたエポックに対応する視線追跡又は眼球運動信号が取得される。１６０３では、眼球運動信号は例えばカルマンフィルタ手順を使用して処理される。１６０５では、処理された眼球運動信号は、さらに解析するために又はアーチファクト又は望ましくない情報を除去するためのいずれかのために使用され得る特徴検出手順を使用してさらに解析される。例えば、処理された眼球運動信号は、微小断続性眼球運動すなわち瞬きを指示する部分を検出しこのような部分を除去するために解析され得る。
【0106】
[00135]１６０７では、利用可能相互作用可能オブジェクトの相対的及び／又は絶対的位置が計算される。例えば、ＵＩ／ＵＸの３次元空間は、図１３、１４Ａ、１４Ｂを参照して上に説明したように２次元面又は２次元座標空間上へマッピングされる。１６０９では、平均視線ベクトルが、ユーザの視線角を判断するために眼球運動信号に基づき計算される。場合によっては、２次元座標空間上のユーザの視線位置が、２次元投影面の場所に関係する知識を使用して計算され得る。場合によっては、刺激は複数回提示され得、視線角又は視線位置は、平均値を取得するために、反復された提示に毎に計算され得る。
【0107】
[00136]１６１１では、各相互作用可能オブジェクトの周囲の曖昧な境界に対する視線角が計算される。いくつかの実施形態では、曖昧な境界情報は、取得される眼球運動信号内の雑音の考慮を含み得る。いくつかの実施形態では、境界は、各相互作用可能オブジェクトの凸包に関して定義された境界又はオブジェクトの２Ｄ投影を表す単純オブジェクト（例えば円又は楕円）により定義された境界により部分的に判断され得る。
【0108】
[00137]１６１３では、視力モデルが、ユーザの視線と相互作用可能オブジェクトの境界との相互作用の計算へ適用され得る。１６１５では、各相互作用可能オブジェクトは、オブジェクトがユーザにとって興味のある標的オブジェクトであるという尤度を計算するために、好適なスコア付け方式（例えば－１００～１００のスケールの）を使用してスコア付けされる。いくつかの実施形態では、ＨＣＩシステムは、予測視線ベクトルを生成するために眼球運動運動学、人間の眼の生体構造、及び／又はユーザの眼球運動に関する情報を使用する視力モデルを含み得る。場合によっては、スコアは、生物学的に導出された視力モデルの変換に基づき得る。場合によっては、視力モデルは、例えば偏心の増加に伴う視力の指数関数的低下を取り込むために指数関数的スケーリングモデルに基づき得る。
ＨＣＩシステムは、利用可能な他のユーザデータ（例えば、ユーザの眼間隔、視線追跡器の製造者及びモデル等々）と併せて視力モデルから予測視角を取り込むみ得る。
ＨＣＩシステムは、利用可能な他のユーザデータ（例えば、ユーザの眼間隔、視線追跡器の製造者及びモデル等々）と併せて視力モデルから予測視角を取り込むみ得る。
【0109】
[00138]１６１７では、スコア表は、ユーザに利用可能な相互作用可能オブジェクトと興味ある標的オブジェクトであるというその尤度を指示する各相互作用可能オブジェクトの関連スコアとのリストを含むように生成又は更新される。視覚スコア表は、視力モデル及び断続性眼球運動信号からの結果、相互作用可能オブジェクトとのユーザ相互作用、及び解析される視線ベクトルの組み合わせを使用して生成され得、視覚スコア表は、計算された視線ベクトルに対するその近接性に基づき各相互作用可能オブジェクトへ割り当てられた眼球運動スコアにより生成され得る。図１５に示すように、スコアｖ１、ｖ２、ｖ３などを有する視覚スコア表が、先に説明されたマスタースコアを更新するために使用され得る。
【0110】
[00139]例示的処理１６５０は、１６０１において神経信号を使用することを説明するが、場合によっては、これは、記録された時間フレーム全体から眼球運動信号を解析するために省略され得る。
【0111】
一体化された視線追跡器を有する例示的ＨＣＩシステムはＥＥＧデバイス及びＥＭＧデバイス
[00140]図１７Ａ～１７Ｄは、４つの様々な実施形態による耳ベース神経記録デバイス、筋電図検査デバイス及び視線追跡器の組み合わせを有する例示的ＨＣＩシステムをそれぞれ示す。図１７Ａは、視線追跡器（図示せず）に加えて、１つ又は複数のＥＭＧデバイスの耳内及び／又は耳周囲配置及び神経記録デバイスの後頭配置を含むＨＣＩシステムを示す。図１７Ｂは、ＥＭＧデバイスの耳周囲配置及び／又は神経記録デバイスの後頭配置を含む例示的ＨＣＩシステムを示す。
[00140]図１７Ａ～１７Ｄは、４つの様々な実施形態による耳ベース神経記録デバイス、筋電図検査デバイス及び視線追跡器の組み合わせを有する例示的ＨＣＩシステムをそれぞれ示す。図１７Ａは、視線追跡器（図示せず）に加えて、１つ又は複数のＥＭＧデバイスの耳内及び／又は耳周囲配置及び神経記録デバイスの後頭配置を含むＨＣＩシステムを示す。図１７Ｂは、ＥＭＧデバイスの耳周囲配置及び／又は神経記録デバイスの後頭配置を含む例示的ＨＣＩシステムを示す。
【0112】
[00141]図１７Ｃは、ＥＭＧデバイスの耳周囲及び／又は耳内配置を示す例示的ＨＣＩデバイスの一部分を示す。図１７Ｄは、脳の所定領域から神経記録を受信するために所定位置（例えば中央脳領域及び頭頂枝領域からＥＥＧ記録を取得するためのＣｚ及びＰｚ位置）においてインターフェースするためのＥＭＧデバイスの耳周囲配置及び神経記録デバイスの配置を含む例示的ＨＣＩシステムを示す。
【0113】
ＨＣＩシステムを使用する現実世界相互作用
[00142]先に説明したように、ＨＣＩシステムは、現実世界とのユーザの相互作用を容易にするために、そして場合によっては拡張現実又は環境をユーザへ提示するために使用され得る。いくつかの実施形態では、ＨＣＩシステムは、ユーザが相互作用することになるＵＩ／ＵＸインターフェースを提示していなくても現実世界環境とのユーザの相互作用を解釈するために使用され得る。例えば、ＨＣＩシステムは、ユーザにより（例えば前向きカメラ又はマイクロホンを介し）見られる又は体験される画像又は環境に関係する情報を受信し得、ＨＣＩシステムは、ユーザがより頑強、効率的又は有益であり得るやり方で環境と相互作用するための情報を処理し得る。
[00142]先に説明したように、ＨＣＩシステムは、現実世界とのユーザの相互作用を容易にするために、そして場合によっては拡張現実又は環境をユーザへ提示するために使用され得る。いくつかの実施形態では、ＨＣＩシステムは、ユーザが相互作用することになるＵＩ／ＵＸインターフェースを提示していなくても現実世界環境とのユーザの相互作用を解釈するために使用され得る。例えば、ＨＣＩシステムは、ユーザにより（例えば前向きカメラ又はマイクロホンを介し）見られる又は体験される画像又は環境に関係する情報を受信し得、ＨＣＩシステムは、ユーザがより頑強、効率的又は有益であり得るやり方で環境と相互作用するための情報を処理し得る。
【0114】
[00143]場合によっては、ＨＣＩシステムは現実世界環境から取得された画像を処理するようにトレーニングされ得る。例えば、興味あるオブジェクトは、ＩＲ反射テープで、又はユーザにより使用されるＨＣＩシステムに含まれる視線追跡器又は眼鏡内のカメラにより容易に認識され得る任意の好適なマーキング物質でタグを付けされ得る。取得された情報は、眼鏡に対する物理座標を三角測量して取得するために使用され得る。
【0115】
[00144]例示的実施形態では、ＨＣＩシステムは、興味あるオブジェクトから標本点を抽出するために、眼鏡内のカメラにより記録された画像の２Ｄ映像空間に直接働きかけそしてコンピュータビジョン技術（コンピュータニューラルネット及びエッジ検出アルゴリズムなど）を使用してその中のオブジェクトを識別するためにトレーニング又は使用され得、したがって、我々は先のスライドにおいて説明された技術をそれらへ適用し得る。この方法は、我々が興味あるオブジェクトを予めタグ付けする必要が無いという利点を有する。視線データの２Ｄ投影が、ビデオ画像を生成する視錐台に対応させられる限り、視線及びオブジェクト特性は同じ２Ｄ空間において操作され得る。画像処理及び画像セグメント化のような解析が、現実世界環境の特徴（例えば、オブジェクトの頂点、縁、中心など）を検出又は識別するために行われ得る。図１８は、ＨＣＩシステムを介した道路標識の現実世界ビューとのユーザ相互作用のユーザ実施の例を示す。
【0116】
[00145]図１８に示す例示的処理１８５０では、画像フレームがビデオクリップから取得され、エッジ検出手順が、フレームに含まれるオブジェクトの縁を判断するために実行される。閉塞境界が、分画され、そしてフレームの前景と背景領域とを識別するために使用される。前景及び背景領域の割り当てに続いて、輪郭が検出され、潜在的オブジェクトがそれらの特徴（例えば色、固体輪郭など）に基づきセグメント化及び分類される。この分類に基づき、フレーム内で識別されたオブジェクトは番号付けされて提示される（例えば、オブジェクト１：一時停止標識）。このような識別子は、環境のナビゲーションにおいてそして環境内のオブジェクトとの相互作用においてユーザを支援し得る。
【0117】
[00146]いくつかの実施形態によるＨＣＩシステムは、環境とのユーザの相互作用に関する情報を収集するために使用され得る。場合によっては、所定又は既知環境とのユーザ相互作用に関係するデータは、製品又はサービスの広告主又は販売業者などのオペレータにとって高価値のものであり得る。
【0118】
[00147]例えば、人の眼球運動は人の注意の顕在的測度として役立ち得る。標的視聴者の注意の測度は、人間挙動の点で興味のある組織（例えばマーケティング会社（マーケティングツールとして）又はゲーミング会社（環境の設計を支援する）、映画製作会社など）の多くのアプリケーションの非常に貴重な情報であり得る。
【0119】
[00148]視線位置は人の注意集中に関する情報を収集するために使用され得る。しかし、視線位置は、図１９Ａの概略図に示すように被検者の脳内のボトムアップ（色、形状、輝度など）信号とトップダウン（文脈的実行機能）信号との組み合わせにより制御される。これらの研究は、トップダウン信号だけがオブジェクト又は環境の購入／享受の尤度に強く（因果的に）リンクされ得るということを示す。例えば、人が、製品又はサービスのタイトルが「赤色」であり且つ高い視覚的顕著性を有しているのでこれを見たとしても、このことは人が製品又はサービスを購入する確率に影響を与えない。赤色は人の注意を引いたかもしれないが、ユーザの購入挙動に関係するそれ以上に大きな情報は存在しなく、したがって、赤色タイトルにリンクされたユーザの高い注意は、ユーザが製品又はサービスを購入するという尤度の点に興味のあるマーケティング会社にとって重要でないかもしれない。
【0120】
[00149]トップダウン仲介型注意に関係する電位情報を取得する例示的処理（例えば実行機能に関連する）は、視線だけのトップダウン制御を判断するために視線位置熱マップ（トップダウン＋ボトムアップ）から視覚的顕著性マップ（ボトムアップだけ）を減じることであり得る。この情報は人間挙動の態様に関して非常に有益であり得る。例えば、この情報は、人の実行挙動を予測し検証するために使用され、そして、視線だけ又は視覚的顕著性だけに関する情報を含むデータより効率的なやり方でマーケティング情報として使用され得る。一例として、図１９Ｂは、ユーザの眼球運動を定量化する空間マップを示し、より熱い色は視線位置のより高い尤度を指示する。これは、製品名への高いユーザの関心を間違って指示し得る。しかし、視覚的顕著性マップを減じた後の眼球運動の空間マップを使用する図１９Ｃに示すように、ユーザの注意は、製品ではなく着色テキストとモデルとに主として集中され得る。
【0121】
[00150]図２０は、視覚的顕著性マップと画像フレーム又はビュー（例えば現実世界の画像又は仮想現実環境の画像）に関連付けられた視覚的注意マップとを計算する例示的処理２０５０を示す。２０５１では、フレーム又はシーンの視覚像が取得される。２０５２では、この画像は、高い視覚的顕著性（例えば輝度、空間周波数、色、前フレームに対する運動、コントラストなど）に関連付けられたボトムアップ特徴に基づき高い特質を有する部分を識別するために分解される。２０５４では、視覚的顕著性マップが画像の分解に基づき生成される。２０５６では、画像の一部分と交差するユーザの視線の確率を予測する視線確率マップが、２０５４で生成された視覚的顕著性マップ上へマッピングされる。
【0122】
[00151]２０５３では、ユーザのリアルタイム視線部分が視線追跡器から取得された眼球運動信号に基づき計算される。２０５５では、実際の視線確率マップが、計算され、そして画像により定義された視空間上へマッピングされる。２０５７では、２０５５で生成された視線確率マップに基づきそれぞれが画像の定義された部分（例えば画素）に関連付けられた一組の重み付けが定義される。
【0123】
[00152]２０５８では、２０５６で生成された予測視線確率マップが、画像の各部分（例えば画素）に対応する一組の重み付けへ変換され、予測視線確率マップから導出される重み付けは、重み付けアレイを形成するために実際の視線確率マップから導出される重み付けと組み合わせられる。
【0124】
[00153]２０５８では、一組の組み合わせられた重み付けが、重み付けられた画像（例えば視線確率及び視覚的顕著性の差から生成される画像）を生成するために画像へ適用される。２０５９では、２０５８において重み付けられた画像に基づき、リアルタイム視覚的注意推定マップ（例えば熱マップ）が生成され、より高い実行機能へリンクされ得るユーザ関心の点数を指示する。図２１はユーザ注意の点数を示す例示的熱マップを示す。上記手順の実施は、（例えばユーザが高速運動中に環境を見る場合に）そうでなければ利用可能ではないであろう情景に関する情報を推定する又は与えるためにスマートフィルタとして場合によっては使用され得る。
【0125】
感情状態判断
[00154]いくつかの実施形態では、本明細書において説明されるＨＣＩシステムは先に説明したようにユーザの感情状態又は認識状態に関する情報を収集するために使用され得る。例えば、ＨＣＩシステムは、一組のユーザが所定ＵＩ／ＵＸ環境を体験している間に監視される場合の感情状態検出システムとして使用され得る。図２２Ａは覚醒軸及び感情価軸により定義された表面上の様々な感情状態のマッピング概略図を示す。
[00154]いくつかの実施形態では、本明細書において説明されるＨＣＩシステムは先に説明したようにユーザの感情状態又は認識状態に関する情報を収集するために使用され得る。例えば、ＨＣＩシステムは、一組のユーザが所定ＵＩ／ＵＸ環境を体験している間に監視される場合の感情状態検出システムとして使用され得る。図２２Ａは覚醒軸及び感情価軸により定義された表面上の様々な感情状態のマッピング概略図を示す。
【0126】
[00155]感情状態モデルの現在の実施形態は、感情の明示的範囲を生成するためにユーザ毎ベース及びセッション毎ベースでトレーニングされる必要があり得る。トレーニングはユーザが約３０～６０分のビデオを視聴する又は体験する（時間消費的であり得る）ことから構成され得る。さらに、現在の技術は、固有バイアスにより汚染され得且つ時間消費的であり且つ不正確であり得る関連感情状態に関して自己報告することを含む。したがって、教師無し又は半教師付きやり方でＨＣＩシステムを使用する自動感情状態判断が現在の方法と比較して効率的且つ正確であり得る。
【0127】
[00156]ＨＣＩシステムの例示的実施形態は神経信号及び／又は眼球運動信号を取得しそしてこれらの信号を処理するように構成され得る。いくつかの例示的解析的処理は、信号の濾過、ＥＥＧ信号のような神経信号の抽出、エポックの抽出、シグネチャ信号の制御に対応する特徴の抽出、有意軸に沿った回帰分析を行うこと、等々を含み得る。ＨＣＩシステムは、低い感情価／覚醒から高い感情価／覚醒までの超平面の統計モデルを使用してトレーニングされ得る。モデルは、利用可能データに基づき適切にスケーリングされ得る（例えば、高い及び低い感情価／覚醒極値を喚起する２つのトレーニングファイルだけから最大及び最小をスケーリングし得る）。例示的超平面が図２２Ｃに示される。ユーザ報告値に基づき及びＨＣＩシステムに基づき感情を検出した際の例示的な一組の結果が図２２Ｂのプロットに示される。
【0128】
結論
[00157]要約すると、リアルタイムでユーザにより作動可能な又は複数ユーザにより共同で作動可能な一体化されたハイブリッド人間／コンピュータインターフェースシステムの実施において使用されるシステム及び方法が本明細書において説明された。開示されたシステムの実施態様は、眼球運動追跡システム、神経活動追跡システム、及びユーザ挙動を追跡するように構成されたいくつかの追加システム（ＥＭＧ追跡システム、体位置又は頭位置追跡システムなど）を含む。本明細書において説明される実施形態は、ポインティング制御機能及び／又は行為制御機能を実施するように構成される。いくつか例では、実施形態は、解析に使用されるユーザの挙動に関係するデータを収集するように構成される。いくつかの実施形態では、ポインティング及び行為制御機能は、高速且つ正確な動作を可能にするように戦略的に設計されたＵＩ／ＵＸの提示を介し実施される。加えて、開示されたシステム及び方法のいくつかの実施態様は、仮想、拡張又は現実環境のユーザ操作を仲介するために任意の好適なプラットホーム上にリアルタイムＨＣＩを実装することに関知しないハードウェアであり得るように構成される。
[00157]要約すると、リアルタイムでユーザにより作動可能な又は複数ユーザにより共同で作動可能な一体化されたハイブリッド人間／コンピュータインターフェースシステムの実施において使用されるシステム及び方法が本明細書において説明された。開示されたシステムの実施態様は、眼球運動追跡システム、神経活動追跡システム、及びユーザ挙動を追跡するように構成されたいくつかの追加システム（ＥＭＧ追跡システム、体位置又は頭位置追跡システムなど）を含む。本明細書において説明される実施形態は、ポインティング制御機能及び／又は行為制御機能を実施するように構成される。いくつか例では、実施形態は、解析に使用されるユーザの挙動に関係するデータを収集するように構成される。いくつかの実施形態では、ポインティング及び行為制御機能は、高速且つ正確な動作を可能にするように戦略的に設計されたＵＩ／ＵＸの提示を介し実施される。加えて、開示されたシステム及び方法のいくつかの実施態様は、仮想、拡張又は現実環境のユーザ操作を仲介するために任意の好適なプラットホーム上にリアルタイムＨＣＩを実装することに関知しないハードウェアであり得るように構成される。
【0129】
[00158]様々な実施形態について上に説明したが、これらはほんの一例として提示したのであって制限するためではないということを理解すべきである。上述の方法はある順序で発生するいくつかの事象を示すが、いくつかの事象の順序は修正され得る。加えて、事象のいくつかは、可能であれば並列処理で同時に行われ得るだけでなく、上述のように順次行われ得る。
【0130】
[00159]上述の概略図及び／又は実施形態がいくつかの配向又は位置で配置されたいくつかの部品を指示する場合、部品の配置は修正され得る。いくつかの実施態様が特に示され説明されたが、形式及び詳細の様々な変更が行われ得るということが理解されることになる。本明細書において説明された装置及び／又は方法の任意の部分は相互に排他的な組み合わせを除いて任意の組み合わせで組み合わされ得る。本明細書において説明された実施形態は、説明された様々な実施形態の機能、部品、及び／又は特徴の様々な組み合わせ及び／又は下位組み合わせを含み得る。
【図1】
【図2A】
【図2B】
【図2C】
【図3】
【図4A】
【図4B】
【図4C】
【図4D】
【図5A】
【図5B】
【図5C】
【図6】
【図7A】
【図7B】
【図8A】
【図8B】
【図9】
【図10】
【図11A】
【図11B】
【図11C】
【図12A】
【図12B】
【図13】
【図14A】
【図14B】
【図15】
【図16】
【図17A】
【図17B】
【図17C】
【図17D】
【図18】
【図19A】
【図19B】
【図19C】
【図20】
【図21】
【図22A】
【図22B】
【図22C】
