知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-05-23
(54)【発明の名称】ジェスチャー検出および分類のための方法および装置
(51)【国際特許分類】
G06F 3/01 20060101AFI20220516BHJP
【ＦＩ】
G06F3/01 514
G06F3/01 570
G06F3/01 515
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021533832
(86)(22)【出願日】2020-03-30
(85)【翻訳文提出日】2021-08-16
(86)【国際出願番号】 US2020025772
(87)【国際公開番号】W WO2020205767
(87)【国際公開日】2020-10-08
(31)【優先権主張番号】62/826,478
(32)【優先日】2019-03-29
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/833,307
(32)【優先日】2020-03-27
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕ－ｒａｙ
２．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】515046968
【氏名又は名称】フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニー
【氏名又は名称原語表記】ＦＡＣＥＢＯＯＫ ＴＥＣＨＮＯＬＯＧＩＥＳ， ＬＬＣ
(74)【代理人】
【識別番号】110002974
【氏名又は名称】特許業務法人Ｗｏｒｌｄ ＩＰ
(72)【発明者】
【氏名】バラチャント， アレクサンドレ
(72)【発明者】
【氏名】ウェットモア， ダニエル
【テーマコード（参考）】
5E555
【Ｆターム（参考）】
5E555AA11
5E555AA27
5E555BA02
5E555BA38
5E555BB38
5E555BC04
5E555BE16
5E555BE17
5E555CA23
5E555CA41
5E555CB66
5E555DA08
5E555DA11
5E555EA19
5E555EA25
5E555FA00
(57)【要約】
例示的なシステムは、ユーザに人工現実ビューを提示するように構成されたヘッドマウントデバイスと、複数の筋電図（ＥＭＧ）センサーを含む制御デバイスと、ＥＭＧセンサーによって検出された信号に基づくＥＭＧデータを受信することと、ＥＭＧデータ内のユーザジェスチャーに対応するＥＭＧ信号を検出することと、ジェスチャータイプを識別するために、ＥＭＧ信号を分類することと、ジェスチャータイプに基づいて、制御信号を提供することであって、制御信号は、人工現実ビューを変えるように、ヘッドマウントデバイスをトリガする、制御信号を提供することとを行うようにプログラムされた少なくとも１つの物理プロセッサとを含み得る。様々な他の方法、システム、およびコンピュータ可読媒体も開示される。
【選択図】図２８
【選択図】図２８
【特許請求の範囲】
【請求項1】
ユーザに人工現実ビューを提示するように構成されたヘッドマウントデバイスと、制御デバイスであって、前記制御デバイスが前記ユーザによって着用されたとき、前記ユーザの皮膚に接触する電極を備える複数の筋電図（ＥＭＧ）センサーを備える制御デバイスと、
少なくとも１つの物理プロセッサと、
物理メモリであって、前記物理プロセッサによって実行されたとき、前記物理プロセッサに、
前記ＥＭＧセンサーによって検出された１つまたは複数のＥＭＧ信号を処理することと、
前記処理された１つまたは複数のＥＭＧ信号を、１つまたは複数のジェスチャータイプに分類することと、
前記ジェスチャータイプに基づいて、制御信号を提供することであって、前記制御信号が、前記人工現実ビューの少なくとも１つの様相を変えるように、前記ヘッドマウントデバイスをトリガする、制御信号を提供することと
を行わせるコンピュータ実行可能命令を含む物理メモリと
を備えるシステム。
【請求項2】
前記少なくとも１つの物理プロセッサが、前記制御デバイス内に位置する、請求項１に記載のシステム。
【請求項3】
前記少なくとも１つの物理プロセッサが、前記ヘッドマウントデバイス内に、または前記制御デバイスと通信している外部コンピュータデバイス内に位置する、請求項１に記載のシステム。
【請求項4】
コンピュータ実行可能命令が、前記物理プロセッサによって実行されたとき、前記物理プロセッサに、分類器モデルを使用して、前記処理されたＥＭＧ信号を１つまたは複数のジェスチャータイプに分類することを行わせる、請求項１に記載のシステム。
【請求項5】
前記分類器モデルが、前記ジェスチャータイプのための複数のＥＭＧトレーニング信号を含むトレーニングデータを使用してトレーニングされる、請求項４に記載のシステム。
【請求項6】
前記トレーニングデータが、複数のユーザから取得される、請求項５に記載のシステム。
【請求項7】
前記ヘッドマウントデバイスが、仮想現実ヘッドセットまたは拡張現実デバイスを備える、請求項１に記載のシステム。
【請求項8】
ユーザから１つまたは複数の筋電図（ＥＭＧ）信号を取得することと、関連する特徴データを生成するために、前記１つまたは複数のＥＭＧ信号を処理することと、
分類器モデルを使用して、前記関連する特徴データを１つまたは複数のジェスチャータイプに分類することと、
前記１つまたは複数のジェスチャータイプに基づいて、人工現実（ＡＲ）デバイスに制御信号を提供することと
を含み、
前記分類器モデルが、前記１つまたは複数のジェスチャータイプのための複数のＥＭＧトレーニング信号を含むトレーニングデータを使用してトレーニングされる、方法。
【請求項9】
前記分類器モデルが、ＥＭＧトレーニング信号から決定された特徴データをクラスタリングすることによってトレーニングされる、請求項８に記載の方法。
【請求項10】
前記分類器モデルが、複数のユーザから取得されたＥＭＧトレーニング信号を使用してトレーニングされる、請求項８に記載の方法。
【請求項11】
前記複数のユーザが、前記ユーザを含まない、請求項１０に記載の方法。
【請求項12】
ジェスチャータイプに対応するＥＭＧトレーニング信号を取得することと、前記ＥＭＧトレーニング信号から取得されたＥＭＧトレーニングデータをクラスタリングすることによって、前記分類器モデルをトレーニングすることと
によって、前記分類器モデルをトレーニングすることをさらに含む、請求項８に記載の方法。
【請求項13】
前記分類器モデルが、それぞれのＥＭＧトレーニング信号最大値の時間に対するＥＭＧトレーニング信号の時間依存度を決定することと、
複数のＥＭＧトレーニング信号のうちの少なくとも１つのＥＭＧトレーニング信号に時間オフセットを追加することによって、前記複数のＥＭＧトレーニング信号の前記時間依存度を整合させることと、
前記整合された複数のＥＭＧトレーニング信号から、信号特性を取得することと、
前記信号特性を有するＥＭＧ信号を検出するように、前記分類器モデルをトレーニングすることと
によってさらにトレーニングされる、請求項８に記載の方法。
【請求項14】
前記分類器モデルは、ジェスチャータイプに対応するＥＭＧトレーニング信号を含むトレーニングデータを取得することと、
前記ジェスチャータイプのためのジェスチャーモデルを取得するために、前記ジェスチャータイプの各発生に対応する前記ＥＭＧトレーニング信号を平均化することであって、前記分類器モデルが、ＥＭＧ信号を分類するために、前記ジェスチャーモデルを使用する、前記ＥＭＧトレーニング信号を平均化することと
によってさらにトレーニングされる、請求項８に記載の方法。
【請求項15】
前記ジェスチャーモデルが、前記ジェスチャータイプのためのユーザ固有ジェスチャーモデルである、請求項１４に記載の方法。
【請求項16】
前記ジェスチャーモデルが、複数のユーザから取得されたＥＭＧトレーニングデータに基づくマルチユーザジェスチャーモデルであり、前記マルチユーザジェスチャーモデルが、複数のユーザ固有ジェスチャーモデルの組合せである、
請求項１４に記載の方法。
【請求項17】
前記人工現実デバイスが、ユーザに人工現実画像を提示するように構成されたヘッドマウントデバイスを備え、前記方法が、前記制御信号に基づいて、前記人工現実画像を変えることをさらに含む、請求項８に記載の方法。
【請求項18】
前記人工現実画像を変えることが、前記ジェスチャータイプに基づく、前記人工現実画像中のオブジェクトの選択または制御を含む、請求項１７に記載の方法。
【請求項19】
コンピューティングデバイスの少なくとも１つのプロセッサによって実行されたとき、前記コンピューティングデバイスに、筋電図（ＥＭＧ）センサーによって検出された１つまたは複数のＥＭＧ信号を受信することと、
ユーザジェスチャータイプに対応する１つまたは複数の特徴を識別するために、前記１つまたは複数のＥＭＧ信号を処理することと、
前記１つまたは複数のＥＭＧ信号を前記ジェスチャータイプに分類するために、前記１つまたは複数の特徴を使用することと、
前記ジェスチャータイプに基づいて、制御信号を提供することと、
前記制御信号に応答して、人工現実ビューの変更をトリガするために、ヘッドマウントデバイスに前記制御信号を送信することと
を行わせる１つまたは複数のコンピュータ実行可能命令を備える非一時的コンピュータ可読媒体。
【請求項20】
前記コンピュータデバイスが、複数のユーザから取得されたトレーニングデータから決定されたジェスチャーモデルに基づいて、前記ジェスチャータイプを識別するために、前記ＥＭＧ信号を分類するように構成された、請求項１９に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【関連出願の相互参照】
【0001】
本出願は、２０１９年３月２９日に出願された、米国出願第６２／８２６，４７８号、および２０２０年３月２７日に出願された、米国出願第１６／８３３，３０７号の優先権を主張する。米国出願第６２／８２６，４７８号および米国出願第１６／８３３，３０７号の内容は、すべての目的のために本明細書においてそれらの全体が参照により組み込まれる。
【発明の概要】
【0002】
添付の図面は、いくつかの例示的実施形態を図示しており、本明細書の一部である。以下の説明とともに、これらの図面は、本開示の様々な原理を明示および解説する。
【図面の簡単な説明】
【0003】
【図1】ＰＣＡの適用から抽出された第１の成分の例を示す図である。
【図2】検出されたイベントからもたらされた例示的なクラスタを示す図である。
【図3】検出された個別のイベントに対して実施されたＰＣＡからの第１の成分の例示的なプロットを示す図である。
【図4A-B】同期品質の観点を示す個別のイベントに対応するエポックを図示する図である。
【図5A-B】検出された個別のイベントに対応する整合されたエポックを示す図である。
【図6A-B】２つの異なるジェスチャーの平均に対して実施されたＰＣＡ分析に対応するテンプレートを示す図である。
【図7】第１のＰＣＡ成分上の例示的な検出されたイベントと、２秒のデータから生成されたそれぞれのラベルとを示す図である。
【図8】テスティングセットを使用する個別のイベントの検出の例を示す図である。
【図9】テスティングデータセット中で検出された個別のイベントの例を示す図である。
【図10A-B】人差し指タップイベントモデルおよび中指タップイベントモデルの例を示す図である。
【図11A】イベントの１クラスのためのユーザ固有イベントモデルの例を示す図である。
【図11B】イベントの１クラスのためのユーザ固有イベントモデルの例を示す図である。
【図11C】イベントの１クラスのためのユーザ固有イベントモデルの例を示す図である。
【図11D】イベントの１クラスのためのユーザ固有イベントモデルの例を示す図である。
【図11E】イベントの１クラスのためのユーザ固有イベントモデルの例を示す図である。
【図11F】イベントの１クラスのためのユーザ固有イベントモデルの例を示す図である。
【図12】様々なシングルユーザイベント分類モデルによって実現された例示的な精度レベルを示す図である。
【図13A】２つのシングルユーザイベント分類モデルによって実現された例示的な精度レベルを示す図である。
【図13B】例示的な精度レベル対２つのシングルユーザイベント分類モデル（単一のスタンプおよび累積ウィンドウサイズ）についての時間を示す図である。
【図14】時間サンプルの独立性を決定するために実行される、時間にわたる一般化を示す図である。
【図15】一般化されたクロスユーザ分類モデルについての例示的な精度レベルを示す図である。
【図16】線形回帰に基づくユーザ固有分類器の伝達性の例を示す図である。
【図17A】ジェスチャーの２つのクラスの例示的な分布を示す図である。
【図17B】ジェスチャーの２つのクラスの例示的な分布を示す図である。
【図17C】ジェスチャーの２つのクラスの例示的な分布を示す図である。
【図17D】ジェスチャーの２つのクラスの例示的な分布を示す図である。
【図17E】ジェスチャーの２つのクラスの例示的な分布を示す図である。
【図17F】ジェスチャーの２つのクラスの例示的な分布を示す図である。
【図17G】ジェスチャーの２つのクラスの例示的な分布を示す図である。
【図17H】ジェスチャーの２つのクラスの例示的な分布を示す図である。
【図17I】ジェスチャーの２つのクラスの例示的な分布を示す図である。
【図17J】ジェスチャーの２つのクラスの例示的な分布を示す図である。
【図17K】ジェスチャーの２つのクラスの例示的な分布を示す図である。
【図17L】ジェスチャーの２つのクラスの例示的な分布を示す図である。
【図17M】ジェスチャーの２つのクラスの例示的な分布を示す図である。
【図17N】ジェスチャーの２つのクラスの例示的な分布を示す図である。
【図17O】ジェスチャーの２つのクラスの例示的な分布を示す図である。
【図17P】ジェスチャーの２つのクラスの例示的な分布を示す図である。
【図17Q】ジェスチャーの２つのクラスの例示的な分布を示す図である。
【図18A-B】ＵＭＡＰおよびＰＣＡを使用した分離されたクラスタの例を示す図である。
【図19】自己教師ありモデルを使用して実現された精度レベルの例を示す図である。
【図20】教師ありユーザ固有モデルおよび自己教師ありユーザ固有モデルを使用して実現された精度レベル対トレーニングイベントの数の例を示す図である。
【図21】ユーザ固有の自己教師ありモデルについてのウィンドウサイズ決定の例を示す図である。
【図22A-B】第１のユーザに関連する各イベントクラスの例示的なモデルを示す図である。
【図22C-D】第１のユーザに関連する各イベントクラスの例示的なモデルを示す図である。
【図23A-B】第１のユーザおよび第２のユーザに関連する各イベントクラスの整合されたモデルの例を示す図である。
【図24A-B】それぞれ、変換の前および後の例示的なデータを示す図である。
【図25A】ユーザのグループ中のすべてのユーザからのユーザにわたる例示的な伝達行列を示す図である。
【図25B】伝達関数に基づく教師ありドメイン適応のためのデータサイズの決定を示す図である。
【図26A】いくつかの実施形態による、ユーザの下腕または手首の周囲に着用されるように構成された弾性バンドの周囲に円周方向に配列されたＥＭＧセンサーをもつウェアラブルシステムを図示する図である。
【図27A】いくつかの実施形態が実装されるコンピュータベースシステムの構成要素を概略的に図示する。コンピュータベースシステムの制御デバイスの概略図を図示する。
【図27B】いくつかの実施形態が実装されるコンピュータベースシステムの構成要素を概略的に図示する。コンピュータに接続され得る例示的なドングル部分を図示し、ドングル部分は、制御デバイスと通信するように構成される（および類似の構成が、制御デバイスと通信しているヘッドマウントデバイス内で使用され得る）。
【図28】ウェアラブルデバイスが、ヘッドマウントウェアラブルディスプレイとインターフェースする例示的な実装形態を示す図である。
【図29】例示的な方法を図示する図である。
【図30】例示的な方法を図示する図である。
【図31】本開示の実施形態に関連して使用され得る、例示的な拡張現実眼鏡の図示である。
【図32】本開示の実施形態に関連して使用され得る、例示的な仮想現実ヘッドセットの図示である。
【発明を実施するための形態】
【0004】
図面全体にわたって、同等の参照符号および説明は、必ずしも同等とは限らないが、類似の要素を指し示す。本明細書で説明される例示的な実施形態は、様々な変更形態および代替の形態が可能であるが、特定の実施形態が、図面中で例として示されており、本明細書で詳細に説明される。しかしながら、本明細書で説明される例示的な実施形態は、開示される特定の形態に限定されるものではない。そうではなく、本開示は、添付の特許請求の範囲内に入るすべての変更形態、等価物、および代替形態を包含する。
【0005】
本開示の例は、ユーザからの信号の検出、および検出された信号に基づく人工現実デバイスの制御を対象とする。以下でより詳細に解説されように、本開示の実施形態は、ユーザに人工現実ビューを提示するように構成されたヘッドマウントデバイスと、複数の筋電図（ＥＭＧ）センサーを含む制御デバイスとを有するシステムを含み得る。任意のシステム構成要素中に位置決めされ得る１つまたは複数のプロセッサは、センサーから受信されたＥＭＧデータに関連するユーザジェスチャーに対応するＥＭＧ信号を検出することと、ジェスチャータイプを識別するために、ＥＭＧ信号を分類することとを行うようにプログラムされ得る。制御信号は、たとえば、ジェスチャータイプに基づいて、人工現実ビューを変えるように、ヘッドマウントデバイスをトリガし得る。
【0006】
人工現実環境内のオブジェクト（現実または仮想）の正確な制御は、没入体感を維持するのに有用であり得る。ジェスチャーは、オブジェクトを制御する有用なやり方であり得、現実の物理的オブジェクトとの対話を必要としない。たとえば、（多くの他のアクションのうちの）キーボードのキーを押すこと、ダイヤルを回すこと、ボタンを押すこと、メニューから項目を選択することなど、アクションは、ユーザジェスチャーによってシミュレートされ得る。タッピングジェスチャーは、キープレスをシミュレートし得る。その上、どの身体部位（たとえば、どの指）が、ジェスチャーを実施するために使用されたのかの識別は、人工現実環境のさらなる制御を可能にする。
【0007】
本明細書で説明される実施形態のいずれかからの特徴は、本明細書で説明される一般的な原理に従って、互いと組み合わせて使用され得る。これらおよび他の実施形態、特徴、ならびに利点は、添付の図面および特許請求の範囲とともに以下の発明を実施するための形態を読むと、より十分に理解されるであろう。
【0008】
以下は、図１～図３０を参照しながら、教師なしおよび自己教師ありモデルを含む、ジェスチャー識別モデルの詳細な説明を提供する。図１～図１３Ｂは、イベント検出および分類を図示し、「イベント」という用語は、指タップなど、ジェスチャーを含み得る。図１４～図２５Ｂは、様々なモデルの時間依存度、クラスタリング、トレーニング、および精度をさらに図示する。図２６Ａ～図２６Ｂは、例示的な制御デバイスを図示する。図２７Ａ～図２７Ｂは、制御デバイスの概略図を図示する。図２８は、ヘッドマウントデバイスを含む例示的なシステムを図示する。図２９～図３０は、例示的なコンピュータ化された方法を図示し、図３１および図３２は、例示的なＡＲ／ＶＲ適用例を図示する。
【0009】
本開示は、ユーザジェスチャーを検出するために使用され得るイベント検出器モデルを対象とする。そのような検出器モデルは、一連のＥＭＧ信号（データセット）を記録することを伴い得、１人または複数のユーザは、異なるジェスチャーを実施する。いくつかの例では、例示的なジェスチャーは、指タップ（たとえば、シミュレートされたキープレス）を含み得るが、他のタイプのジェスチャーが、例示的なイベント検出器モデルを実装するために同様に使用され得る。
【0010】
ジェスチャーは、有限時間期間にまたがる個別のイベントを含み得、いくつかの実施形態では、筋肉アクティブ化を表す（筋電図ウェーブレットを含む）１つまたは複数の筋電図信号によって特徴付けられ得る。機械学習技法を使用してそのようなジェスチャーを検出および分類するようにシステムを構成することは、相当量のラベリングされたトレーニングサンプルを伴い得る。よって、教師なしまたは自己教師ありのやり方で、少数のサンプルからジェスチャーを迅速に学習し、人間のジェスチャーから有意味な特徴をキャプチャおよび解釈し得るシステムが、大いに望ましい。本明細書で説明される例は、そのような教師なしおよび／または自己教師ありモデルを提供する。
【0011】
図１は、主成分分析の適用から抽出され得る第１の成分（ＰＣＡ、垂直線）、および検出されたピーク（点）を示す。複数のイベントが、示されており、休み期間によって分離された２つのグループに分割されている。図示されているイベントは、休み中の局所最大値に対応する、休止期間中に登録されたピークをも検出し得る、ピーク検出プロセスを使用して検出され得る。
【0012】
データセットは、人差し指タップおよび中指タップに対応するＥＭＧ信号を含み得る。データセットは、約２Ｈｚで記録された、各指について５０回の連続する指タップを含むトレーニングセットと、約２Ｈｚで記録された、各指について２０回の連続する指タップを含むテストセットとに分割され得る。上記のデータセットは、２分未満の記録されたデータを表し得る。任意の他の好適なデータセットも、トレーニングセットとして使用され得る。
【0013】
接空間にマッピングされた共分散が、特徴として選択され得る。４００Ｈｚのデータレートに対応する、ショートタイムウィンドウ（３０ｍｓ）および５つのサンプルのストライドが、特徴抽出のために使用され得る。特徴空間の次元数は、５つの成分に対する主成分分析（ＰＣＡ）の適用を通して、データセット中のイベントを見つけるために、低減され得る。その後、データは、（たとえば、メジアンを除去することによって）センタリングされ得、最終的に、局所最大値（ピーク）が、第１の成分上で識別され得る。
【0014】
図２は、（休止期間中に登録された、検出されたイベントを含む）検出されたイベントからもたらされ得るクラスタを示す。３つのクラスタが示されており、指タップの各タイプについて１つのクラスタ（人差し指タップおよび中指タップに対応する、データグループ１００および１０２）が示されている。余剰クラスタが、（有用なイベントであると考えられないことがある）休止期間中に登録されたイベントについて起こり得る。この余剰クラスタ１０４は、低エネルギーサンプルをもつクラスタを指し示す、左下隅中に位置決めされ得る。このクラスタは、たとえば、所定のエネルギーレベルしきい値を下回るすべての対応するイベントをドロップすることによって、除去され得る。
【0015】
各イベントの周囲のデータは、クラスタ分析に備えて、エポックにおいてスライスされ得る。一例では、１５０ｍｓのウィンドウが、データをスライスするために、各イベントの周囲でセンタリングされ得、任意の他の好適なウィンドウサイズが、類似の様式で使用され得る。その後、エポックの各々は、ベクトル化され、３つのクラスタを抽出するために、Ｋ－Ｍｅａｎｓクラスタリングプロセスにかけられ得る。視覚化目的のために、Ｕｎｉｆｏｒｍ Ｍａｎｉｆｏｌｄ Ａｐｐｒｏｘｉｍａｔｉｏｎ ａｎｄ Ｐｒｏｊｅｃｔｉｏｎ（ＵＭＡＰ）に基づく次元削減プロセスが、イベントの各クラスについて約５０個のイベントを含む、図２中に示されているクラスタをプロットするために、適用され得る。
【0016】
図３は、検出された個別のイベントに対して実施され得る、主成分分析（ＰＣＡ）からの第１の成分のプロットを示す。データは、主成分分析から生じた第１の成分に関してプロットされ得る。この例では、人差し指イベントが、最初に（左側に）示されており、その後に休止期間が続き、次いで、中指イベントが、右側に示されている。
【0017】
いくつかの例では、タイミング調整が、登録されたイベントに対して実施され得る。各イベントのタイミングは、ＰＣＡ分析の実行を使用して識別された第１の成分上の局所最大値に関連し得る。次いで、グランドトゥルースが、イベント検出モデルをトレーニングするために、収集されたサンプルから生成され得る。
【0018】
【0019】
いくつかの例では、ジッタおよび不整合は、すべてのイベントにわたるエポックと平均との間の自己相関を分析することにより各エポックのための最適なオフセットを見つけることによって、低減またはなくされ得る。したがって、様々なオフセット（－１０～１０個のサンプル）がテストされ得、次いで、相関を最大にするタイミングが選択され得る。テスティングプロセスは、すべてのエポックが適切に整合されるまで、反復的に実行され得る。
【0020】
【0021】
図６Ａおよび図６Ｂは、２つの異なるジェスチャーの平均に対して実施され得る、ＰＣＡ分析に対応する２つのテンプレートのプロットを示す。図６Ａは、人差し指タップデータに対応し、図６Ｂは、中指タップデータに対応する。テンプレートは、同期の後に取得された各イベントのエポックの平均エネルギーに基づき得る。（ＰＣＡの５つの成分からの）第１のＰＣＡ成分は、２つの指タップ（人差し指対中指）の間で振幅が著しく異なり得、他の成分は、異なる信号形態を有し得る。
【0022】
バイナリ時系列は、イベントが検出された（イベントが起こった）とき、１の値でラベリングされ、イベントが検出されなかった（たとえば、イベントが起こらなかったであろう）とき、０の値でラベリングされ得る。そのような時系列を予測するモデルは、ラベリングされたサンプルに基づいてトレーニングされ得る。次いで、モデルの出力は、所定のエネルギーしきい値と比較され、イベント検出器を構成するためにデバウンスされ得る。
【0023】
例示的パラメータが、モデルのグランドトゥルースのために構成され得る。再同期の後、イベントは、第１のＰＣＡ成分のピークの周囲でセンタリングされ得る。モデルは、全イベント時間経過に依拠し得、モデルは、ユーザがイベントの実行を終了すると、イベントを予測し得る。したがって、ラベルは、イベントタイミングに基づいて、シフトまたはオフセットされ得る。このパラメータは、「オフセット」と呼ばれることがある。
【0024】
いくつかの例では、モデルは、イベントに対応する正しい単一の時間サンプルを完全には予測しないことがある。したがって、モデルは、イベントの中心を囲むいくつかの連続する時間サンプルに対して、１など、値を予測するように構成され得る。このパラメータは、「パルス幅」と呼ばれることがある。
【0025】
いくつかの例では、オフセットは、イベントピーク後の７５ｍｓ（イベントのピーク後の約３０個のサンプル）に設定され得、パルス幅は、２５ｍｓと設定され得る。これらの例および他の例は非限定的であり、他のパラメータ値が、イベント検出器モデルのトレーニング中に使用される信号の詳細に応じて使用され得る。
【0026】
図７は、第１のＰＣＡ成分を使用して検出され得るイベントを、それぞれのラベルとともに図示し、これは、２秒のデータについて生成され得る。イベント検出器モデルは、多層パーセプトロン（ＭＬＰ）モデルまたは他の好適な機械学習モデルとして実装され得る。特徴は、ＰＣＡ特徴に対する１５０ｍｓ（約６０個のサンプル）スライディングウィンドウから収集され得る（たとえば、各時間サンプルについて、５つのＰＣＡ成分の、前の６０個の時間サンプル（すなわち、３００個の次元）のベクトル化を用いたベクトルが生成され得る）。
【0027】
モデルは、使用されるラベルを予測するようにトレーニングされ得る。モデルは、テストセットに対して適用され得、推論された出力が、所定のしきい値と比較され、個別のイベントの識別を導き出すためにデバウンスされ得る。
【0028】
図８は、モデルからの２つの出力を含む、テストセットに対する個別のイベントの検出（実線）、ならびにテストセットからもたらされ得る個別のイベント（破線）を図示する。
【0029】
図９は、個別のイベントが、テストデータセット中で検出され得ることを図示し、たとえば、テストセットに対して行われたＰＣＡ分析を使用してもたらされた５つの成分と、同じセット中で検出され得るイベントとを含む。すべての起こり得るイベントが、モデルによって検出され得、個別のイベントの２つのタイプの間の明らかなあいまいさ除去があり得る。
【0030】
いくつかの例では、イベントは、ＥＭＧ信号から取られたスナップショットから分類され得る。時間イベントの周囲で取られたスナップショットは、イベント検出器によって検出または登録され得る。イベント分類器モデルは、イベントの異なるタイプまたはクラスの間を区別するようにトレーニングされ得る。そのような分類は、一つには、各イベントが、イベントの発生と同期した特定の筋肉アクティブ化に関連する特性またはステレオタイプの信号に対応するイベントのクラスまたはタイプに関連するので可能である。１８個のデータセットが使用され得、各データセットは、異なるユーザから集められ得る。データセットは、キーダウン、キーアップ、およびタップイベントからキャプチャされたＥＭＧ信号の記録を含む。ユーザごとに使用されるイベントの総数は、約１６０個（各人差し指および中指について８０個）であり得る。
【0031】
共分散は、４００Ｈｚの特徴サンプリング周波数から生じる、４０ｍｓ時間ウィンドウおよび２．５ｍｓのストライドを使用して推定され得る。次いで、共分散は、接空間中でプロジェクトされ得、次元は、対角線ならびに（対角線の上および下に位置決めされた値によって行列中で表される）２つの隣接するチャネルを選択することによって低減され得る。４８の次元サイズの特徴空間が、上記の動作の適用によってもたらされる。
【0032】
各キープレスイベントの周囲の－１００ｍｓから＋１２５ｍｓまでの範囲の信号のウィンドウが、抽出（たとえば、スライスおよびバッファ）され得る。そのようなウィンドウは、約９０個のＥＭＧサンプル値を含み得る。上述の動作の終わりに、サイズ１６０×９０×４８（Ｎ＿ｅｖｅｎｔｓ×Ｎ＿ｔｉｍｅ＿ｓａｍｐｌｅｓ×Ｎ＿ｆｅａｔｕｒｅｓ）のデータセットが、各ユーザについて取得され得る。
【0033】
図１０Ａおよび図１０Ｂは、それぞれ、人差し指タップイベントモデルおよび中指タップイベントモデルの例を示す。各イベントのモデルは、そのようなイベントのすべての発生について各イベントクラス（たとえば、人差し指タップおよび中指タップ）のＥＭＧ値を平均化することによって生成され得る。タップイベントの例が、図１０Ａおよび図１０Ｂ中に示されている。
【0034】
図１０Ａおよび図１０Ｂ中に示されているイベントモデルでは、２つの信号が識別され得、１つはキープレスに対応し、１つはキーリリースについてのものである。同じ特徴が、人差し指キープレスクラスおよび中指キープレスクラスの両方においてアクティブであるように見えることがあるが、特徴のそれぞれの振幅は、かなり異なり、弁別のための良好な基礎を提供する。
【0035】
図１１Ａ～図１１Ｆは、イベントの２つのクラスのためのユーザ固有イベントモデルの例を図示する。図１１Ａ、図１１Ｃ、および図１１Ｅは、人差し指キープレスに対応し、図１１Ｂ、図１１Ｄ、および図１１Ｆは、中指キープレスに対応する。各ユーザは、各イベントクラスについて異なるパターンを示し得る。タイミングは概して同じであるが、振幅の大きな違いが、信号のうちで観測され得る。
【0036】
いくつかの分類モデルが、シングルユーザイベント分類モデルを実装するために使用され得る。いくつかの例では、各トライアルは、（時点の数×特徴に対応する次元をもつ）大きいベクトルにベクトル化され得る。そのような大きいベクトルが生成されると、分類器は、ロジスティック回帰、ランダムフォレスト、または多層パーセプトロンに基づいてもたらされ得、ジェスチャー分類モデルにおいて実装され得る。
【0037】
いくつかの例では、（特徴次元上の）データの次元数は、空間フィルタを適用し、次いで、結果をベクトル化し、分類器を使用することよって低減され得る。空間フィルタの例は、たとえば、Ｃｏｍｍｏｎ Ｓｐａｔｉａｌ Ｐａｔｔｅｒｎｓ（ＣＳＰ）の抽出、または線形判別分析（ＬＤＡ）を用いたアンサンブル中の誘発電位のｘＤａｗｎエンハンスメントに基づき得る。ＣＳＰの適用を通して、ソースの分散の違いを最大にする部分空間が決定され得る。ｘＤａｗｎ手法では、空間フィルタは、（信号対雑音比（ＳＮＲ）を増加させ得る）生データではなく、クラス平均から推定され得る。
【0038】
いくつかの例では、モデルは、以下の手法、すなわち、各クラス（たとえば、中指キープレスおよび人差し指キープレス）のイベントモデルを各トライアルに連結すること、共分散行列を推定すること、接空間マッピング、およびＬＤＡを適用することのうちの１つまたは複数を含む方法によって開発され得る。そのような手法は、信号のコンパクトな表現をもたらし得、低いＳＮＲで有効であり得る。
【0039】
９０％のトレーニングおよび１０％のテストを用いた層化ランダムスプリットが、一部、クラスバランスを温存するために使用され得る。ランダムスプリットも使用され得る。ユーザにわたる平均で９９％の精度が、線形回帰分類器を使用して実現され、最悪のユーザの場合、９５％であることがある。
【0040】
図１２は、シングルユーザイベント分類のためのテストされたモデルの各々によって実現された精度レベルを示す。プロット中の各点は、単一のユーザを表す。分類器は、概して、図１２中に示されているものに類似する精度レベルにおいて機能し得る。
【0041】
トレーニングセットサイズは変えられ得る。トレーニングセットのサイズは、５％から９０％までで、スプリットが変更され得る。テストデータの量は、１０％に固定されたままであり得る。２つの分類器、すなわち、ＬＲおよびＸＤＣｏｖ＋ＬＤＡが使用され得る。１０％のテストおよび可変トレインサイズを用いた１０回の層化ランダムスプリットが、交差検証のために使用され得る。
【0042】
精度の安定状態が、８０個のイベントのあたりで到達され得る。２０個のイベントが、ロジスティック回帰に基づく分類器を用いて９５％の精度を実現するために使用され得る。ＸＤＣｏｖ＋ＬＤＡに基づく分類器は、収束するために、より多数のイベントを必要とし得る。
【0043】
図１３Ａは、トレーニングイベントの数の関数として、シングルユーザイベント分類モデルの２つの異なる実装形態によって実現され得る例示的な精度レベルを示す。結果が、ＬＲ（実線）手法およびＸＤＣｏｖ＋ＬＤＡ（破線）手法について示されている。残りの破線および点線は、ＬＲ結果についての起こり得る不確実性の定性的表示（上側の点線および概して下側中央の破線）、ならびにＸＤＣｏｖ＋ＬＤＡ結果についての起こり得る不確実性の定性的表示（残りの破線および下側の点線）を与える。
【0044】
ウィンドウサイズも調整され得る。イベントを分類するために使用されるウィンドウのサイズは、イベント検出のレイテンシに影響を及ぼし得る。したがって、モデルの性能は、相応に調整され得る、ウィンドウサイズパラメータに応じて変動し得る。
【0045】
いくつかの実装形態では、分類のための単一の時点が、いずれの時点が情報を含んでいるかをあらわにするために使用され得る。代替的に、キープレスイベントの後の、たとえば、－１００ｍｓから＋１２５ｍｓまでの（すべての過去の時点を含んでいる）増加するウィンドウサイズが、使用され得る。各時点またはウィンドウサイズについて、ユーザ固有モデルがトレーニングされ得、次いで、得られた分類器またはモデルの性能が評価され得る。上記で説明された、ロジスティック回帰モデルまたは他の好適なモデルが、分類器を実装するために使用され得る。交差検証が、１０回の層化ランダムスプリットを使用して実現され得、１０％がテスティング目的のために確保され、９０％がトレーニング目的のために使用される。これらの数値、および本明細書で考察される他の値は、例示的であり、限定ではない。
【0046】
図１３Ｂは、単一のタイムスタンプおよび累積ウィンドウサイズによって実現され得る例示的な精度レベルを示す。結果は、ウィンドウ中のたいていの時点が、（たとえば、約５０％の精度をもつ）見込みレベルを上回る時点をモデルが分類することを可能にする情報を含んでいることがあることを示す。最大精度は、キープレスの場合、－２５ｍｓにおいて到達され、キーリリースの場合、＋７０ｍｓのあたりで到達され得る。すべての過去の時間サンプルを含む累積ウィンドウを使用すると、最大精度レベルは、ウィンドウの終わりに到達され得る。９５％の平均精度レベルが、キープレスイベントの前のすべてのタイムスタンプを使用して到達され得る。リリースウェーブを待つことは、相補的情報を提供することによって、精度を押し上げ得る。残りの破線および点線は、起こり得る不確実性の定性的表示を表す。
【0047】
時間にわたる一般化は、時間サンプルがどのくらい独立しているかを決定するために使用され得る。時間にわたる一般化の一部として、分類器は、単一の時点においてトレーニングされ得、次いで、分類器は、別の時点においてテストされ得る。この手法は、イベントに関与する異なるプロセスが変化しないかどうかを決定し得る。ソースの同じ組合せが、２つの異なる時点にわたって類似的にアクティブである場合、シングルユーザモデルは、他のユーザによってもたらされたイベントを分類するために伝達または使用される得ることが暗示され得る。
【0048】
ロジスティック回帰に基づく分類器は、各ユーザおよび各時点についてトレーニングされ得る。次いで、各分類器の精度は、（同じユーザについての）１つおきの時点について評価され得る。次いで、すべてのユーザにわたる精度、ならびに精度行列の構造が、平均化され得る。
【0049】
図１４は、時間サンプルの独立性を決定するために実行され得る、時間にわたる一般化を示す。２つのクラスタが、精度行列中で観測され得、１つはキープレスに対応し、もう１つはキーリリースに対応する。クラスタの各々内の観測された伝達から、各時間サンプルは、多くの相補的情報を担持しないこと、およびサンプルの慎重に選択されたサブセットを使用することは、最適な精度を実現するのに十分であり得る（または代替的に、特異値分解ＳＶＤを用いて特徴空間を圧縮することは、有用であり得る）ことが暗示され得る。
【0050】
いくつかの例では、一般化されたクロスユーザ分類モデルが使用され得る。分類器は、数人のユーザから収集されたデータを用いてトレーニングされ得、取得されたトレーニングされた分類器は、テストユーザに対して分類器の性能についてテストされ得る。上記で説明されたように、いくつかのタイプの分類器が、最適なタイプの分類器を決定するために実装され得る。１人のユーザから抽出されたデータは、交差検証目的のために残され得る。平均して、実装されたモデルにわたって実現される精度は、８２％のあたりであり得る。ユーザにわたる大きい分散も観測され得る。
【0051】
図１５は、一般化されたクロスユーザ分類モデルの精度レベルを図示し、いくつかの分類器は、１００％の精度に到達し得、他のものは、６０％を下回る精度に到達するのみであり得ることを示す。図１６も、妥当な精度レベルが、線形回帰に基づく分類器を使用して実現され得ることを指し示す。
【0052】
いくつかの例では、ユーザのペアにわたるモデル伝達が使用され得る。分類器モデルは、１人のユーザから抽出されたデータに基づいてトレーニングされ得、次いで、モデルの精度は、１人おきのユーザについてのデータに関して次いで評価され得る。分類器モデルは、ロジスティック回帰に基づき得る。
【0053】
図１６は、線形回帰に基づくユーザ固有分類器の伝達性を図示し、伝達精度の大きい変動性が観測され得ることを示す。いくつかのユーザ固有モデルは、何人かの他のユーザに十分に伝達され得る。いくつかのユーザ固有モデルは、たいていの他のユーザへの良好な伝達をもつ良好な受取側（たとえば、図１６中に示されている「アレックス」のためのユーザモデル）であるように見え、他のユーザ固有モデル（たとえば、「ロブ」のためのユーザモデル）は、他のユーザとの良好な一致を有するように見えない。
【0054】
いくつかの例では、ユーザ適応も使用され得る。シングルユーザイベント分類モデルの調査に基づいて、シングルユーザから導出された偶数個のクラスが分離され得、相対的に少量のラベリングされたトレーニングデータが、適度に正確なシングルユーザイベント分類モデルを取得するために使用され得る。
【0055】
一般化されたクロスユーザ分類モデル結果から、いくつかのユーザ固有分類モデルが他のユーザに十分に伝達することが推論され得る。これらの初期結果に基づいて、以下の例は、以下の通りである。いくつかの例では、現在のユーザについてラベルの良好な推定値を得るために、他の（異なる）ユーザからのモデルが使用され得る。また、ラベルのこの推定を使用して、ユーザ固有モデルは、ラベリングされたデータを用いてトレーニングされたシングルユーザモデルのものに近い性能を取得するようにトレーニングされ得る。
【0056】
ユーザ埋込みも使用され得る。２つのイベントクラスがクラスタリングされ得る埋込み空間が生成され得る。ユーザ伝達行列は、各テストユーザについて、概して、十分に伝達し得るいくつかの（たとえば、２つの）シングルユーザモデルがあることを示唆する。シングルユーザモデルの集合の出力を含むユーザ埋込み空間が、構築され得る。詳細には、共分散特徴に対する単純最寄重心分類器（ＸＤＣｏｖ＋ＭＤＭ）が、作り上げられ得る。線形回帰または他の代替確率モデルに関するＸＤＣｏｖ＋ＭＤＭ手法の利点は、モデルが不適切に較正され得る場合でも、イベントが、クラスタ可分性に依然として寄与し得るということである。
【0057】
ＸＤＣｏｖ＋ＭＤＭモデルの出力は、各イベントクラスの重心までの距離に対して適用されたｓｏｆｔｍａｘの関数であり得る。いくつかの例（たとえば、バイナリ分類）では、１つの次元が、各ユーザ固有モデルについて使用され得る。しかしながら、次元数は、たとえば、バイナリ分類よりも大きい、３つ以上の起こり得るクラスのプールから行われ得る分類など、分類タイプに応じて拡大され得る。
【0058】
ユーザに関連する埋込みは、１人のユーザを引いたすべてのユーザから、すなわち、ユーザのグループから導出されたサンプルを用いてトレーニングされ得る。その後、埋込みのトレーニングで使用されなかったユーザに関連するサンプルは、トレーニングされた埋込みにプロジェクトされ得る。これにより、Ｘ－１次元の空間がもたらされ得、Ｘは、ユーザのグループからのユーザの数である。
【0059】
図１７Ａ～図１７Ｑは、各次元について、ジェスチャーの２つのクラス（人差し指タップおよび中指タップ）の例示的な分布を示す。２つのクラスの分離は、いくつかのモデルでは、区別され得、他のモデルは、約同等の分布を示す。いくつかの例では、モデルが、最適に較正されない（すなわち、クラスの間の最適な分離が、０．５にないことがある）とき、モデルは、２つのクラスを依然として効果的に分離し得る。
【0060】
上記で説明された埋込みをもたらした後、（人差し指タップおよび中指タップまたはピンチまたはスナップまたは分離されるべき他のジェスチャータイプなど）異なるタイプのイベントクラスに対応するクラスタを分離するために、クラスタリングプロセスが実行され得る。たとえば、Ｋ－ｍｅａｎｓプロセスが、埋込みを使用してもたらされたデータポイントのセット上で走らされ得る。
【0061】
図１８Ａおよび図１８Ｂは、ＵＭＡＰおよびＰＣＡを使用した分離されたクラスタの例を図示し、そのようなクラスタが、図１８Ａ中のようなＵｎｉｆｏｒｍ Ｍａｎｉｆｏｌｄ Ａｐｐｒｏｘｉｍａｔｉｏｎ ａｎｄ Ｐｒｏｊｅｃｔｉｏｎ（ＵＭＡＰ）、または図１８Ｂ中に示されている主成分分析（ＰＣＡ）のいずれかを使用してプロットされ得ることを示す。各々、（ジェスチャータイプなど）異なるイベントクラスおよび異なるラベルに対応し得る、いくつかのクラスタ（たとえば、２つのクラスタ）が見られ得る。埋込み空間は、（「ｐｒｏｂａ」と称され得る）意味を搬送するので、各クラスタは、クラスタの対応するクラスに関連し得る。
【0062】
自己教師ありユーザモデルも開発され得る。ラベルのセットが、たとえば、クラスタリング技法を使用してもたらされ得た後、そのようなラベルは、元のデータセットからのユーザ固有モデルをトレーニングするために使用され得る。たとえば、選定された分類モデルが、実質的にモデルにオーバーフィットせず、ラベリングされたデータ中に含まれるノイズに鈍感であり得ることがわかっている場合、ＸＤＣｏｖおよび直線変位分析、または他の好適な分類モデルが実装され得る。
【0063】
図１９は、自己教師ありモデルを使用して実現された例示的な精度レベルを図示し、ラベルの推定または分類に関する約９９％の精度が、自己教師ありモデルをトレーニングした後に実現され得ることを示す。この例では、２回のトレーニング反復で十分であり得る。
【0064】
９８％の精度が、ユーザのグループからのすべてのユーザのデータポイントを含み得る、完全なトレーニングセットを使用して実現され得る。
【0065】
図２０は、教師ありユーザ固有モデルおよび自己教師ありユーザ固有モデルを使用して実現された精度レベルを図示し、自己教師ありモデルが、ラベリングされたデータを用いてトレーニングされたユーザ固有モデルよりもうまく機能することを示す。残りの破線および点線は、起こり得る不確実性の定性的表示を与える。
【0066】
ウィンドウサイズは、自己教師ありモデルの性能を改善するように調整され得る。ウィンドウサイズが増加するときに自己教師ありモデルの精度を観測することが、最適なウィンドウサイズを決定するために使用され得る。１人のユーザからのデータは、モデルの交差検証について省略され得る。クラスタリングおよびユーザ固有モデルのために、１０％のテストデータおよび９０％のトレーニングデータを用いた１０フォールドランダムスプリットが使用され得る。この場合、自己教師ありモデルは、フルウィンドウサイズを用いてより良く機能したと決定され得る。これは、この事例では、小さいウィンドウサイズが、分離可能クラスタをもたらさなかったという観測によって解説され得る。したがって、大きいウィンドウサイズが、ラベリングされたデータを取得するために使用され得、次いで、ユーザ固有モデルは、相対的に小さいウィンドウサイズを使用して、たとえば、ラベルを使用してトレーニングされ得る。
【0067】
図２１は、ユーザ固有についてのウィンドウサイズ決定（実線）および自己教師ありモデルについてのウィンドウサイズ決定（下側の破線）を図示する。残りの破線および点線は、起こり得る不確実性の定性的表示を与える。
【0068】
類似の手法が、データサイズの影響を研究するために使用され得る。シングルユーザモデルのアンサンブルが、性能を評価するために使用され得る。交差検証は、整合のために１人のユーザを残すことと、次いで、１０％のテストデータおよび５から９０％までの増加するトレーニングサイズを用いた同じ１０フォールドランダムスプリットを使用することとを含み得る。アンサンブル手法は、３０個のイベントの後に９６％の精度に到達し得、次いで、精度は、その後、より多数のイベントについて安定状態になり得る。
【0069】
教師ありドメイン適応は、カノニカル部分最小２乗（ＣＰＬＳ）モデルを使用し得る。いくつかの例では、ドメイン適応に基づく方法が、たとえば、ユーザにわたる十分な伝達を生じ得るデータ変換を決定することによって、ユーザ固有モデルを作り上げる代わりに使用され得る。ＣＰＬＳモデルは、ドメイン適応を実施するために使用され得る。変換関数が、１人のユーザについて、別のユーザの各イベントクラス（たとえば、人差し指タップ、中指タップ、人差し指と親指でのピンチ、中指と親指でのピンチ、指スナップなど、異なるジェスチャータイプ）のためのモデルを用いて、各イベントクラスのモデルを整合させるように決定され得る。
【0070】
【0071】
【0072】
図２３Ａ～図２３Ｂは、第１のユーザおよび第２のユーザに関連するイベントクラスのためのモデルの整合を示し、１人のユーザのためのイベントクラスのモデルが、別のユーザのためのイベントクラスの対応するモデルと整合され得ることを示す。垂直破線はキープレスに対応する。一つには、２人のユーザの各イベントクラスの元のモデルが実質的に異なり得、それでも元のモデルが整合の後にほぼ同一となり得るので、整合が効率的であり得る。
【0073】
整合の後のデータ分布が、変換の前および後のデータのＵＭＡＰ埋込みについて考えることによって研究され得る。
【0074】
図２４Ａ～図２４Ｂは、変換の前および後の例示的なデータを示す。図２４Ａは、元のデータが明確に分離され得、最大変動が２人のユーザにわたって見られ得ることを示す。変換の後、イベントの２つのイベントクラスは、たとえば、図２４Ｂ中に示されているように、高い精度で一致し得る。
【0075】
ユーザのグループからのユーザの各ペアについての変換プロセスが、研究され得る。ユーザ間伝達行列は、整合を実施した後に複製され得る。シングルユーザモデルがトレーニングされ得、次いで、各テストユーザについて、データが整合され得、モデルの精度が、変換されたデータに対してテストされ得る。交差検証は、テストユーザについて、最初の４０個のイベント（または他の数のイベント）に対してイベントクラスモデルを推定することと、次いで、ドメイン適応を実施することと、最後に、残りのイベント（たとえば、１２０個のイベント）に対してモデルの精度をテストすることとを含み得る。これらの（および他の）例で使用された数値は、例示的であり、限定ではない。
【0076】
図２５Ａは、ユーザのグループ中のすべてのユーザからのユーザにわたる伝達を図示し、プロセスが、シングルユーザモデルの、任意の他のユーザへの伝達を向上させ得ることを示す。
【0077】
最適な適応に到達するために必要とされるデータの量が、決定され得る。性能評価は、一つには、ユーザのペアの間でデータを適応させることが可能であり得るので、シングルユーザモデルのアンサンブルを使用して行われ得る。交差検証は、１人のユーザを整合から除外することと、その後、１０％のテストデータを用いた１０フォールドランダムスプリットを使用することと、５から９０％までトレーニングサイズを増加させることとを含み得る。数値は、例示的であり、限定ではない。
【0078】
図２５Ｂは、伝達関数に基づく教師ありドメイン適応のためのデータサイズの決定を図示し、精度対トレーニングイベントの数を示す。結果は、アンサンブルが、３０個のイベントの後に９６％の精度に到達し得、その後、安定状態になり得ることを示す。残りの破線および点線は、起こり得る不確実性の定性的表示を与える。
【0079】
図２６Ａ～図２６Ｂは、以下、すなわち、人間機械インターフェース、インターフェースデバイス、制御デバイス、および／または制御インターフェースのうちの１つまたは複数を含み得る、例示的なデバイスを図示する。いくつかの例では、デバイスは、（図２６Ａ中に示されている）この例では、ユーザの下腕または手首の周囲に着用されるように構成された弾性バンド２６２０の周囲に円周方向に配列されたいくつかの（たとえば、１６個の）神経筋センサー２６１０（たとえば、ＥＭＧセンサー）を含み得る、制御デバイス２６００を含み得る。いくつかの例では、ＥＭＧセンサー２６１０は、弾性バンド２６２０の周囲に円周方向に配列され得る。バンドは、いくつかの例では、１つまたは複数のセンサーハウジング２６６０で囲いをされ得る別個のセンサーおよび電子回路を相互接続し得る、（図２６Ｂ中に示されている）可撓性電子接続２６４０を含み得る。各センサー２６１０は、１つまたは複数の電極を含み得る、皮膚接触部分２６５０を有し得る。任意の好適な数の神経筋センサー２６１０が、使用され得る。神経筋センサーの数および配列は、制御デバイスが使用される特定の適用例に依存し得る。たとえば、アームバンド、リストバンド、またはチェストバンドとして構成されたウェアラブル制御デバイスが、拡張現実システムを制御する、ロボットを制御する、車両を制御する、テキストをスクロールする、仮想アバターを制御する、または任意の他の好適な制御タスクのための制御情報を生成するために使用され得る。図示のように、センサーは、ワイヤレスデバイスに組み込まれた可撓性エレクトロニクスを使用して、ともに結合され得る。
【0080】
図２６Ｂは、図２６Ａ中に示されている制御デバイス２６００のセンサー２６１０のうちの１つを通る断面図を図示する。センサー２６１０は、皮膚接触表面２６５０内に位置決めされた複数の電極を含み得る。弾性バンド２６２０は、可撓性電気コネクタ２６４０に少なくとも部分的に囲いをし得る、外側フレキシブル層２６２２と内側フレキシブル層２６３０とを含み得る。
【0081】
いくつかの実施形態では、検知構成要素のうちの１つまたは複数の出力は、随意に、（たとえば、増幅、フィルタ処理、整流、および／または別の好適な信号処理機能を実施するために）ハードウェアベース信号処理回路を使用して処理され得る。いくつかの実施形態では、検知構成要素の出力の少なくとも一部の信号処理は、ソフトウェアで実施され得る。これにより、センサーによってサンプリングされた信号の信号処理は、ハードウェアで、ソフトウェアで、またはハードウェアとソフトウェアの任意の好適な組合せによって実施され得、本明細書で説明される技術の態様は、この点について限定されない。センサー２６１０からの信号データを処理するために使用されるアナログ回路の非限定的な例が、図２７Ａおよび２７Ｂを参照しながら、以下でより詳細に考察される。
【0082】
図２７Ａおよび図２７Ｂは、たとえば、１６個のＥＭＧセンサーなど、１つまたは複数のＥＭＧセンサーを含み得る装置の内部構成要素をもつ概略図を図示する。装置は、（図２７Ａ中に概略的に示されている）制御デバイス２７１０など、ウェアラブルデバイスと、（たとえば、ＢＬＵＥＴＯＯＴＨまたは別の好適な短距離ワイヤレス通信技術を使用して）制御デバイス２７１０と通信していることがある（図２７Ｂ中に概略的に示されている）ドングル部分２７５０とを含み得る。いくつかの例では、ドングル部分の機能（たとえば、図２７Ｂ中に示されているものと類似の回路）は、ヘッドマウントデバイス内に含まれ得、制御デバイスが、ヘッドマウントデバイスと通信することを可能にする。
【0083】
図２７Ａは、制御デバイス２７１０が、１つまたは複数のセンサー２７１２、たとえば、図２６Ａおよび２６Ｂに関連して上記で説明されたセンサー２６１０を含み得ることを示す。センサーは、各々、１つまたは複数の電極を含み得る。センサー２７１２からのセンサー信号は、センサー信号のアナログ処理（たとえば、ノイズ低減、フィルタ処理など）を実施するように構成され得る、アナログフロントエンド２７１４に提供され得る。処理されたアナログ信号は、次いで、アナログデジタル変換器（ＡＤＣ）２７１６に提供され得、ＡＤＣ２７１６は、処理されたアナログ信号を、次いで、１つまたは複数のコンピュータプロセッサによってさらに処理され得るデジタル信号に変換し得る。いくつかの実施形態に従って使用され得る例示的なコンピュータプロセッサは、マイクロコントローラ（ＭＣＵ）２７２２を含み得る。ＭＣＵ２７２２はまた、他のセンサー（たとえば、慣性測定ユニット（ＩＭＵ）センサー２７１８などの慣性センサー、または他の好適なセンサー）から信号を受信し得る。制御デバイス２７１０はまた、バッテリーモジュールまたは他の電源を含み得る電源２７２０を含むか、または電源２７２０から電力を受信し得る。ＭＣＵ２７２２によって実施された処理の出力は、図２７Ｂ中に示されているドングル部分２７５０への送信のために、アンテナ２７３０に提供され得る。
【0084】
図２７Ｂは、ドングル部分２７５０が、制御デバイス２７１０に関連付けられたアンテナ２７３０と通信するように構成され得る、アンテナ２７５２を含み得ることを示す。アンテナ２７３０および２７５２の間の通信は、その非限定的な例が無線周波数シグナリングおよびＢＬＵＥＴＯＯＴＨを含む、任意の好適なワイヤレス技術およびプロトコルを使用して行われ得る。図示のように、ドングル部分２７５０のアンテナ２７５２によって受信された信号は、ＢＬＵＥＴＯＯＴＨ無線器（または他の受信器回路）によって受信され、さらなる処理、表示のために、および／または１つまたは複数の特定の物理的または仮想オブジェクトの制御を遂行するために、出力２７５６（たとえば、ＵＳＢ出力）を通してホストコンピュータに提供され得る。
【0085】
いくつかの例では、ドングルは、ユーザと同じ環境内に位置するが、ユーザによって携帯されないことがある、別個のコンピュータデバイスに挿入され得る。この別個のコンピュータは、制御デバイスから制御信号を受信し、ヘッドマウントデバイスにさらなる制御信号を提供するために、これらの信号をさらに処理し得る。制御信号は、人工現実ビューを変えるように、ヘッドマウントデバイスをトリガし得る。いくつかの例では、ドングル（あるいはヘッドマウントデバイスまたは他のデバイス中の等価回路）は、ネットワークイネーブルされ、ネットワークを通したリモートコンピュータとの通信を可能にし得、リモートコンピュータは、人工現実ビューを変えるように、ヘッドマウントデバイスをトリガするために、ヘッドマウントデバイスに制御信号を提供し得る。いくつかの例では、ドングルは、改善された通信機能性を提供するために、ヘッドマウントデバイスに挿入され得、ヘッドマウントデバイスは、制御デバイス２７１０から受信された制御信号に基づいて、さらなる処理（たとえば、ＡＲ画像の変更）を実施し得る。
【0086】
いくつかの例では、ドングル部分の構成は、人工現実ヘッドセットなど、ヘッドマウントデバイス中に含まれ得る。いくつかの例では、図２７Ｂ中で上記で説明された回路は、ヘッドマウントデバイスの構成要素によって提供され（すなわち、ヘッドマウントデバイス内に組み込まれ）得る。いくつかの例では、制御デバイスは、説明されるワイヤレス通信、および／または類似の概略回路、または類似の機能性を有する回路を使用して、ヘッドマウントデバイスと通信し得る。
【0087】
ヘッドマウントデバイスは、図２７Ｂに関して上記で説明されたアンテナ２７５２に類似したアンテナを含み得る。ヘッドマウントデバイスのアンテナは、制御デバイスに関連付けられたアンテナと通信するように構成され得る。制御デバイスおよびヘッドマウントデバイスのアンテナの間の通信は、その非限定的な例が無線周波数シグナリングおよびＢＬＵＥＴＯＯＴＨを含む、任意の好適なワイヤレス技術およびプロトコルを使用して行われ得る。ヘッドマウントデバイスのアンテナによって受信された、制御信号など、信号は、ＢＬＵＥＴＯＯＴＨ無線器（または他の受信器回路）によって受信され、制御信号に応答してユーザのための人工現実ビューを変えるようにプログラムされ得る、ヘッドマウントデバイス内のプロセッサに提供され得る。制御信号は、たとえば、検出されたジェスチャータイプに応答して、ユーザに提示される人工現実ビューを変えるように、ヘッドマウントデバイスをトリガし得る。
【0088】
例示的なデバイスは、制御デバイスと、（たとえば、ＢＬＵＥＴＯＯＴＨまたは別の好適な短距離ワイヤレス通信技術を介して）制御デバイスと通信している（１つまたは複数のドングル部分、ヘッドセット、リモートコンピュータデバイス、および同様のものなど）１つまたは複数のデバイスとを含み得る。制御デバイスは、１つまたは複数の電極を含む電気センサーを含み得る、１つまたは複数のセンサーを含み得る。センサー信号と呼ばれることがある、電極からの電気出力は、センサー信号のアナログ処理（たとえば、フィルタ処理など）を実施するように構成されたアナログ回路に提供され得る。次いで、処理されたセンサー信号は、１つまたは複数のコンピュータプロセッサによって処理され得るデジタル信号にアナログ信号を変換するように構成され得る、アナログデジタル変換器（ＡＤＣ）に提供され得る。例示的なコンピュータプロセッサは、（ノルディックセミコンダクター製の）ｎＲＦ５２８４０など、１つまたは複数のマイクロコントローラ（ＭＣＵ）を含み得る。ＭＣＵはまた、１つまたは複数の他のセンサーから入力を受信し得る。デバイスは、絶対配向センサーであり得、慣性測定ユニットを含み得る、配向センサーなど、１つまたは複数の他のセンサーを含み得る。例示的な配向センサーは、（ボッシュセンサーテック製の）ＢＮＯ０５５慣性測定ユニットを含み得る。デバイスは、電力およびバッテリーモジュールなど、専用電源をも含み得る。ＭＣＵによって実施された処理の出力は、ドングル部分または別のデバイスへの送信のために、アンテナに提供され得る。他のセンサーは、機械筋学（ＭＭＧ）センサー、音響筋学（ＳＭＧ）センサー、電気インピーダンス断層撮影（ＥＩＴ）センサー、および他の好適なタイプのセンサーを含み得る。
【0089】
ドングル部分、またはヘッドマウントデバイスなどの他のデバイスは、制御デバイスおよび／または他のデバイスと通信するように構成された１つまたは複数のアンテナを含み得る。システム構成要素の間の通信は、無線周波数シグナリングおよびＢＬＵＥＴＯＯＴＨなど、任意の好適なワイヤレスプロトコルを使用し得る。ドングル部分（または他のデバイス）のアンテナによって受信された信号は、さらなる処理、表示のために、および／または１つまたは複数の特定の物理的または仮想オブジェクトの制御を遂行するために、ＵＳＢ出力など、出力を通してコンピュータに提供され得る。
【0090】
図２６Ａ、図２６Ｂおよび図２７Ａ、図２７Ｂを参照しながら提供された例は、ＥＭＧセンサーとのインターフェースのコンテキストにおいて考察されたが、例は、限定はしないが、機械筋学（ＭＭＧ）センサー、音響筋学（ＳＭＧ）センサー、および電気インピーダンス断層撮影（ＥＩＴ）センサーを含む他のタイプのセンサーとともに使用される、ウェアラブルインターフェースなど、制御デバイスにおいても実装され得る。本明細書で説明される手法は、ワイヤおよびケーブル（たとえば、ＵＳＢケーブル、光ファイバーケーブル）を通してコンピュータホストと通信するウェアラブルインターフェースにおいても実装され得る。
【0091】
図２８は、ヘッドセット２８１０と、（ウェアラブル制御デバイスを表し得る）制御デバイス２８２０とを含み得る例示的なシステム２８００を図示する。いくつかの例では、システム２８００は、磁気トラッカーを含み得る。これらの例では、磁気トラッカーのための送信器は、制御デバイス２８２０上に搭載され得、磁気トラッカーのための受信器は、ヘッドセット２８１０上に搭載され得る。他の例では、磁気トラッカーのための送信器は、ヘッドセット上に搭載されるか、またはさもなければ、環境内に位置決めされ得る。いくつかの実施形態では、システム２８００は、１つまたは複数の随意の制御グローブ２８３０をも含み得る。いくつかの例では、制御グローブの多くのまたはすべての機能は、制御デバイス２８２０によって提供され得る。いくつかの例では、システムは、拡張現実および／または仮想現実システムであり得る。いくつかの例では、制御グローブ２８３０は、複数の磁気トラッカー受信器を含み得、複数の磁気トラッカー受信器を使用して、ユーザの手の様々な部位の向きおよび／またはロケーションが決定され得る。いくつかの例では、制御デバイス２８２０は、図２６Ａおよび図２６Ｂ中に示されているものに類似していることがある。いくつかの例では、制御デバイスは、図２７Ａ（および／または図２７Ｂ）中に示されているものに類似した電子回路を含み得る。
【0092】
いくつかの例では、（グローブとより簡単に呼ばれることがある）制御グローブ２８３０は、１つまたは複数の磁気トラッカー受信器を含み得る。たとえば、グローブの指は、少なくとも１つの受信器コイルを含み得、磁気トラッカー送信器によって誘起された少なくとも１つの受信器コイルからのトラッカー信号の検出は、指の少なくとも一部分の位置および／または向きを決定するために使用され得る。１つまたは複数の受信器コイルは、（親指など）指、手のひら、および同様のものなど、手の各部分に関連付けられ得る。グローブは、電気活性センサーなど、手の位置および／または構成を示すセンサー信号を提供する他のセンサーをも含み得る。磁気トラッカー受信器信号など、センサー信号は、ウェアラブル制御デバイスなど、制御デバイスに送信され得る。いくつかの例では、（手首搭載型制御デバイスなど）制御デバイスは、制御グローブと通信しており、ワイヤードおよび／またはワイヤレス通信を使用して制御グローブからセンサーデータを受信し得る。たとえば、可撓性電気コネクタは、制御デバイス（たとえば、手首搭載型制御デバイス）とグローブとの間で拡大し得る。いくつかの例では、制御デバイスは、グローブを含み得、および／またはリストストラップを含み得る。
【0093】
いくつかの例では、制御デバイス２８２０は、図２６Ａおよび図２６Ｂ中に図示されているデバイスに類似したＥＭＧ制御インターフェースを含み得る。制御デバイス２８２０上にまたは近くに磁気トラッカー送信器を位置決めすることは、誘導電流および／または電圧により、制御デバイス２８２０によって記録される信号へのノイズの導入を生じ得る。いくつかの実施形態では、磁気トラッカー送信器によって生じる電磁干渉は、制御デバイス２８２０からさらに離れた距離に送信器を位置決めすることによって低減され得る。たとえば、送信器は、ヘッドセット２８１０上に搭載され得、磁気トラッカー受信器は、制御デバイス２８２０上に搭載され得る。この構成は、たとえば、ユーザが、自分の頭から離れて自分の腕を保つとき、うまく動作するが、ユーザがヘッドセットに極めて近接して自分の腕を移動する場合、同様には動作しないことがある。しかしながら、多くの適用例は、ユーザの頭と手との間の広い近接性を必要としない。
【0094】
ウェアラブル制御デバイス２８２０など、制御デバイスは、ユーザの体から（たとえば、皮膚と接触している電極、および／または１つまたは複数の他のセンサーから）発信したアナログ電気信号を増幅するように構成された少なくとも１つの増幅器を含むアナログ回路と、仮想現実（ＶＲ）および／または拡張現実（ＡＲ）システムなど、システムを制御するために使用され得るデジタル信号に、増幅されたアナログ電気信号を変換するように構成されたアナログデジタル変換器とを含み得る。
【0095】
いくつかの例では、拡張現実システムは、磁気トラッカーを含み得る。磁気トラッカーは、ヘッドセットまたは他のロケーション中に配置された送信器と、追跡されるオブジェクト、あるいは（ユーザの、手、または他の四肢もしくは他の四肢の部分、または関節など）ユーザの身体部位に関連付けられ得る、１つまたは複数の受信器とを含み得る。
【0096】
図２９は、ユーザから筋電図（ＥＭＧ）データを取得すること（２９１０）であって、ＥＭＧデータは、イベントに対応するＥＭＧ信号を含む、ＥＭＧデータを取得することと、イベントに対応するＥＭＧ信号を検出することと（２９２０）、イベントタイプからのものであるとしてＥＭＧ信号を分類することと（２９３０）、イベントタイプに基づいて制御信号を生成することと（２９４０）を含む、イベントを分類する例示的な方法（２９００）を示す。例示的な方法は、制御信号に基づいて、人工現実環境を制御する人工現実ビューを変えるように、ヘッドマウントデバイスをトリガすることをさらに含み得る。
【0097】
図３０は、イベントに対応するＥＭＧ信号を検出することと（３０１０）、トレーニングされたモデルを使用して、イベントタイプに対応するものとしてＥＭＧ信号を分類することと（３０２０）、イベントタイプに基づいて、人工現実環境のための制御信号を生成することと（３０３０）を含む、イベントを分類する例示的な方法（３０００）を示す。制御信号は、人工現実ビューを変えるように、ヘッドマウントデバイスをトリガし得る。
【0098】
いくつかの例では、図２９および図３０は、少なくとも１つのジェスチャーを検出することと、拡張現実システムまたは仮想現実システムなど、人工現実システムを制御するために、少なくとも１つの検出されたジェスチャータイプを使用することとを行うための例示的コンピュータ実装方法の流れ図を表し得る。図中に示されている１つまたは複数のステップは、任意の好適なコンピュータ実行可能コード、および／あるいは制御デバイス、ヘッドマウントデバイス、制御デバイスと通信している他のコンピュータデバイス、またはセンサー信号を提供するデバイスと通信しているコンピュータデバイスなど、コンピュータデバイスによって実施され得る。いくつかの例では、図２９および／または図３０中に示されているステップのうちの１つまたは複数は、本明細書で説明されるものなどの手法を使用する、構造が複数のサブステップを含みおよび／または複数のサブステップによって表される、アルゴリズムを表し得る。いくつかの例では、特定の例示的な方法のステップは、たとえば、制御デバイスおよびヘッドマウントデバイスを含むシステムの異なる構成要素によって実施され得る。
【0099】
いくつかの例では、イベント検出および分類は、教師なしまたは自己教師ありモデルによって実施され得、これらの手法は、ユーザジェスチャーを検出するために使用され得る。モデルは、特定のユーザについてトレーニングされ得るか、またはいくつかの例では、モデルは、異なるユーザに対してトレーニングされ得、異なるユーザのためのトレーニングデータは、現在のユーザとともに使用するために適応される。例示的なトレーニング手法では、ＥＭＧデータは、検出され、随意に、分析のために記録され得る。モデルは、１人または複数のユーザが、１つまたは複数のジェスチャーを実施したときに取得され得るＥＭＧデータを使用して、トレーニングされ得る。例示的なジェスチャーは、指タップ（たとえば、シミュレートされたキープレス）、（フィンガーカール、スワイプ、ポインティングジェスチャー、および同様のものなど）他の指の動きを含むか、または他のタイプのジェスチャーおよび／またはセンサーデータが、例示的なイベント検出器モデルをトレーニングするために同様に使用され得る。
【0100】
いくつかの実施形態では、シングルユーザモデルを含む埋込み空間を作り上げることによって、イベントの明らかに分離可能なクラスタが取得され得る。クラスタリング技法は、各イベントのためのラベルを決定するように実装され得、次いで、ユーザ固有モデルは、ラベリングされたデータを使用してトレーニングされ得る。これらの技法のうちの少なくとも１つを使用することによって、極めて高い精度率（たとえば、９８％の精度率）が、純粋に教師なしの仕方で到達され得る。たとえば、相対的に少数のサンプル（たとえば、４０個未満のイベントサンプル）を使用して、相対的に高い精度（たとえば、９５％の精度）が実現され得る。
【0101】
さらに、いくつかの実施形態では、シングルユーザイベントテンプレートが、他のユーザに適応され、適応されたユーザの場合のモデルの使用のために必要とされ得る追加のデータの量をさらに低減し得る。たとえば、ドメインが、ユーザのペアにわたってデータセットを整合させることによって、ＰＬＳを使用して適応され得る。たとえば、ＰＬＳは、ユーザにわたってイベントテンプレートを整合させるようにトレーニングされ得る。整合されたユーザテンプレートのアンサンブルは、高い精度（たとえば、９６％の精度）につながり、極めて少ないイベントデータが収集されることを必要とし得る（たとえば、１０個未満のイベント）。
【0102】
ポーズは、経時的に静的である身体位置として定義され得、理論上、無期限に維持され得る。対照的に、いくつかの例では、ジェスチャーは、発生ごとに、開始時間および終了時間を有し得る、動的身体位置を含むものとして定義され得る。したがって、ジェスチャーは、特定のジェスチャータイプの個別のイベントとして定義され得る。ジェスチャータイプの代表例は、スナップ、指タップ、フィンガーカールまたはベンド、ポインティング、スワイピング、回転、把持、または他の指の動きを含む。いくつかの例では、ジェスチャーは、腕、手首、または手の少なくとも一部分の移動、あるいは他の筋肉アクティブ化を含み得る。いくつかの例では、ユーザの視覚的に知覚可能な移動は、必要とされないことがあり、ジェスチャーは、ユーザの身体の一部分の任意の視覚的に知覚可能な移動とは無関係に、筋肉アクティブ化パターンによって定義され得る。
【0103】
一般的なイベント検出器は、ジェスチャーイベントが、たとえば、筋電図（ＥＭＧ）データの連続ストリーム中で検出されたとき、出力信号を生成し得る。人工現実システムなど、コンピュータデバイスのための制御信号は、一般的なイベント検出器の出力信号に基づき得る。一般的なイベント検出器は、ユーザがジェスチャーを実施するたびに、出力信号をもたらし得る。いくつかの例では、出力信号は、実施されたジェスチャーのタイプとは無関係に、もたらされ得る。いくつかの例では、イベント分類器は、イベント検出器が、ジェスチャーなど、イベントを検出したとき、実行し得る。イベント分類器は、ユーザによって実施された、ジェスチャータイプなど、ジェスチャーに関係する情報を決定し得る。ジェスチャータイプは、以下、すなわち、実施された身体的アクション、身体的アクションを実施するために使用された（指または他の身体部位など）身体部位、ユーザの意図されたアクション、同じまたは約同じ時間実施された他の身体的アクションのうちの１つまたは複数を含み得る。制御信号は、１つまたは複数のセンサータイプからのセンサーデータの組合せにも基づき得る。対応する制御信号は、拡張現実（ＡＲ）システムに送られ得、制御信号は、ジェスチャータイプに少なくとも部分的に基づき得る。制御信号は、以下、すなわち、項目の選択、タスクの性能、ジェスチャータイプによって少なくとも部分的に決定され得る程度および／または方向だけのオブジェクトの移動、オブジェクト（たとえば、現実または仮想オブジェクト）のユーザインターフェースとの対話、または他のアクションのうちの１つまたは複数によって人工現実表示を変え得る。いくつかの実施形態では、ジェスチャーは、筋電図ウェーブレットなど、１つまたは複数の筋電図信号に基づいて、特定のジェスチャータイプとして分類され得る。
【0104】
いくつかの例では、ジェスチャーなど、イベントを検出する方法は、第１のユーザのジェスチャーに対応する筋電図（ＥＭＧ）信号を含むＥＭＧデータの第１のセットを取得することと、ＥＭＧ信号の取得された第１のセットから決定されたイベントデータをクラスタリングすることによって、第１の分類器をトレーニングすることと、第１の分類器を使用して、取得されたＥＭＧデータの第２のセットをラベリングすることと、ＥＭＧデータのラベリングされた第２のセットを使用して、イベント検出器をトレーニングすることとを含み得る。
【0105】
いくつかの例では、ジェスチャーなど、イベントを分類するための方法は、以下のステップ、すなわち、複数のシングルユーザイベント分類器を生成することと、複数のシングルユーザ分類器を使用して、マルチユーザイベント分類器を生成することと、生成されたマルチユーザ分類器を使用して、筋電図（ＥＭＧ）データをラベリングすることと、複数のユーザに対応するデータ変換を生成することと、複数のユーザのうちの第１のユーザと相関させられたシングルユーザ分類器を生成することと、第２のユーザについてのデータ変換および第１のユーザのためのシングルユーザ分類器を使用して、複数のユーザのうちの第２のユーザについての受信されたＥＭＧデータをラベリングすることと、ラベリングされたＥＭＧデータを使用して、イベント検出器をトレーニングすることとのうちの１つまたは複数を含み得る。
【0106】
いくつかの例では、ジェスチャー検出器など、イベント検出器をトレーニングするための方法が提供される。方法は、以下のステップ、すなわち、ジェスチャーに対応する筋電図（ＥＭＧ）信号を含むＥＭＧデータを取得することと、ＥＭＧデータから特徴データを生成することと、特徴データ中のイベントを検出することと、特徴データを使用してエポックを生成することであって、各エポックは、検出されたイベントのうちの１つの周囲でセンタリングされ得る、エポックを生成することと、エポックをタイプにクラスタリングすることであって、タイプのうちの少なくとも１つは、ジェスチャーに対応し得る、エポックをクラスタリングすることと、整合されたエポックを生成するために、タイプによってエポックを整合させることと、整合されたエポックを使用して、ラベリングモデルをトレーニングすることと、ラベリングされた特徴データを生成するために、ラベリングモデルを使用して、特徴データをラベリングすることと、ラベリングされた特徴データを使用して、イベント検出器をトレーニングすることとのうちの１つまたは複数を含み得る。
【0107】
いくつかの例では、イベント分類器をトレーニングするための方法は、以下のステップ、すなわち、複数のジェスチャーに対応する筋電図（ＥＭＧ）信号を含むＥＭＧデータを取得することと、ＥＭＧデータから特徴データを生成することと、イベント検出器を使用して、特徴データ中のイベントを検出することと、特徴データを使用して、エポックを生成することであって、各エポックは、検出されたイベントのうちの１つの周囲でセンタリングされる、エポックを生成することと、エポックを使用して、シングルユーザイベント分類モデルを生成することと、シングルユーザイベント分類モデルを使用して、ＥＭＧデータをラベリングすることと、ラベリングされたＥＭＧデータを使用して、イベント分類器をトレーニングすることとのうちの１つまたは複数を含み得る。
【0108】
いくつかの例では、エポックを使用してシングルユーザイベント分類モデルを生成する方法は、以下のステップ、すなわち、エポックを使用して、ベクトル化されたエポックを生成することと、ベクトル化されたエポックを使用して、ロジスティック回帰、ランダムフォレスト、または多層パーセプトロン分類器のうちの１つまたは複数をトレーニングすることによって、シングルユーザイベント分類モデルを生成することとのうちの１つまたは複数を含み得る。いくつかの例では、エポックを使用してシングルユーザイベント分類モデルを生成することは、エポックを使用して、空間フィルタ処理された、低減された次元のエポックを生成することと、空間フィルタ処理された、低減された次元のエポックを使用して、ベクトル化されたエポックを生成することと、ベクトル化されたエポックを使用して、ロジスティック回帰、ランダムフォレスト、または多層パーセプトロン分類器のうちの１つまたは複数をトレーニングすることによって、シングルユーザイベント分類モデルを生成することとを含む。いくつかの例では、エポックを使用してシングルユーザイベント分類モデルを生成することは、エポックを使用して、１つまたは複数のイベントモデルを生成することであって、各イベントモデルは、ジェスチャーに対応する、１つまたは複数のイベントモデルを生成することと、エポックの各々を１つまたは複数のイベントモデルと組み合わせることによって、組み合わせられたエポックを生成することと、組み合わせられたエポックを使用して、ロジスティック回帰、ランダムフォレスト、または多層パーセプトロン分類器のうちの１つまたは複数をトレーニングすることによって、シングルユーザイベント分類モデルを生成することとを含む。
【0109】
いくつかの例では、イベント分類器をトレーニングするための方法が提供される。方法は、以下のステップ、すなわち、複数のユーザについての複数のジェスチャーに対応する筋電図（ＥＭＧ）信号を含むＥＭＧデータを取得することと、ＥＭＧデータから、特徴データを生成することと、イベント検出器を使用して、特徴データ中のイベントを検出することと、特徴データを使用して、エポックを生成することであって、各エポックは、検出されたイベントのうちの１つの周囲でセンタリングされる、エポックを生成することと、エポックを使用して、クロスユーザイベント分類モデルを生成することと、クロスユーザイベント分類モデルを使用して、ＥＭＧデータをラベリングすることと、ラベリングされたＥＭＧデータを使用して、イベント分類器をトレーニングすることとのうちの１つまたは複数を含み得る。
【0110】
いくつかの例では、イベント分類器をトレーニングするための方法が提供される。方法は、以下のステップ、すなわち、複数のシングルユーザイベント分類モデルを使用して、埋込みモデルを生成することと、埋込みモデルと、ユーザについての複数のジェスチャーに対応する筋電図（ＥＭＧ）信号を含むＥＭＧデータとを使用して、埋込みイベントを生成することと、複数のジェスチャーに対応するクラスタに、埋込みイベントをクラスタリングすることと、クラスタリングされた埋込みイベントに基づいて、ラベルをＥＭＧデータに関連付けることと、ＥＭＧデータおよび関連付けられたラベルを使用して、ユーザのためのイベント分類器をトレーニングすることとのうちの１つまたは複数を含み得る。
【0111】
いくつかの例では、イベント分類器をトレーニングするための方法が提供される。方法は、以下のステップ、すなわち、複数のユーザの各々について、複数のイベントの各々のためのイベントテンプレートを生成することと、複数のユーザにわたる複数のイベントの各々のためのイベントテンプレートの間の整合変換を決定することと、第２のユーザのための決定された整合変換のうちの１つを使用して、第１のユーザについてのＥＭＧデータを変換することと、変換ＥＭＧデータと、第２のユーザのシングルユーザイベント分類モデルとを使用して、ラベルをＥＭＧデータに関連付けることと、ＥＭＧデータおよび関連付けられたラベルを使用して、ユーザのためのイベント分類器をトレーニングすることとのうちの１つまたは複数を含み得る。
【0112】
いくつかの例では、ジェスチャー検出のためのシステムが提供される。システムは、少なくとも１つプロセッサと、少なくとも１つのプロセッサによって実行されたとき、ジェスチャー検出のためのシステムに、イベント検出器を使用して、イベントラベルを筋電図データの一部分に関連付けることと、イベントラベルを筋電図データの一部分に関連付けることに応答して、イベント分類器を使用して、ジェスチャーラベルを筋電図データの一部分に関連付けることと、イベントラベルまたはジェスチャーラベルのうちの少なくとも１つの指示を出力することとを含む動作を実施することを行わせる命令を含む少なくとも１つの非一時的メモリとを含み得る。
【0113】
本明細書で説明される例は、例示的な態様が非互換でないならば、そのような態様の様々な好適な組合せを含み得る。
【0114】
例示的なシステムおよび方法は、正確な教師なしの様式でジェスチャーを検出するためのユーザベースモデルを含み得る。特定のユーザについてのユーザデータの限られたセットに関してトレーニングされ得るイベント検出器モデルが提供され、ラベルおよびクラスタリング方法を使用して、イベント検出器の精度は、イベントデータインスタンスの数を限定しながら、増加され得る。
【0115】
シングルユーザモデルを含む埋込み空間を作り上げることによって、イベントの明らかに分離可能なクラスタが取得され得る。クラスタリング技法は、各イベントのラベルを決定するように実装され得、次いで、ユーザ固有モデルは、ラベリングされたデータを使用してトレーニングされ得る。いくつかの例では、９８％の精度が、純粋に教師なしの仕方で、このプロセスを適用することによって到達され得る。また、９５％の精度が、限られた数（たとえば、４０個）のイベントサンプルを使用して到達され得る。
【0116】
ＰＬＳを用いたドメイン適応は、以下のうちの１つまたは複数を含み得る。ユーザのペアにわたるデータセットは、イベントテンプレートを整合させるようにＰＬＳをトレーニングすることによって、整合され得る。整合されたシングルユーザのアンサンブルは、９６％の精度につながり得る。整合は、（１０個未満のイベントなど）極めて少量のデータが実施されることを必要とする。
【0117】
一般的なイベント検出器は、ジェスチャーイベントが、筋電図（ＥＭＧ）データの連続ストリーム中で検出されたとき、出力信号を発し得る。例示的な一般的なイベント検出器は、ユーザがジェスチャーを実施するたびに、出力信号をもたらし得、出力信号は、実施されたジェスチャーのタイプとは無関係にもたらされ得る。
【0118】
イベント分類器は、イベント検出器がジェスチャーイベントを識別したとき、実行し得る。次いで、イベント分類器は、ユーザによって実施されたジェスチャータイプを決定し得る。
【0119】
いくつかの例では、イベントを検出するための方法は、以下、すなわち、第１のユーザのジェスチャーに対応する筋電図（ＥＭＧ）信号を含むＥＭＧデータの第１のセットを取得することと、ＥＭＧ信号の取得された第１のセットから決定されたイベントデータをクラスタリングすることによって、第１の分類器をトレーニングすることと、第１の分類器を使用して、取得されたＥＭＧデータの第２のセットをラベリングすることと、ＥＭＧデータのラベリングされた第２のセットを使用して、イベント検出器をトレーニングすることとのうちの１つまたは複数を含み得る。例示的な手法は、一般的なイベント検出器を提供することを含み得る。
【0120】
いくつかの例では、イベントを分類するための方法は、以下、すなわち、複数のシングルユーザイベント分類器を生成することと、複数のシングルユーザ分類器を使用して、マルチユーザイベント分類器を生成することと、生成されたマルチユーザ分類器を使用して、筋電図（ＥＭＧ）データをラベリングすることと、複数のユーザに対応するデータ変換を生成することと、複数のユーザのうちの第１のユーザと相関させられたシングルユーザ分類器を生成することと、第２のユーザについてのデータ変換および第１のユーザのためのシングルユーザ分類器を使用して、複数のユーザのうちの第２のユーザについての受信されたＥＭＧデータをラベリングすることと、ラベリングされたＥＭＧデータを使用して、イベント検出器をトレーニングすることとのうちの１つまたは複数を含み得る。例示的な手法は、一般的なイベント分類器を提供することを含み得る。
【0121】
いくつかの例では、イベント検出器をトレーニングするための方法は、以下、すなわち、ジェスチャーに対応する筋電図（ＥＭＧ）信号を含むＥＭＧデータを取得することと、ＥＭＧデータから特徴データを生成することと、特徴データ中のイベントを検出することと、特徴データを使用してエポックを生成することであって、各エポックは、検出されたイベントのうちの１つの周囲でセンタリングされる、エポックを生成することと、エポックをタイプにクラスタリングすることであって、タイプのうちの少なくとも１つは、ジェスチャーに対応する、エポックをクラスタリングすることと、整合されたエポックを生成するために、タイプによってエポックを整合させることと、整合されたエポックを使用して、ラベリングモデルをトレーニングすることと、ラベリングされた特徴データを生成するために、ラベリングモデルを使用して、特徴データをラベリングすることと、ラベリングされた特徴データを使用して、イベント検出器をトレーニングすることとのうちの１つまたは複数を含み得る。例示的な手法は、ラベリングされていないデータをラベリングするために、分類器を生成することと、次いで、ラベリングされたデータを使用して、イベント検出器を生成することとを含み得る。
【0122】
いくつかの例では、イベント分類器をトレーニングするための方法は、以下、すなわち、複数のジェスチャーに対応する筋電図（ＥＭＧ）信号を含むＥＭＧデータを取得することと、ＥＭＧデータから特徴データを生成することと、イベント検出器を使用して、特徴データ中のイベントを検出することと、特徴データを使用してエポックを生成することであって、各エポックは、検出されたイベントのうちの１つの周囲でセンタリングされる、エポックを生成することと、エポックを使用して、シングルユーザイベント分類モデルを生成することと、シングルユーザイベント分類モデルを使用して、ＥＭＧデータをラベリングすることと、ラベリングされたＥＭＧデータを使用して、イベント分類器をトレーニングすることとのうちの１つまたは複数を含み得る。例示的な手法は、ラベリングされていないデータをラベリングするために、シングルユーザイベント分類モデルを生成することと、次いで、ラベリングされたデータを使用して、イベント分類器を生成することとを含み得る。
【0123】
いくつかの例では、エポックを使用してシングルユーザイベント分類モデルを生成することは、以下、すなわち、エポックを使用して、ベクトル化されたエポックを生成することと、ベクトル化されたエポックを使用して、ロジスティック回帰、ランダムフォレスト、または多層パーセプトロン分類器のうちの１つまたは複数をトレーニングすることによって、シングルユーザイベント分類モデルを生成することとのうちの１つまたは複数を含み得る。例示的な手法は、ベクトル化されたトライアルからシングルユーザイベント分類モデルを生成することを含み得る。
【0124】
いくつかの例では、エポックを使用してシングルユーザイベント分類モデルを生成することは、以下、すなわち、エポックを使用して、空間フィルタ処理された、低減された次元のエポックを生成することと、空間フィルタ処理された、低減された次元のエポックを使用して、ベクトル化されたエポックを生成することと、ベクトル化されたエポックを使用して、ロジスティック回帰、ランダムフォレスト、または多層パーセプトロン分類器のうちの１つまたは複数をトレーニングすることによって、シングルユーザイベント分類モデルを生成することとのうちの１つまたは複数を含み得る。この手法は、トライアルを空間フィルタ処理することによって生成された低減された次元データから、シングルユーザイベント分類モデルを生成するために使用され得る。
【0125】
いくつかの例では、エポックを使用してシングルユーザイベント分類モデルを生成することは、以下、すなわち、エポックを使用して、１つまたは複数のイベントモデルを生成することであって、各イベントモデルは、ジェスチャーに対応する、１つまたは複数のイベントモデルを生成することと、エポックの各々を１つまたは複数のイベントモデルと組み合わせることによって、組み合わせられたエポックを生成することと、組み合わせられたエポックを使用して、ロジスティック回帰、ランダムフォレスト、または多層パーセプトロン分類器のうちの１つまたは複数をトレーニングすることによって、シングルユーザイベント分類モデルを生成することとのうちの１つまたは複数を含み得る。例示的な手法は、イベントテンプレートを生成することと、イベントテンプレートをトライアルと連結することとによって、シングルユーザイベント分類モデルを生成することを含み得る。
【0126】
いくつかの例では、イベント分類器をトレーニングするための方法は、以下、すなわち、複数のユーザについての複数のジェスチャーに対応する筋電図（ＥＭＧ）信号を含むＥＭＧデータを取得することと、ＥＭＧデータから特徴データを生成することと、イベント検出器を使用して、特徴データ中のイベントを検出することと、特徴データを使用してエポックを生成することであって、各エポックは、検出されたイベントのうちの１つの周囲でセンタリングされる、エポックを生成することと、エポックを使用して、クロスユーザイベント分類モデルを生成することと、クロスユーザイベント分類モデルを使用して、ＥＭＧデータをラベリングすることと、ラベリングされたＥＭＧデータを使用して、イベント分類器をトレーニングすることとのうちの１つまたは複数を含む。例示的な手法は、ラベリングされていないデータをラベリングするために、クロスユーザイベント分類モデルを生成することと、次いで、ラベリングされたデータを使用して、イベント分類器を生成することとを含み得る。
【0127】
いくつかの例では、イベント分類器をトレーニングするための方法は、以下、すなわち、複数のシングルユーザイベント分類モデルを使用して、埋込みモデルを生成することと、埋込みモデルと、ユーザについての複数のジェスチャーに対応する筋電図（ＥＭＧ）信号を含むＥＭＧデータとを使用して、埋込みイベントを生成することと、複数のジェスチャーに対応するクラスタに、埋込みイベントをクラスタリングすることと、クラスタリングされた埋込みイベントに基づいて、ラベルをＥＭＧデータに関連付けることと、ＥＭＧデータおよび関連付けられたラベルを使用して、ユーザのためのイベント分類器をトレーニングすることとのうちの１つまたは複数を含み得る。例示的な手法は、シングルユーザイベント分類モデルのアンサンブルからのラベリングされていないデータをラベリングするために、ユーザインディペンデントなイベント分類モデルを生成することと、次いで、ラベリングされたデータを使用して、イベント分類器を生成することとを含み得る。
【0128】
いくつかの例では、イベント分類器をトレーニングするための方法は、以下、すなわち、複数のユーザの各々について、複数のイベントの各々のためのイベントテンプレートを生成することと、複数のユーザにわたる複数のイベントの各々のためのイベントテンプレートの間の整合変換を決定することと、第２のユーザのための決定された整合変換のうちの少なくとも１つを使用して、第１のユーザについてのＥＭＧデータを変換することと、変換ＥＭＧデータと、第２のユーザのシングルユーザイベント分類モデルとを使用して、ラベルをＥＭＧデータに関連付けることと、ＥＭＧデータおよび関連付けられたラベルを使用して、ユーザのためのイベント分類器をトレーニングすることとのうちの１つまたは複数を含み得る。例示的な手法は、単一のユーザ固有イベント分類モデルによるラベリングのためにデータを変換するために、ユーザの間の整合変換を使用することと、次いで、ラベリングされたデータを使用して、イベント分類器を生成することとを含み得る。
【0129】
いくつかの例では、ジェスチャー検出のためのシステムは、ジェスチャーを識別するためにイベント検出器を使用し、ジェスチャーを分類するためにイベント分類器を使用するように構成され得、イベント検出器は、（本明細書で説明されるトレーニング方法など）トレーニング方法を使用して、トレーニングされ得る。いくつかの例では、ジェスチャー検出のためのシステムは、少なくとも１つのプロセッサと、少なくとも１つのプロセッサによって実行されたとき、ジェスチャー検出のためのシステムに、イベント検出器を使用して、イベントラベルを筋電図データの一部分に関連付けることと、イベントラベルを筋電図データの一部分に関連付けることに応答して、イベント分類器を使用して、ジェスチャーラベルを筋電図データの一部分に関連付けることと、イベントラベルまたはジェスチャーラベルのうちの少なくとも１つの指示を出力することとを含む動作を実施することを行わせる命令を含む少なくとも１つの非一時的メモリとを含み得る。
【0130】
例示的コンピュータ実装方法は、任意の好適なコンピュータ実行可能コードおよび／またはコンピューティングシステムによって実施され得、方法の１つまたは複数のステップは、構造が、複数のサブステップを含み得、および／または複数のサブステップによって表され得る、アルゴリズムを表し得る。
【0131】
いくつかの例では、システムは、少なくとも１つの物理プロセッサと、物理プロセッサによって実行されたとき、物理プロセッサに、本明細書で説明される１つまたは複数の方法または方法ステップを実施することを行わせるコンピュータ実行可能命令を含む物理メモリとを含む。いくつかの例では、コンピュータ実装方法は、ジェスチャーの検出および分類と、検出されたジェスチャータイプを使用した人工現実システムの制御とを含み得る。
【0132】
いくつかの例では、非一時的コンピュータ可読媒体は、コンピューティングデバイスの少なくとも１つのプロセッサによって実行されたとき、コンピューティングデバイスに、本明細書で説明される１つまたは複数の方法ステップを実施することを行わせる１つまたは複数のコンピュータ実行可能命令を含む。いくつかの例では、コンピュータ実装方法は、ジェスチャーの検出および分類と、検出されたジェスチャータイプを使用した人工現実システムの制御とを含み得る。
【0133】
例は、複数の筋電図（ＥＭＧ）センサーおよび／または他のセンサーを含む制御デバイスと、センサーデータを受信することと、センサーデータ内のユーザジェスチャーに対応するセンサー信号を検出することと、ジェスチャータイプを識別するために、センサー信号を分類することと、ジェスチャータイプに基づいて、制御信号を提供することとを行うようにプログラムされた少なくとも１つの物理プロセッサとを含む。制御信号は、人工現実ビューを変えるように、ヘッドマウントデバイスをトリガし得る。
【0134】
例示的な実施形態
【0135】
例１。例示的なシステムは、ユーザに人工現実ビューを提示するように構成されたヘッドマウントデバイスと、制御デバイスであって、制御デバイスがユーザによって着用されたとき、ユーザの皮膚に接触する電極を含む複数の筋電図（ＥＭＧ）センサーを含む制御デバイスと、少なくとも１つの物理プロセッサと、物理メモリであって、物理プロセッサによって実行されたとき、物理プロセッサに、ＥＭＧセンサーによって検出された１つまたは複数のＥＭＧ信号を処理することと、処理された１つまたは複数のＥＭＧ信号を、１つまたは複数のジェスチャータイプに分類することと、ジェスチャータイプに基づいて、制御信号を提供することであって、制御信号は、人工現実ビューの少なくとも１つの様相を変えるように、ヘッドマウントデバイスをトリガする、制御信号を提供することとを行わせるコンピュータ実行可能命令を含む物理メモリとを含む。
【0136】
例２。少なくとも１つの物理プロセッサは、制御デバイス内に位置する、例１に記載のシステム。
【0137】
例３。少なくとも１つの物理プロセッサは、ヘッドマウントデバイス内に、または制御デバイスと通信している外部コンピュータデバイス内に位置する、例１または２に記載のシステム。
【0138】
例４。コンピュータ実行可能命令は、物理プロセッサによって実行されたとき、物理プロセッサに、分類器モデルを使用して、処理されたＥＭＧ信号を１つまたは複数のジェスチャータイプに分類することを行わせる、例１から３のいずれか一つに記載のシステム。
【0139】
例５。分類器モデルは、ジェスチャータイプのための複数のＥＭＧトレーニング信号を含むトレーニングデータを使用してトレーニングされる、例１から４のいずれか一つに記載のシステム。
【0140】
例６。トレーニングデータは、複数のユーザから取得される、例１から５のいずれか一つに記載のシステム。
【0141】
例７。ヘッドマウントデバイスは、仮想現実ヘッドセットまたは拡張現実デバイスを含む、例１から６のいずれか一つに記載のシステム。
【0142】
例８。例示的な方法は、ユーザから１つまたは複数の筋電図（ＥＭＧ）信号を取得することと、関連する特徴データを生成するために、１つまたは複数のＥＭＧ信号を処理することと、分類器モデルを使用して、関連する特徴データを１つまたは複数のジェスチャータイプに分類することと、１つまたは複数のジェスチャータイプに基づいて、人工現実（ＡＲ）デバイスに制御信号を提供することとを含み、分類器モデルは、１つまたは複数のジェスチャータイプのための複数のＥＭＧトレーニング信号を含むトレーニングデータを使用してトレーニングされる。
【0143】
例９。分類器モデルは、ＥＭＧトレーニング信号から決定された特徴データをクラスタリングすることによってトレーニングされる、例８に記載の方法。
【0144】
例１０。分類器モデルは、複数のユーザから取得されたＥＭＧトレーニング信号を使用してトレーニングされる、例８または９に記載の方法。
【0145】
例１１。複数のユーザは、ユーザを含まない、例８から１０のいずれか一つに記載の方法。
【0146】
例１２。ジェスチャータイプに対応するＥＭＧトレーニング信号を取得することと、ＥＭＧトレーニング信号から取得されたＥＭＧトレーニングデータをクラスタリングすることによって、分類器モデルをトレーニングすることとによって分類器モデルをトレーニングすることをさらに含む、例８から１１のいずれか一つに記載の方法。
【0147】
例１３。分類器モデルは、それぞれのＥＭＧトレーニング信号最大値の時間に対するＥＭＧトレーニング信号の時間依存度を決定することと、複数のＥＭＧトレーニング信号のうちの少なくとも１つのＥＭＧトレーニング信号に時間オフセットを追加することによって、複数のＥＭＧトレーニング信号の時間依存度を整合させることと、整合された複数のＥＭＧトレーニング信号から、信号特性を取得することと、信号特性を有するＥＭＧ信号を検出するように、分類器モデルをトレーニングすることとによってさらにトレーニングされる、例８から１２のいずれか一つに記載の方法。
【0148】
例１４。分類器モデルは、ジェスチャータイプに対応するＥＭＧトレーニング信号を含むトレーニングデータを取得することと、ジェスチャータイプのためのジェスチャーモデルを取得するために、ジェスチャータイプの各発生に対応するＥＭＧトレーニング信号を平均化することであって、分類器モデルは、ＥＭＧ信号を分類するために、ジェスチャーモデルを使用する、ＥＭＧトレーニング信号を平均化することとによってさらにトレーニングされる、例８から１３のいずれか一つに記載の方法。
【0149】
例１５。ジェスチャーモデルは、ジェスチャータイプのためのユーザ固有ジェスチャーモデルである、例８から１４のいずれか一つに記載の方法。
【0150】
例１６。ジェスチャーモデルは、複数のユーザから取得されたＥＭＧトレーニングデータに基づくマルチユーザジェスチャーモデルであり、マルチユーザジェスチャーモデルは、複数のユーザ固有ジェスチャーモデルの組合せである、例８から１４のいずれか一つに記載の方法。
【0151】
例１７。人工現実デバイスは、ユーザに人工現実画像を提示するように構成されたヘッドマウントデバイスを含み、方法は、制御信号に基づいて、人工現実画像を変えることをさらに含む、例８から１６のいずれか一つに記載の方法。
【0152】
例１８。人工現実画像を変えることは、ジェスチャータイプに基づく、人工現実画像中のオブジェクトの選択または制御を含む、例８から１７のいずれか一つに記載の方法。
【0153】
例１９。非一時的コンピュータ可読媒体は、コンピューティングデバイスの少なくとも１つのプロセッサによって実行されたとき、コンピューティングデバイスに、筋電図（ＥＭＧ）センサーによって検出された１つまたは複数のＥＭＧ信号を受信することと、ユーザジェスチャータイプに対応する１つまたは複数の特徴を識別するために、１つまたは複数のＥＭＧ信号を処理することと、１つまたは複数のＥＭＧ信号をジェスチャータイプに分類するために、１つまたは複数の特徴を使用することと、ジェスチャータイプに基づいて、制御信号を提供することと、制御信号に応答して、人工現実ビューの変更をトリガするために、ヘッドマウントデバイスに制御信号を送信することとを行わせる１つまたは複数のコンピュータ実行可能命令を含む。
【0154】
例２０。コンピュータデバイスは、複数のユーザから取得されたトレーニングデータから決定されたジェスチャーモデルに基づいて、ジェスチャータイプを識別するために、ＥＭＧ信号を分類するように構成された、例１９に記載の非一時的コンピュータ可読媒体。
【0155】
本開示の実施形態は、様々なタイプの人工現実システムを含むか、または様々なタイプの人工現実システムとともに実装され得る。人工現実は、ユーザへの提示の前に何らかの様式で調整された現実の形態であり、たとえば、仮想現実、拡張現実、複合現実、ハイブリッド現実、あるいはそれらの何らかの組合せおよび／または派生物を含み得る。人工現実コンテンツは、すべてコンピュータ生成されたコンテンツ、またはキャプチャされた（たとえば、現実世界の）コンテンツと組み合わせられたコンピュータ生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組合せを含み得、これらのうちのいずれかが、単一チャネルで、または（閲覧者に対して３次元（３Ｄ）効果をもたらすステレオビデオなど）複数チャネルで提示され得る。追加として、いくつかの実施形態では、人工現実はまた、たとえば、人工現実中のコンテンツを作り出すために使用され、および／または場合によっては、人工現実中で（たとえば、アクティビティを実施するために）使用される、アプリケーション、製品、アクセサリ、サービス、またはそれらの何らかの組合せに関連し得る。
【0156】
人工現実システムが、様々な異なるフォームファクタおよび構成において実装され得る。いくつかの人工現実システムは、ニアアイディスプレイ（ＮＥＤ）なしに動くように設計され得る。他の人工現実システムは、実世界中への可視性をも提供する（たとえば、図３１中の拡張現実システム３１００）、または人工現実中にユーザを視覚的に没入させる（たとえば、図３２中の仮想現実システム３２００）、ＮＥＤを含み得る。いくつかの人工現実デバイスは、自己完結型システムであり得るが、他の人工現実デバイスは、ユーザに人工現実体感を提供するために、外部デバイスと通信および／または協調し得る。そのような外部デバイスの例は、ハンドヘルドコントローラ、モバイルデバイス、デスクトップコンピュータ、ユーザによって着用されるデバイス、１人または複数の他のユーザによって着用されるデバイス、および／あるいは任意の他の好適な外部システムを含む。
【0157】
図３１に目を向けると、拡張現実システム３１００は、ユーザの眼の前に左ディスプレイデバイス３１１５（Ａ）および右ディスプレイデバイス３１１５（Ｂ）を保持するように構成されたフレーム３１１０をもつアイウェアデバイス３１０２を含み得る。ディスプレイデバイス３１１５（Ａ）および３１１５（Ｂ）は、ユーザに画像または一連の画像を提示するために、ともにまたは独立して作用し得る。拡張現実システム３１００は、２つのディスプレイを含むが、本開示の実施形態は、単一のＮＥＤまたは３個以上のＮＥＤをもつ拡張現実システム中で実装され得る。
【0158】
いくつかの実施形態では、拡張現実システム３１００は、センサー３１４０など、１つまたは複数のセンサーを含み得る。センサー３１４０は、拡張現実システム３１００の動きに応答して測定値信号を生成し得、フレーム３１１０の実質的に任意の部分上に位置決めされ得る。センサー３１４０は、位置センサー、慣性測定ユニット（ＩＭＵ）、深度カメラアセンブリ、構造化発光体および／または検出器、あるいはそれらの任意の組合せを表し得る。いくつかの実施形態では、拡張現実システム３１００は、センサー３１４０を含むことも含まないこともあるか、または２個以上のセンサーを含み得る。センサー３１４０がＩＭＵを含む実施形態では、ＩＭＵは、センサー３１４０からの測定値信号に基づいて、較正データを生成し得る。センサー３１４０の例は、限定はしないが、加速度計、ジャイロスコープ、磁力計、動きを検出する他の好適なタイプのセンサー、ＩＭＵの誤り訂正のために使用されるセンサー、またはそれらの何らかの組合せを含み得る。
【0159】
拡張現実システム３１００は、音響トランスデューサ３１２０とまとめて呼ばれる、複数の音響トランスデューサ３１２０（Ａ）～１３２０（Ｊ）をもつマイクロフォンアレイをも含み得る。音響トランスデューサ３１２０は、音波によって誘起された空気圧変動を検出するトランスデューサであり得る。各音響トランスデューサ３１２０は、音を検出し、検出された音を電子フォーマット（たとえば、アナログまたはデジタルフォーマット）に変換するように構成され得る。図２中のマイクロフォンアレイは、たとえば、１０個の音響トランスデューサ、すなわち、ユーザの対応する耳の内側に置かれるように設計され得る音響トランスデューサ３１２０（Ａ）および３１２０（Ｂ）、フレーム３１１０上の様々なロケーションに配置され得る音響トランスデューサ３１２０（Ｃ）、３１２０（Ｄ）、３１２０（Ｅ）、３１２０（Ｆ）、３１２０（Ｇ）、および３１２０（Ｈ）、ならびに／または対応するネックバンド３１０５上に配置され得る音響トランスデューサ３１２０（Ｉ）および３１２０（Ｊ）を含み得る。
【0160】
いくつかの実施形態では、音響トランスデューサ３１２０（Ａ）～（Ｆ）のうちの１つまたは複数は、出力トランスデューサ（たとえば、スピーカー）として使用され得る。たとえば、音響トランスデューサ３１２０（Ａ）および／または３１２０（Ｂ）は、イヤバッドあるいは任意の他の好適なタイプのヘッドフォンまたはスピーカーであり得る。
【0161】
マイクロフォンアレイの音響トランスデューサ３１２０の構成は、変動し得る。拡張現実システム３１００は、１０個の音響トランスデューサ３１２０を有するものとして図３１中に示されているが、音響トランスデューサ３１２０の数は、１０よりも大きいまたは小さいことがある。いくつかの実施形態では、より多数の音響トランスデューサ３１２０を使用することは、収集されるオーディオ情報の量ならびに／またはオーディオ情報の感度および精度を増加させ得る。対照的に、より少数の音響トランスデューサ３１２０を使用することは、収集されたオーディオ情報を処理するために、関連するコントローラ３１５０によって必要とされる計算力を減少させ得る。加えて、マイクロフォンアレイの各音響トランスデューサ３１２０の位置は、変動し得る。たとえば、音響トランスデューサ３１２０の位置は、ユーザ上の定義された位置、フレーム３１１０上の定義された座標、各音響トランスデューサ３１２０に関連する向き、またはそれらの何らかの組合せを含み得る。
【0162】
音響トランスデューサ３１２０（Ａ）および３１２０（Ｂ）は、耳介の後ろに、耳珠の後ろに、および／あるいは外耳または耳窩内になど、ユーザの耳の異なる部位上に配置され得る。または、耳道の内側の音響トランスデューサ３１２０に加えて、耳上のまたは耳を囲む追加の音響トランスデューサ３１２０があり得る。ユーザの耳道の隣に配置される音響トランスデューサ３１２０を有することは、音が耳道にどのように到着するかに関する情報をマイクロフォンアレイが収集することができるようにし得る。（たとえば、バイノーラルマイクロフォンとして）ユーザの頭の両側に音響トランスデューサ３１２０のうちの少なくとも２つを配置することによって、拡張現実デバイス３１００は、バイノーラル聴覚をシミュレートし、ユーザの頭の周りの周囲の３Ｄステレオ音場をキャプチャし得る。いくつかの実施形態では、音響トランスデューサ３１２０（Ａ）および３１２０（Ｂ）は、ワイヤード接続３１３０を使用して拡張現実システム３１００に接続され得、他の実施形態では、音響トランスデューサ３１２０（Ａ）および３１２０（Ｂ）は、ワイヤレス接続（たとば、Ｂｌｕｅｔｏｏｔｈ接続）を使用して拡張現実システム３１００に接続され得る。さらに他の実施形態では、音響トランスデューサ３１２０（Ａ）および３１２０（Ｂ）は、拡張現実システム３１００とともにはまったく使用されないことがある。
【0163】
フレーム３１１０上の音響トランスデューサ３１２０は、テンプルの長さに沿って、ブリッジにわたって、ディスプレイデバイス３１１５（Ａ）および３１１５（Ｂ）の上または下に、あるいはそれらの何らかの組合せに配置され得る。音響トランスデューサ３１２０は、マイクロフォンアレイが、拡張現実システム３１００を着用するユーザを囲む広範囲の方向において音を検出することが可能であるように向けられ得る。いくつかの実施形態では、最適化プロセスが、マイクロフォンアレイ中の各音響トランスデューサ３１２０の相対的配置を決定するために、拡張現実システム３１００の製造中に実施され得る。
【0164】
いくつかの例では、拡張現実システム３１００は、ネックバンド３１０５など、外部デバイス（たとえば、ペアにされたデバイス）を含むかまたは外部デバイスに接続され得る。ネックバンド３１０５は、概して、任意のタイプまたは形態のペアにされたデバイスを表す。これにより、ネックバンド３１０５の以下の考察は、充電ケース、スマートウォッチ、スマートフォン、リストバンド、他のウェアラブルデバイス、ハンドヘルドコントローラ、タブレットコンピュータ、ラップトップコンピュータ、他の外部計算デバイスなど、様々な他のペアにされたデバイスにも適用され得る。
【0165】
図示のように、ネックバンド３１０５は、１つまたは複数のコネクタを使用してアイウェアデバイス３１０２に結合され得る。コネクタは、ワイヤードまたはワイヤレスであり得、電気的および／または非電気的（たとえば、構造的）構成要素を含み得る。いくつかの場合には、アイウェアデバイス３１０２およびネックバンド３１０５は、アイウェアデバイス３１０２とネックバンド３１０５との間のワイヤードまたはワイヤレス接続なしに独立して動作し得る。図３１は、アイウェアデバイス３１０２およびネックバンド３１０５上の例示的なロケーションにおけるアイウェアデバイス３１０２およびネックバンド３１０５の構成要素を図示しているが、構成要素は、他の場所に位置決めされ、ならびに／あるいはアイウェアデバイス３１０２および／またはネックバンド３１０５上で別様に分散され得る。いくつかの実施形態では、アイウェアデバイス３１０２およびネックバンド３１０５の構成要素は、アイウェアデバイス３１０２、ネックバンド３１０５、またはそれらの何らかの組合せとペアにされた１つまたは複数の追加の周辺デバイス上に位置決めされ得る。
【0166】
拡張現実アイウェアデバイスとの、ネックバンド３１０５など、ペアリング外部デバイスは、アイウェアデバイスが、十分なバッテリーと拡張された能力のための計算力とを依然として提供しながら、一対の眼鏡のフォームファクタを実現することができるようにし得る。拡張現実システム３１００のバッテリー電力、計算リソース、および／または追加の特徴の一部または全部は、ペアにされたデバイスによって提供されるか、またはペアにされたデバイスとアイウェアデバイスとの間で共有され、これにより、所望の機能性を依然として保ちながら、全体的に、アイウェアデバイスの重み、熱プロファイル、およびフォームファクタを低減し得る。たとえば、ユーザは、彼らが自分の頭上で許容するであろうよりも重い重み負荷を自分の肩上で許容し得るので、ネックバンド３１０５は、アイウェアデバイス上に場合によっては含まれるであろう構成要素が、ネックバンド３１０５中に含まれることを可能にし得る。ネックバンド３１０５はまた、周辺の環境に熱を拡散および消散させるためのより大きい表面積を有し得る。これにより、ネックバンド３１０５は、スタンドアロンアイウェアデバイス上で場合によっては可能であったかもしれないよりも大きいバッテリーおよび計算キャパシティを可能にし得る。ネックバンド３１０５中で運ばれる重みは、アイウェアデバイス３１０２中で運ばれる重みよりもユーザに対して侵襲的でないことがあるので、ユーザは、ユーザが、重いスタンドアロンアイウェアデバイスを着用することを許容するであろうよりも、軽いアイウェアデバイスを着用すること、および長い時間の長さの間、ペアにされたデバイスを携帯または着用することを許容し、それにより、ユーザが、人工現実環境を彼らの日々のアクティビティ中により十分に組み込むことができるようにし得る。
【0167】
ネックバンド３１０５は、アイウェアデバイス３１０２と、および／または他のデバイスに通信可能に結合され得る。これらの他のデバイスは、拡張現実システム３１００に、いくらかの機能（たとえば、トラッキング、位置特定、深度マッピング、処理、ストレージなど）を提供し得る。図３１の実施形態では、ネックバンド３１０５は、マイクロフォンアレイの一部である２つの音響トランスデューサ（たとえば、３１２０（Ｉ）および３１２０（Ｊ））を含む（または音響トランスデューサ自体のマイクロフォンサブアレイを潜在的に形成する）ことがある。ネックバンド３１０５は、コントローラ３１２５および電源３１３５をも含み得る。
【0168】
ネックバンド３１０５の音響トランスデューサ３１２０（Ｉ）および３１２０（Ｊ）は、音を検出し、検出された音を電子フォーマット（アナログまたはデジタル）に変換するように構成され得る。図３１の実施形態では、音響トランスデューサ３１２０（Ｉ）および３１２０（Ｊ）は、ネックバンド３１０５上に配置され、それにより、ネックバンド音響トランスデューサ３１２０（Ｉ）および３１２０（Ｊ）と、アイウェアデバイス３１０２上に配置された他の音響トランスデューサ３１２０との間の距離を増加させ得る。いくつかの場合には、マイクロフォンアレイの音響トランスデューサ３１２０の間の距離を増加させることは、マイクロフォンアレイを使用して実施されるビームフォーミングの精度を改善し得る。たとえば、音が、音響トランスデューサ３１２０（Ｃ）および３１２０（Ｄ）によって検出され、音響トランスデューサ３１２０（Ｃ）および３１２０（Ｄ）の間の距離が、たとえば、音響トランスデューサ３１２０（Ｄ）および３１２０（Ｅ）の間の距離よりも長い場合、検出された音の決定されたソースロケーションは、音が音響トランスデューサ３１２０（Ｄ）および３１２０（Ｅ）によって検出された場合よりも正確であることがある。
【0169】
ネックバンド３１０５のコントローラ３１２５は、ネックバンド３１０５上のセンサーおよび／または拡張現実システム３１００によって生成された情報を処理し得る。たとえば、コントローラ３１２５は、マイクロフォンアレイによって検出された音について説明する、マイクロフォンアレイからの情報を処理し得る。各検出された音について、コントローラ３１２５は、検出された音がマイクロフォンアレイにそちらから到着した方向を推定するために、到着方向（ＤＯＡ）推定を実施し得る。マイクロフォンアレイが音を検出すると、コントローラ３１２５は、情報を用いてオーディオデータセットをポピュレートし得る。拡張現実システム３１００が慣性測定ユニットを含む実施形態では、コントローラ３１２５は、アイウェアデバイス３１０２上に位置決めされたＩＭＵからすべての慣性および空間算出を計算し得る。コネクタは、拡張現実システム３１００とネックバンド３１０５との間で、および拡張現実システム３１００とコントローラ３１２５との間で情報を搬送し得る。情報は、光データ、電気データ、ワイヤレスデータの形態、または任意の他の送信可能なデータ形態にあり得る。拡張現実システム３１００によって生成された情報の処理をネックバンド３１０５に移動することは、アイウェアデバイス３１０２中の重みおよび熱を低減し、アイウェアデバイス３１０２をユーザにとってより快適にし得る。
【0170】
ネックバンド３１０５中の電源３１３５は、アイウェアデバイス３１０２におよび／またはネックバンド３１０５に電力を供給し得る。電源３１３５は、限定はしないが、リチウムイオンバッテリー、リチウムポリマーバッテリー、１次リチウムバッテリー、アルカリバッテリー、または任意の他の形態の電力蓄積を含み得る。いくつかの場合には、電源３１３５は、ワイヤード電源であり得る。アイウェアデバイス３１０２上の代わりにネックバンド３１０５上に電源３１３５を含むことは、電源３１３５によって生成された重みおよび熱をより良く分散させるのを助け得る。
【0171】
述べられたように、いくつかの人工現実システムは、人工現実を実現実と混ぜ合わせる代わりに、実質的に、実世界のユーザの知覚認知のうちの１つまたは複数を仮想体感と置き換え得る。このタイプのシステムの一例は、ユーザの視野をほぼまたは完全にカバーする、図３２中の仮想現実システム３２００など、頭部着用型ディスプレイシステムである。仮想現実システム３２００は、前面剛体３２０２と、ユーザの頭の周囲にフィットするように整形されたバンド３２０４とを含み得る。仮想現実システム３２００は、出力オーディオトランスデューサ３２０６（Ａ）および３２０６（Ｂ）をも含み得る。その上、図３２中には示されていないが、前面剛体３２０２は、１つまたは複数の電子ディスプレイ、１つまたは複数の慣性測定ユニット（ＩＭＵ）、１つまたは複数のトラッキングエミッタまたは検出器、および／あるいは人工現実体感を作り出すための任意の他の好適なデバイスまたはシステムを含む、１つまたは複数の電子要素を含み得る。
【0172】
人工現実システムは、様々なタイプの視覚フィードバックメカニズムを含み得る。たとえば、拡張現実システム３１００および／または仮想現実システム３２００中のディスプレイデバイスは、１つまたは複数の液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機ＬＥＤ（ＯＬＥＤ）ディスプレイ、デジタル光プロジェクト（ＤＬＰ）マイクロディスプレイ、液晶オンシリコン（ＬＣｏＳ）マイクロディスプレイ、および／あるいは任意の他の好適なタイプのディスプレイスクリーンを含み得る。人工現実システムは、両方の眼について単一のディスプレイスクリーンを含み得るか、またはそれぞれの眼についてディスプレイスクリーンを提供し得、これは、可変焦点調整のためのまたはユーザの屈折誤差を補正するための追加の柔軟性を可能にし得る。いくつかの人工現実システムは、１つまたは複数のレンズ（たとえば、従来の凹または凸レンズ、フレネルレンズ、調整可能な液体レンズなど）を有する光学サブシステムをも含み得、ユーザは、光学サブシステムを通してディスプレイスクリーンを眺め得る。これらの光学サブシステムは、コリメートする（たとえば、オブジェクトが、オブジェクトの物理的距離よりも長い距離にあるように見えるようにする）こと、拡大する（たとえば、オブジェクトが、オブジェクトの実際のサイズよりも大きいように見えるようにする）こと、および／または（たとえば、閲覧者の眼に）光を中継することを含む、様々な目的を果たし得る。これらの光学サブシステムは、（光を直接コリメートするが、いわゆる糸巻き形ひずみを生じ得る単レンズ構成など）非瞳孔形成アーキテクチャ、および／または（糸巻き形ひずみを無効にするために、たる形ひずみを生成し得るマルチレンズ構成など）瞳孔形成アーキテクチャにおいて使用され得る。
【0173】
ディスプレイスクリーンを使用することに加えてまたはディスプレイスクリーンを使用する代わりに、いくつかの人工現実システムは、１つまたは複数の投影システムを含み得る。たとえば、拡張現実システム３１００および／または仮想現実システム３２００中のディスプレイデバイスは、周辺の光が通過することを可能にするクリアなコンバイナレンズなど、ディスプレイデバイス中に（たとえば、導波路を使用して）光を投影する、マイクロＬＥＤプロジェクタを含み得る。ディスプレイデバイスは、ユーザの瞳孔に向かって、投影された光を屈折させ得、ユーザが、人工現実コンテンツと実世界の両方を同時に眺めることができるようにし得る。ディスプレイデバイスは、導波路構成要素（たとえば、ホログラフィック、平面、回折、偏光、および／または反射導波路素子）、（回折、反射、および屈折素子および格子など）光操作表面および素子、結合素子などを含む、様々な異なる光学的構成要素のうちのいずれかを使用してこれを達成し得る。人工現実システムはまた、仮想網膜ディスプレイ中で使用される網膜プロジェクタなど、任意の他の好適なタイプまたは形態の画像投影システムを用いて構成され得る。
【0174】
人工現実システムは、様々なタイプのコンピュータビジョン構成要素およびサブシステムをも含み得る。たとえば、拡張現実システム３１００および／または仮想現実システム３２００は、２次元（２Ｄ）または３Ｄカメラ、構造化光送信器および検出器、飛行時間型深度センサー、単一ビームまたは掃引レーザー測距器、３Ｄライダーセンサー、ならびに／あるいは任意の他の好適なタイプまたは形態の光センサーなど、１つまたは複数の光センサーを含み得る。人工現実システムは、ユーザのロケーションを識別するために、実世界をマッピングするために、ユーザに現実世界の周囲状況に関するコンテキストを提供するために、および／または様々な他の機能を実施するために、これらのセンサーのうちの１つまたは複数からのデータを処理し得る。
【0175】
人工現実システムは、１つまたは複数の入力および／または出力オーディオトランスデューサをも含み得る。たとえば、要素３２０６（Ａ）および３２０６（Ｂ）は、ボイスコイルスピーカー、リボンスピーカー、静電スピーカー、圧電スピーカー、骨伝導トランスデューサ、軟骨伝導トランスデューサ、耳珠振動トランスデューサ、および／あるいは任意の他の好適なタイプまたは形態のオーディオトランスデューサを含み得る。類似的に、入力オーディオトランスデューサは、コンデンサマイクロフォン、ダイナミックマイクロフォン、リボンマイクロフォン、および／あるいは任意の他のタイプまたは形態の入力トランスデューサを含み得る。いくつかの実施形態では、単一のトランスデューサが、オーディオ入力とオーディオ出力の両方のために使用され得る。
【0176】
いくつかの例では、人工現実システムは、ヘッドウェア、グローブ、ボディスーツ、ハンドヘルドコントローラ、環境デバイス（たとえば、椅子、フロアマットなど）、および／あるいは任意の他のタイプのデバイスまたはシステム中に組み込まれ得る、タクティル（すなわち、触覚）フィードバックシステムを含み得る。触覚フィードバックシステムは、振動、力、牽引、テクスチャ、および／または温度を含む、様々なタイプの皮膚性フィードバックを提供し得る。触覚フィードバックシステムはまた、動きおよびコンプライアンスなど、様々なタイプの運動感覚フィードバックを提供し得る。触覚フィードバックは、モーター、圧電アクチュエータ、流体システム、および／または様々な他のタイプのフィードバックメカニズムを使用して実装され得る。触覚フィードバックシステムは、他の人工現実デバイスから独立して、他の人工現実デバイス内に、および／または他の人工現実デバイスとともに実装され得る。
【0177】
触覚感覚、可聴コンテンツ、および／または視覚コンテンツを提供することによって、人工現実システムは、仮想体感全体を作り出すかまたは様々なコンテキストおよび環境中のユーザの現実世界体感を向上させ得る。たとえば、人工現実システムは、特定の環境内のユーザの認知、記憶、または認識を支援または拡大し得る。いくつかのシステムは、実世界中の他の人々とのユーザの対話を向上させ得るか、または仮想世界中の他の人々とのより没入できる対話ができるようにし得る。人工現実システムはまた、教育目的のために（たとえば、学校、病院、政府団体、軍事団体、ビジネス企業などにおける教示またはトレーニングのために）、エンターテインメント目的（たとえば、ビデオゲームをプレイする、音楽を聞く、ビデオコンテンツを見るなどのために）、および／あるいはアクセシビリティ目的のために（たとえば、補聴器、視覚補助などとして）使用され得る。本明細書で開示される実施形態は、これらのコンテキストおよび環境のうちの１つまたは複数における、ならびに／あるいは他のコンテキストおよび環境におけるユーザの人工現実体感ができるようにするかまたは向上させ得る。
【0178】
上記で詳述されたように、本明細書で説明および／または図示されたコンピューティングデバイスおよびシステムは、本明細書で説明されたモジュール内に含まれているものなど、コンピュータ可読命令を実行することが可能な任意のタイプまたは形態のコンピューティングデバイスまたはシステムを広く表す。コンピューティングデバイスおよびシステムの最も基本的な構成では、これらのコンピューティングデバイスは、各々、少なくとも１つのメモリデバイスと少なくとも１つの物理プロセッサとを含み得る。
【0179】
いくつかの例では、「メモリデバイス」という用語は、概して、データおよび／またはコンピュータ可読命令を記憶することが可能な任意のタイプまたは形態の揮発性または不揮発性ストレージデバイスまたは媒体を指す。一例では、メモリデバイスは、本明細書で説明されたモジュールのうちの１つまたは複数を記憶、ロード、および／または維持し得る。メモリデバイスの例は、限定はしないが、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、光ディスクドライブ、キャッシュ、これらのうちの１つまたは複数の変形形態または組合せ、あるいは任意の他の好適な記憶メモリを含む。
【0180】
いくつかの例では、「物理プロセッサ」という用語は、概して、コンピュータ可読命令を解釈および／または実行することが可能な任意のタイプまたは形態のハードウェア実装型処理ユニットを指す。一例では、物理プロセッサは、上記で説明されたメモリデバイスに記憶された１つまたは複数のモジュールにアクセスし、および／または変え得る。物理プロセッサの例は、限定はしないが、マイクロプロセッサ、マイクロコントローラ、中央処理ユニット（ＣＰＵ）、ソフトコアプロセッサを実装するフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、これらのうちの１つまたは複数の部分、これらのうちの１つまたは複数の変形形態または組合せ、あるいは任意の他の好適な物理プロセッサを含む。
【0181】
別個の要素として図示されているが、本明細書で説明および／または図示されたモジュールは、単一のモジュールまたはアプリケーションの部分を表し得る。加えて、いくらかの実施形態では、これらのモジュールのうちの１つまたは複数は、コンピューティングデバイスによって実行されたとき、コンピューティングデバイスに、１つまたは複数のタスクを実施することを行わせ得る１つまたは複数のソフトウェアアプリケーションまたはプログラムを表し得る。たとえば、本明細書で説明および／または図示されたモジュールのうちの１つまたは複数は、本明細書で説明および／または図示されたコンピューティングデバイスまたはシステムのうちの１つまたは複数に記憶され、走るように構成されたモジュールを表し得る。これらのモジュールのうちの１つまたは複数はまた、１つまたは複数のタスクを実施するように構成された１つまたは複数の専用コンピュータのすべてまたは部分を表し得る。
【0182】
加えて、本明細書で説明されたモジュールのうちの１つまたは複数は、データ、物理デバイス、および／または物理デバイスの表現を、１つの形態から別の形態に変換し得る。たとえば、本明細書で具陳されたモジュールのうちの１つまたは複数は、（ＥＭＧデータなど、ユーザからの検出信号に基づくデータなど）変換されるべきデータを受信し、データを変換し、機能（たとえば、制御データを出力すること、ＡＲシステムを制御すること、または他の機能）を実施するために変換の結果を出力するか、またはさもなければ機能を実施するために変換の結果を使用し、機能を実施するために変換の結果を記憶し得る。追加または代替として、本明細書で具陳されたモジュールのうちの１つまたは複数は、コンピューティングデバイス上で実行すること、コンピューティングデバイスにデータを記憶すること、および／またはさもなければコンピューティングデバイスと対話することよって、プロセッサ、揮発性メモリ、不揮発性メモリ、および／または物理コンピューティングデバイスの任意の他の部分を、１つの形態から別の形態に変換し得る。
【0183】
いくつかの実施形態では、「コンピュータ可読媒体」という用語は、概して、コンピュータ可読命令を記憶または担持することが可能な任意の形態のデバイス、キャリア、または媒体を指す。コンピュータ可読媒体の例は、限定はしないが、搬送波など、伝送型媒体、ならびに磁気記憶媒体（たとえば、ハードディスクドライブ、テープドライブ、およびフロッピーディスク）、光記憶媒体（たとえば、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、およびＢＬＵ－ＲＡＹディスク）、電子記憶媒体（たとえば、ソリッドステートドライブおよびフラッシュメディア）、ならびに他の配信システムなど、非一時型媒体を含む。
【0184】
本明細書で説明および／または図示されたステップのプロセスパラメータおよびシーケンスは、単に例として与えられており、必要に応じて変動させられ得る。たとえば、本明細書で図示および／または説明されたステップは、特定の順序で示されるかまたは考察され得るが、これらのステップは、図示または考察された順序で実施される必要が必ずしもあるとは限らない。本明細書で説明および／または図示された様々な例示的な方法はまた、本明細書で説明または図示されたステップのうちの１つまたは複数を省略するか、または開示されたものに加えて追加のステップを含み得る。
【0185】
「第１の」、「第２の」、「第３の」など、順序用語の使用は、それ自体によって、１つのクレーム要素の、別のものに対する何らかの優先度、優先順位、または順序、あるいは方法の行為が実施される時間順序を暗示しない。そのような用語は、１つの要素を、場合によっては類似の名前を有する別の要素から区別するためのラベルとして使用されるにすぎないことがある。
【0186】
上記の説明は、他の当業者が、本明細書で開示された様々な態様の例示的実施形態を最も良く利用することができるようにするために提供された。この例示的説明は、網羅的なものではないか、または開示されたいずれかの厳密な形態に限定されるものではない。多くの変更形態および変形形態が、本開示の趣旨および範囲から逸脱することなく可能である。本明細書で開示された実施形態は、あらゆる点で限定的ではなく例示的であると見なされるべきである。本開示の範囲を決定する際に、添付の特許請求の範囲およびそれらの等価物への参照が行われるべきである。
【0187】
別段に記載されていない限り、明細書および特許請求の範囲で使用される、「に接続された（ｃｏｎｎｅｃｔｅｄ ｔｏ）」および「に結合された（ｃｏｕｐｌｅｄ ｔｏ）」という用語（ならびにそれらの派生語）は、直接的接続と間接的（すなわち、他の要素または構成要素を使用した）接続の両方を容認すると解釈されるべきである。加えて、明細書および特許請求の範囲で使用される、「１つの（ａ）」または「１つの（ａｎ）」という用語は、「のうちの少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ）」を意味すると解釈されるべきである。最後に、使用が容易なように、明細書および特許請求の範囲で使用される、「含む（ｉｎｃｌｕｄｉｎｇ）」および「有する（ｈａｖｉｎｇ）」という用語（ならびにそれらの派生語）は、「備える（ｃｏｍｐｒｉｓｉｎｇ）」という単語と交換可能であり、「備える」という単語と同じ意味を有する。
【図1】
【図2】
【図3】
【図4A-B】
【図5A-B】
【図6A-B】
【図7】
【図8】
【図9】
【図10A-B】
【図11A】
【図11B】
【図11C】
【図11D】
【図11E】
【図11F】
【図12】
【図13A】
【図13B】
【図14】
【図15】
【図16】
【図17A】
【図17B】
【図17C】
【図17D】
【図17E】
【図17F】
【図17G】
【図17H】
【図17I】
【図17J】
【図17K】
【図17L】
【図17M】
【図17N】
【図17O】
【図17P】
【図17Q】
【図18A-B】
【図19】
【図20】
【図21】
【図22A-B】
【図22C-D】
【図23A-B】
【図24A-B】
【図25A】
【図25B】
【図26A】
【図26B】
【図27A】
【図27B】
【図28】
【図29】
【図30】
【図31】
【図32】
【国際調査報告】