特表2022-525383神経筋データに基づいた低レイテンシ身体状態予測のための方法および装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-05-13
(54)【発明の名称】神経筋データに基づいた低レイテンシ身体状態予測のための方法および装置
(51)【国際特許分類】
G06F 3/01 20060101AFI20220506BHJP
A61B 5/296 20210101ALI20220506BHJP
G16H 50/00 20180101ALI20220506BHJP
G06N 3/02 20060101ALI20220506BHJP
G06N 20/00 20190101ALI20220506BHJP
A61B 5/397 20210101ALN20220506BHJP
A61B 5/256 20210101ALN20220506BHJP
【ＦＩ】
G06F3/01 515
A61B5/296
G16H50/00
G06N3/02
G06N20/00
G06F3/01 570
A61B5/397
A61B5/256 220
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021534135
(86)(22)【出願日】2020-03-30
(85)【翻訳文提出日】2021-08-06
(86)【国際出願番号】 US2020025797
(87)【国際公開番号】W WO2020205779
(87)【国際公開日】2020-10-08
(31)【優先権主張番号】62/826,516
(32)【優先日】2019-03-29
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/833,309
(32)【優先日】2020-03-27
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/841,054
(32)【優先日】2019-04-30
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ブルートゥース
(71)【出願人】
【識別番号】515046968
【氏名又は名称】フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニー
【氏名又は名称原語表記】ＦＡＣＥＢＯＯＫ ＴＥＣＨＮＯＬＯＧＩＥＳ， ＬＬＣ
(74)【代理人】
【識別番号】110002974
【氏名又は名称】特許業務法人Ｗｏｒｌｄ ＩＰ
(72)【発明者】
【氏名】フサミ， ナディーン
(72)【発明者】
【氏名】カイフォッシュ， パトリック
(72)【発明者】
【氏名】バラチャント， アレクサンドレ
(72)【発明者】
【氏名】ウェットモア， ダニエル
【テーマコード（参考）】
4C127
5E555
5L099
【Ｆターム（参考）】
4C127AA04
4C127GG15
4C127LL13
5E555AA64
5E555BA38
5E555BB38
5E555BC08
5E555BE17
5E555CA41
5E555CA44
5E555CA45
5E555CB66
5E555CB69
5E555DA08
5E555DA09
5E555DB53
5E555EA19
5E555EA20
5E555EA27
5E555FA00
5L099AA04
(57)【要約】
開示される方法は、ユーザによって着装されたウェアラブルデバイス上の第１のセンサから第１の時系列にわたって神経筋活動データを受け取ることと、ユーザの身体部位の身体部位状態を示すグラウンドトゥルースデータを第２のセンサから第２の時系列にわたって受け取ることと、神経筋活動データをグラウンドトゥルースデータの少なくとも一部分と関連づけるために、少なくとも、第２の時系列に対して第１の時系列にわたる神経筋活動データの一部分を時間シフトすることによって、１つまたは複数の訓練データセットを生成することと、１つまたは複数の訓練データセットに基づいて１つまたは複数の推論モデルを訓練することとを含んでよい。種々の他の関連方法およびシステムも開示される。
【選択図】図９
【選択図】図９
【特許請求の範囲】
【請求項1】
ユーザによって着装されたウェアラブルデバイス上の第１のセンサから第１の時系列にわたって神経筋活動データを受け取ることと、前記ユーザの身体部位の身体部位状態を示すグラウンドトゥルースデータを第２のセンサから第２の時系列にわたって受け取ることと、
前記神経筋活動データを前記グラウンドトゥルースデータの少なくとも一部分と関連づけるために、少なくとも、前記第２の時系列に対して前記第１の時系列にわたる前記神経筋活動データの一部分を時間シフトすることによって、１つまたは複数の訓練データセットを生成することと、
前記１つまたは複数の訓練データセットに基づいて１つまたは複数の推論モデルを訓練することと
を含む方法。
【請求項2】
前記ユーザの特定の身体部位と関連づけられた電気機械的遅延に基づいて、前記神経筋活動データの前記一部分を１つまたは複数の時間間隔だけ時間シフトすることをさらに含む、請求項１に記載の方法。
【請求項3】
前記１つまたは複数の推論モデルが複数の推論モデルを含み、前記方法が、
前記複数の推論モデルの各々に対する予測精度を決定することと、
前記複数の推論モデルの各々に対する決定された前記予測精度に基づいて、前記複数の推論モデルから第１の推論モデルを選択することと、
前記第１の推論モデルを使用して前記ユーザの前記身体部位状態を予測することと
をさらに含む、請求項１に記載の方法。
【請求項4】
前記第１の推論モデルが、前記ユーザの特定の身体部位と関連づけられた特徴的なレイテンシにさらに基づいて選択される、請求項３に記載の方法。
【請求項5】
前記複数の推論モデルの各々に対する前記予測精度を決定することが、前記複数の推論モデルの各々を使用して前記身体部位状態を正しく推定する可能性を決定することを含む、請求項３に記載の方法。
【請求項6】
前記複数の推論モデルの各々に対する前記予測精度を決定することが、前記ユーザの前記身体部位状態と関連づけられた既知の特徴的なレイテンシと、前記複数の推論モデルの各々を使用して予測される、前記ユーザの前記身体部位状態と関連づけられたレイテンシとの間の誤差値を決定することを含む、請求項３に記載の方法。
【請求項7】
前記１つまたは複数の推論モデルに基づいて前記ユーザの前記身体部位状態を予測することをさらに含む、請求項１に記載の方法。
【請求項8】
前記ユーザの予測された前記身体部位状態が特定のジェスチャに対応すると決定することと、前記ユーザの前記予測された身体部位状態が前記特定のジェスチャに対応すると決定したことに応答して、人工現実環境内でアクションを実施することと
をさらに含む、請求項７に記載の方法。
【請求項9】
前記１つまたは複数の推論モデルのうちの２つの推論モデルに関する予測精度を決定することであって、前記２つの推論モデルが２つの異なる時間間隔に対応する、予測精度を決定することと、前記２つの推論モデルに関する前記予測精度が閾値を満たすと決定することと、
前記２つの異なる時間間隔の大きい方に対応する、前記２つの推論モデルのうちの１つを選択することと、
前記２つの推論モデルのうちの選択されたものを使用して、前記ユーザの前記身体部位状態を予測することと
をさらに含む、請求項１に記載の方法。
【請求項10】
前記閾値が、前記２つの推論モデルに関する前記予測精度の絶対差、または前記２つの推論モデルのうちの精度の高い方の推論モデルと前記２つの推論モデルのうちの精度の低い方の推論モデルとの間の予測精度の相対差、のうちの少なくとも１つである、請求項９に記載の方法。
【請求項11】
前記２つの推論モデルのうちの１つを選択することが、タスクに依存した精度レベルにさらに基づく、請求項９に記載の方法。
【請求項12】
前記第２のセンサがヘッドマウントディスプレイの一部であり、前記第２のセンサが、光センサ、慣性測定センサ、相互磁気誘導測定センサ、または圧力センサのうちの少なくとも１つを含む、
請求項１に記載の方法。
【請求項13】
前記ユーザの前記身体部位状態が、ポーズまたはジェスチャのうちの少なくとも１つの存在または欠如を示す二値ラベルとして表される、請求項１に記載の方法。
【請求項14】
前記身体部位状態が、前記身体部位と関連づけられた力、前記身体部位の動き、前記身体部位と関連づけられたポーズ、前記身体部位と関連づけられたジェスチャ、または前記身体部位の一部分と関連づけられたジェスチャ、のうちの少なくとも１つを含む、請求項１に記載の方法。
【請求項15】
ウェアラブルデバイスであって、前記ウェアラブルデバイスを着装するユーザからの神経筋信号を記録するように構成された１つまたは複数の神経筋センサと、
１つまたは複数のプロセッサと、を備え、前記１つまたは複数のプロセッサが、
前記１つまたは複数の神経筋センサから時系列にわたって神経筋活動データを受け取ることであって、前記神経筋活動データが、前記１つまたは複数の神経筋センサによって記録された前記神経筋信号に対応する、神経筋活動データを受け取ることと、
前記時系列にわたってユーザの身体部位の状態を示す位置データを受け取ることと、
１つまたは複数の時間間隔だけ、前記神経筋活動データまたは前記位置データのうちの少なくとも１つを時間シフトすることによって、１つまたは複数の訓練データセットを生成することと、
前記１つまたは複数の訓練データセットに少なくとも部分的に基づいて１つまたは複数の推論モデルを訓練することと、
訓練された前記１つまたは複数の推論モデルに基づいて前記ユーザの身体部位状態を予測することと
を行うようにプログラムされている、ウェアラブルデバイス。
【請求項16】
前記１つまたは複数のプロセッサが、前記ユーザの前記身体部位と関連づけられた電気機械的遅延に基づいて前記１つまたは複数の時間間隔を選択するようにさらにプログラムされている、請求項１５に記載のウェアラブルデバイス。
【請求項17】
前記１つまたは複数の推論モデルが複数の推論モデルを含み、前記１つまたは複数のプロセッサが、
前記複数の推論モデルの各々に関する予測精度を決定し、
前記複数の推論モデルの各々に関する決定された前記予測精度に基づいて前記複数の推論モデルから第１の推論モデルを選択し、
前記第１の推論モデルを使用して前記ユーザの前記身体部位状態を予測する
ようにさらにプログラムされている、請求項１５に記載のウェアラブルデバイス。
【請求項18】
前記複数の推論モデルのうちの１つが、前記ユーザの身体部位の特徴的なレイテンシにさらに基づいて選択される、請求項１７に記載のウェアラブルデバイス。
【請求項19】
前記複数の推論モデルの各々に関する前記予測精度を決定することが、前記複数の推論モデルの各々を使用して既知の身体部位状態を正しく推定する可能性を決定することを含む、請求項１７に記載のウェアラブルデバイス。
【請求項20】
ヘッドマウントディスプレイと、ウェアラブルデバイスと、を備えた人工現実システムであって、前記ウェアラブルデバイスが、
前記ウェアラブルデバイスを着装するユーザからの複数の神経筋信号を記録するように構成された１つまたは複数の神経筋センサ、および
１つまたは複数のプロセッサを備え、前記１つまたは複数のプロセッサが、
前記複数の神経筋信号を記録するように構成された前記神経筋センサから時系列にわたって神経筋活動データを受け取ることと、
前記時系列にわたって前記ユーザの身体部位の身体部位状態を示す位置データを受け取ることと、
１つまたは複数の時間間隔だけ、前記神経筋活動データまたは前記位置データのうちの少なくとも１つを時間シフトすることによって、１つまたは複数の訓練データセットを生成することと、
前記１つまたは複数の訓練データセットを使用して、少なくとも神経筋活動時系列データに基づいて１つまたは複数の推論モデルを訓練することと、
訓練された前記１つまたは複数の推論モデルを使用して前記ユーザの前記身体部位状態を予測することと
を行うようにプログラムされ、
前記ヘッドマウントディスプレイが、前記ユーザの前記身体部位の視覚的表現を表示するように構成される、
人工現実システム。
【発明の詳細な説明】
【背景技術】
【0001】
関連出願の相互参照
本出願は、２０１９年３月２９日に出願された米国出願第６２／８２６，５１６号、２０１９年４月３０日に出願された米国出願第６２／８４１，０５４号、および２０２０年３月２７日に出願された米国出願第１６／８３３，３０９号の優先権を主張するものである。米国出願第６２／８２６，５１６号、米国出願第６２／８４１，０５４号、および米国出願第１６／８３３，３０９号の内容は、参照によりその全体がすべての目的のために本明細書に組み込まれる。
本出願は、２０１９年３月２９日に出願された米国出願第６２／８２６，５１６号、２０１９年４月３０日に出願された米国出願第６２／８４１，０５４号、および２０２０年３月２７日に出願された米国出願第１６／８３３，３０９号の優先権を主張するものである。米国出願第６２／８２６，５１６号、米国出願第６２／８４１，０５４号、および米国出願第１６／８３３，３０９号の内容は、参照によりその全体がすべての目的のために本明細書に組み込まれる。
【発明の概要】
【0002】
添付の図面は、いくつかの例証的な実施形態を示し、本明細書の一部である。以下の説明とともに、これらの図面は、本開示の種々の原理を実証し、解説する。
【図面の簡単な説明】
【0003】
【図1】本開示の実施形態による、身体状態情報を予測するためのシステムの例証的なブロック図の例示である。
【図2A】本開示の実施形態による、身体状態情報を予測することに対するレイテンシの影響を描く例証的なチャートの例示である。
【図2B】本開示の実施形態による、身体状態情報を予測することにおけるレイテンシ減少を描く例証的なチャートの例示である。
【図3】本開示の実施形態による、遅延時間間隔と身体状態予測精度との関係を描く例証的なチャートの例示である。
【図4】本開示の実施形態による、遅延時間間隔と身体状態予測精度との関係におけるユーザ依存を描く２つのチャートの例示である。
【図5】本開示の実施形態による、センサから記録された信号を使用して筋骨格位置情報を予測するための推論モデルを生成するための例証的な方法の流れ図の例示である。
【図6】本開示の実施形態による、身体状態情報を決定するための例証的な方法の流れ図の例示である。
【図7】本開示の実施形態による、センサをもつ例証的なウェアラブルデバイスの斜視図の例示である。
【図8】本開示の実施形態による、ウェアラブルデバイスおよびヘッドマウントディスプレイの例証的なブロック図の例示である。
【図9】本開示の実施形態による、神経筋データに基づいて身体状態を予測するための例証的な方法の流れ図の例示である。
【図10】この開示の実施形態に関連して使用され得る例証的な拡張現実メガネの例示である。
【図11】この開示の実施形態に関連して使用され得る例証的な仮想現実ヘッドセットの例示である。
【図12】この開示の実施形態に関連して使用され得る例証的なハプティックデバイスの例示である。
【図13】この開示の実施形態による例証的な仮想現実環境の例示である。
【図14】この開示の実施形態による例証的な拡張現実環境の例示である。
【発明を実施するための形態】
【0004】
図面全体を通して、同一の参照文字および説明は、類似しているが必ずしも同一ではない要素を示す。本明細書において説明される例証的な実施形態は、種々の修正形態および代替形態が可能であるが、特定の実施形態は、例として図面によって図示されており、本明細書において詳細に説明されている。しかしながら、本明細書において説明される例証的な実施形態は、開示される特定の形態に限定されることを意図したものではない。むしろ、本開示は、添付の特許請求の範囲内に入るすべての修正形態、等価物、および代替形態を包含する。
【0005】
例証的な実施形態の詳細な説明
本開示は、一般に、訓練された推論モデルを使用して人間ユーザの身体部位状態を予測することを対象とする。人体の筋骨格表現を生成するいくつかのコンピュータアプリケーションでは、アプリケーションが、身体の動きの現実的な表現をアプリケーションに提供するために、ユーザの身体の空間的な位置決め、方位、および動きを知ることが望ましいことがある。たとえば、人工現実（ＡＲ）環境では、ユーザの手の空間的位置を追跡することによって、アプリケーションが、ＡＲ環境内で手のモーションを正確に表すことが可能になることがあり、これによって、ユーザは、ＡＲ環境内の仮想オブジェクトと（たとえば、これを握持または操作することによって）相互作用することが可能になることがある。ユーザインタフェースアプリケーションでは、ユーザのポーズまたはジェスチャの存在または欠如を検出することは、コンピュータへの二値制御入力（たとえば、モード切り換え）として使用されることがある。人体の筋骨格表現を生成するコンピュータアプリケーションの重要な特徴は、コンピュータアプリケーションによる、ユーザの身体の動きとその動きの表現（たとえば、視覚的表現をユーザに表示すること）との間の低いレイテンシである。
本開示は、一般に、訓練された推論モデルを使用して人間ユーザの身体部位状態を予測することを対象とする。人体の筋骨格表現を生成するいくつかのコンピュータアプリケーションでは、アプリケーションが、身体の動きの現実的な表現をアプリケーションに提供するために、ユーザの身体の空間的な位置決め、方位、および動きを知ることが望ましいことがある。たとえば、人工現実（ＡＲ）環境では、ユーザの手の空間的位置を追跡することによって、アプリケーションが、ＡＲ環境内で手のモーションを正確に表すことが可能になることがあり、これによって、ユーザは、ＡＲ環境内の仮想オブジェクトと（たとえば、これを握持または操作することによって）相互作用することが可能になることがある。ユーザインタフェースアプリケーションでは、ユーザのポーズまたはジェスチャの存在または欠如を検出することは、コンピュータへの二値制御入力（たとえば、モード切り換え）として使用されることがある。人体の筋骨格表現を生成するコンピュータアプリケーションの重要な特徴は、コンピュータアプリケーションによる、ユーザの身体の動きとその動きの表現（たとえば、視覚的表現をユーザに表示すること）との間の低いレイテンシである。
【0006】
神経筋活動（たとえば、ウェアラブルデバイスによって測定され筋電図検査（ＥＭＧ）信号によって示されるような）の始まりと人体部位内の筋収縮との間の時間遅延は、個人および特定身体部位間の生理的な違いに応じて、数十ミリ秒～数百ミリ秒またはそれ以上に及ぶことがある。したがって、任意の時点において、神経筋活動信号は、将来的に数十ミリ秒またはそれ以上発生し得る。
【0007】
神経筋活動データに基づいて身体部位または身体部位の一部分の状態を予測するための本開示のシステム、方法、および装置は、身体状態のグラウンドトゥルース測定に対する神経筋活動信号データを時間的にシフトすることによって、より低い身体状態レイテンシ（たとえば、記録された神経筋データからユーザの身体部位または身体部位の部分の状態を予測する訓練された推論モデルの出力までのレイテンシ）を達成し得る。時間的にシフトされたデータセットは、推論モデルを訓練するための入力として、および／または以前に訓練された推論モデルへの入力として使用されてよい。
【0008】
いくつかの実施形態では、１つまたは複数の神経筋センサ（たとえば、ユーザによって着装されたウェアラブルデバイス上の神経筋センサ）を介してユーザの身体部位の動きに応答して神経筋活動信号を受け取ることと、ユーザの身体部位の対応する動きと関連づけられたグラウンドトゥルース（たとえば、直接的に観察された）測定値を決定することと、対応する動きのタイミングと実質的に位置合わせするように神経筋活動信号を時間シフトすることと、時間シフトされた神経筋活動信号を使用して推論モデルを訓練することとを含む方法が提供される。
【0009】
人間筋骨格系のすべてまたは部分は、マルチセグメント関節式剛体システムとしてモデル化されてよく、関節は、異なるセグメント間のインタフェースを形成し、関節角度は、モデル内の接続されたセグメント間の空間的な関係を定義する。関節における動きへの制約は、セグメントと関節における動きの範囲を制限する生物学的構造（たとえば、筋肉、腱、靱帯など）とを接続する関節のタイプによって支配されることがある。たとえば、上腕を胴体に接続する肩関節および上腿を胴体に接続する股関節は、伸展および屈曲の動きならびに回転の動きを許可する球窩関節である。対照的に、上腕と前腕を接続する肘関節および上腿と下腿を接続する膝関節は、より限定された可動域を可能にする。筋骨格表現は、人間の筋骨格系の部分をモデル化するために使用されるマルチセグメント関節式剛体システムであってよい。しかしながら、人間の筋骨格系のいくつかのセグメント（たとえば、前腕）は、関節式剛体システムでは剛体として近似されているが、剛体モデルによって明示的に考慮されない身体セグメント内でのより複雑な動きを提供する複数の剛性構造（たとえば、前腕の尺骨および橈骨）を含んでよい。したがって、筋骨格表現は、厳密には剛体でない身体部位の組み合わせを表す身体セグメントを含んでよい。
【0010】
いくつかの実施形態では、訓練された推論モデルは、ユーザの身体の一部分の状態を予測するように構成されてよい。そのような身体状態は、身体部位または身体部位の一部分の力、動き、ポーズ、またはジェスチャを含んでよい。たとえば、身体状態は、身体セグメント間の位置関係ならびに／またはユーザの身体の部分の筋骨格表現における個々の身体セグメントおよび／もしくは身体セグメントの組み合わせに関する力関係を含んでよい。
【0011】
予測される力は、ユーザの身体の部分の筋骨格表現の１つまたは複数のセグメントと関連づけられてよい。そのような予測される力は、筋骨格表現の１つまたは複数のセグメントによって及ぼされる直線力または回転（たとえば、トルク）力を含んでよい。直線力の例としては、限定するものではないが、指または手がテーブルなどの固体物体を押す力、または２つのセグメント（たとえば、２本の指）が押し合わされるときに及ぼされる力がある。回転力の例としては、限定するものではないが、手首および／または指におけるセグメントがねじられるおよび／または曲げられるときに作成される回転力がある。いくつかの実施形態では、予測される身体状態には、限定するものではないが、圧搾力情報、挟み力情報、握持力情報、ねじり力情報、曲げ力情報、または筋骨格表現によって表される筋肉間の共収縮力についての情報がある。
【0012】
予測される動きは、ユーザの身体の部分の筋骨格表現の１つまたは複数のセグメントと関連づけられてよい。そのような予測される動きには、筋骨格表現の１つまたは複数のセグメントの線／角速度および／または線／角加速度があり得る。線速度および／または角速度は、絶対的（たとえば、固定された基準フレームに関して測定される）であってもよいし、相対的（たとえば、別のセグメントまたは身体部位と関連づけられた基準フレームに関して測定される）であってもよい。
【0013】
本明細書において使用されるとき、「ポーズ」という用語は、１つまたは複数の身体部位の静的な構成（たとえば、位置決め）を指すことがある。たとえば、ポーズとしては、拳、開いた手、人差し指を親指に静的に押し付けること、手の手のひらで固体表面を押すこと、ボールを握持すること、またはそれらの組み合わせがあり得る。本明細書において使用されるとき、「ジェスチャ」という用語は、１つまたは複数の身体部位の動的な構成、１つまたは複数の身体部位の動き、動的な構成と関連づけられた力、またはそれらの組み合わせを指すことがある。たとえば、ジェスチャとしては、指を前後に振ること、ボールを投げること、ボールを握持すること、またはそれらの組み合わせがある。ポーズおよび／またはジェスチャは、ポーズおよび／またはジェスチャを実施するようにユーザに促すように構成されたアプリケーションによって定義されてよい。追加的または代替的に、ポーズおよび／またはジェスチャは、ユーザによって恣意的に定義されてよい。
【0014】
いくつかの実施形態では、身体状態は、マルチセグメント関節式身体としてモデル化され得る、ユーザの手を説明してよい。手首および各指の関節は、モデル内の複数のセグメント間のインタフェースを形成してよい。いくつかの実施形態では、身体状態は、ユーザの１つまたは複数の腕セグメントとの手の組み合わせを説明してよい。本明細書において説明される方法は、限定するものではないが、腕、脚、足、胴体、頸部、またはそれらの組み合わせを含む、手以外の身体の一部分の筋骨格表現にも適用可能である。
【0015】
筋骨格系内の電気機械的遅延を補償する、本開示のシステムおよび方法は、より低いレイテンシを達成し得る、および／または従来の方法と比較して身体状態を予測する際の精度を増加させ得る。筋骨格系内の電気機械的遅延は、神経筋シナプスにおける運動ニューロン活動電位の到着と運動ニューロン活動電位によって指令される身体の一部の力出力（たとえば、動き）との間の時間として定義されてよい。神経筋活動（たとえば、ユーザによって着装されたウェアラブルデバイスからのＥＭＧ信号によって示されるような）の始まりと筋収縮との間の時間遅延は、運動ニューロン活動電位によって指令されるユーザおよび身体部位の生理機能に応じて、数十ミリ秒～数百ミリ秒以上に及ぶことがある。したがって、任意の時点で、ＥＭＧ信号は、将来的に数十ミリ秒またはそれ以上発生し得る、身体部位のモーションに対応し得る。
【0016】
いくつかの例では、身体部位状態のグラウンドトゥルース測定値に対して時間的にシフトされた神経筋信号に関して訓練された推論モデルは、神経筋信号とより早い神経筋信号に対応するモーションとの間ではなく、神経筋信号と身体部位の対応するモーションとの間の関係を評価し得る。さらに、身体部位表現（たとえば、ヘッドマウントディスプレイ上の視覚的表現）は、ユーザの実際の運動制御により反応するので、この時間的シフトの導入は、グラウンドトゥルース身体状態と訓練された推論モデルによって出力された予測された身体状態との間のレイテンシを減少させ、それによって、アプリケーション（たとえば、人工現実アプリケーション、ユーザインタフェースアプリケーションなど）と関連づけられたユーザエクスペリエンスを改善し得る。
【0017】
電気機械的遅延は、個人およびユーザの身体の部位によって異なる（たとえば、サイズが異なることによる、手対脚に関する異なる遅延）ことがある。いくつかの例では、腕、手、手首、および／または指の位置についてグラウンドトゥルースデータに対して神経筋信号がシフトされる量は、ユーザ間で共有される（たとえば、年齢または性）または個人的な電気機械的遅延（たとえば、手および指の動きを制御する前腕の筋肉に関する）に基づいて特定のユーザに関して個人化される特定の生理機能に従って最適化されてよい。状態のグラウンドトゥルース測定値に対して時間的にシフトされた神経筋信号を使用して推論モデルを訓練することは、限定するものではないが、体温、疲労、概日周期、薬物消費量、食事、カフェイン消費量、アルコール消費量、性、年齢、柔軟性、筋収縮レベル、またはそれらの組み合わせを含む、人間神経筋系内の電気機械的遅延に影響することが知られている任意のまたはすべての要因を明らかにしてよい。
【0018】
いくつかの例では、適切な時間的シフトは、複数の時間的シフトとともに複数の訓練データセットを生成することによって識別され得る。いくつかの例では、時間的シフトは、異なるそれぞれの時間間隔であってよい。たとえば、訓練データセットのセットは、５ｍｓずつ５ｍｓ～１００ｍｓもしくは１０ｍｓずつ１０ｍｓ～１５０ｍｓにわたる時間間隔、または開始時間間隔、終了時間間隔、および時間増分の何らかの他の組み合わせとともに作成されてよい。複数の訓練データセットは、複数の推論モデルを訓練するために使用されてよい。次いで、これらのモデルのレイテンシおよび精度が、モデルをグラウンドトゥルースデータと比較することによって査定されてよい。レイテンシと精度の所望のバランスを呈するモデルが選択されてよい。所望のバランスは、ユーザによって実施されるタスクに依存してよい。たとえば、的確な動きを優先させるタスク（たとえば、遠隔手術）は、より大きい精度と引き換えに、より大きいレイテンシを受け入れてよく、迅速な動きを優先させるタスク（たとえば、ビデオゲーム）は、より低いレイテンシと引き換えに、より低い精度を受け入れてよい。
【0019】
いくつかの例では、適切な遅延時間間隔を使用して訓練された推論モデルは、複数の訓練データセットを生成することなく選択されることがある。たとえば、推論モデルは、既知の適切な遅延時間間隔を使用して訓練されてよい。既知の適切な遅延時間間隔は、システムの既知の電気機械的遅延時間および／または既知の特徴的なレイテンシに依存してよい。既知の電気機械的遅延時間は、力、動き、ポーズ、ジェスチャ、身体部位、特定のユーザ、生理的特性（たとえば、特定の年齢、性別、活動レベル、または人間神経筋系における電気機械的遅延に影響する他の特性）を有するユーザ、またはそれらの組み合わせに特有であってよい。既知の電気機械的遅延時間は、特定のユーザのための既知の方法に従って、臨床医によって直接的に決定されてよい、および／またはそのユーザと生理的特性を共有するユーザのための既知の電気機械的遅延時間に基づいて推定されてよい。
【0020】
いくつかの例では、適切な遅延時間間隔は、身体部位、ユーザ、および／またはユーザのカテゴリのための既知の電気機械的遅延時間を使用して決定されることがある。たとえば、身体部位と関連づけられた既知の電気機械的遅延が４０ｍｓであるとき、時間間隔は、２０～６０ｍｓにわたって選択されてよい。予測精度は、選択された時間間隔を使用して生成された時間シフトされた訓練データセットを使用して訓練された推論モデルに関して生成されてよい。推論モデルのうちの１つまたは複数は、生成された予測精度を使用して身体部位状態を予測する際での使用のために選択されてよい。既知の電気機械的遅延時間に基づいて時間間隔を選択することによって、適切な遅延時間間隔の選択は、十分な精度と低いレイテンシを組み合わせる可能性の高い時間間隔に重点を置いてよい。その結果、より小さい時間間隔が検査されてよい、および／または時間間隔の範囲が、より高い分解能（たとえば、５ｍｓまたは１０ｍｓの分解能ではなく１ｍｓ分解能）で検査されてよい。
【0021】
図１は、本開示の実施形態によるシステム１００を例示する。システム１００は、人体の部分の動きから生じる信号を記録するように構成された複数のセンサ１０２を含んでよい。センサ１０２は、自律センサを含んでよい。いくつかの例では、「自律センサ」という用語は、外部デバイスの使用を必要とすることなく身体セグメントの動きを測定するように構成されたセンサを指すことがある。追加の実施形態では、センサ１０２は、自律センサと組み合わせて非自律センサも含んでよい。いくつかの例では、「非自律センサ」という用語は、外部デバイスを使用して身体セグメントの動きを測定するように構成されたセンサを指すことがある。非自律センサの例としては、限定するものではないが、ウェアラブル（たとえば、身体に装填される）カメラ、全地球測位システム、レーザスキャンシステム、レーダ測距センサ、またはそれらの組み合わせがあり得る。
【0022】
自律センサは、人体の筋肉内の神経筋活動から生ずる信号を記録するように構成された複数の神経筋センサを含んでよい。「神経筋活動」という用語は、本明細書において使用されるとき、筋肉、筋肉活性化、筋収縮、またはそれらの組み合わせを刺激する脊髄運動ニューロンの神経活性化を指すことがある。神経筋センサは、１つもしくは複数の筋電図検査（ＥＭＧ）センサ、１つもしくは複数の筋音測定（ＭＭＧ：ｍｅｃｈａｎｏｍｙｏｇｒａｐｈｙ）センサ、１つもしくは複数の音筋運動記録法（ＳＭＧ：ｓｏｎｏｍｙｏｇｒａｐｈｙ）センサ、神経筋信号を検出するように構成された任意の適切なタイプの１つもしくは複数のセンサ、またはそれらの組み合わせを含んでよい。いくつかの例では、センサ１０２は、筋肉によって制御される身体部位の動きに関連する筋肉活動を感知するために使用されてよい。センサ１０２は、筋肉活動を感知するように構成および配置されてよい。動きを説明する空間情報（たとえば、位置および／または方位情報）および力情報は、ユーザが経時的に動くにつれて、感知された神経筋信号に基づいて予測されてよい。
【0023】
自律センサは、１つまたは複数の慣性測定ユニット（ＩＭＵ）を含んでよく、ＩＭＵは、たとえば、加速度計、ジャイロスコープ、磁力計、またはそれらの組み合わせを使用して、モーションの物理的側面の組み合わせを測定してよい。いくつかの例では、ＩＭＵは、ＩＭＵが取り付けられる身体部位の動きについての情報を感知するために使用されてよく、感知されたデータから導き出される情報（たとえば、位置および／または方位情報）は、ユーザが経時的に動くにつれて追跡されてよい。たとえば、１つまたは複数のＩＭＵは、ユーザが経時的に移動するにつれてユーザの胴体（たとえば、腕、脚）の近位にあるユーザの身体の部分の動きを追跡するために使用されてよい。
【0024】
いくつかの実施形態は、少なくとも１つのＩＭＵと、複数の神経筋センサとを含んでよい。ＩＭＵおよび神経筋センサは、人体の異なる部位の動きを検出するように配置されてよい。たとえば、ＩＭＵは、胴体の近位にある１つまたは複数の身体セグメント（たとえば、上腕）の動きを検出するように配置されてよく、神経筋センサは、胴体の遠位にある１つまたは複数の身体セグメント（たとえば、前腕または手首）の動きを検出するように配置されてよい。自律センサは、任意の適切な手段で配置されてよく、本開示の実施形態は、いかなる特定のセンサ配置にも限定されない。たとえば、少なくとも１つのＩＭＵと複数の神経筋センサは、異なるタイプの測定を使用して身体セグメントの動きを追跡するために身体セグメント上の同じ位置に設置されてよい。いくつかの例では、ＩＭＵセンサおよび複数のＥＭＧセンサは、ユーザの下腕（たとえば、前腕）または手首の周りに装着されたように構成されたウェアラブルデバイス上に配置されてよい。そのような配置では、ＩＭＵセンサは、１つまたは複数の腕セグメントと関連づけられた動き情報（たとえば、経時的な位置、速度、加速度、および／または方位）を追跡するように構成されてよい。動き情報は、たとえば、ユーザが腕を上げたかそれとも下げたかを決定してよい。ＥＭＧセンサは、たとえば、ユーザが開いた手の構成を有するかそれとも閉じた手の構成を有するかを決定するために、手首または手セグメントと関連づけられた動き情報を決定するように構成されてよい。
【0025】
自律センサの各々は、ユーザについての情報を感知するように構成された１つまたは複数の感知構成要素を含んでよい。ＩＭＵの場合、感知構成要素は、身体モーションの特性を測定するために、１つまたは複数の加速度計、ジャイロスコープ、磁力計、またはそれらの任意の組み合わせを含んでよい。身体モーションの特性の例としては、限定するものではないが、加速度、角速度、線速度、および身体の周りの感知された磁場があり得る。神経筋センサの感知構成要素としては、限定するものではないが、身体の表面上の電位を検出するように構成された電極（たとえば、ＥＭＧセンサの場合）、皮膚表面振動を測定するように構成された振動センサ（たとえば、ＭＭＧセンサの場合）、筋肉活動から生ずる超音波信号を測定するように構成された音響的感知構成要素（たとえば、ＳＭＧセンサの場合）、またはそれらの組み合わせがあり得る。
【0026】
いくつかの例では、センサ１０２の出力は、（たとえば、増幅、フィルタリング、および／または整流を実施するために）ハードウェア信号処理回路を使用して処理されてよい。いくつかの例では、センサ１０２の出力の少なくともいくらかの信号処理は、ソフトウェア内で実施されてよい。したがって、自律センサによって記録された自律信号の信号処理は、ハードウェア内、ソフトウェア内、またはハードウェアとソフトウェアの任意の適切な組み合わせによって実施されてよいが、それは、本開示の実施形態はこの点について限定されないからである。
【0027】
いくつかの例では、センサ１０２からの記録されたセンサデータは、以下でより詳細に説明されるように、推論モデル１０４への入力として提供され得る追加の導き出された測定値を計算するために処理されてよい。たとえば、ＩＭＵセンサからの記録された信号は、経時的に剛体セグメントの方位を指定する方位信号を導き出すために処理されてよい。自律センサは、感知構成要素と統合された構成要素を使用して信号処理を実装してよい、または信号処理の一部分は、自律センサの感知構成要素と通信するが、これと直接的に統合されない１つもしくは複数の構成要素によって、実施されてよい。
【0028】
いくつかの例では、複数の自律センサは、ユーザの身体の一部の上またはその周りに装着される（たとえば、着装される）ように構成されたウェアラブルデバイスの一部分として配置されてよい。たとえば、ＩＭＵセンサおよび／または複数の神経筋センサは、ユーザの手首または腕の周りに装着されるように構成されたリストバンドまたはアームバンドなどの、調整可能なおよび／または弾力的なバンドの周りに、周方向に配置されてよい。いくつかの例では、ＩＭＵセンサおよび／または複数の神経筋センサは、限定するものではないが、足首、ウエスト、胴体、頸部、頭、足、向こうずね、肩、またはそれらの組み合わせを含む、身体の一部分および／または複数の一部分に配置および／または取り付けられてよい。追加的または代替的に、自律センサは、ユーザの身体の一部分に固定されるように構成されたウェアラブルパッチ上に配置されてよい。いくつかの例では、各々が１つまたは複数のＩＭＵおよび／または神経筋センサをその上に含ませた複数のウェアラブルデバイスは、身体の複数の部位を関与させる動きに関して筋骨格位置情報を予測するために使用されてよい。
【0029】
いくつかの例では、センサ１０２は、複数の神経筋センサ（たとえば、ＥＭＧセンサ）のみを含んでよい。いくつかの例では、センサ１０２は、複数の神経筋センサと、複数の補助信号を連続的に記録するように構成された少なくとも１つの「補助」または追加センサとを含んでよい。補助センサの例としては、限定するものではないが、ＩＭＵセンサなどの他の自律センサ、イメージングデバイス（たとえば、カメラ）などの非自律センサ、レーダ測距センサ、放射線ベースセンサ、レーザスキャンデバイス、および／または心拍数モニタなどの他のタイプのセンサがあり得る。
【0030】
システム１００は、センサ１０２と通信するようにプログラムされた少なくとも１つのプロセッサ１０１も含んでよい。たとえば、センサ１０２のうちの１つまたは複数によって記録された信号は、プロセッサ１０１に提供されてよく、プロセッサ１０１は、１つまたは複数の推論モデル１０４を訓練するためにセンサ１０２によって出力された信号を処理する１つまたは複数の機械学習アルゴリズムを実行するようにプログラムされてよい。訓練された（または再訓練された）推論モデル１０４は、以下でより詳細に説明されるように、筋骨格表現１０６を生成する際に後で使用するために記憶されてよい。センサ１０２からの記録された信号に基づいて身体状態情報を予測するために使用されてよい推論モデル１０４の非限定的な例は、以下で詳細に論じられる。
【0031】
システム１００は、身体状態の視覚的表現（たとえば、手の視覚的表現）を表示するように構成されたディスプレイデバイス１０８を含んでよい。以下でより詳細に論じられるように、プロセッサ１０１は、センサ１０２によって記録された信号に少なくとも部分的に基づいて身体状態情報を予測するように構成された１つまたは複数の訓練された推論モデル１０４を使用してよい。予測された身体状態情報は、筋骨格表現１０６を更新するために使用されてよく、これは、ディスプレイデバイス１０８（たとえば、ヘッドマウントディスプレイ）上に視覚的表現をレンダリングするために使用されてよい。現在の身体状態のリアルタイム再構築と、筋骨格モデルにおける現在の身体状態情報を反映する、ディスプレイデバイス１０８上での視覚的表現のその後のレンダリングは、意図された身体状態を正確に表すために、推論モデル１０４の有効性についての視覚的フィードバックをユーザに提供し得る。いくつかの例では、筋骨格表現１０６と関連づけられたメトリック（たとえば、１つまたは複数の手ジェスチャに関する可能性メトリックまたはマルチセグメント関節式剛体システムの手などのセグメントの位置、動き、および／もしくは力を推定する信頼水準を表す品質メトリック）が、ユーザまたは他の第三者に提供されることがある。
【0032】
いくつかの例では、人工現実環境をシミュレートするように構成されたコンピュータアプリケーションは、ディスプレイデバイス１０８上にユーザの手の視覚的表現を表示するように指示されることがある。人工現実環境内で手の部分によって加えられる位置決め、動き、および／または力は、訓練された推論モデルの出力に基づいて表示されてよい。ユーザの位置決め、動き、および／または力の視覚的表現は、信号が連続的にセンサ１０２によって記録され、訓練された推論モデル１０４によって処理されるにつれて、現在の再構築された身体状態情報に基づいて動的に（たとえば、リアルタイムで）更新されてよい。
【0033】
上記で論じられたように、いくつかの実施形態は、センサ１０２（たとえば、ウェアラブル自律センサ）から記録された信号に基づいて筋骨格表現１０６を予測するために推論モデル１０４を使用することを対象とすることがある。推論モデル１０４は、コンピュータにより生成された筋骨格表現１０６内に表されることになる剛体の各セグメント上にセンサ１０２を置く必要なく筋骨格位置情報を予測するために使用されてよい。マルチセグメント関節式剛体モデル内のセグメント間の関節のタイプは、剛体の動きを抑制してよい。追加的に、異なるユーザが、個々のユーザの動きの統計的パターンでキャプチャされ得るタスクを実施するとき、個々の手段で動く傾向があることがある。人体の動きに関するこれらの制約のうちの少なくともいくつかは、予測に使用される推論モデル１０４に明示的に組み込まれてよい。追加的または代替的に、制約は、センサ１０２からの記録されたデータに基づいた訓練を通じて推論モデル１０４によって学習されてよい。推論モデル１０４の構造に課される制約は、ユーザの身体の解剖学的構造および物理によって設定される制約であってよいが、統計的パターンから導き出される制約は、センサ測定値が記録される１つまたは複数のユーザのために人間の行動によって設定される制約であってよい。
【0034】
上記で論じられたように、いくつかの実施形態は、コンピュータベースの筋骨格表現１０６の生成および／またはリアルタイム更新を可能にするように身体状態情報を予測するために推論モデル１０４を使用することを対象とすることがある。推論モデル１０４は、ユーザが１つまたは複数の動きを実施するとき、限定するものではないが、ＩＭＵ信号、神経筋信号（たとえば、ＥＭＧ信号、ＭＭＧ信号、およびＳＭＧ信号）、外部デバイス信号（たとえば、カメラ信号、レーダ信号、またはレーザスキャン信号）、またはそれらの組み合わせを含む、センサ１０２からの信号に基づいて、身体状態情報を予測するために使用されてよい。
【0035】
図２Ａは、本開示の実施形態による、身体状態情報を予測することに対するレイテンシの影響を描く例証的なチャートを例示する。システムは、ユーザが１つまたは複数の動きを実施するとき、神経筋信号２０３および身体状態２０１（たとえば、グラウンドトゥルース身体状態）の繰り返される（たとえば、周期的な）測定値を取得するように構成されてよい。たとえば、神経筋信号２０３およびグラウンドトゥルース身体状態２０１は、明示的および／または暗黙的にタイムスタンプが付加された測定値（たとえば、測定値と測定時間のタプル、および／または既知のサンプリング時間間隔と既知の開始時間とをもつ測定値のシーケンス）を含む、時系列データ（たとえば、時間の期間にわたって記録されたデータ）であってよい。システムは、獲得時間に基づいて身体状態２０１および信号２０３のサンプルを位置合わせするように構成されてよい。身体状態２０１および信号２０３のサンプルの位置合わせは、アップサンプリング、ダウンサンプリング、補間、他の信号処理技法、またはそれらの組み合わせを伴ってよい。たとえば、システムは、図２Ａに図示されるように、身体状態サンプル｛ＢＴ０，ＢＴ０＋Δｔ，ＢＴ０＋２Δｔ，ＢＴ０＋３Δｔ，ＢＴ０＋４Δｔ，…｝と信号サンプル｛ＳＴ０，ＳＴ０＋Δｔ，ＳＴ０＋２Δｔ，ＳＴ０＋３Δｔ，ＳＴ０＋４Δｔ，…｝をそれぞれ位置合わせしてよい。
【0036】
システムは、身体状態２０１を信号２０３のためのグラウンドトゥルースデータとして使用して推論モデルを訓練するように構成されてよい。いくつかの例では、「グラウンドトゥルースデータ」という用語は、「ラベル時系列データ」という用語と互換的に使用されることがある。ラベル時系列データは、一定の時間間隔または可変の時間間隔で時間の期間にわたって収集されるデータであってよい。従来のシステムは、現在の信号サンプルを使用して現在の身体状態サンプルを予測する（たとえば、図２Ａでは信号サンプルを同じ時間の身体状態に接続する矢印２０２として表される、ＳＴ０からＢＴ０を予測する）ように構成され得る。電気機械的遅延により、身体状態ＢＴ０＋Δｔは、筋肉活動以前の結果であることがある。したがって、身体状態ＢＴ０＋Δｔは、前の信号サンプル（たとえば、ＳＴ０）を使用して、より正確に予測され得る。そのうえ、信号サンプルからの身体状態の予測は、処理時間を必要とする。この処理時間は、信号の時間積分、信号記録および調節、信号データの（たとえば、ウェアラブルセンサから処理システムへの）送信、メモリアクセス、プロセッサ命令実行、および推論モデルを使用してデータ信号を処理することと関連づけられた時間遅延を含んでよい。そのような時間遅延は、１０ｍｓから１００ｍｓの間にわたってもよいし、これ以上であってもよい。
【0037】
予測される身体状態２０５は、信号２０３を使用して生成されたサンプルが（信号２０３のサンプルを予測される身体状態２０５と接続する矢印２０６によって示されるように）訓練された推論モデルによっていつ出力されるかを描くことがある。図２Ａに図示されるように、訓練された推論モデルが、予測される身体状態ＢＴ０を出力する時間まで、最も最近に測定された身体部位状態はＢＴ０＋Δｔであってよい。本明細書において使用されるとき、レイテンシは、身体状態の測定と対応する予測される身体状態２０５の出力との間の時間期間（たとえば、平均時間期間、中央値時間期間、または他の適切な時間期間）（たとえば、測定された身体状態ＢＴ０と予測される身体状態ＢＴ０との間のレイテンシ２０７）であってよい。ユーザが、システムの出力（たとえば、ヘッドマウントディスプレイ（ＨＭＤ）上に表示される身体状態の視覚的表現）がユーザの実際の動きに遅れていると分かることがあるので、レイテンシは、ユーザエクスペリエンスの品質を低減させることがある。
【0038】
図２Ｂは、本開示の実施形態による、時間シフトされた訓練データを使用して推論モデルを訓練することのレイテンシ２１７に対する影響を描くチャートを図示する。上記で図２Ａを参照して説明されたように、システムは、身体状態２１１（たとえば、グラウンドトゥルース身体状態）および信号２１３の複数のサンプルを取得し得る。いくつかの例では、同時に獲得された信号２１３と身体状態２１１のサンプルをペアにするのではなく、システムは、（信号２１３のサンプルを身体状態２１１のサンプルと接続する矢印２１２によって示されるように）信号２１３のサンプルを後の時間に獲得された身体状態２１１のサンプルとペアにするように構成されてよい。たとえば、システムは、信号サンプルＳＴ０を身体状態サンプルＢＴ０＋Δｔとペアにしてよい。このようにして、システムは、信号２１３またはグラウンドトゥルース身体状態２１１のどちらかを時間シフトすることによって訓練データセットを作成し得る。システムは、時間シフトされた訓練データセットを使用して推論モデルを訓練するように構成されてよい。たとえば、次いで、推論モデルは、時間シフトされた訓練データセットを使用して信号２１３から身体状態２１１を予測するように訓練されてよい。
【0039】
予測される身体状態２１５は、信号２１３を使用して生成されたサンプルが（信号２１３のサンプルを予測される身体状態２１５と接続する矢印２１６によって示されるように）訓練された推論モデルによっていつ出力されるかを描く。この例では、訓練された推論モデルが、予測される身体状態ＢＴ０＋Δｔを出力する時間まで、最も最近に測定された身体部位状態もＢＴ０＋Δｔである。図示されるように、身体状態ＢＴ０＋Δｔが発生するときと訓練された推論モデルが予測される身体状態ＢＴ０＋Δｔを出力するときとの間のレイテンシ２１７は、ＳＴ０からＢＴ０＋Δｔを予測することによって図２Ａに図示されるレイテンシ２０７と比較して、減少され得る。本明細書において論じられるように、電気機械的遅延によって、時間Ｔ０に測定される信号が後で発生する身体状態（たとえば、Ｔ０＋Δｔにおける身体状態）に影響するので、推論モデルは、ＳＴ０からＢＴ０＋Δｔを少なくとも部分的に予測するように訓練されてよい。したがって、遅延時間間隔Δｔの適切な選定の場合、ＳＴ０からＢＴ０＋Δｔを予測するように推論モデルを訓練することによって、身体状態予測精度が改善され得る。遅延時間間隔Δｔを選ぶための例証的な方法は、以下で図３および図４を参照して論じられる。
【0040】
図３は、本開示の実施形態による、遅延時間間隔Δｔと身体状態予測精度との体験的関係を描くチャート３００を図示する。この体験的関係は、所望されたレイテンシと身体状態予測精度のバランスを呈する訓練された推論モデルを選択するために使用されてよい。図３に描かれる独立変数は、神経筋信号サンプルと身体状態サンプルとの間の遅延時間間隔である。正の時間間隔値は、神経筋信号サンプルを神経筋信号サンプルの後に取得される身体状態サンプルとペアにすることに対応する。負の時間間隔値は、神経筋信号サンプルを神経筋信号サンプルの前に取得された身体状態サンプルとペアにすることに対応する。ゼロ時間間隔（０．０ｍｓ）値は、信号サンプルを信号サンプルと同時に取得される身体状態サンプルとペアにすることに対応する。図３のチャートに描かれる反応変数は、時間間隔だけ時間シフトされた訓練データセットを使用して訓練されるモデルの予測精度の尺度であってよい。描かれる尺度は、手の筋骨格表現内の測定された関節角度と予測される関節角度との間の相関値であってよい。いくつかの例では、身体部位の筋骨格表現の特性値間の平均２乗誤差などの、予測精度の他の尺度が使用されてよい。そのような特性値としては、限定するものではないが、関節角度、力、または身体部位の空間座標があり得る。同様に、既知のポーズまたはジェスチャ（たとえば、拳ポーズまたは開いた手から拳ポーズに移行すること）を正しく予測する可能性は、予測精度の尺度として使用されてよい。たとえば、身体部位状態および予測される身体部位状態は、ポーズまたはジェスチャの存在または欠如を示す二値ラベルであってよい。訓練された推論モデルは、偽陽性予測率、偽陰性予測率、真陽性予測率、または真陰性予測率を有してよい。予測精度の尺度は、これらの予測率のうちの少なくとも１つに依存してよい。
【0041】
チャート３００に図示されるように、身体状態予測精度（たとえば、測定された関節角度と予測される関節角度との間の相関）は、遅延時間間隔値がゼロから２０ミリ秒に増加するにつれて改善することがある。その後、予測精度は、遅延時間間隔値が増加するにつれて減少する。図示されるように、測定された信号を身体状態ラベルに対して４０ｍｓだけシフトすることによって、予測精度を減少させることなくレイテンシが減少される。本明細書において説明されるように、タスクに応じて、より短い時間間隔またはより長い時間間隔（たとえば、範囲１０～１００ｍｓ内の時間間隔）を使用して訓練された推論モデルは、身体状態を予測する際に使用するために選択されてよい。
【0042】
いくつかの例では、推論モデルは、推論モデルを訓練するための訓練データセットを生成するために使用される予測精度基準（たとえば、測定された関節角度と予測される関節角度との間の相関）および遅延時間間隔Δｔに基づいて身体状態を予測する際に使用するために選択されることがある。たとえば、予測精度基準（たとえば、設定された閾値を上回る精度）を満たす推論モデルのうち、選択される推論モデルは、最大時間間隔を使用して生成された訓練データセットを使用して訓練された推論モデルであってよい。たとえば、２つの推論モデル（たとえば、許容可能な閾値を上回る精度を有する両方のモデル）が精度基準を満たすことがある。第１のモデルは、第２のモデルよりも大きい精度を有してよいが、第１のモデルを訓練するための訓練データセットを生成するために使用される時間間隔は、第２のモデルを訓練するための訓練データセットを生成するために使用される時間間隔よりも小さくてよい。この例では、第２の推論モデルは、許容可能な予測精度と、第１の推論モデルよりも低いレイテンシとを有することがあるので、この第２の推論モデルは、身体状態を予測するように選択されてよい。
【0043】
精度基準は、推論モデル間で観察される最大精度に依存してよい。たとえば、精度基準は、最も精度の高いモデルの精度からの偏差として表明されてよい。推論モデルに関する精度の偏差が閾値よりも小さいとき、推論モデルは、精度基準を満たしてよい。閾値は、精度の絶対差であってよい（たとえば、最も精度の高いモデルは８５％の予測精度を有し、二番目のモデルは少なくとも８０％の精度を有する）。代替的に、閾値は、精度の相対差であってもよい（たとえば、精度の低いモデルは、最も精度の高いモデルの少なくとも９５％の精度である）。
【0044】
図４は、本開示の実施形態による、時間間隔と予測精度との体験的関係におけるユーザ依存を描く２つのチャートを図示する。遅延時間間隔に対する予測精度の依存は、ユーザによって異なってよい。図４のチャートに図示されるように、遅延時間間隔に対する予測精度の依存は、チャート４０２に図示されるユーザＡとチャート４０４に図示されるユーザＢとで異なってよい。したがって、システムは、ユーザに適した遅延時間間隔を使用して訓練された推論モデルを選択することおよび／またはユーザに適した遅延時間間隔とともに生成された訓練データセットを使用して推論モデル訓練することによってユーザに個人化されてよい。適切な遅延時間間隔は、システムの既知の電気機械的遅延時間および／または特徴的なレイテンシに依存してよい。たとえば、ユーザＡとユーザＢは、生理的特性（たとえば、ユーザ年齢、性別、活動レベル、または人間神経筋系における電気機械的遅延に影響することが知られている他の特性）に応じて異なる電気機械的遅延時間を有してよい。
【0045】
図５は、センサ（たとえば、センサ１０２）から記録された信号を使用して推論モデルを生成する（たとえば、訓練する）ための方法５００を説明する。方法５００は、任意の適切なコンピューティングデバイスを使用して実行されてよいが、それは、本開示の実施形態はこの点について限定されないからである。たとえば、方法５００は、図１および図７を参照して説明される１つまたは複数のコンピュータプロセッサによって実行されてよい。別の例として、方法５００の１つまたは複数の動作は、１つまたは複数のサーバ（たとえば、クラウドコンピューティング環境の一部として含まれるサーバ）を使用して実行されてよい。たとえば、方法５００における動作の少なくとも一部分は、クラウドコンピューティング環境および／または図７のウェアラブルデバイス７００、図８の８１０、図１１の１１００、図１２の１２００、図１３の１３２０、図１４の１４０４、もしくは図１５の１５３０などのウェアラブルデバイスのプロセッサを使用して実施されてよい。方法５００の動作は、図５では、ある順序で実施されるように図示されているが、方法５００の動作は任意の順序で実施されてよい。
【0046】
方法５００は動作５０２を含んでよく、動作５０２では、複数のセンサ信号（たとえば、神経筋信号、ＩＭＵ信号など）は、１つまたは複数の動きを実施する（たとえば、人工現実ゲームをする）１つまたは複数のユーザに関して取得される。いくつかの例では、複数のセンサ信号が、方法５００の一部として記録されることがある。追加的または代替的に、複数のセンサ信号は、方法５００の実行の前に記録されることがあり、動作５０２において（記録されるのではなく）アクセスされる。
【0047】
いくつかの例では、複数のセンサ信号は、単一の動きおよび／または複数の動きを実施する単一のユーザに関して記録されたセンサ信号を含んでよい。ユーザは、特定のタスクのための動きのシーケンス（たとえば、ゲームコントローラを握持すること、ユーザ入力をコンピュータに提供することなど）を実施するように指示されてよく、ユーザの動きに対応するセンサ信号は、ユーザが実施するように指示されたタスクをユーザが実施するとき、記録されてよい。センサ信号は、実施されるタスクに関連のあるユーザの動きを検出するために任意の適切な場所に設置された任意の適切な数および／またはタイプのセンサによって記録されてよい。たとえば、ユーザが、ユーザの右手の指を用いてタスクを実施するように指示された後、センサ信号は、右手の動きを引き起こす右下腕における筋肉活動を検出するためにユーザの右下腕の周りに（たとえば、周方向に）配置された複数の神経筋センサと、ユーザの胴体に対するユーザの腕の関節角度を予測するように配置された１つまたは複数のＩＭＵセンサによって記録されてよい。別の例として、ユーザが、ユーザの脚を用いてタスクを実施するように（たとえば、物体を蹴るように）指示された後、センサ信号は、足の動きを引き起こす脚における筋肉活動を検出するためにユーザの脚の周りに（たとえば、周方向に）配置された複数の神経筋センサと、ユーザの胴体に対するユーザの脚の関節角度を予測するように配置された１つまたは複数のＩＭＵセンサによって記録されてよい。
【0048】
いくつかの例では、動作５０２において取得されるセンサ信号は、１つのタイプのセンサ（たとえば、１つもしくは複数のＩＭＵセンサまたは１つもしくは複数の神経筋センサ）からの信号に対応することがあり、推論モデルは、特定のタイプのセンサを使用して記録されたセンサ信号に基づいて訓練され、センサタイプ特有の訓練された推論モデルをもたらすことがある。たとえば、取得されるセンサ信号は、ユーザの下腕または手首の周りに（たとえば、周方向に）配置された複数のＥＭＧセンサ信号を含んでよく、推論モデルは、ゲームコントローラまたはドアノブなどの物体を握持して回すなどのタスクの実施中の手首および／または手の動きに関する筋骨格位置情報を予測するように訓練されてよい。
【0049】
複数のタイプのセンサ（たとえば、ＩＭＵセンサ、ＥＭＧセンサ、ＭＭＧセンサ、ＳＭＧセンサなど）に基づいて予測を提供する実施形態では、別個の推論モデルは、異なるタイプのセンサの各々に関して訓練されてよく、センサタイプ特有のモデルの出力は、ユーザの身体の筋骨格表現を生成するために組み合わされてよい。いくつかの例では、２つ以上の異なるタイプのセンサから動作５０２において取得されるセンサ信号は、異なるタイプのセンサから記録された信号に基づいて訓練された単一の推論モデルに提供されることがある。たとえば、以下でより詳細に論じられるように、ＩＭＵセンサおよび複数のＥＭＧセンサは、ユーザの前腕の周りに装着されるように構成されたウェアラブルデバイス上に配置されてよく、ＩＭＵセンサおよびＥＭＧセンサによって記録された信号は、推論モデルへの入力としてまとめて提供される。
【0050】
いくつかの例では、ユーザは、タスクを複数回実施するように指示されることがあり、センサ信号および位置情報は、ユーザによるタスクの複数の繰り返しの各々に関して記録されることがある。いくつかの例では、複数のセンサ信号は、複数のユーザに関して記録された信号を含んでよく、この複数のユーザの各々は、１回または複数回同じタスクを実施する。複数のユーザの各々は、タスクを実施するように指示されることがあり、ユーザが指示に従ってタスクを（１回または繰り返し）実施すると、そのユーザの動きに対応するセンサ信号および位置情報は、記録されてよい。センサ信号が複数のユーザから収集され、推論モデルを生成するために組み合わされるとき、異なるユーザが類似の筋骨格位置を用いて同じ動きを実施するという仮定が行われてよい。同じタスクを繰り返し実施する単一のユーザからおよび／または同じタスクを１回もしくは複数回実施する複数のユーザからセンサ信号および位置情報を収集することによって、タスクの実施と関連づけられた筋骨格位置情報を正確に予測し得る推論モデルを生成するのに十分な訓練データの収集が容易になる。
【0051】
いくつかの例では、ユーザに依存しない推論モデルが、複数のユーザから記録された信号に対応する訓練データに基づいて生成されることがあり、システムがユーザによって使用されるとき、推論モデルは、推論モデルが、システムの予測能力を改良し、特定のユーザに関する予測精度を増加させるためにユーザ依存特性を学習するように、記録されたセンサデータに基づいて訓練されることがある。
【0052】
いくつかの例では、複数のセンサ信号は、複数のタスクの各々を１回または複数回実施するユーザ（または複数のユーザの各々）に関して記録された信号を含んでよい。たとえば、ユーザは、複数のタスク（たとえば、物体を握持すること、物体を押すこと、ドアを引いて開くことなど）の各々を実施するように指示されてよく、ユーザの動きに対応する信号は、ユーザが実施するように指示された複数のタスクの各々をユーザが実施するとき、記録されてよい。そのような信号データを収集することによって、ユーザによって実施され得る複数の異なるアクションと関連づけられた筋骨格位置情報を予測するための推論モデルを開発することが容易にされ得る。たとえば、複数のアクションのための筋骨格位置情報を組み込んだ訓練データは、複数の可能な動きのどれをユーザが実施している可能性があるかを予測するための推論モデルを生成することを容易にし得る。
【0053】
上記で論じられたように、動作５０２において取得されるセンサデータは、１つまたは複数のユーザの各々が１つまたは複数のタスクの各々を１回または複数回実施するとき、センサ信号を記録することによって取得されてよい。動作５０４では、グラウンドトゥルースデータ（たとえば、ラベル時系列データ）は、限定するものではないが、光センサ、慣性測定センサ、相互磁気誘導測定センサ、圧力センサ、またはそれらの組み合わせを含む、複数のセンサによって取得されてよい。グラウンドトゥルースデータは、ユーザの身体部位状態を示し得る。たとえば、ユーザがタスクを実施するとき、タスクの実施中の異なる身体セグメントの空間位置を説明する位置情報は、動作５０４において取得されてよい。いくつかの例では、位置情報は、タスクの実施中の身体上の異なる点の位置を追跡する１つまたは複数の外部デバイスまたはシステムを使用して取得されてよい。たとえば、モーションキャプチャシステム、レーザスキャナ、相互磁気誘導を測定するデバイス、位置情報をキャプチャするように構成された何らかの他のシステム、またはそれらの組み合わせが使用されてよい。非限定的な一例として、複数の位置センサが、ユーザの手の指のセグメント上に置かれてよく、モーションキャプチャシステムは、ユーザが、物体を握持するなどのタスクを実施するとき、位置センサの各々の空間的場所を決定するために使用されてよい。追加的または代替的に、神経筋信号は、動作５０２において取得されてよく、ユーザがタスクを実施するときユーザ身体部位（たとえば、指）の空間的場所を決定するために、単独で使用されてもよいし、モーションキャプチャシステムからの１つもしくは複数の画像もしくはＩＭＵ信号と組み合わせて使用されてもよい。動作５０２において取得されるセンサデータは、動作５０４において取得される位置情報の記録と同時に記録されてよい。この例では、握持モーションが実施されると各指セグメントの位置を経時的に示す位置情報が取得される。
【0054】
方法５００は動作５０６に進んでよく、動作５０６では、動作５０２において取得されるセンサ信号および／または動作５０４において取得される位置情報が任意選択で処理される。たとえば、センサ信号および／または位置情報信号は、限定するものではないが、増幅、フィルタリング、整流、他のタイプの信号処理、またはそれらの組み合わせを使用して、処理されてよい。
【0055】
方法５００は動作５０８に進んでよく、動作５０８では、筋骨格位置特性が位置情報（動作５０４において収集された）に基づいて決定される。いくつかの例では、位置センサに対応する記録された空間（たとえば、ｘ、ｙ、ｚ）座標を訓練データとして使用して、推論モデルを訓練するのではなく、導き出された筋骨格位置特性値のセットが、記録された位置情報に基づいて決定され、導き出された値は、推論モデルを訓練するための訓練データとして使用される。たとえば、関節式剛体モデル内の剛性セグメントの接続されたペア間の制約についての情報を使用して、位置情報は、タスクの実施中の複数の時点の各々における剛性セグメントの各接続されたペア間の関節角度を決定するために使用されてよい。したがって、動作５０４において取得される位置情報は、複数の時点の各々におけるｎ関節角度のベクトルによって表されてよく、ここで、ｎは、関節式剛体モデル内のセグメント間の関節または接続の数である。
【0056】
方法５００は動作５１０に進んでよく、動作５１０では、動作５０２および５０８において取得された時系列情報は、推論モデルを訓練するために使用される訓練データを作成するために組み合わされてよい。取得されたデータは、任意の適切な方法を使用して組み合わされてよい。いくつかの例では、動作５０２において取得されるセンサ信号の各々は、タスクと関連づけられてもよいし、ユーザがタスクまたは動きを実施したときに動作５０４において取得された位置情報に基づいて決定される筋骨格位置特性（たとえば、関節角度）に対応するタスク内の動きと関連づけられてもよい。このようにして、センサ信号は、筋骨格位置特性（たとえば、関節角度）と関連づけられてよく、推論モデルは、特定のセンサ信号が特定のタスクの実施中に記録されるとき筋骨格表現が異なる身体セグメント間の特定の筋骨格位置特性によって特徴づけられることを予測するように訓練されてよい。
【0057】
タスクの実施中に異なるタイプの動き情報（たとえば、位置情報、速度情報、加速度情報）を同時に記録するように構成された異なるタイプのセンサ（たとえば、ＩＭＵセンサおよび神経筋センサ）を含む実施形態では、異なるタイプのセンサに関するセンサデータは、同じサンプリングレートを使用して記録されてもよいし、異なるサンプリングレートを使用して記録されてもよい。センサデータが、異なるサンプリングレートで記録されるとき、センサデータのうちの少なくともいくらかは、推論モデルへの入力として提供されるすべてのセンサデータが、同じ時間分解能（たとえば、サンプル間の時間期間）における時系列データに対応するように、再サンプリング（たとえば、アップサンプリングまたはダウンサンプリング）されてよい。センサデータのうちの少なくともいくらかにおける再サンプリングは、限定するものではないが、センサデータをアップサンプリングするための補間を使用することおよびセンサデータをダウンサンプリングするためのデシメーションを使用することを含む、任意の適切な方法を使用して、実施されてよい。
【0058】
追加的または代替的に、いくつかの実施形態は、複数の入力を非同期で受け入れるように構成された推論モデルを用いてよい。たとえば、推論モデルは、低い方のサンプリングレートを有する入力データ内の「欠損」値の分布をモデル化するように構成されてよい。追加的または代替的に、推論モデルの訓練のタイミングは、複数のセンサデータ測定からの入力が訓練データとして利用可能になると（たとえば、信号調節後に）非同期で発生してよい。
【0059】
動作５１０において推論モデルを訓練するための訓練データを作成するために動作５０２および５０８において取得される時系列情報を組み合わせることは、１つまたは複数の訓練データセットを生成することを含んでよい。本明細書において説明されるように、１つまたは複数の訓練データセットは、動作５０２において取得されたセンサ信号を時間シフトすることによって生成されてもよいし、動作５０４または５０８において取得されたグラウンドトゥルースデータを１つまたは複数の時間間隔だけ時間シフトすることによって生成されてもよい。
【0060】
方法５００は動作５１２に進んでよく、動作５１２では、筋骨格位置情報を予測するための推論モデルは、動作５１０において生成された訓練データを使用して訓練されてよい。訓練されている推論モデルは、データセットのシーケンスを入力として使用してよく、シーケンス内のデータセットの各々は、センサデータのｎ次元ベクトルを含んでよい。推論モデルは、ユーザによって実施され得る１つまたは複数のタスクまたは動きの各々に対して、ユーザの身体の筋骨格表現が筋骨格位置特性のセット（たとえば、関節式マルチセグメント身体モデル内のセグメント間の関節角度のセット）によって特徴づけられる可能性を示す出力を提供してよい。たとえば、推論モデルは、時点ｔ１、ｔ２、…、ｔＫで取得された測定値を使用して生成されたベクトルのシーケンス｛ｘｋ｜１≦ｋ≦Ｋ｝を入力として使用してよく、ここで、ベクトルｘｊの第ｉ成分は、時間ｔｊにおいて第ｉのセンサによって測定されたおよび／または時間ｔｊにおいて第ｉのセンサによって測定された値から導き出された値であってよい。非限定的な例では、推論モデルへの入力として提供された導き出された値は、時間ｔｊにおけるおよび／またはその前のすべてのセンサまたはセンサのサブセットに関するデータから抽出された特徴（たとえば、共分散行列、パワースペクトル、他の任意の適切な導き出された表現、またはそれらの組み合わせ）を含んでよい。そのような入力に基づいて、推論モデルは、ユーザの身体の筋骨格表現が筋骨格位置特性のセットによって特徴づけられる確率を示す出力を提供してよい。非限定的な一例として、推論モデルは、ユーザが物体を握持すると経時的に手の指におけるセグメントに関する関節角度のセットを予測するように訓練されてよい。この例では、訓練された推論モデルは、センサ入力に対応する手における関節に関する予測される関節角度のセットを出力してよい。
【0061】
いくつかの例では、推論モデルは、ニューラルネットワークであってよい。いくつかの例では、推論モデルは、リカレントニューラルネットワークであってよい。リカレントニューラルネットワークは、長短期記憶（ＬＳＴＭ）ニューラルネットワークであってよい。しかしながら、リカレントニューラルネットワークは、ＬＳＴＭニューラルネットワークに限定されず、他の任意の適切なアーキテクチャを有してよい。たとえば、リカレントニューラルネットワークは、限定するものではないが、全結合リカレントニューラルネットワーク、再帰型ニューラルネットワーク、変分オートエンコーダ、ホップフィールド型ニューラルネットワーク、連想記憶ニューラルネットワーク、エルマン型ニューラルネットワーク、ジョーダン型ニューラルネットワーク、エコーステートニューラルネットワーク、二次リカレントニューラルネットワーク、他の任意の適切なタイプのリカレントニューラルネットワーク、またはそれらの組み合わせであってよい。いくつかの例では、リカレントニューラルネットワークでないニューラルネットワークが使用されてよい。たとえば、深層ニューラルネットワーク、畳み込みニューラルネットワーク、フィードフォワード型ニューラルネットワーク、またはそれらの組み合わせが使用されてよい。
【0062】
推論モデルがニューラルネットワークであるいくつかの例では、ニューラルネットワークの出力層は、可能な筋骨格位置特性（たとえば、関節角度）のそれぞれのセットに対応する出力値のセットを提供してよい。この例では、ニューラルネットワークは、未加工のおよび／または処理された（たとえば、調節された）センサ測定値から筋骨格位置特性を予測するように構成された非線形回帰モデルとして動作してよい。いくつかの例では、他の適切な非線形回帰モデルがニューラルネットワークの代わりに使用されてよいが、それは、本開示はこの点について限定されないからである。
【0063】
いくつかの例では、ニューラルネットワークは、全結合（たとえば、密な）層、長短期記憶（ＬＳＴＭ）層、畳み込み層、時間的畳み込み層（ＴＣＬ）をもつ深層ニューラルネットワーク、他の適切なタイプの深層ニューラルネットワークトポロジおよび／もしくはアーキテクチャ、またはそれらの組み合わせを含む、複数のおよび／または異なるタイプのトポロジおよび／またはアーキテクチャに基づいて、実装されてよい。ニューラルネットワークは、限定するものではないが、ロジスティックシグモイド活性化関数、ハイパボリックタンジェント活性化関数、線形ユニット、正規化線形ユニット、他の適切なタイプの非線形ユニット、またはそれらの組み合わせをもつ出力層を含む、異なるタイプの出力層を有してよい。いくつかの例では、ニューラルネットワークは、ソフトマックス関数を介してｎ個の異なるクラスに対する確率分布を表すように構成されてよい。いくつかの例では、ニューラルネットワークは、パラメータ化された分布（たとえば、ガウス分布の平均および／または分散）を提供する出力層を含んでよい。
【0064】
他のタイプの推論モデルが用いられてよいので、本開示の実施形態は、ニューラルネットワークを使用することに限定されない。いくつかの例では、推論モデルとしては、限定するものではないが、隠れマルコフモデル、異なる動的システム間のスイッチングを可能にするマルコフスイッチングモデル、動的ベイジアンネットワーク、時間成分を有する他の任意の適切なグラフィカルモデル、またはそれらの組み合わせがあり得る。任意のそのような推論モデルは、動作５０２において取得されたセンサデータを使用して、動作５１２において訓練されてよい。
【0065】
別の例として、推論モデルは、動作５０２において取得されたセンサデータから導き出された入力特徴として使用してよい。そのような実施形態では、推論モデルは、動作５０２において取得されたセンサデータから抽出された特徴を使用して、動作５１２において訓練されてよい。推論モデルとしては、限定するものではないが、サポートベクターマシン、ガウス混合モデル、回帰ベース分類器、デシジョンツリー分類器、ベイズ分類器、他の任意の適切な分類器、またはそれらの組み合わせがあり得る。訓練データとして推論モデルに提供されることになる入力特徴は、任意の適切な方法を使用して、動作５０２において取得されたセンサデータから導き出されてよい。たとえば、センサデータは、限定するものではないが、ウェーブレット解析法（たとえば、連続ウェーブレット変換、離散時間ウェーブレット変換など）、フーリエ解析法（たとえば、短時間フーリエ変換、離散時間フーリエ変換、フーリエ変換など）、他の任意の適切なタイプの時間周波数解析法、またはそれらの組み合わせを使用して、時系列データとして分析されてよい。非限定的な一例として、センサデータは、ウェーブレット変換を使用して変換されてよく、結果として生じるウェーブレット係数は、推論モデルへの入力として提供されてよい。
【0066】
いくつかの例では、動作５１２において、推論モデルのパラメータのための値は、動作５１０において生成された訓練データから推定されてよい。たとえば、推論モデルがニューラルネットワークであるとき、ニューラルネットワークのパラメータ（たとえば、重み）は、訓練データから推定されてよい。推論モデルのパラメータは、限定するものではないが、勾配降下法、確率的勾配降下法、他の任意の適切な反復最適化法、またはそれらの組み合わせを使用して推定されてよい。推論モデルがリカレントニューラルネットワーク（たとえば、ＬＳＴＭニューラルネットワーク）である実施形態では、推論モデルは、時間を通じた確率的勾配降下法および誤差逆伝播を使用して訓練されてよい。訓練は、交差エントロピー損失関数および／または他の任意の適切な損失関数を用いてよいが、それは、本開示はこの点について限定されないからである。
【0067】
方法５００は動作５１４に進んでよく、動作５１４では、訓練された推論モデルは、（たとえば、データストア、ローカルデータベース、リモートクラウドデータベース、メモリなどに）記憶されてよい。訓練された推論モデルは、任意の適したフォーマット、デバイス、および／または方法を使用して記憶されてよい。このようにして、方法５００の実行中に生成される推論モデルは、後で使用されてよい。たとえば、状態予測システムは、以下で説明されるように、神経筋活動時系列データから身体部位状態を予測する（たとえば、入力センサデータの所与のセットから関節角度などの筋骨格位置情報を予測する）ために訓練された推論モデルを使用して構成されてよい。
【0068】
いくつかの例では、センサ信号は、タスクの実施中の身体の動きと関連づけられた活動を記録する（たとえば、ユーザの身体の表面上にまたはその近くに配置された）複数のセンサから記録されてよい。記録された信号は、任意選択で処理（たとえば、調節）され、上記で図５を参照して説明された１つまたは複数の技法を使用して訓練された推論モデルへの入力として提供されてよい。いくつかの例では、自律信号が継続的に記録されることがあり、連続的に記録された信号（未加工または処理された）は、入力センサデータの所与のセットに関する筋骨格位置情報（たとえば、関節角度）の予測のための訓練された推論モデルへの入力として連続的におよび／または周期的に提供されることがある。上記で論じられたように、いくつかの例では、訓練された推論モデルは、複数のユーザからの自律センサおよび位置情報測定値に基づいて訓練された、ユーザに依存しないモデルであることがある。いくつかの例では、訓練されたモデルは、センサ信号と関連づけられたデータも獲得される個々のユーザから記録されたデータに対して訓練された、ユーザに依存したモデルであることがある。
【0069】
訓練された推論モデルがセンサデータを入力パラメータのセットとして受け取った後、予測された筋骨格位置情報は、訓練された推論モデルから出力されてよい。上記で論じられたように、いくつかの例では、予測された筋骨格位置情報は、ユーザの身体の少なくとも一部分を表すマルチセグメント関節式剛体モデルに関する筋骨格位置情報値のセット（たとえば、関節角度のセット）を含んでよい。いくつかの例では、筋骨格位置情報は、可能な動きのセットからの１つまたは複数の動きをユーザが実施している確率のセットを含んでよい。
【0070】
いくつかの例では、筋骨格位置情報が予測された後、ユーザの身体のコンピュータベース筋骨格表現が、訓練された推論モデルから出力された筋骨格位置情報に少なくとも部分的に基づいて生成されてよい。コンピュータベースの筋骨格表現は、任意の適切な方法を使用して生成されてよい。たとえば、人体のコンピュータベース筋骨格モデルは、複数の剛体セグメントを含んでよく、この複数の剛体セグメントの各々は、身体内の１つまたは複数の骨格構造に対応する。たとえば、上腕は第１の剛体セグメントによって表されてよく、下腕は第２の剛体セグメントによって表されてよく、手の手のひらは第３の剛体セグメントによって表されてよく、手の指の各々は少なくとも１つの剛体セグメントによって表されてよい。筋骨格モデル内の接続された剛体セグメント間の関節角度のセットは、互いと身体の胴体などの基準フレームとに対する接続された剛体セグメントの各々の方位を定義してよい。新しいセンサデータが測定され、筋骨格位置情報の新しい予測（たとえば、関節角度の更新されたセット）を提供するように推論モデルによって処理されると、ユーザの身体のコンピュータベース筋骨格表現は、推論モデルの出力に基づいて決定される関節角度の更新されたセットに基づいて更新されてよい。このようにして、コンピュータベースの筋骨格表現は、センサデータが連続的に記録されるので、リアルタイムで動的に更新されてよい。
【0071】
コンピュータベースの筋骨格表現は、任意の適切なデバイスおよび方法を使用して表され、記憶されてよい。たとえば、コンピュータベースの筋骨格表現は、メモリ（たとえば、図８のメモリ８２１）に記憶されてよい。筋肉活動が表現と関連づけられ得ることを反映するために本明細書では「筋骨格」表現と呼ばれるが、いくつかの筋骨格表現は、身体内の骨格構造、筋肉構造、または骨格構造と筋肉構造の組み合わせに対応し得る。
【0072】
いくつかの例では、ユーザの動きの基礎にある神経筋活動および／または筋肉活動の直接的測定は、生成された筋骨格表現と組み合わされてよい。ユーザの身体上に置かれた複数のセンサからの測定値は、動的にポーズをとった骨格の上に測定を重ね合わせることによって筋肉動員（ｒｅｃｒｕｉｔｍｅｎｔ）の一体化された表現を作成するために使用されてよい。いくつかの例では、神経筋センサによって感知された筋肉活動および／または筋肉活動から導き出された情報（たとえば、力情報）は、リアルタイムでコンピュータにより生成された筋骨格表現と組み合わされてよい。
【0073】
図６は、本開示の実施形態による、記録されたセンサデータに基づいて身体状態情報を決定するための方法６００を例示する。方法６００の動作は、図６では、ある順序で実施されるように図示されているが、方法６００の動作は任意の順序で実施されてよい。動作６０２では、センサデータは、上記で説明されたように、１つまたは複数のセンサによって記録され、身体状態を予測するために使用される１つまたは複数の訓練された推論モデルへの入力として提供されてよい。いくつかの例では、センサは、ユーザによって装着されたウェアラブルデバイス上に配置された複数の神経筋センサ（たとえば、ＥＭＧセンサ）を含んでよい。たとえば、ＥＭＧセンサは、ユーザが力を及ぼすならびに／または種々の動き、ポーズ、および／もしくはジェスチャを実施するとユーザからの神経筋信号を記録するためにユーザの手首または前腕の周りに装着されるように構成された弾力的なバンド上に（たとえば、周方向に）配置されてよい。本開示の実施形態により使用され得るウェアラブルデバイスの例としては、図７のウェアラブルデバイス７００、図８のウェアラブルデバイス８００、図１３のウェアラブルデバイス１３２０、図１４のウェアラブルデバイス１４０４、または図１５のウェアラブルデバイス１５３０があり、これらは、以下でより詳細に説明される。
【0074】
追加的または代替的に、いくつかの実施形態は、１つまたは複数の訓練された推論モデルへの入力としても提供され得る補助信号を連続的に記録するように構成された１つまたは複数の補助センサを含んでよい。補助センサの例としては、限定するものではないが、ＩＭＵセンサ、イメージングデバイス、放射線検出デバイス（たとえば、レーザスキャンデバイス）、心拍数モニタ、１つもしくは複数の動きもしくはジェスチャの実施中のユーザからの生物物理学的情報を連続的に記録するように構成された他の任意のタイプのバイオセンサ、またはそれらの組み合わせがあり得る。
【0075】
方法６００は動作６０４に進んでよく、動作６０４では、導き出された信号データは、任意選択で、センサによって記録された信号に基づいて決定される。たとえば、１つまたは複数のＩＭＵセンサによって記録された加速度計データは、ジェスチャの実施中に１つまたは複数の筋肉と関連づけられた導き出された信号データを決定するために統合および／またはフィルタリングされてよい。導き出された信号データは、センサによって記録された未加工の信号データまたは処理された未加工の信号データに加えて、またはその代わりに、訓練された推論モデルへの入力として提供されてよい。
【0076】
方法６００は動作６０６に進んでよく、動作６０６では、身体状態情報は、訓練された推論モデルの出力に基づいて決定される。ユーザによって実施されるジェスチャとしては、手のひらを下に向けて手をテーブルの上に置くなどの個別的なジェスチャ、および／または指を前後に振るなどの連続的な動きジェスチャがあり得る。神経筋信号は、ジェスチャの実施中を含むユーザの動きの間に連続的に記録されてよく、訓練された推論モデルへの入力として連続的に提供され、訓練された推論モデルの出力としてユーザの身体部位の位置および／または力のリアルタイム推定（たとえば、身体状態情報）をもたらしてよい。方法６００は動作６０８に進んでよく、動作６０８では、訓練された推論モデルから出力されたリアルタイム身体状態予測は、手と関連づけられた筋骨格表現を更新するために使用する。いくつかの例では、筋骨格表現は、剛性セグメントを接続する手および関節における剛性セグメントを表す。他の実施形態では、筋骨格表現は、手に接続された腕に対応する少なくともいくつかの剛性セグメントを含んでよい。したがって、「手と関連づけられた筋骨格表現」という句は、手の筋骨格表現ならびに／または手および手に接続された腕の少なくとも一部分の表現を含む筋骨格表現の両方を含むと理解されるべきである。
【0077】
図７は、ユーザの身体部位（たとえば、ユーザの下腕または手首）の周りに装着されるように構成された弾力的なバンド７２０の周りに周方向に配置された１６のセンサ７１０（たとえば、ＥＭＧセンサ）を含む例証的なウェアラブルデバイス７００の斜視図を例示する。図示されるように、センサ７１０は、弾力的なバンド７２０の周りに周方向に配置されてよい。任意の適切な数のセンサ７１０が使用されてよい。センサ７１０の数および配置は、ウェアラブルデバイスが使用される特定のアプリケーションに依存してよい。たとえば、ウェアラブルなアームバンドまたはリストバンドは、人工現実システム、ロボット、乗物を制御し、テキストをスクロールし、仮想アバター、または他の任意の適切な制御タスクを制御するための制御情報を生成するために使用されてよい。
【0078】
いくつかの例では、センサ７１０は、神経筋センサ（たとえば、ＥＭＧセンサ）のセットを含んでよい。他の実施形態では、センサ７１０は、複数の神経筋センサと補助信号を（たとえば、周期的に、連続的に、または要求に応じて）記録するように構成された少なくとも１つの「補助」センサのセットを含んでよい。補助センサの例としては、限定するものではないが、ＩＭＵセンサ、マイクロホン、イメージングセンサ（たとえば、カメラ）、放射線ベースのセンサ、レーザスキャンデバイス、または心拍数モニタなどの他のタイプのセンサなどの、他のセンサがあり得る。
【0079】
いくつかの例では、感知構成要素（たとえば、センサ７１０）のうちの１つまたは複数の出力は、（たとえば、増幅、フィルタリング、および／または整流を実施するために）ハードウェア信号処理回路を使用して処理されてよい。いくつかの例では、感知構成要素の出力の少なくともいくらかの信号処理は、ソフトウェア内で実施されてよい。したがって、センサによってサンプリングされた信号の信号処理は、ハードウェア内で、ソフトウェア内で、またはハードウェアとソフトウェアの任意の適切な組み合わせによって、実施されてよいが、それは、本明細書において説明される技術の態様がこの点について限定されないからである。センサ７１０から記録されたデータを処理するために使用される信号処理システムの非限定的な例は、以下で図８を参照してより詳細に論じられる。
【0080】
図８は、本開示の実施形態による、複数のセンサをもつウェアラブルシステム８００の例証的なブロック図を例示する。図８に図示されるように、ウェアラブルシステム８００は、ウェアラブルデバイス８１０と、ヘッドマウントディスプレイ（ＨＭＤ）８２６と、ドングル８４０とを含んでよい。ウェアラブルデバイス８１０、ＨＭＤ８２６、およびドングル８４０は、ワイヤレス通信（たとえば、Ｂｌｕｅｔｏｏｔｈ（商標）または他の適切な短距離ワイヤレス通信技術を介して）またはワイヤード通信を介して互いに通信してよい。ウェアラブルデバイス８１０は、センサ８１２（たとえば、ＥＭＧセンサ）を含んでよく、センサ８１２の例は、上記で図５および図６を参照して説明される。センサ８１２からのデータおよび／またはＨＭＤ８２６のセンサからのデータは、グラウンドトゥルースデータ（たとえば、ラベル時系列データ）を生成するために使用されてよい。センサ８１２の出力は、センサ８１２からの記録された信号に対してアナログ信号処理（たとえば、ノイズ低減、フィルタリング、増幅など）を実施するように構成され得るアナログフロントエンド８１４に提供されてよい。アナログフロントエンド８１４からの処理されたアナログ信号は、アナログ－デジタルコンバータ（ＡＤＣ）８１６に提供されてよく、ＡＤＣ８１６は、信号がＨＭＤ８２６のプロセッサ８２２および／またはプロセッサ８３０によって処理され得るようにアナログ信号をデジタル信号に変換し得る。
【0081】
プロセッサ８２２および／またはプロセッサ８３０（たとえば、マイクロコントローラ、中央処理ユニット、デジタル信号プロセッサ、グラフィックスプロセッサなど）は、限定するものではないが、１つまたは複数の時間間隔によってセンサ８１２から受け取られた神経筋活動時系列データおよび／またはラベル時系列データを時間シフトすることによって１つまたは複数の訓練データセットを生成することと、１つまたは複数の訓練データセットを使用して神経筋活動時系列データに基づいて１つまたは複数の推論モデルを訓練することと、訓練された推論モデルを使用してユーザの身体部位状態を予測するように状態予測システムを構成することとを含む本開示の方法を実装する、メモリ８２１に記憶された命令を実行してよい。図８に図示されるように、プロセッサ８２２はまた、ユーザの身体部位の位置を追跡するように構成されてよい他のセンサ（たとえば、ＩＭＵセンサ８１８、画像センサなど）から入力を受け取ってよい。電力は、バッテリ８２０によってプロセッサ８２２およびウェアラブルデバイス８１０の他の電子の構成要素に提供されてよい。プロセッサ８２２によって実施される信号処理の出力（たとえば、ユーザの身体の筋骨格表現）は、ドングル８４０および／またはＨＭＤ８２６への送信のためにトランシーバ８２４に提供されてよい。
【0082】
ドングル８４０は、ウェアラブルデバイス８１０のトランシーバ８２４および／またはＨＭＤ８２６のトランシーバ８３２と通信するように構成されたトランシーバ８３４を含んでよい。トランシーバ８３４、８２４、および８２８間の通信は、任意の適切なワイヤレス技術およびプロトコルを使用してよく、その非限定的な例としては、ＷｉＦｉ、近距離無線通信、および／またはＢｌｕｅｔｏｏｔｈ（商標）がある。Ｂｌｕｅｔｏｏｔｈ（商標）ラジオ８３６は、ＨＭＤ８２６とウェアラブルデバイス８１０とを含むシステム８００の種々のウェアラブルデバイス間の通信を協調させるためにゲートウェイデバイスとして作用するように構成されてよい。追加の実施形態では、ウェアラブルデバイス８１０、ＨＭＤ８２６、および／またはドングル８４０は、ワイヤード接続を介して互いと通信してよい。
【0083】
センサ８１２から受け取られた信号は、ユーザの身体の身体部位状態を予測するために上記で説明された推論モデルを使用して処理されてよい。ＨＭＤ８２６は、ウェアラブルデバイス８１０から身体部位状態を受け取ってよく、および／またはＨＭＤ８２６のプロセッサ８３０上で実行される命令は、訓練された１つまたは複数の推論モデルを使用して身体部位状態を決定してよい。ＨＭＤ８２６のプロセッサ８３０は、決定された身体部位状態を使用してウェアラブルデバイス８１０のユーザの身体部位状態の視覚的表現を生成してよい。ユーザの身体部位状態の視覚的表現は、ＨＭＤ８２６のディスプレイ８２８上でユーザに対して表示されてよい。ＨＭＤ８２６を装着するユーザに対して表示されるユーザの身体部位状態の視覚的表現は、人工現実アプリケーションに関連してよい。いくつかの例では、ＨＭＤ８２６は、図１１のアイウェアデバイス１１０２、図１２の仮想現実システム１２００、図１４のＨＭＤ１４０２、または図１５の拡張現実メガネ１５２０であってよい。
【0084】
図９は、神経筋データに基づいて身体状態を予測する例証的な方法９００を例示する流れ図である。動作９１０では、方法９００は、ユーザによって着装されたウェアラブルデバイス上の第１のセンサから第１の時系列にわたって神経筋活動データを受け取ることを含んでよい。動作９１０は、さまざまな手段で実施されてよく、たとえば、ウェアラブルデバイスの神経筋センサは、ユーザの神経筋活動を示す時系列データを周期的に生成してよい。
【0085】
動作９２０では、方法９００は、第２の時系列にわたってユーザの身体部位の身体部位状態を示すグラウンドトゥルースデータを第２の異なるセンサから受け取ることを含んでよい。動作９２０は、さまざまな手段で実施されてよい。たとえば、グラウンドトゥルースデータは、ユーザがタスクを実施するときユーザの身体部位状態を示すラベル時系列データであってよい。身体部位状態は、タスクの実施中のユーザの異なる身体セグメントの空間位置に対応する位置情報であってもよいし、これを含んでもよい。位置情報は、タスクの実施中にユーザの身体上の異なる点の位置を追跡する１つまたは複数の外部デバイス（たとえば、カメラ、ＩＭＵ）を使用して取得されてよい。
【0086】
動作９３０では、方法９００は、神経筋活動データをグラウンドトゥルースデータの少なくとも一部分と関連づけるために、第１の時系列にわたる神経筋活動データの少なくとも一部分を第２の時系列に対して時間シフトすることによって１つまたは複数の訓練データセットを生成することを含んでよい。動作９３０は、さまざまな手段で実施されてよい。たとえば、適切な時間間隔は、複数の時間的シフトとともに複数の訓練データセットを生成することによって識別されてよい。時間的シフトは、ユーザの電気機械的遅延時間（たとえば、ユーザの筋肉反応時間）および／またはシステムの既知の特徴的なレイテンシを含む要因に基づいた異なるそれぞれの時間間隔であってよい。時間シフト間隔は、システムレイテンシを決定してよく、タスクの精度要件に基づいてよい。たとえば、的確な動きを優先させるタスク（たとえば、遠隔手術）は、より大きい精度と引き換えに、より大きいレイテンシを受け入れてよく、迅速な動きを優先させるタスク（たとえば、ビデオゲーム）は、より低いレイテンシと引き換えに、より低い精度を受け入れてよい。
【0087】
動作９４０では、方法９００は、１つまたは複数の訓練データセットに基づいて１つまたは複数の推論モデルを訓練することを含んでよい。動作９４０は、さまざまな手段で実施されてよい。たとえば、推論モデルは、データセットのシーケンスを入力として使用して訓練されてよく、シーケンス内のデータセットの各々は、センサデータ（たとえば、神経筋センサ、ＩＭＵセンサなどからのセンサデータ）のｎ次元ベクトルを含んでよい。推論モデルは、ユーザによって実施される各タスクまたは動きに対して、ユーザの身体の筋骨格表現が筋骨格位置特性のセットによって特徴づけられる可能性を示す出力を提供してよい。推論モデルは、身体状態を予測し、ユーザの身体部位と関連づけられた筋骨格表現を作成するために使用されてよい。ユーザの身体部位の視覚的表現は、ユーザに対して表示されてよい。たとえば、ユーザの身体部位の視覚的表現は、ヘッドマウントディスプレイ上でユーザに対して表示されてよい。
【0088】
したがって、本開示は、ユーザの身体部位状態を予測するために用いられ得るシステム、方法、および装置を含む。たとえば、人工現実システムは、センサとユーザの身体部位状態を予測するように構成されたシステムとを含むウェアラブルデバイスを含んでよい。身体部位（たとえば、手）の予測される状態の仮想表現は、ＨＭＤ上でユーザに対して表示されてよい。ＨＭＤは、手の仮想表現によって保持されている仮想オブジェクト（たとえば、ゲームコントローラ、スポーツオブジェクト）も表示してよい。人工現実アプリケーションのオーディオ／ビデオコンテンツに関連してユーザに対して表示される身体部位の予測される状態の仮想表現は、予測される身体の動きと実際の身体の動きとの間のレイテンシを減少させることなどによって、従来のシステムと比較して、より説得力のある人工現実体験を作成し得る。
【0089】
上記で説明された実施形態は、多数の手段のいずれかで実装されてよい。たとえば、実施形態は、ハードウェア、ソフトウェア、またはそれらの組み合わせを使用して実装されてよい。ソフトウェアで実装されるとき、ソフトウェアコードは、単一のコンピュータ内で提供されるにせよ複数のコンピュータ間で分散されるにせよ、任意の適切なプロセッサまたはプロセッサのコレクション上で実行されてよい。上記で説明された機能を実施する任意の構成要素または構成要素のコレクションは、上記で論じられた機能を制御する１つまたは複数のコントローラと一般的にみなされてよいことが諒解されるべきである。１つまたは複数のコントローラは、専用ハードウェアを用いて、または上記で列挙された機能を実施するためにマイクロコードもしくはソフトウェアを使用してプログラムされた１つもしくは複数のプロセッサを用いてなどの、多数の手段で実装されてよい。
【0090】
この点に関して、本発明の実施形態の一実装形態は、プロセッサ上で実行されるとき本発明の実施形態の上記で論じられた機能を実施するコンピュータプログラム（たとえば、複数の命令）を用いて符号化された少なくとも１つの非一時的なコンピュータ可読記憶媒体（たとえば、コンピュータメモリ、ポータブルメモリ、コンパクトディスクなど）を含むことが諒解されるべきである。コンピュータ可読記憶媒体は、その上に記憶されたプログラムが、本明細書において論じられる本発明の態様を実装するために任意のコンピュータリソース上にロードされ得るように、運搬可能であってよい。加えて、実行されるとき上記で論じられた機能を実施するコンピュータプログラムへの言及は、ホストコンピュータ上で作動するアプリケーションプログラムに限定されないことが諒解されるべきである。むしろ、コンピュータプログラムという用語は、本明細書では、上記で論じられた本発明の態様を実装するようにプロセッサをプログラムするために用いられ得る任意のタイプのコンピュータコード（たとえば、ソフトウェアまたはマイクロコード）を参照するように、一般的な意味で使用される。
【0091】
本発明の種々の態様は、単独で、組み合わせて、または前述の内容において説明される実施形態において具体的に論じられないさまざまな配置で使用されてよく、したがって、それらの適用例では、前述の説明で定められたまたは図面に例示される構成要素の詳細および配置に限定されない。たとえば、一実施形態に説明される態様は、他の実施形態に説明される態様と任意の様式で組み合わされてよい。
【0092】
また、本発明の実施形態は、１つまたは複数の方法として実装されてよく、その例は提供されている。方法の一部として実施される行為は、任意の適切な手段で順序づけられてよい。したがって、例示されるものとは異なる順序で行為が実施される実施形態が構築されてよく、それは、例示的な実施形態では逐次的な行為と図示されていても、いくつかの行為を同時に実施することを含んでよい。
【0093】
請求項要素を修飾するための特許請求の範囲における「第１の」、「第２の」、「第３の」などの順序を表す用語の使用は、それ自体で、方法の行為が実施される別の順序または一時的順序に対する１つの請求項要素のいかなる優先順位、先行、または順序をも暗示しない。そのような用語は、ある名前を有する１つの請求項要素を同じ名前（しかし、順序を表す用語の使用のための）を有する別の要素から区別するために、単にラベルとして使用される。
【0094】
本明細書において使用される術語および用語は、説明のためのものであり、限定的とみなされるべきではない。「含む（ｉｎｃｌｕｄｉｎｇ）」、「備える、含む（ｃｏｍｐｒｉｓｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、「含む（ｃｏｎｔａｉｎｉｎｇ）」、「伴う（ｉｎｖｏｌｖｉｎｇ）」、およびそれらの変形の使用は、その後にリストされる項目および追加の項目を包含することが意味される。
【0095】
本開示の実施形態は、種々のタイプの人工現実システムを含んでもよいし、これとともに使用されてもよい。人工現実は、ユーザに対する提示の前に何らかの様式で調整された現実の形式であり、たとえば、仮想現実、拡張現実、複合現実、ハイブリッドリアリティ、または何らかの組み合わせおよび／もしくはその派生物を含んでよい。人工現実コンテンツは、完全に生成されたコンテンツを含んでもよいし、キャプチャされた（たとえば、現実世界）コンテンツと組み合わされた生成されたコンテンツを含んでもよい。人工現実コンテンツは、ビデオ、オーディオ、ハプティックフィードバック、またはそれらの何らかの組み合わせを含んでよく、そのいずれも、単一のチャンネルにおいて提示されてもよいし、複数のチャンネル（視聴者に対する３次元（３Ｄ）効果を生み出す立体ビデオなど）において提示されてもよい。追加的に、いくつかの実施形態では、人工現実は、たとえば人工現実でコンテンツを作成するために使用される、および／または人工現実で（たとえば、その中で活動を実施するために）別の方法で使用される、アプリケーション、製品、付属物、サービス、またはそれらの何らかの組み合わせとも関連づけられてよい。
【0096】
人工現実システムは、さまざまな異なるフォームファクタおよび構成で実装されてよい。いくつかの人工現実システムは、ニアアイディスプレイ（ＮＥＤ）なしで働くように設計されることがある。他の人工現実システムは、現実世界への可視性も提供する（たとえば、図１０の拡張現実システム１０００）または人工現実にユーザを視覚的に浸らせる（たとえば、図１１の仮想現実システム１１００）ＮＥＤを含むことがある。いくつかの人工現実デバイスは自蔵式システムであってよいが、他の人工現実デバイスは、人工現実体験をユーザに提供するために外部デバイスと通信および／または協調してよい。そのような外部デバイスの例としては、ハンドヘルドコントローラ、モバイルデバイス、デスクトップコンピュータ、ユーザによって装着されたデバイス、１つもしくは複数の他のユーザによって装着されたデバイス、および／または他の任意の適切な外部システムがある。
【0097】
本開示において論じられる実施形態は、１つまたは複数のＮＥＤを含む拡張現実システムにおいて実装されてもよい。たとえば、図１０に図示されるように、拡張現実システム１０００は、ユーザの眼の前に左ディスプレイデバイス１０１５（Ａ）および右ディスプレイデバイス１０１５（Ｂ）を保持するように構成されたフレーム１０１０をもつアイウェアデバイス１００２を含んでよい。ディスプレイデバイス１０１５（Ａ）および１０１５（Ｂ）は、画像または一連の画像をユーザに提示するために、一緒に作用してもよいし、独立して作用してもよい。拡張現実システム１０００は２つのディスプレイを含むが、この開示の実施形態は、単一のＮＥＤまたは３つ以上のＮＥＤをもつ拡張現実システム内で実装されてよい。
【0098】
いくつかの実施形態では、拡張現実システム１０００は、センサ１０４０などの１つまたは複数のセンサを含んでよい。センサ１０４０は、拡張現実システム１０００のモーションに応答して測定信号を生成してよく、フレーム１０１０の実質的に任意の部分上に設置されてよい。センサ１０４０は、位置センサ、慣性測定ユニット（ＩＭＵ）、深度カメラアセンブリ、またはそれらの任意の組み合わせを表してよい。いくつかの実施形態では、拡張現実システム１０００は、センサ１０４０を含んでもよいし、含まなくてもよく、または、複数のセンサを含んでよい。センサ１０４０がＩＭＵを含む実施形態では、ＩＭＵは、センサ１０４０からの測定信号に基づいて較正データを生成してよい。センサ１０４０の例としては、限定するものではないが、加速度計、ジャイロスコープ、磁力計、モーションを検出する他の適切なタイプのセンサ、ＩＭＵの誤り訂正に使用されるセンサ、またはそれらの何らかの組み合わせがあり得る。
【0099】
拡張現実システム１０００は、まとめて音響トランスデューサ１０２０と呼ばれる複数の音響トランスデューサ１０２０（Ａ）～１０２０（Ｊ）をもつマイクロホンアレイも含んでよい。音響トランスデューサ１０２０は、音波によって誘発される空気圧変動を検出するトランスデューサであってよい。各音響トランスデューサ１０２０は、音を検出し、検出された音を電子フォーマット（たとえば、アナログフォーマットまたはデジタルフォーマット）に変換するように構成されてよい。図１０のマイクロホンアレイは、たとえば、ユーザの対応する耳の内部に置かれるように設計され得る１０２０（Ａ）および１０２０（Ｂ）、フレーム１０１０上の種々の場所に位置決めされ得る音響トランスデューサ１０２０（Ｃ）、１０２０（Ｄ）、１０２０（Ｅ）、１０２０（Ｆ）、１０２０（Ｇ）、および１０２０（Ｈ）、ならびに／または対応するネックバンド１００５上に位置決めされ得る音響トランスデューサ１０２０（Ｉ）および１０２０（Ｊ）、という１０の音響トランスデューサを含んでよい。
【0100】
いくつかの実施形態では、音響トランスデューサ１０２０（Ａ）～（Ｆ）のうちの１つまたは複数は、出力トランスデューサ（たとえば、スピーカ）として使用されてよい。たとえば、音響トランスデューサ１０２０（Ａ）および／または１０２０（Ｂ）は、イヤーバッドまたは他の任意の適切なタイプのヘッドフォンもしくはスピーカであってよい。
【0101】
マイクロホンアレイの音響トランスデューサ１０２０の構成は変化してよい。拡張現実システム１０００は、図１０では１０の音響トランスデューサ１０２０を有するように図示されているが、音響トランスデューサ１０２０の数は、１０より大きくてもよいし、これより小さくてもよい。いくつかの実施形態では、より多くの数の音響トランスデューサ１０２０を使用することによって、収集されるオーディオ情報の量ならびに／またはオーディオ情報の感受性および精度が増加されることがある。対照的に、より少ない数の音響トランスデューサ１０２０を使用することによって、収集されたオーディオ情報を処理するために関連づけられたコントローラ１０５０によって必要とされる計算パワーが減少されることがある。加えて、マイクロホンアレイの各音響トランスデューサ１０２０の位置は変化してよい。たとえば、音響トランスデューサ１０２０の位置としては、ユーザ上の定義された位置、フレーム１０１０上の定義された座標、各音響トランスデューサ１０２０と関連づけられた方位、またはそれらの何らかの組み合わせがあり得る。
【0102】
音響トランスデューサ１０２０（Ａ）および１０２０（Ｂ）は、耳介（ｐｉｎｎａ）の後ろまたは耳介（ａｕｒｉｃｌｅ）もしくは窩（ｆｏｓｓａ）の中などの、ユーザの耳の異なる部位上に位置決めされてよい。または、外耳道内部の音響トランスデューサ１０２０に加えて、耳の上にあるまたはそれを取り囲む追加の音響トランスデューサ１０２０があってもよい。音響トランスデューサ１０２０をユーザの外耳道の隣に位置決めさせることによって、マイクロホンアレイは、どのくらいの音が外耳道に到達するかに関する情報を収集することが可能になり得る。ユーザの頭の両側に音響トランスデューサ１０２０のうちの少なくとも２つを（たとえば、バイノーラル式マイクロホンとして）位置決めすることによって、拡張現実デバイス１０００は、バイノーラル式聴覚をシミュレートし、ユーザの頭の周りに３Ｄ立体音場をキャプチャし得る。いくつかの実施形態では、音響トランスデューサ１０２０（Ａ）および１０２０（Ｂ）は、ワイヤード接続１０３０を介して拡張現実システム１０００に接続されることがあり、他の実施形態では、音響トランスデューサ１０２０（Ａ）および１０２０（Ｂ）は、ワイヤレス接続（たとえば、ブルートゥース接続）を介して拡張現実システム１０００に接続されることがある。さらに他の実施形態では、音響トランスデューサ１０２０（Ａ）および１０２０（Ｂ）は、拡張現実システム１０００に関連してまったく使用されないことがある。
【0103】
フレーム１０１０上の音響トランスデューサ１０２０は、こめかみの長さに沿って、鼻梁を横切って、ディスプレイデバイス１０１５（Ａ）および１０１５（Ｂ）の上もしくは下に、またはそれらの何らかの組み合わせで位置決めされてよい。音響トランスデューサ１０２０は、マイクロホンアレイが拡張現実システム１０００を装着するユーザを取り囲む広範囲の方向で音を検出することを可能にするように方位づけられてよい。いくつかの実施形態では、最適化プロセスは、マイクロホンアレイ内の各音響トランスデューサ１０２０の相対的位置決めを決定するために拡張現実システム１０００の製造中に実施されることがある。
【0104】
いくつかの例では、拡張現実システム１０００は、ネックバンド１００５などの外部デバイス（たとえば、ペアにされたデバイス）を含んでもよいし、これに接続されてもよい。ネックバンド１００５は、一般に、任意のタイプまたは形のペアにされたデバイスを表す。したがって、ネックバンド１００５の以下の議論は、充電の場合、スマートウォッチ、スマートフォン、リストバンド、他のウェアラブルデバイス、ハンドヘルドコントローラ、タブレットコンピュータ、ラップトップコンピュータ、および他の外部コンピュートデバイスなどの、種々の他のペアにされたデバイスにも適用され得る。
【0105】
図示されるネックバンド１００５は、１つまたは複数のコネクタを介してアイウェアデバイス１００２に結合されてよい。コネクタは、ワイヤードであってもよいし、ワイヤレスであってもよく、電気構成要素および／または非電気（たとえば、構造）構成要素を含んでもよい。場合によっては、アイウェアデバイス１００２およびネックバンド１００５は、それらの間のワイヤード接続またはワイヤレス接続なしで独立して動作することがある。図１０は、アイウェアデバイス１００２およびネックバンド１００５上の例証的な場所にあるアイウェアデバイス１００２およびネックバンド１００５の構成要素を示しているが、構成要素は、他の場所に設置されてよく、ならびに／またはアイウェアデバイス１００２および／もしくはネックバンド１００５上で異なるように分散されてよい。いくつかの実施形態では、アイウェアデバイス１００２およびネックバンド１００５の構成要素は、アイウェアデバイス１００２、ネックバンド１００５、またはそれらの何らかの組み合わせとペアにされた１つまたは複数の追加の周辺デバイス上に設置されてよい。
【0106】
ネックバンド１００５などの外部デバイスを拡張現実アイウェアデバイスとペアにすることによって、アイウェアデバイスが、拡張された能力のための十分なバッテリおよび計算パワーを依然として提供しながら、メガネのフォームファクタを達成することが可能にされ得る。拡張現実システム１０００のバッテリ電力、計算リソース、および／または追加の特徴のいくらかまたはすべては、ペアにされたデバイスによって提供されてもよいし、ペアにされたデバイスとアイウェアデバイスの間で共有されてもよく、したがって、所望の機能を依然として保ちながら、アイウェアデバイスの重量、熱プロファイル、およびフォームファクタを全体的に減少させ得る。たとえば、ユーザは、頭に対して許容するであろうよりも重い、肩に対する重量負荷を許容し得るので、ネックバンド１００５は、さもなければアイウェアデバイス上に含まれるであろう構成要素が、ネックバンド１００５に含まれることを可能にし得る。ネックバンド１００５は、熱を周囲環境に拡散および消散させるために、より大きい表面積を有することもある。したがって、ネックバンド１００５は、さもなければスタンドアロンアイウェアデバイス上で可能であったろうよりも大きいバッテリおよび計算容量を可能にし得る。ネックバンド１００５内で支えられる重量は、アイウェアデバイス１００２内で支えられる重量よりもユーザに対する侵襲性が低いので、ユーザは、より軽いアイウェアデバイスを装着し、ユーザが重いスタンドアロンアイウェアデバイスを装着することを許容するであろうよりも長い時間の長さにわたって、ペアにされたデバイスを携行または装着することを許容し、それによって、ユーザが、人工現実環境を日々の活動により完全に組み込むことを可能にし得る。
【0107】
ネックバンド１００５は、アイウェアデバイス１００２と、および／または他のデバイスに、通信可能に結合されてよい。これらの他のデバイスは、いくつかの機能（たとえば、追跡、局所化（ｌｏｃａｌｉｚｉｎｇ）、デプスマッピング、処理、記憶など）を拡張現実システム１０００に提供し得る。図１０の実施形態では、ネックバンド１００５は、マイクロホンアレイの一部である（または、自らのマイクロホンサブアレイを潜在的に形成する）２つの音響トランスデューサ（たとえば、１０２０（Ｉ）および１０２０（Ｊ））を含んでよい。ネックバンド１００５は、コントローラ１０２５と、電源１０３５も含んでよい。
【0108】
ネックバンド１００５の音響トランスデューサ１０２０（Ｉ）および１０２０（Ｊ）は、音を検出し、検出された音を電子フォーマット（アナログまたはデジタル）に変換するように構成されてよい。図１０の実施形態では、音響トランスデューサ１０２０（Ｉ）および１０２０（Ｊ）は、ネックバンド１００５上に位置決めされ、それによって、ネックバンド音響トランスデューサ１０２０（Ｉ）および１０２０（Ｊ）とアイウェアデバイス１００２上に位置決めされた他の音響トランスデューサ１０２０との間の距離を増加させ得る。場合によっては、マイクロホンアレイの音響トランスデューサ１０２０間の距離を増加させることによって、マイクロホンアレイを介して実施されるビームフォーミングの精度が改善され得る。たとえば、音響トランスデューサ１０２０（Ｃ）および１０２０（Ｄ）によって音が検出され、音響トランスデューサ１０２０（Ｃ）と１０２０（Ｄ）との間の距離が、たとえば、音響トランスデューサ１０２０（Ｄ）と１０２０（Ｅ）との間の距離よりも大きい場合、検出された音の決定された発生源場所は、音が音響トランスデューサ１０２０（Ｄ）および１０２０（Ｅ）によって検出された場合よりも正確であることがある。
【0109】
ネックバンド１００５のコントローラ１０２５は、ネックバンド１００５上のセンサおよび／または拡張現実システム１０００によって生成された情報を処理してよい。たとえば、コントローラ１０２５は、マイクロホンアレイによって検出された音を説明する、マイクロホンアレイからの情報を処理してよい。各検出された音に対して、コントローラ１０２５は、検出された音がマイクロホンアレイに到来した方向を推定するために、到来方向（ＤＯＡ）推定を実施してよい。マイクロホンアレイが音を検出すると、コントローラ１０２５は、オーディオデータセットに情報を格納してよい。拡張現実システム１０００が慣性測定ユニットを含む実施形態では、コントローラ１０２５は、アイウェアデバイス１００２上に設置されたＩＭＵからのすべての慣性算出および空間算出を計算してよい。コネクタは、拡張現実システム１０００とネックバンド１００５との間および拡張現実システム１０００とコントローラ１０２５との間で情報を伝えてよい。情報は、光学データ、電気データ、ワイヤレスデータ、または他の任意の送信可能なデータ形式の形式をとってよい。拡張現実システム１０００によって生成された情報の処理をネックバンド１００５に移すことによって、アイウェアデバイス１００２内の重量および熱が減少され、アイウェアデバイス１００２をユーザにとってより快適なものにし得る。
【0110】
ネックバンド１００５内の電源１０３５は、電力をアイウェアデバイス１００２および／またはネックバンド１００５に提供してよい。電源１０３５としては、限定するものではないが、リチウムイオン電池、リチウムポリマー電池、一次リチウム電池、アルカリ電池、または他の任意の形式の電力貯蔵があり得る。場合によっては、電源１０３５はワイヤード電源であってよい。アイウェアデバイス１００２上ではなくネックバンド１００５上に電源１０３５を含めることは、重量および電源１０３５によって生成される熱をより良く分散させる助けとなり得る。
【0111】
述べられたように、いくつかの人工現実システムは、人工現実を実際の現実とブレンドする代わりに、ユーザの現実世界の感覚認知のうちの１つまたは複数を仮想体験と実質的に置き換えた。このタイプのシステムの一例は、ユーザの視野を大部分または完全に覆う、図１１の仮想現実システム１１００などの、頭に装着されるディスプレイシステムである。仮想現実システム１１００は、前面剛体１１０２と、ユーザの頭の周りに合うような形状にされたバンド１１０４とを含んでよい。仮想現実システム１１００は、出力オーディオトランスデューサ１１０６（Ａ）および１１０６（Ｂ）も含んでよい。そのうえ、図１１に図示されていないが、前面剛体１１０２は、１つもしくは複数の電子ディスプレイ、１つもしくは複数の慣性測定ユニット（ＩＭＵ）、１つもしくは複数の追跡エミッタもしくは検出器、および／または人工現実体験を作成するための他の任意の適切なデバイスもしくはシステムを含む、１つまたは複数の電子要素を含んでよい。
【0112】
人工現実システムは、さまざまなタイプの視覚的フィードバック機構を含んでよい。たとえば、拡張現実システム１０００および／または仮想現実システム１１００内のディスプレイデバイスとしては、１つもしくは複数の液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機ＬＥＤ（ＯＬＥＤ）ディスプレイ、および／または他の任意の適切なタイプのディスプレイスクリーンがあり得る。人工現実システムは、両眼のための単一のディスプレイスクリーンを含んでもよいし、各眼のためのディスプレイスクリーンを提供してもよく、これは、可変焦点調整のためまたはユーザの屈折異常を補正するための追加の柔軟性を可能にし得る。いくつかの人工現実システムは、ユーザがディスプレイスクリーンを見得る１つまたは複数のレンズ（たとえば、従来の凹レンズまたは凸レンズ、フレネルレンズ、調整可能な液体レンズなど）を有する光学サブシステムも含んでよい。
【0113】
ディスプレイスクリーンを使用することに加えて、またはその代わりに、いくつかの人工現実システムは、１つまたは複数の投影システムを含んでよい。たとえば、拡張現実システム１０００および／または仮想現実システム１１００内のディスプレイデバイスは、周囲光が通過することを可能にする透明なコンバイナレンズ（ｃｌｅａｒ ｃｏｍｂｉｎｅｒ ｌｅｎｓ）などの、（たとえば、導波管を使用して）光をディスプレイデバイスに投影するマイクロＬＥＤプロジェクタを含んでよい。ディスプレイデバイスは、投影された光をユーザの瞳孔の方へ屈折させることがあり、ユーザが、人工現実コンテンツと現実世界の両方を同時に見ることを可能にし得る。人工現実システムは、他の任意の適切なタイプまたは形式の画像投影システムとともに構成されてもよい。
【0114】
人工現実システムは、種々のタイプのコンピュータビジョン構成要素およびサブシステムも含んでよい。たとえば、拡張現実システム１０００、および／または仮想現実システム１１００は、２次元（２Ｄ）カメラもしくは３Ｄカメラ、飛行時間型深度センサ、シングルビームもしくは掃引型レーザ距離計、３Ｄ ＬｉＤＡＲセンサ、および／または他の任意の適切なタイプもしくは形式の光センサなどの、１つまたは複数の光センサを含んでよい。人工現実システムは、ユーザの場所を識別するため、現実世界をマッピングするため、ユーザに現実世界の周囲状況についての文脈を提供するため、および／またはさまざまな他の機能を実施するために、これらのセンサのうちの１つまたは複数からのデータを処理してよい。
【0115】
人工現実システムは、１つまたは複数の入力および／または出力オーディオトランスデューサも含んでよい。図１１に図示される例では、出力オーディオトランスデューサ１１０６（Ａ）および１１０６（Ｂ）としては、ボイスコイルスピーカ、リボンスピーカ、静電型スピーカ、圧電型スピーカ、骨伝導トランスデューサ、軟骨伝導トランスデューサ、および／または他の任意の適切なタイプもしくは形式のオーディオトランスデューサがあり得る。同様に、入力オーディオトランスデューサとしては、コンデンサマイクロホン、ダイナミックマイクロホン、リボンマイクロホン、および／または他の任意のタイプもしくは形式の入力トランスデューサがあり振る。いくつかの実施形態では、単一のトランスデューサは、オーディオ入力とオーディオ出力の両方に使用されてよい。
【0116】
図１１には図示されていないが、人工現実システムは、触覚（すなわち、ハプティック）フィードバックシステムを含んでよく、このハプティックフィードバックシステムは、被り物、手袋、ボディスーツ、ハンドヘルドコントローラ、環境デバイス（たとえば、椅子、フロアマットなど）、および／または他の任意のタイプのデバイスもしくはシステムに組み込まれてよい。ハプティックフィードバックシステムは、振動、力、牽引、テクスチャ、および／または温度を含む、種々のタイプの皮膚フィードバックを提供し得る。ハプティックフィードバックシステムは、モーションおよび追従（ｃｏｍｐｌｉａｎｃｅ）などの、種々のタイプの運動感覚フィードバックも提供してよい。ハプティックフィードバックは、モータ、圧電アクチュエータ、流体システム、および／またはさまざまな他のタイプのフィードバック機構を使用して、実装されてよい。ハプティックフィードバックシステムは、他の人工現実デバイスとは無関係に、他の人工現実デバイス内で、および／または他の人工現実デバイスとともに、実装されてよい。
【0117】
ハプティック感覚、可聴コンテンツ、および／または視覚的コンテンツを提供することによって、人工現実システムは、さまざまな文脈および環境において、仮想体験全体を作成し得る、またはユーザの現実世界体験を高め得る。たとえば、人工現実システムは、特定の環境内でのユーザの知覚、記憶、または認知を支援または拡張し得る。いくつかのシステムは、現実世界の他の人々とのユーザの相互作用を高め得る、または仮想世界の他の人々とのより没入する相互作用を可能にし得る。人工現実システムは、教育目的（たとえば、学校、病院、政府機関、軍隊組織、企業などにおける教示または訓練のために）、娯楽目的（たとえば、ビデオゲームをする、音楽を聴く、ビデオコンテンツを視聴するなど）、および／またはアクセシビリティ目的（たとえば、補聴器、視覚的支援など）にも使用されてよい。本明細書で開示される実施形態は、これらの文脈および環境のうちの１つもしくは複数におけるならびに／または他の文脈および環境におけるユーザの人工現実体験を可能にしてもよいし、これを高めてもよい。
【0118】
述べられたように、人工現実システム１０００および１１００は、より説得力のある人工現実体験を提供するために、さまざまな他のタイプのデバイスとともに使用されてよい。これらのデバイスは、ハプティックフィードバックを提供するおよび／または環境とのユーザの相互作用についてのハプティック情報を収集するトランスデューサとのハプティックインタフェースであってよい。本明細書で開示される人工現実システムは、触覚フィードバック（たとえば、皮膚フィードバックとも呼ばれることがある、ユーザが皮膚内の神経を介して検出するフィードバック）および／または運動感覚フィードバック（たとえば、筋肉、関節、および／または腱内に設置された受容体を介してユーザが検出するフィードバック）を含む、種々のタイプのハプティック情報を検出または伝達する種々のタイプのハプティックインタフェースを含んでよい。
【0119】
ハプティックフィードバックは、ユーザの環境内に位置決めされたインタフェース（たとえば、椅子、テーブル、床など）および／またはユーザによって装着または携行され得る物品上のインタフェース（たとえば、手袋、リストバンドなど）によって提供されてよい。一例として、図１２は、ウェアラブルな手袋（ハプティックデバイス１２１０）およびリストバンド（ハプティックデバイス１２２０）の形式をした振動触覚システム１２００を例示する。ハプティックデバイス１２１０およびハプティックデバイス１２２０はそれぞれ、ユーザの手および手首に対して位置決めするための形状および構成にされた可撓性のウェアラブルなテキスタイル材料１２３０を含むウェアラブルデバイスの例として図示されている。この開示は、指、腕、頭、胴体、足、または脚などの他の人体部位に対して位置決めするための形状および構成にされ得る振動触覚システムも含む。限定ではなく例として、本開示の種々の実施形態による振動触覚システムは、さまざまな可能性の中でもとりわけ、手袋、ヘッドバンド、アームバンド、スリーブ、ヘッドカバー、靴下、シャツ、またはズボンの形式であってもよい。いくつかの例では、「テキスタイル」という用語は、織物、不織布、皮、布、可撓性ポリマー材料、複合材料などを含む任意の可撓性のウェアラブル材料を含んでよい。
【0120】
１つまたは複数の振動触覚デバイス１２４０は、振動触覚システム１２００のテキスタイル材料１２３０内に形成された１つまたは複数の対応するポケット内に少なくとも部分的に位置決めされてよい。振動触覚デバイス１２４０は、振動触覚システム１２００のユーザに振動感覚（たとえば、ハプティックフィードバック）を提供する場所内に位置決めされてよい。たとえば、振動触覚デバイス１２４０は、図１２に図示されるように、ユーザの指、親指、または手首に当たるように位置決めされてよい。振動触覚デバイス１２４０は、いくつかの例では、ユーザの対応する身体部位に適合するまたはこれとともに曲がるのに十分に可撓性であってよい。
【0121】
その起動のために電圧を振動触覚デバイス１２４０に印加するための電源１２５０（たとえば、バッテリ）は、導電配線１２５２などを介して、振動触覚デバイス１２４０に電気的に結合されてよい。いくつかの例では、振動触覚デバイス１２４０の各々は、個々の起動のために電源１２５０に独立して電気的に結合されてよい。いくつかの実施形態では、プロセッサ１２６０は、電源１２５０に動作可能に結合され、振動触覚デバイス１２４０の起動を制御するように構成（たとえば、プログラム）されてよい。
【0122】
振動触覚システム１２００は、さまざまな手段で実装されてよい。いくつかの例では、振動触覚システム１２００は、他のデバイスおよびシステムとは無関係な動作のための一体的なサブシステムおよび構成要素をもつスタンドアロンシステムであってよい。別の例として、振動触覚システム１２００は、別のデバイスまたはシステム１２７０と相互作用するように構成されてよい。たとえば、振動触覚システム１２００は、いくつかの例では、他のデバイスまたはシステム１２７０に信号を受信および／または送信するための通信インタフェース１２８０を含むことがある。他のデバイスまたはシステム１２７０は、モバイルデバイス、ゲームコンソール、人工現実（たとえば、仮想現実、拡張現実、複合現実）デバイス、パーソナルコンピュータ、タブレットコンピュータ、ネットワークデバイス（たとえば、モデム、ルータなど）、ハンドヘルドコントローラなどであってよい。通信インタフェース１２８０は、ワイヤレス（たとえば、Ｗｉ－Ｆｉ、ブルートゥース、セルラー、無線など）リンクまたはワイヤードリンクを介した振動触覚システム１２００と他のデバイスまたはシステム１２７０との間の通信を可能にし得る。存在する場合、通信インタフェース１２８０は、振動触覚デバイス１２４０のうちの１つまたは複数を起動または停止するために信号をプロセッサ１２６０に提供するなどのために、プロセッサ１２６０と通信してよい。
【0123】
振動触覚システム１２００は、任意選択で、タッチセンシティブパッド１２９０、圧力センサ、モーションセンサ、位置センサ、発光要素、および／またはユーザインタフェース要素（たとえば、オン／オフボタン、振動制御要素など）などの、他のサブシステムおよび構成要素を含んでよい。使用中、振動触覚デバイス１２４０は、ユーザインタフェース要素とのユーザの相互作用、モーションセンサまたは位置センサからの信号、タッチセンシティブパッド１２９０からの信号、圧力センサからの信号、他のデバイスまたはシステム１２７０からの信号などに応答するなどの、さまざまな異なる理由で、起動されるように構成されてよい。
【0124】
電源１２５０、プロセッサ１２６０、および通信インタフェース１２８０は、図１２ではハプティックデバイス１２２０内に位置決めされるように例示されているが、本開示はそのように限定されない。たとえば、電源１２５０、プロセッサ１２６０、または通信インタフェース１２８０のうちの１つまたは複数は、ハプティックデバイス１２１０内に位置決めされてもよいし、別のウェアラブルテキスタイル内に位置決めされてもよい。
【0125】
図１２に図示され、これに関連して説明されるものなどの、ハプティックウェアラブルは、さまざまなタイプの人工現実システムおよび環境内で実装されてよい。図１３は、１つのヘッドマウント仮想現実ディスプレイと２つのハプティックデバイス（すなわち、手袋）とを含む例証的な人工現実環境１３００を図示し、他の実施形態では、任意の数および／または組み合わせのこれらの構成要素および他の構成要素は、人工現実システム内に含まれることがある。たとえば、いくつかの実施形態では、関連づけられたハプティックデバイスを各々が有する複数のヘッドマウントディスプレイがあることがあり、各ヘッドマウントディスプレイおよび各ハプティックデバイスは、同じコンソール、ポータブルコンピューティングデバイス、または他のコンピューティングシステムと通信する。
【0126】
ヘッドマウントディスプレイ１３０２は、一般に、図１１の仮想現実システム１１００などの、任意のタイプまたは形式の仮想現実システムを表す。ハプティックデバイス１３０４は、一般に、人工現実システムの使用によって装着された、自分が仮想オブジェクトと物理的に係わるという知覚をユーザに与えるためにハプティックフィードバックをユーザに提供する、任意のタイプまたは形式のウェアラブルデバイスを表す。いくつかの実施形態では、ハプティックデバイス１３０４は、振動、モーション、および／または力をユーザに適用することによって、ハプティックフィードバックを提供してよい。たとえば、ハプティックデバイス１３０４は、ユーザの動きを限定または増やすことがある。具体的な例を与えるために、ハプティックデバイス１３０４は、ユーザが、自分の手が仮想壁と物理的に接触しているという知覚を有するように、ユーザの手を前方に動かすことから限定する。この具体的な例では、ハプティックデバイス内の１つまたは複数のアクチュエータは、流体をハプティックデバイスの膨張可能な袋にポンプで注入することによって、物理的な動きの制限を達成し得る。いくつかの例では、ユーザは、ハプティックデバイス１３０４を使用して、アクション要求をコンソールに送ることもある。アクション要求の例としては、限定するものではないが、アプリケーションを開始するおよび／もしくはアプリケーションを終了する要求、ならびに／またはアプリケーション内で特定のアクションを実施する要求がある。
【0127】
ハプティックインタフェースは、図１３に図示されるように、仮想現実システムとともに使用されてよいが、ハプティックインタフェースは、図１４に図示されるように、拡張現実システムとともに使用されてもよい。図１４は、ユーザ１４１０が拡張現実システム１４００と相互作用する斜視図である。この例では、ユーザ１４１０は、１つまたは複数のディスプレイ１４２２を有し、ハプティックデバイス１４３０とペアにされた拡張現実メガネ１４２０を装着してよい。ハプティックデバイス１４３０は、複数のバンド要素１４３２とバンド要素１４３２を互いに接続する引張機構１４３４とを含むリストバンドであってよい。
【0128】
バンド要素１４３２のうちの１つまたは複数は、ハプティックフィードバックを提供するのに適した任意のタイプまたは形式のアクチュエータを含んでよい。たとえば、バンド要素１４３２のうちの１つまたは複数は、振動、力、牽引、テクスチャ、および／または温度を含む種々のタイプの皮膚フィードバックのうちの１つまたは複数を提供するように構成されてよい。そのようなフィードバックを提供するために、バンド要素１４３２は、種々のタイプのアクチュエータのうちの１つまたは複数を含んでよい。一例では、バンド要素１４３２の各々は、種々のタイプのハプティック感覚のうちの１つまたは複数をユーザに提供するために一斉にまたは独立して振動するように構成された振動触覚器（ｖｉｂｒｏｔａｃｔｏｒ）を含んでよい。代替的に、単一のバンド要素のみまたはバンド要素のサブセットは、振動触覚器を含んでよい。
【0129】
ハプティックデバイス１２１０、１２２０、１３０４、および１４３０は、任意の適切な数および／またはタイプのハプティックトランスデューサ、センサ、および／またはフィードバック機構を含んでよい。たとえば、ハプティックデバイス１２１０、１２２０、１３０４、および１４３０は、１つまたは複数の機械的トランスデューサ、圧電トランスデューサ、および／または流体トランスデューサを含んでよい。ハプティックデバイス１２１０、１２２０、１３０４、および１４３０は、ユーザの人工現実体験を高めるために一緒にまたは独立して働く異なるタイプおよび形式のトランスデューサの種々の組み合わせも含んでよい。一例では、ハプティックデバイス１４３０のバンド要素１４３２の各々は、種々のタイプのハプティック感覚のうちの１つまたは複数をユーザに提供するために一斉にまたは独立して振動するように構成された振動触覚器（たとえば、振動触覚アクチュエータ）を含んでよい。
【0130】
非限定的な例として、以下の実施形態が本開示に含まれる。
【0131】
例１：ユーザによって着装されたウェアラブルデバイス上の第１のセンサから第１の時系列にわたって神経筋活動データを受け取ることと、ユーザの身体部位の身体部位状態を示すグラウンドトゥルースデータを第２のセンサから第２の時系列にわたって受け取ることと、神経筋活動データをグラウンドトゥルースデータの少なくとも一部分と関連づけるために、少なくとも、第２の時系列に対して第１の時系列にわたる神経筋活動データの一部分を時間シフトすることによって、１つまたは複数の訓練データセットを生成することと、１つまたは複数の訓練データセットに基づいて１つまたは複数の推論モデルを訓練することとを含む方法。
【0132】
例２：ユーザの特定の身体部位と関連づけられた電気機械的遅延に基づいて、神経筋活動データの一部分を１つまたは複数の時間間隔だけ時間シフトすることをさらに含む、例１の方法。
【0133】
例３：１つまたは複数の推論モデルは複数の推論モデルを含み、方法は、複数の推論モデルの各々に対する予測精度を決定することと、複数の推論モデルの各々に対する決定された予測精度に基づいて、複数の推論モデルから第１の推論モデルを選択することと、第１の推論モデルを使用してユーザの身体部位状態を予測することとをさらに含む、例１または例２の方法。
【0134】
例４：第１の推論モデルは、ユーザの特定の身体部位と関連づけられた特徴的なレイテンシに基づいてさらに選択される、例１から例３のいずれかの方法。
【0135】
例５：複数の推論モデルの各々に対する予測精度を決定することは、複数の推論モデルの各々を使用して身体部位状態を正しく推定する可能性を決定することを含む、例１から例４のいずれかの方法。
【0136】
例６：複数の推論モデルの各々に対する予測精度を決定することは、ユーザの身体部位状態と関連づけられた既知の特徴的なレイテンシと、複数の推論モデルの各々を使用して予測される、ユーザの身体部位状態と関連づけられたレイテンシとの間の誤差値を決定することを含む、例１から例５のいずれかの方法。
【0137】
例７：１つまたは複数の推論モデルに基づいてユーザの身体部位状態を予測することをさらに含む、例１から例６のいずれかの方法。
【0138】
例８：ユーザの予測された身体部位状態が特定のジェスチャに対応すると決定することと、ユーザの予測された身体部位状態が特定のジェスチャに対応すると決定したことに応答して、人工現実環境内でアクションを実施することとをさらに含む、例１から例７のいずれかの方法。
【0139】
例９：１つまたは複数の推論モデルのうちの２つの推論モデルに関する予測精度を決定することであって、この２つの推論モデルは２つの異なる時間間隔に対応する、決定することと、２つの推論モデルに関する予測精度が閾値を満たすと決定することと、２つの異なる時間間隔の大きい方に対応する、２つの推論モデルのうちの１つを選択することと、２つの推論モデルのうちの選択されたものを使用して、ユーザの身体部位状態を予測することとをさらに含む、例１から例８のいずれかの方法。
【0140】
例１０：閾値は、２つの推論モデルに関する予測精度の絶対差、または２つの推論モデルのうちの精度の高い方の推論モデルと２つの推論モデルのうちの精度の低い方の推論モデルとの間の予測精度の相対差、のうちの少なくとも１つである、例１から例９のいずれかの方法。
【0141】
例１１：２つの推論モデルのうちの１つを選択することは、タスクに依存した精度レベルにさらに基づく、例１から例１０のいずれかの方法。
【0142】
例１２：第２のセンサはヘッドマウントディスプレイの一部であり、第２のセンサは、光センサ、慣性測定センサ、相互磁気誘導測定センサ、または圧力センサのうちの少なくとも１つを含む、例１から例１１のいずれかの方法。
【0143】
例１３：ユーザの身体部位状態は、ポーズまたはジェスチャのうちの少なくとも１つの存在または欠如を示す二値ラベルとして表される、例１から例１２のいずれかの方法。
【0144】
例１４：身体部位状態は、身体部位と関連づけられた力、身体部位の動き、身体部位と関連づけられたポーズ、身体部位と関連づけられたジェスチャ、または身体部位の一部分と関連づけられたジェスチャ、のうちの少なくとも１つを含む、例１から例１３のいずれかの方法。
【0145】
例１５：ウェアラブルデバイスであって、このウェアラブルデバイスを着装するユーザからの複数の神経筋信号を記録するように構成された１つまたは複数の神経筋センサと、１つまたは複数のプロセッサとを備え、１つまたは複数のプロセッサは、１つまたは複数の神経筋センサから時系列にわたって神経筋活動データを受け取ることであって、神経筋活動データが、１つまたは複数の神経筋センサによって記録された神経筋信号に対応する、神経筋活動データを受け取ることと、時系列にわたってユーザの身体部位の状態を示す位置データを受け取ることと、１つまたは複数の時間間隔だけ、神経筋活動データまたは位置データのうちの少なくとも１つを時間シフトすることによって、１つまたは複数の訓練データセットを生成することと、少なくとも１つまたは複数の訓練データセットに基づいて１つまたは複数の推論モデルを訓練することと、訓練された１つまたは複数の推論モデルに基づいてユーザの身体部位状態を予測することとを行うようにプログラムされている、ウェアラブルデバイス。
【0146】
例１６：１つまたは複数のプロセッサは、ユーザの身体部位と関連づけられた電気機械的遅延に基づいて１つまたは複数の時間間隔を選択するようにさらにプログラムされている、例１５のウェアラブルデバイス。
【0147】
例１７：１つまたは複数の推論モデルは複数の推論モデルを含み、１つまたは複数のプロセッサは、複数の推論モデルの各々に関する予測精度を決定し、複数の推論モデルの各々に関する決定された予測精度に基づいて、複数の推論モデルから第１の推論モデルを選択し、第１の推論モデルを使用してユーザの身体部位状態を予測するようにさらにプログラムされている、例１５または例１６のウェアラブルデバイス。
【0148】
例１８：複数の推論モデルのうちの１つは、ユーザの身体部位の特徴的なレイテンシに基づいてさらに選択される、例１５から例１７のいずれかのウェアラブルデバイス。
【0149】
例１９：複数の推論モデルの各々に関する予測精度を決定することは、複数の推論モデルの各々を使用して既知の身体部位状態を正しく推定する可能性を決定することを含む、例１５から例１８のいずれかのウェアラブルデバイス。
【0150】
例２０：ヘッドマウントディスプレイと、ウェアラブルデバイスと、を備えた人工現実システムであって、ウェアラブルデバイスは、このウェアラブルデバイスを着装するユーザからの複数の神経筋信号を記録するように構成された１つまたは複数の神経筋センサ、および１つまたは複数のプロセッサを備え、１つまたは複数のプロセッサは、複数の神経筋信号を記録するように構成された神経筋センサから時系列にわたって神経筋活動データを受け取ることと、時系列にわたってユーザの身体部位の身体部位状態を示す位置データを受け取ることと、１つまたは複数の時間間隔だけ、神経筋活動データまたは位置データのうちの少なくとも１つを時間シフトすることによって、１つまたは複数の訓練データセットを生成することと、１つまたは複数の訓練データセットを使用して、少なくとも神経筋活動時系列データに基づいて１つまたは複数の推論モデルを訓練することと、この訓練された１つまたは複数の推論モデルを使用してユーザの身体部位状態を予測することとを行うようにプログラムされ、ヘッドマウントディスプレイは、ユーザの身体部位の視覚的表現を表示するように構成される、人工現実システム。
【0151】
上述の説明は、当業者が本明細書で開示される例証的な実施形態の種々の態様を最も良く利用することを可能にするために提供されている。この例証的な説明は、網羅的であること、または開示される任意の明確な形式に限定されることを意図したものではない。本開示の趣旨および範囲から逸脱することなく、多数の修正形態および変形形態が可能である。本明細書で開示される実施形態は、あらゆる点で例示的であり、制限的でないと考慮されるべきである。本開示の範囲を決定する際に、添付の特許請求の範囲およびそれらの等価物への参照がなされるべきである。
【0152】
別段に述べられない限り、「～に接続される」および「～に結合される」という用語（ならびに、それらの派生語）は、本明細書および特許請求の範囲で使用されるとき、直接的な接続と間接的な（すなわち、他の要素または構成要素を介した）接続の両方を許可すると解釈されるべきである。加えて、「１つの（ａ）」または「１つの（ａｎ）」という用語は、本明細書および特許請求の範囲で使用されるとき、「のうちの少なくとも１つ」を意味すると解釈されるべきである。最後に、使用を簡単にするため、「含む（ｉｎｃｌｕｄｉｎｇ）」および「有する（ｈａｖｉｎｇ）」という用語（ならびに、それらの派生語）は、本明細書および特許請求の範囲で使用されるとき、「備える、含む（ｃｏｍｐｒｉｓｉｎｇ）」という単語と交換可能であり、これと同じ意味を有する。
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【国際調査報告】