(58)【調査した分野】(Int.Cl.,DB名)
前記アンテナのうちの1つまたは複数のアンテナの第1のサブセットを前記送信モジュールに接続するように、かつ前記アンテナのうちの1つまたは複数のアンテナの第2のサブセットを前記受信モジュールに接続するように前記スイッチを制御することは、前記第1のサブセットのメンバシップ、および前記第2のサブセットのメンバシップが経時的に変化させられるように経時的に変化する命令をさらに備える、請求項1に記載のデバイス。
1つまたは複数のアンテナの第1のサブセットを送信モジュールに接続するように、かつ1つまたは複数のアンテナの第2のサブセットを受信モジュールに接続するようにスイッチを制御するステップ、
アンテナの前記第1のサブセットから、ユーザの手と相互に作用するように構成された近傍界電磁場(EMF)を送信するステップであって、前記近傍界EMFは、前記手の20cm範囲内に実質的に限定される空間分布を有するEMFを備える、ステップ、
アンテナの前記第2のサブセットから、EMF信号を受信するステップであって、該EMF信号は、周波数、振幅、および位相の情報を含み、振幅および位相の情報は前記手の配置に応じて変化する、受信するステップ、
前記EMF信号をデジタル化するステップ、
前記デジタル化されたEMF信号を、ビーム信号を生成すべく、ビーム形成することによって処理するステップ、
前記手の推定される配置を判定すべく、前記ビーム信号をパターン認識システムに適用するステップ、および
前記手の前記推定される配置を、送信のために無線通信モジュールに送るステップ
を含む動き追跡方法。
【発明を実施するための形態】
【0009】
[0016]次に、本発明が、以下の実施形態を参照して、より具体的に説明される。本発明の好ましい実施形態の以下の説明は、単に例示および説明のために本明細書において提示されることに留意されたい。以下の説明は、網羅的であることも、開示される形態そのものに限定されることも意図していない。
【0010】
[0017]本明細書において、「ジェスチャ」、「動き」、および「位置」という用語は、以下のとおり定義される。「ジェスチャ」とは、ユーザの手または身体の実質的におおよその、または全体的な配置(例えば、完全に閉じられた拳、完全に開かれた手、人差し指が立てられた閉じられた拳、その他)を指す。「位置」とは、ユーザの手または身体の実質的に厳密な配置(例えば、すべての手の関節の角度、すべての指先位置および手のひら位置の座標、その他)を指す。手または身体の「位置」を知っている場合、対応する「ジェスチャ」を推測することができ、「ジェスチャ」を知っていても、対応する「位置」を推測することはできない。「動き」とは、経時的な「位置」を指し、「ジェスチャ」情報を「位置」情報のサブセットとして含んでもよい。
【0011】
[0018]既存の技術における前述の問題に鑑みて、モーションキャプチャデバイスおよびモーションキャプチャ方法が、提供される。このデバイスおよび方法は、伝播しない電磁場(EMF)を送受信すべくマルチポイントアンテナアレイを使用してよい。この方法は、単純な着用可能な構造体(例えば、リストバンド)によって適用されてよい。かさばる手袋は、モーションキャプチャプロセスに必要とされず、このことが、モーションキャプチャの使用の容易さ、および快適さを向上させ得る。同時に、方法は、環境的に適応可能であってよく、例えば、近くの光または金属による干渉に耐性があってよい。最後に、方法は、慣性モーションキャプチャシステムに要求される頻繁な再較正なしに使用され得る高精度モーションキャプチャ体験をユーザに与えることが可能である。
【0012】
[0019]実施形態において、モーションキャプチャ方法は、以下のステップから構成されることが可能である。これらのステップは、必ずしも、与えられる順序で経時的に行われるものと解釈されるべきではないことに留意されたい。ステップA:ユーザの手の周囲に特定の周波数のEMF分布を確立し、EMF分布は、経時的に変化してよい。ステップB:任意選択で、重ね合わされたEMF分布を形成すべく、単一の周波数、または複数の周波数で、手の周囲に異なる位置で複数のEMF分布を確立するようにステップAを繰り返す。ステップC:手が様々な動きをする間、EMFの振幅情報および位相情報を経時的に収集する。ステップD:手の周囲の様々な位置における電磁場強度の振幅情報および位相情報を収集すべくステップCを繰り返す。ステップE:様々な方向でEMF情報を得るべくマルチアンテナマルチチャネルデジタル獲得を介して様々な位置で収集された電磁場強度の振幅情報および位相情報を使用してデジタルビーム形成処理を実行し、パターン認識計算を実行し、手の動きに対応するジェスチャ状態を判定する。
【0013】
[0020]ステップAに関して、EMF分布は、手の周囲に固定された放射器によって生成されてよい。ステップAにおいて生成されるEMF分布の作用の範囲は、20cmであってよい。ステップCに関して、電磁場強度の振幅情報および位相情報は、手の周囲に固定された受信機によって収集されてよい。
【0014】
[0021]ステップEに関して、パターン認識計算は、ニューラルネットワークによって実行されてよい。ニューラルネットワークは、深層学習方法(例えば、バックプロパゲーション(BP))を使用して、電磁場強度情報(例えば、ビーム形成によって計算された)を支援された学習のために基礎として使用して構築されて(例えば、訓練されて)よい。ニューラルネットワークは、多数のサンプルを用いた訓練を介してジェスチャパターンを認識するように訓練されてよい。
【0015】
[0022]ステップEの後に、ステップFがさらに実行されてよい。ジェスチャ状態を判定した後、細区分データベースがアクセスされてよい。細区分データベースは、ジェスチャ状態に対応する特定の細区分においてアクセスされてよい。細区分データベースは、ジェスチャ状態内の電磁場強度情報と指位置の間のマッピング関係を包含してよい。細区分データベースは、指位置または身体位置、および、任意選択で、指速度または身体速度を見出すべく照会されてよい。
【0016】
[0023]モーションキャプチャデバイスは、伝播しない電磁場範囲内のEMFを使用してよい。伝播しないEMFの範囲は、極めて短い(例えば、20cmのオーダの)であってよく、この範囲を超えると、伝播しないEMFは、急に減衰し得る。短いEMF範囲は、モーションキャプチャデバイスが、周囲の環境からより小さい干渉を有することを可能にする。モーションキャプチャデバイスは、伝播しないEMFの外乱を測定してよい。
【0017】
[0024]モーションキャプチャデバイスは、重ね合わされ得る複数のEMFを生成すべく複数の放射器を利用してよい。複数の放射器のうちの異なる放射器が、同一の周波数で、または異なる周波数でEMFを発してよい。
【0018】
[0025]ユーザの手は、単一の放射器、または複数の放射器によって形成されるEMFによって囲まれてよい。ユーザの手が様々な動きをするにつれ、複数の受信機が、EMFが経時的に変化するにつれてのEMFの振幅情報および位相情報を同時に受信してよい。様々な手の位置にわたって収集されたEMFからの振幅情報および位相情報が、EMFからの手の位置状態の推定を判定するように、パターン認識計算によって解釈されてよい。
【0019】
[0026]複数の受信機によって受信される振幅情報および位相情報を介して、ジェスチャ状態を判定すべく、マルチチャネル信号に対してデジタルビーム形成およびパターン認識計算が実行されてよい。パターン認識計算は、現在の状態、および過去の状態(例えば、動きの軌道)を考慮してよい。
【0020】
[0027]ジェスチャ、指位置、および指速度などの情報をもたらすことに加えて、動き追跡デバイスは、手のひら位置および手のひら速度を含む情報をもたらしてよい。
[0028]
図1は、近傍界RF動き追跡デバイスの例示的な実施形態を示す。デバイスは、ユーザによって(例えば、手首上に)着用され得る着用可能なバンド100(例えば、ブレスレットまたはリストバンド)上で支えられ得る。バンド上に、複数のアンテナ102が配置されてよい。これらのアンテナ102は、バンド100の外面上にあってよく、または内部に埋め込まれてよい。各アンテナ102は、制御ユニット104に電気的に接続されてよい。制御ユニット104もまた、着用可能なバンド100に取り付けられてよい。制御ユニット104は、筐体と、アンテナ102を動作させる回路とを含む。着用可能なバンド100は、代替として、任意の形態の着用可能な、または身体に取付可能なマウントであってよい。
【0021】
[0029]
図2は、近傍界RF動き追跡デバイス200の例示的な実施形態のブロック図を示す。アンテナ202のそれぞれは、制御ユニット204に電気的に接続されてよい。制御ユニット204内で、アンテナ202は、RFスイッチ206に取り付けられてよい。RFスイッチ206は、各アンテナ202を送信モジュール208または受信モジュール210のいずれか1つに制御可能に接続する役割をしてよい。アンテナ202が送信モジュール208に接続されるとき、アンテナ202は、送信(放射)アンテナとなることが可能であり、送信されるRF電気信号224からアンテナ202の周囲にEMF222を生成する。アンテナ202が受信モジュールに接続されるとき、アンテナ202は、受信アンテナになることが可能であり、アンテナ202の周囲からEMF222を受信して、EMF222を受信されるRF電気信号226に変換する。
【0022】
[0030]アンテナ202は、近傍界アンテナであってよい。近傍界アンテナは、長距離の電磁波を送信するように、または受信するように設計されるのではなく、専ら、近傍界にて送信するように、または受信するように設計される。近傍界EMFは、送信源のいくつかの波長内にだけ存在する。近傍界アンテナの一例が、電磁的に短いアンテナであり、アンテナの最長寸法は、アンテナが送信している、または受信しているRF周波数の波長より実質的に短い。アンテナ202は、ループアンテナ、ダイポールアンテナ、パッチアンテナ、または近傍界送受信に適した他の任意のアンテナ構成であってよい。アンテナ202は、2つ以上のアンテナを備え、少なくとも1つの送信アンテナ、および少なくとも1つの受信アンテナが、モーションキャプチャプロセス中にアクティブである。アンテナ202は、EMF222を送受信してよく、かつアンテナ202は、ユーザの手と相互に作用する送信されるEMF222または受信されるEMF222のパターンを有するように構成され得る。モーションキャプチャデバイスは、ユーザの手の周囲で特定の周波数、または特定のセットの周波数のEMF分布を生成すべく、1つの、またはいくつかの小容量(小さい電気的長さ)の放射器を利用してよい。EMFは、ユーザが経時的に手を動かすにつれて時間的に変化してよい。短い時間、EMFは、動きによる変動がその短い時間にわたって実質的に低い場合、安定状態と同様であると見なされてよい。
【0023】
[0031]送信モジュール208は、特定の周波数、または特定のセットの周波数を有する1つまたは複数の電気的なRF信号を初期に生成する発振器212(例えば、位相ロックループ、水晶発振器、電圧制御された発振器、その他)を含んでよい。送信モジュール208は、送信のために特定の振幅および電力を有する送信されるRF電気信号224を生成すべくRF信号を増幅する増幅器214を含んでよい。送信モジュール208の1つまたは複数の出力は、スイッチ206に接続されてよく、スイッチ206は、送信モジュール208のその1つまたは複数の出力を1つまたは複数のアンテナ202に制御可能に接続してよい。送信モジュール208は、プロセッサ216に電気的に接続されてよい。プロセッサ216は、送信モジュール208に制御命令を送ってよく、送信モジュール208は、送信される1つまたは複数のRF電気信号224を制御してよい(例えば、オン/オフ、周波数、振幅、位相、その他)。送信モジュール208は、プロセッサ216にフィードバック信号を送ってよい。送信モジュール208は、電力管理回路218に接続されてよく、かつ、その結果、送信モジュール208に電力を供給すべく電源220に接続されてよい。
【0024】
[0032]受信モジュール210は、1つまたは複数のアンテナ202からの受信されるRF電気信号226を受信し、かつ処理するように構成されてよい。受信モジュール210は、受信された1つまたは複数のRF電気信号226に利得を加えるフロントエンド増幅器228を含んでよい。受信モジュール210は、受信されるRF電気信号226の振幅情報および位相情報を保存しながら、さらなる処理を容易にすべく、RF電気信号226をより低い周波数の信号(例えば、ベースバンド、中間周波数、その他)に変換するように構成され得る復調回路230(例えば、スーパーヘテロダイン受信機、超再生受信機、その他)を含んでよい。復調回路230は、復調のために基準信号をもたらすことが可能な、送信モジュール208に対する接続を含んでよい。受信モジュール210は、受信されるRF電気信号226からの振幅情報および位相情報を、同一の振幅および位相情報234を包含するデジタル信号に変換することが可能な、アナログ−デジタル変換器232を含んでよい。
【0025】
[0033]受信モジュール210は、プロセッサ216に電気的に接続されてよい。受信モジュール210は、プロセッサ216に振幅および位相情報234を送ってよい。この振幅および位相情報234は、デジタルであっても、アナログであってもよい。プロセッサは、受信モジュール208を制御する(例えば、オン/オフ、利得、ビットレート、その他)命令を送ってよい。プロセッサは、出力情報236(例えば、ユーザの手のジェスチャ、指位置、および指速度)を生成すべく振幅および位相情報234を処理するように構成されてよい。
【0026】
[0034]プロセッサ216は、通信モジュール238に接続されてよい。通信モジュール238は、有線または無線の通信モジュール(例えば、無線パーソナルエリアネットワーク(WPAN)モジュール)であってよい。通信モジュール238は、プロセッサ216から出力情報236を受信してよく、かつプロセッサ216から命令(例えば、オン/オフ、タイミング、その他)を受信してよい。通信モジュール238は、出力情報236を用いて後の機能(例えば、処理、記憶、表示)を実行すべく、動き追跡システムの他の着用可能な、または着用可能でない構成要素(例えば、コンピュータ、スマートフォン、基地局)に出力情報236を送ってよい。通信モジュール238は、動き追跡システムの他の構成要素から命令または情報を受信してよい。通信モジュール238は、プロセッサ216に命令または情報を送ってよい。
【0027】
[0035]
図3は、RFスイッチ306の内部接続のブロック図を示す。RFスイッチ306は、それぞれが、それぞれの1つまたは複数のアンテナ302を送信モジュール308または受信モジュール310のうちの1つに制御可能に接続する役割をすることが可能な、1つまたは複数のスイッチング要素300を包含する。スイッチング要素300のスイッチ状態は、プロセッサ316からの入力によって制御されてよい。
【0028】
[0036]アンテナ302接続は、異なるいくつかの実施形態により制御されてよい。所与の時点で、各アンテナ(例えば、302a、302b、302c)は、送信状態または受信状態のうちの1つにあってよい。動き追跡動作中、信号が作成されるために、少なくとも1つのアンテナ(例えば、302b)が送信していなければならず、かつ少なくとも1つのアンテナ(例えば、302aおよび302c)が受信していなければならない。一部の実施形態において、他のすべてのアンテナ302が受信する一方で、単一のアンテナ302が送信してよい。この実施形態の利点は、可能な最大限の数の受信アンテナ302がアクティブであり、その結果、EMF、およびユーザの身体とのEMFの相互作用についての最大限の量の情報をもたらすことであり得る。代替の実施形態において、半分のアンテナ302が、残りの半分のアンテナ302が受信する一方で、送信してよい。送信アンテナと受信アンテナ302の空間的配置は、各送信アンテナ(例えば、302b)が2つの受信アンテナ(例えば、302aおよび302c)に隣接するように、交互であってよい。この代替の実施形態の利点は、すべての受信アンテナが強いEMF信号を受信し得ることであり得る。アンテナ接続は、プロセッサ316からの命令によりRFスイッチ306によって経時的に変更されてよい。
【0029】
[0037]
図4は、ニューラルネットワークアーキテクチャの例を示す。ニューラルネットワークは、ニューロンと呼ばれる要素(円として図示される)から構成されることが可能である。各ニューロンは、1つまたは複数の入力を受信してよく、かつ出力をもたらしてよい。ニューロンに対する各入力は、ニューロンに対するその入力の影響の強さに対応する、対応する「重み」を有してよい。ニューロンの全体的な活性化は、各入力がその入力に対応する重みによって拡大縮小されて、ニューロンのすべての入力の合計であり得る。ニューロンは、ニューロンの出力(例えば、シグモイド関数、しきい値ステップ関数)を判定すべく、重み付けされた入力の合計を活性化関数に通してよい。ニューロン間の単方向接続(線として図示される)は、「シナプス」と呼ばれ、シナプス前ニューロンの出力が、シナプス後ニューロンの入力となる。各シナプスは、シナプス後ニューロンに対するシナプス前ニューロンの影響を決定する「重み」を有し、高い重みは、シナプス前ニューロンがシナプス後ニューロンを容易に発火させることができることを意味し、低い重みは、シナプス前ニューロンがシナプス後ニューロンに対して弱い影響しか有さないことを意味する。
【0030】
[0038]この例示的なネットワークにおいて、入力信号400が、ニューロンの第1の層404に入力として加えられる。各接続線402は、接続強度を決定する(例えば、シナプス後ニューロンに対する入力を増倍することによって)シナプス重みを有する、シナプスと見なされてよい。各接続線402は、情報がネットワークを左から右に通されるように一方向接続を備える。第1の層404において、各ニューロン(円)は、すべての入力(各接続のシナプス重みによって重み付けされた)の合計を計算し、この合計を活性化関数に通す。次に、第1の層404における各ニューロンは、第2の層408におけるニューロンに出力を送り、その出力は、対応する接続406の重みによって縮小拡大されている。次に、ニューロンの第2の層408が、重み付けされた入力を合計し、かつ活性化関数に通す類似したプロセスを実行してよい。次に、ニューロンの第2の層408の出力が、対応するシナプス接続410によって最終の出力層412に送られてよい。出力層412は、重み付けされた入力を合計し、かつ活性化関数に通すプロセスを実行してよい。例において、ネットワークが、或る範囲の電圧入力400を入力として受信してよく、かつ指位置を最終出力414としてもたらしてよい。
【0031】
[0039]そのようなニューラルネットワークは、バックプロパゲーションプロセスによって訓練されてよい。バックプロパゲーションとは、誤差の逆伝播を指す。誤差は、ネットワーク出力(例えば、出力414)をもたらすべくネットワーク入力(例えば、入力400)を加え、次に、ネットワーク出力を、ネットワーク入力に対応する所定の「正しい」出力値と比較することによって計算されてよい。ネットワーク出力と正しい出力の差が、誤差と見なされてよい。次に、この誤差が、ネットワーク全体にわたってシナプス重みを変更するように使用されてよい。逆伝播(例えば、連鎖規則プロセスによる)は、同一のネットワーク入力が再び加えられたとした場合、ネットワーク出力が、シナプスが変更される前と比べて、より小さい誤差を有するようにするのに、ネットワークの各シナプスがどのように変更されるべきかを決定する手段を提供し得る。
【0032】
[0040]
図5は、動き追跡デバイスの動作を詳細に示す。送信モジュール508は、送信されるRF電気信号524を生成してよく、信号524は、本明細書において送信アンテナ502aと呼ばれる、1つまたは複数のアンテナ502aの選択されたサブセットにルーティングされてよい。複数のアンテナ502のなかからのアンテナ502aのサブセットの選択は、プロセッサ516からの命令に基づいてよい。送信アンテナ502aは、送信されるRF電気信号524を近傍界EMF522に変換してよい。このEMF522は、ユーザの手または他の身体部分と相互に作用してよく、この相互作用は、EMFの態様(振幅、位相、空間分布、その他)を変化させてよい。次に、EMF522は、本明細書において受信アンテナ502bと呼ばれる、アンテナのサブセット502bによって感知されてよい。受信アンテナ502bは、EMF522を受信されるRF電気信号526に変換してよく、信号526は、受信モジュール510に渡されてよい。受信モジュール510は、受信されるRF電気信号526の予備処理を実行してよく、予備処理は、増幅、復調、およびアナログ−デジタル変換のうちのいずれかを含んでよい。任意の処理中、受信モジュール510は、受信されるRF電気信号526を、信号526の振幅および位相情報534をもたらすべく処理してよい。受信アンテナ502bの個々の各アンテナが、EMF522の特定の空間要素を感知してよく、その結果、特定の振幅および位相情報534に変換され得る特定の受信されるRF電気信号526をもたらしてよい。振幅および位相情報534は、プロセッサ516に渡される。
【0033】
[0041]プロセッサ516は、振幅および位相情報534に対して連続するいくつかの操作を実行してよい。1つの操作は、ビーム形成536を含んでよい。ビーム形成536は、デジタル信号またはアナログ信号を用いて実行されてよい。受信される信号のビーム形成は、受信される信号の位相遅延および振幅縮小拡大を使用することによって、2つ以上のアンテナによって受信される信号から方向情報を抽出する手段である。複数のビーム形成プロセス536が、受信される信号の単一のセット(例えば、534)に対して実行されて、複数の形態の方向情報をもたらしてよい。
【0034】
[0042]ビーム形成に加えて、またはその代わりに、プロセッサ516は、振幅および位相情報534に対して他の1つまたは複数の操作を実行してよい。そのような操作は、特徴抽出であると一般に見なされ得る。特徴抽出方法は、初期の信号を精製して、冗長性のより少ない情報を有する、より情報豊かな信号にするように機械学習およびパターン認識において広く使用される。
【0035】
[0043]1つまたは複数の特徴抽出操作(例えば、ビーム形成536)を用いて、振幅および位相情報534は、処理された電磁場信号538に変換されてよい。処理された電磁場信号538は、ニューラルネットワーク540に送られてよく、ニューラルネットワーク540は、処理された電磁場信号538をジェスチャ542に対応するものとして解釈し、かつ分類してよい。処理された電磁場信号538は、ニューラルネットワーク540のシナプス重みにより解釈されてよい。
【0036】
[0044]ニューラルネットワーク540が、ジェスチャ542の推定を生成した後、ジェスチャ542と処理された電磁場信号538が一緒に、細区分データベース544により、さらに解釈されてよい。細区分データベース544は、認識されたジェスチャ542により分割されたマッピングテーブルまたはルックアップテーブルを包含してよい。各ジェスチャ542に関して、細区分データベース544は、処理された電磁場信号538を指位置546上にマップしてよい。「指位置」という用語は、ユーザの手のすべての指および親指の位置を指し得る。また、「指位置」という用語は、関心対象の任意の動き追跡物体の配置(例えば、足位置、顔位置、腕位置、身体位置)を指すことも可能である。出力は、ジェスチャ542と、位置546と、速度550とを含んでよい。
【0037】
[0045]
図6に示されるとおり、細区分データベース600は、それぞれが一般的な状態(例えば、手のジェスチャ)に対応する、複数のテーブル602を包含してよい。各テーブル602は、複数の要素608(例えば、テーブルの行)を包含してよい。各要素は、入力604と、出力606とを含んでよい。入力604は、ビームのセットを備えるものとして図示される、処理された電磁場信号を含んでよい。出力606は、複数の指位置を含んでよい。各指位置は、線形位置(例えば、x座標、y座標、およびz座標)、角位置、または他の任意の座標系によって符号化されてよい。テーブル602は、有限の分解能を有してよく、ここで、分解能は、最小限に分離された2つの(例えば、隣接する)要素の出力606の間の差と見なされてよい。要素間の分解能は、指位置空間をマップするのに利用可能な要素608の限られた総数のため、限定され得る。要素608の総数は、プロセッサ616上で利用可能な有限の記憶スペースによって限定されることが可能であり、またはそれ以外で限定されることが可能である。出力606のより高い分解能の推定を可能にすべく、細区分データベースから読み取る処理は、補間(例えば、線形補間)を含んでよい。補間は、一般に、利用可能な出力の中間にある新たな出力を推測することによって、より低い分解能のテーブルからより高い分解能の出力を生成する手段である。線形補間は、以下、すなわち、
【0039】
などの式を使用してよい。ここで、xは、所望される位置であり、yは、xにおける知られていない値であり、(x
1,y
1)および(x
2,y
2)は、所望される位置xに隣接する、知られている位置−値ペアである。
【0040】
[0046]細区分データベース600は、指位置および指速度の情報対受信される電圧(例えば、EMF情報)の間のマッピング関係を獲得することによって構築されてよい。細区分データベース600は、受信されるEMF(例えば、光学モーションキャプチャと同時にモーションキャプチャデバイスによって受信される)とペアにされた大量の知られている手位置データ(例えば、光学キャプチャ動き追跡デバイスによって生成される)を比較することによって、ニューラルネットワークを訓練するのにも使用され得る訓練データを使用して構築されてよい。細区分データベース600は、モーションキャプチャデバイスプロセッサ(例えば、516)上に事前記憶されてよい。細区分データベース600は、様々なジェスチャ状態により分割されてよく、ジェスチャ状態のそれぞれは、処理された受信されるEMF(例えば、ビーム1、ビーム2)と指位置(例えば、x,y,z)の間に特定のセットのマッピング関数(例えば、f1、f2)を有してよい。指位置(例えば、x、y、およびzにおける位置)に関する情報に加えて、細区分データベース600は、指速度(例えば、x、y、およびzにおける速度)に関する情報を包含してよい。
【0041】
[0047]指位置および指速度の情報対受信される電圧(例えば、EMF情報)の間のマッピング関係は、補間関数(例えば、線形補間)を含んでよい。補間関数は、可能な指の動きの位置の範囲に合うように、かつ及ぶように使用されてよい。複数の時点にわたる位置情報が、指の速度情報を得るべく経時的に比較されて(例えば、微分されて)よい。
【0042】
[0048]
図5に戻ると、プロセッサ516が、指位置546データに対して、微分548操作であり得る、さらなる操作を実行してよい。プロセッサ516は、指速度550を推定すべく、現在の指位置546および前の1つまたは複数の指位置を考慮してよい。微分548は、前の指位置と現在の指位置546の間の空間距離を計算すること、およびこの距離を、対応する前の時刻と現在時刻の間の差で割ることによって実行されてよい。指位置は、線形位置、角位置、または他の座標位置と見なされてよい。微分548は、2つの位置/時刻ペアを考慮してよく、または2つ以上の位置/時刻ペアを考慮してよい。
【0043】
[0049]
図7Aは、対応する身体パラメータ(例えば、ジェスチャ、指位置、指速度)に関する情報とペアにされた処理された電磁場信号738(例えば、
図5における538)を備え得る、ラベル付けされたペアデータ712を生成するためのプロセスを図示する。ラベル付けされたペアデータ712は、ニューラルネットワーク(例えば、
図5における540)訓練714のために使用されてよく、かつ細区分データベース716(例えば、
図5における544)を構築するのに使用されてよい。ラベル付けされたペアデータ712を生成することは、モーションキャプチャデバイス(例えば、
図1における100)と別個の動き認識デバイス(例えば、光学モーションキャプチャおよび認識システム)の同時の使用を含んでよい。モーションキャプチャデバイスおよびモーション認識デバイスは、或る範囲の行動および環境を介した複数の動きを含み得る、同一の身体の動き700(例えば、手の動き)を観察してよい。身体の動き700中、着用可能な近傍界モーションキャプチャシステム(例えば、
図1における100)が、着用されてよく、かつ1つまたは複数の送信アンテナ702aから近傍界EMF718を発してよい。近傍界EMF718は、身体の動き700との相互作用704を有することが可能であり、EMF718を変化させる。変化704の後のEMF718は、モーションキャプチャシステム(例えば、
図1における100)の受信機アンテナ702a構成要素によって感知され得る。受信されるRF電気信号706は、より有用な信号をもたらすべく処理されてよい。この処理の一例は、受信されるRF電気信号706の位相および振幅から空間情報をもたらす、ビーム形成708である。モーションキャプチャシステム(例えば、
図1における100)と並んで、身体の動き700は、動き認識システム710(例えば、光学モーションキャプチャおよび認識システム)によって認識されてもよい。動き認識システム710は、任意の形態の動き認識(例えば、ジェスチャおよび位置の手作業のラベル付けを伴う光学記録)であってよい。動き認識システム710は、経時的な身体ジェスチャと身体位置の両方に関するラベルをもたらす。動き認識システム710によって経時的にもたらされるラベルは、ビーム形成708によってもたらされる信号とペアにされてよい。ラベルと信号をペアにすることは、ラベル付けされたペア712のデータセットをもたらす。ラベル付けされたペア712のなかで、各ビーム信号は、対応する身体ジェスチャおよび身体位置を表すラベルを有する。
【0044】
[0050]ラベル付けされたペア712は、ジェスチャ認識ニューラルネットワーク714を訓練するための基礎を形成してよい。ネットワーク訓練の例示的なプロセス、および例示的なネットワークアーキテクチャが、後段で与えられる。さらに、ラベル付けされたペア712は、ラベル付けされたペア(例えば、処理された電磁場信号と指位置)を包含するデータベース716をポピュレートするのに使用されてよい。データベース716は、ジェスチャにより細区分されてよい。データベース716のこの細区分は、処理された電磁場信号パターンを指位置にマッチさせるとき、より小さい探索スペースを可能にしてよく、このことは、曖昧さを低減し得る。
【0045】
[0051]ラベル付けされたペア712(モーションキャプチャ710からのデータと処理された電磁場信号738から構成される)を使用してニューラルネットワーク訓練714およびデータベース生成716を実行することに加えて、ニューラルネットワーク訓練714およびデータベース生成716は、シミュレートされたラベル付けされたペア722をさらに使用してよい。シミュレートされたラベル付けされたペア722は、計算電磁シミュレーション720(CEM)によって生成されてよい。CEM720は、EMFをモデル化し、モデル化された形状にわたって、かつ経時的にマクスウェル方程式を計算することによって、予測される電磁場を生成する数値計算ベースの方法を備え得る。例示的なCEM720方法は、有限差分時間領域法、モーメント法、ビーム伝播法、フーリエ法、およびその他を含む。CEM720シミュレーションは、モデル化されたシステムを備えてよく、モデル化されたシステムは、アンテナ(例えば、702)と、身体要素(例えば、腕、手、指)と、環境要素(例えば、壁、テーブル)とを備える。モデル化されたシステムの各要素は、割り当てられた電磁特性を有する。例示的なCEM720モデルにおいて、シミュレートされた送信アンテナ(例えば、720a)にシミュレートされたRF電気信号(例えば、
図5における524)が供給されてよい。CEM720モデルは、シミュレートされたEMFを算出すべく、シミュレートされた送信アンテナ(例えば、702a)、シミュレートされた身体要素、およびシミュレートされた環境要素にわたってマクスウェル方程式を計算してよい。シミュレートされたEMFは、シミュレートされた受信アンテナ(例えば、702b)のそれぞれの電磁場を含んでよい。CEM720モデルは、シミュレートされたEMFを所与として、シミュレートされた受信される電気信号(例えば、
図5における526)を計算してよい。CEM720モデルは、シミュレートされた身体要素および環境要素の異なる多くの位置を含んでよく、このようにして、CEM720モデルは、多種多様なジェスチャ、位置、および条件にわたってシミュレートされたラベル付けされたペア722を生成するのに使用されてよい。CEM720モデルは、シミュレートされた身体要素またはシミュレートされた環境要素の動きを含んでよい。CEM720モデルは、多種多様なユーザに適用可能であり得るシミュレートされたラベル付けされたペア722を生成するために、シミュレートされた身体要素の様々なサイズおよび形状を含んでよい。CEM720モデルにおいて、手および指のジェスチャおよび位置は、シミュレートされたEMFが生成される前に知られており、このことは、知られているシミュレートされたジェスチャおよび位置をシミュレートされた受信される信号とペアにすることを可能にする。
【0046】
[0052]
図8は、ニューラルネットワークを訓練するためのプロセスを図示する。訓練サイクルは、ラベル付けされたペア(例えば、
図7の712)またはシミュレートされたラベル付けされたペア(例えば、
図7の722)のセットのなかから特定のサンプル800を選択することから始まってよい。次に、処理された電磁場信号データが、ニューラルネットワーク802の入力層に加えられてよい。次に、ニューラルネットワークが、この入力データに作用し、入力データのニューラルネットワークによって推定された分類であり得る結果を生成する。後続のステップにおいて、ニューラルネットワークによって推定される分類が、ペアにされたサンプルの真の分類ラベルと比較804される。この比較は、ニューラルネットワークが、この訓練サイクルに関して正しいのか、または誤っているのかを判定する。いずれの場合も、次に、ニューラルネットワークを構成するシナプス重みが、この訓練を反映するように更新806されてよい。例において、ネットワーク分類が真のラベルと正しく合致した場合、活性のシナプスは、強化されてよく、ネットワーク分類が誤っている場合、活性のシナプスは、弱められてよい。最後に、いくつかの訓練サイクルにおいて、ネットワークの全体的な精度が評価808されてよい。精度の評価808は、すべての訓練サイクルにおいて実行されなくてもよく、代わりに、所与の数の訓練サイクルの後に実行されてよい。精度評価808は、単一のラベル付けされたペアだけではなく、いくつかのラベル付けされたペアを使用してよく、ニューラルネットワークを過剰適合させるのを回避するために訓練セットの一部ではなかったラベル付けされたペアを使用してよい。精度評価808は、ネットワークがさらなる訓練を要求するかどうかを判定するのに使用されてよい。
【0047】
[0053]動き追跡デバイスは、較正機能を含んでよい。較正機能は、入力信号(
図5における処理された電磁場信号538)を変更してよく、または出力信号(例えば、
図5における指位置546)を変更してよく、または内部パラメータ(例えば、
図5におけるニューラルネットワーク540内のシナプス重み)を変更してよく、またはモーションキャプチャデバイスの他の態様を変更してよい。これらの態様を変更することによって、較正は、特定のユーザに関して、そのユーザの特定の身体形状を所与として、モーションキャプチャデバイスをより正確にするのに役立ち得る。較正手順は、ユーザが、モーションキャプチャデバイスが取り付けられた状態でスクリプト化されたセットのジェスチャおよび指の動きを実行することを備えてよい。次に、モーションキャプチャデバイスが、モーションキャプチャデバイスの態様を変更すべく(例えば、入力信号、出力信号、ニューラルネットワークパラメータ、またはその他の態様を変更すべく)、この知られているスクリプト化されたセットのジェスチャおよび指の動きによって生成される信号を使用してよい。較正手順は、較正手順によって情報を与えられてよい。較正手順は、ユーザがモーションキャプチャデバイスを最初に使用しているとき、ユーザによって実行されてよく、かつその後、モーションキャプチャデバイスによって記憶されてよい。代替として、較正手順は、デバイスがユーザに取り付けられるたびに実行されてよい。較正手順は、モーションキャプチャデバイス上に記憶された較正関係の所定のデータベースを利用してよい。較正関係のデータベースは、ユーザのセットにわたる手の位置およびモーションキャプチャデバイス出力信号を測定するプロセスによって作成されてよく、ユーザのセットは、或る範囲の手のサイズおよび形状(例えば、左、右、大きい、小さい、男性、女性、大人、子供)を有するユーザを備えてよい。
【0048】
[0054]代替の実施形態において、ビーコンリングが、ユーザの手の指上に着用されるように構成されてよい。ビーコンリングは、一意の、または識別可能なEMF相互作用をもたらすように構成された構造体(例えば、共振回路、受動共振器、非線形回路)を含んでよい。ビーコンリングは、受動デバイスであっても、能動デバイスであってもよい。ビーコンリングは、パターン認識計算(例えば、ニューラルネットワーク)を支援するさらなる情報を提供し得る。ビーコンリングは、EMFを識別可能な様態で歪めることによってさらなる情報をもたらすことが可能であり、このことは、空間内のビーコンリング位置を特定する際の後の処理(例えば、ビーム形成)を支援し得る。知られているリング位置は、手の位置を推定するための後の処理(例えば、ニューラルネットワーク)を支援することが可能なさらなる情報をもたらし得る。