知財求人 - 知財ポータルサイト「IP Force」
特表2023-536434融合データを使用するオブジェクトトラッキングのためのシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-08-25
(54)【発明の名称】融合データを使用するオブジェクトトラッキングのためのシステム及び方法
(51)【国際特許分類】
G06F 3/0346 20130101AFI20230818BHJP
G06T 7/00 20170101ALI20230818BHJP
G06T 7/70 20170101ALI20230818BHJP
G06F 3/01 20060101ALI20230818BHJP
【ＦＩ】
G06F3/0346 426
G06T7/00 660Z
G06T7/70 Z
G06F3/01 570
G06F3/0346 425
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023504803
(86)(22)【出願日】2021-07-27
(85)【翻訳文提出日】2023-03-20
(86)【国際出願番号】 US2021043345
(87)【国際公開番号】W WO2022031478
(87)【国際公開日】2022-02-10
(31)【優先権主張番号】16/983,958
(32)【優先日】2020-08-03
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】515046968
【氏名又は名称】メタ プラットフォームズ テクノロジーズ， リミテッド ライアビリティ カンパニー
【氏名又は名称原語表記】ＭＥＴＡ ＰＬＡＴＦＯＲＭＳ ＴＥＣＨＮＯＬＯＧＩＥＳ， ＬＬＣ
(74)【代理人】
【識別番号】110002974
【氏名又は名称】弁理士法人Ｗｏｒｌｄ ＩＰ
(72)【発明者】
【氏名】フォースター， クリスティアン
(72)【発明者】
【氏名】ヤン， チョンユアン
(72)【発明者】
【氏名】ユイ， チー ホー
【テーマコード（参考）】
5B087
5E555
5L096
【Ｆターム（参考）】
5B087AA07
5B087AA09
5B087AB02
5E555AA64
5E555BA08
5E555BA87
5E555BB08
5E555BE16
5E555BE17
5E555CA29
5E555CA44
5E555CB19
5E555CB47
5E555CB48
5E555CB66
5E555DA08
5E555DA09
5E555DD02
5E555EA20
5E555FA00
5L096AA06
5L096BA08
5L096CA04
5L096DA01
5L096FA67
5L096FA69
5L096GA40
5L096HA05
5L096HA11
(57)【要約】
一実施形態では、方法は、ユーザによって装着されたウェアラブルデバイスに実装された１つ以上のカメラを使用して、環境内でコントローラを保持しているユーザの手の少なくとも一部を描写する第１の画像をキャプチャすることと、ユーザの手のポーズを推定するために第１の画像から１つ以上の特徴を識別することと、ユーザの手のポーズ、及びユーザの手とコントローラとの間の相対ポーズを画定する推定されたグリップに基づいて、コントローラの第１のポーズを推定することと、コントローラのＩＭＵデータを受信することと、コントローラのＩＭＵデータを使用してコントローラの第１のポーズを更新することによって、コントローラの第２のポーズを推定することと、を含む。方法は、複数のデータソースを利用して環境の様々な条件下でコントローラをトラッキングし、一貫して正確なコントローラトラッキングを提供する。
【選択図】図２
【選択図】図２
【特許請求の範囲】
【請求項1】
コンピューティングシステムによって、ユーザによって装着されたウェアラブルデバイスに実装された１つ以上のカメラを使用して、環境内でコントローラを保持している前記ユーザの手の少なくとも一部を描写する第１の画像をキャプチャすることと、
前記ユーザの前記手のポーズを推定するために、前記第１の画像から１つ以上の特徴を識別することと、
前記ユーザの前記手の前記ポーズ、及び前記ユーザの前記手と前記コントローラとの間の相対ポーズを画定する推定されたグリップに基づいて、前記コントローラの第１のポーズを推定することと、
前記コントローラの慣性計測ユニット（ＩＭＵ）データを受信することと、
前記コントローラの前記ＩＭＵデータを使用して前記コントローラの前記第１のポーズを更新することによって、前記コントローラの第２のポーズを推定することと、
を含む、方法。
【請求項2】
前記第１の画像が、第１の周波数でキャプチャされ、前記コントローラの前記ＩＭＵデータが、第２の周波数で受信され、前記第２の周波数が、前記第１の周波数よりも高い、請求項１に記載の方法。
【請求項3】
前記ウェアラブルデバイスのポーズを推定するために前記ウェアラブルデバイスのＩＭＵデータを受信することと、前記ウェアラブルデバイスの前記ポーズに基づいて前記ユーザの前記手の前記ポーズを更新することと、をさらに含み、任意選択で、
前記ウェアラブルデバイスの前記ポーズが、前記ウェアラブルデバイスの前記ＩＭＵデータと前記ユーザの前記第１の画像とに基づいて推定される、請求項１又は２に記載の方法。
【請求項4】
前記コントローラの前記更新された第１のポーズと前記コントローラの前記ＩＭＵデータとに基づいて前記手のＩＭＵ予測ポーズを推定することと、前記手の前記ＩＭＵ予測ポーズに基づいて前記手の第２のポーズを推定することと、
任意選択で、前記１つ以上のカメラを使用して前記ユーザの第２の画像をキャプチャすることであって、前記ユーザの前記第２の画像が、前記環境内で前記コントローラを保持している前記ユーザの前記手の少なくとも一部を描写する、前記ユーザの第２の画像をキャプチャすることと、
前記ユーザの前記第２の画像から前記１つ以上の特徴を識別することと、
前記ユーザの前記第２の画像から識別された前記１つ以上の特徴に基づいて前記手の第３のポーズを推定することと、
をさらに含み、さらに任意選択で、
前記手の前記第２のポーズを推定する周波数が、前記手の前記第３のポーズを推定する周波数よりも高い、請求項１から３のいずれか一項に記載の方法。
【請求項5】
前記ウェアラブルデバイスが、前記ユーザの画像をキャプチャするように構成された前記１つ以上のカメラと、
前記ユーザの前記手の前記ポーズを推定するように構成されたハンドトラッキングユニットと、
前記コントローラの前記第２のポーズを推定するように構成されたコントローラトラッキングユニットと、を備える、請求項１から４のいずれか一項に記載の方法。
【請求項6】
前記コントローラの前記第２のポーズを推定することが、前記推定されたグリップと前記環境に対する前記ユーザの前記手の前記推定されたポーズとに基づいて、前記環境に対する前記コントローラのポーズを推定することと、
前記コントローラの前記ＩＭＵデータに基づいて、前記環境に対する前記コントローラの前記ポーズを調整することと、
前記環境に対する前記コントローラの前記調整されたポーズと前記コントローラの前記ＩＭＵとに基づいて、前記手に対する前記コントローラのポーズを推定することと、
前記環境に対する前記コントローラの前記調整されたポーズと前記手に対する前記コントローラの前記推定されたポーズとに基づいて、前記コントローラの前記第２のポーズを推定することと、を含む、請求項１から５のいずれか一項に記載の方法。
【請求項7】
命令を格納する１つ以上のコンピュータ可読非一時的記憶媒体であって、前記命令は、コンピューティングシステムによって実行されると、前記コンピューティングシステムに、ユーザによって装着されたウェアラブルデバイスに実装された１つ以上のカメラを使用して、環境内でコントローラを保持している前記ユーザの手の少なくとも一部を描写する第１の画像をキャプチャすることと、
前記ユーザの前記手のポーズを推定するために、前記第１の画像から１つ以上の特徴を識別することと、
前記ユーザの前記手の前記ポーズ、及び前記ユーザの前記手と前記コントローラとの間の相対ポーズを画定する推定されたグリップに基づいて、前記コントローラの第１のポーズを推定することと、
前記コントローラの慣性計測ユニット（ＩＭＵ）データを受信することと、
前記コントローラの前記ＩＭＵデータを使用して前記コントローラの前記第１のポーズを更新することによって、前記コントローラの第２のポーズを推定することと、をさせる、
１つ以上のコンピュータ可読非一時的記憶媒体。
【請求項8】
前記第１の画像が、第１の周波数でキャプチャされ、前記コントローラの前記ＩＭＵデータが、第２の周波数で受信され、前記第２の周波数が、前記第１の周波数よりも高い、請求項７に記載の媒体。
【請求項9】
ソフトウェアが、コンピューティングシステムによって実行されると、前記コンピューティングシステムに、前記ウェアラブルデバイスのポーズを推定するために前記ウェアラブルデバイスのＩＭＵデータを受信することと、
前記ウェアラブルデバイスの前記ポーズに基づいて前記ユーザの前記手の前記ポーズを更新することと、をさせるようにさらに動作可能であり、任意選択で、
前記ウェアラブルデバイスの前記ポーズが、前記ウェアラブルデバイスの前記ＩＭＵデータと前記ユーザの前記第１の画像とに基づいて推定される、
請求項７又は８に記載の媒体。
【請求項10】
ソフトウェアが、コンピューティングシステムによって実行されると、前記コンピューティングシステムに、前記コントローラの前記更新された第１のポーズと前記コントローラの前記ＩＭＵデータとに基づいて前記手のＩＭＵ予測ポーズを推定することと、
前記手の前記ＩＭＵ予測ポーズに基づいて前記手の第２のポーズを推定することと、
前記１つ以上のカメラを使用して前記ユーザの第２の画像をキャプチャすることであって、前記ユーザの前記第２の画像が、前記環境内で前記コントローラを保持している前記ユーザの前記手の少なくとも一部を描写する、前記ユーザの第２の画像をキャプチャすることと、
前記ユーザの前記第２の画像から前記１つ以上の特徴を識別することと、任意選択で、
前記ユーザの前記第２の画像から識別された前記１つ以上の特徴に基づいて前記手の第３のポーズを推定することと、をさせるようにさらに動作可能である、
請求項７から９のいずれか一項に記載の媒体。
【請求項11】
前記手の前記第２のポーズを推定する周波数が、前記手の前記第３のポーズを推定する周波数よりも高い、請求項１０に記載の媒体。
【請求項12】
前記ウェアラブルデバイスが、前記ユーザの画像をキャプチャするように構成された前記１つ以上のカメラと、
前記ユーザの前記手の前記ポーズを推定するように構成されたハンドトラッキングユニットと、
前記コントローラの前記第２のポーズを推定するように構成されたコントローラトラッキングユニットと、を備える、
請求項７から１１のいずれか一項に記載の媒体。
【請求項13】
前記コントローラの前記第２のポーズを推定することが、前記推定されたグリップと前記環境に対する前記ユーザの前記手の前記推定されたポーズとに基づいて、前記環境に対する前記コントローラのポーズを推定することと、
前記コントローラの前記ＩＭＵデータに基づいて、前記環境に対する前記コントローラの前記ポーズを調整することと、
前記環境に対する前記コントローラの前記調整されたポーズと前記コントローラの前記ＩＭＵとに基づいて、前記手に対する前記コントローラのポーズを推定することと、
前記環境に対する前記コントローラの前記調整されたポーズと前記手に対する前記コントローラの前記推定されたポーズとに基づいて、前記コントローラの前記第２のポーズを推定することと、を含む、
請求項７から１１のいずれか一項に記載の媒体。
【請求項14】
システムであって、１つ以上のプロセッサと、前記プロセッサのうちの１つ以上に結合されており、かつ命令を含む１つ以上のコンピュータ可読非一時的記憶媒体と、を備え、前記命令は、前記プロセッサのうちの前記１つ以上によって実行されると、前記システムに、ユーザによって装着されたウェアラブルデバイスに実装された１つ以上のカメラを使用して、環境内でコントローラを保持している前記ユーザの手の少なくとも一部を描写する第１の画像をキャプチャすることと、
前記ユーザの前記手のポーズを推定するために、前記第１の画像から１つ以上の特徴を識別することと、
前記ユーザの前記手の前記ポーズ、及び前記ユーザの前記手と前記コントローラとの間の相対ポーズを画定する推定されたグリップに基づいて、前記コントローラの第１のポーズを推定することと、
前記コントローラの慣性計測ユニット（ＩＭＵ）データを受信することと、
前記コントローラの前記ＩＭＵデータを使用して前記コントローラの前記第１のポーズを更新することによって、前記コントローラの第２のポーズを推定することと、
をさせるように動作可能である、
システム。
【請求項15】
前記命令が、実行されると、前記ウェアラブルデバイスのポーズを推定するために前記ウェアラブルデバイスのＩＭＵデータを受信することと、
前記ウェアラブルデバイスの前記ポーズに基づいて前記ユーザの前記手の前記ポーズを更新することと、を行うようにさらに動作可能である、請求項１４に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に、オブジェクトトラッキングに関し、より具体的には、特徴推定とセンサデータとの融合に基づくオブジェクトトラッキングのための方法、装置、及びシステムに関する。
【背景技術】
【0002】
ＡＲ／ＶＲデバイスに提供される入力命令は、典型的には、コントローラトラッキング又はハンドトラッキングに基づく。コントローラは、コントローラ上の赤外線（ＩＲ）発光ダイオード（ＬＥＤ）によって形成された既知のパターンを使用してトラッキングされ、コントローラ上のボタンを介して環境内の特定の位置に命令を入力することができる。手の特徴をトラッキングすることによって、手のジェスチャによって入力命令を行うこともできる。例えば、ユーザは、手のスワイプジェスチャをトラッキングすることによって仮想書籍のページをめくることができる。しかしながら、コントローラトラッキングは、必要とされる追加のハードウェア、例えば、閉塞又は他の光源によって干渉されることがあるコントローラ上のＩＲカメラ及びＩＲ ＬＥＤライトのために、よりコストがかかり、ハンドトラッキングは、確度が低い。
【発明の概要】
【0003】
上記の問題に対処するために、コントローラからの慣性計測ユニット（ＩＭＵ）データに基づいて、手のグリップを推定し、手のグリップを調整することによって、コントローラをトラッキングする方法、装置、及びシステムが開示される。本開示は、コントローラ中にＬＥＤを実装することなく（例えば、ＬＥＤライトのパターンをトラッキングすることなく）コントローラをトラッキングする方法を提供し、その結果、本出願で開示される方法は、コントローラをトラッキングするための費用効率の高い正確な方法を提供する。本出願で開示される方法は、ユーザの手のキャプチャされた画像から識別された特徴トラッキングに基づいてユーザの手のグリップを推定し、次いで、ユーザの手の推定されたグリップを使用してコントローラのポーズを推定し得る。さらに、本出願の方法は、コントローラのＩＭＵデータを受信して、コントローラの推定されたポーズを調整し、より速い周波数でコントローラの最終ポーズを提供し得る。
【0004】
なお、本明細書に開示される実施形態は一例にすぎず、本開示の範囲はこれらに限定されない。特定の実施形態は、本明細書に開示される実施形態の構成要素、要素、特徴、機能、動作、又はステップの全てを含むか、一部を含むか、又はいずれも含まない場合がある。
【0005】
本発明の一態様によれば、コンピューティングシステムによる方法であって、ユーザによって装着されたウェアラブルデバイスに実装された１つ以上のカメラを使用して、環境内でコントローラを保持しているユーザの手の少なくとも一部を描写する第１の画像をキャプチャすることと、第１の画像から１つ以上の特徴を識別して、ユーザの手のポーズを推定することと、ユーザの手のポーズ、及びユーザの手とコントローラとの間の相対ポーズを画定する推定されたグリップに基づいて、コントローラの第１のポーズを推定することと、コントローラのＩＭＵデータを受信することと、コントローラのＩＭＵデータを使用してコントローラの第１のポーズを更新することによって、コントローラの第２のポーズを推定することと、を含む方法が提供される。
【0006】
第１の画像は、第１の周波数でキャプチャされ得、コントローラのＩＭＵデータが、第２の周波数で受信され、第２の周波数が、第１の周波数よりも高い。
【0007】
方法は、ウェアラブルデバイスのポーズを推定するためにウェアラブルデバイスのＩＭＵデータを受信することと、ウェアラブルデバイスのポーズに基づいてユーザの手のポーズを更新することと、をさらに含み得る。
【0008】
ウェアラブルデバイスのポーズは、ウェアラブルデバイスのＩＭＵデータとユーザの第１の画像とに基づいて推定され得る。
【0009】
方法は、コントローラの更新された第１のポーズとコントローラのＩＭＵデータとに基づいて手のＩＭＵ予測ポーズを推定することと、手のＩＭＵ予測ポーズに基づいて手の第２のポーズを推定することと、をさらに含み得る。
【0010】
方法は、１つ以上のカメラを使用してユーザの第２の画像をキャプチャすることであって、ユーザの第２の画像が、環境内でコントローラを保持しているユーザの手の少なくとも一部を描写する、キャプチャすることと、ユーザの第２の画像から１つ以上の特徴を識別することと、ユーザの第２の画像から識別された１つ以上の特徴に基づいて手の第３のポーズを推定することと、をさらに含み得る。
【0011】
手の第２のポーズを推定する周波数は、手の第３のポーズを推定する周波数よりも高くてもよい。
【0012】
ウェアラブルデバイスは、ユーザの画像をキャプチャするように構成された１つ以上のカメラと、ユーザの手のポーズを推定するように構成されたハンドトラッキングユニットと、コントローラの第２のポーズを推定するように構成されたコントローラトラッキングユニットと、を備え得る。
【0013】
コントローラの第２のポーズを推定することは、推定されたグリップと環境に対するユーザの手の推定されたポーズとに基づいて、環境に対するコントローラのポーズを推定することと、コントローラのＩＭＵデータに基づいて、環境に対するコントローラのポーズを調整することと、環境に対するコントローラの調整されたポーズとコントローラのＩＭＵとに基づいて、手に対するコントローラのポーズを推定することと、環境に対するコントローラの調整されたポーズと手に対するコントローラの推定されたポーズとに基づいて、コントローラの第２のポーズを推定することと、を含み得る。
【0014】
本発明の一態様によれば、ソフトウェアを具現化する１つ以上のコンピュータ可読非一時的記憶媒体であって、ソフトウェアが、実行されたとき、ユーザによって装着されたウェアラブルデバイスに実装された１つ以上のカメラを使用して、環境内でコントローラを保持しているユーザの手の少なくとも一部を描写する第１の画像をキャプチャすることと、ユーザの手のポーズを推定するために、第１の画像から１つ以上の特徴を識別することと、ユーザの手のポーズ、及びユーザの手とコントローラとの間の相対ポーズを画定する推定されたグリップに基づいて、コントローラの第１のポーズを推定することと、コントローラの慣性計測ユニット（ＩＭＵ）データを受信することと、コントローラのＩＭＵデータを使用してコントローラの第１のポーズを更新することによって、コントローラの第２のポーズを推定することと、を行うように動作可能である、ソフトウェアを具現化する１つ以上のコンピュータ可読非一時的記憶媒体が提供される。
【0015】
第１の画像は、第１の周波数でキャプチャされ得、コントローラのＩＭＵデータが、第２の周波数で受信され、第２の周波数が、第１の周波数よりも高い。
【0016】
ソフトウェアは、実行されると、ウェアラブルデバイスのポーズを推定するためにウェアラブルデバイスのＩＭＵデータを受信することと、ウェアラブルデバイスのポーズに基づいてユーザの手のポーズを更新することと、をさらに動作させることができ得る。
【0017】
ウェアラブルデバイスのポーズは、ウェアラブルデバイスのＩＭＵデータとユーザの第１の画像とに基づいて推定され得る。
【0018】
ソフトウェアは、実行されると、コントローラの更新された第１のポーズとコントローラのＩＭＵデータとに基づいて手のＩＭＵ予測ポーズを推定することと、手のＩＭＵ予測ポーズに基づいて手の第２のポーズを推定することと、をさらに動作させることができ得る。
【0019】
ソフトウェアは、実行されると、１つ以上のカメラを使用してユーザの第２の画像をキャプチャすることであって、ユーザの第２の画像が、環境内でコントローラを保持しているユーザの手の少なくとも一部を描写する、キャプチャすることと、ユーザの第２の画像から１つ以上の特徴を識別することと、ユーザの第２の画像から識別された１つ以上の特徴に基づいて手の第３のポーズを推定することと、をさらに動作させることができ得る。
【0020】
手の第２のポーズを推定する周波数は、手の第３のポーズを推定する周波数よりも高くてもよい。
【0021】
ウェアラブルデバイスは、ユーザの画像をキャプチャするように構成された１つ以上のカメラと、ユーザの手のポーズを推定するように構成されたハンドトラッキングユニットと、コントローラの第２のポーズを推定するように構成されたコントローラトラッキングユニットと、を備え得る。
【0022】
コントローラの第２のポーズを推定することは、推定されたグリップと環境に対するユーザの手の推定されたポーズとに基づいて、環境に対するコントローラのポーズを推定することと、コントローラのＩＭＵデータに基づいて、環境に対するコントローラのポーズを調整することと、環境に対するコントローラの調整されたポーズとコントローラのＩＭＵとに基づいて、手に対するコントローラのポーズを推定することと、環境に対するコントローラの調整されたポーズと手に対するコントローラの推定されたポーズとに基づいて、コントローラの第２のポーズを推定することと、を含み得る。
【0023】
本発明の一態様によれば、１つ以上のプロセッサと、プロセッサのうちの１つ以上に結合されており、かつプロセッサのうちの１つ以上によって実行されたときに動作可能である命令を含む、１つ以上のコンピュータ可読非一時的記憶媒体と、を備えるシステムであって、命令が、システムに、ユーザによって装着されたウェアラブルデバイスに実装された１つ以上のカメラを使用して、環境内でコントローラを保持しているユーザの手の少なくとも一部を描写する第１の画像をキャプチャすることと、ユーザの手のポーズを推定するために、第１の画像から１つ以上の特徴を識別することと、ユーザの手のポーズ、及びユーザの手とコントローラとの間の相対ポーズを画定する推定されたグリップに基づいて、コントローラの第１のポーズを推定することと、コントローラの慣性計測ユニット（ＩＭＵ）データを受信することと、コントローラのＩＭＵデータを使用してコントローラの第１のポーズを更新することによって、コントローラの第２のポーズを推定することと、をさせる、システムが提供される。
【0024】
命令は、実行されると、ウェアラブルデバイスのポーズを推定するためにウェアラブルデバイスのＩＭＵデータを受信することと、ウェアラブルデバイスのポーズに基づいてユーザの手のポーズを更新することと、をさらに動作させることができ得る。
【0025】
本発明による実施形態は、特に、方法、ストレージ媒体、システム、及びコンピュータプログラム製品を対象とする添付の特許請求の範囲に開示されており、１つの請求項カテゴリ、例えば方法で言及された任意の特徴は、別の請求項カテゴリ、例えばシステムでも同様に特許請求され得る。添付の特許請求の範囲における従属性又は参照は、形式的な理由のみのために選択される。しかしながら、任意の先行する請求項への意図的な参照から生じる任意の主題（特に、複数の従属性）も同様に特許請求され得、その結果、請求項及びその特徴の任意の組合せが開示され、添付の特許請求の範囲で選択された従属性に関係なく特許請求され得る。特許請求され得る主題は、添付の特許請求の範囲に記載された特徴の組合せだけでなく、特許請求の範囲で言及された各特徴を特許請求の範囲の任意の他の特徴又は他の特徴の組合せと組み合わせることができる、特許請求の範囲の特徴の任意の他の組合せも含む。さらに、本明細書に記載又は描写された実施形態及び特徴のいずれも、別個の請求項、及び／又は本明細書に記載若しくは図示された任意の実施形態若しくは特徴と、又は添付の特許請求の範囲の特徴とのうちのいずれかとの任意の組合せで特許請求され得る。
【0026】
本開示のある特定の態様及びそれらの実施形態は、これら又は他の課題に対する解決策を提供し得る。本明細書では、本明細書に開示される１つ以上の問題に対処する様々な実施形態が提案される。本開示に開示される方法は、グリップの推定及びコントローラのＩＭＵデータに基づいてコントローラのポーズを推定及び調整する、コントローラのためのトラッキング方法を提供し得る。さらに、環境及びユーザの手に対するコントローラのポーズに基づいて、本出願で開示される方法はまた、次のフレームにおけるユーザの手の探索範囲を減少させるためにユーザの手のＩＭＵ予測ポーズを提供し得る。したがって、本出願に開示される特定の実施形態は、コントローラを費用効率高くトラッキングし（例えば、ＬＥＤを設置する必要がない）、トラッキングタスクを実行するためのプロセス時間を改善し得る。
【0027】
本開示の特定の実施形態は、人工現実システムを含むか、又は人工現実システムとともに実装され得る。人工現実は、ユーザに提示される前に何らかの方法で調整された現実味のある形態であり、例えば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、又はそれらの何らかの組合せ及び／若しくは派生物を含み得る。人工現実コンテンツは、完全に生成されたコンテンツ又はキャプチャされたコンテンツ（例えば、現実世界の写真）と組み合わされた生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、又はそれらの何らかの組合せを含み得、それらのうちのいずれも、単一のチャネル又は複数のチャネル（視聴者に三次元効果をもたらすステレオビデオなど）で提示され得る。さらに、いくつかの実施形態では、人工現実は、例えば、人工現実でコンテンツを作成するために使用される、及び／又は人工現実で使用される（例えば、人工現実内で活動を行う）アプリケーション、製品、アクセサリ、サービス、又はそれらの何らかの組合せに関連付けられ得る。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、スタンドアロンＨＭＤ、モバイルデバイス若しくはコンピューティングシステム、又は人工現実コンテンツを１人以上の視聴者に提供することができる任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上に実装され得る。
【0028】
なお、本明細書に開示される実施形態は一例にすぎず、本開示の範囲はこれらに限定されない。特定の実施形態は、上記で開示された実施形態の構成要素、要素、特徴、機能、動作、又はステップの全てを含むか、一部を含むか、又はいずれも含まない場合がある。本発明による実施形態は、特に、方法、ストレージ媒体、システム、及びコンピュータプログラム製品を対象とする添付の特許請求の範囲に開示されており、１つの請求項カテゴリ、例えば方法で言及された任意の特徴は、別の請求項カテゴリ、例えばシステムでも同様に特許請求され得る。添付の特許請求の範囲における従属性又は参照は、形式的な理由のみのために選択される。しかしながら、任意の先行する請求項への意図的な参照から生じる任意の主題（特に、複数の従属性）も同様に特許請求され得、その結果、請求項及びその特徴の任意の組合せが開示され、添付の特許請求の範囲で選択された従属性に関係なく特許請求され得る。特許請求され得る主題は、添付の特許請求の範囲に記載された特徴の組合せだけでなく、特許請求の範囲で言及された各特徴を特許請求の範囲の任意の他の特徴又は他の特徴の組合せと組み合わせることができる、特許請求の範囲の特徴の任意の他の組合せも含む。さらに、本明細書に記載又は描写された実施形態及び特徴のいずれも、別個の請求項、及び／又は本明細書に記載若しくは図示された任意の実施形態若しくは特徴と、又は添付の特許請求の範囲の特徴とのうちのいずれかとの任意の組合せで特許請求され得る。
【0029】
本明細書に組み込まれ、かつ本明細書の一部を形成する添付の図面は、本開示のいくつかの態様を示し、説明とともに本開示の原理を説明するのに役立つ。
【図面の簡単な説明】
【0030】
【図1A】コントローラのトラッキングシステムの例示的な図を示す。
【図1B】コントローラのトラッキングシステムの例示的な図を示す。
【図2】融合センサデータを使用するトラッキングシステムアーキテクチャの例示的な図を示す。
【図3】中央モジュールと、コントローラをトラッキングするためのコントローラモジュールと、を備えるトラッキングシステムの例示的な図を示す。
【図4】中央モジュールと、コントローラモジュールと、コントローラをローカル又はグローバルにトラッキングするためのリモートサーバと、を備えるトラッキングシステムの例示的な図を示す。
【図5】ユーザの手の特徴トラッキングとコントローラのＩＭＵデータとを融合することによって、コントローラのポーズの調整をトラッキングするための方法の一実施形態を示す。
【図6】例示的なコンピュータシステムを示す。
【発明を実施するための形態】
【0031】
現在のＡＲ／ＶＲデバイスは、一般に、ＡＲ／ＶＲデバイスのための命令を入力するための簡単で直感的な方法をユーザに提供するために、ポータブル／ウェアラブルデバイス（例えば、コントローラ）とペアリングされる。コントローラは、通常、ユーザがコントローラを介してある特定の機能を実行し得るように、コントローラのポーズを推定するため、かつ／又はコントローラの位置をトラッキングするために、ＡＲ／ＶＲデバイス用の少なくとも１つの慣性計測ユニット（ＩＭＵ）及び赤外線（ＩＲ）発光ダイオード（ＬＥＤ）を装備する。例えば、ユーザは、コントローラを使用して、部屋の隅に視覚的オブジェクトを表示し得る。しかしながら、ＬＥＤを装備することは、コントローラの製造コストを増加させ、ＬＥＤ光のパターンを決定することによってコントローラをトラッキングすることは、ある特定の環境条件下で干渉を受ける可能性がある。また、完全に特徴トラッキングに依存してコントローラをトラッキングすると、不正確になる可能性がある。本開示に開示される特定の実施形態は、ユーザの手の特徴トラッキングデータとコントローラのＩＭＵデータとを融合することによって、コントローラのポーズを推定する方法を提供する。
【0032】
さらに、本開示に開示される特定の実施形態は、手の推定されたグリップとコントローラのＩＭＵデータとの融合に基づいてユーザの手のＩＭＵ予測ポーズを提供して、次のフレームにおけるハンドトラッキングを容易にし得る。コントローラのＩＭＵデータを利用して手のグリップを調整することにより、コントローラのポーズをより頻繁に更新して、効率的で正確なトラッキングを維持することができる。本開示に開示される特定の実施形態は、効率的かつ低コストで、視覚慣性オドメトリ（ＶＩＯ）ベースの同時位置特定及びマッピング（ＳＬＡＭ）トラッキングシステムなどの任意の種類のトラッキングシステムに適用され得る。
【0033】
図１Ａ～図１Ｂは、ある特定の実施形態による、コントローラをトラッキングするための例示的なトラッキングシステムを示している。図１Ａにおいて、トラッキングシステム１００は、中央モジュール（図示せず）及びコントローラモジュール１１０（例えば、コントローラ）を備える。中央モジュールは、カメラと、環境内のコントローラモジュール１１０をトラッキングするための少なくとも１つのプロセッサと、を備える。特定の実施形態では、中央モジュールは、トラッキングされるオブジェクト（例えば、コントローラモジュール１１０によって実装されたコントローラ）の画像をキャプチャするために、ヘッドマウントデバイスなどのウェアラブルデバイスに実装され得る。例えば、カメラを有するウェアラブルデバイスは、オブジェクトのインサイド・アウトトラッキング（例えば、ＳＬＡＭ）を実行し得る。特定の実施形態では、トラッキングされるオブジェクトはまた、環境内に実装／固定された１つ以上のカメラ、例えば、アウトサイド・イントラッキングによってトラッキングされ得る。
【0034】
中央モジュールのカメラは、ユーザの手の少なくとも一部を描写する第１のフレーム１２０をキャプチャし得る。より具体的には、第１のフレーム１２０は、コントローラモジュール１１０を保持しているユーザの手の少なくとも一部を描写する。中央モジュールは、第１のフレーム１２０からユーザの手の少なくとも一部の１つ以上の特徴１２２、１２４、１２６を識別し得る。特定の実施形態では、第１のフレーム１２０は、コントローラモジュール１１０を保持しているユーザの手を少なくとも描写する１つ以上の特徴を備え得る。図１Ｂにおいて、コントローラモジュール１１０は、ユーザが保持するためのハンドル１１２を備える。中央モジュールは、ユーザの手のポーズを推定するために使用され得るユーザの手の特徴１２２、１２４、１２６を識別する。例えば、手の人差し指と親指とで囲まれた空間がコントローラ１１０と重なる領域１２２、コントローラ１１０を保持しているユーザの手を表す手１２４の尺骨縁、及び指先及びコントローラ１１０を含む領域１２６。第１のフレーム１２０からの識別された特徴１２２、１２４、１２６は、ユーザの手のポーズ／位置を推定するために使用され得る。さらに、ユーザの手のポーズが使用されて、ユーザの手のグリップを推定し得る。例えば、ユーザの手のポーズは、ユーザのハンドジェスチャを表すユーザの手のスケルトン／基本的な幾何学的形状であり得る。ユーザの手の推定されたグリップは、ユーザの手とコントローラモジュール１１０との間の相対ポーズを画定するユーザの手の推定されたグリップに基づいて、コントローラモジュール１１０のポーズを推定するために利用され得る。
【0035】
コントローラモジュール１１０は、コントローラモジュール１１０がＩＭＵデータを中央モジュールに提供して、コントローラモジュール１１０の推定されたポーズを更新／調整し得るように、少なくとも１つのＩＭＵを備える。コントローラモジュール１１０は、ユーザ及びコントローラモジュール１１０のフレームを取得する中央モジュールの周波数よりも速い周波数でＩＭＵデータを提供し得る。例えば、中央モジュールは、コントローラモジュール１１０を保持しているユーザの第２のフレーム１３０をキャプチャし、特徴１２２、１２４、１２６又は第２のフレーム１３０からユーザの手のポーズを推定するために使用することができる任意の他の潜在的な特徴を識別し得る。中央モジュールが第２のフレーム１３０内の識別された特徴に基づいてユーザの手の更新されたポーズを推定する前に、中央モジュールは、コントローラモジュール１１０の受信ＩＭＵデータを使用して、第１のフレーム１２０から推定された手のグリップに基づいて推定されたコントローラモジュール１１０の推定されたポーズを調整し得る。特定の実施形態では、中央モジュールは、コントローラモジュール１１０のポーズを推定するために、（例えば、キャプチャされたフレームに基づいて）３０Ｈｚの周波数でユーザの手のポーズを提供／更新し得、コントローラモジュール１１０は、コントローラモジュール１１０のポーズが、コントローラモジュール１１０のＩＭＵデータに基づいて、より速い周波数でトラッキング／調整されて、コントローラモジュール１１０をトラッキングする確度及び効率を維持することができるように、コントローラモジュール１１０の推定されたポーズを更新するために中央モジュールへ５００Ｈｚの周波数でＩＭＵデータを提供し得る。特定の実施形態では、中央モジュールは、必要に応じて、いずれかのトラッキング結果（例えば、特徴トラッキング又はＩＭＵトラッキング）に基づいてコントローラのポーズを出力し得る。
【0036】
特定の実施形態では、キャプチャされたフレームは、ユーザの手のポーズを推定するために使用することができる少なくとも１つの特徴を備えると識別される可視光画像であり得る。可視光画像は、ＲＧＢ画像、ＣＭＹＫ画像、グレースケール画像、又はユーザの手のポーズを推定するための任意の好適な画像であり得る。特定の実施形態では、キャプチャされたフレーム１２０、１３０からの識別された特徴１２２、１２４、１２６は、仮想／拡張環境での再生のためのコントローラモジュール１１０（例えば、コントローラモジュール１１０の対応データ）の動き、向き、及び／又は空間位置を判定するために、中央モジュールのカメラによって正確にトラッキングされるように構成されている。特定の実施形態では、コントローラモジュール１１０の推定されたポーズは、フレーム（例えば、第１のフレーム１２０及び第２のフレーム１３０）間の識別された特徴１２２、１２４、１２６に基づいて判定された空間的移動（Ｘ－Ｙ－Ｚ位置決め移動）によって調整され得る。例えば、中央モジュールは、フレームｋ＋１、例えば動作中にキャプチャされたフレーム内のユーザの手の更新された空間位置を判定し、それをフレームｋ、例えば以前にキャプチャされた、又はストレージに格納されたフレーム内のユーザの手の以前の空間位置と比較して、ユーザの手のポーズを再調整し得る。コントローラモジュールをトラッキングするために中央モジュールで実行される詳細な動作及びアクションは、図２～図５でさらに説明され得る。
【0037】
図２は、ある特定の実施形態による、中央モジュール及びコントローラモジュールを備える例示的なトラッキングシステム２００を示している。トラッキングシステム２００は、ユーザによって装着されるヘッドセットに実装された中央モジュールと、ユーザによって保持されるコントローラに実装されたコントローラモジュールと、を備える。特定の実施形態では、ユーザは、各手に対してヘッドセットとペアリングされた２つのコントローラを有し得る。ヘッドセットは、少なくとも１つのカメラと、少なくとも１つのＩＭＵと、コントローラをトラッキングするための命令を処理するように構成された少なくとも１つのプロセッサと、を備える。さらに、コントローラは、コントローラのＩＭＵデータをヘッドセットの中央モジュールに提供するように構成された少なくとも１つのＩＭＵと、ヘッドセットから送信された命令／較正を処理するように構成された少なくとも１つのプロセッサと、を備える。
【0038】
ヘッドセットのカメラは、環境内のユーザ及びコントローラ２０２の１つ以上の画像をキャプチャし、機械学習又は深層学習を介してハンドトラッキング２０４のために画像２０２からユーザの手の１つ以上の特徴を識別する。ユーザの手のポーズを推定／判定するために使用することができる識別された特徴に基づいて、ヘッドセットのプロセッサは、識別された特徴に基づいてユーザの手のポーズ及び／又はユーザの手の位置を推定し得る。特定の実施形態では、ユーザの手のポーズは、一連の画像にわたって識別された反復特徴に基づいて推定され得る。特定の実施形態では、ヘッドセットのプロセッサは、ハンドトラッキング２０４の結果に基づいて、環境２０６に対するユーザの手のポーズを推定し得る。
【0039】
特定の実施形態では、ヘッドセット２０８のＩＭＵはまた、ヘッドセットのＩＭＵデータをヘッドセットのプロセッサに提供し得、ヘッドセットのプロセッサは、ヘッドセットのＩＭＵデータに基づいて、インサイド・アウトトラッキング２１０を介して環境２１２に対するヘッドセットのポーズを推定し得る。特定の実施形態では、ヘッドセットのプロセッサは、ヘッドセットのＩＭＵデータ及びカメラ画像２０２に基づいて、インサイド・アウトトラッキング２１０を介して環境２１２に対するヘッドセットのポーズを推定し得る。例えば、ヘッドセットのＩＭＵデータは、環境内のヘッドセットのポーズを算出するために、ヘッドセットの角速度、加速度、及び動きの情報を提供し得る。さらに、ヘッドセットのプロセッサは、環境２１２に対するヘッドセットのポーズを利用して、ハンドトラッキング２０４を容易にし得る。例えば、環境２１２に対するヘッドセットのポーズは、環境２１２に対するヘッドセットのポーズ／位置を環境内のユーザ及びコントローラ２０２の画像と比較してユーザの手のポーズを調整／推定することによって、ハンドトラッキング２０４を容易にするために供給され得る。
【0040】
次いで、ヘッドセットのプロセッサは、ユーザの手２０６の推定されたポーズに基づいてユーザの手２１４のグリップを推定し、ユーザの手２１４の推定されたグリップに基づいて環境２１６に対するコントローラのポーズを推定し得る。例えば、ヘッドセットのプロセッサは、ユーザの手のポーズ（ユーザの手からの識別された特徴を含む）を使用して、ユーザの手のジェスチャ／ポーズの逆に基づいて、ヘッドセットのプロセッサがコントローラのポーズを生成し得るように、コントローラを保持しているジェスチャを表すユーザの手を推定し得る。
【0041】
さらに、コントローラのＩＭＵは、データ融合２１８のためにコントローラ２２０のＩＭＵデータをヘッドセットに提供して、ユーザの手のグリップに基づいて推定されたコントローラのポーズを調整する。データ融合ユニット２１８は、ＩＭＵデータを利用して、コントローラユニット２２２のＩＭＵ予測ポーズを算出し得る。コントローラユニット２２２のＩＭＵ予測ポーズは、環境に対するコントローラのポーズを調整し、かつユーザの手２１４の逆グリップを推定するためにグリップ推定器ユニット２１４によって利用され得、逆グリップは、コントローラの調整されたポーズのポーズに基づいてユーザの手２１４のポーズを推測する。特定の実施形態では、コントローラ２２４の最終ポーズは、ヘッドセットの動作／必要性に基づいて提供され得る。例えば、コントローラ２２４の最終ポーズは、２つのキャプチャされたフレームの間（例えば、グリップの次の推定の前）で推定され得る。一方、コントローラ２２４の最終ポーズは、ＩＭＵ調整グリップ、例えばコントローラの受信ＩＭＵデータによって調整された、推定されたグリップに基づいて推定されることもあり得る。ヘッドセットのプロセッサは、省電力の要求又は要望に基づいて、ある特定の周波数におけるコントローラ２２４の最終ポーズを推定し得る。
【0042】
加えて、データ融合２１８によって提供されたデータに基づいて、ヘッドセットのプロセッサは、コントローラ２２２のＩＭＵ予測ポーズに基づいて手２２６のＩＭＵ予測ポーズを提供し、ハンドトラッキング２０４を容易にするために手２２６のＩＭＵ予測ポーズを使用し得る。例えば、コントローラ２２２のＩＭＵ予測ポーズは、より速い周波数（例えば、５００Ｈｚ～１ｋＨｚ）で提供されて、２つのフレーム間のギャップを埋めることができる。逆グリップ推定をコントローラ２２２のＩＭＵ予測ポーズに適用することにより、ヘッドセットは、手２２６のＩＭＵ予測ポーズを生成することができる。手２２６のＩＭＵ予測ポーズは、ハンドトラッキング２０４の処理時間を改善するために、次のフレームにおける手の探索範囲を縮小するために使用することができる。
【0043】
図３は、ある特定の実施形態による、中央モジュール３１０及びコントローラモジュール３４０を備えるトラッキングシステム３００の例示的な図を示している。中央モジュール３１０は、カメラ３１２、ＩＭＵ３１４、手及びヘッドセットトラッキングユニット３１６、並びに環境内のコントローラモジュール３４０のトラッキング／調整を実行するためのコントローラトラッキングユニット３１８を備える。中央モジュール３１０は、コントローラモジュール３４０を介してある特定の機能を実行するためにコントローラモジュール３４０とペアリングされている。コントローラモジュール３４０は、中央モジュール３１０にコントローラモジュール３４０をトラッキングするためのＩＭＵデータ３４４を提供するように構成された、少なくとも１つのＩＭＵ３４２を備える。特定の実施形態では、コントローラモジュール３４０は、対応するモジュールの予測、例えばコントローラモジュール３４０の対応データを計算するために、ＩＭＵデータ３４４をコントローラトラッキングユニット３１８に送信する。特定の実施形態では、中央モジュール３４０は、コントローラモジュール３４０のＩＭＵデータ３４４に基づいて、５００Ｈｚ～１ｋＨｚの周波数でコントローラモジュール３４０のポーズを計測する。
【0044】
動作中のコントローラモジュール３４０のポーズを生成／推定するために、中央モジュール３１０のカメラ３１２は、コントローラモジュール３４０がコントローラモジュール３４０をトラッキングするためのカメラの視野（ＦＯＶ）範囲内にあるときに、画像又は一連の画像３２０をキャプチャし得る。特定の実施形態では、画像３２０は、コントローラモジュール３４０を保持しているユーザの手の少なくとも一部を示している。中央モジュール３１０のカメラ３１２は、画像３２０から識別された特徴に基づいてユーザの手のポーズを推定するために、ハンド／ヘッドセットトラッキングユニット３１６に画像３２０を送信する。
【0045】
ハンド／ヘッドセットトラッキングユニット３１６は、機械学習、深層学習、又は任意の好適な計算方法を介して画像３２０からユーザの手の１つ以上の特徴を識別する。ユーザの手３２４のポーズを推定／判定するために使用することができる識別された特徴に基づいて、中央モジュール３１０のハンド／ヘッドセットトラッキングユニット３１６は、ユーザの手の識別された特徴に基づいて、ユーザの手３２４のポーズ及び／又は環境内のユーザの手の位置を推定する。特定の実施形態では、ユーザの手３２４のポーズは、一連の画像にわたって識別された反復特徴に基づいて推定され得る。中央モジュール３１０のハンド／ヘッドセットトラッキングユニット３１６は、処理能力又は要件に基づく周波数でユーザの手３２４のポーズを推定する。特定の実施形態では、中央モジュール３１０のハンド／ヘッドセットトラッキングユニット３１６は、３０Ｈｚの周波数でユーザの手３２４のポーズを推定する。
【0046】
特定の実施形態では、中央モジュール３１０のＩＭＵ３１４はまた、ヘッドセットのポーズの推定を容易にするためにハンド／ヘッドセットトラッキングユニット３１６にＩＭＵデータ３２２を送信する。例えば、ハンド／ヘッドセットトラッキングユニット３１６は、中央モジュール３１０のポーズを推定するためにインサイド・アウトトラッキングを実行し得る。画像３２０（環境内のコントローラモジュール３４０を含む）及び中央モジュール３１６のＩＭＵデータ３２２に基づいて、中央モジュール３１０のハンド／ヘッドセットトラッキングユニット３１６は、中央モジュール３１０のポーズを推定し得、その結果、ユーザの手３２４の推定されたポーズ（画像３２０に基づいて推定された）は、中央モジュール３１０のポーズ（例えば、環境内のユーザの手に対する中央モジュール３１０の位置）によって調整され得る。
【0047】
中央ユニット３１０のハンド／ヘッドセットトラッキングユニット３１６は、コントローラトラッキングのために、ユーザの手３２４のポーズをコントローラトラッキングユニット３１８に送信する。コントローラトラッキングユニット３１８は、ユーザの手のグリップを推定するように構成されたグリップ推定ユニット３２６と、グリップ推定ユニット３２６から送信されたデータとコントローラモジュール３４０から送信されたデータとを融合／統合するように構成されたデータ融合ユニット３２８と、を備える。
【0048】
コントローラトラッキングユニット３１８のグリップ推定ユニット３２６は、ハンド／ヘッドセットトラッキングユニット３１６からユーザの手３２４のポーズを受信し、ユーザの手３２４のポーズに基づいてユーザの手のグリップを推定する。さらに、グリップ推定ユニット３２６は、ユーザの手のグリップに基づいて、コントローラモジュール３４０のポーズを推定する。例えば、ユーザの手３２４のポーズは、コントローラモジュール３４０を保持しているユーザのジェスチャを明らかにし得る。したがって、ユーザの手３２４のポーズに基づいて、グリップ推定ユニット３２６は、ユーザの手のグリップを推定し、次いで、ユーザの手とコントローラモジュール３４０との間の相対ポーズを画定するユーザの手のグリップに基づいて、環境３３０に対するコントローラモジュールのポーズを推定し得る。さらに、グリップ推定ユニット３２６は、環境３３０に対するコントローラのポーズをデータ融合ユニット３２８に送信する。
【0049】
コントローラトラッキングユニット３１８のデータ融合ユニット３２８は、中央モジュール３１０内のコントローラトラッキングモジュール３１８のグリップ推定ユニット３２６から環境３３０に対するコントローラのポーズを受信し、さらにコントローラモジュール３４０からＩＭＵデータ３４４を受信する。データ融合ユニット３２８は、環境３３０に対するコントローラモジュールのポーズをコントローラモジュール３４０のＩＭＵデータ３４４と統合して、中央モジュール３１０がコントローラモジュール３４０を介して対応する命令を正確に実行するためのコントローラモジュールの調整された／最終ポーズを出力し得る。特定の実施形態では、データ融合ユニット３２８は、中央モジュール３１０の要求又は処理速度に基づく周波数でコントローラモジュールの調整されたポーズを出力し得る。特定の実施形態では、データ融合ユニット３２８は、コントローラモジュール３３０からＩＭＵデータ３４４を受信したときにグリップ推定ユニット３２６から送信されたコントローラモジュール３４０のポーズをデータ融合ユニット３２８が更新することができるため、３０Ｈｚなどのユーザの手のポーズを推定する周波数よりも速い周波数でコントローラモジュールの調整されたポーズを出力し得る。
【0050】
さらに、データ融合ユニット３２８はまた、グリップ推定ユニット３２６が、キャプチャされたフレームに基づいて推定されたコントローラモジュール３４０のポーズを調整し得るように、コントローラモジュール３４０のＩＭＵデータ３４４に基づくコントローラユニット３３２のＩＭＵ予測ポーズをグリップ推定ユニット３２６に提供し得る。グリップ推定ユニット３２６は、ハンドトラッキングのプロセスを容易にするために、コントローラモジュール３４０のＩＭＵデータ３４４に基づくユーザの手３４６のＩＭＵ予測ポーズをハンドトラッキングユニット３１６に提供し得る。ユーザの手３４６のＩＭＵ予測ポーズにより、ハンドトラッキングユニット３１６は、次のキャプチャされたフレーム内の予測された範囲内のユーザの手の特徴を識別し得、その結果、ハンドトラッキングユニット３１６は、より少ないプロセス時間でハンドトラッキングを完了し得る。
【0051】
さらに、中央モジュール３１０はまた、ユーザ／コントローラモジュール３４０の状態を生成すること、ユーザ／コントローラモジュール３４０をローカル若しくはグローバルに位置付けすること、及び／又はコントローラモジュール３４０を介して環境内に仮想タグ／オブジェクトをレンダリングすることなどの、広範なサービス及び機能を実施するために、識別された特徴を含むこれらのキャプチャされた画像３２０を利用し得る。特定の実施形態では、中央モジュール３１０はまた、ユーザの状態を生成するのを支援するためにＩＭＵデータ３２２を使用し得る。特定の実施形態では、中央モジュール３１０は、キャプチャされた画像３２０に基づいて環境内のコントローラモジュール３４０に対するユーザの状態情報を使用して、環境内に仮想オブジェクトを投影するか、又はコントローラモジュール３４０を介してマップ内に仮想タグを設定し得る。
【0052】
特定の実施形態では、トラッキングシステム３００は、例えば、パーソナルコンピュータ、ラップトップコンピュータ、セルラー電話、スマートフォン、タブレットコンピュータ、拡張／仮想現実デバイス、ヘッドマウントデバイス、ポータブルスマートデバイス、ウェアラブルスマートデバイス、又はトラッキングシステム３００と互換性のある任意の好適なデバイスなどの、任意の好適なコンピューティングデバイスに実装され得る。本開示では、トラッキングデバイスによってトラッキングされ、位置特定されているユーザは、車両などの移動可能なオブジェクトに搭載されたデバイス、又は人に取り付けられたデバイスを指し得る。本開示では、ユーザは、トラッキングシステム３００と対話又は通信する個人（人間のユーザ）、団体（例えば、企業、会社、若しくはサードパーティアプリケーション）、又はグループ（例えば、個人若しくは団体の）であり得る。特定の実施形態では、中央モジュール３１０は、ヘッドマウントデバイスに実装され得、コントローラモジュール３４０は、ヘッドマウントデバイスから分離されたリモートコントローラに実装され得る。ヘッドマウントデバイスは、中央モジュール３１０のカメラ３１２、ＩＭＵ３１４、ハンド／ヘッドセットトラッキングユニット３１６、及びコントローラユニット３１８を実装するように構成された１つ以上のプロセッサを備える。一実施形態では、各プロセッサは、カメラ３１２、ＩＭＵ３１４、ハンド／ヘッドセットトラッキングユニット３１６、及びコントローラユニット３１８を別々に実装するように構成されている。リモートコントローラは、コントローラモジュール３４０のＩＭＵ３４２を実装するように構成された１つ以上のプロセッサを備える。一実施形態では、各プロセッサは、ＩＭＵ３４２を別々に実装するように構成されている。
【0053】
本開示は、トラッキングシステム３００内の各要素を接続するための、又はトラッキングシステム３００を他のシステムと接続するための任意の好適なネットワークを想定している。限定ではなく、例として、ネットワークの１つ以上の部分は、アドホック・ネットワーク、イントラネット、エクストラネット、仮想プライベート・ネットワーク（ＶＰＮ）、ローカル・エリア・ネットワーク（ＬＡＮ）、無線ＬＡＮ（ＷＬＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、無線ＷＡＮ（ＷＷＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、インターネットの一部、公衆交換電話網（ＰＳＴＮ）の一部、セルラー電話網、又はこれらのうちの２つ以上の組合せを含み得る。ネットワークは、１つ以上のネットワークを含み得る。
【0054】
図４は、ある特定の実施形態による、マッピングサービスを有するトラッキングシステム４００の例示的な図を示している。トラッキングシステム４００は、コントローラモジュール４１０と、中央モジュール４２０と、クラウド４３０と、を備える。コントローラモジュール４１０は、少なくとも１つのＩＭＵ４１２と、プロセッサ４１４と、を備える。コントローラモジュール４１０は、特定の機能を実行するために中央モジュール４２０から１つ以上の命令４４２を受信する。コントローラモジュール４１０は、動作中のポーズ推定のためにＩＭＵデータ４４０を中央モジュール４２０に送信するように構成されており、その結果、中央モジュール４２０は、コントローラモジュール４１０を介して命令４４２をマップ内又は環境内で正確に実行し得る。
【0055】
中央モジュール４２０は、カメラ４２２と、少なくとも１つのＩＭＵ４２４と、ハンドトラッキングユニット４２６と、コントローラトラッキングユニット４２８と、を備える。中央モジュール４２０は、様々な方法、例えば、図１Ａ～図３に開示された方法に基づいてコントローラモジュール４１０をトラッキングするように構成されている。中央モジュール４２０のカメラ４２２は、ユーザによって保持されているコントローラモジュール４１０の１つ以上のフレームをキャプチャし得、中央モジュール４２０のＩＭＵ４２４は、中央モジュール４２０のＩＭＵデータをハンドトラッキングユニット４２６に提供し得る。ハンドトラッキングユニット４２６は、機械学習を介してキャプチャされたフレームから特徴を識別して、ユーザの手のポーズを推定し、中央モジュール４２０のＩＭＵデータに基づいてユーザの手のポーズを調整し得る。さらに、ハンドトラッキングユニット４２６は、コントローラモジュール４１０のポーズを推定するために、ユーザの手のポーズをコントローラトラッキングユニット４２８に送信する。コントローラトラッキングユニット４２８は、ユーザの手のポーズ及びコントローラモジュール４１０のＩＭＵデータ４４０を受信し、受信したデータを融合することによってコントローラモジュール４１０のポーズを推定する。
【0056】
特定の実施形態では、コントローラトラッキングユニット４２８は、異なるフレーム内で識別された特徴に基づいて対応データを判定し得る。対応データは、環境内のコントローラモジュール４１０の特徴の位置などの特徴の観測値及び計測値を含み得る。さらに、コントローラトラッキングユニット４２８はまた、所定の特徴の近くで収集されるステレオ計算を実行して、中央モジュール４２０がコントローラモジュール４１０をトラッキングするための追加情報を提供し得る。加えて、中央モジュール４２０のコントローラトラッキングユニット４２８は、対応データに対応するクラウド４３０にライブマップを要求し得る。特定の実施形態では、ライブマップはマップデータ４４４を含み得る。中央モジュール４２０のコントローラトラッキングユニット４２８はまた、コントローラモジュール４１０がローカル又はグローバルにライブマップ内に位置付けされるようにリモート再位置特定サービス４４４を要求し得る。特定の実施形態では、環境に対するコントローラモジュール４１０のポーズは、カメラ４２２によってキャプチャされたフレーム、例えば、ローカルに構築されたマップに基づいて構築され得る。特定の実施形態では、中央モジュール４２０のコントローラトラッキングユニット４２８はまた、（例えば、ローカルに構築された環境では、）クラウド４３０内に格納されたマップの更新のために、コントローラモジュール４１０の対応データをクラウド４３０に送信し得る。
【0057】
図５は、ある特定の実施形態による、コントローラをトラッキングするための例示的な方法５００を示している。トラッキングシステムのコントローラモジュールは、ポータブルデバイス（例えば、入力ボタンを有するリモートコントローラ、タッチパッドを有するスマートパックなど）に実装され得る。トラッキングシステムの中央モジュールは、ウェアラブルデバイス（例えば、ヘッドマウントデバイスなど）に実装されるか、又は任意のコンピューティングシステム（例えば、スマートフォン、仮想現実システム、ゲームシステムなどのエンドユーザのデバイス）に提供若しくは表示され得、かつコントローラモジュールとペアリングされ得る。方法５００は、ステップ５１０において、カメラを使用して、環境内でコントローラを保持しているユーザの手の少なくとも一部を描写する第１の画像をキャプチャすることによって開始し得る。特定の実施形態では、カメラは、ユーザによって装着されたウェアラブルデバイスに実装された１つ以上のカメラであり得る。特定の実施形態では、ウェアラブルデバイスはコントローラであり得る。特定の実施形態では、ウェアラブルデバイスは、１つ以上のＩＭＵを装備し得る。
【0058】
ステップ５２０において、方法５００は、ユーザの手のポーズを推定するために、第１の画像から１つ以上の特徴を識別し得る。特定の実施形態では、方法５００は、ウェアラブルデバイスのＩＭＵデータをさらに受信して、ウェアラブルデバイスのポーズを推定し、ウェアラブルデバイスのポーズに基づいてユーザの手のポーズを更新し得る。さらに、ウェアラブルデバイスのポーズは、ウェアラブルデバイスのＩＭＵデータ及びユーザの第１の画像に基づいて推定される。
【0059】
ステップ５３０において、方法５００は、ユーザの手のポーズ、及びユーザの手とコントローラとの間の相対ポーズを画定する推定されたグリップに基づいて、コントローラの第１のポーズを推定し得る。
【0060】
ステップ５４０において、方法５００は、コントローラのＩＭＵデータを受信し得る。特定の実施形態では、コントローラのＩＭＵデータは、第１の画像がキャプチャされた周波数よりも速い周波数で受信され得る。例えば、第１の画像は第１の周波数でキャプチャされ得、コントローラのＩＭＵデータは第２の周波数でキャプチャされ得る。第２の周波数（例えば、５００Ｈｚ）は、第１の周波数（例えば、３０Ｈｚ）よりも高い。
【0061】
ステップ５５０において、方法５００は、コントローラのＩＭＵデータを使用してコントローラの第１のポーズを更新することによって、コントローラの第２のポーズを推定し得る。特定の実施形態では、方法５００は、コントローラの更新された第１のポーズ及びコントローラのＩＭＵデータに基づいて手のＩＭＵ予測ポーズを推定し、手のＩＭＵ予測ポーズに基づいて手の第２のポーズを推定し得る。特定の実施形態では、方法５００は、推定されたグリップに基づいて環境に対するコントローラのポーズを推定し、コントローラのＩＭＵデータに基づいて環境に対するコントローラのポーズを調整し、環境に対するコントローラの調整されたポーズ及びコントローラのＩＭＵに基づいて手に対するコントローラのポーズを推定し、かつ環境に対するコントローラの調整されたポーズ及び手に対するコントローラの推定されたポーズに基づいてコントローラの第２のポーズを推定することによって、コントローラの第２のポーズを推定し得る。
【0062】
特定の実施形態では、方法５００はさらに、カメラを使用して、環境内でコントローラを保持しているユーザの手の少なくとも一部を描写するユーザの第２の画像をキャプチャし、ユーザの第２の画像から１つ以上の特徴を識別し、かつユーザの第２の画像から識別された１つ以上の特徴に基づいて手の第３のポーズを推定し得る。さらに、手の第２のポーズを推定する周波数（例えば、５００Ｈｚ）は、手の第３のポーズを推定する周波数（例えば、３０Ｈｚ）よりも高い。
【0063】
特定の実施形態では、ウェアラブルデバイスは、ユーザの画像をキャプチャするように構成されたカメラと、ユーザの手のポーズを推定するように構成されたハンドトラッキングユニットと、コントローラの第２のポーズを推定するように構成されたコントローラトラッキングユニットと、を備え得る。
【0064】
特定の実施形態は、必要に応じて、図５の方法の１つ以上のステップを繰り返し得る。本開示は、図５の方法の特定のステップを特定の順序で発生するものとして説明及び図示しているが、本開示は、任意の好適な順序で発生する図５の方法の任意の好適なステップを想定している。さらに、本開示は、図５の方法の特定のステップを含むローカル位置特定のための例示的な方法を説明及び図示しているが、本開示は、任意の好適なステップを含むローカル位置特定のための任意の好適な方法を想定しており、必要に応じて、図５の方法のステップの全てを含むか、一部を含むか、又はいずれも含まない場合がある。さらに、本開示は、図５の方法の特定のステップを実行する特定の構成要素、デバイス、又はシステムを説明及び図示しているが、本開示は、図５の方法の任意の好適なステップを実行する任意の好適な構成要素、デバイス、又はシステムの任意の好適な組合せを想定している。
【0065】
図６は、例示的なコンピュータシステム６００を示している。特定の実施形態では、１つ以上のコンピュータシステム６００は、本明細書に記載又は図示された１つ以上の方法の１つ以上のステップを実行する。特定の実施形態では、１つ以上のコンピュータシステム６００は、本明細書で説明又は図示される機能を提供する。特定の実施形態では、１つ以上のコンピュータシステム６００上で実行されるソフトウェアは、本明細書に記載若しくは図示された１つ以上の方法の１つ以上のステップを実行するか、又は本明細書に記載若しくは図示された機能を提供する。特定の実施形態は、１つ以上のコンピュータシステム６００の１つ以上の部分を含む。本明細書では、コンピュータシステムへの言及は、必要に応じて、コンピューティングデバイスを包含し得、逆もまた同様である。さらに、コンピュータシステムへの言及は、必要に応じて、１つ以上のコンピュータシステムを包含し得る。
【0066】
本開示は、任意の好適な数のコンピュータシステム６００を想定している。本開示は、任意の好適な物理的形態をとるコンピュータシステム６００を想定している。限定ではなく、例として、コンピュータシステム６００は、組込みコンピュータシステム、システム・オン・チップ（ＳＯＣ）、シングルボードコンピュータシステム（ＳＢＣ）（例えば、コンピュータ・オン・モジュール（ＣＯＭ）又はシステム・オン・モジュール（ＳＯＭ））、デスクトップコンピュータシステム、ラップトップ若しくはノートブックコンピュータシステム、インタラクティブ・キオスク、メインフレーム、コンピュータシステムのメッシュ、携帯電話、携帯情報端末（ＰＤＡ）、サーバ、タブレットコンピュータシステム、拡張／仮想現実デバイス、又はこれらのうちの２つ以上の組合せであり得る。必要に応じて、コンピュータシステム６００は、単一であるか若しくは分布しているか、複数の場所にまたがるか、複数の機械にまたがるか、複数のデータセンターにまたがるか、又は１つ以上のネットワーク内の１つ以上のクラウドコンポーネントを含み得るクラウド内に存在する、１つ以上のコンピュータシステム６００を含み得る。必要に応じて、１つ以上のコンピュータシステム６００は、本明細書に記載又は図示された１つ以上の方法の１つ以上のステップを実質的な空間的又は時間的制限なしに実行し得る。限定ではなく、例として、１つ以上のコンピュータシステム６００は、本明細書に記載又は図示された１つ以上の方法の１つ以上のステップをリアルタイム又はバッチモードで実行し得る。１つ以上のコンピュータシステム６００は、必要に応じて、本明細書に記載又は図示された１つ以上の方法の１つ以上のステップを異なる時間又は異なる場所で実行し得る。
【0067】
特定の実施形態では、コンピュータシステム６００は、プロセッサ６０２、メモリ６０４、ストレージ６０６、入力／出力（Ｉ／Ｏ）インターフェース６０８、通信インターフェース６１０、及びバス６１２を含む。本開示は、特定の構成内の特定の数の特定の構成要素を有する特定のコンピュータシステムを説明及び図示しているが、本開示は、任意の好適な構成内の任意の好適な数の任意の好適な構成要素を有する任意の好適なコンピュータシステムを想定している。
【0068】
特定の実施形態では、プロセッサ６０２は、コンピュータプログラムを構成するものなどの命令を実行するためのハードウェアを含む。限定ではなく、例として、命令を実行するために、プロセッサ６０２は、内部レジスタ、内部キャッシュ、メモリ６０４、又はストレージ６０６から命令を取り出し（又はフェッチし）、それらを復号して実行し、次いで、内部レジスタ、内部キャッシュ、メモリ６０４、又はストレージ６０６に１つ以上の結果を書き込み得る。特定の実施形態においては、プロセッサ６０２は、データ、命令、又はアドレスのための１つ以上の内部キャッシュを含み得る。本開示は、必要に応じて、任意の好適な数の任意の好適な内部キャッシュを含むプロセッサ６０２を想定している。限定ではなく、例として、プロセッサ６０２は、１つ以上の命令キャッシュ、１つ以上のデータキャッシュ、及び１つ以上の変換ルックアサイド・バッファ（ＴＬＢ）を含み得る。命令キャッシュ内の命令は、メモリ６０４又はストレージ６０６内の命令のコピーであり得、命令キャッシュは、プロセッサ６０２によるそれらの命令の取り出しを高速化し得る。データキャッシュ内のデータは、プロセッサ６０２で実行する命令が、プロセッサ６０２で実行する後続の命令によるアクセスのために、又はメモリ６０４若しくはストレージ６０６への書き込みのために、プロセッサ６０２で実行された以前の命令の結果で動作するための、メモリ６０４又はストレージ６０６内のデータのコピー、又は他の適切なデータであり得る。データキャッシュは、プロセッサ６０２による読み込み動作又は書き込み動作を高速化し得る。ＴＬＢは、プロセッサ６０２の仮想アドレス変換を高速化し得る。特定の実施形態においては、プロセッサ６０２は、データ、命令、又はアドレスのための１つ以上の内部レジスタを含み得る。本開示は、必要に応じて、任意の好適な数の任意の好適な内部レジスタを含むプロセッサ６０２を想定している。必要に応じて、プロセッサ６０２は、１つ以上の算術論理演算ユニット（ＡＬＵ）を含み得るか、マルチコアプロセッサであり得るか、又は１つ以上のプロセッサ６０２を含み得る。本開示は、特定のプロセッサを説明及び例示しているが、本開示は、任意の好適なプロセッサを想定している。
【0069】
特定の実施形態では、メモリ６０４は、プロセッサ６０２が実行するための命令又はプロセッサ６０２が動作するためのデータを格納するためのメインメモリを含む。限定ではなく、例として、コンピュータシステム６００は、ストレージ６０６又は別のソース（例えば、別のコンピュータシステム６００など）からメモリ６０４に命令をロードし得る。次いで、プロセッサ６０２は、メモリ６０４から内部レジスタ又は内部キャッシュに命令をロードし得る。命令を実行するために、プロセッサ６０２は、内部レジスタ又は内部キャッシュから命令を取り出し、それらを復号し得る。命令の実行中又は実行後に、プロセッサ６０２は、（中間結果又は最終結果であり得る）１つ以上の結果を内部レジスタ又は内部キャッシュに書き込み得る。次いで、プロセッサ６０２は、それらの結果のうちの１つ以上をメモリ６０４に書き込み得る。特定の実施形態では、プロセッサ６０２は、（ストレージ６０６又は他の場所とは対照的に）１つ以上の内部レジスタ若しくは内部キャッシュ又はメモリ６０４内の命令のみを実行し、（ストレージ６０６又は他の場所とは対照的に）１つ以上の内部レジスタ若しくは内部キャッシュ又はメモリ６０４内のデータのみに対して動作する。（各々がアドレスバス及びデータバスを含み得る）１つ以上のメモリバスは、プロセッサ６０２をメモリ６０４に結合し得る。バス６１２は、後述するように、１つ以上のメモリバスを含み得る。特定の実施形態においては、１つ以上のメモリ管理ユニット（ＭＭＵ）が、プロセッサ６０２とメモリ６０４との間に存在し、プロセッサ６０２によって要求されるメモリ６０４へのアクセスを容易にする。特定の実施形態においては、メモリ６０４は、ランダム・アクセス・メモリ（ＲＡＭ）を含む。このＲＡＭは、必要に応じて、揮発性メモリであってもよい。必要に応じて、このＲＡＭは、ダイナミックＲＡＭ（ＤＲＡＭ）又はスタティックＲＡＭ（ＳＲＡＭ）であってもよい。さらに、必要に応じて、このＲＡＭは、シングルポート又はマルチポートＲＡＭであってもよい。本開示は、任意の好適なＲＡＭを想定している。メモリ６０４は、必要に応じて、１つ以上のメモリ６０４を含み得る。本開示は、特定のメモリを説明及び例示しているが、本開示は、任意の好適なメモリを想定している。
【0070】
特定の実施形態においては、ストレージ６０６は、データ又は命令のための大容量ストレージを含む。限定ではなく、例として、ストレージ６０６は、ハードディスクドライブ（ＨＤＤ）、フロッピーディスクドライブ、フラッシュメモリ、光ディスク、光磁気ディスク、磁気テープ、若しくはユニバーサル・シリアル・バス（ＵＳＢ）ドライブ、又はこれらのうちの２つ以上の組合せを含み得る。ストレージ６０６は、必要に応じて、取り外し可能又は取り外し不可能な（すなわち固定された）媒体を含み得る。ストレージ６０６は、必要に応じて、コンピュータシステム６００の内部にあっても外部にあってもよい。特定の実施形態では、ストレージ６０６は、不揮発性ソリッドステートメモリである。特定の実施形態においては、ストレージ６０６は、読み出し専用メモリ（ＲＯＭ）を含む。必要に応じて、このＲＯＭは、マスクプログラムＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、電気的変更可能ＲＯＭ（ＥＡＲＯＭ）、若しくはフラッシュメモリ、又はこれらのうちの２つ以上の組合せであり得る。本開示は、任意の好適な物理的形態をとる大容量ストレージ６０６を想定している。ストレージ６０６は、必要に応じて、プロセッサ６０２とストレージ６０６との間の通信を容易にする１つ以上のストレージ制御ユニットを含み得る。必要に応じて、ストレージ６０６は、１つ以上のストレージ６０６を含み得る。本開示は、特定のストレージを記載及び図示しているが、本開示は、任意の好適なストレージを想定している。
【0071】
特定の実施形態では、Ｉ／Ｏインターフェース６０８は、コンピュータシステム６００と１つ以上のＩ／Ｏデバイスとの間の通信のための１つ以上のインターフェースを提供するハードウェア、ソフトウェア、又はその両方を含む。コンピュータシステム６００は、必要に応じて、これらのＩ／Ｏデバイスのうちの１つ以上を含み得る。これらのＩ／Ｏデバイスのうちの１つ以上は、人とコンピュータシステム６００との間の通信を可能にし得る。限定ではなく、例として、Ｉ／Ｏデバイスは、キーボード、キーパッド、マイクロフォン、モニタ、マウス、プリンタ、スキャナ、スピーカ、スチルカメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、別の好適なＩ／Ｏデバイス、又はこれらのうちの２つ以上の組合せを含み得る。Ｉ／Ｏデバイスは、１つ以上のセンサを含み得る。本開示は、任意の好適なＩ／Ｏデバイス及びそれらのための任意の好適なＩ／Ｏインターフェース６０８を想定している。必要に応じて、Ｉ／Ｏインターフェース６０８は、プロセッサ６０２がこれらのＩ／Ｏデバイスのうちの１つ以上を駆動することを可能にする１つ以上のデバイス又はソフトウェアドライバを含み得る。Ｉ／Ｏインターフェース６０８は、必要に応じて、１つ以上のＩ／Ｏインターフェース６０８を含み得る。本開示は、特定のＩ／Ｏインターフェースを説明及び例示しているが、本開示は、任意の好適なＩ／Ｏインターフェースを想定している。
【0072】
特定の実施形態では、通信インターフェース６１０は、コンピュータシステム６００と、１つ以上の他のコンピュータシステム６００又は１つ以上のネットワークとの間の通信（例えば、パケットベースの通信など）のための１つ以上のインターフェースを提供するハードウェア、ソフトウェア、又はその両方を含む。限定ではなく、例として、通信インターフェース６１０は、イーサネット又は他の有線ベースのネットワークと通信するためのネットワークインターフェースコントローラ（ＮＩＣ）若しくはネットワークアダプタ、又はＷＩ－ＦＩネットワークなどの無線ネットワークと通信するための無線ＮＩＣ（ＷＮＩＣ）若しくは無線アダプタを含み得る。本開示は、任意の好適なネットワーク及びそのための任意の好適な通信インターフェース６１０を想定している。限定ではなく、例として、コンピュータシステム６００は、アドホック・ネットワーク、パーソナル・エリア・ネットワーク（ＰＡＮ）、ローカル・エリア・ネットワーク（ＬＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、若しくはインターネットの１つ以上の部分、又はこれらのうちの２つ以上の組合せと通信し得る。これらのネットワークのうちの１つ以上の、１つ以上の部分は、有線又は無線であり得る。一例として、コンピュータシステム６００は、無線ＰＡＮ（ＷＰＡＮ）（例えば、ＢＬＵＥＴＯＯＴＨ ＷＰＡＮなど）、ＷＩ－ＦＩネットワーク、ＷＩ－ＭＡＸネットワーク、セルラー電話網（例えば、グローバル・システム・フォー・モバイル・コミュニケーションズ（ＧＳＭ）ネットワーク）、若しくは他の好適な無線ネットワーク、又はこれらのうちの２つ以上の組合せと通信し得る。コンピュータシステム６００は、必要に応じて、これらのネットワークのうちのいずれかのための任意の好適な通信インターフェース６１０を含み得る。通信インターフェース６１０は、必要に応じて、１つ以上の通信インターフェース６１０を含み得る。本開示は、特定の通信インターフェースを説明及び図示しているが、本開示は、任意の好適な通信インターフェースを想定している。
【0073】
特定の実施形態では、バス６１２は、コンピュータシステム６００の構成要素を互いに結合するハードウェア、ソフトウェア、又はその両方を含む。限定ではなく、例として、バス６１２は、アクセラレーテッド・グラフィックス・ポート（ＡＧＰ）若しくは他のグラフィックスバス、エンハンスト・インダストリー・スタンダード・アーキテクチャ（ＥＩＳＡ）バス、フロントサイドバス（ＦＳＢ）、ＨＹＰＥＲＴＲＡＮＳＰＯＲＴ（ＨＴ）インターコネクト、インダストリー・スタンダード・アーキテクチャ（ＩＳＡ）バス、ＩＮＦＩＮＩＢＡＮＤインターコネクト、ローピンカウント（ＬＰＣ）バス、メモリバス、マイクロ・チャネル・アーキテクチャ（ＭＣＡ）バス、ペリフェラル・コンポーネント・インターコネクト（ＰＣＩ）バス、ＰＣＩエクスプレス（ＰＣＩｅ）バス、シリアル・アドバンスド・テクノロジー・アタッチメント（ＳＡＴＡ）バス、ビデオ・エレクトロニクス・スタンダーズ・アソシエーション・ローカル（ＶＬＢ）バス、若しくは別の好適なバス、又はこれらのうちの２つ以上の組合せを含み得る。バス６１２は、必要に応じて、１つ以上のバス６１２を含み得る。本開示は、特定のバスを説明及び図示しているが、本開示は、任意の好適なバス又は相互接続を想定している。
【0074】
本明細書では、１つの若しくは複数のコンピュータ可読非一時的記憶媒体は、必要に応じて、１つ以上の半導体ベース若しくは他の集積回路（ＩＣ）（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は特定用途向けＩＣ（ＡＳＩＣ）など）、ハードディスクドライブ（ＨＤＤ）、ハイブリッドハードドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ドライブ、フロッピーディスク、フロッピーディスクドライブ（ＦＤＤ）、磁気テープ、ソリッドステートドライブ（ＳＳＤ）、ＲＡＭドライブ、ＳＥＣＵＲＥ ＤＩＧＩＴＡＬカード若しくはドライブ、任意の他の好適なコンピュータ可読非一時的記憶媒体、又はこれらのうちの２つ以上の任意の好適な組合せを含み得る。コンピュータ可読非一時的記憶媒体は、必要に応じて、揮発性、不揮発性、又は揮発性と不揮発性との組合せであり得る。
【0075】
本明細書では、「又は」は、他に明示的に示されているか、又は文脈によって他に示されている場合でない限り、包括的であり、排他的ではない。したがって、本明細書では、「Ａ又はＢ」は、他に明示的に示されているか、又は文脈によって他に示されている場合でない限り、「Ａ、Ｂ、又はその両方」を意味する。さらに、「及び」は、他に明示的に示されているか、又は文脈によって他に示されている場合でない限り、合同及び個別の両方である。したがって、本明細書では、「Ａ及びＢ」は、他に明示的に示されているか、又は文脈によって他に示されている場合でない限り、「Ａ及びＢは、一緒に又は別々に」を意味する。
【0076】
本開示の範囲は、当業者が理解するであろう、本明細書に記載又は図示された例示的な実施形態に対する全ての変更、置換、変形、変更、及び修正を包含する。本開示の範囲は、本明細書に記載又は図示された例示的な実施形態に限定されない。さらに、本開示は、特定の構成要素、要素、特徴、機能、動作、又はステップを含むものとして本明細書のそれぞれの実施形態を説明及び図示しているが、これらの実施形態のいずれも、当業者が理解するであろう本明細書のいずれかに記載又は示されている構成要素、要素、特徴、機能、動作、又はステップのうちのいずれかの任意の組合せ又は順列を含み得る。さらに、特定の機能を実行するように適合されたか、配置されたか、可能であるか、構成されたか、可能にされたか、動作可能であるか、若しくは機能する装置若しくはシステム又は装置若しくはシステムの構成要素に対する添付の特許請求の範囲における参照は、その装置、システム、又は構成要素がそのように適合されたか、配置されたか、可能であるか、構成されたか、可能にされたか、動作可能であるか、又は機能する限り、それ又はその特定の機能が起動され、オンにされ、又はロック解除されているか否かにかかわらず、その装置、システム、構成要素を包含する。さらに、本開示は、特定の利点を提供するものとして特定の実施形態を説明又は例示しているが、特定の実施形態は、これらの利点のいずれも提供しないか、一部を提供するか、又は全てを提供する場合がある。
【0077】
様々な実施形態によれば、本明細書の特徴の利点は、本出願が、ＬＥＤを装備するためにペアリングされたコントローラを必要とせずに、依然として正確かつ費用効率の高いトラッキングのままであるトラッキング方法を提供できることである。トラッキング方法は、トラッキング方法がグリップに基づいてコントローラのポーズを推定することができるように、キャプチャされた画像から識別された特徴に基づいてユーザの手のポーズを推定し、次いで、ユーザの手のポーズに基づいてユーザの手のグリップを推定する。さらに、トラッキング方法は、コントローラのＩＭＵデータに基づいてコントローラのポーズを調整／較正することができる。加えて、トラッキング方法の処理時間もまた、ＩＭＵデータによって提供される予測によって改善することができる。本開示の特定の実施形態はまた、ＬＥＤなしで、又はコントローラ上に配設されたＬＥＤが故障したときに、コントローラをトラッキングすることを可能にする。したがって、本開示に開示された特定の実施形態は、コントローラのための改善された費用効率の高いトラッキング方法を提供し得る。
【0078】
図中のプロセスは、本発明のある特定の実施形態によって実行される動作の特定の順序を示し得るが、そのような順序は例示的なものであることを理解されたい（例えば、代替的な実施形態は、異なる順序で動作を実行し得、ある特定の動作を組み合わせ得、特定の動作と重複し得る、など）。
【0079】
本発明をいくつかの実施形態の観点から説明したが、当業者は、本発明が記載された実施形態に限定されず、添付の特許請求の範囲の範囲内で修正及び変更を加えて実施され得ることを認識するであろう。したがって、説明は、限定ではなく例示とみなされるべきである。
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5】
【図6】
【国際調査報告】