ホーム > 特許ランキング > バルブ コーポレーション
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-16
(45)【発行日】2022-09-28
(54)【発明の名称】指動作のセンシングを備えた電子コントローラ
(51)【国際特許分類】
G06F 3/01 20060101AFI20220920BHJP
G06F 3/0346 20130101ALI20220920BHJP
G06F 3/041 20060101ALI20220920BHJP
【ＦＩ】
G06F3/01 514
G06F3/01 570
G06F3/0346 421
G06F3/041 580
G06F3/041 590
G06F3/041 430
【請求項の数】
18
(21)【出願番号】P 2019569344
(86)(22)【出願日】2018-06-15
(65)【公表番号】
(43)【公表日】2020-08-13
(86)【国際出願番号】 US2018037952
(87)【国際公開番号】W WO2018232375
(87)【国際公開日】2018-12-20
【審査請求日】2021-06-08
(31)【優先権主張番号】62/520,958
(32)【優先日】2017-06-16
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】517160525
【氏名又は名称】バルブ コーポレーション
(74)【代理人】
【識別番号】110001737
【氏名又は名称】特許業務法人スズエ国際特許事務所
(72)【発明者】
【氏名】ニートフェールド、スコット
(72)【発明者】
【氏名】ラインバウ、ジェフリー・ジョージ
(72)【発明者】
【氏名】ホープ、エリック・ジェイムス
(72)【発明者】
【氏名】ブライアン、フィリップ
(72)【発明者】
【氏名】ブリット、スコット・リチャード
(72)【発明者】
【氏名】ムチャ、ジェフリー・ウォルター
(72)【発明者】
【氏名】ゴットシャル、クレア・ミシェル
(72)【発明者】
【氏名】スロカム、ジェレミー
【審査官】星野 裕
(56)【参考文献】
【文献】国際公開第２０１６／１４０９２４（ＷＯ，Ａ１）
【文献】特表２０１２－５１５９６６（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１７／０１３９４８１（ＵＳ，Ａ１）
【文献】国際公開第２０１６／０３８９５３（ＷＯ，Ａ１）
【文献】米国特許出願公開第２００９／０３０５７８６（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０３３
Ｇ０６Ｆ ３／０４１
(57)【特許請求の範囲】
【請求項1】
ハンドルを有するコントローラ本体と、前記ハンドルに結合され、ユーザーの指の前記ハンドルへの近接性に応答する近接センサーと、
１つ以上のプロセッサと、
前記１つ以上のプロセッサにより実行されるとき、前記１つ以上のプロセッサに動作を実行させるコンピュータ実行可能な命令を格納する１つ以上のコンピュータ可読媒体と、を含み、前記動作は、
前記ユーザーの前記指が前記ハンドルに近接性を表す近接データを前記近接センサーから受信することと、
前記近接データの少なくとも部分的に基づき、フィルター処理されていない指のカール値を決定することと、
フィルター処理された指のカール値を得るため、１つ以上のフィルターに前記フィルター処理されていない指のカール値を通過させることと、
前記フィルター処理された指のカール値の少なくとも部分的に基づき、前記指の推定された関節角度を決定することと、
を含み、
前記近接データの少なくとも部分的に基づき、前記フィルター処理されていない指のカール値を決定することは、
前記近接データの少なくとも部分的に基づいて値のセットを計算することと、
前記値のセットの少なくとも部分的に基づいて正規化された指検出データのセットを生成することと、
前記フィルター処理されていない指のカール値を決定するため、前記正規化された指検出データのセットを処理することと、
を含む、ハンドヘルドコントローラ
を具備するシステム。
【請求項2】
前記動作は、前記推定された関節角度を処理して表示のためにレンダリングされているハンドメッシュを変形させるための処理を更に含む、請求項１に記載のシステム。
【請求項3】
前記ハンドヘルドコントローラが、仮想現実システムと共に使用するためのものである、請求項１に記載のシステム。
【請求項4】
前記ハンドヘルドコントローラが、前記コントローラ本体に固定されたトラッキングアークを含む、請求項１に記載のシステム。
【請求項5】
前記トラッキングアークは、第１の複数のトラッキングセンサーを含み、前記第１の複数のトラッキングセンサーが前記システムの電子装置によって発せられた電磁放射線に応答している請求項４に記載のシステム。
【請求項6】
前記ハンドヘルドコントローラが、前記ユーザーの手のひらを前記ハンドルの外側面に対して物理的に付勢するように構成されたハンドリテーナを含む、請求項１に記載のシステム。
【請求項7】
前記コントローラ本体が、前記ハンドルから延びる遠位ヘッドを更に備え、前記遠位ヘッドが、遠位端、及び前記ハンドルと前記遠位端との間に配置された少なくとも１つの親指操作コントロールを含む、請求項１に記載のシステム。
【請求項8】
前記近接センサーが、前記ハンドルの外側面の下に埋め込まれた複数の静電容量センサーを含み、前記外側面が電気絶縁材料を含む、請求項１に記載のシステム。
【請求項9】
コントローラのハンドルへのユーザーの指の近接性を示す近接センサーからの第１のデータを受信することと、
前記第１のデータの少なくとも部分的に基づいて、フィルター処理されていない指のカール値を決定することと、
フィルター処理された指のカール値を得るため、１つ以上のフィルターに前記フィルター処理されていない指のカール値を通過させさせることと、
前記フィルター処理された指のカール値の少なくとも部分的に基づいて、前記指の関節角度の推定値を決定することと、
前記第１のデータを受信する前に前記近接センサーから第２のデータを受信することと、
前記ユーザーの所定のハンドジェスチャーに対応する前記第２のデータを決定することと、
前記第２のデータが前記所定のハンドジェスチャーに対応するとの決定に応答してフィンガートラッキングを初期化することと、
を含む方法。
【請求項10】
前記指の前記関節角度の前記推定値の少なくとも部分的に基づいてハンドメッシュを生成することと、
表示のために前記ハンドメッシュをレンダリングすることと、
を更に含む、請求項９に記載の方法。
【請求項11】
前記所定のハンドジェスチャーが、把握解放ジェスチャーを含む、請求項９に記載の方法。
【請求項12】
前記近接センサーが１つ以上のフレキシブルプリント回路に組み込まれており、前記１つ以上のフレキシブルプリント回路のそれぞれが前記ハンドルの内側面に取付けられている、請求項１に記載のシステム。
【請求項13】
前記近接センサーが、複数の静電容量センサーを含むアレイを含む、請求項１に記載のシステム。
【請求項14】
前記第１のデータの少なくとも部分的に基づいて複数の値を計算して前記ユーザーに関する前記近接センサーの正規化を促進し、前記複数の値の少なくとも部分的に基づいて正規化された指検出データのセットを生成することを更に含む、請求項９に記載の方法。
【請求項15】
前記正規化された指検出データをカールロジックのセットを通して処理して前記ユーザーに関するフィンガーカール推定値を生成し、前記フィンガーカール推定値の少なくとも部分的に基づいて前記関節角度の前記推定値を計算することを更に含む、請求項１４に記載の方法。
【請求項16】
前記関節角度の前記推定値が線形推定値である、請求項１５に記載の方法。
【請求項17】
前記指の前記推定された関節角度は前記指の第１の推定された関節角度を含み、前記動作は、
前記ユーザーの前記指に関連する関節モデルを決定することと、
前記関節モデルと前記第１の推定された関節角度の少なくとも部分的に基づいて、前記指の第２の推定された関節角度を決定することと、
をさらに具備する請求項１に記載のシステム。
【請求項18】
前記ユーザーの指は、前記ユーザーの第１の指を具備し、前記ハンドヘルドコントローラは、
前記ハンドルに結合され、前記ハンドルに対する前記ユーザーの第２の指の近接性に応答する追加の近接センサーをさらに具備し、
前記動作は、前記追加の近接センサーから、前記ハンドルに対する前記ユーザーの第２の指の近接性に応答する追加の近接性データを受信することをさらに具備し、前記追加の近接性データは、前記第１の指の前記推定された関節角度を決定するために使用される
請求項１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０１７年６月１６日に出願された米国仮特許出願シリアル番号６２／５２０，９５８の利点を主張し、すべての目的のためにその内容は参照によりその全体が本明細書に組み込まれている。
本出願は、２０１７年６月１６日に出願された米国仮特許出願シリアル番号６２／５２０，９５８の利点を主張し、すべての目的のためにその内容は参照によりその全体が本明細書に組み込まれている。
【背景技術】
【0002】
様々なゲームアプリケーション用に、様々なハンドヘルドビデオゲームコントローラが設計、製造、販売されている。ハンドヘルドコントローラテクノロジの革新の一部は、産業用機械、防衛システム、ロボット工学などのコントローラなど、ビデオゲーム業界以外にも適用可能である。仮想現実（ＶＲ）システムは、ビデオゲーム業界の内外両方において、現代の大きな関心を集め、急速に技術進歩をしているアプリケーションである。ＶＲシステム用コントローラは、いくつかの異なる機能を実行し、厳密な（及び競合する場合がある）制約を満たすように設計されている一方で、多くの場合、例えば、操作性やユーザーが規定した設定可能性などの特定の所望の特性を最適化している。
【0003】
様々な拡張現実及び／または仮想現実のシステム及び／または環境が知られている。現在のデスクトップＶＲエクスペリエンスの１つは、ヘッドマウントディスプレイ（「ＨＭＤ」）を使用して作成されている。このようなデスクトップＶＲエクスペリエンスは、通常、完全に没入できるようにし、ユーザーの感覚を周囲から切り離すことを試みている。
【0004】
一部のＶＲシステムで一般的に使用されるＨＭＤの例示的な環境では、人間のユーザーは、ヘッドマウント仮想現実装置を着用し、装置は、ユーザーの目のそれぞれに近接したディスプレイ、ヘッドフォン、もしくはユーザーの耳の中または近くの他の音声生成デバイス、及び１つ以上のハンドヘルドコントローラを含んでいる。図１は、ＶＲディスプレイ装置の位置及び配向を追跡するために使用され得る光受信機及びセンサー（２３ａ、２３ｂ、２３ｃ、等）を備えたヘッドマウント式ＶＲディスプレイ装置（２２）を装着した人間のユーザー（１０）の例示的な図である。限定されないが、ＨＭＤは、固定コンピュータ（パーソナルコンピュータ（「ＰＣ」）、ラップトップ、ゲームコンソールなど）に繋がれることができ、また代替的に、自己完結型であり得る（つまり、一部またはすべての感覚入力、コントローラ／コンピュータ、及び出力のすべてが単体のヘッドマウントデバイスに収容されている）。
【0005】
ユーザーにより保持される物理制御デバイス（コントローラとも呼ばれる）を現実の、または拡張した形式で仮想現実環境に置き換え、それにより、ユーザーにより保持される実際の制御デバイスまたはそのバリエーションをシミュレートする様々な手法が知られており、この手法は仮想環境に合わせて調整され、及び／または、状況に固有の情報を提供する。例えば、図２は、現実のゲーム制御デバイス（５２）の仮想画像が人間のユーザー（図１に示されるユーザー１０など）の視野にある仮想現実環境（５０）における例示的なディスプレイを示しており、ユーザーは実際の物理的環境内で制御デバイスを保持し、ヘッドマウントＶＲディスプレイ装置（図１に示す装置２２など）を装着している。参考として、図２に示される例示的な仮想環境（５０）のディスプレイはまた、テーブル（５４）及び窓（５６）の仮想表現も含む。コントローラプログラムは、ユーザーの物理制御デバイス（５２）の仮想表現をユーザーに提供し、これは、制御デバイス及びそのインタラクティブ要素の仮想コンテキスト及び／または機能を反映するために現実的なもの、または拡張されたもの、のいずれかであり得る。ユーザーが現実の物理的環境で実際の制御デバイスを動かすと、これらの動きは、当技術分野で知られ、本明細書で更に説明する様々な技術を使用してトラッキングされることができ、仮想現実環境内で制御デバイス（５２）の仮想表現の対応する動きを可能にする。
【0006】
しかし、ユーザー（またはユーザーの一部）、ＨＭＤ、使用中であり得る１つ以上のハンドヘルド制御デバイスの位置、または現実の物理的環境の他の外観の具体的な詳細を検出して表示する能力は、ＨＭＤ ＶＲシステムに展開されているセンサーとトラッキングシステムの特定の構成に依存する。例えば、当業者にはよく知られているように、ＨＭＤ及び関連するコントローラの位置及び向きの正確な表現には、適切な物体トラッキング技術の使用を必要とする。同様に、ユーザーが視線を向けている可能性のある場所の正確な検出及び／または表現には、適切な視標トラッキング技術の使用を必要とし得る。
【0007】
ＶＲ ＨＭＤなどのシステムのユーザーエクスペリエンスを更に向上させるには、ＶＲセッション中にユーザーが保持する制御デバイスの部品（ハンドル部分など）に対してユーザーが自身の指を動かすときに、ユーザーの指の１つ以上の位置を追跡及び表示するためのより良いソリューションを提供することが有利となる。
【0008】
従って、当技術分野では、改善されたコントローラ設計及び技術が必要とされており、新たなフィンガートラッキング及び／またはジェスチャー検出ソリューションを提供することにより、ＶＲ ＨＭＤなどのシステムを改善することができ、及び／またはユーザー操作をより容易にすることができる。
【図面の簡単な説明】
【0009】
【図1】本発明の特定の実施形態の態様で使用するためのヘッドマウント仮想現実装置を着用している人間のユーザーの例示的な図である。
【図2】現実のゲームコントローラの仮想画像が他の物体の仮想画像と共に見える、本発明の特定の実施形態による仮想現実環境における例示的なディスプレイである。
【図3】ハンドリテーナが開位置にある、本発明の態様によるコントローラを示す。
【図7】ハンドリテーナが開位置にある、本発明の態様による一対のコントローラを示す。
【図8】上部、中央、及び底部にそれぞれ沿った中指、薬指、及び小指用の線形パッドアレイを示している、本発明の態様による特定の実施形態における例示的なフレキシブルプリント回路（「ＦＰＣ」）を示す。
【図9】本発明の態様による特定の実施形態における例示的なＦＰＣの拡大図を示す。
【図10】本発明の態様による特定の実施形態における別の例示的なＦＰＣの拡大図を示し、トレースがどのように短縮されることができ、また、どのようにＦＰＣの手のひら側に移動されることができるかを示す。
【図11】本発明の態様によるグリップＦＰＣの３つの実施形態を示し、パッドカウント、スペーシング、及びルーティングの可能な変化を示している。
【図12】本発明の特定の実施形態の態様を実装するために使用され得るコンピューティングデバイスの例示的な線図である。
【図13】特定の実施形態における本発明の態様によるフィンガートラッキング技術のブロック図を示す。
【図14】特定の実施形態における本発明の態様によるフィンガートラッキング技術のブロック図を示す。
【図15】本発明の態様による、完全に伸びた（１５Ａ）及び完全にカールした（１５Ｂ）追跡されている指での関節角度を示す運動学的線図を示す。
【図16】本発明の態様による、ユーザーがマルチユーザー環境で自身または他のユーザーが投影される画像として、関節のある指を仮想現実環境内でどのように示すことができるかを示す例示的仮想現実ディスプレイを示す。
【図17】特定の実施形態における本発明の態様によるハンドヘルド制御デバイスの静電容量検知能力を示し、４つの静電容量センシングゾーン、すなわち人差し指ゾーン、中指ゾーン、薬指ゾーン、及び小指ゾーンを示す。
【図18】特定の実施形態における本発明の態様によるコントローラを示し、ユーザーの親指によって制御され、及び／または起動され得る４つのゾーン／ボタン、すなわち、トラックパッドゾーン、内側ボタン、外側ボタン、及びシステムボタンを示す。
【発明の概要】
【0010】
それぞれの特定の実施態様の要件に応じて、本発明の態様による電子システム用のハンドヘルドコントローラは、指と手のひらを備えた手を有するユーザーによる操作のためのものであり、外側面を備えたハンドル部分を有するコントローラ本体と、（ハンドル部分の外側面の上、中、下、または近くに空間的に分布する近接センサーのアレイであり得る）近接センサーであって、第１の出力を生成するために、ユーザーの指のハンドル部分の外側面への近接性に反応する近接センサーと、近接センサーの出力をユーザーの１本以上の指に対応する関節角度のセットに変換するためのフィンガートラッキング装置と、を含む。例えば、近接センサーのアレイは、１つ以上のフレキシブルプリント回路（「ＦＰＣ」）のセットに組み込まれることができ、これらはコントローラシェルのハンドル部分に接着されるか、その他の場合、取り付けられるか、または埋め込まれる。
【0011】
コントローラは、複数の関節角度を処理して表示用にレンダリングされるハンドメッシュを変形させるレンダラーを更に含むことができる。
【0012】
また、特定の実施態様の要件の各セットに応じて、本発明の態様によるフィンガートラッキング方法は、近接センサーの出力を感知することであって、近接センサーは近接センサーのアレイであってよく、これらがユーザーハンドヘルドコントローラのハンドル部分の外側面の上、中、下、または付近に空間的に分布されており（例えば、近接センサーのアレイが、コントローラシェルのハンドル部分に接着され、もしくはそれ以外の方法で取付け、または埋め込まれた１つ以上のＦＰＣのセットに組み込まれることができる）近接センサーがユーザーの指のハンドル部分の外側面への近接性に応答していることと、近接センサーアレイのユーザーに対する出力の正規化を促進するために複数の値を計算することであり、それにより、正規化された指検出データのセットを生成することと、カールロジックのセットを通して正規化された指検出データのセットを処理して、ユーザーに対するグロスフィンガーカールの線形推定値を生成し、それにより、ユーザーに対応する１つ以上の指関節角度の推定値のセットを生成することと、を含む。フィンガートラッキング方法は、ユーザーに対応する複数の指関節角度の推定値のセットに基づいてハンドメッシュを変形することを更に含むことができ、それにより、ユーザーまたは他の人のいずれかに表示するためにレンダリングされ得る変形ハンドメッシュを生成する。フィンガートラッキング方法は、ユーザーによる所定の手のジェスチャーを検出するまで、近接センサーのアレイの出力を監視することにより方法を初期化することを更に含み得る。
【発明を実施するための形態】
【0013】
当業者は、本発明の以下の説明は例示にすぎず、決して限定するものではないことを理解するであろう。本発明の他の実施形態は、本開示の利益を有する当業者に容易に示唆され、本明細書で規定される一般原理は、本発明の趣旨及び範囲から逸脱することなく他の実施形態及び用途に適用され得る。従って、本発明は、示される実施形態に限定されることが意図されておらず、本明細書に開示される原理及び特徴と一致する最も広い範囲を与えられるべきである。ここで、添付の図面に示される本発明の特定の実施態様を詳細に参照する。同じまたは同様の部品を指すために、図面及び以下の説明を通して同じ参照番号が使用される。
【0014】
図３～図７は、本発明の例示的な実施形態による電子システム用のコントローラ１００を示す。コントローラ１００は、ＶＲビデオゲームシステム、ロボット、武器、または医療機器などの電子システムによって利用され得る。コントローラ１００は、ハンドル部分１１２を有するコントローラ本体１１０、及びコントローラ１００をユーザーの手（例えば、ユーザの左手）に保持するためのハンドリテーナ１２０を含み得る。ハンドル部分１１２は、任意選択的に実質的に円筒形であってもよい。本文脈中、実質的に円筒形の形状は、一定の直径、または完全に円形の断面を有する必要はない。
【0015】
図３～図７の実施形態において、コントローラ本体１１０は、（ハンドル部分１１２と遠位端１１１との間に）遠位ヘッドを含むことができ、任意選択で１つ以上の親指操作コントロール１１４、１１５、１１６を含むことができる。例えば、コントローラ１００がユーザーの手の中で保持されている間、通常の操作中にユーザーの親指で都合よく操作できる場合には、傾斜ボタン、または他のボタン、ノブ、ホイール、ジョイスティック、またはトラックボールも親指操作コントロールとして考慮され得る。
【0016】
コントローラ１００は、好ましくは、コントローラ本体１１０に固定されたトラッキングアーク１３０を含み、任意選択的にトラッキングアーク１３０の２つの対向する遠位端の対応する１つからそれぞれ突出する２つのノーズ部１３２、１３４を含む。トラッキングアーク１３０は、好ましくは、その中に配置された複数のトラッキングセンサーを含み、それぞれの突出するノーズ部１３２、１３４に少なくとも１つのトラッキングセンサーが配置される。コントローラ本体１１０にも追加のトラッキングセンサーが配置されることができ、好ましくは少なくとも１つの遠位トラッキングセンサーが遠位端１１１に隣接して配置される。
【0017】
前述のトラッキングセンサーは、好ましくは、電子システムによって放出される電磁放射線に応答する。例えば、電子システムは、ＶＲゲームシステムであってもよく、本システムは、ブロードキャストパルスＩＲ光を受信することができるか、またはそこから遮られることができるＩＲ光センサーであるトラッキングアーク１３０の複数のトラッキングセンサーを備えたコントローラ１００に向けてパルス赤外線（すなわちＩＲ光）を広くブロードキャスト、すなわちペイントする。各ノーズ部１３２、１３４のトラッキングセンサー（例えば、各ノーズ部の３つのセンサー）は、好ましくは、トラッキングアーク１３０の各遠位端でユーザーの手を突き出し、これにより、電子システムにより（ユーザーの手の周りに）発せられる電磁放射線に許容できない量の干渉を受けず、より角度を付けてより良く曝されるようになる。
【0018】
特定の実施形態では、ＩＲ光センサーのそれぞれは、ＩＲ透過性ポリカーボネートプラスチックの層によって覆われることができ、その層はＩＲ光がそのセンサーに影響を与えることを可能にする窓を形成することができる。例えば、ＩＲ透過性プラスチックは薄いもの（例えば、積層フィルム）でもよい。特定の実施形態では、各ＩＲセンサーは、トラッキングアーク１３０内に埋め込まれることができ、ＩＲ透過性ポリカーボネートプラスチックがその上の狭い窓を形成し、各センサーが（例えば、望ましくない内部ＩＲ反射を避けて）好ましい角度範囲からのみＩＲ光を受けるようにする。
【0019】
他の実施形態では、トラッキングアーク１３０及びコントローラ本体１１０は、望ましくない内部ＩＲ反射を低減するための外側のＩＲ不透明コーティングを備えたＩＲ透過性プラスチックから製造されてもよい。そのような実施形態では、外側のＩＲ不透明コーティングは、赤外線（ＩＲ）光センサーの位置を覆う開口部を含むことができる。複数のトラッキングセンサーの応答は、電子システムに送り返されることができ、システムはそのような応答を解釈して、コントローラ１００の位置及び向きを効果的にトラッキングすることができる。
【0020】
好ましくは、トラッキングアーク１３０及びコントローラ本体１１０は、硬質プラスチックなどの実質的に剛性の材料で作られ、互いに相対的に並進または回転しないようにしっかりと固定される。このようにして、空間内のトラッキングセンサーの配列の並進及び回転のトラッキングは、トラッキングセンサーの互いに対する動きによって複雑化されないことが好ましい。例えば、図３～図７に示されるように、トラッキングアーク１３０は、２つの場所でコントローラ本体１１０に接合されることにより、コントローラ本体１１０に固定され得る。ハンドリテーナ１２０は、これら２つの位置に隣接してコントローラ１００（コントローラ本体１１０またはトラッキングアーク１３０のいずれか）に取り付けられることができ、ユーザーの手のひらを２つの位置の間のハンドル部分１１２の外側面に対して付勢する。
【0021】
特定の実施形態では、トラッキングアーク１３０及びコントローラ本体１１０は、共に組み立てられるのではなく、材料の連続性を有する一体型モノリシック構成部品を備えてもよい。例えば、トラッキングアーク１３０とコントローラ本体１１０は、単一の射出成形プロセスステップによって共に成形されることができ、トラッキングアーク１３０とコントローラ本体１１０の両方を含む単体の一体型硬質プラスチック構成部品になることができる。或いは、トラッキングアーク１３０及びコントローラ本体１１０は、初めに別々に製造され、その後、共に組み立てられてもよい。いずれの場合も、トラッキングアーク１３０は、コントローラ本体１１０に固定されていると見なされ得る。
【0022】
ハンドリテーナ１２０は、図３では開位置で示されている。ハンドリテーナ１２０は、ＶＲゴーグル（つまり、ＨＭＤ）で視界が遮られた状態でユーザーがコントローラを掴んでいるときに、ハンドリテーナ１２０とコントローラ本体１１０との間にユーザーが左手を挿入することを容易にするために、湾曲した弾性部材１２２によって開位置で任意で付勢されてもよい。例えば、湾曲した弾性部材１２２は、任意で弾性的に曲がる可撓性金属製ストリップであってもよく、または実質的に弾性的に曲がるナイロンなどの代替的プラスチック材料で構成されてもよい。湾曲した弾性部材１２２は、ユーザーの快適性のために、任意でクッションまたは布地材料１２４（例えば、ネオプレンシース）の一部または完全に内部にあるか、またはそれで覆われていてもよい。或いは、クッションまたは布地材料１２４は、ユーザーの手に面する湾曲した弾性部材１２２の側のみに配置（例えば接着）されてもよい。
【0023】
ハンドリテーナ１２０は、例えば、ばね付勢された輪止め１２８によって締められるドローコード１２６を含むことにより、任意で長さが調整可能であってもよい。ドローコード１２６は、ランヤードとして使用されることができる余分な長さを任意で有し得る。シース１２４は、任意でドローコードに取り付けられてもよい。特定の実施形態では、湾曲した弾性部材１２２は、締められたドローコード１２８の張力によって予め荷重をかけられてもよい。そのような実施形態では、湾曲した弾性部材１２２がハンドリテーナ１２０に加える（それを開位置に付勢する）張力により、ドローコード１２８が締め付けられていないときにハンドリテーナが自動的に開くようにする。本開示はまた、留め具、（手が挿入されると一時的に伸び、弾性張力を加えて手の甲に押し付けるようになっている）弾性バンド、長さ調整を可能にするフックアンドループストラップアタッチメントなどのハンドリテーナ１２０の長さを調整する代替的な従来の方法も想定している。
【0024】
ハンドリテーナ１２０は、ハンドル部分１１２とトラッキングアーク１３０との間に配置されてもよく、また、ユーザーの手の甲に接触するように構成されてもよい。図４は、ユーザーの左手が挿入されているがコントローラ本体１１０を把持していない動作中のコントローラ１００を示している。図４では、ハンドリテーナは閉じられ、手の上で締められており、ユーザーの手のひらをハンドル部分１１２の外側面に対して物理的に付勢している。このようにして、ハンドリテーナは、閉じたときに、手がコントローラ本体１１０を把持していないときでも、コントローラ１００を手に保持することができる。図５及び図６は、ハンドリテーナ１２０が閉じられ、手がコントローラ本体１１０を把持し、親指が１つ以上の親指操作コントロール（例えば、トラックパッド１１６）を操作しているときの動作中のコントローラ１００を示している。
【0025】
コントローラ本体１１０のハンドル部分１１２は、好ましくは、その外側面の周りに部分的または完全に空間的に分布された近接センサーのアレイを含む。近接センサーのアレイは、好ましくは、ユーザーの指のハンドル部分１１２の外側面に対する近接性に応答する。例えば、近接センサーのアレイは、ハンドル部分１１２の外側面の下に埋め込まれた複数の静電容量センサーであってもよく、その外側面は電気絶縁材料を含んでいる。このような静電容量センサーのアレイとユーザーの手の一部との間の静電容量は、それらの間の距離に反比例している。静電容量は、ＲＣ発振回路を静電容量センサーアレイの素子に接続することにより検出されることができ、回路の時定数（従って、発振の周期と周波数）は静電容量と共に変化することに留意されたい。このようにして、回路は、ハンドル部分１１２の外側面からのユーザーの指の解放を検出することができる。
【0026】
ハンドリテーナ１２０（例えば、ハンドリテンションストラップ）が堅く閉じられると、コントローラ１００が手から落ちないようにするだけでなく、指の動きをより確実に感知するためにハンドル部分１１２の近接センサーアレイに対して指が過度に並進することを防ぐ役割を果たすことができる。電子システムは、指の解剖学的に可能な動きを具体化するアルゴリズムを含むことができ、近接センサーアレイからのセンシングをよりよく使用して、制御されたキャラクタの手の開き、指さし、またはコントローラまたは互いに対する指の他の動きをレンダリングする。このようにして、ユーザーによるコントローラ１００及び／または指の動作は、ＶＲゲームシステム、防衛システム、医療システム、産業用ロボットまたは機械、または別のデバイスの制御を支援することができる。ＶＲシステムアプリケーション（例えば、ゲーム用、トレーニング用、など）では、システムはトラッキングセンサーの動きに基づいて投げる動作をレンダリングすることができ、感知されたコントローラのハンドル部分外側面からのユーザーの指の解放に基づいて、投げられた物体の解放をレンダリングすることができる。
【0027】
従って、ハンドリテーナ１２０の機能（コントローラ１００が実際に手から離れたり、床に投げられたり落とされたりすることなく、ユーザーがコントローラ１００を「放す」ことができるようにする）は、制御電子システムの追加的機能性を有効にすることができる。例えば、ユーザーが把持するコントローラ本体１１０のハンドル部分１１２の解放及び回復が感知されると、そのような解放または把持は、次いで、物体を投げたり把持したりする（例えばＶＲで）ことを表示するためにゲームに組み込まれ得る。ハンドリテーナ１２０は、そのような機能が繰り返し安全に達成されることを可能にし得る。例えば、図３～図７の実施形態におけるハンドリテーナ１２０の位置は、例えば、ＶＲ環境で感知されたプロンプトに応じて（例えば、実際にＶＲゴーグルで目隠しされている間）ユーザーが動くとき、トラッキングアーク１３０がユーザーの手の甲を現実世界の衝撃から保護することを支援し得る。
【0028】
特定の実施形態では、コントローラ１００は、コントローラ本体１１０内に配置された充電式電池を含んでもよく、ハンドリテーナ１２０（例えば、ハンド保持ストラップ）は、充電式電池に電気的に結合された導電性充電ワイヤを含んでもよい。コントローラ１００はまた、好ましくは、電子システムの残りの部分と通信するための無線周波数（ＲＦ）送信機も含む。そのようなＲＦ送信機は、充電式電池によって電力を供給されることができ、親指操作コントロール１１４、１１５、１１６、コントローラ本体１１０のハンドル部分１１２の近接センサー、及び／またはトラッキングアーク１３０のトラッキングセンサーに応答し得る。
【0029】
図７に示すように、特定の実施形態では、コントローラ１００は、同様の右側コントローラ２００を含む一対のコントローラの左側コントローラであり得る。特定の実施形態では、コントローラ１００及び２００は、（共に）ユーザーの手及び指の両方の動作及びグリップを同時にトラッキングすることができ、例えば、ＶＲ体験を向上させる。
【0030】
特定の実施形態では、各指について、静電容量センサーの線形アレイが、対応するコントローラシェルの内部に、例えば、図３及び図４に示すように、コントローラ本体１１０のハンドル部分１１２の内部に配置される。センサーパッドは、指のクロストークを最小限に抑えながら、手のサイズの幅の最も広い範囲、及びグリップタイプを収容するように配置され、またサイズ設定されている。これらの線形アレイは、シェル内に接着されたフレキシブルプリント回路（「ＦＰＣ」）のセットの中に組み込まれている。従って、それぞれの特定の実施態様の要件に応じて、近接センサーのアレイは、ユーザーのハンドヘルドコントローラのハンドル部分の外側面の上に、中に、下に、または近くに空間的に分散され得る。特定の実施形態では、限定されないが、近接センサーのアレイの一部は、コントローラのハンドル部分に埋め込まれてもよい。特定の実施形態では、近接センサーのアレイの一部は、コントローラの上部付近（ユーザの親指が通常配置される場所の近く）、及び／またはコントローラの上部の下側（トリガーまたは他の適切なボタンまたはアクチュエータを操作するためにユーザーの人差し指が通常位置する場所の近く）など、コントローラ本体１１０のハンドル部分１１２以外の領域に配置される。
【0031】
市販の容量性センシング集積回路（「チップ」）が特定の実施形態で使用され、本明細書の後半で特定の実施形態を参照して更に詳細に説明されているように、これらのパッドに接続し、フィンガートラッキングアルゴリズムに供給される未加工の静電容量センサー値を提供する。図８は、例示的なそのようなＦＰＣ（８００）を示し、それぞれＦＰＣの上部、中央、及び底部に沿った中指（８１０）、薬指（８２０）、及び小指（８３０）用の線形パッドアレイを示している。図８に示すように中指センシングゾーンは、２０、２１、２２、２３、２４、２５、２６、２７、２８、２９、３０、及び３１のラベルが付いたセンサーを含んでいる。図８に示すように薬指センシングゾーンは、８、９、１０、１１、１２、１３、１４、１５、１６、１７、１８、及び１９のラベルが付いたセンサーを含んでいる。図８に示すように小指センシングゾーンは、３、４、５、６、及び７のラベルが付いたセンサーを含んでいる。コネクタ８５０（「Ｊ１」とも指示されている）及び８６０（「Ｊ７」とも指示されている）は、図８に示すＦＰＣ実装近接センシングアレイで使用される電気信号の、本発明の態様によるフィンガートラッキングシステムの他のコンポーネント（図示せず）への結合を容易にする。当業者が認識するように、各実施態様の特定の要件に応じて、人差し指及び親指の近接センシングアレイもまた設けられてもよい。本発明の関連する態様は、本明細書の後半でより詳細に説明されている。
【0032】
特定の実施形態におけるトレースルーティングに関して、設計目標には、トレースの長さと幅を可能な限り最小化すること、隣接する指から離してトレースをルーティングすること、及びセンシングパッド及びトレースから大きな電力またはグランドプレーンを遠ざけることが含まれる。図９は、前述の設計目標を念頭に置いて開発された、本発明の態様による例示的なＦＰＣの拡大図を示す。図８と同様に、図９は、それぞれＦＰＣの上部、中央、及び底部に沿った中指（９１０）、薬指（９２０）、及び小指（９３０）の線形パッドアレイを示す。
【0033】
図９に示すように中指センシングゾーンは、１、３、５、７、８、９、１２、１５、１８、２１、２４、及び２７のラベルが付いたセンサーを含んでいる。図９に示すように薬指センシングゾーンは、２、６、１１、１４、１７、２０、２２、２３、２５、２６、２８及び２９のラベルが付いたセンサーを含んでいる。図９に示すように小指センシングゾーンは、４、１０、１３、１６、及び１９のラベルが付いたセンサーを含んでいる。図９に示されるように、ＦＰＣ実装近接センサーアレイ内のトレース（すなわち、電気的相互接続）の長さ及び位置は、当業者が認識するように、設計プロセスの一部として決定される。例えば、図９に示される例示的なトレース９４０は、比較的長く、ＦＰＣの（手のひら側に対向するように）指側にある。
【0034】
いくつかの実施形態では、フィンガーパッド間に非対称クロスカップリングがあってもよい。つまり、例えば、中指を動かすと薬指と小指の静電容量の読み取り値に大きな影響を与え得るが、その逆はない。これは、トレースルーティングが原因である場合がある。特定の実施形態では、センシングパッドはメインボードから遠くに配置される必要があるため、センシングパッドに到達するトレース自体がかなり長くなる場合がある。その結果、特定の実施形態では、トレースの銅領域はセンシングパッド領域の１０％にもなり、トレースをその長さに沿った弱いセンシングパッドとして機能させることができる。例えば、薬指と小指用のトレースが中指の真下に配線されると、このことが問題になる場合がある。
【0035】
特定の実施形態では、すべてのトレースを手のひら側にルーティングすることにより、トレース容量の悪影響がほぼ完全に取り除かれることができる。トレースは依然として弱いセンシング素子として機能する場合がある。但し、特定の実施形態では、手のひらがコントローラと一貫して接触するために、影響は較正して除かれることができる。図１０は、本発明の態様による特定の実施形態における別の例示的なＦＰＣの拡大図を示し、トレースがどのように短縮されることができ、また、どのようにＦＰＣの手のひら側に移動されることができるかを示す。図８及び図９と同様に、図１０は、それぞれＦＰＣの上部、中央、及び底部に沿った中指（８１０）、薬指（８２０）、及び小指（８３０）の線形パッドアレイを示す。図９とは対照的に、図１０のトレースは比較的短く、ＦＰＣの手のひら側に配置されており、図１０では一般的に見えないようになっている（但し、トレース（８４０）などの比較的短いトレースがいくつか観察される場合がある）。図１０に示されているＦＰＣは、概して、図８に示されたＦＰＣに対応しており、従って、これらの２つの図は、同一の、または類似の部品を指すために同じ参照番号を使用している。
【0036】
特定の実施形態におけるアクティブトレース静電容量補正に関して、採用され得る別個の方法は、手のひらに面するパッドを使用してトレース静電容量バイアスを推定することである。このことは、所与のトレースバンドルの長さに沿って、手のひらに面するすべてのパッドに小さな負の重みを割り当てることにより実現され得る。より一般的には、隣接するパッドとトレースとの間のクロスカップリングを１次まで打ち消すために加重和が使用され得る。
【0037】
特定の実施形態では、より小さく、より多くのパッドが好ましく、線形パッドアレイがそれぞれの指に割り当てられ、可能な限り間隔を空けている。図１１Ａ、１１Ｂ、及び１１Ｃは、本発明の態様によるグリップＦＰＣの３つの実施形態（それぞれ１１００、９００、及び８００）を描いており、パッド数、間隔、及びルーティングの可能性のある変化を示している。概して、図１１Ａ、１１Ｂ、及び１１Ｃは、特定の実装に関してＦＰＣ設計がどのように進化したかを示している。図１１Ａは、（一般的に図９に対応する）図１１Ｂに示される、後のＦＰＣ設計（９００）と比較して、静電容量センシングゾーンがより少なく、トレースルーティングがより洗練されていない、より古いＦＰＣ設計（１１００）を示している。例えば、図１１Ａは、例示的なそのようなＦＰＣ（１１００）の初期設計を描いており、ＦＰＣの上部、中央、及び底部に沿った中指（１１１０）、薬指（１１２０）、及び小指（１１３０）の線形パッドアレイをそれぞれ示している。しかし、図１１Ａに示されるような中指センシングゾーン１１１０は、単一のセンサーを含む。同様に、図１１Ａに示されるような薬指センシングゾーン１１２０も、単一のセンサーを含み、図１１Ａに示されるような小指センシングゾーン１１３０もまた、単一のセンサーを含む。図１１Ｃ（アイテム８００）は、（図８及び図１０にも示されるように、そして前述のように）更なる改良を示している。
【0038】
この発明を実施するための形態に記載のデータ構造とコードは、通常、コンピュータ可読記憶媒体に格納され、記憶媒体は、コンピュータシステムで使用するコード及び／またはデータを格納できる任意のデバイスまたは媒体であり得る。これには、ディスクドライブ、磁気テープ、ＣＤ（コンパクトディスク）、及びＤＶＤ（デジタル多用途ディスクまたはデジタルビデオディスク）などの磁気及び光学ストレージデバイス、並びに伝送媒体で具現化されたコンピュータ命令信号（信号が変調される搬送波を有する、または有さない）が含まれるが、これらに限定されない。例えば、伝送媒体は、インターネットなどの通信ネットワークを含み得る。
【0039】
図１２は、本発明の特定の実施形態の態様を実装するために使用され得るコンピューティングデバイス１２００の例示的な図である。コンピューティングデバイス１２００は、バス１２０１、１つ以上のプロセッサ１２０５、メインメモリ１２１０、読取り専用メモリ（ＲＯＭ）１２１５、ストレージデバイス１２２０、１つ以上の入力デバイス１２２５、１つ以上の出力デバイス１２３０、及び通信インターフェース１２３５を含むことができる。バス１２０１は、コンピューティングデバイス１２００のコンポーネント間の通信を可能にする１つ以上の導体を含むことができる。プロセッサ１２０５は、命令を解釈して実行する任意のタイプの従来のプロセッサ、マイクロプロセッサ、または処理ロジックを含むことができる。メインメモリ１２１０は、プロセッサ１２０５による実行のための情報及び命令を記憶するランダムアクセスメモリ（ＲＡＭ）または別のタイプの動的ストレージデバイスを含むことができる。ＲＯＭ１２１５は、プロセッサ１２０５が使用するための静的情報及び命令を格納する従来式ＲＯＭデバイス、または別のタイプの静的ストレージデバイスを含むことができる。ストレージデバイス１２２０は、磁気及び／または光学記録媒体、並びにその対応するドライブを含むことができる。入力デバイス（複数可）１２２５は、キーボード、マウス、ペン、スタイラス、手書き認識、音声認識、生体認証メカニズムなどのコンピューティングデバイス１２００にユーザーが情報を入力できるようにする１つ以上の従来式メカニズムを含むことができる。出力デバイス（複数可）１２３０は、ディスプレイ、プロジェクタ、Ａ／Ｖ受信機、プリンタ、スピーカなどを含む、ユーザーに情報を出力する１つ以上の従来式メカニズムを含むことができる。通信インターフェース１２３５は、コンピューティングデバイス／サーバー１２００が他のデバイス及び／またはシステムと通信することを可能にする任意のトランシーバーのようなメカニズムを含むことができる。コンピューティングデバイス１２００は、データストレージデバイス１２２０などの別のコンピュータ可読媒体から、または通信インターフェース１２３５を介して別のデバイスからメモリ１２１０に読み込まれ得るソフトウェア命令に基づいて動作を実行することができる。メモリ１２１０に含まれるソフトウェア命令は、プロセッサ１２０５に、後述するプロセスを実行させる。或いは、本発明と整合するプロセスを実行するために、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせてハードワイヤード回路が使用されてもよい。従って、様々な実施態様は、ハードウェア回路とソフトウェアの特定の組み合わせに限定されていない。
【0040】
特定の実施形態では、メモリ１２１０は、限定するものではないが、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭまたは他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含むことができ、また、限定するものではないが、１つ以上の磁気ディスクストレージデバイス、光学ディスクストレージデバイス、フラッシュメモリデバイス、または他の不揮発性ソリッドステートストレージデバイスなどの不揮発性メモリを含むことができる。メモリ１２１０は、プロセッサ（複数可）１２０５から遠隔に位置する１つ以上のストレージデバイスを任意で含むことができる。メモリ１２１０、またはメモリ１２１０内の１つ以上のストレージデバイス（例えば、１つ以上の不揮発性ストレージデバイス）は、コンピュータ可読記憶媒体を含むことができる。特定の実施形態では、メモリ１２１０またはメモリ１２１０のコンピュータ可読記憶媒体は、以下のプログラム、モジュール、及びデータ構造のうちの１つ以上を格納することができ、それらは、様々な基本システムサービスを処理し、ハードウェア依存型タスクを実行する手順を含むオペレーティングシステムと、１つ以上の通信ネットワークインターフェース、及びインターネット、その他のワイドエリアネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなどの１つ以上の通信ネットワークを介して、コンピューティングデバイス１２１０を他のコンピュータに接続するために使用されるネットワーク通信モジュールと、ユーザーがコンピューティングデバイス１２００と対話できるようにするクライアントアプリケーションである。
【0041】
図１３は、特定の実施形態における本発明の態様によるフィンガートラッキング技術のブロック図を示す。図１３に示すように、特定の実施形態によるフィンガートラッキングアルゴリズム１３００は、その入力として、未加工の静電容量センサー値（すなわち、容量性近接センサーアレイ１３１０の出力）を用いる。このようなアレイの例は、図８～図１１Ｃに示され、上記で説明されている。フィンガートラッキングアルゴリズム１３００は、追跡されているユーザーの指のそれぞれに対応する関節角度のセット（１３５０）を出力する。初期化時には、ジェスチャー検出技術（１３２０）を使用して特定の手のジェスチャーについて未加工のセンサーデータ（１３１５）が監視される。特定の実施形態に関するジェスチャー検出に基づいた、そのような初期化の例示的な詳細は、後で説明されている。検出されると、特定の最小／最大値（１３２５）が計算され、未加工のセンサーデータがユーザー用に正規化され得る。正規化されたデータは、次いでカールロジック（１３３０）を通って、グロスフィンガーカール（１３３５）の線形推定値が生成される。この正規化されたデータが、次いで運動学的フィンガーモデル（１３４０）で処理され、追跡対象の個々の指関節角度の推定値を生成する（１３５０）。関節角度（１３５０）は、次いで、レンダリングロジック（１３６０）によって処理されることができ、ユーザー（または１人以上の他のユーザー）への表示のためにレンダリングされ得るハンドメッシュを変形する。本発明の態様によるフィンガートラッキング技術の前述のコンポーネントに関する追加的な詳細は、本明細書全体にわたって説明されている。
【0042】
既に説明したように、特定の実施形態では、追跡される各指は、指の長さに沿って概ね整列した静電容量センサーの対応する線形アレイを有する。手を完全に開くと、各センサー出力は低い値になる。指がコントローラの周りで閉じると、各静電容量センサーからのアナログ値がほぼ指数関数的に増加する。指がコントローラの表面に接触し、中心に近づくことができない場合、センサー出力は最大値で停止する。図１３に示すように、各実施形態（１３１５）で使用される静電容量近接センサーアレイの出力は、初期化の目的でカールロジック（１３３０）及びジェスチャー検出ロジック（１３２０）にルーティングされることができる。
【0043】
特定の実施形態によるジェスチャー検出ロジック（１３２０）に関して、正規化ステップを実行するためには、各センサーの最小値と最大値を最初に決定する必要がある。これらの値はセンサーごとに異なる場合があり、人ごとに変化する場合があり、また、（例えば、発汗によって）ユーザーの皮膚の静電容量が変化するときに、またはユーザーが握りを調整するときに、プレイセッションの間で変化する場合があることから、このことは特定の実施形態では問題となる場合がある。
【0044】
特定の実施形態におけるこの困難を克服するために、未加工の静電容量値が監視されることができ、既知のジェスチャーの識別が試みられることができる（例えば、手を開いて何かを掴むなど）。ジェスチャーの開始時と終了時の指のポーズについて想定することにより、最小及び最大の合成値が推定され得る。このようにして、プレイセッションの間に再較正が継続的に実行され得る。
【0045】
特定の実施形態では、選択された標準ジェスチャーは、「把握解放」である。つまり、ユーザーがゲーム内のある仮想物体に手を伸ばすときか、または意図的な較正アクションを実行するときのいずれかに、ユーザーが素早く手を開いたときの検出が試みられる。この選択は、これがプレイセッションの中で早い段階で、そして多く起こることが予測されていることから、特定の実施形態において望ましい。
【0046】
このジェスチャーを検出するために、最後のＮ個の静電容量性サンプルの履歴が保存される。すべてのタイムステップで、次いで、この履歴が使用され、すべての指からのセンサーのサブセットで大きな立ち下がりエッジを見つけ出す。いずれかのタイムステップで、これらのサブセット内ですべてのセンサーで立ち下がりエッジが検出された場合、ジェスチャーが検出されたと言われる。このジェスチャーが検出されると、各パッドのセンサー履歴で別個のルーチンが実行され、その最小値と最大値が決定される。ジェスチャー検出が急速に発生することを防止するために、各ジェスチャー検出イベントの後に、ロックアウト期間が強制されている（現在は０．５秒に設定されている）。ジェスチャー検出の誤検出に対してロバストであるために、以前に検出された最小値と最大値の履歴（特定の実施形態ではＮは５に等しい）が保存されており、カールロジック値の中央値のみを使用することを選択する。
【0047】
図１４は、特定の実施形態における本発明の態様によるフィンガートラッキング技術（１４００）のブロック図を示す。図１４に示すように、各指のカール量を推定するためには、初めに、各センサーの出力（すなわちａ１…ａｉ…ａＮ）を前述の最小値と最大値の間で（正規化ロジック１４１０を使用して）正規化することにより、指のカールの全体量に対する各センサーの寄与が計算され、正規化されたセンサー出力が、手が完全に開いているときはゼロ（カールがゼロ）に、手が完全に閉じているときは１（カールが１）になるようになる。ここでは、「正規化」という用語が一般的な意味で使用されており、出力は範囲［０，１］に制限されないことに留意されたい。つまり、各特定の実施態様の要件に応じて、ユーザーがコントローラを強く握ると出力が１を超え、ユーザーが過度に指を伸ばすと０を下回ることができる。
【0048】
未加工の静電容量値が正規化されると、加重和（１４２０）が実行され、フィルター処理されていないフィンガーカール量が生成される。重み（ｗｉ）は、Ｎ個の加重の和が１に等しくなるように選択され、つまり、下式となる。
【数1】
【0049】
このフィルター処理されていないフィンガーカール値は、最初に中央値フィルター（１４３０）に通され、次にバックラッシュフィルター（１４４０）に通される。中央値フィルター（１４３０）は過渡スパイクを除去する働きをし、バックラッシュフィルター（１４４０）は指の動きがほとんどまたはまったくない期間にベースラインセンサーノイズを除去する働きをする。
【0050】
フィルターカール値は、カーブフィットロジック（１４５０）を通って処理され、最終的なフィンガーカール量を生成し、関節モデル（１４６０）を介して関節角度（１４７０）のセットを生成する。各特定の実施態様の特定の要件に応じて、より複雑な曲線を使用することもできるが、単純な指数近似で十分な場合がある。
【0051】
特定の実施形態を参照して前述した（例えば、初期化のための）ジェスチャー検出方法は、手が完全に開いている（カールがゼロに等しい）とき、及び完全に閉じている（カールが１に等しい）ときの静電容量センサー値の決定を容易にする。但し、この方法は、中間点に関する詳細は提供しない。カールロジックは、指全体に対して概ね線形化されたカール値を生成するが、指の各関節の角度を生成するには、各指の追加モデルが必要となる。
【0052】
関節モデル（例えば、図１４に示すアイテム１４６０）に対応して、図１５Ａ及び図１５Ｂは、本発明の態様による、完全に伸ばされた指（図１５Ａ）及び完全にカールされた指（図１５Ｂ）の関節角度を示す運動学的図を示す。図１５Ａ及び図１５Ｂに示すように、特定の実施形態では、単純な比例モデルが想定されることができ、そこでは関節角度は単一のスケールファクタを介して互いに関連しており、つまり下式となる。
θ1=k1C
θ2=k2C
θ3=k3C
θ1=k1C
θ2=k2C
θ3=k3C
【0053】
スケールファクタは、実験的に決定されており、特定の手と物体メッシュについて、カール値が１の場合、指がその物体に完全に巻き付くようになっている。実際上、これは指が完全に伸びたときに１つのキーフレームを含むアニメーションを作成し、物体に完全に巻き付いたときに別のキーフレームを含むアニメーションを作成し、カール値を使用してそれらの間を補間することによって実現される。
【0054】
他の実施形態では、各特定の実施態様の要件に応じて、関節角度間の関係がより複雑になる場合があり、より詳細なフィンガーモデルが実装されることができる。
【0055】
特定の実施形態では、把握－把握解放イベント中に変化しない手のひら側パッドは、ゼロに重み付けされるべきである。また、特定の実施形態において負に重み付けされたパッドは、指間のクロストークを排除する役割を果たすことができる。但し、信号範囲が狭い手のひら側パッドは、ノイズを生じることがある。
【0056】
図１６は、ユーザーがマルチユーザー環境で自身または他のユーザーが投影される画像として、関節のある指を仮想現実環境内でどのように示すことができるかを描いた本発明の態様による例示的仮想現実ディスプレイを示す。図１６に示すように、１人のユーザーが見ている仮想現実ディスプレイ（１６００）は、別のユーザーの頭部の表現（１６１０）、並びにそのユーザーの左手（１６３０）と右手（１６２０）の（及び対応する指）の仮想表現を含むことができる。本発明の態様に従ってフィンガートラッキング技術を実装することにより、このシーンを見るユーザー（１６００）は、他のユーザーの指の位置及び向き（及び／またはハンドジェスチャー）に対応する視覚情報を受け取る。具体的には、見られているユーザーの左手（１６３０）の仮想表現は、人差し指が伸ばされ、同時に中指、薬指、小指が完全にカールしているポインティングジェスチャーを示しているように見える。対照的に、見られているユーザーの右手（１６２０）の仮想表現は、人差し指と小指が伸び、同時に中指と薬指が完全にカールして親指が中指で握られている「ロックオン」ジェスチャーを示しているように見える。
【0057】
更に、続けて図１６を参照すると、シーンを見るユーザー（１６００）は、本発明に従ってフィンガートラッキング技術を実装することにより、自身のハンドジェスチャーに対応する視覚的表現を受け取ることができる。例えば、シーン（１６００）を見ているユーザーの左手の部分（１６４０）は、シーン内で親指と人差し指が伸びているように見える。ユーザーが自身の左手を、シーン（１６００）内に表される特定の時点で、レンダリングされている画像フレームの外に出しているので、ユーザーの左手のその他の部分は例示のシーン（１６００）には表示されていない。
【0058】
図１７は、特定の実施形態における本発明の態様による静電容量センシング能力／マッピング（１７００）を示し、４つの静電容量センシングゾーン、すなわち、ハンドヘルド制御デバイス（１００）内の人差し指センシングゾーン（１７５０）、中指センシングゾーン（１７１０）、薬指センシングゾーン（１７２０）、及び小指センシングゾーン（１７４０）を示している。各特定の実施態様の要件に応じて、ユーザーの親指がある領域の近く（例えば、図１７に示すようにコントローラ１００の上部近く）に静電容量センシングゾーンが組み込まれることができ、ユーザーの親指の位置追跡に基づくボタン及び／またはトラックパッドの機能の親指起動を容易にする。これについては、例えば図１８を参照して、本明細書において、後ほど詳しく説明する。特定の実施形態では、本発明の態様によるフィンガートラッキング技術によって様々な変数／値が生成されることができ、それぞれがユーザーの所与の指のフィンガートラッキングアルゴリズムの出力に対応している。当業者が認識するように、これらの変数／値は、ＶＲシステムの他のコンポーネントに送信されることができ、例えば、図１６に示されるような関節のあるユーザーの指位置情報を有する表示を生成する。
【0059】
更に、特定の実施形態では、１つ以上の力センシング抵抗器（ＦＳＲ）は、コントローラの上部付近（ユーザーの親指が通常ある場所の下）、及び／またはユーザーがコントローラ本体のハンドル部分を保持している間に、ユーザーの中指、薬指、及び／または小指が通常コントローラの本体と接触する領域の下など、コントローラ（１００）の様々な領域で外側面に組み込まれることができる。そのようなＦＳＲまたは他の適切なセンサーからのデータは、特定の実施形態における本発明の態様によるフィンガートラッキング技術に組み込まれることができ、フィンガートラッカーの出力の精度を改善する。同様に、例えば、当業者には既知のセンサー融合技術を使用して、コントローラのハンドル部分に対するユーザーのいずれかの指の場所に関する他のあらゆる利用可能な情報も、本発明の態様によるフィンガートラッキング技術に組み込むことができ、精度及び／または他の望ましいトラッキング性能パラメータを改善する。
【0060】
図１８は、本明細書で説明するフィンガートラッキング技術を実装する特定の実施形態における本発明の態様によるコントローラ（１００）を示し、ユーザーの親指によって制御及び／または起動され得る４つのゾーン／ボタン、すなわちトラックパッドゾーン（１８１０）、内側ボタン（１８２０）、外側ボタン（１８３０）、及びシステムボタン（１８４０）を示している。各実施態様の特定の要件に応じて、ボタン（１８２０、１８３０、１８４０）は、適切なゾーンを物理的に押すことにより、または起動されているボタンの近くでユーザーの親指の先端を検出することにより起動されることでき、一方でトラックパッドゾーン（１８１０）は、トラックパッドゾーン（１８１０）内の複数のサブゾーンに対するユーザーの親指の先端の位置を検出することによって制御されることができる。
【0061】
本発明は、本明細書の具体的な例示的な実施形態を参照して説明されているが、当業者は、本発明がそれらに限定されないことを認識するであろう。本発明の様々な特徴及び態様は、個別にまたは合わせて使用されることができ、場合によっては異なる環境または用途で使用され得ることが企図されている。従って、本明細書及び図面は、制限的ではなく、例示的、且つ実例的なものと見なされるべきである。例えば、「好ましくは」という単語及び「好ましいが必然ではない」という語句は、本明細書では同義的に使用されており、「必然ではなく」または任意選択の意味を一貫して含んでいる。「含む（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「有する（ｈａｖｉｎｇ）」は、無制限の用語であると意図されている。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］ ハンドル部分を有するコントローラ本体と、
前記ハンドル部分に結合され、前記ハンドル部分を握るユーザーの指の近接性に応答して出力信号を生成する近接センサーと、
前記出力信号に少なくとも部分的に基づいて、前記指の推定された関節角度を計算するように構成されたフィンガートラッカーコンポーネントと、
を含むハンドヘルドコントローラ。
［２］ 前記推定された関節角度を処理して表示のためにレンダリングされているハンドメッシュを変形させるためのレンダラーを更に含む、［１］に記載のコントローラ。
［３］ 前記フィンガートラッカーコンポーネントが、
前記ユーザーに関する前記出力信号に少なくとも部分的に基づいて値のセットを計算し、それにより、正規化された指検出データのセットを生成する正規化群と、
前記正規化された指検出データのセットを処理して前記推定された関節角度を計算するカールロジックコンポーネントと、
を含む、［１］に記載のコントローラ。
［４］ 前記コントローラが、仮想現実システムと共に使用するためのものである、［１］に記載のコントローラ。
［５］ 前記コントローラが、前記コントローラ本体内部に配置された充電式バッテリーを含む、［１］に記載のコントローラ。
［６］ 前記コントローラが、前記コントローラ本体に固定されたトラッキングアークを含む、［１］に記載のコントローラ。
［７］ 前記トラッキングアーク内に配置された第１の複数のトラッキングセンサーであって、前記電子システムによって発せられた電磁放射線に応答している前記第１の複数のトラッキングセンサーを更に含む、［６］に記載のコントローラ。
［８］ 前記コントローラが、前記ユーザーの手のひらを前記ハンドル部分の前記外側面に対して物理的に付勢するように構成されたハンドリテーナを含む、［１］に記載のコントローラ。
［９］ 前記コントローラ本体が、前記ハンドル部分から延びる遠位ヘッドを更に備え、前記遠位ヘッドが、遠位端、及び前記ハンドル部分と前記遠位端との間に配置された少なくとも１つの親指操作コントロールを含む、［１］に記載のコントローラ。
［１０］ 前記近接センサーが、前記ハンドル部分の前記外側面の下に埋め込まれた複数の静電容量センサーを含み、前記外側面が電気絶縁材料を含む、［１］に記載のコントローラ。
［１１］ ユーザーハンドヘルドコントローラのハンドル部分に結合され、前記ハンドル部分を掴むユーザーの指の近接性に応答する近接センサーの出力を受信することと、
前記指の前記関節角度の推定値を計算することと、
を含む方法。
［１２］ 前記指の前記関節角度の前記推定値に基づいてハンドメッシュを変形して、変形されたハンドメッシュを生成することと、
表示のために前記変形されたハンドメッシュをレンダリングすることと、
を更に含む、［１１］に記載の方法。
［１３］ 前記ユーザーによる所定のハンドジェスチャーを検出するまで前記近接センサーの前記出力をモニタリングすることを更に含む、［１１］に記載の方法。
［１４］ 前記所定のハンドジェスチャーが、把握解放ジェスチャーを含む、［１３］に記載の方法。
［１５］ 前記近接センサーが１つ以上のフレキシブルプリント回路に組み込まれており、前記フレキシブルプリント回路のそれぞれが前記ハンドル部分の内側面に取付けられている、［１］に記載のコントローラ。
［１６］ 前記近接センサーが１つ以上のフレキシブルプリント回路に組み込まれており、前記フレキシブルプリント回路のそれぞれが前記ハンドル部分の内側面に取付けられている、［１１］に記載の方法。
［１７］ 前記近接センサーが、複数の静電容量センサーを含むアレイを含む、［１］に記載のコントローラ。
［１８］ 前記近接アレイの前記出力に少なくとも部分的に基づいて複数の値を計算して前記ユーザーに関する前記近接センサーの前記出力の正規化を促進し、それにより、正規化された指検出データのセットを生成することを更に含む、［１１］に記載の方法。
［１９］ 前記正規化された指検出データをカールロジックのセットを通して処理して前記ユーザーに関するフィンガーカール推定値を生成し、それにより、前記関節角度の前記推定値を計算することを更に含む、［１８］に記載の方法。
［２０］ 前記推定値が線形推定値である、［１９］に記載の方法。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］ ハンドル部分を有するコントローラ本体と、
前記ハンドル部分に結合され、前記ハンドル部分を握るユーザーの指の近接性に応答して出力信号を生成する近接センサーと、
前記出力信号に少なくとも部分的に基づいて、前記指の推定された関節角度を計算するように構成されたフィンガートラッカーコンポーネントと、
を含むハンドヘルドコントローラ。
［２］ 前記推定された関節角度を処理して表示のためにレンダリングされているハンドメッシュを変形させるためのレンダラーを更に含む、［１］に記載のコントローラ。
［３］ 前記フィンガートラッカーコンポーネントが、
前記ユーザーに関する前記出力信号に少なくとも部分的に基づいて値のセットを計算し、それにより、正規化された指検出データのセットを生成する正規化群と、
前記正規化された指検出データのセットを処理して前記推定された関節角度を計算するカールロジックコンポーネントと、
を含む、［１］に記載のコントローラ。
［４］ 前記コントローラが、仮想現実システムと共に使用するためのものである、［１］に記載のコントローラ。
［５］ 前記コントローラが、前記コントローラ本体内部に配置された充電式バッテリーを含む、［１］に記載のコントローラ。
［６］ 前記コントローラが、前記コントローラ本体に固定されたトラッキングアークを含む、［１］に記載のコントローラ。
［７］ 前記トラッキングアーク内に配置された第１の複数のトラッキングセンサーであって、前記電子システムによって発せられた電磁放射線に応答している前記第１の複数のトラッキングセンサーを更に含む、［６］に記載のコントローラ。
［８］ 前記コントローラが、前記ユーザーの手のひらを前記ハンドル部分の前記外側面に対して物理的に付勢するように構成されたハンドリテーナを含む、［１］に記載のコントローラ。
［９］ 前記コントローラ本体が、前記ハンドル部分から延びる遠位ヘッドを更に備え、前記遠位ヘッドが、遠位端、及び前記ハンドル部分と前記遠位端との間に配置された少なくとも１つの親指操作コントロールを含む、［１］に記載のコントローラ。
［１０］ 前記近接センサーが、前記ハンドル部分の前記外側面の下に埋め込まれた複数の静電容量センサーを含み、前記外側面が電気絶縁材料を含む、［１］に記載のコントローラ。
［１１］ ユーザーハンドヘルドコントローラのハンドル部分に結合され、前記ハンドル部分を掴むユーザーの指の近接性に応答する近接センサーの出力を受信することと、
前記指の前記関節角度の推定値を計算することと、
を含む方法。
［１２］ 前記指の前記関節角度の前記推定値に基づいてハンドメッシュを変形して、変形されたハンドメッシュを生成することと、
表示のために前記変形されたハンドメッシュをレンダリングすることと、
を更に含む、［１１］に記載の方法。
［１３］ 前記ユーザーによる所定のハンドジェスチャーを検出するまで前記近接センサーの前記出力をモニタリングすることを更に含む、［１１］に記載の方法。
［１４］ 前記所定のハンドジェスチャーが、把握解放ジェスチャーを含む、［１３］に記載の方法。
［１５］ 前記近接センサーが１つ以上のフレキシブルプリント回路に組み込まれており、前記フレキシブルプリント回路のそれぞれが前記ハンドル部分の内側面に取付けられている、［１］に記載のコントローラ。
［１６］ 前記近接センサーが１つ以上のフレキシブルプリント回路に組み込まれており、前記フレキシブルプリント回路のそれぞれが前記ハンドル部分の内側面に取付けられている、［１１］に記載の方法。
［１７］ 前記近接センサーが、複数の静電容量センサーを含むアレイを含む、［１］に記載のコントローラ。
［１８］ 前記近接アレイの前記出力に少なくとも部分的に基づいて複数の値を計算して前記ユーザーに関する前記近接センサーの前記出力の正規化を促進し、それにより、正規化された指検出データのセットを生成することを更に含む、［１１］に記載の方法。
［１９］ 前記正規化された指検出データをカールロジックのセットを通して処理して前記ユーザーに関するフィンガーカール推定値を生成し、それにより、前記関節角度の前記推定値を計算することを更に含む、［１８］に記載の方法。
［２０］ 前記推定値が線形推定値である、［１９］に記載の方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
