特許 7530470 ＸＲ仮想トラックパッド

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-30

(45)【発行日】2024-08-07

(54)【発明の名称】ＸＲ仮想トラックパッド

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240731BHJP

   G06F 3/0485 20220101ALI20240731BHJP

   G06F 3/0346 20130101ALI20240731BHJP

   G06T 19/00 20110101ALI20240731BHJP

【ＦＩ】

G06F3/01 570

G06F3/0485

G06F3/0346 426

G06T19/00 A

【請求項の数】 20

【外国語出願】

(21)【出願番号】P 2023042845

(22)【出願日】2023-03-17

(65)【公開番号】P2024018906

(43)【公開日】2024-02-08

【審査請求日】2023-03-17

(31)【優先権主張番号】63/393,173

(32)【優先日】2022-07-28

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】18/119,697

(32)【優先日】2023-03-09

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100121980

【弁理士】

【氏名又は名称】沖山 隆

(74)【代理人】

【識別番号】100128107

【弁理士】

【氏名又は名称】深石 賢治

(74)【代理人】

【識別番号】100123995

【弁理士】

【氏名又は名称】野田 雅一

(72)【発明者】

【氏名】劉 永哲

(72)【発明者】

【氏名】田中 佑弥

(72)【発明者】

【氏名】大迫 陽二

【審査官】岸 智史

(56)【参考文献】

【文献】米国特許出願公開第２０２２／０２２９５３４（ＵＳ，Ａ１）

【文献】米国特許第１１０５４８９６（ＵＳ，Ｂ１）

【文献】特表２０１７－５１７０８４（ＪＰ，Ａ）

【文献】特表２０２１－５０８１１５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０１８８８９４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１、３／０４８－３／０４８９５

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

画像認識及びハンドトラッキングを使用して、ユーザが当該ユーザの片手を見ていると 特定するステップと、
前記ユーザが前記片手を見ていると特定された場合に、前記片手の位置、向き、及び速 度について取り込まれたデータを変換することで、前記片手のデジタルモデルを生成する ステップと、
前記デジタルモデルから前記片手の位置を識別するステップと、
前記ユーザが前記片手を見ていると特定された場合に、エクステンドリアリティ（ＸＲ）デバイスからのハンドトラッキング位置データを使用して仮想トラックパッドを前記ユーザの前記片手の位置に投影するステップと、
前記片手に投影された前記仮想トラックパッドを横切って１つ又は複数の指が動かされている際に、ハンドトラッキングを介して、前記１つ又は複数の指の動きを検知するステップと、
前記１つ又は複数の指の動きに基づいて、前記ＸＲデバイスによってディスプレイ上に表示されているユーザインターフェース（ＵＩ）を制御するステップと、
を含む方法。

【請求項9】

ユーザインターフェースを制御するためのコンピューティングシステムであって、
１つ又は複数のプロセッサと、
命令を格納している１つ又は複数のメモリと、
を備え、
前記命令は、前記１つ又は複数のプロセッサによって実行されたときに、
画像認識及びハンドトラッキングを使用して、ユーザが当該ユーザの片手を見ている と特定するステップと、
前記ユーザが前記片手を見ていると特定された場合に、前記片手の位置、向き、及び 速度について取り込まれたデータを変換することで、前記片手のデジタルモデルを生成す るステップと、
前記デジタルモデルから前記片手の位置を識別するステップと、
前記ユーザが前記片手を見ていると特定された場合に、エクステンドリアリティ（ＸＲ）デバイスからのハンドトラッキング位置データを使用して仮想トラックパッドを前記ユーザの前記片手の位置に投影するステップと、
前記片手に投影された前記仮想トラックパッドを横切って１つ又は複数の指が動かされている際に、ハンドトラッキングを介して、前記１つ又は複数の指の動きを検知するステップと、
前記１つ又は複数の指の動きに基づいて、前記ＸＲデバイスによってディスプレイ上に表示されているユーザインターフェース（ＵＩ）を制御するステップと、
を含むプロセスを、前記コンピューティングシステムに実行させる、
コンピューティングシステム。

【請求項16】

命令を格納している１つ又は複数の非一時的なコンピュータ読み取り可能な記憶媒体であって、
前記命令は、少なくともプロセッサとメモリとを内部に有しているシステムによって実行されたときに、
画像認識及びハンドトラッキングを使用して、ユーザが当該ユーザの片手を見ている と特定するステップと、
前記ユーザが前記片手を見ていると特定された場合に、前記片手の位置、向き、及び 速度について取り込まれたデータを変換することで、前記片手のデジタルモデルを生成す るステップと、
前記デジタルモデルから前記片手の位置を識別するステップと、
前記ユーザが前記片手を見ていると特定された場合に、エクステンドリアリティ（ＸＲ）デバイスからのハンドトラッキング位置データを使用して仮想トラックパッドを前記ユーザの前記片手の位置に投影するステップと、
前記片手に投影された前記仮想トラックパッドを横切って１つ又は複数の指が動かされている際に、ハンドトラッキングを介して、前記１つ又は複数の指の動きを検知するステップと、
前記１つ又は複数の指の動きに基づいて、前記ＸＲデバイスによってディスプレイ上に表示されているユーザインターフェース（ＵＩ）を制御するステップと、
を含むオペレーションを、前記システムに実行させる、
１つ又は複数の非一時的なコンピュータ読み取り可能な記憶媒体。

【請求項19】

前記ユーザの２本以上の指のうち少なくとも１本の指が前記仮想トラックパッドを横切 って移動するときの当該少なくとも１本の指の移動方向を示す１つ以上の仮想オブジェク トを、仮想環境に表示するステップであって、前記１つ以上の仮想オブジェクトは、前記 少なくとも1本の指が前記仮想トラックパッドを横切って移動するときに前記ユーザイン
ターフェース内で移動する前記少なくとも１本の指の終点を示すインジケータを有する、 当該仮想環境に表示するステップと、
前記ユーザインターフェースに表示された項目を前記ユーザがカーソルで選択できる前 記ユーザインターフェース内の位置を示す、少なくとも１つの衝突検知エリアを前記ユー ザインターフェースに表示するステップと、
をさらに含む、請求項１に記載の方法。

【請求項20】

前記動きの方向は、第１の形状を有する第１のオブジェクトによって表され、
少なくとも１本の指の終点を表す指標は、前記第１の形状とは異なる第２の形状を有す る第２のオブジェクトによって表される、請求項１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

[0001]本出願は、２０２２年７月２８日に出願された「ＸＲ Ｖｉｒｔｕａｌ Ｔｒａｃｋｐａｄ」と題される米国特許仮出願第６３／３９３，１７３号の利益を主張するものであり、その全体が参照によって組み込まれる。

【背景技術】

【0002】

[0002]人工現実、エクステンデッドリアリティ、又はエクストラリアリティ（総称して「ＸＲ」）は、ユーザへの提示の前に何らかの様式で調整されている現実の形態であり、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッドリアリティ、又はそれらの何らかの組合せ及び／若しくは派生物を含み得る。さまざまなＸＲ環境が存在しており、ユーザたちの表象が動き回って互いと話すことを可能にしている。しかしながら、ユーザインターフェース（ＵＩ）及びユーザ体験（ＵＸ）には限界がある。たとえば、ユーザインターフェースは、ハンドトラッキングに依存している場合が多く、常に効果的に動作するとは限らず、ユーザにとって不快である場合さえある。すなわち、従来技術のＸＲデバイスに関するユーザインターフェースは、典型的には、ＸＲデバイスによって実行されるハンドトラッキングによって追跡される手のジェスチャを使用して制御される。しかしながら、そのようなケースにおいては、物理的なフィードバックがない。

【発明の概要】

【0003】

[0003]本開示は、実質的に、図のうちの少なくとも１つにおいて示されているように、及び／又は図のうちの少なくとも１つに関連して記述されているように、特許請求の範囲においてさらに完全に記載されているように、エクステンドリアリティ（ＸＲ）デバイスからのハンドトラッキング位置データを使用して仮想トラックパッドをユーザの片手に投影し、仮想トラックパッドを使用してユーザインターフェース（ＵＩ）を制御することを対象としている。

【0004】

本開示は、以降で与えられる詳細説明から、及びさまざまな実施形態の添付の図面からさらに完全に理解されるであろうが、それらの図面は、本明細書において記述及び例示されている実施形態を限定するものと取られるべきではなく、説明及び理解のためのものにすぎない。

【図面の簡単な説明】

【0005】

【図1】開示される本テクノロジーのいくつかの実施態様が動作することが可能であるデバイスの概観を示すブロック図である。

【図2A】いくつかの実施形態によるヘッドマウントディスプレイ（ＨＭＤ）の線図である。

【図2B】複合現実ＨＭＤとコア処理コンポーネントとを含む複合現実ＨＭＤシステムの線図である。

【図3A】仮想トラックパッドのいくつかの実施形態を示す図である。

【図3B】仮想トラックパッドのいくつかの実施形態を示す図である。

【図4A】仮想トラックパッドの使用のさらに詳細な図解を示す図である。

【図4B】仮想トラックパッドの使用のさらに詳細な図解を示す図である。

【図4C】仮想トラックパッドの使用のさらに詳細な図解を示す図である。

【図4D】仮想トラックパッドの使用のさらに詳細な図解を示す図である。

【図5】エクステンデッドリアリティ（ＸＲ）仮想トラックパッドを使用して、ＸＲデバイスによって表示されているユーザインターフェースを制御するためのプロセスのいくつかの実施形態のデータフロー図である。

【図6】ユーザの手に投影されているＸＲ仮想トラックパッドに対して行われた動きに基づいて、ＸＲデバイスによって表示されている仮想環境におけるユーザインターフェースにおいてオブジェクトを制御するためのプロセスのいくつかの実施形態のデータフロー図である。

【発明を実施するための形態】

【0006】

[0012]以降の記述においては、本開示のさらに徹底的な説明を提供するために、多くの詳細が記載されている。しかしながら、本開示は、これらの具体的な詳細を伴わずに実践されることが可能であるということは、当業者にとって明らかであろう。その他の例においては、よく知られている構造及びデバイスが、本開示をわかりにくくすることを避けるために、詳細にではなくブロック図の形態で示されている。

【0007】

[0013]仮想トラックパッドと、その仮想トラックパッドを使用するための方法とが開示されている。いくつかの実施形態においては、エクステンドリアリティ（ＸＲ）デバイスが、たとえばハンドトラッキング位置データを使用して、仮想トラックパッドをユーザの手に投影する。投影すると、ＸＲデバイスは、手に投影された仮想トラックパッドを横切って１つ又は複数の指が動かされている際に、ハンドトラッキングを介して、それらの１つ又は複数の指の動きを検知する。これらの動きは、処理されてコマンドになり、それらのコマンドは、ＸＲデバイスにおいて実行されて、ＸＲデバイスによってディスプレイ上に表示されているユーザインターフェース（ＵＩ）を制御する。ＸＲデバイスは、ヘッドマウントディスプレイ（ＨＭＤ）システムとして実装されることが可能であり、その例が以降で記述されている。

【0008】

[0014]開示される本テクノロジーの実施形態は、人工現実、エクステンデッドリアリティ、又はエクストラリアリティ（総称して「ＸＲ」）を含むこと、又はその現実と組み合わせて実施されることが可能であり、その現実は、ユーザへの提示の前に何らかの様式で調整されている現実の形態であり、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッドリアリティ、又はそれらの何らかの組合せ及び／若しくは派生物を含み得る。エクステンデッドリアリティコンテンツは、完全に生成されたコンテンツ、又は、取り込まれたコンテンツ（たとえば、現実世界の写真）と組み合わされた生成されたコンテンツを含み得る。加えて、いくつかの実施形態においては、エクステンデッドリアリティは、たとえば、人工現実において行動を実行するために使用されるアプリケーション、製品、付属品、サービス、又はそれらの何らかの組合せに関連付けられることが可能である。エクステンデッドリアリティコンテンツを提供するエクステンデッドリアリティシステムは、ホストコンピュータシステムに接続されているヘッドマウントディスプレイ（ＨＭＤ）、スタンドアロンのＨＭＤ、モバイルデバイス若しくはコンピューティングシステム、「ケーブ（ｃａｖｅ）」環境若しくはその他の投影システム、又は、１人若しくは複数の視聴者に人工現実コンテンツを提供することが可能な任意のその他のハードウェアプラットフォームを含むさまざまなプラットフォーム上で実施されることが可能である。

【0009】

[0015]「仮想現実」又は「ＶＲ」は、本明細書において使用される際には、ユーザの視覚入力がコンピューティングシステムによって制御される没入型体験を指す。「拡張現実」又は「ＡＲ」は、ユーザが現実世界の画像を、それらの画像がコンピューティングシステムを通過した後に見るシステムを指す。たとえば、背面にカメラを備えたタブレットが、現実世界の画像を取り込み、次いでカメラとは反対側にあるタブレットのスクリーン上にそれらの画像を表示することが可能である。タブレットは、画像がシステムを通過する際に、仮想オブジェクトを付加することによってなどで、それらの画像を処理及び調整又は「拡張」することが可能である。「複合現実」又は「ＭＲ」は、ユーザの目に入る光の一部が、コンピューティングシステムによって生成され、一部が、現実世界におけるオブジェクトから反射された光からなるシステムを指す。たとえば、ＭＲヘッドセットが、パススルーディスプレイを備えたメガネとして成形されることが可能であり、パススルーディスプレイは、現実世界からの光が導波管を通過することを可能にし、導波管は同時に、ＭＲヘッドセットにおけるプロジェクタからの光を放射して、ユーザが見ることができる現実のオブジェクトと混合された仮想オブジェクトをＭＲヘッドセットが提示することを可能にする。「人工現実」、「エクストラリアリティ」、又は「ＸＲ」は、本明細書において使用される際には、ＶＲ、ＡＲ、ＭＲ、又はそれらの任意の組合せ若しくはハイブリッドのうちのいずれかを指す。

【0010】

[0016]いくつかの実施態様が、以降で図を参照してさらに詳細に論じられている。図１は、開示される本テクノロジーのいくつかの実施態様が動作することが可能であるデバイスの概観を示すブロック図である。それらのデバイスは、ＸＲ環境のための対話モードを作成、管理、及び提供することが可能であるコンピューティングシステム１００のハードウェアコンポーネントを備えることが可能である。さまざまな実施態様においては、コンピューティングシステム１００は、単一のコンピューティングデバイス１０３又は複数のコンピューティングデバイス（たとえば、コンピューティングデバイス１０１、コンピューティングデバイス１０２、及びコンピューティングデバイス１０３）を含むことが可能であり、それらの複数のコンピューティングデバイスは、有線又はワイヤレスチャネルを介して通信して、処理を分散し、入力データを共有する。いくつかの実施態様においては、コンピューティングシステム１００は、外部の処理又はセンサを必要とせず、コンピュータで作成又は拡張された体験をユーザに提供することが可能なスタンドアロンのヘッドセットを含むことが可能である。その他の実施態様においては、コンピューティングシステム１００は、ヘッドセット及びコア処理コンポーネント（コンソール、モバイルデバイス、又はサーバシステム等）などの複数のコンピューティングデバイスを含むことが可能であり、この場合、いくつかの処理動作は、ヘッドセット上で実行され、その他の処理動作は、コア処理コンポーネントへオフロードされる。例示的なヘッドセットが、以降で図２Ａ及び図２Ｂに関連して記述されている。いくつかの実施態様においては、位置及び環境データが、ヘッドセットデバイスに組み込まれているセンサによってのみ収集されることが可能であり、その一方でその他の実施態様においては、ヘッドセットではないコンピューティングデバイスのうちの１つ又は複数が、センサコンポーネントを含むことが可能であり、それらのセンサコンポーネントが、環境又は位置データを追跡することが可能である。

【0011】

[0017]コンピューティングシステム１００は、１つ又は複数のプロセッサ１１０（たとえば、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、ホログラフィック処理装置（ＨＰＵ）など）を含むことが可能である。プロセッサ１１０は、単一の処理装置、又は１つのデバイスにおける複数の処理装置若しくは複数のデバイスにわたって分散された複数の処理装置である（たとえば、コンピューティングデバイス１０１～１０３のうちの２つ以上にわたって分散されること）が可能である。

【0012】

[0018]コンピューティングシステム１００は、１つ又は複数の入力デバイス１２０を含むことが可能であり、それらの入力デバイス１２０は、プロセッサ１１０に入力を提供して、それらのプロセッサ１１０にアクションを知らせる。それらのアクションは、ハードウェアコントローラによって仲介されることが可能であり、そのハードウェアコントローラは、入力デバイスから受け取られた信号を解釈し、通信プロトコルを使用してプロセッサ１１０へ情報を通信する。それぞれの入力デバイス１２０は、たとえば、マウス、キーボード、タッチスクリーン、タッチパッド、ウェアラブル入力デバイス（たとえば、触覚グローブ、ブレスレット、指輪、イヤリング、ネックレス、腕時計など）、カメラ（若しくはその他の光ベースの入力デバイス、たとえば、赤外線センサ）、マイクロフォン、又はその他のユーザ入力デバイスを含むことが可能である。

【0013】

[0019]プロセッサ１１０は、たとえば、ＰＣＩバス、ＳＣＳＩバス、又はワイヤレス接続など、内部又は外部バスを使用して、その他のハードウェアデバイスに結合されることが可能である。プロセッサ１１０は、ディスプレイ１３０用のなど、デバイス用のハードウェアコントローラと通信することが可能である。ディスプレイ１３０は、テキスト及びグラフィックスを表示するために使用されることが可能である。いくつかの実施態様においては、ディスプレイ１３０は、入力デバイスがタッチスクリーンであるか、又は目若しくは頭の方向をモニタするシステムを備えている場合などには、入力デバイスをディスプレイの一部として含む。いくつかの実施態様においては、ディスプレイは、入力デバイスから分離されている。ディスプレイデバイスの例は、ＬＣＤディスプレイスクリーン、ＬＥＤディスプレイスクリーン、投影型、ホログラフィック、又は拡張現実ディスプレイ（ヘッドアップディスプレイデバイス又はヘッドマウントデバイス等）などである。ネットワークチップ又はカード、ビデオチップ又はカード、オーディオチップ又はカード、ＵＳＢ、Ｆｉｒｅｗｉｒｅ（登録商標）又はその他の外部デバイス、カメラ、プリンタ、スピーカー、ＣＤ－ＲＯＭドライブ、ＤＶＤドライブ、ディスクドライブ等など、その他のＩ／Ｏデバイス１４０がプロセッサに結合されることも可能である。

【0014】

[0020]コンピューティングシステム１００は、その他のローカルコンピューティングデバイス又はネットワークノードとワイヤレスに又は有線ベースで通信することが可能な通信デバイスを含むことが可能である。通信デバイスは、たとえばＴＣＰ／ＩＰプロトコルを使用して、ネットワークを通じて別のデバイス又はサーバと通信することが可能である。コンピューティングシステム１００は、通信デバイスを利用して、複数のネットワークデバイスにわたって動作を分散することが可能である。

【0015】

[0021]プロセッサ１１０は、メモリ１５０にアクセスすることが可能であり、コンピューティングシステム１００のコンピューティングデバイスのうちの１つに含まれることが可能であり、又はコンピューティングシステム１００の複数のコンピューティングデバイス若しくはその他の外部デバイスどうしにわたって分散されることが可能である。メモリは、揮発性又は不揮発性記憶のための１つ又は複数のハードウェアデバイスを含み、読み取り専用メモリ及び書き込み可能メモリの両方を含むことが可能である。たとえば、メモリは、ランダムアクセスメモリ（ＲＡＭ）、さまざまなキャッシュ、ＣＰＵレジスタ、読み取り専用メモリ（ＲＯＭ）、及び書き込み可能な不揮発性メモリ、たとえば、フラッシュメモリ、ハードドライブ、フロッピーディスク、ＣＤ、ＤＶＤ、磁気記憶デバイス、テープドライブなどのうちの１つ又は複数を含むことが可能である。メモリは、基礎をなすハードウェアから離れた伝搬信号ではなく、それゆえにメモリは非一時的である。メモリ１５０は、オペレーティングシステム１６２、ＸＲ作業システム１６４、及びその他のアプリケーションプログラム１６６など、プログラム及びソフトウェアを格納するプログラムメモリ１６０を含むことが可能である。メモリ１５０は、データメモリ１７０を含むことも可能であり、データメモリ１７０は、プログラムメモリ１６０又はコンピューティングシステム１００の任意の要素に提供されることになる情報を含むことが可能である。

【0016】

[0022]いくつかの実施態様は、多くのその他のコンピューティングシステム環境又は構成とともに動作可能であり得る。本テクノロジーとともに使用するのに適していると言えるコンピューティングシステム、環境、及び／又は構成の例は、ＸＲヘッドセット、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルド又はラップトップデバイス、セルラー電話、ウェアラブルエレクトロニクス、ゲーミングコンソール、タブレットデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能な家庭用電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記のシステム又はデバイスのうちのいずれかを含む分散コンピューティング環境などを含むが、それらに限定されない。

【0017】

[0023]図２Ａは、いくつかの実施形態によるヘッドマウントディスプレイ（ＨＭＤ）２００の線図である。ＨＭＤ２００は、前部剛体２０５及びバンド２１０を含む。前部剛体２０５は、電子ディスプレイ２４５の１つ又は複数の電子ディスプレイ要素、慣性運動ユニット（ＩＭＵ）２１５、１つ又は複数の位置センサ２２０、ロケータ２２５、及び１つ又は複数の計算ユニット２３０を含む。位置センサ２２０、ＩＭＵ２１５、及び計算ユニット２３０は、ＨＭＤ２００の内部にあることが可能であり、ユーザには見えなくてもよい。さまざまな実施態様においては、ＩＭＵ２１５、位置センサ２２０、及びロケータ２２５は、現実世界における、及び仮想環境におけるＨＭＤ２００の動き及び場所を３自由度（３ＤｏＦ）又は６自由度（６ＤｏＦ）で追跡することが可能である。たとえば、ロケータ２２５は、赤外光ビームを放射することが可能であり、それらの赤外光ビームは、ＨＭＤ２００の周囲の現実のオブジェクト上に光点を生成する。別の例として、ＩＭＵ２１５は、たとえば、１つ又は複数の加速度計、ジャイロスコープ、磁力計、その他の非カメラベースの位置、力、若しくは方位センサ、又はそれらの組合せを含むことが可能である。ＨＭＤ２００と統合されている１つ又は複数のカメラ（図示せず）が、光点を検知することが可能である。ＨＭＤ２００における計算ユニット２３０は、検知された光点を使用して、ＨＭＤ２００の位置及び動きを推定すること、並びにＨＭＤ２００を取り巻く現実のオブジェクトの形状及び位置を識別することが可能である。

【0018】

[0024]電子ディスプレイ２４５は、前部剛体２０５と統合されることが可能であり、計算ユニット２３０によって指示されたとおりにユーザに画像光を提供することが可能である。さまざまな実施形態においては、電子ディスプレイ２４５は、単一の電子ディスプレイ又は複数の電子ディスプレイ（たとえば、ユーザのそれぞれの目のためのディスプレイ）であることが可能である。電子ディスプレイ２４５の例は、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、アクティブマトリックス有機発光ダイオードディスプレイ（ＡＭＯＬＥＤ）、１つ若しくは複数の量子ドット発光ダイオード（ＱＯＬＥＤ）サブピクセルを含むディスプレイ、プロジェクタユニット（たとえば、マイクロＬＥＤ、レーザーなど）、何らかのその他のディスプレイ、又はそれらの何らかの組合せを含む。

【0019】

[0025]いくつかの実施態様においては、ＨＭＤ２００は、パーソナルコンピュータ（ＰＣ）（図示せず）及び／又は１つ若しくは複数の外部センサ（図示せず）などのコア処理コンポーネントに結合されることが可能である。外部センサは、ＨＭＤ２００を（たとえば、ＨＭＤ２００から放射された光を介して）モニタすることが可能であり、これをＰＣが、ＩＭＵ２１５及び位置センサ２２０からの出力と組み合わせて使用して、ＨＭＤ２００の場所及び動きを決定することが可能である。

【0020】

[0026]図２Ｂは、複合現実ＨＭＤ２５２とコア処理コンポーネント２５４とを含む複合現実ＨＭＤシステム２５０の線図である。複合現実ＨＭＤ２５２及びコア処理コンポーネント２５４は、リンク２５６によって示されているようにワイヤレス接続（たとえば、６０ＧＨｚリンク）を介して通信することが可能である。その他の実施態様においては、複合現実システム２５０は、外部計算デバイスを伴わずにヘッドセットのみを含むか、又は複合現実ＨＭＤ２５２とコア処理コンポーネント２５４との間にその他の有線若しくはワイヤレス接続を含む。複合現実ＨＭＤ２５２は、パススルーディスプレイ２５８及びフレーム２６０を含む。フレーム２６０は、ライトプロジェクタ（たとえば、レーザー、ＬＥＤなど）、カメラ、アイトラッキングセンサ、ＭＥＭＳコンポーネント、ネットワーキングコンポーネント等などのさまざまな電子コンポーネント（図示せず）を収容することが可能である。

【0021】

[0027]プロジェクタは、たとえば、光学素子を介してパススルーディスプレイ２５８に結合されて、ユーザに対してメディアを表示することが可能である。光学素子は、プロジェクタからの光をユーザの目へ向けるために、１つ又は複数の導波管アセンブリ、反射器、レンズ、ミラー、コリメータ、回折格子などを含むことが可能である。画像データは、コア処理コンポーネント２５４からリンク２５６を介してＨＭＤ２５２へ伝送されることが可能である。ＨＭＤ２５２におけるコントローラが、画像データをプロジェクタからの光パルスへと変換することが可能であり、それらの光パルスは、光学素子を介して出力光としてユーザの目へ伝送されることが可能である。出力光は、ディスプレイ２５８を通過する光と混ざることが可能であり、これは、あたかも現実世界に存在するかのように見える仮想オブジェクトを出力光が提示することを可能にする。

【0022】

[0028]ＨＭＤ２００と同様に、ＨＭＤシステム２５０は、動き及び位置追跡ユニット、カメラ、光源などを含むことも可能であり、これらは、ＨＭＤシステム２５０が、たとえば、３ＤｏＦ又は６ＤｏＦで自身を追跡し、ユーザの部分（たとえば、手、足、頭、又はその他の身体部分）を追跡し、仮想オブジェクトを、ＨＭＤ２５２が移動する際に静止しているように見えるようにマッピングし、仮想オブジェクトをジェスチャ及びその他の現実世界のオブジェクトに反応させることを可能にする。

【0023】

[0029]さまざまな実施態様においては、ＨＭＤ２００又は２５０は、ユーザの対話及び意図の徴候をモニタするために、アイトラッキングユニット、ヘッドトラッキングユニット、オーディオシステム、さまざまなネットワークコンポーネント等など、追加のサブシステムを含むことも可能である。たとえば、いくつかの実施態様においては、コントローラの代わりに、又はコントローラに加えて、ＨＭＤ２００若しくは２５０に含まれている、又は外部カメラからの１つ又は複数のカメラが、ユーザの手の位置及びポーズをモニタして、ジェスチャ並びにその他の手及び身体の動きを決定することが可能である。

【0024】

ＸＲ仮想トラックパッド
[0030]いくつかの実施形態においては、ＸＲデバイスに対するユーザインターフェースは、仮想トラックパッドを含む。そのようなケースにおいては、ＸＲデバイスは、ＸＲデバイスにおけるユーザインターフェースにおいてユーザの手のひらに仮想トラックパッドを投影する。いくつかの実施形態においては、仮想トラックパッドは、ＸＲデバイスからのハンドトラッキング位置データを使用して手のひらの中央の位置に投影される。仮想トラックパッドを使用すると、ユーザは、パーソナルコンピュータ又はラップトップのトラックパッドが利用されるのと同じ様式で指（たとえば、人差し指）でカーソルを制御することが可能である。これは、ユーザが自分の指でカーソルを制御しているときに自分の手のひらに物理的なフィードバックを得ることが可能であるという点で有利である。すなわち、ユーザは、カーソルの制御を物理的なフィードバックにリンクさせることによってユーザインターフェース（ＵＩ）／ユーザ体験（ＵＸ）を感じることが可能である。

【0025】

[0031]図３Ａ及び図３Ｂは、仮想トラックパッドのいくつかの実施形態を示している。いくつかの実施形態においては、ＸＲデバイスにおけるカメラ及び／又はその他のセンサが、ユーザの手の位置、向き、及び速度についての生データを取り込み、ＸＲデバイスにおけるソフトウェアが、その生データを手のリアルタイムデジタルモデル３００へと変換する。図３Ａは、ユーザの両手のうちの一方のモデルの例を示している。そのモデルから、ＸＲデバイスは、手のひら３０１の中央を識別する。

【0026】

[0032]手のひら３０１の中央を特定した後に、ＸＲデバイスは、ハンドトラッキング位置データを使用して手のひら３０１の中央の位置に仮想トラックパッドを投影する。図３Ｂは、仮想トラックパッド３１０の例を示している。仮想トラックパッド３１０がユーザの第１の手に投影されると、ユーザは、仮想トラックパッド３１０及び自分の第１の手を横切って自分の第２の手の１つ又は複数の指を動かすことが可能である。第２の手の１つ又は複数の指が仮想トラックパッド３１０に対して動かされていることのハンドトラッキングを使用して、ＸＲデバイスは、トラッキング位置データを入手し、そのトラッキング位置データをコマンドへと変換し、それらのコマンドをＸＲデバイスが実行して、ＸＲデバイスによって生成され表示されている仮想環境におけるユーザインターフェースを制御する。いくつかの実施形態においては、それらのコマンドは、ユーザインターフェースにおけるカーソルの動き、ユーザインターフェースにおけるウィンドウのスクロール、及び／又はユーザインターフェースにおけるオブジェクト（たとえば、ウィンドウ）の拡大縮小に関連している。本明細書において開示されている技術は、これらの３つのオペレーションに限定されず、ＸＲデバイスによって生成されるユーザインターフェース及び／又は仮想環境に関連したその他のオペレーションを制御するためのコマンドを生成するために使用されることが可能である。

【0027】

[0033]図３Ｂは、トラックパッド３１０を横切るユーザの人差し指の動きに従って、仮想環境において表示されているユーザインターフェース３５０を横切ってカーソル３０２が動かされているところを示している。図３Ｂにおいては、トラックパッド上のユーザの指を表している枠３６０など、仮想環境における枠も示されている。それぞれの枠は、トラックパッド３１０を横切って動かされているユーザの指の終点を表しているドット３２０などのドットを含む。ユーザインターフェースはまた、衝突検知エリアを示すドット３２１など、いくつかのドットを含む。衝突検知エリアのドットは、ユーザの指の終点を表しているドットとは異なる色（及び／又は形状）であることが可能である。それぞれの衝突検知エリアは、ユーザインターフェースにおいて表示されている部分（たとえば、オブジェクト又はグラフィカルユーザインターフェース（ＧＵＩ）要素（たとえば、メニューオプションなど））をユーザがカーソルで選択することが可能であるエリアである。たとえば、ユーザの片手の人差し指が、仮想トラックパッド３１０が投影されている自分の他方の手に沿って動かされ、以て物理的なフィードバックがユーザに提供された際には、カーソル３０２などのカーソルが、ＸＲデバイスのユーザインターフェースにおいて動かされ、枠３６０で示されているユーザの指の動きの方向は、ドット３２０によって表されているユーザの指の終点を伴うカーソル３０２の動きの方向を示す。人差し指が動かされ、ドット３２０がユーザインターフェースにおいてドット３２１などのドットに向かって動いた際には、ユーザは、ユーザによって選択されることが可能である仮想環境のユーザインターフェースにおけるアイテムに向かってカーソルを動かすことが可能である。いくつかの実施形態においては、選択は、事前に特定された期間（たとえば、１秒、２秒、１～５秒の範囲など）にわたってユーザがアイテムの上にカーソルの位置を保持することによって行われることが可能である。

【0028】

[0034]図４Ａ～図４Ｄは、仮想トラックパッドの使用のさらに詳細な図解を示している。図４Ａ及び図４Ｂを参照すると、ＸＲデバイスは、ハンドトラッキングを使用して、投影されたトラックパッドを横切る人差し指及び中指などのそれぞれの指を検知し、それらの動きをコマンドへと変換することが可能であり、それらのコマンドをＸＲデバイスが実行して、ＸＲデバイスによって生成された仮想環境におけるユーザインターフェースを制御することが可能である。

【0029】

[0035]図４Ａ及び図４Ｂは、ユーザが仮想トラックパッドを横切って２つの指をスワイプして、ユーザインターフェースにおいてスクロールオペレーションを生じさせているところを示している。ユーザが、人差し指及び中指などの２つの指で、自分の他方の手に投影された仮想トラックパッド３１０を横切って上下にスワイプした場合には、ＸＲデバイスは、これらの動きをハンドトラッキングセンサ（たとえば、カメラ）で取り込み、取り込まれたハンドトラッキング位置データをスクロールコマンドへと変換する。ＸＲデバイスがスクロールコマンドを実行した場合には、ＸＲデバイスのユーザインターフェース上に表示されている２Ｄウィンドウがスクロールされることが可能である。それゆえに、仮想トラックパッド３１０を横切ってスワイプされる２つの指は、ＸＲデバイスによって検知され、ＸＲユーザインターフェースの２Ｄウィンドウにおける表示を上へ（図４Ａ）及び／又は下へ（図４Ｂ）スクロールさせる。たとえば、ユーザが、矢印４３０によって示されているように２つの指で上へスワイプした場合には、ＸＲデバイスは、矢印４３１によって示されているようにウィンドウ４４０を上方へスクロールし、ユーザが２つの指で下へスワイプした場合には、ＸＲデバイスは、ウィンドウ４４０を下方へスクロールする。

【0030】

[0036]同様に、ユーザは、たとえば自分の親指及び人差し指などの２つの指をピンチイン及びピンチアウトした場合には、２Ｄウィンドウの拡大縮小を制御することが可能である。たとえば、図４Ｃ及び図４Ｄにおいては、親指及び人差し指は、他方の手及びその上に投影されているトラックパッド３１０に対してピンチイン及びピンチアウトされており、その結果、ＸＲデバイスのユーザインターフェースにおいて表示されている２Ｄウィンドウが拡大縮小されて、２Ｄウィンドウのサイズが変更される。ユーザがピンチング動作を行った場合には、ＸＲデバイスは、ハンドトラッキングを実行して、２つの指に関するトラッキング位置データを入手し、そのトラッキング位置データをコマンドへと変換し、それらのコマンドは、ＸＲデバイスによって実行されたときに、ＸＲデバイスに２Ｄウィンドウのサイズを変更させる。たとえば、図４Ｃにおいて示されているように、２つの指の間における距離が（たとえば、０．０１５５４８９１インチへ）低減された際には、ＸＲデバイスは、ウィンドウ４５０のサイズを低減するが、図４Ｄにおいて示されているように、２つの指の間における距離が増大された（たとえば、０．１４２８９０８インチへ拡大された）際には、ＸＲデバイスは、ウィンドウ４５０のサイズを増大する。

【0031】

[0037]図５は、エクステンデッドリアリティ（ＸＲ）仮想トラックパッドを使用して、ＸＲデバイスによって表示されているユーザインターフェースを制御するためのプロセスのいくつかの実施形態のデータフロー図である。いくつかの実施形態においては、このプロセスは、少なくとも部分的に、ハードウェア（たとえば、回路網、専用ロジックなど）、ソフトウェア（たとえば、チップ上で稼働するソフトウェア、汎用コンピュータシステム若しくは専用機上で稼働されるソフトウェアなど）、ファームウェア、又はそれら３つの組合せを備える処理ロジックによって実行される。

【0032】

[0038]図５を参照すると、このプロセスは、ユーザが自分の両手のうちの一方を見ているということを処理ロジックが特定することから始まる（処理ブロック５０１）。いくつかの実施形態においては、ＸＲデバイスは、アイトラッキングを使用して、ユーザがどこを見ているかを特定する。ＸＲデバイスのアイトラッキング処理ロジックは、認識ルーチンを使用して処理されるデータを入手して、ユーザが自分の手を見ていると特定する。

【0033】

[0039]ユーザが自分の両手のうちの一方を見ていると特定したことに応答して、処理ロジックは、ユーザインターフェースにおいてユーザの手に仮想トラックパッドを投影する（処理ブロック５０２）。いくつかの実施形態においては、処理ロジックは、ＸＲデバイスからのハンドトラッキング位置データを使用して、仮想トラックパッドをユーザの手に投影する。いくつかのその他の実施形態においては、ＸＲデバイスは、ユーザの手の代わりに別の表面に仮想トラックパッドを投影するということに留意されたい。たとえば、ＸＲデバイスは、ユーザの手によってつかまれている何か（たとえば、平面）に、ユーザの近く（たとえば、壁）に、又はユーザの別の身体部分に仮想トラックパッドを投影する。

【0034】

[0040]仮想トラックパッドを投影した後に、処理ロジックは、手の上で１つ又は複数の指が動かされている際にそれらの１つ又は複数の指の動きを検知する（処理ブロック５０３）。いくつかの実施形態においては、処理ロジックは、単一の指の動きを検知する。いくつかのその他の実施形態においては、処理ロジックは、複数の指の動き（たとえば、２つの指の動き、親指及び指の動きなど）を検知する。

【0035】

[0041]１つ又は複数の指の動きを検知したことに応答して、処理ロジックは、ＸＲデバイスによって生成された仮想環境におけるディスプレイ上に表示されているユーザインターフェースを制御する（処理ブロック５０４）。いくつかの実施形態においては、処理ロジックは、仮想トラックパッドに対する１つ又は複数の指の動きをハンドトラッキングすることによって入手された動きデータに従って、仮想環境において表示されているユーザインターフェースを制御する。たとえば、ＸＲデバイスによって実行されるハンドトラッキングは、仮想トラックパッドの上で１つ又は複数の指が動かされた方向及び距離を特定し、その距離をコマンドへと変換し、それらのコマンドをＸＲデバイスが仮想環境におけるオブジェクト（たとえば、ウィンドウ、カーソルなど）に適用する。

【0036】

[0042]図６は、ユーザの手に投影されているＸＲ仮想トラックパッドに対して行われた動きに基づいて、ＸＲデバイスによって表示されている仮想環境におけるユーザインターフェースにおいてオブジェクトを制御するためのプロセスのいくつかの実施形態のデータフロー図である。いくつかの実施形態においては、このプロセスは、少なくとも部分的に、ハードウェア（たとえば、回路網、専用ロジックなど）、ソフトウェア（たとえば、チップ上で稼働するソフトウェア、汎用コンピュータシステム若しくは専用機上で稼働されるソフトウェアなど）、ファームウェア、又はそれら３つの組合せを備える処理ロジックによって実行される。図６を参照すると、このプロセスは、位置、向き、速度、方向、距離などのうちの１つ又は複数を含む、１つ又は複数の指によってもたらされた動きデータを処理ロジックが取り込むことから始まり（処理ブロック６０１）、ハンドトラッキングを使用して取り込まれた動きデータを、ＸＲデバイスによって実行されることになるコマンドへと変換し（処理ブロック６０２）、それらのコマンドを仮想環境におけるオブジェクト上で実行する（処理ブロック６０３）。この方法においては、ユーザの手に投影されている仮想トラックパッドに対するユーザの１つ又は複数の指の動きは、ＸＲデバイスによって生成された仮想環境におけるユーザインターフェースを制御する。

【0037】

[0043]図５を再び参照すると、いくつかの実施形態においては、ユーザインターフェースを制御することは、ＸＲデバイスによって表示されるユーザインターフェースにおいてカーソルを動かすことを含む。たとえば、ＸＲデバイスは、仮想トラックパッド上での指（たとえば、人差し指、人差し指など）を用いた動き（それらの動きは、ハンドトラッキングを介して取り込まれて、ＸＲデバイスによって実行されるコマンドへと変換される）に従って仮想環境におけるユーザインターフェースにおいてカーソルを動かすことが可能である。いくつかの実施形態においては、ＸＲデバイスは、カーソルを衝突検知エリアに向かって動かすことが可能である。いくつかの実施形態においては、ユーザが、仮想トラックパッドを横切る自分の指の動きを、衝突検知エリアにおいて、事前に特定された期間（たとえば、１秒、２秒、１～５秒の範囲など）にわたって停止した場合には、ユーザは、仮想環境において選択（たとえば、メニューアイテムの選択、オブジェクトの選択など）を行うことが可能である。

【0038】

[0044]いくつかのその他の実施形態においては、ユーザインターフェースを制御することは、ユーザインターフェースにおけるウィンドウを１つ又は複数の指の動きの方向にスクロールすることを含む。たとえば、ＸＲデバイスは、仮想トラックパッド上での２つの指（たとえば、親指及び人差し指など）を用いた動き（それらの動きは、ハンドトラッキングを介して取り込まれて、ＸＲデバイスによって実行されるコマンドへと変換される）に従って仮想環境におけるユーザインターフェースにおいて２Ｄウィンドウをスクロールすることが可能である。いくつかの実施形態においては、ＸＲデバイスは、２つの指を上下にスワイプすることによって２Ｄウィンドウをスクロールすることが可能である。

【0039】

[0045]さらにいくつかのその他の実施形態においては、ユーザインターフェースを制御することは、１つ又は複数の指の動きに従ってユーザインターフェースにおいてウィンドウを拡大縮小することを含む。たとえば、ＸＲデバイスは、ユーザが２つの指をピンチング動作のように互いに近づけたこと、又はピンチング動作の反対（すなわち、逆ピンチング動作）のように離したことに応答して、仮想環境におけるオブジェクト（たとえば、ウィンドウ）の拡大縮小を実行する。いくつかの実施形態においては、２つの指を互いに近づけること（ピンチング動作）は、ハンドトラッキングを介して取り込まれ、コマンドへと変換され、それらのコマンドをＸＲデバイスが実行し、その結果としてＸＲデバイスは、オブジェクトのサイズを低減し、その一方で２つの指を逆ピンチング動作のように離すことは、ハンドトラッキングを介して取り込まれ、コマンドへと変換され、それらのコマンドをＸＲデバイスが実行し、その結果としてＸＲデバイスは、オブジェクトのサイズを増大する。

【0040】

[0046]本明細書において記述されているいくつかの例示的な実施形態がある。

【0041】

[0047]例１は、エクステンドリアリティ（ＸＲ）デバイスからのハンドトラッキング位置データを使用して仮想トラックパッドをユーザの片手に投影するステップと、片手に投影された仮想トラックパッドを横切って１つ又は複数の指が動かされている際に、ハンドトラッキングを介して、それらの１つ又は複数の指の動きを検知するステップと、１つ又は複数の指の動きに基づいて、ＸＲデバイスによってディスプレイ上に表示されているユーザインターフェース（ＵＩ）を制御するステップとを含む方法である。

【0042】

[0048]例２は、１つ又は複数の指の動きを検知するステップが、ユーザの単一の指の動きを検知することを含み、ユーザインターフェースを制御するステップが、ＸＲデバイスによって生成された仮想環境において表示されているユーザインターフェースにおいて単一の指の動きに従ってカーソルを動かすことを含むということを任意選択で含むことが可能である例１の方法である。

【0043】

[0049]例３は、単一の指が人差し指であるということを任意選択で含むことが可能である例１の方法である。

【0044】

[0050]例４は、１つ又は複数の指の動きを検知するステップが、仮想トラックパッドに対するユーザの２つの指の動きを検知することを含むということを任意選択で含むことが可能である例１の方法である。

【0045】

[0051]例５は、ユーザの２つの指の動きが、２つの指が仮想トラックパッドを横切ってスワイプされるスワイプの動きを含み、ユーザインターフェースを制御するステップが、スワイプの動きの方向によって示された方向にＵＩにおいてウィンドウをスクロールすることを含むということを任意選択で含むことが可能である例４の方法である。

【0046】

[0052]例６は、ユーザの２つの指の動きが、互いに近づけられる又は離される２つの指の動きを含み、ユーザインターフェースを制御するステップが、互いに近づけられる又は離される２つの指の動きに従ってＵＩにおいてオブジェクトを拡大縮小することを含むということを任意選択で含むことが可能である例５の方法である。

【0047】

[0053]例７は、画像認識及びハンドトラッキングを使用して、ユーザが片手を見ていると特定するステップを任意選択で含むことが可能であり、仮想トラックパッドを片手に投影するステップが、ユーザが片手を見ていると特定したことに応答して生じる、例５の方法である。

【0048】

[0054]例８は、１つ又は複数の指の動きを検知するステップが、１つ又は複数の指の位置、向き、及び速度についてのデータを取り込むことを含むということを任意選択で含むことが可能である例１の方法である。

【0049】

[0055]例９は、ハンドトラッキングから生成されたハンドトラッキングデータに基づいて、１つ又は複数の指の動きに関連付けられているジェスチャを特定するステップを任意選択で含むことが可能であり、１つ又は複数の指の動きに基づいて、ＸＲデバイスによってディスプレイ上に表示されているユーザインターフェース（ＵＩ）を制御するステップが、ジェスチャの動きに基づいて、ＸＲデバイスによってディスプレイ上に表示されているユーザインターフェース（ＵＩ）を制御することを含む、例１の方法である。

【0050】

[0056]例１０は、ユーザインターフェースを制御するためのコンピューティングシステムであり、このコンピューティングシステムは、１つ又は複数のプロセッサと、命令を格納している１つ又は複数のメモリとを備え、それらの命令は、１つ又は複数のプロセッサによって実行されたときに、エクステンドリアリティ（ＸＲ）デバイスからのハンドトラッキング位置データを使用して仮想トラックパッドをユーザの片手に投影するステップと、片手に投影された仮想トラックパッドを横切って１つ又は複数の指が動かされている際に、ハンドトラッキングを介して、それらの１つ又は複数の指の動きを検知するステップと、１つ又は複数の指の動きに基づいて、ＸＲデバイスによってディスプレイ上に表示されているユーザインターフェース（ＵＩ）を制御するステップとを含むプロセスをコンピューティングシステムに実行させる。

【0051】

[0057]例１１は、１つ又は複数の指の動きを検知するステップが、ユーザの単一の指の動きを検知することを含み、ユーザインターフェースを制御するステップが、ＸＲデバイスによって生成された仮想環境において表示されているユーザインターフェースにおいて単一の指の動きに従ってカーソルを動かすことを含むということを任意選択で含むことが可能である例１０のコンピューティングシステムである。

【0052】

[0058]例１２は、単一の指が人差し指であるということを任意選択で含むことが可能である例１１のコンピューティングシステムである。

【0053】

[0059]例１３は、１つ又は複数の指の動きを検知するステップが、仮想トラックパッドに対するユーザの２つの指の動きを検知することを含むということを任意選択で含むことが可能である例１０のコンピューティングシステムである。

【0054】

[0060]例１４は、ユーザの２つの指の動きが、２つの指が仮想トラックパッドを横切ってスワイプされるスワイプの動きを含み、ユーザインターフェースを制御するステップが、スワイプの動きの方向によって示された方向にＵＩにおいてウィンドウをスクロールすることを含むということを任意選択で含むことが可能である例１３のコンピューティングシステムである。

【0055】

[0061]例１５は、ユーザの２つの指の動きが、互いに近づけられる又は離される２つの指の動きを含み、ユーザインターフェースを制御するステップが、互いに近づけられる又は離される２つの指の動きに従ってＵＩにおいてオブジェクトを拡大縮小することを含むということを任意選択で含むことが可能である例１４のコンピューティングシステムである。

【0056】

[0062]例１６は、プロセスが、画像認識及びハンドトラッキングを使用して、ユーザが片手を見ていると特定するステップをさらに含み、仮想トラックパッドを片手に投影するステップが、ユーザが片手を見ていると特定したことに応答して生じるということを任意選択で含むことが可能である例１４のコンピューティングシステムである。

【0057】

[0063]例１７は、プロセスが、ハンドトラッキングから生成されたハンドトラッキングデータに基づいて、１つ又は複数の指の動きに関連付けられているジェスチャを特定するステップをさらに含み、１つ又は複数の指の動きに基づいて、ＸＲデバイスによってディスプレイ上に表示されているユーザインターフェース（ＵＩ）を制御するステップが、ジェスチャの動きに基づいて、ＸＲデバイスによってディスプレイ上に表示されているユーザインターフェース（ＵＩ）を制御することを含むということを任意選択で含むことが可能である例１０のコンピューティングシステムである。

【0058】

[0064]例１８は、命令を格納されている１つ又は複数の非一時的なコンピュータ可読ストレージメディアであり、それらの命令は、少なくともプロセッサとメモリとを内部に有しているシステムによって実行されたときに、エクステンドリアリティ（ＸＲ）デバイスからのハンドトラッキング位置データを使用して仮想トラックパッドをユーザの片手に投影するステップと、片手に投影された仮想トラックパッドを横切って１つ又は複数の指が動かされている際に、ハンドトラッキングを介して、それらの１つ又は複数の指の動きを検知するステップと、１つ又は複数の指の動きに基づいて、ＸＲデバイスによってディスプレイ上に表示されているユーザインターフェース（ＵＩ）を制御するステップとを含むオペレーションをシステムに実行させる。

【0059】

[0065]例１９は、１つ又は複数の指の動きを検知するステップが、ユーザの単一の指の動きを検知することを含み、ユーザインターフェースを制御するステップが、ＸＲデバイスによって生成された仮想環境において表示されているユーザインターフェースにおいて単一の指の動きに従ってカーソルを動かすことを含むということを任意選択で含むことが可能である例１８の１つ又は複数の非一時的なコンピュータ可読ストレージメディアである。

【0060】

[0066]例２０は、１つ又は複数の指の動きを検知するステップが、仮想トラックパッドに対するユーザの２つの指の動きを検知することを含み、ユーザの２つの指の動きが、２つの指が仮想トラックパッドを横切ってスワイプされるスワイプの動きであり、ユーザインターフェースを制御するステップが、スワイプの動きの方向によって示された方向にＵＩにおいてウィンドウをスクロールすることを含むということを任意選択で含むことが可能である例１８の１つ又は複数の非一時的なコンピュータ可読ストレージメディアである。

【0061】

[0067]上記の詳細説明のいくつかの部分は、コンピュータメモリ内のデータビットに関する演算のアルゴリズム及びシンボル表現という点から提示されている。これらのアルゴリズム的な記述及び表現は、データ処理技術分野における当業者によって、彼らの作業の実体を、その技術分野における他の当業者へ最も効果的に伝達するために使用される手段である。アルゴリズムとは、ここでは、及び一般には、所望の結果につながるステップどうしの自己矛盾のないシーケンスであると考えられる。それらのステップは、物理的な量の物理的な操作を必要とするステップである。通常、必須ではないが、これらの量は、格納されること、転送されること、結合されること、比較されること、及びその他の方法で操作されることが可能な電気信号又は磁気信号の形態を取る。これらの信号をビット、値、要素、シンボル、文字、語、数などとして指すことが、主として共通の使用という理由から、時として好都合であることがわかっている。

【0062】

[0068]しかしながら、これら及び類似の語のすべては、適切な物理的な量に関連付けられるものであり、これらの量に適用される便宜上のラベルにすぎないということを念頭に置いていただきたい。特に別段の記載がない限り、以降の論考から明らかなように、この記述の全体を通じて、「処理する」、又は「計算する」、又は「算出する」、又は「決定する」、又は「表示する」等などの語を利用している論考は、コンピュータシステムのレジスタ及びメモリ内の物理的な（電子的な）量として表されているデータを操作して、同様にコンピュータシステムのメモリ若しくはレジスタ、又はその他のそのような情報格納、伝送、若しくは表示デバイス内の物理的な量として表されるその他のデータへと変換する、コンピュータシステム又は類似の電子コンピューティングデバイスのアクション及びプロセスを指すということがわかる。

【0063】

[0069]本開示はまた、本明細書における動作を実行するための装置に関連している。この装置は、求められている目的のために特別に構築されることが可能であり、又は、コンピュータに格納されているコンピュータプログラムによって選択的にアクティブ化若しくは再構成される汎用コンピュータを備えることが可能である。そのようなコンピュータプログラムは、コンピュータ可読記憶媒体に格納されることが可能であり、そのコンピュータ可読記憶媒体は、フロッピーディスク、光ディスク、ＣＤ－ＲＯＭ、及び光磁気ディスクを含む任意のタイプのディスク、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気若しくは光カード、又は電子命令を格納するのに適している任意のタイプの媒体などであるが、それらに限定されず、それぞれはコンピュータシステムバスに結合されている。

【0064】

[0070]本明細書において提示されているアルゴリズム及び表示は、いずれかの特定のコンピュータ又はその他の装置に固有に関連しているものではない。さまざまな汎用システムが、本明細書における教示によるプログラムとともに使用されることが可能であり、又は必要とされている方法ステップを実行するためのさらに専門化された装置を構築することが好都合であると判明する場合もある。さまざまなこれらのシステムにとっての必要とされる構造は、以降の記述から明らかになるであろう。加えて、本開示は、いずれかの特定のプログラミング言語に関連して記述されているものではない。本明細書において記述されているように本開示の教示を実施するためにさまざまなプログラミング言語が使用されることが可能であるということがわかるであろう。

【0065】

[0071]機械可読媒体は、機械（たとえば、コンピュータ）によって読み取り可能な形態で情報を格納又は伝送するための任意のメカニズムを含む。たとえば、機械可読媒体は、読み取り専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、電気伝搬信号、光伝搬信号、音響伝搬信号、又はその他の形態の伝搬信号（たとえば、搬送波、赤外線信号、デジタル信号等）などを含む。

【0066】

[0072]当業者にとっては、前述の記述を読んだ後には、本開示の多くの変更及び修正が疑いなく明らかになるであろうが、例示として示され記述されているいずれの特定の実施形態も、限定的とみなされることを意図されているものでは決してないということを理解されたい。そのため、さまざまな実施形態の詳細への言及は、本開示にとって不可欠とみなされる特徴のみを本来列挙する特許請求の範囲の範疇を限定することを意図されているものではない。

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図4A】

【図4B】

【図4C】

【図4D】

【図5】

【図6】