特許 7470226 ＸＲマルチウィンドウ制御

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-09

(45)【発行日】2024-04-17

(54)【発明の名称】ＸＲマルチウィンドウ制御

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240410BHJP

   G06F 3/0482 20130101ALI20240410BHJP

   G06F 3/0481 20220101ALI20240410BHJP

【ＦＩ】

G06F3/01 510

G06F3/0482

G06F3/01 570

G06F3/0481

【請求項の数】 20

【外国語出願】

(21)【出願番号】P 2023042851

(22)【出願日】2023-03-17

(65)【公開番号】P2024018907

(43)【公開日】2024-02-08

【審査請求日】2023-03-17

(31)【優先権主張番号】63/393,175

(32)【優先日】2022-07-28

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】18/119,708

(32)【優先日】2023-03-09

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100121980

【弁理士】

【氏名又は名称】沖山 隆

(74)【代理人】

【識別番号】100128107

【弁理士】

【氏名又は名称】深石 賢治

(74)【代理人】

【識別番号】100123995

【弁理士】

【氏名又は名称】野田 雅一

(72)【発明者】

【氏名】劉 永哲

(72)【発明者】

【氏名】田中 佑弥

(72)【発明者】

【氏名】大迫 陽二

【審査官】鈴木 崇雅

(56)【参考文献】

【文献】米国特許出願公開第２０１７／０３３０３８７（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２０／０３７２７１１（ＵＳ，Ａ１）

【文献】特開２００８－２０４１８６（ＪＰ，Ａ）

【文献】特開２０１６－０４２２５３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８－０４８９５

(57)【特許請求の範囲】

【請求項1】

ユーザインターフェース（ＵＩ）においてマルチウィンドウ制御を実行するための方法であって、
前記ユーザインターフェースをエクステンドリアリティ（ＸＲ）デバイスのディスプレイにおいて表示するステップであって、前記ユーザインターフェースが、グラフィカルユーザインターフェース（ＧＵＩ）要素及びいくつかのオブジェクトを含む、当該ステップと、
前記ＵＩにおける前記ＧＵＩ要素の選択を検知するステップと、
前記ディスプレイ上に表示されているオブジェクトのセットを前記ディスプレイ上のウィンドウへと移動するステップと、
ユーザの動きを追跡することによって、前記オブジェクトのセット内のオブジェクトのうちの１つ又は複数のオブジェクトの選択を検知するステップと、
前記１つ又は複数のオブジェクトのうち、選択されたオブジェクトをユーザの面前に表示するステップと、
を含む、方法。

【請求項2】

ユーザの検知された動きに応答して、前記選択されたオブジェクトのうちの少なくとも１つの位置を変更するステップ、
をさらに含む、請求項１に記載の方法。

【請求項3】

前記ＧＵＩ要素が、収集ボタンである、請求項１に記載の方法。

【請求項4】

前記ＵＩにおける前記ＧＵＩ要素の選択を検知するステップが、
ユーザの手の位置が事前に決定された時間にわたって１つの場所に保持されていると決定することによって、タップレス選択を検知すること、
を含む、請求項１に記載の方法。

【請求項5】

前記ユーザの動きを追跡することが、前記ユーザの手の位置を追跡することを含む、請求項１に記載の方法。

【請求項6】

前記ユーザの動きを追跡することが、前記ユーザの手の１つ又は複数の指を追跡することを含む、請求項１に記載の方法。

【請求項7】

１つ又は複数のプロセッサと、
前記１つ又は複数のプロセッサによって実行されたときに、
ユーザインターフェースをエクステンドリアリティ（ＸＲ）デバイスのディスプレイにおいて表示することであって、前記ユーザインターフェースが、グラフィカルユーザインターフェース（ＧＵＩ）要素及びいくつかのオブジェクトを含む、当該表示すること、
前記ＵＩにおける前記ＧＵＩ要素の選択を検知すること、
前記ディスプレイ上に表示されているオブジェクトのセットを前記ディスプレイ上のウィンドウへ移動すること、
ユーザの動きを追跡することによって、前記オブジェクトのセット内のオブジェクトのうちの１つ又は複数のオブジェクトの選択を検知すること、及び、
前記１つ又は複数のオブジェクトのうち、選択されたオブジェクトをユーザの面前に表示すること、
を含むプロセスを、コンピューティングシステムに実行させる命令を格納した１つ又は複数のメモリと、
を備える、コンピューティングシステム。

【請求項8】

前記プロセスは、
ユーザの検知された動きに応答して、前記選択されたオブジェクトのうちの少なくとも１つの位置を変更すること、
をさらに含む、請求項７に記載のコンピューティングシステム。

【請求項9】

前記ＧＵＩ要素が、収集ボタンである、請求項７に記載のコンピューティングシステム。

【請求項10】

前記ＵＩにおける前記ＧＵＩ要素の選択を検知することが、
前記ユーザの手の位置が事前に決定された時間にわたって１つの場所に保持されていると決定することによって、タップレス選択を検知すること、
を含む、請求項７に記載のコンピューティングシステム。

【請求項11】

前記ユーザの動きを追跡することが、前記ユーザの手の位置を追跡することを含む、請求項７に記載のコンピューティングシステム。

【請求項12】

前記ユーザの動きを追跡することが、前記ユーザの手の１つ又は複数の指を追跡することを含む、請求項７に記載のコンピューティングシステム。

【請求項13】

少なくともプロセッサ及びメモリを有するシステムによって実行されたときに、
ユーザインターフェースをエクステンドリアリティ（ＸＲ）デバイスのディスプレイにおいて表示することであって、前記ユーザインターフェースが、グラフィカルユーザインターフェース（ＧＵＩ）要素及びいくつかのオブジェクトを含む、当該表示することと、
前記ＵＩにおける前記ＧＵＩ要素の選択を検知することと、
前記ディスプレイ上に表示されているオブジェクトのセットを前記ディスプレイ上のウィンドウへ移動することと、
ユーザの動きを追跡することによって、前記オブジェクトのセット内のオブジェクトのうちの１つ又は複数のオブジェクトの選択を検知することと、
前記１つ又は複数のオブジェクトのうち、選択されたオブジェクトをユーザの面前に表示することと、
を含む動作を前記システムに実行させる命令、が格納された１つ又は複数の非一時的コンピュータ読み取り可能な記憶媒体。

【請求項14】

前記動作は、
ユーザの検知された動きに応答して、前記選択されたオブジェクトのうちの少なくとも１つの位置を変更すること、
をさらに含む、請求項１３に記載の１つ又は複数の非一時的コンピュータ読み取り可能な記憶媒体。

【請求項15】

前記ＧＵＩ要素が、収集ボタンである、請求項１３に記載の１つ又は複数の非一時的コンピュータ読み取り可能な記憶媒体。

【請求項16】

前記ＵＩにおける前記ＧＵＩ要素の選択を検知することが、
前記ユーザの手の位置が事前に決定された時間にわたって１つの場所に保持されていると決定することによって、タップレス選択を検知すること、
を含む、請求項１３に記載の１つ又は複数の非一時的コンピュータ読み取り可能な記憶媒体。

【請求項17】

前記ユーザの動きを追跡することが、前記ユーザの手の位置を追跡することを含む、請求項１３に記載の１つ又は複数の非一時的コンピュータ読み取り可能な記憶媒体。

【請求項18】

前記ユーザの動きを追跡することが、前記ユーザの手の１つ又は複数の指を追跡することを含む、請求項１３に記載の１つ又は複数の非一時的コンピュータ読み取り可能な記憶媒体。

【請求項19】

前記ＧＵＩ要素が、収集ボタンであり、
前記ＵＩにおける前記ＧＵＩ要素の選択を検知することが、
前記ユーザの手の位置が事前に決定された時間にわたって１つの場所に保持されていると決定することによって、タップレス選択を検知すること、
を含む、請求項１３に記載の１つ又は複数の非一時的コンピュータ読み取り可能な記憶媒体。

【請求項20】

前記動作は、
別のＧＵＩ要素の選択を受け取った後に、１つ又は複数のオブジェクトを仮想環境内の元の場所へ戻すこと、
をさらに含む、請求項１３に記載の１つ又は複数の非一時的コンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

[0001]本出願は、２０２２年７月２８日に出願された「ＸＲ ＭＵＬＴＩ－ＷＩＮＤＯＷ ＣＯＮＴＲＯＬ」と題される米国特許仮出願第６３／３９３，１７５号の利益を主張するものであり、その全体が参照によって組み込まれる。

【背景技術】

【0002】

[0002]人工現実、エクステンデッドリアリティ、又はエクストラリアリティ（総称して「ＸＲ」）は、ユーザへの提示の前に何らかの様式で調整されている現実の形態であり、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッドリアリティ、又はそれらの何らかの組合せ及び／若しくは派生物を含み得る。さまざまなＸＲ環境が存在しており、ユーザたちの表象が動き回って互いと話すことを可能にしている。しかしながら、ユーザインターフェース（ＵＩ）及びユーザ体験（ＵＸ）には限界がある。たとえば、ユーザインターフェースは、ハンドトラッキングに依存している場合が多く、常に効果的に動作するとは限らず、ユーザにとって不快である場合さえある。

【発明の概要】

【0003】

[0003]本開示は、実質的に、図のうちの少なくとも１つにおいて示されているように、及び／又は図のうちの少なくとも１つに関連して記述されているように、特許請求の範囲においてさらに完全に記載されているように、ユーザインターフェースにおいてマルチウィンドウ制御を実行することを対象としている。

【0004】

本開示は、以降で与えられる詳細説明から、及びさまざまな実施形態の添付の図面からさらに完全に理解されるであろうが、それらの図面は、本明細書において記述及び例示されている実施形態を限定するものと取られるべきではなく、説明及び理解のためのものにすぎない。

【図面の簡単な説明】

【0005】

【図1】開示される本テクノロジーのいくつかの実施態様が動作することが可能であるデバイスの概観を示すブロック図である。

【図2A】いくつかの実施形態によるヘッドマウントディスプレイ（ＨＭＤ）２００の線図である。

【図2B】複合現実ＨＭＤとコア処理コンポーネントとを含む複合現実ＨＭＤシステムの線図である。

【図3A】ＸＲデバイスにおけるユーザインターフェースを制御するためのマルチウィンドウ制御のいくつかの実施形態を示す図である。

【図3B】ＸＲデバイスにおけるユーザインターフェースを制御するためのマルチウィンドウ制御のいくつかの実施形態を示す図である。

【図3C】ＸＲデバイスにおけるユーザインターフェースを制御するためのマルチウィンドウ制御のいくつかの実施形態を示す図である。

【図4】ユーザインターフェースにおいてマルチウィンドウ制御を実行するためのプロセスのいくつかの実施形態の流れ図である。

【図5】ユーザインターフェースにおいてマルチウィンドウ制御を実行するためのプロセスのいくつかのその他の実施形態の流れ図である。

【図6】ＸＲデバイスのシステム及び動作を含む、本明細書において論じられているシステム及び動作をサポートするために使用されることが可能であるコンピュータシステムの一実施形態を示す図である。

【発明を実施するための形態】

【0006】

[0012]以降の記述においては、本開示のさらに徹底的な説明を提供するために、多くの詳細が記載されている。しかしながら、本開示は、これらの具体的な詳細を伴わずに実践されることが可能であるということは、当業者にとって明らかであろう。その他の例においては、よく知られている構造及びデバイスが、本開示をわかりにくくすることを避けるために、詳細にではなくブロック図の形態で示されている。

【0007】

[0013]ユーザインターフェースにおいてマルチウィンドウ制御を実行するための方法及び装置が開示される。いくつかの実施形態においては、ユーザインターフェースは、人工現実、エクステンデッドリアリティ、又はエクストラリアリティ（総称して「ＸＲ」）のディスプレイにおいて表示され、ユーザインターフェースは、グラフィカルユーザインターフェース（ＧＵＩ）要素（たとえば、収集ボタン）と、仮想環境におけるいくつかのオブジェクトとを含む。ＵＩにおけるＧＵＩ要素の選択を検知したことに応答して、ＸＲデバイスは、ディスプレイ上に表示されているオブジェクトのセットを、ユーザの面前に提示されたディスプレイ上のウィンドウへと移動するか、又はその他の形で収集する。この時点で、ユーザは、それらのオブジェクトを選択して操作することが可能である。

【0008】

[0014]開示される本テクノロジーの実施形態は、人工現実、エクステンデッドリアリティ、又はエクストラリアリティ（総称して「ＸＲ」）を含むこと、又はその現実と組み合わせて実施されることが可能であり、その現実は、ユーザへの提示の前に何らかの様式で調整されている現実の形態であり、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッドリアリティ、又はそれらの何らかの組合せ及び／若しくは派生物を含み得る。エクステンデッドリアリティコンテンツは、完全に生成されたコンテンツ、又は、取り込まれたコンテンツ（たとえば、現実世界の写真）と組み合わされた生成されたコンテンツを含み得る。加えて、いくつかの実施形態においては、エクステンデッドリアリティは、たとえば、人工現実において行動を実行するために使用されるアプリケーション、製品、付属品、サービス、又はそれらの何らかの組合せに関連付けられることが可能である。エクステンデッドリアリティコンテンツを提供するエクステンデッドリアリティシステムは、ホストコンピュータシステムに接続されているヘッドマウントディスプレイ（ＨＭＤ）、スタンドアロンのＨＭＤ、モバイルデバイス若しくはコンピューティングシステム、「ケーブ（ｃａｖｅ）」環境若しくはその他の投影システム、又は、１人若しくは複数の視聴者に人工現実コンテンツを提供することが可能な任意のその他のハードウェアプラットフォームを含むさまざまなプラットフォーム上で実施されることが可能である。

【0009】

[0015]「仮想現実」又は「ＶＲ」は、本明細書において使用される際には、ユーザの視覚入力がコンピューティングシステムによって制御される没入型体験を指す。「拡張現実」又は「ＡＲ」は、ユーザが現実世界の画像を、それらの画像がコンピューティングシステムを通過した後に見るシステムを指す。たとえば、背面にカメラを備えたタブレットが、現実世界の画像を取り込み、次いでカメラとは反対側にあるタブレットのスクリーン上にそれらの画像を表示することが可能である。タブレットは、画像がシステムを通過する際に、仮想オブジェクトを付加することによってなどで、それらの画像を処理及び調整又は「拡張」することが可能である。「複合現実」又は「ＭＲ」は、ユーザの目に入る光の一部が、コンピューティングシステムによって生成され、一部が、現実世界におけるオブジェクトから反射された光からなるシステムを指す。たとえば、ＭＲヘッドセットが、パススルーディスプレイを備えたメガネとして成形されることが可能であり、パススルーディスプレイは、現実世界からの光が導波管を通過することを可能にし、導波管は同時に、ＭＲヘッドセットにおけるプロジェクタからの光を放射して、ユーザが見ることができる現実のオブジェクトと混合された仮想オブジェクトをＭＲヘッドセットが提示することを可能にする。「人工現実」、「エクストラリアリティ」、又は「ＸＲ」は、本明細書において使用される際には、ＶＲ、ＡＲ、ＭＲ、又はそれらの任意の組合せ若しくはハイブリッドのうちのいずれかを指す。

【0010】

[0016]いくつかの実施態様が、以降で図を参照してさらに詳細に論じられている。図１は、開示される本テクノロジーのいくつかの実施態様が動作することが可能であるデバイスの概観を示すブロック図である。それらのデバイスは、ＸＲ環境のための対話モードを作成、管理、及び提供することが可能であるコンピューティングシステム１００のハードウェアコンポーネントを備えることが可能である。さまざまな実施態様においては、コンピューティングシステム１００は、単一のコンピューティングデバイス１０３又は複数のコンピューティングデバイス（たとえば、コンピューティングデバイス１０１、コンピューティングデバイス１０２、及びコンピューティングデバイス１０３）を含むことが可能であり、それらの複数のコンピューティングデバイスは、有線又はワイヤレスチャネルを介して通信して、処理を分散し、入力データを共有する。いくつかの実施態様においては、コンピューティングシステム１００は、外部の処理又はセンサを必要とせず、コンピュータで作成又は拡張された体験をユーザに提供することが可能なスタンドアロンのヘッドセットを含むことが可能である。その他の実施態様においては、コンピューティングシステム１００は、ヘッドセット及びコア処理コンポーネント（コンソール、モバイルデバイス、又はサーバシステム等）などの複数のコンピューティングデバイスを含むことが可能であり、この場合、いくつかの処理動作は、ヘッドセット上で実行され、その他の処理動作は、コア処理コンポーネントへオフロードされる。例示的なヘッドセットが、以降で図２Ａ及び図２Ｂに関連して記述されている。いくつかの実施態様においては、位置及び環境データが、ヘッドセットデバイスに組み込まれているセンサによってのみ収集されることが可能であり、その一方でその他の実施態様においては、ヘッドセットではないコンピューティングデバイスのうちの１つ又は複数が、センサコンポーネントを含むことが可能であり、それらのセンサコンポーネントが、環境又は位置データを追跡することが可能である。

【0011】

[0017]コンピューティングシステム１００は、１つ又は複数のプロセッサ１１０（たとえば、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、ホログラフィック処理装置（ＨＰＵ）など）を含むことが可能である。プロセッサ１１０は、単一の処理装置、又は１つのデバイスにおける複数の処理装置若しくは複数のデバイスにわたって分散された複数の処理装置である（たとえば、コンピューティングデバイス１０１～１０３のうちの２つ以上にわたって分散されること）が可能である。

【0012】

[0018]コンピューティングシステム１００は、１つ又は複数の入力デバイス１２０を含むことが可能であり、それらの入力デバイス１２０は、プロセッサ１１０に入力を提供して、それらのプロセッサ１１０にアクションを知らせる。それらのアクションは、ハードウェアコントローラによって仲介されることが可能であり、そのハードウェアコントローラは、入力デバイスから受け取られた信号を解釈し、通信プロトコルを使用してプロセッサ１１０へ情報を通信する。それぞれの入力デバイス１２０は、たとえば、マウス、キーボード、タッチスクリーン、タッチパッド、ウェアラブル入力デバイス（たとえば、触覚グローブ、ブレスレット、指輪、イヤリング、ネックレス、腕時計など）、カメラ（若しくはその他の光ベースの入力デバイス、たとえば、赤外線センサ）、マイクロフォン、又はその他のユーザ入力デバイスを含むことが可能である。

【0013】

[0019]プロセッサ１１０は、たとえば、ＰＣＩバス、ＳＣＳＩバス、又はワイヤレス接続など、内部又は外部バスを使用して、その他のハードウェアデバイスに結合されることが可能である。プロセッサ１１０は、ディスプレイ１３０用のなど、デバイス用のハードウェアコントローラと通信することが可能である。ディスプレイ１３０は、テキスト及びグラフィックスを表示するために使用されることが可能である。いくつかの実施態様においては、ディスプレイ１３０は、入力デバイスがタッチスクリーンであるか、又は目若しくは頭の方向をモニタするシステムを備えている場合などには、入力デバイスをディスプレイの一部として含む。いくつかの実施態様においては、ディスプレイは、入力デバイスから分離されている。ディスプレイデバイスの例は、ＬＣＤディスプレイスクリーン、ＬＥＤディスプレイスクリーン、投影型、ホログラフィック、又は拡張現実ディスプレイ（ヘッドアップディスプレイデバイス又はヘッドマウントデバイス等）などである。ネットワークチップ又はカード、ビデオチップ又はカード、オーディオチップ又はカード、ＵＳＢ、Ｆｉｒｅｗｉｒｅ（登録商標）又はその他の外部デバイス、カメラ、プリンタ、スピーカー、ＣＤ－ＲＯＭドライブ、ＤＶＤドライブ、ディスクドライブ等など、その他の入出力デバイス１４０がプロセッサに結合されることも可能である。

【0014】

[0020]コンピューティングシステム１００は、その他のローカルコンピューティングデバイス又はネットワークノードとワイヤレスに又は有線ベースで通信することが可能な通信デバイスを含むことが可能である。通信デバイスは、たとえばＴＣＰ／ＩＰプロトコルを使用して、ネットワークを通じて別のデバイス又はサーバと通信することが可能である。コンピューティングシステム１００は、通信デバイスを利用して、複数のネットワークデバイスにわたって動作を分散することが可能である。

【0015】

[0021]プロセッサ１１０は、メモリ１５０にアクセスすることが可能であり、コンピューティングシステム１００のコンピューティングデバイスのうちの１つに含まれることが可能であり、又はコンピューティングシステム１００の複数のコンピューティングデバイス若しくはその他の外部デバイスどうしにわたって分散されることが可能である。メモリは、揮発性又は不揮発性記憶のための１つ又は複数のハードウェアデバイスを含み、読み取り専用メモリ及び書き込み可能メモリの両方を含むことが可能である。たとえば、メモリは、ランダムアクセスメモリ（ＲＡＭ）、さまざまなキャッシュ、ＣＰＵレジスタ、読み取り専用メモリ（ＲＯＭ）、及び書き込み可能な不揮発性メモリ、たとえば、フラッシュメモリ、ハードドライブ、フロッピーディスク、ＣＤ、ＤＶＤ、磁気記憶デバイス、テープドライブなどのうちの１つ又は複数を含むことが可能である。メモリは、基礎をなすハードウェアから離れた伝搬信号ではなく、それゆえにメモリは非一時的である。メモリ１５０は、オペレーティングシステム１６２、ＸＲ作業システム１６４、及びその他のアプリケーションプログラム１６６など、プログラム及びソフトウェアを格納するプログラムメモリ１６０を含むことが可能である。メモリ１５０は、データメモリ１７０を含むことも可能であり、データメモリ１７０は、プログラムメモリ１６０又はコンピューティングシステム１００の任意の要素に提供されることになる情報を含むことが可能である。

【0016】

[0022]いくつかの実施態様は、多くのその他のコンピューティングシステム環境又は構成とともに動作可能であり得る。本テクノロジーとともに使用するのに適していると言えるコンピューティングシステム、環境、及び／又は構成の例は、ＸＲヘッドセット、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルド又はラップトップデバイス、セルラー電話、ウェアラブルエレクトロニクス、ゲーミングコンソール、タブレットデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能な家庭用電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記のシステム又はデバイスのうちのいずれかを含む分散コンピューティング環境などを含むが、それらに限定されない。

【0017】

[0023]図２Ａは、いくつかの実施形態によるヘッドマウントディスプレイ（ＨＭＤ）２００の線図である。ＨＭＤ２００は、前部剛体２０５及びバンド２１０を含む。前部剛体２０５は、電子ディスプレイ２４５の１つ又は複数の電子ディスプレイ要素、慣性運動ユニット（ＩＭＵ）２１５、１つ又は複数の位置センサ２２０、ロケータ２２５、及び１つ又は複数の計算ユニット２３０を含む。位置センサ２２０、ＩＭＵ２１５、及び計算ユニット２３０は、ＨＭＤ２００の内部にあることが可能であり、ユーザには見えなくてもよい。さまざまな実施態様においては、ＩＭＵ２１５、位置センサ２２０、及びロケータ２２５は、現実世界における、及び仮想環境におけるＨＭＤ２００の動き及び場所を３自由度（３ＤｏＦ）又は６自由度（６ＤｏＦ）で追跡することが可能である。たとえば、ロケータ２２５は、赤外光ビームを放射することが可能であり、それらの赤外光ビームは、ＨＭＤ２００の周囲の現実のオブジェクト上に光点を生成する。別の例として、ＩＭＵ２１５は、たとえば、１つ又は複数の加速度計、ジャイロスコープ、磁力計、その他の非カメラベースの位置、力、若しくは方位センサ、又はそれらの組合せを含むことが可能である。ＨＭＤ２００と統合されている１つ又は複数のカメラ（図示せず）が、光点を検知することが可能である。ＨＭＤ２００における計算ユニット２３０は、検知された光点を使用して、ＨＭＤ２００の位置及び動きを推定すること、並びにＨＭＤ２００を取り巻く現実のオブジェクトの形状及び位置を識別することが可能である。

【0018】

[0024]電子ディスプレイ２４５は、前部剛体２０５と統合されることが可能であり、計算ユニット２３０によって指示されたとおりにユーザに画像光を提供することが可能である。さまざまな実施形態においては、電子ディスプレイ２４５は、単一の電子ディスプレイ又は複数の電子ディスプレイ（たとえば、ユーザのそれぞれの目のためのディスプレイ）であることが可能である。電子ディスプレイ２４５の例は、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、アクティブマトリックス有機発光ダイオードディスプレイ（ＡＭＯＬＥＤ）、１つ若しくは複数の量子ドット発光ダイオード（ＱＯＬＥＤ）サブピクセルを含むディスプレイ、プロジェクタユニット（たとえば、マイクロＬＥＤ、レーザーなど）、何らかのその他のディスプレイ、又はそれらの何らかの組合せを含む。

【0019】

[0025]いくつかの実施態様においては、ＨＭＤ２００は、パーソナルコンピュータ（ＰＣ）（図示せず）及び／又は１つ若しくは複数の外部センサ（図示せず）などのコア処理コンポーネントに結合されることが可能である。外部センサは、ＨＭＤ２００を（たとえば、ＨＭＤ２００から放射された光を介して）モニタすることが可能であり、これをＰＣが、ＩＭＵ２１５及び位置センサ２２０からの出力と組み合わせて使用して、ＨＭＤ２００の場所及び動きを決定することが可能である。

【0020】

[0026]図２Ｂは、複合現実ＨＭＤ２５２とコア処理コンポーネント２５４とを含む複合現実ＨＭＤシステム２５０の線図である。複合現実ＨＭＤ２５２及びコア処理コンポーネント２５４は、リンク２５６によって示されているようにワイヤレス接続（たとえば、６０ＧＨｚリンク）を介して通信することが可能である。その他の実施態様においては、複合現実システム２５０は、外部計算デバイスを伴わずにヘッドセットのみを含むか、又は複合現実ＨＭＤ２５２とコア処理コンポーネント２５４との間にその他の有線若しくはワイヤレス接続を含む。複合現実ＨＭＤ２５２は、パススルーディスプレイ２５８及びフレーム２６０を含む。フレーム２６０は、ライトプロジェクタ（たとえば、レーザー、ＬＥＤなど）、カメラ、アイトラッキングセンサ、ＭＥＭＳコンポーネント、ネットワーキングコンポーネント等などのさまざまな電子コンポーネント（図示せず）を収容することが可能である。

【0021】

[0027]プロジェクタは、たとえば、光学素子を介してパススルーディスプレイ２５８に結合されて、ユーザに対してメディアを表示することが可能である。光学素子は、プロジェクタからの光をユーザの目へ向けるために、１つ又は複数の導波管アセンブリ、反射器、レンズ、ミラー、コリメータ、回折格子などを含むことが可能である。画像データは、コア処理コンポーネント２５４からリンク２５６を介してＨＭＤ２５２へ伝送されることが可能である。ＨＭＤ２５２におけるコントローラが、画像データをプロジェクタからの光パルスへと変換することが可能であり、それらの光パルスは、光学素子を介して出力光としてユーザの目へ伝送されることが可能である。出力光は、ディスプレイ２５８を通過する光と混ざることが可能であり、これは、あたかも現実世界に存在するかのように見える仮想オブジェクトを出力光が提示することを可能にする。

【0022】

[0028]ＨＭＤ２００と同様に、ＨＭＤシステム２５０は、動き及び位置追跡ユニット、カメラ、光源などを含むことも可能であり、これらは、ＨＭＤシステム２５０が、たとえば、３ＤｏＦ又は６ＤｏＦで自身を追跡し、ユーザの部分（たとえば、手、足、頭、又はその他の身体部分）を追跡し、仮想オブジェクトを、ＨＭＤ２５２が移動する際に静止しているように見えるようにマッピングし、仮想オブジェクトをジェスチャ及びその他の現実世界のオブジェクトに反応させることを可能にする。

【0023】

[0029]さまざまな実施態様においては、ＨＭＤ２００又は２５０は、ユーザの対話及び意図の徴候をモニタするために、アイトラッキングユニット、ヘッドトラッキングユニット、オーディオシステム、さまざまなネットワークコンポーネント等など、追加のサブシステムを含むことも可能である。たとえば、いくつかの実施態様においては、コントローラの代わりに、又はコントローラに加えて、ＨＭＤ２００若しくは２５０に含まれている、又は外部カメラからの１つ又は複数のカメラが、ユーザの手の位置及びポーズをモニタして、ジェスチャ並びにその他の手及び身体の動きを決定することが可能である。

【0024】

ＸＲマルチウィンドウ制御
[0030]現在のＸＲプラットフォームは、オブジェクトを収集するための容易な方法を提供していない。この状況は、特にユーザが新たなエリア（たとえば、新たな部屋、新たなビュー）へ移動して、オブジェクトを一目で見て取ることが可能ではない場合に、仮想環境と対話することを困難にする。たとえば、いくつかのオブジェクトは、部屋においてユーザの背後にあって、ユーザが部屋に入った後にユーザには見えない場合がある。ユーザの面前にオブジェクトを収集するためには、ユーザは、再びアプリケーション又は２Ｄウィンドウを開いて、それらのオブジェクトがユーザの面前に示されるようにする必要がある。

【0025】

[0031]いくつかの実施形態においては、ＸＲデバイスは、ユーザインターフェースを制御するためのマルチウィンドウ制御機能を含む。いくつかの実施形態においては、マルチウィンドウ制御は、ＸＲデバイスのユーザインターフェースにおいて表示されているすべてのオブジェクト（たとえば、ユーザに対して表示されている仮想部屋内のオブジェクトなど）を一箇所に収集して、ユーザが自分の面前で使用したい可能性があるオブジェクトを示す機能である。すなわち、ユーザは、ＸＲデバイスのユーザインターフェースにおいて表示されているすべてのオブジェクト（たとえば、２次元（２Ｄ）オブジェクト、３次元（３Ｄ）オブジェクトなど）を１つの仮想エリア（たとえば、ウィンドウ）へと収集することが可能である。いくつかの実施形態においては、オブジェクトは、１つの仮想エリアへと整然と収集され、その仮想エリアにおいて、それらのオブジェクトはユーザの面前に示される。いくつかの実施形態においては、オブジェクトは、ある配置へと整然と収集される。その配置は、行及び列、又は表示されているオブジェクトとのユーザの対話を容易にするその他のよく知られている構成であることが可能である。この収集機能は、ユーザがすべての利用可能なオブジェクトをわかっていないか、又は見ることができない場合に特に有用である。たとえば、部屋に複数のオブジェクト（たとえば、ユーザの前、後ろ、及び横にあるオブジェクト）がある場合があり、収集動作を使用すると、それらのオブジェクトのうちのすべて、又は多くがユーザの面前にすばやく表示されることが可能になる。

【0026】

[0032]いくつかの実施形態においては、ＸＲデバイスは、オブジェクト収集動作が実行されるようにするために選択されることが可能である収集ボタン又はその他のグラフィカルユーザインターフェース（ＧＵＩ）要素を仮想環境において表示する。収集ボタンを選択することによって、ユーザインターフェースにおいて表示されているオブジェクトは、整然と収集され、ユーザの面前に表示される。いくつかの実施形態においては、収集ボタン（又はその他のＧＵＩ要素）の選択は、たとえば、２０２３年３月９日に同時に出願された「ＸＲ Ｖｉｒｔｕａｌ Ｔｒａｃｋｐａｄ」と題される米国特許出願第１８／１１９，６９７号において記述されているような仮想トラックパッドを介して行われることが可能である。いくつかのその他の実施形態においては、選択は、タップレス選択を使用することによって実行されることが可能であり、これについては、以降でさらに詳細に記述されている。いくつかのその他の実施形態においては、収集ボタンの選択は、コントローラを使用して、又はハンドトラッキングを介して実行される。いくつかの実施形態においては、この収集ボタンは、ユーザがＸＲデバイスを使用して新たな仮想部屋又は仮想場所に入るたびに使用されることが可能である。

【0027】

[0033]収集された場合には、ユーザは、オブジェクトを管理及び／又は操作することが可能である。いくつかの実施形態においては、すべてのオブジェクトがディスプレイウィンドウへと収集されると、ユーザは、仮想ウィンドウから１つ又は複数のオブジェクトを選択することが可能である。いくつかの実施形態においては、選択後に、選択されたオブジェクトは強調表示される。強調表示は、影付け（たとえば、オブジェクトの近くのピクセルを明るくすること又は暗くすることなど）であることが可能である。

【0028】

[0034]いくつかの実施形態においては、選択に応答して、選択されているオブジェクトのみが、依然として仮想ウィンドウに現れ、その一方ですべてのその他のオブジェクトは、仮想環境におけるユーザインターフェースディスプレイにおける自身の元の場所へ戻る。いくつかの実施形態においては、選択されていないオブジェクトは、仮想環境のユーザインターフェースにおいて表示されているＧＵＩ要素（たとえば、戻るボタンなど）の選択に応答して、自身の元の位置へ戻される。いくつかの実施形態においては、収集ボタンはまた、オブジェクトを「収集解除する」ために使用される。言い換えれば、選択されていないオブジェクト（たとえば、オブジェクトのすべて、オブジェクトのサブセットなど）をユーザが収集解除してそれらの元の位置へ戻したい場合には、ユーザは、仮想環境において収集ボタン（又はその他のＧＵＩ）要素を再び選択して、オブジェクトが戻るようにする。いくつかの実施形態においては、ＸＲデバイスは、オブジェクトを収集するために収集ボタンが使用された後に、収集ボタンの視覚表現（たとえば、その色、ラベルなど）を変更して、オブジェクトの収集解除のために収集ボタンが使用されることが可能であるということをユーザに示す。いくつかのその他の実施形態においては、ユーザは、収集ボタンを連続して複数回選択して、オブジェクトを収集解除する。ＸＲデバイスは、仮想環境におけるオブジェクトの場所を示すオブジェクト場所情報を保持し、この情報を使用して、「収集解除」時にオブジェクトを元の場所へ戻すということに留意されたい。

【0029】

[0035]いくつかの実施形態においては、ＸＲデバイスは、収集ボタンを選択した結果として仮想エリア（たとえば、ウィンドウ）において表示されている収集されたオブジェクトのうちの１つ又は複数をユーザが操作することを可能にする。いくつかの実施形態においては、ＸＲデバイスによって可能にされる操作は、仮想ウィンドウ内のオブジェクトの表示を回転、移動、拡大縮小、又はその他の方法で変更することによってオブジェクトを制御することを含む。一実施形態においては、オブジェクトのいかなる変更も、収集機能の使用が終了してオブジェクトが自身の元の位置へ戻った後も残る。言い換えれば、オブジェクトが回転、拡大縮小、又は移動された場合には、オブジェクトが仮想環境内の元の場所へ戻されたときに、オブジェクトの結果としての視覚的表現は残る。いくつかのその他の実施形態においては、ユーザが、収集されたオブジェクトを操作することを終了した後に、それらのオブジェクトは、変更されていない状態でディスプレイにおける自身の元の位置へ戻る。

【0030】

[0036]いくつかの実施形態においては、ＸＲデバイスは、スマートウォッチを使用してオブジェクトの操作を実施する。スマートウォッチを使用して仮想ウィンドウ内のオブジェクトの表示を回転、移動、拡大縮小、又はその他の方法で変更することによってオブジェクトを制御するＸＲデバイスが、たとえば、２０２３年３月９日に同時に出願された「ＸＲ Ｍａｎｉｐｕｌａｔｉｏｎ Ｆｅａｔｕｒｅ ｗｉｔｈ Ｓｍａｒｔ Ｗａｔｃｈ」と題される米国特許出願第１８／１１９，７２０号において記述されている。しかしながら、ＸＲデバイスは、その他の技術を使用して、そのようなオブジェクト操作を実行することが可能である。

【0031】

[0037]図３Ａ～図３Ｃは、ＸＲデバイスにおけるユーザインターフェースを制御するためのマルチウィンドウ制御のいくつかの実施形態を示している。図３Ａを参照すると、ＸＲデバイスのユーザインターフェースが、ユーザに対して表示されている。示されているように、ＸＲデバイスにおけるユーザインターフェースは、２Ｄウィンドウと、仮想部屋内に散在しているオブジェクトとを表示している。ユーザインターフェースはまた、オブジェクトを収集するためにユーザによって選択されることが可能である収集ボタンを含む。図３Ｂは、収集ボタンをユーザが押した後の結果として生じるユーザインターフェースの例を示している。図３Ｂを参照すると、収集ボタンが選択された場合には、オブジェクトは整然と収集される。ユーザは、自分の面前に表示されているオブジェクトのサブセットを選択して、収集されるオブジェクトの数を低減することが可能である。図３Ｃは、図３Ｂにおいて示されている収集されたオブジェクトからユーザによって選択されたオブジェクトを示している。選択されたオブジェクトは、ユーザの面前に示され、ユーザは、それらのオブジェクトを選択してその他のユーザインターフェースアクションを実行することによって、それらの位置を変更することが可能である。

【0032】

[0038]図４は、ユーザインターフェースにおいてマルチウィンドウ制御を実行するためのプロセスのいくつかの実施形態の流れ図である。いくつかの実施形態においては、このプロセスは、少なくとも部分的に、ハードウェア（たとえば、回路網、専用ロジックなど）、ソフトウェア（たとえば、チップ上で稼働するソフトウェア、汎用コンピュータシステム若しくは専用機上で稼働されるソフトウェアなど）、ファームウェア、又はそれら３つの組合せを備える処理ロジックによって実行される。いくつかの実施形態においては、このプロセスは、ＸＲデバイスによって実行される。

【0033】

[0039]図４を参照すると、このプロセスは、処理ロジックが、オブジェクト収集動作を実行するための徴候を仮想環境においてユーザから受け取ることによって始まる（処理ブロック４０１）。いくつかの実施形態においては、ＸＲデバイスは、収集ボタン（又はその他のＧＵＩ要素）を表示し、ユーザが収集ボタン（又はその他のＧＵＩ要素）に関与して（たとえば、それを押す、選択するなど）、オブジェクト収集動作が実行されるよう要求したという徴候を受け取る。いくつかの実施形態においては、処理ロジックは、ユーザの手の位置が、収集ボタン上に向けられている位置に、事前に決定された時間にわたって保持されていると決定することによって、タップレス選択を介して収集ボタンの選択を検知する。いくつかのその他の実施形態においては、処理ロジックは、ユーザの手及び親指又は指の位置を追跡することによって、収集ボタンの選択を検知する。徴候を受け取ったことに応答して、処理ロジックは、オブジェクト収集動作を呼び出して、仮想環境内のオブジェクトを１つの場所（たとえば、仮想環境内のウィンドウがユーザに対して表示される）へと収集する（処理ブロック４０２）。

【0034】

[0040]オブジェクト収集動作を実行した後に、処理ロジックは、収集された１つ又は複数のオブジェクトの選択を受け取る（処理ブロック４０３）。いくつかの実施形態においては、処理ロジックは、ユーザの手の位置が、オブジェクト上に向けられている位置に、事前に決定された時間にわたって保持されていると決定することによって、タップレス選択を介することによってオブジェクトの選択を検知する。いくつかのその他の実施形態においては、処理ロジックは、ユーザの手及び親指又は指の位置を追跡することによって、ウィンドウにおける１つ又は複数のオブジェクトの選択を検知する。

【0035】

[0041]オブジェクトを選択したことに応答して、処理ロジックは、そのオブジェクトを強調表示する（処理ブロック４０４）。いくつかの実施形態においては、ＸＲデバイスは、オブジェクトを強調表示するために、オブジェクト上で影付けを実行する。いくつかの実施形態においては、ＸＲデバイスは、オブジェクトを強調表示するために、オブジェクトをより肉太に見えるようにする。

【0036】

[0042]収集されたオブジェクトのうちの１つ又は複数の選択を受け取った後に、処理ロジックは、選択されていないオブジェクトを仮想環境内の元の場所へ戻す（処理ブロック４０５）。いくつかの実施形態においては、ＸＲデバイスは、ＧＵＩ要素のユーザによる選択（たとえば、収集解除ボタン、収集ボタンの再選択など）を受け取ったことに応答して、選択されていないオブジェクトを仮想環境内の元の場所へ戻す。

【0037】

[0043]処理ロジックは、選択されたオブジェクトのうちの１つ又は複数を操作するための（１つ又は複数の）ユーザ入力を受け取り、操作を実行する（処理ブロック４０６）。いくつかの実施形態においては、処理ロジックは、ユーザの検知された動きに応答して、オブジェクト操作を実行する。操作の例は、オブジェクトを回転すること、オブジェクトを拡大縮小すること、オブジェクトを移動することなどを含む。

【0038】

[0044]任意の所望の操作が実行された後に、処理ロジックは、選択されたオブジェクトを仮想環境内の元の場所へ戻すことをユーザが望んでいるという徴候を受け取る（処理ブロック４０７）。いくつかの実施形態においては、ＸＲデバイスは、収集解除ＧＵＩ要素（たとえば、収集解除ボタンなど）を表示し、ユーザが収集解除ＧＵＩ要素に関与して（たとえば、それを押して、選択してなどで）、収集されて選択された（１つ又は複数の）オブジェクトが仮想環境内の元の場所へ戻されるよう要求したという徴候を受け取る。いくつかの実施形態においては、処理ロジックは、ユーザの手の位置が、収集解除ＧＵＩ要素上に向けられている位置に、事前に決定された時間にわたって保持されていると決定することによって、タップレス選択を介して収集解除ＧＵＩ要素の選択を検知する。いくつかのその他の実施形態においては、処理ロジックは、ユーザの手及び親指又は指の位置を追跡することによって、収集解除ＧＵＩ要素の選択を検知する。徴候を受け取ったことに応答して、処理ロジックは、オブジェクト収集解除動作を呼び出して、オブジェクトを仮想環境内の元の場所へ戻す（処理ブロック４０８）。

【0039】

[0045]図５は、ユーザインターフェースにおいてマルチウィンドウ制御を実行するためのプロセスのいくつかのその他の実施形態の流れ図である。いくつかの実施形態においては、このプロセスは、少なくとも部分的に、ハードウェア（たとえば、回路網、専用ロジックなど）、ソフトウェア（たとえば、チップ上で稼働するソフトウェア、汎用コンピュータシステム若しくは専用機上で稼働されるソフトウェアなど）、ファームウェア、又はそれら３つの組合せを備える処理ロジックによって実行される。いくつかの実施形態においては、このプロセスは、ＸＲデバイスによって実行される。

【0040】

[0046]図５を参照すると、このプロセスは、処理ロジックが、ユーザインターフェースをエクステンドリアリティ（ＸＲ）デバイスのディスプレイにおいて表示することによって始まる（処理ブロック５０１）。いくつかの実施形態においては、ユーザインターフェースは、グラフィカルユーザインターフェース（ＧＵＩ）要素及びいくつかのオブジェクトを含む。いくつかの実施形態においては、ＧＵＩ要素は、収集ボタンを含む。しかしながら、その他のタイプのＧＵＩ要素が使用されることが可能である。

【0041】

[0047]ユーザインターフェースを表示している間に、処理ロジックは、ユーザインターフェースにおけるＧＵＩ要素の選択を検知し（処理ブロック５０２）、ディスプレイ上に表示されているオブジェクトのセットをディスプレイ上のウィンドウへと移動する（処理ブロック５０３）。一実施形態においては、ＧＵＩ要素は、収集ボタンを含む。いくつかの実施形態においては、ウィンドウは、２Ｄウィンドウであり、オブジェクトは、行及び列において表示される。或いは、オブジェクトは、その他の方法で配置されること、又は２Ｄウィンドウにおいてランダムに表示されることさえ可能である。

【0042】

[0048]その後、ＧＵＩボタンを選択した結果としてオブジェクトが表示されている間に、処理ロジックは、ユーザの動きを追跡することによって、２Ｄウィンドウ内のオブジェクトのうちの１つ又は複数の選択を検知する（処理ブロック５０４）。いくつかの実施形態においては、処理ロジックは、ユーザの手の位置が、ＧＵＩ要素に向けられている位置に、事前に決定された時間にわたって保持されていると決定することによって、タップレス選択を介することによってオブジェクトの選択を検知する。いくつかのその他の実施形態においては、処理ロジックは、ユーザの手及び親指又は指の位置を追跡することによって、ウィンドウにおける１つ又は複数のオブジェクトの選択を検知する。

【0043】

[0049]選択に応答して、処理ロジックは、１つ又は複数のオブジェクトのうちの選択されたオブジェクトをユーザの面前に表示する（処理ブロック５０５）。たとえば、ユーザが収集ボタンを選択した結果として２Ｄウィンドウにおいて表示されている６つのオブジェクトがあって、ユーザが４つのオブジェクトを選択した場合には、２Ｄウィンドウは更新され、それらの４つの選択されたオブジェクトのみがウィンドウに残る。

【0044】

[0050]また、処理ロジックは、２Ｄウィンドウ内のオブジェクトのうちの少なくとも１つの位置を変更する（処理ブロック５０６）。いくつかの実施形態においては、処理ロジックは、ユーザの検知された動きに応答して、オブジェクトの位置を変更する。位置の変更の例は、オブジェクトを回転すること、オブジェクトを拡大縮小すること、オブジェクトを移動することなどを含む。

【0045】

[0051]上で論じられているように、いくつかの実施形態においては、ＸＲデバイスのユーザインターフェース（ＵＩ）／ユーザ体験（ＵＸ）は、ＸＲデバイスのＵＩにおいて表示されている仮想環境においてオブジェクト、グラフィカルユーザインターフェース（ＧＵＩ）要素（たとえば、ボタン、メニューなど）、又はその他のアイテムを選択するためのタップレス選択機能を含む。いくつかの実施形態においては、タップレス選択を実行する際に、ユーザは、事前に決定された期間にわたって自分の手を適所に保つ以外に何もする必要はない。すなわち、ユーザが選択したいオブジェクトに向けて一定の期間にわたってその人が自分の手の位置を保つことができる限り、ＸＲデバイスは、ユーザが選択したいオブジェクトを決定することが可能であり、選択を行う。ユーザの手及び／又は指が、事前に決定された量の時間にわたって特定の位置で一時停止されている限り、ユーザは、タップレス選択機能を使用して、ＸＲデバイスのユーザインターフェースにおいて表示されているメニュー又はアイコンを選択することが可能である。いくつかの実施形態においては、事前に決定される時間は、可変時間で設定されることが可能である。たとえば、いくつかの実施形態においては、ＸＲデバイスのユーザインターフェースにおいてメニュー又はアイコンを選択するためには、ユーザが自分の手及び／又は指を特定の位置に保持又は一時停止しなければならない事前に決定された期間は、１秒又は２秒である。いくつかの実施形態においては、事前に決定される時間は、用途に基づいて設定及び／又は最適化されることが可能である。いくつかの実施形態においては、ユーザインターフェースは、手及び／又は指が特定の位置において一時停止又は保持されると、インジケータを表示する。このインジケータは、タップレス選択を実行するために位置を保持させるための残り時間の量を示す。いくつかの実施形態においては、インジケータは、閉じゆく円であり、この円においては、ユーザインターフェースにおいて単一の点から円が形成され、その点は、時計回り（又は反時計回り）の方向に描かれ続け、開始点に到達する。円を描くための時間は、ユーザがユーザインターフェースにおいてアイテムを選択するために自分の手及び／又は（１つ若しくは複数の）指を適所に保持する必要がある時間である。その他のインジケータが使用されることが可能であるということに留意されたい。タップレス選択を実行するＸＲデバイスの例は、たとえば、参照によって本明細書に組み込まれている２０２２年７月２８日に出願された「ＸＲ Ｔａｐｌｅｓｓ Ｓｅｌｅｃｔｉｏｎ」と題される米国特許仮出願第６３／３９３，１７２号において記述されている。

【0046】

[0052]図６は、ＸＲデバイスのシステム及び動作を含む、本明細書において論じられているシステム及び動作をサポートするために使用されることが可能であるコンピュータシステムの一実施形態である。しかしながら、さまざまなシステムアーキテクチャのその他の代替システムが使用されることも可能であるということは、当業者にとって明らかであろう。

【0047】

[0053]図６において示されているデータ処理システムは、情報を通信するためのバス（又はその他の内部通信手段）６１５と、バス６１５に結合されていて情報を処理するための１つ又は複数のプロセッサ６１０とを含む。このシステムは、情報と、（１つ又は複数の）プロセッサ６１０によって実行されることになる命令とを格納するためにバス６１５に結合されているランダムアクセスメモリ（ＲＡＭ）又はその他の揮発性記憶デバイス６５０（メモリと呼ばれる）をさらに含む。メモリ６５０はまた、（１つ又は複数の）プロセッサ６１０による命令の実行中に一時変数又はその他の中間情報を格納するために使用されることが可能である。このシステムはまた、バス６１５に結合されていて（１つ又は複数の）プロセッサ６１０のための静的な情報及び命令を格納するための読み取り専用メモリ（ＲＯＭ）及び／又は静的記憶デバイス６２０と、磁気ディスク又は光ディスク及びその対応するディスクドライブなどのデータ記憶デバイス６２５とを含む。データ記憶デバイス６２５は、情報及び命令を格納するためにバス６１５に結合されている。

【0048】

[0054]このシステムは、コンピュータユーザに対して情報を表示するためにバス６６５を通じてバス６１５に結合されている発光ダイオード（ＬＥＤ）ディスプレイ又は液晶ディスプレイ（ＬＣＤ）などのディスプレイデバイス６７０にさらに結合されることが可能である。英数字キー及びその他のキーを含む英数字入力デバイス６７５が、情報及びコマンド選択を（１つ又は複数の）プロセッサ６１０に通信するためにバス６６５を通じてバス６１５に結合されることも可能である。追加のユーザ入力デバイスが、バス６６５を通じてバス６１５に結合されていて方向情報及びコマンド選択をプロセッサ６１０に通信するための、並びにディスプレイデバイス６７０上のカーソルの動きを制御するためのタッチパッド、マウス、トラックボール、スタイラス、又はカーソル方向キーなどのカーソル制御デバイス６８０である。

【0049】

[0055]任意選択でコンピュータシステム６００に結合されることが可能である別のデバイスが、ネットワークを介して分散システムのその他のノードにアクセスするための通信デバイス６９０である。通信デバイス６９０は、イーサネット（登録商標）、トークンリング、インターネット、又はワイドエリアネットワークに結合するために使用されるものなどのいくつかの市販のネットワーキング周辺デバイスのうちのいずれかを含むことが可能である。通信デバイス６９０はさらに、ヌルモデム接続、又は、コンピュータシステム６００と外界との間における接続性を提供する任意のその他のメカニズムであることが可能である。図６において示されているこのシステムのコンポーネント及び関連付けられているハードウェアのうちのいずれか又はすべてが、本明細書において論じられているさまざまな実施形態において使用されることが可能であるということに留意されたい。

【0050】

[0056]本明細書において記述されているいくつかの例示的な実施形態がある。

【0051】

[0057]例１は、ユーザインターフェース（ＵＩ）においてマルチウィンドウ制御を実行するための方法であり、この方法は、ユーザインターフェースをエクステンドリアリティ（ＸＲ）デバイスのディスプレイにおいて表示するステップであり、ユーザインターフェースが、グラフィカルユーザインターフェース（ＧＵＩ）要素及びいくつかのオブジェクトを含む、ステップと、ＵＩにおけるＧＵＩ要素の選択を検知するステップと、ディスプレイ上に表示されているオブジェクトのセットをディスプレイ上のウィンドウへと移動するステップと、ユーザの動きを追跡することによって、オブジェクトのセット内のオブジェクトのうちの１つ又は複数の選択を検知するステップと、１つ又は複数のオブジェクトのうちの選択されたオブジェクトをユーザの面前に表示するステップとを含む。

【0052】

[0058]例２は、ユーザの検知された動きに応答して、選択されたオブジェクトのうちの少なくとも１つの位置を変更するステップを任意選択で含むことが可能である、例１の方法である。

【0053】

[0059]例３は、ＧＵＩ要素が、収集ボタンであるということを、任意選択で含むことが可能である、例１の方法である。

【0054】

[0060]例４は、ＵＩにおけるＧＵＩ要素の選択を検知するステップが、ユーザの手の位置が事前に決定された時間にわたって１つの場所に保持されていると決定することによって、タップレス選択を検知することを含むということを、任意選択で含むことが可能である、例１の方法である。

【0055】

[0061]例５は、ユーザの動きを追跡することが、ユーザの手の位置を追跡することを含むということを、任意選択で含むことが可能である、例１の方法である。

【0056】

[0062]例６は、ユーザの動きを追跡することが、ユーザの手の１つ又は複数の指を追跡することを含むということを、任意選択で含むことが可能である、例１の方法である。

【0057】

[0063]例７は、１つ又は複数のプロセッサと、１つ又は複数のプロセッサによって実行されたときに、ユーザインターフェースをエクステンドリアリティ（ＸＲ）デバイスのディスプレイにおいて表示することであり、ユーザインターフェースが、グラフィカルユーザインターフェース（ＧＵＩ）要素及びいくつかのオブジェクトを含む、表示すること、ＵＩにおけるＧＵＩ要素の選択を検知すること、ディスプレイ上に表示されているオブジェクトのセットをディスプレイ上のウィンドウへと移動すること、ユーザの動きを追跡することによって、オブジェクトのセット内のオブジェクトのうちの１つ又は複数の選択を検知すること、及び、１つ又は複数のオブジェクトのうちの選択されたオブジェクトをユーザの面前に表示することを含むプロセスを、コンピューティングシステムに実行させる命令を格納する１つ又は複数のメモリと、を備えるコンピューティングシステムである。

【0058】

[0064]例８は、ユーザの検知された動きに応答して、選択されたオブジェクトのうちの少なくとも１つの位置を変更することを、上記プロセスがさらに含むことが可能である、例７のコンピューティングシステムである。

【0059】

[0065]例９は、ＧＵＩ要素が、収集ボタンであるということを、任意選択で含むことが可能である、例７のコンピューティングシステムである。

【0060】

[0066]例１０は、ＵＩにおけるＧＵＩ要素の選択を検知することが、ユーザの手の位置が事前に決定された時間にわたって１つの場所に保持されていると決定することによって、タップレス選択を検知することを含むということを、任意選択で含むことが可能である、例７のコンピューティングシステムである。

【0061】

[0067]例１１は、ユーザの動きを追跡することが、ユーザの手の位置を追跡することを含むということを、任意選択で含むことが可能である、例７のコンピューティングシステムである。

【0062】

[0068]例１２は、ユーザの動きを追跡することが、ユーザの手の１つ又は複数の指を追跡することを含むということを、任意選択で含むことが可能である、例７のコンピューティングシステムである。

【0063】

[0069]例１３は、少なくともプロセッサ及びメモリを有するシステムによって実行されたときに、ユーザインターフェースをエクステンドリアリティ（ＸＲ）デバイスのディスプレイにおいて表示することであり、ユーザインターフェースが、グラフィカルユーザインターフェース（ＧＵＩ）要素及びいくつかのオブジェクトを含む、表示することと、ＵＩにおけるＧＵＩ要素の選択を検知することと、ディスプレイ上に表示されているオブジェクトのセットをディスプレイ上のウィンドウへと移動することと、ユーザの動きを追跡することによって、オブジェクトのセット内のオブジェクトのうちの１つ又は複数の選択を検知することと、１つ又は複数のオブジェクトのうちの選択されたオブジェクトをユーザの面前に表示することとを含む動作を、システムに実行させる命令が格納された、１つ又は複数の非一時的コンピュータ読み取り可能な記憶媒体である。

【0064】

[0070]例１４は、上記動作が、ユーザの検知された動きに応答して、選択されたオブジェクトのうちの少なくとも１つの位置を変更することをさらに含む、ということを任意選択で含むことが可能である、例１３の１つ又は複数の非一時的コンピュータ読み取り可能な記憶媒体である。

【0065】

[0071]例１５は、ＧＵＩ要素が、収集ボタンであるということを、任意選択で含むことが可能である、例１３の１つ又は複数の非一時的コンピュータ読み取り可能な記憶媒体である。

【0066】

[0072]例１６は、ＵＩにおけるＧＵＩ要素の選択を検知することが、ユーザの手の位置が事前に決定された時間にわたって１つの場所に保持されていると決定することによって、タップレス選択を検知することを含むということを、任意選択で含むことが可能である、例１３の１つ又は複数の非一時的コンピュータ読み取り可能な記憶媒体である。

【0067】

[0073]例１７は、ユーザの動きを追跡することが、ユーザの手の位置を追跡することを含むということを、任意選択で含むことが可能である、例１３の１つ又は複数の非一時的コンピュータ読み取り可能な記憶媒体である。

【0068】

[0074]例１８は、ユーザの動きを追跡することが、ユーザの手の１つ又は複数の指を追跡することを含むということを、任意選択で含むことが可能である、例１３の１つ又は複数の非一時的コンピュータ読み取り可能な記憶媒体である。

【0069】

[0075]例１９は、ＧＵＩ要素が、収集ボタンであり、さらに、ＵＩにおけるＧＵＩ要素の選択を検知することが、ユーザの手の位置が事前に決定された時間にわたって１つの場所に保持されていると決定することによって、タップレス選択を検知することを含むということを、任意選択で含むことが可能である、例１３の１つ又は複数の非一時的コンピュータ読み取り可能な記憶媒体である。

【0070】

[0076]例２０は、上記動作が、別のＧＵＩ要素の選択を受け取った後に、１つ又は複数のオブジェクトを仮想環境内の元の場所へ戻すことをさらに含む、ということを任意選択で含むことが可能である、例１３の１つ又は複数の非一時的コンピュータ読み取り可能な記憶媒体である。

【0071】

[0077]本明細書において記述されているシステム、方法、及びプロセスは、メインメモリ又は読み取り専用メモリに格納されてプロセッサによって実行されるソフトウェアとして実装されることが可能であるということは、当業者にとって明らかであろう。この制御ロジック又はソフトウェアは、非一時的コンピュータ可読媒体を備える製品に存在することも可能であり、その非一時的コンピュータ可読媒体は、コンピュータ可読プログラムコードが内部で具現化されており、大容量記憶デバイスによって読み取り可能であり、本明細書における方法及び教示に従ってプロセッサを動作させるためのものである。

【0072】

[0078]本明細書において論じられている実施形態は、上述されているコンピュータハードウェアコンポーネントのサブセットを含むハンドヘルド又はポータブルデバイスで具現化されることも可能である。たとえば、ハンドヘルドデバイスは、バスと、プロセッサと、メモリとだけを含むように構成されている携帯電話、タブレットコンピュータ、専用コンピュータデバイスなどであることが可能である。ハンドヘルドデバイスは、ボタン又は入力シグナリングコンポーネントのセットを含むように構成されることも可能であり、それらを用いてユーザが、利用可能なオプションのセットから選択を行うことが可能である。ハンドヘルドデバイスは、ハンドヘルドデバイスのユーザに対して情報を表示するための液晶ディスプレイ（ＬＣＤ）又は表示要素マトリックスなどの出力装置を含むように構成されることも可能である。従来の方法を使用して、そのようなハンドヘルドデバイスを実装することが可能である。そのようなデバイスに関する実施形態の実装は、本明細書において提供されている開示を与えられれば、当業者にとって明らかであろう。

【0073】

[0079]本明細書において論じられている実施形態は、上述されているコンピュータハードウェアコンポーネントのサブセットを含む専用アプライアンスにおいて具現化されることも可能である。たとえば、そのアプライアンスは、プロセッサ、データ記憶デバイス、バス、及びメモリと、ユーザがデバイスと基本的な様式で通信することを可能にする小さなタッチスクリーンなど、ごく初歩的な通信メカニズムとを含むことが可能である。一般には、デバイスの専用度合いが高くなればなるほど、デバイスが機能するために存在している必要がある要素は少なくなる。

【0074】

[0080]上記の詳細説明のいくつかの部分は、コンピュータメモリ内のデータビットに関する演算のアルゴリズム及びシンボル表現という点から提示されている。これらのアルゴリズム的な記述及び表現は、データ処理技術分野における当業者によって、彼らの作業の実体を、その技術分野における他の当業者へ最も効果的に伝達するために使用される手段である。アルゴリズムとは、ここでは、及び一般には、所望の結果につながるステップどうしの自己矛盾のないシーケンスであると考えられる。それらのステップは、物理的な量の物理的な操作を必要とするステップである。通常、必須ではないが、これらの量は、格納されること、転送されること、結合されること、比較されること、及びその他の方法で操作されることが可能な電気信号又は磁気信号の形態を取る。これらの信号をビット、値、要素、シンボル、文字、語、数などとして指すことが、主として共通の使用という理由から、時として好都合であることがわかっている。

【0075】

[0081]しかしながら、これら及び類似の語のすべては、適切な物理的な量に関連付けられるものであり、これらの量に適用される便宜上のラベルにすぎないということを念頭に置いていただきたい。特に別段の記載がない限り、以降の論考から明らかなように、この記述の全体を通じて、「処理する」、又は「計算する」、又は「算出する」、又は「決定する」、又は「表示する」等などの語を利用している論考は、コンピュータシステムのレジスタ及びメモリ内の物理的な（電子的な）量として表されているデータを操作して、同様にコンピュータシステムのメモリ若しくはレジスタ、又はその他のそのような情報格納、伝送、若しくは表示デバイス内の物理的な量として表されるその他のデータへと変換する、コンピュータシステム又は類似の電子コンピューティングデバイスのアクション及びプロセスを指すということがわかる。

【0076】

[0082]本開示はまた、本明細書における動作を実行するための装置に関連している。この装置は、求められている目的のために特別に構築されることが可能であり、又は、コンピュータに格納されているコンピュータプログラムによって選択的にアクティブ化若しくは再構成される汎用コンピュータを備えることが可能である。そのようなコンピュータプログラムは、コンピュータ読み取り可能な記憶媒体に格納されることが可能であり、そのコンピュータ読み取り可能な記憶媒体は、フロッピーディスク、光ディスク、ＣＤ－ＲＯＭ、及び光磁気ディスクを含む任意のタイプのディスク、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気若しくは光カード、又は電子命令を格納するのに適している任意のタイプの媒体などであるが、それらに限定されず、それぞれはコンピュータシステムバスに結合されている。

【0077】

[0083]本明細書において提示されているアルゴリズム及び表示は、いずれかの特定のコンピュータ又はその他の装置に固有に関連しているものではない。さまざまな汎用システムが、本明細書における教示によるプログラムとともに使用されることが可能であり、又は必要とされている方法ステップを実行するためのさらに専門化された装置を構築することが好都合であると判明する場合もある。さまざまなこれらのシステムにとっての必要とされる構造は、以降の記述から明らかになるであろう。加えて、本開示は、いずれかの特定のプログラミング言語に関連して記述されているものではない。本明細書において記述されているように本開示の教示を実施するためにさまざまなプログラミング言語が使用されることが可能であるということがわかるであろう。

【0078】

[0084]機械可読媒体は、機械（たとえば、コンピュータ）によって読み取り可能な形態で情報を格納又は伝送するための任意のメカニズムを含む。たとえば、機械可読媒体は、読み取り専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、電気伝搬信号、光伝搬信号、音響伝搬信号、又はその他の形態の伝搬信号（たとえば、搬送波、赤外線信号、デジタル信号等）などを含む。

【0079】

[0085]当業者にとっては、前述の記述を読んだ後には、本開示の多くの変更及び修正が疑いなく明らかになるであろうが、例示として示され記述されているいずれの特定の実施形態も、限定的とみなされることを意図されているものでは決してないということを理解されたい。そのため、さまざまな実施形態の詳細への言及は、本開示にとって不可欠とみなされる特徴のみを本来列挙する特許請求の範囲の範疇を限定することを意図されているものではない。

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6】