特許 7574208 摘まんで引くジェスチャーに基づいた人工現実システムにおける入力の検出

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-18

(45)【発行日】2024-10-28

(54)【発明の名称】摘まんで引くジェスチャーに基づいた人工現実システムにおける入力の検出

(51)【国際特許分類】

   G06F 3/01 20060101AFI20241021BHJP

   G09G 5/00 20060101ALI20241021BHJP

【ＦＩ】

G06F3/01 570

G06F3/01 510

G09G5/00 510A

G09G5/00 550C

【請求項の数】 15

(21)【出願番号】P 2021557668

(86)(22)【出願日】2020-05-29

(65)【公表番号】

(43)【公表日】2022-08-12

(86)【国際出願番号】 US2020035384

(87)【国際公開番号】W WO2020247279

(87)【国際公開日】2020-12-10

【審査請求日】2023-03-06

(31)【優先権主張番号】16/435,116

(32)【優先日】2019-06-07

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】515046968

【氏名又は名称】メタ プラットフォームズ テクノロジーズ， リミテッド ライアビリティ カンパニー

【氏名又は名称原語表記】ＭＥＴＡ ＰＬＡＴＦＯＲＭＳ ＴＥＣＨＮＯＬＯＧＩＥＳ， ＬＬＣ

(74)【代理人】

【識別番号】110002974

【氏名又は名称】弁理士法人Ｗｏｒｌｄ ＩＰ

(72)【発明者】

【氏名】ラヴァス， ジョナサン

(72)【発明者】

【氏名】ピンチョン， エティエンヌ

(72)【発明者】

【氏名】ティックナー， サイモン チャールズ

(72)【発明者】

【氏名】エリス， ロバート

(72)【発明者】

【氏名】スティーブンス， ジャスパー

(72)【発明者】

【氏名】ヴァルガ， アダム ティボル

(72)【発明者】

【氏名】スパーロック， ジェニファー リン

(72)【発明者】

【氏名】ソルジ－トゥーメイ， カイル エリック

(72)【発明者】

【氏名】フォックス， バレット

【審査官】相川 俊

(56)【参考文献】

【文献】米国特許第１０２６１５９５（ＵＳ，Ｂ１）

【文献】国際公開第２０１８／１９８９１０（ＷＯ，Ａ１）

【文献】特表２０１４－５１８５９６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／００４６２４５（ＵＳ，Ａ１）

【文献】特表２０１５－５１１０４３（ＪＰ，Ａ）

【文献】特表２０１８－５１６３９９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８１５

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３７７

Ｇ０９Ｇ ５／３６

(57)【特許請求の範囲】

【請求項1】

人工現実システムであって、該人工現実システムは、
物理的環境を表す画像データをキャプチャするように構成された、画像キャプチャデバイスと、
人工現実コンテンツを出力するように構成された、ヘッドマウントディスプレイ（ＨＭＤ）と、
ユーザインターフェース（ＵＩ）ピンチ要素を生成するために構成されたＵＩエンジンと、
摘まむ構成を形成する手の二本の指の動作と、それに続く、前記二本の指が前記摘まむ構成のままの状態での引く動作とを含むジェスチャーを、キャプチャされた画像データから識別するように、
前記キャプチャされた画像データから、前記摘まむ構成がＵＩピンチ要素の近傍にあると決定するように、かつ
前記ジェスチャーを識別した後、前記二本の指が前記摘まむ構成のままの状態での前記手の更なる移動を識別するように構成された、ジェスチャー検出器と、
前記ジェスチャーの識別に応答して、ＵＩ入力要素を前記人工現実コンテンツの少なくとも一部に対するオーバーレイとして描画するように、かつ
前記手の前記更なる移動に応答して、前記手の前記更なる移動に対応する手法で、前記ＵＩ入力要素を修正するように構成された、レンダリングエンジンと、
を備え、前記ＵＩエンジンが、前記ジェスチャーの識別に応答して前記ＵＩ入力要素を生成するようにさらに構成されている、人工現実システム。

【請求項2】

前記手の前記更なる移動に対応する手法で前記ＵＩ入力要素を修正するために、前記レンダリングエンジンが更に、
入力値を示すように、ＵＩ入力を修正するように構成された、
請求項１に記載の人工現実システム。

【請求項3】

前記レンダリングエンジンが更に、
修正された前記ＵＩ入力要素を描画するように構成された、
請求項２に記載の人工現実システム。

【請求項4】

前記ジェスチャー検出器が更に、
前記画像データから、前記摘まむ構成が中止されていると決定するように構成された、
請求項１から３のいずれか一項に記載の人工現実システム。

【請求項5】

前記ＵＩエンジンが更に、
前記摘まむ構成が中止されているとの決定に応答して、入力値を識別し、
前記入力値に基づいて、更新された人工現実コンテンツを生成するように構成された、
請求項１から４のいずれか一項に記載の人工現実システム。

【請求項6】

前記レンダリングエンジンが更に、
更新された前記人工現実コンテンツを描画するように構成された、請求項５に記載の人工現実システム。

【請求項7】

前記ＨＭＤが更に、前記物理的環境を表す前記画像データの少なくとも一部を出力するように構成された、請求項１から６のいずれか一項に記載の人工現実システム。

【請求項8】

前記ジェスチャーを識別するため、前記ジェスチャー検出器が更に、
ジェスチャーライブラリのエントリに対応するものとして、前記ジェスチャーを識別するように構成された、請求項１から７のいずれか一項に記載の人工現実システム。

【請求項9】

前記手の前記二本の指が親指および人差し指である、請求項１から８のいずれか一項に記載の人工現実システム。

【請求項10】

後続の引く動作が前記手の引く動作を含む、請求項１から９のいずれか一項に記載の人工現実システム。

【請求項11】

後続の引く動作が前記二本の指の引く動作を含む、請求項１から１０のいずれか一項に記載の人工現実システム。

【請求項12】

前記画像キャプチャデバイスが前記ＨＭＤ内に統合される、請求項１から１１のいずれか一項に記載の人工現実システム。

【請求項13】

前記ＵＩ入力要素が、
一次元の連続可変スライダ、
一次元の離散的可変スライダ、
スイッチ、
メニュー、
径方向アイテムピッカー、
径方向スライダ、
カラーピッカー、
容量性カラーピッカー、または、
進行状況スライダ、のうち少なくとも１つである、請求項１から１２のいずれか一項に記載の人工現実システム。

【請求項14】

画像キャプチャデバイスによって、物理的環境を表す画像データをキャプチャすることと、
ヘッドマウントディスプレイ（ＨＭＤ）によって、人工現実コンテンツを出力することと、
ユーザインターフェース（ＵＩ）エンジンによって、ＵＩピンチ要素を生成することと、
摘まむ構成を形成する手の二本の指の動作と、それに続く、前記二本の指が前記摘まむ構成のままの状態での引く動作とを含むジェスチャーを、キャプチャされた画像データから識別することと、
前記キャプチャされた画像データから、前記摘まむ構成がＵＩピンチ要素の近傍にあると決定することと、
前記ジェスチャーを識別した後、前記二本の指が前記摘まむ構成のままの状態での前記手の更なる移動を識別することと、
前記ＵＩエンジンにより、前記ジェスチャーの識別に応答してＵＩ入力要素を生成することと、
前記ジェスチャーの識別に応答して、前記ＵＩ入力要素を前記人工現実コンテンツの少なくとも一部に対するオーバーレイとして描画することと、
前記手の前記更なる移動に応答して、前記手の前記更なる移動に対応する手法で、前記ＵＩ入力要素を修正することと、
を含む、方法。

【請求項15】

非一時的コンピュータ可読記憶媒体であって、
画像キャプチャデバイスによって、物理的環境を表す画像データをキャプチャすることと、
ヘッドマウントディスプレイ（ＨＭＤ）によって、人工現実コンテンツを出力することと、
ユーザインターフェース（ＵＩ）エンジンによって、ＵＩピンチ要素を生成することと、
摘まむ構成を形成する手の二本の指の動作と、それに続く、前記二本の指が前記摘まむ構成のままの状態での引く動作とを含むジェスチャーを、キャプチャされた画像データから識別することと、
前記キャプチャされた画像データから、前記摘まむ構成がＵＩピンチ要素の近傍にあると決定することと、
前記ジェスチャーを識別した後、前記二本の指が前記摘まむ構成のままの状態での前記手の更なる移動を識別することと、
前記ＵＩエンジンにより、前記ジェスチャーの識別に応答してＵＩ入力要素を生成することと、
前記ジェスチャーの識別に応答して、前記ＵＩ入力要素を前記人工現実コンテンツの少なくとも一部に対するオーバーレイとして描画することと、
前記手の前記更なる移動に応答して、前記手の前記更なる移動に対応する手法で、前記ＵＩ入力要素を修正することと、
を含む動作を、人工現実システムの１つまたは複数のプロセッサに実施させる命令を含む、非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１９年６月７日付けの米国出願第１６／４３５，１１６号の優先権を主張し、その内容全体をあらゆる目的で参照により本明細書に組み込む。

【0002】

本開示は、全体として、仮想現実、複合現実、および／または拡張現実システムなどの人工現実システムに関し、より詳細には、人工現実システムのユーザインターフェースに関する。

【背景技術】

【0003】

人工現実システムは、コンピュータゲーミング、安全衛生、産業、および教育などの多くの分野で、アプリケーションによってユビキタス化が進んでいる。いくつかの例として、人工現実システムは、移動デバイス、ゲーミングコンソール、パーソナルコンピュータ、映画館、およびテーマパークに組み込まれてきている。概して、人工現実は、ユーザに提示する前に何らかの形で調節されている１つの形態の現実であり、例えば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、あるいは上記の何らかの組み合わせおよび／または派生物を含んでもよい。

【0004】

一般的な人工現実システムは、コンテンツをレンダリングし、ユーザに対して表示する、１つまたは複数のデバイスを含む。一例として、人工現実システムは、ユーザによって装着され、人工現実コンテンツをユーザに対して出力するように構成された、ヘッドマウントディスプレイ（ＨＭＤ）を組み込んでもよい。人工現実コンテンツは、全て生成されたコンテンツ、あるいはキャプチャされたコンテンツ（例えば、実世界の映像および／または写真）と組み合わされた生成コンテンツを含んでもよい。動作中、ユーザは、一般的に、人工現実システムと対話して、コンテンツを選択するか、アプリケーションを起動するか、または別の形でシステムを構成する。

【発明の概要】

【0005】

概して、本開示は、人工現実システムについて記載し、より具体的には、ユーザインターフェース要素を人工現実環境内で提示し制御する、グラフィカルユーザインターフェース要素および技術について記載する。

【0006】

例えば、ユーザの手、親指以外の指、親指、または腕の特定の動作、構成、位置、および／または向き、あるいは既定のジェスチャーの組み合わせなど、ユーザによる１つまたは複数の既定のジェスチャーの検出に応答して、グラフィカルユーザインターフェース要素を生成し描画してユーザに表示する、人工現実システムについて記載する。いくつかの例では、人工現実システムは更に、特定のジェスチャーの検出と、ユーザのリアルタイム視線追跡によって決定されてもよい、ユーザの現在の視野に対する、またはユーザが装着しているＨＭＤの姿勢に対する、物理的環境における特定のジェスチャーの位置および向きなど、他の条件との組み合わせに応答して、グラフィカルユーザインターフェース要素の生成および描画を始動してもよい。

【0007】

いくつかの例では、人工現実システムは、グラフィカルユーザインターフェース要素を、人工現実システムのディスプレイ内で現在描画されている人工現実コンテンツに対するオーバーレイ要素として生成し提示してもよい。グラフィカルユーザインターフェース要素は、例えば、ユーザが人工現実システムと対話して操作するのに用いるメニューまたはサブメニュー、あるいはトグル要素、ドロップダウン要素、メニュー選択要素、二次元もしくは三次元形状、グラフィカル入力キーもしくはキーボード、コンテンツ表示ウィンドウなどの、ユーザが選択可能および操作可能な個々のグラフィカルユーザインターフェース要素など、グラフィカルユーザインターフェースであってもよい。

【0008】

本開示は、ユーザインターフェース（ＵＩ）ピンチ要素などのユーザインターフェース要素との、ユーザの手による対話を認識する技術、およびかかる対話に応答して、グラフィカルユーザインターフェース要素の提示を始動またはゲーティングする技術について記載する。いくつかの例では、ユーザは、ＵＩピンチ要素の近傍で手の二本の指を合わせること、および／または摘まむ構成を形成すること、続いて手が摘まむ構成のままの状態で手および／または指を引く動作をすることを含んでもよい、ジェスチャーまたは移動を通して、かかるＵＩピンチ要素と対話してもよい。いくつかの例では、グラフィカルユーザインターフェース要素の提示の始動またはゲーティングは、物理的スタイラスを制御するときにユーザの手によって実施される、特定の動作もしくは動きの認識または検出に応答して行われてもよい。

【0009】

いくつかの例では、摘まんで引くジェスチャーに応答して（またはスタイラスの動作に応答して）提示されるグラフィカルユーザインターフェース要素は、入力を指定する選択肢を提示してもよく、その入力は、人工現実環境の１つまたは複数の態様に対する調節を行う目的で、ユーザによって指定されてもよい。グラフィカルユーザインターフェース要素が提示された後、ユーザによる更なる移動によって、人工現実システムは、調節が選択された場合に人工現実環境に対して有し得る効果を示すように、グラフィカルユーザインターフェース要素の見た目を修正してもよい。いくつかの例では、追加のジェスチャーまたは移動によって、人工現実システムは、グラフィカルユーザインターフェース要素によって提示される調節または選択肢に対するユーザの選択入力を識別し、かかる選択が行われると、その入力を人工現実環境に適用する。

【0010】

本開示の技術のいくつかは、特定の技術的改善および利点を提供することができる。例えば、本明細書に記載するジェスチャーおよび／または移動の少なくともいくつかは、ＵＩ要素と対話するときに一部のユーザが期待する何らかの物理的フィードバックの感覚を満たす、触覚フィードバックまたは力覚（即ち、「自己力覚」）フィードバックの感覚を提供してもよい。更に、本明細書に記載するジェスチャーおよび／または移動の少なくともいくつかは、片手のみで実施することができ、多くのユーザにとって大きな身体的困難を伴わない、自然な移動であってもよい。加えて、かかるジェスチャーおよび／または移動は画像データから簡単に識別することができ、ジェスチャーおよび／または移動の画像は、物理的環境内における他の物理的要素（例えば、ユーザの他方の手）によって見えにくくなるまたは妨げられることが起こりにくいので、かかるジェスチャーおよび／または移動は、ＨＭＤによって、または他のセンサもしくは画像キャプチャデバイスによって、信頼性高く追跡および／または認識することが可能であってもよい。

【0011】

本開示は、主に、本開示の１つまたは複数の態様にしたがって、人工現実システムによって実施される動作について記載する。１つの特定の例では、本開示は、画像キャプチャデバイスによって、物理的環境を表す画像データをキャプチャすることと、ＨＭＤによって、人工現実コンテンツを出力することと、摘まむ構成を形成する手の二本の指の動作と、それに続く摘まむ構成のままで引く動作とを含むジェスチャーを、画像データから識別することと、ジェスチャーの識別に応答して、ＵＩ入力要素を生成することと、ＵＩ入力要素を人工現実コンテンツの少なくとも一部に対するオーバーレイとして描画することと、を含む、方法について記載する。

【0012】

別の特定の例では、本開示は、人工現実コンテンツを出力することと、スタイラスの移動を検出することと、スタイラスの選択動作を検出することと、スタイラスの選択動作を検出した後、スライラスの更なる移動を検出することと、スタイラスの移動の検出に応答して、スタイラス移動コンテンツを生成することと、スタイラスの選択動作の検出に応答して、ＵＩ入力要素を生成することと、スタイラス移動コンテンツおよびＵＩ入力要素を、人工現実コンテンツの少なくとも一部に対するオーバーレイとして描画することと、スタイラスの更なる移動に基づいて、スタイラス移動コンテンツを更新することと、を含む、方法について記載する。

【0013】

別の特定の例では、本開示は、画像キャプチャデバイスによって、物理的環境を表す画像データをキャプチャすることと、ヘッドマウントディスプレイ（ＨＭＤ）によって、人工現実コンテンツを出力することと、摘まむ構成を形成する手の二本の指の動作と、それに続く摘まむ構成のままで引く動作とを含むジェスチャーを、画像データから識別することと、ジェスチャーの識別に応答して、ＵＩ入力要素を生成することと、ＵＩ入力要素を人工現実コンテンツの少なくとも一部に対するオーバーレイとして描画することと、の方法について記載する。

【0014】

別の特定の例では、本開示は、画像キャプチャデバイスによって、物理的環境を表す画像データをキャプチャすることと、ヘッドマウントディスプレイ（ＨＭＤ）によって、人工現実コンテンツを出力することと、摘まむ構成を形成する手の二本の指の動作と、それに続く摘まむ構成のままで引く動作とを含むジェスチャーを、画像データから識別することと、ジェスチャーの識別に応答して、ＵＩ入力要素を生成することと、ＵＩ入力要素を人工現実コンテンツの少なくとも一部に対するオーバーレイとして描画することと、を含む動作を、人工現実システムの１つまたは複数のプロセッサに実施させる命令を含む、非一時的コンピュータ可読記憶媒体について記載する。

【0015】

別の特定の例では、本開示は、人工現実コンテンツを出力することと、スタイラスの移動を検出することと、スタイラスの選択動作を検出することと、スタイラスの選択動作を検出した後、スライラスの更なる移動を検出することと、スタイラスの移動の検出に応答して、スタイラス移動コンテンツを生成することと、スタイラスの選択動作の検出に応答して、ＵＩ入力要素を生成することと、スタイラス移動コンテンツおよびＵＩ入力要素を、人工現実コンテンツの少なくとも一部に対するオーバーレイとして描画することと、スタイラスの更なる移動に基づいて、スタイラス移動コンテンツを更新することと、について記載する。

【0016】

別の特定の例では、本開示は、人工現実コンテンツを出力することと、スタイラスの移動を検出することと、スタイラスの選択動作を検出することと、スタイラスの選択動作を検出した後、スライラスの更なる移動を検出することと、スタイラスの移動の検出に応答して、スタイラス移動コンテンツを生成することと、スタイラスの選択動作の検出に応答して、ＵＩ入力要素を生成することと、スタイラス移動コンテンツおよびＵＩ入力要素を、人工現実コンテンツの少なくとも一部に対するオーバーレイとして描画することと、スタイラスの更なる移動に基づいて、スタイラス移動コンテンツを更新することと、を含む動作を、人工現実システムの１つまたは複数のプロセッサに実施させる命令を含む、非一時的コンピュータ可読記憶媒体について記載する。

【0017】

いくつかの例では、物理的環境を表す画像データをキャプチャするように構成された、画像キャプチャデバイスと、人工現実コンテンツを出力するように構成された、ヘッドマウントディスプレイ（ＨＭＤ）と、摘まむ構成を形成する手の二本の指の動作と、それに続く摘まむ構成のままで引く動作とを含むジェスチャーを、画像データから識別するように構成された、ジェスチャー検出器と、ジェスチャーの識別に応答してＵＩ入力要素を生成するように構成された、ユーザインターフェース（ＵＩ）エンジンと、ＵＩ入力要素を人工現実コンテンツの少なくとも一部に対するオーバーレイとして描画するように構成された、レンダリングエンジンとを備える、人工現実システムが提供される。

【0018】

いくつかの実施形態では、ジェスチャーを識別するため、ジェスチャー検出器は、好ましくは更に、画像データから、摘まむ構成がＵＩピンチ要素の近傍にあると決定するように構成される。

【0019】

いくつかの実施形態では、ジェスチャー検出器は更に、ジェスチャーを識別した後、二本の指が摘まむ構成のままの状態で手の更なる移動を識別するように構成されてもよい。

【0020】

いくつかの実施形態では、レンダリングエンジンは、好ましくは更に、手の更なる移動に応答して、また手の更なる移動に対応する形で、ＵＩ入力要素を修正するように構成される。

【0021】

いくつかの実施形態では、手の更なる移動に対応する形でＵＩ入力要素を修正するため、レンダリングエンジンは、好ましくは更に、入力値を示すようにＵＩ入力を修正するように構成される。

【0022】

いくつかの実施形態では、レンダリングエンジンは、好ましくは更に、修正されたＵＩ入力要素を描画するように構成される。

【0023】

いくつかの実施形態では、ジェスチャー検出器は、好ましくは更に、摘まむ構成が中止されていることを画像データから決定するように構成される。

【0024】

いくつかの実施形態では、ユーザインターフェースエンジンは、好ましくは更に、摘まむ構成が中止されているという決定に応答して、入力値を識別し、入力値に基づいて、更新された人工現実コンテンツを生成するように構成される。

【0025】

いくつかの実施形態では、レンダリングエンジンは、好ましくは更に、更新された人工現実コンテンツを描画するように構成される。

【0026】

いくつかの実施形態では、ＨＭＤは、好ましくは更に、物理的環境を表す画像データの少なくとも一部を出力するように構成される。

【0027】

いくつかの実施形態では、ジェスチャーを識別するため、ジェスチャー検出器は、好ましくは更に、ジェスチャーライブラリのエントリに対応するものとして、ジェスチャーを識別するように構成される。

【0028】

いくつかの実施形態では、手の二本の指は、好ましくは、親指および人差し指である。

【0029】

いくつかの実施形態では、後に続く引く動作は、好ましくは、手の引く動作を含む。

【0030】

いくつかの実施形態では、後に続く引く動作は、二本の指の引く動作を含んでもよい。

【0031】

いくつかの実施形態では、画像キャプチャデバイスは、好ましくは、ＨＭＤ内に統合される。

【0032】

いくつかの実施形態では、ＵＩ入力要素は、好ましくは、一次元の連続可変スライダ、一次元の離散的可変スライダ、スイッチ、メニュー、径方向アイテムピッカー、径方向スライダ、カラーピッカー、容量性カラーピッカー、または進行状況スライダのうち少なくとも１つである。

【0033】

いくつかの例では、画像キャプチャデバイスによって、物理的環境を表す画像データをキャプチャすることと、ヘッドマウントディスプレイ（ＨＭＤ）によって、人工現実コンテンツを出力することと、摘まむ構成を形成する手の二本の指の動作と、それに続く摘まむ構成のままで引く動作とを含むジェスチャーを、画像データから識別することと、ジェスチャーの識別に応答して、ＵＩ入力要素を生成することと、ＵＩ入力要素を人工現実コンテンツの少なくとも一部に対するオーバーレイとして描画することと、を含む、方法が提供される。

【0034】

いくつかの実施形態では、方法は更に、画像データから、摘まむ構成がＵＩピンチ要素の近傍にあると決定することを含んでもよい。

【0035】

いくつかの実施形態では、方法は更に、ジェスチャーを識別した後、二本の指が摘まむ構成のままの状態で手の更なる移動を識別することを含んでもよい。

【0036】

いくつかの例では、画像キャプチャデバイスによって、物理的環境を表す画像データをキャプチャすることと、ヘッドマウントディスプレイ（ＨＭＤ）によって、人工現実コンテンツを出力することと、摘まむ構成を形成する手の二本の指の動作と、それに続く摘まむ構成のままで引く動作とを含むジェスチャーを、画像データから識別することと、ジェスチャーの識別に応答して、ＵＩ入力要素を生成することと、ＵＩ入力要素を人工現実コンテンツの少なくとも一部に対するオーバーレイとして描画することと、を含む動作を、人工現実システムの１つまたは複数のプロセッサに実施させる命令を含む、非一時的コンピュータ可読記憶媒体が提供される。

【0037】

本開示の実施例または実施形態に組み込むのに好適なものとして、本明細書に記載される任意の特徴は、本開示のあらゆる実施例および実施形態全体にわたって一般化することができるものであることが理解されるであろう。本開示の技術における１つまたは複数の例の詳細を、添付図面および以下の記載において説明する。技術の他の特徴、目的、および利点は、説明および図面から、また特許請求の範囲から明白となるであろう。

【図面の簡単な説明】

【0038】

【図1A】本開示の技術による、人工現実環境内でユーザインターフェース要素を提示し制御する一例の人工現実システムを示す図である。

【図1B】本開示の技術による、別の例の人工現実システムを示す図である。

【図2】本開示の技術にしたがって動作する一例のＨＭＤを示す図である。

【図3】図１Ａ、図１Ｂの人工現実システムのコンソールおよびＨＭＤの実現例を示すブロック図である。

【図4】本開示の技術による、ジェスチャー検出およびユーザインターフェース生成が図１Ａ、図１Ｂの人工現実システムのＨＭＤによって実施される例を示すブロック図である。

【図5A】本開示の１つまたは複数の態様による、ユーザによって実施される摘まんで引くジェスチャーに応答して提示される一例の人工現実コンテンツを示す図である。

【図5B】本開示の１つまたは複数の態様による、ユーザによって実施される摘まんで引くジェスチャーに応答して提示される一例の人工現実コンテンツを示す図である。

【図5C】本開示の１つまたは複数の態様による、ユーザによって実施される摘まんで引くジェスチャーに応答して提示される一例の人工現実コンテンツを示す図である。

【図6A】本開示の１つまたは複数の態様による、ユーザによって実施される摘まんで引くジェスチャーに応答してディスプレイに提示される、一例の一次元スライダＵＩ要素を含む人工現実コンテンツを示す図である。

【図6B】本開示の１つまたは複数の態様による、ユーザによって実施される摘まんで引くジェスチャーに応答してディスプレイに提示される、一例の一次元スライダＵＩ要素を含む人工現実コンテンツを示す図である。

【図6C】本開示の１つまたは複数の態様による、ユーザによって実施される摘まんで引くジェスチャーに応答してディスプレイに提示される、一例の一次元スライダＵＩ要素を含む人工現実コンテンツを示す図である。

【図7A】本開示の１つまたは複数の態様による、ユーザによって実施される摘まんで引くジェスチャーに応答してディスプレイに提示される、一例のスイッチＵＩ要素を含む人工現実コンテンツを示す図である。

【図7B】本開示の１つまたは複数の態様による、ユーザによって実施される摘まんで引くジェスチャーに応答してディスプレイに提示される、一例のスイッチＵＩ要素を含む人工現実コンテンツを示す図である。

【図7C】スイッチＵＩ要素に対する摘まんで引くジェスチャーの二次元表現を示す概念図である。

【図8A】本開示の１つまたは複数の態様による、一例の径方向アイテムピッカーＵＩ要素を含む人工現実コンテンツを示す図である。

【図8B】本開示の１つまたは複数の態様による、一例の径方向スライダＵＩ要素を含む人工現実コンテンツを示す図である。

【図8C】本開示の１つまたは複数の態様による、一例のカラーピッカーＵＩ要素を含む人工現実コンテンツを示す図である。

【図9A】本開示の１つまたは複数の態様による、ユーザによって実施される摘まんで引くジェスチャーに応答してディスプレイに提示される、一例の径方向アイテムピッカーＵＩ要素を含む人工現実コンテンツを示す図である。

【図9B】本開示の１つまたは複数の態様による、ユーザによって実施される摘まんで引くジェスチャーに応答してディスプレイに提示される、一例の径方向アイテムピッカーＵＩ要素を含む人工現実コンテンツを示す図である。

【図9C】本開示の１つまたは複数の態様による、ユーザによって実施される摘まんで引くジェスチャーに応答してディスプレイに提示される、一例の径方向アイテムピッカーＵＩ要素を含む人工現実コンテンツを示す図である。

【図10】本開示の１つまたは複数の態様による、一例の容量性カラーピッカーＵＩ要素を含む人工現実コンテンツを示す概念図である。

【図11】本開示の１つまたは複数の態様による、一例の進行状況スライダＵＩ要素を含む人工現実コンテンツを示す概念図である。

【図12A】本開示の１つまたは複数の態様による、一例の物理的スタイラスが関与する人工現実コンテンツを示す図である。

【図12B】本開示の１つまたは複数の態様による、一例の物理的スタイラスが関与する人工現実コンテンツを示す図である。

【図12C】本開示の１つまたは複数の態様による、一例の物理的スタイラスが関与する人工現実コンテンツを示す図である。

【図13A】本開示の１つまたは複数の態様による、一例の人工現実システムによって実施される動作を示すフロー図である。

【図13B】本開示の１つまたは複数の態様による、物理的スタイラスを使用して一例の人工現実システムによって実施される動作を示すフロー図である。

【発明を実施するための形態】

【0039】

図１Ａは、本開示の技術による、人工現実環境内でユーザインターフェース要素を提示し制御する一例の人工現実システム１０を示す図である。いくつかの実現例では、人工現実システム１０は、ユーザ１１０によって実施され、１つもしくは複数の検出されたジェスチャーに応答して、ユーザ１１０に対して、グラフィカルユーザインターフェース要素を生成し描画する。つまり、本明細書に記載するように、人工現実システム１０は、ユーザの手、親指以外の指、親指、腕の特定の動作、構成、場所、および／または向きなど、ユーザ１１０によって実施される１つまたは複数の特定のジェスチャーの検出に応答して、１つまたは複数のグラフィカルユーザインターフェース要素１２４、１２６を提示する。他の例では、人工現実システム１０は、専用のトグル要素、ドロップダウン要素、メニュー選択要素、グラフィカル入力キーもしくはキーボード、コンテンツ表示ウィンドウなど、人工現実環境内におけるユーザの対話および操作のために特別に設計された、ユーザインターフェース要素を提示し制御する。

【0040】

図１Ａの例では、人工現実システム１０は、ヘッドマウントデバイス（ＨＭＤ）１１２と、コンソール１０６と、いくつかの例では、１つまたは複数の外部センサ９０とを含む。図示されるように、ＨＭＤ １１２は、一般的に、ユーザ１１０によって装着され、人工現実コンテンツ１２２をユーザ１１０に対して提示するための、電子ディスプレイおよび光学アセンブリを含む。それに加えて、ＨＭＤ １１２は、ＨＭＤの動作を追跡する１つまたは複数のセンサ（例えば、加速度計）を含み、周囲の物理的環境の画像データをキャプチャするために１つまたは複数の画像キャプチャデバイス１３８、例えばカメラ、ラインスキャナなどを含んでもよい。この例では、コンソール１０６は、ゲーミングコンソール、ワークステーション、デスクトップコンピュータ、またはラップトップなど、単一のコンピューティングデバイスとして示される。他の例では、コンソール１０６は、分散型コンピューティングネットワーク、データセンタ、またはクラウドコンピューティングシステムなど、複数のコンピューティングデバイス全体に分散されてもよい。コンソール１０６、ＨＭＤ １１２、およびセンサ９０は、この例で示されるように、ＷｉＦｉ、メッシュネットワーク、または短距離無線通信媒体など、有線もしくは無線ネットワークであってもよいネットワーク１０４を介して通信可能に結合されてもよい。ＨＭＤ １１２は、この例では、例えば、コンソール１０６と通信する、例えばそれに繋がれるか、またはそれと無線通信するものとして示されるが、いくつかの実現例では、ＨＭＤ １１２は独立型の移動人工現実システムとして動作する。

【0041】

一般に、人工現実システム１０は、実世界の３Ｄ物理的環境からキャプチャされた情報を使用して、人工現実コンテンツ１２２を描画してユーザ１１０に対して表示する。図１Ａの例では、ユーザ１１０は、コンソール１０６および／またはＨＭＤ １１２で実行する人工現実アプリケーションによって構築され描画される人工現実コンテンツ１２２を見る。一例として、人工現実コンテンツ１２２は、ユーザ１１０が１つまたは複数の仮想オブジェクト１２８Ａ、１２８Ｂとともにアバター１２０として描画される、コンシューマーゲーミングアプリケーションであってもよい。いくつかの例では、人工現実コンテンツ１２２は、実世界像と仮想オブジェクト、例えば複合現実および／または拡張現実との混合物を含んでもよい。他の例では、人工現実コンテンツ１２２は、例えば、ビデオ会議アプリケーション、ナビゲーションアプリケーション、教育アプリケーション、訓練もしくはシミュレーションアプリケーション、または人工現実を実現する他のタイプのアプリケーションであってもよい。

【0042】

動作中、人工現実アプリケーションは、一般的にはＨＭＤ １１２の視点である、基準フレームに対する姿勢情報を追跡し計算することによって、人工現実コンテンツ１２２を構築してユーザ１１０に対して表示する。ＨＭＤ １１２を基準フレームとして使用し、ＨＭＤ １１２の現在推定されている姿勢によって決定されるような現在の視野１３０に基づいて、人工現実アプリケーションは、いくつかの例では、ユーザ１１０の実世界３Ｄ物理的環境の上に、少なくとも部分的に重ねられてもよい、３Ｄ人工現実コンテンツを描画する。このプロセスの間、人工現実アプリケーションは、移動情報およびユーザコマンドなど、ＨＭＤ １１２から受信した感知データを、またいくつかの例では、外部カメラなど、任意の外部センサ９０からのデータを使用して、ユーザ１１０による動作および／またはユーザ１１０に対する特徴追跡情報など、実世界物理的環境内における３Ｄ情報をキャプチャする。感知データに基づいて、人工現実アプリケーションは、ＨＭＤ １１２の基準フレームに対する現在の姿勢を決定し、現在の姿勢にしたがって人工現実コンテンツ１２２を描画する。

【0043】

更に、本開示の技術にしたがって、感知データに基づいて、人工現実アプリケーションは、ユーザ１１０によって実施されるジェスチャーを検出し、１つまたは複数の特定のジェスチャーの検出に応答して、ユーザに提示されている下層の人工現実コンテンツ１２２の上に重ねられてもよい、１つまたは複数のユーザインターフェース要素を、例えばＵＩメニュー１２４およびＵＩ要素１２６を生成する。これに関して、ユーザインターフェース要素１２４、１２６は、人工現実環境においてユーザ１１０に提示されている人工現実コンテンツ１２２の一部と見られてもよい。このように、人工現実システム１０は、ユーザの手、親指以外の指、親指、もしくは腕の特定の動作、構成、位置、および／または向きなど、ユーザ１１０による１つまたは複数の特定のジェスチャーの検出に応答して、１つまたは複数のグラフィカルユーザインターフェース要素１２４、１２６を動的に提示する。ユーザの手の構成例としては、こぶし、一本もしくは二本の指が伸びている、手の個々の指のうち一本もしくは複数の相対的および／または絶対的位置および向き、手の掌の形状などを挙げることができる。ユーザインターフェース要素は、例えば、ユーザ１１０が人工現実システムと対話して操作するのに用いるメニューまたはサブメニュー、あるいはトグル要素、ドロップダウン要素、メニュー選択要素、二次元もしくは三次元形状、グラフィカル入力キーもしくはキーボード、コンテンツ表示ウィンドウなどの、ユーザ１１０が選択可能および操作可能な個々のユーザインターフェース要素など、グラフィカルユーザインターフェースを含むか、グラフィカルユーザインターフェースであってもよい。二次元要素として図示されているが、例えば、ＵＩ要素１２６は、人工現実環境内の形状を並進させる、拡大縮小する、および／または回転させるジェスチャーを実施することによって、ユーザが操作可能な二次元または三次元形状であってもよい。

【0044】

更に、本明細書に記載するように、いくつかの例では、人工現実システム１０は、システムによって実行されている１つもしくは複数のアプリケーションの現在の状態、またはユーザのリアルタイム視線追跡によって決定されてもよいような、ユーザ１１０の現在の視野１３０に関する物理的環境における特定の検出されたジェスチャーの位置および向きなどの他の条件、あるいはその他の条件に応答して、グラフィカルユーザインターフェース要素１２４、１２６の生成および描画を始動してもよい。より具体的には、本明細書に更に記載するように、ＨＭＤ １１２の画像キャプチャデバイス１３８は、画像キャプチャデバイス１３８の視野１３０内である実世界の物理的環境におけるオブジェクトを表す画像データをキャプチャする。視野１３０は、一般的に、ＨＭＤ １１２の視点と対応する。

【0045】

図１Ａに図示される例など、いくつかの例では、人工現実アプリケーションは、視野１３０内であるユーザ１１０の手１３２の部分を、人工現実コンテンツ１２２内の仮想の手１３６として描画する。他の例では、人工現実アプリケーションは、複合現実、および／または拡張現実を含む、人工現実コンテンツ１２２内におけるユーザ１１０の手１３２および／または腕１３４の実世界画像を提示してもよい。いずれの例でも、ユーザ１１０は、視野１３０内にある自分の手１３２および／または腕１３４の部分を、人工現実コンテンツ１２２内のオブジェクトとして見ることができる。他の例では、人工現実アプリケーションは、ユーザの手１３２または腕１３４を一切描画しなくてもよい。

【0046】

動作中、人工現実システム１０は、ＨＭＤ １１２の画像キャプチャデバイス１３８によってキャプチャされた画像データ内のオブジェクト認識を実施して、ユーザ１１０の親指以外の個々の指もしくは親指、および／または腕１３４の全てもしくは部分を任意に識別することを含む、手１３２の識別を行ってもよい。更に、人工現実システム１０は、スライドする時間窓にわたる手１３２（任意に、手の特定の指を含む）および／または腕１３４の部分の位置、向き、および構成を追跡してもよい。人工現実アプリケーションは、手１３２および／または腕１３４の部分の追跡された動作、構成、位置、および／または向きを分析して、特定のオブジェクト、例えばユーザ１１０の手１３２（手の特定の指を含む）および／または腕１３４の部分によって実施された、１つまたは複数のジェスチャーを識別する。ジェスチャーを検出するため、人工現実アプリケーションは、手１３２および／または腕１３４の部分の動作、構成、位置、および／または向きを、人工現実システム１０のジェスチャーライブラリに格納されたジェスチャー定義と比較してもよく、ジェスチャーライブラリの各ジェスチャーはそれぞれ、１つまたは複数の動きにマッピングされてもよい。いくつかの例では、移動の検出は、指の定義された組み合わせのいずれか（人差し指および親指など）が、物理的環境において互いに触れるかまたはほぼ触れるようにされるかどうかを含む、手１３２の指（親指以外の個々の指および親指）のうち一本もしくは複数の位置を追跡することを含んでもよい。他の例では、移動の検出は、ＨＭＤ １１２の現在の姿勢に対する、手１３２の向き（例えば、ＨＭＤ １１２の方もしくはＨＭＤ １１２から離れる方を指している親指以外の指）、および／または腕１３４の向き（例えば、ＨＭＤ １１２に向いている腕の法線）を追跡することを含んでもよい。その手１３２（またはその部分）の位置および向きは、あるいは、手１３２（またはその部分）の構成と呼ばれることがある。

【0047】

更に、人工現実アプリケーションは、手１３２および／または腕１３４の構成、位置、および／または向きを分析して、少なくとも閾値期間の間、手１３２および／または腕１３４が１つもしくは複数の特定の構成、位置、および／または向きで保持されていることを含む、ジェスチャーを識別してもよい。例として、少なくとも構成可能な期間の間、手１３２および／または腕１３４が視野１３０内で実質的に静止して保持されている１つもしくは複数の特定の位置は、メニューなど、特定のタイプのユーザインターフェース要素１２４、１２６の表示を始動するなど、人工現実アプリケーションによる所望の応答を始動させることが意図されたジェスチャーを、ユーザ１１０が実施しようとしていることを示すものとして、人工現実システム１０によって使用されてもよい。別の例として、少なくとも構成可能な期間の間、視野１３０内で維持される指および／または手１３２の掌および／または腕１３４の１つもしくは複数の特定の構成は、ユーザ１１０がジェスチャーを実施しようとしていることを示すものとして、人工現実システム１０によって使用されてもよい。ユーザ１１０の右手１３２および右腕１３４のみが、図１Ａに示されているが、他の例では、人工現実システム１０は、ユーザ１１０の左の手および／または腕、あるいはユーザ１１０の左右両方の手および／または腕を識別してもよい。このように、人工現実システム１０は、物理的環境内において、どちらかの手で実施される片手のジェスチャー、両手のジェスチャー、または腕に基づくジェスチャーを検出し、検出されたジェスチャーに応答して、関連するユーザインターフェース要素を生成してもよい。

【0048】

本開示の技術によれば、人工現実アプリケーションは、識別されたジェスチャーが、コンソール１０６および／またはＨＭＤ １１２のジェスチャーライブラリにおける複数のエントリの１つによって定義される、ジェスチャーに対応するか否かを決定する。更に詳細に後述するように、ジェスチャーライブラリのエントリはそれぞれ、時間に伴うユーザの手、指（親指以外の指もしくは親指）、および／または腕の特定の動作、構成、位置、および／または向きとして、あるいはかかる性質の組み合わせとして、異なるジェスチャーを定義してもよい。それに加えて、定義されたジェスチャーはそれぞれ、人工現実アプリケーションによって実施される１つまたは複数の動きの形態の、所望の応答と関連付けられてもよい。一例として、ジェスチャーライブラリにおける定義されたジェスチャーの１つまたは複数は、描画されて人工現実コンテンツ１２２の上に重ねられる、１つもしくは複数のユーザインターフェース要素、例えばＵＩメニュー１２４の、生成、変換、および／または構成を始動してもよく、その場合、ジェスチャーが人工現実コンテンツ１２２におけるＵＩメニュー１２４の場所および／または向きを定義してもよい。別の例として、定義されたジェスチャーの１つまたは複数は、ユーザ１１０による特定のユーザインターフェース要素との対話、例えば、ＵＩメニュー１２４のＵＩ要素１２６の選択、提示されたユーザインターフェースに対する変更の始動、提示されたユーザインターフェースのサブメニューの提示などを示してもよい。

【0049】

本明細書に記載するように、ＨＭＤ １１２またはコンソール１０６は、人工現実コンテンツ１２２内に提示されるＵＩ要素との対話を検出し、それに応答して、グラフィカルＵＩ要素を提示して、ユーザが人工現実システム１０によって処理されるべき入力を指定できるようにしてもよい。例えば、図１Ａを参照すると、ＨＭＤ １１２は、手１３２の動作を検出してもよく、更に、動作が、手１３２の二本の指がＵＩピンチ要素（例えば、ＵＩ要素１２６または別のＵＩ要素であってもよい）の近傍において摘まむ構成を形成することを含むと決定してもよい。ＨＭＤ １１２はまた、手１３２が摘まむ構成のままで後に続く引く動作を実施していることを検出してもよい。ＨＭＤ １１２は、検出された動作に基づいて、更新された人工現実コンテンツを、グラフィカルＵＩ要素を含むユーザ１１０に提示してもよい。

【0050】

ＨＭＤ １１２は、摘まむ構成のままの状態で手１３２の更なる移動を検出してもよく、更なる移動に応答して、グラフィカルＵＩ要素を、また更なる移動に応答して人工現実コンテンツの他の態様を更新してもよい。例えば、ＵＩ要素が単純な一次元の音量制御を表してもよい例では、手の更なる（即ち、摘まんで引くジェスチャーを認識した後の）移動は、ＨＭＤ １１２によって、音量を調節（例えば、増加もしくは減少）するユーザ入力として解釈されてもよい。いくつかの例では、音量は、ユーザの手が動いている間に調節されて、ＵＩ要素とのユーザの対話に対するほぼ即時の応答を提供してもよい。したがって、ユーザは、移動を通してＵＩ要素と対話してもよく、それらの移動が行われると、ユーザは、かかる対話が人工現実環境をどのように変化させるかを見て、聞いて、または感じてもよい。したがって、かかる対話は、適切および／または有用なフィードバックもユーザに提供して、ユーザが直感的および／または対話的な形で人工現実環境の態様を変更、修正、または調節できるようにしてもよいような形で、人工現実システムに入力を提供する手法としての役割を果たしてもよい。

【0051】

他の例では、ＵＩピンチ要素の近傍で実施される摘まんで引くジェスチャーは、ユーザが、多数の離散的な入力の選択肢のうち１つを選択し、連続値のスケールに沿った値を選択し、色を選択し、または他の任意の適切な入力値もしくは入力値のセットを選択することができるようにするものなど、他のタイプのＵＩ要素の表現を始動してもよい。

【0052】

いくつかの例では、ＨＭＤ １１２は、あるいは（または加えて）、物理的スタイラスを用いたユーザによるジェスチャーもしくは対話の検出に応答して、またはそれによって始動されて、ＵＩ要素を提示してもよい。ジェスチャーまたは対話が検出されると、ＨＭＤ １１２は、スタイラスの更なる移動を検出してもよく、また上述の例と同様の手法で、スタイラスの更なる移動に応答して、人工現実コンテンツのＵＩ要素および他の態様を更新してもよい。例えば、スタイラスを用いたジェスチャーまたは対話に応答して提示されるグラフィカルＵＩ要素は、音量制御であることもでき、スタイラスの更なる移動は、ＨＭＤ １１２によって、上述の例のように、音量を調節（例えば、増加もしくは減少）するユーザ入力と解釈されてもよい。したがって、かかる例では、ユーザはあるいは、スタイラスの移動を通してＵＩ要素と対話してもよく、それに応答して、ユーザは、かかる対話が人工現実環境をどのように変化させるかを見て、聞いて、または感じてもよい。

【0053】

したがって、本開示の技術は、人工現実システムによるコンテンツの描画および表示のコンピュータ関連分野に対する、特定の技術的改善を提供する。例えば、本明細書に記載するような人工現実システムは、ユーザによって実施される直感的であるが特徴的なジェスチャーの検出に基づいて、人工現実コンテンツに重ねられるユーザインターフェース要素を生成し描画することによって、高品質の人工現実体験を、人工現実アプリケーションのユーザ１１０などのユーザに提供してもよい。

【0054】

更に、本明細書に記載するようなシステムは、追跡オクルージョンを回避するように定義される手および腕の移動に基づいて、特定のジェスチャーを検出するように構成されてもよい。追跡オクルージョンは、ユーザの一方の手が少なくとも部分的に他方の手に重なって、各手の個々の指（親指以外の指および親指）、ならびに各手の位置および向きを正確に追跡するのが困難になるかもしれない場合に起こることがある。したがって、本明細書に記載するようなシステムは、片手または片腕ベースのジェスチャーを主に検出するように構成されてもよい。片手または片腕ベースのジェスチャーの使用は、更に、大きいおよび細かい運動技能の制限を有するユーザに対して、拡張されたアクセス性を提供してもよい。更に、本明細書に記載するようなシステムは、ユーザの手が互いに相互作用しないかまたは重ならない、両手または両腕ベースのジェスチャーを検出するように構成されてもよい。

【0055】

それに加えて、本明細書に記載するようなシステムは、自己触覚型のフィードバックをユーザに提供するジェスチャーを検出するように構成されてもよい。例えば、ユーザの各手の親指および一本または複数の親指以外の指は、人工現実コンテンツの特定のユーザインターフェース要素との対話を示す既定のジェスチャーの一部として、物理的世界において触れるかまたはほぼ触れてもよい。ユーザの手の親指および一本または複数の親指以外の指の間の接触は、物理的キーボードのボタンまたは他の物理的入力デバイスなど、物理的なユーザ入力オブジェクトと直接対話したときにユーザが感じる感覚のシミュレーションを、ユーザに提供してもよい。

【0056】

本開示の技術のいくつかは、特定の技術的改善および利点を提供することができる。例えば、人工現実環境で提示されるユーザインターフェースメニューおよび同様のＵＩ要素は、一般的に非有形であり、一部のユーザは、手またはスタイラスを用いた仮想メニューとの対話は一般的に、触覚フィードバックを何も提供しないことがあるので、仮想ＵＩ要素との対話は非直感的であると気づくことがある。他方で、指を動かして摘まむ構成にすることは、ユーザの指が合わさり、それ自体が何らかの触覚フィードバックを提供するので、力覚（即ち、「自己力覚」）フィードバックを提供する特別な動作である。これは、ユーザが、人工現実環境に対する応答をもたらすかまたは影響を有することが期待される動き（例えば、ＵＩ要素との対話）を実施しているとき、触覚フィードバックに対するユーザの期待を満たすことがある。

【0057】

図１Ｂは、本開示の技術による、別の例の人工現実システム２０を示す図である。図１Ａの人工現実システム１０と同様に、いくつかの例では、図１Ｂの人工現実システム２０は、人工現実環境内におけるユーザの対話および操作のために特別に設計された、ユーザインターフェース要素を提示し制御してもよい。人工現実システム２０はまた、様々な例では、ユーザの１つまたは複数の特定のジェスチャーの検出に応答して、ユーザに対して特定のグラフィカルユーザインターフェース要素を生成し描画してもよい。

【0058】

図１Ｂの例では、人工現実システム２０は、外部カメラ１０２Ａおよび１０２Ｂ（集合的に、「外部カメラ１０２」）と、ＨＭＤ １１２Ａ～１１２Ｃ（集合的に、「ＨＭＤ １１２」）と、コントローラ１１４Ａおよび１１４Ｂ（集合的に、「コントローラ１１４」）と、コンソール１０６と、センサ９０とを含む。図１Ｂに示されるように、人工現実システム２０は、それぞれのユーザに対応する基準フレームの現在の視点に基づいて、コンソール１０６および／またはＨＭＤ １１２で実行する人工現実アプリケーションが、ユーザ１１０Ａ～１１０Ｃ（集合的に、「ユーザ１１０」）それぞれに対して人工現実コンテンツを提示する、マルチユーザ環境を表す。つまり、この例では、人工現実アプリケーションは、ＨＭＤ １１２それぞれに関して基準フレームに対する姿勢情報を追跡し計算することによって、人工コンテンツを構築する。人工現実システム２０は、カメラ１０２、ＨＭＤ １１２、およびコントローラ１１４から受信したデータを使用して、ユーザ１１０による動作ならびに／あるいはユーザ１１０およびオブジェクト１０８に関する追跡情報など、実世界環境内の３Ｄ情報をキャプチャして、ＨＭＤ １１２の対応する基準フレームに対する更新された姿勢情報を計算するのに使用する。一例として、人工現実アプリケーションは、ＨＭＤ １１２Ｃに関して決定された現在の視点に基づいて、仮想オブジェクト１２８Ａ～１２８Ｃ（集合的に、「仮想オブジェクト１２８」）を有する人工現実コンテンツ１２２を、実世界オブジェクト１０８Ａ～１０８Ｃ（集合的に、「実世界オブジェクト１０８」）の上に空間的に重ねられるものとして描画してもよい。更に、ＨＭＤ １１２Ｃの視点から、人工現実システム２０は、ユーザ１１０Ａ、１１０Ｂそれぞれの推定位置に基づいて、アバター１２０Ａ、１２０Ｂを描画する。

【0059】

いくつかの例では、ＨＭＤ１１２はそれぞれ人工現実システム２０内で同時に動作する。図１Ｂの例では、ユーザ１１０はそれぞれ、人工現実アプリケーションの「プレーヤー」または「参加者」であってもよく、任意のユーザ１１０は、人工現実アプリケーションの「観客」または「観察者」であってもよい。ＨＭＤ １１２Ｃはそれぞれ、ユーザ１１０Ｃの手１３２および／または腕１２４を追跡し、視野１３０内にある手１３２の位置を人工現実コンテンツ１２２内の仮想の手１３６として描画することによって、図１ＡのＨＭＤ １１２と実質的に同様に動作してもよい。ＨＭＤ １１２Ｂは、ユーザ１１０Ｂが保持するコントローラ１１４Ａからユーザ入力を受信してもよい。ＨＭＤ １１２Ａはまた、図１ＡのＨＭＤ １１２と実質的に同様に動作し、ユーザ１１０Ａの手１３２Ａ、１３２Ｂの移動を追跡することによってユーザ入力を受信してもよい。ＨＭＤ １１２Ｂは、ユーザ１１０Ｂが保持するコントローラ１１４からユーザ入力を受信してもよい。コントローラ１１４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの短距離無線通信の近距離通信を使用して、有線通信リンクを使用して、または別のタイプの通信リンクを使用して、ＨＭＤ １１２Ｂと通信していてもよい。

【0060】

図１Ａに関して上述した例と同様の形で、人工現実システム２０のコンソール１０６および／またはＨＭＤ １１２Ｃは、ユーザ１１０Ｃに対して表示される人工現実コンテンツ１２２の上に重ねられてもよい、ユーザインターフェース要素１２４、１２６を生成し描画する。更に、コンソール１０６および／またはＨＭＤ １１２Ｃは、姿勢追跡を介した、ユーザ１１０Ｃによって実施される直感的であるが特徴的なジェスチャーの検出に基づいて、ユーザインターフェース要素１２４、１２６の生成および動的表示を始動してもよい。例えば、人工現実システム２０は、ユーザの手、親指以外の指、親指、または腕の特定の動作、構成、位置、および／または向きなど、ユーザ１１０Ｃによる１つまたは複数の特定のジェスチャーの検出に応答して、１つまたは複数のグラフィカルユーザインターフェース要素１２４、１２６を動的に提示してもよい。図１Ｂに示されるように、ＨＭＤ １１２Ｃのカメラ１３８を介してキャプチャされた画像データに加えて、外部カメラ１０２からの入力データが、手の指（親指以外の指、親指）のそれぞれおよび／または組み合わせの移動を含む、ユーザ１１０Ｃの手１３２など、ユーザ１１０の手および腕の特定の動作、構成、位置、および／または向きを追跡し検出するのに使用されてもよい。

【0061】

本明細書に記載するように、また図１Ｂを参照すると、ＨＭＤ １１２Ａ、１１２Ｂ、および１１２Ｃはいずれも、それらＨＭＤ内のディスプレイに提示されるＵＩ要素との対話を検出し、それに応答して、グラフィカルＵＩ要素を提示して、ユーザが人工現実システム２０によって処理されるべき入力を指定できるようにしてもよい。例えば、ＨＭＤ １１２Ｃ（またはコンソール１０６）は、手１３２の動作を検出してもよく、更に、動作が、手１３２の二本の指がＵＩピンチ要素の近傍において摘まむ構成を形成することを含むと決定してもよい。ＨＭＤ １１２Ｃはまた、手１３２が摘まむ構成のままで後に続く引く動作を実施していることを検出してもよい。ＨＭＤ １１２Ｃは、それに応答して、ＵＩ要素を含む更新された人工現実コンテンツをユーザ１１０に提示して、ユーザ１１０Ｃが、図１Ａにおいて記載し後述するのと同様の手法で、人工現実システム２０に入力を提供できるようにしてもよい。

【0062】

図２は、本開示の技術にしたがって動作するように構成された、一例のＨＭＤ １１２を示す図である。図２のＨＭＤ １１２は、図１Ａおよび図１ＢのＨＭＤ １１２のいずれかの一例であってもよい。ＨＭＤ １１２は、図１Ａ、図１Ｂの人工現実システム１０、２０などの人工現実システムの一部であってもよく、または本明細書に開示する技術を実現するように構成された、独立型の移動人工現実システムとして動作してもよい。

【0063】

この例では、ＨＭＤ １１２は、前部の剛体とＨＭＤ １１２をユーザに固定するバンドとを含む。それに加えて、ＨＭＤ １１２は、人工現実コンテンツをユーザに提示するように構成された、内側に面する電子ディスプレイ２０３を含む。電子ディスプレイ２０３は、液晶ディスプレイ（ＬＣＤ）、量子ドットディスプレイ、ドットマトリックスディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、陰極線管（ＣＲＴ）ディスプレイ、電子インク、または視覚的出力を生成することができる単色、カラー、もしくは他の任意のタイプのディスプレイなど、任意の好適な表示技術であってもよい。いくつかの例では、電子ディスプレイは、ユーザの各目に対して別個の画像を提供する立体ディスプレイである。いくつかの例では、ＨＭＤ １１２の前部の剛体に対するディスプレイ２０３の知られている向きおよび位置は、ＨＭＤ １１２およびユーザの現在の視点にしたがって人工現実コンテンツを描画するため、ＨＭＤ １１２の位置および向きを追跡するときの、ローカル原点とも呼ばれる基準フレームとして使用される。他の例では、ＨＭＤは、眼鏡など、他のウェアラブルヘッドマウントディスプレイの形態を取ってもよい。

【0064】

図２に更に示されるように、この例では、ＨＭＤ １１２は、ＨＭＤ １１２の現在の加速度を示すデータを出力する１つもしくは複数の加速度計（慣性測定装置もしくは「ＩＭＵ」とも呼ばれる）、ＨＭＤ １１２の場所を示すデータを出力するＧＰＳセンサ、様々なオブジェクトからのＨＭＤ １１２の距離を示すデータを出力するレーダーまたはソナー、あるいは物理的環境内におけるＨＭＤ １１２または他のオブジェクトの場所もしくは向きの指示を提供する他のセンサなど、１つまたは複数のモーションセンサ２０６を更に含む。更に、ＨＭＤ １１２は、物理的環境を表す画像データを出力するように構成された、ビデオカメラ、レーザースキャナ、Ｄｏｐｐｌｅｒレーダースキャナ、深度スキャナなど、統合された画像キャプチャデバイス１３８Ａおよび１３８Ｂ（集合的に、「画像キャプチャデバイス１３８」）を含んでもよい。より具体的には、画像キャプチャデバイス１３８は、ＨＭＤ １１２の視点と一般的に対応する、画像キャプチャデバイス１３８の視野１３０Ａ、１３０Ｂ内にある、物理的環境内のオブジェクトを表す画像データをキャプチャする。ＨＭＤ １１２は、内部電源と、感知データを処理し、ディスプレイ２０３上に人工現実コンテンツを提示する、プログラム可能動作を実行するためのオペレーティング環境を提供する、１つもしくは複数のプロセッサ、メモリ、およびハードウェアを有する、１つまたは複数のプリント回路基板とを含んでもよい、内部制御ユニット２１０を含む。

【0065】

一例では、本明細書に記載する技術によれば、制御ユニット２１０は、感知データに基づいて、ユーザによって実施される特定のジェスチャーまたはジェスチャーの組み合わせを識別し、それに応答して動きを実施するように構成される。例えば、１つの識別されたジェスチャーに応答して、制御ユニット２１０は、電子ディスプレイ２０３に表示するため、人工現実コンテンツ上に重ねられる特定のユーザインターフェース要素を生成し描画してもよい。本明細書で説明するように、本開示の技術によれば、制御ユニット２１０は、画像キャプチャデバイス１３８によってキャプチャされた画像データ内でオブジェクト認識を実施して、ユーザの手１３２、親指以外の指、親指、腕、または別の部分を識別し、識別された部分の移動を追跡して、ユーザによって実施された既定のジェスチャーを識別してもよい。既定のジェスチャーの識別に応答して、制御ユニット２１０は、ユーザインターフェース要素と関連付けられた任意のセットから選択肢を選択する、ジェスチャーを入力（例えば、文字）に翻訳する、アプリケーションを起動する、または別の方法でコンテンツを表示するなど、何らかの動作を行う。いくつかの例では、制御ユニット２１０は、ユーザインターフェースを明らかにするための「トリガ」として指定された、既定のジェスチャーの検出に応答して、メニューなどのユーザインターフェース要素を動的に生成および提示する。他の例では、制御ユニット２１０は、オブジェクト認識、動作追跡、およびジェスチャー検出、またはその任意の部分を実施してもよい、コンソール１０６などの外部デバイスからの方向に応答して、かかる機能を実施する。

【0066】

本明細書に記載するように、ＨＭＤ １１２は、手１３２の二本の指が別のＵＩ要素（例えば、図２には図示されない、ＵＩピンチ要素）の近傍において摘まむ構成を形成するのに対応する、手１３２の動作を検出してもよい。ＨＭＤ １１２はまた、手１３２が、摘まむ構成のままで後に続く引く動作（例えば、図２のＨＭＤ １１２に向かって）を実施するのを検出してもよい。ＨＭＤ １１２は、いくつかの例では、かかる動作を、グラフィカルＵＩ要素を提示するようにという、ＨＭＤ １１２のユーザによる要求と解釈してもよく、それによってユーザが、手１３２の更なる移動に応答して入力を提供できるようにしてもよい。

【0067】

図３は、図１Ａ、図１Ｂの人工現実システム１０、２０のコンソール１０６およびヘッドマウントディスプレイ１１２の実現例を示すブロック図である。図３の例では、コンソール１０６は、姿勢追跡、ジェスチャー検出、およびユーザインターフェース生成を実施し、本明細書に記載する技術にしたがって、ＨＭＤ １１２および／または外部センサから受信した動作データおよび画像データなどの感知データに基づいて、ＨＭＤ １１２に対する描画を行う。

【0068】

この例では、ＨＭＤ １１２は、いくつかの例では、例えば、埋込み型のリアルタイムマルチタスキングオペレーティングシステムであってもよい、オペレーティングシステム３０５、または他のタイプのオペレーティングシステムを実行するコンピュータプラットフォームを提供する、１つまたは複数のプロセッサ３０２およびメモリ３０４を含む。次いで、オペレーティングシステム３０５は、アプリケーションエンジン３４０を含む、１つまたは複数のソフトウェアコンポーネント３０７を実行する、マルチタスキングオペレーティング環境を提供する。図２の例に関して考察したように、プロセッサ３０２は、電子ディスプレイ２０３、モーションセンサ２０６、および画像キャプチャデバイス１３８に結合される。いくつかの例では、プロセッサ３０２およびメモリ３０４は、別個の離散的な構成要素であってもよい。他の例では、メモリ３０４は、単一の集積回路内でプロセッサ３０２と並置されるオンチップメモリであってもよい。

【0069】

一般に、コンソール１０６は、カメラ１０２（図１Ｂ）および／またはＨＭＤ １１２から受信した画像および追跡情報を処理して、ＨＭＤ １１２のためのジェスチャー検出およびユーザインターフェース生成を実施する、コンピューティングデバイスである。いくつかの例では、コンソール１０６は、ワークステーション、デスクトップコンピュータ、ラップトップ、またはゲーミングシステムなど、単一のコンピューティングデバイスである。いくつかの例では、プロセッサ３１２および／またはメモリ３１４など、コンソール１０６の少なくとも一部分は、クラウドコンピューティングシステム全体、データセンタ、あるいはインターネット、別の公衆または私設通信ネットワーク（例えば、ブロードバンド、セルラー、Ｗｉ－Ｆｉ、および／もしくはコンピューティングシステム、サーバ、コンピューティングデバイスの間でデータを送信するための他のタイプの通信ネットワーク）など、ネットワーク全体に分散されてもよい。

【0070】

図３の例では、コンソール１０６は、いくつかの例では、例えば、埋込み型のリアルタイムマルチタスキングオペレーティングシステムであってもよい、オペレーティングシステム３１６、または他のタイプのオペレーティングシステムを実行するコンピュータプラットフォームを提供する、１つまたは複数のプロセッサ３１２およびメモリ３１４を含む。次いで、オペレーティングシステム３１６は、１つまたは複数のソフトウェアコンポーネント３１７を実行する、マルチタスキングオペレーティング環境を提供する。プロセッサ３１２は、キーボード、ゲームコントローラ、ディスプレイデバイス、画像キャプチャデバイス、ＨＭＤなどの外部デバイスと通信する、１つもしくは複数のＩ／Ｏインターフェースを提供する、１つまたは複数のＩ／Ｏインターフェース３１５に結合される。更に、１つまたは複数のＩ／Ｏインターフェース３１５は、ネットワーク１０４などのネットワークと通信する、１つもしくは複数の有線または無線ネットワークインターフェースコントローラ（ＮＩＣ）を含んでもよい。プロセッサ３０２、３１２はそれぞれ、マルチコアプロセッサ、コントローラ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、あるいは等価の離散的なまたは統合された論理回路類のうち任意の１つもしくは複数を備えてもよい。メモリ３０４、３１４は、データおよび実行可能なソフトウェア命令を格納する、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、プログラマブル読出し専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭ）、電気消去可能プログラマブル読出し専用メモリ（ＥＥＰＲＯＭ）、およびフラッシュメモリなど、任意の形態のメモリを含んでもよい。

【0071】

コンソール１０６のソフトウェアアプリケーション３１７は、人工現実アプリケーション全体を提供するように動作する。この例では、ソフトウェアアプリケーション３１７は、アプリケーションエンジン３２０、レンダリングエンジン３２２、ジェスチャー検出器３２４、姿勢トラッカー３２６、およびユーザインターフェースエンジン３２８を含む。

【0072】

一般に、アプリケーションエンジン３２０は、例えば、遠隔会議アプリケーション、ゲーミングアプリケーション、ナビゲーションアプリケーション、教育アプリケーション、訓練またはシミュレーションアプリケーションなどの、人工現実アプリケーションを提供し提示する機能性を含む。アプリケーションエンジン３２０は、例えば、人工現実アプリケーションをコンソール１０６に実装するための、１つもしくは複数のソフトウェアパッケージ、ソフトウェアライブラリ、ハードウェアドライバ、および／またはアプリケーションプログラムインターフェース（ＡＰＩ）を含んでもよい。アプリケーションエンジン３２０による制御に応答して、レンダリングエンジン３２２は、３Ｄ人工現実コンテンツを生成して、ＨＭＤ １１２のアプリケーションエンジン３４０によってユーザに対して出力および／または提示する（例えば、ＨＭＤ １１２を通した表示、音、力覚フィードバック、またはその他）。

【0073】

アプリケーションエンジン３２０およびレンダリングエンジン３２２は、姿勢トラッカー３２６によって決定されるような、基準フレーム、一般的にはＨＭＤ １１２の視点に対する現在の姿勢情報にしたがって、ユーザ１１０に対して表示および／または提示する人工コンテンツを構築する。現在の視点に基づいて、レンダリングエンジン３２２は、場合によっては、ユーザ１１０の実世界３Ｄ環境上に少なくとも部分的に重ねられてもよい、３Ｄ人工現実コンテンツを構築する。このプロセスの間、姿勢トラッカー３２６は、移動情報およびユーザコマンドなど、ＨＭＤ １１２から受信した感知データ、ならびにいくつかの例では、外部カメラなどの任意の外部センサ９０（図１Ａ、図１Ｂ）からのデータに対して動作して、ユーザ１１０による動作、および／またはユーザ１１０に対する特徴追跡情報など、実世界環境内の３Ｄ情報をキャプチャする。感知データに基づいて、姿勢トラッカー３２６は、ＨＭＤ １１２の基準フレームに対する現在の姿勢を決定し、現在の姿勢にしたがって、１つまたは複数のＩ／Ｏインターフェース３１５を介してＨＭＤ １１２に通信して、ユーザ１１０に対して表示する、人工現実コンテンツを構築する。

【0074】

更に、感知データに基づいて、ジェスチャー検出器３２４は、ユーザのオブジェクト（例えば、手、腕、手首、親指以外の指、掌、親指）の追跡された動作、構成、位置、および／または向きを分析して、ユーザ１１０によって実施された１つまたは複数のジェスチャーを識別する。より具体的には、ジェスチャー検出器３２４は、ＨＭＤ １１２の画像キャプチャデバイス１３８および／またはセンサ９０および外部カメラ１０２によってキャプチャされた画像データ内で認識されたオブジェクトを分析して、ユーザ１１０の手および／または腕を識別するとともに、ＨＭＤ １１２に対する手および／または腕の移動を追跡して、ユーザ１１０によって実施されたジェスチャーを識別する。ジェスチャー検出器３２４は、キャプチャされた画像データに基づいて、手、指、および／または腕の位置および向きに対する変化を含む移動を追跡し、オブジェクトの動作ベクトルをジェスチャーライブラリ３３０の１つまたは複数のエントリと比較して、ユーザ１１０によって実施されたジェスチャーまたはジェスチャーの組み合わせを検出してもよい。ジェスチャーライブラリ３３０における一部のエントリはそれぞれ、ユーザの手、特定の親指以外の指、親指、手首、および／または腕の相対的経路または空間的並進および回転など、一連の動作または動作のパターンとしてジェスチャーを定義してもよい。ジェスチャーライブラリ３３０における一部のエントリはそれぞれ、特定の時間における、あるいはある期間にわたる、ユーザの手および／または腕（もしくはその部分）の構成、位置、および／または向きとしてジェスチャーを定義してもよい。ジェスチャーのタイプの他の例が可能である。それに加えて、ジェスチャーライブラリ３３０におけるエントリはそれぞれ、定義されたジェスチャーまたは一連のジェスチャーに対して、ＨＭＤ １１２の現在の視野に対する空間的関係、個人のリアルタイム視線追跡によって決定されてもよいような、ユーザが現在観察している特定の領域に対する空間的関係、表示されている人工コンテンツのタイプ、実行されているアプリケーションのタイプなど、ジェスチャーまたは一連のジェスチャーが動作を始動させるのに必要な条件を指定してもよい。

【0075】

ジェスチャーライブラリ３３０におけるエントリはそれぞれ更に、定義されたジェスチャーまたはジェスチャーの組み合わせ／一連のジェスチャーに対して、ソフトウェアアプリケーション３１７によって実施されるように所望の応答または動作を指定してもよい。例えば、本開示の技術によれば、既定のジェスチャーのうち１つの検出に応答して、ユーザインターフェースエンジン３２８が、ユーザに対して表示される人工現実コンテンツに対するオーバーレイとして、ユーザインターフェースを動的に生成し、それによってユーザ１１０が、人工現実コンテンツと対話しているときであっても、ＨＭＤ １１２および／またはコンソール１０６を構成するためにユーザインターフェースを簡単に呼び出すことができるように、特定の専用のジェスチャーが既定されてもよい。他の例では、特定のジェスチャーは、入力を提供する、オブジェクトを選択する、アプリケーションを起動するなど、他の動作と関連付けられてもよい。

【0076】

図４は、本開示の技術による、ジェスチャー検出およびユーザインターフェース生成が図１Ａ、図１Ｂの人工現実システムのＨＭＤ １１２によって実施される例を示すブロック図である。

【0077】

この例では、図３と同様に、ＨＭＤ １１２は、いくつかの例では、例えば、埋込み型のリアルタイムマルチタスキングオペレーティングシステムであってもよい、オペレーティングシステム３０５、または他のタイプのオペレーティングシステムを実行するコンピュータプラットフォームを提供する、１つまたは複数のプロセッサ３０２およびメモリ３０４を含む。次いで、オペレーティングシステム３０５は、１つまたは複数のソフトウェアコンポーネント４１７を実行する、マルチタスキングオペレーティング環境を提供する。更に、プロセッサ３０２は、電子ディスプレイ２０３、モーションセンサ２０６、および画像キャプチャデバイス１３８に結合される。

【0078】

図４の例では、ソフトウェアコンポーネント４１７は、人工現実アプリケーション全体を提供するように動作する。この例では、ソフトウェアアプリケーション４１７は、アプリケーションエンジン４４０、レンダリングエンジン４２２、ジェスチャー検出器４２４、姿勢トラッカー４２６、およびユーザインターフェースエンジン４２８を含む。様々な例では、ソフトウェアコンポーネント４１７は、図３のコンソール１０６の相手方コンポーネント（例えば、アプリケーションエンジン３２０、レンダリングエンジン３２２、ジェスチャー検出器３２４、姿勢トラッカー３２６、およびユーザインターフェースエンジン３２８）と同様に動作して、ユーザ１１０の検出されたジェスチャーにしたがってユーザ１１０に対して表示される人工コンテンツの上に重ねられる、またはその一部としての、ユーザインターフェース要素を構築する。いくつかの例では、レンダリングエンジン４２２は、ユーザ１１０の実世界物理的環境上に少なくとも部分的に重ねられてもよい、３Ｄ人工現実コンテンツを構築する。

【0079】

図３に関して記載した例と同様に、感知データに基づいて、ジェスチャー検出器４２４は、ユーザのオブジェクト（例えば、手、腕、手首、親指以外の指、掌、親指）の追跡された動作、構成、位置、および／または向きを分析して、ユーザ１１０によって実施された１つまたは複数のジェスチャーを識別する。本開示の技術にしたがって、ユーザインターフェースエンジン４２８は、ユーザ１１０に対して表示される人工現実コンテンツの一部としての、例えばその上に重ねられる、ユーザインターフェース要素を生成し、ならびに／あるいはジェスチャー検出器４２４によって検出される、ユーザ１１０の１つもしくは複数のジェスチャーまたはジェスチャーの組み合わせに基づいて、動作を実施する。より具体的には、ジェスチャー検出器４２４は、ＨＭＤ １１２の画像キャプチャデバイス１３８および／またはセンサ９０もしくは外部カメラ１０２によってキャプチャされた画像データ内で認識されたオブジェクトを分析して、ユーザ１１０の手および／または腕を識別するとともに、ＨＭＤ １１２に対する手および／または腕の移動を追跡して、ユーザ１１０によって実施されたジェスチャーを識別する。ジェスチャー検出器４２４は、キャプチャされた画像データに基づいて、手、指、および／または腕の位置および向きに対する変化を含む移動を追跡し、オブジェクトの動作ベクトルをジェスチャーライブラリ４３０の１つまたは複数のエントリと比較して、ユーザ１１０によって実施されたジェスチャーまたはジェスチャーの組み合わせを検出してもよい。

【0080】

ジェスチャーライブラリ４３０は図３のジェスチャーライブラリ３３０に類似している。ジェスチャーライブラリ４３０におけるエントリはそれぞれ、定義されたジェスチャーまたは一連のジェスチャーに対して、ＨＭＤ １１２の現在の視野に対する空間的関係、個人のリアルタイム視線追跡によって決定されてもよいような、ユーザが現在観察している特定の領域に対する空間的関係、表示されている人工コンテンツのタイプ、実行されているアプリケーションのタイプなど、ジェスチャーが動作を始動させるのに必要な条件を指定してもよい。

【0081】

一致するジェスチャーまたはジェスチャーの組み合わせの検出に応答して、ＨＭＤ １１２は、ジェスチャーライブラリ４３０の一致するエントリに割り当てられた応答または動作を実施する。例えば、本開示の技術によれば、ジェスチャー検出器４２４が既定のジェスチャーのうち１つを検出するのに応答して、ユーザインターフェースエンジン４２８が、ユーザに対して表示される人工現実コンテンツに対するオーバーレイとして、ユーザインターフェースを動的に生成し、それによってユーザ１１０が、人工現実コンテンツを見ながら、ＨＭＤ １１２を構成するためにユーザインターフェースを簡単に呼び出すことができるように、特定の専用のジェスチャーが既定されてもよい。他の例では、ジェスチャー検出器４２４が既定のジェスチャーのうち１つを検出するのに応答して、ユーザインターフェースエンジン４２８および／またはアプリケーションエンジン４４０は、入力を受信し、ユーザインターフェース要素と関連付けられた値またはパラメータを選択し、アプリケーションを起動し、構成可能な設定を修正し、メッセージを送信し、プロセスを開始もしくは停止し、または他の動作を実施してもよい。

【0082】

図５Ａ、図５Ｂ、および図５Ｃは、本開示の１つまたは複数の態様による、ＨＭＤ １１２のユーザによって実施される摘まんで引くジェスチャーに応答して、人工現実ディスプレイに提示される一例の一連の人工現実コンテンツを示している。図５Ａ、図５Ｂ、および図５Ｃはそれぞれ、人工現実コンテンツ５２２Ａ、人工現実コンテンツ５２２Ｂ、および人工現実コンテンツ５２２Ｃ（全体として「人工現実コンテンツ５２２」として言及される）を示している。それぞれの事例において、人工現実コンテンツ５２２は、ＵＩパネル５６０の付近またはそこから様々な距離に位置付けられる、ＵＩピンチ要素５６２と相互作用する仮想の手１３６を含む。本明細書における手１３２に対する言及は、仮想の手１３６に対応する物理的な手に対応し、その意味で、手１３２および仮想の手１３６は互いに対応してもよく、適切な場合、手１３２および仮想の手１３６は、本明細書では交換可能に言及されてもよい。また、図５Ａ、図５Ｂ、および図５Ｃを参照して記載する動作は、以下、主に図４のブロック図を参照して記載する。しかしながら、かかる動作は、図３の対応する構成要素、モジュール、および／または要素によって、対応する手法で実施されてもよい。したがって、ＨＭＤ １１２によって実施されるものとして本明細書に記載する動作は、他の例では、例えばコンソール１０６（例えば、図３に対応する例では）を含む、他のデバイスまたはシステムによって実施され得ることが理解されるべきである。

【0083】

図５Ａの例では、また本開示の１つまたは複数の態様によれば、ＨＭＤ １１２は人工現実コンテンツ５２２Ａを提示してもよい。例えば、図４の文脈において記載することができる例を参照すると、姿勢トラッカー４２６は、センサ９０（例えば、図１Ａを参照）などからの、移動情報およびデータを検出する。姿勢トラッカー４２６は、姿勢情報をレンダリングエンジン４２２に出力する。レンダリングエンジン４２２は、検出された入力に基づいて、また姿勢トラッカー４２６によって決定されるような、人工現実コンテンツ１２２の視点に基づいて、人工現実コンテンツ５２２Ａを構築する。レンダリングエンジン４２２は、アプリケーションエンジン４４０に、人工現実コンテンツ５２２Ａを出力させて、図５Ａに示される手法で表示および／または提示させる。人工現実コンテンツ５２２Ａは、例えば、図２、図３、および／または図４に示されるディスプレイ２０３など、ＨＭＤ １１２内のディスプレイに提示されてもよい。

【0084】

図５Ａでは、ＵＩピンチ要素５６２は最初に、ＵＩピンチ要素初期位置５６１に位置付けられてもよい。手１３２（または、手１３２の表現としての仮想の手１３６）は、ＵＩピンチ要素初期位置５６１の近傍に位置付けられて示される。

【0085】

図５Ｂは、手１３２の移動に応答してＨＭＤ １１２によって提示されてもよい、更新された人工現実コンテンツ５２２Ｂの一例を示している。例えば、図４および図５Ａを参照すると、ジェスチャー検出器４２４は、画像キャプチャデバイス１３８、カメラ１０２、および／またはセンサ９０のうち１つまたは複数などからの、入力を検出する。ジェスチャー検出器４２４は、入力に基づいて、手１３２の動作に関する情報を決定する。ジェスチャー検出器４２４は更に、手１３２の動作が、図５ＡのＵＩピンチ要素初期位置５６１に位置するＵＩピンチ要素５６２の近傍において、手１３２の二本の指が摘まむ構成を形成することを含むことを決定する。ジェスチャー検出器４２４は、手１３２が摘まむ構成で保持されている時間の量を決定する。ジェスチャー検出器４２４は、ＵＩピンチ要素５６２と関連付けられた摘まむ構成に関する情報を、レンダリングエンジン４２２に出力する。ジェスチャー検出器４２４は更に、手１３２が摘まむ構成のままで後に続く引く動作を実施していることを決定する。ジェスチャー検出器４２４は、引く動作に関する情報をレンダリングエンジン４２２に出力する。レンダリングエンジン４２２は、ジェスチャー検出器４２４から受信した引く動作に関する情報と一貫した形でＵＩピンチ要素５６２が動かされるように、人工現実コンテンツ５２２Ａを更新する。加えて、レンダリングエンジン４２２は、人工現実コンテンツ５２２Ａを更新して、人工現実コンテンツ５２２Ｂを生成する。レンダリングエンジン４２２は、アプリケーションエンジン４４０に、図５Ｂに示される手法で、人工現実コンテンツをディスプレイ２０３に提示させる。

【0086】

図５Ｂでは、人工現実コンテンツ５２２Ｂは、記載する手法で手１３２の移動に応答して更新された後の、人工現実コンテンツ５２２Ａに対応する。例えば、ＵＩピンチ要素５６２は、ＵＩピンチ要素初期位置５６１からある距離動かされて示される。人工現実コンテンツ５２２Ｂは、ＵＩピンチ要素初期位置５６１とＵＩピンチ要素５６２の新しい位置との間のＵＩストリング要素５６４を示し、それによって、ＵＩピンチ要素初期位置５６１に対するＵＩピンチ要素５６２の距離および空間位置の視覚的指示を提供する。距離５６５Ｂは、手１３２によって実施される引く動作の距離を表し、ＵＩストリング要素５６４にほぼ等しい長さを有する。いくつかの例では、ジェスチャー検出器４２４は、摘まんで引くジェスチャーを定性化するために、手１３２が摘まんだ構成のままで手１３２の引く動作が閾値距離を十分に上回る（例えば、長さまたは距離が十分である）ことを要求してもよい。換言すれば、図５Ｂに示されるような移動（例えば、距離５６５Ｂに対応）は、摘まんで引くジェスチャーとして定性化するのには不十分なことがある。

【0087】

図５Ｃは、手１３２の更なる移動に応答してＨＭＤ １１２によって提示されてもよい、更新された人工現実コンテンツの一例を示している。例えば、図５Ｂおよび図４を参照すると、ジェスチャー検出器４２４は更なる入力を検出する。ジェスチャー検出器４２４は、入力を分析し、入力に基づいて、手１３２が摘まむ構成のままで、摘まんで引くジェスチャーに対応するように十分動かされていると決定する。ジェスチャー検出器４２４は、検出された摘まんで引くジェスチャーに関する情報を、ユーザインターフェースエンジン４２８に出力する。ユーザインターフェースエンジン４２８は、レンダリングエンジン４２２に、より長いＵＩストリング要素５６４を示す人工現実コンテンツ５２２Ｃを生成させる。レンダリングエンジン４２２は、アプリケーションエンジン４４０に、図５Ｃに示される手法で、人工現実コンテンツ５２２Ｃをディスプレイ２０３に提示させる。

【0088】

図５Ｃでは、距離５６５Ｃは距離５６５Ｂ（図５Ｂに図示）よりも長い。距離５６５Ｃは、図５Ｃの例では、摘まんで引くジェスチャーとして定性化するのに十分な長さであってもよいが、図５Ｂに示される手１３２（または仮想の手１３６）の移動は不十分なことがある。いくつかの例では、本明細書に更に記載するように、摘まんで引くジェスチャーとして定性化する移動は、ユーザインターフェース要素または更なる人工現実コンテンツの表示を含むがそれに限定されない、ＨＭＤ １１２による更なる動作を始動またはゲーティングしてもよい。

【0089】

図６Ａ、図６Ｂ、および図６Ｃは、本開示の１つまたは複数の態様による、ＨＭＤ １１２のユーザによって実施される摘まんで引くジェスチャーに応答してディスプレイに提示される、一例の一次元スライダＵＩ要素を含む一連の人工現実コンテンツを示している。図６Ａ、図６Ｂ、および図６Ｃはそれぞれ、人工現実コンテンツ６１０Ａ、人工現実コンテンツ６１０Ｂ、および人工現実コンテンツ６１０Ｃを示している。人工現実コンテンツの各例は、ＵＩパネル５６０から様々な距離にある仮想の手１３６およびＵＩピンチ要素５６２を含む。図６Ａでは、ＵＩピンチ要素５６２はＵＩピンチ要素初期位置５６１に位置付けられる。

【0090】

図６Ａの例では、また本開示の１つまたは複数の態様によれば、ＨＭＤ １１２は人工現実コンテンツ６１０Ａを提示してもよい。例えば、図４の文脈において記載することができる例を参照すると、姿勢トラッカー４２６は、センサ９０などからの、移動情報およびデータを検出する。姿勢トラッカー４２６は、姿勢情報をレンダリングエンジン４２２に出力し、レンダリングエンジン４２２は、検出された入力に基づいて、また姿勢トラッカー４２６によって決定されるような、人工現実コンテンツ１２２の視点に基づいて、人工現実コンテンツ６１０Ａを構築する。レンダリングエンジン４２２は、アプリケーションエンジン４４０に、人工現実コンテンツ６１０Ａを出力させて、図６Ａに示される手法で表示および／または提示させる。人工現実コンテンツ６１０Ａは、例えば、図２に示されるディスプレイ２０３など、ＨＭＤ １１２内のディスプレイに提示されてもよい。

【0091】

図６Ｂは、手１３２の摘まんで引く移動に応答してＨＭＤ １１２によって提示されてもよい、一例の一次元スライダＵＩ要素を示している。例えば、図４および図６Ａを参照すると、ジェスチャー検出器４２４は、画像キャプチャデバイス１３８、カメラ１０２、および／またはセンサ９０のうち１つまたは複数などからの、入力を検出する。ジェスチャー検出器４２４は、入力に基づいて、手１３２の二本の指がＵＩピンチ要素５６２の近傍で摘まむ構成を形成するように、手１３２が移動していることを決定する。ジェスチャー検出器４２４は、手１３２が摘まむ構成のまま後に続く引く動作を実施していることを決定する。ジェスチャー検出器４２４は、検出動作が、図５Ａ、図５Ｂ、および図５Ｃに関連して記載するような、摘まんで引くジェスチャーとして定性化することを決定する。レンダリングエンジン４２２は、人工現実コンテンツ６１０Ａを更新して、手１３２の移動を反映した人工現実コンテンツ６１０Ｂを生成する。レンダリングエンジン４２２は、アプリケーションエンジン４４０に、図６Ｂに示される手法で、人工現実コンテンツ６１０Ｂをディスプレイに提示させる。

【0092】

図６Ｂでは、人工現実コンテンツ６１０Ｂは、図６Ｂの例では一次元スライダＵＩ要素６１２である、ＵＩ入力要素を含む。記載する例では、スライダＵＩ要素６１２は、ジェスチャー検出器４２４によって検出された摘まんで引くジェスチャーに応答して提示される。人工現実コンテンツ６１０Ｂは、手１３２がピンチ構成であった後の手１３２の移動に対応する距離を反映する、ＵＩストリング要素５６４を含む。ＵＩピンチ要素５６２を取り囲む円６１３は、一次元スライダＵＩ要素６１２の一部であり、ＵＩピンチ要素５６２の周りの円６１３の直径は、連続（即ち、非離散的な）入力値に変換されてもよい。いくつかの例では、入力値は、あるいは、ＵＩピンチ要素初期位置５６１とＵＩピンチ要素５６２との間の距離を表す、ＵＩストリング要素５６４の長さに対応してもよい。いずれの場合も、一次元スライダＵＩ要素６１２によって表される入力値は、音量制御に対する入力、視覚ズーム値に対する入力、または一次元連続変数によって表されてもよい他の任意の入力に対応してもよい。

【0093】

図６Ｃは、手１３２の更なる移動に応答してＨＭＤ １１２によって提示されてもよい、更新された人工現実コンテンツの一例を示している。例えば、図６Ｂおよび図４を参照すると、ジェスチャー検出器４２４は更なる入力を検出する。ジェスチャー検出器４２４は、入力を分析し、入力に基づいて、手１３２が摘まむ構成のままでＵＩピンチ要素初期位置５６１から更に引かれていることを決定する。ジェスチャー検出器４２４は、追加の移動に関する情報を、ユーザインターフェースエンジン４２８に出力する。レンダリングエンジン４２２は、人工現実コンテンツ６１０Ｂを更新して、より長いＵＩストリング要素５６４、およびＵＩピンチ要素５６２の周りのより大径の円６１３を示す、人工現実コンテンツ６１０Ｃを生成する。レンダリングエンジン４２２は、アプリケーションエンジン４４０に、図６Ｃに示される手法で、人工現実コンテンツ６１０Ｃをディスプレイに提示させる。

【0094】

図６Ｃでは、一次元スライダＵＩ要素６１２は、図６Ｂよりも、円６１３がより大きい直径を有し、ならびに／またはより長いＵＩストリング要素５６４を有するように更新される。更新された円６１３によって表されるより大きい値は、更新されたより大きい入力値を表し、ならびに／またはそれに対応してもよい。

【0095】

ＨＭＤ １１２は、ユーザの選択された入力を識別する移動を検出してもよい。例えば、いくつかの例では、図４および図６Ｃを参照すると、ジェスチャー検出器４２４は更なる入力を検出する。ジェスチャー検出器４２４は、入力が、手１３２の摘まんだ指が離れていることに対応して、ＵＩピンチ要素５６２を解除する動作に対応していることを決定する。ジェスチャー検出器４２４は、解除動作に関する情報を、ユーザインターフェースエンジン４２８に出力する。ユーザインターフェースエンジン４２８は、解除動作が検出されたときのＵＩストリング要素５６４の位置に基づいて、ＨＭＤ １１２のユーザによって選択される入力値に対応する、選択された入力値を決定する。いくつかの例では、選択された入力値は、手１３２がＵＩピンチ要素５６２を解除する前の一次元スライダＵＩ要素６１２の最後の状態に対応する値に対応する。ユーザインターフェースエンジン４２８は、選択された入力値に関する情報を、アプリケーションエンジン４４０に出力する。アプリケーションエンジン４４０は、選択された入力値と一貫した手法で、環境を更新する。環境がどのように更新されるかは、どの一次元スライダＵＩ要素６１２が関連付けられるかに応じて決まってもよい。いくつかの例では、一次元スライダＵＩ要素６１２は、音量、明るさ、または人工現実環境の他の任意の適切な属性を調節するのに使用されてもよい。

【0096】

ＨＭＤ １１２は、一次元スライダＵＩ要素６１２を除去するように、人工現実コンテンツ６１０Ｃを更新してもよい。例えば、図４および図６Ｃを参照すると、ユーザインターフェースエンジン４２８は、手１３２がＵＩピンチ要素５６２を解除していることをレンダリングエンジン４２２に通知する。レンダリングエンジン４２２は、人工現実コンテンツ６１０Ｃの更新されたものを生成して、一次元スライダＵＩ要素６１２を人工現実コンテンツ６１０Ｃから除去し、ＵＩピンチ要素５６２をＵＩピンチ要素初期位置５６１（例えば、図６Ａを参照）に回復させる。レンダリングエンジン４２２は、アプリケーションエンジン４４０に、更新された人工現実コンテンツ６１０ＣをＨＭＤ １１２と関連付けられたディスプレイに提示させる。

【0097】

記載する例では、ＨＭＤ １１２は、手１３２の摘まんだ指が離されていることを検出すると、ユーザの選択された入力を識別する。かかる動作は、一般に、一次元スライダＵＩ要素６１２との対話が終了されるはずであることを示す、ＵＩピンチ要素５６２を解除する動作に対応してもよい。しかしながら、他の例では、ＨＭＤ １１２は、手１３２の異なる動作、手１３２が関与する異なるジェスチャー、または手１３２もしくは腕１３４の他の任意の動作を認識することを含むが、それに限定されない別の手法で、ユーザの選択された入力を識別してもよい。

【0098】

図７Ａおよび図７Ｂは、本開示の１つまたは複数の態様による、ＨＭＤ １１２のユーザによって実施される摘まんで引くジェスチャーに応答してディスプレイに提示される、一例のスイッチＵＩ要素（即ち、ＵＩ入力要素）を含む一連の人工現実コンテンツを示している。図７Ａおよび図７Ｂはそれぞれ、人工現実コンテンツ６２０Ａおよび人工現実コンテンツ６２０Ｂを示している。人工現実コンテンツ６２０の各例は、摘まんで引くジェスチャーが認識された後の、ＵＩピンチ要素５６２、ＵＩストリング要素５６４、および仮想の手１３６を含む。

【0099】

図７Ａの例では、また本開示の１つまたは複数の態様によれば、ＨＭＤ １１２は人工現実コンテンツ６２０Ａ内のスイッチＵＩ要素６２２を提示してもよい。例えば、図４および図７Ａを参照すると、ジェスチャー検出器４２４は、ＵＩピンチ要素初期位置５６１の近傍における手１３２の摘まむ構成と、それに続く手１３２の引く動作とを検出する。ジェスチャー検出器４２４は、手１３２の移動が摘まんで引くジェスチャーに対応することを決定する。レンダリングエンジン４２２は、スイッチＵＩ要素６２２を含む人工現実コンテンツ６２０Ａを構築する。レンダリングエンジン４２２は、アプリケーションエンジン４４０に、人工現実コンテンツ６２０Ａを出力させて、図７Ａに示される手法で表示および／または提示させる。

【0100】

図７Ａでは、人工現実コンテンツ６２０Ａは、第１のスイッチ位置６２３および第２のスイッチ位置６２４を含む、スイッチＵＩ要素６２２を含む。ＵＩストリング要素５６４は、スイッチＵＩ要素６２２と交差し、図７Ａに示される例では、ＵＩストリング要素５６４はスイッチ位置６２３内のスイッチＵＩ要素６２２と交差する。ジェスチャー検出器４２４は、ＵＩピンチ要素５６２の位置およびスイッチＵＩ要素６２２におけるＵＩストリング要素５６４の交差に基づいて、スイッチ位置６２３またはスイッチ位置６２４のどちらが手１３２を位置付けるユーザによって選択されているかを決定する。図７Ａの例では、レンダリングエンジン４２２は、ＵＩストリング要素５６４がスイッチ位置６２３と交差するので、手１３２の位置および移動が第１のスイッチ位置に対応すると解釈する。

【0101】

図７Ｂは、手１３２の更なる移動に応答してＨＭＤ １１２によって提示されてもよい、更新された人工現実コンテンツの一例を示している。例えば、図７Ａおよび図４を参照すると、ジェスチャー検出器４２４は、ジェスチャー検出器４２４が決定する更なる入力が、下方に移動させられる手１３２の平行移動に対応することを検出する。ジェスチャー検出器４２４は、情報をユーザインターフェースエンジン４２８に出力し、ユーザインターフェースエンジン４２８は、移動によってＵＩストリング要素５６４がスイッチ位置６２４と交差することを決定する。ユーザインターフェースエンジン４２８は、手１３２の位置および移動がスイッチ位置６２４の選択に対応することを決定する。レンダリングエンジン４２２は、人工現実コンテンツ６２０Ａを更新して、ＵＩストリング要素５６４がスイッチ位置６２４と交差することを反映した人工現実コンテンツ６２０Ｂを生成する。レンダリングエンジン４２２は、アプリケーションエンジン４４０に、図７Ｂに示される手法で、人工現実コンテンツ６２０Ｂを出力させて表示する。

【0102】

図７Ｂでは、ＵＩピンチ要素５６２は、ＵＩストリング要素５６４がスイッチ位置６２３ではなくスイッチ位置６２４と交差し、それによってＵＩ要素６２２のトグルに対応するように、手１３２によって位置付けられている。いくつかの例では、レンダリングエンジン４２２は、スイッチＵＩ要素６２２のトグル、またはスイッチＵＩ要素６２２に対応する新しい値を反映するように、ＵＩピンチ要素５６２を、異なる色、陰影、またはパターンに更新してもよい。例えば、ＵＩピンチ要素５６２の色は、スイッチ位置６２４に対応する領域と同様または同じになるように変更されてもよい。

【0103】

図７Ｃは、スイッチＵＩ要素に対する摘まんで引くジェスチャーの二次元表現を示す概念図である。図７Ｃは、一般に、「持ち上げられた」または「引っ張られた」状態のＵＩピンチ要素５６２を示す、図７Ａに示されるようなスイッチＵＩ要素６２２に対応する。図７Ｃは、図７ＡのＵＩパネル５６０に垂直な面内の相対距離および空間位置を示している。図７Ａの例では、スイッチＵＩ要素６２２はＵＩパネル５６０と平行であってもよいので、スイッチＵＩ要素６２２は、ＵＩパネル５６０のように、やはり図７Ｃに示される面に垂直に示されている。図７Ｃでは、ＵＩピンチ要素初期位置５６１およびＵＩピンチ要素５６２は、ＵＩストリング要素５６４がＵＩピンチ要素初期位置５６１とＵＩピンチ要素５６２との間に延在して示されている。いくつかの例では、ＵＩピンチ要素初期位置５６１はＵＩパネル５６０の位置には位置付けられず、それよりもむしろ、図７Ｃに示される形で、ＵＩパネル５６０からわずかな距離を置いて位置付けられる。ＵＩパネル５６０とＵＩピンチ要素初期位置５６１との間にかかる距離を提供することで、ユーザは、ＵＩピンチ要素５６２のわずかに後方に手を伸ばすことによって、ＵＩピンチ要素５６２（ＵＩピンチ要素初期位置５６１に位置付けられたとき）を掴むかまたは摘まむのを視覚化することができる。

【0104】

図７Ｃの例では、ＵＩストリング要素５６４は、図７Ａに示されるトグル位置に対応する、スイッチ位置６２３内でスイッチＵＩ要素６２２と交差する。図示されるように、スイッチＵＩ要素６２２は、ＵＩピンチ要素初期位置５６１とＵＩピンチ要素５６２との間に位置付けられ、スイッチＵＩ要素６２２の位置は、摘まんで引くジェスチャーを始動するのに十分な引く動作として定性化するために、ＵＩピンチ要素５６２が引かれる必要があってもよい閾値距離に対応してもよい。他の例では、スイッチＵＩ要素６２２は、ＵＩパネル５６０に平行な位置であるがＵＩピンチ要素初期位置５６１、またはＵＩピンチ要素初期位置５６１から、摘まんで引くジェスチャーに対する閾値引っ張り距離に対応しない距離など、どこかの位置に位置付けられてもよい。

【0105】

図８Ａは、本開示の１つまたは複数の態様による、一例の径方向アイテムピッカーＵＩ入力要素を含む人工現実コンテンツを示している。図８Ａの例では、ユーザインターフェースエンジン４２８は、ＵＩストリング要素５６４が径方向アイテムピッカーＵＩ要素６３２とどこで交差するかを決定することによって、離散的な数の入力のうち１つを識別してもよい。いくつかの例では、ユーザインターフェースエンジン４２８は、手１３２の移動を解釈するジェスチャー検出器４２４からの情報に基づいて、かかる決定を行ってもよい。図８Ａに示される例では、ユーザインターフェースエンジン４２８は、手１３２の位置付けに基づいて、８つの離散的な入力値（それぞれ、径方向アイテムピッカーＵＩ要素６３２の８つの小さい楕円のうち１つによって表される）のうちどれがユーザによって選択されているかを決定する。径方向アイテムピッカーＵＩ要素６３２に示される入力値は、アイコン、絵文字、特定の色、特定のメニューアイテムなど、入力として選択される任意の適切なコンテンツに対応してもよい。径方向アイテムピッカーＵＩ要素６３２における選択可能なアイテムは、径方向の様式で配置された楕円形の表示要素として示されているが、他の表示要素および配置が使用されてもよい。例えば、径方向アイテムピッカーＵＩ要素６３２は、他の例では、正方形もしくは長方形の表示要素のグリッド、メニューアイテムのスタック、または可変形状の表示アイコンのモザイクを提示してもよい。ユーザは、手１３２の摘まむ構成を解除することによって、または別の動作を実施することによってなど、摘まんで引くジェスチャーを終了することによって、表示要素のうち１つを選択してもよい。

【0106】

図８Ｂは、本開示の１つまたは複数の態様による、一例の径方向スライダＵＩ入力要素を含む人工現実コンテンツを示している。図８Ｂの例では、ユーザインターフェースエンジン４２８は、径方向スライダＵＩ要素６４２内に含まれる濃い色の径方向楕円を含む、径方向スライダＵＩ要素６４２の比率に対応する連続変数に値を割り当ててもよい。いくつかの例では、ユーザインターフェースエンジン４２８は、手１３２が摘まむ構成で構成されているときの手１３２の径方向移動を解釈するジェスチャー検出器４２４からの情報に基づいて、かかる決定を行ってもよい。図８Ｂの例では、手１３２の反時計方向の径方向移動は、入力変数の値の増加に対応する。径方向アイテムピッカーＵＩ要素６３２は、連続入力値を表すように構成されるが、他の例では、径方向アイテムピッカーＵＩ要素６３２は、手１３２が反時計方向の動作（もしくは別の動作）で動かされると増加する離散的な入力値など、離散的な値を表すように構成されてもよい。

【0107】

図８Ｃは、本開示の１つまたは複数の態様による、一例のカラーピッカーＵＩ入力要素を含む人工現実コンテンツを示している。図８Ｃの例では、ユーザインターフェースエンジン４２８は、色もしくは値の二次元スペクトル内の、またはカラーピッカーＵＩ要素６５２内に含まれる色スペクトルもしくはグレースケールスペクトルによって表される、地点に対応する連続変数に値を割り当ててもよい。図８Ｃでは、カラーピッカーＵＩ要素６５２内の各地点は、カラーピッカーＵＩ要素６５２内のスペクトル内における可能な値の連続体内の入力値を表してもよい。ユーザインターフェースエンジン４２８は、手１３２の移動をカラーピッカーＵＩ要素６５２内の値の連続体内における異なる位置へと変換してもよく、位置は、ＵＩストリング要素５６４とカラーピッカーＵＩ要素６５２との交点によって決定される。手１３２の移動はＵＩピンチ要素５６２の、したがってＵＩストリング要素５６４の移動に変換できるので、手１３２の移動は、カラーピッカーＵＩ要素６５２内の異なる地点にも変換できる。ユーザは、摘まんで引くジェスチャーを終了することによって、カラーピッカーＵＩ要素６５２内のスペクトル内における地点のうち１つを選択してもよい。

【0108】

図９Ａ、図９Ｂ、および図９Ｃは、本開示の１つまたは複数の態様による、ＨＭＤ １１２のユーザによって実施される摘まんで引くジェスチャーに応答してディスプレイに提示される、一例の径方向アイテムピッカーＵＩ入力要素を含む一連の人工現実コンテンツを示している。図９Ａ、図９Ｂ、および図９Ｃはそれぞれ、人工現実コンテンツ６６０Ａ、人工現実コンテンツ６６０Ｂ、および人工現実コンテンツ６６０Ｃを示している。人工現実コンテンツ６６０の各例は、摘まんで引くジェスチャーが認識された後のＵＩストリング要素５６４、および仮想の手１３６を含む。また、各例には、手１３２の位置に基づいてメニューアイテムが変化する、一例の径方向アイテムピッカーＵＩ要素６２２が含まれる。

【0109】

図９Ａの例では、また本開示の１つまたは複数の態様によれば、ＨＭＤ １１２は、図９Ａに示される４つの楕円によって表される、４つの入力選択肢の１つを選択するのに使用されてもよい、人工現実コンテンツ６６０Ａ内に径方向アイテムピッカーＵＩ要素６６２Ａを提示してもよい。例えば、図４を参照すると、ジェスチャー検出器４２４は、ＵＩピンチ要素初期位置５６１の近傍における手１３２の摘まむ構成と、それに続く手１３２の引く動作とを検出する。ジェスチャー検出器４２４は、手１３２の移動が摘まんで引くジェスチャーに対応することを決定する。レンダリングエンジン４２２は、径方向アイテムピッカーＵＩ要素６６２Ａを含む人工現実コンテンツ６６０Ａを構築する。レンダリングエンジン４２２は、アプリケーションエンジン４４０に、人工現実コンテンツ６６０Ａを出力させて、図９Ａに示される手法で表示および／または提示させる。人工現実コンテンツ６６０Ａは、例えば、図２に示されるディスプレイ２０３など、ＨＭＤ １１２内のディスプレイに提示されてもよい。

【0110】

図９Ｂは、手１３２の更なる移動に応答してＨＭＤ １１２によって提示されてもよい、更新された径方向アイテムピッカーＵＩ要素の一例を示している。例えば、図９Ａおよび図４を参照すると、ジェスチャー検出器４２４は、ジェスチャー検出器４２４が決定する更なる入力が、手１３２をＵＩピンチ要素初期位置５６１から更に離れるように移動させる、更なる引く動作に対応することを検出する。ジェスチャー検出器４２４は、手１３２の動作に関する情報を、ユーザインターフェースエンジン４２８に出力する。ユーザインターフェースエンジン４２８は、手１３２の位置に基づいて、径方向アイテムピッカーＵＩ要素６６２Ａの粒度を増加させる。ユーザインターフェースエンジン４２８は、情報をレンダリングエンジン４２２に出力する。レンダリングエンジン４２２は、人工現実コンテンツ６６０Ａを更新して、人工現実コンテンツ６６０Ｂを生成する。レンダリングエンジン４２２は、アプリケーションエンジン４４０に、図９Ｂに示される手法で、人工現実コンテンツ６６０Ｂを出力させる。図９Ｂで、人工現実コンテンツ６６０Ｂは、図９Ａに示される、径方向アイテムピッカーＵＩ要素６６２Ａよりも多くの選択可能な表示要素を有する、更新された径方向アイテムピッカーＵＩ要素６６２Ｂを含む。

【0111】

図９Ｃは、手１３２の更に他の移動に応答してＨＭＤ １１２によって提示されてもよい、更に更新された径方向アイテムピッカーＵＩ要素の一例を示している。例えば、図９Ｂおよび図４を参照すると、ジェスチャー検出器４２４は、ジェスチャー検出器４２４が決定する更なる入力が、図９Ａおよび図９Ｂに示される引く動作の連続に対応することを検出する。ユーザインターフェースエンジン４２８は、手１３２の位置に基づいて、径方向アイテムピッカーＵＩ要素６６２Ｂの粒度を更に増加させるべきであると決定する。レンダリングエンジン４２２は、人工現実コンテンツ６６０Ｂを更新して、人工現実コンテンツ６６０Ｃを生成する。レンダリングエンジン４２２は、アプリケーションエンジン４４０に、図９Ｃに示される手法で、人工現実コンテンツ６６０Ｃを出力させて表示する。図９Ｃでは、人工現実コンテンツ６６０Ｃは、径方向アイテムピッカーＵＩ要素６６２Ａまたは径方向アイテムピッカーＵＩ要素６６２Ｂよりも多くの選択可能な表示要素を有する、径方向アイテムピッカーＵＩ要素６６２Ｃを含む。

【0112】

図９Ａ、図９Ｂ、および図９Ｃの例では、ユーザが手１３２をＵＩピンチ要素初期位置５６１から更に離れるように引くと、径方向アイテムピッカーＵＩ要素６６２の粒度が増加する。ユーザが手１３２をＵＩピンチ要素初期位置５６１から更に離れるように引く間、ＵＩストリング要素５６４が長くなり、いずれの場合も、手１３２が更に離れるように引かれるとき、径方向アイテムピッカーＵＩ要素６６２は静止したままなので、手１３２の移動は、交点５６６の漸進的に小さくなる移動に変換される傾向がある。例えば、図９Ｂおよび図９Ｃを参照すると、手１３２を移動させると、ＵＩストリング要素５６４の長さは、ＵＩピンチ要素初期位置５６１において、手１３２の異なる位置に対して異なるＵＩストリング要素５６４によって形成される２つの線の間のより小さい角度をもたらすので、図９Ｃの交点５６６Ｃが図９Ｂの交点５６６Ｂよりも小さく移動する。換言すれば、図９Ｂの手１３２を８インチ（２０．３２ｃｍ）移動させた場合、その移動は交点５６６Ｂを１インチ（２．５４ｃｍ）動かしてもよい。しかしながら、図９Ｃの手１３２は、図９ＢよりもＵＩピンチ要素初期位置５６１から遠くに離れるので、図９Ｃの手１３２を８インチ（２０．３２ｃｍ）移動させた場合、その移動は、交点５６６Ｃを１インチ（２．５４ｃｍ）未満移動させる傾向にある。したがって、手１３２の移動は交点５６６Ｃのより微細な移動をもたらすため、手１３２をＵＩピンチ要素初期位置５６１から更に遠くに移動させるので（例えば、図９Ｃのように）、高粒度径方向アイテムピッカーＵＩの使用は適切なことがある。手の移動を実施しているユーザは、径方向アイテムピッカーＵＩ要素６６２Ｂと比較して、径方向アイテムピッカーＵＩ要素６６２Ｃによって必要とされる微細な移動を実施する際、何らかの更なる困難を知覚しないことがある。

【0113】

図１０は、本開示の１つまたは複数の態様による、一例の容量性カラーピッカーＵＩ入力要素６７２を含む一例の人工現実コンテンツの図である。図１０の例では、ＨＭＤ １１２は、容量性カラーピッカーＵＩ要素６７２を提示してもよい。例えば、図４を参照すると、ユーザインターフェースエンジン４２８は、摘まんで引くジェスチャーなど、ジェスチャー検出器４２４によって識別されたゲーティングまたは始動するジェスチャーに応答して、容量性カラーピッカーＵＩ要素６７２を生成する。レンダリングエンジン４２２は、容量性カラーピッカーＵＩ要素６７２を含む人工現実コンテンツ６７０を構築する。レンダリングエンジン４２２は、アプリケーションエンジン４４０に、人工現実コンテンツ６７０を出力させて、図１０に示される手法で表示および／または提示させる。

【0114】

ＨＭＤ １１２は、手１３２の移動を、容量性カラーピッカーＵＩ要素６７２を使用する入力変数へと変換してもよい。例えば、図４および図１０を参照すると、ユーザインターフェースエンジン４２８は、ジェスチャー検出器４２４によって検出される情報に基づいて、容量性カラーピッカーＵＩ要素６７２内におけるＵＩピンチ要素５６２の位置を決定してもよい。ユーザインターフェースエンジン４２８は、ＵＩピンチ要素５６２の容量性カラーピッカーＵＩ要素６７２内の位置と関連付けられた、入力値（例えば、色）を決定してもよい。ユーザインターフェースエンジン４２８は、入力値に関する情報をレンダリングエンジン４２２に出力してもよい。レンダリングエンジン４２２は更新された人工現実コンテンツ６７０を構築する。加えて、レンダリングエンジン４２２は、手１３２の位置と関連付けられた入力値によって表される色に対応するように、ＵＩピンチ要素５６２に陰または色を付けてもよい。容量性カラーピッカーＵＩ入力要素６７２は、図１０に示されるように、二次元値ではなく三次元値の選択に使用することができるという意味で、カラーピッカーＵＩ要素６５２とは異なってもよい。いくつかの例では、三次元値は、色相、彩度、および明度値を表してもよく、色相および彩度はストリングの交差によって定義され、明度値は距離によって設定される。ＲＧＢ色値が関与する例を含む、三次元値を使用する他の実現例が可能である。

【0115】

図１１は、本開示の１つまたは複数の態様による、一例の進行状況スライダＵＩ入力要素６８２を含む人工現実コンテンツを示す概念図である。図１１の例では、ＨＭＤ １１２は、進行状況インジケータ６８３を含む進行状況スライダＵＩ要素６８２を提示してもよい。進行状況スライダＵＩ要素６８２は、ＵＩパネル５７０内に提示されているビデオクリップの進行状況を時間で表すのに使用されてもよい。図１１の例では、進行状況インジケータ６８３は、図１１の例では、ＵＩストリング要素５６４に取り付けられているものとして示される、ＵＩピンチ要素５６２の移動に基づいて調節することができる。ジェスチャー検出器４２４および／またはユーザインターフェースエンジン４２８は、手１３２の横移動を進行状況インジケータ６８３の異なる位置に変換する。例えば、手１３２の右方向移動は、進行状況インジケータ６８３を、進行状況スライダＵＩ要素６８２の右側（例えば、ビデオクリップ内の遅い時間に対応する）に向かって移動させてもよい。手１３２の左方向移動は、進行状況インジケータ６８３を、進行状況スライダＵＩ要素６８２の左側（例えば、ビデオクリップ内の早い時間に対応する）に向かって移動させてもよい。ＨＭＤ １１２は、手１３２の摘まむ構成を解除すると、進行状況インジケータ６８３の新しい位置に対応する入力値を決定してもよい。

【0116】

本明細書に記載する（例えば、図５Ａで始まって図１１までの）例の多くでは、ＵＩピンチ要素５６２は、球形のオブジェクトとして示され、一般に、一貫したサイズで示される。しかしながら、他の例では、ＵＩピンチ要素５６２は異なる形状であることができ、異なるサイズであることができる。ＵＩピンチ要素５６２の特性は、いくつかの例では、摘まんで引くジェスチャーが使用可能にしてもよい、入力のタイプの視覚的指示を提供してもよい（例えば、選択可能なメニューアイテム、オブジェクト選択、一次元の離散的もしくは連続的変数、二次元変数、三次元容量変数、またはその他）。他の例では、ＵＩピンチ要素５６２に隣接する（例えば、ＵＩパネル５６０上の）テキストは、あるいは、または加えて、摘まんで引くジェスチャーが使用可能にしてもよい入力のタイプを示してもよい。

【0117】

図１２Ａ、図１２Ｂ、および図１２Ｃは、本開示の１つまたは複数の態様による、一例の物理的スタイラスが関与する一連の人工現実コンテンツを示している。図１２Ａ、図１２Ｂ、および図１２Ｃはそれぞれ、人工現実コンテンツ７０５Ａ、人工現実コンテンツ７０５Ｂ、および人工現実コンテンツ７０５Ｃを示している。図示される例では、人工現実コンテンツの各例は物理的スタイラス７１０を含む。物理的スタイラス７１０は物理的ボタン７１２を含む。物理的スタイラス７１０は、通常、図１２Ａ、図１２Ｂ、および図１２Ｃに示される人工現実コンテンツ内に提示されてもよい、ユーザの手によって制御および／または保持されてもよい。しかしながら、例示しやすく明瞭にするため、図１２Ａ、図１２Ｂ、および図１２Ｃには手は示されない。

【0118】

人工現実コンテンツ７０５Ａ、人工現実コンテンツ７０５Ｂ、および人工現実コンテンツ７０５Ｃはそれぞれ、図１Ｂおよび／または図１Ｂに示されるものなど、一例のＨＭＤ １１２によって提示されてもよい。図１２Ａ、図１２Ｂ、および図１２Ｃは、物理的ボタン７１２を有する物理的スタイラス７１０を使用する文脈で記載されるが、他の例では、手のジェスチャーまたは認識された構成に基づいて、仮想スタイラスを使用する類似の技術が用いられてもよい。

【0119】

図１２Ａの例では、本開示の１つまたは複数の態様によれば、ＨＭＤ １１２は人工現実コンテンツ７０５Ａを提示してもよい。例えば、図４の文脈において記載することができる例を参照すると、姿勢トラッカー４２６は、センサ９０などからの、移動情報およびデータを検出する。姿勢トラッカー４２６は、姿勢情報をレンダリングエンジン４２２に出力し、レンダリングエンジン４２２は、検出された入力に基づいて、また姿勢トラッカー４２６によって決定されるような、人工現実コンテンツ１２２の視点に基づいて、人工現実コンテンツ７０５Ａの初期バージョンを構築する。姿勢トラッカー４２６は、更なる移動情報を検出し、移動がＵＩパネル５６０に沿って移動させられている物理的スタイラス７１０に対応すると決定する。姿勢トラッカー４２６は、情報をレンダリングエンジン４２２に出力し、レンダリングエンジン４２２は人工現実コンテンツ７０５Ａを構築する。レンダリングエンジン４２２は人工現実コンテンツ７０５Ａ内に線７２０を含む。線７２０は、ＵＩパネル５６０に沿った物理的スタイラス７１０の移動に対応してもよい。レンダリングエンジン４２２は、アプリケーションエンジン４４０に、人工現実コンテンツ７０５Ａを出力させて、図１２Ａに示される手法で表示および／または提示させる。

【0120】

図１２Ｂは、物理的スタイラス７１０に対して実施される動きに応答してＨＭＤ １１２によって提示されてもよい、一例の線厚さＵＩ要素を示している。例えば、図４および図１２Ａを参照すると、ユーザインターフェースエンジン４２８は、ユーザが物理的ボタン７１２を選択し、物理的ボタン７１２を押し下げ、ＵＩパネル５６０から離れる上向きの動作で物理的スタイラス７１０を引くことに対応する入力を検出する。（いくつかの例では、これは、上述の図面において記載した摘まんで引くジェスチャーに対応してもよい。）ユーザインターフェースエンジン４２８は、画像キャプチャデバイス１３８、カメラ１０２、および／またはセンサ９０のうち１つまたは複数からの画像に基づいて、物理的スタイラス７１０によって開始される無線信号に基づいて、物理的ボタン７１２の選択に応答して、および／または別の手法で、かかる入力を検出してもよい。ユーザインターフェースエンジン４２８は、入力に基づいて、物理的スタイラス７１０との対話と物理的スタイラス７１０の移動が、線厚さＵＩ要素７３２の表示をゲーティングまたは始動する動きに対応すると決定する。ユーザインターフェースエンジン４２８は、動きに関する情報をレンダリングエンジン４２２に出力する。レンダリングエンジン４２２は、人工現実コンテンツ７０５Ａを更新して、物理的スタイラス７１０の移動および線厚さＵＩ要素７３２の表示を反映した人工現実コンテンツ７０５Ｂを生成する。レンダリングエンジン４２２は、アプリケーションエンジン４４０に、図１２Ｂに示される手法で、人工現実コンテンツ７０５Ｂを提示させる。

【0121】

ユーザインターフェースエンジン４２８は、物理的スタイラス７１０の更なる移動を検出してもよく、それによって、人工現実コンテンツ７０５Ｂにおける線７２０の幅を修正させてもよい。例えば、再び図１２Ｂを参照すると、ユーザインターフェースエンジン４２８は、物理的ボタン７１２が押し下げられ続けている間、物理的スタイラス７１０がＵＩパネル５６０から更に移動させられたことを検出してもよい。それに応答して、レンダリングエンジン４２２は、線７２０をより太い線で再描写させてもよい。同様に、ユーザインターフェースエンジン４２８は、物理的スタイラス７１０が（物理的ボタン７１２の押下げによって）ＵＩパネル５６０のより近くに移動させられたことを検出してもよく、それに応答して、レンダリングエンジン４２２は、線７２０をより細い線で描写させてもよい。ユーザインターフェースエンジン４２８は、物理的ボタン７１２が解除されていることを検出してもよく、それによって線厚さＵＩ要素７３２との対話を終了してもよい。それに応答して、ユーザインターフェースエンジン４２８は、物理的ボタン７１２が解除されたときの線厚さＵＩ要素７３２の状態に対応する厚さであってもよい、線７２０の選択された厚さを識別してもよい。レンダリングエンジン４２２は、選択された厚さを線７２０に適用し、線厚さＵＩ要素７３２を人工現実コンテンツ７０５Ｂから除去してもよい。その後（例えば、ボタン７１２が解除された後）、ユーザインターフェースがジェスチャーをゲーティングするのが検出されるまで、物理的スタイラス７１０の更なる移動は、一般に、線７２０の厚さに影響しないであろう。

【0122】

図１２Ｃは、物理的スタイラス７１０に対して実施される動きに応答してＨＭＤ １１２によって提示されてもよい、一例のカラーピッカーＵＩ要素を示している。例えば、再び図１２Ａを参照すると、ユーザインターフェースエンジン４２８は、ユーザが物理的ボタン７１２を選択し、ＵＩパネル５６０から離れる上向きの動作で物理的スタイラス７１０を引くのに対応する入力を検出する。ユーザインターフェースエンジン４２８は、動作および物理的スタイラス７１０との対話が、カラーピッカーＵＩ要素７４２の表示を始動するのに十分であると決定する。ユーザインターフェースエンジン４２８は、入力に関する情報をレンダリングエンジン４２２に出力する。レンダリングエンジン４２２は、人工現実コンテンツ７０５Ａを更新して、物理的スタイラス７１０の移動およびカラーピッカーＵＩ要素７４２の表示を反映した人工現実コンテンツ７０５Ｃを生成する。レンダリングエンジン４２２は、アプリケーションエンジン４４０に、図１２Ｃに示される手法で、人工現実コンテンツ７０５Ｃを提示させる。

【0123】

ユーザインターフェースエンジン４２８は、物理的スタイラス７１０の更なる移動を検出してもよく、それによって、線７２０の色または陰影を修正させてもよい。例えば、図１２Ｃを参照すると、ユーザインターフェースエンジン４２８は、物理的ボタン７１２が押し下げられ続けている間、物理的スタイラス７１０がＵＩパネル５６０の上方の空間内で移動させられたことを検出してもよく、それに応答して、ユーザインターフェースエンジン４２８は、ＵＩストリング要素５６４が異なる場所でカラーピッカーＵＩ要素７４２と交差すると決定してもよい。ユーザインターフェースエンジン４２８は、ＵＩストリング要素５６４の交差に対応する色を識別する。ユーザインターフェースエンジン４２８は、識別された色に関する情報をレンダリングエンジン４２２に出力する。レンダリングエンジン４２２は、人工現実コンテンツ７０５Ｃを更新して、識別された色を使用して線７２０を描写することによって識別された色を反映させる。レンダリングエンジン４２２は、アプリケーションエンジン４４０に、ディスプレイ２０３内の人工現実コンテンツ７０５Ｃを更新させる。

【0124】

ユーザインターフェースエンジン４２８は、最終的に、物理的ボタン７１２が解除されていることを検出してもよい。ユーザインターフェースエンジン４２８は、かかる動きを、カラーピッカーＵＩ要素７４２との対話を終了し、現在の色を線７２０に適用するというユーザの要求として認識してもよい。それに応答して、ユーザインターフェースエンジン４２８は、選択された色を線７２０に適用し、カラーピッカーＵＩ要素７４２を人工現実コンテンツ７０５Ｃから除去してもよい。

【0125】

図１２Ｂおよび図１２Ｃの両方において、物理的スタイラス７１０は、線厚さＵＩ要素７３２およびカラーピッカーＵＩ要素７４２それぞれの上方に位置付けられて示されている。各例において、ＵＩ入力要素７３２および７４２は、摘まんで引くジェスチャーに関して本明細書に記載したのと同様の手法で、物理的スタイラス７１０の移動に応答して動作してもよい。換言すれば、物理的スタイラス７１０は、摘まんで引くジェスチャーによって始動されるものとして本明細書に記載したのと同じＵＩ入力要素のいずれかを始動するのに使用されてもよい。しかしながら、図１２Ｂおよび図１２Ｃの例では、かかるＵＩ入力要素は、物理的スタイラス７１０との対話（例えば、物理的ボタン７１２の押圧および後に続く物理的スタイラス７１０の移動）によって始動される。したがって、図１２Ｂおよび図１２Ｃは例として示されているが、手１３２が関与する摘まんで引くジェスチャーに関連して本明細書に記載する他のＵＩ入力要素のいずれかが、代わりに、物理的スタイラス７１０の動きによってゲーティングされてもよい。かかる例では、それらのＵＩ入力要素は、物理的スタイラス７１０の対応する移動に応答して動作してもよい。

【0126】

更に、ボタン７１２の選択または押圧は、ＵＩ入力要素の表示を始動する動きの一部として記載されるが、他の例では、かかるＵＩ入力要素は、スタイラス７１０によってスタイラス７１０の下方の表面に十分な圧力を加えることなどによって、スタイラス７１０によって別の手法で始動されてもよい。かかる例では、スタイラス７１０は、ユーザによって加えられる圧力を認識し、ボタン７１２が押圧されたときの上述したのと同様の手法で応答してもよい。

【0127】

図１３Ａは、本開示の１つまたは複数の態様による、一例の人工現実システムによって実施される動作を示すフロー図である。図１３Ａについては、図１Ａの人工現実システム１０の文脈内で以下に記載する。他の例では、図１３Ａに記載する動作は、１つもしくは複数の他の構成要素、モジュール、システム、またはデバイスによって実施されてもよい。更に、他の例では、図１３と関連して記載した動作は、併合されるか、異なるシーケンスで実施されるか、省略されてもよく、または具体的に例示もしくは記載しない追加の動作を包含してもよい。

【0128】

図１３Ａに示されるプロセスでは、また本開示の１つまたは複数の態様によれば、人工現実システム１０は画像データをキャプチャしてもよい（８０１）。例えば、図１Ａを参照すると、ＨＭＤ １１２（または他のデバイス）内に含まれる１つもしくは複数画像キャプチャデバイス１３８は、ＨＭＤ １１２を装着しているユーザの近くの物理的環境を表す視野１３０内の画像をキャプチャしてもよい。

【0129】

人工現実システム１０は人工現実コンテンツを出力してもよい（８０２）。例えば、図１Ａを参照すると、ＨＭＤ １１２は、ＨＭＤ １１２内に含まれるディスプレイにおいて、人工現実コンテンツを提示してもよい。かかるコンテンツは、物理的環境、物理的環境の画像上にオーバーレイされる人工コンテンツ、ユーザインターフェース要素（例えば、メニュー）、または他のコンテンツの画像を含んでもよい。

【0130】

人工現実システム１０は、画像データから、摘まむ構成および引く動作を含むジェスチャーを識別してもよい（８０３）。例えば、再び図１Ａを参照すると、ＨＭＤ １１２は、１つまたは複数の画像キャプチャデバイス１３８によってキャプチャされた画像データを分析し、画像データに基づいて、手１３２の二本の指を含んで、摘まむ構成および手１３２が摘まむ構成のままで後に続く引く動作を形成する、ジェスチャーを識別してもよい。ＨＭＤ １１２は、手１３２の摘まむ構成が、引く動作の前またはその間、十分な時間量にわたってその構成で保持されることを決定してもよい。ＨＭＤ １１２は更に、引く動作が、摘まむ構成と組み合わされたとき、例えば図５Ａ、図５Ｂ、および図５Ｃと関連して記載したような摘まんで引くジェスチャーとして、定性化するのに十分な長さであると決定してもよい（８０３からの「はい」の経路）。

【0131】

人工現実システム１０は、摘まんで引く構成の識別に応答して、ユーザインターフェースを描画してもよい（８０４）。例えば、再び図１Ａを参照すると、ＨＭＤ １１２は人工現実コンテンツを生成し、人工現実コンテンツの生成はユーザインターフェース要素を生成することを含む。ＨＭＤ １１２は、人工現実コンテンツを、ＨＭＤ １１２内に含まれるディスプレイに提示および／または描画する。人工現実コンテンツは、物理的環境の画像上にオーバーレイされるユーザインターフェース要素を含んでもよい。いくつかの例では、人工現実コンテンツ内に含まれるユーザインターフェース要素は、図６Ａ、図６Ｂ、および図６Ｃに示されるものなどの一次元スライダＵＩ要素であってもよい。しかしながら、描画されたユーザインターフェース要素は、本開示に記載するユーザインターフェース要素のいずれか（例えば、摘まんで引くジェスチャーによってゲーティングもしくは始動されるものとして記載するもの、またはその他を含む）を含むがそれらに限定されない、他の任意の適切なユーザインターフェース要素であることができる。

【0132】

人工現実システム１０は、摘まむ構成がまだ解除されていないことを決定してもよい（８０５からの「いいえ」の経路）。例えば、図１Ａでは、ＨＭＤ １１２は引き続き、画像キャプチャデバイス１３８の１つまたは複数によってキャプチャされた画像データを分析し、画像データに基づいて、手１３２が摘まむ構成であり続けていると決定してもよい。

【0133】

人工現実システム１０は、手１３２の更なる動作を識別してもよい（８０６からの「はい」の経路）。例えば、図１Ａでは、ＨＭＤ １１２は、キャプチャされた画像データに基づいて、手１３２が摘まむ構成である間の手１３２の更なる動作を識別してもよい。更なる動作に応答して、ＨＭＤ １１２は、ＨＭＤ １１２内に含まれるディスプレイに提示されるコンテンツを更新してもよい。特に、ＨＭＤ １１２は、人工現実コンテンツ内に含まれるユーザインターフェース要素を更新してもよい。ユーザインターフェース要素が、図６Ａ、図６Ｂ、および図６Ｃに関連して例示したのと同様の一次元スライダである一例では、ＨＭＤ １１２は、手１３２の移動と対応するユーザインターフェースを更新してもよい。かかる例では、ＨＭＤ １１２は、更なる引く動作に応答して、一次元スライダＵＩ要素６１２（図６Ｃを参照）と関連付けられる円６１３のサイズを、ユーザインターフェース要素によって提示される増加した一次元入力値に対応して増加させてもよい。

【0134】

人工現実システム１０は、摘まむ構成が解除されていると決定し（８０５からの「はい」の経路）、入力値を処理してもよい（８０７）。例えば、図１Ａでは、ＨＭＤ １１２は引き続き、画像キャプチャデバイス１３８の１つまたは複数によってキャプチャされた画像データを分析し、画像データに基づいて、手１３２がもう摘まむ構成ではないと決定してもよい。ＨＭＤ １１２は、手１３２が摘まむ構成であったときの、ユーザインターフェース要素によって表された最後の入力値を決定してもよい。ＨＭＤ １１２は、最後の入力値をユーザ選択の入力値として識別してもよい。ＨＭＤ １１２は、ユーザ選択の入力値を、例えば、入力値を使用して環境に影響を及ぼすことによって処理してもよい。いくつかの例では、選択された入力値に対する調節は、人工現実システム１０によって提示される音の音量を増加させる効果を有することがあるので、入力値は音量レベルに対応してもよい。

【0135】

図１３Ｂは、本開示の１つまたは複数の態様による、物理的スタイラスを使用して一例の人工現実システムによって実施される動作を示すフロー図である。図１３Ｂについては、図１Ａ、図１１Ａ、および図１１Ｂの人工現実システム１０の文脈内で以下に記載する。他の例では、図１３Ｂに記載する動作は、１つもしくは複数の他の構成要素、モジュール、システム、またはデバイスによって実施されてもよい。更に、他の例では、図１３と関連して記載した動作は、併合されるか、異なるシーケンスで実施されるか、省略されてもよく、または具体的に例示もしくは記載しない追加の動作を包含してもよい。

【0136】

図１３Ｂに示されるプロセスでは、また本開示の１つまたは複数の態様によれば、人工現実システム１０は画像データをキャプチャしてもよい（８１１）。例えば、図１Ａを参照すると、ＨＭＤ １１２内に含まれる１つもしくは複数の画像キャプチャデバイス１３８は、ＨＭＤ １１２を装着しているユーザの近くの物理的環境を表す視野１３０内の画像をキャプチャしてもよい。

【0137】

人工現実システム１０は人工現実コンテンツを出力してもよい（８１２）。例えば、図１Ａおよび図１１Ａを参照すると、ＨＭＤ １１２は、ＨＭＤ １１２内に含まれるディスプレイにおいて、人工現実コンテンツを提示してもよい。かかるコンテンツは物理的環境の画像を含んでもよい。かかるコンテンツはまた、図１１Ａの物理的スタイラス７１０の移動に応答して生成される線または他のコンテンツなど、物理的環境の画像上にオーバーレイされる人工コンテンツを含んでもよい。加えて、ユーザインターフェース要素（例えば、メニュー）および／または他のコンテンツも、物理的環境の画像上にオーバーレイされてもよい。

【0138】

人工現実システム１０は、スタイラスの選択し引く動作を識別してもよい（８１３）。例えば、図１１Ａを参照すると、ＨＭＤ １１２は、１つまたは複数の画像キャプチャデバイス１３８によってキャプチャされた画像データを分析し、画像データに基づいて、物理的スタイラス７１０の移動を識別してもよい。ＨＭＤ １１２はまた、ＨＭＤ １１２が、物理的スタイラス７１０上の物理的ボタン７１２が押し下げられていることの指示に対応すると決定する、物理的スタイラス７１０からの信号を検出してもよい。ＨＭＤ １１２は更に、画像データに基づいて、物理的ボタン７１２が押し下げられた状態での物理的スタイラス７１０の後に続く引く動作を検出してもよい。ＨＭＤ １１２は、物理的ボタン７１２の選択およびその後に続く引く動作が、スタイラスの選択し引く動作として定性化すると決定してもよい（８１３からの「はい」の経路）。

【0139】

人工現実システム１０は、スタイラスの選択し引く動作の識別に応答して、ユーザインターフェースを描画してもよい（８１４）。例えば、再び図１１Ａを参照すると、ＨＭＤ １１２は、ＵＩパネル５６０上に描画される線７２０を含んでもよい、人工現実コンテンツを生成する。ＨＭＤ １１２はまた、人工現実コンテンツ内に、図１１Ｂに示されるような線厚さＵＩ要素７３２などのユーザインターフェース要素を含んでもよい。ＨＭＤ １１２は、人工現実コンテンツを、ＨＭＤ １１２内に含まれるディスプレイに提示および／または描画する。ＨＭＤ １１２は、線厚さＵＩ要素７３２を人工現実コンテンツ内に含むが、他の例では、スタイラスの選択する動きまたは手１３２の摘まんで引くジェスチャーによってゲーティングもしくは始動されるものとして、本開示に記載されるユーザインターフェース要素のいずれかを含むがそれらに限定されない、他の任意の適切なユーザインターフェース要素が、スタイラスの選択し引く動作に応答して代替現実コンテンツ内に含まれてもよい。

【0140】

人工現実システム１０は、スタイラスを解除する動きがまだ行われていないと決定してもよい（８１５からの「いいえ」の経路）。例えば、図１Ａでは、ＨＭＤ １１２は、画像データまたは物理的スタイラス７１０からの通信に基づいて、物理的ボタン７１２は押し下げられ続けていると決定してもよい。

【0141】

人工現実システム１０は、物理的スタイラス７１０の更なる動作を識別してもよい（８１６からの「はい」の経路）。例えば、図１Ａでは、ＨＭＤ １１２は、キャプチャされた画像データに基づいて、物理的ボタン７１２が押し下げられている間の物理的スタイラス７１０の更なる動作を識別してもよい。更なる動作に応答して、ＨＭＤ １１２は、ＨＭＤ １１２内に含まれるディスプレイに提示されるコンテンツを更新してもよい。特に、ＨＭＤ １１２は、移動に基づいて線厚さＵＩ要素７３２を更新してもよい。いくつかの例では、図１１Ｂに示されるように、ＨＭＤ １１２は、物理的スタイラス７１０がＵＩパネル５６０から更に離れるように引かれると、線７２０の厚さを増加させてもよい。ＨＭＤ １１２は、物理的スタイラス７１０がＵＩパネル５６０に近付けられると、線７２０の厚さを減少させてもよい。

【0142】

人工現実システム１０は、スタイラスを解除する動きが行われていると決定し（８１５の「はい」の経路）、入力値を処理してもよい（８１７）。例えば、図１Ａでは、ＨＭＤ １１２は、物理的ボタン７１２が解除されていることを検出してもよい。ＨＭＤ １１２は、物理的ボタン７１２が解除される前の線厚さＵＩ要素７３２によって表される最後の入力値を決定する。ＨＭＤ １１２は、最後の入力値をユーザ選択の入力値として識別する。ＨＭＤ １１２は、例えば、線７２０の厚さを格納し、線７２０が選択された厚さで提示され続けるように、提示された人工現実コンテンツを更新することによって、ユーザ選択の入力値を処理する。

【0143】

本開示に記載する技術は、少なくとも部分的に、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせの形で実現されてもよい。例えば、記載する技術の様々な態様は、１つまたは複数のマイクロプロセッサ、ＤＳＰ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他の任意の等価の集積もしくは離散論理回路類、ならびにかかる構成要素の任意の組み合わせを含む、１つまたは複数のプロセッサ内で実現されてもよい。「プロセッサ」または「処理回路類」という用語は、一般に、単独でまたは他の論理回路類との組み合わせで、上述の論理回路類のいずれか、あるいは他の任意の等価の回路類を指してもよい。ハードウェアを備える制御ユニットも、本開示の技術の１つまたは複数を実施してもよい。

【0144】

かかるハードウェア、ソフトウェア、およびファームウェアは、本開示に記載する様々な動作および機能をサポートするように、同じデバイス内に、または別個のデバイス内に実装されてもよい。それに加えて、記載するユニット、モジュール、または構成要素のいずれも、共にまたは離散的なものとして別個に実装されるが、相互運用可能な論理デバイスであってもよい。モジュールまたはユニットとしての異なる特徴の記載は、異なる機能的態様を強調するためのものであり、かかるモジュールまたはユニットが別個のハードウェアまたはソフトウェアコンポーネントとして実現されなければならないことを、必ずしも示唆するものではない。それよりもむしろ、１つもしくは複数のモジュールまたはユニットと関連付けられた機能性は、別個のハードウェアまたはソフトウェアコンポーネントによって実施されるか、あるいは共通もしくは別個のハードウェアまたはソフトウェアコンポーネントに統合されてもよい。

【0145】

本開示に記載する技術はまた、命令を収容した、コンピュータ可読記憶媒体などのコンピュータ可読媒体で具体化または符号化されてもよい。コンピュータ可読記憶媒体に埋め込まれるかまたは符号化された命令によって、例えば命令が実行されると、プログラマブルプロセッサまたは他のプロセッサが方法を実施してもよい。コンピュータ可読記憶媒体は、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、プログラマブル読出し専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭ）、電気消去可能プログラマブル読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、ハードディスク、ＣＤ－ＲＯＭ、フロッピーディスク、カセット、磁気媒体、光学媒体、他のコンピュータ可読媒体を含んでもよい。

【0146】

本明細書の様々な例を用いて記載したように、本開示の技術は、人工現実システムを含むか、またはそれと併せて実現されてもよい。上述したように、人工現実は、ユーザに提示する前に何らかの形で調節されている１つの形態の現実であり、例えば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、あるいは上記の何らかの組み合わせおよび／または派生物を含んでもよい。人工現実コンテンツは、全て生成されたコンテンツ、またはキャプチャされたコンテンツ（例えば、実世界写真）と組み合わされた生成コンテンツを含んでもよい。人工現実コンテンツは、映像、音声、触覚フィードバック、または上記の何らかの組み合わせを含んでもよく、それらのいずれかが、単一チャネルまたは複数チャネルで提示されてもよい（閲覧者に対する三次元効果を作成するステレオ映像など）。それに加えて、いくつかの実施形態では、人工現実は、アプリケーション、製品、アクセサリ、サービス、あるいは例えば、人工現実でコンテンツを作り出すのに使用される、および／または人工現実で使用される（例えば、アクティビティを実施する）、上記の何らかの組み合わせと関連付けられてもよい。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、スタンドアロンＨＭＤ、モバイルデバイスもしくはコンピューティングシステム、または人工現実コンテンツを１人または複数の閲覧者に提供することができる他の任意のハードウェアプラットフォームを含む、様々なプラットフォームで実現されてもよい。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図6A】

【図6B】

【図6C】

【図7A】

【図7B】

【図7C】

【図8A】

【図8B】

【図8C】

【図9A】

【図9B】

【図9C】

【図10】

【図11】

【図12A】

【図12B】

【図12C】

【図13A】

【図13B】