知財求人 - 知財ポータルサイト「IP Force」
特開2024-128994人工現実（ＸＲ）環境におけるシステムユーザインターフェース（ＵＩ）インタラクションの容易化
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024128994
(43)【公開日】2024-09-26
(54)【発明の名称】人工現実（ＸＲ）環境におけるシステムユーザインターフェース（ＵＩ）インタラクションの容易化
(51)【国際特許分類】
G06F 3/01 20060101AFI20240918BHJP
G09G 5/00 20060101ALI20240918BHJP
G09G 5/37 20060101ALI20240918BHJP
G09G 5/38 20060101ALI20240918BHJP
G06T 19/00 20110101ALI20240918BHJP
【ＦＩ】
G06F3/01 510
G09G5/00 550C
G09G5/37 310
G09G5/38 100
G06T19/00 600
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024015499
(22)【出願日】2024-02-05
(31)【優先権主張番号】18/166,144
(32)【優先日】2023-02-08
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＡＮＤＲＯＩＤ
２．ｉＯＳ
(71)【出願人】
【識別番号】515046968
【氏名又は名称】メタ プラットフォームズ テクノロジーズ， リミテッド ライアビリティ カンパニー
【氏名又は名称原語表記】ＭＥＴＡ ＰＬＡＴＦＯＲＭＳ ＴＥＣＨＮＯＬＯＧＩＥＳ， ＬＬＣ
(74)【代理人】
【識別番号】110002974
【氏名又は名称】弁理士法人Ｗｏｒｌｄ ＩＰ
(72)【発明者】
【氏名】ヴィクター－フイチニ， アナスタシア
(72)【発明者】
【氏名】インスリー， マシュー アラン
(72)【発明者】
【氏名】レヴァティチ， サミュエル マシュー
(72)【発明者】
【氏名】ルーサー， マシュー
(72)【発明者】
【氏名】ジョンソン， アンドリュー シー．
(72)【発明者】
【氏名】クレン， マテウス
(72)【発明者】
【氏名】ワン， ディフェイ
(72)【発明者】
【氏名】ステフォ， アーヴィ
(72)【発明者】
【氏名】スミス， ノラ ライリィ
(72)【発明者】
【氏名】バスラヴィ， アハド ハビブ
(57)【要約】 （修正有）
【課題】人工現実（ＸＲ）環境におけるシステムユーザインターフェース（ＵＩ）インタラクションを容易にするためのコンピュータ実装方法を提供すること
【解決手段】方法は、ＸＲ環境におけるシステムＵＩを３Ｄ仮想要素としてレンダリングし、ユーザの手の位置およびユーザ上の所定の安定点を追跡し、追跡することに基づいて、手がシステムＵＩの一部を把持したことを識別し、それに応答して、ユーザが把持された部分を介してシステムＵＩを移動させるときに、安定点とシステムＵＩの表面との間の線がシステムＵＩの表面に対して垂直にまたは垂直から所定の角度になるように移動するように、システムＵＩの把持された部分を中心にシステムＵＩの位置を回転させる。
【選択図】図２Ａ
【解決手段】方法は、ＸＲ環境におけるシステムＵＩを３Ｄ仮想要素としてレンダリングし、ユーザの手の位置およびユーザ上の所定の安定点を追跡し、追跡することに基づいて、手がシステムＵＩの一部を把持したことを識別し、それに応答して、ユーザが把持された部分を介してシステムＵＩを移動させるときに、安定点とシステムＵＩの表面との間の線がシステムＵＩの表面に対して垂直にまたは垂直から所定の角度になるように移動するように、システムＵＩの把持された部分を中心にシステムＵＩの位置を回転させる。
【選択図】図２Ａ
【特許請求の範囲】
【請求項1】
人工現実（ＸＲ）環境におけるシステムユーザインターフェース（ＵＩ）インタラクションを容易にするためのコンピュータ実装方法であって、
前記ＸＲ環境内の３Ｄ仮想要素として前記システムＵＩをレンダリングすることであって、前記システムＵＩが前記システムＵＩの表面上に配置されたＵＩ要素のセットを含む、前記システムＵＩをレンダリングすることと、
ユーザの手の位置および前記ユーザ上の所定の安定点を追跡することと、
前記追跡に基づいて、前記手が前記システムＵＩの一部を把持したことを識別し、それに応答して、前記ユーザが把持された前記一部を介して前記システムＵＩを移動させるときに、前記安定点と前記システムＵＩの前記表面との間の線が前記システムＵＩの前記表面に対して垂直にまたは垂直から所定の角度になるように移動するように、前記システムＵＩの把持された前記一部を中心に前記システムＵＩの前記位置を回転させることと
を含む、コンピュータ実装方法。
前記ＸＲ環境内の３Ｄ仮想要素として前記システムＵＩをレンダリングすることであって、前記システムＵＩが前記システムＵＩの表面上に配置されたＵＩ要素のセットを含む、前記システムＵＩをレンダリングすることと、
ユーザの手の位置および前記ユーザ上の所定の安定点を追跡することと、
前記追跡に基づいて、前記手が前記システムＵＩの一部を把持したことを識別し、それに応答して、前記ユーザが把持された前記一部を介して前記システムＵＩを移動させるときに、前記安定点と前記システムＵＩの前記表面との間の線が前記システムＵＩの前記表面に対して垂直にまたは垂直から所定の角度になるように移動するように、前記システムＵＩの把持された前記一部を中心に前記システムＵＩの前記位置を回転させることと
を含む、コンピュータ実装方法。
【請求項2】
前記ユーザ上の前記所定の安定点が、前記ユーザの頭部の付け根が前記ユーザの首と交わる点である、請求項１に記載のコンピュータ実装方法。
【請求項3】
前記ユーザ上の前記所定の安定点が、前記ユーザの頭部の付け根が前記ユーザの首と交わる場所からオフセットされた点である、請求項１に記載のコンピュータ実装方法。
【請求項4】
前記所定の安定点が、前記ユーザ上の規定された身体点からオフセットされた点であり、かつ前記オフセットの方向および量が、前記ユーザの眼の高さに対する前記システムＵＩの相対位置の決定に基づく、請求項１に記載のコンピュータ実装方法。
【請求項5】
前記システムＵＩの前記位置の回転速度が閾値速度未満であるように、前記システムＵＩの前記位置が前記システムＵＩの把持された前記一部を中心に回転する、請求項１に記載のコンピュータ実装方法。
【請求項6】
前記システムＵＩが把持された前記一部を介して閾値量以上移動したと決定すること
をさらに含み、かつ
前記システムＵＩの前記位置を回転させることが、さらに、前記システムＵＩが前記閾値量以上移動したという前記決定に応答したものである、
請求項１に記載のコンピュータ実装方法。
をさらに含み、かつ
前記システムＵＩの前記位置を回転させることが、さらに、前記システムＵＩが前記閾値量以上移動したという前記決定に応答したものである、
請求項１に記載のコンピュータ実装方法。
【請求項7】
前記回転が、前記線が前記システムＵＩの前記表面に対して垂直から前記所定の角度になるように前記システムＵＩを回転させることを含み、かつ前記所定の角度が、前記システムＵＩの前記位置が閾値高さ未満であるという決定に基づいて選択され、前記閾値高さが前記ユーザの眼の高さに対するものである、請求項１に記載のコンピュータ実装方法。
【請求項8】
コンピューティングシステムによって実行されると、前記コンピューティングシステムに、人工現実（ＸＲ）環境におけるシステムユーザインターフェース（ＵＩ）インタラクションを容易にするためのプロセスを実施させる命令を格納するコンピュータ可読記憶媒体であって、前記プロセスが、
前記ＸＲ環境内の３Ｄ仮想要素として前記システムＵＩをレンダリングすることであって、前記システムＵＩが前記システムＵＩの表面上に配置されたＵＩ要素のセットを含む、前記システムＵＩをレンダリングすることと、
ユーザの手の位置および前記ユーザ上の所定の安定点を追跡することと、
前記追跡に基づいて、前記手が前記システムＵＩの一部を把持したことを識別し、それに応答して、前記ユーザが把持された前記一部を介して前記システムＵＩを移動させるときに、前記安定点と前記システムＵＩの前記表面との間の線が前記システムＵＩの前記表面に対して垂直にまたは垂直から所定の角度になるように移動するように、前記システムＵＩの把持された前記一部を中心に前記システムＵＩの前記位置を回転させることと
を含む、コンピュータ可読記憶媒体。
前記ＸＲ環境内の３Ｄ仮想要素として前記システムＵＩをレンダリングすることであって、前記システムＵＩが前記システムＵＩの表面上に配置されたＵＩ要素のセットを含む、前記システムＵＩをレンダリングすることと、
ユーザの手の位置および前記ユーザ上の所定の安定点を追跡することと、
前記追跡に基づいて、前記手が前記システムＵＩの一部を把持したことを識別し、それに応答して、前記ユーザが把持された前記一部を介して前記システムＵＩを移動させるときに、前記安定点と前記システムＵＩの前記表面との間の線が前記システムＵＩの前記表面に対して垂直にまたは垂直から所定の角度になるように移動するように、前記システムＵＩの把持された前記一部を中心に前記システムＵＩの前記位置を回転させることと
を含む、コンピュータ可読記憶媒体。
【請求項9】
前記ユーザ上の前記所定の安定点が、前記ユーザの頭部の付け根が前記ユーザの首と交わる点である、請求項８に記載のコンピュータ可読記憶媒体。
【請求項10】
前記ユーザ上の前記所定の安定点が、前記ユーザの頭部の付け根が前記ユーザの首と交わる場所からオフセットされた点である、請求項８に記載のコンピュータ可読記憶媒体。
【請求項11】
前記所定の安定点が、前記ユーザ上の規定された身体点からオフセットされた点であり、かつ前記オフセットの方向および量が、前記ユーザの眼の高さに対する前記システムＵＩの相対位置の決定に基づく、請求項８に記載のコンピュータ可読記憶媒体。
【請求項12】
前記システムＵＩの前記位置の回転速度が閾値速度未満であるように、前記システムＵＩの前記位置が前記システムＵＩの把持された前記一部を中心に回転する、請求項８に記載のコンピュータ可読記憶媒体。
【請求項13】
前記プロセスが、
前記システムＵＩが把持された前記一部を介して閾値量以上移動したと決定すること
をさらに含み、かつ
前記システムＵＩの前記位置を回転させることが、さらに、前記システムＵＩが前記閾値量以上移動したという前記決定に応答したものである、
請求項８に記載のコンピュータ可読記憶媒体。
前記システムＵＩが把持された前記一部を介して閾値量以上移動したと決定すること
をさらに含み、かつ
前記システムＵＩの前記位置を回転させることが、さらに、前記システムＵＩが前記閾値量以上移動したという前記決定に応答したものである、
請求項８に記載のコンピュータ可読記憶媒体。
【請求項14】
人工現実（ＸＲ）環境においてシステムユーザインターフェース（ＵＩ）とインタラクトするためのコンピューティングシステムであって、
１つまたは複数のプロセッサと、
命令を格納する１つまたは複数のメモリとを備え、前記命令は、前記１つまたは複数のプロセッサによって実行されると、前記コンピューティングシステムにプロセスを実施させ、前記プロセスが、
前記ＸＲ環境内の３Ｄ仮想要素として前記システムＵＩをレンダリングすることであって、前記システムＵＩが前記システムＵＩの表面上に配置されたＵＩ要素のセットを含む、前記システムＵＩをレンダリングすることと、
ユーザの手の位置および前記ユーザ上の所定の安定点を追跡することと、
前記追跡に基づいて、前記手が前記システムＵＩの一部を把持したことを識別し、それに応答して、前記ユーザが前記システムＵＩを移動させるときに、前記安定点と前記システムＵＩの前記表面との間の線が、前記システムＵＩの前記表面に対して垂直にまたは垂直から所定の角度になるように移動するように、前記システムＵＩの前記位置を回転させることと
を含む、
コンピューティングシステム。
１つまたは複数のプロセッサと、
命令を格納する１つまたは複数のメモリとを備え、前記命令は、前記１つまたは複数のプロセッサによって実行されると、前記コンピューティングシステムにプロセスを実施させ、前記プロセスが、
前記ＸＲ環境内の３Ｄ仮想要素として前記システムＵＩをレンダリングすることであって、前記システムＵＩが前記システムＵＩの表面上に配置されたＵＩ要素のセットを含む、前記システムＵＩをレンダリングすることと、
ユーザの手の位置および前記ユーザ上の所定の安定点を追跡することと、
前記追跡に基づいて、前記手が前記システムＵＩの一部を把持したことを識別し、それに応答して、前記ユーザが前記システムＵＩを移動させるときに、前記安定点と前記システムＵＩの前記表面との間の線が、前記システムＵＩの前記表面に対して垂直にまたは垂直から所定の角度になるように移動するように、前記システムＵＩの前記位置を回転させることと
を含む、
コンピューティングシステム。
【請求項15】
前記ユーザ上の前記所定の安定点が、前記ユーザの頭部の付け根が前記ユーザの首と交わる点である、請求項１４に記載のコンピューティングシステム。
【請求項16】
前記ユーザ上の前記所定の安定点が、前記ユーザの頭部の付け根が前記ユーザの首と交わる場所からオフセットされた点である、請求項１４に記載のコンピューティングシステム。
【請求項17】
前記所定の安定点が、前記ユーザ上の規定された身体点からオフセットされた点であり、かつ前記オフセットの方向および量が、前記ユーザの眼の高さに対する前記システムＵＩの相対位置の決定に基づく、請求項１４に記載のコンピューティングシステム。
【請求項18】
前記システムＵＩの前記位置の回転速度が閾値速度未満であるように、前記システムＵＩの前記位置が前記システムＵＩの把持された前記一部を中心に回転する、請求項１４に記載のコンピューティングシステム。
【請求項19】
前記プロセスが、
前記システムＵＩが把持された前記一部を介して閾値量以上移動したと決定すること
をさらに含み、かつ
前記システムＵＩの前記位置を回転させることが、さらに、前記システムＵＩが前記閾値量以上移動したという前記決定に応答したものである、
請求項１４に記載のコンピューティングシステム。
前記システムＵＩが把持された前記一部を介して閾値量以上移動したと決定すること
をさらに含み、かつ
前記システムＵＩの前記位置を回転させることが、さらに、前記システムＵＩが前記閾値量以上移動したという前記決定に応答したものである、
請求項１４に記載のコンピューティングシステム。
【請求項20】
前記回転が、前記線が前記システムＵＩの前記表面に対して垂直から前記所定の角度になるように前記システムＵＩを回転させることを含み、かつ前記プロセスが、前記システムＵＩの前記位置が閾値高さ未満であるという決定に基づいて前記所定の角度を選択することをさらに含み、前記閾値高さが前記ユーザの眼の高さに対するものである、請求項１４に記載のコンピューティングシステム。
【発明の詳細な説明】
【発明の概要】
【0001】
関連出願の相互参照
本出願は、２０２３年２月８日に出願された「Ｆａｃｉｌｉｔａｔｉｎｇ Ｓｙｓｔｅｍ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ（ＵＩ）Ｉｎｔｅｒａｃｔｉｏｎｓ ｉｎ ａｎ Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｉｔｙ（ＸＲ）Ｅｎｖｉｒｏｎｍｅｎｔ」と題する米国特許出願第１８／１６６，１４４号（代理人整理番号３５８９－０２３２ＵＳ０２）、２０２３年２月８日に出願された「Ｆａｃｉｌｉｔａｔｉｎｇ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｉｎｔｅｒａｃｔｉｏｎｓ ｉｎ ａｎ Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｉｔｙ Ｅｎｖｉｒｏｎｍｅｎｔ」と題する米国特許出願第１８／１６６，２８２号（代理人整理番号３５８９－０２３３ＵＳ０１）、および２０２３年２月８日に出願された「Ｉｎｔｅｎｔ－Ｂａｓｅｄ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｍｏｄｉｆｉｃａｔｉｏｎｓ ｉｎ ａｎ Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｉｔｙ Ｅｎｖｉｒｏｎｍｅｎｔ」と題する米国特許出願第号（代理人整理番号３５８９－０２６０ＵＳ０１）に関連し、これらの全ては、参照によりその全体が本明細書に組み込まれる。
本出願は、２０２３年２月８日に出願された「Ｆａｃｉｌｉｔａｔｉｎｇ Ｓｙｓｔｅｍ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ（ＵＩ）Ｉｎｔｅｒａｃｔｉｏｎｓ ｉｎ ａｎ Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｉｔｙ（ＸＲ）Ｅｎｖｉｒｏｎｍｅｎｔ」と題する米国特許出願第１８／１６６，１４４号（代理人整理番号３５８９－０２３２ＵＳ０２）、２０２３年２月８日に出願された「Ｆａｃｉｌｉｔａｔｉｎｇ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｉｎｔｅｒａｃｔｉｏｎｓ ｉｎ ａｎ Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｉｔｙ Ｅｎｖｉｒｏｎｍｅｎｔ」と題する米国特許出願第１８／１６６，２８２号（代理人整理番号３５８９－０２３３ＵＳ０１）、および２０２３年２月８日に出願された「Ｉｎｔｅｎｔ－Ｂａｓｅｄ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｍｏｄｉｆｉｃａｔｉｏｎｓ ｉｎ ａｎ Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｉｔｙ Ｅｎｖｉｒｏｎｍｅｎｔ」と題する米国特許出願第号（代理人整理番号３５８９－０２６０ＵＳ０１）に関連し、これらの全ては、参照によりその全体が本明細書に組み込まれる。
【0002】
技術分野
本開示は、人工現実（ＸＲ）環境においてシステムユーザインターフェース（ＵＩ）とのインタラクションを容易にすることに関する。より具体的には、本開示は、ＸＲ環境においてレンダリングされるシステムＵＩを取り扱う、または操作するためのシステムおよび方法に関する。
本開示は、人工現実（ＸＲ）環境においてシステムユーザインターフェース（ＵＩ）とのインタラクションを容易にすることに関する。より具体的には、本開示は、ＸＲ環境においてレンダリングされるシステムＵＩを取り扱う、または操作するためのシステムおよび方法に関する。
【0003】
背景技術
人工現実（ＸＲ）技術の分野における最近の進歩は、例えばユーザ支援および娯楽のための様々な人工現実プラットフォームの開発につながっている。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組み合わせを含むことができ、それらのいずれも単一のチャネルまたは複数のチャネルで提示することができる。人工現実は、ユーザが人工環境で友人と仮想的につながり、空間および時間を移動し、完全に新しい方法でゲームをプレイすることなどができ得る社会的つながりを提供することができる。
人工現実（ＸＲ）技術の分野における最近の進歩は、例えばユーザ支援および娯楽のための様々な人工現実プラットフォームの開発につながっている。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組み合わせを含むことができ、それらのいずれも単一のチャネルまたは複数のチャネルで提示することができる。人工現実は、ユーザが人工環境で友人と仮想的につながり、空間および時間を移動し、完全に新しい方法でゲームをプレイすることなどができ得る社会的つながりを提供することができる。
【0004】
従来のＸＲ環境は、ユーザが仮想オブジェクトなどの様々な形態でコンテンツを見ることを可能にする。しかしながら、ＸＲ環境内のスクリーンなどの仮想オブジェクトとのインタラクションは、複雑なタスクである場合がある。例えば、スクリーンは、ＸＲ環境において規定された距離に固定される場合がある。そのような固定スクリーンは、アクセスすること、またはきめの細かいインタラクションを実施することが困難な場合がある。さらに、スクリーンのサイズが小さい場合があり、スクリーン上のコンテンツがユーザにはっきりと見えない場合がある。したがって、従来のＸＲ環境内のスクリーンなどの仮想オブジェクトを使用する体験は、ユーザにとって満足のいくものではなく、困難である場合がある。
【図面の簡単な説明】
【0005】
【図1】本技術のいくつかの実装形態が動作可能であるデバイスの全体像を示すブロック図である。
【図2A】本技術のいくつかの実装形態において使用可能である仮想現実ヘッドセットを示す配線図である。
【図2B】本技術のいくつかの実装形態において使用可能である複合現実ヘッドセットを示す配線図である。
【図2C】いくつかの実装形態における、ユーザが人工現実環境とインタラクトするために片手または両手で保持することができるコントローラを示す配線図である。
【図3】本技術のいくつかの実装形態が動作可能である環境の全体像を示すブロック図である。
【図4】いくつかの実装形態において、開示された技術を用いるシステムで使用可能である構成要素を示すブロック図である。
【図5】人工現実（ＸＲ）環境におけるユーザインターフェース（ＵＩ）インタラクションのための例示的な環境を示す概念図である。
【図6A】ＸＲ環境内のシステムＵＩの回転を示す概念図である。
【図6B】ＸＲ環境内のシステムＵＩの回転を示す概念図である。
【図7A】システムＵＩの入力モードの変更を示す概念図である。
【図7B】システムＵＩの入力モードの変更を示す概念図である。
【図7C】システムＵＩの入力モードの変更を示す概念図である。
【図8】いくつかの実装形態における、システムＵＩの回転のための方法８００のフロー図である。
【図9A】いくつかの実装形態における、人工現実（ＸＲ）環境でのシステムユーザインターフェース（ＵＩ）インタラクションを容易にするために使用される方法のフロー図である。
【図9B】いくつかの実装形態で使用される、システムＵＩの入力モードを切り替え、システムＵＩの外観を修正するための方法のフロー図である。
【図10】システムＵＩの様々な実装形態および構成を示す概念図である。
【図11A】システムＵＩの様々な実装形態および構成のうちの１つをさらに示す概念図である。
【図11B】システムＵＩの様々な実装形態および構成のうちの１つをさらに示す概念図である。
【図11C】システムＵＩの様々な実装形態および構成のうちの１つをさらに示す概念図である。
【図11D】システムＵＩの様々な実装形態および構成のうちの１つをさらに示す概念図である。
【発明を実施するための形態】
【0006】
ここで導入された技法は、同様の参照番号が同一のまたは機能的に同様の要素を指示する添付の図面と併せて以下の「発明を実施するための形態」を参照することによって、より良く理解され得る。
【0007】
本開示の態様は、人工現実（ＸＲ）環境におけるシステムユーザインターフェース（ＵＩ）とのインタラクションを容易にすることに関する。インタラクション容易化システムは、ＸＲ環境におけるシステムＵＩインタラクションを容易にするために提供されてもよい。ユーザとシステムＵＩとの間のインタラクションを容易にするために、例えば、システム制御および設定を提供し、通知を表示し、２Ｄディスプレイシステム用に構築されたアプリケーションへのアクセスを提供し、人々の交流および社会的交流へのインターフェースを提供するなどのために、ＸＲ環境においてシステムユーザインターフェース（ＵＩ）をレンダリングしてもよい。
【0008】
インタラクション容易化システムは、システムＵＩをＸＲ環境内の３Ｄ仮想要素としてレンダリングし、現実世界環境内のユーザの位置を追跡するように構成されてもよい。追跡に基づいて、インタラクション容易化システムは、現実世界環境でのデバイスの回転と同様に、ＸＲ環境においてシステムＵＩを回転させてもよい。さらに、インタラクション容易化システムは、ユーザからのシステムＵＩの距離に基づいて、システムＵＩとインタラクトするための入力モードをインタラクションのレイキャスティングモードからインタラクションの直接タッチモードへ、およびその逆に変更するように構成されてもよい。インタラクション容易化システムは、変更された距離および／または入力モードに基づいて、単一スクリーンディスプレイを有するシステムＵＩをマルチスクリーンディスプレイに、およびその逆に修正するようにさらに構成されてもよい。
【0009】
例示的なシナリオでは、ユーザは、様々なアプリケーション、例えば、娯楽、ヘルスケア、自動車、教育開発、社会的および関係のつながりなどのためにＸＲ環境を利用してもよい。システムＵＩは、ＸＲ環境内でのコンテンツの視聴、インターネットのブラウジング、他のユーザとの接続、システム制御へのアクセスなどの様々なアプリケーションにアクセスするための媒体として利用されてもよい。インタラクション容易化システムは、システムＵＩを開くために、ＸＲデバイスを介してユーザから入力を受信してもよい。インタラクション容易化システムは、受信した入力に基づいてＸＲ環境においてシステムＵＩをレンダリングすることができる。さらに、インタラクション容易化システムは、ユーザの手の位置およびユーザ上の所定の安定点を追跡することができる。例えば、ユーザの安定点は、ユーザの頭部の付け根がユーザの首と交わる点に基づいて決定されてもよい。追跡は、現実世界環境におけるユーザの手の実際の位置および／またはジェスチャを決定するために実施されてもよい。
【0010】
一実装形態では、ユーザは、（例えば、システムＵＩを掴んで回転させるために）手をシステムＵＩに近づけるジェスチャを実施してもよい。追跡されたユーザの手の位置がシステムＵＩの一部を把持しており、ユーザがシステムＵＩを回転させる必要があるという決定に基づいて、インタラクション容易化システムは、システムＵＩの把持された部分を中心にシステムＵＩの位置を回転させてもよい。さらに、システムＵＩは、安定点とシステムＵＩの表面との間の線（表示されなくてもよい）が、例えば、ユーザがＸＲ環境内の把持された部分を介してシステムＵＩを移動または回転させるときに、線をシステムＵＩの表面に対して垂直にまたは垂直から所定の角度に保つように移動される。例えば、ユーザは、システムＵＩを把持して垂直方向に移動させることができ、また、システムＵＩの把持された部分を介してシステムＵＩを回転させることができ、その間、インタラクション容易化システムは、線をシステムＵＩ表面に対して垂直に維持することによってシステムＵＩ表面をユーザに向けたままにする。したがって、インタラクション容易化システムは、ユーザがＸＲ環境内でシステムＵＩを移動または回転させるときに、システムＵＩの表面がユーザの眼の方に留まるようにシステムＵＩを移動および／または回転させる。
【0011】
別の実装形態では、インタラクション容易化システムは、システムＵＩからのユーザの距離に基づいてシステムＵＩの入力モードをさらに切り替えることができる。例えば、ユーザとシステムＵＩとの間の距離が第１の閾値を下回るという決定に基づいて、インタラクション容易化システムは、インタラクションの入力モードをレイキャスティングから、ユーザの手の表現がＸＲ環境においてレンダリングされるインタラクションの直接タッチモードに変更してもよい。例えば、ユーザの手とシステムＵＩとの間の距離が第１の閾値を下回る（例えば、決定された典型的な腕の長さ、または現在のユーザの決定された腕の長さの距離の内部）とき、入力モードは、ユーザがシステムＵＩとインタラクトする手の表現を見ることができるインタラクションの直接タッチモードに変更されてもよい。このようなインタラクションの直接タッチモードは、現実世界環境においてデバイスにタッチしてアクセスするのと同様に、ＸＲ環境においてシステムＵＩに直接タッチする印象を与える。さらに、そのような場合には、システムＵＩの外観はフラットな形状に修正されて、単一スクリーンディスプレイを含んでもよい。さらに、システムＵＩのＵＩ要素のセットの外観は、３次元形状および固定サイズを有するように修正される。したがって、ＵＩ要素のセットは、システムＵＩ表面の平面の上方に部分的に拡張されているように見える場合があり、ユーザがシステムＵＩ上の制御を理解してインタラクトすることをより容易にし、ユーザに強化された視聴体験をさらに提供する。
【0012】
さらに、ユーザとシステムＵＩとの間の距離が第２の閾値を上回っているという決定に基づいて（決定された典型的な腕の長さ、または現在のユーザの決定された腕の長さにも基づき得る）、コンピューティングシステムは、インタラクションの入力モードを直接タッチからＵＩ要素のセットとインタラクトするユーザの制御下で（例えば、ユーザの手またはコントローラの位置に基づいて）、仮想線がレンダリングされるインタラクションのレイキャスティングモードに変更してもよい。例えば、ユーザの手とシステムＵＩとの間の距離が第２の閾値を上回るとき、入力モードは、ユーザがシステムＵＩとインタラクトする仮想線（光線またはポインタを有する光線など）を見ることができるインタラクションのレイキャスティングモードに変更されてもよい。そのようなインタラクションのレイキャスティングモードは、ＸＲ環境内のある距離からシステムＵＩとインタラクトする能力を与える。そのような場合、システムＵＩの外観は、湾曲した形状を有するように修正することができ、マルチスクリーンディスプレイを含んでもよい。さらに、システムＵＩのＵＩ要素のセットの外観は、２次元形状および相対サイズを有するように修正することができる。さらに、第１の閾値は、第２の閾値よりも近くてもよい。したがって、インタラクション容易化システムは、入力モード間の切り替えをユーザにとって円滑かつグリッチフリーな体験にすることを可能にする。
【0013】
開示された技術の実施形態は、人工現実システムを含むことができる、または人工現実システムと併せて実装され得る。人工現実またはｅｘｔｒａ ｒｅａｌｉｔｙ（ＸＲ）は、ユーザに提示する前に何らかの様式で調節されている現実の形態であり、これは例えば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、またはこれらの何らかの組み合わせおよび／もしくは派生物を含んでもよい。人工現実コンテンツは、完全に生成されたコンテンツ、またはキャプチャされたコンテンツ（例えば、現実世界の写真）と組み合わせられた生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組み合わせを含み得、それらのいずれも、単一のチャネルまたは複数のチャネルにおいて提示され得る（観察者に３次元効果をもたらすステレオビデオなど）。さらに、いくつかの実施形態では、人工現実は、例えば、人工現実におけるコンテンツを作り出すために使用される、および／または人工現実において使用される（例えば、人工現実におけるアクティビティを実施する）アプリケーション、製品、アクセサリ、サービス、またはそれらの何らかの組み合わせに関連付けられ得る。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続される頭部装着型ディスプレイ（ＨＭＤ）、独立型ＨＭＤ、モバイルデバイスもしくはコンピューティングシステム、「洞穴」式環境もしくは他の投影システム、または、１または複数の視聴者に人工現実コンテンツを提供することが可能な任意の他のハードウェアプラットフォームを含む様々なプラットフォーム上に実装されてよい。
【0014】
本明細書で使用される「仮想現実」または「ＶＲ」は、ユーザの視覚的入力がコンピューティングシステムによって制御される没入型体験を指す。「拡張現実」または「ＡＲ」は、ユーザが現実世界の画像を見る前にこれらの画像がコンピューティングシステムを通過しているシステムを指す。例えば、裏にカメラがあるタブレットは、現実世界の画像をキャプチャした後、カメラからタブレットの反対側の画面上にその画像を表示することができる。タブレットは、仮想オブジェクトを追加することなどによって、画像がシステムを通過する際にこの画像を処理し、かつ調節または「拡張」することができる。「複合現実」または「ＭＲ」は、ユーザの眼に入る光がコンピューティングシステムによって部分的に生成され、かつ現実世界におけるオブジェクトに反射した光を部分的に構成するシステムを指す。例えば、ＭＲヘッドセットは、パススルーディスプレイを有する眼鏡のように成形可能であり、これによって、現実世界からの光がＭＲヘッドセットにおけるプロジェクタから同時に光を発する導波路を通過することができることで、ＭＲヘッドセットはユーザが見ることができる実物体と混合させた仮想オブジェクトを提示することができる。本明細書で使用される「人工現実」、「ｅｘｔｒａ ｒｅａｌｉｔｙ」、または「ＸＲ」は、ＶＲ、ＡＲ、ＭＲのいずれか、またはこれらの任意の組み合わせもしくは混成物を指す。
【0015】
本明細書で使用される「システムユーザインターフェース（ＵＩ）」という用語は、ユーザが物理空間または仮想空間内の仮想オブジェクト、環境、または情報とインタラクトすることを可能にする仮想ユーザインターフェース（ＵＩ）を指す。システムＵＩは、人工現実デバイスのシステム設定、システム通知、ＸＲナビゲーション制御、フラットパネルアプリケーション（例えば、ＡｎｄｒｏｉｄまたはｉＯＳアプリ、ウェブブラウザまたはメッセージングインターフェースなど）、ソーシャルメディアプラットフォームインターフェースなどの機能および制御に使用され得るＵＩ要素または機能要素のセットを含んでもよい。システムＵＩは、場合によってはユーザに対してＸＲ環境内のある位置から別の位置に移動することができるが、他の場合ではユーザの視野の特定の領域にワールドロックまたはロックすることができるように、移動型（ｍｉｇｒａｔｉｎｇ）ＵＩ（例えば、物理世界における電子タブレットと同様である）であってもよい。システムＵＩは、２次元（２Ｄ）ＵＩまたは３次元（３Ｄ）ＵＩであってもよい。
【0016】
従来のＸＲシステムは、ユーザが環境内で、例えば仮想オブジェクトとインタラクトすることを可能にする。しかしながら、ＸＲ環境におけるシステムユーザインターフェース（ＵＩ）などの仮想オブジェクトとのインタラクションは、ユーザにとって複雑なタスクである場合がある。例えば、ユーザは、ＸＲ環境においてシステムＵＩとインタラクトすることが困難であると感じる場合があり、その理由は、触覚フィードバックが限定されている場合がある、システムＵＩがＸＲ環境内で望ましくない距離に固定されている場合がある、システムＵＩの移動が制限されている場合がある、またはシステムＵＩのＵＩ要素への入力の提供が困難である場合があるためである。したがって、従来のシステムを使用した、システムＵＩなどの仮想オブジェクトのインタラクションおよび制御のユーザ体験は、満足のいくものではない。
【0017】
従来のシステムと比較して、ＸＲ環境におけるシステムＵＩのインタラクションおよび制御を改善するために、本開示のインタラクション容易化システムは、システムＵＩの改善されたインタラクションモデルを提供する。例えば、インタラクション容易化システムは、ユーザの手、頭部、または眼の高さなどのユーザの位置の追跡を可能にし、追跡に基づいてユーザごとにパーソナライズされた安定点を決定し、そして、安定点に基づいてシステムＵＩを回転させる。したがって、ユーザがＸＲ環境内でシステムＵＩを移動させると、ユーザがシステムＵＩを見てインタラクトすることを容易にする回転が達成される。さらに、ＸＲ環境内でシステムＵＩを移動または回転させるために、インタラクション容易化システムは、ユーザによって把持されたシステムＵＩの部分を識別し、把持された部分からシステムＵＩを回転させる。そのような回転は、現実世界環境でデバイスを回転または移動させるのと同様の体験をユーザに提供する。システムＵＩの表面がシステムＵＩのユーザ角度の方を向くようにシステムＵＩの回転を実施することにより、ユーザはＸＲ環境において表面を快適に見ることができる。さらに、インタラクション容易化システムは、システムＵＩからのユーザの距離に基づいて、システムＵＩの入力モードおよび表示モードを切り替えることを可能にする。入力モード間の切り替えは、様々な目的のために様々な距離でのユーザの円滑な体験を可能にする。
【0018】
いくつかの実装形態について、図を参照してより詳細に以下に論じる。図１は、開示された技術のいくつかの実装形態が動作可能であるデバイスの全体像を示すブロック図である。デバイスは、人工現実（ＸＲ）環境におけるシステムユーザインターフェース（ＵＩ）インタラクションを容易にするように構成された、コンピューティングシステム１００のハードウェア構成要素を備えることができる。様々な実装形態では、コンピューティングシステム１００は、処理を分散し、かつ入力データを共有するために有線または無線チャネル上で通信する単一のコンピューティングデバイス１０３または複数のコンピューティングデバイス（例えば、コンピューティングデバイス１０１、コンピューティングデバイス１０２、およびコンピューティングデバイス１０３）を含むことができる。いくつかの実装形態では、コンピューティングシステム１００は、外部の処理またはセンサを必要とせずにユーザにコンピュータ作成または拡張体験を提供することが可能な独立型ヘッドセットを含むことができる。他の実装形態では、コンピューティングシステム１００は、いくつかの処理動作がヘッドセット上で行われ、他の処理動作がコア処理構成要素にオフロードされる、ヘッドセットおよびコア処理構成要素（コンソール、モバイルデバイス、またはサーバシステムなど）などの複数のコンピューティングデバイスを含むことができる。例示のヘッドセットについて、図２Ａおよび図２Ｂに関して後述する。いくつかの実装形態では、位置および環境データは、ヘッドセットに組み込まれたセンサによってのみ収集可能であるが、他の実装形態では、ヘッドセット無しのコンピューティングデバイスの１つまたは複数は、環境または位置データを追跡可能であるセンサ構成要素を含むことができる。
【0019】
コンピューティングシステム１００は、１つまたは複数のプロセッサ１１０（例えば、中央処理装置（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、ホログラフィック処理ユニット（ＨＰＵ）など）を含み得る。プロセッサ１１０は、デバイスにおける単一の処理ユニットまたは複数の処理ユニットとすることができる、または複数のデバイスにわたって分散させる（例えば、コンピューティングデバイス１０１～１０３の２つ以上にわたって分散させる）ことができる。
【0020】
コンピューティングシステム１００は、プロセッサ１１０に入力をもたらしてこれらに動きを通知する１つまたは複数の入力デバイス１２０を含むことができる。動きは、入力デバイスから受信される信号を解釈し、かつ通信プロトコルを使用して情報をプロセッサ１１０に通信するハードウェアコントローラによって仲介される。それぞれの入力デバイス１２０は、例えば、マウス、キーボード、タッチスクリーン、タッチパッド、ウェアラブル入力デバイス（例えば、触覚グローブ、ブレスレット、指輪、イヤリング、ネックレス、腕時計など）、カメラ（または、他の光ベースの入力デバイス、例えば、赤外線センサ）、マイクロホン、または、他のユーザ入力デバイスを含むことができる。
【0021】
プロセッサ１１０は、例えば、ＰＣＩバス、ＳＣＳＩバス、または無線接続などの内部または外部バスを用いて他のハードウェアデバイスに結合可能である。プロセッサ１１０は、ディスプレイ１３０などのデバイスに対するハードウェアコントローラと通信可能である。ディスプレイ１３０は、テキストおよびグラフィックを表示するために使用可能である。いくつかの実装形態では、ディスプレイ１３０は、入力デバイスがタッチスクリーンである、または視線方向監視システムを備える時など、ディスプレイの一部としての入力デバイスを含む。いくつかの実装形態では、ディスプレイは入力デバイスから分離している。表示装置の例には、ＬＣＤディスプレイスクリーン、ＬＥＤディスプレイスクリーン、投影、ホログラフィック、または拡張現実ディスプレイ（ヘッドアップ表示装置または頭部装着型デバイスなど）などがある。ネットワークチップまたはカード、ビデオチップまたはカード、オーディオチップまたはカード、ＵＳＢ、ファイヤーワイヤーまたは他の外部デバイス、カメラ、プリンタ、スピーカ、ＣＤ－ＲＯＭドライブ、ＤＶＤドライブ、ディスクドライブなどの他のＩ／Ｏデバイス１４０も、プロセッサに結合可能である。
【0022】
いくつかの実装形態では、カメラ、深度センサ、ＩＭＵセンサ、ＧＰＳユニット、ＬｉＤＡＲまたは他の飛行時間型センサなどのＩ／Ｏデバイス１４０からの入力をコンピューティングシステム１００によって使用して、その環境内のユーザの場所を追跡しながらユーザの物理環境を識別およびマッピングすることができる。この同時位置特定およびマッピング（ＳＬＡＭ）システムは、ある領域（部屋、建物、屋外空間などであってもよい）のマップ（例えば、トポロジー、グリッド（ｇｉｒｄ）など）を生成し、および／またはその領域をマッピングしたコンピューティングシステム１００もしくは別のコンピューティングシステムによって以前に生成されたマップを取得することができる。ＳＬＡＭシステムは、ＧＰＳデータ、識別されたオブジェクトおよび構造をマッピングされたオブジェクトおよび構造と一致させること、加速度および他の位置変化を監視することなどの要因に基づいて、領域内のユーザを追跡することができる。
【0023】
コンピューティングシステム１００は、他のローカルコンピューティングデバイスまたはネットワークノードと無線でまたは有線ベースで通信することが可能な通信デバイスを含むことができる。通信デバイスは、例えば、ＴＣＰ／ＩＰプロトコルを使用するネットワークを通して別のデバイスまたはサーバと通信できる。コンピューティングシステム１００は、複数のネットワークデバイスにわたって動作を分散するために通信デバイスを利用できる。
【0024】
コンピューティングシステム１００のコンピューティングデバイスのうちの１つにおいて含まれ得る、またはコンピューティングシステム１００の複数のコンピューティングデバイスまたは他の外部デバイスにわたって分散可能であるプロセッサ１１０は、メモリ１５０にアクセス可能である。メモリは、揮発性または不揮発性ストレージに対する１つまたは複数のハードウェアデバイスを含み、かつ読み出し専用メモリおよび書き込み可能メモリ両方を含むことができる。例えば、メモリは、ランダムアクセスメモリ（ＲＡＭ）、様々なキャッシュ、ＣＰＵレジスタ、読み出し専用メモリ（ＲＯＭ）、および書き込み可能な不揮発性メモリ、例えば、フラッシュメモリ、ハードドライブ、フロッピーディスク、ＣＤ、ＤＶＤ、磁気記憶装置、およびテープドライブなどのうちの１つまたは複数を含むことができる。メモリは、基盤となるハードウェアから切り離されて伝播する信号ではないため、メモリは非一時的なものである。メモリ１５０は、プログラムおよびソフトウェア、例えば、オペレーティングシステム１６２、インタラクション容易化モジュール１６４、および他のアプリケーションプログラム１６６を格納するプログラムメモリ１６０を含むことができる。メモリ１５０はまた、例えば、プログラムメモリ１６０に、またはコンピューティングシステム１００の任意の要素に提供することができる、ユーザ追跡データ、構成データ、設定、ユーザオプションまたは好みなど、構成データ、設定、ユーザオプションまたは好みなどを含むことができるデータメモリ１７０を含むことができる。
【0025】
インタラクション容易化モジュール１６４は、ＸＲ環境におけるユーザとシステムＵＩとの間のインタラクションを容易にするように構成されてもよい。システムＵＩとユーザとの間のインタラクションを容易にするために、インタラクション容易化モジュール１６４は、ＸＲ環境においてシステムＵＩをレンダリングすること、ユーザの手の位置およびユーザ上の所定の安定点を追跡すること、ならびにユーザの手がシステムＵＩの一部を把持したことを識別することなどの様々な機能を実施してもよい。識別に基づいて、インタラクション容易化モジュール１６４は、システムＵＩの把持された部分を中心にシステムＵＩの位置を回転させることができる。例えば、回転は、ユーザが把持された部分を介してシステムＵＩを移動させるときに、安定点とシステムＵＩの表面との間の線がシステムＵＩの表面に対して垂直にまたは垂直から所定の角度になるように移動するようなものであってもよい。
【0026】
さらに、インタラクション容易化モジュール１６４は、追跡されたユーザの位置に基づいて、ユーザとシステムＵＩとの間の距離を決定してもよい。距離が第１の閾値を下回っているという決定に応答して、インタラクション容易化モジュール１６４は、ユーザとシステムＵＩとの間のインタラクションの入力モードを、インタラクションのレイキャスティングモードからインタラクションの直接タッチモードに変更してもよい。インタラクションの直接タッチモードは、現実世界環境における手によるデバイスへのアクセスと同様に、システムＵＩが近距離からユーザによってアクセスされることを可能にする。インタラクション容易化モジュール１６４は、システムＵＩの外観がフラットな形状を有するようにさらに修正し、ＵＩ要素のセットのうちの１つまたは複数の外観が３次元形状を有し、固定サイズになるように修正してもよい。
【0027】
さらに、ユーザとシステムＵＩとの間の距離が第２の閾値を上回っているという決定に応答して、インタラクション容易化モジュール１６４は、ユーザとシステムＵＩとの間のインタラクションの入力モードを、インタラクションの直接タッチモードからインタラクションのレイキャスティングモードに変更してもよい。インタラクションのレイキャスティングモードは、システムＵＩが遠距離からユーザによってアクセスされることを可能にする。インタラクション容易化モジュール１６４は、システムＵＩの外観が湾曲形状を有するようにさらに修正し、ＵＩ要素のセットのうちの１つまたは複数の外観が２次元形状を有し、相対サイズになるように修正してもよい。
【0028】
いくつかの実装形態は、多数の他のコンピューティングシステム環境または構成で動作可能とすることができる。当該技術で使用するのに適し得るコンピューティングシステム、環境、および／または構成の例は、ＸＲヘッドセット、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドもしくはラップトップデバイス、携帯電話、ウェアラブル電子機器、ゲーム機、タブレットデバイス、マルチプロセッサシステム、マイクロプロセッサベースシステム、セットトップボックス、プログラム可能家庭電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、または上記のシステムまたはデバイスのいずれかを含む分散コンピューティング環境などを含むが、これらに限定されない。
【0029】
図２Ａは、いくつかの実装形態による仮想現実頭部装着型ディスプレイ（ＨＭＤ）２００の配線図である。ＨＭＤ２００は前部剛体２０５およびバンド２１０を含む。前部剛体２０５は、電子ディスプレイ２４５の１つまたは複数の電子ディスプレイ要素、慣性運動装置（ＩＭＵ）２１５、１つまたは複数の位置センサ２２０、ロケータ２２５、および１つまたは複数の算出部２３０を含む。位置センサ２２０、ＩＭＵ２１５、および算出部２３０は、ＨＭＤ２００に内蔵されてよくユーザには不可視である場合がある。様々な実装形態では、ＩＭＵ２１５、位置センサ２２０、およびロケータ２２５は、３自由度（３ＤｏＦ）または６自由度（６ＤｏＦ）での現実世界および人工現実環境におけるＨＭＤ２００の移動および場所を追跡可能である。例えば、ロケータ２２５は、ＨＭＤ２００の周りの実物体上の光点を生じさせる赤外光ビームを発することができる。別の例として、ＩＭＵ２１５は、例えば、１つまたは複数の加速度計、ジャイロスコープ、磁力計、他の非カメラベースの位置、力、もしくは向きセンサ、またはそれらの組み合わせを含むことができる。ＨＭＤ２００と一体化された１つまたは複数のカメラ（図示せず）は光点を検出できる。ＨＭＤ２００における算出部２３０は、ＨＭＤ２００の位置および移動を推定するために、およびＨＭＤ２００を取り囲む実物体の形状および位置を識別するために、検出された光点を使用することができる。
【0030】
電子ディスプレイ２４５は、前部剛体２０５と一体化可能であり、かつ算出部２３０によって命令されるとユーザに画像光を提供可能である。様々な実施形態では、電子ディスプレイ２４５は単一の電子ディスプレイまたは複数の電子ディスプレイ（例えば、それぞれのユーザの眼に対するディスプレイ）であり得る。電子ディスプレイ２４５の例として、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、アクティブマトリックス式有機発光ダイオードディスプレイ（ＡＭＯＬＥＤ）、１つもしくは複数の量子ドット発光ダイオード（ＱＯＬＥＤ）サブピクセル、投射器（例えば、マイクロＬＥＤ、レーザなど）、その他のディスプレイ、またはこれらの何らかの組み合わせが挙げられる。
【0031】
いくつかの実装形態では、ＨＭＤ２００は、パーソナルコンピュータ（ＰＣ）（図示せず）などのコア処理構成要素および／または１つもしくは複数の外部センサ（図示せず）に結合可能である。ＰＣが、ＨＭＤ２００の場所および移動を判断するためにＩＭＵ２１５および位置センサ２２０からの出力と組み合わせて使用することができる外部センサは、（例えば、ＨＭＤ２００から発した光によって）ＨＭＤ２００を監視することができる。
【0032】
図２Ｂは、複合現実ＨＭＤ２５２およびコア処理構成要素２５４を含む複合現実ＨＭＤシステム２５０の配線図である。複合現実ＨＭＤ２５２およびコア処理構成要素２５４は、リンク２５６によって指示されるように無線接続（例えば、６０ＧＨｚのリンク）を介して通信可能である。他の実装形態では、複合現実システム２５０は、外部の計算装置はなくヘッドセットのみを含む、または複合現実ＨＭＤ２５２とコア処理構成要素２５４との間の他の有線または無線接続を含む。複合現実ＨＭＤ２５２はパススルーディスプレイ２５８およびフレーム２６０を含む。フレーム２６０は、様々な電子コンポーネント（図示せず）、例えば、光プロジェクタ（例えば、ＬＡＳＥＲ、ＬＥＤ等）、カメラ、目追跡センサ、ＭＥＭＳコンポーネント、ネットワーキングコンポーネント等を格納することができる。
【0033】
プロジェクタは、ユーザに媒体を表示するために、例えば、光学素子を介して、パススルーディスプレイ２５８に結合可能である。光学素子は、プロジェクタからユーザの眼に光を導くための、１つまたは複数の導波路アセンブリ、反射器、レンズ、鏡、コリメータ、格子などを含むことができる。画像データは、コア処理構成要素２５４からリンク２５６を介してＨＭＤ２５２に送信可能である。ＨＭＤ２５２におけるコントローラは、プロジェクタから画像データを光パルスに変換可能であり、これは光学素子を介して出力光としてユーザの眼に送信可能である。出力光は、ディスプレイ２５８を通過する光と混合させることができることで、出力光によって現実世界に存在するかのように現れる仮想オブジェクトを提示することができる。
【0034】
ＨＭＤ２００と同様に、ＨＭＤシステム２５０は、ＨＭＤシステム２５０が、例えば、これ自体を３ＤｏＦまたは６ＤｏＦで追跡すること、ユーザの一部分（例えば、手、脚、頭部、または他の体の一部）を追跡すること、ＨＭＤ２５２が移動すると静止しているように現れるように仮想オブジェクトをマッピングすること、および、ジェスチャおよび他の現実世界のオブジェクトに対して仮想オブジェクトを反応させることを可能にする、運動および位置追跡装置、カメラ、光源なども含むことができる。
【0035】
図２Ｃは、コントローラ２７０（コントローラ２７６Ａおよび２７６Ｂを含む）を示し、いくつかの実装形態では、ユーザは、ＨＭＤ２００および／またはＨＭＤ２５０によって提示される人工現実環境とインタラクトするために片手または両手で保持することができる。コントローラ２７０は、直接または外部デバイス（例えば、コア処理構成要素２５４）を介してＨＭＤと通信することができる。コントローラは、これ自体のＩＭＵ装置、位置センサを有することができる、および／またはさらなる光点を発することができる。ＨＭＤ２００もしくは２５０、外部センサ、またはコントローラ内のセンサは、これらのコントローラ光点を追跡して、コントローラの位置および／または向きを決定することができる（例えば、３ＤｏＦまたは６ＤｏＦでコントローラを追跡するために）。ＨＭＤ２００における算出部２３０またはコア処理構成要素２５４は、ユーザの手の位置および運動を監視するために、ＩＭＵおよび位置出力と組み合わせてこの追跡を使用することができる。コントローラはまた、ユーザが入力を提供し、オブジェクトとインタラクトするために作動することができる様々なボタン（例えば、ボタン２７２Ａ～Ｆ）および／またはジョイスティック（例えば、ジョイスティック２７４Ａ～Ｂ）を含むことができる。
【0036】
様々な実装形態では、ＨＭＤ２００または２５０はまた、ユーザのインタラクションおよび意図の指示を監視するために、視線追跡ユニット、オーディオシステム、様々なネットワーク構成要素などの追加のサブシステムを含むことができる。例えば、いくつかの実装形態では、コントローラの代わりに、またはコントローラに加えて、ＨＭＤ２００もしくは２５０に含まれる、または外部カメラからの１つまたは複数のカメラは、ジェスチャならびに他の手および身体の運動を決定するためにユーザの手の位置および姿勢を監視することができる。別の例として、１つまたは複数の光源はユーザの眼のいずれかまたは両方を照らすことができ、ＨＭＤ２００または２５０は、眼に面するカメラを使用してこの光の反射を捕捉して眼の位置を決定し（例えば、ユーザの角膜の周りの反射のセットに基づく）、ユーザの眼をモデル化して視線方向を決定することができる。
【0037】
図３は、開示された技術のいくつかの実装形態が動作可能である環境３００の全体像を示すブロック図である。環境３００は、１つまたは複数のクライアントコンピューティングデバイス３０５Ａ～Ｄを含むことができ、これらの例として、コンピューティングシステム１００を挙げることができる。いくつかの実装形態では、クライアントコンピューティングデバイスのいくつか（例えば、クライアントコンピューティングデバイス３０５Ｂ）は、ＨＭＤ２００またはＨＭＤシステム２５０とすることができる。クライアントコンピューティングデバイス３０５は、ネットワーク３３０を通した、サーバコンピューティングデバイスなどの１つまたは複数のリモートコンピュータへの論理接続を使用してネットワーク化された環境で動作可能である。
【0038】
いくつかの実装形態では、サーバ３１０は、サーバ３２０Ａ～Ｃなどの他のサーバを通してクライアント要求を受信し、かつこれらの要求の達成を調整するエッジサーバとすることができる。サーバコンピューティングデバイス３１０および３２０は、コンピューティングシステム１００などのコンピューティングシステムを含むことができる。それぞれのサーバコンピューティングデバイス３１０および３２０は単一のサーバとして論理的に表示されるが、サーバコンピューティングデバイスはそれぞれ、同じまたは地理的に異なる物理的場所に位置する複数のコンピューティングデバイスを包含する分散コンピューティング環境とすることができる。
【0039】
クライアントコンピューティングデバイス３０５ならびにサーバコンピューティングデバイス３１０および３２０はそれぞれ、他のサーバ／クライアントデバイスに対するサーバまたはクライアントの機能を果たすことができる。サーバ３１０はデータベース３１５に接続することができる。サーバ３２０Ａ～Ｃはそれぞれ、対応するデータベース３２５Ａ～Ｃに接続できる。上で論じられるように、それぞれのサーバ３１０または３２０はサーバのグループに対応することができ、これらのサーバのそれぞれは、データベースを共有できるまたはこれら自体のデータベースを有することができる。データベース３１５および３２５は単一のユニットとして論理的に表示されるが、データベース３１５および３２５はそれぞれ、複数のコンピューティングデバイスを包含する分散コンピューティング環境とすることができる、これらの対応するサーバ内に位置することができる、または同じまたは地理的に異なる物理的場所に位置することができる。
【0040】
ネットワーク３３０は、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、メッシュネットワーク、ハイブリッドネットワーク、または他の有線もしくは無線ネットワークとすることができる。ネットワーク３３０は、インターネット、またはいくつかの他のパブリックもしくはプライベートネットワークであり得る。クライアントコンピューティングデバイス３０５は、有線または無線通信などによって、ネットワークインターフェースを通してネットワーク３３０に接続可能である。サーバ３１０とサーバ３２０との間の接続は別個の接続として示されるが、これらの接続は、ネットワーク３３０または別個のパブリックもしくはプライベートネットワークを含む、任意の種類のローカル、広域、有線、または無線ネットワークとすることができる。
【0041】
図４は、いくつかの実装形態において、開示された技術を用いるシステムで使用可能である構成要素４００を示すブロック図である。構成要素４００は、コンピューティングシステム１００の１つのデバイスに含まれ得る、またはコンピューティングシステム１００のデバイスの複数にわたって分散され得る。構成要素４００は、ハードウェア４１０、メディエータ４２０、および専用構成要素４３０を含む。上で論じられるように、開示された技術を実装するシステムは、処理ユニット４１２、ワーキングメモリ４１４、入力および出力デバイス４１６（例えば、カメラ、ディスプレイ、ＩＭＵ装置、ネットワーク接続など）、およびデータ記憶用メモリ４１８を含む様々なハードウェアを使用できる。様々な実装形態では、データ記憶用メモリ４１８は、ローカルデバイス、リモート記憶デバイスへのインターフェース、またはこれらの組み合わせの１つまたは複数とすることができる。例えば、データ記憶用メモリ４１８は、システムバスを通してアクセス可能な１つまたは複数のハードドライブもしくはフラッシュドライブとすることができる、または（ストレージ３１５または３２５などにおける）クラウドストレージプロバイダ、または１つまたは複数の通信ネットワークを介してアクセス可能な他のネットワークストレージとすることができる。様々な実装形態では、構成要素４００は、クライアントコンピューティングデバイス３０５などのクライアントコンピューティングデバイスにおいて、またはサーバコンピューティングデバイス３１０または３２０などのサーバコンピューティングデバイス上に実装可能である。
【0042】
メディエータ４２０は、ハードウェア４１０と専用構成要素４３０との間のリソースを仲介する構成要素を含むことができる。例えば、メディエータ４２０は、オペレーティングシステム、サービス、ドライブ、基本入出力システム（ＢＩＯＳ）、コントローラ回路、または他のハードウェアもしくはソフトウェアシステムを含むことができる。
【0043】
専用構成要素４３０は、ＵＩシステムレンダリングモジュール４３４と、追跡モジュール４３６と、把持識別モジュール４３８と、入力変更モジュール４４０と、外観修正モジュール４４２と、ユーザインターフェースの提供、データの転送、および専用構成要素の制御に使用することができる構成要素、例えばインターフェース４３２とを含むことができる。いくつかの実装形態では、構成要素４００は、複数のコンピューティングデバイスにわたって分散されるコンピューティングシステムにある可能性がある、または専用構成要素４３０の１つまたは複数を実行するサーバベースアプリケーションに対するインターフェースである可能性がある。別個の構成要素として描写されているが、専用構成要素４３０は、機能の論理的もしくは他の非物理的な区別であってもよく、および／または１つもしくは複数のアプリケーションのサブモジュールもしくはコードブロックであってもよい。
【0044】
システムＵＩレンダリングモジュール４３４は、システムＵＩをＸＲ環境においてレンダリングするように構成されてもよい。システムＵＩは、ＸＲ環境において３Ｄ仮想オブジェクトとしてレンダリングされてもよい。システムＵＩは、システムＵＩがユーザの眼の高さにあるようにＸＲ環境で最初にレンダリングされてもよく、ここで、システムＵＩは最後に閲覧されたときのものであり、ユーザの一部（例えば、手または手首）に取り付けられているなどである。さらに、システムＵＩは、システムＵＩがＸＲ環境内のユーザにとって容易にアクセス可能であるように、ユーザから距離を置いてレンダリングされてもよい。ＸＲ環境におけるシステムＵＩのレンダリングの詳細は、例えば図５にさらに示されている。
【0045】
追跡モジュール４３６は、ユーザの手の位置およびユーザ上の所定の安定点を追跡するように構成されてもよい。手の位置の追跡は、現実世界環境におけるユーザの手の実際の位置および／またはジェスチャを決定するために実施されてもよい。例えば、手の位置の追跡は、ユーザによるシステムＵＩの把持を決定するために実施される。ユーザ上の所定の安定点の追跡は、ユーザに対するシステムＵＩの距離および角度を調整するために実施される。例えば、位置の追跡は、ＸＲデバイス（例えば、ＨＭＤ２００または２５０）上の１つまたは複数のセンサ（例えば、カメラ、飛行時間型センサ、ＩＭＵユニットなど）を使用して受信された入力データに基づいて実施されてもよい。さらに、追跡モジュール４３６はまた、ＸＲデバイスに関連付けられたコントローラ２７０に基づいて入力データを受信してもよい。ユーザの手の位置の追跡および所定の安定点の詳細は、例えば、図５にさらに提供される。
【0046】
把持識別モジュール４３８は、ＸＲ環境内のユーザによるシステムＵＩの把持を識別するように構成されてもよい。ユーザによるシステムＵＩの把持は、現実世界環境でのユーザの手の位置を追跡することによって識別してもよい。追跡に基づいて、把持識別モジュール４３８は、システムＵＩを把持するためにユーザの手がシステムＵＩの縁部の近くにあると決定してもよい。さらに、把持識別モジュール４３８は、ＸＲ環境内のユーザによって把持されたシステムＵＩの一部を識別することができる。把持された部分は、ＸＲ環境内でシステムＵＩの位置を回転させるための点としてさらに利用されてもよい。システムＵＩは、ユーザの眼の高さに対応するシステムＵＩの位置を調整するために、把持された部分を中心に回転する。ＸＲ環境内でのユーザによるシステムＵＩの把持の詳細は、例えば図６Ａにさらに提供される。
【0047】
入力変更モジュール４４０は、インタラクションの入力モードをレイキャスティングから直接タッチモードへ、およびその逆に変更するように構成されてもよい。入力変更モジュール４４０は、システムＵＩとユーザとの間の決定された距離に基づいてインタラクションの入力モードを変更するように構成される。システムＵＩとユーザとの間の距離が第１の閾値を下回るとき、入力変更モジュール４４０は、インタラクションのモードをインタラクションの直接タッチモードに変更する。システムＵＩとユーザとの間の距離が第２の閾値を上回るとき、入力変更モジュール４４０は、インタラクションのモードをインタラクションのレイキャスティングモードに変更する。インタラクションの直接タッチモードでは、ユーザは、システムＵＩのＵＩ要素の３次元（３Ｄ）セットとインタラクトすることができる。インタラクションのレイキャスティングモードでは、ユーザは、システムＵＩのＵＩ要素の２次元（２Ｄ）セットとインタラクトすることができる。インタラクションの入力モードの変更の詳細は、例えば、図７Ａ～図７Ｃにさらに提供される。
【0048】
外観修正モジュール４４２は、システムＵＩおよびシステムＵＩのＵＩ要素のセットのうちの１つまたは複数の外観を修正するように構成されてもよい。例えば、外観修正モジュール４４２は、インタラクションの直接タッチモードにおいてシステムＵＩの形状をフラットな形状に修正するように構成される。さらに、インタラクションの直接タッチモードでは、外観修正モジュール４４２は、ＵＩ要素のセットの外観が３Ｄ形状を有し、ＵＩ要素のセットのうちの１つまたは複数のそれぞれに対して規定された固定サイズになるように修正するように構成される。
【0049】
外観修正モジュール４４２は、インタラクションのレイキャスティングモードにおいてシステムＵＩの形状を湾曲形状に修正するようにさらに構成される。インタラクションのレイキャスティングモードでは、ユーザはシステムＵＩから一定の距離にあり、したがって、湾曲したシステムＵＩは、ユーザがシステムＵＩとより効率的にインタラクトするのを助ける。さらに、インタラクションのレイキャスティングモードにおいて、外観修正モジュール４４２は、ＵＩ要素のセットの外観が２Ｄ形状を有し、システムＵＩからのユーザの決定された距離に基づいて規定された相対サイズを有するように修正するように構成される。例えば、ユーザとシステムＵＩとの間の距離がより大きい場合、ＵＩ要素のセットのうちの１つまたは複数のサイズを増加させることができる。システムＵＩおよびＵＩ要素の外観の修正の詳細は、例えば、図７Ａ～図７Ｃ、図１０、および図１１Ａ～図１１Ｄにさらに提供される。
【0050】
上述される図１～図４においておよび以下に論じられるフロー図のそれぞれにおいて示される構成要素が様々なやり方で変えられる場合があることを、当業者は理解するであろう。例えば、論理の順序は再配置構成され得る、サブステップは並列に遂行され得る、例解される論理は省略され得る、他の論理が含まれ得る、その他である。一部の実現形態において、上記で説明された構成要素のうちの１つまたは複数は、下記で説明されるプロセスのうちの１つまたは複数を実行することができる。
【0051】
図５は、ＸＲ環境におけるシステムＵＩインタラクションのための例示的な環境５００を示す概念図である。環境５００は、現実世界環境５０２を含んでもよい。現実世界環境５０２は、ＸＲデバイス５０６を着用しているユーザ５０４を含んでもよい。環境５００は、ＸＲ環境５０２ＡにおいてレンダリングされるシステムＵＩ５０８を含むＸＲ環境５０２Ａ（ＸＲデバイス５０６によって示される）を含んでもよい。現実世界環境５０２およびＸＲ環境５０２Ａは、同じ物理空間を占めてもよく、すなわち、現実世界環境５０２におけるユーザの動きは、ＸＲ環境５０２Ａにおけるユーザの視点などの対応する変化を引き起こすことができる。場合によっては、ＸＲ環境５０２Ａは、現実世界環境５０２と併せてレンダリングされたシステムＵＩ５０８のオーバーレイ表現をユーザが見ることができる複合現実または拡張現実環境であってもよい。
【0052】
一実装形態では、システムＵＩ５０８は、ＸＲ環境５０２Ａにおいてレンダリングされてもよい。システムＵＩ５０８は、ＸＲ環境５０２Ａにおいてユーザ５０４の正面にレンダリングされる３Ｄ仮想要素であってもよい。システムＵＩ５０８は、システムＵＩ５０８の表面上に配置されたＵＩ要素５１０のセットを含む。ＵＩ要素５１０のセットは、システムＵＩ５０８上で見ることができる視覚的要素であってもよい。例えば、ＵＩ要素５１０のセットは、アイコン、ボタン、メニュー、テキストフィールド、画像、ビデオ、３Ｄメッシュ、進捗バーなどであってもよい。ＵＩ要素５１０のセットは、例えばウェブサイトのブラウジングまたはアプリケーションへのアクセスなどの様々な目的のためのユーザによるシステムＵＩ５０８の利用を可能にする。ＵＩ要素５１０のセットは、任意の形状およびサイズであってもよい。
【0053】
システムＵＩ５０８は、仮想オブジェクト、環境、または物理世界および／もしくは仮想世界に関する情報とインタラクトするために使用されてもよい。より具体的には、システムＵＩ５０８は、ユーザとＸＲ環境５０２Ａとの間のインタラクションが発生し得る任意のＵＩであってもよい。システムＵＩ５０８は、ＸＲデバイス５０６を介してユーザ５０４からの１つまたは複数の入力を受信し、ユーザ５０４から受信した入力に基づいて出力を提供してもよい。システムＵＩ５０８は、例えば、複合ユーザインターフェース（ＣＵＩ）および／またはマルチメディアユーザインターフェース（ＭＵＩ）などの１つであってもよい。
【0054】
ＸＲデバイス５０６は、ＸＲ環境５０２ＡにおいてシステムＵＩ５０８とインタラクトするためにユーザ５０４（例えば、ＸＲデバイス５０２を着用している人）によって使用され得るウェアラブルデバイスであってもよい。ＸＲデバイス５０６は、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、スタンドアロンＨＭＤ、モバイルデバイスもしくはコンピューティングシステム、または人工現実コンテンツを提供することができる任意の他のハードウェアプラットフォームを含むような物理デバイスのうちの１つであってもよい。例えば、ＸＲデバイス５０６は、例えば図２Ａで説明したような仮想現実ヘッドマウントディスプレイ（ＨＭＤ）２００および／または例えば図２Ｂで説明したような複合現実ＨＭＤシステム２５０であってもよい。ＸＲデバイス５０６は、ユーザ５０４の手５０４Ａの位置を追跡することができ、かつ／またはユーザ５０４の手５０４Ａのジェスチャもリアルタイムで検出することができる１つまたは複数のセンサを有することができる。一例では、ユーザ５０４の手５０４Ａは、ＸＲ環境５０２Ａにおいてユーザ５０４の手５０４Ａの表現として描写することができる。ユーザ５０４の手５０４Ａのそのような表現の位置は、現実世界環境５０２におけるユーザ５０４の手５０４Ａの位置の追跡に基づいて、ＸＲ環境５０２Ａにおいて更新されてもよい。さらに、ユーザ５０４の手５０４Ａの位置の追跡はまた、例えば、図２Ｃで説明した、ＸＲデバイス５０６に関連付けられたコントローラ２７０（例えば、ハンドコントローラ）またはウェアラブルデバイスであり得るコントローラを使用して実施されてもよく、これは、ＨＭＤ２００もしくは２５０のものと同様の自己追跡能力を含んでもよく、またはＨＭＤ２００もしくは２５０によるコントローラの追跡を可能にする設計、発光、もしくは他の信号を有してもよい。
【0055】
コンピューティングシステムは、ユーザ５０４上の所定の安定点５１２の位置を追跡することができる１つまたは複数のセンサを有してもよい。例えば、１つまたは複数のセンサは、ＸＲデバイス５０６の一部であってもよい。安定点５１２は、ユーザの頭部５１４の最も安定した点であってもよい。ユーザ５０４上の安定点５１２は、ＸＲ環境５０２Ａ内のシステムＵＩ５０８の位置を調整するための固定点として利用されてもよい。一実装形態では、ユーザ５０４上の所定の安定点５１２は、ユーザの頭部５１４の付け根がユーザの首と交わる点であってもよい。ユーザの頭部５１４の付け根がユーザの首と交わる点は、ユーザの頭部５１４が動くときに首の上端が静止したままであり得るように、安定点５１２として選択されてもよい。したがって、安定点５１２は、ＸＲ環境５０２Ａ内にシステムＵＩ５０８の位置を配置するための基準点として解釈されてもよい。
【0056】
いくつかの実装形態では、ユーザ５０４上の所定の安定点５１２は、ユーザの頭部の付け根がユーザの首と交わる場所からオフセットされた点であってもよい。例えば、オフセットは、ユーザの首の付け根からユーザの眼に向かう特定の空間（３インチなど）とすることができる。オフセットは、ユーザ５０４の眼の高さからの閾値高さにさらに基づいてもよい。例えば、所定の安定点５１２は、ユーザ５１２の眼に向かって１０センチメートル（ｃｍ）のオフセットにあってもよい。
【0057】
いくつかの実装形態では、所定の安定点５１２は、ユーザ５１２上の規定された身体点からオフセットされた点であってもよい。例えば、規定された身体点はまた、ユーザの頭部５１４の付け根がユーザの首と交わる点とは異なる点であってもよい。例えば、規定された身体点は、肩、頭部、首、眼、額の中心、またはユーザ５０４の任意の他の身体部分にあってもよい。オフセットの方向および量は、ユーザ５０４の眼の高さに対するシステムＵＩ５０８の相対位置の決定に基づいてもよい。オフセットの方向は、システムＵＩの表面がユーザ５０４の眼の高さに向かったままであるようなものであってもよい。例えば、システムＵＩ５０８の相対位置がユーザ５０４の眼の高さよりも低い場合、オフセットの量はより多くてもよい。例示的なシナリオでは、システムＵＩ５０８の位置は、ユーザ５０４の眼の高さから閾値高さ（例えば、１５ｃｍ）未満であり、オフセット量は、ユーザ５０４のための所定の安定点５０８より５ｃｍ低くてもよい。このようにして、システムＵＩ５０８との快適でユーザフレンドリなインタラクションのために、安定点５１２が各ユーザに固有であるように、所定の安定点５１２を様々なユーザ向けにカスタマイズすることができる。
【0058】
図６Ａおよび図６Ｂは、ＸＲ環境５０２ＡにおけるシステムＵＩ５０８の回転を示す概念図である。図６Ａは、ユーザ５０４によるシステムＵＩ５０８の把持を示すための図６００Ａを描写する。図６００Ａは、ＸＲ環境５０２Ａを含む。ＸＲ環境５０２Ａは、システムＵＩ５０８と、ユーザ５０４の手５０４Ａの表現６０２とを含む。
【0059】
コンピューティングシステムは、ユーザ５０４の手５０４Ａの位置および安定点５１２を追跡するように構成されてもよい。追跡は、例えば、ＸＲデバイス５０６の１つもしくは複数のセンサ、またはＸＲデバイス５０６と関連付けられたコントローラ２７０を使用することによって実施されてもよい。例えば、システムＵＩ５０８の縁部とユーザ５０４の手５０４Ａの位置との間の距離が追跡されてもよい。さらに、システムＵＩ５０８の縁部を把持するジェスチャを追跡してもよい。距離およびジェスチャを追跡して、ユーザ５０４のシステムＵＩ５０８を把持する意図を決定してもよい。
【0060】
例示的なシナリオでは、ユーザ５０４は、手５０４Ａ（ＸＲ環境５０２Ａ内では表現６０２として描写される）をシステムＵＩ５０８の縁部に近づける。さらに、ユーザ５０４は、手５０４Ａの親指と１本または複数本の指とを合わせることによって、システムＵＩ５０８の縁部を把持するジェスチャを実施する。コンピューティングシステムは、システムＵＩ５０８を把持するジェスチャを追跡する。
【0061】
ユーザ５０４の手５０４Ａの位置（手のジェスチャおよび距離など）の追跡に基づいて、コンピューティングシステムは、手５０４Ａ（ＸＲ環境５０２Ａ内では表現６０２として描写される）がシステムＵＩ５０８の一部分６０４を把持したことを識別する。手５０４ＡがシステムＵＩ５０８の部分６０４を把持したことを識別した後、コンピューティングシステムは、システムＵＩ５０８の把持された部分６０４を中心にシステムＵＩ５０８の位置を回転させる。そのような回転は、ＸＲ環境５０２ＡにおけるシステムＵＩ５０８の望ましくない移動の制限を可能にする。例えば、把持された部分６０４を中心とした回転は、システムＵＩ５０８の柔軟な曲げ動作を制限する。
【0062】
さらに、コンピューティングシステムは、ユーザ５０４が把持された部分６０４を介してシステムＵＩ５０８を移動させると、所定の安定点５１２とシステムＵＩ５０８の表面との間の線（例えば、図６の線６０６）がシステムＵＩ５０８の表面に対して垂直にまたは垂直から所定の角度になるように移動するように、システムＵＩ５０８の位置を回転させる。線および安定点５１２に対するシステムＵＩ５０８の回転を図６Ｂに示す。
【0063】
図６Ｂは、安定点５１２およびシステムＵＩ５０８の把持された部分６０４に基づくシステムＵＩ５０８の回転を示すための図６００Ｂを描写する。図６００Ｂは、ＸＲデバイス５０６を着用しているユーザ５０４を含み得る現実世界環境５０２を含んでもよい。現実世界環境５０２は、システムＵＩ５０８のオーバーレイ表現５０８Ａを描写する。オーバーレイ表現５０８Ａは、現実世界環境５０２に対してシステムＵＩ５０８の位置がどのように存在するかを示す。場合によっては、ＸＲ環境５０２Ａは、現実世界環境５０２と併せてレンダリングされたシステムＵＩ５０８のオーバーレイ表現５０８Ａをユーザ５０４が見ることができる複合現実または拡張現実環境であってもよい。例えば、ユーザ５０４は、ユーザ５０４が現実世界環境５０２を見ることができると同時に、ＸＲ環境５０２ＡにおいてレンダリングされるシステムＵＩ５０８のオーバーレイ表現５０８Ａを、ＸＲデバイス５０６を介して見ることができてもよい。他の場合には、ＸＲ環境５０２Ａは、ユーザ５０４が見るものが完全にコンピュータ生成される仮想環境とすることができる。したがって、これらの場合、システムＵＩ５０８のオーバーレイ表現５０８Ａは、現実世界環境５０２と併せて見ることができないが、代わりに、ユーザ５０４が現実世界環境５０２内も移動しているのと同時に移動している仮想空間内にレンダリングされる。
【0064】
概念線６０６が、安定点５１２とシステムＵＩ５０８の表面との間に示されている。例えば、線６０６は、ユーザ５０４には見えない仮想線である。線６０６は、ユーザ５０４の安定点５１２に対するシステムＵＩ５０８の回転を描写するために使用される。ユーザ５０４がシステムＵＩ５０８の把持された部分６０４を介してシステムＵＩ５０８を移動させると、コンピューティングシステムはシステムＵＩ５０８の位置を回転させる。回転は、線６０６がシステムＵＩ５０８の表面に対して垂直になるように、または垂直から所定の角度（後述）で移動するようなものである。
【0065】
例示的なシナリオでは、ユーザ５０４は、現実世界環境５０２内で頭部５１４を動かして、システムＵＩ５０８を閲覧および使用してもよい。しかしながら、ユーザ５０４の安定点５１２は、頭部５１４が動くときにユーザ５０４の首が動かない場合があるのと同じ位置に留まることができる。したがって、システムＵＩ５０８の位置は、ユーザ５０４の頭部５１４が動いても、ＸＲ環境５０２Ａにおいて同じままであってもよく、それにより、ユーザ５０４に手間のかからない快適な視聴体験を提供する。さらに、ユーザ５０４がシステムＵＩ５０８をＸＲ環境５０２Ａ内で移動させると、システムＵＩ５０８は、安定点５１２とシステムＵＩ５０８の表面との間の線６０６がシステムＵＩ５０８の表面に対して垂直にまたは垂直から所定の角度になるように移動される。したがって、システムＵＩ５０８がユーザ５０４に近づいたり離れたり、ＸＲ環境５０２Ａ内で上下に移動したり、またはＸＲ環境５０２Ａ内で任意の方向に傾けられたりするとき、システムＵＩ５０８の表面はユーザ５０４の頭部の方を向いている。
【0066】
いくつかの実装形態では、垂直からの所定の角度は、ユーザの眼に向かう回転量、例えば、システムＵＩ表面をユーザの眼により近づける角度に対して垂直から５度までの回転であってもよい。いくつかの実装形態では、所定の角度は、システムＵＩ５０８の高さに基づくことができる。したがって、コンピューティングシステムは、線６０６がシステムＵＩ５０８の表面に対して垂直から所定の角度になるように移動するようにシステムＵＩ５０８の位置を回転させることができ、所定の角度は、システムＵＩ５０８の位置がユーザの眼の閾値高さからのオフセット６０８未満であるという決定に基づいて選択することができる。図６Ｂの閾値高さオフセット６０８は、ユーザ５０４の眼の高さ６１０に対するものであるが、ユーザの肩の高さ、胸骨中点、臀部の高さ、地面からの特定の距離、これらの決定された高さのうちの１つからの相対オフセットなどの他の特性に設定することができる。例えば、閾値高さオフセット６０８は、ユーザ５０４の眼の高さ６１０から地面の高さに向かって測定されてもよい。所定の角度は、この高さに対するものとすることができ、例えば、高さ６１０からのシステムＵＩ５０８のオフセットが与えられたときにシステムＵＩ５０８の表面がどの程度ユーザの眼に向けられるべきかを提供する線形または指数関数的な関係を規定することができる。場合によっては、線形または指数関数を定義する関数は、１０度などの最大値以下の所定の角度を提供するようにキャップすることができる。
【0067】
図７Ａ、図７Ｂおよび図７Ｃは、ユーザ５０４とシステムＵＩ５０８との間の距離に基づくシステムＵＩ５０８の入力モードの変更を示す概念図である。図７Ａは、インタラクションの直接タッチモードを描写する図７００Ａを含む。図７００Ａは、ＸＲ環境５０２Ａを含む。ＸＲ環境５０２Ａは、システムＵＩ５０８と、ユーザ５０４の手５０４Ａの表現６０２とを含む。
【0068】
コンピューティングシステムは、ユーザ５１２の位置を追跡するように構成されてもよい。追跡に基づいて、コンピューティングシステムは、ユーザ５０４とシステムＵＩ５０８との間の距離を決定する。一実装形態では、ユーザ５０４とシステムＵＩ５０８との間の距離は、少なくともユーザ５０４の手５０４ＡとシステムＵＩ５０８の表面との間の距離に基づいて決定される。ユーザ５０４の手５０４ＡとシステムＵＩ５０８の表面との間の距離は、ＸＲ環境５０２Ａにおけるユーザ５０４の手５０４Ａの表現６０２との間の距離として描写される。例えば、システムＵＩ５０８に最も近い部分とシステムＵＩ５０８の表面との間の距離を算出することで決定される。一例では、距離は、ユーザ５０４の手５０４Ａの人差し指の指先とシステムＵＩ５０８の表面との間で決定される。
【0069】
さらに、距離が第１の閾値７０２を下回っているという決定に応答して、コンピューティングシステムは、入力モードをインタラクションのレイキャスティングモードからインタラクションの直接タッチモードに変更してもよい。第１の閾値７０２はシステムＵＩ５０８の表面からユーザ５０４に向かう距離であってもよい。したがって、ユーザ５０４の手５０４Ａが第１の閾値７０２に達すると、入力モードは、ユーザ５０４がシステムＵＩ５０８と直接インタラクトすることができるようにインタラクションの直接タッチモードに変更される。そのようなインタラクションの直接タッチモードは、現実世界環境５０２において手５０４Ａを用いてデバイスに入力を提供するのと同様に、手５０４Ａを介してシステムＵＩ５０８に入力を直接提供する体験をユーザ５０４に提供する。インタラクションの直接タッチモードを使用するシステムＵＩ５０８とのインタラクションの詳細は、図７Ｂに提供される。
【0070】
図７Ｂは、インタラクションの直接タッチモードを使用するシステムＵＩ５０８とのインタラクションを描写する図７００Ｂを含む。図７００Ｂは、ＸＲ環境５０２Ａを含む。ＸＲ環境５０２Ａは、システムＵＩ５０８と、ユーザ５０４の手５０４Ａの表現６０２とを含む。システムＵＩ５０８は、ＵＩ要素５１０のセットをさらに含む。ＵＩ要素５１０のセットは、ＵＩ要素７０４を含む。
【0071】
インタラクションの直接タッチモードでは、ユーザ５０４の手５０４Ａの表現６０２は、ユーザ５０４の手５０４Ａの現実世界での場所を追跡し、ＵＩ要素５１０のセットのうちのＵＩ要素７０４などのＵＩ要素とインタラクトする。例えば、ユーザ５０４の手５０４Ａが移動してＵＩ要素７０４にタッチすると、コンピューティングシステムは手５０４Ａを追跡し、ユーザ５０４の手５０４Ａの表現６０２がＵＩ要素７０４にタッチしているように示される。一例では、ユーザ５０４の手５０４ＡとＵＩ要素７０４との接触は、ＵＩ要素５１０のセットのうちのＵＩ要素７０４の選択を可能にしてもよい。
【0072】
さらに、コンピューティングシステムは、インタラクションの直接タッチモードにおいて、フラットな形状を有するようにシステムＵＩ５０８の外観を修正してもよい。例えば、システムＵＩ５０８の表示がフラットに見えるように、システムＵＩ５０８の縁部はフラットであってもよい。したがって、インタラクションの直接タッチモードでは、コンピューティングシステムは、現実世界環境５０２における電子タブレットと同様に、タッチスクリーンデバイスとしてシステムＵＩ５０８とインタラクトする体験をユーザ５０４に提供する。
【0073】
一実装形態では、フラットな形状を有するシステムＵＩ５０８は、単一スクリーンディスプレイを含む。システムＵＩ５０８は、インタラクションの直接タッチモードにおいてユーザ５０４に近い（ユーザの別の手によって保持され得る）ので、単一スクリーンディスプレイを見ることは、ユーザ５０４に快適な視聴体験を提供してもよい。
【0074】
さらに、コンピューティングシステムは、ＵＩ要素５１０のセットのうちの１つまたは複数の外観が３次元（３Ｄ）形状を有し、ＵＩ要素５１０のセットのうちの１つまたは複数の各々に対して規定された固定サイズになるように修正してもよい。３Ｄ形状は、ＵＩ要素５１０のセットがシステムＵＩ５０８の表面からある高さにあることを可能にしてもよい。ＵＩ要素５１０のセットは、ユーザ５０４がどのＵＩ要素をターゲットするかを容易に識別し得るように、３Ｄ形状で示されてもよい。さらに、ＵＩ要素５１０のセットのサイズは固定されてもよく、いくつかの実施形態では、選択されたＵＩ要素のサイズは増加してもよい。例えば、ＵＩ要素７０４のサイズは、選択されると増加してもよい。
【0075】
コンピューティングシステムは、ユーザ５０４とシステムＵＩ５０８との間の距離に基づいて、入力モードをインタラクションの直接タッチモードからインタラクションのレイキャスティングモードに切り替えるようにさらに構成されてもよい。インタラクションのレイキャスティングモードの詳細は、図７Ｃに提供される。
【0076】
図７Ｃは、インタラクションのレイキャスティングモードを使用したシステムＵＩ５０８とのインタラクションを描写する図７００Ｃを含む。図７００Ｃは、ＸＲ環境５０２Ａを含む。ＸＲ環境５０２Ａは、システムＵＩ５０８を含む。ＸＲ環境５０２Ａは、コントローラの表現７０６をさらに含む。コントローラの表現７０６は、仮想線７０８を含んでもよい。システムＵＩ５０８は、ＵＩ要素５１０のセットをさらに含む。
【0077】
コンピューティングシステムは、ユーザ５０４の手５０４Ａ（またはコントローラ）とシステムＵＩ５０８の表面との間の距離が第２の閾値７１０を上回るようにユーザ５０４が移動したと決定してもよい。そのような場合、コンピューティングシステムは、入力モードをインタラクションの直接タッチモードからインタラクションのレイキャスティングモードに変更してもよい。
【0078】
一実装形態では、第１の閾値７０２は、第２の閾値７１０よりもシステムＵＩ５０８の表面に近くてもよい。例えば、第１の閾値７０２は１５ｃｍであってもよく、第２の閾値７１０は２５ｃｍであってもよい。したがって、ユーザ５０４の手５０４ＡがＸＲ環境５０２Ａにおいて第２の閾値７１０を超えるようにユーザ５０４が移動したとき、コンピューティングシステムは、入力モードをインタラクションのレイキャスティングモードに変更してもよい。
【0079】
インタラクションのレイキャスティングモードでは、ユーザ５０４の手５０４Ａの現実世界での場所に基づく位置を有する仮想線７０８は、ＵＩ要素５１０のセットのうちの要素とインタラクトする。仮想線７０８は、ユーザの手またはコントローラの表現７０６から出現する光線であってもよい。仮想線７０８は、ＵＩ要素５１０のセットとインタラクトするためのユーザ５０４による基準として使用されてもよい。例えば、仮想線７０８は、ＵＩ要素５１０のセットのうちのＵＩ要素７１２とインタラクトするために使用されてもよい。
【0080】
例示的なシナリオでは、ユーザ５０４とシステムＵＩ５０８の表面との間の距離が第２の閾値７１０を上回っているので、ユーザ５０４はシステムＵＩ５０８から遠い。したがって、ユーザ５０４は、インタラクションの直接タッチモードを体験することができない場合がある。そのような場合、コンピューティングシステムは、ユーザ５０４にインタラクションのレイキャスティングモードを提供する。
【0081】
さらに、コンピューティングシステムは、インタラクションのレイキャスティングモードにおいて、システムＵＩ５０８の外観が湾曲形状を有するように修正してもよい。例えば、システムＵＩ５０８の縁部は、システムＵＩ５０８の表示も湾曲して見えるように湾曲していてもよい。したがって、インタラクションのレイキャスティングモードにおいて、コンピューティングシステムは、ユーザ５０４に、遠距離からシステムＵＩ５０８とインタラクトする体験を提供する。
【0082】
一実装形態では、湾曲形状を有するシステムＵＩ５０８は、マルチスクリーンディスプレイ、例えばディスプレイ７１４Ａおよびディスプレイ７１４Ｂを含む。例示的なシナリオでは、ユーザ５０４は、複数のアプリケーションを同時に使用してもよい。例えば、ディスプレイ７１４Ａは、ウェブブラウザウィンドウであってもよい。別の例では、ディスプレイ７１４Ａは、ゲームアプリケーション、支払いアプリケーション、ショッピングアプリケーションなどのアプリケーションのユーザインターフェースを表示してもよい。ディスプレイ７１４Ｂは、システムＵＩ５０８の制御部にアクセスするためのユーザインターフェースを表示してもよい。例えば、ユーザ５０４は、ディスプレイ７１４Ｂを利用して、システムＵＩ５０８のための輝度、音量、および他の制御設定などの制御を設定する。一実装形態では、マルチスクリーンディスプレイは、一度に３つのディスプレイをサポートしてもよい。別の実装形態では、マルチスクリーンディスプレイは、一度に３つ以上のディスプレイをサポートしてもよい。したがって、システムＵＩ５０８上のマルチスクリーンディスプレイを使用することにより、ユーザ５０４は、ウィンドウ間で繰り返し切り替える必要なく、様々なアプリケーションを一度に利用することができてもよい。さらに、湾曲形状を有するシステムＵＩ５０８のサイズは、フラットな形状を有するシステムＵＩ５０８のサイズよりも大きくてもよい。システムＵＩ５０８は、インタラクションのレイキャスティングモードにおいてユーザ５０４から遠く離れているので、大きなサイズのマルチスクリーンディスプレイで湾曲形状を見ることは、ユーザ５０４に快適な視聴体験を提供してもよい。
【0083】
さらに、コンピューティングシステムは、ＵＩ要素５１０のセットのうちの１つまたは複数の外観が２次元（２Ｄ）（湾曲したシステムＵＩ表面に沿ってやはり湾曲している）形状を有し、システムＵＩ５０８に対するユーザ５０４の決定された距離に基づいて規定された相対サイズになるように修正してもよい。例えば、システムＵＩ５０８上のユーザ５０４により近いＵＩ要素は、湾曲形状を有するシステムＵＩ５０８上のユーザ５０４から遠いＵＩ要素と比較して小さく見えてもよい。この関係は、距離を取り、倍率値を提供する規定された関係（例えば、線形であり、規定された最大値を有することができる）に基づくことができる。例示的なシナリオでは、システムＵＩ５０８の湾曲縁部付近のＵＩ要素は、システムＵＩ５０８の表面の中央のＵＩ要素と比較して小さく見えてもよい。
【0084】
いくつかの実装形態では、ユーザ５１２とシステムＵＩ５０４との間の距離が第１の閾値７０２と第２の閾値７１０との間にある場合（例えば、１５ｃｍ～２５ｃｍ）、コンピューティングシステムはその以前の入力モードを維持する。ヒステリシスを実装するこのような様式では、ユーザが閾値に近づくと、入力モードとシステムＵＩ表示モードとの間で突然切り替えが繰り返されることを回避することができる。さらに、システムＵＩ５０８は、入力モード間のフリッカまたは突然の遷移を回避するために、第１の閾値７０２と第２の閾値７１０との間のインタラクションのレイキャスティングモードを、直接タッチモードに唐突に切り替えることはない。
【0085】
図８は、システムＵＩ５０８の回転のためにいくつかの実装形態で使用される方法８００のフロー図である。一実装形態では、方法８００は、コンピューティングシステムおよびＸＲデバイス５０６がネットワーク３３０を介して接続されたときにトリガされてもよい。ＸＲデバイス５０６がユーザ５０４によって起動されると、コンピューティングシステムは、ＸＲデバイス５０６上にＸＲ環境５０２Ａを表示してもよい。さらに、コンピューティングシステムは、ユーザ５０４から入力を受信して、ＸＲ環境５０２ＡにおいてシステムＵＩ５０８をレンダリングしてもよい。
【0086】
ブロック８０２において、システムＵＩ５０８は、ＸＲ環境５０２Ａ内の３Ｄ仮想要素としてレンダリングされる。例えば、システムＵＩ５０８は、プリセットのデフォルト位置にあるユーザ５１２の眼の高さの前にあるＸＲ環境５０２Ａ内の位置、ユーザ５０４によって規定された位置などにレンダリングされてもよい。レンダリングされたシステムＵＩ５０８の位置は、ユーザ５０４の両腕の届く範囲内にあるように設定することができる。
【0087】
ブロック８０４において、ユーザ５０４の手５０４Ａの位置、およびユーザ５０４上の所定の安定点５１２が、コンピューティングシステムによって追跡される。ユーザ５０４の手５０４Ａの位置、および所定の安定点５１２の追跡は、ＸＲデバイス５０６上に存在する、またはＸＲデバイス５０６と通信する１つまたは複数のセンサ（例えば、カメラ、モーションセンサ、赤外線センサなど）を使用して取得された位置データに基づいて実施されてもよい。例えば、１つまたは複数のセンサは、カメラなどの撮像デバイスを含んでもよい。さらに、コントローラ２７０を使用して追跡を実施してもよい。いくつかの実装形態では、追跡は、ユーザの身体の可能な動きを定義する１つまたは複数の運動学的モデルに基づいてもよく、ユーザの画像に基づく入力を受信する機械学習モデルが、ユーザの身体の様々な部分の可能な位置に対する制約として運動学的モデルを使用することを可能にする。場合によっては、機械学習モデルは、ユーザの身体の部分の過去の既知の位置を入力として使用して、ユーザの動きの時間ベースの予測を実施することができる。場合によっては、画像ベースのユーザ追跡は、ユーザの身体の一部の運動を感知するウェアラブル機器に基づく追跡など、他の形態の追跡によって補完されるか、または他の形態の追跡と置き換えることができる。追加のセンサデータが蓄積されると、手５０４Ａ（またはコントローラ）の表現６０２の位置およびユーザ上の安定点の位置は、追跡に基づいて更新される。
【0088】
ブロック８０６において、ユーザ５０４の手５０４ＡがシステムＵＩ５０８の部分６０４を把持したことの識別に応答して、コンピューティングシステムは、システムＵＩ５０８の把持された部分６０４を中心にシステムＵＩ５０８の位置を回転させてもよい。システムＵＩ５０８の位置の回転は、ユーザ５０４が把持された部分６０４を介してシステムＵＩ５０８を移動させるときに、所定の安定点５１２とシステムＵＩ５０８の表面との間の線６０６がシステムＵＩ５０８の表面に対して垂直にまたは垂直から所定の角度になるように移動するように実施される。いくつかの実装形態では、この回転は、ユーザがシステムＵＩを閾値量だけ移動させた後にのみ発生してもよく、および／または所与の速度で回転を実施してもよく、システムＵＩがユーザが不快になるほど素早く回転位置にスナップすることはないことを可能にする。
【0089】
方法８００は、コンピューティングシステムの対応するプロセッサを使用して実装されてもよい。いくつかの実装形態では、コンピュータプログラム可能製品を提供してもよい。コンピュータプログラム可能製品は、コンピュータによって実行されると、方法８００をコンピュータに実行させるコンピュータ実行可能プログラムコード命令を格納した少なくとも１つの非一時的コンピュータ可読記憶媒体を備えてもよい。
【0090】
図９Ａおよび図９Ｂは、システムＵＩ５０８の入力モードを切り替え、システムＵＩ５０８の外観を修正するためにいくつかの実装形態で使用される方法９００のフロー図を示す。一実装形態では、方法９００は、ユーザが人工現実環境に入ったとき、例えばＸＲデバイス５０６を身に着けたときに実施されてもよい。ＸＲデバイス５０６がユーザ５０４によって起動されると、コンピューティングシステムは、ＸＲデバイス５０６上にＸＲ環境５０２Ａを表示してもよい。さらに、コンピューティングシステムは、ユーザ５０４から入力を受信して、ＸＲ環境５０２ＡにおいてシステムＵＩ５０８をレンダリングしてもよい。
【0091】
ブロック９０２において、システムＵＩ５０８は、ＸＲ環境５０２Ａ内の３Ｄ仮想要素としてレンダリングされる。例えば、システムＵＩ５０８は、プリセットのデフォルト位置にあるユーザ５０４の眼の高さの前にあるＸＲ環境５０２Ａ内の位置、ユーザ５０４によって規定された位置などにレンダリングされてもよい。システムＵＩ５０８は、システムＵＩ５０８の表面に配置されたＵＩ要素５１０のセットを含む。レンダリングされたシステムＵＩ５０８の位置は、ＸＲデバイス５０６に組み込まれたプリセットのデフォルト位置および／またはユーザ５０４によって規定された位置に設定することができる。システムＵＩ５０８の位置は、ユーザ５０４の両腕の届く範囲内にあるように設定することができる。
【0092】
ブロック９０４において、追跡されたユーザ５０４の位置に基づいて、ユーザ５０４とシステムＵＩ５０８との間の距離が決定される。追跡は、ＸＲデバイス５０６上に存在する、またはＸＲデバイス５０６と通信する１つまたは複数のセンサ（例えば、カメラ、モーションセンサ、赤外線センサなど）を使用して取得された位置データに基づいて実施されてもよい。例えば、１つまたは複数のセンサは、カメラなどの撮像デバイスを含んでもよい。さらに、コントローラ２７０を使用して追跡を実施してもよい。いくつかの実装形態では、追跡は、ユーザの身体の可能な動きを定義する１つまたは複数の運動学的モデルに基づいてもよく、ユーザの画像に基づく入力を受信する機械学習モデルが、ユーザの身体の様々な部分の可能な位置に対する制約として運動学的モデルを使用することを可能にする。場合によっては、機械学習モデルは、ユーザの身体の部分の過去の既知の位置を入力として使用して、ユーザの動きの時間ベースの予測を実施することができる。場合によっては、画像ベースのユーザ追跡は、ユーザの身体の一部の運動を感知するウェアラブル機器に基づく追跡など、他の形態の追跡によって補完されるか、または他の形態の追跡と置き換えることができる。追加のセンサデータが蓄積されると、手５０４Ａ（またはコントローラ）の表現６０２の位置およびユーザ上の安定点の位置は、追跡に基づいて更新される。一実装形態では、ユーザ５０４とシステムＵＩ５０８との間の距離は、ユーザ５０４の手５０４ＡとシステムＵＩ５０８の表面との間の距離に基づいて決定される。
【0093】
ブロック９０６において、コンピューティングシステムは、距離が第１の閾値７０２を下回っている（例えば、決定された典型的な腕の長さまたはユーザ５０４の腕の決定された長さの距離の内部）かどうかを決定することができる。例えば、コンピューティングシステムは、ユーザ５０４の手５０４Ａの動きが検出されたときに距離を決定する。距離が第１の閾値７０２を下回っているという決定に応答して、ブロック９０８で説明されるさらなるステップが実施される（サブステップ９０８Ａ、９０８Ｂおよび９０８Ｃにさらに分割される）。
【0094】
ブロック９０８Ａにおいて、ユーザ５０４とシステムＵＩ５０８との間の距離が第１の閾値７０２を下回ると、コンピューティングシステムは、入力モードをインタラクションのレイキャスティングモードからインタラクションの直接タッチモードに変更するように構成される。インタラクションの直接タッチモードでは、ユーザ５０４の手５０４Ａの追跡された現実世界での場所に基づいて、ユーザ５０４の手５０４Ａの表現６０２は、ＵＩ要素５１０のセットのうちのＵＩ要素とインタラクトする。
【0095】
ブロック９０８Ｂにおいて、コンピューティングシステムは、フラットな形状を有するようにシステムＵＩ５０８の外観を修正するように構成される。例えば、システムＵＩ５０８の表示がフラットに見えるように、システムＵＩ５０８の縁部はフラットであってもよい。一実装形態では、インタラクションの直接タッチモードでは、フラットな形状を有するシステムＵＩ５０８は、ユーザが掴んで移動させることができる単一スクリーンディスプレイを含む。システムＵＩ５０８は、インタラクションの直接タッチモードにおいてユーザ５０４に近い（ユーザの別の手によって保持され得る）ので、単一スクリーンディスプレイを見ることは、ユーザ５０４に快適な視聴体験を提供してもよい。
【0096】
ブロック９０８Ｃにおいて、コンピューティングシステムは、ＵＩ要素５１０のセットのうちの１つまたは複数の外観が３Ｄ形状を有し、ＵＩ要素５１０のセットのうちの１つまたは複数の各々に対して規定された固定サイズになるように修正するように構成される。３Ｄ形状は、ＵＩ要素５１０のセットがシステムＵＩ５０８の表面からある高さにあることを可能にしてもよい。ＵＩ要素５１０のセットは、ユーザ５０４がどのＵＩ要素をターゲットするかを容易に識別し得るように、３Ｄ形状で示されてもよい。さらに、ＵＩ要素５１０のセットのサイズは固定されてもよく、いくつかの実施形態では、選択されたＵＩ要素のサイズは増加してもよい。
【0097】
ブロック９１０において、距離が第１の閾値７０２を上回っているという決定に基づいて、コンピューティングシステムは、距離が第２の閾値７１０を上回っているかどうかを決定するように構成される。例えば、距離が第２の閾値７１０を上回るという決定はまた、決定された典型的な腕の長さまたはユーザ５０４の腕の決定された長さに基づいてもよい。距離が第２の閾値を上回っていないという決定に応答して、プロセス９００は終了することができる。プロセス９００は、例えば、ユーザが移動し、システムＵＩが表示され続けるときに、再び反復的に実施することができる。
【0098】
ブロック９１４Ａにおいて、ユーザ５０４とシステムＵＩ５０８との間の距離が第２の閾値７１０を上回るとき、コンピューティングシステムは、入力モードをインタラクションの直接タッチモードからインタラクションのレイキャスティングモードに変更するように構成される。インタラクションのレイキャスティングモードでは、ユーザ５０４の手５０４Ａの現実世界での場所に基づく位置を有する仮想線７０８は、ＵＩ要素５１０のセットのうちのＵＩ要素とインタラクトする。仮想線７０８は、ユーザの手またはコントローラの表現７０６から出現する光線であってもよい。仮想線７０８は、ＵＩ要素５１０のセットとインタラクトするためのユーザ５０４による基準として使用されてもよい。例えば、仮想線７０８は、ＵＩ要素５１０のセットのうちのＵＩ要素７１２とインタラクトするために使用されてもよい。
【0099】
ブロック９１４Ｂにおいて、コンピューティングシステムは、システムＵＩ５０８の外観が湾曲形状を有するように修正するように構成される。例えば、システムＵＩ５０８の縁部は、システムＵＩ５０８の表示も湾曲して見えるように湾曲していてもよい。したがって、インタラクションのレイキャスティングモードにおいて、コンピューティングシステムは、ユーザ５０４に、遠距離からシステムＵＩ５０８とインタラクトする体験を提供する。一実装形態では、湾曲形状を有するシステムＵＩ５０８は、マルチスクリーンディスプレイ、例えばディスプレイ７１４Ａおよびディスプレイ７１４Ｂを含む。特に、システムＵＩ５０８上のマルチスクリーンディスプレイを使用することにより、ユーザ５０４は、ウィンドウ間で繰り返し切り替える必要なく、様々なアプリケーションを一度に利用することができてもよい。
【0100】
ブロック９１４Ｃにおいて、コンピューティングシステムは、ＵＩ要素５１０のセットのうちの１つまたは複数の外観が２Ｄ（湾曲したシステムＵＩ表面に沿ってやはり湾曲している）形状を有する必要があり、システムＵＩ５０８に対するユーザ５０４の決定された距離に基づいて規定された相対サイズになるように修正するように構成される。例えば、システムＵＩ５０８上のユーザ５０４により近いＵＩ要素は、湾曲形状を有するシステムＵＩ５０８上のユーザ５０４から遠いＵＩ要素と比較して小さく見えてもよい。この関係は、距離を取り、倍率値を提供する規定された関係（例えば、線形であり、規定された最大値を有することができる）に基づくことができる。したがって、ユーザ５０４とシステムＵＩ５０８との間の距離に基づいて、コンピューティングシステムは、フリッカを引き起こすことなくシステムＵＩ５０８の入力モードおよび表示モードの切り替えを可能にし、それにより、ユーザ５０４に強化されたユーザ体験を提供する。
【0101】
方法９００は、コンピューティングシステムの対応するプロセッサを使用して実装されてもよい。いくつかの実装形態では、コンピュータプログラム可能製品を提供してもよい。コンピュータプログラム可能製品は、コンピュータによって実行されると、方法９００をコンピュータに実行させるコンピュータ実行可能プログラムコード命令を格納した少なくとも１つの非一時的コンピュータ可読記憶媒体を備えてもよい。
【0102】
図１０は、システムＵＩの様々な実装および構成を示す概念図１０００である。図１０は、システムＵＩの４つのバージョンを含む。バージョン１０１２は、ユーザ１００２が一方の手１００４で保持し、他方の手でインタラクトすることができるハンドヘルド仮想オブジェクトとして表示されるシステムＵＩを含む。システムＵＩバージョン１０１２に関するさらなる詳細は、図１１Ａに関連して以下に提供される。バージョン１０１０は、ユーザ１００２の視野の周りの所定の位置にロックされた要素および制御部１０１０Ａおよび１０１０Ｂなどの別個のＵＩ要素および制御部のセットとして表示されるシステムＵＩを含む。システムＵＩバージョン１０１０に関するさらなる詳細は、図１１Ｂに関連して以下に提供される。バージョン１００８は、複数のアプリケーションまたは情報ソースへのマルチタスクおよび同時アクセスを可能にする複数のウィンドウ１００８Ａ～１００８Ｃのセットとして表示されるシステムＵＩを含む。システムＵＩバージョン１００８に関するさらなる詳細は、図１１Ｃに関連して以下に提供される。バージョン１００６は、没入型コンテンツ視聴体験を提供する、大きなヘッドロックスクリーンまたはワールドロックスクリーンとして表示されるシステムＵＩを含む。システムＵＩバージョン１００６に関するさらなる詳細は、図１１Ｄに関連して以下に提供される。
【0103】
図１１Ａ～図１１Ｄは概念図１１００、１１１０、１１２０、および１１３０であり、それぞれがシステムＵＩの様々な実装および構成のうちの１つをさらに示している。様々な実装形態において、概念図１１００、１１１０、１１２０、および１１３０に示されるシステムＵＩ構成をマッピングして、ユーザが、ＶＲ没入型アプリケーション、複合現実または拡張現実体験などの様々なコンテキストにおいて、指定されたホーム環境、特定のスクリーンサイズインターフェース、遮蔽パラメータ、またはユーザ入力モダリティを必要とすると指定された状況にあると識別されたときに使用することができる。例えば、システムＵＩが別個のＵＩ要素のセットとして表示され、制御部がユーザの視野の周りの所定の位置にロックされるヘッドアップ構成は、ユーザが両手を自由にする必要があるか、またはシステム制御のための注意が限られており、したがって、ひと目でわかる（ｇｌａｎｃｅａｂｌｅ）情報を必要とするように規定されたコンテキストで使用することができ；ユーザが一方の手で保持し、他方の手でインタラクトすることができるハンドヘルド仮想オブジェクトとしてシステムＵＩが表示されるタブレット構成は、デフォルトモードとして使用することができる；システムＵＩが複数のウィンドウのセットとして表示されるマルチスクリーン構成は、ユーザがマルチタスクを行い得るコンテキストにおいて使用することができ；そして、システムＵＩが大きなヘッドロックスクリーンまたはワールドロックスクリーンとして表示されるシアタースクリーン構成は、ユーザが映画または没入型メディアなどのコンテンツアイテムを視聴している状況で使用することができる。
【0104】
図１１Ａは、ユーザが一方の手で保持し、他方の手でインタラクトすることができるハンドヘルド仮想オブジェクトとして表示されているシステムＵＩ１１０２を示す。図１１Ａに示されるシステムＵＩ構成は、ユーザが最初にシステムＵＩを有効にするとき、ユーザが異なる構成で示されるシステムＵＩの一部を掴むジェスチャを実施するとき、このシステムＵＩモードに入るための音声コマンドまたはＵＩ要素のアクティブ化時などにトリガすることができる。個の構成のシステムＵＩは、様々なシステム制御、アプリケーションへのアクセス（例えば、領域１１０６）、アカウントおよび支払い方法などのツールおよびユーティリティ（例えば、領域１１０４）、様々なメタバース先への移動リンク、ユーザのコンテンツ項目、ユーザのアバターの外観および付属品を移動および設定するための制御などを含むことができる。ユーザは、ユーザの物理的な手でグラブジェスチャを行うことによってこのシステムＵＩ１１０２を保持することができ、それにより、ユーザは、容易な閲覧およびユーザの他方の手とのインタラクションを容易にする様式で、システムＵＩ１１０２を６自由度で移動および位置合わせすることができる。ユーザがシステムＵＩ１１０２を手放すと、様々な実装形態において、システムＵＩ１１０２は消滅するか、解放された場所でワールドロックされるか、デフォルトの場所に移動するか、または図１１Ｂ～図１１Ｄに示される状態のうちの１つなどの別の状態に遷移してもよい。
【0105】
図１１Ｂは、ユーザの視野の周りの所定の位置にロックされた別個のＵＩ要素および制御部のセットとして表示されるシステムＵＩを含む。図１１Ｂに示されるシステムＵＩ構成は、ユーザが最初にシステムＵＩを有効にするとき、ユーザが図１１Ａ、図１１Ｃ、または図１１Ｄに示されるモードのうちの別のモードからシステムＵＩを閉じるとき、このシステムＵＩモードに入るための音声コマンドまたはＵＩ要素のアクティブ化時などにトリガすることができる。図１１Ｂでは、ユーザの視野（すなわち、ユーザが自分の人工現実デバイスを通して見ることができる現実世界または仮想世界の領域）が長方形１１１４として示されている。図示の例では、システムＵＩは、システム制御部１１１６および通知部１１１２を含むいくつかのＵＩ要素に分割されている。個の構成のシステムＵＩは、システムコントローラまたは他の実行アプリケーションによって表面化されたときにユーザの視野内の特定の領域にロックされることができる追加のＵＩ要素をポップアップすることができる。システムＵＩは、システムＵＩモードのうちの１つが本明細書で説明するようにアクティブ化されると、システムＵＩモードのうちの別のモードに戻ることができる。
【0106】
図１１Ｃは、複数のアプリケーションまたは情報ソースへのマルチタスクおよび同時アクセスを可能にする複数のウィンドウ１１２２～１１２６のセットとして表示されるシステムＵＩを含む。図１１Ｃに示されるシステムＵＩ構成は、ユーザが最初にシステムＵＩを有効にするとき、システムＵＩのタブレットバージョンを投げる、または５本全ての指を開くジェスチャもしくは両手を引き離すジェスチャによってシステムＵＩのタブレットバージョンを引き伸ばすジェスチャをユーザが実施したとき、このシステムＵＩモードに入るための音声コマンドまたはＵＩ要素のアクティブ化時などにトリガすることができる。この構成のシステムＵＩは、複数のウィンドウを示すことができ、複数のウィンドウでは、ウェブブラウザまたは別のアプリケーションの２Ｄバージョン（例えば、ウィンドウ１１２６）、文書、ビデオ、もしくは画像などのコンテンツ項目、またはそのようなコンテンツ項目のライブラリ、連絡先もしくは他のソーシャルメディアコンテンツ（例えば、ウィンドウ１１２２）、ニュースフィード、インストールされたアプリケーション（例えば、ウィンドウ１１２４）、様々なメタバース先までナビゲートするための制御、アバターの設定および制御など、それぞれが何を示すかをユーザが選択することができる。いくつかの実装形態では、システムＵＩのこの構成はまた、例えばクイックアクセスコントロール、設定、システムステータスおよび通知制御などを有するランチャーバー１１２８も含むことができる。システムＵＩはまた、そうするためのユーザコマンドまたはジェスチャによって、閉じるか、または図１１Ａ、図１１Ｂ、もしくは図１１Ｄに示される構成のうちの別の構成に遷移することができる。
【0107】
図１１Ｄは、没入型コンテンツ視聴体験を提供する、大きなヘッドロックスクリーンまたはワールドロックスクリーンとして表示されているシステムＵＩを含む。図１１Ｄに示すシステムＵＩ構成は、ユーザが最初にシステムＵＩを有効にするとき、ユーザがこのモード用に構成されたシステムＵＩ内のコンテンツ項目を開くとき、このモードでシステムＵＩを介してコンテンツ項目を提供するためのアプリケーションまたは体験設定を開始したとき、システムＵＩを投げるか、または閾値サイズを超えてシステムＵＩをさらに引き伸ばすジェスチャ（例えば、５本全ての指を開くジェスチャか、または閾値サイズよりも両手を引き離すジェスチャによってシステムＵＩの別のバージョンを引き伸ばすことによる）をユーザが行ったとき、このシステムＵＩモードに入るための音声コマンドまたはＵＩ要素のアクティブ化時などにトリガすることができる。この構成のシステムＵＩは、コンテンツ項目を示す完全に没入型体験を提供することができるか、またはコンテンツ項目１１３４を示すスクリーン１１３２などの大きな仮想スクリーンを示すことができる。いくつかの実装形態では、この構成のシステムＵＩは、システム制御、通知、共同視聴要素などの追加のシステムＵＩ要素１１３６を含むことができる。この構成のシステムＵＩは、ユーザが世界を動き回るときに同じ場所に留まるように見えるようにワールドロックすることができる（スクリーンをユーザに向けたままにすることを含むことができる）、またはユーザが世界を動き回るときにユーザから同じ距離に留まるように見えるようにボディロックすることができる。この構成からのシステムＵＩは、例えば、グラブジェスチャでユーザによって選択されたとき、音声またはＵＩのアクティブ化による閉じるコマンドに応答するなどして、閉じるか、またはシステムＵＩ構成のうちの別のものに遷移することができる。
【0108】
開示された技術のいくつかの実装形態は、図面を参照して上述されている。記載された技術が実装され得るコンピューティングデバイスは、１つまたは複数の中央処理装置、メモリ、入力デバイス（例えば、キーボードおよびポインティングデバイス）、出力デバイス（例えば、ディスプレイデバイス）、ストレージデバイス（例えば、ディスクドライブ）、およびネットワークデバイス（例えば、ネットワークインターフェース）を含むことができる。メモリおよび記憶デバイスは、記載された技術の少なくとも一部を実装する命令を格納することができるコンピュータ可読記憶媒体である。さらに、データ構造およびメッセージ構造は、通信リンク上の信号などのデータ伝送媒体を介して格納または送信することができる。インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、またはポイントツーポイントダイヤルアップ接続などの様々な通信リンクを使用することができる。したがって、コンピュータ可読媒体は、コンピュータ可読記憶媒体（例えば、「非一時的」媒体）およびコンピュータ可読伝送媒体を備えることができる。
【0109】
本明細書における、「実装形態」（例えば、「いくつかの実装形態」、「様々な実装形態」、「１つの実装形態」、「一実装形態」など）への言及は、実装形態に関連して説明される特定の特徴、構造、または特性が、本開示の少なくとも１つの実装形態に含まれることを意味する。本明細書における様々な場所にこれらの語句が現れることは、全てが必ずしも同じ実装形態に言及しているわけでもないし、他の実装形態を相互に除外する別個のまたは代替的な実装形態であるわけでもない。さらに、一部の実装形態によって示されるが他の実装形態によって示されない場合がある様々な特徴が記載される。同様に、一部の実装形態にとっては必要条件であるが、他の実装形態にとってはそうでない様々な必要条件が記載される。
【0110】
本明細書で使用される際、閾値を上回ることは、比較中の項目に対する値が指定された他の値を上回ること、比較中の項目がある特定の指定された数の項目の中で最も大きい値を有すること、または比較中の項目が指定された最高のパーセンテージ値内の値を有することを意味する。本明細書で使用される際、閾値を下回ることは、比較中の項目に対する値が指定された他の値を下回ること、比較中の項目がある特定の指定された数の項目の中で最も小さい値を有すること、または比較中の項目が指定された最低のパーセンテージ値内の値を有することを意味する。本明細書で使用される際に、閾値内であることは、比較中の項目に対する値が２つの指定された他の値の間にあること、比較中の項目が指定された数の項目の中間にあること、または比較中の項目が中間の指定されたパーセンテージ範囲内の値を有することを意味する。高いまたは重要ではないなどの相対的な用語は、別段定義されない時、値を割り当て、かつその値が確立された閾値とどのように比較されるかを判断するものと理解可能である。例えば、語句「速い接続を選択すること」は、その接続速度に対応して割り当てられた値を有し、その割り当てられた値が閾値を超える接続を選択することを意味するように理解可能である。
【0111】
本明細書で使用される際、「または」という語は、一連の項目の任意の可能な置換を指す。例えば、「Ａ、ＢまたはＣ」という語句は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、Ａ、Ｂ、およびＣ、またはＡおよびＡ、Ｂ、Ｂ、およびＣ、Ａ、Ａ、Ｂ、Ｃ、およびＣなどの複数の任意の項目のいずれかなど、Ａ、Ｂ、Ｃの少なくとも１つ、またはこれらの任意の組み合わせを指す。
【0112】
構造上の特徴および／または方法論的動作に特有の言語で主題について説明してきたが、添付の特許請求の範囲で定義される主題が必ずしも上述される具体的な特徴または動作に限定されないことは理解されたい。具体的な実施形態および実装形態が例示の目的で本明細書に説明されているが、実施形態および実装形態の範囲から逸脱することなく、様々な修正がなされ得る。上述される具体的な特徴および動作は、以下に続く特許請求の範囲を満たす例示の形態として開示される。それ故に、実施形態および実装形態は、添付の特許請求の範囲によって限定される場合を除いて限定されない。
【0113】
上で述べられるいずれの特許、特許出願、および他の参考文献も、参照により本明細書に組み込まれる。必要に応じて、上述される様々な参考文献のシステム、機能、および概念を用いてさらなる実装形態を提供するために態様が修正され得る。参照により組み込まれる文献の記述または主題が本出願の記述または主題と矛盾する場合、本出願が優先されるものとする。
【図1】
【図2A】
【図2B】
【図2C】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7A】
【図7B】
【図7C】
【図8】
【図9A】
【図9B】
【図10】
【図11A】
【図11B】
【図11C】
【図11D】
【外国語明細書】