知財求人 - 知財ポータルサイト「IP Force」
特開2024-125265人工現実環境におけるユーザインターフェースインタラクションの容易化
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024125265
(43)【公開日】2024-09-18
(54)【発明の名称】人工現実環境におけるユーザインターフェースインタラクションの容易化
(51)【国際特許分類】
G06F 3/01 20060101AFI20240910BHJP
G06T 19/00 20110101ALI20240910BHJP
G09G 5/00 20060101ALI20240910BHJP
G09G 5/10 20060101ALI20240910BHJP
G09G 5/37 20060101ALI20240910BHJP
【ＦＩ】
G06F3/01 510
G06F3/01 570
G06T19/00 C
G09G5/00 510G
G09G5/10 B
G09G5/37 600
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024015549
(22)【出願日】2024-02-05
(31)【優先権主張番号】18/166,282
(32)【優先日】2023-02-08
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】515046968
【氏名又は名称】メタ プラットフォームズ テクノロジーズ， リミテッド ライアビリティ カンパニー
【氏名又は名称原語表記】ＭＥＴＡ ＰＬＡＴＦＯＲＭＳ ＴＥＣＨＮＯＬＯＧＩＥＳ， ＬＬＣ
(74)【代理人】
【識別番号】110002974
【氏名又は名称】弁理士法人Ｗｏｒｌｄ ＩＰ
(72)【発明者】
【氏名】ジョンソン， アンドリュー シー
(72)【発明者】
【氏名】インスリー， マシュー アラン
(72)【発明者】
【氏名】レヴァティチ， サミュエル マシュー
(72)【発明者】
【氏名】シオン， チー
(72)【発明者】
【氏名】クレン， マテウス
(72)【発明者】
【氏名】フルトワングラー， ブランドン
(72)【発明者】
【氏名】エデルブラット， ジェレミー
(72)【発明者】
【氏名】ジトコフ， ジョン ニコラス
(72)【発明者】
【氏名】モロー， ジェニファー
(57)【要約】 （修正有）
【課題】ＸＲ環境におけるユーザインターフェースインタラクションを容易にするためのコンピュータ実装方法の提供
【解決手段】方法は、ユーザの手の位置を追跡することを含み、ユーザの手の位置がＵＩ要素の第１の閾値距離内にあることに基づいてＵＩ要素を修正する第１のフィードバックを生成することによって、またはユーザの手の位置が縁部の第２の閾値距離内にあることに基づいてシステムＵＩの縁部を強調する第２のフィードバックを生成することによって、インタラクション機会を表明することをさらに含み、ユーザの手の位置を更新することを含み、ユーザの手がＵＩ要素とインタラクトしたときに、ユーザの手の表現の場所を修正することによってＵＩ要素とのインタラクションを表明すること、または縁部を掴んでいる表現の部分を強調する第３のフィードバックを生成することによって、縁部とのインタラクションを表明することをさらに含む。
【選択図】図２Ａ
【解決手段】方法は、ユーザの手の位置を追跡することを含み、ユーザの手の位置がＵＩ要素の第１の閾値距離内にあることに基づいてＵＩ要素を修正する第１のフィードバックを生成することによって、またはユーザの手の位置が縁部の第２の閾値距離内にあることに基づいてシステムＵＩの縁部を強調する第２のフィードバックを生成することによって、インタラクション機会を表明することをさらに含み、ユーザの手の位置を更新することを含み、ユーザの手がＵＩ要素とインタラクトしたときに、ユーザの手の表現の場所を修正することによってＵＩ要素とのインタラクションを表明すること、または縁部を掴んでいる表現の部分を強調する第３のフィードバックを生成することによって、縁部とのインタラクションを表明することをさらに含む。
【選択図】図２Ａ
【特許請求の範囲】
【請求項1】
人工現実（ＸＲ）環境におけるユーザインターフェース（ＵＩ）インタラクションを容易にするためのコンピュータ実装方法であって、
前記ＸＲ環境において、ＵＩ要素のセットを含むシステムＵＩをレンダリングすることと、
前記システムＵＩおよび／または前記ＵＩ要素のセットに対するユーザの手の位置を追跡することと、
前記システムＵＩまたは前記ＵＩ要素のセットのうちのあるＵＩ要素とのインタラクション機会を、
前記ユーザの手の前記位置が前記ＵＩ要素の第１の閾値距離内にあるという決定に応答して、前記ＵＩ要素のアクティブ化の前に、前記ＵＩ要素を前記システムＵＩの表面の上方に拡張することによって前記ＵＩ要素を修正する第１のフィードバックを生成すること、または
前記ユーザの手の前記位置が前記システムＵＩの縁部の第２の閾値距離内にあるという決定に応答して、前記システムＵＩの前記縁部の少なくとも一部を強調する第２のフィードバックを生成すること
によって表明することと、
前記システムＵＩおよび／または前記ＵＩ要素のセットに対する前記ユーザの手の前記位置を更新することと、
前記システムＵＩまたは前記ＵＩ要素とのインタラクションを、
前記ユーザの手の前記位置が前記ＵＩ要素とインタラクトしたという決定に応答して、前記ユーザの手の表現の場所を、前記ユーザの手の現実世界での場所を直接追跡することから、前記ユーザの手の前記現実世界での場所および前記ＵＩ要素の場所の両方に基づく位置に修正させること、または
前記ユーザの手の前記位置が前記システムＵＩの前記縁部を掴むジェスチャを含んでいるという決定に応答して、前記システムＵＩを掴んでいる前記ユーザの手の前記表現の少なくとも一部を強調する第３のフィードバックを生成すること
によって表明することと
を含む、
コンピュータ実装方法。
前記ＸＲ環境において、ＵＩ要素のセットを含むシステムＵＩをレンダリングすることと、
前記システムＵＩおよび／または前記ＵＩ要素のセットに対するユーザの手の位置を追跡することと、
前記システムＵＩまたは前記ＵＩ要素のセットのうちのあるＵＩ要素とのインタラクション機会を、
前記ユーザの手の前記位置が前記ＵＩ要素の第１の閾値距離内にあるという決定に応答して、前記ＵＩ要素のアクティブ化の前に、前記ＵＩ要素を前記システムＵＩの表面の上方に拡張することによって前記ＵＩ要素を修正する第１のフィードバックを生成すること、または
前記ユーザの手の前記位置が前記システムＵＩの縁部の第２の閾値距離内にあるという決定に応答して、前記システムＵＩの前記縁部の少なくとも一部を強調する第２のフィードバックを生成すること
によって表明することと、
前記システムＵＩおよび／または前記ＵＩ要素のセットに対する前記ユーザの手の前記位置を更新することと、
前記システムＵＩまたは前記ＵＩ要素とのインタラクションを、
前記ユーザの手の前記位置が前記ＵＩ要素とインタラクトしたという決定に応答して、前記ユーザの手の表現の場所を、前記ユーザの手の現実世界での場所を直接追跡することから、前記ユーザの手の前記現実世界での場所および前記ＵＩ要素の場所の両方に基づく位置に修正させること、または
前記ユーザの手の前記位置が前記システムＵＩの前記縁部を掴むジェスチャを含んでいるという決定に応答して、前記システムＵＩを掴んでいる前記ユーザの手の前記表現の少なくとも一部を強調する第３のフィードバックを生成すること
によって表明することと
を含む、
コンピュータ実装方法。
【請求項2】
前記インタラクション機会を表明することが、前記第１のフィードバックを生成することを含み、かつ
前記第１のフィードバックが、前記ＵＩ要素のセットのうちの前記ＵＩ要素によってカバーされる前記システムＵＩの前記表面の量を増加させることをさらに含む、
請求項１に記載のコンピュータ実装方法。
前記第１のフィードバックが、前記ＵＩ要素のセットのうちの前記ＵＩ要素によってカバーされる前記システムＵＩの前記表面の量を増加させることをさらに含む、
請求項１に記載のコンピュータ実装方法。
【請求項3】
前記インタラクションを表明することが、前記ユーザの手の前記表現の前記場所を修正させることを含み、かつ
前記ユーザの手の前記表現の前記場所を修正させることが、前記ユーザの手の前記表現が前記システムＵＩの前記表面を越えて前記ＵＩ要素を押しているという決定に応答して、前記ＵＩ要素が前記システムＵＩの前記表面の下に拡張するのを防止することを含む、
請求項１に記載のコンピュータ実装方法。
前記ユーザの手の前記表現の前記場所を修正させることが、前記ユーザの手の前記表現が前記システムＵＩの前記表面を越えて前記ＵＩ要素を押しているという決定に応答して、前記ＵＩ要素が前記システムＵＩの前記表面の下に拡張するのを防止することを含む、
請求項１に記載のコンピュータ実装方法。
【請求項4】
前記インタラクションを表明することが、前記ユーザの手の前記表現の前記場所を修正させることを含み、かつ
前記ユーザの手の前記位置が前記ＵＩ要素とインタラクトしたという前記決定に応答して、前記ＵＩ要素のカラーリングまたは陰影を変更することによって前記ＵＩ要素をさらに強調する、
請求項１に記載のコンピュータ実装方法。
前記ユーザの手の前記位置が前記ＵＩ要素とインタラクトしたという前記決定に応答して、前記ＵＩ要素のカラーリングまたは陰影を変更することによって前記ＵＩ要素をさらに強調する、
請求項１に記載のコンピュータ実装方法。
【請求項5】
前記ＵＩ要素がボタンＵＩ要素であり、
前記インタラクションを表明することが前記ユーザの手の前記表現の場所を修正させることを含み、
前記方法が、前記ユーザの手が、Ａ）前記ボタンＵＩ要素を第１の押下閾値を超えて押下して前記ボタンＵＩ要素とインタラクトし、Ｂ）次いで、前記ボタンＵＩ要素を第２の押下閾値を超えて解放して前記ボタンＵＩ要素とインタラクトした、という決定に応答して、前記ボタンＵＩ要素のアクティブ化を引き起こすことをさらに含み、かつ
前記第１の押下閾値が、前記第２の押下閾値よりも前記システムＵＩの前記表面に近い、
請求項１に記載のコンピュータ実装方法。
前記インタラクションを表明することが前記ユーザの手の前記表現の場所を修正させることを含み、
前記方法が、前記ユーザの手が、Ａ）前記ボタンＵＩ要素を第１の押下閾値を超えて押下して前記ボタンＵＩ要素とインタラクトし、Ｂ）次いで、前記ボタンＵＩ要素を第２の押下閾値を超えて解放して前記ボタンＵＩ要素とインタラクトした、という決定に応答して、前記ボタンＵＩ要素のアクティブ化を引き起こすことをさらに含み、かつ
前記第１の押下閾値が、前記第２の押下閾値よりも前記システムＵＩの前記表面に近い、
請求項１に記載のコンピュータ実装方法。
【請求項6】
前記ボタンＵＩ要素の前記アクティブ化を引き起こすことが、オーディオキューを出力することを含む、請求項５に記載のコンピュータ実装方法。
【請求項7】
前記インタラクションを表明することが、前記第３のフィードバックを生成することを含み、
前記ユーザの手の前記表現の前記少なくとも一部を強調する前記第３のフィードバックが、前記システムＵＩを掴んでいる前記ユーザの手の前記表現の少なくとも親指および１本または複数本の指を強調する、
請求項１に記載のコンピュータ実装方法。
前記ユーザの手の前記表現の前記少なくとも一部を強調する前記第３のフィードバックが、前記システムＵＩを掴んでいる前記ユーザの手の前記表現の少なくとも親指および１本または複数本の指を強調する、
請求項１に記載のコンピュータ実装方法。
【請求項8】
人工現実（ＸＲ）環境においてシステムユーザインターフェース（ＵＩ）とインタラクトするためのコンピューティングシステムであって、
１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサによって実行されると、前記コンピューティングシステムにプロセスを実施させる命令を格納する１つまたは複数のメモリと
を備え、前記プロセスが、
前記ＸＲ環境において、ＵＩ要素のセットを含む前記システムＵＩをレンダリングすることと、
前記システムＵＩおよび／または前記ＵＩ要素のセットに対するユーザの手の位置を追跡することと、
前記システムＵＩまたは前記ＵＩ要素のセットのうちのあるＵＩ要素とのインタラクション機会を、
前記ユーザの手の前記位置が前記ＵＩ要素の第１の閾値距離内にあるという決定に応答して、前記ＵＩ要素のアクティブ化の前に、前記ＵＩ要素を前記システムＵＩの表面の上方に拡張することによって前記ＵＩ要素を修正する第１のフィードバックを生成すること、または
前記ユーザの手の前記位置が前記システムＵＩの縁部の第２の閾値距離内にあるという決定に応答して、前記システムＵＩの前記縁部の少なくとも一部を強調する第２のフィードバックを生成すること
によって表明することと、
前記システムＵＩおよび／または前記ＵＩ要素のセットに対する前記ユーザの手の前記位置を更新することと、
前記システムＵＩまたは前記ＵＩ要素とのインタラクションを、
前記ユーザの手の前記位置が前記ＵＩ要素とインタラクトしたという決定に応答して、前記ユーザの手の表現の場所を、前記ユーザの手の現実世界での場所を直接追跡することから、前記ユーザの手の前記現実世界での場所および前記ＵＩ要素の場所の両方に基づく位置に修正させること、または
前記ユーザの手の前記位置が前記システムＵＩの前記縁部を掴むジェスチャを含んでいるという決定に応答して、前記システムＵＩを掴んでいる前記ユーザの手の前記表現の少なくとも一部を強調する第３のフィードバックを生成すること
によって表明することと
を含む、
コンピューティングシステム。
１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサによって実行されると、前記コンピューティングシステムにプロセスを実施させる命令を格納する１つまたは複数のメモリと
を備え、前記プロセスが、
前記ＸＲ環境において、ＵＩ要素のセットを含む前記システムＵＩをレンダリングすることと、
前記システムＵＩおよび／または前記ＵＩ要素のセットに対するユーザの手の位置を追跡することと、
前記システムＵＩまたは前記ＵＩ要素のセットのうちのあるＵＩ要素とのインタラクション機会を、
前記ユーザの手の前記位置が前記ＵＩ要素の第１の閾値距離内にあるという決定に応答して、前記ＵＩ要素のアクティブ化の前に、前記ＵＩ要素を前記システムＵＩの表面の上方に拡張することによって前記ＵＩ要素を修正する第１のフィードバックを生成すること、または
前記ユーザの手の前記位置が前記システムＵＩの縁部の第２の閾値距離内にあるという決定に応答して、前記システムＵＩの前記縁部の少なくとも一部を強調する第２のフィードバックを生成すること
によって表明することと、
前記システムＵＩおよび／または前記ＵＩ要素のセットに対する前記ユーザの手の前記位置を更新することと、
前記システムＵＩまたは前記ＵＩ要素とのインタラクションを、
前記ユーザの手の前記位置が前記ＵＩ要素とインタラクトしたという決定に応答して、前記ユーザの手の表現の場所を、前記ユーザの手の現実世界での場所を直接追跡することから、前記ユーザの手の前記現実世界での場所および前記ＵＩ要素の場所の両方に基づく位置に修正させること、または
前記ユーザの手の前記位置が前記システムＵＩの前記縁部を掴むジェスチャを含んでいるという決定に応答して、前記システムＵＩを掴んでいる前記ユーザの手の前記表現の少なくとも一部を強調する第３のフィードバックを生成すること
によって表明することと
を含む、
コンピューティングシステム。
【請求項9】
前記システムＵＩまたは前記ＵＩ要素との前記インタラクションを表明することが、前記ユーザの手の前記表現の前記少なくとも一部が前記システムＵＩを掴んでいるときに前記システムＵＩの前記縁部を強調することにより前記第３のフィードバックを生成することを含む、請求項８に記載のコンピューティングシステム。
【請求項10】
前記システムＵＩの前記縁部の前記一部を強調することが、Ａ）前記ユーザの手の前記表現が前記システムＵＩの前記縁部の閾値距離内にあったときに始まり、Ｂ）前記ユーザの手の前記表現の前記一部と前記システムＵＩの前記縁部の前記一部との間の距離が減少するにつれて、強調された前記縁部の量が増加する、請求項９に記載のコンピューティングシステム。
【請求項11】
前記インタラクション機会を表明することが、前記第２のフィードバックを生成することを含み、かつ
前記第２のフィードバックが、前記ユーザの手の前記表現の前記一部と前記システムＵＩとの間の前記距離の決定された減少に基づいて、前記ユーザの手の前記表現上の少なくとも親指および１本または複数本の指を含む前記ユーザの手の前記表現の一部を強調することをさらに含む、請求項８に記載のコンピューティングシステム。
前記第２のフィードバックが、前記ユーザの手の前記表現の前記一部と前記システムＵＩとの間の前記距離の決定された減少に基づいて、前記ユーザの手の前記表現上の少なくとも親指および１本または複数本の指を含む前記ユーザの手の前記表現の一部を強調することをさらに含む、請求項８に記載のコンピューティングシステム。
【請求項12】
前記システムＵＩおよび／または前記ＵＩ要素のセットに対する前記ユーザの手の前記位置を追跡することが、リアルタイムで前記ユーザの手のジェスチャを検出する１つもしくは複数のセンサ、または前記ＸＲデバイスに関連付けられた１つもしくは複数のコントローラのうちの少なくとも１つに基づいており、かつ
前記ユーザの手の前記表現の前記場所が、現実世界環境における前記ユーザの手の前記場所に対応する、
請求項８に記載のコンピューティングシステム。
前記ユーザの手の前記表現の前記場所が、現実世界環境における前記ユーザの手の前記場所に対応する、
請求項８に記載のコンピューティングシステム。
【請求項13】
前記インタラクション機会を表明することが、前記第１のフィードバックを生成することを含み、かつ
前記第１のフィードバックが、前記ＵＩ要素のセットのうちの前記ＵＩ要素によってカバーされる前記システムＵＩの前記表面の量を増加させることをさらに含む、
請求項８に記載のコンピューティングシステム。
前記第１のフィードバックが、前記ＵＩ要素のセットのうちの前記ＵＩ要素によってカバーされる前記システムＵＩの前記表面の量を増加させることをさらに含む、
請求項８に記載のコンピューティングシステム。
【請求項14】
前記インタラクションを表明することが、前記ユーザの手の前記表現の前記場所を修正させることを含み、かつ
前記ユーザの手の前記表現の前記場所を修正させることが、前記ユーザの手の前記表現が前記システムＵＩの前記表面を越えて前記ＵＩ要素を押しているという決定に応答して、前記ＵＩ要素が前記システムＵＩの前記表面の下に拡張するのを防止することを含む、
請求項８に記載のコンピューティングシステム。
前記ユーザの手の前記表現の前記場所を修正させることが、前記ユーザの手の前記表現が前記システムＵＩの前記表面を越えて前記ＵＩ要素を押しているという決定に応答して、前記ＵＩ要素が前記システムＵＩの前記表面の下に拡張するのを防止することを含む、
請求項８に記載のコンピューティングシステム。
【請求項15】
前記インタラクションを表明することが、前記ユーザの手の前記表現の前記場所を修正させることを含み、かつ
前記ユーザの手の前記位置が前記ＵＩ要素とインタラクトしたという前記決定に応答して、前記ＵＩ要素のカラーリングまたは陰影を変更することによって前記ＵＩ要素をさらに強調する、
請求項８に記載のコンピューティングシステム。
前記ユーザの手の前記位置が前記ＵＩ要素とインタラクトしたという前記決定に応答して、前記ＵＩ要素のカラーリングまたは陰影を変更することによって前記ＵＩ要素をさらに強調する、
請求項８に記載のコンピューティングシステム。
【請求項16】
前記ＵＩ要素がボタンＵＩ要素であり、
前記インタラクションを表明することが前記ユーザの手の前記表現の場所を修正させることを含み、
前記プロセスが、前記ユーザの手が、Ａ）前記ボタンＵＩ要素を第１の押下閾値を超えて押下して前記ボタンＵＩ要素とインタラクトし、Ｂ）次いで、前記ボタンＵＩ要素を第２の押下閾値を超えて解放して前記ボタンＵＩ要素とインタラクトしたという決定に応答して、前記ボタンＵＩ要素のアクティブ化を引き起こすことをさらに含み、かつ
前記第１の押下閾値が、前記第２の押下閾値よりも前記システムＵＩの前記表面に近い、
請求項８に記載のコンピューティングシステム。
前記インタラクションを表明することが前記ユーザの手の前記表現の場所を修正させることを含み、
前記プロセスが、前記ユーザの手が、Ａ）前記ボタンＵＩ要素を第１の押下閾値を超えて押下して前記ボタンＵＩ要素とインタラクトし、Ｂ）次いで、前記ボタンＵＩ要素を第２の押下閾値を超えて解放して前記ボタンＵＩ要素とインタラクトしたという決定に応答して、前記ボタンＵＩ要素のアクティブ化を引き起こすことをさらに含み、かつ
前記第１の押下閾値が、前記第２の押下閾値よりも前記システムＵＩの前記表面に近い、
請求項８に記載のコンピューティングシステム。
【請求項17】
前記ボタンＵＩ要素の前記アクティブ化を引き起こすことが、オーディオキューを出力することを含む、請求項１６に記載のコンピューティングシステム。
【請求項18】
前記インタラクションを表明することが、前記第３のフィードバックを生成することを含み、
前記ユーザの手の前記表現の前記少なくとも一部を強調する前記第３のフィードバックが、前記システムＵＩを掴んでいる前記ユーザの手の前記表現の少なくとも親指および１本または複数本の指を強調する、
請求項８に記載のコンピューティングシステム。
前記ユーザの手の前記表現の前記少なくとも一部を強調する前記第３のフィードバックが、前記システムＵＩを掴んでいる前記ユーザの手の前記表現の少なくとも親指および１本または複数本の指を強調する、
請求項８に記載のコンピューティングシステム。
【請求項19】
コンピューティングシステムによって実行されると、前記コンピューティングシステムに、人工現実（ＸＲ）環境においてシステムユーザインターフェース（ＵＩ）とインタラクトするためのプロセスを実施させる命令を格納するコンピュータ可読記憶媒体であって、前記プロセスが、
前記ＸＲ環境において、ＵＩ要素のセットを含む前記システムＵＩをレンダリングすることと、
前記システムＵＩおよび／または前記ＵＩ要素のセットに対するユーザの手の位置を追跡することと、
前記システムＵＩまたは前記ＵＩ要素のセットのうちのあるＵＩ要素とのインタラクション機会を、
前記ユーザの手の前記位置が前記ＵＩ要素の第１の閾値距離内にあるという決定に応答して、前記ＵＩ要素のアクティブ化の前に、前記ＵＩ要素を前記システムＵＩの表面の上方に拡張することによって前記ＵＩ要素を修正する第１のフィードバックを生成すること、または
前記ユーザの手の前記位置が前記システムＵＩの縁部の第２の閾値距離内にあるという決定に応答して、前記システムＵＩの前記縁部の少なくとも一部を強調する第２のフィードバックを生成すること
によって表明することと、
前記システムＵＩおよび／または前記ＵＩ要素のセットに対する前記ユーザの手の前記位置を更新することと、
前記システムＵＩまたは前記ＵＩ要素とのインタラクションを、
前記ユーザの手の前記位置が前記ＵＩ要素とインタラクトしたという決定に応答して、前記ユーザの手の表現の場所を、前記ユーザの手の現実世界での場所を直接追跡することから、前記ユーザの手の前記現実世界での場所および前記ＵＩ要素の場所の両方に基づく位置に修正させること、または
前記ユーザの手の前記位置が前記システムＵＩの前記縁部を掴むジェスチャを含んでいるという決定に応答して、前記システムＵＩを掴んでいる前記ユーザの手の前記表現の少なくとも一部を強調する第３のフィードバックを生成すること
によって表明することと
を含む、
コンピュータ可読記憶媒体。
前記ＸＲ環境において、ＵＩ要素のセットを含む前記システムＵＩをレンダリングすることと、
前記システムＵＩおよび／または前記ＵＩ要素のセットに対するユーザの手の位置を追跡することと、
前記システムＵＩまたは前記ＵＩ要素のセットのうちのあるＵＩ要素とのインタラクション機会を、
前記ユーザの手の前記位置が前記ＵＩ要素の第１の閾値距離内にあるという決定に応答して、前記ＵＩ要素のアクティブ化の前に、前記ＵＩ要素を前記システムＵＩの表面の上方に拡張することによって前記ＵＩ要素を修正する第１のフィードバックを生成すること、または
前記ユーザの手の前記位置が前記システムＵＩの縁部の第２の閾値距離内にあるという決定に応答して、前記システムＵＩの前記縁部の少なくとも一部を強調する第２のフィードバックを生成すること
によって表明することと、
前記システムＵＩおよび／または前記ＵＩ要素のセットに対する前記ユーザの手の前記位置を更新することと、
前記システムＵＩまたは前記ＵＩ要素とのインタラクションを、
前記ユーザの手の前記位置が前記ＵＩ要素とインタラクトしたという決定に応答して、前記ユーザの手の表現の場所を、前記ユーザの手の現実世界での場所を直接追跡することから、前記ユーザの手の前記現実世界での場所および前記ＵＩ要素の場所の両方に基づく位置に修正させること、または
前記ユーザの手の前記位置が前記システムＵＩの前記縁部を掴むジェスチャを含んでいるという決定に応答して、前記システムＵＩを掴んでいる前記ユーザの手の前記表現の少なくとも一部を強調する第３のフィードバックを生成すること
によって表明することと
を含む、
コンピュータ可読記憶媒体。
【請求項20】
前記インタラクションを表明することが、前記第３のフィードバックを生成することを含み、
前記ユーザの手の前記表現の前記少なくとも一部を強調する前記第３のフィードバックが、前記システムＵＩを掴んでいる前記ユーザの手の前記表現の少なくとも親指および１本または複数本の指を強調する、
請求項１９に記載のコンピュータ可読記憶媒体。
前記ユーザの手の前記表現の前記少なくとも一部を強調する前記第３のフィードバックが、前記システムＵＩを掴んでいる前記ユーザの手の前記表現の少なくとも親指および１本または複数本の指を強調する、
請求項１９に記載のコンピュータ可読記憶媒体。
【発明の詳細な説明】
【発明の概要】
【0001】
関連出願の相互参照
本出願は、２０２３年２月８日に出願された「Ｆａｃｉｌｉｔａｔｉｎｇ Ｓｙｓｔｅｍ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ（ＵＩ）Ｉｎｔｅｒａｃｔｉｏｎｓ ｉｎ ａｎ Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｉｔｙ（ＸＲ）Ｅｎｖｉｒｏｎｍｅｎｔ」と題する米国特許出願第１８／１６６，１４４号（代理人整理番号３５８９－０２３２ＵＳ０１）、２０２３年２月８日に出願された「Ｆａｃｉｌｉｔａｔｉｎｇ Ｓｙｓｔｅｍ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ（ＵＩ）Ｉｎｔｅｒａｃｔｉｏｎｓ ｉｎ ａｎ Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｉｔｙ（ＸＲ）Ｅｎｖｉｒｏｎｍｅｎｔ」と題する米国特許出願第１８／１６６，２８２号（代理人整理番号３５８９－０２３２ＵＳ０２）、および２０２３年２月８日に出願された「Ｉｎｔｅｎｔ－Ｂａｓｅｄ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｍｏｄｉｆｉｃａｔｉｏｎｓ ｉｎ ａｎ Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｉｔｙ Ｅｎｖｉｒｏｎｍｅｎｔ」と題する米国特許出願第号（代理人整理番号３５８９－０２６０ＵＳ０１）に関連し、これらの全ては、参照によりその全体が本明細書に組み込まれる。
本出願は、２０２３年２月８日に出願された「Ｆａｃｉｌｉｔａｔｉｎｇ Ｓｙｓｔｅｍ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ（ＵＩ）Ｉｎｔｅｒａｃｔｉｏｎｓ ｉｎ ａｎ Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｉｔｙ（ＸＲ）Ｅｎｖｉｒｏｎｍｅｎｔ」と題する米国特許出願第１８／１６６，１４４号（代理人整理番号３５８９－０２３２ＵＳ０１）、２０２３年２月８日に出願された「Ｆａｃｉｌｉｔａｔｉｎｇ Ｓｙｓｔｅｍ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ（ＵＩ）Ｉｎｔｅｒａｃｔｉｏｎｓ ｉｎ ａｎ Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｉｔｙ（ＸＲ）Ｅｎｖｉｒｏｎｍｅｎｔ」と題する米国特許出願第１８／１６６，２８２号（代理人整理番号３５８９－０２３２ＵＳ０２）、および２０２３年２月８日に出願された「Ｉｎｔｅｎｔ－Ｂａｓｅｄ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｍｏｄｉｆｉｃａｔｉｏｎｓ ｉｎ ａｎ Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｉｔｙ Ｅｎｖｉｒｏｎｍｅｎｔ」と題する米国特許出願第号（代理人整理番号３５８９－０２６０ＵＳ０１）に関連し、これらの全ては、参照によりその全体が本明細書に組み込まれる。
【0002】
技術分野
本開示は、人工現実（ＸＲ）環境におけるユーザのインタラクションの容易化に関する。より詳細には、本開示は、ＸＲ環境においてレンダリングされるシステムユーザインターフェース（ＵＩ）を取り扱い、使用し、または操作するためのシステムおよび方法に関する。
本開示は、人工現実（ＸＲ）環境におけるユーザのインタラクションの容易化に関する。より詳細には、本開示は、ＸＲ環境においてレンダリングされるシステムユーザインターフェース（ＵＩ）を取り扱い、使用し、または操作するためのシステムおよび方法に関する。
【0003】
背景技術
人工現実（ＸＲ）技術の分野における最近の進歩は、例えばユーザ支援および娯楽のための様々な人工現実プラットフォームの開発につながっている。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組み合わせを含むことができ、それらのいずれも単一のチャネルまたは複数のチャネルで提示することができる。人工現実は、ユーザが３次元環境で友人と仮想的につながり、空間および時間を移動し、完全に新しい方法でゲームをプレイすることなどができ得る社会的つながりを提供することができる。
人工現実（ＸＲ）技術の分野における最近の進歩は、例えばユーザ支援および娯楽のための様々な人工現実プラットフォームの開発につながっている。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組み合わせを含むことができ、それらのいずれも単一のチャネルまたは複数のチャネルで提示することができる。人工現実は、ユーザが３次元環境で友人と仮想的につながり、空間および時間を移動し、完全に新しい方法でゲームをプレイすることなどができ得る社会的つながりを提供することができる。
【0004】
従来、既存のＸＲ環境は、ユーザが仮想オブジェクト（例えば、スクリーン）を介してなど、様々な形態でコンテンツを視聴することを可能にする。しかしながら、ＸＲ環境内のスクリーンなどの仮想オブジェクトとのインタラクションは、ユーザにとって複雑なタスクである場合がある。例えば、ユーザは、現実世界において仮想オブジェクトに物理的に触れることができない場合があるため、仮想オブジェクトとインタラクトすることが困難であると感じる場合がある。したがって、従来のＸＲ環境における仮想オブジェクトを使用する体験は、ユーザにとって満足のいくものではなく、困難である場合がある。
【図面の簡単な説明】
【0005】
【図1】本技術のいくつかの実装形態が動作可能であるデバイスの全体像を示すブロック図である。
【図2A】本技術のいくつかの実装形態において使用可能である仮想現実ヘッドセットを示す配線図である。
【図2B】本技術のいくつかの実装形態において使用可能である複合現実ヘッドセットを示す配線図である。
【図2C】いくつかの実装形態における、ユーザが人工現実環境とインタラクトするために片手または両手で保持することができるコントローラを示す配線図である。
【図3】本技術のいくつかの実装形態が動作可能である環境の全体像を示すブロック図である。
【図4】いくつかの実装形態において、開示された技術を用いるシステムで使用可能である構成要素を示すブロック図である。
【図5A】人工現実（ＸＲ）環境におけるユーザとシステムユーザインターフェース（ＵＩ）とのインタラクションを容易にするための例示的な環境を示す概念図である。
【図5B】ＸＲ環境におけるユーザインターフェースインタラクションを容易にするためのＵＩ要素に対応する第１のフィードバックを示す概念図である。
【図5C】システムＵＩの縁部の一部の強調に対応する第２のフィードバックを表す概念図である。
【図6】ユーザの手とシステムＵＩのＵＩ要素とのインタラクションを示す概念図である。
【図7A】システムＵＩのＵＩ要素のアクティブ化の一例を集合的に示す概念図である。
【図7B】システムＵＩのＵＩ要素のアクティブ化の一例を集合的に示す概念図である。
【図8A】ユーザの手の位置の近接度に基づくシステムＵＩの縁部の一部の強調を示す概念図である。
【図8B】縁部の強調を完全に表し、縁部が掴まれていることに基づくユーザの手の表現を表す概念図である。
【図9A】ＸＲ環境におけるユーザとＵＩ要素とのインタラクションのために本技術のいくつかの実装形態において使用される方法を示すフロー図である。
【図9B】ＸＲ環境におけるユーザとシステムＵＩとのインタラクションのために本技術のいくつかの実装形態において使用される方法を示すフロー図である。
【発明を実施するための形態】
【0006】
ここで導入された技法は、同様の参照番号が同一のまたは機能的に同様の要素を指示する添付の図面と併せて以下の「発明を実施するための形態」を参照することによって、より良く理解され得る。
【0007】
本開示の態様は、人工現実（ＸＲ）環境におけるユーザインターフェースインタラクションを容易にすることに関する。インタラクション容易化システムは、ＸＲ環境におけるユーザインターフェースインタラクションを容易にするために提供されてもよい。ＸＲ環境におけるインタラクションを容易にするために、ＸＲ環境においてシステムユーザインターフェース（ＵＩ）をレンダリングしてもよい。インタラクション容易化システムは、物理環境におけるユーザとデバイスとのインタラクションと同様に、ＸＲ環境におけるユーザとシステムＵＩとの効果的な没入型インタラクションを容易にすることができる。ユーザの没入型体験のために、システムＵＩまたはシステムＵＩのＵＩ要素は、ＸＲ環境におけるユーザとシステムＵＩとの間のインタラクションに基づいて修正されてもよい。
【0008】
例示的なシナリオでは、ユーザは、広範囲のアプリケーション、例えば、娯楽、ヘルスケア、自動車、教育、社会的および関係のつながりなどのためにＸＲ環境を利用してもよい。例えば、システムＵＩは、ＸＲ環境におけるコンテンツの視聴、インターネットのブラウジング、他のユーザとの接続、システム制御へのアクセスなどの様々なアプリケーションにアクセスするための媒体として利用されてもよい。インタラクション容易化システムは、システムＵＩを開くために、ＸＲデバイスを介してユーザから入力を受信してもよい。インタラクション容易化システムは、受信した入力に基づいてＸＲ環境においてシステムＵＩをレンダリングすることができる。さらに、インタラクション容易化システムは、システムＵＩおよび／またはシステムＵＩのＵＩ要素のセットのうちのＵＩ要素に対するユーザの手の位置を追跡することができる。追跡は、物理世界におけるユーザの手の実際の位置および／またはジェスチャを決定するために実施されてもよい。
【0009】
一実施形態では、ユーザは、手をＵＩ要素に近づけるジェスチャを実施してもよい。追跡されたユーザの手の位置がＵＩ要素の第１の閾値距離内にあるという決定に基づいて、インタラクション容易化システムは、ＵＩ要素のアクティブ化の前に、ＵＩ要素を修正する第１のフィードバックを生成することができる。第１のフィードバックは、システムＵＩの表面の上にＵＩ要素を拡張することを含む。そのような第１のフィードバックは、ユーザとＵＩ要素とのインタラクション機会を表明してもよい。別の実施形態では、ユーザは、（例えば、システムＵＩを掴むために）手をシステムＵＩの縁部に近づけるジェスチャを実施してもよい。追跡されたユーザの手の位置がシステムＵＩの縁部の第２の閾値距離内にあるという決定に基づいて、コンピューティングシステムは、システムＵＩの縁部の少なくとも一部を強調する第２のフィードバックを生成してもよい。そのような第２のフィードバックは、ユーザとシステムＵＩとのインタラクション機会を表明してもよい。したがって、コンピューティングシステムは、没入型かつ効果的なユーザ体験のために、ユーザがシステムＵＩおよびシステムＵＩのＵＩ要素とのインタラクション機会を容易に識別することを可能にする。
【0010】
さらに、コンピューティングシステムは、システムＵＩおよび／またはＵＩ要素のセットに対するユーザの手の位置を更新することができる。ユーザの手の位置がＵＩ要素とインタラクトしたという決定に応答して、コンピューティングシステムは、ユーザの手の表現（ＸＲ環境でレンダリングされる）の場所を、ユーザの手の現実世界での場所を直接追跡することから、ユーザの手の現実世界での場所およびＵＩ要素の場所の両方に基づく位置に修正させる。例えば、インタラクション容易化システムは、最初に、ユーザの手の表現をユーザの手の現実世界の位置に一致させる（システムが可能な限り近くする）ことができる。次いで、ユーザの手の位置がＵＩ要素とインタラクトしたという決定に続いて、ユーザの現実世界の手がＵＩ要素から閾値量だけ離れて移動してもユーザの手の表現がＵＩ要素から離れないように、ユーザの手の表現がＵＩ要素に取り付けられる。さらに、ユーザの手の位置がＵＩ要素とインタラクトして（例えば、ＵＩ要素を押下することによって）ＵＩ要素がアクティブ化されたとき、インタラクション容易化システムは、オーディオキューをさらに提供することができる。そのような修正は、ユーザに対するＵＩ要素のアクティブ化を表明する。
【0011】
さらに、ユーザの手の位置がシステムＵＩの縁部を掴むジェスチャを含む、すなわち、システムＵＩがユーザによって掴まれているという決定に応答して、インタラクション容易化システムは、システムＵＩを掴んでいるユーザの手の表現の少なくとも一部を強調する第３のフィードバックを生成することができる。さらに、インタラクション容易化システムは、ユーザによって掴まれたときにシステムＵＩの完全な縁部を強調することができる。そのような第３のフィードバックは、システムＵＩとユーザとのインタラクションを表明してもよい。したがって、インタラクション容易化システムは、選択されたＵＩ要素、すなわちアクティブ化されたＵＩ要素を明確に区別する、システムＵＩおよびＵＩ要素に対応する視覚および／または音声フィードバックの生成を可能にし、ユーザが物理世界でデバイスを掴むのと同様にシステムＵＩを掴むことを可能にし、それにより、ユーザフレンドリで強化された双方向体験を提供する。
【0012】
開示された技術の実施形態は、人工現実システムを含むことができる、または人工現実システムと併せて実装され得る。人工現実またはｅｘｔｒａ ｒｅａｌｉｔｙ（ＸＲ）は、ユーザに提示する前に何らかの様式で調節されている現実の形態であり、これは例えば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、またはこれらの何らかの組み合わせおよび／もしくは派生物を含んでもよい。人工現実コンテンツは、完全に生成されたコンテンツ、またはキャプチャされたコンテンツ（例えば、現実世界の写真）と組み合わせられた生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組み合わせを含み得、それらのいずれも、単一のチャネルまたは複数のチャネルにおいて提示され得る（観察者に３次元効果をもたらすステレオビデオなど）。さらに、いくつかの実施形態では、人工現実は、例えば、人工現実におけるコンテンツを作り出すために使用される、および／または人工現実において使用される（例えば、人工現実におけるアクティビティを実施する）アプリケーション、製品、アクセサリ、サービス、またはそれらの何らかの組み合わせに関連付けられ得る。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続される頭部装着型ディスプレイ（ＨＭＤ）、独立型ＨＭＤ、モバイルデバイスもしくはコンピューティングシステム、「洞穴」式環境もしくは他の投影システム、または、１または複数の視聴者に人工現実コンテンツを提供することが可能な任意の他のハードウェアプラットフォームを含む様々なプラットフォーム上に実装されてよい。
【0013】
本明細書で使用される「仮想現実」または「ＶＲ」は、ユーザの視覚的入力がコンピューティングシステムによって制御される没入型体験を指す。「拡張現実」または「ＡＲ」は、ユーザが現実世界の画像を見る前にこれらの画像がコンピューティングシステムを通過しているシステムを指す。例えば、裏にカメラがあるタブレットは、現実世界の画像をキャプチャした後、カメラからタブレットの反対側の画面上にその画像を表示することができる。タブレットは、仮想オブジェクトを追加することなどによって、画像がシステムを通過する際にこの画像を処理し、かつ調節または「拡張」することができる。「複合現実」または「ＭＲ」は、ユーザの眼に入る光がコンピューティングシステムによって部分的に生成され、かつ現実世界におけるオブジェクトに反射した光を部分的に構成するシステムを指す。例えば、ＭＲヘッドセットは、パススルーディスプレイを有する眼鏡のように成形可能であり、これによって、現実世界からの光がＭＲヘッドセットにおけるプロジェクタから同時に光を発する導波路を通過することができることで、ＭＲヘッドセットはユーザが見ることができる実物体と混合させた仮想オブジェクトを提示することができる。本明細書で使用される「人工現実」、「ｅｘｔｒａ ｒｅａｌｉｔｙ」、または「ＸＲ」は、ＶＲ、ＡＲ、ＭＲのいずれか、またはこれらの任意の組み合わせもしくは混成物を指す。
【0014】
本明細書で使用される「強調」という用語は、仮想オブジェクトをＸＲ環境において目立たせる、仮想オブジェクトの特徴および／または品質の強調表示などの修正を指すことができる。例えば、本開示では、システムＵＩの縁部、ＵＩ要素、またはＸＲ環境におけるユーザの手の表現の一部の強調は、ＵＩ要素のサイズ、陰影、カラーリング、位置などを変更してもよい。これにより、例えば、システムＵＩの縁部、ＵＩ要素、またはユーザの手の表現の一部の外観における視覚的修正とのインタラクションまたは潜在的なインタラクションを表明することができる。例えば、視覚的修正は、縁部およびＵＩ要素をユーザにとってより目立たせることができる。さらに、ユーザの手の表現の一部の視覚的修正は、強調表示された部分が仮想オブジェクトとインタラクトしていることを示してもよく、または強調表示された部分は、ＸＲ環境において仮想オブジェクトの近くにあってもよい。
【0015】
本明細書で使用される「システムユーザインターフェース（ＵＩ）」という用語は、ユーザが物理空間または仮想空間内の仮想オブジェクト、環境、または情報とインタラクトすることを可能にする仮想ユーザインターフェース（ＵＩ）を指してもよい。システムＵＩは、特定の特徴を描写するために使用され得るＵＩ要素のセットまたは特徴要素を含んでもよい。例えば、システムＵＩは、人工現実デバイスのためのシステム制御、システム通知、ＸＲナビゲーション制御、ブラウザまたはメッセージングインターフェースなどのフラットパネルアプリケーション、ソーシャルメディアインターフェースなどを提供してもよい。システムＵＩは、ユーザに対してＸＲ環境内のある位置から別の位置に移動できるように、移動型（ｍｉｇｒａｔｉｎｇ）ＵＩ（例えば、物理世界における電子タブレットと同様である）であってもよい。システムＵＩは、２次元（２Ｄ）ＵＩまたは３次元（３Ｄ）ＵＩであってもよい。
【0016】
従来のＸＲシステムは、ユーザがＸＲ環境において、例えば仮想オブジェクトとインタラクトすることを可能にする。しかしながら、ＸＲ環境におけるシステムユーザインターフェース（ＵＩ）などの仮想オブジェクトとのインタラクションは、ユーザにとって複雑なタスクである場合がある。例えば、ユーザは、ＸＲ環境内のシステムＵＩとインタラクトすることが困難であると感じる場合があり、その理由は、触覚フィードバックが限定されている場合がある、ターゲットするには制御部が小さいか、もしくは制御部をターゲットすることが困難である場合がある、またはユーザが、どのようなアクションを取ることができるか、もしくはシステムＵＩのどの部分とインタラクトすることができるかを判断することが困難であると感じる場合があるためである。したがって、従来のシステムを使用した、システムＵＩなどの仮想オブジェクトとのインタラクションのユーザ体験は、満足のいくものではなくなる。インタラクションを従来のシステムよりも没入的にするために、本開示のインタラクション容易化システムは、ＸＲ環境におけるシステムＵＩとのインタラクションのために、ユーザに没入型関与を提供する。インタラクション容易化システムは、ユーザとシステムＵＩおよび／またはシステムＵＩの１つもしくは複数の構成要素（例えば、システムＵＩの縁部およびシステムＵＩのＵＩ要素）との間のインタラクションに関する様々なフィードバックを出力することができる。例えば、インタラクション容易化システムは、システムＵＩとのインタラクションが可能であることをユーザに理解させることができるシステムＵＩの縁部の強調を含むフィードバックを出力することができる。さらに、インタラクション容易化システムは、ＸＲ環境においてシステムＵＩを掴むユーザの手の表現の強調を可能にすることができ、現実世界もしくは物理世界のものとしてシステムＵＩを保持する、または掴む感覚を提供することができる。さらに、インタラクション容易化システムは、ユーザがインタラクトしているＵＩ要素の強調および／または上昇を可能にし、選択されたＵＩ要素をユーザに明確に可視化し、インタラクションが利用可能であることをさらに表明することができる。したがって、本開示のインタラクション容易化システムは、満足のいくユーザフレンドリなＸＲ環境インタラクション体験をユーザに提供する。
【0017】
いくつかの実装形態について、図を参照してより詳細に以下に論じる。図１は、開示された技術のいくつかの実装形態が動作可能であるデバイスの全体像を示すブロック図である。デバイスは、人工現実環境のユーザインターフェースインタラクションを容易にし得るコンピューティングシステム１００のハードウェア構成要素を備えることができる。様々な実装形態では、コンピューティングシステム１００は、処理を分散し、かつ入力データを共有するために有線または無線チャネル上で通信する単一のコンピューティングデバイス１０３または複数のコンピューティングデバイス（例えば、コンピューティングデバイス１０１、コンピューティングデバイス１０２、およびコンピューティングデバイス１０３）を含むことができる。いくつかの実装形態では、コンピューティングシステム１００は、外部の処理またはセンサを必要とせずにユーザにコンピュータ作成または拡張体験を提供することが可能な独立型ヘッドセットを含むことができる。他の実装形態では、コンピューティングシステム１００は、いくつかの処理動作がヘッドセット上で行われ、他の処理動作がコア処理構成要素にオフロードされる、ヘッドセットおよびコア処理構成要素（コンソール、モバイルデバイス、またはサーバシステムなど）などの複数のコンピューティングデバイスを含むことができる。例示のヘッドセットについて、図２Ａおよび図２Ｂに関して後述する。いくつかの実装形態では、位置および環境データは、ヘッドセットに組み込まれたセンサによってのみ収集可能であるが、他の実装形態では、ヘッドセット無しのコンピューティングデバイスの１つまたは複数は、環境または位置データを追跡可能であるセンサ構成要素を含むことができる。
【0018】
コンピューティングシステム１００は、１つまたは複数のプロセッサ１１０（例えば、中央処理装置（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、ホログラフィック処理ユニット（ＨＰＵ）など）を含み得る。プロセッサ１１０は、デバイスにおける単一の処理ユニットまたは複数の処理ユニットとすることができる、または複数のデバイスにわたって分散させる（例えば、コンピューティングデバイス１０１～１０３の２つ以上にわたって分散させる）ことができる。
【0019】
コンピューティングシステム１００は、プロセッサ１１０に入力をもたらしてこれらに動きを通知する１つまたは複数の入力デバイス１２０を含むことができる。動きは、入力デバイスから受信される信号を解釈し、かつ通信プロトコルを使用して情報をプロセッサ１１０に通信するハードウェアコントローラによって仲介される。それぞれの入力デバイス１２０は、例えば、マウス、キーボード、タッチスクリーン、タッチパッド、ウェアラブル入力デバイス（例えば、触覚グローブ、ブレスレット、指輪、イヤリング、ネックレス、腕時計など）、カメラ（または、他の光ベースの入力デバイス、例えば、赤外線センサ）、マイクロホン、または、他のユーザ入力デバイスを含むことができる。
【0020】
プロセッサ１１０は、例えば、ＰＣＩバス、ＳＣＳＩバス、または無線接続などの内部または外部バスを用いて他のハードウェアデバイスに結合可能である。プロセッサ１１０は、ディスプレイ１３０などのデバイスに対するハードウェアコントローラと通信可能である。ディスプレイ１３０は、テキストおよびグラフィックを表示するために使用可能である。いくつかの実装形態では、ディスプレイ１３０は、入力デバイスがタッチスクリーンである、または視線方向監視システムを備える時など、ディスプレイの一部としての入力デバイスを含む。いくつかの実装形態では、ディスプレイは入力デバイスから分離している。表示装置の例には、ＬＣＤディスプレイスクリーン、ＬＥＤディスプレイスクリーン、投影、ホログラフィック、または拡張現実ディスプレイ（ヘッドアップ表示装置または頭部装着型デバイスなど）などがある。ネットワークチップまたはカード、ビデオチップまたはカード、オーディオチップまたはカード、ＵＳＢ、ファイヤーワイヤーまたは他の外部デバイス、カメラ、プリンタ、スピーカ、ＣＤ－ＲＯＭドライブ、ＤＶＤドライブ、ディスクドライブなどの他のＩ／Ｏデバイス１４０も、プロセッサに結合可能である。
【0021】
いくつかの実装形態では、カメラ、深度センサ、ＩＭＵセンサ、ＧＰＳユニット、ＬｉＤＡＲまたは他の飛行時間型センサなどのＩ／Ｏデバイス１４０からの入力をコンピューティングシステム１００によって使用して、その環境内のユーザの場所を追跡しながらユーザの物理環境を識別およびマッピングすることができる。この同時位置特定およびマッピング（ＳＬＡＭ）システムは、ある領域（部屋、建物、屋外空間などであってもよい）のマップ（例えば、トポロジー、グリッド（ｇｉｒｄ）など）を生成し、および／またはその領域をマッピングしたコンピューティングシステム１００もしくは別のコンピューティングシステムによって以前に生成されたマップを取得することができる。ＳＬＡＭシステムは、ＧＰＳデータ、識別されたオブジェクトおよび構造をマッピングされたオブジェクトおよび構造と一致させること、加速度および他の位置変化を監視することなどの要因に基づいて、領域内のユーザを追跡することができる。
【0022】
コンピューティングシステム１００は、他のローカルコンピューティングデバイスまたはネットワークノードと無線でまたは有線ベースで通信することが可能な通信デバイスを含むことができる。通信デバイスは、例えば、ＴＣＰ／ＩＰプロトコルを使用するネットワークを通して別のデバイスまたはサーバと通信できる。コンピューティングシステム１００は、複数のネットワークデバイスにわたって動作を分散するために通信デバイスを利用できる。
【0023】
コンピューティングシステム１００のコンピューティングデバイスのうちの１つにおいて含まれ得る、またはコンピューティングシステム１００の複数のコンピューティングデバイスまたは他の外部デバイスにわたって分散可能であるプロセッサ１１０は、メモリ１５０にアクセス可能である。メモリは、揮発性または不揮発性ストレージに対する１つまたは複数のハードウェアデバイスを含み、かつ読み出し専用メモリおよび書き込み可能メモリ両方を含むことができる。例えば、メモリは、ランダムアクセスメモリ（ＲＡＭ）、様々なキャッシュ、ＣＰＵレジスタ、読み出し専用メモリ（ＲＯＭ）、および書き込み可能な不揮発性メモリ、例えば、フラッシュメモリ、ハードドライブ、フロッピーディスク、ＣＤ、ＤＶＤ、磁気記憶装置、およびテープドライブなどのうちの１つまたは複数を含むことができる。メモリは、基盤となるハードウェアから切り離されて伝播する信号ではないため、メモリは非一時的なものである。メモリ１５０は、プログラムおよびソフトウェア、例えば、オペレーティングシステム１６２、インタラクション容易化モジュール１６４、および他のアプリケーションプログラム１６６を格納するプログラムメモリ１６０を含むことができる。メモリ１５０はまた、例えば、システムＵＩの位置データ、ユーザの手の位置データ、インタラクション入力データ、構成データ、設定、ユーザオプションまたは好みなどを含むことができるデータメモリ１７０を含むことができ、これらはプログラムメモリ１６０またはコンピューティングシステム１００の任意の要素に提供することができる。
【0024】
インタラクション容易化モジュール１６４は、ユーザとＸＲ環境内のシステムＵＩおよび／またはＵＩ要素との間のインタラクションを容易にするように構成されてもよい。システムＵＩおよび／またはＵＩ要素との間のインタラクションを容易にするために、インタラクション容易化モジュール１６４は、ＸＲ環境においてシステムＵＩをレンダリングすること、ユーザの手の位置を追跡すること、システムＵＩまたはＵＩ要素とのインタラクション機会を表明すること、システムＵＩに対するユーザの手の位置を更新すること、およびシステムＵＩまたはＵＩ要素とのインタラクションを表明することなどの様々な機能を実施してもよい。
【0025】
ＵＩ要素とのいくつかのインタラクション機会を表明するために、インタラクション容易化モジュール１６４は、ユーザの手の位置に基づいて、ＵＩ要素のアクティブ化の前にＵＩ要素を修正する第１のフィードバックを生成してもよい。システムＵＩとの他のインタラクション機会を表明するために、インタラクション容易化モジュール１６４は、システムＵＩの縁部の少なくとも一部を強調する第２のフィードバックをさらに生成してもよい。
【0026】
ＵＩ要素とのインタラクションを表明するために、インタラクション容易化モジュール１６４は、ユーザの手の位置がＵＩ要素とインタラクトしたという決定に基づいて、ユーザの手の表現の場所を修正させてもよい。システムＵＩとのインタラクションを表明するために、インタラクション容易化モジュール１６４は、ユーザの手がシステムＵＩを掴んでいるという決定に基づいて、ユーザの手の表現の一部を強調する第３のフィードバックを生成してもよい。
【0027】
いくつかの実装形態は、多数の他のコンピューティングシステム環境または構成で動作可能とすることができる。当該技術で使用するのに適し得るコンピューティングシステム、環境、および／または構成の例は、ＸＲヘッドセット、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドもしくはラップトップデバイス、携帯電話、ウェアラブル電子機器、ゲーム機、タブレットデバイス、マルチプロセッサシステム、マイクロプロセッサベースシステム、セットトップボックス、プログラム可能家庭電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、または上記のシステムまたはデバイスのいずれかを含む分散コンピューティング環境などを含むが、これらに限定されない。
【0028】
図２Ａは、いくつかの実装形態による仮想現実頭部装着型ディスプレイ（ＨＭＤ）２００の配線図である。ＨＭＤ２００は前部剛体２０５およびバンド２１０を含む。前部剛体２０５は、電子ディスプレイ２４５の１つまたは複数の電子ディスプレイ要素、慣性運動装置（ＩＭＵ）２１５、１つまたは複数の位置センサ２２０、ロケータ２２５、および１つまたは複数の算出部２３０を含む。位置センサ２２０、ＩＭＵ２１５、および算出部２３０は、ＨＭＤ２００に内蔵されてよくユーザには不可視である場合がある。様々な実装形態では、ＩＭＵ２１５、位置センサ２２０、およびロケータ２２５は、３自由度（３ＤｏＦ）または６自由度（６ＤｏＦ）での現実世界および人工現実環境におけるＨＭＤ２００の移動および場所を追跡可能である。例えば、ロケータ２２５は、ＨＭＤ２００の周りの実物体上の光点を生じさせる赤外光ビームを発することができる。別の例として、ＩＭＵ２１５は、例えば、１つまたは複数の加速度計、ジャイロスコープ、磁力計、他の非カメラベースの位置、力、もしくは向きセンサ、またはそれらの組み合わせを含むことができる。ＨＭＤ２００と一体化された１つまたは複数のカメラ（図示せず）は光点を検出できる。ＨＭＤ２００における算出部２３０は、ＨＭＤ２００の位置および移動を推定するために、およびＨＭＤ２００を取り囲む実物体の形状および位置を識別するために、検出された光点を使用することができる。
【0029】
電子ディスプレイ２４５は、前部剛体２０５と一体化可能であり、かつ算出部２３０によって命令されるとユーザに画像光を提供可能である。様々な実施形態では、電子ディスプレイ２４５は単一の電子ディスプレイまたは複数の電子ディスプレイ（例えば、それぞれのユーザの眼に対するディスプレイ）であり得る。電子ディスプレイ２４５の例として、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、アクティブマトリックス式有機発光ダイオードディスプレイ（ＡＭＯＬＥＤ）、１つもしくは複数の量子ドット発光ダイオード（ＱＯＬＥＤ）サブピクセル、投射器（例えば、マイクロＬＥＤ、レーザなど）、その他のディスプレイ、またはこれらの何らかの組み合わせが挙げられる。
【0030】
いくつかの実装形態では、ＨＭＤ２００は、パーソナルコンピュータ（ＰＣ）（図示せず）などのコア処理構成要素および／または１つもしくは複数の外部センサ（図示せず）に結合可能である。ＰＣが、ＨＭＤ２００の場所および移動を判断するためにＩＭＵ２１５および位置センサ２２０からの出力と組み合わせて使用することができる外部センサは、（例えば、ＨＭＤ２００から発した光によって）ＨＭＤ２００を監視することができる。
【0031】
図２Ｂは、複合現実ＨＭＤ２５２およびコア処理構成要素２５４を含む複合現実ＨＭＤシステム２５０の配線図である。複合現実ＨＭＤ２５２およびコア処理構成要素２５４は、リンク２５６によって指示されるように無線接続（例えば、６０ＧＨｚのリンク）を介して通信可能である。他の実装形態では、複合現実システム２５０は、外部の計算装置はなくヘッドセットのみを含む、または複合現実ＨＭＤ２５２とコア処理構成要素２５４との間の他の有線または無線接続を含む。複合現実ＨＭＤ２５２はパススルーディスプレイ２５８およびフレーム２６０を含む。フレーム２６０は、様々な電子コンポーネント（図示せず）、例えば、光プロジェクタ（例えば、ＬＡＳＥＲ、ＬＥＤ等）、カメラ、目追跡センサ、ＭＥＭＳコンポーネント、ネットワーキングコンポーネント等を格納することができる。
【0032】
プロジェクタは、ユーザに媒体を表示するために、例えば、光学素子を介して、パススルーディスプレイ２５８に結合可能である。光学素子は、プロジェクタからユーザの眼に光を導くための、１つまたは複数の導波路アセンブリ、反射器、レンズ、鏡、コリメータ、格子などを含むことができる。画像データは、コア処理構成要素２５４からリンク２５６を介してＨＭＤ２５２に送信可能である。ＨＭＤ２５２におけるコントローラは、プロジェクタから画像データを光パルスに変換可能であり、これは光学素子を介して出力光としてユーザの眼に送信可能である。出力光は、ディスプレイ２５８を通過する光と混合させることができることで、出力光によって現実世界に存在するかのように現れる仮想オブジェクトを提示することができる。
【0033】
ＨＭＤ２００と同様に、ＨＭＤシステム２５０は、ＨＭＤシステム２５０が、例えば、これ自体を３ＤｏＦまたは６ＤｏＦで追跡すること、ユーザの一部分（例えば、手、脚、頭部、または他の体の一部）を追跡すること、ＨＭＤ２５２が移動すると静止しているように現れるように仮想オブジェクトをマッピングすること、および、ジェスチャおよび他の現実世界のオブジェクトに対して仮想オブジェクトを反応させることを可能にする、運動および位置追跡装置、カメラ、光源なども含むことができる。
【0034】
図２Ｃは、コントローラ２７０（コントローラ２７６Ａおよび２７６Ｂを含む）を示し、いくつかの実装形態では、ユーザは、ＨＭＤ２００および／またはＨＭＤ２５０によって提示される人工現実環境とインタラクトするために片手または両手で保持することができる。コントローラ２７０は、直接または外部デバイス（例えば、コア処理構成要素２５４）を介してＨＭＤと通信することができる。コントローラは、これ自体のＩＭＵ装置、位置センサを有することができる、および／またはさらなる光点を発することができる。ＨＭＤ２００もしくは２５０、外部センサ、またはコントローラ内のセンサは、これらのコントローラ光点を追跡して、コントローラの位置および／または向きを決定することができる（例えば、３ＤｏＦまたは６ＤｏＦでコントローラを追跡するために）。ＨＭＤ２００における算出部２３０またはコア処理構成要素２５４は、ユーザの手の位置および運動を監視するために、ＩＭＵおよび位置出力と組み合わせてこの追跡を使用することができる。コントローラはまた、ユーザが入力を提供し、オブジェクトとインタラクトするために作動することができる様々なボタン（例えば、ボタン２７２Ａ～Ｆ）および／またはジョイスティック（例えば、ジョイスティック２７４Ａ～Ｂ）を含むことができる。
【0035】
様々な実装形態では、ＨＭＤ２００または２５０はまた、ユーザのインタラクションおよび意図の指示を監視するために、視線追跡ユニット、オーディオシステム、様々なネットワーク構成要素などの追加のサブシステムを含むことができる。例えば、いくつかの実装形態では、コントローラの代わりに、またはコントローラに加えて、ＨＭＤ２００もしくは２５０に含まれる、または外部カメラからの１つまたは複数のカメラは、ジェスチャならびに他の手および身体の運動を決定するためにユーザの手の位置および姿勢を監視することができる。別の例として、１つまたは複数の光源はユーザの眼のいずれかまたは両方を照らすことができ、ＨＭＤ２００または２５０は、眼に面するカメラを使用してこの光の反射を捕捉して眼の位置を決定し（例えば、ユーザの角膜の周りの反射のセットに基づく）、ユーザの眼をモデル化して視線方向を決定することができる。
【0036】
図３は、開示された技術のいくつかの実装形態が動作可能である環境３００の全体像を示すブロック図である。環境３００は、１つまたは複数のクライアントコンピューティングデバイス３０５Ａ～Ｄを含むことができ、これらの例として、コンピューティングシステム１００を挙げることができる。いくつかの実装形態では、クライアントコンピューティングデバイスのいくつか（例えば、クライアントコンピューティングデバイス３０５Ｂ）は、ＨＭＤ２００またはＨＭＤシステム２５０とすることができる。クライアントコンピューティングデバイス３０５は、ネットワーク３３０を通した、サーバコンピューティングデバイスなどの１つまたは複数のリモートコンピュータへの論理接続を使用してネットワーク化された環境で動作可能である。
【0037】
いくつかの実装形態では、サーバ３１０は、サーバ３２０Ａ～Ｃなどの他のサーバを通してクライアント要求を受信し、かつこれらの要求の達成を調整するエッジサーバとすることができる。サーバコンピューティングデバイス３１０および３２０は、コンピューティングシステム１００などのコンピューティングシステムを含むことができる。それぞれのサーバコンピューティングデバイス３１０および３２０は単一のサーバとして論理的に表示されるが、サーバコンピューティングデバイスはそれぞれ、同じまたは地理的に異なる物理的場所に位置する複数のコンピューティングデバイスを包含する分散コンピューティング環境とすることができる。
【0038】
クライアントコンピューティングデバイス３０５ならびにサーバコンピューティングデバイス３１０および３２０はそれぞれ、他のサーバ／クライアントデバイスに対するサーバまたはクライアントの機能を果たすことができる。サーバ３１０はデータベース３１５に接続することができる。サーバ３２０Ａ～Ｃはそれぞれ、対応するデータベース３２５Ａ～Ｃに接続できる。上で論じられるように、それぞれのサーバ３１０または３２０はサーバのグループに対応することができ、これらのサーバのそれぞれは、データベースを共有できるまたはこれら自体のデータベースを有することができる。データベース３１５および３２５は単一のユニットとして論理的に表示されるが、データベース３１５および３２５はそれぞれ、複数のコンピューティングデバイスを包含する分散コンピューティング環境とすることができる、これらの対応するサーバ内に位置することができる、または同じまたは地理的に異なる物理的場所に位置することができる。
【0039】
ネットワーク３３０は、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、メッシュネットワーク、ハイブリッドネットワーク、または他の有線もしくは無線ネットワークとすることができる。ネットワーク３３０は、インターネット、またはいくつかの他のパブリックもしくはプライベートネットワークであり得る。クライアントコンピューティングデバイス３０５は、有線または無線通信などによって、ネットワークインターフェースを通してネットワーク３３０に接続可能である。サーバ３１０とサーバ３２０との間の接続は別個の接続として示されるが、これらの接続は、ネットワーク３３０または別個のパブリックもしくはプライベートネットワークを含む、任意の種類のローカル、広域、有線、または無線ネットワークとすることができる。
【0040】
図４は、いくつかの実装形態において、開示された技術を用いるシステムで使用可能である構成要素４００を示すブロック図である。構成要素４００は、コンピューティングシステム１００の１つのデバイスに含まれ得る、またはコンピューティングシステム１００のデバイスの複数にわたって分散され得る。構成要素４００は、ハードウェア４１０、メディエータ４２０、および専用構成要素４３０を含む。上で論じられるように、開示された技術を実装するシステムは、処理ユニット４１２、ワーキングメモリ４１４、入力および出力デバイス４１６（例えば、カメラ、ディスプレイ、ＩＭＵ装置、ネットワーク接続など）、およびデータ記憶用メモリ４１８を含む様々なハードウェアを使用できる。様々な実装形態では、データ記憶用メモリ４１８は、ローカルデバイス、リモート記憶デバイスへのインターフェース、またはこれらの組み合わせの１つまたは複数とすることができる。例えば、データ記憶用メモリ４１８は、システムバスを通してアクセス可能な１つまたは複数のハードドライブもしくはフラッシュドライブとすることができる、または（ストレージ３１５または３２５などにおける）クラウドストレージプロバイダ、または１つまたは複数の通信ネットワークを介してアクセス可能な他のネットワークストレージとすることができる。様々な実装形態では、構成要素４００は、クライアントコンピューティングデバイス３０５などのクライアントコンピューティングデバイスにおいて、またはサーバコンピューティングデバイス３１０または３２０などのサーバコンピューティングデバイス上に実装可能である。
【0041】
メディエータ４２０は、ハードウェア４１０と専用構成要素４３０との間のリソースを仲介する構成要素を含むことができる。例えば、メディエータ４２０は、オペレーティングシステム、サービス、ドライブ、基本入出力システム（ＢＩＯＳ）、コントローラ回路、または他のハードウェアもしくはソフトウェアシステムを含むことができる。
【0042】
専用構成要素４３０は、ＸＲ環境におけるユーザインターフェースインタラクションを容易にするための動作を実施するように構成されたソフトウェアまたはハードウェアを含むことができる。専用構成要素４３０は、システムＵＩレンダリングモジュール４３４と、位置追跡モジュール４３６と、インタラクション機会表明モジュール４３８と、位置更新モジュール４４０と、インタラクション表明モジュール４４２と、ユーザインターフェースの提供、データの転送、および専用構成要素の制御に使用することができる構成要素およびＡＰＩ、例えばインターフェース４３２とを含むことができる。いくつかの実装形態では、構成要素４００は、複数のコンピューティングデバイスにわたって分散されるコンピューティングシステムにある可能性がある、または専用構成要素４３０の１つまたは複数を実行するサーバベースアプリケーションに対するインターフェースである可能性がある。別個の構成要素として描写されているが、専用構成要素４３０は、機能の論理的もしくは他の非物理的な区別であってもよく、および／または１つもしくは複数のアプリケーションのサブモジュールもしくはコードブロックであってもよい。
【0043】
システムＵＩレンダリングモジュール４３４は、システムＵＩをＸＲ環境においてレンダリングするように構成されてもよい。システムＵＩは、システムＵＩがユーザの眼の高さにあるように、ＸＲ環境においてレンダリングされてもよい。さらに、システムＵＩはまた、ＸＲ環境においてシステムＵＩがユーザにとって容易にアクセス可能であるように、ユーザから距離を置いてレンダリングされてもよい。ＸＲ環境におけるシステムＵＩのレンダリングの詳細は、例えば図５Ａにさらに提供される。
【0044】
位置追跡モジュール４３６は、システムＵＩおよび／またはシステムＵＩのＵＩ要素のセットに対するユーザの手の位置を追跡するように構成されてもよい。位置の追跡は、現実世界環境におけるユーザの手の実際の位置および／またはジェスチャを決定するために実施される。例えば、位置の追跡は、ＸＲデバイス（例えば、ＨＭＤ２００または２５０）および／またはリストバンドもしくはグローブなどのユーザによって装着されたデバイス上の１つまたは複数のセンサ（例えば、カメラ）を使用して受信された入力データに基づいて実施されてもよい。さらに、位置追跡モジュール４３６はまた、ＸＲデバイスに関連付けられたコントローラ２７０に基づいて入力データを受信してもよい。ユーザの手の位置の追跡の詳細は、例えば図５Ａにさらに提供される。
【0045】
インタラクション機会表明モジュール４３８は、ユーザの手の位置とシステムＵＩおよび／またはＵＩ要素のセットのうちのＵＩ要素との間のインタラクション機会を表明するように構成されてもよい。例えば、システムＵＩを掴むインタラクション機会は、ユーザの手の位置がシステムＵＩの縁部から閾値距離内にあることに基づいて示されてもよい。別の例では、ＵＩ要素を選択するインタラクション機会は、ユーザの手の位置がＵＩ要素のセットのうちのＵＩ要素から閾値距離内にあることに基づいて示されてもよい。システムＵＩまたはＵＩ要素とのインタラクション機会の表明の詳細は、例えば図５Ｂおよび図５Ｃにさらに提供される。
【0046】
位置更新モジュール４４０は、ＸＲ環境におけるシステムＵＩおよび／またはＵＩ要素のセットに対するユーザの手の位置関連情報を更新するように構成されてもよい。例えば、ユーザの手の表現の位置は、現実世界環境におけるユーザの手の追跡された位置データに基づいて更新されてもよい。ユーザの手の位置データは、位置追跡モジュール４３６を使用して、例えば、ＸＲデバイス上の１つもしくは複数のセンサ（例えば、ＨＭＤ２００または２５０）、ウェアラブル機器、またはＸＲデバイスに関連付けられたコントローラ２７０に基づいて追跡されてもよい。ユーザの手の位置の更新の詳細は、例えば図６にさらに提供される。
【0047】
インタラクション表明モジュール４４２は、ユーザの手の位置とシステムＵＩおよび／またはＵＩ要素との間のインタラクションを表明するように構成されてもよい。例えば、ＵＩ要素とユーザの手との間のインタラクションは、ユーザの手の表現の場所を、ユーザの手の現実世界での場所を直接追跡することから、ユーザの手の現実世界での場所およびＵＩ要素の場所の両方に基づく位置に修正することに基づいて表明されてもよい。別の例では、システムＵＩとユーザの手との間のインタラクションは、ユーザの手がシステムＵＩを掴んでいるという決定に基づいてユーザの手の表現の一部を強調する第３のフィードバックの生成に基づいて表明されてもよい。システムＵＩまたはＵＩ要素とのインタラクションを表明する詳細は、例えば図６にさらに提供される。
【0048】
上述される図１～図４においておよび以下に論じられるフロー図のそれぞれにおいて示される構成要素が様々なやり方で変えられる場合があることを、当業者は理解するであろう。例えば、論理の順序は再配置構成され得る、サブステップは並列に遂行され得る、例解される論理は省略され得る、他の論理が含まれ得る、その他である。一部の実現形態において、上記で説明された構成要素のうちの１つまたは複数は、下記で説明されるプロセスのうちの１つまたは複数を実行することができる。
【0049】
図５Ａは、ＸＲ環境におけるユーザとシステムユーザインターフェース（ＵＩ）とのインタラクションを容易にするための例示的な環境５００Ａを示す概念図である。環境５００Ａは、ＸＲデバイス５０８を装着し得るユーザ５０４を含み得る現実世界環境５０２を含んでもよい。さらに、環境５００Ａは、ＸＲ環境５０２ＡにおいてレンダリングされるシステムＵＩ５１０を含むＸＲ環境５０２Ａを含んでもよい。システムＵＩ５１０は、ＵＩ要素５１２のセットのうちのＵＩ要素５１２ＡおよびシステムＵＩ５１０の縁部５１４を含んでもよい。さらに、ＸＲ環境５０２Ａはまた、ユーザの手５０６の表現５１６を含んでもよい。現実世界環境５０２およびＸＲ環境５０２Ａは、同じ物理空間を占めてもよく、すなわち、現実世界環境５０２におけるユーザの動きは、ＸＲ環境５０２Ａにおけるユーザの視点などの対応する変化を引き起こす場合がある。例えば、システムＵＩ５１０のオーバーレイ表現５１０Ａも現実世界環境５０２に描写されており、現実世界環境５０２に対してシステムＵＩ５１０の位置がどのように存在するかを示している。場合によっては、ＸＲ環境５０２Ａは、現実世界５０２と併せてレンダリングされたシステムＵＩ５１０のオーバーレイ表現５１０Ａをユーザが見ることができる複合現実または拡張現実環境であってもよい。例えば、ユーザ５０４は、ユーザが現実世界環境５０２を見ることができるのと同時に、ＸＲ環境５０２Ａにおいてレンダリングされ得るシステムＵＩのオーバーレイ表現５１０Ａを、ＸＲデバイス５０８を介して見ることができてもよい。他の場合には、ＸＲ環境は、ユーザが見るものが完全にコンピュータ生成される仮想環境とすることができる。したがって、システムＵＩ５１０のオーバーレイ表現５１０Ａは、現実世界環境５０２と併せて見ることができないが、代わりに、ユーザが現実世界内も移動しているのと同時に移動している仮想空間内にレンダリングされる。
【0050】
ＸＲデバイス５０８は、ＸＲ環境５０２ＡにおいてシステムＵＩ５０４とインタラクトするためにユーザ５０４（例えば、ＸＲデバイス５０８を着用している人）によって使用され得るウェアラブルデバイスであってもよい。ＸＲデバイス５０８は、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、スタンドアロンＨＭＤ、モバイルデバイスもしくはコンピューティングシステム、または人工現実コンテンツを提供することができる任意の他のハードウェアプラットフォームを含むような物理デバイスであってもよい。例えば、ＸＲデバイス５０８は、例えば図２Ａで説明したような仮想現実ヘッドマウントディスプレイ（ＨＭＤ）２００および／または例えば図２Ｂで説明したような複合現実ＨＭＤシステム２５０であってもよい。ＸＲデバイス５０８は、ユーザの手５０６の位置を追跡することができ、かつ／またはユーザの手５０６のジェスチャをリアルタイムで検出することもできる１つまたは複数のセンサを有してもよい。例えば、ユーザの手５０６の表現５１６の位置は、現実世界５０２におけるユーザの手５０６の位置の追跡に基づいて、ＸＲ環境５０２Ａにおいて更新されてもよい。さらに、ユーザの手５０６の位置の追跡はまた、例えば、図２Ｃに説明されるＸＲデバイス５０８に関連付けられたコントローラ２７０（例えば、ハンドコントローラ）を使用して実施されてもよく、またはコントローラは、ＨＭＤ２００もしくは２５０のものと同様の自己追跡機能を含んでもよく、またはＨＭＤ２００もしくは２５０によるコントローラの追跡を可能にする設計、発光、または他の信号を有し得るウェアラブルデバイスであってもよい。
【0051】
一実装形態では、システムＵＩ５１０は、ＸＲ環境５０２Ａにおいてレンダリングされてもよい。システムＵＩ５１０は、ＸＲ環境５０２Ａにおいてユーザ５０４の正面にレンダリングされる２Ｄユーザインターフェース（ＵＩ）または３Ｄ ＵＩであってもよい。システムＵＩ５１０は、仮想オブジェクト、環境、または物理世界および／もしくは仮想世界に関する情報とインタラクトするために使用されてもよい。より具体的には、システムＵＩ５１０は、ユーザとＸＲ環境５０２Ａとの間のインタラクションが発生し得る任意のＵＩであってもよい。システムＵＩ５１０は、ＸＲデバイス５０８を介してユーザ５０４からの１つまたは複数の入力を受信し、ユーザ５０４から受信した入力に基づいて出力を提供してもよい。システムＵＩ５１０は、例えば、複合ユーザインターフェース（ＣＵＩ）および／またはマルチメディアユーザインターフェース（ＭＵＩ）などの１つであってもよい。
【0052】
一実装形態では、システムＵＩ５１０は、ＵＩ要素５１２のセットのうちのＵＩ要素５１２Ａを含んでもよい。ＵＩ要素５１２のセットは、システムＵＩ５１０上で見ることができる視覚的要素であってもよい。例えば、ＵＩ要素のセットは、アイコン、ボタン、メニュー、テキストフィールド、進捗バー、画像、図面、アニメーションなどであってもよい。ＵＩ要素のセットは、例えばウェブサイトのブラウジングまたはアプリケーションへのアクセスなどの様々な目的のためのユーザによるシステムＵＩ５１０の利用を可能にする。ＵＩ要素のセットは、任意の形状およびサイズであってもよい。
【0053】
さらに、縁部５１４は、システムＵＩ５１０の周囲を描写してもよい。縁部５１４は、システムＵＩ５１０からのユーザの手５０６の位置の近接度に基づいて現れたり消えたりしてもよい。例えば、縁部５１４は、ユーザの手５１４の位置の近接度が閾値距離内にあることに基づいて強調を開始してもよく、すなわち、縁部５１４の一部は、ユーザの手５０６の表現５１６がシステムＵＩ５１０の縁部５１４から第２の閾値距離内にあるときに強調してもよい。さらに、縁部５１４の強調部分は、ユーザの手５０６の表現５１６がシステムＵＩ５１０の縁部５１４に近づくにつれて増加する。縁部５１４の強調の詳細は、例えば図５Ｃでさらに説明される。
【0054】
図５Ｂは、ＸＲ環境５０２Ａにおけるユーザインターフェースインタラクションを容易にするためのＵＩ要素５１２Ａに対応する第１のフィードバックを示す概念図５００Ｂである。ＸＲ環境５０２Ａは、システムＵＩ５１０を含んでもよい。システムＵＩ５１０は、ＵＩ要素５１２Ａを含んでもよい。ＸＲ環境５０２Ａは、ユーザの手５０６の表現５１６をさらに含んでもよい。
【0055】
コンピューティングシステムは、現実世界５０２におけるユーザの手５０６の位置を決定するように構成されてもよい。一例では、ユーザの手５０６の位置（ＸＲ環境５０２Ａではユーザの手５０６の表現５１６として描写される）は、ＵＩ要素５１２Ａの第１の閾値距離５２０内にある。ユーザの手５０６の位置がＵＩ要素５１２Ａの第１の閾値距離５２０内にあるという決定に応答して、コンピューティングシステムは、ＵＩ要素５１２Ａのアクティブ化の前にＵＩ要素５１２Ａを修正し得る第１のフィードバックを生成してもよい。例えば、第１のフィードバックは、ユーザの手５０６に向かってシステムＵＩ５１０の表面の上方に第１の高さ５１８だけＵＩ要素５１２Ａを拡張することを含んでもよい。そのような第１のフィードバックは、ユーザ５０４とＵＩ要素５１２Ａとのインタラクション機会を表明してもよい。そのような場合、ＵＩ要素５１２Ａとユーザの手５０６の位置との間の実際のインタラクションは実施されない。例えば、第１の閾値高さ５１８は、ユーザの手５０６の少なくとも１本の指がＵＩ要素５１２Ａに近く、要素５１２Ａを押すなどのユーザインタラクションによってＵＩ要素５１２Ａが選択され得ることを描写するために、ＵＩ要素５１２ＡがシステムＵＩ５１０の平面の上方に上昇し得る高さである。ＵＩ要素５１２Ａのそのような拡張は、ＵＩ要素のセットのうちのＵＩ要素５１２Ａが選択され得るという指示としてユーザ５０４によって理解されてもよい。例示的なシナリオでは、第１の閾値高さ５１８は「０．０１」メートルであってもよく、すなわち、ＵＩ要素５１２ＡはシステムＵＩ５１０の表面から「０．０１」メートル上方まで拡張してもよい。
【0056】
いくつかの実施形態では、第１のフィードバックは、ＵＩ要素のセットのうちのＵＩ要素５１２Ａによってカバーされ得るシステムＵＩ５１０の表面の量を増加させることをさらに含んでもよい。例えば、表面を増加させることは、表面の増加後、ＵＩ要素５１２ＡがＵＩ要素のセットの他のＵＩ要素から視覚的に区別され得るように、ＵＩ要素５１２Ａの元のサイズをＵＩ要素５１２Ａの元のサイズよりも大きくてもよいサイズに拡大することに対応してもよい。そのような第１のフィードバックは、ユーザ５０４とＵＩ要素５１２Ａとのインタラクション機会を表明してもよい。そのような場合、ＵＩ要素５１２Ａとユーザの手５０６の位置との間の実際のインタラクションは実施されない。
【0057】
図５Ｃは、システムＵＩ５１０の縁部５１４の一部の強調に対応する第２のフィードバックを表す概念図５００Ｃである。概念図５００Ｃは、ＸＲ環境５０２Ａを含んでもよい。ＸＲ環境５０２Ａは、システムＵＩ５１０およびユーザの手５０６の表現５１６を含んでもよい。
【0058】
コンピューティングシステムは、現実世界５０２におけるユーザの手５０６の位置を決定するように構成されてもよい。一例では、ユーザの手５０６の位置（ＸＲ環境５０２Ａではユーザの手５０６の表現５１６として描写される）は、システムＵＩ５１０の縁部５１４の第２の閾値距離５２２内にある。ユーザの手５０６の位置がシステムＵＩ５１０の縁部５１４の第２の閾値距離５２２内にあるという決定に応答して、コンピューティングシステムは第２のフィードバックを生成してもよい。例えば、第２のフィードバックは、システムＵＩ５１０の縁部５１４の少なくとも一部を強調することを含んでもよい。例えば、強調は、カラーリング、陰影、サイズ、不透明度などを変更することを含むことができる。そのような第２のフィードバックは、ユーザ５０４とシステムＵＩ５１０の縁部５１４とのインタラクション機会を表明してもよい。そのような場合、システムＵＩ５１０の縁部５１４とユーザの手５０６の位置との間の実際のインタラクションは実施されない。
【0059】
いくつかの実施形態では、縁部５１４の部分の強調は、任意のサイズであってもよい。さらに、強調部分のサイズは、ユーザの手５０６の位置とシステムＵＩ５１０の縁部５１４との近接度が第２の閾値距離５２２内であることに基づいて増加および／または減少させてもよい。縁部５１４の強調部分の詳細は、例えば図８Ａにさらに提供される。
【0060】
第２のフィードバックは、ユーザの手５０６の表現５１６の一部を強調することをさらに含んでもよい。例えば、強調は、カラーリング、陰影、サイズ、不透明度などを変更することを含んでもよい。部分は、ユーザの手５０６の表現５１６の親指または１本もしくは複数本の指の少なくとも一方を含んでもよい。さらに、第２のフィードバックは、ユーザの手の表現５１６の一部とシステムＵＩ５１０との間の距離の減少に基づいて、ユーザの手５０６の表現５１６の親指または１本もしくは複数本の指の少なくとも一方の強調部分の量を増加させることをさらに含んでもよい。例えば、ユーザの手５０６の表現５１６の部分（親指および１本もしくは複数本の指の指先など）は、ユーザの手５０６の位置が第２の閾値距離５２２内にあることに基づいて徐々に強調を開始してもよく、ユーザの手５０６がシステムＵＩ５１０に近づくにつれて、ユーザの手５０６の表現５１６の強調部分または強調の強度は増加を開始してもよい。さらに、ユーザの手５０６の表現５１６の部分５１６Ａの強調は、グラブジェスチャに含まれる表現５１６の部分に依存してもよい。例えば、ユーザ５０４は、親指および人差し指を使用してシステムＵＩ５１０の縁部５１４を掴んでもよい。そのような場合、システムＵＩ５１０の縁部５１４と接触しているユーザの手５０６の表現５１６における親指および人差し指に対応する部分５１６Ａが強調されてもよい。別の例では、ユーザ５０４は、親指および４本全ての指を使用してシステムＵＩ５１０の縁部５１４を掴んでもよい。そのような場合、システムＵＩ５１０の縁部５１４と接触しているユーザの手５０６の表現５１６における親指および４本全ての指に対応する部分５１６Ａが強調されてもよい。
【0061】
図６は、ユーザの手５０６とシステムＵＩ５１０のＵＩ要素５１２Ａとのインタラクションを示す概念図６００である。概念図６００は、ＸＲ環境５０２Ａを含んでもよい。ＸＲ環境５０２Ａは、システムＵＩ５１０およびユーザの手５０６の表現５１６を含んでもよい。ＸＲ環境５０２Ａは、ＸＲ環境５０２Ａにおけるユーザの手５０６の表現５１６の位置と比較した、現実世界環境５０２におけるユーザの手５０６の位置をさらに示す。
【0062】
コンピューティングシステムは、システムＵＩ５１０および／またはＵＩ要素５１２Ａのセットに対するユーザの手５０６の位置を更新するように構成されてもよい。ユーザの手５０６の位置は、現実世界５０２におけるユーザの手５０６の位置の追跡に基づいて、ＸＲ環境５０２Ａにおいて更新されてもよい。ユーザの手５０６の更新された位置は、ユーザの手５０６の表現５１６として描写されてもよい。
【0063】
コンピューティングシステムは、ユーザの手５０６の更新された位置に基づいて、ユーザの手５０６の位置がＵＩ要素５１２Ａとインタラクトしたことを決定するようにさらに構成されてもよい。ユーザの手５０６の位置がＵＩ要素５１２Ａとインタラクトしたという決定に応答して、コンピューティングシステムは、ユーザの手５０６の表現５１６の場所および／または位置を修正させてもよい。ユーザの手５０６の表現５１６の場所は、ユーザの手５０６の現実世界での場所を直接追跡することから、ユーザの手５０６の現実世界での場所（現実世界環境５０２内の場所など）およびＸＲ環境５０２Ａ内のＵＩ要素５１２Ａの場所の両方に基づく位置に修正されてもよい。例えば、コンピューティングシステムは、最初に、ユーザの手５０６の表現５１６をユーザの手５０６の現実世界の位置と近くなるように一致させる。ユーザの手５０６の位置がＵＩ要素５１２Ａとインタラクトしたという決定に基づいて、ユーザの手５０６の表現５１６がＵＩ要素５１２Ａに取り付けられる（または貼り付けられる）。貼り付けは、ユーザの手５０６が現実世界においてＵＩ要素５１２Ａから閾値量だけ離れて移動するときに、ユーザの手５０６の表現５１６がＵＩ要素５１２Ａから離れないようなものである。
【0064】
一実装形態では、ＵＩ要素５１２Ａとインタラクトするために、ユーザ５０４は、ＵＩ要素５１２Ａを押すことを必要とする場合がある。コンピューティングシステムは、ユーザの手５０６の表現５１６がシステムＵＩ５１０の表面を越えてＵＩ要素５１２Ａを押していると決定するようにさらに構成されてもよい。ユーザの手５０６の表現５１６がシステムＵＩ５１０の表面を越えてＵＩ要素５１２Ａを押しているという決定に応答して、コンピューティングシステムは、ＵＩ要素５１２ＡがシステムＵＩ５１０の表面の下に拡張するのを防止してもよい。例えば、ユーザ５０４がシステムＵＩ５１０の表面を越えて第１の高さ５１８だけ拡張されたＵＩ要素５１２Ａを押そうとする状況（例えば図５Ｂで説明したもの）において、コンピューティングシステムは、システムＵＩ５１０の表面および／または平面の下でのＵＩ要素５１２Ａの移動を防止してもよい。場合によっては、ユーザの手の表現もシステムＵＩ５１０の表面を通過しないように、ユーザの手の表現の位置は、ユーザの手の現実世界での場所を正確に追跡しないように修正されてもよい。
【0065】
さらに、別の実装形態では、ユーザの手５０６の位置（ＸＲ環境５０２Ａ内では表現５１６として描写される）がＵＩ要素５１２Ａとインタラクトした可能性があるという決定に応答して、コンピューティングシステムはＵＩ要素５１２Ａを強調してもよい。例えば、ＵＩ要素５１２Ａの強調は、ＵＩ要素５１２Ａのカラーリング、陰影サイズ、不透明度などを変更することを含んでもよい。さらに、ＵＩ要素５１２Ａと接触しているユーザの手５０６の表現５１６の１つまたは複数の部分はまた、色、陰影、サイズ、不透明度などの変化で強調されてもよい。
【0066】
図７Ａおよび図７Ｂは、システムＵＩ５１０のＵＩ要素５１２Ａのアクティブ化を集合的に示す概念図である。図７Ａは、ＵＩ要素５１２Ａのアクティブ化の第１のステップを含む図７００Ａを描写する。図７００Ａは、ＸＲ環境５０２Ａを含んでもよい。ＸＲ環境５０２Ａは、システムＵＩ５１０と、ユーザの手５０６の表現５１６とを含む。
【0067】
一実装形態では、ＵＩ要素５１２Ａは、アクティブ化され得るボタンＵＩ要素（例えば図５Ａで説明したもの）であってもよい。アクティブ化は、ユーザの手５０６（ＸＲ環境５０２Ａ内では表現５１６として描写される）が、第１のステップとして第１の押下閾値を超えてＵＩ要素５１２Ａを押下し、第２のステップとして第２の押下閾値を超えてＵＩ要素５１２Ａを解放することによってＵＩ要素５１２Ａとインタラクトしたという決定に応答して、コンピューティングシステムによって実施されてもよい。第２のステップが図７Ｂに描写されている。
【0068】
図７Ｂは、ＵＩ要素５１２Ａのアクティブ化の第２のステップを含む図７００Ｂを描写する。図７００Ｂは、ＸＲ環境５０２Ａを含んでもよい。ＸＲ環境５０２Ａは、システムＵＩ５１０と、ユーザの手５０６の表現５１６とを含む。ＵＩ要素５１２Ａは、ＵＩ要素５１２Ａとのインタラクション後に第２の押下閾値７０２を超えて解放されてもよい。
【0069】
例示的なシナリオでは、コンピューティングシステムは、ユーザの手５０６の位置が第１の閾値距離５２０内にあると決定された後に、ＵＩ要素５１２Ａを０．０１メートル拡張してもよい。そのような場合、ＵＩ要素５１２Ａをアクティブ化するために、ユーザは、ＵＩ要素５１２ＡがシステムＵＩ５１０の表面と同一平面上またはほぼ同一平面上になるようにＵＩ要素５１２Ａを第１の押下閾値だけ押し、ＵＩ要素５１２Ａが第２の押下閾値７０２（例えば、０．００２メートル）を超えて上昇し得るようにＵＩ要素５１２Ａを解放してもよい。さらに、第１の押下閾値は、第２の押下閾値７０２よりもシステムＵＩ５１０の表面に近い。例えば、ＵＩ要素５１２Ａが第１の押下閾値を超えて押下されると、ＵＩ要素５１２ＡはシステムＵＩ５１０の表面と同一平面またはほぼ同一平面になり、ＵＩ要素５１２Ａが第２の押下閾値７０２を超えて解放されると、ＵＩ要素５１２Ａは上昇する。第２の押下閾値７０２を超えてＵＩ要素５１２Ａを解放した後、コンピューティングシステムはＵＩ要素５１２Ａをアクティブ化してもよい。
【0070】
別の実装形態では、コンピューティングシステムは、ＵＩ要素５１２Ａのアクティブ化に応答してオーディオキューを出力してもよい。例えば、オーディオキューは、ＵＩ要素５１２Ａが第２の押下閾値７０２を超えて解放された後に出力されてもよい。オーディオキューは、ＸＲデバイス５０８を介して出力されてもよい。例えば、オーディオキューは、ＵＩ要素５１２Ａのアクティブ化を示すクリック音であってもよい。いくつかの実施形態では、オーディオキューのための音は、ユーザ５０４によって選択されてもよい。
【0071】
別の実装形態では、コンピューティングシステムは、ＵＩ要素５１２Ａのアクティブ化に応答して１つまたは複数のフィードバックを出力してもよい。例えば、フィードバックはオーディオまたは視覚フィードバックを含んでもよく、例えば、アクティブ化されたＵＩ要素５１２Ａを強調しても（アクティブ化を示すために別の色で強調表示しても）よく、および／またはＵＩ要素５１２Ａのアクティブ化を示すためにオーディオキューを出力してもよいなどである。
【0072】
コンピューティングシステムは、システムＵＩ５１０の縁部５１４をさらに強調してもよい。縁部５１４は、ユーザの手５０６の位置がシステムＵＩ５１０の縁部５１４に近接している、または縁部５１４がユーザの手５０６によって掴まれているという決定に基づいて強調されてもよい。ユーザの手５０６の位置の近接度およびシステムＵＩ５１０の縁部５１４が掴まれていることに基づくシステムＵＩ５１０の縁部５１４の強調は、図８Ａおよび図８Ｂにさらに記載される。
【0073】
図８Ａは、ユーザの手５０６の位置の近接度に基づくシステムＵＩ５１０の縁部５１４の部分の強調を示す概念図８００Ａである。概念図８００Ａは、ＸＲ環境５０２Ａを含んでもよい。ＸＲ環境５０２Ａは、システムＵＩ５１０を含んでもよい。システムＵＩ５１０は、縁部５１４をさらに含んでもよい。ＸＲ環境５０２Ａは、ユーザの手５０６の表現５１６をさらに含んでもよい。
【0074】
一実装形態では、システムＵＩ５１０の縁部５１４の強調は、ユーザの手５０６の位置の近接度に依存する。例えば、縁部５１４の部分は、ユーザの手５０６がシステムＵＩ５１０の縁部５１４の部分から第２の閾値距離５２２に達すると、強調を開始してもよい。ユーザの手５０６の位置がシステムＵＩ５１０の縁部５１４の第２の閾値距離５２２内にあるという決定に応答して、コンピューティングシステムは、システムＵＩ５１０の縁部５１４の少なくとも一部を強調する第２のフィードバックを生成してもよい。さらに、ユーザの手５０６が第２の閾値距離５２２内でシステムＵＩ５１０の縁部５１４に近づくにつれて、縁部５１４の強調部分のサイズはそれに応じて増加してもよい。そのような第２のフィードバックは、ユーザ５０４とシステムＵＩ５１０の縁部５１４とのインタラクション機会を表明してもよい。そのような場合、システムＵＩ５１０の縁部５１４とユーザの手５０６の位置との間の実際のインタラクションは実施されない。
【0075】
一例では、ユーザの手５０６の位置が縁部５１４の右側から５センチメートル（ｃｍ）の距離にあり得る場合、縁部５１４の右側の２ｃｍの部分が強調されてもよい。さらに、ユーザの手５０６の位置が縁部５１４の右側から１ｃｍの距離にある場合、縁部５１４の右側の６ｃｍの部分が強調されてもよい。したがって、縁部５１４の部分の強調は、ユーザの手５０６の表現の部分とシステムＵＩ５１０の縁部５１４の部分との間の距離が減少するにつれて、縁部５１４の周りで増加する。
【0076】
いくつかの実装形態では、ユーザの手５０６の表現５１６の一部はまた、ユーザの手５０６の位置と縁部５１４との近接度が第２の閾値距離５２２内であることに基づいて強調されてもよい。さらに、第２のフィードバックは、ユーザの手５０６の表現５１６の一部とシステムＵＩ５０６の縁部５１４との間の距離の減少に基づいて、ユーザの手５０６の表現５１６の親指または１本もしくは複数本の指の少なくとも一方の強調部分５１６Ａの量を増加させることをさらに含んでもよい。例えば、強調量を増加させることは、強調の強度を増加させる（例えば、色または陰影の強度を増加させる）こと、またはユーザの手５０６の表現５１６の親指または１本もしくは複数本の指の強調部分の面積を増加させることを含んでもよい。さらに、ユーザの手５０６の表現５１６の部分５１６Ａの強調は、グラブジェスチャに含まれる表現５１６の部分に依存してもよい。例えば、ユーザ５０４は、親指および人差し指を使用してシステムＵＩ５１０の縁部５１４を掴んでもよい。そのような場合、システムＵＩ５１０の縁部５１４と接触しているユーザの手５０６の表現５１６における親指および人差し指に対応する部分５１６Ａが強調されてもよい（図８Ａに示す）。別の例では、ユーザ５０４は、親指および４本全ての指を使用してシステムＵＩ５１０の縁部５１４を掴んでもよい。そのような場合、システムＵＩ５１０の縁部５１４と接触しているユーザの手５０６の表現５１６における親指および４本全ての指に対応する部分５１６Ａが強調されてもよい。
【0077】
図８Ｂは、縁部５１４が掴まれていることに基づいた、縁部５１４およびユーザの手５０６の表現５１６Ａのより広範な強調を表す概念図８００Ｂである。概念図８００Ｂは、ＸＲ環境５０２Ａを含んでもよい。ＸＲ環境５０２Ａは、システムＵＩ５１０を含んでもよい。システムＵＩ５１０は、システムＵＩ５１０の縁部５１４を含んでもよい。ＸＲ環境５０２Ａは、ユーザの手５０６の表現５１６をさらに含んでもよい。
【0078】
コンピューティングシステムは、ユーザの手５０６の位置がシステムＵＩ５１０（システムＵＩ５１０の縁部５１４など）を掴むジェスチャを含んでいる可能性があると決定するように構成されてもよい。一例では、ユーザの手５０６（ＸＲ環境５０２Ａではユーザの手５０６の表現５１６として描写される）の位置は、システムＵＩ５１０の縁部５１４の位置と接触している。ユーザの手５０６の位置がシステムＵＩ５１０を掴むジェスチャを含んでいるという決定に応答して、コンピューティングシステムは第３のフィードバックを生成してもよい。例えば、ジェスチャは、少なくともユーザの手５０６の親指および１本もしくは複数本の指を使用して縁部５１４を掴むまたは保持することを含んでもよい。第３のフィードバックは、システムＵＩ５１０を掴んでいるユーザの手５０６の表現５１６Ａの少なくとも一部５１６Ａを強調することを含んでもよい。そのような第３のフィードバックは、ユーザ５０４とシステムＵＩ５１０の縁部５１４とのインタラクションを表明してもよい。そのような場合、システムＵＩ５１０の縁部５１４とユーザの手５０６の位置との間の実際のインタラクションが実施される。
【0079】
一実装形態では、ユーザの手５０６の位置とシステムＵＩ５１０の縁部５１４との間の距離が減少するにつれて、（図８Ａで説明したように）ユーザの手５０６の少なくとも親指および１本もしくは複数本の指の強調が増加する。ユーザの手５０６の表現５１６の少なくとも親指または１本もしくは複数本の指の強調量は、システムＵＩ５１０がユーザの手５０６の表現５１６の親指または１本もしくは複数本の指の少なくとも一方によって掴まれているという決定に基づいて所定のレベルに達する。換言すれば、ユーザの手５０６の表現５１６の少なくとも親指または１本もしくは複数本の指の強調量は、ユーザの手５０６がシステムＵＩ５１０の縁部５１４を掴んだときに最大となってもよい。
【0080】
一実装形態では、第３のフィードバックは、ユーザの手５０６の表現５１６の少なくとも一部がシステムＵＩ５１０を掴んでいるときにシステムＵＩ５１０の縁部５１４をより広範に強調することをさらに含んでもよい。例えば、システムＵＩ５１０の縁部５１４の強調部分のサイズは、ユーザの手５０６がシステムＵＩ５１０に近づくにつれて増加する（例えば、図８Ａに説明されている）。システムＵＩ５１０の縁部５１４は、ユーザの手５０６がシステムＵＩ５１０の縁部５１４を掴んでいるという決定に基づいてさらに強調されてもよい。そのような第３のフィードバックは、システムＵＩ５１０がＸＲ環境５０２Ａにおいてユーザ５０６によって保持されているという指示としてユーザ５０４によって利用されてもよい。
【0081】
図９Ａは、ＸＲ環境５０２Ａにおけるユーザ５０４とＵＩ要素５１２Ａとのインタラクションのために本技術のいくつかの実装形態において使用される方法９００Ａのフロー図を示す。
【0082】
一実装形態では、方法９００Ａは、コンピューティングシステムおよびＸＲデバイス５０８がネットワーク３３０を介して接続されたときにトリガされてもよい。ＸＲデバイスがユーザ５０４によって起動されると、コンピューティングシステムは、ＸＲデバイス５０８上にＸＲ環境５０２Ａを表示してもよい。さらに、コンピューティングシステムは、ユーザ５０４から入力を受信して、ＸＲ環境５０２ＡにおいてシステムＵＩ５１０をレンダリングしてもよい。
【0083】
ブロック９０２Ａにおいて、システムＵＩ５１０は、ＸＲ環境５０２Ａにおいてレンダリングされる。例えば、システムＵＩ５１０は、ユーザ５０４の眼の高さの前にあるＸＲ環境内の位置に、ユーザの手があると決定された場所の近くに、別のＵＩ要素またはユーザ部分に取り付けられて、システムＵＩが最後に示された位置などにレンダリングされてもよい。レンダリングされたシステムＵＩ５１０の位置は、ＸＲデバイス５０８に組み込まれたプリセットのデフォルト位置および／またはユーザ５０４によって規定された位置に設定することができる。システムＵＩ５１０の位置は、ユーザ５０４が到達可能であり、システムＵＩ５１０が常にユーザ５０４の眼の高さの前に位置するように設定される。
【0084】
ブロック９０４Ａにおいて、システムＵＩ５１０に対するユーザの手５０６の位置の追跡を実施してもよい。ユーザの手５０６の位置の追跡は、ＸＲデバイス５０８上に存在する複数のセンサを使用して取得された位置データに基づいて実施されてもよい。例えば、複数のセンサは、カメラなどの撮像デバイス、慣性運動ユニット（ＩＭＵ）センサ、発光（例えば、赤外線）内外追跡要素などを含んでもよい。ユーザの手５０６の表現５１６の位置は、ユーザの手５０６の追跡に基づいて更新される。例えば、ユーザ５０４が意図的に手を動かしてＵＩ要素５１２Ａに触れている可能性がある状況では、ユーザの手５０６の表現５１６の位置はまた、ＸＲデバイス５０８によるユーザの手５０６の位置の追跡に基づいて移動してもよい。
【0085】
ブロック９０６Ａにおいて、ユーザの手５０６の表現５１６の位置とＵＩ要素５１２Ａとの間のインタラクション機会が表明される。ここで、コンピューティングシステムは、ユーザの手５０６の表現５１６の位置がＵＩ要素５１２Ａの第１の閾値距離内にあるという決定に応答して第１のフィードバックを生成してもよい。生成された第１のフィードバックは、例えば、ＵＩ要素５１２Ａのアクティブ化の前にシステムＵＩ５１０の表面の上にＵＩ要素５１２Ａを拡張することによって、ＵＩ要素５１２Ａを修正する。
【0086】
ブロック９０８Ａにおいて、システムＵＩ５１０および／またはＵＩ要素５１２Ａに対するユーザの手５０６の位置が更新される。ユーザの手５０６の表現５１６の位置は、ユーザの手５０６の位置データに基づいて更新される。ユーザの手の位置は、ユーザの手５０６の表現５１６とシステムＵＩ５１０またはＵＩ要素５１２Ａおよび／またはＵＩ要素５１２のセットとの間のインタラクションを表明するように更新される。
【0087】
ブロック９１０Ａにおいて、ユーザの手の位置がＵＩ要素５１２ＡとインタラクトしてＵＩ要素５１２Ａとのインタラクションが表明されたという決定に応答して、コンピューティングシステムは、ユーザの手５０６の表現５１６の場所を、ユーザの手５０６の現実世界での場所５０６ａを直接追跡することから、ユーザの手５０６の現実世界での場所５０６ａおよびＵＩ要素５１２Ａの場所の両方に基づく位置に修正させる。例えば、ユーザの手５０６の位置とＵＩ要素５１２Ａとの間のインタラクションを表明するために、ユーザの手５０６の表現５１６の場所は、ＸＲ環境５０２Ａ内のＵＩ要素５１２Ａの場所と同じであってもよい。例えば、コンピューティングシステムは、最初に、ユーザの手５０６の表現５１６をユーザの手５０６の現実世界の位置と近くなるように一致させる。ユーザの手５０６の位置がＵＩ要素５１２Ａとインタラクトしたという決定に基づいて、ユーザの手５０６の表現５１６がＵＩ要素５１２Ａに取り付けられる。取り付けは、ユーザの手５０６が現実世界においてＵＩ要素５１２Ａから閾値量だけ離れて移動するとき、コンピューティングシステムがユーザの手５０６の表現５１６をＵＩ要素５１２Ａから離さないようにするものである。
【0088】
図９Ｂは、ＸＲ環境５０２Ａにおけるユーザ５０４とシステムＵＩ５１０とのインタラクションのために本技術のいくつかの実装形態において使用される方法９００Ｂのフロー図を示す。
【0089】
一実装形態では、方法９００Ｂは、コンピューティングシステムおよびＸＲデバイス５０８がネットワーク３３０を介して接続されたときにトリガされてもよい。ＸＲデバイスがユーザ５０４によって起動されると、コンピューティングシステムは、ＸＲデバイス５０８上にＸＲ環境５０２Ａを表示してもよい。さらに、コンピューティングシステムは、ユーザ５０４から入力を受信して、ＸＲ環境５０２ＡにおいてシステムＵＩ５１０をレンダリングしてもよい。
【0090】
ブロック９０２Ｂにおいて、システムＵＩ５１０は、ＸＲ環境５０２Ａにおいてレンダリングされる。例えば、システムＵＩ５１０は、ユーザ５０４の眼の高さの前にあるＸＲ環境内の位置にレンダリングされてもよい。さらに、ブロック９０２Ｂは、図９Ａのブロック９０２Ａと同様に実施されてもよい。
【0091】
ブロック９０４Ｂにおいて、システムＵＩ５１０に対するユーザの手５０６の位置の追跡を実施してもよい。ユーザの手５０６の位置の追跡は、ＸＲデバイス５０８上に存在する複数のセンサを使用して取得された位置データに基づいて実施されてもよい。さらに、ブロック９０４Ｂは、図９Ａのブロック９０４Ａと同様に実施されてもよい。
【0092】
ブロック９０６Ｂにおいて、ユーザの手５０６の表現５１６の位置とシステムＵＩ５１０の縁部５１４との間のインタラクション機会が表明される。ここで、コンピューティングシステムは、ユーザの手５０６の表現５１６の位置がシステムＵＩ５１０の縁部５１４の第２の閾値距離５２２内にあるという決定に応答して第２のフィードバックを生成してもよい。生成された第２のフィードバックは、システムＵＩ５１０の縁部５１４の少なくとも一部の強調を含んでもよい。さらに、一実施形態では、システムＵＩ５１０の縁部５１４の強調部分は、ユーザの手５０６の表現５１６とシステム５０８の縁部５１４との間の距離が減少するにつれて増加してもよい。
【0093】
ブロック９０８Ｂにおいて、システムＵＩ５１０および／またはＵＩ要素５１２Ａに対するユーザの手５０６の位置が更新される。例えば、より詳細にはブロック９０８Ｂにおいて、ユーザの手の位置は、ユーザの手５０６の表現５１６とシステムＵＩ５１０との間のインタラクションを表明するように更新される。さらに、ブロック９０８Ｂは、図９Ａのブロック９０８Ａと同様に実施されてもよい。
【0094】
ブロック９１０Ｂにおいて、ユーザの手５０６の位置が、システムＵＩとのインタラクションを表明するためのシステムＵＩ５１０の縁部５１４を掴むジェスチャを含んでいるという決定に応答して、コンピューティングシステムは、システムＵＩ５１０を掴んでいるユーザの手５１４ａの表現の少なくとも一部を強調する第３のフィードバックを生成してもよい。例えば、掴まれたときに、システムＵＩ５１０に接触している可能性があり、特定のグラブジェスチャ（例えば、ピンチする、手を握るなど）を行っていると決定され、かつ／またはシステムＵＩ５１０から閾値距離内にあるユーザの手５０６の表現５１６の部分が強調されてもよい。
【0095】
いくつかの実装形態では、ブロック９０６Ａおよびブロック９０６Ｂは、一緒に実施されてもよい（例えば、図には描写されていないが、ブロック９０６の一部として）。さらに、ブロック９０６Ａおよびブロック９０６Ｂは、例えば、システムＵＩ５１０またはＵＩ要素５１２のセットのうちのＵＩ要素５１２Ａとのインタラクション機会を表明するために、集合的に実施されてもよい。システムＵＩ５１０またはＵＩ要素５１２Ａとのインタラクション機会は、ユーザの手５０６の表現５１６の位置がシステムＵＩ５１０および／またはＵＩ要素５１２Ａから閾値距離内にある状況に対応してもよい。
【0096】
いくつかの実装形態では、ブロック９１０Ａおよびブロック９１０Ｂは、一緒に実施されてもよい（例えば、図には描写されていないが、ブロック９１０の一部として）。さらに、ブロック９１０Ａおよびブロック９１０Ｂは、例えば、システムＵＩ５１０またはＵＩ要素５１２のセットのうちのＵＩ要素５１２Ａとのインタラクションを表明するために、集合的に実施されてもよい。システムＵＩ５１０またはＵＩ要素５１２Ａとのインタラクションは、ユーザの手５０６の表現５１６がシステムＵＩ５１０および／またはＵＩ要素５１２Ａとインタラクトしているときの状況に対応してもよい。
【0097】
本明細書における、「実装形態」（例えば、「いくつかの実装形態」、「様々な実装形態」、「１つの実装形態」、「一実装形態」など）への言及は、実装形態に関連して説明される特定の特徴、構造、または特性が、本開示の少なくとも１つの実装形態に含まれることを意味する。本明細書における様々な場所にこれらの語句が現れることは、全てが必ずしも同じ実装形態に言及しているわけでもないし、他の実装形態を相互に除外する別個のまたは代替的な実装形態であるわけでもない。さらに、一部の実装形態によって示されるが他の実装形態によって示されない場合がある様々な特徴が記載される。同様に、一部の実装形態にとっては必要条件であるが、他の実装形態にとってはそうでない様々な必要条件が記載される。
【0098】
本明細書で使用される際、閾値を上回ることは、比較中の項目に対する値が指定された他の値を上回ること、比較中の項目がある特定の指定された数の項目の中で最も大きい値を有すること、または比較中の項目が指定された最高のパーセンテージ値内の値を有することを意味する。本明細書で使用される際、閾値を下回ることは、比較中の項目に対する値が指定された他の値を下回ること、比較中の項目がある特定の指定された数の項目の中で最も小さい値を有すること、または比較中の項目が指定された最低のパーセンテージ値内の値を有することを意味する。本明細書で使用される際に、閾値内であることは、比較中の項目に対する値が２つの指定された他の値の間にあること、比較中の項目が指定された数の項目の中間にあること、または比較中の項目が中間の指定されたパーセンテージ範囲内の値を有することを意味する。高いまたは重要ではないなどの相対的な用語は、別段定義されない時、値を割り当て、かつその値が確立された閾値とどのように比較されるかを判断するものと理解可能である。例えば、語句「速い接続を選択すること」は、その接続速度に対応して割り当てられた値を有し、その割り当てられた値が閾値を超える接続を選択することを意味するように理解可能である。
【0099】
本明細書で使用される際、「または」という語は、一連の項目の任意の可能な置換を指す。例えば、「Ａ、ＢまたはＣ」という語句は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、Ａ、Ｂ、およびＣ、またはＡおよびＡ、Ｂ、Ｂ、およびＣ、Ａ、Ａ、Ｂ、Ｃ、およびＣなどの複数の任意の項目のいずれかなど、Ａ、Ｂ、Ｃの少なくとも１つ、またはこれらの任意の組み合わせを指す。
【0100】
構造上の特徴および／または方法論的動作に特有の言語で主題について説明してきたが、添付の特許請求の範囲で定義される主題が必ずしも上述される具体的な特徴または動作に限定されないことは理解されたい。具体的な実施形態および実装形態が例示の目的で本明細書に説明されているが、実施形態および実装形態の範囲から逸脱することなく、様々な修正がなされ得る。上述される具体的な特徴および動作は、以下に続く特許請求の範囲を満たす例示の形態として開示される。それ故に、実施形態および実装形態は、添付の特許請求の範囲によって限定される場合を除いて限定されない。
【0101】
上で述べられるいずれの特許、特許出願、および他の参考文献も、参照により本明細書に組み込まれる。必要に応じて、上述される様々な参考文献のシステム、機能、および概念を用いてさらなる実装形態を提供するために態様が修正され得る。参照により組み込まれる文献の記述または主題が本出願の記述または主題と矛盾する場合、本出願が優先されるものとする。
【図1】
【図2A】
【図2B】
【図2C】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図6】
【図7A】
【図7B】
【図8A】
【図8B】
【図9A】
【図9B】
【外国語明細書】