特許 7033218 仮想オブジェクトとしての物理入力デバイスの表示

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-03-01

(45)【発行日】2022-03-09

(54)【発明の名称】仮想オブジェクトとしての物理入力デバイスの表示

(51)【国際特許分類】

   G06F 3/01 20060101AFI20220302BHJP

【ＦＩ】

G06F3/01 510

【請求項の数】 20

(21)【出願番号】P 2020565377

(86)(22)【出願日】2019-05-21

(65)【公表番号】

(43)【公表日】2021-09-16

(86)【国際出願番号】 US2019033253

(87)【国際公開番号】W WO2019236280

(87)【国際公開日】2019-12-12

【審査請求日】2020-11-20

(31)【優先権主張番号】62/680,819

(32)【優先日】2018-06-05

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/410,547

(32)【優先日】2019-05-13

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】503260918

【氏名又は名称】アップル インコーポレイテッド

【氏名又は名称原語表記】Ａｐｐｌｅ Ｉｎｃ．

【住所又は居所原語表記】Ｏｎｅ Ａｐｐｌｅ Ｐａｒｋ Ｗａｙ，Ｃｕｐｅｒｔｉｎｏ， Ｃａｌｉｆｏｒｎｉａ ９５０１４， Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(74)【代理人】

【識別番号】100121979

【弁理士】

【氏名又は名称】岩崎 吉信

(72)【発明者】

【氏名】プラ アイ コネサ ポル

(72)【発明者】

【氏名】オルソン アール

(72)【発明者】

【氏名】トンプソン アーロン ピー

【審査官】円子 英紀

(56)【参考文献】

【文献】米国特許出願公開第２０１７／０２６２０４５（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／０３０８２５８（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１８／０００４３１２（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１１／００６３２２４（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１３／０１９４１８８（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１４／０１９１９７７（ＵＳ，Ａ１）

【文献】米国特許第１１０４５７２５（ＵＳ，Ｂ１）

【文献】米国特許出願公開第２０１７／０３００１１６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

ディスプレイを有する電子デバイスにおいて、
コンピュータ生成現実（ＣＧＲ）環境の、表示されたアプリケーション内で入力フィールドを検出したことに応じて、前記ＣＧＲ環境において、前記表示されたアプリケーションの少なくとも一部分の表現を物理入力デバイスの表現上に表示することであって、前記表示されたアプリケーションの前記少なくとも一部分の表現が、前記検出された入力フィールドの表現を含む、ことと、
前記物理入力デバイスにおいて受信された入力を検出したことに応じて、前記入力に基づいて前記入力フィールドを更新することであって、更新された外観を有する前記入力フィールドの前記表現を表示することを含む、ことと、
を含む、方法。

【請求項2】

前記入力が、前記物理入力デバイスの前記表現上に表示された前記入力フィールドの場所に対応する前記物理入力デバイス上の場所におけるタッチ入力を含む、請求項１に記載の方法。

【請求項3】

前記更新された外観を有する前記入力フィールドの前記表現を表示することが、前記表示されたアプリケーション内の前記更新された外観を有する前記入力フィールドを表示することを含む、請求項１又は２に記載の方法。

【請求項4】

前記更新された外観を有する前記入力フィールドの前記表現を表示することが、前記物理入力デバイスの前記表現上に前記更新された外観を有する前記入力フィールドの前記表現を表示することを含む、請求項１～３のいずれか一項に記載の方法。

【請求項5】

前記物理入力デバイスにおいて受信された前記入力を検出したことに応じて、触覚フィードバックを生成すること、
を更に含む、請求項１～４のいずれか一項に記載の方法。

【請求項6】

前記表示されたアプリケーション内の前記入力フィールドを検出したことに応じて、前記物理入力デバイスの前記表現上にキーボードキーを表示すること、
を更に含む、請求項１～５のいずれか一項に記載の方法。

【請求項7】

前記入力が、キーボードキーの表示された場所に対応する前記物理入力デバイス上の場所におけるタッチ入力を含む、請求項６に記載の方法。

【請求項8】

前記物理入力デバイスが、物理キーボードキーを有する物理キーボードであり、
前記キーボードキーが、前記検出された入力フィールドがテキスト入力フィールドであるとの判定に従って表示され、
それぞれの表示されたキーボードキーが、それらが表示される前記物理キーボードキーとは異なる値を有する、
請求項６又は７に記載の方法。

【請求項9】

前記物理入力デバイスが、タッチ感知面である、請求項１～８のいずれか一項に記載の方法。

【請求項10】

前記タッチ感知面が、表示構成要素を含まない、請求項９に記載の方法。

【請求項11】

前記物理入力デバイスが、前記電子デバイスの外部にある、請求項１～１０のいずれか一項に記載の方法。

【請求項12】

前記入力に基づいて前記入力フィールドを更新することが、
前記物理入力デバイスにおける前記入力を示す入力データを受信することと、
前記受信された入力データに従って、前記入力フィールドを更新することと、
を含む、請求項１～１１のいずれか一項に記載の方法。

【請求項13】

前記表示されたアプリケーションの前記少なくとも一部分の表現を前記物理入力デバイスの前記表現上に表示することが、前記ＣＧＲ環境において、前記物理入力デバイスの前記表現上に配置された、前記検出された入力フィールドの前記表現を表示することを含む、請求項１～１２のいずれか一項に記載の方法。

【請求項14】

前記検出された入力フィールドがテキスト入力フィールドであるとの判定に従って、前記表示されたアプリケーションの前記少なくとも一部分の表現を前記物理入力デバイスの前記表現上に表示することが、前記ＣＧＲ環境において、前記物理入力デバイスの前記表現上に配置されたテキストボックスを表示することを含む、
ことを更に含む、請求項１～１３のいずれか一項に記載の方法。

【請求項15】

前記検出された入力フィールドがデジタル署名フィールドであるとの判定に従って、前記表示されたアプリケーションの前記少なくとも一部分の表現を前記物理入力デバイスの前記表現上に表示することが、前記ＣＧＲ環境において、前記物理入力デバイスの前記表現上に配置されたデジタル署名ボックスを表示することを含む、
ことを更に含む、請求項１～１４のいずれか一項に記載の方法。

【請求項16】

前記検出された入力フィールドが１つ以上のラジオボタンを含むとの判定に従って、前記表示されたアプリケーションの前記少なくとも一部分の表現を前記物理入力デバイスの前記表現上に表示することが、前記ＣＧＲ環境において、前記物理入力デバイスの前記表現上に配置された１つ以上のラジオボタンを表示することを含む、
ことを更に含む、請求項１～１５のいずれか一項に記載の方法。

【請求項17】

前記表示されたアプリケーションの前記少なくとも一部分の表現を前記物理入力デバイスの前記表現上に表示することが、前記ＣＧＲ環境において、前記検出された入力フィールドの前記１つ以上のラジオボタンに関連付けられたテキストを表示することを更に含む、請求項１６に記載の方法。

【請求項18】

請求項１～１７のいずれか一項に記載の方法をコンピュータに実行させる、コンピュータプログラム。

【請求項19】

請求項１８に記載の前記コンピュータプログラムを記憶するメモリと、
前記メモリに記憶された前記コンピュータプログラムを実行することができる１つ以上のプロセッサと、
を備える、電子デバイス。

【請求項20】

請求項１～１７のいずれか一項に記載の方法を実行する手段と、
を備える、電子デバイス。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
この出願は、２０１８年６月５日に出願された「Ｄｉｓｐｌａｙｉｎｇ Ｐｈｙｓｉｃａｌ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ ａｓ Ａｕｇｍｅｎｔｅｄ－Ｒｅａｌｉｔｙ Ｏｂｊｅｃｔｓ ｉｎ ａ Ｍｉｘｅｄ Ｒｅａｌｉｔｙ Ｅｎｖｉｒｏｎｍｅｎｔ」と題する米国仮出願第６２／６８０，８１９号、及び２０１９年５月１３日に出願された「Ｄｉｓｐｌａｙｉｎｇ Ｐｈｙｓｉｃａｌ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ ａｓ Ｖｉｒｔｕａｌ Ｏｂｊｅｃｔｓ」と題する米国特許出願第１６／４１０，５４７号の利益を主張するものであり、その内容は、参照によりその全体が本明細書に組み込まれる。

【0002】

本開示は、概して、コンピュータ生成現実（ＣＧＲ）環境に関し、より詳細には、ＣＧＲ環境における電子製品の表現に関する。

【背景技術】

【0003】

モバイル電話などのデバイスは、様々なタスクを実行するためのコンピュータアプリケーションを実行する。ユーザは、アプリケーションユーザインタフェースを使用してコンピュータアプリケーションと対話する。ユーザは、キーボードなどの入力デバイスを使用してアプリケーションユーザインタフェースと対話して、入力データを提供する。例えば、ユーザは、キーボードと対話して、アプリケーションユーザインタフェースを使用してコンピュータアプリケーションに情報を入力する。別の例では、コンピュータアプリケーションは、アプリケーションユーザインタフェースを使用して、受信されたユーザ入力に基づいたフィードバックを生成する。

【発明の概要】

【0004】

本明細書には、物理入力デバイスの表現を表示し、かつ、コンピュータ生成現実（ＣＧＲ）環境において物理入力デバイスの表現上に視覚的特徴をオーバーレイするための技術が記載されている。いくつかの実施形態では、本技術は、ディスプレイを有する電子デバイスにおいて、コンピュータ生成現実（ＣＧＲ）環境の表示されたアプリケーション内で入力フィールドを検出したことに応じて、表示されたアプリケーションの少なくとも一部分を物理入力デバイスの表現上に表示することであって、表示されたアプリケーションの少なくとも一部分が、検出された入力フィールドを含む、ことと、物理入力デバイスにおいて受信された入力を検出したことに応じて、入力フィールドを入力で更新することと、更新された入力フィールドを表示することと、を含む。

【0005】

いくつかの実施形態では、入力は、物理入力デバイスの表現上に表示される入力フィールドの場所に対応する物理入力デバイス上の場所におけるタッチ入力を含む。いくつかの実施形態では、タッチ入力は強度構成要素を有し、強度は閾値を超える。いくつかの実施形態では、タッチ入力は、物理入力デバイス上のスワイプである。

【0006】

いくつかの実施形態では、更新された入力フィールドを表示することは、アプリケーション内に更新された入力フィールドを表示することを含む。

【0007】

いくつかの実施形態では、更新された入力フィールドを表示することは、物理入力デバイス上の入力フィールド内に更新された入力フィールドを表示することを含む。

【0008】

いくつかの実施形態では、本技術は、物理入力デバイスにおいて受信された入力を検出したことに応じて、触覚フィードバックを生成することを更に含む。

【0009】

いくつかの実施形態では、本技術は、表示されたアプリケーション内の入力フィールドを検出したことに応じて、物理入力デバイスの表現上に仮想キーボードキーを表示することを更に含む。

【0010】

いくつかの実施形態では、入力は、仮想キーボードキーの表示された場所に対応する物理入力デバイス上の場所におけるタッチ入力を含む。

【0011】

いくつかの実施形態では、物理入力デバイスは、物理キーボードキーを備えた物理キーボードであり、仮想キーボードキーは、検出された入力フィールドがテキスト入力フィールドであるとの判定に従って表示され、それぞれの表示されたキーボードキーは、それらが表示される物理キーボードキーとは異なる値を有する。

【0012】

いくつかの実施形態では、物理入力デバイスは、タッチ感知面である。いくつかのそのような実施形態では、タッチ感知面は、表示構成要素を含まない。

【0013】

いくつかの実施形態では、物理入力デバイスは、電子デバイスの外部にある。

【0014】

いくつかの実施形態では、入力フィールドを入力で更新することは、物理入力デバイスにおける入力を示す入力データを受信することと、受信された入力データに従って入力フィールドを更新することと、を含む。

【0015】

いくつかの実施形態では、表示されたアプリケーションの一部分を物理入力デバイスの表現上に表示することは、ＣＧＲ環境において、物理入力デバイスの表現上に配置された、検出された入力フィールドを表示することを含む。

【0016】

いくつかの実施形態では、本技術は、検出された入力フィールドがテキスト入力フィールドであるとの判定に従って、表示されたアプリケーションの少なくとも一部分を物理入力デバイスの表現上に表示することが、ＣＧＲ環境において、物理入力デバイスの表現上に配置された仮想テキストボックスを表示することを含む、ことを更に含む。

【0017】

いくつかの実施形態では、本技術は、検出された入力フィールドがデジタル署名フィールドであるとの判定に従って、表示されたアプリケーションの少なくとも一部分を物理入力デバイスの表現上に表示することが、ＣＧＲ環境において、物理入力デバイスの表現上に配置された仮想デジタル署名ボックスを表示することを含む、ことを更に含む。

【0018】

いくつかの実施形態では、本技術は、検出された入力フィールドが１つ以上のラジオボタンを含むとの判定に従って、表示されたアプリケーションの少なくとも一部分を物理入力デバイスの表現上に表示することが、ＣＧＲ環境において、物理入力デバイスの表現上に配置された１つ以上の仮想ラジオボタンを表示することを含む、ことを更に含む。

【0019】

いくつかの実施形態では、物理入力デバイスの表現を表示し、かつ、ＣＧＲ環境内において物理入力デバイスの表現上に視覚的特徴をオーバーレイするためのデバイスは、１つ以上のプロセッサ、及び１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリを含む。１つ以上のプログラムは、ＣＧＲ環境の表示されたアプリケーション内の入力フィールドを検出したことに応じて、表示されたアプリケーションの少なくとも一部分を物理入力デバイスの表現上に表示し、この表示されたアプリケーションの少なくとも一部分が、検出された入力フィールドを含み、物理入力デバイスにおいて受信された入力を検出したことに応じて、入力フィールドを入力で更新し、更新された入力フィールドを表示する、ための命令を含む。

【0020】

いくつかの実施形態では、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的（又は、任意選択的に一時的）コンピュータ可読記憶媒体は、物理入力デバイスの表現を表示し、ＣＧＲ環境において物理入力デバイスの表現上に視覚的特徴をオーバーレイする。１つ以上のプログラムは、ディスプレイを有する電子デバイスにおいて、ＣＧＲ環境の表示されたアプリケーション内の入力フィールドを検出したことに応じて、表示されたアプリケーションの少なくとも一部分を物理入力デバイスの表現上に表示し、この表示されたアプリケーションの少なくとも一部分が、検出された入力フィールドを含み、物理入力デバイスにおいて受信された入力を検出したことに応じて、入力フィールドを入力で更新し、更新された入力フィールドを表示する、ための命令を含む。
以下の説明では、その一部を形成し、いくつかの実施形態を示す、添付図面を参照する。本開示の範囲から逸脱することなく、他の実施形態を利用してもよく、構造及び動作の変更を行うことができることが理解されよう。異なる図面における同じ参照シンボルの使用は、類似又は同一のアイテムを示している。

【図面の簡単な説明】

【0021】

【図1A】様々なコンピュータ生成現実技術で使用するための例示的なシステムを示す。

【図1B】様々なコンピュータ生成現実技術で使用するための例示的なシステムを示す。

【図2A】物理入力デバイスの表現を表示し、かつ、ＣＧＲ環境において物理入力デバイスの表現上に視覚的特徴をオーバーレイするデバイスを示す。

【図2B】物理入力デバイスの表現を表示し、かつ、ＣＧＲ環境において物理入力デバイスの表現上に視覚的特徴をオーバーレイするデバイスを示す。

【図2C】物理入力デバイスの表現を表示し、かつ、ＣＧＲ環境において物理入力デバイスの表現上に視覚的特徴をオーバーレイするデバイスを示す。

【図2D】物理入力デバイスの表現を表示し、かつ、ＣＧＲ環境において物理入力デバイスの表現上に視覚的特徴をオーバーレイするデバイスを示す。

【図2E】物理入力デバイスの表現を表示し、かつ、ＣＧＲ環境において物理入力デバイスの表現上に視覚的特徴をオーバーレイするデバイスを示す。

【図2F】物理入力デバイスの表現を表示し、かつ、ＣＧＲ環境において物理入力デバイスの表現上に視覚的特徴をオーバーレイするデバイスを示す。

【図3】物理入力デバイスの表現を表示し、かつ、ＣＧＲ環境において物理入力デバイスの表現上に視覚的特徴をオーバーレイするための例示的な技術を示す。

【図4A】物理入力デバイスの表現を表示し、かつ、ＣＧＲ環境において物理入力デバイスの表現上に視覚的特徴をオーバーレイするデバイスを示す。

【図4B】物理入力デバイスの表現を表示し、かつ、ＣＧＲ環境において物理入力デバイスの表現上に視覚的特徴をオーバーレイするデバイスを示す。

【図5】物理入力デバイスの表現を表示し、かつ、ＣＧＲ環境において物理入力デバイスの表現上に視覚的特徴をオーバーレイするための例示的な技術を示す。

【発明を実施するための形態】

【0022】

様々なコンピュータ生成現実技術に関連してそのようなシステムを使用するための電子システム及び技術の様々な実施形態を説明する。特に、本開示は、物理入力デバイスの表現を表示し、かつ、ＣＧＲ環境において物理入力デバイスの表現上に視覚的特徴をオーバーレイするための技術を提供する。本技術は、ＣＧＲ環境において仮想アプリケーションを表示することと、表示された仮想アプリケーション内の入力フィールドを検出したことに応じて、物理入力デバイスの表現上に、表示されたアプリケーションの少なくとも一部分を投影することと、を含む。表示されたアプリケーションの少なくとも一部分は、検出された入力フィールドを含む。物理入力デバイスにおいて受信された入力を検出したことに応じて、入力フィールドは入力で更新され、更新された入力フィールドは表示される。

【0023】

物理的環境（又は現実環境）とは、人々が電子システムの助けを借りずに、感知及び／又は相互作用することができる物理的世界を指す。物理的な公園などの物理的環境には、物理的な木々、物理的な建物、及び物理的な人などの物理的物品（又は物理的オブジェクト又は現実のオブジェクト）が挙げられる。人々は、視覚、触覚、聴覚、味覚、及び臭覚などを介して、物理的環境を直接感知し、及び／又はそれと相互作用することができる。

【0024】

対照的に、コンピュータ生成現実（ＣＧＲ）環境は、人々が電子システムを介して感知及び／又は相互作用する全体的又は部分的にシミュレーションされた環境を指す。ＣＧＲでは、人の身体運動のサブセット又はその表現が追跡され、それに応じて、ＣＧＲ環境内でシミュレートされた１つ以上の仮想オブジェクトの１つ以上の特性が、少なくとも１つの物理学の法則でふるまうように調整される。例えば、ＣＧＲシステムは、人の頭部の回転を検出し、それに応じて、そのようなビュー及び音が物理的環境においてどのように変化し得るかと同様の方法で、人に提示されるグラフィックコンテンツ及び音場を調整することができる。状況によっては（例えば、アクセス性の理由から）、ＣＧＲ環境における仮想オブジェクト（単数又は複数）の特性（単数又は複数）に対する調整は、身体運動の表現（例えば、音声コマンド）に応じて行われてもよい。

【0025】

人は、視覚、聴覚、触覚、味覚及び嗅覚を含むこれらの感覚のうちのいずれか１つを使用して、ＣＧＲオブジェクトを感知し、かつ／又はＣＧＲオブジェクトと相互作用してもよい。例えば、人は、３Ｄ空間内のポイントオーディオソースの知覚を提供する、３Ｄ又は空間オーディオ環境を作り出すオーディオオブジェクトを感知し、及び／又はそれと対話することができる。別の例では、オーディオオブジェクトは、コンピュータ生成オーディオを含め、又は含めずに、物理的環境から周囲音を選択的に組み込むオーディオ透過性を可能にすることができる。いくつかのＣＧＲ環境では、人は、オーディオオブジェクトのみを感知し、及び／又はそれと相互作用することができる。

【0026】

ＣＧＲの例としては、仮想現実及び複合現実が挙げられる。

【0027】

仮想現実（ＶＲ）環境（又は仮想環境）とは、１つ以上の感覚のためのコンピュータ生成感覚入力に完全に基づくように設計されたシミュレーション環境を指す。ＶＲ環境は、人が感知及び／又は相互作用することができる複数の仮想オブジェクトを含む。例えば、木、建物、及び人々を表すアバターのコンピュータ生成画像は、仮想オブジェクトの例である。人は、コンピュータ生成環境内に人が存在することのシミュレーションを通じて、かつ／又はコンピュータ生成環境内での人の身体運動のサブセットのシミュレーションを通じて、ＶＲ環境における仮想オブジェクトを感知し、かつ／又はそれと相互作用することができる。

【0028】

コンピュータ生成感覚入力に全面的に基づくように設計されたＶＲ環境とは対照的に、複合現実（ＭＲ）環境は、コンピュータ生成感覚入力（例えば、仮想オブジェクト）を含むことに加えて、物理的環境からの感覚入力又はその表現を組み込むように設計されたシミュレーション環境を指す。仮想の連続体上で、ＭＲ環境は、一方の端部における完全に物理的な環境と、他方の端部におけるＶＲ環境との間の、両端部は含まない、どこかである。

【0029】

ＭＲ環境によっては、コンピュータ生成感覚入力は、物理的環境からの感覚入力の変更に応答し得る。また、ＭＲ環境を提示するためのいくつかの電子システムは、仮想オブジェクトが現実のオブジェクト（すなわち、物理的環境からの物理的物品又はその表現）と相互作用することを可能にするために、物理的環境に対する所在場所及び／又は向きを追跡することができる。例えば、システムは、仮想の木が物理的な地面に対して静止して見えるように、移動を考慮することができる。

【0030】

複合現実の例としては、拡張現実及び拡張仮想が挙げられる。

【0031】

拡張現実（ＡＲ）環境は、１つ以上の仮想オブジェクトが物理的環境上又はその表現上に重ねられたシミュレーション環境を指す。例えば、ＡＲ環境を提示するための電子システムは、人が物理的環境を直接見ることができる透明又は半透明のディスプレイを有してもよい。システムは、透明又は半透明のディスプレイ上に仮想オブジェクトを提示するように構成されていてもよく、それによって、人はシステムを使用して、物理的環境上に重ねられた仮想オブジェクトを知覚する。あるいは、システムは、不透明ディスプレイと、物理的環境の表現である、物理的環境の画像又はビデオをキャプチャする１つ以上の撮像センサとを有してもよい。システムは、画像又はビデオを仮想オブジェクトと合成し、その合成物を不透明なディスプレイ上に提示する。人は、システムを使用して、物理的環境の画像又はビデオによって物理的環境を間接的に見て、物理的環境上に重ねられた仮想オブジェクトを知覚する。本明細書で使用するとき、不透明ディスプレイ上に示される物理的環境のビデオは、「パススルービデオ」と呼ばれ、システムが、１つ以上の撮像センサ（単数又は複数）を使用して、物理的環境の画像をキャプチャし、不透明ディスプレイ上にＡＲ環境を提示する際にそれらの画像を使用することを意味する。更に代替的に、システムは、仮想オブジェクトを、物理的環境に、例えば、ホログラムとして又は物理的表面上に投影するプロジェクションシステムを有してもよく、それによって、人は、システムを使用して、物理的環境上に重ねられた仮想オブジェクトを知覚する。

【0032】

拡張現実環境はまた、物理的環境の表現がコンピュータ生成感覚情報によって変換されるシミュレーション環境を指す。例えば、パススルービデオを提供する際に、システムは、１つ以上のセンサ画像を変換して、撮像センサによってキャプチャされた遠近法とは異なる選択された遠近法（例えば、視点）による面付けを行うことができる。別の例として、物理的環境の表現は、その一部分をグラフィカルに変更（例えば、拡大）することによって変換されてもよく、それにより、変更された部分を元のキャプチャ画像を表すが非写実的であるバージョンとすることができる。更なる例として、物理的環境の表現は、その一部分をグラフィカルに除去又は曖昧化することによって変換されてもよい。

【0033】

拡張仮想（ＡＶ）環境は、物理的環境からの１つ以上の感覚入力を仮想環境又はコンピュータ生成環境が組み込むシミュレーション環境を指す。感覚入力は、物理的環境の１つ以上の特性の表現であり得る。例えば、ＡＶパークには、仮想の木及び仮想の建物があり得るが、顔がある人々は、物理的な人々が撮られた画像から写実的に再現される。別の例として、仮想オブジェクトは、１つ以上の撮像センサによって撮像された物理的物品の形状又は色を採用してもよい。更なる例として、仮想オブジェクトは、物理的環境における太陽の位置と一致する影を採用することができる。

【0034】

多種多様の電子システムが存在することによって、人が様々なＣＧＲ環境を感知し、かつ／又はＣＧＲ環境と相互作用できるようになる。例としては、ヘッドマウントシステム、プロジェクションベースシステム、ヘッドアップディスプレイ（ＨＵＤ）、統合表示機能を有する車両ウィンドシールド、統合表示機能を有する窓、（例えば、コンタクトレンズと同様に）人の目の上に配置されるように設計されたレンズとして形成されたディスプレイ、ヘッドホン／イヤフォン、スピーカアレイ、入力システム（例えば、触覚フィードバックを有する又は有さない、ウェアラブル又はハンドヘルドコントローラ）、スマートフォン、タブレット、及びデスクトップ／ラップトップコンピュータ、が挙げられる。ヘッドマウントシステムは、１つ以上のスピーカ（単数又は複数）及び一体型不透明ディスプレイを有してもよい。あるいは、ヘッドマウントシステムは、外部の不透明ディスプレイ（例えば、スマートフォン）を受け入れるように構成されていてもよい。ヘッドマウントシステムは、物理的環境の画像若しくはビデオをキャプチャするための１つ以上の撮像センサ、及び／又は物理的環境の音声をキャプチャするための１つ以上のマイクロフォンを組み込んでいてもよい。不透明ディスプレイではなく、ヘッドマウントシステムは、透明又は半透明のディスプレイを有してもよい。透明又は半透明のディスプレイは、画像を表す光が人の目に向けられる媒体を有してもよい。ディスプレイは、デジタル光投影、ＯＬＥＤ、ＬＥＤ、ｕＬＥＤ、液晶オンシリコン、レーザスキャン光源、又はこれらの技術の任意の組み合わせを利用することができる。媒体は、光導波路、ホログラム媒体、光結合器、光反射器、又はこれらの任意の組み合わせであってもよい。一実施形態では、透明又は半透明のディスプレイは、選択的に不透明になるように構成されていてもよい。プロジェクションベースシステムは、グラフィック画像を人間の網膜上に投影する網膜投影技術を採用することができる。プロジェクションシステムはまた、例えば、ホログラムとして、又は物理的表面上に、仮想オブジェクトを物理的環境内に投影するように構成されていてもよい。

【0035】

図１Ａ及び図１Ｂは、様々なコンピュータ生成現実技術で使用するための例示的なシステム１００を示す。

【0036】

いくつかの実施形態において、図１Ａに示すように、システム１００は、デバイス１００ａを含む。デバイス１００ａは、プロセッサ（単数又は複数）１０２、ＲＦ回路（単数又は複数）１０４、メモリ（単数又は複数）１０６、画像センサ（単数又は複数）１０８、向きセンサ（単数又は複数）１１０、マイクロフォン（単数又は複数）１１２、位置センサ（単数又は複数）１１６、スピーカ（単数又は複数）１１８、ディスプレイ（単数又は複数）１２０、及びタッチ感知面１２２などの様々な構成要素を含む。これらの構成要素は、任意選択的に、デバイス１００ａの通信バス（単数又は複数）１５０を介して通信する。

【0037】

いくつかの実施形態では、システム１００の要素は、基地局デバイス（例えば、リモートサーバ、モバイルデバイス、又はラップトップなどのコンピューティングデバイス）内に実装され、システム１００の他の要素は、電話又はタブレット内に実装され、この電話又はタブレットは、基地局デバイスと通信している。いくつかの実施形態では、デバイス１００ａは、基地局デバイス、又は電話若しくはタブレット内に実装される。いくつかの実施形態では、電話又はタブレットは、代わりに、ユーザが装着するように設計されたヘッドマウントディスプレイ（ＨＭＤ）デバイスとすることができる。

【0038】

図１Ｂに示すように、いくつかの実施形態において、システム１００は、有線接続又は無線接続などを介して通信する２つ（又はそれより多）のデバイスを含む。第１のデバイス１００ｂ（例えば、基地局デバイス）は、プロセッサ（単数又は複数）１０２、ＲＦ回路（単数又は複数）１０４、及びメモリ（単数又は複数）１０６を含む。これらの構成要素は、任意選択的に、デバイス１００ｂの通信バス（単数又は複数）１５０を介して通信する。第２のデバイス１００ｃ（例えば、電話又はタブレット）は、プロセッサ（単数又は複数）１０２、ＲＦ回路（単数又は複数）１０４、メモリ（単数又は複数）１０６、画像センサ（単数又は複数）１０８、向きセンサ（単数又は複数）１１０、マイクロフォン（単数又は複数）１１２、位置センサ（単数又は複数）１１６、スピーカ（単数又は複数）１１８、ディスプレイ（単数又は複数）１２０、及びタッチ感知面（単数又は複数）１２２などの、様々な構成要素を含む。これらの構成要素は、任意選択的に、デバイス１００ｃの通信バス（単数又は複数）１５０を介して通信する。

【0039】

いくつかの実施形態では、システム１００は、電話又はタブレットなどのモバイルデバイスである。いくつかの実施形態では、システム１００は、ヘッドマウントディスプレイ（ＨＭＤ）デバイスである。

【0040】

システム１００は、プロセッサ（単数又は複数）１０２及びメモリ（単数又は複数）１０６を含む。プロセッサ（単数又は複数）１０２は、１つ以上の汎用プロセッサ、１つ以上のグラフィックプロセッサ、及び／又は１つ以上のデジタル信号プロセッサを含む。いくつかの実施形態において、メモリ（単数又は複数）１０６は、後述する技術を実行するためにプロセッサ（単数又は複数）１０２によって実行されるように構成されているコンピュータ可読命令を記憶する１つ以上の非一時的コンピュータ可読記憶媒体（例えば、フラッシュメモリ、ランダムアクセスメモリ）である。

【0041】

システム１００は、ＲＦ回路（単数又は複数）１０４を含む。ＲＦ回路（単数又は複数）１０４は、任意選択的に、電子デバイス、インターネット、イントラネット及び／又は、セルラーネットワーク及び無線ローカルエリアネットワーク（ＬＡＮ）などの無線ネットワークなどのネットワークと通信するための回路を含む。ＲＦ回路（単数又は複数）１０４は、任意選択的に、近距離通信及び／又はＢｌｕｅｔｏｏｔｈ（登録商標）などの短距離通信を使用して通信するための回路を含む。

【0042】

システム１００は、ディスプレイ（単数又は複数）１２０を含む。いくつかの実施形態では、ディスプレイ（単数又は複数）１２０は、第１のディスプレイ（例えば、左目ディスプレイパネル）及び第２のディスプレイ（例えば、右目ディスプレイパネル）を含み、各ディスプレイは、ユーザのそれぞれの目に画像を表示する。対応する画像は、第１のディスプレイ及び第２のディスプレイ上に同時に表示される。任意選択的に、対応する画像は、異なる視点からの同じ物理的オブジェクトの同じ仮想オブジェクト及び／又は表現を含み、結果として、ディスプレイ上のオブジェクトの深さの錯覚をユーザに提供する視差効果をもたらす。いくつかの実施形態では、ディスプレイ（単数又は複数）１２０は、単一のディスプレイを含む。対応する画像は、ユーザのそれぞれの目のために、単一のディスプレイの第１の領域及び第２の領域上に同時に表示される。任意選択的に、対応する画像は、異なる視点からの同じ物理的オブジェクトの同じ仮想オブジェクト及び／又は表現を含み、結果として、単一のディスプレイ上のオブジェクトの深さの錯覚をユーザに提供する視差効果をもたらす。いくつかの実施形態では、ディスプレイ（単数又は複数）１２０は、遮断層を有する又は有さない、透明な追加のディスプレイを含む。

【0043】

いくつかの実施形態において、システム１００は、タップ入力及びスワイプ入力などのユーザ入力を受け取るためのタッチ感知面（単数又は複数）１２２を含む。いくつかの実施形態では、ディスプレイ（単数又は複数）１２０及びタッチ感知面（単数又は複数）１２２は、タッチ感知ディスプレイ（単数又は複数）を形成する。

【0044】

システム１００は、画像センサ（単数又は複数）１０８を含む。画像センサ（単数又は複数）１０８は、任意選択的に、電荷結合デバイス（ＣＣＤ）センサなどの１つ以上の可視光画像センサ、及び／又は現実環境から物理的オブジェクトの画像を取得するように動作可能な相補型金属酸化膜半導体（ＣＭＯＳ）センサを含む。画像センサ（単数又は複数）はまた、任意選択的に、現実環境からの赤外光を検出するための、パッシブＩＲセンサ又はアクティブＩＲセンサなどの１つ以上の赤外線（ＩＲ）センサ（単数又は複数）を含む。例えば、アクティブＩＲセンサは、赤外光を現実環境に放射するためのＩＲドットエミッタなどのＩＲエミッタを含む。画像センサ（単数又は複数）１０８はまた、任意選択的に、現実環境における物理的オブジェクトの移動をキャプチャするように構成されている１つ以上のイベントカメラを含む。画像センサ（単数又は複数）１０８はまた、任意選択的に、システム１００からの物理的オブジェクトの距離を検出するように構成されている１つ以上の深さセンサを含む。いくつかの実施形態では、システム１００は、ＣＣＤセンサ、イベントカメラ、及び深さセンサを組み合わせて使用して、システム１００周囲の物理的環境を検出する。いくつかの実施形態では、画像センサ（単数又は複数）１０８は、第１の画像センサ及び第２の画像センサを含む。第１の画像センサ及び第２の画像センサは、任意選択的に、２つの異なるパースペクティブから、現実環境内の物理的オブジェクトの画像をキャプチャするように構成されている。いくつかの実施形態では、システム１００は、画像センサ（単数又は複数）１０８を使用して、ハンドジェスチャなどのユーザ入力を受け取る。いくつかの実施形態では、システム１００は、画像センサ（単数又は複数）１０８を使用して、現実環境におけるシステム１００及び／又はディスプレイ（単数又は複数）１２０の位置及び向きを検出する。例えば、システム１００は、画像センサ（単数又は複数）１０８を使用して、現実環境内の１つ以上の固定オブジェクトに対するディスプレイ（単数又は複数）１２０の位置及び向きを追跡する。

【0045】

いくつかの実施形態において、システム１００は、マイクロフォン（単数又は複数）１１２を含む。システム１００は、マイクロフォン（単数又は複数）１１２を使用して、ユーザ及び／又はユーザの現実環境からの音を検出する。いくつかの実施形態では、マイクロフォン（単数又は複数）１１２は、周囲ノイズを特定するか、又は現実環境の空間内の音源の位置を特定するために、任意選択的に並んで動作するマイクロフォンのアレイ（複数のマイクロフォンを含む）を含む。

【0046】

システム１００は、システム１００及び／又はディスプレイ（単数又は複数）１２０の向き及び／又は移動を検出するための向きセンサ（単数又は複数）１１０を含む。例えば、システム１００は、向きセンサ（単数又は複数）１１０を使用して、システム１００及び／又はディスプレイ（単数又は複数）１２０の位置及び／又は向きの変化を、現実環境内の物理的オブジェクトなどに関して追跡する。向きセンサ（単数又は複数）１１０は、１つ以上のジャイロスコープ及び／又は１つ以上の加速度計を含む。

【0047】

デバイス１００ａは、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、テレビ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレーヤアプリケーション、デジタルビデオプレーヤアプリケーション、及び／又はナビゲーションアプリケーションのうちの１つ以上などの、様々なアプリケーションをサポートするように構成されている。デバイス１００ａは、本明細書に列挙される実施例以外のアプリケーションをサポートすることができることを理解されたい。また、アプリケーションは、ＣＧＲ環境において仮想オブジェクトとして現れ得ることも理解されたい。

【0048】

いくつかの実施形態では、デバイス１００ａは、ユーザからのジェスチャ又は他の入力を、現実環境において（例えば、画像センサ（単数又は複数）１０８を使用して）検出することによって、アプリケーション又は他の仮想オブジェクトとのユーザの対話を容易にする。例えば、画像センサ（単数又は複数）１０８を使用して、デバイス１００ａは、現実環境においてユーザの手及び／若しくは指の位置、又は一連の動きを検出することができる。次いで、デバイス１００ａは、これらの検出された位置及び／又は動きを、ＣＧＲ環境内に表示されたアプリケーション（例えば、仮想アプリケーション）などの仮想オブジェクトとインタフェースするための入力として解釈する。このようにして、デバイス１００ａは、ユーザが、現実環境においてジェスチャ又は動きを実行することによって、ＣＧＲ環境内に表示された仮想アプリケーション及び／又は他の仮想オブジェクトと対話することを可能にする。

【0049】

いくつかの実施形態では、現実世界内の１つ以上の物理的オブジェクトの表現は、デバイス１００ａのディスプレイ１２０上に表示され、その結果、ユーザは、ＣＧＲ環境内の物理的オブジェクト（単数又は複数）を見ることができるため、現実世界の物理的オブジェクト（単数又は複数）と対話することができる。現実世界における物理的オブジェクト（単数又は複数）とのユーザ対話の結果としてデバイス１００ａにおいて受信された入力データは、デバイス１００ａによって使用されて、ユーザがＣＧＲ環境内のアプリケーション及び／又は他の仮想オブジェクトとインタフェースすることを可能にする。いくつかの実施形態では、デバイス１００ａが、１つ以上の物理的オブジェクトに関するジェスチャ（例えば、現実環境におけるユーザの手及び／若しくは指の位置又は一連の動き）を、現実環境において（例えば、画像センサ（単数又は複数）１０８を使用して）検出すると、この入力データがデバイス１００ａによって生成される。例えば、物理キーボードの１つ以上のキーに対応する場所（単数又は複数）においてデバイス１００ａによって（例えば、画像センサ（単数又は複数）１０８を使用して）検出された指ジェスチャは、物理キーボードのそれぞれのキー（単数又は複数）に対応するユーザ入力として解釈される。より具体的には、物理キーボードの特定のキーのアクティブ化を（例えば、画像センサ（単数又は複数）１０８を使用して）検出することにより、デバイス１００ａは、入力フィールドに入力するためのその特定のキーを含む入力文字列を生成する結果となる。直下に記載されるものなどのいくつかの実施形態では、物理キーボードは、ユーザによってアクティブ化されたキーを識別することによって、物理キーボードにおけるユーザ入力を検出し、かつ、物理キーボードは、デバイス１００ａによる入力フィールドへの入力のために、（例えば、通信バス（単数又は複数）１５０を使用して）アクティブ化されたキーをデバイス１００ａに通信する。そのような実施形態では、入力データは、現実世界内の物理デバイスによって生成され、（例えば、通信バス（単数又は複数）１５０を使用して）デバイス１００ａに通信される。デバイス１００ａは、入力データを受信し、上述したように、入力データを処理して、ユーザが、ＣＧＲ環境内のアプリケーション（単数又は複数）及び／又は他の仮想オブジェクトとインタフェースすることを可能にする。

【0050】

いくつかの実施形態では、デバイス１００ａは、物理的オブジェクト（例えば、物理キーボード又は物理トラックパッド）によって入力が検出されている物理的オブジェクトからの入力を受信することによって、ＣＧＲ環境内のアプリケーション又は他の仮想オブジェクトとのユーザの対話を容易にする。いくつかの実施形態では、デバイス１００ａは、ジェスチャを検出することもなく、物理的オブジェクト（単数又は複数）から入力を受信する。例えば、キーボード又はトラックパッドなどの物理デバイスは、（例えば、通信バス１５０（単数又は複数）を使用して）デバイス１００ａにユーザ入力を送信する。いくつかの実施形態では、デバイス１００ａは、物理的オブジェクト（単数又は複数）から入力を受信し、上述のように、ユーザからのジェスチャを（例えば、画像センサ（単数又は複数）１０８を使用して）検出することによって取得されたデータを用いて、受信された入力を補完する。そのような物理的オブジェクトの表現は、任意選択的に、ＣＧＲ環境内に表示される。

【0051】

いくつかの実施形態では、デバイス１００ａは、物理的オブジェクトの表現の上に、又はその周囲に（例えば、近接して又は隣接して）配置された１つ以上の仮想オブジェクトを表示することによって、物理的オブジェクトの表現を拡張する。例えば、図２Ａ～図２Ｆに関して以下に説明するように、デバイス１００ａは、物理トラックパッドの表現上に仮想アプリケーションの一部分を表示する。別の例として、図４Ａ～図４Ｂに関して以下に説明するように、デバイス１００ａは、物理キーボードの表現上に仮想の入力制御のセットを表示する（オーバーレイする）。いくつかの実施形態では、仮想オブジェクトは、物理的オブジェクトの表現をオーバーレイして表示される（例えば、物理的オブジェクトの表現の最上に配置されるように表示される）。いくつかの実施形態では、オーバーレイされた仮想オブジェクト、又は任意選択的にその一部分は不透明であり、それによって、物理的オブジェクトの表現は、オーバーレイされた仮想オブジェクト（又はオーバーレイされた仮想オブジェクトの一部分）によって不明瞭になる。いくつかの実施形態では、オーバーレイされた仮想オブジェクト、又は任意選択的にその一部分は半透明であり、それによって物理的オブジェクトの表現は、オーバーレイされた仮想オブジェクト（又はオーバーレイされた仮想オブジェクトの一部分）によって部分的に不明瞭になる。そのような実施形態では、物理的オブジェクトの表現の一部分は、物理的オブジェクトの表現にオーバーレイして表示された仮想オブジェクトを通して可視（例えば、識別可能）である。図２Ａ～図２Ｆ及び図４Ａ～図４Ｂは、ディスプレイ１２０上に、物理入力デバイスの表現を表示し、かつ、ＣＧＲ環境において物理入力デバイスの表現上に視覚的特徴をオーバーレイするデバイス１００ａを示す。換言すれば、デバイス１００ａは、ＣＧＲ環境において、物理入力デバイスの表現に関連付けられた１つ以上の仮想的特徴を有する物理入力デバイスの表現を表示する。図２Ａ～図２Ｆ及び図４Ａ～図４Ｂでは、デバイス１００ａは、単一の表示構成要素（ディスプレイ１２０）を有する電話又はタブレットデバイスとして示されている。しかしながら、デバイス１００ａは、ＨＭＤデバイスなどの、ＣＧＲ環境を表示するように構成された任意のデバイス、又はディスプレイを通して物理的オブジェクトが直接視認可能な、透明ディスプレイを有するデバイスであってもよく、ここで仮想オブジェクトは、透明ディスプレイ上に表示されるか、又は別の方法で視認可能であることを理解されたい。

【0052】

図２Ａ～図２Ｆ及び図４Ａ～図４Ｂに示される各物理入力デバイスは、デバイス１００ａの外部の現実環境における物理的オブジェクトである。物理入力デバイスは、仮想オブジェクトと、物理的オブジェクトの表現との組み合わせとして、ＣＧＲ環境内に表示される（又は、あるいは、物理的オブジェクトが、透明ディスプレイを通してなどディスプレイを通して直接視認可能である）。例えば、いくつかの実施形態では、デバイス１００ａは、１つ以上の仮想の（例えば、コンピュータ生成された）属性又は特徴が、ＣＧＲ環境の構成要素としてディスプレイ１２０上に表示され、かつ、物理入力デバイスの表現と関連付けられるように、物理入力デバイスの表現を拡張する。いくつかの実施例では、デバイス１００ａは、仮想アプリケーションの一部分の画像を生成し、ＣＧＲ環境内の物理トラックパッドの表現の表示された場所に対応するディスプレイ１２０上の位置に、画像を表示する。いくつかの実施例では、デバイス１００ａは、ユーザ入力機能に関連付けられた様々なキーボードキーの画像を生成し、ＣＧＲ環境内の物理キーボードの表現のそれぞれのキーの表示された場所に対応するディスプレイ１２０上の位置に、画像を表示する。あるいは、ディスプレイは透明であり、キーボードキーは、物理キーボードが透明ディスプレイを通して可視である場所に対応するディスプレイ上の位置に表示される。

【0053】

いくつかの実施形態では、デバイス１００ａは、ディスプレイ１２０上に仮想アプリケーションを生成及び表示する。仮想アプリケーションは、ＣＧＲ環境の構成要素として、ディスプレイ１２０上にデバイス１００ａによって表示されるコンピュータ生成ユーザインタフェース（ＵＩ）である。デバイス１００ａは、例えば、アプリケーションの視覚的外観、アプリケーションの表示された向き、アプリケーションの動作、アプリケーションの構成要素、及びアプリケーションの様々な構成要素の機能などの、様々な属性を備えた仮想アプリケーションを生成する。いくつかの実施形態では、デバイス１００ａは、アプリケーションの様々な構成要素を検出し、アプリケーションの検出された構成要素に基づいて動作を実行する。例えば、デバイス１００ａは現実環境内の物理入力デバイスを識別し、表示されたアプリケーションの入力フィールドを検出したことに応じて、デバイス１００ａはＣＧＲ環境内の物理入力デバイスの表現を拡張し、それによって、デバイス１００ａは、以下でより詳細に説明するように、（その拡張機能に従って）現実環境内で物理入力デバイスを使用して提供される入力（例えば、ユーザ入力）を受信することができ、かつ、仮想アプリケーションの入力フィールドを更新することができる。

【0054】

いくつかの実施形態では、アプリケーションの表示される向きは、ユーザの実際の場所、又はユーザの予測される若しくは予期される場所に対する（例えば、デバイス１００ａの場所に基づく）ＣＧＲ環境において表示されるアプリケーションの向き（例えば、角度又は位置）を含む。例えば、仮想アプリケーションは、ユーザがアプリケーションを容易に視認することができるように、ユーザに面するように方向付けられる。より具体的には、いくつかの実施形態では、（例えば、ユーザがデバイス１００ａを着用しているために）ユーザはデバイス１００ａと同一位置にあると推定されるため、アプリケーションは、デバイス１００ａに面するように方向付けられる。いくつかの実施形態では、（現実の、予測される、予期される、又は他のものの）ユーザの場所は、デバイス１００ａの場所若しくは位置、及び／又はＣＧＲ環境を含む１つ以上の物理的オブジェクトの場所若しくは位置などの、１つ以上の要因に基づいて近似される。例えば、いくつかの実施形態では、ユーザの予期される場所は、アプリケーションが投影される場所に配置される物理キーボード又は物理トラックパッドの表現の近くにあると判定される。

【0055】

ここで図２Ａ～図２Ｆを参照すると、デバイス１００ａは、物理的な卓上面２１２上に配置された物理入力デバイス２１０（例えば、トラックパッド）を（例えば、画像センサ（単数又は複数）１０８を使用して）検出し、ディスプレイ１２０上に、物理的な卓上面の表現２２２上に配置された物理入力デバイスの表現２２１を表示する。あるいは、図２Ａ～図２Ｆに関して説明した実施形態は、透明ディスプレイを有するデバイスを含むことができ、仮想オブジェクトは透明ディスプレイ上に表示され、一方、物理的オブジェクトは透明ディスプレイを通して視認可能である。物理入力デバイスの表現２２１は、物理的な卓上面２１２に対する物理入力デバイス２１０の位置と同じ位置を、物理的な卓上面の表現２２２に対して有する。デバイス１００ａはまた、仮想アプリケーション２０１を表示する。仮想アプリケーション２０１は、入力フィールド２０１ａ～２０１ｄを含む。入力フィールド２０１ａ～２０１ｄのうちの１つ以上を検出したことに応じて、デバイス１００ａは、仮想アプリケーション２０１の一部分２０１’を物理入力デバイスの表現２２１上に表示（例えば、投影）し、この一部分２０１’は検出された入力フィールド２０１ａ～２０１ｄを含む。例えば、図２Ａに示されるように、物理入力デバイスの表現２２１上に投影される仮想アプリケーションの一部分２０１’は、検出された入力フィールド２０１ａ及び２０１ｂの投影２０１ａ’及び２０１ｂ’を含む。次いで、デバイス１００ａは、物理入力デバイス２１０から、入力（例えば、ユーザ入力）（例えば、物理入力デバイス２１０とのユーザ対話を検出する物理入力デバイス２１０によって検出された入力）を（例えば、通信バス（単数又は複数）１５０を使用して）受信し、入力フィールド２０１ａ～２０１ｄ／２０１ａ’～２０１ｄ’を更新する。

【0056】

いくつかの実施形態では、物理入力デバイス（例えば、トラックパッド２１０、キーボード４１０）は、デバイス１００ａの外部にあり（例えば、デバイス１００ａから分離しており）、現実環境内に、例えばタッチスクリーンディスプレイなどの表示構成要素を含まない。したがって、デバイス１００ａは、ＣＧＲ環境において、物理入力デバイスを物理入力デバイスの表現に変換するように構成されているが、現実環境では物理入力デバイスから欠落している表示機能が追加されている。デバイス１００ａはまた、仮想的な特徴（例えば、入力機能）を物理入力デバイスの表現と関連付けることによって、ＣＧＲ環境内の物理入力デバイスの表現の機能を拡張することができる。例えば、タッチ感知面を有し、かつ、現実環境内では表示能力を有さないトラックパッド（例えば、トラックパッド２１０）は、現実環境内の物理トラックパッドのタッチ入力が、ＣＧＲ環境内のトラックパッドの表現上に表示されるコンテンツに関連付けられるように、ＣＧＲ環境においてデバイス１００ａによって拡張されて、トラックパッドの表現上に配置されたコンピュータアプリケーション（例えば、アプリケーション２０１）の少なくとも一部分（例えば、２０１’）のディスプレイを組み込む。このようにして、デバイス１００ａは、ＣＧＲ環境における物理入力デバイス（例えば、トラックパッド）の機能をカスタマイズすることによって（例えば、物理入力デバイスの表現上に表示されるアプリケーションの外観をカスタマイズすることによって）、システム１００の動作を拡張する。例えば、デバイス１００ａは、仮想的な特徴を生成及び表示し、かつ、ＣＧＲ環境内に表示された特定のアプリケーションにカスタマイズされる方法でそれらの仮想的な特徴を物理入力デバイスと関連付けることによって、システム１００を拡張する。物理入力デバイスの表現を拡張させて、その機能をＣＧＲ環境内でカスタマイズすることによって、デバイス１００ａは、追加の表示された制御オプション（例えば、メニューオプションなど）で、ＣＧＲ環境を乱すことなく、コンピュータアプリケーション（例えば、２０１）とインタフェースするためのカスタマイズされた制御オプションをユーザに提示する。これにより、デバイス１００ａの操作性を向上させ、ユーザデバイスインタフェースをより効率的にし（例えば、拡張された物理入力デバイスと操作／インタフェースする際にユーザが適切な入力を提供するのを助け、ユーザの誤りを低減することによって）、加えて、ユーザがデバイス１００ａをより迅速かつ効率的に使用するのを可能にすることによって、電力使用量を低減し、デバイス１００ａのバッテリ寿命を改善する。

【0057】

図２Ａを参照すると、デバイス１００ａは、（例えば、画像センサ（単数又は複数）１０８を使用して）現実環境内の物理的な卓上面２１２上に配置された物理トラックパッド２１０を検出する。トラックパッド２１０は、（例えば、タッチ感知面によって提供される）タッチ感知機能を有する現実環境内の物理入力デバイスであるが、表示構成要素及び任意の表示能力を欠いている。デバイス１００ａは、ディスプレイ１２０上に示されるＣＧＲ環境において、卓上面２１２の表現２２２、卓上面の表現２２２上に配置されたトラックパッド２１０の表現２２１、及び卓上面の表現２２２上に投影された仮想アプリケーション２０１を表示する。図２Ａ～図２Ｆに示されるもののような、いくつかの実施形態では、デバイス１００ａは、ＣＧＲ環境において、壁又は卓上面などの物理的表面の表現上に、仮想アプリケーション２０１をオーバーレイする。いくつかの実施形態では、デバイス１００ａは、仮想アプリケーション２０１がＣＧＲ環境内で浮いているように見えるように、仮想表面上に仮想アプリケーション２０１をオーバーレイする。仮想アプリケーション２０１は、例えば、ワードプロセッシングアプリケーション、ポータブルドキュメントフォーマット（ＰＤＦ）アプリケーション、又はウェブブラウジングアプリケーションを使用して変更され得る、ユーザ同意を実行するための形態を含む。仮想アプリケーション２０１は、（例えば、ユーザ入力に基づいて）「同意する」オプションを選択するためのラジオボタンである入力フィールド２０１ａ、（例えば、ユーザ入力に基づいて）「辞退する」オプションを選択するためのラジオボタンである入力フィールド２０１ｂ、ユーザ同意フォームに対する署名を受信するためのデジタル署名フィールドである入力フィールド２０１ｃ、及び日付を受信するためのテキスト入力フィールドである入力フィールド２０１ｄを含む。

【0058】

デバイス１００ａは、表示された仮想アプリケーション２０１内の入力フィールド２０１ａ～２０１ｄを検出し、混合環境内のトラックパッドの表現２２１上に、検出された入力フィールド２０１ａ～２０１ｄのうちの１つ以上を含む仮想アプリケーションの一部分２０１’を（例えば、同時に）表示する。例えば、図２Ａに示されるように、入力フィールド２０１ａ及び２０１ｂを検出したことに応じて、デバイス１００ａは、ＣＧＲ環境内のトラックパッドの表現２２１上に、入力フィールド２０１ａの投影２０１ａ’及び入力フィールド２０１ｂの投影２０１ｂ’を含む一部分２０１’を、それぞれの入力フィールド２０１ａ及び２０１ｂに対応する「同意する」及び「辞退する」のテキストと共に表示する。

【0059】

ここで図２Ｂを参照すると、デバイス１００ａは、「同意する」ラジオボタン２０１ａの選択／アクティブ化に対応する入力（例えば、ユーザ入力）を受信する。具体的には、物理トラックパッド２１０は、ＣＧＲ環境内のトラックパッドの表現２２１上の入力フィールド２０１ａにおける投影２０１ａ’の表示された場所に対応する物理トラックパッド２１０上の場所での入力２１５（例えば、破線円によって表されているユーザ入力）を受信する。入力２１５は、例えば、タッチアンドリフトジェスチャ、タッチアンドホールドジェスチャ、タッチアンドスライド（例えば、スワイプ）ジェスチャ、又は強度構成要素を有するタッチ入力などのタッチ入力であることができ、その強度は閾値を超える（例えば、強度（力又は圧力）を有するトラックパッド２１０上のタッチ入力であり、その接触の強度が、トラックパッドのタッチ感知面の下の又は隣接する１つ以上の力又は圧力センサを使用して判定又は測定される値の範囲を有する）。いくつかの実施形態では、入力（例えば、ユーザ入力）は、これらのタッチ入力のうちの１つ以上を含む。

【0060】

デバイス１００ａは、ＣＧＲ環境内のトラックパッドの表現２２１上に仮想アプリケーションの一部分２０１’を表示するため、かつ、ＣＧＲ環境内のトラックパッドの表現２２１の場所及び位置が、現実環境内の物理トラックパッド２１０の実際の場所に対応するため、ユーザは、現実環境内のトラックパッド２１０に関する入力フィールドの投影２０１ａ’及び２０１ｂ’の場所を正確に判定する（及び実際には、ＣＧＲ環境内を視認する）ことができる。デバイス１００ａは、物理トラックパッド２１０からタッチ入力を（例えば、通信バス（単数又は複数）１５０を使用して）受信し、かつ、トラックパッド２１０上のタッチ入力２１５の場所を、ＣＧＲ環境内のトラックパッドの表現２２１上に表示される仮想コンテンツ（例えば、仮想アプリケーションの一部分２０１’）の場所に関連付けて、タッチ入力２１５が、現実環境において、ＣＧＲ環境内の「同意する」オプションに関連付けられたラジオボタン入力フィールドの投影２０１ａ’の場所に対応すると判定する。いくつかの実施形態では、デバイス１００ａは、入力（例えば、ユーザ入力）（例えば、タッチ入力２１５）を検出したことに応じて、フィードバックを提供する。例えば、デバイス１００ａは、入力によって実行される選択を示すオーディオ（例えば、「クリック」音）を生成する。任意選択的に、デバイス１００ａは、トラックパッド２１０において（例えば、マウスクリックを示す）振動を生成するコマンドを（例えば、通信バス（単数又は複数）１５０を使用して）通信することによって、触覚フィードバックを提供する。いくつかの実施例では、デバイス１００ａは、入力（例えば、ユーザ入力）の受信（及び、指示）に応じて、ＣＧＲ環境内に視覚フィードバックを表示する。

【0061】

タッチ入力２１５が「同意する」オプションに関連付けられたラジオボタン入力フィールドの投影２０１ａ’に対応すると判定したことに応じて、デバイス１００ａは、入力フィールド２０１ａの選択としてタッチ入力２１５を解釈し、それに応じて入力フィールド２０１ａを更新する。例えば、図２Ｂに示されるように、デバイス１００ａは、入力フィールド２０１ａの選択を示すために仮想アプリケーション２０１上に表示された入力フィールド２０１ａを暗くする。いくつかの実施形態では、デバイス１００ａはまた、仮想アプリケーションの表示された一部分２０１’上の「同意する」ラジオボタンの投影２０１ａ’も暗くする。タッチ入力２１５は入力フィールド２０１ｂの選択として解釈されなかったため、デバイス１００ａは、投影２０１ｂ’又は入力フィールド２０１ｂを暗くしない。

【0062】

図２Ｃ及び図２Ｄに示されるように、デバイス１００ａは、入力フィールド２０１ｃを検出し、ＣＧＲ環境内のトラックパッドの表現２２１上に、ユーザ同意フォームに署名するためのデジタル署名フィールドである入力フィールド２０１ｃの投影２０１ｃ’を含む、仮想アプリケーション２０１の一部分２０１’を表示する。デバイス１００ａは、仮想アプリケーション２０１上に、暗くされたラジオボタン入力フィールド２０１ａ、及び変更されていないラジオボタン入力フィールド２０１ｂを表示する。図２Ｃ及び図２Ｄに示されるもののような、いくつかの実施形態では、デバイス１００ａは、トラックパッドの表現２２１上に表示される一部分２０１’の境界を表す、仮想アプリケーション２０１上のインジケータ２２５を表示する。インジケータ２２５は、デバイス１００ａによって検出された入力フィールドをユーザにハイライトし、物理入力デバイス（例えば、トラックパッド）の表現２２１上に表示される仮想アプリケーションの一部分の視覚的表現を提供する。

【0063】

図２Ｄに示されるように、デバイス１００ａは、デジタル署名フィールドに署名するための入力（例えば、ユーザ入力）を受信する。物理トラックパッド２１０は、ＣＧＲ環境内のトラックパッドの表現２２１上の入力フィールド２０１ｃにおける投影２０１ｃ’の表示された場所に対応する、物理トラックパッド２１０上の場所でのタッチ入力２１７（破線で表されている）を受信する。任意選択的に、タッチ入力２１７は、例えば、タッチアンドリフトジェスチャ、タッチアンドホールドジェスチャ、タッチアンドスライド（例えば、スワイプ）ジェスチャ、又は強度構成要素を有するタッチ入力などのタッチ入力であり、その強度は閾値を超える（例えば、強度（力又は圧力）を有するトラックパッド２１０上のタッチ入力であり、その接触の強度が、トラックパッドのタッチ感知面の下の又は隣接する１つ以上の力又は圧力センサを使用して判定又は測定される値の範囲を有する）。

【0064】

デバイス１００ａは、ＣＧＲ環境内のトラックパッドの表現２２１上に仮想アプリケーションの一部分２０１’を表示するため、かつ、ＣＧＲ環境内のトラックパッドの表現２２１の場所及び位置が、現実環境内の物理トラックパッド２１０の実際の場所に対応するため、ユーザは、現実環境内のトラックパッド２１０に関する入力フィールドの投影２０１ｃ’の場所を正確に判定する（及び実際には、ＣＧＲ環境内を視認する）ことができる。これにより、ユーザは、物理トラックパッド２１０のタッチ感知面に沿って指を正確にトレースして、ＣＧＲ環境においてデジタル署名を入力すること可能になる。デバイス１００ａは、物理トラックパッド２１０からタッチ入力を（例えば、通信バス（単数又は複数）１５０を使用して）受信し、かつ、トラックパッド２１０上のタッチ入力２１７の動きを、ＣＧＲ環境内のトラックパッドの表現２２１上に表示される仮想コンテンツ（例えば、一部分２０１’）の場所に関連付けて、タッチ入力２１７が、現実環境において、ＣＧＲ環境内のデジタル署名入力フィールドの投影２０１ｃ’上の署名に対応すると判定する。いくつかの実施形態では、デバイス１００ａは、タッチ入力２１７を検出したことに応じて、フィードバックを提供する。

【0065】

タッチ入力２１７を受信したことに応じて、デバイス１００ａは、タッチ入力をデジタル署名として解釈し、それに応じて入力フィールド２０１ｃを更新する。例えば、図２Ｄに示されるように、デバイス１００ａは、仮想アプリケーション２０１内のデジタル署名入力フィールド２０１ｃ上に、デジタル署名２２７を表示する。いくつかの実施形態では、デバイス１００ａはまた、仮想アプリケーションの一部分２０１’上に表示されるデジタル署名入力フィールドの投影２０１ｃ’上に、デジタル署名２２７を（例えば、同時に）表示する。いくつかの実施形態では、デバイス１００ａは、タッチ入力２１７を検出すると同時に、入力フィールド２０１ｃを更新する。いくつかの実施形態では、デバイス１００ａは、タッチ入力２１７が完了した（例えば、入力のリフトオフが検出された）後に、入力フィールド２０１ｃを更新する。

【0066】

図２Ｅ及び図２Ｆに示されるように、デバイス１００ａは、入力フィールド２０１ｄを検出し、ＣＧＲ環境内のトラックパッドの表現２２１上に、入力フィールド２０１ｄの「日付：」テキスト２２８、及び日付入力を受信するためのテキスト入力フィールドである入力フィールド２０１ｄの投影２０１ｄ’を含む、仮想アプリケーション２０１の一部分２０１’を表示する。デバイス１００ａは、入力フィールド２０１ｄがテキスト入力フィールドであると判定し、それに応じて、ＣＧＲ環境内のトラックパッドの表現２２１上に仮想キーボード２２９を表示する。図２Ｅ及び図２Ｆに示されるものなどの、いくつかの実施形態では、デバイス１００ａは、仮想アプリケーションの一部分２０１’、並びに入力フィールド（及びテキスト２２８）の含まれる投影２０１ｄ’に加えて、仮想キーボード２２９を表示する。他の実施形態では、デバイス１００ａは、入力フィールド（及びテキスト２２８）の投影２０１ｄ’の代わりに、又は仮想アプリケーションの一部分２０１’の代わりに、仮想キーボード２２９を表示する。図２Ｅに示されるように、デバイス１００ａはまた、仮想アプリケーション２０１上に、暗くされたラジオボタン入力フィールド２０１ａ、変更されていないラジオボタン入力フィールド２０１ｂ、及び署名されたデジタル署名入力フィールド２０１ｃを表示する。

【0067】

図２Ｆに示されるように、デバイス１００ａは、テキスト入力入力フィールドのテキストに入力するための入力（例えば、ユーザ入力）を受信する。物理トラックパッド２１０は、ＣＧＲ環境内のトラックパッドの表現２２１上に表示される仮想キーボード２２９上のキーのそれぞれの表示された場所に対応する物理トラックパッド２１０上の場所において、タッチ入力２１９Ａ、２１９Ｂ、及び２１９Ｃ（破線円で表さていれる）を受信する。それぞれのユーザ入力２１９Ａ～２１９Ｃは、任意選択的に、例えば、タッチアンドリフトジェスチャ、タッチアンドホールドジェスチャ、タッチアンドスライド（例えば、スワイプ）ジェスチャ、又は強度構成要素を有するタッチ入力などのタッチ入力であり、その強度は閾値を超える（例えば、強度（力又は圧力）を有するトラックパッド２１０上のタッチ入力であり、その接触の強度が、トラックパッドのタッチ感知面の下の又は隣接する１つ以上の力又は圧力センサを使用して判定又は測定される値の範囲を有する）。

【0068】

デバイス１００ａは、ＣＧＲ環境内のトラックパッドの表現２２１上に仮想キーボード２２９を表示するため、かつ、ＣＧＲ環境内のトラックパッドの表現２２１の場所及び位置が、現実環境内の物理トラックパッド２１０の実際の場所に対応するため、ユーザは、現実環境内のトラックパッド２１０に関する仮想キーボード２２９のキーの場所を正確に判定する（及び実際には、ＣＧＲ環境内を視認する）ことができる。デバイス１００ａは、物理トラックパッド２１０からタッチ入力を（例えば、通信バス（単数又は複数）１５０を使用して）受信し、トラックパッド２１０上のそれぞれのタッチ入力２１９Ａ～２１９Ｃのそれぞれの場所を、ＣＧＲ環境内のトラックパッドの表現２２１上に表示された仮想キーボード２２９のキーの場所と関連付ける。このようにして、デバイス１００ａは、現実環境におけるタッチ入力２１９Ａ～２１９Ｃが、それぞれ、ＣＧＲ環境内の「Ｄ」、「Ｅ」、及び「Ｃ」キーの場所に対応すると判定する。いくつかの実施形態では、デバイス１００ａは、ユーザ入力（例えば、タッチ入力２１９）を検出したことに応じて、フィードバックを提供する。例えば、デバイス１００ａは、仮想キーボードキーの選択を示すオーディオ（例えば、「クリック」音）を生成する。デバイス１００ａは、任意選択的に、トラックパッド２１０において（例えば、キー押圧を示す）振動を生成するコマンドを（例えば、通信バス（単数又は複数）１５０を使用して）通信することによって、触覚フィードバックを提供する。いくつかの実施例では、デバイス１００ａは、入力（例えば、ユーザ入力）の受信を示すために、ＣＧＲ環境内に視覚フィードバックを表示する。

【0069】

タッチ入力２１９Ａが仮想キーボード２２９上の「Ｄ」キーの場所に対応すると判定したことに応じて、デバイス１００ａは、タッチ入力２１９Ａを仮想キーボード２２９上の「Ｄ」キーの選択として解釈し、それに応じて入力フィールド２０１ｄを更新する。例えば、図２Ｆに示されるように、デバイス１００ａは、仮想アプリケーション２０１上に表示されたテキスト入力入力フィールド２０１ｄ内に「Ｄ」の文字を表示する。タッチ入力２１９Ｂ及び２１９Ｃが、仮想キーボード２２９上の「Ｅ」及び「Ｃ」キーの場所にそれぞれ対応すると判定したことに応じて、デバイス１００ａは、タッチ入力２１９Ｂ及び２１９Ｃを仮想キーボード２２９上のそれぞれの「Ｅ」及び「Ｃ」キーの選択として解釈し、図２Ｆに示されるように、仮想アプリケーション２０１上に表示されたテキスト入力入力フィールド２０１ｄ内に「Ｅ」及び「Ｃ」の文字を含むように、入力フィールド２０１ｄを更新する。いくつかの実施形態では、デバイス１００ａは、トラックパッドの表現２２１上のテキスト入力フィールド２０１ｄに対する更新を表示する。例えば、図２Ｆに示されるように、文字「ＤＥＣ」が、テキスト入力入力フィールドの投影２０１ｄ’に示される。

【0070】

図３は、物理入力デバイスの表現を表示し、かつ、ＣＧＲ環境において物理入力デバイスの表現上に視覚的特徴をオーバーレイするための例示的な技術３００を示す。いくつかの実施形態では、本技術は、図１Ａ～図１Ｂ及び図２Ａ～図２Ｆを参照して説明されるシステム１００によって実行される。

【0071】

デバイス（例えば、１００ａ）は、ＣＧＲ環境内にアプリケーション（例えば、仮想アプリケーション）（例えば、２０１）（例えば、ウェブブラウザ、ＰＤＦ、メッセージングアプリケーションなど）を表示する。いくつかの実施形態では、アプリケーションは、ＣＧＲ環境内の物理的表面の表現上にアプリケーションを投影すること、又はＣＧＲ環境内の仮想表面上にアプリケーションを投影することによって表示される。

【0072】

ブロック３０４において、表示されたアプリケーション内の入力フィールド（例えば、テキスト入力フィールド（２０１ｄ）、データ（例えば、デジタル署名）入力フィールド（２０１ｃ）、ラジオボタン（２０１ａ、２０１ｂ））を検出したことに応じて、デバイス（例えば、１００ａ）は、物理入力デバイス（例えば、２１０）の表現（例えば、２２１）上に、表示されたアプリケーション（例えば、２０１）の少なくとも一部分（例えば、２０１’）を表示し（例えば、投影し）、この表示されたアプリケーションの一部分は、検出された入力フィールド（例えば、２０１ａ’、２０１ｂ’、２０１ｃ’、２０１ｄ’）を含む。いくつかの実施形態では、物理入力デバイスは、トラックパッド（例えば、２１０）、又は表示構成要素を含まない、ＣＧＲ環境を視認／表示するための電子デバイス（例えば、１００ａ）と、仮想アプリケーションが元々表示されている表面（例えば、卓上２１２）との両方から分離されかつ離れている（例えば、外部の）他の物理的な（例えば、仮想ではない）タッチ感知面である。

【0073】

いくつかの実施形態では、本技術は、表示されたアプリケーション（例えば、２０１）内の入力フィールド（例えば、２０１ａ、２０１ｂ、２０１ｃ、２０１ｄ）を検出したことに応じて、物理入力デバイスの表現（例えば、２２１）上に仮想キーボードキー（例えば、２２９）を表示するデバイス（例えば、１００ａ）を更に含む。いくつかの実施形態では、仮想キーボード（例えば、ソフトキーボード）は、図２Ｆに示されるように、表示されたアプリケーションの一部分（例えば、２０１’）及び含まれた入力フィールド（例えば、２０１ｄ’）に加えて、物理入力デバイスの表現上に表示／投影される。いくつかの実施形態では、仮想キーボードは、仮想入力フィールドの代わりに、又は表示されたアプリケーションの代わりに、物理入力デバイスの表現上に表示／投影される。

【0074】

いくつかの実施形態では、入力は、仮想キーボードキーの表示された場所に対応する物理入力デバイス（例えば、２１０）上の場所におけるタッチ入力（例えば、２１９Ａ～２１９Ｃ）を含む。図２Ｅ及び図２Ｆに示されるもののような、いくつかの実施形態では、入力フィールド（例えば、２０１ｄ’）の投影は、１つ以上の仮想キーを有する仮想キーボード（例えば、ソフトキーボード２２９）と共に表示され、入力は、仮想キーの１つ以上が表示される場所に対応する物理入力デバイス上の場所におけるユーザタッチを含む。いくつかの実施形態では、仮想キーボードキーは、検出された入力フィールドがテキスト入力フィールド（例えば、２０１ｄ）であるとの判定に従って表示される。いくつかの実施形態では、物理入力デバイスは、物理キーボードキーを備えた物理キーボードであり、それぞれの表示されたキーボードキーは、それらが表示される物理キーボードキーとは異なる値を有する（例えば、物理キーボードキーは、数字キーパッドに対応するキーのサブセットを含み、表示されたキーは、数字キーパッド用のキーの上に表示される編集機能（例えば、コピーコマンド、ペーストコマンドなど）として表示される）。

【0075】

いくつかの実施形態では、物理入力デバイスは、タッチ感知面（例えば、トラックパッド２１０）である。いくつかの実施形態では、タッチ感知面は、表示構成要素（例えば、表示スクリーン又はタッチスクリーンディスプレイ）を含まない。いくつかの実施形態では、物理入力デバイス（例えば、２１０）は、電子デバイス（例えば、１００ａ）の外部にある。

【0076】

いくつかの実施形態では、表示されたアプリケーションの少なくとも一部分（例えば、２０１’）を物理入力デバイス（例えば、２１０）の表現（例えば、２２１）上に投影することは、ＣＧＲ環境において、物理入力デバイスの表現上に配置された（例えば、オーバーレイされた）、検出された入力フィールド（例えば、２０１ａ’、２０１ｂ’、２０１ｃ’、２０１ｄ’）の投影を表示することを含む。

【0077】

いくつかの実施形態では、本技術は、デバイス（例えば、１００ａ）を更に含み、検出された入力フィールドがテキスト入力フィールド（例えば、２０１ｄ）であるとの判定に従って、表示されたアプリケーションの少なくとも一部分（例えば、２０１’）を物理入力デバイスの表現（例えば、２２１）上に表示することが、ＣＧＲ環境において、物理入力デバイスの表現上に配置された（例えば、オーバーレイされた）仮想テキストボックス（例えば、２０１ｄ’）を表示することを含む。

【0078】

いくつかの実施形態では、本技術は、デバイス（例えば、１００ａ）を更に含み、検出された入力フィールドがデジタル署名フィールド（例えば、２０１ｃ）であるとの判定に従って、表示されたアプリケーションの少なくとも一部分（例えば、２０１’）を物理入力デバイスの表現（例えば、２２１）上に表示することが、ＣＧＲ環境において、物理入力デバイスの表現上に配置された（例えば、オーバーレイされた）仮想デジタル署名ボックス（例えば、２０１ｃ’）を表示することを含む。

【0079】

いくつかの実施形態では、本技術は、デバイス（例えば、１００ａ）を更に含み、検出された入力フィールドが１つ以上のラジオボタン（例えば、２０１ａ、２０１ｂ）を含むとの判定に従って、表示されたアプリケーションの少なくとも一部分（例えば、２０１’）を物理入力デバイスの表現（例えば、２２１）上に表示することが、ＣＧＲ環境において、物理入力デバイスの表現上に配置された（例えば、オーバーレイされた）１つ以上の仮想ラジオボタン（例えば、２０１ａ’、２０１ｂ’）を表示することを含む。いくつかの実施形態では、物理入力デバイスの表現上に、表示されたアプリケーションの少なくとも一部分を表示することは、ＣＧＲ環境において、検出された入力フィールドの１つ以上のラジオボタンに関連付けられたテキストを表示することを更に含む。

【0080】

ブロック３０６において、物理入力デバイス（例えば、２１０）で受信された入力（例えば、２１５、２１７、２１９Ａ～２１９Ｃ）を検出したことに応じて、デバイス（１００ａ）は、入力フィールド（例えば、２０１ａ、２０１ｂ、２０１ｃ、２０１ｄ）を入力で更新する。例えば、電子デバイスは、ユーザスワイプジェスチャ又はタッチジェスチャが、トラックパッド（例えば、２１０）、又は表示構成要素を含まない、ＣＧＲ環境を視認／表示するための電子デバイスと、仮想アプリケーションが元々表示される面（例えば、２１２）との両方の外部にある他の物理的な（例えば、仮想ではない）タッチ感知面、において受信されたことを検出する。電子デバイスは、物理入力デバイスにおける入力を示す入力データを受信し、入力データを使用して入力フィールドを更新する。

【0081】

いくつかの実施形態では、入力（例えば、２１５、２１７、２１９Ａ～２１９Ｃ）は、物理入力デバイスの表現（例えば、２２１）上に表示される入力フィールド（例えば、２０１ａ’、２０１ｂ’、２０１ｃ、２０１ｄ’）の投影の場所に対応する、物理入力デバイス（例えば、２１０）上の場所におけるタッチ入力を含む。いくつかの実施形態では、投影された入力フィールドは、物理入力デバイスの表現上に表示された仮想テキストボックス（例えば、テキスト入力フィールド２０１ｄ’）であり、入力は、（例えば、テキスト入力カーソルを配置するために）ＣＧＲ環境内で仮想テキストボックスが表示される場所に対応する、現実環境における、物理入力デバイス上の場所におけるユーザタッチを含む。いくつかの実施形態では、投影された入力フィールドは、物理入力デバイスの表現上に表示された仮想デジタル署名ボックス（例えば、２０１ｃ’）であり、入力は、ＣＧＲ環境内で仮想デジタル署名ボックスが表示される場所に対応する、現実環境における、物理入力デバイス上の場所におけるユーザタッチ（例えば、２１７）を含む。いくつかの実施形態では、投影された入力フィールドは、物理入力デバイス上に表示された１つ以上の仮想ラジオボタン（例えば、２０１ａ’、２０１ｂ’）を含み、入力は、ＣＧＲ環境内で１つ以上の仮想ラジオボタンが表示される場所に対応する、現実環境における、物理入力デバイス上の場所におけるユーザタッチ（例えば、２１５）を含む。いくつかの実施形態では、タッチ入力は強度構成要素を有する。いくつかの実施形態では、タッチ入力は、物理入力デバイス上のスワイプである。

【0082】

いくつかの実施形態では、本技術は、物理入力デバイス（例えば、２１０）で受信された入力（例えば、２１５、２１７、２１９Ａ～２１９Ｃ）を検出したことに応じて、触覚フィードバックを生成するデバイス（例えば１００ａ）を更に含む。例えば、デバイスは、（例えば、通信バス（単数又は複数）１５０を使用して）入力デバイスと通信して、振動などの物理的フィードバックを提供する。いくつかの実施形態では、触覚フィードバックは、マウスボタン、トラックパッド上のボタン、又はキーボード上のキーをクリックする際などのクリック応答を模倣する。いくつかの実施形態では、触覚フィードバックは、クリック音などの聴覚フィードバックを含む。

【0083】

いくつかの実施形態では、デバイス（例えば、１００ａ）が入力フィールドを入力で更新することは、物理入力デバイス（例えば、２１０）における入力（例えば、２１５、２１７、２１９Ａ～２１９Ｃ）を示す入力データを受信することと、受信された入力データに従って入力フィールド（例えば、２０１ａ、２０１ｂ、２０１ｃ、２０１ｄ）を更新することと、を含む。

【0084】

ブロック３０８において、デバイス（例えば、１００ａ）は、更新された入力フィールド（例えば、２０１ａ、２０１ｂ、２０１ｃ、２０１ｄ）を表示する。いくつかの実施形態では、更新された入力フィールド（例えば、図２Ｆに示される、２０１ａ、２０１ｃ、２０１ｄ）は、アプリケーション内に表示される。いくつかの実施形態では、更新された入力フィールドは、物理入力デバイス（例えば、２１０）の表現（例えば、２２１）上に表示された入力フィールドの投影（例えば、２０１ａ’、２０１ｂ’、２０１ｃ’、２０１ｄ’）内に表示される。いくつかの実施形態では、更新された入力フィールドは、物理入力デバイスの表現上に投影されたアプリケーションの一部分（例えば、２０１’）内に表示された、アプリケーション及び投影された入力フィールドの両方に表示される。

【0085】

いくつかの実施形態では、更新された入力フィールドを表示することは、アプリケーション（例えば、２０１）内に更新された入力フィールドを表示することを含む。例えば、表示されたアプリケーション内に表示された入力フィールド（例えば、２０１ａ、２０１ｂ、２０１ｃ、２０１ｄ）は、ユーザからの入力を含むように更新される。いくつかの実施形態では、更新された入力フィールドは、（例えば、図２Ｆに示されるように）ユーザによって入力されたテキストを有するテキストボックス（例えば、２０１ｄ）として表示される。いくつかの実施形態では、更新された入力フィールドは、ユーザによって入力されたテキスト（例えば、デジタル署名２２７）を有するデジタル署名ボックス（例えば、２０１ｃ）として表示される。いくつかの実施形態では、更新された入力フィールドは、ユーザによって選択された１つ以上のラジオボタン（例えば、２０１ａ）として表示される。

【0086】

いくつかの実施形態では、更新された入力フィールドを表示することは、物理入力デバイス（例えば、２１０）の表現（例えば、２２１）上に投影されたアプリケーションの一部分（例えば、２０１’）に表示された入力フィールド（例えば、２０１ａ’、２０１ｂ’、２０１ｃ’、２０１ｄ’）の投影内に、更新された入力フィールドを表示することを含む。例えば、物理入力デバイスの表現上に表示／投影される入力フィールドの投影は、ユーザからの入力を含むように更新される。いくつかの実施形態では、更新された入力フィールドは、（例えば、図２Ｆに示されるように）ユーザによって入力されたテキストを有するテキストボックス（例えば、２０１ｄ’）の表現として表示される。いくつかの実施形態では、更新された入力フィールドは、ユーザによって入力されたテキスト（例えば、デジタル署名）を有するデジタル署名ボックス（例えば、２０１ｃ’）の表現として表示される。いくつかの実施形態では、更新された入力フィールドは、ユーザによって選択された１つ以上のラジオボタン（例えば、２０１ａ’）として表示される。

【0087】

図４Ａ～図４Ｂに示されるように、デバイス１００ａは、物理的な卓上面２１２上に配置された物理入力デバイス４１０（例えば、（ファンクションキー４１５を含む）キーを有するキーボード）を（例えば、画像センサ（単数又は複数）１０８を使用して）検出し、ディスプレイ１２０上に、物理的な卓上面の表現２２２上に配置された物理入力デバイスの表現４２１を表示する。物理入力デバイスの表現４２１は、物理的な卓上面２１２に対する物理入力デバイス４１０の位置と同じ位置を、物理的な卓上面の表現２２２に対して有する。更に、キーボード４１０の表現４２１は、（ファンクションキー４１５の表現４２５及び数字キーの表現を含む）キーボード４１０上の全てのキーの表現４２１ａを含み、それぞれのキーボードキーのそれぞれの表現４２１ａは、物理キーボード４１０に対する、対応する物理キーの位置と同じ位置を、キーボードの表現４２１に対して有する。

【0088】

デバイス１００ａはまた、第１の状態４０１ａを有する仮想アプリケーション４０１を表示する。デバイス１００ａは、仮想アプリケーションの現在の（第１の）状態４０１ａに固有の第１の入力制御のセットを判定し、物理入力デバイスの表現４２１上に第１の入力制御のセットを投影する。仮想アプリケーションの第２の状態４０１ｂ（例えば、仮想アプリケーションの第１の状態、又は全く異なるアプリケーションへの更新）を検出したことに応じて、デバイス１００ａは、仮想アプリケーションの第２の状態４０１ｂに固有の第２の入力制御のセットを判定し、物理入力デバイスの表現４２１上に第２の入力制御のセットを投影する。

【0089】

いくつかの実施形態では、物理入力デバイス（例えば、トラックパッド２１０、キーボード４１０）は、デバイス１００ａの外部にあり（例えば、デバイス１００ａから分離しており）、現実環境内に、例えばタッチスクリーンディスプレイなどの表示構成要素を含まない。したがって、デバイス１００ａは、ＣＧＲ環境において、物理入力デバイスを物理入力デバイスの表現に変換することができるが、現実環境では物理的デバイスから欠落している表示機能が追加されている。デバイス１００ａはまた、仮想的な特徴（例えば、入力機能又は入力制御）を物理入力デバイスの表現と関連付けることによって、ＣＧＲ環境内の物理入力デバイスの機能を拡張することができる。例えば、異なる機能（例えば、コンピュータアプリケーションがワードプロセッシングアプリケーションである場合に、コピー又はペーストコマンド）をキーと関連付けることによって、現実環境内において数を入力するようにプログラムされたキー（例えば、数字キー９）を有する物理キーボードを、ＣＧＲ環境内でデバイス１００ａによって再構成することができる。更に、デバイス１００ａは、ＣＧＲ環境内のキーボードキーの表現上に、カスタマイズされた機能の仮想表現（例えば、キーボードキーの表現上に表示されたコピー又はペーストアイコン）を表示する。したがって、デバイス１００ａは、仮想的な特徴を生成及び表示し、かつ、ＣＧＲ環境内に表示された特定のアプリケーションにカスタマイズされる方法でそれらの仮想的な特徴を物理入力デバイスと関連付けることで、物理入力デバイスの機能をＣＧＲ環境内でカスタマイズすることによって、システム１００の動作を拡張する。物理入力デバイスを拡張させて、その機能をＣＧＲ環境内でカスタマイズすることにより、デバイス１００ａは、追加の表示された制御オプション（例えば、メニューオプションなど）でＣＧＲ環境を乱すことなく、コンピュータアプリケーション（例えば、４０１）とインタフェースするためのカスタマイズされた制御オプションをユーザに提示する。これにより、デバイス１００ａの操作性を向上させ、ユーザデバイスインタフェースをより効率的にし（例えば、拡張された物理入力デバイスと操作／インタフェースする際にユーザが適切な入力を提供するのを助け、ユーザの誤りを低減することによって）、加えて、ユーザがデバイス１００ａをより迅速かつ効率的に使用するのを可能にすることによって、電力使用量を低減し、デバイス１００ａのバッテリ寿命を改善する。

【0090】

ここで図４Ａを参照すると、デバイス１００ａは、（例えば、画像センサ（単数又は複数）１０８を使用して）現実環境において物理的な卓上面２１２上に配置された物理キーボード４１０を検出する。キーボード４１０は、（例えば、キーボードキー４１０ａ及びファンクションキー４１５によって提供される）ユーザ入力機能を有するが、表示構成要素及び任意の表示能力を欠く、現実環境内の物理入力デバイスである。デバイス１００ａは、ディスプレイ１２０上に示されるＣＧＲ環境において、卓上面２１２の表現２２２、卓上面の表現２２２上に配置されたキーボード４１０の表現４２１、及び卓上面の表現２２２上に投影された仮想アプリケーション４０１を表示する。図４Ａ～図４Ｂに示されるもののような、いくつかの実施形態では、デバイス１００ａは、ＣＧＲ環境における壁又は卓上面などの物理的表面の表現上に、仮想アプリケーション４０１を投影する。いくつかの実施形態では、デバイス１００ａは、仮想アプリケーション４０１が例えばＣＧＲ環境内で浮いているように見えるように、仮想表面上に仮想アプリケーション４０１を投影する。

【0091】

図４Ａに示されるように、仮想アプリケーション４０１は、テキストを入力するためのテキスト入力フィールド４０３を有する第１の状態４０１ａに示されるメッセージングアプリケーションである。デバイス１００ａは、仮想アプリケーションの状態に固有の入力制御のセットを判定するように構成されている。したがって、デバイス１００ａは、仮想アプリケーション４０１の現在の状態４０１ａがテキスト入力フィールド４０３にテキストを入力／受信するためのものであると判定する。この判定に応じて、デバイス１００ａは、テキストの入力／受信に対応する入力機能のセット（例えば、コマンド又はデータ）を判定し、ＣＧＲ環境内のキーボードの表現４２１上にそれらの入力機能の仮想表現を表示する。例えば、デバイス１００ａは、現在のテキスト入力状態４０１ａに対する入力機能のセットが、テキスト入力フィールド４０３への数字、文字、及び句読点の入力を含むが、コピー、カット、又はペースト操作などの編集操作は含まないと判定する。したがって、図４Ａでは、デバイス１００ａは、（数字キーパッドを含む）キーボードキーのそれぞれの表現４２１ａ上に仮想文字、数字、又は句読点マークを表示するが、例えば、編集操作に関連付けられたものなどの任意の不必要な入力機能の表現は表示しない。したがって、デバイス１００ａは、各ファンクションキーの表現４２５に関連付けられた任意の入力機能が無関係であると判定し、したがって、（例えば、表示された表現４２５から、物理キーボードキー上に存在する任意のしるしを省略したり、又はキーボードキーの表現をブランクに見えるように不明瞭にする仮想機能を表示したりすることによって）ファンクションキーの各表現４２５をブランクとして表示し、ファンクションキーの表現４２５がアプリケーションの現在の状態４０１ａに対して非アクティブであることを示す。このようにして、デバイス１００ａは、仮想アプリケーション４０１の現在の状態（例えば、４０１ａ）とインタフェースするための所望の又は必要な入力機能のみがユーザに提示されるように、物理入力デバイスによって提供される機能をカスタマイズする。

【0092】

デバイス１００ａは、現実環境内でユーザによってアクティブ化された物理キーボードキーが、ＣＧＲ環境内でそのそれぞれのキーの表現に関連付けられた入力（もしあれば）を提供するように、キーボードの表示された表現４２１の機能を物理キーボード４１０と関連付けることによって、物理キーボード４１０が提供する機能を変更する。例えば、ユーザが、現実環境内で文字「Ｈ」に対応する物理キーボードキーをアクティブ化すると、デバイス１００ａは、ＣＧＲ環境内のそのキーに関連付けられた入力機能を実行する。図４Ａの例によれば、キーボードの表現４２１の文字キーの表現４２１ａが物理キーボード４１０のキーに対応するため、デバイス１００ａは、物理キーボード４１０からの入力を文字「Ｈ」として解釈する。同様に、ユーザがファンクションキー４１５のうちの１つに対応する物理キーボードキーをアクティブ化すると、デバイス１００ａは、ファンクションキーの表現４２５がＣＧＲ環境内で非アクティブであるため、入力を無視する。この例では、ＣＧＲ環境における文字「Ｈ」の表現は、現実環境における「Ｈ」キーボードキーに対応しているが、キーボードキーの表現に関連付けられた入力機能は、任意の所望の入力機能であってもよく、物理キーボード４１０のキーに対応するものだけではないことを理解されたい。例えば、デバイス１００ａは、物理キーボード４１０の「Ｈ」キーが、ＣＧＲ環境内の文字「Ｑ」を入力するための入力機能に対応するように、入力機能を構成することができる。別の例として、デバイス１００ａは、以下でより詳細に説明するように、物理キーボード４１０の「Ｈ」キーが、コピー又はペーストコマンドを実行する入力機能に対応するように、入力機能を構成することができる。

【0093】

ここで図４Ｂを参照すると、デバイス１００ａは、テキスト「ＮＯＷ」が選択された（４０５）仮想アプリケーション４０１の第２の状態４０１ｂを検出する。デバイス１００ａは、テキストが選択されるときに実行されるコマンドに対応する入力機能のセットを判定し、ＣＧＲ環境内のキーボードの表現４２１上にそれらの入力機能の仮想表現を表示する。例えば、デバイス１００ａは、アプリケーションの現在のテキスト選択状態４０１ｂに対する入力機能のセットが、数字、文字、句読点の入力、並びにコピー、カット、及びペースト操作を含む様々な編集操作を含むと判定する。したがって、図４Ｂでは、デバイス１００ａは、（数字キーパッドを含む）キーボードキーのそれぞれの表現４２１ａ上に仮想文字、数字、又は句読点マークを表示し、ファンクションキーの表現４２５のうちの選択されたものを更新して、コピー、カット、又はペースト操作の仮想表現４２５ａ、４２５ｂ、４２５ｃをそれぞれ表示する。このようにして、デバイス１００ａは、物理入力デバイス（例えば、キーボード４１０）の表現４２１上に表示された（及び関連付けられた）仮想的な特徴を変更する。

【0094】

図４Ａ及び図４Ｂに示される実施形態では、単一の仮想アプリケーション（アプリケーション４０１）の異なる状態４０１ａ及び４０１ｂを検出したことに基づいて、デバイス１００ａが、異なる入力制御のセットを判定することを示しており、そのような判定は、全く異なるアプリケーションを検出したことに基づいて行うことができることを理解されたい。例えば、デバイス１００ａは、第１のアプリケーション（例えば、ウェブブラウザアプリケーション）とインタフェースするための第１の入力制御のセットを判定し、仮想アプリケーションが第１のアプリケーションとは異なる第２のアプリケーション（例えば、写真編集アプリケーション）に変更したことに応じて、第２のアプリケーションと対話するための第２の入力制御のセットを判定することができる。また、デバイス１００ａによって判定される入力制御は、本明細書に開示されるものに限定されず、それらの命令が仮想アプリケーションの現在の状態に関連する限り、仮想アプリケーションの現在の状態とインタフェースするための任意のコンピュータ実行可能命令を含むことができることを理解されたい。

【0095】

図５は、物理入力デバイスの表現を表示し、かつ、ＣＧＲ環境（例えば、拡張現実、仮想現実）内で物理入力デバイスの表現上に視覚的特徴をオーバーレイするための例示的な技術５００を示す。いくつかの実施形態では、本技術は、図１Ａ～図１Ｂ及び図４Ａ～図４Ｂを参照して説明されるシステム１００によって実行される。

【0096】

ブロック５０２において、デバイス（例えば、１００ａ）は、ＣＧＲ環境内にアプリケーション（例えば、仮想アプリケーション（例えば、４０１））（例えば、ウェブブラウザ、ＰＤＦ、メッセージングアプリケーション、写真編集アプリケーションなど）を表示する。いくつかの実施形態では、アプリケーションは、ＣＧＲ環境内で物理的表面の表現上に仮想アプリケーションを投影すること、又はＣＧＲ環境内で仮想表面上に仮想アプリケーションを投影することによって表示される。

【0097】

ブロック５０４において、表示されたアプリケーション（例えば、４０１）の第１の状態（例えば、４０１ａ）を検出したことに応じて、デバイス（例えば、１００ａ）は、表示されたアプリケーションの第１の状態に固有の第１の入力制御のセット（例えば、数字、文字、句読点）を判定し、ＣＧＲ環境内の物理入力デバイス（例えば、４１０）の表現（例えば、４２１）上に、アプリケーションの第１の状態に固有の第１の入力制御のセットのみを表示する。そのような実施形態の例が図４Ａに示されており、デバイス１００ａは、テキスト入力状態４０１ａに対する入力機能のセットが、テキスト入力フィールド４０３への数字、文字、及び句読点の入力を含むが、コピー、カット、又はペースト操作などの編集操作は含まないと判定する。

【0098】

ブロック５０６において、表示されたアプリケーション（例えば、４０１）の第２の状態（例えば、４０１ｂ）を検出したことに応じて、デバイス（例えば、１００ａ）は、表示されたアプリケーションの第２の状態に固有の、第１の入力制御のセットと異なる第２の入力制御のセット（例えば、数字、文字、句読点、並びにカット、コピー、及びペースト操作などの編集操作）を判定し、ＣＧＲ環境内の物理入力デバイス（例えば、４１０）の表現（例えば、４２１）上に、アプリケーションの第２の状態に固有の第２の入力制御のセットのみを表示する。そのような実施形態の例が図４Ｂに示されており、デバイス１００ａは、アプリケーションのテキスト選択状態４０１ｂに対する入力機能のセットが、数字、文字、句読点の入力、並びにコピー、カット、及びペースト操作を含む様々な編集操作を含むと判定する。

【0099】

いくつかの実施形態では、物理入力デバイスは、キーボード（例えば、４１０）であり、ＣＧＲ環境内のキーボードの表現（例えば、４２１）は、現実環境内のキーボード上の物理キー（例えば、４１０ａ、４１５）の場所に対応するキーボードキー（例えば、４２１ａ、４２５）の表現を含む、キーボードの表現を含む。いくつかの実施形態では、デバイス１００ａは、現実環境内のキーボードの物理キーのアクティブ化を検出したことに応じて、現実環境においてアクティブ化された物理キーに対応する、ＣＧＲ環境内のキーボードキーの表現に関連付けられたコマンドを実行する。

【0100】

いくつかの実施形態では、デバイス（例えば、１００ａ）は、第１のアプリケーション（例えば、第１の仮想アプリケーション）から第２のアプリケーション（例えば、第２の仮想アプリケーション）への切り替えを検出したことに応じて、ＣＧＲ環境において、キーボードの表現（例えば、４２１）上に表示された、表示された制御機能のセットを更新する。いくつかの実施形態では、第１のアプリケーションは、ウェブブラウザアプリケーションであり、第１の入力制御のセットは、ウェブブラウザ制御（例えば、次のページ、前のページ、ロード、停止、リフレッシュなど）である。いくつかの実施形態では、第２のアプリケーションは、写真編集アプリケーションであり、第２の入力制御のセットは、編集制御（例えば、拡張、カット、ペースト、挿入、選択など）である。

【0101】

本開示は、本明細書で提供される実施形態を参照して示されて説明されてきたが、当業者によれば、本開示の範囲から逸脱することなく、形態及び詳細の様々な変更がなされ得ることが理解されるであろう。

【図1A】

【図1B】

【図2A】

【図2B】

【図2C】

【図2D】

【図2E】

【図2F】

【図3】

【図4A】

【図4B】

【図5】