特表 2022-528058 拡張現実（ＡＲ）及び仮想現実（ＶＲ）の有形オブジェクトでの仮想資産の確立と使用

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-06-08

(54)【発明の名称】拡張現実（ＡＲ）及び仮想現実（ＶＲ）の有形オブジェクトでの仮想資産の確立と使用

(51)【国際特許分類】

   G06F 3/01 20060101AFI20220601BHJP

   G06F 3/04845 20220101ALI20220601BHJP

   G06F 3/16 20060101ALI20220601BHJP

   G06T 19/00 20110101ALI20220601BHJP

【ＦＩ】

G06F3/01 570

G06F3/0484 150

G06F3/16 630

G06F3/16 650

G06F3/16 610

G06T19/00 600

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021557067

(86)(22)【出願日】2020-02-10

(85)【翻訳文提出日】2021-11-11

(86)【国際出願番号】 US2020017479

(87)【国際公開番号】W WO2020197652

(87)【国際公開日】2020-10-01

(31)【優先権主張番号】62/822,712

(32)【優先日】2019-03-22

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/783,070

(32)【優先日】2020-02-05

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】テイラー、マイケル

(72)【発明者】

【氏名】ブラック、グレン

【テーマコード（参考）】

5B050

5E555

【Ｆターム（参考）】

5B050AA03

5B050BA06

5B050BA09

5B050BA13

5B050CA07

5B050CA08

5B050DA07

5B050EA04

5B050EA19

5B050EA26

5B050FA02

5B050FA05

5B050FA10

5B050FA13

5E555AA12

5E555AA46

5E555AA64

5E555BA04

5E555BA38

5E555BB04

5E555BB38

5E555BC08

5E555BE17

5E555CA42

5E555CA47

5E555CB64

5E555CB66

5E555CC01

5E555CC05

5E555DA08

5E555DB53

5E555DC09

5E555DC21

5E555EA11

5E555EA22

5E555EA23

5E555FA00

(57)【要約】

【課題】方法は、有形オブジェクトを識別することと、ユーザに見える方法で有形オブジェクト上に仮想オーバーレイを確立することと、有形オブジェクト上に確立された仮想オーバーレイとのユーザの対話を検出することと、プロセッサベースのシステムへの入力の基礎として、仮想オーバーレイとのユーザの対話を使用することとを含む。
【解決手段】システムは、ディスプレイと、ディスプレイと通信するプロセッサベースの装置とを含む。１つまたは複数のコンピュータプログラムを格納する記憶媒体も提供される。
【選択図】図１

【特許請求の範囲】

【請求項1】

有形オブジェクトを識別することと、
ユーザに見える方法で前記有形オブジェクト上に仮想オーバーレイを確立することと、
前記有形オブジェクト上に確立された前記仮想オーバーレイとのユーザの対話を検出することと、
プロセッサベースのシステムへの入力の基礎として、前記仮想オーバーレイとの前記ユーザの対話を使用することと、
を含む、方法。

【請求項2】

前記有形オブジェクト上に前記仮想オーバーレイを確立することは、前記仮想オーバーレイを前記有形オブジェクトに適合するように自動的にスケーリングすることを含む、請求項１に記載の方法。

【請求項3】

前記有形オブジェクト上に前記仮想オーバーレイを確立することは、前記ユーザからのコマンドに応答して実施される、請求項１に記載の方法。

【請求項4】

前記ユーザからの前記コマンドは、音声コマンドを含む、請求項３に記載の方法。

【請求項5】

前記ユーザからの前記コマンドは、前記仮想オーバーレイの構成を決定する、請求項３に記載の方法。

【請求項6】

前記有形オブジェクト上に前記仮想オーバーレイを確立することは、前記有形オブジェクトが前記仮想オーバーレイに適切であるという判定に応じて実施される、請求項１に記載の方法。

【請求項7】

前記仮想オーバーレイは、仮想ユーザインターフェースを含む、請求項１～６のいずれか一項に記載の方法。

【請求項8】

前記有形オブジェクト上に前記仮想オーバーレイを確立することは、前記有形オブジェクト上の１つまたは複数の有形入力機構を、前記仮想ユーザインターフェース上の１つまたは複数の仮想入力デバイスにマッピングすることを含む、請求項７に記載の方法。

【請求項9】

前記有形オブジェクトを識別することは、１つまたは複数の画像キャプチャデバイスを用いて前記有形オブジェクトを識別することを含む、請求項１～６のいずれか一項に記載の方法。

【請求項10】

前記有形オブジェクトを識別することは、前記有形オブジェクトの幾何学形状を識別することを含む、請求項１～６のいずれか一項に記載の方法。

【請求項11】

前記有形オブジェクトを識別することは、前記有形オブジェクトが前記仮想オーバーレイに最も適合するという判定に基づいて、２つ以上の有形オブジェクトの中から前記有形オブジェクトを選択することを含む、請求項１～６のいずれか一項に記載の方法。

【請求項12】

前記仮想オーバーレイとの前記ユーザの対話を検出することは、前記ユーザの一部と前記仮想オーバーレイの幾何学形状との交差を検出することを含む、請求項１～６のいずれか一項に記載の方法。

【請求項13】

前記仮想オーバーレイとの前記ユーザの対話を検出することは、音響感知を含む、請求項１～６のいずれか一項に記載の方法。

【請求項14】

システムであって、
ディスプレイと、
前記ディスプレイと通信するプロセッサベースの装置と、を備え、
前記プロセッサベースの装置は、
有形オブジェクトを識別することと、
前記ディスプレイ上に見える方法で前記有形オブジェクト上に仮想オーバーレイを確立することと、
前記有形オブジェクト上に確立された前記仮想オーバーレイとのユーザの対話を検出することと、
前記プロセッサベースの装置への入力の基礎として、前記仮想オーバーレイとの前記ユーザの対話を使用することと、を含むステップを実行するように構成される、システム。

【請求項15】

前記有形オブジェクト上に前記仮想オーバーレイを確立することは、前記仮想オーバーレイを前記有形オブジェクトに適合するように自動的にスケーリングすることを含む、請求項１４に記載のシステム。

【請求項16】

前記有形オブジェクト上に前記仮想オーバーレイを確立することは、前記ユーザからのコマンドに応答して実施される、請求項１４または１５に記載のシステム。

【請求項17】

前記ユーザからの前記コマンドは、音声コマンドを含む、請求項１６に記載のシステム。

【請求項18】

前記ユーザからの前記コマンドは、前記仮想オーバーレイの構成を決定する、請求項１６に記載のシステム。

【請求項19】

前記仮想オーバーレイは、仮想ユーザインターフェースを含む、請求項１４または１５に記載のシステム。

【請求項20】

前記有形オブジェクト上に前記仮想オーバーレイを確立することは、前記有形オブジェクト上の１つまたは複数の有形入力機構を、前記仮想ユーザインターフェース上の１つまたは複数の仮想入力デバイスにマッピングすることを含む、請求項１９に記載のシステム。

【請求項21】

プロセッサベースのシステムに、
有形オブジェクトを識別することと、
ユーザに見える方法で前記有形オブジェクト上に仮想オーバーレイを確立することと、
前記有形オブジェクト上に確立された前記仮想オーバーレイとのユーザの対話を検出することと、
前記プロセッサベースのシステムへの入力の基礎として、前記仮想オーバーレイとの前記ユーザの対話を使用することと、
を含むステップを実行させるように構成された１つまたは複数のコンピュータプログラムを格納する、非一時的なコンピュータ可読記憶媒体。

【請求項22】

前記有形オブジェクト上に前記仮想オーバーレイを確立することは、前記仮想オーバーレイを前記有形オブジェクトに適合するように自動的にスケーリングすることを含む、請求項２１に記載の非一時的なコンピュータ可読記憶媒体。

【請求項23】

前記有形オブジェクト上に前記仮想オーバーレイを確立することは、前記ユーザからのコマンドに応答して実施される、請求項２１または２２に記載の非一時的なコンピュータ可読記憶媒体。

【請求項24】

前記ユーザからの前記コマンドは、音声コマンドを含む、請求項２３に記載の非一時的なコンピュータ可読記憶媒体。

【請求項25】

前記ユーザからの前記コマンドは、前記仮想オーバーレイの構成を決定する、請求項２３に記載の非一時的なコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１９年３月２２日に出願された「ＥＳＴＡＢＬＩＳＨＩＮＧ ＡＮＤ ＵＳＩＮＧ ＶＩＲＴＵＡＬ ＡＳＳＥＴＳ ＯＮ ＴＡＮＧＩＢＬＥ ＯＢＪＥＣＴＳ ＩＮ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ （ＡＲ） ＡＮＤ ＶＩＲＴＵＡＬ ＲＥＡＬＩＴＹ （ＶＲ）」と題された米国仮特許出願第６２／８２２，７１２号の利益を主張する、２０２０年２月５日に出願された「ＥＳＴＡＢＬＩＳＨＩＮＧ ＡＮＤ ＵＳＩＮＧ ＶＩＲＴＵＡＬ ＡＳＳＥＴＳ ＯＮ ＴＡＮＧＩＢＬＥ ＯＢＪＥＣＴＳ ＩＮ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ （ＡＲ） ＡＮＤ ＶＩＲＴＵＡＬ ＲＥＡＬＩＴＹ （ＶＲ）」と題された米国特許出願第１６／７８３，０７０号の継続出願であり、その利益を主張し、その全内容及び開示は両方とも、参照によりその全体が本明細書に完全に組み込まれる。

【背景技術】

【0002】

１．技術分野
本発明の実施形態は、一般に、コンピュータ拡張及びシミュレーション技術、より詳細には、拡張現実（ＡＲ）及び仮想現実（ＶＲ）技術に関する。

【0003】

２．関連技術の説明
拡張現実（ＡＲ）は、コンピュータ生成された情報によって現実のビューが変更または拡張される、現実世界の環境のインタラクティブな体験である。例えば、スマートフォンのカメラで見た現実世界のライブビューには、コンピュータ生成された情報、機能、及び／または要素を追加できる。

【0004】

仮想現実（ＶＲ）は、完全な没入型インタラクティブコンピュータ生成体験である。例えば、ＶＲヘッドセットを使用して、完全に人工的な模擬環境にユーザを没入させることができる。

【0005】

複合現実（ＭＲ）は、ＡＲとＶＲの両方を組み合わせたものであり、ユーザが現実世界の仮想オブジェクトと対話できる環境を作成するために使用され得る。

【発明の概要】

【0006】

一実施形態は、有形オブジェクトを識別することと、ユーザに見える方法で有形オブジェクト上に仮想オーバーレイを確立することと、有形オブジェクト上に確立された仮想オーバーレイとのユーザの相互作用を検出することと、プロセッサベースのシステムへの入力の基礎として、仮想オーバーレイとのユーザの対話を使用することとを含む方法を提供する。

【0007】

別の実施形態は、ディスプレイと、ディスプレイと通信するプロセッサベースの装置とを備えるシステムであって、プロセッサベースの装置が、有形オブジェクトを識別することと、ディスプレイに見える方法で、有形オブジェクト上に仮想オーバーレイを確立することと、有形オブジェクト上に確立された仮想オーバーレイとのユーザの対話を検出することと、プロセッサベースの装置への入力の基礎として、仮想オーバーレイとのユーザの対話を使用することとを含むステップを実行するように構成される、システムを提供する。

【0008】

別の実施形態は、プロセッサベースのシステムに、有形オブジェクトを識別することと、ユーザに見える方法で有形オブジェクト上に仮想オーバーレイを確立することと、有形オブジェクト上に確立された仮想オーバーレイとのユーザの対話を検出することと、プロセッサベースのシステムへの入力の基礎として、仮想オーバーレイとのユーザの対話を使用することとを含むステップを実行させるように構成された１つまたは複数のコンピュータプログラムを格納する非一時的なコンピュータ可読記憶媒体を提供する。

【0009】

本発明の様々な実施形態の機能及び長所のよりよき理解は、本発明の実施形態の原理が利用される図解の実施形態を明記する以下の詳細な説明と添付の図面とを参照することによって得られる。

【0010】

本発明の実施形態の上述及び他の態様、機能、及び利点は、以下の図面と共に提示され、その以下のより具体的な説明からより明白となろう。

【図面の簡単な説明】

【0011】

【図1】本発明のいくつかの実施形態による、現実世界の場面を表示するデバイスを示す図である。

【図2】本発明のいくつかの実施形態による、方法を示すフロー図である。

【図3】本発明のいくつかの実施形態による、現実世界の場面を表示するデバイスを示す図である。

【図4】本発明のいくつかの実施形態による、現実世界の場面を表示するデバイスを示す図である。

【図5】本発明のいくつかの実施形態による、現実世界の場面を表示するデバイスを示す図である。

【図6】本発明のいくつかの実施形態による、方法を示すフロー図である。

【図7】本発明の実施形態による、本明細書に示され、説明される方法、スキーム、及び技法のいずれかを実行、実装、及び／または実行するために使用され得るプロセッサベースの装置／システムを示すブロック図である。

【発明を実施するための形態】

【0012】

いくつかの拡張現実（ＡＲ）システムには、現実世界のビューに含まれる仮想ユーザインターフェース（ＵＩ）を生成する機能が含まれる。同様に、いくつかの仮想現実（ＶＲ）システムには、仮想世界ビューに含まれる仮想ＵＩを生成する機能が含まれる。ただし、このようなＵＩは、ユーザが空中でボタンを押すだけなので、物理的な体験がないという欠点に悩まされる。例えば、ユーザが自分の顔の前に電話のキーパッドを投影している場合、空中でボタンを押すことはあまり満足のいくものではない。

【0013】

本発明の実施形態のいくつかは、ユーザが、ＵＩと対話するときに、触れて感じることができる有形及び物理的オブジェクトをユーザに提供することによって、ＡＲ、ＶＲ、及び複合現実（ＭＲ）におけるＵＩを改善するために使用できる方法、システム、及び技法を提供する。現実世界の実際の有形及び物理的オブジェクトが使用されるため、ユーザはオブジェクトの実際の幾何学形状を自分の手に保持し、感じることができる。有形の物理的なオブジェクトに触れ、保持し、感じる能力は、はるかに満足のいくＡＲ、ＶＲ、及びＭＲ体験を提供すると考えられる。

【0014】

図１を参照すると、本発明の実施形態に従って動作しているシステム１００が示されている。システム１００は、ディスプレイ１０４及び背面にカメラ（図示せず）を有するスマートフォン１０２を含む。

【0015】

いくつかの実施形態では、例えば、ユーザは、スマートフォン１０２をＡＲモードで操作することができる。ユーザは、電話番号を入力したり、ある種の安全な領域にアクセスするためにパスワードやパスコードを入力したりするために、キーパッドが必要と判断する場合がある。したがって、ユーザは、例えば、この例では本である有形オブジェクト１０８など、近くにある可能性のある任意の有形オブジェクトをつかむ。その本は、ユーザが実際に保持することができるものである。スマートフォン１０２の背面にあるカメラは、有形オブジェクト１０８を含む現実世界のビューを捕捉する。このように、有形オブジェクト１０８は、スマートフォン１０２のディスプレイ１０４上に表示される。

【0016】

次に、いくつかの実施形態では、ユーザは、「キーパッド」という単語を話すことによって、システム１００に口頭のコマンドを提供する。「キーパッド」という単語は、この場合はキーパッドである、キーワードに関連付けられたＵＩを有するキーワードを含むことができる。いくつかの実施形態では、口頭のコマンドに応答して、仮想オーバーレイ１１０は、次に、ディスプレイ１０４上に見えることによってユーザに見える方法で、有形オブジェクト１０８の表面上に確立または投影される。この例では、仮想オーバーレイ１１０は、ＵＩ、特に、多くの異なるタイプのアプリケーションに使用することができる資産であるキーパッドを含む。有形オブジェクト１０８上に仮想オーバーレイ１１０を確立すると、あるタイプの仮想資産を含む仮想キーパッドが作成される。例として、キーパッドは、電話番号を入力するための、または上記のようにパスワードまたはパスコードを入力するための電話の一部として使用され得る。しかしながら、仮想オーバーレイ１１０は、任意のタイプのＵＩ、機能、または他の仮想資産を含み得ることを十分に理解されるべきである。

【0017】

キーパッド仮想オーバーレイ１１０が有形オブジェクト１０８の表面上に確立されると、ユーザは、実際に物理的オブジェクトを保持して感じることができるように、有形のものと対話することができ、空中でボタンを押しているだけではない。例えば、示されるように、ユーザの指１１２の先端は、現実世界の有形オブジェクト１０８に触れている。ディスプレイ１０４に示されるように、ユーザの指１１２は、有形オブジェクト１０８上に確立された仮想オーバーレイ１１０と対話している。この例では、有形オブジェクト１０８に触れてディスプレイ１０４を見ることにより、ユーザは、仮想オーバーレイ１１０を備えるキーパッドに電話番号を入力することができる。

【0018】

いくつかの実施形態では、スマートフォン１００に含まれるプロセッサベースのシステムは、有形オブジェクト１０８上に確立された仮想オーバーレイ１１０とのユーザの対話を検出する。いくつかの実施形態では、検出は、ユーザの指１１２を追跡することによって実施され得る。いくつかの実施形態では、追跡は、スマートフォンのカメラなどの１つまたは複数のカメラ、または任意の他の画像キャプチャまたは深度感知デバイスを使用して、ユーザの指１１２と仮想オーバーレイ１１０の幾何学形状との交差を検出することによって実施され得る。いくつかの実施形態では、追跡は、音響追跡または送信を使用して、有形オブジェクト１０８上のユーザの指１１２のタップを聞くことによって実施され得る。

【0019】

いくつかの実施形態では、仮想オーバーレイ１１０とのユーザの対話は、スマートフォン１００に含まれるプロセッサベースのシステムなどのプロセッサベースのシステムへの入力の基礎として使用される。例えば、仮想オーバーレイ１１０とのユーザの対話は、アプリケーション、プログラム、プロセス、シミュレーションなどへの入力の基礎として使用され得る。図示の例では、仮想オーバーレイ１１０とのユーザの対話は、例えば、スマートフォン１０２に含まれる電話への入力として使用される電話番号を入力するために使用される。

【0020】

図２を参照すると、本発明の実施形態による方法２００が示されている。いくつかの実施形態では、方法２００は、システム１００（図１）によって実施され得る。いくつかの実施形態では、方法２００は、ヘッドセット、眼鏡タイプのユーザデバイス、ヘッドマウントディスプレイ（ＨＭＤ）などを使用するシステムなど、任意の他のタイプのＡＲ、ＶＲ、またはＭＲシステムによって実施され得る。

【0021】

ステップ２０２において、有形オブジェクトが識別される。有形オブジェクトは、上記の本などの現実世界の任意の有形の物理的オブジェクト、または例えばカップ、缶、食品プレートまたは皿、紙のパッド、木またはプラスチック片、岩、レンガ、テーブルトップ、床、壁、段ボールまたは金属の箱などの任意の他のオブジェクトを含むことができる。いくつかの実施形態では、有形オブジェクトは、その上にユーザが、仮想ＵＩまたは他の機能などの仮想資産を表示することを望む任意のオブジェクトを含むことができる。いくつかの実施形態では、段ボールまたはプラスチックの小道具などの単純な小道具を使用して、ＡＲ、ＶＲ、または、ＭＲ体験に望まれる、または必要とされ得る仮想ＵＩまたは他の仮想資産に適切であり得る様々な形状及びサイズを有する有形オブジェクトを提供し得る。

【0022】

いくつかの実施形態では、有形オブジェクトは、上記のように、ユーザが単にそれをつかむか、またはそれを拾うことによって最初に識別され得る。次に、オブジェクトは、１つまたは複数のカメラまたは他の画像キャプチャデバイスを介して、プロセッサベースのシステムによってさらに識別され得る。

【0023】

より具体的には、いくつかの実施形態では、有形オブジェクトを識別するステップの一部は、有形オブジェクトの幾何学形状、フォームファクタ、サイズ、場所、及び／または位置も識別するか、または決定することである。このような決定を行う１つの方法は、システムがカメラまたはその他の画像キャプチャデバイスまたはセンサを使用してオブジェクトの幾何学形状及びサイズを決定することである。例えば、いくつかの実施形態では、深度感知カメラなどの深度感知デバイスを使用することができる。深度カメラ、ステレオカメラ、深度センサなどを使用して、オブジェクトの絶対幾何学形状、そのサイズ、及びオブジェクトがユーザからどれだけ離れているかを決定することができる。いくつかの実施形態では、１つまたは複数のそのようなカメラ及び／またはセンサを使用することができ、ユーザのヘッドセット、眼鏡タイプのユーザデバイス、ＨＭＤ、あるいはＡＲ、ＶＲ、またはＭＲ環境もしくは部屋の他の場所に配置することができる。

【0024】

いくつかの実施形態では、有形オブジェクトのサイズ、スケール、及び幾何学形状を決定する別の方法は、既知のサイズ、スケール、及び幾何学形状のオブジェクトと一緒にカメラの視野にそれを配置することである。つまり、既知のサイズとスケールのオブジェクトを未知のオブジェクトと一緒に取り、カメラの前で２つのオブジェクトを一緒に保持する。システムは、既知のサイズとスケールのオブジェクトを未知のオブジェクトと比較して、未知のオブジェクトのサイズとスケールを決定する。例として、いくつかの実施形態では、システムは、ユーザの手のサイズを学習及び記憶し、次に、それらをユーザの手と比較することによって、他の有形オブジェクトのサイズを決定するための判断を行う。

【0025】

いくつかの実施形態では、有形オブジェクトの幾何学形状及びサイズを識別または決定するために使用される別の方法は、システムがカメラまたは他の画像キャプチャデバイスを使用して、既知の幾何学形状及びサイズを有する既知の物体を認識及び／または識別することである。オブジェクトの幾何学形状とサイズがわかると、ネットワーク内で記憶され、知られる。例えば、標準の１２オンスのソーダ缶は既知のサイズと幾何学形状を持ち、簡単に認識できる。ネットワークで知られて学習されると、システムは、ユーザに関する場所と深さを決定する一環として、その寸法と幾何学形状を取得できる。

【0026】

いくつかの実施形態では、有形オブジェクトの自動識別を使用することができる。例えば、システムはカメラやその他の画像キャプチャデバイスを使用して、部屋全体などの空間をスキャンし、多くの異なる有形オブジェクトを識別できる。オブジェクトの一部は、例えば上記のソーダ缶の他、スマートフォン、タブレットコンピュータなどの一般的な消費者向け製品やデバイスなど、すでに既知のサイズとスケールであろう。システムは最初に既知のサイズとスケールを有するオブジェクトを認識または識別できる。次に、既知のオブジェクトが未知のオブジェクトと比較され、未知のオブジェクトのサイズ、スケール、及び幾何学形状が決定される。したがって、いくつかの実施形態では、部屋内のすべてのオブジェクトは、カメラで部屋内のすべてをスキャンし、次に未知のオブジェクトを既知のオブジェクトと比較することによってサイズ設定される。このようにして、システムは自動識別を使用して、部屋内のオブジェクトの多くまたはすべてを予めスケーリングことができる。

【0027】

再び図２を参照すると、ステップ２０４において、仮想オーバーレイは、ユーザに見える方法で有形オブジェクト上に確立される。有形オブジェクト上に仮想オーバーレイを確立することにより、仮想資産が作成される。いくつかの実施形態では、仮想オーバーレイは、ユーザインターフェース（ＵＩ）を含み得、これは、例えば、上記のような計算機、キーボード、キーパッドなどの任意のタイプのＵＩを含み得る。仮想オーバーレイは、スマートフォン、タブレットコンピュータ、ヘッドセット、眼鏡タイプのユーザデバイス、ＨＭＤなどのデバイスのディスプレイ上に表示されることにより、ユーザに可視である。ユーザがピックアップした可能性のあるものや近くにあるもの（壁など）の表面にインターフェースを確立または投影することにより、ユーザは、特定のフォームファクタを有するオブジェクトに取り付けられてユーザに現れる及びユーザが物理的に感じることができるＵＩと対話することができる。つまり、ユーザは、オブジェクトまたは他の有形の表面上で仮想ＵＩと対話するときに、有形オブジェクトとフォームファクタとを感じることができる。

【0028】

いくつかの実施形態では、仮想オーバーレイは、ユーザからのコマンドに応答して、有形オブジェクト上に確立される。例として、ユーザからのコマンドは、口頭または音声コマンドなどの音声コマンドを含み得る。いくつかの実施形態では、ユーザからのコマンドはまた、仮想オーバーレイの構成または目的を指定または決定する。例えば、ユーザからのコマンドは、仮想オーバーレイが、上記のＵＩのいずれかなどの特定のタイプのＵＩを含むことを指定することができる。

【0029】

一例として、ユーザは、ＡＲ、ＶＲ、またはＭＲシステムを使用しており、ＡＲ、ＶＲ、またはＭＲ環境を経験している可能性がある。その環境に没入している間、ユーザは、任意の種類の有形の物理的オブジェクトなど、現実の世界から何かをピックアップすることができ、ユーザは、そのオブジェクトが仮想環境において電話であることを望む場合がある。ユーザが「電話」という単語を言うと、その口頭のコマンドに応答して、システムは、オブジェクトの表面に仮想電話インターフェースを投影またはマッピングすることによって確立する。オブジェクトは、レンガ、木片、テーブルの上面など、何であってもよい。仮想インターフェースは、オブジェクトが備えるフォームファクタに基づいて確立される。

【0030】

いくつかの実施形態では、有形オブジェクト上に仮想オーバーレイを確立することは、有形オブジェクトに適するように仮想オーバーレイを拡大縮小することを含む。具体的には、上記のように、システムは、最初に、ユーザがピックアップした有形オブジェクトを検出、識別、及び／または認識する。次に、上記でも説明したように、システムは、オブジェクトのサイズ、スケール、フォームファクタ、及び／または幾何学形状を理解または決定する。例えば、オブジェクトがボックスの場合、システムは深度カメラを使用するなどして、縁が配置されている場所を決定する。

【0031】

有形オブジェクトのサイズと幾何学形状によっては、オブジェクトを正しく適合させるために、システムが仮想オーバーレイをスケーリングする必要があり得る。例えば、仮想オーバーレイがオブジェクトの表面よりも大きい、あるタイプのＵＩを備える場合、システムは、オブジェクトを正しく適合させるために、仮想ＵＩをスケーリングして小さくすることができる。または、仮想オーバーレイが略正方形の形状である、あるタイプのＵＩを含み、オブジェクトの表面が略長方形の形状である場合、システムは、仮想ＵＩを再構成するなどして、オブジェクトを正しく適合させるために、オブジェクトを略長方形の形状にするようにスケーリングできる。また、別の例として、システムは、仮想ＵＩ、資産、またはその他の機能を、ユーザにとって正しく見え、正しく感じるように有形オブジェクトの幾何学形状とサイズにスケーリングすることができ、ユーザが不自然さや断絶を感じない。

【0032】

図３を参照すると、本発明の実施形態による、有形オブジェクトに適合するように仮想オーバーレイをスケーリングする一例が示されている。具体的には、本発明の実施形態に従って動作しているシステム３００が示される。システム３００は、ディスプレイ３０４及び背面にカメラ（図示せず）を有するスマートフォン３０２を含む。

【0033】

この例では、ユーザはスマートフォン３０２をＡＲモードで動作している。図１に関連して上で論じた例と同様に、ユーザは、電話番号を入力するため、またはある種の安全な領域にアクセスするためにパスワードまたはパスコードを入力するためなどに、キーパッドが必要であると判定した。したがって、ユーザは、この例では、たまたまミニサウンドバー（あるタイプの家庭用電子機器）を含む有形オブジェクト３０８をピックアップしたか、そうなければそれを取得した。スマートフォン３０２の背面にあるカメラは、有形オブジェクト３０８を含む現実世界のビューを捕捉する。このように、有形オブジェクト３０８は、スマートフォン３０２のディスプレイ３０４上に表示される。

【0034】

ユーザは、有形オブジェクト３０８の表面上にキーパッドＵＩが確立されることを望む。有形オブジェクト３０８がサウンドバーを含むことを考えると、おそらくサウンドバーの背面は、キーパッドのためより滑らかな表面を提供する。ユーザは、好みの表面を選択できる。次に、いくつかの実施形態では、ユーザは、「キーパッド」という単語を話すことによって、システム３００に口頭のコマンドを提供する。「キーパッド」という単語は、この場合はキーパッドである、キーワードに関連付けられたＵＩを有するキーワードを含むことができる。いくつかの実施形態では、口頭のコマンドに応答して、仮想オーバーレイ３１０は、次に、ディスプレイ３０４上に見えることによってユーザに見える方法で、有形オブジェクト３０８の表面上に確立または投影される。

【0035】

しかしながら、図１に関連して上で論じた例とは異なり、有形オブジェクト３０８の表面は、典型的な１２ボタンのキーパッドのようにより正方形ではなく、長方形の形状である。したがって、本発明の実施形態によれば、仮想オーバーレイ３１０を含むキーパッドは、有形オブジェクト３０８の長方形の表面に正しく適合するためにスケーリングされる。この例では、スケーリングは、より一般的な４行の３つのボタンではなく、２行の６つのボタンを含むようにキーパッド上のボタンの配置を再構成することを含む。キーパッドをスケーリングして２行の６つのボタンを含むことにより、仮想オーバーレイ３１０は、有形オブジェクト３０８の長方形の表面によりよく適合する。スケーリングはまた、ボタンをすべて有形オブジェクト３０８の表面に適合させるために、ボタンをより小さくまたはより大きくすることを含み得る。仮想オーバーレイ３１０は、任意のタイプのＵＩまたは他の機能を含み得、いくつかの実施形態では、スケーリングは、そのサイズの増加または減少、その入力及び／または出力の再構成または再配置、その色のより良い一致のための修正または変更などを含み得ることを十分に理解されたい。

【0036】

有形オブジェクト３０８の表面上に仮想オーバーレイ３１０を確立すると、あるタイプの仮想資産を含む仮想キーパッドが作成される。キーパッド仮想オーバーレイ３１０が有形オブジェクト３０８の表面上にスケーリングされ、確立されると、ユーザは、実際に物理的オブジェクトを保持して感じることができるように、何か有形なものと対話することができ、単に空中でボタンを押しているだけではない。示されるように、ユーザの指３１２の先端は、現実世界の有形オブジェクト３０８に触れている。ディスプレイ３０４に示されるように、ユーザの指３１２は、有形オブジェクト３０８上に確立された仮想オーバーレイ３１０と対話している。有形オブジェクト３０８に触れてディスプレイ３０４を見ることによって、ユーザは、電話番号などの番号を、仮想オーバーレイ３１０を含むキーパッドに入力することができる。

【0037】

いくつかの実施形態では、有形オブジェクトに適合するための仮想オーバーレイのスケーリングは、有形オブジェクト上に仮想オーバーレイを確立する間に自動的に行われ得る。例えば、ユーザが「キーパッド」という単語を言うとき、その口頭のコマンドは、スマートフォン３０２に含まれるプロセッサベースのシステムによって聞き取られ、受け取られる。口頭のコマンドまたは「キーパッド」というキーワードに応答して、システムは、有形オブジェクト３０８上に仮想オーバーレイ３１０を確立するプロセスを開始する。そのプロセスの一部として、システムは、有形オブジェクト３０８の幾何学形状及びサイズを自動的に考慮し、仮想オーバーレイ３１０のキーパッドが有形オブジェクト３０８に適合するためにスケーリングされる必要があることを認識する。したがって、システムは、有形オブジェクト３０８上に仮想オーバーレイ３１０を確立するプロセスの一部として、そのようなスケーリングを自動的に実施する。この自動スケーリング機能を使用すると、システムは仮想ＵＩをサイズ変更、再構成、及び／または再配置して、任意のサイズの有形オブジェクトに適合させることができる。

【0038】

したがって、いくつかの実施形態では、ユーザは有形オブジェクトを保持し、次にキーワードまたはコマンドを言い、それに応答して、システムは、有形オブジェクトを正しく適合させるため、仮想オーバーレイ（ＵＩなど）を有形オブジェクトに、または有形オブジェクトのために自動スケーリングする。自動スケーリング機能を使用して、多くの異なるタイプ、形状、およびサイズの仮想ＵＩ並びにその他の仮想機能を、多くの異なるタイプ、形状、及びサイズの有形オブジェクトの表面に自動的に適合させることができる。自動スケーリングにより、ＵＩなどのアセットをオブジェクトに適合するように自動的にスケーリングするため、これにより、ユーザは仮想資産に使用する任意の有形オブジェクトをピックアップすることができる。

【0039】

例えば、ＡＲ、ＶＲ、またはＭＲ環境を体験しているユーザは、その環境で使用する計算機が欲しい場合がある。標準的な計算機は、通常、長方形の本に合う。ただし、ユーザが正方形の表面を持つ有形オブジェクトをピックアップする場合、システムは仮想計算機の界面を自動的にスケーリングしてオブジェクトの正方形の表面に適合させる。そのため、自動スケーリング機能を使用すると、システムが自動スケーリングして仮想オーバーレイを任意のサイズのオブジェクトに関連付けることができるため、ユーザはＵＩ用の有形オブジェクトをはるかに柔軟に選択できる。

【0040】

いくつかの実施形態では、自動スケーリング機能を実装する際に、システムは、いくつかの実施形態では、上記のような有形オブジェクトの識別中に決定され得る有形オブジェクトの幾何学形状、形状、及び／またはサイズを使用及び考慮する。システムは、ピックアップされたオブジェクトのアスペクト比を定義し、オブジェクトに正しく適合するように自動的にスケーリングすることで、仮想ＵＩをオブジェクトに一致させる。さらに、いくつかの実施形態では、ユーザが有形オブジェクトを移動すると、ＡＲ、ＶＲ、またはＭＲデバイスで見られるときに、正しく見え続けるように、システムは、仮想オーバーレイを自動的かつ継続的に再スケーリングして、有形オブジェクトをその様々な異なる位置に適合させる。つまり、システムは、移動するときに、現実世界の有形オブジェクトに適合し続けるため、仮想オーバーレイをサイズ変更や再構成などによって動的に再スケーリングする。いくつかの実施形態では、システムは、仮想世界の仮想オーバーレイを動的に再スケーリングして、現実世界の有形オブジェクトに適合させると言うことができる。このような動的な再スケーリングにより、有形オブジェクトが現実の世界を移動すると、仮想オーバーレイを有形オブジェクトに適切に投影及び確立させ続ける。いくつかの実施形態では、そのような動的な再スケーリングは、仮想ＵＩなどの仮想オーバーレイが、有形の実際のオブジェクトが移動したとき、その上にとどまるように、移動する有形オブジェクトの方向を追跡し、次に再スケーリングしてすべてを正しく方向付けることによって実装される。

【0041】

したがって、いくつかの実施形態では、システムは、仮想資産を有形オブジェクトの幾何学形状に自動的にスケーリングする。そして、いくつかの実施形態では、システムは、仮想資産を有形オブジェクトの幾何学形状にサイズ変更または再構成することなどによって、自動的に動的に再スケーリングし続ける。

【0042】

いくつかの実施形態では、有形オブジェクト上に仮想オーバーレイを確立することは、有形オブジェクト上の１つまたは複数の有形入力機構を、仮想オーバーレイ上の１つまたは複数の仮想入力デバイスにマッピングすることを含む。具体的には、ピックアップされ得る及び／または他の方法でユーザが利用できる可能性のある有形オブジェクトのいくつかには、有形ボタン、スイッチ、及び／または他の入力機構が含まれる。例えば、テレビのリモコン、地上電話、計算機、ガレージのドア開閉装置、自動車のキーフォブ、ＱＷＥＲＴＹキーボード、電子レンジのコントロールパネルなどはすべて、有形ボタン、スイッチ、及び／または他の入力機構を含む。いくつかの実施形態では、システムは、有形オブジェクトがその上に物理的ボタン及び／またはスイッチを有することを検出し、それらの物理的ボタン及び／またはスイッチを仮想資産上の仮想ボタンまたは他の仮想入力デバイスにマッピングする。次に、システムは、ユーザが有形オブジェクトの有形ボタンの１つを押下したことを検出し、それを仮想資産上の対応するマッピングされた仮想入力デバイスの起動と見なす。これにより、ユーザは、ユーザのＡＲまたはＶＲディスプレイ上に表示される仮想ＵＩと対話するときに、有形の物理的なボタンを感じて押下することができる。さらに、このような方法で、ボタンをマッピングすることにより、テレビのリモコンなどの有形の実際のデバイスを計算機などの他のデバイスにすることができる。

【0043】

図４を参照すると、本発明の実施形態による、有形入力機構を仮想の入力機構にマッピングする一例が示される。具体的には、本発明の実施形態に従って動作しているシステム４００が示される。システム４００は、ディスプレイ４０４及び背面にカメラ（図示せず）を有するスマートフォン４０２を含む。

【0044】

この例では、ユーザはスマートフォン４０２をＡＲモードで動作している。ユーザは、３．１４１５９にほぼ等しい数パイ（π）を含むいくつかの計算を行うために計算機が必要であると判断した。したがって、ユーザは、この例では、テレビ（ＴＶ）のリモコンを含む、現実世界で有形オブジェクト４０８をピックアップしたか、さもなければ取得した。スマートフォン４０２の背面上のカメラは、有形オブジェクト４０８を含む現実世界のビューを捕捉する。このように、有形オブジェクト４０８は、スマートフォン４０２のディスプレイ４０４上に表示される。

【0045】

ユーザは、仮想計算機が有形オブジェクト４０８上に確立され、ディスプレイ４０４上に表示されることを望む。したがって、いくつかの実施形態では、ユーザは、「計算機」という単語を話すことによって、システム４００に口頭のコマンドを提供する。「計算機」という単語は、キーワードに関連付けられた計算機ＵＩを有するキーワードを含む。いくつかの実施形態では、口頭のコマンドに応答して、仮想オーバーレイ４１０は、次に、ディスプレイ４０４上に見えることによってユーザに見える方法で、有形オブジェクト４０８の表面上に確立または投影される。すなわち、あるタイプの仮想資産を備える仮想計算機が、ディスプレイ４０４上で見えるようになる。

【0046】

有形オブジェクト４０８は、テレビのリモコンを含むので、いくつかの有形、物理的、及び現実の入力ボタンを含む。いくつかの実施形態では、有形オブジェクト４０８上に仮想オーバーレイ４１０を確立するプロセスの一部として、システムは、テレビのリモコンの有形、物理的、及び現実の入力ボタンの１つまたは複数を、ディスプレイ４０４上に表示され、仮想計算機に必要である仮想入力にマッピングする。例えば、示されているように、次のボタンマッピングが確立されている。

【0047】

テレビのリモコン上の数字ボタン１～９及び０は、仮想計算機上の数字ボタン１～９及び０にマッピングされている。

【0048】

テレビのリモコン上の「入力」ボタンは、仮想計算機上の小数点（つまり「．」）ボタンにマッピングされている。

【0049】

テレビのリモコン上の「ＶＯＬ＋」、「ＶＯＬ－」、「ＣＨ＋」、「ＣＨ－」ボタンは、仮想計算機上の「÷」、「＋」、「ｘ」、「－」ボタンにそれぞれマッピングされている。

【0050】

テレビのリモコン上の「ガイド」ボタンと「ミュート」ボタンは、仮想計算機上の「＝」ボタンと「クリア」ボタンにそれぞれマッピングされている。

【0051】

追加で、いくつかの実施形態では、有形オブジェクト上の有形、物理的、及び現実の入力ボタンの１つまたは複数は、覆い隠されるかマスクされるなどによって仮想オーバーレイで完全に排除され得るか、または別の資産または機能によって置換され得る。例えば、示されているように、次の置換が確立されている。

【0052】

テレビのリモコン上の「電源」ボタンは、仮想計算機上の出力表示画面４１４に置換されている。

【0053】

計算機仮想オーバーレイ４１０が有形オブジェクト４０８上に確立された状態で、テレビのリモコンは、ボタンをマッピングすることによって、何か別のもの、すなわち仮想計算機にされている。さらに、ユーザは、実際に物理的オブジェクトを保持し、感じることができるように、有形の何かと対話することができ、単に空中でボタンを押しているだけではない。示されているように、ユーザの指４１２の先端は、現実世界のテレビのリモコンの「ＶＯＬ＋」ボタンに触れている。しかし、ディスプレイ４０４に示されているように、ユーザの指４１２は、有形オブジェクト４０８上に確立された仮想計算機上の「÷」ボタンに触れている。現実世界の有形オブジェクト４０８に触れてディスプレイ４０４を見ることで、ユーザは、仮想オーバーレイ４１０を含み、ディスプレイ４０４に表示される仮想計算機と対話することができる。

【0054】

したがって、図示のように、本発明の実施形態のいくつかは、仮想インターフェースなどの仮想資産上にある仮想入力への、有形の現実オブジェクト上にあるボタン及び他の入力機構のマッピングを提供する。いくつかの実施形態では、そのようなマッピングは、有形オブジェクト上の仮想オーバーレイの確立の一部として自動的に実施される。例えば、いくつかの実施形態では、システムは、カメラまたは他の画像キャプチャデバイスを使用して、有形オブジェクトのボタンレイアウトを識別する。いくつかの実施形態では、システムは、有形オブジェクトを認識し、そのボタンのレイアウトなど、そのインターフェースのレイアウトをすでに知っている。次に、システムは、現実の有形オブジェクトのボタンレイアウトを仮想資産のボタンレイアウトにマッピングできるかどうか判定することができる。すなわち、システムは、レイアウトがマッピングされるために十分に類似しているかどうかに関して判定することができる。類似している場合、システムはマッピングを続行する。例えば、システムはテレビのリモコンや電子レンジのキーパッドなど、何かのボタンレイアウトを認識し、それらの物理的なボタンを仮想ＵＩなどの仮想資産にマッピングする。そのため、ユーザは、有形、現実、物理的なボタンを押下して対話し、ユーザのＡＲ、ＶＲ、またはＭＲディスプレイに表示される仮想資産で何かを起動できる。

【0055】

現実世界の有形オブジェクトが、有形ボタンまたは他の入力機構（テレビのリモコン、電子レンジのキーパッド、固定電話など）を有する電子デバイスを備えるシナリオでは、有形オブジェクト及び任意の関連するデバイスの電源をオフにし、ボタンを使用して仮想資産を制御している間は電源をオフのままにすることが好ましい。例えば、図４に示されるテレビのリモコンに対応するテレビが、テレビのリモコンのボタンを使用してディスプレイ４０４上に表示される仮想計算機を制御している間、電源がオンである場合、ユーザがボタンを押下して仮想計算機と対話するとき、テレビは絶えずランダムにチャネル及び音量を変更する。テレビの近くにいる他の人は、それを迷惑だと感じる可能性があり得る。

【0056】

いくつかの実施形態では、現実世界における有形オブジェクトのボタンインターフェースレイアウトを識別または認識する一部として、システムはまた、オブジェクト及び任意の関連するデバイスの電源がオンまたはオフであるかどうかを識別または判定する。オブジェクトの電源がオンになっている場合、ユーザはオブジェクトと対話しないことを好む可能性がある。また、オブジェクトの電源がオフになっている場合は、ユーザがオブジェクトと対話しているときにオブジェクトの電源がオンにならないようにするための対策を施すことが好ましい。例えば、ユーザがテレビの電源ボタンを押下しない限り、テレビのリモコンと対話することは問題ない。

【0057】

いくつかの実施形態では、システムは、例えば、それらを仮想資産上の何にもマッピングせず、仮想資産上にそれらを表示しないことによって、有形オブジェクト上の任意の電源ボタンを無効にする。つまり、ユーザが現実世界の実際のデバイスの電源をオンにしないように、システムは仮想オーバーレイに電源ボタンを表示しない。いくつかの実施形態では、システムは、電源ボタンを、ユーザが触れる必要のない仮想資産内の何かに置換する。例えば、図４に示すように、テレビのリモコン上の「電源」ボタンは、仮想計算機上の出力表示画面４１４に置換されている。すなわち、仮想オーバーレイ４１０は、「電源」ボタンを出力表示画面４１４でオーバーレイする。出力表示画面４１４は、ユーザが触れる必要のあるものではなく、したがって、ユーザは、おそらく、誤ってテレビの電源を入れることはないであろう。

【0058】

したがって、いくつかの実施形態では、システムは、特定のボタンをマッピングするが、他のボタンはマッピングしないことを決定する。例えば、電子レンジのキーパッド上の電源／スタートボタンは、仮想資産上の何にもマッピングしないことで無効化できる。そのため、ユーザは電子レンジ上のタイマと対話できるが、開始／電源ボタンが仮想資産にマッピングまたは表示されていないため、電子レンジをオンにすることはできない。すなわち、いくつかの実施形態では、システムはボタンを自動的にマッピングするので、ユーザは現実世界でデバイスの電源を入れることができず、これにより、ユーザが誤ってデバイスの電源を入れるのを回避する。システムがボタンをマップするとき、ユーザが誤ってデバイスの電源をオンにしないように、電源ボタンまたは開始ボタンをマッピングするべきではなく、非表示にする必要さえあり得ると見なす。これは、例えば、電源ボタンを非表示にするか、仮想資産のボタンのように見せないことで実行され得、これにより、ユーザが電源ボタンを押下することを回避する。したがって、いくつかの実施形態では、システムは、ボタンマッピングを注意深く選択する。

【0059】

再び図２を参照すると、ステップ２０６において、有形オブジェクト上に確立された仮想オーバーレイとのユーザの対話が検出される。例えば、このステップでは、システムは、仮想ＵＩなどの仮想資産とのユーザの相互作用を検出する。いくつかの実施形態では、仮想オーバーレイとのユーザの相互作用を検出することは、仮想オーバーレイの幾何学形状とユーザの一部との交差を検出することを含む。例として、仮想オーバーレイとのユーザの相互作用は、仮想オーバーレイの幾何学形状とのユーザの指の交差を検出することによって検出されることが多い。上で論じたように、いくつかの実施形態では、検出は、ユーザの指を追跡することによって実施され得る。いくつかの実施形態では、追跡は、１つまたは複数のカメラまたは他の画像キャプチャまたは深度感知デバイスを使用することによって実施され得る。カメラは、ユーザの指と仮想オーバーレイの幾何学形状との交差を検出するために使用される。

【0060】

より具体的には、いくつかの実施形態では、１つまたは複数の深度カメラを使用して、ユーザの指の幾何学形状と仮想オーバーレイが交差しているかどうかを判定する。深度カメラ、またはその他の深度感知デバイスまたはセンサは、仮想資産上の特定の点に対するユーザの指の深度測定を行うために使用され、これは、２つの品目の幾何学形状が交差しているかどうかを判定するために使用される。つまり、深度カメラを使用して、仮想資産の入力に対応する特定の場所でユーザの指が有形オブジェクトに触れたかどうか、つまり、それらの幾何学形状が交差しているかどうかを判定する。この方法で、仮想ＵＩなどの仮想資産とのユーザの対話が検出される。

【0061】

いくつかの実施形態では、音響感知または追跡を使用して、仮想オーバーレイとのユーザの対話を検出する。すなわち、ユーザの指と仮想オーバーレイとの対話は、音響感知または追跡を使用して検出することができる。例えば、システムは、ユーザの指が有形オブジェクトに触れたり、接触したり、タップしたりするのを聞くことができる。または、システムは、有形オブジェクト上のボタン（または他の入力機構）が押下されたときに鳴る音を聞くことができる。

【0062】

例えば、通常の格納式ボールペンは、その一端に、インクカートリッジを延長し、次に格納するためのボタンを含む。ボタンを押下すると、独特の「クリック」音がする。音響感知を使用して、独特のクリック音を聞くことができる。クリック音の検出は、ボタンが押下されたことを示す。

【0063】

以下の実施例は、本発明の一実施形態における音響感知の使用、ならびに上記の他のいくつかの技法を示す。図５を参照すると、すべて本発明の実施形態による、ユーザに見える方法で有形オブジェクト上に仮想オーバーレイを確立し、有形入力機構を仮想のものにマッピングする別の例が示される。具体的には、本発明の実施形態に従って動作しているシステム５００が示される。システム５００は、ディスプレイ５０４及び背面にカメラ（図示せず）を有するスマートフォン５０２を含む。

【0064】

この例では、ユーザはスマートフォン５０２をＡＲモードで動作している。ユーザは、仮想落書きを作成するために仮想ペイントスプレーが必要であると判定した。したがって、ユーザは、この例では、通常の格納式ボールペンを含む、現実世界で有形オブジェクト５０８をピックアップしたか、さもなければ取得した。ペンは、その一端に、インクカートリッジを延長し、次に格納するためのボタン５１６を含む。上で説明したように、ボタンを押下すると独特の「クリック」音がする。スマートフォン５０２の背面上のカメラは、有形オブジェクト５０８を含む現実世界のビューを捕捉する。

【0065】

ユーザは、仮想ペイントスプレーが有形オブジェクト５０８上に確立され、ディスプレイ５０４上に表示されることを望む。したがって、いくつかの実施形態では、ユーザは、「ペイントスプレー」または同様の単語を話すことによって、システム５００に口頭のコマンドを提供する。これらの単語はキーフレーズを含み、いくつかの実施形態では、口頭のコマンドに応答して、仮想オーバーレイ５１０が次に、ディスプレイ５０４上に見えることによってユーザに見える方法で、有形オブジェクト５０８上に確立または投影される。すなわち、仮想ペイントスプレーがディスプレイ５０４上に見えるようになる。

【0066】

この例では、有形オブジェクト５０８上に確立された仮想オーバーレイ５１０は非常に精巧である。すなわち、仮想オーバーレイ５１０は、ボタン５１６を除くボールペンのすべてをカバーする拡張ハンドル部５１８を含む。仮想オーバーレイ５１０はまた、ハンドル部５１８に接続されたスプレーノズル部５２２、ならびにペイントキャニスタ５２０を含む。ホース５２４もまた、ハンドル部５１８に接続される。したがって、有形オブジェクト５０８がスマートフォン５０２上のカメラの視野内にあるとしても、有形オブジェクト５０８の大部分は仮想オーバーレイ５１０によって覆われ、したがって、ボタン５１６を除くボールペンのほとんどは、ディスプレイ５０４上には見えない。代わりに、目に見えるのは、ボールペン（すなわち、有形オブジェクト５０８）の上に重ねられ、投影され、及び／またはその周りに形成された仮想ペイントスプレーである。

【0067】

したがって、ユーザは、現実世界でユーザの手中に有形のボールペンを握ることができ、ディスプレイ５０４上に現れるのは、ペイントスプレーを保持しているユーザの手である。現実世界でボールペンを握ることで、ユーザは、実際にペイントスプレーを保持しているように感じる。もちろん、ペイントスプレーは仮想資産であり、実際には現実の世界には存在しない。

【0068】

上で論じたように、有形オブジェクト５０８は、押下されたときに独特の「クリック」音を伴う有形ボタン５１６を含む。クリック音は、優れた音声または音響トリガを生成するはっきりした独特の音である。いくつかの実施形態では、有形オブジェクト５０８上に仮想オーバーレイ５１０を確立するプロセスの一部として、システムは、仮想ペイントスプレーのトリガとして有形ボタン５１６をマッピングする。すなわち、現実世界でユーザが有形ボタン５１６を押下すると、仮想ペイントスプレーがオンになり、５２６に示されているように、塗料をスプレーしているように見える。これは、仮想世界で何かを制御するためにマッピングされている物理的なペンクリックの一例である。

【0069】

いくつかの実施形態では、音響感知を使用して、現実世界のユーザによる有形ボタン５１６の押下を検出する。具体的には、スマートフォン５０２に含まれるマイクなどのマイクは、ボタン５１６によって生成されたクリック音を聞いてピックアップする。クリック音は、システムによって識別され、仮想ペイントスプレーを制御するために使用されるオーディオ入力またはトリガを含む。このようにして、クリック音を音声トリガとして使用して、システムに入力を登録できる。すなわち、システムはボタンクリックの音響入力を聞いて、それに応答して何かを実行するが、これは、図示の例では、仮想ペイントスプレーをトリガすることである。クリック音は非常に独特なので、システムはほとんど遅延や待ち時間なしに応答できる。そのため、システムはクリック音が鳴ったときに適切なタイミングで何かを起こすことができる。

【0070】

ボタン５１６が押下されたかどうかを検出するために、光学的または視覚的感知の代わりに、またはそれに加えて、音響感知を使用することができる。例えば、いくつかの実施形態では、システムは、光学的または視覚的データを使用して、この例ではおそらくユーザの親指を含む、ユーザの指を追跡して、ユーザの親指が有形オブジェクト５０８上の有形ボタン５１６を押下したかどうかを判定する。そのような光学的または視覚的追跡は上述されており、それらの技法はこの例でも使用することができる。いくつかの実施形態では、システムはまた、視覚追跡に加えて音響感知を使用する。すなわち、システムはまた、視覚的追跡に加えて、ボタンのクリックから聞こえる音声を使用して、ボタン５１６が押下されたかどうかを判定する。そのような実施形態では、システムは、視覚追跡入力を音響入力と同期させて、正しい時間に何かを起こさせるので、ユーザのボタンの押下と何かがトリガされるまでの間に待ち時間がない。例えば、入力を同期して、ユーザのボタン５１６の押下と仮想ペイントスプレーがトリガされるまでの間の扱いにくいまたは緩慢な遅延の可能性を防止または低減する。すなわち、システムは、ボタン５１６の視覚的瞬間を音響入力と同期させて、遅延または緩慢さなしに、正しい時間にペイントスプレーをトリガまたは作動させようとする。このようにして、この例では、ユーザの親指が含まれている可能性が高い、ユーザの指を視覚的に追跡することに加えて、音響センシングを使用することができる。

【0071】

仮想ペイントスプレーは、ボールペンとそのボタンの独特のクリック音を利用できる一例のアプリケーションにすぎないことをよく理解しておく必要がある。また、ボールペンは、音響センシングによって感知できる入力機構を有する有形オブジェクトの一例にすぎない。音響センシングを使用してユーザの対話や多くの他の種類の有形オブジェクトとの対話を検出できるアプリケーションには、多くの他の種類のアプリケーションがある。例えば、格納式ボールペンまたはいくつかの他の有形オブジェクトのボタンの音は、例えば、ゲームショーの仮想ブザー、あるタイプの仮想起爆剤などとして使用できる。すなわち、ボタンはそれらの品目にマッピングすることができ、ボタンの押下はボタンの音から音響的に感知することができる及び／または視覚的追跡によって視覚的に感知することができる。

【0072】

いくつかの実施形態では、システムは、加速度計データを使用して、現実世界における有形オブジェクトとのユーザの対話を検出することができる。視覚的及び音響的データと同様に、このような加速度計データは、仮想資産への仮想入力の基礎として使用できる。したがって、本発明の様々な実施形態では、システムは、視覚データ、音声データ、加速度計データ、またはそれらの任意の組み合わせを使用して、ユーザが特定の場所のオブジェクトに触れることによって、またはその対話が仮想資産への入力の基礎として使用されるボタンを押下することによって、有形オブジェクトと対話したと検出する。

【0073】

再び図２を参照すると、ステップ２０８において、仮想オーバーレイとのユーザの対話は、プロセッサベースのシステムへの入力の基礎として使用される。プロセッサベースのシステムは、スマートフォン、タブレットコンピュータ、ノートブックコンピュータ、デスクトップコンピュータなどに含まれるプロセッサベースのシステムなど、任意のタイプのＡＲ、ＶＲ、またはＭＲタイプのシステムを含む、任意のタイプのプロセッサベースのシステムを含み得る。例として、仮想オーバーレイとのユーザの対話は、アプリケーション、プログラム、プロセス、シミュレーションなどへの入力の基礎として使用することができる。上記の例では、さまざまな異なる仮想オーバーレイとのユーザの対話が、仮想ペイントスプレーアプリケーションまたはプログラム、仮想計算機アプリケーションまたはプログラム、及び仮想電話アプリケーションまたはプログラムへの入力の基礎として使用される。仮想オーバーレイとのユーザの対話は、任意の他のタイプのアプリケーション、プログラム、プロセス、シミュレーションなどへの入力の基礎として使用できることを理解されたい。

【0074】

本発明の様々な実施形態及び教示は、ＡＲ、ＶＲ、及びＭＲに適用可能である。上記の例はＡＲの文脈内にあったが、本明細書に説明する手法はＶＲとＭＲにも適用できることを十分に理解する必要がある。ＶＲにおける１つの違いは、ユーザは通常、ユーザが現実の世界を見ることができないように、ユーザをＶＲ環境に完全に没頭させるヘッドマウントディスプレイ（ＨＭＤ）を着用することである。そのため、ユーザは、現実世界に存在する有形オブジェクトのどの部分も見ることができない。つまり、ＶＲでは、ユーザは実際の物理的オブジェクトを見ることができない。代わりに、ＶＲでユーザが見たり、視界に入ったりする品目は、完全に仮想である。しかし、ユーザは、さらに、手や他の体の部分を用いて、現実世界の有形の現実のオブジェクトを感じたり、対話したりすることができる。そのため、ユーザが仮想世界を完全に見ていながら、現実世界の有形の現実のオブジェクトをユーザの手で感じて対話することに非常に満足していると考えられるため、本明細書に説明する手法は、ＶＲの文脈でも大いに適用可能である。

【0075】

したがって、有形オブジェクト上での仮想オーバーレイの確立、スケーリング、及び上記の自動スケーリング手法は、ＶＲ及びＭＲの文脈でも適用できる。すなわち、上記のような仮想オーバーレイの確立は、ＶＲとＭＲにも適用できる。例えば、ＶＲでは、ユーザによって見られる仮想オーバーレイが有形オブジェクトに投影される。ユーザはユーザの手で有形オブジェクトを感じることができ、仮想世界で仮想オーバーレイを見ることができる。ユーザがユーザの手で感じるものとユーザが見るものとの間に断絶がないように、仮想オーバーレイをスケーリングして有形オブジェクトに正しく適合させることは依然として有利である。すなわち、ＶＲでは、ユーザが仮想世界で見るものと有形の物理的オブジェクトに感じるものとの間に、それらが１対１で位置合わせしていない場合に断絶を感じることができる場合がある。

【0076】

そのため、スケーリング及び自動スケーリングはＶＲとＭＲの両方に適用できる。しかし、いくつかの実施形態及びシナリオでは、ユーザは実際の物体を見ることができず、ユーザの手でそれを感じることができるだけであるため、スケーリングはＶＲではそれほど正確である必要はない。すなわち、ＶＲでは、ユーザは、いずれにせよ実際のオブジェクトを見ることができず、感じることしかできないため、システムはスケーリングと完全に一致する必要はない。そのため、ユーザが有形オブジェクトの縁にあるボタンを押そうとしない限り、ＶＲでのスケーリングはそれほど正確である必要はない。ユーザが有形オブジェクトの縁にあるボタンを押そうとしている場合、システムが完全に一致していないかどうかにユーザが気付く場合がある。繰り返しになるが、これはＡＲでは、ユーザが現実世界の有形オブジェクトをより多く見ることができるためであり、仮想オーバーレイが有形オブジェクトと正確に一致しない場合、奇妙に見える。一方、ＶＲでは、ユーザは不一致を認識せず、ユーザの手で感じることができるだけである。

【0077】

同様に、上記のマッピング及び自動マッピング手法は、ＶＲ及びＭＲの文脈にも適用可能である。例えば、ＶＲでは、ユーザはもつれオブジェクト上のボタンや他の入力機構を感じて使用することができる。そのため、上記のように、ボタンや他の入力機構は、仮想資産上の仮想入力デバイスにマッピングされ得る。仮想資産上のこのような仮想入力デバイスは、仮想世界のユーザによって見ることができる。

【0078】

上述のように、ＶＲとＡＲとの間の１つの違いは、ＶＲでは、ユーザがＶＲに没入している間は、現実の世界で有形オブジェクトを見ることができないことである。したがって、ユーザが仮想資産として使用するための有形オブジェクトを識別、選択、及び／または単にピックアップすることはより困難である。したがって、いくつかの実施形態では、有形オブジェクトを識別するための自動スキャン技法を使用することができる。この手法はＶＲで特に役立つが、ＡＲやＭＲにも適用できる。

【0079】

図６を参照すると、本発明の実施形態による方法６００が示されている。方法６００は、有形オブジェクトを識別するための自動スキャン技法の一例を提供する。方法６００は、ヘッドセット、眼鏡タイプのユーザデバイス、ヘッドマウントディスプレイ（ＨＭＤ）などを使用するシステムなど、任意のタイプのＡＲ、ＶＲ、またはＭＲシステムによって実施され得る。そして、いくつかの実施形態では、方法６００は、そのようなシステムによって自動的に実施される。

【0080】

ステップ６０２において、システムは、カメラまたは他の画像キャプチャデバイスを使用して、部屋などの領域をスキャンして、その領域内の１つまたは複数の有形オブジェクトを最初に識別または感知する。上述したように、ＶＲではユーザは現実世界を見ることができないため、これはＶＲの文脈では役立つ。そのため、システムは、カメラなどを使用して、ユーザと同じ物理的な現実世界の部屋にある有形オブジェクトなど、近くにある有形オブジェクトを最初に識別する。そのようなカメラは、ユーザのヘッドセット、眼鏡、ＨＤＭ、スマートフォンなどに取り付けられてもよく、さもなければ部屋に配置されてもよい。

【0081】

ステップ６０４において、最初に識別された有形オブジェクトについて、システムは、どのオブジェクトが、既知のサイズ及び幾何学形状を有するような既知のオブジェクトであるかを判定する。例えば、前述のように、有形オブジェクトの一部は、例えばソーダ缶などの既知のサイズとスケールであるだけでなく、スマートフォンやタブレットコンピュータなどの普及している消費者向け製品及びデバイスでもある。これらのオブジェクトはすでにネットワークに既知である。したがって、このステップでは、システムは最初に、既知のサイズとスケールを持つこれらのオブジェクトを認識または識別する。

【0082】

ステップ６０６において、最初に識別された未知の有形オブジェクトについて、システムは、深度カメラなどのカメラ、及び／または他のタイプの画像キャプチャデバイスもしくはセンサ、または既知の物体との比較を使用して、未知のオブジェクトのサイズ、スケール、及び／または幾何学形状を決定する。これらの手法の例についても、上で論じた。

【0083】

ステップ６０８において、システムは、任意の要求されるまたは必要とされる仮想資産に、識別された有形のオブジェクトのどれが最も適合するか、または、そうでなければ最も適切であるかを判定する。例えば、ユーザが上記のように口頭のコマンドを提供することにより、特定のタイプの仮想資産を要求した可能性がある。または、コンピュータゲームやその他のシミュレーションなど、現在実行中のコンピュータプログラムまたはアプリケーションの状態は、特定の種類の仮想資産がまもなく必要になることを示している場合がある。そのような要求またはニーズに応じて、システムは、識別された有形オブジェクトのサイズ、スケール、及び幾何学形状を検討し、要求されるかまたは必要とされる仮想資産に、どの有形オブジェクトが、最も適合するか、またはそうでなければ最も適切であるかを決定または判定する。

【0084】

例えば、部屋または他の空間内のすべての有形オブジェクトに基づいて、システムは、１つの特定のオブジェクトがユーザが必要とするかまたは望む特定の仮想ＵＩもしくは他の仮想資産に最も適合すると判定する。すなわち、ユーザの前にある、またはそうでなければユーザが利用できるすべての有形オブジェクトに基づいて、システムは、１つの特定のオブジェクトがユーザが必要とするかまたは望む仮想ＵＩもしくはその他の仮想資産に最も適切であると判定する。

【0085】

ステップ６１０において、システムは、要求されるかまたは必要とされる仮想資産に最も適合するか、またはそうでなければ最も適切であると判定された有形オブジェクトを選択し、次に、その選択された有形オブジェクト上に必要とされる仮想オーバーレイを確立することに進む。このように、いくつかの実施形態では、有形オブジェクト上での仮想オーバーレイの確立は、有形オブジェクトが仮想オーバーレイに対して適切であるという決定に応じて実施される。さらに、いくつかの実施形態では、有形オブジェクトの識別は、有形オブジェクトが仮想オーバーレイに対して最も適合するという決定に基づいて、２つ以上の有形オブジェクトの中から有形オブジェクトを選択することを含む。

【0086】

選択した有形オブジェクト上に必要な仮想オーバーレイが確立されたので、要求される、または必要とされる仮想資産が作成された。例えば、選択された有形オブジェクトは、その上に必要とされるＵＩなどをオーバーレイすることにより、必要とされるかまたは望まれる仮想資産になった。仮想資産は、仮想ＵＩまたは任意の他のタイプの機能など、任意のタイプの仮想資産を含むことができる。そのような仮想資産のいくつかの例には、上記の仮想キーパッド、仮想計算機、及び仮想ペイントスプレーが含まれるが、任意の他のタイプの仮想資産が、本明細書に記載の教示及び技法を使用して作成されてもよい。

【0087】

いくつかの実施形態では、新しく作成された仮想資産は、ユーザに見えるであろう。したがって、ユーザは、それをピックアップして使用することができるであろう。すなわち、仮想資産は仮想世界内に存在するため、ユーザがＶＲ環境にいる場合でも、仮想資産を見ることができる。仮想資産は仮想オーバーレイを持つ有形オブジェクトを含むため、ユーザはそれをピックアップすることができる。例えば、ユーザが、図５に示される仮想ペイントスプレーを見るとき、ユーザは、有形のボールペン５０８上の仮想オーバーレイを含むハンドル５１８に手を伸ばしてつかむことができるであろう。

【0088】

方法６００（図６）の例として、ユーザは、ＡＲ、ＶＲ、またはＭＲシステムを使用することができる。要求されるかまたは必要とされる仮想資産は剣であってよい。システムは、部屋またはその他の空間を自動的にスキャンして、有形オブジェクトを識別する。識別された有形オブジェクトの１つはマジックマーカであり、システムはそれが仮想の剣に最も適合すると判定する。すなわち、システムはマジックマーカを見て、それが素晴らしい剣になると判定する。次に、システムはマジックマーカ上に仮想オーバーレイを確立して、ＡＲ、ＶＲ、及びＭＲディスプレイ上でユーザが見たときに剣のように見えるようにする。システムはマジックマーカを柄にし、剣の刃を純粋に仮想にすることができる。

【0089】

したがって、部屋にある有形の現実のマジックマーカは、ユーザが望む、または必要とする剣になる。ユーザがＡＲ、ＶＲ、またはＭＲ環境のいずれかで見下ろすと、システムがマジックマーカ上に剣のオーバーレイを配置するため、ユーザは、マジックマーカの代わりに剣を見る。また、刀の柄は有形のマジックマーカを含むため、ユーザは、柄をつかんで刀をピックアップして、実際にユーザの手に刀の柄を感じることができる。また、ユーザが剣を動かすと、システムは上記の追跡とスケーリングを使用して、柄に接続された剣の純粋な仮想の刃を保持及び維持する。すなわち、システムは仮想オーバーレイをユーザの手にある有形のマジックマーカと同期したままにして、それにより仮想オーバーレイが有形のマジックマーカと一緒にとどまるようにする。

【0090】

いくつかの実施形態では、本明細書に記載の方法、スキーム、及び技法は、多くの異なるタイプのプロセッサベースの装置またはシステム上で利用、実装、及び／または実行することができる。例えば、本明細書に記載の方法、スキーム、及び技法は、任意のタイプのＡＲ、ＶＲ、及びＭＲシステムで利用、実装、及び／または実行することができ、任意のそのようなシステムは、スマートフォン、ゲームコンソール、エンターテインメントシステム、ポータブルデバイス、モバイルデバイス、パッド状デバイス、コンピュータ、ワークステーション、デスクトップコンピュータ、ノートブックコンピュータ、サーバなどに実装することができる。さらに、いくつかの実施形態では、本明細書に記載の方法、スキーム、及び技法を、オンラインシナリオ、ネットワークシナリオ、インターネット上などで利用、実装、及び／または実行することができる。

【0091】

図７を参照すると、任意のそのような実装に使用することができるプロセッサベースのシステム７００の一例が示されている。システム７００は、上記の任意の方法、スキーム、技術、システム、またはデバイスを実装するために使用することができる。しかしながら、システム７００またはその任意の部分の使用は確かに必要とされない。

【0092】

例として、プロセッサベースのシステム７００は、プロセッサ７０２（例えば、中央処理装置（ＣＰＵ））、メモリ７０４、無線及び／または有線ネットワークインターフェース７０６、ネットワーク７０８へのアクセス、１つまたは複数のディスプレイ７１０、１つまたは複数のカメラもしくは他の画像キャプチャデバイス７１２、１つまたは複数のセンサ７１４（以下で論じる）、及び１つまたは複数のマイク７１６を含むことができるが、含むことを必要とはされない。これらの構成要素のうちの１つまたは複数を１つの装置、デバイス、またはシステムに一緒にまとめてもよく、または、さまざまな構成要素を１つまたは複数の異なる装置、デバイス、またはシステムの至る所に分散させても、あるいは１つまたは複数のネットワークの至る所に分散させてもよい。プロセッサ７０２を使用して、本明細書に記載の方法、スキーム、及び技法のステップを実行または実行を支援することができ、様々なプログラムコンテンツ、画像、ビデオ、オーバーレイ、ＵＩ、資産、仮想世界、メニュー、メニュー画面、インターフェース、グラフィカルユーザインターフェース（ＧＵＩ）、ウィンドウ、表、グラフィック、アバター、キャラクタ、プレーヤ、ビデオゲーム、シミュレーションなどをディスプレイ（複数可）７１０上に表示し得る。

【0093】

１つまたは複数のディスプレイ７１０は、任意のタイプのディスプレイデバイスを備えることができ、上記のＡＲ、ＶＲ、及び／またはＭＲ環境を実装するために使用することができる。例えば、いくつかの実施形態では、ディスプレイは、スマートフォン、タブレットコンピュータ、パッド状コンピュータ、ノートブックコンピュータなどのデバイスに含まれ得る。いくつかの実施形態では、１つまたは複数のディスプレイは、デスクトップコンピュータなどの任意のタイプの任意のタイプのコンピュータに関連付けられ得る。いくつかの実施形態では、１つまたは複数のディスプレイが、ヘッドセット、眼鏡タイプのユーザデバイス、ヘッドマウントディスプレイ（ＨＭＤ）などの頭部装着デバイスに含まれ得る。いくつかの実施形態では、１つまたは複数のディスプレイは、任意のタイプのＡＲデバイス、ＶＲデバイス、またはＭＲデバイスに含まれるか、または関連付けられ得る。１つまたは複数のディスプレイは、任意のタイプのディスプレイ技術を使用して、任意のタイプのディスプレイまたはディスプレイデバイスもしくは装置を含むことができる。

【0094】

１つまたは複数のカメラあるいは他の画像キャプチャデバイス７１２は、任意のタイプのカメラまたは画像キャプチャデバイスを含むことができる。いくつかの実施形態では、１つまたは複数のカメラは、上述したように、幾何学形状、フォームファクタ、サイズ、場所、及び／または有形オブジェクトの位置を識別、認識、及び／または決定するため、ならびに／あるいは様々な幾何学形状の交差を検出するため使用され得る。いくつかの実施形態では、１つまたは複数のカメラは、深度カメラ、深度感知カメラ、ステレオカメラ、または任意の他のタイプのカメラあるいは画像キャプチャデバイスを含み得る。いくつかの実施形態では、１つまたは複数のカメラは、ユーザのヘッドセット、眼鏡タイプのユーザデバイス、ＨＭＤ上に、あるいはＡＲ、ＶＲ、またはＭＲ環境もしくは部屋の他の場所に配置されるかまたは位置することができる。いくつかの実施形態では、１つまたは複数のカメラは、スマートフォン、タブレットコンピュータ、パッド状コンピュータ、ノートブックコンピュータ、デスクトップコンピュータなどのデバイスに含まれるか、またはそれらに関連付けられ得る。

【0095】

いくつかの実施形態では、必要または所望に応じて、１つまたは複数のセンサ７１４は、上述したように、幾何学形状、形状、フォームファクタ、サイズ、場所、及び／または有形オブジェクトの位置を識別、認識、及び／または決定するため、ならびに／あるいは様々な幾何学形状の交差を検出するために使用され得る任意のタイプのセンサを含み得る。いくつかの実施形態では、１つまたは複数のセンサは、深度センサ、赤外線センサ、音響センサ、加速度計、または任意の他のタイプのセンサを含み得る。いくつかの実施形態では、１つまたは複数のセンサは、ユーザ及び／または有形オブジェクトの移動及び／または運動を感知及び／または追跡するための任意のタイプのセンサを含み得る。

【0096】

１つまたは複数のマイク７１６は、任意のタイプのマイクを含むことができる。いくつかの実施形態では、１つまたは複数のマイクは、上で論じた音響感知及び／または音響追跡を実施するため使用され得る。いくつかの実施形態では、１つまたは複数のマイクは、ユーザのヘッドセット、眼鏡タイプのユーザデバイス、ＨＭＤ上に、あるいはＡＲ、ＶＲ、またはＭＲ環境もしくは部屋の他の場所に配置されるかまたは位置することができる。いくつかの実施形態では、１つまたは複数のマイクは、スマートフォン、タブレットコンピュータ、パッド状コンピュータ、ノートブックコンピュータ、デスクトップコンピュータなどのデバイスに含まれるか、またはそれらに関連付けられ得る。

【0097】

いくつかの実施形態では、無線及び／または有線ネットワークインターフェース７０６は、例えば、例えば、既知及び／または以前に学習された有形オブジェクトに関する情報、例えばそのような有形オブジェクトの幾何学形状、形状、フォームファクタ、サイズなどに関する情報など、任意のタイプの情報を取得するためネットワーク７０８にアクセスするために使用され得る。ネットワーク７０８は、インターネット、ローカルエリアネットワーク、イントラネット、ワイドエリアネットワーク、または任意の他のネットワークを含み得る。

【0098】

メモリ７０４は、任意のタイプのコンピュータ可読記憶装置あるいは１つまたは複数の記録媒体を含むか、または備えることができる。いくつかの実施形態では、メモリ７０４は、有形の物理メモリを含むか、または備えることができる。いくつかの実施形態では、メモリ７０４は、本明細書に記載の方法、スキーム、及び技法を実行するためのプログラムコードなど、本明細書に記載の方法及び技法を実装するプログラムまたはコンピュータコードまたはマクロを格納するために使用され得る。いくつかの実施形態では、メモリ７０４は、プロセッサベースの装置またはシステムに本明細書に記載の方法、コード、スキーム、及び／または技法のいずれかのステップを実行または実施させるための１つまたは複数のコンピュータプログラムもしくはソフトウェアアプリケーションを格納または具現化するための有形の非一時的コンピュータ可読記憶媒体として働くことができる。さらに、いくつかの実施形態では、メモリ７０４は、任意の必要なデータベース（複数可）を格納するために使用され得る。

【0099】

いくつかの実施形態では、上記の実施形態、方法、アプローチ、スキーム、及び／または技法のうちの１つまたは複数は、プロセッサベースの装置またはシステムによって実行可能な１つまたは複数のコンピュータプログラムまたはソフトウェアアプリケーションに実装され得る。例として、そのようなプロセッサベースのシステムは、スマートフォン、タブレットコンピュータ、ＡＲ、ＶＲ、又はＭＲシステム、エンターテイメントシステム、ゲームコンソール、モバイルデバイス、コンピュータ、ワークステーション、デスクトップコンピュータ、ノートブックコンピュータ、サーバ、グラフィックスワークステーション、クライアント、ポータブルデバイス、パッド状デバイスなどを備え得る。このようなコンピュータプログラム（複数可）またはソフトウェアは、上記の方法、スキーム、及び／または技法のさまざまなステップ及び／または機能を実行するために使用することができる。すなわち、コンピュータプログラム（複数可）またはソフトウェアは、プロセッサベースの装置またはシステムに、本明細書に記載の機能を実行及び達成させるように、または実行及び達成するように構成するように、適合するまたは構成することができる。例えば、そのようなコンピュータプログラム（複数可）またはソフトウェアは、上記の方法、ステップ、技法、スキーム、または機能の任意の実施形態を実装するために使用され得る。別の例として、そのようなコンピュータプログラム（複数可）またはソフトウェアは、上記の実施形態、方法、アプローチ、スキーム、及び／または技法のいずれか１つまたは複数を使用する任意のタイプのツールまたは同様のユーティリティを実装するために使用され得る。いくつかの実施形態では、１つまたは複数のそのようなコンピュータプログラムまたはソフトウェアは、ＡＲ、ＶＲ、またはＭＲアプリケーション、ツール、ユーティリティ、アプリケーション、コンピュータシミュレーション、コンピュータゲーム、ビデオゲーム、ロールプレイングゲーム（ＲＰＧ）、他のコンピュータシミュレーション、またはオペレーティングシステム、ＢＩＯＳ、マクロ、もしくはその他のユーティリティなどのシステムソフトウェアを含み得る。いくつかの実施形態では、コンピュータプログラム（複数可）内またはコンピュータプログラムなしのプログラムコードマクロ、モジュール、ループ、サブルーチン、呼び出しなどは、上記の方法、スキーム、及び／または技法の様々なステップ及び／または機能を実行するために使用することができる。いくつかの実施形態では、そのようなコンピュータプログラム（複数可）またはソフトウェアが、非一時的なコンピュータ可読記憶装置または有形のコンピュータ可読記憶装置あるいは１つまたは複数の記録媒体などの１つまたは複数の記録媒体に格納又は具現化されてもよい。いくつかの実施形態では、そのようなコンピュータプログラム（複数可）またはソフトウェアが、一時的なコンピュータ可読記憶装置または信号送信（例えば、伝搬する電気または電磁信号）の一つまたは複数の一時的な形態などでの１つまたは複数の記録媒体に格納または具現化されもよい。

【0100】

したがって、いくつかの実施形態において、本発明は、コンピュータに入力するためのコンピュータプログラムを具現化するための媒体を備えるコンピュータプログラム製品及びコンピュータに、本明細書に記載の実施形態、方法、アプローチ、スキーム、及び／または技法のうちの任意の１つまたは複数に含まれるステップの任意の１つまたは複数を含むステップを実施または実行させるため媒体内で具現化されるコンピュータプログラムを提供する。例えば、いくつかの実施形態では、本発明は、プロセッサベースの装置またはシステムに、有形オブジェクトを識別することと、ユーザに見える方法で有形オブジェクト上に仮想オーバーレイを確立することと、有形オブジェクト上に確立された仮想オーバーレイとのユーザの対話を検出することと、プロセッサベースのシステムへの入力の基礎として、仮想オーバーレイとのユーザの対話を使用することとを含むステップを実行させるように適合されたまたは構成された１つまたは複数のコンピュータプログラムを格納する１つまたは複数の非一時的なコンピュータ可読記憶媒体を提供する。

【0101】

開示される本明細書の発明は、特定の実施形態及びそれらの用途によって説明されてきたが、当業者は、特許請求の範囲に記載の本発明の範囲から逸脱することなく、多くの修正及び変形をそれらに行うことができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【国際調査報告】