特許 6271256 触覚フィードバックを備えた拡張現実ユーザ・インタフェース

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6271256

(24)【登録日】2018年1月12日

(45)【発行日】2018年1月31日

(54)【発明の名称】触覚フィードバックを備えた拡張現実ユーザ・インタフェース

(51)【国際特許分類】

   G06F 3/01 20060101AFI20180122BHJP

【ＦＩ】

   G06F3/01 560

【請求項の数】21

【外国語出願】

【全頁数】28

(21)【出願番号】特願2014-1010(P2014-1010)

(22)【出願日】2014年1月7日

(65)【公開番号】特開2014-139784(P2014-139784A)

(43)【公開日】2014年7月31日

【審査請求日】2016年12月13日

(31)【優先権主張番号】13/741,826

(32)【優先日】2013年1月15日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】500390995

【氏名又は名称】イマージョン コーポレーション

【氏名又は名称原語表記】ＩＭＭＥＲＳＩＯＮ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100126572

【弁理士】

【氏名又は名称】村越 智史

(74)【代理人】

【識別番号】100125195

【弁理士】

【氏名又は名称】尾畑 雄一

(74)【代理人】

【識別番号】100173657

【弁理士】

【氏名又は名称】瀬沼 宗一郎

(72)【発明者】

【氏名】ラクロワ，ロバート

【審査官】 永野 志保

(56)【参考文献】

【文献】 特開２００９−０６９９１８（ＪＰ，Ａ）

【文献】 特開２０１０−０２０５２６（ＪＰ，Ａ）

【文献】 特表２０１０−５３７３０２（ＪＰ，Ａ）

【文献】 特開２００２−０８２７５１（ＪＰ，Ａ）

【文献】 特開２００３−３１６４９３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

拡張現実環境に基づいてフィードバックを提供するよう構成されたデバイスであって、
前記デバイスの遠隔にあり、前記拡張現実環境を生成する拡張現実デバイスから、前記拡張現実環境中に生じているイベントを表す制御信号を受信するよう構成されたプロセッサと、
前記受信された制御信号に基づいてフィードバックを提供するよう構成されたフィードバック・デバイスと、
を備え、
前記拡張現実環境が、一つ以上の仮想オブジェクトがその中に表示された拡張現実空間、および前記デバイスと前記一つ以上の仮想オブジェクトとの間の相互作用を含む前記イベントを含み、
前記フィードバック・デバイスが、視覚フィードバックを提供するよう構成された視覚デバイスを含み、前記視覚デバイスは、前記デバイスにおいて前記一つ以上の仮想オブジェクトにコーディネートされた視覚フィードバックを生成するよう構成され、
前記デバイスにおける前記視覚フィードバックが、前記一つ以上の仮想オブジェクトに対して両方が類似の色またはパターンを含むようにコーディネートされるデバイス。

【請求項2】

前記フィードバック・デバイスが、触覚効果を提供するよう構成された触覚出力デバイス、視覚効果を提供するよう構成された視覚デバイス、または聴覚効果を提供するよう構成された聴覚デバイスを含む、請求項１に記載のデバイス。

【請求項3】

前記フィードバック・デバイスが、触覚効果を生成するよう構成されたアクチュエータを含む、請求項１に記載のデバイス。

【請求項4】

前記フィードバック・デバイスが、触覚効果を生成するよう構成された非機械的触覚出力デバイスを含む、請求項１に記載のデバイス。

【請求項5】

前記イベントが、前記デバイスと前記拡張現実環境との相互作用、前記拡張現実環境に対して起きているアクションの確認、または前記デバイスが前記拡張現実デバイスによって認識されていることの確認を含む、請求項１に記載のデバイス。

【請求項6】

前記拡張現実デバイスとの無線または有線通信チャネルを確立するよう構成された通信ポートをさらに含み、前記制御信号が前記無線または有線通信チャネルを介して受信される、
請求項１に記載のデバイス。

【請求項7】

前記拡張現実デバイスに、前記無線または有線通信チャネルを介して、位置、方位、またはその両方を提供するよう構成された位置または方位デバイス、
をさらに含む、請求項６に記載のデバイス。

【請求項8】

入力を受け取るよう構成された入力コンポーネントをさらに含み、前記プロセッサが、前記入力を前記有線または無線通信チャネルを介して前記拡張現実デバイスに伝達するよう構成される、
請求項６に記載のデバイス。

【請求項9】

前記デバイスの表面上に配置された拡張現実シンボルをさらに含み、前記拡張現実シンボルは、前記拡張現実環境内での前記デバイスの方位を測定するために用いられる、
請求項１に記載のデバイス。

【請求項10】

前記拡張現実デバイスによって前記デバイスを識別するために用いられる識別指標を生成するよう構成された識別子デバイスをさらに備える請求項１に記載のデバイス。

【請求項11】

前記識別指標が光学署名または不可視の署名を含む、請求項１０に記載のデバイス。

【請求項12】

前記デバイスが指輪として構成される、請求項１に記載のデバイス。

【請求項13】

前記フィードバック・デバイスが前記指輪周りに配置された発光バンドを含む、請求項１２に記載のデバイス。

【請求項14】

拡張現実空間と物理空間とを含む拡張現実環境を生成するよう構成された拡張現実デバイスであって、
あるデバイスとの有線または無線通信チャネルを確立するよう構成された通信ポートと、
前記物理空間を画像化するよう構成された撮像デバイスと、
プロセッサと、
を備え、
前記プロセッサは、
前記物理空間と合わさった前記拡張現実空間を生成し、
前記物理空間中の少なくとも一つの物理オブジェクトを認識して、前記拡張現実空間中の一つ以上の仮想オブジェクトを使って前記少なくとも一つの物理オブジェクトを拡張し、
前記拡張現実環境内のイベントを判定し、
前記イベントを表す制御信号を、前記有線または無線通信チャネルを介して前記デバイスに伝達し、前記制御信号が前記デバイスにおいてフィードバックを生成させる、
よう構成され、
前記拡張現実環境が、前記一つ以上の仮想オブジェクトがその中に表示された拡張現実空間、および前記デバイスと前記一つ以上の仮想オブジェクトとの間の相互作用を含む前記イベントを含み、
前記フィードバック・デバイスが、視覚フィードバックを提供するよう構成された視覚デバイスを含み、前記視覚デバイスは、前記デバイスにおいて前記一つ以上の仮想オブジェクトにコーディネートされた視覚フィードバックを生成するよう構成され、
前記デバイスにおける前記視覚フィードバックが、前記一つ以上の仮想オブジェクトに対して両方が類似の色またはパターンを含むようにコーディネートされる、拡張現実デバイス。

【請求項15】

前記プロセッサは、前記デバイスが前記撮像デバイスの視界内且つ前記物理空間内で移動されるとき、前記デバイスを認識するよう構成される、請求項１４に記載の拡張現実デバイス。

【請求項16】

前記制御信号が、前記デバイスの前記認識を表し、前記デバイスで生成される前記フィードバックが前記認識を示すようにする、請求項１５に記載の拡張現実デバイス。

【請求項17】

前記プロセッサが、
前記デバイスから、前記デバイスの位置、前記デバイスの方位、または前記デバイスの前記位置および前記デバイスの前記方位の両方を受信し、
前記デバイスの前記受信された位置、前記デバイスの前記受信された方位、または前記受信された方位および前記受信された位置の両方に基づいて、前記拡張現実環境内の前記デバイスの前記位置、前記デバイスの前記方位、または前記デバイスの前記位置および前記方位の両方を測定する、
よう構成される、請求項１６に記載の拡張現実デバイス。

【請求項18】

前記プロセッサが、前記少なくとも一つの物理オブジェクトと前記デバイスとの間の距離を顧慮せずに、前記デバイスを前記拡張現実環境内に位置付けるよう構成される、請求項１４に記載の拡張現実デバイス。

【請求項19】

前記拡張現実デバイスが眼鏡として構成される、請求項１４に記載の拡張現実デバイス。

【請求項20】

前記拡張現実環境が前記眼鏡のレンズを介して伝えられる、請求項１９に記載の拡張現実デバイス。

【請求項21】

拡張現実環境に基づいてフィードバックを提供するシステムであって、
デバイスと、拡張現実デバイスとを備え、
当該拡張現実デバイスは、
前記デバイスとの有線または無線通信チャネルを確立するよう構成された通信ポート、
前記物理空間を画像化するよう構成された撮像デバイス、および
プロセッサ、を含み、
前記プロセッサは、
前記物理空間と合わさった前記拡張現実空間を生成し、
前記物理空間中の少なくとも一つの物理オブジェクトを認識して、前記拡張現実空間中の一つ以上の仮想オブジェクトを使って前記少なくとも一つの物理オブジェクトを拡張し、
前記拡張現実環境内のイベントを判定し、
前記イベントを表す制御信号を、前記有線または無線通信チャネルを介して前記デバイスに伝達し、前記制御信号が前記デバイスにおいてフィードバックを生成させる、
よう構成され、
前記デバイスは、前記受信された制御信号に基づいてフィードバックを提供するよう構成されたフィードバック・デバイスを含み、
前記拡張現実環境が、前記一つ以上の仮想オブジェクトがその中に表示された拡張現実空間、および前記デバイスと前記一つ以上の仮想オブジェクトとの間の相互作用を含む前記イベントを含み、
前記フィードバック・デバイスが、視覚フィードバックを提供するよう構成された視覚デバイスを含み、前記視覚デバイスは、前記デバイスにおいて前記一つ以上の仮想オブジェクトにコーディネートされた視覚フィードバックを生成するよう構成され、
前記デバイスにおける前記視覚フィードバックが、前記一つ以上の仮想オブジェクトに対して両方が類似の色またはパターンを含むようにコーディネートされる、
システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、拡張現実環境中で生じたイベントに基づいてフィードバックを生成するよう構成されたデバイスに関する。

【背景技術】

【0002】

拡張現実デバイスは、物理空間中の物理オブジェクトが、仮想空間中の仮想オブジェクトと同時にその中に表示される拡張現実環境を提供する。各種の拡張現実デバイスは、物理オブジェクト上に配置された特定のコード（例えば、ＱＲコード）を認識し、その特定のコードに基づいて、物理オブジェクトを含むビュー中に一つ以上の仮想オブジェクトを表示し、該仮想オブジェクトによって該物理オブジェクトを拡張する。別の拡張現実デバイスは、例えば、画像認識を行うサーバに画像を送信するなどして、画像認識を用いて特定の既知の物理オブジェクトを認識することができる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

拡張現実システムの進展にもかかわらず、拡張仮想環境と相互作用を行う能力は限られている。例えば、在来の拡張現実デバイスは、通常、拡張現実環境に関連して入力を与えるために音声認識を用いる。ユーザに対する有用なフィードバックの提供も限られている。さらに、仮想現実環境中のオブジェクトの認識も演算集約的となり得て、多くの事例で使い勝手を損ねている。

【課題を解決するための手段】

【0004】

本開示は、拡張現実環境中で生じたイベントに基づいてフィードバックを生成し、拡張現実環境に入力を提供し、拡張現実環境と関連付けて認識される、ように構成されたデバイスに関する。この拡張現実環境は、本デバイスに通信可能に連結された拡張現実デバイスによって生成することができる。

【0005】

本開示のデバイスは、拡張現実環境に基づいてフィードバックを提供するよう構成することが可能である。本デバイスには、例えば、拡張現実デバイスからの制御信号を受信するよう構成されたプロセッサと、受信された制御信号に基づいてフィードバックを提供するよう構成されたフィードバック・デバイスとを含めることができる。拡張現実デバイスは、拡張現実環境を生成することができ、本デバイスから遠隔に置くことが可能である。本デバイスによって受信される制御信号は、拡張現実環境内に生じたイベントを表すものとすることができる。拡張現実環境には、少なくとも一つの物理オブジェクトが中に存在する物理空間と、該物理オブジェクトを拡張する一つ以上の仮想オブジェクトが中に表示される拡張現実空間とを含めることができる。

【0006】

イベントには、本デバイスと拡張現実環境との相互作用、拡張現実環境に対して起きているアクションの確認、本デバイスが拡張現実デバイスによって認識されていることの確認、本デバイスと拡張現実空間中に表現された一つ以上の仮想オブジェクトとの相互作用、および／または拡張現実環境中の他の出来事を含めることが可能である。

【0007】

本デバイスには、例えば、通信ポート、位置または方位デバイス、入力コンポーネント、および／または他のコンポーネントを含めることができる。通信ポートには、例えば拡張現実デバイスとの、通信チャネルの維持を可能にするためのインターフェースを含めることができる。拡張現実デバイスからの制御信号は通信チャネルを通して受信することができ、このチャネルは有線または無線の通信チャネルを含み得る。位置または方位デバイスは、通信チャネルを介し、拡張現実デバイスに位置、方位またはその両方を提供するよう構成することができる。入力コンポーネントは、例えば、ボタン押し、ジェスチャ、および／または他の入力などの入力を受け取るよう構成することが可能である。この入力は、プロセッサによって通信チャネルを介して拡張現実デバイスに伝達することができる。

【0008】

いくつかの実施態様において、本デバイスのプロセッサは、例えば、フィードバック制御モジュール、通信モジュール、および／または他のコンピュータ・プログラム・モジュールを含む一つ以上のモジュールを実行するよう構成することができる。フィードバック制御モジュールは、制御信号を受信し、フィードバック・デバイスにフィードバックを提供させるよう構成することが可能である。通信モジュールは、本デバイスと拡張現実デバイスとの間の通信を推進するよう構成することができる。

【0009】

フィードバック制御モジュールは、制御信号を受信し、フィードバック・デバイスにフィードバックを提供させるよう構成することが可能である。制御信号は、拡張現実デバイスにおけるイベントを表すものとすることができる。このイベントには、例えば、拡張仮想環境中に表示されている一つ以上の仮想オブジェクト、本デバイスと該一つ以上の仮想オブジェクトとの間の一つ以上の相互作用、および／または拡張現実環境に関連する他の出来事を含めることができる。いくつかの実施形態において、フィードバック制御モジュールは、フィードバック・デバイスに制御信号を与えるよう構成することが可能である。この実施形態において、制御信号をフィードバック・デバイスに直接印加してフィードバックを行わせることができる。いくつかの実施形態において、フィードバック制御モジュールは、受信された制御信号に基づいてフィードバック信号を決めるよう構成することが可能である。これらの実施形態において、フィードバック制御モジュールは、受信制御信号に基づくフィードバック信号を決めるためにルックアップ・テーブルを参照することができる。

【0010】

通信モジュールは、本デバイスと拡張現実デバイスとの間の通信を推進するよう構成することができる。いくつかの実施態様において、通信モジュールは、本デバイス、拡張現実デバイス、サーバ、本デバイスのものと同様なコンポーネントおよび機能を含む携帯端末、および／または本デバイスと通信が可能な他のデバイス、の間での通信を推進するよう構成することが可能である。この通信モジュールは、本デバイス、拡張現実デバイス、サーバ、携帯端末、および／または他のデバイスの間での通信のため、有線または無線の通信チャネルを備えるよう構成することができる。

【0011】

いくつかの実施態様において、フィードバック・デバイスには、触覚効果の形で触覚フィードバックを提供するよう構成された触覚出力デバイス、視覚フィードバックを提供するよう構成された視覚デバイス、聴覚フィードバックを提供するよう構成された聴覚デバイス、および／またはフィードバックを生成する他のデバイスを含めることが可能である。触覚出力デバイスは、例えば、内部でモータが偏心質量を動かす偏心回転質量（“ＥＲＭ”：Ｅｃｃｅｎｔｒｉｃ Ｒｏｔａｔｉｎｇ Ｍａｓｓ）、内部でスプリングに取り付けられた質量が前後に駆動される線形共鳴アクチュエータ（“ＬＲＡ”：Ｌｉｎｅａｒ Ｒｅｓｏｎａｎｔ Ａｃｔｕａｔｏｒ）、または、圧電物質、電気活性ポリマーまたは形状合金などの「スマート材料」、マクロ複合繊維アクチュエータ、静電気アクチュエータ、電気触感アクチュエータ、および／または、触覚（例、振動触覚）フィードバックなどの物理的フィードバック提供する他の種類のアクチュエータなど、アクチュエータを含めることができる。触覚出力デバイスには、静電気摩擦（ＥＳＦ：ｅｌｅｃｔｒｏｓｔａｔｉｃ ｆｒｉｃｔｉｏｎ）、超音波表面摩擦（ＵＳＦ：ｕｌｔｒａｓｏｎｉｃ ｓｕｒｆａｃｅ ｆｒｉｃｔｉｏｎ）を使うもの、または超音波触覚トランスデューサを使い音響放射圧を誘導するもの、または触覚基板とフレキシブルまたは変形可能表面とを使うもの、またはエア・ジェットを用いたエア吐き出しなどの射出触覚出力を与えるものなど、非機械的または非振動型のデバイスを含めることが可能である。視覚デバイスは、デバイスでの可視光など視覚フィードバックを生成するよう構成することができる。例えば、視覚フィードバックは、拡張現実環境中のイベントの発生を視覚的に示すことが可能である。

【0012】

フィードバック・デバイスは、フィードバック制御モジュールから一つ以上の信号（例えば、制御信号またはフィードバック信号）を受信するよう構成することができる。触覚出力デバイス、視覚デバイス、聴覚デバイス、および／または他のフィードバック・デバイスは、これら一つ以上の信号に基づいて、本デバイスを介してフィードバックを提供することができる。

【0013】

本デバイスには、識別指標を生成するよう構成された識別子デバイスを含めることが可能である。識別指標は、拡張現実デバイスが本デバイスを識別するために用いることができる。この識別指標には、可視の光学署名（例えば、可視波長内の光の光学署名）または不可視の署名（例えば、可視波長外の光の光学署名）を含めることが可能である。いくつかの実施態様において、本デバイスの表面に拡張現実シンボルを配置することができる。この拡張現実シンボルは、例えば、拡張現実環境内の本デバイスの方位を測定したり、拡張現実環境中で本デバイスの存在を識別したり、および／または他の形での本デバイスの認識を可能にしたりするために用いることができる。いくつかの実施態様において、本デバイスは、可聴署名、赤外線署名、および／または拡張現実デバイスが認識できる他の署名を発することが可能である。

【0014】

いくつかの実施態様において、本デバイスは、指輪などウェアラブル・デバイスとして構成することができる。これらの実施態様において、フィードバック・デバイスには、指輪の周りに配置された発光バンドを含めることが可能である。発光バンドからのフィードバックには、拡張現実環境中の一つ以上の仮想オブジェクトにコーディネート可能な、色、パターン、および／または他の視覚特性を含めることができる。これらフィードバック・デバイスには、相隔てて指輪に配置された一つ以上の触覚出力デバイスを含めることも可能である。

【0015】

いくつかの実施態様において、本デバイスは、手袋、指ぬき、指輪、および／または身に着けられる他のデバイスを含み得る。これらの実施態様において、フィードバック・デバイスには、本デバイスの指先部分および／または本デバイスの他の部分に配置された発光バンドを含めることが可能である。フィードバック・デバイスには、該デバイス全体に相隔てて配置された一つ以上の触覚出力デバイスを含めることもできる。識別指標および／または拡張現実シンボルは、本デバイスの表面上に配置することが可能である。いくつかの実施態様において、本デバイスは、着用者の手指の少なくとも指先を覆うことができる。識別指標または拡張現実シンボルは、着用者の指先を覆う本デバイスの表面、および／または本デバイスの他の表面に配置することが可能である。

【0016】

いくつかの実施態様において、携帯端末にも同じまたは類似のコンポーネントおよび機能を含めることが可能で、該端末は、本デバイスと同じまたは類似の方法で拡張現実デバイスと相互作用することができる。この携帯端末には、例えば、タッチペン、ジョイスティック、携帯電話、ビデオ・ゲーム・コントローラ、および／または拡張現実デバイスと通信可能に連結できる他の携帯端末を含めることが可能である。いくつかの実施態様において、本デバイスおよび携帯端末の両方が、同時に拡張現実デバイスと相互作用することができる。

【0017】

拡張現実（“ＡＲ”：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）デバイスは、拡張現実空間および物理空間の両方を含む拡張現実環境を生成するよう構成することができる。ＡＲデバイスには、例えば、通信ポート、撮像デバイス、プロセッサ、および／または他のコンポーネントを含めることが可能である。通信ポートには、例えば本デバイスとの、通信チャネルの維持を可能にするためのインターフェースを含めることができる。カメラなどの撮像デバイスは、物理空間を画像化するよう構成することが可能である。いくつかの実施態様において、拡張現実デバイスの撮像デバイスには、カメラ、赤外線検出装置、および／または他の画像記録デバイスを含めることができる。プロセッサは、物理空間に合わさった拡張現実空間を生成するよう構成することができる。プロセッサは、物理空間中の少なくとも一つの物理オブジェクトを認識し、拡張現実空間において、一つ以上の仮想オブジェクトを使って該少なくとも一つの物理オブジェクトを拡張するよう構成することが可能である。プロセッサは、拡張現実環境内のイベントを判定し、有線または無線通信チャネルを介して、本デバイスにそのイベントを表す制御信号を伝達するよう構成することができる。該制御信号は、本デバイスでフィードバックを生成させることができる。

【0018】

いくつかの実施態様において、ＡＲデバイスのプロセッサは、例えば、オブジェクト認識モジュール、オブジェクト生成モジュール、イベント処理モジュール、制御信号生成モジュール、通信モジュール、および／または他のコンピュータ・プログラム・モジュールを含め、一つ以上のモジュールを実行するよう構成することが可能である。オブジェクト認識モジュールは、物理空間中の物理オブジェクトを認識するよう構成することができる。オブジェクト生成モジュールは、仮想オブジェクトを生成して、認識された物理オブジェクトを拡張するよう構成することが可能である。イベント処理モジュールは、拡張現実環境内にイベントが生じたかどうかを検出するよう構成することができる。制御信号生成モジュールは、イベントに関連する情報を受信し、本デバイスに送信するための制御信号を生成するよう構成することが可能である。通信モジュールは、拡張現実デバイスと本デバイスとの間の通信を推進するよう構成することができる。

【0019】

いくつかの実施態様において、拡張現実環境に基づいてフィードバックを提供するシステムには、拡張現実デバイス、本デバイスおよび／または携帯端末を含めることが可能である。

【0020】

本明細書で開示するシステムおよび／または方法のこれらまたは他の目的、特徴、および特性と、関連する構造体のエレメントの動作の方法および機能、並びに部品の組み合わせおよび製造の経済性は、添付の図面を参照しながら、以下の説明および添付の特許請求の範囲を考慮することによってさらに明らかになろう。これらはすべて、本明細書の一部を構成し、同じ参照番号は、様々な図面において対応する部分を示す。但し、当然のことながら、これらの図面は、例示と説明だけのためのものであって、本発明の限定範囲を定義することは意図されていない。本明細書と請求項での使用において、単数形「ある（“ａ”、“ａｎ”）」、および「該（“ｔｈｅ”）」は、文脈上明確に別段に示されていなければ、複数対象も含むものと意図されている。

【図面の簡単な説明】

【0021】

以下の図のコンポーネントは、本開示の一般的原理を強調するよう図示されており、必ずしも一定縮尺では描かれていない。相対応するコンポーネントを指定する参照文字は、一貫性および明確化のため全体の図を通して必要に応じ反復使用されている。

【0022】

【図1】本発明のある実施態様による、拡張現実環境に基づいてフィードバックを提供する例示的なシステムのブロック図を示す。

【0023】

【図2A】本発明の種々の実施態様による、指輪などのウェアラブル・デバイスとして構成された例示的なデバイスの概略図を示す。

【0024】

【図2B】本発明の種々の実施態様による、タッチペンなどの携帯端末として構成された例示的なデバイスの概略図を示す。

【0025】

【図3】本発明のある実施態様による、例示的なフィードバック・デバイスの概略図を示す。

【0026】

【図4】本発明の諸実施態様による、例示的な拡張現実環境の描写を示す。

【0027】

【図5A】本発明の種々の実施態様による、例示的な拡張現実デバイスの概略図を示す。

【図5B】本発明の種々の実施態様による、例示的な拡張現実デバイスの概略図を示す。

【図5C】本発明の種々の実施態様による、例示的な拡張現実デバイスの概略図を示す。

【0028】

【図6】本発明のある実施態様による、拡張現実環境に基づいてフィードバックを提供するための例示的なプロセスのフローチャートを示す。

【0029】

【図7】本発明のある実施態様による、拡張現実環境に基づいてフィードバックを提供するための例示的なプロセスのフローチャートを示す。

【発明を実施するための形態】

【0030】

図１は、拡張現実（“ＡＲ”）環境に基づいてフィードバックを提供する例示的なシステム１０のブロック図を示す。システム１０には、デバイス１００、拡張現実（“ＡＲ”）デバイス２００、通信チャネル３００、サーバ４００、携帯端末１０２、および／または、デバイス１００、ＡＲデバイス２００、またはサーバ４００と通信することが可能な他のデバイスを含めることができる。

【0031】

デバイス１００は、ＡＲ環境に基づいてフィードバックを提供するよう構成することができる。例えば、デバイス１００は、ＡＲ環境中に生じたイベントに基づいてフィードバックを生成し、ＡＲ環境に入力を与え、ＡＲ環境と関連して認識されるように構成することが可能である。ＡＲ環境は、デバイス１００と通信可能に連結されたＡＲデバイス２００によって生成することができる。

【0032】

ＡＲデバイス２００は、ＡＲ環境を生成することができ、デバイス１００から遠隔に置くことが可能である。デバイス１００によって受信される制御信号は、ＡＲ環境に生じたイベントを表すことができる。ＡＲ環境には、少なくとも一つの物理オブジェクトが存在する物理空間と、該物理オブジェクトを拡張する一つ以上の仮想オブジェクトが表示された拡張現実（“ＡＲ”）空間とを含めることが可能である。後記で詳しく説明するように、いくつかの実施態様において、ＡＲデバイス２００は、眼鏡の形状に構成することができる。

【0033】

イベントには、デバイス１００とＡＲ環境との間の相互作用、ＡＲ環境に対して起きているアクションの確認、デバイス１００がＡＲデバイス２００によって認識されていることの確認、デバイス１００とＡＲ空間中に表現された一つ以上の仮想オブジェクトとの間の相互作用、ユーザとＡＲ環境との間の相互作用、および／またはＡＲ環境中の他の出来事を含めることが可能である。

【0034】

いくつかの実施態様において、デバイス１００には、例えば、ＡＲデバイス２００からの制御信号を受信するよう構成されたプロセッサ１１０、受信された制御信号に基づいてフィードバックを提供するよう構成されたフィードバック・デバイス１２０、通信ポート１３０、位置／方位デバイス１４０、入力コンポーネント１５０、識別子デバイス１６０、および／または他のコンポーネントを含めることができる。後記で詳しく説明するように、いくつかの実施態様において、デバイス１００は手袋、指ぬき、指輪、および／または身に着けられる他のデバイスを含み得る。いくつかの実施態様において、デバイス１００は、タッチペン、ジョイスティック、携帯電話、ビデオ・ゲーム・コントローラ、および／またはＡＲデバイス２００と通信可能に連結できる他の携帯端末など、携帯端末として構成することが可能である。いくつかの実施態様において、デバイス１００とＡＲデバイス２００とは、単一の物理デバイス中の別個のデバイスとすることもでき、単一の物理デバイスに組み込むことも可能である。

【0035】

いくつかの実施態様において、デバイス１００のプロセッサ１１０は、例えば、フィードバック制御モジュール１１１、通信モジュール１１２、および／またはデバイス１００の他のコンピュータ・プログラム・モジュールなど、一つ以上のモジュールを実行するよう構成することができる。フィードバック制御モジュール１１１は、制御信号を受信して、フィードバック・デバイス１２０にフィードバックを提供させるよう構成することが可能である。通信モジュール１１２は、デバイス１００とＡＲデバイス２００との間の通信を推進するよう構成することができる。

【0036】

フィードバック制御モジュール１１１は、（例えば、ＡＲデバイス２００から）制御信号を受信し、フィードバック・デバイス１２０にデバイス１００を介してフィードバックを提供させるよう構成することが可能である。制御信号は、ＡＲデバイス２００におけるイベントを表すものとすることができる。このイベントは、例えば、拡張仮想環境中に表示されている一つ以上の仮想オブジェクト、デバイス１００と該一つ以上の仮想オブジェクトとの間の一つ以上の相互作用、および／またはＡＲ環境に関連する他の出来事を含み得る。いくつかの実施形態において、フィードバック制御モジュール１１１は、フィードバック・デバイス１２０に制御信号を与えるよう構成することが可能である。この実施形態において、制御信号をフィードバック・デバイス１２０に直接印加してフィードバックを行わせることもできる。いくつかの実施形態において、フィードバック制御モジュール１１１は、受信された制御信号に基づいてフィードバック応答を決めるよう構成することが可能である。これらの実施形態において、フィードバック制御モジュール１１１は、受信制御信号に基づくフィードバック応答を決めるためにルックアップ・テーブルを参照することができる。フィードバック応答は、受信制御信号に基づいて生成される対象の、一つ以上の種類のフィードバックと、指定フィードバックの種類に対する一つ以上のフィードバック信号とを含み得る。フィードバック制御モジュール１１１は、フィードバック応答の指定フィードバック信号を生成し、そのフィードバック信号を、それら信号が対応するそれぞれのフィードバック・デバイス１２０に送信するよう構成することができる。

【0037】

いくつかの実施態様において、フィードバック制御モジュール１１１は、受信制御信号に基づいて、どの種類のフィードバックおよびどのフィードバック信号をフィードバック応答に含めるかを決めるためにデバイス１００のルックアップ・テーブルを参照することができる。フィードバック応答には、単一のフィードバック信号、単一のフィードバック・デバイス１２０に対する複数のフィードバック信号、複数のフィードバック・デバイス１２０に対する複数のフィードバック信号、一つ以上のフィードバック・デバイス１２０に対するフィードバック信号のパターン、および／または他の種類のフィードバック応答を含めることが可能である。いくつかの実施態様において、フィードバック応答の種類は、制御信号によって表されるイベントの種類を示すものとすることができる。例えば、単一の信号を含むフィードバック応答によって、イベントがＡＲ環境中でのデバイス１００の認識を表していることを示すことができよう。あるパターンの信号を含むフィードバック応答は、イベントがデバイス１００とＡＲ環境との間の相互作用を表していることを示すものとすることもできよう。各種のフィードバック応答に関連付けられた表示内容は上述した例に限定されない。

【0038】

いくつかの実施態様において、ルックアップ・テーブルは、複数の制御信号と複数のフィードバック応答との間の関連付けを格納することができる。例えば、ある制御信号があるイベントが発生したことを示す情報を含む場合、ルックアップ・テーブルには、その制御信号に関連付けられたフィードバック応答を格納することが可能である。ある制御信号がある種類のイベントが発生したことを示す情報を含む場合、ルックアップ・テーブルには、制御信号の情報によって示され得る一つ以上の種類のイベントに対する一つ以上の異なったフィードバック応答を格納することができる。ある制御信号が、拡張仮想環境中に仮想オブジェクト（群）が表示されたことを示す情報を含む場合、拡張仮想環境中に表示され得る各種の仮想オブジェクトに対する各種のフィードバック応答を格納することが可能である。例えば、フィードバック応答は、信号中に示された一つ以上の仮想オブジェクトに対し、フィードバック応答が信号中に示された一つ以上の仮想オブジェクトの一つ以上の特性に対応するようにコーディネートすることができる。フィードバックには、色、形状、パターン、フィードバック信号の数、および／または示された仮想オブジェクトと類似の特性を含めることが可能である。ある制御信号が、デバイス１００と一つ以上の仮想オブジェクトとの間の相互作用を示す情報を含む場合、ルックアップ・テーブルは、デバイス１００とＡＲ環境との間に起こり得る各種の相互作用に対する相異なるフィードバック応答を格納することができる。いくつかの実施態様において、フィードバック制御モジュール１１１は、複数の制御信号と関連するフィードバック応答を含むルックアップ・テーブルを格納するよう構成されたサーバ４００から、フィードバック応答を読み出すことが可能である。

【0039】

通信モジュール１１２は、デバイス１００とＡＲデバイス２００との間の通信を推進するよう構成することができる。いくつかの実施態様において、通信モジュール１１２は、デバイス１００と、ＡＲデバイス２００、サーバ４００、携帯端末１０２（該端末にはデバイス１００と類似のコンポーネントおよび機能を含めることができる）、および／またはデバイス１００と通信が可能な他のデバイスと、の間の通信を推進するよう構成することができる。通信モジュール１１２は、デバイス１００と、ＡＲデバイス２００、携帯端末１０２、サーバ４００、および／またはデバイス１００と通信する他のデバイスと、の間の通信のために有線または無線通信チャネル３００を備えるよう構成することが可能である。

【0040】

フィードバック・デバイス１２０には、触覚効果の形で触覚フィードバックを提供するよう構成された一つ以上の触覚出力デバイス、視覚フィードバックを提供するよう構成された一つ以上の視覚デバイス、聴覚フィードバックを提供するよう構成された一つ以上の聴覚デバイス、および／またはフィードバックを生成する他のデバイスを含めることができる。触覚出力デバイスには、例えば、内部でモータが偏心質量を動かす偏心回転質量（“ＥＲＭ”）、内部でスプリングに取り付けられた質量が前後に駆動される線形共鳴アクチュエータ（“ＬＲＡ”）、または、圧電物質、電気活性ポリマーまたは形状合金などの「スマート材料」、マクロ複合繊維アクチュエータ、静電気アクチュエータ、電気触感アクチュエータ、および／または、触覚（例、振動触覚）フィードバックなどの物理的フィードバック提供する他の種類のアクチュエータなど、アクチュエータを含めることができる。触覚出力デバイスには、静電気摩擦（ＥＳＦ）、超音波表面摩擦（ＵＳＦ）を使うもの、または超音波触覚トランスデューサを使い音響放射圧を誘導するもの、または触覚基板とフレキシブルまたは変形可能表面とを使うもの、またはエア・ジェットを用いたエア吐き出しなどの射出触覚出力を与えるものなど、非機械的または非振動型のデバイスを含めることが可能である。視覚デバイスは、デバイス１００での可視光など視覚フィードバックを生成するよう構成することが可能である。例えば、視覚フィードバックは、ＡＲ環境中のイベントの発生を視覚的に示すことができる。

【0041】

フィードバック・デバイス１２０は、フィードバック制御モジュール１１１から一つ以上の信号（例えば、制御信号またはフィードバック信号）を受信するよう構成することができる。触覚出力デバイス、視覚デバイス、聴覚デバイス、および／または他のフィードバック・デバイス１２０は、一つ以上の信号に基づいて、デバイス１００を介してフィードバックを提供することが可能である。

【0042】

通信ポート１３０には、例えばＡＲデバイス２００との、通信チャネル３００の維持を可能にするためのインターフェースを含めることができる。ＡＲデバイス２００からの制御信号は通信チャネル３００を通して受信することが可能で、該チャネルは有線または無線の通信チャネルを含み得る。

【0043】

位置／方位デバイス１４０は、通信チャネル３００を介し、ＡＲデバイス２００に位置、方位またはその両方を提供するよう構成することができる。例えば、位置／方位デバイス１４０には、ジャイロスコープ、地理空間測位デバイス、コンパス、および／または他の方位または位置確認デバイスを含めることが可能である。

【0044】

入力コンポーネント１５０は、例えば、ボタン押し、ジェスチャ、および／または他の入力などの入力を受け取るよう構成することが可能である。この入力は、プロセッサ１１０によって通信チャネル３００を介してＡＲデバイス２００に伝達することができる。例えば、入力コンポーネント１５０には、タッチ・パッド、タッチ・スクリーン、機械的ボタン、スイッチ、および／または入力を受け取ることが可能な他の入力コンポーネントを含めることができる。

【0045】

識別子デバイス１６０は、デバイス１００に対する識別指標を生成するよう構成することができる。識別指標は、ＡＲデバイス２００がデバイス１００を識別するために用いることができる。この識別指標には、可視の光学署名（例えば、可視波長内の光の光学署名）または不可視の署名（例えば、可視波長外の光の光学署名）を含めることが可能である。いくつかの実施態様において、フィードバック・デバイス１２０は、例えば光学署名を生成することによって、識別指標を生成することができる。

【0046】

いくつかの実施態様において、デバイス１００の表面に拡張現実（“ＡＲ”）シンボルを配置することができる。このＡＲシンボルは、例えば、ＡＲ環境内のデバイス１００の方位を測定したり、ＡＲ環境中でデバイス１００の存在を識別したり、および／または他の形でデバイス１００の認識を可能にしたりするために用いることができる。いくつかの実施態様において、デバイス１００は、可聴署名、赤外線署名、および／またはＡＲデバイス２００が認識できる他の署名を発することが可能である。

【0047】

いくつかの実施態様において、図２Ａに示すように、デバイス１００は指輪２００などウェアラブル・デバイスとして構成することができる。いくつかの実施態様において、デバイス１００は、手袋、指ぬき、指輪、および／または、身に着けられる他のデバイス１００を含み得る。フィードバック・デバイス１２０には一つ以上のデバイスを含めることができる。該一つ以上のデバイスは、デバイス１００の一つ以上の部分に配置することが可能である。識別子デバイス１６０には、識別指標および／またはＡＲシンボルを含めることができ、これらは、着用者の指先を覆うデバイス１００の表面、および／またはデバイス１００の他の表面に配置することが可能である。いくつかの実施態様において、識別子デバイス１６０は、識別指標および／またはＡＲシンボルを生成することができる。いくつかの実施態様において、デバイス１００は、着用者の手指の少なくとも指爪を覆うことが可能である。識別指標またはＡＲシンボルは、着用者の指爪覆うデバイス１００の表面、および／またはデバイス１００の他の表面に配置することが可能である。

【0048】

図２Ｂに示すように、いくつかの実施態様において、デバイス１００は携帯端末１０２として構成することができる。携帯端末１０２には、同一のまたは類似のコンポーネントおよび機能を含めることが可能で、該端末は、デバイス１００と同じまたは類似の方法でＡＲデバイス２００と相互作用することができる。この携帯端末１０２には、例えば、タッチペン、ジョイスティック、携帯電話、ビデオ・ゲーム・コントローラ、および／またはＡＲデバイス２００と通信可能に連結できる他の携帯端末１０２を含めることが可能である。いくつかの実施態様において、デバイス１００および携帯端末１０２の両方が、ＡＲデバイス２００と同時に相互作用することができる。

【0049】

図３に示すように、デバイス１００のフィードバック・デバイス１２０は一つ以上のデバイスを含み得る。いくつかの実施態様において、該一つ以上のデバイスはデバイス１００に相隔てて配置することができる。フィードバック・デバイス１２０には、一つ以上の触覚効果を提供するよう構成された一つ以上の触覚出力デバイス１２２、視覚フィードバックを提供するよう構成された一つ以上の視覚デバイス１２４、聴覚フィードバックを提供するよう構成された一つ以上の聴覚デバイス１２６、発光バンド１２８、および／またはフィードバックを生成する他のデバイスを含めることが可能である。

【0050】

触覚出力デバイス１２２には、例えば、内部でモータが偏心質量を動かす偏心回転質量（“ＥＲＭ”）、内部でスプリングに取り付けられた質量が前後に駆動される線形共鳴アクチュエータ（“ＬＲＡ”）、または、圧電物質、電気活性ポリマーまたは形状合金などの「スマート材料」、マクロ複合繊維アクチュエータ、静電気アクチュエータ、電気触感アクチュエータ、および／または、触覚（例、振動触覚）フィードバックなどの物理的フィードバック提供する他の種類のアクチュエータなど、アクチュエータを含めることができる。触覚出力デバイスには、静電気摩擦（ＥＳＦ）、超音波表面摩擦（ＵＳＦ）を使うもの、または超音波触覚トランスデューサを使い音響放射圧を誘導するもの、または触覚基板とフレキシブルまたは変形可能表面とを使うもの、またはエア・ジェットを用いたエア吐き出しなどの射出触覚出力を与えるものなど、非機械的または非振動型のデバイスを含めることが可能である。いくつかの実施態様において、一つ以上の触覚出力デバイス１２２は、デバイス１００全体に相隔てて配置することができる。

【0051】

視覚デバイス１２４は、デバイス１００での可視光など視覚フィードバックを生成するよう構成することができる。例えば、視覚フィードバックは、ＡＲ環境中のイベントの発生を視覚的に示すことが可能である。

【0052】

聴覚デバイス１２６は、デバイス１００での一つ以上の音声などの聴覚フィードバックを生成するよう構成することができる。例えば、聴覚フィードバックは、ＡＲ環境中のイベントの発生を音声で示すことができる。

【0053】

発光バンド１２８は、デバイス１００から、および／またはその周りに発する発光バンドを生成するよう構成することが可能である。バンド１２８による発光には、色、パターン、および／または他の視覚特性を含めることができる。この視覚特性は、ＡＲ環境中の一つ以上の仮想オブジェクトにコーディネートすることが可能である。

【0054】

図１に戻って、ＡＲデバイス２００は、ＡＲ空間および物理空間の両方含むＡＲ環境を生成するよう構成することができる。ＡＲデバイス２００には、例えばプロセッサ２１０、撮像デバイス２００、通信ポート２３０、および／または他のコンポーネントを含めることができる。プロセッサ２１０は、物理空間に合わさったＡＲ空間を生成するよう構成することができる。プロセッサ２１０は、物理空間中の少なくとも一つの物理オブジェクトを認識し、ＡＲ空間において、一つ以上の仮想オブジェクトを使って該少なくとも一つの物理オブジェクトを拡張するよう構成することが可能である。プロセッサ２１０は、ＡＲ環境内のイベントを判定し、有線または無線通信チャネル３００を介して、デバイス１００にそのイベントを表す制御信号を伝達するよう構成することができる。該制御信号は、デバイス１００においてフィードバックを生成させることができる。撮像デバイス２２０は、物理空間を画像化するよう構成することが可能である。いくつかの実施態様において、撮像デバイス２２０には、一つ以上のカメラ、赤外線検出装置、ビデオ・カメラ、および／または他の画像記録デバイスを含めることができる。通信ポート２３０には、例えば、デバイス１００との通信チャネル３００の維持を可能にするためのインターフェースを含めることができる。

【0055】

いくつかの実施態様において、プロセッサ２１０は、例えば、オブジェクト認識モジュール２１１、オブジェクト生成モジュール２１２、イベント処理モジュール２１３、制御信号生成モジュール２１４、通信モジュール２１５、および／または他のコンピュータ・プログラム・モジュールを含め、一つ以上のモジュールを実行するよう構成することが可能である。オブジェクト認識モジュール２１１は、物理空間中の物理オブジェクトを認識するよう構成することができる。オブジェクト生成モジュール２１２は、認識された物理オブジェクトを拡張するため、仮想オブジェクトを生成するよう構成することが可能である。イベント処理モジュール２１３は、ＡＲ環境内にイベントが生じたかどうかを検出するよう構成することができる。制御信号生成モジュール２１４は、イベントに関連する情報を受信し、デバイス１００に送信するための制御信号を生成するよう構成することが可能である。通信モジュール２１５は、ＡＲデバイス２００とデバイス１００との間の通信を推進するよう構成することができる。

【0056】

いくつかの実施態様において、オブジェクト認識モジュール２１１は、物理空間中のオブジェクトを認識するよう構成することができる。オブジェクト認識モジュール２１１は、撮像デバイス２２０およびＡＲデバイス２００のストレージと通信して、物理空間中のオブジェクトを認識することができる。例えば、オブジェクト認識モジュール２１１は、撮像デバイス２２０が捕捉した視覚データを受信することができ、その視覚データを処理して、捕捉された視覚データ中に一つ以上のオブジェクトが存在するかどうかを判定することができる。オブジェクト認識モジュール２１１は、視覚データ中に存在する捕捉オブジェクトをストレージ中に格納されたオブジェクトと比較することが可能である。

【0057】

例えば、オブジェクト認識モジュール２１１は、既知の技法によって、捕捉オブジェクトのピクセルをストレージ中の格納オブジェクトのピクセルと比較することができる。捕捉オブジェクトのピクセルの閾値パーセント（例えば、８０％、９０％、１００％および／または他のパーセント）が格納オブジェクトのピクセルと合致すれば、オブジェクト認識モジュール２１１は、その捕捉オブジェクトが当該格納オブジェクトとして認識されたと判定することが可能である。いくつかの実施態様において、閾値パーセントは、撮像デバイス２２０の解像度の如何によって決めるようにすることができる。

【0058】

オブジェクト認識モジュール２１１は、格納オブジェクトに関連する情報を取得し、該格納オブジェクトに関連する情報および捕捉オブジェクトに関連する情報をオブジェクト生成モジュール２１２に送信することができる。オブジェクト生成モジュール２１２に送信される情報には、例えば、格納オブジェクトに対する画像データ、格納オブジェクトの種類、捕捉オブジェクトの物理空間中の位置、捕捉オブジェクトの他の物理オブジェクトに対する近接度、格納オブジェクトに関連するコンテキスト情報、捕捉オブジェクトに関連するコンテキスト情報、および／または、格納オブジェクトまたは捕捉オブジェクトに関連する他のデータを含めることが可能である。いくつかの実施態様において、オブジェクト認識モジュール２１１は、格納オブジェクトに関連する情報および捕捉オブジェクトに関連する情報を、イベント処理モジュール２１３と、制御信号生成モジュール２１４と、および／または、プロセッサ２１０の他のモジュールと、のうちの一つ以上に送信することができる。

【0059】

いくつかの実施態様において、捕捉オブジェクトが格納オブジェクトと合致しない場合、オブジェクト認識モジュール２１１は、捕捉オブジェクトに関連するデータをサーバ４００に送信し、サーバ４００がオブジェクト認識を行なえるようにすることが可能である。サーバ４００が捕捉オブジェクトを認識した場合、サーバ４００は、捕捉オブジェクトに合致した格納オブジェクトに関連する情報を、オブジェクト認識モジュール２１１に伝達することができる。オブジェクト認識モジュールは、格納オブジェクトに関連する情報はサーバ４００から、捕捉オブジェクトに関連する情報は自ら、オブジェクト生成モジュール２１２に送信することが可能である。サーバ４００が捕捉オブジェクトを認識しない場合、サーバ４００は、合致するものが見付からなかった旨を連絡することができる。

【0060】

いくつかの実施態様において、オブジェクト生成モジュール２１２は、オブジェクト認識モジュール２１１から物理オブジェクトに関連する情報を受信することができ、ＡＲ環境中で、その物理オブジェクトを拡張するために一つ以上の仮想オブジェクトを生成することが可能である。オブジェクト生成モジュール２１２は、ストレージにアクセスして、一つ以上の仮想オブジェクトが当該物理オブジェクトに関連付けられているかどうかを判定することができる。当該物理オブジェクトに関連付けられた仮想オブジェクトが無い場合、オブジェクト生成モジュール２１２は、サーバ４００と通信し、サーバ４００のストレージが、該一つ以上の物理オブジェクトと一つ以上の仮想オブジェクトとの間の一つ以上の関連付けを格納しているかどうかを判定することが可能である。サーバ４００のストレージ中に関連付けが見付かった場合、サーバ４００は、オブジェクト生成モジュール２１２に、関連付けられた仮想オブジェクトに関連するデータを伝達することができる。

【0061】

ある仮想オブジェクトが、オブジェクト認識モジュール２１１から受信した情報中で識別された物理オブジェクトに関連付けられている場合、オブジェクト生成モジュール２１２は、物理空間に合わさったＡＲ空間を生成することができる。図４は、例示的なＡＲ環境５００のブロック図を示す。ＡＲ環境５００は、一つ以上の物理オブジェクト５２０ａ、５２０ｂ、…、５２０ｎを含む物理空間５２０と、物理空間５２０中の一つ以上の物理オブジェクト５２０ａ、５２０ｂ、…、５２０ｎを拡張する一つ以上の仮想オブジェクト５１０ａ、５１０ｂ、…、５１０ｎを含むＡＲ空間５１０とを含む。

【0062】

いくつかの実施態様において、オブジェクト生成モジュール２１２は、ＡＲ空間５１０中の一つ以上の仮想オブジェクト５１０ａ、５１０ｂ、…、５１０ｎを使って、物理オブジェクト５２０ｎを拡張することができる。例えば、オブジェクト生成モジュール２１２は、ＡＲデバイス２００のディスプレイ面を用いてＡＲ空間５１０（および一つ以上の仮想オブジェクト５１０ａ、５１０ｂ、…、５１０ｎ）を表示することが可能である。いくつかの実施態様において、表示されるＡＲ空間５１０および一つ以上の仮想オブジェクト５１０ａ、５１０ｂ、…、５１０ｎは、ＡＲデバイス２００のディスプレイ面を用いて三次元的に表現することができる。

【0063】

ＡＲデバイス２００のディスプレイを用いて表示されるＡＲ環境５００には、物理空間５２０およびＡＲ空間５１０を含めることが可能である。いくつかの実施形態において、物理空間５２０は、撮像デバイス２２０によって画像化して該ディスプレイを介して表示することができる。いくつかの実施形態において、少なくとも部分的に透明なディスプレイ（例えば、レンズ）であって、それを通して物理空間５２０を見られるようにディスプレイが構成されている実施形態などにおいては、物理空間５２０は、ディスプレイを通してそのまま見ることが可能である。物理空間５２０を表示するためにいずれの実施形態が使われていても、一つ以上の仮想オブジェクト５１０ａ、５１０ｂ、…、５１０ｎは、物理空間５２０中に存在する一つ以上の物理オブジェクト５２０ａ、５２０ｂ、…、５２０ｎに一致してまたは関連付けて表示させ、これにより、ＡＲ環境５００中の一つ以上の物理オブジェクト５２０ａ、５２０ｂ、…、５２０ｎを拡張することができる。単一の仮想オブジェクト５１０ａが、単一の物理オブジェクト５２０ａを拡張することもあるいは複数の物理オブジェクト５２０ａ、５２０ｂ、…、５２０ｎを拡張することも可能である。複数の仮想オブジェクト５１０ａ、５１０ｂ、…、５１０ｎが、単一の物理オブジェクト５２０ａを拡張することもあるいは複数の物理オブジェクト５２０ａ、５２０ｂ、…、５２０ｎを拡張することも可能である。物理空間５２０中に存在する物理オブジェクト５２０ａ、５２０ｂ、…、５２０ｎを拡張する仮想オブジェクト５１０ａ、５１０ｂ、…、５１０ｎの数および種類は、上述の例には限定されない。

【0064】

いくつかの実施態様において、イベント処理モジュール２１３は、ＡＲ環境中でイベントが生じているどうかを検出するよう構成することができる。イベント処理モジュール２１３は、撮像デバイス２２０、オブジェクト認識モジュール２１１、オブジェクト生成モジュール２１２、ストレージ、および／または、ＡＲデバイス２００の他のモジュールまたはデバイスから、データを受信することが可能である。ＡＲデバイス２００のストレージは、ＡＲデバイス２００が認識可能な一つ以上のイベントに関連するデータを格納することができる。例えば、ＡＲデバイス２００のストレージは、例として、デバイス１００とＡＲ環境との間の相互作用、ＡＲ環境に対して起きているアクションの確認、デバイス１００がＡＲデバイス２００によって認識されていることの確認、デバイス１００とＡＲ空間５１０中に表現された一つ以上の仮想オブジェクトとの間の相互作用、物理オブジェクトを拡張するための特定の種類の仮想オブジェクトの生成、デバイス１００の認識、携帯端末１０２の認識、ユーザとＡＲ環境との間の相互作用、および／またはＡＲ環境に関連する他の出来事を含め、イベントに関連するデータを格納することが可能である。

【0065】

いくつかの実施態様において、イベント処理モジュール２１３は、撮像デバイス２２０からの視覚データ、視覚データ中の捕捉オブジェクトに関連するオブジェクト認識モジュール２１１からの情報、オブジェクト生成モジュール２１２によって生成された仮想オブジェクトに関連する情報、および／またはＡＲ環境に関連する他の情報を受信することができる。イベント処理モジュール２１３は、受信した情報をストレージに格納されたイベントに関連するデータと比較して、それら情報（または情報の一部）が、あるイベントに関連するかどうかを判定することが可能である。受信した情報があるイベントに関連する場合、イベント処理モジュール２１３は該受信情報および関連するイベントについてのデータを、制御信号生成モジュール２１４に送信することができる。

【0066】

いくつかの実施態様において、イベント処理モジュール２１３は、プロセッサから、デバイス１００とＡＲ環境との間に生じた相互作用、ＡＲ環境中の変更された一つ以上の仮想オブジェクト、デバイス１００からの入力が受信されたこと、デバイス１００から受信された入力がＡＲデバイス２００によって処理されたこと、ユーザとＡＲ環境との間で行われた相互作用、および／または他の処理がＡＲデバイス２００によって行われたことを示す、データ受信することが可能である。いくつかの実施態様において、イベント処理モジュール２１３は、プロセッサ２１０から受信したデータをストレージに格納されたデータと比較して、そのデータがあるイベントに関連付けられているかどうかを判定することができる。受信情報の一部または全部が、ストレージに格納されているイベントに関連付けられている場合、イベント処理モジュール２１３は、受信情報および関連イベントに関連するデータを含むイベント・データ、制御信号生成モジュール２１４に送信することが可能である。

【0067】

いくつかの実施態様において、受信情報がストレージに格納されているイベントに関連付けられていない場合、イベント処理モジュール２１３は、サーバ４００がイベント処理を行なえるように、受信情報を含めイベント・データをサーバ４００に送信することができる。受信情報の一部または全部が、サーバ４００のストレージに格納されているイベントに関連付けられている場合、サーバ４００は、関連するイベントに関連する情報をイベント処理モジュール２１３に伝達することが可能である。イベント処理モジュール２１３は、受信情報および関連イベントに関連するデータ含むイベント・データを、制御信号生成モジュール２１４に送信することができる。受信情報が、サーバ４００のストレージに格納されているイベントに関連付けられていない場合、サーバ４００は、合致するものが見付からなかった旨を連絡することができる。

【0068】

いくつかの実施態様において、制御信号生成モジュール２１４は、イベント処理モジュール２１３からイベント・データを受信し、デバイス１００に送信するため該イベント・データに基づいて制御信号を生成するよう構成することが可能である。ＡＲデバイス２００のストレージには、複数のイベントと複数の制御信号とをそれぞれ関連付けるルックアップ・テーブルを含めることができる。制御信号生成モジュール２１４は、イベント処理モジュール２１３から受信したイベント・データに基づいて、デバイス１００に送信するための制御信号を生成することができる。例えば、制御信号生成モジュール２１４は、受信したイベント・データをストレージに格納されたデータと比較することが可能である。イベント・データの一部または全部がストレージ中に格納されたイベントと合致する場合、制御信号生成モジュール２１４は、合致したイベントに関連付けられた制御信号に結び付く制御信号を生成することができる。イベント・データがストレージ中に格納されたイベントと合致しない場合、制御信号生成モジュール２１４は、そのイベント・データをサーバ４００に連絡し、サーバのストレージが、該イベント・データの一部または全部に関連付けられた制御信号を格納しているかどうかを判定することが可能である。この制御信号には、例えば、イベントが生じたことを示す情報、特定の種類のイベントが生じたことを示す情報、拡張仮想環境中に一つ以上の仮想オブジェクトが表示された／されることを示す情報、デバイス１００と一つ以上の仮想オブジェクトとの間の一つ以上の相互作用示す情報、および／またはＡＲ環境中のイベントに関連する他の情報を含めることができる。

【0069】

通信モジュール２１５は、ＡＲデバイス２００とデバイス１００との間の通信を推進するよう構成することができる。いくつかの実施態様において、通信モジュール２１５は、ＡＲデバイス２００と、デバイス１００、サーバ４００、携帯端末１０２、および／またはＡＲデバイス２００と通信可能な他のデバイスと、の間の通信を推進するよう構成することが可能である。通信モジュール２１５は、ＡＲデバイス２００と、デバイス１００および／または携帯端末１０２との間の通信のための有線または無線通信チャネル３００を備えるよう構成することができる。通信モジュール２１５は、有線または無線通信チャネル３００を介し、あるいは別の通信チャネルを介して、ＡＲデバイス２００と、デバイス１００、携帯端末１０２、サーバ、および／または他のデバイスと、の間の通信を提供するよう構成することが可能である。通信モジュール２１５は、制御信号生成モジュール２１４によって生成された制御信号を、有線または無線通信チャネル３００を介してデバイス１００および／または携帯端末１０２に通信するよう構成することができる。

【0070】

いくつかの実施態様において、ＡＲデバイス２００のプロセッサ２１０は、デバイス１００が、撮像デバイス２２０の視界内、および／またはＡＲ環境５００の物理空間５２０内で移動されたとき、デバイス１００を認識するよう構成することが可能である。例えば、ＡＲデバイス２００のオブジェクト認識モジュール２１１は、撮像デバイス２２０からの画像データとストレージに格納された画像データとを比較することによってデバイス１００を認識するよう構成することができる。ＡＲデバイス２００のストレージには、デバイス１００に対応する画像データを含めることが可能である。このストレージには、デバイス１００上に配置が可能な一つ以上の指標に対応する画像データを含めることができる。この指標には、製品コード、ＱＲコード、デバイス１００に関連付けられた画像、および／またはデバイス１００を識別するのに用いられる他の画像を含めることが可能である。ＡＲデバイス２００のプロセッサ２１０は、可聴署名、赤外線署名、および／またはデバイス１００によって生成される他の署名を認識するよう構成することができる。これらの実施態様において、制御信号生成モジュール２１４が、デバイス１００の認識を表すことが可能な制御信号を生成して、デバイス１００で生成されるフィードバックがその認識を示すようにすることが可能である。

【0071】

いくつかの実施態様において、プロセッサ２１０は、デバイス１００から、デバイス１００の位置および／またはデバイス１００の方位を受信するよう構成することができる。デバイス１００の位置および方位は通信チャネル３００を介して、デバイス１００とＡＲデバイス２００との間で通信することが可能である。プロセッサ２１０は、受信された位置および／または方位に基づいて、ＡＲ環境５００内のデバイス１００の位置および／またはデバイス１００の方位を判定するよう構成することができる。いくつかの実施態様において、デバイス１００上に、位置インジケータ画像および／または方位インジケータ画像を配置することができる。オブジェクト認識モジュール２１１は、ウェアラブル・オブジェクト１００が撮像デバイスの視界内および／またはＡＲ環境５００の物理空間５２０内にあることを認識する際に、この位置インジケータ画像および／または方位インジケータ画像を認識することが可能である。位置インジケータ画像および／または方位インジケータ画像のデータは、ＡＲ環境５００内のデバイス１００の位置および／または方位を判定するため、オブジェクト認識モジュール２１１、イベント処理モジュール２１３、および／またはＡＲデバイス２００の他のモジュールによって処理することができる。いくつかの実施態様において、プロセッサ２１０は、物理オブジェクトとデバイス１００との間の距離を顧慮せずに、デバイス１００をＡＲ環境５００内に位置付けるよう構成することが可能である。

【0072】

プロセッサ２１０は、デバイス１００から入力を受信するよう構成することができる。例えば、プロセッサ２１０は、デバイス１００から、入力コンポーネント１５０を介して受け取られた入力に関連するデータを受信することができる。入力コンポーネント１５０を介して受け取られる入力は、例えば、ボタン押し、ジェスチャ、および／または他の入力を含み得る。ＡＲデバイス２００のプロセッサ２１０は、受信されたデータを処理し、その処理に基づいて機能を遂行することができる。例えば、プロセッサ２１０は、ＡＲ環境５００中の一つ以上の仮想オブジェクト５１０ａ、５１０ｂ、…、５１０ｎを追加、削除、変更および別途に修正することが可能である。プロセッサ２１０は、この処理に基づいてデバイス１００にデータを送信することができる。プロセッサ２１０は、該処理に基づいて他の機能を遂行することが可能である。いくつかの実施態様において、該プロセッサは、デバイス１００から、デバイス１００に対する識別指標および入力が識別指標を含むことの提示を含む入力を受信することができる。ＡＲデバイス２００は、識別指標を格納しておき、その識別指標をデバイス１００と関連付けることが可能である。

【0073】

図５Ａに示されるように、いくつかの実施態様において、ＡＲデバイス２００は眼鏡の形状に構成することができる。例えば、ＡＲデバイス２００は、眼鏡の一つまたは両方のレンズ２５０を用いてＡＲ環境５００（ＡＲ環境５００Ａ、５００Ｂ）を表示するよう構成することが可能である。ＡＲデバイス２００のコンポーネント（例えば、撮像デバイス２２０、無線トランシーバ２４０、プロセッサなど）は眼鏡のさまざまな位置に配置することができる。以下は、単なる例示のためのものであって限定されない例である。一方のレンズ２５０Ａの近くのフレームの部分（またはレンズ２５０Ａの一部）に撮像デバイス２２０を含めることができる。他方のレンズの２５０Ｂの近くのフレームの部分（またはレンズ２５０Ｂの一部）に、通信ポートを包含可能な無線トランシーバ２４０を含めることが可能である。眼鏡のアーム２１０（レンズから耳に延び出している眼鏡フレームの部分を含む）には、プロセッサ、通信ポート、および／またはＡＲデバイス２００の他のコンポーネントを含めることができる。いくつかの実施態様において、眼鏡アーム２１０Ａ，２１０Ｂには、プロセッサと、通信ポートと、および／またはＡＲデバイス２００の他のコンポーネントとのうちの一つ以上を含めることが可能である。他の構成も同様に用いることができる。

【0074】

図５Ｂに示すように、いくつかの実施態様において、ＡＲデバイス２００は、携帯電話、パーソナル・デジタル・アシスタント、スマートフォン、および／またはその他の携帯電話として構成することが可能である。撮像デバイス２２０は、一つ以上のカメラ（例えば、正面向きカメラ２２０Ａ、背面向きカメラ２２０Ｂ、および／または携帯電話の他のカメラ）を含み得る。この携帯電話のプロセッサには、ＡＲデバイス２００のプロセッサのコンポーネントおよび機能を含めることができる。電話の通信コンポーネントおよび機能（例えば、一つ以上のポート、無線トランシーバ、一つ以上のアンテナ、他のデバイスとの通信を推進する処理機能、および／またはその他の通信コンポーネントおよび機能）には、ＡＲデバイス２００の通信ポートおよび通信モジュールを含めることが可能である。携帯デバイスのディスプレイは、ＡＲ環境５００を表示するよう構成することができる。

【0075】

いくつかの実施態様において、ＡＲデバイス２００は、ラップトップ、デスクトップコンピュータ、タブレット、および／または他のコンピューティング・デバイスなど、コンピューティング・デバイスとして構成することが可能である。一つ以上の撮像デバイス２２０Ａ、２２０Ｂは、正面向きカメラ、背面向きカメラ、コンピューティング・デバイスと通信可能に連結されたウェブカメラ、および／または他の撮像デバイスを含み得る。コンピューティング・デバイスのプロセッサには、ＡＲデバイス２００のプロセッサのコンポーネントおよび機能を含めることができる。コンピューティング・デバイスの通信コンポーネントおよび機能（例えば、一つ以上のポート、無線トランシーバ、一つ以上のアンテナ、他のデバイスとの通信を推進する処理機能、および／または他の通信コンポーネントおよび機能）には、ＡＲデバイス２００の通信ポートおよび通信モジュールを含めることが可能である。コンピューティング・デバイスのディスプレイは、ＡＲ環境５００を表示するよう構成することができる。

【0076】

図５Ｃに示すように、いくつかの実施態様において、ＡＲデバイス２００は、テレビジョン、ビデオ・ゲーム・システム、および／または動画を表示するための他のデバイスを含み得る。一つ以上の撮像デバイス２２０は、正面向きカメラ、オブジェクト・センサ、コンピューティング・デバイスと通信可能に連結されたウェブカメラ、および／または他の撮像デバイスを含み得る。このデバイスのプロセッサには、ＡＲデバイス２００のプロセッサのコンポーネントおよび機能を含めることができる。該デバイスの通信コンポーネントおよび機能（例えば、一つ以上のポート、無線トランシーバ、一つ以上のアンテナ、他のデバイスとの通信を推進する処理機能、および／または他の通信コンポーネントおよび機能）には、ＡＲデバイス２００の通信ポートおよび通信モジュールを含めることが可能である。該デバイスのディスプレイ２５０は、ＡＲ環境５００を表示するよう構成することができる。

【0077】

図１に戻って参照すると、いくつかの実施態様において、サーバ４００は、一つ以上のデバイス１００、ＡＲデバイス２００、携帯端末１０２、および／またはサーバ４００と交信する他のデバイスと通信するよう構成することが可能である。いくつかの実施態様において、サーバ４００には、プロセッサ、ストレージ、および通信ポートを含めることができる。

【0078】

サーバ４００のプロセッサは、データを受信し、オブジェクトを認識し、イベントを処理し、データを送信し、および／または他の機能を提供するよう構成することが可能である。いくつかの実施態様において、サーバ４００は、デバイス１００のプロセッサ１１０から制御信号を受信するよう構成することができる。サーバ４００のストレージには、複数の制御信号と複数のフィードバック応答とを含む、デバイス１００のルックアップ・テーブルと類似または同じ仕方で構成可能な、ルックアップ・テーブルを含めることができる。このルックアップ・テーブルが当該制御信号に関連するエントリを含む場合、サーバ４００は、フィードバック応答を含む情報をフィードバック制御モジュール１１１に伝達することが可能である。サーバ４００のルックアップ・テーブルが制御信号に関連するエントリを含まない場合、サーバ４００は、その制御信号に合致するものが見付からなかった旨を、フィードバック制御モジュール１１１に連絡することができる。いくつかの実施態様において、サーバ４００は、デバイス１００から受信したデータに関連する画像処理および／またはオブジェクト認識を実施することができる。

【0079】

いくつかの実施態様において、サーバ４００は、ＡＲデバイス２００の撮像デバイス２２０によって捕捉されたオブジェクトに関連するデータを受信することができる。サーバ４００のプロセッサは、捕捉オブジェクトに関連するオブジェクト認識を実施することができる。サーバ４００のストレージには、一つ以上の物理オブジェクトを含むルックアップ・テーブルを含めることが可能である。サーバ４００は、ルックアップ・テーブルが、受信されたデータから認識されたオブジェクトに関連するエントリを含んでいるかどうかを判定することができる。ルックアップ・テーブルが認識されたオブジェクトに関連するエントリを含む場合、サーバ４００は、認識されたオブジェクトに合致する格納オブジェクトに関連する情報を、オブジェクト認識モジュール２１１に伝達することが可能である。サーバ４００が認識されたオブジェクトを認知しなかった場合、サーバ４００は、合致するものが見付からなかった旨をオブジェクト認識モジュール２１１に連絡することができる。

【0080】

いくつかの実施態様において、サーバ４００は、ＡＲデバイス２００のプロセッサ２１０のオブジェクト認識モジュール２１１によって認識された物理オブジェクトに関連するデータを受信することが可能である。サーバ４００のプロセッサは、サーバ４００のストレージが、物理オブジェクトと一つ以上の仮想オブジェクトとの間の関連付けを格納しているかどうかを判定することができる。いくつかの実施態様において、サーバ４００のストレージには、物理オブジェクト、仮想オブジェクト、および一つ以上の物理オブジェクトと一つ以上の仮想オブジェクトとの間の一つ以上の相互関係を含むルックアップ・テーブルを含めることが可能である。サーバ４００のストレージ中に関連付けが見付かった場合、サーバ４００は、オブジェクト生成モジュール２１２に、関連する仮想オブジェクトに関するデータを伝達することができる。サーバ４００のストレージ中に関連付けが見付からなかった場合、サーバ４００は、関連付けが見付からなかったことを連絡することができる。

【0081】

いくつかの実施態様において、サーバ４００は、ＡＲデバイス２００のプロセッサ２１０のイベント処理モジュール２１３からイベント・データを受信するよう構成することができる。サーバ４００のストレージには、複数のイベントと複数の制御信号とをそれぞれ関連付けるルックアップ・テーブルを含めることが可能である。イベント・データの一部または全部がサーバ４００のストレージ中に格納されたイベントと合致する場合、サーバ４００のプロセッサは、そのイベントに関連するイベント・データを、イベント処理モジュール２１３に伝達することができる。イベント・データがストレージ中に格納されたイベントと合致しない場合、サーバ４００のプロセッサは、合致するものが見付からなかったことをＡＲデバイス２００に連絡することができる。

【0082】

サーバ４００の通信ポートには、例えば、デバイス１００、携帯端末１０２、ＡＲデバイス２００、および／またはサーバ４００と交信する他のデバイスとの通信チャネル３００の維持を可能にするためのインターフェースを含めることができる。データおよび／または信号は、通信チャネル３００、および／または、サーバ４００がデータおよび／または信号を受信するための他の通信チャネル、を介して受信することが可能である。

【0083】

図６は、本発明のある実施態様による、ＡＲ環境５００に基づいてフィードバックを提供する例示的なプロセスのフローチャートを示す。図６および他の図面に記載のオペレーションは、上記で詳しく説明したシステム・コンポーネントの一部または全部を使って達成することができ、いくつかの実施態様において、さまざまなオペレーションを色々なシーケンスで実施することが可能である。他の実施態様において、図６および他の図面に示されたオペレーションの一部または全部と共に、追加のオペレーションを実施することが可能である。さらなる他の実施態様においては、一つ以上のオペレーションが同時に実行され得る。さらなる他の実施態様では、さまざまなオペレーションの一つ以上の組み合わせが実行され得る。いくつかの実施態様は、図６および他の図面に関連して記載されたオペレーションの全部は実行しなくてもよい。上記のように記載されたオペレーションは例示的性質のものであり、しかして限定するものと見なすべきではない。

【0084】

いくつかの実施形態において、図６および他の図面のオペレーションは、一つ以上のプロセシング・デバイス（例えば、デバイス１００、ＡＲデバイス２００、サーバ４００、携帯端末１０２、および／または他のデバイス）中に実装することができる。一つ以上のプロセシング・デバイスは、電子ストレージ媒体上に電子的に格納された命令に応じて、図６および他の図面のオペレーションの一部または全部を実行する一つ以上のデバイスを含み得る。該一つ以上のプロセシング・デバイスには、図６および他の図面のオペレーションの一つ以上を実行するため特別に設計されるハードウェア、ファームウエア、および／またはソフトウェアを用いて構成される一つ以上のデバイスも含めることができる。

【0085】

オペレーション６０２で、デバイス１００とＡＲデバイス２００との間に通信チャネル３００を確立することができる。

【0086】

オペレーション６０４で、ＡＲ環境５００においてイベントの発生を検出することが可能である。ＡＲデバイス２００のプロセッサ２１０の、オブジェクト認識モジュール２１１およびオブジェクト生成モジュール２１２の一つまたは両方を、物理空間５２０に合わさったＡＲ空間５１０を含む、ＡＲ環境５００の生成を推進するよう構成することができる。イベント処理モジュール２１３は、プロセッサ２１０および撮像デバイス２２０のうちの一つ以上から受信した情報に基づいて、ＡＲ環境５００内のイベントを判定するよう構成することができる。このイベントには、デバイス１００とＡＲ環境５００との間の相互作用、ＡＲ環境５００に対して起きているアクションの確認、デバイス１００がＡＲデバイス２００によって認識されていることの確認、デバイス１００とＡＲ空間５１０中に表現された一つ以上の仮想オブジェクトとの間の相互作用、ユーザとＡＲ環境との間の相互作用および／またはＡＲ環境５００中の他の出来事を含めることが可能である。

【0087】

オペレーション６０６で、デバイス１００は、ＡＲデバイス２００から制御信号を受信することができる。制御信号生成モジュール２１４は、ＡＲデバイス２００のイベント処理モジュール２１３がイベントを検出したとき、検出されたイベントに関連付けられた制御信号を特定し、その制御信号を有線または無線通信チャネル３００を介してデバイス１００に伝達するよう構成することが可能である。プロセッサ１１０のフィードバック制御モジュール１１１がその制御信号を受信することができる。制御信号は、ＡＲ環境５００中のイベント発生の検出に基づくものとすることができる。

【0088】

オペレーション６０８で、デバイス１００を介してフィードバックを提供することができる。フィードバック制御モジュール１１１は、フィードバック・デバイス１２０に、デバイス１００を介してフィードバックを提供させることが可能である。いくつかの実施態様において、フィードバック制御モジュール１１１は、フィードバック・デバイス１２０に制御信号を与えるように構成することができる。これの実施形態において、制御信号をフィードバック・デバイス１２０に直接印加してフィードバックを行わせることが可能である。いくつかの実施態様において、フィードバック制御モジュール１１１は、受信した制御信号に基づいてフィードバック応答を決めるよう構成することができる。フィードバック制御モジュール１１１は、一つ以上の種類のフィードバックと生成対象の指定フィードバックの種類の一つ以上のフィードバック信号とを含むフィードバック応答を提供することができる。フィードバック制御モジュール１１１は、フィードバック応答の指定フィードバック信号を生成し、そのフィードバック信号をそれら信号が対応するそれぞれのフィードバック・デバイス１２０に送信するよう構成することが可能である。

【0089】

デバイス１００の一つ以上のフィードバック・デバイス１２０は、デバイス１００を介してフィードバックを提供することができる。いくつかの実施態様において、提供するフィードバックは、フィードバック制御モジュール１１１から受信した一つ以上のフィードバック信号に基づくものとすることが可能である。このフィードバックは、ＡＲ環境５００内で検出されたイベントに対応させることができる。例えば、フィードバックはイベントを表すことができる。

【0090】

図７は、本発明のある実施態様による、ＡＲ環境に基づいてフィードバックを提供する例示的なプロセスのフローチャートを示す。

【0091】

オペレーション７０２で、デバイス１００とＡＲデバイス２００との間に通信チャネル３００を確立することができる。

【0092】

オペレーション７０４で、ＡＲデバイス２００のＡＲ環境５００内でデバイス１００を検出することが可能である。例えば、ＡＲデバイス２００の撮像デバイス２２０は、ＡＲ環境５００の物理空間５２０中の画像を捕捉することができる。ＡＲデバイス２００のプロセッサ２１０のオブジェクト認識モジュール２１１は、撮像デバイス２２０によって捕捉された画像データに基づいて、デバイス１００を検出することが可能である。いくつかの実施態様において、デバイス１００は、画像中のオブジェクトを検出することができ、検出されたオブジェクトに関連付けられたデータに基づいて、該オブジェクトがデバイスかどうかを判定することが可能である。いくつかの実施態様において、オブジェクト認識モジュール２１１は、デバイス１００に配された識別指標に基づいてデバイス１００を検出することができる。いくつかの実施態様においては、ＡＲデバイスのプロセッサ２１０は、デバイス１００の識別指標に基づいてデバイス１００を検出することが可能である。この識別指標には、可視の光学署名（例えば、可視波長内の光の光学署名）または不可視の署名（例えば、可視波長外の光の光学署名）を含めることが可能である。いくつかの実施態様において、デバイス１００の表面にＡＲシンボルを配置することができる。オブジェクト認識モジュール２１１は、デバイス１００上に配置されたＡＲシンボルに基づいてデバイス１００を検出することが可能である。いくつかの実施態様において、ＡＲデバイスのプロセッサ２１０は、可聴署名、赤外線署名、および／または、デバイス１００が発する他の署名に基づいてデバイス１００を検出することができる。

【0093】

オペレーション７０６で、デバイス１００は、ＡＲデバイス２００から、ＡＲ環境５００内でのデバイス１００の認識を示す制御信号を受信することができる。オブジェクト認識モジュール２１１およびプロセッサ２１０のうちの一つ以上が、ＡＲ環境５００内でデバイス１００を識別したとき、イベント処理モジュール２１３にデバイス１００の認識を示すデータを送信することが可能である。イベント処理モジュール２１３は、オブジェクト認識モジュール２１１から受信したデータをストレージ中に格納されたデータと比較して、そのデータがあるイベントと関連付けられているかどうかを判定することができる。受信した情報の一部または全部が、デバイス１００の認識を含むイベントに関連している場合、イベント処理モジュール２１３は、受信情報およびデバイス１００の認識に関連するデータを含むイベント・データを、制御信号生成モジュール２１４に送信することが可能である。制御信号生成モジュール２１４は、イベント処理モジュール２１３からイベント・データを受信し、デバイス１００に送信するため、該イベント・データに基づいて制御信号を生成するよう構成することができる。

【0094】

プロセッサ１１０のフィードバック制御モジュール１１１は、制御信号生成モジュール２１４によって生成された制御信号を受信することが可能である。該制御信号は、ＡＲ環境５００中のイベント発生の検出を示すことができる。

【0095】

オペレーション７０８で、ＡＲ環境５００内でのデバイス１００の認識を示すフィードバックを、デバイス１００を介して提供することが可能である。フィードバック制御モジュール１１１は、フィードバック・デバイス１２０に、デバイス１００を介してフィードバックを提供させることができる。いくつかの実施態様において、フィードバック制御モジュール１１１は、フィードバック・デバイス１２０に対し制御信号を与えるよう構成することが可能である。これらの実施形態において、該制御信号をフィードバック・デバイス１２０に直接印加してフィードバックを行わせることができる。いくつかの実施態様において、フィードバック制御モジュール１１１は、受信された制御信号に基づいてフィードバック応答を決めるよう構成することが可能である。フィードバック制御モジュール１１１は、フィードバック応答の指定フィードバック信号を生成し、該フィードバック信号を、それら信号が対応するそれぞれのフィードバック・デバイス１２０に送信するよう構成することが可能である。

【0096】

フィードバックはデバイス１００を介して提供することができる。例えば、デバイス１００の一つ以上のフィードバック・デバイス１２０は、デバイス１００を介してフィードバックを提供することが可能である。いくつかの実施態様において、提供するフィードバックは、フィードバック制御モジュール１１１から受信された一つ以上のフィードバック信号に基づくものとすることができる。このフィードバックは、ＡＲ環境５００内で検出されたイベントに対応させることが可能である。例えば、フィードバックは、ＡＲ環境５００内でのデバイス１００の認識を表すことができる。

【0097】

オペレーション７１０で、デバイス１００とＡＲ環境５００との間の相互作用を検出することが可能である。例えば、ある相互作用は、入力コンポーネント１５０を介して受け取られデバイス１００から受信された入力に基づいて検出することができる。相互作用は、ＡＲ環境５００中のデバイス１００の認識、ＡＲ環境５００中のデバイス１００の移動、デバイス１００とＡＲ環境５００の物理空間５２０中の物理オブジェクト５２０ａとの相互作用、デバイス１００とＡＲ環境５００の仮想空間５１０中の仮想オブジェクト５１０ａとの相互作用、ＡＲ環境５００中のデバイス１００によって提供されるフィードバック（例えば、物理空間５１０中で提供される視覚フィードバックおよび／またはＡＲデバイス２００が認識可能な他のフィードバック）、ＡＲ環境５００中でのユーザの認識、ＡＲ環境５００中でのユーザの移動、ユーザとＡＲ環境５００の物理空間５２０中の物理オブジェクト５２０ａとの相互作用、ユーザとＡＲ環境の仮想空間５１０中の仮想オブジェクト５１０ａとの相互作用、および／またはデバイス１００とＡＲ環境５００との間の別の相互作用、に基づいて検出することが可能である。

【0098】

オペレーション７１２で、デバイス１００は、ＡＲデバイス２００から、デバイス１００とＡＲ環境５００との間の相互作用を示す制御信号を受信することができる。ＡＲデバイス２００（例えば、オブジェクト認識モジュール２１１、イベント処理モジュール２１３、制御信号生成モジュール２１４、および／またはＡＲデバイス２００の他のモジュールまたはデバイスを含む）が、サービス１００とＡＲ環境５００との間の相互作用を検出した場合、ＡＲデバイス２００（例えば、イベント処理モジュール２１３、制御信号生成モジュール２１４、および／またはＡＲデバイス２００の他のモジュールまたはデバイスを含む）は、相互作用の検出に基づいて、デバイス１００に送信するための制御信号を生成することが可能である。

【0099】

プロセッサ１１０のフィードバック制御モジュール１１１は、ＡＲデバイス２００によって生成された制御信号を受信することができる。この制御信号は、デバイス１００とＡＲ環境５００との間の相互作用の検出に基づくものとすることが可能である。

【0100】

オペレーション７１４で、デバイス１００を介して、該相互作用を示すフィードバック提供することが可能である。フィードバック制御モジュール１１１は、フィードバック・デバイス１２０に、デバイス１００を介してフィードバックを提供させることができる。いくつかの実施態様において、フィードバック制御モジュール１１１は、フィードバック・デバイス１２０に制御信号を与えるよう構成することが可能である。これらの実施形態において、制御信号をフィードバック・デバイス１２０に直接印加してフィードバックを行わせることができる。いくつかの実施態様において、フィードバック制御モジュール１１１は、受信された制御信号に基づいてフィードバック応答を決めるよう構成することが可能である。フィードバック制御モジュール１１１は、フィードバック応答の指定フィードバック信号を生成し、該フィードバック信号を、それら信号が対応するそれぞれのフィードバック・デバイス１２０に送信するよう構成することが可能である。

【0101】

フィードバックはデバイス１００を介して提供することができる。例えば、デバイス１００の一つ以上のフィードバック・デバイス１２０は、デバイス１００を介してフィードバックを提供することが可能である。いくつかの実施態様において、提供するフィードバックは、フィードバック制御モジュール１１１から受信された一つ以上のフィードバック信号に基づくものとすることができる。このフィードバックは、デバイス１００とＡＲ環境５００との間で検出された相互作用に対応させることが可能である。例えば、フィードバックは、デバイス１００とＡＲ環境５００との間の相互作用を表すことが可能である。

【0102】

オペレーション７１６で、ＡＲ環境５００内でのデバイス１００の位置および／または方位を検出することができる。いくつかの実施態様において、デバイス１００の位置／方位デバイス１４０は、通信チャネル３００を介して、ＡＲデバイス２００に位置、方位、またはその両方を提供するよう構成することが可能である。例えば、位置／方位デバイス１４０には、ジャイロスコープ、地理空間測位デバイス、コンパス、および／または他の方位／位置確認デバイスを含めることが可能である。ＡＲデバイス２００のプロセッサ２１０は、受信された位置および／または方位に基づいて、ＡＲ環境５００内のデバイス１００の位置および／またはデバイス１００の方位を判定するよう構成することができる。いくつかの実施態様において、デバイス１００上に、位置インジケータ画像および／または方位インジケータ画像を配置することができる。オブジェクト認識モジュール２１１は、ウェアラブル・オブジェクト１００が、撮像デバイスの視界内および／またはＡＲ環境５００の物理空間５２０内にあることを認識する際に、この位置インジケータ画像および／または方位インジケータ画像を認識することが可能である。位置インジケータ画像および／または方位インジケータ画像のデータは、オブジェクト認識モジュール２１１、イベント処理モジュール２１３、および／またはＡＲデバイス２００の他のモジュールによって処理され、ＡＲ環境５００内のデバイス１００の位置および／または方位を判定することができる。

【0103】

オペレーション７１８で、ＡＲ環境５００中の仮想オブジェクトのある近接域内に、デバイス１００があることを検出することができる。いくつかの実施態様において、ＡＲデバイス２００は、ＡＲ環境５００中のデバイス１００の位置および／または方位の測定に基づいて、デバイス１００がＡＲ環境５００中の仮想オブジェクト（例えば、仮想オブジェクト５１０ｎ）のある近接域内にあるかどうかを判定することが可能である。

【0104】

オペレーション７２０で、デバイス１００は、ＡＲデバイス２００から、ＡＲ環境５００の仮想オブジェクトの一つ以上の特性を示す制御信号を受信することができる。デバイス１００は、仮想オブジェクト５１０ａの一つ以上の特性を示す制御信号を受信することが可能である。いくつかの実施態様において、デバイス１００は、仮想オブジェクト５１０ａのある近接域内での当デバイスの検出に基づいた制御信号を受信することができる。いくつかの実施態様において、デバイス１００は、仮想オブジェクト５１０ａに対するデバイス１００の位置の検出とは切り離して制御信号を受信することが可能である。

【0105】

オペレーション７２２で、仮想オブジェクトにコーディネートされたフィードバックをデバイス１００を介して提供することができる。プロセッサ１１０のフィードバック制御モジュール１１１は、仮想オブジェクト５１０ａの一つ以上の特性を示す制御信号を受信することが可能である。フィードバック制御モジュール１１１は、仮想オブジェクト５１０ａの一つ以上の特性に基づいて、フィードバック・デバイス１２０に、デバイス１００を介してフィードバックを提供させることができる。フィードバック制御モジュール１１１は、受信した制御信号に基づいてフィードバック応答を決めるように構成することが可能である。フィードバック制御モジュール１１１は、フィードバック応答の指定フィードバック信号を生成し、該フィードバック信号を、それら信号が対応するそれぞれのフィードバック・デバイス１２０に送信するよう構成することが可能である。該フィードバック信号は、それぞれのフィードバック・デバイス１２０に、仮想オブジェクト５１０ａの一つ以上の特性に対応するフィードバックを提供させることができる。

【0106】

デバイス１００の一つ以上のフィードバック・デバイス１２０は、デバイス１００を介して、仮想オブジェクト５１０ａの一つ以上の特性に対応するフィードバックを提供することが可能である。例えば、仮想オブジェクト５１０ａの一つ以上の特性が、色、パターン、および／または他の視覚特性を含む場合、フィードバック・デバイス１２０は、同じ色、対応する視覚、聴覚、および／または触覚パターンのフィードバック、および／または他の対応するフィードバックを提供することができる。いくつかの実施態様において、フィードバック・デバイス１２０は、デバイス１００の部分にある発行バンドを介してフィードバックを提供することが可能である。発光バンドには、仮想オブジェクト５１０ａにコーディネートされた、色、パターン、および／または他の視覚特性を含めることができる。

【0107】

オペレーション７２４で、ユーザとＡＲ環境５００との間の相互作用を検出することが可能である。例えば、相互作用は、撮像デバイス２２０、通信ポート２３０、および／または他のデバイスを介しＡＲデバイス２００から受信された入力に基づいて検出することができる。相互作用は、ＡＲ環境５００中でのユーザの認識、ＡＲ環境５００中でのユーザの移動、ユーザとＡＲ環境５００の物理空間５２０中の物理オブジェクト５２０ａとの相互作用、ユーザとＡＲ環境５００の仮想空間５１０中の仮想オブジェクト５１０ａとの相互作用、ＡＲ環境５００の物理空間５２０中の物理オブジェクト５２０ａのある物理的近接域内でのユーザの検出、ＡＲ環境５００の仮想空間５１０中の仮想オブジェクト５１０ａのある近接域内でのユーザの検出、および／またはユーザとＡＲ環境５００との間の別の相互作用、に基づいて検出することが可能である。いくつかの実施態様において、ＡＲデバイス２００（例えば、オブジェクト認識モジュール２１１、イベント処理モジュール２１３、制御信号生成モジュール２１４、および／またはＡＲデバイス２００の他のモジュールまたはデバイスを含む）は、デバイス１００および／またはＡＲデバイス２００に関連する情報を有するユーザ間の相互作用だけを検出することができる。いくつかの実施態様において、ＡＲデバイス２００（例えば、オブジェクト認識モジュール２１１、イベント処理モジュール２１３、制御信号生成モジュール２１４、および／またはＡＲデバイス２００の他のモジュールまたはデバイスを含む）は、任意のユーザとＡＲ環境５００との間の相互作用を検出することが可能である。

【0108】

オペレーション７２６で、デバイス１００は、ＡＲデバイス２００から、ユーザとＡＲ環境５００との間の相互作用を示す制御信号を受信することができる。ＡＲデバイス２００（例えば、オブジェクト認識モジュール２１１、イベント処理モジュール２１３、制御信号生成モジュール２１４、および／またはＡＲデバイス２００の他のモジュールまたはデバイスを含む）が、ユーザとＡＲ環境５００との間の相互作用を検出したとき、ＡＲデバイス２００（例えば、イベント処理モジュール２１３、制御信号生成モジュール２１４、および／またはＡＲデバイス２００の他のモジュールまたはデバイスを含む）は、その相互作用の検出に基づいて、デバイス１００への送信のための制御信号を生成することが可能である。

【0109】

プロセッサ１１０のフィードバック制御モジュール１１１は、ＡＲデバイス２００によって生成された制御信号を受信することができる。該制御信号は、ユーザとＡＲ環境５００との間の相互作用の検出に基づくものとすることが可能である。

【0110】

オペレーション７２８で、デバイス１００を介して、該相互作用を示すフィードバックを提供することができる。フィードバック制御モジュール１１１は、フィードバック・デバイス１２０に、デバイス１００を介してフィードバック提供させることが可能である。いくつかの実施態様において、フィードバック制御モジュール１１１は、フィードバック・デバイス１２０に制御信号を与えるよう構成することができる。これらの実施形態において、制御信号をフィードバック・デバイス１２０に直接印加してフィードバックを行わせることができる。いくつかの実施形態において、フィードバック制御モジュール１１１は、受信された制御信号に基づいてフィードバック信号を決めるよう構成することが可能である。フィードバック制御モジュール１１１は、フィードバック応答の指定フィードバック信号を生成し、そのフィードバック信号を、それら信号が対応するそれぞれのフィードバック・デバイス１２０に送信するよう構成することができる。

【0111】

フィードバックはデバイス１００を介して提供することができる。例えば、デバイス１００の一つ以上のフィードバック・デバイス１２０は、デバイス１００を介してフィードバックを提供することが可能である。いくつかの実施態様において、提供するフィードバックは、フィードバック制御モジュール１１１から受信した一つ以上のフィードバック信号に基づくものとすることができる。このフィードバックは、デバイス１００とＡＲ環境５００との間で検出された相互作用に対応させることが可能である。例えば、フィードバックは、デバイス１００とＡＲ環境５００との間の相互作用を表すことができる。本開示のシステム（群）および／または方法（群）は、現在、最も実用的で好ましいと考えられる実施態様に基づいて、例示のために詳細に説明してきたが、当然ながら、かかる詳細は例示目的のためだけのものであって、本開示は、開示された実施態様に限定されるものでなく、それどころか、添付の請求項の精神および範囲内にある変更および等価なアレンジメントを網羅するよう意図されている。例えば、当然ながら、本開示は、可能な程度において任意の実施態様の一つ以上の特徴と任意の他の実施態様の一つ以上の特徴との組み合わせが可能なことを想定している。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図6】

【図7】