特許 6598500 ビューポートベースの拡張現実感触覚効果のシステム、方法及び非一時的コンピュータ可読媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6598500

(24)【登録日】2019年10月11日

(45)【発行日】2019年10月30日

(54)【発明の名称】ビューポートベースの拡張現実感触覚効果のシステム、方法及び非一時的コンピュータ可読媒体

(51)【国際特許分類】

   G06F 3/01 20060101AFI20191021BHJP

   G06T 19/00 20110101ALI20191021BHJP

【ＦＩ】

   G06F3/01 560

   G06F3/01 510

   G06T19/00 600

   G06T19/00 C

【請求項の数】17

【外国語出願】

【全頁数】27

(21)【出願番号】特願2015-92512(P2015-92512)

(22)【出願日】2015年4月30日

(65)【公開番号】特開2015-212946(P2015-212946A)

(43)【公開日】2015年11月26日

【審査請求日】2018年2月19日

(31)【優先権主張番号】14/269,357

(32)【優先日】2014年5月5日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】500390995

【氏名又は名称】イマージョン コーポレーション

【氏名又は名称原語表記】ＩＭＭＥＲＳＩＯＮ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100111235

【弁理士】

【氏名又は名称】原 裕子

(72)【発明者】

【氏名】レベスク、 ビンセント

(72)【発明者】

【氏名】グラント、 ダニー

【審査官】 円子 英紀

(56)【参考文献】

【文献】 国際公開第２０１３／０８５６３９（ＷＯ，Ａ１）

【文献】 特開２００９−２７６９９６（ＪＰ，Ａ）

【文献】 特開２００２−３０４２４６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

システムであって、
ディスプレイ信号を受信し、画像を出力するように構成されるディスプレイと、
領域画像を撮像し、画像信号を伝送するように構成される画像撮像デバイスと、
前記画像撮像デバイス及び前記ディスプレイと通信するプロセッサであって、
前記画像信号を受信することと、
前記領域画像における身体部分を特定することと、
前記領域画像における身体部分に関連するウェアラブルデバイスを特定することと、
前記画像信号に部分的に基づいて、前記身体部分に関連する仮想的に生成されたウェアラブルデバイスを決定することと、
前記画像信号に部分的に基づいて前記ディスプレイ信号を決定することであって、前記ディスプレイ信号は前記仮想的に生成されたウェアラブルデバイスに関連するデータを含むことと、
前記仮想的に生成されたウェアラブルデバイスに少なくとも部分的に基づいて触覚効果を決定することと、
前記触覚効果に関連する触覚信号を伝送することと
を行うように構成されるプロセッサと、
前記触覚信号を受信し、前記触覚効果を出力するように構成される触覚出力デバイスと
を含むシステム。

【請求項2】

前記ディスプレイはタッチスクリーンディスプレイを含む請求項１のシステム。

【請求項3】

前記ディスプレイ信号は前記領域画像の上に重畳される前記仮想的に生成されたウェアラブルデバイスを含む請求項１のシステム。

【請求項4】

前記触覚出力デバイスは、ユーザが装着するように構成される品物に結合される請求項１のシステム。

【請求項5】

前記品物は、スリーブ、腕時計、ブレスレット、リストバンド、衣類、ジャケット、眼鏡、手袋、指輪、ヘッドバンド、帽子、又は靴を含む請求項４のシステム。

【請求項6】

前記触覚効果は、
振動、
シミュレートされる肌触り、
知覚される摩擦係数の変化、又は
固体、液体、気体、プラズマ、若しくは集中された圧力波の１つ以上の放出
の１つ以上を含む請求項１のシステム。

【請求項7】

前記触覚効果を決定することはさらに、前記仮想的に生成されたウェアラブルデバイスとユーザとの相互作用を決定することを含み、
前記触覚効果は前記ユーザとの相互作用に少なくとも部分的に基づく請求項１のシステム。

【請求項8】

方法であって、
領域画像を含む画像信号を受信することと、
前記領域画像における身体部分を特定することと、
前記領域画像における身体部分に関連するウェアラブルデバイスを特定することと、
前記画像信号に部分的に基づいて、前記身体部分に関連する仮想的に生成されたウェアラブルデバイスを決定することと、
前記画像信号に部分的に基づいて、前記仮想的に生成されたウェアラブルデバイスに関連するデータを含むディスプレイ信号を決定することと、
前記ディスプレイ信号を、画像を出力するように構成されるディスプレイに伝送することと、
前記仮想的に生成されたウェアラブルデバイスに少なくとも部分的に基づいて触覚効果を決定することと、
前記触覚効果に関連する触覚信号を触覚出力デバイスに伝送することと、
前記触覚効果を出力することと
を含む方法。

【請求項9】

前記ディスプレイはタッチスクリーンディスプレイを含む請求項８の方法。

【請求項10】

前記ディスプレイ信号は、前記領域画像に重畳される前記仮想的に生成されたウェアラブルデバイスを含む請求項８の方法。

【請求項11】

前記触覚出力デバイスは、ユーザが装着するように構成される品物と結合される請求項８の方法。

【請求項12】

前記品物は、スリーブ、腕時計、ブレスレット、リストバンド、衣類、ジャケット、眼鏡、手袋、指輪、ヘッドバンド、帽子、又は、靴を含む請求項１１の方法。

【請求項13】

前記触覚効果は、
振動、
シミュレートされる肌触り、
知覚される摩擦係数の変化、又は
固体、液体、気体、プラズマ、若しくは集中された圧力波の１つ以上の放出
の1つ以上を含む請求項８の方法。

【請求項14】

前記触覚効果を決定することはさらに、
前記仮想的に生成されたウェアラブルデバイスとのユーザ相互作用を決定することを含み、
前記触覚効果は前記ユーザ相互作用に少なくとも部分的に基づく請求項８の方法。

【請求項15】

プログラムコードを含む非一時的コンピュータ可読媒体であって、
プロセッサによって実行されると前記プロセッサに、
領域画像を含む画像信号を受信することと、
前記領域画像における身体部分を特定することと、
前記領域画像における身体部分に関連するウェアラブルデバイスを特定することと、
前記画像信号に部分的に基づいて、前記身体部分に関連する仮想的に生成されたウェアラブルデバイスを決定することと、
前記画像信号に部分的に基づいて、前記仮想的に生成されたウェアラブルデバイスに関連するデータを含むディスプレイ信号を決定することと、
前記ディスプレイ信号を、画像を出力するように構成されるディスプレイに伝送することと、
前記仮想的に生成されたウェアラブルデバイスに少なくとも部分的に基づいて触覚効果を決定することと、
前記触覚効果に関連する触覚信号を触覚出力デバイスに伝送することと、
前記触覚効果を出力することと
を行わせるように構成される非一時的コンピュータ可読媒体。

【請求項16】

前記触覚出力デバイスは、ユーザが装着するように構成される品物と結合される請求項１５の非一時的コンピュータ可読媒体。

【請求項17】

前記触覚効果を決定することはさらに、前記仮想的に生成されたウェアラブルデバイスとユーザとの相互作用を決定することを含み、
前記触覚効果はユーザとの相互作用に少なくとも部分的に基づく請求項１５の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はユーザインターフェースデバイスの分野に関する。より詳細には、本発明はビューポートベースの拡張現実感触覚効果に関する。

【背景技術】

【0002】

コンピュータベースのシステムが広く普及するにつれて、人間がこれらのシステムと相互作用するインターフェースの質の重要性は増してきている。ユーザインターフェースの１つの共通したタイプは拡張現実感ユーザインターフェースである。拡張現実感インターフェースでは典型的にはユーザは、ディスプレイを介して、仮想のコンテンツで補完された（「拡張された（ａｕｇｍｅｎｔｅｄ）」）カメラデータを見ることができる。この仮想のコンテンツには、カメラデータに関連するシーンの態様に関する追加の情報としてユーザに提供されるテキスト、画像、または音が含まれる。拡張現実感インターフェースは触覚能力を含むことで改良され得る。

【発明の概要】

【課題を解決するための手段】

【0003】

本発明の開示の実施形態には、ビューポートベースの拡張現実感触覚効果を備えるコンピュータデバイスが含まれる。１つの実施形態では、本発明の開示のシステムはディスプレイ信号を受信し、画像を出力するように構成されるディスプレイ、および、領域画像を撮像および画像信号を伝送するように構成される画像撮像デバイス（例えば、カメラ）を含むことができる。当該システムは画像撮像デバイスおよびディスプレイと通信するプロセッサをも含み、当該プロセッサは：画像信号を受信し；画像信号の一部に基づいて仮想オブジェクトを決定し；画像信号の一部に基づいてディスプレイ信号を決定し、ここでディスプレイ信号は仮想オブジェクトに関連するデータを含み；仮想オブジェクトのすくなくとも一部に基づいて触覚効果を決定し；および触覚効果に関連する触覚信号を伝送するように構成される。当該システムは触覚信号を受信し、触覚効果を出力するように構成される触覚出力デバイスをさらに含む。

【0004】

別の実施形態では、本発明の開示の方法は：画像信号を受信する工程であって、画像信号が領域画像を含む工程；前記画像信号の一部に基づいて仮想オブジェクトを決定する工程；前記画像信号の一部に基づいてディスプレイ信号を決定する工程であって、前記ディスプレイ信号は仮想オブジェクトに関連するデータを含む工程；および前記ディスプレイ信号をディスプレイに伝送する工程であって、前記ディスプレイは画像を出力するように構成される工程と、を含む。当該方法は前記仮想オブジェクトのすくなくとも一部に基づいて触覚効果を決定する工程と；触覚効果に関連する触覚信号を触覚出力デバイスに伝送する工程と；および前記触覚効果を出力する工程をさらに含むことができる。さらに別の実施形態では当該方法を実装するためのコンピュータ読み取り可能なメディアを含む。

【0005】

この例示的実施形態は本発明を制限すること、または、本発明の制限を規定するために開示されたわけではなく、本発明の理解を促進するために実施例が提供される。例示的実施形態が詳細な説明に開示され、および、さらなる説明が明細書に開示される。種々の実施形態によって提供される利点は、本明細書を検討し、および／または、本発明の一実施形態または複数の実施形態を実施することによってさらに理解される。

【0006】

完全な実施を可能とする開示が明細書の残りにおいてより詳細に説明される。明細書は、以下の添付された図面を参照する。

【図面の簡単な説明】

【0007】

【図1】１つの実施形態によるビューポートベースの拡張現実感触覚効果のためのシステムを示すブロック図である。

【図2】ビューポートベースの拡張現実感触覚効果のためのシステムの実施形態である。

【図3】ビューポートベースの拡張現実感触覚効果のためのシステムの別の実施形態である。

【図4】１つの実施形態によるビューポートベースの触覚効果のためのシステムである。

【図5】別の実施形態によるビューポートベースの拡張現実感触覚効果のためのシステムである。

【図6】１つの実施形態によるビューポートベースの拡張現実感触覚効果を提供するための方法を実施するためのステップのフローチャートである。

【図7】別の実施形態によるビューポートベースの拡張現実感触覚効果のためのシステムである。

【発明を実施するための形態】

【0008】

ここで様々なおよび代替的な描写的実施形態と付随する図面を詳細に参照する。各例は、限定としてではなく説明として提供されている。変更および変形を行うことができることは当業者には明らかであろう。例えば、一実施形態の一部として描写または記載された特徴は、別の実施形態で使われてもっと更なる実施形態を生み出しても良い。よって、この開示は、添付の請求項とそれらの等価物の範囲内に入る変更および変形を含むことが意図されている。

【0009】

ビューポートベースの拡張現実感触覚効果の例示実施例
本発明の開示の一例示実施形態はスマートフォン等の携帯デバイスを含む。携帯デバイスはタッチスクリーンディスプレイ、メモリ、カメラ、およびこれらの要素のそれぞれと通信するプロセッサを含む。タッチスクリーンディスプレイはビューポートを含む。ビューポートはスクリーンの領域から構成され、ここでデータ（例えば、テキストまたは画像）が表示される。いくつかの実施形態では、ビューポートはスクリーンの全領域から構成されてもよい。

【0010】

例示実施形態では、携帯デバイスは拡張現実感アプリケーションをも含む。拡張現実感アプリケーションは、ディスプレイを介して、テキストまたは画像等の仮想のコンテンツで補完された（「拡張された（ａｕｇｍｅｎｔｅｄ）」）カメラデータを出力する。仮想のコンテンツは静止画または動画のいずれであってもよい。例示実施形態では、ユーザは拡張現実感アプリケーションを実行し、および、携帯デバイスで画像を撮像するために携帯デバイスのカメラを使用することができる。例えば、カメラで家の部屋の画像を撮像するように、ユーザは携帯デバイスを向けることができる。当該実施形態では、拡張現実感アプリケーションはカメラから画像データを受信し、および、このデータをタッチスクリーンディスプレイに出力する。いくつかの実施形態では、この画像データはリアルタイムで更新することができ、例えば、拡張現実感アプリケーションはカメラから更新された画像データを受信し続けることができる。いくつかの実施形態では、ユーザがあたかもディスプレイを通して見ているように、ユーザはカメラデータを知覚することができる。

【0011】

例示実施形態では、ユーザは拡張現実感アプリケーションに含まれるべき仮想オブジェクトを選択することができる。例えば、ユーザは拡張現実感アプリケーションのカタログから１つの家具に関連する仮想オブジェクトを選択することができる。当該実施形態では、拡張現実感アプリケーションはタッチスクリーンディスプレイに家具のグラフィカル表現を生成する。例えば、拡張現実感アプリケーションは、タッチスクリーンディスプレイを介して部屋の家具である、ユーザが見ることのできる家具の３次元（３Ｄ）仮想表現を生成することができる。さらに、例示実施形態では、ユーザは異なる位置および異なる方向、スケール、および色の仮想オブジェクト（例えば、家具の画像）を見るためにアプリケーションを使用することができる。したがって、例示実施形態では、デザイナー、流通業者、小売業者、または他の販売者は、ユーザが購入する前に商品を見て選択することができる拡張現実感アプリケーションおよびカタログを提供することができる。他の実施形態では、拡張現実感アプリケーションは、例えば、会社、製品、または位置に関する追加の情報（例えば、住所、価格情報、履歴情報、教育情報、または評価）をユーザに提供するため、および／または、カメラが撮像したシーンにオブジェクト（例えば、人、動物、建物、景観の特徴、自動車）をユーザが追加、修正、または、削除するために使用されることができる。

【0012】

例示実施形態では、タッチスクリーンにジェスチャー（例えば、タッチスクリーンの上にディスプレイされるオブジェクトに指のスワイプまたはタッチ）をすることによって、ユーザは画像または仮想オブジェクトを変えることができる。上述したように、例示実施形態では、拡張現実感アプリケーションはカメラのデータの上に仮想オブジェクトを重ねる。例示実施形態では、デバイスの方向を変えることによって、または、タッチスクリーンディスプレイにジェスチャーをすることによって、ユーザは仮想オブジェクトの位置、方向、スケール、色、または他の要因を変更することができる。これによってさまざまな位置の中の適切な位置の仮想オブジェクト（例えば、さまざまな部屋で１つの家具がどのように見えるか）をユーザは知覚することができる。

【0013】

例示実施形態では、携帯デバイスは触覚出力デバイスをさらに含む。触覚出力デバイスは携帯デバイスからの信号を受信し、および、触覚効果をユーザに出力する。例示実施形態では、触覚効果は、シミュレートされる肌触り、振動、または、摩擦係数の知覚され得る変化を含むことができる。さらに、例示実施形態では、触覚出力デバイスは携帯デバイスから遠隔に位置する触覚効果（以下「遠隔触覚効果」と称する）を出力する。例えば、ユーザ方向への集中された圧力波によって、または、噴霧器からユーザに固体、液体、または気体を放出することによって、触覚出力デバイスは遠隔触覚効果を出力することができる。または、いくつかの実施形態では触覚出力デバイスは携帯デバイスから分離してもよい。例えば、触覚出力デバイスは、身につけることが可能な品物（例えば、スリーブ、腕時計、ブレスレット、衣類、ジャケット、眼鏡、手袋、指輪、ヘッドバンド、帽子、または、靴）に対応し、携帯デバイスと無線通信可能に（例えば、ネットワーク接続、ブルートゥース（登録商標）接続、または、他の有線または無線接続を介して）結合されることができる。

【0014】

例示実施形態では、携帯デバイスは、イベントが発生すると触覚出力デバイスを介して触覚効果を出力するように構成される。本明細書で使用される場合イベントとは、デバイスの動作中に発生し、関連する触覚効果を潜在的に含み得る、いずれかの相互作用、動作、衝突、または、他のイベントである。例示実施形態では、イベントには、仮想オブジェクトの存在（例えば、仮想の１つの家具の存在）、携帯デバイスとの相互作用（例えば、携帯デバイスを傾けるまたは移動させる、タッチスクリーンディスプレイとの相互作用）、携帯デバイスの状態の変化、データの受信、データの送信、プログラム活動（例えば、ゲーム活動）、仮想オブジェクトとの相互作用、仮想オブジェクトの移動（例えば、仮想オブジェクトの移動またはバウンシング（ｂｏｕｎｃｉｎｇ））、および／または、仮想オブジェクトのスケール、位置、方向、色、または、他の特性の変化が含まれる。

【0015】

例えば、例示実施形態では、ユーザが仮想オブジェクトと相互作用（例えば、仮想の１つの家具に対応する位置へのタッチ、または、仮想オブジェクトに対応する実空間の領域へのタッチ）をした場合、または、（例えば、色、サイズ、または方向を変えるために）タッチスクリーンディスプレイの表面上へジェスチャーをした場合に、携帯デバイス効果を出力する。さらに、触覚効果は、仮想オブジェクトに関係があり得る。例えば、例示実施形態では、仮想の家具に対応するタッチスクリーン位置でユーザと相互作用があった場合には、携帯デバイスは仮想の家具（例えば、木、ガラス、金属、または、樹脂）に対応する材料に関連する触覚効果を決定し、これらの材料の１つ以上に関連する触覚効果（例えば、材料の肌触りをユーザにシミュレートするように構成される触覚効果）を出力する。別の実施例のように、例示実施形態では、ユーザが１つの仮想の家具に対応する実空間の領域にタッチすると、携帯デバイスは、例えば、ユーザの手の裏側に放出される一吹きの空気を含む遠隔触覚効果を出力する。ユーザが実空間の仮想オブジェクトとあたかも相互作用しているかのように、ユーザは遠隔触覚効果を知覚することができる。

【0016】

上述の例示実施形態の説明は単に説明するためだけに記載される。本発明のさまざまな他の実施形態が本明細書に開示され、および、当該実施形態の変形形態は当業者によって理解されるであろう。さまざまな実施形態で提供される有利な点はこの明細書を分析、および／または、主張される主題内容の１つ以上の実施形態を実施することによってさらに理解されるであろう。

【0017】

ビューポートベースの拡張現実感触覚効果のための例示システム
図１は、１つの実施形態によるビューポートベースの拡張現実感触覚効果のためのシステム１００を示すブロック図である。図示される実施形態では、システム１００はバス１０６を介して他のハードウェアと通信するプロセッサ１０２を備えるコンピュータデバイス１０１を含む。コンピュータデバイス１０１には、例えば、スマートフォン、タブレット、電子書籍リーダ、ラップトップコンピュータ、携帯ゲームデバイス、頭部に装着するディスプレイ、または眼鏡が挙げられる。

【0018】

ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、または同様のもの等のいずれかの適切なタンジブルな（ｔａｎｇｉｂｌｅ）（および非一時的な）コンピュータ読み取り可能なメディアを含むことができるメモリ１０４は、コンピュータデバイス１０１を動作させるように構成されるプログラムコンポーネントを具体化させる。図示される実施形態では、コンピュータデバイス１０１は、１つ以上のネットワークインターフェースデバイス１１０、入力／出力（Ｉ／Ｏ）インターフェースコンポーネント１１２、および記憶装置１１４をさらに含む。

【0019】

ネットワークデバイス１１０は、ネットワーク接続を促進する１つ以上のいずれかのコンポーネントを示し得る。実施例には、これに限定されるわけではないが、イーサネット（登録商標）、ＵＳＢ、ＩＥＥＥ１３９４等の有線インターフェース、および／または、ＩＥＥＥ８０２．１１、ブルートゥース（登録商標）等の無線インターフェース、または、携帯電話ネットワークにアクセスするための無線インターフェース（例えば、ＣＤＭＡ、ＧＭ、ＵＭＴ、または他の移動通信ネットワークにアクセスするための送受信機／アンテナ）が挙げられる。

【0020】

Ｉ／Ｏコンポーネント１１２は、データを入力またはデータを出力するために使用される１つ以上のディスプレイ１３４、ゲームコントローラ、キーボード、マウス、ジョイスティックス、カメラ、ボタン、スピーカー、マイクロフォン、および／または他のハードウェア等のデバイスへの有線接続または無線接続を補助するように使用することができる。記憶装置１１４は、デバイス１０１に含まれる、または、プロセッサ１０２と結合する磁気記憶媒体、光学記憶媒体、または、他の記憶媒体等の不揮発性記憶装置を示す。

【0021】

システム１００は、この実施例では、コンピュータデバイス１０１と一体化したタッチ感知表面１１６をさらに含む。タッチ感知表面１１６は、ユーザの触覚入力を感知するように構成されるいずれかの表面を示す。１つ以上のタッチセンサ１０８は、オブジェクトがタッチ感知表面１１６と接触した場合のタッチ領域のタッチを検出し、および、プロセッサ１０２によってユーザのための適切なデータを提供するように構成される。いずれかの適切な数、タイプ、または配列のセンサを使用することができる。例えば、抵抗性および／または容量性センサをタッチ感知表面１１６に設け、並びに、タッチ位置、および、圧力、速度、および／または方向等の他の情報を決定するように使用することができる。別の実施例のように、タッチ感知表面１１６を一望する光センサは、タッチ位置を検出するように使用することができる。

【0022】

他の実施形態では、タッチセンサ１０８はＬＥＤ検出器を含んでもよい。例えば、一実施形態では、タッチ感知表面１１６はディスプレイ１３４の側面に設けられたＬＥＤ指検出器を含んでもよい。いくつかの実施形態では、プロセッサ１０２は単一のタッチセンサ１０８と通信し、他の実施形態では、プロセッサ１０２は複数のタッチセンサ１０８と、例えば、第１のタッチスクリーンおよび第２のタッチスクリーンと通信する。タッチセンサ１０８は、ユーザとの相互作用検出し、およびユーザとの相互作用に基づいて、信号をプロセッサ１０２に送信するように構成される。いくつかの実施形態では、タッチセンサ１０８は、ユーザとの相互作用の複数の特徴を検出するように構成することができる。例えば、タッチセンサ１０８はユーザとの相互作用の速度および圧力を検出し、および、この情報をインターフェース信号に組み入れることができる。

【0023】

タッチ感知表面１１６は、システム１００の特定構成によって異なるが、ディスプレイ１３４を含み、または、含まなくとも（または対応しても）よい。いくつかの実施形態では、タッチ感知表面１１６とデバイスのディスプレイ１３４が組み合わされたタッチ可能なディスプレイを含む。タッチ感知表面１１６はディスプレイ１３４の外部に対応し、または、実際のディスプレイ１３４のコンポーネントの上の材料の１つ以上の層に対応してもよい。他の実施形態では、コンピュータデバイス１０１は、コンピュータデバイス１０１とインターフェースされるシステム１００に含まれるディスプレイ１３４に備えられるグラフィカルユーザインターフェースにマップされ得るタッチ感知表面１１６を含む。

【0024】

さらに、システム１００はカメラ１３０を備える。カメラ１３０は図１ではコンピュータデバイス１０１の中に存在するように表示されているが、いくつかの実施形態では、カメラ１３０は、コンピュータデバイス１０１の外部にあり、コンピュータデバイス１０１と通信することができる。例えば、カメラ１３０は、コンピュータデバイス１０１の外部にあり、イーサネット（登録商標）、ＵＳＢ、ＩＥＥＥ１３９４等の有線インターフェース、および／または、ＩＥＥＥ１８０２．１１、ブルートゥース（登録商標）等の無線インターフェース、または無線インターフェースを介してコンピュータデバイス１０１と通信することができる。カメラ１３０は、領域（以下「領域画像」と称する）の１つ以上の画像を撮像するように構成される。領域画像は、例えば、家の部屋または店の中等の屋内領域、または、公園または街路等の屋外領域空間および／または空間の中にある１つ以上のオブジェクトの画像を含む。カメラ１３０は画像に関連するカメラ１３０信号をプロセッサ１０２に伝送するようにさらに構成される。さらに、いくつかの実施形態では、システム１００は複数のカメラ１３０を備えてもよい。いくつかの実施形態では、１つ以上のカメラ１３０からの信号に基づいて、プロセッサ１０２は画像を決定し、および／または、ディスプレイ１３４に出力するディスプレイ信号を決定できる。例えば、いくつかの実施形態では、複数のカメラ１３０からの信号に基づいて、プロセッサ１０２はシーンの３Ｄ表現を含む、ディスプレイ１３４に出力するべき画像を決定できる。

【0025】

図示される実施形態では、コンピュータデバイス１０１は１つ以上の追加のセンサ１３２を備える。いくつかの実施形態では、センサ１３２には、例えば、ジャイロスコープ、加速度計、グローバルポジショニングシステム（ＧＰ）ユニット、距離センサ、または深さセンサを含み得る。いくつかの実施形態では、ジャイロスコープ、加速度計、およびＧＰユニットは、それぞれコンピュータデバイス１０１の方向、加速度、および位置を検出することができる。いくつかの実施形態では、カメラ、距離センサ、および／または深さセンサは、コンピュータデバイス１０１と外部オブジェクト（例えば、ユーザの手、頭、腕、足、または脚；別の人物；自動車；木；建物；または１つの家具）間の距離を検出できる。いくつかの実施形態では、コンピュータデバイス３０１は距離に基づいた特徴（例えば、方向、色、スケール、または位置）を持つ仮想オブジェクトを生成できる。いくつかの実施形態では、プロセッサ１０２は単一のセンサ１３２と通信することができ、および、他の実施形態では、プロセッサ１０２は、例えば、ジャイロスコープおよび加速度計等の複数のセンサ１３２と通信することができる。センサ１３２は、センサ１３２信号をプロセッサ１０２に伝送するように構成される。

【0026】

システム１００はプロセッサ１０２と通信する触覚出力デバイス１１８をさらに含む。触覚出力デバイス１１８は触覚信号に応答して効果を出力するように構成される。いくつかの実施形態では、触覚出力デバイス１１８は、例えば、振動、知覚される摩擦係数の変化、シミュレートされる質感、表面変形、および／または固体、液体、または気体の一吹きを含む触覚効果を出力するように構成される。

【0027】

いくつかの実施形態では、触覚出力デバイス１１８は、コンピュータデバイス１０１またはコンピュータデバイス１０１のコンポーネント、例えば、タッチ感知表面１１６またはディスプレイ１３４を振動させることによって触覚効果を出力することができる。当該実施形態では触覚出力デバイス１１８は、例えば、１つ以上の圧電アクチュエータ、電気モータ、電磁気アクチュエータ、ボイスコイル、形状記憶合金、電気活性ポリマー、ソレノイド、偏心回転質量モータ（ＥＲＭ）、または共振線形アクチュエータ（ＬＲＡ）の振動を出力するように構成される触覚出力デバイスを含むことができる。

【0028】

いくつかの実施形態では、触覚出力デバイス１１８は遠隔触覚効果を出力するように構成することができる。いくつかの実施形態では、触覚出力デバイス１１８は、例えば、スピーカー、または、固体、液体、気体またはプラズマ等の材料をコンピュータデバイス１０１からユーザに放出する噴射器を含むことができる。いくつかの実施形態では、触覚出力デバイス１１８は、ユーザに向けて集中された圧力波を放出する複数の超音波振動子を使用することができる。

【0029】

いくつかの実施形態では、ユーザが接触することができる表面を介して、触覚出力デバイス１１８は触覚効果を出力することができる。例えば、いくつかの実施形態では、コンピュータデバイス１０１はユーザが接触することができる表面（例えば、床、机、椅子、またはテーブル）に位置することができる。当該表面を振動させる、移動させる、傾ける、または、変形させることによって、触覚出力デバイス１１８は触覚効果を出力することができる。例えば、いくつかの実施形態では、コンピュータデバイス１０１はユーザが接触することができるテーブルの上に位置することができる。いくつかの実施形態では、テーブルを振動させることによって、触覚出力デバイス１１８は触覚効果を出力することができる。いくつかの実施形態では、ユーザはテーブルを介して触覚効果を知覚することができる。

【0030】

図１に図示される実施形態では、触覚出力デバイス１１８はプロセッサ１０２と通信し、および、コンピュータデバイス１０１の内部に位置する。他の実施形態では、触覚出力デバイス１１８はコンピュータデバイス１０１から遠隔に位置することができるが、プロセッサ１０２と通信可能に結合する。例えば、触覚出力デバイス１１８は、コンピュータデバイス１０１の外部にあり、イーサネット（登録商標）、ＵＳＢ、ＩＥＥＥ１３９４等の有線インターフェース、および／またはＩＥＥＥ８０２．１１、ブルートゥース（登録商標）等の無線インターフェース、または無線インターフェースを介してコンピュータデバイス１０１と通信することができる。いくつかの実施形態では、触覚出力デバイス１１８はコンピュータデバイス１０１から遠隔にあってもよいウェアラブルデバイスと結合することができる。いくつかの実施形態では、ウェアラブルデバイスには靴、スリーブ、ジャケット、眼鏡、手袋、指輪、腕時計、リストバンド、ブレスレット、衣類、帽子、ヘッドバンド、および／または宝石を含み得る。ウェアラブルデバイスは、ユーザの体の一部分、例えば、ユーザの指、腕、手、足、脚、頭、または他の体の部分に装着され得る。

【0031】

いくつかの実施形態では、触覚出力デバイス１１８は、コンピュータデバイス１０１の外部のオブジェクト（図示せず）、例えば、箱、棒、本、またはスマートフォン等の中に配置されてもよい。いくつかの実施形態では、触覚出力デバイス１１８は、外部オブジェクトを介して触覚効果を出力することができる。例えば、いくつかの実施形態では、外部オブジェクトは、（例えば、ブルートゥース（登録商標）またはＧＰＳを介して）外部オブジェクトがコンピュータデバイス１０１から特定の距離（例えば、１ｍ）の中にあるか否かを決定することができる。いくつかの実施形態では、外部オブジェクトは外部デバイスがコンピュータデバイス１０１から特定の距離（例えば、１ｍ）の中にある場合には、触覚出力デバイス１１８によって触覚効果を出力することができる。

【0032】

いくつかの実施形態では、触覚出力デバイス１１８は触覚信号に応答してタッチ感知表面１１６の手触りをシミュレートし、または、知覚される摩擦係数を調節する触覚効果を出力するように構成することができる。１つの当該実施形態では、触覚出力デバイス１１８は超音波アクチュエータを含むことができる。超音波アクチュエータは超音波周波数、例えば２０ｋＨｚで振動することができ、タッチ感知表面１１６の表面の知覚される係数を増加または低減する。さらに、超音波アクチュエータは、圧電材料を含むことができる。

【0033】

他の当該実施形態では、タッチ感知表面１１６の手触りをシミュレートし、または、知覚される摩擦係数を調節する触覚効果を出力するために、例えば静電気表面アクチュエータを使用して、触覚出力デバイス１１８は静電気引力を使用することができる。当該実施形態では、静電気アクチュエータは導電層および絶縁層を含み得る。導電層はいずれかの半導体、または、銅、アルミニウム、金、または銀等の他の導電性材料であってもよい。絶縁層はガラス、樹脂、ポリマー、またはいずれかの他の絶縁材料であってもよい。さらに、プロセッサ１０２は電気信号、例えば、高電圧増幅器によって生成されたＡＣ信号を、導電層に印加することによって静電気アクチュエータを動作させることができる。電気信号は、いくつかの実施形態では、タッチ感知表面１１６に近い、または、接触するオブジェクト（例えば、ユーザの指、頭、足、腕、肩、脚、または他の体の部分、またはスタイラス）と導電層とを容量結合させることができる。いくつかの実施形態では、オブジェクトと導電層との間の引力レベルを変化せることによって、タッチ感知表面１１６の表面を横切って移動するオブジェクトのシミュレートされる肌触りを変化させることができる。

【0034】

いくつかの実施形態では、触覚出力デバイス１１８はタッチ感知表面１１６の表面、または、コンピュータデバイス１０１の別の表面を変形させることによって、触覚効果を出力するように構成される変形デバイスを含むことができる。当該実施形態では、触覚出力デバイス１１８は刺激（単数または複数）に応答して、剛性、体積、透明度、および／または色を変化させるスマートゲル（ｓｍａｒｔ ｇｅｌ）を含むことができる。いくつかの実施形態では、剛性は変形に対するタッチ感知表面１１６の抵抗を含み得る。１つの当該実施形態では、１つ以上の電線がスマートゲルに埋め込まれ、または、結合し得る。電流が電線を流れると、熱が放出され、スマートゲルが膨張または収縮し、触覚出力デバイス１１８を変形させる。他の実施形態では、触覚出力デバイス１１８は変形コンポーネントを回転させる腕に結合するアクチュエータを含んでもよい。アクチュエータは圧電アクチュエータ、回転／線形アクチュエータ、ソレノイド、電気活性ポリマーアクチュエータ、マクロファイバー複合体（ＭＦＣ）アクチュエータ、形状記憶合金（ＳＭＡ）アクチュエータ、および／または他のアクチュエータを含んでもよい。アクチュエータが変形コンポーネントを回転させると、変形コンポーネントは触覚出力デバイス１１８の表面を移動し、それを変形させ得る。いくつかの実施形態では、触覚出力デバイス１１８はタッチ感知表面１１６の筐体の一部であってもよい。他の実施形態では、触覚出力デバイス１１８はタッチ感知表面１１６を覆うフレキシブル筐体の内側に設けられもよい。

【0035】

本明細書では単一の触覚出力デバイス１１８が示されているが、いくつかの実施形態では、触覚フィードバックを提供するために、同一または異なるタイプの複数の触覚出力デバイスを使用することができる。いくつかの触覚効果はデバイスの筐体に結合するアクチュエータを利用することができ、および、いくつかの触覚効果では、複数のアクチュエータを順々および／または同時に使用することができる。例えば、いくつかの実施形態では、異なる触覚効果を提供するために、複数の振動アクチュエータおよび気体噴射器を単独または同時に使用することができる。

【0036】

メモリ１０４を見てみると、ビューポートベースの拡張現実感触覚効果を提供するために、いくつかの実施形態でデバイスがどのように構成されるかを示すためのプログラムコンポーネント１２４、１２６、および１２８が示されている。この実施例では、タッチした位置を検出するために、タッチセンサ１０８によってタッチ感知表面１１６をモニタするように検知モジュール１２４はプロセッサ１０２を構成する。例えば、モジュール１２４はタッチの存在または不存在を監視するために、そして、タッチが存在する場合にはタッチの経時的な位置、経路、速度、加速度、圧力および／または他の特性の１つ以上を監視するために、タッチセンサ１０８をサンプリングできる。

【0037】

触覚効果決定モジュール１２６は、触覚効果を生成することを決定するためにデータを分析するプログラムコンポーネントを示す。特に、触覚効果決定モジュール１２６はタッチ感知表面１１６のタッチ位置に基づいて、出力するべき触覚効果を決定するコード、および、効果をシミュレートするために提供するべき１つ以上の触覚効果を選択するコードを含むことができる。例えば、タッチ位置に基づいて、ディスプレイ１３４上の仮想オブジェクト（例えば、仮想の家具、自動車、動物、漫画のキャラクタ−、ボタン、レバー、ロゴ、または人物）の存在をシミュレートするために異なる触覚効果を選択できる。さらに、いくつかの実施形態では、仮想オブジェクトのサイズ、色、位置、移動、および／または他の特性に基づいて、出力するべき触覚効果、および、効果をシミュレートするために提供するべき１つ以上の触覚効果を選択することができるコードを触覚効果決定モジュール１２６は含むことができる。例えば、仮想オブジェクトの色に基づいて触覚効果を選択できる（例えば、仮想オブジェクトが赤の場合には強い振動、および、仮想オブジェクトが緑の場合には弱い振動）。

【0038】

いくつかの実施形態では、触覚効果決定モジュール１２６はイベントに基づいて触覚効果を決定することができる。本明細書で使用される場合のイベントは、デバイスの動作中に発生する関連する触覚効果を潜在的に含み得るいずれかの相互作用、動作、衝突、または、他のイベントである。いくつかの実施形態では、イベントには、仮想オブジェクトの存在（例えば、仮想の１つの家具の存在）、携帯デバイスとの相互作用（例えば、携帯デバイスを傾けるまたは移動させること、または、タッチ感知表面１１６との相互作用）、携帯デバイスの状態の変化、データの受信、データの送信、プログラム活動（例えば、ゲーム活動）、仮想オブジェクトとの相互作用、仮想オブジェクトの移動（例えば、仮想オブジェクトの移動またはバウンシング（ｂｏｕｎｃｉｎｇ））、および／または仮想オブジェクトのスケール、位置、方向、色、または、他の特性の変化が含まれる。例えば、いくつかの実施形態では、拡張現実感アプリケーションはユーザが仮想アバターを仮想空間でナビゲートするゲームを含んでもよい。いくつかの実施形態では、ユーザの仮想アバターが仮想空間のオブジェクト（例えば、ユーザの家の仮想表現の１つの家具）を叩くと、拡張現実感アプリケーションは衝突をシミュレートするように構成される触覚効果を選択できる。例えば、触覚効果決定モジュール１２６は、アバターと仮想オブジェクトとの間の衝突の速度に比例して振幅が大きくなる振動を含む触覚効果を決定することができる。すなわち、アバターと仮想オブジェクトとの間の衝突速度が速いほど、振動の振幅は大きくなる。

【0039】

他の実施形態では、触覚効果決定モジュール１２６はセンサ１３２から受信されたセンサ信号のすくなくとも一部に基づいて触覚効果を決定することができる。センサ１３２には、例えば、カメラまたは深さセンサが含まれ得る。いくつかの実施形態では、プロセッサ１０２はセンサ１３２からセンサ信号を受信し、および、コンピュータデバイス１０１とユーザまたはユーザの体の一部分（例えば、手または指）との間の距離を決定することができる。この決定に基づいて、触覚効果決定モジュール１３２は遠隔触覚効果を決定することができる。例えば、１つの当該実施形態では、プロセッサ１０２は一吹きの空気を出力するように構成される触覚出力デバイスを使用して、ユーザの足に出力する触覚効果を決定することができる。当該実施形態では、プロセッサ１０２はセンサ１３２からセンサ信号を受信し、および、これらの信号に基づいて、コンピュータデバイス１０１とユーザの足との間の距離（例えば、１ｍ）を決定することができる。触覚効果決定モジュール１２６は、決定された距離のすくなくとも一部に基づいて触覚効果を決定することができる。

【0040】

触覚効果発生モジュール１２８は、選択された触覚効果を生成するためにプロセッサ１０２に触覚信号を触覚出力デバイス１１８に伝送させるように機能するプログラムを示す。例えば、触覚効果発生モジュール１２８は触覚出力デバイス１１８に送信されるべき記憶された波形またはコマンドにアクセスできる。別の実施例のように、触覚効果発生モジュール１２８は触覚信号を決定するためのアルゴリズムを含み得る。触覚効果発生モジュール１２８は触覚効果のための目標座標を決定するためのアルゴリズムを含むことができる。これらの目標座標は、例えば、タッチ感知表面１１６上の位置を含むことができる。

【0041】

図２はビューポートベースの拡張現実感触覚効果のためのシステムの実施形態を示す。この実施例では、システムはコンピュータデバイス２０１を含む。いくつかの実施形態では、コンピュータデバイス２０１はタブレット、キオスク、スマートフォン、電子書籍リーダ、ラップトップコンピュータ、デスクトップコンピュータ、携帯ゲームデバイス、眼鏡、頭部に装着するディスプレイ、および／または他の電子デバイスを含むことができる。図２に図示される実施形態では、コンピュータデバイス２０１はタッチスクリーンディスプレイ２０６を含む。

【0042】

コンピュータデバイス２０１はカメラ（図示せず）をさらに含む。いくつかの実施形態では、カメラはコンピュータデバイス２０１の内部にあってもよい。例えば、カメラはコンピュータデバイス２０１の前、後ろ、側面に位置してもよい。他の実施形態では、カメラはコンピュータデバイス２０１の外部に位置し、および、コンピュータデバイス２０１と有線または無線通信することができる。さらに他の実施形態では、コンピュータデバイス２０１は、コンピュータデバイス２０１の内部および／または外部にある複数のカメラを含んでもよい。

【0043】

コンピュータデバイス２０１は拡張現実感アプリケーションを含む。図２に図示される実施形態では、拡張現実感アプリケーションはユーザがカメラデータを撮像し、および、カメラデータに関連するオブジェクトの色を変更することを可能にする。例えば、図２に示されるように、ユーザはカラーパレット２０８を使用してオブジェクトの色を調節することができる。

【0044】

図２に示されるように、自動車に関するカメラデータを撮像するために、ユーザはコンピュータデバイス２０１を正しい方向に向けた。ユーザは、例えば、タッチスクリーンディスプレイ２０６の表面を横切るようにユーザの指、または、スタイラスをスライドさせること（例えば、スワイプまたは二本の指によるピンチ）によってカラーパレット２０８と相互作用させることができる。さらに、いくつかの実施形態では、コンピュータデバイス２０１を振る、傾かせる、または、さもなければ移動させることで、ユーザはカラーパレット２０８と相互作用することができる。当該実施形態では、加速度計またはジャイロスコープがユーザとの相互作用を検出し、および、ユーザとの相互作用に関連するセンサ信号をプロセッサに伝送できる。

【0045】

コンピュータデバイス２０１はイベントの発生に基づいて触覚効果を決定し、出力することができる。イベントには時間の経過；仮想オブジェクトの色、スケール、方向、または位置の変化；または、コンピュータデバイス２０１とのユーザとの相互作用（例えば、コンピュータデバイス２０１を傾けるまたは移動させる、タッチスクリーンディスプレイ２０６との相互作用、または、ボタンまたはジョイスティックス等の他のユーザインターフェースデバイスとの相互作用）が含まれ得る。触覚効果には振動、知覚され得る摩擦係数またはシミュレートされる質感の変化を含み得る。いくつかの実施形態では、シミュレートされる質感には金属、ガラス、樹脂、木、ゴム、布、砂、砂利、セメント、草、および／または他の肌触りが含まれ得る。例えば、一実施形態では、自動車２０４を含むディスプレイ２０６上の位置の上にユーザが指を置くと、コンピュータデバイス２０１はシミュレートされる金属質感を含む触覚効果を出力する。別の実施形態では、触覚効果は、例えば、タッチスクリーンディスプレイ２０６の一部を上げるまたは下げる表面変形を含み得る。例えば、一実施形態では、ユーザが指を自動車２０４が含まれるディスプレイ２０６上の位置に置くと、コンピュータデバイス２０１は自動車の周囲を含むタッチスクリーンディスプレイ２０６の一部が盛り上がる表面変形を含む触覚効果を出力する。

【0046】

いくつかの実施形態では、コンピュータデバイス２０１はカメラデータ（例えば、リアルタイムまたはリアルタイムに近いカメラデータ）のすくなくとも１部に基づいて触覚効果を決定することができる。例えば、いくつかの実施形態では、コンピュータデバイス２０１はカメラによって撮像された画像のデータに基づいて触覚効果を決定することができる。１つの当該実施形態では、コンピュータデバイスはカメラデータに自動車の画像が含まれることを決定し、および、関連する触覚効果を出力する。例えば、コンピュータデバイスは自動車エンジンの輪転音を模倣するように構成される触覚効果（例えば、振動）を出力することができる。いくつかの実施形態では、この触覚効果は周期的に（例えば、２分おきに）出力することができる。

【0047】

いくつかの実施形態では、コンピュータデバイス２０１は他のセンサ（例えば、ＧＰＳデバイス、加速度計、ジャイロスコープ、傾斜計、深さセンサ、または距離検出器）からのデータのすくなくとも１部に基づいて触覚フィードバックを出力することができる。例えば、いくつかの実施形態では、プロセッサはユーザ位置に一部基づいて触覚効果を決定することができる。いくつかの実施形態では、ユーザは街路上の自動車の画像を撮像できる。当該実施形態では、コンピュータデバイス２０１は、ＧＰＳデバイスによってユーザの位置、並びに、自動車および当該位置に関連するディスプレイデータを決定することができる。例えば、コンピュータデバイス２０１は自動車に関する他の情報（例えば、年、モデル、または価格）だけではなく、自動車を運搬する最も近い自動車販売特約店に関する通知をすることができる。いくつかの実施形態では、コンピュータデバイス２０１は自動車に関する触覚効果を出力することができる。例えば、一実施形態では、当該触覚効果はユーザと自動車販売特約店との間の距離に反比例する振幅を持つ振動を含む。

【0048】

別の実施例のように、いくつかの実施形態では、ユーザはレストランの画像を撮像することができる。当該実施形態では、コンピュータデバイス２０１は、ＧＰＳデバイスによって、ユーザの位置およびレストランに関連するディスプレイデータを決定することができる。例えば、コンピュータデバイスはレストランに関する情報（例えば、所有者、メニュー、予約オプション、レストラン営業時間、ウェブサイト、料理のスタイル、または評価）を通知することができる。いくつかの実施形態では、コンピュータデバイス２０１はレストランに関する触覚効果を出力することができる。例えば、一実施形態では、触覚効果は、レストランの（５つ星からの）評価格付けに比例した振幅を持つ振動を含む。

【0049】

いくつかの実施形態では、コンピュータデバイス２０１はカメラのデータを分析し、および、この分析に基づいて、仮想オブジェクト（例えば、人、動物、家具、街路、砂利、砂、植物、建物、カーペット、昆虫、または乗り物）をカメラで撮像したシーンに追加できる。例えば、いくつかの実施形態では、コンピュータデバイス２０１は、カメラのデータを分析し、および、カメラで撮像したシーンに自動車２０４が含まれることを決定できる。この分析に基づいて、コンピュータデバイス２０１は、例えば、自動車２０６の下の道路を含む仮想オブジェクトをシーンに追加できる。いくつかの実施形態では、道路を含む領域上のタッチスクリーンディスプレイ２０６の表面を指が横切るようにユーザが移動させると、コンピュータデバイス２０１はディスプレイ２０６の表面の知覚される摩擦係数を増加する触覚効果を出力することができる。他の実施形態では、例えば、ユーザがカメラによって撮像された自動車と他の自動車の型式またはモデルと比較できるように、コンピュータデバイス２０１は仮想自動車を背景に追加することができる。いくつかの実施形態では、例えばタッチスクリーンディスプレイ２０６の表面を指が横切るようにスワイピングさせて、ユーザが仮想自動車モデルを切り替えると、コンピュータデバイス２０１は、ユーザ入力の受領を確認する振動を含む触覚効果を出力することができる。いくつかの実施形態では、コンピュータデバイス２０１は仮想の木を背景に追加することができる。いくつかの実施形態では、ユーザが当該木を含む領域上のタッチスクリーンディスプレイ２０６の表面を横切るように指を移動させると、コンピュータデバイス２０１は樹皮または葉に対応するシミュレートされた肌触りを含む触覚効果を出力することができる。

【0050】

いくつかの実施形態では、コンピュータデバイス２０１はイベントの発生および／またはカメラデータに基づく触覚効果に加えて音、テキスト、および／またはビデオを出力することができる。いくつかの実施形態では、音、テキスト、および／またはビデオは、仮想オブジェクトと関係があり得る。例えば、イベントが発生する（例えば、ユーザが仮想自動車と相互作用する）と、コンピュータデバイス２０１は触覚効果および音を出力する（例えば、クラクションを鳴らす）ことができる。

【0051】

図３はビューポートベースの拡張現実感触覚効果のためのシステムの別の実施形態を示す。この実施例では、システムはディスプレイ３０６を備えるスマートフォンまたはタブレットを含むコンピュータデバイス３０１を含む。

【0052】

コンピュータデバイス３０１はコンピュータデバイス３０１の後ろに配置されたカメラ（図示せず）を含む。さらに、コンピュータデバイス３０１は拡張現実感アプリケーションを含む。拡張現実感アプリケーションはディスプレイ３０６に、例えば、仮想の帽子、眼鏡、漫画のキャラクタ−、自動車、家具、ボタン、レバー、建物、植物、および／または動物等の仮想オブジェクト３０４を出力することができる。いくつかの実施形態では、拡張現実感アプリケーションは、ディスプレイ３０６上のさまざまな位置の一つ、例えば、ディスプレイの端または中央、または、カメラデータに関連する位置（例えば、カメラによって撮像された本棚、自動車、家、動物、または人物の最上部）に仮想オブジェクト３０４を配置することができる。さらに、いくつかの実施形態では、拡張現実感アプリケーションはディスプレイ３０６の仮想オブジェクト３０４の位置に基づいて、仮想オブジェクト３０４の方向、スケール、色、および／または他の特性を変更することができる。

【0053】

図３に図示される実施形態では、拡張現実感アプリケーションはカメラによって撮像されたオブジェクトの上に仮想オブジェクト３０４を生成する。例えば、図３に示す実施形態では、ユーザがカメラの視界内に手３０８を置くと、および拡張現実感アプリケーションはユーザの手の上に仮想のペンギンを含む仮想オブジェクト３０４を生成した。

【0054】

いくつかの実施形態では、コンピュータデバイス３０１は仮想オブジェクト３０４および／またはイベントの発生に基づいて触覚効果を出力することができる。いくつかの実施形態では、触覚効果は仮想オブジェクト３０４の移動、色、位置、方向、スケール、または存在に基づくことができる。例えば、図３に示す実施形態では、コンピュータデバイス３０１は、例えば、ユーザの手３０８の上で歩行する仮想のペンギンの移動に対応した触覚効果を出力することができる。当該実施形態では、仮想のペンギンが一歩、歩く毎に、コンピュータデバイス３０１は触覚効果を出力する、例えば、コンピュータデバイス３０１の筐体を振動させることができる。

【0055】

さらに、いくつかの実施形態では、コンピュータデバイス３０１は遠隔触覚効果を出力することができる。上述したように、遠隔触覚効果は、例えば、噴霧器からの固体、液体、気体、またはプラズマの一吹きによって、アレー状の超音波振動子からの集中された圧力波によって、または、ユーザの体の部分に装着されたウェアラブルデバイスと結合する触覚出力デバイスによって、コンピュータデバイス３０１から離れた触覚効果出力を含むことができる。例えば、いくつかの実施形態では、触覚効果は、仮想オブジェクト３０４とユーザとの間の相互作用に関係があり得る。例えば、図３に示す実施形態では、ユーザの右手３０８の上で仮想のペンギンが動くので、コンピュータデバイス３０１は遠隔触覚効果をユーザの手３０８に出力することができる。この遠隔触覚効果は、例えば、ユーザの手３０８の仮想オブジェクトが「一歩ずつ歩く（ｓｔｅｐｐｅｄ）」位置に向けて放出される空気の一吹きまたは集中された圧力波が含まれてもよい。当該実施形態では、仮想オブジェクト３０８があたかも実際にユーザの手３０８に接触しているように、ユーザは気体の一吹き、または、集中された圧力波を知覚することができる。別の実施例のように、いくつかの実施形態では、コンピュータデバイス３０１は前向きのカメラを含んでいてもよい。いくつかの実施形態では、ユーザの体の上、例えば、ユーザの顔の上に仮想オブジェクト３０４（例えば、スーパーヒーローマスク）を置くために、ユーザは拡張現実感アプリケーションを使用することができる。ユーザが仮想オブジェクト３０４を操作すると、コンピュータデバイス３０１はユーザの顔に遠隔触覚効果を出力することができる。この遠隔触覚効果は、例えば、ユーザの顔に放出される気体の一吹きまたは集中された圧力波を含むことができる。当該実施形態では、仮想オブジェクト３０８があたかもユーザの顔に接触および／または横切っているかのように、ユーザは気体の一吹き、または、集中された圧力波を知覚することができる。

【0056】

いくつかの実施形態では、システムはコンピュータデバイス３０１から遠隔にあるコンピュータデバイス３０１と通信する触覚出力デバイスを含むことができる。例えば、触覚デバイスは、ユーザの体の一部分（例えば、ユーザの指、腕、手、足、脚、または頭）に装着されるウェアラブルデバイス（例えば、靴、スリーブ、ジャケット、眼鏡、手袋、指輪、腕時計、ブレスレット、リストバンド、ヘッドバンド、衣類、帽子、および／または宝石）と結合することができる。コンピュータデバイス３０１は遠隔触覚出力デバイスによってユーザに遠隔触覚効果を出力することができる（例えば、振動）。

【0057】

例えば、いくつかの実施形態では、ユーザは、コンピュータデバイス３０１と通信する１つ以上の触覚出力デバイスを備えるウェアラブルデバイスを着てもよい。ユーザが仮想オブジェクト３０４を操作すると、コンピュータデバイス３０１はウェアラブルデバイスによって遠隔触覚効果を出力することができる。例えば、いくつかの実施形態では、ユーザは１つ以上の触覚出力デバイスを含むヘッドバンドを付けてもよい。いくつかの実施形態では、コンピュータデバイス３０１は前向きのカメラを含んでいてもよく、および、衣類の仮想の品物を「試着する（ｔｒｙ ｏｎ）」するためにユーザは拡張現実感アプリケーションを使用することができる。例えば、１つの当該実施形態では、ユーザは帽子をユーザの頭のカメラデータに追加することができる。ユーザが拡張現実感アプリケーションで仮想の帽子を操作すると、帽子をユーザの頭にかぶる間隔をシミュレートするために、コンピュータデバイス３０１はヘッドバンド（例えば、振動）によって遠隔触覚効果を出力することができる。別の実施形態では、ユーザはビデオゲームを含む拡張現実感アプリケーションで遊ぶことができる。例えば、ユーザは、ユーザが手首に装着した未来の仮想のレーザーガンを撃つことができるビデオゲームで遊ぶことができる。拡張現実感アプリケーションは仮想のレーザーガンをユーザの手首に対応するカメラデータに追加することができる。いくつかの実施形態では、ユーザは仮想のレーザーガンを、それがあたかもユーザの手首にあるように知覚することができる。さらに、ユーザは１つ以上の触覚出力デバイスを含むリストバンドを身につけることができる。ユーザが仮想のレーザーガンを発砲すると、コンピュータデバイス３０１はリストバンドを通じて遠隔触覚効果（例えば、振動）を出力することができる。いくつかの実施形態では、遠隔触覚効果はレーザーガンを発砲する感覚をシミュレートすることができる。

【0058】

図４は１つの実施形態によるビューポートベースの拡張現実感触覚効果のためのシステムを示す。この実施例では、システムはディスプレイ４０２を備えるスマートフォンを含むコンピュータデバイス４０１を具備する。コンピュータデバイス４０１はコンピュータデバイス４０１の背面に位置するカメラ（図示せず）および拡張現実感アプリケーションをさらに含む。図４に図示される実施形態では、拡張現実感アプリケーションは装飾または改装に関する。いくつかの実施形態では、当該アプリケーションによってユーザが仮想的に、部屋から壁を除去または追加する、部屋の壁色を変える、および／または、部屋から家具を除去または追加することが可能になる。

【0059】

図４に図示される実施形態では、ユーザがカメラを浴室に向けると、コンピュータデバイス４０１はカメラから浴室に関連するデータをディスプレイ４０２に出力している。図４に図示される実施形態では、拡張現実感アプリケーションによって、ユーザは仮想の家具または備品を浴室に追加することができる。この実施例では、ユーザは仮想シャワー４０４をユーザの浴室に追加することを決定した。

【0060】

いくつかの実施形態では、仮想オブジェクト（例えば、仮想シャワー４０４）に基づいて、および／または、異なるイベントに対応して、コンピュータデバイス４０１は異なるタイプの触覚効果を出力することができる。例えば、一実施形態では、ユーザは仮想のシャワーのために異なるタイルを選択することができる。その後、ユーザがディスプレイ４０２を横切って指を移動させると、コンピュータデバイス４０１はディスプレイ４０２の表面上のタイルに対応する知覚される摩擦係数の肌触り、または、変化を出力することができる。

【0061】

いくつかの実施形態では、コンピュータデバイス４０１は、カメラ、深さセンサ、および／または距離センサの１つ以上によって、カメラによって撮像された領域のユーザジェスチャーを検出することができる。いくつかの実施形態では、このデータに基づいて、コンピュータデバイスはユーザが仮想オブジェクトに対応する領域と相互作用することを可能にし、例えば、ユーザは仮想のシャワーの蛇口と相互作用することができる。当該実施形態では、コンピュータデバイス４０１はユーザとの相互作用に関連する遠隔触覚効果を出力することができる。例えば、コンピュータデバイス４０１はユーザの指の裏側への一吹きの空気を含む、または、触覚が可能となったウェアラブルデバイス（例えば、指輪または腕時計）を振動させることによる遠隔触覚効果を出力することができる。いくつかの実施形態では、この触覚フィードバックによってジェスチャー入力の受領を確認すること、または、仮想オブジェクトとの相互作用をシミュレートすることができる。例えば、図４に示す実施形態では、仮想のシャワーの蛇口との相互作用によって仮想のシャワーを「開ける（ｏｎ）」ことができる。当該実施形態では、仮想のシャワーが開けられると、コンピュータデバイス４０１は仮想のシャワーヘッドから流れる仮想の水を表示し、および、関連する触覚効果を出力する。例えば、コンピュータデバイス４０１は流れる水の感触をシミュレートするためにコンピュータデバイス４０１の筐体を軽く振動させることによって触覚効果を出力することができる。

【0062】

いくつかの実施形態では、コンピュータデバイス４０１はユーザの頭または顔に、例えば、ヘルメットまたは眼鏡を装着するように構成することができる。いくつかの実施形態では、コンピュータデバイス４０１は、例えば、頭部に装着するディスプレイ（ＨＭＤ）等のディスプレイ４０２を含むことができる。いくつかの実施形態では、ディスプレイ４０２は透明であってもよい。さらに、コンピュータデバイス４０１は拡張現実感アプリケーションを含む。拡張現実感アプリケーションはディスプレイ４０２上に仮想オブジェクトを出力することができる。いくつかの実施形態では、イベントが発生すると、コンピュータデバイス４０１は、例えば、振動または遠隔触覚効果（例えば、ウェアラブルデバイスまたは気体の一吹き）による触覚効果を出力することができる。例えば、いくつかの実施形態では、コンピュータデバイス４０１はヘルメットを含むことができる。ヘルメットはユーザの前または後ろの画像を撮像するために配置されたカメラを含むことができる。コンピュータデバイス４０１はカメラ画像をディスプレイ４０２に出力することができる。さらに、いくつかの実施形態では、コンピュータデバイス４０１はカメラ画像に重ねて仮想オブジェクト（例えば、仮想シャワー４０４）を出力することができる。いくつかの実施形態では、ユーザが仮想オブジェクトに対応する実空間の領域と相互作用すると、コンピュータデバイス４０１は相互作用に対応する触覚効果を出力することができる。例えば、ユーザが仮想オブジェクトに対応する実空間の領域をタッチすると、コンピュータデバイス４０１は、例えば、ユーザの指に向けて気体の一吹きを含む触覚効果を出力することができる。頭部に装着するディスプレイの追加の例は、その両方の全体が参照により本明細書に組み込まれる、米国仮特許出願第６１／９０９７９７号の優先権を主張する米国特許出願第１４／１０６２７５号で見つけることができる。

【0063】

図５は別の実施形態によるビューポートベースの拡張現実感触覚効果のためのシステムを示す。この実施例では、システムはディスプレイ５０６を備えるスマートフォンを含むコンピュータデバイス５０１を具備する。

【0064】

コンピュータデバイス５０１はコンピュータデバイス５０１の背面に配置されるカメラ（図示せず）を含む。この実施例では、ユーザがその上に会社名がある箱の方向にカメラを向けると、コンピュータデバイス５０１はカメラから箱に関連するデータをディスプレイ５０６に出力している。コンピュータデバイス５０１は拡張現実感アプリケーションをさらに含む。図５に図示される実施形態では、拡張現実感アプリケーションはカメラデータを分析し、および、会社に関連するデータがあるか否か、例えば、会社のロゴ、名前または製品が存在するかを決定する。会社に関連するデータが存在する場合には、拡張現実感アプリケーションは当該会社に関連する仮想オブジェクトを出力する。例えば、拡張現実感アプリケーションは会社に関連する仮想のロゴを出力することができる。仮想のロゴには会社のロゴの２Ｄまたは３Ｄ表現を含むことができる。

【0065】

図５に図示される実施形態では、拡張現実感アプリケーションは箱に関連するデータを分析し、Ｉｍｍｅｒｓｉｏｎという会社名が存在することを決定し、および、Ｉｍｍｅｒｓｉｏｎロゴを含む仮想のロゴ５０８を出力している。他の実施形態では、拡張現実感アプリケーションは製品（例えば、自動車、帽子、電話、コンピュータ、タブレット、家具、または衣類）を分析し、製品（例えば、Ｍａｓｅｒａｔｉ（登録商標））に関連する会社を決定し、および、会社に関連する仮想のロゴ５０８を出力することができる。例えば、いくつかの実施形態では、製品に関連する会社を決定するためにアプリケーションは特定の製品の特徴（例えば、製品のサイズ、形状、色、および／または材料）および／または製品のロゴを検出することができる。

【0066】

いくつかの実施形態では、コンピュータデバイス５０１は仮想オブジェクトに基づいて、および／または、異なるイベントに対応して異なるタイプの触覚効果を出力することができる。いくつかの実施形態では、コンピュータデバイス５０８は触覚効果を仮想のロゴ５０８のディスプレイ上に直ちに、または、特定の時間遅延後に（例えば、２分後に、または、繰り返し２分おきに）出力することができる。他の実施形態では、ユーザがディスプレイ５０６上の仮想のロゴ５０８を含む位置にタッチすると、コンピュータデバイス５０１は触覚効果（例えば、振動、質感、または知覚される摩擦係数の変化）を出力することができる。

【0067】

いくつかの実施形態では、ユーザは仮想のロゴ５０８の位置に対応する実空間位置に手を伸ばし、および、タッチすることができる。それに応答して、コンピュータデバイス５０１は、例えば、気体の一吹き、集中された圧力波、または、ウェアラブルデバイスに結合する触覚出力デバイスを活性化することによって遠隔触覚効果を出力することができる。いくつかの実施形態では、コンピュータデバイス５０１は、追加または代わりに、例えば、コンピュータデバイス５０１の筐体を振動させることによって局所的触覚効果を出力することができる。いくつかの実施形態では、触覚効果によって、ユーザ入力の確認を提供し、または、仮想のロゴ５０８との強い相互作用を提供することができる。

【0068】

いくつかの実施形態では、コンピュータデバイス５０１は会社の製品またはブランドに関連する触覚効果を出力することができる。例えば、会社は特定の触覚効果または一連の触覚効果を特定の製品またはブランドと関連付けることができる。いくつかの実施形態では、ユーザが会社の仮想のロゴ５０８と相互作用すると、コンピュータデバイス５０１は会社に関連する触覚効果を出力することができる。例えば、いくつかの実施形態では、Ｉｍｍｅｒｓｉｏｎはそのブランドを３つの短いパルス振動を含む触覚効果と対応付けることができる。ユーザがＩｍｍｅｒｓｉｏｎの仮想ロゴ５０８と相互作用すると、コンピュータデバイス５０１はこの触覚効果を決定および出力することができる。いくつかの実施形態では、触覚効果を決定することによって、ロゴに関連する触覚効果に基づくローカルデータおよび／または遠隔データにアクセスすることを含むことができる。

【0069】

ビューポートベースの拡張現実感触覚効果を提供するための例示的方法
図６は、１つの実施形態によるビューポートベースの拡張現実感触覚効果を提供するための方法を実行するためのステップのフローチャートである。いくつかの実施形態では、図６のステップは、例えば、汎用目的コンピュータ、携帯デバイス、またはサーバのプロセッサであるであるプロセッサによって実行されるプログラムコードによって実装されることができる。いくつかの実施形態では、これらのステップは一群のプロセッサによって実装されてもよい。いくつかの実施形態では、図６に示される１つ以上のステップは省略、または、異なる順番で実行されてもよい。同様に、いくつかの実施形態では、図６に図示しない追加のステップが実行されてもよい。以下のステップは図１に示されるシステム１００に関連して上述されたコンポーネントを参照して記述される。

【0070】

方法６００はプロセッサ１０２が画像信号を受信するステップ６０２で開始される。画像信号は、カメラ１３０からのデータに関係があり得る（例えば、カメラ１３０の視野の領域画像）。例えば、いくつかの実施形態では、画像は都市の街路の画像を含んでもよい。当該実施形態では、画像は都市街路に通常見られる特徴（例えば、建物、自動車、街路標識、または人）を含むことができる。

【0071】

方法６００はプロセッサ１０２が画像信号の一部に基づいて仮想オブジェクト（例えば、仮想の自動車、アバター、または、一片の家具）を決定するステップ６０４に続く。いくつかの実施形態では、仮想オブジェクトはカメラ１３０に撮られた画像に関連するデータを含むことができる。例えば、いくつかの実施形態では、仮想オブジェクトは画像中の店またはレストランに関連するデータを含むことができる。当該実施形態では、仮想オブジェクトは画像中のレストランのメニューを含むことができる。

【0072】

方法６００はプロセッサ１０２が画像信号の一部に基づいてディスプレイ信号を決定するステップ６０６に続く。ディスプレイ信号は仮想オブジェクトに関連するデータを含む。いくつかの実施形態では、ディスプレイ信号はカメラ１３０によって撮られた画像に重畳される仮想オブジェクトデータを含む。例えば、いくつかの実施形態では、ディスプレイ信号はカメラ１３０に撮られた画像中のレストランに重畳されるメニューデータを含むことができる。

【0073】

方法６００はプロセッサ１０２がディスプレイ信号をディスプレイに伝送するステップ６０８に続く。ディスプレイはディスプレイ信号に関連する画像を出力するように構成される。例えば、ディスプレイはレストランの画像に重畳されるメニューデータを含む画像を出力することができる。

【0074】

方法６００はプロセッサ１０２が仮想オブジェクトとユーザとの相互作用を決定するステップ６１０に続く。いくつかの実施形態では、プロセッサ１０２は、センサ１０８からの信号によって、仮想オブジェクトに対応する位置でのタッチ感知表面１１６の表面上のユーザとの相互作用を決定することができる。例えば、いくつかの実施形態では、仮想オブジェクトに関連する位置でユーザが指をタッチ感知表面１１６にタップすれば、プロセッサ１０２はユーザと仮想オブジェクト（例えば、仮想メニュー）との相互作用を決定することができる。いくつかの実施形態では、センサ１３２からの信号によって、プロセッサ１０２はユーザとの相互作用（例えば、コンピュータデバイス傾けるまたは移動させる）ことを決定することができる。例えば、いくつかの実施形態では、仮想オブジェクトに対応する実空間のポイント（例えば、仮想自動車に対応する実空間のポイント）をユーザがタッチすると、プロセッサ１０２はユーザとの相互作用を決定することができる。

【0075】

方法６００はプロセッサ１０２が触覚効果を決定するステップ６１２に続く。いくつかの実施形態では、プロセッサ１０２は仮想オブジェクト、カメラ１３０からの画像信号、イベント、または、触覚プロファイルの１つ以上のすくなくとも一部に基づく触覚効果を決定することができる。いくつかの実施形態では、プロセッサ１０２は触覚効果を決定するために触覚効果決定モジュール１２６に含まれるプログラミングに依存し得る。いくつかの実施形態では、触覚効果決定モジュール１２６はルックアップテーブルを含むことができる。いくつかの実施形態では、イベントを特定の触覚効果（例えば、肌触り）に関連付けるために、プロセッサ１０２はルックアップテーブルを使用することができる。

【0076】

例えば、一実施形態では、イベントはゲームアクティビティ（例えば、発砲、レベルの完了（ｌｅｖｅｌ ｃｏｍｐｌｅｔｉｏｎ）、または爆発）に基づいている。当該実施形態では、拡張現実感アプリケーションは特定の目的を達成する（例えば、歩行者の周囲で自動車を成功的にナビゲートする）ためにユーザが制御できる仮想オブジェクト（例えば、仮想自動車）を出力することができる。ユーザが目的を達成すると、コンピュータデバイス１０１は関連する触覚効果を決定することができる。

【0077】

いくつかの実施形態では、ユーザは「触覚プロファイル」を有していてもよく、ユーザはユーザが特定のイベントと関連付けたい触覚効果の「プロファイル」決定し、および、メモリ１０４に記憶できる。例えば、一実施形態では、ユーザは入手可能な触覚効果のリストから選択でき、および、これらの触覚効果の１つを拡張現実感アプリケーションによって出力される仮想オブジェクトに関連付けることができる。いくつかの実施形態では、リストには、例えば、一吹きの空気、強い振動、弱い振動、若しくは、凹凸のある、ゴムのような、または、滑らかな肌触りなどの触覚効果が含まれ得る。いくつかの実施形態では、どのような触覚効果を生成するべきかを決定するために、プロセッサ１０２はユーザの触覚プロファイルを検討することができる。例えば、ユーザの触覚プロファイルが仮想オブジェクトとの相互作用が強い振動に関連付けられている場合には、ユーザが仮想オブジェクト上のタッチスクリーンディスプレイに指を置くことに応答して、プロセッサ１０２は強い振動を含む触覚効果を決定することができる。

【0078】

方法６００はプロセッサ１０２が触覚信号を触覚出力デバイス１１８に伝送するステップ６１４に続く。触覚信号はすくなくとも一部が触覚効果に基づいている。いくつかの実施形態では、プロセッサ１０２はメモリ１０４に記憶され、特定の触覚効果と関連付けられる駆動信号にアクセスできる。１つの実施形態では、記憶されたアルゴリズム、および、効果に関連付けられた入力アルゴリズムにアクセスすることによって信号が生成される。例えば、当該実施例では、振幅および周波数パラメータに基づく駆動信号を生成する用途のために、アルゴリズムはデータを出力することができる。別の実施例のように、第２の触覚信号は、アクチュエータに送信され、アクチュエータでデコードされるデータを含むことができる。例えば、アクチュエータは振幅および周波数等のパラメータを規定するコマンドにみずから対処できる。

【0079】

方法６００は触覚出力デバイス１１８が触覚効果を出力するステップ６１４に続く。触覚出力デバイス１１８は触覚信号を受信し、および、触覚効果を出力する。いくつかの実施形態では、触覚効果には、振動、知覚される摩擦係数の変化、シミュレートされる肌触り、表面変形、集中された圧力波、および／または、固体、液体、気体、またはプラズムの一吹きを含む。

【0080】

ビューポートベースの拡張現実感触覚効果のためのシステムの追加の実施形態
図７は別の実施形態によるビューポートベースの拡張現実感触覚効果のためのシステムを示す。この実施例では、システム７００は表面７０６（例えば、床）に位置したコンピュータデバイス７０２を含む。コンピュータデバイス７０２はディスプレイ７０８およびカメラ７１０を備える。この実施例では、コンピュータデバイス７０２はキオスクを含む。

【0081】

コンピュータデバイス７０２は拡張現実感アプリケーションをさらに含む。いくつかの実施形態では、拡張現実感アプリケーションはユーザ７０４に関連付けられる仮想オブジェクト７１２を生成するように構成することができる。いくつかの実施形態では、拡張現実感アプリケーションは、コンピュータデバイス７０２の外部にある物理的オブジェクト７１４（例えば、箱、本、棒、カード、ブロック、立方体、スマートフォン、椅子、またはペン）に関連付けられた仮想オブジェクト７１２を生成するように構成することができる。例えば、いくつかの実施形態では、ユーザ７０４は物理的オブジェクト７１４を保持していてもよい。コンピュータデバイス７０２は物理的オブジェクト７１４を（例えば、カメラ７１０を介して）決定し、および／または、物理的オブジェクト７１４の特徴を決定することができる。いくつかの実施形態では、コンピュータデバイス７０２は決定された特徴に基づいて仮想オブジェクト７１２を生成することができる。

【0082】

いくつかの実施形態では、物理的オブジェクト７０８は、コンピュータデバイス７０２と通信する触覚出力デバイスを含むことができる。イベントが発生すると、コンピュータデバイス７０２は、物理的オブジェクト７１４を介して触覚効果をユーザ７０４に出力することができる。例えば、いくつかの実施形態では、ユーザはカメラ７１０の前にある物理的オブジェクト７１４（例えば、棒）を保持し続けることができる。物理的オブジェクト７１４は触覚出力デバイスを含むことができる。コンピュータデバイス７０２は物理的オブジェクト７１４に関連する仮想オブジェクト（例えば、棒の終端から放出される輝き）を生成するように構成される拡張現実感アプリケーションを含むことができる。いくつかの実施形態では、イベントが発生すると（例えば、ユーザが棒を振ると）、コンピュータデバイス７０２は、物理的オブジェクト７１４を介して触覚効果（例えば、振動）をさらに出力することができる。

【0083】

例えば、いくつかの実施形態では、ユーザ７０４は、例えば、カードを含む物理的オブジェクト７１４を保持し続けることができる。カードは、コンピュータデバイス７０２と通信する触覚出力デバイスを含むことができる。イベントが発生すると、コンピュータデバイス７０２はカードを介して触覚効果を出力することができる。例えば、ユーザ７０４はカードをカメラ７１０の前に位置させることができる。コンピュータデバイス７０２は、カードの最上部に位置する仮想オブジェクト７１２を生成するように構成する拡張現実感アプリケーションを含むことができる。例えば、いくつかの実施形態では、拡張現実感アプリケーションはカードの最上部に位置する仮想自動車を生成することができる。ユーザ７０４が仮想自動車と相互に作用する（例えば、自動車の仮想ドアを開閉する、または、自動車の仮想エンジンを入れる）と、コンピュータデバイス７０２は、カードの触覚出力デバイスを介してユーザに触覚効果を出力することができる。例えば、触覚効果は、自動車のドアを開くこと、または、閉じること、若しくは、自動車のエンジンの轟音をシミュレーションするように構成することができる。

【0084】

さらに、いくつかの実施形態では、ユーザ７０４はコンピュータデバイス７０２の外部にある表面７０６（例えば、床、机、椅子、またはテーブル）と接触することができる。いくつかの実施形態では、イベントが発生すると、コンピュータデバイス７０２は、表面７０６を介してユーザ７０４に触覚効果を出力することができる。例えば、いくつかの実施形態では、コンピュータデバイス７０２は、ユーザ７０４が接触している（例えば、ユーザ７０４がその上に立っている、または、座っている）表面７０６を振動、傾け、または、移動するように構成される触覚効果を出力することができる。いくつかの実施形態では、表面７０６は、コンピュータデバイス７０２と通信する触覚出力デバイスを含むことができる。コンピュータデバイス７０２は触覚出力デバイスを介して触覚効果を出力することができる。他の実施形態では、コンピュータデバイス７０２はユーザ７０４が触覚効果を知覚することができるように表面７０６を伝搬する触覚効果（例えば、振動）を出力することができる。例えば、いくつかの実施形態では、物理的オブジェクト７１４は本を含むことができ、および、コンピュータデバイス７０２は、例えば、キオスク、テレビ、コンピュータ、または、ゲームシステムを含んでもよい。ユーザ７０４はカメラ７１０の前に本を保持し続けることができる。いくつかの実施形態では、コンピュータデバイス７０２は、本に関連する仮想オブジェクト７１２、例えば、本に関連する仮想のキャラクタを生成するように構成される拡張現実感アプリケーションを含むことができる。いくつかの実施形態では、ユーザ７０４が仮想のキャラクタと相互作用すると、コンピュータデバイス７０２は表面７０６、例えば、ユーザ７０４が上に立っている床を介して触覚効果を出力することができる。例えば、いくつかの実施形態では、コンピュータデバイス７０２はユーザ７０４が触覚効果を知覚することができるようには床を振動させることができる。

【0085】

さらに、いくつかの実施形態では、コンピュータデバイス７０２はカメラデータを分析し、および、物理的オブジェクト７１４に関連する情報（例えば、その製造業者、サイズ、形状、コンテンツ、色、または方向）を決定することができる。いくつかの実施形態では、コンピュータデバイス７０２は決定された情報に基づいて触覚効果を出力することができる。例えば、いくつかの実施形態では、ユーザ７０４は、例えば、コンピュータデバイス７０２に設けられるカメラ７１０の前のおもちゃ箱を含む物理的オブジェクト７１４を保持できる。コンピュータデバイス７０２は、例えば、おもちゃ箱はおもちゃのヘリコプターを含むという、おもちゃ箱に関連する情報を決定することができる。いくつかの実施形態では、コンピュータデバイス７０２は、物理的オブジェクト７１４に関連する仮想オブジェクト７１２、例えば、おもちゃ箱の中の３Ｄモデルのおもちゃ（例えば、おもちゃのヘリコプター）を生成するように構成される拡張現実感アプリケーションを含むことができる。さらに、いくつかの実施形態では、コンピュータデバイス７０２は決定された情報に基づいて触覚効果を出力することができる。例えば、物理的オブジェクトがおもちゃのヘリコプターを含む上述の実施形態では、コンピュータデバイス７０２は飛行中のヘリコプターをシミュレートするように構成される、低い轟音振動を含む触覚効果を出力することができる。いくつかの実施形態では、コンピュータデバイス７０２は、ユーザ７０４がその上の立っている表面７０６を介して触覚効果を出力することができる。他の実施形態では、コンピュータデバイス７０２はおもちゃ箱の中の触覚出力デバイスを介して触覚効果を出力することができる。

【0086】

ビューポートベースの拡張現実感触覚効果の利点
ビューポートベースの拡張現実感触覚効果を持つことは非常に有利である。ユーザが仮想オブジェクトと相互作用する場合に拡張現実感アプリケーションによって触覚フィードバックを提供すると、ユーザは仮想オブジェクトのさまざまな態様をより現実味を帯びて知覚することができるので、ユーザの総合的な満足感が増大する。例えば、いくつかの実施形態では、拡張現実感アプリケーションはカメラデータにオーバレイさせた仮想のトラを出力することができる。仮想のトラに関連するタッチスクリーンディスプレイ領域をユーザが指で移動させる等のイベントが発生すると、コンピュータデバイスは毛をシミュレートする肌触りを出力することができる。結果として、ユーザは仮想のトラをより現実的に知覚することができる。

【0087】

さらに、触覚フィードバックをビューポートベースの拡張現実感に追加することによって、ブランドのためのマーケッティングを改善することができる。例えば、いくつかの実施形態では、拡張現実感アプリケーションは、例えば、会社ロゴを含む仮想オブジェクトを出力することができ、および、イベントが発生すると、ロゴに関連する触覚フィードバックを出力することができる。これによってユーザはブランドを触覚効果で同定できるので、ブランドを強化することができる。さらに、当該実施形態によって、より実体験のように感じ、および、改良されたマーケッティング経験を提供することができる。

【0088】

いくつかの実施形態では、ビューポートベースの拡張現実感触覚効果によって、ユーザに確認させることができる。例えば、いくつかの実施形態では、拡張現実感アプリケーションはボタンを含む仮想オブジェクトを出力することができる。ユーザがボタンの実空間位置と相互に作用すると、コンピュータデバイスはユーザの指の裏側に触覚効果（例えば、集中された圧力波）を出力することができるので、ボタンを押したことを確認する。いくつかの実施形態では、確認的な触覚フィードバックによって、ユーザの体験を強化することができる。

【0089】

いくつかの実施形態では、触覚フィードバックをビューポートベースの拡張現実感に追加することによって、追加の情報をユーザに提供することができる。例えば、いくつかの実施形態では、拡張現実感アプリケーションはオートバイを含む仮想オブジェクトを出力することができる。ディスプレイスクリーンを横切って指をスワイプさせることによって、ユーザはオートバイモデルのスイッチを入れることができる。オートバイモデルのスイッチが入れられると、いくつかの実施形態では、拡張現実感アプリケーションが、現在表示されているオートバイモデルのエンジンの馬力に基づいた振幅および／または持続時間振動を出力することができる。したがって、触覚効果の結果としてユーザは仮想オブジェクト（例えば、仮想のオートバイ）に関する追加の情報を知覚することができる。

【0090】

概論
上記で論じた方法、システム、およびデバイスは一例である。適切に、さまざまな構成を省略、代替でき、または、さまざまな手順またはコンポーネントを追加できる。たとえば、代替構成では、方法は記載された順番と異なる順番で実施でき、および／または、多様なステージが追加、省略、および／または組み合わされることができる。また、特定の構成に関して記載された特徴は、さまざまな他の構成と組み合わせられてもよい。構成の異なる態様および要素が同様に組み合わされてもよい。また、技術は発達するので、多くの要素が実施例となり、および、それらが本発明の範囲または請求の範囲を制限するものではない。

【0091】

実施例の構成（実装を含む）の全体を理解するために、特定の詳細が明細書中に記載されている。しかしながら、これらの特定の詳細を用いないでも構成を実施できる。たとえば、よく知られた回路、プロセス、アルゴリズム、構造、および、技術が、構成を複雑にすることを避けるために、不必要な詳細無しで示された。この明細書は、実施例の構成だけを提供するが、範囲、適用性、または、請求の範囲の構成を制限するものではない。むしろ、上述の構成の記載によって、当業者は記載された技術を実施することが可能になる。本発明の範囲または精神を逸脱することなく、要素の機能および配置に関してさまざまな変形形態が可能である。

【0092】

また、フローチャートまたはブロック図で示された構成は、プロセスによって記載されてもよい。それぞれはシーケンシャルプロセスで動作するように記載されたが、多くの動作は、並行してまたは同時に実施できる。さらに、動作の順番は再配置することができる。プロセスは、図に含まれない追加のステップを有してもよい。さらに、方法の実施例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、または、それらの組み合わせのいずれかによって実装されることができる。必要なタスクを実施するために実装されるソフトウェア、ファームウェア、ミドルウェア、またはマイクロコード、プログラムコードまたはコードセグメントは、記憶媒体などの一時的ではないコンピュータ読み取り可能な媒体に記憶される。プロセッサは開示されたタスクを実行できる。

【0093】

いくつかの実施例の構成が記載されたが、多様な修正形態、代替構成、および、均等態様を本発明の精神を逸脱しない範囲で使用することができる。たとえば、上記の要素は大きなシステムのコンポーネントであってもよく、他のルールが本発明のアプリケーションに先行、または、本発明のアプリケーションを変更してもよい。また、上記の要素が検討される前、中、または、後に、多くのステップが実施されてもよい。したがって、上記の記載は特許請求の範囲を拘束するものではない。

【0094】

明細書で使用される「に適用される（ａｄａｐｔｅｄ ｔｏ）」または「するように構成される（ｃｏｎｆｉｇｕｒｅｄ ｔｏ）」は、開放的および包括的な用語を意味し、追加のタスクまたはステップを実施するように構成され、または、適合するデバイスを除外するものではない。加えて、「に基づいて（ｂａｅｄ ｏｎ）」の使用は、開放的および包括的であることを意味し、プロセス、ステップ、演算、または、他の動作において、１つまたは複数の引用される条件または値「に基づいて（ｂａｅｄ ｏｎ）」とは、実際には、引用される条件または値の範囲を超える、追加の条件または値に基づいてもよい。見出し、リスト、および、明細書に含まれる符番は、説明を簡潔にするためだけであって、制限することを意図しない。

【0095】

本発明の態様による実施形態を、デジタル電子回路、コンピュータハードウェア、ファームウェア、ソフトウェア、または、それらの組み合わせに実装することができる。一実施形態では、コンピュータは、プロセッサ（単数または複数）を含んでもよい。プロセッサは、プロセッサに結合するランダムアクセスメモリ（ＲＡＭ）などのコンピュータ読み取り可能な媒体を含み、または、アクセスする。上述の方法を実施するセンササンプリングルーチン、選択ルーチン、および、他のルーチンを含む１つまたは複数のコンピュータプログラムを実行するように、メモリに記憶されたコンピュータ実行可能なプログラム命令をプロセッサが実施する。

【0096】

該プロセッサは、マイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレー（ＦＰＤＧＡ）、および、ステートマシーンを含んでもよい。該プロセッサは、ＰＬＣなどのプログラム可能電子デバイス、プログラム可能割り込みコントローラー（ＰＩＣ）、プログラム可能論理デバイス（ＰＬＤ）、プログラム可能読み出し専用メモリ（ＰＲＯＭ）、電気的プログラム可能読み出し専用メモリ（ＥＰＲＯＭまたはＥＥＰＲＯＭ）、または他の類似デバイスをさらに含んでもよい。

【0097】

該プロセッサは、たとえば有形のコンピュータ読み取り可能な媒体などの媒体を含み、または、たとえば有形のコンピュータ読み取り可能な媒体などの媒体と通信でき、該媒体は、プロセッサに本明細書に記載のステップを実施、または、補助するようにさせる命令を記憶する。コンピュータ読み取り可能な媒体の例は、これに限定されるものではないが、ウェブサーバー中のプロセッサなどのプロセッサに、コンピュータ読み取り可能な命令を提供できる、すべての電子的、光学的、磁気的、または他の記憶デバイスが挙げられる。媒体の他の例は、これに限定されるものではないが、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成されたプロセッサ、すべての光学的媒体、すべての磁気テープまたは他の磁気媒体、または、コンピュータプロセッサが読み出し可能なすべての他の媒体を含む。また、ルータ、プライベートまたはパブリックネットワーク、または他の転送デバイスなどのさまざまな他のデバイスは、コンピュータ読み取り可能な媒体を含んでもよい。記載されたプロセッサ、および、処理は、１つまたは複数の構造の中に存在してもよいし、１つまたは複数の構造を通じて分散されていてもよい。プロセッサは、本明細書に記載の１つまたは複数の方法（または方法の一部）を実行するためのコードを含んでもよい。

【0098】

本発明が、本発明の特定の実施形態に対して詳細に記載されたが、当然のことながら、当業者であれば、本明細書の内容を理解することによって、該実施形態に対する代替形態、変形形態、および、均等態様を容易に生成できる。したがって、当業者には容易に明らかになるであろうが、本発明の開示は制限するものではなく、実施例を説明するためであって、および、本発明に対する該修正形態、変形形態および／または追加形態を含めることを除外するものではないことを理解するべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】