特開 2016-119092 オブジェクトとの触覚対応相互作用のためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2016-119092(P2016-119092A)

(43)【公開日】2016年6月30日

(54)【発明の名称】オブジェクトとの触覚対応相互作用のためのシステム及び方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20160603BHJP

【ＦＩ】

   G06F3/01 560

   G06F3/01 570

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

【全頁数】44

(21)【出願番号】特願2015-247068(P2015-247068)

(22)【出願日】2015年12月18日

(31)【優先権主張番号】14/577,565

(32)【優先日】2014年12月19日

(33)【優先権主張国】US

(71)【出願人】

【識別番号】500390995

【氏名又は名称】イマージョン コーポレーション

【氏名又は名称原語表記】ＩＭＭＥＲＳＩＯＮ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100111235

【弁理士】

【氏名又は名称】原 裕子

(72)【発明者】

【氏名】レベスク、 ビンセント

(72)【発明者】

【氏名】ジュウ、 ウェイ

(72)【発明者】

【氏名】ジャーヴェイス、 エリック

(72)【発明者】

【氏名】アン、 フェンティアン

(72)【発明者】

【氏名】ラジュネス、 エリック

(72)【発明者】

【氏名】マアルーフ、 ジョニー

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA08

5E555AA11

5E555AA64

5E555BA04

5E555BA38

5E555BA68

5E555BB04

5E555BB38

5E555CA42

5E555CA43

5E555CA44

5E555CB66

5E555CB79

5E555CC01

5E555CC03

5E555DA24

5E555FA00

(57)【要約】      （修正有）

【課題】デジタルタスクを迅速、且つ、簡単にユーザに実行可能にするユーザインターフェースを提供する。
【解決手段】コンピュータ装置は、物理オブジェクトとのユーザ相互作用を検出して、ユーザ相互作用に関係付けられるセンサ信号を送信するように構成されるセンサを含む。また、センサと通信するプロセッサであって、センサ信号を受信し、センサ信号に基づいて物理オブジェクトの特徴を決定し、且つ、ユーザ相互作用及び特徴に少なくとも部分的に基づいて機能を決定するように構成されるプロセッサも含む。また、プロセッサは、機能に関係付けられる触覚効果を決定し、且つ、触覚効果に関係付けられる触覚信号を送信するように構成される。更に、コンピュータ装置は、プロセッサと通信する触覚出力装置を含み、触覚出力装置は触覚信号を受信して、触覚効果を出力するように構成される。
【選択図】図１

【特許請求の範囲】

【請求項1】

物理オブジェクトとのユーザ相互作用を検出して、前記ユーザ相互作用に関係付けられるセンサ信号を送信するように構成されるセンサと、
前記センサと通信するプロセッサであって、
前記センサ信号を受信し、
前記センサ信号に基づいて前記物理オブジェクトに関係付けられる特徴を決定し、
前記特徴に少なくとも部分的に基づいて機能を決定し
前記機能に関係付けられる触覚効果を決定し、且つ
前記触覚効果に関係付けられる触覚信号を送信するように構成されるプロセッサと、
前記プロセッサと通信する触覚出力装置であって、前記触覚信号を受信して、前記触覚効果を出力するように構成される触覚出力装置と
を備える、コンピュータ装置。

【請求項2】

前記機能は、ネットワークを介して製品を注文すること、文書を印刷すること、ウェブページを開くこと、アプリケーションを開くこと、Ｅメールを送信すること、リストに第１のエントリを追加すること、前記リストから第２のエントリを除去すること、テキストメッセージを送信すること、物理オブジェクトに関する情報を決定すること、仮想目覚まし時計を設定すること、プログラムオプション若しくは設定を選択すること、音声を録音すること、音声を出力すること、メディアコンテンツを再生すること、電子書籍を開くこと、計算を実行すること、住所録若しくは連絡先リストに第３のエントリを追加すること、価格比較を行うこと、ウェブサイトに関するユーザアカウントと相互作用すること、ＭＰ３をダウンロードすること、又は銀行残高を確認することの少なくとも１つを含む、請求項１に記載のコンピュータ装置。

【請求項3】

前記プロセッサは、前記機能を実行するように更に構成される、請求項１に記載のコンピュータ装置。

【請求項4】

前記センサは、加速度計、ジャイロスコープ、カメラ、無線自動識別（ＲＦＩＤ）タグ、ＲＦＩＤ読み取り機、屋内近接システム、３Ｄイメージングシステム、近距離無線通信装置、グローバルポジショニングシステム、超音波トランスデューサ、無線インターフェース、赤外線センサ、深度センサ、又は距離センサの少なくとも１つを含む、請求項１に記載のコンピュータ装置。

【請求項5】

前記コンピュータ装置は、靴、アームバンド、袖、ジャケット、眼鏡、手袋、指輪、腕時計、リストバンド、ブレスレット、衣類、帽子、ヘッドバンド若しくは宝石類を含む装着可能装置に関係付けられ、又は前記コンピュータ装置は、携帯電話、タブレット、Ｅリーダ、携帯型ゲーム装置、ワンド、スタイラス若しくはペンを含む把持可能装置に関係付けられる、請求項１に記載のコンピュータ装置。

【請求項6】

前記プロセッサは、
前記ユーザ相互作用に関係付けられる第２の特徴を決定し、且つ
前記第２の特徴に少なくとも部分的に基づいて前記触覚効果を決定するように更に構成される、請求項１に記載のコンピュータ装置。

【請求項7】

前記コンピュータ装置は、棚、運搬装置、又は前記物理オブジェクトの包装に結合される、請求項１に記載のコンピュータ装置。

【請求項8】

前記触覚出力装置は、前記コンピュータ装置から離れており、振動、テクスチャ、知覚される摩擦係数の変化、超音波圧力波、又はガスの吹き出しの少なくとも１つを含む遠隔触覚効果を出力するように構成される、請求項１に記載のコンピュータ装置。

【請求項9】

センサからセンサ信号を受信するステップであって、前記センサ信号は物理オブジェクトとのユーザ相互作用に関係付けられるステップと、
前記センサ信号に基づいて前記物理オブジェクトの特徴を決定するステップと、
前記特徴に少なくとも部分的に基づいて機能を決定するステップと、
前記機能に関係付けられる触覚効果を決定するステップと、
前記触覚効果に関係付けられる触覚信号を送信するステップであって、触覚出力装置が前記触覚信号を受信して、前記触覚効果を出力するように構成されるステップと
を含む、方法。

【請求項10】

前記機能は、ネットワークを介して製品を注文すること、文書を印刷すること、ウェブページを開くこと、アプリケーションを開くこと、Ｅメールを送信すること、リストに第１のエントリを追加すること、前記リストから第２のエントリを除去すること、テキストメッセージを送信すること、物理オブジェクトに関する情報を決定すること、仮想目覚まし時計を設定すること、プログラムオプション若しくは設定を選択すること、音声を録音すること、音声を出力すること、メディアコンテンツを再生すること、電子書籍を開くこと、計算を実行すること、住所録若しくは連絡先リストに第３のエントリを追加すること、価格比較を行うこと、ウェブサイトに関するユーザアカウントと相互作用すること、ＭＰ３をダウンロードすること、又は銀行残高を確認することの少なくとも１つを含む、請求項９に記載の方法。

【請求項11】

前記機能を実行するステップを更に含む、請求項９に記載の方法。

【請求項12】

前記センサは、靴、アームバンド、袖、ジャケット、眼鏡、手袋、指輪、腕時計、リストバンド、ブレスレット、衣類、帽子、ヘッドバンド若しくは宝石類を含む装着可能装置に関係付けられ、又は前記センサは、携帯電話、タブレット、Ｅリーダ、携帯型ゲーム装置、ワンド、スタイラス若しくはペンを含む把持可能装置に関係付けられる、請求項９に記載の方法。

【請求項13】

前記物理オブジェクトは、前記センサから離れている、請求項９に記載の方法。

【請求項14】

前記センサは、棚、運搬装置、又は前記物理オブジェクトの包装に結合される、請求項９に記載の方法。

【請求項15】

前記触覚出力装置は、前記センサから離れており、振動、テクスチャ、知覚される摩擦係数の変化、絞り感覚、超音波圧力波、又はガスの吹き出しの少なくとも１つを含む遠隔触覚効果を出力するように構成される、請求項９に記載の方法。

【請求項16】

プロセッサによって実行されると、前記プロセッサに
センサからセンサ信号を受信することであって、前記センサ信号は物理オブジェクトとのユーザ相互作用に関係付けられること、
前記センサ信号に基づいて前記物理オブジェクトの特徴を決定すること、
前記特徴に少なくとも部分的に基づいて機能を決定すること、
前記機能に関係付けられる触覚効果を決定すること、及び
前記触覚効果に関係付けられる触覚信号を送信することであって、触覚出力装置が前記触覚信号を受信して、前記触覚効果を出力するように構成されること
を行わせるように構成されるプログラムコードを含む、一時的でないコンピュータ可読媒体。

【請求項17】

前記機能は、ネットワークを介して製品を注文すること、文書を印刷すること、ウェブページを開くこと、アプリケーションを開くこと、Ｅメールを送信すること、リストに第１のエントリを追加すること、前記リストから第２のエントリを除去すること、テキストメッセージを送信すること、物理オブジェクトに関する情報を決定すること、仮想目覚まし時計を設定すること、プログラムオプション若しくは設定を選択すること、音声を録音すること、音声を出力すること、メディアコンテンツを再生すること、電子書籍を開くこと、計算を実行すること、住所録若しくは連絡先リストに第３のエントリを追加すること、価格比較を行うこと、ウェブサイトに関するユーザアカウントと相互作用すること、ＭＰ３をダウンロードすること、又は銀行残高を確認することの少なくとも１つを含む、請求項１６に記載の一時的でないコンピュータ可読媒体。

【請求項18】

前記センサは、靴、アームバンド、袖、ジャケット、眼鏡、手袋、指輪、腕時計、リストバンド、ブレスレット、衣類、帽子、ヘッドバンド若しくは宝石類を含む装着可能装置に関係付けられ、又は前記センサは、携帯電話、タブレット、Ｅリーダ、携帯型ゲーム装置、ワンド、スタイラス若しくはペンを含む把持可能装置に関係付けられる、請求項１６に記載の一時的でないコンピュータ可読媒体。

【請求項19】

プロセッサによって実行されると、前記プロセッサに前記機能を実行させるように構成されるプログラムコードを更に含む、請求項１６に記載の一時的でないコンピュータ可読媒体。

【請求項20】

前記センサは、棚、運搬装置、又は前記物理オブジェクトの包装に結合される、請求項１６に記載の一時的でないコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザインターフェース装置の分野に関する。より詳細には、本発明は、オブジェクトとの触覚対応相互作用に関する。
（関連出願の相互参照）
本願は、本願と同日付で提出され、“Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｏｂｊｅｃｔ Ｍａｎｉｐｕｌａｔｉｏｎ ｗｉｔｈ Ｈａｐｔｉｃ Ｆｅｅｄｂａｃｋ”（Ａｔｔｏｒｎｅｙ Ｄｏｃｋｅｔ Ｎｏ． ＩＭＭ５４７ （５８５１８−９２２２９２））と題された米国特許出願第１４／５７７，４６１号に関連し、その全体は参照により本明細書に組み込まれる。

【背景技術】

【0002】

人々は、製品に関係付けられるデジタルタスクを行うためにコンピュータベースのシステムをますます多く使用している。例えば、消費者が、移動装置（例えば、スマートフォン）を使用して、製品に関するレビューを読んだり、製品を購入したり、又はショッピングリストに製品を追加したりする場合がある。しかしながら、ユーザがこのようなデジタルタスクを行うのは困難であり、時間がかかる場合がある。例えば、ユーザは、オンライン購入を完了するために移動装置の小さなユーザインターフェース（例えば、タッチスクリーンディスプレイ）と相互作用しなければならないかもしれない。一部のデジタルタスクは、ユーザにとって苛立たしい多くの複雑なステップを要求する。従って、このようなデジタルタスクを迅速且つ簡単にユーザに実行可能にするユーザインターフェースの改良が必要とされる。このようなユーザインターフェースを改良するために触覚フィードバック（例えば、機械的振動）を使用することが望ましいかもしれない。

【発明の概要】

【0003】

本開示の実施形態は、オブジェクトとの触覚対応相互作用を含む。一実施形態では、本開示のコンピュータ装置は、物理オブジェクトとのユーザ相互作用を検出して、ユーザ相互作用に関係付けられるセンサ信号を送信するように構成されるセンサを備えてもよい。また、コンピュータ装置は、センサと通信するプロセッサであって、センサ信号を受信し、センサ信号に基づいて物理オブジェクトの特徴を決定し、且つユーザ相互作用及び特徴に少なくとも部分的に基づいて機能を決定するように構成されるプロセッサを備えてもよい。また、プロセッサは、機能に関係付けられる触覚効果を決定し、且つ触覚効果に関係付けられる触覚信号を送信するように構成されてもよい。更に、コンピュータ装置は、プロセッサと通信する触覚出力装置を含んでもよく、触覚出力装置は触覚信号を受信して、触覚効果を出力するように構成される。

【0004】

別の実施形態では、本開示の方法は、センサからセンサ信号を受信するステップを含んでもよく、センサ信号は物理オブジェクトとのユーザ相互作用に関係付けられる。また、方法は、センサ信号に基づいて物理オブジェクトの特徴を決定するステップと、ユーザ相互作用及び特徴に少なくとも部分的に基づいて機能を決定するステップとを含んでもよい。更に、プロセッサは、機能に関係付けられる触覚効果を決定するステップと、触覚効果に関係付けられる触覚信号を送信するステップとを含んでもよい。触覚出力装置は、触覚信号を受信して、触覚効果を出力するように構成されてもよい。更に別の実施形態は、このような方法を実装するためのコンピュータ可読媒体を含む。

【0005】

こうした例示の実施形態は、本主題を限定し又はその限界を定義するためではなく、その理解を支援するための例示を提供するために言及される。更なる実施形態は、詳細な説明において検討され、そこでは追加の説明が提供される。本明細書を吟味することによって、及び／又は請求項に記載の主題の１つ以上の実施形態を実施することによって、様々な実施形態によってもたらされる利点が更に理解され得る。

【図面の簡単な説明】

【0006】

本明細書の以下の部分には完全且つ実施可能な開示がより詳細に説明される。本明細書は以下の添付の図面を参照する。

【図1】一実施形態によるオブジェクトとの触覚対応相互作用のためのシステムを示すブロック図である。

【図2】別の実施形態によるオブジェクトとの触覚対応相互作用のためのシステムを示す別のブロック図である。

【図3】オブジェクトとの触覚対応相互作用のためのシステムの実施形態を示す。

【図4】オブジェクトとの触覚対応相互作用のためのシステムの別の実施形態を示す。

【図5A】オブジェクトとの触覚対応相互作用のためのシステムの更に別の実施形態を示す。

【図5B】オブジェクトとの触覚対応相互作用のためのシステムの更に別の実施形態を示す。

【図6】オブジェクトとの触覚対応相互作用のためのシステムの別の実施形態を示す。

【図7】オブジェクトとの触覚対応相互作用のためのシステムの更に別の実施形態を示す。

【図8】オブジェクトとの触覚対応相互作用のためのシステムの更に別の実施形態を示す。

【図9】別の実施形態によるオブジェクトとの触覚対応相互作用を提供する方法を実行するためのステップのフローチャートである。

【発明を実施するための形態】

【0007】

次に、多様な及び代替的な例示の実施形態及び添付の図面を詳細に参照する。各例示は、限定としてではなく、説明目的で提供される。修正及び変更が行われ得ることは、当業者には明らかであろう。例えば、一実施形態の一部として例示され又は記載された特徴は、更なる実施形態をもたらすために別の実施形態において使用されてもよい。従って、本開示は、添付の請求項及び均等物の範囲に入る修正及び変形を含むことが意図されている。

【0008】

（オブジェクトとの触覚対応相互作用の例示）
本開示の例示の実施形態はコンピュータ装置を含む。コンピュータ装置は、バスを介してメモリに結合されるプロセッサを備える。例示の実施形態では、コンピュータ装置は、ユーザに装着されるように構成される。例えば、コンピュータ装置は、ユーザの指に装着されるように構成される指輪を含んでもよい。

【0009】

例示の実施形態では、コンピュータ装置は、オブジェクトとのユーザ相互作用を検出して、センサ信号をプロセッサに送信するように構成されるセンサを備える。本明細書で用いられるオブジェクトは、ユーザが潜在的に相互作用できる（例えば、実際の又は仮想の）任意の物である。例えば、ユーザは、引き出しから９ｖバッテリを取り出してもよい。ユーザは、９ｖバッテリを握りながら空中で“Ｌ”形状のジェスチャを行ってもよい。例示の実施形態では、コンピュータ装置は、９ｖバッテリとユーザの相互作用を検出してもよい。コンピュータ装置は、ユーザ相互作用が“Ｌ”形状のジェスチャを含むこと、及びオブジェクトが９ｖバッテリを含むことを決定してもよい。例示の実施形態では、コンピュータ装置は、ユーザ相互作用及びオブジェクトに少なくとも部分的に基づいて、実行すべき機能を決定する。本明細書で用いられる機能は、１つ以上のデジタル動作を含む。その後、コンピュータ装置は機能を実行してもよい。例えば、“Ｌ”形状のジェスチャ及び９ｖバッテリに基づいて、コンピュータ装置は、ユーザのショッピングリストに９ｖバッテリを追加することを含む機能を決定してもよい。次に、コンピュータ装置は、ユーザの（例えば、ショッピングリストモバイルアプリケーションにおける）ショッピングリストに９ｖバッテリを追加してもよい。このようにして、ユーザは、実空間におけるオブジェクトと相互作用することによりデジタル世界において迅速且つ容易に機能を実行することができる。

【0010】

例示の実施形態では、コンピュータ装置は、触覚出力装置を更に含む。コンピュータ装置は、ユーザ相互作用、オブジェクト、及び／又は機能に基づいて、ユーザに触覚フィードバックを提供してもよい。例えば、例示の実施形態では、コンピュータ装置は、（例えば、９ｖバッテリがユーザのショッピングリストに追加されると）機能が行われたことを確認するために短い振動を含む触覚効果を出力する。これは、機能が行われたことをユーザに知らせてもよい。

【0011】

上記の例示的な実施形態の記載は、単なる例示として提供される。本発明の他の様々な実施形態が本明細書に記載されており、このような実施形態の変形は当業者によって理解されるであろう。本明細書を吟味することによって、及び／又は請求項に記載の主題の１つ以上の実施形態を実施することによって、様々な実施形態によってもたらされる利点が更に理解され得る。

【0012】

（オブジェクトとの触覚対応相互作用の例示のシステム）
図１は、一実施形態によるオブジェクトとの触覚対応相互作用のためのコンピュータ装置１０１を示すブロック図である。一部の実施形態では、コンピュータ装置１０１は、把持可能装置（例えば、スマートフォン、タブレット、Ｅリーダ及び／又は携帯型ゲーム装置）を含んでもよい。他の実施形態では、コンピュータ装置１０１は、装着可能装置（例えば、指輪、靴、アームバンド、袖、ジャケット、眼鏡、手袋、腕時計、リストバンド、ブレスレット、衣類、帽子、ヘッドバンド、及び／又は宝石類）を含んでもよい。

【0013】

一部の実施形態では、コンピュータ装置１０１のコンポーネント（例えば、プロセッサ２０２、ネットワーク１１０、相互作用センサ１３２、センサ１３０等）は単一の筐体に組み込まれてもよい。他の実施形態では、コンポーネントは、（例えば、多数の家又は場所の間で）分散され且つ互いと電気通信してもよい。コンピュータ装置１０１は、図１に記載の全てのコンポーネントを含んでもよく又は含まなくてもよい。例えば、一部の実施形態では、コンピュータ装置１０１は、プロセッサ１０２、バス１０６、メモリ１０４、ネットワーク１１０、及び触覚出力装置１１８を含んでもよい。

【0014】

コンピュータ装置１０１は、バス１０６を介して他のハードウェアとインターフェース接続されるプロセッサ１０２を含む。ＲＡＭ、ＲＯＭ又はＥＥＰＲＯＭ等の任意の適切な有形の（及び一時的でない）コンピュータ可読媒体を含み得るメモリ１０４が、コンピュータ装置１０１の動作を構成するプログラム要素を具現化してもよい。一部の実施形態では、コンピュータ装置１０１は、１つ以上のネットワークインターフェース装置１１０、入力／出力（Ｉ／Ｏ）インターフェース要素１１２、及び追加の記憶装置１１４を更に備えてもよい。

【0015】

ネットワークインターフェース装置１１０は、ネットワーク接続を容易にする又は電子装置間での通信を容易にする１つ以上の任意の構成要素を表し得る。限定されないが、例示には、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、ＩＥＥＥ１３９４等の有線インターフェース、及び／又はＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離無線通信（ＮＦＣ）インターフェース等の無線インターフェース、又は携帯電話ネットワークにアクセスするための無線インターフェース（例えば、ＣＤＭＡ、ＧＳＭ（登録商標）、ＵＭＴＳ又は他の移動通信ネットワーク）が含まれる。

【0016】

Ｉ／Ｏ構成要素１１２は、１つ以上のディスプレイ、タッチセンサ面１１６、キーボード、マウス、スピーカ、マイクロホン、ボタン、及び／又はデータの入力又は出力に使用される他のハードウェア等の装置への接続を容易にするために使用されてもよい。記憶装置１１４は、読み取り専用メモリ、フラッシュメモリ、強誘電性ＲＡＭ（Ｆ−ＲＡＭ）、磁気、光学、又はコンピュータ装置１０１に含まれ若しくはプロセッサ１０２に結合される他の記憶媒体等の不揮発性記憶装置を表す。

【0017】

コンピュータ装置１０１は、タッチセンサ面１１６を含んでもよい。タッチセンサ面１１６は、ユーザの触覚入力を感知するように構成される任意の表面を表す。１つ以上のタッチセンサ１０８は、（例えば、物体がタッチセンサ面１１６に接触する場合に）接触領域における接触を検出して、プロセッサ１０２に接触に関係付けられる信号を送信するように構成される。任意の適切な数、種類、又は配置のタッチセンサ１０８が使用され得る。例えば、抵抗性及び／又は容量性のセンサが、タッチセンサ面１１６に組み込まれて、タッチの場所及び圧力、速さ、及び／又は方向等の他の情報を検出するために使用されてもよい。別の例示として、タッチ位置を決定するために、タッチセンサ面１１６のビューを備える光学センサが使用されてもよい。更に別の例示として、タッチセンサ面１１６は、ディスプレイの側部に取り付けられるＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）指検出器を含んでもよい。一部の実施形態では、タッチセンサ１０８は、ユーザ相互作用の複数の態様を検出するように構成されてもよい。例えば、タッチセンサ１０８は、ユーザ相互作用の速度及び圧力の両方を検出して、この情報をプロセッサ１０２に送信される信号に組み込んでもよい。

【0018】

一部の実施形態では、コンピュータ装置１０１は、装置のタッチセンサ面１１６及びディスプレイを組み合わせたタッチ可能ディスプレイを含んでもよい。タッチセンサ面１１６は、ディスプレイ外部又はディスプレイの構成要素上の１つ以上の材料層に対応してもよい。他の実施形態では、コンピュータ装置１０１の特定の構成によっては、タッチセンサ面１１６はディスプレイを含まなくてもよい（さもなければ、ディスプレイに対応しなくてもよい）。

【0019】

一部の実施形態では、コンピュータ装置１０１は相互作用センサ１３２を含む。相互作用センサ１３２は、（例えば、指、足、手、腕、頭、脚、又は体の他の部分を使用して）ユーザによるオブジェクト（例えば、店の棚にある製品）及び／又はコンピュータ装置１０１との相互作用を検出するように構成される。一部の実施形態では、ユーザ相互作用は、オブジェクトに触れること、実空間でジェスチャを行うこと、オブジェクトを使用してジェスチャを行うこと（例えば、オブジェクトを持ち上げること及び実空間でそれを動かすこと）、又はオブジェクトに対してジェスチャを行うこと（例えば、オブジェクトの表面に沿って指をスワイプすること）を含んでもよい。相互作用センサ１３２は、相互作用に関係付けられるセンサ信号をプロセッサ１０２に送信するように更に構成される。相互作用センサ１３２は、加速度計、ジャイロスコープ、カメラ、無線自動識別（ＲＦＩＤ）タグ又は読み取り機、屋内近接システム、ＮＦＣ通信装置、グローバルポジショニングシステム（ＧＰＳ）装置、磁力計、超音波トランスデューサ、スイッチ、ボタン、光学センサ、光センサ、マイクロホン、無線インターフェース（例えば、ＩＥＥＥ８０２．１１又はＢｌｕｅｔｏｏｔｈ（登録商標）インターフェース）、赤外線センサ、深度センサ及び／又は距離センサを含んでもよい。

【0020】

例えば、一実施形態では、相互作用センサ１３２は、オブジェクトにより放出される無線信号の強度を検出するように構成される無線インターフェースを含む。相互作用センサ１３２は、無線信号強度に関係付けられるセンサ信号をプロセッサ１０２に送信してもよい。無線信号強度に基づいて、プロセッサ１０２は、例えば、コンピュータ装置１０１がオブジェクトの既定距離内にあるかどうかを決定してもよい。そうであれば、プロセッサ１０２は、発生した（例えば、オブジェクトの既定の距離内に入る）相互作用を決定してもよい。

【0021】

別の実施形態では、相互作用センサ１３２は、オブジェクトの操作に関係付けられる音を検出するように配置されるマイクロホンを含む。例えば、ユーザは、コーヒーの缶又はシリアルの箱を振ってもよい。相互作用センサ１３２は、揺動に関係付けられる音を検出してもよい。相互作用センサ１３２は、音に関係付けられるセンサ信号をプロセッサ１０２に送信してもよい。センサ信号に基づいて、プロセッサ１０２は、例えば、オブジェクトが移動したこと又はユーザ相互作用が他のやり方で起こったことを決定してもよい。

【0022】

更に別の実施形態では、相互作用センサ１３２は、オブジェクトに向けられるカメラを含む。ユーザは、オブジェクトの付近で（例えば、指、手、腕、脚、頭、又は脚により）空中でジェスチャ（例えば、チェックマークサイン）を行ってもよい。相互作用センサ１３２は、ジェスチャに関係付けられる画像をキャプチャして、プロセッサ１０２にセンサ信号を送信してもよい。センサ信号に基づいて、プロセッサ１０２は、発生したユーザ相互作用を決定してもよい。プロセッサ１０２は、センサ信号を更に分析して、発生したジェスチャの特定のタイプを決定してもよい。例えば、プロセッサ１０２は、センサ信号を分析して、ユーザが指を使って空中でチェックマークを作ったことを決定してもよい。

【0023】

更に別の実施形態では、相互作用センサ１３２は、光学センサを含む。オブジェクトは、光が相互作用センサ１３２に届くことを妨げるように配置されてもよい。例えば、オブジェクトは、棚に配置される相互作用センサ１３２の上に置かれてもよい。ユーザがオブジェクトを動かし又はオブジェクトを操作すると、相互作用センサ１３２は、光量の変化を検出してもよい。相互作用センサ１３２は、光量の変化に関係付けられるセンサ信号をプロセッサ１０２に送信してもよい。センサ信号に基づいて、プロセッサ１０２は、ユーザ相互作用が発生したこと、又はユーザ相互作用の特徴（例えば、ユーザが閾値を超える距離だけオブジェクトを動かしたかどうか）を決定してもよい。

【0024】

一部の実施形態では、相互作用センサ１３２は、コンピュータ装置１０１の外部にあり、コンピュータ装置１０１と有線又は無線で通信する。例えば、相互作用センサ１３２は、装着可能装置（例えば、眼鏡又はネクタイ）に関係付けられるカメラを含み、コンピュータ装置１０１と通信してもよい。別の例示として、相互作用センサ１３２は、３Ｄイメージングシステム（例えば、Ｍｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ(R)の商標で売られている３Ｄイメージングシステム）又はコンピュータ装置１０１の外部に（例えば、店の棚に）配置されるＬＥＤベーストラッキングシステムを含み、コンピュータ装置１０１と通信してもよい。

【0025】

コンピュータ装置１０１は、１つ以上の追加のセンサ１３０も更に備えてもよい。（複数の）センサ１３０は、プロセッサ１０２にセンサ信号を送信するように構成される。一部の実施形態では、センサ１３０は、例えば、湿度センサ、周辺光センサ、ジャイロスコープ、ＧＰＳ装置、加速度計、距離センサ又は深度センサ、バイオセンサ、カメラ、又は温度センサを含んでもよい。一部の実施形態では、センサ１３２は、コンピュータ装置１０１の外部にあり、コンピュータ装置１０１と有線又は無線で通信する。例えば、センサ１３０は、装着可能装置（例えば、指輪又はリストバンド）に結合されるバイオセンサを含んでもよい。バイオセンサは、例えば、ユーザのポケットに配置され得るコンピュータ装置１０１にセンサ信号を無線で送信するように構成されてもよい。

【0026】

一部の実施形態では、コンピュータ装置１０１は、プロセッサ１０２と通信する触覚出力装置１１８を含む。触覚出力装置１１８は、触覚信号に応答して触覚効果を出力するように構成される。一部の実施形態では、触覚出力装置１１８は、振動、知覚される摩擦係数の変化、シミュレートされるテクスチャ、温度の変化、ストロークの感覚、電気触覚効果、又は表面変形（例えば、コンピュータ装置１０１に関係付けられる表面の変形）を含む触覚効果を出力するように構成される。更に、一部の触覚効果は、同じ又は異なるタイプの複数の触覚出力装置１１８を順番に及び／又は同時に使用してもよい。図１には単一の触覚出力装置１１８が示されているが、実施形態では、触覚効果を生ずるために同じ又は異なるタイプの複数の触覚出力装置１１８が使用されてもよい。

【0027】

一部の実施形態では、触覚出力装置１１８は、コンピュータ装置１０１の外部にあり、（例えば、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、ＩＥＥＥ１３９４等の有線インターフェース、及び／又はＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はラジオインターフェース等の無線インターフェースを介して）コンピュータ装置１０１と通信してもよい。例えば、触覚出力装置１１８は、装着可能装置に関係付けられ（例えば、結合され）、プロセッサ１０２から触覚信号を受信するように構成されてもよい。

【0028】

一部の実施形態では、触覚出力装置１１８は、振動を含む触覚効果を出力するように構成される。触覚出力装置１１８は、例えば、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ（ＥＲＭ）又は線形共振アクチュエータ（ＬＲＡ）の１つ以上を含んでもよい。

【0029】

一部の実施形態では、触覚出力装置１１８は、触覚出力装置１１８に関係付けられる表面の知覚される摩擦係数を変調する触覚効果を出力するように構成されてもよい。一部の実施形態では、触覚出力装置１１８は、超音波アクチュエータを含む。超音波アクチュエータは、超音波周波数、例えば、２０ｋＨｚで振動して、関係付けられた表面の知覚される係数を増加又は減少してもよい。一部の実施形態では、超音波アクチュエータは、圧電材料を含んでもよい。

【0030】

一部の実施形態では、触覚出力装置１１８は、静電気引力を使用して、例えば、静電アクチュエータを使用することによって、触覚効果を出力する。触覚効果は、シミュレートされるテクスチャ、シミュレートされる振動、ストロークの感覚、又はコンピュータ装置１０１に関係付けられる表面における知覚される摩擦係数の変化を含んでもよい。一部の実施形態では、静電アクチュエータは、導電層及び絶縁層を含んでもよい。導電層は、任意の半導体又は銅、アルミニウム、金又は銀等の他の導電性材料であってもよい。絶縁層は、ガラス、プラスチック、ポリマ、又は任意の他の絶縁性材料であってもよい。更に、プロセッサ１０２は、導電層に電気信号、例えば、ＡＣ信号を加えることによって静電アクチュエータを動作させてもよい。一部の実施形態では、高電圧増幅器がＡＣ信号を生成してもよい。電気信号は、導電層と触覚出力装置１１８に近接する又は接触するオブジェクト（例えば、ユーザの指、頭、足、腕、肩、脚、若しくは体の他の部分、又はスタイラス）との間に容量結合を生成してもよい。オブジェクトと導電層との間の引力レベルの変化は、ユーザによって知覚される触覚効果を変化させることができる。

【0031】

他の実施形態では、触覚出力装置１１８は、触覚効果を生成するためにリバース電子振動（ｒｅｖｅｒｓｅ ｅｌｅｃｔｒｏｖｉｂｒａｔｉｏｎ）を使用してもよい。このような実施形態では、触覚出力装置１１８は、ユーザの体の一部に接触する導体を含んでもよい。プロセッサ１０２は、導体を介してユーザに、電気信号、例えば、ＡＣ信号を加えることによって触覚出力装置１１８を動作させてもよい。電気信号は、ユーザの皮膚に電界を生成し得る。ユーザが絶縁体により覆われた導体を含む物理オブジェクトと相互作用する場合、（例えば、電気信号により生成される電界により）ユーザの体と電極との間の電位差が静電引力を生成してもよい。オブジェクト及びユーザの双方は、静電引力を生成するために共通の電気グランドに結合されてもよい。一部の実施形態では、電気信号の特性の変化は、ユーザと物理オブジェクトとの間の静電引力の特徴を変化させ得る。一部の実施形態では、これはユーザによって知覚される触覚効果を変化させ得る。

【0032】

一部の実施形態では、触覚出力装置１１８は、変形触覚効果を出力するように構成される変形装置を含む。変形触覚効果は、コンピュータ装置１０１に関係付けられる表面の部分を隆起又は降下させることを含んでもよい。例えば、コンピュータ装置１０１が（例えば、店内の）製品の中に配置されている場合、変形触覚効果は、凹凸のあるテクスチャを生成するために製品の包装の表面の部分を隆起させることを含んでもよい。一部の実施形態では、変形触覚効果は、コンピュータ装置１０１に関係付けられる表面を折り曲げ、折り畳み、丸め、捻り、絞り、屈曲させ、形状変化させ、又はそれ以外の変形をさせることを含んでもよい。例えば、変形触覚効果は、コンピュータ装置１０１（又はコンピュータ装置１０１に関係付けられる表面）に力を加えて、それを折り曲げ、折り畳み、丸め、捻り、絞り、屈曲し、形状変化し、又はそれ以外の変形をすることを引き起こしてもよい。例えば、コンピュータ装置１０１が製品の包装の中に配置されている場合、変形触覚効果は、製品の包装の表面の上部をユーザに向かって折り曲げることを含んでもよい。これは、特定の機能が行われたこと（例えば、コンピュータ装置１０１がインターネットを介して製品を購入し、これからユーザは自由に製品を取ることができること）をユーザに知らせてもよい。

【0033】

一部の実施形態では、触覚出力装置１１８は、（例えば、コンピュータ装置１０１又はコンピュータ装置１０１に関係付けられる表面を折り曲げ又は変形させるために）変形触覚効果を出力するように構成される流体を含む。例えば、流体はスマートゲルを含んでもよい。スマートゲルは、１つ又は複数の刺激（例えば、電解、磁界、温度、紫外線、振動、又はｐＨ変化）に応じて変化する機械又は構造的特性を有する流体を含む。例えば、刺激に応じて、スマートゲルは、剛性、容量、透明性、及び／又は色を変化させてもよい。一部の実施形態では、剛性は、コンピュータ装置１０１に関係付けられる表面の変形に対する抵抗を含んでもよい。一部の実施形態では、１つ以上のワイヤがスマートゲルに組み込まれ又は結合されてもよい。電流がワイヤを流れるので、熱が放射されて、スマートゲルを拡張又は収縮させる。これがコンピュータ装置１０１又はコンピュータ装置１０１に関係付けられる表面を変形させてもよい。

【0034】

別の例示として、流体は、レオロジー流体（例えば、磁性流体又は電気流体）を含んでもよい。レオロジー流体は、液体（例えば、油又は水）中に懸濁している金属粒子（例えば、鉄粒子）を含む。電界又は磁界に応じて、流体中の分子の秩序が再編成されて、それにより流体の全体的な制動及び／又は粘度が変更されてもよい。これがコンピュータ装置１０１又はコンピュータ装置１０１に関係付けられる表面を変形させてもよい。

【0035】

一部の実施形態では、触覚出力装置１１８は、機械変形装置を含む。例えば、一部の実施形態では、触覚出力装置１１８は、変形要素を回転させるアームに結合されるアクチュエータを含んでもよい。変形要素は、例えば、楕円形、星形、又は波形形状を含んでもよい。変形要素は、所定の回転角度でコンピュータ装置１０１に関係付けられる表面を動かし、それ以外では動かさないように構成されてもよい。アクチュエータは、圧電アクチュエータ、回転／線形アクチュエータ、ソレノイド、電気活性ポリマアクチュエータ、ＭＦＣ（ｍａｃｒｏ ｆｉｂｅｒ ｃｏｍｐｏｓｉｔｅ）アクチュエータ、形状記憶合金（ＳＭＡ）アクチュエータ、及び／又は他のアクチュエータを含んでもよい。アクチュエータが変形要素を回転させると、変形要素は表面を動かして、それにより変形を引き起こしてもよい。このような実施形態では、変形要素は、表面が平坦になる位置で開始してもよい。プロセッサ１０２から信号を受信することに応じて、アクチュエータは変形要素を回転させてもよい。変形要素を回転させることによって、表面の１つ以上の部分が持ち上げられ又は下げられてもよい。一部の実施形態では、変形要素は、元の位置に戻るように変形要素を回転させるようにプロセッサ１０２がアクチュエータに信号を送るまで、この回転した状態で維持されてもよい。

【0036】

更に、コンピュータ装置１０１に関係付けられる表面を変形させるための他の技術又は方法が用いられ得る。例えば、触覚出力装置１１８は、表面再構成可能な触覚基板（限定されないが、例えば、繊維、ナノチューブ、電気活性ポリマ、圧電要素、又は形状記憶合金を含む）からの接触に基づいて、その表面を変形させ又はそのテクスチャを変化させるように構成される可撓性表面層を含んでもよい。一部の実施形態では、触覚出力装置１１８は、例えば、変形機構（例えば、ワイヤに結合されるモータ）、空気若しくは流体ポケット、材料の局部変形、共振機械要素、圧電性材料、微小電気機械システム（“ＭＥＭＳ”）要素又はポンプ、熱流体ポケット、ＭＥＭＳポンプ、可変多孔性膜（ｖａｒｉａｂｌｅ ｐｏｒｏｓｉｔｙ ｍｅｍｂｒａｎｅｓ）、又は層流変調により変形させられる。

【0037】

一部の実施形態では、触覚出力装置１１８は、遠隔でユーザに触覚効果を投影するように構成される。例えば、触覚出力装置１１８は、ユーザに向かって（例えば、ユーザの手の甲に向かって）材料（例えば、固体、液体、ガス、又はプラズマ）を放出するように構成される１つ以上の噴射を含んでもよい。このような実施形態では、触覚出力装置１１８は、触覚信号を受信すると様々な特徴を有する酸素、窒素、二酸化炭素、又は一酸化炭素の吹き出し又は流れを放出するように構成されるガス噴射を含む。別の例示として、触覚出力装置１１８は、ユーザの方向に圧力波を投影するように構成される１つ以上の超音波トランスデューサ又はスピーカを含んでもよい。このような実施形態では、ユーザがオブジェクトと相互作用すると、プロセッサ１０２は、ユーザに向かって集中圧力波を触覚出力装置１１８に放出させてもよい。集中圧力波は、ユーザの体の一部（例えば、ユーザの手）を振動させてもよい。

【0038】

一部の実施形態では、触覚出力装置１１８は、コンピュータ装置１０１の筐体の一部であってもよい。他の実施形態では、触覚出力装置１１８は、コンピュータ装置１０１に関係付けられる表面（例えば、コンピュータ装置１０１の前又は背後）を覆う可撓性筐体の中に収容されてもよい。例えば、コンピュータ装置１０１は腕時計を含んでもよい。触覚出力装置１１８は、腕時計のバンドの内側を覆うスマートゲルの層を含んでもよい。触覚出力装置１１８を作動させると（例えば、電界又は電流を用いて）、スマートゲルは拡張してもよい。これは、ユーザの手首の周囲に絞り感覚を含む触覚効果をユーザに知覚させてもよい。

【0039】

メモリ１０４に関しては、モジュール１２４、１２５、１２６及び１２８は、オブジェクトとの触覚対応相互作用を与えるために一部の実施形態では、装置がどのように構成され得るかを示すように描かれている。この例示では、オブジェクト相互作用検出モジュール１２４は、相互作用センサ１３２を監視するようにプロセッサ１０２を及び／又はユーザがオブジェクトと相互作用したかどうかを決定するように追加のセンサ１３０を構成するコードを含む。オブジェクト相互作用検出モジュール１２４は、ユーザがオブジェクトと相互作用しているかどうかを決定するためにプロセッサ１０２によって使用可能な１つ以上のアルゴリズム又はルックアップテーブルを含んでもよい。

【0040】

例えば、コンピュータ装置１０１は、店内の製品の中に配置されてもよい。例えば、ユーザは、棚から製品を持ち上げてもよい。オブジェクト相互作用検出モジュール１２４は、製品の加速を追跡するためにセンサ１３０（例えば、加速度計）をサンプリングするコードを含んでもよい。加速量が閾値を超える場合、オブジェクト相互作用検出モジュール１２４は、製品が操作されている（例えば、ユーザが製品を持ち上げた）ことを決定してもよい。

【0041】

別の例示として、相互作用センサ１３２は、オブジェクトに向けられる距離センサを含んでもよい。オブジェクト相互作用検出モジュール１２４は、距離センサからデータを受信するようにプロセッサ１０２を構成するコードを含んでもよい。オブジェクト相互作用検出モジュール１２４は、ユーザがオブジェクトの所定の距離内にいるかどうかを決定するためにデータを分析するコードを更に含んでもよい。これはユーザ相互作用を示してもよい。

【0042】

更に別の例示として、相互作用センサ１３２は、オブジェクトに向けられる３Ｄイメージングシステムを含んでもよい。一実施形態では、オブジェクト相互作用検出モジュール１２４は、ユーザがオブジェクトと相互作用しているかどうかを決定するために３Ｄイメージングシステムからの画像を分析するためのコードを含んでもよい。図９を参照してオブジェクトとのユーザ相互作用を検出するための方法の更なる例示が記載される。

【0043】

一部の実施形態では、オブジェクトは仮想オブジェクトを含んでもよい。例えば、仮想オブジェクトは、タッチセンサ面１１６を含むタッチスクリーンディスプレイに出力されてもよい。オブジェクト相互作用検出モジュール１２４は、仮想オブジェクトとのユーザ相互作用を検出するようにプロセッサ１０２を構成するコードを含んでもよい。例えば、ユーザは、仮想オブジェクトに関係付けられるタッチセンサ面１１６上の場所をタップしてもよい。オブジェクト相互作用検出モジュール１２４は、タッチセンサ１０８からユーザ相互作用に関係付けられる１つ以上のセンサ信号を受信してもよい。一部の実施形態では、センサ信号は、ユーザ相互作用の場所、圧力、方向及び／又は速さを組み込んでもよい。オブジェクト相互作用検出モジュール１２４は、センサ信号に基づいてユーザ相互作用の１つ以上の特徴を決定してもよい。

【0044】

別の例示として、仮想オブジェクトは、例えば、タッチスクリーンディスプレイ、ゴーグル、眼鏡又はコンタクトレンズを介して出力される拡張現実環境の一部であってもよい。拡張現実環境は、テキスト又は画像等の仮想コンテンツが補完（「拡張」）されたカメラデータを含んでもよい。例えば、相互作用センサ１３２はカメラを含んでもよい。一部の実施形態では、相互作用センサ１３２は、拡張現実環境を生成するためにプロセッサ１０２が使用し得るユーザのリビングルームの画像をキャプチャしてもよい。プロセッサ１０２は、拡張現実環境内の１つ以上の仮想オブジェクトを更に生成してもよい。例えば、プロセッサ１０２は、拡張現実環境内に仮想長椅子を含んでもよい。一部の実施形態では、例えば、仮想オブジェクトに関係付けられる実空間における領域においてタッチ又はジェスチャを行うことにより仮想オブジェクトと相互作用してもよい。オブジェクト相互作用検出モジュール１２４は、例えば、相互作用センサ１３２からの画像を分析することにより、ユーザ相互作用の１つ以上の特徴を決定してもよい。

【0045】

一部の実施形態では、オブジェクト相互作用検出モジュール１２４は、相互作用に関係付けられる特徴（例えば、圧力の量、速さ、方向、場所、又はジェスチャのタイプ）を決定するコードを含む。オブジェクト相互作用検出モジュール１２４は、特徴を決定するためにセンサ１３０及び／又は相互作用センサ１３２からのセンサ信号を分析するコードを含んでもよい。例えば、オブジェクト相互作用検出モジュール１２４は、ユーザによって行われるジェスチャのタイプ（例えば、スワイプ、２本指のピンチ操作、揺動等）を決定するために３Ｄイメージングシステムからの画像を分析するコードを含んでもよい。

【0046】

一部の実施形態では、オブジェクト相互作用検出モジュール１２４は、掃引周波数容量検知を使用して相互作用に関係付けられる特徴を決定するコードを含む。掃引周波数容量検知は、ユーザがオブジェクトと相互作用するときに複数の周波数でオブジェクトの静電容量の（例えば、電圧の）変化を測定することを含んでもよい。オブジェクト相互作用検出モジュール１２４は、複数の周波数で変化した静電容量に基づいてユーザ相互作用のプロファイルを生成してもよい。一部の実施形態では、オブジェクト相互作用検出モジュール１２４は、このプロファイルを既定の相互作用プロファイルと比較してもよい。一部の実施形態では、既定の相互作用プロファイルの各々が、複数の周波数で静電容量の変化の一意の分布を含み、異なるユーザ相互作用（例えば、２本指のピンチ操作、手全体での把持、又は１本指のタップ）に関係付けられてもよい。例えば、２本指のピンチ操作に関係付けられる既定の相互作用プロファイルは、手全体での把持に関係付けられる既定の相互作用プロファイルとは異なってもよい。このようにして、オブジェクト相互作用検出モジュール１２４は、ユーザが具体的にどのようにオブジェクトと相互作用しているかを決定することが可能であってもよい。

【0047】

一部の実施形態では、オブジェクト相互作用検出モジュール１２４は、相互作用センサ１３２からの音声信号に基づいて、相互作用に関係付けられる特徴を決定するコードを含む。例えば、相互作用センサ１３２はマイクロホンを含んでもよい。オブジェクト相互作用検出モジュール１２４は、相互作用センサ１３２からセンサ信号を受信して、センサ信号からのデータを１つ以上の音声プロファイルと比較してもよい。一部の実施形態では、音声プロファイルの各々は、異なるユーザ相互作用、例えば、ユーザが指、拳、指の爪、又は掌のひらでオブジェクトに触れることに関係付けられる音声データを含んでもよい。例えば、指がオブジェクトに接触することに関係付けられる音声プロファイルは、拳がオブジェクトに接触することに関係付けられる音声プロファイルとは異なる周波数応答を含んでもよい。このようにして、オブジェクト相互作用検出モジュール１２４は、ユーザが体のどの部分と相互作用しているかを決定することが可能であってもよい。

【0048】

一部の実施形態では、オブジェクト相互作用検出モジュール１２４は、オブジェクトに関係付けられる特徴を決定するコードを含む。オブジェクトは、店内の製品（例えば、シリアルの箱）、工具（例えば、金槌又はねじ回し）、医療装置（例えば、トロカール、手術針、又は心拍モニタ）、自動車、人間、動物等を含んでもよい。特徴は、オブジェクトに関する情報を含んでもよい。例えば、オブジェクトのタイプに依存して、特徴は、栄養因子（オブジェクトが食品である場合）、サイズ、重量、深さ、色、テクスチャ、形状、寸法、価格、割引、製品評価（例えば、「星評価」等の格付け又は別の相対測定基準）、有効期限、機能若しくは有用性（例えば、オブジェクトがどのような機能を実行するか又はどのような機能に使用され得るか）、利用可能な量若しくはオブジェクトが在庫に有るかどうか、使用の制限、認可、ブランド、製造業者、製作者、製造地、電力消費量若しくは他の電気特性、雑音量、機械的特性、最高速度、平均速度、材料（例えば、オブジェクトが木、ガラス、セラミック、プラスチック及び／又は金属で作られているかどうか）、及び／又はオブジェクトに関係付けられる互換性情報（例えば、オブジェクトがどのような装置と互換性を有するか）を含んでもよい。

【0049】

一部の実施形態では、オブジェクト相互作用検出モジュール１２４は、ユーザ又は第三者により提供される情報に少なくとも部分的に基づいて特徴を決定してもよい。例えば、ユーザは、ユーザが所有する又は所望する１つ以上の電子装置（例えば、テレビ及びビデオゲームシステム）に関するデータをコンピュータ装置１０１に入力してもよい。このような実施形態では、オブジェクト相互作用検出モジュール１２４は、オブジェクト（例えば、リモートコントロール）が電子装置の少なくとも１つと互換性を有するかどうかを決定するためにデータを参照してもよい。従って、このような実施形態では、特徴は、オブジェクトがユーザにより所有される又は所望される電子装置と互換性を有するかどうかを含んでもよい。

【0050】

一実施形態では、オブジェクト相互作用検出モジュール１２４は、オブジェクトに関係付けられる特徴を決定するために相互作用センサ１３２及び／又は追加のセンサ１３０からのデータを分析するコードを含む。例えば、オブジェクト相互作用検出モジュール１２４は、カメラからオブジェクトの画像を受信してオブジェクトに関係付けられるテキストのコンテンツを決定するためにＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）を適用するコードを含んでもよい。別の例示として、オブジェクト相互作用検出モジュール１２４は、オブジェクトの高さ、幅、色、サイズ、形状、パターン、テクスチャ、名前、ＱＲコード（登録商標）、バーコード、ラベル、ロゴ、色彩設計、形状、及び／又は別の特徴を決定するために相互作用センサ１３２からの画像を分析するコードを含んでもよい。

【0051】

一部の実施形態では、オブジェクト相互作用検出モジュール１２４は、オブジェクトの特徴を決定するためにネットワークインターフェース装置１１０を介して受信したデータを分析するコードを含む。例えば、オブジェクトは、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１、ＲＦＩＤ又はＮＦＣを使用してコンピュータ装置１０１に信号を送信してもよい。信号は、オブジェクトの特徴を含んでもよい（例えば、信号は名前、タイプ、ブランド、バーコード、価格、ＲＦＩＤコード、又は電気的特性を含んでもよい）。オブジェクト相互作用検出モジュール１２４は、オブジェクトの特徴を決定するために信号のパラメータを分析してもよい。

【0052】

一部の実施形態では、オブジェクト相互作用検出モジュール１２４は、インターネット又は別のネットワーク（例えば、ＬＡＮ）を使用してオブジェクトに関係付けられる特徴を決定するコードを含む。例えば、オブジェクト相互作用検出モジュール１２４は、インターネットを介して１つ以上のサーバ又はウェブページと通信することによりオブジェクト（例えば、ベースボール用のバット、ヘルメット、又はジャージ）に関係付けられるスポーツチーム（例えば、バスケットボールチーム）の名前を取得するためのコードを含んでもよい。別の例示として、オブジェクト相互作用検出モジュール１２４は、店に関係付けられるサーバ（例えば、店のローカルサーバ）と通信することにより店内の食品に関係付けられる栄養情報を取得するためのコードを含んでもよい。

【0053】

オブジェクト相互作用検出モジュール１２４は、特徴に基づいてオブジェクトを識別するコードを含んでもよい。例えば、オブジェクトが本である場合、オブジェクト相互作用検出モジュール１２４は、本の名前を決定するために、本、バーコード、及び／又はＱＲコードに関係付けられるテキストを分析するコードを含んでもよい。別の例示として、オブジェクトが車である場合、オブジェクト相互作用検出モジュール１２４は、車の製造者、モデル、及び／又は製造年を決定するためにカメラからの画像を分析するコードを含んでもよい。

【0054】

機能決定モジュール１２５は、実行すべき機能を決定するようにプロセッサ１０２を構成するコードを含む。機能決定モジュール１２５は、１つ以上のアルゴリズム又はルックアップテーブルを使用して実行する１つ以上の機能を選択するコードを含んでもよい。一部の実施形態では、機能は、（インターネットを介して）オブジェクトを購入すること、ウェブページを開くこと、文書の印刷を開始すること、運転指示アプリケーションを開くこと、Ｅメール又はテキストメッセージを送信すること、（例えば、１つ以上のサーバにクエリを行うことにより）オブジェクトに関する情報を決定すること、仮想目覚まし時計を設定すること、ナビゲーションアプリケーションのパラメータを設定すること（例えば、出発点又は目的地を設定すること）、電話をかけること、文書からテキストをコピーすること、写真を撮ること、データを保存すること、プログラムオプション又は設定を選択すること、音声を録音すること、リストにエントリを追加すること、リストからエントリを除去すること、音声を出力すること、メディアコンテンツを再生すること、電子書籍を開くこと、計算を実行すること、データを送信すること、及び／又はデータを受信することを含んでもよい。また、機能決定モジュール１２５は、機能を実行するためのコードを含んでもよい。

【0055】

一部の実施形態では、機能決定モジュール１２５は、ユーザ相互作用の特徴及びオブジェクトの特徴に基づいて機能を決定するためのコードを含む。例えば、機能決定モジュール１２５は、特定のユーザ相互作用（又はタップ対ジェスチャ等、ユーザ相互作用の一般的なタイプ）を特定の機能にマッピングするルックアップテーブルを含んでもよい。別の例示として、機能決定モジュール１２５は、特定のオブジェクト（又はオブジェクトのクラス）を特定の機能にマッピングするルックアップテーブルを含んでもよい。

【0056】

一部の実施形態では、機能決定モジュール１２５は、機能を決定するためにネットワークを介して別の電子装置と通信するためのコードを含んでもよい。例えば、このような実施形態では、機能決定モジュール１２５は、特定のユーザ相互作用及び／又はオブジェクトに関係付けられる機能を決定するためにインターネット上の１つ以上のサーバにクエリを行うためのコードを含んでもよい。

【0057】

一部の実施形態では、オブジェクト相互作用検出モジュール１２４は、仮想オブジェクトの特徴を決定するコードを含む。例えば、オブジェクト相互作用検出モジュール１２４は、仮想オブジェクトの特徴を決定するためにメモリ１０４内の場所を参照してもよい。

【0058】

触覚効果決定モジュール１２６は、生成すべき触覚効果を決定するためにデータを分析するプログラム構成要素を表す。触覚効果決定モジュール１２６は、１つ以上のアルゴリズム又はルックアップテーブルを使用して出力する１つ以上の触覚効果を選択するコードを含んでもよい。一部の実施形態では、触覚効果決定モジュール１２６は、触覚効果を決定するためにプロセッサ１０２によって使用可能な１つ以上のアルゴリズム又はルックアップテーブルを含む。

【0059】

一部の実施形態では、触覚効果決定モジュール１２６は、ユーザ相互作用の特徴に基づいて出力する触覚効果を決定するコードを含んでもよい。例えば、触覚効果決定モジュール１２６は、ユーザがオブジェクトを３６０度回転させた回数に対応する多数のパルス振動を含む触覚効果を決定してもよい。別の例示として、触覚効果決定モジュール１２６は、オブジェクトに対するタップではなくオブジェクトの表面に沿った２本指のピンチ操作のジェスチャを含むユーザ相互作用による触覚効果を決定してもよい。

【0060】

一部の実施形態では、触覚効果決定モジュール１２６は、オブジェクトの特徴に基づいて出力する触覚効果を決定するコードを含んでもよい。例えば、触覚効果決定モジュール１２６は、オブジェクトが鋭利である場合にパルス振動を含む触覚効果を決定してもよい。これは、ユーザが潜在的に危険なオブジェクトを取り扱っていることをユーザに警告してもよい。別の例示として、触覚効果決定モジュール１２６は、オブジェクトが木を含む場合の木製のテクスチャ、オブジェクトが金属を含む場合の金属のテクスチャ、又はオブジェクトがゴムを含む場合のゴム製のテクスチャを含む触覚効果を決定するコードを含んでもよい。

【0061】

一部の実施形態では、触覚効果決定モジュール１２６は、機能の特徴に基づいて出力する触覚効果を決定するコードを含んでもよい。例えば、触覚効果決定モジュール１２６は、機能が実行される前に出力される触覚効果を決定してもよい。これは、機能が実行される又は実行できないことをユーザに警告してもよい。別の例示として、触覚効果決定モジュール１２６は、機能が実行された後で出力される触覚効果を決定してもよい。これは、機能が行われたことをユーザに警告してもよい。別の例示として、触覚効果決定モジュール１２６は、動作が進行中であるか又は失敗したこと（例えば、機能が失敗したこと）を示すように構成される触覚効果を決定してもよい。例えば、機能が（例えば、サーバからの）ダウンロードコンテンツを含む場合、触覚効果決定モジュール１２６は、ダウンロードの経過を示すパルス感覚を含む触覚効果を決定してもよい。更に別の例示として、触覚効果決定モジュール１２６は、機能がインターネットを使用してオブジェクトを購入することを含む場合に、機能がショッピングリストにオブジェクトを追加することを含む場合とは異なる触覚効果を決定してもよい。これは、機能が行われることをユーザに警告してもよい。

【0062】

触覚効果生成モジュール１２８は、選択された触覚効果を生成するためにプロセッサ１０２に触覚信号を生成させて触覚出力装置１１８へと送信させるプログラミングを表す。例えば、触覚効果生成モジュール１２８は、所望の効果を生成するために、記憶された波形又はコマンドにアクセスして、触覚出力装置１１８に送信してもよい。一部の実施形態では、触覚効果生成モジュール１２８は、触覚信号を決定するためのアルゴリズムを含んでもよい。更に、一部の実施形態では、触覚効果生成モジュール１２８は、触覚効果に対する目標座標（例えば、触覚効果を出力するコンピュータ装置１０１又はオブジェクト上の場所に対する座標）を決定するためのアルゴリズムを含んでもよい。

【0063】

図１にはメモリ１０４内のプログラム構成要素としてモジュール１２４，１２５，１２６，１２８が描かれているが、一部の実施形態では、モジュール１２４，１２５，１２６，１２８はハードウェアを含んでもよい。例えば、モジュール１２４，１２５，１２６，１２８は、アナログからデジタルへの変換器、プロセッサ、マイクロコントローラ、比較器、増幅器、トランジスタ、及び他のアナログ又はデジタル回路を含んでもよい。

【0064】

図２は、別の実施形態によるオブジェクトとの触覚対応相互作用のためのシステムを示す別のブロック図である。システム２００は、１つ以上の遠隔触覚出力装置２０６を含んでもよい。また、システム２００は、１つ以上のコンピュータ装置２０２ａ−ｇを含んでもよい。

【0065】

図２に示される実施形態では、システム２００は、装着可能コンピュータ装置２０２ａ、包装用コンピュータ装置２０２ｂ、棚コンピュータ装置２０２ｃ、店舗コンピュータ装置２０２ｄ、フロアコンピュータ装置２０２ｅ、キャリアコンピュータ装置２０２ｆ、及び把持可能コンピュータ装置２０２ｇを含む。装着可能コンピュータ装置２０２ａは、ユーザによって装着されるように構成される装着可能装置（例えば、指輪）に関係付けられるコンピュータ装置を含んでもよい。包装用コンピュータ装置２０２ｂは、オブジェクトの包装（例えば、包み紙又は容器）内に少なくとも部分的に組み込まれるコンピュータ装置を含んでもよい。棚コンピュータ装置２０２ｃは、（例えば、店又は本棚で販売される製品を保持するために）少なくとも部分的に棚の中に組み込まれる又は棚に結合されるコンピュータ装置を含んでもよい。店舗コンピュータ装置２０２ｄは、オブジェクトの売主、製造業者及び／又は販売者に関係付けられるコンピュータ装置を含んでもよい。フロアコンピュータ装置２０２ｅは、（例えば、店の１つ以上のフロアタイル内で）少なくとも部分的にフロア内に組み込まれる又はフロアに結合されるコンピュータ装置を含んでもよい。キャリアコンピュータ装置２０２ｆは、少なくとも部分的にオブジェクトを保持するための運搬装置（例えば、ショッピングカート、バスケット、バッグ、又はバックパック）に組み込まれる又は運搬装置に結合されるコンピュータ装置を含んでもよい。把持可能コンピュータ装置２０２ｇは、ユーザによって把持できるように構成される把持可能装置（例えば、携帯電話）に関係付けられるコンピュータ装置を含んでもよい。こうしたコンピュータ装置２０２ａ−ｇは、以下でより詳細に記載される。

【0066】

コンピュータ装置２０２ａ−ｇ及び（複数の）遠隔触覚出力装置２０６は、ネットワーク２０４に接続されてもよい。ネットワーク２０４は、限定されないが、ダイヤルアップネットワーク、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、公衆交換電話網（ＰＳＴＮ）、セルラネットワーク、ＷｉＦｉネットワーク、インターネット、イントラネット又は有線及び／若しくは無線通信リンクを含む任意の適切な数又は種類のリンクであってもよい。一部の実施形態では、ネットワーク２０４は、単一のネットワークである。他の実施形態では、ネットワーク２０４は、２つ以上のネットワークを含んでもよい。

【0067】

コンピュータ装置２０２ａ−ｇ及び（複数の）遠隔触覚出力装置２０６は、互いと直接通信してもよく、及び／又はネットワーク２０４を介して互いと通信してもよい。例えば、棚コンピュータ装置２０２ｃは、（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）を使用して）店舗コンピュータ装置２０２と無線で通信してもよい。更に、コンピュータ装置２０２ａ−ｇ及び（複数の）遠隔触覚出力装置２０６は、ネットワークを介して１つ以上のサーバ（例えば、クラウドサーバ、ウェブサーバ、又は他のサーバ）、データベース、及び／又はコンピュータ装置と通信してもよい。

【0068】

上記のように、システム２００は、装着可能コンピュータ装置２０２ａを含んでもよい。装着可能コンピュータ装置２０２ａは、例えば、腕時計、リストバンド、帽子、袖、ジャケット、カラー、眼鏡、手袋、指輪、衣類、ヘッドバンド、及び／又は宝石類を含む装着可能装置に関係付けられてもよい。ユーザがオブジェクトと相互作用すると、装着可能コンピュータ装置２０２ａは、機能を実行し、及び／又はユーザの体の一部（例えば、ユーザの手首、腕、脚、足、手、指、首、頭、又は胸）に触覚効果を出力してもよい。

【0069】

例えば、装着可能コンピュータ装置２０２ａは腕時計を含んでもよい。ユーザが（例えば、ユーザが読みたい）本で腕時計をタップすると、装着可能コンピュータ装置２０２ａは、タップを検出して、ネットワーク２０４を介して（例えば、店舗コンピュータ装置２０２ｄから）電子バージョンの本を購入してもよい。装着可能コンピュータ装置２０２ａは、本が購入されたことをユーザに通知するように構成される触覚効果を出力してもよい。また、装着可能コンピュータ装置２０２ａは、ユーザのＥリーダ等の別の電子装置（図示せず）と通信して、電子装置への電子書籍のダウンロードを開始してもよい。本が電子装置にダウンロードされると、装着可能コンピュータ装置２０２ａは、ダウンロードの経過に関係付けられる触覚効果を出力してもよい。例えば、装着可能コンピュータ装置２０２ａは、ダウンロードが進行すると周波数が増加する振動を出力してもよい。本のダウンロードが終了すると、装着可能コンピュータ装置２０２ａは、激しい振動の感覚等の別の触覚効果を出力してもよい。これは、本が電子装置にダウンロードされたことをユーザに知らせてもよい。

【0070】

上記のように、システム２００は、包装用コンピュータ装置２０２ｂを含んでもよい。例えば、包装用コンピュータ装置２０２ｂは、オブジェクトの包装の中に組み込まれるか又は包装に結合されてもよい。包装用コンピュータ装置２０２ｂは、オブジェクト及び／又はオブジェクトの包装とのユーザ相互作用を検出するように構成されるセンサ（例えば、加速度計、圧力センサ、容量性センサ、抵抗性センサ、３Ｄイメージングシステム、又はＬＥＤベーストラッキングシステム）を含んでもよい。例えば、センサは、オブジェクトの包装の一部の中に組み込まれる圧力センサを含んでもよい。圧力センサは、ユーザによる接触を検出することが可能であってもよい。センサからの信号に基づいて、包装用コンピュータ装置２０２ｂは、機能を実行し、及び／又は触覚効果を（例えば、ユーザがオブジェクトに接触するとユーザの手又は指に直接）出力するように構成されてもよい。

【0071】

例えば、オブジェクトは、薬局からの薬を含んでもよい。包装用コンピュータ装置２０２ｂは、例えば、薬容器の蓋の中に埋め込まれてもよい。ユーザが薬容器を取り上げてそれを３６０度回転させると、包装用コンピュータ装置２０２ｂは、ユーザ相互作用を検出して、ネットワーク２０４を介して薬の補給を注文してもよい。一部の実施形態では、補給の注文が成功すると、包装用コンピュータ装置２０２ｂは、３つのパルスを含む触覚効果を出力する。（例えば、ユーザが補給割り当てを超過しているので）補給が注文できない場合、包装用コンピュータ装置２０２ｂは、激しい振動の感覚を出力し又は触覚効果を出力しなくてもよい。

【0072】

上記のように、システム２００は、棚コンピュータ装置２０２ｃを含んでもよい。棚コンピュータ装置２０２ｃは、オブジェクトとのユーザ相互作用を検出するように構成されるセンサ（例えば、圧力センサ、光若しくは光学センサ、ボタン、スイッチ、加速度計、位置センサ、３Ｄイメージングシステム、又はＬＥＤベーストラッキングシステム）を含んでもよい。例えば、センサは、棚にあるオブジェクトの下に配置される圧力センサを含んでもよい。センサは、ユーザが棚からオブジェクトを持ち上げるのを検出するように構成されてもよい。センサからの信号に基づいて、棚コンピュータ装置２０２ｃは、機能を実行し、及び／又は触覚効果を出力するように構成されてもよい。例えば、ユーザは、棚からオブジェクトを取ってもよい。棚コンピュータ装置２０２ｃは、棚から利用可能な最後の特定のオブジェクトをユーザが取ったことを決定してもよい。棚コンピュータ装置２０２ｃは、棚を補充する必要があることを（例えば、テキストメッセージ、Ｅメール又は他の警告システムを介して）店舗管理者に通知してもよい。

【0073】

上記のように、システム２００は、店舗コンピュータ装置２０２ｄを含んでもよい。店舗コンピュータ装置２０２ｄは、オブジェクトの売主、製造業者及び／又は販売者に関係付けられてもよい。例えば、店舗コンピュータ装置２０２ｄは、オブジェクトが販売されている店により所有又は運営されてもよい。店舗コンピュータ装置２０２ｄは、オブジェクトの購入を促進してもよい（例えば、クレジットカード取引、クーポン、割引、店舗報酬カードを処理し、及び／又は他のやり方で購入を行う）。一部の実施形態では、店舗コンピュータ装置２０２ｄは、オブジェクトに関係付けられる（例えば、データベース内の）データを含んでもよい。例えば、店舗コンピュータ装置２０２ｄは、オブジェクトに関係付けられる名前、重量、サイズ、価格、割引、製造業者、成分のリスト、及び／又は他の特徴を含んでもよい。１つ以上の他のコンピュータ装置２０２ａ−ｃ、２０２ｅ−ｆが、オブジェクトに関係付けられる特徴を決定するために店舗コンピュータ装置２０２ｄと通信してもよい。例えば、装着可能コンピュータ装置２０２ａは、オブジェクトに関係付けられるクエリを店舗コンピュータ装置２０２ｄに送信してもよい。店舗コンピュータ装置２０２ｄは、クエリを受信して、店の販売用に利用可能なオブジェクトの量を決定するためにデータベースを参照してもよい。店舗コンピュータ装置２０２ｄは、量に関係付けられる信号を装着可能コンピュータ装置２０２ａに送信してもよい。

【0074】

一部の実施形態では、店舗コンピュータ装置２０２ｄは、オブジェクトとのユーザ相互作用を検出するように構成されてもよい。例えば、店舗コンピュータ装置２０２ｄは、相互作用センサと有線又は無線で通信してもよい。相互作用センサは、例えば、オブジェクトに向けられる深度センサを含んでもよい。ユーザがオブジェクトと相互作用すると、店舗コンピュータ装置２０２ｄは、実行すべき機能（例えば、オブジェクトに対する割引クーポンを伴うＥメールをユーザに送る）を決定してもよい。オブジェクト及び／又は機能に基づいて、店舗コンピュータ装置２０２ｄは、遠隔触覚出力装置２０６及び／又は別のコンピュータ装置２０２ａ−ｃ，２０２ｅ−ｆに触覚効果を出力させてもよい。例えば、店舗コンピュータ装置２０２ｄは、装着可能コンピュータ装置２０２ａに短い振動を出力させるように構成される装着可能コンピュータ装置２０２ａに信号を送信してもよい。これは、ユーザがオブジェクトに対する割引クーポンを受信することをユーザに警告してもよい。

【0075】

上記のように、システム２００は、フロアコンピュータ装置２０２ｅを含んでもよい。フロアコンピュータ装置２０２ｅは、ユーザがオブジェクトと相互作用すると、機能を実行し、及び／又は触覚効果（例えば、振動）を出力してもよい。例えば、ユーザが店内の製品に触れると、フロアコンピュータ装置２０２ｅは、製品が特価であるかどうかを決定してもよい。そうであれば、フロアコンピュータ装置２０２ｅは、高振幅振動を出力してもよい。ユーザは、ユーザの足又は体の別の部分を介して触覚効果を知覚してもよい。他の実施形態では、フロアコンピュータ装置２０２ｅは、フロアに組み込まれる又は結合される遠隔触覚出力装置２０６と通信するコンピュータ装置を含んでもよい。ユーザがオブジェクトと相互作用すると、フロアコンピュータ装置２０２ｅは、遠隔触覚出力装置２０６に（例えば、ユーザの足又は体の別の部分への）触覚効果を出力させてもよい。

【0076】

上記のように、システム２００は、キャリアコンピュータ装置２０２ｆを含んでもよい。一部の実施形態では、キャリアコンピュータ装置２０２ｆは、ユーザがオブジェクトと相互作用すると、機能を実行し、及び／又は触覚効果を出力する。例えば、ユーザは、キャリアコンピュータ装置２０２ｆを含むショッピングバスケットを保持していてもよい。キャリアコンピュータ装置２０２ｆは、ユーザがショッピングカートに製品を入れたかどうかを検出するように構成される１つ以上のセンサを含んでもよい。ユーザがショッピングカートに製品を置くと、キャリアコンピュータ装置２０２ｆは、製品を検出して、ユーザのデジタルショッピングリストから製品を除去してもよい。また、キャリアコンピュータ装置２０２ｆは、（例えば、店舗コンピュータ装置２０２ｄと通信することにより又はインターネットを介して）製品の価格を決定してもよい。キャリアコンピュータ装置２０２ｆは、ショッピングカート内のオブジェクトに関係付けられる総額を更新してもよい。一部の実施形態では、総額が閾値（例えば、＄１５０）を超えると、キャリアコンピュータ装置２０２ｆは、触覚効果を出力してもよい。これは、ユーザが（例えば、ユーザにより入力された又はカスタマイズ可能な）消費制限を超えたことをユーザに通知してもよい。

【0077】

上記のように、システム２００は、ハンドヘルド又は把持可能コンピュータ装置２０２ｇを含んでもよい。把持可能コンピュータ装置２０２ｇは、例えば、移動装置、Ｅリーダ、タブレット、ワンド、スタイラス、又はペンを含んでもよい。一部の実施形態では、把持可能コンピュータ装置２０２ｇは、例えば、ユーザのパンツポケット（又はシャツポケット）に配置されてもよい。ユーザがオブジェクトと相互作用すると、コンピュータ装置は、機能を実行し、及び／又はユーザの腿（又は胸）に触覚効果を出力してもよい。他の実施形態では、ユーザは、例えば、図５Ｂに関して以下に記載されるように、媒介として把持可能コンピュータ装置２０２ｇを使用してオブジェクトと相互作用してもよい。

【0078】

システム２００は、代替的に又は追加的に、他の場所又は構成に配置される１つ以上のコンピュータ装置を含む。例えば、システム２００は、オブジェクト内に配置されるコンピュータ装置を含んでもよい。例えば、オブジェクト自体がコンピュータ装置を含んでもよい。一部の実施形態では、ユーザがオブジェクトと相互作用すると（例えば、オブジェクトを拾い上げると）、コンピュータ装置は、機能を実行し、及び／又は触覚効果を（例えば、ユーザの手に）出力してもよい。

【0079】

一部の実施形態では、任意のコンピュータ装置２０２ａ−ｇが、他のコンピュータ装置２０２ａ−ｇ（及び／又は遠隔触覚出力装置２０６）に触覚効果を出力させてもよい。例えば、ユーザは、玩具屋で新しい玩具のためのショッピングをしていてもよい。包装用コンピュータ装置２０２ｂは、ユーザが玩具の箱をタップすることを検出してもよい。例えば、包装用コンピュータ装置２０２ｂは、ユーザ相互作用を検出するように構成される圧力センサを含んでもよい。ユーザが玩具の箱をタップすると、包装用コンピュータ装置２０２ｂは、圧力センサからのセンサ信号に基づいてユーザ相互作用を検出してもよい。包装用コンピュータ装置２０２ｂは、例えば、ユーザの手首に装着される装着可能コンピュータ装置２０２ａに信号を送信してもよい。信号は、装着可能コンピュータ装置２０２ａにユーザの銀行残高を確認させてもよい。一部の実施形態では、ユーザが玩具を購入するのに十分な資金を有する場合、装着可能コンピュータ装置２０２ａは振動を出力してもよい。

【0080】

別の例示として、包装用コンピュータ装置２０２ｂは、ユーザが棚からオブジェクト（例えば、シリアルの箱）を取ることを検出してもよい。例えば、包装用コンピュータ装置２０２ｂは加速度計を含んでもよい。ユーザがオブジェクトを取ると、包装用コンピュータ装置２０２ｂは、加速度計からのセンサ信号に基づいてユーザ相互作用を検出してもよい。包装用コンピュータ装置２０２ｂは、遠隔触覚出力装置２０６に信号を送信してもよい。信号は、遠隔触覚出力装置２０６にユーザの頭に空気の吹き出しを出力させるように構成されてもよい。これは、包装用コンピュータ装置２０２ｂがさもなければ触覚効果を出力できないかもしれないユーザの体の一部（例えば、ユーザの頭）への触覚効果を包装用コンピュータ装置２０２ｂに出力させることを可能にしてもよい。

【0081】

更に別の例示として、ユーザは、カメラを含むコンピュータ装置２０２ａを装着していてもよい。ユーザが（例えば、カメラを介して）卵を握っていることを装着可能コンピュータ装置２０２ａが検出すると、装着可能コンピュータ装置２０２ａは、（例えば、冷蔵庫と通信することにより、又は冷蔵庫及び／又は鶏卵箱の画像を分析することにより）その卵がユーザの冷蔵庫内の最後の卵かどうかを決定してもよい。そうであれば、コンピュータ装置は、短い振動を含む触覚効果を出力してもよい。ユーザは、より多くの卵を購入したいかどうかについての問い合わせとして短い振動を知覚してもよい。ユーザは卵を９０度回転させてもよく、これはユーザが追加の卵を購入したいことを示してもよい。装着可能コンピュータ装置２０２ａは、回転を検出して、（例えば、遠隔食料品店における）店舗コンピュータ装置２０２ｄに信号を送信してもよい。信号により、店舗コンピュータ装置２０２ｄは購入を処理して、ユーザの家に卵が配達されるように手配してもよい。注文を完了すると、店舗コンピュータ装置２０２ｄは、装着可能コンピュータ装置２０２ａに確認信号を送信してもよい。信号により、装着可能コンピュータ装置２０２ａはパルス振動等の触覚効果を決定してもよい。次に、装着可能コンピュータ装置２０２ａは、触覚出力装置を介してこの触覚効果を出力してもよい。触覚効果は、購入が成功したことを示してもよい。

【0082】

図３は、オブジェクトとの触覚対応相互作用のためのシステムの実施形態を示す。システム３００は、棚３０８に配置されるオブジェクト３０６を含む。オブジェクト３０６は、玩具、コンピュータ、移動装置、自動車コンポーネント、映画、ビデオゲーム、ビデオゲームコンソール、電化製品、テレビ、医療装置、機械又は電気コンポーネント、リモートコントロール、食料等を含んでもよい。システム３００は、店、倉庫、レストラン、医療センター、ガレージ、家、オフィス、アパート、又は他の場所に関係付けられてもよい。

【0083】

図３に示される実施形態では、相互作用センサ３１５（例えば、３Ｄイメージングシステム）がオブジェクト３０６に向けられる。相互作用センサ３１５は、オブジェクト３０６とのユーザ相互作用（例えば、タップ、タッチ、それに対するジェスチャ、揺動、持ち上げ、それに向かうジェスチャ等）を検出してもよい。ユーザは、例えば、オブジェクト３０６に関係付けられる機能を実行する（例えば、ウェブページを開き、オブジェクト３０６を購入し、オブジェクト４０４に関係付けられる割引を受け取り、リストにオブジェクト３０６を追加し、リストからオブジェクト３０６を除去し、オブジェクト３０６に関係付けられるファイルをダウンロードする）ためにオブジェクト３０６と相互作用してもよい。相互作用センサ３１５は、１つ以上のコンピュータ装置３０４，３１０，３１２，３１８にセンサ信号を送信してもよい。ユーザ相互作用に基づいて、１つ以上のコンピュータ装置３０４，３１０，３１２，３１８が機能を実行してもよい。次に、１つ以上のコンピュータ装置３０４，３１０，３１２，３１８は、例えば、機能に関係付けられる触覚効果を出力してもよい。

【0084】

この例示では、システム３００は、リストバンド又は腕時計を含む装着可能コンピュータ装置３０４を備える。また、システム３００は、包装用コンピュータ装置３１０、棚コンピュータ装置３１２、フロアコンピュータ装置３１８、及び遠隔触覚出力装置３１４も備える。遠隔触覚出力装置３１４は、コンピュータ装置３０４，３１０，３１２，３１８と有線又は無線で通信してもよい。一部の実施形態では、ユーザがオブジェクト３０６と相互作用すると、１つ以上のコンピュータ装置３０４，３１０，３１２，３１８は、相互作用及び／又はオブジェクト３０６に関係付けられる機能を実行してもよい。例えば、機能は、オブジェクト３０６が特価であるかどうかを決定するために遠隔サーバと通信することを含んでもよい。更に、１つ以上のコンピュータ装置３０４，３１０，３１２，３１８は、遠隔触覚効果を遠隔触覚出力装置３１４に出力させてもよい。例えば、オブジェクト３０６が特価である場合、装着可能コンピュータ装置３０４は、ユーザの手に向けられる超音波圧力波を遠隔触覚出力装置３１４に出力させるように構成される信号を送信してもよい。ユーザは、ユーザの手で振動として超音波圧力波を知覚してもよい。触覚効果は、オブジェクト３０６が特価であることをユーザに示してもよい。一部の実施形態では、装着可能コンピュータ装置３０４は、オブジェクト３０６が特価ではない場合に遠隔触覚出力装置３１４に触覚効果を出力させなくてもよい。触覚効果の欠落は、オブジェクト３０６が特価ではないことをユーザに示してもよい。

【0085】

図４は、オブジェクトとの触覚対応相互作用のためのシステムの別の実施形態を示す。この例示では、ユーザ４０２は、指輪を含むコンピュータ装置４０６を装着している。ユーザ４０２は、空中でジェスチャを行うことによりオブジェクト４０４と相互作用していてもよい。一部の実施形態では、ジェスチャは、オブジェクト４０４の方に向けられてもよく又はオブジェクト４０４から既定の距離（例えば、２フィート）内にあってもよい。例えば、ユーザ４０２は、オブジェクト４０４の前方の空中で印を描くために指を振り、指差し、伸ばし、及び／又は使用してもよい。コンピュータ装置４０６は、ユーザ相互作用を検出して、ユーザのジェスチャを決定してもよい。ジェスチャ及び／又はオブジェクト４０４の特徴に基づいて、コンピュータ装置４０６は、実行する機能を決定してもよい。次に、コンピュータ装置４０６は、機能を実行し、及び／又は機能に関係付けられる触覚効果を出力してもよい。

【0086】

例えば、ユーザ４０２は、オブジェクト４０４に関係付けられる機能を実行するために、例えば、オブジェクト４０４に印刷される住所４０８（例えば、差出人住所）を連絡先リスト又は住所録に追加するために、空中でジェスチャを行ってもよい。図４に示される実施形態では、ユーザ４０２は、オブジェクト４０４の前方の空中で“Ｃ”形状を描いている。コンピュータ装置４０６は、ジェスチャを検出して、ユーザ４０２が“Ｃ”形状のジェスチャを行っていることを決定してもよい。コンピュータ装置４０６は、ユーザの連絡先リスト又は住所録に連絡先を追加することと“Ｃ”形状のジェスチャを関係付ける。コンピュータ装置４０６は、オブジェクト４０４がメール１通を含むことを更に決定してもよい。“Ｃ”のジェスチャに基づいて、コンピュータ装置４０６は、メール１通に関係付けられる（例えば、そのメールに描かれた）住所（例えば、住所４０８）を決定してもよい。コンピュータ装置４０６は、ユーザの連絡先リスト又は住所録に住所４０８を追加してもよい。一部の実施形態では、コンピュータ装置４０６は、例えば、ユーザの連絡先リストへの住所の追加が成功したことを示すために軽い振動を含む触覚効果を出力してもよい。

【0087】

一部の実施形態では、オブジェクト４０４は名刺を含んでもよい。住所４０８は、（例えば、仕事に関係付けられる）電話番号を含んでもよい。ユーザ４０２は、空中で（例えば、“Ｃ”形状）ジェスチャを行って、オブジェクト４０４に関係付けられる機能、例えば、電話をかけることを実行してもよい。一部の実施形態では、コンピュータ装置４０６は、ジェスチャを検出して、ジェスチャを電話をかけることと関係付けてもよい。コンピュータ装置４０６は、住所４０８に関係付けられる電話番号を決定して、電話をかけてもよい。一部の実施形態では、コンピュータ装置４０６は、例えば、コンピュータ装置４０６が電話呼び出しを開始したことを示すために、触覚効果を更に出力してもよい。

【0088】

一部の実施形態では、コンピュータ装置４０６は、「待機モード」であってもよい。待機モードでは、コンピュータ装置４０６は、何らかの機能を実行する前に、オブジェクト４０４との特定のユーザ相互作用（例えば、オブジェクト４０４をタップすること、オブジェクト４０４を２度絞ること、又はオブジェクト４０４の方に向けられるピンチ操作のジェスチャを行うこと）を検出するために待機してもよい。例えば、コンピュータ装置４０６が待機モードであり“Ｃ”形状のジェスチャを含むユーザ相互作用を検出すると、コンピュータ装置４０６はユーザの連絡先リストに住所を追加しなくてもよい。一部の実施形態では、特定のユーザ相互作用を検出すると、コンピュータ装置４０６は、「機能実行」モードを入力してもよい。一旦機能実行モードに入ると、コンピュータ装置４０６は、オブジェクト４０４との後続のユーザ相互作用に関係付けられる機能を実行してもよい。例えば、機能実行モードに入ると、コンピュータ装置４０６は、オブジェクト４０４の方に向けられたユーザ４０２により“Ｃ”形状のジェスチャを検出する場合、オブジェクト４０４に関係付けられる住所４０８をユーザの連絡先リストに追加してもよい。一部の実施形態では、コンピュータ装置４０６は、例えば、特定のユーザ相互作用（例えば、ユーザ４０２が手を振ること）を検出した後で、又は所定期間（例えば、１０秒）の後で、待機モードに戻ってもよい。一部の実施形態では、これは、ユーザがこのような機能をトリガすることを意図するまで機能をトリガせずにユーザ４０２がオブジェクト４０４と相互作用することを可能にしてもよい。

【0089】

図５Ａは、触覚フィードバックを伴うオブジェクト操作のためのシステムの更に別の実施形態を示す。この例示では、ユーザ５０２は、コンピュータ装置５０６を含む腕時計を装着している。ユーザ５０２は、オブジェクト５０４に接触（例えば、タップ又はタッチ）することによりオブジェクト５０４（例えば、牛乳のパック）と相互作用している。コンピュータ装置５０６は、（例えば、コンピュータ装置５０６内に組み込まれる）相互作用センサ５１０を介して接触を検出してもよい。相互作用センサ５１０は、例えば、オブジェクト５０４の方に向けられるカメラを含んでもよい。接触及び／又はオブジェクト５０４の特徴に基づいて、コンピュータ装置５０４は、オブジェクト４０４に関係付けられる機能を決定してもよい。次に、コンピュータ装置５０６は、機能を実行し、及び／又は触覚出力装置５１２を介して機能に関係付けられる触覚効果を出力してもよい。

【0090】

一部の実施形態では、ユーザは相互作用のために中間オブジェクト（例えば、スタイラス、ペン、杖、又はワンド）を使用してもよく、コンピュータ装置５０６はこのような相互作用を検出してもよい。例えば、図５Ｂに示されるように、ユーザ５０２は、携帯電話を含む中間オブジェクト５１４によりオブジェクト５０４と接触してもよい。コンピュータ装置５０６は、接触を検出して、関連機能を実行してもよい。例えば、コンピュータ装置５０６は、接触を検出して、オブジェクト５０４に関係付けられる電話番号（例えば、製造業者の電話番号、サポートの電話番号、又は製品情報の電話番号）を呼び出してもよい。一部の実施形態では、中間オブジェクト５１４は、（例えば、コンピュータ装置５０６が中間オブジェクト５１４から分離されるのではなく）コンピュータ装置５０６を含む。例えば、ユーザ５０２が手首にコンピュータ装置５０６を装着するのではなく、携帯電話がコンピュータ装置であってもよい。

【0091】

コンピュータ装置５０６は、オブジェクト５０４上のあらゆる場所での接触又はオブジェクト５０４上の特定の場所（例えば、ラベル）との接触を検出してよい。コンピュータ装置５０６は、接触の場所を検出してもよい。例えば、コンピュータ装置５０６は、オブジェクト５０４のどの部分（例えば、上部、底部、左側、右側、前方、背面、ラベル、画像、ロゴ、テキスト等）がユーザにより接触されたかを検出してもよい。一部の実施形態では、コンピュータ装置５０６は、ユーザ５０２がオブジェクト５０４の特定の部分と相互作用すると機能を実行してもよい。例えば、ユーザ５０２は、オブジェクト５０４上の製造業者のロゴと接触してもよい。コンピュータ装置５０６は、製造業者のロゴとの相互作用を検出して、製造業者のウェブサイトへのブラウザを開いてもよい。ユーザがオブジェクト５０４の異なる部分（例えば、栄養表示）と相互作用すると、コンピュータ装置５０６は、異なる機能を実行してもよく（例えば、コンピュータ装置５０６はオブジェクト５０４を構成する食品成分を決定してもよい）、又は機能を全く実行しなくてもよい。

【0092】

一部の実施形態では、コンピュータ装置５０６は、接触を検出して、オブジェクト５０４に関係付けられる情報を決定してもよい。例えば、ユーザ５０２は、オブジェクト５０４の価格に関係付けられる情報を受け取るためにオブジェクト５０４に接触してもよい。コンピュータ装置５０６は、接触を検出して、（例えば、ネットワーク上の１つ以上のサーバにクエリを行うことにより）オブジェクト５０４の価格を決定してもよい。一部の実施形態では、価格が（例えば、ユーザにより入力される）閾値を下回る場合、コンピュータ装置５０６は触覚効果（例えば、パルス振動）を出力してもよい。これは、オブジェクト５０４がユーザにとって許容できる価格を有することをユーザ５０２に示してもよい。他の実施形態では、コンピュータ装置５０６は、他のローカル店舗との価格比較を行ってもよい。コンピュータ装置５０６は、価格が別のローカル店舗（例えば、半径１５マイル内の店）で又はオンライン小売業者を通じてより安価であり得ることをユーザ５０２に通知するように構成される触覚効果（例えば、２つのパルス振動を含む）を出力してもよい。

【0093】

一部の実施形態では、コンピュータ装置５０６は、オブジェクト５０４との多数のユーザ相互作用（又は多数の接触を含む単一のユーザ相互作用）を検出してもよい。例えば、一部の実施形態では、オブジェクト５０４は地図を含んでもよい。ユーザ５０２は、指で地図上の出発点に触れてもよい。ユーザ５０２は、（別の指で）順番に又は同時に地図の目的地に触れてもよい。コンピュータ装置５０６は、ユーザ相互作用を検出して、１つ以上の機能を実行してもよい。例えば、コンピュータ装置５０６は、２つのタッチを検出して、出発点から目的地までの運転指示を取得してもよい。別の例示として、コンピュータ装置５０６は、住所を含む名刺（例えば、別のオブジェクト５０４）とのユーザ相互作用を検出してもよい。例えば、コンピュータ装置５０６は、ユーザ５０２が名刺を２回タップすることを検出してもよい。コンピュータ装置５０６は、２つのタップを検出して、例えば、ナビゲーションアプリケーションの目的地をその住所に設定してもよい。

【0094】

一部の実施形態では、オブジェクト５０４は仮想オブジェクトを含んでもよい。例えば、仮想オブジェクトは、ディスプレイ５０８に出力されてもよい。このような実施形態では、仮想オブジェクトは、ユーザの冷蔵庫の中の食品を表す画像を含む。例えば、仮想オブジェクトは、牛乳瓶、人参、肉片等の画像を含んでもよい。コンピュータ装置２０２ｄは、仮想オブジェクトとのユーザ相互作用を検出するように構成されてもよい。例えば、ユーザ５０２は、牛乳瓶に関係付けられる場所で（例えば、タッチスクリーンディスプレイであり得る）ディスプレイをダブルタップしてもよい。ユーザ相互作用に基づいてコンピュータ装置５０６は、仮想オブジェクトに関係付けられる情報を決定してもよい。例えば、ダブルタップに基づいてコンピュータ装置５０６は、例えば、ユーザ５０２が何個の牛乳瓶を冷蔵庫の中に有しているかを決定してもよい。コンピュータ装置５０６は、情報に関係付けられる触覚効果を出力してもよい。例えば、コンピュータ装置５０６は、ユーザの冷蔵庫内の牛乳瓶の数に等しい数のパルス振動を出力してもよい。

【0095】

一部の実施形態では、機能は音声を出力することを含む。例えば、コンピュータ装置５０６は、オブジェクト５０４とのユーザ相互作用を検出して、オブジェクト５０４に関係付けられるコマーシャルを決定してもよい。一部の実施形態では、コンピュータ装置５０６は、コマーシャルに関係付けられる音声（例えば、コマーシャルに関係付けられる音声トラック）を出力してもよい。別の例示として、コンピュータ装置５０６は、オブジェクト５０４（例えば、ＣＤ又はテープ）とのユーザ相互作用を検出して、オブジェクト５０４に関係付けられる歌曲を決定してもよい。一部の実施形態では、コンピュータ装置５０６は歌曲を出力してもよい。また、コンピュータ装置５０６は、歌曲の特定の部分でリズムが取られるパルス振動を含む触覚効果を出力してもよい。

【0096】

別の例示として、コンピュータ装置５０６は、オブジェクト５０４とのユーザ相互作用を検出して、オブジェクト５０４の価格を決定してもよい。一実施形態では、価格が（例えば、ユーザにより入力される）閾値を下回る場合、コンピュータ装置５０６はキャッシュレジスタが開く音（例えば、「カチャカチャチーン」）を出力してもよい。一部の実施形態では、コンピュータ装置５０６は、パルス振動を含む触覚効果を更に出力してもよい。音声及び／又は触覚効果は、オブジェクト５０４が許容可能な価格を有することをユーザに知らせてもよい。

【0097】

一部の実施形態では、ディスプレイ５０８にデータを出力することを含む。例えば、コンピュータ装置５０６は、オブジェクト５０４とのユーザ相互作用に応答してディスプレイ５０８に映像を再生してもよい。例えば、ユーザは映画ポスターを含むオブジェクトと相互作用してもよい。一部の実施形態では、コンピュータ装置５０６は、映画ポスターに関係付けられる映画トレーラの映像を再生してもよい。一部の実施形態では、コンピュータ装置５０６は、例えば、映画トレーラの特定の部分でリズムが取られる１つ以上の触覚効果を出力してもよい（例えば、コンピュータ装置５０６は映画トレーラにおけるカーチェイスの間に激しい振動を出力してもよい）。

【0098】

別の例示として、ユーザ５０２は、店内のオブジェクト５０４をタップしてもよい。コンピュータ装置５０６は、（例えば、店に関係付けられるサーバにクエリを行うことにより）店が在庫に有するオブジェクト５０４の数量を決定してもよい。一部の実施形態では、コンピュータ装置５０６は、ディスプレイ５０８に数量を出力してもよい。また、コンピュータ装置５０６は、（例えば、数量が閾値よりも低い場合に）数量に関係付けられる触覚効果を出力してもよい。

【0099】

更に別の例示として、ユーザ５０２は、店内のオブジェクト５０４をタップしてもよい。コンピュータ装置５０６は、店内のオブジェクト５０４の価格及び（複数の店舗からの価格に基づいて決定される）オブジェクト５０４の平均価格を決定してもよい。店内の価格がオブジェクト５０４の平均価格よりも低い場合、コンピュータ装置５０６は、ディスプレイ５０８に単一のドル記号を出力してもよい。一部の実施形態では、コンピュータ装置５０６は、ストロークの感覚を含む触覚効果を更に出力してもよい。店内の価格がオブジェクト５０４の平均価格よりも高い場合、コンピュータ装置５０６は、ディスプレイ５０８に３つのドル記号を出力してもよい。一部の実施形態では、コンピュータ装置５０６は、突き刺すような感覚を含む触覚効果を更に出力してもよい。ユーザ５０２が別のジェスチャを行う場合（例えば、ユーザ５０２がオブジェクト５０４を再度タップする場合）、コンピュータ装置５０６はオブジェクト５０４を購入してもよい。一部の実施形態では、購入が完了すると、コンピュータ装置５０６は、ディスプレイ５０８に通知を出力してもよい。通知は、オブジェクト５０４が購入されたことをユーザに警告してもよい。一部の実施形態では、コンピュータ装置５０６は、例えば、オブジェクト５０４が購入されたことをユーザ５０２に通知するように構成される触覚効果を代替的に又は追加的に出力してもよい。従って、オブジェクト５０４に関してユーザ５０２に情報を提供するために、映像、触覚効果、及び／又は音声が使用され得る。

【0100】

一部の実施形態では、コンピュータ装置５０６は、ユーザ相互作用と実質的に同時に、機能を実行し、及び／又は触覚効果を出力してもよい。例えば、コンピュータ装置５０６は、ユーザ相互作用と実質的に同時に複数の機能を実行してもよい（例えば、オブジェクト５０４とのユーザ相互作用が発生したことを決定し、オブジェクト５０４の特徴を決定し、特徴に基づいて機能を実行する）。また、コンピュータ装置５０６は、ユーザ相互作用と実質的に同時に機能に関係付けられる触覚効果を出力してもよい。

【0101】

図６は、触覚フィードバックを伴うオブジェクト操作のためのシステムの別の実施形態を示す。この例示では、ユーザ６０２は、リストバンドを含むコンピュータ装置６０６を装着している。ユーザは、オブジェクト６０４の表面でジェスチャを行って、オブジェクトと相互作用してもよい。例えば、ユーザは、オブジェクト６０４の表面で２本指のピンチ操作を行い、複数の指を移動させ、又はチェックマークを作ってもよい。

【0102】

一部の実施形態では、コンピュータ装置６０６は、ジェスチャを検出して、ジェスチャ及び／又はオブジェクト６０４に基づいて、機能を実行する。例えば、図６に示される実施形態では、ユーザ６０２は、オブジェクト６０４の前面を長手方向に指を移動させることによりオブジェクト６０４と相互作用している。オブジェクト６０４は、例えば、文書（例えば、医療記録）を含んでもよい。このユーザは、例えば、文書のコピーを印刷するためにこのジェスチャを行っていてもよい。この特定のジェスチャに基づいて、コンピュータ装置６０６は、短い振動を出力してもよい。これは、別のユーザ相互作用が既定の期間（例えば、５秒）以内に検出されない場合に文書を印刷することをユーザに示してもよい。更に、コンピュータ装置６０６は、期間が満了するまで振幅及び／又は周波数の増加する振動を出力してもよい。これは、印刷ジョブをキャンセルするために残された時間量をユーザ６０２に示してもよい。

【0103】

一部の実施形態では、ユーザ６０２が期間満了までにキャンセルジェスチャを行うと、コンピュータ装置６０６はキャンセルジェスチャを検出して印刷ジョブをキャンセルしてもよい。キャンセルジェスチャは、オブジェクト６０４の表面に対するダブルタップ等の特定のジェスチャ又な任意のジェスチャを含んでもよい。コンピュータ装置６０６は、印刷ジョブがキャンセルされたことをユーザ６０２に示すために触覚効果（例えば、激しい振動）を出力してもよい。ユーザ６０２が期間内にキャンセルジェスチャを行わない場合、コンピュータ装置６０６によって文書が印刷されてもよい。印刷ジョブが完了すると、コンピュータ装置６０６は、例えば、印刷ジョブの完了をユーザに通知するように構成される触覚効果を出力してもよい。

【0104】

一部の実施形態では、ユーザ６０２は、相互作用の媒介としてオブジェクト６０４を使用してもよい。コンピュータ装置６０６はこのような相互作用を検出してもよい。例えば、ユーザ６０２は、コンピュータモニタ又はコピー機に対してオブジェクト６０４（例えば文書）をタップしてもよい。一部の実施形態では、コンピュータ装置６０６は、ユーザ相互作用を検出して、例えば、オブジェクト６０４に関係付けられるテキストを仮想クリップボートにコピーすること又はオブジェクト６０４に関係付けられるテキストを仮想場所に保存することを含む機能を決定してもよい。更に、コンピュータ装置６０６は、短い振動を出力してもよい。これは、オブジェクト６０４に関係付けられるテキストのコピー又は保存が成功したことをユーザに示してもよい。

【0105】

一部の実施形態では、ユーザ相互作用は、多数のオブジェクト６０４間の相互作用を引き起こすことを含んでもよい。例えば、ユーザ６０２は、別のオブジェクトに対してオブジェクト６０４をタップしてもよい。例えば、ユーザ６０２は、プリンタに対して用紙の束をタップしてもよい。一部の実施形態では、コンピュータ装置６０６は、多数のオブジェクト間の相互作用を検出して、関連機能を決定してもよい。コンピュータ装置６０６は機能を実行してもよい。例えば、コンピュータ装置６０６は、用紙の束とプリンタとの間の相互作用を検出して、用紙の束に関係付けられるデータを印刷してもよい。また、一部の実施形態では、コンピュータ装置６０６は、例えば、印刷ジョブが完了すると、触覚効果を更に出力してもよい。これは、印刷ジョブが完了したことをユーザに警告してもよい。

【0106】

一部の実施形態では、多数のオブジェクト６０４間の特定の相互作用が（例えば、ルックアップテーブルを介して）特定の機能にマッピングされ得る。例えば、小型モデルプリンタとの用紙の束をタップすることを含む相互作用が、用紙のコピーを印刷することを含む機能に関係付けられ得る。一部の実施形態では、コンピュータ装置６０６は、このような相互作用を検出して、プリンタで用紙のコピーを印刷させ得る。別の例示として、電話に対して名刺をタップすることを含む相互作用が、名刺に関係付けられる（例えば、印刷された）電話番号を呼び出すことを含む機能に関係付けられ得る。一部の実施形態では、コンピュータ装置６０６は、このような相互作用を検出して、電話をかけてもよい。

【0107】

図７は、触覚フィードバックを伴うオブジェクト操作のためのシステムの更に別の実施形態を示す。一部の実施形態では、ユーザ７０２は、オブジェクト７０４を使用してジェスチャを行うことによりオブジェクト７０４と相互作用していてもよい。例えば、ユーザ７０２は実空間でオブジェクト７０４を動かしてもよい（例えば、空中で文字又は数字を描くためにオブジェクトを使用する、オブジェクトを回転させる、オブジェクトを傾ける、特定の場所にオブジェクトを移動させる等）。

【0108】

図７に示される実施形態では、ユーザ７０２は、オブジェクト７０４を上下に振っている。コンピュータ装置７０６は、揺動相互作用に基づいて１つ以上の機能を実行するように構成されてもよい。例えば、一部の実施形態では、オブジェクト７０４は目覚まし時計を含んでもよい。コンピュータ装置７０６は、揺動を検出して、（目覚まし時計に現在出力されている時間又はユーザが以前に入力した時間に関係付けられる）アラームを設定してもよい。更に、コンピュータ装置７０６は、例えば、アラームが設定されたことをユーザに通知するように構成される触覚効果（例えば、単一のパルス振動）を出力してもよい。その後ユーザ７０２が再度オブジェクト７０４を振ると、コンピュータ装置７０６はアラームをオフにしてもよい。更に、コンピュータ装置７０６は、アラームがオフにされたことをユーザに通知するように構成される触覚効果（例えば、３つのパルス振動）を出力してもよい。

【0109】

別の実施形態では、オブジェクト７０４は車の鍵を含んでもよい。コンピュータ装置７０６は、オブジェクト７０４から離れていて、車の鍵との相互作用を検出するように構成されてもよい。例えば、コンピュータ装置７０６は、ユーザの家に配置され且つ車の鍵の方に向けられるカメラを含んでもよい。ユーザ７０２は、例えば、ユーザの家から出るとき、車の鍵を軽く揺らしてもよい。コンピュータ装置７０６は、軽い揺れを検出して、（例えば、ユーザ７０２、ユーザの友人又は第三者により入力される）既定の友人グループにテキストメッセージ又はＥメールを送信してもよい。テキストメッセージ又はＥメールのコンテンツは、例えば、“Ｉ’ｍ ｏｎ ｍｙ ｗａｙ！”を含んでもよい。これは、ユーザがグループに会うために向かっていることを友人に示してもよい。

【0110】

一部の実施形態では、ユーザ相互作用は、ユーザの体の一部（例えば、足、腕、脚、肩、手、首、頭、背中、胸、腹、腿等）に接近してオブジェクト７０４を移動させること、又はオブジェクト７０４とユーザの体の一部を接触させることを含んでもよい。例えば、ユーザ７０２は、ソーダの瓶の購入を望んでいてもよい。ユーザ７０２は、ソーダの瓶を持ち上げて、ソーダの瓶で右腿（例えば、右ポケット内の財布の上）をタップしてもよい。コンピュータ装置７０６は、タップを検出して、ユーザ７０２が既に家の冷蔵庫に有しているオブジェクト７０４の数量を決定してもよい。一部の実施形態では、ユーザ７０２はその数量をコンピュータ装置７０６に入力していてもよい。例えば、コンピュータ装置７０６は、ショッピングリストアプリケーションを実行してもよい。ユーザは、ショッピングリストアプリケーションにその数量を入力していてもよい。コンピュータ装置７０６は、ショッピングリストアプリケーションから数量を決定してもよい。他の実施形態では、ユーザ７０２は、冷蔵庫の中身を決定してコンピュータ装置７０６にその数量を送信することができるスマート冷蔵庫又は他の装置を有してもよい。ユーザ７０２が閾値を下回る数量の製品を有する場合（例えば、ユーザ７０２が３本より少ないソーダの瓶を有する場合）、コンピュータ装置７０６は触覚効果を出力しなくてもよい。ユーザ７０２が閾値を超える数量の製品を有する場合、コンピュータ装置７０６は、ブザーの感覚を出力してもよい。これは、ユーザ７０２がより賢い購買決定を行うのを支援し得る。

【0111】

一部の実施形態では、ユーザ相互作用は、物を投げるジェスチャを含んでもよい。例えば、オブジェクト７０４は、インクが少ないペンを含んでもよい。ユーザ７０２は、ペンを取って、ユーザの右肩越しにペンを放るふりをしてもよい。コンピュータ装置７０６は、物を投げるジェスチャを検出して、ユーザ相互作用に基づいて、例えば、オンライン小売業者からより多くのペンを購入してもよい。

【0112】

一部の実施形態では、ユーザ相互作用は、オブジェクト７０４を特定の場所に移動させることを含んでもよい。例えば、コンピュータ装置７０６は、ユーザがオブジェクト７０４を取って、それをキオスク（例えば、情報キオスク）の上又は中に置くことを検出してもよい。一部の実施形態では、ユーザ７０２がこの特定の場所にオブジェクト７０４を置くことに基づいて、コンピュータ装置７０６は、オブジェクト７０４が特価であるかどうか等、オブジェクト７０４に関係付けられる情報を決定してもよい。そうであれば、コンピュータ装置７０６は、触覚効果（例えば、短い振動）を出力してもよい。

【0113】

一部の実施形態では、ユーザ相互作用は、開口を通じてオブジェクト７０４を動かすことを含んでもよい。例えば、コンピュータ装置７０６は、ユーザがオブジェクト７０４を取って、店を出ること（例えば、出入り口を歩いて通ること）を検出してもよい。一部の実施形態では、ユーザ７０２が店の出口を歩いて通ると（又は店のセキュリティタワー若しくはセンサを通過すると）、コンピュータ装置７０６は、ユーザがオブジェクト７０４を取ることを含む相互作用を検出してもよい。コンピュータ装置７０６は、例えば、オブジェクト７０４を購入すること又は店のセキュリティを警告すること等の関連機能を実行してもよい。一部の実施形態では、コンピュータ装置７０６は、例えば、オブジェクト７０４が購入されたこと、ユーザ７０２がオブジェクト７０４を購入せずに店を出ていること、又は店の警備員が通知を受けていることをユーザに警告するように構成される触覚効果（例えば、強い振動）を出力してもよい。

【0114】

別の例示として、コンピュータ装置７０６は、ユーザがオブジェクト７０４を取って、ユーザのショッピングカート又はハンドバッグの中にオブジェクト７０４を入れることを検出してもよい。一部の実施形態では、ユーザのショッピングカート又はハンドバッグの開口をユーザ７０２がオブジェクト７０４を通過させることに基づいて、コンピュータ装置７０６はオブジェクトを購入してもよい。次に、コンピュータ装置７０６は、例えば、購入に関係付けられる１つ以上の触覚効果を出力してもよい。

【0115】

更に別の例示として、コンピュータ装置７０６は、ユーザがリング形状のオブジェクトを通じてオブジェクト７０４を移動させることを検出してもよい。一部の実施形態では、ユーザは、四角形又は長方形等、別の形状のオブジェクトを通じてオブジェクト７０４を移動させてもよい。リング形状のオブジェクトは、例えば、店内の棚の通路の端に配置されてもよい。ユーザ７０２がリングの開口を通じてオブジェクト７０４を移動させることに基づいて、コンピュータ装置７０６は、機能を実行してもよい。例えば、一部の実施形態では、コンピュータ装置７０６は、オブジェクト７０４の重量が閾値より低いかどうかを決定してもよい。そうであれば、コンピュータ装置７０６は、触覚効果を出力してもよい。

【0116】

一部の実施形態では、コンピュータ装置７０６は、（例えば、オブジェクト７０４の前方でジェスチャを行って、オブジェクト７０４に接触して、オブジェクト７０４の表面に沿ってジェスチャを行って、オブジェクト７０４を使用してジェスチャを行って）オブジェクト７０４との複数のユーザ相互作用を検出してもよい。コンピュータ装置７０６は、検出されたユーザ相互作用ごとに１つ以上の機能を実行してもよい。コンピュータ装置７０６は、１つ以上の機能に関係付けられる１つ以上の触覚効果を更に出力してもよい。例えば、オブジェクト７０４は、ユーザの家のプリンタを含んでもよい。コンピュータ装置７０６は、ユーザがプリンタを指差すことを検出して、インクの量が少ないかどうかを決定し、インクの量に関係付けられる触覚効果を出力してもよい。また、コンピュータ装置７０６は、ユーザがプリンタを３回タップすることを検出して、プリンタと互換性を有するインクカートリッジのタイプを検出し、インクカートリッジを注文してもよい。

【0117】

図８は、触覚フィードバックを伴うオブジェクト操作のためのシステムの更に別の実施形態を示す。この例示では、オブジェクトは、別の人物８０４を含む。ユーザ８０６は、例えば、人物８０４と握手することにより、人物８０４と相互作用してもよい。ユーザ８０６に関係付けられるコンピュータ装置８０２は、相互作用を検出して、相互作用に基づいて機能を実行してもよい。

【0118】

一部の実施形態では、機能は、他の人物８０４の特徴を決定することを含んでもよい。特徴は、例えば、名前、社会保障番号、自己資本、慎重、年齢、地位、髪の色、国籍、眼の色、病状、信用度の点、性別、クレジットカード番号、（例えば、ウェブサイト又はアカウント用の）ユーザ名、パスワード、気性、気分、雇用者、仕事、趣味、好きなもの及び／又は嫌いなものを含んでもよい。コンピュータ装置８０２は、例えば、カメラから人物８０４の画像を分析すること、（例えば、人物８０４の名前を使って）インターネット検索を行うこと、ソーシャルメディアウェブサイトを検索すること、及び／又はデータベース（例えば、公文書データベース）を検索することにより、特徴を決定してもよい。特徴を決定する方法の他の例が以下に更に記載される。

【0119】

一部の実施形態では、コンピュータ装置８０２は、別のコンピュータ装置８０８及び／又は電子装置（例えば、ＲＦＩＤタグ）から（例えば、無線で）受信したデータに基づいて特徴を決定する。他のコンピュータ装置８０８及び／又は電子装置は、他の人物８０４に関係付けられ得る。例えば、人物８０４は、バイオセンサ８１０を含むコンピュータ装置８０８を装着していてもよい。バイオセンサ８１０は、人物８０４の心拍、体温、血圧、バイオリズム、及び／又は他の生物学的特性を測定してもよい。コンピュータ装置８０８は、ユーザ８０６に関係付けられるコンピュータ装置８０２にこの情報を送信してもよい。一部の実施形態では、コンピュータ装置８０２は、特徴としてこの情報を使用してもよい。他の実施形態では、コンピュータ装置８０２は、人物８０４に関する特徴を決定するためにこの特徴を使用してもよい。例えば、コンピュータ装置８０２は、情報を使用して、人物８０４の気分、気性、又は感情状態を決定してもよい。このような実施形態では、コンピュータ装置８０２は、例えば、高血圧を含む情報に基づいて人物８０４が腹を立てていることを決定してもよい。このような実施形態では、コンピュータ装置８０８は、例えば、危険又は人物８０４が腹を立てていることをユーザ８０６に警告するように構成される触覚効果を出力してもよい。

【0120】

別の例示として、コンピュータ装置８０８は、ソーシャルネットワークウェブサイトに関係付けられるユーザ名をコンピュータ装置８０２に送信してもよい。コンピュータ装置８０２は、他の人物８０４に関係付けられる特徴を決定するためにソーシャルネットワークウェブサイトを参照してもよい。

【0121】

他の実施形態では、コンピュータ装置８０２は、特徴を決定するために人物８０４に関係付けられる１つ以上の画像及び／又は身体的特長を分析してもよい。例えば、コンピュータ装置８０２は、カメラを使用して人物８０４の画像をキャプチャしてもよい。コンピュータ装置８０２は、画像を使用して、顔認証を行い、人物８０４に関係付けられる名前タグを読み取り、及び／又は別のやり方で人物８０４を識別してもよい。次に、コンピュータ装置８０２は、（例えば、ソーシャルネットワーク、デートウェブサイト、検索エンジン、又は個人ウェブサイト用の）サーバと通信して、人物８０４に関する追加の特徴を決定してもよい。

【0122】

一部の実施形態では、コンピュータ装置８０８は、別の機能を実行し、及び／又は特徴に基づいて触覚効果を出力する。例えば、他の人物８０４がユーザ８０６と同じ趣味を有する場合、コンピュータ装置８０８は、ソーシャルネットワーク上の友人として他の人物８０４を追加してもよい。別の例示として、他の人物８０４がユーザ８０６と同じ国籍又は宗教である場合、コンピュータ装置８０８は、振動を含む触覚効果を出力してもよい。

【0123】

一部の実施形態では、オブジェクトは、動物（例えば、猫、犬、亀、ハムスター、フェレット又は鳥）を含む。ユーザ８０６が動物と相互作用すると、コンピュータ装置８０２は、動物の１つ以上の特徴（例えば、品種、アレルギー情報、気質、又は気分）を決定してもよい。コンピュータ装置８０２は、機能を実行し、及び／又は特徴に基づいて触覚効果を出力してもよい。例えば、コンピュータ装置８０２は、動物に関係付けられるＲＦＩＤチップを読み取って、その動物が逃げたかどうかを決定するために（例えば、ウェブサイトで）逃げた動物のリストを参照してもよい。そうであれば、コンピュータ装置８０２は、ユーザ８０６のＧＰＳ座標（又は電話番号）と共に飼い主にＥメール又はテキストメッセージを送信してもよい（又はウェブサイトにメッセージを投稿してもよい）。これにより、動物は飼い主と再会することが可能になってもよい。

【0124】

（オブジェクトとの触覚対応相互作用の例示の方法）
図９は、一実施形態による触覚フィードバックを伴うオブジェクト操作を提供する方法を実行するためのステップのフローチャートである。一部の実施形態では、図９のステップは、例えば、汎用コンピュータ、移動装置又はサーバにおけるプロセッサによって実行されるプログラムコードで実装されてもよい。一部の実施形態では、こうしたステップは一群のプロセッサによって実装されてもよい。一部の実施形態では、図９に示される１つ以上のステップは省略され又は異なる順番で行われてもよい。同様に、一部の実施形態では、図９に示されない追加のステップが実行されてもよい。以下のステップは図１に示されたコンピュータ装置１０１に関して記載された構成要素を参照して記載される。

【0125】

方法９００は、ステップ９０２で開始して、プロセッサ１０２はセンサ信号を受信する。プロセッサ１０２は、相互作用センサ１３２及び／又は追加のセンサ１３０からセンサ信号を受信してもよい。センサ信号は、オブジェクトとのユーザ相互作用に関係付けられるデータを含んでもよい。例えば、一実施形態では、データは、オブジェクトが位置している店の棚の１つ以上の画像を含んでもよい。このような実施形態では、画像は、オブジェクト、棚、他の近くのオブジェクト、及びユーザの体の一部（例えば、ユーザの指）等の特徴を含んでもよい。ユーザの体の一部は、オブジェクトに接触し又は接近してもよい。

【0126】

方法９００はステップ９０４に進み、プロセッサ１０２はセンサ信号に基づいてユーザ相互作用を決定する。例えば、コンピュータ装置１０１はオブジェクト内に配置されてもよく、相互作用センサ１３２は加速度計を含んでもよい。ユーザがオブジェクトを振ると、プロセッサ１０２は、加速度計からのセンサ信号を介して揺動を検出してもよい。別の例示として、相互作用センサ１３２は、オブジェクトに向けられる３Ｄイメージングシステムを含んでもよい。ユーザがオブジェクトの前方で又はオブジェクトの表面に沿ってジェスチャを行うと、プロセッサ１０２は、３Ｄイメージングシステムからの画像を分析してもよい。画像を分析すると、プロセッサ１０２は、ユーザの手に対応するピクセルがオブジェクトに接触する又はオブジェクトの近くでジェスチャを行うユーザに関係付けられる特定のやり方に向けられていることを決定してもよい。

【0127】

一部の実施形態では、ユーザ相互作用は、オブジェクトが配置されている棚、テーブル、又は他の場所からオブジェクトを取り除くことを含む。例えば、コンピュータ装置１０１は、オブジェクトが置かれている棚に組み込まれてもよい。スイッチ又は圧力センサを含む相互作用センサ１３２が、棚に又はオブジェクトの下に配置されてもよい。ユーザが棚からオブジェクトと取り除くと、相互作用センサ１３２は、圧力の低下又はスイッチの状態の変化を検出して、プロセッサ１０２にセンサ信号を送信してもよい。センサ信号に基づいて、プロセッサ１０２は、ユーザが棚からオブジェクトを持ち上げたことを決定してもよい。一部の実施形態では、既定期間（例えば、２秒）の間、圧力低下が続くか又はスイッチが特定の状態のままである場合、プロセッサ１０２は、ユーザがオブジェクトを握っていることを決定してもよい。

【0128】

一部の実施形態では、ユーザ相互作用は、オブジェクトから既定の距離内にコンピュータ装置１０１を配置することを含む。例えば、オブジェクトは、（ネットワークインターフェース装置１１０を介して）プロセッサ１０２に無線信号（例えば、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ信号、又はＲＦＩＤ信号）を送信してもよい。無線信号の存在又は強度に基づいて（例えば、強度が閾値を超える場合）、プロセッサ１０２は、オブジェクトがコンピュータ装置１０１から既定の距離（例えば、３インチ）内に有るかどうかを決定してもよい。そうであれば、プロセッサ１０２は、ユーザ相互作用が発生したことを決定してもよい。

【0129】

別の例示として、プロセッサ１０２は、相互作用センサ１３２から第１の組のＧＰＳデータを受信してもよい。また、オブジェクトは、ＧＰＳ機能も含んでおり、コンピュータ装置１０１に第２の組のＧＰＳデータを送信してもよい。プロセッサ１０２は、第１の組のＧＰＳデータを第２の組のＧＰＳデータと比較して、コンピュータ装置１０１とオブジェクトとの相対距離を決定してもよい。コンピュータ装置１０１がオブジェクトから既定の距離内にある場合、プロセッサ１０２は、ユーザ相互作用が発生したことを決定してもよい。

【0130】

方法９００はステップ９０６に進み、プロセッサ１０２はユーザ相互作用に関係付けられる特徴を決定する。一部の実施形態では、プロセッサ１０２は、センサ１３０及び／又は相互作用センサ１３２からの信号を分析して、ユーザ相互作用の向き、方位、パターン、圧力量、速さ、及び／又は他の特徴を決定してもよい。

【0131】

例えば、一部の実施形態では、コンピュータ装置１０１はオブジェクト内に配置されてもよく、相互作用センサ１３２はジャイロスコープを含んでもよい。プロセッサ１０２は、ジャイロスコープからの方位センサ信号に基づいてユーザがオブジェクトを回転させたこと（及びどれくらい回転させたか）を決定してもよい。別の例示として、一部の実施形態では、相互作用センサ１３２は、オブジェクトに向けられる３Ｄイメージングシステムを含む。プロセッサ１０２は、３Ｄイメージングシステムからの複数の画像を分析して、ジェスチャの特徴を決定してもよい。例えば、プロセッサ１０２は、複数の画像を分析して、ユーザが指で空中に“Ｙ”形状を作ったことを決定してもよい。更に別の例示として、一部の実施形態では、コンピュータ装置１０１はオブジェクト内に配置され、センサ１３０は加速度計を含んでもよい。プロセッサ１０２は、加速度計から１つ以上のセンサ信号を受信して、例えば、ユーザがオブジェクトを振っていることを決定してもよい。

【0132】

方法９００はステップ９０８に進み、プロセッサ１０２はユーザ相互作用に関係付けられるオブジェクトを決定する。一部の実施形態では、オブジェクトは、店内の製品（例えば、シリアルの箱）、工具（例えば、金槌又はねじ回し）、医療装置（例えば、トロカール、手術針、又は心拍モニタ）、自動車、人間、動物等を含んでもよい。

【0133】

一部の実施形態では、プロセッサ１０２は、コンピュータ装置１０１のオブジェクトへの接近に基づいて特定のオブジェクトとユーザ相互作用を関係付けてもよい。コンピュータ装置１０１がオブジェクトに対して既定の距離内にあるかどうかを決定するために、例示は、ＧＰＳデータ及び（上記のステップ９０２で記載されたように）無線信号の強度の使用を含む。そうであれば、プロセッサ１０２は、オブジェクトをユーザ相互作用と関係付けてもよい。

【0134】

一部の実施形態では、プロセッサ１０２は、ユーザ相互作用のオブジェクトへの接近に基づいて特定のオブジェクトとユーザ相互作用を関係付ける。例えば、ユーザは、オブジェクトの前方で指を使ってジェスチャを行ってもよい。相互作用センサ１３２は、ジェスチャを検出して、プロセッサ１０２に関連センサ信号を送信してもよい。プロセッサ１０２は、センサ信号を分析して、指とオブジェクトとの間の距離を決定してもよい。指がオブジェクトから特定の距離（例えば、６インチ）内にある場合、プロセッサ１０２は、ジェスチャをオブジェクトと関係付けてもよい。

【0135】

一部の実施形態では、プロセッサ１０２は、ユーザ相互作用の向き又は方位に基づいて特定のオブジェクトとユーザ相互作用を関係付ける。例えば、ユーザは、ユーザが購入に興味があるオブジェクトを指差してもよい。相互作用センサ１３２は、ジェスチャを検出して、プロセッサ１０２に関連センサ信号を送信してもよい。プロセッサ１０２は、センサ信号を分析して、指差しジェスチャがオブジェクトの方に向けられていることを決定してもよい。ジェスチャの向きに基づいて、プロセッサ１０２は指差し相互作用とオブジェクトを関係付けてもよい。

【0136】

一部の実施形態では、プロセッサ１０２は、オブジェクトからのセンサデータをコンピュータ装置１０１からのセンサデータと比較することにより、ユーザ相互作用を特定のオブジェクトと関係付ける。例えば、ユーザは、コンピュータ装置１０１を含むリストバンドを装着してもよい。ユーザはオブジェクトを持ち上げて振ってもよい。プロセッサ１０２は、リストバンド内の相互作用センサ１３２から揺動に関係付けられる第１の組の加速度計データを受信してもよい。また、プロセッサ１０２は、オブジェクトの包装又はオブジェクト自身の中の加速度計から第２の組の加速度計データを受信してもよい（例えば、オブジェクトは加速度計データをコンピュータ装置１０１に無線で伝達してもよい）。プロセッサ１０２は、２組の加速度計データを比較してもよい。例えば、プロセッサ１０２は、２組の加速度計データのピークのタイムスタンプを比較してもよい。２つのタイムスタンプ間の時間差が閾値（例えば、０．５ｓ）を下回る場合、プロセッサ１０２は、その特定のオブジェクトに対して揺動が行われたことを決定してもよい。

【0137】

別の例示として、ユーザは、棚からオブジェクトを持ち上げてもよい。棚は、オブジェクトの除去を検出して、オブジェクトが棚から取り除かれた時間に関係付けられるタイムスタンプを（例えば、無線で）送信するように構成されるコンピュータ装置１０１を含んでもよい。プロセッサ１０２は、タイムスタンプを受信して、このタイムスタンプを相互作用センサ１３２からのデータ（例えば、画像）に関係付けられるタイムスタンプと比較してもよい。２つのタイムスタンプ間の時間差が閾値を下回る場合、プロセッサ１０２は、ユーザがその特定のオブジェクトを持ち上げたことを決定してもよい。

【0138】

方法９００はステップ９１０に進み、プロセッサ１０２はオブジェクトに関係付けられる特徴を決定する。一部の実施形態では、プロセッサ１０２は、特徴を決定するためにオブジェクト相互作用検出モジュール１２４におけるプログラミングを利用してもよい。一部の実施形態では、プロセッサ１０２は、ユーザ相互作用に関係付けられる特徴に基づいてオブジェクトに関係付けられる特徴を決定する。例えば、プロセッサ１０２は、異なるユーザ相互作用に応答してオブジェクトに関係付けられる異なる特徴を決定してもよい。例えば、プロセッサ１０２は、ユーザが食品をタップすると、食品のラベル上の製造業者を決定してもよい。プロセッサ１０２は、ユーザが“Ｃ”形状に食品の表面に沿って指を移動させると、食品の色を決定してもよい。

【0139】

一部の実施形態では、プロセッサ１０２は、（例えば、別のコンピュータ装置１０１から）有線又は無線信号に基づいてオブジェクトに関係付けられる特徴を決定する。例えば、オブジェクトはコンピュータ装置１０１を含んでもよく、又は棚はコンピュータ装置１０１を含んでもよい。オブジェクト又は棚は、プロセッサによって受信できるオブジェクトに関する情報を送信してもよい。情報は、例えば、オブジェクトに関係付けられる識別子（例えば、名前、ＱＲコード、バーコード、ＱＲコード、ＲＦＩＤコード、又は一意の識別子）、分類（例えば、製品のタイプ、製造業者、製作者、又はブランド）、価格、割引、クーポン、又は機能（例えば、製品が何を行い又は何のために使用されるか）を含んでもよい。例えば、オブジェクトがシャンプーの瓶である場合、情報は、それが正確にはどのシャンプーの瓶であるか（例えば、棚の上の３番）、それがどのような製品であるか（例えば、シャンプー）、それが具体的にどのような製品であるか（例えば、細い髪用のＨａｉｒ社のシャンプー、又はバーコード）、又はそれがどのブランドの製品であるか（例えば、Ｈａｉｒ社のブランド）を含んでもよい。

【0140】

一部の実施形態では、プロセッサ１０２は、インターネット又はＬＡＮを使用して特長を決定する。プロセッサ１０２は、特徴を決定するためにインターネット又はＬＡＮを介して、１つ以上のサーバ、データベース、及び／又はウェブページと通信してもよい。例えば、プロセッサ１０２は、オブジェクトを販売するユーザに近い（例えば、１０マイル以内）店の数を決定するために（例えば、オブジェクトのバーコードを使用して）インターネット上の多数のデータベースにクエリを行う。また、プロセッサ１０２は、どの店が最も安い価格を有するかを決定してもよい。

【0141】

方法９００はステップ９１２に進み、プロセッサ１０２は機能を決定する。一部の実施形態では、プロセッサ１０２は、特徴を決定するために機能決定モジュール１２５におけるプログラミングを利用してもよい。

【0142】

一部の実施形態では、プロセッサ１０２は、ユーザ相互作用に基づいて機能を決定する。例えば、プロセッサ１０２は、異なるユーザ相互作用に応答して異なる機能を決定してもよい。例えば、ユーザがバンドのポスターをタップすると、プロセッサ１０２は、そのバンドに関係付けられるＭＰ３をダウンロードすることを含む機能を決定してもよい。プロセッサ１０２は、ユーザが音楽ポスターの表面に沿って指をスワイプさせると、人気歌曲の歌詞を取得することを含む機能を決定してもよい。

【0143】

一部の実施形態では、プロセッサ１０２は、オブジェクトの特徴に基づいて機能を決定する。一部の実施形態では、プロセッサ１０２は、オブジェクトのタイプに基づいて機能を決定する。例えば、一実施形態では、ユーザが本をタップすると、プロセッサ１０２は、読書リストに本を追加することを含む機能を決定してもよい。別の実施形態では、ユーザがバッテリをタップすると、プロセッサ１０２は、新しいバッテリを注文することを含む機能を決定してもよい。

【0144】

一部の実施形態では、コンピュータ装置１０１は関連する「機能プロファイル」を記憶してもよく、ここでユーザは特定のオブジェクト及び／又はユーザ相互作用と関係付けたい機能の「プロファイル」を決定してメモリ１０４に保存することができる。例えば、一実施形態では、ユーザは、どの機能を、文書へのタップ、文書の表面に沿った指のスワイプ、及び文書の回転に関係付けたいかをオプションのリストから選択することができる。一部の実施形態では、リストは、例えば、文書の電子コピーをダウンロードすること、文書を印刷すること、及び文書の電子コピーをＥメールすることを含んでもよい。このような実施形態では、プロセッサ１０２は、実行すべき機能を決定するためにユーザの機能プロファイルを参照してもよい。例えば、ユーザの機能プロファイルが文書へのタップを文書の電子コピーのダウンロードと関係付ける場合、ユーザが文書をタップすることに応答して、プロセッサ１０２は、文書の電子コピーをダウンロードすることを含む機能を決定してもよい。

【0145】

一部の実施形態では、プロセッサ１０２は、インターネット又はＬＡＮを使用して機能を決定する。プロセッサ１０２は、機能を決定するためにインターネット又はＬＡＮを介して、１つ以上のサーバ、データベース、（例えば、オブジェクト、オブジェクトの包装、棚、又は店の中の）他のコンピュータ装置、及び／又はウェブページと通信してもよい。例えば、プロセッサ１０２は、どの機能が利用可能であるか及び／又は特定のオブジェクトと関係付けられるかを決定するために（例えば、オブジェクトのバーコードを使用して）インターネット上のサーバにクエリを行ってもよい。サーバは、特定のオブジェクトに利用可能な機能のリストをコンピュータ装置１０１に送信してもよい。コンピュータ装置１０１は、利用可能な機能のリストに基づいて機能を決定してもよい。

【0146】

別の例示として、コンピュータ装置１０１は、ユーザ相互作用を特定のオブジェクトに関する機能にマッピングするデータを（例えば、サーバから）受信してもよい。例えば、コンピュータ装置１０１は、特定のオブジェクトに関して、スワイプジェスチャをオブジェクトの購入を含む機能にマッピングするデータを受信してもよい。コンピュータ装置１０１がユーザ相互作用を検出すると、コンピュータ装置１０１は、データに基づいて対応する機能を決定してもよい。各コンピュータ装置１０１が類似のユーザ相互作用に基づいて類似の機能を実行するので、これは特定のオブジェクトとの多数のユーザ相互作用が一貫した体験を有することを可能にしてもよい。

【0147】

更に別の例示として、プロセッサ１０２は、（例えば、別のコンピュータ装置１０１から）有線又は無線を介して受信したオブジェクトの特徴に基づいて機能を決定してもよい。例えば、棚コンピュータ装置は、プロセッサによって受信できるオブジェクトに関する情報を送信してもよい。情報は、例えば、オブジェクトに関係付けられる識別子（例えば、名前、ＱＲコード、バーコード、ＱＲコード、ＲＦＩＤコード、又は一意の識別子）、分類（例えば、製品のタイプ、製造業者、製作者、又はブランド）、価格、割引、クーポン、又は機能（例えば、製品が何を行い又は何のために使用されるか）を含んでもよい。例えば、オブジェクトがシャンプーの瓶である場合、情報は、それが正確にはどのシャンプーの瓶であるか（例えば、棚の上の３番）、それがどのような製品であるか（例えば、シャンプー）、それが具体的にどのような製品であるか（例えば、細い髪用のＨａｉｒ社のシャンプー、又はバーコード）、又はそれがどのブランドの製品であるか（例えば、Ｈａｉｒ社のブランド）を含んでもよい。特徴に基づいて、プロセッサ１０２は１つ以上の機能を決定してもよい。

【0148】

方法９００はステップ９１４に進み、プロセッサ１０２は機能を実行する。一部の実施形態では、プロセッサ１０２は、１つ以上のサブ機能を実行することにより機能を実行してもよい。例えば、機能がインターネットを介して利用可能な最も安い価格でオブジェクトを購入することを含む場合、プロセッサ１０２は、オブジェクトがオンラインで購入可能な全ての店を決定するために多数のサーバ（例えば、サーチエンジン及び１つ以上のウェブサイト）と通信してもよい。また、プロセッサ１０２は、どの店が最も安い価格を有するかを決定してもよい。更に、プロセッサ１０２は、（例えば、店のウェブサイト又は別のサーバを介して）最も安い価格を有する店からオブジェクトを購入してもよい。

【0149】

方法９００はステップ９１６に進み、プロセッサ１０２は触覚効果を決定する。一部の実施形態では、システム１０２は、機能に関係付けられる触覚効果を決定してもよい。例えば、プロセッサ１０２は、機能のタイプに関係付けられる触覚効果を決定してもよい。例えば、一実施形態では、プロセッサ１０２は、機能がリストにエントリを追加することを含む場合、短い振動を含む触覚効果を決定してもよい。一実施形態では、プロセッサ１０２は、機能がリストからエントリを除去することを含む場合、３つの短い振動を含む触覚効果を決定してもよい。これは、どの機能が実行されたか（又は将来実行されるか）をユーザに示してもよい。

【0150】

一部の実施形態では、プロセッサ１０２は、機能が実行されたことを示すように構成される触覚効果を決定する。例えば、プロセッサ１０２は、機能が実行されるとストロークの感覚を含む触覚効果を決定してもよい。これは、機能が行われたことをユーザに示してもよい。一部の実施形態では、プロセッサ１０２は、機能を実行した結果に基づいて異なる触覚効果を決定してもよい。例えば、プロセッサ１０２は、機能の実行が成功した場合に、機能の実行が成功しなかった場合とは異なる触覚効果を出力してもよい。

【0151】

一部の実施形態では、プロセッサ１０２は、オブジェクトがデータを入力し及び／又は特定の機能を実行するように操作され得るかどうかを示すように構成される触覚効果を決定する。例えば、プロセッサ１０２は、ユーザがオブジェクトを取ることを検出して、オブジェクトでジェスチャを行うこと（例えば、オブジェクトを振ること）によりオブジェクトが購入できる場合、触覚効果（例えば、振動）を出力してもよい。プロセッサ１０２は、オブジェクトでジェスチャを行うことによりオブジェクトが購入できない場合、触覚効果を出力しなくてもよい。従って、一部の実施形態では、触覚効果は、オブジェクトが特定のタスクを行うように操作できるかどうかをユーザに示してもよい。

【0152】

一部の実施形態では、プロセッサ１０２は、実行されている機能の経過に関係付けられる触覚効果を決定する。例えば、プロセッサ１０２は、メディアファイルのダウンロード又は再生の経過に関係付けられる周波数及び／又は期間を有するパルス振動を含む触覚効果を決定してもよい。これは、機能が実行を終了するか又はメディアファイルが再生を終了するまでにどのくらい時間が残されているかをユーザに示してもよい。一部の実施形態では、プロセッサ１０２は、（例えば、実行される前に又は機能が実行されている間に）機能のキャンセルに関係付けられる触覚効果を決定する。例えば、プロセッサ１０２は、機能の実行の前（又は間）にユーザが機能の実行をキャンセルした場合に突き刺すような感覚を含む触覚効果を決定してもよい。

【0153】

一部の実施形態では、プロセッサ１０２は、コンピュータ装置１０１が追加のユーザ入力及び／又は機能の状態を待機していることを示すように構成される触覚効果を決定する。例えば、コンピュータ装置１０１は、オブジェクトとの相互作用を検出してもよい。相互作用に基づいて、コンピュータ装置１０１は、オブジェクトの購入を含む機能を決定してもよい。コンピュータ装置１０１は、購入フォームにユーザの全ての詳細を入力して、ユーザが購入を成立させるための確認を提供するのを待ってもよい。コンピュータ装置１０１は、ユーザの確認を待っていることをユーザに警告するように構成される触覚効果（例えば、振動）を出力してもよい。ユーザがオブジェクトと別の相互作用を行うと（例えば、オブジェクトを９０度回転させると）、コンピュータ装置１０１は購入を成立させてもよい。購入が完了すると、コンピュータ装置１０１は、例えば、購入の完了をユーザに示すために別の触覚効果を出力してもよい。

【0154】

一部の実施形態では、プロセッサ１０２は、ユーザ相互作用に関係付けられる特性に基づいて触覚効果を決定する。例えば、プロセッサ１０２は、ユーザ相互作用の種類、場所、持続時間、又は他の特性に基づいて触覚効果を決定してもよい。例えば、プロセッサ１０２は、ユーザが栄養ラベル等、製品の特定の部分に接触する場合に、振動を含む触覚効果を決定してもよい。別の例示として、プロセッサ１０２は、ユーザ相互作用がオブジェクトの表面に沿ってスワイプを含む場合に触覚効果を決定し、及びユーザ相互作用がオブジェクトをタップすることを含む場合に触覚効果を決定しなくてもよい。

【0155】

一部の実施形態では、コンピュータ装置１０１は関連する「プロファイル」を記憶してもよく、ここでユーザは特定の機能及び／又はユーザ相互作用と関係付けたい触覚効果の「プロファイル」を決定してメモリ１０４に保存することができる。例えば、一実施形態では、ユーザは、どの触覚効果を、オブジェクトの価格を決定すること、オブジェクトに関係付けられる文書を印刷すること、オブジェクトに関係付けられるウェブサイトを開くこと、又はオブジェクトの材料を決定すること等の機能に関係付けたいかをオプションのリストから選択することができる。一部の実施形態では、リストは、例えば、低振幅振動、パルス振動、高振幅振動、又はシミュレートされるテクスチャ等の触覚効果を含んでもよい。一部の実施形態では、プロセッサ１０２は、どの触覚効果を生成すべきかを決定するためにユーザの触覚プロファイルを調べてもよい。例えば、ユーザの触覚プロファイルが低周波数振動を含む触覚効果とローカルで製作された商品を関係付ける場合、ユーザがローカルで作られたチョコレートバーに接触するのに応じて、プロセッサ１０２は、低周波数振動を含む触覚効果を決定してもよい。

【0156】

一部の実施形態では、プロセッサ１０２は、デフォルト触覚効果を決定してもよい。例えば、プロセッサ１０２が機能を実行することができない場合（例えば、アプリケーションの実行、製品の購入、又はファイルのダウンロードができない場合）、プロセッサ１０２は、振動を含む触覚効果を決定してもよい。これは、動作を行うことができなかったことをユーザに警告してもよい。

【0157】

例えば、コンピュータ装置１０１は、ユーザが非常に高価な（例えば、価格が閾値を超える）商品と相互作用する場合に、激しい振動を出力するように構成されてもよい。コンピュータ装置１０１は、ユーザがあまり高価でない製品と相互作用する場合に触覚効果を出力しないように構成されてもよい。このような実施形態では、プロセッサ１０２が製品の価格を決定することができない場合（例えば、インターネットに接続できないため）、プロセッサ１０２は３つのパルス振動を含む触覚効果を決定してもよい。従って、製品が余り高価でないとユーザを誤って信じさせ得るため、コンピュータ装置１０１は触覚効果を出力しないのではなく、３つのパルス振動は、プロセッサ１０２が価格を決定することができなかったことをユーザに警告し得る。次に、ユーザは、価格タグを読み取って、又は他のやり方で製品が非常に高価であるかどうかを決定し得る。

【0158】

一部の実施形態では、プロセッサ１０２は、ユーザの特徴に基づいて触覚効果を決定する。例えば、プロセッサ１０２は、ユーザが男性であると決定する場合、ユーザが女性であると決定する場合とは異なる触覚効果を決定してもよい。別の例示として、プロセッサ１０２は、ユーザが４０才以上である場合よりもユーザが４０才未満である場合に触覚効果を決定してもよい。このようにして、触覚効果は、異なる人口層に対してカスタマイズ可能であり、これにより触覚効果に対するユーザの応答を改善し得る。

【0159】

一部の実施形態では、プロセッサ１０２は、複数の触覚効果を決定する。複数の触覚効果の各々は、異なる機能に関係付けられてもよい。例えば、プロセッサ１０２は、オブジェクトのサイズが閾値より低いかどうかを決定することに関係付けられる触覚効果（例えば、長い振動）を決定してもよい。また、プロセッサ１０２は、オブジェクトをショッピングリストに追加することに関係付けられる触覚効果を決定してもよい。複数の触覚効果に基づいて、ユーザは、例えば、オブジェクトを測定しなくても又は（退屈であり時間のかかり得る）タッチスクリーンインターフェースと相互作用しなくても、多数の異なる機能が実行されたこと（例えば、オブジェクトのサイズが決定されたこと及びオブジェクトがショッピングリストに追加されていること）を決定することが可能であってもよい。

【0160】

一部の実施形態では、プロセッサ１０２は、特定の触覚効果が別の触覚効果よりも高い優先度を有しており、それにより高い優先度の効果のみを出力することを決定する。例えば、上記のサイズ及びショッピングリストの例では、プロセッサ１０２は、サイズに関係付けられる触覚効果（例えば、ショッピングリストにオブジェクトを追加することに関係付けられる触覚効果）が他の効果よりも高い優先度を有し、従って、サイズの触覚効果のみを出力することを決定してもよい。代替的に、プロセッサ１０２は、最も強烈な効果のみが出力されるべきであることを決定してもよい。従って、一部の実施形態では、プロセッサは、低い強度の振動及び高い強度の振動を決定するが、高い強度の振動のみを出力してもよい。

【0161】

一部の実施形態では、プロセッサ１０２は、オブジェクトとの相互作用をより簡単に又は困難にするように構成される触覚効果を決定してもよい。例えば、オブジェクトは棚の上に配置されてもよい。ユーザがオブジェクトと相互作用すると、プロセッサ１０２は、オブジェクトがユーザに有害な薬を含むことを決定してもよい。有害な薬に基づいて、プロセッサ１０２は、包装コンピュータ装置に信号を送信してもよい。包装用コンピュータ装置は、信号を受信して、オブジェクトの包装の表面における知覚される摩擦係数を下げるように構成される触覚効果を出力してもよい。これは、拾い上げるオブジェクトをユーザが握る又は掴むことを困難にしてもよい。更に、一部の実施形態では、オブジェクト（例えば、オブジェクトの包装）は金属の底を有してもよい。有害な薬に基づいて、プロセッサ１０２は、棚コンピュータ装置に信号を送信してもよい。棚コンピュータ装置は、信号を受信して、強い磁界をオブジェクトの金属の底に加えるように構成される電磁装置を作動させてもよい。これは、ユーザが棚から（例えば、購入するために）オブジェクトを持ち上げるのを困難にしてもよい。

【0162】

別の例示として、オブジェクトの包装は、（例えば、オブジェクトを棚に固定するために）棚等の別のオブジェクトの周囲で変形されてもよい。例えば、棚は、オブジェクトをバーに固定するために包装（又はオブジェクト）が周囲に曲げられるバーを含んでもよい。一部の実施形態では、ユーザがオブジェクトと相互作用すると、プロセッサ１０２は、データ（例えば、購入レシートコード、名前、クレジットカード番号、又は顧客識別子）をオブジェクトの包装内に配置される包装用コンピュータ装置に送信してもよい。データは、ユーザが既にアイテムを（例えば、オンラインで）購入していることを示してもよく、又は製品の購入に関係付けられてもよい（例えば、データはリアルタイムで購入を行うためにオブジェクトが使用し得るクレジッツカード番号を含んでもよい）。一部の実施形態では、データに基づいて、包装用コンピュータ装置は、包装の形状を変形させるように構成される触覚効果を出力してもよい。例えば、包装用コンピュータ装置は、（例えば、オブジェクトを棚から解放するために）バーの周囲から包装を伸ばすように構成される触覚効果を出力してもよい。これは、ユーザがオブジェクトを取ることを可能にしてもよい。

【0163】

方法９００はステップ９１８に進み、プロセッサ１０２は触覚効果を出力する。プロセッサ１０２は、触覚効果を出力する触覚出力装置１１８に触覚効果に関係付けられる触覚信号を送信してもよい。触覚効果は、テクスチャ（例えば、砂質、凹凸又は円滑）、振動、知覚される摩擦係数の変化、温度の変化、ストローク感、電気触知効果、又は変形（即ち、コンピュータ装置１０１に関係付けられる表面の変形）を含んでもよい。

【0164】

追加して又は代替的に、一部の実施形態では、コンピュータ装置１０１は、音声及び／又は情報をディスプレイに出力してもよい。音声及び／又は情報は、オブジェクトの特性及び／又は機能に関係付けられてもよい。例えば、ユーザは玩具をタップしてもよい。コンピュータ装置１０１は、玩具の名前を決定して、名前に基づいて、ディスプレイに玩具の名前を出力することを含む機能を実行するかどうかを決定してもよい。また、コンピュータ装置１０１は、玩具が（例えば、ユーザの友人が作った）ホリデーリストにあるかどうかを決定してもよい。そうであれば、コンピュータ装置１０１は、音声を出力することを含む機能を実行してもよい。音声は、ビープ音を含んでもよい。これは、ユーザが誕生日リストにある物品と相互作用したことをユーザに通知してもよい。

【0165】

（オブジェクトとの触覚対応相互作用の利点）
オブジェクトとの触覚対応相互作用には多くの利点がある。このようなシステムは、迅速且つ効果的にオブジェクトに関する情報を提供してもよい。例えば、ユーザは、オブジェクトをタップして、実質的に同時に（例えば、触覚効果を介して）オブジェクトの価格に関する情報を受信できる。これは、例えば、移動装置を使用してこのような情報を調べること又は店の従業員に相談することよりも迅速且つ簡単であってもよい。

【0166】

一部の実施形態では、オブジェクトとの触覚対応相互作用は、ユーザが迅速且つ容易に１つ以上の機能（例えば、デジタル動作）を実行することを可能にすることができる。例えば、コンピュータ装置は、ラップトップコンピュータとのユーザ相互作用（例えば、ユーザがラップトップコンピュータのモニタの表面に沿って指で“Ａ”を描くこと）を検出してもよい。ユーザ相互作用に基づいて、コンピュータ装置は、ラップトップコンピュータにハードウェア分析を実行させるように構成される１つ以上の信号をラップトップコンピュータに送信してもよい。コンピュータ装置は、ハードウェア分析から決定された任意の故障したハードウェアコンポーネントに関係付けられるデータをラップトップコンピュータから受信してもよい。更に、コンピュータ装置は、インターネットを介して１つ以上の故障したハードウェアコンポーネントを注文してもよい。従って、コンピュータ装置は、ユーザにとって面倒であり得る複数のデジタル動作を迅速且つ容易に行うことができる。

【0167】

一部の実施形態では、オブジェクトとの触覚対応相互作用は、ユーザが１つ以上の機能及び／又はコンピュータ装置の状態を決定することを可能にし得る。例えば、ユーザは、ラジオで再生中の歌曲のコピーをダウンロードしたい場合がある。歌曲の再生中に、ユーザは、ＭＰ３プレーヤを２度タップしてもよい。コンピュータ装置は、２度のタップを検出して、マイクロホンを介して音声の録音を開始し、歌曲を識別するために音声を分析してもよい。コンピュータ装置が歌曲を識別できない場合、コンピュータ装置は、例えば、コンピュータ装置が歌曲をダウンロードできないことをユーザに示すために、ブザーの感覚を出力してもよい。コンピュータ装置が歌曲を識別できる場合、コンピュータ装置は、例えば、コンピュータ装置が歌曲の識別を成功したことをユーザに示すために、高周波数振動を出力してもよい。その後、一部の実施形態では、コンピュータ装置は、ダウンロードを確認するための別のジェスチャを受信するために待機してもよい。コンピュータ装置は、追加のユーザ入力を待機していることを示す３つの短い振動を出力してもよい。コンピュータ装置は、ユーザによる３つ目のタップを検出して、サーバからＭＰ３をダウンロードしてもよい。ダウンロードが完了すると、コンピュータ装置は、例えば、ダウンロードの完了をユーザに示すために、激しい振動の感覚を出力してもよい。

【0168】

（概論）
上記の方法、システム及び装置は例示である。様々な構成によって、適宜、様々な手続き又は構成要素が省略、置換、又は追加されてもよい。例えば、代替的な構成では、方法は記載されたものとは異なる順序で実行されてもよく、及び／又はステージが追加、省略及び／又は結合されてもよい。また、所定の構成に関して記載された機能は、様々な他の構成に結合されてもよい。構成の異なる態様及び要素が、同様に結合されてもよい。また、技術は進歩するものであり、そのため要素の多くは例示であり、本開示又は請求項の範囲を限定しない。

【0169】

例示的な構成（実装を含む）の十分な理解を与えるために説明の中で特定の詳細が与えられている。しかしながら、こうした構成は特定の詳細無しで実施されてもよい。例えば、周知の回路、工程、アルゴリズム、構造及び技術が、構成を不明確にするのを避けるために不要な詳細無しで示されている。この説明は、例示的な構成のみを提供するものであり、請求項の範囲、応用性又は構成を限定しない。むしろ、構成の上記説明は、記載された技術を実装するための実施可能な説明を当業者に提供するであろう。本開示の精神又は範囲から逸れることなく、要素の機能及び配置の様々な変更が行われてもよい。

【0170】

また、構成は、流れ図又はブロック図として描かれる処理として記載されてもよい。各々が連続した工程として操作を説明している場合があるが、こうした操作の多くは並列的又は同時に行われ得る。更に、操作の順序は並び替えられてもよい。工程は、図面に含まれない追加のステップを有してもよい。更に、方法の例示は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はこれらの任意の組み合わせによって実装されてもよい。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実装される場合、必要なタスクを実行するためのプログラムコード又はコードセグメントは、記憶媒体等の一時的でないコンピュータ可読媒体に記憶されてもよい。プロセッサは、記載されたタスクを実行してもよい。

【0171】

複数の例示的な構成が記載されているが、本開示の精神から逸脱することなく、様々な修正、代替構造及び均等物が使用されてもよい。例えば、上記の要素は、より大きなシステムの構成要素であってもよく、この場合、他の規則が本発明の応用に優先し又はそれを修正してもよい。また、上記の要素が検討される前、間、又は後で多くのステップが行われてもよい。従って、先の記載によって請求項の範囲は縛られない。

【0172】

本明細書における「適合される」又は「構成される」の使用は、追加のタスク又はステップを実行するように適合又は構成される装置を排除しない開放的且つ包括的な言語を意図している。更に、「基づいて」の使用は開放的且つ包括的であることが意図されており、即ち、１つ以上の記載された条件又は値に「基づいて」行われる処理、ステップ、計算、又は他の動作が、実際には、記載されたものを超える追加の条件又は値に基づいてもよい。本明細書に含まれる表題、リスト及び番号は、単に説明を容易にするためのものであって、限定することを意図していない。

【0173】

本主題の態様に従う実施形態は、デジタル電子回路、コンピュータハードウェア、ファームウェア、ソフトウェア、又はこれらの組み合わせに実装され得る。一実施形態では、コンピュータは、１つ又は複数のプロセッサを備えてもよい。プロセッサは、プロセッサに結合されるＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）等のコンピュータ可読媒体を備え、又はそれへのアクセスを有する。プロセッサは、センササンプリングルーチン、選択ルーチン、及び上述の方法を実行する他のルーチン等、メモリに記憶されたコンピュータ実行可能プログラム命令を実行する。

【0174】

このようなプロセッサは、マイクロプロセッサ、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、及び状態機械を含む。このようなプロセッサは、ＰＬＣ、ＰＩＣ（ｐｒｏｇｒａｍｍａｂｌｅ ｉｎｔｅｒｒｕｐｔ ｃｏｎｔｒｏｌｌｅｒ）、ＰＬＤ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＰＲＯＭ又はＥＥＰＲＯＭ（ｅｌｅｃｔｒｏｎｉｃａｌｌｙ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、又は他の類似の装置等のプログラム可能電子装置を更に備えてもよい。

【0175】

このようなプロセッサは、媒体、例えば、プロセッサによって実行されると、プロセッサによって遂行又は支援される本明細書に記載のステップをプロセッサに実行させることができる命令を記憶し得る有形のコンピュータ可読媒体を備え、又はこれと通信してもよい。コンピュータ可読媒体の実施形態は、限定されないが、プロセッサ、例えばウェブサーバのプロセッサにコンピュータ可読命令を提供することができる全ての電子、光学、磁気、又は他の記憶装置を備えてもよい。媒体の他の例は、限定されないが、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取り可能な任意の他の媒体を含む。また、様々な他の装置は、ルータ、プライベート若しくはパブリックネットワーク、又は他の伝送装置等のコンピュータ可読媒体を含んでもよい。記載されたプロセッサ及び処理は、１つ以上の構造内にあってもよく、１つ以上の構造を通じて分散されてもよい。プロセッサは、本明細書に記載の１つ以上の方法（又は方法の一部）を実行するためのコードを備えてもよい。

【0176】

本主題はその特定の実施形態に関して詳細に記載されているが、上記のことを理解すると、このような実施形態の変形、変化、及び均等物を当業者であれば容易に生み出し得ることが理解されるであろう。従って、本開示は、限定ではなく例示を目的として提示されており、当業者には容易に明らかとなる本主題への修正、変更及び／又は追加を含むことを排除しないことが理解されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【外国語明細書】

2016119092000001.pdf