(58)【調査した分野】(Int.Cl.,DB名)
前記第2の移動装置に関係付けられる第2のユーザの第2の場所に関係付けられるデータを含む第2のメッセージを受信するステップを更に含む、請求項4に記載の方法。
実行されると、前記メッセージに関係付けられる触覚効果を決定すること、及び前記第2の移動装置に前記触覚効果を送信することを前記プロセッサに行わせるように構成されるプログラムコードを更に含む、請求項10に記載のコンピュータ可読媒体。
実行されると、前記第2の移動装置に関係付けられる第2のユーザの第2の場所に関係付けられるデータを含む第2のメッセージを受信することを前記プロセッサに行わせるように構成されるプログラムコードを更に含む、請求項13に記載のコンピュータ可読媒体。
【発明を実施するための形態】
【0008】
本発明の実施形態は、触覚メッセージを送信するためのシステム及び方法を提供する。
【0009】
(触覚メッセージを送信する例示の実施形態)
本発明の例示の実施形態は、例えば、携帯電話等の移動装置を含む。例示的な実施形態では、移動装置は、Immersion社のVibeTonz(R)という振動触覚フィードバックシステムを搭載した「Samsung SGH−i710」移動式コンピュータを含む。別の実施形態では、メッセージング装置は、Immersion TouchSense(R)振動触覚フィードバックシステムとしても知られているImmersion社のTouchSense(R)テクノロジーシステムを含む。他の移動装置及び触覚フィードバックシステムが利用されてもよい。
【0010】
移動装置は、ディスプレイ、ユーザインターフェース装置、メモリ、及びこうした要素のそれぞれと通信するプロセッサを備える。ディスプレイは、タッチセンサ式ディスプレイ又はタッチスクリーンを備える。また、例示の移動装置は、センサ及びアクチュエータも備える。これらは共にプロセッサと通信する。センサは、移動装置とユーザとの物理的相互作用を感知するように構成され、アクチュエータは、触覚効果をユーザに出力するように構成される。
【0011】
例示の実施形態では、仮想メッセージ環境の形態にある多次元メッセージ受信箱がディスプレイ上に示される。仮想メッセージ環境は、仮想メッセージオブジェクトとして表される電子メッセージを含む。メッセージは、例えば、テキスト、データ、絵、ビデオ、又は音声を含んでもよい。メッセージは、メッセージを含む仮想メッセージオブジェクトとして表示されてもよい。仮想メッセージオブジェクトは、巻物、カプセル、ボール、風船、又はディスプレイが表示可能な任意の他のオブジェクトの形態を採用してもよい。仮想メッセージオブジェクトの各種類は、特定の種類のメッセージに対応してもよい。例えば、管又は円筒状のスクロールの形態の仮想メッセージオブジェクトは、テキストメッセージ又はチャットの会話を表してもよい。例えば、親密性等の感情を伝えることを意図したショートメッセージは、ハートの形態の仮想メッセージオブジェクトとして表されてもよい。また、仮想メッセージ環境は、仮想ゲートウェイも備える。仮想メッセージオブジェクトは、仮想ゲートウェイを介して仮想メッセージ環境に出入りしてもよい。
【0012】
例示の実施形態では、仮想メッセージオブジェクトは、トークンを含む。トークンは、送信側及び受信側移動装置の双方で同じ特性を表示する仮想メッセージオブジェクトの種類である。このように、仮想メッセージオブジェクトが一方の装置から別の装置に送信されると、仮想メッセージオブジェクトは、送信側装置で表示したのと同じ特性を受信装置に表示する。維持される特徴は、仮想メッセージオブジェクトのサイズ、形状、色彩、及び仮想メッセージオブジェクトに関連付けられる任意の触覚効果を含んでもよい。幾つかの実施形態では、トークンは、ビジネストークン、パーソナルトークン、又は何らかの他の種類のトークンであってもよい。
【0013】
例示の装置を用いて、ユーザは、タッチスクリーンを使用することにより及び/又は移動装置を操作することにより、例えば、装置を回転又は揺動させることにより、仮想メッセージ環境及び/又は仮想メッセージオブジェクトと相互作用することが出来る。このような相互作用を介して、ユーザは、仮想メッセージオブジェクトを作成、操作、送信、及び/又は受信することが出来る。例示の装置では、ユーザは、仮想メッセージオブジェクトを送信するために仮想ゲートウェイに向けられるジェスチャを行う。例示的なジェスチャは、タッチスクリーンに接触して仮想メッセージオブジェクトを仮想ゲートウェイに向かってドラッグ若しくはフリックすること、仮想ゲートウェイの方向に移動装置を傾けること、又は仮想移動装置を揺動させることを含む。
【0014】
センサは、ユーザのジェスチャを検出して、このジェスチャに基づいて、プロセッサにセンサ信号を送信する。センサは、ジャイロスコープ、加速度計、GPS、又は移動装置の移動、方向、若しくは位置を検出可能な他のセンサを備えてもよい。センサは、ユーザが装置を移動させ又は傾けるのを検出するように構成されてもよい。センサ信号に少なくとも部分的に基づいて、プロセッサは、仮想メッセージオブジェクトに適用するための仮想力を決定する。例えば、装置が傾けられると、プロセッサは、重力を表す仮想力を決定して、装置が傾けられる方向に仮想メッセージオブジェクトを移動させてもよい。別の例として、センサは、装置が仮想ゲートウェイに向かって突き出され又は押し出されたことを検出してもよい。次に、センサは、対応する信号をプロセッサに送信して、プロセッサは、仮想力を決定してこれを仮想メッセージオブジェクトに適用してもよい。
【0015】
センサ信号の受信後、プロセッサは、センサ信号に少なくとも部分的に基づいて仮想メッセージオブジェクトの送信特性を決定する。例示の実施形態では、送信特性は、ユーザのジェスチャ又はどのように仮想メッセージオブジェクトが仮想ゲートウェイから送信されたかに関連付けられる特徴又は特性を含む。この送信特性は保存されて、メッセージの一部として含まれてもよい。一例では、ユーザは、仮想メッセージオブジェクトを仮想ゲートウェイから力強く押すことにより緊急メッセージを送信する。仮想メッセージオブジェクトの送信特性は、仮想ゲートウェイを通過するときの速度を含むであろう。別の例として、ユーザが仮想ゲートウェイに向かって仮想メッセージオブジェクトをゆっくりとドラッグ又はフリックした後、プロセッサは、遅い送信特性を決定する。さらに、プロセッサは、例えば、ユーザのジェスチャの角度に基づく接近角度の送信特性等のセンサ信号に基づいて他の送信特性を決定してもよい。次に、プロセッサは、仮想メッセージオブジェクトの一部として仮想送信特性を含める。幾つかの実施形態では、プロセッサは、決定された触覚効果をさらに含んでもよい。
【0016】
次に、プロセッサは、仮想力に少なくとも部分的に基づいて仮想メッセージオブジェクトを送信するかどうかを決定する。この決定は、ジェスチャが仮想ゲートウェイに十分に向けられたかどうかの計算を含んでもよい。ジェスチャが仮想ゲートウェイに向けられていない場合、プロセッサは、仮想メッセージオブジェクトが送信されるべきではなく、ローカル仮想メッセージ環境の中に留まるべきであると決定してもよい。ジェスチャが仮想ゲートウェイに十分に向けられる場合、プロセッサは、仮想メッセージオブジェクトが送信されるべきであると決定するであろう。
【0017】
最後に、プロセッサは、送信特性と共に仮想メッセージオブジェクトを送信する。プロセッサは、例えば、セルラネットワークインターフェース又はWi−Fiネットワークインターフェース等のネットワークインターフェースに仮想メッセージオブジェクト及び送信特性を送信してもよい。次に、ネットワークインターフェースは、例えば、セルラネットワーク、イントラネット、又はインターネット等のネットワークを介して別の移動装置に仮想メッセージオブジェクト及び送信特性を送信する。
【0018】
例示の装置の別の実施形態では、仮想メッセージオブジェクトは、実質的にリアルタイムで受信装置に送信される。例えば、ユーザは、送信側装置において仮想メッセージオブジェクトを作成してもよく、実質的に同時に、同じ仮想メッセージオブジェクトが受信装置に現れてもよい。この実施形態では、送信者は、仮想メッセージオブジェクトの特性を操作してもよく、こうした修正は、実質的に同時に受信装置に現れてもよい。例えば、ユーザは、送信側移動装置において仮想メッセージオブジェクトに関連付けられる色彩又は触覚効果を修正してもよく、同時に、仮想メッセージオブジェクトは、受信装置の画面上で修正されてもよい。このように、仮想メッセージオブジェクトは、2つの移動装置の間の直接的なリアルタイム接続を形成してもよい。この実施形態では、ユーザが送信機能を使用しておらず又は仮想メッセージオブジェクトを仮想ゲートウェイから移動させていなかったとしても、仮想メッセージオブジェクトに関連付けられる信号が送信されてもよい。
【0019】
例示の装置が仮想メッセージオブジェクトを受信すると、その送信特性は、受信側移動装置によって保存されて解釈されてもよい。例示の実施形態では、ユーザが示すジェスチャは仮想ゲートウェイに向かう速いフリックを含む。速い送信特性が、プロセッサによって決定されて、仮想メッセージオブジェクトと共に送信される。次に、例示の装置は、仮想メッセージオブジェクトを受信すると、仮想ゲートウェイを介してグラフィカルユーザインターフェースに入る仮想メッセージオブジェクトを表示する。仮想メッセージは、その送信特性に対応する速度及び触覚効果と共に受信側装置の仮想ゲートウェイを通過する。例示の実施形態では、ユーザが速いフリックでメッセージを送信したことで、受信側装置のプロセッサは、鈍い衝撃又は反発のような強い触覚効果を決定するであろう。さらに、プロセッサは、仮想メッセージオブジェクトが入ると、仮想メッセージ環境の中における激しい衝突を決定してもよい。代替の実施形態では、ユーザが穏やかな衝撃又は傾斜と共に仮想メッセージオブジェクトを送信した場合、仮想メッセージオブジェクトは、柔らかな振動等の穏やかな触覚効果を伴う遅い速度で到着してもよい。
【0020】
この例示は、本明細書で検討される一般的な主題を読者に紹介するために与えられる。すなわち、本発明は、この例示には限定されない。以下の段落は、触覚メッセージを送信するための方法及びシステムの様々な追加の実施形態及び例示を記載する。
【0021】
(触覚メッセージの送信)
本明細書に提示される発明の実施形態は、触覚メッセージを送信するためのシステム及び方法を提供する。物理モデルを仮想メッセージ環境の中に組み込むことによって、実施形態は、ユーザの日常の触覚体験及び運動感覚能力を利用して、メッセージの送信を制御するために直感的にユーザインターフェースを操作することが出来る。従来のメッセージングシステムは、ほとんど又は全く直感的なジェスチャ操作を提供することがない。件名、草稿等を示す1次元の受信箱を有する従来のEメールメタファを使用するテキストメッセージングシステムは、視覚的及び認識的に集約的であり、メッセージの作成、送信、及び受信にユーザの高度の注意を要求する場合がある。さらに、従来のメッセージングシステムは、どのようにメッセージが送信されたかに関連付けられるコンテキスト情報をほとんど又は全く保持することがない。しかしながら、メッセージを触覚的に送信することは、物理効果をメッセージに結び付けることでコンテンツの非言語コミュニケーションを容易にすることが出来る。
【0022】
一実施形態では、移動装置のグラフィカルユーザインターフェースは、仮想メッセージ環境を表示する。仮想メッセージ環境は、ユーザがコンテンツを直接操作することを可能にする物理モデルを組み込む。仮想メッセージ環境は、仮想メッセージオブジェクトとして表示される電子メッセージを含む。仮想メッセージオブジェクトは、ボール、巻物、カプセル、矢印、ハート、又は他の形状の形態を採用してもよい。ユーザは、様々なセンサによって検出される動作又はジェスチャを介して、仮想メッセージオブジェクト及び仮想メッセージ環境を操作することが出来る。こうしたセンサは、ジャイロスコープ、GPS、加速度計、タッチスクリーン又は動作を検出するように構成される他のセンサの1つ以上を含んでもよい。ユーザのジェスチャ又は動作は、仮想メッセージオブジェクトに作用する仮想力に変換される。こうした力は、仮想メッセージ環境内で仮想メッセージオブジェクトが移動及び衝突し、又は仮想ゲートウェイを通って環境から出ることを引き起こしてもよい。
【0023】
さらに、物理モデル化エンジンを使用して、仮想境界が装置の画面の物理境界に対応するようにプログラムされてもよい。このような実施形態では、仮想メッセージオブジェクトは、画面の外に進むことなく仮想メッセージ環境の境界に対して跳ね返ることが出来る。環境内の仮想ゲートウェイは、仮想物理境界の一部を1人以上の受信者へのゲートウェイ又はポータルに置き換えることによって作成されてもよい。仮想オブジェクトは、仮想ゲートウェイを通過すると、1つ以上の受信装置に送信されて、ホストの仮想メッセージ環境から「退出」する。さらに、仮想ゲートウェイが閉じられることで、メッセージを送信する能力を使用出来なくなり、仮想メッセージ環境にある未送信メッセージを保持してもよい。このように、本発明の実施形態は、メッセージを送信するために空間メタファを利用してもよく、それにより、より直感的なメッセージング処理を容易にする。
【0024】
幾つかの実施形態では、ユーザは、仮想ゲートウェイに向かう指示ジェスチャを行うことによって仮想ゲートウェイを介して仮想メッセージオブジェクトを移動させてもよい。ジェスチャは、タッチスクリーン上で仮想メッセージオブジェクトに接触して、移動装置全体を動かすことによって、又は何らかの他の手段によって行われてもよい。一例では、ユーザは、仮想メッセージオブジェクトをタッチスクリーン上で選択して、仮想ゲートウェイに向かってオブジェクトを動かすフリックジェスチャを使用してこれを送信する。プロセッサは、例えば、仮想ゲートウェイを通過するときの仮想メッセージオブジェクトの速度等の送信特性を決定してもよい。送信特性は、仮想メッセージオブジェクトが別の移動装置に送信されるときに保存されてもよい。仮想メッセージオブジェクトは、受信装置によって受信されると、仮想メッセージ環境に到着して、送信特性に少なくとも部分的に基づいて挙動を行い又は他のオブジェクト及び/又は環境と相互作用してもよい。
【0025】
他の実施形態では、仮想メッセージ環境自体が、受信装置への仮想ゲートウェイを備えてもよい。例えば、仮想メッセージオブジェクトは、送信側仮想メッセージ環境で作成されると、受信仮想メッセージ環境に実質的に同時に現れてもよい。別の実施形態では、ユーザがテキスト又は触覚効果を仮想メッセージオブジェクトに加えることによって仮想メッセージオブジェクトを修正する場合、こうした変化は、受信側仮想メッセージ環境で実質的に同時に発生してもよい。
【0026】
(触覚メッセージを送信するための例示のシステム)
複数の図面を通じて同様の番号が同様の要素を示す図面を参照すると、
図1は、本発明の一実施形態による触覚メッセージを送信するためのシステムのブロック図である。
図1に示されるように、システム100は、例えば、携帯電話、PDA(portable digital assistant)、携帯型メディアプレーヤ、又は携帯型ゲーム装置等の移動装置102を備える。移動装置102は、ネットワークインターフェース112、センサ114、ディスプレイ116、アクチュエータ118、スピーカ120、及びトラックボール122と通信するプロセッサ110を備える。
【0027】
プロセッサ110は、ディスプレイ116に示されるグラフィカルユーザインターフェースを生成するように構成される。プロセッサ110は、例えば、赤外線、無線、Wi−Fi又はセルラネットワーク通信等の1つ以上の移動式通信方法を備えるネットワークインターフェース112と通信する。他の変形では、ネットワークインターフェース112は、例えば、イーサネット(登録商標)等の有線ネットワークインターフェースを備える。装置間で交換されるメッセージの実施形態は、音声メッセージ、テキストメッセージ、データメッセージ、又は他の種類のメッセージを含んでもよい。
【0028】
また、プロセッサ110は、1つ以上のセンサ114と通信する。センサ114は、位置センサ、場所センサ、回転速度センサ、画像センサ、圧力センサ、又は別の種類のセンサを含んでもよい。例えば、センサ114は、加速度計、ジャイロスコープ、GPSセンサ、タッチセンサ式入力装置(例えば、タッチスクリーン、タッチパッド)、又は何らかの他の種類のセンサを含んでもよい。1つ以上のセンサ114は、例えば、加速度、傾き、慣性、又は位置の変化を検出するように構成されてもよい。例えば、移動装置102は、移動装置102の加速度を測定するように構成される加速度計114を備えてもよい。1つ以上のセンサ114は、ユーザとの相互作用を検出してプロセッサ110にユーザとの相互作用を表す信号を送信するように構成される。移動装置102は、例えば、トラックボール122、ボタン、キー、スクロールホイール、及び/又はジョイスティック(
図1には示されない)等の追加の入力形態を備えてもよい。
【0029】
ユーザは、動作又はジェスチャを介してユーザインターフェースと相互作用してもよく、1つ以上のセンサ114がこうした動作を検出する。ユーザが移動装置102を傾け、揺動させ、突き出し、又は移動させると、1つ以上のセンサ114がこうした動作を検出する。センサ114は、こうした運動に少なくとも部分的に基づいてセンサ信号を生成してプロセッサ110にこうした信号を送信する。信号は、移動角度、移動速度、移動が及ぶ距離、又は移動のX−Y方向の1つ以上を含んでもよい。一実施形態では、加速度センサは、加速度計102の傾き及び加速度を検出するように構成される。移動装置102が傾けられると、加速度計は、移動装置102の傾き及び/又は加速度に少なくとも部分的に基づいてプロセッサ110に信号を送信するように構成され得る。
【0030】
センサ114によって受信される信号は、ディスプレイ116に示されるグラフィカルユーザインターフェースとの相互作用に関連付けられてもよい。一実施形態では、センサ信号は、仮想メッセージ環境内で仮想ゲートウェイに向けられる指示ジェスチャを含む。例えば、指示ジェスチャは、移動装置102を所定の方向に移動させる突き動作を含んでもよい。加速度計114は、突き動作を検出して、動作を表すセンサ信号をプロセッサ110に送信してもよい。別の例示として、指示ジェスチャは、仮想ゲートウェイに向かって仮想メッセージオブジェクトをドラッグ又はフリックすることを含んでもよい。タッチスクリーンディスプレイ116は、ドラッグ又はフリックを検出して、表現センサ信号をプロセッサ110に送信してもよい。
【0031】
図1に示される実施形態では、プロセッサ110は、グラフィカルユーザインターフェースを表示するように構成されるディスプレイ116とも通信する。ディスプレイ116は、プロセッサ110に/プロセッサ110から信号を送信/受信するように構成されるタッチスクリーン等のタッチセンサ式入力装置を備えてもよい。タッチスクリーンディスプレイ116に示されるグラフィカルユーザインターフェースは、ユーザとメッセージとの相互作用を容易にする。グラフィカルユーザインターフェースは、メッセージが仮想メッセージオブジェクトとして表される仮想メッセージ環境を含む。仮想メッセージオブジェクトは、タッチスクリーンディスプレイ116を介して直接接触することにより選択及び操作されてもよい。相互作用の1つのモードでは、タッチスクリーンディスプレイ上の2次元指ジェスチャが、仮想メッセージ環境内の仮想オブジェクトを選択し、ドラッグし、フリックし、投げ、及び/又は移動させてもよい。
【0032】
タッチスクリーンディスプレイ116から受信される信号は、グラフィカルユーザインターフェース内の仮想メッセージオブジェクトの送信特性に関連付けられてもよい。1つの変形では、タッチスクリーン116上の既定のジェスチャ、例えば、仮想メッセージオブジェクトのフリック又はドラッグ等が、仮想メッセージオブジェクトの送信の速度及び/又は角度等の送信特性に関連付けられてもよい。一実施形態では、迅速なフリックが、仮想メッセージオブジェクトの速い送信特性に関連付けられる。しかし、別の実施形態では、遅いドラッグが、遅い送信特性に関連付けられる。
【0033】
プロセッサ110は、仮想メッセージオブジェクトの送信特性に少なくとも部分的に基づいて触覚フィードバック効果を決定してもよい。1つの変形では、ユーザは、仮想ゲートウェイの方向に移動装置102を迅速に突き出すことによって、仮想メッセージオブジェクトが別のユーザに送信されるべきであることを示す。迅速な突き出しに基づいて、プロセッサ110は、速い送信特性を決定して、仮想メッセージオブジェクトが送信されるべきであることを決定する。次に、プロセッサ110は、速い送信特性に少なくとも部分的に基づいて短い振動のような触覚効果を決定する。最後に、プロセッサ110は、触覚効果を表す触覚信号をアクチュエータ118に送信する。
【0034】
図1に示されるように、プロセッサ110は、1つ以上のアクチュエータ118とも通信する。アクチュエータ118は、プロセッサ110から触覚信号を受信して、触覚効果を生成するように構成される。プロセッサ110は、触覚効果を決定した後で、アクチュエータ118に触覚信号を送信する。触覚信号は、既定の触覚効果をアクチュエータ118に出力させるように構成される。アクチュエータ118は、例えば、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、リニア共振アクチュエータ、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ(ERM)又はリニア共振アクチュエータ(LRA)であってもよい。
【0035】
プロセッサ110は、トラックボール122とも通信する。プロセッサ110は、トラックボール122からユーザとの相互作用を表す信号を受信してもよい。例えば、アドレス帳の中のメッセージ受信者のメニューをスクロール又は操作するために、トラックボール122が使用されてもよい。受信者が選択された後、受信者の選択を確認するためにトラックボールが押されてもよい。トラックボール122が押されると、選択された受信者に関連付けられる仮想ゲートウェイが仮想メッセージ環境に表示されてもよい。仮想ゲートウェイが表示されると、プロセッサ110は、仮想メッセージオブジェクトを特定の受信者に送信する準備が出来ている。
【0036】
図2は、本発明の一実施形態による触覚メッセージを送信するためのシステムの例示である。システム200の要素は、
図1に示されたブロック図を参照して説明される。
図1に示されたもの以外の多様な実装が可能である。
【0037】
図2に示されるように、システム200は、例えば、携帯電話、PDA、携帯型メディアプレーヤ、又は携帯型ゲーム装置等の移動装置102を備える。移動装置102は、例えば、セルラネットワーク又はインターネット等のネットワークを介して、音声メール、テキストメッセージ、及び他のデータメッセージのような信号を送信及び受信するように構成される。移動装置102は、無線ネットワークインターフェース及び/又は有線ネットワークインターフェース112を備えてもよい。
図2には装置102がハンドヘルド移動装置として例示されるが、他の実施形態は、例えば、ビデオゲームシステム及び/又はパーソナルコンピュータ等の他の異なる装置を含んでもよい。
【0038】
図2に示されるように、移動装置102は、ディスプレイ116を備える。ディスプレイ116に加えて、移動装置102は、ボタン、タッチパッド、スクロールホイール、ロッカスイッチ、ジョイスティック、又は他の形態の入力装置(
図2には示されない)を備えてもよい。さらに、ディスプレイ116は、例えば、タッチスクリーン等のタッチセンサ式入力装置を備えてもよい。
【0039】
ディスプレイ116は、プロセッサ110と通信する。ディスプレイ116は、仮想メッセージ環境210を表示するように構成され、1つ以上の仮想メッセージオブジェクトを備えてもよい。仮想メッセージオブジェクトは、ディスプレイ116が表示可能な任意のオブジェクトの形状を採用してもよい。例えば、仮想メッセージオブジェクトは、矢印、ボール、カプセル、ハート、及び管の形態を採用してもよい。
図2に示されるように、仮想メッセージ環境210は、3つの仮想メッセージオブジェクト220a、220b、及び220cを含む。仮想メッセージ環境210の中で、仮想メッセージオブジェクト220a、220b、及び220cは、自由に移動して、跳ねて、他の仮想メッセージオブジェクト及び仮想メッセージ環境210の境界と衝突してもよい。
【0040】
各仮想メッセージオブジェクトは、例えば、テキストメッセージ、写真、ビデオ、音声メール、リマインダ、又は笑顔若しくは不快顔のような擬似感情メッセージ等のメッセージ及び/又はファイルを表してもよい。仮想メッセージオブジェクトのコンテンツは、仮想メッセージオブジェクトの形状を決定するのに使用されてもよい。例えば、管又は巻き上げ式巻物220cの形態の仮想メッセージオブジェクトは、テキストメッセージを表してもよい。又は、卵又はカプセル220aの形態の仮想メッセージオブジェクトは、例えば、ビデオファイル、写真、又は歌曲等の添付ファイルを有するメッセージを表してもよい。また、仮想メッセージオブジェクトは、例えば、ジェスチャ、表情、又は感情等の多様な形態の非言語コミュニケーションを表してもよい。例えば、ボールとして示される仮想メッセージオブジェクト220bは、遊び心の指示等の非言語メッセージに対応してもよい。矢印として表される仮想メッセージオブジェクトは、突き又は突き刺しジェスチャ(すなわち、注意を要請又は要求するため)を表してもよい。他の仮想メッセージオブジェクトは、ハート、バスケットボール、水風船、タイプライタ、又はディスプレイ116が表示可能な別の形状として現れてもよい。効果的な仮想メッセージオブジェクトは、容易に識別可能な視覚及び/又は触覚特性及び/又は効果を備える。例えば、仮想メッセージオブジェクトは、タイプライタの形態の仕事ファイルを表して、タイプライタのキーの打撃を表す触覚効果を含むことが出来る。又は、重要でないEメールを表す仮想メッセージオブジェクトは、ボウリングのボールの形態であって、ボウリングのボールがピンに衝突することを表す触覚効果を含んでもよい。
【0041】
仮想メッセージオブジェクトは、仮想メッセージオブジェクトの特性を定義するデータストアを含んでもよい。こうした特性は、どのように仮想メッセージオブジェクトが他の仮想メッセージオブジェクト及び仮想メッセージ環境の境界と相互作用するかに関する情報を有してもよい。例えば、一実施形態では、仮想メッセージオブジェクトは、ゴムボールの形態に見えてもよく、ボールが他の仮想メッセージオブジェクトから容易に跳ね返るようにするデータを有してもよい。別の実施形態では、仮想メッセージオブジェクトは、卵の形態に見えてもよく、卵が別の仮想メッセージオブジェクトによって衝突されると容易に粉砕するようにするデータを含んでもよい。
【0042】
仮想メッセージオブジェクトとしてメッセージを表すことによって、ユーザは、開封することなくメッセージに関する情報を素早く判断することが出来るようになる。幾つかの実施形態では、メッセージのサイズは、仮想メッセージオブジェクトのサイズ又は質量に対応する。大きな添付ファイルを有するメッセージは、大きな又は重いオブジェクトとして表され得る。大きな又は重いオブジェクトに関連付けられる触覚的衝突効果は、強い(高振幅)振動から構成されてもよい。例えば、ショートテキストメッセージ又は小さな添付ファイルを有するメッセージ等のメッセージは、小さな仮想メッセージオブジェクトとして表され得る。小さな仮想メッセージオブジェクトに関連付けられる触覚的衝突効果は、柔軟な(低振幅)振動から構成されてもよい。このようにして、全ての物理特性(外観、触覚特性等)が相互に関係付けられる。これによって、ユーザは、複数のソースから即座に仮想メッセージオブジェクト及びそのコンテンツに関する情報を収集することが可能になる。
【0043】
幾つかの実施形態では、仮想メッセージオブジェクトは、テキストメッセージを含んでもよい。このような実施形態では、仮想メッセージオブジェクトは、事前に書かれたテキストを有してもよい。他の実施形態では、ユーザは、仮想メッセージオブジェクトのために独自のテキストを入力してもよい。このような実施形態では、ユーザは、テキストの入力を希望することを示すために仮想メッセージオブジェクトと相互作用する。例えば、このような相互作用は、仮想メッセージオブジェクトのダブルタップを含んでもよい。センサ114又はトラックボール122は、ユーザとの相互作用を検出して、対応する信号をプロセッサ110に送信する。受信信号に基づいて、プロセッサ110は、テキストボックスを生成して、ディスプレイ116上にこのテキストボックスを表示する。幾つかの実施形態では、テキストボックスは、テキストを入力するために単純なQWERTYキーボードを含んでもよい。他の実施形態では、テキストボックスは、より複雑であってもよい。例えば、テキストボックスは、昔風の機械式タイプライタの仮想表現を含んでもよい。このような実施形態では、ユーザが機械式タイプライタのキーを押し下げると、プロセッサ110は、タイプライタの打撃に対応する音声信号及び触覚効果を出力してもよい。別の実施形態では、テキストボックスは、移動装置と相互作用することによりユーザが書き込むことが出来る白紙を含んでもよい。例えば、タッチスクリーンを使用すると、ユーザは、自身の指又はスタイラスを用いて自身の名前を署名することが出来る。別の例示では、ユーザは、自身の指又はスタイラスを用いて完全なメッセージを書いてもよい。他の実施形態では、ユーザは、テキストに実質的に近似するパターンで移動装置全体を動かしてもよい。このような実施形態では、ディスプレイは、スプレー塗料缶の形態の仮想オブジェクトを示してもよい。ユーザがテキストを入力することを望む場合、ユーザは、スプレー塗料缶を押して、ユーザが入力することを望むテキストに実質的に近似するパターンで移動装置を動かしてもよい。センサ114は、動作を検出して、対応する信号をプロセッサ110に送信してもよい。受信信号に基づいて、プロセッサ110は、入力されたテキストを決定する。
【0044】
幾つかの実施形態では、ユーザは、テキストメッセージ内の特定の単語に触覚効果を埋め込んでもよい。このような実施形態では、ユーザは、テキストメッセージを入力してから、テキストメッセージ内の特定の単語と相互作用してもよい。センサ114又はトラックボール122は、相互作用を検出して、対応する信号をプロセッサ110に送信してもよい。このような実施形態では、ユーザとの相互作用は、テキストメッセージ内の特定の単語をダブルクリックすることを含んでもよい。受信信号に基づいて、プロセッサ110は、ユーザが単語に触覚効果を加えようとしていることを決定してもよい。次に、プロセッサ110は、プロセッサ110が触覚情報を受信する準備が出来ていることを示す音声、触覚又は視覚信号を送信してもよい。次に、ユーザは、プロセッサ110が単語に追加する触覚効果を入力してもよい。幾つかの実施形態では、触覚効果は、移動装置に最初から組み込まれている。他の実施形態では、ユーザは、センサ114を介して新しい触覚効果を入力してもよい。このような実施形態では、ユーザは、移動装置を揺動してもよく、センサ114は、動作を検出して、対応する信号をプロセッサ110に送信してもよい。受信信号に基づいて、プロセッサ110は、移動装置の揺動に対応する新しい触覚効果を決定してもよい。次に、ユーザが受信者にメッセージを送信すると、受信者は、単語に接触して、関連付けられた触覚効果を感知してもよい。例えば、一実施形態では、ユーザは、「love」という単語を含むメッセージを送信してもよい。このような実施形態では、ユーザは、「love」という単語にハートの鼓動を含む触覚効果を追加してもよい。次に、受信者は、「love」という単語と相互作用すると、ハートの鼓動を感知することが出来る。別の実施形態では、ユーザは、署名を入力して、署名に触覚効果を追加してもよい。このような実施形態は、ユーザがメッセージに触覚署名を追加することを可能にしてもよい。
【0045】
また、仮想メッセージ環境210は、仮想ゲートウェイ212も備える。仮想メッセージオブジェクトは、仮想ゲートウェイ212を介して移動させることによって、他の移動装置に送信されてもよい。仮想メッセージオブジェクトは、仮想ゲートウェイ212を通過すると、受信装置に送信されて、ローカル仮想メッセージ環境210から「退出」する。このように、本発明の実施形態は、メッセージを送信するために空間メタファを利用してもよく、メッセージ送信のより直感的な処理を容易にする。
【0046】
仮想ゲートウェイ212は、仮想メッセージ環境210の一部を仮想ゲートウェイ212と置き換えることによって表示されてもよい。仮想ゲートウェイ212は、それが方向付けられている受信者の視覚表示を含んでもよい。例えば、仮想ゲートウェイ212は、選択された受信者の名前を示してもよい。
図2では、仮想ゲートウェイ212を介して送信される仮想メッセージオブジェクトの潜在的受信者として「Noah」が示されている。別の変形では、例えば、「家族」グループ又は「同級生」グループ等の受信者のグループが仮想ゲートウェイ212に示されてもよい。このような変形では、仮想メッセージオブジェクトが受信者グループを示す仮想ゲートウェイ212を介して送信されると、仮想メッセージオブジェクトは、グループ内の各個人の移動装置に送信される。
【0047】
(触覚メッセージを送信するための例示の方法)
図3は、本発明の別の実施形態による触覚メッセージを送信するための方法の流れ図である。本発明の実施形態は様々な装置で利用され得るが、
図3に示される工程は、
図1に示されるブロック図及び
図2に示される装置に関連して記載される。
【0048】
方法300では、プロセッサ110は、仮想メッセージオブジェクトの受信者に関連付けられる受信信号を受信する(306)。プロセッサ110は、ボタン、スクロールホイール、又はトラックボール122若しくはセンサ114等の他の入力装置から受信信号を受信してもよい。一実施形態では、プロセッサ110は、ローカルメモリに記憶されたアドレス帳から連続する名前のリストを表示する。名前は、仮想メッセージ環境210に、例えば、ディスプレイ116の最上部又は最下部に示され得る。名前をスクロールするために、左又は右ボタンが押される。目的の受信者の正しい名前が識別されたとき、トラックボール122は、押し下げられて、プロセッサ110に受信信号を送信してもよい。1つの変形では、ユーザは、左又は右方向に装置を揺動することによってアドレスリスト内の名前をスクロールしてもよい。小さく柔軟な揺動によって、プロセッサ110は、各方向に1個又は2個の名前のように僅かな増分でアドレスリストを進行してもよい。大きく激しい揺動によって、プロセッサ110は、各方向に10個又は20個の名前のように大きな増分でアドレスリストを進行してもよい。
【0049】
次に、プロセッサ110は、仮想メッセージ環境に仮想ゲートウェイ212を表示する(308)。仮想ゲートウェイ212は、仮想メッセージオブジェクトの受信者に関連付けられてもよい。例えば、仮想ゲートウェイ212は、受信者の名前を表示することによる受信者の視覚表示を含んでもよい。ネットワーク故障時に、プロセッサ110は、仮想ゲートウェイ212を閉鎖して、仮想メッセージオブジェクトが送信出来ないという視覚的又は触覚的手掛かりをユーザに与えてもよい。1つの変形では、受信者が仮想メッセージオブジェクトを受信出来ないとプロセッサ110が決定すると、仮想メッセージオブジェクトは、仮想ゲートウェイ212に対して跳ね返って仮想メッセージ環境210内に留まってもよい。仮想ゲートウェイ212が確立されたらすぐに、仮想メッセージオブジェクトは、受信者に送信されてもよい。仮想メッセージオブジェクトは、仮想ゲートウェイ212に向かって移動させるジェスチャで送信されてもよい。
【0050】
次に、プロセッサ110は、移動装置との物理的相互作用を感知するように構成されるセンサ114からセンサ信号を受信する(309)。センサ114は、ユーザとの相互作用の方向及び大きさの両方を検出してもよい。例えば、ユーザが移動装置を自身の体から急に離すと、センサ114は、方向と共に装置が動かされた速度を検出してもよい。別の例示では、センサ信号は、ユーザが仮想ゲートウェイ212に向かって仮想メッセージオブジェクトをドラッグする場合のユーザとの相互作用に関連付けられてもよい。このようにして、センサ信号は、仮想ゲートウェイに向けられるジェスチャを含んでもよい。別の例示では、センサ信号は、移動装置102が傾けられたことに関連付けられてもよい。
【0051】
次に、プロセッサ110は、センサ信号に少なくとも部分的に基づいて仮想力を決定する(310)。プロセッサ110は、仮想力の方向及び大きさの両方を決定してもよい。例えば、力は、仮想オブジェクトに対して垂直方向であり且つ低強度であってもよい。別の例示では、ユーザが移動装置を傾けると、プロセッサ110は、重力を表す力を決定して、それはユーザが装置を傾けた方向に仮想オブジェクトを引っ張ってもよい。他の実施形態では、プロセッサ110は、経時的に方向又は強度が変化する力を決定してもよい。
【0052】
次に、プロセッサ110は、仮想メッセージ環境内の仮想メッセージオブジェクトに仮想力を適用する(312)。次に、仮想メッセージオブジェクトは、仮想力の大きさ及び方向に少なくとも部分的に基づいて仮想メッセージ環境内で移動するであろう。さらに、仮想メッセージオブジェクトの挙動は、データストアに含まれるデータによって定義されてもよい。このデータは、仮想メッセージ環境内の仮想メッセージオブジェクトの相互作用の特性を定義する。例えば、仮想メッセージオブジェクトは、卵の形状であってもよく、砕けやすい表面を定義する特性を有してもよい。次に、大きな仮想力が仮想メッセージオブジェクトの表面に適用されると、オブジェクトはひび割れてもよい。別の例示では、仮想メッセージオブジェクトは、堅いボールを定義する特性を有してもよい。大きな仮想力が適用されると、ボールは、仮想力の方向に転がってもよい。
【0053】
次に、プロセッサ110は、仮想メッセージオブジェクトを送信するかどうかを決定する(314)。この決定は、仮想力及び受信者の状態に少なくとも部分的に基づいてもよい。プロセッサ110は、仮想メッセージオブジェクトの軌道が仮想ゲートウェイ212を通過するかどうかを決定するために力の速度及び角度を分析してもよい。軌道が仮想メッセージオブジェクトを仮想ゲートウェイ212へと運ばないとプロセッサ110が決定する場合、プロセッサ110は、仮想メッセージオブジェクトを送信しないことを決定してもよい。しかし、仮想メッセージオブジェクトの送信特性がこれを仮想ゲートウェイ212へと運ぶのであれば、プロセッサ110は、仮想メッセージオブジェクトを送信してもよい。さらに、プロセッサ110は、受信者の状態に少なくとも部分的に基づいて仮想メッセージオブジェクトを送信するかどうかを決定してもよい。例えば、受信者が移動装置を停止しているか又はネットワークから切断している場合、プロセッサ110は、仮想メッセージオブジェクトを送信しないことを決定してもよい。別の実施形態では、受信者の移動装置の状態が「隠匿」に設定されている場合、プロセッサ110は、仮想メッセージオブジェクトを送信しないことを決定してもよい。
【0054】
ステップ314で、仮想メッセージオブジェクトが送信されるべきでないとプロセッサ110が決定する場合、プロセッサ110は、送信失敗に関連付けられる触覚効果を決定してもよい(315)。例えば、プロセッサ110は、仮想メッセージオブジェクトが送信されるべきでないと決定した後、仮想メッセージオブジェクトが仮想ゲートウェイ212に跳ね返って仮想メッセージ環境210内に留まるのをシミュレートする触覚効果を決定してもよい。
【0055】
次に、プロセッサ110は、センサ信号に少なくとも部分的に基づいて仮想メッセージオブジェクトの送信特性を決定する(316)。一実施形態では、センサ信号は、急ぎの又は力強いジェスチャに関連付けられて、プロセッサ110は、対応する急ぎの又は力強い送信特性を決定する。別の実施形態では、センサ信号は、穏やかな又は遅いジェスチャに関連付けられてもよい。従って、プロセッサ110は、対応する穏やかな又は遅い送信特性を決定してもよい。
【0056】
幾つかの実施形態では、センサ信号は、仮想メッセージオブジェクトの送信角度に関連付けられてもよい。例えば、ユーザは、仮想ゲートウェイに向かって所定の角度で仮想メッセージオブジェクトを移動させてもよい。この場合、仮想メッセージオブジェクトは、仮想ゲートウェイを所定の角度で通過する。従って、プロセッサ110は、角度の送信特性を決定してもよい。代替的に、ユーザが仮想ゲートウェイから真っ直ぐに仮想メッセージオブジェクトを送信する場合、プロセッサ110は、直線の送信特性を決定してもよい。
【0057】
最後に、プロセッサ110は、仮想メッセージオブジェクト及び仮想メッセージオブジェクトの送信特性を送信する(320)。幾つかの実施形態では、仮想メッセージオブジェクトが仮想ゲートウェイ212を通過すると送信が行われるであろう。仮想メッセージオブジェクトが仮想ゲートウェイ212を介して送信されると、仮想メッセージオブジェクトは、ローカル仮想メッセージ環境210から消えてもよい。仮想メッセージオブジェクトがネットワーク上に送信されるのと実質的に同時に、消失が発生してもよい。仮想メッセージオブジェクトの受信者への送信が成功しない場合、仮想メッセージオブジェクトは、仮想メッセージ環境210内に留まるであろう。これは、ネットワーク接続の状態又は受信装置の状態に関する簡単な情報をユーザに提供する。
【0058】
1つの変形では、仮想メッセージオブジェクトが仮想メッセージ環境210を去ると、プロセッサ110は、メッセージの送信が成功したことをユーザに知らせる触覚信号をアクチュエータ118に送信する。例えば、プロセッサ110は、矢が壁にぶつかるのをシミュレートする触覚効果を決定してもよい。
【0059】
図4は、本発明の別の一実施形態による触覚メッセージを送信するための方法の流れ図である。
図4は、仮想メッセージオブジェクトが受信移動装置によって受信される実施形態を示す。
【0060】
方法400では、受信装置のプロセッサが、仮想メッセージオブジェクトに関連付けられる信号を受信する(402)。信号は、例えば、セルラネットワーク、イントラネット、又はインターネット等の外部ネットワークに通信可能に接続されるネットワークインターフェースから受信されてもよい。例えば、信号は、このネットワークに接続される別の移動装置によってネットワークを越えて送信されたものであってもよい。仮想メッセージオブジェクトに関連付けられる信号は、仮想メッセージオブジェクトの特性を定義するデータを含む。例えば、信号は、仮想メッセージオブジェクトのサイズ、形状、送信特性、データ型、及びコンテンツ等を定義するデータを含んでもよい。
【0061】
次に、受信装置のプロセッサは、仮想メッセージオブジェクトの送信特性に少なくとも部分的に基づいて触覚効果を決定する(406)。例えば、仮想メッセージオブジェクトが送信されたときに送信側移動装置が仮想ゲートウェイに向かって穏やかに傾けられる場合、送信特性は低速度を含んでもよい。次に、受信装置のプロセッサは、穏やかな振動を含む触覚効果を決定するためにこの送信特性を使用するであろう。穏やかな振動は、仮想メッセージオブジェクトが受信仮想メッセージ環境の境界に低速度でぶつかるのをシミュレートする。対照的に、高速の送信特性に基づく触覚効果は、仮想メッセージオブジェクトが高速で受信者の仮想メッセージ環境に到着するのをシミュレートするために、強い衝撃を含んでもよい。
【0062】
最後に、受信装置のプロセッサは、触覚効果を出力するように構成されるアクチュエータに触覚信号を送信する(408)。次に、アクチュエータは、この信号に少なくとも部分的に基づいて触覚効果を出力するであろう。
【0063】
(触覚メッセージを生成及び送信するための例示のシナリオ)
図5a及び5bは、本発明の一実施形態による触覚メッセージオブジェクトを生成する例示である。
図5aは、移動装置500を含む。ユーザは、移動装置500を生成モードにすることによって仮想メッセージオブジェクトを生成してもよい。次に、ユーザは、移動装置を既定のパターンで動かす。この動作は、移動装置の動作に関連付けられるセンサ信号をプロセッサ110に送信するセンサ114によって検出される。次に、プロセッサ110は、センサ信号に少なくとも部分的に基づいてパーソナルトークンを決定するであろう。例えば、ユーザは、ハートの形態のパーソナルトークンを定義することを希望してもよい。このパーソナルトークンを定義するために、ユーザは、移動装置をハート512の形状に動かすジェスチャを行ってもよい。このジェスチャは、例えば、上方向及び向こう側へ、それから下方向に所定の角度で移動装置を動かしてもよい。次に、ジェスチャは、開始したのと実質的に同じ位置に移動装置が来るまで、上方向及び向こう側へ、それから下側に所定の角度で移動装置を動かしてもよい。次に、センサ114は、ハート形ジェスチャに関連付けられる信号をプロセッサ110に送信するであろう。このジェスチャに基づいて、プロセッサ110は、ハート514の形態のパーソナルトークンを含む仮想メッセージオブジェクトを生成するであろう。他の実施形態では、ユーザは、他の形状の仮想メッセージオブジェクトを入力してもよい。
【0064】
幾つかの実施形態では、ユーザは、ユーザ定義の形状で仮想メッセージオブジェクトを作成してもよい。このような実施形態では、ディスプレイ116は、スプレー塗料缶を示してもよい。次に、ユーザは、スプレー塗料缶を押して、移動装置を所定のパターンで動かしてもよい。センサ114は、この動作を検出して、動作に対応するセンサ信号をプロセッサ110に送信してもよい。受信信号に基づいて、プロセッサ110は、検出された動作の形状に実質的に対応する仮想メッセージオブジェクトを生成するであろう。幾つかの実施形態では、ユーザは、実質的に文字に近似するパターンで移動装置を動かしてもよい。このような実施形態では、プロセッサ110は、文字に対応するテキストを生成してもよい。ユーザは、このテキストを仮想メッセージオブジェクトに追加してもよい。
【0065】
図6は、本発明の一実施形態による触覚メッセージを生成する例示である。
図6は、移動装置600を示す。移動装置600は、タッチスクリーンディスプレイ610に表示される仮想メッセージ環境612を含む。仮想メッセージ環境は、ハートの形状の仮想メッセージオブジェクト614を含む。仮想メッセージオブジェクト614は、パーソナルトークンを含む。パーソナルトークンは、送信者の移動装置示すのと同じ特性を受信者の移動装置に示す。
【0066】
仮想メッセージオブジェクトは、アニメーション及び触覚効果を含んでもよい。例えば、ハートの形態の仮想メッセージオブジェクトは、鼓動し又は動悸を打っているように見えるようにアニメーション化されてもよい。矢印618は、仮想メッセージオブジェクトに関連付けられる触覚効果を表す線を示す。さらに、仮想メッセージオブジェクトは、鼓動するハートを表す、鼓動し又は動悸を打つ触角効果を含んでもよい。
【0067】
矢印620は、仮想メッセージオブジェクトに接触する指を示す。ユーザが仮想メッセージオブジェクトと相互作用すると、タッチスクリーンディスプレイ610は、ユーザとの相互作用を検出して、ユーザとの相互作用に関連付けられる信号をプロセッサ110に送信する。受信信号に基づいて、プロセッサ110は、仮想メッセージオブジェクトの送信特性を計算してもよい。例えば、ユーザは、仮想ゲートウェイに向かって仮想メッセージオブジェクトをフリックし、それによって、移動装置は仮想メッセージオブジェクトを送信してもよい。別の実施形態では、移動装置は、仮想メッセージオブジェクトとユーザの相互作用を検出するためにマイクロホンを使用してもよい。例えば、マイクロホンは、ユーザが移動装置に息を吹き込んだのを検出してもよい。次に、マイクロホンは、ユーザがマイクロホンに息を吹き込むのに関連付けられる信号をプロセッサ110に送信してもよい。この信号に基づいて、プロセッサ110は、仮想メッセージオブジェクトの送信特性を決定してもよい。例えば、プロセッサ110は、送信者が受信者にキスを送るのに関連付けられる送信特性を決定してもよい。
【0068】
図7は、本発明の一実施形態による触覚メッセージを生成する例示である。メッセージを送信する前に、ユーザは、パーソナルトークンの追加の特性を定義してもよい。
図7は、ユーザがパーソナルトークン714をダブルクリックした後の移動装置700を示す。ユーザがパーソナルトークン714をダブルタップすると、仮想キーパッド712がタッチスクリーンディスプレイ710に現れる。次に、ユーザは、ショートメッセージをタイプして、パーソナルトークン714にメッセージを添付するために、提出に関連付けられるボタンをクリックする。例えば、矢印716は、ユーザが「I miss you!」というメッセージをパーソナルトークンに入力したことを示す。他の実施形態では、仮想キーパッド712は、旧式のタイプライタを含んでもよい。このような実施形態では、プロセッサ110は、タイプライタのキーの打撃に対応する音声及び触覚信号を送信してもよい。アクチュエータ118及びスピーカ120は、こうした信号を受信して、対応する触覚及び音声効果を出力してもよい。
【0069】
図8a及び8bは、本発明の一実施形態による触覚メッセージを削除する例示である。ユーザは、パーソナルトークンを送信せずに、代わりにそれを削除することを決定してもよい。
図8aは、タッチスクリーン810を備える移動装置800を示す。タッチスクリーン810は、ハートの形態のパーソナルトークン812を含む。ユーザは、パーソナルトークン812を削除することを決定している。従って、ユーザは、タッチスクリーンディスプレイ810上で指をXパターン814に動かす。タッチスクリーンディスプレイ810は、この相互作用を検出して、Xパターンに関連付けられる信号をプロセッサ110に送信する。この信号に少なくとも部分的に基づいて、プロセッサ110は、パーソナルトークン812が削除されるべきであることを決定する。従って、プロセッサ110は、ディスプレイ810からパーソナルトークンを除去する。
【0070】
図8bは、ユーザがパーソナルトークンを削除した直後のタッチスクリーンディスプレイ810を備える移動装置800を示す。プロセッサ110は、様々な方法でディスプレイ810からパーソナルトークンを除去してもよい。例えば、一実施形態では、プロセッサ110は、パーソナルトークンをタッチスクリーン810からゆっくりと消していくことによって除去してもよい。別の実施形態では、プロセッサ110は、パーソナルトークンを破裂させてタッチスクリーン810から迅速に消滅させることによって除去してもよい。幾つかの実施形態では、プロセッサ110は、パーソナルトークン812に関連付けられる触覚効果を計算するであろう。次に、プロセッサ110は、触覚効果に関連付けられる信号をアクチュエータ118に送信するであろう。次に、アクチュエータ118は、触覚効果を出力する。
【0071】
(触覚メッセージを生成及び送信するための例示の方法)
図9は、本発明の一実施形態による触覚メッセージを生成及び送信する工程を示す流れ図である。
【0072】
方法900は、ユーザとの相互作用に応じてプロセッサ110がセンサ信号を受信する(902)と開始する。ユーザとの相互作用は、ユーザが既定のパターンで移動装置102を動かすことであってもよい。既定のパターンは、例えば、移動装置102をハート形状のパターンに動かすことであってもよい。
【0073】
次に、センサ信号に少なくとも部分的に基づいて、ユーザがパーソナルトークンを示したことを決定する(904)。パーソナルトークンは、パーソナルメッセージを含む仮想メッセージオブジェクトであってもよい。仮想メッセージオブジェクトは、送信者の移動装置におけるのと同じ特性を受信者の移動装置に示す。一実施形態では、パーソナルトークンは、受信センサ信号に関連付けられる相互作用を視覚的に反映する形状を有する。例えば、センサ信号がハートの形状に実質的に対応する装置の動作に関連付けられる場合、パーソナルトークンは、ハートの形態を採用してもよい。
【0074】
次に、プロセッサ110は、タッチセンサ式インターフェースからジェスチャに関連付けられるセンサ信号を受信する(906)。一実施形態では、タッチセンサ式インターフェースは、タッチスクリーンディスプレイであってもよい。他の実施形態では、タッチセンサ式インターフェースは、トラックボール又は押しボタンであってもよい。幾つかの実施形態では、ジェスチャは、タッチスクリーンディスプレイに表示されるボタンのダブルタップを含んでもよい。
【0075】
次に、プロセッサ110は、ディスプレイ116にユーザインターフェースを表示させる(908)。一実施形態では、ユーザインターフェースは、例えば、テキスト入力用の仮想キーボードであってもよい。他の実施形態では、ユーザインターフェースは、パーソナルトークンに関連付けられる色彩又は触覚フィードバックを調節するための要素を提供してもよい。
【0076】
次に、プロセッサ110は、ユーザインターフェースを介して入力されたユーザ入力を受信する(910)。一実施形態では、ユーザは、仮想キーボードでテキストを入力する。例えば、ユーザは、パーソナルトークンに関連付けられたショートテキストメッセージをタイプしてもよい。他の実施形態では、ユーザ入力は、色彩、形状、又はパーソナルトークンに関連付けられた特定の触覚フィードバックを含んでもよい。
【0077】
次に、プロセッサ110は、ユーザ入力に少なくとも部分的に基づいてディスプレイ116を変化させる(912)。一実施形態では、プロセッサ110は、ユーザが入力したテキストを含むテキストボックスを示すようにディスプレイ116を変化させてもよい。他の実施形態では、プロセッサ110は、形状、色彩、又はパーソナルトークンの他の特性を変更することによってディスプレイ116を変化させてもよい。例えば、一実施形態では、ユーザは、ハートの形状のパーソナルトークンに関連付けられたテキストメッセージを入力する。プロセッサ110は、テキストメッセージをハートに関連付けると、ハートの鼓動を開始させる。
【0078】
次に、プロセッサ110は、パーソナルトークン及びユーザ入力に基づいて触覚信号を生成する(914)。一実施形態では、例えば、パーソナルトークンは、ハートの形態であってもよい。この実施形態では、触覚信号は、ハートの鼓動又は動悸に対応してもよい。他の実施形態では、触覚信号は、パーソナルトークンの別の相互作用に関連付けられてもよい。例えば、触覚信号は、振動又はクリック音等のユーザがメッセージに関連付けた特定の触覚効果に基づいてもよい。又は、触覚信号は、パーソナルトークンの色彩等の何らかの他のパラメータに基づいてもよい。
【0079】
次に、プロセッサ110は、ユーザがマイクロホンに息を吹き込むのに関連付けられるマイクロホンの入力を受信する(916)。例えば、一実施形態では、ユーザは、移動装置102に組み込まれたマイクロホンに息を吹き込んでもよい。別の実施形態では、ユーザは、装置の領域に、又は装置全体の方向に息を吹き込んでもよい。こうした例示の全てにおいて、ユーザの息吹は、マイクロホンによって検出されて、次に、マイクロホンは、ユーザの吹き込みに関連付けられる信号をプロセッサ110に送信する。
【0080】
これに応じて、プロセッサ110は、仮想ゲートウェイを介してパーソナルトークンを含むメッセージを送信する(918)。例えば、パーソナルトークンがハートである実施形態では、ユーザは、あたかもキスを送るかのようにマイクロホンに息を吹き込む。これに応じて、プロセッサ110は、目的の受信者にメッセージを送信する。別の実施形態では、プロセッサ110は、パーソナルトークンに仮想力を適用した後でトークンを送信する。このような実施形態では、仮想力は、仮想ゲートウェイを介して仮想メッセージオブジェクトを運んでいる。このような実施形態では、プロセッサ110は、ユーザがタッチスクリーンディスプレイをフリックするのに関連付けられるセンサ信号に少なくとも部分的に基づいて仮想力を決定したのであってもよい。
【0081】
図10は、本発明の一実施形態による触覚メッセージを生成及び送信する工程を示す流れ図である。工程1000は、プロセッサ110がパーソナルトークンを含むメッセージを受信する(1002)と開始する。
【0082】
次に、プロセッサ110は、メッセージの選択を示すユーザ入力を受信する(1004)。一実施形態では、タッチスクリーンディスプレイがユーザ入力を検出してもよいが、他の実施形態では、トラックボール122がユーザ入力を検出してもよい。幾つかの実施形態では、ユーザ入力は、メッセージのタップ又はダブルタップを含んでもよい。又は、他の実施形態では、ユーザ入力は、移動装置102を傾け又は操作することを含んでもよい。
【0083】
次に、プロセッサ110は、ユーザインターフェースをディスプレイ116に表示させる(1006)。幾つかの実施形態では、ユーザインターフェースは、テキスト入力用の仮想キーボードである。このような実施形態では、キーボードは、QWERTYキーボードとして現れてもよい。他の実施形態では、キーボードは、旧式のタイプライタとして現れてもよく、移動装置は、ユーザがテキストを入力するとタイプライタのキーの打撃音に対応する音声及び触覚効果を出力してもよい。幾つかの実施形態では、ユーザインターフェースは、ユーザがタッチスクリーンディスプレイを使用して書くことが出来るテキストパッドであってもよい。例えば、ユーザは、タッチスクリーンディスプレイに署名を書くために指を使ってもよい。また、このような実施形態では、ユーザは、署名に関連付けられる触覚効果を割り当ててもよい。例えば、ユーザは、書かれた署名を含む仮想署名及びコート上で跳ねるバスケットボールに近似する触覚効果を作成してもよい。また、触覚効果は、署名自体から導出されてもよい。すなわち、書くこと(打撃、湾曲線等)の属性は、実質的に類似の触覚効果パラメータ(強度、持続性、周期性等)に変換されてもよい。他の実施形態では、ユーザインターフェースは、パーソナルトークンの他の特性を修正するためのインターフェースであってもよい。例えば、インターフェースは、ユーザがパーソナルトークンに関連付けられる形状、色彩、又は触覚効果を修正することを可能にしてもよい。
【0084】
次に、プロセッサ110は、ユーザ入力を受信する(1008)。幾つかの実施形態では、タッチスクリーンディスプレイがユーザ入力を受信する。例えば、ユーザは、タッチスクリーンディスプレイ上にテキストを入力してもよい。他の実施形態では、ユーザ入力は、装置内の他のセンサによって受信されてもよい。例えば、ユーザは、移動装置を傾け又は操作することによって入力を入力してもよい。
【0085】
次に、プロセッサ110は、ユーザが移動装置を傾けたことを示すセンサ信号を受信する(1010)。幾つかの実施形態では、ジャイロスコープ、加速度計、GPS、又は動作を検出可能な他のセンサがプロセッサ110にセンサ信号を送信する。例えば、ジャイロスコープは、ユーザが移動装置を45度の角度に傾けたことを検出して、この傾きの量に関連付けられる信号をプロセッサ110に送信する。
【0086】
次に、プロセッサ110は、メッセージングゲートウェイを介してメッセージを送信する(1012)。幾つかの実施形態では、メッセージングゲートウェイは、ディスプレイの最上部に現れ、目的の受信者の表示を含むであろう。このような実施形態では、メッセージの仮想表示がメッセージングゲートウェイを通過するとメッセージが送信される。
【0087】
触覚メッセージを送信する幾つかの実施形態では、ユーザは、事前に書かれた形式のメッセージを受信者に送信することを希望してもよい。
図11a及び11bは、本発明の一実施形態による触覚メッセージを生成する例示である。
図11aは、移動装置1100を含む。ユーザは、移動装置1100を仮想メッセージオブジェクトを生成するモードにすることによって仮想メッセージオブジェクトを生成してもよい。次に、ユーザは、移動装置を既定のパターンで動かす。この動作は、移動装置の動作に関連付けられるセンサ信号をプロセッサ110に送信するセンサ114によって検出される。次に、プロセッサ110は、センサ信号に少なくとも部分的に基づいて仮想メッセージオブジェクトを決定するであろう。
【0088】
幾つかの実施形態では、プロセッサ110は、動作がビジネストークンを含む既定の仮想メッセージオブジェクトに関連付けられることを決定してもよい。ビジネストークンは、送信者の仮想メッセージ環境に示すのと同じ又は実質的に同じ特性を受信者の仮想メッセージ環境に示すビジネス関連の仮想メッセージオブジェクトである。例えば、既定のビジネストークンは、釘の形態を採用し、「You nailed it!」というテキスト及び/又は音声メッセージを含んでもよい。さらに、ビジネストークンは、釘の打ち込みに関連付けられる触覚効果を含んでもよい。ビジネストークンの受信者は、ビジネストークンが移動装置に到着すると、この触覚効果を感知するであろう。このような実施形態によって、触知可能な応答をメッセージに提供する能力を送信者に提供してもよい。
【0089】
ビジネストークンを送信するために、ユーザは、移動装置を既定のパターンで動かすジェスチャを行ってもよい。例えば、ユーザは、移動装置102を上下に動かすことで、ハンマを振ること1110をシミュレートしてもよい。センサ114は、ジェスチャを検出して、関連する信号をプロセッサ110に送信してもよい。次に、プロセッサ110は、ジェスチャが仮想釘のビジネストークン用の既定のパターンに一致するかどうかを決定する。ジェスチャに基づいて、プロセッサ110は、
図11bに示されるように、ディスプレイ1120上にビジネストークン1130を生成するであろう。幾つかの実施形態では、プロセッサ110は、仮想釘に関連付けられる触覚効果を決定してもよい。次に、プロセッサ110は、触覚効果を出力するアクチュエータ118に触覚信号を出力するであろう。幾つかの実施形態では、プロセッサ110は、ビジネストークンを送信するために指示的ユーザ相互作用を待つ。他の実施形態では、プロセッサ110は、ビジネストークンを生成して、これを自動的に送信する。
【0090】
図12a及び12bは、本発明の一実施形態による触覚メッセージを送信する例示である。
図12a及び12bは、仮想釘の形態のビジネストークンをちょうど受信したところの移動装置1200を含む。装置1200は、直近に受信したビジネストークン1220を含むディスプレイ1210を含む。幾つかの実施形態では、ビジネストークンの受信に応じて、移動装置1200は、ビジネストークンに関連付けられる触覚効果を出力してもよい。このような実施形態では、触覚効果は、釘の打撃に近似してもよい。他の実施形態では、移動装置は、別の触覚効果を出力してもよい。さらに別の実施形態では、移動装置は、触覚効果を出力しなくてもよい。
【0091】
図12bでは、移動装置1200は、タッチスクリーンディスプレイ1210を備える。タッチスクリーンディスプレイは、ビジネストークン1220を含む。ユーザがビジネストークン1220と相互作用すると、タッチスクリーンは、ユーザとの相互作用に関連付けられる信号をプロセッサ110に送信する。この信号に少なくとも部分的に基づいて、プロセッサ110は、ビジネストークンに関連付けられたメッセージをユーザに表示する。
図12bに示される実施形態では、仮想釘のビジネストークンに関連付けられるテキストは、「You nailed it!」1230である。他の実施形態では、ユーザは、ビジネストークンと関連付けるための異なるテキストを定義してもよい。
【0092】
図13は、本発明の一実施形態による触覚メッセージを生成及び送信する工程の流れ図である。
図13は、プロセッサ110が、移動装置の少なくとも1つのセンサ114から移動装置の動作に関連付けられる少なくとも1つのセンサ信号を受信する(1302)と開始する工程1300を示す。幾つかの実施形態では、センサ114は、加速度計、GPS、又は動作を検出可能な他のセンサを含んでもよい。動作は、センサ114が検出可能な任意のジェスチャを含んでもよい。例えば、幾つかの実施形態では、動作は、ハートの形状に近似する動作を含む。他の実施形態では、動作は、打撃のジェスチャに近似する動作を含む。さらに他の実施形態では、動作は、縄を投げることに近似してもよい。
【0093】
次に、プロセッサ110は、少なくとも1つのセンサ信号に少なくとも部分的に基づいてユーザインターフェースに表示されるトークンを決定する(1304)。トークンは、移動装置の動作に関連する形状を採用する。幾つかの実施形態では、トークンは、釘又はハートの形状を採用してもよい。他の実施形態では、トークンは、例えば、風船、泡、縄、又は投げ矢等の別の形状である。
【0094】
次に、プロセッサ110は、トークンを表示させる(1306)。トークンは、移動装置のディスプレイ116に表示される。さらに、幾つかの実施形態では、ディスプレイ116は、グラフィカルユーザインターフェースを含んでもよい。このような実施形態では、ディスプレイ116は、トークンをグラフィカルユーザインターフェースに示してもよい。また、さらなる実施形態では、1つ以上の追加のトークンがグラフィカルユーザインターフェース内のトークンと共に現れてもよい。
【0095】
次に、センサ114は、トークンとユーザの相互作用を検出する(1308)。幾つかの実施形態では、センサ114は、タッチスクリーンディスプレイであってもよい。他の実施形態では、センサ114は、トラックボール122であってもよい。さらに他の実施形態では、センサ114は、例えば、加速度計、ジャイロスコープ、又はGPS等の運動センサであってもよい。幾つかの実施形態では、ユーザとの相互作用は、トークンの表面におけるシングルタップ又はダブルタップを含む。他の実施形態では、ユーザとの相互作用は、移動装置102を傾け又は揺動させることを含んでもよい。このような実施形態では、プロセッサ110は、検出された相互作用に応じて仮想メッセージオブジェクトに仮想力を適用してもよい。さらに他の実施形態では、センサ114は、マイクロホンを含んでもよい。このような実施形態では、ユーザとの相互作用は、マイクロホンに息を吹き込むことを含んでもよい。このような実施形態では、プロセッサ110は、トークンに力を適用して、ユーザがトークンに息を吹き込む効果をシミュレートしてもよい。例えば、一実施形態では、トークンは、泡の形態であってもよい。ユーザがマイクロホンに息を吹き込むと、プロセッサ110は、ユーザが泡を受信者に吹きかけるのをシミュレートする泡に作用する力を決定してもよい。
【0096】
最後に、プロセッサ110は、トークンに関連付けられる信号を受信者に送信する(1310)。幾つかの実施形態では、プロセッサ110は、ネットワークインターフェース112を介して信号を送信してもよい。幾つかの実施形態では、移動装置は、メッセージングゲートウェイを備えるグラフィカルユーザインターフェースを含んでもよい。幾つかの実施形態では、メッセージングゲートウェイは、受信者を識別する情報を含んでもよい。幾つかの実施形態では、プロセッサ110は、トークンに関連付けられる信号を送信した後、ディスプレイ116からトークンを除去する。
【0097】
(リアルタイムリンクを使用する触覚メッセージの送信)
移動装置102を使用するとき、ユーザは、リアルタイムで別のユーザと相互作用することを希望してもよい。本発明の一実施形態は、ユーザがリアルタイムリンクを介して触覚メッセージを送信する能力を提供する。例えば、一実施形態では、第1のユーザが、移動装置102のタッチスクリーンと相互作用することが出来る。相互作用によって、タッチスクリーン上のオブジェクトが修正される。例えば、タッチスクリーンは空白であってもよく、ユーザがスクリーンと相互作用すると、プロセッサ110は、タッチスクリーン上にユーザの動作を追跡する線を生成する。このような実施形態では、線は、ユーザとタッチスクリーンとの間の接触点に実質的に追従してもよい。
【0098】
このような実施形態では、第1のユーザのタッチスクリーンへの変化は、第2のユーザの移動装置のタッチスクリーンに実質的に同時に複製される。第2のユーザは、第2のユーザの装置のタッチスクリーン上で同様に指をドラッグすることが出来る。続いて、第2のユーザの相互作用が、第1のユーザのタッチスクリーン及び第2のユーザのタッチスクリーンの双方に提示される第2の線によって追跡される。
【0099】
このような実施形態では、2つの線が接触し又は重なると、第1及び第2の移動装置のプロセッサによって接触又は衝突が検出される。これに応じて、双方の装置が相互作用を示す触覚効果を出力する。このような実施形態では、双方のユーザが、触覚メッセージングを介してリアルタイムで互いに接触することが出来る。
【0100】
別の実施形態では、ユーザは、送信側装置の画面に表示されるメッセージ又は他のオブジェクトを修正してもよく、実質的に同時に、メッセージ又はオブジェクトが受信者の装置で修正される。メッセージ又はオブジェクトへの変更は、テキストの更新以上のものであり、オブジェクトの仮想特性、オブジェクトに関連付けられる触覚効果、又はその他への変更を含んでもよい。このようにして、ユーザは、移動装置を使用してリアルタイムの触覚メッセージを送信することが出来る。
【0101】
例えば、幾つかの実施形態では、2つのリンクした移動装置のそれぞれがタッチスクリーンディスプレイを備える。このような実施形態では、各装置のユーザは、それぞれの移動装置で画像を描き、その出力が実質的にリアルタイムで受信者の装置に表示される。一実施形態では、送信者及び受信者の指がそれぞれのタッチスクリーンディスプレイにおける同じ関連の場所を横切った場合、移動装置は、衝突又は接触に関連付けられる音声及び触覚効果を出力するであろう。
【0102】
別の実施形態では、ユーザは、双方のユーザの移動装置で同時に表示される画像と相互作用してもよい。このような実施形態では、ユーザは画像を同時に修正することが出来る。修正は、双方の移動装置で実質的に同時に現れるであろう。例えば、一方のユーザは、双方の移動装置に表示された画像に特徴を描くためにタッチスクリーンを使用することが出来る。このような実施形態では、例えば、ユーザは、画像を切り取ることが出来て、そのとき他方のユーザは切り取りが行われるのを観察する。さらなる実施形態では、ユーザは、他のユーザが観察しているときに、画像に滑稽な口髭を描くことが出来る。この実施形態は、編集用に、又は単に双方のユーザの娯楽のために使用され得る。さらに、このような実施形態は、電話呼又は他の音声リンクを介して双方のユーザが接続されているときに使用されてもよい。
【0103】
別の実施形態では、移動装置は、ゲームをプレイするために別の移動装置との直接の触覚リンクを生成する。例えば、ユーザは、仮想テニスのゲームをプレイすることが出来る。このようなゲームでは、ユーザは、タッチスクリーンを介して受信者に対してテニスボールをフリックすることが出来る。次に、受信者は、テニスボールをフリックして送信者に戻すことが出来る。さらに、このような実施形態では、テニスボールは、ユーザがボールを叩く力を表す触覚効果を含んでもよい。また、このような実施形態では、ユーザは、移動装置を通じて利用可能な電話又は他の音声リンクを介して会話を行うことが出来る。ゲームは、会話中のぎこちない間を埋めて、ユーザ間の共有空間の感覚を提供するために使用され得る。
【0104】
別の実施形態では、通話又は会話中に、一方のユーザが受信者に仮想メッセージを送信してもよい。受信者は、こうしたオブジェクトを修正して、送り返してもよい。このような実施形態は、周囲の感情を会話に追加し、沈黙を埋める役割を果たし、又は会話の雰囲気を作ってもよい。さらに、こうしたオブジェクトは、別個の文書を含む仮想メッセージを作成するためにユーザが協力し合うことを可能にする役割を果たしてもよい。例えば、2人のユーザが、テキスト文書を含む仮想メッセージオブジェクトを送信してもよい。各ユーザは、文書を編集して、検証のために他方のユーザに草稿を送信してもよい。
【0105】
一実施形態では、ユーザは、シャンパンの祝杯に関連付けられる触覚ジェスチャを受信者に送信することを希望してもよい。ユーザは、移動装置を用いて注ぐジェスチャを行ってもよい。移動装置のセンサ114が、注ぐジェスチャを検出してもよい。センサ114は、移動装置の傾きに関連付けられる信号をプロセッサ110に送信し、次に、プロセッサ110は、ユーザがシャンパンの祝杯を送信しようとしていることを決定してもよい。従って、プロセッサ110は、シャンパンのボトルの画像をディスプレイに出力させる信号をディスプレイに送信する。さらに、プロセッサ110は、シャンパンを注ぐことに関連付けられる音声信号をスピーカに出力してもよい。さらに、プロセッサ110は、シャンパンを注ぐことに関連付けられる触覚信号をアクチュエータに出力してもよい。次に、アクチュエータは、シャンパンを注ぐことに関連付けられる触覚信号を出力してもよい。
【0106】
図14は、2つの移動装置1400及び1450を示す。移動装置1400は送信側移動装置であり、移動装置1450は受信側移動装置である。各移動装置1400及び1450は、シャンパン1420のグラスの形態の仮想メッセージオブジェクトを含むディスプレイ1410を備える。ユーザが移動装置を傾けると、例えば、加速度計、ジャイロスコープ、又はGPS等の運動センサ114が、ユーザが移動装置を傾けたことを決定して、傾きに関連付けられる信号をプロセッサ110に送信する。次に、プロセッサ110は、仮想シャンパン1420に適用される重力を表す仮想力を計算する。重力は、装置1400及び1450の双方に示されるグラス内でシャンパンを変位させる。幾つかの実施形態では、移動装置が変位すると、プロセッサ110は、変位するシャンパンに関連付けられる触覚効果を決定する。次に、プロセッサ110は、触覚効果を出力するアクチュエータ118に決定された触覚効果に関連付けられる信号を送信する。
【0107】
センサ114からの信号を使用して、プロセッサ110は、互いに対する移動装置1400及び1450のそれぞれの場所を決定する。プロセッサ110は、信号を使用して、双方のユーザが実質的に同時にグラスを持ち上げたかを決定する。双方の装置1400及び1450が同時に持ち上げられる場合、プロセッサ110は、祝杯が行われていることを決定して、2つのグラスが衝突したことにより生ずる音に関連付けられる音声及び触覚効果を決定するであろう。次に、プロセッサ110は、音声及び触覚効果に関連付けられる信号をアクチュエータ118及びスピーカ120に送信する。次に、アクチュエータ118及びスピーカ120は、決定された触覚効果を出力してもよい。幾つかの実施形態では、この効果は、あたかも2つのクリスタルグラスが互いに接触したかのような穏やかな音であってもよい。他の実施形態では、触覚効果は、2つの重いビールジョッキが互いに叩きつけられることに関連付けられる鈍い衝撃音であってもよい。
【0108】
図15は、本発明の一実施形態による触覚メッセージを生成及び送信する工程を示す流れ図である。工程1500は、センサ114が注ぐジェスチャを示すユーザ入力を検出する(1502)と開始する。幾つかの実施形態では、センサ114は、加速度計、ジャイロスコープ、GPS、又は動作を感知可能な他のセンサを含んでもよい。幾つかの実施形態では、注ぐジェスチャを示すユーザジェスチャは、既定の角度に移動装置を傾けることを含んでもよい。
【0109】
次に、プロセッサ110は、シャンパンのボトルをディスプレイ116に表示させる信号をディスプレイに送信する(1504)。幾つかの実施形態では、シャンパンのボトルではなく、ビール又は別の飲料のボトルが現れてもよい。他の実施形態では、飲料を含むグラスがボトルの代わりに現れてもよい。
【0110】
次に、アクチュエータ及びスピーカは、ボトルの開栓に関連付けられる効果を出力する(1506)。幾つかの実施形態では、音声及び触覚効果は、コルクがはじけることに関連付けられてもよい。他の実施形態では、効果は、飲料を注ぐことに関連付けられてもよい。
【0111】
次に、センサ114は、注ぐことが完了したというユーザ入力を受信する(1508)。幾つかの実施形態では、センサ114は、加速度計、ジャイロスコープ、GPS、又は動作を感知可能な他のセンサであってもよい。他の実施形態では、センサ114は、タッチスクリーン又はトラックボール122であってもよい。幾つかの実施形態では、ユーザ入力は、移動装置の傾きを含んでもよい。他の実施形態では、ユーザ入力は、タッチスクリーンディスプレイ上のジェスチャ又はトラックボール122で行われるジェスチャを含んでもよい。
【0112】
次に、プロセッサ110は、シャンパンのグラスをディスプレイに表示させる信号をディスプレイに送信する(1510)。幾つかの実施形態では、信号は、ビールのジョッキ又は他のグラスをディスプレイに表示させてもよい。他の実施形態では、信号は、何らかの他の種類の飲料に関連付けられるボトルをディスプレイに表示させてもよい。
【0113】
次に、センサ114は、グラスの接触を示す入力を受信する(1512)。幾つかの実施形態では、センサ114は、加速度計、ジャイロスコープ、GPS、又は動作を感知可能な他のセンサであってもよい。他の実施形態では、センサ114は、タッチスクリーン又はトラックボール122であってもよい。幾つかの実施形態では、入力は、あたかも祝杯のシャンパングラスであるかのように、移動装置を持ち上げることを含んでもよい。他の実施形態では、入力は、タッチスクリーンディスプレイで行われるジェスチャであってもよい。
【0114】
次に、プロセッサ110は、祝杯に関連付けられる信号をディスプレイ、アクチュエータ及びスピーカに送信する(1514)。幾つかの実施形態では、信号は、グラスの接触に関連付けられる視覚信号、及び2つのクリスタルグラスの軽い接触音に関連付けられる音声及び触覚信号を含んでもよい。他の実施形態では、効果は、異なる種類のガラス製品に関連付けられてもよい。例えば、信号は、2つの重いビールジョッキに関連付けられる視覚信号、及び互いに衝突する重いグラスに関連付けられる音声及び触覚信号を含んでもよい。
【0115】
一実施形態では、ユーザは、双方の装置を仮想縄で接続することによって2つの移動装置の間の直接的な仮想接続を確立してもよい。本物の縄の挙動を模倣する装置は、緩められて引っ張りジェスチャが行われるときに縄によって放たれるものを思い出させる振動を生じさせてもよい。
【0116】
図16a、16b、及び16cは、本発明の一実施形態による触覚メッセージを送信する例示である。
図16aでは、移動装置1600は、移動装置1602と通信する。各移動装置は、ディスプレイ1604を備える。最初に、移動装置1602は、引っ張られた縄1606の一端を含む。縄は、一端において引き綱又は引き鎖に取り付けられ、他端においては取り付けられていない。最初に、移動装置1600は、空の留め具を含む。接続を開始するために、移動装置1600のユーザは、別のユーザに向かって縄の一端を投げてもよい。例えば、一実施形態では、ユーザは、受信移動装置への仮想ゲートウェイを開いて、仮想ゲートウェイの方向に縄の端をフリックしてもよい。別の実施形態では、ユーザは、仮想ゲートウェイの方向に移動装置全体を急に動かすことによって縄を投げてもよい。仮想引っ張り縄は、2つの装置間の仮想空間全体に広がって、最終的に移動装置1600に到着してもよい。幾つかのシナリオでは、仮想縄は、装置間の仮想空間の長さで広がることが出来なくてもよい。例えば、移動装置1600は、仮想縄が到達するには遠過ぎてもよい(例えば、市外局番、州、又は国が異なる等)。代替的に、移動装置のユーザは、所定の仮想オブジェクトが自動的にブロックされるように状態を更新してもよい。
【0117】
縄が移動装置1600のディスプレイに現れると、移動装置は、移動装置の仮想環境に到着する縄を模倣する触覚及び/又は音響効果を生成してもよい。このような非視覚手掛かりによって、移動装置1600は、ユーザが移動装置を見ることを必要とすることなく、仮想引っ張り縄が自身の方向に投げられたことをユーザに知らせてもよい。
【0118】
移動装置1600のユーザは、仮想引っ張り縄を捕捉してもよい。幾つかの実施形態では、ユーザは、通信装置の迅速な回転等の捕捉ジェスチャで移動装置を動かすことによって、又は特定のボタンを押すことによって引っ張り縄を捕捉してもよい。幾つかの実施形態では、移動装置1600のユーザは、注意を払っていない場合、縄を補足せず、接続を確立しないであろう。縄が受信装置によって捕捉されない場合、送信側ユーザは、自身の移動装置に戻すために仮想縄を引っ張ることで、接続が確立しなかったことを示してもよい。しかし、受信ユーザは、縄の到着を観察し、感知し及び/又は聞いたときに、縄を捕捉して自身の装置に固定してもよい。
【0119】
図16bでは、移動装置1600のユーザは、移動装置1602から送信された仮想引っ張り縄1606を捕捉している。そして、ユーザは、仮想引っ張り縄1606を仮想留め具1608に固定している。これで、移動装置1600及び1602のユーザは、共有仮想物理空間に広がる同じ仮想物理オブジェクトを共有する。
【0120】
図16cでは、移動装置1602のユーザは、仮想引っ張り縄を引っ張り又は強く引っ張ることで、留め具1612を引っ張るトート縄(taught rope)1610の結果を模倣する触覚効果を移動装置1600に生成させてもよい。これに応じて、移動装置1600のユーザは、縄を引っ張ることで、留め具1614を引っ張るトート縄1610に対応する触覚効果を移動装置に生成させてもよい。
【0121】
本発明の他の実施形態では、ユーザは、メッセージ以外の形式で情報を送信するためにリアルタイムリンクを形成してもよい。
図17は、本発明の一実施形態による触覚メッセージを送信する例示である。
図17に示されるように、移動装置1700は、ディスプレイ1702を備える。ディスプレイ1702は、触覚連絡先リスト1704を含む。各連絡先は、名前及び触覚ウィンドウに示される触覚状態を含む。一実施形態では、移動装置1700のユーザが連絡先の触覚状態ウィンドウに接触すると、ユーザは、触覚連絡先リストにリストされた人物の状態に対応する触覚効果を感知してもよい。さらなる実施形態では、移動装置は、触覚連絡先リストにリストされた人物の移動装置に信号を送信してもよい。信号は、触覚連絡先リスト内の人物に何者かがその状態に興味を持っていることを知らせる触覚信号を含んでもよい。例えば、第1のユーザが第2のユーザの連絡先登録の上で指をスワイプすると同時に、第1のユーザは、第2のユーザの状態を感知する。同時に、第1のユーザによる振るジェスチャは、第2のユーザの装置に送信される。それにより、指をスワイプする期間及び強度に知覚的に等しい又は類似の触角効果が生成されてもよい。別の実施形態では、第1のユーザは、第2のユーザの連絡先リスト登録の上を繰り返しタップすることで、ドア又は窓をノックすることを模倣してもよい。それにより、通信セッションを開始する招待の役割をする触覚、音声、及び視覚的ノック効果が送信される。
【0122】
別の実施形態では、ユーザが移動装置1700を動かすと、移動装置のプロセッサ110は、センサ114から受信されるセンサ信号に少なくとも部分的に基づいて動作プロファイルを決定してもよい。幾つかの実施形態では、センサ114は、GPS、加速度計、又は動作若しくは場所を検出可能な他のセンサを含んでもよい。次に、プロセッサ110は、ユーザを触覚連絡先リストにリストする他の移動装置にユーザの動作プロファイルを送信してもよい。各通信装置にある連絡先リストは、リアルタイムでユーザの動作プロファイルで更新されてもよい。その結果、ユーザは、自身の触覚状態ウィンドウを見ることで連絡先リスト上の人物の現在の行動を決定することが可能であってもよい。
【0123】
図1700では、第1の連絡先である「David」の触角状態が、特定のパターンのないドットの入り乱れたディスプレイ1706として示される。これは、Davidの通信装置が動作中であることを示し、恐らくはDavidが歩行中であることを示してもよい。第2の連絡先である「Remy」の触覚状態は、安定した水平線1708として示される。これは、Remyが静かに着座しているか、代替的に移動装置がテーブルに平らに置かれていることを示してもよい。第3の連絡先である「Chris」の触覚状態は、比較的平坦な垂直線1710として示される。これは、Chrisが移動装置を直立位置に保持していることを示してもよい。幾つかの実施形態では、各連絡先の触覚状態は、各ユーザに幾らかのプライバシーを提供すると同時に他のユーザにその状態に関する情報を提供するように意図的に不明瞭であってもよい。
【0124】
図17は単一のページに複数の登録を有する連絡先リストを示すが、他の変形が可能である。例えば、各連絡先は、それ自身の専用ページ、画面、又は仮想オブジェクトを有してもよい。個人連絡先を拡大することは、その連絡先の状態のより正確な表示を提供してもよい。触覚連絡先リスト1704はボールで満たされた箱として各連絡先の状態を示すが、状態を表示するために他の方法が利用されてもよい。例えば、触覚受信箱は、速い動作を表すハート、動作がないことを表す睡眠アイコン、又は各連絡先に関する状態情報を提供する他の図形等のアイコンを使用してもよい。
【0125】
図18は、本発明の一実施形態による触覚メッセージを送信する工程を示す流れ図である。工程1800は、移動装置の動作に関連付けられる第1のセンサ信号を第1のセンサ114からプロセッサ110が受信する(1802)と開始する。幾つかの実施形態では、センサ114は、加速度計、ジャイロスコープ、GPS、又は動作を感知可能な他のセンサであってもよい。幾つかの実施形態では、ユーザジェスチャは、移動装置を既定のパターンで動かすことを含んでもよい。例えば、一実施形態では、ユーザジェスチャは、シャンパンのボトルのように移動装置を傾けることを含んでもよい。別の例示では、ユーザジェスチャは、ハートの形状に実質的に近似する動作を含んでもよい。別の実施形態では、ユーザジェスチャは、ハンマのように移動装置を叩くことを含んでもよい。さらに別の実施形態では、ユーザジェスチャは、縄を投げ又は飛ばすことを含んでもよい。
【0126】
次に、プロセッサ110は、第1の移動装置のタッチセンサ式インターフェースから、ユーザとの相互作用に関連付けられる第2のセンサ信号を受信する(1804)。幾つかの実施形態では、ディスプレイ116は、タッチスクリーンディスプレイ等のタッチセンサ式インターフェースを含んでもよい。他の実施形態では、タッチセンサ式インターフェースは、トラックボール122を含んでもよい。幾つかの実施形態では、ユーザとの相互作用は、ディスプレイ116に示されるグラフィカルユーザインターフェースとユーザとの相互作用を含んでもよい。このような実施形態では、ユーザとの相互作用は、グラフィカルユーザインターフェースの一部をダブルタップすることを含んでもよい。別の実施形態では、ユーザとの相互作用は、仮想メッセージオブジェクトに添付されるテキストを入力することを含んでもよい。他の実施形態では、ユーザとの相互作用は、タッチスクリーンディスプレイの表面で指ペイントを行うことを含んでもよい。
【0127】
次に、プロセッサ110は、第2のセンサ信号に少なくとも部分的に基づいて第1の移動装置のディスプレイ116の変化を決定する(1806)。幾つかの実施形態では、変化は、タッチスクリーンディスプレイの表面を移動するユーザの指に追従する跡を表示することを含んでもよい。他の実施形態では、ディスプレイの変化は、ディスプレイ上の仮想オブジェクトを修正することを含んでもよい。例えば、ディスプレイは画像を含んでもよく、ユーザとの相互作用は画像への修正を含んでもよい。他の実施形態では、ディスプレイの変化は、例えば、泡、ハート、釘、縄、又はシャンパンのボトル等の新しい仮想オブジェクトを表示することを含んでもよい。
【0128】
次に、プロセッサ110は、ユーザとの相互作用及び第1の移動装置の動作に関連付けられるデータを含む第1のデータ信号を第2の移動装置に送信する(1808)。幾つかの実施形態では、プロセッサ110は、ネットワークインターフェース112を介してデータ信号を送信してもよい。幾つかの実施形態では、プロセッサ110は、タッチセンサ式インターフェースを介して実質的に同時に第1のデータ信号を受信側ユーザ入力に送信する。他の実施形態では、プロセッサ110は、送信するべきであることを示すユーザとの相互作用を受信するまでデータ信号を送信しない。
【0129】
次に、プロセッサ110は、第2の移動装置から第2のデータ信号を受信する(1810)。幾つかの実施形態では、プロセッサ110は、ネットワークインターフェース112からデータ信号を受信してもよい。幾つかの実施形態では、プロセッサ110は、第2の移動装置にデータ信号を送信して、実質的に同時に、第2の移動装置から信号を受信する。幾つかの実施形態では、第2のデータ信号は、第2の移動装置でのタッチセンサ式インターフェースとユーザとの相互作用に対応するデータを含む。
【0130】
次に、プロセッサ110は、第2のデータ信号に少なくとも部分的に基づいて第1の移動装置のディスプレイの第2の変化を決定する(1812)。このような実施形態では、プロセッサ110によって決定される第1の移動装置のディスプレイへの変化は、第2の移動装置のディスプレイの変化に対応してもよい。例えば、第2の移動装置のユーザは、絵を描くために第2の移動装置の上で指を動かしてもよい。次に、第2の移動装置は、対応する第2の信号を第1の移動装置に送信してもよい。次に、第1の移動装置のプロセッサ110は、第2の移動装置のディスプレイに実質的に対応する方法でディスプレイを修正してもよい。別の実施形態では、第2の移動装置のユーザは、タッチスクリーンディスプレイ上の絵を修正してもよい。このような実施形態では、第2のユーザの修正は、第1の移動装置のディスプレイに実質的に同時に現れるであろう。
【0131】
次に、プロセッサ110は、第2のデータ信号に少なくとも部分的に基づいて触覚効果を決定する(1814)。例えば、一実施形態では、第2のデータ信号は、第2の移動装置の表面をタップする第2の移動装置のユーザに対応する情報を含んでもよい。このような実施形態では、プロセッサ110は、タップに対応する触覚効果を決定してもよい。別の例示では、第1の移動装置とユーザとの相互作用は、第2の移動装置と第2のユーザとの相互作用と実質的に同じ位置を横切ってもよい。このような実施形態では、決定された触覚効果は、第1及び第2の移動装置のユーザ間の衝突に実質的に対応してもよい。別の実施形態では、第2のデータ信号は、第2の移動装置で仮想ボトルを開けるのに対応してもよい。このような実施形態では、決定された触覚効果は、ボトル上でコルクがはじけるのに対応してもよい。
【0132】
最後に、プロセッサ110は、触覚効果を出力するように構成されるアクチュエータ118に、触覚効果に関連付けられる触覚信号を送信する。幾つかの実施形態では、アクチュエータ118は、例えば、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、リニア共振アクチュエータ、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ(ERM)又はリニア共振アクチュエータ(LRA)であってもよい。
【0133】
(触覚メッセージを送信するためのコンピュータ可読媒体)
本発明の実施形態は、デジタル電子回路で、又はコンピュータハードウェア、ファームウェア、ソフトウェア、又はこうした技術の組み合わせで実装され得る。一実施形態では、コンピュータは、1つ又は複数のプロセッサを備えてもよい。プロセッサは、例えば、プロセッサに結合されるRAM(random access memory)等のコンピュータ可読媒体を備える。プロセッサは、例えば、メッセージング用の1つ以上のコンピュータプログラムを実行するように、メモリに記憶されるコンピュータ実行可能プログラム命令を実行する。このようなプロセッサは、マイクロプロセッサ、DSP(digital signal processor)、ASIC(application−specific integrated circuit)、FPGA(field programmable gate array)、及び状態機械を備えてもよい。このようなプロセッサは、PLC、PIC(programmable interrupt controller)、PLD(programmable logic device)、PROM(programmable read−only memory)、EPROM又はEEPROM(electronically programmable read−only memory)、又は他の類似の装置等のプログラム可能電子装置をさらに備えてもよい。
【0134】
このようなプロセッサは、プロセッサによって実行されるときに、プロセッサによって実行され又は容易にされる本明細書に記載のステップをプロセッサに実行させ得る命令を記憶する媒体、例えばコンピュータ可読媒体を備え又はそれと通信してもよい。コンピュータ可読媒体の実施形態は、限定されないが、電子、光学、磁気、又は他の記憶装置若しくはコンピュータ可読命令をウェブサーバ内のプロセッサ等のプロセッサに提供可能な伝送装置を備えてもよい。媒体の他の例は、限定されないが、フロッピー(登録商標)ディスク、CD−ROM、磁気ディスク、メモリチップ、ROM、RAM、ASIC、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読取り可能な任意の他の媒体を含む。また、様々な他の装置は、例えば、ルータ、プライベート若しくはパブリックネットワーク、又は他の伝送装置等のコンピュータ可読媒体を含んでもよい。記載されたプロセッサ及び処理は、1つ以上の構造内にあってもよく、1つ以上の構造にわたって分散されてもよい。プロセッサは、本明細書に記載の1つ以上の方法(又は方法の一部)を実行するためのコードを備えてもよい。
【0135】
(総説)
好ましい実施形態を含む本発明の実施形態の上記の説明は、例示及び説明目的で提示されているに過ぎず、網羅的であること又は本発明を記載された厳密な形態に限定することは意図されていない。本発明の精神及び範囲から逸脱することなく、それらの多くの変更及び適合が当業者には明らかであろう。