特開 2018-88260 受動及び能動モード間で触覚フィードバック機能を転換するシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2018-88260(P2018-88260A)

(43)【公開日】2018年6月7日

(54)【発明の名称】受動及び能動モード間で触覚フィードバック機能を転換するシステム及び方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20180511BHJP

   G06F 3/0484 20130101ALI20180511BHJP

   G06F 3/0488 20130101ALI20180511BHJP

【ＦＩ】

   G06F3/01 560

   G06F3/0484

   G06F3/0488

【審査請求】有

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

【全頁数】23

(21)【出願番号】特願2018-108(P2018-108)

(22)【出願日】2018年1月4日

(62)【分割の表示】特願2016-154485(P2016-154485)の分割

【原出願日】2009年7月14日

(31)【優先権主張番号】61/080,978

(32)【優先日】2008年7月15日

(33)【優先権主張国】US

(31)【優先権主張番号】61/080,981

(32)【優先日】2008年7月15日

(33)【優先権主張国】US

(31)【優先権主張番号】61/080,985

(32)【優先日】2008年7月15日

(33)【優先権主張国】US

(31)【優先権主張番号】61/080,987

(32)【優先日】2008年7月15日

(33)【優先権主張国】US

(31)【優先権主張番号】61/148,312

(32)【優先日】2009年1月29日

(33)【優先権主張国】US

(31)【優先権主張番号】61/181,280

(32)【優先日】2009年5月26日

(33)【優先権主張国】US

(71)【出願人】

【識別番号】500390995

【氏名又は名称】イマージョン コーポレーション

【氏名又は名称原語表記】ＩＭＭＥＲＳＩＯＮ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100111235

【弁理士】

【氏名又は名称】原 裕子

(72)【発明者】

【氏名】バーンボーム、 デイビッド

(72)【発明者】

【氏名】ウーリッヒ、 クリストファー ジェイ．

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA08

5E555AA63

5E555AA76

5E555AA80

5E555BA02

5E555BA06

5E555BA45

5E555BA74

5E555BA76

5E555BB06

5E555BC04

5E555BC08

5E555BC09

5E555CA10

5E555CA13

5E555CA44

5E555CB12

5E555CB21

5E555CB31

5E555DA23

5E555DA24

5E555DD06

5E555EA07

5E555EA14

5E555FA00

(57)【要約】      （修正有）

【課題】筐体の運動を基礎にした「能動モード」又はテクスチャを基礎にした「受動モード」という複数の触覚フィードバックを機能を備えた装置において、仮想オブジェクト等の操作に関連した好適な触覚フィードバックを提示する方法を提供する。
【解決手段】グラフィカルユーザインターフェースとの相互作用のモードに関連付けられる第１の信号をセンサから受信するステップと、グラフィカルユーザインターフェースとの相互作用に関連付けられる第２の信号を受信するステップと、グラフィカルユーザインターフェースとの相互作用のモード及びグラフィカルユーザインターフェースとの相互作用に少なくとも部分的に基づいて触覚フィードバック効果を決定するステップと、触覚フィードバック効果を出力するように構成される触覚信号を生成するステップとを備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

グラフィカルユーザインターフェースとの相互作用のモードに関連付けられる第１の信号をセンサから受信するステップと、
前記グラフィカルユーザインターフェースとの相互作用に関連付けられる第２の信号を受信するステップと、
前記グラフィカルユーザインターフェースとの相互作用の前記モード及び前記グラフィカルユーザインターフェースとの前記相互作用に少なくとも部分的に基づいて触覚フィードバック効果を決定するステップと、
前記触覚フィードバック効果をアクチュエータに出力させるように構成される触覚信号を生成するステップと
を備えることを特徴とする方法。

【請求項2】

前記触覚効果を出力するように構成されるアクチュエータに前記触覚信号を送信するステップをさらに備えることを特徴とする、請求項１に記載の方法。

【請求項3】

前記グラフィカルユーザインターフェースが仮想メッセージング環境であり、
前記第１の信号が前記仮想メッセージング環境内の仮想物理パラメータを有する仮想メッセージオブジェクトとの相互作用のモードに関連付けられ、
前記第２の信号が前記仮想メッセージング環境内の前記仮想メッセージオブジェクトとの相互作用に関連付けられ、且つ
触覚効果を決定するステップがさらに前記仮想メッセージオブジェクトとの前記相互作用に少なくとも部分的に基づく
ことを特徴とする、請求項１に記載の方法。

【請求項4】

前記仮想メッセージオブジェクトが、トークンを含むことを特徴とする、請求項３に記載の方法。

【請求項5】

前記仮想メッセージオブジェクトが、データファイルを含むことを特徴とする、請求項３に記載の方法。

【請求項6】

前記仮想メッセージオブジェクトが、ボール、管、風船、カプセル、又は卵の１つを含むことを特徴とする、請求項３に記載の方法。

【請求項7】

前記仮想物理パラメータが、サイズ、質量、形状、衝突挙動、摩擦プロファイル又はテクスチャプロファイルの１つ以上を含むことを特徴とする、請求項３に記載の方法。

【請求項8】

相互作用の前記モードが、相互作用の受動モードを含むことを特徴とする、請求項１に記載の方法。

【請求項9】

前記触覚フィードバック効果が、テクスチャを表すフィードバック、緊張を表すフィードバック、又は把持を表すフィードバックの１つ以上を含むことを特徴とする、請求項４に記載の方法。

【請求項10】

前記相互作用が、相互作用の能動モードを含むことを特徴とする、請求項１に記載の方法。

【請求項11】

前記触覚フィードバック効果が、フリックを表すフィードバック、打撃を表すフィードバック、発砲を表すフィードバック、ひび割れを表すフィードバック、摩擦を表すフィードバック、１回の衝突を表すフィードバック、複数の衝突を表すフィードバック、又は移動を表すフィードバックの１つ以上を含むことを特徴とする、請求項１０に記載の方法。

【請求項12】

前記第１の信号が、相互作用の前記モードの変更を示すことを特徴とする、請求項１に記載の方法。

【請求項13】

前記第１の信号が、所定期間の後、デフォルト設定に戻るように制御されることを特徴とする、請求項１に記載の方法。

【請求項14】

前記センサが、接触、圧力、加速度、傾き、又は慣性を検出するように構成されることを特徴とする、請求項１に記載の方法。

【請求項15】

プログラムコードを備えるコンピュータ可読媒体であって、前記プログラムコードが、
グラフィカルユーザインターフェースとの相互作用のモードに関連付けられる第１の信号を受信するプログラムコードと、
前記グラフィカルユーザインターフェースとユーザとの相互作用に関連付けられる第２の信号を受信するプログラムコードと、
前記グラフィカルユーザインターフェースとの相互作用の前記モード及び前記グラフィカルユーザインターフェースとの相互作用の種類に少なくとも部分的に基づいて触覚フィードバック効果を決定するプログラムコードと、
前記触覚フィードバック効果を生成するように構成される触覚信号を生成するプログラムコードと
を備えることを特徴とするコンピュータ可読媒体。

【請求項16】

ユーザとの相互作用を検出して第１の信号を生成することが可能なセンサと、
触覚フィードバックを出力するアクチュエータと、
グラフィカルユーザインターフェースとの相互作用のモードに関連付けられる第１の信号を受信し、
前記グラフィカルユーザインターフェースとの相互作用の種類に関連付けられる第２の信号を受信し、
前記グラフィカルユーザインターフェースとの相互作用の前記モード及び前記グラフィカルユーザインターフェースとの相互作用の前記種類に少なくとも部分的に基づいて触覚フィードバック効果を決定し、且つ
前記触覚フィードバック効果を生成するように構成される触覚信号を生成するプロセッサと、
前記触覚信号を受信して前記触覚効果を生成するように構成されるアクチュエータと
を備えることを特徴とするシステム。

【請求項17】

前記グラフィカルユーザインターフェースの視覚表示を表示するように構成されるディスプレイをさらに備えることを特徴とする、請求項１６に記載のシステム。

【請求項18】

前記第２の信号が、タッチスクリーンによって生成されることを特徴とする、請求項１６に記載のシステム。

【請求項19】

前記第１の信号が、相互作用の前記モードの変更を示すことを特徴とする、請求項１６に記載のシステム。

【請求項20】

前記第１の信号が、スイッチによって制御されることを特徴とする、請求項１９に記載のシステム。

【請求項21】

前記センサが、圧力センサ、ジャイロスコープセンサ、加速度計、又はタッチセンサ式入力装置を含むことを特徴とする、請求項１６に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一般に、触覚フィードバックに関し、より詳細には、受動及び能動モード間で触覚フィードバック機能を転換するシステム及び方法に関する。

【0002】

（関連出願の相互参照）
本特許出願は、２００８年７月１５日に提出され「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｐｈｙｓｉｃｓ−Ｂａｓｅｄ Ｔａｃｔｉｌｅ Ｍｅｓｓａｇｉｎｇ」と題された米国仮特許出願第６１／０８０，９７８号、２００８年７月１５日に提出され「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｍａｐｐｉｎｇ Ｍｅｓｓａｇｅ Ｃｏｎｔｅｎｔｓ ｔｏ Ｖｉｒｔｕａｌ Ｐｈｙｓｉｃａｌ Ｐｒｏｐｅｒｔｉｅｓ ｆｏｒ Ｖｉｂｒｏｔａｃｔｉｌｅ Ｍｅｓｓａｇｉｎｇ」と題された米国仮特許出願第６１／０８０，９８１号、２００８年７月１５日に提出され「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｓｈｉｆｔｉｎｇ Ｓｅｎｓｏｒ Ｈａｐｔｉｃ Ｆｅｅｄｂａｃｋ Ｆｕｎｃｔｉｏｎ Ｂｅｔｗｅｅｎ Ｐａｓｓｉｖｅ ａｎｄ Ａｃｔｉｖｅ Ｍｏｄｅｓ」と題された米国仮特許出願第６１／０８０，９８５号、２００８年７月１５日に提出され「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｇｅｓｔｕｒｅ Ｉｎｄｉｃａｔｉｏｎ ｏｆ Ｍｅｓｓａｇｅ Ｒｅｃｉｐｉｅｎｔｓ」と題された米国仮特許出願第６１／０８０，９８７号、２００９年１月２９日に提出され「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｐｓｅｕｄｏ−Ｔｅｌｅｐｒｅｓｅｎｃｅ ｉｎ ａ Ｓｈａｒｅｄ Ｓｐａｃｅ」と題された米国仮特許出願第６１／１４８，３１２号、及び２００９年５月２６日に提出され「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｔｒａｎｓｍｉｔｔｉｎｇ Ｈａｐｔｉｃ Ｍｅｓｓａｇｅｓ」と題された米国仮特許出願第６１／１８１，２８０号への優先権を主張し、これらの全体は参照により本明細書に組み込まれる。

【背景技術】

【0003】

過去数年間にわたって、あらゆる種類のハンドヘルド装置の使用が飛躍的に増加してきている。こうした装置は、携帯型システム手帳、電話、音楽プレーヤ、及びゲームシステムとして使用される。多くの最新のハンドヘルド装置は、何らかの種類の触覚フィードバックを組み込んでいる。触覚技術の改良につれて、装置は、複数のモードの触覚フィードバックを組み込む場合がある。フィードバックのモード間を切り替え及び選択する方法が必要とされる。

【発明の概要】

【0004】

本発明の実施形態は、触覚フィードバックの能動及び受動モード間を転換するシステム及び方法を提供する。例えば、一実施形態では、触覚フィードバックの能動及び受動モード間を転換する方法は、グラフィカルユーザインターフェースとの相互作用のモードに関連付けられる第１の信号をセンサから受信するステップと、グラフィカルユーザインターフェースとの相互作用に関連付けられる第２の信号を受信するステップと、グラフィカルユーザインターフェースとの相互作用のモード及びグラフィカルユーザインターフェースとの相互作用に少なくとも部分的に基づいて触覚フィードバック効果を決定するステップと、触覚フィードバック効果を出力するように構成される触覚信号を生成するステップとを備える。別の実施形態では、コンピュータ可読媒体がこのような方法を実行するためのプログラムコードを備える。

【0005】

こうした例示の実施形態は、本発明を限定又は定義するのではなく、その理解を容易にする例示を提供するために言及される。例示の実施形態は、詳細な説明において検討され、そこでは発明のさらなる説明が提供される。本発明の多様な実施形態によって提供される利点は、本明細書を吟味することでさらに理解され得る。

【0006】

本発明のこれらの及び他の特徴、側面、及び利点は、添付の図面を参照して以下の詳細な説明を読めば、よりよく理解される。

【図面の簡単な説明】

【0007】

【図1】本発明の１実施形態による受動及び能動モード間で触覚フィードバック機能を転換するシステムのブロック図である。

【図2】本発明の一実施形態によるメッセージコンテンツを振動触覚メッセージング用の仮想物理特性にマッピングするための方法の流れ図である。

【図3】本発明の１実施形態による受動及び能動モード間で触覚フィードバック機能を転換する別の例示である。

【図4】本発明の１実施形態による受動及び能動モード間で触覚フィードバック機能を転換する別の例示である。

【図5】本発明の１実施形態による受動及び能動モード間で触覚フィードバック機能を転換するさらに別の例示である。

【図6】本発明の１実施形態による受動及び能動モード間で触覚フィードバック機能を転換する最後の例示である。

【図7】本発明の１実施形態によって表示され得る仮想オブジェクトの例示である。

【発明を実施するための形態】

【0008】

本発明の実施形態は、受動及び能動モード間で触覚フィードバック機能を転換するシステム及び方法を提供する。

【0009】

（受動及び能動モード間における触覚フィードバック機能の転換の例示）
本発明の例示の実施形態は、例えば、携帯電話等のメッセージング装置を備える。例示的な実施形態では、メッセージング装置は、Ｉｍｍｅｒｓｉｏｎ社のＶｉｂｅＴｏｎｚ（Ｒ）という振動触覚フィードバックシステムを搭載した「Ｓａｍｓｕｎｇ ＳＧＨ−ｉ７１０」移動式コンピュータを含む。別の実施形態では、メッセージング装置は、Ｉｍｍｅｒｓｉｏｎ ＴｏｕｃｈＳｅｎｓｅ（Ｒ）振動触覚フィードバックシステムとしても知られているＩｍｍｅｒｓｉｏｎ社のＴｏｕｃｈＳｅｎｓｅ（Ｒ）テクノロジーシステムを含む。他のメッセージング装置及び触覚フィードバックシステムが利用されてもよい。

【0010】

メッセージング装置は、ディスプレイ、ユーザインターフェース装置、メモリ、及びこうした要素と通信するプロセッサを備える。また、例示のメッセージング装置は、センサ及びアクチュエータも備える。これらは共にプロセッサと通信する。センサは、メッセージング装置とユーザとの相互作用を感知するように構成され、アクチュエータは、触覚効果を出力するように構成される。

【0011】

例示の装置では、プロセッサは、メッセージング装置のグラフィカルユーザインターフェースとの相互作用のモードに関連付けられる第１の信号を受信する。プロセッサは、例えば、メッセージング装置の筐体の中のジャイロスコープ又は加速度計等のセンサから第１の信号を受信してもよい。このようなセンサは、ユーザがメッセージング装置を移動させ又は傾けたのを検出するように構成されてもよい。次に、装置の特定の運動は、受動又は能動モードのような特定の相互作用のモードに関連付けられてもよい。例えば、相互作用の能動モードを使用するために、メッセージング装置は、既定の方向に傾けられ又は回転させられてもよい。相互作用の受動モードに切り替えるために、メッセージング装置は、反対方向に傾けられ又は回転させられてもよい。

【0012】

次に、プロセッサは、グラフィカルユーザインターフェースとの相互作用に関連付けられるユーザインターフェース装置から第２の信号を受信する。プロセッサは、例えば、タッチスクリーン等のタッチセンサ式入力装置から第２の信号を受信してもよい。相互作用は、多様な形態を取り得る。例えば、ユーザは、グラフィカルユーザインターフェースに表示される仮想オブジェクトと相互作用するために、タッチスクリーンディスプレイをブラッシング（ｂｒｕｓｈ）し、フリックし、擦り、ドラッグし、又は接触してもよい。代替的に、相互作用のモードが選択された後、ユーザは、グラフィカルユーザインターフェースと相互作用するためにメッセージング装置を傾け、揺動させ、回転させ、又は移動させてもよい。相互作用の能動モードでは、グラフィカルユーザインターフェースで仮想オブジェクトをブラッシング又はフリックすることにより、グラフィカルユーザインターフェース内で仮想オブジェクトが移動させられてもよく、同時にプロセッサは仮想オブジェクトの重量をシミュレートする触覚信号を生成する。相互作用の受動モードでは、仮想オブジェクトに接触することにより、プロセッサがテクスチャ等の仮想オブジェクトの表面特徴をシミュレートする触覚信号を生成してもよい。表面のシミュレーションは、振動又は他の触覚フィードバック効果の形態を採用してもよい。

【0013】

２つの信号を受信した後、プロセッサは、グラフィカルユーザインターフェースとの相互作用のモード及びグラフィカルユーザインターフェースとの相互作用に少なくとも部分的に基づいて触覚フィードバック効果を決定する。例示の実施形態では、第１の信号が相互作用の能動モードに関連付けられ、第２の信号がグラフィカルユーザインターフェースに表示されるオブジェクトとユーザとの相互作用に関連付けられる。ユーザとの相互作用は、グラフィカルユーザインターフェースで仮想オブジェクトを移動させることに関してもよい。次に、プロセッサは、グラフィカルユーザインターフェースにおいて仮想オブジェクトと別の表面との衝突に類似する触覚フィードバックを決定してもよい。代替的に、第１の信号が相互作用の受動モードに関連付けられ且つ第２の信号が仮想オブジェクトの上又は付近の擦り動作に関連付けられる場合、プロセッサは、仮想オブジェクトのテクスチャをシミュレートする触覚フィードバックを決定してもよい。最後に、プロセッサは、アクチュエータに触覚効果を出力させるように構成される触覚信号を生成する。アクチュエータは、触覚信号を受信して、メッセージング装置を、例えば、揺動させ、急激に揺さぶり、又は振動させることによって触覚効果を生成する。

【0014】

この例示は、本明細書で検討される一般的な主題を読者に紹介するために与えられる。本発明は、この例示に限定されない。以下の段落は、能動及び受動モード間で触覚フィードバック機能を転換する方法及びシステムの様々な追加の非限定的な実施形態及び例示を記載する。

【0015】

（受動及び能動モード間における触覚フィードバック機能の転換）
本明細書に提示される発明の実施形態は、受動及び能動モード間で触覚フィードバック機能を転換するシステム及び方法を提供する。最新のハンドヘルド装置は、複数のフィードバックのモードを含む能力を有してもよい。こうしたモードは、運動を基礎にした「能動モード」又はテクスチャを基礎にした「受動モード」であってもよい。フィードバックのモードは、ディスプレイを介して視覚的に、スピーカを使用して聴覚的に、又はアクチュエータを使用して触覚的に出力されてもよい。本発明は、フィードバックの能動及び受動モード間で転換するシステム及び方法を提供する。

【0016】

例えば、加速度計及びタッチスクリーンを有するメッセージング装置では、相互作用のデフォルトモードは、相互作用の能動モードを含んでもよい。このようなモードでは、メッセージング装置を傾けることは、グラフィカルユーザインターフェースに表示される仮想オブジェクトが転がり回って見えるようにする。仮想オブジェクトの運動に応じて、装置は、仮想オブジェクトと他の表面との間の摩擦及び衝撃を示す触覚フィードバックを生成してもよい。また、このような装置を使用して、ユーザは、ユーザインターフェース内で仮想オブジェクトを直接移動させるためにタッチスクリーンを利用してもよい。ユーザは、仮想オブジェクトをグラフィカルユーザインターフェース上で移動させるためにメッセージング装置を傾けてもよい。又は、ユーザは、グラフィカルユーザインターフェースに触れることで仮想オブジェクトを直接操作してもよい。グラフィカルユーザインターフェースでの仮想オブジェクトの移動は、仮想オブジェクトの摩擦プロファイルに基づいて１つ以上の触覚効果をアクチュエータに生成させる。

【0017】

各仮想オブジェクトは、１つ以上のオブジェクトのサイズ、質量、形状、衝突挙動、及びテクスチャを定義する仮想物理パラメータを含む。また、仮想物理パラメータは、オブジェクトのテクスチャ及び摩擦プロファイルを含んでもよい。テクスチャプロファイルは、相互作用の受動モードにおけるユーザ相互作用へのオブジェクトの反応を定義するパラメータを含むデータストアである。テクスチャプロファイルは、仮想オブジェクトの表面特徴をさらに定義してもよい。摩擦プロファイルは、相互作用の能動モードにおけるユーザの操作への仮想オブジェクトの反応及び他の仮想オブジェクトとの相互作用を定義するパラメータを含むデータストアである。摩擦プロファイルは、例えば、仮想高さ、重量、密度等の他の特性をさらに定義してもよい。ユーザが仮想オブジェクトと相互作用し又は仮想オブジェクトがグラフィカルユーザインターフェースの他の特徴と相互作用すると、相互作用に応答する運動及び触覚フィードバックは、仮想オブジェクトの摩擦プロファイルに少なくとも部分的に基づくであろう。例えば、ボールは跳ねることによって相互作用に応答することを引き起こす摩擦プロファイルを有し得る一方で、別のボールは転がることによって応答してもよい。さらに、高密度の重いボールは、インターフェース内で表面への激しい衝突と共にゆっくりと移動してもよく、低密度の軽いボールは、柔軟な衝撃と共に素早く移動してもよい。仮想オブジェクトは、限定されないが、ボール、卵、管、カプセル又は箱を含む任意の数の形状の１つであってもよい。

【0018】

仮想オブジェクトは、データの種類を表してもよい。例えば、仮想オブジェクトは、装置内のビデオファイルを表してもよい。さらに、仮想オブジェクト形状用に選択される形状は、仮想オブジェクトによって表されるデータの種類を考慮に入れてもよい。例えば、写真を表す仮想オブジェクトはカメラの形状を採用してもよい。一方で、ビデオファイルを表す仮想オブジェクトはコンパクトディスクの形状を採用してもよい。

【0019】

仮想オブジェクトは、トークンを含んでもよい。トークンは、既定のパラメータを有する仮想オブジェクトの種類である。次に、ユーザは、トークンの特定のインスタンス化の追加のパラメータを定義してもよい。例えば、一実施形態では、トークンは、既定の摩擦及びテクスチャプロファイルを有する、ボールの形状の仮想オブジェクトを含んでもよい。次に、ユーザは、例えば、ボールのサイズ及び色彩等の追加の特徴を定義してもよい。

【0020】

プロセッサは、相互作用の異なるモードに関連付けられる転換又は変更信号を受信して、相互作用の受動モードに切り替わってもよい。相互作用の受動モードでは、触覚効果は、摩擦プロファイルではなく仮想オブジェクトのテクスチャプロファイルに基づいてもよい。テクスチャプロファイルは、例えば、テクスチャ及び張力等の仮想オブジェクトの表面特徴を現すデータを含むデータストアである。ユーザが仮想オブジェクトに接触すると、装置は、オブジェクトの表面をシミュレートする触覚効果を生成してもよい。例えば、仮想オブジェクトは、急峻な激しい触覚パルスによって示される粗い表面を有し得る。一方で、柔らかい表面を有する仮想オブジェクトは、安定した穏やかな振動によって示され得る。

【0021】

幾つかの実施形態では、ユーザインターフェースは、物理モデルを組み込むようにプログラムされる仮想メッセージ環境として表されてもよい。このような環境では、電子メッセージが仮想メッセージオブジェクトとして表示されてもよい。仮想メッセージオブジェクトは、電子メッセージを組み込むデータストアを含む仮想オブジェクトの形状である。仮想メッセージオブジェクトは、１つ以上のオブジェクトのサイズ、質量、形状、衝突挙動、及びテクスチャを定義する仮想物理パラメータを含む。また、仮想物理パラメータは、オブジェクトのテクスチャ及び摩擦プロファイルを含んでもよい。テクスチャプロファイルは、相互作用の受動モードにおけるユーザ相互作用へのオブジェクトの反応を定義するパラメータを含むデータストアである。テクスチャプロファイルは、仮想オブジェクトの表面特徴をさらに定義してもよい。摩擦プロファイルは、相互作用の能動モードにおけるユーザの操作への仮想オブジェクトの反応及び他の仮想オブジェクトとの相互作用を定義するパラメータを含むデータストアである。摩擦プロファイルは、例えば、仮想高さ、重量、密度等の他の特性をさらに定義してもよい。ユーザは、様々なメッセージング装置、及びタッチスクリーン、ジャイロスコープ、ＧＰＳ、若しくは加速度計、又は運動を検出するように構成される他のセンサ等のセンサを介して仮想メッセージ環境及び仮想メッセージオブジェクトを操作することが出来る。

【0022】

仮想メッセージオブジェクトは、トークンを含んでもよい。トークンは、既定のパラメータを有する仮想オブジェクトの種類である。次に、ユーザは、トークンの特定のインスタンス化の追加のパラメータを定義してもよい。例えば、一実施形態では、トークンは、既定の摩擦及びテクスチャプロファイルを有する、ボールの形状の仮想オブジェクトを含んでもよい。次に、ユーザは、トークンのインスタンス化によって含まれるテキスト、並びにボールのサイズ及び色彩等の追加の特徴を定義してもよい。

【0023】

ユーザが装置と相互作用しているとき、センサは、ユーザの移動を検出して、プロセッサに移動を表す信号を送信する。次に、プロセッサは、ユーザの移動の変位及び大きさを表すベクトルを計算してもよい。次に、プロセッサは、ベクトルを仮想メッセージ環境内に含まれる仮想メッセージオブジェクトに作用する仮想的力に変換してもよい。メッセージが触覚的に使用可能な装置に送信される場合、触覚効果は、メッセージの成分として組み込まれてもよい。例えば、ユーザは、メッセージに柔らかいジェスチャを組み込んでもよい。受信者がメッセージを受信すると、この柔らかいジェスチャは、メッセージが緊急ではないことを示す柔らかい触角効果に変換されてもよい。逆に、ユーザは、激しいジェスチャをメッセージに組み込んでもよく、それは緊急のメッセージを示す激しい触覚力に変換されるであろう。他の仮想オブジェクトのように、仮想メッセージオブジェクトは、触覚効果を計算するために使用され得るテクスチャプロファイル及び摩擦プロファイルを共に有してもよい。

【0024】

一実施形態では、ユーザがフィードバックのモード間を切り替えることを望む場合、ジェスチャ、位置、キー、又は他の制御が相互作用のモードに対する選択手段として割り当てられる。例えば、ユーザは、相互作用の能動及び受動モード間を切り替え、又は相互作用の別のモードに切り替えるために特定のジェスチャを使用することが出来る。ユーザインターフェースは、視覚表示、音響効果、及び／又は触覚フィードバックを介してモードの変更を示し／説明してもよい。例えば、ユーザが受動モードから能動モードに切り替える場合、装置は、振動等の触覚指示を提供すると同時に、ディスプレイを介して視覚的指示を提供してもよい。

【0025】

別の実施形態では、装置は、相互作用のモード間を切り替えるためにタッチスクリーン上に表示され得るスイッチ又はボタンを備えてもよい。この実施形態では、例えば、ユーザはシフトキーを押してもよく、それは相互作用の能動モードを示す。このモードでの動作中、装置の移動は、ディスプレイの中の仮想オブジェクトを移動させ、転がせ、且つ互いと衝突させ得る。ユーザがシフトキーを開放すると、相互作用の受動モードが有効になる。このモードでは、仮想オブジェクトは、各仮想オブジェクトのテクスチャを表す振動フィードバックのような異なる変数を示してもよい。

【0026】

受動モードの間、仮想オブジェクトは、スクリーン上の運動を継続してもよく、ユーザは、仮想オブジェクトと相互作用してもよい。しかし、ユーザは、仮想オブジェクト間の相互作用を指示することは出来ない。

【0027】

（相互作用の受動及び能動モード間における触覚フィードバック機能を転換する例示のシステム）
次に、複数の図面を通じて同様の番号が同様の要素を示す図面を参照すると、図１は、本発明の１実施形態による受動及び能動モード間で触覚フィードバック機能を転換するシステムのブロック図である。図１を参照すると、システム１００は、例えば、携帯電話、ＰＤＡ（ｐｏｒｔａｂｌｅ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、携帯型メディアプレーヤ、又は携帯型ゲーム装置等のメッセージング装置１０２を備える。メッセージング装置１０２は、ネットワークインターフェース１１２、センサ１１４、ディスプレイ１１６、アクチュエータ１１８、及びスピーカ１２０と通信するプロセッサ１１０を備える。プロセッサ１１０は、ディスプレイ１１６に示される仮想環境を生成するように構成される。

【0028】

プロセッサ１１０は、ネットワークインターフェース１１２と通信する。ネットワークインターフェース１１２は、例えば、赤外線、無線、Ｗｉ−Ｆｉ又はセルラネットワーク通信等の１つ以上の移動式通信方法を備えてもよい。他の変形では、ネットワークインターフェース１１２は、例えば、イーサネット（登録商標）等の有線ネットワークインターフェースを備える。メッセージング装置１０２は、例えば、セルラ電話ネットワーク及び／又はインターネット等のネットワークを介して他の装置（図示せず）とメッセージ又は仮想メッセージオブジェクトを交換するように構成され得る。装置間で交換されるメッセージの実施形態は、音声メッセージ、テキストメッセージ、データメッセージ、又は他の形態のデジタルメッセージを含んでもよい。

【0029】

また、プロセッサ１１０は、１つ以上のセンサ１１４と通信する。センサ１１４は、位置センサ、回転速度センサ、画像センサ、圧力センサ、又は他の種類のセンサを備えてもよい。例えば、センサ１１４は、加速度計、ジャイロスコープ、ＧＰＳセンサ、又はタッチセンサ式入力装置（例えば、タッチスクリーン、タッチパッド）を含んでもよい。１つ以上のセンサ１１４は、例えば、加速度、傾き、慣性、又は位置の変化を検出するように構成されてもよい。例えば、メッセージング装置１０２は、メッセージング装置１０２の加速度を測定するように構成される加速度計を備えてもよい。別の例示として、メッセージング装置１０２は、位置センサ、回転速度センサ、画像センサ、圧力センサ、又は他の種類のセンサを備えてもよい。１つ以上のセンサ１１４は、センサ信号をプロセッサ１１０に送信するように構成されてもよい。

【0030】

ユーザは、１つ以上のセンサ１１４によって検出される移動又はジェスチャを介してユーザインターフェースと相互作用してもよい。メッセージング装置１０２が傾けられ、揺動され、又は移動されると、１つ以上のセンサ１１４は、こうした運動を検出して、運動に少なくとも部分的に基づいてプロセッサ１１０に送信するためのセンサ信号を生成してもよい。プロセッサは、装置とユーザとの相互作用の方向及び大きさを表す方法及び大きさを持つベクトルを生成するためにこうした信号を使用してもよい。一実施形態では、加速度センサは、メッセージング装置１０２の傾き及び加速度を検出するように構成される。メッセージング装置１０２が傾けられると、加速度計は、メッセージング装置１０２の傾き及び／又は加速に少なくとも部分的に基づいてプロセッサに信号を送信するように構成され得る。次に、プロセッサ１１０は、相互作用の方向及び大きさを表すベクトルを生成するためにこうした信号を使用する。

【0031】

センサ１１４から受信される信号は、グラフィカルユーザインターフェースとの相互作用のモードに関連付けられてもよい。例えば、加速度計によって検出される突き刺し動作が相互作用の能動モードに関連付けられてもよい。一方で、加速度計によって検出される円形又は回転動作が相互作用の受動モードに関連付けられてもよい。特定のジェスチャに相互作用のモードをマッピングすることによって、プロセッサ１１０は、迅速且つ効果的に相互作用のモードを切り替えることが可能であってもよい。

【0032】

また、センサ１１４から受信される信号は、グラフィカルユーザインターフェースとの相互作用に関連付けられてもよい。例えば、ユーザは、最初にシフトキーを押し又は押し下げることによって相互作用のモードを選択してもよい。相互作用のモードが選択された後、メッセージング装置は、グラフィカルユーザインターフェースと相互作用するために、傾けられ、回転させられ、揺動させられ、又は移動させられてもよい。センサ１１４によって検出される装置のそれぞれの運動は、グラフィカルユーザインターフェースとの相互作用に関連付けられてもよい。ある相互作用のモードでは、装置を傾けることでグラフィカルユーザインターフェースの拡大又は縮小が行われてもよい。例えば、デジタル画像がディスプレイ１１６に示されてもよい。画像を操作するために、ユーザは、相互作用の能動モードを選択して、センサ１１４が運動を検出するように装置を傾けてもよい。次に、装置は、センサ１１４から受信されるデータに基づいてディスプレイ１１６に示される画像を操作してもよい。装置は、多くの異なる方法で画像を操作し得る。例えば、操作は、画像の拡大若しくは縮小、又は表示画像の回転を含み得る。

【0033】

プロセッサ１１０は、相互作用のモードに関連付けられる信号及び／又は相互作用に関連付けられる他のソース（図１には示されない）からの信号を受信してもよい。例えば、メッセージング装置１０２は、スクロールホイール、ロッカスイッチ、又はジョイスティック（図１には示されない）を備えてもよい。また、メッセージング装置１０２は、シフトボタン等の１つ以上のボタンを備えてもよい（図１には示されない）。

【0034】

また、図１に示される実施形態では、プロセッサ１１０は、ディスプレイ１１６とも通信する。プロセッサ１１０は、ディスプレイ１１６に示されるユーザインターフェースの図形表示を生成するように構成され得る。ディスプレイ１１６は、プロセッサ１１０から信号を送信及び受信するように構成される、例えば、タッチスクリーン等のタッチセンサ式入力装置を備えてもよい。

【0035】

タッチスクリーンディスプレイ１１６から受信される信号は、グラフィカルユーザインターフェースとの相互作用のモードに関連付けられてもよい。１つの変形では、タッチスクリーン上のタップ等の既定のジェスチャは、相互作用の特定のモードに関連付けられてもよい。このような実施形態では、タッチスクリーン上の一度のタップが相互作用の能動モードに関連付けられてもよい。一方で、タッチスクリーン上の２度のタップが相互作用の受動モードに関連付けられてもよい。別の変形では、右上象限等のディスプレイ１１６の特定の領域においてタッチスクリーンによって検出されるジェスチャが、相互作用の１のモードに関連付けられてもよい。一方で、左下象限等のディスプレイ１１６の異なる領域においてタッチスクリーンによって検出されるジェスチャが、相互作用の第２のモードに関連付けられてもよい。相互作用のモード間を切り替えるために、ジェスチャ又はユーザアクションの様々な他の組み合わせが利用されてもよい。

【0036】

図１に示される実施形態では、装置は、ディスプレイ１１６に示されるオブジェクトを直接ユーザに操作させることが出来る。ディスプレイ１１６がタッチスクリーンディスプレイを備える場合、相互作用の能動モードにおいて、ディスプレイ１１６上での２次元指ジェスチャは、ユーザインターフェース内で仮想オブジェクトを選択し、ドラッグし、フリックし、投げ、又は移動させてもよい。相互作用の受動モードでは、ディスプレイ１１６上での２次元指ジェスチャは、グラフィカルユーザインターフェース内の位置を変更せずに仮想オブジェクトに接触及び／又は感知してもよい。

【0037】

プロセッサ１１０は、グラフィカルユーザインターフェースとの相互作用のモード及びグラフィカルユーザインターフェースとユーザとの相互作用に少なくとも部分的に基づいて触覚フィードバック効果を決定してもよい。相互作用の能動モードでは、プロセッサ１１０は、例えば、突き刺し又はフリック等のユーザ相互作用に基づいて衝撃又は衝突をシミュレートする触覚効果を決定してもよい。例えば、ディスプレイは、ユーザがフリックするボールを示してもよい。ユーザがボールの画像をフリックすると、プロセッサ１１０は、ユーザへの衝撃を表す触覚効果を決定してもよい。仮想ボールの特性を示す衝撃は、例えば、ボールの重量、密度、及び他の仮想オブジェクトとの相互作用の種類等の摩擦プロファイルに含まれる。プロセッサ１１０は、仮想ボールがディスプレイ１１６の側部と衝突する場合の衝突をさらに計算してもよい。相互作用の受動モードでは、プロセッサ１１０は、例えば、ブラッシング又は摩擦等の相互作用に基づいて粗い又は滑らかなテクスチャをシミュレートする触覚効果を決定してもよい。例えば、一実施形態では、ディスプレイ１１６は、粗い表面を表すデータを備えるテクスチャプロファイルを有するボールを示す。次に、ユーザがボールと相互作用すると、プロセッサ１１０は、一連の触覚的衝撃を表す触覚信号を計算して、ボールの粗い表面を示してもよい。

【0038】

図１に示されるように、プロセッサ１１０は、１つ以上のアクチュエータ１１８とも通信する。アクチュエータ１１８は、プロセッサ１１０から信号を受信して、触覚効果を生成するように構成されてもよい。プロセッサ１１０が触覚効果を決定した後、プロセッサ１１０は、アクチュエータ１１８に触覚効果を出力させるように構成されるアクチュエータ１１８に触覚信号を送信してもよい。アクチュエータ１１８は、例えば、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、リニア共振アクチュエータ、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ（ＥＲＭ）又はリニア共振アクチュエータ（ＬＲＡ）であってもよい。

【0039】

（相互作用の受動及び能動モード間における触覚フィードバック機能を転換する例示の方法）
図２は、相互作用のモード及びグラフィカルユーザインターフェースとユーザとの相互作用に少なくとも部分的に基づいて触覚効果を決定する方法の流れ図である。本発明の実施形態は様々な装置で利用され得るが、図２に示される工程は、図１に示される装置に関連して記載される。方法２００において、プロセッサ１１０は、グラフィカルユーザインターフェースとの相互作用のモードに関連付けられる第１の信号を受信する（２０２）。一実施形態では、信号は、相互作用のモードの変更を示す。他の実施形態では、信号は、相互作用のモードの変更がないことを示す。相互作用のモードに関連付けられる信号は、例えば、加速度計、ジャイロスコープ、ＧＰＳセンサ、マイクロホン、タッチセンサ式入力装置（例えば、タッチスクリーン、タッチパッド）、テクスチャスタイラス、画像センサ、又は何らかの他の種類のセンサ等のセンサ１１４によって生成されてもよい。又は、相互作用のモードは、ボタン又はスイッチを介して選択されてもよい。例えば、相互作用のモードは、メッセージング装置１０２を既定の方式で回転させ、シフトボタンを押し下げ、マイクロホンに息を吹き込み、又はタッチスクリーンディスプレイ１１６上でジェスチャを行うことによって選択されてもよい。一実施形態では、第１の信号は、プロセッサによって部分的に制御される。例えば、プロセッサは、入力を受信し、グラフィカルユーザインターフェースとの相互作用のモードを変化させる信号を計算して送信するためにこの入力を使用してもよい。別の実施形態では、第１の信号は、所定期間の後、デフォルト設定に戻るように制御される。例えば、装置は、相互作用の受動モードのデフォルト設定を有してもよく、相互作用のモードが５分以上有効に設定されている場合、プロセッサは、装置を元の受動モードに切り替えてもよい。

【0040】

グラフィカルユーザインターフェースは、ユーザが相互作用し得る仮想オブジェクトを表示することが出来る。図示の実施形態では、グラフィカルユーザインターフェースは、１つ以上の相互作用のモードを備える。一例では、グラフィカルユーザインターフェースは、相互作用の能動モード及び相互作用の受動モードを備える。相互作用の能動モードでは、例えば、ユーザは、１つ以上の仮想オブジェクトと他の仮想オブジェクト及び／又は仮想環境との間の相互作用を指示してもよい。相互作用の受動モードでは、ユーザは、仮想環境と相互作用せずに又は仮想オブジェクトを仮想環境内の他のオブジェクトと相互作用させずにある仮想オブジェクトとだけ相互作用してもよい。

【0041】

相互作用のモードが選択された後、プロセッサは、グラフィカルユーザインターフェースとの相互作用に関連付けられる第２の信号を受信する（２０４）。相互作用に関連付けられる信号は、タッチセンサ式入力装置（例えば、タッチスクリーン、タッチパッド）又は加速度計、ジャイロスコープ、ＧＰＳセンサ、マイクロホン、テクスチャスタイラス、又は画像センサ等の他の何らかの種類のセンサによって生成されてもよい。一例では、ユーザは、タッチスクリーンディスプレイ１１６を介して仮想オブジェクトに接触することによってユーザインターフェースと相互作用する。プロセッサ１１４は、ユーザによって行われるジェスチャ又は接触に関連付けられるタッチスクリーンディスプレイ１１６から信号を受信する。相互作用に関連付けられる信号は、例えば、位置、速度、圧力及び／又は種類等の相互作用の特性を有してもよい。例えば、タッチスクリーンディスプレイ１１６からの信号は、タッチスクリーンディスプレイ１１６との接触の位置、接触の速度及び／又は圧力、接触の持続期間、並びにタッチスクリーンディスプレイ１１６上で行われるジェスチャ又は動作の種類を含んでもよい。

【0042】

第１の信号及び第２の信号は、実質的に同時に受信されてもよい。例えば、ユーザは、シフトキーを押し下げてもよく、実質的に同時にタッチスクリーン上でジェスチャを行ってもよい。このようなシナリオでは、プロセッサ１１０がユーザインターフェースとユーザとの相互作用に関連付けられる第２の信号を受信するのと実質的に同時に、プロセッサは、相互作用のモードに関連付けられる第１の信号を受信する。別の変形では、プロセッサ１１０は、第１の信号を受信後、例えば、０．５秒から数秒以上等の期間の後、第２の信号を受信する。例えば、ユーザは、既定の方式でメッセージング装置を移動させることによって相互作用のモードを選択してもよい。その後、ユーザは、メッセージング装置のタッチスクリーンディスプレイ１１６上でジェスチャを行うことによってユーザインターフェースと相互作用してもよい。装置は、ユーザ選択の相互作用のデフォルトモードを有してもよい。

【0043】

プロセッサ１１０は、グラフィカルユーザインターフェースとの相互作用のモード及びグラフィカルユーザインターフェースとの相互作用に少なくとも部分的に基づいて触覚効果を決定する（２０６）。相互作用の受動モードでは、触覚効果は、グラフィカルユーザインターフェースのテクスチャプロファイル及び／又はグラフィカルユーザインターフェースに表示される仮想オブジェクトに基づいてもよい。相互作用の受動モードでは、ユーザが仮想オブジェクトを擦り又はブラッシングすると、プロセッサは、粗い又は滑らかなテクスチャをシミュレートする振動のような仮想オブジェクトのテクスチャをシミュレートする触覚効果を決定してもよい。相互作用の能動モードでは、触覚効果は、グラフィカルユーザインターフェース及び／又はグラフィカルユーザインターフェースに表示される仮想オブジェクトの摩擦プロファイルに基づいてもよい。相互作用の能動モードでは、ユーザが仮想オブジェクトを擦り又はブラッシングすると、仮想オブジェクトは、ユーザの動作に相関してディスプレイ上で移動してもよい。次に、仮想オブジェクトがディスプレイ内を移動すると、プロセッサは、仮想オブジェクトの移動をシミュレートする触覚効果を決定してもよい。例えば、プロセッサは、重いオブジェクトに対しては、長く低い音を生成し、又は軽量なオブジェクトをシミュレートするために穏やかな振動を生成してもよい。

【0044】

次に、プロセッサ１１０は、アクチュエータ１１８に触覚効果を出力させるように構成される触覚信号を生成する（２０８）。最後に、プロセッサ１１０は、触覚効果を出力するように構成される１つ以上のアクチュエータ１１８に触覚信号を送信する（２１０）。触覚信号の受信後、アクチュエータ１１８は、触覚効果を出力する。触覚効果は、限定されないが、テクスチャを表すフィードバック、緊張を表すフィードバック、把持を表すフィードバック、フリックを表すフィードバック、打撃を表すフィードバック、発砲を表すフィードバック、ひび割れを表すフィードバック、移動を表すフィードバック、摩擦を表すフィードバック、又は１回若しくは複数の衝突を表すフィードバックを含む多くの異なる種類のフィードバックを含んでもよい。

【0045】

例示の実施形態では、グラフィカルユーザインターフェースは、ハートの形状の仮想オブジェクトを表示する。次に、プロセッサ１１０は、相互作用の受動モードに関連付けられる信号を受信する。次に、プロセッサ１１０は、仮想ハートの摩擦又はブラッシングに関連付けられる信号を受信する。次に、受信信号及び仮想ハートのテクスチャプロファイルの両方に基づいて、プロセッサ１１０は、ユーザが仮想ハートと相互作用するときに出力されるハートの鼓動をシミュレートする触覚効果を決定してもよい。アクチュエータ１１８は、触覚信号を受信して、ハートの鼓動をシミュレートする触覚効果を生成する。

【0046】

別の例示の実施形態では、グラフィカルユーザインターフェースは、ハートの形状の仮想オブジェクトを表示する。最初に、プロセッサ１１０は、相互作用の能動モードに関連付けられる信号を受信して、次に、仮想ハートとユーザとの相互作用に関連付けられる信号を受信する。この点で、プロセッサ１１０は、受信信号及び仮想ハートの摩擦プロファイルの両方に基づいて触覚効果を決定してもよい。計算される効果は、ユーザが画面上をドラッグするときのハートの重量をシミュレートしてもよい。アクチュエータ１１８は、触覚信号を受信して、ハートの重量をシミュレートする触覚効果を生成する。

【0047】

別の例示の実施形態では、グラフィカルユーザインターフェースは、仮想メッセージング環境を表示する。仮想メッセージング環境において、Ｅメール、テキストメッセージ、インスタントメッセージ、又は他の種類のメッセージ等の電子メッセージは、仮想メッセージオブジェクトとして表示される。一実施形態では、仮想メッセージオブジェクトは、ボール、管、カプセル、箱、風船、ハート、又はグラフィカルユーザインターフェースが表示可能な任意の他の形状の１つを備える。図７は、粗い表面７３０を有するボールの形態の仮想メッセージオブジェクトを示すディスプレイ７２０を含むメッセージング装置７１０を示す。仮想メッセージオブジェクトは、例えば、サイズ、質量、形状、衝突、又はテクスチャ等の仮想オブジェクトの１つ以上の特徴を定義する仮想物理パラメータをさらに備える。仮想物理パラメータは、ユーザ又はプログラム自身によって修正されてもよい。この例示の実施形態では、プロセッサ１１０は、仮想メッセージング環境内の仮想メッセージオブジェクトとの相互作用に関連付けられる信号を受信する。次に、プロセッサ１１０は、仮想メッセージング環境内の仮想メッセージオブジェクトとの相互作用に関連付けられる信号を受信する。プロセッサ１１０は、仮想メッセージオブジェクトとの相互作用のモード及び仮想メッセージングオブジェクトとの相互作用に少なくとも部分的に基づいて触覚効果を決定してもよい。

【0048】

例えば、一実施形態では、グラフィカルユーザインターフェースは、仮想メッセージング環境及び風船の形態の仮想メッセージオブジェクトを表示する。風船は、サイズ、形状、及び衝突挙動を定義する仮想物理パラメータを含む。次に、プロセッサは、相互作用の能動モードに関連付けられる信号を受信して、ユーザが風船を突き刺すことに関連付けられる信号をさらに受信してもよい。プロセッサは、相互作用のモード及び相互作用、この場合は相互作用の能動モード及び突き刺し相互作用に少なくとも部分的に基づいて触覚効果を計算するであろう。次に、プロセッサは、触覚効果を出力するように構成されるアクチュエータに計算された触覚信号を送信するであろう。触覚効果は、例えば、仮想風船の破裂を表す信号であってもよい。プロセッサは、仮想風船が破裂すると、仮想メッセージの送信のような仮想メッセージオブジェクトでのアクションをさらに実行してもよい。

【0049】

（相互作用の受動及び能動モード間における触覚フィードバック機能の転換の例示）
図３は、本発明の１実施形態による受動及び能動モード間で触覚フィードバック機能を転換する例示である。図３では、メッセージング装置３０２は、シフトボタン３０４及びタッチスクリーン３０６を備える。メッセージング装置３０２は、タッチスクリーン３０６上に示される仮想環境３１０のようなグラフィカルユーザインターフェースを生成する。

【0050】

図３に示されるように、グラフィカルユーザインターフェース３１０は、ボールの形態の１個の仮想オブジェクト３１２を備える。他の実施形態では、グラフィカルユーザインターフェースは、０又は１個以上の仮想オブジェクトを含んでもよい。オブジェクトが表示されない場合、ディスプレイの背景は、それ自体の機能及びテクスチャプロファイルを有してもよい。仮想オブジェクトが表示される場合、各仮想オブジェクトは、仮想物理パラメータを備える。仮想物理パラメータは、例えば、サイズ、形状、質量、衝突挙動、又はテクスチャ等の仮想オブジェクトの１つ以上の特徴を含んでもよい。物理パラメータは、仮想オブジェクトのユーザ及び他の仮想オブジェクトとの相互作用を定義する摩擦及び／又はテクスチャプロファイルをさらに有してもよい。例えば、仮想ボールの摩擦プロファイルは、回転又は弾性プロファイルを含んでもよい。そして、仮想ボールのテクスチャフィードバックプロファイルは、やや粗い又は粘着性の表面を備えてもよい。プロセッサは、仮想オブジェクトの摩擦プロファイル及び／又はテクスチャプロファイルに少なくとも部分的に基づいて触覚効果を決定してもよい。

【0051】

各仮想オブジェクトは、１つ以上の仮想物理パラメータを備えてもよい。仮想物理パラメータは、サイズ、質量、形状、衝突挙動、テクスチャ、又は視覚表示を含むことが出来る。幾つかのシナリオでは、仮想オブジェクトは、例えば、テキストメッセージ、ファイルメッセージ、又は音声メール等のメッセージを表す。仮想オブジェクトの仮想物理パラメータは、仮想オブジェクトが表すデータの種類に少なくとも部分的に基づいてもよい。一例では、仮想オブジェクトは、ショートテキストメッセージを表してもよく、弾性がなく砕けやすくもない軽くて薄い円筒状オブジェクトを含んでもよい。長いビデオファイルを表す仮想オブジェクトは、ひび割れする長くて重い楕円形オブジェクトを含んでもよい。

【0052】

摩擦プロファイル及び／又はテクスチャプロファイルは、仮想オブジェクトの仮想物理パラメータに少なくとも部分的に基づいてもよい。例えば、卵形仮想メッセージオブジェクトの摩擦プロファイルは、仮想卵が仮想環境内で移動するときのひび割れ又は破壊動作を決定してもよい。このように、仮想卵オブジェクトが仮想環境内で移動して割れ又は壊れると、仮想卵のひび割れ又は破壊をシミュレートする触覚フィードバック効果が、ある相互作用のモードで生成されてもよい。別の相互作用のモードでは、卵は、テクスチャの特徴を有する振動として表される滑らかな感触に感じられてもよい。

【0053】

仮想オブジェクトは、トークンを含んでもよい。トークンは、既定のパラメータを有する仮想オブジェクトの種類である。次に、ユーザは、トークンの特定のインスタンス化の追加のパラメータを定義してもよい。例えば、一実施形態では、トークンは、既定の摩擦及びテクスチャプロファイルを有するボールを含んでもよい。次に、ユーザは、例えば、ボールのサイズ及び色彩等の追加の特徴を定義してもよい。

【0054】

ユーザインターフェース３１０との相互作用の前に、相互作用のモードが選択されてもよい。例えば、シフトボタン３０４がユーザインターフェースとの相互作用のモードを選択するために使用されてもよい。図３に示されるように、シフトボタン３０４は押し下げられていない。シフトボタン３０４が押し下げられていない場合、ユーザインターフェース３１０は、ユーザがデフォルトとして定義した相互作用のモードのままでいてもよい。シフトボタン３０４が有効化されると、ユーザインターフェース３１０は、異なる相互作用のモードに切り替わってもよい。シフトボタン３０４は、押し下げられると、相互作用のモードの変更を示す信号を生成してもよい。メッセージング装置３０２のプロセッサ（図３には示されない）は、シフトボタン３０４から低信号を受信して、相互作用の受動モードが意図されていることを決定してもよい。高信号がシフトボタン３０４から受信されると、プロセッサは、相互作用の能動モードが意図されていることを決定してもよい。他の変形では、相互作用のデフォルトモードは、相互作用の能動モード又は他の何らかの相互作用のモードを含んでもよい。他の実施形態では、プロセッサは、相互作用のモードを制御して、ユーザ定義期間の後、ユーザ定義のデフォルトに相互作用のモードを戻してもよい。

【0055】

相互作用のモードが選択された後、ユーザは、タッチスクリーン３０６に接触することによって、ユーザインターフェース３１０及び／又は仮想オブジェクト３１２と相互作用してもよい。他の変形では、ユーザは、メッセージング装置を揺動させ、傾け、回転させ、又は移動させることによってユーザインターフェース３１０及び／又は仮想オブジェクト３１２と相互作用してもよい。例えば、一実施形態では、ディスプレイが仮想ボールを示してもよい。相互作用の能動モードでは、ユーザは、画面を傾けて、グラフィカルユーザインターフェース内で仮想ボールを転動させてもよい。装置は、仮想ボールがグラフィカルユーザインターフェースの境界に転がると触覚効果を出力してもよい。別の実施形態では、仮想ボールは、テキストメッセージ、Ｅメール、又は他の電子メッセージを表してもよい。メッセージを表す仮想ボールがグラフィカルユーザインターフェースの境界に転がる場合、装置は、仮想ボールがディスプレイから転がり落ちることによって、メッセージを送信することを可能にしてもよい。

【0056】

図３に示されるように、ユーザインターフェース３１０は、相互作用の最初のモードであって、ユーザは、矢印３２０及び矢印３２２によって示される方向にタッチスクリーン３０６をブラッシングし又は擦っている。例えば受動モード等の相互作用の第１のモードでは、仮想オブジェクト３１２のブラッシング又は打撃は、触覚フィードバックを介して仮想オブジェクト３１２のテクスチャプロファイルをメッセージング装置３０２にシミュレート又は描写させてもよい。プロセッサが仮想オブジェクト３１２との相互作用に関連付けられる信号を受信した後、プロセッサは、例えば、仮想オブジェクト３１２の表面、構成、及び／又は素材をシミュレートする振動等の仮想オブジェクト３１２のテクスチャプロファイルをシミュレートする触覚効果を決定する。次に、プロセッサは、触覚効果を生成するアクチュエータ（図３には示されない）に触覚信号を送信する。

【0057】

図４は、本発明の１実施形態による受動及び能動モード間で触覚フィードバック機能を転換する別の例示である。図４では、メッセージング装置４０２は、シフトボタン４０４及びタッチスクリーン４０６を備える。メッセージング装置４０２は、タッチスクリーン４０６上に示される仮想環境４１０のようなグラフィカルユーザインターフェースを表示する。ボールとして示される仮想オブジェクト４１２が、仮想環境４１０の中に示される。

【0058】

図４に示されるように、ユーザは、矢印４２４によって示される下向きの動作でシフトキー４０４を押し下げている。実質的に一緒に、又は実質的に同時に、ユーザは、矢印４２０及び矢印４２２で示される方向でタッチスクリーンに接触することによって、ユーザインターフェースに示される仮想オブジェクトを操作している。シフトボタンを押し下げることによって、ユーザは、図形オブジェクトとの相互作用の能動モードに装置を設定してもよい。相互作用の能動モードでは、図形オブジェクトは、「把持可能」になってもよい。このモードでは、装置は、オブジェクトと背景表面との間の摩擦を表す触覚フィードバックでタッチスクリーン上の指ジェスチャに応答してもよい。

【0059】

相互作用の受動モードでは、加速度計から受信される信号は、把持される仮想オブジェクトに影響を与えなくてもよい。しかし、相互作用の能動モードでは、加速度計の信号は、ユーザインターフェース４１０内の他の仮想オブジェクト（図４には示されない）に影響を与えてもよい。今度は、指ジェスチャは、仮想オブジェクト４１２の摩擦プロファイルを有効化してもよい。例えば、ユーザがシフトボタンを押し下げてタッチスクリーン上でフリックジェスチャを行う場合、プロセッサは、ユーザインターフェース内で図形オブジェクトを移動させて仮想環境と仮想オブジェクトとの間の摩擦を表す触覚効果を生成することによって応答してもよい。この計算は、仮想オブジェクト及び仮想環境の摩擦プロファイルに部分的に基づく。

【0060】

図３及び４に例示されたメッセージング装置は相互作用のモードの選択に関連付けられる信号をプロセッサに送信するためにシフトボタンを利用するが、他の方法及び／又は装置がこれを遂行するために使用されてもよい。一例として、前方にメッセージング装置を傾けることが相互作用の能動モードに関連付けられてもよく、後方にメッセージング装置を傾けることが相互作用の受動モードに関連付けられてもよい。別の例として、タッチスクリーン上のダブルクリックが相互作用の能動モードを選択してもよく、タッチスクリーン上のシングルクリックが相互作用の受動モードを選択してもよい。

【0061】

図５は、本発明の１実施形態による受動及び能動モード間で触覚フィードバック機能を転換する例示である。図５では、メッセージング装置５０２は、加速度計（図５には示されない）及びタッチスクリーン５０６を備える。メッセージング装置５０２は、タッチスクリーン５０６上に示される仮想環境５１０のようなグラフィカルユーザインターフェースを生成する。

【0062】

図５に示されるように、ユーザは、矢印５２０で示される円形の動作でメッセージング装置５０２を回転又は移動させている。センサは、円形の動作を検出した後、プロセッサ（図５には示されない）に信号を送信する。プロセッサは、センサの信号を受信して、円形の動作が相互作用のモードの変更に関連付けられることを決定する。

【0063】

装置を既定の方式で移動させた後、ユーザインターフェースは、相互作用の能動モードから受動モードへ、又は相互作用の受動モードから能動モードへと転換してもよい。ユーザインターフェースが相互作用のモードを転換した後、ユーザは、相互作用の新しいモードによってユーザインターフェースと相互作用してもよい。

【0064】

図６は、本発明の１実施形態による受動及び能動モード間で触覚フィードバック機能を転換する例示である。図６では、メッセージング装置６０２は、加速度計（図６には示されない）及びタッチスクリーン６０６を備える。メッセージング装置６０２は、タッチスクリーン６０６上に示される仮想環境６１０のようなグラフィカルユーザインターフェースを生成する。

【0065】

図６に示されるように、ユーザは、矢印６２０で示される円形の動作でメッセージング装置６０２を揺さぶり又は揺動させている。センサは、揺さぶり動作を検出した後、プロセッサ（図６には示されない）に信号を送信する。プロセッサは、センサの信号を受信して、揺さぶり動作が相互作用のモードの変更に関連付けられることを決定する。

【0066】

装置を既定の方式で運動させた後、ユーザインターフェースは、相互作用の受動モードから能動モードへ、又は相互作用の能動モードから受動モードへと転換してもよい。相互作用のモードの切り替え後、ユーザは、相互作用の新しいモードによってグラフィカルユーザインターフェースと相互作用してもよい。例えば、一実施形態では、ユーザは、Ｅメールを打ち込んでいる間、相互作用の受動モードを選択してもよい。次に、Ｅメールの送信を希望して、ユーザは、装置を既定の方式で回転又は移動させて、装置を相互作用の能動モードに切り替えてもよい。このモードでは、Ｅメールはディスプレイ上に仮想ボールとして示されてもよい。次に、ユーザは、Ｅメールを送信するためにボールをフリックしてもよい。このアクションは、プロセッサが仮想ボールの重量を表す衝撃を生成する触覚信号を計算することを引き起こしてもよい。次に、仮想ボールがディスプレイ外に移動すると、装置はＥメールを送信する。次に、ユーザは、装置を元の相互作用の受動モードに切り替えるために、別の既定の方式で装置を回転又は移動させてもよい。

【0067】

本発明の実施形態は、デジタル電子回路で、又はコンピュータハードウェア、ファームウェア、ソフトウェア、又はこれらの組み合わせで実装され得る。一実施形態では、コンピュータは、１つ又は複数のプロセッサを備えてもよい。プロセッサは、例えば、プロセッサに結合されるＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）等のコンピュータ可読媒体を備える。プロセッサは、例えば、メッセージング用の１つ以上のコンピュータプログラムを実行するように、メモリに記憶されるコンピュータ実行可能プログラム命令を実行する。このようなプロセッサは、マイクロプロセッサ、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、及び状態機械を備えてもよい。このようなプロセッサは、ＰＬＣ、ＰＩＣ（ｐｒｏｇｒａｍｍａｂｌｅ ｉｎｔｅｒｒｕｐｔ ｃｏｎｔｒｏｌｌｅｒ）、ＰＬＤ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＰＲＯＭ又はＥＥＰＲＯＭ（ｅｌｅｃｔｒｏｎｉｃａｌｌｙ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、又は他の類似の装置等のプログラム可能電子装置をさらに備えてもよい。

【0068】

このようなプロセッサは、プロセッサによって実行されるときに、プロセッサによって実行され又は支援される本明細書に記載のステップをプロセッサに実行させ得る命令を記憶し得る媒体、例えばコンピュータ可読媒体を備え又はそれと連通してもよい。コンピュータ可読媒体の実施形態は、限定されないが、電子、光学、磁気、又は他の記憶装置若しくはコンピュータ可読命令をウェブサーバ内のプロセッサ等のプロセッサに提供可能な伝送装置を備えてもよい。媒体の他の例は、限定されないが、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読取り可能な任意の他の媒体を含む。また、様々な他の装置は、例えば、ルータ、プライベート若しくはパブリックネットワーク、又は他の伝送装置等のコンピュータ可読媒体を含んでもよい。記載されたプロセッサ及び処理は共に、１つ以上の構造内にあってもよく、及び／又は分散されてもよい。プロセッサは、本明細書に記載の１つ以上の方法（又は方法の一部）を実行するためのコードを備えてもよい。

【0069】

（総説）
好ましい実施形態を含む本発明の実施形態の上記の説明は、例示及び説明目的で提示されているに過ぎず、網羅的であること又は本発明を記載された厳密な形態に限定することは意図されていない。本発明の精神及び範囲から逸脱することなく、それらの多くの変更及び適合が当業者には明らかであろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【手続補正書】

【提出日】2018年2月2日

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

仮想環境内のオブジェクトとの相互作用のモードに関連付けられる第１のセンサ信号を出力するように構成される第１のセンサと、
前記オブジェクトとユーザの相互作用に関連付けられる第２のセンサ信号を出力するように構成される第２のセンサと、
前記オブジェクト、前記相互作用のモード及び前記ユーザの相互作用に少なくとも部分的に基づいて触覚効果を決定し、且つ前記触覚効果に関連付けられる触覚信号を生成するように構成されるプロセッサと
を備え、
前記相互作用のモードは、相互作用の受動モード及び相互作用の能動モードを含む、電子装置。

【請求項2】

前記第１のセンサ信号は、相互作用の能動モードから相互作用の受動モードに変更することに関連付けられる、請求項１に記載の電子装置。

【請求項3】

前記第１のセンサ信号は、相互作用の受動モードから相互作用の能動モードに変更することに関連付けられる、請求項１に記載の電子装置。

【請求項4】

前記ユーザの相互作用は、前記仮想環境に表示される１つ以上のオブジェクトとの相互作用を含む、請求項１に記載の電子装置。

【請求項5】

前記相互作用のモードは相互作用の能動モードを含み、前記触覚効果は前記オブジェクトの仮想重量に関連付けられる効果を含む、請求項４に記載の電子装置。

【請求項6】

前記相互作用のモードは相互作用の受動モードを含み、前記触覚効果は前記オブジェクトの１つ以上の表面特徴に関連付けられる効果を含む、請求項４に記載の電子装置。

【請求項7】

仮想環境内のオブジェクトとの相互作用のモードに関連付けられる第１の信号を受信するステップと、
前記オブジェクトとユーザの相互作用に関連付けられる第２の信号を受信するステップと、
前記オブジェクト、前記相互作用のモード及び前記ユーザの相互作用に少なくとも部分的に基づいて触覚効果を決定するステップと、
前記触覚効果に関連付けられる触覚信号を生成するステップと
を含み、
前記相互作用のモードは、相互作用の受動モード及び相互作用の能動モードを含む、方法。

【請求項8】

前記第１の信号は、相互作用の能動モードから相互作用の受動モードに変更することに関連付けられる、請求項７に記載の方法。

【請求項9】

前記第１の信号は、相互作用の受動モードから相互作用の能動モードに変更することに関連付けられる、請求項７に記載の方法。

【請求項10】

前記第１の信号は、所定期間の後、デフォルト設定に戻るように制御される、請求項７に記載の方法。

【請求項11】

前記第１の信号は、電子装置の１つ以上の方向又は運動を検出するように構成されるセンサから受信される、請求項７に記載の方法。

【請求項12】

前記ユーザの相互作用は、接触面との相互作用を含む、請求項７に記載の方法。

【請求項13】

前記ユーザの相互作用は、前記仮想環境に表示される１つ以上のオブジェクトとの相互作用を更に含む、請求項１２に記載の方法。

【請求項14】

前記相互作用のモードは相互作用の能動モードを含み、前記触覚効果は前記オブジェクトの仮想重量に関連付けられる効果を含む、請求項１３に記載の方法。

【請求項15】

前記相互作用のモードは相互作用の受動モードを含み、前記触覚効果は前記オブジェクトの１つ以上の表面特徴に関連付けられる効果を含む、請求項１３に記載の方法。

【請求項16】

前記第２の信号は、電子装置の１つ以上の方向又は運動を検出するように構成されるセンサから受信される、請求項７に記載の方法。

【請求項17】

前記ユーザの相互作用は、前記電子装置を傾け、揺動し、回転し、又は移動することの１つ以上を含む、請求項１６に記載の方法。

【請求項18】

プログラムコードを含む非一時的なコンピュータ可読媒体であって、
前記プログラムコードは、プロセッサによって実行されると、前記プロセッサに
仮想環境内のオブジェクトとの相互作用のモードに関連付けられる第１の信号を受信させること、
前記オブジェクトとユーザの相互作用に関連付けられる第２の信号を受信すること、
前記オブジェクト、前記相互作用のモード及び前記ユーザの相互作用に少なくとも部分的に基づいて触覚効果を決定すること、及び
前記触覚効果に関連付けられる触覚信号を生成すること
を行わせるように構成され、
前記相互作用のモードは、相互作用の受動モード及び相互作用の能動モードを含む、非一時的なコンピュータ可読媒体。

【請求項19】

前記第１の信号は、相互作用の能動モードから相互作用の受動モードに変更することに関連付けられる、請求項１８に記載の非一時的なコンピュータ可読媒体。

【請求項20】

前記第１の信号は、相互作用の受動モードから相互作用の能動モードに変更することに関連付けられる、請求項１８に記載の非一時的なコンピュータ可読媒体。

【外国語明細書】

2018088260000001.pdf