特許第5779508号(P5779508)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ イマージョン コーポレーションの特許一覧

特許5779508テクスチャエンジン用のシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5779508
(24)【登録日】2015年7月17日
(45)【発行日】2015年9月16日
(54)【発明の名称】テクスチャエンジン用のシステム及び方法
(51)【国際特許分類】
   A63F 13/285 20140101AFI20150827BHJP
   A63F 13/2145 20140101ALI20150827BHJP
   A63F 13/218 20140101ALI20150827BHJP
   A63F 13/52 20140101ALI20150827BHJP
   A63F 13/92 20140101ALI20150827BHJP
【FI】
   A63F13/285
   A63F13/2145
   A63F13/218
   A63F13/52
   A63F13/92
【請求項の数】23
【全頁数】23
(21)【出願番号】特願2011-554180(P2011-554180)
(86)(22)【出願日】2010年3月11日
(65)【公表番号】特表2012-520137(P2012-520137A)
(43)【公表日】2012年9月6日
(86)【国際出願番号】US2010026909
(87)【国際公開番号】WO2010105012
(87)【国際公開日】20100916
【審査請求日】2013年1月8日
(31)【優先権主張番号】61/159,482
(32)【優先日】2009年3月12日
(33)【優先権主張国】US
(31)【優先権主張番号】61/262,041
(32)【優先日】2009年11月17日
(33)【優先権主張国】US
(31)【優先権主張番号】61/262,038
(32)【優先日】2009年11月17日
(33)【優先権主張国】US
(31)【優先権主張番号】12/696,893
(32)【優先日】2010年1月29日
(33)【優先権主張国】US
(31)【優先権主張番号】12/696,900
(32)【優先日】2010年1月29日
(33)【優先権主張国】US
(31)【優先権主張番号】12/696,908
(32)【優先日】2010年1月29日
(33)【優先権主張国】US
(31)【優先権主張番号】12/697,010
(32)【優先日】2010年1月29日
(33)【優先権主張国】US
(31)【優先権主張番号】12/697,037
(32)【優先日】2010年1月29日
(33)【優先権主張国】US
(31)【優先権主張番号】12/697,042
(32)【優先日】2010年1月29日
(33)【優先権主張国】US
【前置審査】
(73)【特許権者】
【識別番号】500390995
【氏名又は名称】イマージョン コーポレーション
【氏名又は名称原語表記】IMMERSION CORPORATION
(74)【代理人】
【識別番号】100083806
【弁理士】
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100095500
【弁理士】
【氏名又は名称】伊藤 正和
(74)【代理人】
【識別番号】100111235
【弁理士】
【氏名又は名称】原 裕子
(72)【発明者】
【氏名】クルス−エルナンデス、 ファン マニュエル
(72)【発明者】
【氏名】グラント、 ダニー エイ.
【審査官】 武田 悟
(56)【参考文献】
【文献】 登録実用新案第3085481(JP,U)
【文献】 特開2005−78644(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A63F 13/00 − 13/98
G06F 3/01
(57)【特許請求の範囲】
【請求項1】
複数のピクセルを含む表示信号を受信し、タッチセンサ式インターフェースから前記複数のピクセルのグループを覆うディスプレイの場所におけるユーザ相互作用に関連付けられるインターフェース信号を受信し、少なくとも前記複数のピクセルのグループ及び前記インターフェース信号に基づいて、仮想オブジェクトを表すテクスチャを含む触覚効果を決定し、且つ前記触覚効果に関連付けられる触覚信号を送信するように構成されるプロセッサと、
前記プロセッサと通信するアクチュエータであって、前記触覚信号を受信して前記触覚効果を出力するように構成されるアクチュエータと
を備え、
前記複数のピクセルの各々は、色彩に関連付けられ、各色彩は、強度を含み、各ピクセルにおける前記色彩の強度が各ピクセルにおける前記触覚効果の強度に関連付けられ、前記触覚効果は前記複数のピクセルのグループにおいて色彩ごとに決定されることを特徴とするシステム。
【請求項2】
前記テクスチャは、振動触覚効果であることを特徴とする、請求項1に記載のシステム。
【請求項3】
前記テクスチャは、砂、トカゲの皮、又は煉瓦のテクスチャを含むことを特徴とする、請求項1に記載のシステム。
【請求項4】
前記アクチュエータは、偏心回転質量モータ、リニア共振アクチュエータ、形状記憶合金、電気活性ポリマ又は圧電アクチュエータの1つを含むことを特徴とする、請求項1に記載のシステム。
【請求項5】
前記触覚効果は、前記表示信号に少なくとも部分的に基づいて決定されることを特徴とする、請求項1に記載のシステム。
【請求項6】
前記触覚効果を決定することは、前記色彩に触覚値を割り当てることを含むことを特徴とする、請求項5に記載のシステム。
【請求項7】
前記触覚効果を決定することは、前記複数のピクセルの一部にのみ触覚値を割り当てることを含むことを特徴とする、請求項6に記載のシステム。
【請求項8】
前記触覚効果を決定することは、前記色彩の強度に対応するように前記触覚値を調節することをさらに含むことを特徴とする、請求項6に記載のシステム。
【請求項9】
前記ディスプレイは、前記プロセッサと通信記表示信号を受信して、画像を出力するように構成されることを特徴とする、請求項1に記載のシステム。
【請求項10】
前記テクスチャは、前記ディスプレイの表面上に出力されることを特徴とする、請求項9に記載のシステム。
【請求項11】
前記アクチュエータは、前記ディスプレイに結合されることを特徴とする、請求項9に記載のシステム。
【請求項12】
前記アクチュエータ及び前記プロセッサを取り囲むように構成される筐体をさらに備えることを特徴とする、請求項1に記載のシステム。
【請求項13】
前記筐体は、移動装置の筐体を含むことを特徴とする、請求項12に記載のシステム。
【請求項14】
前記アクチュエータは、前記筐体に結合されることを特徴とする、請求項12に記載のシステム。
【請求項15】
前記タッチセンサ式インターフェースは、ユーザ相互作用を検出して、前記ユーザ相互作用に少なくとも部分的に基づいて前記プロセッサにセンサ信号を送信するように構成されることを特徴とする、請求項1に記載のシステム。
【請求項16】
前記プロセッサは、前記センサ信号に少なくとも部分的に基づいて前記触覚効果を決定するようにさらに構成されることを特徴とする、請求項15に記載のシステム。
【請求項17】
前記タッチセンサ式インターフェースは、前記ユーザ相互作用の速度を検出するように構成され、前記触覚効果を決定することは、前記ユーザ相互作用の前記速度に対応するように前記触覚効果を調節することを含むことを特徴とする、請求項16に記載のシステム。
【請求項18】
前記タッチセンサ式インターフェースは、前記ユーザ相互作用の圧力を検出するように構成され、前記触覚効果を決定することは、前記ユーザ相互作用の前記圧力に対応するように前記触覚効果の強度を調節することを含むことを特徴とする、請求項16に記載のシステム。
【請求項19】
触覚効果を出力するための方法であって、
複数のピクセルを含む表示信号を受信するステップと、
タッチセンサ式インターフェースから前記複数のピクセルのグループを覆うディスプレイの場所におけるユーザ相互作用に関連付けられるインターフェース信号を受信するステップと、
少なくとも前記複数のピクセルのグループ及びインターフェース信号に基づいて、仮想オブジェクトを表すテクスチャを含む触覚効果を決定するステップと、
アクチュエータに前記触覚効果に関連付けられる触覚信号を送信するステップであって、前記アクチュエータは前記触覚信号を受信して前記触覚効果を出力するように構成されるステップと
を備え、
前記複数のピクセルの各々は、色彩に関連付けられ、各色彩は、強度を含み、各ピクセルにおける前記色彩の強度が各ピクセルにおける前記触覚効果の強度に関連付けられ、前記触覚効果は前記複数のピクセルのグループにおいて色彩ごとに決定されることを特徴とする方法。
【請求項20】
前記触覚効果は、前記表示信号に少なくとも部分的に基づいて決定されることを特徴とする、請求項19に記載の方法。
【請求項21】
前記触覚効果を決定するステップは、各色彩に触覚値を割り当てることを含むことを特徴とする、請求項20に記載の方法。
【請求項22】
前記触覚効果を決定するステップは、前記触覚値を前記色彩の強度と関連付けることをさらに含むことを特徴とする、請求項20に記載の方法。
【請求項23】
ユーザ相互作用を検出して前記ユーザ相互作用に対応する信号を送信するように構成されるタッチセンサ式インターフェースであって、前記ユーザ相互作用の速度及び圧力を検出するように構成されるタッチセンサ式インターフェースと、
前記タッチセンサ式インターフェースと通信するプロセッサであって、各々が色彩及び強度を含む複数のピクセルを含む表示信号を受信し、前記ユーザ相互作用に関連付けられるディスプレイの場所における前記複数のピクセルのグループの前記色彩及び強度並びに前記ユーザ相互作用の前記速度及び圧力に少なくとも部分的に基づいて触覚効果を決定し、且つ前記触覚効果に関連付けられる触覚信号を送信するように構成されるプロセッサと、
前記プロセッサと通信するアクチュエータであって、前記触覚信号を受信して前記触覚効果を出力するように構成されるアクチュエータと
を備え、
各ピクセルにおける前記色彩の強度が各ピクセルにおける前記触覚効果の強度に関連付けられ、前記触覚効果は前記複数のピクセルのグループにおいて色彩ごとに決定されることを特徴とするシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、一般に、触覚フィードバックに関し、より詳細には、テクスチャエンジン用のシステム及び方法に関する。
【0002】
(関連出願への相互参照)
本特許出願は、2009年3月12日に提出された“Locating Features Using a Friction Display”と題された米国仮特許出願第61/159,482号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
【0003】
本特許出願は、2009年11月17日に提出された“System and Method for Increasing Haptic Bandwidth in an Electronic Device”と題された米国仮特許出願第61/262,041号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
【0004】
本特許出願は、2009年11月17日に提出された“Friction Rotary Device for Haptic Feedback”と題された米国仮特許出願第61/262,038号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
【0005】
本特許出願は、2010年1月29日に提出された“Systems And Methods For Providing Features In A Friction Display”と題された米国特許出願第12/696,893号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
【0006】
本特許出願は、2010年1月29日に提出された“Systems And Methods For Friction Displays And Additional Haptic Effects”と題された米国特許出願第12/696,900号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
【0007】
本特許出願は、2010年1月29日に提出された“Systems And Methods For Interfaces Featuring Surface−Based Haptic Effects”と題された米国特許出願第12/696,908号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
【0008】
本特許出願は、2010年1月29日に提出された“Systems And Methods For A Texture Engine”と題された米国特許出願第12/697,010号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
【0009】
本特許出願は、2010年1月29日に提出された“Systems And Methods For Using Textures In Graphical User Interface Widgets”と題された米国特許出願第12/697,037号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
【0010】
本特許出願は、2010年1月29日に提出された“Systems And Methods For Using Multiple Actuators To Realize Textures”と題された米国特許出願第12/697,042号への優先権を主張する。その開示の全体は参照により本明細書に組み込まれる。
【背景技術】
【0011】
過去数年にわたり、あらゆる種類のハンドヘルド装置の使用が急増している。こうした装置は、携帯型オーガナイザ、電話、音楽プレーヤ、及びゲームシステムとして使用されている。現在、多くの最新式ハンドヘルド装置は、何らかの種類の触覚フィードバックを組み込んでいる。触覚技術が進歩するにつれて、装置はテクスチャをシミュレートする触覚フィードバックを組み込んでもよい。従って、触覚テクスチャエンジンが必要とされる。
【発明の概要】
【0012】
本発明の実施形態は、テクスチャエンジン用のシステム及び方法を提供する。例えば、一実施形態では、テクスチャエンジン用のシステムは、複数のピクセルを含む表示信号を受信し、テクスチャを含む触覚効果を決定し、プロセッサと通信するアクチュエータに触覚効果に関連付けられる触覚信号を送信するように構成されるプロセッサを備え、アクチュエータは触覚信号を受信して触覚効果を出力するように構成される。
【0013】
この例示の実施形態は、本発明を限定又は定義するのではなく、その理解を容易にする例示を提供するために言及される。例示の実施形態は、発明の詳細な説明において検討され、そこでは発明のさらなる説明が提供される。本発明の多様な実施形態によって提供される利点は、本明細書を吟味することでさらに理解され得る。
【図面の簡単な説明】
【0014】
本発明のこれらの及び他の特徴、態様、及び利点は、添付の図面を参照して以下の詳細な説明を読めば、よりよく理解される。
図1】本発明の一実施形態によるテクスチャエンジン用のシステムのブロック図である。
図2】本発明の一実施形態によるテクスチャエンジン用のシステムの例示である。
図3a】本発明の一実施形態によるテクスチャエンジン用のシステムの例示である。
図3b】本発明の一実施形態によるテクスチャエンジン用のシステムの例示である。
図4】本発明の一実施形態によるテクスチャエンジン用の方法の流れ図である。
図5a】本発明の一実施形態によりテクスチャエンジンが生成し得るテクスチャの1つの例示である。
図5b】本発明の一実施形態によりテクスチャエンジンが生成し得るテクスチャの1つの別の例示である。
図5c】本発明の一実施形態によりテクスチャエンジンが生成し得るテクスチャの1つの別の例示である。
図5d】本発明の一実施形態によりテクスチャエンジンが生成し得るテクスチャの1つの別の例示である。
図5e】本発明の一実施形態によりテクスチャエンジンが生成し得るテクスチャの1つの別の例示である。
図5f】本発明の一実施形態によりテクスチャエンジンが生成し得るテクスチャの1つの別の例示である。
図5g】本発明の一実施形態によりテクスチャエンジンが生成し得るテクスチャの1つの別の例示である。
図5h】本発明の一実施形態によりテクスチャエンジンが生成し得るテクスチャの1つの別の例示である。
【発明を実施するための形態】
【0015】
本発明の実施形態は、テクスチャエンジン用のシステム及び方法を提供する。
【0016】
(テクスチャエンジンの例示的な実施形態)
本発明の例示の実施形態は、例えば、携帯電話等のメッセージング装置を含む。例示の実施形態では、メッセージング装置は、以前はImmersion社のVibeTonz(R)振動触覚フィードバックシステムとして知られていた、Immersion社のTouchSense(R)3000、TouchSense(R)4000、又は TouchSense(R)5000という振動触覚フィードバックシステムを搭載したSamsung Haptic Phone(SCH−W420)を含む。他の実施形態では、異なるメッセージング装置及び触覚フィードバックシステムが利用されてもよい。
【0017】
例示のメッセージング装置は、ディスプレイ、スピーカ、ネットワークインターフェース、メモリ、及びこうした各要素と通信するプロセッサを備える。また、例示のメッセージング装置は、タッチセンサ式インターフェース及びアクチュエータも備える。これらは共にプロセッサと通信する。タッチセンサ式インターフェースは、メッセージング装置とユーザの相互作用を感知するように構成され、アクチュエータは、触覚効果を出力するように構成される。例示のメッセージング装置は、ユーザ相互作用を検出してユーザ相互作用に関連付けられるインターフェース信号をプロセッサに送信するように構成される操作子をさらに備えてもよい。
【0018】
例示のメッセージング装置において、ディスプレイは、ユーザに対してグラフィカルユーザインターフェースを表示するように構成される。グラフィカルユーザインターフェースは、仮想オブジェクト、例えば、アイコン、ボタン、又は仮想キーボードを含んでもよい。例示のメッセージング装置は、例えば、ディスプレイの上に搭載されたタッチスクリーン等のタッチセンサ式インターフェースをさらに備える。タッチセンサ式インターフェースは、ユーザがグラフィカルユーザインターフェースに表示された仮想オブジェクトと相互作用することを可能にする。例えば、一実施形態では、グラフィカルユーザインターフェースは、仮想キーボードを備えてもよい。このような実施形態では、タッチセンサ式インターフェースは、ユーザが仮想キーボード上のキーに触れてキーに関連付けられる英数字を入力することを可能にする。この機能性は、メッセージをタイプし、又はグラフィカルユーザインターフェース内のオブジェクトと相互作用するために使用されてもよい。
【0019】
例示のメッセージング装置において、プロセッサは、触覚効果を決定して、触覚効果を出力するように構成されるアクチュエータに触覚効果に対応する触覚信号を送信するように構成される。例示のメッセージング装置において、触覚効果は、タッチセンサ式インターフェースの表面でユーザが感じるテクスチャをシミュレートする。シミュレートされるテクスチャは、ディスプレイ上に示されるユーザインターフェースに関連付けられてもよい。例えば、ディスプレイは、岩の形状を含むアイコンを示してもよい。このような実施形態では、プロセッサは、タッチセンサ式インターフェースの表面上で岩のテクスチャをシミュレートするように構成される触覚効果を決定してもよい。次に、プロセッサは、触覚効果を出力するように構成されるアクチュエータに触覚信号を送信するであろう。アクチュエータは、触覚信号を受信すると、タッチセンサ式インターフェースの表面を岩のテクスチャに近似させるように構成される周波数で振動のような触覚効果を出力するであろう。
【0020】
例示の実施形態では、プロセッサは、触覚効果を決定するために触覚マップを実装してもよい。例えば、例示の実施形態では、プロセッサは、各々が色彩に関連付けられる複数のピクセルを含む表示信号を受信してもよい。例えば、例示の実施形態では、表示信号における各ピクセルは、赤、緑又は青の色彩に関連付けられてもよく、さらに色彩ごとの強度に関連付けられてもよい。例示の実施形態では、プロセッサは、各色彩に対して触覚値を割り当て、さらに各色彩の強度に関連付けられる触覚強度を割り当てるであろう。次に、プロセッサは、触覚効果を出力するように構成されるアクチュエータに触覚値及び触覚強度を含む触覚信号を送信するであろう。
【0021】
例示の実施形態では、プロセッサは、さらに外部トリガに基づいて触覚効果を決定してもよい。例えば、例示の実施形態では、プロセッサは、ユーザ相互作用を検出するように構成されるタッチセンサ式インターフェースからインターフェース信号を受信するように構成される。次に、例示の実施形態では、プロセッサは、インターフェース信号に少なくとも部分的に基づいて触覚効果を決定するであろう。例えば、プロセッサは、インターフェース信号に少なくとも部分的に基づいて触覚値又は触覚強度を修正してもよい。例示の実施形態では、タッチセンサ式インターフェースが高速又は高圧のユーザ相互作用を検出する場合、プロセッサはより高強度の触覚効果を決定するであろう。
【0022】
例示のメッセージング装置は、多くの目的で触覚効果を出力してもよい。例えば、一実施形態では、触覚効果は、ユーザ相互作用に関連付けられるインターフェース信号をプロセッサが受信したことの確認として作用してもよい。例えば、グラフィカルユーザインターフェースは、ボタンを含んでもよく、タッチセンサ式インターフェースは、ボタンを押すことに関連付けられたユーザ相互作用を検出して、プロセッサにインターフェース信号を送信してもよい。これに応じて、プロセッサは、インターフェース信号を受信したことを確認するための触覚効果を決定してもよい。このような実施形態では、触覚効果は、タッチセンサ式インターフェースの表面でテクスチャをユーザに感知させてもよい。例示の実施形態では、プロセッサは、他の目的で触覚効果をさらに決定してもよい。例えば、例示のメッセージング装置は、ユーザにディスプレイの境界を警告し、又はディスプレイの表面にあるアイコン等のオブジェクトに対する識別としてテクスチャを出力してもよい。
【0023】
この例示は、本明細書で検討される一般的な主題を読者に紹介するために与えられる。本発明は、この例示には限定されない。以下の段落は、テクスチャエンジン用のシステム及び方法の様々な追加の非限定的な実施形態及び例示を記載する。
【0024】
(テクスチャエンジン用の例示のシステム)
次に、複数の図面を通じて同様の番号が同様の要素を示す図面を参照すると、図1は、本発明の一実施形態によるテクスチャエンジンのためのシステムのブロック図である。図1に示されるように、システム100は、例えば、携帯電話、PDA(portable digital assistant)、携帯型メディアプレーヤ、携帯型コンピュータ、携帯型ゲーム装置又は他の何らかの移動装置等のメッセージング装置102を備える。幾つかの実施形態では、メッセージング装置102は、ラップトップ、タブレット、デスクトップPC、又は他の類似の装置を含んでもよい。さらに他の実施形態では、メッセージング装置は、PC又は他の何らかの装置と共に使用される外部モニタを含んでもよい。メッセージング装置102は、ネットワークインターフェース112、タッチセンサ式インターフェース114、ディスプレイ116、アクチュエータ118、スピーカ120、及びメモリ122と通信するプロセッサ110を備える。
【0025】
プロセッサ110は、メモリ122に記憶されるコンピュータ実行可能プログラム命令を実行するように構成される。例えば、プロセッサ110は、メッセージング又は触覚フィードバック生成のために1つ以上のコンピュータプログラムを実行してもよい。プロセッサ110は、マイクロプロセッサ、DSP(digital signal processor)、ASIC(application−specific integrated circuit)、1つ以上のFPGA(field programmable gate array)、又は状態機械を備えてもよい。プロセッサ110は、例えば、PLC(programmable logic controller)、PIC(programmable interrupt controller)、PLD(programmable logic device)、PROM(programmable read−only memory)、EPROM若しくはEEPROM(electronically programmable read only memory)、又は他の類似の装置等のプログラム可能電子装置をさらに備えてもよい。
【0026】
メモリ122は、プロセッサ110によって実行されると、本明細書に記載したような様々なステップをプロセッサ110に実行させる命令を記憶するコンピュータ可読媒体を含む。コンピュータ可読媒体の実施形態は、限定されないが、電子、光学、磁気、又はプロセッサ110にコンピュータ可読命令を提供可能な他の記憶装置若しくは伝送装置を含んでもよい。媒体の他の例は、限定されないが、フロッピー(登録商標)ディスク、CD−ROM、磁気ディスク、メモリチップ、ROM、RAM、ASIC、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読取り可能な任意の他の媒体を含む。さらに、様々な他の装置は、例えば、ルータ、プライベート若しくはパブリックネットワーク、又は他の伝送装置等のコンピュータ可読媒体を含んでもよい。プロセッサ110及び記載された処理は、1つ以上の構造内にあってもよく、1つ以上の構造にわたって分散されてもよい。
【0027】
プロセッサ110は、ネットワークインターフェース112と通信する。ネットワークインターフェース112は、例えば、赤外線、無線、Wi−Fi又はセルラネットワーク通信等の1つ以上の移動式通信方法を備えてもよい。他の変形では、ネットワークインターフェース112は、例えば、イーサネット(登録商標)等の有線ネットワークインターフェースを備える。メッセージング装置102は、例えば、セルラネットワーク及び/又はインターネット等のネットワークを介して他の装置(図示せず)とメッセージ又は仮想メッセージオブジェクトを交換するように構成され得る。装置間で交換されるメッセージの実施形態は、音声メッセージ、テキストメッセージ、データメッセージ、又は他の形態のデジタルメッセージを含んでもよい。
【0028】
また、プロセッサ110は、1つ以上のタッチセンサ式インターフェース114とも通信する。幾つかの実施形態では、タッチセンサ式インターフェース114は、タッチスクリーン又はタッチパッドを含んでもよい。例えば、幾つかの実施形態では、タッチセンサ式インターフェース114は、表示信号を受信してユーザに画像を出力するように構成されるディスプレイの上に搭載されるタッチスクリーンを含んでもよい。他の実施形態では、タッチセンサ式インターフェース114は、光学センサ又は別の種類のセンサを備えてもよい。一実施形態では、タッチセンサ式インターフェースは、LED検出器を備えてもよい。例えば、一実施形態では、タッチセンサ式インターフェース114は、ディスプレイ116の側部に取り付けられるLED指検出器を備えてもよい。幾つかの実施形態では、プロセッサは、単一のタッチセンサ式インターフェース114と通信し、他の実施形態では、プロセッサは、複数のタッチセンサ式インターフェース、例えば、第1のタッチスクリーン及び第2のタッチスクリーンと通信する。タッチセンサ式インターフェース114は、ユーザ相互作用を検出し、ユーザ相互作用に基づいて、プロセッサ110に信号を送信するように構成される。幾つかの実施形態では、タッチセンサ式インターフェース114は、複数の態様のユーザ相互作用を検出するように構成されてもよい。例えば、タッチセンサ式インターフェース114は、ユーザ相互作用の速度及び圧力を検出して、この情報をインターフェース信号に組み込んでもよい。
【0029】
また、図1に示される実施形態では、プロセッサ110は、ディスプレイ116とも通信する。プロセッサ110は、ディスプレイ116に示されるユーザインターフェースの図形表現を生成して、ディスプレイ116にこの図形表現を含む表示信号を送信するように構成され得る。他の実施形態では、ディスプレイ116は、別の装置から表示信号を受信するように構成される。例えば、幾つかの実施形態では、ディスプレイ116は、コンピュータモニタ等の外部ディスプレイを含んでもよい。ディスプレイ116は、表示信号を受信して、その表示信号に関連付けられる画像を出力するように構成される。幾つかの実施形態では、表示信号はVGA、HDMI、SVGA、VIDEO、S−VIDEO、又は当技術分野で周知の他の種類の表示信号を含んでもよい。幾つかの実施形態では、ディスプレイ116は、例えば、LCD(Liquid Crystal Display)又はプラズマスクリーンディスプレイ等のフラットスクリーンディスプレイを含む。他の実施形態では、ディスプレイ116は、CRT(Cathode Ray Tube)、又は当技術分野で周知の他の種類のディスプレイを含む。さらに他の実施形態では、ディスプレイ116は、タッチセンサ式インターフェース114を含んでもよく、例えば、ディスプレイ116は、タッチスクリーンLCDを含んでもよい。さらに他の実施形態では、ディスプレイ116は、フレキシブルスクリーン又はフレキシブルディスプレイを含んでもよい。例えば、幾つかの実施形態では、ディスプレイ116は、その表面の下側に取り付けられる触角基板を備えてもよい。このような実施形態では、ディスプレイ116は可撓性材料から作られ、プロセッサ110から受信される信号に応答して、触覚基板が曲がることで、ディスプレイ116の表面に隆起、谷間、又は他の特徴を形成する。幾つかの実施形態では、触覚基板は、プラズマアクチュエータ、圧電性アクチュエータ、電気活性ポリマ、微小電気機械システム、形状記憶合金、流体グリッド又はガス充填セルを含んでもよい。
【0030】
幾つかの実施形態では、プロセッサ110は、ディスプレイ116に示されるグラフィカルユーザインターフェースとの相互作用に関連付けられる信号をタッチセンサ式インターフェース114から受信する。例えば、一実施形態では、タッチセンサ式インターフェース114は、タッチスクリーンを含んでもよく、ディスプレイ116上のグラフィカルユーザインターフェースは、仮想キーボードを含んでもよい。このような実施形態では、ユーザが仮想キーボードのキーの1つと重なるタッチスクリーンの一部と相互作用すると、タッチスクリーンは、このユーザ相互作用に対応するインターフェース信号をプロセッサ110に送信するであろう。このインターフェース信号に基づいて、プロセッサ110は、ユーザが仮想キーボード上でキーの1つを押したことを決定するであろう。この機能性は、ユーザがディスプレイ116上の他のアイコン及び仮想オブジェクトと相互作用することを可能にする。例えば、幾つかの実施形態では、ユーザは、タッチスクリーンをフリックして、仮想ボールを移動させ又は仮想つまみを回してもよい。
【0031】
また、図1に示されるように、プロセッサ110は、1つ以上のアクチュエータ118、各アクチュエータ用のサスペンションシステム、並びに各アクチュエータ用の電力及び制御配線を備える作動システムとも通信する。幾つかの実施形態では、メッセージング装置102は、1つ以上の作動システムを備える。プロセッサ110は、触覚効果を決定して、その触覚効果に対応する触覚信号をアクチュエータ118に送信するように構成される。幾つかの実施形態では、触覚効果は、ディスプレイ116、タッチセンサ式インターフェース114、又はメッセージング装置102の筐体の表面で感知される振動触覚テクスチャを含む。幾つかの実施形態では、触覚効果を決定することは、一連の計算を実行することを含んでもよい。他の実施形態では、触覚効果を決定することは、ルックアップテーブルにアクセスすることを含んでもよい。さらに他の実施形態では、触覚効果を決定することは、ルックアップテーブルとアルゴリズムとの組み合わせを含んでもよい。
【0032】
幾つかの実施形態では、触覚効果を決定することは、触覚マップを含んでもよい。このような実施形態では、触覚効果を決定することは、表示信号をアクチュエータにマッピングすることを含んでもよい。例えば、表示信号は、各々が色彩に関連付けられる複数のピクセルを含んでもよい。このような実施形態では、各ピクセルは、赤、緑又は青の色彩に関連付けられてもよい。さらに各色彩は、強度、例えば、1−8の強度に関連付けられてもよい。このような実施形態では、触覚効果を決定することは、各色彩に触覚効果を割り当てることを含んでもよい。幾つかの実施形態では、触覚効果は、動作の方向及び強度を含んでもよい。例えば、一実施形態では、触覚信号は、回転アクチュエータを半分の力で時計回りに回転させるように構成されてもよい。幾つかの実施形態では、動作の強度は、色彩の強度に関連付けられてもよい。プロセッサ110は、触覚効果を決定すると、触覚効果を含む触覚信号を送信する。幾つかの実施形態では、プロセッサ110は、表示信号における一部のピクセルのみに触覚効果を割り当ててもよい。例えば、このような実施形態では、触覚効果は、表示信号の一部のみに関連付けられてもよい。
【0033】
幾つかの実施形態では、プロセッサ110は、触覚マップを利用して触覚効果を決定し、それからディスプレイ116に表示信号を出力してもよい。他の実施形態では、プロセッサ110は、触覚マップを用いて触覚効果を決定し、それからディスプレイ116に表示信号を送信しなくてもよい。このような実施形態では、アクチュエータ118が触覚効果を出力している間に、ディスプレイ116は、暗色又は休止のままであってもよい。例えば、このような実施形態では、プロセッサ110は、メッセージング装置102に関連付けられるデジタルカメラから表示信号を受信してもよい。幾つかの実施形態では、バッテリを節約するために、ユーザは、ディスプレイ116を非活性化していてもよい。このような実施形態では、プロセッサは、触覚マップを利用して、ディスプレイの表面にテクスチャをシミュレートする触覚効果をユーザに提供してもよい。このテクスチャは、カメラの焦点が合っているとき、又は他の何らかのイベントが発生したときに、ユーザを警告するために使用されてもよい。例えば、プロセッサ110は、顔認識ソフトウェアを用いて、ディスプレイ116が活性化された場合に、ディスプレイ116上の複数の場所で顔に関係付けられるであろうテクスチャをシミュレートする触覚効果を決定してもよい。
【0034】
幾つかの実施形態では、プロセッサ110は、ユーザ相互作用又はトリガに少なくとも部分的に基づいて触覚効果を決定してもよい。このような実施形態では、プロセッサ110は、タッチセンサ式インターフェース114からインターフェース信号を受信して、このインターフェース信号に少なくとも部分的に基づいて触覚効果を決定する。例えば、幾つかの実施形態では、プロセッサ110は、タッチセンサ式インターフェース114によって検出されるユーザ相互作用の場所に基づいて触覚効果を決定してもよい。例えば、このような実施形態では、プロセッサ110は、ユーザがディスプレイ116上で触れている仮想オブジェクトのテクスチャをシミュレートする触覚効果を決定してもよい。他の実施形態では、プロセッサ110は、インターフェース信号に少なくとも部分的に基づいて触覚効果の強度を決定してもよい。例えば、タッチセンサ式インターフェース114が高圧のユーザ相互作用を検出すると、プロセッサ110は、高強度の触覚効果を決定してもよい。別の実施形態では、タッチセンサ式インターフェース114が低圧のユーザ相互作用を検出すると、プロセッサ110は、低強度の触覚効果を決定してもよい。さらに他の実施形態では、プロセッサ110は、ユーザ相互作用の速度に少なくとも部分的に基づいて触覚効果の強度を決定してもよい。例えば、一実施形態では、プロセッサ110は、タッチセンサ式インターフェース114が低速のユーザ相互作用を検出すると、低強度の触覚効果を決定してもよい。さらに他の実施形態では、プロセッサ110は、タッチセンサ式インターフェース114からユーザ相互作用に関連付けられるインターフェース信号を受信しない限り、触覚効果を何ら決定しなくてもよい。
【0035】
プロセッサ110は、触覚効果を決定すると、触覚効果に関連付けられる触覚信号をアクチュエータ118に送信する。アクチュエータ118は、プロセッサ110から触覚信号を受信して触覚効果を生成するように構成される。アクチュエータ118は、例えば、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ(ERM)又はリニア共振アクチュエータ(LRA)であってもよい。幾つかの実施形態では、アクチュエータ118は、複数のアクチュエータ、例えば、ERM及びLRAを備えてもよい。
【0036】
本発明の一実施形態では、アクチュエータ118によって生成される触覚効果は、タッチセンサ式インターフェース114又はディスプレイ116の表面にユーザが感知するテクスチャをシミュレートするように構成される。このテクスチャは、ディスプレイ116に示されるグラフィカルユーザインターフェースに関連付けられてもよい。例えば、ディスプレイ116は、岩の形状を含むアイコンを示してもよい。このような実施形態では、プロセッサ110は、タッチセンサ式インターフェース114の表面上で岩のテクスチャをシミュレートするように構成される触覚効果を決定してもよい。その後、プロセッサ110は、触覚効果を出力するアクチュエータ118に触覚効果に関連付けられる触覚信号を送信するであろう。例えば、アクチュエータ118は、触覚信号を受信すると、タッチセンサ式インターフェースの表面に岩のテクスチャを含ませるように構成される振動を所定の周波数で出力してもよい。他の実施形態では、アクチュエータ118は、ディスプレイ116又はタッチセンサ式インターフェース114の表面に水、氷、革、砂、砂利、雪、皮膚、毛皮、又は他の何らかの表面のテクスチャを含ませる振動を所定の周波数で出力するように構成されてもよい。幾つかの実施形態では、触覚効果は、メッセージング装置102の異なる部分に、例えば、その筐体上に出力されてもよい。幾つかの実施形態では、アクチュエータ118は、複数のテクスチャを同時に出力するように構成される多数の振動を出力してもよい。例えば、アクチュエータ118は、ディスプレイ116の表面に砂のテクスチャを含ませるように構成される振動を出力してもよい。このような実施形態では、アクチュエータ118は、ユーザに砂地の中の岩のテクスチャを感知させるように構成される追加の振動を出力するように構成されてもよい。
【0037】
プロセッサ110は、様々な理由で触覚効果を決定してもよい。例えば、幾つかの実施形態では、プロセッサ110は、ディスプレイ116に示されるオブジェクトのテクスチャに対応する触覚効果を出力してもよい。このような実施形態では、ディスプレイは、複数のオブジェクトを示してもよく、プロセッサは、ユーザがオブジェクトからオブジェクトへと自身の指を動かすにつれて異なる触覚効果を決定してもよく、それによりオブジェクトごとに異なるテクスチャをシミュレートする。幾つかの実施形態では、触覚効果は、ユーザ相互作用に関連付けられた信号をプロセッサ110が受信したことの確認として作用してもよい。例えば、一実施形態では、グラフィカルユーザインターフェースはボタンを備えてもよく、タッチセンサ式インターフェース114は、このボタンを押すことに関連付けられるユーザ相互作用を検出してもよい。タッチセンサ式インターフェース114がユーザ相互作用に関連付けられるインターフェース信号をプロセッサ110に送信すると、プロセッサ110は、インターフェース信号の受信を確認するための触覚効果を決定してもよい。このような実施形態では、触覚効果は、タッチセンサ式インターフェース114の表面でテクスチャをユーザに感知させてもよい。例えば、プロセッサは、プロセッサ110がユーザ入力を受信したことを確認するために砂のテクスチャをシミュレートする触覚効果を出力してもよい。他の実施形態では、プロセッサは、異なるテクスチャ、例えば、水、氷、油、岩、又は皮膚のテクスチャを決定してもよい。幾つかの実施形態では、触覚効果は、異なる目的を果たしてもよく、例えば、ユーザにディスプレイ116の境界を警告し、又はユーザにディスプレイ116上の画像に関する触覚情報を提供してもよい。例えば、幾つかの実施形態では、ディスプレイ116上の各アイコンは、異なるテクスチャを含んでもよく、ユーザがあるアイコンから別のアイコンへと自身の指を動かすと、プロセッサは、各アイコンのテクスチャをシミュレートする触覚効果を決定するであろう。さらなる実施形態では、プロセッサは、ユーザの指がアイコンとの接触からディスプレイの背景との接触に移動すると、テクスチャを変化させ、それによりユーザがもはやアイコンに触れていないことを警告してもよい。
【0038】
また、図1に示されるように、プロセッサ110は、スピーカ120とも通信する。スピーカ120は、プロセッサ110から音声信号を受信してユーザに出力するように構成される。幾つかの実施形態では、音声信号は、アクチュエータ118によって出力される触覚効果、又はディスプレイ116によって出力される画像に関連付けられてもよい。他の実施形態では、音声信号は、触覚効果又は画像に対応しなくてもよい。
【0039】
幾つかの実施形態では、プロセッサ110は、1つ以上のセンサ、例えば、GPSセンサ、画像センサ、加速度計、場所センサ、回転速度センサ、光センサ、カメラ、マイクロホン、または他の何らかの種類のセンサをさらに含んでもよい。センサは、加速、傾斜、慣性、又は場所の変化を検出するように構成されてもよい。例えば、メッセージング装置102は、メッセージング装置の加速を測定するように構成される加速度計を備えてもよい。センサは、プロセッサ110にセンサ信号を送信するように構成される。
【0040】
センサ信号は、メッセージング装置102の位置、移動、加速、又は「急な動き(jerk)」(すなわち、加速の派生)に関連付けられる1つ以上のパラメータを含んでもよい。例えば、一実施形態では、センサは、複数のパラメータを含むセンサ信号を生成及び送信してもよい。各パラメータは、一つの測定された並進若しくは回転軸に沿って又はその周りの運動に関連付けられる。幾つかの実施形態では、センサは、プロセッサ110が1つ以上の軸に沿った運動を示すことを解釈するようにプログラムされる電圧又は電流を出力する。
【0041】
幾つかの実施形態では、プロセッサ110は、センサ信号を受信して、仮想ワークスペースを活性化し且つ仮想ワークスペースの「中」の仮想的運動に対応するようにX、Y、又はZ方向にメッセージング装置102の感知された運動を解釈するべきことを決定するであろう。次に、ユーザは、仮想ワークスペース内で装置102を動かして、仮想スペース内でジェスチャを行なうことにより機能又はファイルを選択してもよい。例えば、仮想ワークスペース内の機能上でZ軸にメッセージング装置102を動かすことにより行なう。幾つかの実施形態では、ユーザは、仮想ワークスペースでジェスチャを用いてメッセージング装置102によって出力される触覚効果を変更してもよい。
【0042】
図2は、本発明の一実施形態によるテクスチャエンジン用のシステムの例示である。図2は、例えば、携帯電話、PDA、携帯型メディアプレーヤ、携帯型ゲーム装置、又は携帯型コンピュータ等のメッセージング装置200を含む。メッセージング装置200は、例えば、セルラネットワーク又はインターネット等のネットワークを介して、音声メール、テキストメッセージ、及び他のデータメッセージのような信号を送信及び受信するように構成される。メッセージング装置200は、無線ネットワークインターフェース及び/又は有線ネットワークインターフェース(図2には示されない)を備えてもよい。図2には装置200がハンドヘルドメッセージング装置として例示されるが、他の実施形態は、例えば、ビデオゲームシステム及び/又はパーソナルコンピュータ等の異なる装置を含んでもよい。
【0043】
図2に示されるように、メッセージング装置200は、筐体202及びディスプレイ216を備える。幾つかの実施形態では、ディスプレイ216は、LCDディスプレイを含んでもよい。他の実施形態では、ディスプレイ216は、プラズマディスプレイ、又は当技術分野で周知の他の種類のディスプレイを含んでもよい。ディスプレイ216は、表示信号を受信して、その表示信号に関連付けられる画像を出力するように構成される。幾つかの実施形態では、表示信号はVGA、HDMI、SVGA、VIDEO、S−VIDEO、又は当技術分野で周知の他の種類の表示信号を含んでもよい。図2に示される実施形態では、ディスプレイ216はテクスチャ化されたボール204を含む。ディスプレイ216は、岩、砂、及び水のテクスチャを含むテクスチャ選択アイコン206をさらに含む。
【0044】
さらに図2を参照すると、メッセージング装置200は、操作子214をさらに備える。図2に示される実施形態では、操作子214は、ローラーボール及びボタンを備える。また、メッセージング装置200は、タッチセンサ式インターフェース218も備える。図2に示される実施形態では、タッチセンサ式インターフェース218は、ディスプレイ216の上に配置されるタッチスクリーンを備える。幾つかの実施形態では、ディスプレイ216及びタッチスクリーンは、例えば、タッチスクリーンディスプレイ等の単一の一体型構成要素を含んでもよい。
【0045】
操作子214及びタッチセンサ式インターフェース218は、ユーザ相互作用を検出して、このユーザ相互作用に対応するインターフェース信号をプロセッサに送信するように構成される。幾つかの実施形態では、ユーザ相互作用は、ディスプレイ206に示されるグラフィカルユーザインターフェースに関連付けられる。このような実施形態では、プロセッサは、インターフェース信号を受信して、このインターフェース信号に少なくとも部分的に基づいて、グラフィカルユーザインターフェースを操作する。例えば、図2に示される実施形態では、ユーザは、テクスチャ選択アイコン206の1つを選択するために操作子214又はタッチセンサ式インターフェース218のいずれかを用いてもよい。ユーザがテクスチャ化されたボール204用のテクスチャを選択した場合、そのテクスチャに対応するように画面上で外観が変化してもよい。例えば、ユーザが砂のテクスチャアイコンを選択する場合、プロセッサは、テクスチャ化されたボール204に砂状の表面の外観を与えるようにディスプレイを操作して、テクスチャ化されたボール204と相互作用する場合に砂状のテクスチャをユーザに感知させる触覚効果をさらに決定してもよい。又は、別の実施形態では、ユーザが岩のテクスチャアイコンを選択する場合、プロセッサは、ユーザがテクスチャ化されたボール204と相互作用するとユーザに岩のテクスチャを感知させる触覚効果を決定してもよい。
【0046】
メッセージング装置200は、触覚信号を受信して、触覚効果を出力するように構成されるアクチュエータをさらに備える(図2には示されない)。幾つかの実施形態では、触覚効果は、メッセージング装置200のユーザによって感知される振動触覚テクスチャを含む。プロセッサ110は、触覚効果を決定して、その触覚効果に対応する触覚信号をアクチュエータ118に送信するように構成される。幾つかの実施形態では、触覚効果を決定することは、触覚効果を決定するための一連の計算を含んでもよい。他の実施形態では、触覚効果を決定することは、適切な触覚効果を決定するためにルックアップテーブルにアクセスすることを含んでもよい。さらに他の実施形態では、触覚効果を決定することは、ルックアップテーブルとアルゴリズムとの組み合わせを用いることを含んでもよい。プロセッサ110は、触覚効果を決定すると、触覚効果に関連付けられる触覚信号をアクチュエータに送信する。アクチュエータは、プロセッサ110から触覚信号を受信して触覚効果を生成する。ユーザは、ディスプレイ216の表面を介して又はメッセージング装置200の他の一部を通じて、例えば、操作子214又は筐体202を介して触覚効果を感知してもよい。幾つかの実施形態では、プロセッサは、テクスチャの変化をシミュレートするために、テクスチャ化されたボール204の表面上をユーザの指が動くと、この触覚効果を変更してもよい。
【0047】
(テクスチャエンジン用のシステムの例示)
図3aは、本発明の一実施形態によるテクスチャエンジン用のシステムの例示である。図3aは、例えば、携帯電話、PDA、携帯型メディアプレーヤ、携帯型ゲーム装置、又は携帯型コンピュータ等のメッセージング装置300を含む。メッセージング装置300は、例えば、セルラネットワーク又はインターネット等のネットワークを介して、音声メール、テキストメッセージ、及び他のデータメッセージのようなメッセージを含む信号を送信及び受信するように構成される。メッセージング装置300は、無線ネットワークインターフェース及び/又は有線ネットワークインターフェース(図3aには示されない)を備えてもよい。図3aには装置300がハンドヘルドメッセージング装置として例示されるが、他の実施形態は、例えば、ビデオゲームシステム及び/又はパーソナルコンピュータ等の異なる装置を含んでもよい。
【0048】
図3aに示されるように、メッセージング装置300は、ディスプレイ316を備える。ディスプレイ316は、表示信号を受信して、この表示信号に少なくとも部分的に基づいて画像を出力するように構成される。メッセージング装置300は、表示信号をディスプレイ316に送信するように構成されるプロセッサ(図3aには示されない)をさらに備える。メッセージング装置300は、ディスプレイ316上に取り付けられるタッチセンサ式インターフェース314をさらに備える。タッチセンサ式インターフェース314は、ユーザ相互作用を検出して、このユーザ相互作用に対応するインターフェース信号をプロセッサに送信するように構成される。ディスプレイ316は、2つのアイコン302及び304を備える。ユーザがアイコン302及び304の一方と相互作用すると、タッチセンサ式インターフェース314は、ユーザ相互作用を検出して、対応するインターフェース信号をプロセッサに送信するであろう。このインターフェース信号に基づいて、プロセッサは、ユーザが一方のアイコンに結び付けられたファイルを開き、又は当技術分野で周知の他の何らかの動作を実行したことを決定してもよい。
【0049】
図3aに示されるように、アイコン302及び304の各々は、テクスチャを含む。図示の実施形態では、アイコン302は、煉瓦のテクスチャを含み、アイコン304は、岩のテクスチャを含む。他の実施形態では、異なるテクスチャ、例えば、砂、水、油、草、毛皮、皮膚、革、氷、木、又は当技術分野で周知の他の何らかのテクスチャが使用されてもよい。図3aに指306として示されるユーザが各アイコンに関連付けられるディスプレイ316の一部と相互作用すると、プロセッサは、そのアイコンのテクスチャをシミュレートするように構成される触覚効果を決定するであろう。次に、プロセッサは、触覚効果を出力するように構成されるアクチュエータ(図3aには示されない)に触覚効果に関連付けられる信号を出力するであろう。例えば、図3aに示される実施形態では、ユーザがアイコン302に関連付けられるディスプレイ316の一部と相互作用すると、アイコン302は、煉瓦のテクスチャに関連付けられる触覚効果を決定するであろう。この触覚効果は、ユーザの指306がモルタル上を横断するときに高出力のパルスによって区切られるランダムな信号によって特徴付けられてもよい。他の実施形態では、ディスプレイ316に示される画像に対応し得る異なるテクスチャをシミュレートするために他の触覚効果が用いられるであろう。
【0050】
図3bは、本発明の一実施形態によるテクスチャエンジン用のシステムの例示である。図3bに示される実施形態では、触覚効果を決定することは、表示信号をアクチュエータにマッピングすることを含む。図3bに示される実施形態は、ディスプレイ350の拡大部分を含む。ディスプレイ350は、プロセッサから表示信号を受信するように構成される。表示信号は、各々が色彩及びその色彩の強度に関連付けられる複数のピクセルを含む。ディスプレイ350は、この表示信号を受信して、この表示信号に関連付けられる画像を出力する。図3bに示される実施形態では、ディスプレイ350の拡大部は、6個のピクセル351、352、353、354、355、及び356を含む。各ピクセルは、色彩及び1−10の範囲でその色彩に対する強度に関連付けられる。例えば、ピクセル355は、緑の色彩及び10の中の3の色彩強度に関連付けられる。このように、ディスプレイ350は、ピクセル355の場所において強度3で緑の色彩を出力するであろう。
【0051】
図3bに示される実施形態では、プロセッサは、表示信号及びディスプレイ350上に取り付けられるタッチセンサ式インターフェースから受信されるインターフェース信号に少なくとも部分的に基づいて触覚効果を決定するであろう(図3bには示されない)。例えば、図3bに示される実施形態では、プロセッサは、触覚効果を各ピクセルに関連付け、又は「マッピング」するために表示信号を使用する。例えば、図3bに示される実施形態では、プロセッサは、色彩ごとに異なる周波数の触覚効果を決定してもよい。プロセッサは、各ピクセルにおける触覚効果の強度を各ピクセルにおける色彩の強度にさらに関連付けてもよい。例えば、プロセッサは、色彩強度8のピクセルが同様に触覚強度8を有することを決定してもよい。プロセッサがディスプレイ上のピクセルを覆うユーザ相互作用に関連付けられるインターフェース信号を受信すると、プロセッサは、ユーザが相互作用するピクセルに関連付けられる触覚信号を出力するであろう。この触覚効果は、ディスプレイの表面でユーザにテクスチャを感知させるように構成される。
【0052】
例えば、図3bに示される実施形態では、プロセッサは、青のピクセルがノッキングの触覚効果に関連付けられ、赤のピクセルがパルス性の振動に関連付けられ、緑のピクセルがクリックの触覚効果に関連付けられることを決定してもよい。このような実施形態では、タッチセンサ式インターフェースはユーザの指がピクセル351上を通過したことを検出すると、プロセッサは、強度1のノッキングを決定するであろう。次に、ユーザの指がピクセル352上を移動すると、プロセッサは、強度5のパルス振動を決定するであろう。そして、ユーザの指がディスプレイ350上をピクセル353まで移動し続けると、プロセッサは、強度3のクリック効果を決定してもよい。
【0053】
こうした触覚効果は、ユーザがディスプレイ350の表面上で自身の指を動かすと、ディスプレイ350の表面上でユーザにテクスチャを感知させるように構成される。幾つかの実施形態では、プロセッサは、1つ以上のアクチュエータと通信してもよく、各色彩は、それ自身のアクチュエータに関連付けられてもよい。他の実施形態では、色彩、強度、及び触覚効果の異なる組み合わせが、ディスプレイの表面でユーザにテクスチャを感知させるために使用されてもよい。
【0054】
図4は、図1に示される装置に関して検討される本発明の一実施形態によるテクスチャエンジン用の方法の流れ図である。図4に示されるように、方法400は、プロセッサ110が複数のピクセルを含む表示信号を受信する(402)と開始する。表示信号はVGA、HDMI、SVGA、VIDEO、S−VIDEO、又は当技術分野で周知の他の種類の表示信号を含んでもよい。表示信号は、メッセージング装置がディスプレイ116を介してユーザに表示するグラフィカルユーザインターフェース又は他の画像を含んでもよい。
【0055】
次に、タッチセンサ式インターフェース114はプロセッサ110にインターフェース信号を送信して、プロセッサ110はインターフェース信号を受信する(404)。幾つかの実施形態では、タッチセンサ式インターフェース114は、タッチスクリーン又はタッチパッドを含んでもよい。例えば、幾つかの実施形態では、タッチセンサ式インターフェース114は、表示信号を受信してユーザに画像を出力するように構成されるディスプレイの上に搭載されるタッチスクリーンを含んでもよい。他の実施形態では、タッチセンサ式インターフェースは、ボタン、スイッチ、スクロールホイール、ローラーボール、又は当技術分野で周知の何らかの他の種類の物理的装置インターフェースを含んでもよい。幾つかの実施形態では、プロセッサ110は、単一のタッチセンサ式インターフェース114と通信する。他の実施形態では、プロセッサ110は、複数のタッチセンサ式インターフェース114、例えば、タッチスクリーン及びローラーボールと通信する。タッチセンサ式インターフェース114は、ユーザ相互作用を検出し、このユーザ相互作用に少なくとも部分的に基づいて、プロセッサに信号を送信するように構成される。幾つかの実施形態では、タッチセンサ式インターフェース114は、複数の態様のユーザ相互作用を検出するように構成されてもよい。例えば、タッチセンサ式インターフェース114は、ユーザ相互作用の速度及び圧力を検出して、この情報をインターフェース信号に組み込んでもよい。
【0056】
次に、プロセッサ110は、テクスチャを含む触覚効果を決定する(406)。触覚効果は、ユーザがタッチセンサ式インターフェースの表面又は操作子を介して感知し得る振動を含んでもよい。幾つかの実施形態では、この振動は、タッチセンサ式インターフェースの表面でテクスチャをユーザに感知させてもよい。例えば、テクスチャは、革、雪、砂、氷、皮膚、又は他の何らかの表面である。幾つかの実施形態では、触覚効果を決定することは、触覚効果を決定するための一連の計算を含んでもよい。他の実施形態では、触覚効果を決定することは、適切な触覚効果を決定するためにルックアップテーブルにアクセスすることを含んでもよい。さらに他の実施形態では、触覚効果を決定することは、ルックアップテーブルとアルゴリズムとの組み合わせを含んでもよい。
【0057】
幾つかの実施形態では、触覚効果を決定することは、触覚マップを含んでもよい。このような実施形態では、触覚効果を決定することは、表示信号をアクチュエータにマッピングすることを含んでもよい。例えば、表示信号は、各々が色彩に関連付けられる複数のピクセルを含んでもよい。このような実施形態では、触覚効果を決定することは、各色彩に触覚効果を割り当てることを含んでもよい。次に、プロセッサ110は、触覚効果を含む触覚信号を出力するであろう。幾つかの実施形態では、プロセッサ110は、表示信号における一部のピクセルのみに触覚効果を割り当ててもよい。例えば、このような実施形態では、触覚効果は、表示信号の一部のみに関連付けられてもよい。幾つかの実施形態では、プロセッサ110は、ユーザ相互作用又はトリガに少なくとも部分的に基づいて触覚効果を決定してもよい。このような実施形態では、プロセッサ110は、タッチセンサ式インターフェース114からインターフェース信号を受信して、このインターフェース信号に少なくとも部分的に基づいて触覚効果を決定する。例えば、幾つかの実施形態では、プロセッサ110は、タッチセンサ式インターフェース114から受信されるインターフェース信号に基づいて異なる強度の触覚効果を決定してもよい。例えば、タッチセンサ式インターフェース114が高圧のユーザ相互作用を検出すると、プロセッサ110は、高強度の触覚効果を決定してもよい。別の実施形態では、タッチセンサ式インターフェース114が低圧のユーザ相互作用を検出すると、プロセッサ110は、低強度の触覚効果を決定してもよい。さらに他の実施形態では、プロセッサ110は、タッチセンサ式インターフェース114が低速のユーザ相互作用を検出すると、低強度の触覚効果を決定してもよい。さらに、プロセッサ110は、タッチセンサ式インターフェース114が高速のユーザ相互作用を検出すると、高強度の触覚効果を決定してもよい。さらに他の実施形態では、プロセッサ110は、タッチセンサ式インターフェース114からユーザ相互作用を含むインターフェース信号を受信しない限り、触覚効果を何ら決定しなくてもよい。
【0058】
最後に、プロセッサ110は、触覚信号を受信して触覚効果を出力するように構成されるアクチュエータ118に、触覚効果に関連付けられる触覚信号を送信する(408)。アクチュエータ118は、プロセッサ110から触覚信号を受信して触覚効果を生成するように構成される。アクチュエータ118は、例えば、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、リニア共振アクチュエータ、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ(ERM)又はリニア共振アクチュエータ(LRA)であってもよい。
【0059】
図5aは、本発明の一実施形態によりテクスチャエンジンが生成し得るテクスチャの1つの例示である。図5aに示される実施形態は、煉瓦を含む。煉瓦のテクスチャは、煉瓦が粗い不規則なテクスチャを有し、モルタルが砂利の谷間の感覚により区切られることにより特徴付けられる。テクスチャエンジン用のシステムは、ユーザの指が動いている間に、中程度から高程度の最大変動を有するランダム信号を用いて、LRA、LPA、又はFPA等のアクチュエータを駆動することにより煉瓦の粗い不規則なテクスチャを生成してもよい。幾つかの実施形態では、この変化は、異なる粗さに調節されてもよい。幾つかの実施形態では、煉瓦からモルタルへの移行は、ERMによって生成される高持続性のポップ振動(pop)によってもたらされてもよい。さらに、モルタルが十分に厚い場合は、煉瓦のテクスチャを出力するアクチュエータを駆動するために使用されたものよりも変化の大きい低振幅信号でアクチュエータを駆動することによって、繊細なテクスチャがレンダリングされてもよい。
【0060】
図5bは、本発明の一実施形態によりテクスチャエンジンが生成し得るテクスチャの1つの例示である。図5bに示される実施形態は、岩を含む。岩のテクスチャは、ユーザが岩から岩へと動くときの移行で区切られる滑らかな表面により特徴付けられる。岩のテクスチャを出力するために、例えば、FPA等のアクチュエータが低摩擦の区画を生成するために使用される。個々の岩は、表示された画像の非視覚エッジマップによってレンダリングされ、タッチセンサ式インターフェースがユーザの動作を検出すると、例えば、LPA又はERM等のアクチュエータに高振幅の触覚信号を出力してもよい。例えば、ユーザの指がある岩から別の岩へと移行していることをタッチセンサ式インターフェースが検出する度に触覚効果を出力する。
【0061】
図5cは、本発明の一実施形態によりテクスチャエンジンが生成し得るテクスチャの1つの例示である。図5cに示される実施形態は、砂又はサンドペーパーを含む。砂は、粗い砂利の感覚に加えて、砂粒子の山がユーザの指の前方に積もる感覚によって特徴付けられる。砂の粗い砂利のテクスチャを出力するために、例えば、LRA、LPA又はFPA等のアクチュエータは、ユーザの指が動いている間に高程度の最大変動を有するランダム信号によって駆動される。幾つかの実施形態では、プロセッサは、異なる程度の粗さを生成するために信号の変動を調節してもよい。砂が積み上がる感覚を生成するために、FPA等のアクチュエータが使用されてもよい。このような実施形態では、ユーザがタッチスクリーン上で指を動かすと、プロセッサは、低強度で開始して、ユーザがある方向に指を動かすにつれて増加する信号によりアクチュエータを駆動するであろう。
【0062】
別の実施形態では、図5cに示されるテクスチャはサンドペーパーを含んでもよい。サンドペーパーは、粗い砂利の感覚を有することにより特徴付けられる。粗い砂利の感覚を生成するために、プロセッサは、高程度の最大変動を有するランダム信号によって、例えば、LRA、LPA又はFPA等のアクチュエータを駆動する。幾つかの実施形態では、この信号は、ユーザの指がタッチセンサ式インターフェースの表面上を動いている間にのみ出力される。幾つかの実施形態では、プロセッサは、粗さのレベルを変えるために信号の変化を調節する。
【0063】
図5dは、本発明の一実施形態によりテクスチャエンジンが生成し得るテクスチャの1つの例示である。図5cに示される実施形態では、テクスチャは草のテクスチャを含む。草は、ユーザの指を擽るような周期的な軽い感覚によって特徴付けられる。草の感覚を生成するために、プロセッサは、草の区画で覆われる低摩擦の区画を生成するように構成される信号によって、例えば、FPA等のアクチュエータを駆動してもよい。幾つかの実施形態では、プロセッサは、表示された画像の非視覚エッジマップを有し且つユーザインターフェースがユーザ相互作用を検出すると、例えば、LPA又はERM等のアクチュエータに低振幅の信号を出力することによって個々の草の葉をレンダリングしてもよい。
【0064】
図5eは、本発明の一実施形態によりテクスチャエンジンが生成し得るテクスチャの1つの例示である。図5eに示される実施形態では、テクスチャは織物のテクスチャを含む。織物は、軽い滑らかな感覚によって特徴付けられる。織物のテクスチャの感覚を生成するために、プロセッサは、ユーザの指がタッチセンサ式インターフェースの表面を横切ると、低振幅の高周波信号でLPA又はLRA等のアクチュエータを駆動してもよい。
【0065】
図5fは、本発明の一実施形態によりテクスチャエンジンが生成し得るテクスチャの1つの例示である。図5fに示される実施形態では、テクスチャは水又は糖蜜のテクスチャを含む。水は、ほぼ何も感覚を持たないことにより特徴付けられる。しかし、かき乱される水は、跳ね返って、ユーザの指にぶつかってもよい。水のテクスチャをエミュレートするために、プロセッサは、タッチセンサ式インターフェースの表面における摩擦を低減するようにFPA等のアクチュエータを駆動してもよい。水の中の動きをエミュレートするために、プロセッサは、ユーザがスクリーンに接触しているときにのみ触覚信号を出力してもよい。例えば、糖蜜又は油等のより粘性のある液体のテクスチャをエミュレートするために、プロセッサは、ユーザの指がタッチセンサ式インターフェースの表面を横切るときにユーザの指に対する摩擦を増加させるように構成される信号でアクチュエータを駆動してもよい。
【0066】
図5gは、本発明の一実施形態によりテクスチャエンジンが生成し得るテクスチャの1つの例示である。図5gに示される実施形態では、テクスチャは革のテクスチャを含む。革は、革の表面の隆起及び谷間を含む包括的で滑らかな感覚によって特徴付けられる。革のテクスチャの感覚を生成するために、プロセッサは、ユーザの指がタッチセンサ式インターフェースの表面を横切ると、摩擦を低減する触覚効果を出力するように構成される信号でFPA等のアクチュエータを駆動してもよい。プロセッサは、タッチセンサ式インターフェースがユーザの指の動きを検出するときに、非常に短い低振幅の触覚信号でアクチュエータを駆動することにより裂け目及び隆起を出力することが出来る。
【0067】
図5gは、本発明の一実施形態によりテクスチャエンジンが生成し得るテクスチャの1つの例示である。図5eに示される実施形態では、テクスチャは木のテクスチャを含む。木は、ユーザが板から板へと動くと鋭い移行によって区切られる不規則な凹凸のあるテクスチャにより特徴付けられてもよい。不規則な凹凸のあるテクスチャを生成するために、プロセッサは、表示された画像の非視覚エッジマップによってLRA、LPA又はFPA等のアクチュエータを駆動し、ユーザの指が動く様々なときに非常に短い低振幅の信号でアクチュエータを駆動してもよい。厚板から厚板への移行を出力するために、プロセッサは、アクチュエータに高振幅の短い持続時間のポップ振動を生成させるように構成される触覚信号を出力してもよい。
【0068】
他の実施形態では、異なるテクスチャに関連付けられる触覚効果が出力されてもよい。例えば、一実施形態では、プロセッサは、氷のテクスチャに関連付けられるテクスチャをユーザに感知させるように構成される触覚効果をアクチュエータに出力させるように構成される触覚信号を送信してもよい。氷は、低摩擦により特徴付けられる。幾つかの実施形態では、氷は完全に滑らかなテクスチャを有する。他の実施形態では、氷は、微細な低振幅の砂利のテクスチャを含む。氷のテクスチャを生成するために、プロセッサは、ユーザがタッチセンサ式インターフェースの表面上で指を動かしている間、アクチュエータに出来るだけ摩擦を低減させるように構成される触覚信号を決定してもよい。別の実施形態では、プロセッサは、ユーザが指を動かす間、低振幅の効果を出力するように構成される触覚信号によって、例えば、LPA又はLRA等のアクチュエータを駆動してもよい。こうした低振幅の効果は、氷の表面の不完全性又は砂利に関連付けられてもよい。
【0069】
別の実施形態では、プロセッサは、トカゲの皮のテクスチャに近似する触覚効果をアクチュエータに出力させるように構成される信号でアクチュエータを駆動してもよい。トカゲの皮は、皮にある隆起から隆起への移行によって区切られる包括的で滑らかな感覚によって特徴付けられる。トカゲの皮のテクスチャを含む触覚効果を実装するために、プロセッサは、タッチセンサ式インターフェース上に低摩擦の区画をアクチュエータに生成させるように構成される触覚信号でアクチュエータを駆動してもよい。プロセッサは、タッチセンサ式インターフェースが表面を横切るユーザの指の動きを検出すると、周期的に高振幅の触覚信号を出力することにより皮の表面にある裂け目をレンダリングしてもよい。こうした高振幅の信号は、皮の表面における裂け目に近似してもよい。さらに別の実施形態では、プロセッサは、毛皮のテクスチャに近似する触覚効果をアクチュエータに出力させるように構成される信号でアクチュエータを駆動してもよい。毛皮は、手触りが非常に柔軟な周期的な軽い感覚によって特徴付けられる。毛皮のテクスチャを含む触覚効果を実装するために、プロセッサは、タッチセンサ式インターフェースの表面でユーザが感知する摩擦を低減させるように構成される触覚効果をアクチュエータに出力させるように構成される触覚信号でアクチュエータを駆動してもよい。プロセッサは、タッチセンサ式インターフェースがユーザの動きを検出すると、低振幅のパルス性の触覚信号を出力して個々の毛をさらにレンダリングしてもよい。
【0070】
さらに別の実施形態では、プロセッサは、金属のテクスチャに近似する触覚効果をアクチュエータに出力させるように構成される信号でアクチュエータを駆動してもよい。金属は、幾つかの実施形態では、軽い砂利を含む滑らかな低摩擦の表面により特徴付けられる。金属のテクスチャを含む触覚効果を実装するために、プロセッサは、タッチセンサ式インターフェースの表面でユーザが感知する摩擦を低下させるように構成される信号でアクチュエータを駆動してもよい。幾つかの実施形態では、プロセッサは、タッチセンサ式インターフェースが表面にユーザの動きを検出すると、短い高振幅の触覚信号を出力することにより個々の隆起をレンダリングしてもよい。こうした短い高振幅の信号は、金属の表面における砂利に近似してもよい。
【0071】
さらに別の実施形態では、プロセッサは、別の感覚、例えば、熱に近似する触覚効果をアクチュエータに出力させるように構成される信号でアクチュエータを駆動してもよい。このような実施形態では、プロセッサは、ユーザが熱に関連付けられるディスプレイの要素に触れると、高周波の揺れる効果をアクチュエータに出力させるように構成される触覚信号を出力してもよい。
【0072】
(テクスチャエンジン用のシステム及び方法の利点)
テクスチャエンジン用のシステム及び方法には多くの利点がある。例えば、テクスチャエンジンのシステム及び方法は、以前には使用されなかった触覚効果を移動装置に付加する。この新しい効果は、ユーザが移動装置のディスプレイを見なくても、ユーザが移動装置から情報を受信するための新しい手段を提供する。例えば、テクスチャエンジンのシステム及び方法は、ユーザが異なるテクスチャを異なるアイコン、ボタン、又はディスプレイの他の要素に割り当てることを可能にしてもよい。従って、ユーザは、アイコンを見なくても、どのアイコンに触っているかを決定することが可能であってもよい。これにより、装置の利便性が高まり、視覚障害者にとってより便利な装置となってもよい。
【0073】
さらに、テクスチャエンジン用のシステム及び方法は、他の仕事からユーザの気を散らさずに、ユーザにより多くの情報を提供するので、ユーザの誤りを減らすであろう。例えば、ユーザは、テクスチャエンジン用のシステム及び方法を利用している場合、誤ったアイコンを押し又は誤ったキーを押すことがあまり起こらないであろう。この機能性は、ユーザ満足度を高めること並びにテクスチャエンジン用のシステム及び方法を組み込む技術の普及率を増加させることの双方に役立ち得る。
【0074】
(概論)
本明細書における「適合される」又は「構成される」という用語は、追加のタスク又はステップを実行するように適合され又は構成される装置を排除しない開放型及び包括型の言語の意味で用いられる。さらに、「基づく」という用語は、1つ以上の記載された条件又は値に「基づく」プロセス、ステップ、計算、又は他の動作が、実際には、こうした記載以上の追加の条件又は値に基づいてもよいという点で、開放型及び包括型の意味で用いられる。本明細書に含まれる見出し、リスト、及び番号付けは、説明の簡略化のみを目的としており、限定することを意図していない。
【0075】
本願の主題の態様による実施形態は、デジタル電子回路で、又はコンピュータハードウェア、ファームウェア、ソフトウェア、若しくはこれらの組み合わせで実装され得る。一実施形態では、コンピュータは、1つ又は複数のプロセッサを備えてもよい。プロセッサは、例えば、プロセッサに結合されるRAM(random access memory)等のコンピュータ可読媒体を備え又はアクセスを有する。プロセッサは、センササンプリングルーチン、触覚効果選択ルーチン、及び上記の選択された触覚効果を発生させるための信号を生成する適切なプログラミングを含む1つ以上のコンピュータプログラムを実行するように、メモリに記憶されるコンピュータ実行可能プログラム命令を実行する。
【0076】
このようなプロセッサは、マイクロプロセッサ、DSP(digital signal processor)、ASIC(application−specific integrated circuit)、FPGA(field programmable gate array)、及び状態機械を含んでもよい。このようなプロセッサは、PLC、PIC(programmable interrupt controller)、PLD(programmable logic device)、PROM(programmable read−only memory)、EPROM又はEEPROM(electronically programmable read−only memory)、又は他の類似の装置等のプログラム可能電子装置をさらに備えてもよい。
【0077】
このようなプロセッサは、プロセッサによって実行されるときに、プロセッサによって実行され又は支援される本明細書に記載のステップをプロセッサに実行させ得る命令を記憶し得る媒体、例えば有形のコンピュータ可読媒体を備え又はそれと通信してもよい。コンピュータ可読媒体の実施形態は、限定されないが、全ての電子、光学、磁気、又はコンピュータ可読命令をウェブサーバ内のプロセッサ等のプロセッサに提供可能な他の記憶装置を含んでもよい。媒体の他の例は、限定されないが、フロッピー(登録商標)ディスク、CD−ROM、磁気ディスク、メモリチップ、ROM、RAM、ASIC、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読取り可能な任意の他の媒体を含む。また、様々な他の装置は、例えば、ルータ、プライベート若しくはパブリックネットワーク、又は他の伝送装置等のコンピュータ可読媒体を含んでもよい。記載されたプロセッサ及び処理は、1つ以上の構造内にあってもよく、1つ以上の構造にわたって分散されてもよい。プロセッサは、本明細書に記載の1つ以上の方法(又は方法の一部)を実行するためのコードを備えてもよい。
【0078】
本願の主題はその特定の実施形態に関して詳細に記載されてきたが、先述の理解を達成すると、当業者であれば、このような実施形態への代替、変形、及び均等物を容易に製造し得ることが理解されるであろう。従って、本開示は、限定ではなく例示を目的として提示されているのであって、当業者には自明の本願の主題への修正、変形及び/又は追加を包含することを除外しないことが理解されるべきである。
図1
図2
図3a
図3b
図4
図5a
図5b
図5c
図5d
図5e
図5f
図5g
図5h