知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6392747
(24)【登録日】2018年8月31日
(45)【発行日】2018年9月19日
(54)【発明の名称】ディスプレイ装置
(51)【国際特許分類】
G06F 3/01 20060101AFI20180910BHJP
G06F 3/0488 20130101ALI20180910BHJP
【ＦＩ】
G06F3/01 560
G06F3/0488
【請求項の数】13
【全頁数】37
(21)【出願番号】特願2015-514604(P2015-514604)
(86)(22)【出願日】2012年5月31日
(65)【公表番号】特表2015-521328(P2015-521328A)
(43)【公表日】2015年7月27日
(86)【国際出願番号】IB2012052748
(87)【国際公開番号】WO2013179096
(87)【国際公開日】20131205
【審査請求日】2015年1月21日
【審判番号】不服2017-15851(P2017-15851/J1)
【審判請求日】2017年10月26日
(73)【特許権者】
【識別番号】515076873
【氏名又は名称】ノキア テクノロジーズ オサケユイチア
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100141162
【弁理士】
【氏名又は名称】森 啓
(74)【代理人】
【識別番号】100196829
【弁理士】
【氏名又は名称】中澤 言一
(72)【発明者】
【氏名】トルステン ベーレス
(72)【発明者】
【氏名】マルコ タパニ ユリアホ
(72)【発明者】
【氏名】ヨウコ ソルムネン
【合議体】
【審判長】
千葉 輝久
【審判官】
山田 正文
【審判官】
松田 岳士
(56)【参考文献】
【文献】
特表２０１１−５０１２９８（ＪＰ，Ａ）
【文献】
特表２０１２−５２０１３７（ＪＰ，Ａ）
【文献】
特開２００９−１６９６１２（ＪＰ，Ａ）
【文献】
特開２０１２−２７８５５（ＪＰ，Ａ）
【文献】
特開２０１０−１５２８８９（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
G06F3/01
G06F3/041
G06F3/048-3/0489
(57)【特許請求の範囲】
【請求項1】
プロセッサが、ディスプレイのための触覚プロファイル・マップを決定するステップと、
前記プロセッサが、前記触覚プロファイル・マップによって規定される領域の中での前記ディスプレイの上のタッチ・イベントを決定するステップと、
前記プロセッサが、触覚効果が、シミュレーションされた表面の経験を提供するように、前記タッチ・イベントに基づいて、前記ディスプレイにおける触覚効果を生成するステップと、
を含む方法であって、
前記触覚プロファイル・マップは、
少なくとも１つの変位信号修正ファクタと、
少なくとも１つの方向信号修正ファクタと、
速さ信号修正ファクタと、
タッチ期間修正ファクタと、
フォース信号修正ファクタと、
のうちのすくなくとも１つを備えるように生成され、
前記触覚プロファイル・マップに依存して、前記ディスプレイを備える触覚型オーディオ・ディスプレイ・コンポーネントにより、少なくとも１つの電気信号が生成され、
前記ディスプレイの上の前記シミュレーションされた表面の経験は、局所的に、前記触覚プロファイル・マップによって規定される前記領域内における触覚効果および音響効果を含み、該触覚効果および該音響効果は、触覚信号とオーディオ信号とを備える前記電気信号により生成される、
方法であり、
該方法は、
前記プロセッサが、前記ディスプレイの上で前記触覚効果を生成するステップは、
前記ディスプレイの下に、接触して位置する少なくとも２つの圧電アクチュエータによりディスプレイを動かすステップ、
を更に含む、
方法。
前記プロセッサが、前記触覚プロファイル・マップによって規定される領域の中での前記ディスプレイの上のタッチ・イベントを決定するステップと、
前記プロセッサが、触覚効果が、シミュレーションされた表面の経験を提供するように、前記タッチ・イベントに基づいて、前記ディスプレイにおける触覚効果を生成するステップと、
を含む方法であって、
前記触覚プロファイル・マップは、
少なくとも１つの変位信号修正ファクタと、
少なくとも１つの方向信号修正ファクタと、
速さ信号修正ファクタと、
タッチ期間修正ファクタと、
フォース信号修正ファクタと、
のうちのすくなくとも１つを備えるように生成され、
前記触覚プロファイル・マップに依存して、前記ディスプレイを備える触覚型オーディオ・ディスプレイ・コンポーネントにより、少なくとも１つの電気信号が生成され、
前記ディスプレイの上の前記シミュレーションされた表面の経験は、局所的に、前記触覚プロファイル・マップによって規定される前記領域内における触覚効果および音響効果を含み、該触覚効果および該音響効果は、触覚信号とオーディオ信号とを備える前記電気信号により生成される、
方法であり、
該方法は、
前記プロセッサが、前記ディスプレイの上で前記触覚効果を生成するステップは、
前記ディスプレイの下に、接触して位置する少なくとも２つの圧電アクチュエータによりディスプレイを動かすステップ、
を更に含む、
方法。
【請求項2】
前記プロセッサが、前記ディスプレイのための前記触覚プロファイル・マップを生成するステップと、
前記プロセッサが、前記ディスプレイのための前記触覚プロファイル・マップをロードするステップと
のうちの少なくとも１つをさらに含む請求項１に記載の方法。
前記プロセッサが、前記ディスプレイのための前記触覚プロファイル・マップをロードするステップと
のうちの少なくとも１つをさらに含む請求項１に記載の方法。
【請求項3】
前記タッチ・イベントを決定するステップは、
前記プロセッサが、少なくとも１つのタッチ位置を決定するステップ、
前記プロセッサが、少なくとも１つのタッチ方向を決定するステップ、
前記プロセッサが、少なくとも１つのタッチ速さを決定するステップ、
前記プロセッサが、少なくとも１つのタッチ期間を決定するステップ、および、
前記プロセッサが、少なくとも１つのタッチ・フォースを決定するステップ、
のうちの少なくとも１つを含む、請求項１または２に記載の方法。
前記プロセッサが、少なくとも１つのタッチ位置を決定するステップ、
前記プロセッサが、少なくとも１つのタッチ方向を決定するステップ、
前記プロセッサが、少なくとも１つのタッチ速さを決定するステップ、
前記プロセッサが、少なくとも１つのタッチ期間を決定するステップ、および、
前記プロセッサが、少なくとも１つのタッチ・フォースを決定するステップ、
のうちの少なくとも１つを含む、請求項１または２に記載の方法。
【請求項4】
前記プロセッサが、前記触覚プロファイル・マップを決定するステップは、以前のタッチ・イベントに依存して、前記プロセッサが、前記触覚プロファイル・マップを決定するステップを含む、請求項１ないし３のいずれか１項に記載の方法。
【請求項5】
前記プロセッサが、前記タッチ・イベントを決定するステップは、
ディスプレイの上のホバー・タッチ、および、
物理的にディスプレイと接触するコンタクト・タッチ
のうちの少なくとも１つを、前記プロセッサが決定するステップを含み、
ここで、前記ホバー・タッチは、物理的にディスプレイと接触せず、触覚効果を生成しない、請求項１ないし４のいずれか１項に記載の方法。
ディスプレイの上のホバー・タッチ、および、
物理的にディスプレイと接触するコンタクト・タッチ
のうちの少なくとも１つを、前記プロセッサが決定するステップを含み、
ここで、前記ホバー・タッチは、物理的にディスプレイと接触せず、触覚効果を生成しない、請求項１ないし４のいずれか１項に記載の方法。
【請求項6】
前記方法は、前記プロセッサが、前記ディスプレイの上に画像を表示するステップを更に含み、
前記プロセッサが、前記ディスプレイのための前記触覚プロファイル・マップを決定するステップは、前記プロセッサが、前記画像と結びついている前記触覚プロファイル・マップを決定するステップを含む、
請求項１ないし５のいずれか１項に記載の方法。
前記プロセッサが、前記ディスプレイのための前記触覚プロファイル・マップを決定するステップは、前記プロセッサが、前記画像と結びついている前記触覚プロファイル・マップを決定するステップを含む、
請求項１ないし５のいずれか１項に記載の方法。
【請求項7】
前記プロセッサが、前記ディスプレイの上の前記タッチ・イベントに依存して、前記ディスプレイの上で前記画像を修正するステップをさらに含む請求項６に記載の方法。
【請求項8】
前記プロセッサが、前記触覚効果を生成するステップは、前記プロセッサが、センサからタッチ入力を受信するステップをさらに含む、請求項１ないし７のいずれか１項に記載の方法。
【請求項9】
前記触覚型オーディオ・ディスプレイ・コンポーネントは、少なくとも前記ディスプレイと、前記ディスプレイに結合し、信号が受信されるときに、力を生成するように構成される少なくとも１つのアクチュエータとを備え、
該少なくとも１つのアクチュエータは、圧電アクチュエータまたは振動アクチュエータである、請求項１ないし８のいずれか１項に記載の方法。
該少なくとも１つのアクチュエータは、圧電アクチュエータまたは振動アクチュエータである、請求項１ないし８のいずれか１項に記載の方法。
【請求項10】
前記プロセッサが、タッチ位置が前記領域の中であるかどうか決定するステップと、
前記プロセッサが、前記タッチ位置に依存して、前記触覚効果を生成するステップと、
を更に含む請求項１ないし９のいずれか１項に記載の方法。
前記プロセッサが、前記タッチ位置に依存して、前記触覚効果を生成するステップと、
を更に含む請求項１ないし９のいずれか１項に記載の方法。
【請求項11】
前記プロセッサが、
タッチ入力数、
タッチ入力位置、
タッチ入力のサイズ、
タッチ入力の形状、および、
他のタッチ入力と相対する位置、
のうちの少なくとも１つに依存して、少なくとも１つのタッチ・パラメータを決定するために、タッチ入力を処理するステップを更に含む請求項１ないし１０のいずれか１項に記載の方法。
タッチ入力数、
タッチ入力位置、
タッチ入力のサイズ、
タッチ入力の形状、および、
他のタッチ入力と相対する位置、
のうちの少なくとも１つに依存して、少なくとも１つのタッチ・パラメータを決定するために、タッチ入力を処理するステップを更に含む請求項１ないし１０のいずれか１項に記載の方法。
【請求項12】
前記プロセッサが、
触覚効果が生成されることになっているかどうか、
どの触覚効果が生成されることになっているか、および、
どこで触覚効果が生成されることになっているか、
のうちの少なくとも１つを決定するための前記少なくとも１つのタッチ・パラメータを処理するステップを更に含む請求項１１に記載の方法。
触覚効果が生成されることになっているかどうか、
どの触覚効果が生成されることになっているか、および、
どこで触覚効果が生成されることになっているか、
のうちの少なくとも１つを決定するための前記少なくとも１つのタッチ・パラメータを処理するステップを更に含む請求項１１に記載の方法。
【請求項13】
請求項１ないし１２のいずれか１項に記載の方法の動作を実行するように構成される装置。
【発明の詳細な説明】
【技術分野】
【0001】
本願発明は、触覚機能を提供することに関するものである。本願発明は、さらに、モバイル機器で使用するための触覚機能を提供するディスプレイ装置に関連がある。しかし、それに制限するものではない。
【背景技術】
【0002】
自動車電話など、多くの携帯デバイスは、例えば、ユーザへ情報を提供するためのガラスあるいはプラスチックのディスプレイ・ウィンドウなどのディスプレイを備えている。さらにまた、そのようなディスプレイ・ウィンドウは、今日、タッチ・センシティブ入力として一般的に用いられている。タッチ・センシティブ入力のディスプレイでの利用は、ディスプレイを、デバイスの動作モードに依存して、異なる入力の範囲を示すように構成することができることにおいて機械式キーパッドより優位性を有する。例えば、第１の動作モードで、ディスプレイは、単純な数値キーパッドの配列を表示することによって、電話番号を入力できるようにすることができ、第２の動作モードで、例えば、シミュレーションされたＱＷＥＲＴＹキーボード表示配列のような英数字表示構成を表示することによって、テキスト入力できるようにすることができる。
【0003】
ガラスまたはプラスチックなどのディスプレイは、典型的には、タッチ・スクリーンが、振動の使用によってボタン押下をシミュレーションするグローバルな触覚フィードバックを提供することができるが、ディスプレイに表示される特徴をシミュレーションすることはしないことにおいて静的である。つまり、いかなる触覚フィードバックも、ディスプレイまたはデバイス全体が振動して、実際には局所化されず、このディスプレイは、ガラスまたはプラスチックのもの以外の異なる感覚を提供することができない。
【発明の概要】
【0004】
本願の１つの態様にしたがい、ディスプレイのための触覚プロファイル・マップを決定するステップと、前記触覚プロファイル・マップによって規定される領域の中での前記ディスプレイの上のタッチ・イベントを決定するステップと、触覚効果が、シミュレーションされた表面の経験を提供するように、タッチ・イベントに基づいて、前記ディスプレイにおける触覚効果を生成するステップと、を含む方法が提供される。
【0005】
触覚効果を生成することは、前記タッチ・イベントおよび触覚プロファイル・マップに基づいたものであることができる。
【0006】
触覚プロファイル・マップを決定することは、前記ディスプレイのための触覚プロファイル・マップを生成すること、および、前記ディスプレイのための触覚プロファイル・マップをロードすることのうちの少なくとも１つを含むことができる。
【0007】
触覚プロファイル・マップは、少なくとも１つのベース触覚信号、少なくとも１つの変位信号修正ファクタ、少なくとも１つの方向信号修正ファクタ、速さ信号修正ファクタ、タッチ期間修正ファクタ、および、力（ちから）信号修正ファクタのうちの少なくとも１つを含むことができる。
【0008】
タッチ・イベントを決定することは、少なくとも１つのタッチ位置を決定すること、少なくとも１つのタッチ方向を決定すること、少なくとも１つのタッチ速さを決定すること、少なくとも１つのタッチ期間を決定すること、および、少なくとも１つのタッチ力（ちから）を決定することのうちの少なくとも１つを含むことができる。
【0009】
触覚プロファイル・マップを決定することは、以前のタッチ・イベントに依存して、触覚プロファイル・マップを決定することを含むことができる。
【0010】
タッチ・イベントを決定することは、ディスプレイの上のホバー・タッチ、および、物理的にディスプレイと接触するコンタクト・タッチのうちの少なくとも１つを決定することを含むことができる。
【0011】
この方法は、ディスプレイの上に画像を表示するステップを更に備えることができる。ここで、ディスプレイのために触覚プロファイル・マップを決定することは、前記画像と結びついている触覚プロファイル・マップを決定するステップを含むことができる。
【0012】
この方法は、前記ディスプレイの上の前記タッチ・イベントに依存して、前記ディスプレイの上で前記画像を修正するステップを更に備えることができる。
【0013】
前記ディスプレイにおける触覚効果を生成することは、前記ディスプレイの下に、接触して位置する少なくとも１つの圧電アクチュエータによりディスプレイを動かすこと、および、前記装置の内部に位置する少なくとも１つの振動アクチュエータによって、前記ディスプレイを備えている装置を動かすことのうちの少なくとも１つを含むことができる。
【0014】
この方法は、音響効果が、シミュレーションされた表面の経験をさらに提供するように、タッチ・イベントに基づいて、前記ディスプレイの上で音響効果を生成することを更に備えることができる。第２の態様にしたがい、少なくとも１つのプロセッサと、および１つ以上のプログラムのコンピュータ・コードを含む少なくとも１つのメモリと、を備える装置が提供される。ここで、前記少なくとも１つのメモリと、前記コンピュータ・コードとは前記少なくとも１つのプロセッサにより、前記装置に、少なくとも、ディスプレイのための触覚プロファイル・マップを決定することと、前記触覚プロファイル・マップによって規定される領域の中での前記ディスプレイの上のタッチ・イベントを決定することと、触覚効果が、シミュレーションされた表面の経験を提供するように、タッチ・イベントに基づいて、前記ディスプレイにおける触覚効果を生成することとを実行させるように構成される。
【0015】
触覚効果を生成することは、この装置に、タッチ・イベントおよび触覚プロファイル・マップに基づいて、触覚効果を生成するようにさせることができる。
【0016】
触覚プロファイル・マップを決定することは、この装置に、前記ディスプレイのための触覚プロファイル・マップを生成すること、および、前記ディスプレイのための触覚プロファイル・マップをロードすることのうちの少なくとも１つを実行するようにさせることができる。
【0017】
触覚プロファイル・マップは、少なくとも１つのベース触覚信号、少なくとも１つの変位信号修正ファクタ、少なくとも１つの方向信号修正ファクタ、速さ信号修正ファクタ、タッチ期間修正ファクタ、および、力信号修正ファクタのうちの少なくとも１つを含むことができる。
【0018】
タッチ・イベントを決定することは、この装置に、少なくとも１つのタッチ位置を決定すること、少なくとも１つのワンタッチ方向を決定すること、少なくとも１つのタッチ速さを決定すること、少なくとも１つのタッチ期間を決定すること、および、少なくとも１つのタッチ力（りょく）を決定することのうちの少なくとも１つを実行するようにさせることができる。
【0019】
触覚プロファイル・マップを決定することは、この装置に、以前のタッチ・イベントに依存して、触覚プロファイル・マップを決定することを実行するようにさせることができる。
【0020】
タッチ・イベントを決定することは、この装置に、ディスプレイの上のホバー・タッチ、および、物理的にディスプレイと接触するコンタクト・タッチのうちの少なくとも１つを決定することを実行するようにさせることができる。
【0021】
この装置は、ディスプレイの上に画像を表示することを更に実行することができる。ここで、ディスプレイのために触覚プロファイル・マップを決定することは、前記装置に、前記画像と結びついている触覚プロファイル・マップを決定することを実行させる。
【0022】
この装置は、前記ディスプレイの上の前記タッチ・イベントに依存して、前記ディスプレイの上で前記画像を修正するステップを更に実行することができる。
【0023】
前記ディスプレイにおける触覚効果を生成することは、前記装置に、前記ディスプレイの下に、接触して位置する少なくとも１つの圧電アクチュエータによりディスプレイを動かすことを実行させる。
【0024】
前記ディスプレイにおける触覚効果を生成することは、前記装置に、前記装置の内部に位置する少なくとも１つの振動アクチュエータによって、前記ディスプレイを備えている装置を動かすことを実行させる。
【0025】
この装置は、音響効果が、シミュレーションされた表面の経験をさらに提供するように、タッチ・イベントに基づいて、前記ディスプレイの上で音響効果を生成することを実行させるようにすることができる。
【0026】
第３の態様にしたがって、ディスプレイのための触覚プロファイル・マップを決定する手段と、前記触覚プロファイル・マップによって規定される領域の中での前記ディスプレイの上のタッチ・イベントを決定する手段と、触覚効果が、シミュレーションされた表面の経験を提供するように、タッチ・イベントに基づいて、前記ディスプレイにおける触覚効果を生成する手段とを備える装置が提供される。
【0027】
触覚効果を生成する手段は、タッチ・イベントおよび触覚プロファイル・マップに基づいて、触覚効果を生成することができる。
【0028】
触覚プロファイル・マップを決定する手段は、前記ディスプレイのための触覚プロファイル・マップを生成する手段と、前記ディスプレイのための触覚プロファイル・マップをロードする手段とのうちの少なくとも１つを含むことができる。
【0029】
触覚プロファイル・マップは、少なくとも１つのベース触覚信号、少なくとも１つの変位信号修正ファクタ、少なくとも１つの方向信号修正ファクタ、速さ信号修正ファクタ、タッチ期間修正ファクタ、および、力信号修正ファクタのうちの少なくとも１つを含むことができる。
【0030】
タッチ・イベントを決定する手段は、少なくとも１つのワンタッチ方向を決定する手段と、少なくとも１つのタッチ速さを決定する手段と、少なくとも１つのタッチ期間を決定する手段と、少なくとも１つのタッチ力（りょく）を決定する手段と少なくとも１つのタッチ位置を決定するための手段と、のうちの少なくとも１つを含むことができる。
【0031】
触覚プロファイル・マップを決定する手段は、以前のタッチ・イベントに依存して、触覚プロファイル・マップを決定する手段を含むことができる。
【0032】
タッチ・イベントを決定する手段は、ディスプレイの上のホバー・タッチ、および、物理的にディスプレイと接触するコンタクト・タッチのうちの少なくとも１つを決定する手段を含むことができる。
【0033】
この装置は、ディスプレイの上に画像を表示する手段を、さらに備えることができる。ここで、ディスプレイのために触覚プロファイル・マップを決定する手段は、前記画像と結びついている触覚プロファイル・マップを決定する手段を備える。
【0034】
この装置は、前記ディスプレイの上の前記タッチ・イベントに依存して、前記ディスプレイの上で前記画像を修正する手段を更に備えることができる。
【0035】
前記ディスプレイにおける触覚効果を生成する手段は、前記ディスプレイの下に、接触して位置する少なくとも１つの圧電アクチュエータによりディスプレイを動かす手段を備える。
【0036】
前記ディスプレイにおける触覚効果を生成する手段は、前記装置の内部に位置する少なくとも１つの振動アクチュエータによって、前記ディスプレイを備えている装置を動かす手段を備える。
【0037】
この装置は、音響効果が、シミュレーションされた表面の経験をさらに提供するように、タッチ・イベントに基づいて、前記ディスプレイの上で音響効果を生成する手段を備えることができる。
【0038】
第４の態様にしたがい、ディスプレイのための触覚プロファイル・マップを決定するように構成される触覚プロファイル決定器と、前記触覚プロファイル・マップによって規定される領域の中での前記ディスプレイの上のタッチ・イベントを決定するように構成されるタッチ・イベント決定器と、触覚効果が、シミュレーションされた表面の経験を提供するように、タッチ・イベントに基づいて、前記ディスプレイの上で音響効果を生成するように構成される触覚効果生成器とを備える装置が提供される。
【0039】
触覚効果生成器は、タッチ・イベントおよび触覚プロファイル・マップに基づいて、触覚効果を生成するように構成することができる。
【0040】
触覚効果決定器は、前記ディスプレイのための触覚プロファイル・マップを生成するように構成される触覚プロファイル・マップ生成器と、前記ディスプレイのための触覚プロファイル・マップをロードするように構成される触覚プロファイル・マップ入力と、のうちの少なくとも１つを含むことができる。
【0041】
触覚プロファイル・マップは、少なくとも１つのベース触覚信号、少なくとも１つの変位信号修正ファクタ、少なくとも１つの方向信号修正ファクタ、速さ信号修正ファクタ、タッチ期間修正ファクタ、および、力（ちから）信号修正ファクタのうちの少なくとも１つを含むことができる。
【0042】
タッチ・イベント決定器は、少なくとも１つのタッチ位置を決定するように構成されるタッチ位置決定器、少なくとも１つのワンタッチ方向を決定するように構成されるタッチ方向決定器、少なくとも１つのタッチ速さを決定するように構成されるタッチ速さ決定器、少なくとも１つのタッチ期間を決定するように構成されるタッチ期間タイマー、および、少なくとも１つのタッチ力を決定するように構成されるタッチ力決定器のうちの少なくとも１つを含むことができる。
【0043】
触覚プロファイル・マップ決定器は、以前のタッチ・イベントに依存して、触覚プロファイル・マップを決定するように構成されるタッチ・イベント・ステート・マシンを備えることができる。
【0044】
タッチ・イベント決定器は、ディスプレイの上のタッチを決定するように構成されるホバー・タッチ決定器、および、物理的にディスプレイと接触するタッチを決定するように構成されるコンタクト・タッチ決定器のうちの少なくとも１つを備えることができる。
【0045】
この装置は、画像を表示するように構成されるディスプレイを更に備えることができる。ここで、触覚プロファイル・マップ決定器は、画像を結びついた触覚プロファイル・マップを決定するように構成される画像ベース触覚マップ決定器を備える。
【0046】
この装置は、タッチ・イベントに依存して、ディスプレイの上で画像を修正するように構成されるディスプレイ・プロセッサを更に備えることができる。
【0047】
この装置は、前記ディスプレイの下に、接触して位置する少なくとも１つの圧電アクチュエータを備えることができる。そして、触覚効果生成器は、ディスプレイを動かすアクチュエータを制御するように構成することができる。
【0048】
この装置は、前記装置の内部に位置する少なくとも１つの振動アクチュエータを備えることができる。そして、触覚効果生成器は、ディスプレイを動かすアクチュエータを制御するように構成することができる。
【0049】
この装置は、音響効果が、シミュレーションされた表面の経験をさらに提供するように、タッチ・イベントに基づいて、ディスプレイの上で音響効果を生成するように構成される音響効果生成器を更に備えることができる。装置に命令を実行させるためにメディアに格納されるコンピュータ・プログラム製品は、ここに記述される方法を実行することができる。
【0050】
電子デバイスは、ここに記述される装置を含むことができる。
【0051】
チップセットは、ここに記述される装置を備えることができる。
【図面の簡単な説明】
【0052】
本願発明のより良い理解のために、次に、例として、添付の図面への参照がなされる。【発明を実施するための形態】
【0053】
本願明細書は、触覚型と音響の出力をタッチ・スクリーン・デバイスから生成し、エンコードし、格納し、伝送し、そして、出力することができる装置および方法を記載する。図１は、本願の実施形態をインプリメントすることができる電子デバイス１０または装置の例の概略ブロック図である。装置１０は、改善された触覚型のおよび音波生成を提供するように構成されるそのような実施形態である。
【0054】
装置１０は、いくつかの実施形態において、モバイル端末、携帯電話、あるいは、無線通信システムにおいて動作するユーザ機器である。他の実施形態において、この装置は、例えば、デジタル・カメラ、携帯用のオーディオプレーヤー（ＭＰ３プレーヤー）、携帯用のビデオ・プレーヤー（ｍｐ４プレーヤー）などの画像表示を提供するように構成されるいかなる適切な電子デバイスでもよい。他の実施形態において、この装置は、例えば、タッチ・スクリーン、あるいは、タッチパッドが触れられたときにフィードバックを提供するように構成されるタッチ・スクリーン、あるいは、タッチパッドのような（情報を表示することができても、できなくても）タッチ・インターフェースを有するいかなる適切な電子デバイスでもありえる。例えば、いくつかの実施形態において、タッチパッドは、いくつかの実施形態において、その上にマークを有しない、および、他の実施形態において、前面ウィンドウの上で物理的マークまたは指標を有するタッチ・センシティブ・キーパッドでありえる。そのようなタッチセンサの例は、ディスプレイを投影する前面ウィンドウの下に搭載したスクリーンを要求しない、自動預金受払機（ＡＴＭ）におけるキーパッドを置き換えるタッチ・センシティブ・ユーザ・インターフェースでありえる。そのような実施形態で、ユーザは、例えば、高くした側面、または、光ガイドによって照明されたプリント層のような物理識別子によって、どこにさわるべきかについて通知されることができる。
【0055】
装置１０は、タッチ入力モジュールまたはユーザ・インターフェース１１を備える。そして、それはプロセッサ１５にリンクされる。プロセッサ１５は、さらに、ディスプレイ１２とリンクされる。プロセッサ１５は、トランシーバ（ＴＸ／ＲＸ）１３に、および、メモリ１６にさらにリンクされる。
【0056】
いくつかの実施形態において、タッチ入力モジュール１１および／またはディスプレイ１２は、電子デバイスから離れているか、あるいは、分離可能である。また、このプロセッサは、タッチ入力モジュール１１から信号を受信し、および／または、トランシーバ１３または別の適切なインターフェースを介して、ディスプレイ１２に伝送および信号伝達する。さらにまた、いくつかの実施形態において、タッチ入力モジュール１１とディスプレイ１２とは、同じコンポーネントの部分である。そのような実施形態においては、タッチ・インタフェース・モジュール１１とディスプレイ１２とは、ディスプレイ部分、または、タッチ・ディスプレイ部分と呼ばれることがありえる。
【0057】
プロセッサ１５は、いくつかの実施形態において、種々のプログラム・コードを実行するように構成することができる。インプリメントされたプログラム・コードは、いくつかの実施形態において、タッチ処理、入力シミュレーション、または、タッチ入力モジュール入力を検出し、処理する触覚効果シミュレーション・コード、トランスデューサにパスされるとき、装置のユーザに触覚型フィードバックを生成することができる電気信号が生成される効果フィードバック信号生成、または、アクチュエータを駆動するためにをアクチュエータ信号を生成するように構成されるアクチュエータ処理のようなルーチンを備えることができる。インプリメントされたプログラム・コードは、いくつかの実施形態において、たとえば、メモリ１６に、特に、プロセッサ１５によって必要なときに検索するためにメモリ１６のプログラム・コード・セクション１７の内部に、格納することができる。メモリ１５は、いくつかの実施形態において、たとえば、本願にしたがって処理されたデータ、たとえば、擬似オーディオ信号データなどの、データを格納するためのセクション１８を更に提供することができる。
【0058】
タッチ入力モジュール１１は、いくつかの実施形態インプリメントにおいて、いかなる適切なタッチ・スクリーン・インタフェース技術であることもできる。例えば、いくつかの実施形態において、タッチ・スクリーン・インタフェースは、タッチ・スクリーン・インタフェースより上にある、または、接触している指の存在にセンシティブであるように構成される静電容量センサを備えることができる。静電容量センサは、透明導電体（たとえば酸化インジウムスズ−ＩＴＯ）でおおわれている絶縁体（たとえばガラスまたはプラスチック）を備えることができる。人体は導体でもあるので、スクリーンの表面に触れることが、静電容量の変化として測定可能なローカル静電界の歪みの結果となる。いかなる適切なテクノロジーも、タッチの位置を決定するのに用いることができる。この場所は、ユーザのタッチが、デバイスにどのように関係しているかを計算することができるプロセッサにパスすることができる。この絶縁体は、指からのほこり、ちりまたは残留物から、導電層を保護する。
【0059】
いくつかの他の実施形態において、タッチ入力モジュールは、いくつかの層を備える抵抗センサでありえる。そのうちの２つは、狭いギャップにより分離された薄い、金属の、電気的に導電性の層である。指などのオブジェクトが、パネルの外部表面の上のポイントを押下するとき、２つの金属層は、そのポイントにおいて接続することになる。すると、パネルは、接続した出力を有する一対の分圧器として振る舞う。したがって、この物理的変化によって、タッチ・イベントとして登録された電流の変化が起き、処理のためにプロセッサに送られる。
【0060】
いくつかの他の実施形態において、タッチ入力モジュールは、視覚的検出、たとえば指またはタッチしたオブジェクトの位置を検出するその表面の下にまたは表面の上に配置されたカメラ、投影された静電容量検出、赤外線検出、表面音波検出、分散信号技術、および、音響パルス認識などのような技術を用いて、タッチをさらに決定することができる。いくつかの実施形態において、「タッチ」は、両方の物理的接触によって定義することができ、「ホバー・タッチ」は、センサとの物理的接触はないが、センサに近接して位置するオブジェクトがセンサに影響を及ぼすものであると定義することができることは理解されるであろう。
【0061】
装置１０は、いくつかの実施形態において、処理技術を、少なくとも部分的にハードウェアでインプリメントすることができる。換言すると、プロセッサ１５によって行われる処理は、少なくとも部分的には、ハードウェアを操作するソフトウェアまたはファームウェアを必要とせずにハードウェアでインプリメントすることができる。
【0062】
トランシーバ１３は、いくつかの実施形態において、たとえば、いくつかの実施形態において、無線通信ネットワークを介して、他の電子デバイスとの通信を可能にする。
【0063】
ディスプレイ１２は、いかなる適切なディスプレイ技術を含むことができる。たとえば、ディスプレイ要素は、タッチ入力モジュールの下に位置することができ、タッチ入力モジュールを通して、ユーザによって見られるように、画像を投影することができる。ディスプレイ１２は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）、有機発光ダイオード（ＯＬＥＤ）、プラズマ・ディスプレイ・セル、電界放出ディスプレイ（ＦＥＤ）、表面伝導型電子放出素子ディスプレイ（ＳＥＤ）、および、電気泳動ディスプレイ（電子ペーパー、ｅペーパーまたは電子インク・ディスプレイとして知られている）のような、いかなる適切なディスプレイ技術を利用することができる。いくつかの実施形態において、ディスプレイ１２は、ディスプレイ・ウィンドウに光ガイドを使って投影されるディスプレイ技術の１つを使用している。ここに記載されるように、ディスプレイ１２は、いくつかの実施形態において、物理的に固定したディスプレイとしてインプリメントすることができる。例えば、ディスプレイは、前面ウィンドウの上の物理的デカールまたは転写でありえる。いくつかの他の実施形態において、このディスプレイは、前面ウィンドウの上の隆起した、あるいは、窪んだマークなどこの表面の残りの物理的に異なるレベルに置くことができる。いくつかの他の実施形態において、このディスプレイは、前面ウィンドウの下の光ガイドによって照らされたプリント層でありえる。
【0064】
ここに記述される実施形態の概念は、ディスプレイ、および触覚型出力、そして、いくつかの実施形態においては、ディスプレイ、触覚型および音声出力を用いて、シミュレーションされた経験をインプリメントすることである。いくつかの実施形態において、シミュレーションされた経験は、触覚効果を用いたディスプレイの上で表現されるテクスチャまたは機械的特徴のシミュレーションである。さらにまた、これらの触覚効果は、いかなる適切な触覚フィードバックに対しても使用されることができる。ここで、効果は、適切なディスプレイ出力特性と関係している。例えば、効果は、シミュレーションされたテクスチャのプロファイルと関係していることがありえる。
【0065】
触覚型オーディオ・ディスプレイ・コンポーネント例は、ディスプレイ、および、図２に示される触覚フィードバック生成器を備える。図２は、特に、タッチ入力モジュール１１、および、その下で、パッドの下に位置するトランスデューサ１０３によって駆動することができるパッド１０１に結合するディスプレイ１２を示す。トランスデューサ１０３の動作は、次に、ディスプレイ１２にパッド１０１を通して、パスすることができる。これは、ユーザが感じることができる。トランスデューサまたはアクチュエータ１０３は、いくつかの実施形態において、例えば、電流がトランスデューサに通されるとき、曲げる力のような力を生成するように構成される圧電または圧電性電気的トランスデューサでありえる。この曲げる力は、このように、パッド１０１を介して、ディスプレイ１２へ移される。他の実施形態において、触覚型のオーディオ・ディスプレイ・コンポーネントの配置、構造または構成は、トランスデューサ（例えば、圧電変換器）およびディスプレイの間のいかなる適切な結合でありえることが理解される。
【0067】
図３について、第１の触覚効果生成システム装置が、記述される。いくつかの実施形態において、この装置は、タッチ・コントローラ２０１を備える。このタッチ・コントローラ２０１は、触覚型のオーディオ・ディスプレイまたはタッチ・スクリーンから入力を受信するように構成することができる。次に、タッチ・コントローラ２０１は、適切なデジタル表現または、例えば、タッチ入力数、タッチ入力位置、タッチ入力のサイズ、タッチ入力の形状、他のタッチ入力と相対する位置、などのタッチと結びついて特性を生成するために、これらの入力を処理するように構成できる。タッチ・コントローラ２０１は、触覚効果生成器２０３に、タッチ入力パラメータを出力することができる。
【0068】
いくつかの実施形態において、この装置は、応用プロセス・エンジンまたは適切な触覚型の影響手段としてインプリメントされることができる触覚効果生成器２０３を備える。触覚効果生成器２０３は、タッチ・コントローラ２０１からタッチ・パラメータを受信し、触覚効果が生成されることになっているかどうか、どの触覚効果が生成されることになっているか、および、どこで触覚効果が生成されることになっているかを決定するために、タッチ・パラメータを処理するように構成される。
【0069】
いくつかの実施形態において、この触覚効果生成器２０３は、情報またはデータを、メモリ２０５から受信、および、要求するように構成することができる。たとえば、いくつかの実施形態においては、この触覚効果生成器は、触覚効果生成器２０３の状態に依存してルックアップ・テーブルの形でメモリから特定の触覚効果信号を読み出すように構成することができる。
【0070】
いくつかの実施形態において、この装置は、メモリ２０５を備える。このメモリ２０５は、触覚効果生成器２０３と通信するように構成することができる。いくつかの実施形態において、このメモリ２０５は、圧電増幅器２０７にパスされるとき、触覚型オーディオ・ディスプレイを用いた適切な触覚フィードバックを生成する適切な触覚効果「オーディオ」信号を格納するように構成することができる。
【0071】
いくつかの実施形態において、触覚効果生成器２０３は、生成された効果を圧電増幅器２０７に出力することができる。
【0072】
いくつかの実施形態において、この装置は、圧電増幅器２０７を備える。圧電増幅器２０７は、触覚効果生成器２０３から少なくとも１つの信号チャネル出力を受信するように構成され、少なくとも１つの圧電アクチュエータへ出力する適切な信号を生成するように構成される単一チャネルまたは多重チャネルの増幅器でありえる。図３に示される例において、圧電増幅器２０７は、第１の圧電アクチュエータ２０９、圧電アクチュエータ１に、第１のアクチュエータ信号を、および、第２の圧電アクチュエータ２１１、圧電アクチュエータ２に、第２のアクチュエータ信号を出力するように構成される。
【0073】
圧電増幅器２０７は、２つのアクチュエータ信号よりも多く、または、少ない信号を出力するように構成することができることが理解される。
【0074】
いくつかの実施形態において、この装置は、圧電増幅器２０７から第１の信号を受けるように構成される第１の圧電アクチュエータ２０９、圧電性アクチュエータ１、および、圧電増幅器２０７から第２信号を受けるように構成される第２の圧電アクチュエータ２１１、圧電性アクチュエータ２を備える。圧電アクチュエータは、触覚型オーディオ・ディスプレイの上で触覚フィードバックを生成する動作を生成するように構成される。２つの圧電アクチュエータよりも、多くの、または、少ない圧電アクチュエータが存在し得ること、そして、さらに、いくつかの実施形態においては、アクチュエータは、圧電アクチュエータ以外のアクチュエータでありえることが理解される。
【0075】
図４について、示される触覚効果生成システム装置は、図３に示された触覚効果生成システム装置と、各々の圧電アクチュエータは、関連する圧電増幅器から信号を供給されるように構成されることにおいて異なる。したがって、たとえば、図４に示されたように、第１の圧電アクチュエータ２０９、圧電アクチュエータ１は、第１の圧電増幅器３０１からアクチュエーション信号を受信し、第２の圧電アクチュエータ２１１、圧電アクチュエータ２は、第２の圧電増幅器３０３から第２のアクチュエーション信号を受信するように構成される。
【0076】
図５について、示された触覚効果生成システム装置は、図３に示された触覚効果生成システム装置と、この触覚効果生成器装置は、力（ちから）センサ４０１から更なる入力を受信するように構成されることにおいて異なる。
【0077】
いくつかの実施形態において、したがって、触覚効果生成システム装置は、ディスプレイに加えられる力を決定するように構成される力（ちから）センサ４０１を備える。力センサ４０１は、いくつかの実施形態において、歪みゲージまたは圧電性力センサとしてインプリメントすることができる。更なる実施形態において、力センサ４０１は、逆に動作する少なくとも１つの圧電アクチュエータとしてインプリメントされる。ここで、力によるディスプレイの変位は、アクチュエータの中で電気信号を生成する。この信号は、タッチ・コントローラ４０１にパスすることができる。いくつかの他の実施形態において、アクチュエータ出力は、触覚効果生成器２０３にパスすることができる。いくつかの実施形態において、力センサ４０１は、いかなる適切な力センサ、または、圧力センサ・インプリメンテーションとしてインプリメントすることができる。いくつかの実施形態において、力センサは、駆動信号で圧電素子を駆動し、そして、次に、圧電素子のチャージまたはディスチャージ時定数を測定することによってインプリメントすることができる。圧電アクチュエータは、アクチュエータが駆動信号でチャージされているとき、ほとんどキャパシタのようにふるまう。力がディスプレイの上へ加えられると、アクチュエータは曲がり、したがって、アクチュエータのキャパシタンス値が変化する。圧電アクチュエータのキャパシタンスは、たとえば、ＬＣＲメーターで測定、または、モニターすることができる。したがって、加えられた力を、前記圧電性アクチュエータのキャパシタンス変化に基づいて、計算することができる。
【0078】
いくつかの実施形態において、同時に、チャージまたはディスチャージ定数を駆動し、モニターする機能を有する特別なコントローラは、ディスプレイの上で加えられる力を解釈し、したがって、力の値を伝達するするために使うことができる。このコントローラは、このように、いくつかの実施形態において、別々の力センサの代わりにインプリメントすることができる。ここに記載されるように、アクチュエータを、力を測定するために使用することができるからである。
【0079】
図６に示された触覚効果生成システム装置は、図３に示された触覚効果生成システム装置と、図６に示された例における触覚効果生成器２０３は、さらに、圧電アクチュエータにパスされる触覚型の「オーディオ」信号を生成するだけでなく、例えば、図６に示されるヘッドセット５０１のような外部オーディオ・アクチュエータへ出力することができるオーディオ信号を生成するように構成されることにおいて異なる。このように、いくつかの実施形態においては、触覚効果生成器２０３は、触覚フィードバックの生成と同時並行して、または、触覚フィードバックと分離して、外部オーディオ・フィードバック信号を生成するように構成することができる。
【0081】
ここに記載されるように、このタッチ・コントローラ２０１は、タッチ・スクリーンから入力を受信するように構成することができ、また、触覚効果生成を決定するために適切なタッチ・パラメータを決定するように構成することができる。
【0082】
いくつかの実施形態において、このタッチ・コントローラ２０１は、タッチ・パラメータを生成するように構成することができる。このタッチ・パラメータは、いくつかの実施形態において、タッチ位置、すなわち、タッチの位置が経験されたところを含む。いくつかの実施形態において、タッチ・パラメータは、タッチ速度、言い換えると、タイム・インスタンスのシリーズにわたるタッチの動作を含む。タッチ速度パラメータは、いくつかの実施形態において、表すこと、または、動作の速さと動作の方向とに分けることができる。いくつかの実施形態において、タッチ・パラメータは、タッチの圧力または力（ちから）を含む。言い換えると、スクリーンの上のタッチ・オブジェクトによって加えられる圧力の量である。
【0083】
次に、タッチ・コントローラ２０１は、これらのタッチ・パラメータを、触覚効果生成器２０３に出力することができる。
【0084】
タッチ・パラメータを決定する動作は、図７のステップ６０１によって示される。
【0085】
いくつかの実施形態において、この触覚効果生成器２０３は、これらのタッチ・パラメータを受信し、およびこれらのタッチ・パラメータから、タッチ・パラメータを結びついたタッチ・コンテキスト・パラメータを決定するように構成することができる。
【0086】
このように、いくつかの実施形態においては、触覚効果生成器２０３は、位置を受信し、この位置に触覚効果領域があるかどうか、および、その位置においてどの触覚効果が生成されることになっているかを決定するために、その位置値を分析することができる。たとえば、いくつかの実施形態においては、タッチ・スクリーンは、テクスチャをシミュレーションするように構成されるスクリーンの領域を含むことができる。触覚効果生成器２０３は、タッチ・パラメータ位置を受信して、その位置において、どのテクスチャが経験されることになっているかを決定することができる。いくつかの実施形態において、これは、メモリ２０５で格納される触覚効果マップから、その位置を調べることで、触覚効果生成器２０３により、実行することができる。
【0087】
いくつかの実施形態において、コンテキスト・パラメータは、生成するテクスチャまたは効果のタイプだけでなく、テクスチャまたは効果が、方向性を有するかどうか、そして、この方向性または他のタッチ・パラメータ依存性が、どのように触覚効果生成に影響するかを決定することができる。このように、テクスチャ効果の例に対して、触覚効果生成器２０３は、テクスチャが方向性を有するかどうかを決定し、この方向性と結びついたパラメータを検索するように構成することができる。さらにまた、いくつかの実施形態においては、コンテキスト・パラメータは、テクスチャまたは効果が「深さ感度」を有するか否か、たとえば、そのテクスチャまたは効果が、そのタッチを「より深い」ものに変えるかどうかを決定することができる。そのような実施形態においては、タッチの「深さ」は、そのタッチの圧力または力（ちから）に対応して、決定することができる。
【0088】
コンテキスト・パラメータを決定する動作は、図７にステップ６０３によって示される。
【0089】
触覚効果生成器２０３は、コンテキスト・パラメータを決定し、タッチ・パラメータを受信して、そのコンテキストとタッチ・パラメータに依存する触覚効果を生成することができる。テクスチャの例に対して、触覚効果生成器は、速さ、方向、および、タッチの力（ちから）などの、シミュレーションされたテクスチャとタッチ・パラメータに依存する触覚効果を生成するように構成することができる。生成された触覚効果は、次に、ここに記載されるように、圧電増幅器２０７にパスすることができる。
【0090】
コンテキストとタッチ・パラメータに依存して、触覚効果を生成する動作は、図７にステップ６０５によって示される。
【0091】
図８について、タッチ・コントローラ２０１の例が、詳細に示される。さらにまた、図１０について、図８に示されたいくつかの実施例にしたがう、タッチ・コントローラの動作は、さらに詳細に示される。
【0092】
いくつかの実施形態において、タッチ・コントローラ２０１は、タッチ位置決定器７０１を備える。タッチ位置決定器７０１は、タッチ入力をディスプレイから受信するように構成することができ、また、タッチ位置または場所の値を決定するように構成することができる。タッチ位置は、いくつかの実施形態において、定義された原点に対して、２次元（または圧力が結合される所では３次元）の値として表現できる。
【0093】
タッチ入力を受信する動作は、図１０にステップ９０１によって示される。
【0094】
タッチ位置を決定する動作は、図１０にステップ９０３によって示される。
【0095】
タッチ位置決定器７０１は、いくつかの実施形態において、任意の適切なフォーマットにしたがい、位置値を決定するように構成することができる。さらにまた、この位置は、原点に対して、または、マルチ・タッチ位置については他のタッチ位置と相対して、単一のタッチまたはマルチ・タッチ位置を示すように構成することができる。
【0096】
いくつかの実施形態において、タッチ・コントローラ２０１は、タッチ速度決定器７０３を備えることができる。タッチ速度決定器は、経時的な一連のタッチ位置に依存しているタッチの動作を決定するように構成することができる。タッチ速度決定器は、いくつかの実施形態において、タッチ速さおよびタッチ方向成分の意味で、タッチ速度を決定するように構成することができる。
【0097】
経時的なタッチ位置からタッチ速度を決定する動作は、図１０にステップ９０５によって示される。
【0098】
いくつかの実施形態において、タッチ・コントローラ２０１は、タッチ力／圧力決定器７０５を備える。タッチ力／圧力決定器７０５は、いくつかの実施形態において、タッチ・インパクト領域に依存して、スクリーンに加えられる力または圧力の近似を決定するように構成することができる。ユーザがスクリーンにより大きい圧力を加えるほど、圧力の下の指先の変形のためにタッチ表面領域がより大きくなることが理解される。このように、いくつかの実施形態においては、このタッチ・コントローラ２０１は、タッチ力／圧力決定器７０５にパスすることができるパラメータとしてタッチ表面領域を検出するように構成することができる。
【0099】
いくつかの実施形態において、タッチ・コントローラ２０１が、力（ちから）センサ４０１によって、例えば、図５に示されるような力（ちから）または圧力センサから入力を受信する場合には、このタッチ・コントローラ２０１は、触覚効果生成器２０３に対してコンテキストを決定するために、センサ入力を使用するように構成することができる。次に、触覚効果生成器２０３は、力／圧力入力に依存してシミュレーションされた触覚効果を生成するように構成することができる。たとえば、異なるシミュレーションされた触覚効果を、加えられている圧力に依存して、生成することができる。そうであるから、いくつかの実施形態においては、タッチ・スクリーンの上で感知される指先の圧力がより大きい、または、表面領域がより大きいほど、触覚効果を生成するのに用いられるベース信号からの修正は、より大きくなる。
【0100】
タッチ力／圧力決定器の決定は、図１０にステップ９０７によって示される。
【0101】
いくつかの実施形態において、タッチ・コントローラ２０１は、ディスプレイの上に及ぼされる圧力または力だけでなく、圧力と結びついた期間をもモニターするように構成することができる。いくつかの実施形態において、タッチ・コントローラ２０１は、力の適用の期間に依存して触覚フィードバックを生成するために、触覚効果生成器２０３にタッチ期間パラメータを生成するように構成することができる。
【0102】
タッチ位置決定器、タッチ速度決定器、および、タッチ力／圧力決定器の形でのタッチ・コントローラは、次に、これらのタッチ・パラメータを、触覚効果生成器に出力することができる。
【0103】
タッチ・パラメータを触覚効果生成器に出力する動作は、図１０にステップ９０９によって示される。
【0104】
図９について、触覚効果生成器２０３の例が、さらに詳細に示される。さらにまた、図１１および図１２について、触覚効果生成器２０３の図９に示されたいくつかの実施形態に関する動作が、さらに詳細に記述される。
【0105】
いくつかの実施形態において、触覚効果生成器２０３は、タッチ・コントローラ２０１からタッチ・パラメータを受信するように構成される。ここに記載されるように、タッチ・コントローラ２０１は、いくつかの実施形態で、位置、速度（速さと方向）、期間および、力／圧力パラメータデータなどのパラメータを生成し、触覚効果生成器２０３にパラメータデータをパスすることができる。
【0106】
タッチ・パラメータを受信する動作は、図１１にステップ１００１によって示される。
【0107】
いくつかの実施形態において、触覚効果生成器２０３は、位置コンテキスト決定器８０１を備えることができる。位置コンテキスト決定器８０１は、タッチ・パラメータ、および、特に、位置タッチ・パラメータを受信し、現在のタッチが、触覚効果領域または区域の中で起こっているか否かを判断するように構成される。いくつかの実施形態において、触覚効果を生成する、言い換えると、複数タッチ入力を処理する前に、触覚効果領域は、１つ以上のタッチ表面を必要とすることができる。
【0108】
位置コンテキスト決定器８０１は、このように、いくつかの実施形態において、タッチ位置（単数または複数）が、触覚またはコンテキスト領域の中であるかどうか判断、または、テストすることができる。
【0109】
タッチ位置が、触覚領域の中であるかどうかチェックし、または、判断する動作は、図１１にステップ１００３によって示される。
【0110】
位置コンテキスト決定器８０１が、タッチ位置が、触覚領域またはコンテキスト領域の外側にある、言い換えると、タッチが、規定されて触覚効果領域の中にないと決定する場合には、位置コンテキスト決定器は、更なるタッチ情報を待つことができる。言い換えると、動作は、図１１に示されたように、更にタッチ・パラメータを受信するところまでバックする。
【0111】
いくつかの実施形態において、位置コンテキスト決定器は、タッチ位置に依存して、生成するべき特定のコンテキストまたは触覚効果が存在する（言い換えると、タッチ位置は規定された触覚効果領域または区域の中である）と決定する場合には、位置コンテキスト決定器は、位置に依存して、触覚テンプレートまたは触覚信号を検索する、あるいは、生成するように構成することができる。いくつかの実施形態において、位置コンテキスト決定器８０１は、メモリから、触覚テンプレートまたはテンプレート信号を検索するように構成される。いくつかの実施形態において、位置コンテキスト決定器８０１は、決定されたアルゴリズムにしたがい、位置に依存してテンプレート信号を生成することができる。
【0112】
ここに記述される例において、テンプレートまたはベース信号は、初期化される。言い換えると、位置、および、テンプレート、または、他のパラメータに依存して、さらに変更されたベース信号に依存して、生成されるか、リコールされるか、または、メモリからダウンロードされる。しかしながら、どんなパラメータでも、テンプレートまたはベース信号の形で触覚信号を初期化することができることが理解される。たとえば、テンプレートまたはベース信号を初期化することができるパラメータは、いくつかの実施形態において、決定された速さより大きい動きを有する「タッチ」、または、特定の方向の「タッチ」または、パラメータのいかなる適切な組合せまたは選択であることができる。
【0113】
いくつかの実施形態において、触覚効果生成器２０３は、速度コンテキスト決定器８０３を備える。速度コンテキスト決定器８０３は、例えば、タッチの動作の速さと方向などの、タッチ・コントローラ速度パラメータを受信するように構成される。いくつかの実施形態において、速度コンテキスト決定器８０３は、触覚効果領域に関する触覚テンプレートまたは方向ルールを受信し、そして、分析し、触覚効果が指向的かどうか決定することができる。
【0114】
いくつかの実施形態において、速度コンテキスト決定器８０３は、さらに、タッチ速さに依存して、ベースまたはテンプレート信号に、速さバイアスを適用するように構成することができる。
【0115】
触覚テンプレートが、方向または速さ依存であるどうかを決定する動作は、図１１にステップ１００７によって示される。触覚テンプレートは、速度パラメータに依存していると決定された場合には、速度コンテキスト決定器８０３は、タッチ・コントローラ速度パラメータによって、タッチ方向および／またはタッチ速さに依存する方向および／または速さバイアスを適用するように構成することができる。
【0116】
触覚テンプレート（触覚信号）への方向および／または速さバイアスの適用は、図１１にステップ１００８によって示される。
【0117】
触覚テンプレートが、方向的でない場合には、動作は、直接、力決定動作１００９にパスすることができる。
【0118】
いくつかの実施形態において、触覚効果生成器２０３は、力／圧力コンテキスト決定器８０５を備える。力／圧力コンテキスト決定器８０５は、タッチ・コントローラから、力または圧力タッチ・パラメータのようなタッチ・パラメータを受信するように構成される。さらにまた、力／圧力コンテキスト決定器８０５は、いくつかの実施形態において、シミュレーションされている触覚効果が、力（ちから）依存的な要素を有するかどうか決定するために、触覚効果テンプレートを分析することができる。
【0119】
触覚テンプレートが、力に影響を受けるかどうかを決定する動作は、図１１にステップ１００９によって示される。
【0120】
力／圧力コンテキスト決定器８０５が、触覚テンプレートが、力に影響を受けると決定する場合には、力／圧力コンテキスト決定器８０５は、タッチ・コントローラによって提供される力（ちから）パラメータに依存して、力バイアスを適用するように構成することができる。いくつかの実施形態においては、力パラメータを、他のいかなる適切な力センサまたはモジュールによっても提供することができることが理解される。
【0121】
検出される力に依存して、力バイアスを適用する動作は、図１１にステップ１０１０によって示される。
【0122】
いくつかの実施形態において、触覚効果生成器２０３は、いくつかの実施形態で、触覚効果のインスタンスとして構成されることができ、タッチ決定位置、触覚効果信号分布、および、ディスプレイ中での圧電トランスデューサの分布の知識または情報から各々の圧電性トランスデューサに対する別々の信号を決定することができる触覚効果信号を受信するように構成される圧電性マッパまたは決定器への位置を備える。
【0123】
触覚効果信号を受信する動作は、図１２にステップ１１０１によって示される。
【0124】
触覚効果信号の個々の圧電性電気的トランスデューサ・バージョンの決定は、図１２にステップ１１０５によって示される。
【0125】
さらにまた、圧電位置決定器８０７は、次に、圧電トランスデューサ信号を、圧電増幅器に出力することができる。
【0126】
圧電増幅器への圧電トランスデューサ触覚信号の出力は、図１２にステップ１１０７によって示される。
【0127】
図１３−図２１について、一連のシミュレーションされたイベント触覚効果の例が、示される。これらのシミュレーションされたイベントは、いくつかの実施形態においては、ここに記載されるように、生成することができる。図１３−図２１に示される例は、特に、表面の触覚効果シミュレーションまたは、材料触覚効果を示す。ここで、ディスプレイの表面（少なくともディスプレイの部分に対して）が、平面プラスチックまたはガラスのもの以外の表面効果をシミュレーションする。言い換えると、実施形態の表面が、指が「シミュレート」された表面で動かされるときに、ユーザの指先端への触覚効果を生成するまたは「表示」する。
【0128】
そのような実施形態においては、触覚効果テンプレートまたは触覚信号は、指またはタッチが、押下され、動かされている限り、ループとして出力することができる短い「プレ・アップロードされた」オーディオ・ファイルまたはオーディオ信号でありえる。さらにまた、タッチ運動が停止し、または、指が持ち上げられるときには、触覚効果テンプレート・オーディオ・ファイル・プレイバックは、終了する。いくつかの実施形態において、タッチ・パラメータは、オーディオ・ファイル・プレイバックを修正することができる。たとえば、オーディオ・ファイルのピッチまたは周波数は、指またはタッチ速さに基づいて、調節することができる。そのような実施形態においては、タッチの速さが、より速いほど、触覚効果生成器は、より高いピッチのオーディオ・ファイルを生成するように構成される。そして、同様に、より遅いタッチ速さは、より低いピッチのオーディオを生成する。これは、指が、異なる速さでテクスチャ表面の上にあることをシミュレーションする効果をシミュレーションする。ここで、異なる周波数スペクトルが生成される。言い換えると、シミュレーションされた表面の上のタッチ運動が、より速いほど、シミュレーションされたサウンドは、より短い波長、したがって、より高い周波数成分を有する。
【0129】
いくつかの実施形態において、オーディオ信号または触覚信号の量または振幅は、タッチ速度に基づいて、調節することができる。したがって、速さが、より速いほど、ボリュームは、より大きくなり、そして、速さが、より遅いほど、ボリュームは、より小さくなる（運動がない場合には、ゼロ・ボリュームを生成する）。このように、もう一度繰り返すと、織られた布（ｔｅｘｔｕｒｅｄ ｃｌｏｔｈ）の上に指を動かす効果は、静かな環境では、非常に遅い運動は、非常に小さな音を生成し、そして、より速い運動は、より大きな音を生成するように、シミュレーションすることができる。
【0130】
テクスチャまたはシミュレーションされた表面の例が、図１３に示される。テクスチャ表面１２０１は、図１３に示されたように、コルゲーション（波形、しわ）を第１の（垂直）軸１２０３に沿って有するシミュレーションされたボール紙、または、波形表面である。このコルゲーションは、第１の軸１２０３に対して「シミュレートされた」高さ１２０７のプロットを示す側面像１２０５により図１３に示される。コルゲーションまたはボール紙効果は、いくつかの実施形態で、期間Ｔおよび振幅Ａを有する正弦波１２０９の触覚信号（またはオーディオ信号）によってシミュレーションすることができる。表面か効果をシミュレーションするテンプレートまたは触覚信号は、いかなる適切な信号フォームまたは信号の組合せでもありえることが理解される。
【0131】
このように、いくつかの実施形態においては、ボール紙シミュレーション表面は、タッチ位置１２１１は、ボール紙面と定義される領域の中であると決定して、触覚効果テンプレート（正弦波１２０９によって表されたオーディオまたは触覚信号）を検索して、位置コンテキスト決定器８０１によって、シミュレーションすることができ、また、速度コンテキスト決定器８０３にそのテンプレートをパスする。
【0132】
速度コンテキスト決定器８０３は、次に、いくつかの実施形態において、テンプレートを分析し、（シミュレーションされたコルゲーションが起こる第１の軸１２０３において）タッチの速さが、より速いほど、期間がより短く、（周波数がより高い）そして、ボリュームがより大きく（振幅Ａより大きく）、そのオーディオ信号がなるように、タッチの速さに依存するオーディオまたは触覚信号を修正するか、処理するように構成することができる。
【0133】
図１４について、表面テンプレートの方向性の態様は、波形またはシミュレーションされたボール紙表面に対して、さらに詳細に示される。ここに記載されるように、ボール紙または波形表面１２０１は、図１４に軸１３０３によって示された第１の軸で、波またはプロファイルのように正弦波を有しているように、しかし、第１の軸に対して垂直な第２の軸１３０１では、まったく違いがないか、あるいは、重要でないプロファイルの違いしかないようにモデル化される。このように、いくつかの実施形態においては、指が第１の軸において（すなわち垂直に）動かされるとき、より多くのサウンドと周波数の変化が感じられ、そして、前記第２の軸において（すなわち水平に）指が動かされるかとき、より感じられなく、より小さく聞こえるように、ボール紙表面はシミュレーションされる。
【0134】
そのような実施形態においては、速度コンテキスト決定器８０３は、完全に水平と完全に垂直との間の方向に対して、オーディオまたは触覚信号の強さを調節することができる。いくつかの実施形態において、運動の水平および垂直の角度は、正規化される。言い換えると、オーディオ信号は、指を斜めに動かす（または、触覚効果の同一量を生成直線の他のどの角度においても）とき、ピッチとボリュームの水平および垂直の効果の強度に対して、等しい重みを適用することによって、修正されるか、あるいは、変更される。
【0135】
いくつかの実施形態において、効果ミキシングまたは効果結合を、垂直１３０３、水平１３０１、および、斜め１３０２動作に対して示した音声シミュレーションされた信号によって示すことができる。ここで、斜め１３０２動作は、規定された速さに対してより小さい振幅およびより長いピッチ（より低い周波数）信号を有する。
【0136】
いくつかの実施形態において、第１のオーディオ信号または触覚信号が、第１の軸、たとえば、垂直軸１３０３に対して動作をシミュレーションするために、検索されるか、生成され、また、第２のオーディオ信号または触覚信号が、第２の軸、たとえば、水平軸１３０１に対する動作をシミュレーションするために、検索されるか、生成される場合には、純粋に第１または第２の軸に沿ったものではない（たとえば斜線に沿っての）運動は、速度コンテキスト決定器８０３に、第１の軸１３０３と結びついた第１のオーディオ信号の部分、および、第２の軸１３０１と結びついた第２の信号の部分を備える、組み合わせた、あるいは、ミックスしたオーディオ信号を生成させる。任意の適切な手段による、第１および第２のオーディオまたは触覚信号の、このミックスまたは組合せは、線形または非線形の組合せでありえる。
【0137】
図１５について、シミュレーションされたテクスチャ表面の例が示される。図１５に示されたシミュレーションされたテクスチャ表面は、「ヒョウの毛皮」、または、一般的な毛皮テクスチャ表面シミュレーションである。「毛皮」表面のシミュレーションは、いくつかの実施形態において、シミュレーション触覚信号は、軸に沿った第１の方向１４０１に対して、第１の触覚またはオーディオ信号であり、および、同じ軸に沿った反対方向１４０３に対して、第２のオーディオ信号である例を提供することができる。したがって、いくつかの実施形態においては、コンテキスト・テンプレートまたは触覚テンプレートは、同じ軸に沿った方向的なものでありえる。したがって、いくつかの実施形態においては、毛皮テクスチャ・シミュレーションは、「間違ったように毛皮のブラシかけをする」能力をシミュレーションし、また、正しい方向で毛皮にブラシをかけていると考えられ、「なめらかな」または、より低い周波数信号を生成する、反対の方向に沿って動くよりも、第１の方向に沿ってより「耳障りな」または、より高い周波数信号を生成する。
【0138】
図１６について、更なる表面の例が示される。図１６の中で「異質な金属」表面が示される。この図１３、図１４および図１５に示される例において、位置コンテキスト決定器８０１は、接触またはタッチ・インパクトのポイントが、オーディオ信号または触覚信号が生成される触覚領域の中にあるかどうかを決定するだけであるように構成される。しかしながら、いくつかの実施形態においては、この位置コンテキスト決定器８０１は、ラフな領域決定よりはむしろ、タッチの「正確な」ポイントを決定し、この位置情報から、適切にオーディオ信号または触覚信号を修正するように構成することができる。したがって、図１６に示されたように、シミュレーションされた表面は、触覚プロファイル変化の種々のレベルでモデル化され、そして、接点のポイントに依存して、位置コンテキスト決定器は、接触のポイントを反映するように、触覚信号テンプレートまたはオーディオ信号テンプレートを修正するように構成される。
【0139】
いくつかの実施形態において、表面の欠陥は、そのような方法において、シミュレーションし、モデル化することができる。したがって、いくつかの実施形態においては、位置コンテキスト決定器８０１は、接触のポイントは、表面欠陥領域に存在するか否かを判断し、その欠陥に対するオーディオ信号または触覚信号を検索し、あるいは、適切な欠陥処理にしたがい、非欠陥表面オーディオ信号または触覚信号を適切に修正または処理するように構成することができる。
【0140】
図１７について、更なる表面の例が示される。図１７に示される表面の例は、第１のプロファイル、言い換えると、第１の方向１６０１に沿って第１のオーディオ信号または触覚信号、および、第２の垂直な方向１６０３に沿って第２のプロファイル（第２のオーディオ信号または触覚信号）を有するものである。ここに記載されるように、速度コンテキスト決定器８０３は、第１の方向１６０１と第２の方向１６０３と相対するタッチＡの方向、およびＢ動作に依存して、２つの方向オーディオ信号または触覚信号を決定して、結合するように構成することができる。ここに記載されるように、この組合せは、線形、［例えば、Ａθ＋Ｂ（９０−θ）、ここで、Ａ、Ｂは、第１、および、第２信号であり、θは、運動の方向のコサインである］または、非線形［例えば、Ａθ２＋Ｂ（９０−θ）２］であることができる。
【0141】
図１８について、更なる表面の例が示される。図１８に示される表面の例は、石鹸まみれのガラス表面のものである。石鹸まみれのガラスの表面は、いくらかの石鹸がその上にあるガラス・ウィンドウとしてモデル化される。位置コンテキスト決定器８０１は、接触のポイントが、モデル化されたかシミュレーションされた石鹸まみれのガラス領域の中であるか否かを判断し、適切なオーディオ信号（触覚信号）を生成するように構成される。いくつかの実施形態において、位置コンテキスト決定器８０１は、圧電トランスデューサを介して触覚型オーディオ・ディスプレイによって出力する触覚（オーディオ）信号を生成するだけでなく、従来のトランスデューサによって、または、ヘッドホン、ヘッドセットまたはイヤホーンを介して、出力することができる適切なオーディオ信号をも生成するように構成される。
【0142】
さらにまた、図１３から図２１に示される画像は静的であるが、いくつかの実施形態においては、指が表面の上を動くとともに画像は変化することができたことが理解される。いくつかの実施形態において、たとえば、この画像は、スクリーンのコンテンツを混合、または、ぼかすことができた。同様に、いくつかの実施形態においては、この表面は、指がテクスチャ表面に沿って動いていると判断したときに、アニメーションを生成するように構成することができる。したがって、たとえば、「石鹸」の画像を、ガラス表面に塗ることができる。いかなるインタラクションでも、画像の外観を変え、そして、さらに、触覚反応マップを、最初に領域の上で指をスワイプすることによって生成された触覚反応が、ユーザが、同じ表面の上で２回目にスワイプするときとは異なるように、変化させる。さらにまた、いくつかの実施形態においては、動的なテクスチャ・マップによって、生成された動的なタイプの触覚効果は、一時的変化の効果でありえる、言い換えると、たとえば「石鹸」画像のように、さらに変化することができる。いくつかの実施形態において、動的なテクスチャ・マップによって、生成された動的なタイプの触覚効果は、変化をさらに修正することができない永久的な変化の効果でありえる。永久的な変化の効果の例は、ディスプレイが第１のテクスチャ・マップ（割れていない）を有し、決定された力の値が検出されたあとに、第２のテクスチャ・マップ（割れた）を有する、「割れた」ガラス効果である。
【0143】
これらの動的なタイプの触覚効果は、いかなる適切な触覚レスポンスおよび画像に適用することができる。たとえば、動的触覚反応マップは、ここに記載されるように、砂「表面」に対して、インプリメントすることができる。いくつかの実施形態において、動的触覚反応マップは、いくつかの実施形態において、方向触覚応答を変えることができる。たとえば、「毛皮」が、１つの方向にブラシをかけられるときには、毛皮「表面」は、外観および触覚反応マップを有する。そして、その「毛皮」が、別の、または、間違った方向でブラシをかけられる場合には、更なる外観および、パーツに対する触覚反応マップを有する。言い換えると、毛皮を形成しているヘアのルック・アンド・「フィール」は、いくつかの実施形態において、同一の領域をブラシかけするときに、修正することができる。これらの動的触覚反応マップおよび画像修正は、他の「テクスチャ」または「繊維」ベース効果に適用することができる。たとえば、長いファブリック「ヘア」またはシャギーパイルのカーペット表面は、動的な触覚マップおよび画像によってシミュレーションすることができる。シミュレーションすることができたシミュレーションされた表面の別の例は、誰かがその上でスワイプすると、外観を変えるテクスチャでシミュレーションすることができた草深いあるいは芝生でおおわれた表面効果である。
【0144】
図１９について、更なる表面の例が示される。図１９に示される表面の例は、砂のまたは砂床の表面のものである。図１９に示される表面は、いくつかの実施形態において、速さと方向とが、シミュレーションされるのと同様に、タッチによって、加えられ力／圧力コンテキスト決定器８０５によって、検出される力または圧力は、適切な方法でオーディオ信号または触覚信号を修正するように構成されるように、モデル化されることができる。例えば、圧力（あるいは力）が、より大きくなると、オーディオ信号または触覚信号は、より大きなボリューム、そして、「深さ効果」、または、表面を掘っている、または、「掘削」効果をシミュレーションしているより低いトーンを有するように修正される。さらにまた、図１９の例において、表面は、画像の下部１７０３において示される波またはプロファイルの谷と比較すると、異なる周波数と方向とを有する表面１７０１のトップエッジにおける波またはプロファイルの谷によって見ることができるように、方向コンテキストは、シミュレーションされた表面全体で異なることがありえることを示している。そのような実施形態においては、オーディオ信号または触覚信号は、表面について異なる方向性をこのように有することができる。
【0145】
図２０について、更なる表面の例が示される。図２０に示される表面の例は、ブラシをかけた金属表面のものである。ブラシをかけた金属表面は、第２の軸または垂直な軸１８０３と比較して、第１の軸１８０１の上で示される方向性でボール紙表面と同様である。しかし、ボール紙テンプレートのオーディオ信号または触覚信号より、はるかに、より高い周波数波形オーディオ信号または触覚信号を有している。
【0146】
図２１ａについて、更なる表面の例が示される。図２１ａに示される例の表面は、「波形ガラス」表面を示す。この波形ガラスの表面は、シミュレーションされたオーディオまたは触覚型の波の振幅は、速度ベースだけでなく、位置ベースでもあるように、モデル化される。言い換えると、指またはタッチが、画像のセンター上に動かされると、フィードバックは、コーナーで経験したものよりも強くなる。言い換えると、触覚信号の振幅は、タッチの位置に依存している。
【0147】
図２１ｂについて、波形ガラスが、同心円状の領域、外部領域２００１、第１の内部領域２００３、第２の内部の領域２００５、および、中心領域２００７の一連の同心円状の領域として、モデル化されるようなインプリメンテーションの例が示される。そのような実施形態においては、各々の領域、言い換えると、外部領域信号、第１の内部領域信号、第２の内部領域信号、および、中心領域信号のそれぞれに対して、別々のオーディオ信号または触覚信号テンプレートが存在することができる。いくつかの実施形態において、位置コンテキスト決定器８０１は、タッチ・インパクトが、どの領域において決定されるか、言い換えると、触覚信号がオーディオ信号または触覚信号ベースまたはテンプレートに適用される外部領域利得、第１の内部領域利得、第２の内部領域利得、および、中心領域利得のそれぞれを有することに依存して、テンプレート・オーディオまたは触覚信号を増幅することができる。
【0148】
いくつかの実施形態においては、タッチ位置と速度情報は、単一のデータ構造の内部に格納されることができることが理解される。いくつかの実施形態において、オーディオ信号の処理は、静的相対位置、および、そのポイントにおける周波数ボリューム修正ファクタを含む同様のデータ構造に従い実行される。現在の接触のポイントが、モデル化された領域の中であることを示している指標は、たとえば、値フラグでありえる。
【0149】
そのような実施形態においては、修正値、テクスチャの複雑さとサイズに依存して、通常３ないし１０であるリスト上のポイントの数を得て、これらの規定されたポイントの間に値を内挿するのに関数を用いることができる、規定されたポイントがより多く存在する場合には、その構造は、より細かくなる。しかし、より多くのデータを格納することが要求される。いくつかの実施形態においては、修正ポイントは、領域のセンターにより近いほど、より大きな頻度で起こり、領域のエッジまたは周辺においては、まばらであるように、規定することができることが理解される。
【0150】
同様に、フィードバック信号を再サンプリングする速さをセットするために、すべての軸に対して速度ファクタを得る関数と同様に、プレイバック・ボリュームをセットするために、すべての軸に対してボリューム・ファクタを得る関数とにより制御されるダイナミックなルールが存在し得る。そのような実施形態においては、タッチ・データ構造およびサンプル修正出力ポインターは、統計的およびダイナミックなルールを用いて、計算された最終的なファクタであり、それらの最終的なファクタの値は、構造化出力に格納される。
【0151】
それから、最終的な信号処理が、関数により実行される。いくつかの実施形態において、演奏される表面波ファイルの選択は、ループ・モードにおいて、選択され、そして、さらに、タッチ・データを受信するために、領域が決定される。
【0152】
いくつかの実施形態において、テクスチャ・オーディオ信号または触覚効果信号は、レスポンスと時間の正確さが、合理的であるためには、短いファイルであるのが好適である。
【0153】
いくつかの実施形態において、触覚効果は、複数タッチ・ユーザ・インターフェース入力に関して、インプリメントすることができる。
【0154】
図２３について、そのような複数タッチ・ユーザ・インターフェース触覚効果の例が、示される。この「ピンチ・アンド・ズーム」の例において、例の画像２２０５は、それに置かれた最初の指またはタッチ位置２２０１および２２０３を有する。これらのタッチ位置は、「ピンチ・アンド・ズーム」ジェスチャーとして、離れて動かされる。位置コンテキスト決定器８０１は、タッチ位置の間での変位を決定し、そして、検索し、そして、タッチ位置の運動が、最初のタッチ位置距離からズームされたタッチ距離に生じる「テンション」をモデル化するのに用いられる触覚効果を生成するために、触覚信号またはオーディオ信号を処理するように構成することができる。言い換えると、ピンチ・アンド・ズーム・ジェスチャーを、触覚効果を使用して、輪ゴム範囲と同様に、（後で、ここに記載されるように）・触覚化（ｈａｐｔｉｆｙ）する。すなわち、距離が増加するとともに、トーンが増加する。これは、ズームインされた画像セクションを示す第２の画像において見られる。ここで、タッチ位置２２１３と２２１１とは、それぞれ、最初のタッチ位置２２０３と２２０１とが変位したものであるが、さらに離れている。そのような実施形態においては、タッチ位置の間の変位が増加すると、触覚またはオーディオ信号は、たとえば、増加したトーンとボリュームを有するように触覚信号を修正することによって修正されることができる。
【0155】
図２４について、更なるマルチ・タッチ・ユーザ・インターフェース触覚効果の例が示される。図２４において、「回転」ジェスチャー・ユーザ・インターフェース触覚経験（ｈａｐｔｉｆｉｃａｔｉｏｎ）が見られる。ここで、例となる画像２２０５、および、最初のタッチ位置２２０１と２２０３とが、示される。タッチ位置の回転的な変位は、いくつかの実施形態において、位置コンテキスト決定器８０１に、最初のタッチ位置方向からの変位の角度に依存して適切な触覚または触覚信号を生成させることができる。これは、図２４に示される。タッチ位置２３１１と２３１３と、および、回転画像２３０５が検出され、方向変位は、位置または速度コンテキスト決定器に、決定された方向変位に関して、修正された「ケース」またはテンプレート信号に依存して、触覚信号またはオーディオ信号を生成させる。いくつかの実施形態において、ベースまたはテンプレート信号対する修正は、いくつかの実施形態において、ベースまたはテンプレート信号対する修正は、タッチ位置「直径」に依存することができ、触覚フィードバックの強度は、直径が大きくなると、増加することができる。したがって、いくつかの実施形態においては、直径がより大きいほど、規定された回転または方向変位に対してより大きい触覚フィードバックが、起こる。
【0156】
いくつかの実施形態において、位置コンテキスト決定器８０１は、さらにいつ、タッチ位置回転が、規定された回転角（例えば、９０度、または、π／２ラジアン）に近く、その画像がその回転位置に「スナップ（きちんとはまる）」ときに、更なる触覚フィードバックを生成するのか、を決定するように構成することができる。いくつかの実施形態において、スナップ・フィードバックを、また、振動モーターにより発生する短い「スナップ」パルスを用いて生成することもできる。同様に、いくつかの実施形態においては、圧電アクチュエータ効果を強化するために、追加的な運動効果を、振動モーターを用いて発生することができることが理解される。したがって、たとえば、いくつかの実施形態においては、追加的な振動パルスを、回転の特長に対して、また、ピンチ・アンド・ズーム・ゲスチャに対して、運動効果を追加するためにインプリメントすることができる。
【0157】
図２５について、更なるユーザ・インターフェース・タッチまたは触覚効果が、「スワイプ・ジェスチャー」の２つの画像によって示される。位置コンテキスト決定器８０１は、いくつかの実施形態において、図２５において親指として示されるタッチ・ポイントまたは位置が、「キャンバス」画像をスワイプ・アウェイして画面を水平に横切って動くときに、スワイプ２４０１の変位または速度に依存して、触覚型のオーディオ信号を生成するように構成することができる。
【0158】
さらにまた、いくつかの実施形態においては、位置コンテキスト決定器８０１は、カンバスが、言い換えると、表示された画像が、最終位置にスナップする（きちんとはまる）ときに、さらに触覚フィードバック信号を生成するように構成することができ、ここに記載されるように、いくつかの実施形態においては、追加的な運動効果を、圧電アクチュエータ効果と組合せた振動から振動パルスを生成することによって発生することができる。
【0159】
同様のフィードバックを、ページがめくられるときに、ページめくり、または、ブック・リーダ・アプリケーションに対してインプリメントすることができる。言い換えると、位置コンテキスト決定器８０１は、いつ、タッチ・ポイントが、ページをめくるために画面を十分に横切って動くのか、そして、聞き取り可能な、触覚フィードバックを生成するのか、を決定するように構成することができる。
【0160】
いくつかの実施形態において、触覚フィードバックは、ドラッグ＆ドロップ・ジェスチャーをシミュレーションするように構成することができる。これは、図２６に示される。ここで、接触のポイント２５１１は、第１のボックスの画像の上で押下し、それから、第２のボックス２５５３にドラッグ＆ドロップする。
【0161】
いくつかの実施形態において、先端２５０１が、第２のボックス２５５３の先端に触れるように、タッチ・ポイント２５１１が第１のボックス２５５１を動かすと、触覚信号が、第１のクリック２５１３としてプロファイル２５１１に示されるように生成される。さらにまた、第１のボックス２５５１の続くエッジ２５０２が、第２のボックスの先端を通過するときに、位置コンテキスト決定器８０１は、プロファイル２５１１の上で第２の下方クリック２５１５で示される更なる触覚フィードバックを生成するように構成することができる。したがって、いくつかの実施形態においては、指が許容可能領域にオブジェクトを動かしていていると、触覚信号は、フィードバックを提供することができる。いくつかの実施形態において、この触覚フィードバックは、選択されたアイテムの動きが他のアイテムがタッチしない所であっても、選択されたアイテムによって、それが動かされると、フィードバックを提供することができるようなやり方で、ドラッグ＆ドロップ・ジェスチャーをシミュレーションするように構成することができる。そのような実施形態においては、そのアイテムをドラッグすることは、第１のフィードバック信号を提供することができる。また、ドラッグされるとき他のアイテムとの衝突は、追加的なフィードバック信号を提供することができる。
【0162】
他のユーザ・インターフェース・ジェスチャーを、スクロールなどのシミュレーションすることができることが理解される。これは、ボタンを保持してスワイプすることで、ドラッグ＆ドロップと同様の方法でシミュレーションすることができる。いくつかの実施形態において、ブラウザ・リンクをクリックすることは、適切な触覚信号を生成することができる。ここで、ブラウザ・リンクにタッチすることは、触覚反応を引き起こす（適切なオーディオまたは触覚型の信号が生成され、指がリンクの上をスワイプすると、人が、ブラウザ・リンクを感じることができるように、ディスプレイへ出力される）。いくつかの実施形態において、異なるタイプのリンクが、異なる触覚フィードバックを生成するように構成することができる。したがって、たとえば、アンクリックされたリンクは、以前にクリックされたリンクと異なることがあり得、「ｍａｉｌｔｏ」リンクは、「ｈｔｔｐ：／」リンクおよび、「ｈｔｔｐｓ：／」リンクとは異なることがあり得る。さらにまた、いくつかの実施形態において、以前にクリックされた、あるいは、タッチされたリンクは、新規の、あるいは、タッチされていないリンクへの異なるフィードバック信号を生成することができる。さらにまた、ブラウザ以外のアプリケーションが、「タッチ・センシティブ」領域で構成されることができることが理解される。これは、タッチ・パラメータが決定された画像を表示し、および、適切なように「タッチされた」ときに、触覚プロファイル・マップが、適切なディスプレイ触覚効果の生成を制御する。
【0163】
したがって、いくつかの実施形態においては、「タッチされている」シミュレーションされたオブジェクトの触覚型フィードバックとオーディオ・フィードバックとの両方は、オブジェクトのシミュレーションされた材料と、オブジェクトがタッチされる力とに依存することができる。同様に、取り扱われるオブジェクトの触覚オーディオ・フィードバックは、オブジェクトの材料、オブジェクトの温度、オブジェクトをどれだけ広げられたか、および、そのオブジェクトがどのオブジェクトに付属しているか、に依存することができる。
【0164】
相互作用するオブジェクトの触覚フィードバックとオーディオ・フィードバックとの両方が、いくつかの実施形態において、シミュレーションされた材料、オブジェクトの形状、および、オブジェクトのシミュレーションされた温度に依存することができる。
【0165】
したがって、たとえば、そのオブジェクトがどこにタッチされたかをシミュレーションするオブジェクトの異なる「部分」からの異なる触覚信号が存在し得る。オブジェクトのシミュレーション（または模倣）に加えて、スクロール・バー、テキスト・エディタ、リンク、および、ブラウザなどの全く人工のオブジェクトに関して発生する触覚効果が存在し得る。したがって、デバイスＵＩが、例えば、ゲームのオブジェクトまたはテキスト・エディタの絵などユーザが対話することができるＵＩ要素またはいくつかの他のオブジェクトを検出するときはいつでも、そして触覚型であるもの触覚オーディオ・フィードバックは、力、オブジェクトの物理特性、ＵＩとともに提示される環境の物理特性、および、そのオブジェクトが付属しているあらゆるオブジェクトなどの種々のパラメータに依存することができる。
【0166】
その例は、木製のオブジェクトのシミュレーションを含む。シミュレーションされたオブジェクトは、シミュレーションされた金属オブジェクトのタッチすることとは、異なる触覚オーディオ・フィードバックを与える。同様に、ゲームのなかのオブジェクトが、そのオブジェクトが、強い力を用いてタッチされたときに、優しく、それに触れたときと、触覚オーディオ・フィードバックが、どこで異なるかをシミュレーションすることができるならば、いくつかの実施形態において、オブジェクトは、温度などシミュレーションされた特徴により特徴づけることができる。また、したがって、ゲームのなかで、シミュレーションで＋２０°Ｃの温度のメタル・オブジェクトの上でタッチ位置を動かすことは、シミュレーションで−２０°Ｃの温度のシミュレーションされたメタル・オブジェクトの上で指を動かすのとは、異なる触覚オーディオ・フィードバックを与えることができる。
【0167】
ゲームにおいてラバー・バンドを引っ張ることは、そのバンドがどれだけ伸びたかに依存して、異なる触覚オーディオ・フィードバックを与えることができる。さらにまた、「シミュレーションされた」空気の中で、シミュレーションされたオブジェクトを動かすことは、それが「シミュレーションされた」グラウンドをタッチする、あるいは、水面下、または、異なる液体の中でシミュレーションされたように、シミュレーションされたオブジェクトを動かすこととは、異なる触覚オーディオ・フィードバックを与えることができる。
【0168】
図２２について、いくつかの実施例にしたがって、生成することができる更なる触覚効果の例が、示される。触覚効果は、ディスプレイ表面の位置に対して、弾力性のまたはスプリング（または弾性ゴム）効果をシミュレーションする。この例は、図２２に示されたラバー・バンド効果である。伸ばされたラバー・バンドまたはスプリングは、より、バンドがピンと張られ、引っ張られて、生成されたテンションが大きいほど、バンドの振動のピッチは、より高いようなオーディオ・サウンドを生成することが知られている。
【0169】
言い換えると、スプリングまたはバンドにおけるテンションが大きいほど、生成されたオーディオまたは触覚の周波数が高い。したがって、コンタクト２１０３と２１０５との２つのポイントの間で休止しているか、または、引っ張られていない、ラバー・バンドの上でシミュレーションされた（または、タッチのポイント）質量２１０１は、いくつかの実施形態において、振幅またはボリュームのない、あるいは、ほとんどない初期のサウンドまたはオーディオまたは触覚信号を生成しないでいることができる。
【0170】
しかしながら、タッチ・ポイントまたはシミュレーションされた質量が、休止位置から動かされると、バンドの中のシミュレーションされたテンションが、ストレッチに基づくボリュームとトーンを有するオーディオまたは触覚信号を出力することによって経験されることができる。また、ストレッチに基づくオーディオまたは触覚信号は、適切な「ラバー・バンド」触覚フィードバックを生成するために、圧電アクチュエータにパスされることができる。
【0171】
そのような実施形態においては、位置コンテキスト決定器８０１は、タッチ・ポイント２１１１の位置、タッチ２１０１の「休止位置」たは初期ポイントと比較して、テンションがかかった位置、および、この変位に依存してここに記述されたようなやり方法で処理されたオーディオまたは触覚信号を決定することができる。
【0172】
いくつかの実施形態において、ここに記載されるように、オーディオまたは触覚信号の周波数は、最初のタッチからのタッチ変位距離が増加するとともに、増加する。いくつかの実施形態において、テンプレート・オーディオ信号を処理するよりはむしろ、オーディオまたは触覚信号のグループからの１つのオーディオまたは触覚信号が、選択されることが理解される。たとえば、いくつかの実施形態において、周波数が増加しているいくつかの信号をメモリに格納することができる。そのような実施形態においては、これらの信号の１つが、休止位置からの変位に依存して、選択され、その信号は、圧電増幅器出力にパスされる。そのような実施形態は、より少ない処理を必要とするが、しかし、複数テンプレート・オーディオ信号を格納する、より大きなメモリ・ストレージを要求する。いくつかの実施形態において、異なるプレ・ロードされた効果との動的なピッチ・シフティング（変位に関する周波数処理）の組合せは、また、スムーズに移行する異なる触覚効果の範囲を提供するために、インプリメントすることもできる。
【0173】
いくつかの実施形態において、例えば、ここに示されるスプリングまたは弾性ゴムなどの弾力性のボディを引っ張ることと関連した触覚効果は、複数タッチ・ユーザ・インターフェース入力に関して、インプリメントすることができる。
【0174】
いくつかの実施形態において、コンテキストは、オブジェクトの特徴にさらに依存する衝突コンテキストでありえる。言い換えると、２つのシミュレーションされたオブジェクトが、互いにヒットするとき、触覚オーディオ・フィードバックは、オブジェクトの両方とも金属であるならば、シミュレーションされたオブジェクトの１つが金属であり、他のシミュレーションされたオブジェクトは、例えば、ガラスなどの異なる物質であるときと比較して、異なることができる。
【0175】
いくつかの実施形態において、触覚効果コンテキストは、ディスプレイの位置に関連があることがありえる。したがって、たとえば、１つの位置にドロップすることは、第１のフィードバックを生成することができ、第２の位置にドロップすることは、第２のフィードバックを生成することができる。
【0176】
いくつかの実施形態において、コンテキストは、ドラッギングまたは運動の速さまたは方向に関連があることがありえる。いくつかの実施形態において、コンテキストは、現在のタッチ位置の下にあるいかなるディスプレイ要素にでも依存することができる。たとえば、スクリーンを横切ってオブジェクトを動かすとき、すべてのウィンドウ境界を横切ることを、検出することができ、触覚効果生成器２０３は、各々の境界を横切って触覚フィードバックを生成することができる。さらにまた、いくつかの実施形態においては、その境界は、例えば、現在の押下位置の下にあるボタンやアイコンなどの他のディスプレイ・アイテムを表すことがありえる。
【0177】
いくつかの実施形態において、触覚効果生成器２０３は、スクロールに対して、触覚効果触覚フィードバックを生成するように構成することができる。スクロール動作は、２次元のスライダ動作と同様であると考えることができる。例えば、文書またはブラウザ・ページまたはメニューが、ディスプレイにフィットしない場合には、スクロール効果が、ラインの終端に到達したときに、特定のフィードバックを有し、また、いくつかの実施形態においては、ページからページへ、または、パラグラフからパラグラフへ動く。フィードバックは、いくつかの実施形態においては、スクロール速さ、スクロールの方向、および、スクロール位置の下で何が起こっているか、に依存することができる。たとえば、いくつかの実施形態においては、タッチ・コントローラ２０１、そして、触覚効果生成器２０３は、タッチ・コントローラ２０１がスクロール動作を決定するときに、消えるか、ディスプレイのエッジに到着する、いかなる表示オブジェクトに基づいてでも、触覚型の制御信号を生成するように構成することができる。
【0178】
この実施形態において、単一のタッチ動作が示され、ここに記述されるのであるが、触覚効果生成器２０３は、マルチ・タッチ入力に基づいて、触覚効果を生成するように構成することができることが理解される。
【0179】
たとえば、触覚効果生成器は、２つ以上の指、および、指の間の距離が、ズーミング特性を定める（そして、第１の端点と第２の端点とのセクター境界を有することができる）ようなズーミング操作に対して、フィードバックを決定するように構成できる。同様に、ディスプレイの上での手または指の回転のようなマルチ・タッチ回転は、第１の端点、第２の端点、および、回転境界を有することができ、また、ノブまたはダイヤル構造の回転をエミュレートするか、シミュレーションして処理することができる。
【0180】
いくつかの実施形態において、ドロップ・ダウン・メニューおよびラジオ・ボタンを、それら自身のフィードバックを有するように、インプリメントすることができる。言い換えると、一般に、すべてタイプのプレス＆リリース・ユーザ・インターフェースは、それらと関連する自身のフィードバックを有することができる。さらにまた、いくつかの実施形態においては、ホールド＆ムーブ・ユーザ・インターフェース・アイテムは、それらと関連する自身のフィードバックを有することができる。
【0181】
「ユーザ機器」という用語は、例えば自動車電話、携帯用データ処理装置、あるいは、携帯型ウェブ・ブラウザなど、いかなる適切な種類の無線ユーザ機器をカバーすることを意図していることが認識される。さらにまた、「音響サウンド・チャネル」という用語は、サウンド・アウトレット、チャネルおよびキャビティをカバーすることを意図しており、そのような音響チャネルは、トランスデューサと一体に、あるいは、トランスデューサのデバイスとの機械的な一体化の一部として形成することができることが理解される。
【0182】
一般に、本願発明の種々の実施形態の設計は、ハードウェアまたは特殊目的回路、ソフトウェア、論理、または、それらの任意組合せで、インプリメントすることができる。例えば、いくつかの態様は、ハードウェアでインプリメントすることができる。一方、他の態様は、コントローラ、マイクロプロセッサーまたは他のコンピューティング・デバイスにより実行することができるファームウェアまたはソフトウェアでインプリメントすることができる。しかし、本願発明は、それらに制限されるものではない。本願発明の種々の態様が、図示し、ブロック図、フロー・チャートとして、または、いくつかの他の図表現を用いて記載されることができるのに対して、これらのブロック、装置、システム、ここに記述される技術または方法は、非限定的な例としてあげると、ハードウェア、ソフトウェア、ファームウェア、特殊目的回路または論理、汎用ハードウェアまたは、コントローラ、または他のコンピューティング・デバイス、または、いくつかのそれらの組合せでインプリメントすることができることが良く理解される。
【0183】
この発明の実施形態の設計は、例えば、プロセッサ・エンティティで、または、ハードウェアで、または、ソフトウェアとハードウェアとの組合せによって、モバイル・デバイスのデータ・プロセッサにより、コンピュータ・ソフトウェア実行可能に、インプリメントすることができる。さらに、これに関して、図にあるように、論理フローのどんなブロックでも、プログラム・ステップ、または、相互接続した論理回路、ブロック、そして、機能、または、プログラム・ステップの組合せおよび、論理回路、ブロックそして、機能を表すことができることに留意する。ソフトウェアは、メモリーチップ、または、プロセッサの中でインプリメントされたメモリブロック、ハードディスクまたはフロッピー（登録商標）ディスクのような磁気媒体、および、たとえばＤＶＤおよびそのデータ変形、ＣＤのような光学媒体など、そのような物理媒体の上に格納されることができる。
【0184】
本願の実施形態の設計において使用されるメモリは、ローカル技術環境に適切な任意のタイプであることができ、また、例えば、半導体ベースのメモリ素子、磁気記憶デバイスおよびシステム、光学的記憶装置およびシステム、固定メモリおよび取り外し可能メモリのようないかなる適切なデータ記憶装置技術を使用しても、インプリメントすることができる。データ・プロセッサは、ローカル技術環境に適切な任意のタイプであることができ、また、非限定的な例としてあげると、汎用コンピュータ、専用コンピュータ、マイクロプロセッサー、デジタル信号プロセッサ（ＤＳＰ）、アプリケーション特定集積回路（ＡＳＩＣ）、ゲート・レベル回路、および、マルチ・コア・プロセッサアーキテクチャに基づくプロセッサのうちの１つ以上を含むことができる。
【0185】
本願発明の実施形態は、例えば、集積回路モジュールのような種々のコンポーネントにより設計されることができる。
【0186】
このアプリケーションにて用いられているように、「回路」という用語は、（ａ）ハードウェアのみの回路インプリメンテーション（例えばアナログおよび／またはデジタル回路だけのインプリメンテーション）および
（ｂ）回路とソフトウェアとの組合せ（および／またはファームウェア）例えば、
（ｉ）プロセッサの組み合わせ、あるいは、
（ｉｉ）プロセッサ／ソフトウェア（デジタル信号プロセッサを含む）の部分、ソフトウェア、および、例えば、携帯電話またはサーバのような装置に種々の機能を実行させるために一緒に動作するメモリなど、および、
（ｃ）例えば、たとえソフトウェアまたはファームウェアが物理的に存在しないとしても動作のためにソフトウェアまたはファームウェアを必要とするマイクロプロセッサーまたはマイクロプロセッサーの部分のような回路
の全てを指す。
【0187】
この「回路」の定義は、本願において、特許請求の範囲の請求項を含む、この用語のすべての使用について適用される。さらなる例として、本願において用いられているように、「回路」という用語は、また、単にプロセッサだけ（またはマルチプロセッサー）またはプロセッサの部分、そして、その（あるいは、それらの）付随的なソフトウェアやファームウェアのインプリメンテーションをもカバーする。用語「回路」は、また、たとえば、特定のクレーム要素に適用できるならば、ベースバンド集積回路、または、携帯電話のための応用プロセッサ集積回路、または、サーバの類似した集積回路、携帯電話ネットワーク・デバイス、または、他のネットワーク・デバイスをもカバーする。
【0188】
前述の記載は、例示的なものとして、そして、非限定的な例として、本願発明の例示的な実施形態の完全で有益な説明を提供した。しかしながら、種々の修正と、適応が、前述の説明を考慮して、添付の図面および、添付の特許請求の範囲の請求項と連携して読まれるとき、当業者にたいして、明らかになることができる。しかしながら、本願発明の教示のすべてのそのような、類似した修正は、添付の請求項において規定されるように、本願発明の範囲に入るものである。