(58)【調査した分野】(Int.Cl.,DB名)
前記第1の触覚出力デバイスは、圧電アクチュエータ、形状記憶合金、電気活性ポリマー、複合圧電アクチュエータ、電磁アクチュエータ、偏心回転質量アクチュエータ、線形共振器アクチュエータ、又はボイスコイルアクチュエータのうちの少なくとも1つを含み、
前記第2の触覚出力デバイスは、圧電アクチュエータ、形状記憶合金、電気活性ポリマー、複合圧電アクチュエータ、電磁アクチュエータ、偏心回転質量アクチュエータ、線形共振アクチュエータ、またはボイスコイルアクチュエータのうちの少なくとも1つを含む請求項1に記載のシステム。
前記第1の触覚効果は背景テクスチャをシミュレートするように構成され、前記第2の触覚効果は、前記背景テクスチャを覆う特徴の存在をシミュレートするように構成された請求項3に記載のシステム。
前記マッピングファイルにおける前記位置は、前記第1の触覚出力デバイスに送信するための第1の触覚信号を生成するために使用される第1の値と、第2の触覚出力を提供するための信号を生成するために使用される第2の値とを含む複数の値を含む請求項1に記載のシステム。
前記第1の触覚出力デバイスは、圧電アクチュエータ、形状記憶合金、電気活性ポリマー、複合圧電アクチュエータ、電磁アクチュエータ、偏心回転質量アクチュエータ、線形共振器アクチュエータ、またはボイスコイルアクチュエータのうちの少なくとも1つを含み、
第2の触覚出力デバイスは、圧電アクチュエータ、形状記憶合金、電気活性ポリマー、複合圧電アクチュエータ、電磁アクチュエータ、偏心回転質量アクチュエータ、線形共振アクチュエータ、またはボイスコイルアクチュエータのうちの少なくとも1つを含む請求項6に記載の方法。
前記第1の触覚効果は背景テクスチャをシミュレートするように構成され、前記第2の触覚効果は前記背景テクスチャを覆う特徴の存在をシミュレートするように構成された請求項8に記載の方法。
前記マッピングファイルにおける前記位置は、前記第1の触覚出力デバイスに送信するための第1の触覚信号を生成するために使用される第1の値と、第2の触覚出力を提供するための信号を生成するために使用される第2の値とを含む複数の値を含む請求項6に記載の方法。
前記第1の触覚効果は背景テクスチャをシミュレートするように構成され、前記第2の触覚効果は前記背景テクスチャを覆う特徴の存在をシミュレートするように構成された請求項12に記載のコンピュータ可読媒体。
前記マッピングファイルにおける前記位置は、前記第1の触覚出力デバイスに送信するための第1の触覚信号を生成するために使用される第1の値と、第2の触覚出力を提供するための信号を生成するために使用される第2の値とを含む複数の値を含む請求項11に記載のコンピュータ可読媒体。
【発明を実施するための形態】
【0017】
参照は、本明細書において、様々なそして代替の実例となる具現化例及び添付の図面において明らかになるであろう。各具体例は、説明のために提供されるのであり、制限としてのものではない。当業者によって改良及び変更が成されることは容易であろう。例えば、一具現化例の部分として例示されるか或いは説明される特徴は、さらなる具現化例を生じるための他の具現化例にも用いられる。したがって、この開示は、添付される特許請求の範囲及びそれらの等価物の範囲内における改良及び変更を含むことを意図している。
【0018】
合成触覚効果を提供するように構成されたデバイスの例示的な具体例
本発明の一具現化例は、共にCupertino, California のApple Inc.から入手できるiPod(登録商標)携帯音楽デバイス又はiPhone(登録商標)モバイルデバイス、或いはRedmond, WashingtonのMicrosoft Corporationから入手できるZune(登録商標)携帯デバイスのような、コンピューティングシステムを含む。コンピューティングシステムは、この具体例にて前記デバイスの前記スクリーンに対応するディスプレイ領域に関連する接触(タッチ)の位置を確定するセンサ(例えば、光学的な、抵抗の、又は容量性の)はもとより、加速度計のような一つ以上のセンサを含み、及び/又はそのセンサと通信する。
【0019】
ユーザが前記デバイスと相互に対話すると、一つ以上のアクチュエータが、合成触覚効果を含む(制限するものではない)ような、触覚効果を提供するために用いられる。合成触覚効果は、摩擦係数の変化との組み合わせにて示される一つ以上の他の触覚効果を伴ったタッチサーフェースの摩擦係数の変化を用いる効果を含む。他の出力は、摩擦係数における変化と同時に、ちょっと速く及び/又はちょっと遅くに現される。前記合成効果は、単一の効果として知覚されるか、或いは複数の関連の効果として知覚される。
【0020】
例えば、ユーザが指を前記デバイスを横切って動かすと、前記スクリーンの摩擦係数は、指の位置、速度及び/又は加速度に基づいて変化する。前記摩擦がどのように変化するのかに基づいて、ユーザは、特徴物及び/又は手触り(テクスチャ)を知覚する。具体的な実例にあって、前記摩擦は、ユーザが隆起、境界、又はオンスクリーンボタンのエッジに対応する他の障害物を知覚するように変化する。他の具体例にあって、振動ベースの効果は、ユーザが、隆起、境界、又はコントロール領域を定義する障害を知覚するように、前記制御部(コントロール)が選択され/変化されるときに示されるのに用いられる、摩擦係数における変動を伴って生成される。さらにまた、摩擦及び振動触覚効果における変化の組み合わせが、単一のテクスチャ又は他の特徴の知覚を作り出すための組み合わせにて用いられる。
【0021】
摩擦係数における変動及び他の効果は、同一のアクチュエータによって、又は協力して働く異なるアクチュエータによって、生成される。例えば、摩擦係数はピエゾエレクトリックアクチュエータを用いることによって変動されるが、振動触覚効果は線形共振アクチュエータを用いることによって生成される。摩擦係数における変化に伴って用いられる触角出力の他の具現化例にあって、タッチサーフェースの一部は、上げられたり/下げられたり(例えば、アクチュエータ又は形状記憶合金を用いることで)する。
【0022】
他の触覚効果と連携して表面ベースの触覚効果を提供する例示のシステム
図1Aは、合成触覚効果を提供する実例のシステム100を示す。特に、この具体例にあって、システム100は、バス106を介して他のハードウェアと相互作用されるプロセッサ102の特色をなすコンピューティングデバイス101を備える。RAM、ROM、EEPROMなどのような適切な有固体(及び一時的ではない)の、コンピュータにて読み取りされる媒体を備えることができるメモリ104は、コンピューティングデバイスの動作を形成するプログラムコンポーネントを含む。この具体例にあって、コンピューティングデバイス101は、一つ以上のネットワークインターフェースデバイス110、入力/出力(I/O)インターフェースコンポーネント112、及び付加的な蓄積媒体114をさらに備える。
【0023】
ネットワークデバイス110は、ネットワークを容易にするいかなるコンポーネントの役割を果たすこともできる。具体例は、制限されるものではないが、イーサネット(登録商標)(Ethernet)、USB、IEEE1394のような有線インターフェース、及び/又はIEEE802.11、ブルートゥース(Bluetooth(登録商標))のような無線インターフェース、又は携帯電話ネットワークにアクセスするためのラジオインターフェース(例えば、CDMA、GSM(登録商標)、UMTS、又は他の移動通信ネットワークにアクセスするためのトランシーバ/アンテナ)を含む。
【0024】
I/Oコンポーネント112は、一つ以上のディスプレイ、キーボード、マウス、スピーカ、マイクロフォン、及び/又はデータを入力又は出力するために用いられる他のハードウェアのようなデバイスの接続を容易にするために用いられる。ストレージ114は、磁気、光学又はデバイス101に含まれる他のストレージメディアのような不揮発性ストレージである。
【0025】
システム100は、この具体例の中では、デバイス101と一体化されている接触表面(タッチサーフェース)116をさらに備える。タッチサーフェース116は、ユーザの接触を感知するために構成されるいかなるサーフェースであることもできる。一つ以上のセンサ108は、物体がタッチサーフェースに接触するときに接触領域(タッチエリア)における接触(タッチ)を検出し、さらにプロセッサ102による使用のために適切なデータを提供する。いかなる適切な数、タイプ、又はセンサの配置が用いられることもできる。例えば、抵抗及び/又は容量性センサがタッチサーフェース116に埋め込まれ、タッチの位置を判断(或いは確定)するため、及びタッチ圧力のような他の情報を確定するために用いられる。他の具体例にあって、光学センサが用いられてもよい。
【0026】
この具体例にあって、プロセッサ102と通信する第1アクチュエータ118は、タッチサーフェース116に接続される。いくつかの具現化例にあって、第1アクチュエータ118は、第1触覚信号に応じてタッチサーフェースの摩擦係数を変化する触覚出力を出力するように構成される。他の又は代替にて、第1アクチュエータ118は、制御された方法においてタッチサーフェースを動かすことによって触覚出力を提供する。いくつかの触覚出力は、デバイスのハウジングに連結されたアクチュエータを用いるかもしれないし、さらにいくつかの触覚出力は、直列に接続された及び/又は並列に接続された複数のアクチュエータを用いるかもしれない。例えば、摩擦係数は、異なる周波数及び/又は振幅にて前記サーフェースを振動することによって変化される。相違の異なる組み合わせ/順序は、テクスチャ、障害物又は突起のような他の特徴物の存在の感覚をシミュレートするために、或いは他の効果を提供するために用いられる。
【0027】
単一の第1アクチュエータ118がここでは示されるが、具現化例は同一又は異なるタイプの複数のアクチュエータを、タッチサーフェースの摩擦係数を変化するために用いる。例えば、ピエゾ電気アクチュエータが超音波の周波数にて垂直及び/又は水平にタッチサーフェース116を部分的又は全体を表現するために、いくつかの具現化例にあって用いられる。
【0028】
図1Aは、さらに第2アクチュエータ119をも示す。第2アクチュエータ119は、第1アクチュエータによって提供された摩擦係数の変動に加えて第2触覚出力を提供するために用いられる。例えば、第2触覚出力は、デバイス及び/又はタッチサーフェース116の振動のような振動触感の触覚効果を含む。他の具現化例にて、第2触覚出力は、タッチサーフェース116における、温度、色、又はタッチサーフェース116にて部分的に上げる/下げることによって発生されるテクスチャにおける変化のような、変化を含む。
【0029】
アクチュエータ118及び119は、それぞれ複数のアクチュエータを備え、さらに同一又は異なるタイプである。適切なアクチュエータタイプは、しかし制限されるものではないが、ピエゾエレクトリックアクチュエータ、形状記憶合金、電気活性ポリマー、柔軟性合成ピエゾエレクトリックアクチュエータ(例えば、柔軟性材料を含むアクチュエータ)、電磁アクチュエータ、偏芯回転質量アクチュエータ、線形共振アクチュエータ、ボイスコイルアクチュエータ、静電気アクチュエータ、及び/又は静磁気アクチュエータを備える。別個のエレメント118及び119として示してはいるが、タッチサーフェース116の摩擦係数を変化し、他の触覚効果を生成することができる単一のアクチュエータを、別個の第1及び第2のアクチュエータの代わりに用いることができる。加えて、実際には一つ以上のアクチュエータが、タッチサーフェース116に埋め込まれることができる。
【0030】
メモリ104について、例示のプログラムコンポーネント124、126及び128は、いくつかの具現化例にあってはどのようにデバイスが合成触覚効果を提供するように形成されるかを示すように描かれている。この具現化例にあって、検出モジュール124はセンサ108を介してタッチの位置を確定(判断して確定)するためにタッチサーフェース116を監視するのにプロセッサ102を構成する。例えば、モジュール124は、タッチの有無を追跡するためにセンサ108をサンプルし、タッチがあれば、位置、経路、速度、加速度、圧力及び/又はタッチの他の特徴をある期間にわたって追跡する。
【0031】
触覚効果判断(確定)モジュール126は、生成された合成触覚効果を選択するためタッチ特性についてデータを解析するプログラムコンポーネントとして描かれる。例えば、いくつかの具現化例にあって、一つ以上のタッチの配列を含む入力動作が認識され、一つ以上の合成触覚効果に相互関係があってもよい。他の具現化例にあって、タッチサーフェース116のいくつか又は全てのエリアは、グラフィカルインターフェースにマッピングされる。タッチサーフェースの摩擦を変化することによって、さらには一つ以上の触覚出力を提供することによって、スクリーン上に表示される特徴物の存在をシミュレートする。このために、異なる合成触覚効果がタッチの位置に基づいて選択されるので、前記特徴物は、前記特徴物を有するスクリーンの位置をマッピングされたタッチサーフェース116の一部が発生されたときに、感じられる。しかし、触覚効果は、対応するエレメントがインターフェースに表示されていなくてもタッチサーフェース116を介して提供されてもよい(例えば、触覚効果は、インターフェースの境界、この境界は表示されていないかもしれないが、横切られると、提供されるかもしれない)。
【0032】
触覚効果生成モジュール128は、選択された合成触覚効果を少なくともタッチが生じたときに生成するために、プロセッサ102に触覚信号を生成させてアクチュエータ118/119に送信させるプログラミングの役割を果たす。例えば、触覚効果生成モジュール128は、アクチュエータ118及び119に送信するために格納されている波形又は命令にアクセスする。他の具現化例にあって、触覚効果生成モジュール128は、所望される摩擦係数を受け取り、適切な信号を生成してアクチュエータ118に送信するために信号処理アルゴリズムを用いる。モジュール128は、所望される触覚効果タイプを受け取り、さらにアクチュエータ119を選択し、選択されたアクチュエータに所望される触覚効果を提供させる。
【0033】
他の具現化例にあって、所望されるテクスチャが、そのテクスチャ用のターゲットコーディネィトと調和して示されるかもしれない。適切な波形は、(比較的に)低周波数にてタッチサーフェース(及び/又は他のデバイスコンポーネント)の適切な変位を生成する。このために、一つ以上の振動触覚アクチュエータに送られる他の波形と共に、ピエゾエレクトリック又は高周波の変位を用いる摩擦係数を変化するため、又は特徴物が生じたときに、例えばポン、ポップ(pop)又はピシィッ、ピィング(ping)又は他の効果を提供するために、他のアクチュエータに送信される。
【0034】
タッチサーフェースは、コンピューティングシステムの特別な構成に依存してディスプレイを覆うかもしれないし、覆わないかもしれない(またはさもなければディスプレイに合致するか、しないかもしれない)。
図1Bには、コンピューティングシステムの外観が示されている。コンピューティングデバイス101は、タッチサーフェースとデバイスのディスプレイを兼ね併せたタッチ−操作可能ディスプレイ116を備えている。タッチサーフェースは、ディスプレイの外面又は実際のディスプレイコンポーネントの上の一つ以上の材料層に合致するかもしれない。
【0035】
この具現化例にあって、合成触覚効果は、この具現化例にあっては、移動通信デバイスによって提供されるような12個キーのキーパッドを示す、グラフィカルユーザインターフェース130の内容に基づいて選択される。特に、各キーは、境界132及び内部134を備える。合成触覚効果は、内部134に対応する摩擦に変化を生成するように選択され、さらに異なる触覚出力がユーザが境界132に達したときを示すために用いられる。この具現化例にあって、特徴136は、中央のキー(標準数字キーパッドでは「5」キーに相当する)に含まれる。例えば、特徴136は、内部134のテクスチャとは異なるテクスチャを備えることができるし、「センタリング」特徴として機能する隆起又はギャップのようなシミュレートされる特徴でもよい。ユーザが1本の指をキーパッドを横切って動かすと合成効果がキーの間の境界を示すため、さらには「5」キーに特徴136の認識によって達したことを示すのに用いられる。
【0036】
前述したように、タッチサーフェースは、ディスプレィを覆うことを必要としない。
図1Cは、タッチ−操作可能なコンピューティングシステム100Cの他の具現化例を示す。この具現化例にあって、コンピューティングデバイス101は、デバイス101にインターフェースされるコンピューティングシステム120に備えられるディスプレイ122にあって提供されるグラフィカルユーザインターフェースにマップされるタッチサーフェース116を特徴としている。例えば、コンピューティングデバイス101は、マウス、トラックパッド、或いは他のデバイスを含むし、他方、システム120はデスクトップまたはラップトップコンピュータ、セット−トップボックス(例えば、DVDプレーヤ、DVR、ケーブルテレビジョンボックス)、又は他のコンピューティングシステムを含む。他の具現化例にあって、タッチサーフェース116及びディスプレイ122は、ディスプレイ122を特徴としているラップトップコンピュータにおけるタッチ−操作可能なトラックパッドのような同じデバイスに含まれてもよい。
【0037】
ディスプレイに一体化されているか或いは他の方法であるかにかかわらず、この明細書における具現化例の2次元の方形タッチサーフェースの描写は、制限されるものではない。他の具現化例は、曲面又は、サーフェースベースの触覚効果を提供するためにさらに構成される不規則なタッチ−操作可能なサーフェースを含む。
【0038】
図1Cに戻り、この具現化例にあっては、メニューバー140及びボタン142、144及び146を有するグラフィカルインターフェース138が示されている。例えば、前記グラフィカルインターフェースは、ホームエンターティンメントデバイス用のオン−スクリーンメニューを含み、他方タッチサーフェース116は、リモートコントロール又は周辺機器を備える。148で示すように、タッチサーフェースの領域はメニューバー140にマップされている。ユーザが領域148に接触すると、合成触覚効果がメニューバーが選択されたことを示すために提供される。例えば、摩擦係数は、振動触覚又は、ユーザが領域148を介して動き、さらに領域150、152及び154の一つを横切るときに提供される、他のフィードバックを伴って、領域148及び、領域150、152及び154(ボタン142、144及び146それぞれに対応する)の間では、異なる。他の具現化例のように、振動触覚又は他の触覚出力が、ボタン142、144及び/又は146が作用されるときに各領域内にて変化される摩擦係数と共に、領域148、150、152及び154にあって異なるシミュレートされたテキスチャを生成するために用いられる。
【0039】
図2Aは、タッチサーフェースに対応するタッチ−操作可能ディスプレイ202を特徴とする他のコンピューティングデバイス201を示す。
図2Bはデバイス201の断面を示す。
図2Bに示されるように、この具現化例にあっては、第2アクチュエータが他の触覚効果をタッチサーフェース202を介して提供する間に、二つのアクチュエータ218−1及び218−2がタッチサーフェース202の摩擦係数を変化するために用いられている。例えば、アクチュエータ219は、例えばポン(pop)又はピシィッ(ping)のような振動触覚出力をタッチサーフェース202を介して提供してもよいし、タッチサーフェース202の一つ以上の部分を上げるか/下げるようにしてもよい。さらに、
図2Bは、他の具現化例のアクチュエータ222を示す。例えば、アクチュエータ222は、一つ以上のアクチュエータ218−1、218−2、又は219に加えて、又は代わりに用いられる。例えば、アクチュエータ219がディスプレイ202の一部を持ち上げるか或いは下げると、アクチュエータ222は低周波数振動出力を提供するために用いられる。
【0040】
図2Aに戻ると、合成効果を提供する具現化例が220にて示されている。特に、指226がディスプレイに接触し、228にて示す位置に移動すると、シミュレートされた特徴物230に遭遇する。
図2Bに示されるように、指が移動し、ディスプレイの第1領域232に始めに接触し、その後、第2領域234、及び第3領域236に接触する。合成触覚効果は、特徴物230をシミュレートするために用いられる。例えば、指が領域232に遭遇し、さらに領域234に移動する間、ディスプレイ202の摩擦係数は、アクチュエータ218−1/218−2の出力を調整することによって高められる。領域234が接近され、その後、遭遇すると、アクチュエータ219は振動触覚「pop」効果を提供するために用いられる。指が領域236を横切って移動すると、ディスプレイ202の摩擦係数は減少される。
【0041】
合成触覚効果は、効果の一つのグループを含む。例えば、ライン238及び240は、226から228に動く指により追跡される経路を示す。この一具現化例にあって、合成触覚効果は、指が前記経路の外側を動くと、アクチュエータ219及び/又は222を用いて生成される出力を含む。例えば、摩擦の変化は、特徴物230をシミュレートするために用いられる。このとき、ユーザの指がライン238及び240の両方を横切るか否かを、特徴物230がシミュレートする間、提供される変動出力を伴う。
【0042】
図3A−3Bは、合成触覚効果を提供することができるデバイスのハードウェア構成を示す。この具現化例にあっては、他の透明材料(又は不透明材料)を用いることができるけれども、タッチサーフェースはガラスパネル302を備える。例えば、ガラスよりも、タッチパッド(つまりタッチ−センシティブデバイス)が用いられるかもしれない。一対のピエゾエレクトリックベンダ318−1及び318−2は、前記ガラス上に結合される。ガラス又はピエゾエレクトリックベンダの間の自由空間における他の透明材料の使用は、ディスプレイ(図示せず)の前記ガラスの下での使用を可能にさせる。いくつかの具現化例にあって、ピエゾエレクトリックベンダは、ガラス302の静的な摩擦係数を42%削減するために制御される。いくつかの具現例は、前記摩擦係数を変化するために用いられる振幅を変化して、24KHzのバイポーラパルス幅変調信号を用いる。一具現化例にあって、電圧の大きさ(或いは前記電圧の大きさを作り出すためのPWMの大きさ)に応じて0から60%の摩擦変化を伴って、20KHzより上の周波数にて電圧を−80及び+80ボルトの間にて変化する。これらの例示的な電圧、周波数、及び変化範囲は、例示の目的のためのものであって、制限を意図したものではない。
【0043】
図3Bの断面図にあっては、複数の第2アクチュエータ319−1、319−2及び319−3が示されている。例えば、アクチュエータ319−2は、パネル302に結合され、偏芯回転質量(ERM)アクチュエータ及び/又は触覚ポップ、揺動、及び線形共振アクチュエータ(LRA)を介した類似物を用いての低周波数振動効果を提供するために用いられる。アクチュエータ319−1及び319−3は、デバイス301のケース又はハウジングに結合され、319−2と同じタイプのアクチュエータ或いは319−2とは異なるアクチュエータ(及び/又は相互に)を備えてもよい。例えば、一つの具現化例にあって、アクチュエータ319−1は、ERMアクチュエータを含み、アクチュエータ319−2はパネル302を動かすために用いられる形状記憶合金を含み、さらにアクチュエータ319−3はLRAアクチュエータを備える。アクチュエータ319−1及び319−2のいずれか或いは両方は、パネル302及びデバイス301のハウジングの両方に結合される。
【0044】
提供する触覚効果の確定のための実例の方法
図4は、少なくとも一つのサーフェースベースの触覚効果を含む合成触覚効果のインターフェースを提供する実例の方法400を示すフローチャートである。ブロック402は、タッチ領域におけるタッチの位置の判断(確定)を示す。例えば、プロセッサは、埋め込まれた一つ以上のセンサ又は、サーフェース上のタッチ位置を追跡するためにタッチ−操作可能なディスプレイ又はサーフェースを視認することを用いる。現在及び/又は過去のタッチ位置に基づいて、タッチ領域にマップされるグラフィカルインターフェースとの対話が確定される。
【0045】
前記対話に基づいて、一つ以上の他の触覚出力の提供に応じたタッチサーフェースの摩擦係数の変化により達成される合成効果を伴って、一つ以上の合成触覚効果がブロッグ404にて選択される。
【0046】
例えば、タッチが固有のテクスチャがマップされたタッチサーフェースにおける、ある位置にて発生される。合成触覚効果は、テクスチャ又は特徴物のシミュレーションを含む。追加的に或いは代替的に、合成触覚効果は、環境効果(例えば、テクスチャ/特徴物)及び、特徴物が初期に遭遇されると提供される出力のようなダイナミック効果を含む。
【0047】
一具現化例にあって、ジェスチャは、スクリーンを大きく横切る方向及び長さ、一つのパターンにあって分離されたタッチの配列、又は他の認識可能な対話(相互作用)に基づくような、一つ以上のタッチの配列又はタッチパターンと認識されることができる。ジェスチャが認識されると、そのジェスチャに対応する合成触覚効果が選択される。例えば、「Z」形状のようなタッチ軌跡は、ジェスチャが進行中の間にデバイスのプロセッサによって実行されるパターン認識に基づいた入力ジェスチャのタイプとして認識されるかもしれない。一つ以上の合成触覚効果が、ジェスチャが進行中及び/又はジェスチャが完了した後に、出力する効果を示すプロセッサにアクセスできるデータにおける「Z」ジェスチャに関係付けられる。例えば、そのデータは、ジェスチャがほぼ完了するとき、テクスチャ又は摩擦の変化を行うためにサーフェースに提供される。付加的に或いは代替的に、ディスプレイのテクスチャ又は摩擦係数は、ジェスチャがジェスチャの入力を確認するために認識された後に、変化する。
【0048】
ブロック406にて、一つ以上の触覚信号が、摩擦係数のバリエーションを提供するため、及び第2の触覚出力(又は複数の触覚出力)を生成するために、アクセスされ、及び/又は生成される。例えば、プロセッサは、メモリ内に格納され、さらには特定の触覚効果に関係しているドライブ信号にアクセスする。他の具体例では、信号は、格納されたアルゴリズムにアクセスし、効果に関連したパラメータを入力することによって生成されるかもしれない。例えば、一つのアルゴリズムは、振幅及び周波数パラメータに基づいたドライブ信号の発生での使用のためデータを出力するかもしれない。他の具現化例では、触覚信号は、アクチュエータによってデコードされるために、アクチュエータに送られるデータを含んでもよい。例えば、アクチュエータは、振幅及び周波数のようなパラメータを規定する命令にアクチュエータ自身で応じるかもしれない。
【0049】
一つの具現化例では、ギャップ、障害、又はテクスチャのようなシミュレートされた特徴物のため、タッチについての現在の画素位置及び/又はタッチの速度に基づいて予測される画素位置が、様々な画素位置用の合成触覚効果を規定するビットマップに比較される。合成触覚効果に応じて、適切な触覚信号が、ビットマップにあって規定された出力を提供するために、アクセス/生成される。
【0050】
他の具現化例にあって、タッチの現在の又は予測される位置は、コントロール、テクスチャコンテンツ、境界などのようなグラフィカルユーザインターフェース(GUI)特徴物の位置を特定するデータと比較される。その後、GUI特徴物が前記位置にて特定されると、一つ以上の合成触覚効果を前記特徴物に関係付けるデータがアクセスされる。例えば、プロセッサは、タッチの位置を追跡し、さらに、タッチが、グラフィカルユーザインターフェースにあって特定の制御(例えば、ボタン)にマップされるタッチ領域における位置にあるか又はその位置に接近していることを確定する。プロセッサは、その後、そのボタンに関連する合成触覚効果(例えば、テクスチャ、摩擦変動)を確定するためインターフェース要素のリストを調べ、そしてその触覚効果に基づいて、合成触覚効果を生成するためのさらなる動作を行う。
【0051】
ブロック408は一つの触覚信号又は複数の触覚信号を、合成触覚信号を実現するために、摩擦係数を変化し、一つ以上の他の触覚出力を提供することによって、一つ以上のアクチュエータに送信する役割を果たす。例えば、アナログドライブ信号が提供されるには、プロセッサは信号を形成するために、オンボードD/Aコンバータを用いる。ディジタルコマンドがアクチュエータに提供されると、適切なメッセージがプロセッサのI/Oバスによって生成される。触覚効果は、タッチのポイント及び/又は他のポイントにて感じられる。例えば、二本指入力ジェスチャが提供されると、第1の指における、テクスチャ/摩擦係数が、第2の指の動きを認識することに応じて変化される。
【0052】
いくつかの具現化例にあっては、デバイスが作り出すことのできる潜在的な効果の範囲を増大させるために、選択された触覚効果の不在時であっても、ベースライン触覚信号が、環境触覚効果を生成するためにアクチュエータに送られ得る。このように、触覚信号を伝送することは、適切に強度を低減するために、アクチュエータに「停止」命令、「ゼロ」もしくは最小信号、又は他の信号を送信することを含み得る。
【0053】
一具現化例では、ピエゾエレクトリックアクチュエータのようなあるアクチュエータの使用は、摩擦係数における増加ではなく、タッチサーフェースの摩擦係数を低減させる。タッチサーフェースが静止のときのタッチサーフェースの「通常」の摩擦レベルが摩擦係数を下回るように、選択の範囲を設けるため、ベースライン信号が提供される。つまり、触覚効果は、静的な、値よりむしろ、ベースラインについて定義される。最大摩擦が所望されると、「ゼロ」信号がサーフェースの動きを止めるためにピエゾエレクトリックに送られる。
【0054】
サーフェースベースの触覚効果は、いかなる適切な形をとってもよい。例えば、いくつかの触覚効果は、タッチサーフェースの摩擦の複数のバリエーションを含み、例えばいつかの部分は他の部分よりも「滑らか」又は「粗く」される。他の具現化例によれば、振動触覚効果は、振動又は連続振動のような振動を用いる。振動触覚効果及び/又は摩擦におけるバリエーションは、境界又は障害のようなはっきり認識できる特徴物の感覚をシミュレートするために用いられる。例えば、境界又は端部は、摩擦の増加によってシミュレートされるし、いくつかの例では、境界が横切られたときには摩擦が減少してもよい。
【0055】
図5A−5Dは、シミュレートされた特徴物の実例をそれぞれ表している。
図5Aは、非−ゼロ電圧PWM信号を用いることによるような、アクチュエータがアクティブにされた領域を白領域で表す簡単な例を示す。例えば、前記白領域は、ユーザの指(又はサーフェースに接触する他の物体)が遭遇するであろう低摩擦領域である、タッチパッドの中間における仮想のボタンに対応する。
図5は、逆の状態を示す。前記指/物体は、白領域を自由にナビゲートするが、高摩擦領域(黒)ではゆっくりあるいは停止されるかもしれない。これは、例えば、ユーザに、タッチ領域における、ボタン又は他の位置をより容易に探し出される。
【0056】
図5Cは複数の溝を含むシミュレートされた特徴物を示す。ユーザの指又は他の物体が水平方向に複数のストライプを横切ると、前記指/物体は一連の溝として知覚される増加及び減少する摩擦に遭遇するであろう。
【0057】
上述したように、サーフェースベースの触覚効果を提供するように構成されたタッチサーフェースを含むコンピューティングシステムは、実時間にて効果及び信号を確定する。例えば、
図5A−5Dのいずれにとっても、システムは前記タッチがサークルの内部であるか否かを初めに確定し、もしサークルの内部にあるのであれば、適切な出力値(
図5A)又は終止出力(
図5B)を提供する。同様に、前記システムは、前記タッチが所望の高摩擦を伴って領域内にて発生したのか否かについて、発生したことを確定すると、前記アクチュエータを駆動することによって
図5Cの特徴物を提供する。
【0058】
図5Dは、より複雑なパターンを表す。例えば、
図5Dにおけるパターンは、携帯電話のキー配列、シミュレートされたキーボード、又は他のコントローラのようなキー配列に関連する所望の特徴物に対応する。実時間の表現が、
図5A−5Dのいずれにあっても用いられるが、より複雑なロジックがパターン中の各特定のサークル/ボタンを表現するために、用いられる。これらのさらにはより任意のパターンは、プログラミングの複雑さ及び計算時間を増加するかもしれない。したがって、いくつかの具現化例にあって、サーフェースベースの触覚効果は、予定より早くに決定され、さらにはファイルに格納されている。実行時に、前記ファイルは、早期の確定と適切な触覚信号の発生を可能とするタッチ位置に基づいてアクセスされる。
図5Dについて、そのようなファイルはタッチ位置がサークルにマップされるときに第1の触覚効果(例えば、高摩擦)を提供するためにアクチュエータを駆動するデータを含み、前記ファイルは、前記タッチ位置が前記サークルの外側位置にマップされるときに第2の効果(例えば、低摩擦)を提供するためにアクチュエータを駆動するデータを含む。
【0059】
図5A−5Dの特徴物は、ピエゾエレクトリックアクチュエータに加えるか代わりに他のタイプのアクチュエータを用いることによってシミュレートされるかもしれない。例えば、振動触覚アクチュエータは、振動、ポップ、パルス、クリックなどを、
図5A、5B又は5Dのサークルに遭遇するか、及び/又は
図5Cのパターンに遭遇したとき(例えば、黒から白への各遷移でのポップ又はクリック)に、提供するために用いられる。アクチュエータによって生成される触覚効果は、開始時間及び停止時間はもとより、電流、電圧、周波数に依存して変動する。一つの具現化例にあって、複数のアクチュエータが、異なるアプリケーション用の異なる触覚効果を生成するために使用される。例えば、二つのアクチュエータは、前述された、グラフィカルオブジェクト(例えば、キーボードキー)を通りすぎるユーザの指又はタッチペンに応じて振動又はポップを提供するように構成される。
【0060】
図5A−5Dの特徴物は、合成触覚効果を用いることでシミュレートされる。例えば、摩擦の変化は、サーフェースをタッチする物体が黒から白、あるいはその反対に動くときにクリック、ポップ、又は他の反応にしたがって用いられる。
【0061】
振動触覚効果及び/又は摩擦の変化は、付加的に或いは代替的に、様々なテクスチャをシミュレートするために用いられる。テクスチャの使用及び生成に関する付加される詳細は、「Systems and Methods for a Texture Engine」(テクスチャエンジンのためのシステム及び方法)(Attorney Docket IMM354(51851-383720))、「Systems and Methods for Using Multiple Actuators to Realize Textures」(テクスチャを実現するための複数のアクチュエータを用いるためのシステム及び方法)(Attorney Docket IMM355(51851-383719))、及び「Systems and Methods for Using Texture in Graphical User Interface Widgets」(グラフィカルユーザインターフェースウィジェットにあってテクスチャを用いるためのシステム及び方法)(Attorney Docket IMM356(51851-383718))という名称の米国特許出願番号12/697,010、12/697,042、及び12/697,037の各参照文献にそれぞれ見ることができる。
【0062】
例えば、摩擦又は振動のパターンを異ならせるパターンは、レンガ、石、砂、草、毛皮、様々な繊維タイプ、水、糖蜜、及び他の流体、皮、木、氷、爬虫類の皮膚、金属及び他のテクスチュアパターンを真似るために提供される。高マグニチュードの振動触覚又は他のフィードバックのような、実世界のテクスチャに類似してない他のテクスチャも、「危険な」テクスチャが所望されるときに、用いられる。
【0063】
全般的に、テクスチャは、空間的に変化する力として知覚される出力を提供することによってサーフェース特性をシミュレートすることができる。このように、テクスチャは、もちろん振動はテクスチャをシミュレートするのに用いられるのであるが、時間変動力として直接的に知覚されることを意図した振動出力と対比される。
【0064】
一具現化例として、テクスチャは、スティック又は指が格子を超えて動かされると、感じられる力をシミュレートする。一つの具現化例にあって、テクスチャ力は、マグニチュード及び肌理(grit)を含むパラメータを用いるプログラマ/開発者によって特徴付けられる。マグニチュードは、タッチサーフェース(例えば、格子の各「隆起」)に遭遇する物体に適用される力の量を規定する。肌理は、基本的に力の間の空間である(例えば、格子の隆起のそれぞれの間の空間)。代替的には、付加命令パラメータは、テクスチャフォースの「隆起」の位置を制御するために設けられる。例えば、情報は、急激に距離を変動するため、或いは規定された公式に関して変動するために隆起の間の距離を増加することも含む。付加的に、与えられたテクスチャは、複数の重ねられた肌理及びマグニチュードとして定義される。
【0065】
図6Aは、テクスチャエンジンが本発明の一具現化例により生成するテクスチャの一つを例示する。
図6Aに示された具現化例は、レンガを含む。レンガのテクスチャは、モルタルから砂の谷の感覚を伴って断続され、レンガから粗い不定のテクスチャを有することによって特徴付けられる。テクスチャエンジンのシステムは、ユーザの指が動いている間に、媒体のランダム信号を、最大変動とする、LRA,LPA、又はFPAのような、アクチュエータを駆動することによって粗い不定のレンガのテクスチャを生成する。いくつかの具現化例にあって、この変動は、異なる粗の調整用とされる。いくつかの具現化例にあって、レンガからモルタルへの遷移が、ERMによって作られる高持続ポップによって示される。付加的には、摩擦係数は、レンガとモルタル部分の間にて変動される。モルタルが厚さ十分であると、細かなテクスチャは、レンガのテクスチャを出力するアクチュエータを駆動するために用いられるよりも、高い変動を伴う低マグネチュード信号にてアクチュエータをドライブすることによって示される。
【0066】
図6Bは、本発明の一具現化例にしたがって、テクスチャエンジンが生成するテクスチャの一つを例示する。
図6Bに示された具現化例は、石を含む。石のテクスチャは、ユーザが石から石に動かすように、遷移が断続される滑らかなサーフェースによって特徴付けられる。石のテクスチャを出力するため、FPA及び/又はピエゾエレクトリックアクチュエータのようなアクチュエータは、低摩擦の継ぎを形成するために用いられる。個々の石は、タッチ−センシティブインターフェースがユーザの動きを検出すると、表示される画像の視認されないエッジマップ、及びLRA,LPA又はERAなどのようなアクチュエータへの高マグニチュード触覚信号を出力する。例えば、高マグニチュード出力は、タッチ−センシティブインターフェースがユーザの指が一つの石から他の石に遷移することを検出するといつでも、提供される。摩擦係数もまた、石の間にて変化される。
【0067】
図6Cは、本発明の一具現化例により、テクスチャエンジンが生成するテクスチャの一つの例示である。
図6Cに示される具現化例は、砂又は紙やすりを含む。砂は、ユーザの指の前に造られた砂の粒子の堆積の感覚と同様に、粗く、ざらついた感じによって特徴付けられる。粗い、砂の、ざらついたテクスチャを出力するため、LRA、LPA又はFPAのようなアクチュエータがユーザの指が動いている間、高い最大変動を伴うランダム信号により駆動される。いくつかの具現化例にあって、プロセッサは異なる粗さの度合いを形成するために信号の変動を調整する。砂の堆積の感じを作り出すため、FPAのようなアクチュエータが用いられる。そのような具現化例にあって、ユーザが指をタッチスクリーンを横切るように動かすと、プロセッサは、低強度にてスタートし、かつユーザが指を一方向に動かすときに形成する信号により、アクチュエータを駆動する。ピエゾエレクトニクス又は他のアクチュエータは、砂を堆積するのをシミュレートするために摩擦係数を増加するために用いられる。
【0068】
他の具現化例にあって、
図6Cに示されるテクスチャは、紙やすりを含む。紙やすりは、粗く、ざらざらした感じを有することによって特徴つけられる。粗い、ざらついた感覚を作り出すために、プロセッサは、LRA、LPA又はFPAのようなアクチュエータを、高い最大変動を伴うランダム信号により駆動する。いくつかの具現化例にあって、この信号は、ユーザの指がタッチセンシィティブインターフェースのサーフェースを横切って動いている間に出力される。いくつかの具現化例にあって、プロセッサは、粗さのレベルを変化するために信号の変動を調整する。付加的に、粗さは、摩擦係数における急な変化を通して生成され、或いは強調される。
【0069】
図6Dは、本発明の一具現化例によってテクスチャエンジンが生成する一つのテクスチャの例示である。
図6Dに示される具現化例にあって、テクスチャは、草のテクスチャを含む。草は、ユーザの指をほとんどくすぐる断続的な軽い感覚によって特徴付けられる。草の感覚を作り出すために、プロセッサは、FPA又はピエゾエレクトリックアクチュエータのようなアクチュエータを、草の部分を重ねた低摩擦の部分を形成するために構成された信号を用いて駆動する。いくつかの具現化例にあって、プロセッサは、表示される画像の目に見えないエッジマップを有することにより、さらにはユーザインターフェースがシミュレートされた葉の間の動きを検出するときに、LPAまたはERMのようなアクチュエータに低マグニチュード信号を出力することによって個々の草の葉を表現する。
【0070】
図6Eは、本発明の一具現化例によりテクスチャエンジンが生成するテクスチャの一つの例示である。
図6Eに示される具現化例にあって、前記テクスチャは繊維のテクスチャを含む。繊維は、軽い滑らかな感覚によって特徴付けられる。繊維のテクスチャの感覚を作り出すために、プロセッサはLPA又はLRAのようなアクチュエータを、低マグニチュード高周波数信号にて、ユーザの指がタッチ−センシティブインターフェースのサーフェースを横切って動くときに、駆動する。前記繊維の「性質」は肌理に沿って動くとき、低摩擦を提供するためディスプレイの摩擦レベルを変動することによってシミュレートされる。
【0071】
図6Fは、本発明の一具現化例によりテクスチャエンジンが発生するテクスチャの一つの例示である。
図6Fに示される具現化例にあって、テクスチャは水又は糖液を含む。水は、ほとんど感覚がないことを特徴としている。しかし、散乱する水は周辺に飛び散り、ユーザの指を打つかもしれない。水のテクスチャをまねるため、プロセッサは、FPAのようなアクチュエータをタッチセンシティブインターフェースのサーフェース上の摩擦を低減するために駆動する。水がはねるのをまねるため、プロセッサはユーザがスクリーンをタッチしているときだけ、触覚信号を出力する。糖蜜、又はオイルのようなもっと粘性の高い液体をまねるため、プロセッサはユーザの指がタッチセンシティブインターフェースのサーフェースを横切って動くとき、ユーザの指の摩擦を増加するように形成される信号によってアクチュエータを駆動する。
【0072】
図6Gは、本発明の一具現化例によってテクスチャエンジンが生成するテクスチャの一つを例示する。
図6Gに示された具現化例にあって、テクスチャは皮のテクスチャを含む。皮は、皮の表面の突起及び谷を含む全体的に滑らかな感覚によって特徴付けられる。皮のテクスチャの感覚を作り出すため、プロセッサは、FPA又はピエゾエレクトリックアクチュエータのようなアクチュエータをユーザの指がタッチセンシティブインターフェースのサーフェースを横切って動くときに、摩擦を低減する触覚効果を出力するように構成される信号にて、駆動する。プロセッサは、タッチセンシティブインターフェースがユーザの指が動いたことを検出すると直ちに非常に短い低マグニチュード触覚信号によりアクチュエータを駆動することにより裂け目及び隆起を出力できる。
【0073】
図6Hは、本発明の一具現化例によりテクスチャエンジンが生成するテクスチャの一つの例示である。
図6Eに示された具現化例にあって、テクスチャは木のテクスチャを含む。木は、ユーザが板から板に動いたときに、急な変わり目によって区切られる不定の隆起テクスチャによって特徴つけられる。不定のでこぼこのテクスチャをつくりだすため、プロセッサは、LRA、LPA、又はFPAのようなアクチュエータを、ユーザの指が動いているときに様々な時間で非常に短い低マグニチュード信号によって、駆動する。板材から板材への遷移を出力するため、プロセッサは、高マグニチュード、短い継続のポップをアクチュエータに生成させるように構成される触覚信号を出力する。タッチサーフェースの摩擦は、板材の間にての動きのときに変動され、木の木目に沿っての動きのときに保持される(或いはわずかに変動される)。
【0074】
他の具現化例にあって、異なるテクスチャに関連する触覚効果が出力される。例えば、一具現化例にあって、プロセッサは、ユーザに氷のテクスチャに対応されるテクスチャを感じさせるように構成される触覚効果をアクチュエータに出力させるように構成される触覚信号を送信する。氷は、いくつかの具現化例にあっては、氷が完全に滑らかなテクスチャを有するように、他の具現化例にあっては、氷は繊細な低マグニチュードのざらついたテクスチャを備えるように、低摩擦によって特徴つけられる。氷のテクスチャをつくりだすため、プロセッサは、ユーザが指をタッチセンシティブインターフェースのサーフェースを横切って動かしている間にできるだけ、アクチュエータに摩擦を低減させるように構成される触覚信号を確定する。他の具現化例にあって、プロセッサはLPA又はLRAのようなアクチュエータを、ユーザが指を動かす間に、低マグネニチュード効果を出力するように構成される触覚信号によって駆動する。これらの低マグニチュード効果は、氷のサーフェース上の欠陥又は肌理に対応される。
【0075】
他の具現化例にあって、プロセッサは、爬虫類の皮のテクスチャとほぼ同じでる触覚効果をアクチュエータに出力させるように構成される信号によってアクチュエータを駆動する。爬虫類の皮膚は、皮膚上の隆起から隆起への遷移によって区切られる全体的に滑らかな感覚によって特徴つけられる。爬虫類の皮膚のテクスチャを含む触覚効果を実行するために、プロセッサは、タッチセンシティブインターフェースのサーフェース上にアクチュエータに低摩擦のパッチをつくりださせるように構成される触覚信号によってアクチュエータを駆動する。プロセッサは、タッチセンシティブインターフェースがユーザの指がタッチセンシティブインターフェースのサーフェースを動いているのを検出すると、高マグニチュード触覚信号を周期的に出力することによって前記爬虫類の皮膚の表面上に裂け目を表現する。これらの高マグニチュード信号は、前記爬虫類の皮膚のサーフェースに裂け目をみせかける。
【0076】
さらに他の具現化例にあって、プロセッサはアクチュエータを毛皮のテクスチャに似せた触覚効果をアクチュエータに出力させるように構成される信号によって駆動する。毛皮は、非常に柔らかなタッチである周期的な軽い感覚によって特徴つけられる。毛皮のテクスチャを含む触覚効果を実行するために、プロセッサは、アクチュエータを、タッチセンシティブインターフェースのサーフェース上にユーザが感じる摩擦を低減するために構成される触覚効果をアクチュエータに出力させるように構成される触覚信号によって駆動する。プロセッサは、タッチセンシティブインターフェースのサーフェースがユーザの動きを検出すると、低マグニチュードパルス触覚信号を出力して個別の毛をさらに表現する。
【0077】
さらに、他の具現化例にあって、プロセッサは、金属のテクスチャに似せた触覚効果をアクチュエータに出力させるように構成される信号によって、アクチュエータを駆動する。金属は、いくつかの具現化例にあっては、軽い肌理を含む滑らかな低摩擦サーフェースによって特徴つけられる。金属のテクスチャを含む触覚効果を実行するため、プロセッサはアクチュエータを、タッチセンシティブインターフェースのサーフェース上にユーザが感じる摩擦を弱めるように構成される信号によって駆動する。いくつかの具現化例にあって、プロセッサは、タッチセンシティブインターフェースがユーザのそのサーフェース上における動きを検出すると、高マグニチュードの触覚信号を短時間出力することによって個々の隆起を表現する。これらの短時間の高マグニチュードの信号は、金属のサーフェース上の肌理と同じようにされる。
【0078】
さらに他の具現化例にあって、プロセッサは、アクチュエータを、他の感覚、例えば、熱を真似た触覚効果をアクチュエータに出力させるように構成される信号によって駆動する。そのような具現化例にあって、プロセッサは、ユーザが熱に関連するディスプレイの要素にタッチすると、高い周波数の揺さぶり効果をアクチュエータに出力させるように構成される触覚信号によって、アクチュエータを駆動する。
【0079】
図7は、合成触覚信号を提供する他の方法700における例示的なステップを示すフローチャートである。
図7は、
参照ファイルを形成し、用いることによってシミュレートされた特徴物を提供するための具現例の方法700を示すフローチャートである。
図8は、画素アレイを含む参照ファイルの具現化例を示す。ブロック702及び704は、合成触覚効果を確定するための参照ファイルの使用の前に発生するアクティビティであるプリプロセッシングを表現する。この具現化例によれば、単一の
参照ファイルが摩擦値及び合成触覚効果の提供における少なくとも一つの他の触覚効果を確定するために用いられる。付加的には、「参照ファイル」は、共に用いられる複数のファイルを含んでもよい。
【0080】
ブロック702は、配置のレイアウトを形成することを表し、ブロック704は、ビットマップにおける画素アレイ或いは他の画像ファイルのような、画像ファイルにレイアウトを格納することを表す。例えば、任意の形状は、所望される摩擦値を明確にするために引き延ばされる。
図8にあって、白の画素は、摩擦の調整又は他の出力が意図されていないところを示すために表されている、これに対して影の付けられた画素は望まれる摩擦係数の値又はアクチュエータの駆動のために有効な値さえも示している(例えば、所望のPWM電圧レベル、周波数、など)。代替的に、白の画素は最大駆動を示してもよいし、様々な影の度合いは、黒がゼロ駆動を示すとして、低駆動値を表してもよい。一具現化例にあって、デバイスのアクチュエータの状態のオン/オフに対応する色により、白の画素及び黒の画素のみが用いられる。
【0081】
この具現化例にあって、陰影の異なる度合いは、クロス−ハッチング(斜影線)によって表している。実際には、各画素は、異なるアクチュエータなどのための異なるレベルのような異なるデータを提供する複数の値を伴う、複数の値を含んでいる(例えば、各画素はRGB値を有しているかもしれない)。さらに、参照ファイルは、各画素位置用の様々なパラメータを規定するために複数の層を備えてもよい。例えば、一つの層は、振動触覚又は他の触覚出力の出力にあっての使用のための駆動値又は他の情報を定義するために用いられる一つ以上の他の層と共に、摩擦係数の変化を定義するために用いられる。この具体例は、比較的少なく数の画素を示しているが、実際には、画素の配列は、数千又は数百万の画素を含む。
【0082】
この具体例にあっては、濃い陰影によって示されるボタンの境界を有した3つのボタン802、804及び806が示されている。それぞれの内側808、810及び812は、異なる陰影を有し、異なるテクスチャ、摩擦値、又はボタンの内側に対応する他の効果を表すことを意図されている。メニューバーは、相互に同一の陰影を伴う二つのメニュー命令816及び818と共に、メニューバーを現し、さらにその後、メニューアイテムを現すことを示すために用いられる異なる触覚効果に対応して、814にて異なる陰影を有して示されている。ここには示されないが、低及び高(又は高及び低)摩擦の間の遷移又は他の効果が含まれる。
【0083】
図7の方法700に戻り、一旦、参照ファイルが作り出されると、それはメモリに格納され、出力のための合成触覚効果を確定するためにブロック706に示されるように読みだされる。例えば、画素配列の一部又は全ては、位置検出及び特徴物シミュレーションルーティンを行うプロセッサのメモリとしての動作を継続する。一具現化例にあって、画素配列は、グラフィカルユーザインターフェースの対応する画素のそばに割り当てられる。他の具現化例にあって、画素配列は、グラフィカルユーザインターフェースイメージの一層又は要素であり、さらに他の具現化例にあって前記画素配列はグラフィカルユーザインターフェースとは関連しない別個のファイルである。
【0084】
ブロック708は、タッチ位置を確定することを表す。例えば、センサはタッチ領域にマップされる画素配列におけるタッチの画素位置を確定するために用いられるデータを提供する。以下のマッピングステップの間に用いられる適切な遷移とともに、タッチの前記位置を識別するために用いられる画素座標はない。
【0085】
ブロック710は、画像ファイルにおける入力(又は複数入力)へのタッチ位置をマッピングすることを示す。例えば、画素(x,y)=(10,12)におけるタッチが画像(x,y)=(10,12)での画像における一つ以上の画素値へのアクセスの結果であるように、タッチ領域は直接的にマップされる。しかし、もっと複雑なマッピングが用いられてもよい。例えば、一つのタッチ位置及び速度は、前記タッチ領域における一つの画素値を前記画像ファイルにおける異なる画素値にマップするために用いられる。例えば、前記タッチ領域のサイズ及び前記画素配列のサイズは、タッチ位置を画素値にマップするために用いられるスケーリングファクタと一緒に、異なる。
【0086】
ブロック712は、前記画像ファイルからの少なくとも一部のデータに基づいたサーフェースベースの触覚効果を提供するための一つ以上のアクチュエータを作動させることを表す。例えば、画像ファイルの画素値は、所望される摩擦係数にマップされる。方法700を実行するデバイスは、画素位置及び所望の摩擦係数に基づいて、所望の摩擦係数を生成するための一つ以上のアクチュエータに送るための適切な信号又は複数の信号を確定する。他の具現化例にあって、画素値は駆動信号を示す、もっと直接的には、ピエゾエレクトリックアクチュエータに送られるPWM信号のための電圧/振幅/周波数値又はオフセットのような駆動信号を示す。前記画像配列のデータは、他のタイプのアクチュエータ用の駆動信号を生成するのに用いられるようにも構成される。
【0087】
さらに複雑な具現化例にあって、各画素のアドレスは、3つの彩度値(すなわち、RGB)に関連づけられてもよい。前記3つの彩度値のそれぞれは、いくつかの具現化例における対応するアクチェエータ用の単一の彩度/周波数に関連付けられてもよい。他の具現化例にあって、いくつかの値は、再度を規定してもよいし、他の値は同じアクチュエータのための動作の長さを規定してもよい。さらなる具現化例にあって、異なる画素彩度値が単一のテクスチャをシミュレートするためのアクチュエータを駆動するたえに用いられる異なる所望のテクスチャ又は要素と相互に関連つけられてもよい。例えば、テクスチャ808、810及び812は、摩擦変化及び振動の組み合わせを用いるのに実行される。前記領域にマップされる位置にてタッチが生じると、適切なアクチュエータがテクスチャを生成するために用いられる。
【0088】
方法700は、前記画像ファイルにおける複数の画素にマップされるタッチ位置を確定してもよい。例えば、広いタッチは、前記画像ファイルにおける画素アドレスの範囲に対応する。画素アドレスの範囲からの値は、一緒に考慮されるか、或いは分析は、タッチ位置の「正確な位置を示す」ため、さらには対応する単一の画素アドレスから値を用いるためになされる。
【0089】
この具現化例にあって、方法700は、714にて、触覚効果に結び付けられる一つ以上のイベントをチェックする。前述したように、合成触覚効果は、選択を確認するための触覚出力を提供する一つ以上のアクチュエータを使用し、状態の変化を示し、さもなければユーザにフィードバックを提供する。ブロック716は、前記イベントに対応する合成出力を提供するための一つ以上のアクチュエータを用い、その後にタッチ位置を確定するために708に戻って継続する。
【0090】
例えば、ユーザは、ボタン802にマップされるタッチサーフェースの領域を横切って、ボタン804にマップされる領域に指又は他の物体を動かすかもしれない。テクスチャ808は、生成されて、その後、指/物体がボタン804に動くと、クリック、ポップ、又は他の効果がボタンの境界を示すために出力されるかもしれない。ユーザが所定の時間の間、ボタンの操作を長くするか、及び/又はタッチ操作可能なシステムがタッチ又は圧力の増加を登録すると、クリック又はボタン−押下イベントが登録される。クリックイベントに対応して、クリック、ポップ、又は他の効果が、物理的ボタンの応答(又は他の応答)をシミュレートするために出力される。
【0091】
いくつかの具現化例にあって、サーフェースベースの触覚効果を伴うタッチサーフェースを特徴つけるコンピューティングデバイスは、入力シーケンスに基づいた異なるサーフェースベースの触覚効果を出力できる。このため、タッチサーフェースのシミュレートされた特徴物は、サーフェースに関連されるデバイスの状態に基づいて変動する。いくつかの具現化例にあって、これは複数層を伴う参照ファイルを用いるのに実行される。ここで、各層は、固有の状態に対応することができる。前記状態は、例えば、様々な入力状態に基づいて変化される。
【0092】
例えば、タッチサーフェースは、移動可能端末上のようなキーパッドとして作用するように構成されてもよい。前記キーパッドは、番号1−9に対応する3列のキーと、「0」、「*」、及び「#」キーからなる4番目の列を特徴とする。初期の状態にあって、タッチサーフェースは、「5」のキーにて、レイアウトの残りよりも、高い摩擦レベルのような、中央の特徴を提供するように構成される。
【0093】
コンピューティングデバイスは、前記タッチ−センシティブ領域に関連する前記入力の追跡に基づいたユーザ入力に反応する前記タッチサーフェースの状態を変化するために構成される。例えば、一旦前記システムが、ユーザがタッチング、ホバーリング、又は「5」キーが位置されていることを示す他の動作(かならずしも選択されるわけでない)を検出したことを感知すると、前記サーフェースベースの効果は、異なる状態に基づいて提供される。複数層の参照ファイルが用いられると、例えば、異なる層がメモリにロードされる。第2の状態にあって、例えば、キー間の境界は、ユーザが中央から視認されるフィードバックを不要として所望のキーに進むことができるように、提供される(もちろん、視覚による、聴覚による、或いは他のフィードバックが本発明の主題の具現化例については提供されるけれども)。
【0094】
サーフェースベースの触覚効果の情報提供内容又は意味は、様々な具現化例にて変化する。例えば、効果は、グラフィカルユーザインターフェース内の領域にマップされるタッチサーフェースの特別な部分を特定するために用いられ、キー又は他の制御がシミュレートされ、或いは美的な又は娯楽の目的のために提供される(例えば、デザイン及び/又はゲームの役割)。効果は、通信目的にも提供される。例えば、ブライユ点字(Braille)又は他の触覚ベースの通信方法にも役立つ。
【0095】
全般的な考察
この明細書にあっての用語「適合される」又は「構成される」の使用は、付加的なタスク又はステップを実行するために適合される、或いは構成されるデバイスに対してのみあてはめることを主張するのではない開放的及び包括的な意味を有する。さらに、用語「基づいて」の使用は、プロセス、ステップ、計算又は、一つ以上の列挙される条件に「基づいた」他のアクション又は値が、実際に、付加的な条件又はそれら列挙された条件を超える値に基づいているということを意味する。この明細書において含まれる、見出し、リスト及び番号は、説明を容易にするためのものであって、制限することを意味するものではない。
【0096】
本願の発明の主題に対して対応する具現化例は、デジタル電気回路、コンピュータハードウェア、ファームウェア、ソフトウェハ、又はそれらの組み合わせによって実行される。一つの具現化例にあって、コンピュータは、一つのプロセッサ又は複数のプロセッサを備えてもよい。前記プロセッサは、当該プロセッサに接続されるランダムアクセスメモリ(RAM)のようなコンピュータ読み取り可能な媒体へのアクセスを含むし、有する。前記プロセッサは、メモリに格納されている、コンピュータにて実行される、センサーサンプリングルーティン、触覚効果選択ルーティン、及び前述された選択される触覚効果を生成するための信号を形成する適切なプログラミングを実行する一つ以上のプログラムのような、プログラム指示を実行する。
【0097】
前述のようなプロセッサは、マイクロプロセッサ、ディジタル信号プロセッサ(DSP)、専用集積回路(ASIC),フィールドプログラマブルゲートアレイ(FPGAs),及びステートマシンを含む。前記プロセッサは、さらにPLCs、プログラマブルインターラプトコントローラ(PICs)、プログラマブルロジックデバイス(PLDs)、プログラマブルリードオンリィメモリ(PROMs)、電気的プログラマブルリードオンリィメモリ(EPROMs又はEEPROMs)、或いは同様のデバイスのようなプログラマブルエレクトロニックデバイスを備える。
【0098】
前記プロセッサは、本明細書にはプロセッサによって実行され、或いは支援されるように記載されているステップをプロセッサに実行させる命令を格納している、例えば有体物のコンピュータ読み取り可能媒体である媒体を含むか、或いは前記媒体と通信する。コンピュータ読取可能な媒体は、制限されるものではないが、全ての電気的、光学的、磁気的、又はウェブサーバ内のプロセッサのようなプロセッサにコンピュータ読取可能な命令を提供することができる他のストレージデバイスを含む。媒体の他の具体例は、制限されるものではないが、フロッピー(登録商標)ディスク、CD−ROM、磁気ディスク、メモリチップ、ROM,RAM,ASIC、プロセッサを構成する、全ての光学媒体、全ての磁気テープ、又は他の磁気媒体、或いはコンピュータプロセッサが読み取ることのできるいかなる他の媒体をも含む。さらに、様々な他のデバイスは、ルータ、プライベート又はパブリックネットワーク、又は他の伝送デバイスのような、コンピュータ読取可能媒体を含む。記述された、前記プロセッサ、及びプロセッシングは、一つ以上の構成であるか、さらには一つ以上の構成を通して分散されていてもよい。プロセッサは、本明細書にあって記載された方法(或いは方法のいくつかの部分)を実行するためのコードを含んでもよい。
【0099】
本発明の主題は、具体的な例の中で詳細に記述されているが、当業者は、前述の理解を成し遂げることで、容易に代替物、変形、及び前記具現化例の等価物を適切に創造できるであろう。すなわち、本開示は、制限というよりもむしろ具体例の目的のために示されたものであり、当業者にとっては容易に明瞭となり、本発明の主題の改良、変形及び/又は付加の包括を排除するものではない。