(58)【調査した分野】(Int.Cl.,DB名)
前記プロセッサは、触覚イベントが生じたことを示すソフトウェアプログラムにより前記第1及び第2のアクチュエータを駆動するように構成される請求項1記載の装置。
前記プロセッサに結合される第3のアクチュエータをさらに備え、前記第3のアクチュエータは、前記第1及び第2の触覚効果とは異なる第3の触覚効果を出力する請求項1記載の装置。
前記プロセッサは、前記第1のアクチュエータにおける速度の所望の変化を実現するために、AC電圧を前記第1の命令信号の少なくとも一部に供給する請求項1記載の装置。
前記プロセッサは、前記第2のアクチュエータにおける速度の所望の変化を実現するために、AC電圧を前記第2の命令信号の少なくとも一部に供給する請求項1記載の装置。
前記プロセッサからの対応する入力命令信号の受信に応じて第3のアクチュエータを介して、前記第1及び第2の触覚効果とは異なる第3の触覚効果を出力するステップをさらに備える請求項12記載の方法。
前記プロセッサに結合される第3のアクチュエータであって、前記第1及び第2の触覚効果とは異なる第3の触覚効果を出力する前記第3のアクチュエータをさらに備える請求項15記載のデバイス。
第1のアクチュエータ情報及び第2のアクチュエータ情報を格納するように構成されたコンピュータ読み取り可能媒体であり、前記第1のアクチュエータ情報は前記第1のアクチュエータの特徴を記述する少なくとも一つのパラメータを備え、さらに前記第2のアクチュエータ情報は前記ピエゾ電気アクチュエータの特徴を記述する少なくとも一つのパラメータを備える、前記コンピュータ読み取り可能媒体をさらに備える請求項18記載のシステム。
【発明を実施するための形態】
【0010】
複数の具現化例が、電子デバイスにおける触覚帯域を増加するためのシステム及び方法のコンテキストのなかで説明される。当業者であれば、以下の説明は例示であり、いかなる制限を意図するものではいことを理解できるであろう。他の具現化例は、この開示の利益を有する当業者に前記システム及び方法を容易に示唆するであろう。参照は、添付の図面にあって例示されるような具現化例の実行によって明らかになる。同様の参照符号が、図面全体及びその説明を通して、同一或いは類似の構成を参照するために用いられる。
【0011】
分かりやすくするために、本明細書に記述されている実行の所定の特徴のすべてを示し、説明することはしない。もちろん、いかなる実際の実行の展開にあって、多くの詳細な実行の判断は、開発者の詳細な目標、アプリケーションを伴うコンプライアンス及びビジネス関連の制限を達成するために成され、さらにこれらの詳細な目標は、一つの実行から他の実行に、さらには一つの開発者から他に、変化するであろう。
【0012】
電子デバイスにおける触覚帯域を増加するための例示システム
まず、
図1を参照すると、
図1は本発明の一具現化例に係る電子デバイスにおける触覚帯域を増加するためのシステム50を示す。
図1に示される具現化例にあって、携帯電話60は、タッチスクリーン66と、携帯電話60に様々な触覚効果を出力するためのいくつかのアクチュエータ70−76を備える。この例示の具現化例にあっては、二つのアクチュエータ70、72は、ピエゾ電気アクチュエータであり、さらに他の二つのアクチュエータ74、76は、偏芯回転質量を有する回転モータ(一般的に「ERM」として参照される)である。これらの部品に加えて、携帯電話60はプロセッサ62、メモリ64、センサ68を有する。
【0013】
通常の動作の間、前記プロセッサ62は、メモリ64に格納されたソフトウェアを実行し、タッチスクリーン66上にグラフィカルユーザインターフェース(GUI)要素を表示する。ユーザは、一つ以上のGUI要素を選択するためにタッチスクリーン66に触れるか或いはタッチスクリーン66上でジェスチャをすることによって、携帯電話60と対話する。センサ68は、タッチスクリーン66への様々な接触を検出し、検出信号をプロセッサ62に供給する。プロセッサ62は、タッチスクリーン66上に表示されたGUI要素の位置に及び検出されたジェスチャに基づいて前記検出信号を解釈する。
【0014】
動作のある時点で、プロセッサ62は、一つ以上の触覚効果がユーザの入力或いはGUI内にて生じるイベント或いはプロセッサ62にて実行される、テキストメッセージングソフトウェアのような他のアプリケーションに基づいて携帯電話60に出力されるのを判断する。出力される一つ以上の触覚効果が判断された後、プロセッサ62は一つ以上のアクチュエータ70−76を、触覚効果を出力するのに用いるために、選択する。
図1に示される例にあって、メモリ64は各アクチュエータについての、周波数範囲、共振周波数、スタートアップ時刻及びストップ時刻、電力消費を含むパラメトリック(媒介変数)情報、或いはそれらのアクチュエータが携帯電話60のハウジング、タッチスクリーン66、或いは物理的なキー或いはボタン(図示せず)のような携帯電話60の他の部分に結合するか否かのような物理的な結合情報を格納する。前記アクチュエータ情報に応じて、プロセッサ62は、触覚効果のためのアクチュエータ信号を生成し、触覚効果を出力する単一或いは複数のアクチュエータを選択し、さらに前記アクチュエータ信号を所望の触覚効果を発生するための適切な時刻にて前記単一或いは複数のアクチュエータに送信する。
【0015】
例えば、ユーザがタッチスクリーン66上に表示された仮想キーボードでタイピングをすると、ユーザによって「押された」各キーは触覚効果を生じる。この具現化例にあって、プロセッサ62は、鋭い、高周波数の触覚効果が各キー押圧に必要か否かを判断する。例えば、プロセッサ62は、前記ERMアクチュエータ74、76が大きさが大きい力を発生することができるか、さらには前記ERMアクチュエータ74、76が各アクチュエータ70−76の前記メモリ64に格納されたアクチュエータ特性に基づいて携帯電話60のハウジングに結合されるのを判断する。さらに、プロセッサ62は、キーの押圧が素早く連続して起こるので、前記ERMアクチュエータ74、76のスタートアップ及びストップ特徴が次の触覚効果が出力される前に、ひとつの触覚効果を完全にストップするために長すぎて採られるので、両方のアクチュエータ74、76が用いられるべき、さらには交互に用いられるべきと判断する。つまり、個々のERMアクチュエータ74、76がキーストロークと同じに素早く発生する触覚効果をサポートするのには不十分な帯域を有する。
【0016】
振動モータアクチュエータの帯域を定義する一つの方法は、アクチュエータによって出力される、弱々しい継続する振動として知覚できるところのパルスの前のアクチュエータから得られる最大周波数である。例えば、
図2に示されるように、パルス10は、不連続或いはパルス信号20に反応する単一の振動アクチュエータによって生成され、そのパルス信号20は約5Hzである。前記5Hzのパルス信号のため、前記アクチュエータによって出力される反応或いは減速は、アクチュエータがしばらくの間振動することができ、再度加速が指示される前にだいたい完全にストップ(ポイントA)することができるようである。
図3は、パルス信号が10Hzの周波数におけるのと同じアクチュエータを示す。
図2に示されるように、アクチュエータによって出力されるパルス振動30の大きさは、パルス信号40が再加速を始めるのを指示する前に、0値にアプローチできない(
図2におけるポイントB参照)。すなわち、前記アクチュエータが最大の大きさに再び向かって加速され始まる前に、前記アクチュエータが触覚効果の大きさが検知されないところの大きさに減速できない。これは、各触覚効果が、ユーザの体験を下げがちな次の効果と区別するのが困難になりがちな「柔らかな」触角効果に導くことができる。このように、触覚帯域を増加するため、
図1における例示システムは、複数のアクチュエータとそれらのアクチュエータを作動する新しい方法を利用する。
【0017】
キーボードの押圧がERMアクチュエータ74、76によって発生されるべきことを決定した後、プロセッサは付加的な触覚効果が必要であることを判断するかもしれない。例えば、ユーザが「送る」ボタンを押すと、プロセッサ62は触覚効果が、前記送るボタンが押されたことを示すために、出力されるべきと判断する。この具現化例にあって、プロセッサ62は振動効果に加えて手ざわりの触覚効果が出力されるべきと判断する。そのような具現化例にあって、プロセッサ62は、信号を交互に一つのERMアクチュエータ74に、その後、他のERMアクチュエータ76に、送信することによって振動効果を生成する。詳細については、後述される。
【0018】
さらに、プロセッサ62は、高周波数(例えば20kzより大きい,>20kHz)アクチュエータ信号を生成し、前記ERMアクチュエータが既に使用されてるのか、前記ERMアクチュエータがそのような高周波を生成するのが適切でないのか、さらにピエゾ電子アクチュエータ70、72が一次元のみの触覚効果を出力するように構成されるのか、及び二つのピエゾ電子アクチュエータ70、72が直交軸に沿って向けられているのかを判断する。それゆえ、この具現化例にあって、プロセッサ62は、二つのピエゾ電気アクチュエータ70、72のそれぞれが前記手触り効果を生成するように作動されるべきかを判断する。このように、プロセッサ62は、高周波アクチュエータ信号を二つのピエゾ電気アクチュエータ70、72のそれぞれに、タッチスクリーン66上の手に触れる表面をシミュレートするための触覚効果を生成するために、送信する。
【0019】
図示されたような具現化例は、携帯電話のメモリ64に蓄積されたアクチュエータの能力特性に基づいてアクチュエータ70−76を選択的に作動させることによって増加された触覚帯域を提供する。さらに、複数の異なるアクチュエータが提供されることにより、複数の効果が同時に出力される(再生される)か、或いは出力される触覚効果のためには一つ以上のアクチュエータ70−76が不十分な能力特性であるにもかかわらずに高再現性を出力することができる。例えば、大きさが大きい正確な振動が、前記二つのERMアクチュエータ74、76の間で繰り返し振動を出力することによって、前記ERMアクチュエータ74、76の一つのピーク帯域よりも大きな比率で出力される。
【0020】
この例示された具体例は、本明細書において考察される発明の主題を読者に紹介するために与えられている。本発明は、この具体例によって制限されるものではない。以下のセクションは、電子デバイスにおける触覚効果を増加するためのシステム及び方法の様々な付加的な非制限具現化例及び具体例を説明する。
【0021】
図4を参照すると、
図4は一具現化例に対応する電子デバイスのブロック図を示している。特に、
図4は、本体或いはハウジング102と、前記本体102内にありメモリ106に結合されるプロセッサ104を有している電子デバイス100を示している。プロセッサ104は、情報をメモリ106に格納し、さらに検索することができる。そのような情報は、制限されるものではないが、アクチュエータの特性、触覚効果の特性、触覚効果出力時刻シーケンス、アクチュエータに送るプログラムされた電圧、ゲームデータ、ソフトウェアデータなどを含む。
【0022】
電子デバイス100は、一つ以上の任意のタッチスクリーン、タッチパッド或いは、プロセッサ104に結合される他のタッチ感応部品108を有して示される。本発明のいくつかの具現化例はタッチ感応部品108を備えないかもしれないことに気づくべきである。例えば、本発明のいくつかの具現化例は、ジョイスティック、回転可能なノブ、スタンドアロンキオスク、コンピュータマウス、仮想現実シミュレーション、コンピュータ周辺機器、スマートフォン、ハンドヘルドコンピュータ、ゲーム周辺機器などの他のタイプのデバイスに適用される。しかし、説明の目的のため、タッチ感応部品108は、電子デバイスにおける触覚帯域を増加するためのシステム及び方法の具体例を説明するために用いられるであろう。
【0023】
さらに、
図4に示されるように、電子デバイス100は、タッチスクリーン108及びプロセッサ104に結合されるセンサ110を備える。センサ110は、タッチ感応部品108との対話の間のユーザの1本の指或いは複数の指、スタイラス或いは他の入力手段の位置、圧力、及び/又は動きを監視する。センサ110は、ユーザの入力の圧力、位置、及び/又は動きを示すための信号をプロセッサ104に供給し、ソフトウェアプログラムを実行するプロセッサ104はその信号に応答してタッチ感応部品108を介して示される表示を更新する。一具現化例にあって、タッチ感応部品108は一体化部品としてセンサ110を組み込むのでセンサ110は分離の部品ではない。しかし、説明の目的のため、センサ110は、本明細書では分離の部品として言及される。
【0024】
加えて、電子デバイス100は、複数のアクチュエータ112、114、116を本体内に備える。
図4には3つのアクチュエータが示されるが、2つ以下のアクチュエータでも、あるいは3つより多いアクチュエータを備えることも可能であることに留意すべきである。一具現化例にあって、複数のアクチュエータ112、114、116は、電子デバイス100の本体102に全て取り付けられ、触角効果を伝える。一具現化例にあって、一つ以上のアクチュエータがタッチ感応部品108或いは他のそれぞれのユーザ入力デバイスに局所的な触覚効果を伝えるために取り付けられる。一つ以上のアクチュエータがタッチ感応部品108或いは他のそれぞれのユーザ入力デバイスに取り付けられ、さらに残りのアクチュエータが本体102或いは一つ以上の物理的ボタン(図示せず)に取り付けられてもよい。一具現化例にあって、少なくとも一つのアクチュエータが本体102内に収納され、触覚効果をタッチ知覚部品108及び/又は本体102に伝えるように構成されてもよい。前記アクチュエータは、アクチュエータから作り出される触覚効果を増幅するために柔軟な或いは剛性材料を用いるように設計されてもよい。一具現化例にあって、一つ以上のアクチュエータは、外部デバイス或いは本体102に触覚効果を出力するために外付けされる周辺機器の一部でもよい。
【0025】
図に示される具現化例は、アクチュエータ112−116が、プロセッサ104からの入力コマンド信号を受信することで一つ以上の触覚効果を出力するように構成される。前記入力コマンド信号は、ユーザとソフトウェアプログラムによって駆動されるグラフィカル環境内のグラフィカルオブジェクトとの間で生じる対話からなり、それによってソフトウェアプログラムはローカルプロセッサ或いは前記電子デバイスから分離されたホストコンピュータによって駆動される。その対話は、ユーザのアクションが対話を引き起こさない(例えば、テキストメッセージ受信、ゲームにおけるユーザ車両をヒットするアステロイド)ユーザの独立的なものあるかもしれない。しかし、対話は、触覚効果を生じさせ、触覚領域を選択するユーザの製品であり、それらは後述される。
【0026】
前述されたアクチュエータは、様々なタイプであることができ、制限されるものではないが、偏芯回転質量(ERM)アクチュエータ、線形共振アクチュエータ(LRA)、ピエゾエエレクトリックアクチュエータ、ボイスコイルアクチュエータ、電気活性ポリマー(EAP)アクチュエータ、形状記憶合金、ページャ或いはDCモータ、ACモータ、ムービング磁気アクチュエータ、Eコアアクチュエータ、スマートジェル、静電気アクチュエータ、電気触覚アクチュエータなどである。
【0027】
前述の記述によれば、アクチュエータ112−116は、グラフィカル環境に生じる一つ以上の触覚イベントに反応してそれぞれ触覚効果を出力する。触覚イベントは、ここでは、いかなる対話、アクション、衝突、或いは前記装置に関連する触覚効果を潜在的に有し、前記触覚効果の様式にあってユーザに出力される前記電子デバイスの動作の間に発生する他のイベントである。
【0028】
例えば、ユーザがコントロールしているグラフィカルな車両がゲームプレイ中に強い風を受けると、一つの触覚効果が生じて、それに関連する具体例の触覚イベントが振動であるに違いない。他の例では、ゲーム中にユーザのキャラクタにミサイルが衝突すると、触覚イベントが生じ、それによる前記触覚イベントに関連する具体的な触覚イベントは揺れ或いはパルスである。触覚イベントは、ゲームプレイには関係しないかもしれないが、ユーザがゲームをプレイしている間ユーザに大切なデバイス情報を提供する(例えば、テキストメッセージを受信したこと、歌のダウンロードが完了したこと、バッテリーレベルが低くなったことなど)ことがある。
【0029】
前述されたように、対話はユーザがディスプレイスクリーン上にて対話するグラフィカル環境の一つのグラフィカルオブジェクトと相関がある。例えば、触覚効果は、ユーザがグラフィカル環境にて指定された、ここでは、表示される触覚可能領域或いは単に「触覚領域」として言及されるところの、領域を選択した対話に反応して前記システムによって出力されるかもしれない。
図5に示される、具現化例にあって、キーボードの表示されたキーの境界は、それぞれ触覚領域が指定されている。
図5にあって、「シフトShiftキー」の左側の境界202、右側の境界204、下側の境界206及び上側の境界208は、それぞれ触覚領域が指定されており、そこにあって、センサ110がユーザの指或いはスタイラスが表示された一つ以上の境界或いは複数境界に動くのを検出するとプロセッサ104がアクチュエータにそれぞれの触覚効果を出力するように指示する。「シフトShiftキー」内の境界202−208の間の領域は触覚領域を指定されることが予想されもする。いくつかの具現化例にあって、触覚領域は、電子デバイス100にて駆動されるソフトウェアを開発するとき明示される。しかし、いくつかの具現化例にあって、ユーザは触覚領域の存在をカスタマイズするか、「お気に入り」或いは「オプション」メニューを介して新しい触角領域を開発/指定することもできる。
【0030】
図4を再度参照すると、本システム及び方法は、対話が発生する間の時間長さにて連続する命令を動作するため複数のアクチュエータを使用する。複数のアクチュエータの時差のある出力が短い間隔にてアクチュエータの出力帯域を増加させ、さらに別の、ユーザに識別可能な不連続の触覚効果を作り出す。一つの具現化例にあって、一つの触覚効果が生じると(或いは一つの触覚領域が選択されると)、プロセッサ104は指定された電圧及び電流を示す入力コマンド信号をアクチュエータ112にスタート時刻にて、対応する触覚効果を出力するためアクチュエータ112に最大の大きさを加速させるように、供給する。その後、プロセッサ104は、アクチュエータ112が最大大きさからストップに減速するところの、ストップ時刻にて入力コマンド信号を終わらせる(メモリに格納された触覚効果のプログラムされたパラメータに応じるように)。プロセッサ104は、その後、それぞれのスタート時刻で指定された電圧及び電流を、前記第2のアクチュエータ114が対応する触覚効果を出力するために最大の指定された大きさに加速されるように、前記第2のアクチュエータ114に供給する。前記第2のアクチュエータ114用の入力コマンド信号のストップ時刻に達すると、プロセッサ104は、前記第2のアクチュエータ114にその最大の大きさからストップに向けて減速させるために、前記アクチュエータ112へのパルス信号を止める。プロセッサ104は、その後、触覚効果の出力をスタートして継続するため前記第1のアクチュエータ112に入力コマンド信号を再び送信する。
【0031】
この具現化例にあって、前記処理はアクチュエータ112、114の間で繰り返され、これによりアクチュエータ112、114は繰り返し、さらには連続的にそれぞれの触覚効果を出力できる。いくつかの具現化例にあって、特定のアクチュエータは、他のアクチュエータによる触覚効果出力がユーザによって認識可能なほどに知覚できないような少なくとも大きさ及び/又は周波数まで、動作を始めない。しかし、いくつかの具現化例にあって、特定のアクチュエータは、他のアクチュエータによる触覚効果出力が零の大きさ及び/又は零の周波数になるまで、動作を始めない。
【0032】
一具現化例にあって、各アクチュエータへの入力コマンド信号のスタート及びストップ時刻のスケジューリングは、予め決められさらにメモリに格納されている。これにより、プロセッサは迅速に前記スケジューリングデータを検索でき、触覚効果が出力されたときコンピュータによる負荷を緩和することができる。格納されたスケジューリング情報は、ルックアップテーブル、或いは他のアクチュエータと関連する、各アクチュエータのスタート及びストップ時刻が既に確立され、さらにプロセッサ104が単に前記格納された情報を処理する構成の形態にあり、したがって指定されたスケジューリング指示に基づいて前記アクチュエータを起動する。前記スケジューリング指示は、用いられるアクチュエータのタイプ(例えば、ERM、LRA、ピエゾエレクトリック、など)、前記アクチュエータによって出力される所望の最大の及び最小の大きさ、前記アクチュエータが動作する電圧及び周波数、出力される触覚効果のタイプ(例えば振動、ポップ、クリックなど)、及び前記アクチュエータの全体的な動作特性(例えば重い或いは軽いアクチュエータなど)に基づいている。
【0033】
一具現化例にあって、アクチュエータ112の特定の動作特性はプロセッサ104に知られている。プロセッサ104には、アクチュエータがストップされた位置から、供給された電圧及び電流に基づいて所望された大きさ及び周波数まで、どのくらいの長さ加速するのかという情報が提供される。さらに、メモリ106は、アクチュエータ102を最大動作大きさ及び周波数からストップされる位置に戻すのにどのくらいの長さ減速するのかに関する情報も格納している。一具現化例にあって、電流のタイプ(すなわち、AC対DC)に基づいてアクチュエータ112の加速及び減速時間が既に知られ、メモリ106にデータ或いはプロセッサによって読まれ、つまりアクチュエータに提供される指示として、格納される。例えば、一具現化例にあって、メモリ106は、アクチュエータ112−116に関連する一つ以上の特性を含む。一具現化例にあって、前記アクチュエータ特性は、前記複数のアクチュエータに関する、スタートアップ時刻、ストップ時刻、最小及び最大周波数、最大大きさ、共振周波数、触覚効果のタイプ、動作軸、或いは電力消費のような複数のパラメータを含む。プロセッサ104は、その後、どのアクチュエータに、どのくらいのアクチュエータを、一つ以上の触覚効果を生成させるために起動するのかを判断するために前記アクチュエータ特性にアクセスする。
【0034】
図6は、一具現化例に対応したシステムにおける二つのアクチュエータによって出力されるスケジュールされた触覚効果を例示するグラフを示す。
図6に示すように、上のグラフ300は第1のアクチュエータ112によって出力されるパルス化された触覚効果を例示し、下のグラフ400は第2のアクチュエータ114によって出力されるパルス化された触覚効果を例示している。
図6に示すように、発生する触覚効果或いは判断される触覚領域に応じてプロセッサ104はその命令信号をアクチュエータ112に、そのアクチュエータが動作をスタートする時刻t
0にて送信する。この具現化例に示されるように、入力命令信号は、プロセッサ104がその命令信号を時刻t
A1にて終わらせる矩形波信号である。その時刻t
A1はt
1の前に生じる。この具現化例にあって、前記プロセッサ104は、時刻t
A1をメモリに格納されたアクチュエータパラメータに基づいて判断する。例えば、一具現化例にあって、前記プロセッサ104は、アクチュエータ112、114のために、一つのアクチュエータ信号が新しい信号がスタートされるまえに終わらせられた後、待つための最小の合計時間を判断するためにストップ時間のパーセンテージを判断する。
【0035】
具現化例にあって、前記プロセッサ104は、同一タイプの触覚効果をスタートする前に、アクチュエータ信号が終わらされる後、待つための合計時間を判断する。例えば、一具現化例にあって、一つのデバイスはERMアクチュエータ、DCモータ、ピエゾ電気アクチュエータ、LRAsなどのような複数の異なるタイプのアクチュエータを含んでもよい。そのような具現化例にあって、プロセッサは振動効果或いはねじれ効果に関係なく出力される手触り効果を引き起こしてもよい。そのような具現化例にあって、プロセッサ104は、第1の触覚効果が出力されて実質的に同時に第2の触覚効果が、それら二つの触覚効果が干渉せずに、待ち時間がないことが要求されることを判断する。
【0036】
時刻t
A1あたりで、アクチュエータ112はユーザが知覚できる認識可能な触覚効果がないような大きさに減速する。一具現化例にあって、アクチュエータ112は時刻t
A1あたりで0の大きさに減速する。いくつかの具現化例にあって、異なる入力命令信号又はアクチュエータ信号が矩形波とは別のものを用いる。例えば、アクチュエータ信号は、2005年11月30日に提出された、「振動触覚効果を発生する共振デバイスを制御するシステム及び方法」という名称のその全体が本出願に参照として組み込まれている米国特許番号7,639,232に開示されているような高い忠実度の触覚効果を提供するためのアクチュエータを加速或いは減速するように発生される。
【0037】
時刻t1で、プロセッサ104は、アクチュエータ114がその動作をスタートし、さらに最大の大きさに加速させる入力命令信号をアクチュエータ114に送信する。この具現化例に示されるように、前記命令信号は矩形波信号であり、プロセッサ104が時刻t
B1にてその矩形波信号を終わらせる前記命令信号であり、それによって時刻t
B1は時刻t2の前に生じる。時刻t
B1付近で、アクチュエータ114はプロセッサ104が次のアクチュエータが作動されるかもしれないことを判断するために充分減速する。例えば、この具現化例にあって、プロセッサ104は、メモリ内にアクチュエータ114のパラメータとして格納されるストップ時刻の一部を判断する。一具現化例にあって、アクチュエータ114は、時刻t
B1あたりで完全にストップするか、ほとんどストップする。いくつかの具現化例にあって、プロセッサ104は、次のアクチュエータ112が作動する前に所定時間遅延する。その後、プロセッサ104は、アクチュエータ112に時刻t2で動作をスタートするように命令する。複数のアクチュエータからのこの交互の出力パターンは、以前の触覚効果からのパルスが次のパルスが知覚される前に充分に減衰される感覚をユーザに提供するための時差のある仕様にて動作するように前記アクチュエータがスケジュールされているので、ユーザによって知覚されるとき明瞭に認識される分離の触覚効果を発生することができる。いくつかの具現化例にあって、単一のアクチュエータは10Hzあたりよりも高い周波数でのこの結果を達成できないかもしれないと考えられているが、複数のアクチュエータのスケジューリングが高い周波数でその結果を達成する。
【0038】
他の具現化例にあって、QWERTYキーボードは、約6ミリメータ幅のキーを有する。プロセッサ104がユーザの指(或いはスタイラス)が特定のキーの一つの境界上に位置していることを示すセンサに応じて触覚効果を出力することを単一アクチュエータに命令する。別の具現化例にあって、ユーザの指が1秒に7キーというレートで、連続したキー(特に、キー「z」から「m」)を横切って走る。1秒に7キーというレートでは、アクチュエータは、1秒毎に約14キー境界(或いは境界毎に71.4ミリ秒)で伝達する、70ms毎に1キー境界のオーダで触覚効果を出力することが要求される。触覚領域のそれぞれのために、振動を出力するために仕事が課される単一のアクチュエータは、連続した、或いはほとんど連続した振動を発生するので、ユーザはキーの境界の間のいかなる区別も知覚しない。このため、単一のアクチュエータは、次のパルスが出力される前に完全にストップする時間を有しない。
【0039】
キー境界での明瞭な、はっきりしたさらには識別可能な触覚効果はもちろん、適切な触覚効果をトリガリングするのを保証するため、複数のアクチュエータがこの触知情報を提供するのに触覚効果を連続的に出力するために用いられる。センサ110が「shift」キー(
図5参照)の左側境界202を越えるユーザの入力を検出すると、プロセッサ104は第1の命令信号をアクチュエータ112に供給する。つまり、セン
サ110が「shift」キーの右側境界204を越えるユーザの入力を検出すると、プロセッサ104は第2の命令信号をアクチュエータ114に供給する。同じように、センサ110がキー「z」の左側境界をユーザの指による入力が越えるのを感知すると、プロセッサ104は第3の命令信号をアクチュエータ112に供給する。複数のアクチュエータ112、114の間の交互のパターンは、ユーザによって区別されることができる限定的で明瞭な触覚効果を作りだす。
【0040】
単一のアクチュエータ(アクチュエータ112のような)は、トリガする触覚効果及び/又は触覚領域の間の時間の長さが、アクチュエータが完全なストップ或いは少なくともユーザに知覚されない大きさへの減速に達するのを要求される時間の長さより長いとき、複数の触覚効果を出力するために用いられてもよいのにも留意されたい。しかし、いくつかの具現化例にあって、プロセッサ104は、トリガする触覚効果及び/又は触覚領域の間の時間の長さがアクチュエータが完全なストップ或いは少なくともユーザに知覚されない大きさへの減速に達するのを要求される時間の長さより短いとき、複数のアクチュエータ(例えば、2、3、或いはそれよりも多い)を連続的に起動する。必要な時間長さは、動作するパラメータ、及びアクチュエータに供給される電流及び電圧量はもちろん、用いられるアクチュエータのタイプに基づいている。
【0041】
アクチュエータによって作り出される触覚効果は、スタート及びストップ時刻はもとより電流、電圧及び周波数に依存して変動する。そのような触覚効果は、制限されるものではないが、振動、パルス、ポップ、クリック、ダンピング特性、及び手触りの変化を含む。一具現化例にあって、複数のアクチュエータは、異なるアプリケーション用に異なる触覚効果を発生するために用いられる。例えば、二つのアクチュエータは、前述したように、グラフィカルオブジェクト(例えば、キーボードキー)の境界を越えるユーザの指或いはスタイラスに依存して振動或いはポップを提供するように構成される。加えて、タッチ感応部品に結合される一つ以上のアクチュエータは、ユーザが手触りの触覚効果を生成する境界内で検出されるときに、起動される。
【0042】
一具現化例にあって、前記アクチュエータは、連続的なDC電圧を用いて駆動される偏芯回転質量(ERM)アクチュエータであり、前記ERMアクチュエータはプロセッサによって前記触覚効果を出力するため、及び低周波数にて相対的に短いスタート時刻及びストップ時刻を達成するためにパルス化される。しかし、比較的高い周波数(すなわち、>50Hz)での動作にあって、前記ERMアクチュエータの反応、特に所望される大きさに十分であるように迅速に加速及び減速するための能力は、前述された明瞭な触角効果を作り出すために必要とされるよりも遅くてもよい。与えられる一定のDC駆動電圧のため、前記アクチュエータの反応は、所定の大きさ及び周波数である。つまり、DC駆動電圧の大きさを増加することは、それに比例して、大きな大きさ及び高い加速度を伴う加速反応という結果となる。同じ意味で、DC駆動電圧の大きさを低減することは、比例して小さな大きさ及び低減速を伴う減速反応という結果になる。
【0043】
例えば、ERMアクチュエータは、明瞭かつはっきりしている振動であり、前記アクチュエータにDC電圧のみを適用するプロセッサに依存し、120Hzで0.4Gppの大きさを有する振動を、生成することができないかもしれない。DCモードのみで前記アクチュエータを駆動する代わりに、プロセッサ104はAC信号を前記アクチュエータに供給し、それにより前記アクチュエータは、前記入力信号と同じ周波数を有する加速特性にて駆動信号に反応する。これは、一般的なDC駆動ERMアクチュエータよりもかなり高い加速反応を有するERMアクチュエータをもたらす。このAC(両極)モードにて前記アクチュエータをオーバードライブする技術は、前記周波数領域でのアクチュエータの帯域を大幅に改善する。前記アクチュエータは、これにより、前記AC及びDC入力信号を重ねることによって特定の大きさ及び加速にて異なる振動効果を発生することができる。
【0044】
ACモードにて複数アクチュエータを用いる主要な利点は、全体的なシステムが重ね合わせの原理を達成することができることである。各入力信号が異なる周波数及び大きさのパラメータを有する、二つの異なる入力信号を複数のアクチュエータに適用することは、それらの周波数及び比例した大きさを有する振動効果という結果をもたらす。単一のアクチュエータは、単一のアクチュエータがACモードで駆動されるときにそのような高い周波数が得られるように元々意図されていないから、重ね合わせ効果を発生することができない。この重ね合わせの原理は、高忠実度の振動フィードバック(手触り、ポップ及び振動も同時に)を発生するときに重要である。
【0045】
前述のアクチュエータはERMアクチュエータではあるが、前記アクチュエータは線形共振アクチュエータ(LRA)でもあってもよい。前記LRAは、質量が一次の方向で前後に線形に作動される共振質量スプリングシステムを有するDCモータである。前記LRAは、例えば175Hzのような特定の周波数にて高加速反応を発生することができる。しかし、他の周波数にて、前記加速は同じ入力大きさで0に近い。しかし、前記入力信号の大きさがそのような領域、つまり前記反応が弱くなる領域で増加すると、結果的に得られる加速は良好な振動効果を提供できるに充分な強さであり、駆動信号の大きさに依存する大きさを伴う。いくつかの具現化例では、他のタイプのアクチュエータが用いられてもよい。例えば、精密で高度なジェルアクチュエータは、キーボード上のキーのような、タッチスクリーンによって示されるオブジェクトに対応する、タッチスクリーン上の手触り或いは物理的境界を提供するために用いられてもよい。
【0046】
前述したように、本発明のいくつかの具現化例は、複数の異なるタイプのアクチュエータを備えてもよい。例えば、一具現化例にあっては、アクチュエータ112−116は、ERM或いはLRAアクチュエータ及びピエゾ電気アクチュエータを備えてもよい。以前に留意したように、ピエゾ電気アクチュエータは、ERM或いはLRAとは異なるタイプの触覚効果を提供する。例えば、ピエゾ電気アクチュエータは、小さな大きさの効果を提供するが、効果が出力される広い周波数の範囲を有する。いくつかの具現化例にあって、ピエゾ電気アクチュエータは、触覚効果をタッチスクリーンに適用するのに適切である。
【0047】
一具現化例にあって、メモリ106は各アクチュエータ112−116に関連するパラメータを含んでもよい。そのような具現化例にあって、メモリ106は、最小及び最大動作周波数、最小及び最大動作マグニチュード(大きさ)、スタートアップ及びストップ時刻、さらには動作軸のような、各アクチュエータについてのパラメトリック(媒介変数)な情報を備える。例えば、この具現化例にあって、ERMアクチュエータは、約100及び300Hzの最小及び最大動作周波数をそれぞれ有し、ピエゾ電気アクチュエータは100から25,000Hzの最小及び最大動作周波数を有する。
【0048】
この具現化例にあって、プロセッサ104は、振動触覚効果が約200Hzで出力されることを判断し、200Hzで振動を生じさせるように構成される第1のアクチュエータ信号を発生する。前記アクチュエータパラメータ情報の少なくとも一部に基づいて、前記プロセッサ104は、ERMアクチュエータの一つを選択する。前記プロセッサ104は、その後、前記第1のアクチュエータ信号を前記選択されたERMアクチュエータに送信する。前記プロセッサ104は、手触り触覚効果が約25,000Hzで出力されることを判断し、25,000Hzで振動を生じさせるように構成される第2のアクチュエータ信号を発生する。前記アクチュエータパラメータ情報の少なくとも一部に基づいて、前記プロセッサ104は、ピエゾ電気アクチュエータの一つを選択する。前記プロセッサ104は、その後、前記第2のアクチュエータ信号を前記選択されたピエゾ電気アクチュエータに送信する。この具現化例にあっては、前記二つの触覚効果がおおよそ同じ時刻に出力されてもよい。したがって、前述されたアクチュエータの順番の並びは、実行を必要とされない。しかし、複数の触覚効果が迅速に続いて出力されると、前記プロセッサ104は前記第1のアクチュエータ信号を、本発明の具現化例に係る二つのERMアクチュエータに交互に出力する。
【0049】
前述の開示された具現化例はERM及びピエゾ電気アクチュエータの組み合わせであるが、他のアクチュエータの組み合わせが用いられてもよい。例えば、一具現化例にあって、ERMとLRAアクチュエータの組み合わせが用いられてもよい。例えば、個別或いは同時に作動される異なるサイズの複数のERM或いはLRAアクチュエータは、広い範囲の振動周波数を提供するために含まれてもよい。そのような具現化例にあって、メモリ106は、最小及び最大動作周波数、最小及び最大動作マグニチュード、スタートアップ及びストップ時刻、及び動作軸を含む、各アクチュエータに関連するパラメータを含む。前記パラメータは、前記それぞれのアクチュエータが前記特徴を有するならば、さらに各アクチュエータに関連する共振周波数を備える。したがって、前記プロセッサ104は、所望される触覚効果を発生するために適切な一つのアクチュエータ又は複数のアクチュエータを選択する。
【0050】
ピエゾ電気及びERMアクチュエータの組み合わせの各具現化例にて考察したように、前記プロセッサ104は出力される触覚効果に基づいた適切な一つのアクチュエータ或いは複数のアクチュエータ、及び各アクチュエータを特定するパラメータを選択する。いくつかの具現化例にあって、前記プロセッサ104は、さらに、前記アクチュエータが使用状態かもうストップしたかというようなアクチュエータの動作状態に基づいて一つのアクチュエータを選択してもよい。
【0051】
図7を参照すると、
図7は電子デバイスにおけるアクチュエータの触覚帯域を増加するための触覚効果を出力する方法に基づいたフローチャートを例示する。特に、ステップ502にて、前記プロセッサには、触覚イベントが発生したか否か(例えばビデオゲームにて衝突)及び/又は触覚効果が選択されたか否か(例えば、ユーザの指或いはスタイラスが表示されたキーの境界を越えて動いた)情報が提供される。この情報は、センサ110から供給されるか、及び/又は前記プロセッサによって駆動されるソフトウェアから供給されるか、分離されているホストコンピュータから供給される。触覚効果が出力されることが前記プロセッサ104に認識されたことに応じて、前記プロセッサ104は、ステップ504にて、所定のスタート及びストップ時刻で入力命令信号を前記第1のアクチュエータに供給する。この後、前記プロセッサ104は、入力命令信号をステップ506にて所定のスタート及びストップ時刻で前記第2のアクチュエータに供給すると、前記第2のアクチュエータのスタート時刻は第1のアクチュエータへの前記入力命令信号のストップ時刻の後まで生じない。いくつかの具現化例にあって、この処理は、ステップ506のように、所定の時間長さで、前記第1及び第2のアクチュエータ112、114の間で繰り返される。
【0052】
プロセッサ104は、ステップ508のように、所定の時間長さが過ぎると、触覚イベント及び/又は触覚領域が依然として起動されているか、つまり対話が依然として生じているのかを確認する。前記所定の時間長さで、触覚イベントを引き起こしている対話が依然として生じているのであれば、プロセッサ104はアクチュエータ間で、ステップ504のように、交互に動作する。言い換えると、前記所定の時間長さが終わるとき、前記対話が終わると、プロセッサ104はステップ510のように入力命令信号を終わらせる。前記対話が前記時間長さの終了前に止まると、プロセッサ104が、出力された触覚効果を止めるために前記入力命令信号の前記アクチュエータへ早まって終わらせることをプロセッサ104が告知されることが予想できる。
【0053】
図8を参照すると、
図8は電子デバイスにおけるアクチュエータの触覚帯域を増加するための触覚効果を出力する方法に基づいた他のフローチャートを例示する。
図7及び8の方法は完全に或いは部分的に合成されることができ、さらに方法は相互に排他的ではないことに留意すべきである。
図7に示されるように、前記プロセッサは、二つ以上の明瞭な触覚効果が、ステップ602に示されるように、触覚効果が要求されるアクションが結果として出力されるか否かを判断する。二つの明瞭な触覚要求よりも少ない触覚要求が判断されると、プロセッサ104は単一のアクチュエータのみに触覚効果を出力することを
図8のステップ604に示すように指示する。再び、この判断は、特定のアクションのために割り当てられた触覚効果はもちろんのこと、センサ情報及び/又はソフトウェアの指示に基づいている。例えば、衝突のために指定された触覚効果が単一の振動であるところの表示が生じると、プロセッサ104は振動を起こすために一つのアクチュエータのみに振動を出力するために指示を出す。プロセッサが一つのアクチュエータを同時に、順番に、選択したときに、ステップ604は任意であることに留意すべきである。
【0054】
しかし、二つ以上の明瞭な触覚効果が前記触覚イベント/触覚領域に基づいて生成されるのが判断されると、触覚効果が明瞭ではなくさらにユーザに個別に識別されないように、前記複数のアクチュエータがある周波数及び大きさで動作されるか否かが判断される。
図8のステップ606に示されるように単一のアクチュエータのみが用いられると、二つ(あるいは以上)の触覚効果は、異なるタイプのアクチュエータが用いられるであるように(例えば、ERM及びピエゾ電気)、異なるタイプのものである。例えば、前記入力命令信号の周波数及び大きさに基づいて、最大の大きさに再度加速することが要求される前に、ERMアクチュエータがわずかな大きさ、或いはメモリ114に格納されたアクチュエータ特性のストップ時刻の充分なパーセンテージに減速できないと、結果的に得られる触覚効果は、前述されたように弱々しく不明瞭に感じる。つまり、そのような場合、プロセッサ104は、ステップ608に示されるように、複数のアクチュエータに入力命令信号を送信し、
図7に示される具現化例のように、クリア、明瞭、及び識別可能な触覚効果をアクチュエータから出力するように、それによって前記入力命令信号は交互の仕様にてアクチュエータを選択的に起動する。対照的に、アクチュエータ及び触覚効果の特徴を記述するパラメータに基づいて単一のアクチュエータにより複数の効果が出力されることが判断されると、プロセッサ104は前記触覚効果に基づいて入力命令信号を発生し、前記入力命令信号を前記触覚効果を出力するために一つのアクチュエータのみに供給する。いくつかの具現化例にあって、プロセッサ104はこれらの判断を実時間にて行う。しかし、いくつかの具現化例にあって、割り当てられた各触覚効果は、メモリ106に格納された周波数、大きさ、スタート及びストップ時刻データ、アクチュエータのパラメータ及び単一或いは複数のアクチュエータが出力されるのかという命令とともに、メモリ106に格納されており、プロセッサ104はその命令を容易に処理し、さらにどのアクチュエータを起動するかを命令することができる。再度、この判断は、特定のアクション用に割り当てられた触覚効果と同様に、メモリ106に格納されたセンサ情報、アクチュエータパラメータ、及び/又はソフトウェアの命令に基づいている。例えば、衝突用の指定された触覚効果が単一の振動であるとき、ディスプレイ上で生じるように、プロセッサ104は前記単一の振動を出力するために一つのアクチュエータに命じる。
【0055】
他の具現化例にあって、プロセッサ104は、複数の触覚効果が出力される触覚効果のタイプに基づいて複数のアクチュエータによって出力される。例えば、ステップ600にて、プロセッサ104は、振動の触覚効果が仮想キーボード上のキーの端部に接触するユーザに基づいて出力され、手触りの触覚効果がキーボードの感覚をシミュレートするために出力されるべきことを判断する。そのような具現化例にあって、ステップ602にて、プロセッサ104は、複数の触覚効果が出力されるのを判断し、さらに方法はステップ606に進む。
【0056】
ステップ606にあって、プロセッサはどの効果が出力されるのかを判断し、判断によってどのアクチュエータが触覚効果を出力できるのかを判断する。例えば、一具現化例にあって、手触り効果は、約20KHzよりも大きな周波数で振動を出力すること、及び振動の大きさを調整すること、最大の大きさのパーセンテージとして振動の大きさを設定すること、或いは、サイン波或いは他の周期的或いは非周期的な波形のような、第2の信号に係る大きさを変更することによって出力される。例えば、一具現化例にあって、振動の大きさは触覚領域の0%外側に設定され、さらに触覚領域内の接触のため50%或いは100%に設定される。一具現化例にあって、第2の或いは変調された周波数は、20KHzの振動の大きさが0から100%にて10Hzのレートで変化するように、10Hzの周波数を有する。いくつかの具現化例にあって、100Hz、500Hz、或いは1000Hzのような、それよりも高い変調周波数が用いられてもよい。プロセッサ104は、各アクチュエータに関連するメモリ106に格納されたパラメータを分析する。前記パラメータに基づいて、プロセッサ104はERMアクチュエータがそのような触覚効果を生成することができないと判断する。それゆえ、プロセッサ104は、ピエゾ電気アクチュエータが前記手触りの効果を出力するために選択されるべきであると判断する。
【0057】
同様に、仮想キーボード上のキーの端部を示す振動は、例えば200Hzのような約100−300Hzの間の、ハイマグニチュードの振動周波数を有する。そのような場合にあって、プロセッサ104は触覚効果を出力するためにERMアクチュエータを選択する。プロセッサ104は、さらに複数の振動効果が出力され、複数のERMアクチュエータが用いられることを、前述した技術を用いることによって、判断する。各触覚効果に関連するのはどのアクチュエータかを判断したのち、ステップ608に進む。
【0058】
ステップ608にあって、手触り効果を生成するために、プロセッサは約20kHzより大きい周波数で振動を引き起こすように構成される第1のアクチュエータ信号を発生する。プロセッサは200Hzで振動を引き起こすように構成される第2のアクチュエータ信号も発生する。プロセッサは、その後、第1のアクチュエータ信号をピエゾ電気アクチュエータに、第2のアクチュエータチュエータ信号をERMアクチュエータに送信する。一具現化例にあって、プロセッサ104は、第2のアクチュエータ信号を複数のERMアクチュエータに前述したように交互に送信する。
【0059】
本明細書の方法及びシステムは、様々な機械上で実行されるソフトウェアということで記載されたが、前記方法及びシステムは、様々な方法を特に実行するためフィールドプログラマブルゲートアレイ(FPGA)のような、特別に構成されたハードウェアにて実行されてもよい。例えば、
図1及び2を参照すると、具現化例は、ディジタル電子回路にて、或いはコンピュータのハードウェア、ファームウェア、ソフトウェア、或いはそれらの組み合わせにて実行されてもよい。一具現化例にあって、コンピュータは一つのプロセッサ或いは複数のプロセッサを備えてもよい。プロセッサは、プロセッサに結合されるランダムアクセスメモリ(RAM)のようなコンピュータ読取可能媒体を備える。プロセッサは、画像を編集するために一つ以上のコンピュータプログラムを実行するように、メモリに格納されたコンピュータ実行可能なプログラム命令を実行する。そのようなプロセッサは、マイクロプロセッサ、デジタル信号処理(DSP)、専用集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGAs)、及びステートマシンを含む。そのようなプロセッサは、PLCs、プログラマブルインタラプトコントローラ(PICs)、プログラマブルロジックデバイス(PLDs)、プログラマブルリードオンリィメモリ(PROMs)、電気的プログラマブルリードオンリィメモリ(EPROMs或いはEEPROMs)などのようなプログラマブル電気デバイスをさらに含む。
【0060】
そのようなプロセッサは、例えば、プロセッサによって実行されるときに、本明細書に記載されたステップを、プロセッサによって実行され、アシストされる、命令を格納するコンピュータ読取可能な媒体を備える。コンピュータ読取可能な媒体の具体例は、制限されるものではないが、電気的、光学的、磁気的、或いはコンピュータ読取可能な命令を、ウェブサーバにおけるプロセッサのようなプロセッサに提供することのできる他のストレージ媒体を含む。媒体の他の具体例は、制限されるものではないが、フロッピー(登録商標)ディスク、CD−ROM、磁気ディスク、メモリチップ、ROM、RAM、ASIC、コンピュータに適するように構成されたプロセッサ、全ての光学媒体、全ての磁気テープ或いは他の磁気媒体、コンピュータプロセッサが読み出すことのできる他のいかなる媒体であってもよい。説明されてきたプロセッサ及び処理は、一つ以上の構成であり、一つ以上の構成を通して分散されてもよい。プロセッサは、本明細書にあって説明される一つ以上の方法(或いは方法の一部)を実行するためのコードを含んでもよい。
【0061】
本発明のいくつかの具現化例の前述の説明は、例示及び説明の目的のみで行われてきたものであり、網羅的なことを意図しても、あるいは説明された明確な仕様に発明を制限することを意図したものでもない。多くの変更と適用が、本発明の思想及び範囲からはずれることなく、当業者によって適切に理解されるであろう。
【0062】
「一具現化例」或いは「一つの具現化例」として本明細書での参照は、前記具現化例に関連して説明された、特別な特徴、構造、動作、或いは他の特徴が本発明の少なくとも一つの実装に含まれることを意味している。本発明は、そのように記述された特定の具現化例を制限するものではない。本明細書の様々な箇所における、「一つの具現化例にあって」或いは「一具現化例にあって」というフレーズの記載は、同一の具現化例を必ずしも参照するものではない。本明細書にあって「一つの具現化例」として説明される、いかなる特別な特徴、構造、動作、或いは他の特徴は、いくつかの他の具現化例に関して記述されている他の特徴、構造、動作或いは他の特性に組み合わされる。