特許 6541292 プリミティブを用いた高解像度ハプティック効果生成

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6541292

(24)【登録日】2019年6月21日

(45)【発行日】2019年7月10日

(54)【発明の名称】プリミティブを用いた高解像度ハプティック効果生成

(51)【国際特許分類】

   G06F 3/01 20060101AFI20190628BHJP

   G06F 3/041 20060101ALI20190628BHJP

   G06F 3/048 20130101ALI20190628BHJP

【ＦＩ】

   G06F3/01

   G06F3/041 480

   G06F3/048

【請求項の数】10

【外国語出願】

【全頁数】13

(21)【出願番号】特願2013-26835(P2013-26835)

(22)【出願日】2013年2月14日

(65)【公開番号】特開2013-168153(P2013-168153A)

(43)【公開日】2013年8月29日

【審査請求日】2015年12月8日

【審判番号】不服2017-14612(P2017-14612/J1)

【審判請求日】2017年10月3日

(31)【優先権主張番号】61/599,173

(32)【優先日】2012年2月15日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】500390995

【氏名又は名称】イマージョン コーポレーション

【氏名又は名称原語表記】ＩＭＭＥＲＳＩＯＮ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100116872

【弁理士】

【氏名又は名称】藤田 和子

(72)【発明者】

【氏名】クルス−エルナンデス ユアン マヌエル

(72)【発明者】

【氏名】ウー リーウェン

(72)【発明者】

【氏名】ウルリッヒ クリストファー ジェイ．

【合議体】

【審判長】 ▲吉▼田 耕一

【審判官】 清水 稔

【審判官】 稲葉 和生

(56)【参考文献】

【文献】 特開２００６−７９２３８（ＪＰ，Ａ）

【文献】 特開２０１１−１５９１１０（ＪＰ，Ａ）

【文献】 特表２０１０−５３３０３２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

G06F 3/01, G06F 3/041, G06F 3/048

(57)【特許請求の範囲】

【請求項1】

持続時間入力パラメータを含む複数の入力パラメータを含むハプティック効果プリミティブを受信するステップと、
センサから時間と共に変動する入力を受信するステップと、
前記持続時間入力パラメータを用いて、前記ハプティック効果プリミティブからハプティック効果信号を生成するステップであって、
前記ハプティック効果信号が、複数の出力パラメータを含み、
前記複数の出力パラメータは、持続時間出力パラメータと周波数出力パラメータとを含み、
前記持続時間出力パラメータおよび前記周波数出力パラメータは、前記持続時間入力パラメータの変化に基づいて変更され、
前記持続時間入力パラメータの前記変化は、前記時間と共に変動する前記入力の関数である、ステップと、
前記ハプティック効果信号をアクチュエータに適用して、ハプティック効果を生成するステップと、
を含む、ハプティック効果を生成する方法。

【請求項2】

前記周波数が周波数変調を用いて変動される、請求項１に記載の方法。

【請求項3】

前記周波数が位相変調を用いて変動される、請求項１に記載の方法。

【請求項4】

前記周波数が倍率を用いて変動される、請求項１に記載の方法。

【請求項5】

変動した前記出力パラメータが前記ハプティック効果信号の振幅及び周波数であり、前記振幅及び周波数が物理的に誘発される確率事象モデリングアルゴリズムを用いて変動される、請求項１に記載の方法。

【請求項6】

前記入力が加速度であり、前記センサが加速度計である、請求項１に記載の方法。

【請求項7】

前記アクチュエータが共鳴アクチュエータを含む、請求項１に記載の方法。

【請求項8】

前記共鳴アクチュエータが圧電アクチュエータ、電気活性高分子アクチュエータ、または静電アクチュエータのうちの１つを含む、請求項７に記載の方法。

【請求項9】

プロセッサにより実行された場合、前記プロセッサに請求項１〜８に記載の方法によりハプティック効果を生成させる、保存された命令を有するコンピュータ可読媒体。

【請求項10】

プロセッサと、
前記プロセッサに接続され、命令を保存している記憶装置と、
前記プロセッサに接続されたアクチュエータと、
前記プロセッサに接続されたセンサと、
を備え、少なくとも持続時間を含む複数の入力パラメータを含むハプティック効果プリミティブ、および前記センサからの入力の受信に応答して前記プロセッサが請求項１〜８に記載の方法を実施する、触覚的に使用可能なシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は２０１２年２月１５日に出願された米国仮特許出願第６１／５９９，１７３号の優先権を主張し、その内容は本明細書に参照として組み込まれる。

【0002】

一実施形態は、ハプティック効果、特にプリミティブを用いた高解像度ハプティック効果の生成に関する。

【背景技術】

【0003】

電子デバイスの製造者はユーザにとって豊かなインターフェースを製造することに注力している。従来のデバイスは、ユーザにフィードバックを提供するために、視覚的及び聴覚的合図を用いている。一部のインターフェースデバイスにおいて、より一般的には総括して「ハプティック（触覚）フィードバック」又は「ハプティック（触覚的）効果」として知られる、運動感覚フィードバック（作用力及び抵抗力フィードバック等）及び／又はタクタイル（触知的）フィードバック（振動、触感、及び熱等）もまた、ユーザに提供される。ハプティックフィードバックは、ユーザインターフェースを強化及び単純化するきっかけを提供し得る。具体的に、振動効果、すなわち振動ハプティック効果は、ユーザに特定のイベントを通知するために、電子デバイスのユーザへの合図を提供するのに有用であり得るか、又はシミュレート環境もしくは仮想環境内でより大きく感覚を集中させるために、現実的なフィードバックを提供し得る。

【0004】

振動効果を生成するために、多くのデバイスは一部のタイプのアクチュエータまたはハプティック出力デバイスを利用する。この目的のために用いられる公知のアクチュエータとしては、偏心質量がモータによって動かされる偏心回転質量（「ＥＲＭ」）などの電磁アクチュエータ、ばねに取り付けられた質量が前後に駆動されるリニア共振アクチュエータ（「ＬＲＡ」）、または圧電（ピエゾ）ポリマー、電気活性ポリマーもしくは形状記憶合金のような「スマート材料」が挙げられる。ハプティック出力デバイスはまた、非機械的または非振動デバイス、例えば、静電摩擦（ＥＳＦ）、超音波表面摩擦（ＵＳＦ：ｕｌｔｒａｓｏｎｉｃ ｓｕｒｆａｃｅ ｆｒｉｃｔｉｏｎ）などのデバイス、あるいは、超音波ハプティックトランスデューサを用いた音響放射圧を誘導するデバイス、または、ハプティック基板および可撓性もしくは変形可能な表面を利用するデバイス、あるいは、空気ジェットなどを利用した空気の吹きかけなどの発射型のハプティック出力を提供するデバイスが挙げられる。

【発明の概要】

【課題を解決するための手段】

【0005】

一実施形態は、複数の入力パラメータを含むハプティック効果プリミティブを受信し、センサから入力を受信する触覚的に使用可能な（ｈａｐｔｉｃａｌｌｙ−ｅｎａｂｌｅｄ）システムである。そのシステムは、ハプティック効果プリミティブからハプティック効果信号を生成し、そのハプティック効果信号は複数の出力パラメータを含み、その出力パラメータの少なくとも１つはセンサ入力に基づいて変動する。次いでそのシステムはハプティック効果信号をアクチュエータに適用する。

【図面の簡単な説明】

【0006】

【図1】図１は、本発明の一実施形態に係る触覚的に使用可能なシステムのブロック図である。

【図2】図２は、一実施形態に係るシミュレートされた楽器の選択可能なグラフィックイメージを含むシステムの斜視図である。

【図3】図３は、一実施形態に係る線形マッピングを示す周波数対加速度のグラフである。

【図4】図４は、一実施形態に係るＨＤハプティック効果プリミティブからＨＤハプティック効果信号を生成した場合の図１の高解像度（「ＨＤ」）ハプティック効果生成モジュールの機能のフロー図である。

【図5】図５は、物理的に誘発される確率事象モデリングアルゴリズム（Ｐｈｙｓｉｃａｌｌｙ Ｉｎｓｐｉｒｅｄ Ｓｔｏｃｈａｓｔｉｃ Ｅｖｅｎｔ Ｍｏｄｅｌｉｎｇ ａｌｇｏｒｉｔｈｍ）を示すブロック図である。

【図6】図６は、一実施形態に係るＨＤハプティック効果プリミティブからＨＤハプティック効果信号を生成した場合の図１のＨＤハプティック効果生成モジュールの機能のフロー図である。

【発明を実施するための形態】

【0007】

一実施形態は、高解像度（「ＨＤ」）アクチュエータと共に使用するための振動型ハプティック効果を生成するハプティック効果生成システムである。ハプティック効果は、ハプティック「プリミティブ」の形態で表され、時間、継続時間および振幅などのパラメータがハプティック効果を定義するために使用され、次いでそのパラメータがエンジンにより解釈され、出力パラメータを含み、ＨＤアクチュエータに適用されるモータ電圧信号に変換される。

【0008】

ＥＲＭおよびＬＲＡ型のアクチュエータは、それらが、ハプティック効果を生成する場合、限定された周波数範囲を有する「低解像度」アクチュエータとみなされ得る。対照的に、圧電、電気活性高分子または静電ベースのアクチュエータなどのＨＤアクチュエータは、より速いランプアップ時間および大きなダイナミックレンジと共により高い周波数成分を出力できる。したがって、ＨＤアクチュエータにより生成されるハプティック効果は、低解像度アクチュエータにより生成されるものより鮮やか（リッチ、ｒｉｃｈｅｒ）であり、より本物にそっくり（ｌｉｆｅｌｉｋｅ）であり得る。低解像度アクチュエータのために開発されたハプティック効果パラメータ／プリミティブは一般に、ＨＤアクチュエータを用いて使用できるが、それらは一般にこれらの高解像度特性の利点を有さない。さらに、ＨＤプリミティブは、振幅などの単一のパラメータを有し得るだけである低解像度プリミティブより多くのパラメータを含み得る。

【0009】

図１は本発明の一実施形態に係る触覚的に使用可能なシステム１０のブロック図である。システム１０は、タッチセンサ面１１またはハウジング１５内に取り付けられる他の種類のユーザインターフェースを備え、メカニカルキー／ボタン１３を備えてもよい。システム１０の内部は、システム１０において振動を生成するハプティックフィードバックシステムである。一実施形態において、振動はタッチ面１１で生成される。

【0010】

ハプティックフィードバックシステムはプロセッサまたはコントローラ１２を備える。プロセッサ１２にメモリ２０およびアクチュエータ駆動回路１６が接続され、該アクチュエータ駆動回路１６はＨＤアクチュエータ１８（例えば圧電、電気活性高分子など）に接続される。一部の実施形態において、ＨＤアクチュエータ１８は、マクロファイバー複合体（Ｍａｃｒｏ Ｆｉｂｅｒ Ｃｏｍｐｏｓｉｔｅ）（「ＭＦＣ」）アクチュエータなどの変形可能なアクチュエータであってもよい。プロセッサ１２は、任意の種類の汎用プロセッサであってもよいか、または特定用途向け集積回路（「ＡＳＩＣ」）などのハプティック効果を提供するように特別に設計されたプロセッサであってもよい。プロセッサ１２は、全システム１０を作動する同じプロセッサであってもよいか、または別個のプロセッサであってもよい。プロセッサ１２は、どのようなハプティック効果が行われるか、およびその効果が高レベルパラメータに基づいて行われる順序を決定できる。一般に、特定のハプティック効果を定義する高レベルパラメータには、振幅、周波数および持続時間が含まれる。ストリーミングモータコマンドなどの低レベルパラメータも、特定のハプティック効果を決定するために使用されてもよい。ハプティック効果は、該ハプティック効果が生成されるときのこれらのパラメータのいくらかの変動、またはユーザの相互作用に基づくこれらのパラメータの変動を含む場合、「ダイナミック（動的）である」と見なすことができる。

【0011】

プロセッサ１２は、アクチュエータ駆動回路１６に制御信号を出力し、該アクチュエータ駆動回路１６は、所望のハプティック効果をもたらすために、必要とされる電流及び電圧（すなわち「モータ信号」）をＨＤアクチュエータ１８に供給するために用いられる電子要素及び回路を含む。システム１０は１つより多いＨＤアクチュエータ１８（または追加の種類のアクチュエータ）を備えてもよく、各ＨＤアクチュエータは、全て共通のプロセッサ１２に接続される別個の駆動回路１６を備えてもよい。メモリ装置２０は、ランダムアクセスメモリ（「ＲＡＭ」）またはリードオンリーメモリ（「ＲＯＭ」）などの任意の種類の記憶装置またはコンピュータ可読媒体であってもよい。メモリ２０は、作動システム命令などのプロセッサ１２によって実行される命令を格納する。命令の中で、メモリ２０は、プロセッサ１２によって実行される場合、以下により詳細に開示するように、ＨＤハプティック効果プリミティブからＨＤハプティック効果信号（すなわち駆動回路１６を介してＨＤアクチュエータ１８に適用されるモータ信号）を生成する命令であるＨＤハプティック効果生成モジュール２２を含む。メモリ２０はまた、プロセッサ１２の内部に位置してもよいし、または内部メモリおよび外部メモリの任意の組み合わせであってもよい。

【0012】

タッチ面１１は、タッチを認識し、その面上のタッチの位置および大きさ（振幅）も認識できる。タッチに対応するデータは、プロセッサ１２またはシステム１０内の別のプロセッサへ送信され、プロセッサ１２は、そのタッチを解釈し、それに応答してハプティック効果信号を生成する。タッチ面１１は、容量感知、抵抗感知、表面音波感知、圧力感知、光学感知などを含む、任意の感知技術を用いてタッチを感知できる。タッチ面１１は、マルチタッチ接触を感知でき、同時に生じる複数のタッチを区別することが可能であり得る。タッチ面１１は、ユーザがキー、ダイヤルなどと相互作用するために画像を生成し、表示するタッチスクリーンであってもよく、または画像を最小限だけ有するかもしくは全く有しないタッチパッドであってもよい。

【0013】

システム１０は、携帯電話、携帯情報端末（「ＰＤＡ」）、スマートフォン、コンピュータタブレット、ゲーム機などの携帯用デバイスであってもよく、またはユーザインターフェースを提供し、１つ以上のアクチュエータを含むハプティック効果システムを備える任意の他の種類のデバイスであってもよい。ユーザインターフェースは、タッチセンサ面であってもよく、またはマウス、タッチパッド、ミニジョイスティック、スクロールホイール、トラックボール、ゲームパッドもしくはゲーム機などの任意の他の種類のユーザインターフェースであってもよい。システム１０はまた、１つ以上のセンサを備えてもよい。一実施形態において、センサの１つはシステム１０の加速度を測定する加速度計（図示せず）である。

【0014】

ダイナミック（動的）ハプティック効果とは、１つ以上の入力パラメータに応答して時間と共に変化するハプティック効果を指す。ダイナミックハプティック効果は、所与の入力信号の状態の変化を表すためにシステム１０などのハプティックデバイスに表示されるハプティックまたは振動触覚効果である。入力信号は、位置、加速度、圧力、方向、または近接などのハプティックフィードバックと共にデバイス上のセンサによりキャプチャされる信号、あるいは他のデバイスによりキャプチャされ、ハプティック効果の生成に影響を与えるハプティックデバイスに送信される信号であってもよい。

【0015】

ダイナミック効果信号は、任意の種類の信号であってもよいが、必ずしも複雑でなくてもよい。例えば、ダイナミック効果信号は、時間と共に変化するか、または入力パラメータを効果信号の変化特性上にマッピングするマッピングスキーマに従ってリアルタイムで応答する位相、周波数、または振幅などの一部の特性を有する簡単な正弦波であってもよい。入力パラメータはデバイスにより提供できる任意の種類の入力であってもよく、典型的に、デバイスセンサ信号などの任意の種類の信号であってもよい。デバイスセンサ信号は任意の手段により生成されてもよく、典型的にデバイスを用いてユーザジェスチャをキャプチャすることにより生成されてもよい。ダイナミック効果はジェスチャインターフェースに非常に有用であり得るが、ジェスチャまたはセンサの使用は、ダイナミック信号を生成するのに必ずしも必要ではない。

【0016】

一実施形態は、楽器の現実的な機械的シミュレーションを生成するためにＨＤハプティック効果を使用する。図２は、一実施形態に従ってシミュレートされる楽器の選択可能なグラフィックイメージを含むシステム１０の斜視図である。表示した楽器は、マラカス２０２、エッグシェイカー２０４、シェケレ２０６、カバサ２０８、カウベル２１０、およびウォッシュボード２１２を含む。ユーザは１つの楽器を選択でき、実際の楽器と相互作用しているようにシステム１０と相互作用できる。例えば、マラカス２０２が選択される場合、システム１０は振られてもよく、適切なハプティック効果信号をＨＤアクチュエータ１８に提供することによって実際にマラカスを振っている感覚を提供するＨＤハプティック効果が生成される。したがって、ユーザがシステム１０などのモバイル機器を振っている間、電話内でマラカス「ビーズ」がぶつかっている感覚を再現するかまたは提供するＨＤハプティック効果の生成に起因して、ユーザは実際のマラカスを振っているかのようなハプティック効果を感じる。同様に、カウベル２１０が、音およびその対応するハプティック効果のためにタップされてもよく、またはカウベルが動作しているかのようにデバイス全体が動作してもよい。それに応じて、ベルの重量の感覚を含む、ベルノッカー（ベルを鳴らす人（ｂｅｌｌ ｋｎｏｃｋｅｒ））がカウベルを両側に動かしているかのように実際のカウベルが動作しているかのようにユーザが感じるＨＤハプティック効果が生成される。

【0017】

周波数に基づいたＨＤハプティック効果生成
周波数変動
一実施形態は、周波数変動および周波数変調（「ＦＭ」）を用いてＨＤハプティックプリミティブからハプティック効果信号を生成する。一実施形態において、生成されたＨＤハプティック効果信号の周波数はシステム１０の加速度計により生成された加速度信号などの対応する入力センサ信号に基づいて変動する。対照的に、一部の従来技術の低解像度ハプティック効果システムは、時間と共に振幅の変動のみを可能にするが、周波数は一定を維持している。

【0018】

一実施形態において、オーディオ信号を生成する用途のために知られている以下の式も、ＨＤプリミティブからＨＤハプティック効果信号を生成するために使用されてもよい。

【数1】

式中、４つの入力ＨＤハプティック効果パラメータ、振幅「ａ_ｃ」および「ａ_ｍ」（それぞれ搬送および変調振幅）ならびに周波数「ｆ_ｃ」および「ｆ_ｍ」（それぞれ搬送および変調周波数）が図１のモジュール２２に入力され、それに応じてＨＤハプティック効果モータ信号「ａ_ｆｍ」が生成され、ＨＤアクチュエータ１８に適用される。しかしながら、式１は理想的には数百キロヘルツ範囲を超える周波数値を有するオーディオ信号のために使用される。一般にサブキロヘルツ信号を有するハプティック効果に使用される場合、生成されたＨＤハプティック効果は、典型的に所望されるほど実際的（リアル）ではない。

【0019】

したがって、実施形態は、ＨＤハプティック効果に関する式１を変化させる。一実施形態において、入力周波数パラメータは、タッチスクリーン１１上の指の位置、オンボード加速度計により測定される場合、システム１０の加速度、表面圧力などの外部信号「Ｓ_ｖａｌ」に応じて変動する。この実施形態において、周波数により変動した出力信号「ａ_ｆｖ」は

【数2】

であり、式中、

【数3】

であり、Ｓ_ｖａｌは信号の周波数搬送を変更する様々な値にマッピングされる任意の所与の時間におけるセンサ値である。

【0020】

式２に示すように、信号の周波数成分は、ｆ_ｃ−ｆ_ｍｉｎとｆ_ｃ＋ｆ_ｍａｘとの間で変動するｆ_ｖａｒの値を算出することにより導き出され得る。例えば、周波数が加速度に応じて変動することを必要し、加速度値が−１０ｍ／ｓｅｃ^２から１０ｍ／ｓｅｃ^２の間、ならびに

【数4】

の値である場合、関数が、加速度値Ａ_ｃｃを周波数値ｆ_ｖａｒにマッピングするために使用されてもよく、その関数は任意の種類であってもよい。図３は一実施形態に係る線形マッピングを示す周波数対加速度のグラフである。他のマッピングがさらなる実施形態において使用されてもよい。

【0021】

別の実施形態において、式２におけるｆ_ｖａｒは、様々な値と対照的に倍率を用いて表され、したがってｆ_ｖａｒは以下のように表される。

【数5】

ここで、周波数は０からＳ_ｍａｘの間で正規化されたスカラーＳ_ｖａｌに応じて変動する。例えば加速度が０から２．１の間の値までスケールし、ｆ_ｃ＝１００Ｈｚの場合、スケールした加速度が０である場合、ｆ_ｖａｒ＝１００Ｈｚであり、スケールした加速度が２．１である場合、ｆ_ｖａｒ＝２１０Ｈｚである。一実施形態において、スケールした加速度は直線的に０から２．１の間の値まで−１０から１０の間でマッピングされるように想定されるが、他の実施形態において、スケーリングは線形二次形式指数または他の種類のマッピングを用いて行われてもよい。

【0022】

別の実施形態において、式２の振幅ａ_ｃパラメータは一部の外部信号に応じて変動してもよく、それらの変動は、ｆ_ｖａｒについて記載したものと同様の方式で行われてもよい。
位相変調
一実施形態は、ＦＭ信号の間接生成とみなされ得る位相変調を用いてＨＤハプティック信号を生成する。この実施形態において、上記の式１は以下の式に変更される：

【数6】

式中、第二項は信号の位相であり、正弦値にのみ依存し、式１における正弦値と時間の積に依存しない。式４を用いて生成したハプティック効果は時間のみに応じて変動する。しかしながら、上記に開示したように、センサ値などの一部の他の外部変数、またはセンサによりキャプチャされた人のジェスチャに応じて変動を有する必要がある。したがって、一実施形態において、式４のパラメータは上記の式２パラメータと同様の方式で変更される。変更された実施形態は以下を含む：
・センサに応じてｆ_ｃを変更する：

【数7】

・センサに応じてａ_ｍを変更する：

【数8】

・センサに応じてｆ_ｍを変更する：

【数9】

・センサに応じてａ_ｃを変更する：

【数10】

【0023】

周波数変調
一実施形態は、以下の式の位相を掛ける１倍の因数（ｏｎｅ−ｔｉｍｅ ｆａｃｔｏｒ）により式４の位相変調を変更することによりＦＭを使用する。

【数11】

一般に式５は時間領域（ｔ）のみで変動する。しかしながら、項ａ_ｃ、ｆ_ｃ、ａ_ｍおよびｆ_ｍは、位相変調の実施形態と併せて上記に開示したセンサにより生成された一部の外部信号（例えば加速度、磁場、圧力）に応じて変動し得る。

【0024】

図４は、一実施形態に従ってＨＤハプティック効果プリミティブからＨＤハプティック効果信号を生成した場合の図１のＨＤハプティック効果生成モジュール２２の機能のフロー図である。一実施形態において、図４のフロー図および以下の図６の機能は、メモリに格納されているソフトウェアまたは他のコンピュータ可読もしくは有形的表現媒体により実装され、プロセッサにより実行される。他の実施形態において、機能は、ハードウェア（例えば特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブルゲートアレイ（「ＰＧＡ」）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）などの使用を介する）またはハードウェアとソフトウェアとの任意の組み合わせにより実施されてもよい。

【0025】

４０２において、ＨＤハプティック効果プリミティブが受信される。ＨＤ効果プリミティブは高レベル入力パラメータの形態で表される。

【0026】

４０４において、加速度計などのセンサからまたは任意の種類の外部信号からの入力が受信される。

【0027】

４０６において、ＨＤハプティック効果信号は、４０２にて受信されたＨＤハプティック効果プリミティブから生成される。信号の生成は、４０４におけるセンサ入力に基づいて信号の周波数を変動させることを含む。周波数は、周波数変動、周波数変調、スケーリング、及び位相変調を含む、上記のように変動できる。

【0028】

４０８において、生成したＨＤハプティック効果信号は、システム１０において振動ハプティック効果を生成するＨＤアクチュエータ１８に適用される。生成した出力ハプティック効果信号は周波数などの複数の出力パラメータを含む。

【0029】

ＰｈＩＳＥＭに基づいたＨＤハプティック効果生成
一実施形態は、確率過程を用いてシステム１０の加速度計により生成された加速信号などの対応する入力センサ信号に基づいてＨＤハプティック効果信号の内容を変更することによってＨＤハプティックプリミティブからＨＤハプティック効果信号を生成する。変更は信号の振幅であるが、周波数または他のパラメータも変更されてもよい。この実施形態により使用した確率過程は、物理的に誘発される確率事象モデリング（Ｐｈｙｓｉｃａｌｌｙ Ｉｎｓｐｉｒｅｄ Ｓｔｏｃｈａｓｔｉｃ Ｅｖｅｎｔ Ｍｏｄｅｌｉｎｇ）（「ＰｈＩＳＥＭ」）である。ＰｈＩＳＥＭは、Ｐ．Ｃｏｏｋら，「Ｕｓｉｎｇ ＤＳＰ−Ｂａｓｅｄ Ｐａｒａｍｅｔｒｉｃ Ｐｈｙｓｉｃａｌ Ｓｙｎｔｈｅｓｉｓ Ｍｏｄｅｌｓ ｔｏ Ｓｔｕｄｙ Ｈｕｍａｎ Ｓｏｕｎｄ Ｐｅｒｃｅｐｔｉｏｎ」（２００３）（「Ｃｏｏｋ」）に開示されている公知のアルゴリズムであり、ランダム粒子システムに基づいて自然な音を生成するいくつかの打楽器の音を合成するためにデジタル信号処理に使用されている。

【0030】

図５は、Ｃｏｏｋに開示されているＰｈＩＳＥＭアルゴリズムを示すブロック図である。ＰｈＩＳＥＭアルゴリズムは、エネルギーおよび減衰を有する各粒子と互いに衝突する異なる粒子のダイナミックシステムシミュレーションから導かれた。ＰｈＩＳＥＭアルゴリズムは、ダイナミックモデルのシミュレーションに使用されるパラメータに直接関連したモデルにおいてパラメータを有する統計的モデルに対するダイナミックモデルの作用をキャプチャする。

【0031】

本発明の実施形態は、ＨＤハプティック効果プリミティブからのＨＤハプティック効果信号の生成と共に使用するためにＰｈＩＳＥＭアルゴリズムを変更し、適用する。実施形態は、ハプティック信号および共振フィルタに使用される周波数の範囲を合成する。例えば、音の合成は、少なくともマラカスなどの打楽器の種類の楽器に関して１ＫＨｚを超える値を必要とする。一実施形態において、ハプティック実装に関して、フィルタは約２００Ｈｚ未満の共鳴を有する。他の実施形態において、この数は４０００Ｈｚ以下であってもよい。実施形態に使用されるフィルタの数は１つだけであってもよいが、多くが使用されてもよい。

【0032】

一実施形態において、以下の疑似コードが、ＨＤハプティック効果プリミティブからＨＤハプティック効果信号を生成するためにＨＤハプティック効果生成モジュール２２により実装される：

【数12】

【0033】

上記の実装において、
・「ｇｅｔＥｎｅｒｇｙ（）」は、外部センサまたは他の信号からシステム内のエネルギーの値を読み出す。エネルギーは加速度計、仮想センサ、周期信号などのセンサ信号であってもよい。
・「ＳＹＳＴＥＭ＿ＤＥＣＡＹ」パラメータは、０から１の間の値をとってもよく、図５の「システムエネルギー減衰」パラメータである。
・「ｎｕｍ＿ｂｅａｎｓ」は、打楽器の衝突する要素の数である。このパラメータを変化させることにより、ハプティック効果の合成が変化する。代替の実施形態において、このパラメータは外部信号（センサ、データ抽出／処理、周期信号など）に応じて変化可能である。
・「ｇａｉｎ」は、信号の全振幅をレベルアップする事前計算された値である。
・「ｎｏｉｓｅ＿ｔｉｃｋ（）」は、振動のランダム性を生成する関数である。
・「ＶＩＢＥ＿ＤＥＣＡＹ」パラメータは、０から１の間の値をとってもよく、図５の「コントロールエンベロープ」パラメータである。
・「ｆｉｌｔｅｒＳｉｇｎａｌ（）」は、「ｆｉｌｔｅｒＣｏｅｆ」により特定されるフィルタ（複数も含む）を用いてランダム信号をフィルタにかける。一実施形態において、１０Ｈｚから４０００Ｈｚの間の共振周波数を有する共振フィルタが使用されてもよく、１つのみのフィルタが使用されてもよい。

【0034】

図６は、一実施形態に従ってＨＤハプティック効果プリミティブからＨＤハプティック効果信号を生成した場合の図１のＨＤハプティック効果生成モジュール２２の機能のフロー図である。

【0035】

６０２において、ＨＤハプティック効果プリミティブが受信される。ＨＤ効果プリミティブは高レベル入力パラメータの形態で表される。

【0036】

６０４において、加速度計などのセンサからまたは任意の種類の外部信号からの入力が受信される。

【0037】

６０６において、ＨＤハプティック効果信号は６０２において受信されたＨＤハプティック効果プリミティブから生成される。信号の生成は、ＰｈＩＳＥＭアルゴリズムに従って６０４におけるセンサ入力に基づいて信号の振幅を変動させることを含む。

【0038】

６０８において、生成したＨＤハプティック効果信号は、システム１０において振動ハプティック効果を生成するＨＤアクチュエータ１８に適用される。生成したＨＤハプティック効果信号は複数の出力パラメータを含む。

【0039】

開示したように、ＨＤハプティック効果は、ＨＤハプティック効果プリミティブを受信し、生成したＨＤハプティック効果出力信号のパラメータを変動させるために外部センサ信号を用いることにより生成される。変動したパラメータは、一実施形態において周波数であってもよく、または別の実施形態においてＰｈＩＳＥＭアルゴリズムを用いる振幅であってもよい。

【0040】

一実施形態において、ＨＤハプティック効果を生成するために周波数に基づいたアルゴリズムまたはＰｈＩＳＥＭアルゴリズムを用いることに加えて、同じ一般的アルゴリズムが、上記のオーディオを生成するように適用／変更される。次いでシステム１０は実質的に正確な同期において音およびＨＤハプティック効果を生成できる。この実施形態において、音およびハプティックを生成するために、指速度または加速度などの外部入力信号が、それぞれのアルゴリズムに送り込まれてもよく、一貫した音およびハプティックが生成される。

【0041】

いくつかの実施形態が本明細書に具体的に例示され、および／または記載されている。しかしながら、本発明の精神および意図する範囲から逸脱せずに開示された実施形態の修飾および変更が上記の教示および添付の特許請求の範囲の範囲内に含まれることは理解されるだろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】