特開 2016-123075 高帯域幅の触覚効果の音声増幅シミュレーション

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2016-123075(P2016-123075A)

(43)【公開日】2016年7月7日

(54)【発明の名称】高帯域幅の触覚効果の音声増幅シミュレーション

(51)【国際特許分類】

   H04R 1/00 20060101AFI20160610BHJP

   H04R 3/00 20060101ALI20160610BHJP

【ＦＩ】

   H04R1/00 310G

   H04R3/00 310

【審査請求】未請求

【請求項の数】29

【出願形態】ＯＬ

【全頁数】11

(21)【出願番号】特願2015-218529(P2015-218529)

(22)【出願日】2015年11月6日

(31)【優先権主張番号】14/582,404

(32)【優先日】2014年12月24日

(33)【優先権主張国】US

(71)【出願人】

【識別番号】500390995

【氏名又は名称】イマージョン コーポレーション

【氏名又は名称原語表記】ＩＭＭＥＲＳＩＯＮ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100116872

【弁理士】

【氏名又は名称】藤田 和子

(72)【発明者】

【氏名】ウルリッチ クリストファー ジェイ．

(72)【発明者】

【氏名】リーン ウィリアム エス．

【テーマコード（参考）】

5D017

5D220

【Ｆターム（参考）】

5D017AA11

5D220AA34

(57)【要約】      （修正有）

【課題】システムは、少なくとも１つのアクチュエータと少なくとも１つのスピーカとを用いて触覚効果の生成を提供する。
【解決手段】システムは、高品位（「ＨＤ」）触覚効果信号と、音声が再生される場合には対応する音声信号とを受信する。システムは、少なくともＨＤ触覚効果信号に基づいて標準品位（「ＳＤ」）触覚効果信号を生成し、かつ少なくともＨＤ触覚効果信号に基づいて音声ベースの触覚効果信号を生成する。システムは、音声信号と音声ベースの触覚効果信号とを混合し、次いで、実質的に同時に、アクチュエータでＳＤ触覚効果信号を再生し、かつ混合信号をスピーカで再生する。
【選択図】図１

【特許請求の範囲】

【請求項1】

少なくとも１つのアクチュエータと少なくとも１つのスピーカとを備える装置で触覚効果を生成する方法であって、
高品位（ＨＤ）触覚効果信号を受信するステップと、
少なくともＨＤ触覚効果信号に基づいて標準品位（ＳＤ）触覚効果信号を生成するステップと、
少なくとも前記ＨＤ触覚効果信号に基づいて音声ベースの触覚効果信号を生成するステップと、
実質的に同時に、前記アクチュエータで前記ＳＤ触覚効果信号を再生し、かつ前記スピーカで前記音声ベースの触覚効果を再生するステップと、
を有する方法。

【請求項2】

音声信号を受信するステップと、
前記音声信号と前記音声ベースの触覚効果信号とを混合するステップと、
をさらに含む方法であって、
前記スピーカで前記音声ベースの触覚効果を再生するステップが、前記スピーカで混合信号を再生するステップを含む、
請求項１に記載の方法。

【請求項3】

前記ＳＤ触覚効果信号は、単一の周波数からなる、請求項１に記載の方法。

【請求項4】

前記音声ベースの触覚効果信号は、複数の周波数を含む、請求項１に記載の方法。

【請求項5】

前記音声ベースの触覚効果信号は、前記装置のプラントモデルを決定すること、及び前記プラントモデルに基づいて前記音声ベースの触覚効果信号を変換することによって生成される、請求項１に記載の方法。

【請求項6】

前記ＳＤ触覚効果信号は、前記ＨＤ触覚効果信号からの抽出によって生成される、請求項１に記載の方法。

【請求項7】

前記アクチュエータは、リニア振動アクチュエータである、請求項１に記載の方法。

【請求項8】

前記ＨＤ触覚効果信号は、オーサリングツールを用いて生成される、請求項５に記載の方法。

【請求項9】

前記装置のプラントモデルを決定するステップは、前記オーサリングツールで標的装置を選択するステップを含み、前記音声ベースの触覚効果信号を生成するステップは、前記オーサリングツールによって実行される、請求項８に記載の方法。

【請求項10】

前記音声ベースの触覚効果信号を生成するステップは、前記装置によって実行される、請求項１に記載の方法。

【請求項11】

前記混合するステップは、前記音声信号と前記音声ベースの触覚効果信号との間で重複する周波数を均一化するステップを含む、請求項２に記載の方法。

【請求項12】

プロセッサで実行されるとき、前記プロセッサに、少なくとも１つのアクチュエータと少なくとも１つのスピーカとを備える装置で触覚効果を生成させる命令を記憶したコンピュータ可読媒体であって、前記触覚効果を生成するステップは、
高品位（ＨＤ）触覚効果信号を受信するステップと、
少なくともＨＤ触覚効果信号に基づいて標準品位（ＳＤ）触覚効果信号を生成するステップと、
少なくとも前記ＨＤ触覚効果信号に基づいて音声ベースの触覚効果信号を生成するステップと、
実質的に同時に、前記アクチュエータで前記ＳＤ触覚効果信号を再生し、かつ前記スピーカで前記音声ベースの触覚効果を再生するステップと、
を含む、コンピュータ可読媒体。

【請求項13】

前記触覚効果を生成するステップは、
音声信号を受信するステップと、
前記音声信号と前記音声ベースの触覚効果信号とを混合するステップと、
をさらに含み、
前記スピーカで前記音声ベースの触覚効果を再生するステップは、前記スピーカで混合信号を再生するステップを含む、
請求項１２に記載のコンピュータ可読媒体。

【請求項14】

前記ＳＤ触覚効果信号は、単一の周波数からなる、請求項１２に記載のコンピュータ可読媒体。

【請求項15】

前記音声ベースの触覚効果信号は、複数の周波数を含む、請求項１２に記載のコンピュータ可読媒体。

【請求項16】

前記音声ベースの触覚効果信号は、前記装置のプラントモデルを決定すること、及び前記プラントモデルに基づいて前記音声ベースの触覚効果信号を変換することによって生成される、請求項１２に記載のコンピュータ可読媒体。

【請求項17】

前記ＳＤ触覚効果信号は、前記ＨＤ触覚効果信号からの抽出によって生成される、請求項１２に記載のコンピュータ可読媒体。

【請求項18】

前記アクチュエータは、リニア振動アクチュエータである、請求項１２に記載のコンピュータ可読媒体。

【請求項19】

前記ＨＤ触覚効果信号は、オーサリングツールを用いて生成される、請求項１６に記載のコンピュータ可読媒体。

【請求項20】

前記装置のプラントモデルを決定するステップは、前記オーサリングツールで標的装置を選択するステップを含み、前記音声ベースの触覚効果信号を生成するステップは、前記オーサリングツールによって実行される、請求項１９に記載のコンピュータ可読媒体。

【請求項21】

前記音声ベースの触覚効果信号を生成するステップは、前記装置によって実行される、請求項１２に記載のコンピュータ可読媒体。

【請求項22】

混合するステップは、音声信号と前記音声ベースの触覚効果信号との間で重複する周波数を均一化するステップを含む、請求項１２に記載のコンピュータ可読媒体。

【請求項23】

少なくとも１つのアクチュエータと、
少なくとも１つのスピーカと、
少なくとも受信された高品位（ＨＤ）触覚効果信号に基づいて標準品位（ＳＤ）触覚効果信号を生成するエクストラクタと、
少なくとも前記ＨＤ触覚効果信号に基づいて音声ベースの触覚効果信号を生成するフィルタと、
実質的に同時に、前記アクチュエータで前記ＳＤ触覚効果信号を再生し、かつ前記スピーカで前記音声ベースの触覚効果を再生するプレーヤと、
を含む、触覚的に使用可能な装置。

【請求項24】

音声信号と前記音声ベースの触覚効果信号とを混合するミキサをさらに含み、
前記スピーカで前記音声ベースの触覚効果を再生することは、前記スピーカで混合信号を再生することを含む、
請求項２３に記載の装置。

【請求項25】

前記ＳＤ触覚効果信号は、単一の周波数からなる、請求項２３に記載の装置。

【請求項26】

前記音声ベースの触覚効果信号は、複数の周波数を含む、請求項２３に記載の装置。

【請求項27】

前記音声ベースの触覚効果信号は、前記装置のプラントモデルを決定すること、及び前記プラントモデルに基づいて前記音声ベースの触覚効果信号を変換することによって生成される、請求項２３に記載の装置。

【請求項28】

前記ミキサは、前記音声信号と前記音声ベースの触覚効果信号との間で重複する周波数を均一化するイコライザをさらに含む、請求項２４に記載の装置。

【請求項29】

前記アクチュエータは、リニア振動アクチュエータまたは偏心回転質量モータである、請求項２３に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

一実施形態は、一般に触覚効果、具体的には高品位／高帯域幅の触覚効果を対象とする。

【背景技術】

【0002】

電子機器の製造者は、ユーザにとって豊かなインターフェースを製造しようと努力している。従来の機器は、視覚的および聴覚的合図を用いてユーザにフィードバックを提供する。一部のインターフェース機器では、運動感覚フィードバック（作用力および抵抗力によるフィードバックなど）および／または触知フィードバック（振動、触感、熱など）もユーザに提供され、より一般的には、総称して「触覚フィードバック」または「触覚効果」と呼ばれる。触覚フィードバックは、ユーザインターフェースを強化および単純化する合図を提供できる。具体的には、振動効果、すなわち振動触覚効果は、電子機器のユーザに合図を提供することで、ユーザに特定のイベントを通知したり、現実的なフィードバックを提供して、シミュレート環境または仮想環境内で感覚をより高めるのに有用である。

【0003】

振動効果を生成するために、多くの装置では、ある種のアクチュエータまたは触覚出力装置を利用する。この目的に使用される既知の触覚出力装置には、モータで偏心質量を移動させる偏心回転質量（Ｅｃｃｅｎｔｒｉｃ Ｒｏｔａｔｉｎｇ Ｍａｓｓ 「ＥＲＭ」）、ばねに取り付けられた質量が前後に駆動されるリニア振動アクチュエータ（Ｌｉｎｅａｒ Ｒｅｓｏｎａｎｔ Ａｃｔｕａｔｏｒ 「ＬＲＡ」）、または、圧電性高分子、電気活性高分子、もしくは形状記憶合金などの「スマート材料」が挙げられる。触覚出力装置としては、大まかに、静電摩擦（ｅｌｅｃｔｒｏｓｔａｔｉｃ ｆｒｉｃｔｉｏｎ 「ＥＳＦ」）、超音波表面摩擦（ｕｌｔｒａｓｏｎｉｃ ｓｕｒｆａｃｅ ｆｒｉｃｔｉｏｎ 「ＵＳＦ」）を使用するもの、または超音波触覚変換器を用いて音響放射圧を誘導するもの、または触覚基板と柔軟性表面もしくは可変表面とを使用するもの、またはエアジェットを用いたエア吐き出しなどの射出触覚出力を提供するものなど、非機械的または非振動型の装置が挙げられる。

【0004】

スマートフォンやタブレットといった最近の高解像度モバイル機器の開発に伴い、現在ユーザは、これまでは映画館、テレビ、またはホームシアターシステムでしか見られなかった高品位の音声や映像を携帯端末で視聴することができる。音声および映像ンテンツコンポーネントに加えて触覚コンテンツコンポーネントがあれば、これまでの経験から、触覚的に使用可能なモバイル機器を用いて、コンテンツ視聴が十分に強化され、視聴者はそれを楽しむ。しかしながら、高品位の音声／映像に対応するには、相応の高品位または高帯域幅の触覚効果も生成する必要がある。

【発明の概要】

【0005】

一実施形態は、少なくとも１つのアクチュエータと少なくとも１つのスピーカとを用いて触覚効果を生成するシステムである。システムは、高品位（ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ ＨＤ）触覚効果信号と、音声が再生される場合には対応する音声信号とを受信する。システムは、少なくともＨＤ触覚効果信号に基づいて標準品位（ｓｔａｎｄａｒｄ ｄｅｆｉｎｉｔｉｏｎ 「ＳＤ」）触覚効果信号を生成し、かつ少なくともＨＤ触覚効果信号に基づいて音声ベースの触覚効果信号を生成する。システムは、音声信号と音声ベースの触覚効果信号とを混合し、次いで、実質的に同時に、アクチュエータでＳＤ触覚効果信号を再生し、かつ混合信号をスピーカで再生する。

【図面の簡単な説明】

【0006】

【図1】本発明の一実施形態による触覚的に使用可能なシステム／装置のブロック図である。

【図2】本発明の実施形態による図１のシステムの機能の流れ図である。

【図3】一実施形態による図１のシステムなどの標的装置のためにシステム同定またはプラントモデルを決定するプロセスの説明である。

【図4a】本発明の実施形態による図１のシステムの機能の流れ図である。

【図4b】本発明の実施形態による図１のシステムの機能の流れ図である。

【発明を実施するための形態】

【0007】

一実施形態では、アクチュエータが「標準品位」アクチュエータであっても、アクチュエータとスピーカとが一緒に配置された装置で、高帯域幅／高品位（ｈｉｇｈ ｂａｎｄｗｉｄｔｈ／ｄｅｆｉｎｉｔｉｏｎ）（「ＨＤ」）触覚効果を生成する。音声コンポーネントは、装置のプラントモデルに基づいて、アクチュエータが生成した触覚効果を増幅する装置のケーシングを振動させることによって、スピーカに振動触覚効果を生成させるものとされる。アクチュエータとスピーカとによって生成される触覚効果の組み合わせが累積触覚効果を引き起こし、高帯域幅の触覚効果となる。したがって、音声スピーカと連動する標準品位アクチュエータの高速応答と強度を利用し、ユーザに向けてＨＤのような体験を生成する。

【0008】

図１は、本発明の一実施形態による触覚的に使用可能なシステム／装置１０のブロック図である。システム１０は、ハウジング１５内に搭載された接触感知面１１または他の種類のユーザインターフェースを含み、かつ機械式キー／ボタン１３を含むことができる。

【0009】

システム１０の内部は、システム１０で触覚効果を生成する触覚フィードバックシステムであり、プロセッサまたはコントローラ１２を含む。プロセッサ１２にはメモリ２０とアクチュエータ駆動回路１６が接続されており、アクチュエータ駆動回路１６にはアクチュエータ１８が接続されている。プロセッサ１２は、任意の種類の汎用プロセッサであってよく、または、特定用途向け集積回路（「ＡＳＩＣ」）などの、触覚効果を提供するよう明確に設計されたプロセッサであってもよい。プロセッサ１２は、システム１０全体を動作するプロセッサと同じプロセッサであっても、別個のプロセッサであってもよい。プロセッサ１２は、高次元パラメータに基づいて、再生すべき触覚効果や、再生する効果の順番を決定できる。一般に、特定の触覚効果を定義する高次元パラメータは、大きさ、周波数、継続時間を含む。また、ストリーミングモータコマンドなどの低次元パラメータを使用して、特定の触覚効果を決定してもよい。触覚効果が生成されるときのこれらのパラメータの一部の変化、またはユーザの相互作用に基づくこれらのパラメータの変化を含む場合、触覚効果は「動的」と見すことができる。一実施形態における触覚フィードバックシステムは、システム１０で振動３０、３１、または他の種類の触覚効果を生成する。

【0010】

プロセッサ１２は制御信号をアクチュエータ駆動回路１６に出力する。アクチュエータ駆動回路１６は、必要な電流と電圧（すなわち、「モータ信号」）をアクチュエータ１８に供給して所望の触覚効果を引き起こすのに使用される電子部品と回路機構とを備える。システム１０は１つ以上のアクチュエータ１８を備えてよく、各アクチュエータは、共通のプロセッサ１２にすべて接続された別個の駆動回路１６を備えてよい。

【0011】

システム１０は、少なくとも１つのスピーカ２６と、プロセッサ１２に接続された対応するスピーカドライバ２５とをさらに備える。スピーカ２６は、電気的音声信号を対応する音に変換することによって音声出力２７を生成する、任意の種類の音声スピーカ、またはラウドスピーカ、または電気音響変換器であり得る。周知の通り、音声２７の生成と同時に、スピーカ２６は、例えばシステム１０のハウジング／ケーシングを振動させることによって、システム１０で振動２８を生成する。システム１０と接しているユーザが振動２８を感じる程度は、システム１０の物理的構造、すなわち「プラントモデル」にある程度依存する。

【0012】

メモリ２０は、ランダムアクセスメモリ（「ＲＡＭ」）もしくは読み出し専用メモリ（「ＲＯＭ」）などの任意の種類の記憶装置またはコンピュータ可読媒体であってよい。メモリ２０は、プロセッサ１２によって実行された命令を記憶する。メモリ２０は、命令の中に音声触覚シミュレーションモジュール２２を含む。これは、プロセッサ１２によって実行されると、スピーカ２８とアクチュエータ１８とを用いて高帯域幅の触覚効果を生成する命令であり、以下でさらに詳細に開示する。メモリ２０は、プロセッサ１２の内部、または内部メモリと外部メモリとの組み合わせの内部に配置してもよい。

【0013】

システム１０は、任意の種類の携帯／モバイル機器、例えば携帯電話、携帯情報端末（「ＰＤＡ」）、スマートフォン、タブレット型コンピュータ、ゲーム機、リモコン、または、１つ以上のアクチュエータと１つ以上のスピーカとを備える触覚効果システムを備える任意の他の種類の装置であってよい。システム１０は、リストバンド、ヘッドバンド、眼鏡、指輪、レッグバンド、衣類の装飾などのウェアラブルデバイス、または付属具や車両用ステアリングホイールを含む、ユーザが身体に装着できるか、もしくはユーザが手に持つことができ、かつ触覚的に使用可能な任意の他の種類の装置であってよい。さらに、システム１０の要素または機能の一部は、離れた場所に配置するか、またはシステム１０の残りの要素と通信している別の装置に実装してもよい。

【0014】

アクチュエータ１８は、触覚効果を生成できる任意の種類のアクチュエータであってよい。一実施形態では、アクチュエータ１８は単一の周波数で振動触覚効果を生成する「標準品位」（ｓｔａｎｄａｒｄ ｄｅｆｉｎｉｔｉｏｎ「ＳＤ」）アクチュエータである。ＳＤアクチュエータの例として、偏心回転質量モータ（ｅｃｃｅｎｔｒｉｃ ｒｏｔａｔｉｎｇ ｍａｓｓ ｍｏｔｏｒ 「ＥＲＭ」）やリニア振動アクチュエータ（ｌｉｎｅａｒ ｒｅｓｏｎａｎｔ ａｃｔｕａｔｏｒ 「ＬＲＡ」）が挙げられる。ＳＤアクチュエータに対し、ＨＤアクチュエータまたは高忠実度アクチュエータ、例えば圧電性アクチュエータもしくは電気活性ポリマー（ｅｌｅｃｔｒｏａｃｔｉｖｅ ｐｏｌｙｍｅｒ 「ＥＡＰ」）アクチュエータは、複数の周波数で高帯域幅／高品位の触覚効果を生成することができる。ＨＤアクチュエータは、変動振幅と、過渡駆動信号に対する高速応答とを有する広帯域幅のタクタイル効果をもたらすことができるのが特徴である。しかしながら、ＨＤアクチュエータは、ＳＤアクチュエータと比べて物理的寸法が大きく、ＳＤアクチュエータよりも高価である。そのため、たいていの装置は、ＨＤアクチュエータの代わりに１つのみまたは複数のＳＤアクチュエータを備える。したがって、本発明の実施形態は、それらの装置における既存の１つまたは複数のスピーカとＳＤアクチュエータとを組み合わせて活用することで、ＨＤ触覚効果をシミュレートし、ＨＤアクチュエータを必要とせずにＨＤ様触覚経験をもたらす。

【0015】

アクチュエータ１８に加えて、またはアクチュエータ１８の代わりに、システム１０は他の種類の触覚出力装置（図示せず）を備えてもよい。他の種類の触覚出力装置は、非機械的または非振動的な装置、例えば、静電摩擦（「ＥＳＦ」）、超音波表面摩擦（「ＵＳＦ」）を用いる装置、超音波触覚変換器を用いて音響放射圧を誘導する装置、触覚基板および柔軟表面もしくは可変表面、または形状変形装置を用いて、ユーザの身体に装着できる装置、エアジェットを用いた空気の吹き出しなどの投射触覚出力を提供する装置などであってよい。

【0016】

図２は、本発明の実施形態による図１のシステム１０の機能の流れ図である。一実施形態では、図２（および以下の図４ａと４ｂ）の流れ図の機能は、メモリ、または他のコンピュータ可読媒体もしくは有形媒体に収納されたソフトウェアに実装され、プロセッサによって実行される。別の実施形態において、機能はハードウェアで（例えば、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ 「ＡＳＩＣ」）、プログラマブルゲートアレイ（ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ 「ＰＧＡ」）、フィールドプログラマブルゲートアレイ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ 「ＦＰＧＡ」）などの使用を通じて）実行できる。

【0017】

２０１ではＨＤ触覚効果信号が受信される。ＨＤ信号は、Ｉｍｍｅｒｓｉｏｎ Ｃｏｒｐ．の「ＴｏｕｃｈＳｅｎｓｅ Ｓｔｕｄｉｏ（登録商標）」などの既知のツール、またはＡｖｉｄ Ｔｅｃｈｎｏｌｏｇｙ，Ｉｎｃ．の「Ｐｒｏ Ｔｏｏｌｓ」などの業界標準音声生成ツールを用いて触覚効果デザイナが作成できる。ＳＤ触覚効果信号と比べて、ＨＤ触覚効果信号は、触覚帯域幅が広く（例えば、１〜３５０Ｈｚ）、領域が広く、強度、精度およびサンプリングレートが高い。２０１のＨＤ信号は、例えば音声／映像から触覚効果への自動変換ツールを用いて、または粒状合成、物理的合成などの触覚−音声合成アルゴリズムを用いて既知の方法でも生成できる。別の実施形態では、ＨＤ信号は、高解像度信号、広帯域加速度信号、および／または音声信号を取得する１つ以上のセンサを用いることによって得られる。ＨＤ信号は、「Ｙ_ＨＤ（ｔ）」の形式であり、このときＹはＨＤ信号の時間「ｔ」による振幅である。

【0018】

２０２で音声信号が受信される。音声信号およびＨＤ信号は、相互に補完し合うことを目的とし、映像が利用可能な場合には同じ映像表示に対応する。ＨＤ信号は、音声信号と連動して生成される。別の実施形態では、音声信号は必要なく、ＨＤ信号のみ再生される。

【0019】

２０３でＳＤ信号はＨＤ信号から抽出される。得られる信号は、例えばＬＲＡ共振を除去するノッチフィルタを使用することによって決定される「Ｙ_{ＨＤ−ＳＤ}（ｔ）」（すなわち、ＨＤ信号からＳＤ信号を引く）と、信号振幅（すなわち、音声ベースの触覚効果信号）を計算することによって決定されるＹ_ＳＤ（ｔ）（すなわち、ＳＤ信号）である。他の種類のＳＤアクチュエータでは、線形フィルタリングおよび非線形フィルタリングなど、他のＳＤ抽出アルゴリズムが必要な場合もある。

【0020】

２０５でＳＤ信号はモータ信号に変換され、２０６でモータ信号は触覚ドライバに送信され、そこでＬＲＡアクチュエータなどのＳＤアクチュエータを用いてＳＤ振動触覚効果に変換される。

【0021】

２０４で、ＨＤ部分からＳＤ部分を引いたフィルタリングした信号は、音声入力に変換され、スピーカが音声を再生するとき、この音声入力が、触覚効果のＨＤコンポーネントをスピーカに生成させる。一般に、フィルタは、「Ｙ_{ＨＤ−ＳＤ}（ｔ）＊ｈ_Ｉ（ｔ）」の関数を適用し、音声信号「Ｙ_{触覚−音声}（ｔ）」を生成する。これは、システム１０で音声システム２８によって生成される加速度を求める、フィルタリングしたＨＤ信号Ｙ_{ＨＤ−ＳＤ}（ｔ）と逆プラントモデルとの畳み込み積である。フィルタと関数は、システム１０などの標的装置（すなわち、アクチュエータとスピーカとを備え、かつ触覚効果が生成される装置）の決定されたプラントモデルに基づく。しかしながら、所望の加速度を生成する音声信号を生成する他の方法も使用できる。例えば、ルックアップテーブル、フィードフォワードシステムモデル、ニューラルネットワーク、または他のシステム推定技術を使用できる。

【0022】

２０８で、２０４で生成された音声ベースの触覚効果信号Ｙ_{触覚−音声}（ｔ）と、２０２の対応する入力音声信号（音声信号が再生される場合）とを、任意選択でイコライザを使用して混合し、２０７の音声ドライバに送信すると、混合された音声信号がスピーカによって再生される。２０４のフィルタまたは２０７の音声ドライバは、２０２の音声信号とフィルタリングした出力Ｙ_{触覚−音声}（ｔ）との間で重複する周波数を均一化し、得られる音圧レベルと誘導加速度の両方を維持する必要があるかもしれない。

【0023】

図２と併せて説明したように、２０４のフィルタリングは、入力時に、触覚効果を生成することになる標的装置のプラントモデルを必要とする。プラントモデルは、標的装置の、測定された、またはモデル化された周波数応答特性に基づく入出力システムモデルである。プラントモデルは、システム同定、「音響モデル」、または「触覚スピーカモデル」を用いたフィルタ／イコライザパラメータの推定とも称される。システム同定のフィールドは統計的方法を使用し、測定したデータから動的システムの数学モデルを作成する。システム同定は、そうしたモデルのフィッティングおよびモデル縮小のための有益なデータを効率的に生成する最適な実験計画も含む。

【0024】

図３は、一実施形態によるシステム１０などの標的装置のためにシステム同定またはプラントモデルを決定するプロセスを説明する。音声インパルスに対する加速度応答を取得する音声システムのためにインパルス応答が取得される。システム１０が線形応答を有するとすれば、このインパルス応答３０１を、図３に示すように、図２の２０４でフィルタを作成するのに直接用いることができる。まず、Ｚ変換（３０２）を用いてインパルス応答を変換し、プラントモデルを作成する。次いで、プラントモデルを反転し（３０３）、線形システムダイナミクスの逆を表すことができるＺ空間関数を作成する。この関数は「逆伝達関数（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ）」とも称される。最終的に、逆伝達関数を逆変換し（３０４）、逆システムダイナミクスを表すフィルタを作成する。３０１が音声刺激から加速度への変換を表すのに対し、３０４のフィルタは、標的加速度を音声に変換する（すなわち、加速度に対してシステム１０の逆を表す）。これは入出力モデル（すなわち、プラントモデル）であり、ここで、「ｈ_Ｉ（ｔ）」は、畳み込みＹ_{触覚−音声}（ｔ）＝Ｙ_{ＨＤ−ＳＤ}（ｔ）＊ｈ_Ｉ（ｔ）を用いて図２の２０４で触覚信号に適用できる離散時間フィルタである。

【0025】

図４ａおよび４ｂは、本発明の実施形態による図１のシステム１０の機能の流れ図である。図４ａは、「オフライン」の実施形態と見なすことができ、図４ｂは「オンライン」または「リアルタイム」の実施形態と見なすことができる。

【0026】

４０２で、作成者またはコンテンツクリエイタは、利用可能なコンテンツオーサリングツールを用いて新しいＨＤ触覚効果を作成する。ＨＤ効果は、音声変換ツールを用いて、または直接合成を用いて作成できる。音声変換ツールの一例が、Ｉｍｍｅｒｓｉｏｎ Ｃｏｒｐ．の「ＴｏｕｃｈＳｅｎｓｅ Ｓｔｕｄｉｏ（登録商標）」である。別の実施形態では、低周波信号を有する音声効果は４０２で作成でき、これはＳＤ触覚効果に相当する。この実施形態では、ＴｏｕｃｈＳｅｎｓｅ Ｓｔｕｄｉｏ（登録商標）の代わりに、例えば、コンテンツ作成者はＰｒｏ Ｔｏｏｌｓなどの音声ワークフローで作業してもよい。作成者はＨＤ低周波信号を直接作成してもよい（例えば、「５．１」サラウンド音声における「０．１」信号）。作成者は、０．１トラックが、ＳＤアクチュエータを直接駆動する正しい混合信号を含むように信号を作成することでき、かつ上に開示したように、装置に搭載されたスピーカを用いてＨＤ効果を作成できる。

【0027】

別の実施形態では、コンテンツ作成者は、音声ツールでＨＤ音声を直接制作でき、かつ音声ツールまたはＴｏｕｃｈＳｅｎｓｅ Ｓｔｕｄｉｏ（登録商標）を用いてＳＤ効果を生成できる。この実施形態では、ＳＤ信号とＨＤ信号とがすでに異なっているため、図２の２０４でフィルタリングが不要である。

【0028】

４０３で標的装置を選択する。４０３で選択される、記憶されるそれぞれの標的装置ついて、対応するプラントモデル、各アクチュエータの種類／数／位置、および／または各スピーカの種類／数／位置が記憶される。一実施形態では、コンテンツオーサリングツールまたは後処理ツールでエクスポートフィルタを用いて、ユーザは、効果を展開する特定の標的装置（例えば、Ｇａｌａｘｙ Ｓ５、Ｇａｌａｘｙ Ｇｅａｒ、Ａｐｐｌｅ Ｗａｔｃｈなど）を選択できる。

【0029】

４０４で、モデルプラント反転を用いて標的装置信号を生成する。標的装置信号は、Ｙ_{触覚−音声}（ｔ）（すなわち、音声ベースの触覚信号）と、図２に示すＹ_{触覚−音声}（ｔ）（すなわち、ＳＤ触覚信号）である。実施形態では、事前に作成した標的装置の機械式モデルと音響モデルとを使用し、ＨＤ効果を、機械式アクチュエータを用いてレンダリングされるコンポーネントと、スピーカを用いてを用いてレンダリングされるコンポーネントとに分割する。これは、一実施形態では、上述のように、伝達関数、反復／最適化、および他のモデルベースの信号変換を用いて実現できる。生成された２つの触覚信号は、適切なエンコーディングを用いて、例えば音声信号を．ｗａｖファイルとして保存するステップ、および触覚信号を．ｈａｐｔファイルとして保存するステップを用いて保存する。

【0030】

触覚効果と同時に音声を再生する場合、４０５で音声−触覚信号を他の同時音声と混合する。

【0031】

４０６で音声−触覚信号（すなわち、Ｙ_{触覚−音声}（ｔ））と触覚信号（すなわち、Ｙ_{触覚−音声}（ｔ））とを、ソフトウェア開発キット（「ＳＤＫ」）または他のプログラミング方法を用いて、実行時に標的装置で同時に、または実質的に同時に再生する。

【0032】

図４ｂの４０２では、ＨＤ触覚効果は、図４ａの４０２のように作成される。

【0033】

４１３で、ＨＤ触覚効果は無損失エンコーディング（例えば、．ｉｖｔエンコーディング）にエクスポートされる。

【0034】

４１４で、再生時に、特定の標的装置用に設定されたプラントモデルを使用し、リアルタイムで、または実質的にリアルタイムで機械的駆動信号と音響的駆動信号とを生成する。これは伝達関数、反復／最適化、および他のリアルタイムベースの信号変換を用いて実現できる。

【0035】

４０５および４０６は、図４ａの４０５および４０６と同じ機能である。

【0036】

別の実施形態では、ＳＤ触覚効果と触覚−音声効果は、プロセスの最初で（すなわち、図４ａの４０２の代わりに）直接作成される。この実施形態では、図４ａの４０３と４０４は省略でき、４０５と４０６を実行して触覚効果を再生する。

【0037】

開示したように、実施形態ではＳＤ触覚効果と音声ベースの触覚効果を受け取る。ＳＤ触覚効果はアクチュエータによって再生され、このアクチュエータはＳＤアクチュエータであってよい。音声ベースの触覚効果は、対応する音声と同時にスピーカによって再生される。アクチュエータとスピーカによって生成される振動触覚効果の組み合わせは、ＨＤアクチュエータを必要とせずに、広帯域幅を有するＨＤ様触覚効果を提供する。

【0038】

いくつかの実施形態を、本明細書に具体的に説明および／または記述している。しかしながら、開示した実施形態の修正および変形は、本発明の精神と意図された範囲から逸脱することなく、上記の教示および添付の特許請求の範囲に含まれることが理解されよう。

【図2】

【図3】

【図4a】

【図4b】

【図1】