特許 6391724 波形を利用した音響−触覚効果変換システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6391724

(24)【登録日】2018年8月31日

(45)【発行日】2018年9月19日

(54)【発明の名称】波形を利用した音響−触覚効果変換システム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20180910BHJP

   G10L 21/06 20130101ALI20180910BHJP

【ＦＩ】

   G06F3/01 560

   G10L21/06

【請求項の数】6

【外国語出願】

【全頁数】18

(21)【出願番号】特願2017-7414(P2017-7414)

(22)【出願日】2017年1月19日

(62)【分割の表示】特願2012-27803(P2012-27803)の分割

【原出願日】2012年2月10日

(65)【公開番号】特開2017-68874(P2017-68874A)

(43)【公開日】2017年4月6日

【審査請求日】2017年1月23日

(31)【優先権主張番号】13/366,010

(32)【優先日】2012年2月3日

(33)【優先権主張国】US

【前置審査】

(73)【特許権者】

【識別番号】500390995

【氏名又は名称】イマージョン コーポレーション

【氏名又は名称原語表記】ＩＭＭＥＲＳＩＯＮ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100116872

【弁理士】

【氏名又は名称】藤田 和子

(72)【発明者】

【氏名】バティア サトヴァー シン

(72)【発明者】

【氏名】ガンディ カナフ

(72)【発明者】

【氏名】ウルリッヒ ジェイ． クリストファー

(72)【発明者】

【氏名】クルス−エルナンデス フアン マヌエル

(72)【発明者】

【氏名】ティモネ トゥー エルヴェ

(72)【発明者】

【氏名】ラウ ホイ フン ジェイソン

【審査官】 鈴木 大輔

(56)【参考文献】

【文献】 特開平１１−１９６４９７（ＪＰ，Ａ）

【文献】 特開平１０−０９８３４４（ＪＰ，Ａ）

【文献】 特表平１０−５０６５０８（ＪＰ，Ａ）

【文献】 国際公開第２０１１／０５９７０３（ＷＯ，Ａ１）

【文献】 特表２００５−５０６６１３（ＪＰ，Ａ）

【文献】 特開２００３−０９９１７７（ＪＰ，Ａ）

【文献】 特開２００８−２８３３０５（ＪＰ，Ａ）

【文献】 特開２０１１−１４１８９０（ＪＰ，Ａ）

【文献】 特開平１１−２９６１２６（ＪＰ，Ａ）

【文献】 国際公開第２０１０／０５４０１４（ＷＯ，Ａ１）

【文献】 国際公開第２０１０／０８５５７５（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

３／０４８ − ３／０４８９

３／１６

Ｇ１０Ｌ １３／００ − ９９／００

(57)【特許請求の範囲】

【請求項1】

非一過性のコンピュータ可読媒体であって、プロセッサによって実行された場合に、前記プロセッサに、オーディオ信号を１つ以上の触覚効果に変換させる命令を前記非一過性のコンピュータ可読媒体内に保存させた、非一過性のコンピュータ可読媒体であって、前記変換は、
前記オーディオ信号のサンプルのセットを受信する工程と、
前記オーディオ信号の前記サンプルのセットの最大振幅値を決定する工程と、
前記オーディオ信号の前記サンプルのセットに基づいて触覚信号を生成する工程であって、前記生成する工程は、０〜５００Ｈｚの範囲に限定された周波数成分を有する変換された１セットのサンプルを生成するために、前記サンプルのセットを周波数フィルタリングすることによって前記オーディオ信号の前記サンプルのセットを変換する工程を含み、 前記触覚信号は、前記変換されたサンプルのセットに基づいて生成される、工程と、
前記最大振幅値が特定の閾値よりも大きいかどうかを決定する工程と、
前記最大振幅値が前記特定の閾値よりも大きいと決定したことに応答して、前記１つ以上の触覚効果を生成するために、前記触覚信号をアクチュエータに送信する工程と、
前記最大振幅値が前記特定の閾値より大きくないと決定したことに応答して、前記触覚信号を前記アクチュエータに送ることを控える工程と、
を含む、非一過性のコンピュータ可読媒体。

【請求項2】

前記サンプルのセットは、前記オーディオ信号のデータフレームの一部であり、前記変換されたサンプルのセットは、変換されたデータフレームの一部であり、
前記触覚信号を前記生成する工程はさらに、前記変換されたデータフレームを正弦波に加えて、変調されたデータフレームを生成する工程を含む、請求項１に記載の非一過性のコンピュータ可読媒体。

【請求項3】

前記触覚信号を前記生成する工程はさらに、前記変調されたデータフレームを正規化する工程を含む、請求項２に記載の非一過性のコンピュータ可読媒体。

【請求項4】

前記変調されたデータフレームが、少なくともある程度、前記触覚信号を規定する、請求項２に記載の非一過性のコンピュータ可読媒体。

【請求項5】

前記触覚信号を前記生成する工程はさらに、前記データフレームを変換する前に、前記データフレームをリサンプリングする工程を含む、請求項２に記載の非一過性のコンピュータ可読媒体。

【請求項6】

前記触覚信号を前記生成する工程はさらに、前記データフレームが変換された後に、前記データフレーム内に含まれる前記オーディオ信号をブーストする工程を含む、請求項２に記載の非一過性のコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願の相互参照］
本出願は、２０１１年２月１１日に出願の米国仮特許出願第６１／４４１，７９２号の優先権を主張し、その開示は本明細書により参照することにより援用される。

【0002】

一実施形態は、一般にデバイス、より詳細には、触覚効果を生成するデバイスに関する。

【背景技術】

【0003】

ハプティクス（触覚学）は、触覚フィードバック効果（すなわち「触覚（ハプティック）効果」、例えば力、振動、および動きなどをユーザに付与することによって、ユーザが感じる接触を利用する触知性および力フィードバック技術である。モバイルデバイス、タッチスクリーンデバイス、およびパーソナルコンピュータ等のデバイスは触覚効果を生成するように構成できる。一般に、触覚効果を生成することができる内蔵のハードウェア（例えばアクチュエータ）へのコールは、デバイスのオペレーティングシステム（「ＯＳ」）内でプログラミング可能である。これらのコールは、どの触覚効果を生じさせるかを特定する。例えば、ユーザが、例えばボタン、タッチスクリーン、レバー、ジョイスティック、ホイール、または一部の他の制御装置を用いてデバイスと対話する場合、デバイスのＯＳは制御回路を介してプレイコマンドを内蔵のハードウェアに送信することができる。内蔵のハードウェアは次いで適切な触覚効果を生成する。

【0004】

このようなデバイスはまた、例えばデジタルオーディオ信号等のオーディオデータを再生するように構成できる。例えばそのようなデバイスは、オーディオ部分、または例えば曲などのオーディオデータを含む動画またはビデオゲーム等のビデオデータを再生するように構成されたアプリケーションを含み得る。ハプティクスと類似して、音響効果を生成することができる追加の内蔵ハードウェア（例えばスピーカ）へのコールは、デバイスのＯＳ内にプログラミングされ得る。このように、デバイスのＯＳは、制御回路を介して、追加の内蔵のハードウェアにプレイコマンドを送信することができ、ここで追加の内蔵のハードウェアは次いで適切な音響効果を生成する。

【発明の概要】

【課題を解決するための手段】

【0005】

一実施形態は、オーディオ信号を１つ以上の触覚効果に変換するシステムである。システムはオーディオ信号のデータフレームを受信する。システムはデータフレームの最大値をさらに生成する。システムは、データフレームをさらに変換する。システムは、変換されたデータフレームの最大値に基づいて少なくとも１つの正弦キャリア波形をさらに生成する。システムは、変換されたデータフレームと、少なくとも１つの正弦キャリア波形とをさらにミキシングして、変調されたデータフレームを生成する。システムは、最大値および変調されたデータフレームに基づいて触覚信号をさらに生成する。システムは、アクチュエータに触覚信号をさらに送信して、１つ以上の触覚効果を生成する。

【0006】

さらなる実施形態、詳細、利点、および修正が、添付の図面に関連して考慮された好ましい実施形態の以下の詳細な記載から明らかとなる。

【図面の簡単な説明】

【0007】

【図1】図１は、本発明の一実施形態に係る触覚変換システムのブロック図を示す。

【図2】図２は、本発明の一実施形態に係る触覚変換システムのアーキテクチャの図を示す。

【図3】図３は、本発明の一実施形態に係る触覚変換システムによって実行される機能性のフロー図を示す。

【図4】図４は、本発明の一実施形態に係る、出力値の範囲をコントロールするように適合された線形変換関数を示す。

【図5】図５は、本発明の一実施形態に係るデジタルオーディオ信号に基づいて生成された触覚効果の大きさの例示的な計算を示す。

【図6】図６は、本発明の一実施形態に係るデジタルオーディオ信号のエンベロープの例示的な計算を示す。

【図7】図７は、本発明の一実施形態に係る、周波数コンテンツに基づくデジタルオーディオ信号のエンベロープの例示的な計算を示す。

【図8A】図８Ａは、本発明の一実施形態に係る、デジタルオーディオ信号がフィルタリングされる前の、デジタルオーディオ信号の振幅スペクトルの例示的な計算を示す。

【図8B】図８Ｂは、本発明の一実施形態に係る、デジタルオーディオ信号がフィルタリングされた後の、デジタルオーディオ信号の振幅スペクトルの例示的な計算を示す。

【図9】図９は、本発明の一実施形態に係る触覚変換モジュールの機能性のフロー図を示す。

【発明を実施するための形態】

【0008】

一実施形態は、例えばデジタルオーディオ信号等のオーディオデータの１つ以上のフレームをインターセプトし、１つ以上のフレームを変換（トランスフォーム）し、１つ以上の変換されたフレームを触覚信号に変換（コンバート）し、生成された触覚信号をアクチュエータを介して再生して、１つ以上の触覚効果を生成することができる触覚変換システムである。触覚信号は波形を含むことができ、ここで波形は、パルス符号変調（「ＰＣＭ」）における１つ以上の信号の値のセットである。触覚信号は、波形を受信するように構成された１つのタイプのアクチュエータに付与可能であり、ここでアクチュエータは１つ以上の触覚効果を生成するために波形を利用することができる。

【0009】

図１は、本発明の一実施形態に係る触覚変換システム１０のブロック図を示す。一実施形態において、システム１０はモバイルデバイスの一部であり、システム１０は、モバイルデバイスのための触覚変換機能を提供する。単一のシステムとして示されているが、システム１０の機能は分散型のシステムとして実施可能である。システム１０は、情報を通信するためのバス１２または他の通信メカニズム、および情報を処理するためにバス１２に接続されたプロセッサ２２を含む。プロセッサ２２は、任意のタイプの汎用プロセッサまたは特定用途向けプロセッサであってもよい。システム１０は、プロセッサ２２によって実行される情報および命令を保存するためのメモリ１４をさらに含む。メモリ１４は、ランダムアクセスメモリ（「ＲＡＭ」）、読み出し専用メモリ（「ＲＯＭ」）、磁気ディスクまたは光学ディスク等の静的記憶装置、あるいは任意の他のタイプのコンピュータ可読媒体の任意の組み合わせから構成されることができる。

【0010】

コンピュータ可読媒体は、プロセッサ２２によってアクセス可能である任意の利用可能な媒体であってよく、揮発性および不揮発性の媒体両方、取り外し可能および取り外しが可能でない媒体、通信媒体、ならびに保存媒体を含んでよい。通信媒体は、コンピュータ可読命令、データストラクチャ、プログラムモジュール、または搬送波または他の搬送メカニズム等の変調されたデータ信号における他のデータを含んでよく、当該技術分野において公知である情報送達媒体の任意の他の形態を含んでよい。保存媒体は、ＲＡＭ、フラッシュメモリ、ＲＯＭ、消去可能ＰＲＯＭ（「ＥＰＲＯＭ」）、電気的消去可能・プログラム可能型読み取り専用メモリ（「ＥＥＰＲＯＭ」）、レジスタ、ハードディスク、リムーバブルディスク、コンパクトディスク読み取り専用メモリ（「ＣＤ−ＲＯＭ」）、あるいは当該技術分野において公知である保存媒体の任意の他の形態を含んでよい。

【0011】

一実施形態において、メモリ１４は、プロセッサ２２によって実行された場合に機能を提供するソフトウェアモジュールを保存する。モジュールは、システム１０、および一実施形態において、モバイルデバイスの残りのためのオペレーティングシステム機能を提供するオペレーティングシステム１５を含む。モジュールは、以下でさらに詳細に開示するように、オーディオ信号を、１つ以上の触覚効果を生成するために用いられる触覚信号に変換する触覚変換モジュール１６をさらに含む。特定の実施形態において、触覚変換モジュール１６は、複数のモジュールを含むことができ、それらの各々は、オーディオ信号を、１つ以上の触覚効果を生成するために用いられる触覚信号に変換するための特定の個々の機能を提供することができる。システム１０は、通常は、Ｉｍｍｅｒｓｉｏｎ ＣｏｒｐｏｒａｔｉｏｎによるＭＯＴＩＶ（登録商標）ハプティック開発プラットフォーム等のさらなる機能性を含むために、１つ以上のさらなる追加のアプリケーションモジュール１８を含む。

【0012】

リモートソースからデータを送信および／または受信する実施形態において、システム１０は、例えば赤外線、無線、Ｗｉ−Ｆｉ、セルラーネットワーク、または他の次世代無線データネットワーク通信等のモバイルワイヤレスネットワークを提供するために、ネットワークインターフェースカード等の通信デバイス２０をさらに含む。他の実施形態において、通信デバイス２０はイーサネット（登録商標）通信またはモデム等の有線ネットワーク通信を提供する。

【0013】

プロセッサ２２は、グラフィック表示またはユーザインターフェースをユーザに表示するための液晶ディスプレイ（「ＬＣＤ」）等のディスプレイ２４に、バス１２を介してさらに接続される。ディスプレイ２４は、プロセッサ２２から信号を送信および受信するように構成されたタッチスクリーン等のタッチセンサ式入力デバイスであってよい。

【0014】

システム１０は１つ以上のアクチュエータ２６をさらに含む。プロセッサ２２は、触覚効果に関連付けられた触覚信号をアクチュエータ２６に送信してよく、次いでこのアクチュエータ２６は触覚効果を出力する。アクチュエータ２６は、例えば、電気モータ、電磁アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマー、ソレノイド、偏心回転質量モータ（「ＥＲＭ」）、リニア共振アクチュエータ（「ＬＲＡ」）、圧電アクチュエータ、高帯域幅アクチュエータ、電気活性高分子（「ＥＡＰ」）アクチュエータ、静電摩擦ディスプレイ（ｅｌｅｃｔｒｏｓｔａｔｉｃ ｆｒｉｃｔｉｏｎ ｄｉｓｐｌａｙ）、または超音波振動生成器であってよい。

【0015】

一部の実施形態において、システム１０は、１つ以上のスピーカ２８をさらに含む。プロセッサ２２は、オーディオ信号をスピーカ２８に送信してよく、次いでオーディオ効果を出力してよい。スピーカ２８は、例えば、ダイナミックラウドスピーカ、エレクトロダイナミックラウドスピーカ、圧電ラウドスピーカ、リボンおよび平面マグネティックラウドスピーカ、曲げ波（ｂｅｎｄｉｎｇ ｗａｖｅ）ラウドスピーカ、フラットパネルラウドスピーカ、ハイルエアモーション（ｈｅｉｌ ａｉｒ ｍｏｔｉｏｎ）トランスデューサ、プラズマアークスピーカ、およびデジタルラウドスピーカであってよい。

【0016】

図２は本発明の一実施形態に係る触覚変換システムのアーキテクチャの図を示す。図示の実施形態において、触覚変換システムはオーディオトラックモジュール２１０およびスピーカ２２０を含む。オーディオトラックモジュール２１０は、１つ以上のＰＣＭオーディオバッファを受信し、１つ以上のＰＣＭオーディオバッファをスピーカ２２０に流すように構成されたデバイス（例えばモバイルデバイス）のためのオペレーティングシステムのモジュールであり、ここで各ＰＣＭオーディオバッファは１つ以上のＰＣＭオーディオデータフレームを含む。一実施形態において、オーディオトラックモジュール２１０は、モバイルデバイスのためのＡｎｄｒｏｉｄ（登録商標）のオペレーティングシステムのＡｎｄｒｏｉｄ Ａｕｄｉｏ Ｔｒａｃｋモジュールである。スピーカ２２０は、１つ以上のＰＣＭオーディオバッファを受信するように構成され、かつ１つ以上のオーディオ効果を出力するように構成されたスピーカである。スピーカ２２０は、例えば、ダイナミックラウドスピーカ、エレクトロダイナミックラウドスピーカ、圧電ラウドスピーカ、磁気歪みラウドスピーカ、静電ラウドスピーカ、リボンおよび平面磁気ラウドスピーカ、曲げ波ラウドスピーカ、フラットパネルラウドスピーカ、ハイルエアモーショントランスデューサ、プラズマアークスピーカ、およびデジタルラウドスピーカであってよい。

【0017】

触覚変換システムはまた、本実施形態によれば、触覚変換モジュール２３０を含む。特定の実施形態において、触覚変換モジュール２３０は、図１の触覚変換モジュール１６と同じである。図示の実施形態において、触覚変換モジュール２３０は、３つのサブモジュール、すなわちリバーブモジュール２３１、ブームボックスモジュール２３２、およびバンドパスフィルタ２３３から構成される。しかしながら、これは単に例示的な実施形態であり、代替的な実施形態においては、触覚変換モジュール２３０は任意の数のサブモジュールから構成でき、あるいは触覚変換モジュール２３０は単一のモジュールであってもよい。

【0018】

本実施形態によれば、リバーブモジュール２３１は、オーディオトラックモジュール２１０がスピーカ２２０に流す１つ以上のオーディオバッファをインターセプトするように構成される。リバーブモジュール２３１はさらに、各オーディオバッファの各オーディオデータフレームをブームボックスモジュール２３２に送信するように構成される。ブームボックスモジュール２３２は各オーディオデータフレームを解析し、かつ各オーディオデータフレームについて最大値を計算するように構成される。各オーディオデータフレームについての最大値の計算は、ブームボックスモジュール２３２によって実行され、図４〜図７に関連してさらに詳細に記載される。ブームボックスモジュール２３２は、各オーディオデータフレームについての最大値をリバーブモジュール２３１に戻すようにさらに構成される。

【0019】

ブームボックスモジュール２３２は、各オーディオバッファの各オーディオデータフレームをバンドパスフィルタ２３３に送信するようにさらに構成される。バンドパスフィルタ２３３は、各オーディオバッファの各オーディオデータフレームをバンドパスフィルタに介するように構成される。各オーディオデータフレームをバンドパスフィルタに介すことにより、バンドパスフィルタ２３３は、特定のオーディオバッファ（例えば、０〜５００Ｈｚの範囲における周波数信号の単一の周波数帯域など）における任意の特定の範囲の周波数信号の１つ以上の周波数帯域にフィルタリングすることができる。このように、この周波数範囲内の全ての信号は、これらの信号のみの新しいオーディオバッファを生成するために抽出可能である。このフィルタリングから生じる効果は、信号の「バスブースト」または「サブウーハー」タイプであってよい。バンドパスフィルタ２３３は、各バンドパスフィルタを介したオーディオデータフレームをブームボックスモジュール２３２に戻すようにさらに構成される。代替的な実施形態において、バンドパスフィルタ２３３はフィルタではなく、変換モジュール（例えばデジタル信号プロセッサ（「ＤＳＰ」）プロセス、状態機械、または他の種類のプログラムのロジックである。これらの代替の実施形態において、変換モジュールは、受信されるオーディオデータフレームを新しいオーディオデータフレームに変換することができ、ここで変換は必ずしもフィルタリング変換ではない。

【0020】

ブームボックスモジュール２３２は、各バンドパスフィルタを介したオーディオデータフレームについて、バンドパスフィルタを介したオーディオデータフレームの最大値に基づいて、正弦波の周期的なキャリア周波数（また、「正弦キャリア波形」としても同定される）を生成するようにさらに構成される。正弦波の周期的なキャリア周波数の生成は、図３に関連してさらに詳細に記載される。代替的な実施形態において、ブームボックスモジュール２３２は、複数の正弦波の周期的な周波数を生成するようにさらに構成できる。各バンドパスフィルタを介したオーディオデータフレームについて、ブームボックスモジュール２３２は、生成された正弦波の周期的なキャリア周波数をバンドパスフィルタを介したオーディオデータフレームに加えるようにさらに構成され（生成された正弦波の周期的なキャリア周波数と、バンドパスフィルタを介したオーディオデータフレームとをミキシングすることとしても同定される）、こうしてバンドパスフィルタを介したオーディオデータフレームを変調する。ブームボックスモジュール２３２は、各変調されたオーディオデータフレームをリバーブモジュール２３１に戻すようにさらに構成される。

【0021】

触覚変換システムはまた、触覚効果プレーヤモジュール２４０およびアクチュエータ２５０を含む。触覚プレーヤモジュール２４０は、デバイス内に内蔵されたモジュール（例えばモバイルデバイス）であり、かつ、１つ以上の触覚信号をアクチュエータに送信することによって、アクチュエータに１つ以上の触覚効果を再生するように構成されたモジュールである。一実施形態において、触覚効果プレーヤモジュール２４０は、Ｉｍｍｅｒｓｉｏｎ ＣｏｒｐｏｒａｔｉｏｎによるＴｏｕｃｈＳｅｎｓｅ Ｐｌａｙｅｒ（登録商標）モジュールである。アクチュエータ２５０は、１つ以上の触覚信号を受信するように構成され、かつ１つ以上の触覚効果を出力するように構成されたアクチュエータである。特定の実施形態において、アクチュエータ２５０は、波形を受信するように構成されたアクチュエータであり、ここで波形は、アクチュエータを介して再生された場合、波形の効果のマグニチュード（大きさ）および精度（プレシジョン、適合率）を制御するために用いられる。アクチュエータ２５０は、例えば、圧電アクチュエータ、高帯域幅アクチュエータ、またはＥＡＰアクチュエータであってよい。

【0022】

本実施形態によれば、リバーブモジュール２３１は、各オーディオデータフレームの各最大値が特定の閾値よりも高いかどうかを決定するように構成される。オーディオデータフレームの最大値が特定の閾値よりも高い場合、リバーブモジュール２３１は、触覚効果プレーヤモジュール２４０のアプリケーションプログラムインターフェース（「ＡＰＩ」）をコールし、触覚効果プレーヤモジュールジュール２４０に、対応する変調されたオーディオデータフレームをＡＰＩのパラメータとして送信するように構成される。オーディオデータフレームの最大値が特定の閾値よりも高くない場合、リバーブモジュール２３１は、オーディオデータフレームを無視し、触覚効果プレーヤモジュール２４０に、対応する変調されたオーディオデータフレームを送信しないように構成される。特定の実施形態において、触覚効果プレーヤモジュール２４０のＡＰＩは、Ｉｍｍｅｒｓｉｏｎ ＣｏｒｐｏｒａｔｉｏｎによるＴｏｕｃｈＳｅｎｓｅ Ｐｌａｙｅｒ（登録商標）モジュールの「ＩｍｍＶｉｂｅＡｐｐｅｎｄＷａｖｅｆｏｒｍＥｆｆｅｃｔ」のＡＰＩである。他の実施形態において、ＡＰＩは、「ＩｍｍＶｉｂｅＰｌａｙＭａｇＳｗｅｅｐＥｆｆｅｃｔ」または「ＩｍｍＶｉｂｅＰｌａｙＰｅｒｉｏｄｉｃＥｆｆｅｃｔ」であってもよい。触覚効果プレーヤモジュール２４０のＡＰＩは、変調されたオーディオデータフレームをアクチュエータ２５０に送信し、ここでアクチュエータ２５０は、変調されたオーディオデータフレームに基づいて適切な波形を再生（プレイ）するように構成される。本実施形態によれば、変調されたオーディオデータフレームは、アクチュエータ２５０によって再生される波形として働き、ここで波形は、周期的な触覚信号に加えて、強調された１つ以上の周波数帯を含み、かつ変調されたオーディオデータフレームは、アクチュエータ２５０によって再生された波形の精度を制御することができる。波形を再生することにより、アクチュエータ２５０は触覚効果を生成する。

【0023】

図３は、本発明の一実施形態に係る触覚変換システムによって実行される機能のフロー図を示す。一実施形態において、図３の機能性、および図９の機能性は、メモリまたは他のコンピュータ可読媒体、あるいは有形の媒体によって実施され、プロセッサによって実行される。他の実施形態において、機能性はハードウェア（例えば、特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブルゲートアレイ（「ＰＧＡ」）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）、等）によって実行されてもよく、あるいは、ハードウェアおよびソフトウェアの任意の組み合わせによって実行されてもよい。さらに、代替の実施形態において、機能性はアナログコンポーネントを用いてハードウェアによって実行されてもよい。

【0024】

本実施形態によれば、触覚変換システムは、オペレーティングシステム３００、リバーブモジュール３０１、ブームボックスモジュール３０２、および無限インパルス応答（「ＩＩＲ」）フィルタ３０３を含む。オペレーティングシステム３００はデバイス（例えばモバイルデバイス）のオペレーティングシステムである。図示の実施形態において、オペレーティングシステム３００は、モバイルデバイスのＡｎｄｒｏｉｄ（登録商標）のオペレーティングシステムである。リバーブモジュール３０１、ブームボックスモジュール３０２、ＩＩＲフィルタ３０３は、触覚変換モジュール（例えば図１の触覚変換モジュール１６等）のサブモジュールである。特定の実施形態において、リバーブモジュール３０１、ブームボックスモジュール３０２、およびＩＩＲフィルタ３０３は、各々図２におけるリバーブモジュール２３１、ブームボックスモジュール２３２、およびバンドパスフィルタ２３３である。

【0025】

本実施形態によれば、３０５において、オーディオ信号を生成するように構成されたアプリケーションが生成される。アプリケーションは、オペレーティングシステム３００内で実行可能な任意のアプリケーションである。図示の実施形態において、アプリケーションは、Ａｎｄｒｏｉｄ（登録商標）のアプリケーションである。フローは３１０に進む。３１０において、「ＳｏｕｎｄＰｏｏｌ」オブジェクトがアプリケーションによって生成され、ここでＳｏｕｎｄＰｏｏｌオブジェクトはＳｏｕｎｄＰｏｏｌのＡＰＩ（これはＡｎｄｒｏｉｄ（登録商標）のＡＰＩ）のインスタンスであり、ＳｏｕｎｄＰｏｏｌオブジェクトはそのアプリケーションのためのオーディオリソースを管理および再生する。ＳｏｕｎｄＰｏｏｌオブジェクトは、デバイス内に保存されたリソースから、または、デバイスのファイルシステム内に保存されたファイルから、デバイスのメモリ内へとロード可能である複数のオーディオサンプルを含むことができる。ＳｏｕｎｄＰｏｏｌオブジェクトは、複数のオーディオサンプルをｒａｗ １６−ｂｉｔのＰＣＭモノまたはステレオバッファにデコードすることができる。フローは３１５に進む。３１５において、他のオーディオオブジェクトがアプリケーションによって生成され、ここで他のオーディオオブジェクトは他のオーディオのＡＰＩのインスタンスである。他のオーディオオブジェクトはまた、オーディオサンプルを１６−ｂｉｔのＰＣＭオーディオバッファにデコードすることができる。フローは３２０に進む。３２０において、ＡｕｄｉｏＴｒａｃｋオブジェクトは、ＳｏｕｎｄＰｏｏｌオブジェクトまたは他のオーディオオブジェクトのうちの１つのいずれかによって生成される。ＡｕｄｉｏＴｒａｃｋオブジェクトは、１つ以上のＰＣＭオーディオバッファを受信し、かつ１つ以上のＰＣＭオーディオバッファを流すように構成される。

【0026】

フローは３２５に進む。３２５において、リバーブオブジェクトが生成される。リバーブオブジェクトはリバーブモジュール３０１のインスタンスであり、ここでリバーブオブジェクトは、図２に関連して上で記載したように、ＡｕｄｉｏＴｒａｃｋオブジェクトによって送信されたＰＣＭオーディオバッファの１つ以上のオーディオデータフレームを処理するように構成される。フローは３３０に進む。３３０において、リバーブオブジェクトの１つ以上の設定が設定される。リバーブの設定の例としては、触覚変換をイネーブル／ディセーブル、メディアのために触覚変換をイネーブル／ディセーブル、３つの選択肢（例えば、弱、中、強）から触覚変換の強さを選択、ならびに、触覚変換がイネーブルされる１つ以上のアプリケーションを（例えばリストから）選択、が挙げられる。特定の実施形態において、上述の設定は拡張マークアップ言語（「ＸＭＬ」）のファイル内に保存される。上述の設定はＸＭＬファイルから読み出されることができ、かつリバーブオブジェクト内に保存されることができ、ここでリバーブオブジェクトは、特定のアプリケーションについてイネーブルでき、かつ他のアプリケーションについてディセーブルできる。特定の実施形態において、強さ（ｓｔｒｅｎｇｔｈ）、密度（ｄｅｎｓｉｔｙ）、および極端さ（ｓｈａｒｐｎｅｓｓ）として同定される３つの値は、３つの要因：（１）強さの設定（例えば、弱、中、および強）、（２）触覚テーマ（触覚効果を用いてユーザインターフェースイベントをマッピングする）、および（３）アクチュエータタイプ、に基づく。強さ、密度、および極端さは、リバーブオブジェクト内で生成されかつ保存できる。フローは３３５に進む。３３５において、ブームボックスオブジェクトがリバーブオブジェクトによって生成される。ブームボックスオブジェクトは、図２に関連して上で記載したように、ブームボックスモジュール３０２のインスタンスであり、ここでブームボックスオブジェクトは、リバーブオブジェクトからオーディオデータフレームを受信し、オーディオデータフレームの最大値を生成し、オーディオデータフレームの最大値をリバーブオブジェクトに送信し、オーディオデータフレームを、フィルタリングされるために、ＩＩＲフィルタ３０３に送信し、正弦波の周期的なキャリア周波数を生成し、生成された正弦波の周期的なキャリア周波数と、フィルタリングされたオーディオデータフレームとをミキシングするように構成される。特定の実施形態において、リバーブオブジェクト内で生成および保存された強さおよび密度の値はまた、ブームボックスオブジェクト内で保存可能である。

【0027】

フローは３４０に進む。３４０において、リバーブオブジェクトは、ＡｕｄｉｏＴｒａｃｋオブジェクトから受信されたＰＣＭオーディオバッファのオーディオデータフレームを、ブームボックスオブジェクトに送信する。フローは３４５に進む。３４５において、ブームボックスオブジェクトは、オーディオデータフレーム内に含まれるデータをサンプリングする。このようなサンプリングは、図４〜図７に関連してより詳細に記載される。フローは３５０に進む。３５０において、ブームボックスオブジェクトは、オーディオデータフレーム内に含まれるデータを、単一の電圧値（すなわち最大値）へと翻訳する。このような翻訳はまた、図４〜図７に関連してより詳細に記載される。ブームボックスオブジェクトは次いで、単一の電圧値をリバーブオブジェクトに戻す。

【0028】

フローは３５５に進む。３５５において、リバーブオブジェクトは閾値処理（ｔｈｒｅｓｈｏｌｄｉｎｇ）のタスクを実行する。より詳細には、リバーブオブジェクトは、ブームボックスオブジェクトから受信されたオーディオデータフレームの最大値が、特定の閾値よりも大きいかどうかを決定する。戻された最大値はまず、力値へと、線形にマッピングされ、一実施形態において、この力値は０〜１０，０００の間で変化し得る。例えば、閾値は１，０００として特定されてよい。この例において、力の値が１，０００よりも大きい場合、オーディオデータフレームは、その後にアクチュエータに送信されるために、オーディオバッファに書き込まれる。力の値が１，０００未満または１，０００に等しい場合、オーディオデータフレームは「ドロップ」され（すなわち、オーディオバッファに書き込まれない）、その後にアクチュエータに送信されない。従って、本実施形態によれば、全てのオーディオデータフレームが必ずしもアクチュエータにおいて再生されるわけではない。フローは３６０に進む。３６０において、リバーブオブジェクトは、オーディオデータフレームが３５５において「ドロップ」されなかったと想定して、オーディオバッファからオーディオデータフレームを読み出す。

【0029】

フローは３６５に進む。３６５において、リバーブオブジェクトは、オーディオデータバッファ内に保存されたオーディオデータフレームをブームボックスオブジェクトに送信する。フローは３７０に進む。３７０において、ブームボックスオブジェクトは、例えば、８ＫＨｚモノオーディオで、オーディオデータフレームをリサンプリングする。ブームボックスオブジェクトはその後リサンプリングされたオーディオデータフレームをＩＩＲフィルタ３０３に送信する。フローは３７５に進む。３７５において、ＩＩＲフィルタ３０３は、例えば５００Ｈｚで、受信されたオーディオデータフレームをローパスフィルタに介させる。この例において、オーディオデータフレームをローパスフィルタに介させることによって、ＩＩＲフィルタ３０３は、オーディオデータフレーム内で、低周波数信号（例えば０〜５００Ｈｚ）の単一の周波数帯でフィルタリングする。ＩＩＲフィルタ３０３はその後、ローパスフィルタを介したオーディオデータフレームをブームボックスオブジェクトに戻す。代替の実施形態において、ＩＩＲフィルタ３０３はフィルタではなく、変換モジュール（例えば、ＤＳＰプロセス、状態機械、または他の種類のプログラムロジック）である。これらの代替の実施形態において、変換モジュールは、受信されるオーディオデータフレームを新しいオーディオデータフレームに変換することができ、ここで変換は必ずしもフィルタリング変換ではない。

【0030】

フローは３８０に進む。３８０において、ブームボックスオブジェクトは、フィルタリングされたオーディオデータフレーム内に含まれるオーディオデータ信号をブーストする。オーディオデータ信号をブーストすることは、定数によって、オーディオデータ信号の全てのＰＣＭ値を乗算することを含み得る。フローは３８５に進む。３８５において、ブームボックスオブジェクトは、アクチュエータの共振周波数または任意の他の所望される周波数にて、正弦波のキャリア波形（または、「正弦波の周期的なキャリア周波数」または「正弦波」として同定される）を生成し、かつ、正弦のキャリア波形と、フィルタリングされたオーディオデータフレーム内に含まれるオーディオデータ信号とをミキシングする。より詳細には、ブームボックスオブジェクトは、Ａとして同定される最大値（すなわち大きさ、振幅）について、フィルタリングされたオーディオデータフレームをスキャンする。次いで、ブームボックスオブジェクトは、式 ｖａｌ＝ｓｉｎ（２^＊ｐｉ^＊ｆｒｅｑｕｅｎｃｙ^＊ｐｈａｓｅ）を用い、フィルタリングされたオーディオデータフレームの計算された正弦値を検索するために、正弦関数（例えば、Ｃ＋＋プログラミング言語のｓｉｎ（） ｆｕｎｃｔｉｏｎ等）を利用し、式中、ｆｒｅｑｕｅｎｃｙはフィルタリングされたオーディオデータフレームの周波数であり、ｐｈａｓｅはフィルタリングされたオーディオデータフレームのフェーズである。次いで、ブームボックスオブジェクトは、計算された正弦値（すなわちｖａｌ）を、最大値、すなわちフィルタリングされたオーディオフレームの振幅（すなわちＡ）で乗算する。この計算は完全な正弦キャリア波形を生成する。ブームボックスオブジェクトは、次いで、ミキシングされた値を計算し、ここでミキシングされた値は、フィルタリングされたオーディオデータフレームと完全な正弦キャリア波形とのミックスを表す。より詳細には、ブームボックスオブジェクトは、式 ｆｉｎａｌ＝（ｍｉｘ^＊ｂｐＳａｍｐｌｅ）＋（（１−ｍｉｘ）^＊（Ａ^＊ｖａｌ））に従って、ミキシングされた値を計算し、式中、ｆｉｎａｌは、フィルタリングされたオーディオデータフレームと完全な正弦キャリア波形とのミックスを表しているミキシングされた値であり、ｂｐＳａｍｐｌｅは、フィルタリングされたオーディオデータフレームであり、ｍｉｘは０と１との間のデシマル値であり、Ａは最大値、すなわちフィルタリングされたオーディオフレームの振幅であり、ｖａｌは完全な正弦キャリア波形の計算された正弦値である。このように、本実施形態によれば、フィルタリングされたオーディオデータフレームと完全な正弦キャリア波形とのミックスは、フィルタリングされたオーディオデータフレームと完全な正弦キャリア波形とのミックスを表しているミキシングされた値（すなわちｆｉｎａｌ）が１を超えることがないことを保証することによって正規化（ノーマライズ）される。代わりに、フィルタリングされたオーディオデータフレーム（すなわちｂｐＳａｍｐｌｅ）が、最大値、すなわちフィルタリングされたオーディオフレーム（すなわちＡ）の振幅と、完全な正弦キャリア波形（すなわちｖａｌ）の計算された正弦値との積に単に加えられた場合、その結果は、過度の強さの、所望されない、かつノイズのある触覚信号を生じる。これは、上述したように、フィルタリングされたオーディオデータフレームと完全な正弦キャリア波形とのミックスを正規化することによって回避することができる。ブームボックスオブジェクトは次いで、フィルタリングされたオーディオデータフレームと完全な正弦キャリア波形とのミックスをリバーブオブジェクトに戻す。他の実施形態において、複数の同時のキャリア信号（異なる周波数で）は、高帯域幅の出力信号を生成するために用いられてよい。これらの実施形態において、個々のキャリアの合計は、本明細書で提示されるアルゴリズムの拡張を用いて実行される。

【0031】

フローは３９０に進む。３９０において、リバーブオブジェクトは、フィルタリングされたオーディオデータフレームと完全な正弦キャリア波形とのミックスを用いて、アクチュエータにて波形効果を再生する。アクチュエータにて波形効果を再生することにより、リバーブオブジェクトは、アクチュエータに触覚効果を生成させる。

【0032】

前述したように、触覚変換モジュール（例えば図１の触覚変換モジュール１６など）はＰＣＭオーディオデータバッファ内に含まれるオーディオ信号を処理する。また、上述したように、オーディオ信号の処理は、ＰＣＭオーディオデータバッファの各オーディオデータをサンプリングすること、ＰＣＭオーディオデータバッファの各オーディオデータフレームについて最大値を計算すること、およびマグニチュードフィルタリングを含む。オーディオ信号のこのような処理をここでさらに詳細に記載する。

【0033】

特定の実施形態によれば、オーディオ信号のエンベロープがまず抽出される。エンベロープは、オリジナルのオーディオ信号またはフィルタリングされたバージョンのオリジナルのオーディオ信号の周波数全てを用いて抽出できる。しかしながら、エンベロープ自体は、オリジナルのオーディオ信号と同じ周波数コンテンツを有さない。

【0034】

一実施形態において、オーディオデータフレームはオーディオ信号からとられる。１つの例として、オーディオデータフレームは１ｍｓのフレーム長を有してよい。別の例において、オーディオデータフレームは１０ｍｓのフレーム長を有してもよい。１ｍｓのオーディオデータフレームは５００Ｈｚより上の周波数のエンベロープをキャプチャするが、より低い周波数はキャプチャされず、すなわち「リーク」される（ｌｅａｋ ｔｈｒｏｕｇｈ）。１０ｍｓのフレームは５０Ｈｚより上の周波数のエンベロープをキャプチャする等。一実施形態において、フレームにおける各サンプルの絶対値が計算される。代替の実施形態において、絶対値ではなく、フレームにおける各サンプルの平方が計算される。このような処理は触覚変換モジュール（例えば図１の触覚変換モジュール１６等）によって実行されるオーディオデータフレームのサンプリングを構成する。

【0035】

絶対サンプル値（または、代替の実施形態における平方したサンプル値）の最大値「Ｖ_１」が計算される。最大値「Ｖ_１」は次いで、図４に関連して以下で記載するように、線形変換関数を用いて変換可能である。

【0036】

図４は本発明の一実施形態に係る、出力値の範囲をコントロールするように適合された線形変換関数４００を図示する。本実施形態によれば、線形変換関数４００は、図４に示すように、新たな値「Ｖ_２」を得るために、出力値「Ｖ_１」の範囲をコントロールするように適合可能である。図示の実施形態によれば、「ｘ_０」は、例えば［２．．２０］のように、特定の範囲内で可変である。「ｘ_０」は、新たな値「Ｖ_２」に変換される最小値「Ｖ_１」を規定する。「ｙ_ｍａｘ」は、例えば例［６０．．２５５］のように、特定の範囲内で可変である。「ｙ_ｍａｘ」は、最大変換値「Ｖ_２」を規定する。「Ｖ_１」が「ｘ_０」未満か「ｘ_０」と等しい場合、出力値「Ｖ_２」は０に等しい。「Ｖ_１」が「ｘ_０」より大きい場合、出力値「Ｖ_２」は、関数の傾き分だけ、「Ｖ_１」を乗算することにより得られる。「Ｖ_２」は固定され、「Ｖ_ｍａｘ」よりも大きくなることはできない。代替の実施形態において、（ｘ_０，ｙ_０）および（ｘ_１，ｙ_ｍａｘ）さらに概略的なマッピングもまた用いることができる。このような処理は、触覚変換モジュール（図１の触覚変換モジュール１６等）によって実行されたオーディオデータフレームの最大値を計算することを構成する。

【0037】

このように、本実施形態によれば、オーディオ信号のエンベロープが触覚信号の振幅にマッピングされ、ここで触覚信号の振幅はフィルタリングされている。代替の実施形態において、オーディオ信号のエンベロープがまずフィルタリングでき、次いで、オーディオ信号のフィルタリングされたエンベロープが、触覚信号の振幅にマッピング可能である。

【0038】

触覚変換モジュール（例えば図１の触覚変換モジュール１６等）によって実行されるマグニチュードフィルタリングがここでさらに詳細に記載される。触覚効果のマグニチュード（または強さ）「Ｖ_３」は、前述の値「Ｖ_２」を用いて計算される。特定の実施形態において、「Ｖ_３」は周波数にマッピングすることができる。他の実施形態において、「Ｖ_３」は、周波数値のセットにマッピングすることができる。反復「ｉ」の「Ｖ_２」が反復「ｉ−１」の「Ｖ_２」よりも小さい場合、出力「Ｖ_３」はゼロまたは一部の他の小さい値に設定でき、あるいは、その出力は変わらないまま（「Ｖ_３」＝「Ｖ_２」）である。この特定の技術は、触覚イベントを表す信号のピーク値をキャプチャすることができ、かつ、その触覚イベントを独立した触覚効果に自動的に関連付けることができる。この技術はまた、次の触覚イベントが再生される前にアクチュエータを落ち着かせるために用いられることができ、従って、多すぎる触覚情報でユーザを飽和させることを回避することができる。代替的な実施形態においては、反復「ｉ」の「Ｖ_２」が反復「ｉ−１」の「Ｖ_２」よりも小さい場合、ゼロへの極端なドロップではなく平滑な低下が利用可能である。０％〜１００％の範囲の「極端さ」のパラメータは「Ｖ_２」：Ｖ_３＝Ｖ_２×極端さ／ｍに適合される低下の量を規定するために用いられることができ、式中、「ｍ」は、１から始まる整数除数（ｉｎｔｅｇｅｒ ｄｉｖｉｓｏｒ）であり、反復「ｉ」の「Ｖ_２」が反復「ｉ−１」の「Ｖ_２」より小さい限り、インクリメントする。本実施形態によれば、「ｍ」は、反復「ｉ」の「Ｖ_２」が反復「ｉ−１」の「Ｖ_２」よりも大きいか、またはそれに等しい場合、言い換えれば、「Ｖ_３」＝「Ｖ_２」である場合、１にリセットされる。特定の実施形態において、リバーブオブジェクト内に生成および保存される極端さの値は極端さのパラメータとして用いられる。

【0039】

図５は、本発明の一実施形態に係る、デジタルオーディオ信号に基づいて生成された触覚効果の大きさ（マグニチュード）の例示的計算５００を示す。図５は、４４１００Ｈｚにてサンプリングされたオーディオ信号５１０、２０ｍｓのフレーム長について計算された最大値５２０、およびマグニチュードフィルタリングによって得られたパルス５３０を図示する。本実施形態によれば、パルス５３０はオーディオ信号５１０のエンベロープをキャプチャし、従って、パルス５３０はこの情報を、１つ以上の触覚効果を介してユーザに運ぶことができる。

【0040】

図６は、本発明の一実施形態に係る、デジタルオーディオ信号のエンベロープの例示的計算６００を図示する。図６は、オーディオ信号６１０、オーディオ信号６１０の絶対値をローパスフィルタに介させることによって得られたエンベロープ６２０、ならびに、２０ｍｓの場合に、特定のフレームに亘る絶対値の最大値を計算するエンベロープ値６３０を図示する。

【0041】

特定のｍｓ時間期間の各フレームは、周波数ドメインにおいて処理される。従って、特定の実施形態において、フレームの高速フーリエ変換（ＦＦＴ）が、周波数コンテンツを抽出するために用いられ得る。他の実施形態において、バンドパスフィルタはその周波数コンテンツを抽出するために用いられ得る。

【0042】

一実施形態において、フレーム情報は、バス周波数または低周波数（例えば、２００Ｈｚ未満）、中程度の周波数（例えば、２４０Ｈｚ〜４０００Ｋｈｚの間）、および高周波数（例えば、４４００ＫＨｚ以上）に分けられることができ、ここで中程度の周波数コンテンツおよび高周波数コンテンツは、その信号のコンテンツを用いて抽出される。

【0043】

図７は、本発明の一実施形態に係る、周波数コンテンツに基づくデジタルオーディオ信号のエンベロープの例示的な計算７００を図示する。本実施形態によれば、いったんオーディオデータフレームが上述のように処理されると、最大値が得られる。実際、１つは低周波数帯域、１つは中程度の周波数帯域、１つは高周波数帯域で、３つの最大値が得られる。図７に示すように、グラフ７１０は、未処理の最大値（オーディオ信号全体に基づく）を表し、グラフ７２０は、オーディオ信号の低周波数範囲に対応する最大値を表し、グラフ７３０はオーディオ信号の中程度の周波数範囲に対応する最大値を表し、グラフ７４０はオーディオ信号の高周波数範囲に対応する最大値を表す。

【0044】

本実施形態によれば、信号の処理が開始されると、低周波数帯域（すなわちグラフ７２０）および高周波数帯域（すなわちグラフ７４０）における周波数値よりも大きい最大値が得られることを前提として、最初のフレームは、さらに中程度の周波数コンテンツ（すなわちグラフ７３０）を含む。

【0045】

本実施形態によれば、触覚効果は、フレームのコンテンツ周波数が以前のフレームの周波数コンテンツと異なる場合、再生可能である。図７に示すように、触覚効果は、矢印７０１〜７０７により指摘される位置において再生される。

【0046】

代替の実施形態において、この技術のバリエーションは、以下：未処理のフレームの最大マグニチュード；周波数帯域に対応する最大マグニチュード；最初のフレームについてのみＴｏｕｃｈＳｅｎｓｅソフトウェアにおいて許可された最大マグニチュード、のようなマグニチュードを用いて、全ての周波数変換におけるパルスを再生することを含むことができる。

【0047】

特定の代替の実施形態において、続くフレームが同じ周波数コンテンツを有する場合、：未処理のフレームのマグニチュードが再生可能である；または、処理されたフレームのマグニチュードが再生可能である；または、一定の振動、おそらく小が、フレームが同じ周波数コンテンツを有する限りで再生可能である；あるいは、マグニチュードは、周波数帯域におけるパワーコンテンツに基づいて可変である。

【0048】

特定の実施形態において、異なる触覚効果は、異なる周波数コンテンツを有するフレームが見出された場合、再生可能である。

【0049】

さらに、音響の人間による知覚は線形ではなく、その音響の周波数に依存する。より詳細には、人間は、高周波数よりも低周波数により敏感である。性別および年齢もまた知覚に影響を及ぼす。従って、特定の実施形態において、特定の周波数をブーストする補償係数（要因）が存在し得る。ブースト係数は、音響の人間による知覚、またはユーザの好み（一部の周波数帯域が手動で強化される）に基づき得る。ユーザが音響に対してそれほど敏感ではないことが知られている場合、一般にソフトウェアは高周波数コンテンツを強化することができる。これにより、特定の帯域についての触角効果が、より強い強さとなることができ、従って、ユーザの聴覚系によって知覚および感知される一方で、十分なパワーを有していない場合のある音響を強化する。

【0050】

図８Ａは、本発明の一実施形態に係る、デジタルオーディオ信号がフィルタリングされる前の、デジタルオーディオ信号の振幅スペクトルの例示的な計算８００を図示する。例示的な計算８００において、デジタルオーディオ信号の周波数は、ｘ軸に沿って表され、デジタルオーディオ信号の各周波数におけるパワーの絶対値がｙ軸に沿って表される。図８Ａに示すように、一部のマグニチュードのパワーが全ての周波数に対して存在している。

【0051】

図８Ｂは、本発明の一実施形態に係る、デジタルオーディオ信号がフィルタリングされた後の、デジタルオーディオ信号の振幅スペクトルの例示的な計算８１０を図示する。上述したように、デジタルオーディオ信号は、特定のオーディオバッファ（例えば０〜５００Ｈｚ）における低周波数信号の単一の周波数帯域においてフィルタリングできる。例示的な計算８００に類似して、デジタルオーディオ信号の周波数は、ｘ軸に沿って表され、デジタルオーディオ信号の振幅の絶対値はｙ軸に沿って表される。しかしながら、図８Ｂに示すように、振幅は、低周波数信号（すなわち０〜５００Ｈｚ）の単一のフィルタリングされた周波数帯域に対してのみ存在する。

【0052】

特定の実施形態において、触覚変換システムのユーザは、音響−触覚変換アルゴリズムをカスタマイズすることができる。より詳細には、ユーザは、デジタルオーディオ信号が、ローパスフィルタ、ハイパスフィルタ、またはバンドパスフィルタを用いてフィルタリングされるか選択することができる。代替的に、あるいはフィルタのタイプをカスタマイズすることに加えて、ユーザは、事前に規定されたパラメータの間で選択するのではなく、フィルタのパラメータを特定することができる。これらの実施形態によれば、触覚変換システムは、グラフィカル・ユーザ・インターフェース内で、１つ以上のユーザ規定のパラメータを表示することができる。ユーザは、次いで、１つ以上のユーザ規定のパラメータから選択することができるか、あるいは、グラフィカル・ユーザ・インターフェースを用いて、１つ以上のユーザ規定のパラメータを特定することができる。例えば、ユーザは、ローパスフィルタ、バンドパスフィルタ、およびハイパスフィルタの中から、音響−触覚（ｓｏｕｎｄ−ｔｏ−ｈａｐｔｉｃ）効果変換アルゴリズムにおいて利用されるフィルタのタイプを選択することができる。別の例において、ユーザは１つ以上のカットオフ周波数を特定することができ、ここで、２５０〜５００Ｈｚの間の値の代わりに、ユーザは任意の値を特定することができる。さらに別の例において、ユーザは音響−触覚効果変換アルゴリズムにおいて用いられるゲインを特定することができる。

【0053】

特定の実施形態においては、事前に規定されたフィルタパラメータを利用するのではなく、触覚変換システムは、ユーザ規定のパラメータに基づいたランタイムでフィルタのパラメータを計算することができる。より詳細には、ユーザはフィルタのタイプを選択することができる。例えば、ユーザは、バタワース設計、ベッセル設計、またはチェビシェフ設計を選択することができ、ここで、各設計に対して、ユーザは、ローパスフィルタ、ハイパスフィルタ、バンドパスフィルタ、またはバンドストップフィルタを選択することができる。ユーザがチェビシェフ設計を選択した場合、ユーザはまたリップリを特定することができる。ユーザはまたフィルタの順序、およびサンプリングレートを特定することができる。ユーザがローパスフィルタまたはハイパスフィルタを選択した場合は、ユーザはまた１つのコーナー周波数を特定することができ、ユーザがバンドパスフィルタまたはバンドストップフィルタを選択した場合には、ユーザは２つのコーナー周波数を特定することができる。ユーザはまた、任意の追加のゼロ値、および、マグニチュードスケールの任意の下限値を選択することができる。さらに、ユーザはまた、フィルタが、双一次変換方法によって、または一致した（ｍａｔｃｈｅｄ）Ｚ変換方法によって設計されるかどうかを選択することができる。触覚変換システムは次いで、ユーザによって特定されたパラメータに基づいたランタイムにおいて、１つ以上のフィルタのパラメータを計算することができる。

【0054】

図９は、本発明の一実施形態に係る、触覚変換モジュール（例えば図１の触覚変換モジュール１６等）の機能性のフロー図を示す。９１０において、オーディオ信号のデータフレームが受信される。特定の実施形態において、オーディオ信号はスピーカに流されるので、オーディオ信号はインターセプトされる。また、特定の実施形態において、オーディオ信号はＰＣＭオーディオバッファである。フローは９２０に進む。

【0055】

９２０において、データフレームの最大値が生成される。特定の実施形態において、最大値は、データフレームの１つ以上のサンプル値を生成するために、データフレームをサンプリングすることによって生成され、ここで最大値は、１つ以上のサンプル値の最大値である。１つの実施形態において、１つ以上のサンプル値は絶対値である。代替の実施形態において、１つ以上のサンプル値は平方の値である。特定の実施形態において、最大値は、線形変換関数を用いて、オリジナルの最大値から変換される。フローは９３０に進む。

【0056】

９３０において、データフレームは変換される。特定の実施形態において、データフレームはバンドパスフィルタを利用し、バンドパスフィルタを介す。これらの実施形態において、データフレーム内の周波数信号の単一の周波数帯域はフィルタにかけられる。代替の実施形態において、データフレームはＩＩＲフィルタを用いてローパスフィルタにかけられる。これらの実施形態において、データフレーム内の周波数信号の単一の周波数帯域はフィルタリングできる。例えば、０〜５００Ｈｚの帯域がフィルタリングできる。特定の実施形態において、データフレームが変換される前に、データフレームはリサンプリングされる。特定の実施形態において、データフレームが変換された後、データフレームに含まれるデジタルオーディオ信号はブーストされる。フローは９４０に進む。

【0057】

９４０において、少なくとも１つの正弦キャリア波形が、変換されたデータフレームの最大値に基づいて生成される。特定の実施形態において、変換されたデータフレームはスキャンされ、その変換されたデータフレームの最大値が決定される。次に、変換されたデータフレームの周波数、および変換されたデータフレームのフェーズに基づいて、変換されたデータフレームの計算された正弦値を検索するために、正弦関数が用いられる。その後、計算された正弦値は、少なくとも１つの正弦キャリア波形を生成するために、変換されたデータフレームの最大値によって乗算される。

【0058】

９５０において、変換されたデータフレームは、変調されたデータフレームを生成するために、少なくとも１つの正弦キャリア波形を用いてミキシングされる。特定の実施形態において、変換されたデータフレームは、変換されたデータフレームと少なくとも１つの正弦キャリア波形とのミックスが正規化される式に従い、少なくとも１つの正弦キャリア波形を用いてミキシングされる。

【0059】

９６０において、触覚信号は、最大値および変調されたデータフレームに基づいて生成される。特定の実施形態において、最大値は、触覚信号が生成されるかどうかを決定し、変調されたデータフレームは触覚信号の精度を規定する。最大値が触覚信号が生成されるかどうかを決定する特定の実施形態において、触覚信号は、最大値が特定された閾値よりも大きい場合にのみ生成される。フローは９７０に進む。

【0060】

９７０において、触覚信号は、１つ以上の触覚効果を生成するために、アクチュエータを介して送信される。特定の実施形態において、触覚信号は波形効果である。また、特定の実施形態において、触覚信号を生成および送信することはさらに、パラメータとして、変調されたデータフレームを、触覚効果再生モジュールのアプリケーションプログラミングインターフェースに回すことを含む。

【0061】

従って、一実施形態によれば、触覚変換システムは、オーディオ信号の一部であるオーディオデータフレームをインターセプトし、そのオーディオデータフレームを触覚信号に変換し、ここで各オーディオデータフレームの最大値は、触覚信号の波形を規定するために、各フィルタリングされたオーディオデータフレームを用いてミキシングされた正弦波の周期的なキャリア周波数を規定し、かつ、アクチュエータを介して、その変換された触覚信号を再生して、触覚効果を得る。触覚変換システムによって実行される各オーディオデータフレームの変調は、アクチュエータ自体の内で感じられる精度および現実感を非常に見せ、その結果、アクチュエータにおいて再生される触覚信号にさらに柔軟性が生じる。

【0062】

本明細書を通して記載された本発明の特徴、構造、または特性は、１つ以上の実施形態において任意の適切な方法において組み合わされてよい。例えば、「一実施形態」、「一部の実施形態」、「特定の実施形態」、「特定の実施形態（複数）」、または他の類似の言語の使用は、本明細書を通じて、実施形態に関連して記載された特定の特徴、構造、または特性が、本発明の少なくとも１つの実施形態に含まれ得るという事実に言及している。従って、「一実施形態」、「一部の実施形態」、「特定の実施形態」、「特定の実施形態（複数）」の言い回し、または他の類似の言語の登場は、これら全てが、実施形態の同じ群のことを必ずしも言及しているのではなく、記載された特徴、構造、または特性は、１つ以上の実施形態において任意の適切な方法において組み合わされてよい。

【0063】

当業者は、上述した発明が、異なる順序におけるステップを用いて実施されてよく、および／または、記載された構成とは異なる構成における要素を用いて実施されてよいことを容易に理解する。それゆえ、本発明はこれらの好ましい実施形態に基づいて記載されているけれども、特定の修正、変更、および代替の構成が明白であり、他方で本発明の趣旨および範囲内にあることは、当業者にとって明白である。本発明の境界を決定するために、それゆえ、添付の特許請求の範囲に参照がなされるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】