特許 6321351 ストリームに依存しない音をハプティック効果に変換するシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6321351

(24)【登録日】2018年4月13日

(45)【発行日】2018年5月9日

(54)【発明の名称】ストリームに依存しない音をハプティック効果に変換するシステム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20180423BHJP

   G06F 3/16 20060101ALI20180423BHJP

【ＦＩ】

   G06F3/01 560

   G06F3/16 500

【請求項の数】15

【全頁数】19

(21)【出願番号】特願2013-222561(P2013-222561)

(22)【出願日】2013年10月25日

(65)【公開番号】特開2014-86093(P2014-86093A)

(43)【公開日】2014年5月12日

【審査請求日】2016年7月21日

(31)【優先権主張番号】13/661,140

(32)【優先日】2012年10月26日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】500390995

【氏名又は名称】イマージョン コーポレーション

【氏名又は名称原語表記】ＩＭＭＥＲＳＩＯＮ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100116872

【弁理士】

【氏名又は名称】藤田 和子

(72)【発明者】

【氏名】バティア サトヴィル シン

【審査官】 原 秀人

(56)【参考文献】

【文献】 特表２００９−５３２８０８（ＪＰ，Ａ）

【文献】 特開２０１２−１６８９４７（ＪＰ，Ａ）

【文献】 特開２００６−１６３５７９（ＪＰ，Ａ）

【文献】 特開２００２−２３２３１７（ＪＰ，Ａ）

【文献】 特開２０１１−１４１８９０（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００９／０２３１２７６（ＵＳ，Ａ１）

【文献】 特開２００５−２５１１３３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／１６

(57)【特許請求の範囲】

【請求項1】

一又はそれ以上のオーディオ信号のストリームを一又はそれ以上のハプティック効果に変換するコンピュータ実装方法であって、
前記オーディオ信号のストリームを受信するステップであって、前記ストリームは、一又はそれ以上のパラメータを含む、ステップと、
前記一又はそれ以上のパラメータの少なくとも１つのパラメータが、前記ストリームが前記ハプティック効果に変換されたことを示すかどうかを判定するステップと、
前記少なくとも１つのパラメータが、前記ストリームが前記ハプティック効果に変換されることを示すときに、前記ストリームに基づいてハプティック信号を生成し、前記少なくとも１つのパラメータが、前記ストリームが前記ハプティック効果に変換されることを示さないときに、前記ハプティック信号を生成しないステップと、
前記少なくとも１つのパラメータが、前記ストリームが前記ハプティック効果に変換されることを示すときに、前記ハプティック効果を生成するために前記ハプティック信号をアクチュエータに送信し、前記少なくとも１つのパラメータが、前記ストリームが前記ハプティック効果に変換されることを示さないときに、前記ハプティック信号をアクチュエータに送信しないステップと、を含む方法。

【請求項2】

前記オーディオ信号の複数のストリームを受信するステップであって、各ストリームは、一又はそれ以上のパラメータを含む、ステップと、
前記複数のストリームの各ストリームに対して、前記一又はそれ以上のパラメータの少なくとも１つのパラメータが、対応するストリームがハプティック効果に変換されることを示すかどうかを判定するステップであって、前記対応するストリームが前記ハプティック効果に変換されることを示す少なくとも１つのパラメータを含む一又はそれ以上のストリームが識別される、ステップと、
識別された前記一又はそれ以上のストリームのみに対して、各対応するストリームに基づいてハプティック信号を生成するステップと、
識別された前記一又はそれ以上のストリームのみに対して、各ハプティック効果を生成するために、各ハプティック信号を前記アクチュエータに送信するステップと、をさらに含む請求項１に記載の方法。

【請求項3】

前記一又はそれ以上のパラメータに基づいて前記ハプティック信号を構成するステップをさらに含む請求項１に記載の方法。

【請求項4】

前記一又はそれ以上のパラメータは、強度パラメータ、密度パラメータ、振幅パラメータ、周波数パラメータ、アクチュエータパラメータ又はフェールセーフパラメータの少なくとも１つを含み、
前記ハプティック信号の強度を構成するステップ、前記ハプティック信号の密度を構成するステップ、前記ハプティック信号の振幅を構成するステップ、前記ハプティック信号の周波数を構成するステップ、前記ハプティック信号が送信される一又はそれ以上の特定のアクチュエータを構成するステップ又はフェールセーフオペレーションを実行するステップの少なくとも１つをさらに含む請求項３に記載の方法。

【請求項5】

前記ハプティック信号を構成するステップは、前記ハプティック信号の生成前に行われる請求項３に記載の方法。

【請求項6】

前記ハプティック信号を構成するステップは、前記ハプティック信号の生成時に行われる請求項３に記載の方法。

【請求項7】

前記ハプティック信号を構成するステップは、前記ハプティック信号の生成後に行われる請求項３に記載の方法。

【請求項8】

前記オーディオ信号は、パルスコード変調オーディオバッファであり、前記ストリームは、パルスコード変調ストリームである請求項１に記載の方法。

【請求項9】

前記少なくとも１つのパラメータが、前記ストリームが前記ハプティック効果に変換されたことを示すかどうかに関わらずオーディオ効果を生成するために、前記オーディオ信号の前記ストリームをスピーカへ送信するステップをさらに含む請求項１に記載の方法。

【請求項10】

ストリームに依存しないハプティック変換モジュールを記憶するように構成されるメモリと、
前記メモリに記憶される前記ストリームに依存しないハプティック変換モジュールを実行するように構成されるプロセッサと、
一又はそれ以上のハプティック効果を出力するように構成されるアクチュエータと、を備え、
前記ストリームに依存しないハプティック変換モジュールは、
オーディオ信号のストリームを受信し、前記ストリームは、一又はそれ以上のパラメータを含み、
前記一又はそれ以上のパラメータの少なくとも１つのパラメータが、前記ストリームが前記ハプティック効果に変換されたことを示すかどうかを判定し、
前記少なくとも１つのパラメータが、前記ストリームが前記ハプティック効果に変換されることを示すときに、前記ストリームに基づいてハプティック信号を生成し、前記少なくとも１つのパラメータが、前記ストリームが前記ハプティック効果に変換されることを示さないときに、前記ハプティック信号を生成せず、
前記少なくとも１つのパラメータが、前記ストリームが前記ハプティック効果に変換されることを示すときに、前記ハプティック効果を生成するために前記ハプティック信号をアクチュエータに送信し、前記少なくとも１つのパラメータが、前記ストリームが前記ハプティック効果に変換されることを示さないときに、前記ハプティック信号をアクチュエータに送信しないように構成される、ハプティック変換システム。

【請求項11】

前記ストリームに依存しないハプティック変換モジュールは、さらに、
前記オーディオ信号の複数のストリームを受信し、各ストリームは、一又はそれ以上のパラメータを含み、
前記複数のストリームの各ストリームに対して、前記一又はそれ以上のパラメータの少なくとも１つのパラメータが、対応するストリームがハプティック効果に変換されることを示すかどうかを判定し、前記対応するストリームが前記ハプティック効果に変換されることを示す少なくとも１つのパラメータを含む一又はそれ以上のストリームが識別され、
識別された前記一又はそれ以上のストリームのみに対して、各対応するストリームに基づいてハプティック信号を生成し、
識別された前記一又はそれ以上のストリームのみに対して、各ハプティック効果を生成するために、各ハプティック信号を前記アクチュエータに送信するように構成される、請求項１０に記載のハプティック変換システム。

【請求項12】

前記ストリームに依存しないハプティック変換モジュールは、さらに、前記一又はそれ以上のパラメータに基づいて前記ハプティック信号を構成するように構成される請求項１０に記載のハプティック変換システム。

【請求項13】

前記一又はそれ以上のパラメータは、強度パラメータ、密度パラメータ、振幅パラメータ、周波数パラメータ、アクチュエータパラメータ又はフェールセーフパラメータの少なくとも１つを含み、
前記ストリームに依存しないハプティック変換モジュールは、さらに、前記ハプティック信号の強度を構成する、前記ハプティック信号の密度を構成する前記ハプティック信号の振幅を構成する、前記ハプティック信号の周波数を構成する、前記ハプティック信号が送信される一又はそれ以上の特定のアクチュエータを構成する又はフェールセーフオペレーションを実行することの少なくとも１つを実行するように構成される請求項１２に記載のハプティック変換システム。

【請求項14】

前記オーディオ信号は、パルスコード変調オーディオバッファであり、前記ストリームは、パルスコード変調ストリームである請求項１０に記載のハプティック変換システム。

【請求項15】

プロセッサにより実行されたときに、請求項１から９のいずれか一項に記載の方法を実行させる命令を有するコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

一実施形態は、一般的な装置に関するものであり、特に、ハプティック効果を生成する装置に関する。

【背景技術】

【0002】

ハプティックは、力、振動及びモーションのようなハプティックフィードバック効果（すなわち、ハプティック効果）をユーザに与えることにより、ユーザの接触の検知を利用する触覚及び力フィードバック技術である。携帯装置、タッチスクリーン装置及びパーソナルコンピュータのような装置は、ハプティック効果を生成するように構成される。通常、ハプティック効果を生成可能な埋め込みハードウェア（例えば、アクチュエータ）への呼び出しは、装置のオペレーティングシステム（“ＯＳ”）内にプログラムされうる。これらの呼び出しは、プレイするためのハプティック効果を特定する。例えば、ユーザが、ボタン、タッチスクリーン、レバー、ジョイスティック、ホイール、又は他のコントローラ等を用いる装置とやり取りをするとき、当該装置のＯＳは、制御回路を介して、埋め込みハードウェアへプレイコマンドを送信することができる。埋め込みハードウェアは、その後、適切なハプティック効果を生成する。

【発明の概要】

【発明が解決しようとする課題】

【0003】

このような装置は、また、デジタルオーディオ信号のようなオーディオデータをプレイするように構成されうる。例えば、このような装置は、オーディオ部分を含む映画又はビデオゲームのようなビデオデータ又は歌のようなオーディオデータをプレイするように構成されたアプリケーションを含むことができる。ハプティックと同様に、（スピーカのような）オーディオ効果を生成することが可能な追加埋め込みハードウェアへの呼び出しは、装置のＯＳ内にプログラミングされうる。よって、装置のＯＳは、制御回路を介して追加埋め込みハードウェアへプレイコマンドを送信することができ、追加埋め込みハードウェアは、その後、適切なオーディオ効果を生成する。

【課題を解決するための手段】

【0004】

一実施形態は、オーディオ信号の一又はそれ以上のストリームを一又はそれ以上のハプティック効果に変換するシステムである。
前記システムは、前記オーディオ信号のストリームを受信し、前記ストリームは、一又はそれ以上のパラメータを含む。
前記システムは、さらに、前記一又はそれ以上のパラメータの少なくとも１つのパラメータが、ストリームがハプティック効果に変換されたことを示すかどうかを判定する。
前記システムは、さらに、前記少なくとも１つのパラメータが、前記ストリームが前記ハプティック効果に変換されたことを示す場合に、前記ストリームに基づいてハプティック信号を生成する。
前記システムは、さらに、前記少なくとも１つのパラメータが、前記ストリームが前記ハプティック効果に変換されたことを示す場合に、前記ハプティック効果を生成するためにアクチュエータに前記ハプティック信号を送信する。

【図面の簡単な説明】

【0005】

添付の図面と共に、好ましい実施形態の以下の詳細な説明から、さらなる実施形態、詳細、利点、及び変更が明らかとなるであろう。

【図1】図１は、本発明の一実施形態に係るハプティックフィードバックシステムのブロック図を示す。

【図2】図２は、本発明の一実施形態に係るハプティック変換システムのアーキテクチャ図を示す。

【図3】図３は、本発明の一実施形態に係る、オーディオ信号の複数のオーディオストリームを受信し、オーディオストリームを、一又はそれ以上のハプティック効果を出力するためにアクチュエータへ送信されるハプティック信号に選択的に変換するハプティック変換システムの一例を示す。

【図4】図４は、本発明の一実施形態に係る、ストリームに依存しないハプティック変換モジュールの機能のフロー図を示す。

【発明を実施するための形態】

【0006】

一実施形態は、複数のオーディオストリームを含むオーディオ信号を受信し、各オーディオストリーム内に含まれる一又はそれ以上のパラメータに基づいて複数のオーディオストリームのオーディオストリームが、ハプティック効果に変換されることを識別し、識別された各オーディオストリームに対してハプティック信号を生成し、一又はそれ以上のハプティック効果を生成するために一又はそれ以上のアクチュエータを通じて、生成されたハプティック信号をプレイすることができるハプティック変換システムである。
ハプティック変換システムは、識別されたオーディオストリームのみに対してハプティック信号を生成し、それにより、ハプティック変換のストリーム非依存性を提供することができる。
よって、一又はそれ以上のパラメータをオーディオ信号の各オーディオストリームに割り当てることにより、ハプティック変換システムのユーザは、オーディオ信号の各オーディオストリームのオーディオ トゥ ハプティック変換（ａｕｄｉｏ−ｔｏ−ｈａｐｔｉｃ ｃｏｎｖｅｒｓｉｏｎ、オーディオからハプティックへの変換）をオン又はオフにすることができる。
さらに、ハプティック変換システムは、各オーディオストリーム内に含まれる一又はそれ以上のパラメータに基づいて個々のオーディオストリームそれぞれに対して生成される各ハプティック信号を構成することができる。
各ハプティック信号の構成は、オーディオ トゥ ハプティック変換の前、最中又は後に行うことができる。
したがって、一又はそれ以上のパラメータをオーディオ信号の各オーディオストリームに割り当てることにより、ハプティック変換システムのユーザは、対応するオーディオストリームに対して生成されるハプティック信号を個別に構成することにより個々のオーディオストリームのそれぞれに対するオーディオ トゥ ハプティック変換を個々に構成することができる。
生成された信号が複数のアクチュエータを通じてプレイされる実施形態では、一又はそれ以上のパラメータは、一又はそれ以上の特定されたアクチュエータを通じてプレイされる、生成された信号を構成しうる少なくとも１つのアクチュエータパラメータを含みうる。

【0007】

図１は、本発明の一実施形態に係るハプティック変換システムのブロック図を示す。
一実施形態では、システム１０は、モバイル装置の一部分であり、システム１０は、モバイル装置のためにハプティック変換機能を提供する。
図では単一のシステムを示したが、システム１０の機能は、分散されたシステムとして実装されることができる。
システム１０は、情報を伝達するためのバス１２又は他の通信機構と、情報を処理するために、バス１２に接続されるプロセッサ２２と、を含む。
プロセッサ２２は、任意のタイプの一般的な又は特殊用途のプロセッサであってもよい。システム１０は、プロセッサ２２により実行される情報及び命令を記憶するメモリ１４をさらに含む。
メモリ１４は、ランダムアクセスメモリ（“ＲＡＭ”）、リードオンリーメモリ（“ＲＯＭ”）、磁気又は光ディスクのようなスタティックストレージ、又は任意のタイプのコンピュータ可読媒体の任意の組み合わせを含みうる。

【0008】

コンピュータ可読媒体は、プロセッサ２２によりアクセス可能であり、揮発性及び不揮発性媒体の両方、リムーバブル及びノンリムーバブル媒体、通信媒体、及びストレージ媒体を含む任意の取得可能な媒体であってもよい。
通信媒体は、搬送波又は他の伝送機構のような変調されたデータ信号におけるコンピュータ可読命令、データ構造、プログラムモジュール又は他のデータを含んでもよく、既存の技術の情報伝達媒体の任意の形態を含んでもよい。
ストレージ媒体は、ＲＡＭ、フラッシュメモリ、ＲＯＭ、ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ（“ＥＰＲＯＭ”）、ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ（“ＥＥＰＲＯＭ”）、レジスタ、ハードディスク、リムーバブルディスク、コンパクトディスクリードオンリーメモリ（“ＣＤ−ＲＯＭ”）、又は既存の技術の任意の他のストレージ媒体の形態を含んでもよい。

【0009】

一実施形態では、メモリ１４は、プロセッサ２２により実行されたときに、機能を提供するソフトウェアモジュールを記憶する。
モジュールは、一実施形態のモバイル装置の他の部分と同様に、システム１０にオペレーティングシステム機能を提供するオペレーティングシステム１５を含む。
モジュールは、以下に詳細を記載するように、オーディオ信号を一又はそれ以上のハプティック効果を生成するために用いられる一又はそれ以上のハプティック信号の一又はそれ以上のオーディオストリームへ変換するストリームに依存しない（ｓｔｒｅａｍ−ｉｎｄｅｐｅｎｄｅｎｔ）ハプティック変換モジュール１６を含む。
特定の実施形態では、ストリームに依存しないハプティック変換モジュール１６は、オーディオ信号を一又はそれ以上のハプティック効果を生成するために用いられる一又はそれ以上のハプティック信号の一又はそれ以上のオーディオストリームへ変換する特定の個別の機能を各々が提供する複数のモジュールを含みうる。
システム１０は、通常、Ｉｍｍｅｒｓｉｏｎ ＣｏｒｐｏｒａｔｉｏｎによるＩｎｔｅｇｒａｔｏｒ（登録商標）のような追加の機能を含むための一又はそれ以上の追加のアプリケーションモジュール１８を含む。

【0010】

システム１０は、リモートソースからデータを送信及び／又は受信する実施形態において、赤外線、無線、Ｗｉ−Ｆｉ又はセルラーネットワーク通信のようなモバイル無線通信を提供するために、ネットワークインターフェースカードのような通信装置２０をさらに含む。
他の実施形態では、通信装置２０は、イーサネット（登録商標）接続又はモデムのような有線通信を提供する。

【0011】

プロセッサ２２は、バス１２を介して、グラフィック描写又はユーザインターフェースをユーザへ表示する液晶ディスプレイ（“ＬＣＤ”）のようなディスプレイ２４にさらに接続される。
ディスプレイ２４は、タッチスクリーンのような、プロセッサ２２から信号を送受信するように構成される接触検知入力装置であってもよく、マルチタッチスクリーンであってもよい。

【0012】

システム１０は、一実施形態では、複数のアクチュエータ２６をさらに含む。
プロセッサ２２は、生成されたハプティック効果に関連付けられたハプティック信号を複数のアクチュエータ２６に送信し、次に、例えば振動触覚効果のようなハプティック効果を出力する。
アクチュエータ２６は、アクチュエータ回路を含む。アクチュエータ２６は、例えば、電気モータ、電磁気アクチュエータ、ボイスコイル、形状記憶合金、電気活性ポリマー、ソレノイド、偏心モータ（ｅｃｃｅｎｔｒｉｃ ｒｏｔａｔｉｎｇ ｍａｓｓ ｍｏｔｏｒ（“ＥＲＭ”））、リニア共振アクチュエータ（ｉｎｅａｒ ｒｅｓｏｎａｎｔ ａｃｔｕａｔｏｒ（“ＬＲＡ”））、圧電アクチュエータ、高帯域幅アクチュエータ、電気活性ポリマー（ｅｌｅｃｔｒｏａｃｔｉｖｅ ｐｏｌｙｍｅｒ（“ＥＡＰ”））アクチュエータ、静電触覚ディスプレイ、又は超音波振動発生器であってもよい。
別の実施形態では、システム１０は、アクチュエータ２６に加えて、一又はそれ以上の別のアクチュエータ（図１には図示せず）を含みうる。他の実施形態では、システム１０から離れた装置は、ハプティック効果を生成するアクチュエータを含み、ハプティックフィードバックシステム１０は、通信装置２０を通じて当該装置へ生成したハプティック効果信号を送信する。

【0013】

いくつかの実施形態では、システム１０は、一又はそれ以上のスピーカ２８をさらに含む。
プロセッサ２２は、スピーカ２８へオーディオ信号を送信してもよく、順次オーディオ効果を出力する。
スピーカ２８は、例えば、ダイナミックラウドスピーカ、エレクトロダイナミックラウドスピーカ、圧電ラウドスピーカ、磁気歪ラウドスピーカ、静電ラウドスピーカ、リボンプラナー磁気ラウドスピーカ、屈曲波ラウドスピーカ、フラットパネルラウドスピーカ、ヘイルエアモーショントランスデューサ、プラズマアークスピーカ、及びデジタルラウドスピーカであってもよい。

【0014】

図２は、本発明の一実施形態に係るハプティック変換システムのアーキテクチャ図を示す。
図示された実施形態では、ハプティック変換システムは、アプリケーション２１０と、モバイルプラットフォームアーキテクチャ２２０と、インターフェース２３０と、ハプティック変換ブロック２４０と、を含む。
アプリケーション２１０は、装置（例えば、モバイル装置）で実行されうるソフトウェアアプリケーションであり、オーディオ信号を生成するように構成される。
図示された実施形態では、アプリケーション２１０は、ユーザの入力を受信し、ユーザの入力に応じてオーディオ信号を生成し、オーディオ信号は、一又はそれ以上のオーディオストリームを含む。

【0015】

特定の実施形態では、オーディオ信号は、パルスコード変調（“ＰＣＭ”）オーディオ信号のようなデジタルオーディオ信号を含み、各ＰＣＭオーディオ信号は、一又はそれ以上のＰＣＭオーディオストリームを含む。
他の実施形態では、オーディオ信号は、Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ（“ＭＩＤＩ”）オーディオ信号のような構造ベースオーディオ信号（ｓｔｒｕｃｔｕｒｅ−ｂａｓｅｄ ａｕｄｉｏ ｓｉｇｎａｌ）を含み、各ＭＩＤＩオーディオ信号は、一又はそれ以上のＭＩＤＩオーディオデータストリームを含む。
さらに別の実施形態では、オーディオ信号は、ＭＰＥＧ−２ オーディオ レイヤーＩＩＩ（“ＭＰ３”）オーディオ信号のような周波数ドメインオーディオ信号を含み、各ＭＰ３オーディオ信号は、一又はそれ以上のＭＰ３オーディオデータストリームを含む。
さらに別の実施形態では、オーディオ信号は、当業者に既に知られている複数のオーディオストリームを有する他のオーディオフォーマットを含む。

【0016】

オーディオ信号の各オーディオストリームは、一又はそれ以上のパラメータを含みうる。以下により詳細に説明するように、一又はそれ以上のパラメータは、オーディオ信号の各オーディオストリームの処理をカスタマイズするためにインターフェース２３０により用いられうる。
一又はそれ以上のパラメータは、ハプティック変換を示すパラメータを含みうる。ハプティック変換を示すパラメータは、以下により詳細に説明するように、対応するオーディオストリームがハプティック効果に変換されたかどうかを示すことができる。
一又はそれ以上のパラメータは、また、一又はそれ以上のハプティックパラメータを含みうる。一又はそれ以上のハプティックパラメータは、オーディオストリームに基づいて生成されるハプティック信号を構成するために用いられることができ、よって、以下により詳細に説明するように、オーディオストリームに基づいて生成されるハプティック効果を構成するために用いられることができる。
ハプティック信号の構成は、ハプティック信号の生成の前、最中又は後に行うことができる。
一又はそれ以上のハプティックパラメータのそれぞれは、値を含むことができ、各値は、一又はそれ以上のハプティックパラメータのそれぞれに対応する。
このようなハプティックパラメータのそれぞれは、強度パラメータ（ハプティック信号の強度を構成するために用いられうる）、密度パラメータ（ハプティック信号の密度を構成するために用いられうる）、振幅（ｍａｇｎｉｔｕｄｅ）パラメータ（ハプティック信号の振幅を構成するために用いられうる）、周波数パラメータ（ハプティック信号の周波数を構成するために用いられうる）、アクチュエータパラメータ（一又はそれ以上の特定されたアクチュエータへ送信されるハプティック信号を構成するために用いられうる）、又はフェールセーフパラメータ（一又はそれ以上の無効なハプティックパラメータの場合に実行するためのフェールセーフオペレーションを示すために用いられる）。

【0017】

図示された実施形態では、アプリケーション２１０は、インターフェース２３０を通じて、オーディオ信号の一又はそれ以上のオーディオストリームをモバイルプラットフォームオーディオアーキテクチャ２２０へ送信する。
モバイルプラットフォームオーディオアーキテクチャ２２０は、オーディオ信号の一又はそれ以上のオーディオストリームを一又はそれ以上のスピーカ（図２には図示せず）へ送信するように構成されるモジュール（又はモジュールの集合体）である。
モバイルプラットフォームオーディオアーキテクチャ２２０は、オーディオ信号の一又はそれ以上のオーディオストリームを一又はそれ以上のスピーカへストリームする機能を提供しうる一又はそれ以上のアプリケーションプログラミングインターフェース（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍｍｉｎｇ ｉｎｔｅｒｆａｃｅｓ （“ＡＰＩｓ”））を含みうる。
一実施形態では、モバイルプラットフォームオーディオアーキテクチャ２２０は、モバイル装置のＡｎｄｒｏｉｄ（登録商標）オペレーティングシステムのＡｎｄｒｏｉｄ ＡｕｄｉｏＴｒａｃｋモジュール（又はモジュールの集合体）である。
この実施形態では、モバイルプラットフォームオーディオアーキテクチャ２２０は、一又はそれ以上のＡｕｄｉｏＴｒａｃｋ ＡＰＩｓを含むことができ、各ＡｕｄｉｏＴｒａｃｋ ＡＰＩは、アプリケーション２１０がプレイするように構成されるオーディオ信号の異なるオーディオストリームを示すことができ、各ＡｕｄｉｏＴｒａｃｋ ＡＰＩは、一又はそれ以上のスピーカでオーディオストリームをプレイするために呼び出され（又は実行され）うる。
図示された実施形態では、各ＡｕｄｉｏＴｒａｃｋ ＡＰＩは、以下により詳細に説明するように、インターフェース２３０内の対応するＡＰＩにより呼び出されうる。各ＡｕｄｉｏＴｒａｃｋ ＡＰＩが呼び出されたとき、各ＡｕｄｉｏＴｒａｃｋ ＡＰＩは、アプリケーション２１０によりプレイされるオーディオ信号のオーディオストリームをパスすることができ、各ＡｕｄｉｏＴｒａｃｋ ＡＰＩは、一又はそれ以上のスピーカで対応するオーディオストリームをプレイすることができる。
よって、図示された実施形態では、モバイルプラットフォームオーディオアーキテクチャ２２０は、アプリケーション２１０により送信されたオーディオ信号の一又はそれ以上のオーディオストリームを受信し、それらを一又はそれ以上のスピーカへ送信する。

【0018】

インターフェース２３０は、モバイルプラットフォームオーディオアーキテクチャ２２０を拡張するように構成されるモジュール（又はモジュールの集合体）であり、（ａ）オーディオ信号のオーディオストリームがオーディオ トゥ ハプティック変換を用いるか判定し、（ｂ）オーディオ トゥ ハプティック変換を用いて各オーディオストリームに対してオーディオ トゥ ハプティック変換を構成する機能を提供する。
実施形態によれば、インターフェース２３０内のＡＰＩは、モバイルプラットフォームオーディオアーキテクチャ２２０又はハプティック変換ブロック２４０のいずれかのＡＰＩよりも抽出が高いレベルにある。これは、インターフェース２３０内のＡＰＩが、オーディオ信号のオーディオストリーム内に含まれる一又はそれ以上のパラメータに基づいて、モバイルプラットフォームオーディオアーキテクチャ２２０内のＡＰＩ又はハプティック変換ブロック２４０内のＡＰＩを呼び出すことができるためである。
一実施形態では、インターフェース２３０は、（ＨａｐｔｉｃＴｒａｃｋ ＡＰＩｓとして識別される）一又はそれ以上のＡＰＩｓを含むことができ、インターフェース２３０の各ＨａｐｔｉｃＴｒａｃｋ ＡＰＩは、アプリケーション２１０がプレイするように構成されるオーディオ信号のオーディオストリームを示すことができ、インターフェース２３０の各ＨａｐｔｉｃＴｒａｃｋ ＡＰＩは、モバイルプラットフォームオーディオアーキテクチャ２２０（例えばＡｕｄｉｏＴｒａｃｋ ＡＰＩ）内のＡＰＩに対応する。
実施形態によれば、各ＨａｐｔｉｃＴｒａｃｋ ＡＰＩは、一又はそれ以上のスピーカでオーディオストリームをプレイするためにアプリケーション２１０により呼び出されることができ、潜在的に、オーディオストリームをハプティック信号に変換し、一又はそれ以上のハプティック効果を生成するために一又はそれ以上のアクチュエータ（図２には図示せず）でハプティック信号をプレイすることができる。

【0019】

アプリケーション２１０がインターフェース２３０のＨａｐｔｉｃＴｒａｃｋ ＡＰＩを呼び出したとき、一実施形態によれば、アプリケーション２１０は、ハプティック信号のオーディオストリームをパスし、オーディオストリームは、一又はそれ以上のパラメータを含む。
パラメータの１つは、ハプティック変換を示すパラメータであってもよい。前述したように、ハプティック変換を示すパラメータは、対応するオーディオストリームがハプティック効果に変換されたかどうかを示すことができる。

【0020】

実施形態によれば、インターフェース２３０のＨａｐｔｉｃＴｒａｃｋ ＡＰＩは、モバイルプラットフォームオーディオアーキテクチャ２２０の対応するＡｕｄｉｏＴｒａｃｋ ＡＰＩを呼び出すことができ、オーディオストリームを対応するＡｕｄｉｏＴｒａｃｋ ＡＰＩへ移動（ｐａｓｓ）する。
ＡｕｄｉｏＴｒａｃｋ ＡＰＩは、その後、前述した一又はそれ以上のスピーカでオーディオストリームをプレイすることができる。
ＨａｐｔｉｃＴｒａｃｋ ＡＰＩは、また、一又はそれ以上のパラメータを分析することもでき、ハプティック変換を示すパラメータが、オーディオストリームがハプティック効果に変換されたことを示す値を含むかどうかを判定することができる。
ハプティック変換を示すパラメータが、オーディオストリームがハプティック効果に変換されたことを示す値を含む場合には、ＨａｐｔｉｃＴｒａｃｋ ＡＰＩは、以下により詳細に説明するように、オーディオストリームをハプティック効果に変換するためにハプティック変換ブロック２４０を呼び出すことができる。
ハプティック変換を示すパラメータが、オーディオストリームがハプティック効果に変換されたことを示す値を含む場合には、ＨａｐｔｉｃＴｒａｃｋ ＡＰＩは、ハプティック変換ブロック２４０を呼び出さず、オーディオストリームは、ハプティック効果に変換されない。

【0021】

特定の実施形態では、インターフェース２３０は、モバイルプラットフォームオーディオアーキテクチャ２２０に動作可能に接続され、オーディオストリームがハプティック効果に変換されるかどうかを判定しうるインターフェースである。
これらの実施形態のいくつかでは、インターフェース２３０は、また、どのようにオーディオストリームがハプティック効果に変換されるかを構成することもできる。
これらの実施形態のいくつかでは、構成は、ハプティック効果を生成するために、ハプティック効果を示すハプティック信号を送るためのアクチュエータを決定することを含むことができる。

【0022】

さらに、いくつかの実施形態では、インターフェース２３０は、また、オーディオストリーム内に含まれる一又はそれ以上のパラメータでエラー検出が行われることもできる。
例えば、インターフェース２３０は、一又はそれ以上のパラメータが無効（例えば、一又はそれ以上のパラメータが無効である値を含む）であるかどうかを判定することができる。パラメータの無効値の例は、予め設定された範囲外である強度パラメータ用の値、又は存在しないアクチュエータを示すアクチュエータパラメータ用の値を含むことができる。
インターフェース２３０が、一又はそれ以上のパラメータが無効であると判定した場合には、インターフェース２３０は、オーディオストリームをハプティック効果に変換するフェールセーフオペレーションを実行することができる。
フェールセーフオペレーションの一例は、デフォルトのオーディオ トゥ ハプティック変換を用いることである。
フェールセーフオペレーションの別の例は、オーディオストリームのオーディオ トゥ ハプティック変換を自動的にバイパスすることである。
一実施形態では、インターフェース２３０は、オーディオストリーム内に含まれるフェールセーフパラメータに基づいて実行するためにフェールセーフオペレーションを選択することができる。

【0023】

よって、一実施形態では、インターフェース２３０は、オーディオストリーム内に含まれる一又はそれ以上のパラメータの包括的な解釈を提供する。
実施形態によれば、一又はそれ以上のパラメータの数が有限であることができ、異なるＨａｐｔｉｃＴｒａｃｋ ＡＰＩは、オーディオストリーム内に含まれるパラメータの数及びタイプに応じて呼び出されうる。
また、一実施形態では、一又はそれ以上のパラメータは、ＡｕｄｉｏＴｒａｃｋ ＡＰＩへ送信されうる一又はそれ以上のパラメータの拡張（ｅｘｔｅｎｓｉｏｎ）でありうる。よって、ＡｕｄｉｏＴｒａｃｋ ＡＰＩへ送信されうる（パラメータの任意の組み合わせを含む）オーディオストリームは、また、ＨａｐｔｉｃＴｒａｃｋ ＡＰＩへ送信されうる。一実施形態では、一又はそれ以上のパラメータは、一又はそれ以上のオーディオパラメータ及び一又はそれ以上の追加パラメータを含むことができる。
一実施形態では、インターフェース２３０は、オーディオストリームで行われる一又はそれ以上のオペレーションを決定するために、一又はそれ以上のパラメータを解釈することの責任を担うことができる。

【0024】

ハプティック変換ブロック２４０は、オーディオストリームを受信し、オーディオストリームをハプティック信号に変換し、ハプティック効果を生成するために一又はそれ以上のアクチュエータでハプティック信号をプレイするように構成されるモジュール（又はモジュールの集合体）である。
ハプティック変換ブロック２４０により行われるオーディオ トゥ ハプティック変換処理のさらなる詳細は、“ＳＯＵＮＤ ＴＯ ＨＡＰＴＩＣ ＥＦＦＥＣＴ ＣＯＮＶＥＲＳＩＯＮ ＳＹＳＴＥＭ ＵＳＩＮＧ ＡＭＰＬＩＴＵＤＥ ＶＡＬＵＥ”という発明の名称の米国特許出願番号第１３／３６５，９８４号、“ＳＯＵＮＤ ＴＯ ＨＡＰＴＩＣ ＥＦＦＥＣＴ ＣＯＮＶＥＲＳＩＯＮ ＳＹＳＴＥＭ ＵＳＩＮＧ ＷＡＶＥＦＯＲＭ，”という発明の名称の米国特許出願番号第１３／３６６，０１０号、及び“ＳＯＵＮＤ ＴＯ ＨＡＰＴＩＣ ＥＦＦＥＣＴ ＣＯＮＶＥＲＳＩＯＮ ＳＹＳＴＥＭ ＵＳＩＮＧ ＭＵＬＴＩＰＬＥ ＡＣＴＵＡＴＯＲＳ，”という発明の名称の米国特許出願番号第１３／４３９，２４１に説明されており、その開示が参照により本明細書に援用される。

【0025】

特定の実施形態では、ハプティック変換ブロック２４０は、オーディオストリームがハプティック効果に変換されることを示すハプティック変換を示すパラメータを含むオーディオストリームのみを呼び出す。
これらの実施形態では、オーディオストリームがハプティック効果に変換されることを示すハプティック変換を示すパラメータを含むオーディオストリームのみを呼び出すため、ハプティック変換ブロック２４０は、これらの特定のオーディオストリームを、一又はそれ以上のアクチュエータでその後プレイされるハプティック信号にのみ変換する。
これらの実施形態によれば、このようなハプティック変換を示すパラメータを含まないオーディオストリーム（又はハプティック変換を示すパラメータを含むが、ハプティック変換を示すパラメータは、オーティオストリームがハプティック効果に変換されないことを示す）は、ハプティック変換ブロック２４０によりハプティック信号に変換されない。
他の実施形態では、ハプティック変換ブロック２４０は、オーティオストリームが変換されたことを明示的に又はコンテキスト的に示す一又はそれ以上のパラメータを含むオーディオストリームのみが呼び出されうる。
オーディオストリームがハプティック効果に変換されることを明示的に示すことにより、一又はそれ以上のパラメータは、オーディオストリームがハプティック効果に変換される特定の値を含む。
オーディオストリームがハプティック効果に変換されることをコンテキスト的に示すことにより、一又はそれ以上のパラメータは、オーディオストリームがハプティック効果に変換される特定の値を必ず含むわけではないが、一又はそれ以上のパラメータの存在は、オーディオストリームがハプティック効果に変換されることを意味する。

【0026】

特定の実施形態では、インターフェース２３０のＨａｐｔｉｃＴｒａｃｋ ＡＰＩは、さらに、一又はそれ以上のパラメータを分析し、一又はそれ以上のパラメータが一又はそれ以上のハプティックパラメータを含むかどうか判定する。
特定の実施形態では、一又はそれ以上のパラメータのそれぞれは、値を含むことができ、各値は、一又はそれ以上のハプティックパラメータのそれぞれに対応する。
一又はそれ以上のパラメータが一又はそれ以上のハプティックパラメータを含む場合、ＨａｐｔｉｃＴｒａｃｋ ＡＰＩは、ハプティック変換ブロック２４０により生成されるハプティック信号を構成するために一又はそれ以上のハプティックパラメータを用いることができる。
特定の実施形態では、ＨａｐｔｉｃＴｒａｃｋ ＡＰＩは、ハプティック変換ブロック２４０により生成されるハプティック信号を構成するために一又はそれ以上のハプティックパラメータに対応する一又はそれ以上の値を用いることができる。
よって、ハプティック信号の構成は、一又はそれ以上のアクチュエータで生成されたハプティック信号を構成することができる。
例えば、ハプティックパラメータの１つが強度パラメータである場合、ＨａｐｔｉｃＴｒａｃｋ ＡＰＩは、強度パラメータの値に基づいてハプティック変換ブロック２４０により生成されるハプティックパラメータの強度を構成しうる。この構成は、対応するハプティック効果の強度を構成しうる。
別の例として、ハプティックパラメータの１つが密度パラメータである場合、ＨａｐｔｉｃＴｒａｃｋ ＡＰＩは、密度パラメータの値に基づいてハプティック変換ブロック２４０により生成されるハプティックパラメータの密度を構成しうる。この構成は、対応するハプティック効果の密度を構成しうる。
さらに別の例として、ハプティックパラメータの１つが振幅パラメータである場合、ＨａｐｔｉｃＴｒａｃｋ ＡＰＩは、振幅パラメータの値に基づいてハプティック変換ブロック２４０により生成されるハプティックパラメータの振幅を構成しうる。この構成は、対応するハプティック効果の振幅を構成しうる。
さらに別の例として、ハプティックパラメータの１つが周波数パラメータである場合、ＨａｐｔｉｃＴｒａｃｋ ＡＰＩは、周波数パラメータの値に基づいてハプティック変換ブロック２４０により生成されるハプティックパラメータの周波数を構成しうる。この構成は、対応するハプティック効果の周波数を構成しうる。
さらに別の例として、ハプティックパラメータの１つがアクチュエータパラメータである場合、ＨａｐｔｉｃＴｒａｃｋ ＡＰＩは、アクチュエータパラメータの値に基づいてハプティック変換ブロック２４０により生成されるハプティックパラメータのアクチュエータを構成しうる。この構成は、特定の一又はそれ以上のアクチュエータにより生成される対応するハプティック効果を生じることにより、対応するハプティック効果のアクチュエータを構成しうる。
一実施形態では、アクチュエータパラメータの値は、アクチュエータインデックスのアレイであることができ、アクチュエータインデックスは、一又はそれ以上のアクチュエータの特定のアクチュエータを示す。
さらに別の例として、ハプティックパラメータの１つがフェールセーフパラメータである場合、ＨａｐｔｉｃＴｒａｃｋ ＡＰＩは、少なくとも１つのハプティックパラメータが無効であるイベントでフェールセーフパラメータにより示されるフェールセーフオペレーションに基づいてハプティック信号を構成しうる。
いくつかの実施形態では、ＨａｐｔｉｃＴｒａｃｋ ＡＰＩは、ハプティック信号がハプティック変換ブロック２４０により生成される前にハプティック信号を構成しうる。
これらの実施形態では、ＨａｐｔｉｃＴｒａｃｋ ＡＰＩは、ハプティック信号を生成するためにハプティック変換ブロック２４０により用いられる一又はそれ以上の特性を構成するために一又はそれ以上のパラメータの値を用いる。
これらのいくつかの実施形態では、オーディオストリームは、対応するハプティック信号が、一又はそれ以上のパラメータで要求される特性を含むように操作されうる。
他の実施形態では、ＨａｐｔｉｃＴｒａｃｋ ＡＰＩは、ハプティック信号がハプティック変換ブロック２４０により生成される間にハプティック信号を構成しうる。
これらのいくつかの実施形態では、ハプティック信号を生成する間に、一又はそれ以上のパラメータは、最終的なハプティック信号を生成する際に考慮される。
他の実施形態では、ＨａｐｔｉｃＴｒａｃｋ ＡＰＩは、ハプティック信号がハプティック変換ブロック２４０により生成された後にハプティック信号を構成しうる。
これらのいくつかの実施形態では、初めにハプティック信号を生成した後に、ハプティック信号が、一又はそれ以上のパラメータで要求される特性を含むように操作されうる。

【0027】

ハプティック効果の構成は、オーディオ効果と共にプレイされるハプティック効果を設計するハプティック効果の開発者にとって有益となりうる。
例えば、コンピュータゲーム内でプレイされるハプティック効果を開発するハプティック効果の開発者は、爆発を表現するオーディオ信号の一又はそれ以上のオーディオストリームに、最大値を有するハプティックパラメータを含ませることにより、コンピュータゲーム内での爆発を表すことができ、そのため、得られるハプティック効果は強くなる。
別の例として、ハプティック効果の開発者は、足音を表現するオーディオ信号の一又はそれ以上のオーディオストリームに、減少された値を有するハプティックパラメータを含ませることにより、コンピュータゲーム内での足音を表すことができ、そのため、得られるハプティック効果は、爆発を表現するハプティック効果とは異なる。

【0028】

図３は、本発明の一実施形態に係る、オーディオ信号の複数のオーディオストリームを受信し、オーディオストリームを、一又はそれ以上のハプティック効果を出力するためにアクチュエータへ送信されるハプティック信号に選択的に変換するハプティック変換システムの一例を示す。
実施形態によれば、ハプティック変換システムは、インターフェース３１０及びオーディオ トゥ ハプティックモジュール３２０を含む。インターフェース３１０は、（ａ）オーディオ信号のオーディオストリームがオーディオ トゥ ハプティック変換を用いるか判定し、（ｂ）オーディオ トゥ ハプティック変換を用いて各オーディオストリームに対してオーディオ トゥ ハプティック変換を構成する機能を提供するように構成されるモジュール（又はモジュールの集合体）である。
いくつかの実施形態では、インターフェース３１０は、図２のインターフェース２３０と同一である。

【0029】

実施形態によれば、インターフェース３１０は、オーディオ信号の複数のオーディオストリームを受信し（オーディオストリーム３１１として図３に示される）、各オーディオストリームは、一又はそれ以上のパラメータを含む。
特定の実施形態では、オーディオ信号は、例えばＰＣＭオーディオ信号のようなデジタルオーディオ信号であり、ＰＣＭオーディオ信号の複数のオーディオストリームは、複数のＰＣＭオーディオストリームである。
各オーディオストリームに対して、インターフェース３１０は、オーディオストリーム内に含まれる少なくとも１つのパラメータが、オーディオストリームがハプティック効果に変換される値を含むハプティック変換を示すパラメータであるか判定する。
特定の実施形態では、インターフェース３１０は、オーディオストリームが、オーディオストリームがハプティック効果に変換されることを示すハプティック変換を示すパラメータを含む場合に、この判定を行う。
他の実施形態では、インターフェース３１０は、オーディオストリームが、オーディオストリームがハプティック効果に変換されることを明示的又はコンテキスト的に示す一又はそれ以上のパラメータを含む場合に、この判定を行う。
オーディオストリームがハプティック効果に変換されることを明示的に示すことにより、一又はそれ以上のパラメータは、オーディオストリームがハプティック効果に変換される特定の値を含む。
オーディオストリームがハプティック効果に変換されることをコンテキスト的に示すことにより、一又はそれ以上のパラメータは、オーディオストリームがハプティック効果に変換される特定の値を必ず含むわけではないが、一又はそれ以上のパラメータの存在は、オーディオストリームがハプティック効果に変換されることを意味する。

【0030】

よって、インターフェース３１０は、対応するオーディオストリームがハプティック効果に変換されることを示すハプティック変換を示すパラメータを含む一又はそれ以上のオーディオストリームを識別する。
インターフェース３１０は、続いて、これらの識別されたオーディオストリームをオーディオ トゥ ハプティックモジュール３２０へ送信する。
実施形態によれば、インターフェース３１０は、他のオーディオストリームをオーディオ トゥ ハプティックモジュール３２０へ送信しない（つまり、対応するオーディオストリームがハプティック効果に変換されることを示すハプティック変換を示すパラメータを含まないオーディオストリーム、又はオーディオストリームがハプティック効果に変換されないことを示すハプティック変換を示すパラメータを含むオーディオストリーム）。
よって、インターフェース３１０は、オーディオ トゥ ハプティックモジュール３２０をセットアップし、インターフェース３１０がオーディオ トゥ ハプティックモジュール３２０へ送信するオーディオストリームをどのように処理するかをオーディオ トゥ ハプティックモジュールに指示する。

【0031】

図示された実施形態では、（図３に図示される薄い線によって示されるように）オーディオストリーム３１１の３つのオーディオストリームは、対応するオーディオストリームがハプティック効果に変換されることを示すハプティック変換を示すパラメータを含む。
さらに、オーディオストリーム３１１の３つの他のオーディオストリームは、対応するオーディオストリームがハプティック効果に変換されることを示すハプティック変換を示すパラメータを含まない。
よって、図示された実施形態では、インターフェース３１０は、対応するオーディオストリームがハプティック効果に変換されることを示すハプティック変換を示すパラメータを含むオーディオストリーム３１１の３つのオーディオストリームを識別し、これらの３つのオーディオストリームのみをオーディオ トゥ ハプティックモジュール３２０に送信する。
さらに、オーディオ トゥ ハプティックモジュール３２０は、これらの３つのオーディオストリームのみをオーディオ信号に変換し、３つのハプティック信号のみをアクチュエータに送信する。
しかし、図示された実施形態は、実施形態の一例であり、インターフェース３１０は、任意の数のオーディオストリームを識別し、オーディオ トゥ ハプティックモジュール３２０へ送信し、オーディオ トゥ ハプティックモジュール３２０は、任意の数のオーディオストリームを任意の数のハプティック信号に変換し、任意の数のハプティック信号を任意の数のアクチュエータに送信する構成されることができる。

【0032】

オーディオ トゥ ハプティックモジュール３２０は、オーディオストリームを受信し、オーディオストリームをハプティック信号に変換し、一又はそれ以上のハプティック効果を生成するために一又はそれ以上のアクチュエータでハプティック信号をプレイする。
いくつかの実施形態では、オーディオ トゥ ハプティックモジュール３２０は、図２のハプティック変換ブロック２４０と同一である。
実施形態では、オーディオ トゥ ハプティックモジュール３２０は、インターフェース３１０から一又はそれ以上のオーディオストリームを受信し、各オーディオストリームに対して、対応するハプティック信号を生成するように構成される。
オーディオ トゥ ハプティックモジュール３２０は、さらに、一又はそれ以上のハプティック信号を一又はそれ以上のアクチュエータに送信するように構成され（ハプティック信号３２１として図３に示される）、一又はそれ以上のハプティック信号は、一又はそれ以上のハプティック効果を生成するために一又はそれ以上のアクチュエータでプレイされる。
特定の実施形態では、インターフェース３１０がオーディオ トゥ ハプティックモジュール３２０へ送信する各オーディオストリームに対して、インターフェース３１０は、さらに、対応するオーディオストリーム内に含まれる一又はそれ以上のパラメータに基づいてオーディオ トゥ ハプティックモジュール３２０により生成されるハプティック信号を構成する。
よって、ハプティック信号の構成は、一又はそれ以上のアクチュエータで生成されるハプティック効果を構成しうる。

【0033】

例えば、ハプティックパラメータの１つが強度パラメータである場合、インターフェース３１０は、強度パラメータの値に基づいてオーディオ トゥ ハプティックモジュール３２０により生成されるハプティック信号の強度を構成しうる。この構成は、対応するハプティック効果の強度を構成しうる。
別の例として、ハプティックパラメータの１つが密度パラメータである場合、インターフェース３１０は、密度パラメータの値に基づいてオーディオ トゥ ハプティックモジュール３２０により生成されるハプティック信号の密度を構成しうる。この構成は、対応するハプティック効果の密度を構成しうる。
さらに別の例として、ハプティックパラメータの１つが振幅パラメータである場合、インターフェース３１０は、振幅パラメータの値に基づいてオーディオ トゥ ハプティックモジュール３２０により生成されるハプティック信号の振幅を構成しうる。この構成は、対応するハプティック効果の振幅を構成しうる。
さらに別の例として、ハプティックパラメータの１つが周波数パラメータである場合、インターフェース３１０は、周波数パラメータの値に基づいてオーディオ トゥ ハプティックモジュール３２０により生成されるハプティック信号の周波数を構成しうる。
さらに別の例として、ハプティックパラメータの１つがアクチュエータパラメータである場合、インターフェース３１０は、アクチュエータパラメータの値に基づいて、一又はそれ以上の特定のアクチュエータへ送信されるオーディオ トゥ ハプティックモジュール３２０により生成されるハプティック信号を構成しうる。
一実施形態では、アクチュエータパラメータの値は、アクチュエータインデックスのアレイであることができ、各アクチュエータインデックスは、一又はそれ以上のアクチュエータの特定のアクチュエータを示す。
さらに別の例として、ハプティックパラメータの１つがフェールセーフパラメータであり、ハプティックパラメータの少なくとも１つが無効である場合、ＨａｐｔｉｃＴｒａｃｋ ＡＰＩは、フェールセーフパラメータにより示されるフェールセーフオペレーションに基づいてハプティック信号を構成しうる。
いくつかの実施形態では、インターフェース３１０は、オーディオ トゥ ハプティックモジュール３２０がハプティック信号を生成する前にハプティック信号を構成しうる。
これらの実施形態では、インターフェース３１０は、ハプティック信号を生成するためのオーディオ トゥ ハプティックモジュール３２０により用いられる一又はそれ以上の特性を構成するために一又はそれ以上のパラメータの値を用いる。
これらの実施形態のいくつかでは、オーディオストリームは、対応するハプティック信号が、一又はそれ以上のパラメータにより要求される特性を含むように操作されることができる。
いくつかの実施形態では、インターフェース３１０は、オーディオ トゥ ハプティックモジュール３２０がハプティック信号を生成する間にハプティック信号を構成しうる。
これらの実施形態のいくつかでは、ハプティック信号を生成する間に、一又はそれ以上のパラメータは、最終的なハプティック信号を生成する際に考慮される。
いくつかの実施形態では、インターフェース３１０は、オーディオ トゥ ハプティックモジュール３２０がハプティック信号を生成した後にハプティック信号を構成しうる。
これらの実施形態のいくつかでは、初めにハプティック信号を生成した後に、ハプティック信号は、ハプティック信号が、一又はそれ以上のパラメータにより要求される特性を含むように操作されうる。

【0034】

図４は、本発明の一実施形態に係る、ストリームに依存しないハプティック変換モジュール（例えば、図１のストリームに依存しないハプティック変換モジュール１６）の機能のフロー図を示す。
一実施形態では、図４の機能は、メモリ又は他のコンピュータ可読媒体若しくは有形的表現媒体に記憶されるソフトウェアにより実装され、プロセッサにより実行される。
別の実施形態では、当該機能は、（例えば、特定用途向け集積回路（“ＡＳＩＣ”）、プログラマブルゲートアレイ（“ＰＧＡ”）、フィールドプログラマブルゲートアレイ（“ＦＰＧＡ”）等のアプリケーションを使用することによる）ハードウェアにより行われてもよく、ハードウェア及びソフトウェアの組み合わせにより行われてもよい。
また、別の実施形態では、機能は、アナログ構成要素を用いたハードウェアにより行われてもよい。

【0035】

フローは開始し、４１０へ進む。４１０では、オーディオ信号の複数のストリームは、受信され、各ストリームは、一又はそれ以上のパラメータを含む。
特定の実施形態では、一又はそれ以上のパラメータは、ハプティック変換を示すパラメータを含むことができ、ハプティック変換を示すパラメータは、ストリームがハプティック効果に変換されるかどうかを示すことができる。
これらの実施形態のいくつかでは、一又はそれ以上のパラメータは、さらに、一又はそれ以上のハプティックパラメータを含みうる。
一又はそれ以上のハプティックパラメータは、ストリームに基づいて生成されるハプティック信号を構成するために用いられることができ、ストリームに基づいて生成されるハプティック効果を構成するために用いられることができる。
これらの実施形態のいくつかでは、一又はそれ以上のパラメータは、強度パラメータ（ハプティック信号の強度を構成するために用いられうる）、密度パラメータ（ハプティック信号の密度を構成するために用いられうる）、振幅パラメータ（ハプティック信号の振幅を構成するために用いられうる）、周波数パラメータ（ハプティック信号の周波数を構成するために用いられうる）、アクチュエータパラメータ（一又はそれ以上の特定されたアクチュエータへ送信されるハプティック信号を構成するために用いられうる）、フェールセーフパラメータ（一又はそれ以上の無効パラメータの場合に実行されるフェールセーフオペレーションを示すために用いられる）の少なくとも１つを含みうる。
フローは４２０へ進む。

【0036】

４２０では、複数のストリームの各ストリームに対して、対応するストリームがハプティック効果に変換されることを示す一又はそれ以上のパラメータの少なくとも１つのパラメータであるかどうかを判定する。
したがって、実施形態によれば、対応するストリームがハプティック効果に変換されることを示す少なくとも１つのパラメータを含む一又はそれ以上のストリームが識別される。
フローは４３０へ進む。

【0037】

４３０では、識別されたストリームのみに対して、ハプティック信号は、各対応するストリームに基づいて生成される。
フローは４４０へ進む。

【0038】

４４０では、識別されたストリームのみに対して、各ハプティック信号は、一又はそれ以上のパラメータに基づいて構成され、一又はそれ以上のパラメータは、一又はそれ以上のハプティックパラメータを含む。
各ハプティック信号の構成は、一又はそれ以上のハプティックパラメータに基づいて各ハプティック信号の一又はそれ以上の特性を構成することを含みうる。
一又はそれ以上のハプティックパラメータの１つが強度パラメータである場合の実施形態では、各ハプティック信号の構成は、各ハプティック信号の強度を構成することを含みうる。
一又はそれ以上のハプティックパラメータの１つが密度パラメータである場合の実施形態では、各ハプティック信号の構成は、各ハプティック信号の密度を構成することを含みうる。
一又はそれ以上のハプティックパラメータの１つが振幅パラメータである場合の実施形態では、各ハプティック信号の構成は、各ハプティック信号の振幅を構成することを含みうる。
一又はそれ以上のハプティックパラメータの１つが周波数パラメータである場合の実施形態では、各ハプティック信号の構成は、各ハプティック信号の周波数を構成することを含みうる。
一又はそれ以上のハプティックパラメータの１つがアクチュエータパラメータである場合の実施形態では、各ハプティック信号の構成は、一又はそれ以上の特定のアクチュエータに送信される各ハプティック信号を構成することを含みうる。
一又はそれ以上のハプティックパラメータの１つがアクチュエータパラメータである場合の実施形態では、各ハプティック信号の構成は、一又はそれ以上の無効なパラメータの場合にフェールセーフパラメータにより示されるフェールセーフオペレーションを実行することを含みうる。
特定の実施形態では、４４０で行われる各ハプティック信号の構成は、４３０で行われる各ハプティック信号の生成の前に行われうる。
他の実施形態では、４４０で行われる各ハプティック信号の構成は、４３０で行われる各ハプティック信号の生成中に行われうる。
他の実施形態では、４４０で行われる各ハプティック信号の構成は、４３０で行われる各ハプティック信号を生成した後に行われうる。
フローは４５０へ進む。

【0039】

４５０では、識別されたストリームに対して、各ハプティック信号は、ハプティック効果を生成するためにアクチュエータに送信される。
特定の実施形態では、全てのストリームに対して、各ストリームは、また、ストリームのハプティック変換を示すパラメータが、ストリームがハプティック効果に変換されることを示すかどうかに関わらず、オーディオ効果を生成するためにスピーカへ送信される。
フローはその後終了する。

【0040】

特定の実施形態では、オーディオ信号は、ＰＣＭオーディオ信号であり、ＰＣＭオーディオ信号の各ストリームは、ＰＣＭオーディオストリームである。
別の実施形態では、オーディオ信号は、ＭＩＤＩオーディオ信号であり、ＭＩＤＩオーディオ信号の各ストリームは、ＭＩＤＩオーディオストリームである。
さらに別の実施形態では、オーディオ信号は、ＭＰ３オーディオ信号であり、ＭＰ３オーディオ信号の各ストリームは、ＭＰ３オーディオストリームである。

【0041】

よって、ハプティック変換システムは、ストリーム バイ ストリームベース（ｓｔｒｅａｍ−ｂｙ−ｓｔｒｅａｍ ｂａｓｉｓ）でのオーディオ信号の個々のオーディオストリームのためのオーディオ トゥ ハプティック変換を適用することを提供することができる。
このようなハプティック変換システムは、オーディオ トゥ ハプティックが粒度のカスタマイズ可能なレベルで適用されることを可能にすることにより、ハプティック効果の開発者が、ユーザのためにハプティック体験を開発及び設計することにおいてよりよい制御を有することを可能にする。
さらに、ハプティック変換システムは、ユーザが、オーディオストリームがハプティック信号を生成すべきである制御を許可することを可能にするハプティック効果の開発者用の機構を提供することができる。
よって、個々のオーディオストリームに対して可能又は不可能であり得るカスタマイズされた信号は、ユーザの選択に基づいてオーディオ信号から生成されることができ、ハプティック信号は、ハプティック効果を生成するために用いられうる。

【0042】

本明細書を通して記載された本発明の特徴、構造、又は特性は、１つ以上の実施形態において任意の適切な方法において組み合わされてよい。例えば、「一実施形態」、「一部の実施形態」、「特定の実施形態」、「特定の実施形態（複数）」、又は他の類似の言語の使用は、本明細書を通じて、実施形態に関連して記載された特定の特徴、構造、又は特性が、本発明の少なくとも１つの実施形態に含まれ得るという事実に言及している。従って、「一実施形態」、「一部の実施形態」、「特定の実施形態」、「特定の実施形態（複数）」の言い回し、又は他の類似の言語の登場は、これら全てが、実施形態の同じ群のことを必ずしも言及しているのではなく、記載された特徴、構造、又は特性は、１つ以上の実施形態において任意の適切な方法において組み合わされてよい。

【0043】

当業者は、上述した発明が、異なる順序におけるステップを用いて実施されてよく、及び／又は、記載された構成とは異なる構成における要素を用いて実施されてよいことを容易に理解する。それゆえ、本発明はこれらの好ましい実施形態に基づいて記載されているけれども、特定の修正、変更、及び代替の構成が明白であり、他方で本発明の趣旨及び範囲内にあることは、当業者にとって明白である。本発明の境界を決定するために、それゆえ、添付の特許請求の範囲に参照がなされるべきである。

【図1】

【図2】

【図3】

【図4】