特開 2019-215935 ハプティック効果の自動適合

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2019-215935(P2019-215935A)

(43)【公開日】2019年12月19日

(54)【発明の名称】ハプティック効果の自動適合

(51)【国際特許分類】

   G06F 3/01 20060101AFI20191122BHJP

   A63F 13/285 20140101ALI20191122BHJP

【ＦＩ】

   G06F3/01 560

   A63F13/285

【審査請求】有

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

【全頁数】26

(21)【出願番号】特願2019-173830(P2019-173830)

(22)【出願日】2019年9月25日

(62)【分割の表示】特願2018-188838(P2018-188838)の分割

【原出願日】2014年2月17日

(31)【優先権主張番号】13/785,166

(32)【優先日】2013年3月5日

(33)【優先権主張国】US

(71)【出願人】

【識別番号】500390995

【氏名又は名称】イマージョン コーポレーション

【氏名又は名称原語表記】ＩＭＭＥＲＳＩＯＮ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100116872

【弁理士】

【氏名又は名称】藤田 和子

(72)【発明者】

【氏名】ウルリッチ クリストファー ジェイ．

(72)【発明者】

【氏名】グラント ダニー

(72)【発明者】

【氏名】ヴィエガス ビクター アーロン

(72)【発明者】

【氏名】クルス−エルナンデス ユアン マヌエル

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA08

5E555AA76

5E555BA20

5E555BB20

5E555BC04

5E555CB64

5E555DA24

5E555DD06

5E555DD07

5E555DD08

5E555EA25

5E555FA00

(57)【要約】

【課題】オーディオソースデータのようなソースデータから一又はそれ以上のハプティック効果を自動的に生成するシステムを提供する。
【解決手段】システムは、ソースデータを分析し、ソースデータと最も類似する一又はそれ以上のハプティック効果を識別することにより、一又はそれ以上のハプティック効果をソースデータに適合させる。システムは、識別された一又はそれ以上のハプティック効果をソースデータと一致させる。システムは、識別された一又はそれ以上のハプティック効果を順次出力する。
【選択図】図１

【特許請求の範囲】

【請求項1】

ハプティック効果を自動的に適合するコンピュータ実装方法であって、
一又はそれ以上の特性を含むソースデータを受信するステップと、
前記ソースデータを一又はそれ以上のハプティックプリミティブと比較するステップであって、前記一又はそれ以上のハプティックプリミティブの各ハプティックプリミティブは、一又はそれ以上のハプティックパラメータを含む、ステップと、
前記比較に基づいて前記一又はそれ以上のハプティックプリミティブから一又はそれ以上のハプティックプリミティブを選択するステップと、
選択された前記一又はそれ以上のハプティックプリミティブに基づいて一又はそれ以上のハプティック効果を出力するステップと、を備えるコンピュータ実装方法。

【請求項2】

前記比較するステップは、前記ソースデータの前記一又はそれ以上の特性を、前記一又はそれ以上のハプティックプリミティブの各ハプティックプリミティブの前記一又はそれ以上のハプティックパラメータと比較することをさらに備える請求項１に記載のコンピュータ実装方法。

【請求項3】

前記選択するステップは、前記一又はそれ以上のハプティックパラメータの値が、前記ソースデータの前記一又はそれ以上の特性の値と最も類似する前記一又はそれ以上のハプティックプリミティブを選択することをさらに備える請求項１に記載のコンピュータ実装方法。

【請求項4】

選択された前記一又はそれ以上のハプティックプリミティブを、前記ソースデータとより類似するように最適化するステップをさらに備える請求項１に記載のコンピュータ実装方法。

【請求項5】

選択された前記一又はそれ以上のハプティックプリミティブを最適化するステップは、
各選択されたハプティックプリミティブの前記一又はそれ以上のハプティックパラメータの少なくとも１つのハプティックパラメータの値を、前記ソースデータの前記一又はそれ以上の特性の対応する特性の値とより類似するように調整することをさらに備える請求項４に記載のコンピュータ実装方法。

【請求項6】

前記ソースデータの前記一又はそれ以上の特性は、振幅、周波数、持続時間、包絡線、密度、大きさ又は強度のうちの少なくとも１つを含み、
前記一又はそれ以上のハプティックプリミティブの各ハプティックプリミティブの前記一又はそれ以上のハプティックパラメータは、振幅ハプティックパラメータ、周波数ハプティックパラメータ、持続期間パラメータ、包絡線パラメータ、密度パラメータ、大きさパラメータ又は強度ハプティックパラメータのうちの少なくとも１つを含み、
前記ソースデータは、オーディオソースデータ、ビデオソースデータ、加速度ソースデータ、方向ソースデータ又は環境光ソースデータのうちの少なくとも１つを含む請求項１に記載のコンピュータ実装方法。

【請求項7】

ハプティック効果を自動的に適合するシステムであって、
自動ハプティック適合モジュールを記憶するように構成されるメモリと、
前記メモリに記憶された前記自動ハプティック適合モジュールを実行するように構成されるプロセッサと、を備え、
前記自動ハプティック適合モジュールは、ソースデータを受信するように構成され、前記ソースデータは、一又はそれ以上の特性を含み、
前記自動ハプティック適合モジュールは、さらに、前記ソースデータを一又はそれ以上のハプティックプリミティブと比較するように構成され、前記一又はそれ以上のハプティックプリミティブの各ハプティックプリミティブは、一又はそれ以上のハプティックパラメータを含み、
前記自動ハプティック適合モジュールは、さらに、前記比較に基づいて前記一又はそれ以上のハプティックプリミティブから一又はそれ以上のハプティックプリミティブを選択するように構成され、
前記自動ハプティック適合モジュールは、さらに、選択された前記一又はそれ以上のハプティックプリミティブに基づいて一又はそれ以上のハプティック効果を出力するように構成される、システム。

【請求項8】

前記自動ハプティック適合モジュールは、さらに、前記ソースデータの前記一又はそれ以上の特性を、前記一又はそれ以上のハプティックプリミティブの各ハプティックプリミティブの前記一又はそれ以上のハプティックパラメータと比較するように構成される、請求項７に記載のシステム。

【請求項9】

前記自動ハプティック適合モジュールは、さらに、前記一又はそれ以上のハプティックパラメータの値が、前記ソースデータの前記一又はそれ以上の特性の値と最も類似する前記一又はそれ以上のハプティックプリミティブを選択するように構成される、請求項７に記載のシステム。

【請求項10】

ハプティック効果を自動的に適合するコンピュータ実装方法であって、
一又はそれ以上の特徴を含むソースデータを受信するステップと、
前記ソースデータから一又はそれ以上の特徴を抽出するステップと、
抽出された前記一又はそれ以上の特徴を一又はそれ以上のテンプレートと比較するステップであって、各テンプレートは、一又はそれ以上のテンプレート特徴及び一又はそれ以上のハプティック効果を含む、ステップと、
前記比較に基づいて前記一又はそれ以上のテンプレートから一又はそれ以上のテンプレートを選択するステップと、
選択された前記一又はそれ以上のテンプレートから前記一又はそれ以上のハプティック効果を選択するステップと、
選択された前記一又はそれ以上のハプティック効果を出力するステップと、を備えるコンピュータ実装方法。

【請求項11】

前記比較するステップは、前記ソースデータの各抽出された特徴を、前記一又はそれ以上のテンプレートの各テンプレート特徴と比較することをさらに備える請求項１０に記載のコンピュータ実装方法。

【請求項12】

前記一又はそれ以上のテンプレートを選択するステップは、前記一又はそれ以上のテンプレート特徴が、前記ソースデータの一又はそれ以上の抽出された特徴と最も類似する前記一又はそれ以上のテンプレートを選択することをさらに備える請求項１０に記載のコンピュータ実装方法。

【請求項13】

前記ソースデータは、オーディオソースデータを含み、
前記一又はそれ以上のテンプレートは、一又はそれ以上のサウンドテンプレートを含む、請求項１０に記載のコンピュータ実装方法。

【請求項14】

ハプティック効果を自動的に適合するシステムであって、
自動ハプティック適合モジュールを記憶するように構成されるメモリと、
前記メモリに記憶された前記自動ハプティック適合モジュールを実行するように構成されるプロセッサと、を備え、
前記自動ハプティック適合モジュールは、ソースデータを受信するように構成され、前記ソースデータは、一又はそれ以上の特徴を含み、
前記自動ハプティック適合モジュールは、さらに、前記ソースデータから一又はそれ以上の特徴を抽出するように構成され、
前記自動ハプティック適合モジュールは、さらに、抽出された前記一又はそれ以上の特徴を一又はそれ以上のテンプレートと比較するように構成され、各テンプレートは、一又はそれ以上のテンプレート特徴及び一又はそれ以上のハプティック効果を含み、
前記自動ハプティック適合モジュールは、さらに、前記比較に基づいて、前記一又はそれ以上のテンプレートから一又はそれ以上のテンプレートを選択するように構成され、
前記自動ハプティック適合モジュールは、さらに、一又はそれ以上の選択されたテンプレートから一又はそれ以上のハプティック効果を選択するように構成され、
前記自動ハプティック適合モジュールは、さらに、前記一又はそれ以上の選択されたハプティック効果を出力するように構成される、システム。

【請求項15】

前記自動ハプティック適合モジュールは、さらに、前記ソースデータの各抽出された特徴を前記一又はそれ以上のテンプレートの各テンプレート特徴と比較するように構成され、
前記自動ハプティック適合モジュールは、さらに、前記一又はそれ以上のテンプレート特徴が、前記ソースデータの一又はそれ以上の抽出された特徴に最も類似する前記一又はそれ以上のテンプレートを選択するように構成される、請求項１４に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

一実施形態は、一般的にハプティック効果に関するものであり、特に、他の関連する出力と関連付けられたハプティック効果を生成するデバイスに関するものである。

【背景技術】

【0002】

ハプティックは、力、振動及びモーションのようなハプティックフィードバック効果（すなわち、ハプティック効果）をユーザに与えることにより、ユーザの接触の検知を利用する触覚及び力フィードバック技術である。携帯装置、タッチスクリーン装置及びパーソナルコンピュータのような装置は、ハプティック効果を生成するように構成される。通常、ハプティック効果を生成可能な埋め込みハードウェア（例えば、アクチュエータ）への呼び出しは、装置のオペレーティングシステム（“ＯＳ”）内にプログラムされうる。これらの呼び出しは、プレイするためのハプティック効果を特定する。例えば、ユーザが、ボタン、タッチスクリーン、レバー、ジョイスティック、ホイール、又は他のコントローラ等を用いる装置とやり取りをするとき、当該装置のＯＳは、制御回路を介して、埋め込みハードウェアへプレイコマンドを送信することができる。埋め込みハードウェアは、その後、適切なハプティック効果を生成する。

【発明の概要】

【発明が解決しようとする課題】

【0003】

デバイスは、ハプティック効果が他のコンテンツに組み込まれるように、ハプティック効果の出力をゲーム又は他のメディアのような他のコンテンツの出力と調整するように構成されうる。例えば、ゲームコンテンツでは、ゲームが開発されるとき、オーディオエフェクトデベロッパーは、ゲームと関連付けられるオーディオ効果を開発し、マシンガンの発射、爆発又は車の衝突等のようなゲーム内で生じるアクションを表現することができる。通常、ハプティック効果は、ゲームデベロッパーがゲームアプリケーションの開発を完了した又はゲームデベロッパーが完成したゲームアプリケーションを新たなプラットフォームに移植するときのような、ゲームの開発工程の終盤でゲームに追加される。これは、通常、全てのオーディオ効果が開発された後に、ハプティック効果が加えられるという事実をもたらす。ハプティック効果が通常、工程のかなり後半で加えられるため、一般的に、ハプティック効果デベロッパー又はいくつかの他のデベロッパーにハプティック効果をオーディオ効果に関連付けることについての決定させることになる。さらに、オーディオ効果デベロッパーは、通常、オーディオ効果についての適切なハプティック効果の選択に関する入力を有していない。これは、最終的にコンテンツに組み込まれるハプティック効果の質の低下の一因となりうる。この品質低下は、高品質なハプティック効果をこのようなコンテンツへ組み込むための障壁となりうる。

【課題を解決するための手段】

【0004】

一実施形態は、ハプティック効果を自動で適合するシステムである。前記システムは、ソースデータを受信し、前記ソースデータは、一又はそれ以上の特性を含む。前記システムは、さらに、前記ソースデータを一又はそれ以上のハプティックプリミティブと比較し、前記一又はそれ以上のハプティックプリミティブの各ハプティックプリミティブは、一又はそれ以上のハプティックパラメータを含む。前記システムは、さらに、前記比較に基づいて、前記一又はそれ以上のハプティックプリミティブから前記一又はそれ以上のハプティックプリミティブを選択する。前記システムは、さらに、選択された一又はそれ以上のハプティックプリミティブに基づいて、一又はそれ以上のハプティック効果を出力する。

【0005】

別の実施形態は、ハプティック効果を自動的に適合するシステムである。前記システムは、ソースデータを受信し、前記ソースデータは、一又はそれ以上の特徴を含む。前記システムは、さらに、前記ソースデータから一又はそれ以上の特徴を抽出する。前記システムは、さらに、一又はそれ以上の抽出された特徴を一又はそれ以上のテンプレートと比較し、各テンプレートは、一又はそれ以上のテンプレート特徴及び一又はそれ以上のハプティック効果を含む。前記システムは、さらに、前記比較に基づいて、前記一又はそれ以上のテンプレートから一又はそれ以上のテンプレートを選択する。前記システムは、さらに、一又はそれ以上の選択されたテンプレートから前記一又はそれ以上のハプティック効果を選択する。前記システムは、さらに、一又はそれ以上の選択されたハプティック効果を出力する。

【図面の簡単な説明】

【0006】

添付の図面と共に、好ましい実施形態の以下の詳細な説明から、さらなる実施形態、詳細、利点、及び変更が明らかとなるであろう。

【図1】図１は、本発明の一実施形態に係るシステムのブロック図を示す。

【図2】図２は、ハプティック効果を生成及びプレイするためのフレームワークのフロー図を示す。

【図3】図３は、本発明の一実施形態に係る、オーディオソースデータに最も類似するハプティックプリミティブの選択のフロー図を示す。

【図4】図４は、本発明の一実施形態に係る、抽出されたオーディオ特徴に基づいてオーディオ特徴抽出及びハプティック効果の選択についてのフロー図を示す。

【図5】図５は、本発明の一実施形態に係る、自動的ハプティック効果適合モジュールの機能についてのフロー図を示す。

【図6】図６は、本発明の別の実施形態に係る、自動的ハプティック効果適合モジュールの機能についてのフロー図を示す。

【発明を実施するための形態】

【0007】

一実施形態は、オーディオソースデータのような与えられたソースデータで一又はそれ以上のハプティック効果を自動的に生成することができるシステムである。すなわち、前記システムは、受信されたソースデータをハプティック情報へ自動的に変換することができ、受信されたソースデータは、オーディオデータ、ビデオデータ、加速度データ、又はセンサによりキャプチャされうる他のタイプのデータを含みうる。より具体的には、前記システムは、ソースデータを分析し、ソースデータに最も類似する一又はそれ以上のハプティック効果を識別することができる。そして、前記システムは、識別された一又はそれ以上のハプティック効果をソースデータに適合することができる。前記システムは、続いて、識別された一又はそれ以上のハプティック効果を出力することができる。ソースデータは、ストレージに記憶されることができ、ソースデータは、ソースデータがハプティック情報へ自動的に変換される前に、読み出される。それに替えて、ソースデータは、ソースデータがハプティック情報へ自動的に変換される前に、ストリームされてもよい。

【0008】

一実施形態では、前記システムは、ソースデータと最も類似する一又はそれ以上のハプティックプリミティブ（以下に詳細を説明する）を識別することができる。前記システムは、その後、一又はそれ以上のハプティックプリミティブを選択し、一又はそれ以上のハプティックプリミティブに基づいて一又はそれ以上のハプティック効果を出力することができる。前記システムは、追加で、ソースデータに最も類似する一又はそれ以上のハプティックプリミティブを最適化することができる。別の実施形態では、前記システムは、ソースデータに最も類似する一又はそれ以上のテンプレートを識別することができる。前記システムは、その後、一又はそれ以上のテンプレートに関連付けられる一又はそれ以上のハプティック効果を選択し、一又はそれ以上の選択されたハプティック効果を出力することができる。前記システムは、追加で、ソースデータに最も類似する一又はそれ以上の選択されたハプティック効果を最適化することができる。ソースデータは、ストレージに記憶されることができ、ソースデータは、ソースデータがハプティック情報へ自動的に変換される前に、読み出される。それに替えて、ソースデータは、ソースデータがハプティック情報へ自動的に変換される前に、ストリームされてもよい。

【0009】

よって、実施形態によれば、ビデオゲーム又は他のタイプのメディアのようなコンテンツが出力され、当該コンテンツは、オーディオデータ、ビデオデータ、又は加速度データのようなデータを含み、前記システムは、一又はそれ以上のハプティック効果をコンテンツに自動的に追加し、各ハプティック効果は、コンテンツの対応するデータを“適合（ｆｉｔ）”する。よって、既存のコンテンツが出力されるとき、ハプティックコンテンツは、既存のコンテンツに自動的に加えられることができ、ハプティックコンテンツは、既存のコンテンツに適合する。

【0010】

図１は、本発明の一実施形態に係るシステム１０のブロック図を示す。一実施形態では、システム１０は、装置の一部分であり、システム１０は、装置のためにハプティック適合機能を提供する。別の実施形態では、システム１０は、装置とは別々であり、当該装置に対して自動ハプティック効果適合機能を遠隔的に提供する。図では単一のシステムを示したが、システム１０の機能は、分散されたシステムとして実装されることができる。システム１０は、情報を伝達するためのバス１２又は他の通信機構と、情報を処理するために、バス１２に接続されるプロセッサ２２と、を含む。プロセッサ２２は、任意のタイプの一般的な又は特殊用途のプロセッサであってもよい。システム１０は、プロセッサ２２により実行される情報及び命令を記憶するメモリ１４をさらに含む。メモリ１４は、ランダムアクセスメモリ（“ＲＡＭ”）、リードオンリーメモリ（“ＲＯＭ”）、磁気又は光ディスクのようなスタティックストレージ、又は任意のタイプのコンピュータ可読媒体の任意の組み合わせを含みうる。

【0011】

コンピュータ可読媒体は、プロセッサ２２によりアクセス可能であり、揮発性及び不揮発性媒体の両方、リムーバブル及びノンリムーバブル媒体、通信媒体、及びストレージ媒体を含む任意の取得可能な媒体であってもよい。通信媒体は、搬送波又は他の伝送機構のような変調されたデータ信号におけるコンピュータ可読命令、データ構造、プログラムモジュール又は他のデータを含んでもよく、既存の技術の情報伝達媒体の任意の形態を含んでもよい。ストレージ媒体は、ＲＡＭ、フラッシュメモリ、ＲＯＭ、ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ（“ＥＰＲＯＭ”）、ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ（“ＥＥＰＲＯＭ”）、レジスタ、ハードディスク、リムーバブルディスク、コンパクトディスクリードオンリーメモリ（“ＣＤ−ＲＯＭ”）、又は既存の技術の任意の他のストレージ媒体の形態を含んでもよい。

【0012】

一実施形態では、メモリ１４は、プロセッサ２２により実行されたときに、機能を提供するソフトウェアモジュールを記憶する。モジュールは、一実施形態の装置の他の部分と同様に、システム１０にオペレーティングシステム機能を提供するオペレーティングシステム１５を含む。モジュールは、さらに、以下に詳細を説明するようなハプティック効果を自動的に適合する自動ハプティック効果適合モジュール１６を含む。特定の実施形態では、自動ハプティック効果適合モジュール１６は、複数のモジュールを含み、個々のモジュールそれぞれは、ハプティック効果を自動的に適合する特定の個別の機能を提供する。システム１０は、通常、Ｉｍｍｅｒｓｉｏｎ ＣｏｒｐｏｒａｔｉｏｎによるＩｎｔｅｇｒａｔｏｒ（登録商標）のような追加の機能を含むための一又はそれ以上の追加のアプリケーションモジュール１８を含む。

【0013】

システム１０は、リモートソースからデータを送信及び／又は受信する実施形態において、赤外線、無線、Ｗｉ−Ｆｉ又はセルラーネットワーク通信のようなモバイル無線通信を提供するために、ネットワークインターフェースカードのような通信装置２０をさらに含む。他の実施形態では、通信装置２０は、イーサネット（登録商標）接続又はモデムのような有線通信を提供する。

【0014】

プロセッサ２２は、バス１２を介して、グラフィック描写又はユーザインターフェースをユーザへ表示する液晶ディスプレイ（“ＬＣＤ”）のようなディスプレイ２４にさらに接続される。ディスプレイ２４は、タッチスクリーンのような、プロセッサ２２から信号を送受信するように構成される接触検知入力装置であってもよく、マルチタッチスクリーンであってもよい。プロセッサ２２は、さらに、ユーザがシステム１０とやり取りを可能にするマウス又はスタイラスのようなキーボード又はカーソルコントロール２８と接続されてもよい。

【0015】

システム１０は、一実施形態では、アクチュエータ２６をさらに含む。プロセッサ２２は、生成されたハプティック効果に関連付けられたハプティック信号を複数のアクチュエータ２６に送信し、次に、例えば振動触覚効果、静電気摩擦ハプティック効果又は変形ハプティック効果のようなハプティック効果を出力する。アクチュエータ２６は、アクチュエータ回路を含む。アクチュエータ２６は、例えば、電気モータ、電磁気アクチュエータ、ボイスコイル、形状記憶合金、電気活性ポリマー、ソレノイド、偏心モータ（ｅｃｃｅｎｔｒｉｃ ｒｏｔａｔｉｎｇ ｍａｓｓ ｍｏｔｏｒ（“ＥＲＭ”））、リニア共振アクチュエータ（ｉｎｅａｒ ｒｅｓｏｎａｎｔ ａｃｔｕａｔｏｒ（“ＬＲＡ”））、圧電アクチュエータ、高帯域幅アクチュエータ、電気活性ポリマー（ｅｌｅｃｔｒｏａｃｔｉｖｅ ｐｏｌｙｍｅｒ（“ＥＡＰ”））アクチュエータ、静電触覚ディスプレイ、又は超音波振動発生器であってもよい。別の実施形態では、システム１０は、アクチュエータ２６に加えて、一又はそれ以上の別のアクチュエータ（図１には図示せず）を含みうる。アクチュエータ２６は、ハプティック出力装置の一例であり、ハプティック出力装置は、駆動信号に応答して、振動触覚ハプティック効果、静電摩擦ハプティック効果又は変形ハプティック効果のようなハプティック効果を出力するように構成される装置である。別の実施形態では、アクチュエータ２６は、いくつかの他のタイプのハプティック出力装置により置き換えられうる。さらに、別の実施形態では、システム１０は、アクチュエータ２６を含まなくてもよく、システム１０から離れた装置がアクチュエータを含む、又はハプティック効果を生成する他のハプティック装置及びシステム１０は、通信装置２０を介してハプティック信号を装置へ送信する。

【0016】

システム１０は、データベース３０に動作可能に接続されることができ、データベース３０は、モジュール１６及び１８により使用されるデータを記憶するように構成されうる。データベース３０は、オペレーショナルデータベース、アナリティカルデータベース、データウェアハウス、分散型データベース、エンドユーザデータベース、外部データベース、ナビゲーションデータベース、イン‐メモリデータベース、ドキュメント指向データベース、リアルタイムデータベース、リレーショナルデータベース、オブジェクト指向データベース、又はこの技術分野で知られている他のデータベースでありうる。

【0017】

一実施形態では、システム１０は、さらに、一又はそれ以上のスピーカ３２を含む。プロセッサ２２は、スピーカ３２へオーディオ信号を送信してもよく、順次オーディオ効果を出力する。スピーカ３２は、例えば、ダイナミックラウドスピーカ、エレクトロダイナミックラウドスピーカ、圧電ラウドスピーカ、磁気歪ラウドスピーカ、静電ラウドスピーカ、リボンプラナー磁気ラウドスピーカ、屈曲波ラウドスピーカ、フラットパネルラウドスピーカ、ヘイルエアモーショントランスデューサ、プラズマアークスピーカ、及びデジタルラウドスピーカであってもよい。

【0018】

システム１０は、一実施形態では、さらに、センサ３４を含む。センサ３４は、エネルギーの形態、又は加速度、生体信号、距離、流量、力／圧力／歪み／曲げ、湿度、線形位置、向き／傾き、無線周波数、回転位置、回転速度、スイッチの切り替え、温度、振動又は可視光強度のような他の物理的な特性を検出するように構成されうるが、これに限定されない。センサ３４は、さらに、検出したエネルギー又は他の物理的な特性を、電気信号又は仮想センサ情報を示す他の信号に変換するように構成されうる。センサ３４は、加速度計、心電図、脳波図、筋電計、眼電図、エレクトロパラトグラフ、電気皮膚反応センサ、容量センサ、ホール効果センサ、赤外線センサ、超音波センサ、圧力センサ、光ファイバーセンサ、屈曲センサ（又は曲げセンサ）、力検知抵抗、ロードセル、ＬｕＳｅｎｓｅ ＣＰＳ２ １５５、小型圧力トランスデューサー、圧電センサ、歪みゲージ、湿度計、リニアポジションタッチセンサ、リニアポテンショメータ（又はスライダー）、線形変数差動変圧器、コンパス、傾斜計、磁気タグ（又は無線周波数識別タグ）、回転エンコーダ、回転ポテンショメータ、ジャイロスコープ、オン‐オフスイッチ、温度センサ（例えば、サーモメータ、熱電対、抵抗温度検出器、サーミスタ又は温度変換集積回路）、マイクロホン、フォトメータ、高度計、生物学的モニター又は光依存性抵抗のような装置であり得るが、これに限定されない。

【0019】

図２は、本発明の一実施形態に係るハプティック効果を生成及び出力するフレームワークのフロー図を示し、ハプティック効果は、オーディオ入力に基づいて生成される。一実施形態では、図２の機能と共に、図３、４、５及び６の機能が、それぞれ、メモリ又は別のコンピュータ可読媒体又は有形媒体に記憶されるソフトウェアにより実装され、プロセッサにより実行される。別の実施形態では、各機能は、（例えば、特定用途向け集積回路（“ＡＳＩＣ”）、プログラマブルゲートアレイ（“ＰＧＡ”）、フィールドプログラマブルゲートアレイ（“ＦＰＧＡ”）等を通じて）ハードウェアにより実行されてもよく、又はハードウェアとソフトウェアとの組み合わせで実行されてもよい。また、別の実施形態では、各機能は、アナログ要素を用いてハードウェアにより実行されてもよい。

【0020】

図２は、オーディオソースデータ２１０を示す。実施形態によれば、オーディオソースデータ２１０は、オーディオデータを含む。特定の実施形態では、オーディオソースデータ２１０内に含まれるオーディオデータは、オーディオファイル又はオーディオ信号のいずれかに記憶されるオーディオデータでありうる。別の実施形態では、オーディオソースデータ２１０は、オーディオファイル又はオーディオ信号により置換されうる。別の実施形態では、オーディオソースデータ２１０内に含まれるオーディオデータは、ストリームされるオーディオデータでありうる。また、図示された実施形態では、オーディオソースデータ２１０は、パルスコードモデュレーション（“ＰＣＭ”）フォーマットでエンコードされる。特定の実施形態では、オーディオソースデータ２１０は、また、Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ（“ＭＩＤＩ”）フォーマット又はＭＰＥＧ−２ Ａｕｄｉｏ Ｌａｙｅｒ ＩＩＩ （“ＭＰ３”）フォーマットのような別のタイプのフォーマットでエンコードされることもできる。また、オーディオソースデータ２１０が別のタイプのフォーマットでエンコードされる実施形態では、オーディオソースデータ２１０は、ＰＣＭフォーマットにデコードされうるオーディオデータを含みうる。さらに、これらの実施形態では、オーディオソースデータ２１０は、以下に詳細を説明するような、オーディオソースデータ２１０に基づいてハプティック効果を生成することに用いられうるデコードされないデータも含みうる。例えば、オーディオソースデータ２１０がＭＰ３フォーマットでエンコードされた場合、オーディオソースデータ２１０は、オーディオデータ用の一又はそれ以上のフーリエ係数を含むことができ、ここで一又はそれ以上のフーリエ係数は、オーディオソースデータ２１０に基づいてハプティック効果を生成するために直接用いられうる。別の実施例のように、オーディオソースデータ２１０がＭＩＤＩフォーマットでエンコードされた場合、オーディオソースデータ２１０は、オーディオソースデータ２１０に基づいてハプティック効果を生成するために直接用いられうるオーディオデータについてのメタデータの既存のセットを含むことができる。このようなメタデータは、オーディオデータをキャプチャするセンサの位置又は方向のような、オーディオデータのソースに関連するメタデータを含むことができる。このようなメタデータは、以下に詳細を説明するような、オーディオソースデータ２１０に基づいてハプティック効果を生成するためのマッチングアルゴリズムにより用いられうる。

【0021】

さらに、別の実施形態では、オーディオソースデータ２１０は、ビデオデータを含むビデオソースデータ、加速度データを含む加速度ソースデータ、方向データを含む方向ソースデータ、環境光データを含む環境光ソースデータ、又は別のタイプのデータを含む別のタイプのソースデータのような別のタイプのソースデータにより置き換えられうる。別のタイプのソースデータの一例は、センサによりキャプチャされうるデータを含むソースデータである。また、いくつかの実施形態では、オーディオソースデータ２１０は、マルチモデルデータを含むソースデータにより置き換えられうる（つまり、２又はそれ以上のモデル又はオーディオデータ及びビデオデータのようなタイプ）。

【0022】

２２０では、ソースデータ２１０は、ハプティックデータ又はハプティックストリームのようなハプティック情報に自動的に変換される。実施形態によれば、ハプティック情報は、デバイスにより出力されうる単一のハプティック効果又は複数のハプティック効果のいずれかを含みうる。特定の実施形態では、図３について以下に詳細に説明するように、オーディオソースデータ２１０は、オーディオソースデータ２１０をハプティックプリミティブのセットと比較し、オーディオソースデータ２１０である又はオーディオソースデータ２１０に最も類似する少なくとも１つのハプティックプリミティブを選択することにより、ハプティック情報に自動的に変換されうる。別の実施形態では、図４について以下に詳細に説明するように、オーディオソースデータ２１０は、オーディオソースデータ２１０をテンプレートのセットと比較し、オーディオソースデータ２１０と最も類似する少なくとも１つのテンプレートを選択し、少なくとも１つのテンプレートに関連付けられた少なくとも１つのハプティック効果を選択することにより、ハプティック情報に自動的に変換されうる。

【0023】

２３０では、２２０で生成されたハプティック情報がエンコードされうる。ハプティック情報は、当業者にとって既知のハプティックエンコード技術に基づいてエンコードされうる。例えば、ハプティック情報は、ハプティック効果信号を用いてエンコードされうる。ハプティック効果信号は、ディスク、メモリ又は他のコンピュータ可読ストレージ媒体に順次存続されうる。別の実施例のように、ハプティック情報は、ハプティック効果ファイルを用いてエンコードされうる。ハプティック効果ファイルは、多くの異なるフォーマットの１つを有することができる。特定の実施形態では、ハプティック効果ファイルは、Ｉｍｍｅｒｓｉｏｎ Ｖｉｂｒａｔｉｏｎ Ｓｏｕｒｃｅ （“ＩＶＳ”）ハプティック効果ファイルのようなｅｘｔｅｎｓｉｂｌｅ ｍａｒｋｕｐ ｌａｎｇｕａｇｅ （“ＸＭＬ”）フォーマットを有することができる。特定の実施形態では、ハプティック効果ファイルは、Ｉｍｍｅｒｓｉｏｎ Ｖｉｂｒａｔｉｏｎ Ｔａｒｇｅｔ （“ＩＶＴ”）ハプティック効果ファイルのようなバイナリフォーマットを有することができる。２３０でエンコードされたハプティック情報は、さらに、コンピュータアプリケーションで使用される一又はそれ以上のアセットアーカイブで圧縮及び／又はインクルードされうる。

【0024】

２４０では、２３０においてエンコードされたハプティック情報がデコードされうる。ハプティック情報は、当業者にとって既知のハプティックデコード技術に基づいてデコードされうる。ハプティック情報をデコードすることにより、ハプティック情報は、ハプティック効果信号又はハプティック効果ファイルのようなエンコードされたフォーマットから、解釈されうるフォーマットへ変換されることができ、単一のハプティック効果又は複数のハプティック効果は、ハプティック情報に基づいて出力されることができる。

【0025】

２５０では、２４０でデコードされたハプティック情報が出力されうる。ハプティック情報は、当業者にとって既知のハプティック出力技術に基づいて出力されうる。例えば、ハプティック情報は、モバイルデバイス、ゲームパッド又はウェアラブルデバイスによって出力されうる単一のハプティック効果又は複数のハプティック効果の形態で出力されうる。また、ハプティック効果は、振動、変形、静電感覚又は運動感覚のような任意のタイプのハプティックフィードバックを生成しうる。アクチュエータのような単一のハプティック効果生成器がハプティック効果を出力するために用いられうる、又は複数のハプティック効果生成器が用いられうる。よって、この実施形態では、オーディオソースデータ２１０から生成された任意のハプティック効果は、後の使用のためにエンコード及び存続されうる。しかし、別の実施形態では、単一のハプティック効果又は複数のハプティック効果は、オーディオソースデータ２１０から生成され、リアルタイムで出力されることができる。

【0026】

図３は、本発明の一実施形態に係る、オーディオソースデータに最も類似するハプティックプリミティブの選択のフロー図を示す。図３は、オーディオソースデータ３１０を示す。実施形態によれば、オーディオソースデータ３１０は、オーディオデータを含む。特定の実施形態では、オーディオソースデータ３１０内に含まれるオーディオデータは、オーディオファイル又はオーディオ信号のいずれかに記憶されるオーディオデータでありうる。別の実施形態では、オーディオソースデータ３１０内に含まれるオーディオデータは、ストリームされるオーディオデータでありうる。さらに、図示された実施形態では、オーディオソースデータ３１０は、ＰＣＭフォーマットでエンコードされる。特定の実施形態では、オーディオソースデータ３１０は、ＭＩＤＩフォーマット又はＭＰ３フォーマットのような別のフォーマットでエンコードされてもよい。さらに、別の実施形態では、オーディオソースデータ３１０は、ビデオデータを含むビデオソースデータ、加速度データを含む加速度ソースデータ、方向データを含む方向ソースデータ、環境光データを含む環境光ソースデータ、又は別のタイプのデータを含む別のタイプのソースデータのような別のタイプのソースデータにより置き換えられうる。別のタイプのソースデータの一例は、センサによりキャプチャされうるデータを含むソースデータである。また、いくつかの実施形態では、オーディオソースデータ３１０は、マルチモデルデータを含むソースデータにより置き換えられうる。

【0027】

また、オーディオソースデータ３１０は、特性を含みうる。オーディオソースデータ３１０の特性は、オーディオ信号に記憶されるオーディオデータの物理特性のようなオーディオソースデータ３１０の物理特性であり、ここでオーディオソースデータ３１０は、オーディオ信号に記憶されるデータ又はオーディオファイルに記憶されるオーディオデータの物理特性を含み、オーディオソースデータ３１０は、オーディオファイルに記憶されるデータを含む。オーディオソースデータ３１０の特定された特性のサブセットは、重要な特性として分類されうる。オーディオソースデータ３１０の重要な特性の例は、振幅、周波数、持続時間、包絡線、密度、大きさ及び強度を含みうる。特性は数値を含むことができ、数値は、オーディオソースデータ３１０の特性を定義しうる。

【0028】

図３は、ハプティックプリミティブセット３２０をさらに示し、ハプティックプリミティブセット３２０は、ハプティックプリミティブを含む。ハプティックプリミティブは、生成されうるハプティック効果の定義である。例えば、ハプティックプリミティブは、持続期間が５０ミリ秒（“ｍｓ”）、１０ｍｓのアタック（ａｔｔａｃｋ）部分、５ｍｓのサステイン（ｓｕｓｔａｉｎ）部分、及び８ｍｓのデケイ（ｄｅｃａｙ）部分を有する周期的なハプティック効果の定義を含むことができる。特定の実施形態では、ハプティックプリミティブセット３２０は、単一のハプティックプリミティブを含みうる。ハプティック効果の定義の一部分として、ハプティックプリミティブは、さらに、ハプティックパラメータを付加的に含むことができ、ここでハプティックパラメータは、ハプティック効果を生成するために用いられるハプティック信号を定義することができるパラメータであり、よって、生成されうるハプティック効果もまた定義することができる。特定の実施形態では、ハプティックプリミティブは、単一のハプティックパラメータを含みうる。より具体的には、ハプティックパラメータは、大きさ、周波数、持続時間、大きさ、強度、包絡線、密度又は任意の他の種類の定量化可能なハプティックパラメータのようなハプティック効果の質の数量である。実施形態によれば、ハプティック効果は、一又はそれ以上のハプティックパラメータにより、少なくとも部分的に定義されることができ、ここで一又はそれ以上のハプティックパラメータは、ハプティック効果の特性を定義しうる。ハプティックパラメータは、数値を含むことができ、数値は、ハプティック信号の特性を定義することができ、よって、ハプティック信号により生成されるハプティック効果の特性も定義することができる。よって、ハプティックプリミティブセット３２０の各ハプティックプリミティブは、一又はそれ以上の数値を含むことができ、一又はそれ以上の数値は、ハプティック効果をパラメータ化できる。ハプティックパラメータの例は、振幅ハプティックパラメータ、周波数ハプティックパラメータ、持続期間ハプティックパラメータ、包絡線ハプティックパラメータ、密度ハプティックパラメータ、大きさハプティックパラメータ、及び強度ハプティックパラメータを含むことができる。

【0029】

実施形態によれば、振幅ハプティックパラメータは、ハプティック効果を生成するために用いられうるハプティック信号の振幅を定義することができ、よって、ハプティック効果の振幅を定義することができる。周波数ハプティックパラメータは、ハプティック効果を生成するために用いられうるハプティック信号の周波数を定義することができ、よって、ハプティック効果の周波数を定義することができる。持続期間ハプティックパラメータは、ハプティック効果を生成するために用いられうるハプティック信号の持続期間を定義することができ、よって、ハプティック効果の持続期間を定義することができる。包絡線ハプティックパラメータは、ハプティック効果を生成するために用いられうるハプティック信号の包絡線を定義することができ、よって、ハプティック効果の包絡線を定義することができる。密度ハプティックパラメータは、ハプティック効果を生成するために用いられうるハプティック信号の密度を定義することができ、よって、ハプティック効果の密度を定義することができる。大きさハプティックパラメータは、ハプティック効果を生成するために用いられうるハプティック信号の大きさを定義することができ、よって、ハプティック効果の大きさを定義することができる。強度ハプティックパラメータは、ハプティック効果を生成するために用いられうるハプティック信号の強度を定義することができ、よって、ハプティック効果の強度を定義することができる。

【0030】

図３は、入力としてのオーディオソースデータ３１０及びハプティックプリミティブセット３２０を受信するマッチングアルゴリズム３３０を示す。実施形態によれば、マッチングアルゴリズム３３０は、オーディオソースデータ３１０をハプティックプリミティブセット３２０に含まれる各ハプティックプリミティブと比較し、オーディオソースデータ３１０に最も類似するハプティックプリミティブセット３２０の一又はそれ以上のハプティックプリミティブを選択することができるアルゴリズムである。特定の実施形態では、以下に詳細に説明するように、マッチングアルゴリズム３３０は、また、追加的に、オーディオソースデータ３１０とより類似するように、ハプティックプリミティブセット３２０の選択された一又はそれ以上のハプティックプリミティブを最適化することができる。

【0031】

実施形態によれば、マッチングアルゴリズム３３０は、オーディオソースデータ３１０の複数の重要な特性（又は単一の重要な特性）を初めに識別しうる。さらに、ハプティックプリミティブセット３２０の各ハプティックプリミティブについて、マッチングアルゴリズム３３０は、複数のハプティックパラメータ（又は単一のハプティックパラメータ）を識別しうる。マッチングアルゴリズム３３０は、さらに、各ハプティックプリミティブのハプティックパラメータを、オーディオソースデータ３１０の重要な特性と比較することができる。ハプティックパラメータを重要な特性と比較することにより、マッチングアルゴリズム３３０は、ハプティックパラメータが、重要な特性とどのように類似するか判定することができる。各ハプティックプリミティブのハプティックパラメータをオーディオソースデータ３１０の重要な特性と比較する際に、マッチングアルゴリズム３３０は、オーディオソースデータ３１０の重要な特性に対応する各ハプティックプリミティブについてのハプティックパラメータを識別することができ、さらに、識別された重要な特性を対応する識別されたハプティックパラメータと比較することができる。例えば、マッチングアルゴリズム３３０は、オーディオソースデータ３１０の振幅特性を識別することができ、さらに、ハプティックプリミティブセット３２０のハプティックプリミティブの振幅ハプティックパラメータを識別することができる。マッチングアルゴリズム３３０は、その後、識別された振幅特性及び対応する識別された振幅ハプティックパラメータをさらに比較することができる。

【0032】

重要な特性を対応するハプティックパラメータと比較する際に、マッチングアルゴリズム３３０は、重要な特性の値を対応するハプティックパラメータの値と比較することができる。ハプティックパラメータの値を対応する重要な特性と比較することにより、マッチングアルゴリズム３３０は、ハプティックパラメータの値が、重要な特性の値とどのように類似するか判定することができる。マッチングアルゴリズム３３０は、その後、複数のハプティックプリミティブ（又は単一のハプティックプリミティブ）を、ハプティックパラメータの値がオーディオソースデータ３１０の重要な特性の値と最も類似するハプティックプリミティブセット３２０から選択することができる。

【0033】

マッチングアルゴリズム３３０は、単一のハプティックプリミティブ（又は複数のハプティックプリミティブ）がオーディオソースデータ３１０と最も類似するかどうかを判定するために任意の比較基準を使用することができる。より具体的には、マッチングアルゴリズム３３０は、特定の判定プリミティブについてのハプティックパラメータが、オーディオソースデータ３１０の重要な特性と最も類似するかどうかを判定するために、任意の比較基準を使用することができる。実施例として、マッチングアルゴリズム３３０は、ハプティックプリミティブセット３２０の各ハプティックプリミティブについて、オーディオソースデータ３１０のそれらの対応する重要な特性の値と等しい値のハプティックパラメータの数値を判定し、オーディオソースデータ３１０のそれらの対応する重要な特性の値と等しい値の最も大きなハプティックパラメータの値を含むハプティックプリミティブを選択することができる。別の実施例として、マッチングアルゴリズム３３０は、ハプティックプリミティブセット３２０の各ハプティックプリミティブについて、各ハプティックパラメータの値とオーディオソースデータ３１０のその対応する特性の値との偏差を算出し、ハプティックプリミティブに対する平均又は総偏差を算出し、さらに、最も低い平均又は総偏差でハプティックプリミティブを選択することができる。これらの比較基準は単なる実施例であり、別の実施形態では、マッチングアルゴリズム３３０は、単一のハプティックプリミティブ（又は複数のハプティックプリミティブ）がオーディオソースデータ３１０に最も類似するかを判定するために別の比較基準を用いることができる。さらに、マッチングアルゴリズム３３０は、ハプティックプリミティブセット３２０（各ハプティックプリミティブの各ハプティックパラメータを含む）の全てのハプティックプリミティブに亘って比較基準を最大化又は最小化するために最適化アルゴリズムを用いることができる。このような最適化アルゴリズムの実施例は、関連技術の当業者によって明示的に理解される。

【0034】

一実施形態では、前述したように、マッチングアルゴリズム３３０は、追加でハプティックプリミティブセット３２０の選択された複数のハプティックプリミティブ（又は選択された単一のハプティックプリミティブ）を最適化することができる。実施形態によれば、各選択されたハプティックプリミティブを最適化することにより、マッチングアルゴリズム３３０は、オーディオソースデータ３１０の対応する特性の値とより類似する各選択されたハプティックプリミティブの単一のハプティックパラメータ（又は複数のハプティックパラメータ）の値を調整することができる。値の調整は、上方調整又は下方調整でありうる。これは、ハプティックプリミティブセット３２０の各選択されたハプティックプリミティブのハプティックパラメータの微調整を行うことができる。ハプティックパラメータの微調整は、各選択されたハプティックプリミティブがオーディオソースデータ３１０により類似するように、ハプティックプリミティブセット３２０の各選択されたハプティックプリミティブを微調整することができる。

【0035】

図３は、順序化されたハプティックプリミティブセット３４０を示し、順序化されたハプティックプリミティブセット３４０は、マッチングアルゴリズム３３０により生成された出力である。実施形態によれば、順序化されたハプティックプリミティブセット３４０は、ハプティックプリミティブのセット（つまり、ハプティックプリミティブ１、ハプティックプリミティブ２，．．．ハプティックプリミティブＭ）を含み、ここでハプティックプリミティブは、ハプティックプリミティブがどのようにオーディオソースデータ３１０に類似しているかに基づいて順序付けられる。特定の実施形態では、順序化されたハプティックプリミティブセット３４０は、ハプティックプリミティブセット３２０内に含まれる全てのハプティックプリミティブを含む。別の実施形態では、順序化されたハプティックプリミティブセット３４０は、ハプティックプリミティブセット３２０内に含まれるハプティックプリミティブのみを含むマッチングアルゴリズム３３０が、オーディオソースデータ３１０に最も類似するとして識別する（つまり、ハプティックプリミティブのハプティックパラメータの値がオーディオソースデータ３１０の特性の値に最も類似するハプティックプリミティブ）。特定の実施形態では、マッチングアルゴリズム３３０は、順序化されたハプティックプリミティブセット３４０の各ハプティックプリミティブにスコアを割り当てることができ、ここでスコアは、各ハプティックプリミティブがオーディオソースデータ３１０にどのように類似するか識別する。よって、順序化されたハプティックプリミティブセット３４０の各ハプティックプリミティブは、ハプティックプリミティブセット３２０から選択され、その割り当てられたスコアに基づいて順序付けられることができる。一又はそれ以上のハプティック効果は、順序化されたハプティックプリミティブセット３４０の各ハプティックプリミティブから順次生成されうる。一又はそれ以上のハプティック効果は、その後、送信、記憶又は放送されうる。その後、一又はそれ以上のハプティック効果は、出力されることができる。別の実施形態では、一又はそれ以上のハプティック効果は、それらが生成された後に出力されることができる。

【0036】

ここで、オーディオソースデータに最も類似するハプティックプリミティブを選択することの一例が説明される。この例では、オーディオソースデータ３１０は、ビデオゲームでショットガンを発射することに関連付けられたオーディオファイル内に記憶されたデータを含むことができ、オーディオソースデータ３１０に含まれるこのデータは、ｗａｖｅｆｏｒｍ ａｕｄｉｏ ｆｉｌｅ ｆｏｒｍａｔ （“ＷＡＶ”）で記憶される。マッチングアルゴリズム３３０は、オーディオソースデータ３１０を処理し、持続時間、周波数、成分及び／又は包絡線のようなオーディオソースデータ３１０の特性を判定することができる。これらのパラメータにより、マッチングアルゴリズム３３０は、オーディオソースデータ３１０に最も適合するか判定するために、ハプティックプリミティブセット３２０内に記憶されたハプティックプリミティブのセットを評価することができる。オーディオソースデータ３１０がガンショットのオーディオ効果に関連付けられたオーディオデータを含むこの例では、持続期間が短く、大きさの包絡線は、２つの異なるパーツ（例えば、銃撃のエコーの長い包絡線に続くインパルス状の大きな音）を特徴付け、この２つの異なるパーツは、特徴的な周波数成分を含む。オーディオが、順次プレイされる又はいくつかが重複する２又はそれ以上のハプティックプリミティブと最も適合する実施形態では、マッチングアルゴリズム３３０は、オーディオソースデータ３１０を区分し、良好な適合を識別するために、オーディオソースデータ３１０の区分で反復しうる。

【0037】

実施例によれば、ハプティックプリミティブセット３２０の使用可能なハプティックプリミティブの第１のセクションは、オーディオソースデータ３１０の持続時間に基づきうる。ハプティックプリミティブ（及びハプティック効果）は選択されうる。一旦ハプティックプリミティブが選択されると、ハプティックプリミティブ（及びハプティック効果）は、自動的に調整されるハプティックプリミティブのハプティックパラメータを有することにより、さらに最適化されることができる。例えば、オーディオソースデータ３１０が、３４５ｍｓの持続時間を有する場合、オーディオソースデータ３１０に最も類似するハプティックプリミティブセット３２０のハプティックプリミティブは、３００ｍｓの値を有する持続時間ハプティックパラメータを有し、持続時間ハプティックパラメータは、ハプティックプリミティブに基づいて生成されるハプティック効果がオーディオソースデータ３１０に最も類似するように、３４５ｍｓの値を有するように調整されうる。

【0038】

さらに、実施例によれば、マッチングアルゴリズム３３０は、オーディオソースデータ３１０に最も近く適合するハプティックプリミティブセット３２０からハプティックプリミティブを選択するために、オーディオソースデータ３１０の包絡線形状及び周波数成分を使用することができる。より具体的には、マッチングアルゴリズム３３０は、ハプティックプリミティブから生成されるハプティック効果が、オーディオソースデータ３１０と類似する包絡線及び周波数を有するように、包絡線ハプティックパラメータ及び周波数ハプティックパラメータを有するハプティックプリミティブを選択することができる（つまり、周波数成分に関連付けられた、銃撃のエコーの長い包絡線に続くインパルス状の大きな音）。別の実施形態では、マッチングアルゴリズム３３０は、２つのプリミティブ（及び２つのハプティック効果）をより近いオーディオソースデータ３１０に合成する又は組み合わせることができる。よって、別の実施例では、マッチングアルゴリズム３３０は、インパルス状の大きな音に適合させるために第１のハプティックプリミティブ（及び第１のハプティック効果）を選択することができ、さらに、後追いのエコーに適合させるために第２のハプティックプリミティブ（及び第２のハプティック効果）を選択することができる。マッチングアルゴリズム３３０は、第１のハプティックプリミティブ及び第２のハプティックプリミティブを組み合わせる第３のハプティックプリミティブを生成することができる（よって、第１のハプティック効果及び第２のハプティック効果を組み合わせた第３のハプティック効果を生成することができる）。第１のハプティックプリミティブ及び第２のハプティックプリミティブを第３のハプティックプリミティブとして組み合わせる際に、マッチングアルゴリズム３３０は、さらに、第１のハプティックプリミティブ及び第２のハプティックプリミティブを、２つのハプティックプリミティブ間の正しいスペーシング（ｃｏｒｒｅｃｔ ｓｐａｃｉｎｇ）を有する適切なテンポラルシーケンスに配置しうる。

【0039】

ここで、オーディオソースデータに最も類似するハプティックプリミティブを選択する別の実施例について説明する。この実施例では、オーディオソースデータ３１０は、爆発の音に関連付けられたオーディオデータを含みうる。さらに、ハプティックプリミティブセット３２０は、ハプティックプリミティブを含むことができ、各ハプティックプリミティブは、爆発ハプティック効果を生成するために用いられうる。マッチングアルゴリズム３３０は、オーディオソースデータ３１０をハプティックプリミティブセット３２０の各ハプティックプリミティブと比較し、オーディオソースデータ３１０の持続時間と最も類似する持続時間ハプティックパラメータを有するハプティックプリミティブを選択することができる。それに替えて、マッチングアルゴリズム３３０は、オーディオソースデータ３１０の振幅と最も類似する振幅ハプティックパラメータを有するハプティックプリミティブを選択することができる。その後、マッチングアルゴリズム３３０は、オーディオソースデータ３１０の特性と最も類似する選択されたハプティックプリミティブのハプティックパラメータを調整することにより、追加で、選択されたハプティックプリミティブを最適化することができる。よって、マッチングアルゴリズム３３０は、オーディオソースデータ３１０に最もフィットする爆発ハプティック効果を選択することができる。さらに、最適化されたハプティックプリミティブ（つまり、一又はそれ以上のパラメータが調整されたハプティックプリミティブ）は、その後のマッチング用のマッチングアルゴリズム３３０のパフォーマンスをさらに向上させるために、ハプティックプリミティブセット３２０内に含まれうる。

【0040】

図４は、本発明の一実施形態に係る、抽出されたオーディオ特徴に基づいてハプティック効果のオーディオ特徴抽出及び選択についてのフロー図を示す。この実施形態によれば、マッチングアルゴリズムは、オーディオソースデータ（又は他のタイプのストリーム）から単一の特徴（又は複数の特徴）を抽出し、抽出された特徴を関連するとみなされる予め演算されたテンプレートと比較することができ、ここでハプティック効果は、各テンプレートと関連付けられる。

【0041】

図４は、受信されたオーディオソースデータ４１０を示す。この実施形態によれば、オーディオソースデータ４１０は、オーディオデータを含む。特定の実施形態では、オーディオソースデータ４１０に含まれるオーディオデータは、オーディオファイル又はオーディオ信号のいずれかで記憶されたオーディオデータでありうる。別の実施形態では、オーディオソースデータ４１０に含まれるオーディオデータは、ストリームされるオーディオデータでありうる。さらに、図示された実施形態では、オーディオソースデータ４１０は、ＰＣＭフォーマットでエンコードされる。特定の実施形態では、オーディオソースデータ４１０は、ＭＩＤＩフォーマット又はＭＰ３フォーマットのような別のタイプのフォーマットでエンコードされることもできる。さらに、別の実施形態では、オーディオソースデータ４１０は、ビデオデータを含むビデオソースデータ、加速度データを含む加速度ソースデータ、方向データを含む方向ソースデータ、環境光データを含む環境光ソースデータ、又は別のタイプのデータを含む別のタイプのソースデータのような他のタイプのソースデータを含む他のタイプのソースデータにより置き換えられうる。加速度データの一例として、デバイスのコントローラは、デバイスを前後に振るような、ハプティック効果をオンスクリーン又はフリースペースジェスチャに自動的に割り当てることができる。ユーザがアクションを行う時、アクションに関連付けられた加速度データは、コントローラへ送信されうる。コントローラは、加速度データを処理し、ユーザがなすいくつかの急激なモーションを判定することができる。そして、コントローラは、高い周波数のハプティック効果のような急激なモーションに最も類似するハプティック効果を選択することができる。ソースデータの別のタイプの実施例は、センサによりキャプチャされうるデータを含むソースデータである。さらに、いくつかの実施形態では、オーディオソースデータは、マルチモデルデータを含むソースデータにより置き換えられうる。

【0042】

また、オーディオソースデータ４１０は、複数の特徴を含みうる。特徴の一例は、特性であり、これは、前述したものである。特徴の別の例は、高周波数から低周波数へのトランザクションのような第１の特性から第２の特性への遷移である。特徴は、数値を含むことができ、この数値は、オーディオソースデータ４１０の特徴を定義することができる。

【0043】

図４は、さらに、サウンドテンプレートセット４２０を示す。実施形態によれば、サウンドテンプレートセット４２０は、複数のサウンドテンプレートを含む。ある実施形態では、サウンドテンプレートセット４２０は、単一のサウンドテンプレートを含むことができる。サウンドテンプレートは、テンプレート特徴を含むことができる。特徴と同様に、テンプレート特徴は、特性であってもよく、又はそれに替えて、第１の特性から第２の特性への遷移であってもよい。以下に詳細に説明するように、サウンドテンプレートは、対応するハプティック効果と関連付けられてもよい。追加で、特定の実施形態では、サウンドテンプレートは、オーディオソースデータの一部分であることができ、オーディオデータを含むこともできる。オーディオソースデータの一部分は、オーディオソースデータ内で常に生じるパターンでありうる。サウンドテンプレートの例は、銃撃音、車の衝突音、爆発音、衝突音、パンチ音、矢の音又は別のタイプのパーカッションオン音を含む。実施形態によれば、サウンドテンプレートは、ハプティック効果へ変換するための候補として選択されうる。一実施形態では、サウンドテンプレートセット４２０のサウンドテンプレートは、オーディオソースデータ４１０のようなオーディオソースデータが処理されるときに使用するためのテンプレートのデータベース又はライブラリに記憶されうる。特定の実施形態では、サウンドテンプレートセット４２０のサウンドテンプレートが記憶されるデータベース又はライブラリを生成するために、サウンドテンプレートは、オーディオソースデータ４１０から抽出された特徴と後に比較されうるテンプレート特徴を抽出するために、以下の技術の１つを用いて処理されうる：（１）スペクトログラム（すなわち、時間領域信号の時間対周波数プロット）；（２）ケプトスラム（すなわち、信号のスペクトルの対数の高速フーリエ変換（“ＦＦＴ”））；（３）確率的及び確率モデル（例えば、隠れマルコフモデル（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌｓ （“ＨＭＭ”）））、又は（４）（オーディオソースデータ４１０のような）オーディオソースデータに基づいてハプティックパラメータをオーサリングする。合成エンジン、センサ又は合成ツール（例えば、プロトコル）から得られるオーディオファイルは、また、メタデータとして使用可能な特徴情報を有してもよい。この技術は、音声認識と同様に用いられることができる。しかし、実施形態によれば、この技術は、音声よりもむしろハプティック関連イベントを認識するために用いられることができる。具体的には、ＨＭＭは、オーディオソースデータ４１０内のサウンドテンプレートセット４２０のサウンドテンプレートを識別するために用いられることができる。使用されうる別のアルゴリズムは、ニューラルネットワークである。

【0044】

さらに、別の実施形態では、サウンドテンプレートセット４２０は、別のタイプのテンプレートを含む別のタイプのテンプレートセットにより置換されうる。別のタイプのテンプレートセットの一例は、ビデオテンプレートを含むビデオテンプレートセットであり、ここでビデオテンプレートは、ビデオソースデータの一部であることができ、ビデオデータを含むことができる。別の例は、加速度テンプレートを含む加速度テンプレートセットであり、ここで加速度テンプレートは、加速度ソースデータの一部であることができ、加速度データを含むことができる。別の例は、方向テンプレートを含む方向テンプレートセットであり、ここで方向テンプレートは、方向ソースデータの一部であることができ、方向データを含むことができる。別の例は、環境光テンプレートを含む環境光テンプレートセットであり、ここで環境光テンプレートは、環境光ソースデータの一部であることができ、環境光データを含むことができる。別の例は、センサテンプレートを含むセンサテンプレートセットであり、ここでセンサテンプレートは、センサによりキャプチャされうるデータを含むことができる。さらに、いくつかの実施形態では、テンプレートセットは、複数のタイプのテンプレートを含むことができる。

【0045】

図４は、さらに、ハプティック効果セット４３０を示す。実施形態によれば、ハプティック効果セット４３０は、複数のハプティック効果を含む。特定の実施形態では、ハプティック効果セット４３０は、単一のハプティック効果を含む。サウンドテンプレートセット４２０の各サウンドテンプレートは、サウンドテンプレートに関連付けられたハプティック効果セット４３０のハプティック効果を有することができる。特定の実施形態では、ハプティック効果セット４３０の各ハプティック効果は、サウンドテンプレートセット４２０を記憶するデータベース内のハプティック効果セット４３０のサウンドテンプレートに割り当てられることができる。よって、サウンドテンプレートセット４２０の各サウンドテンプレートは、各サウンドテンプレートに割り当てられるハプティック効果セット４３０からのハプティック効果を有する。ハプティック効果セット４３０のハプティック効果は、図３について前述された自動オーディオ トゥ ハプティック（ａｕｄｉｏ−ｔｏ−ｈａｐｔｉｃ）変換のような自動オーディオ トゥ ハプティック変換を用いて生成されうる。別の実施形態では、ハプティック効果セット４３０のハプティック効果は、ハプティック効果設計者により個別に設計されうる。特定の実施形態では、ハプティック効果セット４３０のハプティック効果は、サウンドテンプレートセット４２０のサウンドテンプレートを含むデータベースの一部であり得る。別の実施形態では、ハプティック効果セット４３０のハプティック効果は、サウンドテンプレートセット４２０の対応サウンドテンプレートに対応するインデックスとともに別々にデータベースに記憶されうる。

【0046】

４４０では、オーディオソースデータ４１０が受信され、ここでオーディオソースデータ４１０は、単一のハプティック効果又は複数のハプティック効果への変換のために選択される。オーディオソースデータ４１０は、処理され、オーディオソースデータ４１０から特徴を抽出するために、一又はそれ以上のアルゴリズムが適用される。オーディオソースデータ４１０から抽出された特徴は、サウンドテンプレートセット４２０のサウンドテンプレートと比較される。より具体的には、サウンドテンプレートセット４２０の各サウンドテンプレートについて、オーディオソースデータ４１０から抽出された特徴は、そのサウンドテンプレートのテンプレート特徴と比較される。オーディオソースデータ４１０から抽出された特徴をサウンドテンプレートセット４２０の複数のサウンドテンプレート（又は単一のサウンドテンプレート）のテンプレート特徴と比較することにより、オーディオソースデータ４１０から抽出された特徴に最も類似するテンプレート特徴を有するものとして識別されうる。すなわち、複数のサウンドテンプレート（又は単一のサウンドテンプレート）は、オーディオソースデータ４１０と最も類似するものとして識別されうる。これらの識別されたサウンドテンプレートは、サウンドテンプレートセット４２０から順次選択されうる。一旦識別されたサウンドテンプレートが選択されると、各選択されたテンプレートに関連付けられたハプティック効果もまた、ハプティック効果セット４３０から選択されうる。一実施形態では、選択されたハプティック効果は、追加で最適化されうる。実施形態によれば、各選択されたハプティック効果を最適化することにより、各選択されたハプティック効果の単一のハプティックパラメータ（又は複数のハプティックパラメータ）の値は、オーディオソースデータ４１０の対応する特徴の値と最も類似するように調整されうる。値の調整は、上方調整又は下方調整でありうる。これは、ハプティック効果セット４３０の各選択されたハプティック効果のハプティックパラメータの微調整をもたらすことができる。ハプティックパラメータの微調整は、各選択されたハプティック効果がオーディオソースデータ４３０とより類似するように、ハプティック効果セット４３０の各選択されたハプティック効果を調整することができる。一旦ハプティック効果が選択されると、ハプティック効果は、ハプティック情報４５０を生成するために用いられうる。ハプティック情報４５０は、続いて出力されうる、選択されたハプティック効果の集合である。一実施形態では、ハプティック情報４５０は、ハプティックデータ、ハプティックトラック又はハプティックストリームの形態を取り得る。特定の実施形態では、ハプティック情報４５０は、当業者にとって既知のハプティックエンコード技術に基づいてエンコードされうる。ハプティック情報４５０は、その後、送信、記憶又は放送されうる。その後、ハプティック情報４５０は、出力されうる。別の実施形態では、ハプティック情報４５０は、生成された後に出力されうる。

【0047】

よって、ハプティック効果を記憶し、ハプティック効果をサウンドテンプレートに関連付け、オーディオソースデータをサウンドテンプレートと比較することにより、ハプティック効果とサウンドテンプレートとの関連性は、オーディオデータをハプティック効果へ自動変換することをさらに促進又は最適化するために再利用されることができる。

【0048】

図５は、本発明の一実施形態に係る、自動ハプティック効果適合モジュール（例えば、図１のハプティック効果適合モジュール１６）の機能についてのフロー図を示す。フローは開始し、５１０へ進む。５１０では、ソースデータが受信され、ソースデータは、一又はそれ以上の特性を含む。特定の実施形態では、ソースデータは、オーディオソースデータを含む。いくつかの実施形態では、オーディオソースデータは、ＰＣＭフォーマットでエンコードされる。ソースデータがオーディオソースデータを含む実施形態では、オーディオソースデータは、オーディオデータを含み、オーディオデータは、オーディオファイル又はオーディオ信号に記憶されうる。別の実施形態では、ソースデータは、ビデオソースデータを含む。さらに別の実施形態では、ソースデータは、加速度ソースデータを含む。さらに別の実施形態では、ソースデータは、方向ソースデータを含む。さらに別の実施形態では、ソースデータは、環境光ソースデータを含む。さらに別の実施形態では、ソースデータは、マルチモデルソースデータを含む。さらに、ソースデータの一又はそれ以上の特性は、振幅、周波数、持続時間、包絡線、密度、大きさ又は強度の少なくとも１つを含む。フローは５２０へ進む。

【0049】

５２０では、ソースデータは、一又はそれ以上のハプティックプリミティブと比較され、各ハプティックプリミティブは、一又はそれ以上のハプティックパラメータを含む。特定の実施形態では、前記比較は、さらに、ソースデータの一又はそれ以上の特性を、各ハプティックプリミティブの一又はそれ以上のハプティックパラメータと比較することを含む。特定の実施形態では、一又はそれ以上のハプティックパラメータは、振幅ハプティックパラメータ、周波数ハプティックパラメータ、持続時間ハプティックパラメータ、包絡線ハプティックパラメータ、密度ハプティックパラメータ、大きさハプティックパラメータ、又は強度ハプティックパラメータの少なくとも１つを含む。フローは５３０へ進む。

【0050】

５３０では、一又はそれ以上のハプティックプリミティブは、５２０で行われた比較に基づいて選択される。特定の実施形態では、前記選択は、一又はそれ以上のハプティックパラメータの値が、ソースデータの一又はそれ以上の特性の値に最も類似する一又はそれ以上のハプティックプリミティブを選択することを含む。フローは５４０へ進む。

【0051】

５４０では、選択された一又はそれ以上のハプティックプリミティブが最適化される。特定の実施形態では、選択された一又はそれ以上のハプティックプリミティブは、ソースデータとより類似するように最適化される。これらの実施形態のいくつかでは、前記最適化は、ソースデータの対応する特性の値に、より類似する各選択されたハプティックプリミティブの少なくとも１つのハプティックパラメータの値を調整することを含む。ある実施形態では、５４０は省略される。フローは５５０へ進む。

【0052】

５５０では、一又はそれ以上のハプティック効果は、選択された一又はそれ以上のプリミティブに基づいて出力される。特定の実施形態では、一又はそれ以上のハプティック効果が出力される前に、一又はそれ以上のハプティック効果は、エンコードされうる、及び／又はファイルのようなストレージに記憶されうる。続いて、これらの実施形態では、一又はそれ以上のハプティック効果は、それらが出力される前に、読み出される及び／又はデコードされうる。フローはその後終了する。

【0053】

図６は、本発明の一実施形態に係る、自動ハプティック効果適合モジュール（例えば、図１の自動ハプティック効果適合モジュール１６）の機能についてのフロー図を示す。フローは開始し、６１０へ進む。６１０では、ソースデータが受信され、ソースデータは、一又はそれ以上の特徴を含む。特定の実施形態では、ソースデータは、オーディオソースデータを含む。これらの実施形態のいくつかでは、オーディオソースデータは、ＰＣＭフォーマットでエンコードされる。ソースデータがオーディオソースデータを含む実施形態では、オーディオソースデータは、オーディオデータを含み、オーディオデータは、オーディオファイル又はオーディオ信号に記憶されうる。別の実施形態では、ソースデータは、ビデオソースデータを含む。さらに別の実施形態では、ソースデータは、加速度ソースデータを含む。さらに別の実施形態では、ソースデータは、方向ソースデータを含む。さらに別の実施形態では、ソースデータは、環境光ソースデータを含む。さらに別の実施形態では、ソースデータは、マルチモデルソースデータを含む。フローは６２０へ進む。

【0054】

６２０では、一又はそれ以上の特徴は、ソースデータから抽出される。フローは６３０へ進む。

【0055】

６３０では、一又はそれ以上の抽出された特徴は、一又はそれ以上のテンプレートと比較され、各テンプレートは、一又はそれ以上のテンプレート特徴及び一又はそれ以上のハプティック効果を含む。特定の実施形態では、一又はそれ以上のテンプレートは、一又はそれ以上のサウンドテンプレートを含む。別の実施形態では、一又はそれ以上のテンプレートは、一又はそれ以上のビデオテンプレートを含む。別の実施形態では、一又はそれ以上のテンプレートは、一又はそれ以上の加速度テンプレートを含む。特定の実施形態では、前記比較は、ソースデータの各抽出された特徴を、一又はそれ以上のテンプレートの各テンプレートと比較することを含む。フローは６４０へ進む。

【0056】

６４０では、一又はそれ以上のテンプレートは、６３０で行われた比較に基づいて一又はそれ以上のテンプレートから選択される。特定の実施形態では、前記選択は、一又はそれ以上のテンプレート特徴が、ソースデータの一又はそれ以上の抽出された特徴に最も類似する一又はそれ以上のテンプレートを選択することを含む。フローは６５０へ進む。

【0057】

６５０では、一又はそれ以上のハプティック効果は、一又はそれ以上の選択されたテンプレートから選択される。フローは６６０へ進む。

【0058】

６６０では、一又はそれ以上の選択されたハプティック効果が出力される。特定の実施形態では、一又はそれ以上の選択されたハプティック効果が出力される前に、一又はそれ以上の選択されたハプティック効果は、エンコードされる、及び／又はファイルのようなストレージに記憶されうる。その後、これらの実施形態では、一又はそれ以上の選択されたハプティック効果は、それらが出力される前に、読み出される、及び／又はデコードされうる。フローはその後、終了する。

【0059】

よって、実施形態によれば、オーディオソースデータのようなソースデータを分析し、ソースデータに最も類似する一又はそれ以上のハプティック効果を識別することができるシステムを提供する。前記システムは、その後、識別された一又はそれ以上のハプティック効果をソースデータと適合することができる。前記システムは、続いて、識別された一又はそれ以上のハプティック効果を出力することができる。この技術により、前記システムは、ソースデータがミックスされる前に、オーディオソースデータのようなソースデータを用いることができる。ソースデータがミックスされる前に、処理の初めにソースデータを使用することにより、前記システムは、コンテンツ全体に加えられうるハプティック効果の妥当性及び質を向上させることができる。また、前記システムは、オーディオ効果のような効果及同時にプレイするハプティック効果を有するゲーム又は他のコンテンツでのハプティック効果の設計のために非常に有益なものとなりうる。前記システムは、コンテンツ製作者に適切なハプティックコンテンツを識別し、それらのゲーム又は体験のためのハプティックコンテンツをカスタマイズするための簡易な手法を提供することができる。

【0060】

本明細書を通して記載された本発明の特徴、構造、又は特性は、１つ以上の実施形態において任意の適切な方法において組み合わされてよい。例えば、「一実施形態」、「一部の実施形態」、「特定の実施形態」、「特定の実施形態（複数）」、又は他の類似の言語の使用は、本明細書を通じて、実施形態に関連して記載された特定の特徴、構造、又は特性が、本発明の少なくとも１つの実施形態に含まれ得るという事実に言及している。従って、「一実施形態」、「一部の実施形態」、「特定の実施形態」、「特定の実施形態（複数）」の言い回し、又は他の類似の言語の登場は、これら全てが、実施形態の同じ群のことを必ずしも言及しているのではなく、記載された特徴、構造、又は特性は、１つ以上の実施形態において任意の適切な方法において組み合わされてよい。

【0061】

当業者は、上述した発明が、異なる順序におけるステップを用いて実施されてよく、及び／又は、記載された構成とは異なる構成における要素を用いて実施されてよいことを容易に理解する。それゆえ、本発明はこれらの好ましい実施形態に基づいて記載されているけれども、特定の修正、変更、及び代替の構成が明白であり、他方で本発明の趣旨及び範囲内にあることは、当業者にとって明白である。本発明の境界を決定するために、それゆえ、添付の特許請求の範囲に参照がなされるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【手続補正書】

【提出日】2019年9月27日

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

プロセッサによって実行されると、前記プロセッサにハプティック効果を自動的に適合させる命令を記憶した非一時的コンピュータ可読媒体であって、前記自動的に適合することは、
第１のストリームのソースデータと第２のストリームのソースデータとを受信するステップと、
前記第１のストリームのソースデータおよび前記第２のストリームのソースデータを複数のハプティック効果定義と比較するステップと、
前記比較に基づいて、前記複数のハプティック効果定義から前記第１のストリームのソースデータの第１のハプティック効果定義、および前記第２のストリームのソースデータの第２のハプティック効果定義を選択するステップであって、前記第１のストリームのソースデータは前記第２のストリームのソースデータとミックスされる、選択するステップと、
前記第１のハプティック効果定義および前記第２のハプティック効果定義に基づいて複数のハプティック効果を出力するステップと、
を備える、非一時的コンピュータ可読媒体。

【請求項2】

ハプティック効果定義は振幅ハプティックパラメータを備える、請求項１に記載の非一時的コンピュータ可読媒体。

【請求項3】

前記選択するステップはさらに、前記振幅ハプティックパラメータの値が前記ソースデータの包絡線の値に最も類似するハプティック効果定義を選択するステップをさらに備える、請求項２に記載の非一時的コンピュータ可読媒体。

【請求項4】

前記ソースデータの包絡線の値に対する前記選択されたハプティック効果定義の振幅ハプティックパラメータの値を調整することによって、前記選択されたハプティック効果定義を最適化するステップをさらに備える、請求項３に記載の非一時的コンピュータ可読媒体。

【請求項5】

前記第１のストリームのソースデータがオーディオソースデータを備える、請求項１に記載の非一時的コンピュータ可読媒体。

【請求項6】

前記オーディオソースデータがパルスコードモデュレーションフォーマットでエンコードされる、請求項５に記載の非一時的コンピュータ可読媒体。

【請求項7】

前記オーディオソースデータがオーディオファイル又はオーディオ信号のうちの１つに記憶されるオーディオデータを備える、請求項５に記載の非一時的コンピュータ可読媒体。

【請求項8】

前記第１のストリームのソースデータが、ビデオソースデータ、加速度ソースデータ、方向ソースデータ、環境光ソースデータ、又はマルチモデルソースデータのうちの少なくとも１つを備える、請求項１に記載の非一時的コンピュータ可読媒体。

【請求項9】

前記自動的に適合することは、前記ソースデータから包絡線を抽出するステップをさらに備える、請求項１に記載の非一時的コンピュータ可読媒体。

【請求項10】

ハプティック効果を自動的に適合するためのコンピュータ実施方法であって、
第１のストリームのソースデータと第２のストリームのソースデータとを受信するステップと、
前記第１のストリームのソースデータおよび前記第２のストリームのソースデータを複数のハプティック効果定義と比較するステップと、
前記比較に基づいて、前記複数のハプティック効果定義から前記第１のストリームのソースデータの第１のハプティック効果定義、および前記第２のストリームのソースデータの第２のハプティック効果定義を選択するステップであって、前記第１のストリームのソースデータは前記第２のストリームのソースデータとミックスされる、選択するステップと、
前記第１のハプティック効果定義および前記第２のハプティック効果定義に基づいて複数のハプティック効果を出力するステップと、
を備える、方法。

【請求項11】

ハプティック効果定義は振幅ハプティックパラメータを備える、請求項１０に記載の方法。

【請求項12】

前記選択するステップはさらに、前記振幅ハプティックパラメータの値が前記ソースデータの包絡線の値に最も類似するハプティック効果定義を選択するステップをさらに備える、請求項１１に記載の方法。

【請求項13】

前記ソースデータの包絡線の値に対する前記選択されたハプティック効果定義の振幅ハプティックパラメータの値を調整することによって、前記選択されたハプティック効果定義を最適化するステップをさらに備える、請求項１２に記載の方法。

【請求項14】

前記第１のストリームのソースデータがオーディオソースデータを備える、請求項１０に記載の方法。

【請求項15】

前記ソースデータから包絡線を抽出するステップをさらに備える、請求項１０に記載の方法。

【請求項16】

ハプティックを自動的に適合するためのシステムであって、
第１のストリームのソースデータおよび第２のストリームのソースデータを受信するように構成された通信装置と、
自動ハプティック効果適合モジュールを記憶するように構成されたメモリと、
前記メモリに記憶された自動ハプティック効果適合モジュールを実行するように構成されたプロセッサと、を備え、
前記自動ハプティック効果適合モジュールは、前記第１のストリームのソースデータおよび前記第２のストリームのソースデータを複数のハプティック効果定義と比較するするように構成され、
前記自動ハプティック効果適合モジュールは、前記比較に基づいて、前記複数のハプティック効果定義から前記第１のストリームのソースデータの第１のハプティック効果定義、および前記第２のストリームのソースデータの第２のハプティック効果定義を選択するようにされにさらに構成され、
前記第１のストリームのソースデータは前記第２のストリームのソースデータとミックスされ、前記自動ハプティック効果適合モジュールは、前記第１のハプティック効果定義および前記第２のハプティック効果定義に基づいて複数のハプティック効果を出力するようにさらに構成される、
システム。

【請求項17】

ハプティック効果定義は振幅ハプティックパラメータを備える、請求項1６に記載のシステム。

【請求項18】

前記自動ハプティック効果適合モジュールは、前記振幅ハプティックパラメータの値が前記ソースデータの包絡線の値に最も類似するハプティック効果定義を選択するようにさらに構成される、請求項１７に記載のシステム。

【請求項19】

前記自動ハプティック効果適合モジュールは、前記ソースデータの包絡線の値に対する前記選択されたハプティック効果定義の振幅ハプティックパラメータの値を調整するようにさらに構成される、請求項１７に記載のシステム。

【請求項20】

前記自動ハプティック効果適合モジュールは、前記ソースデータから包絡線を抽出するようにさらに構成される、請求項１６に記載のシステム。

【外国語明細書】

2019215935000001.pdf