特開 2016-149121 触覚効果の自動付随

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2016-149121(P2016-149121A)

(43)【公開日】2016年8月18日

(54)【発明の名称】触覚効果の自動付随

(51)【国際特許分類】

   G06F 3/01 20060101AFI20160722BHJP

【ＦＩ】

   G06F3/01 560

【審査請求】未請求

【請求項の数】22

【出願形態】ＯＬ

【全頁数】11

(21)【出願番号】特願2015-243263(P2015-243263)

(22)【出願日】2015年12月14日

(31)【優先権主張番号】14/619,590

(32)【優先日】2015年2月11日

(33)【優先権主張国】US

(71)【出願人】

【識別番号】500390995

【氏名又は名称】イマージョン コーポレーション

【氏名又は名称原語表記】ＩＭＭＥＲＳＩＯＮ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100116872

【弁理士】

【氏名又は名称】藤田 和子

(72)【発明者】

【氏名】ラクロワ ロバート エー．

(72)【発明者】

【氏名】ノリス ポール

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA26

5E555AA76

5E555BA04

5E555BA20

5E555BB04

5E555BB20

5E555BC04

5E555DA21

5E555DA24

5E555DB57

5E555DC84

5E555FA00

(57)【要約】      （修正有）

【課題】デバイス上でメディアを再生する触覚効果の自動付随方法を提供する。
【解決手段】触覚対応可能なシステム／デバイス上で音声／映像（「Ａ／Ｖ」）メディアの再生を開始するステップ３０１と、Ａ／Ｖメディアを認識するステップ３０２を含む。認識されたＡ／Ｖメディアに対応する、予め定義された触覚トラックを識別するステップ３０３と、Ａ／Ｖの再生に同期して、選択された、予め定義された触覚トラックを再生するステップ３０４とを更に含む。触覚トラックの再生は、システム／デバイス上で触覚効果を生成する。
【選択図】図３

【特許請求の範囲】

【請求項1】

デバイス上でメディアを再生する方法であって、
前記デバイス上で音声／映像（Ａ／Ｖ）メディアの再生を始動するステップと、
前記Ａ／Ｖメディアを識別するステップと、
前記識別されたＡ／Ｖメディアに対応する、予め定義された触覚トラックを選択するステップと、
前記Ａ／Ｖの再生に同期して、前記選択された、予め定義された触覚トラックを再生するステップと、を備え、前記選択された、予め定義された触覚トラックの再生は、前記デバイス上で触覚効果を生成する、方法。

【請求項2】

前記識別するステップは、前記Ａ／Ｖメディアのコンテンツに基づく、請求項１に記載の方法。

【請求項3】

前記Ａ／Ｖメディアはファイル名を備え、且つ前記識別するステップは前記ファイル名に基づく、請求項１に記載の方法。

【請求項4】

前記予め定義された触覚トラックは、複数の触覚効果パラメータを備える触覚信号を備える、請求項１に記載の方法。

【請求項5】

前記Ａ／Ｖメディアは、第１の場所にある前記デバイスから離れており、前記予め定義された触覚トラックは、前記第１の場所と異なる第２の場所にある前記デバイスから離れている、請求項１に記載の方法。

【請求項6】

前記触覚トラックを再生するステップは、モーター信号をアクチュエータに送るステップを備える、請求項１に記載の方法。

【請求項7】

前記Ａ／Ｖメディアは、透かしマーク又はメタデータの少なくとも１つを備えるＡ／Ｖ認識データを含むように修正され、前記識別するステップは、前記Ａ／Ｖ認識データに基づく、請求項１に記載の方法。

【請求項8】

前記予め定義された触覚トラックを選択するステップは、前記デバイスの触覚出力能力に更に基づく、請求項１に記載の方法。

【請求項9】

プロセッサで実行されるとき、前記プロセッサにデバイス上でメディアを再生させる命令を格納したコンピュータ可読媒体であって、前記再生させることは、
前記デバイス上で音声／映像（Ａ／Ｖ）メディアの再生を始動するステップと、
前記Ａ／Ｖメディアを識別するステップと、
前記識別されたＡ／Ｖメディアに対応する、予め定義された触覚トラックを選択するステップと、
前記Ａ／Ｖの再生に同期して、前記選択された、予め定義された触覚トラックを再生するステップと、を備え、前記選択された、予め定義された触覚トラックの再生は、前記デバイス上で触覚効果を生成する、コンピュータ可読媒体。

【請求項10】

前記識別するステップは、前記Ａ／Ｖメディアのコンテンツに基づく、請求項９に記載のコンピュータ可読媒体。

【請求項11】

前記Ａ／Ｖメディアはファイル名を備え、且つ前記識別するステップは前記ファイル名に基づく、請求項９に記載のコンピュータ可読な媒体。

【請求項12】

前記予め定義された触覚トラックは、複数の触覚効果パラメータを備える触覚信号を備える、請求項９に記載のコンピュータ可読媒体。

【請求項13】

前記Ａ／Ｖメディアは、第１の場所にある前記デバイスから離れており、前記予め定義された触覚トラックは、前記第１の場所と異なる第２の場所にある前記デバイスから離れている、請求項９に記載のコンピュータ可読媒体。

【請求項14】

前記触覚トラックを再生するステップは、モーター信号をアクチュエータに送るステップを備える、請求項９に記載のコンピュータ可読媒体。

【請求項15】

前記Ａ／Ｖメディアは、透かしマーク又はメタデータの少なくとも１つを備えるＡ／Ｖ認識データを含むように修正され、前記識別するステップは、前記Ａ／Ｖ認識データに基づく、請求項９に記載のコンピュータ可読媒体。

【請求項16】

前記予め定義された触覚トラックを選択するステップは、前記デバイスの触覚出力能力に更に基づく、請求項９に記載のコンピュータ可読媒体。

【請求項17】

触覚対応可能なデバイスであって、
触覚再生器と、
音声／映像（Ａ／Ｖ）メディア再生器と、
メディア聴取器と、
を備え、
前記メディア聴取器は、前記Ａ／Ｖメディア再生器によって再生されているＡ／Ｖメディアの識別に基づいて、前記識別されたＡ／Ｖメディアに対応する、選択された、予め定義された触覚トラックを再生する、触覚対応可能なデバイス。

【請求項18】

前記Ａ／Ｖメディアは、対応するＡ／Ｖ認識データに基づいて識別される、請求項１７に記載の触覚対応可能なデバイス。

【請求項19】

前記Ａ／Ｖ認識データは、前記Ａ／Ｖメディアのコンテンツを備える、請求項１８に記載の触覚対応可能なデバイス。

【請求項20】

前記Ａ／Ｖメディアはファイル名を備え、且つ前記Ａ／Ｖ認識データは前記ファイル名を備える、請求項１８に記載の触覚対応可能なデバイス。

【請求項21】

前記Ａ／Ｖメディアは、透かしマーク又はメタデータの少なくとも１つを備え、前記Ａ／Ｖ認識データは、前記透かしマーク又は前記メタデータを備える、請求項１８に記載の触覚対応可能なデバイス。

【請求項22】

前記触覚再生器はアクチュエータを備える、請求項１７に記載の触覚対応可能なデバイス。

【発明の詳細な説明】

【技術分野】

【0001】

一実施形態は、一般に触覚効果に向けられ、特に、触覚効果を音声及び／又は映像に自動付随させることに向けられる。

【背景技術】

【0002】

電子デバイス製造業者は、ユーザのために豊かなインターフェースを生産することに懸命に取り組む。従来のデバイスは、ユーザへのフィードバックを提供するために、視覚的合図及び聴覚的合図を使用する。幾つかのインターフェースデバイスでは、（能動的フィードバック及び抵抗力フィードバックのような）運動感覚性フィードバック及び／又は（振動、手ざわり、及び熱のような）触覚フィードバックもまたユーザに提供され、これらは、より一般には、総体的に「触覚フィードバック」又は「触覚効果」として知られる。触覚フィードバックは、ユーザインターフェースを向上させると共に単純化する合図を、提供することが可能である。具体的には、振動効果、又は振動触覚性の触覚効果は、電子デバイスのユーザに合図を提供する上で有効かもしれず、その目的は、特定の出来事に対してユーザの注意を喚起すること、又は、疑似化された環境若しくは仮想環境の中で、より大きな感覚的没入を作り出すための現実的なフィードバックを提供することである。

【0003】

スマートフォン及びタブレットのような、ますます多くのデバイスが、触覚効果を生成するための、アクチュエータのようなハードウェアを含む。触覚効果は、特に、これらのデバイス上で、音声及び／又は音声／映像の視聴性を向上させることが可能である。例えば、触覚効果を音声／映像トラックに付随させることによって、視聴者は、自動車におけるエンジンの唸り、爆発、衝突、及び日光の揺らめく感覚を「感じる」ことが可能である。

【発明の概要】

【0004】

一実施形態は、デバイス上でメディアを再生する方法である。本方法は、デバイス上で音声／映像（ａｕｄｉｏ／ｖｉｄｅｏ「Ａ／Ｖ」）メディアの再生を始動するステップを含み、更に、Ａ／Ｖメディアを識別するステップを含む。本方法は、識別されたＡ／Ｖメディアに対応する、予め定義された触覚トラックを選択するステップと、Ａ／Ｖの再生に同期して、選択された、予め定義された触覚トラックを再生するステップとを含み、選択された、予め定義された触覚トラックは、デバイス上で触覚効果を生成する。

【図面の簡単な説明】

【0005】

【図1】本発明の一実施形態に係る、触覚対応可能なシステム／デバイスのブロック図である。

【図2】本発明の一実施形態に係る、図１のシステム及び他のネットワーク要素を含む概観図である。

【図3】本発明の実施形態に係る、図１のシステムの機能性のフロー図である。

【発明を実施するための形態】

【0006】

実施形態によって、再生されている、又はデバイス上で再生されるかもしれない音声／映像トラックを、自動的に認識すると共に識別することが可能になる。識別に基づいて、対応する触覚効果トラックが選択されると共に引き出され、且つ、その後、音声／映像トラックの再生の間、触覚出力デバイス上で再生される。その結果、音声／映像再生は、触覚効果によって自動的に向上される。

【0007】

図１は、本発明の一実施形態に係る、触覚対応可能なシステム／デバイス１０のブロック図である。システム１０は、ハウジング１５内に取り付けられたタッチ感応表面１１若しくは他のタイプのユーザインターフェースを含み、且つ機械的なキー／ボタン１３を含んでもよい。

【0008】

システム１０には、触覚フィードバックシステムが内蔵され、この触覚フィードバックシステムは、システム１０上で触覚効果を生成し、且つプロセッサ又はコントローラ１２を含む。プロセッサ１２にはメモリ２０が結合され、且つアクチュエータ駆動回路１６が、アクチュエータ１８に結合される。プロセッサ１２は、任意のタイプの汎用プロセッサであってもよく、又は、特定用途向け集積回路（「ＡＳＩＣ」）のような触覚効果を提供するように特に設計されたプロセッサであり得るであろう。プロセッサ１２は、システム１０全体を動作させるのと同じプロセッサであってもよく、又は、別個のプロセッサであってもよい。プロセッサ１２は、高レベルのパラメータに基づいて、どんな触覚効果が再生されるべきかを、及びそれらの効果が再生される順番を、決定することが可能である。一般に、特別な触覚効果を定義する高レベルのパラメータは、大きさ、周波数、及び持続時間を含む。ストリーミング・モーター・コマンドのような低レベルのパラメータはまた、特別な触覚効果を決定するために使用できるであろう。触覚効果が生成される場合、もしそれが、これらのパラメータの幾つかの変動を含むか、若しくはユーザの対話に基づいて、これらのパラメータの変動を含むならば、触覚効果は、「動的」と考えてもよい。一実施形態において、触覚フィードバックシステムは、システム１０上で、振動２６、２７を生成するか、又は他のタイプの触覚効果を生成する。

【0009】

プロセッサ１２は、アクチュエータ駆動回路１６に制御信号を出力するが、アクチュエータ駆動回路１６は、望ましい触覚効果を引き起こすのに必要とされる電流及び電圧（即ち、「モーター信号」）をアクチュエータ１８に供給するために使用される、電子部品及び回路構成を含む。システム１０は、１つ以上のアクチュエータ１８を含んでもよく、且つ各アクチュエータは、別個の駆動回路１６を含んでもよく、その全ては、共通のプロセッサ１２に結合される。

【0010】

メモリ２０は、ランダムアクセスメモリ（「ＲＡＭ」）又は再生専用メモリ（「ＲＯＭ」）のような、任意のタイプの記憶装置又はコンピュータ可読媒体であり得る。メモリ２０は、プロセッサ１２によって実行される命令を格納する。命令の中で、メモリ２０は触覚効果付随モジュール２２を含むが、これは、以下でより詳細に開示されるように、プロセッサ１２によって実行される場合、音声又は音声／映像メディアに付随する触覚効果を、自動的に選択すると共に生成する命令である。メモリ２０はまた、プロセッサ１２の内部に配置してもよく、又は、内部メモリ及び外部メモリの任意の組み合わせであってもよい。

【0011】

システム１０は、携帯電話、携帯情報端末（「ＰＤＡ」）、スマートフォン、コンピュータタブレット、ゲーム機、遠隔制御デバイスのような、任意のタイプの携帯型／モバイルデバイスであってもよく、又は、１つ以上のアクチュエータ若しくは他の任意のタイプの触覚出力デバイスを含む触覚効果システムを含む、他の任意のタイプのデバイスであってもよい。システム１０は、（音声付きの）映像又は音声だけを再生できる音声／視覚システム（図示せず）を更に含む。システム１０は、手首バンド、ヘッドバンド、眼鏡、リング、脚バンド、衣服に統合された配列物などのようなウェアラブルデバイスであってもよく、又は、ユーザが身に着けるかもしれない、若しくはユーザによって保持されることが可能であり、且つ触覚対応可能である他の任意のタイプのデバイスであってもよく、これには、備品、ゲームコントローラ、若しくは自動車ハンドルが含まれる。更に、システム１０の要素若しくは機能の幾つかは、遠隔配置してもよく、又は、システム１０の残りの要素と通信する別のデバイスによって実行してもよい。

【0012】

アクチュエータ１８に加えて、又はアクチュエータ１８の代わりに、システム１０は他のタイプの触覚出力デバイス（図示せず）を含んでもよく、ここで他のタイプの触覚出力デバイスは、静電気摩擦（「ＥＳＦ」）、超音波表面摩擦（「ＵＳＦ」）を使用するデバイス、超音波触覚変換器よって音響放射圧を誘発するデバイス、触覚基板及び、フレキシブルな表面又は変形可能な表面若しくは形状変化デバイスを使用し、且つユーザの身体に取り付けられるかもしれないデバイス、空気噴流を使用した一吹きの空気のような突出的な触覚出力を提供するデバイスのような、非機械的デバイス又は非振動的デバイスであってもよい。

【0013】

図２は、本発明の一実施形態に係る、図１のシステム１０及び他のネットワーク要素を含む概観図であるシステム１０は、インターネット２０２、若しくは他の任意の通信方法を通して、音声／視覚（「Ａ／Ｖ」）メディアサーバ２０４及び触覚付随サーバ２０６に結合される。更に、メディアサーバ２０４及び触覚サーバ２０６は、システム１０に局在していることが可能であるか、又はサーバ２０４及び２０６の機能が、システム１０自身によって提供されることが可能である。メディア認識器（ｍｅｄｉａ ｒｅｃｏｇｎｉｚｅｒ）３５は、触覚付随サーバ２０６に関連付けられる。メディア認識器３５は、Ａ／Ｖメディア再生又は他のＡ／Ｖメディア特性を「観察する」と共に、Ａ／Ｖメディアを一意的に識別し、且つ以下で説明するメディア聴取器（ｍｅｄｉａ ｌｉｓｔｅｎｅｒ）３２と協力して、識別されたメディアに対応する触覚効果メディア／トラックを、見つける／選択する／決定する。

【0014】

システム１０は、図２の実施形態に示すように、Ａ／Ｖ再生器（Ａ／Ｖ ｐｌａｙｅｒ）３１と、メディア聴取器３２と、触覚再生器３３とを含む。Ａ／Ｖ再生器３１は、システム１０上で音声メディア及び／又は映像メディアを再生する。触覚再生器３３は、システム１０上で触覚効果を再生し、図１のアクチュエータ駆動回路１６及びアクチュエータ１８を含むか、又は他の実施形態における、任意のタイプの触覚出力デバイスを含む。メディア聴取器３２は、メディア認識器３５と通信するか、又は、さもなければ、メディア認識器３５を使用し、且つ、それ自身で、若しくはメディア認識器３５と協力して、触覚メディアとＡ／Ｖメディアとの間で、ファイル関連の自動生成を提供する。対照的に、先行技術のソリューションでは、メタデータのような、システム中での明白な関連要素が要求され、この関連要素は、対応する触覚トラックがどこに配置されるかを再生システムに明確に伝える。

【0015】

一般に、メディア聴取器３２は、「マッチメーカー（ｍａｔｃｈｍａｋｅｒ）」として機能するが、それは、幾つかのタイプのＡ／Ｖ認識データを使用して、予め存在する触覚トラック又は予め定義された触覚トラックをＡ／Ｖメディアに自動的にマッチングさせることによる。メディア認識器３５は、Ａ／Ｖ認識データを受信し、更に、Ａ／Ｖメディアを識別したものを生成することが可能である。一実施形態において、Ａ／Ｖ認識データとして機能するメディア認識器３５への入力は、Ａ／Ｖメディア自身のコンテンツであり、このコンテンツは、音声と映像の何らかの組み合わせ、又は映像だけ、若しくは音声だけであることが可能であり、Ａ／Ｖメディアを一意的に識別するために使用される。この実施形態における音声入力及び映像入力は、原型のコンテンツであるが、それは、メタデータを付加することによるというような、認識において触覚マッチングを補助するための修正がなされていないことによる。

【0016】

別の実施形態において、Ａ／Ｖ認識データとして機能するメディア認識器３５によって、Ａ／Ｖメディアを一意的に識別するために、Ａ／Ｖメディア自体というよりは、Ａ／Ｖメディアを取り囲む情報を識別するステップが使用される。情報を識別するステップは、例えば、ファイル名、ユニフォーム・リソース・ロケータ（ｕｎｉｆｏｒｍ ｒｅｓｏｕｒｃｅ ｌｏｃａｔｏｒ「ＵＲＬ」）、ＭＰＥＧ−４メタデータなどを含むことが可能である。上記と同様に、一実施形態において、Ａ／Ｖメディア及び情報を識別するステップは、触覚マッチングのための認識において、補助するための修正がなされていない。

【0017】

別の実施形態において、触覚マッチングに対する認識及びＡ／Ｖ認識データとしての機能において補助するために、Ａ／Ｖメディアは再符号化されるか、又は別のコードに変換される。その結果、人間が知覚可能な又は人間が知覚不可能な、音声及び／又は映像透かしマーク若しくは署名が、Ａ／Ｖメディアに挿入される。それ故に、メディアは、後のストリーミング又はダウンロードのために、メディアサーバ上に格納される前に、その原型の状態からわずかに修正される。

【0018】

別の実施形態において、触覚マッチングに対する認識及びＡ／Ｖ認識データとしての機能において補助するために、Ａ／Ｖメディアは再符号化される、又は別のコードに変換される、若しくは、さもなければ、修正される。その結果、メタデータが、Ａ／Ｖメディアに挿入される。それ故に、メディアは、後のストリーミング又はダウンロードのために、メディアサーバ上に格納される前に、その原型の状態からわずかに修正される。

【0019】

一実施形態において、システム１０の動作の間、メディア聴取器３２は、Ａ／Ｖ認識データが、メディアサーバ２０４のような、メディア再生器システムへ渡される際に、又はメディア再生器システムから出力される際に、Ａ／Ｖ認識データを監視する。Ａ／Ｖメディアは、システム１０のユーザによって要請されるかもしれない。この要請は、例えば、ユーザがメディアサーバ２０４上に格納されたユーチューブ（ＹｏｕＴｕｂｅ（登録商標））映像を選択することによってなされ、その結果、ユーチューブ映像が、インターネット２０２を介してストリーム配信され、Ａ／Ｖ再生器３１によって再生される。更に、一実施形態において、メディア聴取器３２は、Ａ／Ｖ認識データを作成するために、Ａ／Ｖメディアを予め処理する。

【0020】

一実施形態において、メディア聴取器３２は、Ａ／Ｖ認識データをメディア認識器３５に連続的にストリーム配信してもよく、又はメディア聴取器３２は、どの時点でＡ／Ｖ認識データを送信する必要があるかを判断する能力を有してもよい。これは、Ａ／Ｖ認識データが、連続したストリームのデータであるか、又は時折不連続なストリームのデータであるか、若しくは幾つかの離散的な数のデータパケットであるか、のいずれかであることにつながるであろう。

【0021】

メディア認識器３５は、Ａ／Ｖ認識データを使用して、データを現存する触覚メディア又は（ことによると、サーバ２０６上に格納された、大きなセットの、予め定義された触覚トラックの中の）触覚トラックにマッチさせることを試みる。メディア認識器３５は、マッチを見つけると同時に、触覚トラックの場所をメディア聴取器３２に提供する。メディア認識器３５の機能は、システム１０自身によって実行するか、又は図２に示すように、システム１０から離れたところで実行することが可能である。

【0022】

一実施形態において、メディア聴取器３２及びメディア認識器３５の１つ若しくは両方は、Ａ／Ｖメディアの現在の再生場所、及び対応する触覚トラックを決定する。メディア聴取器３２は、触覚再生器３３に、触覚トラックの場所、及びＡ／Ｖメディアの現在の再生場所を教える。

【0023】

メディア聴取器３２及び触覚再生器３３の１つ又は両方は、Ａ／Ｖメディアと触覚メディアとの間の合理的な同期を保証するなどのために、Ａ／Ｖメディアの現在の再生場所に従って、触覚トラックを示す。一実施形態において、触覚トラックは、対応する触覚効果の信号をアクチュエータ駆動回路１６に送ることによって示され、アクチュエータ駆動回路は、アクチュエータ１８が振動的な触覚効果を生成する原因となる。触覚トラックは、Ａ／Ｖメディアの再生が開始すると同時に、又は開始前のあるポイントで、若しくは開始後に、スタートすることが可能である。

【0024】

図２に示した要素は、多くの異なった構成において実装することが可能である。一実施形態において、システム１０は、Ａ／Ｖ再生器３１を介したＡ／Ｖメディア再生能力はもちろんのこと、触覚再生器３３を介した触覚出力システムを有するモバイルデバイスであることが可能であり、且つメディア聴取器３２は、アプリケーション／「ａｐｐ」のような、モバイルデバイス上で作動するサービスであってもよい。メディア聴取器３２は、有線若しくは無線によるインターネット２０２を通して、Ａ／Ｖ認識データを、メディア認識器３５を具体例として示すプロセスを動かしているサーバ２０６に伝達すると共に、特定のＡ／Ｖメディアに関連付けられる、１つ以上の触覚メディアを受け入れる、同じ若しくは異なるサーバ２０４に伝達する。

【0025】

別の実施形態において、システム１０は、ゲームパッドの形態であり得る触覚出力システムを装備する遠隔制御ユニットを有するセットトップボックスであることが可能であり、ここでセットトップボックスは、Ａ／Ｖメディアを音声及び映像のデータシンク（例えば、テレビ及び音声サウンドシステム）に移送する能力を有する。この実施形態では、メディア聴取器３２は、セットトップボックス上で作動するサービスであり、且つインターネット２０２を通して、サーバ２０４及び２０６と通信する。別の実施形態において、セットトップボックスはゲーミングコンソールである。

【0026】

別の実施形態において、セットトップボックスは、メディア聴取器３２及びメディア認識器３５の両方を受け入れ、触覚メディアは、セットトップボックス上で局所的に（例えば、揮発性メモリ、不揮発性メモリ、又は物理的ディスクにおいて）アクセス可能であるか、又は触覚メディアは、インターネット２０２を介してアクセスできるメディアサーバ２０４上に常駐することによって、遠隔的にアクセス可能である。

【0027】

別の実施形態において、Ａ／Ｖコンテンツは、デバイス（例えば、スマートＴＶ、モバイルデバイス、セットトップボックスなど）上のウェブブラウザを通して示されるか、又は直接デバイス上に示され、且つメディア聴取器３２は、既知のソフトウェア／ハードウェア方法を通して、Ａ／Ｖ認識データにアクセスすることが可能である。

【0028】

図３は、本発明の実施形態に係る、図１のシステム１０の機能性のフロー図である。一実施形態において、図３のフロー図の機能は、メモリ又は他のコンピュータ可読媒体若しくは有形媒体に格納されたソフトウェアによって実装され、且つプロセッサによって実行される。他の実施形態において、当該機能は、（例えば、特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブルゲートアレイ（「ＰＧＡ」）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）などを使用することによる）ハードウェア、又はハードウェアとソフトウェアの任意の組み合わせによって実施してもよい。

【0029】

３０１において、Ａ／Ｖメディア（これは、音声及び映像のメディア、音声だけのメディア、又は映像だけのメディアを含む）は、再生を始めるか、又は最初に選択される。Ａ／ＶメディアはＡ／Ｖ認識データを含むが、これは、Ａ／Ｖメディア自身を含むことが可能である。

【0030】

３０２において、Ａ／Ｖメディアは、Ａ／Ｖ認識データに基づいて認識される。

【0031】

３０３において、認識されたＡ／Ｖメディアに対応する触覚トラックは、識別されると共に、引き出される／選択される。触覚トラックは、触覚効果信号を含むであろう。触覚効果信号は、触覚効果出力デバイスに適用されると、触覚効果を生成するであろう。

【0032】

３０４において、触覚トラックは、Ａ／Ｖメディアの再生と同期された方式で、システム１０上で再生される。その結果、Ａ／Ｖメディアの視聴性が向上される。

【0033】

上記の実施形態では、Ａ／Ｖメディアが最初に認識され、その後、触覚トラックが引き出される／選択されるが、別の実施形態では、その逆が起こってもよい。換言すれば、一実施形態では、触覚トラックは、始動されると共に識別され、且つ、その後、システムは、同期化された方法で、Ａ／Ｖメディアを選択すると共に再生する。

【0034】

一実施形態において、３０３における触覚トラックの選択は、目標デバイスの能力に依存することが可能であり、その目標デバイス上で、触覚効果が生成されることになる。例えば、幾つかのデバイスは、ＬＲＡのような、標準品位（ｓｔａｎｄａｒｄ ｄｅｆｉｎｉｔｉｏｎ「ＳＤ］）のアクチュエータを装備し、他のデバイスは、ピエゾアクチュエータのような、高品位（ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ「ＨＤ」）のアクチュエータを装備する。特別なＡ／Ｖメディアに対しては、対応するＳＤ触覚トラック及びＨＤ触覚トラックの両方が存在してもよい。ＳＤ若しくはＨＤの選択は、目標デバイスの能力に依存するであろう。メディア聴取器３２は、一実施形態において、システム１０の触覚効果再生能力の知識を有するであろう。

【0035】

本発明の実施形態の使用法の例として、ユーザが、メディア聴取器サービスを作動させているスマートフォンを有すると仮定する。ユーザはユーチューブ・アプリケーションを起動し、子猫の戦いの映像を注視し続けるが、この映像に対しては、誰かが対応する触覚トラックを以前に作成している。メディア聴取器は、処理された（又は処理されていない）データをメディア認識器に送るが、メディア認識器は、スマートフォン又はインターネットサーバ上に常駐することが可能である。認識器は、子猫の戦いの映像に適切な触覚メディアを見つける。メディア聴取器サービスは、子猫の戦いの映像に同期して触覚メディアを再生するために、触覚メディアを引き出すことを開始し、子猫のあらゆる強打及びノックダウンに対して、触覚感覚を作成する。

【0036】

開示されたように、実施形態は、Ａ／Ｖメディアが再生するのを観察し、それを観察する中で、メディアを一意的に識別する。実施形態は、その後、対応する触覚メディアを見つけ、その後、パーソナルコンピューティングデバイス上で、若しくは他の任意のタイプの触覚対応可能なデバイス上で、触覚メディア再生をＡ／Ｖメディア再生に同期化する。

【0037】

幾つかの実施形態は、本明細書の中で、具体的に例示される、及び／又は説明される。しかしながら、開示された実施形態の変更例及び変形例は、本発明の精神及び意図した範囲から外れることなく、上記の教示によって包含され、且つ添付された請求項の範囲内にあることは、正しく認識されるであろう。

【図1】

【図3】

【図2】