特許 6434669 低周波数効果ハプティック変換システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6434669

(24)【登録日】2018年11月16日

(45)【発行日】2018年12月5日

(54)【発明の名称】低周波数効果ハプティック変換システム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20181126BHJP

【ＦＩ】

   G06F3/01 560

【請求項の数】20

【外国語出願】

【全頁数】37

(21)【出願番号】特願2018-129783(P2018-129783)

(22)【出願日】2018年7月9日

(62)【分割の表示】特願2014-102392(P2014-102392)の分割

【原出願日】2014年5月16日

(65)【公開番号】特開2018-191310(P2018-191310A)

(43)【公開日】2018年11月29日

【審査請求日】2018年8月2日

(31)【優先権主張番号】61/824,442

(32)【優先日】2013年5月17日

(33)【優先権主張国】US

(31)【優先権主張番号】14/277,870

(32)【優先日】2014年5月15日

(33)【優先権主張国】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】500390995

【氏名又は名称】イマージョン コーポレーション

【氏名又は名称原語表記】ＩＭＭＥＲＳＩＯＮ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100116872

【弁理士】

【氏名又は名称】藤田 和子

(72)【発明者】

【氏名】ラクロワ ロバート

(72)【発明者】

【氏名】バティア サトヴィル シン

(72)【発明者】

【氏名】バーンバウム デイヴィッド

(72)【発明者】

【氏名】ウルリッチ クリストファー ジェイ．

(72)【発明者】

【氏名】ウェドル アマヤ ベクヴァー

(72)【発明者】

【氏名】クルス−エルナンデス ユアン マヌエル

【審査官】 岩橋 龍太郎

(56)【参考文献】

【文献】 国際公開第２０１２／０２８９７３（ＷＯ，Ａ１）

【文献】 欧州特許出願公開第２７０３９５１（ＥＰ，Ａ２）

【文献】 米国特許出願公開第２０１３／０２６５２８６（ＵＳ，Ａ１）

【文献】 特開２００６−２８７４８３（ＪＰ，Ａ）

【文献】 特開２００２−０７８０６６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８−３／０４８９

Ｇ０６Ｆ ３／１６

Ｈ０４Ｒ １／００− １／４６

(57)【特許請求の範囲】

【請求項1】

マルチチャネルオーディオ信号に基づいて低周波数情報オーディオ信号を生成するステップと、
前記低周波数情報オーディオ信号からハプティック信号を合成するステップと、
１以上のハプティック効果パラメータを調整するために前記ハプティック信号の１以上のハプティック効果パラメータをユーザへ提供するステップと、
前記１以上のハプティック効果パラメータの少なくとも１つへの１以上のユーザ調整を受信するステップと、
調整されたハプティック信号を得るために、前記１以上のユーザ調整に基づいて、前記ハプティック信号を調整するステップと、
少なくとも前記マルチチャネルオーディオ信号をエンコードするデータストリームに前記調整されたハプティック信号を埋め込むステップであって、前記調整されたハプティック信号は、前記低周波数情報オーディオ信号内にエンコードされる、ステップと、
を備える方法。

【請求項2】

前記低周波数情報オーディオ信号を生成するステップは、前記マルチチャネルオーディオ信号から低周波数効果オーディオチャネル信号を抽出するステップを含む、請求項１
に記載の方法。

【請求項3】

前記低周波数情報オーディオ信号を生成するステップは、前記マルチチャネルオーディオ信号の右チャネル、前記マルチチャネルオーディオ信号の左チャネル、前記マルチチャネルオーディオ信号の左サラウンドチャネル、前記マルチチャネルオーディオ信号の右サラウンドチャネル、及び前記マルチチャネルオーディオ信号の低周波数効果チャネルに基づいて、混合オーディオ信号を生成するステップを含む、請求項１に記載の方法。

【請求項4】

前記１以上のハプティック効果パラメータの１つは、周波数である、請求項１に記載の方法。

【請求項5】

前記１以上のハプティック効果パラメータの１つは、大きさである、請求項１に記載の方法。

【請求項6】

前記１以上のハプティック効果パラメータの１つは、１以上のオペレータに基づいて前記ハプティック信号を変調する周波数変調合成ハプティック効果パラメータである、請求項１に記載の方法。

【請求項7】

前記調整されたハプティック信号を埋め込むステップは、圧縮ハプティック信号を生じるために前記ハプティック信号を圧縮するステップと、ハプティックデータエンコーディングをサポートするコンテナ又はストリーミングデータフォーマットに前記圧縮ハプティック信号を埋め込むステップと、を含む、請求項１に記載の方法。

【請求項8】

前記ハプティック信号は、前記低周波数効果オーディオチャネル信号内にエンコードされる、請求項２に記載の方法。

【請求項9】

前記ハプティック信号は、前記低周波数情報オーディオ信号にピッチシフトを適用することによって合成される、請求項１に記載の方法。

【請求項10】

前記１以上のハプティック効果パラメータの１つは、前記ピッチシフトである、請求項９に記載の方法。

【請求項11】

前記埋め込むステップは、Ｄｏｌｂｙ Ｄｉｇｉｔａｌオーディオ信号の低周波数効果トラックにおいて前記ハプティック信号をエンコードするステップを含む、請求項１に記載の方法。

【請求項12】

前記ハプティック信号は、前記低周波数情報オーディオ信号に周波数シフトを適用することによって合成される、請求項１に記載の方法。

【請求項13】

前記１以上のハプティック効果パラメータの１つは、周波数シフトである、請求項１２に記載の方法。

【請求項14】

非一時的コンピュータ可読媒体であって、プロセッサによって実行されたときに、前記プロセッサに、
マルチチャネルオーディオ信号に基づいて低周波数情報オーディオ信号を生成させ、
前記低周波数情報オーディオ信号からハプティック信号を合成させ、
１以上のハプティック効果パラメータを調整するために前記ハプティック信号の１以上のハプティック効果パラメータをユーザへ提供させ、
前記１以上のハプティック効果パラメータの少なくとも１つへの１以上のユーザ調整を受信させ、
調整されたハプティック信号を得るために、前記１以上のユーザ調整に基づいて、前記ハプティック信号を調整させ、
少なくとも前記マルチチャネルオーディオ信号をエンコードするデータストリームに前記調整されたハプティック信号を埋め込ませ、前記調整されたハプティック信号は、前記低周波数情報オーディオ信号内にエンコードされる
命令を記憶する非一時的コンピュータ可読媒体。

【請求項15】

調整されたハプティックトラック及びマルチチャネルオーディオ信号の両方を埋め込むデータストリームを受信するステップであって、前記調整されたハプティックトラックは、前記マルチチャネルオーディオ信号の低周波数情報オーディオ信号及び前記ハプティックトラックの少なくとも１つのハプティック効果パラメータへの１以上のユーザ調整から合成されるハプティックトラックに基づいて生成され、前記調整されたハプティック信号は、前記低周波数情報オーディオ信号内にエンコードされる、ステップと、
前記マルチチャネルオーディオ信号を生じるために前記データストリームをデコードするステップと、
前記マルチチャネルオーディオ信号を１以上のオーディオ出力装置へ送信するステップと、
ハプティック信号を生じるために、前記調整されたハプティックトラックをデコードするステップと、
前記ハプティック信号をハプティックアクチュエータへ送信するステップと、
を備える方法。

【請求項16】

非一時的コンピュータ可読媒体であって、プロセッサによって実行されたときに、前記プロセッサに、
調整されたハプティックトラック及びマルチチャネルオーディオ信号の両方を埋め込むデータストリームを受信させ、前記調整されたハプティックトラックは、前記マルチチャネルオーディオ信号の低周波数情報オーディオ信号及び前記ハプティックトラックの少なくとも１つのハプティック効果パラメータへの１以上のユーザ調整から合成されるハプティックトラックに基づいて生成され、前記調整されたハプティック信号は、前記低周波数情報オーディオ信号内にエンコードされ、
前記マルチチャネルオーディオ信号を生じるために前記データストリームをデコードさせ、
前記マルチチャネルオーディオ信号を１以上のオーディオ出力装置へ送信させ、
ハプティック信号を生じるために、前記調整されたハプティックトラックをデコードさせ、
前記ハプティック信号をハプティックアクチュエータへ送信させる、
命令を記憶する非一時的コンピュータ可読媒体。

【請求項17】

コンピューティング装置であって、
低周波数効果変換モジュールを記憶するように構成されるメモリと、
前記メモリに記憶される前記低周波数効果変換モジュールを実行するように構成されるプロセッサと、を備え、
前記低周波数効果変換モジュールは、前記プロセッサによって実行されたとき、マルチチャネルオーディオ信号に基づいて低周波数情報オーディオ信号を生成するように構成され、
前記低周波数効果変換モジュールは、前記プロセッサによって実行されたとき、前記低周波数情報オーディオ信号からハプティック信号を合成するように更に構成され、
前記低周波数効果変換モジュールは、前記プロセッサによって実行されたとき、１以上のハプティック効果パラメータを調整するために前記ハプティック信号の１以上のハプティック効果パラメータをユーザへ提供するように更に構成され、
前記低周波数効果変換モジュールは、前記プロセッサによって実行されたとき、前記１以上のハプティック効果パラメータの少なくとも１つへの１以上のユーザ調整を受信するように更に構成され、
前記低周波数効果変換モジュールは、前記プロセッサによって実行されたとき、調整されたハプティック信号を得るために、前記１以上のユーザ調整に基づいて、前記ハプティック信号を調整するように更に構成され、
前記低周波数効果変換モジュールは、前記プロセッサによって実行されたとき、少なくとも前記マルチチャネルオーディオ信号をエンコードするデータストリームに前記調整されたハプティック信号を埋め込むように更に構成され、前記調整されたハプティック信号は、前記低周波数情報オーディオ信号内にエンコードされる、
コンピューティング装置。

【請求項18】

前記低周波数効果変換モジュールは、前記プロセッサによって実行されたとき、前記マルチチャネルオーディオ信号から低周波数効果オーディオチャネル信号を抽出するように更に構成される、請求項１７に記載のコンピューティング装置。

【請求項19】

前記低周波数効果変換モジュールは、前記プロセッサによって実行されたとき、前記マルチチャネルオーディオ信号の右チャネル、前記マルチチャネルオーディオ信号の左チャネル、前記マルチチャネルオーディオ信号の左サラウンドチャネル、前記マルチチャネルオーディオ信号の右サラウンドチャネル、及び前記マルチチャネルオーディオ信号の低周波数効果チャネルに基づいて、混合オーディオ信号を生成するように更に構成される、請求項１７に記載のコンピューティング装置。

【請求項20】

前記１以上のハプティック効果パラメータの１つは、周波数である、請求項１７に記載のコンピューティング装置。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本願は、２０１３年５月１７日に提出された米国特許仮出願第６１／８２４，４４２号の優先権を主張するものである（その開示は、参照により本明細書に援用される）。

【0002】

一実施形態は、一般的なハプティック効果に関するものであり、特にハプティック効果を生成するデバイスに関するものである。

【背景技術】

【0003】

電子デバイス製造者は、ユーザにとってリッチなインタフェースを生成することを追求している。従来のデバイスは、ユーザにフィードバックを提供するためにバーチャルかつ可聴なキューを使用する。いくつかのインタフェースデバイスでは、（アクティブかつ抵抗フォースフィードバックのような）運動感覚フィードバック及び／又は（振動、質感及び熱のような）触覚フィードバックもまたユーザに提供され、全体として“ハプティックフィードバック”又は“ハプティック効果”として一般的に知られている。ハプティックフィードバックは、ユーザインターフェースを向上し、簡素化するキューを提供することができる。具体的には、振動効果又は振動触覚効果は、ユーザに特定のイベントを通知するために電子デバイスのユーザにキューを提供する際に有益である、又はシミュレーションされた又は仮想環境内でより大きな感覚没入を形成する現実的なフィードバックを提供する際に有益である。

【発明の概要】

【発明が解決しようとする課題】

【0004】

振動効果を生成するために、多くのデバイスは、いくつかのタイプのアクチュエータ又はハプティック出力装置を使用する。この目的のために使用される既存のハプティック出力装置は、偏心質量がモータによって動く偏心モータ（ｅｃｃｅｎｔｒｉｃ ｒｏｔａｔｉｎｇ ｍａｓｓ ｍｏｔｏｒ（“ＥＲＭ”））、バネに取り付けられた質量が前後駆動されるリニア共振アクチュエータ（ｉｎｅａｒ ｒｅｓｏｎａｎｔ ａｃｔｕａｔｏｒ（“ＬＲＡ”））、又は圧電、電気活性ポリマー又は形状記憶合金のような“スマート材料”のような電磁アクチュエータを含む。ハプティック出力装置は、また、静電摩擦（ｅｌｅｃｔｒｏｓｔａｔｉｃ ｆｒｉｃｔｉｏｎ （“ＥＳＦ”））、超音波表面摩擦（ｕｌｔｒａｓｏｎｉｃ ｓｕｒｆａｃｅ ｆｒｉｃｔｉｏｎ （“ＵＳＦ”））を使用するもの、超音波トランスデューサによる音響放射圧を誘導するもの、ハプティック基板及びフレキシブル又は変形可能な面を使用するもの、エアジェットを用いて空気をひと吹きするようなハプティック出力を提供するもの等のような非機械的又は非振動デバイスを含む。

【0005】

映画及びテレビジョン産業では、閲覧者をより引きつける体験を提供するために、向上したマルチチャネルオーディオシステムが開発されている。例えば、“５．１”と呼ばれるアナログ６チャネルサラウンドサウンドマルチチャネルオーディオシステムは、Ｄｏｌｂｙ Ｌａｂｏｒａｔｏｒｉｅｓ， Ｉｎｃによって初めて開発され、７０ｍｍの劇場フィルムスクリーニングのために、３つのスクリーンチャネル、２つのサラウンドチャネル及び低周波数エンハンスメントチャネルを提供する。後に、“Ｄｏｌｂｙ Ｄｉｇｉｔａｌ”と呼ばれる５．１マルチチャネルオーディオのデジタルバージョンが３５ｍｍフィルムのために開発され、同様の５．１システムがＤＴＳ， Ｉｎｃにより開発された。その以後、様々なマルチチャネルオーディオフォーマットは、６．１又は７．１ソースマテリアルを含み、１１．１チャネル及びそれ以上まで出力されるように開発され、マルチチャネルオーディオは、今や、家庭で閲覧するためのＤＶＤ、ブルーレイ、ブロードキャスト及びストリーミングビデオコンテンツのほとんど全てが含まれる。

【0006】

スマートフォン及びタブレットのような近年の高解像度モバイルデバイスの開発により、ユーザは、従来、映画館、テレビ又はホームシアターシステムでしか見ることができなかった高精細度オーディオ及びビデオをハンドヘルドデバイスで閲覧することができる。ハプティック可能なモバイルデバイスにより、オーディオ及びビデオコンテンツ構成要素に加えてハプティックコンテンツ構成要素が存在する場合、体験は、コンテンツ閲覧が十分に向上し、それを好んでいることが示されている。

【課題を解決するための手段】

【0007】

一実施形態は、ハプティック効果を提供するシステムである。システムは、低周波数効果オーディオ信号を含むオーディオ信号を受信する。システムは、さらに、オーディオ信号から低周波数効果オーディオ信号を抽出する。システムは、さらに、システムは、さらに、低周波数効果オーディオ信号の周波数を、ハプティック出力装置のターゲット周波数範囲内の周波数にシフトすることにより、低周波数効果オーディオ信号をハプティック信号へ変換する。システムは、さらに、ハプティック信号をハプティック出力装置へ送信し、ハプティック信号は、ハプティック出力装置に一又はそれ以上のハプティック効果を出力させる。

【図面の簡単な説明】

【0008】

添付の図面と共に、好ましい実施形態の以下の詳細な説明から、さらなる実施形態、詳細、利点、及び変更が明らかとなるであろう。

【図1】図１は、本発明の一実施形態に係るハプティック可能なシステムのブロック図である。

【図2】図２は、本発明の一実施形態に係るハプティックアクチュエータのＬＲＡ実装の断面図である。

【図3】図３は、本発明の一実施形態に係るハプティックアクチュエータのＥＲＭ実装の断面斜視図である。

【図4】図４Ａ−４Ｃは、本発明の一実施形態に係るハプティックアクチュエータの圧電実装の図である。

【図5】図５は、本発明の一実施形態に係る静電摩擦（ｅｌｅｃｔｒｏｓｔａｔｉｃ ｆｒｉｃｔｉｏｎ （“ＥＳＦ”））を用いたハプティック装置の図である。

【図6】図６は、本発明の一実施形態に係る超音波ハプティックトランスデューサによる音響放射圧を誘導するハプティック装置の図である。

【図7】図７は、本発明の一実施形態に係るハプティック基板及びフレキシブル又は変形可能な表面を用いるハプティック装置の図である。

【図8】図８Ａ−８Ｂは、本発明の一実施形態に係る超音波表面摩擦（ｕｌｔｒａｓｏｎｉｃ ｓｕｒｆａｃｅ ｆｒｉｃｔｉｏｎ（“ＵＳＦ”））を用いてハプティック装置の図である。

【図9】図９は、本発明の一実施形態に係る例示的な５．１チャネルオーディオサラウンド構成である。

【図10】図１０は、本発明の一実施形態に係る人の聴覚システムの等ラウドネスチャートである。

【図11】図１１Ａ−１１Ｂは、本発明の一実施形態に係るシフト、増幅及び圧縮オーディオ信号を示すオーディオスペクトログラムである。

【図12】図１２Ａ−１２Ｂは、本発明の一実施形態に係るシフトしたオーディオ信号を示すブラックマン−ハリスウィンドウである。

【図13】図１３は、本発明の一実施形態に係る体験チャート及び対応する低周波数効果（ｌｏｗ−ｆｒｅｑｕｅｎｃｙ ｅｆｆｅｃｔｓ （“ＬＦＥ”））ハプティックチャートの品質である。

【図14】図１４は、本発明の一実施形態に係る体験チャート及び対応するＬＦＥハプティックチャートの品質である。

【図15】図１５は、本発明の一実施形態に係る体験チャート及び対応するＬＦＥハプティックチャートの品質である。

【図16】図１６は、本発明の一実施形態に係る体験チャート及び対応するＬＦＥハプティックチャートの品質である。

【図17】図１７は、本発明の一実施形態に係る体験チャート及び対応するＬＦＥハプティックチャートの品質である。

【図18】図１８は、本発明の一実施形態に係る没入度サマリーチャートである。

【図19】図１９は、本発明の一実施形態に係る体験サマリーチャートの品質である。

【図20】図２０は、本発明の一実施形態に係る、ＬＦＥオーディオ信号をハプティック信号へ変換するためのフロー図である。

【図21】図２１は、本発明の別の実施形態に係る、ＬＦＥオーディオ信号をハプティック信号へ変換するためのフロー図である。

【図22】図２２は、本発明の別の実施形態に係る、ＬＦＥオーディオ信号をハプティック信号へ変換するためのフロー図である。

【図23】図２３は、本発明の実施形態に係るＬＦＥオーディオ信号内のハプティック信号をエンコードするためのフロー図である。

【図24】図２４は、本発明の実施形態に係る低周波数効果信号からハプティック信号をデコードするためのフロー図である。

【図25】図２５は、本発明の実施形態に係るＬＦＥオーディオ信号を複数のオーディオ信号へ変換するためのフロー図である。

【図26】図２６Ａ−２６Ｄは、本発明の一実施形態に係る例示的なフォアグラウンド及びバックグラウンドハプティックアプリケーションの画面図である。

【図27】図２７Ａ−２７Ｂは、本発明の一実施形態に係るハプティックフィードバックの例示的な複数のデータチャネルのディスプレイグラフである。

【図28】図２８は、本発明の一実施形態に係る優先度ベースのハプティックイベントのためのハプティックフィードバックの複数のデータチャネルを表示するためのフロー図である。

【図29】図２９は、本発明の一実施形態に係る優先度ベースのハプティックイベントのためのハプティックフィードバックの複数のデータチャネルを表示するためのフロー図である。

【図30】図３０は、本発明の別の実施形態に係るＬＦＥオーディオ信号をハプティック信号へ変換するためのフロー図である。

【発明を実施するための形態】

【0009】

一実施形態は、ソースオーディオ信号から低周波数効果（ｌｏｗ−ｆｒｅｑｕｅｎｃｙ ｅｆｆｅｃｔｓ（“ＬＦＥ”））オーディオ信号を抽出し、抽出したＬＦＥオーディオ信号をハプティック信号へ変換し、ハプティック信号は、アクチュエータのようなハプティック出力装置に一又はそれ以上のハプティック効果を出力させる。抽出されたＬＦＥオーディオ信号をハプティック信号へ変換することにより、オーディオ信号周波数は、ハプティック出力装置の対象となる周波数範囲内の周波数にシフトされうる。それに替えて、抽出されたＬＦＥオーディオ信号をハプティック信号へ変換することにより、オーディオ信号のピッチは、ハプティック出力装置の対象となるピッチ範囲内のピッチにシフトされうる。抽出されたＬＦＥオーディオ信号をハプティック信号へ変換することが“オフライン”である実施形態では、ハプティック信号は、ストレージデバイスのようなフォーマット内にエンコード及び記憶されることができる、又はハプティック信号は、ソースオーディオ信号内に含まれるＬＦＥオーディオ信号内にエンコード及び記憶されることができる。それに替えて、抽出されたＬＦＥオーディオ信号をハプティック信号へ変換することが“オンライン”である実施形態では、ハプティック信号は、リアルタイム又はほぼリアルタイムでハプティック出力装置へ送信されることができ、ここで、一又はそれ以上のハプティック効果は、リアルタイム又はほぼリアルタイムで出力される。特定の実施形態では、ソースオーディオ信号は、別のタイプの入力信号によって置換されることができ、ＬＦＥオーディオ信号は、別のタイプのＬＦＥ信号によって置換されることができる。さらに、別の実施形態では、システムは、抽出されたＬＦＥオーディオ信号を複数のハプティック信号へ（同時又は逐次的に）変換することができ、ここで、ハプティック信号は、複数のハプティック出力装置に一又はそれ以上のハプティック効果を出力させる。この別の実施形態では、各ハプティック出力装置は、明確な対象となる周波数範囲を有することができ、各変換について、抽出されたＬＦＥオーディオ信号のオーディオ信号周波数は、各ハプティック出力装置の各対象となる周波数範囲内の周波数にシフトされることができる。

【0010】

以下に説明するように、ＬＦＥチャネルは、人間が知覚可能な完全なスペクトルよりも実質的に少ないオーディオスペクトルでエンコードされた任意のオーディオチャネルである。ＬＦＥトラックは、通常、２０Ｈｚ−１２０Ｈｚの範囲の可聴周波数で低周波数情報をエンコードするために用いられるが、“ツイーター”スピーカへ送信される高周波数範囲、“スコーカー”スピーカへ送信される中間周波数範囲又は“ウーファー”スピーカへ送信される低周波数範囲のような限定された周波数範囲を有する任意の他のオーディオ信号を含んでもよい。様々なポピュラーなオーディオエンコーディングは、このタイプのトラックをサポートする。これは、５．１，７．１又は１１．１サラウンドサウンドオーディオトラックの‘．１’として共通に示される。ＤＶＤ及びブルーレイ標準は、消費者のＬＦＥトラックのインクルージョンを特定する。ＬＦＥトラックは、特に、これらである必要はないが、ソニーのＰＳ３、マイクロソフトのＸＢＯＸ ３６０のような第３世代のゲーミングコンソールでのサラウンドサウンドビデオゲームでも用いられる。この場合、ＬＦＥトラックは、プレーヤーの向きのようなゲーム状態にリアルタイムで応じて５．１チャネルサラウンドオーディオチャンネルを同期するオーディオ空間エンジンの使用を通じてリアルタイムで生成される。

【0011】

従前の自動化されたハプティック再生アーキテクチャは、オーディオ信号に基づいてハプティック出力を提供することができる。ハプティック効果の専門家によって生み出されたコンテンツは、多くの場合、オーディオ信号から自動化されたハプティック生成よりも説得力のあるコンテツ閲覧体験を提供するが、長文のコンテンツのための数百又は数千のハプティック効果を生み出すために相対的に大量の時間を必要とするために高価である。したがって、生み出されたハプティック長文コンテンツと同じ時間を必要としないＬＦＥオーディオ信号からハプティック効果を自動的に提供する改善されたシステムの需要が存在する。

【0012】

ＬＦＥオーディオ信号が、通常、低周波数信号を扱うように構成されるオーディオ出力装置を用いて再生成されることが意図されるため、ＬＦＥオーディオ信号内に含まれるデータは、ハプティック信号への変換に特に適合されている。例えば、ＬＦＥオーディオ信号は、低周波数オーディオ（又は限定された周波数）を含むために既にフィルタ及びミックスされるが、フルビットレートである。さらに、ＬＦＥオーディオ信号は、通常、オーディオ信号の他のオーディオチャネルに対してより正確な大きさを有するためにコンテンツプロデューサーによって同じレベルにされる。また、ＬＦＥオーディオ信号は、通常、ハプティックコンテンツ体験にとって最も自然な創造的なコンテンツ成分を含む。

【0013】

通常のステレオオーディオデータではなく、ＬＦＥオーディオデータは、ハプティック信号に必然的に変換する。ステレオオーディオ（フルレンジオーディオ）では、通常、ハプティックレンダリングにより適切なこれらの信号成分をフィルタし、抽出することが必要である。しかし、これは、一貫性のないハプティック体験をもたらす困難なオペレーションとなりうる。ＬＦＥオーディオ信号をハプティック信号に変換することは、以下にさらに詳細に説明される。

【0014】

図１は、本発明の一実施形態に係るハプティック可能なシステム１０のブロック図である。システム１０は、ハウジング１５内に搭載されるタッチ検知面１１又は他のユーザインターフェースを含み、機械的なキー／ボタン１３を含んでもよい。システム１０の内部は、システム１０で振動を生成するハプティックフィードバックシステムである。一実施形態では、振動は、タッチ面１１で生成される。

【0015】

ハプティックフィードバックシステムは、プロセッサ１２を含む。プロセッサ１２に接続されるのは、メモリ２０及びアクチュエータ駆動回路１６であり、これは、ハプティックアクチュエータ１８と接続される。特定の実施形態では、アクチュエータ１８は、別のタイプのハプティック出力装置と置き換えられうる。プロセッサ１２は、任意のタイプの汎用プロセッサであってもよく、又は特定用途向け集積回路（“ＡＳＩＣ”）のようなハプティック効果を提供するように特別に設計されたプロセッサであってもよい。プロセッサ１２は、システム１０全体を動作する同一のプロセッサであってもよく、又は別々のプロセッサであってもよい。プロセッサ１２は、どのハプティック効果がプレイされるか、及び効果の順序が高いレベルのパラメータに基づいてプレイされることを決定することができる。一般的には、特定のハプティック効果を定義するハイレベルパラメータは、大きさ、周波数及び持続期間を含む。ストリーミングモーターコマンドのような低いレベルのパラメータもまた、特定のハプティック効果を決定するために用いられうる。ハプティック効果が、これらのパラメータのいくつかのバリエーションを含む場合に、ハプティック効果が生成される、又はユーザのインタラクションに基づくこれらのパラメータのバリエーションであるとき、ハプティック効果は、動的であるとみなされる。

【0016】

プロセッサ１２は、所望のハプティック効果を生じるためにアクチュエータ１８に必要な電流及び電圧を供給するために用いられる電子部品及び回路を含む回路１６を駆動するために制御信号を出力する。システム１０は、一つ以上のアクチュエータ１８を含んでもよく、各アクチュエータは、全てが共通のプロセッサ１２に接続される個別の駆動回路１６を含んでもよい。メモリ装置２０は、ランダムアクセスメモリ（“ＲＡＭ”）、リードオンリーメモリ（“ＲＯＭ”）のようなストレージ装置、又はコンピュータ可読媒体の任意の組み合わせを含みうる。メモリ２０は、プロセッサ１２により実行される命令を記憶する。命令のうち、メモリ２０は、アクチュエータ駆動モジュール２２を含み、プロセッサ１２により実行されたとき、アクチュエータ１８に対して駆動信号を生成する一方で、アクチュエータ１８からのフィードバックを判定し、駆動信号を調整する命令である。特定の実施形態では、アクチュエータ駆動モジュール２２は、低周波数効果オーディオ信号に基づいて駆動信号を生成しうる低周波数効果変換モジュールでありうる。これらの駆動信号は、また、ハプティック信号として認識される。モジュール２２の機能は、以下により詳細に説明される。メモリ２０は、また、プロセッサ１２の内部に位置してもよく、又は内部及び外部メモリの組み合わせであってもよい。

【0017】

タッチ面１１は、タッチを認識し、また、タッチの回数、接触点の大きさ、圧力等のような表面でのタッチの位置及び大きさ又は圧力を認識する。タッチに対応するデータは、プロセッサ１２又はシステム１０内の別のプロセッサへ送信され、プロセッサ１２は、タッチを読み取り、それに応じたハプティック効果信号を生成する。タッチ面１１は、容量検知、抵抗検知、表面音響波検知、圧力検知、光学検知等を含む任意の検出技術を用いてタッチを検知する。タッチ面１１は、マルチタッチ接触を検知し、同時に生じるマルチタッチを区別することができてもよい。タッチ面１１は、キー、ダイヤル等のユーザとやりとりするための画像を生成及び表示するタッチスクリーンであってもよく、又は最小限又は画像のないタッチパッドであってもよい。

【0018】

システム１０は、携帯電話、ＰＤＡ、コンピュータタブレット、ゲーミングコンソール、ウェアラブルデバイス等のようなハンドヘルドデバイスであってもよく、又はユーザインターフェースを提供し、一又はそれ以上のＥＲＭｓ、ＬＲＡｓ、静電又は他のタイプのアクチュエータを含むハプティック効果システムを含む任意の他のデバイスであってもよい。ユーザインターフェースは、タッチ検知面であってもよく、又はマウス、タッチパッド、ミニジョイスティック、スクロールホイール、トラックボール、ゲームパッド又はゲームコントローラ等のような任意の他のタイプのユーザインターフェースであってもよい。一以上のアクチュエータを有する実施形態では、各アクチュエータは、装置上のハプティック効果の広い範囲を形成するために、異なる出力性能を有してもよい。各アクチュエータは、任意のタイプのハプティックアクチュエータであってもよく、又は単一又はアクチュエータの多次元アレイであってもよい。

【0019】

図２は、一実施形態に係るアクチュエータ１８のＬＲＡ実装の切断面である。ＬＲＡ３８は、ケーシング２５と、マグネット／マス２７と、直線バネ２６と、電気コイル２８と、を含む。マグネット２７は、バネ２６によりケーシング２５に搭載される。コイル２８は、マグネット２７の下のケーシング２５の底部に直接搭載される。ＬＲＡ３８は、典型的な既知のＬＲＡである。動作時には、電流がコイル２８を通じて流れたとき、磁場は、マグネット２７の磁場がマグネット２７を押す又は引くようにやりとりするコイル２８の周りに形成される。ある電流方向／極性は、押す動作を生じ、他の電流方向／極性は、引く動作を生じる。バネ２６は、マグネット２７の上下の動きを制御し、圧縮された場合の偏った上昇位置、伸長された場合の偏った下降位置、及び圧縮又は偏らない場合のニュートラル又はゼロ交差位置を有し、ニュートラル又はゼロ交差位置は、電流がコイル２８に印加されず、マグネット２７の動き／振動がないときに、その静止状態に等しい。

【0020】

ＬＲＡ２８にとって、機械的な品質因子又は“Ｑ値”が測定されうる。一般的には、機械的なＱ値は、振動する物理系の振幅の減衰のための時定数をその振動周期と比較する無次元のパラメータである。機械的なＱ値は、搭載のバリエーションによって大きく影響される。機械的なＱ値は、全ての振動サイクルにおけるエネルギー損失に亘る質量とバネとの間の循環されるエネルギーの比を表す。低いＱ値は、質量及びバネに蓄積されるエネルギーの大部分が全てのサイクルで損失されることを意味する。一般的には、最小のＱ値は、システム１０が、エネルギーが手の組織により吸収されることによって手で固く保持されることによって生じる。最大のＱ値は、通常、システム１０が、振動エネルギーの全てをＬＲＡ３８に戻し反射する、固く、かつがっしりした面に対して押されたときに生じる。

【0021】

機械的なＱ値に直接比例では、共振におけるマグネット／質量２７とバネ２６とで生じる力は、通常、コイル２８が、振動を維持するために生成しなければならない力の１０−１００倍である。したがって、ＬＲＡ３８の共振周波数は、マグネット２７の質量及びバネ２６の弾性によってほとんど定義される。しかし、ＬＲＡが、フローティングデバイス（つまり、システム１０が手で柔らかく保持される）に搭載されるとき、ＬＲＡ共振周波数は、大きく上側にシフトする。さらに、大きな周波数シフトは、携帯電話の折り畳み又は携帯電話を強く握ることのようなシステム１０のＬＲＡ３８の見かけ上の搭載重さに影響を与える外部要因によって生じうる。

【0022】

図３は、本発明の一実施形態に係るアクチュエータ１８のＥＲＭ実装の断面斜視図である。ＥＲＭ３００は、回転軸３０５の周りを回転するオフセンターウェイト３０３を有する回転質量３０１を含む。動作時には、任意のタイプのモータは、ＥＲＭ３００に接続され、モータに印加される電圧の量及び極性に応じて、回転軸３０５の周りに一方又は両方向に回転を生じる。同一方向の回転での電圧の印加は、加速効果を有し、ＥＲＭ３００にその回転速度を増加させ、反対方向の回転での電圧の印加は、ブレーキ効果を有し、ＥＲＭ３００にその回転速度を減少させる又はその回転速度を逆にすることが理解される。

【0023】

本発明の一実施形態は、ＥＲＭ３００の角速度を決定し、変更することによりハプティックフィードバックを提供する。角速度は、回転率のスカラー測定であり、ベクトル量角速度の大きさを表す。一秒あたりのラジアンでの角速度又は周波数ωは、一秒あたりのサイクルの周波数ｖに相関し、また、２πの係数によりＨｚとも呼ばれる。駆動信号は、少なくとも１つの駆動パルスがＥＲＭ３００に印加される駆動期間と、回転質量３０１の戻り電磁場（ｅｌｅｃｔｒｏｍａｇｎｅｔｉｃ ｆｉｅｌｄ （“ＥＭＦ”））が受信され、ＥＲＭ３００の角速度を求めるために用いられるモニター期間と、を含む。別の実施形態では、駆動期間及びモニター期間は、同時であり、本発明の実施形態は、駆動期間及びモニター期間の両方の間にＥＲＭ３００の角速度を動的に決定する。

【0024】

図４Ａ−４Ｃは、本発明の一実施形態に係るハプティックアクチュエータ１８の圧電実装の図である。図４Ａは、電極４０１、圧電セラミックスディスク４０３及び金属ディスク４０５を含むディスク圧電アクチュエータを示す。図４Ｂに示されるように、電圧が電極４０１に印加されたとき、圧電アクチュエータは、それに応じて曲がり、緩和状態４０９から変形状態４０９へ移る。電圧が印加されたとき、振動の基を形成するのはアクチュエータの曲げである。それに替えて、図４Ｃは、緩和状態４１１から変形状態４１３へ移ることにより、ディスク圧電アクチュエータと同様に動作するビーム圧電アクチュエータを示す。

【0025】

図５は、本発明の一実施形態に係るＥＳＦを用いるハプティックデバイスの図である。この実施形態は、パチニ小体の機械的刺激なしで、又はこのような機械的刺激とは別の追加の刺激なしで、皮下のパチニ小体が、容量性電気結合及び適切な大きさの制御電圧により刺激されうるという発見に基づいている。適切な大きさの高電圧は、制御電圧として用いられる。本明細書では、高電圧は、直接ガルバニック接触が、安全及び／又はユーザの快適さの理由から防がれなければならないような電圧を意味する。これは、パチニ小体と刺激を生じる装置との間の容量結合をもたらし、ここで、容量結合の一方側は、刺激装置に接続される少なくとも１つのガルバニック隔離電極により形成される一方で、電極に非常に近接する他方側は、装置のユーザのような刺激対象の身体の部分により形成され、指であることが好ましく、より具体的には、皮下のパチニ小体である。

【0026】

本発明の実施形態は、装置のアクティブ面と、装置のアクティブ面に近づく又は接触する指のような身体の部分との間の電場の制御された情報に基づく。電場は、近接する指での反対の電荷を生じさせやすい。局所的な電場及び容量結合は、電荷間で形成されることができる。電場は、指の組織の電荷での力を方向付ける。電場を適切に変化させることにより、組織を動かすことができる力が生じ、感覚受容器は、このような動きを振動として検知する。

【0027】

図５に示されるように、一又はそれ以上の導電電極５０１は、絶縁体に設けられる。指５０５のような身体の部分が、導電電極５０１に近接したとき、絶縁体は、導電電極から身体の部分５０５へ直接電流が流れることを防ぐ。絶縁体に亘る容量結合場の力５０３は、導電電極５０１と身体の部分５０５との間に形成される。装置は、また、一又はそれ以上の導電電極に電気的な入力を加えるための高電圧源を備え、ここで、電気的な入力は、１０Ｈｚ−１０００Ｈｚの間の周波数範囲の低周波数成分を備える。容量結合及び電気的な入力は、一又はそれ以上の導電電極又は絶縁体の機械的な振動とは無関係に生成される電気感受性の知覚を生成するように形成される。

【0028】

図６は、超音波ハプティックトランスデューサによる音響放射圧を誘導するためのハプティック装置の図である。空気伝搬超音波トランスデューサアレイ６０１は、三次元（ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ（“３Ｄ”））自由空間で触覚フィードバックを提供するように設計される。このアレイは、空気伝搬超音波を放射し、手袋又は機械的なアタッチメントを使用せずに、ユーザの手に高忠実度の圧力場を生成する。この方法は、超音波、音波放射圧力の非線形現象に基づく。物体が超音波の伝搬を遮断するとき、圧力場は、物体の表面に影響を与える。この圧力は、音響放射圧と呼ばれる（ａｃｏｕｓｔｉｃ ｒａｄｉａｔｉｏｎ ｐｒｅｓｓｕｒｅ）。音響放射圧力Ｐ［Ｐａ］は、Ｐ＝αＥと記述され、ここで、Ｅ［Ｊ＝ｍ^３］は、超音波のエネルギー密度であり、αは、物体の表面の反射特性に応じて１から２の範囲にある定数である。この式は、音響放射圧力が、超音波のエネルギー密度にどの程度比例するかを示す。超音波のエネルギー密度の空間分布は、波面合成技術を用いることにより制御されることができる。超音波トランスデューサアレイにより、圧力場の様々なパターンは、３Ｄ自由空間で生成される。エアジェットとは異なり、空間的及び時間的な分解能は非常に優れている。空間的な分解能は、超音波の波長と比較可能である。周波数特性は、１ｋＨｚまでが十分に良好である。

【0029】

空気伝搬超音波は、浸透のリスクなしで肌に直接加えられうる。空気伝搬超音波が、肌の表面に加えられるとき、空気の固有音響インピーダンスと肌の固有音響インピーダンスとの大きな違いによって、入射音響エネルギーの約９９．９％は、肌の表面で反射される。ここで、この触覚フィードバックシステムは、扱いにくい手袋又は機械的なアタッチメントをユーザが身に付ける必要がない。

【0030】

図７は、本発明の一実施形態に係るハプティック基板及びフレキシブル表面を用いてハプティック装置７０１を図示する三次元的（３Ｄ）な図である。装置７０１は、フレキシブル表面層７０３と、ハプティック基板７０５と、変形機構７１１と、を備える。なお、装置７０１は、携帯電話、パーソナルデジタルアシスタント（“ＰＤＡ”）、自動車データ入力システムのようなユーザインターフェース装置でありうる。なお、本発明の例示的な実施形態の根本的な概念は、一又はそれ以上のブロック（回路又は層）が装置７０１に加えられる又は除去された場合に変化するものではない。

【0031】

フレキシブル表面層７０３は、一例として、ポリシロキサンとしても知られるシリコーンラバーのような柔軟及び／又は弾性のある材料からなる。フレキシブル表面層７０３の機能は、ハプティック基板７０５の物理パターンと接触すると、その表面形状又はテクスチャを変化させることである。ハプティック基板７０５の物理パターンは、ハプティック基板７０５の局所的な部分の一又はそれ以上が上昇又は下降すると、変化可能になり、接触すると、フレキシブル表面層７０３の表面に影響を与えるための機能を表す。ハプティック基板７０５の物理パターンが決定されると、フレキシブル表面層７０３のテクスチャは、ハプティック基板７０５の物理パターンへのその表面質感を確認するために変化することができる。なお、あるテクスチャから別のテクスチャへのフレキシブル表面層７０３の変形は、変形機構７１１により制御されることができる。例えば、変形機構７１１がアクティブではないとき、フレキシブル表面層７０３は、ハプティック基板７０５において浮遊する又は位置する、その平滑構成を維持する。しかし、フレキシブル表面層７０３の表面構成は、変形機構７１１が、アクティブであり、かつハプティック基板７０５がフレキシブル表面層７０３に接触するとき、フレキシブル表面層７０３の上面に同様のパターンを生成するように、滑らかな構成から粗い構成へ変形又は変化する。

【0032】

それに替えて、フレキシブル表面層７０３は、フレキシブルなタッチ検知面であり、これは、ユーザの入力を受け付けることを可能にする。フレキシブルなタッチ検知面は、複数の領域に分割されることができ、ここで、フレキシブルなタッチ検知面の各領域は、指によって領域がタッチされる又は押されたときに、入力を受け付けることができる。一実施形態では、フレキシブルなタッチ検知面は、センサを備え、これは、すぐ近くの指を検出すること、及び装置の起動又は作動を可能にする。フレキシブル表面層７０３は、また、フレキシブルディスプレイを含んでもよく、これは、フレキシブル表面層７０３と共に変形することができる。なお、各種のフレキシブルディスプレイ技術は、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ （“ＯＬＥＤ”））、ポリマー薄膜トランジスタ（ｐｏｌｙｍｅｒ Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ（“ＴＦＴ”））のようなフレキシブルディスプレイを製造するために用いられうる。

【0033】

ハプティック基板７０５は、一又はそれ以上のパターン起動信号に応じて、その表面パターンを変化させることが可能な表面が再構成可能なハプティック装置である。ハプティック基板７０５は、また、ハプティック機構、ハプティック層、触覚素子等としても示される。ハプティック基板７０５は、一実施形態では、複数の触覚又はハプティック領域７０７，７０９を含み、ここで、各領域は、独立に制御及びアクティベートされうる。各触覚領域が、独立にアクティベートされることができるため、ハプティック基板７０５のユニークな表面パターンは、パターン起動信号に応じて較正されうる。別の実施形態では、各触覚領域は、さらに、複数のハプティックビットに分割され、ここで、各ビットは、独立に励起、アクティベート又はディアクティベートされうる。

【0034】

ハプティック基板７０５又はハプティック機構は、一実施形態では、アクティベートコマンド又は信号に応じてハプティックフィードバックを提供するように動作可能である。ハプティック基板７０５は、複数の触覚又はハプティックフィードバックを提供し、ここで、ある触覚フィードバックは、表面変形のために用いられ、別の触覚フィードバックは、入力確認のために用いられる。入力確認は、選択された入力についてユーザに知らせるためのハプティックフィードバックである。ハプティック機構７０５は、例えば、振動、垂直変位、横方向変位、プッシュ／プル技術、空気／流体ポケット、材料の局所的な変形、共振機械素子、圧電材料、マイクロ−エレクトロ−メカニカルシステム（“ＭＥＭＳ”）素子、熱流体ポケット、ＭＥＭＳポンプ、可変多孔性メンブレン、層流変調等を含む様々な技術によって実装されることができる。

【0035】

ハプティック基板７０５は、一実施形態では、セミフレキシブル又はセミリジッド材料により構築される。一実施形態では、ハプティック基板は、フレキシブル面７０３よりも硬くなるべきであり、そのため、フレキシブル面７０３の表面テクスチャは、ハプティック基板７０５の表面パターンにハプティック基板７０５は、例えば、一又はそれ以上のアクチュエータを含み、これは、電気活性ポリマー（“ＥＡＰ”）のファイバー（又はナノチューブ）、圧電素子、形状記憶合金（“ＳＭＡｓ”）のファイバー等から構築されうる。生物学的筋肉又は人工筋肉としても知られるＥＡＰは、電圧の印加に応じてその形状を変化させることが可能である。ＥＡＰの物理形状は、大きな力を持続するとき、変形される。ＥＡＰは、電気活性ポリマー、誘電エラストマー、導電性ポリマー、イオンポリマー金属合成物、反応性ゲル、ブッキーゲルアクチュエータ（Ｂｕｃｋｙ ｇｅｌ ａｃｔｕａｔｏｒｓ）又は上記のＥＡＰ材料の組み合わせから構築されてもよい。

【0036】

記憶金属としても知られる形状記憶合金（“ＳＭＡ”）は、ハプティック基板７０５を構築するために使用されうる別のタイプの材料である。ＳＭＡは、銅−亜鉛−アルミニウム、銅−アルミニウム−ニッケル、ニッケル−チタニウム合金、又は銅−亜鉛−アルミニウム、銅−アルミニウム−ニッケル、ニッケル−チタニウム合金の組み合わせからなる。ＳＭＡの特性は、その元の形状が変形したとき、大気温度及び／又は周囲環境に基づいてその元の形状を取り戻すことである。なお、本実施形態は、特定のハプティック知覚を実現するために、ＥＡＰ、圧電素子及び／又はＳＭＡを組合せてもよい。

【0037】

変形機構７１１は、フレキシブル面７０３を変形させるハプティック基板７０５において素子を変化するために引く力及び／又は引っ張る力を提供する。例えば、変形機構７１１がフレキシブル面７０３とハプティック基板７０５との間に真空を形成する場合、フレキシブル面７０３は、ハプティック基板７０５に対して押され、ハプティック基板７０５の表面パターンに基づいてフレキシブル面７０３にフレキシブル面７０３のテクスチャを示させる。すなわち、ハプティック基板７０５の表面パターンが生成されると、フレキシブル面は、ハプティック基板７０５に対して引っ張られる又は押され、フレキシブル面７０３の変形した面を通じてハプティック基板７０５のパターンを見せる。一実施形態では、ハプティック基板７０５及び変形機構７１１は、同一又は実質同一の層に構築される。

【0038】

第１の起動信号を受信すると、ハプティック基板７０５は、第１の表面パターンを生成する。ハプティック基板７０５の表面パターンの形成後、変形機構７１１は、続いて、ハプティック基板７０５の表面パターンに応じてフレキシブル面７０３の表面テクスチャを変化させるためにアクティベートされる。それに替えて、ハプティック基板７０５が第２の起動信号を受信した場合、ハプティック基板７０５は、第２の表面パターンを生成する。

【0039】

ハプティック基板７０５は、複数の触覚領域をさらに含み、ここで、各領域は、基板の表面パターンを形成するために独立にアクティベートされることができる。ハプティック基板７０５は、また、ユーザにより入力された入力選択を確認するために確認フィードバックを生成することもできる。変形機構７１１は、第１の基板特性から第２の基板特性へフレキシブル面７０３の表面テクスチャを変形するように構成される。なお、ハプティック装置は、センサをさらに備え、センサは、センサがフレキシブル面７０３でのタッチを検出したとき、ハプティック装置を起動することができる。変形機構７１１は、真空発生器であってもよく、真空発生器は、ハプティック基板７０５の第１のパターンの構成に応じてその表面構成を変形するために第１の表面パターンに対してフレキシブル面７０３をつぶれさせることができる。

【0040】

ハプティック基板７０５は、触覚領域７０７及び７０９がアクティベートされるときの状態を示す。触覚領域７０７及び７０９は、ｚ軸方向に上昇する。一又はそれ以上の起動信号を受信すると、ハプティック基板７０５は、起動信号に応じて表面パターンを認識する。ハプティック基板７０５は、パターンを生成するために領域７０７及び７０９のような様々な触覚領域をアクティベートすることにより認識されたパターンを提供する。なお、触覚領域７０７及び７０９は、２つのボタン又はキーを模している。別の実施形態では、触覚領域７０７又は７０９は、複数のハプティックビットを含み、各ビットは、アクティベート又はディアクティベートのために制御されうる。

【0041】

図８Ａ−８Ｂは、ＵＳＦを用いるハプティック装置の図である。超音波振動ディスプレイ８０１は、数マイクロメートルの単位で超音波振動を生成する。ディスプレイ８０１は、超音波レンジで振動するタッチインターフェース面８０３で構成される。振動８０５は、指８０９が、表面８０３に接触し、力８０７Ｆ_ｔを加えたとき、速度ｖ_ｔでタッチ面８０３に沿って伝搬する。振動８０５は、面８０３で摩擦の見かけ上の減少を生じる。上下に移動することにより、タッチ面８０３は、面８０３と作用する指８０９とのエアギャップ８１３を生じ、摩擦の減少を生じるエアギャップ８１３である。これは、指８０９が、波８０５の頂点又はピークに接触したとき、その瞬間に指が接触し、指８０９が、波８０５の谷の上にあるとき、接触しない場合もある面８０３に沿うラム波８１５として考えられうる。指８０９が速度ｖ_ｆで横方向に移動されたとき、面８０３の見かけ上の摩擦は、指８０９による面８０３の接触のオンオフによって減少される。面８０３がアクティベートされないとき、指８０９は、常に面８０３と接触し、静摩擦又は動摩擦係数は一定を維持する。

【0042】

振動８０５が、通常、２０ｋＨｚ又はそれ以上の範囲の超音波で生じるため、波長コンテントは、通常、指のサイズよりも小さくなり、よって、一貫した体験を可能にする。面８０３の通常の変位は、５マイクロメートル未満の大きさであり、小さな変位は、低い摩擦減少をもたらすことが理解される。

【0043】

図９は、本発明の一実施形態に係る例示的な５．１マルチチャネルオーディオサラウンド構成である。５．１マルチチャネルオーディオサラウンド構成は、スピーカのような複数のオーディオ出力装置を含む。図示された実施形態では、円内に位置する５．１マルチチャネルオーディオサラウンド構成（つまり、オーディオ出力装置Ｃ，Ｓｕｂ，Ｌ，Ｒ，ＬＳ及びＲＳ）は、ユーザＵを取り囲む。ソースオーディオ信号は、複数のソースオーディオチャネルを含み、一又はそれ以上のソースオーディオチャネルは、オーディオ出力装置にマップされ、オーディオ出力装置は、マップされたオーディオチャネルに基づいてオーディオ効果を出力する。実施形態によれば、ソースオーディオ信号のＬＦＥチャネルは、オーディオ出力装置Ｓｕｂにマップされうる。前述したように、ＬＦＥチャネルは、人の聴覚の全てのスペクトルよりも実質的に少ないオーディオスペクトルでデコードされたオーディオチャンネルである。ＬＦＥトラックは、通常、２０Ｈｚ−１２０Ｈｚの範囲の可聴周波数で低周波数情報をエンコードするために用いられるが、制限された周波数範囲を有する任意の他のオーディオ信号を含んでもよい。５．１マルチチャネルオーディオサラウンド構成の‘．１’は、ＬＦＥチャネルを示す。これは、ＬＦＥチャネルが通常、他のオーディオチャンネルの帯域幅の摩擦のみを必要とするためである。

【0044】

図１０は、本発明の一実施形態に係る人の聴覚システムの等ラウドネスチャートである。等ラウドネスチャートは、純粋に一様なトーンで表された時、聴者が一定のラウドネスを受け付ける周波数スペクトルに亘る音圧（“ｄＢ ＳＰＬ”）を測定する。ラウドネスレベルの測定の単位は、“フォン（ｐｈｏｎ）”であり、等ラウドネス線を参照することにより到達する。最も低い等ラウドネス線１０１０は、最小の可聴音を表し、また、聴力の絶対閾値としても知られる。最も高い等ラウドネス線１０２０は、痛覚の閾値として知られる。

【0045】

図１１Ａ−１１Ｂは、本発明の一実施形態に係る、シフトされ、増幅され、圧縮されたオーディオ信号を示すオーディオスペクトログラムである。より具体的には、図１１Ａは、５．１オーディオ信号から抽出されるＬＦＥオーディオ信号１１１０を示す。図１１Ｂは、ピッチシフトされ、圧縮され、増幅されたＬＦＥオーディオ信号１１２０を示す。オーディオ信号をピッチシフトすることにより、オーディオ信号の一又はそれ以上元の周波数は、一又はそれ以上の新たな周波数にシフトされ、ここで、新たな周波数は、元の周波数の調和関係を維持し、新たな周波数の比は、元の周波数の比と同一である。例えば、１ｋＨｚの基本的な周波数及び２ｋＨｚ並びに５ｋＨｚの２つの高調波周波数を含むオーディオ信号は、２．５の係数によって上方にピッチシフトされ、ここで、ピッチシフトされたオーディオ信号は、２．５ｋＨｚの基本的な周波数及び５ｋＨｚ並びに１２．５ｋＨｚの２つの高調波周波数を含む。別の実施形態では、ＬＦＥオーディオ信号１１２０は、ピッチシフトではなく周波数シフトされることができる。オーディオ信号を周波数シフトすることにより、オーディオ信号の一又はそれ以上の元の周波数は、一又はそれ以上の新たな周波数にシフトされ、ここで、新たな周波数は、元の周波数の調和関係を維持せず、新たな周波数の比は、元の周波数の比と同一である必要がない。例えば、１ｋＨｚの基本的な周波数及び２ｋＨｚ並びに５ｋＨｚの２つの高調波周波数を含むオーディオ信号は、１．５ｋＨｚによって上方に周波数シフトされ、ここで、周波数シフトされたオーディオ信号は、２．５ｋＨｚの基本的な周波数及び３．５５ｋＨｚ並びに６．５ｋＨｚの２つの高調波周波数を含む。ＬＦＥオーディオ信号１１１０を上方にピッチシフト又は周波数シフトのいずれかを行うことにより、ＬＦＥオーディオ信号１１１０の一又はそれ以上の周波数は、元の周波数範囲からアクチュエータのようなハプティック出力装置の対象となる周波数範囲へシフトされうる。これは、ＬＦＥオーディオ信号１１２０の一又はそれ以上周波数が、ハプティック出力装置の対象となる周波数範囲内であり、ＬＦＥオーディオ信号１１２０がハプティック出力装置のための適切なハプティック信号であり得るためである。特定の実施形態では、元の周波数範囲は、２０Ｈｚ−１２０Ｈｚのような限定された周波数範囲でありうる。これらの実施形態では、ＬＦＥオーディオ信号１１１０の一又はそれ以上の周波数の１つ、いくつか又は全ては、限定された周波数範囲の外側にシフトされうる。さらに、特定の実施形態では、ハプティック出力装置の対象となる周波数範囲は、ハプティック出力装置のタイプに基づいて実行時に求められうる。対象となる周波数範囲の例は、３０Ｈｚ−１２０Ｈｚ（例えば、ＬＲＡアクチュエータ用）及び１２０Ｈｚ−３００Ｈｚ（例えば、圧電アクチュエータ用）を含みうる。

【0046】

さらに、ＬＦＥオーディオ信号１１２０は、圧縮、増幅又はその両方が行われうる。さらに、ＬＦＥオーディオ信号１１２０は、ハプティック出力装置の対象となる駆動周波数へリサンプリングされうる。より具体的には、ＬＦＥオーディオ信号１１２０のレンダリング周波数は、新たなレンダリング周波数にシフトされることができ、ここで、新たなレンダリング周波数は、ハプティック出力装置の対象となる駆動周波数は等しくなりうる。このリサンプリングは、ハプティック出力装置の機能により良くフィットするために、どのようにＬＦＥオーディオ信号１１２０がレンダリングされるか（つまり、どのくらい多くのサンプルが一秒あたりにプレイされるか）を変化させることができる。リサンプリングは、ＬＦＥオーディオ信号１１２０がピッチシフト（又は周波数シフト）された後に行われる、又はリサンプリングは、ＬＦＥオーディオ信号１１２０がハプティック信号としてハプティック出力装置へ送信されたときに、実行時に行われる。さらに、いくつかの実施形態では、リサンプリングは、省略されうる。ＬＦＥオーディオ信号１１２０は、続いて、ハプティック信号としてのハプティック出力装置へ送信され、ここで、ハプティック出力装置は、ハプティック信号に基づいて一又はそれ以上のハプティック効果を出力しうる。

【0047】

図１２Ａ−１２Ｂは、本発明の一実施形態に係るシフトされたオーディオ信号を示すブラックマン−ハリスウィンドウ（Ｂｌａｃｋｍａｎ−Ｈａｒｒｉｓ ｗｉｎｄｏｗｓ）である。より具体的には、図１２Ａは、５．１オーディオ信号から抽出されるＬＦＥオーディオ信号１２１０を示す。図１２Ｂは、ピッチシフトされたＬＦＥオーディオ信号１２２０を示す。オーディオ信号をピッチシフトすることにより、前述したように、オーディオ信号の一又はそれ以上元の周波数は、一又はそれ以上の新たな周波数にシフトされ、ここで、新たな周波数は、元の周波数の調和関係を維持し、新たな周波数の比は、元の周波数の比と同一である。別の実施形態では、ＬＦＥオーディオ信号１２２０は、ピッチシフトされるのではなく周波数シフトされうる。オーディオ信号を周波数シフトすることにより、前述したように、オーディオ信号の一又はそれ以上の周波数は、一又はそれ以上の新たな周波数にシフトされ、ここで、新たな周波数は、元の周波数の調和関係を維持せず、新たな周波数の比は、元の周波数の比と同一である必要がない。

【0048】

図１３は、本発明の一実施形態に係る体験チャート及びハプティックチャートの品質である。実施形態によれば、調査は、何人かの被験者で行われ、テストビデオが被験者に示され、テストビデオは、タブレットデバイスに表示された。いくつかのテストビデオは、各ビデオに含まれるオーディオ信号からＬＦＥオーディオ信号を抽出し、ＬＦＥオーディオ信号をハプティック信号に変換することに基づいて生成されたハプティック効果を含んでいた。他のテストビデオは、ハプティック効果を含まなかった。被験者は、テストビデオを見る時、及びタブレットデバイスを手に持つ時、高品質なステレオヘッドフォンを身に付けていた。被験者は、テストビデオを見て、体験タイムラインインターフェースでリアルタイムレーティングを行った。被験者は、さらに、各テストビデオの最後に調査質問に回答した。テストビデオの実際の提示の順序は、同一のビデオを繰り返し示すことを防ぐために変えられた。提示の順序は、順序の効果を制御するために被験者間で釣り合わせられた。トータルのビデオ再生時間は、約３２−３５分であり、トータルのセッションタイムは、９０分であった。さらに、実施形態によれば、被験者の総数は、２０であり、ここで、被験者のグループは、男女の数を釣り合わせた。被験者の５０％は、タブレットを所有しており、被験者の全員は、日常的に（つまり、週に２−３回）スマートフォン又はタブレットでメディアを見ていた。

【0049】

実施形態によれば、ハプティック信号１３１０は、調査からの第１のビデオ内に含まれるオーディオ信号から抽出されたＬＦＥオーディオ信号に基づいて生成されるハプティック信号である。第１のビデオのＬＦＥハプティックバージョンは、調査の被験者の何人かに示され、ここで、第１のビデオのＬＦＥハプティックバージョンは、ハプティック信号１３１０に基づいて生成されたハプティック効果に含まれた。第１のビデオの非ハプティックバージョンは、調査の被験者の別の何人かに示され、ここで、第１のビデオの非ハプティックバージョンは、ハプティック効果を含まなかった。グラフ１３２０は、第１のビデオの非ハプティックバージョンの持続期間に亘って被験者によって示された平均体験品質（ｑｕａｌｉｔｙ ｏｆ ｅｘｐｅｒｉｅｎｃｅ（“ＱｏＥ”））レーティングを表し、ここで、ＱｏＥレーティングは、閲覧体験の品質を示す０から１００のレーティングであり、０は、最も低い品質を表し、１００は、最も高い品質を表す。グラフ１３３０は、第１のビデオのＬＦＥハプティックバージョンの持続期間に亘って被験者により示される平均ＱｏＥレーティングを表す。さらに、グラフ１３４０は、第１のビデオの持続期間に亘るグラフ１３３０の平均ＱｏＥレーティング及びグラフ１３２０の平均ＱｏＥレーティングのデルタを表す。グラフ１３２０、１３３０及び１３４０からわかるように、第１のビデオのＬＦＥハプティックバージョンを体験した被験者は、第１のビデオ、特に、ハプティック信号１３１０の内容に基づいてハプティック効果がよりはっきりしている第１のビデオの部分で非ハプティックバージョンを体験した被験者よりも高い品質レーティングを示した。

【0050】

図１４は、本発明の一実施形態に係る体験品質チャート及びＬＦＥハプティックチャートである。ハプティック信号１４１０は、調査からの第２のビデオ内に含まれるオーディオ信号から抽出されるＬＦＥオーディオ信号に基づいて生成されるハプティック信号である。第２のビデオのＬＦＥハプティックバージョンは、調査の被験者の何人かに示されており、ここで、第２のビデオのＬＦＥハプティックバージョンは、ハプティック信号１４１０に基づいて生成されるハプティック効果を含んでいた。第２のビデオの非ハプティックバージョンは、調査の他の被験者に示されており、ここで、第２のビデオの非ハプティックバージョンは、ハプティック効果を含まなかった。グラフ１４２０は、第２のビデオの非ハプティックバージョンの持続期間に亘って被験者により示される平均ＱｏＥレーティングを表す。グラフ１４３０は、第２のビデオのＬＦＥハプティックバージョンの持続期間に亘って被験者により示される平均ＱｏＥレーティングを表す。さらに、グラフ１４４０は、第２のビデオの持続期間に亘るグラフ１４３０の平均ＱｏＥレーティング及びグラフ１４２０の平均ＱｏＥレーティングのデルタを表す。グラフ１４２０、１４３０及び１４４０からわかるように、第２のビデオのＬＦＥハプティックバージョンを体験した被験者は、第２のビデオ、特に、ハプティック信号１４１０の内容に基づいてハプティック効果がよりはっきりしている第２のビデオの部分での非ハプティックバージョンを体験した被験者よりも高い品質レーティングを示した。

【0051】

図１５は、本発明の一実施形態に係る体験品質チャート及び対応するＬＦＥハプティックチャートである。ハプティック信号１５１０は、調査からの第３のビデオ内に含まれるオーディオ信号から抽出されるＬＦＥオーディオ信号に基づいて生成されるハプティック信号である。第３のビデオのＬＦＥハプティックバージョンは、調査の被験者の何人かに示されており、ここで、第３のビデオのＬＦＥハプティックバージョンは、ハプティック信号１５１０に基づいて生成されるハプティック効果を含んでいた。第３のビデオの非ハプティックバージョンは、調査の他の被験者に示されており、ここで、第３のビデオの非ハプティックバージョンは、ハプティック効果を含まなかった。グラフ１５２０は、第３のビデオの非ハプティックバージョンの持続期間に亘って被験者により示される平均ＱｏＥレーティングを表す。グラフ１５３０は、第３のビデオのＬＦＥハプティックバージョンの持続期間に亘って被験者により示される平均ＱｏＥレーティングを表す。さらに、グラフ１５４０は、第３のビデオの持続期間に亘るグラフ１５３０の平均ＱｏＥレーティング及びグラフ１５２０の平均ＱｏＥレーティングのデルタを表す。グラフ１５２０、１５３０及び１５４０からわかるように、第３のビデオのＬＦＥハプティックバージョンを体験した被験者は、第３のビデオ、特に、ハプティック信号１５１０の内容に基づいてハプティック効果がよりはっきりしている第３のビデオの部分での非ハプティックバージョンを体験した被験者よりも高い品質レーティングを示した。

【0052】

図１６は、本発明の一実施形態に係る体験品質チャート及び対応するＬＦＥハプティックチャートである。ハプティック信号１６１０は、調査からの第４のビデオ内に含まれるオーディオ信号から抽出されるＬＦＥオーディオ信号に基づいて生成されるハプティック信号である。第４のビデオのＬＦＥハプティックバージョンは、調査の被験者の何人かに示されており、ここで、第４のビデオのＬＦＥハプティックバージョンは、ハプティック信号１６１０に基づいて生成されるハプティック効果を含んでいた。第４のビデオの非ハプティックバージョンは、調査の他の被験者に示されており、ここで、第４のビデオの非ハプティックバージョンは、ハプティック効果を含まなかった。グラフ１６２０は、第４のビデオの非ハプティックバージョンの持続期間に亘って被験者により示される平均ＱｏＥレーティングを表す。グラフ１６３０は、第４のビデオのＬＦＥハプティックバージョンの持続期間に亘って被験者により示される平均ＱｏＥレーティングを表す。さらに、グラフ１６４０は、第４のビデオの持続期間に亘るグラフ１６３０の平均ＱｏＥレーティング及びグラフ１６２０の平均ＱｏＥレーティングのデルタを表す。グラフ１６２０、１６３０及び１６４０からわかるように、第４のビデオのＬＦＥハプティックバージョンを体験した被験者は、第４のビデオ、特に、ハプティック信号１６１０の内容に基づいてハプティック効果がよりはっきりしている第４のビデオの部分での非ハプティックバージョンを体験した被験者よりも高い品質レーティングを示した。

【0053】

図１７は、本発明の一実施形態に係る体験品質チャート及び対応するＬＦＥハプティックチャートである。ハプティック信号１７１０は、調査からの第５のビデオ内に含まれるオーディオ信号から抽出されるＬＦＥオーディオ信号に基づいて生成されるハプティック信号である。第５のビデオのＬＦＥハプティックバージョンは、調査の被験者の何人かに示されており、ここで、第５のビデオのＬＦＥハプティックバージョンは、ハプティック信号１７１０に基づいて生成されるハプティック効果を含んでいた。第５のビデオの非ハプティックバージョンは、調査の他の被験者に示されており、ここで、第５のビデオの非ハプティックバージョンは、ハプティック効果を含まなかった。グラフ１７２０は、第５のビデオの非ハプティックバージョンの持続期間に亘って被験者により示される平均ＱｏＥレーティングを表す。グラフ１７３０は、第５のビデオのＬＦＥハプティックバージョンの持続期間に亘って被験者により示される平均ＱｏＥレーティングを表す。さらに、グラフ１７４０は、第５のビデオの持続期間に亘るグラフ１７３０の平均ＱｏＥレーティング及びグラフ１７２０の平均ＱｏＥレーティングのデルタを表す。グラフ１７２０、１７３０及び１７４０からわかるように、第５のビデオのＬＦＥハプティックバージョンを体験した被験者は、第５のビデオ、特に、ハプティック信号１７１０の内容に基づいてハプティック効果がよりはっきりしている第５のビデオの部分での非ハプティックバージョンを体験した被験者よりも高い品質レーティングを示した。

【0054】

図１８は、本発明の一実施形態に係る没入度サマリーチャートである。没入度サマリーチャートは、ビデオのＬＦＥハプティックバージョンのための調査の被験者により示される没入度レーティングを、ビデオの非ハプティックバージョンのための調査の被験者により示される没入度レーティングと比較し、ここで、没入度レーティングは、被験者が閲覧体験にどの程度没入しているかを示す０から９のレーティングであり、０は、最も低い没入度を表し、９は、最も高い没入度を表す。

【0055】

図１８の没入度サマリーチャートは、没入度レーティングセット１８１０，１８１５，１８２０，１８２５，１８３０，１８３５，１８４０，１８４５，１８５０及び１８５５を含む。没入度レーティングセット１８１０は、調査の第１のビデオの非ハプティックバージョンに対する没入度レーティングを表す。没入度レーティングセット１８１５は、第１のビデオのＬＦＥハプティックバージョンに対する没入度レーティングを表す。没入度レーティングセット１８１５の平均レーティング（つまり、６．１５）は、没入度レーティングセット１８１０の平均レーティング（つまり、４．９）よりも高い。さらに、没入度レーティングセット１８２０は、調査の第２のビデオの非ハプティックバージョンに対する没入度レーティングを表す。没入度レーティングセット１８２５は、第２のビデオのＬＦＥハプティックバージョンに対する没入度レーティングを表す。没入度レーティングセット１８２５の平均レーティング（つまり、６．７）は、没入度レーティングセット１８２０の平均レーティング（つまり、５．２）よりも高い。没入度レーティングセット１８３０は、調査の第３のビデオの非ハプティックバージョンに対する没入度レーティングを表す。没入度レーティングセット１８３５は、第３のビデオのＬＦＥハプティックバージョンに対する没入度レーティングを表す。没入度レーティングセット１８３５の平均レーティング（つまり、６．７）は、没入度レーティングセット１８３０の平均レーティング（つまり、５．４）よりも高い。

【0056】

さらに、没入度レーティングセット１８４０は、調査の第４のビデオの非ハプティックバージョンに対する没入度レーティングを表す。没入度レーティングセット１８４５は、第４のビデオのＬＦＥハプティックバージョンに対する没入度レーティングを表す。没入度レーティングセット１８４５の平均レーティング（つまり、６．５５）は、没入度レーティングセット１８４０の平均レーティング（つまり、４．６５）よりも高い。没入度レーティングセット１８５０は、調査の第５のビデオの非ハプティックバージョンに対する没入度レーティングを表す。没入度レーティングセット１８５５は、調査の第５のビデオのＬＦＥハプティックバージョンに対する没入度レーティングを表す。没入度レーティングセット１８５５の平均レーティング（つまり、６．９）は、没入度レーティングセット１８５０の平均レーティング（つまり、５．１５）よりも高い。よって、ビデオのＬＦＥハプティックバージョンに対する没入度とビデオの非ハプティックバージョンに対する没入度との全ての違いは、統計的に非常に大きい。さらに、平均で、ビデオのＬＦＥハプティックバージョンは、調査の被験者により、ビデオの非ハプティックバージョンと比べて、３０％の割合でより没入度が高かった。

【0057】

図１９は、本発明の一実施形態に係る体験品質サマリーチャートである。体験品質サマリーチャートは、ビデオのＬＦＥハプティックバージョンのための調査の被験者により示されるＱｏＥレーティングを、ビデオの非ハプティックバージョンのための調査の被験者により示されるＱｏＥレーティングと比較し、ここで、ＱｏＥレーティングは、被験者が閲覧体験の質を示す０から９のレーティングであり、０は、最も低い没入度を表し、９は、最も高い没入度を表す。

【0058】

図１９の体験品質サマリーチャートは、ＱｏＥレーティングセット１９１０，１９１５，１９２０，１９２５，１９３０，１９３５，１９４０，１９４５，１９５０及び１９５５を含む。ＱｏＥレーティングセット１９１０は、調査の第１のビデオの非ハプティックバージョンに対するＱｏＥレーティングを表す。ＱｏＥレーティングセット１９１５は、調査の第１のビデオのＬＦＥハプティックバージョンに対するＱｏＥレーティングを表す。ＱｏＥレーティングセット１９１５の平均レーティング（つまり、７０．４）は、ＱｏＥレーティングセット１９１０の平均レーティング（つまり、５８．６）よりも高い。さらに、ＱｏＥレーティングセット１８５０は、調査の第２のビデオの非ハプティックバージョンに対するＱｏＥレーティングを表す。ＱｏＥレーティングセット１９２５は、第２のビデオのＬＦＥハプティックバージョンに対するＱｏＥレーティングを表す。ＱｏＥレーティングセット１９２５の平均レーティング（つまり、７４．１）は、ＱｏＥレーティングセット１９２０の平均レーティング（つまり、６２．５）よりも高い。ＱｏＥレーティングセット１９３０は、調査の第３のビデオの非ハプティックバージョンに対するＱｏＥレーティングを表す。ＱｏＥレーティングセット１９３５は、第３のビデオのＬＦＥハプティックバージョンに対するＱｏＥレーティングを表す。ＱｏＥレーティングセット１９３５の平均レーティング（つまり、７４．５）は、ＱｏＥレーティングセット１９３０の平均レーティング（つまり、６３．９）よりも高い。

【0059】

さらに、ＱｏＥレーティングセット１９４０は、調査の第４のビデオの非ハプティックバージョンに対するＱｏＥレーティングを表す。ＱｏＥレーティングセット１９４５は、第４のビデオのＬＦＥハプティックバージョンに対するＱｏＥレーティングを表す。ＱｏＥレーティングセット１９４５の平均レーティング（つまり、７５．１）は、ＱｏＥレーティングセット１９４０の平均レーティング（つまり、６０）よりも高い。ＱｏＥレーティングセット１９５０は、調査の第５のビデオの非ハプティックバージョンに対するＱｏＥレーティングを表す。ＱｏＥレーティングセット１９５５は、第５のビデオのＬＦＥハプティックバージョンに対するＱｏＥレーティングを表す。ＱｏＥレーティングセット１９５５の平均レーティング（つまり、７５）は、ＱｏＥレーティングセット１９５０の平均レーティング（つまり、５８．９）よりも高い。よって、ビデオのＬＦＥハプティックバージョンに対するＱｏＥレーティングとビデオの非ハプティックバージョンに対するＱｏＥレーティングとの全ての違いは、統計的に非常に大きい。さらに、平均で、ビデオのＬＦＥハプティックバージョンは、調査の被験者により、ビデオの非ハプティックバージョンと比べて、２１％の割合で高かった。

【0060】

図２０は、本発明の一実施形態に係る、ＬＦＥオーディオ信号をハプティック信号へ変換するためのフロー図である。一実施形態では、図２０のフロー図の機能と共に、図２１，２２，２３，２４，２５，２８，２９及び３０のフロー図の機能は、それぞれ、メモリ又は他のコンピュータ可読又は有形媒体に記憶されたソフトウェアにより実装され、プロセッサにより実行される。別の実施形態では、各機能は、（例えば、特定用途向け集積回路（“ＡＳＩＣ”）、プログラマブルゲートアレイ（“ＰＧＡ”）、フィールドプログラマブルゲートアレイ）（“ＦＰＧＡ”）等の用途の使用を通じて）ハードウェア又はハードウェア及びソフトウェアの組み合わせにより実行されてもよい特定の実施形態では、いくつかの機能は、省略されてもよい。

【0061】

フローは、開始し、２００１へ進む。２００１では、ソースオーディオ信号は、受信される。ソースオーディオ信号は、複数のオーディオ信号を含み、オーディオ信号は、複数のトラック又はチャネル内に含まれうる。複数のオーディオ信号の少なくとも１つは、オーディオ信号であることができ、ＬＦＥオーディオ信号は、ＬＦＥトラック又はＬＦＥチャネル内に含まれる。フローは、２００３へ進む。

【0062】

２００３では、ソースオーディオ信号は、ＬＦＥオーディオ信号を含むサラウンドエンコーディングにダウンミックスされる。特定の実施形態では、サラウンドエンコーディングは、５．１サラウンドエンコーディングでありうる。フローは、２００５へ進む。

【0063】

２００５では、ＬＦＥオーディオ信号は、ソースオーディオ信号から抽出される。特定の実施形態では、ＬＦＥオーディオ信号は、ソースオーディオ信号内にエンコードされ、また、抽出されたＬＦＥオーディオ信号は、デコードされる。フローは、２００７へ進む。

【0064】

２００７では、ＬＦＥオーディオ信号は、ハプティック信号へ変換される。特定の実施形態では、ＬＦＥオーディオ信号は、ＬＦＥオーディオ信号をピッチシフトすることにより、ハプティック信号へ変換されうる。ＬＦＥオーディオ信号をピッチシフトすることにより、ＬＦＥオーディオ信号の元のピッチは、アクチュエータのようなハプティック出力装置の対象となるピッチ範囲内の対象となるピッチにシフトされうる。さらに、ＬＦＥオーディオ信号の元のピッチを対象となるピッチにシフトすることにより、ＬＦＥオーディオ信号の一又はそれ以上元の周波数は、一又はそれ以上の対象となる周波数にシフトされることができ、一又はそれ以上の対象となる周波数の比は、一又はそれ以上元の周波数の比と同一である。特定の実施形態では、ＬＦＥオーディオ信号の元のピッチは、２０Ｈｚ−１００Ｈｚのような限定されたピッチ範囲内であり得る。いくつかの実施形態では、ＬＦＥオーディオ信号の元のピッチのシフトは、限定されたピッチ範囲外の元のピッチのシフトである。これらの実施形態のいくつかでは、ＬＦＥオーディオ信号の元のピッチのシフトは、限定されたピッチ範囲の完全に外れた元のピッチのシフトである。別の実施形態では、ＬＦＥオーディオ信号は、ＬＦＥオーディオ信号を周波数シフトすることにより、ハプティック信号に変換されうる。ＬＦＥオーディオ信号を周波数シフトすることにより、ＬＦＥオーディオ信号の一又はそれ以上の元の周波数は、対象となる周波数範囲内の一又はそれ以上の対象となる周波数にシフトされることができ、ここで、一又はそれ以上の対象となる周波数の比は、一又はそれ以上の元の周波数の比と同一である。特定の実施形態では、ＬＦＥオーディオ信号の一又はそれ以上の元の周波数は、２０Ｈｚ−１００Ｈｚのような限定された周波数範囲内であり得る。いくつかの実施形態では、ＬＦＥオーディオ信号の一又はそれ以上の元の周波数のシフトは、限定された周波数範囲外の一又はそれ以上の元の周波数のシフトである。これらの実施形態のいくつかでは、ＬＦＥオーディオ信号の一又はそれ以上の元の周波数のシフトは、限定された周波数範囲の完全に外れた一又はそれ以上の元の周波数のシフトである。フローは、２００９へ進む。

【0065】

２００９では、ハプティック信号は、ハプティック出力装置の対象となる駆動周波数にリサンプリングされる。対象となる駆動周波数の一例は、８ｋＨｚである。フローは、２０１１へ進む。

【0066】

２０１１では、ハプティック信号は、ハプティックデータエンコーディングをサポートするファイルのコンテナ、又はストリーミングデータフォーマットにエンコードされる。特定の実施形態では、ハプティック信号は、ＬＦＥ信号内にエンコードされる。ハプティック信号は、続いて、コンテナから抽出され、デコードされ、ハプティック出力装置に送信され、ここで、ハプティック信号は、ハプティック出力装置に一又はそれ以上のハプティック効果を出力させる。そして、フローは終了する。

【0067】

特定の実施形態では、一又はそれ以上のパラメータは、ピッチシフト又は周波数シフトの量又は位置関係を制御するために、ピッチシフト又は周波数シフトを調整するように（自動又はユーザにより）提供されてもよい。さらに、いくつかの実施形態では、ＬＦＥオーディオ信号の追加処理は、ピッチシフト又は周波数シフトの前又は後に行われうる。追加処理は、フィルタリング、又はピッチシフト又は周波数シフトにより導入されるノイズ除去のための“平滑化（ｓｍｏｏｔｈｉｎｇ）”処理を含みうる。さらに、いくつかの実施形態では、ハプティック信号は、リアルタイム又はほぼリアルタイムでハプティック出力装置へ送信されうる。

【0068】

図２１は、本発明の別の実施形態に係る、ＬＦＥオーディオ信号をハプティック信号へ変換するためのフロー図である。フローは、開始し、２１０１へ進む。２１０１では、ソースオーディオ信号は、受信される。ソースオーディオ信号は、複数のオーディオ信号を含み、オーディオ信号は、複数のトラック又はチャネル内に含まれうる。複数のオーディオ信号の少なくとも１つは、ＬＦＥオーディオ信号であることができ、ＬＦＥオーディオ信号は、ＬＦＥトラック又はＬＦＥチャネル内に含まれる。フローは、２１０３へ進む。

【0069】

２１０３では、ソースオーディオ信号は、ＬＦＥオーディオ信号を含むサラウンドエンコーディングにリアルタイムで音響空間化される。特定の実施形態では、サラウンドエンコーディングは、５．１サラウンドエンコーディングでありうる。フローは、２１０５へ進む。

【0070】

２１０５では、ＬＦＥオーディオ信号は、ソースオーディオ信号から抽出される。ＬＦＥオーディオ信号がソースオーディオ信号内にエンコードされる特定の実施形態では、抽出されたＬＦＥオーディオ信号もまた、デコードされる。フローは、２１０７へ進む。

【0071】

２１０７では、ＬＦＥオーディオ信号は、ハプティック信号に変換される。特定の実施形態では、ＬＦＥオーディオ信号は、図２０と共に前述したように、ＬＦＥオーディオ信号をピッチシフトすることによりハプティック信号に変換されうる。別の実施形態では、ＬＦＥオーディオ信号は、図２０と共に前述したように、ＬＦＥオーディオ信号を周波数シフトすることによりハプティック信号に変換されうる。フローは、２１０９へ進む。

【0072】

２１０９では、ハプティック信号は、アクチュエータのようなハプティック出力装置の対象となる駆動周波数にリサンプリングされる。対象となる駆動周波数の一例は、８ｋＨｚである。フローは、２１１１へ進む。

【0073】

２１１１では、ハプティック信号は、リアルタイムでハプティック出力装置へ送信され、ハプティック信号は、ハプティック出力装置に一又はそれ以上のハプティック効果を出力させる。そして、フローは終了する。

【0074】

図２２は、本発明の別の実施形態に係る、ＬＦＥオーディオ信号をハプティック信号へ変換するためのフロー図である。フローは、開始し、２２０１へ進む。２２０１では、ソースオーディオ信号は、受信される。ソースオーディオ信号は、複数のオーディオ信号を含み、オーディオ信号は、複数のトラック又はチャネル内に含まれうる。複数のオーディオ信号の少なくとも１つは、ＬＦＥオーディオ信号であることができ、ＬＦＥオーディオ信号は、ソースオーディオ信号のＬＦＥトラック又はＬＦＥチャネル内に含まれる。フローは、開始し、２２０３へ進む。

【0075】

２２０３では、ソースオーディオ信号は、複数のオーディオ信号にデコードされ、複数のオーディオ信号は、ＬＦＥオーディオ信号を含む。フローは、２２０５へ進む。

【0076】

２２０５では、ＬＦＥオーディオ信号は、ソースオーディオ信号から抽出される。ＬＦＥオーディオ信号がソースオーディオ信号内にエンコードされる特定の実施形態では、抽出されたＬＦＥオーディオ信号もまた、デコードされる。フローは、２２０７へ進む。

【0077】

２２０７では、ＬＦＥオーディオ信号は、ハプティック信号へ変換される。特定の実施形態では、ＬＦＥオーディオ信号は、図２０と共に前述したように、ＬＦＥオーディオ信号をピッチシフトすることによりハプティック信号に変換されうる。別の実施形態では、ＬＦＥオーディオ信号は、図２０と共に前述したように、ＬＦＥオーディオ信号を周波数シフトすることによりハプティック信号に変換されうる。フローは、２２０９へ進む。

【0078】

２２０９では、ハプティック信号は、アクチュエータのようなハプティック出力装置の対象となる駆動周波数にリサンプリングされる。対象となる駆動周波数の一例は、８ｋＨｚである。フローは、２２１１へ進む。

【0079】

２２１１では、ハプティック信号は、リアルタイムでハプティック出力装置へ送信され、ハプティック信号は、ハプティック出力装置に一又はそれ以上のハプティック効果を出力させる。そして、フローは終了する。

【0080】

図２３は、本発明の実施形態に係る低周波数効果信号内のハプティック信号をエンコードするためのフロー図である。オーディオ信号のハプティック信号をエンコードすることは、有益となりうる。なぜなら、２つの異なる出力の内容は、単一波形又は他のタイプの信号に記録され、記憶され、送信されうる。ＬＦＥオーディオ信号の場合には、限定された周波数範囲（例えば、２０Ｈｚ−１２０Ｈｚ）のオーディオ信号は、記憶され、同一の周波数範囲により、スピーカのようなオーディオ出力装置の背後で再生される。よって、実施形態によれば、ハプティック信号は、ＬＦＥオーディオ信号内に含まれるオーディオデータと干渉せずに、高周波数範囲（例えば、２００Ｈｚ以上）のようなＬＦＥオーディオ信号の帯域制限された周波数範囲内でエンコードされうる。ハプティック信号に基づいて生成されるハプティック効果の設計は、１Ｈｚ−２００Ｈｚのような通常の周波数範囲で行われるが、ＬＦＥオーディオ信号のハプティック信号をエンコードするときに、ハプティック信号は、帯域制限された周波数範囲にシフトされうるため、ＬＦＥオーディオ信号のオーディオデータと干渉せずに記憶されることができる。このエンコーディングの１つの利点は、ハプティック信号が、ＬＦＥオーディオ信号から直接導かれる、又はハプティック効果開発者によって生み出されることができ、ハプティック信号が、同一のＬＦＥオーディオ信号にエンコードされうることである。

【0081】

フローは、開始し、２３０１へ進む。２３０１では、オーディオ信号は、オーディオデータを含んで生成される。オーディオ信号は、ＬＦＥオーディオ信号も含む。ＬＦＥオーディオ信号は、２０Ｈｚ−１２０Ｈｚのような限定された周波数範囲内の一又はそれ以上周波数を有するオーディオデータを含みうる。フローは、２３０３へ進む。

【0082】

２３０３では、ハプティック信号は、ハプティックデータを含んで生成される。ハプティックデータは、１Ｈｚ−２００Ｈｚのような通常の周波数範囲内の一又はそれ以上周波数を含みうる。フローは、２３０５へ進む。

【0083】

２３０５では、ハプティック信号は、オーディオ信号のＬＦＥオーディオ信号内にエンコードされる。特定の実施形態では、ハプティック信号は、ＬＦＥオーディオ信号の対象となる周波数範囲内でエンコードされうる。ＬＦＥオーディオ信号の対象となる周波数範囲は、高周波数範囲（例えば、２００Ｈｚ以上）のような帯域制限された周波数範囲でありうる。これらの実施形態では、ハプティック信号の一又はそれ以上周波数は、ＬＦＥオーディオ信号の帯域制限された周波数範囲内でエンコードされる前に、通常の周波数範囲内の一又はそれ以上の周波数から帯域制限された周波数範囲内の一又はそれ以上の周波数へシフトされることができる。ハプティック信号が、フローは、２３０７へ進む。

【0084】

２３０７では、オーディオ信号は、コンテナ又はストリーミングデータフォーマット内に記憶される、又は送信される。そして、フローは、終了する。

【0085】

図２４は、本発明の実施形態に係る低周波数効果信号からハプティック信号をデコードするためのフロー図である。前述したように、ハプティック信号に基づいて生成されるハプティック効果の設計は、通常の周波数範囲で行われるが、ＬＦＥオーディオ信号のハプティック信号をエンコードするときに、ハプティック信号は、帯域制限された周波数範囲にシフトされうるため、ＬＦＥオーディオ信号のオーディオデータと干渉せずに記憶されることができる。デコードの際に、フィルタリング技術は、オーディオ信号からＬＦＥオーディオ信号を抽出し、さらにＬＦＥオーディオ信号からハプティック信号を抽出するために用いることができる。フィルタリング技術は、さらに、帯域制限された周波数範囲から通常の周波数範囲へハプティック信号を周波数シフトするために用いることができる。

【0086】

フローは、開始し、２４０１へ進む。２４０１では、デコードを行うデバイスがハプティックサポートを有するかどうか（つまり、デバイスがハプティック効果を出力することができるかどうか）を判定する。デバイスがハプティックサポートを有さない場合には、フローは、２４０３へ進む。デバイスがハプティックサポートを有する場合には、フローは、２４０５へ進む。

【0087】

２４０３では、ＬＦＥオーディオ信号を含むオーディオ信号は、オーディオ出力装置でプレイされる。特定の実施形態では、オーディオ信号は、オーディオ出力装置へ送信され、オーディオ信号は、オーディオ出力装置に一又はそれ以上のオーディオ効果を出力させる。そして、フローは、終了する。

【0088】

２４０５では、ハプティック信号は、オーディオ信号のＬＦＥオーディオ信号から抽出され、デコードされる。特定の実施形態では、ハプティックは、ＬＦＥオーディオ信号の対象となる周波数範囲から抽出される。ＬＦＥオーディオ信号の対象となる周波数範囲は、高周波数範囲（例えば、２００Ｈｚ以上）のような帯域制限された周波数範囲でありうる。これらの実施形態では、ハプティック信号の一又はそれ以上の周波数は、ハプティック信号がデコードされた後、帯域制限された周波数範囲内の一又はそれ以上周波数から１Ｈｚ−２００Ｈｚのような通常の周波数範囲へシフトされることができる。フローは、２４０７へ進む。

【0089】

２４０７では、ハプティック信号は、ハプティック出力装置で再生される。特定の実施形態では、ハプティック信号は、ハプティック出力装置へ送信され、ハプティック信号は、ハプティック出力装置に一又はそれ以上のハプティック効果を出力させる。フローは、２４０９へ進む。

【0090】

２４０９では、ＬＦＥオーディオ信号を含むオーディオ信号は、オーディオ出力装置で再生される。特定の実施形態では、オーディオ信号は、オーディオ出力装置へ送信され、オーディオ信号は、オーディオ出力装置に一又はそれ以上のオーディオ効果を出力させる。そして、フローは、終了する。

【0091】

図２５は、本発明の実施形態に係るＬＦＥオーディオ信号を複数のオーディオ信号へ変換するためのフロー図である。フローは、開始し、２５０１へ進む。２５０１では、ソースオーディオ信号は、受信される。ソースオーディオ信号は、複数のオーディオ信号を含み、オーディオ信号は、複数のトラック又はチャネル内に含まれうる。複数のオーディオ信号の少なくとも１つは、ＬＦＥオーディオ信号であることができ、ＬＦＥオーディオ信号は、ＬＦＥトラック又はＬＦＥチャネル内に含まれる。フローは、２５０３へ進む。

【0092】

２５０３では、ＬＦＥオーディオ信号は、ソースオーディオ信号から抽出される。ＬＦＥオーディオ信号がソースオーディオ信号内でエンコードされる特定の実施形態では、抽出されたＬＦＥオーディオ信号もデコードされる。フローは、２５０５へ進む。

【0093】

２５０５では、ＬＦＥオーディオ信号は、複数のハプティック信号に変換される。特定の実施形態では、ハプティック信号へのＬＦＥオーディオ信号の変換は、逐次的でありうる。別の実施形態では、ハプティック信号へのＬＦＥオーディオ信号の変換は、同時であってもよい。さらに、特定の実施形態では、ＬＦＥオーディオ信号は、ＬＦＥオーディオ信号をピッチシフトすることにより各ハプティック信号へ変換することができる。ＬＦＥオーディオ信号をピッチシフトすることにより、ＬＦＥオーディオ信号の元のピッチは、アクチュエータのようなハプティック出力装置の対象となるピッチ範囲内に対象となるピッチへシフトされることができる。複数のハプティック出力装置が存在し、各ハプティック出力装置は、明確な対象となるピッチ範囲を有することができる。よって、ＬＦＥオーディオ信号の各ピッチシフトは、ＬＦＥオーディオ信号の元のピッチを、各ハプティック出力装置の各明確な対象となるピッチ範囲内の対象となるピッチへシフトすることができる。別の実施形態では、ＬＦＥオーディオ信号は、ＬＦＥオーディオ信号を周波数シフトすることにより各ハプティック信号へ変換することができる。ＬＦＥオーディオ信号を周波数シフトすることにより、ＬＦＥオーディオ信号の一又はそれ以上の元の周波数は、アクチュエータのようなハプティック出力装置の対象となる周波数範囲内の一又はそれ以上の対象となる周波数にシフトされることができる。複数のハプティック出力装置が存在し、各ハプティック出力装置は、明確な対象となる周波数範囲を有することができる。よって、ＬＦＥオーディオ信号の各周波数シフトは、ＬＦＥオーディオ信号の一又はそれ以上の元の周波数を、各ハプティック出力装置の各明確な対象となる周波数範囲内の一又はそれ以上の対象となる周波数へシフトすることができる。フローは、２５０７へ進む。

【0094】

２５０７では、ハプティック信号は、リアルタイムでハプティック出力装置へ送信され、各ハプティック信号は、対応するオーディオ出力装置に一又はそれ以上のハプティック効果を出力させる。別の実施形態では、各ハプティック信号は、ハプティックデータエンコーディングをサポートするファイルのコンテナ又はストリーミングデータフォーマットにエンコードされる。特定の実施形態では、少なくとも１つのハプティック信号は、ＬＦＥオーディオ信号内でエンコードされる。各ハプティック信号は、続いて、コンテナから抽出され、デコードされ、対応するハプティック出力装置に送信され、ここで、各ハプティック信号は、対応するハプティック出力装置に一又はそれ以上のハプティック効果を出力させる。そして、フローは終了する。

【0095】

図２６Ａ−２６Ｄは、本発明の一実施形態に係る例示的なフォアグラウンド及びバックグラウンドハプティックアプリケーションの画面図である。一又はそれ以上のハプティック可能なソフトウェアアプリケーションは、ハプティックアクチュエータを有する装置で同時に動作し、バーチャルウィンドウ環境の上部のウィンドウは、下部にあるウィンドウの部分に重畳又は不透明になることが理解される。図２６Ａは、スクリーンの中央に位置するバーチャルダウンロードアプリケーションボタンを有する例示的なアプリケーションウィンドウの画面図を示す。図２６Ｂでは、ユーザは、ダウンロードアプリケーションボタンを選択し、図２６Ｃは、画面の中央にステータスバーを有する新たな画面を示す。ダウンロードの完了割合を示す。ステータスバーは、ステータスバーの直下に示される完了割合テキストに対応する左から右へ色が比例して変化する。これは、ステータスバーがハプティック化されるためであり、ハプティック効果信号は、生成され、ステータスバーのバーチャルディスプレイと同時にハプティックアクチュエータに出力される。一実施形態では、ハプティック効果信号は、ダウンロードの完了割合に対応する時間に亘って変化する。

【0096】

図２６Ｄは、テキスト入力ウィンドウの画面図を示す。アクティブウィンドウとしてユーザによって選択されたテキスト入力ウィンドウは、フォアグランドで動作し、バックグラウンドで同時に動作するダウンロードステータスバーを完全に不透明にする。ダウンロードアプリケーションウィンドウは、アクティブウィンドウではなく、ステータスバーは、バーチャルディスプレイで完全に不透明であるが、ステータスバーハプティック効果信号は、生成され、バックグラウンドハプティック効果としてハプティックアクチュエータへ出力されることが継続する。テキスト入力ウィンドウもハプティック化されるため、フォアグランドハプティック効果信号は、テキスト入力ウィンドウにタイプされた文字のバーチャルディスプレイと共に各タイプされた文字に対してハプティックアクチュエータへ生成され、出力される。一実施形態では、フォアグランド及びバックグラウンドハプティック効果信号は、それらが単一のハプティックアクチュエータを通じて同時に出力されたとしてもはっきりと知覚できるハプティック効果であるとしてユーザがフォアグランド及びバックグラウンドハプティック効果に気付くこのような手法で組み合わせ、変更、又は合成される。

【0097】

ハプティック効果の知覚は、３つの異なるレベルを有する。第１のレベルは、知覚の閾値であり、これは、ハプティック効果を検出するためにユーザに要求される最小作動ハプティック効果成分である。このようなハプティック成分は、ハプティック効果信号の強度、周波数、持続期間、リズム及びダイナミクスを含むが、これに限定されない。ハプティック知覚の閾値は、非常に非線形であり、ユーザ間で大きく変化し、ユーザの接触に対する感度、ユーザがどのくらいきつくハンドヘルドデバイスを保持しているか、環境温度、ユーザの年齢、又は歩行、乗り物への乗車等のようなユーザの身体活動又は環境のような多くの要因に応じて単一のユーザでさえ変化することが理解される。

【0098】

ハプティック効果知覚の第２のレベルは、アテンション ブレイク−イン（ａｔｔｅｎｔｉｏｎ ｂｒｅａｋ−ｉｎ）閾値であり、これは、主な集中からアテンション ブレイク−イン ハプティック効果自体へユーザの注意を引きつけることをもたらす、加えられるハプティック効果信号の最小の変化である。アテンション ブレイク−インの閾値は、ユーザ間で変化する、又は上述したような多くの要因に応じて単一のユーザについても変換し、アテンション ブレイク−インが、ポジティブな追加効果又はネガティブな減法効果又はハプティック効果の変化を含む様々なタイプのハプティック効果に関連する可動化に応じて変化してもよいことが理解される。ハプティック効果知覚の第３のレベルは、痛みの閾値であり、これもユーザ間で変化する、又は上述したような多くの要因に応じて単一のユーザでも変化する。いくつかの状況下で、知覚の閾値は、アテンション ブレイク−インの閾値と同一であってもよく、これは、痛みの閾値と同一であってもよい。

【0099】

本発明の実施形態は、幅広いハプティックアクチュエータと互換性があり、異なる強度のレベルを有するハプティック効果データの複数のチャネルを表しうる。一実施形態では、複数のチャネルは、１つのフォアグランドチャネル及び一又はそれ以上のバックグラウンドチャネルによって表される。バックグラウンドハプティック効果は、知覚の閾値と合致する又は知覚の閾値を超えるハプティック効果又はハプティック効果成分である。フォアグランドハプティック効果は、アテンション ブレイク−インの閾値と合致する又は知覚の閾値を超えるハプティック効果又はハプティック効果成分である。一実施形態では、フォアグランド又はバックグラウンドハプティック効果は、静的又は動的ハプティック効果又は効果成分のセットを定義してもよい。別の実施形態では、フォアグランド又はバックグラウンドハプティック効果は、ユーザ入力、システム入力、デバイスセンサ入力又は環境入力に応じて、静的又は動的ハプティック効果又は効果成分の適応的セットであってもよい。

【0100】

微弱なハプティック効果をより明確なハプティック効果と同時に提供することが可能なフォアグランド及びバックグラウンドチャネルのような複数のハプティックチャネルを用いて、ユーザが異なるハプティック効果を区別することを可能にし、それらを異なるソースから発生したものであると認識させる。一実施形態では、低インピーダンス又は高密度情報は、知覚可能であるが、主要なタスクを圧倒する又は逸らすものではなく、複数のチャネルは、ハプティック環境認識をさらに可能にする。例えば、暴風雨時の地域の天気をモニターするハプティック可能なハンドヘルドデバイス又はモバイルデバイスは、バックグラウンドハプティックチャネルを起動し、雨が強い又は弱いと増加又は減少する雨滴の感覚を提供する。

【0101】

一実施形態では、フォアグランド及びバックグラウンドチャネルは、ローカルデバイスから発生するフィードバック及び別のユーザから発生するフィードバックを区別するために用いられる。例えば、別のユーザから到来したメッセージ通知は、フォアグランドハプティック効果を起動する一方で、ローカルデバイスで時計がカチカチする状態は、バックグラウンドハプティック効果を起動する。

【0102】

一実施形態では、フォアグランド及びバックグラウンドチャネルは、ローカルデバイスから発生するフィードバックと主要なユーザから発生するフィードバックとを区別するために用いられる。例えば、ハプティック可能なキーボードをタイピングする主要なユーザによって発生されるフィードバックは、フォアグランドハプティック効果を起動する一方で、ローカルデバイスでのプログレスバーの状態は、バックグラウンドハプティック効果を起動する。

【0103】

一実施形態では、フォアグランド及びバックグラウンドチャネルは、バーチャルシミュレーション又はアニメーション内又は間のフィードバックを区別するために用いられる。例えば、バーチャルローリングボールのモーションは、フォアグランドハプティック効果を起動する一方で、ボールが転がるバーチャルテクスチャは、バックグラウンドハプティック効果を起動する。

【0104】

一実施形態では、バックグラウンドハプティック効果は、複数のバックグラウンド効果が同時に又は立て続けに受信されたとき、結果全体は、ハプティック効果の自然な又は段階的なものである。例えば、主要でないユーザから受信される単一のバックグラウンドテキストメッセージ“ツイート（ｔｗｅｅｔ）”通知は、主要なユーザによって容易に見逃し又は無視されるが、“ツイートストーム（ｔｗｅｅｔ ｓｔｏｒｍ）”を構成する数百又は数千のメッセージ通知が短時間に受信されたとき、複数のハプティック効果は、合計され、結果全体は、主要なユーザの注意をイベントへ向けるフォアグランドのハプティック体験である。

【0105】

一実施形態では、バックグラウンドハプティック効果は、注意を逸らさない又は商業的な広告の“洗練された”増強、又は任意の他のハプティックエンコードされたコンテンツを提供するために用いられる。例えば、炭酸入りソフトドリンクの広告は、ユーザが注意を払っていれば気付くが、そうでなければ容易に気付かないバックグラウンドハプティック“フィズ（ｆｉｚｚ）”効果を提供する。

【0106】

ユーザ、デバイス、システム、アプリケーション又はネットワーク入力のような任意のタイプの入力は、一又はそれ以上のフォアグランド又はバックグラウンドハプティックチャネルでのハプティックイベントの数によって表されてもよいことが理解される。例えば、マルチタスクアプリケーション、送られてくるメール、“ツイート”メール通知、受動的な通知、発信メッセージ、プログレスバー、ブルートゥース（登録商標）又はローカルデバイスペアリング、ネットワークアッド又はドロップコネクション、連続的なアンテナ信号レベル等を含むがこれらに限定されない。

【0107】

図２７Ａ−２７Ｂは、本発明の一実施形態に係るハプティックフィードバックの例示的な複数のデータチャネルのディスプレイグラフである。図２７Ａは、優先度ベースのハプティックイベントのための時間に亘るハプティック信号の知覚できる大きさのグラフと共に、通知アクティビティの対応するグラフを示す。時間Ｔ１において、中程度の優先通知Ｎ１及びＮ２に対応するハプティック信号２７０１の知覚できる大きさは、バックグラウンドチャネル２７０３で開始する。高い優先度の通知Ｎ３を受信すると、時間Ｔ２において、ハプティック信号２７０１は、時間Ｔ３で、ハプティック信号２７０１が、バックグラウンドチャネル２７０３からフォアグランドチャネル２７０５への閾値と交差するまで上昇し始める。ハプティック信号２７０１は、ピークレベル２７０７まで上昇を続け、さらなる通知がない場合、ハプティック信号２７０１は、減衰し、時間Ｔ４でフォアグランドチャネル２７０５からバックグラウンドチャネル２７０３への閾値と交差する。

【0108】

時間Ｔ５において、再び、高い優先度の通知を受信すると、ハプティック信号２７０１を、バックグラウンドチャネル２７０３からフォアグランドチャネル２７０５への閾値と交差する時間Ｔ６まで上昇させる。ハプティック信号２７０１は、ピークレベル２７０９まで増加し、さらなる通知がない場合には、ハプティック信号２７０１は、減衰し、時間Ｔ７でフォアグランドチャネル２７０５からバックグラウンドチャネル２７０３への閾値と交差する。高優先度の通知により中断される低優先度又は中程度の優先度の通知のストリームは、制限なしにバックグラウンドチャネル２７０３及びフォアグランドチャネル２７０５の間でシフトするハプティック信号２７０１をもたらすことが理解される。

【0109】

図２７Ｂは、優先度ベースのハプティックイベントのための時間に亘るハプティック信号の知覚できる大きさのグラフと共に、通知アクティビティの対応するグラフを示す。時間Ｔ８において、相対的にまれな通知Ｎ１からＮ３に対応するハプティック信号２７１１の知覚できる大きさは、バックグラウンドチャネル２７１３で開始する。より高い頻度の通知を受信すると、時間Ｔ９で、ハプティック信号２７１１は、ハプティック信号２７１１がバックグラウンドチャネル２７１３からフォアグランドチャネル２７１５への閾値と交差するまで上昇し始める。高い頻度の通知を受信し続けると、ハプティック信号２７１１は、ピークレベル２７１７まで上昇を続け、さらなる通知がない場合には、ハプティック信号２７１１は、減衰し、時間Ｔ１１でフォアグランドチャネル２７１５からバックグラウンドチャネル２７１３への閾値と交差する。高優先度の通知により中断される低優先度の通知のストリームは、制限なしにバックグラウンドチャネル２７１３及びフォアグランドチャネル２７１５の間でシフトするハプティック信号２７１１をもたらすことが理解される。一実施形態では、優先度ベースのハプティックイベント及び周波数ベースのハプティックイベントは、互いに分散される、又は任意の時間又は任意の順番で受信されてもよく、組み合わせたハプティック信号全体を生成するための任意の手法で用いられてもよい。

【0110】

図２８は、本発明の一実施形態に係る優先度ベースのハプティックイベントのためのハプティックフィードバックの複数のデータチャネルを表示するためのフロー図である。２８０１では、システムは、第１及び第２の優先度レベルを有する第１及び第２のハプティック効果信号の入力を受信する。制限なしに、フォアグランド又はバックグラウンド優先度レベル、又は任意の数の英数字又は他の連続的又は非連続的な優先度レベルのような任意のタイプ又は数の優先度レベルが用いられてもよいことが理解される。第１及び第２のハプティック効果信号は、重複しない時間周期で連続的に、又は重複又は同時の時間周期で並行して任意の順序又は時間シーケンスで受信されてもよい。２８０３では、システムは、第１の優先度レベルを第２の優先度レベルと比較する。２８０５において第１の優先度レベルが、第２の優先度レベルを下回る場合、２８０７では、インタラクションパラメータは、第２のハプティック信号を用いて生成される。任意のタイプの入力合成方法は、以下の表１に挙げられる例示的な合成の方法を含むが、これに限定されない一又はそれ以上のハプティック信号からインタラクションパラメータを生成するために用いられてもよいことが理解される。２８０９において第１の優先度レベルが第２の優先度レベルと等しい場合、２８１１では、インタラクションパラメータは、第２のハプティック信号を用いて生成される。２８１３では、第１の優先度レベルが第２の優先度レベルよりも高い場合、２８１５では、インタラクションパラメータは、第２のハプティック信号を用いて生成される。２８１７では、駆動信号は、インタラクションパラメータに基づいてハプティックアクチュエータに加えられる。

表１−合成の方法

追加合成−入力を合成し、一般的な方法で大きさを変化させる
減法合成−複雑な信号又は複数の信号入力をフィルタリング
周波数変調合成−１又はそれ以上のオペレータにより搬送波信号を変調
サンプリング−変更を前提とする入力ソースとして記録された入力を用いる
混合合成−結果としての“新たな”入力を達成するために人為的かつサンプリングされた入力を用いる
位相歪み−再生時にウェーブテーブルに記憶される波形の速度を変える
波形整形−変更された結果を生成するために信号を意図的に歪める
再合成−再生前にデジタルサンプリングされた入力を変更
粒状合成−いくつかの小さな入力セグメントを新たな入力に組み合わせる
線形予測コーディング−音声合成のために用いられるのと同様の技術
ダイレクトデジタル合成−生成された波形のコンピュータ変更
ウェーブシーケンシング−新たな入力を生成するためにいくつかの小さなセグメントの線形結合
ベクトル合成−任意の数の異なる入力ソースをフェードする技術
物理モデリング−バーチャルモーションの物理特性の数学的な式

【0111】

図２９は、本発明の一実施形態に係る優先度ベースのハプティックイベントのためのハプティックフィードバックの複数のデータチャネルを表示するためのフロー図である。２９０１では、システムは、ゼロでない時間周期に亘る一又はそれ以上のハプティック効果通知Ｎを受信する。２９０３では、システムは、少なくともハプティック効果通知の数Ｎ及びゼロでない時間周期Ｔを用いて算出された通知頻度比率Ｒを生成する。一実施形態では、通知頻度比率Ｒは、ＮをＴで割ることにより算出される。２９０５では、システムは、通知頻度比率Ｒをフォアグランドハプティック閾値Ｆと比較する。ハプティック閾値Ｆは、ユーザの接触に対する感度、ユーザがどのくらいきつくハンドヘルドデバイスを保持しているか、環境温度、ユーザの年齢、又は歩行、乗り物への乗車等のようなユーザの身体活動又は環境のような多くの要因に応じて単一のユーザでさえ変化する。通知頻度比率Ｒは、ハプティック閾値Ｆの広範囲の変化に対応して直接算出される、又は平滑化されてもよく、ハプティック閾値Ｆは、通知頻度比率Ｒの広範囲の変化に対応して算出される又は平滑化されてもよいことが理解される。

【0112】

２９０７では、通知頻度比率Ｒがフォアグランドハプティック閾値Ｆを下回る場合、２９０９では、インタラクションパラメータは、バックグラウンドハプティック信号を用いて生成される。２９１１において通知頻度比率Ｒがフォアグランドハプティック閾値Ｆ以上である場合、２９１３では、インタラクションパラメータは、フォアグランドハプティック信号を用いて生成される。２９１５では、駆動信号は、インタラクションパラメータに基づいてハプティックアクチュエータに加えられる。

【0113】

図３０は、本発明の別の実施形態に係るＬＦＥオーディオ信号をハプティック信号へ変換するためのフロー図である。フローは、開始し、３００１へ進む。３００３では、ＬＦＥオーディオ信号は、受信される。フローは、３００３へ進む。

【0114】

３００３では、ＬＦＥオーディオ信号は、ハプティック信号へ変換される。特定の実施形態では、ＬＦＥオーディオ信号は、変換され、変換されたＬＦＥオーディオ信号は、ハプティック信号として用いられうる。フローは、３００５へ進む。

【0115】

３００５では、（ａ）ハプティック信号は、ハプティック出力装置に送信され、ハプティック信号は、ハプティック出力装置に一又はそれ以上のハプティック効果を出力させる、又は（ｂ） ハプティック信号は、ハプティックデータエンコーディングをサポートするファイルのコンテナ又はストリーミングデータフォーマットでエンコードされる。ハプティック信号がエンコードされる特定の実施形態では、ハプティック信号は、ＬＦＥオーディオ信号内でエンコードされる。さらに、ハプティック信号がエンコードされる特定の実施形態では、ハプティック信号は、順次コンテナから抽出され、デコードされ、ハプティック出力装置へ送信され、ハプティック信号は、ハプティック出力装置に一又はそれ以上のハプティック効果を出力させる。そして、フローは、終了する。

【0116】

よって、一実施形態では、システムは、ソースオーディオ信号からＬＦＥオーディオ信号を抽出し、ＬＦＥオーディオ信号をハプティック信号へ変換することができる。ハプティック信号は、アクチュエータのようなハプティック出力装置へ送信されることができ、ここで、ハプティック信号は、ハプティック出力装置に一又はそれ以上のハプティック効果を出力させる。システムは、一又はそれ以上のハプティック効果の出力をソースオーディオ信号の出力と統合することができ、これは、オーディオコンテンツ及びハプティックコンテンツの両方を体験するユーザの視点から改善された体験をもたらすことができる。さらに、ソースオーディオ信号全体ではなく、ソースオーディオ信号の成分（つまり、ＬＦＥオーディオ信号）のみを変換することにより、システムは、ソースオーディオ信号全体を変換するシステムよりも計算の集中を少なくする。さらに、別の実施形態では、システムは、オーディオ信号のＬＦＥオーディオ信号内のハプティック信号をエンコードできる。ＬＦＥオーディオ信号を用いることは、ハプティック信号をエンコード、記憶、送信及びデコードするためのアーキテクチャ全体の複雑さを軽減することができる。オーディオ信号に加えられるのは、高周波数範囲のようなオーディオ信号のＬＦＥオーディオ信号の帯域制限された周波数範囲に加えられるハプティックデータのみである。しかし、オーディオ出力装置は、通常、高周波数範囲データのような帯域制限された周波数データを出力する性能を有していないため、追加データは、ＬＦＥオーディオデータに影響を与えない。したがって、このエンコーディングは、非ハプティック再生装置を有する後方互換である。エンコーディングの別の利点は、同一のオーディオ設計者が、同一信号のハプティック効果と共にＬＦＥオーディオ効果を設計できることである。したがって、信号は、連続的に分配され、再生される。

【0117】

本明細書を通して記載された本発明の特徴、構造、又は特性は、１つ以上の実施形態において任意の適切な方法において組み合わされてよい。例えば、「一実施形態」、「一部の実施形態」、「特定の実施形態」、「特定の実施形態（複数）」、又は他の類似の言語の使用は、本明細書を通じて、実施形態に関連して記載された特定の特徴、構造、又は特性が、本発明の少なくとも１つの実施形態に含まれ得るという事実に言及している。従って、「一実施形態」、「一部の実施形態」、「特定の実施形態」、「特定の実施形態（複数）」の言い回し、又は他の類似の言語の登場は、これら全てが、実施形態の同じ群のことを必ずしも言及しているのではなく、記載された特徴、構造、又は特性は、１つ以上の実施形態において任意の適切な方法において組み合わされてよい。

【0118】

当業者は、上述した発明が、異なる順序におけるステップを用いて実施されてよく、及び／又は、記載された構成とは異なる構成における要素を用いて実施されてよいことを容易に理解する。それゆえ、本発明はこれらの好ましい実施形態に基づいて記載されているけれども、特定の修正、変更、及び代替の構成が明白であり、他方で本発明の趣旨及び範囲内にあることは、当業者にとって明白である。本発明の境界を決定するために、それゆえ、添付の特許請求の範囲に参照がなされるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】