特許 6426404 動的にスケールされた値に基づく空間化されたハプティックフィードバック

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6426404

(24)【登録日】2018年11月2日

(45)【発行日】2018年11月21日

(54)【発明の名称】動的にスケールされた値に基づく空間化されたハプティックフィードバック

(51)【国際特許分類】

   G06F 3/01 20060101AFI20181112BHJP

【ＦＩ】

   G06F3/01 560

【請求項の数】18

【外国語出願】

【全頁数】25

(21)【出願番号】特願2014-173688(P2014-173688)

(22)【出願日】2014年8月28日

(65)【公開番号】特開2015-53045(P2015-53045A)

(43)【公開日】2015年3月19日

【審査請求日】2017年6月6日

(31)【優先権主張番号】61/874,678

(32)【優先日】2013年9月6日

(33)【優先権主張国】US

(31)【優先権主張番号】14/467,184

(32)【優先日】2014年8月25日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】500390995

【氏名又は名称】イマージョン コーポレーション

【氏名又は名称原語表記】ＩＭＭＥＲＳＩＯＮ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100116872

【弁理士】

【氏名又は名称】藤田 和子

(72)【発明者】

【氏名】バティア サトヴィル シン

【審査官】 星野 裕

(56)【参考文献】

【文献】 特表２００９−５３３７１４（ＪＰ，Ａ）

【文献】 特開２０００−２４５０００（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

プロセッサによって実行される時に、前記プロセッサがメディア・コンテンツに基づいてハプティックフィードバックを提供するステップをもたらす命令が格納されるコンピュータ可読媒体であって、前記提供するステップは、
前記メディア・コンテンツを処理して第１のコンポーネントおよび第２のコンポーネントを含む複数のコンポーネントにするステップと、
前記第１のコンポーネントに関連する第１の優先順位値および前記第２のコンポーネントに関連する第２の優先順位値を決定するステップと、
前記第１の優先順位値を前記第２の優先順位値と比較し、前記比較に基づいて前記第１の優先順位値と前記第２の優先順位値との間の差を決定するステップと、
比較に基づいて第１の制御信号および第２の制御信号を生成するステップであって、前記第１の制御信号および前記第２の制御信号は、決定された前記差に基づいて生成されるステップと、を備え、
前記第１の制御信号は、第１のハプティックフィードバックが出力されるように構成され、前記第２の制御信号は、前記第１のハプティックフィードバックと同一または異なる第２のハプティックフィードバックが出力されるように構成され、
前記提供するステップは、
前記差が閾値を超えていることを判定するステップと、
前記第１のコンポーネントの特性の第１の値に基づいて第１の基準ハプティックフィードバックを決定するステップと、
前記差が前記閾値を超えているという判定に基づいて、前記第１のハプティックフィードバックが前記第１の基準ハプティックフィードバックのスケールされたバージョンであるように、前記第１の基準ハプティックフィードバックを前記第１のハプティックフィードバックにスケールするステップであって、前記第１の制御信号は、前記第１のハプティックフィードバックが出力されるように生成される、ステップとを更に備える、コンピュータ可読媒体。

【請求項2】

前記提供するステップは、
前記第１の制御信号を第１のハプティック出力デバイスに提供するステップであって、前記第１の制御信号は、前記第１のハプティック出力デバイスに前記第１のハプティックフィードバックを出力させる、ステップと、
前記第２の制御信号を第２のハプティック出力デバイスに提供するステップであって、前記第２の制御信号は前記第２のハプティック出力デバイスに前記第２のハプティックフィードバックを出力させる、ステップと、
を更に備える請求項１に記載のコンピュータ可読媒体。

【請求項3】

前記提供するステップは、
前記差が閾値を超えていないことを判定するステップと、
前記第１のコンポーネントの特性の値に基づいて前記第１のハプティックフィードバックを決定するステップであって、前記第１の制御信号は、前記第１のハプティックフィードバックが出力されるように生成される、ステップと、を更に備える請求項１に記載のコンピュータ可読媒体。

【請求項4】

前記第１の基準ハプティックフィードバックを前記第１のハプティックフィードバックにスケールするステップは、前記第１の基準ハプティックフィードバックの数、マグニチュード、周波数または持続時間の中の少なくとも１つを変更するステップを更に備える、
請求項１に記載のコンピュータ可読媒体。

【請求項5】

前記提供するステップは、
前記第２のコンポーネントの特性の第２の値に基づいて第２の基準ハプティックフィードバックを決定するステップであって、前記第２のコンポーネントの前記特性は、前記第１のコンポーネントの前記特性と同一である、ステップと、
前記差が前記閾値を超えているという判定に基づいて、前記第２のハプティックフィードバックが前記第２の基準ハプティックフィードバックのスケールされたバージョンであるように、前記第２の基準ハプティックフィードバックを前記第２のハプティックフィードバックにスケールするステップであって、前記第２の制御信号は前記第２のハプティックフィードバックが出力されることがもたらされるように生成される、ステップと、
を更に備える請求項１に記載のコンピュータ可読媒体。

【請求項6】

前記第１のハプティックフィードバックのレベルが前記第１の基準ハプティックフィードバックに対して相対的に増加し、且つ前記第２のハプティックフィードバックのレベルが前記第２の基準ハプティックフィードバックに対して相対的に減少するように、前記第１の基準ハプティックフィードバックは、前記第１のハプティックフィードバックにまでスケール・アップされ、前記第２の基準ハプティックフィードバックは、前記第２のハプティックフィードバックにまでスケール・ダウンされる、
請求項５に記載のコンピュータ可読媒体。

【請求項7】

前記メディア・コンテンツは、オーディオ・コンテンツを備え、前記第１のコンポーネントは、前記オーディオ・コンテンツの第１のオーディオ・チャネルを備え、前記第２のコンポーネントは、前記オーディオ・コンテンツの第２のオーディオ・チャネルを備える、
請求項１に記載のコンピュータ可読媒体。

【請求項8】

前記提供するステップは、
前記第１のオーディオ・チャネルの第１のオーディオ特性を決定するステップであって、前記第１の優先順位値は、前記第１のオーディオ特性に基づく、ステップを更に備える請求項７に記載のコンピュータ可読媒体。

【請求項9】

前記提供するステップは、
前記第１の制御信号を第１のハプティック出力デバイスに提供するステップであって、前記第１の制御信号は、前記第１のハプティック出力デバイスに前記第１のハプティックフィードバックを出力させる、ステップと、
前記第１のオーディオ・チャネルを、前記第１のオーディオ・チャネルに関連する第１のオーディオが出力されるようにする第１のオーディオ出力デバイスに提供するステップと、
前記第２の制御信号を第２のハプティック出力デバイスに提供するステップであって、前記第２の制御信号は、前記第２のハプティック出力デバイスに前記第２のハプティックフィードバックを出力させる、ステップと、
前記第２のオーディオ・チャネルを、前記第２のオーディオ・チャネルに関連する第２のオーディオが出力されるようにする第２のオーディオ出力デバイスに提供するステップと、
を更に備える請求項１に記載のコンピュータ可読媒体。

【請求項10】

前記第１の制御信号および前記第１のオーディオ・チャネルは、前記第１のハプティックフィードバックおよび前記第１のオーディオが同期して出力されるように提供される、
請求項９に記載のコンピュータ可読媒体。

【請求項11】

前記メディア・コンテンツは、画像コンテンツを備え、前記第１のコンポーネントは、前記画像コンテンツの第１の画像領域を備え、前記第２のコンポーネントは、前記画像コンテンツの第２の画像領域を備える、
請求項１に記載のコンピュータ可読媒体。

【請求項12】

前記提供するステップは、
前記第１の画像領域の第１の画像特性を決定するステップであって、前記第１の優先順位値は、前記第１の画像特性に基づく、ステップを更に備える請求項１１に記載のコンピュータ可読媒体。

【請求項13】

メディア・コンテンツに基づいてハプティックフィードバックを提供するコンピュータ実装方法であって、
前記メディア・コンテンツを処理して第１のコンポーネントおよび第２のコンポーネントを含む複数のコンポーネントにするステップと、
前記第１のコンポーネントに関連する第１の優先順位値および前記第２のコンポーネントに関連する第２の優先順位値を決定するステップと、
前記第１の優先順位値を前記第２の優先順位値と比較し、前記比較に基づいて前記第１の優先順位値と前記第２の優先順位値との間の差を決定するステップと、
比較に基づいて第１の制御信号および第２の制御信号を生成するステップであって、前記第１の制御信号および前記第２の制御信号は、決定された前記差に基づいて生成されるステップと、を備え、
前記第１の制御信号は、第１のハプティックフィードバックが出力されるように構成され、前記第２の制御信号は、前記第１のハプティックフィードバックと同一または異なる第２のハプティックフィードバックが出力されるように構成され、
前記コンピュータ実装方法は、更に、
前記差が閾値を超えていることを判定するステップと、
前記第１のコンポーネントの特性の第１の値に基づいて第１の基準ハプティックフィードバックを決定するステップと、
前記差が前記閾値を超えているという判定に基づいて、前記第１のハプティックフィードバックが前記第１の基準ハプティックフィードバックのスケールされたバージョンであるように、前記第１の基準ハプティックフィードバックを前記第１のハプティックフィードバックにスケールするステップであって、前記第１の制御信号は、前記第１のハプティックフィードバックが出力されるように生成される、ステップとを更に備えるコンピュータ実装方法。

【請求項14】

前記第１の制御信号を第１のハプティック出力デバイスに提供するステップであって、前記第１の制御信号は、前記第１のハプティック出力デバイスに前記第１のハプティックフィードバックを出力させる、ステップと、
前記第２の制御信号を第２のハプティック出力デバイスに提供するステップであって、前記第２の制御信号は、前記第２のハプティック出力デバイスに前記第２のハプティックフィードバックを出力させる、ステップと、
を更に備える請求項１３に記載のコンピュータ実装方法。

【請求項15】

比較に基づいて前記第１の優先順位値と前記第２の優先順位値との間の差を決定するステップであって、前記第１の制御信号および前記第２の制御信号は決定された前記差に基づいて生成される、ステップ
を更に備える請求項１３に記載のコンピュータ実装方法。

【請求項16】

メディア・コンテンツに基づいてハプティックフィードバックを提供するシステムであって、
ハプティック空間化モジュールを格納するように構成されているメモリと、
前記メモリに格納されている前記ハプティック空間化モジュールを実行するように構成されているプロセッサとを備え、
前記プロセッサは、前記ハプティック空間化モジュールを実行する時に、前記メディア・コンテンツを処理して第１のコンポーネントおよび第２のコンポーネントを備える複数のコンポーネントにするように構成され、
前記プロセッサは、前記ハプティック空間化モジュールを実行する時に、前記第１のコンポーネントに関連する第１の優先順位値および前記第２のコンポーネントに関連する第２の優先順位値を決定するように更に構成され、
前記プロセッサは、前記ハプティック空間化モジュールを実行する時に、前記第１の優先順位値を前記第２の優先順位値と比較し、前記比較に基づいて前記第１の優先順位値と前記第２の優先順位値との間の差を決定するように、更に構成され、
前記プロセッサは、前記第１の制御信号および前記第２の制御信号を、決定された前記差に基づいて生成するように、更に構成され、
前記プロセッサは、前記ハプティック空間化モジュールを実行する時に、比較に基づいて第１の制御信号および第２の制御信号を生成するように更に構成され、
前記第１の制御信号は、第１のハプティックフィードバックが出力されるように構成され、前記第２の制御信号は、前記第１のハプティックフィードバックと同一または異なる第２のハプティックフィードバックが出力されるように構成され、
前記差が閾値を超えていることを判定するように更に構成され、
前記第１のコンポーネントの特性の第１の値に基づいて第１の基準ハプティックフィードバックを決定するように更に構成され、
前記差が前記閾値を超えているという判定に基づいて、前記第１のハプティックフィードバックが前記第１の基準ハプティックフィードバックのスケールされたバージョンであるように、前記第１の基準ハプティックフィードバックを前記第１のハプティックフィードバックにスケールするように更に構成され、前記第１の制御信号は、前記第１のハプティックフィードバックが出力されるように生成されるように更に構成されるシステム。

【請求項17】

前記プロセッサは、前記ハプティック空間化モジュールを実行する時に、前記第１の制御信号を第１のハプティック出力デバイスに提供するように更に構成され、前記第１の制御信号は前記第１のハプティック出力デバイスに前記第１のハプティックフィードバックを出力させ、
前記プロセッサは、前記ハプティック空間化モジュールを実行する時に、前記第２の制御信号を第２のハプティック出力デバイスに提供するように更に構成され、前記第２の制御信号は、前記第２のハプティック出力デバイスに前記第２のハプティックフィードバックを出力させる、
請求項１６に記載のシステム。

【請求項18】

前記プロセッサは、前記ハプティック空間化モジュールを実行する時に、比較に基づいて前記第１の優先順位値と前記第２の優先順位値との間の差を決定するように更に構成され、前記第１の制御信号および前記第２の制御信号は、前記決定された差に基づいて生成される、
請求項１６に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０１３年９月６日に出願された米国特許仮出願第６１／８７４，６７８号の優先権を主張する（その開示は参照により本明細書に組み込まれる）。

【0002】

一実施形態では、概してデバイスを対象とし、より具体的にはハプティック効果を生じさせるデバイスを対象とする。

【背景技術】

【0003】

電子機器メーカはユーザのために豊富なインタフェースを作るように努力している。従来のデバイスは、ユーザにフィードバックを提供するために視覚および聴覚の刺激を使用する。幾つかのインタフェース・デバイスでは、より一般的には、「ハプティックフィードバック」または「ハプティック効果」と総称される、運動感覚フィードバック（例えば、アクティブおよび抵抗力フィードバック等）および／または触知フィードバック（例えば、振動、手触り、熱等）もまたユーザに提供されている。ハプティックフィードバックはユーザ・インタフェースを向上させ、且つ簡素化する刺激を提供することができる。具体的には、振動効果、すなわち振動触知のハプティック効果は、特定のイベントをユーザに警告する、またはシミュレートされた環境または仮想環境内でより大きな感覚の没入感を作るように現実感のあるフィードバックを提供するために、電子機器のユーザに刺激を提供することに有益であり得る。

【発明の概要】

【発明が解決しようとする課題】

【0004】

メディア・コンテンツのメディア・コンポーネントに基づいて、動的にハプティックフィードバックを提供することは、ユーザに強力で且つ没入感のある体験を提供できる。しかしながら、幾つかの例では、異なるメディア・コンポーネントは異なるが十分に類似しているメディア特性を有する可能性があるため、メディア・コンポーネントに基づいて動的に生成されるハプティックフィードバックが区別し難い可能性がある。例えば、ステレオのオーディオの実装では、「右」のオーディオ・チャネルに対応し、「右」のハプティックフィードバック出力デバイスを介して提供されるハプティックフィードバックは、右および左のオーディオ・チャネルが十分類似している場合、「左」のオーディオ・チャネルに対応し、「左」のハプティックフィードバック出力デバイスを介して提供されるハプティックフィードバックと区別できない可能性がある。前述の例では、ユーザは右および左のチャネルに対応するハプティックフィードバックの違いを知覚しない可能性がある。

【課題を解決するための手段】

【0005】

一実施形態はメディア・コンテンツに基づいてハプティックフィードバックを提供するシステムである。システムはメディア・コンテンツを処理し第１のコンポーネントおよび第２のコンポーネントを含むコンポーネントにする。システムは更に、第１のコンポーネントに関連する第１の優先順位値および第２のコンポーネントに関連する第２の優先順位値を決定する。システムは更に、第１の優先順位値を第２の優先順位値と比較する。システムは更に、その比較に基づいて第１の制御信号および第２の制御信号を生成し、第１の制御信号は第１のハプティックフィードバックを出力させるように構成され、第２の制御信号は、第１のハプティックフィードバックと同じまたは異なる第２のハプティックフィードバックを出力させるように構成される。

【図面の簡単な説明】

【0006】

【図1】本発明の一実施形態に係る、メディア・コンテンツのメディア・コンポーネントの動的にスケールされた優先順位値に基づいて、ハプティックフィードバックを提供するシステムを示す。

【図2】本発明の一実施形態に係る、メディア・コンテンツのメディア・コンポーネントの動的にスケールされた優先順位値に基づいて、ハプティックフィードバックを提供するシステムにおいて、コンポーネントの間のデータの流れを示すフロー図である。

【図3A】本発明の一実施形態に係る、統合されたハプティックおよびオーディオ出力デバイスを有する、オーディオ・チャネルを優先順位付けする演算デバイスの一例を示す。

【図3B】本発明の一実施形態に係る、統合されたハプティックおよび画像出力デバイスを有する、画像コンポーネントを優先順位付けする演算デバイスの一例を示す。

【図4】本発明の一実施形態に係る、遠隔のハプティックおよびオーディオ出力デバイスを有する、オーディオ・チャネルを優先順位付けする演算デバイスの一例を示す。

【図5A】本発明の一実施形態に係る、優先順位値のスケーリングを示すグラフの一例である。

【図5B】本発明の一実施形態に係る、優先順位値のスケーリングを示すグラフの一例である。

【図5C】本発明の一実施形態に係る、優先順位値のスケーリングを示すグラフの一例である。

【図5D】本発明の一実施形態に係る、優先順位値のスケーリングを示すグラフの一例である。

【図6】本発明の一実施形態に係る、メディア・コンテンツのメディア・コンポーネントの動的にスケールされた優先順位値に基づいて、ハプティックフィードバックを提供する処理の１例を示す。

【図7】本発明の一実施形態に係る、優先順位値のスケーリングの一例を示す。

【図8】本発明の一実施形態に係る、優先順位値のスケーリングの一例を示す。

【図9】本発明の一実施形態に係る、メディア・コンテンツの入力コンポーネントに基づいて、ハプティックフィードバックを提供する処理の一例を示す。

【発明を実施するための形態】

【0007】

更なる実施形態、詳細、利点、および改変は、添付の図面と併せて解釈されるべきである、好ましい実施形態の以下の詳細な説明から明らかになるであろう。

【0008】

一実施形態は、メディア・コンテンツの、例えばオーディオ・チャネル、画像の領域または他のメディア・コンポーネント等のメディア・コンポーネントの動的にスケールされた値に基づいて、空間的に異なるハプティックフィードバックを提供するシステムである。システムはメディア・コンポーネントを分析し、その分析に基づいてハプティックフィードバックを自動的に生成する。システムは、スピーカ、画像表示装置または他のメディア出力デバイスを介してのメディア・コンポーネントの出力と連係して、ハプティック出力デバイスを介してのハプティックフィードバックを提供することができる。従って、所与のメディア・コンポーネントを、システムによって動的に決定され得るその対応するハプティックフィードバックと共に出力してもよい。

【0009】

特定のメディア・コンポーネントに基づく特定のハプティックフィードバックを、他のメディア・コンポーネントに基づく他のハプティックフィードバックより強調するために、システムは、メディア・コンポーネントの分析に基づいてハプティックフィードバックの１部分または複数の部分をスケールすることができる。例えば、システムは、ハプティックフィードバックを生成させる情報をスケールして、特定のハプティックフィードバックをより顕著に（例えば、振幅および期間等を拡大）させ、および／または他のハプティックフィードバックをより顕著でなく（例えば、振幅および期間等を縮小）させる。システムは、画像、オーディオおよび／または他の出力コンポーネントが再生されるときに、オリジナルのメディア・コンポーネントが変更されていないように、情報をスケールすることができる。言い換えれば、メディア・コンテンツから自動的に生成される特定のハプティックフィードバックは他のハプティックフィードバックより顕著またはより隠微になるが、オリジナルのメディア・コンテンツは変更されないで再生することができる（ただし、幾つかの実装形態では、メディア・コンテンツはハプティックフィードバックと別におよび／または一緒にスケールされることもできる）。従って、ハプティックフィードバックが互いに類似するメディア・コンポーネントに基づく場合でさえ、システムは、ユーザが区別できる動的なハプティックフィードバックを助長する。

【0010】

このように、システムは、異なるメディア・コンポーネントに関連して提供される異なるハプティックフィードバック間の区別をする能力を向上させることができ、且つより豊かな、より没入型のメディア体験を提供できる。そのような改良は、オーディオ、画像（例えば、ビデオまたは静止画像等）、ビデオゲームおよび／または他のメディア・コンテンツに適用可能である。

【0011】

一実施形態において、システムは、メディア・コンポーネントに優先順位を付け、その優先順位に基づいて、ハプティック出力デバイスにハプティックフィードバックを提供させる制御信号を生成することができる。幾つかの実装形態では、例えば、システムは、メディア・コンポーネントを処理し、異なるメディア・コンポーネントにして、各メディア・コンポーネントを分析し、ハプティックフィードバックを動的に決定するために使われる対応する優先順位値を自動的に決定することができる。分析は所与のメディア・コンポーネントの１つまたは複数のメディア特性に基づいてもよい。メディア特性は、例えば、定量化できる、または、そうでなければ分析のために査定できる、オーディオ・コンテンツの（他のオーディオ特性の中から）音の大きさ、画像コンテンツの（他の画像特性の中から）色および／またはメディア・コンテンツの他の特性を含むことができる。

【0012】

システムは、メディア・コンポーネントの優先順位値の各々を、少なくとも１つの他のメディア・コンポーネントの優先順位値（または、例えば平均値等の集計値）と比較することができる。優先順位値間の差が閾値を超える場合、優先順位値はスケール・アップまたはスケール・ダウンされることができる。従って、幾つかの優先順位値はスケール・アップされ、別の幾つかはスケール・ダウンされ、他の幾つかは全くスケールされない可能性がある。このようにして、メディア・コンポーネントに対する優先順位値に基づいて生成されるハプティックフィードバックは、スケーリングによってより区別可能になる可能性がある。幾つかの実装形態では、システムは、差が閾値に達しているかどうかに関係なく、スケーリングのレベルが優先順位値間の差に基づくように、優先順位値をスケールすることができる。「優先順位値をスケールすること」または同様の言葉は、メディア・コンテンツに基づいてスケールされるハプティックフィードバックを生成する目的のために、実際のメディア・コンポーネント値（例えば、オーディオ・レベル）をスケールすること、および／または実際のメディア・コンポーネント値に基づいて新しい値を生成することを含むことができることを理解すべきである。

【0013】

例えば、左チャネルおよび右チャネルを有するオーディオ・コンテンツに係るステレオの実施形態において、期待の（ｅｘｃｅｐｔｅｄ）ハプティックフィードバックが右ハプティック出力デバイスで再生され、左ハプティック出力デバイスでは再生されないことになっている場合、システムは、右チャネルに関連するオーディオ・コンテンツの一部をスケール・アップし、左チャネルに関連するオーディオ・コンテンツの一部をスケール・ダウンすることができる。システムは、更に、右チャネルに関連するオーディオ・コンテンツのスケールされた部分に基づいてハプティック効果を生成し、ハプティック効果を右ハプティック出力デバイスで出力させることができる。同様に、システムは、更に、左チャネルに関連するオーディオ・コンテンツのスケールされた部分に基づいてハプティック効果を生成し、ハプティック効果を左ハプティック出力デバイスで出力させることができる。従って、動的なスケーリングに基づいて、右ハプティック出力デバイスで出力されるハプティック効果は、より「顕著である」または「補強される」ことができ、一方、左ハプティック出力デバイスで出力されるハプティック効果は、より「減退される」ことができる。

【0014】

図１は、本発明の実施形態に係る、メディア・コンテンツ１２２のメディア・コンポーネントの動的にスケールされた値に基づいてハプティックフィードバックを提供するシステム１００を示す。システム１００は、メディア・ソース１２０、演算デバイス１４０、ハプティック出力デバイス１６２、画像出力デバイス１６４、オーディオ出力デバイス１６６および／または他のコンポーネントを含むことができる。上述のコンポーネントが単一である例のみが図１に示されているが、そのようなコンポーネントが複数含まれてもよい。メディア・コンテンツ１２２は、オーディオ・コンテンツ、画像コンテンツ（例えば、ビデオ、静止画像、ビデオゲームの視覚表現等）および／または他のコンテンツを含むことができる。オーディオ・コンテンツの例は、５．１マルチ・チャネル・オーディオ、６．１マルチ・チャネル・オーディオ、７．１マルチ・チャネル・オーディオ、１１．１マルチ・チャネル・オーディオ等を含むことができる。メディア・コンテンツ１２２は、ビデオ、オーディオ、ビデオゲーム表現および／または再生可能または別の方法で出力可能な他のメディアとして構成されることができる。

【0015】

幾つかの実施形態では、メディア・ソース１２０は、例えばオンライン・ビデオ・プロバイダまたはゲーム・サーバ等のオンライン・メディア・プロバイダ、例えばディスク・プレーヤまたはビデオゲーム・コンソール等のメディア・プレーヤ、別の演算デバイスおよび／またはメディア１２２を演算デバイス１４０に提供できる他のデバイスを含むことができる。

【0016】

幾つかの実施形態では、演算デバイス１４０は、１つまたは複数の一時的でないストレージ・メディア１４４に格納され得る、１つまたは複数のコンピュータ・プログラム・モジュールでプログラムされる１つまたは複数のプロセッサ１４２を含むことができる。演算デバイス１４０は、メディア・コンテンツ１２２のメディア・コンポーネントに優先順位を付け、その優先順位に基づいてハプティックフィードバックをスケールするように、１つまたは複数のモジュールによってプログラムされることができる。モジュールは、メディア処理モジュール１４６、優先順位化モジュール１４８、スケーリング・モジュール１５０、ハプティックフィードバック・モジュール１５２、メディア出力モジュール１５４、連係モジュール１５６および／または他のモジュールを含むことができる。代替の実施形態では、演算デバイス１４０は、メディア・コンテンツ１２２のメディア・コンポーネントに優先順位を付け、その優先順位に基づいてハプティックフィードバックをスケールするように、例えばハプティック空間化モジュール（図１には示されていない）等の単一のモジュールによってプログラムされてもよい。

【0017】

幾つかの実施形態では、メディア処理モジュール１４６は、メディア・ソース１２０、コンピュータ可読メディア１３２、一時的でないストレージ・メディア１４４（例えば、メディア・コンテンツ１２２が演算デバイス１４０にローカルに格納されている場合）、および／またはメディア・コンテンツ１２２の他のソースからメディア・コンテンツ１２２を取得するように構成することができる。例えば、メディア・コンテンツ１２２は、ストリーミングされてもよいし、ダウンロードされてもよいし、コピーされてもよいし、ローカルに格納されてもよいし、ローカルに（例えば、図１に示されていないメディア・キャプチャ・デバイスを介して）生成されてもよいし、またはメディア処理モジュール１４６によって別の方法で取得されてもよい。

【0018】

メディア・コンテンツ１２２が何れかの方法で取得されても、メディア処理モジュール１４６は、メディア・コンテンツ１２２をメモリ内にバッファリングし、メディア・コンテンツ１２２を処理し、例えばオーディオ・コンテンツに対してのオーディオ・チャネルおよび画像コンテンツに対しての画像領域等の１つまたは複数のメディア・コンポーネントにするように構成することができる。

【0019】

例えば、メディア・コンテンツ１２２は、ステレオ（すなわち、２チャネル）またはサラウンド（すなわちマルチチャネル）サウンド・フォーマットで符号化されているオーディオ・コンテンツを含むことができる。これらの例では、メディア処理モジュール１４６は、異なるオーディオ・チャネルを例えばスピーカ等の個別のオーディオ出力デバイスに供給するために使われる従来のステレオ／マルチ・チャネル・オーディオ復号方式を使用して、メディア・コンテンツ１２２（例えば、そのオーディオ部分）を別々のオーディオ・チャネルに復号することができる。

【0020】

メディア・コンテンツ１２２は、追加的にまたは代替的に、（例えば、別々の表示スクリーン向けの）複数のストリームおよび／または画像の別々の領域に分割することができる単一のストリームを含む画像コンテンツを含むことができる。これらの例では、メディア処理モジュール１４６は、例えば画像を複数の領域に分割する画像分割等の従来の画像処理方式を使用して、メディア・コンテンツ１２２（例えば、その画像部分）を処理することができる。各領域は、画素のクラスタに基づいてグループ化する、または他の従来の画像処理方式を使用してグループ化することができる。

【0021】

幾つかの実施形態では、優先順位化モジュール１４８は、個別のメディア・コンポーネントを分析し、その分析に基づいて各メディア・コンポーネントに対して優先順位値を決定することができる。分析はリアルタイムに実行され、各メディア・コンポーネントがメディア出力デバイスによって出力されつつある時にメディア・コンポーネントの優先順位値が決定されてもよい。その代わりに、分析が実行され、分析の結果が後の処理のために格納されてもよい。

【0022】

メディア・コンテンツ１２２がオーディオ・コンテンツを含む実施形態では、優先順位化モジュール１４８は、オーディオ・コンテンツをサンプリングしてオーディオ・チャネルのオーディオ特性を決定することができる。オーディオ特性はオーディオのマグニチュードおよび／またはオーディオ・チャネルの他の特性を含むことができる。

【0023】

幾つかの実施形態では、優先順位化モジュール１４８は、オーディオ・コンテンツを特定のフレーム・レートでサンプリングすることができる。オーディオ・コンテンツの各フレームは、フレームの特性が分析され、オーディオ・フレームのオーディオ特性が決定されるように、処理されることができる。オーディオ・コンテンツの各サンプリングされた部分（例えば、１つまたは複数のフレーム）に対して、優先順位化モジュール１４８は、オーディオ・コンテンツの所与のフレームまたは他の部分に対してオーディオ特性を決定することができる。オーディオ・コンテンツの処理は、２０１２年２月３日に出願され、「振幅値を使用する音のハプティック効果への変換システム（Ｓｏｕｎｄ ｔｏ Ｈａｐｔｉｃ Ｅｆｆｅｃｔ Ｃｏｎｖｅｒｓｉｏｎ Ｓｙｓｔｅｍ ｕｓｉｎｇ Ａｍｐｌｉｔｕｄｅ Ｖａｌｕｅ）」と題する共同所有の米国特許出願第１３／３６５，９８４号（その全体が本明細書に参照として援用される）および２０１２年２月３日に出願され、「波形を使用する音のハプティック効果への変換システム（Ｓｏｕｎｄ ｔｏ Ｈａｐｔｉｃ Ｅｆｆｅｃｔ Ｃｏｎｖｅｒｓｉｏｎ Ｓｙｓｔｅｍ ｕｓｉｎｇ Ｗａｖｅｆｏｒｍ）」と題する米国特許出願第１３／３６６，０１０号（その全体が本明細書に参照として援用される）に開示されているシステムを使用して実装することができる。

【0024】

幾つかの実施形態では、優先順位化モジュール１４８は、オーディオ特性に基づいて優先順位値を決定することができる。例えば、優先順位値はオーディオ特性の値に等しくてもよいし、またはその値から他の方法で導出してもよい。オーディオの実施形態における優先順位値の差は、システムが空間的に異なるハプティックフィードバックを提供する基礎として使用することができる、異なるオーディオ・チャネルの音の異なるレベル、タイプ、期間等を表すことができる。

【0025】

メディア・コンテンツ１２２が画像コンテンツを含む実施形態では、優先順位化モジュール１４８は、画像（例えば、静止画像またはビデオ画像のフレーム）の所与の分割された領域に対する色相彩度値（ＨＳＶ）色ヒストグラムまたは他の画像処理値を決定することができ、且つＨＳＶ色ヒストグラムが画像領域ごとに異なるかどうかを判定することができる。別々のビデオ・ストリームが使用される場合、優先順位化モジュール１４８は、各ストリームに対して、画像処理に基づいて得られるＨＳＶ値または他の値を決定することができる。

【0026】

システムが空間的に異なるハプティックフィードバックを提供する基礎として使用することができるＨＳＶ色ヒストグラムが、領域ごとにまたは画像ストリームごとに異なるときに、異なる対象物またはシーンの違いの存在が示されている可能性がある。他の画像の変形は空間的に異なるハプティックフィードバックを提供する基礎として使用することもできる。

【0027】

幾つかの実施形態では、優先順位化モジュール１４８は、各フレームに関連するタイムスタンプを生成または、そうでなければ、取得することができ、タイムスタンプに関連してサンプリングされたメディア特性を格納することができる。この方法で、メディア特性は、メディア・コンテンツ１２２のハプティックフィードバックおよび出力の連係のためにタイムスタンプに関連して格納することができる。

【0028】

幾つかの実施形態では、スケーリング・モジュール１５０は、メディア・コンポーネントの各々に対して決定される優先順位値を比較し、その比較に基づいてそのような値がスケールされるべきかどうかを判定するように構成することができる。比較は種々の方式に基づいて実行されてもよい。

【0029】

幾つかの実施形態では、例えば、スケーリング・モジュール１５０は、優先順位値の各々のペアワイズ比較を実行し、所与の一対の優先順位値の間の差がスケーリングを実行すべきである所定の閾値を超えるかどうかを判定することができる。上述の例は（例えばステレオ・オーディオの実施形態等の）２つのメディア・コンポーネントが分析される場合に有益であるが、そのような比較は、他の個数のメディア・コンポーネントが分析されるときにも適応可能である。本明細書に記載の上述および別の閾値は、個別のベンダ／事業体が閾値を調整できるように設定可能とすることもできる。

【0030】

幾つかの実施形態では、スケーリング・モジュール１５０は、２つ以上のメディア・コンポーネントに対する優先順位値の平均値を決定でき、所与の優先順位値と平均値の間の差が所定の閾値（上述の閾値と同じでも異なってもよい）を超えているかどうかを判定できる。これらの実施形態の幾つかでは、スケーリング・モジュール１５０は、標準偏差を決定し、種々の統計的手法を実行し、優先順位値が、スケーリングを実行すべきである閾値の分散を超えて変わるかどうかを判定することができる。上述の例は（例えばサラウンド・オーディオの実施形態等の）複数のメディア・コンポーネントが分析される場合に有益であるが、そのような比較は、他の個数のメディア・コンポーネントが分析されるときにも適応可能である。

【0031】

幾つかの実施形態では、優先順位値の比較の方法にかかわらず、スケーリング・モジュール１５０は、１つまたは複数の優先順位値をスケールすることができる。例えば、スケーリング・モジュール１５０は、オリジナルの優先順位値より高いまたは低い、スケールされた値を生成することができる。一対の優先順位値の中の優先順位値間の差が所定の閾値を超える場合、スケーリング・モジュール１５０は、２つの優先順位値の高い方をスケール・アップし、且つ／または２つの優先順位値の低い方をスケール・ダウンすることができる。同様に、所与の優先順位値と複数の優先順位値の平均値との差が所定の優先順位値を超える場合、スケーリング・モジュール１５０は、所与の優先順位値が平均値より高い場合所与の優先順位値をスケール・アップし、且つ所与の優先順位値が平均値より低い場合所与の優先順位値をスケール・ダウンすることができる。幾つかの実施形態では、スケーリング・モジュール１５０は、スケールされていない優先順位値に基づいて提供するために基準のハプティックフィードバックを決定することができる。これらの実施形態では、スケーリング・モジュール１５０は、ハプティックフィードバックの特性（例えば、マグニチュード、周波数、持続時間等）間の差を決定し、互いに対してハプティックフィードバック特性をスケールすることができる。

【0032】

いずれのスケーリングの実施形態が実行されても、スケーリング・モジュール１５０は、各々が所与のメディア・コンポーネントごとに決定される２つ以上の優先順位値の間の差を大きくすることができる。これは、対応する優先順位値の第１のハプティックフィードバックを、第２の空間位置に設けられる第２のハプティックフィードバックより個別により知覚可能である第１の空間位置に提供することを可能にする。

【0033】

一方、差が所定の閾値を超えない場合、スケーリング・モジュール１５０は優先順位値をスケールしなくてよい。メディア・コンポーネントの差が必ずしも知覚的に異なる必要がない場合（例えば、大音量の爆発が異なるオーディオ・チャネルに亘って発生している時）が、その実例であることができる。

【0034】

幾つかの実施形態では、ハプティックフィードバック・モジュール１５２は、スケールされた優先順位値（スケールされている優先順位値に対して）および／またはスケールされていない優先順位値（スケールされていない優先順位値に対して）に基づいて制御信号を生成するように構成することができる。例えば、ハプティックフィードバック・モジュール１５２は、第１の優先順位値（スケールされていてもいなくてもよい）に基づいて第１の制御信号を生成し、第２の優先順位値（スケールされていてもいなくてもよい）に基づいて第２の制御信号を生成するように構成することができる。別の制御信号が、他のメディア・コンポーネントに対応する他の優先順位値に対して生成されてもよい。第１の制御信号は、第１のハプティック出力デバイスに第１のハプティックフィードバックを提供させるように構成することができる。同様に、第２の制御信号は、第２のハプティック出力デバイスに第２のハプティックフィードバックを提供させるように構成することができる。

【0035】

制御信号に関して本明細書で使用される場合、用語「第１の制御信号」および「第２の制御信号」（および制御信号を個別に識別する同様の用語）は、異なるハプティック出力デバイスは異なるハプティックフィードバックを提供させることができることを伝えることを意図している。幾つかの実施形態では、例えば、「第１の制御信号」および「第２の制御信号」は、第１および第２のハプティック出力デバイスに別個に提供され、各々は、それぞれの制御信号に基づいてハプティックフィードバックを提供させることができる。幾つかの実施形態では、「第１の制御信号」および「第２の制御信号」は、適切なアドレス指定機構を付けて第１および第２のハプティック出力デバイスの両方に一緒に提供され、第１および第２のハプティック出力デバイスは、アドレス指定機構を復号し、どちらのハプティックフィードバックを出力すべきかを決定することができる。

【0036】

幾つかの実施形態では、優先順位値（ｐｒｉｏｒｉｔｉｚｅｄ ｖａｌｕｅｓ）は、非一時的ストレージ・メディア１４４等のメモリに格納さているルックアップテーブルの中に提供される、対応するハプティックフィードバックに関連付けて格納することができ、且つ／あるいは、優先順位値に基づいて動的に決定することができる。例えば、優先順位値は、より高い優先順位値がより大きいハプティックフィードバックをもたらすように、ハプティックフィードバックの特性（例えば、マグニチュード）を決定するように使用されることができる。

【0037】

幾つかの実施形態では、メディア出力モジュール１５４は、メディア・コンテンツ１２２を出力するように構成することができる。メディア出力モジュール１５４は、メディア１２２を、従来のメディア・フォーマットを使用して、例えば、画像出力デバイス１６４、オーディオ出力デバイス１６６、および／または他のメディア出力デバイスへ提供することができる。

【0038】

幾つかの実施形態では、連係モジュール１５６は、メディア出力および制御信号出力を、それぞれ、メディア出力デバイス（例えば、画像出力デバイス１６４およびオーディオ出力デバイス１６６）およびハプティック出力デバイス１６２に連係させるように構成することができる。幾つかの実施形態では、連係モジュール１５６は、メディア・コンテンツ１２２に組み込まれている同期符号に従って、および／または、ビデオ出力、オーディオ出力およびハプティックフィードバックの各々を出力する時間を一般的に設定するタイムスタンプを介して、画像出力、制御信号（例えば、制御信号によって引き起こされるハプティックフィードバック）およびオーディオ出力を同期することができる。

【0039】

理解されるように、メディア・コンテンツ１２２は、オーディオ・コンテンツおよびビデオ・コンテンツの両方を含むことができる。演算デバイス１４０は、空間的に異なるハプティックフィードバックを提供するために、本明細書に記載されているように、メディア・コンテンツ１２２のオーディオ、ビデオおよび／または他のメディアを処理することができる。

【0040】

幾つかの実施形態では、ハプティック出力デバイス１６２は、例えば、偏心質量がモータによって移動される偏心回転質量（ＥＲＭ）等の電磁気アクチュエータ、ばねに取り付けられた質量が前後に駆動される線形共振アクチュエータ、圧電、電気活性ポリマまたは形状記憶合金等の「スマート材料」、マクロ複合体ファイバー・アクチュエータ、静電アクチュエータ、電気触知アクチュエータおよび／または、ハプティック（例えば、振動触知）フィードバック等の物理的なフィードバックを提供する別のタイプのアクチュエータ等のアクチュエータを含むことができる。ハプティック出力デバイス１６２は、静電摩擦（ＥＳＦ）または超音波表面摩擦（ＵＳＦ）を使用するもの、超音波ハプティック変換器で音響放射圧を誘発するもの、ハプティック基板および柔軟なまたは変形可能な表面を使用するもの、または空気噴射を使用して空気の一吹き等の放出ハプティック出力を提供するもの、等の非機械的または非振動デバイスを含むことができる。

【0041】

幾つかの実施形態では、画像出力デバイス１６４は、タッチスクリーン表示装置、モニターおよび／または、ビデオ、静止画像、ゲーム表現等の画像コンテンツを表示することができる他の表示装置を含むことができる。幾つかの実施形態では、オーディオ出力デバイス１６６は、スピーカ、ヘッドフォンまたはオーディオを発することができる他のデバイスを含むことができる。幾つかの実施形態では、画像出力デバイス１６４、ハプティック出力デバイス１６２および／またはオーディオ出力デバイス１６６は演算デバイス１４０に統合されてもよい。幾つかの実施形態では、画像出力デバイス１６４、ハプティック出力デバイス１６２および／またはオーディオ出力デバイス１６６は演算デバイス１４０とは別に収容されてもよい。

【0042】

幾つかの実施形態では、メディア・ソース１２０は、演算デバイス１４０に関連して説明したモジュールでプログラミングされていてもよい。従って、演算デバイス１４０に関して上述した少なくとも幾つかのまたは全ての機能は、メディア・ソース１２０において実行することができる。

【0043】

一時的でないストレージ・メディア１４４は、演算デバイス１４０に統合的に（すなわち、実質的に取り出し不可能に）設けられているシステム・ストレージおよび／または、例えば、ポート（例えば、ユニバーサル・シリアル・バス（ＵＳＢ）、ファイヤワイヤ・ポート等）またはドライブ（例えば、ディスク・ドライブ等）を介して演算デバイス１４０に取り出し可能で接続可能である取り出し可能なストレージの一方または両方を含むことができる。一時的でないストレージ・メディア１４４は、光学的に読み取り可能なストレージ・メディア（例えば、光ディスク等）、磁気的に読み取り可能なストレージ・メディア（例えば、磁気テープ、磁気ハード・ドライブ、フロッピー（登録商標）・ドライブ等）、電荷に基づくストレージ・メディア（例えば、電子的に消去可能なプログラム可能な読み出し専用メモリ（ＥＥＰＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）等）、ソリッドステート・ストレージ・メディア（例えば、フラッシュ・ドライブ等）および／または、他の電子的に読み取り可能なストレージ・メディア、の１つまたは複数を含むことができる。一時的でないストレージ・メディア１４４は、１つまたは複数の仮想ストレージ・リソース（例えば、クラウド・ストレージ、仮想プライベート・ネットワークおよび／または、他の仮想ストレージ・リソース）を含むことができる。非一時的ストレージ・メディア１４４は、ソフトウェア・アルゴリズム、プロセッサ（群）１４２によって決定された情報、演算デバイス１４０から受信した情報および／または、演算デバイス１４０が本明細書に記載したように機能することを可能にする他の情報を格納することができる。

【0044】

プロセッサ１４２は、演算デバイス１４０において情報処理能力を提供するように構成されている。そのようなものとして、プロセッサ１４２は、デジタル・プロセッサ、アナログ・プロセッサ、情報を処理するために設計されているデジタル回路、情報を処理するために設計されているアナログ回路、ステート・マシーンおよび／または情報を電子的に処理する他の機構の中の１つまたは複数を含むことができる。プロセッサ１４２は、単一の実体として図１に示されているが、これは例示の目的のみのためである。幾つかの実施形態では、プロセッサ１４２は複数の処理ユニットを含むことができる。これらの処理ユニットは同一のデバイス内に物理的に配置することができるし、あるいは、プロセッサ１４２は連係して動作する複数のデバイスの処理機能を表すことができる。プロセッサ１４２は、ソフトウェア、ハードウェア、ファームウェア、ソフトウェア、ハードウェアおよび／またはファームウェアの組み合わせ、および／またはプロセッサ１４２上で処理能力を構成するための他の機構によって、モジュールを実行するように構成することができる。

【0045】

本明細書に記載されている種々のモジュールは模範的なモジュールのみである。他の構成および他の個数のモジュールを使用することができ、１つまたは複数の物理的プロセッサが本明細書に記述されている機能を実行するようにプログラムされている限り、非モジュール式の手法を使用することができる。種々のモジュールが単一の処理ユニット内に共に配置されているとして図１に示されているが、プロセッサ１４２が複数の処理ユニットを含む実施形態では、１つまたは複数のモジュールは他のモジュールから離れて配置されることができることが理解されるべきである。本明細書に記載の異なるモジュールによって提供される機能の説明は例示の目的のためであり、いずれのモジュールも記載されているものより、より多くのまたはより少ない機能を提供することができるので、限定を意図するものではない。例えば、１つまたは複数のモジュールを取り除くことができ、その機能の一部または全ては他のモジュールで提供することができる。別の例として、プロセッサ１４２は、本明細書において１つのモジュールに帰属する機能の一部または全部を実行できる１つまたは複数の追加のモジュールを実行するように構成することができる。

【0046】

図１に示される構成要素は、例えばネットワーク等の種々の通信リンクを介して互いに通信可能に結合されていてもよい。ネットワークは有線または無線接続を含むことができる。本発明の幾つかの態様では、ネットワークは、例えば、インターネット、イントラネット、パーソナル・エリア・ネットワーク（ＰＡＮ）、ローカル・エリア・ネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、ストレージ・エリア・ネットワーク（ＳＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、無線ネットワーク、セルラー通信ネットワーク、公衆交換電話網（ＰＳＴＮ）および／または他のネットワークのいずれか１つまたは複数を含むことができる。

【0047】

種々の入力、出力、構成および／または、格納されているまたは格納可能であるとして本明細書に記載の他の情報は、１つまたは複数のデータベース（図１に示されていない）に格納されてもよい。そのようなデータベースは、例えば、オラクル社が市販しているオラクル（登録商標）リレーショナル・データベースであってもよいし、それを含んでもよいし、またはそれに接続してもよい。Ｉｎｆｏｒｍｉｘ（登録商標）、Ｄａｔａｂａｓｅ２（ＤＢ２）あるいは、ファイル・ベースもしくはクエリ形式、プラットフォームまたは、オンライン分析処理（ＯＬＡＰ）、標準クエリ言語（ＳＱＬ）、ＳＡＮ、マイクロソフトのアクセス（登録商標）もしくはその他等のリソースを含む他のデータ・ストレージ等の他のデータベースも、使用することができ、組み込むこができ、またはアクセスすることができる。データベースは、１つまたは複数の物理的デバイスに存在し、１つまたは複数の物理的な場所に存在する１つまたは複数のそのようなデータベースを含むことができる。データベースは、複数のタイプのデータおよび／もしくはファイルと関連するデータもしくはファイルの記述、管理情報または他の任意のデータを格納することができる。

【0048】

図１には示されていないが、メディア・コンテンツ１２２は異なるセンサ情報を含むことができる。幾つかの実施形態では、異なるセンサ情報は画像の異なるオブジェクトに関連することができる。センサ情報の各々は、メディア処理モジュール１４６によって分離されて、他のメディア・コンポーネントに関して本明細書に記載したように、優先順位付られ且つスケールされることができる。このように、演算デバイス１４０は、メディア・コンテンツ１２２に含まれる種々のタイプの情報を優先順位付し、スケールし、それに動的ハプティックフィードバックを提供することができる。

【0049】

図２は、本発明の一実施形態に係る、メディア・コンテンツのメディア・コンポーネントの動的にスケールされた優先順位値に基づいて、ハプティックフィードバックを提供するシステム１００において、コンポーネントの間のデータの流れを示すフロー図２００である。種々のハプティック出力デバイス１６２（図２にハプティック出力デバイス１６２Ａ、１６２Ｂ…１６２Ｎとして示されている）は、対応するメディア出力デバイス２１０（図２にメディア出力デバイス２１０Ａ、２１０Ｂ…２１０Ｎとして示されている）と併置されるかまたはそうでなければ関連づけられる（図２に省略符号で示されている）ことができる。メディア出力デバイス２１０は、オーディオ出力デバイス、画像出力デバイスおよび／または他のメディア出力デバイスを含むことができる。ハプティック出力デバイス１６２は、メディア・コンテンツ１２２に基づいて動的に生成され、スケールされるハプティックフィードバックを出力するように構成することができる。ハプティックフィードバックは、ハプティック出力デバイス１６２を介してメディア・コンテンツ１２２の出力と連係して出力され、ユーザのメディア体験を豊かにすることができる。

【0050】

幾つかの実施形態では、メディア処理モジュール１４６は、メディア・コンテンツ１２２を取得し、そのメディア・コンテンツを処理し、複数（例えば、２つ以上）のメディア・コンポーネント（ＭＣ（Ａ）、ＭＣ（Ｂ）およびＭＣ（Ｎ）として図２に示されている）にすることができる。優先順位化モジュール１４８は、対応するメディア・コンポーネントに対して優先順位値（ＰＶ（Ａ）、ＰＶ（Ｂ）およびＰＶ（Ｎ）として図２に示されている）を決定することができる。スケーリング・モジュール１５０は、優先順位値を比較し、各優先順位値をスケールして、スケールされた優先順位値（ＳＶ（Ａ）、ＳＶ（Ｂ）およびＳＶ（Ｎ）として図２に示されている）を生成することができる。幾つかの実施形態では、スケーリング・モジュール１５０は、１つまたは複数の優先順位値にスケーリングを実行しない場合があり、その場合所与のスケールされた優先順位値は優先順位化モジュール１４８からのスケールされていない優先順位値に等しい。

【0051】

幾つかの実施形態では、スケーリング・モジュール１５０は、所与の優先順位値と別の値の間の差が閾値を超える場合にのみ、所与の優先順位値をスケール・アップまたはスケール・ダウンする。

【0052】

例えば、所与の優先順位値と別の優先順位値の間の差が所定の閾値を超える場合、スケーリング・モジュール１５０は、所与の優先順位値をスケール・アップまたはスケール・ダウンする、および／または、他の優先順位値をスケール・アップまたはスケール・ダウンすることができる。幾つかの実施形態では、所与の優先順位値はスケール・アップされ、他の優先順位値はスケール・ダウンされる。

【0053】

別の実施例では、所与の優先順位値と優先順位値の母集団の中の優先順位値の平均との差が所定の閾値を超える場合、スケーリング・モジュール１５０は、所与の値が平均より高いか低いかに応じて、所与の優先順位値をスケール・アップおよび／またはスケール・ダウンすることができる（例えば、所与の優先順位値が平均より高い場合にスケール・アップし、平均より低い場合にスケール・ダウンすることができる）。スケーリング・モジュール１５０は、他の基準に基づいても、スケーリングを実行することができる。

【0054】

更に別の実施例では、優先順位値の母集団の標準偏差が所定の閾値であるかまたはそれを超える場合、スケーリング・モジュール１５０は、優先順位値の母集団にスケーリングを実行するかどうかを判定し、その後本明細書に記載されているように個別にスケーリングを実行することができる。

【0055】

スケールされた優先順位値（スケールされていない優先順位値を含んでもよい）に基づいて、ハプティックフィードバック・モジュール１５２は、対応する制御信号（ＣＳ（Ａ）、ＣＳ（Ｂ）およびＣＳ（Ｎ）として図２に示されている）を生成することができる。制御信号の各々は、対応するハプティックフィードバック・デバイス１６２に、メディア出力デバイス２１０によって出力されるメディアに連係してハプティックフィードバックを出力させるように構成することができる。

【0056】

他の実施形態では、スケーリング・モジュール１５０は、差が所定の閾値を超えているかどうかを考慮せずにスケーリングを実行することができる。これらの実施形態では、スケーリング・モジュール１５０は、優先順位値の間にゼロでない差が存在する場合優先順位値をスケールすることができる。

【0057】

図３Ａは、本発明の一実施形態に係る、統合されたハプティック出力デバイス１６２（ハプティック出力デバイス１６２Ａ、１６２Ｂ、１６２Ｎとして図３Ａに示されている）とオーディオ出力デバイス１６６（オーディオ出力デバイス１６６Ａ、１６６Ｂ、１６６Ｎとして図３Ａに示されている）を有する、オーディオ・チャネルを優先順位付けする演算デバイス１４０Ａの一例を示す。２つのハプティックデバイス１６２（すなわち、１６２Ａおよび１６２Ｂ）および２つのオーディオ出力デバイス１６６（すなわち、１６６Ａおよび１６６Ｂ）を有するように示されているが、演算デバイス１４０Ａは追加の統合されたハプティックおよびオーディオ出力デバイス（すなわち、１６２Ｎおよび１６６Ｎ）を含むことができる。

【0058】

図示のように、演算デバイス１４０Ａは、ステレオのオーディオを出力し、対応するオーディオ・チャネルに関連するスケールされた（ｓｃａｌｉｎｇ）優先順位値に基づくハプティックフィードバックの出力を連係させるように使用することができる。例えば、演算デバイス１４０Ａは、「右」および「左」オーディオ・チャネルの分析に基づいて、「右」および「左」優先順位値を決定することができる。演算デバイス１４０Ａは、右および左のスピーカからの右および左のオーディオ・チャネルの出力と連動して、「右」および「左」ハプティックフィードバックを出力させることができる。右ハプティックフィードバックは右優先順位値に基づき、左ハプティックフィードバックは左優先順位値に基づくことができる。そうであるので、右および左優先順位値が互いに異なるが類似している場合、右および左ハプティックフィードバックは、特に演算デバイス１４０Ａがハンドヘルド・デバイスを含む実施形態では、区別するのが困難である可能性がある。右優先順位値および／または左優先順位値をスケールすることによって、演算デバイス１４０Ａは、互いに区別可能な右および左ハプティックフィードバックを生成することができ、それによって、動的に決定されたハプティックフィードバックを向上させることができる。

【0059】

演算デバイス１４０Ａは、左オーディオ出力デバイス１６６Ａおよび右オーディオ出力デバイス１６６Ｂを介して右左オーディオ・チャネルを出力することができ、そのような出力を、左ハプティック出力デバイス１６２Ａおよび右ハプティック出力デバイス１６２Ｂを介する左および右ハプティックフィードバックと連係させることができる。左ハプティックフィードバックおよび／または右ハプティックフィードバックは、左右のオーディオ・チャネルのスケールされた優先順位値に基づくので、ユーザは、たとえ左および右オーディオ・チャネルそれぞれが互いに類似のオーディオを含んでいても、左右のハプティックフィードバックを区別することができる。

【0060】

図３Ｂは、本発明の一態様に係る、統合されたハプティック出力デバイス１６２（ハプティック出力デバイス１６２Ａ、１６２Ｂ、１６２Ｃ、１６２Ｎとして図３Ｂに示されている）と画像出力デバイス１６４を有する、画像コンポーネントを優先順位付けする演算デバイス１４０Ｂの一例を示す。図示のように、画像出力デバイス１６４は、タッチスクリーン表示装置および／または画像コンテンツ（例えば、ビデオ、静止画像、ゲーム表現等）を出力できる他のタイプの表示装置を含むことができる。画像出力デバイス１６４は、表示領域３１０（表示領域３１０Ａ、３１０Ｂ、３１０Ｃ、３１０Ｎとして図３Ｂに示されている）に分けることができる。表示領域３１０は概念的（例えば、ソフトウェア・ベース）または実在的（例えば、個別のハードウェア表示装置を含む）であってもよい。

【0061】

表示領域３１０の各々は、画像コンテンツの対応する領域を表示し、対応するハプティック出力デバイス１６２（すなわち、ハプティック出力デバイス１６２Ａ、１６２Ｂ、１６２Ｃ、１６２Ｎの１つ）と関連付けられるように構成することができる。演算デバイス１４０Ｂは、従来の画像処理方式を使用して、画像コンテンツの各領域を処理し、対応する優先順位値を決定することができる。スケーリングおよび制御信号の生成は、本明細書に記載されているように実行され、区別可能なハプティックフィードバックをハプティック出力デバイス１６２に提供することができる。

【0062】

図４は、本発明の一実施形態に係る、リモートハプティック出力デバイス１６２（ハプティック出力デバイス１６２Ａ、１６２Ｂ、１６２Ｎとして図４に示されている）およびオーディオ出力デバイス１６６（オーディオ出力デバイス１６６Ａ、１６６Ｂ、１６６Ｎとして図４に示されている）を有する、オーディオ・チャネルを優先順位付けする演算デバイス１４０の一例を示す。図４は更に装置４１０を示す。装置４１０は、ソフトウェア由来のまたは実在の領域４１２（領域４１２Ａ、４１２Ｂ、４１２Ｎとして図４に示されている）に分けられてもよい。領域４１２の相対的な位置決めはオーディオ出力デバイス１６６の相対的な位置決めに対応してもよい。

【0063】

幾つかの実施形態では、装置４１０は、各々が対応するハプティック出力デバイス１６２（すなわち、ハプティック出力デバイス１６２Ａ、１６２Ｂ、１６２Ｎの１つ）を有する区別可能な領域を有する椅子として構成することができる。区別可能な領域の各々は、演算デバイス１４０が所与のオーディオ出力デバイス１６６におけるオーディオの出力を、所与のオーディオ出力デバイス１６６の位置に対応する椅子の位置における対応するハプティック出力デバイス１６２に出力されるハプティックフィードバックに連係させるように、オーディオ出力デバイス１６６（すなわち、オーディオ出力デバイス１６６Ａ、１６６Ｂ、１６６Ｎの１つ）に対応してもよい。例えば、「中央」のオーディオ出力デバイス１６６におけるオーディオ出力は、「中央」のハプティック出力デバイス１６２を介して提供されるハプティックフィードバックと連係されることができる。図４は更に装置４２０を示す。シャドウアウトラインで示されているが、装置４２０は装置４１０と同様の構成を有することができる。他の個数のハプティックおよびオーディオ出力デバイス１６６も使用することができる。

【0064】

図示されていないが、画像コンテンツは、異なる画像領域が優先順位付され且つスケールされて、対応するハプティック出力デバイス１６２を介してハプティックフィードバックを提供するように、装置４１０と追加的にまたは代替的に連係することができる。

【0065】

図５Ａ、５Ｂ、５Ｃおよび５Ｄ（すなわち図５Ａ〜Ｄ）を参照すると、図示のグラフは、所与の優先順位値と別の値（別の優先順位値、平均からの分散等）との間の差（「ＰＶ差」と示されている）に対するスケーリングのレベル（「スケーリング」と示されている）のグラフ上に関数５１０を示す。

【0066】

図５Ａは、本発明の一実施形態に係る、１つの優先順位値と別の優先順位値との差が増加するにつれて減少する優先順位値のスケーリングを示すグラフ５００Ａの例である。演算デバイス（例えば、演算デバイス１４０）は関数５１０Ａに基づいてスケーリングを実行することができる。幾つかの実施形態では、演算デバイスは、優先順位値の間の差が所定の閾値を超えているかどうかにかかわらず優先順位値をスケールすることができる。例えば、演算デバイスは、一度、ゼロでない差が判定されると優先順位値をスケールすることができ、その差が増加するに従ってスケーリングのレベルを減少させることができる。これらの実施形態では、差が増加すると、優先順位値は互いに十分に区別できるハプティックフィードバックを動的に生成させることができるので、スケーリングはもはや必要ではない可能性がある。

【0067】

図５Ｂは、本発明の一実施形態に係る、１つの優先順位値と別の優先順位値との差が増加するに従って増加する優先順位値のスケーリングを示すグラフ５００Ｂの例である。演算デバイス（例えば、演算デバイス１４０）は関数５１０Ｂに基づいてスケーリングを実行することができる。幾つかの実施形態では、演算デバイスは、優先順位値の間の差が所定の閾値を超えているかどうかにかかわらず優先順位値をスケールすることができる。例えば、演算デバイスは、一度非ゼロの差が判定されると優先順位値をスケールすることができ、その差が増加するに従ってスケーリングのレベルを増加させることができる。これらの実施形態では、差が増加すると、スケーリングも、動的に生成されるハプティックフィードバックを使用して、オーディオ、ビデオおよび／または他のメディア・コンテンツにおける差を更に拡大するために、増加してもよい。

【0068】

図５Ｃは、本発明の一実施形態に係る、閾値差５２０Ａが満たされた後にのみ、１つの優先順位値と別の優先順位値との差が増加するに従って減少する優先順位値のスケーリングを示すグラフ５００Ｃの例である。演算デバイス（例えば、演算デバイス１４０）は関数５１０Ｃに基づいてスケーリングを実行することができる。幾つかの実施形態では、演算デバイスは、優先順位値の間の差が所定の閾値５２０Ａを超えた後にのみ、優先順位値をスケールすることができ、その差が増加するに従ってスケーリングのレベルを減少させることができる。

【0069】

図５Ｄは、本発明の一実施形態に係る、閾値差５２０Ｂが満たされた後にのみ、１つの優先順位値と別の優先順位値との差が増加するに従って増加する優先順位値のスケーリングを示すグラフ５００Ｄの例である。演算デバイス（例えば、演算デバイス１４０）は関数５１０Ｄに基づいてスケーリングを実行することができる。幾つかの実施形態では、演算デバイスは、優先順位値の間の差が所定の閾値５２０Ｂを超えた後にのみ、優先順位値をスケールすることができ、その差が増加するに従ってスケーリングのレベルを増加させることができる。

【0070】

図５Ａ〜５Ｄに示されている関数は非線形であると示されているが、他の型および形状を使用してもよい。例えば、前述の関数の何れの少なくとも一部は、スケーリングの量が差に対して線形に増加するように、直線状であってもよい。更に、スケーリングの最大および／または最小レベルは、スケーリングが特定の必要性に応じて上限または下限を定められるように、関数の各々を制限することができる。閾値、関数、最大、最小等の各々は特定の必要性に合うように構成することができる。

【0071】

図６は、本発明の一実施形態に係る、メディア・コンテンツのメディア・コンポーネントの動的にスケールされた優先順位値に基づいて、ハプティックフィードバックを提供する処理６００の一例を示す。一実施形態では、図６のフロー図の機能、並びに、図７、８および９のフロー図の機能は、各々、メモリまたは他のコンピュータ可読のもしくは有形のメディアに格納されているソフトウェアによって実装され、プロセッサによって実行される。別の実施形態では、各機能は、ハードウェア（例えば、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル・ゲート・アレイ（ＰＧＡ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）等を使用して）によって、またはハードウェアおよびソフトウェアの任意の組み合わせによって実行することができる。

【0072】

図６、７、８および９のフローチャートに示されている機能は、本明細書でより詳細に説明する。記載されている機能は上記に詳細に記載されているシステム構成要素の一部または全部を使用して達成できる。本発明の一態様によれば、機能は異なる順序で実行してもよい。他の実施形態では、追加の機能は、図６、７、８および９に示されている機能の一部または全部と共に実行してもよいし、または幾つかの機能は省略してもよい。更に別の実施形態では、機能の一部または全部は同時に実行されてもよい。従って、例示の（および下記により詳細に説明する）機能は、本発明の実施形態に従って提供される機能の例であり、従って、限定するものとして見なされるべきではない。

【0073】

６０２では、メディア・コンテンツは処理されて複数のメディア・コンポーネントにされる。例えば、メディア・コンテンツはオーディオ・コンテンツ、画像コンテンツおよび／または他のタイプのコンテンツを含むことができる。（例えば）オーディオ・コンテンツは処理されて別々のオーディオ・チャネルにされ、画像コンテンツは処理されて画像の異なる領域および／またはビデオの異なるストリームにされることができる。

【0074】

６０４では、優先順位値はメディア・コンポーネントの各々に対して決定されることができる。優先順位値は、メディア・コンポーネントの種々の特性（例えば、オーディオに対してはオーディオ・レベル、画像に対しては輝度）に基づいて決定することができる。６０６では、決定された優先順位値は比較される。そのような比較は、ペアワイズ比較、所与の優先順位値とメディア・コンポーネントの優先順位値の平均との比較、および／または他の比較を含むことができる。

【0075】

６０８では、制御信号は、その比較に基づいて生成されることができる。６１０では、各制御信号は対応するハプティック出力デバイスに提供されることができ、ハプティック出力デバイスにおいて制御信号がハプティックフィードバックを出力させる。６１２では、メディア・コンテンツが、オーディオ出力デバイス、画像出力デバイスおよび／または他のメディア出力デバイスを含む可能性があるメディア出力デバイスに提供されることができる。

【0076】

図７は本発明の一実施形態に係る、優先順位値のスケーリングの一例を示す。幾つかの実施形態では、処理６００の６０８は、６０６の比較に基づいて以下の機能の少なくとも幾つかを含むことができる。

【0077】

７０２では、比較に基づいて差を決定することができる。７０４で、差が所定の閾値を超えている（閾値に等しいまたはそれより大きい）かどうかを判定することができる。差が所定の閾値を超えていない場合、制御信号は７０６でスケールしないで生成することができる。一方、差が所定の閾値を超えている場合、１つまたは複数の優先順位値が７０８でスケールされることができる。７１０では、制御信号はスケールされた優先順位値に基づいて生成されることができる。

【0078】

図８は、本発明の一実施形態に係る、優先順位値のスケーリングの一例を示す。幾つかの実施形態では、処理６００の６０８は、６０６の比較に基づいて以下の機能の少なくとも幾つかを含むことができる。８０２では、比較に基づいて差を決定することができる。８０４で、そのような差が所定の閾値を超えているかどうかにかかわらず、優先順位値はその差に基づいて決定することができる。８０６では、制御信号はスケールされた優先順位値に基づいて生成することができる。

【0079】

図９は、本発明の一実施形態に係る、メディア・コンテンツの入力コンポーネントに基づいて、ハプティックフィードバックを提供する処理の一例を示す。処理のフローは、入力メディア・コンテンツが処理されｎ個の入力コンポーネントにされるときに始まる。ここでｎは任意の数である。図９の例示の実施形態では、入力オーディオ・コンテンツは、サンプリングされて、ｎ個の入力オーディオ・ストリームまたはチャネルとなる。しかしながら、代替の実施形態では、入力画像コンテンツはサンプリングされて、ｎ個の入力ビデオ・ストリームまたはチャネルとなる。処理のフローは、その後９１０に進む。９１０では、ｎ個の入力コンポーネントの１つまたは複数の特性が分析される。特性の例は、マグニチュード、力出力、密度、テクスチャまたは他のタイプの特性を含むことができる。ｎ個の入力コンポーネントがｎ個の入力オーディオ・ストリームである例示的な実施形態では、低周波数帯域のような、各オーディオ入力ストリームの特定の周波数帯域を分析することができる。処理のフローは、その後９２０に進む。

【0080】

９２０では、各時間区分に対して、ｎ個の入力コンポーネントに対して決定されている優先順位値を比較することによって、ｎ個の入力コンポーネントの中のどれが最大の優先順位を有しているかが決定される。優先順位値は、各入力コンポーネントの１つまたは複数の分析された特性に基づいて、ｎ個の入力コンポーネントの中の各入力コンポーネントに対して決定されることができる。各入力コンポーネントの優先順位値を、少なくとも１つの他の入力コンポーネント（または、例えば平均等の集計値）の優先順位値と比較することができる。一実施形態では、適応型スケーリング（９３０に関連して以下に詳細に説明されている）が起きるために満たされる必要がある比較閾値（例えば、４０％または他の任意の割合）を定義することができる。例えば、複数の入力コンポーネントの優先順位値が比較され、互いの４０％未満であると判定される（すなわち、閾値を満たさない）場合、比較された入力コンポーネントは同一の優先順位を有すると見做され、スケーリングが比較された入力コンポーネントに対して実行されない。しかしながら、その入力コンポーネントの優先順位値が比較され、互いの４０％未満ではないと判定される（すなわち、閾値を満たす）場合、比較された入力コンポーネントは異なる優先順位を有すると見做され、スケーリングが比較された入力コンポーネントの中の１つまたは複数に対して実行される。代替の実施形態では、比較閾値ではなく絶対閾値を使用することができる。この代替の実施形態では、ｎ個の入力コンポーネントの優先順位値は絶対閾値と比較することができる。入力コンポーネントの優先順位値が閾値を満たす場合、スケーリングを入力コンポーネントに対して実行することができる。一方、入力コンポーネントが閾値を満たさない場合、スケーリングを入力コンポーネントに対して実行しない。処理のフローは、その後９３０に進む。

【0081】

９３０では、ｎ個の入力コンポーネントの１つまたは複数の入力コンポーネントは、９２０でのｎ個の入力コンポーネントの優先順位値の比較に基づいて、スケールされる。より高い優先順位を有すると判定される入力コンポーネントはスケール・アップされ、より低い優先順位を有すると判定される入力コンポーネントはスケール・ダウンされる、または両者の組み合わせである。一実施形態によれば、入力コンポーネントのスケーリングによって、入力コンポーネントの１つまたは複数の特性がスケールされることができる。代替の実施形態では、入力コンポーネントに基づいてハプティックフィードバックを生成するために使用される情報は、入力コンポーネントは変更されなく且つハプティックフィードバックはより強い（情報がスケール・アップされる場合）またはより弱い（情報がスケール・ダウンされる場合）のいずれかであるように、スケールすることができる。更に別の実施形態では、優先順位値がスケールされ、且つその優先順位値がハプティックフィードバックを生成するために使用されることができるが、そのハプティックフィードバックもまた入力コンポーネントに基づいている。１つまたは複数の入力コンポーネントをスケールすることによって、より高い優先順位を有すると判定される入力コンポーネントは、明瞭さを得ることができ、他の入力コンポーネントによって影が薄くなり難い。代替の実施形態では、入力コンポーネントをスケールするのではなく、入力コンポーネントを変更（例えば、周波数シフトまたはピッチ・シフト）するまたはフィルタにかけることができる。特定の実施形態では、入力コンポーネントはスケールされなく、９３０は省略される。処理のフローは、その後９４０に進む。

【0082】

９４０では、ｎ個の入力コンポーネントはメディア出力デバイスに出力される。特定の実施形態では、制御信号がｎ個の入力コンポーネントに基づいて生成され、その制御信号はハプティック出力デバイスに出力され、各制御信号はハプティック出力デバイスにおいてハプティックフィードバックを出力させる。ｎ個の入力コンポーネントがｎ個のオーディオ入力ストリームである例示の実施形態では、ｎ個のオーディオ入力ストリームはオーディオ出力デバイスに出力されることができる。特定の実施形態では、ｎより少ない数の入力コンポーネントがメディア出力デバイスに出力される。これらの実施形態では、より高い優先順位を有すると判定されている入力コンポーネントは出力され、残りの入力コンポーネントは廃棄することができる。更に、特定の実施形態では、ｎより少ない数の制御信号が生成され、これもまたｎより少ない数のハプティック出力デバイスに送信されることができる。その後処理のフローは、終了する。

【0083】

従って、一実施形態では、システムは、メディア・コンポーネントの動的にスケールされた値に基づいて空間的に異なるハプティックフィードバックを提供することができる。システムは、メディア・コンポーネントの分析に基づいてハプティックフィードバックの１つまたは複数の部分をスケールすることができる。この方法で、システムは、異なるメディア・コンポーネントに関連付けて提供される異なるハプティックフィードバックを区別する能力を向上させることができ、より豊かな、より没入型のメディア体験を提供できる。言い換えれば、システムは、ハプティックフィードバックの差を強調且つ誇張することによって、より空間化したハプティック体験を作り出すのに役立つことができる。例えば、マルチチャネルの体験では、システムは、１つのチャネルに関連付けられているハプティック効果を他のチャネルに関連付けられている他のハプティック効果から区別することができる。これは、ユーザに喜ばれるハプティック効果の空間化を作り出し、理想的なマルチチャネルの体験をもたらす。

【0084】

本明細書を通して記載されている本発明の特徴、構造または特性は、１つまたは複数の実施形態において任意の適切な方法で組み合わせることができる。例えば、本明細書を通して、「一実施形態」、「幾つかの実施形態」、「１つの特定の実施形態」、「特定の実施形態」または他の同様な用語の使用は、実施形態に関連して説明されている特定の特徴、構造または特性が本発明の少なくとも１つの実施形態に含まれることができるということを指す。従って、本明細書を通して、語句「一実施形態」、「幾つかの実施形態」、「１つの特定の実施形態」、「特定の実施形態」または他の同様な用語の出現は、必ずしも全てが同じグループの実施形態を指すとは限らなく、記載されている特徴、構造または特性は、１つまたは複数の実施形態で任意の適切な方法で組み合わせることができる。

【0085】

当業者は、上述の発明が手順を異なる順序で、および／または構成要素を開示されたものとは異なる構成で実施することができることを容易に理解できよう。従って、本発明はこれらの好ましい実施形態に基づいて説明されているが、特定の変更、変形および代替の構築が、本発明の精神および範囲内に留まりつつ、すぐに分かることが当業者には明らかであろう。従って、本発明の境界および範囲を決定するために添付の特許請求の範囲を参照すべきである。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5A】

【図5B】

【図5C】

【図5D】

【図6】

【図7】

【図8】

【図9】