特表 2024-544053 タイムラインに基づく触覚信号の表現

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-11-27

(54)【発明の名称】タイムラインに基づく触覚信号の表現

(51)【国際特許分類】

   G06F 3/01 20060101AFI20241120BHJP

【ＦＩ】

G06F3/01 560

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024532153

(86)(22)【出願日】2022-11-08

(85)【翻訳文提出日】2024-06-13

(86)【国際出願番号】 EP2022081123

(87)【国際公開番号】W WO2023099133

(87)【国際公開日】2023-06-08

(31)【優先権主張番号】21306693.9

(32)【優先日】2021-12-02

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】22305295.2

(32)【優先日】2022-03-15

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】518341334

【氏名又は名称】インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】ガルヴァン，クエンティン

(72)【発明者】

【氏名】ダニヨー，ファビアン

(72)【発明者】

【氏名】ギヨテル，フィリップ

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA80

5E555BA01

5E555BB01

5E555BC04

5E555DA24

5E555FA00

(57)【要約】

【解決手段】 触覚効果を表す情報を格納するデータ構造が、触覚効果のセット及びタイムラインを含む。触覚効果は、タイムライン内に直接定義されるか、又はタイムライン内の識別子によって参照されるかのいずれかの、柔軟な様式で定義され得る。ライブラリは、効果の定義を、関連付けられた識別子と共に格納し得る。ライブラリを使用しないストリーミングに適したフォーマットから、ライブラリを使用する編集に適したフォーマットへ、及びその逆に変換するために、データ再構築プロセスを提案する。
【選択図】図３

【特許請求の範囲】

【請求項1】

触覚データであって、
効果のタイプと、
触覚効果のリストと、
触覚軌跡のリストであって、触覚軌跡が、少なくとも１つの時間的リファレンスが触覚効果に、又は前記触覚効果のリスト内の識別子に関連付けられているタイムラインを含む、触覚軌跡のリストと、を表す情報を含む、触覚データを生成することを含み、
触覚効果が、前記触覚効果をレンダリングするために適用される信号の値を表す情報を含む、
方法。

【請求項2】

信号が、周波数帯域のセットに従ってグループ化される、請求項１に記載の方法。

【請求項3】

タイムラインが、周波数帯域のセットに従ってグループ化される、請求項１に記載の方法。

【請求項4】

触覚データをレンダリングするための方法であって、
触覚データであって、
効果のタイプと、
触覚効果のリストと、
触覚軌跡のリストであって、触覚軌跡が、少なくとも１つの時間的リファレンスが触覚効果に、又は前記触覚効果のリスト内の識別子に関連付けられているタイムラインを含む、触覚軌跡のリストと、を表す情報を含み、触覚効果が、前記触覚効果をレンダリングするために適用される信号の値を表す情報を含む、触覚データを取得することと、
前記信号の値を触覚アクチュエータに提供することと、を含む、方法。

【請求項5】

信号が、周波数帯域のセットに従ってグループ化される、請求項４に記載の方法。

【請求項6】

タイムラインが、周波数帯域のセットに従ってグループ化される、請求項４に記載の方法。

【請求項7】

プロセッサを備え、前記プロセッサが、
触覚データであって、
効果のタイプと、
触覚効果のリストと、
触覚軌跡のリストであって、触覚軌跡が、少なくとも１つの時間的リファレンスが触覚効果に、又は前記触覚効果のリスト内の識別子に関連付けられているタイムラインを含む、触覚軌跡のリストと、を表す情報を含み、触覚効果が、前記触覚効果をレンダリングするために適用される信号の値を表す情報を含む、触覚データを取得し、
触覚アクチュエータに信号の値を提供するように構成されている、
触覚レンダリングデバイス。

【請求項8】

信号が、周波数帯域のセットに従ってグループ化される、請求項７に記載のデバイス。

【請求項9】

タイムラインが、周波数帯域のセットに従ってグループ化される、請求項７に記載のデバイス。

【請求項10】

触覚データであって、
効果のタイプと、
触覚効果のリストと、
触覚軌跡のリストであって、触覚軌跡が、少なくとも１つの時間的リファレンスが触覚効果に、又は前記触覚効果のリスト内の識別子に関連付けられているタイムラインを含む、触覚軌跡のリストと、を表す情報を含み、触覚効果が、前記触覚効果をレンダリングするために適用される信号の値を表す情報を含む、
触覚データ。

【請求項11】

信号が、周波数帯域のセットに従ってグループ化される、請求項１０に記載の触覚データ。

【請求項12】

タイムラインが、周波数帯域のセットに従ってグループ化される、請求項１０に記載の触覚データ。

【請求項13】

触覚データを格納する非一時的コンピュータ可読媒体であって、前記触覚データが、
効果のタイプと、
触覚効果のリストと、
触覚軌跡のリストであって、触覚軌跡が、少なくとも１つの時間的リファレンスが触覚効果に、又は前記触覚効果のリスト内の識別子に関連付けられているタイムラインを含む、触覚軌跡のリストと、を表す情報を含み、触覚効果が、前記触覚効果をレンダリングするために適用される信号の値を表す情報を含む、非一時的コンピュータ可読媒体。

【請求項14】

信号が、周波数帯域のセットに従ってグループ化される、請求項１３に記載の非一時的コンピュータ可読媒体。

【請求項15】

タイムラインが、周波数帯域のセットに従ってグループ化される、請求項１３に記載の非一時的コンピュータ可読媒体。

【請求項16】

請求項１に従って生成された触覚データを再構成するための方法であって、少なくとも１つの時間的リファレンスが、前記触覚効果のリスト内の識別子に関連付けられており、前記方法が
触覚データを取得することと、
前記触覚データを分析して、タイムライン内の触覚効果の識別子を判定することと、
判定された識別子を、前記識別子に関連付けられた前記触覚効果のコピーに置き換えることと、
触覚効果のリストを空にすることと、
前記再構築された触覚データを提供することと、
を含む、方法。

【請求項17】

請求項１に従って生成された触覚データを再構成するための方法であって、少なくとも１つの時間的リファレンスが触覚効果に関連付けられており、前記方法が、
触覚データを取得することと、
前記触覚データを分析して同一の触覚効果を判定することと、
前記判定された同一の触覚効果のうちの１つのコピーを、前記触覚効果のリストに挿入することと、
前記挿入された同一の触覚効果に識別子を関連付けることと、
同一の触覚効果を前記関連付けられた識別子に置き換えることと、
前記再構築された触覚データを提供することと、
を含む、方法。

【請求項18】

プロセッサによって実行されると、請求項１～６のいずれか一項に記載の方法を実施するプログラムコード命令を含む、コンピュータプログラム。

【請求項19】

プロセッサによって実行されると、請求項１６又は１７のいずれかに記載の方法を実施するプログラムコード命令を含む、コンピュータプログラム。

【請求項20】

プロセッサによって実行されると、請求項１～６のいずれか一項に記載の方法を実施するプログラムコード命令を含む、非一時的コンピュータ可読媒体。

【請求項21】

プロセッサによって実行されると、請求項１６又は１７のいずれかに記載の方法を実施するプログラムコード命令を含む、非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本実施形態のうちの少なくとも１つは概して触覚に関し、より具体的には、没入シーンにおける触覚オブジェクトの、タイムラインに基づく表現フォーマットの定義に関する。

【背景技術】

【0002】

フィードバック及びインタラクションに基づく没入型システムを通じて、完全没入型ユーザ体験がユーザに提案される。インタラクションは、ユーザのニーズを満たす従来の制御方法を使用する場合がある。現在の視覚及び聴覚フィードバックは、満足のいくリアルな没入感を提供する。人間のユーザが、自分の感覚で仮想環境を知覚し、したがって完全没入型のより良い体験を改善された現実性を伴って得ることを可能にする触覚効果によって、追加のフィードバックが提供され得る。しかしながら、触覚は、没入型システムにおける全体的なユーザ体験を向上させるための、まだ進歩の可能性がある分野の１つである。

【0003】

通常、没入型システムは、仮想環境を表現する３Ｄシーンであって、３Ｄシーン内に仮想オブジェクトが位置特定されている、３Ｄシーンを含むことができる。仮想環境の要素とのユーザインタラクションを向上させるために、触覚アクチュエータのシミュレーションによる触覚フィードバックが使用できる。そのようなインタラクションは、ユーザに伝達される物理的現象に対応する「触覚オブジェクト」の概念に基づく。没入シーンとの関連において、触覚オブジェクトは、物理的現象を触覚レンダリングデバイス上で模倣するために適切な触覚アクチュエータの刺激を定義することにより、触覚効果を提供することを可能にする。異なるタイプの触覚アクチュエータが、異なるタイプの触覚フィードバックを復元することを可能にする。

【0004】

触覚オブジェクトの一例として、爆発が挙げられる。爆発は、振動及び熱を介してレンダリングでき、したがって、ユーザに対する異なる触覚効果を組み合わせて、現実性を向上させることができる。没入シーンは、典型的には、例えば、グローバル効果に関連する第１の触覚オブジェクトとローカル効果に関連する第２の触覚オブジェクトとを使用する、複数の触覚オブジェクトを含む。

【0005】

本明細書に記載される原理は、例えば、拡張現実、仮想現実、複合現実、又は触覚強化ビデオ（又は全方位／３６０°ビデオ）レンダリングなどの触覚を使用する任意の没入型環境に適用され、より一般的には、任意の触覚ベースのユーザ体験に適用される。したがって、没入型環境のそのような例のシーンは、没入シーンと見なされる。

【0006】

触覚とは、接触の感覚を指し、触感及び運動感覚という２つの次元を含む。第１の次元は、摩擦、ざらつき、硬さ、温度などの触感に関するものであり、皮膚の機械受容器（メルケル細胞、ルフィニ終末、マイスナー小体、パチニ小体）を通じて感じられる。第２の次元は、関節における筋肉、腱及び機械受容器によって提供される力／トルク、位置、運動／速度の感覚に関連するものである。触覚はまた、自己受容系（すなわち、自分自身の身体の知覚）に寄与するので、自己運動の知覚に関与する。したがって、加速度、速度又は他のどのような身体モデルの知覚も、触覚効果として融合され得る。周波数範囲は、モダリティのタイプにより異なるが、約０～１ＫＨｚである。触覚信号をレンダリングすることが可能な大部分の既存のデバイスは、振動を生成する。そのような触覚アクチュエータの例としては、リニア共振アクチュエータ（linear resonant actuator：ＬＲＡ）、偏心回転質量（eccentric rotating mass：ＥＲＭ）、及びボイスコイルリニアモータが挙げられる。これらのアクチュエータは、触覚スーツなどの触覚レンダリングデバイスに統合されてもよいが、スマートフォン又はゲームコントローラに統合されてもよい。

【0007】

触覚信号を符号化するために、ＸＭＬのような形式（例えば、ＭＰＥＧ－Ｖ）を使用する高レベル記述、Ａｐｐｌｅ Ｈａｐｔｉｃ Ａｕｄｉｏ Ｐａｔｔｅｒｎ（ＡＨＡＰ）又はＩｍｍｅｒｓｉｏｎ ＣｏｒｐｏｒａｔｉｏｎのＨＡＰＴフォーマットなどの、ｊｓｏｎのようなフォーマットを使用するパラメトリック表現、又は波形符号化（触感及び運動感覚信号のためのＩＥＥＥ１９１８．１．１の現在進行中の標準化）、のいずれかに関連するいくつかの形式が定義されている。ＨＡＰＴ形式は、近年、ＭＰＥＧ ＩＳＯＢＭＦＦファイル形式仕様（ＩＳＯ／ＩＥＣ１４４９６ｐａｒｔ１２）に含められている。更には、ＧＬ Ｔｒａｎｓｍｉｓｓｉｏｎ Ｆｏｒｍａｔ（ｇｌＴＦ（商標））が、アプリケーションによる３Ｄシーン及びモデルの効率的な送信及びロードのための著作権使用料不要の仕様である。このフォーマットは、オーサリングワークフローを効率化し、業界全体にわたるコンテンツの相互運用可能な使用を可能にする、３Ｄコンテンツツール及びサービスのための拡張可能な共通公開フォーマットを定義する。

【0008】

更に、新しい触覚ファイルフォーマットがＭＰＥＧ標準化グループ内で定義されており、触覚の符号化表現に関する。このフォーマットの参照モデルはまだリリースされていないが、本明細書ではＲＭ０として言及される。この参照モデルでは、符号化された触覚記述ファイルを、人間が読むことのできるＪＳＯＮ交換フォーマット（例えば．ｇｍｐｇファイル）として、又は特に触覚レンダリングデバイスへの送信に適合された圧縮バイナリ配信フォーマット（例えば．ｍｐｇ）としてエクスポートすることができる。

【発明の概要】

【0009】

実施形態は、触覚効果のセットとタイムラインとを含む、没入型体験を表す情報を格納するデータ構造に関する。触覚効果は柔軟な様式で定義され得、タイムライン内に直接定義されるか、又はタイムライン内の識別子によって参照されるかのいずれかである。ライブラリは、効果の定義を、関連付けられた識別子と共に格納し得る。ライブラリを使用しないストリーミングに適したフォーマットからライブラリを使用する編集に適したフォーマットへ、及びその逆に変換する、データ再構築プロセスを提案する。

【0010】

少なくとも１つの実施形態の第１の態様は、方法に向けられており、この方法は、触覚データであって、効果のタイプと、触覚効果のリストと、触覚軌跡のリストであって、触覚軌跡が、少なくとも１つの時間的リファレンスが触覚効果に、又は触覚効果のリスト内の識別子に関連付けられているタイムラインを含む、触覚軌跡のリストとを表す情報を含む触覚データを生成することを含み、触覚効果が、触覚効果をレンダリングするために適用される信号の値を表す情報を含む。

【0011】

少なくとも１つの実施形態の第２の態様は、触覚データをレンダリングするための方法に向けられており、この方法は、触覚データであって、効果のタイプと、触覚効果のリストと、触覚軌跡のリストであって、触覚軌跡が、少なくとも１つの時間的リファレンスが触覚効果に、又は触覚効果のリスト内の識別子に関連付けられているタイムラインを含む、触覚軌跡のリストとを表す情報を含み、触覚効果が、触覚効果をレンダリングするために適用される信号の値を表す情報を含む、触覚データを取得することと、触覚アクチュエータに信号の値を提供することと、を含む。

【0012】

少なくとも１つの実施形態の第３の態様は、プロセッサを含む触覚レンダリングデバイスに向けられており、プロセッサは、触覚データであって、効果のタイと、触覚効果のリストと、触覚軌跡のリストであって、触覚軌跡が、少なくとも１つの時間的リファレンスが触覚効果に、又は触覚効果のリスト内の識別子に関連付けられているタイムラインを含む触覚軌跡のリストとを表す情報を含み、触覚効果が、触覚効果をレンダリングするために適用される信号の値を表す情報を含む、触覚データを取得し、触覚アクチュエータに信号の値を提供するように構成されている。

【0013】

少なくとも１つの実施形態の第４の態様は、触覚データであって、効果のタイプと、触覚効果のリストと、触覚軌跡のリストであって、触覚軌跡が、少なくとも１つの時間的リファレンスが触覚効果に、又は触覚効果のリスト内の識別子に関連付けられているタイムラインを含む触覚軌跡のリストとを表す情報を含み、触覚効果が、触覚効果をレンダリングするために適用される信号の値を表す情報を含む、触覚データに向けられている。

【0014】

少なくとも１つの実施形態の第５の態様は、第１の態様によって生成された触覚データであって、少なくとも１つの時間的リファレンスが触覚効果のリスト内の識別子に関連付けられている、触覚データを再構築するための方法に向けられており、この方法は、触覚データを取得することと、触覚データを分析してタイムライン内の触覚効果の識別子を判定することと、判定された識別子を、その識別子に関連付けられている触覚効果のコピーに置き換えることと、触覚効果のリストを空にすることと、再構築された触覚データを提供することと、を含む。

【0015】

少なくとも１つの実施形態の第６の態様は、請求項１によって生成された触覚データであって、少なくとも１つの時間的リファレンスが触覚効果に関連付けられている、触覚データを再構築するための方法に向けられており、この方法は、触覚データを取得することと、触覚データを分析して同一の触覚効果を判定することと、判定された同一の触覚効果のうちの１つのコピーを触覚効果のリストに挿入することと、その挿入された同一の触覚効果に識別子を関連付けることと、同一の触覚効果をその関連付けられた識別子に置き換えることと、再構築された触覚データを提供することと、を含む。

【0016】

少なくとも１つの実施形態の第７の態様によれば、プロセッサによって実行可能なプログラムコード命令を含むコンピュータプログラムが提示され、このコンピュータプログラムは少なくとも、第１又は第２の態様による方法のステップを実施する。

【0017】

少なくとも１つの実施形態の第８の態様によれば、非一時的コンピュータ可読媒体に格納され、プロセッサによって実行可能なプログラムコード命令を含むコンピュータプログラム製品が提示され、このコンピュータプログラム製品は少なくとも、第１又は第２の態様による方法のステップを実施する。

【図面の簡単な説明】

【0018】

【図1】図１は、様々な態様及び実施形態が実装されるシステムの一例のブロック図である。

【図2A】図２Ａは、周波数帯域への分解を使用する従来技術に基づく触覚信号の符号化の一例を示す図である。

【図2B】図２Ｂは、周波数帯域への分解を使用する従来技術に基づく触覚信号の符号化の一例を示す図である。

【図3】図３は、基礎効果が触覚帯域での周波数分解に基づいて定義される、少なくとも第１の実施形態による触覚ファイルのデータ構造の一例を示す図である。

【図4】図４は、基礎効果がキーフレームに基づいて定義される、少なくとも第２の実施形態による触覚ファイルのデータ構造の一例を示す図である。

【図5】図５は、第２の実施形態にしたがって、効果ライブラリを使用せずに符号化された触覚ファイルの一例を示す図である。

【図6】図６は、第２の実施形態にしたがって、効果ライブラリを使用して符号化された触覚ファイルの一例を示す図である。

【図7】図７は、少なくとも１つの実施形態による、触覚ファイルのエンコーダのアーキテクチャの一例を示す図である。

【図8】図８は、一実施形態によるデータ再構成プロセスを示す図である。

【図9】図９は、少なくとも１つの実施形態による、触覚データをレンダリングするためのプロセスの一例を示す図である。

【発明を実施するための形態】

【0019】

図１は、様々な態様及び実施形態が実装されるシステムの一例のブロック図を示す。図示した没入型システムでは、ユーザＡｌｉｃｅは触覚レンダリングデバイス１００を使用して、没入シーン１９０をホスティングするサーバ１８０と通信ネットワーク１７０を通じてインタラクションを行う。この没入シーン１９０は、そのレンダリングに必要な異なる要素（シーン記述１９１、オーディオデータ、ビデオデータ、３Ｄモデル、及び触覚オブジェクト１９２）を表す様々なデータ及び／又はファイルを含んでもよい。没入シーン１９０は、異なる要素を共に配置して没入型体験を設計できるようにする没入型体験エディタ１１０の制御下で生成されてもよい。没入型体験を表現する適切な記述ファイル及び様々なデータファイルが、没入シーンジェネレータ１１１によって、触覚レンダリングデバイスへの送信に適合されたフォーマットで生成される。没入型体験エディタ１１０は、通常、サーバ上でホスティングされる没入シーンを生成するコンピュータ上で実行される。簡略化の目的で、没入型体験エディタ１１０は、点線１７１を介して没入シーン１９０に直接接続されているものとして示されている。実際には、没入型体験エディタ１１０を実行するコンピュータは、通信ネットワーク１７０を介してサーバ１８０に接続されている。

【0020】

触覚レンダリングデバイス１００はプロセッサ１０１を備える。プロセッサ１０１は、汎用プロセッサ、専用プロセッサ、従来のプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアに関連付けられた１つ以上のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路、任意の他のタイプの集積回路（ＩＣ）、ステートマシンなどであってもよい。プロセッサは、触覚信号復号、入出力処理、及び／又はデバイスが没入型システムにおいて動作することを可能にする任意の他の機能などのデータ処理を行ってもよい。

【0021】

プロセッサ１０１は、ユーザインタラクションを伝達するように構成された入力ユニット１０２に結合されてもよい。複数のタイプの入力及びモダリティが、その目的のために使用されることができる。物理的キーパッド及びタッチ感知面は、この用途に適合された入力の典型的な例であるが、音声制御も使用することができる。加えて、入力ユニットは、静止画像又はビデオを取り込むことができるデジタルカメラを備えてもよい。プロセッサ１０１は、スクリーン上に表示される視覚データを出力するように構成されたディスプレイユニット１０３に結合されてもよい。液晶ディスプレイ（liquid crystal display、ＬＣＤ）又は有機発光ダイオード（organic light-emitting diode、ＯＬＥＤ）ディスプレイユニットなどの複数のタイプのディスプレイを、その目的のために使用することができる。プロセッサ１０１はまた、例えば、ラウドスピーカなどの適合されたトランスデューサを通じてオーディオ波に変換されるサウンドデータをレンダリングするように構成されたオーディオユニット１０４に結合されてもよい。プロセッサ１０１は、外部デバイスとデータを交換するように構成された通信インターフェース１０５に結合されてもよい。通信は、好ましくは、セルラ（例えば、ＬＴＥ）通信、Ｗｉ－Ｆｉ通信など、触覚レンダリングデバイスのモビリティを提供する無線通信規格を使用する。プロセッサ１０１は、ランダムアクセスメモリ（random access memory、ＲＡＭ）、読み取り専用メモリ（read-only memory、ＲＯＭ）、ハードディスク、加入者識別モジュール（subscriber identity module、ＳＩＭ）カード、メモリスティック、セキュアデジタル（secure digital、ＳＤ）メモリカード、任意の他のタイプのメモリ記憶デバイスを含む、複数のタイプのメモリを備え得る、メモリ１０６からの情報にアクセスし、データをそこに格納してもよい。一実施形態では、プロセッサ１０１は、サーバ、ホームコンピュータ、又は別のデバイスなど、デバイス上に物理的に配置されていないメモリからの情報にアクセスし、そのメモリにデータを格納してもよい。

【0022】

プロセッサ１０１は、ユーザに触覚フィードバックを提供するように構成された触覚ユニット１０７に結合されていてもよく、触覚フィードバックは、没入シーン１９０のシーン記述１９１に関連する触覚データ１９２に記述されている。触覚データ１９２は提供すべきフィードバックの種類を、以下で更に説明するシンタックスに従って記述する。そのような記述ファイルは、典型的には、サーバ１８０から触覚レンダリングデバイス１００に伝達される。触覚ユニット１０７は、単一の触覚アクチュエータ、又は触覚レンダリングデバイス上の複数の位置に配置された複数の触覚アクチュエータを備えてもよい。異なる触覚ユニットは異なる数のアクチュエータを有してもよく、及び／又はアクチュエータは触覚レンダリングデバイス上に異なるように配置されてもよい。

【0023】

プロセッサ１０１は、電源１０８から電力を受信してもよく、デバイス１００における他の構成要素に電力を分配し、かつ／又は制御するように構成されてもよい。電源は、デバイスに電力を供給するための任意の好適なデバイスであってもよい。例として、電源は、１つ以上の乾電池（例えば、ニッケル－カドミウム（nickel-cadmium：ＮｉＣｄ）、ニッケル－亜鉛（nickel-zinc：ＮｉＺｎ）、ニッケル水素（nickel metal hydride：ＮｉＭＨ）、リチウムイオン（lithium-ion：Ｌｉ－ｉｏｎ）など）、太陽電池、燃料電池などを含んでもよい。

【0024】

この図は、プロセッサ１０１及び他の要素１０２～１０８を別個の構成要素として示しているが、これらの要素は、電子パッケージ又はチップ内に共に統合されてもよいことが理解されよう。触覚レンダリングデバイス１００は、一実施形態との整合性を保ちつつ、本明細書に記載の要素の任意の部分的組み合わせを含んでもよいことが理解されよう。プロセッサ１０１は、追加の特徴、機能、及び／又は有線若しくは無線接続を提供する１つ以上のソフトウェア及び／又はハードウェアモジュールを含み得る、図１に示されていない他の周辺機器又はユニットに更に結合されてもよい。例えば、周辺機器は、ユニバーサルシリアルバス（universal serial bus：ＵＳＢ）ポート、振動デバイス、テレビトランシーバ、ハンズフリーヘッドセット、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、周波数変調（frequency modulated、ＦＭ）ラジオユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザなどのセンサを含んでもよい。例えば、プロセッサ１０１は、その環境内で触覚レンダリングデバイスを位置特定するように構成された位置特定ユニットに結合されてもよい。位置特定ユニットは、触覚レンダリングデバイスの現在位置に関する経度及び緯度の位置を提供するＧＰＳチップセットだけでなく、位置特定サービスを提供する加速度計及び／又は電子コンパスなどの他のモーションセンサも統合してもよい。

【0025】

触覚レンダリングデバイス１００の典型的な例としては、触覚スーツ、スマートフォン、ゲームコントローラ、触覚グローブ、触覚チェア、触覚プロップ、モーションプラットフォームなどが挙げられるが、同様の機能を提供する任意のデバイス又はデバイスの構成が、本開示の原理に準拠しつつ、触覚レンダリングデバイス１００として使用され得る。

【0026】

少なくとも１つの実施形態では、デバイスは、ディスプレイユニットを含まないが、触覚ユニットを含む。そのような実施形態では、デバイスは、シーンを視覚的にレンダリングせず、触覚効果のみをレンダリングする。しかしながら、デバイスは、スクリーンなどの別のデバイスが表示を実施できるように、表示用のデータを準備してもよい。そのようなデバイスの例としては、触覚スーツ又はモーションプラットフォームが挙げられる。

【0027】

少なくとも１つの実施形態では、デバイスは、触覚ユニットを含まないが、ディスプレイユニットを含む。そのような実施形態では、デバイスは、触覚効果をレンダリングせず、シーンを視覚的にレンダリングするのみである。しかしながら、デバイスは、触覚プロップなどの別のデバイスが触覚レンダリングを実施できるように、触覚効果をレンダリングするためのデータを準備してもよい。そのようなデバイスの例としては、スマートフォン、ヘッドマウントディスプレイ又はラップトップが挙げられる。

【0028】

少なくとも１つの実施形態では、デバイスは、ディスプレイユニットも触覚ユニットも含まない。そのような実施形態では、デバイスは、シーンを視覚的にレンダリングせず、触覚効果をレンダリングしない。しかしながら、デバイスは、スクリーンなどの別のデバイスが表示を実施できるように表示用のデータを準備してもよく、触覚プロップなどの別のデバイスが触覚レンダリングを実施できるように、触覚効果をレンダリングするためのデータを準備してもよい。そのようなデバイスの例としては、デスクトップコンピュータ、光メディアプレーヤ、又はセットトップボックスが挙げられる。

【0029】

少なくとも１つの実施形態では、没入シーン１９０及び関連付けられた要素は、触覚レンダリングデバイス１００のメモリ１０６内に直接ホスティングされて、局所的なレンダリング及びインタラクションができるようになる。

【0030】

没入シーン１９０の異なる要素が別個の要素として図１に示されているが、本明細書に記載される原理は、これらの要素がシーン記述に直接統合されて別個の要素ではない場合にも適用される。要素の一部がシーン記述に統合され、他の要素が別個のファイルである、２つの選択肢の間の任意の混合も可能である。

【0031】

図２Ａ及び図２Ｂは、周波数帯域への分解を使用する従来技術に基づく触覚信号の符号化の一例を示す。図２Ａに示すように、この技術では、信号は軌跡のリスト２１０を用いて符号化され、データは周波数帯域のセット２２０内に分解される。各帯域は、信号の所与の周波数範囲内の部分をストリームのリストを用いて定義する。ストリーム２３０は、複数の単位信号キーフレーム２４０を含み、それらのタイミングを統制する。ある軌跡内の触覚信号を、異なる帯域内のストリームからのデータを組み合わせて再構築することができる。図２Ｂは、触覚信号２５０と、２つの周波数帯域への考え得る分解とを示す。帯域２６０は第１の周波数帯域に関連し、１つのストリーム２６１のみを含む。帯域２７０は第２の周波数帯域に関連し、ストリーム２７１、２７２、２７３、及び２７４を含む。各ストリームは、レンダリングすべき信号の値を表すキーフレームのセットを含む。タイムスタンプなどの時間的リファレンスが、キーフレームに関連付けられている。適切なタイムスタンプに位置する高周波帯域及び低周波帯域のストリームのキーフレームを集約することによって、元の低レベル信号を再構成することができる。

【0032】

この解決策の構造に関する１つの利点は、この信号データのパッケージ化が容易であり、また、特にストリーミング目的に便利なことである。事実、そのような線形構造では、データは小さな連続したパッケージに容易に分解することができ、複雑なデータプリフェッチ動作を必要としない。信号は、パッケージを元通りにつぎ合わせることによって容易に再構築され、信号を確実に円滑に再生することができる。

【0033】

ところが、この手法では、信号の複数回繰り返される部分を複数回格納しなければならない。データのこの線形表現は、ストリーミング目的には便利であり得るが、結果としてデータサイズが増大することがあるので、他の目的には逆効果となり得る。加えて、信号を作成するとき、触覚設計者は同じ触覚効果を手作業で複数回複製しなければならず、これは特に信号の修正の場合、修正もまた複製又はやり直しの必要があるので、煩わしい。そのような手法は、触覚ファイルの編集段階で使用される交換フォーマットのためには明らかに不満足なものである。

【0034】

加えて、所与の軌跡についての周波数帯域分解は常に同じである。異なった帯域分解で軌跡を複数の部分に分割することは不可能である。このことは、設計の観点からの可能性を制限する。所与の軌跡（通常、単一の触覚アクチュエータに関連付けられる）について、異なる周波数範囲を使用して異なる効果を定義することは有用であり得、単純な効果は単一の周波数帯域しか必要でないこともあるが、他の効果は複数の層に分解できることもある。

【0035】

以下に記載される実施形態は、上記を念頭に置いて設計されている。

【0036】

実施形態では触覚効果ライブラリの概念が導入され、触覚効果を一度だけ定義して複数回使用できるようなる。以下のタイプの触覚効果が定義される。
－基礎効果：基礎効果は、通常、触覚アクチュエータを制御するために使用される信号データを定義する。
－タイムライン効果：タイムライン効果は一連の効果として定義され、各効果はタイムスタンプに関連付けられる。効果自体は、信号データを使用して直接定義されてもよいし、又は触覚ライブラリ効果へのリファレンスに依存してもよい。
－リファレンス効果：既存の効果（「ｉｄ」属性で識別される）へのリファレンスであり、タイムスタンプに関連付けられる。

【0037】

第１の実施形態では、上記で導入した複数の触覚帯域での周波数分解に基づいて、基礎効果が定義される。次いで触覚軌跡が、触覚帯域のリストの代わりに時間指定触覚効果のセットから構成される。この解決策により、ひとつの軌跡内に異なる周波数帯域を有する触覚効果を定義できるようになる。このことにより、異なる周波数帯域を使用して信号を圧縮するための柔軟性が高まり、そうした圧縮では符号化信号の品質又は圧縮レベルが向上し得る。また、このことにより、信号を設計する際の柔軟性も高まり、最も妥当な帯域分解を使用して触覚効果を符号化することができる。

【0038】

第２の実施形態では、基礎効果はキーフレームに基づいて定義される。この解決策により、より容易に参照できる低いレベルの情報を格納することによって、空間最適化を最大化できるようになる。この解決策では、所与の触覚帯域に定義される触覚効果は、別の帯域に記述されるコンテンツに依存しない。

【0039】

どちらの実施形態によっても、触覚ファイルの空間消費を最適化できるようになる。効果ライブラリに触覚効果を定義し、本提案の参照システムを使用することによって、データリファクタリングを通じて不要なデータ反復を回避することができる。

【0040】

図３及び図４に示すように、本提案のデータ構造では、触覚効果が、効果ライブラリ内で、及び各軌跡内で直接に、の両方で使用され得るようになる。事実、本明細書で提案するデータモデルを効果の定義に使用すると柔軟性が大幅に高まり、各軌跡内で、効果を直接定義することもでき、あるいは、単純に既存の効果をライブラリから参照することもできる。加えて、このモデルにより、様々な目的（例えば、ライブラリの使用を伴わないストリーミング、又は触覚記述ファイルの修正中に手動操作を最小限にするためのライブラリの集中使用を伴う編集）のために有益なデータ最適化ができるようになる。

【0041】

例えば、ライブラリ内の触覚効果への複数のリファレンスを有する既存の触覚ファイルを考えると、リファレンスを実際の効果に置き換えることによってデータを再編成することができる。このデータの線形化によって、ストリーミング目的でのデータのパッケージングが簡単になる。逆に、触覚ファイルがストリーミング目的のために設計された場合、効果ライブラリは空である。データを解析して複数の同一の効果を特定及び抽出し、それらをライブラリに置くことにより、ファイルのサイズを大幅に縮小することもできる。

【0042】

そのような最適化は、図７によれば「バイナリ圧縮」ステップ７３０で、又は触覚エディタのファイルロード／保存の段階で導入されてもよい。

【0043】

図３は、少なくとも１つの実施形態による、触覚データのデータ構造の一例を示す。この実施形態では、基礎効果は、上記で導入した複数の触覚帯域での周波数分解に基づいて定義される。次いで触覚軌跡が、触覚帯域のリストの代わりに時間指定触覚効果のセットから構成される。

【0044】

触覚記述ファイル（言い換えれば、触覚データ）３００は、ファイル記述３０２、アバターのセット３０３、信号のセット３１０、及び形状３０５を含む、第１のレベル３０１を含む。ファイル記述３０２は、ファイルのバージョン、日付、及び関連付けられた触覚体験の説明を含むいくつかの包括的メタデータを含む。アバターのセット３０３は、触覚効果を適用する対象の身体モデルの定義を含む。形状３０５は、没入シーン内で触覚効果が有効である体積部を決定する。信号のセット３１０には、信号３１１などの信号が集約されている。信号は、その名称にもかかわらず、類似するカテゴリ（例えば、運動感覚、温度に基づく効果など）の触覚効果を互いに結び付ける比較的高レベルの概念である。

【0045】

信号３１１が図の２行目に展開されており、メタデータ３２１と、アバターのセット３０３から選択されたアバターへのリファレンス３２２（例えば、アバター３０４へのリファレンス）と、効果ライブラリ３３０と、触覚軌跡のセット３４０とを含む。メタデータ３２１は、触覚効果のタイプ及び対応する信号（振動、圧力、温度など）に関する情報、並びに信号の説明を含む。効果ライブラリは、効果３３１及び３３２などの効果のセットを含む。効果３３１の例が、図の左下に拡大されている。触覚軌跡のセット３４０には、３４１、３４２、及び３４３などのいくつかの触覚軌跡が集約されている。触覚軌跡３４２もまた、図の中ほど右側に拡大されている。

【0046】

第１の実施形態によれば、効果３３１は、触覚帯域での周波数分解に基づいて定義される。効果は、第１のレベルでは、帯域のセット３８０を含み、各帯域は、ある範囲の周波数、例えば帯域３８１に対応する。各帯域は、第２のレベルでは、ストリームのセット３８５を含み、各ストリームは、信号の、所与の時間フレーム内かつ所与の周波数範囲内の部分に対応する。各ストリームは、第３のレベルでは、キーフレーム（周波数及び振幅によって定義される）のセット３５０を含む。例えば、ストリーム３８６は、少なくともキーフレーム３５１、３５２及び３５３を含む。これらのキーフレームは、図２Ｂのストリーム２７１、２７２、２７３及び２７４と同様に、触覚効果を最終的にレンダリングするために適切な触覚アクチュエータに適用される信号を担持する。このような定義により、ライブラリ内に定義された各効果は、触覚ファイル内で複数回再使用されてもよいように、信号の最小定義を含む。

【0047】

触覚軌跡３４２は、意味情報を担持する軌跡記述３６１と、利得、ミキシング重み、身体部分マスクなどのいくつかの属性を担持する軌跡属性３６２と、効果タイムライン３７０と、を含む。効果タイムライン３７０は、タイムスタンプなどの時間的リファレンスに関連付けられた、参照される効果のセット、例えば効果３７１、３７２、３７３及び３７４を含む。時間的な観点から、各効果にタイムスタンプが関連付けられてもよい。図の右下の効果３７１の分解は、その構造が、効果３３１などの、効果ライブラリで定義された効果と同一であることを示す。

【0048】

そのようなデータ構造では、触覚ファイルの設計者は、各効果について、それを効果ライブラリに追加して更に効果タイムラインから参照する方がよいのか、効果タイムラインに直接挿入する方がよいのかを、選択することができる。効果タイムライン３７０には両方の選択肢が示されており、効果３７１（おそらく一度だけ使用される）は効果タイムラインの中で直接定義され、効果３７２、３７３、及び３７４は、ライブラリの効果、それぞれ効果３３１、３３１、及び３３２を参照する。この技法では、複数回使用される効果３３１は一度だけ定義され、したがって、触覚ファイルの記述に必要な帯域幅及び記憶空間を最小化できるようになる。

【0049】

上記のとおり、触覚効果は３つのタイプ、すなわち、基礎、タイムライン、又はリファレンスからなり得る。基礎効果は、波（又はキーフレーム）のストリームの形で信号を記述する触覚帯域のリストによって定義される。基礎効果はｉｄで識別される。基礎効果の一例は、効果ライブラリ内の効果３３１である。タイムライン効果もまた、ｉｄによって識別されるが、これは時間指定効果からなるタイムラインで定義される。タイムライン効果の一例は、効果タイムライン３７０内の効果３７１である。最後に、リファレンス効果は、単に効果ライブラリに定義されている既存の効果へのリファレンスである。このタイプの効果では、ｉｄ属性は、参照される効果を示す。リファレンス効果の一例は、効果タイムライン内の効果３７３である。

【0050】

第１の実施形態による触覚効果のＪＳＯＮスキーマの例を表１に示す。

【0051】

【表1-1】

【0052】

【表1-2】

【0053】

触覚効果の概念がフォーマットに導入される。信号レベルでは、効果は、効果のリストとして「ｅｆｆｅｃｔ＿ｌｉｂｒａｒｙ」に格納される。触覚信号のためのＪＳＯＮスキーマの例を表２に示す。

【0054】

【表2-1】

【0055】

【表2-2】

【0056】

次に、信号レベルで定義された効果を、複数の軌跡で複数回参照して使用することができる。効果は、表３のＪＳＯＮスキーマに示すようなタイムラインを用いて、各触覚軌跡内に編成される。

【0057】

【表3-1】

【0058】

【表3-2】

【0059】

表４は、第１の実施形態による触覚ファイルのためのＪＳＯＮシンタックスの例を示す。この例では、触覚ファイルは、単一の軌跡を有する単一の信号を含む。効果ライブラリは、その軌跡内で複数回参照される１つの基礎効果を含む。その軌跡はまた、別の触覚効果を直接定義する。この解決策では、１つの軌跡が、異なる周波数帯域を有する触覚効果を含むことができる。

【0060】

【表4-1】

【0061】

【表4-2】

【0062】

【表4-3】

【0063】

図４は、少なくとも第２の実施形態による、触覚データのデータ構造の一例を示す。この実施形態では、基礎効果はキーフレームに基づいて定義される。

【0064】

触覚記述ファイル（言い換えれば、触覚データ）４００は、ファイル記述４０２、アバターのセット４０３、信号のセット４１０、及び形状４０５を含む、第１のレベル４０１を含む。ファイル記述４０２は、ファイルのバージョン、日付、及び関連付けられた触覚体験の説明を含むいくつかの包括的メタデータを含む。アバターのセット４０３は、触覚効果の適用対象の身体モデルの定義を含む。形状４０５は、没入シーン内で触覚効果が有効である体積部を決定する。信号のセット４１０には、信号４１１などの信号が集約されている。

【0065】

信号４１１が図の２行目に展開されており、メタデータ４２１と、アバターのセット４０３から選択されたアバターへのリファレンス４２２（例えば、アバター４０４へのリファレンス）と、効果ライブラリ４３０と、触覚軌跡のセット４４０とを含む。メタデータ４２１は、信号のタイプ（振動、圧力、温度など）に関する情報と、信号の説明とを含む。効果ライブラリは、効果４３１及び４３２などの効果のセットを含む。効果４３１の例が図の左下に拡大されている。触覚軌跡のセット４４０には、４４１、４４２、及び４４３などのいくつかの触覚軌跡が集約されている。触覚軌跡４４１もまた、図の中ほど右側に拡大されている。

【0066】

効果ライブラリ４３０は、４３１及び４３２などの効果のセットを含み、効果はレンダリングすべき信号の値を表すキーフレームのセットとして定義される。例えば、効果４３１は、キーフレーム４５１、４５２、４５３から構成されているとして定義される。

【0067】

触覚軌跡４４１は、意味情報を担持する軌跡記述４６１と、利得、ミキシング重み、身体部分マスクなどのいくつかの属性を担持する軌跡属性４６２と、４７１、４７２、４７３などの触覚帯域のセット４７０と、を含む。触覚帯域４７１の例は、いくつかの属性４７５及び効果タイムライン４８０を含む。効果タイムラインは、４つの要素４８１、４８２、４８３及び４８４を含む。要素４８１及び４８４は、キーフレームのセットにより直接タイムライン内に効果を定義しており、要素４８２及び４８３は、効果ライブラリの効果、それぞれ効果４３１及び４３２を参照する。したがって、要素４８２は、効果４３１を参照することによって、キーフレーム４５１、４５２、４５３を参照する。

【0068】

第２の実施形態による触覚効果のＪＳＯＮスキーマの例を表５に示す。

【0069】

【表5-1】

【0070】

【表5-2】

【0071】

上記からわかるように、触覚効果は３つのタイプ、すなわち、基礎、タイムライン、又はリファレンスからなり得る。基礎効果はｉｄで定義され、触覚「キーフレーム」のリストを含む。必要に応じて、基礎効果に位相属性を追加してもよい（図示せず）。基礎効果の一例は、図４の効果３３１である。タイムライン効果もまた、ｉｄによって識別されるが、これはタイムスタンプに関連付けられた触覚キーフレームのリストによって定義される。図４のタイムライン効果の一例は、効果４８１である。最後に、リファレンス効果は、単純に効果ライブラリ内の既存の効果へのリファレンスであり、ｉｄ属性は、参照される効果を示す。図４のタイムライン効果の一例は効果４８２であり、これは効果４３１を参照し、したがってキーフレーム４５１、４５２、４５３を含む。

【0072】

信号レベルでは、効果のセットは、表６のＪＳＯＮスキーマの例に示すように、「ｅｆｆｅｃｔ＿ｌｉｂｒａｒｙ」に格納される。

【0073】

【表6-1】

【0074】

【表6-2】

【0075】

効果は、表７に示すように、触覚帯域のレベルで使用される。

【0076】

【表7-1】

【0077】

【表7-2】

【0078】

表８は、第２の実施形態による触覚ファイルのＪＳＯＮシンタックスの一例を、第１の実施形態（表４）と同じ例に基づいて示している。この解決策では、基礎効果をより容易に定義できるが、所与の軌跡の全ての効果が同じ周波数帯域分解を使用する。

【0079】

【表8-1】

【0080】

【表8-2】

【0081】

【表8-3】

【0082】

図５は、第２の実施形態にしたがって、効果ライブラリを使用せずに符号化された触覚ファイルの例を示す。データは線形に格納され、同一の効果は繰り返される。そのような触覚ファイルは、特にストリーミングに適合される。

【0083】

図６は、第２の実施形態にしたがって、効果ライブラリを使用して符号化された触覚ファイルの一例を示す。このファイルも同じ効果を記述するが、効果ライブラリを使用することによって空間消費を低減するように最適化されている。事実、同一の効果が効果ライブラリに移動され、次いでタイムラインで参照される。このような触覚ファイルは、特に編集段階に適合される。事実、キーフレーム内で修正を行う必要がある場合、修正は一度だけ行えばよい。

【0084】

図７は、少なくとも１つの実施形態による、触覚ファイルのエンコーダ７００のアーキテクチャの一例を示す。入力は、メタデータファイル７０１及び少なくとも１つの信号ファイル７０３である。メタデータファイル７０１は、例えば、「ＯＨＭ」触覚オブジェクトファイルフォーマットに基づく。信号ファイルは、従来、例えばＷＡＶファイルフォーマットに基づくＰＣＭ符号化ファイルを使用している。記述ファイル７０２は、例えば、ＡＨＡＰ又はＨＡＰＴファイルフォーマットに基づく。交換ファイル７０４は、例えばｇｌＴＦ、ＸＭＬ、又はＪＳＯＮフォーマットに基づく、人間が読むことのできるファイルである。配信ファイル７０５は、例えば、デコーダデバイスへのストリーミング又はブロードキャストに適合されたＭＰＥＧファイルフォーマットに基づくバイナリ符号化ファイルである。

【0085】

メタデータファイル７０１からメタデータが抽出され（７１０）、記述ファイル及び／又は信号ファイルを特定できるようになる。ステップ７１１で記述ファイルが分析され、トランスコードされる。ステップ７１２では、信号ファイルが周波数帯域に分解され、ステップ７１３でキーフレーム又はウェーブレットが抽出される。次に、ステップ７２０で、本明細書で説明する実施形態の１つによるデータフォーマットに従って、交換ファイル７０４が生成される。このファイルがステップ７３０で圧縮されて、交換ファイルフォーマットよりもコンパクトな、送信に適した形式で配信されてもよい。

【0086】

図８は、一実施形態によるデータ再構成プロセスを示す。このプロセス８００は、例えば、図５のファイルを図６のファイルに変換できるようにし、逆も同様である。言い換えれば、このプロセスでは、触覚の構造を、線形化された（したがって複製された）キーフレームを使用するように、又は、可能であればキーフレーム記述をファクタ化するライブラリ効果を使用するように適合させられるようになる。第１のステップ８０１において、信号データが分析される。通常、このステップでは、プロセスはタイムライン内に定義された効果を調べて、複数の同一の効果を特定する。図５の例では、プロセスは、キーフレーム１とキーフレーム２との組み合わせが４回使用されると特定する。第２のステップで、プロセスは最適化のうちの１つを行う。データ線形化８０２の場合、目標は、ストリーミングに最も適したデータ構造を得ることである。この場合、タイムライン内のライブラリベースの効果リファレンスは効果のコピーに置き換えられ、ライブラリから全ての効果が除去される。データリファクタリング８０３の場合、目標は逆であり、言い換えればデータ構造を圧縮する。その目的のために、タイムライン内で同一の効果が検出されると、そのような効果は効果ライブラリに（それがまだ存在しない場合は）追加され、タイムライン内では、その効果はライブラリ内の効果へのリファレンスに置き換えられる。

【0087】

最終的には、このプロセスに他のタイプの最適化８０４を追加することもできる。例えば、このプロセスは同一の効果をマージするだけではなく、空間における利得を更に最適化するために十分に類似した効果をマージすることもできる。そのような最適化には、効果間のいくつかの距離メトリックを評価するために、信号分析中に追加の計算が必要になる。マージを行うための効果間の類似度を定義するために、関連する距離閾値を提供しなければならなくなる。

【0088】

このデータ再構造化プロセスは、複数の方法で実施することもできる。例えば、そのプロセスは、図７の例示的なアーキテクチャにおいてフォーマット化ステップ７２０の後に挿入することもできる。また、既存の触覚ファイルのデータを再構築し、再エクスポートする（交換ファイル又は配信ファイルのいずれかとして）独立したツールとして実施されてもよいし、又は触覚ファイル編集ツールのためのインポートプラグインとして実施されてもよい。また、バイナリ圧縮ステップ７３０に含まれてもよい。

【0089】

表９は、データ線形化プロセス後の、第２の実施形態による触覚ファイルのためのＪＳＯＮシンタックスの一例を示す。事実、表４及び表８の２つの例は、空間を節約し、触覚信号の編集をより容易にするために、既に最適化されている。ストリーミングの目的では、このデータ編成は不便である。以下の表は、データの線形化後の同じ例を示す。このプロセスは、効果への全てのリファレンスを効果のコピーに置き換え、元のリファレンスをライブラリから除去する。第２の実施形態に基づいて、データ再構成は、はるかに長いがストリーミングが容易な次のファイルをもたらす。

【0090】

【表9-1】

【0091】

【表9-2】

【0092】

【表9-3】

【0093】

本明細書では、提案されるデータ構造をＪＳＯＮ可読フォーマットで示すが、配信ファイルで使用されるバイナリバージョンのフォーマットにも同じ原理があてはまる。

【0094】

図９は、少なくとも１つの実施形態による、触覚データをレンダリングするためのプロセスの一例を示す。このプロセス９００は、例えば、図１のデバイス１００のプロセッサ１０１によって実施される。ステップ９１０において、プロセッサは触覚データを取得する。ステップ９２０において、プロセッサは、触覚データによって記述されているとおりの触覚信号を触覚アクチュエータに提供する。

【0095】

様々な実施形態を別々に説明してきたが、本開示の原理を尊重しながら、実施形態を任意に組み合わせることができる。

【0096】

実施形態は触覚効果に関するものであるが、当業者であれば、同じ原理が、例えば感覚効果などの他の効果にも適用でき、したがって匂い及び味を含むことを理解するであろう。したがって、適切なシンタックスが、これらの効果に関連する適切なパラメータを決定する。

【0097】

「一実施形態」若しくは「実施形態」又は「一実装形態」若しくは「実装形態」、並びにそれらの他の変形形態への言及は、実施形態に関連して記載される特定の特徴、構造、特性などが、少なくとも一実施形態に含まれることを意味する。したがって、本出願全体を通して様々な場所に現れる「一実施形態では（in one embodiment）」若しくは「ある実施形態では（in an embodiment）」又は「一実装形態では（in one implementation）」若しくは「ある実装形態では（in an implementation）」、並びに他の変形する語句の出現は、必ずしも全てが同じ実施形態を指すとは限らない。

【0098】

加えて、本出願は、様々な情報を「判定すること」に言及し得る。情報を判定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、又は情報をメモリから取り出すことのうちの１つ以上が含み得る。

【0099】

加えて、本出願又はその特許請求の範囲は、様々な情報を「取得すること」に言及し得る。取得することは、「アクセスすること」と同様に、広義の用語であることを意図している。情報を取得することは、例えば、情報を受信すること、情報にアクセスすること、又は情報を（例えば、メモリ又は光学媒体記憶装置から）取り出すことのうちの１つ以上を含み得る。更に、「取得すること」は、一般には、例えば、情報を格納する、情報を処理する、情報を送信する、情報を移動する、情報をコピーする、情報を消去する、情報を計算する、情報を判定する、情報を予測する、又は情報を推定するなどの操作時に、何らかの形で関与する。

【0100】

例えば、「Ａ／Ｂ」、「Ａ及び／又はＢ」及び「Ａ及びＢのうちの少なくとも１つ」の場合、次の「／」、「及び／又は」、及び「のうちの少なくとも１つ」のいずれかの使用は、第１のリストされた選択肢（Ａ）のみの選択、又は第２のリストされた選択肢（Ｂ）のみの選択、又は両方の選択肢（Ａ及びＢ）の選択を包含することが意図されていることを理解されるべきである。更なる実施例として、「Ａ、Ｂ、及び／又はＣ」及び「Ａ、Ｂ、及びＣのうちの少なくとも１つ」の場合、かかる表現は、第１のリストされた選択肢（Ａ）のみの選択、又は第２のリストされた選択肢（Ｂ）のみの選択、又は第３のリストされた選択肢（Ｃ）のみの選択、又は第１及び第２のリストされた選択肢（Ａ及びＢ）のみの選択、又は第１及び第３のリストされた選択肢（Ａ及びＣ）のみの選択、又は第２及び第３のリストされた選択肢のみの選択（Ｂ及びＣ）のみ、又は３つ全ての選択肢の選択（Ａ及びＢ及びＣ）を包含することが意図される。このことは、本技術分野及び関連技術分野の当業者によって容易に明らかであるように、列挙された項目の数だけ拡張され得る。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【手続補正書】

【提出日】2024-07-31

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

触覚データであって、
効果のタイプと、
触覚効果のライブラリであって、触覚効果がリファレンスによって識別され、前記触覚効果をレンダリングするために適用される信号の値を表す情報を含む、触覚効果のライブラリと、
触覚軌跡のリストであって、触覚軌跡がタイムラインを含み、前記タイムラインが、前記触覚効果のライブラリの触覚効果のリファレンスのリストを含み、リファレンスに時間的リファレンスが関連付けられている、触覚軌跡のリストと、
を表す情報を含む、触覚データを生成することを含む、
方法。

【請求項2】

信号が、周波数帯域のセットに従ってグループ化される、請求項１に記載の方法。

【請求項3】

タイムラインが、周波数帯域のセットに従ってグループ化される、請求項１に記載の方法。

【請求項4】

触覚データをレンダリングするための方法であって、
触覚データであって、
効果のタイプと、
触覚効果のライブラリであって、触覚効果がリファレンスによって識別され、前記触覚効果をレンダリングするために適用される信号の値を表す情報を含む、触覚効果のライブラリと、
触覚軌跡のリストであって、触覚軌跡がタイムラインを含み、前記タイムラインが、前記触覚効果のライブラリの触覚効果のリファレンスのリストを含み、リファレンスに時間的リファレンスが関連付けられている、触覚軌跡のリストと、
を表す情報を含む、触覚データを取得することと、
前記信号の値を触覚アクチュエータに提供することと、
を含む、方法。

【請求項5】

信号が、周波数帯域のセットに従ってグループ化される、請求項４に記載の方法。

【請求項6】

タイムラインが、周波数帯域のセットに従ってグループ化される、請求項４に記載の方法。

【請求項7】

プロセッサを備え、前記プロセッサが、
触覚データであって、
効果のタイプと、
触覚効果のライブラリであって、触覚効果がリファレンスによって識別され、前記触覚効果をレンダリングするために適用される信号の値を表す情報を含む、触覚効果のライブラリと、
触覚軌跡のリストであって、触覚軌跡がタイムラインを含み、前記タイムラインが前記触覚効果のライブラリの触覚効果のリファレンスのリストを含み、リファレンスに時間的リファレンスが関連付けられている、触覚軌跡のリストと、
を表す情報を含む、触覚データを取得し、
触覚アクチュエータに信号の値を提供するように構成されている、
触覚レンダリングデバイス。

【請求項8】

触覚データであって、
効果のタイプと、
触覚効果のライブラリであって、触覚効果がリファレンスによって識別され、前記触覚効果をレンダリングするために適用される信号の値を表す情報を含む、触覚効果のライブラリと、
触覚軌跡のリストであって、触覚軌跡がタイムラインを含み、前記タイムラインが、前記触覚効果のライブラリの触覚効果のリファレンスのリストを含み、リファレンスに時間的リファレンスが関連付けられている、触覚軌跡のリストと、
を表す情報を含む、触覚データ。

【請求項9】

触覚データを格納する非一時的コンピュータ可読媒体であって、前記触覚データが、
効果のタイプと、
触覚効果のライブラリであって、触覚効果がリファレンスによって識別され、前記触覚効果をレンダリングするために適用される信号の値を表す情報を含む、触覚効果のライブラリと、
触覚軌跡のリストであって、触覚軌跡がタイムラインを含み、前記タイムラインが前記触覚効果のライブラリの触覚効果のリファレンスのリストを含み、リファレンスに時間的リファレンスが関連付けられている、触覚軌跡のリストと、
を表す情報を含む、
非一時的コンピュータ可読媒体。

【請求項10】

信号が、周波数帯域のセットに従ってグループ化される、請求項９に記載の非一時的コンピュータ可読媒体。

【請求項11】

タイムラインが、周波数帯域のセットに従ってグループ化される、請求項９に記載の非一時的コンピュータ可読媒体。

【請求項12】

プロセッサによって実行されると、請求項１～６のいずれか一項に記載の方法を実施するプログラムコード命令を含む、コンピュータプログラム。

【請求項13】

プロセッサによって実行されると、請求項１～６のいずれか一項に記載の方法を実施するプログラムコード命令を含む、非一時的コンピュータ可読媒体。

【国際調査報告】