特許 6771497 触力覚効果の知覚駆動符号化のための方法及びスキーム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6771497

(24)【登録日】2020年10月1日

(45)【発行日】2020年10月21日

(54)【発明の名称】触力覚効果の知覚駆動符号化のための方法及びスキーム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20201012BHJP

   H04N 21/235 20110101ALI20201012BHJP

【ＦＩ】

   G06F3/01 560

   H04N21/235

【請求項の数】11

【全頁数】15

(21)【出願番号】特願2017-567806(P2017-567806)

(86)(22)【出願日】2016年6月24日

(65)【公表番号】特表2018-526722(P2018-526722A)

(43)【公表日】2018年9月13日

(86)【国際出願番号】EP2016064643

(87)【国際公開番号】WO2017001293

(87)【国際公開日】20170105

【審査請求日】2019年6月24日

(31)【優先権主張番号】15306035.5

(32)【優先日】2015年6月29日

(33)【優先権主張国】EP

(73)【特許権者】

【識別番号】518338149

【氏名又は名称】インターデジタル ヴイシー ホールディングス， インコーポレイテッド

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】フルーロー，ジュリアン

(72)【発明者】

【氏名】デュマ，オリビエ

(72)【発明者】

【氏名】ルロワ，ベルトラン

(72)【発明者】

【氏名】ダニエー，ファビアン

【審査官】 木内 康裕

(56)【参考文献】

【文献】 特表２０１１−５２３３６４（ＪＰ，Ａ）

【文献】 特開２０１５−０５３０４８（ＪＰ，Ａ）

【文献】 特開２００８−１３４９９０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｈ０４Ｎ ２１／２３５

(57)【特許請求の範囲】

【請求項1】

特定の触力覚チャネルに対する可変空間分解能を有する一連の頂点及び面を含む身体モデルに触力覚効果をマッピングすることと、
前記触力覚効果及び場所に対応する前記特定の触力覚チャネルに関連する特性に対応する前記面にメタデータを埋め込むことと、
タイムスタンプ及び面識別子を含む、前記特定の触力覚チャネルに関連する情報を連結することと、
触力覚信号にするために複数の触力覚チャネルに対する信号を多重化することと、
を含む、方法。

【請求項2】

連結された前記情報が、正規化された活性化値をさらに含む、請求項１に記載の方法。

【請求項3】

前記触力覚信号を圧縮することをさらに含む、請求項１に記載の方法。

【請求項4】

前記触力覚信号を送信することをさらに含む、請求項１に記載の方法。

【請求項5】

マッピングすることが、
触力覚効果に対する基準の身体モデルを選択することと、
触力覚チャネルと関連付けられた前記身体モデルの面に触力覚効果を投影することと、
前記身体モデルの空間分解能に従って活性面を収集することと、
前記メタデータによって提供された時間周波数に適合するように前記触力覚効果に関連する情報をリサンプリングすることと、
前記メタデータによって提供された範囲に適合するように前記触力覚効果に関連する前記情報をスケーリングすることと、
を含む、請求項１に記載の方法。

【請求項6】

特定の触力覚チャネルに対する可変空間分解能を有する一連の頂点及び面を含む身体モデルに触力覚効果をマッピングする第１のプロセッサと、
前記触力覚効果及び場所に対応する前記特定の触力覚チャネルに関連する特性に対応する前記面にメタデータを埋め込む第２のプロセッサと、
タイムスタンプ及び面識別子を含む、前記特定の触力覚チャネルに関連する情報を連結する第３のプロセッサと、
触力覚信号を形成するために多数の触力覚チャネルに対する信号に基づいて動作するマルチプレクサと、
を含む、装置。

【請求項7】

連結された前記情報が、正規化された活性化値をさらに含む、請求項６に記載の装置。

【請求項8】

前記触力覚信号に基づいて動作するデータコンプレッサをさらに含む、請求項６に記載の装置。

【請求項9】

前記触力覚信号に基づいて動作する送信機をさらに含む、請求項６に記載の装置。

【請求項10】

前記第１のプロセッサが、
触力覚効果に対する基準の身体モデルを選択することと、
触力覚チャネルと関連付けられた前記身体モデルの面に触力覚効果を投影することと、
前記身体モデルの空間分解能に従って活性面を収集することと、
前記メタデータによって提供された時間周波数に適合するように前記触力覚効果に関連する情報をリサンプリングすることと、
前記メタデータによって提供された範囲に適合するように前記触力覚効果に関連する前記情報をスケーリングすることと、
を行う、請求項６に記載の装置。

【請求項11】

特定の触力覚チャネルに対する可変空間分解能を有する一連の頂点及び面を含む身体モデルにマッピングされた触力覚効果と、
前記触力覚効果及び場所に対応する前記特定の触力覚チャネルに関連する特性に対応する前記面に埋め込まれたメタデータと、
タイムスタンプ及び面識別子を含む、前記特定の触力覚チャネルに関連する連結情報と、
触力覚信号を形成するために多重化された多数の触力覚チャネルに対する信号と、
を含む、符号化された映像信号データを有する非一時的なコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本原理は、概して、触力覚及びマルチメディアの分野に関する。

【背景技術】

【0002】

新しい技術開発により、ますます多くの没入型マルチメディアシステムの作成が可能になる。今では、エンドユーザの生活空間には三次元（３Ｄ）画像及び空間音響が存在する。しかし、これらのシステムは依然として２つの感覚（視覚及び聴覚）の刺激に制限される一方で、バーチャルリアリティの研究では、触知覚が没入感と強く関係していることが示されている。

【0003】

この研究努力から、ハプティックオーディオビジュアル（ＨＡＶ）と呼ばれる新しい科学分野が出現した。２０１１年にA.E. Saddikによって導入されたＨＡＶは、触力覚及び視聴覚コンテンツの組合せに関連する。これは最近の分野であるため、すべてのメカニズム、ツール及び概念はまだ指定されていない（図１を参照）。

【0004】

ＭＰＥＧ−Ｖ（ムービングピクチャエクスパーツグループ−メディアの状況と制御）アーキテクチャは、ＨＡＶコンテンツの生成、分配及びレンダリングのためのこのワークフローの形式化の１つである。ＭＰＥＧ−Ｖ規格は、触力覚効果のみならず味覚及び嗅覚効果も含む「感覚効果」について説明している。

【0005】

ＭＰＥＧ−Ｖは、振動、剛体運動又は力フィードバックなどのいくつかの触力覚効果をサポートする。また、効果は、ユーザの身体全体を刺激することも、ユーザによって共有される空間における特定のポイントを対象とすることもできる（図２の例を参照）。

【0006】

ＭＰＥＧ−Ｖは、ユーザの身体全体の刺激を対象とし、また、ユーザが移動する空間における特定のポイントの刺激も対象とする。同じように、触力覚デバイス（アクチュエータとも呼ばれる）は、触力覚効果をレンダリングする能力の観点からそのデバイスの能力を設定することによって及びユーザの空間に関してその効果の場所を設定することによって定義することができる。ＭＰＥＧ−Ｖによれば、ユーザの空間において１つのポイントしか触力覚効果をレンダリングするように定義されておらず、そのことは、ユーザが空間を移動する際に問題となり得る。そのような事例では、ユーザは、触力覚効果を感じない。

【0007】

しかし、この効果の場所の記述では、ユーザは、ユーザの身体の一部位に直接対処することができない。立方体によって定義される空間における１つのポイントのみが与えられるのである（例えば、図２のcenter1eft:midd1e:front）。

【0008】

この表現は、人の触知覚を考慮しない。例えば、皮膚上の２つの振動刺激が近過ぎる場合は、１つの振動しか感じられないことが知られている。そのような触力覚効果の記述から、無駄な情報が格納されるか又は触力覚レンダラに送信される可能性がある。

【0009】

その上、単一の更新レートが指定される。しかし、刺激されるユーザの身体上のいくつかの場所は、異なる時間感度を有し得る。

【先行技術文献】

【特許文献】

【0010】

【特許文献1】欧州特許第１４３０５８２３．８号明細書

【発明の概要】

【発明が解決しようとする課題】

【0011】

ＭＰＥＧ−Ｖ規格は、触力覚効果の高水準記述を提案している。しかし、規格は、人間の知覚的特定性を考慮せず、従って、低過ぎるか又はグローバルな空間及び時間粒度で冗長データがカプセル化され得る。

【0012】

特許文献１では、触力覚効果及びアクチュエータ入力を関連させるために詳細な３Ｄ身体モデル（例えば、骨格）の使用が紹介された。ここでは、身体モデルは、物理的モデルの使用を通じて、アクチュエータの場所に位置しないポイントから起こり得る効果からアクチュエータ入力を推論するために使用された。

【課題を解決するための手段】

【0013】

説明される実施形態は、コンパクトな知覚駆動符号化及び触力覚効果の潜在的な送信のための方法及び装置を提供するために、３Ｄ身体モデルの大幅な使用を提案する。

【0014】

一般的な一態様によれば、方法が提供される。方法は、特定の触力覚チャネルに対する可変空間分解能を有する一連の頂点及び面を含む身体モデルに触力覚効果をマッピングすることを含む。方法は、触力覚効果及び場所に対応する特定の触力覚チャネルに関連する特性に対応する面にメタデータを埋め込むことをさらに含む。方法は、タイムスタンプ及び面識別子を含む、特定の触力覚チャネルに関連する情報を連結することと、触力覚信号にするために多数の触力覚チャネルに対する信号を多重化することとをさらに含む。

【0015】

別の一般的な態様によれば、装置が提供される。装置は、特定の触力覚チャネルに対する可変空間分解能を有する一連の頂点及び面を含む身体モデルに触力覚効果をマッピングする第１のプロセッサを含む。装置は、触力覚効果及び場所に対応する特定の触力覚チャネルに関連する特性に対応する面にメタデータを埋め込む第２のプロセッサと、タイムスタンプ及び面識別子を含む、特定の触力覚チャネルに関連する情報を連結する第３のプロセッサとをさらに含む。装置は、触力覚信号を形成するために多数の触力覚チャネルに対する信号に基づいて動作するマルチプレクサをさらに含む。

【0016】

１つ又は複数の実装の詳細は、添付の図面及び以下の説明において記載する。特定の１つの方法で説明されている場合であっても、様々な方法で実装を構成又は具体化できることは明白であるべきである。例えば、実装は、方法として実行することも、装置（例えば、一連の動作を実行するように構成された装置又は一連の動作を実行するための命令を格納する装置など）として具体化することも、信号で具体化することもできる。他の態様や特徴は、添付の図面及び請求項と併せて考慮して、以下の詳細な説明から明らかになるであろう。

【0017】

本原理は、以下の例示的な図に従って、より良く理解することができる。

【図面の簡単な説明】

【0018】

【図1】本原理の下での、ハプティックオーディオビジュアルのためのワークフローの一実施形態を示す。

【図2】本原理の下での、アクチュエータの３×３の行列によってレンダリングされた、心臓の近くの振動効果の一実施形態を示す。

【図3】本原理の下での、触力覚信号のための知覚駆動符号化スキームの一実施形態を示す。

【図4A】本原理の下での、符号化ワークフローの一実施形態を示す。

【図4B】本原理の下での、符号化ワークフローの一実施形態を示す。

【図5】人体の感度グラフを示す。

【図6】触力覚チャネル適応メッシュの例を示す。

【図7】本原理の下での、一連の基準の触力覚身体モデルの格納のためのコードの一実施形態を示す。

【図8】骨格によって表される身体モデルの一実施形態を示す。

【図9】本原理の下での、階層的な身体モデルの一実施形態を示す。

【図10】３Ｄモデルにテクスチャをマッピングするために古典的に使用されたＵＶマップの例を示す。

【図11】本原理の下での、マルチチャネル触力覚効果信号を形成するための方法の一実施形態を示す。

【図12】本原理の下での、マルチチャネル触力覚効果信号を形成するための装置の一実施形態を示す。

【発明を実施するための形態】

【0019】

説明される実施形態の原理は、図３に示されるようなオーサリング段階の間に提供される触力覚効果の高水準記述から知覚駆動符号化触力覚信号を生成することを目的とする。

【0020】

重要な態様の１つは、異なる触力覚チャネル（振動、温度、圧力など）に対する平均的な人間の知覚的特性を考慮したいくつかの基本的な３Ｄ身体モデルにそれらの高水準効果をリマッピングすることである。

【0021】

身体モデルは、各触力覚チャネルに対して１つずつ定義することができる。例えば、ある身体モデルは、振動に対して作成することができ、別の身体モデルは、温度に対して作成することができるなど、以下同様である。各身体モデルは、考慮されているチャネルに対するユーザ空間感度に応じて、可変空間分解能又は面サイズを有する一連の頂点及び面によって特徴付けられる。また、各面は、必要な時間分解能又は最小及び最大許容値など、特定の対象とする触力覚チャネル及び場所に関連するいくつかの重要な特性に相当するいくつかのメタ情報も埋め込む。

【0022】

リマッピングが完了した時点で（オーサリング段階の間に与えられる異なる重要なフレーム間の潜在的な補間によって）、関連３Ｄモデルに関連する面識別子、関連時間分解能に関して演算されたタイムスタンプ及び正規化された実際の値（最小／最大は０／１にマッピングされる）の連結として、各モデル／コンポーネントに対する信号が生成される。変化が起こった活性面のみ、考慮することができる。

【0023】

次いで、各触力覚チャネルに対する異なる信号は、簡単な連結を通じて知覚駆動符号化触力覚信号にするために多重化され、各モデル／コンポーネントは、専用識別子によって識別される。最終的なステップとして、信号は、送信又は格納のために圧縮することができるが、この圧縮ステップは、ここでは対処しない。

【0024】

この知覚駆動符号化触力覚信号は、そのモデルベースの構築のおかげで、空間的及び時間的な人間の知覚特性を自然に考慮し、送信に対して高度にコンパクトで適応性があるものであり得る。実際に、ストリーミングの文脈では、異なる身体モデルは、専用規格の一部であり得、必ずしも送信しなければならないわけではなく、モデル及び面識別子ならびにタイムスタンプ及び値のみが送信される。

【0025】

たった今説明された符号化戦略の詳細な実装を考慮する。入力高水準触力覚は、触力覚データの自動補足及び手動編集を組み合わせることができるオーサリングツール（図４Ａ及び図４Ｂ）の使用を通じて与えられる。この例では、「左前腕の高い温度」や「左腕の振動」などの高水準触力覚効果が必要とされる。

【0026】

符号化手順の第１のステップは、各触力覚チャネルに対する基準のモデルとして定義される基本的な身体モデルに高水準効果をマッピングすることである。

【0027】

以前に言及されるように、各モデルは、考慮されているチャネルに対するユーザ空間感度に応じて空間分解能を有する一連の面／部位によって特徴付けられる（図６）。

【0028】

大部分の人間の触覚センサは手に位置するが、我々の感度は、例えば、腕又は胴体ではそれほど発達していないことがよく知られている（図５）。従って、触覚チャネルの場合、腕よりも手のひら／指のエリアにおいて高い分解能で身体モデルを構築することが論理的である。この解決法は、例えば、運動感覚チャネルなどの別の触力覚チャネルの場合は異なり得る。

【0029】

また、モデルの各面／部位は、特定の対象とする触力覚チャネル及び場所に関連する重要な特性に相当するいくつかのメタ情報も埋め込む。第１の情報は、考慮されている触力覚チャネルに適合する局所的な時間分解能であり得る。１００Ｈｚの周波数での温度信号の符号化は適切でなく、運動信号の事例においてより適切であることは明白である。第２の情報は、考慮されている触力覚チャネルに対して許容可能な最小／最大値であり得る。この情報は、次のセクションで説明されるマッピングの再正規化ステップで役立てることができる。

【0030】

一実施形態によるそれらの身体モデルを格納するための便利な方法は、一連の頂点及び面として３Ｄ ＣＧＩモデルを古典的に格納する「wavefront」フォーマット（.obj）の変形であり得る。例として、この実施形態では、図７に示されるように、各モデルに対し、古典的な頂点及び面情報に加えて、各面に対する周波数及び最小／最大許容値を表すメタデータを含むフィールドを古典的な表現に連結することができる。

【0031】

所定のタイムスタンプにおける高水準触力覚効果（場合により、補間されたもの）のマッピング手順は、以下で構成される。
１．選択：現在の触力覚効果に関与する基準のモデルを選択する。
２．投影：関連触力覚チャネルに対応する身体モデルの最も近い面／部位に入力高水準触力覚効果を投影する。
３．空間的フィルタリング：考慮されている身体モデルの基本的な空間分解能に従ってすべての活性面を収集する。
４．時間的フィルタリング：モデルメタデータによって提供された対応する時間周波数に適合するようにリサンプリングする。
５．正規化：最終値がモデルメタデータによって提供された最小／最大に適合するように、高水準値を［０；１］にスケーリング及び場合により閾値設定する。

【0032】

マッピングプロセス後、各身体モデルに対し、第１の単一チャネルの知覚駆動符号化触力覚信号が構築され、この信号の各サンプルは、
・ 現在のタイムスタンプ
・ 一連の活性化された面
・ 正規化された活性化値
から構成される。

【0033】

そのような信号は、影響を受けた各身体モデルに対して構築される。その例は図４Ａ及び図４Ｂに示されている。

【0034】

最終的な知覚駆動符号化触力覚信号は、多重化ステップを通じて得られ、多重化ステップは、各単一チャネルの符号化信号を時間的に並べ替え、どの身体モデルが現在考慮されているかを指定するために身体モデル識別子を追加する。その例は図４Ａ及び図４Ｂに示されている。

【0035】

頂点及び面によって表される身体モデルの代わりに、図８の例に示されるように、骨と関節を有する骨格を使用することができる。この表現は、運動感覚効果（手足の動き又は力フィードバック）により適している。

【0036】

別の実施形態では、図８の例に示されるように、身体モデルは、階層的に表すこともできる。従って、身体部位（例えば、腕）を記述するために使用されるすべての面識別子の代わりに、身体部位（例えば、腕）を送信することができる。この実施形態では、送信データは少ない。この実施形態の別の利点は、身体のさらなる「人間総合」表現である。図４Ａ及び図４Ｂで説明される知覚駆動符号化信号は、
0/0/50/0.2
0/1/60/0.6
10/0/50/0.2
20/0/50/0.2
30/0/50/0.2
30/1/60/0.6
40/0/50/0.2
50/0/50/0.2
60/0/50/0.2
60/1/60/0.6…
のように記載することができ、コード５０は、腕に関連する面のすべてを表し、コード６０は、前腕に関連する面のすべてを表す。

【0037】

例えば図９に示されるように、別の実施形態では、最適化触力覚効果はＵＶマップで記述することができる。そのような画像は、３Ｄモデルに簡単にマッピングすることができる。

【0038】

図１１は、マルチチャネル触力覚効果信号を形成するための方法１１００の一実施形態を示す。方法は、開始ブロック１１０１を含み、そこから、制御は、身体モデルに触力覚効果をマッピングするためのブロック１１１０に進む。身体モデルは、その特定の触力覚チャネルに対する可変空間分解能を有する一連の頂点及び面を含み得る。制御は、ブロック１１１０から、触力覚チャネルの面にメタデータを埋め込むためのブロック１１２０に進む。メタデータは、特定の触力覚チャネルに関連する情報を含む。制御は、ブロック１１２０から、触力覚チャネルに関連する情報を連結するためのブロック１１３０に進む。この情報は、タイムスタンプ及び面識別子を含む。次に、制御は、ブロック１１３０から、マルチチャネル触力覚信号にするために多数の触力覚チャネルに対する信号を多重化するためのブロック１１４０に進む。

【0039】

図１２は、マルチチャネル触力覚効果信号を形成するための装置１２００の一実施形態を示す。装置は、身体モデルに触力覚効果をマッピングするための第１のプロセッサ１２１０を含む。身体モデルは、その特定の触力覚チャネルに対する可変空間分解能を有する一連の頂点及び面を含み得る。第１のプロセッサ１２１０の第１の入力は、触力覚効果を受信する。各触力覚チャネルに対する触力覚効果を連続的に受信することも、供給源から並列に触力覚効果情報を受信する並列入力で第１の入力を実際に実装することもできる。第１のプロセッサ１２１０の出力は、第２のプロセッサ１２２０への入力との信号接続性を有するものである。第２のプロセッサ１２２０は、触力覚チャネルの面にメタデータを埋め込む。メタデータは、特定の触力覚チャネルに関連する情報を含む。第２のプロセッサ１２２０の出力は、第３のプロセッサ１２３０への入力との信号接続性を有するものである。第３のプロセッサ１２３０は、触力覚チャネルに関連する情報を連結する。この情報は、タイムスタンプ及び面識別子を含む。第３のプロセッサ１２３０の出力は、マルチプレクサ１２４０への入力との信号接続性を有するものであり、マルチプレクサ１２４０は、マルチチャネル触力覚信号にするために多数の触力覚チャネルに対する信号を多重化する。

【0040】

説明される実施形態のいずれのプロセッサも、個別のプロセッサ、統合プロセッサ、又は、統合プロセッサと個別のプロセッサの何らかの組合せを使用して実装することができる。プロセッサのうちの１つ又はすべては、他の回路の一部としても実装することができる。

【0041】

本説明は、本原理を示す。従って、当業者は、本明細書では明示的に説明されても示されてもいないが、本開示の原理を具体化し、本開示の原理の範囲内に含まれる様々な構成を考案できることが理解されよう。

【0042】

本明細書に記述されるすべての例及び条件語句は、教育上の目的で、当技術分野を促進するために本発明人によって寄与される本原理及び概念を読者が理解できるように支援することが意図され、そのような具体的に記述される例及び条件に限定されるものではないと解釈されたい。

【0043】

その上、本原理の原則、態様及び実施形態ならびにそれらの具体的な例を記述する本明細書のすべての説明は、それらの構造上の均等物と機能上の均等物の両方を包含することが意図される。それに加えて、そのような均等物は、現在知られている均等物と今後開発される均等物（すなわち、構造にかかわらず、同じ機能を実行する、開発される任意の要素）の両方を含むことが意図される。

【0044】

従って、例えば、本明細書で提示されるブロック図は、本原理を具体化する例示的な回路の概念図を表すことが当業者によって理解されよう。同様に、いかなるフローチャート、フロー図、状態遷移図、擬似コード及び同様のものも、様々なプロセスを表し、様々なプロセスは、コンピュータ可読媒体で本質的に表すことができ、コンピュータ又はプロセッサが明示的に示されているか否かにかかわらず、そのようなコンピュータ又はプロセッサによって実行できることが理解されよう。

【0045】

図に示される様々な要素の機能は、専用ハードウェアの使用を通じて及び適切なソフトウェアに関連してソフトウェアの実行が可能なハードウェアの使用を通じて提供することができる。プロセッサによって提供される際は、機能は、単一の専用プロセッサによって、単一の共有プロセッサによって、又は、そのうちのいくつかを共有することができる多数の個々のプロセッサによって、提供することができる。その上、「プロセッサ」又は「コントローラ」という用語の明示的な使用は、ソフトウェアの実行が可能なハードウェアを排他的に指すものと解釈すべきではなく、制限なく、デジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを格納するための読み取り専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）及び不揮発性記憶装置を暗黙的に含み得る。

【0046】

他のハードウェア（従来の及び／又はカスタムの）も含めることができる。同様に、図に示されるいかなるスイッチも単なる概念的なものである。それらの機能は、プログラム論理の操作を通じて、専用論理を通じて、プログラム制御と専用論理の相互作用を通じて又は手動でさえも実行することができ、文脈からより具体的に理解されるように、実装者によって特定の技法が選択可能である。

【0047】

本明細書の請求項では、指定された機能を実行するための手段として表現されたいかなる要素も、例えば、ａ）その機能を実行する回路要素の組合せ、又は、ｂ）機能を実行するためにそのソフトウェアを実行するための適切な回路と組み合わされた任意の形態のソフトウェア（従って、ファームウェア、マイクロコード又は同様のものを含む）を含む、その機能を実行するいかなる方法も包含することが意図される。そのような請求項によって定義されるような本原理は、記述される様々な手段によって提供される機能は請求項が要求する方法で組み合わされてまとめられるという事実に存在する。従って、それらの機能を提供できるいかなる手段も本明細書に示されるものと均等であると見なされる。

【0048】

本明細書における本原理の「一実施形態」又は「実施形態」及びその他の変形例への言及は、実施形態と関係して説明される特定の特徴、構造、特性などが本原理の少なくとも１つの実施形態に含まれることを意味する。従って、本明細書全体を通じて様々な場所に現れる「一実施形態では」又は「実施形態では」という記載及び他の変形例の出現は、必ずしもすべてが同じ実施形態を指すわけではない。

【0049】

次の「／」、「及び／又は」及び「の少なくとも１つ」のいずれかの使用は、例えば、「Ａ／Ｂ」、「Ａ及び／又はＢ」及び「Ａ及びＢの少なくとも１つ」の事例では、第１にリストされたオプション（Ａ）のみの選択、第２にリストされたオプション（Ｂ）のみの選択、又は、両方のオプション（Ａ及びＢ）の選択を包含することが意図されることを理解されたい。さらなる例として、「Ａ、Ｂ及び／又はＣ」及び「Ａ、Ｂ及びＣの少なくとも１つ」の事例では、そのような記載は、第１にリストされたオプション（Ａ）のみの選択、第２にリストされたオプション（Ｂ）のみの選択、第３にリストされたオプション（Ｃ）のみの選択、第１及び第２にリストされたオプション（Ａ及びＢ）のみの選択、第１及び第３にリストされたオプション（Ａ及びＣ）のみの選択、第２及び第３にリストされたオプション（Ｂ及びＣ）のみの選択、又は、３つのすべてのオプション（Ａ及びＢ及びＣ）の選択を包含することが意図される。当業者であれば容易に明らかであるように、リストされるアイテムの分だけ、これは拡張することができる。

【0050】

本原理のこれらの及び他の特徴及び利点は、当業者であれば、本明細書の教示に基づいて、容易に確認することができる。本原理の教示は、ハードウェア、ソフトウェア、ファームウェア、特殊用途プロセッサ又はそれらの組合せの様々な形態で実装できることを理解されたい。

【0051】

最も好ましくは、本原理の教示は、ハードウェアとソフトウェアの組合せとして実装される。その上、ソフトウェアは、プログラム格納ユニット上で有形に具体化されるアプリケーションプログラムとして実装することができる。アプリケーションプログラムは、任意の適切なアーキテクチャを含むマシンにアップロードし、同マシンによって実行することができる。好ましくは、マシンは、１つ又は複数の中央処理装置（「ＣＰＵ」）、ランダムアクセスメモリ（「ＲＡＭ」）及び入力／出力（「Ｉ／Ｏ」）インタフェースなどのハードウェアを有するコンピュータプラットフォーム上で実装される。また、コンピュータプラットフォームは、オペレーティングシステム及びマイクロ命令コードも含み得る。本明細書で説明される様々なプロセス及び機能は、マイクロ命令コードの一部、アプリケーションプログラムの一部又はそれらの任意の組合せであり得、ＣＰＵによって実行することができる。それに加えて、コンピュータプラットフォームには、追加のデータ格納ユニット及び印刷ユニットなどの様々な他の周辺ユニットを接続することができる。

【0052】

添付の図面に描写される構成システムコンポーネント及び方法のいくつかはソフトウェアで実装されることが好ましいため、システムコンポーネント間又はプロセス機能ブロック間の実際の接続は、本原理がプログラムされる方法に応じて異なり得ることをさらに理解されたい。本明細書の教示を考慮すると、当業者は、本原理のこれらの及び同様の実装又は構成を企図することができるであろう。

【0053】

本明細書では、添付の図面を参照して例示的な実施形態について説明してきたが、本原理はそれらのまさにその通りの実施形態に限定されるわけではないことや、本原理の範囲から逸脱することなく、当業者によってその中で様々な変化及び変更をもたらすことができることを理解されたい。そのような変化及び変更はすべて、添付の請求項に記載されるように、本原理の範囲内に含まれることが意図される。
［付記１］
特定の触力覚チャネルに対する可変空間分解能を有する一連の頂点及び面を含む身体モデルに触力覚効果をマッピングすることと、
前記触力覚効果及び場所に対応する前記特定の触力覚チャネルに関連する特性に対応する前記面にメタデータを埋め込むことと、
タイムスタンプ及び面識別子を含む、前記特定の触力覚チャネルに関連する情報を連結することと、
触力覚信号にするために複数の触力覚チャネルに対する信号を多重化することと、
を含む、方法。
［付記２］
連結された前記情報が、正規化された活性化値をさらに含む、付記１に記載の方法。
［付記３］
前記触力覚信号を圧縮することをさらに含む、付記１に記載の方法。
［付記４］
前記触力覚信号を送信することをさらに含む、付記１に記載の方法。
［付記５］
マッピングすることが、
触力覚効果に対する基準の身体モデルを選択することと、
触力覚チャネルと関連付けられた前記身体モデルの面に触力覚効果を投影することと、
前記身体モデルの空間分解能に従って活性面を収集することと、
前記メタデータによって提供された時間周波数に適合するように前記触力覚効果に関連する情報をリサンプリングすることと、
前記メタデータによって提供された範囲に適合するように前記触力覚効果に関連する前記情報をスケーリングすることと、
を含む、付記１に記載の方法。
［付記６］
特定の触力覚チャネルに対する可変空間分解能を有する一連の頂点及び面を含む身体モデルに触力覚効果をマッピングする第１のプロセッサと、
前記触力覚効果及び場所に対応する前記特定の触力覚チャネルに関連する特性に対応する前記面にメタデータを埋め込む第２のプロセッサと、
タイムスタンプ及び面識別子を含む、前記特定の触力覚チャネルに関連する情報を連結する第３のプロセッサと、
触力覚信号を形成するために多数の触力覚チャネルに対する信号に基づいて動作するマルチプレクサと、
を含む、装置。
［付記７］
連結された前記情報が、正規化された活性化値をさらに含む、付記６に記載の装置。
［付記８］
前記触力覚信号に基づいて動作するデータコンプレッサをさらに含む、付記６に記載の装置。
［付記９］
前記触力覚信号に基づいて動作する送信機をさらに含む、付記６に記載の装置。
［付記１０］
前記第１のプロセッサが、
触力覚効果に対する基準の身体モデルを選択することと、
触力覚チャネルと関連付けられた前記身体モデルの面に触力覚効果を投影することと、
前記身体モデルの空間分解能に従って活性面を収集することと、
前記メタデータによって提供された時間周波数に適合するように前記触力覚効果に関連する情報をリサンプリングすることと、
前記メタデータによって提供された範囲に適合するように前記触力覚効果に関連する前記情報をスケーリングすることと、
を行う、付記６に記載の装置。
［付記１１］
特定の触力覚チャネルに対する可変空間分解能を有する一連の頂点及び面を含む身体モデルにマッピングされた触力覚効果と、
前記触力覚効果及び場所に対応する前記特定の触力覚チャネルに関連する特性に対応する前記面に埋め込まれたメタデータと、
タイムスタンプ及び面識別子を含む、前記特定の触力覚チャネルに関連する連結情報と、
触力覚信号を形成するために多重化された多数の触力覚チャネルに対する信号と、
を含む、符号化された映像信号データを有する非一時的なコンピュータ可読記憶媒体。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】