特許 7593399 復号装置、復号方法、プログラム、符号化装置、符号化方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-25

(45)【発行日】2024-12-03

(54)【発明の名称】復号装置、復号方法、プログラム、符号化装置、符号化方法

(51)【国際特許分類】

   H03M 7/30 20060101AFI20241126BHJP

   G06F 3/01 20060101ALI20241126BHJP

   A63F 13/285 20140101ALI20241126BHJP

【ＦＩ】

H03M7/30 Z

G06F3/01 560

A63F13/285

【請求項の数】 14

(21)【出願番号】P 2022517551

(86)(22)【出願日】2021-03-19

(86)【国際出願番号】 JP2021011494

(87)【国際公開番号】W WO2021220659

(87)【国際公開日】2021-11-04

【審査請求日】2024-02-02

(31)【優先権主張番号】P 2020079874

(32)【優先日】2020-04-29

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】110003410

【氏名又は名称】弁理士法人テクノピア国際特許事務所

(72)【発明者】

【氏名】竹田 裕史

(72)【発明者】

【氏名】錦織 修一郎

(72)【発明者】

【氏名】鈴木 志朗

(72)【発明者】

【氏名】渡邉 高弘

【審査官】北村 智彦

(56)【参考文献】

【文献】特開２０１４－２３９４３０（ＪＰ，Ａ）

【文献】国際公開第２０１１／０２７５３５（ＷＯ，Ａ１）

【文献】特開２００８－１２３４３１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０３Ｍ ７／３０

Ｇ０６Ｆ ３／０１

Ａ６３Ｆ １３／２８５

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

触覚信号中における対象物との接触状態を示す信号区間である接触信号区間の一部区間であって、前記対象物との接触状態と非接触状態との境界を含む信号区間である第１信号区間の触覚信号について、第１のビットレートによる符号化を行って得られた第１の符号化データを復号する第１復号部と、
前記接触信号区間のうち前記第１信号区間を除く信号区間である第２信号区間の触覚信号について、前記第１のビットレートよりも低ビットレートによる符号化を行って得られた第２の符号化データを復号する第２復号部と、を備える
復号装置。

【請求項2】

前記第１の符号化データを復号することで得られた第１の波形データと、前記第２の符号化データを復号することで得られた第２の波形データとを結合する結合部を備える
請求項１に記載の復号装置。

【請求項3】

前記結合部は、前記第１の波形データと前記第２の波形データの結合部分についてクロスフェード処理を施す
請求項２に記載の復号装置。

【請求項4】

触覚信号中における対象物との接触状態を示す信号区間である接触信号区間の一部区間であって、前記対象物との接触状態と非接触状態との境界を含む信号区間である第１信号区間の触覚信号について、第１のビットレートによる符号化を行って得られた第１の符号化データを復号し、
前記接触信号区間のうち前記第１信号区間を除く信号区間である第２信号区間の触覚信号について、前記第１のビットレートよりも低ビットレートによる符号化を行って得られた第２の符号化データを復号する
復号方法。

【請求項5】

触覚信号中における対象物との接触状態を示す信号区間である接触信号区間の一部区間であって、前記対象物との接触状態と非接触状態との境界を含む信号区間である第１信号区間の触覚信号について、第１のビットレートによる符号化を行って得られた第１の符号化データを復号する機能と、
前記接触信号区間のうち前記第１信号区間を除く信号区間である第２信号区間の触覚信号について、前記第１のビットレートよりも低ビットレートによる符号化を行って得られた第２の符号化データを復号する機能と、を情報処理装置に実行させる
プログラム。

【請求項6】

触覚信号中における対象物との接触状態を示す信号区間である接触信号区間の一部区間であって前記対象物との接触状態と非接触状態との境界を含む信号区間である第１信号区間と、前記接触信号区間のうち前記第１信号区間を除く信号区間である第２信号区間と、を判定する判定部と、
前記第１信号区間の触覚信号について、第１のビットレートによる符号化を行う第１符号化部と、
前記第２信号区間の触覚信号について、前記第１のビットレートよりも低ビットレートによる符号化を行う第２符号化部と、を備える
符号化装置。

【請求項7】

前記判定部は、触覚信号に付加された前記第１信号区間及び前記第２信号区間の区分情報に基づいて前記第１信号区間及び前記第２信号区間を判定する
請求項６に記載の符号化装置。

【請求項8】

前記判定部は、触覚信号の波形解析を行った結果に基づいて前記第１信号区間及び前記第２信号区間を判定する
請求項６に記載の符号化装置。

【請求項9】

前記判定部は、触覚信号の振幅変化率に基づいて前記第１信号区間及び前記第２信号区間を判定する
請求項６に記載の符号化装置。

【請求項10】

前記第２符号化部は、前記第２信号区間について前記第１信号区間に対する符号化よりも変換長が長い符号化方式による符号化を行う
請求項６に記載の符号化装置。

【請求項11】

前記第２符号化部は、前記第２信号区間についてパラメトリック符号化を行う
請求項６に記載の符号化装置。

【請求項12】

前記第１信号区間及び前記第２信号区間を判定するために用いる第１バッファメモリと、
前記判定の結果に応じて前記第２信号区間に対して符号化を行うために用いる第２バッファメモリと、を備える
請求項１０に記載の符号化装置。

【請求項13】

触覚信号中における対象物との接触状態を示す信号区間である接触信号区間の一部区間であって前記対象物との接触状態と非接触状態との境界を含む信号区間である第１信号区間と、前記接触信号区間のうち前記第１信号区間を除く信号区間である第２信号区間と、を判定し、前記第１信号区間の触覚信号について、第１のビットレートによる符号化を行い、前記第２信号区間の触覚信号について、前記第１のビットレートよりも低ビットレートによる符号化を行う
符号化方法。

【請求項14】

触覚信号中における対象物との接触状態を示す信号区間である接触信号区間の一部区間であって前記対象物との接触状態と非接触状態との境界を含む信号区間である第１信号区間と、前記接触信号区間のうち前記第１信号区間を除く信号区間である第２信号区間と、を判定する機能と、
前記第１信号区間の触覚信号について、第１のビットレートによる符号化を行う機能と、
前記第２信号区間の触覚信号について、前記第１のビットレートよりも低ビットレートによる符号化を行う機能と、を情報処理装置に実行させる
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は符号化された触覚信号を復号する復号装置とその復号方法、及び復号装置のプログラムと、触覚信号を符号化する符号化装置とその符号化方法、及び符号化装置のプログラムとに関する。

【背景技術】

【0002】

近年、ユーザが装着する装置が振動して、ユーザに触覚刺激を与える技術が開発されている。ここで、触覚刺激とは、振動現象などにより触覚をユーザに感じさせる物理現象をいう。また、触覚刺激を発生させることを触覚提示と称する。

【0003】

触覚提示を行う技術は、種々の分野の機器で利用されている。例えば、スマートフォン等のタッチパネルを備える端末装置では、タッチパネルがユーザからのタッチ操作に応じて振動し、ユーザの指に触覚刺激を与えることにより、タッチパネルに表示されたボタン等へのタッチ感を表現することが可能となる。また、例えば、ヘッドホンなどの音楽リスニング装置では、音楽再生に合わせて触覚刺激を与えることにより、再生中の音楽における重低音を強調することが可能となる。また、例えば、コンピュータゲームやＶＲ（Virtual Reality）などを提供する装置では、コントローラを用いた操作やコンテンツのシーンに応じて、当該コントローラなどを振動させ、触覚刺激を与えることにより、ユーザのコンテンツに対する没入感を向上させることが可能となる。

【0004】

また、外部装置から受信した触覚信号に基づいてユーザに触覚刺激を与える技術が開発されている。例えば、下記特許文献１では、受信した信号に基づいて、振動の周波数や振幅を変化させながらユーザに触覚刺激を与える技術が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１６－２０２４８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ここで、ユーザの身体における複数の部位に対し触覚提示を行う際に、ユーザの各部位に対応したチャンネルごとに触覚信号を用意する必要があることを考える。この場合、触覚刺激を与える部位の数を増加させるに従って、必要となる触覚信号の総データ量が増加する状況が想定される。また、触覚信号が含む振動の周波数の幅が広くなる場合でも、必要となる触覚信号の総データ量は増加する。そのため、触覚信号の送受信に用いられるネットワークの輻輳状態などにより、触覚信号の送受信の遅延が発生し得る。

【0007】

本技術は、上記の事情に鑑みてなされたものであり、伝送データ量の削減と触覚再現性の確保の両立が図られるようにすることを目的とする。

【課題を解決するための手段】

【0008】

本技術に係る復号装置は、触覚信号中における対象物との接触状態を示す信号区間である接触信号区間の一部区間であって、前記対象物との接触状態と非接触状態との境界を含む信号区間である第１信号区間の触覚信号について、第１のビットレートによる符号化を行って得られた第１の符号化データを復号する第１復号部と、前記接触信号区間のうち前記第１信号区間を除く信号区間である第２信号区間の触覚信号について、前記第１のビットレートよりも低ビットレートによる符号化を行って得られた第２の符号化データを復号する第２復号部と、を備えるものである。
これにより、接触信号区間中の重要区間についてのみ高ビットレートによる符号化がされ、それ以外の区間について低ビットレートによる符号化がされた触覚符号化データを適切に復号することができ、データ量の削減と触覚再現性の確保の両立が図られるようにすることが可能となる。

【0009】

上記した本技術に係る復号装置は、前記第１の符号化データを復号することで得られた第１の波形データと、前記第２の符号化データを復号することで得られた第２の波形データとを結合する結合部を備えることが考えられる。
これにより、各波形データが一つの波形データに統合される。

【0010】

上記した本技術に係る復号装置において、前記結合部は、前記第１の波形データと前記第２の波形データの結合部分についてクロスフェード処理を施すことが考えられる。
これにより、第１の波形データと第２の波形データが滑らかに結合される。

【0011】

また、本技術に係る復号方法は、触覚信号中における対象物との接触状態を示す信号区間である接触信号区間の一部区間であって、前記対象物との接触状態と非接触状態との境界を含む信号区間である第１信号区間の触覚信号について、第１のビットレートによる符号化を行って得られた第１の符号化データを復号し、前記接触信号区間のうち前記第１信号区間を除く信号区間である第２信号区間の触覚信号について、前記第１のビットレートよりも低ビットレートによる符号化を行って得られた第２の符号化データを復号する復号方法である。
このような復号方法によっても、上記した本技術に係る復号装置と同様の作用が得られる。

【0012】

さらに、本技術に係る第１のプログラムは、触覚信号中における対象物との接触状態を示す信号区間である接触信号区間の一部区間であって、前記対象物との接触状態と非接触状態との境界を含む信号区間である第１信号区間の触覚信号について、第１のビットレートによる符号化を行って得られた第１の符号化データを復号する機能と、前記接触信号区間のうち前記第１信号区間を除く信号区間である第２信号区間の触覚信号について、前記第１のビットレートよりも低ビットレートによる符号化を行って得られた第２の符号化データを復号する機能と、を情報処理装置に実行させるプログラムである。
このような本技術に係る第１のプログラムにより、上記した本技術に係る復号装置が実現される。

【0013】

本技術に係る符号化装置は、触覚信号中における対象物との接触状態を示す信号区間である接触信号区間の一部区間であって前記対象物との接触状態と非接触状態との境界を含む信号区間である第１信号区間と、前記接触信号区間のうち前記第１信号区間を除く信号区間である第２信号区間と、を判定する判定部と、前記第１信号区間の触覚信号について、第１のビットレートによる符号化を行う第１符号化部と、前記第２信号区間の触覚信号について、前記第１のビットレートよりも低ビットレートによる符号化を行う第２符号化部と、を備えるものである。
これにより、接触信号区間中の重要区間についてのみ高ビットレートによる符号化が行われ、それ以外の区間は低ビットレートによる符号化が行われる。

【0014】

上記した本技術に係る符号化装置において、前記判定部は、前記触覚信号に付加された前記第１信号区間及び前記第２信号区間の区分情報に基づいて前記第１信号区間及び前記第２信号区間を判定することが考えられる。
これにより、第１信号区間及び第２信号区間の判定にあたり波形解析の処理が不要とされる。

【0015】

上記した本技術に係る符号化装置において、前記判定部は、前記触覚信号の波形解析を行った結果に基づいて前記第１信号区間及び前記第２信号区間を判定することが考えられる。
これにより、第１信号区間と第２信号区間に個別の符号化を施すにあたり、接触信号に第１信号区間と第２信号区間の区別情報を付加しておく必要がなくなる。

【0016】

上記した本技術に係る符号化装置において、前記判定部は、前記触覚信号の振幅変化率に基づいて前記第１信号区間及び前記第２信号区間を判定することが考えられる。
これにより、触覚信号の波形について急峻な変化を伴う第１信号区間を適切に判定可能となる。

【0017】

上記した本技術に係る符号化装置において、前記第２符号化部は、前記第２信号区間について前記第１信号区間に対する符号化よりも変換長が長い符号化方式による符号化を行うことが考えられる。
これにより、第２信号区間における第２の符号化データのデータ量が削減される。

【0018】

上記した本技術に係る符号化装置において、前記第２符号化部は、前記第２信号区間についてパラメトリック符号化を行うことが考えられる。
これにより、第２信号区間における第２の符号化データのデータ量が削減される。

【0019】

上記した本技術に係る符号化装置において、前記第１信号区間及び前記第２信号区間を判定するために用いる第１バッファメモリと、前記判定の結果に応じて前記第２信号区間に対して符号化を行うために用いる第２バッファメモリと、を備えることが考えられる。
これにより、第１信号区間に対する符号化よりも変換長が長い第２信号区間の触覚信号について、第１バッファ処理部でバッファリングしきれなかった触覚信号を、第２バッファ処理部によりバッファリングすることが可能となる。

【0020】

また、本技術に係る符号化方法は、触覚信号中における対象物との接触状態を示す信号区間である接触信号区間の一部区間であって前記対象物との接触状態と非接触状態との境界を含む信号区間である第１信号区間と、前記接触信号区間のうち前記第１信号区間を除く信号区間である第２信号区間と、を判定し、前記第１信号区間の触覚信号について、第１のビットレートによる符号化を行い、前記第２信号区間の触覚信号について、前記第１のビットレートよりも低ビットレートによる符号化を行う符号化方法である。
このような符号化方法によっても、上記した本技術に係る符号化装置と同様の作用が得られる。

【0021】

さらに、本技術に係る第２のプログラムは、触覚信号中における対象物との接触状態を示す信号区間である接触信号区間の一部区間であって前記対象物との接触状態と非接触状態との境界を含む信号区間である第１信号区間と、前記接触信号区間のうち前記第１信号区間を除く信号区間である第２信号区間と、を判定する機能と、前記第１信号区間の触覚信号について、第１のビットレートによる符号化を行う機能と、前記第２信号区間の触覚信号について、前記第１のビットレートよりも低ビットレートによる符号化を行う機能と、を情報処理装置に実行させるプログラムである。
このような本技術に係る第２のプログラムによち、上記した本技術に係る符号化装置が実現される。

【図面の簡単な説明】

【0022】

【図1】本技術の実施形態における触覚再現システムの構成例を示す図である。

【図2】実施形態の符号化装置の構成例を示す図である。

【図3】実施形態の再生装置の構成例を示す図である。

【図4】実施形態の復号装置の構成例を示す図である。

【図5】実施形態の触覚再現システムの使用例を示す図である。

【図6】実施形態の人間の触覚感度の目安となる振動検出閾値曲線を示す図である。

【図7】実施形態の触覚信号の振動波形を示す図である。

【図8】実施形態の符号化部の機能構成例を示す図である。

【図9】実施形態の触覚符号化データのデータフォーマットの構成例を示す図である。

【図10】実施形態の符号化手法を実現するための処理を示すフローチャートである。

【図11】実施形態の触覚符号化データのデータフォーマットの構成例を示す図である。

【図12】実施形態の符号化手法を実現するための処理を示すフローチャートである。

【図13】実施形態の結合部によるクロスフェード処理の説明図である。

【図14】実施形態の復号手法を実現するための処理を示すフローチャートである。

【図15】実施形態の結合部によるクロスフェード処理の詳細を示す図である。

【図16】実施形態の結合部によるクロスフェード処理の詳細を示す図である。

【図17】実施形態の第１の適用例の構成例を示す図である。

【図18】実施形態の第２の適用例の構成例を示す図である。

【図19】実施形態の第３の適用例の構成例を示す図である。

【発明を実施するための形態】

【0023】

本技術の実施形態について上記の図面を参照して説明する。図面の記載は、一度説明した構成は以降同一の符号を付して説明を省略することがある。また、図面は模式的なものであり、本技術を説明するにあたり必要な要部及びその周辺の構成を抽出して示しているものとする。なお、図面に記載された各構造の厚みと平面寸法の関係、比率等は一例に過ぎず、本技術の技術的思想を逸脱しない範囲であれば設計などに応じて種々な変更が可能である。

【0024】

以下、実施の形態を次の順序で説明する。
<１．触覚再現システムの概要>
<２．符号化装置の構成>
<３．再生装置の構成>
<４．復号装置の構成>
<５．触覚再現システムの使用例>
<６．実施形態としての触覚再現手法>
［６－１．触覚信号の伝送に係る課題］
［６－２．符号化手法］
［６－３．復号手法］
<７．第１の適用例>
<８．第２の適用例>
<９．第３の適用例>
<１０．まとめ>
<１１．本技術>

【0025】

ここで、本明細書においては以下のように各用語を定義する。
触覚刺激：例えば振動現象等、触覚を人に知覚させるための物理的現象。
触覚提示：触覚刺激を発生させること。
触覚信号：例えば振動波形を表す信号等、触覚刺激のパターンを表す信号。
受触者：触覚提示を受ける人。
触覚特性：人間の触覚に関する特性。部位（手、顔、足等）によって異なる。
触覚感度：触覚刺激を主観的にどの程度の強度と捉えるかの感度。人体における受容器や部位によって異なる。触覚感度が高いとは、触覚信号を知覚しやすいこと。
触覚符号化データ：触覚信号を符号化したデータ。下位概念としてストリーム、フレームがある。触覚符号化データには、後述する第１の符号化データ及び第２の符号化データが含まれる。

【0026】

<１．触覚再現システムの概要>
図１は、本技術に係る実施形態としての符号化装置２及び復号装置３を含んで構成される触覚再現システム１の構成例を示している。

【0027】

先ず、本実施形態において、触覚再現を実現するための環境としては、対象とする触覚情報（触覚刺激）をセンシングして得られる触覚信号を符号化し、該符号化により得られた触覚符号化データＤｃを収録する収録環境と、触覚符号化データＤｃを復号して得られる触覚信号に基づいて触覚情報を再現する再現環境とに分けられる。

【0028】

図示のように、触覚再現システム１は、収録環境において、複数の触覚センサ５とそれら触覚センサ５が接続された符号化装置２とを備えると共に、再現環境において、触覚符号化データＤｃを取得可能に構成された再生装置４と、再生装置４と無線通信可能に構成された復号装置３と、復号装置３と接続された複数の触覚提示装置６とを備えている。

【0029】

触覚センサ５は、触覚刺激のセンシングを行うセンサであり、本例では、ピエゾピックアップや加速度センサ等の振動センサが用いられる。触覚センサは、センシングの対象物、すなわち本例では人体に接触させることで、振動や運動を電圧変化として出力する。
本例において、各触覚センサ５は符号化装置２に対して有線接続されており、各触覚センサ５は対象物としての人体のそれぞれ異なる部位に装着されて各部位に生じる触覚刺激をセンシングする。
なお、各触覚センサ５を装着する部位は人体に限られず、触覚再現システム１において用いられる道具等に装着することとしてもよい。このときに各触覚センサ５は、対象物としての道具に装着された各部位に生じる触覚刺激をセンシングする。

【0030】

符号化装置２は、例えばＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）等のコンピュータ装置を備えて構成され、各触覚センサ５による検出信号（触覚信号）について所定のデータフォーマットに従った符号化を行い、該符号化により得られる触覚符号化データＤｃを例えば内部に設けられた記憶デバイスに収録する。

【0031】

再生装置４は、ＣＰＵやＤＳＰ等のコンピュータ装置を備えて構成され、取得した触覚符号化データＤｃを復号装置３に送信する。例えば、収録環境において収録された触覚符号化データＤｃは、インターネット等の所要のネットワークを介して再生装置４に取得させる。或いは、触覚符号化データＤｃは可搬型の記録媒体に収録し、該記録媒体を介して再生装置４に触覚符号化データＤｃを取得させることもできる。

【0032】

復号装置３は、再生装置４より受信した触覚符号化データＤｃを復号し、該復号により得られた触覚信号に基づいて各触覚提示装置６を駆動する。

【0033】

触覚提示装置６は、触覚刺激を発生させるデバイスとされ、本例ではバイブレータやアクチュエータ等の振動デバイスが用いられる。
本例では、各触覚提示装置６は、受触者の人体におけるそれぞれ異なる部位に装着され、それぞれ対応する触覚センサ５でセンシングされた触覚刺激を再現するようにされる。

【0034】

ここで、本例では、各触覚提示装置６は復号装置３に対して有線接続されており、図中の破線により囲った部分、すなわち復号装置３と各触覚提示装置６とが、受触者に対して装着される部分とされる。

【0035】

触覚再現システム１としては、再生装置４に復号装置３の機能を与えて、再生装置４と各触覚提示装置６とを有線接続する構成とすることも可能であるが、その場合には、触覚提示装置６を装着した受触者に煩わしさを与える虞がある。この煩わしさは、触覚刺激を与える部位の数が多くなるに従って増すことが予想される。
図１に示す触覚再現システム１の構成により、そのような煩わしさを受触者に与えてしまうことの防止を図ることができる。

【0036】

図１に示す触覚再現システム１は、触覚センサ５を装着された人物によって知覚される各部位の触覚を、受触者において再現するシステムとして、両者が遠隔に配置された場合にも対応可能なシステムとして構成されている。

【0037】

<２．符号化装置の構成>
図２は、符号化装置２の内部構成例を説明するための図である。なお、図２では符号化装置２の内部構成例と共に図１に示した各触覚センサ５を併せて示している。

【0038】

図示のように符号化装置２は、複数の増幅器２１と複数のＡ／Ｄ（Analog/Digital）コンバータ２２、及び前処理部２３、符号化部２４、制御部２５、記憶部２６、通信部２７、バス２８を備えている。前処理部２３、符号化部２４、制御部２５、記憶部２６、及び通信部２７はバス２８を介して接続され、互いにデータ通信可能とされている。

【0039】

各触覚センサ５の検出信号は、それぞれ対応する一つの増幅器２１に入力されて適切なダイナミックレンジに調整された後、対応する一つのＡ／Ｄコンバータ２２にそれぞれ入力されてＡ／Ｄ変換(アナログ／デジタル変換)される。

【0040】

Ａ／Ｄ変換された各検出信号（つまり部位ごとの触覚信号）は、前処理部２３に入力される。前処理部２３においては、ノイズ除去や触覚センサ５のセンサ特性の校正などの各種デジタル信号処理が行われる。前処理部２３による信号処理を施された各触覚信号は、符号化部２４に入力される。

【0041】

符号化部２４は、例えばＤＳＰで構成され、入力された各触覚信号を所定のデータフォーマットに従って符号化し、上述した触覚符号化データＤｃを得る。
なお、本実施形態としての触覚信号の符号化の詳細については改めて説明する。

【0042】

制御部２５は、例えばＣＰＵ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を有するマイクロコンピュータを備えて構成され、ＲＯＭに記憶されたプログラムに従った処理を実行することで符号化装置２の全体制御を行う。
例えば、制御部２５は、通信部２７を介して外部装置との間でのデータ通信を行う。

【0043】

通信部２７は、インターネット等のネットワークを介した外部装置との間でのデータ通信を行うことが可能に構成されており、制御部２５は、該通信部２７を介して、ネットワークに接続された外部装置との間でデータ通信を行うことが可能とされている。特に、符号化部２４で得られた触覚符号化データＤｃを通信部２７を介して外部装置に送信させることが可能とされる。

【0044】

記憶部２６は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の記憶デバイスを包括的に表したものであり、符号化装置２において各種のデータ記憶に用いられる。例えば記憶部２６には、制御部２５による制御に必要なデータが記憶される。また、制御部２５の制御に基づき、符号化部２４で得られた触覚符号化データＤｃを記憶部２６に記憶させることもできる。

【0045】

<３．再生装置の構成>
図３は、再生装置４の内部構成例を示した図である。図示のように再生装置４は、制御部４１、通信部４２、メディアドライブ４３、記憶部４４、及び無線通信部４５を備えると共に、これらの各部を互いにデータ通信可能に接続するバス４６を備えている。

【0046】

制御部４１は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を有するマイクロコンピュータを備えて構成され、再生装置４の全体制御を行う。

【0047】

通信部４２は、インターネット等のネットワークを介した外部装置との間でのデータ通信を行うことが可能に構成されている。

【0048】

制御部４１は、該通信部４２を介して、ネットワークに接続された外部装置との間でデータ通信を行うことが可能とされている。特に、ネットワーク上のサーバ装置等の外部装置より、触覚符号化データＤｃを通信部４２によって受信させることが可能とされる。

【0049】

メディアドライブ４３は、可搬型の記録媒体を着脱可能に構成され、装着された記録媒体に対するデータの書き込み及び読み出しが可能とされたリーダ／ライタ部として構成されている。メディアドライブ４３が対応する記録媒体としては、例えば、メモリカード（例えば可搬型のフラッシュメモリ）や光ディスク記録媒体等を挙げることができる。このメディアドライブ４３により、可搬型の記録媒体に記録された触覚符号化データＤｃの読み出しが可能とされる。

【0050】

記憶部４４は、例えばＨＤＤやＳＳＤ等の記憶デバイスを包括的に表したものであり、再生装置４において各種のデータ記憶に用いられる。例えば記憶部４４には、制御部４１による制御に必要なデータが記憶される。また、制御部４１の制御に基づき、メディアドライブ４３により読み出された触覚符号化データＤｃや、通信部４２により外部装置から受信した触覚符号化データＤｃを記憶部４４に記憶させることもできる。

【0051】

無線通信部４５は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等の所定通信方式による近距離無線通信を行う。

【0052】

ここで、制御部４１は、上記した全体制御の一部として、触覚符号化データＤｃについての通信部４２による受信やメディアドライブ４３による読み出しを実行させるための制御を行う。また、制御部４１は、これら通信部４２やメディアドライブ４３経由で得られる触覚符号化データＤｃを、無線通信部４５により復号装置３に送信させる制御を行う。

【0053】

<４．復号装置の構成>
図４は、復号装置３の内部構成例を説明するための図であり、復号装置３の内部構成例と共に各触覚提示装置６を併せて示している。

【0054】

図示のように復号装置３は、複数の増幅器３１と複数のＤ／Ａ（Digital/Analog）コンバータ３２、及び結合部３３、復号部３４を備えると共に、制御部３５、無線通信部３６、記憶部３７、及びバス３８を備えている。結合部３３、復号部３４、制御部３５、無線通信部３６、及び記憶部３７はバス３８を介して接続され、互いにデータ通信可能とされている。

【0055】

制御部３５は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を有するマイクロコンピュータを備えて構成され、復号装置３の全体制御を行う。

【0056】

無線通信部３６は、例えばＢｌｕｅｔｏｏｔｈ等、再生装置４における無線通信部４５との間で通信が可能な方式による近距離無線通信を行う。再生装置４から送信された触覚符号化データＤｃは無線通信部３６により受信される。

【0057】

記憶部３７は、例えば符号化装置２の記憶部２６や再生装置４の記憶部４４等と同様の記憶デバイスとされ、制御部３５等が用いる各種データの記憶に用いられる。

【0058】

復号部３４は、無線通信部３６を介して入力される触覚符号化データＤｃについて、後述する手法で復号を行い、部位ごとの触覚信号を得る。復号部３４で得られた部位ごとの触覚信号は結合部３３に入力される。

【0059】

結合部３３は、入力された部位ごとの触覚信号について、必要に応じて触覚提示装置６の校正や所定のフィルタ処理等の信号処理を施す。
なお、本実施形態としての触覚符号化データＤｃの復号の詳細については改めて説明する。

【0060】

結合部３３を経た各触覚信号は、それぞれ対応する一つのＤ／Ａコンバータ３２に入力されてＤ／Ａ変換（デジタル／アナログ変換）された後、それぞれ対応する一つの増幅器３１で適切なダイナミックレンジに調整され、対応する一つの触覚提示装置６に出力される。
これにより、各触覚提示装置６が触覚信号に基づき駆動され、検出環境においてセンシングの対象とした触覚刺激を受触者に対して与えることができる（つまり触覚情報を再現することができる）。

【0061】

なお、上記では触覚信号に関してのみ言及したが、触覚信号と共に音声信号や映像信号を収録して、受触者に触覚情報と共に音や映像を提供する構成とすることもできる。

【0062】

<５．触覚再現システムの使用例>
映像に加えて、触覚提示も行うコンテンツを再生することを考える。図５は、触覚再現システム１の使用例についての説明図である。

【0063】

図５において、コンテンツ制作時に、映像に加えて、触覚収録者６１に装着した触覚センサ５（図中では、胴体用の触覚センサ５ｂ、手指用の触覚センサ５ｈ、足用の触覚センサ５ｆとしている）で収録した触覚信号（胴体の触覚信号６２、手指の触覚信号６３、足の触覚信号６４）を符号化装置２で符号化した触覚符号化データＤｃを、映像と同期して収録することでコンテンツ６５として再生装置４の記憶部４４に保存する。

【0064】

再生時には、記憶部４４からコンテンツ６５を無線通信部４５を通じて復号装置３に送信し、無線通信部３６にて受信したコンテンツ６５を復号部３４にて復号する。これにより、受触者６９が装着した触覚提示装置６（図中では、胴体用の触覚提示装置６ｂ、手指用の触覚提示装置６ｈ、足用の触覚提示装置６ｆとしている）に対応した触覚信号（胴体の触覚信号６６、手指の触覚信号６７、足の触覚信号６８）を触覚提示装置６を通じて提示することが可能となる。

【0065】

映像内で実際に触覚提示する場面としては、例えば登場人物が殴打する（殴打される）、銃で撃つ（撃たれる）、爆風を受ける、地面の揺れを感じる場面などが挙げられる。
図中では、実際のコンテンツ６５内での触覚信号の例として、胴体用、手指用、足用それぞれの触覚信号の波形例５０が示されている。波形例５０では触覚収録者６１の胴体、手指、足の三つの部位に装着した触覚センサ５（触覚センサ５ｂ、触覚センサ５ｈ、触覚センサ５ｆ）によって得られた触覚信号が示されている。

【0066】

時系列順に説明すると、まず触覚収録者６１が銃で相手を撃つシーンで弾丸発射による反動に起因する振動が手指に発生、その後に相手も銃で触覚収録者の胴体めがけて撃つシーンで、銃撃を受けた胴体の衝撃に起因する振動が胴体に発生、その後に地震が発生するシーンで地面の振動が足、胴体、手指に徐々に伝播している。例えばこのようなコンテンツを再生することで、受触者６９は映像・音声に加えて振動による触覚再現で高品位のリアリティを感じることができる。

【0067】

<６．実施形態としての触覚再現手法>
［６－１．触覚信号の伝送に係る課題］
以下、実施形態としての触覚再現手法について説明する。
先ず、実施形態としての触覚再現手法は、人間の触覚特性に着目した手法となる。
人間の触覚感度の目安として、図６に示す振動検出閾値曲線が報告されている。なお図中において、横軸は周波数、縦軸は触覚刺激（振動：ここでは変位）の大きさを表す。図６の振動検出閾値曲線は、”Four channels mediate the mechanical aspects of touch S.J. , Bolanowski 1988”での実験結果に基づくものである。
図示する振動検出閾値曲線は、人間がその振動を触覚として感じるか感じないか、つまり触覚感度を実験によって調べた一例である。人間は、この曲線より小さい振動は触覚として知覚することができない。

【0068】

図６からも理解されるように、一般的に人間の触覚感度が最も高い周波数は２００Ｈｚ程度とされる。そのため、振動を発生させる装置やアプリケーションは、２００Ｈｚ程度までの振動が発生するように設計されることが多い。

【0069】

一方、図６の結果には示されていないが、人間は１ｋＨｚ程度までの周波数の振動を触覚として感じられることが通常に知られている。人間は、１ｋＨｚ程度の周波数成分が存在する振動と存在しない振動とを、互いに異なる触覚として感じることができる。
例えば、ボトルのコルク栓を抜いた際に発生する振動は、数ｋＨｚまでの周波数の振動を含む。ユーザは、触覚を提示する装置から当該振動を数百Ｈｚ程までの振動として伝えられた場合、当該振動をボトルのコルク栓を抜いた際の触覚として十分に現実感を持って感じることができない。
従って、より現実感のある触覚をユーザに与えるためには、１ｋＨｚ程度までの周波数を含む振動により触覚提示を行う必要がある。

【0070】

しかしながら、信号が含む周波数の幅が広くなるに従って当該信号のデータ量が増大するため、信号の送受信の遅延が発生する可能性が高くなる。すなわち、触覚の質を向上させると、触覚を然るべきタイミングで提示させることができない状況が発生し得る。

【0071】

信号の送受信及び触覚提示の遅延について、具体例を挙げながら説明する。
先ず、触覚信号のデータ量について説明する。触覚信号が装置間で伝送される場合、先ずデジタルデータに変換される。デジタルデータの容量は、単位時間当たりに要するビット数、すなわちビットレートＢで表される。因みに、触覚感度は振動の周波数だけでなく振幅にも依存する。例えば、上述した図６の実験結果では、人間が感じられる振動の振幅は５０ｄＢ（－２０ｄＢ～３０ｄＢ）程度以上、周波数が１０００Ｈｚ程度であると示されている。なお、以下、実際に人間が感じる触覚情報の分布を考慮し、振動の振幅が７０ｄＢ程度であると考える。

【0072】

触覚信号がＬＰＣＭ（Linear Pulse Code Modulation）を用いてデジタルデータ化される場合、１ビットで表現できる振動の振幅は６ｄＢである。つまり、振動の振幅の７０ｄＢでは１２ビット必要となる。一方、振動の周波数が１０００Ｈｚである場合、サンプリング周波数は倍の２０００Ｈｚ必要となり、ビットレートＢ０は、下記［式１］で求められる。

Ｂ０＝１２bit/sample×２０００sample/sec＝２４kbit/sec・・・［式１］

【0073】

この値自体は、例えば音声信号の代表的フォーマットであるＣＤ（Compact Disc）のビットレート＝７００kbps/chと比べると非常に小さいため、この触覚信号を何らかのシステムに付加的に組み込んだとしても大きな問題となる可能性は少ないように見える。

【0074】

しかしながら、先に示したように人間が感じることのできる触覚信号の帯域は数ｋＨｚまでに及ぶことが分かっている。例えば触覚信号を２０００Ｈｚまで再現する場合、ビットレートは［式１］に比べて２倍の４８kbit/secとなる。

【0075】

また、触覚は視覚(二つの目)と聴覚(二つの耳)と違って人体表面のあらゆる場所に存在している。両手の指先だけを考えても１０か所あり、これらすべての触覚信号を扱おうとすれば、ビットレートはさらに１０倍の４８０kbit/secとなる。指の関節ごと、手の平と場所を増やしてくとビットレートは飛躍的に増大してしまう。

【0076】

さらに、触覚信号は基本的に一次元信号であるが、振動という物理現象は３軸（ｘ、ｙ、ｚ）で捉えることができる。これを全て扱おうとすると、さらに３倍の１４４０kbit/secというビットレートが必要となるが、この値はオーディオＣＤの１４１１kbit/secを超える大きなものとなる。

【0077】

このように、必要となる触覚信号の総データ量は、触覚刺激の再現性の向上や触覚刺激を与えるユーザの部位の数の増加に伴って増大する。そして、総データ量の増大が、触覚信号の伝送を行うネットワークシステムにとって大きな負荷になる。

【0078】

ここで、触覚において重要な「手でモノをなぞる」という動作によって発生する振動を考える。この動作は、人間が対象物に接触し、その後に手を対象物の表面に沿って動かし、最後に手を対象物から離す、という３つの段階に分けられる。この一連の動作に伴って発生する振動波形に着目すると、「接触の瞬間」と「離れる瞬間」は時間的に非常に短いが、急峻な強度変化を伴う。一方、物体表面に沿って手を動かしている間の振動波形は比較的長い時間スケールを持ち、かつ定常的である。

【0079】

本明細書においては、人間が対象物に接触し、その後に手を対象物の表面に沿って動かし、最後に手を対象物から離すまでといった、触覚信号を得ようとする部位が対象物と接触している状態を接触状態とする。また、触覚信号を得ようとする部位が対象物と接触していない状態を非接触状態とする。

【0080】

また、「手でモノをなぞる」という一連の動作に伴って発生する触覚信号の区間、即ち触覚信号中における対象物との接触状態を示す信号区間を接触信号区間とする。
このとき当該接触信号区間のうち、「手が対象物に接触する瞬間」や「手が対象物から離れる瞬間」といった、対象物との接触状態と非接触状態との境界を含む信号区間を第１信号区間とする。また当該接触信号区間のうち、「手を対象物に添えている状態」や「手を対象物の表面に沿って動かしている状態」といった、第１信号区間を除く信号区間を第２信号区間とする。

【0081】

図７は、人間が手７８で対象物７９をなぞったときの触覚信号の振動波形７０を示す図である。
振動波形７０は、シーン７１に示す手７８が対象物７９から離れた状態から、シーン７２に示す手７８が対象物７９に接触した瞬間に、信号区間７３のように急峻なパルス波形が観測される。物体の固さや、自身がどの程度の速度で対象物７９に接触したか、などの知覚には、この「接触の瞬間」の振動強度、タイミング、ピッチ、波形の減衰率などが影響することが知られている。
この手７８と対象物７９の接触状態と非接触状態との境界を含む信号区間７３は第１信号区間とされる。この信号区間７３は時間的に非常に短い。

【0082】

一方、このあとシーン７５に示すように、手７８を対象物７９上で動かしたことで、緩やかな振幅変化を伴う信号区間７４の波形が観測される。この間の振動は対象物７９のつるつる、ざらざらといったテクスチャー知覚に影響し、波形のピッチと振幅が重要とされる。
このように手７８と対象物７９の接触状態が維持された状態の信号区間７４は第２信号区間とされる。

【0083】

最後に、シーン７６に示すように、手７８を対象物７９から離したときは、対応する信号区間７７の波形は時間的に短く急峻な強度変化を伴い、信号区間７３の接触時の波形の近い性質を持つと推測される。この手７８と対象物７９の接触状態と非接触状態との境界を含む信号区間７７は第１信号区間とされる。

【0084】

上記の信号区間７３、信号区間７４及び信号区間７７の一連の信号区間が、触覚信号中における対象物７９との接触状態を示す接触信号区間２００とされる。

【0085】

ここで信号を強度の急変化がある信号区間７３及び信号区間７７（第１信号区間）と、定常的な信号区間７４（第２信号区間）とに分けたとき、第１信号区間の方が知覚の性質上保存すべき特徴が多くかつ複雑であるため、ＡＡＣ（Advanced Audio Codec）のような波形符号化やＦＬＡＣ（Free Lossless Audio Codec）のような可逆圧縮符号化など、比較的ビットレートの高い高品質符号化方式を採用することが望ましい。

【0086】

一方後者の定常的な第２信号区間は、時間変化が穏やかなため長い時間の信号をまとめて符号化しても情報の損失が少なく、また保存すべき特徴も少なく単純である。よって圧縮率の高いＣＥＬＰ（Code Excited Linear Prediction）、ＨＶＸＣ（Harmonic Vector Excitation Coding）のような信号のエネルギー再現を重視したものや、先述の保存すべき特徴量から同等の信号を合成するパラメトリック符号化のような、高品質符号化方式よりも低ビットレートの低品質符号化方式でも人間にとっては劣化に気付きにくいと予想される。

【0087】

よって信号区間７３及び信号区間７７のように時間的には短い区間をよく再現するために、時間的に長い信号区間７４までも高品質符号化方式によって符号化すると、触覚信号全体としては冗長な情報量をもち、圧縮効率が低下することとなる。このような圧縮効率の低下による総データ量が増大も触覚信号の送受信の遅延を招く要因となる。

【0088】

また、遅延の要因としては、上記のような総データ量以外の他の要因も考えられる。
例えば、触覚信号が無線通信により伝送される場合に、伝送路上での妨害などにより触覚信号の触覚符号化データＤｃのロスが生じることが想定される。データロスが発生した場合、送信側の装置からデータの再送信が行われ、受信側でデータの受信が完了する時間の遅延が生じ得る。すなわち、再送信されるデータの容量が増大するに従って、データロスに応じたデータの再送信に要する時間が増大し、結果、触覚信号の送受信が正常に完了するまでの時間がより遅延し得る。

【0089】

このように、触覚信号の伝送が完了するまでの時間に遅延が生じると、触覚の再現性が低下し得る。具体的には、触覚刺激が然るべきタイミングでユーザ（受触者）に与えられないために、映像や音などの他の感覚に関するコンテンツと触覚刺激との同期が取られない状況が発生し得る。

【0090】

次に、上述した状況を考慮した、具体的な無線通信方式の適用に関して説明する。
触覚提示を行う装置は、ユーザに接触するように設置されるため、装置重量の観点から一般的に他の装置とは無線で通信することが望まれる。しかしながら、例えばＷｉ－Ｆｉ（登録商標）などの広帯域無線方式を用いる場合、装置のバッテリは消費電力の観点から大型化するため、ユーザの利便性の低下が想定される。また、Ｗｉ－Ｆｉを用いる場合、一般的に送信側装置の信号の送信要求から受信側装置の受信処理までの手続きに処理時間を要するため、他の無線方式と比較して、より大きな遅延が発生し得る。

【0091】

一方、Ｂｌｕｅｔｏｏｔｈなどの近距離無線方式の場合、他の無線方式と比較して低消費電力及び低遅延で通信を行うことが可能であり、触覚信号の伝送に適していると考えられる。しかしながら、近距離無線方式では、一度に伝送できるデータ量の許容量が他の無線方式と比較して少ない。例えば、映像や音などとの同期を行いながら触覚刺激をユーザに与えるコンテンツの伝送において、触覚信号の伝送に割り当てられる通信容量が十分でない状況が想定される。

【0092】

また、インターネットを介して映像や音声をストリーミングするサービスにおいて、追加でさらに触覚もユーザに伝える場合、例えば、ネットワークの回線状況に応じたＱｏＳ（Quality of Service）機能により、触覚信号の伝送に割り当てられる通信容量が十分でなくなる状況が想定される。

【0093】

本実施形態では、上記の事情に鑑み、触覚再現性をできるだけ棄損することなく伝送データ量を削減することで、触覚信号の低遅延化と触覚再現性の低下抑制との両立を図ることを目的とする。

【0094】

［６－２．符号化手法］
図８は、符号化部２４が有する機能を示す機能ブロック図である。図示のように、符号化部２４は、信号入力部８０、第１バッファ処理部８６、判定部８２、第１符号化部８３、第２バッファ処理部８７、第２符号化部８４及び符号化信号出力部８５を有する。

【0095】

信号入力部８０には、符号化すべき触覚信号８１が前処理部２３から入力される。
第１バッファ処理部８６は、第１信号区間及び第２信号区間を判定するために用いる第１バッファメモリを有し、信号入力部８０に入力された触覚信号８１をバッファリングする。

【0096】

判定部８２は、例えば図７に示すように、触覚信号中における接触信号区間２００の一部区間であって対象物７９と手７８の接触状態と非接触状態との境界を含む信号区間である第１信号区間（信号区間７３、７７）と、接触信号区間２００のうち第１信号区間を除く信号区間である第２信号区間（信号区間７４）と、を判定する。

【0097】

判定部８２は、例えば触覚信号８１の波形解析を行った結果に基づいて第１信号区間を判定する。また判定部８２は、第１信号区間以外の信号区間を第２信号区間と判定する。

【0098】

第１信号区間の判定における波形解析の代表的なものは、触覚信号の振幅変化率に基づく信号の立ち上がり検出である。この信号の立ち上がりは既知の信号処理手法により実施される。

【0099】

ここで判定部８２は、信号強度変化率、周波数スペクトル、その他信号処理分野において既知のアタック検出を行うことで、第１信号区間を判定することができる。
また判定部８２は、他の各種センサによる対象物と触覚センサの距離又は接触の有無の認識に基づいて第１信号区間を判定することもできる。
また判定部８２は、クリエイタ（作業者）の付与したメタデータ（符号化品質のフラグ付け）などを用いて符号化方式の決定を行っても良い。
さらに判定部８２として、多数の振動信号によって機械学習を行い、入力波形から自動で対象区間を判定できるようにした判定機器を用いても良い。

【0100】

判定部８２による第１信号区間の判定は、触覚において人間と対象物７９の接触の瞬間と離れる瞬間に対応する信号一般に本技術の効果を拡張できる。
触覚信号８１の全体または一部が第１信号区間であると判定された場合、判定部８２は、一部であればその区間を、全体であれば触覚信号８１全体を第１符号化部８３に送る。
また判定部８２は、触覚信号８１のうち第１符号化部８３に送られなかった第２信号区間を第２バッファ処理部８７に送る。

【0101】

第１符号化部８３は、判定部８２から受信した第１信号区間の触覚信号について、高ビットレートの符号化方式による符号化を行い、第１の符号化データ（触覚符号化データＤｃ）を生成する。なお、以下の説明においては、高ビットレートによる符号化方式を高品質符号化方式とも表記する。
ここで第１信号区間において利用される高品質符号化方式は、信号のパルスの高さ、幅やタイミング、エネルギーの変化率など、複雑な波形情報を高い時間分解で復元できるような比較的ビットレートの高い方式が望ましい。例えばＡＡＣのような波形符号化やＦＬＡＣのような可逆圧縮符号化などがあてはまる。

【0102】

第２バッファ処理部８７は第２バッファメモリを有し、判定部８２による信号区間の判定結果に応じて入力される信号をバッファリングする。
第２符号化部８４は、第２バッファ処理部８７によりバッファリングされた第２信号区間の信号について、第１信号区間における高品質符号化方式よりも低いビットレートによる符号化方式による符号化を行い、第２の符号化データ（触覚符号化データＤｃ）を生成する。なお、以下の説明においては、高品質符号化方式よりも低いビットレートによる符号化方式を低品質符号化方式とも表記する。

【0103】

ここで第２信号区間において利用される低品質符号化方式には、エネルギーやピッチといった少数のパラメータを長い時間フレームを用いて符号化することが望ましい。よって圧縮率の高いＣＥＬＰ、ＨＶＸＣのような信号のエネルギー・ピッチ再現を重視したものや、先述の保存すべき特徴量から同等の信号を合成するパラメトリック符号化方式があてはまる。
これらのパラメータについて、例えばエネルギーは信号ｆ［ｎ］の実効値として下記［式２］などを計算することによって得られる。

【0104】

【数1】

【0105】

また、ピッチを取得する代表的な手法は、下記［式３］に示すような信号の自己相関関数のピーク点ｍ_０を求め、それに対応する時間の逆数をピッチ周波数とするものである。

【0106】

【数2】

【0107】

符号化信号出力部８５は、第１符号化部８３が生成した第１の符号化データと、第２符号化部８４が生成した第２の符号化データとを出力する。

【0108】

図９は、触覚符号化データＤｃのデータフォーマットの例を示している。図９では触覚符号化データＤｃの１フレーム分のデータフォーマットを例示している。

【0109】

付帯情報として信号に付加するフレームヘッダの先頭には識別子１００が格納され、領域１０１に信号のサンプリング周波数、領域１０２に信号の量子化精度が記録される。また領域１０３にはこのデータについて高品質符号化方式と低品質符号化方式のどちらにより符号化されたかを識別する符号化方式ＩＤ（Identification）が格納される。例えば高品質符号化方式であれば「０」を、低品質符号化方式であれば「１」が格納される。領域１０４にはこのフレームに含まれる信号のサンプル数が格納され、領域１０５には信号データが格納される。

【0110】

図１０のフローチャートを参照し、上記により説明した実施形態としての符号化手法を実現するための処理手順の例を説明する。図１０に示す処理は、１フレーム分の触覚符号化データＤｃを生成する処理であり、フレームごとに繰り返し実行される。
なお、符号化部２４による符号化手法を実現するための処理は、ソフトウェア処理として実現することができる。或いはハードウェア、又はソフトウェアとハードウェアの組み合わせにより実現することができる。

【0111】

まず符号化部２４は、ステップＳ１１０において、前処理部２３から符号化すべき触覚信号を取得する。
ステップＳ１１０に続くステップＳ１１１で符号化部２４は、第１信号区間及び第２信号区間を判定するために、取得した触覚信号をバッファリングする。これは、上述した第１バッファ処理部８６に対応した処理となる。

【0112】

ステップＳ１１１に続くステップＳ１１２で符号化部２４は、取得した触覚信号の信号区間が高品質符号化方式を用いて符号化を行う第１信号区間であるか、低品質符号化方式による符号化を行う第２信号区間であるか、を判定する。

【0113】

このとき符号化部２４は、例えば触覚信号の振幅変化率と所定の閾値との比較に基づいて、図７の信号区間７３に示すような信号の立ち上がりや、信号区間７７に示すような信号の立ち下がりを判定する。符号化部２４は、このような信号の立ち上がりや、立ち下がりを検知した信号区間を第１信号区間として判定する。また、信号の立ち上がりや、立ち下がりを検知しない信号区間を第２信号区間として判定する。

【0114】

また符号化部２４は、触覚信号の周波数スペクトルを用い、周波数成分毎に分解した触覚信号の強度分布に基づいて信号の立ち上がりや立ち下がりを判定することもできる。

【0115】

また符号化部２４は、触覚信号８１に付加された第１信号区間及び第２信号区間の区分情報に基づいて第１信号区間及び前記第２信号区間を判定することもできる。区分情報は、例えば前述のようにクリエイタの作業によりメタデータとして付与される。

【0116】

ここで、第１信号区間及び前記第２信号区間の判定に、触覚信号に付加されたメタデータを利用する例について述べる。
図１１は、触覚符号化データＤｃのデータフォーマットの例を示している。図１１では符号化部２４に入力する触覚信号の１フレーム分のデータフォーマットを例示している。またここではデータフォーマットの一例としてＷＡＶＥファイルを用いる。

【0117】

ＷＡＶＥファイルには先頭の領域１３０にサンプリング周波数や量子化精度、チャンネル数などのフォーマット情報を含むヘッダ情報が格納され、領域１３１に信号データが格納されている。

【0118】

本実施形態ではこのデータの末尾に高品質符号化方式による符号化を行う第１信号区間、又は低品質符号化方式による符号化を行う第２信号区間を決定するメタデータを付与している。なお、以下の説明では、高品質符号化方式による符号化を高品質符号化、低品質符号化方式による符号化を低品質符号化とも表記する。

【0119】

ここでは、高品質符号化を行う対象のチャンネルについて、第１信号区間の開始点および終了点のファイル先頭からサンプル数を付与する例を示す。領域１３２に高品質符号化を行う対象のチャンネルＩＤを、領域１３３に開始サンプル数を格納し、領域１３４に高品質符号化を行う終了サンプル数を格納する。高品質符号化を行う第１信号区間が複数ある場合は、領域１３２、１３３、１３４の組を区間の数だけ追加しても良い。

【0120】

このとき符号化部２４は、図１０のステップＳ１１２において、符号化対象として入力された信号の末尾データ（領域１３２、１３３、１３４）をあらかじめ確認しておき、現在バッファリングされた信号区間がそのメタデータによって指定された信号区間であるかどうかの判定を行う。

【0121】

高品質符号化を行う第１信号区間と判定すると、符号化部２４はステップＳ１１２からステップＳ１１３に処理を進め、第１信号区間に対して高品質符号化を行う。即ち、符号化部２４は、低品質符号化よりも高ビットレートの符号化方式による符号化を行う。

【0122】

ステップＳ１１３に続きステップＳ１１４で符号化部２４は、高品質符号化方式に対応した符号化方式ＩＤを付与した第１の符号化データを生成する。
その後、符号化部２４はステップＳ１１８に処理を進める。

【0123】

一方、ステップＳ１１２で高品質符号化を行う第１信号区間以外の第２信号区間と判定すると、符号化部２４は、ステップＳ１１５に処理を進め、触覚信号を低品質符号化が実行可能となるまでバッファリングを行う。

【0124】

本実施形態では高品質符号化の方が変換長が短く、低品質符号化は高品質符号化よりも変換長が長い。よって、高品質符号化が不要と判断された段階ではまだ低品質符号化が可能なほどに触覚信号がバッファリングされていない場合がある。
そのため符号化部２４は、ステップＳ１１５において、低品質符号化に応じたサンプル数の触覚信号をバッファリングする。これは、上述した第２バッファ処理部８７に対応した処理となる。

【0125】

ステップＳ１１５に続きステップＳ１１６で符号化部２４は、第２信号区間に対して低品質符号化を行う。即ち、符号化部２４は、高品質符号化よりも低ビットレートの符号化方式による符号化を行う。

【0126】

ステップＳ１１６に続きステップＳ１１７で符号化部２４は、低品質符号化の符号化方式に対応した符号化方式ＩＤを付与した第２の符号化データを生成する。
その後、符号化部２４はステップＳ１１８に処理を進める。

【0127】

ステップＳ１１８で符号化部２４は、信号全体を符号化したか否か、即ち触覚信号の全チャンネルについて第１の符号化データ及び第２の符号化データを生成する処理を終えたか否かを判定する。

【0128】

全信号区間の処理が終了していない場合、符号化部２４はステップＳ１１１に処理を戻す。これにより次の区間について１フレーム分と同様の処理が実行される。
一方、全信号区間分の処理が終了した場合、符号化部２４は図１１に示す一連の処理を終える。符号化部２４は、チャンネルが複数である場合は全チャンネルについて図１１に示す処理を実行する。

【0129】

なお、本実施形態では低品質符号化方式の変換長が高品質符号化方式よりも長い例について説明したが、本技術は、低品質符号化方式と高品質符号化方式の変換長が等しい場合にも適用することが可能である。

【0130】

この場合、符号化部２４はステップＳ１１１におけるバッファリングを常に変換長に等しいサンプル数で行うようにし、かつ１度にバッファリングされた信号ごとに符号化品質を１種類のみ適用するようにする。これにより、図１２に示すように、ステップＳ１１６での低品質符号化による符号化前のステップＳ１１５で行われるバファリングが不要となる。このように低品質符号化と高品質符号化の変換長を等しくすることで、符号化部２４の処理負担が軽減される。

【0131】

［６－３．復号手法］
図４を用いて復号装置３における結合部３３及び復号部３４の機能について説明する。
復号部３４は、第１復号部３４ａ及び第２復号部３４ｂを有する。

【0132】

第１復号部３４ａは、接触信号区間の一部区間である第１信号区間について、高品質符号化を行って得られた第１の符号化データを復号する。第１復号部３４ａは、第１の符号化データを復号することで得られた第１の波形データを結合部３３に送信する。

【0133】

第２復号部３４ｂは、第１信号区間を除く信号区間である第２信号区間について、低品質符号化を行って得られた第２の符号化データを復号する。第２復号部３４ｂは、第２の符号化データを復号することで得られた第２の波形データを結合部３３に送信する。

【0134】

結合部３３は、第１の符号化データを復号することで得られた第１の波形データと、第２の符号化データを復号することで得られた第２の波形データとを結合する。

【0135】

結合部３３は、現在出力中の波形データが、現在復号した出力待ちの波形データと異なる符号化方式によって符号化されたものであったかを判定する。
符号化方式が共通するものであった場合、結合部３３は、その符号化方式の手法にのっとり信号を適切に後処理し、出力する。具体的にこの後処理では、出力待ちの波形データと出力中の波形データとについてその符号化方式で通常に行われる結合処理を行い、後述のクロスフェードを伴う結合処理は行わない。

【0136】

一方、符号化方式が異なるものであった場合、両者の間で信号のサンプル数や端部の取り扱いなどが異なる可能性があり、そのまま出力すると不快な不連続波形が生じる可能性がある。そこで異なる符号化方式で符号化されていた波形データに続いて復号データを出力する場合、結合部３３は、両者がなめらかにつながるように信号処理を行う。

【0137】

結合部３３は、例えば互いに異なる符号化方式により符号化されていた第１の波形データと、第２の波形データの結合部分にクロスフェード処理を施す。
図１３に示すように、高品質符号化されていた第１の波形データ９１と低品質符号化されていた第２の波形データ９２とを続けて出力する際に、第１の波形データ９１と第２の波形データ９２が重なる区間９３を設け、その区間の合計が「１」になるような係数を乗じて加算することで、第１の波形データ９１と第２の波形データ９２を出力波形９４として滑らかに繋ぐことが可能である。これは、低品質符号化されていた第２の波形データ９２と高品質符号化されていた第１の波形データ９１とを続けて出力する場合も同様である。

【0138】

なお、結合部３３は、第１の符号化データと第２の波形データを結合する処理にクロスフェード処理以外の既知の処理を用いてもよい。

【0139】

図１４のフローチャートを参照し、上記により説明した実施形態としての復号手法を実現するための処理手順の例を説明する。図１４に示す処理は、１フレーム分の触覚符号化データＤｃを復号して触覚信号を得る処理であり、フレームごとに繰り返し実行される。
なお、復号装置３による符号化手法を実現するための処理は、ソフトウェア処理として実現することができる。或いはハードウェア、又はソフトウェアとハードウェアの組み合わせにより実現することができる。

【0140】

まず復号装置３の復号部３４は、ステップＳ１４０において、触覚符号化データＤｃを取得する。ステップＳ１４０に続くステップＳ１４１で復号部３４は、触覚符号化データＤｃから符号化方式ＩＤを取得する。

【0141】

ステップＳ１４１に続くステップＳ１４２で復号部３４は、取得した符号化方式ＩＤに基づいて、触覚符号化データＤｃが高品質符号化方式により符号化された第１の符号化データであるか、又は低品質符号化方式により符号化された第２の符号化データであるかを判定する。

【0142】

符号化方式ＩＤが高品質符号化方式による符号化を示すものである場合、復号部３４はステップＳ１４２からステップＳ１４３に処理を進め、高品質符号化方式に対応した復号方式で第１の符号化データを復号する。復号部３４は、第１の符号化データを復号することにより得られた第１の波形データを結合部３３に送信する。
その後、復号部３４はステップＳ１４３からステップＳ１４５に処理を進める。

【0143】

一方、符号化方式ＩＤが低品質符号化方式による符号化を示すものである場合、復号部３４はステップＳ１４２からステップＳ１４４に処理を進め、低品質符号化方式に対応した復号方式で第２の符号化データを復号する。復号部３４は、第２の符号化データを復号することにより得られた第２の波形データを結合部３３に送信する。
その後、復号部３４はステップＳ１４４からステップＳ１４５に処理を進める。

【0144】

復号装置３の結合部３３は、ステップＳ１４５において、現在、復号部３４により復号した出力待ちの波形データと、現在出力中の波形データとの符号化方式が異なっているか否かを判定する。
符号化方式が異なっている場合、結合部３３は、ステップＳ１４５からステップＳ１４６に処理を進め、互いの波形データの結合部分に図９に示したようなクロスフェード処理を施す。

【0145】

ここで図１５及び図１６を参照して結合部３３が実行するクロスフェード処理の詳細について説明する。
図１５に示すように、結合部３３は、図１４のステップＳ１４３又はステップＳ１４４で復号された復号信号１５０をバッファリングなどによって１フレーム分遅延させるブロック１５１に通過させる。

【0146】

ここで結合部３３はブロック１５１に通過させることで得られた遅延信号（出力待ちの波形データ）と最新の復号信号１５０（現在出力中の波形データ）の比較を行う。
遅延信号と復号信号１５０の符号化方式が共通である場合、結合部３３は図１５のように遅延信号に対して最新の復号信号１５０を通常の結合処理で結合し、触覚出力１４７を生成する。図中の加算部１５５は、このようにして遅延信号に対して復号信号１５０を結合することを意味している。

【0147】

ここで遅延信号と復号信号１５０の符号化方式が異なる場合、結合部３３は、図１６に示すクロスフェード処理を行う。遅延信号と復号信号１５０には、フレーム間で互いに重複する部分が余白として設けられている。この余白部分を結合用余白部分とする。

【0148】

クロスフェード処理では、復号信号１５０に乗算するクロスフェード関数１５２と、遅延信号に乗算するクロスフェード関数１５３が用いられる。このクロスフェード関数１５２、１５３のフェードインおよびフェードアウト部には、三角窓、ハニング窓など、合計が「１」になっている任意の窓関数が利用可能である。クロスフェード関数１５２は、結合用余白部分において時間経過に応じて「０」から「１」に遷移し、結合用余白部分以降は「１」を維持する関数である。またクロスフェード関数１５３は、結合用余白部分において時間経過に応じて「１」から「０」に遷移する関数である。

【0149】

結合部３３は、復号信号１５０にクロスフェード関数１５２を乗算部１５６で乗算し、遅延信号にクロスフェード関数１５３を乗算部１５７で乗算する。結合部３３は、これらの乗算結果同士を加算部１５８で加算することで触覚出力１４７を生成する。

【0150】

図１４のステップＳ１４６でクロスフェード処理を行った後、結合部３３はステップＳ１４７に処理を進める。

【0151】

符号化方式が異なっていない、即ち、現在受信した波形データと次に受信する波形データの符号化形式が共通する場合、結合部３３は、ステップＳ１４６のクロスフェード処理を行うことなく、ステップＳ１４７に処理を進める。これは一般に符号化方式は、元々変換単位のつなぎ目においても信号がなめらかに繋がるように設計されており、さらに追加で信号をつなぐ処理をする必要がないからである。

【0152】

結合部３３は、ステップＳ１４７において、復号した触覚信号を出力する。
ステップＳ１４７に続くステップＳ１４８で復号部３４は、全ての触覚符号化データＤｃを復号したかどうか、即ち触覚信号の全信号区間について触覚符号化データＤｃについて復号処理を終えたか否かを判定する。

【0153】

全信号区間の処理が終了していない場合、復号部３４はステップＳ１４０に処理を戻す。これにより残りの区間について１フレーム分と同様の処理が実行される。
一方、全信号区間の処理が終了した場合、復号部３４は図１４に示す一連の処理を終える。復号部３４は、チャンネルが複数である場合は全チャンネルについて図１４に示す処理を実行する。

【0154】

<７．第１の適用例>
本技術の第１の適用例として、図１７に示すような映像と音声に加え、触覚として振動も視聴者に提示する触覚付き映画を考える。

【0155】

まず作成の段階で、映像・音声に加えて振動の収録も行う。この収録は、例えば俳優１６０の体に取り付けた触覚センサ１６１（触覚センサ５）を用いて、映画の登場人物が感じる振動を収録する。他の例では、収録現場の床などに設置し、環境に発生した振動を収録する。

【0156】

こうして収録された振動波形は、符号化装置１６２（符号化装置２）において符号化される。符号化の詳細は図８、１０、１２を用いて述べた通りで、信号の解析やメタ情報の利用などを伴う符号化品質の制御を経て、信号強度の急変化を伴う区間は高品質符号化方式で、それ以外の区間は低品質符号化方式で符号化される。映像と音声も既知の方法によって符号化された後、映像・音声・振動の符号化データは、ＤＶＤ(Digital Versatile Disc)などに代表されるストレージ１６３に保存される。

【0157】

例えば登場人物が壁を手でなぞったとき、触れた瞬間は時間変化の大きい振動波形であるため高品質符号化が望ましく、そのあと手を壁にそって動かしている間は低品質符号化で十分である。

【0158】

よって、俳優１６０の手に取り付けた触覚センサ１６１により触覚信号を入力する場合は、その触覚信号に既知の信号処理手法を適用して立ち上がりを検出し、その区間（第１信号区間）のみ高品質符号化を行う。またはクリエイタが、撮影した画像を見ながら、壁に触れた瞬間であると感じさせたいときにそのようなメタ情報を触覚信号に付与しても良い。この場合、図８の判定部８２においてこのメタ情報を検出し、その箇所の触覚信号のみ高品質符号化を行う。
これにより、壁に触れた瞬間のみ高品質符号化し、それ以外は低品質符号化した触覚符号化データＤｃができる。

【0159】

また他の例として、映画の撮影時には壁に触れた振動を収録しないが、クリエイタがいかにも壁に触れたように感じられる波形を設計してもよい。この場合でも、上記同様、信号処理手法やクリエイタが別途付与するメタ情報により符号化方式の決定が可能である。

【0160】

視聴者１６４はこのストレージ１６３から再生機１６５によって映画を鑑賞する。このとき再生機１６５は映像・音声は既知の方法で既知の映像・音声出力装置から復号・出力を行う。

【0161】

振動信号も図１４で述べた方法で復号装置１６６（復号装置３）において復号を行い、振動出力装置１６７から振動信号を出力する。つまり符号化時に付与した符号化方式ＩＤに応じて区間毎に信号を復号し、必要に応じてなめらかな信号になるよう信号切り替え処理を行い、復号信号として出力する。

【0162】

このとき出力する振動信号の系統数はストレージに保存された系統数に応じて複数でも良いし、視聴者１６４の所有する装置数に応じて調整しても良い。この調整には既知のチャンネル数変換手法が利用できる。

【0163】

この実施例において、振動データの保存に必要とするストレージを節約することが可能である。これにより、ストレージコストの低下、更なる振動の多チャンネル化や高解像度化の実現、映像や音声に使用できるストレージの増大などの効果が得られる。

【0164】

<８．第２の適用例>
本技術の第２の適用例として、図１８に示すようなユーザ１７４の操作などを全てエッジ１７６からクラウド１７２へ送信し、それによる映像・音声・触覚の変化を全てクラウド１７２上で計算・処理し、それらをエッジ１７６（ユーザ１７４の元）へ送信し再生するクラウドゲームを考える。

【0165】

一般的な家庭用ゲーム、つまりユーザ１７４の手元にマシンが存在し、ユーザ１７４のボタン操作などはマシンに送られ、そこで処理された各種信号が、有線あるいはごく近距離の無線によって各種出力装置へ送信される例は、上記第１の適用例で説明した触覚付き映画と同じ問題・構成・効果になるため説明を省略する。

【0166】

クラウドゲームにおいてはエッジ１７６に高機能な計算機が存在しないため、複雑なユーザ操作の解釈やそれによるフィードバックの合成・調整は全てクラウド１７２で行われ、その結果である映像・音声・触覚といった大容量データがクラウド１７２からエッジ１７６まで送信される。

【0167】

このときクラウド１７２からエッジ１７６までの通信帯域が十分確保されていない場合、エッジ１７６側ではノイズや信号の途切れなどが発生し、ユーザ体験を大きく損なう。また触覚における振動は、同一の物体に触れても触り方によって変化するため、それらを別々の信号として保存する場合は膨大なストレージが必要になる。基準となる信号のみ保存し物体や触り方に応じて変調させる手法も考えられるが、出力される信号の品質が高いのは前者であると予想される。

【0168】

第２の適用例について説明する。映像と音声は既知の手法で取り扱うことを想定し、本適用例では触覚についてのみ説明する。まずゲームの作成段階で、収録あるいは合成された振動信号１７０（触覚信号）が用意される。例えばこれは、銃を撃った振動、ドアを開けた振動、壁をなぞった振動、肩を叩かれた振動などである。また心臓の鼓動のような、実際には知覚しにくい振動でも良い。これらの信号それぞれを符号化装置１７１（符号化装置２）において符号化する。

【0169】

この符号化においてはこれまで述べた通り、品質制御とそれに応じた区間毎の符号化方式の適用が行われる。こうして得られた触覚符号化データＤｃをクラウド１７２内のストレージ１７３に保存する。

【0170】

次にユーザ１７４がこのゲームをプレイする際、まずコントローラ１７５からユーザ１７４の操作が入力され、エッジ１７６からクラウド１７２に送信される。クラウド１７２ではユーザ１７４の操作を送受信部１７７において受信、制御部１７８において認識し、ストレージ１７３から出力すべき振動信号の触覚符号化データＤｃを選択し読み出す。
読み出された触覚符号化データＤｃはそのままエッジ１７６へ送信され、エッジ１７６において復号装置１７９（復号装置３）で復号、振動出力装置１７１０から出力される。

【0171】

これにより、記録する触覚符号化データＤｃの情報量削減によりクラウド１７２上でのストレージ容量の削減が可能である。またデータを符号化したまま通信しエッジ１７６側で復号することで通信データ量が削減でき、クラウド１７２とエッジ１７６間の通信帯域が狭くとも、ユーザ１７４はクラウドゲームにおいて振動信号によるリアルな触覚体験を楽しむことができる。
この適用例は復号処理が符号化方式ＩＤの読み取りとそれに応じた復号のみであるため単純であり、エッジ１７６側に高機能な計算機を必要としない点もメリットである。

【0172】

第２の適用例の変形例として、通信帯域に応じて符号化品質を調整することもできる。ストレージ１７３から読み出した触覚符号化データＤｃをそのまま送受信部１７７から送信する前に、制御部１７８がクラウド１７２とエッジ１７６の間の通信帯域情報を取得する。

【0173】

現在の通信環境が良好であれば、そのまま触覚符号化データＤｃを送受信部１７７から送信する。一方通信環境が悪い場合、読み出した触覚符号化データＤｃを再度符号化装置１７１にて符号化を行う。このとき制御部１７８によって、通信環境に応じた新たな触覚符号化データＤｃを与える。

【0174】

例えば壁をなぞる振動信号の触覚符号化データＤｃを送信する際に通信環境が悪いと判断された場合、壁に沿って手を動かしている間の低品質符号化を行う第２信号区間において、より長い時間フレームで符号化しパラメータの更新頻度を下げるなどの手法によって、多少品質を犠牲にしてでもデータ量を更に小さくすることが可能である。

【0175】

本技術の第２の適用例においては、高品質符号化を行う第１信号区間と低品質符号化を行う第２信号区間を人間の知覚特性に根拠に分けているため、このような調節を人間の知覚を保ったまま行いやすい。例えば上記の調節は、元々時間分解能が重要でないとされている区間を対象としているため、パラメータ更新頻度の調整を行っても影響が限定的と考えられる。

【0176】

<９．第３の適用例>
本技術の第３の適用例として、図１９に示すようなインターネットを通じた通信販売において、商品１８０の手触りを振動として再生してユーザ１８６に商品１８０の触覚情報も感じさせる例を考える。例えばユーザ１８６はショッピングサイトで商品を調べ、詳細情報として手元の振動装置１８１０から振動を出力させ、それを商品１８０の手触りとして確かめることが出来る。

【0177】

まず商品１８０の手触りを記録するため、振動センサ１８１（触覚センサ５）を用いて様々な触り方をしたときの振動を記録する。このとき、触る動作の繰り返しに例えばロボットアーム１８２などを用いても良い。

【0178】

振動センサ１８１で取得した振動信号データは触り方別にそれぞれ符号化装置１８３において符号化される。この符号化方法はこれまで述べた通りで、この適用例ではロボットアーム１８２に別途接触センサ１８４（触覚センサ５）を取り付け、その情報を元に符号化の品質制御を行う。
例えばロボットアーム１８２が商品１８０に触れた瞬間と商品１８０から離れた瞬間は接触センサ１８４によって特定できる。

【0179】

そしてその瞬間から一定時間は信号の時間変化が急峻であると予測されるため、その区間は高精度符号化を行う第１信号区間とする。この場合接触センサ１８４の情報によって品質制御が完了するため、信号処理が不要である。そしてこれらの触覚符号化データＤｃをストレージ１８５に保存する。

【0180】

次にユーザ１８６による再生リクエストを送受信部１８７で受信し、制御部１８８によってストレージ１８５から適切な触覚符号化データＤｃを読み出し、ユーザ１８６側へ送信する。受信したユーザ１８６側で復号装置１８９（復号装置３）において触覚符号化データＤｃを復号し、ユーザ１８６の持つ振動装置１８１０から振動を再生する。

【0181】

これにより、ユーザ１８６はインターネット越しに商品１８０の手触りを感じることができる。加えて本適用例の効果により、データ容量が削減されているため振動データのダウンロードも短時間で済み、ウェブページの負荷も小さくなるため、ユーザ体験の質を損ないにくい。

【0182】

<１０．まとめ>
以上の実施形態における復号装置３は、触覚信号中における対象物との接触状態を示す信号区間である接触信号区間２００の一部区間であって、当該対象物との接触状態と非接触状態との境界を含む信号区間である第１信号区間（例えば信号区間７３、７７）について、第１のビットレートによる符号化（高品質符号化）を行って得られた第１の符号化データを復号する第１復号部３４ａと、接触信号区間２００のうち第１信号区間を除く信号区間である第２信号区間（例えば信号区間７４）について、第１のビットレートよりも低ビットレートによる符号化（低品質符号化）を行って得られた第２の符号化データを復号する第２復号部３４ｂと、を備える（図４、図７、図１４のＳ１４０からＳ１４４参照）。
接触信号区間中の重要区間についてのみ高ビットレートによる符号化（高品質符号化）がされ、それ以外の区間について低ビットレートによる符号化（低品質符号化）がされた触覚符号化データＤｃを復号することで、データ量の削減と触覚再現性の確保の両立が図られるようにすることが可能となる。
従って、触覚再現性をできるだけ棄損することなく触覚符号化データＤｃ全体の伝送データ量が削減されたデータを低遅延で受信することができる。よって、受触者に遅延を感じさせずに高品位の触覚を体感させることができる。

【0183】

実施形態の復号装置３は、第１の符号化データを復号することで得られた第１の波形データと、第２の符号化データを復号することで得られた第２の波形データとを結合する結合部３３を備える（図４、図１４のＳ１４５、Ｓ１４６参照）。
これにより、各波形データが一つの波形データに統合される。
従って、各波形データを別出力することによる不快な不連続波形の発生防止を図ることができ、触覚再現性を高めることができる。

【0184】

実施形態の復号装置３において、結合部３３は、第１の波形データと第２の波形データの結合部分についてクロスフェード処理を施す（図１４のＳ１４６、図１５、図１６参照）。
これにより、第１の波形データと第２の波形データが滑らかに結合される。
従って、各波形データを別出力することによる不快な不連続波形の発生防止を図ることができ、触覚再現性を高めることができる。

【0185】

また実施形態における復号方法は、触覚信号中における対象物との接触状態を示す信号区間である接触信号区間の一部区間であって、当該対象物との接触状態と非接触状態との境界を含む信号区間である第１信号区間（例えば信号区間７３、７７）について、第１のビットレートによる符号化（高品質符号化）を行って得られた第１の符号化データを復号し、前記接触信号区間のうち前記第１信号区間を除く信号区間である第２信号区間（例えば信号区間７４）について、前記第１のビットレートよりも低ビットレートによる符号化（低品質符号化）を行って得られた第２の符号化データを復号する復号方法である。

【0186】

このような実施形態としての復号方法によっても上記した実施形態としての復号装置３と同様の作用及び効果を得ることができる。

【0187】

また実施形態における符号化装置２は、触覚信号中における対象物との接触状態を示す信号区間である接触信号区間２００の一部区間であって当該対象物との接触状態と非接触状態との境界を含む信号区間である第１信号区間（例えば信号区間７３、７７）と、接触信号区間２００のうち第１信号区間を除く信号区間である第２信号区間（例えば信号区間７４）と、を判定する判定部８２と、当該第１信号区間について、第１のビットレートによる符号化（高品質符号化）を行う第１符号化部８３と、当該第２信号区間について、前記第１のビットレートよりも低ビットレートによる符号化（低品質符号化）を行う第２符号化部８４と、を備える（図７、図８、図１０参照）。
接触信号区間中の重要区間についてのみ高ビットレートによる符号化が行われ、それ以外の区間は低ビットレートによる符号化が行われることで、データ量の削減と触覚再現性の確保の両立が図られるようにすることが可能となる。
従って、触覚再現性をできるだけ棄損することなく触覚符号化データＤｃ全体の伝送データ量を削減することができる。よって、触覚信号の知覚上の質を保ったまま低遅延で触覚符号化データＤｃを伝送することができる。

【0188】

実施形態の符号化装置２において、判定部８２は、触覚信号に付加された第１信号区間及び第２信号区間の区分情報に基づいて第１信号区間及び第２信号区間を判定する（図１０のＳ１１２、図１１参照）。
これにより、第１信号区間及び第２信号区間の判定にあたり波形解析などの処理が不要とされる。
従って、第１信号区間及び第２信号区間を判定するための符号化装置２の処理負担を軽減することができるため、より効率のよい符号化処理を行うことが可能となる。

【0189】

実施形態の符号化装置２において、判定部８２は、触覚信号の波形解析を行った結果に基づいて第１信号区間及び第２信号区間を判定する（図１０のＳ１１２参照）。
これにより、第１信号区間と第２信号区間に個別の符号化を施すにあたり、接触信号に第１信号区間と第２信号区間の区別情報を付加しておく必要がなくなる。
従って、各信号区間について区分情報を付加した接触信号を作成する作業者の負担を軽減することができる。

【0190】

実施形態の符号化装置２において、判定部８２は、触覚信号の振幅変化率に基づいて第１信号区間及び第２信号区間を判定する（図１０のＳ１１２参照）。
これにより、触覚信号の波形について急峻な変化を伴う第１信号区間を適切に判定可能となる。
従って、データ量の削減と触覚再現性の確保の両立を適切に図ることができる。

【0191】

実施形態の符号化装置２において、第２符号化部８４は、第２信号区間について第１信号区間に対する符号化よりも変換長が長い符号化方式による符号化を行う（図１０のＳ１１６参照）。
これにより、第２信号区間における第２の符号化データのデータ量が削減される。
従って、触覚符号化データＤｃ全体の伝送データ量を削減することができる。

【0192】

実施の形態の符号化装置２において、第２符号化部８４は、第２信号区間についてパラメトリック符号化を行う（図１０のＳ１１６参照）。
これにより、第２信号区間における第２の符号化データのデータ量が削減される。
従って、触覚符号化データＤｃ全体の伝送データ量を削減することができる。

【0193】

実施の形態の符号化装置２において、第１信号区間及び第２信号区間を判定するために用いる第１バッファメモリと、前記判定の結果に応じて前記第２信号区間に対して符号化を行うために用いる第２バッファメモリと、を備える（図８、図１０のＳ１１１、Ｓ１１５参照）。
これにより、第１信号区間に対する符号化よりも変換長が長い第２信号区間の触覚信号について、第１バッファ処理部８６でバッファリングしきれなかった触覚信号を、第２バッファ処理部８７によりバッファリングすることが可能となる。
従って、変換長の長い第２信号区間にバッファリング期間を合わせる必要がなくなるため、第１信号区間の触覚信号に対する高品質符号化の処理時間が遅延することを防止することができ、符号化処理の効率を向上させることができる。

【0194】

また実施形態における符号化方法は、触覚信号中における対象物との接触状態を示す信号区間である接触信号区間２００の一部区間であって当該対象物との接触状態と非接触状態との境界を含む信号区間である第１信号区間（例えば信号区間７３、７７）と、接触信号区間２００のうち第１信号区間を除く信号区間である第２信号区間（例えば信号区間７４）と、を判定し、第１信号区間について、第１のビットレートによる符号化（高品質符号化）を行い、当該第２信号区間について、第１のビットレートよりも低ビットレートによる符号化（低品質符号化）を行う符号化方法である。

【0195】

このような実施形態としての符号化方法によっても上記した実施形態としての符号化装置２と同様の作用及び効果を得ることができる。

【0196】

ここで、これまで説明した復号装置３や符号化装置２による機能は、例えばＣＰＵ、ＤＳＰ等によるソフトウェア処理として実現することができる。該ソフトウェア処理は、プログラムに基づき実行される。

【0197】

実施形態としての第１のプログラムは、触覚信号中における対象物との接触状態を示す信号区間である接触信号区間の一部区間であって、前記対象物との接触状態と非接触状態との境界を含む信号区間である第１信号区間について、第１のビットレートによる符号化を行って得られた第１の符号化データを復号する機能と、前記接触信号区間のうち前記第１信号区間を除く信号区間である第２信号区間について、前記第１のビットレートよりも低ビットレートによる符号化を行って得られた第２の符号化データを復号する機能と、を情報処理装置に実行させるプログラムである。
このような第１のプログラムによって、上記した実施形態としての復号装置３を実現することができる。

【0198】

実施形態としての第２のプログラムは、触覚信号中における対象物との接触状態を示す信号区間である接触信号区間の一部区間であって前記対象物との接触状態と非接触状態との境界を含む信号区間である第１信号区間と、前記接触信号区間のうち前記第１信号区間を除く信号区間である第２信号区間と、を判定する機能と、前記第１信号区間ついて、第１のビットレートによる符号化を行う機能と、前記第２信号区間について、前記第１のビットレートよりも低ビットレートによる符号化を行う機能と、を情報処理装置に実行させるプログラムである。
このような第２のプログラムによって、上記した実施形態としての符号化装置２を実現することができる。

【0199】

上記のような第１、第２のプログラムは、コンピュータ装置等の機器に内蔵されている記録媒体や、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
或いはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、第１、第２のプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、インターネット、ＬＡＮ(Local Area Network)などのネットワークを介してダウンロードすることもできる。

【0200】

また、第１、第２のプログラムによれば、実施形態の復号装置や符号化装置の広範な提供に適している。例えば、パーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ＡＶ（Audio Visual）機器等にプログラムをダウンロードすることで、当該パーソナルコンピュータ等を、本技術の復号装置や符号化装置として機能させることができる。

【0201】

<１１．本技術>
また本技術は以下のような構成も採ることができる。
（１）
触覚信号中における対象物との接触状態を示す信号区間である接触信号区間の一部区間であって、前記対象物との接触状態と非接触状態との境界を含む信号区間である第１信号区間について、第１のビットレートによる符号化を行って得られた第１の符号化データを復号する第１復号部と、
前記接触信号区間のうち前記第１信号区間を除く信号区間である第２信号区間について、前記第１のビットレートよりも低ビットレートによる符号化を行って得られた第２の符号化データを復号する第２復号部と、を備える
復号装置。
（２）
前記第１の符号化データを復号することで得られた第１の波形データと、前記第２の符号化データを復号することで得られた第２の波形データとを結合する結合部を備える
上記（１）に記載の復号装置。
（３）
前記結合部は、前記第１の波形データと前記第２の波形データの結合部分についてクロスフェード処理を施す
上記（２）に記載の復号装置。
（４）
触覚信号中における対象物との接触状態を示す信号区間である接触信号区間の一部区間であって、前記対象物との接触状態と非接触状態との境界を含む信号区間である第１信号区間について、第１のビットレートによる符号化を行って得られた第１の符号化データを復号し、
前記接触信号区間のうち前記第１信号区間を除く信号区間である第２信号区間について、前記第１のビットレートよりも低ビットレートによる符号化を行って得られた第２の符号化データを復号する
復号方法。
（５）
触覚信号中における対象物との接触状態を示す信号区間である接触信号区間の一部区間であって、前記対象物との接触状態と非接触状態との境界を含む信号区間である第１信号区間について、第１のビットレートによる符号化を行って得られた第１の符号化データを復号する機能と、
前記接触信号区間のうち前記第１信号区間を除く信号区間である第２信号区間について、前記第１のビットレートよりも低ビットレートによる符号化を行って得られた第２の符号化データを復号する機能と、を情報処理装置に実行させる
プログラム。
（６）
触覚信号中における対象物との接触状態を示す信号区間である接触信号区間の一部区間であって前記対象物との接触状態と非接触状態との境界を含む信号区間である第１信号区間と、前記接触信号区間のうち前記第１信号区間を除く信号区間である第２信号区間と、を判定する判定部と、
前記第１信号区間ついて、第１のビットレートによる符号化を行う第１符号化部と、
前記第２信号区間について、前記第１のビットレートよりも低ビットレートによる符号化を行う第２符号化部と、を備える
符号化装置。
（７）
前記判定部は、前記触覚信号に付加された前記第１信号区間及び前記第２信号区間の区分情報に基づいて前記第１信号区間及び前記第２信号区間を判定する
上記（６）に記載の符号化装置。
（８）
前記判定部は、前記触覚信号の波形解析を行った結果に基づいて前記第１信号区間及び前記第２信号区間を判定する
上記（６）又は（７）に記載の符号化装置。
（９）
前記判定部は、前記触覚信号の振幅変化率に基づいて前記第１信号区間及び前記第２信号区間を判定する
上記（６）から（８）の何れかに記載の符号化装置。
（１０）
前記第２符号化部は、前記第２信号区間について前記第１信号区間に対する符号化よりも変換長が長い符号化方式による符号化を行う
上記（６）から（９）の何れかに記載の符号化装置。
（１１）
前記第２符号化部は、前記第２信号区間についてパラメトリック符号化を行う
上記（６）から（１０）の何れかに記載の符号化装置。
（１２）
前記第１信号区間及び前記第２信号区間を判定するために用いる第１バッファメモリと、
前記判定の結果に応じて前記第２信号区間に対して符号化を行うために用いる第２バッファメモリと、を備える
上記（１０）に記載の符号化装置。
（１３）
触覚信号中における対象物との接触状態を示す信号区間である接触信号区間の一部区間であって前記対象物との接触状態と非接触状態との境界を含む信号区間である第１信号区間と、前記接触信号区間のうち前記第１信号区間を除く信号区間である第２信号区間と、を判定し、前記第１信号区間ついて、第１のビットレートによる符号化を行い、前記第２信号区間について、前記第１のビットレートよりも低ビットレートによる符号化を行う
符号化方法。
（１４）
触覚信号中における対象物との接触状態を示す信号区間である接触信号区間の一部区間であって前記対象物との接触状態と非接触状態との境界を含む信号区間である第１信号区間と、前記接触信号区間のうち前記第１信号区間を除く信号区間である第２信号区間と、を判定する機能と、
前記第１信号区間ついて、第１のビットレートによる符号化を行う機能と、
前記第２信号区間について、前記第１のビットレートよりも低ビットレートによる符号化を行う機能と、を情報処理装置に実行させる
プログラム。

【0202】

最後に、本開示に記載された効果は例示であって限定されるものではなく、他の効果を奏するものであってもよいし、本開示に記載された効果の一部を奏するものであってもよい。
また本開示に記載された実施の形態はあくまでも一例であり、本技術が上述の実施の形態に限定されることはない。従って、上述した実施の形態以外であっても本技術の技術的思想を逸脱しない範囲であれば、設計などに応じて種々の変更が可能なことはもちろんである。なお、実施の形態で説明されている構成の組み合わせの全てが課題の解決に必須であるとは限らない。

【符号の説明】

【0203】

１ 触覚再現システム
２ 符号化装置
３ 復号装置
２４ 符号化部
３３ 結合部
３４ 復号部
３４ａ 第１復号部
３４ｂ 第２復号部
８２ 判定部
８３ 第１符号化部
８４ 第２符号化部
８６ 第１バッファ処理部
８７ 第２バッファ処理部
２００ 接触信号区間

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】