ホーム > 特許ランキング > ソニーグループ株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023181284
(43)【公開日】2023-12-21
(54)【発明の名称】復号装置、復号方法、プログラム
(51)【国際特許分類】
H03M 7/30 20060101AFI20231214BHJP
G06F 3/01 20060101ALI20231214BHJP
H03M 7/40 20060101ALI20231214BHJP
【ＦＩ】
H03M7/30 Z
G06F3/01 560
H03M7/40
【審査請求】有
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2023180338
(22)【出願日】2023-10-19
(62)【分割の表示】P 2020536347の分割
【原出願日】2019-06-05
(31)【優先権主張番号】P 2018149514
(32)【優先日】2018-08-08
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110003410
【氏名又は名称】弁理士法人テクノピア国際特許事務所
(72)【発明者】
【氏名】鈴木 志朗
(72)【発明者】
【氏名】錦織 修一郎
(72)【発明者】
【氏名】竹田 裕史
(72)【発明者】
【氏名】松本 淳
(57)【要約】
【課題】触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることで、触覚再現システムの効率化を図る。
【解決手段】本技術に係る復号装置は、周波数帯域ごとに符号化された触覚信号を復号する復号部を備えるものである。これにより、触覚特性上、人間が知覚し難いとされる触覚信号についてのビット配分を少なくする効率的な符号化を行うことが可能とされる。
【選択図】図１１
【解決手段】本技術に係る復号装置は、周波数帯域ごとに符号化された触覚信号を復号する復号部を備えるものである。これにより、触覚特性上、人間が知覚し難いとされる触覚信号についてのビット配分を少なくする効率的な符号化を行うことが可能とされる。
【選択図】図１１
【特許請求の範囲】
【請求項1】
周波数帯域ごとに符号化された触覚信号を復号する復号部を備えた
復号装置。
復号装置。
【請求項2】
前記符号化された触覚信号は、触覚センサの検出信号に基づく触覚信号である
請求項１に記載の復号装置。
請求項１に記載の復号装置。
【請求項3】
前記符号化された触覚信号は、受容器の特性に応じた前記周波数帯域ごとに符号化された触覚信号である
請求項１に記載の復号装置。
請求項１に記載の復号装置。
【請求項4】
前記符号化された触覚信号は、帯域分割後の時間領域において前記周波数帯域ごとに符号化された触覚信号である
請求項１に記載の復号装置。
請求項１に記載の復号装置。
【請求項5】
前記符号化された触覚信号は、少なくとも一部の前記周波数帯域間で量子化ビット数、サンプリング周波数の少なくとも何れかが異なる
請求項４に記載の復号装置。
請求項４に記載の復号装置。
【請求項6】
前記符号化された触覚信号は、直交変換後の周波数領域において前記周波数帯域ごとに符号化された触覚信号である
請求項１に記載の復号装置。
請求項１に記載の復号装置。
【請求項7】
前記符号化された触覚信号は、所定の振幅閾値未満の触覚信号成分を量子化及び符号化の対象から除外して符号化された触覚信号である
請求項６に記載の復号装置。
請求項６に記載の復号装置。
【請求項8】
前記符号化された触覚信号は、少なくとも一部の前記周波数帯域間で異なる量子化ステップ数により量子化が行われて符号化された触覚信号である
請求項６に記載の復号装置。
請求項６に記載の復号装置。
【請求項9】
前記符号化された触覚信号は、エントロピー符号化された触覚信号である
請求項６に記載の復号装置。
請求項６に記載の復号装置。
【請求項10】
前記復号部は、
復号した前記周波数帯域ごとの触覚信号を個別に出力する
請求項１に記載の復号装置。
復号した前記周波数帯域ごとの触覚信号を個別に出力する
請求項１に記載の復号装置。
【請求項11】
前記符号化された触覚信号は、複数の触覚センサの検出信号がそれぞれ対応する周波数帯域を対象として符号化されたことで得られる複数の触覚信号である
請求項１に記載の復号装置。
請求項１に記載の復号装置。
【請求項12】
周波数帯域ごとに符号化された触覚信号を復号する
復号方法。
復号方法。
【請求項13】
周波数帯域ごとに符号化された触覚信号を復号する機能を情報処理装置に実現させる
プログラム。
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、符号化された触覚信号を復号する復号装置とその方法、及びプログラムに関する。
【背景技術】
【0002】
近年、人間の皮膚に接触させた触覚提示デバイスにより触覚刺激を与えるアプリケーションが様々な場面で利用されている。ここで、「触覚提示」とは、触覚刺激を発生させることを意味する。
例えば、スマートフォン等のタッチパネル搭載モバイル端末においては、パネルのタッチ操作時にパネル（又は筐体）を振動させて指に触覚刺激を与えることで、ボタンのタッチ感を疑似的に作り出すことが行われている。
音楽リスニングにおいては、ヘッドフォン筐体に触覚提示デバイスを組み込み、音楽再生と並行して触覚刺激も与えることで、重低音を強調しているものもある。
コンピュータゲームやＶＲ（仮想現実）の分野では、ユーザの操作に応じてコントローラ内に設置した触覚提示デバイスによってシーンに合わせてインタラクティブに触覚刺激を与えることで、ユーザの没入感を高めるものがある。
アミューズメント施設においては、映画館やテーマパーク等で場面に応じて座席内に設置した触覚提示デバイスによって触覚刺激を与えることで、来場者の臨場感を向上させているものがある。
例えば、スマートフォン等のタッチパネル搭載モバイル端末においては、パネルのタッチ操作時にパネル（又は筐体）を振動させて指に触覚刺激を与えることで、ボタンのタッチ感を疑似的に作り出すことが行われている。
音楽リスニングにおいては、ヘッドフォン筐体に触覚提示デバイスを組み込み、音楽再生と並行して触覚刺激も与えることで、重低音を強調しているものもある。
コンピュータゲームやＶＲ（仮想現実）の分野では、ユーザの操作に応じてコントローラ内に設置した触覚提示デバイスによってシーンに合わせてインタラクティブに触覚刺激を与えることで、ユーザの没入感を高めるものがある。
アミューズメント施設においては、映画館やテーマパーク等で場面に応じて座席内に設置した触覚提示デバイスによって触覚刺激を与えることで、来場者の臨場感を向上させているものがある。
【0003】
また、研究開発段階のものにおいては、ロボット等を遠隔操作する際に、ロボット又は操作される対象物が受けた振動を操作者の手元のコントローラにフィードバックすることで、ロボット又は対象物周辺の状況を直感的に察知させて危険予測に役立てるものもある（例：災害対応ロボット<http://www.rm.is.tohoku.ac.jp/quince_mech/#_8>）
さらに、医療の分野では、手術ロボットの操作時に、内視鏡の鉗子が臓器に触れた感触（硬さ）を操作者にフィードバックすることで、手術精度を向上させることが研究されている（例：手術支援ロボット ダヴィンチ<http://techon.nikkeibp.co.jp/article/FEATURE/20150217/404460/?P=2>）
さらに、医療の分野では、手術ロボットの操作時に、内視鏡の鉗子が臓器に触れた感触（硬さ）を操作者にフィードバックすることで、手術精度を向上させることが研究されている（例：手術支援ロボット ダヴィンチ<http://techon.nikkeibp.co.jp/article/FEATURE/20150217/404460/?P=2>）
【0004】
なお、関連する従来技術については下記特許文献１を挙げることができる。該特許文献１には、振動等をセンシングして触覚刺激のパターンを表す触覚信号を生成するのではなく、オーディオ信号に基づき触覚信号を生成する技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１５－５３０３８号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ここで、触覚信号を再現する触覚再現システムについては、触覚提示デバイスを複数用意して人体の複数部位に触覚刺激を与えたり、触覚信号をインターネット等のネットワークを介して伝送してリアルタイムな触覚再現を実現すること等が考えられている。
しかしながら、触覚刺激を与える部位の数が増大することに伴い、触覚信号のチャンネル数も増大し、データ量の増大化を招いてしまう。触覚信号のデータ量が増大すると、触覚再現に係る処理負担の増大化や伝送遅延等を招く虞があり望ましくない。
しかしながら、触覚刺激を与える部位の数が増大することに伴い、触覚信号のチャンネル数も増大し、データ量の増大化を招いてしまう。触覚信号のデータ量が増大すると、触覚再現に係る処理負担の増大化や伝送遅延等を招く虞があり望ましくない。
【0007】
本技術は上記の事情に鑑み為されたものであり、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることで、触覚再現システムの効率化を図ることを目的とする。
【課題を解決するための手段】
【0008】
本技術に係る復号装置は、周波数帯域ごとに符号化された触覚信号を復号する復号部を備えるものである。
【0009】
これにより、触覚特性上、人間が知覚し難いとされる触覚信号についてのビット配分を少なくする効率的な符号化を行うことが可能とされる。
【0010】
上記した本技術に係る復号装置においては、前記符号化された触覚信号は、触覚センサの検出信号に基づく触覚信号であることが望ましい。
【0011】
これにより、実際にセンシングした触覚信号に基づいて触覚再現を行うことが可能とされる。
【0012】
上記した本技術に係る復号装置においては、前記符号化された触覚信号は、受容器の特性に応じた前記周波数帯域ごとに符号化された触覚信号であることが望ましい。
【0013】
これにより、受容器ごとの特性の差の観点より、人間が知覚し難いとされる触覚信号についてのビット配分を少なくする効率的な符号化を行うことが可能とされる。
【0014】
上記した本技術に係る復号装置においては、前記符号化された触覚信号は、帯域分割後の時間領域において前記周波数帯域ごとに符号化された触覚信号であることが望ましい。
【0015】
これにより、人間が知覚し難いとされる触覚信号についてのビット配分を少なくする効率的な符号化を実現するにあたり、触覚信号に対する直交変換を行う必要がなくなる。
【0016】
上記した本技術に係る復号装置においては、前記符号化された触覚信号は、少なくとも一部の前記周波数帯域間で量子化ビット数、サンプリング周波数の少なくとも何れかが異なることが望ましい。
【0017】
これにより、少なくとも一つの周波数帯域の触覚信号について、量子化ビット数を少なく又はサンプリング周波数を低くすることが可能とされ、触覚信号のデータ量削減が図られる。
【0018】
上記した本技術に係る復号装置においては、前記符号化された触覚信号は、直交変換後の周波数領域において前記周波数帯域ごとに符号化された触覚信号であることが望ましい。
【0019】
これにより、周波数に応じたビット削減の自由度が向上し、より効率的な符号化を行うことが可能とされる。
【0020】
上記した本技術に係る復号装置においては、前記符号化された触覚信号は、所定の振幅閾値未満の触覚信号成分を量子化及び符号化の対象から除外して符号化された触覚信号を取得することが望ましい。
【0021】
これにより、信号振幅値の面で人間が知覚し難いとされる触覚信号成分を量子化の対象から除外する符号化を行うことが可能とされる。
【0022】
上記した本技術に係る復号装置においては、前記符号化された触覚信号は、少なくとも一部の前記周波数帯域間で異なる量子化ステップ数により量子化が行われて符号化された触覚信号であることが望ましい。
【0023】
これにより、一部の周波数帯域については量子化ステップ数を他の周波数帯域よりも削減することが可能とされる。
【0024】
上記した本技術に係る復号装置においては、前記符号化された触覚信号は、エントロピー符号化された触覚信号であることが望ましい。
【0025】
これにより、出現頻度の高いシンボルについて符号量の削減を図ることによる効率的な符号化を行うことが可能とされる。
【0026】
上記した本技術に係る復号装置においては、前記復号部は、復号した前記周波数帯域ごとの触覚信号を個別に出力することが望ましい。
【0027】
これにより、受容器ごとに異なる触覚提示装置を用いて触覚再現を行うことが可能とされる。
【0028】
上記した本技術に係る復号装置においては、前記符号化された触覚信号は、複数の触覚センサの検出信号がそれぞれ対応する周波数帯域を対象として符号化されたことで得られる複数の触覚信号であることが望ましい。
【0029】
これにより、受容器ごとに異なる触覚センサを用いて触覚再現を行うことが可能とされる。
【0030】
また、本技術に係る復号方法は、周波数帯域ごとに符号化された触覚信号を復号する復号方法である。
【0031】
このような復号方法によっても、上記した本技術に係る復号装置と同様の作用が得られる。
【0032】
さらに、本技術に係るプログラムは、周波数帯域ごとに符号化された触覚信号を復号する機能を情報処理装置に実現させるプログラムである。
【0033】
このような本技術に係るプログラムにより、上記した本技術に係る復号装置が実現される。
【発明の効果】
【0034】
本技術によれば、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができ、触覚再現システムの効率化を図ることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【0035】
【図1】本技術に係る第一実施形態としての復号装置を含んで構成される触覚再現システムの構成例を示した図である。
【図2】第一実施形態としての符号化装置の内部構成例を説明するための図である。
【図3】第一実施形態としての復号装置の内部構成例を説明するための図である。
【図4】振動検出閾値曲線の説明図である。
【図5】受容器ごとの神経発火分布の例を示した図である。
【図6】受容器ごとの振動検出閾値曲線についての説明図である。
【図7】触覚信号のデジタル化で対象とする振幅範囲と周波数範囲とを例示した図である。
【図8】第一実施形態における第一例としての符号化手法の説明図である。
【図9】第一例としての符号化手法を実現するための符号化部の具体的な構成例を示した図である。
【図10】触覚信号の多重化の例を説明するための図である。
【図11】実施形態としての復号装置が有する機能を説明するための機能ブロック図である。
【図12】第一例としての復号手法を実現するための復号部の具体的な構成例を示した図である。
【図13】第二例としての符号化手法の説明図である。
【図14】第二例における符号化部の具体的な構成例を示した図である。
【図15】第二例における復号部の具体的な構成例を示した図である。
【図16】第三例としての触覚再現システムの構成例を示した図である。
【図17】振動デバイスの周波数特性を例示した図である。
【図18】第三例としての復号装置が備える復号部の具体的な構成例を示した図である。
【図19】第三例としての復号装置の内部構成例を説明するための図である。
【図20】第三例の利点について説明するための図である。
【図21】受容器ごとに設ける触覚提示装置のサイズや実装手法について説明するための図である。
【図22】第四例としての触覚再現システムの構成例を示した図である。
【図23】第四例としての符号化装置の内部構成例を説明するための図である。
【図24】第四例としての符号化装置が備える符号化部の具体的な構成例を示した図である。
【図25】帯域分割の変形例についての説明図である。
【図26】第二実施形態としての符号化手法の説明図である。
【図27】第二実施形態としての符号化手法を実現するための符号化部の具体的な構成例を示した図である。
【図28】第二実施形態としての復号部の具体的な構成例を示した図である。
【図29】第二実施形態としての復号部の他の構成例を示した図である。
【発明を実施するための形態】
【0036】
以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。
＜１．第一実施形態＞
［1-1．触覚再現システムの概要］
［1-2．符号化装置の構成］
［1-3．再生装置の構成］
［1-4．第一例］
（符号化手法）
（符号化側の構成）
（復号手法）
（復号側の構成）
［1-5．第二例］
［1-6．第三例］
［1-7．第四例］
＜２．第二実施形態＞
［2-1．符号化手法］
［2-2．符号化側の構成］
［2-3．復号側の構成］
＜３．実施形態の変形例＞
＜４．実施形態のまとめ＞
＜５．本技術＞
＜１．第一実施形態＞
［1-1．触覚再現システムの概要］
［1-2．符号化装置の構成］
［1-3．再生装置の構成］
［1-4．第一例］
（符号化手法）
（符号化側の構成）
（復号手法）
（復号側の構成）
［1-5．第二例］
［1-6．第三例］
［1-7．第四例］
＜２．第二実施形態＞
［2-1．符号化手法］
［2-2．符号化側の構成］
［2-3．復号側の構成］
＜３．実施形態の変形例＞
＜４．実施形態のまとめ＞
＜５．本技術＞
【0037】
ここで、本明細書においては以下のように各用語を定義する。
触覚刺激：例えば振動現象等、触覚を人に知覚させるための物理的現象。
触覚提示：触覚刺激を発生させること。
触覚信号：例えば振動波形を表す信号等、触覚刺激のパターンを表す信号。狭義にはアナログ信号又はデジタル信号であるとするが、広義には人間の触覚により知覚される情報（振動のように特定の周波数帯域や振幅範囲でのみ知覚可能とされている情報も含む）そのものを指すこととする。
受触者：触覚提示を受ける人。
触覚特性：人間の触覚に関する特性。部位（手、顔、足等）や受容器によって異なる。
触覚感度：触覚刺激を主観的にどの程度の強度と捉えるかの感度。人体における受容器や部位によって異なる。
触覚刺激：例えば振動現象等、触覚を人に知覚させるための物理的現象。
触覚提示：触覚刺激を発生させること。
触覚信号：例えば振動波形を表す信号等、触覚刺激のパターンを表す信号。狭義にはアナログ信号又はデジタル信号であるとするが、広義には人間の触覚により知覚される情報（振動のように特定の周波数帯域や振幅範囲でのみ知覚可能とされている情報も含む）そのものを指すこととする。
受触者：触覚提示を受ける人。
触覚特性：人間の触覚に関する特性。部位（手、顔、足等）や受容器によって異なる。
触覚感度：触覚刺激を主観的にどの程度の強度と捉えるかの感度。人体における受容器や部位によって異なる。
【0038】
＜１．第一実施形態＞
［1-1．触覚再現システムの概要］
図１は、本技術に係る第一実施形態としての復号装置（再生装置３）を含んで構成される触覚再現システム１の構成例を示している。
触覚再現システム１は、触覚センサ５が接続された符号化装置２と、符号化装置２との間で所定のネットワーク４を介して通信可能に構成された再生装置３と、再生装置３と接続された触覚提示装置６とを備えている。
ここで、触覚は人体の全身に分布するため、人体の複数部位に触覚提示装置６を装着して触覚の再現を行うことが考えられるが、ここでは説明の簡単化のため、例えば物体の振動を指先等の人体における単一部位で触った際に得られる触覚信号を再現する例とし、触覚再現システム１としては、図示のように触覚センサ５、触覚提示装置６がそれぞれ単数設けられた構成であるとする。
［1-1．触覚再現システムの概要］
図１は、本技術に係る第一実施形態としての復号装置（再生装置３）を含んで構成される触覚再現システム１の構成例を示している。
触覚再現システム１は、触覚センサ５が接続された符号化装置２と、符号化装置２との間で所定のネットワーク４を介して通信可能に構成された再生装置３と、再生装置３と接続された触覚提示装置６とを備えている。
ここで、触覚は人体の全身に分布するため、人体の複数部位に触覚提示装置６を装着して触覚の再現を行うことが考えられるが、ここでは説明の簡単化のため、例えば物体の振動を指先等の人体における単一部位で触った際に得られる触覚信号を再現する例とし、触覚再現システム１としては、図示のように触覚センサ５、触覚提示装置６がそれぞれ単数設けられた構成であるとする。
【0039】
触覚センサ５は、触覚信号のセンシングを行うセンサであり、本例では、ピエゾピックアップや加速度センサ等の振動センサが用いられる。触覚センサは、センシングの対象物に接触させることで、振動や運動を電圧変化として出力する。
本例において、触覚センサ５は符号化装置２に対して有線接続されている。
本例において、触覚センサ５は符号化装置２に対して有線接続されている。
【0040】
符号化装置２は、例えばＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）等のコンピュータ装置を備えて構成され、触覚センサ５による検出信号（触覚信号）について所定のデータフォーマットに従った符号化を行い、符号化された触覚信号を例えばインターネット等の所定のネットワーク４を介して再生装置３に送信する。
【0041】
再生装置３は、ＣＰＵやＤＳＰ等のコンピュータ装置を備えて構成され、ネットワーク４を介して受信した、符号化された触覚信号を復号（再生）し、復号後の触覚信号に基づき触覚提示装置６を駆動する。
【0042】
触覚提示装置６は、触覚刺激を発生させるデバイスとされ、本例ではバイブレータやアクチュエータ等の振動デバイスが用いられる。
触覚提示装置６は、受触者に装着され（本例では指先）、触覚センサ５でセンシングされた触覚信号を再現するようにされる。
触覚提示装置６は、受触者に装着され（本例では指先）、触覚センサ５でセンシングされた触覚信号を再現するようにされる。
【0043】
本例の触覚再現システム１は、触覚信号をセンシングする環境と再現する環境とが遠隔とされた場合にも対応可能なシステムとして構成されている。図１に示す触覚再現システム１の構成によれば、触覚センサ５のセンシングによって得られた触覚信号をネットワーク４経由で再生装置３側に送信することで、触覚の再現を略リアルタイムに行うことが可能とされる。
【0044】
［1-2．符号化装置の構成］
図２は、符号化装置２の内部構成例を説明するための図である。なお図２では符号化装置２の内部構成例と共に図１に示した触覚センサ５を併せて示している。
図示のように符号化装置２は、増幅器２１、Ａ／Ｄコンバータ２２、前処理部２３、符号化部２４、制御部２５、記憶部２６、通信部２７、及びバス２８を備えている。
図示のように前処理部２３、符号化部２４、制御部２５、記憶部２６、及び通信部２７はバス２８を介して接続され、互いにデータ通信可能とされている。
図２は、符号化装置２の内部構成例を説明するための図である。なお図２では符号化装置２の内部構成例と共に図１に示した触覚センサ５を併せて示している。
図示のように符号化装置２は、増幅器２１、Ａ／Ｄコンバータ２２、前処理部２３、符号化部２４、制御部２５、記憶部２６、通信部２７、及びバス２８を備えている。
図示のように前処理部２３、符号化部２４、制御部２５、記憶部２６、及び通信部２７はバス２８を介して接続され、互いにデータ通信可能とされている。
【0045】
触覚センサ５の検出信号（触覚刺激のパターンを表す触覚信号の一形態である）は、増幅器２１に入力されて適切なダイナミックレンジに調整された後、Ａ／Ｄコンバータ２２に入力されてＡ／Ｄ変換(アナログ／デジタル変換)された上で、前処理部２３に入力される。前処理部２３においては、ノイズ除去や触覚センサ５のセンサ特性の校正などの各種デジタル信号処理が行われる。
前処理部２３による信号処理を施された触覚信号は、符号化部２４に入力される。
前処理部２３による信号処理を施された触覚信号は、符号化部２４に入力される。
【0046】
符号化部２４は、例えばＤＳＰで構成され、入力された触覚信号を所定のデータフォーマットに従って符号化する。なお、触覚信号の符号化の具体的手法については後に改めて説明する。
【0047】
制御部２５は、例えばＣＰＵ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を有するマイクロコンピュータを備えて構成され、ＲＯＭに記憶されたプログラムに従った処理を実行することで符号化装置２の全体制御を行う。
例えば、制御部２５は、通信部２７を介して外部装置との間でのデータ通信を行う。
通信部２７は、ネットワーク４を介した外部装置との間でのデータ通信を行うことが可能に構成されており、制御部２５は、該通信部２７を介して、ネットワーク４に接続された外部装置（特に本例では再生装置３）との間でデータ通信を行うことが可能とされている。特に、符号化部２４により符号化された触覚信号を通信部２７を介して再生装置３に送信させることが可能とされる。
例えば、制御部２５は、通信部２７を介して外部装置との間でのデータ通信を行う。
通信部２７は、ネットワーク４を介した外部装置との間でのデータ通信を行うことが可能に構成されており、制御部２５は、該通信部２７を介して、ネットワーク４に接続された外部装置（特に本例では再生装置３）との間でデータ通信を行うことが可能とされている。特に、符号化部２４により符号化された触覚信号を通信部２７を介して再生装置３に送信させることが可能とされる。
【0048】
記憶部２６は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の記憶デバイスを包括的に表したものであり、符号化装置２において各種のデータ記憶に用いられる。例えば記憶部２６には、制御部２５による制御に必要なデータが記憶される。また、制御部２５の制御に基づき、記憶部２６に符号化された触覚信号を記憶させることもできる。
【0049】
［1-3．再生装置の構成］
図３は、再生装置３の内部構成例を説明するための図であり、再生装置３の内部構成例と共に図１に示した触覚提示装置６を併せて示している。
再生装置３は、増幅器３１、Ｄ／Ａコンバータ３２、後処理部３３、復号部３４、制御部３５、記憶部３６、通信部３７、及びバス３８を備えている。
後処理部３３、復号部３４、制御部３５、記憶部３６、及び通信部３７はバス３８を介して接続され、互いにデータ通信可能とされている。
図３は、再生装置３の内部構成例を説明するための図であり、再生装置３の内部構成例と共に図１に示した触覚提示装置６を併せて示している。
再生装置３は、増幅器３１、Ｄ／Ａコンバータ３２、後処理部３３、復号部３４、制御部３５、記憶部３６、通信部３７、及びバス３８を備えている。
後処理部３３、復号部３４、制御部３５、記憶部３６、及び通信部３７はバス３８を介して接続され、互いにデータ通信可能とされている。
【0050】
制御部３５は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を有するマイクロコンピュータを備えて構成され、ＲＯＭに記憶されたプログラムに従った処理を実行することで再生装置３の全体制御を行う。
例えば、制御部３５は、通信部３７を介して外部装置との間でのデータ通信を行う。
通信部３７は、ネットワーク４を介した外部装置との間でのデータ通信を行うことが可能に構成されており、制御部３５は、通信部３７を介してネットワーク４に接続された外部装置（特に本例では符号化装置２）との間でデータ通信を行うことが可能とされている。
例えば、制御部３５は、通信部３７を介して外部装置との間でのデータ通信を行う。
通信部３７は、ネットワーク４を介した外部装置との間でのデータ通信を行うことが可能に構成されており、制御部３５は、通信部３７を介してネットワーク４に接続された外部装置（特に本例では符号化装置２）との間でデータ通信を行うことが可能とされている。
【0051】
制御部３５は、通信部３７が符号化装置２より受信した触覚信号（符号化された触覚信号）を復号部３４に入力させる。
【0052】
記憶部３６は、例えばＨＤＤやＳＳＤ等の記憶デバイスを包括的に表したものであり、再生装置３において各種のデータ記憶に用いられる。例えば記憶部３６には、制御部３５による制御に必要なデータが記憶される。
【0053】
復号部３４は、符号化された触覚信号を所定のデータフォーマットに従って復号する。復号された触覚信号は後処理部３３に入力される。
【0054】
後処理部３３は、入力された触覚信号について、必要に応じて触覚提示装置６の校正や所定のフィルタ処理等の信号処理を施す。
【0055】
後処理部３３を経た触覚信号は、Ｄ／Ａコンバータ３２に入力されてＤ／Ａ変換（デジタル／アナログ変換）された後、増幅器３１で適切なダイナミックレンジに調整され、触覚提示装置６に出力される。
これにより、触覚提示装置６が触覚信号に基づき駆動され、検出環境においてセンシングの対象とした触覚刺激を受触者に対して与えることができる（つまり触覚信号を再現することができる）。
これにより、触覚提示装置６が触覚信号に基づき駆動され、検出環境においてセンシングの対象とした触覚刺激を受触者に対して与えることができる（つまり触覚信号を再現することができる）。
【0056】
なお、上記では触覚信号に関してのみ言及したが、触覚信号と共に音声信号や映像信号を再生装置３側に送信して受触者に音や映像を提供することもできる。
【0057】
［1-4．第一例］
（符号化手法）
以下、第一実施形態における第一例としての触覚再現手法について説明する。
先ず、第一、第二実施形態を問わず、実施形態としての触覚再現手法は、人間の触覚特性に着目した手法となる。
人間の触覚感度の目安として、図４に示す振動検出閾値曲線が報告されている。なお図４において、横軸は周波数、縦軸は触覚刺激（振動：ここでは変位）の大きさを表す。
図４に示す振動検出閾値曲線は、人間がその振動を触覚として感じるか感じないか、つまり触覚感度を実験によって調べた一例である。人間は、この曲線より小さい振動は触覚として知覚することができない。
（符号化手法）
以下、第一実施形態における第一例としての触覚再現手法について説明する。
先ず、第一、第二実施形態を問わず、実施形態としての触覚再現手法は、人間の触覚特性に着目した手法となる。
人間の触覚感度の目安として、図４に示す振動検出閾値曲線が報告されている。なお図４において、横軸は周波数、縦軸は触覚刺激（振動：ここでは変位）の大きさを表す。
図４に示す振動検出閾値曲線は、人間がその振動を触覚として感じるか感じないか、つまり触覚感度を実験によって調べた一例である。人間は、この曲線より小さい振動は触覚として知覚することができない。
【0058】
ここで、人間の皮膚下には触覚を知覚するための受容器が複数存在することが一般的に知られている。代表的な受容器として、マイスナー、メルケル、ルフィニ、及びパチニが知られている。
マイスナー、パチニはそれぞれ「ＦＡ I」、「ＦＡ II」とも呼ばれ、ＦＡは「Fast Adapting」の略称である。メルケル、ルフィニはそれぞれ「ＳＡ I」、「ＳＡ II」とも呼ばれ、ＳＡは「Slow Adapting」の略称である。
マイスナー、パチニはそれぞれ「ＦＡ I」、「ＦＡ II」とも呼ばれ、ＦＡは「Fast Adapting」の略称である。メルケル、ルフィニはそれぞれ「ＳＡ I」、「ＳＡ II」とも呼ばれ、ＳＡは「Slow Adapting」の略称である。
【0059】
図５は、物体を皮膚に徐々に押し付け、暫く保持した後に物体を離したときの受容器ごとの神経発火分布を示している。
メルケル（ＳＡ I）は物体を押し付つけている間は継続して神経発火をしており、強度（変位、圧力）検出をしているとされる。マイスナー（ＦＡ I）は物体の押し込み量が一定になるまでの区間、つまり速度検出をしているとされる。パチニ（ＦＡ II）は押し込み量が変化する区間、つまり加速度検出を担っているとされる。
メルケル（ＳＡ I）は物体を押し付つけている間は継続して神経発火をしており、強度（変位、圧力）検出をしているとされる。マイスナー（ＦＡ I）は物体の押し込み量が一定になるまでの区間、つまり速度検出をしているとされる。パチニ（ＦＡ II）は押し込み量が変化する区間、つまり加速度検出を担っているとされる。
【0060】
【0061】
図４や図６に示す振動検出閾値曲線からは、人間が１ｋＨｚ程度までの振動を触覚刺激として感じ得ることが示されている。また、これらの図では１ｋＨｚ以上の値が記載されていないが、感度は高くないものの実際には数ｋＨｚ程度の周波数の振動でも人間は触覚刺激として知覚し得ることが知られている。
【0062】
従来における触覚再現のアプリケーションにおいては、殆どの場合、高くても２００Ｈｚ程度までの振動をターゲットにしている。これは、人間の触覚感度が最も高いのが２００Ｈｚ程度であることに起因している。
【0063】
しかしながら、上記の通り人間は１ｋＨｚまでの振動を触覚刺激として感じられることは過去の様々な実験から明らかにされており、従来のアプリケーションでは高い現実感を持つ触覚を再現することは困難であると言わざるを得ない。
例えば、ビンのコルク栓を抜いた際の振動は、現実では数ｋＨｚといった高い周波数を含んでいる。これを数１００Ｈｚまでしか再現しなければ、現実とは全く異なる触覚しか得られない。
例えば、ビンのコルク栓を抜いた際の振動は、現実では数ｋＨｚといった高い周波数を含んでいる。これを数１００Ｈｚまでしか再現しなければ、現実とは全く異なる触覚しか得られない。
【0064】
そこで、本実施形態では、触覚信号と触覚提示装置６の特性を１ｋＨｚ程度まで広帯域化することで、より現実感を高めることとする。
具体的に本実施形態では、現実に発生した振動等の触覚刺激をセンシングして触覚信号を得、該触覚信号によって触覚提示を行うという手法を採る。
具体的に本実施形態では、現実に発生した振動等の触覚刺激をセンシングして触覚信号を得、該触覚信号によって触覚提示を行うという手法を採る。
【0065】
近年はあらゆる情報がデジタル化されて利用されるが、触覚信号についても同様にデジタル化して扱うことを考える。
デジタル化されたデータ量は、単位時間当たりに必要なビット数、つまりビットレートで考えることができる。例えば、図４に示した振動検出閾値曲線において人間が感じることのできる領域は、少なくとも、縦軸（振動）が５０ｄＢ（－２０ｄＢ～３０ｄＢ）以上、横軸が１０００Ｈｚ程度である。本例では、実際に人間の感じる触覚信号の分布を考慮し、閾値曲線から＋２０ｄＢの範囲の信号をセンシングすることとする。
具体的には、図７に示すように、振動の範囲が７０ｄＢ（－２０ｄＢ～５０ｄＢ）であるとする。
デジタル化されたデータ量は、単位時間当たりに必要なビット数、つまりビットレートで考えることができる。例えば、図４に示した振動検出閾値曲線において人間が感じることのできる領域は、少なくとも、縦軸（振動）が５０ｄＢ（－２０ｄＢ～３０ｄＢ）以上、横軸が１０００Ｈｚ程度である。本例では、実際に人間の感じる触覚信号の分布を考慮し、閾値曲線から＋２０ｄＢの範囲の信号をセンシングすることとする。
具体的には、図７に示すように、振動の範囲が７０ｄＢ（－２０ｄＢ～５０ｄＢ）であるとする。
【0066】
この信号をＬＰＣＭ（Linear Pulse Code Modulation）にてデジタル化する場合、１ビットで表現できるのは６ｄＢであるから縦軸については１２ｂｉｔ、１０００Ｈｚまでを再現するためには２倍のサンプリング周波数である２０００Ｈｚ（sample/sec)が必要となるから、必要なビットレートＢ０は以下の［式１］で求められる。
Ｂ０＝１２bit/sample×２０００sample/sec＝２４kbit/sec・・・［式１］
Ｂ０＝１２bit/sample×２０００sample/sec＝２４kbit/sec・・・［式１］
【0067】
この値自体は、例えば音声信号の代表的フォーマットであるＣＤ（Compact Disc）のビットレート＝１４１１kbit/secと比べると非常に小さいため、この触覚信号を何らかのシステムに付加的に組み込んだとしても大きな問題となる可能性は少ないように見える。
【0068】
しかしながら、先に示したように人間が感じることのできる触覚信号の帯域は数ｋＨｚまでに及ぶことが分かっている。例えば触覚信号を２０００Ｈｚまで再現する場合、ビットレートは［式１］に比べて２倍の４８kbit/secとなる。
【0069】
また、触覚は視覚(二つの目)と聴覚(二つの耳)と違って人体表面のあらゆる場所に存在している。両手の指先だけを考えても１０か所あり、これらすべての触覚信号を扱おうとすれば、ビットレートはさらに１０倍の４８０kbit/secとなる。指の関節ごと、手の平と場所を増やしてくとビットレートは飛躍的に増大してしまう。
【0070】
さらに、触覚信号は基本的に一次元信号であるが、振動という物理現象は３軸（ｘ、ｙ、ｚ）で捉えることができる。これを全て扱おうとすると、さらに３倍の１４４０kbit/secというビットレートが必要となるが、この値はオーディオＣＤの１４１１kbit/secに匹敵する大きなものとなる。
【0071】
このように、一つの触覚信号に係るビットレートはそれほど大きくないものの、人間が感知できる触覚を考えると膨大な量となり、触覚信号を扱うシステムに大きな負荷を与えることは確実である。
【0072】
そこで、本実施形態では、人間の触覚特性を考慮した符号化を行うことで、触覚信号のビットレート削減を図る。
具体的に、第一例では、図４や図７に示した振動検出閾値曲線において、振動検出閾値が高域側で大きく低下する特性に着目し、触覚信号を二つの周波数帯域に分けて符号化するという手法を挙げる。
具体的に、第一例では、図４や図７に示した振動検出閾値曲線において、振動検出閾値が高域側で大きく低下する特性に着目し、触覚信号を二つの周波数帯域に分けて符号化するという手法を挙げる。
【0073】
図８は、第一例としての符号化手法の説明図である。
本例では、ＬＰＣＭ信号としての触覚信号を、５０Ｈｚを境に二つの周波数帯域に分割し、図示のように低域側の帯域（例えば５０Ｈｚ未満の帯域）については量子化ビット数＝７ｂｉｔ（４０ｄＢ）且つサンプリング周波数＝１００Ｈｚとし、高域側の帯域（例えば５０Ｈｚ以上且つ１ｋＨｚ以下の帯域）については量子化ビット数＝８ｂｉｔ（４８ｄＢ）且つサンプリング周波数＝１００Ｈｚとする符号化を行う。
本例では、ＬＰＣＭ信号としての触覚信号を、５０Ｈｚを境に二つの周波数帯域に分割し、図示のように低域側の帯域（例えば５０Ｈｚ未満の帯域）については量子化ビット数＝７ｂｉｔ（４０ｄＢ）且つサンプリング周波数＝１００Ｈｚとし、高域側の帯域（例えば５０Ｈｚ以上且つ１ｋＨｚ以下の帯域）については量子化ビット数＝８ｂｉｔ（４８ｄＢ）且つサンプリング周波数＝１００Ｈｚとする符号化を行う。
【0074】
この場合、低域側の帯域に係る触覚信号のビットレートＢＬ１、高域側の帯域に係る触覚信号のビットレートＢＨ１は下記［式２］［式３］により表される。
ＢＬ１＝７bit/sample×１００sample/sec＝０．７kbit/sec・・・［式２］
ＢＨ１＝８bit/sample×２０００sample/sec＝１６kbit/sec・・・［式３］
ＢＬ１＋ＢＨ１で求まる総ビットレートは１６．７kbpsとなり、帯域分割をしない場合のビットレートＢ０と比べると約３０％もの低減が実現される。
ＢＬ１＝７bit/sample×１００sample/sec＝０．７kbit/sec・・・［式２］
ＢＨ１＝８bit/sample×２０００sample/sec＝１６kbit/sec・・・［式３］
ＢＬ１＋ＢＨ１で求まる総ビットレートは１６．７kbpsとなり、帯域分割をしない場合のビットレートＢ０と比べると約３０％もの低減が実現される。
【0075】
（符号化側の構成）
図９は、上記した第一例としての符号化手法を実現するための符号化部２４の具体的な構成例を示した図である。
なお、ここでは、符号化部２４に対しては量子化ビット数＝１２ｂｉｔ、サンプリング周波数＝２０００Ｈｚによる触覚信号が入力されるものとする。
図９は、上記した第一例としての符号化手法を実現するための符号化部２４の具体的な構成例を示した図である。
なお、ここでは、符号化部２４に対しては量子化ビット数＝１２ｂｉｔ、サンプリング周波数＝２０００Ｈｚによる触覚信号が入力されるものとする。
【0076】
図示のように符号化部２４は、帯域分割フィルタ４１、ダウンサンプラー４２、ビットマスク部４３－１、ビットマスク部４３－２、及び多重化部４４を備えている。
帯域分割フィルタ４１は、前処理部２３より触覚信号（量子化ビット数＝１２ｂｉｔ、サンプリング周波数＝２０００Ｈｚ）を入力し、該触覚信号について周波数帯域の分割処理を行って、上述した低域側の帯域の成分（以下「低域成分」と表記）と、高域側の帯域の成分（以下「高域成分」と表記）とを抽出する。
帯域分割フィルタ４１は、前処理部２３より触覚信号（量子化ビット数＝１２ｂｉｔ、サンプリング周波数＝２０００Ｈｚ）を入力し、該触覚信号について周波数帯域の分割処理を行って、上述した低域側の帯域の成分（以下「低域成分」と表記）と、高域側の帯域の成分（以下「高域成分」と表記）とを抽出する。
【0077】
帯域分割フィルタ４１で得られた触覚信号の低域成分は、ダウンサンプラー４２に入力されてダウンサンプリング処理が施される。具体的には、サンプリング周波数＝１００Ｈｚによるダウンサンプリング処理が行われる。
そして、ダウンサンプラー４２によりダウンサンプリングされた触覚信号の低域成分はビットマスク部４３－１による上位ビット取出しにより、量子化ビット数が１２ｂｉｔから７ｂｉｔに減少され、多重化部４４に入力される。
そして、ダウンサンプラー４２によりダウンサンプリングされた触覚信号の低域成分はビットマスク部４３－１による上位ビット取出しにより、量子化ビット数が１２ｂｉｔから７ｂｉｔに減少され、多重化部４４に入力される。
【0078】
また、帯域分割フィルタ４１で得られた触覚信号の高域成分は、ビットマスク部４３－２による下位ビット取出しにより、量子化ビット数が１２ｂｉｔから８ｂｉｔに減少され、多重化部４４に入力される。
【0079】
多重化部４４は、ビットマスク部４３－１より入力した低域成分、及びビットマスク部４３－２より入力した高域成分を多重化して後述するストリームデータを生成する。
【0080】
図１０は、多重化部４４による触覚信号の多重化の例を説明するための図である。
本例の多重化部４４では、触覚信号の低域成分、高域成分をそれぞれ個別のフレームと呼ばれる単位のデータとして扱う。フレームは、図示のようにフレームヘッダとしての領域と触覚信号の実データを格納する領域とを有する。フレームヘッダには、フレームについてのヘッダ情報として、少なくとも低域成分と高域成分の何れのフレームであるかを識別可能とする情報を格納する。
本例の多重化部４４では、触覚信号の低域成分、高域成分をそれぞれ個別のフレームと呼ばれる単位のデータとして扱う。フレームは、図示のようにフレームヘッダとしての領域と触覚信号の実データを格納する領域とを有する。フレームヘッダには、フレームについてのヘッダ情報として、少なくとも低域成分と高域成分の何れのフレームであるかを識別可能とする情報を格納する。
【0081】
さらに、多重化部４４は、低域成分のフレームと高域成分のフレームとを含む、ストリームと呼ばれる単位のデータを生成する。ストリームには、ストリームヘッダとしての領域と低域成分及び高域成分の各フレームを格納する領域とが設けられる。ストリームヘッダには、ヘッダ情報として、デジタル化された触覚信号（触覚データ）の仕様を表す情報（量子化ビット数やサンプリング周波数、ストリームの種類やデータサイズ等）や、ストリーム内に含まれるフレーム数の情報等を格納する。
【0082】
本例では、上記のような多重化により得られる各時間のストリームが時間軸上に並べられた態様によるストリームデータが、触覚信号（触覚データ）の記録や伝送に用いられる。
再生装置３側では、符号化装置２側より入力された上記のストリームデータに基づいて触覚信号の復号が行われる。
再生装置３側では、符号化装置２側より入力された上記のストリームデータに基づいて触覚信号の復号が行われる。
【0083】
なお、上記では、符号化部２４に対して量子化ビット数＝１２ｂｉｔ、サンプリング周波数＝２０００Ｈｚによる触覚信号が入力される場合、つまりは、Ａ／Ｄコンバータ２２として量子化ビット数＝１２ｂｉｔ、サンプリング周波数＝２０００ＨｚによるＡ／Ｄコンバータを用いる前提としたが、例えばオーディオ分野等で用いられるような一般的な量子化ビット数（例えば１６ｂｉｔ等）、サンプリング周波数（例えば４８ｋＨｚ等）によるＡ／Ｄコンバータ２２を用いる場合には、高域側の触覚信号に対してもダウンサンプラー等のサンプリング周波数変換部を設けるか、又は帯域分割フィルタ４１の前段にダウンサンプラー等のサンプリング周波数変換部を設けるようにする。
【0084】
（復号手法）
図１１は、再生装置３が有する復号に係る機能を説明するための機能ブロック図である。
図示のように再生装置３は、取得処理部Ｆ１と復号処理部Ｆ２としての機能を有している。
取得処理部Ｆ１は、周波数帯域ごとに符号化された触覚信号を取得する。具体的に本例では、触覚信号の低域成分と高域成分とを取得する。この取得処理部Ｆ１としての機能は、本例では図３に示した通信部３７により実現される。
図１１は、再生装置３が有する復号に係る機能を説明するための機能ブロック図である。
図示のように再生装置３は、取得処理部Ｆ１と復号処理部Ｆ２としての機能を有している。
取得処理部Ｆ１は、周波数帯域ごとに符号化された触覚信号を取得する。具体的に本例では、触覚信号の低域成分と高域成分とを取得する。この取得処理部Ｆ１としての機能は、本例では図３に示した通信部３７により実現される。
【0085】
復号処理部Ｆ２は、取得処理部Ｆ１が取得した触覚信号を復号する。具体的に本例では、取得処理部Ｆ１が取得した低域成分と高域成分について復号を行う。この場合の復号は、触覚信号のデータフォーマットを元のデータフォーマットに変換する処理として行われる。具体的には、低域成分（量子化ビット数＝７ｂｉｔ、サンプリング周波数＝１００Ｈｚ）、高域成分（量子化ビット数＝８ｂｉｔ、サンプリング周波数＝２０００Ｈｚ）をそれぞれ元のフォーマットである量子化ビット数＝１２ｂｉｔ、サンプリング周波数＝２０００Ｈｚに変換する処理として行われる。
この復号処理部Ｆ２としての機能は、本例では復号部３４により実現される。
この復号処理部Ｆ２としての機能は、本例では復号部３４により実現される。
【0086】
（復号側の構成）
図１２は、第一例としての復号手法を実現するための復号部３４の具体的な構成例を示した図である。
図示のように復号部３４は、多重分離部５１、ビット付加部５２－１、ビット付加部５２－２、アップサンプラー５３、及び帯域合成フィルタ５４を備えている。
多重分離部５１は、通信部３７により取得されたストリームデータ（図１０参照）を入力し、該ストリームデータから触覚信号の低域成分と高域成分とを分離し抽出する。
図示のように、抽出された低域成分は、ビット付加部５２－１による下位ビット付加により量子化ビット数が１２ｂｉｔに変換された後、アップサンプラー５３においてサンプリング周波数＝２０００Ｈｚによるアップサンプリング処理が施され、帯域合成フィルタ５４に入力される。
また、多重分離部５１で抽出された高域成分は、ビット付加部５２－２による上位ビット付加により量子化ビット数が１２ｂｉｔに変換された後、帯域合成フィルタ５４に入力される。
図１２は、第一例としての復号手法を実現するための復号部３４の具体的な構成例を示した図である。
図示のように復号部３４は、多重分離部５１、ビット付加部５２－１、ビット付加部５２－２、アップサンプラー５３、及び帯域合成フィルタ５４を備えている。
多重分離部５１は、通信部３７により取得されたストリームデータ（図１０参照）を入力し、該ストリームデータから触覚信号の低域成分と高域成分とを分離し抽出する。
図示のように、抽出された低域成分は、ビット付加部５２－１による下位ビット付加により量子化ビット数が１２ｂｉｔに変換された後、アップサンプラー５３においてサンプリング周波数＝２０００Ｈｚによるアップサンプリング処理が施され、帯域合成フィルタ５４に入力される。
また、多重分離部５１で抽出された高域成分は、ビット付加部５２－２による上位ビット付加により量子化ビット数が１２ｂｉｔに変換された後、帯域合成フィルタ５４に入力される。
【0087】
帯域合成フィルタ５４は、アップサンプラー５３より入力された低域成分とビット付加部５２－２より入力された高域成分とを合成して図３に示した後処理部３３に出力する。
【0088】
なお、図１２では、図３に示したＤ／Ａコンバータ３２として量子化ビット数＝１２ｂｉｔ、サンプリング周波数＝２０００Ｈｚに対応したＤ／Ａコンバータが用いられる場合を前提とした構成を例示したが、例えばオーディオ分野等で用いられるような一般的な量子化ビット数（例えば１６ｂｉｔ等）、サンプリング周波数（例えば４８ｋＨｚ等）に対応したＤ／Ａコンバータ３２を用いることもでき、その場合には、高域成分側にもアップサンプラー等のサンプリング周波数変換部を設けるか、又は帯域合成フィルタ５４の後段にアップサンプラー等のサンプリング周波数変換部を設けるようにする。
【0089】
ここで、上記では、低域成分と高域成分との境界周波数を５０Ｈｚとした例を挙げたが、該境界周波数は５０Ｈｚに限定されるものではなく、図４や図７に示した振動検出閾値曲線を基に、触覚信号の総ビットレートが削減されるように定められればよい。
【0090】
また、上記では、符号化の対象とする周波数帯域を二つとする例を挙げたが、三つ以上の周波数帯域に分割することも可能である。例えば、図４や図７において、低域側から見て振動検出閾値が略一定に維持される３Ｈｚ未満の帯域を第一帯域、３Ｈｚ以降、振動検出閾値曲線の傾斜が比較的緩やかとされる３Ｈｚ以上５０Ｈｚ未満の帯域を第二帯域、５０Ｈｚ以上の帯域を第三帯域として分割し、これら第一、第二、第三帯域ごとに符号化を行う等が考えられる。
【0091】
［1-5．第二例］
続いて、第一実施形態の第二例について説明する。
第二例は、符号化の対象とする周波数帯域を受容器の特性に応じて分割した帯域とするものである。
図６に示したように、メルケル、マイスナー、パチニの各受容器は、それぞれ良好な反応を示す周波数帯域が異なっており、概ね、メルケルは低域に、マイスナーは中域に、パチニは高域に良好な反応を示すと言える。
続いて、第一実施形態の第二例について説明する。
第二例は、符号化の対象とする周波数帯域を受容器の特性に応じて分割した帯域とするものである。
図６に示したように、メルケル、マイスナー、パチニの各受容器は、それぞれ良好な反応を示す周波数帯域が異なっており、概ね、メルケルは低域に、マイスナーは中域に、パチニは高域に良好な反応を示すと言える。
【0092】
この点に鑑み、第二例においては、符号化の対象とする周波数帯域を図１３に示すように分割する。
受容器の特性は明確に分割された帯域だけに反応するわけではないが、ここでは一例として、低域をメルケルの特性に合わせて３Ｈｚ未満とし、中域をマイスナーの特性に合わせて３Ｈｚ以上４０Ｈｚ未満とし、高域をパチニの特性に合わせて４０Ｈｚ以上１０００Ｈｚ以下と定義し、符号化の対象とする周波数帯域をこれら低域、中域、高域の三つの周波数帯域とする。
受容器の特性は明確に分割された帯域だけに反応するわけではないが、ここでは一例として、低域をメルケルの特性に合わせて３Ｈｚ未満とし、中域をマイスナーの特性に合わせて３Ｈｚ以上４０Ｈｚ未満とし、高域をパチニの特性に合わせて４０Ｈｚ以上１０００Ｈｚ以下と定義し、符号化の対象とする周波数帯域をこれら低域、中域、高域の三つの周波数帯域とする。
【0093】
図示のように、メルケルに対応した低域の成分（以下「メルケル成分」と表記）については、触覚信号の量子化ビット数＝４ｂｉｔ（２０ｄＢ）、サンプリング周波数＝６Ｈｚとし、マイスナーに対応した中域の成分（以下「マイスナー成分」と表記）については量子化ビット数＝５ｂｉｔ（３０ｄＢ）、サンプリング周波数＝８０Ｈｚとする。また、パチニに対応した高域の成分（以下「パチニ成分」と表記）については量子化ビット数＝９ｂｉｔ（５０ｄＢ）、サンプリング周波数＝２０００Ｈｚとする。
【0094】
この場合、メルケル、マイスナー、パチニの各成分のビットレートＢＬ２、ＢＭ２、ＢＨ２は、それぞれ下記［式４］［式５］［式６］のように計算される。
ＢＬ２＝４bit/sample×６sample/sec＝０．０２４kbit/sec・・・［式４］
ＢＭ２＝５bit/sample×８０sample/sec＝０．４kbit/sec・・・［式５］
ＢＨ２＝９bit/sample×２０００sample/sec＝１８kbit/sec・・・［式６］
この場合における触覚信号の総ビットレートは１８．４２４kbpsとなり、前述した総ビットレートＢ０と比べると約２３％の低減が実現される。
ＢＬ２＝４bit/sample×６sample/sec＝０．０２４kbit/sec・・・［式４］
ＢＭ２＝５bit/sample×８０sample/sec＝０．４kbit/sec・・・［式５］
ＢＨ２＝９bit/sample×２０００sample/sec＝１８kbit/sec・・・［式６］
この場合における触覚信号の総ビットレートは１８．４２４kbpsとなり、前述した総ビットレートＢ０と比べると約２３％の低減が実現される。
【0095】
図１４は、上記により説明した第二例としての符号化手法を実現するための符号化部２４Ａの具体的な構成例を示した図である。
なお、以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。
なお、以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。
【0096】
第二例において、符号化装置２の構成は符号化部２４を除き第一例の場合と同様となるため図示による説明は省略する。第二例の符号化装置２では、符号化部２４に代えて図１４に示す符号化部２４Ａが設けられる。
図示のように符号化部２４Ａは、帯域分割フィルタ４１Ａ、ダウンサンプラー４２Ａ－１、ダウンサンプラー４２Ａ－２、ビットマスク部４３Ａ－１、ビットマスク部４３Ａ－２、ビットマスク部４３Ａ－３、及び多重化部４４Ａを備えている。
図示のように符号化部２４Ａは、帯域分割フィルタ４１Ａ、ダウンサンプラー４２Ａ－１、ダウンサンプラー４２Ａ－２、ビットマスク部４３Ａ－１、ビットマスク部４３Ａ－２、ビットマスク部４３Ａ－３、及び多重化部４４Ａを備えている。
【0097】
帯域分割フィルタ４１Ａは、前処理部２３より触覚信号（量子化ビット数＝１２ｂｉｔ、サンプリング周波数＝２０００Ｈｚ）を入力し、該触覚信号について周波数帯域の分割処理を行って、上述したメルケル成分、マイスナー成分、及びパチニ成分を抽出する。
【0098】
帯域分割フィルタ４１Ａで得られたメルケル成分はダウンサンプラー４２Ａ－１に入力されてサンプリング周波数＝６Ｈｚにダウンサンプリングされ、マイスナー成分はダウンサンプラー４２Ａ－２に入力されてサンプリング周波数＝８０Ｈｚにダウンサンプリングされる。
ダウンサンプリングされたメルケル成分はビットマスク部４３Ａ－１による上位ビット取出しにより、量子化ビット数が１２ｂｉｔから４ｂｉｔに減少され、多重化部４４Ａに入力される。また、ダウンサンプリングされたマイスナー成分はビットマスク部４３Ａ－２による中位ビット取出しにより、量子化ビット数が１２ｂｉｔから５ｂｉｔに減少され、多重化部４４Ａに入力される。
ダウンサンプリングされたメルケル成分はビットマスク部４３Ａ－１による上位ビット取出しにより、量子化ビット数が１２ｂｉｔから４ｂｉｔに減少され、多重化部４４Ａに入力される。また、ダウンサンプリングされたマイスナー成分はビットマスク部４３Ａ－２による中位ビット取出しにより、量子化ビット数が１２ｂｉｔから５ｂｉｔに減少され、多重化部４４Ａに入力される。
【0099】
また、帯域分割フィルタ４１Ａで得られたパチニ成分は、ビットマスク部４３Ａ－３による下位ビット取出しにより、量子化ビット数が１２ｂｉｔから９ｂｉｔに減少され、多重化部４４Ａに入力される。
【0100】
多重化部４４Ａは、ビットマスク部４３Ａ－１、４３Ａ－２、４３Ａ－３より入力されたメルケル成分、マイスナー成分、及びパチニ成分を多重化してストリームデータを生成する。ここでの多重化の手法は図１０で説明した手法と同様であり、具体的には、メルケル、マイスナー、パチニの各成分を同一ストリームに多重化する。
【0101】
図１５は、符号化部２４Ａにより符号化された触覚信号を復号するための第二例としての復号部３４Ａの具体的な構成例を示した図である。
第二例において、再生装置３には、復号部３４に代えて復号部３４Ａが設けられる。
第二例において、再生装置３には、復号部３４に代えて復号部３４Ａが設けられる。
【0102】
図示のように復号部３４Ａは、多重分離部５１Ａ、ビット付加部５２Ａ－１、ビット付加部５２Ａ－２、ビット付加部５２Ａ－３、アップサンプラー５３Ａ－１、アップサンプラー５３Ａ－２、及び帯域合成フィルタ５４Ａを備えている。
多重分離部５１Ａは、符号化部２４Ａで得られたストリームデータを通信部３７経由で入力し、該ストリームデータから触覚信号のメルケル成分、マイスナー成分、及びパチニ成分を分離し抽出する。
抽出されたメルケル成分、マイスナー成分、パチニ成分は、ビット付加部５２Ａ－１、５２Ａ－２、５２Ａ－３に入力され、それぞれ下位ビット付加、上下位ビット付加、上位ビット付加により量子化ビット数が１２ｂｉｔに変換される。
多重分離部５１Ａは、符号化部２４Ａで得られたストリームデータを通信部３７経由で入力し、該ストリームデータから触覚信号のメルケル成分、マイスナー成分、及びパチニ成分を分離し抽出する。
抽出されたメルケル成分、マイスナー成分、パチニ成分は、ビット付加部５２Ａ－１、５２Ａ－２、５２Ａ－３に入力され、それぞれ下位ビット付加、上下位ビット付加、上位ビット付加により量子化ビット数が１２ｂｉｔに変換される。
【0103】
ビット付加されたメルケル成分、マイスナー成分は、アップサンプラー５３Ａ－１、５３Ａ－２においてそれぞれサンプリング周波数＝２０００Ｈｚによるアップサンプリング処理が施され、帯域合成フィルタ５４Ａに入力される。
また、ビット付加されたパチニ成分は、サンプリング周波数が２０００Ｈｚのまま維持されて帯域合成フィルタ５４Ａに入力される。
また、ビット付加されたパチニ成分は、サンプリング周波数が２０００Ｈｚのまま維持されて帯域合成フィルタ５４Ａに入力される。
【0104】
帯域合成フィルタ５４Ａは、入力されたメルケル成分、マイスナー成分、及びパチニ成分を合成して図３に示した後処理部３３に出力する。
これにより、触覚提示装置６は、メルケル成分、マイスナー成分、及びパチニ成分が合成された触覚信号に基づき駆動される。
これにより、触覚提示装置６は、メルケル成分、マイスナー成分、及びパチニ成分が合成された触覚信号に基づき駆動される。
【0105】
［1-6．第三例］
上記した第二例は、第一例と比較するとビットレートは悪化するものとなるが、第二例のように受容器の特性に応じた周波数帯域ごとに符号化を行うことによっては、触覚提示装置６を受容器ごとに設けることができるという利点がある。換言すれば、触覚提示装置６として、平坦性を示す周波数帯域が広い触覚提示装置を用いる必要がなくなるという利点がある。
上記した第二例は、第一例と比較するとビットレートは悪化するものとなるが、第二例のように受容器の特性に応じた周波数帯域ごとに符号化を行うことによっては、触覚提示装置６を受容器ごとに設けることができるという利点がある。換言すれば、触覚提示装置６として、平坦性を示す周波数帯域が広い触覚提示装置を用いる必要がなくなるという利点がある。
【0106】
図１６は、第三例としての触覚再現システム１Ｂの構成例を示した図である。
ここでは、第二例の符号化を行う場合において、触覚提示装置６を受容器ごとに設けた例を説明する。
図示のように触覚再現システム１Ｂは、触覚提示装置６として、受容器ごとの触覚提示装置６－１、触覚提示装置６－２、及び触覚提示装置６－３を設けた点と、再生装置３に代えて再生装置３Ｂを設けた点とが触覚再現システム１の場合と異なる。
本例において、触覚提示装置６－１はメルケル、触覚提示装置６－２はマイスナー、触覚提示装置６－３はパチニにそれぞれ対応した触覚提示装置６とされる。
ここでは、第二例の符号化を行う場合において、触覚提示装置６を受容器ごとに設けた例を説明する。
図示のように触覚再現システム１Ｂは、触覚提示装置６として、受容器ごとの触覚提示装置６－１、触覚提示装置６－２、及び触覚提示装置６－３を設けた点と、再生装置３に代えて再生装置３Ｂを設けた点とが触覚再現システム１の場合と異なる。
本例において、触覚提示装置６－１はメルケル、触覚提示装置６－２はマイスナー、触覚提示装置６－３はパチニにそれぞれ対応した触覚提示装置６とされる。
【0107】
ここで、振動デバイスである触覚提示装置６は、一般的に周波数特性の平坦性に課題を有するものとされる。具体的に、図１７は、触覚信号のデジタル化で対象とする周波数帯域（本例では１ｋＨｚまで）を帯域Ｔｆｓとして、一般的な振動デバイスの周波数特性を例示しているが、振動デバイスが平坦性を示す周波数帯域は、一般的に帯域Ｔｆｓよりも狭くなる傾向とされる。
【0108】
このような触覚提示装置６の周波数特性に起因して触覚の再現性低下が懸念されるため、第三例においては、各受容器に対応する触覚提示装置６－１、６－２、６－３を設け、各触覚提示装置６をそれぞれ対応する受容器の触覚信号に基づき駆動する。
【0109】
再生装置３Ｂは、第二例で説明した復号部３４Ａ（図１５参照）に代えて、図１８に示す復号部３４Ｂを備える。
図示のように復号部３４Ａとの差異点は帯域合成フィルタ５４Ａが省略された点であり、復号部３４Ｂは、ストリームデータから復号したメルケル成分、マイスナー成分、及びパチニ成分を後処理部３３に個別に出力する。
図示のように復号部３４Ａとの差異点は帯域合成フィルタ５４Ａが省略された点であり、復号部３４Ｂは、ストリームデータから復号したメルケル成分、マイスナー成分、及びパチニ成分を後処理部３３に個別に出力する。
【0110】
図１９に示すように、再生装置３Ｂにおいては、Ｄ／Ａコンバータ３２及び増幅器３１が触覚提示装置６ごとに設けられている。復号部３４Ｂより出力されたメルケル成分、マイスナー成分、及びパチニ成分は、後処理部３３を介した後、それぞれ対応するＤ／Ａコンバータ３２でアナログ信号に変換された上で対応する増幅器３１で増幅されて触覚提示装置６－１、６－２、６－３のうち対応する触覚提示装置６に出力される。具体的に、メルケル成分は触覚提示装置６－１に、マイスナー成分は触覚提示装置６－２に、パチニ成分は触覚提示装置６－３にそれぞれ出力される。
【0111】
図２０は、第三例のように受容器ごとの触覚提示装置６を設けた場合の利点について説明するための図である。
第三例によれば、触覚提示装置６を受容器ごとに分割して設けることで、触覚提示装置６個々の周波数特性の平坦性が低い場合であっても、全体として平坦性を示す周波数帯域を広げることができ、周波数特性の平坦性向上を図ることができる。これは、図２０に示す三つの触覚提示装置６の合成特性（図中「合成後の特性」）と先の図１７の特性との比較からも明らかである。
従って、触覚提示装置６の周波数特性に起因して触覚の再現性が低下してしまうことの防止を図ることができる。
第三例によれば、触覚提示装置６を受容器ごとに分割して設けることで、触覚提示装置６個々の周波数特性の平坦性が低い場合であっても、全体として平坦性を示す周波数帯域を広げることができ、周波数特性の平坦性向上を図ることができる。これは、図２０に示す三つの触覚提示装置６の合成特性（図中「合成後の特性」）と先の図１７の特性との比較からも明らかである。
従って、触覚提示装置６の周波数特性に起因して触覚の再現性が低下してしまうことの防止を図ることができる。
【0112】
ここで、受容器の特性として、振動デバイスにどれだけの面積が接触しているかによって触覚感度が変わる現象が知られている。
図２１Ａは、サイズの異なる二つの触覚提示装置６（振動デバイス）についての振動閾値検出曲線を例示している。具体的に、図２１Ａにおいては、一方の触覚提示装置６のサイズを２．９ｃｍ＾２（＾はべき乗を意味する）、他方の触覚提示装置６のサイズを０．００８ｃｍ＾２とした場合の結果を示している。
この図２１Ａより、４０～５０Ｈｚ以下では触覚提示装置６の接触面積による触覚感度の差は殆どないが、それ以上の周波数帯域では触覚感度が大きく変わっていることが分かる。これは、接触面積が大きいとパチニが発火しやすく、接触面積が小さいとパチニは発火しにくいが、接触面積が小さくとも振幅を増加させることで他の受容器（ルフィニやマイスナー）が発火することにより、人間が振動を知覚できることを示している。
ただし、振動デバイスの種類を問わず、高い周波数で振幅を大きく取ろうとすると必要なエネルギーが急激に増加する。場合によっては振動デバイスが駆動できなかったり、駆動できてもデバイスがそのエネルギーに耐えられず破損したりする可能性もある。このため、人間に高い周波数の振動を知覚させるには、振幅が小さくとも接触面積を大きくすることで発火しやすいパチニをターゲットとすることが望ましい。本例では、高い周波数についてはターゲットとする受容器をパチニとして話を進める。
図２１Ａは、サイズの異なる二つの触覚提示装置６（振動デバイス）についての振動閾値検出曲線を例示している。具体的に、図２１Ａにおいては、一方の触覚提示装置６のサイズを２．９ｃｍ＾２（＾はべき乗を意味する）、他方の触覚提示装置６のサイズを０．００８ｃｍ＾２とした場合の結果を示している。
この図２１Ａより、４０～５０Ｈｚ以下では触覚提示装置６の接触面積による触覚感度の差は殆どないが、それ以上の周波数帯域では触覚感度が大きく変わっていることが分かる。これは、接触面積が大きいとパチニが発火しやすく、接触面積が小さいとパチニは発火しにくいが、接触面積が小さくとも振幅を増加させることで他の受容器（ルフィニやマイスナー）が発火することにより、人間が振動を知覚できることを示している。
ただし、振動デバイスの種類を問わず、高い周波数で振幅を大きく取ろうとすると必要なエネルギーが急激に増加する。場合によっては振動デバイスが駆動できなかったり、駆動できてもデバイスがそのエネルギーに耐えられず破損したりする可能性もある。このため、人間に高い周波数の振動を知覚させるには、振幅が小さくとも接触面積を大きくすることで発火しやすいパチニをターゲットとすることが望ましい。本例では、高い周波数についてはターゲットとする受容器をパチニとして話を進める。
【0113】
図２１Ａでは、メルケル、マイスナー、パチニそれぞれに対応した周波数帯域を破線により表しているが、図示のようにメルケル及びマイスナーについては触覚提示装置６のサイズは小さくてよく、パチニについては触覚提示装置６のサイズは大きい方がよい、ということが分かる。
【0114】
このことから、触覚提示装置６－１（メルケル）及び触覚提示装置６－２（マイスナー）についてはサイズを小さくし、触覚提示装置６－３（パチニ）についてはサイズを大きくする等、それぞれが対応する受容器に応じてサイズ設定された触覚提示装置６を用意しておき、それら触覚提示装置６を、受容器ごとに符号化された触覚信号に基づき駆動する。
前述の通り、振動デバイスの種類を問わず、高い周波数で振幅を大きく取ることは困難となるため、特にパチニについての触覚提示装置６－３のサイズが小さいと、高域の触覚信号の再現性が低下する虞がある。上記のような触覚提示装置６のサイズ設定を行うことで、このような再現性低下の防止を図ることができる。
前述の通り、振動デバイスの種類を問わず、高い周波数で振幅を大きく取ることは困難となるため、特にパチニについての触覚提示装置６－３のサイズが小さいと、高域の触覚信号の再現性が低下する虞がある。上記のような触覚提示装置６のサイズ設定を行うことで、このような再現性低下の防止を図ることができる。
【0115】
ここで、受容器は、例えば指先、手の平、腕、顔、足といった人体の部位ごとに別々に存在するものではなく、同一部位において混在しているため、振動デバイスを人体の特定部位においてバラバラの位置に配置することは理にかなっていない。そこで、受容器ごとに適切なサイズとした振動デバイスを一体化し、実体として一つの振動デバイスとして構成してもよい。
図２１Ｂでは、触覚提示装置６－１、６－２、６－３を一体的に構成した例を示している。この例では、最もサイズが大きい触覚提示装置６－３に対し、触覚提示装置６－１、６－２を一体的に組み込む構成としている。
図２１Ｂでは、触覚提示装置６－１、６－２、６－３を一体的に構成した例を示している。この例では、最もサイズが大きい触覚提示装置６－３に対し、触覚提示装置６－１、６－２を一体的に組み込む構成としている。
【0116】
［1-7．第四例］
上記では、触覚提示装置６について周波数特性の平坦性に課題があることを述べたが、周波数特性の平坦性の課題は触覚センサ５側についても同様のことが言える。
第四例の触覚再現システム１Ｃは、このような触覚センサ５側における周波数特性の平坦性の課題解決を図るものであり、図２２に示すように、触覚センサ５を複数設けるものである。具体的に、この場合の触覚センサ５としては、メルケルに対応する触覚センサ５－１、マイスナーに対応する触覚センサ５－２、パチニに対応する触覚センサ５－３が設けられる。
触覚再現システム１Ｃにおいては、第二例や第三例で用いられていた符号化装置２に代えて、これら触覚センサ５－１、５－２、５－３の検出信号に基づき符号化を行う符号化装置２Ｃが設けられる。
なお、触覚再現システム１Ｃにおいて、再生装置３Ｂ及び触覚提示装置６－１、６－２、６－３が設けられる点は第三例の場合と同様である。
上記では、触覚提示装置６について周波数特性の平坦性に課題があることを述べたが、周波数特性の平坦性の課題は触覚センサ５側についても同様のことが言える。
第四例の触覚再現システム１Ｃは、このような触覚センサ５側における周波数特性の平坦性の課題解決を図るものであり、図２２に示すように、触覚センサ５を複数設けるものである。具体的に、この場合の触覚センサ５としては、メルケルに対応する触覚センサ５－１、マイスナーに対応する触覚センサ５－２、パチニに対応する触覚センサ５－３が設けられる。
触覚再現システム１Ｃにおいては、第二例や第三例で用いられていた符号化装置２に代えて、これら触覚センサ５－１、５－２、５－３の検出信号に基づき符号化を行う符号化装置２Ｃが設けられる。
なお、触覚再現システム１Ｃにおいて、再生装置３Ｂ及び触覚提示装置６－１、６－２、６－３が設けられる点は第三例の場合と同様である。
【0117】
図２３は、第四例としての符号化装置２Ｃの内部構成例を説明するための図である。
第二例や第三例との差異点は、増幅器２１及びＡ／Ｄコンバータ２２が触覚センサ５ごとに設けられた点と、符号化部２４Ａ（図１４参照）に代えて符号化部２４Ｃが設けられた点である。
触覚センサ５－１、５－２、５－３の検出信号は、それぞれ対応する増幅器２１で増幅された後、対応するＡ／Ｄコンバータ２２によりデジタル信号に変換された上で、前処理部２３を介してそれぞれ符号化部２４Ｃに入力される。
第二例や第三例との差異点は、増幅器２１及びＡ／Ｄコンバータ２２が触覚センサ５ごとに設けられた点と、符号化部２４Ａ（図１４参照）に代えて符号化部２４Ｃが設けられた点である。
触覚センサ５－１、５－２、５－３の検出信号は、それぞれ対応する増幅器２１で増幅された後、対応するＡ／Ｄコンバータ２２によりデジタル信号に変換された上で、前処理部２３を介してそれぞれ符号化部２４Ｃに入力される。
【0118】
図２４は、符号化部２４Ｃの具体的な構成例を示した図である。
符号化部２４Ｃは、図１４に示した符号化部２４Ａと比較して、帯域分割フィルタ４１Ａに代えてバンドパスフィルタ４１Ｃ－１、バンドパスフィルタ４１Ｃ－２、及びバンドパスフィルタ４１Ｃ－３が設けられた点が異なる。
バンドパスフィルタ４１Ｃ－１は、前処理部２３より、触覚センサ５－１の検出信号に基づく触覚信号を入力し、図１３で例示したメルケルに対応する周波数帯域の成分を抽出してダウンサンプラー４２Ａ－１に出力する。バンドパスフィルタ４１Ｃ－２は、前処理部２３より、触覚センサ５－２の検出信号に基づく触覚信号を入力し、マイスナーに対応する周波数帯域の成分を抽出してダウンサンプラー４２Ａ－２に出力する。
バンドパスフィルタ４１Ｃ－３は、前処理部２３より、触覚センサ５－３の検出信号に基づく触覚信号を入力し、パチニに対応する周波数帯域の成分を抽出してビットマスク部４３Ａ－３に出力する。
符号化部２４Ｃは、図１４に示した符号化部２４Ａと比較して、帯域分割フィルタ４１Ａに代えてバンドパスフィルタ４１Ｃ－１、バンドパスフィルタ４１Ｃ－２、及びバンドパスフィルタ４１Ｃ－３が設けられた点が異なる。
バンドパスフィルタ４１Ｃ－１は、前処理部２３より、触覚センサ５－１の検出信号に基づく触覚信号を入力し、図１３で例示したメルケルに対応する周波数帯域の成分を抽出してダウンサンプラー４２Ａ－１に出力する。バンドパスフィルタ４１Ｃ－２は、前処理部２３より、触覚センサ５－２の検出信号に基づく触覚信号を入力し、マイスナーに対応する周波数帯域の成分を抽出してダウンサンプラー４２Ａ－２に出力する。
バンドパスフィルタ４１Ｃ－３は、前処理部２３より、触覚センサ５－３の検出信号に基づく触覚信号を入力し、パチニに対応する周波数帯域の成分を抽出してビットマスク部４３Ａ－３に出力する。
【0119】
この符号化部２４Ｃにより、触覚センサ５が受容器ごとに設けられた場合に対応して、第二例や第三例の場合と同様に受容器ごとの触覚信号を効率的に符号化することができる。
【0120】
以上のような第四例によれば、触覚センサ５を受容器ごとに分割して設けることで、触覚センサ５個々の周波数特性の平坦性が低い場合であっても、全体として平坦性を示す周波数帯域を広げることができ、周波数特性の平坦性向上を図ることができる。
従って、触覚センサ５の周波数特性に起因して触覚の再現性が低下してしまうことの防止を図ることができる。
従って、触覚センサ５の周波数特性に起因して触覚の再現性が低下してしまうことの防止を図ることができる。
【0121】
なお、第四例において、触覚センサ５ごとにバンドパスフィルタ４１Ｃを設けることは必須ではない。また、第四例では、Ａ／Ｄコンバータ２２が触覚センサ５ごとに設けられるため、個々の触覚信号のサンプリング周波数や量子化ビット数はそれらＡ／Ｄコンバータ２２により設定できる。この点より、ダウンサンプラー４２Ａやビットマスク部４３Ａを設けることも必須ではない。
【0122】
また、触覚センサ５についても、触覚提示装置６の場合と同様に、受容器ごとの触覚センサ５を一体に構成することもできる。
【0123】
ここで、第三例及び第四例について、個々の受容器が良好な触覚感度を示す周波数帯域は、明確な境界を持つものではなく、それぞれがオーバーラップする特性とされる。
この点を考慮し、帯域分割フィルタ４１Ａやバンドパスフィルタ４１Ｃについては、図２５に示すようにカットオフ特性を緩やかにすることで、上記オーバーラップの特性を再現することもできる。この場合、符号化におけるサンプリング周波数は上記オーバーラップの特性に応じた値を設定することになる。すなわち、符号化後の触覚信号のビットレートは、上記のオーバーラップ特性に応じて変化し得る。
この点を考慮し、帯域分割フィルタ４１Ａやバンドパスフィルタ４１Ｃについては、図２５に示すようにカットオフ特性を緩やかにすることで、上記オーバーラップの特性を再現することもできる。この場合、符号化におけるサンプリング周波数は上記オーバーラップの特性に応じた値を設定することになる。すなわち、符号化後の触覚信号のビットレートは、上記のオーバーラップ特性に応じて変化し得る。
【0124】
＜２．第二実施形態＞
［2-1．符号化手法］
続いて、第二実施形態について説明する。
第一実施形態の符号化は、何れもＬＰＣＭ信号（時間信号）による触覚信号に対して実施するものであった。すなわち、時間領域において周波数帯域ごとの符号化を行うものであった。
しかしながら、図１３等の特性図を参照して分かるように、各受容器の特性は周波数領域で観察・表現されている。
そこで、時間信号を帯域分割して周波数成分として取り扱うのではなく、時間信号であるＬＰＣＭ信号を離散コサイン変換（ＤＣＴ）や離散フーリエ変換（ＤＦＴ）等の直交変換によって周波数成分に変換してから符号化を行う方が効率的である。
［2-1．符号化手法］
続いて、第二実施形態について説明する。
第一実施形態の符号化は、何れもＬＰＣＭ信号（時間信号）による触覚信号に対して実施するものであった。すなわち、時間領域において周波数帯域ごとの符号化を行うものであった。
しかしながら、図１３等の特性図を参照して分かるように、各受容器の特性は周波数領域で観察・表現されている。
そこで、時間信号を帯域分割して周波数成分として取り扱うのではなく、時間信号であるＬＰＣＭ信号を離散コサイン変換（ＤＣＴ）や離散フーリエ変換（ＤＦＴ）等の直交変換によって周波数成分に変換してから符号化を行う方が効率的である。
【0125】
図２７を参照し、第二実施形態としての符号化手法について説明する。
先ず、再現する触覚信号の周波数上限を１０００Ｈｚ＋αとし、説明の簡単化のためにサンプリング周波数を２５６０Ｈｚとする。また、前述の例ではダイナミックレンジを７０ｄＢとし量子化ビット数を１２ｂｉｔとして考えたが、より一般化して考えるため量子化ビット数は１６ｂｉｔであるとする。
先ず、再現する触覚信号の周波数上限を１０００Ｈｚ＋αとし、説明の簡単化のためにサンプリング周波数を２５６０Ｈｚとする。また、前述の例ではダイナミックレンジを７０ｄＢとし量子化ビット数を１２ｂｉｔとして考えたが、より一般化して考えるため量子化ビット数は１６ｂｉｔであるとする。
【0126】
この場合の符号化では、単位時間ごとの触覚信号（ＬＰＣＭ）を一定数集めたブロックという単位で直交変換を行う。直交変換には上述したＤＣＴやＤＦＴがあるが、触覚信号は連続的な一次元信号であるためＤＣＴやＤＦＴではなく、オーディオ信号の符号化によく使われるＭＤＣＴ（Modified DCT）が好適であるため、ここではＭＤＣＴを用いる例とする。
【0127】
オーディオ信号について、ＭＤＣＴを適用した符号化の例としては、ＭＰ３(MPEG Audio Layer3）やＡＡＣ（Advanced Audio Coding）を挙げることができる。これら技術は広く一般に普及しており、技術的にもよく知られているため詳細は省略するが、ＭＤＣＴはブロック間にオーバーラップ区間を設けることで符号化の際の不連続歪みを低減できる利点を有する。
ＭＤＣＴのブロックに含まれるＬＰＣＭのサンプル数をＮとすると、これを二つ合わせた２Ｎ個のサンプルを直交変換してＮ個の周波数成分を得る。この周波数成分をスペクトルと呼ぶ。つまり、ＬＰＣＭ がＮ個につきＮ個のスペクトルが得られる。
ＭＤＣＴのブロックに含まれるＬＰＣＭのサンプル数をＮとすると、これを二つ合わせた２Ｎ個のサンプルを直交変換してＮ個の周波数成分を得る。この周波数成分をスペクトルと呼ぶ。つまり、ＬＰＣＭ がＮ個につきＮ個のスペクトルが得られる。
【0128】
具体的に、この場合における直交変換では、１２８サンプルずつのＬＰＣＭが入力され、２５６サンプル集まった段階でスペクトルへの変換が行われる。スペクトルは１２８本生成されるが、サンプリング周波数（２５６０Ｈｚ）から全周波数帯域は１２８０Ｈｚとなるため、一つのスペクトルの持つ周波数幅（分解能）は１０Ｈｚとなる。
この際、スペクトルには低域側から順にインデックスＩｄｘ＝０～１２７を割り当てる。
この際、スペクトルには低域側から順にインデックスＩｄｘ＝０～１２７を割り当てる。
【0129】
次に、これらスペクトルのグルーピングを行う。この場合のグルーピングは、受容器の特性に応じたグルーピングとする。具体的には、メルケル、マイスナー、パチニの各受容器の周波数特性に応じて、メルケルのグループとしての第一グループ、マイスナーのグループとしての第二グループ、及びパチニのグループとしての第三グループの計三つのグループにスペクトルを割り当てる。
【0130】
先ず、メルケルは数Ｈｚまでを担うが、上記のように分解能は１０Ｈｚであるため、第一グループには一つのインデックスＩｄｘを割り当てる。すなわち、最も低域側のインデックスＩｄｘ＝０のスペクトルを割り当てる。
次いで、マイスナーは１０Ｈｚ～５０Ｈｚ程度の周波数を担うものとして、第二グループにはインデックスＩｄｘ１～４のスペクトルを割り当てる。
さらに、パチニはマイスナー以上の周波数を担うものとして、第三グループにはインデックスＩｄｘ５～１２７のスペクトルを割り当てる。
次いで、マイスナーは１０Ｈｚ～５０Ｈｚ程度の周波数を担うものとして、第二グループにはインデックスＩｄｘ１～４のスペクトルを割り当てる。
さらに、パチニはマイスナー以上の周波数を担うものとして、第三グループにはインデックスＩｄｘ５～１２７のスペクトルを割り当てる。
【0131】
以下の説明では、これらの各グループを「バンド」と称する。
【0132】
次いで、バンドごとに、スペクトルをそのバンド内の最大値に基づき正規化する。正規化に用いる係数（以下「正規化係数」と表記）は、予めシステムとして表現できる最大値と振動検出閾値曲線との間を均一（又は不均一でもよい）に分割しておき、これをインデックス化した係数とする。つまり、スペクトル全体を符号化するのではなく、人間が知覚できる最低値からシステムが表現できる最大値までの区間が符号化の対象とされるようにする。
【0133】
さらに、正規化されたスペクトルを量子化する。
量子化の際には、バンドのゲインが大きいスペクトルには大きな量子化ステップ数を与え、バンドのゲインが小さいスペクトルには小さな量子化ステップ数を与える。つまり、ゲインが大きいバンドの精度を上げて、ゲインの小さいバンドの精度を下げる。なお、ここでのゲインの大きさとは、振動検出閾値からシステムが表現できる最大値までの区間の大きさと換言できるものである。
そして、この場合の量子化では、バンドが振動検出閾値以下の場合には、量子化をせず（符号化対象とはせず）にバンドごと切り捨てる。このように閾値以下の成分を切り捨てる、すなわち量子化や符号化を行わないことで、触覚信号のビットレートを効果的に削減することが可能となる。
また、上記のようなバンドごとの量子化ステップ数の設定が行われることで、少なくとも一部のバンド間（周波数帯域間）で異なる量子化ステップ数による量子化が行われる。具体的に本例では、ゲインの小さいバンドの量子化ステップ数は、ゲインの大きいバンドの量子化ステップ数よりも小さくされる。これによりビットレートの削減が図られる。
量子化の際には、バンドのゲインが大きいスペクトルには大きな量子化ステップ数を与え、バンドのゲインが小さいスペクトルには小さな量子化ステップ数を与える。つまり、ゲインが大きいバンドの精度を上げて、ゲインの小さいバンドの精度を下げる。なお、ここでのゲインの大きさとは、振動検出閾値からシステムが表現できる最大値までの区間の大きさと換言できるものである。
そして、この場合の量子化では、バンドが振動検出閾値以下の場合には、量子化をせず（符号化対象とはせず）にバンドごと切り捨てる。このように閾値以下の成分を切り捨てる、すなわち量子化や符号化を行わないことで、触覚信号のビットレートを効果的に削減することが可能となる。
また、上記のようなバンドごとの量子化ステップ数の設定が行われることで、少なくとも一部のバンド間（周波数帯域間）で異なる量子化ステップ数による量子化が行われる。具体的に本例では、ゲインの小さいバンドの量子化ステップ数は、ゲインの大きいバンドの量子化ステップ数よりも小さくされる。これによりビットレートの削減が図られる。
【0134】
次に、量子化されたスペクトルについてエントロピー符号化を行う。
すなわち、量子化されたスペクトルについて、予めその出現頻度を調べておき、出現頻度の高いものに短い符号長を、出現頻度の低いものに長い符号長を割り当てる。なお、エントロピー符号化の例としては、例えばハフマン符号化を挙げることができる。具体的には、振動検出閾値以下のスペクトル（値がゼロ）の出現頻度が高く、それ以外のスペクトル（値がゼロ以外）の出現頻度が低い場合には、前者に対して短い符号長を割り当てることで効率的な符号化が可能となる。
すなわち、量子化されたスペクトルについて、予めその出現頻度を調べておき、出現頻度の高いものに短い符号長を、出現頻度の低いものに長い符号長を割り当てる。なお、エントロピー符号化の例としては、例えばハフマン符号化を挙げることができる。具体的には、振動検出閾値以下のスペクトル（値がゼロ）の出現頻度が高く、それ以外のスペクトル（値がゼロ以外）の出現頻度が低い場合には、前者に対して短い符号長を割り当てることで効率的な符号化が可能となる。
【0135】
以上のような周波数領域における符号化を行うことで、触覚信号のビットレートを効果的に削減することができる。特に、上記の符号化手法によれば、振動検出閾値以下の成分を切り捨てるという点、及びエントロピー符号化の適用という点でビットレートを効果的に削減することができる。
【0136】
［2-2．符号化側の構成］
図２７は、第二実施形態としての符号化手法を実現するための符号化部２４Ｄの具体的な構成例を示している。
なお、ここでは、前述した第一実施形態の第二例や第三例のように触覚センサ５を１種のみ用いる場合に対応した構成を説明する。すなわち、この場合における符号化装置２の構成は、符号化部２４Ａに代えて符号化部２４Ｄが設けられる点以外は、図２に示した構成と同様である。
図２７は、第二実施形態としての符号化手法を実現するための符号化部２４Ｄの具体的な構成例を示している。
なお、ここでは、前述した第一実施形態の第二例や第三例のように触覚センサ５を１種のみ用いる場合に対応した構成を説明する。すなわち、この場合における符号化装置２の構成は、符号化部２４Ａに代えて符号化部２４Ｄが設けられる点以外は、図２に示した構成と同様である。
【0137】
図２７において、符号化部２４Ｄは、直交変換部６１と多重化部６６を備えると共に、受容器ごとにグルーピング部６２、正規化部６３、量子化部６４、及び符号化部６５を備えている。これらグルーピング部６２、正規化部６３、量子化部６４、及び符号化部６５については、メルケルに対応するものは末尾に「－１」を付し、マイスナーに対応するものは末尾に「－２」を付し、さらにパチニに対応するものは末尾に「－３」を付して区別する。
【0138】
直交変換部６１は、前処理部２３より入力される触覚信号についてＭＤＣＴによる直交変換を行う。本例では、サンプリング周波数＝２５６０Ｈｚ、量子化ビット数＝１６ｂｉｔとされた触覚信号が１２８サンプルごとに入力され、直交変換部６１は触覚信号の２５６サンプルが集まった段階で１２８本のスペクトルを生成する。
【0139】
直交変換部６１で得られたスペクトルのデータはグルーピング部６２－１、６２－２、６２－３に入力される。グルーピング部６２－１は、上述した第一グループのグルーピングを行い、インデックスＩｄｘ＝０のスペクトルを正規化部６３－１に出力する。
グルーピング部６２－２は上述した第二グループのグルーピングを行い、インデックスＩｄｘ＝１～４のスペクトルを正規化部６３－２に出力する。
グルーピング部６２－３は上述した第三グループのグルーピングを行い、インデックスＩｄｘ＝５～１２７のスペクトルを正規化部６３－３に出力する。
グルーピング部６２－２は上述した第二グループのグルーピングを行い、インデックスＩｄｘ＝１～４のスペクトルを正規化部６３－２に出力する。
グルーピング部６２－３は上述した第三グループのグルーピングを行い、インデックスＩｄｘ＝５～１２７のスペクトルを正規化部６３－３に出力する。
【0140】
各正規化部６３は、それぞれ入力されたスペクトルを上述した正規化係数（バンドごとの正規化係数）に基づいて正規化する。
また、各正規化部６３は、バンドごとの正規化係数を多重化部６６に出力する。
また、各正規化部６３は、バンドごとの正規化係数を多重化部６６に出力する。
【0141】
量子化部６４－１、６４－２、６４－３は、それぞれ末尾の符号が一致する正規化部６３により正規化されたスペクトルを量子化する。
上述のように、量子化の際には、バンドのゲインが大きいスペクトルには大きな量子化ステップ数を与え、バンドのゲインが小さいスペクトルには小さな量子化ステップ数を与える。また、バンドが振動検出閾値以下の場合には、そのバンド自体の符号化を行わない。
上述のように、量子化の際には、バンドのゲインが大きいスペクトルには大きな量子化ステップ数を与え、バンドのゲインが小さいスペクトルには小さな量子化ステップ数を与える。また、バンドが振動検出閾値以下の場合には、そのバンド自体の符号化を行わない。
【0142】
符号化部６５－１、６５－２、６５－３は、それぞれ末尾の符号が一致する量子化部６４により量子化されたスペクトルについてエントロピー符号化を行い、多重化部６６に出力する。
【0143】
多重化部６６は、符号化部６５－１、６５－２、６５－３により符号化されたスペクトルのデータを多重化してストリームデータを生成する。この際、多重化部６６は、ストリームヘッダ又はフレームヘッダに対し、正規化部６３－１、６３－２、６３－３より入力したバンドごとの正規化係数を格納する。
ここで、もし正規化係数が特定の値（例えば振動検出閾値以下）を持つ場合、そのバンドのスペクトルは符号化しないようにすることで、バンド自体の符号化を行うか否かを切り替えても良い。
ここで、もし正規化係数が特定の値（例えば振動検出閾値以下）を持つ場合、そのバンドのスペクトルは符号化しないようにすることで、バンド自体の符号化を行うか否かを切り替えても良い。
【0144】
なお、上記した符号化部２４Ｄの構成において、触覚信号のビットレートの減り具合は信号の特徴に依存するため一定となる保証はない。
ビットレートを一定値としたいという要求がある場合には、図示のように調整器６７を設けて、各量子化部６４による量子化と各符号化部６５による符号化とを所定のビットレートに一致するまで繰り返し行う構成としても良い。具体的に、調整器６７は、各符号化部６５より符号化後のデータを入力してビットレートを計算し、計算したビットレートが所定ビットレートに一致するまで、各量子化部６４－１における量子化パラメータ（例えば量子化ステップ数）を変更させる。このとき、量子化ステップ数の初期値の設定により、量子化ステップ数は初期値より小さくなるだけでなく大きくなる場合もある。
ビットレートを一定値としたいという要求がある場合には、図示のように調整器６７を設けて、各量子化部６４による量子化と各符号化部６５による符号化とを所定のビットレートに一致するまで繰り返し行う構成としても良い。具体的に、調整器６７は、各符号化部６５より符号化後のデータを入力してビットレートを計算し、計算したビットレートが所定ビットレートに一致するまで、各量子化部６４－１における量子化パラメータ（例えば量子化ステップ数）を変更させる。このとき、量子化ステップ数の初期値の設定により、量子化ステップ数は初期値より小さくなるだけでなく大きくなる場合もある。
【0145】
なお、第一実施形態の第四例のように触覚センサ５を受容器ごとに設ける場合には、符号化部２４Ｄは、前処理部２３から入力される触覚センサ５ごとの触覚信号をそれぞれ直交変換してグルーピング部６２－１、６２－２、６２－３に個別に入力する構成とすればよい。
【0146】
［2-3．復号側の構成］
図２８は、図２７に示した符号化部２４Ｄにより符号化された触覚信号を復号するための第二実施形態としての復号部３４Ｄについて、具体的な構成例を示している。
ここでは、前述した第一実施形態の第三例や第四例のように、触覚提示装置６を受容器ごとに設ける場合に対応した構成を説明する。すなわち、この場合における再生装置３Ｂの構成は、復号部３４Ｂに代えて復号部３４Ｄが設けられる点以外は、図１９に示した構成と同様である。
図２８は、図２７に示した符号化部２４Ｄにより符号化された触覚信号を復号するための第二実施形態としての復号部３４Ｄについて、具体的な構成例を示している。
ここでは、前述した第一実施形態の第三例や第四例のように、触覚提示装置６を受容器ごとに設ける場合に対応した構成を説明する。すなわち、この場合における再生装置３Ｂの構成は、復号部３４Ｂに代えて復号部３４Ｄが設けられる点以外は、図１９に示した構成と同様である。
【0147】
図２８において、復号部３４Ｄは、多重分離部７１を備えると共に、受容器ごとに復号部７２、逆量子化部７３、逆正規化部７４、逆グルーピング部７５、及び逆直交変換部７６を備えている。復号部７２、逆量子化部７３、逆正規化部７４、逆グルーピング部７５、及び逆直交変換部７６については、メルケルに対応するものは末尾に「－１」を付し、マイスナーに対応するものは末尾に「－２」を付し、さらにパチニに対応するものは末尾に「－３」を付して区別する。
【0148】
多重分離部７１は、図２７に示した多重化部６６により生成された触覚信号のストリームデータを入力し、多重分離処理を行う。この分離処理により、ストリームデータからエントロピー符号化された状態のスペクトルデータが分離、抽出される。
また、本例において多重分離部７１は、ストリームデータに含まれるバンドごとの正規化係数を取得する。
ここで、もし正規化係数が特定の値（例えば振動検出閾値以下）を持つ場合、そのバンドのスペクトルは符号化されていないと判定し、スペクトルデータの分離、抽出が行われないようにしても良い。
また、本例において多重分離部７１は、ストリームデータに含まれるバンドごとの正規化係数を取得する。
ここで、もし正規化係数が特定の値（例えば振動検出閾値以下）を持つ場合、そのバンドのスペクトルは符号化されていないと判定し、スペクトルデータの分離、抽出が行われないようにしても良い。
【0149】
復号部７２－１、７２－２、７２－３は、多重分離部７１より第一～第三グループのうち対応するグループのスペクトルデータを入力してエントロピー符号の復号を行い、逆量子化部７３－１、７３－２、７３－３のうち末尾の符号が一致する逆量子化部７３に出力する。
【0150】
逆量子化部７３－１、７３－２、７３－３は、それぞれ対応する復号部７２により復号されたスペクトルデータについて逆量子化を行い、逆正規化部７４－１、７４－２、７４－３のうち末尾の符号が一致する逆正規化部７４に出力する。
【0151】
逆正規化部７４－１、７４－２、７４－３は、それぞれ対応する逆量子化部７３により逆量子化されたスペクトルデータについて逆正規化を行い、逆グルーピング部７５－１、７５－２、７５－３のうち末尾の符号が一致する逆グルーピング部７５に出力する。この際、各逆正規化部７４は、多重分離部７１で得られた正規化係数を用いて逆正規化を行う。
【0152】
逆グルーピング部７５－１、７５－２、７５－３は、それぞれ対応する逆正規化部７４により逆正規化されたスペクトルデータについてグルーピング解除のための所定処理を行い、逆直交変換部７６－１、７６－２、７６－３のうち末尾の符号が一致する逆直交変換部７６に出力する。
【0153】
逆直交変換部７６－１、７６－２、７６－３は、それぞれ対応する逆グルーピング部７５より入力したスペクトルデータについて逆直交変換（ＩＭＤＣＴ）を行い、時間信号（ＬＰＣＭ）としての触覚信号を得る。
【0154】
上記のような復号部３４Ｄにより、周波数領域で符号化された触覚信号を適切に復号することができる。
【0155】
なお、第一実施形態の第一例や第二例のように触覚提示装置６を１種のみ用いる場合には、図２９に示す復号部３４Ｄ’のように、逆グルーピング部７５－１、７５－２、７５－３からのスペクトルデータを単一の逆直交変換部７６Ｄ’に入力する構成とすればよい。
【0156】
＜３．実施形態の変形例＞
上記では、符号化された触覚信号を再生装置３（又は３Ｂ）がネットワーク４経由で取得する例としたが、例えば符号化された触覚信号を可搬型の記録媒体に記録しておき、該記録媒体を介して再生装置３（又は３Ｂ）に触覚信号を取得させる等、通信以外の手法により触覚信号を取得する手法を採ることもできる。
上記では、符号化された触覚信号を再生装置３（又は３Ｂ）がネットワーク４経由で取得する例としたが、例えば符号化された触覚信号を可搬型の記録媒体に記録しておき、該記録媒体を介して再生装置３（又は３Ｂ）に触覚信号を取得させる等、通信以外の手法により触覚信号を取得する手法を採ることもできる。
【0157】
また、これまでに提示した各種の数値、例えば触覚信号のサンプリング周波数や量子化ビット数、直交変換におけるブロック数、スペクトル数、周波数領域におけるグループ（バンド）数等の数値に関しては、あくまで説明上の一例を挙げたものに過ぎず、提示した数値に限定されるものではない。また、第二実施形態について、周波数領域におけるグルーピングとしては、バンド単位でのグルーピングに限らず、バンド内をさらに細かい単位でグループ化することもできる。
【0158】
＜４．実施形態のまとめ＞
上記のように実施形態としての復号装置（再生装置３又は３Ｂ）は、周波数帯域ごとに符号化された触覚信号を取得する取得部（取得処理部Ｆ１、通信部３７）と、取得部が取得した触覚信号を復号する復号部（復号処理部Ｆ２、復号部３４、３４Ａ、３４Ｂ、３４Ｄ、３４Ｄ’）とを備えるものである。
上記のように実施形態としての復号装置（再生装置３又は３Ｂ）は、周波数帯域ごとに符号化された触覚信号を取得する取得部（取得処理部Ｆ１、通信部３７）と、取得部が取得した触覚信号を復号する復号部（復号処理部Ｆ２、復号部３４、３４Ａ、３４Ｂ、３４Ｄ、３４Ｄ’）とを備えるものである。
【0159】
これにより、触覚特性上、人間が知覚し難いとされる触覚信号についてのビット配分を少なくする効率的な符号化を行うことが可能とされる。
従って、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができ、触覚再現システムの効率化を図ることができる。
従って、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができ、触覚再現システムの効率化を図ることができる。
【0160】
また、実施形態としての復号装置においては、取得部は、触覚信号として触覚センサ（５、５－１、５－２、５－３）の検出信号に基づく信号を取得している。
【0161】
これにより、実際にセンシングした触覚信号に基づいて触覚再現を行うことが可能とされる。
従って、触覚の再現性を高めることができる。
従って、触覚の再現性を高めることができる。
【0162】
さらに、実施形態としての復号装置においては、取得部は、受容器の特性に応じた周波数帯域ごとに符号化された前記触覚信号を取得している。
【0163】
これにより、受容器ごとの特性の差の観点より、人間が知覚し難いとされる触覚信号についてのビット配分を少なくする効率的な符号化を行うことが可能とされる。
従って、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができ、触覚再現システムの効率化を図ることができる。
従って、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができ、触覚再現システムの効率化を図ることができる。
【0164】
さらにまた、実施形態としての復号装置においては、取得部は、時間領域において周波数帯域ごとに符号化された触覚信号を取得している（第一実施形態を参照）。
【0165】
これにより、人間が知覚し難いとされる触覚信号についてのビット配分を少なくする効率的な符号化を実現するにあたり、触覚信号に対する直交変換を行う必要がなくなる。
従って、触覚信号の符号化や復号を実現するにあたっての構成の簡易化や処理負担軽減を図ることができる。
従って、触覚信号の符号化や復号を実現するにあたっての構成の簡易化や処理負担軽減を図ることができる。
【0166】
また、実施形態としての復号装置においては、取得部は、量子化ビット数の減少処理が施された触覚信号を取得している。
【0167】
これにより、少なくとも一つの周波数帯域の触覚信号について、量子化ビット数を少なく又はサンプリング周波数を低くすることが可能とされ、触覚信号のデータ量削減が図られる。
従って、触覚再現システムの効率化を図ることができる。
従って、触覚再現システムの効率化を図ることができる。
【0168】
さらに、実施形態としての復号装置においては、取得部は、直交変換後の周波数領域において周波数帯域ごとの符号化が行われた触覚信号を取得している（第二実施形態を参照）。
【0169】
これにより、周波数に応じたビット削減の自由度が向上し、より効率的な符号化を行うことが可能とされる。
従って、触覚再現システムのさらなる効率化を図ることができる。
従って、触覚再現システムのさらなる効率化を図ることができる。
【0170】
さらにまた、実施形態としての復号装置においては、取得部は、周波数帯域ごとの符号化として、所定の振幅閾値未満の触覚信号成分を量子化の対象から除外する符号化の行われた触覚信号を取得している。
【0171】
これにより、信号振幅値の面で人間が知覚し難いとされる触覚信号成分を量子化の対象から除外する符号化を行うことが可能とされる。
従って、人間が知覚し難い触覚信号についてビット配分を少なくする効率的な符号化を実現可能となり、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができる。
従って、人間が知覚し難い触覚信号についてビット配分を少なくする効率的な符号化を実現可能となり、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができる。
【0172】
また、実施形態としての復号装置においては、取得部は、少なくとも一部の周波数帯域間で異なる量子化ステップ数による量子化が行われた触覚信号を取得している。
【0173】
これにより、一部の周波数帯域については量子化ステップ数を他の周波数帯域よりも削減することが可能とされる。
従って、触覚信号のデータ量削減を図ることができる。
従って、触覚信号のデータ量削減を図ることができる。
【0174】
さらに、実施形態としての復号装置においては、取得部は、エントロピー符号化された触覚信号を取得している。
【0175】
これにより、出現頻度の高いシンボルについて符号量の削減を図ることによる効率的な符号化を行うことが可能とされる。
従って、触覚再現システムのさらなる効率化を図ることができる。
従って、触覚再現システムのさらなる効率化を図ることができる。
【0176】
さらにまた、実施形態としての復号装置においては、復号部（同３４Ｂ、３４Ｄ）は、復号した周波数帯域ごとの触覚信号を個別に出力している。
【0177】
これにより、受容器ごとに異なる触覚提示装置を用いて触覚再現を行うことが可能とされる。
従って、周波数特性の平坦性が低い触覚提示装置が用いられることに起因して触覚の再現性が低下してしまうことの防止を図ることができる。
従って、周波数特性の平坦性が低い触覚提示装置が用いられることに起因して触覚の再現性が低下してしまうことの防止を図ることができる。
【0178】
また、実施形態としての復号装置においては、取得部は、複数の触覚センサの検出信号がそれぞれ対応する周波数帯域を対象として符号化されたことで得られる複数の触覚信号を取得している（第一実施形態の第四例を参照）。具体的に、実施形態では、触覚センサ５－１、５－２、５－３それぞれの検出信号について行われた符号化により得られるメルケル成分、マイスナー成分、及びパチニ成分の各触覚信号を取得している。
【0179】
これにより、受容器ごとに異なる触覚センサを用いて触覚再現を行うことが可能とされる。
従って、周波数特性の平坦性が低い触覚センサが用いられることに起因して触覚の再現性が低下してしまうことの防止を図ることができる。
従って、周波数特性の平坦性が低い触覚センサが用いられることに起因して触覚の再現性が低下してしまうことの防止を図ることができる。
【0180】
また、実施形態としての復号方法は、周波数帯域ごとに符号化された触覚信号を復号する復号方法である。
【0181】
このような実施形態としての復号方法によっても、上記した実施形態としての復号装置と同様の作用及び効果を得ることができる。
【0182】
ここで、これまでで説明した符号化部（２４、２４Ａ、２４Ｃ、２４Ｄ）や復号部（３４、３４Ａ、３４Ｂ、３４Ｄ、３４Ｄ’）による機能は、ＣＰＵ等によるソフトウェア処理として実現することができる。該ソフトウェア処理は、プログラムに基づき実行され、該プログラムは、ＣＰＵ等のコンピュータ装置（情報処理装置）が読み出し可能な記憶装置に記憶される。
【0183】
実施形態としてのプログラムは、周波数帯域ごとに符号化された触覚信号を復号する機能を情報処理装置に実現させるプログラムである。
【0184】
このようなプログラムによって、上記した第一、第二実施形態としての復号装置を実現することができる。
【0185】
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
【0186】
＜５．本技術＞
なお本技術は以下のような構成も採ることができる。
（１）
周波数帯域ごとに符号化された触覚信号を復号する復号部を備えた
復号装置。
（２）
前記符号化された触覚信号は、触覚センサの検出信号に基づく触覚信号である
前記（１）に記載の復号装置。
（３）
前記符号化された触覚信号は、受容器の特性に応じた前記周波数帯域ごとに符号化された触覚信号である
前記（１）又は（２）に記載の復号装置。
（４）
前記符号化された触覚信号は、帯域分割後の時間領域において前記周波数帯域ごとに符号化された触覚信号である
前記（１）乃至（３）の何れかに記載の復号装置。
（５）
前記符号化された触覚信号は、少なくとも一部の前記周波数帯域間で量子化ビット数、サンプリング周波数の少なくとも何れかが異なる
前記（４）に記載の復号装置。
（６）
前記符号化された触覚信号は、直交変換後の周波数領域において前記周波数帯域ごとに符号化された触覚信号である
前記（１）乃至（３）の何れかに記載の復号装置。
（７）
前記符号化された触覚信号は、所定の振幅閾値未満の触覚信号成分を量子化及び符号化の対象から除外して符号化された触覚信号である
前記（６）に記載の復号装置。
（８）
前記符号化された触覚信号は、少なくとも一部の前記周波数帯域間で異なる量子化ステップ数により量子化が行われて符号化された触覚信号である
前記（６）又は（７）に記載の復号装置。
（９）
前記符号化された触覚信号は、エントロピー符号化された触覚信号である
前記（６）乃至（８）の何れかに記載の復号装置。
（１０）
前記復号部は、
復号した前記周波数帯域ごとの触覚信号を個別に出力する
前記（１）乃至（９）の何れかに記載の復号装置。
（１１）
前記符号化された触覚信号は、複数の触覚センサの検出信号がそれぞれ対応する周波数帯域を対象として符号化されたことで得られる複数の触覚信号である
前記（１）乃至（１０）の何れかに記載の復号装置。
なお本技術は以下のような構成も採ることができる。
（１）
周波数帯域ごとに符号化された触覚信号を復号する復号部を備えた
復号装置。
（２）
前記符号化された触覚信号は、触覚センサの検出信号に基づく触覚信号である
前記（１）に記載の復号装置。
（３）
前記符号化された触覚信号は、受容器の特性に応じた前記周波数帯域ごとに符号化された触覚信号である
前記（１）又は（２）に記載の復号装置。
（４）
前記符号化された触覚信号は、帯域分割後の時間領域において前記周波数帯域ごとに符号化された触覚信号である
前記（１）乃至（３）の何れかに記載の復号装置。
（５）
前記符号化された触覚信号は、少なくとも一部の前記周波数帯域間で量子化ビット数、サンプリング周波数の少なくとも何れかが異なる
前記（４）に記載の復号装置。
（６）
前記符号化された触覚信号は、直交変換後の周波数領域において前記周波数帯域ごとに符号化された触覚信号である
前記（１）乃至（３）の何れかに記載の復号装置。
（７）
前記符号化された触覚信号は、所定の振幅閾値未満の触覚信号成分を量子化及び符号化の対象から除外して符号化された触覚信号である
前記（６）に記載の復号装置。
（８）
前記符号化された触覚信号は、少なくとも一部の前記周波数帯域間で異なる量子化ステップ数により量子化が行われて符号化された触覚信号である
前記（６）又は（７）に記載の復号装置。
（９）
前記符号化された触覚信号は、エントロピー符号化された触覚信号である
前記（６）乃至（８）の何れかに記載の復号装置。
（１０）
前記復号部は、
復号した前記周波数帯域ごとの触覚信号を個別に出力する
前記（１）乃至（９）の何れかに記載の復号装置。
（１１）
前記符号化された触覚信号は、複数の触覚センサの検出信号がそれぞれ対応する周波数帯域を対象として符号化されたことで得られる複数の触覚信号である
前記（１）乃至（１０）の何れかに記載の復号装置。
【符号の説明】
【0187】
１、１Ｂ、１Ｃ 触覚再現システム、２、２Ｃ 符号化装置、３、３Ｂ 再生装置、５、５－１、５－２、５－３ 触覚センサ、６、６－１、６－２、６－３ 触覚提示装置、２４、２４Ａ、２４Ｃ、２４Ｄ 符号化部、２７ 通信部、３４、３４Ａ、３４Ｂ、３４Ｄ、３４Ｄ’ 復号部、３７ 通信部、Ｆ１ 取得部、Ｆ２ 復号部、４１、４１Ａ 帯域分割フィルタ、４１Ｃ－１、４１Ｃ－２、４１Ｃ－４ バンドパスフィルタ、４２、４２Ａ－１、４２Ａ－２ ダウンサンプラー、４３－１、４３－２、４３Ａ－１、４３Ａ－２、４３Ａ－３ ビットマスク部、４４、４４Ａ、６６ 多重化部、５１、５１Ａ、７１ 多重分離部、５２－１、５２－２、５２Ａ－１、５２Ａ－２、５２Ａ－３ ビット付加部、５３、５３Ａ－１、５３Ａ－２ アップサンプラー、５４、５４Ａ 帯域合成フィルタ、６１ 直交変換部、６２－１、６２－２、６２－３ グルーピング部、６３－１、６３－２、６３－３ 正規化部、６４－１、６４－２、６４－３ 量子化部、７２－１、７２－２、７２－３ 復号部、７３－１、７３－２、７３－３ 逆量子化部、７４－１、７４－２、７４－３ 逆正規化部、７５－１、７５－２、７５－３ 逆グルーピング部、７６－１、７６－２、７６－３、７６Ｄ’ 逆直交変換部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】