特許 7582291 復号装置、復号方法、プログラム、符号化装置、符号化方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-05

(45)【発行日】2024-11-13

(54)【発明の名称】復号装置、復号方法、プログラム、符号化装置、符号化方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20241106BHJP

   A63F 13/285 20140101ALI20241106BHJP

【ＦＩ】

G06F3/01 560

A63F13/285

【請求項の数】 20

(21)【出願番号】P 2022505005

(86)(22)【出願日】2021-01-08

(86)【国際出願番号】 JP2021000499

(87)【国際公開番号】W WO2021176842

(87)【国際公開日】2021-09-10

【審査請求日】2023-11-29

(31)【優先権主張番号】P 2020036529

(32)【優先日】2020-03-04

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】110003410

【氏名又は名称】弁理士法人テクノピア国際特許事務所

(74)【代理人】

【識別番号】100116942

【弁理士】

【氏名又は名称】岩田 雅信

(74)【代理人】

【識別番号】100167704

【弁理士】

【氏名又は名称】中川 裕人

(72)【発明者】

【氏名】錦織 修一郎

(72)【発明者】

【氏名】竹田 裕史

(72)【発明者】

【氏名】渡邉 高弘

(72)【発明者】

【氏名】鈴木 志朗

【審査官】星野 裕

(56)【参考文献】

【文献】特開２０１６－２０２４８６（ＪＰ，Ａ）

【文献】国際公開第２０２０／００３７２７（ＷＯ，Ａ１）

【文献】国際公開第２０２０／０３１４８３（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ａ６３Ｆ １３／２８５

(57)【特許請求の範囲】

【請求項1】

触覚信号を符号化した符号化データであって、前記触覚信号における第一周波数帯域の信号である第一帯域信号を符号化したデータと、前記触覚信号における前記第一周波数帯域とは異なる第二周波数帯域についての触覚強度を示す情報である触覚強度情報とを含んだ符号化データについて、前記第一帯域信号を復号する第一復号部と、
前記符号化データにおける前記触覚強度情報に基づき、前記触覚信号における前記第二周波数帯域の信号である第二帯域信号を復号する第二復号部と、
前記第一復号部によって復号した前記第一帯域信号と前記第二復号部によって復号した前記第二帯域信号とを合成する合成部と、を備える
復号装置。

【請求項2】

前記第一周波数帯域が前記第二周波数帯域よりも低域側の帯域とされた
請求項１に記載の復号装置。

【請求項3】

前記触覚強度情報は、前記第二周波数帯域内の各周波数について算出されており、
前記第二復号部は、
前記各周波数について算出された前記触覚強度情報が示す触覚強度の合計値に基づいて前記第二帯域信号を復号する
請求項１に記載の復号装置。

【請求項4】

前記触覚強度情報は、前記第二周波数帯域内における一又は複数の主要周波数について算出されており、
前記第二復号部は、
前記主要周波数について算出された前記触覚強度情報が示す触覚強度に基づいて前記第二帯域信号を復号する
請求項１に記載の復号装置。

【請求項5】

前記第二復号部は、
前記触覚強度情報が示す触覚強度を信号振幅に換算し、
前記第二帯域信号の復号信号として、前記換算した信号振幅を有し、信号周波数が前記第二周波数帯域内における周波数とされた周期信号を生成する
請求項１に記載の復号装置。

【請求項6】

前記周期信号の周波数は、触覚提示装置の共振周波数に略一致する周波数とされた
請求項５に記載の復号装置。

【請求項7】

前記周期信号の周波数は、人体の触覚感度特性に基づき設定された
請求項５に記載の復号装置。

【請求項8】

前記周期信号の周波数は、人体の聴覚感度特性に基づき設定された
請求項５に記載の復号装置。

【請求項9】

前記第二復号部は、
操作に基づいて前記周期信号の周波数を設定する
請求項５に記載の復号装置。

【請求項10】

触覚信号を符号化した符号化データであって、前記触覚信号における第一周波数帯域の信号である第一帯域信号を符号化したデータと、前記触覚信号における前記第一周波数帯域とは異なる第二周波数帯域についての触覚強度を示す情報である触覚強度情報とを含んだ符号化データについて、前記第一帯域信号を復号する第一復号手順と、
前記符号化データにおける前記触覚強度情報に基づき、前記触覚信号における前記第二周波数帯域の信号である第二帯域信号を復号する第二復号手順と、
前記第一復号手順によって復号した前記第一帯域信号と前記第二復号手順によって復号した前記第二帯域信号とを合成する合成手順と、を有する
復号方法。

【請求項11】

触覚信号を符号化した符号化データであって、前記触覚信号における第一周波数帯域の信号である第一帯域信号を符号化したデータと、前記触覚信号における前記第一周波数帯域とは異なる第二周波数帯域についての触覚強度を示す情報である触覚強度情報とを含んだ符号化データについて、前記第一帯域信号を復号する第一復号機能と、
前記符号化データにおける前記触覚強度情報に基づき、前記触覚信号における前記第二周波数帯域の信号である第二帯域信号を復号する第二復号機能と、
前記第一復号機能によって復号した前記第一帯域信号と前記第二復号機能によって復号した前記第二帯域信号とを合成する合成機能と、を情報処理装置に実現させる
プログラム。

【請求項12】

触覚信号を第一周波数帯域の信号である第一帯域信号と前記第一周波数帯域とは異なる第二周波数帯域の信号である第二帯域信号とに帯域分割する帯域分割部と、
前記第一帯域信号を復号可能に符号化する第一符号化部と、
前記第二帯域信号に基づき、前記第二周波数帯域についての触覚強度を示す触覚強度情報を算出する触覚強度算出部と、
前記第一帯域信号を符号化したデータと前記触覚強度情報とを含む符号化データを生成する符号化データ生成部と、を備える
符号化装置。

【請求項13】

前記第一周波数帯域が前記第二周波数帯域よりも低域側の帯域とされた
請求項１２に記載の符号化装置。

【請求項14】

前記第一周波数帯域と前記第二周波数帯域との分割周波数が可変とされた
請求項１２に記載の符号化装置。

【請求項15】

前記帯域分割部は、
外部装置との通信安定度に応じて前記分割周波数を変化させる
請求項１４に記載の符号化装置。

【請求項16】

前記帯域分割部は、
前記通信安定度が低い場合は前記通信安定度が高い場合よりも前記分割周波数を低くする
請求項１５に記載の符号化装置。

【請求項17】

前記触覚強度算出部は、
前記触覚強度情報を前記第二周波数帯域内の各周波数について算出する
請求項１２に記載の符号化装置。

【請求項18】

前記触覚強度算出部は、
前記触覚強度情報を前記第二周波数帯域内における一又は複数の主要周波数についてのみ算出する
請求項１２に記載の符号化装置。

【請求項19】

触覚信号を第一周波数帯域の信号である第一帯域信号と前記第一周波数帯域とは異なる第二周波数帯域の信号である第二帯域信号とに帯域分割する帯域分割手順と、
前記第一帯域信号を復号可能に符号化する第一符号化手順と、
前記第二帯域信号に基づき、前記第二周波数帯域についての触覚強度を示す触覚強度情報を算出する触覚強度算出手順と、
前記第一帯域信号を符号化したデータと前記触覚強度情報とを含む符号化データを生成する符号化データ生成手順と、を有する
符号化方法。

【請求項20】

触覚信号を第一周波数帯域の信号である第一帯域信号と前記第一周波数帯域とは異なる第二周波数帯域の信号である第二帯域信号とに帯域分割する帯域分割機能と、
前記第一帯域信号を復号可能に符号化する第一符号化機能と、
前記第二帯域信号に基づき、前記第二周波数帯域についての触覚強度を示す触覚強度情報を算出する触覚強度算出機能と、
前記第一帯域信号を符号化したデータと前記触覚強度情報とを含む符号化データを生成する符号化データ生成機能と、を情報処理装置に実現させる
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本技術は、符号化された触覚信号を復号する復号装置とその方法及び復号装置のプログラムと、触覚信号を符号化する符号化装置とその方法及び符号化装置のプログラムとに関する。

【背景技術】

【0002】

近年、ユーザが装着する装置が振動して、ユーザに触覚刺激を与える技術が開発されている。ここで、触覚刺激とは、振動現象などにより触覚をユーザに感じさせる物理現象をいう。また、触覚刺激を発生させることを触覚提示と称する。

【0003】

触覚提示を行う技術は、種々の分野の機器で利用されている。例えば、スマートフォン等のタッチパネルを備える端末装置では、タッチパネルがユーザからのタッチ操作に応じて振動し、ユーザの指に触覚刺激を与えることにより、タッチパネルに表示されたボタン等へのタッチ感を表現することが可能とされる。また、例えば、ヘッドホンなどの音楽リスニング装置では、音楽再生に合わせて触覚刺激を与えることにより、再生中の音楽における重低音を強調することが可能とされる。また、例えば、コンピュータゲームやＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）などを提供する装置では、コントローラを用いた操作やコンテンツのシーンに応じて、当該コントローラなどを振動させ、触覚刺激を与えることにより、ユーザのコンテンツに対する没入感を向上させることが可能とされる。

【0004】

また、外部装置から受信した触覚信号に基づいてユーザに触覚刺激を与える技術が開発されている。例えば、下記特許文献１では、受信した信号に基づいて、振動の周波数や振幅を変化させながら、ユーザに触覚刺激を与える技術が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１６－２０２４８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ここで、触覚情報を再現する触覚再現システムについては、触覚提示デバイスを複数用意して、人体の複数の部位に触覚刺激を与えることが考えられている。
しかしながら、触覚刺激を与える部位の数が増大することに伴い、触覚信号のチャンネル数も増大し、データ量の増大化を招いてしまう。触覚信号のデータ量が増大すると、触覚再現に係る処理負担の増大化や伝送遅延等を招く虞があり望ましくない。

【0007】

本技術は上記の事情に鑑み為されたものであり、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることを目的とする。

【課題を解決するための手段】

【0008】

本技術に係る復号装置は、触覚信号を符号化した符号化データであって、前記触覚信号における第一周波数帯域の信号である第一帯域信号を符号化したデータと、前記触覚信号における前記第一周波数帯域とは異なる第二周波数帯域についての触覚強度を示す情報である触覚強度情報とを含んだ符号化データについて、前記第一帯域信号を復号する第一復号部と、前記符号化データにおける前記触覚強度情報に基づき、前記触覚信号における前記第二周波数帯域の信号である第二帯域信号を復号する第二復号部と、前記第一復号部によって復号した前記第一帯域信号と前記第二復号部によって復号した前記第二帯域信号とを合成する合成部と、備えるものである。
これにより、本技術に係る符号化装置により生成された符号化データについて、第二周波数帯域に係る触覚信号を触覚再現性の低下の抑制を図りつつ復号することが可能とされる。

【0009】

上記した本技術に係る復号装置においては、前記第一周波数帯域が前記第二周波数帯域よりも低域側の帯域とされた構成とすることが考えられる。
人体においては、所定周波数以上の帯域の触覚信号について、触覚の強度の変化は知覚され易いが周波数の変化は知覚され難い。

【0010】

上記した本技術に係る復号装置においては、前記触覚強度情報は、前記第二周波数帯域内の各周波数について算出されており、前記第二復号部は、前記各周波数について算出された前記触覚強度情報が示す触覚強度の合計値に基づいて前記第二帯域信号を復号する構成とすることが考えられる。
これにより、第二周波数帯域の触覚強度として、符号化前の第二帯域信号における各周波数の触覚強度に基づいた適切な触覚強度を再現することが可能となる。

【0011】

上記した本技術に係る復号装置においては、前記触覚強度情報は、前記第二周波数帯域内における一又は複数の主要周波数について算出されており、前記第二復号部は、前記主要周波数について算出された前記触覚強度情報が示す触覚強度に基づいて前記第二帯域信号を復号する構成とすることが考えられる。
これにより、第二周波数帯域の触覚強度として、符号化前の第二帯域信号における主要周波数の触覚強度に基づいた適切な触覚強度を再現することが可能となる。

【0012】

上記した本技術に係る復号装置においては、前記第二復号部は、前記触覚強度情報が示す触覚強度を信号振幅に換算し、前記第二帯域信号の復号信号として、前記換算した信号振幅を有し、信号周波数が前記第二周波数帯域内における周波数とされた周期信号を生成する構成とすることが考えられる。
これにより、本技術に係る符号化装置により生成された符号化データについて、第二帯域信号を、触覚再現性の低下抑制が図られるように復号することが可能となる。

【0013】

上記した本技術に係る復号装置においては、前記周期信号の周波数は、触覚提示装置の共振周波数に略一致する周波数とされた構成とすることが考えられる。
これにより、触覚提示装置の駆動の効率化が図られる。なお、ここでの触覚提示装置とは、本技術に係る復号装置により得られた触覚信号に基づいて触覚提示を行う装置を意味する。

【0014】

上記した本技術に係る復号装置においては、前記周期信号の周波数は、人体の触覚感度特性に基づき設定された構成とすることが考えられる。
これにより、周期信号の周波数を人体の触覚感度が高い周波数に設定することが可能となり、触覚提示装置の駆動の効率化が図られる。

【0015】

上記した本技術に係る復号装置においては、前記周期信号の周波数は、人体の聴覚感度特性に基づき設定された構成とすることが考えられる。
これにより、周期信号の周波数を人体の聴覚感度が低い周波数に設定することが可能となり、触覚提示装置の駆動により発生する騒音の低減が図られる。

【0016】

上記した本技術に係る復号装置においては、前記第二復号部は、操作に基づいて前記周期信号の周波数を設定する構成とすることが考えられる。
これにより、周期信号の周波数をユーザによって任意に選択させることが可能となる。

【0017】

また、本技術に係る復号方法は、触覚信号を符号化した符号化データであって、前記触覚信号における第一周波数帯域の信号である第一帯域信号を符号化したデータと、前記触覚信号における前記第一周波数帯域とは異なる第二周波数帯域についての触覚強度を示す情報である触覚強度情報とを含んだ符号化データについて、前記第一帯域信号を復号する第一復号手順と、前記符号化データにおける前記触覚強度情報に基づき、前記触覚信号における前記第二周波数帯域の信号である第二帯域信号を復号する第二復号手順と、前記第一復号手順によって復号した前記第一帯域信号と前記第二復号手順によって復号した前記第二帯域信号とを合成する合成手順と、を有する復号方法である。
このような復号方法によっても、上記した本技術に係る復号装置と同様の作用が得られる。

【0018】

さらに、本技術に係る第一のプログラムは、触覚信号を符号化した符号化データであって、前記触覚信号における第一周波数帯域の信号である第一帯域信号を符号化したデータと、前記触覚信号における前記第一周波数帯域とは異なる第二周波数帯域についての触覚強度を示す情報である触覚強度情報とを含んだ符号化データについて、前記第一帯域信号を復号する第一復号機能と、前記符号化データにおける前記触覚強度情報に基づき、前記触覚信号における前記第二周波数帯域の信号である第二帯域信号を復号する第二復号機能と、前記第一復号機能によって復号した前記第一帯域信号と前記第二復号機能によって復号した前記第二帯域信号とを合成する合成機能と、を情報処理装置に実現させるプログラムである。
このような本技術に係る第一のプログラムにより、上記した本技術に係る復号装置が実現される。

【0019】

本技術に係る符号化装置は、触覚信号を第一周波数帯域の信号である第一帯域信号と前記第一周波数帯域とは異なる第二周波数帯域の信号である第二帯域信号とに帯域分割する帯域分割部と、前記第一帯域信号を符号化する第一符号化部と、前記第二帯域信号に基づき、前記第二周波数帯域についての触覚強度を示す触覚強度情報を算出する触覚強度算出部と、前記第一帯域信号を符号化したデータと前記触覚強度情報とを含む符号化データを生成する符号化データ生成部と、備えるものである。
これにより、所定の周波数帯域では触覚の強度の変化及び周波数の変化の双方が知覚され易いが、別の周波数帯域では触覚の強度の変化は知覚され易く周波数の変化は知覚され難いという人体の触覚感度特性を利用して、触覚信号の情報圧縮を効率的に行うことが可能となる。

【0020】

上記した本技術に係る符号化装置においては、前記第一周波数帯域が前記第二周波数帯域よりも低域側の帯域とされた構成とすることが考えられる。
人体においては、所定周波数以上の帯域の触覚信号について、触覚の強度の変化は知覚され易いが周波数の変化は知覚され難い。

【0021】

上記した本技術に係る符号化装置においては、前記第一周波数帯域と前記第二周波数帯域との分割周波数が可変とされた構成とすることが考えられる。
分割周波数が可変とされることで、符号化によるデータ削減効果と触覚再現性の低下抑制効果とのバランスの調整が可能となる。

【0022】

上記した本技術に係る符号化装置においては、前記帯域分割部は、外部装置との通信安定度に応じて前記分割周波数を変化させる構成とすることが考えられる。
これにより、符号化データの伝送先である外部装置との通信が不安定である場合にはデータ削減効果を高める方向に分割周波数を変化させる、すなわち、通信データのビットレートが低くなるようにして、通信途切れの発生の抑制を図り、逆に、通信が安定している場合には触覚再現性を高める方向に分割周波数を変化させる等といったことが可能となる。

【0023】

上記した本技術に係る符号化装置においては、前記帯域分割部は、前記通信安定度が低い場合は前記通信安定度が高い場合よりも前記分割周波数を低くする構成とすることが考えられる。
これにより、通信が不安定である場合にはデータ削減効果を高める方向、すなわち通信データのビットレートを低くする方向に分割周波数が変化され、逆に、通信が安定している場合には触覚再現性を高める方向に分割周波数が変化される。

【0024】

上記した本技術に係る符号化装置においては、前記触覚強度算出部は、前記触覚強度情報を前記第二周波数帯域内の各周波数について算出する構成とすることが考えられる。
これにより、第二周波数帯域の触覚強度として、符号化前の第二帯域信号における各周波数の触覚強度に基づいた適切な触覚強度を再現することが可能となる。

【0025】

上記した本技術に係る符号化装置においては、前記触覚強度算出部は、前記触覚強度情報を前記第二周波数帯域内における一又は複数の主要周波数についてのみ算出する構成とすることが考えられる。
これにより、第二周波数帯域の触覚強度として、符号化前の第二帯域信号における主要周波数の触覚強度に基づいた適切な触覚強度を再現することが可能となる。

【0026】

また、本技術に係る符号化方法は、触覚信号を第一周波数帯域の信号である第一帯域信号と前記第一周波数帯域とは異なる第二周波数帯域の信号である第二帯域信号とに帯域分割する帯域分割手順と、前記第一帯域信号を符号化する第一符号化手順と、前記第二帯域信号に基づき、前記第二周波数帯域についての触覚強度を示す触覚強度情報を算出する触覚強度算出手順と、前記第一帯域信号を符号化したデータと前記触覚強度情報とを含む符号化データを生成する符号化データ生成手順と、を有する符号化方法である。
このような符号化方法によっても、上記した本技術に係る符号化装置と同様の作用が得られる。

【0027】

さらに、本技術に係る第二のプログラムは、触覚信号を第一周波数帯域の信号である第一帯域信号と前記第一周波数帯域とは異なる第二周波数帯域の信号である第二帯域信号とに帯域分割する帯域分割機能と、前記第一帯域信号を符号化する第一符号化機能と、前記第二帯域信号に基づき、前記第二周波数帯域についての触覚強度を示す触覚強度情報を算出する触覚強度算出機能と、前記第一帯域信号を符号化したデータと前記触覚強度情報とを含む符号化データを生成する符号化データ生成機能と、を情報処理装置に実現させるプログラムである。
このような本技術に係る第二のプログラムにより、上記した本技術に係る符号化装置が実現される。

【図面の簡単な説明】

【0028】

【図1】本技術に係る実施形態としての符号化装置及び復号装置を含んで構成される触覚再現システムの構成例を示した図である。

【図2】実施形態としての符号化装置の内部構成例を説明するための図である。

【図3】第一実施形態としての再生装置の内部構成例を示した図である。

【図4】実施形態としての復号装置の内部構成例を説明するための図である。

【図5】触覚再現システムの使用例についての説明図である。

【図6】振動検出閾値曲線の説明図である。

【図7】実施形態における符号化部が有する機能を示した機能ブロック図である。

【図8】人体が有する感覚受容器ごとの触覚感度特性を例示した図である。

【図9】触覚インテンシティについての説明図である。

【図10】主要周波数についての説明図である。

【図11】符号化データフォーマットの例を説明するための図である。

【図12】触覚インテンシティ情報のデータ構造例についての説明図である。

【図13】実施形態としての符号化手法を実現するための処理手順の例を示したフローチャートである。

【図14】主要周波数の特定にＤＮＮモデルを用いる場合における機械学習手法の例を説明するための図である。

【図15】実施形態における復号部が有する機能を示した機能ブロック図である。

【図16】実施形態としての復号手法を実現するための処理手順の例を示したフローチャートである。

【図17】周期信号の周波数を操作に基づき設定する例についての説明図である。

【図18】通信安定度に応じた分割周波数の制御例についての説明図である。

【発明を実施するための形態】

【0029】

以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。

<１．触覚再現システムの概要>
<２．符号化装置の構成>
<３．再生装置の構成>
<４．復号装置の構成>
<５．触覚再現システムの使用例>
<６．実施形態としての触覚再現手法>
［6-1．触覚信号の伝送に係る課題について］
［6-2．符号化手法］
［6-3．復号手法］
［6-4．通信安定度に応じた分割周波数の制御］
<７．実施形態のまとめ>
<８．本技術>

【0030】

ここで、本明細書においては以下のように各用語を定義する。
触覚刺激：例えば振動現象等、触覚を人に知覚させるための物理的現象。
触覚提示：触覚刺激を発生させること。
触覚情報：例えば振動情報等、触覚により知覚される情報。
触覚信号：例えば振動波形を表す信号等、触覚刺激のパターンを表す信号。
受触者：触覚提示を受ける人。
触覚感度：触覚刺激を主観的にどの程度の強度と捉えるかの感度。人体における受容器や部位によって異なる。
触覚感度特性：人間の触覚感度に関する特性。部位（手、顔、足等）によって異なる。
符号化データ：信号を符号化したデータ。下位概念としてストリーム、フレームがある。
触覚符号化データ：触覚信号を符号化したデータ。

【0031】

<１．触覚再現システムの概要>

図１は、本技術に係る実施形態としての符号化装置（符号化装置２）及び復号装置（復号装置３）を含んで構成される触覚再現システム１の構成例を示している。
先ず、本実施形態において、触覚再現を実現するための環境としては、対象とする触覚情報（触覚刺激）をセンシングして得られる触覚信号を符号化し、該符号化により得られた触覚符号化データＤｃを収録する収録環境と、触覚符号化データＤｃを復号して得られる触覚信号に基づいて触覚情報を再現する再現環境とに分けられる。

【0032】

図示のように、触覚再現システム１は、収録環境において、複数の触覚センサ５とそれら触覚センサ５が接続された符号化装置２とを備えると共に、再現環境において、触覚符号化データＤｃを取得可能に構成された再生装置４と、再生装置４と無線通信可能に構成された復号装置３と、復号装置３と接続された複数の触覚提示装置６とを備えている。

【0033】

触覚センサ５は、触覚刺激のセンシングを行うセンサであり、本例では、ピエゾピックアップや加速度センサ等の振動センサが用いられる。触覚センサは、センシングの対象物、すなわち本例では人体に接触させることで、振動や運動を電圧変化として出力する。
本例において、各触覚センサ５は符号化装置２に対して有線接続されており、各触覚センサ５は対象物としての人体のそれぞれ異なる部位に装着されて各部位に生じる触覚刺激をセンシングする。

【0034】

符号化装置２は、例えばＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）等のコンピュータ装置を備えて構成され、各触覚センサ５による検出信号（触覚信号）について所定のデータフォーマットに従った符号化を行い、該符号化により得られる触覚符号化データＤｃを例えば内部に設けられた記憶デバイスに収録する。

【0035】

再生装置４は、ＣＰＵやＤＳＰ等のコンピュータ装置を備えて構成され、取得した触覚符号化データＤｃを復号装置３に送信する。例えば、収録環境において収録された触覚符号化データＤｃは、インターネット、ホームネットワーク、ＬＡＮ（Local Area Network）、衛星通信網等の所要のネットワークを介して再生装置４に取得させる。或いは、触覚符号化データＤｃは可搬型の記録媒体に収録し、該記録媒体を介して再生装置４に触覚符号化データＤｃを取得させることもできる。

【0036】

復号装置３は、再生装置４より受信した触覚符号化データＤｃを復号し、該復号により得られた触覚信号に基づいて各触覚提示装置６を駆動する。

【0037】

触覚提示装置６は、触覚刺激を発生させるデバイスとされ、本例ではバイブレータやアクチュエータ等の振動デバイスが用いられる。
本例では、各触覚提示装置６は、受触者の人体におけるそれぞれ異なる部位に装着され、それぞれ対応する触覚センサ５でセンシングされた触覚刺激を再現するようにされる。

【0038】

ここで、本例では、各触覚提示装置６は復号装置３に対して有線接続されており、図中の破線により囲った部分、すなわち復号装置３と各触覚提示装置６とが、受触者に対して装着される部分とされる。
触覚再現システム１としては、再生装置４に復号装置３の機能を与えて、再生装置４と各触覚提示装置６とを有線接続する構成とすることも可能であるが、その場合には、触覚提示装置６を装着された受触者に煩わしさを与える虞がある。この煩わしさは、触覚刺激を与える部位の数が多くなるに従って増すことが予想される。
図１に示す触覚再現システム１の構成により、そのような煩わしさを受触者に与えてしまうことの防止を図ることができる。

【0039】

図１に示す触覚再現システム１は、触覚センサ５を装着された人物によって知覚される各部位の触覚を、受触者において再現するシステムとして、両者が遠隔に配置された場合にも対応可能なシステムとして構成されている。

【0040】

なお、本実施形態において、触覚センサ５、触覚提示装置６の各々の数、すなわち触覚刺激をセンシングし再現する人体の部位の数は少なくとも３以上とされる。

【0041】

<２．符号化装置の構成>

図２は、符号化装置２の内部構成例を説明するための図である。なお図２では符号化装置２の内部構成例と共に図１に示した各触覚センサ５を併せて示している。
図示のように符号化装置２は、複数の増幅器２１と複数のＡ／Ｄコンバータ２２、及び前処理部２３、符号化部２４、制御部２５、記憶部２６、通信部２７、バス２８を備えている。前処理部２３、符号化部２４、制御部２５、記憶部２６、及び通信部２７はバス２８を介して接続され、互いにデータ通信可能とされている。

【0042】

各触覚センサ５の検出信号は、それぞれ対応する一つの増幅器２１に入力されて適切なダイナミックレンジに調整された後、対応する一つのＡ／Ｄコンバータ２２にそれぞれ入力されてＡ／Ｄ変換(アナログ／デジタル変換)される。
Ａ／Ｄ変換された各検出信号（つまり部位ごとの触覚信号）は、前処理部２３に入力される。前処理部２３においては、ノイズ除去や触覚センサ５のセンサ特性の校正などの各種デジタル信号処理が行われる。
前処理部２３による信号処理を施された各触覚信号は、符号化部２４に入力される。

【0043】

符号化部２４は、例えばＤＳＰで構成され、入力された各触覚信号を所定のデータフォーマットに従って符号化し、上述した触覚符号化データＤｃを得る。
なお、本実施形態としての触覚信号の符号化については改めて説明する。

【0044】

制御部２５は、例えばＣＰＵ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を有するマイクロコンピュータを備えて構成され、ＲＯＭに記憶されたプログラムに従った処理を実行することで符号化装置２の全体制御を行う。
例えば、制御部２５は、通信部２７を介して外部装置との間でのデータ通信を行う。
通信部２７は、インターネット等のネットワークを介した外部装置との間でのデータ通信を行うことが可能に構成されており、制御部２５は、該通信部２７を介して、ネットワークに接続された外部装置との間でデータ通信を行うことが可能とされている。特に、符号化部２４で得られた触覚符号化データＤｃを通信部２７を介して外部装置に送信させることが可能とされる。

【0045】

記憶部２６は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の記憶デバイスを包括的に表したものであり、符号化装置２において各種のデータ記憶に用いられる。例えば記憶部２６には、制御部２５による制御に必要なデータが記憶される。また、制御部２５の制御に基づき、符号化部２４で得られた触覚符号化データＤｃを記憶部２６に記憶させることもできる。

【0046】

<３．再生装置の構成>

図３は、再生装置４の内部構成例を示した図である。
図示のように再生装置４は、制御部４１、通信部４２、メディアドライブ４３、記憶部４４、及び無線通信部４５を備えると共に、これらの各部を互いにデータ通信可能に接続するバス４６を備えている。

【0047】

制御部４１は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を有するマイクロコンピュータを備えて構成され、再生装置４の全体制御を行う。

【0048】

通信部４２は、インターネット等のネットワークを介した外部装置との間でのデータ通信を行うことが可能に構成されている。制御部４１は、該通信部４２を介して、ネットワークに接続された外部装置との間でデータ通信を行うことが可能とされている。特に、ネットワーク上のサーバ装置等の外部装置より、触覚符号化データＤｃを通信部４２によって受信させることが可能とされる。

【0049】

メディアドライブ４３は、可搬型の記録媒体を着脱可能に構成され、装着された記録媒体に対するデータの書き込み及び読み出しが可能とされたリーダ／ライタ部として構成されている。メディアドライブ４３が対応する記録媒体としては、例えば、メモリカード（例えば可搬型のフラッシュメモリ）や光ディスク記録媒体等を挙げることができる。
このメディアドライブ４３により、可搬型の記録媒体に記録された触覚符号化データＤｃの読み出しが可能とされる。

【0050】

記憶部４４は、例えばＨＤＤやＳＳＤ等の記憶デバイスを包括的に表したものであり、再生装置４において各種のデータ記憶に用いられる。例えば記憶部４４には、制御部４１による制御に必要なデータが記憶される。また、制御部４１の制御に基づき、メディアドライブ４３により読み出された触覚符号化データＤｃや、通信部４２により外部装置から受信した触覚符号化データＤｃを記憶部４４に記憶させることもできる。

【0051】

無線通信部４５は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等の所定通信方式による近距離無線通信を行う。

【0052】

ここで、制御部４１は、上記した全体制御の一部として、触覚符号化データＤｃについての通信部４２による受信やメディアドライブ４３による読み出しを実行させるための制御を行う。また、制御部４１は、これら通信部４２やメディアドライブ４３経由で得られる触覚符号化データＤｃを、無線通信部４５により復号装置３に送信させる制御を行う。

【0053】

<４．復号装置の構成>

図４は、復号装置３の内部構成例を説明するための図であり、復号装置３の内部構成例と共に各触覚提示装置６を併せて示している。
図示のように復号装置３は、複数の増幅器３１と複数のＤ／Ａコンバータ３２、及び後処理部３３、復号部３４を備えると共に、制御部３５、無線通信部３６、記憶部３７、操作部３８、表示部３９、及びバス３０を備えている。後処理部３３、復号部３４、制御部３５、無線通信部３６、及び記憶部３７はバス３０を介して接続され、互いにデータ通信可能とされている。

【0054】

制御部３５は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を有するマイクロコンピュータを備えて構成され、復号装置３の全体制御を行う。

【0055】

無線通信部３６は、例えばＢｌｕｅｔｏｏｔｈ等、再生装置４における無線通信部４５との間で通信が可能な方式による近距離無線通信を行う。再生装置４から送信された触覚符号化データＤｃは無線通信部３６により受信される。

【0056】

記憶部３７は、例えば記憶部２６や記憶部４４等と同様の記憶デバイスとされ、制御部３５等が用いる各種データの記憶に用いられる。

【0057】

操作部３８は、復号装置３に設けられたボタンやキー、タッチパネル（タッチセンサ）等の各種操作子を包括的に表したものであり、操作入力に応じた操作入力情報を制御部３５に出力する。

【0058】

表示部３９は、例えば液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスを有して構成され、制御部３５の指示に基づいて画像情報等の各種情報の表示を行う。

【0059】

復号部３４は、無線通信部３６を介して入力される触覚符号化データＤｃについて、後述する手法で復号を行い、部位ごとの触覚信号を得る。復号部３４で得られた部位ごとの触覚信号は後処理部３３に入力される。

【0060】

後処理部３３は、入力された部位ごとの触覚信号について、必要に応じて触覚提示装置６の校正や所定のフィルタ処理等の信号処理を施す。

【0061】

後処理部３３を経た各触覚信号は、それぞれ対応する一つのＤ／Ａコンバータ３２に入力されてＤ／Ａ変換（デジタル／アナログ変換）された後、それぞれ対応する一つの増幅器３１で適切なダイナミックレンジに調整され、対応する一つの触覚提示装置６に出力される。
これにより、各触覚提示装置６が触覚信号に基づき駆動され、検出環境においてセンシングの対象とした触覚刺激を受触者に対して与えることができる（つまり触覚情報を再現することができる）。

【0062】

なお、上記では触覚信号に関してのみ言及したが、触覚信号と共に音声信号や映像信号を収録して、受触者に触覚情報と共に音や映像を提供する構成とすることもできる。

【0063】

<５．触覚再現システムの使用例>

映像に加えて、触覚提示も行うコンテンツを再生することを考える。
図５は、触覚再現システム１の使用例についての説明図である。
図５において、コンテンツ制作時に、映像に加えて、触覚収録者としての人物Ｈｍ１に装着した触覚センサ５（図中では、胴体用の触覚センサ５ｂ、手指用の触覚センサ５ｈ、足用の触覚センサ５ｆとしている）で収録した触覚信号を符号化装置２で符号化した符号化データを、映像と同期して収録することでコンテンツＣｎｔとして収録する。再生時には、収録したコンテンツＣｎｔを例えば無線通信によって復号装置３に送信し、復号装置３では、受信したコンテンツＣｎｔを復号部３４において復号する。これにより、受触者としての人物Ｈｍ２が装着した触覚提示装置６（図中では、胴体用の触覚提示装置６ｂ、手指用の触覚提示装置６ｈ、足用の触覚提示装置６ｆとしている）を通じて、それぞれ対応する触覚信号に基づく触覚提示を行う。

【0064】

映像内で実際に触覚提示する場面としては、例えば、登場人物が殴打する（殴打される）、銃で撃つ（撃たれる）、爆風を受ける、地面の揺れを感じる場面などが挙げられる。
図中では、実際のコンテンツ内での触覚信号の例として、胴体用、手用、足用それぞれの触覚信号の波形例を示している。時系列順に説明すると、先ず、人物Ｈｍ１が銃で相手を撃つシーンにおいて弾丸発射による反動に起因する振動が手指に発生、その後に相手も銃で人物Ｈｍ１の胴体めがけて撃つシーンで、銃撃を受けた胴体の衝撃に起因する振動が胴体に発生、その後に地震が発生するシーンで地面の振動が足、胴体、手指に徐々に伝播している。
例えば、このようなコンテンツを再生することで、受触者としての人物Ｈｍ２に対して、映像・音声に加えて振動による触覚再現によって高品位のリアリティを体感させることができる。

【0065】

<６．実施形態としての触覚再現手法>
［6-1．触覚信号の伝送に係る課題について］

以下、実施形態としての触覚再現手法について説明する。
先ず、実施形態としての触覚再現手法は、人間の触覚特性に着目した手法となる。
人間の触覚感度の目安として、図６に示す振動検出閾値曲線が報告されている。なお図６において、横軸は周波数、縦軸は触覚刺激（振動：ここでは変位）の大きさを表す。この図６の振動検出閾値曲線は、”Four cahnnels mediate the mechanical aspects of touch S.J. , Bolanowski 1988”での実験結果に基づくものである。
図６に示す振動検出閾値曲線は、人間がその振動を触覚として感じるか感じないか、つまり触覚感度を実験によって調べた一例である。人間は、この曲線より小さい振動は触覚として知覚することができない。

【0066】

図６からも理解されるように、一般的に人間の触覚感度が最も高い周波数は２００Ｈｚ程度とされる。そのため、振動を発生させる装置やアプリケーションは、２００Ｈｚ程度までの振動が発生するように設計されることが多い。

【0067】

一方、図６の結果には示されていないが、人間は１ｋＨｚ程度までの周波数の振動を触覚として感じられることが通常に知られている。人間は、１ｋＨｚ程度の周波数成分が存在する振動と存在しない振動とを、互いに異なる触覚として感じることができる。
例えば、ボトルのコルク栓を抜いた際に発生する振動は、数ｋＨｚまでの周波数の振動を含む。ユーザは、触覚を提示する装置から当該振動を数百Ｈｚ程までの振動として伝えられた場合、当該振動をボトルのコルク栓を抜いた際の触覚として十分に現実感を持って感じることができない。
従って、より現実感のある触覚をユーザに与えるためには、１ｋＨｚ程度までの周波数を含む振動により触覚提示を行う必要がある。

【0068】

しかしながら、信号が含む周波数の幅が広くなるに従って当該信号のデータ量が増大するため、信号の送受信の遅延が発生する可能性が高くなる。すなわち、触覚の質を向上させると、触覚を然るべきタイミングで提示させることができない状況が発生し得る。

【0069】

信号の送受信及び触覚提示の遅延について、具体例を挙げながら説明する。
先ず、触覚信号のデータ量について説明する。触覚信号が装置間で伝送される場合、先ずデジタルデータに変換される。デジタルデータの容量は、単位時間当たりに要するビット数、すなわちビットレートＢで表される。因みに、触覚感度は振動の周波数だけでなく振幅にも依存する。例えば、上述した図６の実験結果では、人間が感じられる振動の振幅は５０ｄＢ（－２０ｄＢ～３０ｄＢ）程度以上、周波数が１０００Ｈｚ程度であると示されている。なお、以下、実際に人間が感じる触覚情報の分布を考慮し、振動の振幅が７０ｄＢ程度であると考える。

【0070】

触覚信号ＴＳがＬＰＣＭ（Linear Pulse Code Modulation）を用いてデジタルデータ化される場合、１ビットで表現できる振動の振幅は６ｄＢである。つまり、振動の振幅の７０ｄＢでは１２ビット必要となる。一方、振動の周波数が１０００Ｈｚである場合、サンプリング周波数は倍の２０００Ｈｚ必要となり、ビットレートＢ０は、下記［式１］で求められる。

Ｂ０＝１２bit/sample×２０００sample/sec＝２４kbit/sec・・・［式１］

【0071】

この値自体は、例えば音声信号の代表的フォーマットであるＣＤ（Compact Disc）のビットレート＝７００kbps/chと比べると非常に小さいため、この触覚信号を何らかのシステムに付加的に組み込んだとしても大きな問題となる可能性は少ないように見える。

【0072】

しかしながら、先に示したように人間が感じることのできる触覚信号の帯域は数ｋＨｚまでに及ぶことが分かっている。例えば触覚信号を２０００Ｈｚまで再現する場合、ビットレートは［式１］に比べて２倍の４８kbit/secとなる。

【0073】

また、触覚は視覚(二つの目)と聴覚(二つの耳)と違って人体表面のあらゆる場所に存在している。両手の指先だけを考えても１０か所あり、これらすべての触覚信号を扱おうとすれば、ビットレートはさらに１０倍の４８０kbit/secとなる。指の関節ごと、手の平と場所を増やしてくとビットレートは飛躍的に増大してしまう。

【0074】

さらに、触覚信号は基本的に一次元信号であるが、振動という物理現象は３軸（ｘ、ｙ、ｚ）で捉えることができる。これを全て扱おうとすると、さらに３倍の１４４０kbit/secというビットレートが必要となるが、この値はオーディオＣＤの１４１１kbit/secを超える大きなものとなる。

【0075】

このように、必要となる触覚信号の総データ量は、触覚刺激の再現性の向上や触覚刺激を与えるユーザの部位の数の増加に伴って増大する。そして、総データ量の増大が、触覚信号の伝送を行うネットワークシステムにとって大きな負荷になる。

【0076】

また、遅延の要因としては、上記のような総データ量以外の他の要因も考えられる。
例えば、触覚信号が無線通信により伝送される場合に、伝送路上での妨害などにより触覚信号の符号化データのロスが生じることが想定される。データロスが発生した場合、送信側の装置からデータの再送信が行われ、受信側でデータの受信が完了する時間の遅延が生じ得る。すなわち、再送信されるデータの容量が増大するに従って、データロスに応じたデータの再送信に要する時間が増大し、結果、触覚信号の送受信が正常に完了するまでの時間がより遅延し得る。

【0077】

このように、触覚信号の伝送が完了するまでの時間に遅延が生じると、触覚の再現性が低下し得る。具体的には、触覚刺激が然るべきタイミングでユーザに与えられないために、映像や音などの他の感覚に関するコンテンツと触覚刺激との同期が取られない状況が発生し得る。

【0078】

次に、上述した状況を考慮した、具体的な無線通信方式の適用に関して説明する。
触覚提示を行う装置は、ユーザに接触するように設置されるため、装置重量の観点から一般的に他の装置とは無線で通信することが望まれる。しかしながら、例えばＷｉ－Ｆｉ（登録商標）などの広帯域無線方式を用いる場合、装置のバッテリは消費電力の観点から大型化するため、ユーザの利便性の低下が想定される。また、Ｗｉ－Ｆｉ（登録商標）を用いる場合、一般的に送信側装置の信号の送信要求から受信側装置の受信処理までの手続きに処理時間を要するため、他の無線方式と比較して、より大きな遅延が発生し得る。

【0079】

一方、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線方式の場合、他の無線方式と比較して低消費電力及び低遅延で通信を行うことが可能であり、触覚信号の伝送に適していると考えられる。しかしながら、近距離無線方式では、一度に伝送できるデータ量の許容量が他の無線方式と比較して少ない。例えば、映像や音などとの同期を行いながら触覚刺激をユーザに与えるコンテンツの伝送において、触覚信号の伝送に割り当てられる通信容量が十分でない状況が想定される。

【0080】

また、インターネットを介して映像や音声をストリーミングするサービスにおいて、追加でさらに触覚もユーザに伝える場合、例えば、ネットワークの回線状況に応じたＱｏＳ（Quality of Service）機能により、触覚信号の伝送に割り当てられる通信容量が十分でなくなる状況が想定される。

【0081】

本実施形態では、上記の事情に鑑み、触覚再現性をできるだけ棄損することなく伝送データ量を削減することで、触覚信号の低遅延化と触覚再現性の低下抑制との両立を図ることを目的とする。

【0082】

［6-2．符号化手法］

図７は、符号化部２４が有する機能を示した機能ブロック図である。
図示のように符号化部２４は、信号入力部２４ａ、帯域分割部２４ｂ、低周波信号符号化部２４ｃ、触覚強度算出部２４ｄ、多重化部２４ｅ、及び信号出力部２４ｆを有する。

【0083】

信号入力部２４ａには、所定のチャンネル数の触覚信号が、それぞれ一定のサンプル数分入力される。以降の説明では、チャンネル毎に同様の処理を行うこととする。なお、入力する触覚信号は帯域２ｋＨｚ、サンプリング周波数４ｋＨｚの信号とする。

【0084】

信号入力部２４ａでは、入力された触覚信号を適切な処理ブロック単位（例えば５msの時間分のサンプル数単位）に切り出す。
以下、この処理ブロック単位のことを「フレーム」と表記する。信号入力部２４ａ以降の各処理では、このフレーム単位での処理を行う。

【0085】

帯域分割部２４ｂは、信号入力部２４ａからの入力信号に対する帯域分割処理を行う。具体的には、入力信号を低周波信号と高周波信号に２分割する。なお、このような帯域分割処理における分割周波数に関しては後述する。

【0086】

低周波信号符号化部２４ｃは、帯域分割部２４ｂによる帯域分割処理で得られた低周波信号を入力し、該低周波信号に対し所定の符号化方式による符号化処理を施す。
ここで、低周波信号に対する符号化方式としては、触覚信号と同じ一次元信号であるオーディオ信号の符号化で一般的に使用される各種の方式を採用することができる。例えば、ＭＰ３（MPEG-1 AudioLayer-III）やＡＡＣ（Advanced Audio Coding）などでも良いし、ロスレス符号化方式のＦＬＡＣ（Free Lossless Audio Codec）などでも良い。また、演算リソースを考慮してＡＤＰＣＭ（Adaptive Differential Pulse Code Modulation）などを採用することもできる。
このように低周波信号に対する符号化方式としては、信号波形をなるべく維持する符号化方式を採用する。

【0087】

触覚強度算出部２４ｄは、帯域分割部２４ｂで得られた高周波信号を入力し、該高周波信号に基づいて触覚インテンシティを算出する。
なお、触覚インテンシティについては後述する。

【0088】

多重化部２４ｅは、低周波信号符号化部２４ｃで得られた低周波信号の符号化データ（以下「低域符号化データ」と表記する）と、触覚強度算出部２４ｄで算出された触覚インテンシティとを入力し、これら低域符号化データ、触覚インテンシティなどの各種情報を、後述する図１１の符号化データフォーマットに従ってビット列として符号化する。この符号化により、触覚符号化データＤｃが得られる。

【0089】

信号出力部２４ｆは、多重化部２４ｅで得られた触覚符号化データＤｃを出力する。

【0090】

帯域分割部２４ｂの詳細について説明する。
図８は、人体が有する感覚受容器ごとの触覚感度特性を例示した図である。
人体が触覚を感じる感覚受容器は、図８のように４種類あることが報告されている。その中でも、マイスナー小体は、速度を検出する受容器と言われており、周波数の変化にも敏感である。このため、マイスナー小体が最も刺激されやすい数Ｈｚから１００Ｈｚ程度までの周波数成分は、波形をなるべく維持するように符号化する。従って、帯域分割部２４ｂでは、触覚信号の帯域を１００Ｈｚ未満の低周波帯域と１００Ｈｚ以上の高周波帯域とに分割する。
なお、低周波帯域と高周波帯域の分割周波数は、場合に応じて任意の周波数に分割してもよい。詳細は後述する。

【0091】

続いて、触覚強度算出部２４ｄについて説明する。
人の触覚については、図６に示した振動検出閾値から分かるように、周波数によって感じる強さが異なる。これを定量的にモデル化した触覚インテンシティモデルが報告されている。
ここで、触覚インテンシティ（触覚強度）とは、或る大きさ（振幅）による触覚刺激が与えられたときに人体で感じる触覚の強度を意味する

【0092】

図９は、触覚インテンシティについての説明図であり、図９ＡはＴ（ｆ）のグラブ、図９Ｂはａ（ｆ）のグラフである。ここで、Ｔ（ｆ）は、周波数ｆに対する振動検出閾値Ｔ（図６で説明した振動検出閾値）を意味し、ａ（ｆ）は周波数ｆに対する係数ａを意味する。

【0093】

周波数ｆにおける触覚インテンシティＩ（ｆ）は、これらＴ（ｆ）とａ（ｆ）、及び触覚信号の周波数ｆにおける振幅Ａ（ｆ）を基に、下記［式２］で求められる。

【数1】

【0094】

触覚インテンシティＩが同じ信号であれば、周波数が異なっても振動強度を同等に感じる。さらに、図８に示した触覚受容器のうち、パチニ小体では主に振動強度の変化に対する反応に比べて、振動周波数の変化に対する反応は鈍感と言われている。そのため、パチニ小体が最も刺激されやすい１００Ｈｚ以上の高周波の知覚においては、触覚インテンシティＩの変化を追従すれば同等の知覚が得られることになる。
そこで、１００Ｈｚ以上の高周波信号については波形そのものを記録するのではなく、周波数毎の触覚インテンシティＩ（ｆ）の値を記録する。
なお、触覚インテンシティの算出対象とする下限周波数は上述した帯域分割に対応して決めても良い。

【0095】

１フレーム分の触覚インテンシティＩを算出して記録するにあたり、１フレーム分の触覚信号における高周波信号の触覚インテンシティＩは、下記［式３］のように周波数ｆの定積分として求める。

【数2】

【0096】

上記をデジタル信号処理として捉えると、先ず、入力信号を離散フーリエ変換してスペクトルを取得した後、各周波数ビンＦｂｉｎに対する触覚インテンシティＩ（Ｆｂｉｎ）を［式４］で求める。
ここで、ＡＳ（Ｆｂｉｎ）はＦｂｉｎに対する振幅スペクトル値、ｆＦｂｉｎはＦｂｉｎの中心周波数である。

【数3】

【0097】

その後、下記［式５］によってＩ（Ｆｂｉｎ）を触覚インテンシティ算出範囲内における周波数ビンの最小値ＦｂｉｎＭｉｎから最大値ＦｂｉｎＭａｘまで加算したものが、高周波信号の触覚インテンシティＩとなる。

【数4】

【0098】

なお、上記では１００Ｈｚから２ｋＨｚの周波数全てに対して代表となる触覚インテンシティを求める例としたが、入力信号のうち触覚再現に重要となる主要周波数が分かっている場合には、そのような主要周波数の成分のみを対象として触覚インテンシティＩを求めても良い。
ここで言う「主要周波数」とは、主要なスペクトルが得られる周波数を意味する。主要なスペクトルは、少なくともノイズとしてのスペクトルを除くスペクトルを意味する。

【0099】

主要周波数を周波数分析によって求める例を説明する。
先ず、入力した触覚信号を離散フーリエ変換してスペクトルを取得した後に、１００Ｈｚ以上の振幅スペクトルのピークを調べることで主要周波数を求める。
例えば、フーリエ変換の結果、図１０のような５００Ｈｚ、８００Ｈｚ、１０００Ｈｚの周波数成分にピークが存在していれば、これら５００Ｈｚ、８００Ｈｚ、１０００Ｈｚを主要周波数として特定する。
ここで、ピーク検出については、例えば振幅スペクトルが所定閾値以上であるか否かの判定として行うことができる。なお、ピーク検出の手法についてはこれに限定されるものではなく、例えば公知の種々の手法を採用することができる。

【0100】

主要周波数が特定された場合には、高周波信号の触覚インテンシティＩは、主要周波数の振幅Ａに基づいて算出する。例えば、図１０のように主要周波数が特定された場合であれば、下記［式６］により触覚インテンシティＩを求める。

【数5】

【0101】

ここで、主要周波数が特定されなかった場合には、［式５］によって高周波信号の触覚インテンシティＩを求める。

【0102】

図１１は、触覚符号化データＤｃのデータフォーマット例を示した図である。具体的に、図１１では、触覚符号化データＤｃの１フレーム分のデータフォーマットを例示している。
先ず、シンクワードは、フレーム先頭を表すための識別コードであり、他のデータになるべく含まれないパターンが格納される。
サンプリング周波数ＩＤは、触覚信号のサンプリング周波数のパターンＩＤが記録される。
チャンネル数は、触覚信号の全チャンネル数が記録される。
フレームサイズは、１フレーム分の触覚符号化データＤｃのサイズがバイト数で記録される。

【0103】

第一チャンネルデータは、１チャンネル目の触覚信号に関する符号化データが格納される。第一チャンネルデータには、分割周波数、低域符号化データ、及び触覚インテンシティ情報が格納される。
分割周波数は、帯域分割部２４ｂによる分割周波数であり、例えば周波数（Ｈｚ）を示す数値が格納される。
低域符号化データは、低周波信号符号化部２４ｃで符号化された低周波信号の符号化データが格納される。

【0104】

触覚インテンシティ情報については、図１２に詳細を示す。
図示のように触覚インテンシティ情報には、フラグの格納領域が用意される。
例えば、前述したピーク検出に基づいて主要周波数が特定された場合、すなわち、触覚インテンシティの算出対象とする周波数を限定する場合には、フラグに「１」が格納され、該フラグに続く領域に触覚インテンシティの算出対象とした周波数の識別子（図中では周波数Ａの識別子、周波数Ｂの識別子として示している）と、その周波数に対する触覚インテンシティＩとを１組とした情報が格納される。
一方、主要周波数が特定されず、触覚インテンシティの算出対象とする具体的な周波数が限定されない場合には、フラグに「０」が格納され、その後の領域に高周波領域（分割周波数からナイキスト周波数まで：本例では１００Ｈｚから２ｋＨｚ）における各周波数（各周波数ｂｉｎ）の触覚インテンシティＩが格納される。なお、フラグ＝０の場合における触覚インテンシティＩについては、周波数ごとの値を格納してもよいし、先の［式５］のように計算した各周波数の合計値を格納してもよい。

【0105】

第二チャンネルデータは、２チャンネル目の触覚信号に関する符号化データが第一チャンネルデータと同じ仕様で格納される。
その他のチャンネルがあればさらに追加して同様に情報が格納される。

【0106】

図１３のフローチャートを参照し、上記により説明した実施形態としての符号化手法を実現するための処理手順の例を説明する。
なお、ここでは、符号化部２４が実施形態としての符号化手法を実現するための処理をソフトウェア処理として実行する例を挙げるが、以下で説明する処理の一部又は全てをハードウェアにより実現することもできる。
図１３に示す処理は、１フレーム分の触覚符号化データＤｃを生成する処理であり、フレームごとに繰り返し実行される。

【0107】

先ず、符号化部２４はステップＳ１０１で、符号化の対象とする１チャンネル分の触覚信号について、１フレーム分のサンプル数で切り出した信号を入力する。
ステップＳ１０１に続くステップＳ１０２で符号化部２４は、入力した信号に対して分割周波数による帯域分割処理を行い、低周波信号と高周波信号を得る。

【0108】

ステップＳ１０２に続くステップＳ１０３で符号化部２４は、ステップ１０２の帯域分割処理で得られた低周波信号を所定の符号化方式、例えば前述したＭＰ３やＡＡＣ、ＦＬＡＣ、ＡＤＰＣＭなどの符号化方式で符号化して低域符号化データを生成する。

【0109】

ステップＳ１０３に続くステップ１０４で符号化部２４は、触覚インテンシティ範囲が高周波数全帯域か否かを判定する。すなわち、ステップ１０２の帯域分割処理で得られた高周波信号を分析した結果に基づき、触覚インテンシティの算出対象が高周波信号の全帯域か否か、具体的には、前述した主要周波数が特定されなかったか否かを判定する。

【0110】

ステップ１０４において、例えば主要周波数が特定されず、触覚インテンシティ範囲が高周波数全帯域であるとの肯定結果が得られた場合、符号化部２４はステップ１０５に進んで高周波信号全帯域の触覚インテンシティを算出し（先の［式５］参照）、ステップＳ１０７に進む。

【0111】

一方、ステップ１０４において、例えば主要周波数が特定され、触覚インテンシティ範囲が高周波数全帯域ではないとの否定結果が得られた場合、符号化部２４はステップ１０６に進んで主要周波数の触覚インテンシティを算出し（先の［式６］を参照）、ステップＳ１０７に進む。ここで、主要周波数が特定された場合、符号化部２４は特定された主要周波数の識別子を記憶する。

【0112】

ステップＳ１０７で符号化部２４は、現チャンネル（現在処理対象としているチャンネル）のフラグを記憶する。具体的に、符号化部２４は、ステップＳ１０４で触覚インテンシティ範囲が高周波数全帯域であるとの肯定結果が得られた場合には現チャンネルのフラグとして「０」を記憶し、そうでない場合には現チャンネルのフラグとして「１」を記憶する。

【0113】

ステップＳ１０７に続くステップＳ１０８で符号化部２４は、全チャンネル分の処理が終了したか否か、すなわち、触覚信号の全チャンネルについてステップＳ１０１からＳ１０７までの処理を終えたか否かを判定する。
全チャンネル分の処理が終了していない場合、符号化部２４はステップＳ１０１に戻る。これにより、次のチャンネルについて、１フレーム分の同様の処理が実行される。

【0114】

一方、全チャンネル分の処理が終了した場合、符号化部２４はステップＳ１０９のビットストリーム生成処理を実行し、図１３に示す一連の処理を終える。
ステップＳ１０９のビットストリーム生成処理においては、図１１及び図１２を参照して説明した符号化データフォーマットに従った多重化処理を行って、触覚符号化データＤｃについてのビットストリームを生成する。

【0115】

なお、上記では主要周波数をピーク検出により特定する例を挙げたが、主要周波数の特定はＤＮＮ（Deep Neural Network：深層学習）を用いて行うこともできる。

【0116】

具体例を図１４で説明する。
図１４では、ＤＮＮモデルを示しており、予め学習用データセットを用いて教師あり学習を行う。学習用データセットとしては、学習用入力データセットを学習の入力信号として用いる。
学習用入力データセットは、触覚信号の振幅スペクトルであり、ＤＮＮモデルの入力層Ｉ１～Ｉｎは各周波数ビンの中心周波数、入力は各周波数ビンの振幅スペクトル値とする。
ＤＮＮモデルの出力層Ａ１～Ａｎは触覚再現に主要な周波数の組み合わせになっており、学習用教師データセットは、学習用入力データセットの各データに対応した教師データセットであり、予めラベル付けされた、触覚再現に主要な周波数の組み合わせである。
ＤＮＮモデルの学習時には、学習用入力データを入力した際の出力層Ａ１～Ａｎの確率（尤度）と学習用教師データの誤差逆伝播によりＤＮＮモデルの各エッジの重み係数を更新する。

【0117】

上記の要領で学習されたＤＮＮモデルを用いて、実際の触覚信号から主要周波数を特定する際には、入力触覚信号（高周波信号）を離散フーリエ変換してスペクトルに変換した後に、振幅スペクトルを入力として学習済みＤＮＮモデルに入力を行い、出力層Ａ１～Ａｎのうち最も尤度の高い出力（周波数組み合わせパターン）を採用する。

【0118】

［6-3．復号手法］

図１５は、復号部３４が有する機能を示した機能ブロック図である。
図示のように復号部３４は、符号化データ入力部３４ａ、逆多重化部３４ｂ、低周波信号復号部３４ｃ、触覚インテンシティ取得部３４ｄ、高周波信号生成部３４ｅ、帯域合成部３４ｆ、及び信号出力部３４ｇを有する。

【0119】

符号化データ入力部３４ａは、１フレーム分の触覚符号化データＤｃを入力する。なお、１フレーム分の先頭は前述したシンクワードから検出することができる。

【0120】

逆多重化部３４ｂは、図１１及び図１２に示した符号化データフォーマットに従った逆多重化処理を行い、触覚符号化データＤｃに格納された各種情報を取得する。

【0121】

低周波信号復号部３４ｃは、逆多重化部３４ｂにより取得した低周波信号符号データを復号し、低周波信号を得る。

【0122】

触覚インテンシティ取得部３４ｄは、逆多重化部３４ｂにより取得した触覚インテンシティ情報に基づき、フラグの値の判別処理や、判別したフラグの値に応じた触覚インテンシティの取得処理を行う。

【0123】

高周波信号生成部３４ｅは、触覚インテンシティ取得部３４ｄにより取得した触覚インテンシティに基づき、高周波信号を生成する。なお、高周波信号の生成手法は改めて説明する。

【0124】

帯域合成部３４ｆは、低周波信号復号部３４ｃで得られた低周波信号と、高周波信号生成部３４ｅで得られた高周波信号とを合成する。
信号出力部３４ｇは、帯域合成部３４ｆの合成により得られた触覚信号を出力する。

【0125】

高周波信号生成部３４ｅの処理について説明する。
高周波信号生成部３４ｅの処理はフラグの値によって異なる。
フラグ＝０の場合には、高周波信号全帯域に対する触覚インテンシティが得られ、該全帯域に対する触覚インテンシティに基づいて、高周波帯域内における任意の周波数ｆｘによる周期信号を高周波信号として生成する。
ここで、周期信号とは、振幅が所定の周期で変化する信号（時間信号）を意味し、例えば正弦波信号等を挙げることができる。
フラグ＝０の場合、高周波信号生成部３４ｅは、高周波信号の触覚インテンシティＩ、すなわち、高周波帯域の各周波数について算出された触覚インテンシティの合計値に基づいて、高周波信号を生成する。
具体的に、この場合における高周波信号Ｓ１（ｔ）としては、得られた触覚インテンシティＩと任意の周波数ｆｘから［式２］を基に振幅Ａ（ｆｘ）が算出可能となるため、以下の［式７］で求められる。

【数6】

【0126】

このように、フラグ＝０の場合、高周波信号生成部３４ｅは、触覚インテンシティを信号振幅に換算すると共に、換算した信号振幅を有し、信号周波数が高周波帯域内における周波数ｆｘとされた周期信号を高周波信号として生成する。

【0127】

ここで、フラグ＝０の場合において、任意の周波数ｆｘは、予め復号部３４内で一意に定めてもよい。
例えば、周波数ｆｘは、触覚提示装置６の共振周波数に略一致する周波数に設定することが考えられる。ここで言う略一致とは、数値が同一とみなされる範囲内であることを含む概念であり、例えば、触覚提示装置６の周波数特性カーブにおいて、共振周波数を中心としたピーク部分の前端側周波数から後端周波数までの周波数範囲内に属することを意味する。
周波数ｆｘを触覚提示装置６の共振周波数に略一致する周波数に設定することで、触覚提示装置の駆動の効率化が図られ、触覚提示装置６の省電力化を図ることができる。

【0128】

また、周波数ｆｘについては、人体の触覚感度特性に基づき設定することもできる。具体的には、触覚感度が所定感度以上となる周波数に設定することが考えられる。
これにより、周波数ｆｘを人体の触覚感度が高い周波数に設定することが可能となり、触覚提示装置６の駆動の効率化が図られる。従って、触覚提示装置６の省電力化を図ることができる。

【0129】

また、周波数ｆｘとしては、人体の聴覚感度特性に基づき設定することもできる。具体的には、聴覚感度が所定感度以下となる周波数に設定することが考えられる。
これにより、周波数ｆｘを人体の聴覚感度が低い周波数に設定することが可能となり、触覚提示装置６の駆動により発生する騒音の低減が図られる。従って、ユーザの触覚コンテンツへの没入感を高めることができる。

【0130】

フラグ＝１の場合の処理を説明する。
フラグ＝１の場合には、触覚インテンシティ取得部３４ｄで主要周波数と主要周波数に対する触覚インテンシティが得られる。
この場合、高周波信号生成部３４ｅは、主要周波数に対する触覚インテンシティに基づいて、高周波信号を生成する。
具体的に、例えば主要周波数が周波数Ａと周波数Ｂであった場合、高周波信号Ｓ２は、周波数Ａ（ｆａ）と周波数Ａに対する触覚インテンシティ（Ｉ（ｆａ））と、周波数Ｂ（ｆｂ）と周波数Ｂに対する触覚インテンシティ（Ｉ（ｆｂ））とに基づき、以下の［式８］で求められる。

【数7】

【0131】

図１６のフローチャートを参照し、上記により説明した実施形態としての復号手法を実現するための処理手順の例を説明する。
符号化の場合と同様に、ここでは、復号部３４が実施形態としての復号手法を実現するための処理をソフトウェア処理として実行する例を挙げるが、以下で説明する処理の一部又は全てをハードウェアにより実現することもできる。
図１６に示す処理は、１フレーム分のビットストリーム（触覚符号化データＤｃ）を復号して触覚信号を得る処理であり、フレームごとに繰り返し実行される。

【0132】

先ず、復号部３４はステップＳ２０１で、１フレーム分の触覚符号化データＤｃを符号化データフォーマットに従って解析する。この解析処理により、サンプリング周波数ＩＤからサンプリング周波数が特定されると共に、チャンネル数、フレームサイズ、各チャンネルデータが得られる。

【0133】

ステップＳ２０１に続くステップ２０２で復号部３４は、対象とするチャンネルデータ内に含まれる低域符号化データの復号を行い、低周波信号を得る。

【0134】

ステップＳ２０２に続くステップ２０３で復号部３４は、対象とするチャンネルデータ内に含まれるフラグの値が０か否かを判定する。
フラグ＝０であれば、復号部３４はステップＳ２０４に進んで対象とするチャンネルデータ内に含まれる高周波全帯域の触覚インテンシティを得、ステップＳ２０６に進む。

【0135】

一方、フラグ＝０でなければ、復号部３４はステップ２０５に進んで対象とするチャンネルデータ内に含まれる主要周波数についての周波数識別子、及び主要周波数に対する触覚インテンシティを得、ステップＳ２０６に進む。

【0136】

ステップＳ２０６で復号部３４は、高周波信号生成処理を行う。すなわち、フラグ＝０の場合であれば、ステップＳ２０４で取得した高周波全帯域の触覚インテンシティに基づき、先の［式７］により高周波信号を生成する。一方、フラグ＝１の場合には、ステップＳ２０５で取得した主要周波数の周波数識別子と触覚インテンシティとに基づき、先の［式８］の要領で高周波信号を生成する。

【0137】

ステップＳ２０６に続くステップＳ２０７で復号部３４は、帯域合成処理として、ステップＳ２０２で得られた低周波信号と、ステップＳ２０６で得られた高周波信号とを合成する処理を行う。

【0138】

次いで、復号部３４はステップＳ２０８で、全チャンネル分の処理が終了したか否かを判定し、全チャンネル分の処理が終了していなければステップＳ２０２に戻る。これにより、次のチャンネルについて、ステップＳ２０２からＳ２０７までの処理が実行される。 一方、全チャンネル分の処理が終了していれば、復号部３４は図１６に示す一連の処理を終える。

【0139】

ここで、上記では、フラグ＝０の場合における周波数ｆｘとして、予め定められた周波数を設定する例を挙げたが、周波数ｆｘは操作に基づき設定することもできる。
例えば、復号部３４は、図４に示した操作部３８を介した操作入力に基づいて周波数ｆｘを設定することができる。

【0140】

図１７に、周波数ｆｘの設定に係るＧＵＩ（Graphical User Interface）の例を示す。
図１７では一例として、周波数ｆｘとして単一の周波数を設定するのではなく、複数の周波数を設定可能とした場合のＧＵＩを例示している。
この場合は、周波数ｆｘの設定操作受付のために、表示部３９の画面３９ａ上に図示のような設定画面を表示する。この設定画面では、触覚信号のチャンネルごとの周波数設定領域を設ける。各チャンネルの周波数設定領域では、設定受付対象とする複数の周波数について、周波数表示窓５０（図中では周波数Ａ、周波数Ｂ、周波数Ｃそれぞれについての表示窓５０ａ、５０ｂ、５０ｃを示す）と、周波数の数値を指定するためのスライダ５１（図中では周波数Ａ、周波数Ｂ、周波数Ｃそれぞれについてのスライダ５１ａ、５１ｂ、５１ｃを示す）とが設けられる。
ユーザが何れかのスライダ５１の位置を変化させると、該スライダ５１に対応する周波数表示窓５０内の数値が変化する。これによりユーザは、周波数表示窓５０内の数値を確認しながらスライダ５０を操作することで任意の周波数を指定することができる。

【0141】

ここで、周波数ｆｘが複数設定された場合、復号部３４は、例えばそれらの周波数ごとに周期信号を生成し、生成した周期信号を合成することで高周波信号を生成する。
この場合、触覚符号化データＤｃにおけるフラグ＝０の場合の触覚インテンシティ情報として、高周波帯域内の各周波数の触覚インテンシティを格納しておくことを前提とする。そして、復号部３４は、高周波信号の生成処理において、設定された各周波数ｆｘと、それら周波数ｆｘにおける各触覚インテンシティとに基づき、先の［式８］と同様の計算を行って高周波信号を生成する。

【0142】

なお、上記では復号装置３に設けられた操作部３８を介した操作入力に基づいて周期信号の周波数ｆｘを設定する例を挙げたが、復号装置３以外の装置に設けられた操作部を介した操作入力に基づいて周波数ｆｘを設定することもできる。例えば、再生装置４に操作部が設けられる場合において、再生装置４に対する操作入力に応じて周期信号の周波数を設定する等も考えられる。

【0143】

［6-4．通信安定度に応じた分割周波数の制御］

ここで、これまでの説明では、符号化時における帯域分割処理において、低周波帯域と高周波帯域との分割周波数を固定とする例を挙げたが、分割周波数は可変とすることもできる。
低周波信号をより高品位に再現したい場合には分割周波数を上げるようにし、触覚符号化データＤｃのデータ量をより削減したい場合には分割周波数を下げるようにすることが考えられる。例えば、通信中に電波状況が悪化する等、通信安定度が低下した場合には、信号の品質を落として通信安定度を上げるために、ＱｏＳとして動的に分割周波数を変化させることが考えられる。

【0144】

ここで、通信安定度とは、通信の安定性についての指標を意味する。例えば、通信速度（通信ビットレート）、 Ｐｉｎｇ値（通信相手から応答パケットが帰ってくるまでの通信の往復時間）等のレイテンシを示す値、無線通信における電波強度、パケット通信におけるパケットロス率などを挙げることができる。

【0145】

通信安定度に応じて分割周波数を変化させる例について、図１８を参照して説明する。
図１８において、送信バッファは、符号化装置２における通信部２７の送信バッファを意味し、符号化部２４で得られた触覚符号化データＤｃの外部装置への送信時において、触覚符号化データＤｃがパケット単位で逐次バッファリングされる。
本例では、通信安定度は、この送信バッファの空きスロット数に基づいて判定する。具体的には、送信バッファにパケットデータが多くたまっている場合には、通信状態が悪化して受信装置側（触覚符号化データＤｃの受信側：例えば再生装置４）から何度もデータの再送要求が来ている状態となり、送信がスムースに進んでいないと判断できる。すなわち、通信安定度が低い（悪化している）と判定することができる。

【0146】

図１８では、通信安定度が通常時（図１８Ａ）、良好時（図１８Ｂ）、悪化時（図１８Ｃ）の各場合に対応した分割周波数を示している。分割周波数によって定まる低周波帯域は、波形を略そのまま符号化する帯域であるため、品質重視符号化範囲と呼ぶことができ、逆に高周波帯域については、波形そのものの代替として触覚インテンシティのみを用いる帯域であるため、効率重視符号化範囲と呼ぶことができる。

【0147】

つまり、通信安定度が良好な場合は、ビットレートが高くともデータ途切れが生じる可能性が低いため、できるだけ品質重視符号化範囲（低周波帯域）を広げて品質を向上させるように分割周波数を高く（例えば５００Ｈｚなど）設定する。逆に、通信安定度が悪化した場合は、データ途切れを防ぐことを重視して、効率重視符号化範囲（高周波帯域）を広げてビットレートを低くするように分割周波数を低く（例えば１００Ｈｚなど）設定する。

【0148】

上記のような通信安定度に応じた分割周波数の可変設定を行う場合、符号化部２４は、図１３に示したステップＳ１０２の帯域分割処理において、通信部２７における送信バッファの空きスロット数に基づく通信安定度の判定処理（例えば、良好／通常／悪化の３状態の判定）、及び判定結果に応じた分割周波数の設定処理を行う。

【0149】

<７．実施形態のまとめ>

上記のように実施形態としての復号装置（同３）は、触覚信号を符号化した符号化データ（触覚符号化データＤｃ）であって、触覚信号における第一周波数帯域の信号である第一帯域信号を符号化したデータと、触覚信号における第一周波数帯域とは異なる第二周波数帯域についての触覚強度（触覚インテンシティ）を示す情報である触覚強度情報とを含んだ符号化データについて、第一帯域信号を復号する第一復号部（低周波信号復号部３４ｃ）と、符号化データにおける触覚強度情報に基づき、触覚信号における第二周波数帯域の信号である第二帯域信号を復号する第二復号部（高周波信号生成部３４ｅ）と、第一復号部によって復号した第一帯域信号と第二復号部によって復号した第二帯域信号とを合成する合成部（帯域合成部３４ｆ）と、を備えるものである。
これにより、実施形態に係る符号化装置により生成された符号化データについて、第二周波数帯域に係る触覚信号を触覚再現性の低下の抑制を図りつつ復号することが可能とされる。
従って、触覚の再現性低下の抑制を図りつつ触覚信号のデータ量削減を図ることができる。

【0150】

また、実施形態としての復号装置においては、第一周波数帯域が第二周波数帯域よりも低域側の帯域とされている。
人体においては、所定周波数以上の帯域の触覚信号について、触覚の強度の変化は知覚され易いが周波数の変化は知覚され難い。
このため、上記構成によれば、このような人体の触覚感度特性を利用した触覚信号の情報圧縮を実現することが可能となり、従って、触覚の再現性低下の抑制を図りつつ触覚信号のデータ量削減を図ることができる。

【0151】

さらに、実施形態としての復号装置においては、触覚強度情報は、第二周波数帯域内の各周波数について算出されており、第二復号部は、各周波数について算出された触覚強度情報が示す触覚強度の合計値に基づいて第二帯域信号を復号している（図１６のステップＳ２０４→Ｓ２０６を参照）。
これにより、第二周波数帯域の触覚強度として、符号化前の第二帯域信号における各周波数の触覚強度に基づいた適切な触覚強度を再現することが可能となる。
従って、触覚の再現性低下の抑制を図ることができる。

【0152】

さらにまた、実施形態としての復号装置においては、触覚強度情報は、第二周波数帯域内における一又は複数の主要周波数について算出されており、第二復号部は、主要周波数について算出された触覚強度情報が示す触覚強度に基づいて第二帯域信号を復号している（図１６のステップＳ２０５→Ｓ２０６を参照）。
これにより、第二周波数帯域の触覚強度として、符号化前の第二帯域信号における主要周波数の触覚強度に基づいた適切な触覚強度を再現することが可能となる。
従って、触覚の再現性低下の抑制を図ることができる。

【0153】

また、実施形態としての復号装置においては、第二復号部は、触覚強度情報が示す触覚強度を信号振幅に換算し、第二帯域信号の復号信号として、換算した信号振幅を有し、信号周波数が第二周波数帯域内における周波数とされた周期信号を生成している（［式７］を参照）。
これにより、本技術に係る符号化装置により生成された符号化データについて、第二帯域信号を、触覚再現性の低下抑制が図られるように復号することが可能となる。
従って、触覚の再現性低下の抑制を図りつつ触覚信号のデータ量削減を図ることができる。

【0154】

さらに、実施形態としての復号装置においては、周期信号の周波数は、触覚提示装置の共振周波数に略一致する周波数とされている。
これにより、触覚提示装置の駆動の効率化が図られる。
従って、触覚提示装置の省電力化を図ることができる。

【0155】

さらにまた、実施形態としての復号装置においては、周期信号の周波数は、人体の触覚感度特性に基づき設定されている。
これにより、周期信号の周波数を人体の触覚感度が高い周波数に設定することが可能となり、触覚提示装置の駆動の効率化が図られる。
従って、触覚提示装置の省電力化を図ることができる。

【0156】

また、実施形態としての復号装置においては、周期信号の周波数は、人体の聴覚感度特性に基づき設定されている。
これにより、周期信号の周波数を人体の聴覚感度が低い周波数に設定することが可能となり、触覚提示装置の駆動により発生する騒音の低減が図られる。
従って、ユーザの触覚コンテンツへの没入感を高めることができる。

【0157】

さらに、実施形態としての復号装置においては、第二復号部は、操作に基づいて周期信号の周波数を設定している（図１７を参照）。
これにより、周期信号の周波数をユーザによって任意に選択させることができる。

【0158】

また、実施形態としての復号方法は、触覚信号を符号化した符号化データであって、触覚信号における第一周波数帯域の信号である第一帯域信号を符号化したデータと、触覚信号における第一周波数帯域とは異なる第二周波数帯域についての触覚強度を示す情報である触覚強度情報とを含んだ符号化データについて、第一帯域信号を復号する第一復号手順と、符号化データにおける触覚強度情報に基づき、触覚信号における第二周波数帯域の信号である第二帯域信号を復号する第二復号手順と、第一復号手順によって復号した第一帯域信号と第二復号手順によって復号した第二帯域信号とを合成する合成手順と、を有する復号方法である。
このような復号方法によっても、上記した実施形態としての復号装置と同様の作用及び効果を得ることができる。

【0159】

また、実施形態としての符号化装置は、触覚信号を第一周波数帯域の信号である第一帯域信号と第一周波数帯域とは異なる第二周波数帯域の信号である第二帯域信号とに帯域分割する帯域分割部（同２４ｂ）と、第一帯域信号を符号化する第一符号化部（低周波信号符号化部２４ｃ）と、第二帯域信号に基づき、第二周波数帯域についての触覚強度を示す触覚強度情報を算出する触覚強度算出部（同２４ｄ）と、第一帯域信号を符号化したデータと触覚強度情報とを含む符号化データ（触覚符号化データＤｃ）を生成する符号化データ生成部（多重化部２４ｅ）と、を備えるものである。
これにより、所定の周波数帯域では触覚の強度の変化及び周波数の変化の双方が知覚され易いが、別の周波数帯域では触覚の強度の変化は知覚され易く周波数の変化は知覚され難いという人体の触覚感度特性を利用して、触覚信号の情報圧縮を効率的に行うことが可能となる。
従って、触覚の再現性低下の抑制を図りつつ触覚信号のデータ量削減を図ることができる。

【0160】

また、実施形態としての復号装置においては、第一周波数帯域が第二周波数帯域よりも低域側の帯域とされている。
人体においては、所定周波数以上の帯域の触覚信号について、触覚の強度の変化は知覚され易いが周波数の変化は知覚され難い。
このため、上記構成によれば、このような人体の触覚感度特性を利用した触覚信号の情報圧縮を実現することが可能となり、従って、触覚の再現性低下の抑制を図りつつ触覚信号のデータ量削減を図ることができる。

【0161】

さらに、実施形態としての復号装置においては、第一周波数帯域と第二周波数帯域との分割周波数が可変とされている。
分割周波数が可変とされることで、符号化によるデータ削減効果と触覚再現性の低下抑制効果とのバランスの調整が可能となる。
従って、何らかの事情により触覚再現性よりもデータ削減効果を重視したいとする場合や、逆にデータ削減効果よりも触覚再現性を重視したいとする場合がある等、各種事情に応じてデータ削減効果と触覚再現性の低下抑制効果とのバランスの適正化を図ることができる。

【0162】

さらにまた、実施形態としての復号装置においては、帯域分割部は、外部装置との通信安定度に応じて分割周波数を変化させている（図１８を参照）。
これにより、符号化データの伝送先である外部装置との通信が不安定である場合にはデータ削減効果を高める方向に分割周波数を変化させる、すなわち、通信データのビットレートが低くなるようにして、通信途切れの発生の抑制を図り、逆に、通信が安定している場合には触覚再現性を高める方向に分割周波数を変化させる等といったことが可能となる。
従って、データ削減効果と触覚再現性の低下抑制効果とのバランスを通信安定度に応じて適切に調整することができる。

【0163】

また、実施形態としての復号装置においては、帯域分割部は、通信安定度が低い場合は通信安定度が高い場合よりも分割周波数を低くしている。
これにより、通信が不安定である場合にはデータ削減効果を高める方向、すなわち通信データのビットレートを低くする方向に分割周波数が変化され、逆に、通信が安定している場合には触覚再現性を高める方向に分割周波数が変化される。
従って、通信途切れの発生抑制と触覚再現性の低下抑制とのバランスを適正に調整することができる。

【0164】

さらに、実施形態としての復号装置においては、触覚強度算出部は、触覚強度情報を第二周波数帯域内の各周波数について算出している（図１３のステップＳ１０５を参照）。
これにより、第二周波数帯域の触覚強度として、符号化前の第二帯域信号における各周波数の触覚強度に基づいた適切な触覚強度を再現することが可能となる。
従って、触覚の再現性低下の抑制を図ることができる。

【0165】

さらにまた、実施形態としての復号装置においては、触覚強度算出部は、触覚強度情報を第二周波数帯域内における一又は複数の主要周波数についてのみ算出している（図１３のステップＳ１０６を参照）。
これにより、第二周波数帯域の触覚強度として、符号化前の第二帯域信号における主要周波数の触覚強度に基づいた適切な触覚強度を再現することが可能となる。
従って、触覚の再現性低下の抑制を図ることができる。

【0166】

また、実施形態としての符号化方法は、触覚信号を第一周波数帯域の信号である第一帯域信号と第一周波数帯域とは異なる第二周波数帯域の信号である第二帯域信号とに帯域分割する帯域分割手順と、第一帯域信号を符号化する第一符号化手順と、第二帯域信号に基づき、第二周波数帯域についての触覚強度を示す触覚強度情報を算出する触覚強度算出手順と、第一帯域信号を符号化したデータと触覚強度情報とを含む符号化データを生成する符号化データ生成手順と、を有する符号化方法である。

【0167】

このような実施形態としての符号化方法によっても、上記した実施形態としての符号化装置と同様の作用及び効果を得ることができる。

【0168】

ここで、これまでで説明した符号化部（２４）や復号部（３４）による機能は、ＣＰＵ等によるソフトウェア処理として実現することができる。該ソフトウェア処理は、プログラムに基づき実行される。

【0169】

実施形態としての第一のプログラムは、触覚信号を符号化した符号化データであって、触覚信号における第一周波数帯域の信号である第一帯域信号を符号化したデータと、触覚信号における第一周波数帯域とは異なる第二周波数帯域についての触覚強度を示す情報である触覚強度情報とを含んだ符号化データについて、第一帯域信号を復号する第一復号機能と、符号化データにおける触覚強度情報に基づき、触覚信号における第二周波数帯域の信号である第二帯域信号を復号する第二復号機能と、第一復号機能によって復号した第一帯域信号と第二復号機能によって復号した第二帯域信号とを合成する合成機能と、を情報処理装置に実現させるプログラムである。
このような第一のプログラムによって、上記した実施形態としての復号装置を実現することができる。

【0170】

また、実施形態としての第二のプログラムは、触覚信号を第一周波数帯域の信号である第一帯域信号と第一周波数帯域とは異なる第二周波数帯域の信号である第二帯域信号とに帯域分割する帯域分割機能と、第一帯域信号を符号化する第一符号化機能と、第二帯域信号に基づき、第二周波数帯域についての触覚強度を示す触覚強度情報を算出する触覚強度算出機能と、第一帯域信号を符号化したデータと触覚強度情報とを含む符号化データを生成する符号化データ生成機能と、を情報処理装置に実現させるプログラムである。
このような第二のプログラムによって、上記した実施形態としての符号化装置を実現することができる。

【0171】

上記のような第一、第二のプログラムは、コンピュータ装置等の機器に内蔵されている記録媒体や、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
或いはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、第一、第二のプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、インターネット、ＬＡＮ(Local Area Network)などのネットワークを介してダウンロードすることもできる。

【0172】

また、第一、第二のプログラムによれば、実施形態の復号装置や符号化装置の広範な提供に適している。例えば、パーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ＡＶ（Audio Visual）機器等にプログラムをダウンロードすることで、当該パーソナルコンピュータ等を、本技術の復号装置や符号化装置として機能させることができる。

【0173】

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

【0174】

<８．本技術>

なお本技術は以下のような構成も採ることができる。
（１）
触覚信号を符号化した符号化データであって、前記触覚信号における第一周波数帯域の信号である第一帯域信号を符号化したデータと、前記触覚信号における前記第一周波数帯域とは異なる第二周波数帯域についての触覚強度を示す情報である触覚強度情報とを含んだ符号化データについて、前記第一帯域信号を復号する第一復号部と、
前記符号化データにおける前記触覚強度情報に基づき、前記触覚信号における前記第二周波数帯域の信号である第二帯域信号を復号する第二復号部と、
前記第一復号部によって復号した前記第一帯域信号と前記第二復号部によって復号した前記第二帯域信号とを合成する合成部と、を備える
復号装置。
（２）
前記第一周波数帯域が前記第二周波数帯域よりも低域側の帯域とされた
前記（１）に記載の復号装置。
（３）
前記触覚強度情報は、前記第二周波数帯域内の各周波数について算出されており、
前記第二復号部は、
前記各周波数について算出された前記触覚強度情報が示す触覚強度の合計値に基づいて前記第二帯域信号を復号する
前記（１）又は（２）に記載の復号装置。
（４）
前記触覚強度情報は、前記第二周波数帯域内における一又は複数の主要周波数について算出されており、
前記第二復号部は、
前記主要周波数について算出された前記触覚強度情報が示す触覚強度に基づいて前記第二帯域信号を復号する
前記（１）又は（２）の何れかに記載の復号装置。
（５）
前記第二復号部は、
前記触覚強度情報が示す触覚強度を信号振幅に換算し、
前記第二帯域信号の復号信号として、前記換算した信号振幅を有し、信号周波数が前記第二周波数帯域内における周波数とされた周期信号を生成する
前記（１）から（３）の何れかに記載の復号装置。
（６）
前記周期信号の周波数は、触覚提示装置の共振周波数に略一致する周波数とされた
前記（５）に記載の復号装置。
（７）
前記周期信号の周波数は、人体の触覚感度特性に基づき設定された
前記（５）又は（６）に記載の復号装置。
（８）
前記周期信号の周波数は、人体の聴覚感度特性に基づき設定された
前記（５）から（７）の何れかに記載の復号装置。
（９）
前記第二復号部は、
操作に基づいて前記周期信号の周波数を設定する
前記（５）から（８）の何れかに記載の復号装置。
（１０）
触覚信号を符号化した符号化データであって、前記触覚信号における第一周波数帯域の信号である第一帯域信号を符号化したデータと、前記触覚信号における前記第一周波数帯域とは異なる第二周波数帯域についての触覚強度を示す情報である触覚強度情報とを含んだ符号化データについて、前記第一帯域信号を復号する第一復号手順と、
前記符号化データにおける前記触覚強度情報に基づき、前記触覚信号における前記第二周波数帯域の信号である第二帯域信号を復号する第二復号手順と、
前記第一復号手順によって復号した前記第一帯域信号と前記第二復号手順によって復号した前記第二帯域信号とを合成する合成手順と、を有する
復号方法。
（１１）
触覚信号を符号化した符号化データであって、前記触覚信号における第一周波数帯域の信号である第一帯域信号を符号化したデータと、前記触覚信号における前記第一周波数帯域とは異なる第二周波数帯域についての触覚強度を示す情報である触覚強度情報とを含んだ符号化データについて、前記第一帯域信号を復号する第一復号機能と、
前記符号化データにおける前記触覚強度情報に基づき、前記触覚信号における前記第二周波数帯域の信号である第二帯域信号を復号する第二復号機能と、
前記第一復号機能によって復号した前記第一帯域信号と前記第二復号機能によって復号した前記第二帯域信号とを合成する合成機能と、を情報処理装置に実現させる
プログラム。
（１２）
触覚信号を第一周波数帯域の信号である第一帯域信号と前記第一周波数帯域とは異なる第二周波数帯域の信号である第二帯域信号とに帯域分割する帯域分割部と、
前記第一帯域信号を符号化する第一符号化部と、
前記第二帯域信号に基づき、前記第二周波数帯域についての触覚強度を示す触覚強度情報を算出する触覚強度算出部と、
前記第一帯域信号を符号化したデータと前記触覚強度情報とを含む符号化データを生成する符号化データ生成部と、を備える
符号化装置。
（１３）
前記第一周波数帯域が前記第二周波数帯域よりも低域側の帯域とされた
前記（１２）に記載の符号化装置。
（１４）
前記第一周波数帯域と前記第二周波数帯域との分割周波数が可変とされた
前記（１２）又は（１３）に記載の符号化装置。
（１５）
前記帯域分割部は、
外部装置との通信安定度に応じて前記分割周波数を変化させる
前記（１４）に記載の符号化装置。
（１６）
前記帯域分割部は、
前記通信安定度が低い場合は前記通信安定度が高い場合よりも前記分割周波数を低くする
前記（１５）に記載の符号化装置。
（１７）
前記触覚強度算出部は、
前記触覚強度情報を前記第二周波数帯域内の各周波数について算出する
前記（１２）から（１６）の何れかに記載の符号化装置。
（１８）
前記触覚強度算出部は、
前記触覚強度情報を前記第二周波数帯域内における一又は複数の主要周波数についてのみ算出する
前記（１２）から（１６）の何れかに記載の符号化装置。
（１９）
触覚信号を第一周波数帯域の信号である第一帯域信号と前記第一周波数帯域とは異なる第二周波数帯域の信号である第二帯域信号とに帯域分割する帯域分割手順と、
前記第一帯域信号を符号化する第一符号化手順と、
前記第二帯域信号に基づき、前記第二周波数帯域についての触覚強度を示す触覚強度情報を算出する触覚強度算出手順と、
前記第一帯域信号を符号化したデータと前記触覚強度情報とを含む符号化データを生成する符号化データ生成手順と、を有する
符号化方法。
（２０）
触覚信号を第一周波数帯域の信号である第一帯域信号と前記第一周波数帯域とは異なる第二周波数帯域の信号である第二帯域信号とに帯域分割する帯域分割機能と、
前記第一帯域信号を符号化する第一符号化機能と、
前記第二帯域信号に基づき、前記第二周波数帯域についての触覚強度を示す触覚強度情報を算出する触覚強度算出機能と、
前記第一帯域信号を符号化したデータと前記触覚強度情報とを含む符号化データを生成する符号化データ生成機能と、を情報処理装置に実現させる
プログラム。

【符号の説明】

【0175】

１ 触覚再現システム
２ 符号化装置
３ 復号装置
５ 触覚センサ
６ 触覚提示装置
Ｄｃ 触覚符号化データ
２４ 符号化部
２５ 制御部
２６ 記憶部
２７ 通信部
３４ 復号部
３５ 制御部
３８ 操作部
３９ 表示部
４１ 制御部
４２ 通信部
２４ａ 信号入力部
２４ｂ 帯域分割部
２４ｃ 低周波信号符号化部
２４ｄ 触覚強度算出部
２４ｅ 多重化部
３４ａ 符号化データ入力部
３４ｂ 逆多重化部
３４ｃ 低周波信号復号部
３４ｄ 触覚インテンシティ取得部
３４ｅ 高周波信号生成部
３４ｆ 帯域合成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】