特開 2024-166245 触覚伝達システム，触覚伝達装置，触覚伝達プログラム及び触覚伝達方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024166245

(43)【公開日】2024-11-28

(54)【発明の名称】触覚伝達システム，触覚伝達装置，触覚伝達プログラム及び触覚伝達方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20241121BHJP

【ＦＩ】

G06F3/01 560

【審査請求】有

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2024153096

(22)【出願日】2024-09-05

(62)【分割の表示】P 2023525349の分割

【原出願日】2021-06-04

(71)【出願人】

【識別番号】504157024

【氏名又は名称】国立大学法人東北大学

(74)【代理人】

【識別番号】110003649

【氏名又は名称】弁理士法人真田特許事務所

(72)【発明者】

【氏名】昆陽 雅司

(72)【発明者】

【氏名】山口 公輔

(72)【発明者】

【氏名】田所 諭

(57)【要約】

【課題】双方向触覚伝達システムにおける接触信号のハウリング及びループバックを抑制する。
【解決手段】触覚伝達装置３と他の触覚伝達装置３とを有する触覚伝達システム１００であって、触覚伝達装置３において発生した振動を計測する振動計測部３１と、振動計測部３１によって計測された振動から特定される知覚情報を算出する算出部と、算出部によって算出された知覚情報を維持しながら、振動に関する信号を所定の周波数に変換する変換部と、変換部によって変換された変換後の信号を、他の触覚伝達装置３の振動子３２に出力振動として出力させる信号出力部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

触覚伝達装置と他の触覚伝達装置とを有する双方向触覚伝達システムであって、
前記触覚伝達装置において発生した振動を計測する振動計測部と、
前記振動計測部によって計測された前記振動から特定される知覚情報を算出する算出部と、
前記算出部によって算出された前記知覚情報を維持しながら、前記振動に関する信号を所定の周波数に変換する変換部と、
前記変換部によって変換された変換後の信号を、前記他の触覚伝達装置の振動子に出力振動として出力させる信号出力部と、
を備え、
前記変換部は、前記振動子において出力される振動のループバックが抑制されるように、フィルタ処理によって特定の周波数帯域を減衰させる、
双方向触覚伝達システム。

【請求項2】

前記変換部は、前記所定の周波数として、前記触覚伝達装置の筐体の共振周波数以外の周波数に前記信号を変換する、
請求項１に記載の双方向触覚伝達システム。

【請求項3】

前記算出部は、前記振動計測部によって計測された前記振動から特定される包絡線を前記知覚情報として算出し、
前記変換部は、前記算出部によって算出された前記包絡線を維持しながら、前記振動に関する信号を前記所定の周波数がキャリア周波数となるように変換された振幅変調信号として出力し、
前記信号出力部は、前記変換部によって変換された前記振幅変調信号を、前記他の触覚伝達装置の振動子に出力する、
請求項１又は２に記載の双方向触覚伝達システム。

【請求項4】

前記算出部は、前記振動計測部によって計測された前記振動の波形から、刺激の主観的強度を前記知覚情報として算出し、
前記変換部は、前記算出部によって算出された前記主観的強度を維持するように、所定の等価主観的強度マップを利用して前記振動に関する信号を前記所定の周波数に変換する、
請求項１又は２に記載の双方向触覚伝達システム。

【請求項5】

前記算出部は、前記振動計測部によって計測された前記振動から特定される知覚インテンシティを前記知覚情報として算出し、
前記変換部は、前記算出部によって算出された前記知覚インテンシティを維持しながら、前記振動に関する信号を前記信号とは別の周波数をもつ波形に変換する、
請求項１又は２に記載の双方向触覚伝達システム。

【請求項6】

前記算出部は、前記振動計測部によって計測された前記振動に関する信号を所定時間毎に分割し、分割された前記所定時間毎に前記知覚インテンシティを算出する、
請求項５に記載の双方向触覚伝達システム。

【請求項7】

前記変換部は、前記信号の周波数成分のうち特定の周波数帯域の信号については前記知覚インテンシティを調整して前記波形の変換を行う一方、前記特定の周波数帯域以外の信号については前記知覚インテンシティを維持しながら前記信号とは別の周波数をもつ波形に変換を行う、
請求項５又は６に記載の双方向触覚伝達システム。

【請求項8】

前記変換部は、前記信号のうち特定の信号特徴量に基づいて抽出された信号については前記知覚インテンシティを調整して前記波形の変換を行う一方、前記特定の特徴量で抽出されない信号については前記知覚インテンシティを維持しながら前記信号とは別の周波数をもつ波形に変換を行う、
請求項５又は６に記載の双方向触覚伝達システム。

【請求項9】

ユーザの前記触覚伝達装置の筐体への接触位置を検出する接触位置検出センサを更に備え、
前記信号出力部は、前記接触位置検出センサによる検出結果に基づき、振動の移動感覚を前記振動子に出力させる、
請求項１～８のいずれか１項に記載の双方向触覚伝達システム。

【請求項10】

複数の前記振動計測部を備え、
前記信号出力部は、前記複数の振動計測部それぞれからの入力に基づき、振動の移動感覚を前記振動子に出力させる、
請求項１～８のいずれか１項に記載の双方向触覚伝達システム。

【請求項11】

前記信号出力部は、前記振動子における前記変換後の信号の出力と同時に、音、映像又は光を前記他の触覚伝達装置に出力させる、
請求項１～１０のいずれか１項に記載の双方向触覚伝達システム。

【請求項12】

環境側に設置されると共にユーザの身体が接触することにより振動を伝える接触板において、前記振動計測部及び前記振動子が配置された、
請求項１～１１のいずれか１項に記載の双方向触覚伝達システム。

【請求項13】

ユーザの身体に取り付け可能なウェアラブルデバイスに前記振動計測部及び前記振動子が配置された、
請求項１～１１のいずれか１項に記載の双方向触覚伝達システム。

【請求項14】

ユーザが把持するデバイスに前記振動計測部及び前記振動子が配置された、
請求項１～１１のいずれか１項に記載の双方向触覚伝達システム。

【請求項15】

請求項１～１４のいずれか１項に記載の双方向触覚伝達システムに使用される前記触覚伝達装置であって、
前記振動計測部、前記算出部、前記変換部、及び前記信号出力部のうち、前記振動計測部のみの組み合わせと、前記振動計測部及び前記算出部の組み合わせと、前記振動計測部、前記算出部及び前記変換部の組み合わせと、前記振動計測部、前記算出部、前記変換部及び前記信号出力部の組み合わせとのいずれかを備える、
双方向触覚伝達装置。

【請求項16】

請求項１～１４のいずれか１項に記載の双方向触覚伝達システムに使用される前記他の触覚伝達装置であって、
前記算出部、前記変換部及び前記信号出力部のうち、前記信号出力部のみの組み合わせと、前記変換部及び前記信号出力部の組み合わせと、前記算出部、前記変換部及び前記信号出力部の組み合わせとのいずれかを備える、
双方向触覚伝達装置。

【請求項17】

触覚伝達装置と他の触覚伝達装置とを有する双方向触覚伝達システムにおけるコンピュータに、
前記触覚伝達装置において発生した振動を計測し、
計測された前記振動から特定される知覚情報を算出し、
算出された前記知覚情報を維持しながら、前記振動に関する信号を所定の周波数に変換し、
変換後の信号を、前記他の触覚伝達装置の振動子に出力振動として出力させ、
前記振動子において出力される振動のループバックが抑制されるように、フィルタ処理によって特定の周波数帯域を減衰させる、
処理を実行させる、双方向触覚伝達プログラム。

【請求項18】

前記所定の周波数として、前記触覚伝達装置の筐体の共振周波数以外の周波数に前記信号を変換する、
処理を前記コンピュータに実行させる、請求項１７に記載の双方向触覚伝達プログラム。

【請求項19】

計測された前記振動から特定される包絡線を前記知覚情報として算出し、
算出された前記包絡線を維持しながら、前記振動に関する信号を前記所定の周波数がキャリア周波数となるように変換された双方向振幅変調信号として出力し、
変換された前記振幅変調信号を、前記他の触覚伝達装置の振動子に出力する、
処理を前記コンピュータに実行させる、請求項１７又は１８に記載の双方向触覚伝達プログラム。

【請求項20】

計測された前記振動の波形から、刺激の主観的強度を前記知覚情報として算出し、
算出された前記主観的強度を維持するように、所定の等価主観的強度マップを利用して前記振動に関する信号を前記所定の周波数に変換する、
処理を前記コンピュータに実行させる、請求項１７又は１８に記載の双方向触覚伝達プログラム。

【請求項21】

計測された前記振動から特定される知覚インテンシティを前記知覚情報として算出し、
算出された前記知覚インテンシティを維持しながら、前記振動に関する信号を前記信号とは別の周波数をもつ波形に変換する、
請求項１７又は１８に記載の双方向触覚伝達プログラム。

【請求項22】

計測された前記振動に関する信号を所定時間毎に分割し、分割された前記所定時間毎に前記知覚インテンシティを算出する、
処理を前記コンピュータに実行させる、請求項２１に記載の双方向触覚伝達プログラム。

【請求項23】

前記信号の周波数成分のうち特定の周波数帯域の信号については前記知覚インテンシティを調整して前記波形の変換を行う一方、前記特定の周波数帯域以外の信号については前記知覚インテンシティを維持しながら前記信号とは別の周波数をもつ波形に変換を行う、処理を前記コンピュータに実行させる、請求項２１又は２２に記載の双方向触覚伝達プログラム。

【請求項24】

前記信号のうち特定の信号特徴量に基づいて抽出された信号については前記知覚インテンシティを調整して前記波形の変換を行う一方、前記特定の特徴量で抽出されない信号については前記知覚インテンシティを維持しながら前記信号とは別の周波数をもつ波形に変換を行う、
処理を前記コンピュータに実行させる、請求項２１又は２２に記載の双方向触覚伝達プログラム。

【請求項25】

触覚伝達装置と他の触覚伝達装置とを有する双方向触覚伝達システムにおける双方向触覚伝達方法であって、
前記触覚伝達装置において発生した振動を計測し、
計測された前記振動から特定される知覚情報を算出し、
算出された前記知覚情報を維持しながら、前記振動に関する信号を所定の周波数に変換し、
変換後の信号を、前記他の触覚伝達装置の振動子に出力振動として出力させ、
前記振動子において出力される振動のループバックが抑制されるように、フィルタ処理によって特定の周波数帯域を減衰させる、
処理を実行させる、双方向触覚伝達方法。

【請求項26】

前記所定の周波数として、前記触覚伝達装置の筐体の共振周波数以外の周波数に前記信号を変換する、
請求項２５に記載の双方向触覚伝達方法。

【請求項27】

計測された前記振動から特定される包絡線を前記知覚情報として算出し、
算出された前記包絡線を維持しながら、前記振動に関する信号を前記所定の周波数がキャリア周波数となるように変換された振幅変調信号として出力し、
変換された前記振幅変調信号を、前記他の触覚伝達装置の振動子に出力する、
請求項２５又は２６に記載の双方向触覚伝達方法。

【請求項28】

計測された前記振動の波形から、刺激の主観的強度を前記知覚情報として算出し、
算出された前記主観的強度を維持するように、所定の等価主観的強度マップを利用して前記振動に関する信号を前記所定の周波数に変換する、
請求項２５又は２６に記載の双方向触覚伝達方法。

【請求項29】

計測された前記振動から特定される知覚インテンシティを前記知覚情報として算出し、
算出された前記知覚インテンシティを維持しながら、前記振動に関する信号を前記信号とは別の周波数をもつ波形に変換する、
請求項２７又は２８に記載の双方向触覚伝達方法。

【請求項30】

計測された前記振動に関する信号を所定時間毎に分割し、分割された前記所定時間毎に
、前記知覚インテンシティを算出する、
請求項２９に記載の双方向触覚伝達方法。

【請求項31】

前記信号の周波数成分のうち特定の周波数帯域の信号については前記知覚インテンシティを調整して前記波形の変換を行う一方、前記特定の周波数帯域以外の信号については前記知覚インテンシティを維持しながら前記信号とは別の周波数をもつ波形に変換を行う、請求項２９又は３０に記載の双方向触覚伝達方法。

【請求項32】

前記信号のうち特定の信号特徴量に基づいて抽出された信号については前記知覚インテンシティを調整して前記波形の変換を行う一方、前記特定の特徴量で抽出されない信号については前記知覚インテンシティを維持しながら前記信号とは別の周波数をもつ波形に変換を行う、
請求項２９又は３０に記載の双方向触覚伝達方法。

【請求項33】

触覚伝達装置と他の触覚伝達装置とを有する双方向触覚伝達システムであって、
前記触覚伝達装置において発生した振動を計測する振動計測部と、
前記振動計測部によって計測された前記振動から特定される知覚情報を算出する算出部と、
前記算出部によって算出された前記知覚情報を維持しながら、前記振動に関する信号を所定の周波数に変換する変換部と、
前記変換部によって変換された変換後の信号を、前記他の触覚伝達装置の振動子に出力振動として出力させる信号出力部と、
を備え、
前記変換部は、前記所定の周波数として、前記触覚伝達装置の筐体の共振周波数以外の周波数に前記信号を変換する、
双方向触覚伝達システム。

【請求項34】

触覚伝達装置と他の触覚伝達装置とを有する双方向触覚伝達システムにおけるコンピュータに、
前記触覚伝達装置において発生した振動を計測し、
計測された前記振動から特定される知覚情報を算出し、
算出された前記知覚情報を維持しながら、前記振動に関する信号を所定の周波数に変換し、
変換後の信号を、前記他の触覚伝達装置の振動子に出力振動として出力させ、
前記所定の周波数として、前記触覚伝達装置の筐体の共振周波数以外の周波数に前記信号を変換する、
処理を実行させる、双方向触覚伝達プログラム。

【請求項35】

触覚伝達装置と他の触覚伝達装置とを有する双方向触覚伝達システムにおける双方向触覚伝達方法であって、
前記触覚伝達装置において発生した振動を計測し、
計測された前記振動から特定される知覚情報を算出し、
算出された前記知覚情報を維持しながら、前記振動に関する信号を所定の周波数に変換し、
変換後の信号を、前記他の触覚伝達装置の振動子に出力振動として出力させ、
前記所定の周波数として、前記触覚伝達装置の筐体の共振周波数以外の周波数に前記信号を変換する、
処理を実行させる、双方向触覚伝達方法。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書に記載する技術は、触覚伝達システム，触覚伝達装置，触覚伝達プログラム及び触覚伝達方法に関する。

【背景技術】

【0002】

電話やビデオ会議、ソーシャルVirtual Reality（ＶＲ）等、遠隔地でも音声や映像でコミュニケーションをとる技術が開発されている。音声や映像に加えて触覚振動を伝達することで今までより高度なコミュニケーションが可能になる。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】早川裕彦 他“高実在感を伴う遠隔コミュニケーションのための双方向型視聴触覚メディア「公衆触覚伝話」の提案”, TVRSJ Vol.25 No.4 pp.412-421, 2020年12月25日

【発明の概要】

【発明が解決しようとする課題】

【0004】

ユーザが筐体を触った際に発生する振動を双方向に伝達する触覚通信では、振動を計測する振動センサと振動を生成するアクチュエータとを同じ筐体に搭載することが望ましい。このとき、入力として加えるユーザと筐体との接触振動は、筐体の固有振動の振幅変調波を中心として現れる。一方、出力として、触覚提示のためにアクチュエータにより筐体を振動させると、やはり筐体の固有振動付近の振動が発生する。

【0005】

このような触覚の入出力装置を複数、双方向に接続した場合、センサ信号とループバックされてきたアクチュエータの駆動信号とが同じ固有振動付近で駆動されるため、鳴音（ハウリング）現象が生じるおそれがある。

【0006】

このハウリングを抑制するためには音響信号では、固有振動周波数帯域の信号をバンドパスフィルタ等で抑制する手段が用いられるが、触覚の伝達の場合、伝えるべき触覚情報も同じ帯域に存在するため、ゲインを下げると接触情報の質の低下を招く可能性がある。

【0007】

１つの側面では、本明細書に記載する技術は、双方向触覚伝達システムにおける接触信号のハウリング及びループバックを抑制することを目的とする。

【課題を解決するための手段】

【0008】

１つの側面において、双方向触覚伝達システムは、触覚伝達装置と他の触覚伝達装置とを有する触覚伝達システムであって、前記触覚伝達装置において発生した振動を計測する振動計測部と、前記振動計測部によって計測された前記振動から特定される知覚情報を算出する算出部と、前記算出部によって算出された前記知覚情報を維持しながら、前記振動に関する信号を所定の周波数に変換する変換部と、前記変換部によって変換された変換後の信号を、前記他の触覚伝達装置の振動子に出力振動として出力させる信号出力部と、を備え、前記変換部は、前記振動子において出力される振動のループバックが抑制されるように、フィルタ処理によって特定の周波数帯域を減衰させる。
また、別の１つの側面において、双方向触覚伝達システムは、触覚伝達装置と他の触覚伝達装置とを有する触覚伝達システムであって、前記触覚伝達装置において発生した振動を計測する振動計測部と、前記振動計測部によって計測された前記振動から特定される知覚情報を算出する算出部と、前記算出部によって算出された前記知覚情報を維持しながら、前記振動に関する信号を所定の周波数に変換する変換部と、前記変換部によって変換された変換後の信号を、前記他の触覚伝達装置の振動子に出力振動として出力させる信号出力部と、を備え、前記変換部は、前記所定の周波数として、前記触覚伝達装置の筐体の共振周波数以外の周波数に前記信号を変換する。

【発明の効果】

【0009】

１つの側面として、双方向触覚伝達システムにおける接触信号のハウリング及びループバックを抑制することができる。

【図面の簡単な説明】

【0010】

【図1】実施形態における双方向触覚伝達システムのハードウェア構成例を模式的に示すブロック図である。

【図2】（ａ），（ｂ）は図１に示した双方向触覚伝達システムのソフトウェア構成例を模式的に示すブロック図である。

【図3】（ａ）は図２に示した信号入力処理部の第１の例を示すブロック図であり、（ｂ）は図２に示した信号出力処理部の第１の例を示すブロック図である。

【図4】（ａ）は図２に示した信号入力処理部の第２の例を示すブロック図であり、（ｂ）は図２に示した信号出力処理部の第２の例を示すブロック図である。

【図5】（ａ）は図２に示した信号入力処理部の第３の例を示すブロック図であり、（ｂ）は図２に示した信号出力処理部の第３の例を示すブロック図である。

【図6】（ａ）～（ｃ）は図３，図４に示した周波数変換部による周波数変換処理を説明するためのグラフである。

【図7】スルーアウトプット（信号を無処理で出力したとき）での振幅の計測結果を例示するグラフである。

【図8】図１に示した双方向触覚伝達システムにおいてIntensity Segment Modulation（ＩＳＭ）を利用した場合のハウリングの抑制結果を例示するテーブルである。

【図9】（ａ）はスルーアウトプットの場合の出力振動の計測結果を例示するグラフであり、（ｂ）はＩＳＭを利用した場合の出力振動の計測結果を例示するグラフである。

【図10】環境設置型の振動入出力デバイスの第１の例を示す図である。

【図11】環境設置型の振動入出力デバイスの第２の例を示す図である。

【図12】環境設置型の振動入出力デバイスの第３の例を示す図である。

【図13】リストバンド型の振動入出力デバイスを示す図である。

【図14】抱き枕型の振動入出力デバイスを示す図である。

【図15】ツール取り付け型の振動入出力デバイスを示す図である。

【図16】実施形態としての端末の構成例を模式的に示すブロック図である。

【図17】（ａ）～（ｃ）はＩＳＭ処理を簡単に説明するグラフである。

【図18】ヒトによる振動の弁別可能性を示すグラフである。

【図19】図１８に示したグラフで示されている弁別可能性を判断するために実施した強制三選択肢弁別実験で使用した振動のサンプル波形である。

【図20】図１６に示した端末によるセグメント毎の変換前後の信号の波形を示すグラフである。

【図21】補正エネルギーの計算に用いられる振幅閾値Tfを表すグラフである。

【図22】補正エネルギーの計算に用いられる指数閾値bを表すグラフである。

【図23】図１６に示した端末における窓関数の利用を説明する図である。

【図24】図１６に示した端末における低周波と高周波との合成例を説明するグラフである。

【図25】図１６に示した端末による変換前後の信号の波形の具体例を示すグラフである。

【図26】図１６に示した端末におけるＩＳＭ部の機能構成例を説明するブロック図である。

【図27】図１６に示した端末における振動波形の生成処理の第１の実施例を説明するブロック図である。

【図28】図２６に示したエネルギー制御処理の詳細を説明するブロック図である。

【図29】図１６に示した端末における振動波形の生成処理の第２の実施例として、図２６に示したエネルギー制御処理における低周波成分の分離処理を説明するブロック図である。

【図30】（ａ）～（ｃ）は波形を強調せずにＩＳＭに従い振動を生成する例を説明するグラフである。

【図31】（ａ）～（ｃ）は音源から３０００Ｈｚ以上の高周波成分を強調して分離する第１の例を説明するグラフである。

【図32】（ａ）～（ｃ）は音源から３０００Ｈｚ以上の高周波成分を強調して分離する第２の例を説明するグラフである。

【図33】（ａ）～（ｃ）は音源から１０００Ｈｚ以下の低周波成分を強調して分離する例を説明するグラフである。

【図34】図２６に示したエネルギー制御処理の第１変形例を説明するブロック図である。

【図35】図２６に示したエネルギー制御処理の第２変形例を説明するブロック図である。

【図36】図２６に示したエネルギー合成処理の詳細を説明するブロック図である。

【図37】図２６に示した補正した振動波形の生成処理の詳細を説明するブロック図である。

【図38】図１に示した双方向触覚伝達システムにおいて複数の振動装置を用いる場合のＤＡＣの構成例を示すブロック図である。

【図39】図１に示した双方向触覚伝達システムにおいて単一の振動装置を用いる場合のＤＡＣの構成例を示すブロック図である。

【発明を実施するための形態】

【0011】

以下、図面を参照して実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。

【0012】

また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の構成要素を含むことができる。以下、図中において、同一の符号を付した部分は特に断らない限り、同一若しくは同様の部分を示す。

【0013】

〔Ａ〕実施形態
〔Ａ－１〕触覚の双方向伝達処理

【0014】

図１は、実施形態における双方向触覚伝達システム１００のハードウェア構成例を模式的に示すブロック図である。

【0015】

双方向触覚伝達システム１００は、例示的に、２つの端末１（別言すれば、触覚伝達装置），２つのUniversal Serial Bus（ＵＳＢ）オーディオInterface（Ｉ／Ｆ）２，２つの振動入出力デバイス３（振動入出力デバイス＃１，＃２）及び２つのアンプ４を備える。２つの振動入出力デバイス３は、それぞれ、振動センサ３１（別言すれば、振動計測部）及びバイブレータ３２（別言すれば、振動子）を備える。

【0016】

図１において、実線矢印は振動入出力デバイス＃２で発生した振動が振動入出力デバイス＃１へ伝えられる際の信号の流れを示し、破線矢印は振動入出力デバイス＃１で発生した振動が振動入出力デバイス＃２へ伝えられる際の信号の流れを示す。

【0017】

振動センサ３１は、振動を計測し、ＵＳＢオーディオＩ／Ｆ２を介して信号を端末１へ伝送する。端末１は、ＩＳＭ処理又はスルーアウトプット処理を実行して、遠隔地の他の端末１へ信号を伝送する。遠隔地の端末１は、ＵＳＢオーディオＩ／Ｆ２及びアンプ４を介して、伝送された信号から生成した振動をバイブレータ３２へ出力する。なお、３組以上の端末１，ＵＳＢオーディオＩ／Ｆ２，振動入出力デバイス３及びアンプ４が備えられることにより、３者間以上において触覚が伝達されてもよい。また、触覚の伝達を体感したくないユーザのために、バイブレータ３２による振動の出力をオフにするミュート機能が備えられてもよい。

【0018】

なお、ＩＳＭの詳細については、図１７～図３９等を用いて後述する。

【0019】

図２の（ａ），（ｂ）は、図１に示した双方向触覚伝達システム１００のソフトウェア構成例を模式的に示すブロック図である。

【0020】

双方向触覚伝達システム１００は、図２の（ａ），（ｂ）に示すように、拠点＃１，＃２のそれぞれにおいて、振動計測部２１１，信号増幅部２１２，信号入力処理部２１３，信号送信部２１４，信号受信部２１５，信号出力処理部２１６，信号増幅部２１７及び振動提示部２１８として機能する。

【0021】

振動計測部２１１及び信号増幅部２１２としての機能は図１に示した振動センサ３１によって実現され、信号入力処理部２１３としての機能は図１に示したＵＳＢオーディオＩ／Ｆ２及び図１６を用いて後述する端末１のＣＰＵ１１によって実現され、信号送信部２１４としての機能は図１６を用いて後述する端末１の通信Ｉ／Ｆ（不図示）によって実現されてよい。また、信号受信部２１５としての機能は図１６を用いて後述する端末１の通信Ｉ／Ｆ（不図示）によって実現され、信号出力処理部２１６としての機能は図１に示したＵＳＢオーディオＩ／Ｆ２及び図１６を用いて後述する端末１のＣＰＵ１１によって実現され、信号増幅部２１７としての機能は図１に示したアンプ４によって実現され、振動提示部２１８としての機能は図１に示したバイブレータ３２によって実現される。

【0022】

振動計測部２１１は、ユーザが接触する筐体における振動を計測する。信号増幅部２１７は、振動計測部２１１によって計測された信号を増幅させる。信号入力処理部２１３は、図３～図５等を用いて後述する信号処理を実施する。信号送信部２１４は、信号入力処理部２１３によって処理が施された信号を他の拠点へ送信する。触覚信号は、映像・音声と同期して送信してもよい。また、触覚信号は、動画等の音声チャンネルに含めて伝達してもよい。

【0023】

信号受信部２１５は、他の拠点から送信された信号を受信する。信号出力処理部２１６は、信号受信部２１５によって受信された信号に対して、図３～図５等を用いて後述する信号処理を実施する。信号増幅部２１７は、信号出力処理部２１６によって処理が施された信号を増幅させる。振動提示部２１８は、信号増幅部２１７によって増幅された信号に応じてユーザが接触する筐体を振動させる。

【0024】

図３の（ａ）は図２に示した信号入力処理部２１３の第１の例を示すブロック図であり、（ｂ）は図２に示した信号出力処理部２１６の第１の例を示すブロック図である。

【0025】

信号入力処理部２１３は、図３の（ａ）に示すように、ＡＤ変換部２１３１，バンドストップフィルタ２１３２，イコライザ２１３３及び周波数変換部２１３４としての機能を備える。また、信号出力処理部２１６は、図３の（ｂ）に示すように、バッファリング２１６１及びＤＡ変換部２１６２としての機能を備える。

【0026】

ＡＤ変換部２１３１としての機能は図１に示したＵＳＢオーディオＩ／Ｆ２において実現され、バンドストップフィルタ２１３２，イコライザ２１３３及び周波数変換部２１３４としての機能は図１６を用いて後述する端末１のＣＰＵ１１において実現されてよい。バッファリング２１６１としての機能は図１６を用いて後述する端末１のメモリ１２又は通信Ｉ／Ｆ（不図示）において実現され、ＤＡ変換部２１６２としての機能は図１に示したＵＳＢオーディオＩ／Ｆ２において実現されてよい。

【0027】

送信側において、ＡＤ変換部２１３１によってアナログ信号がデジタル信号に変換され、バンドストップフィルタ２１３２によって振動提示に利用する周波数帯が除去され、イコライザ２１３３によって特定の帯域の信号が強調され、周波数変換部２１３４によって周波数変換が行われた後に、提示振動が受信側へ送信される。なお、イコライザ２１３３は省略されてよい。

【0028】

受信側において、バッファリング２１６１によって受信された提示振動がバッファされ、ＤＡ変換部２１６２によって提示振動のデジタル信号がアナログ信号に変換される。

【0029】

図４の（ａ）は図２に示した信号入力処理部２１３の第２の例（符号２１３ａ参照）を示すブロック図であり、（ｂ）は図２に示した信号出力処理部２１６の第２の例（符号２１６ａ参照）を示すブロック図である。

【0030】

信号入力処理部２１３ａは、図４の（ａ）に示すように、ＡＤ変換部２１３１，バンドストップフィルタ２１３２及びイコライザ２１３３としての機能を備える。また、信号出力処理部２１６ａは、図４の（ｂ）に示すように、バッファリング２１６１，ＤＡ変換部２１６２及び周波数変換部２１６３としての機能を備える。

【0031】

ＡＤ変換部２１３１としての機能は図１に示したＵＳＢオーディオＩ／Ｆ２において実現され、バンドストップフィルタ２１３２及びイコライザ２１３３としての機能は図１６を用いて後述する端末１のＣＰＵ１１において実現されてよい。周波数変換部２１６３としての機能は図１６を用いて後述する端末１のＣＰＵ１１において実現され、バッファリング２１６１としての機能は図１６を用いて後述する端末１のメモリ１２において実現され、ＤＡ変換部２１６２としての機能は図１に示したＵＳＢオーディオＩ／Ｆ２において実現されてよい。

【0032】

送信側において、ＡＤ変換部２１３１によってアナログ信号がデジタル信号に変換され、バンドストップフィルタ２１３２によって振動提示に利用する周波数帯が除去され、イコライザ２１３３によって特定の帯域の信号が強調されて、信号が受信側へ送信される。なお、イコライザ２１３３は省略されてよい。

【0033】

受信側において、周波数変換部２１６３によって受信された信号に対して周波数変換が行われ、バッファリング２１６１によって周波数変換された提示振動がバッファされ、ＤＡ変換部２１６２によって提示振動のデジタル信号がアナログ信号に変換される。

【0034】

図５の（ａ）は図２に示した信号入力処理部２１３の第３の例（符号２１３ｂ参照）を示すブロック図であり、（ｂ）は図２に示した信号出力処理部２１６の第３の例を（符号２１６ｂ参照）示すブロック図である。

【0035】

信号入力処理部２１３ｂは、図５の（ａ）に示すように、ＡＤ変換部２１３１，バンドストップフィルタ２１３２，イコライザ２１３３及びインテンシティ算出部２１３５としての機能を備える。また、信号出力処理部２１６ｂは、図５の（ｂ）に示すように、バッファリング２１６１，ＤＡ変換部２１６２及び振動波形生成部２１６４としての機能を備える。

【0036】

ＡＤ変換部２１３１としての機能は図１に示したＵＳＢオーディオＩ／Ｆ２において実現され、バンドストップフィルタ２１３２，イコライザ２１３３及びインテンシティ算出部２１３５としての機能は図１６を用いて後述する端末１のＣＰＵ１１において実現されてよい。振動波形生成部２１６４としての機能は図１６を用いて後述する端末１のＣＰＵ１１において実現され、バッファリング２１６１としての機能は図１６を用いて後述する端末１のメモリ１２において実現され、ＤＡ変換部２１６２としての機能は図１に示したＵＳＢオーディオＩ／Ｆ２において実現されてよい。

【0037】

送信側において、ＡＤ変換部２１３１によってアナログ信号がデジタル信号に変換され、バンドストップフィルタ２１３２によって振動提示に利用する周波数帯が除去され、イコライザ２１３３によって特定の帯域の信号が強調され、インテンシティ算出部２１３５によって振動インテンシティの算出が行われた後に、信号が受信側へ送信される。振動インテンシティは波形信号と比較して１００Ｈｚ程度の更新レートでよいため、通信量を削減する効果がある。なお、イコライザ２１３３は省略されてよい。

【0038】

受信側において、振動波形生成部２１６４によって受信された振動インテンシティに基づいて振動の生成が行われ、バッファリング２１６１によって周波数変換された提示振動がバッファされ、ＤＡ変換部２１６２によって提示振動のデジタル信号がアナログ信号に変換される。

【0039】

次に、以下の（１）～（３）において、周波数変換部２１３４，２１６３による周波数変換処理について説明する。

【0040】

（１）周波数変換処理例Ｉ
図６の（ａ）～（ｃ）は、図３，図４に示した周波数変換部２１３４，２１６３による周波数変換処理を説明するためのグラフである。

【0041】

周波数変換部２１３４，２１６３は、包絡線（別言すれば、知覚情報）を維持して振幅変調波で提示する。図６の（ａ）には元信号v0(t)が示され、図６の（ｂ）には元信号の上限と下限の包絡線信号eup(t), elow(t)がそれぞれ点線で示され、図６の（ｃ）には図６の（ｂ）の包絡線で内包されるように生成した振幅変調波vam(t)が示されている。振幅変調波vam(t)は、次式で表される。

【数1】

【0042】

ここで、A(t)は振幅変調波の振幅であり、fは提示する振幅変調波のキャリア周波数であり、voff(t)は振幅変調波のオフセットである。

【0043】

キャリア周波数fは元の信号の周波数成分と、異なる周波数で選定される。fはヒトが感じやすい１５０～４００Ｈｚ程度の周波数を選ぶとよい。これにより元信号の包絡線の変動を感じることができる。

【0044】

（２）周波数変換処理例ＩＩ
周波数変換部２１３４，２１６３は、刺激の等価主観的強度でマッピングを行って周波数変換処理を実施してよい。周波数f，振幅Aの振動の主観的強度が関数S(A, f)で求まるとする。元信号の振動の代表周波数f0が同定できるとき，主観的強度S(A0, f0)と、周波数変化後の振動の主観的強度S(A, f)が等価になるように振幅Aが求められる。等価となる主観的強度関数は、例えば、マグニチュード・バランス法によって得られる振動の等感曲線を用いてもよい。

【0045】

（３）周波数変換処理例ＩＩＩ
周波数変換部２１３４，２１６３は、以下の数２で表される知覚インテンシティのみを利用して周波数変換処理を実施してもよい。次式を用いて、元信号の代表周波数f0の知覚インテンシティを求め、周波数変換後の振動の知覚インテンシティが等価になるように振幅Aを求める。

【数2】

【0046】

ここで、Aは振幅であり、Tfは周波数fにおける振幅閾値であり、bfは周波数fに依存する指数値である。

【0047】

ＩＳＭは、時間分割した知覚インテンシティを利用する方法であり、上述した周波数変換部２１３４，２１６３における処理に時間分割処理を加えたものであってよい。

【0048】

図７は、スルーアウトプットでの振幅の計測結果を例示するグラフである。

【0049】

図１に示した双方向触覚伝達システム１００において、以下の条件により、ハウリングの検証を実施した。
センサ：圧電式振動センサVS-BV203
バイブレータ：Audio Exciter TEAX09C005-8
ＵＳＢオーディオ：OCTA-CAPTURE
アンプ：SA-36A PRO
デバイス：縦100 mm、横 150 mmのマット加工したポリスチレンボード

【0050】

スルーアウトプットの場合には、図７に示すように、ハウリングが確認された。一方、ＩＳＭ処理を実施した場合には、スルーアウトプットの場合よりセンサ感度を上げてもハウリングは発生しなかった。すなわち、周波数変調が振動ハウリングに有効であることが確認された。

【0051】

図８は、図１に示した双方向触覚伝達システム１００においてＩＳＭを利用した場合のハウリングの抑制結果を例示するテーブルである。

【0052】

ＩＳＭで変換後の変調周波数（fm）を変化させてハウリングが生じるか検証した。板の固有周波数は約５００Ｈｚであり、fmは２００～１０００Ｈｚである。

【0053】

図８において、〇は振動を加えても発振しないことを示し、△は少し振動を加えると発振することを示し、×は振動を加えなくても自励することを示す。

【0054】

fmと板の固有周波数を等しくしたとき、板を触らなくてもわずかな振動でハウリングが生じることが確認された。また、固有周波数の高調波である２倍の時は、板に振動を加えるとハウリングが生じることが確認された。一方、他の周波数では板に振動を加えてもハウリングが起きないことが確認された。すなわち、ＩＳＭで固有周波数から離れた周波数に振動を変換することでハウリングが対策できることが確認された。

【0055】

図９の（ａ）はスルーアウトプットの場合の出力振動の計測結果を例示するグラフであり、（ｂ）はＩＳＭを利用した場合の出力振動の計測結果を例示するグラフである。

【0056】

ＩＳＭでは振動を任意のキャリア周波数に変換できる。センサの計測値にＩＳＭのキャリア周波数成分を除去するフィルタをかけることで振動子が引き起こす振動を除去する。

【0057】

ＩＳＭで変換後の周波数は２００Ｈｚとし、バンドストップフィルタ２１３２で２００Ｈｚの周波数を除去し、初期振動としてインパルス波形を提示した。

【0058】

図９の（ａ）に示すように、スルーアウトプットの場合には、符号Ｇ１に示す初期振動が減衰しながら符号Ｇ２，Ｇ３に示すループバックが複数回繰り返された。一方、図９の（ｂ）に示すように、ＩＳＭの場合には、符号Ｇ４に示す初期振動の後、ループバックは生じなかった。これにより、ＩＳＭ処理とフィルタ処理との組み合わせがループバックに有効であることが確認された。

【0059】

ここから、図１０～図１５を用いて、振動入出力デバイス３，３ａ～３ｅの具体例を説明する。

【0060】

図１０は、環境設置型の振動入出力デバイス３の第１の例を示す図である。

【0061】

図１０に示す振動入出力デバイス３において、接触板３０１の背面には、振動センサ３１及びバイブレータ３２（別言すれば、振動子）が配置される。

【0062】

ユーザが接触板３０１に触れることで、振動入出力デバイス３は触覚の検出と提示を行う。接触板３０１の背面の２辺に沿うように直方体状の２本の固定部３０２が取り付けられ、固定部３０２よって机やノートパソコン型の端末１，キーボード（不図示）等に固定されてよい。接触板３０１は両端部を固定し、中間部を浮かせることで、前面を揺れやすい構造にしてもよい。接触板３０１に重ね合わせるように映像を投影し、伝達相手の映像等を表示してもよい。

【0063】

図１１は、環境設置型の振動入出力デバイス３ａの第２の例を示す図である。

【0064】

図１１に示す振動入出力デバイス３ａは、図１０に示した振動入出力デバイス３と同様に、接触板３０１が２本の固定部３０２よって固定される。振動入出力デバイス３ａは、１つの振動センサ３１及び複数（図示する例では４つ）のバイブレータ３２を接触板３０１の背面に備える。また、手の位置をステレオカメラでトラッキングするデプスカメラなどにより、接触位置を検出する接触位置検知用センサ３３（別言すれば、接触位置検出センサ）を別途に配置してよい。すなわち、図１に示した振動入出力デバイス３において、接触位置検知用センサ３３が追加で配置されてよい。

【0065】

このように、接触位置検知用センサ３３による検出結果に基づき、振動の移動感覚がバイブレータ３２に出力されてよい。例えば、接触位置検知用センサ３３において検出された接触板３０１における接触位置に関する情報（例えば、座標情報）に基づき、振動が受信側の振動入出力デバイス３ａの複数のバイブレータ３２に分配して出力される。複数のバイブレータ３２を配置することで、通信相手の接触位置に応じて各バイブレータ３２の振動強度や刺激時間差を調整して、仮想的に接触対象の移動感を表現できる。

【0066】

図１２は、環境設置型の振動入出力デバイス３ｂの第３の例を示す図である。

【0067】

図１２に示す振動入出力デバイス３ｃは、図１０及び図１１に示した振動入出力デバイス３，３ａと同様に、接触板３０１が２本の固定部３０２よって固定される。振動入出力デバイス３ｃは、複数（図示する例では４つ）の振動センサ３１及び複数（図示する例では４つ）のバイブレータ３２を接触板３０１の背面に備える。

【0068】

複数の振動センサ３１を設けることにより、入力強度差により接触位置が推定され、複数の振動センサ３１それぞれからの入力に基づき振動の移動感覚がバイブレータ３２に出力されてよい。また、複数のバイブレータ３２を設けることにより、接触板全面を揺らすことも可能である。さらに、通信相手の接触位置に応じて、各振動の振動強度や時間差を調整することで、仮想的に接触対象の移動感を表現することができる。

【0069】

図１３は、リストバンド型の振動入出力デバイス３ｃを示す図である。

【0070】

図１３に示す振動入出力デバイス３ｃは、ユーザが手首に装着するリストバンドの内面に、複数の振動センサ３１及び複数のバイブレータ３２を備える。なお、振動入出力デバイス３ｃは、ユーザが装着可能な種々のウェアラブルデバイスであってよい。図１３においては振動センサ３１及びバイブレータ３２が２つずつ明示されているが、振動センサ３１及びバイブレータ３２は、ユーザの手首を取り巻くように複数備えられてよく、例えば上下左右方向に４つずつ備えられてよい。

【0071】

振動センサ３１を手首付近に装着し、物体への接触によりユーザの手先から伝播する振動を計測する。振動センサ３１を複数用いることで、腕の部位による振動の違いを取得することができる。バイブレータ３２も手首付近に装着し、通信相手から伝えられる振動を提示する。バイブレータ３２を複数用いることで、部位による振動の違いを表現できる。

【0072】

図１４は、抱き枕型の振動入出力デバイス３ｄを示す図である。

【0073】

図１４に示す振動入出力デバイス３ｄは、ユーザの身体に接触可能又はユーザが把持可能な抱き枕やクッション等に、振動センサ３１及びバイブレータ３２が配置される。なお、振動センサ３１及びバイブレータ３２の数は、種々変更できる。振動入出力デバイス３ｄは、ユーザの腹部や脚部等の大面積に接触して、振動センサ３１によってユーザの身体の振動を計測すると共に、バイブレータ３２によってユーザの身体に振動を伝えることができる。なお、ユーザが把持可能なデバイスとして、ハンドヘルドのコントローラに振動センサ３１及びバイブレータ３２が配置されてもよい。

【0074】

図１５は、ツール取り付け型の振動入出力デバイス３ｅを示す図である。

【0075】

図１５に示す振動入出力デバイス３ｅは、レンチやドライバ等のユーザが把持可能なツールに、振動センサ３１及びバイブレータ３２が配置される。なお、振動センサ３１及びバイブレータ３２の数は、種々変更できる。振動センサ３１によってツールに伝播する振動が計測され、ツールにバイブレータ３２を取り付けて手が刺激され、刺激を双方向に伝達することで遠隔地のユーザに操作感等を伝え、リモートでの技術指導等を実施することができる。

【0076】

なお、図１０～図１５にそれぞれ示した振動入出力デバイス３，３ａ～３ｅにおいては、バイブレータ３２における変換後の信号の出力と同時に、音、映像又は光の少なくともいずれかを出力してもよい。

【0077】

〔Ａ－２〕端末
図１６は、実施形態としての端末１の構成例を模式的に示すブロック図である。

【0078】

端末１は、Central Processing Unit（ＣＰＵ）１１，メモリ１２及び記憶装置１３を備える。

【0079】

メモリ１２は、Read Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）を含む記憶装置である。

【0080】

記憶装置１３は、データを読み書き可能に記憶する装置であり、例えば、Hard Disk Drive（ＨＤＤ）やSolid State Drive（ＳＳＤ），Storage Class Memory（ＳＣＭ）が用いられてよい。記憶装置１３は、生成した教師データや学習モデル等を記憶する。

【0081】

ＣＰＵ１１は、種々の制御や演算を行なう処理装置であり、メモリ１２に格納されたOperating System（ＯＳ）やプログラムを実行することにより、種々の機能を実現する。すなわち、ＣＰＵ１１は、図１６に示すように、算出部１１３Ａ，変換部１１４Ａ及び信号出力部１１５Ａとして機能してよい。

【0082】

ＣＰＵ１１は、コンピュータの一例であり、例示的に、端末１全体の動作を制御する。端末１全体の動作を制御するための装置は、ＣＰＵ１１に限定されず、例えば、ＭＰＵやＤＳＰ，ＡＳＩＣ，ＰＬＤ，ＦＰＧＡ，専用プロセッサのいずれか１つであってもよい。また、端末１全体の動作を制御するための装置は、ＣＰＵ，ＭＰＵ，ＤＳＰ，ＡＳＩＣ，ＰＬＤ，ＦＰＧＡ及び専用プロセッサのうちの２種類以上の組み合わせであってもよい。なお、ＭＰＵはMicro Processing Unitの略称であり、ＤＳＰはDigital Signal Processorの略称であり、ＡＳＩＣはApplication Specific Integrated Circuitの略称である。また、ＰＬＤはProgrammable Logic Deviceの略称であり、ＦＰＧＡはField Programmable Gate Arrayの略称である。

【0083】

算出部１１３Ａは、振動センサ３１によって計測された振動から特定される知覚情報を算出する。算出部１１３Ａは、振動センサ３１によって計測された振動から特定される包絡線を知覚情報として算出よい。算出部１１３Ａは、振動センサ３１によって計測された振動の波形から、刺激の主観的強度を知覚情報として算出してよい。算出部１１３Ａは、振動センサ３１によって計測された振動から特定される知覚インテンシティ（別言すれば、信号のエネルギー）を知覚情報として算出してよい。算出部１１３Ａは、振動センサ３１によって計測された振動に関する信号を所定時間毎に分割し、分割された所定時間毎に知覚インテンシティを算出してよい。

【0084】

変換部１１４は、算出部１１３Ａによって算出された知覚情報を維持しながら、振動に関する信号を所定の周波数に変換する。変換部１１４Ａは、振動入出力デバイス３の筐体の共振周波数以外の別の周波数に信号を変換してよい。変換部１１４Ａは、算出部１１３Ａによって算出された包絡線を維持しながら、振動に関する信号を所定の周波数がキャリア周波数となるように変換された振幅変調信号として出力してよい。変換部１１４Ａは、算出部１１３Ａによって算出された主観的強度を維持するように、所定の等価主観的強度マップを利用して振動に関する信号を所定の周波数に変換してよい。変換部１１４Ａは、算出部１１３Ａによって算出された知覚インテンシティを維持しながら、振動に関する信号を別の周波数をもつ波形に変換してよい。変換部１１４Ａは、信号の周波数成分のうち特定の周波数帯域の信号については知覚インテンシティを調整して波形の変換を行う一方、特定の周波数帯域以外の信号については知覚インテンシティを維持しながら別の周波数をもつ波形に変換を行ってよい。変換部１１４Ａは、特定の信号特徴量に基づいて抽出された信号については知覚インテンシティを調整して波形の変換を行う一方、特定の特徴量で抽出されない信号については知覚インテンシティを維持しながら別の周波数をもつ波形に変換を行ってよい。変換部１１４Ａは、バイブレータ３２において出力される振動のループバックが抑制されるように、フィルタ処理によって特定の周波数帯域を減衰させてよい。なお、フィルタ処理は、図３～図５に示したバンドストップフィルタ２１３２によって実現されてよい。

【0085】

信号出力部１１５Ａは、変換部１１４Ａによって変換された変換後の信号を、他の振動入出力デバイス３のバイブレータ３２に出力振動として出力させる。信号出力部１１５Ａは、変換部１１４Ａによって変換された振幅変調信号を、他の振動入出力デバイス３のバイブレータ３２に出力してよい。

【0086】

なお、算出部１１３Ａ，変換部１１４Ａ及び信号出力部１１５Ａとしての機能のうち、算出部１１３Ａのみの組み合わせと、算出部１１３Ａ及び変換部１１４Ａの組み合わせと、算出部１１３Ａ，変換部１１４Ａ及び信号出力部１１５Ａの組み合わせとのいずれかが、送信側の端末１に備えられてよい。また、算出部１１３Ａ，変換部１１４Ａ及び信号出力部１１５Ａとしての機能のうち、信号出力部１１５Ａのみの組み合わせと、変換部１１４Ａ及び信号出力部１１５Ａの組み合わせと、算出部１１３Ａ，変換部１１４Ａ及び信号出力部１１５Ａの組み合わせとのいずれかが、受信側の端末１に備えられてもよい。

【0087】

〔Ａ－３〕ＩＳＭ
図１７の（ａ）～（ｃ）は、図１に示した知覚インテンシティの分配処理に用いるＩＳＭ処理を簡単に説明するグラフである。

【0088】

ＩＳＭは、高周波振動の触感を維持して低周波に変調する手法である。図１７の（ａ）に示す元の信号が変換されて、図１７の（ｂ）に示すセグメントごとの振動インテンシティが計算される。そして、振動インテンシティを維持して、図１７の（ｃ）に示す変換後の波形が生成される。

【0089】

図１７において、変換前は４００～６００Ｈｚの振動であるのに対して変換後は２００Ｈｚの波形であるが、変換後の波形としては任意の周波数を選択可能である。

【0090】

高周波成分信号の生成において、分配した知覚インテンシティと等価となる振動波形が生成される。簡易的には、各バイブレータ３２の波形は同じ周波数をもつため、分配係数から求めるゲイン値を元波形に乗じて駆動してもよい（後述する低周波数成分と同じ方法）。しかし、一般に、触覚用のバイブレータ３２は、応答周波数帯域が狭く、任意の振動波形をそのまま生成することが困難である。また、音響信号を振動源の波形として利用する場合、可聴域の周波数を含むため、バイブレータ３２で駆動すると騒音が発生する問題がある。

【0091】

そこで、分配された知覚インテンシティIk を生成するように、適切なキャリア周波数をもつ振幅変調波に変換する。これにより、生成する信号のキャリア周波数が1つになる。キャリア周波数は、振動子の周波数応答特性に合わせて選定することができる。キャリア周波数は、ヒトの高周波振動の知覚特性を考慮すると、１５０～４００Ｈｚの範囲が適切である。

【0092】

高周波振動に対するヒトの知覚特性を考慮し、高周波帯域においては波形そのものではなく、ヒトの知覚特性に相関がある振動エネルギーに着目して、同等な振動エネルギーを持つ別の波形に置き換えることで、周波数帯域を変更可能とする。

【0093】

連続する任意の振動信号に対して、ヒトの知覚特性を考慮した適切な間隔で時間分割し、分割したセグメント毎に振動エネルギーに変換することで、ヒトが感じる触覚を同等に保ったまま、或いは、感じにくい高周波帯域を感じられるように、任意の信号波形に変換することを可能にする。

【0094】

変換後の振動の周波数を適切に選択することで、振動子の応答レンジに合わせて効率的に駆動したり、聴覚ノイズを低下させたり、任意の音源に変換させたりすることが可能になる。

【0095】

ヒトの振動に対する知覚は１ｋＨｚ程度までであると言われている。そのため、１ｋＨｚ以上の振動は無視されることが多い。一方、１ｋＨｚ以上の振動であっても、その振幅がヒトによって感じられる程度の帯域で変動する振幅変調波の場合は、その包絡線成分を知覚し得ることが知られている。

【0096】

一方、ヒトの振動の１００Ｈｚ程度以上の高周波振動に対する知覚特性として、振動エネルギーモデルが知られている。このことから、高周波振動エネルギーを保ったまま振幅変調波のキャリア周波数を置き換えても振動を分別できないことが判っている。しかし、振動エネルギーを保ったとしても、上述したように、振動の包絡成分が触覚情報の違いとして知覚できる場合があり、その知覚範囲は調査されていなかった。また、時間分割で振動エネルギーに基づいて信号を変換する方法が考案されているものの、低周波成分を維持する方法については検討されていない。

【0097】

図１８は、ヒトによる振動の弁別可能性を示すグラフである。図１９は、図１８に示したグラフで示されている弁別可能性を判断するために実施した強制三選択肢弁別実験で使用した振動のサンプル波形である。

【0098】

従来から知られている振動エネルギーモデルを前提とし、振動エネルギーを保ったままで、ヒトの知覚分別特性を調査すると図１８に示すグラフが得られる。図１９の符号Ｂ１と符号Ｂ２とは同じ波形を示しており、図１９の符号Ｂ３は異なる波形を示している。被験者に対して、図１９の符号Ｂ１及びＢ２に示す一定振幅振動と符号Ｂ３に示す振幅変調刺激とを比較させ、振幅変調波がどれかを答えさせる。図１８においては強制三選択肢弁別実験で得られた正答率が、信号検出理論に基づく弁別性能指標であるSensitivity（d’: d-prime）で表されており、d’が１以下になると正答率が約６割を下回ることを意味している。

【0099】

図１８に示すグラフによれば、包絡線成分を弁別可能な周波数の上限値は８０～１２５Ｈｚ程度である。また、この周波数上限値以上の包絡成分は保つ必要が無く、振動エネルギーを保ったまま振幅変調波のキャリア周波数を置き換えていれば刺激を分別できないことを示している。

【0100】

前述のように、振動エネルギーを保ったとしても、エネルギーが低周波域で変動する場合は、その変動が触覚情報の違いとして知覚できる場合があり、その知覚範囲は調査されていなかった。そこで、知覚できる低周波の変動の上限値が８０～１２５Ｈｚ程度にあることが発見されたことに基づき、２つの対策（後述する対策［１］及び対策［２］を参照）により低周波成分を維持しながら、振動エネルギーの変換を行なうこととする。

【0101】

図２０は、図１６に示した端末１によるセグメント毎の変換前後の信号の波形を示すグラフである。

【0102】

ヒトの高周波知覚は、波形そのものよりも振動エネルギーに基づいているため、振動エネルギーを保てば同じ感覚と感じられる。ただし、振動エネルギーの変動が８０～１２５Ｈｚ程度以下で起こっている場合は、その振動エネルギーの変動を再現する必要がある。

【0103】

そこで、本実施形態の一例では、所定の周波数（例えば、８０～１２５Ｈｚ程度）以下の振動エネルギーの変動を維持する手段として、例えば、８０～２００Ｈｚ程度の区間で、振動を時間分割し、セグメント毎に振動エネルギーを求め、異なりキャリア周波数をもつ振動に置換する。

【0104】

図２０に示す例では、符号Ｃ１に示す元の振動信号と、符号Ｃ２に示す変換後の信号とにおいて、同じ時間セグメント内で、変換後の信号のエネルギーが元の振動信号のエネルギーと同じになるように変換されている。

【0105】

時間分割の幅（別言すれば、分割幅）は、８０～１２５Ｈｚ以下のエネルギー変動が表現できる程度（別言すれば、変動の山が合う程度）に設定されればよい（対策［１］）。分割幅の周波数は、８０～１２５Ｈｚ以上であってもよいが、分割幅を短くし過ぎると分割幅よりも長い周期の振動エネルギーの推定精度が悪くなる。そこで、下記の対策［２］によって、エネルギーを推定できない振動は波形をそのまま出力する。

【0106】

また、所定の周波数以下の成分を取り出して、そのまま刺激振動として提示してもよい（対策［２］）。なお、所定の周波数は８０～１２５Ｈｚ以上であってもよいが、所定の周波数成分以上の成分は、第２信号成分のエネルギー制御部１１３によって表現されてもよい。これにより、周波数選択に任意性を持たせることができる。ただし、所定の周波数を高周波に設定しすぎると、騒音の問題が発生したり、広帯域のバイブレーション装置が必要になったりするおそれがある。

【0107】

上記対策［１］及び対策［２］によれば、所定の周波数は、８０～４００Ｈｚ程度であってもよい。４００Ｈｚは、騒音問題とバイブレーション装置の性能の観点からの上限である。

【0108】

所定の周波数の設定には、振動を変換する際のキャリア周波数の選定も関わる。ヒトの知覚感度が良くなる振動周波数のピークは２００～２５０Ｈｚあたりにあることから、感度を高めつつ、騒音にならないキャリア周波数としては、１５０～４００Ｈｚ程度が実用的である。キャリア周波数は、分割幅の定数倍であってよい。また、キャリア周波数は異なる周波数を複数用いてもよく、４００Ｈｚ以上の高周波域を含めてもよい。

【0109】

また、低周波と高周波とを分ける所定周波数と、エネルギーを計算する分割幅の周波数とは、必ずしも一致させなくてもよい。

【0110】

ヒトの知覚可能性を向上されるために補正された振動エネルギーである補正エネルギーは、次の式で表せる。

【0111】

【数3】

Aは、分離された基底信号gkの振幅である。Tfは、振幅閾値であり、周波数fの信号においてヒトが感じられる最小の振幅である。bfは、指数値であり、周波数fの信号における非線形特性である。

【0112】

図２１は、補正エネルギーの計算に用いられる振幅閾値Tfを表すグラフである。

【0113】

図２１に示すように、振幅閾値は周波数によって異なり、およそ１０２～１０３Ｈｚの範囲では比較的小さな振幅でもヒトが感じることができるが、それ以外の範囲では比較的大きな振幅でなければヒトが感じることができない。

【0114】

図２２は、補正エネルギーの計算に用いられる指数値bfを表すグラフである。

【0115】

図２２の指数値bfは、従来報告されている４００Ｈｚ以下の指数値bfを線形補間した値を用いる例である。

【0116】

図２３は、図１６に示した端末１における窓関数の利用を説明する図である。

【0117】

符号Ｄ１に示すように、高域信号Ｈ（ｔ）が入力される。符号Ｄ２に示すように、高域信号Ｈ（ｔ）がフレームｉ，ｉ＋１，ｉ＋２，・・・毎に信号ｈｉ，ｈｉ＋１，ｈｉ＋２，・・・としてそれぞれフレーム分割される。符号Ｄ３に示すように、分割された各フレームの信号ｈが、複数の基底信号ｇ１，ｇ２，ｇ３・・・に分離される。符号Ｄ４に示すように、基底信号ｇ１，ｇ２，ｇ３・・・がもつ周波数ｆ１，ｆ２，ｆ３・・・に基づき、全ての基底信号ｇ１，ｇ２，ｇ３・・・の補正エネルギーを合成したスカラ値Ｅｉ，Ｅｉ＋１，Ｅｉ＋２，・・・が出力される。符号Ｄ５に示すように、各フレームｉで算出された振動エネルギーのスカラ値Ｅｉ，Ｅｉ＋１，Ｅｉ＋２，・・・が、同等の振動エネルギーを持つが別のキャリア周波数を持つ振動波形に変換され、その波形の振幅ａｉ（ｔ），ａｉ＋１（ｔ），ａｉ＋２（ｔ），・・・に対して窓関数を用いた窓掛け処理が実施される。符号Ｄ６に示すように、１～Ｎ番目のフレームについてフレーム合成が行なわれ、振動波形の振幅Ａ（ｔ）が出力される。符号Ｄ７に示すように、振幅がＡ（ｔ）となるようなキャリア周波数をもつ第２振動波形Ｓ２（ｔ）が出力される。

【0118】

図２４は、図１６に示した端末１における低周波と高周波との合成例を説明するグラフである。

【0119】

図２３の窓関数を利用して高域信号Ｈ（ｔ）から生成した符号Ｅ１に示す第２振動波形Ｓ２（ｔ）は、低域信号Ｌ（ｔ）をそのまま出力した符号Ｅ２に示す第１振動波形Ｓ１（ｔ）と合成される。これにより、符号Ｅ３に示す、合成波形Ｓ１（ｔ）＋Ｓ２（ｔ）が出力される。

【0120】

図２５は、図１６に示した端末１による変換前後の信号の波形の具体例を示すグラフである。

【0121】

図２５においては、バイオリンの音の変換前の波形（符号Ｆ１参照）と変換後の波形（符号Ｆ２参照）とが、時間毎の振幅によって表されている。

【0122】

バイオリンのような高周波振動の音は、従来の触覚振動では聴覚ノイズが大きく発生してしまい、またローパスフィルタをかけるとヒトが認知できる振動が消えてしまう。そこで、波形が時間毎に低周波のキャリア周波数をもつ単一波長となるように、補正エネルギーが算出される。

【0123】

図２６は、図１６に示した端末１におけるＩＳＭ部１０００の機能構成例を説明するブロック図である。

【0124】

ＩＳＭ部１０００は、時間分割制御部１１２，エネルギー制御部１１３，エネルギー振動変換部１１４ａ及び振動生成部１１４ｂとして機能する。本実施形態では、ＩＳＭ部１０００によって、バイブレータ３２による１００Ｈｚ程度以上の高周波成分を含む振動を信号によって制御する。本発明の１００Ｈｚ以上の高周波成分を含む振動を制御する手法を総称してＩＳＭと呼ぶ。

【0125】

時間分割制御部１１２は、１００Ｈｚ程度以上の高周波成分を含む振動の信号Ｘ（ｔ）をＮ個のフレームに時間分割して、時間分割されたｉ番目のフレームの信号ｈｉをエネルギー制御部１１３に入力する。なお、フレーム数Ｎは、所定の周期と窓掛け処理のオーバーラップ率とによって決定されてよい。

【0126】

エネルギー制御部１１３は、ｉ番目のフレームの信号ｈｉについて補正エネルギーｅｉを算出し、算出した補正エネルギーをエネルギー振動変換部１１４ａに入力する。

【0127】

エネルギー振動変換部１１４ａは、１～Ｎ番目のフレームの補正エネルギーｅ１～ｅＮのそれぞれを合成した信号Ａ（ｔ）を生成して、第２振動生成部１１４ｂに入力する。

【0128】

振動生成部１１４ｂは、合成された信号Ａ（ｔ）に基づき、信号波形Ｓ（ｔ）を出力する。

【0129】

図１６に示した端末１における振動波形の生成処理の第１の実施例を、図２７に示すブロック図（ステップＳ１～Ｓ７）に従って説明する。

【0130】

信号除去部１１１ａは、取得された変換前の信号Ｘ（ｔ）から所定の周波数以下の成分を除去して高域信号Ｈ（ｔ）を生成して、時間分割制御部１１２に入力する（ステップＳ１）。

【0131】

時間分割制御部１１２は、高域信号Ｈ（ｔ）をＮ個のフレームに時間分割して、時間分割されたｉ番目のフレームの信号ｈｉをエネルギー制御部１１３に入力する（ステップＳ２）。なお、フレーム数Ｎは、所定の周期と窓掛け処理のオーバーラップ率とによって決定されてよい。

【0132】

エネルギー制御部１１３は、ｉ番目のフレームの信号ｈｉについて補正エネルギーｅｉを算出し、算出した補正エネルギーをエネルギー振動変換部１１４ａに入力する（ステップＳ３）。

【0133】

エネルギー振動変換部１１４ａは、１～Ｎ番目のフレームの補正エネルギーｅ１～ｅＮのそれぞれを合成した信号Ａ（ｔ）を生成して、第２振動生成部１１４ｂに入力する（ステップＳ４）。

【0134】

第２振動生成部１１４ｂは、合成された信号Ａ（ｔ）に基づき、第２振動波形Ｓ２（ｔ）を出力する（ステップＳ５）。

【0135】

一方、低域通過濾波器１１１ｂは、取得された変換前の信号Ｘ（ｔ）から所定の周波数以下の成分を過濾した低域信号Ｌ（ｔ）を第１振動生成部１１４ｃに入力する（ステップＳ６）。

【0136】

第１振動生成部１１４ｃは、低域信号Ｌ（ｔ）に基づき、第１振動波形Ｓ１（ｔ）を出力する（ステップＳ７）。

【0137】

次に、図２７のステップＳ３に示したエネルギー制御処理の詳細を、図２８に示すブロック図（ステップＳ１１～Ｓ１４）に従って説明する。

【0138】

図２８に示すように、エネルギー制御部１１３は、基底信号分離制御部１１３ａ，周波数算出部１１３ｂ，エネルギー補正パラメータ算出部１１３ｃ及び補正エネルギー算出部１１３ｄとして機能する。

【0139】

基底信号分離制御部１１３ａは、入力信号である時間分割されたｉ番目のフレームの信号ｈｉを複数の基底信号ｇに分離し、分離されたｋ番目の基底信号ｇｋを周波数算出部１１３ｂに入力する（ステップＳ１１）。例えば、短時間フーリエ解析やウェーブレット解析，Empirical Mode Decomposition（ＥＭＤ）法などによって、信号が分離されてよい。

【0140】

周波数算出部１１３ｂは、例えば離散フーリエ解析やHilbert Spectrum解析などによって、ｋ番目の基底信号ｇｋの周波数ｆｋを算出し、エネルギー補正パラメータ算出部１１３ｃに入力する（ステップＳ１２）。

【0141】

エネルギー補正パラメータ算出部１１３ｃは、周波数ｆｋに基づき、図２１及び図２２を用いて説明した指数値ｂｋ及び振幅閾値Ｔｋを算出し、補正エネルギー算出部１１３ｄに入力する（ステップＳ１３）。

【0142】

補正エネルギー算出部１１３ｄは、指数値ｂｋ及び振幅閾値Ｔｋに基づき、数３で示した数式に従って、補正エネルギーＩｐｃを基底信号ｇｋ毎に算出し、全ての基底信号ｇｋの補正エネルギーを合算したスカラ値ｅｉを出力する（ステップＳ１４）。

【0143】

次に、図１６に示した端末１における振動波形の生成処理の第２の実施例として、図２６に示したエネルギー制御処理における低周波成分の分離処理を、図２９に示すブロック図（ステップＳ１０１～Ｓ１０５）に従って説明する。

【0144】

図２９に示すように、エネルギー制御部１１３は、基底信号分離制御部１１３ａ，周波数算出部１１３ｂ，エネルギー補正パラメータ算出部１１３ｃ及び補正エネルギー算出部１１３ｄとして機能するとともに、低周波成分合成部１１３ｇへ低周波成分を分離する機能を有してよい。

【0145】

基底信号分離制御部１１３ａは、入力信号である時間分割されたｉ番目のフレームの信号ｈｉを複数の基底信号ｇに分離し、分離されたｋ番目の基底信号ｇｋを周波数算出部１１３ｂに入力する（ステップＳ１０１）。例えば、短時間フーリエ解析やウェーブレット解析，ＥＭＤ法などによって、信号が分離されてよい。

【0146】

周波数算出部１１３ｂは、例えば離散フーリエ解析やHilbert Spectrum解析などによって、ｋ番目の基底信号ｇｋの周波数ｆｋを算出し、エネルギー補正パラメータ算出部１１３ｃに入力する（ステップＳ１０２）。

【0147】

エネルギー補正パラメータ算出部１１３ｃは、周波数ｆｋに基づき、図２１及び図２２を用いて説明した指数値ｂｋ及び振幅閾値Ｔｋを算出し、補正エネルギー算出部１１３ｄに入力する（ステップＳ１０３）。

【0148】

補正エネルギー算出部１１３ｄは、指数値ｂｋ及び振幅閾値Ｔｋに基づき、数３で示した数式に従って、補正エネルギーＩｐｃを基底信号ｇｋ毎に算出し、全ての基底信号ｇｋの補正エネルギーを合算したスカラ値ｅｉを出力する（ステップＳ１０４）。

【0149】

低周波成分合成部１１３ｇは、基底信号ｇｋの周波数ｆｋが所定の周波数よりも小さい基底信号を合成し、低周波成分Ｌ（ｔ）を生成する（ステップＳ１０５）。

【0150】

複数の周波数帯域の信号を含む音源について、特定の周波数帯域の振動エネルギーを強調して振動として提示したい場合がある。そのような場合に、予め定められた周波数帯域に存在する基底信号のエネルギーを調整して波形の変換を行なう際に適用される変形例としてのエネルギー制御部１１３１及び１１３２について、図３０～図３５を用いて説明する。

【0151】

図３０の（ａ）～（ｃ）は、波形を強調せずにＩＳＭに従い振動を生成する例を説明するグラフである。図３０においては、ピアノトリオの楽曲から高周波成分のシンバル（ドラム）の波形に対応する帯域と、ピアノ及びベースの波形に対応する帯域が示されている。図３０の（ａ）～（ｃ）において、横軸は時間［ｓ］を示し、縦軸は周波数［Ｈｚ］を示し、濃く表わされているスペクトルはパワーが大きく薄く表わされているスペクトルはパワーが小さいことを示す。

【0152】

図３０の（ａ）には、音源スペクトルの分布として、破線で示す高周波成分のシンバルの波形と、一点鎖線で示す低周波成分のピアノ及びベースの波形とが示されている。

【0153】

図３０の（ｂ）には、ＩＳＭで変換した際のスペクトル分布（２００Ｈｚ中心）が示されている。図３０の（ｂ）においては、ＩＳＭの効果で、シンバル、ピアノ及びベースの全てがインテンシティとして抽出されている。

【0154】

図３０の（ｃ）には、インテンシティに基づいて２００Ｈｚの周波数をもつ信号に変換せずに、基底信号の代表周波数を用いて信号に変換する例が示されている。これによりどの周波数帯が強調されたかを可視化している。

【0155】

図３１の（ａ）～（ｃ）は音源から高周波成分を強調して分離する第１の例を説明するグラフである。図３１においては、ピアノトリオの楽曲から高周波成分のシンバル（ドラム）を強調して分離する例が示されている。図３１の（ａ）～（ｃ）において、横軸は時間［ｓ］を示し、縦軸は周波数［Ｈｚ］を示し、濃く表わされているスペクトルはパワーが大きく薄く表わされているスペクトルはパワーが小さいことを示す。

【0156】

図３１の（ａ）には、音源スペクトルの分布として、破線で示す高周波成分のシンバルの波形と、一点鎖線で示す低周波成分のピアノ及びベースの波形とが示されている。

【0157】

図３１の（ｂ）には、ＩＳＭで変換した際のスペクトル分布（２００Ｈｚ中心）が示されている。図３１の（ｂ）においては、３０００Ｈｚ以上のインテンシティに限って＋２０ｄＢ（１００倍）されている。

【0158】

図３１の（ｃ）には、インテンシティに基づいて２００Ｈｚの周波数をもつ信号に変換せずに、基底信号の代表周波数を用いて信号に変換する例が示されている。これによりどの周波数帯が強調されたかを可視化している。図３１の（ｃ）においては、シンバルのスペクトルのパワーが大きくなっている。

【0159】

図３２の（ａ）～（ｃ）は、音源から高周波成分を強調して分離する第２の例を説明するグラフである。図３２においては、ピアノトリオの楽曲から高周波成分のシンバル（ドラム）を強調して分離する例が示されている。図３２の（ａ）～（ｃ）において、横軸は時間［ｓ］を示し、縦軸は周波数［Ｈｚ］を示し、濃く表わされているスペクトルはパワーが大きく薄く表わされているスペクトルはパワーが小さいことを示す。

【0160】

図３２の（ａ）には、音源スペクトルの分布として、破線で示す高周波成分のシンバルの波形と、一点鎖線で示す低周波成分のピアノ及びベースの波形とが示されている。

【0161】

図３２の（ｂ）には、ＩＳＭで変換した際のスペクトル分布（２００Ｈｚ中心）が示されている。図３２の（ｂ）においては、３０００Ｈｚ以上のインテンシティが＋２０ｄＢ（１００倍）されている一方、１０００Ｈｚ以下のインテンシティが－１０ｄＢ（１／１０倍）されている。

【0162】

図３２の（ｃ）には、インテンシティに基づいて２００Ｈｚの周波数をもつ信号に変換せずに、基底信号の代表周波数を用いて信号に変換する例が示されている。これによりどの周波数帯が強調されたかを可視化している。図３２の（ｃ）においては、シンバルのスペクトルのパワーが大きくなっている。

【0163】

図３３の（ａ）～（ｃ）は、音源から低周波成分を強調して分離する例を説明するグラフである。図３３においては、ピアノトリオの楽曲から低周波成分のピアノ及びベースを強調して分離する例が示されている。図３３の（ａ）～（ｃ）において、横軸は時間［ｓ］を示し、縦軸は周波数［Ｈｚ］を示し、濃く表わされているスペクトルはパワーが大きく薄く表わされているスペクトルはパワーが小さいことを示す。

【0164】

図３３の（ａ）には、音源スペクトルの分布として、破線で示す高周波成分のシンバルの波形と、一点鎖線で示す低周波成分のピアノ及びベースの波形とが示されている。

【0165】

図３３の（ｂ）には、ＩＳＭで変換した際のスペクトル分布（２００Ｈｚ中心）が示されている。図３３の（ｂ）においては、１０００Ｈｚ以下のインテンシティが＋１０ｄＢ（１０倍）されている。

【0166】

図３３の（ｃ）には、インテンシティに基づいて２００Ｈｚの周波数をもつ信号に変換せずに、基底信号の代表周波数を用いて信号に変換する例が示されている。これによりどの周波数帯が強調されたかを可視化している。図３３の（ｃ）においては、ピアノ及びベースのスペクトルのパワーが大きくなっている。

【0167】

図３０～図３３に示した任意の周波数成分を強調して分離する処理は、図１に示した双方向触覚伝達システム１００においても適用可能である。すなわち、信号の周波数成分のうち特定の周波数帯域の信号についてはエネルギーを調整して波形の変換が行われる一方、特定の周波数帯域以外の信号についてはエネルギーを維持しながら別の周波数をもつ波形に変換が行われてよい。また、特定の信号特徴量に基づいて抽出された信号についてはエネルギーを調整して波形の変換が行われる一方、特定の特徴量で抽出されない信号についてはエネルギーを維持しながら別の周波数をもつ波形に変換が行われてよい。

【0168】

図２６に示したエネルギー制御処理の第１変形例を、図３４に示すブロック図（ステップＳ４１～Ｓ４５）に従って説明する。

【0169】

図３４に示すように、エネルギー制御部１１３１は、図２８に示した基底信号分離制御部１１３ａ，周波数算出部１１３ｂ，エネルギー補正パラメータ算出部１１３ｃ及び補正エネルギー算出部１１３ｄに加えて、ゲイン算出部１１３ｅとして機能する。

【0170】

基底信号分離制御部１１３ａは、入力信号である時間分割されたｉ番目のフレームの信号ｈｉを複数の基底信号ｇに分離し、分離されたｋ番目の基底信号ｇｋを周波数算出部１１３ｂに入力する（ステップＳ４１）。例えば、短時間フーリエ解析やウェーブレット解析，ＥＭＤ法などによって、信号が分離されてよい。

【0171】

周波数算出部１１３ｂは、例えば離散フーリエ解析やHilbert Spectrum解析などによって、ｋ番目の基底信号ｇｋの周波数ｆｋを算出し、エネルギー補正パラメータ算出部１１３ｃに入力する（ステップＳ４２）。

【0172】

エネルギー補正パラメータ算出部１１３ｃは、周波数ｆｋに基づき、図２１及び図２２を用いて説明した指数値ｂｋ及び振幅閾値Ｔｋを算出し、補正エネルギー算出部１１３ｄに入力する（ステップＳ４３）。

【0173】

ゲイン算出部１１３ｅは、算出された基底信号ｇｋの周波数ｆｋに応じて、予め定められた周波数帯別のゲイン値Ｇｋを出力する（ステップＳ４４）。エネルギーを強調したい場合にはＧｋ＞１に設定され、エネルギーを抑制したい場合には０≦Ｇｋ＜１に設定される。強調又は抑制によるエネルギーの調整は、１つの周波数帯域に対して実施されてもよいし、複数の周波数帯域に対して実施されてもよい。また、エネルギーの調整は、エネルギー制御部１１３１に入力された周波数帯域全体に対して実施されてもよい。

【0174】

補正エネルギー算出部１１３ｄは、分離された基底信号ｇｋの振幅Ａに対して、以下の数２に示す数式に従って、ゲイン調整した補正エネルギーＩｐｃを基底信号ｇｋ毎に算出し、全ての基底信号ｇｋの補正エネルギーを合算したスカラ値ｅｉを出力する（ステップＳ４５）。

【0175】

【数4】

図２６に示したエネルギー制御処理の第２変形例を、図３５に示すブロック図（ステップＳ５１～Ｓ５６）に従って説明する。

【0176】

図３５に示すように、エネルギー制御部１１３２は、図２８に示した基底信号分離制御部１１３ａ，周波数算出部１１３ｂ，エネルギー補正パラメータ算出部１１３ｃ及び補正エネルギー算出部１１３ｄに加えて、ゲイン算出部１１３ｅ及び信号源識別部１１３ｆとして機能する。

【0177】

基底信号分離制御部１１３ａは、入力信号である時間分割されたｉ番目のフレームの信号ｈｉを複数の基底信号ｇに分離し、分離されたｋ番目の基底信号ｇｋを周波数算出部１１３ｂに入力する（ステップＳ５１）。例えば、短時間フーリエ解析やウェーブレット解析，ＥＭＤ法などによって、信号が分離されてよい。

【0178】

周波数算出部１１３ｂは、例えば離散フーリエ解析やHilbert Spectrum解析などによって、ｋ番目の基底信号ｇｋの周波数ｆｋを算出し、エネルギー補正パラメータ算出部１１３ｃに入力する（ステップＳ５２）。

【0179】

エネルギー補正パラメータ算出部１１３ｃは、周波数ｆｋに基づき、図２１及び図２２を用いて説明した指数値ｂｋ及び振幅閾値Ｔｋを算出し、補正エネルギー算出部１１３ｄに入力する（ステップＳ５３）。

【0180】

信号源識別部１１３ｆは、設定された信号特徴に基づき、入力信号ｈｉ及びｈｉの履歴等から識別候補を推定し、基底信号ｇｋがどの信号源に属するかを識別して、識別結果をＩＤ（識別子）等で出力する（ステップＳ５４）。信号源識別部１１３ｆは、機械学習等によって予め識別器を用意しておいてもよい。例えば、ディープラーニングで多くの楽器の特徴が学習され、現在の入力信号ｈｉ（又は入力信号ｈｉが短すぎる場合には各複数の入力信号ｈｉの履歴）にどの楽器が含まれるか候補群（例えば、ピアノ，ベース，ドラム）が推定され、基底信号ｇｋがどの楽器に含まれるかが識別されてよい。

【0181】

ゲイン算出部１１３ｅは、信号源識別部１１３ｆによって特定されたＩＤに応じて、予め定められた周波数帯別のゲイン値Ｇｋを出力する（ステップＳ５５）。エネルギーを強調したい場合にはＧｋ＞１に設定され、エネルギーを抑制したい場合には０≦Ｇｋ＜１に設定される。強調又は抑制によるエネルギーの調整は、１つの周波数帯域に対して実施されてもよいし、複数の周波数帯域に対して実施されてもよい。また、エネルギーの調整は、エネルギー制御部１１３２に入力された周波数帯域全体に対して実施されてもよい。

【0182】

補正エネルギー算出部１１３ｄは、分離された基底信号ｇｋの振幅Ａに対して、数４に示した数式に従って、ゲイン調整した補正エネルギーＩｐｃを基底信号ｇｋ毎に算出し、全ての基底信号ｇｋの補正エネルギーを合算したスカラ値ｅｉを出力する（ステップＳ５６）。

【0183】

次に、図２６のステップＳ４に示したエネルギー合成処理の詳細を、図３６に示すブロック図（ステップＳ２１～Ｓ２３）に従って説明する。

【0184】

エネルギー振動変換部１１４ａは、エネルギー等価変換部１１４１ａ，窓掛け処理部１１４２ａ及びフレーム合成部１１４３ａとして機能する。

【0185】

図３６に示すように、エネルギー等価変換部１１４１ａは、各フレームｉで算出された振動エネルギーのスカラ値ｅｉを、同等の振動エネルギーを持つが別のキャリア周波数を持つ振動波形に変換し、その波形の振幅ａｉ（ｔ）を窓掛け処理部１１４２ａに対して出力する（ステップＳ２１）。

【0186】

窓掛け処理部１１４２ａは、入力された各フレームｉの振幅ａｉ（ｔ）に対して図２３に示した窓関数を用いた窓掛け処理を行ない、処理結果をフレーム合成部１１４３ａに入力する（ステップＳ２２）。

【0187】

フレーム合成部１１４３ａは、１～Ｎ番目のフレームについての窓掛け処理部１１４２ａからの入力についてフレーム合成を行ない、振動波形の振幅Ａ（ｔ）を出力する（ステップＳ２３）。

【0188】

次に、図２６のステップＳ５に示した補正した振動波形の生成処理の詳細を、図３７に示すブロック図（ステップＳ３１及びＳ３２）に従って説明する。

【0189】

図３７に示すように、第２振動生成部１１４ｂは、振幅振動変換部１１４１ｂ及び波形出力部１１４２ｂとして機能する。第２振動生成部１１４ｂは、入力された信号Ａ（ｔ）を持ち、キャリア周波数を持つ正弦波を出力する。生成される波形は、振動が滑らかに繋がるように位相が制御されてよい。

【0190】

振幅振動変換部１１４１ｂは、入力された振幅Ａ（ｔ）を振動に変換する（ステップＳ３１）。

【0191】

波形出力部１１４２ｂは、振幅がＡ（ｔ）になるように、キャリア周波数をもつ正弦波Ｓ２（ｔ）を出力する（ステップＳ３２）。

【0192】

〔Ｂ〕効果
実施形態の一例における双方向触覚伝達システム１００，触覚伝達プログラム及び触覚伝達方法によれば、例えば、以下の作用効果を奏することができる。

【0193】

振動センサ３１は、振動入出力デバイス３において発生した振動を計測する。算出部１１３Ａは、振動センサ３１によって計測された振動から特定される知覚情報を算出する。変換部１１４Ａは、算出部１１３Ａによって算出された知覚情報を維持しながら、振動にかする信号を所定の周波数に変換する。信号出力部１１５Ａは、変換部１１４Ａによって変換された変換後の信号を、他の振動入出力デバイス３のバイブレータ３２に出力振動として出力させる。

【0194】

これにより、双方向触覚伝達システム１００における接触信号のハウリング及びループバックを抑制することができる。具体的には、アクチュエータの信号を、知覚情報を維持しながら、筐体の固有振動とは別の周波数をもつ信号に変調して駆動することで、双方向通信によって生じるハウリングを抑制することが可能になる。また、アクチュエータの駆動信号を、筐体の固有振動とは異なるキャリア周波数で一定に保ち、センサ信号からこのキャリア周波数をもつ信号を除去することで、センサ信号への混信することを防ぎ、ループバックを抑制することが可能になる。

【0195】

〔Ｃ〕その他
開示の技術は上述した各実施形態に限定されるものではなく、各実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。各実施形態の各構成及び各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。

【0196】

図３８は、図１に示した双方向触覚伝達システム１００において複数の振動装置３１０，３２０を用いる場合のＤＡＣの構成例を示すブロック図である。

【0197】

図３８に示す例では、図３～図５に示したＤＡ変換部２１６２は、高域ゲイン調整器２１ａ，低域ゲイン調整器２１ｂ，高域用振動装置駆動回路２２ａ及び低域用振動装置駆動回路２２ｂとして機能する。また、図１に示したバイブレータ３２は、高域用振動装置３１０及び低域用振動装置３２０として機能する。

【0198】

高域ゲイン調整器２１ａは、端末１から入力された第２振動波形Ｓ２（ｔ）を、高域用振動装置駆動回路２２ａを介して、高域用振動装置３１０に出力する。また、低域ゲイン調整器２１ｂは、端末１から入力された第１振動波形Ｓ１（ｔ）を、低域用振動装置駆動回路２２ｂを介して、低域用振動装置３２０に出力する。

【0199】

図３９は、図１に示した双方向触覚伝達システム１００において単一の振動装置を用いる場合のＤＡＣの構成例を示すブロック図である。

【0200】

図３９に示す例では、図３～図５に示したＤＡ変換部２１６２は、高域ゲイン調整器２１ａ，低域ゲイン調整器２１ｂ及び振動装置駆動回路２２として機能する。また、図１に示したバイブレータ３２は、振動装置３０として機能する。

【0201】

高域ゲイン調整器２１ａ及び低域ゲイン調整器２１ｂは、端末１から入力された第２振動波形Ｓ２（ｔ）及び第１振動波形Ｓ１（ｔ）をそれぞれ、共通の振動装置駆動回路２２を介して、共通の振動装置３０に出力する。

【符号の説明】

【0202】

１００ ：双方向触覚伝達システム
１ ：端末
１１ ：ＣＰＵ
１０００ ：ＩＳＭ部
１１１ ：周波数除去制御部
１１１ａ ：信号除去部
１１１ｂ ：低域通過濾波器
１１１ｄ ：補正エネルギー算出部
１１２ ：時間分割制御部
１１３Ａ ：算出部
１１３，１１３１，１１３２：エネルギー制御部
１１３ａ ：基底信号分離制御部
１１３ｂ ：周波数算出部
１１３ｃ ：エネルギー補正パラメータ算出部
１１３ｄ ：補正エネルギー算出部
１１３ｅ ：ゲイン算出部
１１３ｆ ：信号源識別部
１１３ｇ ：低周波成分合成部
１１４Ａ ：変換部
１１４ａ ：エネルギー振動変換部
１１４ｂ ：第２振動生成部
１１４ｃ ：第１振動生成部
１１４１ａ ：エネルギー等価変換部
１１４２ａ ：窓掛け処理部
１１４３ａ ：フレーム合成部
１１４１ｂ ：振幅振動変換部
１１４２ｂ ：波形出力部
１１５Ａ ：信号出力部
１２ ：メモリ
１３ ：記憶装置
２ ：ＵＳＢオーディオＩ／Ｆ
２１ａ ：高域ゲイン調整器
２１ｂ ：低域ゲイン調整器
２１１ ：振動計測部
２１２，２１７：信号増幅部
２１３ ：信号入力処理部
２１３１ ：ＡＤ変換部
２１３２ ：バンドストップフィルタ
２１３３ ：イコライザ
２１３４，２１６３：周波数変換部
２１３５ ：インテンシティ算出部
２１４ ：信号送信部
２１５ ：信号受信部
２１６ ：信号出力部
２１６１ ：バッファリング
２１６２ ：ＤＡ変換部
２１６４ ：振動波形生成部
２２ ：振動装置駆動回路
２２ａ ：高域用振動装置駆動回路
２２ｂ ：低域用振動装置駆動回路
３，３ａ～３ｅ：振動入出力デバイス
３０１ ：接触板
３０２ ：固定部
３１ ：振動センサ
３１０ ：高域用振動装置
３２ ：バイブレータ
３２０ ：低域用振動装置
３３ ：接触位置検知用センサ
４ ：アンプ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】

【図36】

【図37】

【図38】

【図39】

【手続補正書】

【提出日】2024-10-04

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

触覚伝達装置と他の触覚伝達装置とを有する双方向触覚伝達システムであって、
前記触覚伝達装置において発生した振動及び前記振動の発生位置を計測する計測部と、
前記計測部によって計測された前記振動から特定される知覚情報を算出する算出部と、
前記算出部によって算出された前記知覚情報を維持しながら、前記振動に関する信号を所定の周波数に変換する変換部と、
前記変換部によって変換された変換後の信号を、前記計測部によって計測された前記発生位置に基づき前記他の触覚伝達装置の複数の振動子に分配して出力振動として出力させる信号出力部と、
を備え、
前記変換部は、前記複数の振動子において出力される振動のループバックが抑制されるように、フィルタ処理によって特定の周波数帯域を減衰させる、
双方向触覚伝達システム。

【請求項2】

触覚伝達装置と他の触覚伝達装置とを有する双方向触覚伝達システムであって、
前記触覚伝達装置において発生した振動及び前記振動の発生位置を計測する計測部と、
前記計測部によって計測された前記振動から特定される知覚情報を算出する算出部と、
前記算出部によって算出された前記知覚情報を維持しながら、前記振動に関する信号を所定の周波数に変換する変換部と、
前記変換部によって変換された変換後の信号を、前記計測部によって計測された前記発生位置に基づき前記他の触覚伝達装置の複数の振動子に分配して出力振動として出力させる信号出力部と、
を備え、
前記変換部は、前記所定の周波数として、前記触覚伝達装置の筐体の共振周波数以外の周波数に前記信号を変換する、
双方向触覚伝達システム。

【請求項3】

前記計測部は、前記振動の発生位置を、ユーザの前記触覚伝達装置の筐体への接触位置として検出する接触位置検出センサを備え、
前記信号出力部は、前記接触位置検出センサによる検出の結果に基づき、振動の移動感覚を前記複数の振動子に分配して出力させる、
請求項１又は２に記載の双方向触覚伝達システム。

【請求項4】

前記計測部は、複数の振動センサを備え、
前記信号出力部は、前記複数の振動センサに対する入力強度差に基づき、前記発生位置を、ユーザの前記触覚伝達装置の筐体への接触位置として検出して、振動の移動感覚を前記複数の振動子に分配して出力させる、
請求項１又は２に記載の双方向触覚伝達システム。

【請求項5】

環境側に設置されると共にユーザの身体が接触することにより振動を伝える接触板において、前記計測部及び前記振動子が配置された、
請求項１～４のいずれか１項に記載の双方向触覚伝達システム。

【請求項6】

ユーザの身体に取り付け可能なウェアラブルデバイスに前記計測部及び前記振動子が配置された、
請求項１又は２に記載の双方向触覚伝達システム。

【請求項7】

ユーザが把持するデバイスに前記計測部及び前記振動子が配置された、
請求項１又は２に記載の双方向触覚伝達システム。

【請求項8】

前記触覚伝達装置における前記振動及び前記発生位置の計測処理に基づいた前記他の触覚伝達装置における前記出力振動の出力処理は、前記他の触覚伝達装置における前記振動及び前記発生位置の計測処理に基づいた前記触覚伝達装置における前記出力振動の出力処理にも適用される、
請求項１～７のいずれか１項に記載の双方向触覚伝達システム。

【請求項9】

触覚伝達装置と他の触覚伝達装置とを有する双方向触覚伝達システムにおけるコンピュータに、
前記触覚伝達装置において発生した振動及び前記振動の発生位置を計測し、
計測された前記振動から特定される知覚情報を算出し、
算出された前記知覚情報を維持しながら、前記振動に関する信号を所定の周波数に変換し、
変換後の信号を、計測された前記発生位置に基づき前記他の触覚伝達装置の複数の振動子に分配して出力振動として出力させ、
前記所定の周波数として、前記触覚伝達装置の筐体の共振周波数以外の周波数に前記信号を変換する、
処理を実行させる、双方向触覚伝達プログラム。

【請求項10】

前記発生位置を計測する処理において、前記発生位置を、ユーザの前記触覚伝達装置の筐体への接触位置として検出し、
前記出力振動を出力する処理において、前記検出の結果に基づき、振動の移動感覚を前記複数の振動子に分配して出力させる、
処理を前記コンピュータに実行させる、請求項９に記載の双方向触覚伝達プログラム。

【請求項11】

前記振動及び前記発生位置を計測する処理は、複数の振動センサによって実行され、
前記出力振動を出力する処理において、前記複数の振動センサに対する入力強度差に基づき、前記発生位置を、ユーザの前記触覚伝達装置の筐体への接触位置として検出して、振動の移動感覚を前記複数の振動子に分配して出力させる、
処理を前記コンピュータに実行させる、請求項９に記載の双方向触覚伝達プログラム。

【請求項12】

触覚伝達装置と他の触覚伝達装置とを有する双方向触覚伝達システムにおける双方向触覚伝達方法であって、
前記触覚伝達装置において発生した振動及び前記振動の発生位置を計測し、
計測された前記振動から特定される知覚情報を算出し、
算出された前記知覚情報を維持しながら、前記振動に関する信号を所定の周波数に変換し、
変換後の信号を、計測された前記発生位置に基づき前記他の触覚伝達装置の複数の振動子に分配して出力振動として出力させ、
前記複数の振動子において出力される振動のループバックが抑制されるように、フィルタ処理によって特定の周波数帯域を減衰させる、
処理を実行させる、双方向触覚伝達方法。

【請求項13】

触覚伝達装置と他の触覚伝達装置とを有する双方向触覚伝達システムにおける双方向触覚伝達方法であって、
前記触覚伝達装置において発生した振動及び前記振動の発生位置を計測し、
計測された前記振動から特定される知覚情報を算出し、
算出された前記知覚情報を維持しながら、前記振動に関する信号を所定の周波数に変換し、
変換後の信号を、計測された前記発生位置に基づき前記他の触覚伝達装置の複数の振動子に分配して出力振動として出力させ、
前記所定の周波数として、前記触覚伝達装置の筐体の共振周波数以外の周波数に前記信号を変換する、
処理を実行させる、双方向触覚伝達方法。

【請求項14】

前記発生位置を計測する処理において、前記発生位置を、ユーザの前記触覚伝達装置の筐体への接触位置として検出し、
前記出力振動を出力する処理において、前記検出の結果に基づき、振動の移動感覚を前記複数の振動子に分配して出力させる、
請求項１２又は１３に記載の双方向触覚伝達方法。

【請求項15】

前記振動及び前記発生位置を計測する処理は、複数の振動センサによって実行され、
前記出力振動を出力する処理において、前記複数の振動センサに対する入力強度差に基づき、前記発生位置を、ユーザの前記触覚伝達装置の筐体への接触位置として検出して、振動の移動感覚を前記複数の振動子に分配して出力させる、
請求項１２又は１３に記載の双方向触覚伝達方法。