IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 国立大学法人東北大学の特許一覧

特許7319608振動体感装置,方法,振動体感装置用プログラム及び振動体感装置用プログラムを記録したコンピュータ読み取り可能な記録媒体
<>
  • 特許-振動体感装置,方法,振動体感装置用プログラム及び振動体感装置用プログラムを記録したコンピュータ読み取り可能な記録媒体 図1
  • 特許-振動体感装置,方法,振動体感装置用プログラム及び振動体感装置用プログラムを記録したコンピュータ読み取り可能な記録媒体 図2
  • 特許-振動体感装置,方法,振動体感装置用プログラム及び振動体感装置用プログラムを記録したコンピュータ読み取り可能な記録媒体 図3
  • 特許-振動体感装置,方法,振動体感装置用プログラム及び振動体感装置用プログラムを記録したコンピュータ読み取り可能な記録媒体 図4
  • 特許-振動体感装置,方法,振動体感装置用プログラム及び振動体感装置用プログラムを記録したコンピュータ読み取り可能な記録媒体 図5
  • 特許-振動体感装置,方法,振動体感装置用プログラム及び振動体感装置用プログラムを記録したコンピュータ読み取り可能な記録媒体 図6
  • 特許-振動体感装置,方法,振動体感装置用プログラム及び振動体感装置用プログラムを記録したコンピュータ読み取り可能な記録媒体 図7
  • 特許-振動体感装置,方法,振動体感装置用プログラム及び振動体感装置用プログラムを記録したコンピュータ読み取り可能な記録媒体 図8
  • 特許-振動体感装置,方法,振動体感装置用プログラム及び振動体感装置用プログラムを記録したコンピュータ読み取り可能な記録媒体 図9
  • 特許-振動体感装置,方法,振動体感装置用プログラム及び振動体感装置用プログラムを記録したコンピュータ読み取り可能な記録媒体 図10
  • 特許-振動体感装置,方法,振動体感装置用プログラム及び振動体感装置用プログラムを記録したコンピュータ読み取り可能な記録媒体 図11
  • 特許-振動体感装置,方法,振動体感装置用プログラム及び振動体感装置用プログラムを記録したコンピュータ読み取り可能な記録媒体 図12
  • 特許-振動体感装置,方法,振動体感装置用プログラム及び振動体感装置用プログラムを記録したコンピュータ読み取り可能な記録媒体 図13
  • 特許-振動体感装置,方法,振動体感装置用プログラム及び振動体感装置用プログラムを記録したコンピュータ読み取り可能な記録媒体 図14
  • 特許-振動体感装置,方法,振動体感装置用プログラム及び振動体感装置用プログラムを記録したコンピュータ読み取り可能な記録媒体 図15
  • 特許-振動体感装置,方法,振動体感装置用プログラム及び振動体感装置用プログラムを記録したコンピュータ読み取り可能な記録媒体 図16
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-25
(45)【発行日】2023-08-02
(54)【発明の名称】振動体感装置,方法,振動体感装置用プログラム及び振動体感装置用プログラムを記録したコンピュータ読み取り可能な記録媒体
(51)【国際特許分類】
   B06B 1/02 20060101AFI20230726BHJP
   G06F 3/01 20060101ALI20230726BHJP
   B06B 1/04 20060101ALI20230726BHJP
   H04R 1/00 20060101ALI20230726BHJP
【FI】
B06B1/02 A
G06F3/01 560
B06B1/04 S
H04R1/00 310G
【請求項の数】 16
(21)【出願番号】P 2022056519
(22)【出願日】2022-03-30
(62)【分割の表示】P 2019195595の分割
【原出願日】2019-10-28
(65)【公開番号】P2022104960
(43)【公開日】2022-07-12
【審査請求日】2022-04-26
【新規性喪失の例外の表示】特許法第30条第2項適用 平成31年(2019年)2月7日,「波形の包絡線における高周波振動の知覚識別と強度との相関(Dependence of the Perceptual Discrimination of High-Frequency Vibrations on the Envelope and Intensity of Waveforms)」,IEEE Access,第7巻,第20840~20849頁,IEEE
(73)【特許権者】
【識別番号】504157024
【氏名又は名称】国立大学法人東北大学
(74)【代理人】
【識別番号】100092978
【弁理士】
【氏名又は名称】真田 有
(72)【発明者】
【氏名】昆陽 雅司
(72)【発明者】
【氏名】曹 南
(72)【発明者】
【氏名】田所 諭
【審査官】所村 陽一
(56)【参考文献】
【文献】特開2004-181304(JP,A)
【文献】特開2012-20284(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B06B 1/02
G06F 3/01
B06B 1/04
H04R 1/00
(57)【特許請求の範囲】
【請求項1】
バイブレーション装置による振動を音響信号によって制御する振動体感装置であって、
前記音響信号のうちの所定周波数以下の周波数を有する第1の信号成分を前記音響信号から除去した前記所定周波数よりも大きい周波数を有する第2の信号成分について、所定時間毎に前記第2の信号成分のエネルギーを維持しながら前記第2の信号成分とは別の周波数をもつ波形に変換するエネルギー制御部と、
前記エネルギー制御部による波形の変換後の前記第2の信号成分を出力する信号出力部と、
を備え、
前記信号出力部によって出力された前記第2の信号成分について、前記バイブレーション装置によって振動が生成される、振動体感装置。
【請求項2】
前記第1の信号成分を前記音響信号から除去する周波数除去制御部と、
前記周波数除去制御部によって除去された前記第1の信号成分以外の前記音響信号における前記第2の信号成分を前記所定時間毎に分割する時間分割制御部と、
を更に備え、
前記エネルギー制御部は、前記時間分割制御部によって分割された前記所定時間毎に、前記第2の信号成分のエネルギーを維持しながら当該第2の信号成分の波形を変換する、請求項1に記載の振動体感装置。
【請求項3】
ロボットの遠隔操縦者側のバイブレーション装置による振動を前記ロボットが物体に接触した際に発生する信号によって制御する振動体感装置であって、
前記信号のうちの所定周波数以下の周波数を有する第1の信号成分を前記信号から除去した前記所定周波数よりも大きい周波数を有する第2の信号成分について、所定時間毎に前記第2の信号成分のエネルギーを維持しながら前記第2の信号成分とは別の周波数をもつ波形に変換するエネルギー制御部と、
前記エネルギー制御部による波形の変換後の前記第2の信号成分を出力する信号出力部と、
を備え、
前記信号出力部によって出力された前記第2の信号成分について、前記バイブレーション装置によって振動が生成される、振動体感装置。
【請求項4】
前記第1の信号成分を前記信号から除去する周波数除去制御部と、
前記周波数除去制御部によって除去された前記第1の信号成分以外の前記信号における前記第2の信号成分を前記所定時間毎に分割する時間分割制御部と、
を更に備え、
前記エネルギー制御部は、前記時間分割制御部によって分割された前記所定時間毎に、前記第2の信号成分のエネルギーを維持しながら当該第2の信号成分の波形を変換する、請求項3に記載の振動体感装置。
【請求項5】
バイブレーション装置による振動を音響信号によって制御する方法であって、
前記音響信号のうちの所定周波数以下の周波数を有する第1の信号成分を前記音響信号から除去した前記所定周波数よりも大きい周波数を有する第2の信号成分について、所定時間毎に前記第2の信号成分のエネルギーを維持しながら前記第2の信号成分とは別の周波数をもつ波形に変換し、
更に波形の変換後の前記第2の信号成分を出力し、
出力された前記第2の信号成分について、前記バイブレーション装置によって振動を生成する、方法。
【請求項6】
前記第1の信号成分を前記音響信号から除去し、
除去された前記第1の信号成分以外の前記音響信号における前記第2の信号成分を前記所定時間毎に分割し、
分割された前記所定時間毎に、前記第2の信号成分のエネルギーを維持しながら当該第2の信号成分の波形を変換する、
請求項5に記載の方法。
【請求項7】
ロボットの遠隔操縦者側のバイブレーション装置による振動を前記ロボットが物体に接触した際に発生する信号によって制御する方法であって、
前記信号のうちの所定周波数以下の周波数を有する第1の信号成分を前記信号から除去した前記所定周波数よりも大きい周波数を有する第2の信号成分について、所定時間毎に前記第2の信号成分のエネルギーを維持しながら前記第2の信号成分とは別の周波数をもつ波形に変換し、
更に波形の変換後の前記第2の信号成分を出力し、
出力された前記第2の信号成分について、前記バイブレーション装置によって振動を生成する、方法。
【請求項8】
前記第1の信号成分を前記信号から除去し、
除去された前記第1の信号成分以外の前記信号における前記第2の信号成分を前記所定時間毎に分割し、
分割された前記所定時間毎に、前記第2の信号成分のエネルギーを維持しながら当該第2の信号成分の波形を変換する、
請求項7に記載の方法。
【請求項9】
バイブレーション装置による振動を音響信号によって制御する振動体感装置用のコンピュータに、
前記音響信号のうちの所定周波数以下の周波数を有する第1の信号成分を前記音響信号から除去した前記所定周波数よりも大きい周波数を有する第2の信号成分について、所定時間毎に前記第2の信号成分のエネルギーを維持しながら前記第2の信号成分とは別の周波数をもつ波形に変換し、
更に波形の変換後の前記第2の信号成分を出力し、
出力された前記第2の信号成分について、前記バイブレーション装置によって振動を生成する処理を実行させる、振動体感装置用プログラム。
【請求項10】
前記コンピュータに、
前記第1の信号成分を前記音響信号から除去し、
除去された前記第1の信号成分以外の前記音響信号における前記第2の信号成分を前記所定時間毎に分割し、
分割された前記所定時間毎に、前記第2の信号成分のエネルギーを維持しながら当該第2の信号成分の波形を変換する、
処理を実行させる、請求項9に記載の振動体感装置用プログラム。
【請求項11】
ロボットの遠隔操縦者側のバイブレーション装置による振動を前記ロボットが物体に接触した際に発生する信号によって制御する振動体感装置用のコンピュータに、
前記信号のうちの所定周波数以下の周波数を有する第1の信号成分を前記信号から除去した前記所定周波数よりも大きい周波数を有する第2の信号成分について、所定時間毎に前記第2の信号成分のエネルギーを維持しながら前記第2の信号成分とは別の周波数をもつ波形に変換し、
更に波形の変換後の前記第2の信号成分を出力し、
出力された前記第2の信号成分について、前記バイブレーション装置によって振動を生成する処理を実行させる、振動体感装置用プログラム。
【請求項12】
前記コンピュータに、
前記第1の信号成分を前記信号から除去し、
除去された前記第1の信号成分以外の前記信号における前記第2の信号成分を前記所定時間毎に分割し、
分割された前記所定時間毎に、前記第2の信号成分のエネルギーを維持しながら当該第2の信号成分の波形を変換する、
処理を実行させる、請求項11に記載の振動体感装置用プログラム。
【請求項13】
バイブレーション装置による振動を音響信号によって制御する振動体感装置用のコンピュータに、
前記音響信号のうちの所定周波数以下の周波数を有する第1の信号成分を前記音響信号から除去した前記所定周波数よりも大きい周波数を有する第2の信号成分について、所定時間毎に前記第2の信号成分のエネルギーを維持しながら前記第2の信号成分とは別の周波数をもつ波形に変換し、
更に波形の変換後の前記第2の信号成分を出力し、
出力された前記第2の信号成分について、前記バイブレーション装置によって振動を生成する処理を実行させる処理を実行させる、振動体感装置用プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項14】
前記コンピュータに、
前記第1の信号成分を前記音響信号から除去し、
除去された前記第1の信号成分以外の前記音響信号における前記第2の信号成分を前記所定時間毎に分割し、
分割された前記所定時間毎に、前記第2の信号成分のエネルギーを維持しながら当該第2の信号成分の波形を変換し、
更に波形の変換後の前記第2の信号成分を出力し、
出力された前記第2の信号成分について、前記バイブレーション装置によって振動を生成する処理を実行させる、請求項13に記載の振動体感装置用プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項15】
ロボットの遠隔操縦者側のバイブレーション装置による振動を前記ロボットが物体に接触した際に発生する信号によって制御する振動体感装置用のコンピュータに、
前記信号のうちの所定周波数以下の周波数を有する第1の信号成分を前記信号から除去した前記所定周波数よりも大きい周波数を有する第2の信号成分について、所定時間毎に前記第2の信号成分のエネルギーを維持しながら前記第2の信号成分とは別の周波数をもつ波形に変換し、
更に波形の変換後の前記第2の信号成分を出力し、
出力された前記第2の信号成分について、前記バイブレーション装置によって振動を生成する処理を実行させる処理を実行させる、振動体感装置用プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項16】
前記コンピュータに、
前記第1の信号成分を前記信号から除去し、
除去された前記第1の信号成分以外の前記信号における前記第2の信号成分を前記所定時間毎に分割し、
分割された前記所定時間毎に、前記第2の信号成分のエネルギーを維持しながら当該第2の信号成分の波形を変換し、
更に波形の変換後の前記第2の信号成分を出力し、
出力された前記第2の信号成分について、前記バイブレーション装置によって振動を生成する処理を実行させる、請求項15に記載の振動体感装置用プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書に記載する技術は、振動体感装置,方法,振動体感装置用プログラム及び振動体感装置用プログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【0002】
近年、スマートフォンやゲーム機,Virtual Reality(VR)機器,ロボット操縦支援等の分野において、振動フィードバックの高度化が進んでいる。具体的には、幅広い周波数帯域の振動を再現することにより、リアルな触覚を定義できる振動デバイスが開発されている。
【先行技術文献】
【非特許文献】
【0003】
【文献】Hideto Takenouchi, Nan Cao, Hikaru Nagano, Masashi Konyo, Satoshi Tadokoro、the 2017 IEEE/SICE International Symposium on System Integration「Extracting Haptic Information from High-Frequency Vibratory signals Measured on a Remote Robot to Transmit Collisions with Environments」pp. 968-973、2017年12月
【文献】Nan Cao, Hikaru Nagano, Masashi Konyo, Shogo Okamoto, Satoshi Tadokoro「A Pilot Study: Introduction of Time-Domain Segment to Intensity-Based Perception Model of High-Frequency Vibration」、2018年6月
【文献】Nan Cao, Hikaru Nagano, Masashi Konyo, Satoshi Tadokoro、the 27th IEEE International Symposium on Robot and Human Interactive Communication「Sound reduction of vibration feedback by perceptually similar modulation」、2018年8月
【文献】Sliman Bensmaia, Mark Hollins, Jeffrey Yau, Attention, 「Vibrotactile intensity and frequency information in the Pacinian system: A psychophysical model」、Perception, & Psychophysics, Vol. 67, No. 5, pp 828-84、 2005年7月
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、例えば300Hz以上の高周波の振動を提示しようとすると、デバイスの問題や知覚感度の問題,聴覚ノイズの問題が発生しうる。高周波帯域では振動子の振幅が小さくなるため、共振を利用するタイプのデバイスでは高周波帯域及び低周波帯域の振動を共に発生させることは容易でない。また、ヒトは200~300Hzをピークにそれ以上の振動周波数に対しては知覚感度が弱くなるため、振動を知覚させるためには十分な振幅が必要となる。更に、周波数が300Hz程度を超えると音として振動が聞こえるようなる。例えば、音楽や映画コンテンツと組み合わせて振動を発生させようとすると、音楽や映画コンテンツの音源を妨げる騒音と認識されるおそれがある。
【0005】
1つの側面では、本明細書に記載する技術は、ヒトが知覚しやすい高周波帯域の振動を生成することを目的とする。
【課題を解決するための手段】
【0006】
1つの側面において、振動体感装置は、バイブレーション装置による振動を音響信号によって制御する振動体感装置であって、前記音響信号のうちの所定周波数以下の周波数を有する第1の信号成分を前記音響信号から除去した前記所定周波数よりも大きい周波数を有する第2の信号成分について、所定時間毎に前記第2の信号成分のエネルギーを維持しながら前記第2の信号成分とは別の周波数をもつ波形に変換するエネルギー制御部と、前記エネルギー制御部による波形の変換後の前記第2の信号成分を出力する信号出力部と、を備え、前記信号出力部によって出力された前記第2の信号成分について、前記バイブレーション装置によって振動が生成される。
【発明の効果】
【0007】
1つの側面として、ヒトが知覚しやすい高周波帯域の振動を生成できる。
【図面の簡単な説明】
【0008】
図1】実施形態としての振動発生システムの構成例を模式的に示すブロック図である。
図2図1に示した振動制御装置による変換前後の信号の波形を示すグラフである。
図3】ヒトによる振動の弁別可能性を示すグラフである。
図4図3に示したグラフで示されている弁別可能性を判断するために実施した強制三選択肢弁別実験で使用した振動のサンプル波形である。
図5図1に示した振動制御装置によるセグメント毎の変換前後の信号の波形を示すグラフである。
図6】補正エネルギーの計算に用いられる振幅閾値Tfを表すグラフである。
図7】補正エネルギーの計算に用いられる指数閾値bを表すグラフである。
図8図1に示した振動制御装置における窓関数の利用を説明する図である。
図9図1に示した振動制御装置における低周波と高周波との合成例を説明するグラフである。
図10図1に示した振動制御装置による変換前後の信号の波形の具体例を示すグラフである。
図11図1に示した振動制御装置における振動波形の生成処理を説明するブロック図である。
図12図11に示したエネルギー制御処理の詳細を説明するブロック図である。
図13図11に示したエネルギー合成処理の詳細を説明するブロック図である。
図14図11に示した補正した振動波形の生成処理の詳細を説明するブロック図である。
図15図1に示した振動発生システムにおいて複数の振動装置を用いる場合のDACの構成例を示すブロック図である。
図16図1に示した振動発生システムにおいて単一の振動装置を用いる場合のDACの構成例を示すブロック図である。
【発明を実施するための形態】
【0009】
以下、図面を参照して実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。
【0010】
また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の構成要素を含むことができる。以下、図中において、同一の符号を付した部分は特に断らない限り、同一若しくは同様の部分を示す。
【0011】
〔A〕実施形態
図1は、実施形態としての振動発生システム100の構成例を模式的に示すブロック図である。
【0012】
振動発生システム100は、振動制御装置1,Digital Analog Converter(DAC)2,高周波バイブレーション31,低周波バイブレーション32,イヤフォーン(L)41及びイヤフォーン(R)42を備える。
【0013】
DAC2は、Universal Serial Bus(USB)オーディオと称されてもよく、振動制御装置1から入力されたデジタル信号をアナログ信号に変換する。そしで、DAC2は、変換後のアナログ信号を高周波バイブレーション31,低周波バイブレーション32,イヤフォーン(L)41及びイヤフォーン(R)42に出力する。なお、DAC2の後段には、高周波バイブレーション31,低周波バイブレーション32,イヤフォーン(L)41及びイヤフォーン(R)42を駆動させるための不図示の増幅器(別言すれば、アンプ)が設けられてよい。
【0014】
高周波バイブレーション31は、第2のバイブレーション装置の一例であり、所定周波数以上の信号成分による振動を発生させる。低周波バイブレーション32は、第1のバイブレーション装置の一例であり、所定周波数未満の信号成分による振動を発生させる。なお、低周波バイブレーション32は振動発生システム100において備えられなくてもよい。その場合には、高周波バイブレーション31から所定周波数未満の信号成分による振動が発生されてもよいし、所定周波数未満の信号成分による振動は振動発生システム100において発生させられなくてもよい。
【0015】
所定周波数は、80Hzから400Hzまでの範囲内の周波数であってよい。
【0016】
イヤフォーン(L)41は、ステレオ音源のうちヒトの左耳に入力される音を発生させる。イヤフォーン(R)42は、ステレオ音源のうちヒトの左耳に入力される音を発生させる。なお、イヤフォーン(L)41及びイヤフォーン(R)42は、振動発生システム100において備えられなくてもよい。また、イヤフォーン(L)41及びイヤフォーン(R)42は、共用されてモノラル音源を発生させてもよい。更に、振動発生システム100においては、イヤフォーン(L)41及びイヤフォーン(R)42の代わりにスピーカが備えられてもよいし、3チャネル以上の音源の出力がされてもよい。
【0017】
振動制御装置1は、Central Processing Unit(CPU)11,メモリ12及び記憶装置13を備える。
【0018】
本実施形態の一例における振動制御装置1は、音楽や映画,音声等の音響情報の触覚信号変換を行なってよい。周波数が300~400Hz程度を超えると音として振動が聞こえるようになるため、騒音となる。このため、従来技術における音楽や動画等の振動体感装置では、数百Hz程度でローパスフィルタをかけて、高周波帯域をカットすることが多い。一方、本実施形態の一例における振動制御装置1では、高周波帯域の波形を変換して出力する。
【0019】
また、本実施形態の一例における振動制御装置1は、ロボットが物体に接触した際に発生する高周波振動をヒトが知覚できる周波数帯に変調してよい。ロボットが物体に接触した際の振動を遠隔操縦者に伝達することで、物体との衝突の強さや摩擦の状況を把握することができる。建設ロボットのような金属筐体を把持するロボットでは、物体に接触した際にヒトが知覚できない帯域の振動が発生することがある。そこで、本実施形態の一例における振動制御装置1では、出力信号の周波数帯を変調する。
【0020】
更に、本実施形態の一例における振動制御装置1は、バイブレーション装置を含む椅子やスーツ,ヘッドセット等に適用されてよい。
【0021】
メモリ12は、Read Only Memory(ROM)及びRandom Access Memory(RAM)を含む記憶装置である。
【0022】
記憶装置13は、データを読み書き可能に記憶する装置であり、例えば、Hard Disk Drive(HDD)やSolid State Drive(SSD),Storage Class Memory(SCM)が用いられてよい。記憶装置13は、生成した教師データや学習モデル等を記憶する。
【0023】
CPU11は、種々の制御や演算を行なう処理装置であり、メモリ12に格納されたOperating System(OS)やプログラムを実行することにより、種々の機能を実現する。すなわち、CPU11は、図1に示すように、周波数除去制御部111,時間分割制御部112,エネルギー制御部113,信号出力部114として機能してよい。
【0024】
CPU11は、コンピュータの一例であり、例示的に、振動制御装置1全体の動作を制御する。振動制御装置1全体の動作を制御するための装置は、CPU11に限定されず、例えば、MPUやDSP,ASIC,PLD,FPGA,専用プロセッサのいずれか1つであってもよい。また、振動制御装置1全体の動作を制御するための装置は、CPU,MPU,DSP,ASIC,PLD,FPGA及び専用プロセッサのうちの2種類以上の組み合わせであってもよい。なお、MPUはMicro Processing Unitの略称であり、DSPはDigital Signal Processorの略称であり、ASICはApplication Specific Integrated Circuitの略称である。また、PLDはProgrammable Logic Deviceの略称であり、FPGAはField Programmable Gate Arrayの略称である。
【0025】
周波数除去制御部111は、所定周波数以下の周波数を有する第1の信号成分を除去する。
【0026】
時間分割制御部112は、周波数除去制御部111によって除去された第1の信号成分以外の第2の信号成分を所定時間毎に分割する。
【0027】
エネルギー制御部113は、時間分割制御部112によって分割された所定時間毎に、第2の信号成分のエネルギーを維持しながら第2の信号成分の波形を変換する。
【0028】
信号出力部114は、エネルギー制御部113による波形の変換後の第2の信号成分に加えて、周波数除去制御部111によって除去された第1の信号成分を出力する。
【0029】
図2は、図1に示した振動制御装置1による変換前後の信号の波形を示すグラフである。
【0030】
高周波振動に対するヒトの知覚特性を考慮し、高周波帯域においては波形そのものではなく、ヒトの知覚特性に相関がある振動エネルギーに着目して、同等な振動エネルギーを持つ別の波形に置き換えることで、周波数帯域を変更可能とする。図2に示す例では、符号A1に示す波形が符号A2に示す波形に変換されている。
【0031】
連続する任意の振動信号に対して、ヒトの知覚特性を考慮した適切な間隔で時分割し、分割したセグメント毎に振動エネルギーに変換することで、ヒトが感じる触覚を同等に保ったまま、或いは、感じにくい高周波帯域を感じられるように、任意の信号波形に変換することを可能にする。
【0032】
変換後の振動の周波数を適切に選択することで、振動子の応答レンジに合わせて効率的に駆動したり、聴覚ノイズを低下させたり、任意の音源に変換させたりすることが可能になる。
【0033】
ヒトの振動に対する知覚は1kHz程度までであると言われている。そのため、1kHz以上の振動は無視されることが多い。一方、1kHz以上の振動であっても、その振幅がヒトによって感じられる程度の帯域で変動する振幅変調波の場合は、その包絡線成分を知覚し得ることが知られている。
【0034】
一方、ヒトの振動の100Hz程度以上の高周波振動に対する知覚特性として、振動エネルギーモデル(例えば、引用文献4を参照)が知られている。このことから、高周波振動エネルギーを保ったまま振幅変調波のキャリア周波数を置き換えても振動を分別できないことが判っている(例えば、引用文献2及び引用文献3を参照)。しかし、振動エネルギーを保ったとしても、上述したように、振動の包絡成分が触覚情報の違いとして知覚できる場合があり、その知覚範囲は調査されていなかった。また、引用文献2では、時分割で振動エネルギーに基づいて信号を変換する方法が考案されているものの、低周波成分を維持する方法については検討されていない。
【0035】
図3は、ヒトによる振動の弁別可能性を示すグラフである。図4は、図3に示したグラフで示されている弁別可能性を判断するために実施した強制三選択肢弁別実験で使用した振動のサンプル波形である。
【0036】
従来から知られている振動エネルギーモデル(例えば、引用文献4を参照)を前提とし、振動エネルギーを保ったままで、ヒトの知覚分別特性を調査すると図3に示すグラフが得られる。図4の符号B1にと符号B2とは同じ波形を示しており、図4の符号B3は異なる波形を示している。被験者に対して、図4の符号B1及びB2に示す一定振幅動と符号B3に示す振幅変調刺激とを比較させ、振幅変調波がどれかを答えさせる。図3においては強制三選択肢弁別実験で得られた正答率が、信号検出理論に基づく弁別性能指標であるSensitivity(d’: d-prime)で表されており、d’が1以下になると正答率が約6割を下回ることを意味している。
【0037】
図3に示すグラフによれば、包絡線成分を弁別可能な周波数の上限値は80~125Hz程度である。また、この周波数上限値以上の包絡成分は保つ必要が無く、振動エネルギーを保ったまま振幅変調波のキャリア周波数を置き換えてれば刺激を分別できないことを示している。
【0038】
前述のように、振動エネルギーを保ったとしても、エネルギーが低周波域で変動する場合は、その変動が触覚情報の違いとして知覚できる場合があり、その知覚範囲は調査されていなかった。そこで、知覚できる低周波の変動の上限値が80~125Hz程度にあることが発見されたことに基づき、2つの対策(後述する対策[1]及び対策[2]を参照)により低周波成分を維持しながら、振動エネルギーの変換を行なうこととする。
【0039】
図5は、図1に示した振動制御装置1によるセグメント毎の変換前後の信号の波形を示すグラフである。
【0040】
ヒトの高周波知覚は、波形そのものよりも振動エネルギーに基づいているため、振動エネルギーを保てば同じ感覚と感じられる。ただし、振動エネルギーの変動が80~125Hz程度以下で起こっている場合は、その振動エネルギーの変動を再現する必要がある。
【0041】
そこで、本実施形態の一例では、所定の周波数(例えば、80~125Hz程度)以下の振動エネルギーの変動を維持する手段として、例えば、80~200Hz程度の区間で、振動を時分割し、セグメント毎に振動エネルギーを求め、異なりキャリア周波数をもつ振動に置換する。
【0042】
図5に示す例では、符号C1に示す元の振動信号と、符号C2に示す変換後の信号とにおいて、同じ時間セグメント内で、変換後の信号のエネルギーが元の振動信号のエネルギーと同じになるように変換されている。
【0043】
時分割の幅(別言すれば、分割幅)は、80~125Hz以下のエネルギー変動が表現できる程度(別言すれば、変動の山が合う程度)に設定されればよい(対策[1])。分割幅の周波数は、80~125Hz以上であってもよいが、分割幅を短くし過ぎると分割幅よりも長い周期の振動エネルギーの推定精度が悪くなる。そこで、下記の対策[2]によって、エネルギーを推定できない振動は波形をそのまま出力する。
【0044】
また、所定の周波数以下の成分を取り出して、そのまま刺激振動として提示してもよい(対策[2])。なお、所定の周波数は80~125Hz以上であってもよいが、所定の周波数成分以上の成分は、第2信号成分のエネルギー制御部113によって表現されてもよい。これにより、周波数選択に任意性を持たせることができる。ただし、所定の周波数を高周波に設定しすぎると、騒音の問題が発生したり、広帯域のバイブレーション装置が必要になったりするおそれがある。
【0045】
上記対策[1]及び対策[2]によれば、所定の周波数は、80~400Hz程度であってもよい。400Hzは、騒音問題とバイブレーション装置の性能の観点からの上限である。
【0046】
所定の周波数の設定には、振動を変換する際のキャリア周波数の選定も関わる。ヒトの知覚感度が良くなる振動周波数のピークは200~250Hzあたりにあることから、感度を高めつつ、騒音にならないキャリア周波数としては、150~400Hz程度が実用的である。キャリア周波数は、分割幅の定数倍であってよい。
【0047】
また、低周波と高周波とを分ける所定周波数と、エネルギーを計算する分割幅の周波数とは、必ずしも一致させなくてもよい。
【0048】
引用文献4によれば、ヒトの知覚可能性を向上されるために補正された振動エネルギーである補正エネルギーは、次の式で表せる。
【0049】
【数1】
Afは、周波数fの元の波形の振幅である。Tfは、振幅閾値であり、周波数fの信号においてヒトが感じられる最小の振幅である。bは、指数値であり、周波数fの信号における非線形特性である。
【0050】
図6は、補正エネルギーの計算に用いられる振幅閾値Tfを表すグラフである。
【0051】
図6に示すように、振幅閾値は周波数によって異なり、およそ10~10Hzの範囲では比較的小さな振幅でもヒトが感じることができるが、それ以外の範囲では比較的大きな振幅でなければヒトが感じることができない。
【0052】
図7は、補正エネルギーの計算に用いられる指数値bを表すグラフである。
【0053】
図7の指数値bは、従来報告されている400Hz以下の指数値bを線形補間した値を用いる例である。
【0054】
図8は、図1に示した振動制御装置1における窓関数の利用を説明する図である。
【0055】
符号D1に示すように、高域信号H(t)が入力される。符号D2に示すように、高域信号H(t)がフレームi,i+1,i+2,・・・毎に信号h,hi+1,hi+2,・・・としてそれぞれフレーム分割される。符号D3に示すように、分割された各フレームの信号hが、代表的な周波数成分をもつ複数の基底信号g,g,g・・・に分離される。符号D4に示すように、代表周波数f,f,f・・・に基づき、全ての基底信号g,g,g・・・の補正エネルギーを合成したスカラ値E,Ei+1,Ei+2,・・・が出力される。符号D5に示すように、各フレームiで算出された振動エネルギーのスカラ値E,Ei+1,Ei+2,・・・が、同等の振動エネルギーを持つが別のキャリア周波数を持つ振動波形に変換され、その波形の振幅a(t),ai+1(t),ai+2(t),・・・に対して窓関数を用いた窓掛け処理が実施される。符号D6に示すように、1~N番目のフレームについてフレーム合成が行なわれ、振動波形の振幅A(t)が出力される。符号D7に示すように、振幅がA(t)となるようなキャリア周波数をもつ第2振動波形S(t)が出力される。
【0056】
図9は、図1に示した振動制御装置1における低周波と高周波との合成例を説明するグラフである。
【0057】
図8の窓関数を利用して高域信号H(t)から生成した符号E1に示す第2振動波形S(t)は、低域信号L(t)をそのまま出力した符号E2に示す第1振動波形S(t)と合成される。これにより、符号E3に示す、合成波形S(t)+S(t)が出力される。
【0058】
図10は、図1に示した振動制御装置1による変換前後の信号の波形の具体例を示すグラフである。
【0059】
図10においては、バイオリンの音の変換前の波形(符号F1参照)と変換後の波形(符号F2参照)とが、時間毎の振幅によって表されている。
【0060】
バイオリンのような高周波振動の音は、従来の触覚振動では聴覚ノイズが大きく発生してしまい、またローパスフィルタをかけるとヒトが認知できる振動が消えてしまう。そこで、波形が時間毎に低周波のキャリア周波数をもつ単一波長となるように、補正エネルギーが算出される。
【0061】
〔B〕動作例
図1に示した振動制御装置1における振動波形の生成処理を、図11に示すブロック図(ステップS1~S7)に従って説明する。
【0062】
図11に示す信号除去部111a及び低域通過濾波器111bは、図1に示した周波数除去制御部111に対応する。また、図11に示すエネルギー振動変換部114a,第2振動生成部114b及び第1振動生成部114cは、図1に示した信号出力部114に対応する。
【0063】
信号除去部111aは、取得された変換前の信号X(t)から所定の周波数以下の成分を除去して高域信号H(t)を生成して、時間分割制御部112に入力する(ステップS1)。
【0064】
時間分割制御部112は、高域信号H(t)をN個のフレームに時間分割して、時間分割されたi番目のフレームの信号hをエネルギー制御部113に入力する(ステップS2)。なお、フレーム数Nは、所定の周期と窓掛け処理のオーバーラップ率とによって決定されてよい。
【0065】
エネルギー制御部113は、i番目のフレームの信号hについて補正エネルギーeを算出し、算出した補正エネルギーをエネルギー振動変換部114aに入力する(ステップS3)。
【0066】
エネルギー振動変換部114aは、1~N番目のフレームの補正エネルギーe~eのそれぞれを合成した信号A(t)を生成して、第2振動生成部114bに入力する(ステップS4)。
【0067】
第2振動生成部114bは、合成された信号A(t)に基づき、第2振動波形S(t)を出力する(ステップS5)。
【0068】
一方、低域通過濾波器111bは、取得された変換前の信号X(t)から所定の周波数以下の成分を過濾した低域信号L(t)を第1振動生成部114cに入力する(ステップS6)。
【0069】
第1振動生成部114cは、低域信号L(t)に基づき、第1振動波形S(t)を出力する(ステップS7)。
【0070】
次に、図11のステップS3に示したエネルギー制御処理の詳細を、図12に示すブロック図(ステップS11~S14)に従って説明する。
【0071】
図12に示すように、エネルギー制御部113は、基底信号分離制御部113a,代表周波数算出部113b,エネルギー補正パラメータ算出部113c及び補正エネルギー算出部113dとして機能する。
【0072】
基底信号分離制御部113aは、入力信号である時間分割されたi番目のフレームの信号hを代表的な周波数成分をもつ複数の基底信号gに分離し、分離されたk番目の基底信号gを代表周波数算出部113bに入力する(ステップS11)。例えば、短時間フーリエ解析やウェーブレット解析,Empirical Mode Decomposition(EMD)法などによって、信号が分離されてよい。
【0073】
代表周波数算出部113bは、例えば離散フーリエ解析やHilbert Spectrum解析などによって、k番目の基底信号gの代表周波数fを算出し、エネルギー補正パラメータ算出部113cに入力する(ステップS12)。
【0074】
エネルギー補正パラメータ算出部113cは、代表周波数fに基づき、図6を用いて説明した指数値A及び振幅閾値Tを算出し、補正エネルギー算出部113dに入力する(ステップS13)。
【0075】
補正エネルギー算出部111dは、指数値A及び振幅閾値Tに基づき、数1で示した数式に従って、補正エネルギーIpcを基底信号g毎に算出し、全ての基底信号gの補正エネルギーを合算したスカラ値eを出力する(ステップS14)。
【0076】
次に、図11のステップS4に示したエネルギー合成処理の詳細を、図13に示すブロック図(ステップS21~S23)に従って説明する。
【0077】
エネルギー振動変換部114aは、エネルギー等価変換部1141a,窓掛け処理部1142a及びフレーム合成部1143aとして機能する。
【0078】
図13に示すように、エネルギー等価変換部1141aは、各フレームiで算出された振動エネルギーのスカラ値eを、同等の振動エネルギーを持つが別のキャリア周波数を持つ振動波形に変換し、その波形の振幅a(t)を窓掛け処理部1142aに対して出力する(ステップS21)。
【0079】
窓掛け処理部1142aは、入力された各フレームiの振幅a(t)に対して図8に示した窓関数を用いた窓掛け処理を行ない、処理結果をフレーム合成部1143aに入力する(ステップS22)。
【0080】
フレーム合成部1143aは、1~N番目のフレームについての窓掛け処理部1142aからの入力についてフレーム合成を行ない、振動波形の振幅A(t)を出力する(ステップS23)。
【0081】
次に、図11のステップS5に示した補正した振動波形の生成処理の詳細を、図14に示すブロック図(ステップS31及びS32)に従って説明する。
【0082】
図14に示すように、第2振動生成部114bは、振幅振動変換部1141b及び波形出力部1142bとして機能する。第2振動生成部114bは、入力された信号A(t)を持ち、キャリア周波数を持つ正弦波を出力する。生成される波形は、振動が滑らかに繋がるように位相が制御されてよい。
【0083】
振幅振動変換部1141bは、入力された振幅A(t)を振動に変換する(ステップS31)。
【0084】
波形出力部1142bは、振幅がA(t)になるように、キャリア周波数をもつ正弦波S(t)を出力する(ステップS32)。
【0085】
〔C〕効果
実施形態の一例における振動制御装置1,信号制御プログラム及び信号制御方法によれば、例えば、以下の作用効果を奏することができる。
【0086】
周波数除去制御部111は、所定周波数以下の周波数を有する第1の信号成分を信号から除去する。時間分割制御部112は、周波数除去制御部111によって除去された前記第1の信号成分以外の信号における第2の信号成分を所定時間毎に分割する。エネルギー制御部113は、時間分割制御部112によって分割された所定時間毎に、第2の信号成分のエネルギーを維持しながら第2の信号成分の波形を変換する。これにより、ヒトが知覚しやすい高周波帯域の振動を生成できる。また、高周波帯域の振動によって発生する聴覚ノイズの発生を抑止できる。
【0087】
所定周波数の下限値は、80Hzから125Hzまでの範囲内の周波数である。これにより、変換対象である高周波帯域の信号成分を効率的に抽出できる。
【0088】
信号出力部114は、エネルギー制御部113による波形の変換後の第2の信号成分に加えて、周波数除去制御部111によって除去された第1の信号成分を出力する。これにより、変換対象ではない低周波帯域の信号成分はそのままバイブレーション装置に出力することができる。
【0089】
信号出力部114によって出力された第1の信号成分については、複数のバイブレーション装置のうちの低周波バイブレーション32によって振動が生成される。また、信号出力部114によって出力された第2の信号成分については、複数のバイブレーション装置のうちの高周波バイブレーション31によって振動が生成される。これにより、高周波帯域の振動と低周波帯域の振動とをヒトにリアルに体感させることができる。
【0090】
〔D〕その他
開示の技術は上述した各実施形態に限定されるものではなく、各実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。各実施形態の各構成及び各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。
【0091】
図1に示した振動発生システム100では、高周波バイブレーション31と低周波バイブレーション32とを備えることとしたが、これに限定されるものではない。振動発生システム100に備えられるバイブレーションの数は、種々変更することができる。
【0092】
図15は、図1に示した振動発生システム100において複数の振動装置310,320を用いる場合のDAC2の構成例を示すブロック図である。
【0093】
図15に示す例では、図1に示したDAC2は、高域ゲイン調整器21a,低域ゲイン調整器21b,高域用振動装置駆動回路22a及び低域用振動装置駆動回路22bとして機能する。また、図1に示した高周波バイブレーション31及び低周波バイブレーション32は、高域用振動装置310及び低域用振動装置320としてそれぞれ機能する。
【0094】
高域ゲイン調整器21aは、振動制御装置1から入力された第2振動波形S(t)を、高域用振動装置駆動回路22aを介して、高域用振動装置310に出力する。また、低域ゲイン調整器21bは、振動制御装置1から入力された第1振動波形S(t)を、低域用振動装置駆動回路22bを介して、低域用振動装置320に出力する。
【0095】
図16は、図1に示した振動発生システム100において単一の振動装置を用いる場合のDACの構成例を示すブロック図である。
【0096】
図15に示す例では、図1に示したDAC2は、高域ゲイン調整器21a,低域ゲイン調整器21b及び振動装置駆動回路22として機能する。また、図1に示した高周波バイブレーション31及び低周波バイブレーション32は、振動装置30として機能する。
【0097】
高域ゲイン調整器21a及び低域ゲイン調整器21bは、振動制御装置1から入力された第2振動波形S(t)及び第1振動波形S(t)をそれぞれ、共通の振動装置駆動回路22を介して、共通の振動装置30に出力する。
【符号の説明】
【0098】
100 :振動発生システム
1 :振動制御装置
11 :CPU
111 :周波数除去制御部
111a :信号除去部
111b :低域通過濾波器
111d :補正エネルギー算出部
112 :時間分割制御部
113 :エネルギー制御部
113a :基底信号分離制御部
113b :代表周波数算出部
113c :エネルギー補正パラメータ算出部
113d :補正エネルギー算出部
114 :信号出力部
114a :エネルギー振動変換部
114b :第2振動生成部
114c :第1振動生成部
1141a :エネルギー等価変換部
1142a :窓掛け処理部
1143a :フレーム合成部
1141b :振幅振動変換部
1142b :波形出力部
12 :メモリ
13 :記憶装置
2 :DAC
21a :高域ゲイン調整器
21b :低域ゲイン調整器
22 :振動装置駆動回路
22a :高域用振動装置駆動回路
22b :低域用振動装置駆動回路
30 :振動装置
31 :高周波バイブレーション
32 :低周波バイブレーション
310 :高域用振動装置
320 :低域用振動装置
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16