(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024147729
(43)【公開日】2024-10-16
(54)【発明の名称】振動分配制御装置,振動分配制御プログラム及び振動分配制御方法
(51)【国際特許分類】
G06F 3/01 20060101AFI20241008BHJP
B06B 1/04 20060101ALI20241008BHJP
H04R 1/00 20060101ALN20241008BHJP
【FI】
G06F3/01 560
B06B1/04 S
H04R1/00 310G
【審査請求】有
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2024114775
(22)【出願日】2024-07-18
(62)【分割の表示】P 2023525348の分割
【原出願日】2021-06-04
(71)【出願人】
【識別番号】504157024
【氏名又は名称】国立大学法人東北大学
(74)【代理人】
【識別番号】110003649
【氏名又は名称】弁理士法人真田特許事務所
(72)【発明者】
【氏名】昆陽 雅司
(72)【発明者】
【氏名】稲垣 匠馬
(72)【発明者】
【氏名】菊池 大輝
(72)【発明者】
【氏名】山口 公輔
(72)【発明者】
【氏名】田所 諭
(57)【要約】 (修正有)
【課題】ヒトに対して複数の周波数を含む任意の振動波形を特定の位置に存在するように提示し、体感のリアリティを向上させる。
【解決手段】複数の振動子31における振動を制御する振動分配制御装置であって、ある位置にある任意波形の振動源Pに係る信号を所定時間毎に分割する時間分割制御部と、時間分割制御部によって分割された所定時間毎に、複数の振動子31のそれぞれに対する振動源Pとの距離及び方位に応じて信号のエネルギーに対して所定の減衰式を適用すると共に信号のエネルギーを複数の振動子31に分配して、信号を別の周波数をもつ波形に変換する制御部と、制御部による変換後の信号を出力して、変換後の信号から生成される出力振動を複数の振動子31を用いてヒトに体感させる信号出力部と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
任意の位置に存在する振動源を複数の振動子によって生成する振動分配制御装置であって、
前記振動源の振動波形から知覚インテンシティを算出する算出部と、
前記振動源の方位角及び前記複数の振動子の配置位置に応じて前記知覚インテンシティを前記複数の振動子のそれぞれに分配する分配部と、
前記分配部で分配された情報に基づいて、前記複数の振動子における振動を制御して出力する信号出力部と、
を備える振動分配制御装置。
【請求項2】
前記算出部は、前記複数の振動子によって得られる振動像に依拠して求められる知覚原点と、前記振動源との距離に応じて減衰する情報とを用いて、前記知覚原点における前記知覚インテンシティを算出し、
前記分配部は、前記方位角及び前記配置位置に基づいて決まる分配係数を用いて、前記知覚原点において算出した前記知覚インテンシティを前記複数の振動子のそれぞれに分配する、
請求項1に記載の振動分配制御装置。
【請求項3】
複数の振動子における振動を制御する振動分配制御装置であって、
ある位置にある任意波形の振動源に係る信号を所定時間毎に分割する時間分割制御部と、
前記時間分割制御部によって分割された前記所定時間毎に、前記複数の振動子のそれぞれに対する前記振動源との方位角に応じて前記信号のエネルギーを前記複数の振動子に分配して、前記信号を前記信号とは別の周波数をもつ波形に変換する制御部と、
前記制御部による変換後の前記信号を出力して、前記変換後の信号から生成される出力振動を前記複数の振動子を用いてヒトに体感させる信号出力部と、
を備える、振動分配制御装置。
【請求項4】
前記制御部は、前記複数の振動子のそれぞれに対する前記振動源との距離に応じて前記信号のエネルギーに対して所定の減衰式を適用する、
請求項3に記載の振動分配制御装置。
【請求項5】
前記所定の減衰式及び前記信号のエネルギーの分配は、前記複数の振動子の幾何的配置によって定まる知覚原点と前記複数の振動子との距離及び方位角に応じて定められる、
請求項4に記載の振動分配制御装置。
【請求項6】
前記出力振動は、前記ヒトの複数の異なる身体部位に対して、前記複数の振動子の組み合わせと前記知覚原点とを個別に定義することで、前記ヒトに体感させられる、
請求項5に記載の振動分配制御装置。
【請求項7】
前記減衰式は、前記振動源から前記知覚原点までの伝播経路の物理特性に応じて定められ、前記信号のエネルギーを減衰させることによって前記振動源までの距離感を前記ヒトに体感させる、
請求項5又は6に記載の振動分配制御装置。
【請求項8】
前記振動源は、人工的な振動源である、
請求項3~7のいずれか一項に記載の振動分配制御装置。
【請求項9】
前記振動源は、前記ヒトの身体の表面上又は内部に位置する、
請求項3~8のいずれか一項に記載の振動分配制御装置。
【請求項10】
前記振動源は、前記ヒトの身体から離隔した点に位置する、
請求項3~5のいずれか一項に記載の振動分配制御装置。
【請求項11】
前記信号出力部は、立体音響と組み合わせて、前記出力振動を前記ヒトに体感させる、
請求項3~10のいずれか一項に記載の振動分配制御装置。
【請求項12】
前記信号出力部は、複数の位置に定位する音源を有する前記立体音響について、それぞれの音源の位置に応じて、前記出力振動を前記ヒトに体感させる、
請求項11に記載の振動分配制御装置。
【請求項13】
前記信号出力部は、立体視覚装置と組み合わせて、前記出力振動を前記ヒトに体感させる、
請求項3~12のいずれか一項に記載の振動分配制御装置。
【請求項14】
前記複数の振動子は、前記ヒトの身体に装着される、
請求項3~13のいずれか一項に記載の振動分配制御装置。
【請求項15】
前記複数の振動子は、リング状に配置される、
請求項14に記載の振動分配制御装置。
【請求項16】
前記複数の振動子は、把持型デバイスに内蔵される、
請求項3~13のいずれか一項に記載の振動分配制御装置。
【請求項17】
前記複数の振動子は、前記ヒトの身体と接触する環境に配置される、
請求項3~13のいずれか一項に記載の振動分配制御装置。
【請求項18】
前記信号出力部は、3次元位置の前記振動源を、2次元に配置された前記複数の振動子と、立体音響又は映像と組み合わせることで、3次元の振動定位感を補強し、又は、前記立体音響又は前記映像の定位感を補強して、前記出力振動を前記ヒトに体感させる、
請求項3~17のいずれか一項に記載の振動分配制御装置。
【請求項19】
前記信号出力部は、3次元位置の振動源を、3次元に配置された前記複数の振動子と、
立体音響又は視覚装置と組み合わせることで、3次元の振動定位感を補強して前記出力振動を出力する、
請求項3~17のいずれか一項に記載の振動分配制御装置。
【請求項20】
任意の位置に存在する振動源を複数の振動子によって生成するコンピュータに、
前記振動源の振動波形から知覚インテンシティを算出し、
前記振動源の方位角及び前記複数の振動子の配置位置に応じて前記知覚インテンシティを前記複数の振動子のそれぞれに分配し、
分配された情報に基づいて、前記複数の振動子における振動を制御して出力する、
処理を実行させる、振動分配制御プログラム。
【請求項21】
前記複数の振動子によって得られる振動像に依拠して求められる知覚原点と、前記振動源との距離に応じて減衰する情報とを用いて、前記知覚原点における前記知覚インテンシティを算出し、
前記方位角及び前記配置位置に基づいて決まる分配係数を用いて、前記知覚原点において算出した前記知覚インテンシティを前記複数の振動子のそれぞれに分配する、
処理を前記コンピュータに実行させる、請求項20に記載の振動分配制御プログラム。
【請求項22】
複数の振動子における振動を制御するコンピュータに、
ある位置にある任意波形の振動源に係る信号を所定時間毎に分割し、
分割された前記所定時間毎に、前記複数の振動子のそれぞれに対する前記振動源との方位角に応じて前記信号のエネルギーを前記複数の振動子に分配して、前記信号を前記信号とは別の周波数をもつ波形に変換し、
変換後の前記信号を出力して、前記変換後の信号から生成される出力振動を前記複数の振動子を用いてヒトに体感させる、
処理を実行させる、振動分配制御プログラム。
【請求項23】
前記複数の振動子のそれぞれに対する前記振動源との距離に応じて前記信号のエネルギーに対して所定の減衰式を適用する、
処理を前記コンピュータに実行させる、請求項22に記載の振動分配制御プログラム。
【請求項24】
前記所定の減衰式及び前記信号のエネルギーの分配は、前記複数の振動子の幾何的配置によって定まる知覚原点と前記複数の振動子との距離及び方位角に応じて定められる、
請求項23に記載の振動分配制御プログラム。
【請求項25】
前記出力振動は、前記ヒトの複数の異なる身体部位に対して、前記複数の振動子の組み合わせと前記知覚原点とを個別に定義することで、前記ヒトに体感させられる、
請求項24に記載の振動分配制御プログラム。
【請求項26】
前記減衰式は、前記振動源から前記知覚原点までの伝播経路の物理特性に応じて定められ、前記信号のエネルギーを減衰させることによって前記振動源までの距離感を前記ヒトに体感させる、
請求項24又は25に記載の振動分配制御プログラム。
【請求項27】
前記振動源は、人工的な振動源である、
請求項22~26のいずれか一項に記載の振動分配制御プログラム。
【請求項28】
任意の位置に存在する振動源を複数の振動子によって生成する振動分配制御方法であって、
前記振動源の振動波形から知覚インテンシティを算出し、
前記振動源の方位角及び前記複数の振動子の配置位置に応じて前記知覚インテンシティを前記複数の振動子のそれぞれに分配し、
分配された情報に基づいて、前記複数の振動子における振動を制御して出力する、
振動分配制御方法。
【請求項29】
前記複数の振動子によって得られる振動像に依拠して求められる知覚原点と、前記振動源との距離に応じて減衰する情報とを用いて、前記知覚原点における前記知覚インテンシティを算出し、
前記方位角及び前記配置位置に基づいて決まる分配係数を用いて、前記知覚原点において算出した前記知覚インテンシティを前記複数の振動子のそれぞれに分配する、
請求項28に記載の振動分配制御方法。
【請求項30】
複数の振動子における振動を制御する振動分配制御方法であって、
ある位置にある任意波形の振動源に係る信号を所定時間毎に分割し、
分割された前記所定時間毎に、前記複数の振動子のそれぞれに対する前記振動源との方位角に応じて前記信号のエネルギーを前記複数の振動子に分配して、前記信号を前記信号とは別の周波数をもつ波形に変換し、
変換後の前記信号を出力して、前記変換後の信号から生成される出力振動を前記複数の振動子を用いて発生させる、
振動分配制御方法。
【請求項31】
前記複数の振動子のそれぞれに対する前記振動源との距離に応じて前記信号のエネルギーに対して所定の減衰式を適用する、
請求項30に記載の振動分配制御方法。
【請求項32】
前記所定の減衰式及び前記信号のエネルギーの分配は、前記複数の振動子の幾何的配置によって定まる知覚原点と前記複数の振動子との距離及び方位角に応じて定められる、
請求項31に記載の振動分配制御方法。
【請求項33】
前記出力振動は、ヒトの複数の異なる身体部位に対して、前記複数の振動子の組み合わせと前記知覚原点とを個別に定義することで、発生させられる、
請求項32に記載の振動分配制御方法。
【請求項34】
前記減衰式は、前記振動源から前記知覚原点までの伝播経路の物理特性に応じて定められ、前記信号のエネルギーを減衰させることによって前記振動源までの距離感を前記出力振動に反映させる、
請求項32又は33に記載の振動分配制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書に記載する技術は、振動分配制御装置,振動分配制御プログラム及び振動分配制御方法に関する。
【背景技術】
【0002】
振動子を用いて、数百Hzの高周波まで含む幅広い周波数の振動を再現することで対象との衝突や、擦った際のリアルな触感を提示できることが知られている。
【0003】
一方、少ない振動子によって、人工現実感として、仮想的な位置の振動を体感させる技術が求められている。既存技術として、複数の振動子の強度差によって、身体上、あるいは、両手で把持する物体上に、振動源の存在を知覚させる現象としてファントムセンセーション(PS)が知られている。
【0004】
PSの他に、振動子間の刺激時間差によって、振動源が動くような錯覚を与える仮現運動が知られている。
【0005】
仮現運動のような体感はPSの位置を動かすことによっても体感させることができる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】米国特許公報第9,880,621号
【特許文献2】特開2021-65872号公報
【非特許文献】
【0007】
【非特許文献1】Israr, Ali & Poupyrev, Ivan.「Tactile Brush: Drawing on skin with a tactile grid display」Conference on Human Factors in Computing Systems - Proceedings. 2019-2028,2011年5月
【非特許文献2】Kim, Y., Lee, J. & Kim, G.J. 「Extending “out of the body” tactile phantom sensations to 2D and applying it to mobile interaction.」 Pers Ubiquit Comput 19, 1295-1311,2015年12月
【非特許文献3】Syunsuke Tawa, Hikaru Nagano, Yuichi Tazaki & Yasuyoshi Yokokohji「Extended phantom sensation: vibrotactile-based movement sensation in the area outside the inter-stimulus」 Advanced Robotics, 35:5, 268-280,2021年3月
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、従来のPSの生成手法では、振動子の強度差は、正弦波あるいは矩形波のような単純な振動波形(周波数と振幅とで表現できるもの)に対して実験的・経験的に提示位置に対する振幅比の関数を決めており、複数の周波数を含む任意の振動波形をもつ振動源を表現することができない。
【0009】
また、従来のPSは身体上に複数の振動子を接触させ、振動子間に振動を定位させるものがほとんどである。一部の研究では、振動子を結ぶ直線上で、振動子の外側に定位させることを報告しているが、振動子の外側で2次元あるいは3次元上に振動を定位させる技術は実現されていない。
【0010】
1つの側面では、本明細書に記載する技術は、ヒトに対して複数の周波数を含む任意の振動波形を特定の位置に存在するように提示し、体感のリアリティを向上させることを目的とする。
【課題を解決するための手段】
【0011】
1つの側面において、振動分配制御装置は、任意の位置に存在する振動源を複数の振動子によって生成する振動分配制御装置であって、前記振動源の振動波形から知覚インテンシティを算出する算出部と、前記振動源の方位及び配置位置に応じて前記知覚インテンシティを前記複数の振動子のそれぞれに分配する分配部と、前記分配部で分配された情報に基づいて、前記複数の振動子における振動を制御して出力する信号出力部と、を備える。
【発明の効果】
【0012】
1つの側面として、ヒトに対して複数の周波数を含む任意の振動波形を特定の位置に存在するように提示し、体感のリアリティを向上させることができる。
【図面の簡単な説明】
【0013】
【
図1】知覚インテンシティの分配処理を説明する図である。
【
図2】(a)~(c)は
図1に示した知覚インテンシティの分配処理に用いるIntensity Segment Modulation(ISM)処理を簡単に説明するグラフである。
【
図3】
図1に示した知覚インテンシティの分配処理における分配係数の算出例を説明する図である。
【
図4】
図1に示した知覚インテンシティの分配処理を説明するフローチャートである。
【
図5】
図1に示した知覚インテンシティの分配処理において複数の身体部位で独立の知覚原点を定める例を説明する図である。
【
図6】(a)は
図1に示した知覚インテンシティの分配処理において体表面で振動子を2次元配置する場合を説明する図であり、(b)は
図1に示した知覚インテンシティの分配処理において体表面で振動子を円周上に配置する場合を説明する図である。
【
図7】
図1に示した知覚インテンシティの分配処理において身体上に知覚原点を2つ設ける場合を説明する図である。
【
図8】(a)は従来のPS方式において直線上に振動子を配置した例を説明する図であり、(b)は従来のPS方式において円周上に振動子を配置した例を説明する図である。
【
図9】
図1に示した知覚インテンシティの分配処理においてPSを人工振動源にして、別のPSを生成する例を説明する図である。
【
図10】知覚インテンシティの分配処理を床設置型振動装置及び着衣型振動装置に適用する例を示す図である。
【
図11】知覚原点を1つ設けた場合の知覚インテンシティの分配処理をリストバンド型振動装置及びゲーム用コントローラに適用する例を示す図である。
【
図12】知覚原点を2つ設けた場合の知覚インテンシティの分配処理をリストバンド型振動装置及びゲーム用コントローラに適用する例を示す図である。
【
図13】外界拡張現実(AR)の知覚インテンシティの分配処理をリストバンド型振動装置及びスマートフォンに適用する例を示す図である。
【
図14】身体上の知覚インテンシティの分配処理をリストバンド型振動装置及びスマートフォンに適用する例を示す図である。
【
図15】知覚インテンシティの分配処理をスピーカ及び表示装置に統合させる場合の例を示す図である。
【
図16】(a)は方位感及び振動強度の確認実験における基準刺激を説明する図であり、(b)は方位感及び振動強度の確認実験における知覚方位の回答方法を説明する図である。
【
図17】方位感及び振動強度の確認実験における振動子と振動源との配置関係を説明する図である。
【
図18】(a)は方位感及び振動強度の確認実験における方向の回答結果を示すグラフであり、(b)は当該確認実験における強度の回答結果を示すグラフである。
【
図19】身体上のPSを知覚インテンシティで制御する実験における振動子と振動源との配置関係を説明する図である。
【
図20】(a)は身体上のPSを知覚インテンシティで制御する実験におけるISM変換前の提示刺激を例示するグラフであり、(b)は当該実験における振動子V1への刺激を例示するグラフであり、(c)は当該実験における振動子V2への刺激を例示するグラフである。
【
図21】身体上のPSを知覚インテンシティで制御する実験の結果を示すグラフである。
【
図22】実施形態としての振動発生システムの構成例を模式的に示すブロック図である。
【
図23】ヒトによる振動の弁別可能性を示すグラフである。
【
図24】
図23に示したグラフで示されている弁別可能性を判断するために実施した強制三選択肢弁別実験で使用した振動のサンプル波形である。
【
図25】
図22に示した振動分配制御装置によるセグメント毎の変換前後の信号の波形を示すグラフである。
【
図26】補正エネルギーの計算に用いられる振幅閾値Tfを表すグラフである。
【
図27】補正エネルギーの計算に用いられる指数閾値bを表すグラフである。
【
図28】
図22に示した振動分配制御装置における窓関数の利用を説明する図である。
【
図29】
図22に示した振動分配制御装置における低周波と高周波との合成例を説明するグラフである。
【
図30】
図22に示した振動分配制御装置による変換前後の信号の波形の具体例を示すグラフである。
【
図31】
図22に示した振動分配制御装置におけるISM部の機能構成例を説明するブロック図である。
【
図32】
図22に示した振動分配制御装置における振動波形の生成処理の第1の実施例を説明するブロック図である。
【
図33】
図31に示したエネルギー制御処理の詳細を説明するブロック図である。
【
図34】
図22に示した振動分配制御装置における振動波形の生成処理の第2の実施例として、
図31に示したエネルギー制御処理における低周波成分の分離処理を説明するブロック図である。
【
図35】(a)~(c)は波形を強調せずにISMに従い振動を生成する例を説明するグラフである。
【
図36】(a)~(c)は音源から3000Hz以上の高周波成分を強調して分離する第1の例を説明するグラフである。
【
図37】(a)~(c)は音源から3000Hz以上の高周波成分を強調して分離する第2の例を説明するグラフである。
【
図38】(a)~(c)は音源から1000Hz以下の低周波成分を強調して分離する例を説明するグラフである。
【
図39】
図31に示したエネルギー制御処理の第1変形例を説明するブロック図である。
【
図40】
図31に示したエネルギー制御処理の第2変形例を説明するブロック図である。
【
図41】
図31に示したエネルギー合成処理の詳細を説明するブロック図である。
【
図42】
図31に示した補正した振動波形の生成処理の詳細を説明するブロック図である。
【
図43】
図22に示した振動発生システムにおいて複数の振動装置を用いる場合のDACの構成例を示すブロック図である。
【
図44】
図22に示した振動発生システムにおいて単一の振動装置を用いる場合のDACの構成例を示すブロック図である。
【発明を実施するための形態】
【0014】
以下、図面を参照して実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。
【0015】
また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の構成要素を含むことができる。以下、図中において、同一の符号を付した部分は特に断らない限り、同一若しくは同様の部分を示す。
【0016】
〔A〕実施形態
〔A-1〕知覚インテンシティの分配処理
図1は、知覚インテンシティの分配処理を説明する図である。
【0017】
本実施形態では、任意の振動波形からヒトのインテンシティ知覚モデルに基づき、知覚インテンシティを算出する。知覚インテンシティに置き換えることで、任意波形に対して、本来ヒトが知覚する体感量を算出したり、調整したりすることが可能になる。
【0018】
知覚インテンシティを、複数の振動子に配分し、知覚インテンシティの総和が保たれるように、振動子31を駆動することで、表現したい振動源の体感を生成する。
【0019】
この際、各振動子31が提示する知覚インテンシティの比率を、定位させたい位置に応じて配分することで、振動源の方向性や距離を表現することができる。
【0020】
定位させる場所は、身体の外側の任意の位置でもよいし、腕の周りなどの身体上あるいは、腕のすぐ上などの身体上近傍でもよい。
【0021】
身体に接した2個以上の複数(
図1に示す例では4つ)の振動子31を用いて、任意の波形をもつ振動源が発する振動によって得られる体感を、振動源の方位と距離を人工現実感として感じさせるように、振動が生成される。
【0022】
任意の波形をもつ振動源の体感は、ヒトが知覚する知覚インテンシティに基づき算出される。振動源からの距離感は、距離に応じた減衰式を用いて知覚インテンシティを減衰させることにより表現されてよい。振動源の方位感は、知覚インテンシティに適切な分配係数を掛けて各振動子31に分配することによって表現されてよい。
【0023】
距離減衰式および分配係数は、複数の振動子31の幾何的配置によって定まる知覚原点と振動源との距離および方位角に応じて、それぞれ定められてよい。振動源は、身体の外側に存在するように体感させてよい。また、振動源は、身体表面あるいは身体内に存在するように体感させてもよい。
【0024】
任意位置の振動源の振動波形から、ヒトが知覚する知覚インテンシティが算出される。これにより複数の周波数を含む任意の波形を体感せることが可能になる。
【0025】
身体上に複数の振動子を配置し、複数の振動子31によって得られる振動像の中心位置を知覚原点として定める。すべての振動子31を同じ知覚インテンシティで駆動した際に知覚される振動像の位置を知覚原点として定めてもよい。また、知覚原点に強度の影響や個人差がある場合は、代表的な位置を定めてもよい。
【0026】
振動源から知覚原点までの距離に応じて減衰する距離減衰式を用いて、知覚原点における知覚インテンシティを算出する。このとき、距離減衰式を適切に設定することで、振動伝播経路の物理的性質と距離感を体感させることができる。なお、振動伝播経路の物理的性質(別言すれば、物理特性)としては、例えば、地面の硬さや材質や、空中や水中の伝播特性がある。
【0027】
振動源の方位と各振動子31の配置位置とに基づいて適切に定められる各振動子31の分配係数を用いて、知覚原点において算出した知覚インテンシティを各振動子31に分配する。これにより、知覚原点の知覚インテンシティを振動源の方位に存在するように体感させることができる。このとき、分配係数の総和を一定に保つことにより、方位によらず知覚原点における知覚インテンシティと同じ大きさの体感を与えることができる。
【0028】
図1において、k (k = 1, 2, … , N)は振動子31の番号を示し、k番目の振動子31はVkで示される。pは知覚原点Oから振動源Pへのベクトルであり、qkは知覚原点Oからk番目の振動子Vkへのベクトルである。αkは振動源へのベクトルpとk番目の振動子へのベクトルqkがなす角である。知覚原点Oから振動源Pまでの距離はr=||p||で表される。振動源がもつ知覚インテンシティがIoであり、知覚原点に伝わる知覚インテンシティがIであり、距離減衰式がd(r)であるとき、I=d(r)Ioが成り立つ。また、各振動子31が生成する知覚インテンシティがIkであり、分配係数がgkであるとき、Ik=gkIが成り立つ。ただし、Σgk=1である。分配係数gkの総和を1とすることで、知覚インテンシティIと等しい体感の大きさを、複数の振動子31を用いても維持することができる。なお、分配係数gkの値は、振動子31毎に補正してもよい。
【0029】
振動源Pの振動波形から、ヒトが知覚する知覚インテンシティIoが求められる。この知覚インテンシティの算出には
図2等を用いて後述するISMが用いられてよい。
【0030】
ヒトの100Hz程度以上の高周波の振動波形を知覚するパチニ小体は、波形そのものを区別することができず、一般に振動のエネルギーを知覚する。このヒトが知覚する高周波振動のエネルギー量を知覚インテンシティと定義する。知覚インテンシティは、簡易的には、信号の振動振幅の2乗に比例する量として求めることができる。他にも、利用する振動波形の振幅に対する主観的強度をあらかじめ実験により求めておき、知覚インテンシティの代わりに用いてもよい。
【0031】
より正確な知覚インテンシティは、周波数依存性をもち、次式により算出される。なお、Aは振幅であり、Tfは周波数fにおける振幅閾値であり、bfは周波数fに依存する指数値である。知覚インテンシティの算出は、以下の数1に限られなくてもよい。
【数1】
【0032】
知覚インテンシティは、任意の振動波形に対して、一定周期で時間分割しながら求めてもよい。上記、知覚インテンシティを用いる場合は、分割した信号に対して、フーリエ変換やウェーブレット解析、経験的モード分解などにより、波形の周波数を推定する必要がある。複数の周波数を有する場合は、それぞれの周波数成分に対して知覚インテンシティを求め、それらの合計により知覚インテンシティを求めることができる。知覚インテンシティは、提示したい振動源の内容に応じて強調処理を行ってもよい。
【0033】
さらに、ヒトは知覚インテンシティが同じ場合でも、知覚インテンシティが80Hz程度以下で変動している場合は、その変動情報を手がかりに区別することが可能である。この点を考慮すると、知覚インテンシティを時間分割で算出する場合は、少なくとも、80Hzまでの知覚インテンシティの変動を維持する必要がある。これを実現するためには、少なくとも80Hzよりも大きい周波数で時間分割して、知覚インテンシティを求めることが望ましい。
【0034】
図2の(a)~(c)は、
図1に示した知覚インテンシティの分配処理に用いるISM処理を簡単に説明するグラフである。
【0035】
ISMは、高周波振動の触感を維持して低周波に変調する手法である。
図2の(a)に示す元の信号が変換されて、
図2の(b)に示すセグメントごとの振動インテンシティが計算される。そして、振動インテンシティを維持して、
図2の(c)に示す変換後の波形が生成される。
【0036】
図2において、変換前は400~600Hzの振動であるのに対して変換後は200Hzの波形であるが、変換後の波形としては任意の周波数を選択可能である。
【0037】
高周波成分信号の生成において、分配した知覚インテンシティと等価となる振動波形が生成される。簡易的には、各振動子31の波形は同じ周波数をもつため、分配係数から求めるゲイン値を元波形に乗じて駆動してもよい(後述する低周波数成分と同じ方法)。しかし、一般に、触覚用の振動子31は、応答周波数帯域が狭く、任意の振動波形をそのまま生成することが困難である。また、音響信号を振動源の波形として利用する場合、可聴域の周波数を含むため、振動子31で駆動すると騒音が発生する問題がある。
【0038】
そこで、分配された知覚インテンシティIk を生成するように、適切なキャリア周波数をもつ振幅変調波に変換する。これにより、生成する信号のキャリア周波数が1つになる。キャリア周波数は、振動子の周波数応答特性に合わせて選定することができる。キャリア周波数は、ヒトの高周波振動の知覚特性を考慮すると、150~400Hzの範囲が適切である。
【0039】
高周波振動に対するヒトの知覚特性を考慮し、高周波帯域においては波形そのものではなく、ヒトの知覚特性に相関がある振動エネルギーに着目して、同等な振動エネルギーを持つ別の波形に置き換えることで、周波数帯域を変更可能とする。
【0040】
連続する任意の振動信号に対して、ヒトの知覚特性を考慮した適切な間隔で時間分割し、分割したセグメント毎に振動エネルギーに変換することで、ヒトが感じる触覚を同等に保ったまま、或いは、感じにくい高周波帯域を感じられるように、任意の信号波形に変換することを可能にする。
【0041】
変換後の振動の周波数を適切に選択することで、振動子の応答レンジに合わせて効率的に駆動したり、聴覚ノイズを低下させたり、任意の音源に変換させたりすることが可能になる。
【0042】
ヒトの振動に対する知覚は1kHz程度までであると言われている。そのため、1kHz以上の振動は無視されることが多い。一方、1kHz以上の振動であっても、その振幅がヒトによって感じられる程度の帯域で変動する振幅変調波の場合は、その包絡線成分を知覚し得ることが知られている。
【0043】
一方、ヒトの振動の100Hz程度以上の高周波振動に対する知覚特性として、振動エネルギーモデルが知られている。このことから、高周波振動エネルギーを保ったまま振幅変調波のキャリア周波数を置き換えても振動を分別できないことが判っている。しかし、振動エネルギーを保ったとしても、上述したように、振動の包絡成分が触覚情報の違いとして知覚できる場合があり、その知覚範囲は調査されていなかった。また、時間分割で振動エネルギーに基づいて信号を変換する方法が考案されているものの、低周波成分を維持する方法については検討されていない。
【0044】
図3は、
図1に示した知覚インテンシティの分配処理における分配係数の算出例を説明する図である。
【0045】
知覚インテンシティの配分係数gkは知覚原点からの振動源の方位角(θ, φ)に基づいて決めてもよい。知覚原点O から振動源 P へのベクトルをp,k 番目の振動子Vk へのベクトルをqk とし、2つのベクトルがなす角度をαk とする。このとき、振動子Vkの分配係数gkはαk = 0において最大,αk = π において最小となることから、各振動子31の出力率Rk は三角関数 cos αkを用いて以下のように設定できる。
【数2】
【0046】
ここで、g0は知覚インテンシティの最小値を調整する定数である。このとき、配分係数は、全振動子の出力率の和で正規化することにより、以下の式で求まる。
【数3】
【0047】
cos αkは,2つのベクトルp , qk の内積を用いて次式で求まる。
【数4】
【0048】
図3のように、振動子Vkの方位角をθk,仰角をφk,振動源の方位角をθ,仰角をφとすると、cos αkは以下のように求まる。
【数5】
【0049】
振動源から知覚原点に伝わる最小の知覚インテンシティをIminとするとき、各振動子31に分配された知覚インテンシティが、ヒトの知覚閾を下回ると、適切なインテンシティ配分比を体感させることができなくなる。そこで、各振動子31の出力比 Rk を求める際に、最小インテンシティを調整する定数g0を定める。各振動子31における最小のインテンシティImin kが知覚閾以上である条件は、知覚インテンシティの定義より、振動振幅Aが知覚閾値Tfと等しいときに I = 1 となることから、以下の条件が満たされる。
【数6】
【0050】
よってg0が満たす最小条件は次式で表される。
【数7】
【0051】
図4は、
図1に示した知覚インテンシティの分配処理を説明するフローチャートである。
【0052】
振動源の振動波形y(t)は、Low Pass Filter(LPF)に入力されて低周波成分ylow(t)が出力される(ステップS111)。LPFのカットオフ周波数は、80~400Hz程度であってよい。
【0053】
また、振動源の振動波形y(t)は、High Pass Filter(HPF)にも入力されて高周波成分yhigh (t) が出力される(ステップS112)。
【0054】
高周波成分yhigh (t) から振動源のインテンシティIoが算出される(ステップS113)。
【0055】
振動源のインテンシティIoと振動源との距離rとに基づき、知覚原点のインテンシティIが算出される(ステップS114)。
【0056】
知覚原点のインテンシティIと振動源の方位(θ, φ)とに基づき、分配係数gkによる分配が行われる(ステップS115)。
【0057】
分配係数gkと低周波成分ylow (t) とに基づき、ゲインhkが算出される(ステップS116)。
【0058】
分配係数gkに応じたインテンシティIkに基づき、等価インテンシティをもつ振動Hk(t)が生成される(ステップS117)。
【0059】
高周波の振動Hk(t)とゲインhkに応じた低周波の振動Lk(t)とに基づき、波形が合成されて各振動子31の駆動波形Sk(t)が生成される(ステップS118)。
【0060】
低周波成分は元波形の振幅にゲインhkをかけて出力する。hkはインテンシティ分配で用いた分配係数gkに基づいて決めてもよい。
【0061】
hkは分配係数gkをそのままゲイン値として用いて、振幅の合計値が元の振幅に等しくなるように設定されてよい。
【数8】
【0062】
hkは分配係数gkを用いて振幅の二乗和が元の振幅の二乗に等しくなるように設定されてもよい。
【数9】
【0063】
エネルギーの拡散により振幅が減少することが知られている。幾何減衰を振幅で表すと次式のようになる。ここで、Aは知覚原点での振幅、A0は振動源での振幅、nは波の種類によって決定される幾何減衰定数である。例えば、nの値は、表面波(レイリー波)の場合、n = 0.5 となることが知られている。
【数10】
【0064】
また、振幅をインテンシティに変換すると次式が成り立つ。
【数11】
【0065】
上述の幾何減衰に加え、振動が伝播した際に粒子同士が摩擦を起こすことでエネルギーが吸収される内部減衰が知られる。振幅で幾何減衰と内部減衰を次式で表す。ここでαは伝播する材質と周波数に依存する内部減衰定数である。例えば、50Hzのときに、柔らかい地面ではa = 0.1~0.3であり、硬い地面ではa = 0.003 ~0.03である。
【数12】
【0066】
また、振幅をインテンシティに変換すると次式が成り立つ。
【数13】
【0067】
図5は、
図1に示した知覚インテンシティの分配処理において複数の身体部位で独立の知覚原点を定める例を説明する図である。
【0068】
離れた身体部位に振動子31を配置する場合は、それぞれの身体部位ごとに2つ以上の振動子31を配置し、それぞれの領域ごとに独立した知覚原点を定めてもよい。
【0069】
予め多数の振動子31を配置しておき、身体との接触状態や振動源の位置に応じて、振動させる振動子31の組み合わせ及び知覚原点が定められてよい。例えば、床一面に振動子31が内蔵されたタイルを敷き詰めておき、身体との接触箇所が検出され、接触箇所が検出される都度、振動させる振動子31の組み合わせが動的に組み替えられてよい。
【0070】
複数の身体部位に分ける場合は、各身体部位が接する振動媒体の性質に応じて、それぞれ異なる距離減衰式を用いてもよい。例えば、床に接する足部(
図5の身体部位#2)と、空気に接する胸部(
図5の身体部位#1)に分ける場合、床上の振動源は、足部には伝わり易く、胸部部には伝わりづらいことから、足部の距離減衰式はより小さくなるように設定することができる.典型的に利用される身体部位は、左右の足裏臀部および背中下部,胸部および背中上部,掌および手首,左右前腕,頭部などであるが、これに限らない。
【0071】
図6の(a)は
図1に示した知覚インテンシティの分配処理において体表面で振動子を2次元配置する場合を説明する図であり、(b)は
図1に示した知覚インテンシティの分配処理において体表面で振動子を円周上に配置する場合を説明する図である。
【0072】
図6の(a)においては、身体部位の体表面を振動源が移動するような体感を生成することができる。振動源は、振動子31間の内側に存在してもよい。
【0073】
図6の(b)においては、振動源は、身体部位の体表面以外にも、体内部を移動するような体感を生成することができる。
【0074】
図7は、
図1に示した知覚インテンシティの分配処理において身体上に知覚原点を2つ設ける場合を説明する図である。
【0075】
図7においては、図面左側の円周上の4つの振動子31で1つ目の知覚原点#1を構成し、図面右側の円周状の4つの振動子31で2つ目の知覚原点#2を構成し、それぞれの知覚原点から振動源へのベクトルを求める方式が示されている。なお、8つの振動子31の距離が近ければ、中央付近に1つの知覚原点を設けてもよい。
【0076】
図8の(a)はPS方式において直線上に振動子31を配置した例を説明する図であり、(b)はPS方式において円周上に振動子31を配置した例を説明する図である。
図8の(a)及び(b)では、振動源が2つの振動子31を結ぶ直線上あるいは円周上にある。
【0077】
図8の(a),(b)においては、分配係数を2つの振動子31(V1,V2)の距離の内分比β :1- βにより決定する。分配係数は、内分比の指数関数により表してもよい。
【0078】
振動源が2つの振動子31を結ぶ直線上あるいは円周上にあるときは、知覚原点から振動源および振動子31へのベクトルがなす角が0になり分配係数を求めることができない。この場合は,振動子31と振動源と振動子31の距離の比率に基づいて分配係数を決定してよい。
【0079】
図9は、
図1に示した知覚インテンシティの分配処理においてPSを仮想振動源にして、別のPSを生成する例を説明する図である。
【0080】
図9においては、振動子31(V1,V2)の間に、距離の内分比 β1:1- β1の位置に仮想振動源Vaを生成するように振動子V1, V2の分配係数を決定する。分配係数は指数関数により補正してもよい。同じく、振動子V5, V6の間にも仮想振動源 Vbを生成する。2つの仮想振動源Va, Vbを用いて、Va, Vbを結ぶ直線上に、距離の内分比 β:1- βに基づいて、提示する振動源を生成する。上記4つの振動子31の分配係数の総和は一定になるように設定する。
【0081】
振動子V1, V2の分配係数と知覚インテンシティの算出式は例えば以下で表される。γは内分比βから分配係数を求めるための指数値である。
【数14】
【0082】
図10は、知覚インテンシティの分配処理を床設置型振動装置101及び着衣型振動装置102に適用する例を示す図である。
【0083】
図10においては、VRゴーグル等の表示装置33による視覚提示と、ヘッドフォン32による立体音響と、床設置型振動装置101および着衣型振動装置102とを組み合わせた例が示されている。
【0084】
床設置型振動装置101の振動子31(図では4つ)から知覚原点#1を構成する。着衣型振動装置102の振動子31(図では4つ)から知覚原点#2を構成する。なお、以下の
図10~
図15においては、符号31の表示は省略している。
【0085】
振動源#1は、床の衝突を表しており、振動源#1の知覚インテンシティは知覚原点#1に主に伝達し、知覚原点#2への伝達は相対的に小さくする。これには、振動源#1から知覚原点#1への距離減衰式の減衰効果を小さくし、振動源#1から知覚原点#2への距離減衰式の減衰効果を相対的に大きくすることで、実現される。
【0086】
振動源#2は、空中に浮遊する振動源を表しており、振動源#2の知覚インテンシティは知覚原点#2に主に伝達する。これには、振動源#2から知覚原点#2への距離減衰式の減衰効果を小さくし、振動源#2から知覚原点#1への距離減衰式の減衰効果を相対的に大きくすることで、実現される。
【0087】
図11は、知覚原点を1つ設けた場合の知覚インテンシティの分配処理をリストバンド型振動装置103及びゲーム用コントローラ104に適用する例を示す図である。
【0088】
図11においては、両手で把持するゲーム用コントローラ104の振動子31と、リストバンド型振動装置103を組み合わせて、外界の振動源を定位させる例が示されている。左手にリストバンド型振動装置#1を、右手にリストバンド型振動装置#2を、装着する。この例では、それぞれのリストバンド型振動装置103に4つの振動子31がリング状に配置されて内蔵されている。ゲーム用コントローラ104は左右に2つの振動子31を内蔵している。ゲーム用コントローラ104と2つのリストバンド型振動装置103はBluetooth(登録商標)などで無線通信し、すべての振動子31は同期して駆動する。
【0089】
ゲーム用コントローラ104及び2つのリストバンド型振動装置103のすべての振動子31から、知覚原点を構成する。
【0090】
知覚原点から振動源の方位ベクトルの方位と、各振動子31へのベクトルの方位に従い、知覚インテンシティの配分係数を求めることで、外界の振動源を定位させることができる。
【0091】
図12は、知覚原点を2つ設けた場合の知覚インテンシティの分配処理をリストバンド型振動装置103及びゲーム用コントローラ104に適用する例を示す図である。
【0092】
図12においては、ゲーム用コントローラ104の左側の振動子31と、左手のリストバンド型振動装置103(#1)の振動子31で、知覚原点#1を構成し、振動源#1を定位させる。また、ゲーム用コントローラ104の右側の振動子31と、右手のリストバンド型振動装置103(#2)の振動子31で、知覚原点#2を構成し、振動源#2を定位させる。このようにすると、左右の手に、独立に振動源を体感させることができる。
【0093】
この例では、左右それぞれの振動源を経路#1および経路#2に示すように、腕の内部から、手の前方へ貫通するように振動源を移動させることで、体内から振動源が射出されたような体感を表現することができる。射出のタイミングは、ゲーム用コントローラ104の左右のボタン操作と同期して、左右独立に体感を生成してもよい。
【0094】
図13は、外界ARの知覚インテンシティの分配処理をリストバンド型振動装置103及びスマートフォン105に適用する例を示す図である。
【0095】
図13においては、スマートフォン105とリストバンド型振動装置103とを組み合わせて、外界を体感させるARシステムの構成例が示されている。ユーザが把持可能なスマートフォン105に搭載するGPS,地磁気センサ,慣性センサ等を用いて、カメラで撮影する位置,方位を特定し、カメラで撮影した実環境にキャラクタ等をスマートフォン105の画面に重畳表示する。スマートフォン105とリストバンド型振動装置103は、Bluetoothなどで無線通信し、すべての振動子31は同期して駆動する。
【0096】
スマートフォン105の振動子31(1つ)と、リストバンド型振動装置103の振動子31(図の例では4つ)から、知覚原点を構成する。
【0097】
実世界にマッピングするキャラクタの位置を振動源の位置と一致させることにより、カメラにキャラクタが写らないときも、体感により、キャラクタの方位と距離やキャラクタの動きによる体感情報を提示し、キャラクタの実在感を強調することができる。
【0098】
図14は、身体上の知覚インテンシティの分配処理をリストバンド型振動装置103及びスマートフォン105に適用する例を示す図である。
【0099】
図14においては、スマートフォン105とリストバンド型振動装置103とを組み合わせて、振動源が身体上を通過するように体感させる例が示されている。
【0100】
振動源#1は、経路#1を通るように移動させる。この例では、外界からスマートフォン105を経由して、自らの身体に振動源が取り込まれたような体感を提示する。振動源#2は、経路#2を通るように移動させる。この例では、振動源が腕の周り近傍を周回するような体感を与えることができる。これによりスマートフォン105の操作や映像に同期した体感をリストバンド型振動装置103と連動して体感させることができる。
【0101】
図10~
図14において、振動源は、人工的な物体の振動により決められてもよいし、現実の物体の収録された振動によって決められてもよい。振動源が人工的な物体の振動により決められる際には、ユーザが視聴する映像等にあせて振動源が決められ、振動源に応じて知覚インテンシティが各振動子31に分配されてよい。一方、振動源が現実の物体の収録された振動により決められる際には、例えばボールの床面への衝突によって振動源が決められ、振動源に応じて知覚インテンシティが各振動子31に強調されて分配されてもよい。
【0102】
図15は、知覚インテンシティの分配処理をスピーカ32及び表示装置33に統合させる場合の例を示す図である。
【0103】
図15においては、映像スクリーン等の表示装置33と立体音響スピーカシステム等のスピーカ32と、背面,座面,床面のそれぞれの振動装置106~108から構成するシステムが示されている。立体音響で定位させる音源位置と、振動源位置を一致させることで、コンテンツの定位感を向上させ、体感の臨場感を向上させることができる。また、スクリーン外に振動源を定位させることで、映像スクリーンに現れない対象物の存在を知覚させることができる。更に、特定の対象の音響情報を振動源として定位させる、あるいは複数の対象を個別に振動源として定位させることで、対象の実在感を個別に体感させることができる。例えば、ライブ映像などで、各楽器の位置に応じて振動源を設定し、各楽器の音響信号から個別に知覚インテンシティを算出して、それぞれの振動源位置に定位させてよい。
【0104】
図16の(a)は方位感及び振動強度の確認実験における基準刺激を説明する図であり、(b)は方位感及び振動強度の確認実験における知覚方位の回答方法を説明する図である。
【0105】
方位感及び振動強度の確認実験では、体外で生じた振動源を、4つの振動子31により、振動が地面から足裏へ伝わる感覚として提示したときの、方位感と振動強度を調査する。
【0106】
実験は下記の手順で行われた。
1. 基準刺激(
図16の(a)参照)とテスト刺激を提示
2. 知覚された強度を回答させる
3. 1と同じテスト刺激を提示
4. 知覚された方向を回答させる
【0107】
被験者は、強度は基準刺激を10として2倍の強さであれば20、半分の強さであれば5という基準で、自由に整数で回答する。方向は
図16の(b)を参照し、0~15の数字で回答する。
【0108】
実験条件として、テスト刺激の強度は一定とし、8方向(0~315°,45°刻み)の8条件を提示した。被験者は成人男性5名であり、試行回数は50試行(8条件×6+振幅2倍のダミー刺激×2)とした。
【0109】
図17は、方位感及び振動強度の確認実験における振動子31と振動源との配置関係を説明する図である。
【0110】
図17に示すように、知覚原点を中心とする2次元の座標軸平面上の4つの象限に振動子31(V1~V4)をそれぞれ1つずつ配置した。振動子V1,V2に左足を載せ、振動子V3, V4に右足を載せさせた。知覚原点から振動源への方向をθとして、知覚原点から振動子Vkへの方向をθkとした。
【0111】
図18の(a)は方位感及び振動強度の確認実験における方向の回答結果を示すグラフであり、(b)は当該確認実験における強度の回答結果を示すグラフである。
【0112】
図18の(a)に示す方向の回答結果では、意図した提示方向のとおり回答されていることが分かる。方向による依存性が認められる可能性がある。例えば、つま先又は踵の方向である縦方向(0°,180°)からの振動についての分散が小さく、縦方向の識別がより容易であったことが示されている。
【0113】
図18の(b)に示す強度の回答結果では、方位に依存せずほぼ一定の強度を提示できることを示している。この実験結果では、全体的に基準刺激(10)よりも高めの強度が回答されているが、ISMで周波数を変換した際の振動子の周波数特性が考慮されていないことが原因であると考えられる。
【0114】
図19は、身体上のPSを知覚インテンシティで制御する実験における振動子31と振動源との配置関係を説明する図である。
【0115】
図19に示す実験では、前腕の体表面上で、2つの振動子31による任意の振動が移動しながら伝わる感覚を提示した。
【0116】
PS生起のために各振動子31で強度比を決定する。分配係数gkの決定式は以下の通りである。βは提示する振動源位置の内分比 (0 ≦ β ≦1)であり、γは分配係数を補正する指数係数である。
【数15】
【0117】
振動源で提示する知覚インテンシティをIとすると、振動子V1, V2に配分する知覚インテンシティはI1= g1 I, I2 = g2 Iとなる。
【0118】
図20の(a)は身体上のPSを知覚インテンシティで制御する実験におけるISM変換前の提示刺激を例示するグラフであり、(b)は当該実験における振動子V1への刺激を例示するグラフであり、(c)は当該実験における振動子V2への刺激を例示するグラフである。
【0119】
知覚強度が一定となるようなγを同定するために、実験は下記の手順で行われた。
1. 2つのバイブレータの強度が同じになるように調整する
2. β = 0, 0.5, 1の順番で刺激提示
3. 3つの刺激強度が等しいかどうかを回答させる
4. γを変更してこれを繰り返し,階段法により同定
【0120】
図20の(a)に示すISM変換前の提示刺激に対して、β=0.25, γ=1のときに、
図20の(b)に示す振動子V1への刺激と、
図20の(c)に示す振動子V2への刺激とが提示される。
【0121】
図21は、身体上のPSを知覚インテンシティで制御する実験の結果を示すグラフである。
【0122】
4人の被験者はγが0.6~0.8程度のとき、刺激の知覚強度が多くの被験者で一定に感じられた。振動子31間距離dによらずに一定のパラメータで知覚強度を均一化できることが示唆された。また、γの同定後に改めて5点(β = 0, 0.25, 0.5, 0.75, 1)の刺激を与えたところ、刺激の提示位置が等間隔に移動していると考えても違和感がないという回答を得られた。
【0123】
〔A-2〕振動発生システム
図22は、実施形態としての振動発生システム100の構成例を模式的に示すブロック図である。
【0124】
振動発生システム100は、振動分配制御装置1,Digital Analog Converter(DAC)2,n個の振動子31(#1~#n),スピーカ/ヘッドフォン32及び表示装置33を備える。振動子31は異なる種類を組み合わせても良い。
【0125】
DAC2は、Universal Serial Bus(USB)オーディオと称されてもよく、振動分配制御装置1から入力されたデジタル信号をアナログ信号に変換する。そしで、DAC2は、変換後のアナログ信号を振動子31及びスピーカ/ヘッドフォン32に出力する。なお、DAC2の後段には、振動子31及びスピーカ/ヘッドフォン32を駆動させるための不図示の増幅器(別言すれば、アンプ)が設けられてよい。
【0126】
表示装置33は、液晶ディスプレイやOrganic Light-Emitting Diode(OLED)ディスプレイ,Cathode Ray Tube(CRT),電子ペーパーディスプレイ等であり、振動分配制御装置1から出力されたヒトに対する各種コンテンツを表示する。
【0127】
振動分配制御装置1は、Central Processing Unit(CPU)11,メモリ12及び記憶装置13を備える。
【0128】
本実施形態の一例における振動分配制御装置1は、音楽や映画,音声等の音響情報の触覚信号変換を行なってよい。周波数が300~400Hz程度を超えると音として振動が聞こえるようになるため、騒音となる。このため、従来技術における音楽や動画等の振動体感装置では、数百Hz程度でローパスフィルタをかけて、高周波帯域をカットすることが多い。一方、本実施形態の一例における振動分配制御装置1では、高周波帯域の波形を低周波帯の別の周波数に変換して出力する。
【0129】
また、本実施形態の一例における振動分配制御装置1は、物体が環境に接触した際に発生する高周波振動をヒトが知覚できる周波数帯に変調してよい。物体が環境に接触した際の振動を伝達することで、物体と環境との衝突の強さや摩擦の状況を把握することができる。物体が金属製のツールなどの場合は、物体に接触した際にヒトが知覚できない帯域の振動が発生することがある。そこで、本実施形態の一例における振動分配制御装置1では、出力信号の周波数帯を変調する。
【0130】
更に、本実施形態の一例における振動分配制御装置1は、バイブレーション装置を含む椅子やスーツ,ヘッドセット等に適用されてよい。
【0131】
メモリ12は、Read Only Memory(ROM)及びRandom Access Memory(RAM)を含む記憶装置である。
【0132】
記憶装置13は、データを読み書き可能に記憶する装置であり、例えば、Hard Disk Drive(HDD)やSolid State Drive(SSD),Storage Class Memory(SCM)が用いられてよい。記憶装置13は、生成した教師データや学習モデル等を記憶する。
【0133】
CPU11は、種々の制御や演算を行なう処理装置であり、メモリ12に格納されたOperating System(OS)やプログラムを実行することにより、種々の機能を実現する。すなわち、CPU11は、
図22に示すように、周波数除去制御部111,時間分割制御部112,エネルギー制御部113,信号出力部114として機能してよい。
【0134】
CPU11は、コンピュータの一例であり、例示的に、振動分配制御装置1全体の動作を制御する。振動分配制御装置1全体の動作を制御するための装置は、CPU11に限定されず、例えば、MPUやDSP,ASIC,PLD,FPGA,専用プロセッサのいずれか1つであってもよい。また、振動分配制御装置1全体の動作を制御するための装置は、CPU,MPU,DSP,ASIC,PLD,FPGA及び専用プロセッサのうちの2種類以上の組み合わせであってもよい。なお、MPUはMicro Processing Unitの略称であり、DSPはDigital Signal Processorの略称であり、ASICはApplication Specific Integrated Circuitの略称である。また、PLDはProgrammable Logic Deviceの略称であり、FPGAはField Programmable Gate Arrayの略称である。
【0135】
周波数除去制御部111は、所定周波数以下の周波数を有する第1の信号成分を除去する。
【0136】
時間分割制御部112は、周波数除去制御部111によって除去された第1の信号成分以外の第2の信号成分を所定時間毎に分割する。別言すれば、時間分割制御部112は、ある位置にある任意波形の振動源に係る信号を所定時間毎に分割する。
【0137】
エネルギー制御部113は、時間分割制御部112によって分割された所定時間毎に、第2の信号成分のエネルギーを維持しながら第2の信号成分の波形を変換する。別言すれば、エネルギー制御部113は、振動源の振動波形から知覚インテンシティを算出する算出部の一例として機能すると共に、振動源の方位及び配置位置に応じて知覚インテンシティを複数の振動子31のそれぞれに分配する分配部の一例として機能する。
【0138】
エネルギー制御部113は、複数の振動子31によって得られる振動像に依拠して求められる知覚原点と、振動源との距離に応じて減衰する情報とを用いて、知覚原点における知覚インテンシティを算出してよい。エネルギー制御部113は、方位及び配置位置に基づいて決まる分配係数を用いて、知覚原点において算出した知覚インテンシティを複数の振動子31のそれぞれに分配する。
【0139】
エネルギー制御部113は、時間分割制御部112によって分割された前記所定時間毎に、複数の振動子のそれぞれに対する振動源との距離及び方位に応じて信号のエネルギーに対して所定の減衰式を適用すると共に信号のエネルギーを複数の振動子に分配して、信号を別の周波数をもつ波形に変換してよい。
【0140】
信号出力部114は、エネルギー制御部113による波形の変換後の第2の信号成分に加えて、周波数除去制御部111によって除去された第1の信号成分を出力する。別言すれば、信号出力部114は、エネルギー制御部113による変換後の信号を出力して、変換後の信号から生成される出力振動を複数の振動子を用いてヒトに体感させる。
【0141】
信号出力部114は、ヒトの身体の表面上又は内部における位置で発生する振動源に関する出力振動を出力してよい。また、信号出力部114は、ヒトの身体から離隔した位置で発生する振動源に関する出力振動を出力してよい。
【0142】
信号出力部114は、立体音響と組み合わせて、出力振動をヒトに体感させてよい。また、信号出力部114は、複数の位置に定位する音源を有する立体音響について、それぞれの音源の位置に応じて、出力振動をヒトに体感させてよい。更に、信号出力部114は、立体視覚装置と組み合わせて、出力振動をヒトに体感させてよい。
【0143】
信号出力部114は、3次元位置の振動源を、2次元に配置された3つ以上の振動子と、立体音響又は映像と組み合わせることで、3次元の振動定位感を補強し、又は、立体音響又は映像の定位感を補強して、出力振動をヒトに体感させてよい。また、信号出力部114は、3次元位置の振動源を、3次元に配置された3つ以上の振動子と、立体音響又は映像と組み合わせることで、3次元の振動定位感を補強し、又は、立体音響又は映像の定位感を補強して、出力振動をヒトに体感させてよい。
【0144】
〔A-3〕ISM
【0145】
図23は、ヒトによる振動の弁別可能性を示すグラフである(Nan Cao, Masashi Konyo, Hikaru Nagano and Satoshi Tadokoro, "Dependence of the Perceptual Discrimination of High-Frequency Vibrations on the Envelope and Intensity of Waveforms," IEEE Access, vol. 7, pp. 20840-20849, February. 2019より引用した)。
図24は、
図23に示したグラフで示されている弁別可能性を判断するために実施した強制三選択肢弁別実験で使用した振動のサンプル波形である。
【0146】
従来から知られている振動エネルギーモデルを前提とし、振動エネルギーを保ったままで、ヒトの知覚分別特性を調査すると
図23に示すグラフが得られる。
図24の符号B1と符号B2とは同じ波形を示しており、
図24の符号B3は異なる波形を示している。被験者に対して、
図24の符号B1及びB2に示す一定振幅振動と符号B3に示す振幅変調刺激とを比較させ、振幅変調波がどれかを答えさせる。
図23においては強制三選択肢弁別実験で得られた正答率が、信号検出理論に基づく弁別性能指標であるSensitivity(d’: d-prime)で表されており、d’が1以下になると正答率が約6割を下回ることを意味している。
【0147】
図23に示すグラフによれば、包絡線成分を弁別可能な周波数の上限値は80~125Hz程度である。また、この周波数上限値以上の包絡成分は保つ必要が無く、振動エネルギーを保ったまま振幅変調波のキャリア周波数を置き換えてれば刺激を分別できないことを示している。
【0148】
前述のように、振動エネルギーを保ったとしても、エネルギーが低周波域で変動する場合は、その変動が触覚情報の違いとして知覚できる場合があり、その知覚範囲は調査されていなかった。そこで、知覚できる低周波の変動の上限値が80~125Hz程度にあることが発見されたことに基づき、2つの対策(後述する対策[1]及び対策[2]を参照)により低周波成分を維持しながら、振動エネルギーの変換を行なうこととする。
【0149】
図25は、
図22に示した振動分配制御装置1によるセグメント毎の変換前後の信号の波形を示すグラフである。
【0150】
ヒトの高周波知覚は、波形そのものよりも振動エネルギーに基づいているため、振動エネルギーを保てば同じ感覚と感じられる。ただし、振動エネルギーの変動が80~125Hz程度以下で起こっている場合は、その振動エネルギーの変動を再現する必要がある。
【0151】
そこで、本実施形態の一例では、所定の周波数(例えば、80~125Hz程度)以下の振動エネルギーの変動を維持する手段として、例えば、80~200Hz程度の区間で、振動を時間分割し、セグメント毎に振動エネルギーを求め、異なりキャリア周波数をもつ振動に置換する。
【0152】
図25に示す例では、符号C1に示す元の振動信号と、符号C2に示す変換後の信号とにおいて、同じ時間セグメント内で、変換後の信号のエネルギーが元の振動信号のエネルギーと同じになるように変換されている。
【0153】
時間分割の幅(別言すれば、分割幅)は、80~125Hz以下のエネルギー変動が表現できる程度(別言すれば、変動の山が合う程度)に設定されればよい(対策[1])。分割幅の周波数は、80~125Hz以上であってもよいが、分割幅を短くし過ぎると分割幅よりも長い周期の振動エネルギーの推定精度が悪くなる。そこで、下記の対策[2]によって、エネルギーを推定できない振動は波形をそのまま出力する。
【0154】
また、所定の周波数以下の成分を取り出して、そのまま刺激振動として提示してもよい(対策[2])。なお、所定の周波数は80~125Hz以上であってもよいが、所定の周波数成分以上の成分は、第2信号成分のエネルギー制御部113によって表現されてもよい。これにより、周波数選択に任意性を持たせることができる。ただし、所定の周波数を高周波に設定しすぎると、騒音の問題が発生したり、広帯域のバイブレーション装置が必要になったりするおそれがある。
【0155】
上記対策[1]及び対策[2]によれば、所定の周波数は、80~400Hz程度であってもよい。400Hzは、騒音問題とバイブレーション装置の性能の観点からの上限である。
【0156】
所定の周波数の設定には、振動を変換する際のキャリア周波数の選定も関わる。ヒトの知覚感度が良くなる振動周波数のピークは200~250Hzあたりにあることから、感度を高めつつ、騒音にならないキャリア周波数としては、150~400Hz程度が実用的である。キャリア周波数は、分割幅の定数倍であってよい。また、キャリア周波数は異なる周波数を複数用いてもよく、400Hz以上の高周波域を含めてもよい。
【0157】
また、低周波と高周波とを分ける所定周波数と、エネルギーを計算する分割幅の周波数とは、必ずしも一致させなくてもよい。
【0158】
ヒトの知覚可能性を向上されるために補正された振動エネルギーである補正エネルギーは、次の式で表せる。
【0159】
【数16】
Aは、分離された基底信号gkの振幅である。Tfは、振幅閾値であり、周波数fの信号においてヒトが感じられる最小の振幅である。bfは、指数値であり、周波数fの信号における非線形特性である。
【0160】
図26は、補正エネルギーの計算に用いられる振幅閾値Tfを表すグラフである。
【0161】
図26に示すように、振幅閾値は周波数によって異なり、およそ102~103Hzの範囲では比較的小さな振幅でもヒトが感じることができるが、それ以外の範囲では比較的大きな振幅でなければヒトが感じることができない。
【0162】
図27は、補正エネルギーの計算に用いられる指数値bfを表すグラフである。
【0163】
図27の指数値bfは、従来報告されている400Hz以下の指数値bfを線形補間した値を用いる例である。
【0164】
図28は、
図22に示した振動分配制御装置1における窓関数の利用を説明する図である。
【0165】
符号D1に示すように、高域信号H(t)が入力される。符号D2に示すように、高域信号H(t)がフレームi,i+1,i+2,・・・毎に信号hi,hi+1,hi+2,・・・としてそれぞれフレーム分割される。符号D3に示すように、分割された各フレームの信号hが、複数の基底信号g1,g2,g3・・・に分離される。符号D4に示すように、基底信号g1,g2,g3・・・がもつ周波数f1,f2,f3・・・に基づき、全ての基底信号g1,g2,g3・・・の補正エネルギーを合成したスカラ値Ei,Ei+1,Ei+2,・・・が出力される。符号D5に示すように、各フレームiで算出された振動エネルギーのスカラ値Ei,Ei+1,Ei+2,・・・が、同等の振動エネルギーを持つが別のキャリア周波数を持つ振動波形に変換され、その波形の振幅ai(t),ai+1(t),ai+2(t),・・・に対して窓関数を用いた窓掛け処理が実施される。符号D6に示すように、1~N番目のフレームについてフレーム合成が行なわれ、振動波形の振幅A(t)が出力される。符号D7に示すように、振幅がA(t)となるようなキャリア周波数をもつ第2振動波形S2(t)が出力される。
【0166】
図29は、
図22に示した振動分配制御装置1における低周波と高周波との合成例を説明するグラフである。
【0167】
図28の窓関数を利用して高域信号H(t)から生成した符号E1に示す第2振動波形S2(t)は、低域信号L(t)をそのまま出力した符号E2に示す第1振動波形S1(t)と合成される。これにより、符号E3に示す、合成波形S1(t)+S2(t)が出力される。
【0168】
図30は、
図22に示した振動分配制御装置1による変換前後の信号の波形の具体例を示すグラフである。
【0169】
図30においては、バイオリンの音の変換前の波形(符号F1参照)と変換後の波形(符号F2参照)とが、時間毎の振幅によって表されている。
【0170】
バイオリンのような高周波振動の音は、従来の触覚振動では聴覚ノイズが大きく発生してしまい、またローパスフィルタをかけるとヒトが認知できる振動が消えてしまう。そこで、波形が時間毎に低周波のキャリア周波数をもつ単一波長となるように、補正エネルギーが算出される。
【0171】
図31は、
図22に示した振動分配制御装置1におけるISM部1000の機能構成例を説明するブロック図である。
【0172】
ISM部1000は、時間分割制御部112,エネルギー制御部113,エネルギー振動変換部114a及び振動生成部114bとして機能する。本実施形態では、ISM部1000によって、振動子31による100Hz程度以上の高周波成分を含む振動を信号によって制御する。本発明の100Hz以上の高周波成分を含む振動を制御する手法を総称してISMと呼ぶ。
【0173】
時間分割制御部112は、100Hz程度以上の高周波成分を含む振動の信号X(t)をN個のフレームに時間分割して、時間分割されたi番目のフレームの信号hiをエネルギー制御部113に入力する。なお、フレーム数Nは、所定の周期と窓掛け処理のオーバーラップ率とによって決定されてよい。
【0174】
エネルギー制御部113は、i番目のフレームの信号hiについて補正エネルギーeiを算出し、算出した補正エネルギーをエネルギー振動変換部114aに入力する。
【0175】
エネルギー振動変換部114aは、1~N番目のフレームの補正エネルギーe1~eNのそれぞれを合成した信号A(t)を生成して、第2振動生成部114bに入力する。
【0176】
振動生成部114bは、合成された信号A(t)に基づき、信号波形S(t)を出力する。
【0177】
図22に示した振動分配制御装置1における振動波形の生成処理の第1の実施例を、
図32に示すブロック図(ステップS1~S7)に従って説明する。
【0178】
図32に示す信号除去部111a及び低域通過濾波器111bは、
図22に示した周波数除去制御部111に対応する。また、
図32に示すエネルギー振動変換部114a,第2振動生成部114b及び第1振動生成部114cは、
図22に示した信号出力部114に対応する。
【0179】
信号除去部111aは、取得された変換前の信号X(t)から所定の周波数以下の成分を除去して高域信号H(t)を生成して、時間分割制御部112に入力する(ステップS1)。
【0180】
時間分割制御部112は、高域信号H(t)をN個のフレームに時間分割して、時間分割されたi番目のフレームの信号hiをエネルギー制御部113に入力する(ステップS2)。なお、フレーム数Nは、所定の周期と窓掛け処理のオーバーラップ率とによって決定されてよい。
【0181】
エネルギー制御部113は、i番目のフレームの信号hiについて補正エネルギーeiを算出し、算出した補正エネルギーをエネルギー振動変換部114aに入力する(ステップS3)。
【0182】
エネルギー振動変換部114aは、1~N番目のフレームの補正エネルギーe1~eNのそれぞれを合成した信号A(t)を生成して、第2振動生成部114bに入力する(ステップS4)。
【0183】
第2振動生成部114bは、合成された信号A(t)に基づき、第2振動波形S2(t)を出力する(ステップS5)。
【0184】
一方、低域通過濾波器111bは、取得された変換前の信号X(t)から所定の周波数以下の成分を過濾した低域信号L(t)を第1振動生成部114cに入力する(ステップS6)。
【0185】
第1振動生成部114cは、低域信号L(t)に基づき、第1振動波形S1(t)を出力する(ステップS7)。
【0186】
次に、
図32のステップS3に示したエネルギー制御処理の詳細を、
図33に示すブロック図(ステップS11~S14)に従って説明する。
【0187】
図33に示すように、エネルギー制御部113は、基底信号分離制御部113a,周波数算出部113b,エネルギー補正パラメータ算出部113c及び補正エネルギー算出部113dとして機能する。
【0188】
基底信号分離制御部113aは、入力信号である時間分割されたi番目のフレームの信号hiを複数の基底信号gに分離し、分離されたk番目の基底信号gkを周波数算出部113bに入力する(ステップS11)。例えば、短時間フーリエ解析やウェーブレット解析,Empirical Mode Decomposition(EMD)法などによって、信号が分離されてよい。
【0189】
周波数算出部113bは、例えば離散フーリエ解析やHilbert Spectrum解析などによって、k番目の基底信号gkの周波数fkを算出し、エネルギー補正パラメータ算出部113cに入力する(ステップS12)。
【0190】
エネルギー補正パラメータ算出部113cは、周波数fkに基づき、
図26及び
図27を用いて説明した指数値bk及び振幅閾値Tkを算出し、補正エネルギー算出部113dに入力する(ステップS13)。
【0191】
補正エネルギー算出部113dは、指数値bk及び振幅閾値Tkに基づき、数16で示した数式に従って、補正エネルギーIpcを基底信号gk毎に算出し、全ての基底信号gkの補正エネルギーを合算したスカラ値eiを出力する(ステップS14)。
【0192】
次に、
図22に示した振動分配制御装置1における振動波形の生成処理の第2の実施例として、
図31に示したエネルギー制御処理における低周波成分の分離処理を、
図34に示すブロック図(ステップS101~S105)に従って説明する。
【0193】
図34に示すように、エネルギー制御部113は、基底信号分離制御部113a,周波数算出部113b,エネルギー補正パラメータ算出部113c及び補正エネルギー算出部113dとして機能するとともに、低周波成分合成部113gへ低周波成分を分離する機能を有してよい。
【0194】
基底信号分離制御部113aは、入力信号である時間分割されたi番目のフレームの信号hiを複数の基底信号gに分離し、分離されたk番目の基底信号gkを周波数算出部113bに入力する(ステップS101)。例えば、短時間フーリエ解析やウェーブレット解析,EMD法などによって、信号が分離されてよい。
【0195】
周波数算出部113bは、例えば離散フーリエ解析やHilbert Spectrum解析などによって、k番目の基底信号gkの周波数fkを算出し、エネルギー補正パラメータ算出部113cに入力する(ステップS102)。
【0196】
エネルギー補正パラメータ算出部113cは、周波数fkに基づき、
図26及び
図27を用いて説明した指数値bk及び振幅閾値Tkを算出し、補正エネルギー算出部113dに入力する(ステップS103)。
【0197】
補正エネルギー算出部113dは、指数値bk及び振幅閾値Tkに基づき、数16で示した数式に従って、補正エネルギーIpcを基底信号gk毎に算出し、全ての基底信号gkの補正エネルギーを合算したスカラ値eiを出力する(ステップS104)。
【0198】
低周波成分合成部113gは、基底信号gkの周波数fkが所定の周波数よりも小さい基底信号を合成し、低周波成分L(t)を生成する(ステップS105)。
【0199】
複数の周波数帯域の信号を含む音源について、特定の周波数帯域の振動エネルギーを強調して振動として提示したい場合がある。そのような場合に、予め定められた周波数帯域に存在する基底信号のエネルギーを調整して波形の変換を行なう際に適用される変形例としてのエネルギー制御部1131及び1132について、
図35~
図40を用いて説明する。
【0200】
図35の(a)~(c)は、波形を強調せずにISMに従い振動を生成する例を説明するグラフである。
図35においては、ピアノトリオの楽曲から高周波成分のシンバル(ドラム)の波形に対応する帯域と、ピアノ及びベースの波形に対応する帯域が示されている。
図35の(a)~(c)において、横軸は時間[s]を示し、縦軸は周波数[Hz]を示し、濃く表わされているスペクトルはパワーが大きく薄く表わされているスペクトルはパワーが小さいことを示す。
【0201】
図35の(a)には、音源スペクトルの分布として、破線で示す高周波成分のシンバルの波形と、一点鎖線で示す低周波成分のピアノ及びベースの波形とが示されている。
【0202】
図35の(b)には、ISMで変換した際のスペクトル分布(200Hz中心)が示されている。
図35の(b)においては、ISMの効果で、シンバル、ピアノ及びベースの全てがインテンシティとして抽出されている。
【0203】
図35の(c)には、インテンシティに基づいて200Hzの周波数をもつ信号に変換せずに、基底信号の代表周波数を用いて信号に変換する例が示されている。これによりどの周波数帯が強調されたかを可視化している。
【0204】
図36の(a)~(c)は音源から高周波成分を強調して分離する第1の例を説明するグラフである。
図36においては、ピアノトリオの楽曲から高周波成分のシンバル(ドラム)を強調して分離する例が示されている。
図36の(a)~(c)において、横軸は時間[s]を示し、縦軸は周波数[Hz]を示し、濃く表わされているスペクトルはパワーが大きく薄く表わされているスペクトルはパワーが小さいことを示す。
【0205】
図36の(a)には、音源スペクトルの分布として、破線で示す高周波成分のシンバルの波形と、一点鎖線で示す低周波成分のピアノ及びベースの波形とが示されている。
【0206】
図36の(b)には、ISMで変換した際のスペクトル分布(200Hz中心)が示されている。
図36の(b)においては、3000Hz以上のインテンシティに限って+20dB(100倍)されている。
【0207】
図36の(c)には、インテンシティに基づいて200Hzの周波数をもつ信号に変換せずに、基底信号の代表周波数を用いて信号に変換する例が示されている。これによりどの周波数帯が強調されたかを可視化している。
図36の(c)においては、シンバルのスペクトルのパワーが大きくなっている。
【0208】
図37の(a)~(c)は、音源から高周波成分を強調して分離する第2の例を説明するグラフである。
図37においては、ピアノトリオの楽曲から高周波成分のシンバル(ドラム)を強調して分離する例が示されている。
図37の(a)~(c)において、横軸は時間[s]を示し、縦軸は周波数[Hz]を示し、濃く表わされているスペクトルはパワーが大きく薄く表わされているスペクトルはパワーが小さいことを示す。
【0209】
図37の(a)には、音源スペクトルの分布として、破線で示す高周波成分のシンバルの波形と、一点鎖線で示す低周波成分のピアノ及びベースの波形とが示されている。
【0210】
図37の(b)には、ISMで変換した際のスペクトル分布(200Hz中心)が示されている。
図37の(b)においては、3000Hz以上のインテンシティが+20dB(100倍)されている一方、1000Hz以下のインテンシティが-10dB(1/10倍)されている。
【0211】
図37の(c)には、インテンシティに基づいて200Hzの周波数をもつ信号に変換せずに、基底信号の代表周波数を用いて信号に変換する例が示されている。これによりどの周波数帯が強調されたかを可視化している。
図37の(c)においては、シンバルのスペクトルのパワーが大きくなっている。
【0212】
図38の(a)~(c)は、音源から低周波成分を強調して分離する例を説明するグラフである。
図38においては、ピアノトリオの楽曲から低周波成分のピアノ及びベースを強調して分離する例が示されている。
図38の(a)~(c)において、横軸は時間[s]を示し、縦軸は周波数[Hz]を示し、濃く表わされているスペクトルはパワーが大きく薄く表わされているスペクトルはパワーが小さいことを示す。
【0213】
図38の(a)には、音源スペクトルの分布として、破線で示す高周波成分のシンバルの波形と、一点鎖線で示す低周波成分のピアノ及びベースの波形とが示されている。
【0214】
図38の(b)には、ISMで変換した際のスペクトル分布(200Hz中心)が示されている。
図38の(b)においては、1000Hz以下のインテンシティが+10dB(10倍)されている。
【0215】
図38の(c)には、インテンシティに基づいて200Hzの周波数をもつ信号に変換せずに、基底信号の代表周波数を用いて信号に変換する例が示されている。これによりどの周波数帯が強調されたかを可視化している。
図38の(c)においては、ピアノ及びベースのスペクトルのパワーが大きくなっている。
【0216】
図31に示したエネルギー制御処理の第1変形例を、
図39に示すブロック図(ステップS41~S45)に従って説明する。
【0217】
図39に示すように、エネルギー制御部1131は、
図33に示した基底信号分離制御部113a,周波数算出部113b,エネルギー補正パラメータ算出部113c及び補正エネルギー算出部113dに加えて、ゲイン算出部113eとして機能する。
【0218】
基底信号分離制御部113aは、入力信号である時間分割されたi番目のフレームの信号hiを複数の基底信号gに分離し、分離されたk番目の基底信号gkを周波数算出部113bに入力する(ステップS41)。例えば、短時間フーリエ解析やウェーブレット解析,EMD法などによって、信号が分離されてよい。
【0219】
周波数算出部113bは、例えば離散フーリエ解析やHilbert Spectrum解析などによって、k番目の基底信号gkの周波数fkを算出し、エネルギー補正パラメータ算出部113cに入力する(ステップS42)。
【0220】
エネルギー補正パラメータ算出部113cは、周波数fkに基づき、
図26及び
図27を用いて説明した指数値bk及び振幅閾値Tkを算出し、補正エネルギー算出部113dに入力する(ステップS43)。
【0221】
ゲイン算出部113eは、算出された基底信号gkの周波数fkに応じて、予め定められた周波数帯別のゲイン値Gkを出力する(ステップS44)。エネルギーを強調したい場合にはGk>1に設定され、エネルギーを抑制したい場合には0≦Gk<1に設定される。強調又は抑制によるエネルギーの調整は、1つの周波数帯域に対して実施されてもよいし、複数の周波数帯域に対して実施されてもよい。また、エネルギーの調整は、エネルギー制御部1131に入力された周波数帯域全体に対して実施されてもよい。
【0222】
補正エネルギー算出部113dは、分離された基底信号gkの振幅Aに対して、以下の数2に示す数式に従って、ゲイン調整した補正エネルギーIpcを基底信号gk毎に算出し、全ての基底信号gkの補正エネルギーを合算したスカラ値eiを出力する(ステップS45)。
【数17】
【0223】
図31に示したエネルギー制御処理の第2変形例を、
図40に示すブロック図(ステップS51~S56)に従って説明する。
【0224】
図40に示すように、エネルギー制御部1132は、
図33に示した基底信号分離制御部113a,周波数算出部113b,エネルギー補正パラメータ算出部113c及び補正エネルギー算出部113dに加えて、ゲイン算出部113e及び信号源識別部113fとして機能する。
【0225】
基底信号分離制御部113aは、入力信号である時間分割されたi番目のフレームの信号hiを複数の基底信号gに分離し、分離されたk番目の基底信号gkを周波数算出部113bに入力する(ステップS51)。例えば、短時間フーリエ解析やウェーブレット解析,EMD法などによって、信号が分離されてよい。
【0226】
周波数算出部113bは、例えば離散フーリエ解析やHilbert Spectrum解析などによって、k番目の基底信号gkの周波数fkを算出し、エネルギー補正パラメータ算出部113cに入力する(ステップS52)。
【0227】
エネルギー補正パラメータ算出部113cは、周波数fkに基づき、
図26及び
図27を用いて説明した指数値bk及び振幅閾値Tkを算出し、補正エネルギー算出部113dに入力する(ステップS53)。
【0228】
信号源識別部113fは、設定された信号特徴に基づき、入力信号hi及びhiの履歴等から識別候補を推定し、基底信号gkがどの信号源に属するかを識別して、識別結果をID(識別子)等で出力する(ステップS54)。信号源識別部113fは、機械学習等によって予め識別器を用意しておいてもよい。例えば、ディープラーニングで多くの楽器の特徴が学習され、現在の入力信号hi(又は入力信号hiが短すぎる場合には各複数の入力信号hiの履歴)にどの楽器が含まれるか候補群(例えば、ピアノ,ベース,ドラム)が推定され、基底信号gkがどの楽器に含まれるかが識別されてよい。
【0229】
ゲイン算出部113eは、信号源識別部113fによって特定されたIDに応じて、予め定められた周波数帯別のゲイン値Gkを出力する(ステップS55)。エネルギーを強調したい場合にはGk>1に設定され、エネルギーを抑制したい場合には0≦Gk<1に設定される。強調又は抑制によるエネルギーの調整は、1つの周波数帯域に対して実施されてもよいし、複数の周波数帯域に対して実施されてもよい。また、エネルギーの調整は、エネルギー制御部1132に入力された周波数帯域全体に対して実施されてもよい。
【0230】
補正エネルギー算出部113dは、分離された基底信号gkの振幅Aに対して、数17に示した数式に従って、ゲイン調整した補正エネルギーIpcを基底信号gk毎に算出し、全ての基底信号gkの補正エネルギーを合算したスカラ値eiを出力する(ステップS56)。
【0231】
次に、
図31のステップS4に示したエネルギー合成処理の詳細を、
図41に示すブロック図(ステップS21~S23)に従って説明する。
【0232】
エネルギー振動変換部114aは、エネルギー等価変換部1141a,窓掛け処理部1142a及びフレーム合成部1143aとして機能する。
【0233】
図41に示すように、エネルギー等価変換部1141aは、各フレームiで算出された振動エネルギーのスカラ値eiを、同等の振動エネルギーを持つが別のキャリア周波数を持つ振動波形に変換し、その波形の振幅ai(t)を窓掛け処理部1142aに対して出力する(ステップS21)。
【0234】
窓掛け処理部1142aは、入力された各フレームiの振幅ai(t)に対して
図28に示した窓関数を用いた窓掛け処理を行ない、処理結果をフレーム合成部1143aに入力する(ステップS22)。
【0235】
フレーム合成部1143aは、1~N番目のフレームについての窓掛け処理部1142aからの入力についてフレーム合成を行ない、振動波形の振幅A(t)を出力する(ステップS23)。
【0236】
次に、
図31のステップS5に示した補正した振動波形の生成処理の詳細を、
図42に示すブロック図(ステップS31及びS32)に従って説明する。
【0237】
図42に示すように、第2振動生成部114bは、振幅振動変換部1141b及び波形出力部1142bとして機能する。第2振動生成部114bは、入力された信号A(t)を持ち、キャリア周波数を持つ正弦波を出力する。生成される波形は、振動が滑らかに繋がるように位相が制御されてよい。
【0238】
振幅振動変換部1141bは、入力された振幅A(t)を振動に変換する(ステップS31)。
【0239】
波形出力部1142bは、振幅がA(t)になるように、キャリア周波数をもつ正弦波S2(t)を出力する(ステップS32)。
【0240】
〔B〕効果
実施形態の一例における振動分配制御装置1,信号制御プログラム及び信号制御方法によれば、例えば、以下の作用効果を奏することができる。
【0241】
時間分割制御部112は、ある位置にある任意波形の振動源に係る信号を所定時間毎に分割する。エネルギー制御部113は、時間分割制御部112によって分割された前記所定時間毎に、複数の振動子のそれぞれに対する振動源との距離及び方位に応じて信号のエネルギーに対して所定の減衰式を適用すると共に信号のエネルギーを複数の振動子に分配して、信号を別の周波数をもつ波形に変換する。信号出力部114は、エネルギー制御部113による変換後の信号を出力して、変換後の信号から生成される出力振動を複数の振動子を用いてヒトに体感させる。
【0242】
これにより、ヒトに対して複数の周波数を含む任意の振動波形を体感させて触感のリアリティを向上させることができる。また、外界の振動源の方位と距離又は動きとをヒトに体感させ、身体表面又は身体内の振動源の位置・動きをヒトに体感させ、外界から身体又は身体から外界に振動源が移動する感覚をヒトに体感させることができる。
【0243】
更に、振動分配制御装置1,振動分配制御プログラム又は振動分配制御方法を
図10~
図15等に示した種々のデバイスに適合することで、振動体感に方位感、距離感、動きなどを加えて通知することができ、振動源の対象の存在感、環境に存在する臨場感、体感のリアリティを演出することができる。
【0244】
〔C〕その他
開示の技術は上述した各実施形態に限定されるものではなく、各実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。各実施形態の各構成及び各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。
【0245】
図43は、
図22に示した振動発生システム100において複数の振動装置310,320を用いる場合のDAC2の構成例を示すブロック図である。
【0246】
図43に示す例では、
図22に示したDAC2は、高域ゲイン調整器21a,低域ゲイン調整器21b,高域用振動装置駆動回路22a及び低域用振動装置駆動回路22bとして機能する。また、
図22に示した振動子31は、高域用振動装置310及び低域用振動装置320として機能する。高域ゲイン調整器21a,高域用振動装置駆動回路22a及び高域用振動装置310の組と、低域ゲイン調整器21b,低域用振動装置駆動回路22b及び低域用振動装置320の組とは、
図22に示した振動子31の数だけ備えられる。
【0247】
高域ゲイン調整器21aは、振動分配制御装置1から入力された第2振動波形S2(t)を、高域用振動装置駆動回路22aを介して、高域用振動装置310に出力する。また、低域ゲイン調整器21bは、振動分配制御装置1から入力された第1振動波形S1(t)を、低域用振動装置駆動回路22bを介して、低域用振動装置320に出力する。
【0248】
図44は、
図22に示した振動発生システム100において単一の振動装置を用いる場合のDACの構成例を示すブロック図である。
【0249】
図44に示す例では、
図22に示したDAC2は、高域ゲイン調整器21a,低域ゲイン調整器21b及び振動装置駆動回路22として機能する。また、
図22に示した振動子31は、振動装置30として機能する。高域ゲイン調整器21a,低域ゲイン調整器21b,振動装置駆動回路22及び振動装置30の組は、
図22に示した振動子31の数だけ備えられる。
【0250】
高域ゲイン調整器21a及び低域ゲイン調整器21bは、振動分配制御装置1から入力された第2振動波形S2(t)及び第1振動波形S1(t)をそれぞれ、共通の振動装置駆動回路22を介して、共通の振動装置30に出力する。
【符号の説明】
【0251】
100 :振動発生システム
101 :床設置型振動装置
102 :着衣型振動装置
103 :リストバンド型振動装置
104 :ゲーム用コントローラ
105 :スマートフォン
1 :振動分配制御装置
11 :CPU
1000 :ISM部
111 :周波数除去制御部
111a :信号除去部
111b :低域通過濾波器
111d :補正エネルギー算出部
112 :時間分割制御部
113,1131,1132:エネルギー制御部
113a :基底信号分離制御部
113b :周波数算出部
113c :エネルギー補正パラメータ算出部
113d :補正エネルギー算出部
113e :ゲイン算出部
113f :信号源識別部
113g :低周波成分合成部
114 :信号出力部
114a :エネルギー振動変換部
114b :第2振動生成部
114c :第1振動生成部
1141a :エネルギー等価変換部
1142a :窓掛け処理部
1143a :フレーム合成部
1141b :振幅振動変換部
1142b :波形出力部
12 :メモリ
13 :記憶装置
2 :DAC
21a :高域ゲイン調整器
21b :低域ゲイン調整器
22 :振動装置駆動回路
22a :高域用振動装置駆動回路
22b :低域用振動装置駆動回路
30 :振動装置
31 :振動子
310 :高域用振動装置
320 :低域用振動装置
32 :スピーカ/ヘッドフォン
33 :表示装置
【手続補正書】
【提出日】2024-08-14
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
一部がヒトの身体に装着されるとともに、他部がヒトの身体と接触する環境に配置される複数の振動子における振動を制御する振動分配制御装置であって、
ある位置にある任意波形の第1振動源に係る信号を所定時間毎に分割するとともに、前記第1振動源とは異なる第2振動源に係る信号を前記所定時間毎に分割する時間分割制御部と、
前記時間分割制御部によって分割された前記所定時間毎に、前記複数の振動子の一部に対する前記第1振動源との方位角、及び、前記複数の振動子の他部に対する前記第2振動源との方位角に応じて前記信号のエネルギーを前記複数の振動子に分配して、前記信号を前記信号とは別の周波数をもつ波形に変換する制御部と、
前記制御部による変換後の前記信号を出力して、前記変換後の信号から生成される出力振動を前記複数の振動子を用いてヒトに体感させる信号出力部と、
を備える、振動分配制御装置。
【請求項2】
前記複数の振動子の一部は、着衣型振動装置に配置され、
前記複数の振動子の他部は、床設置型振動装置に配置された、
請求項1に記載の振動分配制御装置。
【請求項3】
ヒトへの視覚提示を行うVirtual Reality(VR)ゴーグルとヒトへの立体音響の提示を行うヘッドフォンとの少なくともいずれかと協働して、前記複数の振動子における振動を制御する、
請求項1又は2に記載の振動分配制御装置。
【請求項4】
一部がヒトの身体に装着されるとともに、他部がヒトの身体と接触する環境に配置され、互いに無線通信を介して同期して駆動する複数の振動子における振動を制御する振動分配制御装置であって、
ある位置にある任意波形の振動源に係る信号を所定時間毎に分割する時間分割制御部と、
前記時間分割制御部によって分割された前記所定時間毎に、前記複数の振動子の一部に対する前記振動源との方位角、及び、前記複数の振動子の他部に対する前記振動源との方位角に応じて前記信号のエネルギーを前記複数の振動子に分配して、前記信号を前記信号とは別の周波数をもつ波形に変換する制御部と、
前記制御部による変換後の前記信号を出力して、前記変換後の信号から生成される出力振動を前記複数の振動子を用いてヒトに体感させる信号出力部と、
を備える、振動分配制御装置。
【請求項5】
前記複数の振動子の一部は、リストバンド型振動装置においてリング状に配置され、
前記複数の振動子の他部は、ゲーム用コントローラに内蔵された、
請求項4に記載の振動分配制御装置。
【請求項6】
前記複数の振動子の一部は、リストバンド型振動装置においてリング状に配置され、
前記複数の振動子の他部は、ディスプレイを有するモバイル端末に内蔵された、
請求項4に記載の振動分配制御装置。
【請求項7】
ヒトの身体に装着される二以上の第1の振動子と、ヒトの身体と接触する環境に配置される二以上の第2の振動子とを含み、互いに無線通信を介して同期して駆動する複数の振動子における振動を制御する振動分配制御装置であって、
ある位置にある任意波形の第1振動源に係る信号を所定時間毎に分割するとともに、前記第1振動源とは異なる第2振動源に係る信号を前記所定時間毎に分割する時間分割制御部と、
前記時間分割制御部によって分割された前記所定時間毎に、前記第1の振動子及び前記第2の振動子の一部に対する前記第1振動源との方位角、及び、前記第1の振動子及び前記第2の振動子の他部に対する前記第2振動源との方位角に応じて前記信号のエネルギーを前記複数の振動子に分配して、前記信号を前記信号とは別の周波数をもつ波形に変換する制御部と、
前記制御部による変換後の前記信号を出力して、前記変換後の信号から生成される出力振動を前記複数の振動子を用いてヒトに体感させる信号出力部と、
を備える、振動分配制御装置。
【請求項8】
前記第1の振動子の一部は、前記ヒトの左手首に装着されるように第1のリストバンド型振動装置においてリング状に配置され、
前記第1の振動子の他部は、前記ヒトの右手首に装着されるように第2のリストバンド型振動装置においてリング状に配置され、
前記第2の振動子の一部は、ゲーム用コントローラにおいて前記ヒトの左手で把持される位置に内蔵され、
前記第2の振動子の他部は、前記ゲーム用コントローラにおいて前記ヒトの右手で把持される位置に内蔵された、
請求項7に記載の振動分配制御装置。
【請求項9】
前記制御部は、前記複数の振動子の一部に対する前記第1振動源との距離に応じて前記信号のエネルギーに対して所定の減衰式を適用するとともに、前記複数の振動子の他部に対する前記第2振動源との距離に応じて前記信号のエネルギーに対して所定の減衰式を適用する、
請求項1~3、7、8のいずれか一項に記載の振動分配制御装置。
【請求項10】
前記所定の減衰式及び前記信号のエネルギーの分配は、前記複数の振動子の一部の幾何的配置によって定まる知覚原点と前記複数の振動子の一部との距離及び方位角に応じて定められるとともに、前記複数の振動子の他部の幾何的配置によって定まる知覚原点と前記複数の振動子の他部との距離及び方位角に応じて定められる、
請求項9に記載の振動分配制御装置。
【請求項11】
前記出力振動は、前記ヒトの複数の異なる身体部位に対して、前記複数の振動子の組み合わせと前記知覚原点とを個別に定義することで、前記ヒトに体感させられる、
請求項10に記載の振動分配制御装置。
【請求項12】
一部が椅子の背面に配置されるとともに、他部が前記椅子の座面に配置される複数の振動子における振動を制御する振動分配制御装置であって、
ある位置にある任意波形の振動源に係る信号を所定時間毎に分割する時間分割制御部と、
前記時間分割制御部によって分割された前記所定時間毎に、前記複数の振動子の一部に対する前記振動源との方位角、及び、前記複数の振動子の他部に対する前記振動源との方位角に応じて前記信号のエネルギーを前記複数の振動子に分配して、前記信号を前記信号とは別の周波数をもつ波形に変換する制御部と、
前記制御部による変換後の前記信号を出力して、前記変換後の信号から生成される出力振動を前記複数の振動子を用いてヒトに体感させる信号出力部と、
を備える、振動分配制御装置。
【請求項13】
ヒトへの立体音響の提示を行うスピーカと協働して、前記複数の振動子における振動を制御する、
請求項12に記載の振動分配制御装置。
【請求項14】
前記スピーカで提示される前記立体音響の音源位置と、前記振動源の位置とが、一致する、
請求項13に記載の振動分配制御装置。
【請求項15】
複数の振動子における振動を制御する振動分配制御装置であって、
ある位置にある任意波形の振動源に係る信号を所定時間毎に分割する時間分割制御部と、
前記時間分割制御部によって分割された前記所定時間毎に、前記複数の振動子のそれぞれに対する前記振動源との方位角に応じて前記信号のエネルギーを前記複数の振動子に分配して、前記信号を前記信号とは別の周波数をもつ波形に変換する制御部と、
前記制御部による変換後の前記信号を出力して、前記変換後の信号から生成される出力振動を前記複数の振動子を用いてヒトに体感させる信号出力部と、
を備えるとともに、
ヒトへの視覚提示を行うVirtual Reality(VR)ゴーグルとヒトへの立体音響の提示を行うヘッドフォンとの少なくともいずれかを備え、
前記VRゴーグル又は前記ヘッドフォンと協働して、前記複数の振動子における振動を制御する、
振動分配制御装置。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0011
【補正方法】変更
【補正の内容】
【0011】
1つの側面において、振動分配制御装置は、一部がヒトの身体に装着されるとともに、他部がヒトの身体と接触する環境に配置される複数の振動子における振動を制御する振動分配制御装置であって、ある位置にある任意波形の第1振動源に係る信号を所定時間毎に分割するとともに、前記第1振動源とは異なる第2振動源に係る信号を前記所定時間毎に分割する時間分割制御部と、前記時間分割制御部によって分割された前記所定時間毎に、前記複数の振動子の一部に対する前記第1振動源との方位角、及び、前記複数の振動子の他部に対する前記第2振動源との方位角に応じて前記信号のエネルギーを前記複数の振動子に分配して、前記信号を前記信号とは別の周波数をもつ波形に変換する制御部と、前記制御部による変換後の前記信号を出力して、前記変換後の信号から生成される出力振動を前記複数の振動子を用いてヒトに体感させる信号出力部と、を備える。