(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023121015
(43)【公開日】2023-08-30
(54)【発明の名称】頭部伝達関数生成装置、プログラム及び頭部伝達関数生成方法
(51)【国際特許分類】
H04S 7/00 20060101AFI20230823BHJP
【FI】
H04S7/00 340
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2022024205
(22)【出願日】2022-02-18
(71)【出願人】
【識別番号】598163064
【氏名又は名称】学校法人千葉工業大学
(74)【代理人】
【識別番号】100165179
【弁理士】
【氏名又は名称】田▲崎▼ 聡
(74)【代理人】
【識別番号】100188558
【弁理士】
【氏名又は名称】飯田 雅人
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(74)【代理人】
【識別番号】100152272
【弁理士】
【氏名又は名称】川越 雄一郎
(74)【代理人】
【識別番号】100181722
【弁理士】
【氏名又は名称】春田 洋孝
(72)【発明者】
【氏名】飯田 一博
(72)【発明者】
【氏名】中村 風香
【テーマコード(参考)】
5D162
【Fターム(参考)】
5D162AA07
5D162CA26
5D162CD07
(57)【要約】
【課題】全天空三次元空間の任意の方向の頭部伝達関数を生成する。
【解決手段】頭部伝達関数生成装置は、受聴者の正中面内の受聴者を中心とする少なくとも三方向の頭部伝達関数をそれぞれ取得する頭部伝達関数取得部と、取得した頭部伝達関数のノッチ及びピークのパラメータ情報に基づいて、受聴者の正中面内の角度ごとの頭部伝達関数のノッチ及びピークを推定する推定部と、受聴者の両耳間差情報を取得する両耳間差情報取得部と、推定部が推定した正中面内の角度ごとのノッチ及びピークの推定結果と、両耳間差情報取得部が取得した両耳間差情報とに基づいて、受聴者を中心とする三次元空間の任意の方向の頭部インパルス応答を生成する頭部インパルス応答生成部と、頭部インパルス応答生成部が生成した頭部インパルス応答に対して時間周波数変換を施すことにより、受聴者の三次元頭部伝達関数を生成する三次元頭部伝達関数生成部とを備える。
【選択図】
図6
【特許請求の範囲】
【請求項1】
受聴者の正中面内の前記受聴者を中心とする少なくとも三方向の頭部伝達関数をそれぞれ取得する頭部伝達関数取得部と、
前記頭部伝達関数取得部が取得した前記頭部伝達関数のノッチ及びピークのパラメータ情報に基づいて、前記受聴者の正中面内の角度ごとの前記頭部伝達関数のノッチ及びピークを推定する推定部と、
前記受聴者の両耳間差情報を取得する両耳間差情報取得部と、
前記推定部が推定した前記正中面内の角度ごとの前記ノッチ及びピークの推定結果と、前記両耳間差情報取得部が取得した前記両耳間差情報とに基づいて、前記受聴者を中心とする三次元空間の任意の方向の頭部インパルス応答を生成する頭部インパルス応答生成部と、
前記頭部インパルス応答生成部が生成した前記頭部インパルス応答に対して時間周波数変換を施すことにより、前記受聴者の三次元頭部伝達関数を生成する三次元頭部伝達関数生成部と、
を備える頭部伝達関数生成装置。
【請求項2】
前記三方向とは、前記受聴者の正面方向、真後ろ方向及び天頂方向である
請求項1に記載の頭部伝達関数生成装置。
【請求項3】
前記推定部は、
前記受聴者の正中面内の上昇角を独立変数とする前記ノッチ及びピークのパラメータの回帰式を求め、
上昇角ごとの前記ノッチ及びピークのパラメータを前記回帰式に基づいて算出することにより、前記受聴者の正中面内の前記ノッチ及びピークを推定し、
前記頭部インパルス応答生成部は、
前記推定部が算出した前記受聴者の正中面内の前記ノッチ及びピークのパラメータに基づいて、前記受聴者の正中面内の頭部インパルス応答を算出し、
算出した前記受聴者の正中面内の頭部インパルス応答と、前記両耳間差情報と、に基づいて、前記受聴者の側方角ごとの両耳間時間差及び両耳間レベル差の少なくとも一方を付加することにより、前記受聴者を中心とする三次元空間の任意の方向の頭部インパルス応答を生成する
請求項1または請求項2に記載の頭部伝達関数生成装置。
【請求項4】
前記頭部インパルス応答生成部が生成した前記受聴者を中心とする三次元空間の任意の方向の頭部インパルス応答に、前記受聴者が利用する受聴装置の逆伝達関数の畳み込み演算を行う受聴装置逆伝達関数畳込部
をさらに備える請求項1から請求項3のいずれか一項に記載の頭部伝達関数生成装置。
【請求項5】
前記受聴装置逆伝達関数畳込部による畳み込み演算結果に、音源信号の畳み込み演算を行う音源信号畳込部
をさらに備える請求項4に記載の頭部伝達関数生成装置。
【請求項6】
コンピュータに、
受聴者の正中面内の前記受聴者を中心とする少なくとも三方向の頭部伝達関数をそれぞれ取得することと、
取得した前記頭部伝達関数のノッチ及びピークを示すパラメータ情報に基づいて、前記受聴者の正中面内の角度ごとの前記頭部伝達関数のノッチ及びピークを推定することと、
前記受聴者の両耳間差情報を取得することと、
推定した前記正中面内の角度ごとの前記ノッチ及びピークの推定結果と、取得した前記両耳間差情報とに基づいて、前記受聴者を中心とする三次元空間の任意の方向の頭部インパルス応答を生成することと、
生成した前記頭部インパルス応答に対して時間周波数変換を施すことにより、前記受聴者の三次元頭部伝達関数を生成することと、
を実行させるためのプログラム。
【請求項7】
受聴者の正中面内の前記受聴者を中心とする少なくとも三方向の頭部伝達関数をそれぞれ取得することと、
取得した前記頭部伝達関数のノッチ及びピークを示すパラメータ情報に基づいて、前記受聴者の正中面内の角度ごとの前記頭部伝達関数のノッチ及びピークを推定することと、
前記受聴者の両耳間差情報を取得することと、
推定した前記正中面内の角度ごとの前記ノッチ及びピークの推定結果と、取得した前記両耳間差情報とに基づいて、前記受聴者を中心とする三次元空間の任意の方向の頭部インパルス応答を生成することと、
生成した前記頭部インパルス応答に対して時間周波数変換を施すことにより、前記受聴者の三次元頭部伝達関数を生成することと、
を有する頭部伝達関数生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、頭部伝達関数生成装置、プログラム及び頭部伝達関数生成方法に関する。
【背景技術】
【0002】
従来から三次元音響システム、音のバーチャルリアリティ(VR:Virtual Reality)等の実用化を目指した研究開発が進められている。これらの技術の実用化を実現する上では、受聴者ごとに頭部伝達関数を再現することが必要である。受聴者ごとに頭部伝達関数を再現する技術の一例として、特許文献1に開示されている頭部伝達関数選択装置が挙げられる。
この頭部伝達関数選択装置は、測定部と、特徴量抽出部と、特性選択部とを備える。測定部は、スピーカから測定信号としての所定の音声を発生させた状態で、ユーザの耳に装着したマイクロホンによって収音した音声信号に基づいて、ユーザの頭部インパルス応答を取得する。特徴量抽出部は、頭部インパルス応答に対応する周波数特性の特徴量を抽出する。特性選択部は、抽出された特徴量に基づいて、複数の人それぞれの頭部伝達関数と頭部伝達関数の特徴量とを対応付けたデータベースからいずれかの頭部伝達関数を選択する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した頭部伝達関数選択装置によると、全天空三次元空間の任意の方向の頭部伝達関数までは生成することができない。
【0005】
本発明は、上述した問題点に鑑み、全天空三次元空間の任意の方向の頭部伝達関数を生成することができる頭部伝達関数生成装置、プログラム及び頭部伝達関数生成方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一実施形態は、受聴者の正中面内の前記受聴者を中心とする少なくとも三方向の頭部伝達関数をそれぞれ取得する頭部伝達関数取得部と、前記頭部伝達関数取得部が取得した前記頭部伝達関数のノッチ及びピークのパラメータ情報に基づいて、前記受聴者の正中面内の角度ごとの前記頭部伝達関数のノッチ及びピークを推定する推定部と、前記受聴者の両耳間差情報を取得する両耳間差情報取得部と、前記推定部が推定した前記正中面内の角度ごとの前記ノッチ及びピークの推定結果と、前記両耳間差情報取得部が取得した前記両耳間差情報とに基づいて、前記受聴者を中心とする三次元空間の任意の方向の頭部インパルス応答を生成する頭部インパルス応答生成部と、前記頭部インパルス応答生成部が生成した前記頭部インパルス応答に対して時間周波数変換を施すことにより、前記受聴者の三次元頭部伝達関数を生成する三次元頭部伝達関数生成部と、を備える頭部伝達関数生成装置である。
【0007】
また、本発明の一実施形態は、上述の頭部伝達関数生成装置において、前記三方向とは、前記受聴者の正面方向、真後ろ方向及び天頂方向である。
【0008】
また、本発明の一実施形態は、上述の頭部伝達関数生成装置において、前記推定部は、前記受聴者の正中面内の上昇角を独立変数とする前記ノッチ及びピークのパラメータの回帰式を求め、上昇角ごとの前記ノッチ及びピークのパラメータを前記回帰式に基づいて算出することにより、前記受聴者の正中面内の前記ノッチ及びピークを推定し、前記頭部インパルス応答生成部は、前記推定部が算出した前記受聴者の正中面内の前記ノッチ及びピークのパラメータに基づいて、前記受聴者の正中面内の頭部インパルス応答を算出し、算出した前記受聴者の正中面内の頭部インパルス応答と、前記両耳間差情報と、に基づいて、前記受聴者の側方角ごとの両耳間時間差及び両耳間レベル差の少なくとも一方を付加することにより、前記受聴者を中心とする三次元空間の任意の方向の頭部インパルス応答を生成する。
【0009】
また、本発明の一実施形態は、上述の頭部伝達関数生成装置において、前記頭部インパルス応答生成部が生成した前記受聴者を中心とする三次元空間の任意の方向の頭部インパルス応答に、前記受聴者が利用する受聴装置の逆伝達関数の畳み込み演算を行う受聴装置逆伝達関数畳込部をさらに備える。
【0010】
また、本発明の一実施形態は、上述の頭部伝達関数生成装置において、前記受聴装置逆伝達関数畳込部による畳み込み演算結果に、音源信号の畳み込み演算を行う音源信号畳込部をさらに備える。
【0011】
また、本発明の一実施形態は、コンピュータに、受聴者の正中面内の前記受聴者を中心とする少なくとも三方向の頭部伝達関数をそれぞれ取得することと、取得した前記頭部伝達関数のノッチ及びピークを示すパラメータ情報に基づいて、前記受聴者の正中面内の角度ごとの前記頭部伝達関数のノッチ及びピークを推定することと、前記受聴者の両耳間差情報を取得することと、推定した前記正中面内の角度ごとの前記ノッチ及びピークの推定結果と、取得した前記両耳間差情報とに基づいて、前記受聴者を中心とする三次元空間の任意の方向の頭部インパルス応答を生成することと、生成した前記頭部インパルス応答に対して時間周波数変換を施すことにより、前記受聴者の三次元頭部伝達関数を生成することと、を実行させるためのプログラムである。
【0012】
また、本発明の一実施形態は、受聴者の正中面内の前記受聴者を中心とする少なくとも三方向の頭部伝達関数をそれぞれ取得することと、取得した前記頭部伝達関数のノッチ及びピークを示すパラメータ情報に基づいて、前記受聴者の正中面内の角度ごとの前記頭部伝達関数のノッチ及びピークを推定することと、前記受聴者の両耳間差情報を取得することと、推定した前記正中面内の角度ごとの前記ノッチ及びピークの推定結果と、取得した前記両耳間差情報とに基づいて、前記受聴者を中心とする三次元空間の任意の方向の頭部インパルス応答を生成することと、生成した前記頭部インパルス応答に対して時間周波数変換を施すことにより、前記受聴者の三次元頭部伝達関数を生成することと、を有する頭部伝達関数生成方法である。
【発明の効果】
【0013】
本発明によれば、全天空三次元空間の任意の方向の頭部伝達関数を生成することができる。
【図面の簡単な説明】
【0014】
【
図1】本実施形態に係る受聴者と、受聴者を基準とした水平面、正中面、矢状面、耳軸、側方角及び上昇角を示す図である。
【
図2】パラメトリック・ノッチ・ピークHRTFモデルの生成アルゴリズムの一例を示す図である。
【
図3】HRTF個人適応ソフトウエアのユーザインタフェイスの一例を示す図である。
【
図4】HRTF個人適応ソフトウエアの処理の流れの一例を示す図である。
【
図5】実施形態に係る頭部伝達関数生成装置を構成しているハードウエアの一例を示す図である。
【
図6】実施形態に係る頭部伝達関数生成装置の機能的な構成の一例を示す図である。
【
図7】PNPモデルを用いて聴取者自身が試聴しながらHRTFの個人化を行えるソフトウエアの画面の一例を示す図である。
【
図8】正中面のN1周波数の分布の一例を示す図である。
【
図9】ある被験者の上半球正中面の任意の上昇角におけるN/Pパラメータ(N/Pの周波数)の一例を示す図である。
【
図10】ある被験者の上半球正中面の任意の上昇角におけるN/Pパラメータ(レベル)の一例を示す図である。
【
図11】ある被験者の上半球正中面の任意の上昇角におけるN/Pパラメータ(Q)の一例を示す図である。
【
図12】実際の頭部形状によるITDの分布の一例を示す図である。
【
図13】本実施形態の個人化頭部インパルス応答の生成処理の手順の一例を示す図である。
【
図14】本実施形態の3Dレンダリングツールキットの設定画面の一例を示す図である。
【
図15】方位角についての各被験者の回答の一例を示す図である。
【
図16】仰角についての各被験者の回答の一例を示す図である。
【
図17】左右方向の音像定位精度を評価するための平均側方角誤差の一例を示す図である。
【
図18】前後方向の音像定位精度を評価するため前後誤判定率の一例を示す図である。
【
図19】上下方向の音像定位精度を評価するための平均仰角誤差の一例を示す図である。
【
図21】被験者が回答した方位角を側方角に変換した結果の一例を示す図である。
【
図22】被験者が回答した仰角を上昇に変換した結果の一例を示す図である。
【
図23】左右方向の音像定位精度を評価するための平均側方角誤差の一例を示す図である。
【
図24】前後方向の音像定位精度を評価するための前後誤判定率の一例を示す図である。
【
図25】上下方向の音像定位精度を評価するための平均仰角誤差の一例を示す図である。
【
図27】被験者が回答した方位角を側方角に変換した結果の一例を示す図である。
【
図28】被験者が回答した仰角を上昇に変換した結果の一例を示す図である。
【
図29】左右方向の音像定位精度を評価するための平均側方角誤差の一例を示す図である。
【
図30】上下方向の音像定位精度を評価するための平均仰角誤差の一例を示す図である。
【
図31】ヘッドホン伝達関数の補正を行った場合の被験者本人の個人化HRTFによる定位精度の一例を示す図である。
【発明を実施するための形態】
【0015】
[実施形態]
以下、図面を参照して、本発明の実施形態を説明する。
【0016】
[頭部伝達関数生成装置の概要]
まず、
図1を参照しながら実施形態に係る頭部伝達関数生成装置1を説明する上で使用する耳軸座標系について説明する。
【0017】
図1は、本実施形態に係る受聴者と、受聴者を基準とした水平面、正中面、矢状面、耳軸、側方角及び上昇角を示す図である。
図1に示した耳軸座標系は、次のように定義される。耳軸Aは、受聴者Pの左右の外耳道入口を結ぶ直線である。原点は、受聴者Pの左右の外耳道入口を結んでおり、耳軸A上に位置する線分の中点である。水平面Hは、右眼窩点と左右の耳珠を結ぶ平面である。正中面Mは、水平面と直交し、受聴者Pを左右に二等分する面である。矢状面Sは、正中面Mと平行な任意の平面である。また、耳軸座標系は、音源が位置する方向を側方角α及び上昇角βにより表す。側方角αは、音源が位置する点と原点とを結ぶ直線が耳軸Aとなす角の余角である。また、側方角αは、水平面H内において受聴者Pの正面となる方向で0度となり、水平面H内において受聴者Pの後方となる方向で180度となる。上昇角βは、音源が位置する点を通る矢状面S内における仰角である。
【0018】
本実施形態の頭部伝達関数生成装置1は、個人化された頭部伝達関数(HRTF:Head-Related Transfer Function)を生成する。HRTFとは、音源から受聴者の外耳道入口に到達する音波が受聴者の頭部及びその周辺の影響を受けることによる物理特性の変化を周波数領域で表現したものであり、ピーク及びノッチを含む。ピークは、頭部伝達関数のうち上に凸となっている部分を指す。ノッチは、頭部伝達関数のうち下に凸となっている部分を指す。また、実測頭部伝達関数は、実際に音波を測定することにより生成された頭部伝達関数である。また、上述した所定の方向は、例えば、各受聴者の正面である。
【0019】
図2は、パラメトリック・ノッチ・ピークHRTFモデルの生成アルゴリズムの一例を示す図である。
各ノッチ・ピークを、1)周波数、2)レベル、3)先鋭度、の3つのパラメータで表現し、
図2に示すアルゴリズムによって、パラメトリック・ノッチ・ピークHRTFモデルを生成する。以下の説明において、あるノッチ又はピークを表現する周波数(Freqency)、レベル(Level)、先鋭度(Q)の3つのパラメータのことを、ノッチ・ピークのFLQパラメータ(又は、単にノッチ・ピークのパラメータ)とも記載する。
【0020】
(ステップS1~S3)多数のHRTFを用いてノッチ・ピークのパラメータを得る。
(ステップS4)得られたパラメータを用いて、各ノッチ・ピークの周波数について、特定のノッチもしくはピーク(例えば、第1ノッチ)の周波数における回帰式を求める。
(ステップS5~S6)特定のノッチもしくはピーク(例えば、第1ノッチ)の周波数をパラメータとしたパラメトリック・ノッチ・ピークHRTFモデルを得る。
【0021】
三次元音像定位を実現するには、聴取者本人の、もしくは聴取者に適合するHRTFを提供する必要がある。このようなプロセスをHRTFの個人化という。また、このようなプロセスによって個人化されたHRTFを個人化HRTFという。
【0022】
図3は、HRTF個人適応ソフトウエアのユーザインタフェイスの一例を示す図である。
図4は、HRTF個人適応ソフトウエアの処理の流れの一例を示す図である。
HRTF個人適応ソフトウエアは、頭部伝達関数生成装置1によって提供される。
【0023】
HRTF個人適応ソフトウエアは、パラメトリック・ノッチ・ピークHRTFモデルと音源信号とから、HRTFを畳み込んだ音を生成して、生成した音をヘッドホン(不図示)を介して聴取者に提示する。
聴取者は、パラメトリック・ノッチ・ピークHRTFモデルのパラメータ(例えば、第1ノッチ周波数)を、
図3に示すユーザインタフェイスのスライダSLを用いて変化させ、目標方向に聞こえるパラメータ設定を探索する。聴取者は、ヘッドホンが提示する音が目標方向に聞こえたら、保存ボタンSVを操作する。HRTF個人適応ソフトウエアは、保存ボタンSVが操作されると、設定されたパラメータを用いて個人化HRTFを生成し、生成した個人化HRTFを記憶部(不図示)に記憶させる。
【0024】
本実施形態の頭部伝達関数生成装置1は、前方(正面)と後方(真後ろ)に加えて、上方(天頂)でのHRTFを生成する。この3方向で生成したHRTFのノッチとピークのパラメータ情報から、正中面なんの任意の方向のHRTFのノッチとピークのパラメータ情報を推定し、それらに両耳間差情報を付加することにより、全天空の三次元空間の任意の方向の頭部インパルス応答を生成する。頭部伝達関数生成装置1は、生成した頭部インパルス応答をフーリエ変換することにより、頭部伝達関数に変換する。
【0025】
[頭部伝達関数生成装置のハードウエア構成]
次に
図5を参照しながら実施形態に係る頭部伝達関数生成装置1を構成しているハードウエアについて説明する。
【0026】
図5は、実施形態に係る頭部伝達関数生成装置1を構成しているハードウエアの一例を示す図である。
図5に示すように、頭部伝達関数生成装置1は、プロセッサ11と、主記憶装置12と、通信インターフェース13と、補助記憶装置14と、入出力装置15と、バス16とを備える。
【0027】
プロセッサ11は、例えば、CPU(Central Processing Unit)であり、HRTF個人適応ソフトウエア(以下の説明においてプログラムともいう。)を読み出して実行し、頭部伝達関数生成装置1が有する各機能を実現させる。
【0028】
主記憶装置12は、例えば、RAM(Random Access Memory)であり、プロセッサ11により読み出されて実行されるプログラムを予め記憶している。
【0029】
通信インターフェース13は、ネットワークを介して他の機器と通信を実行するためのインターフェース回路である。ネットワークは、例えば、インターネット、イントラネット、WAN(Wide Area Network)、LAN(Local Area Network)である。
【0030】
補助記憶装置14は、例えば、ハードディスクドライブ(HDD:Hard Disk Drive)、ソリッドステートドライブ(SSD:Solid State Drive)、フラッシュメモリ(Flash Memory)、ROM(Read Only Memory)である。
【0031】
入出力装置15は、例えば、入出力ポート(Input/Output Port)である。入出力装置15は、例えば、
図5に示したマウス151、キーボード152及びディスプレイ153が接続される。マウス151及びキーボード152は、例えば、頭部伝達関数生成装置1を操作するために必要なデータを入力する作業に使用される。ディスプレイ153は、例えば、液晶ディスプレイである。ディスプレイ153は、例えば、頭部伝達関数生成装置1のユーザにより使用されるグラフィカルユーザインターフェース(GUI:Graphical User Interface)を表示する。グラフィカルユーザインターフェースの詳細は、後述する。
【0032】
バス16は、プロセッサ11、主記憶装置12、通信インターフェース13、補助記憶装置14及び入出力装置15を互いにデータの送受信が可能なように接続している。
【0033】
[頭部伝達関数生成装置の機能構成]
次に、
図6を参照しながら実施形態に係る頭部伝達関数生成装置1の機能的な構成について説明する。
【0034】
図6は、実施形態に係る頭部伝達関数生成装置1の機能的な構成の一例を示す図である。
頭部伝達関数生成装置1は、頭部伝達関数取得部111と、推定部112と、両耳間差情報取得部113と、頭部インパルス応答生成部114と、三次元頭部伝達関数生成部115と、受聴装置逆伝達関数取得部116と、受聴装置逆伝達関数畳込部117と、音源信号取得部118と、音源信号畳込部119とを、プロセッサ11のソフトウエア機能部またはハードウエア機能部として備える。
【0035】
頭部伝達関数取得部111は、受聴者の個人化HRTFを取得する。このHRTFには、受聴者の正中面内における、受聴者の正面方向(
図1の方向D1。単に正面ともいう。)のHRTF、受聴者の真後ろ方向(
図1の方向D2。単に後方ともいう。)のHRTF、及び受聴者の天頂方向(
図1の方向D3。単に天頂方向あるいは天頂ともいう。)のHRTFの3種類が含まれる。すなわち、頭部伝達関数取得部111が取得するにはHRTFには、受聴者の正中面内における、受聴者を中心とした少なくとも三方向の頭部伝達関数が含まれる。
【0036】
なお、この一例では頭部伝達関数取得部111が取得するHRTFが、受聴者の正面方向、真後ろ方向及び天頂方向のHRTFであるとして説明するが、これに限られない。頭部伝達関数取得部111が取得するHRTFは、受聴者の正中面内の、受聴者を中心として互いに異なる少なくとも三方向のHRTFであればよい。例えば、受聴者の正面方向(
図1の方向D1)のHRTFとは、上昇角が0度付近であればよい。同様に、受聴者の真後ろ方向(
図1の方向D2)のHRTFとは、上昇角が180度付近であればよい。受聴者の天頂方向(
図1の方向D3)のHRTFとは、上昇角が90度付近であればよい。
すなわち、頭部伝達関数取得部111は、受聴者の正中面内の受聴者を中心とする少なくとも三方向のHRTFをそれぞれ取得する。
【0037】
推定部112は、頭部伝達関数取得部111が取得した頭部伝達関数のノッチ及びピークのパラメータ情報に基づいて、受聴者の正中面内の角度ごとの頭部伝達関数のノッチ及びピークを推定する。
【0038】
両耳間差情報取得部113は、受聴者の両耳間差情報を取得する。
【0039】
頭部インパルス応答生成部114は、推定部112が推定した正中面内の角度ごとのノッチ及びピークの推定結果と、両耳間差情報取得部113が取得した両耳間差情報とに基づいて、受聴者を中心とする三次元空間の任意の方向の頭部インパルス応答を生成する。
【0040】
より具体的には、推定部112は、受聴者の正中面内の上昇角を独立変数とするノッチ及びピークのパラメータの回帰式を求め、上昇角ごとのノッチ及びピークのパラメータを回帰式に基づいて算出することにより、受聴者の正中面内のノッチ及びピークを推定する。
頭部インパルス応答生成部114は、推定部112が算出した受聴者の正中面内のノッチ及びピークのパラメータに基づいて、受聴者の正中面内の頭部インパルス応答を算出する。頭部インパルス応答生成部114は、算出した受聴者の正中面内の頭部インパルス応答と、両耳間差情報と、に基づいて、受聴者の側方角ごとの両耳間時間差及び両耳間レベル差の少なくとも一方を付加することにより、受聴者を中心とする三次元空間の任意の方向の頭部インパルス応答を生成する。
【0041】
三次元頭部伝達関数生成部115は、頭部インパルス応答生成部114が生成した頭部インパルス応答に対して時間周波数変換を施すことにより、受聴者の三次元頭部伝達関数を生成する。
【0042】
受聴装置逆伝達関数取得部116は、受聴者が利用する受聴装置の逆伝達関数を取得する。
受聴装置逆伝達関数畳込部117は、頭部インパルス応答生成部114が生成した受聴者を中心とする三次元空間の任意の方向の頭部インパルス応答に、受聴装置逆伝達関数取得部116が取得した、受聴者が利用する受聴装置の逆伝達関数の畳み込み演算を行う。
【0043】
音源信号取得部118は、音源信号を取得する。
音源信号畳込部119は、受聴装置逆伝達関数畳込部117による畳み込み演算結果に、音源信号取得部118が取得した音源信号の畳み込み演算を行う。
音源信号畳込部119は、音源信号の畳み込み演算後の信号(すなわち、音像定位後音源信号)を出力する。
【0044】
[全天空の任意方向の個人化HRTFの生成]
上述した頭部伝達関数生成装置1のプロセッサ11が行う、全天空の任意方向の個人化HRTFの生成手順の詳細について、
図7から
図30を参照して説明する。
【0045】
(アルゴリズムの概要)
前述のように正中面においては、HRTFに含まれるN(ノッチ。以下の説明において同じ。)/P(ピーク。以下の説明において同じ。)のうち、N1、N2、P1、P2のみを再現することで実測HRTFと同等の音像定位精度が得られる.また、正中面のHRTFに両耳間差情報(ITD、ILD)を加えることで任意の3次元方向に音像を制御できる。以下のアルゴリズムで全天空の任意の方向の個人化HRTFの生成を試みた。
【0046】
1)正中面の上昇角0°(正面)、90°(天頂)、180°(後方)の個人化HRTFをPNPモデルにより生成する。
2)正中面の任意の方向のHRTFのN/Pパラメータを正面、天頂、後方の個人化HRTFのパラメータの線形回帰により推定する。
3)2)の推定値を用いて生成したHRTFに側方角に応じたITD、ILDを付加して、全天空の任意の方向の個人化HRTFを生成する。
以下にアルゴリズムの詳細を述べる。
【0047】
(正面・天頂・後方の個人化HRTFの生成)
PNPモデルはN2周波数を独立変数として他のN/Pパラメータを従属的に表現するHRTFモデルである。N/Pパラメータのうち、周波数は回帰式で求め、レベルとQは定数として扱う。
正面のPNPモデルおよび後方のPNPモデルは、既知の従来手法によって求められている。これらに加えて天頂方向のPNPモデルを構築する。
さらに、PNPモデルを用いて聴取者自身が試聴しながらHRTFの個人化を行えるソフトウエアを開発した(
図7)。
図7は、PNPモデルを用いて聴取者自身が試聴しながらHRTFの個人化を行えるソフトウエアの画面の一例を示す図である。
【0048】
(正中面の任意方向の個人化HRTFの生成)
図8は、正中面のN1周波数の分布の一例を示す図である。
正面、天頂、後方の個人化HRTFを用いて、上半球正中面の任意の方向の個人化HRTFを生成する。正中面のN1周波数は音源が前方から上方に向かうにつれて高くなり、上方から後方に向かって低くなる。一方、N2周波数は音源が前方から上方に向かうにつれて高くなるが、上方から後方の間の変化は小さい(
図8)。
これらの関係より、上半球正中面の前半分(すなわち、上昇角0度から90度の間)の任意の方向のHRTFのN/Pパラメータは、正面と天頂の個人化HRTFのN/Pパラメータを用いて、上昇角を説明変数とした線形回帰により求める。正中面の後半分(すなわち、上昇角90度から180度の間)については、天頂と後方の個人化HRTFのN/Pパラメータを用いて同様に求めた。ある被験者の上半球正中面の任意の上昇角におけるN/Pの周波数、レベル、Qを求めた例を
図9から
図11に示す。
図9は、ある被験者の上半球正中面の任意の上昇角におけるN/Pパラメータ(N/Pの周波数)の一例を示す図である。
図10は、ある被験者の上半球正中面の任意の上昇角におけるN/Pパラメータ(レベル)の一例を示す図である。
図11は、ある被験者の上半球正中面の任意の上昇角におけるN/Pパラメータ(Q)の一例を示す図である。
【0049】
(全天空の任意方向の個人化HRTFの生成)
上半球正中面の個人化HRTFに両耳間差情報を加えることによって全天空の任意の方向の個人化HRTFを生成する。
【0050】
ITDについては頭部を球体とみなすと幾何学的に式(1)で表される。
【0051】
【0052】
ここで、φは方位角[rad]、Dは両耳間距離[m]である。
実際の頭部形状によるITDを反映させるため、18人の日本人成人の被験者の実測HRIRから前半分の水平面4方向(側方角α:0、30、60、90°)のITDを求めた(
図12)。
【0053】
図12は、実際の頭部形状によるITDの分布の一例を示す図である。
ITDは側方角に対してほぼ線形に増加した。そこで式(2)によりITDを付加する。
【0054】
【0055】
ILDは側方角が同一でも周波数によって異なる。音源が広帯域白色雑音の場合の音像方向は、ILDが0dBで正面、±10dBで側方となり、その間はほぼ線形な関係で推移する。式(3)によりILDを付加する。ただし、予備実験によりILDの最大値は9dBとする。
【0056】
【0057】
[3Dレンダリングツールキット]
図13は、本実施形態の個人化頭部インパルス応答の生成処理の手順の一例を示す図である。以下の説明において、本実施形態のプロセッサ11が実行するHRTF個人適応ソフトウエアのことを、3Dレンダリングツールキットとも記載する。
3Dレンダリングツールキットは、全天空の任意の方向の個人化頭部インパルス応答(HRIR)を生成し、最大48個の音源信号との畳み込み処理を行う。処理の手順を以下に示す。
【0058】
(ステップS101) PNPモデルを用いて正面、天頂、後方の個人化HRTFを生成する。プロセッサ11は、正面、天頂、後方の個人化HRTFの各パラメータを取得する。
【0059】
(ステップS102~ステップS105) プロセッサ11は、生成した3方向の個人化HRTFのN/Pパラメータ情報から、正中面の上昇角を説明変数としたN/Pパラメータの回帰式を生成する。
【0060】
(ステップS106) プロセッサ11は、各音源の目標方向(方位角φ、仰角θ)、相対レベルを取得する。プロセッサ11は、方位角φ、仰角θを式(4)、(5)により側方角α、上昇角βに変換する。
【0061】
【0062】
【0063】
プロセッサ11は、ステップS104及びステップS105で求めた回帰式を用いて目標上昇角におけるN/Pパラメータを算出する。
【0064】
(ステップS107) プロセッサ11は、算出した目標上昇角におけるN/Pパラメータをピーキングフィルタに設定して目標上昇角のHRIRを生成する。
【0065】
(ステップS108) プロセッサ11は、目標側方角に対応したITD、ILDを付加して、受聴者を中心とする三次元空間の任意の方向の個人化HRIRを生成する。
【0066】
(ステップS109) プロセッサ11は、受聴者が利用する受聴装置(例えば、ヘッドホン)の逆伝達関数を取得する。プロセッサ11は、ステップS108で生成した頭部インパルス応答に受聴装置の逆伝達関数の逆フィルタ畳み込み演算を行って、個人化HRIRを生成する。
【0067】
(ステップS110) プロセッサ11は、音源信号を取得する。プロセッサ11は、取得した音源信号と、ステップS109で生成した個人化HRIRとを畳み込んで、音像定位後音源信号を生成する。プロセッサ11は、生成した音像定位後音源信号を(例えば、ヘッドホンに)出力して、音像定位後音源信号を再生する。
【0068】
図14は、本実施形態の3Dレンダリングツールキットの設定画面の一例を示す図である。上述した機能の他に、3Dレンダリングツールキットは以下の機能を有する。
・音源信号と個人化HRIRが畳み込まれた信号のファイル出力。
・各音源方向の個人化HRIRのファイル出力。
・正面、天頂、後方の個人化HRTFのN/Pパラメータや音源情報などのプロジェクト情報のファイル出力。
・音源位置のグラフィック表示。
【0069】
[個人化HRTFの音像定位精度の検証]
3Dレンダリングツールキットにより生成した水平面、正中面、横断面の個人化HRTFの音像定位精度を検証した。
【0070】
(水平面内の音像定位)
実験は防音室で実施した。PNPモデルで被験者自身が個人化したHRTFと被験者本人のHRTFを用いた。目標方向は右半分の水平面内(方位角:0-180°、30°間隔)の7方向である。音源信号は広帯域白色雑音(200Hz-17kHz)で、提示時間は1.2s(立上り、立下り各0.1sを含む)である。
音源信号にHRIRを畳み込んだ刺激をFEC(Free air Equivalent Coupling to the ear)ヘッドホンにより被験者に提示した。ヘッドホン伝達関数は補正していない。提示音圧は63dBで、各刺激はランダムな順に10回提示した。被験者は正常な聴力をもつ20代男性2名で、音像の方位角と仰角をマッピング法で回答した。
【0071】
(1)回答分布
図15は、方位角についての各被験者の回答の一例を示す図である。
図16は、仰角についての各被験者の回答の一例を示す図である。
方位角については、被験者1は本人HRTFでは概ね目標方向付近に回答したが、目標方位角60°においては90-120°付近に回答した。個人化HRTFの回答は本人HRTFの回答とほぼ同様であったが、0°で1回、30°で2回の前後誤判定が生じた。被験者2は、本人HRTFでは逆S字カーブを描き、目標方位角60、90、120°の回答が90°付近に分布した。個人化HRTFでは本人HRTFよりも概ね目標方向に近い方向に回答した。ただし、30°では目標方向付近に回答する場合と側方に回答する場合があった。
仰角については、被験者1は本人HRTF、個人化HRTFともにいずれの目標方位角においても0°付近、すなわち水平面付近に回答した。被験者2では、本人HRTFではいずれの目標方位角においても0°付近に回答したが、個人化HRTFでは0、30°において若干音像が上昇した。
【0072】
(2)平均側方角誤差
図17は、左右方向の音像定位精度を評価するための平均側方角誤差の一例を示す図である。側方角は式(4)により求めた。7方向の平均値は、被験者1の本人HRTFでは7.9°、個人化HRTFでは10.2°であり、被験者2の本人HRTFは17.6°、個人化HRTFでは12.4°であった。被験者1、2ともに本人HRTFと個人化HRTFの間に顕著な差はみられなかった。
【0073】
(3)前後誤判定率
図18は、前後方向の音像定位精度を評価するため前後誤判定率の一例を示す図である。7方向の平均値は、被験者1の本人HRTFと個人化HRTFはともに0.08であり、被験者2の本人HRTFは0.23、個人化HRTFでは0.05であった。個人化HRTFの前後誤判定率は本人HRTF同等以下であった。
【0074】
(4)平均仰角誤差
図19は、上下方向の音像定位精度を評価するための平均仰角誤差の一例を示す図である。個人化HRTFの7方向の平均値は本人HRTFと比較すると大きいが、被験者1では1.2°、被験者2では3.2°であった。ただし被験者2の個人化HRTFの方位角0、30°においては、他の方向よりも誤差が大きく、それぞれ9.5°と8.0°であった。
【0075】
(5)頭内定位率
図20は、頭内定位率の一例を示す図である。被験者1では本人HRTF、個人化HRTFともにいずれの目標方位角においても頭内定位は生じなかった。被験者2では本人HRTFでは目標方位角180°において0.20であった。個人化HRTFでは目標方位角0、30、180°でそれぞれ0.10、0.20、0.30であった。
【0076】
(正中面内の音像定位)
実験方法は水平面内の場合と同様である。ただし、目標方向は上半球正中面内(上昇角: 0-180°、30°間隔)の7方向である。
【0077】
(1)回答分布
図21は、被験者が回答した方位角を側方角に変換した結果の一例を示す図である。
図22は、被験者が回答した仰角を上昇に変換した結果の一例を示す図である。
側方角については、被験者およびHRTFの種類に関わらず、いずれの上昇角においても目標側方角0°付近、すなわち正中面付近に回答した。
上昇角については、被験者1は本人HRTFでは目標上昇角0、30、180°においては目標方向付近に回答したが、60、150°では90°付近に回答した。90、120°では90-150°に回答した。個人化HRTFでは0、180°においては目標方向付近に回答した。被験者2は本人HRTFでは目標上昇角60、180°においては目標方向付近に回答した。個人化HRTFでは全体的に回答のばらつきがあるものの、概ね目標方向付近に回答した。
【0078】
(2)平均側方角誤差
図23は、左右方向の音像定位精度を評価するための平均側方角誤差の一例を示す図である。7方向の平均値は、被験者1の本人HRTF、個人化HRTFともに0.1°であり、被験者2の本人HRTFは0.7°、個人化HRTFでは0.6°であった。被験者1、2ともにほぼ正中面内に定位していた。
【0079】
(3)前後誤判定率
図24は、前後方向の音像定位精度を評価するための前後誤判定率の一例を示す図である。7方向の平均値は、被験者1の本人HRTFでは0.08、個人化HRTFでは0.03であり、被験者2の本人HRTFは0.18、個人化HRTFでは0.17であった。被験者1、2ともに本人HRTFと個人化HRTFの間には顕著な差はみられなかった。ただし、被験者の間には0.1程度の差がみられた。
【0080】
(4)平均仰角誤差
図25は、上下方向の音像定位精度を評価するための平均仰角誤差の一例を示す図である。7方向の平均値は、被験者1の本人HRTFでは21.0°、個人化HRTFでは26.0°であり、被験者2の本人HRTFは23.5°、個人化HRTFでは22.3°であった。被験者1、2ともに本人HRTFと個人化HRTFの間には顕著な差はみられなかった。方向ごとにみると、上方では他の方向よりも誤差が大きくなる傾向があった。
【0081】
(5)頭内定位率
図26は、頭内定位率の一例を示す図である。被験者1では本人HRTF、個人化HRTFともにいずれの目標上昇角においても頭内定位は生じなかった。被験者2では本人HRTFでは頭内定位は生じなかったが、個人化HRTFの頭内定位率は目標方位角0、120、150、180°でそれぞれ0.10、0.10、0.40、0.50であった。
【0082】
(横断面内の音像定位)
実験方法は水平面内の場合と同様である。ただし、目標方向は上半球横断面内(側方角:-90-+90°、30°間隔)の7方向である。ただし、本人HRTFは3方向(側方角:-90、0、90°)のみである。
【0083】
(1)回答分布
図27は、被験者が回答した方位角を側方角に変換した結果の一例を示す図である。
図28は、被験者が回答した仰角を上昇に変換した結果の一例を示す図である。
側方角については、被験者1、2とも本人HRTF、個人化HRTFのいずれの側方角においても目標方向付近に知覚した。ただし、被験者2の個人化HRTFの回答のばらつきは本人HRTFより大きい。
上昇角については、目標側方角が±90°に対しては定義できないため、本人HRTFでは0°、個人化HRTFでは0、±30、±60°の結果を示す。目標側方角0°の刺激に対して、本人HRTFでは被験者1は135-165°に回答した。被験者2は90°付近と160-180°に回答した。個人化HRTFの回答分布は被験者1、2ともに本人HRTFとほぼ同様であった。
【0084】
(2)平均側方角誤差
図29は、左右方向の音像定位精度を評価するための平均側方角誤差の一例を示す図である。3方向の平均値は、被験者1の本人HRTFでは6.3°、個人化HRTFでは12.0°であり、被験者2の本人HRTFは5.8°、個人化HRTFでは17.0°であった。被験者1、2ともに個人化HRTFの平均側方角誤差は本人HRTFより大きい。個人化HRTFの7方向の平均側方角誤差は、被験者1、2でそれぞれ15.8、17.2°であった。
【0085】
(3)平均仰角誤差
図30は、上下方向の音像定位精度を評価するための平均仰角誤差の一例を示す図である。3方向の平均値は、被験者1の本人HRTFでは25.6°、個人化HRTFでは33.6°であり、被験者2の本人HRTFは14.4°、個人化HRTFでは22.7°であった。被験者1、2ともに個人化HRTFの平均仰角誤差は本人HRTFと比較して8°程度大きかった。個人化HRTFの7方向の平均仰角誤差は、被験者1、2でそれぞれ28.5、35.3°であった。
【0086】
(4)頭内定位率
いずれの場合も頭内定位は生じなかった。
【0087】
ここまで、ヘッドホン伝達関数の補正を行っていない被験者本人の個人化HRTFによる定位精度について説明した。次に、ヘッドホン伝達関数の補正を行った場合の被験者本人の個人化HRTFによる定位精度について説明する。
【0088】
図31は、ヘッドホン伝達関数の補正を行った場合の被験者本人の個人化HRTFによる定位精度の一例を示す図である。
同図に示すように、ヘッドホン伝達関数の補正を行った場合、横断面の上昇角について被験者2で定位精度の向上効果が見られた。
【0089】
本実施形態の頭部伝達関数生成装置1は、正面と後方に加えて天頂方向のPNPモデルを構築し、正中面の任意の方向の個人化HRTFを生成する。頭部伝達関数生成装置1が生成した個人化HRTFの音像定位実験を行った結果、水平面内の任意の方向への精度よい音像定位が可能であることを示した。本実施形態の頭部伝達関数生成装置1によれば、全天空三次元空間の任意の方向の頭部伝達関数を精度よく生成することができる。
【0090】
以上、本発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。上述した実施形態に記載の構成を組み合わせてもよい。
【0091】
なお、上記の実施形態における頭部伝達関数生成装置1が備える各部は、専用のハードウエアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。
【0092】
なお、頭部伝達関数生成装置1が備える各部は、メモリおよびCPU(中央演算装置)により構成され、頭部伝達関数生成装置1が備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
【0093】
また、頭部伝達関数生成装置1が備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、制御部が備える各部による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウエアを含むものとする。
【0094】
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【符号の説明】
【0095】
1…頭部伝達関数生成装置、111…頭部伝達関数取得部、112…推定部、113…両耳間差情報取得部、114…頭部インパルス応答生成部、115…三次元頭部伝達関数生成部、116…受聴装置逆伝達関数取得部、117…受聴装置逆伝達関数畳込部、118…音源信号取得部、119…音源信号畳込部