特許第6596896号(P6596896)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社JVCケンウッドの特許一覧

特許6596896頭部伝達関数選択装置、頭部伝達関数選択方法、頭部伝達関数選択プログラム、音声再生装置
<>
  • 特許6596896-頭部伝達関数選択装置、頭部伝達関数選択方法、頭部伝達関数選択プログラム、音声再生装置 図000002
  • 特許6596896-頭部伝達関数選択装置、頭部伝達関数選択方法、頭部伝達関数選択プログラム、音声再生装置 図000003
  • 特許6596896-頭部伝達関数選択装置、頭部伝達関数選択方法、頭部伝達関数選択プログラム、音声再生装置 図000004
  • 特許6596896-頭部伝達関数選択装置、頭部伝達関数選択方法、頭部伝達関数選択プログラム、音声再生装置 図000005
  • 特許6596896-頭部伝達関数選択装置、頭部伝達関数選択方法、頭部伝達関数選択プログラム、音声再生装置 図000006
  • 特許6596896-頭部伝達関数選択装置、頭部伝達関数選択方法、頭部伝達関数選択プログラム、音声再生装置 図000007
  • 特許6596896-頭部伝達関数選択装置、頭部伝達関数選択方法、頭部伝達関数選択プログラム、音声再生装置 図000008
  • 特許6596896-頭部伝達関数選択装置、頭部伝達関数選択方法、頭部伝達関数選択プログラム、音声再生装置 図000009
  • 特許6596896-頭部伝達関数選択装置、頭部伝達関数選択方法、頭部伝達関数選択プログラム、音声再生装置 図000010
  • 特許6596896-頭部伝達関数選択装置、頭部伝達関数選択方法、頭部伝達関数選択プログラム、音声再生装置 図000011
  • 特許6596896-頭部伝達関数選択装置、頭部伝達関数選択方法、頭部伝達関数選択プログラム、音声再生装置 図000012
  • 特許6596896-頭部伝達関数選択装置、頭部伝達関数選択方法、頭部伝達関数選択プログラム、音声再生装置 図000013
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6596896
(24)【登録日】2019年10月11日
(45)【発行日】2019年10月30日
(54)【発明の名称】頭部伝達関数選択装置、頭部伝達関数選択方法、頭部伝達関数選択プログラム、音声再生装置
(51)【国際特許分類】
   H04R 3/00 20060101AFI20191021BHJP
   H04R 3/04 20060101ALI20191021BHJP
   H04S 1/00 20060101ALI20191021BHJP
   H04S 7/00 20060101ALI20191021BHJP
【FI】
   H04R3/00 320
   H04R3/04
   H04S1/00 500
   H04S7/00 340
【請求項の数】6
【全頁数】17
(21)【出願番号】特願2015-81483(P2015-81483)
(22)【出願日】2015年4月13日
(65)【公開番号】特開2016-201723(P2016-201723A)
(43)【公開日】2016年12月1日
【審査請求日】2018年1月31日
(73)【特許権者】
【識別番号】308036402
【氏名又は名称】株式会社JVCケンウッド
(74)【代理人】
【識別番号】100083806
【弁理士】
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100101247
【弁理士】
【氏名又は名称】高橋 俊一
(72)【発明者】
【氏名】藤井 優美
【審査官】 柴垣 俊男
(56)【参考文献】
【文献】 特開2014−099797(JP,A)
【文献】 特開2015−019360(JP,A)
【文献】 特開2001−016697(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04R 3/00
H04R 3/04
H04S 1/00
H04S 7/00
(57)【特許請求の範囲】
【請求項1】
ユーザの顔の前方に位置させたスピーカから測定信号としての所定の音声を発生させた状態で、前記スピーカを垂直方向に円弧状に移動させて仰角として複数の角度に位置させたとき、前記ユーザの耳に装着したマイクロホンによって前記所定の音声を収音した音声信号に基づいて、前記複数の角度の位置における前記ユーザの複数の頭部インパルス応答を取得する測定部と、
前記複数の頭部インパルス応答それぞれに対応する複数の周波数特性において特定の周波数の範囲に発生する局所的なピークの周波数を前記ユーザの頭部伝達関数の特徴量として抽出する特徴量抽出部と、
前記特徴量抽出部によって抽出された特徴量に基づいて、複数の人それぞれの頭部伝達関数と頭部伝達関数の特徴量とを対応付けたデータベースからいずれかの頭部伝達関数を選択する特性選択部と、
を備える頭部伝達関数選択装置。
【請求項2】
前記測定部は、前記スピーカを前記ユーザの顔の正面に位置させた状態を、水平方向の角度θが0°、仰角γが0°であるとしたとき、前記スピーカを、角度θが0°または正もしくは負の所定の角度θに位置させた状態で、前記スピーカを、垂直方向に円弧状に移動させて仰角γとして複数の角度に位置させたときの複数の頭部インパルス応答を取得し、
前記特徴量抽出部は、前記複数の頭部インパルス応答に対応する周波数特性に基づいて特徴量を抽出する
求項1記載の頭部伝達関数選択装置。
【請求項3】
前記測定部は、さらに、前記スピーカを、仰角γを0°として、角度θが正及び負の所定の角度θに位置させたときの複数の頭部インパルス応答を取得する請求項2記載の頭部伝達関数選択装置。
【請求項4】
ユーザの顔の前方に位置させたスピーカから測定信号としての所定の音声を発生させた状態で、前記スピーカを垂直方向に円弧状に移動させて仰角として複数の角度に位置させ
ーザの耳に装着したマイクロホンによって前記所定の音声を収音した音声信号に基づいて、前記複数の角度の位置における前記ユーザの複数の頭部インパルス応答を取得し、
前記複数の頭部インパルス応答それぞれに対応する複数の周波数特性において特定の周波数の範囲に発生する局所的なピークの周波数を前記ユーザの頭部伝達関数の特徴量として抽出し、
抽出された特徴量に基づいて、複数の人それぞれの頭部伝達関数と頭部伝達関数の特徴量とを対応付けたデータベースからいずれかの頭部伝達関数を選択する
部伝達関数選択方法。
【請求項5】
コンピュータに、
ユーザの顔の前方に位置させたスピーカから測定信号としての所定の音声を発生させた状態で、前記スピーカを垂直方向に円弧状に移動させて仰角として複数の角度に位置させたとき、前記ユーザの耳に装着したマイクロホンによって前記所定の音声を収音した音声信号に基づいて、前記複数の角度の位置における前記ユーザの複数の頭部インパルス応答を取得するステップと、
前記複数の頭部インパルス応答それぞれに対応する複数の周波数特性において特定の周波数の範囲に発生する局所的なピークの周波数を前記ユーザの頭部伝達関数の特徴量として抽出するステップと、
抽出された特徴量に基づいて、複数の人それぞれの頭部伝達関数と頭部伝達関数の特徴量とを対応付けたデータベースからいずれかの頭部伝達関数を選択するステップと、
を実行させる頭部伝達関数選択プログラム。
【請求項6】
ユーザの顔の前方に位置させたスピーカから測定信号としての所定の音声を発生させた状態で、前記スピーカを垂直方向に円弧状に移動させて仰角として複数の角度に位置させたとき、前記ユーザの耳に装着したマイクロホンによって前記所定の音声を収音した音声信号に基づいて、前記複数の角度の位置における前記ユーザの複数の頭部インパルス応答を取得する測定部と、
前記複数の頭部インパルス応答それぞれに対応する複数の周波数特性において特定の周波数の範囲に発生する局所的なピークの周波数を前記ユーザの頭部伝達関数の特徴量として抽出する特徴量抽出部と、
前記特徴量抽出部によって抽出された特徴量に基づいて、複数の人それぞれの頭部伝達関数と頭部伝達関数の特徴量とを対応付けたデータベースからいずれかの頭部伝達関数を選択する特性選択部と、
音声データに、前記特性選択部によって選択された頭部伝達関数を畳み込み演算して、前記音声データを再生する再生部と、
を備える音声再生装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザ自身の頭部伝達関数と近い頭部伝達関数を選択することができる頭部伝達関数選択装置、頭部伝達関数選択方法、頭部伝達関数選択プログラム、ユーザ自身の頭部伝達関数と近い頭部伝達関数を用いて音声信号を再生することができる音声再生装置に関する。
【背景技術】
【0002】
ヘッドホン(イヤホン)によって音声信号を再生して聴くと、音声が頭の中で鳴っているように感じる頭内定位という現象が起こりやすい。ダミーヘッドや他人の頭部による頭部伝達関数を用いて、音声が頭の外で鳴っているように頭外定位させる技術を用いれば、頭内定位の現象を低減させることができる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2013−168924号公報
【特許文献2】特表2013−524711号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
頭部伝達関数は、頭部や耳介の形状によって特性が異なる。よって、ヘッドホンを装着して音声を聴くユーザ自身の頭部伝達関数を用いて音声を頭外定位させることが望ましい。しかしながら、自分自身の頭部伝達関数を日常生活の中で測定することは容易ではない。
【0005】
本発明は、自分自身の頭部伝達関数に近似する頭部伝達関数を容易に選択することができる頭部伝達関数選択装置、頭部伝達関数選択方法、頭部伝達関数選択プログラムを提供することを目的とする。また、本発明は、自分自身の頭部伝達関数に近似する頭部伝達関数を用いて音声信号を再生することができる音声再生装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明は、ユーザの顔の前方に位置させたスピーカから測定信号としての所定の音声を発生させた状態で、前記スピーカを垂直方向に円弧状に移動させて仰角として複数の角度に位置させたとき、前記ユーザの耳に装着したマイクロホンによって前記所定の音声を収音した音声信号に基づいて、前記複数の角度の位置における前記ユーザの複数の頭部インパルス応答を取得する測定部と、前記複数の頭部インパルス応答それぞれに対応する複数の周波数特性において特定の周波数の範囲に発生する局所的なピークの周波数を前記ユーザの頭部伝達関数の特徴量として抽出する特徴量抽出部と、前記特徴量抽出部によって抽出された特徴量に基づいて、複数の人それぞれの頭部伝達関数と頭部伝達関数の特徴量とを対応付けたデータベースからいずれかの頭部伝達関数を選択する特性選択部とを備える頭部伝達関数選択装置を提供する。
【0007】
本発明は、ユーザの顔の前方に位置させたスピーカから測定信号としての所定の音声を発生させた状態で、前記スピーカを垂直方向に円弧状に移動させて仰角として複数の角度に位置させーザの耳に装着したマイクロホンによって前記所定の音声を収音した音声信号に基づいて、前記複数の角度の位置における前記ユーザの複数の頭部インパルス応答を取得し、前記複数の頭部インパルス応答それぞれに対応する複数の周波数特性において特定の周波数の範囲に発生する局所的なピークの周波数を前記ユーザの頭部伝達関数の特徴量として抽出し、抽出された特徴量に基づいて、複数の人それぞれの頭部伝達関数と頭部伝達関数の特徴量とを対応付けたデータベースからいずれかの頭部伝達関数を選択する部伝達関数選択方法を提供する。
【0008】
本発明は、コンピュータに、ユーザの顔の前方に位置させたスピーカから測定信号としての所定の音声を発生させた状態で、前記スピーカを垂直方向に円弧状に移動させて仰角として複数の角度に位置させたとき、前記ユーザの耳に装着したマイクロホンによって前記所定の音声を収音した音声信号に基づいて、前記複数の角度の位置における前記ユーザの複数の頭部インパルス応答を取得するステップと、前記複数の頭部インパルス応答それぞれに対応する複数の周波数特性において特定の周波数の範囲に発生する局所的なピークの周波数を前記ユーザの頭部伝達関数の特徴量として抽出するステップと、抽出された特徴量に基づいて、複数の人それぞれの頭部伝達関数と頭部伝達関数の特徴量とを対応付けたデータベースからいずれかの頭部伝達関数を選択するステップとを実行させる頭部伝達関数選択プログラムを提供する。
【0009】
本発明は、ユーザの顔の前方に位置させたスピーカから測定信号としての所定の音声を発生させた状態で、前記スピーカを垂直方向に円弧状に移動させて仰角として複数の角度に位置させたとき、前記ユーザの耳に装着したマイクロホンによって前記所定の音声を収音した音声信号に基づいて、前記複数の角度の位置における前記ユーザの複数の頭部インパルス応答を取得する測定部と、前記複数の頭部インパルス応答それぞれに対応する複数の周波数特性において特定の周波数の範囲に発生する局所的なピークの周波数を前記ユーザの頭部伝達関数の特徴量として抽出する特徴量抽出部と、前記特徴量抽出部によって抽出された特徴量に基づいて、複数の人それぞれの頭部伝達関数と頭部伝達関数の特徴量とを対応付けたデータベースからいずれかの頭部伝達関数を選択する特性選択部と、音声データに、前記特性選択部によって選択された頭部伝達関数を畳み込み演算して、前記音声データを再生する再生部とを備える音声再生装置を提供する。
【発明の効果】
【0010】
本発明の頭部伝達関数選択装置、頭部伝達関数選択方法、頭部伝達関数選択プログラムによれば、自分自身の頭部伝達関数に近似する頭部伝達関数を容易に選択することができ、自分自身の特性に近い定位効果を容易に実現できる。本発明の音声再生装置によれば、自分自身の頭部伝達関数に近似する頭部伝達関数を用いて音声信号を再生することができる。
【図面の簡単な説明】
【0011】
図1】一実施形態の頭部伝達関数選択装置及び音声再生装置を示すブロック図である。
図2】ユーザの頭部インパルス応答を測定する第1測定例を示すフローチャートである。
図3】携帯端末を水平方向の角度0°、仰角0°である顔の正面に位置させた状態を示す模式図である。
図4】携帯端末を仰角0°の位置から30°,60°に移動させる状態を示す模式図である。
図5】第1測定例による測定パターンを示す図である。
図6】無響室において測定信号の音声をスピーカより出力させて、水平方向の角度0°で仰角を変化させたときの頭部伝達関数を示す特性図である。
図7】ユーザの頭部インパルス応答を測定する第2測定例を示すフローチャートである。
図8】携帯端末を水平方向の角度−30°の位置から0°,30°に移動させる状態を示す模式図である。
図9】第2測定例による測定パターンを示す図である。
図10】ユーザの頭部インパルス応答を測定する第3測定例を示すフローチャートである。
図11】第3測定例による測定パターンを示す図である。
図12】第1〜第4測定例をまとめた図である。
【発明を実施するための形態】
【0012】
以下、一実施形態の頭部伝達関数選択装置、頭部伝達関数選択方法、頭部伝達関数選択プログラム、音声再生装置について、添付図面を参照して説明する。
【0013】
<頭部伝達関数選択装置及び音声再生装置の全体構成>
まず、図1を用いて、一実施形態の頭部伝達関数選択装置及び音声再生装置の全体構成を説明する。
【0014】
図1において、汎用の携帯端末100は、頭部伝達関数選択装置及び音声再生装置として機能する。携帯端末100は、一例として、スマートフォン等の携帯電話であってもよい。
【0015】
携帯端末100は、カメラ1と、加速度センサ2と、角速度センサ3とを備える。カメラ1と、加速度センサ2と、角速度センサ3とは、例えばCPUによって構成される制御部4に接続されている。制御部4は、測定部41と、特徴量抽出部42と、特性選択部43と、再生部44とを有する。
【0016】
カメラ1が被写体を撮影した撮影信号は測定部41に入力され、測定部41より表示部10に供給されて表示される。ユーザが、図示していない操作部によって所定の操作をしたら、カメラ1は被写体を撮影して撮影信号を生成すればよい。
【0017】
加速度センサ2が検出した加速度検出信号と、角速度センサ3が検出した携帯端末100の傾きや角度を示す角速度検出信号は測定部41に入力される。加速度センサ2及び角速度センサ3は、携帯端末100の電源が投入されている状態で常時動作していてもよい。
【0018】
測定部41は、ユーザの頭部インパルス応答(HRIR)を測定するための所定の測定信号であるデジタル音声データを発生させることができる。ユーザが操作部によって所定の操作をしたら、測定部41はデジタル音声データをD/A変換器5に供給する。
【0019】
D/A変換器5はデジタル音声データをアナログ音声信号に変換して、スピーカ6に供給する。スピーカ6は、携帯端末100に内蔵されているスピーカでよい。スピーカ6として、外付けのスピーカを用いてもよい。スピーカ6はモノラルスピーカであってもよく、ステレオスピーカであってもよい。
【0020】
音声信号出力端子7には、ヘッドホン40が取り付けられることがある。ヘッドホン40の使い方については後述する。
【0021】
マイクロホン接続端子8には、マイクロホン20が接続されている。マイクロホン20は、ユーザの耳介に装着できるイヤホン型のマイクロホンであることが好ましい。マイクロホン20は、モノラルのマイクロホンであってもよく、ステレオのマイクロホンであってもよい。本実施形態においては、マイクロホン20は、モノラルのマイクロホンであるとする。
【0022】
後述するようにして、ユーザが携帯端末100を自分の顔の前方に位置させた状態でスピーカ6より音声を出力させたとき、マイクロホン20は音声を収音する。マイクロホン20より出力されたアナログ音声信号は、マイクロホン接続端子8を介してA/D変換器9に入力される。A/D変換器9は、アナログ音声信号をデジタル音声データに変換して、測定部41に供給する。
【0023】
測定部41に入力されるデジタル音声データは、ユーザの頭部や耳介の形状によって異なるユーザ自身のHRIRを示す。
【0024】
測定部41は、携帯端末100を後述する複数の位置に位置させたときのHRIRを取得して、記憶部11に一時的に記憶させる。記憶部11に記憶されたHRIRは、特徴量抽出部42に入力される。
【0025】
特徴量抽出部42は、入力されたHRIRをフーリエ変換して頭部伝達関数(HRTF)を生成する。測定部41がHRIRをHRTFに変換して、記憶部11に記憶させてもよい。
【0026】
特徴量抽出部42は、ユーザのHRTFが有する特徴量を取得する。特徴量の詳細については後述する。特徴量抽出部42が抽出した特徴量は、特性選択部43に入力される。
【0027】
外部のサーバ30には、多数の人のそれぞれのHRTFと、後述するHRTFの特徴量とを対応付けたデータベース301が記憶されている。特性選択部43は、通信部12を介してサーバ30にアクセスし、データベース301より、特徴量抽出部42が抽出した特徴量に最も近似する特徴量を有するHRTFを選択する。
【0028】
選択されたHRTFは、通信部12を介して特性選択部43に入力される。選択されたHRTFは、ユーザ自身のHRTFとほぼ同等のHRTFである。特性選択部43は、HRTFを再生部44に供給する。
【0029】
携帯端末100が予めデータベース301を内蔵していてもよい。携帯端末100がサーバ30にアクセスしてデータベース301のデータを読み出し、記憶部11または図示していない他の記憶部にデータベース301と同様のデータを記憶させもよい。
【0030】
再生部44には、音声信号入力端子13を介して、外部より、携帯端末100によって再生すべきデジタル音声データが入力される。再生部44に、携帯端末100に内蔵された記憶部に記憶されたデジタル音声データが入力されてもよい。外部よりアナログ音声信号が入力される場合には、A/D変換器9または他のA/D変換器によってデジタル音声データに変換して再生部44に供給すればよい。
【0031】
再生部44は、デジタル音声データにHRTFを畳み込み演算するフィルタ441を有する。フィルタ441は、入力されたデジタル音声データに特性選択部43によって選択されたHRTFを畳み込み演算して、D/A変換器5に供給する。D/A変換器5は、再生部44より供給されたデジタル音声データをアナログ音声信号に変換する。
【0032】
D/A変換器5より出力されたアナログ音声信号は、音声信号出力端子7を介してヘッドホン40に供給される。ヘッドホン40は、オーバヘッド型、インナイヤ型、カナル型等の任意のヘッドホンである。ヘッドホンには、イヤホンと称されているものも含まれる。ヘッドホン40とマイクロホン20とが一体的に構成されていてもよい。
【0033】
ユーザは、ヘッドホン40を頭部または耳介に装着して、音声信号出力端子7より出力されたアナログ音声信号による音声を聴く。フィルタ441によってユーザ自身のHRTFとほぼ同等のHRTFが畳み込まれていることから、ユーザは、自分自身に適した状態で頭外定位した音声を聴くことができる。
【0034】
また、ユーザは、左右の音声が後述する所定の角度方向から鳴っているような状態で音声を聴くことができる。
【0035】
次に、ユーザのHRIRを測定するための具体的な測定例を順に説明する。
【0036】
<第1測定例>
図2に示すフローチャートを用いて、第1測定例を説明する。図2に示すフローチャートまたは後述するフローチャートは、ユーザによる動作を示すステップと、携帯端末100で実行される処理を示すステップとを含む。
【0037】
図2において、ユーザは、ステップS11にて、マイクロホン20を一方の耳に装着し、携帯端末100の仰角γを0°とし、水平方向の角度θとして0°の方向に位置させる。
【0038】
具体的には、図3に示すように、ユーザは例えば左耳50Lにマイクロホン20を装着し、携帯端末100を頭部50(顔)の正面に位置させる。携帯端末100が顔の正面である状態を、水平方向の角度θが0°であるとする。
【0039】
また、携帯端末100が所望の位置に正しく位置していることを確認するために、カメラ1で撮影した映像や、加速度センサ2、角速度センサ3を用いて、顔の位置が正面となるように、位置補正を行ってもよい。
【0040】
図4に示すように、携帯端末100を頭部50の中心を中心として垂直方向に円弧状に移動させたときの垂直方向の角度を仰角γとする。ユーザが携帯端末100を左耳50Lまたは右耳50Rの高さに位置させた状態を、仰角γが0°であるとする。
【0041】
図3及び図4に実線で示す携帯端末100の位置が、ステップS11による携帯端末100の設定位置である。
【0042】
ユーザは、ステップS13にて、上述した測定信号の音声をスピーカ6より出力させた状態で、携帯端末100の仰角γを0°の位置から、30°,60°の位置へと移動させる。このとき、測定部41は、仰角γとして0°,30°,60°のHRIRを取得する。
【0043】
測定部41には、カメラ1が被写体を撮影した撮影信号、加速度センサ2からの加速度検出信号、角速度センサ3からの角速度検出信号が入力される。よって、測定部41は、携帯端末100が、0°,30°,60°のそれぞれの仰角γに位置した時点でのHRIRを取得すればよい。
【0044】
ユーザは、仰角γを厳密に気にする必要はなく、仰角γが0°から60°の範囲を含むように、携帯端末100を垂直方向に移動させればよい。このとき、カメラ1で撮影した映像と加速度センサ2、角速度センサ3の情報から、測定時の携帯端末100を移動させる軌道から外れたことを検出した場合、正しい軌道を表示部10に表示するなどの処理を行い、軌道を修正可能としてもよい。
【0045】
次に、ユーザは、ステップS14にて、マイクロホン20をもう一方の耳に装着し、携帯端末100の仰角γを0°とし、水平方向の角度θとして0°の方向に位置させる。
【0046】
ユーザは、ステップS16にて、測定信号の音声をスピーカ6より出力させた状態で、携帯端末100の仰角γを0°の位置から、30°,60°の位置へと移動させる。このとき、測定部41は、仰角γとして0°,30°,60°のHRIRを取得する。
【0047】
第1測定例による測定パターンは、図5に示す測定パターンMP1である。なお、仰角γの0°,30°,60°は単なる例であり、他の角度でもよいし、仰角γの数は3つに限定されるものではない。仰角γの数は2つ以上とするのがよい。
【0048】
特徴量抽出部42は、ステップS17にて、HRIRの特徴量を抽出する。特徴量抽出部42は、一例として、次のようにHRIRの特徴量を抽出すればよい。
【0049】
図6において、実線で示す特性は、水平方向の角度θを0°、仰角γを0°として、無響室で、測定信号の音声をスピーカ6より出力させたときに測定したHRTFを示している。一点鎖線で示す特性は、水平方向の角度θを0°、仰角γを10°として、無響室で、測定信号の音声をスピーカ6より出力させたときに測定したHRTFを示している。
【0050】
図6に示すようなHRTFは、個人の頭部形状や耳の形状により特性が異なる。マサチューセッツ工科大学や名古屋大学の板倉研究室らは、全方向における入射角度を測定したHRTFのデータベースをインターネットで公開している。
【0051】
図6は、東北大学電子通信研究所先端音情報システム研究室(http://www.ais.riec.tohoku.ac.jp/lab/db-hrtf/index-j.html)らが公開している、無響室で測定したHRTFについて、ある特定の被験者における水平方向0°、仰角方向0°〜30°の測定データを取得し、図式化したものである。
【0052】
破線で示す特性は、水平方向の角度θを0°、仰角γを20°として、無響室で、測定信号の音声をスピーカ6より出力させたときに測定したHRTFを示している。二点鎖線で示す特性は、水平方向の角度θを0°、仰角γを30°として、無響室で、測定信号の音声をスピーカ6より出力させたときに測定したHRTFを示している。
【0053】
図6に示すように、周波数10kHz〜20kHzの局所的なピークP2の周波数は、仰角γが0°〜30°でほぼ同一である。ここでは図示していない仰角γが30°〜60°でも同様に、ピークP2の周波数はほぼ同一となる。
【0054】
前述のデータベースを参照し、本発明者による他の被験者の測定データを検証し図式したところ、同一被験者においては、仰角γが0°から30°において、ピークP2の周波数は同一またはほぼ同一であるが、異なる被験者においては発生するピークP2は異なる周波数となることを確認した。このため、特徴量抽出部42は、ピークP2の周波数をユーザそれぞれのHRTFの特徴量の1つして抽出する。
【0055】
特徴量抽出部42は、ピークP2の周波数に加えて、仰角γに応じたピークP2の振幅増減の変化量をHRTFの特徴量として抽出してもよい。
【0056】
図5に示す測定パターンMP1によって測定したHRTFの特徴量を特徴量1と称することとする。データベース301には、多数の人のそれぞれのHRTFと少なくとも特徴量1とが対応付けられている。
【0057】
図2に戻り、特性選択部43は、ステップS18にて、データベース301より、特徴量抽出部42が抽出した特徴量1に最も近似する特徴量を有するHRTFを選択し、HRTFを再生部44に設定して処理を終了させる。
【0058】
HRTFは、一例として、左右の音声を仰角γで水平方向の角度±θ°の方向に定位させるHRTF(θ,0),HRTF(−θ,0)なるデータである。角度θ°は例えば30°である。
【0059】
<第2測定例>
図7に示すフローチャートを用いて、第2測定例を説明する。図7において、ユーザは、ステップS21にて、マイクロホン20を一方の耳に装着し、携帯端末100の仰角γを0°とし、水平方向の所定の位置に位置させる。
【0060】
具体的には、図8に示すように、ユーザは例えば左耳50Lにマイクロホン20を装着し、携帯端末100を頭部50(顔)の正面に対して例えば左側に位置させる。第2測定例においても、第1速定例と同様に、携帯端末100が所望の位置に正しく位置していることを確認するために、カメラ1で撮影した映像や、加速度センサ2、角速度センサ3を用いて、顔の位置が正面となるように、位置補正を行ってもよい。
【0061】
ユーザは、ステップS22にて、測定信号の音声をスピーカ6より出力させた状態で、携帯端末100を頭部50の中心を中心として、図8に二点鎖線で示すように水平方向に円弧状に移動させる。このとき、測定部41は、水平方向の角度θとして−30°,30のHRIRを取得する。
【0062】
ここでも、測定部41には、カメラ1が被写体を撮影した撮影信号、加速度センサ2からの加速度検出信号、角速度センサ3からの角速度検出信号が入力される。よって、測定部41は、携帯端末100が、−30°,30それぞれの水平方向の角度θに位置した時点でのHRIRを取得すればよい。
【0063】
ユーザは、水平方向の角度θを厳密に気にする必要はなく、水平方向の角度θが−30°から30°の範囲を含むように、携帯端末100を水平方向に移動させればよい。
【0064】
次に、ユーザは、ステップS23にて、測定信号の音声をスピーカ6より出力させた状態で、水平方向の角度θを0°とし、携帯端末100の仰角γを0°の位置から、30°,60°の位置へと移動させる。このとき、測定部41は、仰角γとして0°,30°,60°のHRIRを取得する。
【0065】
引き続き、ユーザは、ステップS24にて、マイクロホン20をもう一方の耳に装着し、ステップS21と同様に、携帯端末100の仰角γを0°とし、水平方向の所定の位置に位置させる。
【0066】
ユーザは、ステップS25にて、測定信号の音声をスピーカ6より出力させた状態で、携帯端末100を頭部50の中心を中心として水平方向に円弧状に移動させる。このとき、測定部41は、水平方向の角度θとして−30°,30のHRIRを取得する。
【0067】
次に、ユーザは、ステップS26にて、測定信号の音声をスピーカ6より出力させた状態で、水平方向の角度θを0°とし、携帯端末100の仰角γを0°の位置から、30°,60°の位置へと移動させる。このとき、測定部41は、仰角γとして0°,30°,60°のHRIRを取得する。
【0068】
第2測定例においても、第1測定例と同様に、カメラ1で撮影した映像と加速度センサ2、角速度センサ3の情報から、測定時の携帯端末100を移動させる軌道から外れたことを検出した場合、正しい軌道を表示部10に表示するなどの処理を行い、軌道を修正可能としてもよい。
【0069】
第2測定例による測定パターンは、図9に示す測定パターンMP1及びMP2である。図7では、測定パターンMP2による測定の次に測定パターンMP1による測定としたが、順番は逆でもよい。
【0070】
同様に、仰角γの0°,30°,60°は単なる例であり、他の角度でもよいし、仰角γの数は3つに限定されるものではない。仰角γの数は2つ以上とするのがよい。水平方向の角度θは−30°と30°に限定されない。
【0071】
特徴量抽出部42は、ステップS27にて、HRTFの特徴量を抽出する。特徴量抽出部42は、一例として、次のようにHRIRの特徴量を抽出すればよい。
【0072】
図9に示す測定パターンMP2における水平方向の角度θが−30°のときのピークP2の周波数を特徴量4と称し、30°のときのピークP2の周波数を特徴量5と称することとする。データベース301には、多数の人のそれぞれのHRTFと少なくとも特徴量1,4,5とが対応付けられている。
【0073】
特徴量4,5には、図6における4kHz近傍のピークP1の周波数を特徴量として加えてもよい。人それぞれでピークP1の周波数も異なることから、ピークP1の周波数をユーザそれぞれのHRTFの特徴量の1つとすることができる。ピークP1の振幅値をHRIRの特徴量として加えてもよい。
【0074】
図7に戻り、特性選択部43は、ステップS28にて、データベース301より、特徴量抽出部42が抽出した特徴量1,4,5に最も近似する特徴量を有するHRTFを選択し、HRTFを再生部44に設定して処理を終了させる。
【0075】
HRTFの具体的なデータは第1測定例と同様であり、一例として、左右の音声を仰角γで水平方向の角度±θ°の方向に定位させるHRTF(θ,0),HRTF(−θ,0)なるデータである。角度θ°は例えば30°である。
【0076】
<第3測定例>
図10に示すフローチャートを用いて、第3測定例を説明する。図10において、ユーザは、ステップS301にて、マイクロホン20を一方の耳に装着し、携帯端末100の仰角γを0°とし、水平方向の角度θとして−30°に位置させる。
【0077】
図8に実線で示す携帯端末100の位置が、ステップS301による携帯端末100の設定位置である。第3測定例においても、第1速定例または第2測定例と同様に、携帯端末100が所望の位置に正しく位置していることを確認するために、カメラ1で撮影した映像や、加速度センサ2、角速度センサ3を用いて、顔の位置が正面となるように、位置補正を行ってもよい。
【0078】
ユーザは、ステップS302にて、測定信号の音声をスピーカ6より出力させた状態で、携帯端末100を仰角方向に移動させる。このとき、測定部41は、仰角γとして0°,30°,60°のHRIRを取得する。
【0079】
次に、ユーザは、ステップS303にて、携帯端末100の仰角γを0°とし、水平方向の角度θとして30°に位置させる。
【0080】
ユーザは、ステップS304にて、測定信号の音声をスピーカ6より出力させた状態で、携帯端末100を仰角方向に移動させる。このとき、測定部41は、仰角γとして0°,30°,60°のHRIRを取得する。
【0081】
引き続き、ユーザは、ステップS305にて、マイクロホン20をもう一方の耳に装着し、ステップS301と同様に、携帯端末100の仰角γを0°とし、水平方向の角度θとして−30°に位置させる。
【0082】
ユーザは、ステップS306にて、測定信号の音声をスピーカ6より出力させた状態で、携帯端末100を仰角方向に移動させる。このとき、測定部41は、仰角γとして0°,30°,60°のHRIRを取得する。
【0083】
次に、ユーザは、ステップS307にて、携帯端末100の仰角γを0°とし、水平方向の角度θとして30°に位置させる。
【0084】
ユーザは、ステップS308にて、測定信号の音声をスピーカ6より出力させた状態で、携帯端末100を仰角方向に移動させる。このとき、測定部41は、仰角γとして0°,30°,60°のHRIRを取得する。
【0085】
第3測定例においても、第1測定例または第2測定例と同様に、カメラ1で撮影した映像と加速度センサ2、角速度センサ3の情報から、測定時の携帯端末100を移動させる軌道から外れたことを検出した場合、正しい軌道を表示部10に表示するなどの処理を行い、軌道を修正可能としてもよい。
【0086】
第3測定例による測定パターンは、図11に示す測定パターンMP3及びMP4である。図10では、測定パターンMP3による測定の次に測定パターンMP4による測定としたが、順番は逆でもよい。
【0087】
同様に、仰角γの0°,30°,60°は単なる例であり、他の角度でもよいし、仰角γの数は3つに限定されるものではない。仰角γの数は2つ以上とするのがよい。水平方向の角度θは−30°と30°に限定されない。
【0088】
特徴量抽出部42は、ステップS309にて、HRTFの特徴量を抽出する。特徴量抽出部42は、一例として、次のようにHRIRの特徴量を抽出すればよい。
【0089】
図11に示す測定パターンMP3における水平方向の角度θが−30°で仰角γを0°,30°,60°としたときのピークP2の周波数を特徴量2と称することとする。図11に示す測定パターンMP4における水平方向の角度θが30°で仰角γを0°,30°,60°としたときのピークP2の周波数を特徴量3と称することとする。
【0090】
データベース301には、多数の人のそれぞれのHRTFと少なくとも特徴量2,3とが対応付けられている。
【0091】
特徴量抽出部42は、ピークP2の周波数に加えて、仰角γに応じたピークP2の振幅増減の変化量をHRTFの特徴量として抽出してもよい。
【0092】
図10に戻り、特性選択部43は、ステップS310にて、データベース301より、特徴量抽出部42が抽出した特徴量2,3に最も近似する特徴量を有するHRTFを選択し、HRTFを再生部44に設定して処理を終了させる。
【0093】
HRTFの具体的なデータは第1測定例と同様であり、一例として、左右の音声を仰角γで水平方向の角度±θ°の方向に定位させるHRTF(θ,0),HRTF(−θ,0)なるデータである。角度θ°は例えば30°である。
【0094】
なお、特性選択部43は、必ずしも、HRTF(θ,0),HRTF(−θ,0)のデータとして、データベース301に対で記憶されているデータを選択する必要はない。対で記憶されている、あるHRTF(θ,0),HRTF(−θ,0)のうちのHRTF(θ,0)と、別のHRTF(θ,0),HRTF(−θ,0)のうちのHRTF(−θ,0)とを組み合わせてもよい。
【0095】
第3測定例では、図11に示す測定パターンMP3による特徴量2と、測定パターンMP4による特徴量3とを用いたが、これに第2測定例における特徴量4,5を加えてもよい。
【0096】
<第4測定例>
ユーザが以上説明した測定パターンMP1〜MP4の全てを測定する第4測定例を行ってもよい。この場合、データベース301には、多数の人のそれぞれのHRTFと特徴量1〜5とが対応付けられている。
【0097】
特性選択部43は、データベース301より、特徴量抽出部42が抽出した特徴量1〜5に最も近似する特徴量を有するHRTFを選択し、HRTFを再生部44に設定する。
【0098】
以上説明した第1〜第4測定例をまとめると図12となる。図12に示すように、第1測定例では、HRTFを選択するために、水平方向の角度θを0°、仰角γを0°,30°,60°とした測定パターンMP1による特徴量1が用いられる。
【0099】
第2測定例では、HRTFを選択するために、水平方向の角度θを0°、仰角γを0°,30°,60°とした測定パターンMP1による特徴量1と、水平方向の角度θを−30°,30°、仰角γを0°とした測定パターンMP2による特徴量4,5とが用いられる。
【0100】
第3測定例では、HRTFを選択するために、水平方向の角度θを−30°、仰角γを0°,30°,60°とした測定パターンMP3による特徴量2と、水平方向の角度θを30°、仰角γを0°,30°,60°とした測定パターンMP4による特徴量3とが用いられる。
【0101】
第4測定例では、HRTFを選択するために、測定パターンMP1〜MP4による特徴量1〜5が用いられる。
【0102】
測定パターンが多い方が特徴量を抽出しやすい。よって、第1測定例よりも第2,第3測定例の方が好ましく、第4測定例が最も好ましい。但し、測定パターンが多くなるほど測定が煩雑となる。
【0103】
以上説明したように、本実施形態の頭部伝達関数選択装置は、測定部41と、特徴量抽出部42と、特性選択部43とを備える。
【0104】
測定部41は、スピーカ6から測定信号としての所定の音声を発生させた状態で、ユーザの耳に装着したマイクロホン20によって収音した音声信号に基づいて、ユーザの頭部インパルス応答を取得する。
【0105】
特徴量抽出部42は、頭部インパルス応答に対応する周波数特性の特徴量を抽出する。特性選択部43は、特徴量抽出部42によって抽出された特徴量に基づいて、複数の人それぞれの頭部伝達関数と頭部伝達関数の特徴量とを対応付けたデータベース301からいずれかの頭部伝達関数を選択する。
【0106】
スピーカ6(携帯端末100)をユーザの顔の正面に位置させた状態を、水平方向の角度θが0°、仰角γが0°であるとする。測定部41は、スピーカ6を、角度θが0°または正もしくは負の所定の角度θに位置させた状態で、スピーカ6を、垂直方向に円弧状に移動させて仰角γとして複数の角度に位置させたときの複数の頭部インパルス応答を取得するのがよい。
【0107】
特徴量抽出部42は、複数の頭部インパルス応答に対応する周波数特性に基づいて特徴量を抽出するのがよい。
【0108】
測定部41は、さらに、スピーカ6を、仰角γを0°として、角度θが正及び負の所定の角度θに位置させたときの複数の頭部インパルス応答を取得してもよい。
【0109】
本実施形態の頭部伝達関数選択方法は、スピーカ6によって測定信号としての所定の音声を発生させ、所定の音声をユーザの耳に装着したマイクロホン20によって収音した音声信号に基づいて、ユーザの頭部インパルス応答を取得する。
【0110】
そして、本実施形態の頭部伝達関数選択方法は、頭部インパルス応答に対応する周波数特性の特徴量を抽出し、抽出された特徴量に基づいて、複数の人それぞれの頭部伝達関数と頭部伝達関数の特徴量とを対応付けたデータベースからいずれかの頭部伝達関数を選択する。
【0111】
本実施形態の頭部伝達関数選択装置及び頭部伝達関数選択方法によれば、自分自身の頭部伝達関数に近似する頭部伝達関数を容易に選択することができる。
【0112】
測定部41と、特徴量抽出部42と、特性選択部43の部分を、コンピュータプログラム(頭部伝達関数選択プログラム)で構成することも可能である。再生部44の部分も、コンピュータプログラムで構成してもよい。
【0113】
本実施形態の頭部伝達関数選択プログラムは、コンピュータに、スピーカ6から測定信号としての所定の音声を発生させた状態で、ユーザの耳に装着したマイクロホン20によって収音した音声信号に基づいて、ユーザの頭部インパルス応答を取得するステップを実行させる。
【0114】
本実施形態の頭部伝達関数選択プログラムは、コンピュータに、頭部インパルス応答に対応する周波数特性の特徴量を抽出するステップを実行させる。
【0115】
本実施形態の頭部伝達関数選択プログラムは、コンピュータに、抽出された特徴量に基づいて、複数の人それぞれの頭部伝達関数と頭部伝達関数の特徴量とを対応付けたデータベース301からいずれかの頭部伝達関数を選択するステップを実行させる。
【0116】
本実施形態の頭部伝達関数選択プログラムによれば、自分自身の頭部伝達関数に近似する頭部伝達関数を容易に選択することができ、自分自身の特性に近い定位効果を容易に実現できる。
【0117】
本実施形態の音声再生装置は、本実施形態の頭部伝達関数選択装置と、音声データに、特性選択部43によって選択された頭部伝達関数を畳み込み演算して、音声データを再生する再生部44とを備える。よって、本実施形態の音声再生装置によれば、自分自身の頭部伝達関数に近似する頭部伝達関数を用いて音声信号を再生することができる。
【0118】
本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。本実施形態の頭部伝達関数選択装置を構成するに際し、ハードウェアとソフトウェアとの使い分けは任意である。
【符号の説明】
【0119】
6 スピーカ
20 マイクロホン
30 サーバ
41 測定部
42 特徴量抽出部
43 特性選択部
44 再生部
301 データベース
441 フィルタ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12