(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024097517
(43)【公開日】2024-07-19
(54)【発明の名称】フィルタ生成装置、フィルタ生成方法、及び頭外定位処理装置
(51)【国際特許分類】
H04S 7/00 20060101AFI20240711BHJP
G10K 15/00 20060101ALI20240711BHJP
【FI】
H04S7/00 300
G10K15/00 L
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2023001008
(22)【出願日】2023-01-06
(71)【出願人】
【識別番号】308036402
【氏名又は名称】株式会社JVCケンウッド
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】村田 寿子
(72)【発明者】
【氏名】叶 和樹
【テーマコード(参考)】
5D162
【Fターム(参考)】
5D162AA07
5D162CD03
5D162CD07
5D162CD26
5D162DA02
5D162DA22
5D162DA30
5D162DA44
5D162EG02
(57)【要約】
【課題】適切なフィルタを生成することができるフィルタ生成装置、頭外定位処理装置及びフィルタ生成方法を提供する。
【解決手段】本実施形態にかかるフィルタ生成装置は、音源から被測定者の耳までの空間音響伝達特性を取得する伝達特性取得部102と、音源の上下方向の位置情報を取得する位置情報取得部111と、空間音響伝達特性の周波数特性のノッチを特定する特定部116と、周波数特性におけるピーク又はノッチを含むシフト領域を設定する設定部118と、シフト領域におけるピーク又ノッチの形状を維持したまま、空間音響伝達特性を補正する補正部112と、補正された空間音響伝達特性に基づいて、補正フィルタを生成するフィルタ生成部114と、を備えている。
【選択図】
図3
【特許請求の範囲】
【請求項1】
音源から被測定者の耳までの空間音響伝達特性を取得する伝達特性取得部と、
音源の上下方向の位置情報を取得する位置情報取得部と、
前記空間音響伝達特性の周波数特性のピーク又はノッチを特定する特定部と、
前記周波数特性におけるピーク又はノッチを含むシフト領域を設定する設定部と、
前記シフト領域におけるピーク又ノッチの形状を維持したまま、前記位置情報に応じてシフト領域のデータをシフトすることで、前記空間音響伝達特性を補正する補正部と、
補正された空間音響伝達特性に基づいて、補正フィルタを生成するフィルタ生成部と、を備えた、フィルタ生成装置。
【請求項2】
前記周波数特性に応じて、周波数軸上における前記シフト領域の両端を決定する、請求項1に記載のフィルタ生成装置。
【請求項3】
前記設定部は、前記ピーク又はノッチの両側における前記周波数特性の極値に応じて、前記シフト領域の前記両端を決定する請求項2に記載のフィルタ生成装置。
【請求項4】
請求項1~3のいずれか1項に記載のフィルタ生成装置と、
再生信号に対して、前記補正フィルタを畳み込む畳み込み処理部と、
前記補正フィルタが畳み込まれた再生信号に対して、ヘッドホン又はイヤホンの特性をキャンセルする逆フィルタを畳み込む逆フィルタ部と、
前記逆フィルタが畳み込まれた再生信号を出力する出力部と、を備えた頭外定位処理装置。
【請求項5】
音源から被測定者の耳までの空間音響伝達特性を取得するステップと、
音源の上下方向の位置情報を取得するステップと、
前記空間音響伝達特性の周波数特性のピーク又はノッチを特定するステップと、
前記周波数特性におけるピーク又はノッチを含むシフト領域を設定するステップと、
前記シフト領域におけるピーク又ノッチの形状を維持したまま、前記位置情報に応じてシフト領域のデータをシフトすることで、前記空間音響伝達特性を補正するステップと、
補正された空間音響伝達特性に基づいて、補正フィルタを生成するステップと、を備えた、フィルタ生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、フィルタ生成装置、フィルタ生成方法、及び頭外定位処理装置に関する。
【背景技術】
【0002】
音像定位技術として、ヘッドホンを用いて受聴者の頭部の外側に音像を定位させる頭外定位技術がある。頭外定位技術では、ヘッドホンから耳までの特性をキャンセルし、ステレオスピーカから耳までの4本の特性を与えることにより、音像を頭外に定位させている。
【0003】
頭外定位再生においては、2チャンネル(以下、chと記載)のスピーカから発した測定信号(インパルス音等)を聴取者本人(ユーザ)の耳に設置したマイクロフォン(以下、マイクとする)で録音する。そして、インパルス応答で得られた収音信号に基づいて、処理装置がフィルタを作成する。これにより、スピーカから外耳道のマイク位置までの空間音響伝達特性に応じたフィルタが作成される。作成したフィルタを2chのオーディオ信号に畳み込むことにより、頭外定位再生を実現することができる。
【0004】
さらに、ヘッドホンから耳までの特性をキャンセルするためのフィルタを生成するために、ヘッドホンから耳元乃至鼓膜までの特性(外耳道伝達関数ECTF、外耳道伝達特性とも言う)を聴取者本人の耳に設置したマイクで測定する。
【0005】
特許文献1には、仮想音源の方向及び大きさに応じた頭部伝達関数を生成する信号処理装置が開示されている。この信号処理装置では、仮想音源に対応する上昇角の範囲を特定して、その範囲に対応する頭部伝達関数を取得する。そして、取得した情報が表す頭部伝達関数の周波数スペクトルのノッチが変更される。
【先行技術文献】
【特許文献】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
音源の方向を変えた場合、音源から耳までの空間音響伝達特性が変化する。したがって、仮想音源の方向を変えた場合、測定により得られたデータをより適切に補正することが望まれる。特許文献1の方法では、ノッチの幅を調整しているため、特性が大きく変わってしまうおそれがある。よって、適切な定位効果を得ることができない場合がある。
【0008】
本開示は上記の点に鑑みなされたものであり、音源の位置を変更した場合でも、適切なフィルタを用いることができるフィルタ生成装置、フィルタ生成方法、及び頭外定位処理装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
本実施の形態にかかるフィルタ生成装置は、音源から被測定者の耳までの空間音響伝達特性を取得する伝達特性取得部と、音源の上下方向の位置情報を取得する位置情報取得部と、前記空間音響伝達特性の周波数特性のピーク又はノッチを特定する特定部と、前記周波数特性におけるピーク又はノッチを含むシフト領域を設定する設定部と、前記シフト領域におけるピーク又ノッチの形状を維持したまま、前記位置情報に応じてシフト領域のデータをシフトすることで、前記空間音響伝達特性を補正する補正部と、補正された空間音響伝達特性に基づいて、補正フィルタを生成するフィルタ生成部と、を備えている。
【0010】
本実施の形態にかかるフィルタ生成方法は、音源から被測定者の耳までの空間音響伝達特性を取得するステップと、音源の上下方向の位置情報を取得するステップと、前記空間音響伝達特性の周波数特性のピーク又はノッチを特定するステップと、前記周波数特性におけるピーク又はノッチを含むシフト領域を設定するステップと、前記シフト領域におけるピーク又ノッチの形状を維持したまま、前記位置情報に応じてシフト領域のデータをシフトすることで、前記空間音響伝達特性を補正するステップと、補正された空間音響伝達特性に基づいて、補正フィルタを生成するステップと、を備えている。
【発明の効果】
【0011】
本開示によれば、適切にフィルタを決定することができるフィルタ生成装置、フィルタ生成方法、及び頭外定位処理装置を提供することができる。
【図面の簡単な説明】
【0012】
【
図1】本実施の形態に係る頭外定位処理装置を示すブロック図である。
【
図2】空間音響伝達特性を測定する測定装置の構成を示す図である。
【
図3】補正した空間音響伝達特性を用いる頭外定位処理装置の構成を示すブロック図である。
【
図4】仮想音源の位置を調整するためのGUIを示す図である。
【
図5】音源を基準位置から上昇させた場合の周波数振幅特性を示すグラフである。
【
図6】音源を基準位置から上昇させた場合の周波数振幅特性を示すグラフである。
【
図7】音源を基準位置から上昇させた場合の周波数振幅特性を示すグラフである。
【
図8】音源を基準位置から上昇させた場合の周波数振幅特性を示すグラフである。
【
図9】音源を基準位置から下降させた場合の周波数振幅特性を示すグラフである。
【
図10】音源を基準位置から下降させた場合の周波数振幅特性を示すグラフである。
【
図11】音源を基準位置から下降させた場合の周波数振幅特性を示すグラフである。
【
図12】音源を基準位置から下降させた場合の周波数振幅特性を示すグラフである。
【
図13】1つの音源位置で得られるピーク及びノッチの周波数を示すピークノッチテーブルを示す図である。
【
図14】音源の位置を変えた場合のピーク及びノッチの振幅レベルの変化を示すグラフである。
【
図15】音源の位置を変えた場合のピーク及びノッチの周波数の変化を示すグラフである。
【
図16】ノッチN2をシフトする処理を説明するための図である。
【
図17】ノッチN2の周辺においてデータを補間する処理するための図である。
【
図18】頭外定位処理装置において、フィルタを生成する方法を示すフローチャートである。
【
図19】ノッチN1を補正する処理を示すフローチャートである。
【
図20】ノッチN2を補正する処理を示すフローチャートである。
【発明を実施するための形態】
【0013】
本実施の形態にかかる音像定位処理の概要について説明する。本実施の形態にかかる頭外定位処理は、空間音響伝達特性と外耳道伝達特性を用いて頭外定位処理を行うものである。空間音響伝達特性は、スピーカなどの音源から外耳道までの伝達特性である。外耳道伝達特性は、ヘッドホン又はイヤホンのスピーカユニットから鼓膜までの伝達特性である。本実施の形態では、ヘッドホン又はイヤホンを装着していない状態での空間音響伝達特性を測定し、かつ、ヘッドホン又はイヤホンを装着した状態での外耳道伝達特性を測定し、それらの測定データを用いて頭外定位処理を実現している。本実施の形態は、空間音響伝達特性、又は外耳道伝達特性を測定するためのマイクシステムに特徴を有している。
【0014】
本実施の形態にかかる頭外定位処理は、パーソナルコンピュータ、スマートホン、タブレットPCなどのユーザ端末で実行される。ユーザ端末は、プロセッサ等の処理手段、メモリやハードディスクなどの記憶手段、液晶モニタ等の表示手段、タッチパネル、ボタン、キーボード、マウスなどの入力手段を有する情報処理装置である。ユーザ端末は、データを送受信する通信機能を有していてもよい。さらに、ユーザ端末には、ヘッドホン又はイヤホンを有する出力手段(出力ユニット)が接続される。ユーザ端末と出力手段との接続は、有線接続でも無線接続でもよい。
【0015】
(頭外定位処理装置)
本実施の形態にかかる音場再生装置の一例である、頭外定位処理装置100のブロック図を
図1に示す。頭外定位処理装置100は、ヘッドホン43を装着するユーザUに対して音場を再生する。そのため、頭外定位処理装置100は、LchとRchのステレオ入力信号XL、XRについて、音像定位処理を行う。LchとRchのステレオ入力信号XL、XRは、CD(Compact Disc)プレイヤーなどから出力されるアナログのオーディオ再生信号、又は、mp3(MPEG Audio Layer-3)等のデジタルオーディオデータである。なお、オーディオ再生信号、又はデジタルオーディオデータをまとめて再生信号と称する。すなわち、LchとRchのステレオ入力信号XL、XRが再生信号となっている。
【0016】
本実施の形態では、頭外定位処理装置100が、フィルタを適切に生成するための演算処理を行っている。頭外定位処理装置100の演算処理部は、パーソナルコンピュータ(PC)、タブレット端末、スマートホン等であり、メモリ、及びプロセッサを備えている。メモリは、処理プログラムや各種パラメータや測定データなどを記憶している。プロセッサは、メモリに格納された処理プログラムを実行する。プロセッサが処理プログラムを実行することで、各処理が実行される。プロセッサは、例えば、CPU(Central Processing Unit)、FPGA(Field-Programmable Gate Array)、DSP(Digital Signal Processor),ASIC(Application Specific Integrated Circuit)、又は、GPU(Graphics Processing Unit)等であってもよい。
【0017】
なお、頭外定位処理装置100は、物理的に単一な装置に限られるものではなく、一部の処理が異なる装置で行われてもよい。例えば、一部の処理がスマートホンなどにより行われ、残りの処理がヘッドホン43に内蔵されたDSP(Digital Signal Processor)などにより行われてもよい。
【0018】
頭外定位処理装置100は、頭外定位処理部10、逆フィルタLinvを格納する逆フィルタ部41、逆フィルタRinvを格納する逆フィルタ部42、及びヘッドホン43を備えている。頭外定位処理部10、逆フィルタ部41、及び逆フィルタ部42は、具体的にはプロセッサ等により実現可能である。
【0019】
頭外定位処理部10は、空間音響伝達特性Hls、Hlo、Hro、Hrsを格納する畳み込み演算部11~12、21~22、及び加算器24、25を備えている。畳み込み演算部11~12、21~22は、空間音響伝達特性を用いた畳み込み処理を行う。頭外定位処理部10には、CDプレイヤーなどからのステレオ入力信号XL、XRが入力される。頭外定位処理部10には、空間音響伝達特性が設定されている。頭外定位処理部10は、各chのステレオ入力信号XL、XRに対し、空間音響伝達特性のフィルタ(以下、空間音響フィルタとも称する)を畳み込む。空間音響伝達特性は被測定者の頭部や耳介で測定した頭部伝達関数HRTFでもよいし、ダミーヘッドまたは第三者の頭部伝達関数であってもよい。
【0020】
4つの空間音響伝達特性Hls、Hlo、Hro、Hrsを1セットとしたものを空間音響伝達関数とする。畳み込み演算部11、12、21、22で畳み込みに用いられるデータが空間音響フィルタとなる。空間音響伝達特性Hls、Hlo、Hro、Hrsを所定のフィルタ長で切り出すことで、空間音響フィルタが生成される。
【0021】
空間音響伝達特性Hls、Hlo、Hro、Hrsのそれぞれは、インパルス応答測定などにより、事前に取得されている。例えば、ユーザUが左右の耳にマイクをそれぞれ装着する。ユーザUの前方に配置された左右のスピーカが、インパルス応答測定を行うための、インパルス音をそれぞれ出力する。そして、スピーカから出力されたインパルス音等の測定信号をマイクで収音する。マイクでの収音信号に基づいて、空間音響伝達特性Hls、Hlo、Hro、Hrsが取得される。左スピーカと左マイクとの間の空間音響伝達特性Hls、左スピーカと右マイクとの間の空間音響伝達特性Hlo、右スピーカと左マイクとの間の空間音響伝達特性Hro、右スピーカと右マイクとの間の空間音響伝達特性Hrsが測定される。
【0022】
そして、畳み込み演算部11は、Lchのステレオ入力信号XLに対して空間音響伝達特性Hlsに応じた空間音響フィルタを畳み込む。畳み込み演算部11は、畳み込み演算データを加算器24に出力する。畳み込み演算部21は、Rchのステレオ入力信号XRに対して空間音響伝達特性Hroに応じた空間音響フィルタを畳み込む。畳み込み演算部21は、畳み込み演算データを加算器24に出力する。加算器24は2つの畳み込み演算データを加算して、逆フィルタ部41に出力する。
【0023】
畳み込み演算部12は、Lchのステレオ入力信号XLに対して空間音響伝達特性Hloに応じた空間音響フィルタを畳み込む。畳み込み演算部12は、畳み込み演算データを、加算器25に出力する。畳み込み演算部22は、Rchのステレオ入力信号XRに対して空間音響伝達特性Hrsに応じた空間音響フィルタを畳み込む。畳み込み演算部22は、畳み込み演算データを、加算器25に出力する。加算器25は2つの畳み込み演算データを加算して、逆フィルタ部42に出力する。
【0024】
逆フィルタ部41、42にはヘッドホン特性(ヘッドホンの再生ユニットとマイク間の特性)をキャンセルする逆フィルタLinv、Rinvが設定されている。そして、頭外定位処理部10での処理が施された再生信号(畳み込み演算信号)に逆フィルタLinv、Rinvを畳み込む。逆フィルタ部41で加算器24からのLch信号に対して、Lch側のヘッドホン特性の逆フィルタLinvを畳み込む。同様に、逆フィルタ部42は加算器25からのRch信号に対して、Rch側のヘッドホン特性の逆フィルタRinvを畳み込む。逆フィルタLinv、Rinvは、ヘッドホン43を装着した場合に、ヘッドホンユニットからマイクまでの特性をキャンセルする。マイクは、外耳道入口から鼓膜までの間ならばどこに配置してもよい。
【0025】
逆フィルタ部41は、処理されたLch信号YLをヘッドホン43の左ユニット43Lに出力する。逆フィルタ部42は、処理されたRch信号YRをヘッドホン43の右ユニット43Rに出力する。ユーザUは、ヘッドホン43を装着している。ヘッドホン43は、Lch信号YLとRch信号YR(以下、Lch信号YLとRch信号YRをまとめてステレオ信号とも称する)をユーザUに向けて出力する。これにより、ユーザUの頭外に定位された音像を再生することができる。
【0026】
このように、頭外定位処理装置100は、空間音響伝達特性Hls、Hlo、Hro、Hrsに応じた空間音響フィルタと、ヘッドホン特性の逆フィルタLinv,Rinvを用いて、頭外定位処理を行っている。以下の説明において、空間音響伝達特性Hls、Hlo、Hro、Hrsに応じた空間音響フィルタと、ヘッドホン特性の逆フィルタLinv,Rinvとをまとめて頭外定位処理フィルタとする。2chのステレオ再生信号の場合、頭外定位フィルタは、4つの空間音響フィルタと、2つの逆フィルタとから構成されている。そして、頭外定位処理装置100は、ステレオ再生信号に対して合計6個の頭外定位フィルタを用いて畳み込み演算処理を行うことで、頭外定位処理を実行する。頭外定位フィルタは、ユーザU個人の測定に基づくものであることが好ましい。例えば,ユーザUの耳に装着されたマイクが収音した収音信号に基づいて、頭外定位フィルタが設定されている。
【0027】
このように空間音響フィルタと、ヘッドホン特性の逆フィルタLinv,Rinvはオーディオ信号用のフィルタである。これらのフィルタが再生信号(ステレオ入力信号XL、XR)に畳み込まれることで、頭外定位処理装置100が、頭外定位処理を実行する。本実施の形態では、空間音響フィルタを生成する処理が技術的特徴の一つとなっている。具体的には、空間音響フィルタを生成する処理において、周波数特性のレベルレンジ圧縮が施されている。
【0028】
(空間音響伝達特性の測定装置)
図2を用いて、空間音響伝達特性Hls、Hlo、Hro、Hrsを測定する測定装置200について説明する。
図2は、被測定者1に対して測定を行うための測定構成を模式的に示す図である。なお、ここでは、被測定者1は、
図1のユーザUと異なる人物となっている。
【0029】
図2に示すように、測定装置200は、ステレオスピーカ5とマイクユニット2を有している。ステレオスピーカ5が測定環境に設置されている。測定環境は、ユーザUの自宅の部屋やオーディオシステムの販売店舗やショールーム等でもよい。測定環境は、スピーカや音響の整ったリスニングルームであることが好ましい。
【0030】
本実施の形態では、測定装置200の測定処理装置201が、空間音響フィルタを適切に生成するための演算処理を行っている。測定処理装置201は、例えば、CDプレイヤー等の音楽プレイヤーなどを有している。測定処理装置201は、パーソナルコンピュータ(PC)、タブレット端末、スマートホン等であってもよい。また、測定処理装置201は、サーバ装置自体であってもよい。
【0031】
ステレオスピーカ5は、左スピーカ5Lと右スピーカ5Rを備えている。例えば、被測定者1の前方に左スピーカ5Lと右スピーカ5Rが設置されている。左スピーカ5Lと右スピーカ5Rは、インパルス応答測定を行うためのインパルス音等を出力する。以下、本実施の形態では、音源となるスピーカの数を2(ステレオスピーカ)として説明するが、測定に用いる音源の数は2に限らず、1以上であればよい。すなわち、1chのモノラル、または、5.1ch、7.1ch等の、いわゆるマルチチャンネル環境においても同様に、本実施の形態を適用することができる。
【0032】
マイクユニット2は、左のマイク2Lと右のマイク2Rを有するステレオマイクである。左のマイク2Lは、被測定者1の左耳9Lに設置され、右のマイク2Rは、被測定者1の右耳9Rに設置されている。具体的には、左耳9L、右耳9Rの外耳道入口から鼓膜までの位置にマイク2L、2Rを設置することが好ましい。マイク2L、2Rは、ステレオスピーカ5から出力された測定信号を収音して、収音信号を取得する。マイク2L、2Rは収音信号を測定処理装置201に出力する。被測定者1は、人でもよく、ダミーヘッドでもよい。すなわち、本実施形態において、被測定者1は人だけでなく、ダミーヘッドを含む概念である。
【0033】
上記のように、左スピーカ5L、右スピーカ5Rで出力されたインパルス音をマイク2L、2Rで測定することでインパルス応答が測定される。測定処理装置201は、インパルス応答測定により取得した収音信号をメモリなどに記憶する。これにより、左スピーカ5Lと左マイク2Lとの間の空間音響伝達特性Hls、左スピーカ5Lと右マイク2Rとの間の空間音響伝達特性Hlo、右スピーカ5Rと左マイク2Lとの間の空間音響伝達特性Hro、右スピーカ5Rと右マイク2Rとの間の空間音響伝達特性Hrsが測定される。すなわち、左スピーカ5Lから出力された測定信号を左マイク2Lが収音することで、空間音響伝達特性Hlsが取得される。左スピーカ5Lから出力された測定信号を右マイク2Rが収音することで、空間音響伝達特性Hloが取得される。右スピーカ5Rから出力された測定信号を左マイク2Lが収音することで、空間音響伝達特性Hroが取得される。右スピーカ5Rから出力された測定信号を右マイク2Rが収音することで、空間音響伝達特性Hrsが取得される。
【0034】
また、測定装置200は、収音信号に基づいて、左右のスピーカ5L、5Rから左右のマイク2L、2Rまでの空間音響伝達特性Hls、Hlo、Hro、Hrsに応じた空間音響フィルタを生成してもよい。例えば、測定処理装置201は、空間音響伝達特性Hls、Hlo、Hro、Hrsを所定のフィルタ長で切り出す。測定処理装置201は、測定した空間音響伝達特性Hls、Hlo、Hro、Hrsを補正してもよい。
【0035】
このようにすることで、測定処理装置201は、頭外定位処理装置100の畳み込み演算に用いられる空間音響フィルタを生成する。
図1で示したように、頭外定位処理装置100が、左右のスピーカ5L、5Rと左右のマイク2L、2Rとの間の空間音響伝達特性Hls、Hlo、Hro、Hrsに応じた空間音響フィルタを用いて頭外定位処理を行う。すなわち、空間音響フィルタをオーディオ再生信号に畳み込むことにより、頭外定位処理を行う。
【0036】
測定処理装置201は、空間音響伝達特性Hls、Hlo、Hro、Hrsのそれぞれに対応する収音信号に対して同様の処理を実施している。すなわち、空間音響伝達特性Hls、Hlo、Hro、Hrsに対応する4つの収音信号に対して、それぞれ同様の処理が実施される。これにより、空間音響伝達特性Hls、Hlo、Hro、Hrsに対応する空間音響フィルタをそれぞれ生成することができる。
【0037】
なお、測定処理装置201は、空間音響伝達特性Hls、Hlo、Hro、Hrsのデータをそれぞれ記憶してもよい。ここで、空間音響伝達特性Hls、Hlo、Hro、Hrsのデータは時間領域のデータであってもよく、周波数領域のデータであってもよい。例えば、測定処理装置201が時間領域の空間音響伝達特性に対して離散フーリエ変換を行うことで、周波数振幅特性(振幅スペクトル)及び周波数位相特性(位相スペクトル)を算出する。また、離散フーリエ変換に限らず、離散コサイン変換などの離散信号を周波数領域に変換する手段により、周波数振幅特性及び周波数位相特性を算出してもよい。周波数振幅特性の代わりに、周波数パワー特性が用いられていてもよい。
【0038】
高い定位効果を得るには、ユーザ本人の特性を測定して頭外定位フィルタを生成することが好ましい。ユーザ個人の空間音響伝達特性は、スピーカ等の音響機材や室内の音響特性が整えられたリスニングルームで行われることが一般的である。すなわち、ユーザがリスニングルームに行くか、ユーザの自宅などにリスニングルームを準備する必要がある。このため、ユーザ個人の空間音響伝達特性を適切に測定することができない場合がある。
【0039】
また、ユーザの自宅などにスピーカを設置してリスニングルームを準備した場合でも、左右非対称にスピーカが設置されている場合や、部屋の音響環境が音楽聴取に最適でない場合がある。このような場合、自宅で適切な空間音響伝達特性を測定することは大変困難である。
【0040】
一方、ユーザ個人の外耳道伝達特性の測定は、マイクユニット、及びヘッドホンを装着した状態で行われる。すなわち、ユーザがマイクユニット、及びヘッドホンを装着していれば、外耳道伝達特性を測定することができる。ユーザがリスニングルームに行く必要や、ユーザの家に大がかりなリスニングルームを準備する必要がない。また、外耳道伝達特性を測定するための測定信号の発生や、収音信号の記録などはスマートホンやPCなどのユーザ端末を用いて、行うことができる。
【0041】
このように、ユーザ個人に対して、空間音響伝達特性の測定を実施することが困難である場合がある。そこで、本実施の形態にかかる頭外定位処理システムは、外耳道伝達特性の測定結果に基づいて、ユーザと類似する被測定者の空間音響伝達特性を選択している。すなわち、頭外定位処理システムは、ユーザ個人の外耳道伝達特性の測定結果に基づいて、ユーザに適した空間音響伝達特性を決定している。この点については、特開2018-191208等に記載された公知のマッチング手法を用いることができるため、説明を省略する。
【0042】
例えば、複数の被測定者に対してインパルス応答測定を行うことで、複数のプリセットデータを取得することができる。そして、複数のプリセットデータの中からユーザに適した1つのプリセットデータを選択する。そして、選択されたプリセットデータ(選択データともいう)に基づいて、空間音響フィルタが生成される。このように、外耳伝達特性がユーザと類似する被測定者を抽出して、抽出した被測定者の空間音響伝達特性を示す空間音響フィルタを生成する。
【0043】
さらに、被測定者1に対するスピーカ5L、5Rの相対位置を変えて、測定を行っている。ここでは、スピーカ5L、5Rの上下方向の位置を変えて、測定を行っている。例えば、被測定者1の耳の高さと水平な方向を基準位置とする。基準位置を0°として示し、+30°~-30°までの範囲で、スピーカ5L、5Rの仰俯角を変えている。具体的には、被測定者1からスピーカまでの方向が5°毎に変化するように、スピーカ5L、5Rの高さを変えて、測定を行っている。なお、水平方向を0°として、上方向が正、下方向が負の角度で示される。
【0044】
一人の被測定者1に対して複数回のインパルス応答測定が行われている。後述するように、音源(スピーカ5L、5Rの位置)の位置を基準位置から変えた測定で得られた空間音響伝達特性に関するデータが補正データとして格納されている。ここで、基準位置における空間音響伝達特性を示すスペクトルを基準スペクトルとする。基準スペクトルは振幅スペクトルと位相スペクトルを含んでいる。基準スペクトルは、収音信号をFFT(Fast Fourie Transform)することで得られる。また、基準スペクトルは、FFTにより得られた振幅スペクトルを平滑化したものであってもよい。
【0045】
(音源位置の調整)
さらに、本実施の形態では、ユーザが仮想音源の位置を変えて頭外定位受聴することができる。例えば、ユーザは、仮想音源の位置を上下方向に変えるために、受聴したい仮想音源の上下方向の位置や角度を入力する。処理装置が、音源の位置に基づいて、データベースに保存された空間音響伝達特性を補正する。そして、頭外定位処理装置100が、補正後の空間音響伝達特性を示す空間音響フィルタを用いて、畳み込み処理を行う。
【0046】
以下、頭外定位処理において、音源位置を変えるための処理について説明する。
図3は、頭外定位処理装置100において、音源位置を変えるための処理を行うための構成を示すブロック図である。なお、
図1で示したように、頭外定位処理ではLch,Rchの信号について同様の処理を行っているが、
図3では、説明の簡略化のため、Lch、Rchの処理をまとめて示している。例えば、逆フィルタ部123は
図1の逆フィルタ部41、42に対応する。また、畳み込み処理部121は、
図1の頭外定位処理部10に対応する。
【0047】
頭外定位処理装置100は、フィルタ生成装置110と、テスト音源125、畳み込み処理部121、逆フィルタ部123を備えている。フィルタ生成装置110は、入力部101、伝達特性取得部102、データベース103、位置情報取得部111、特定部116、設定部118、補正部112、補正データ格納部113、フィルタ生成部114を備えている。フィルタ生成装置110は頭外定位処理装置100の一部として示されているが、フィルタ生成装置110は頭外定位処理装置100と物理的に異なる装置であってもよい。
【0048】
データベース103は、予め測定された音源(スピーカ5L、5R)からユーザの耳9L、9Rまでの空間音響伝達特性Hls、Hlo、Hro、Hrsを格納する。上記のように、被測定者1が耳にマイクを装着した状態で、インパルス応答測定を行うことで、空間音響伝達特性Hls、Hlo、Hro、Hrsが測定される。予め測定された空間音響伝達特性Hls、Hlo、Hro、Hrsに関するデータが、データベースとして格納されている。
【0049】
データベース103は、複数の被測定者1に対する測定で得られた空間音響伝達特性をプリセットデータとして格納している。データベース103は、プリセットデータを格納するプリセットデータ格納部として機能する。データベース103は、被測定者1毎に空間音響伝達特性のデータを格納している。ここでは、データベース103は、基準角度0°における空間音響伝達特性を格納している。データベース103は一人の被測定者に対して、基準位置(0°)での4つの空間音響伝達特性を格納している。データベース103は、空間音響伝達特性として、時間領域の空間音響フィルタ自体を格納していても良く、周波数領域の振幅スペクトルや位相スペクトルを格納していてもよい。
【0050】
伝達特性取得部102は、音源から被測定者の耳までの空間音響伝達特性を取得する。伝達特性取得部102は、データベース103から空間音響伝達特性を抽出する。伝達特性取得部102は、複数のプリセットデータの中から、ユーザの各耳に適した1セットのプリセットデータを選択する。左耳に適した1セットのプリセットデータは、空間音響伝達特性Hls、Hroを含む。右耳に適した1セットのプリセットデータは、空間音響伝達特性Hlo、Hrsを含む。伝達特性取得部102は、空間音響伝達特性Hls、Hlo、Hro、Hrsを含むプリセットデータを抽出する。空間音響伝達特性の抽出は、例えば、外耳道伝達特性のマッチングによる手法を用いることができる。
【0051】
なお、被測定者はユーザU自身であってもよい。この場合、ユーザUが耳にマイクを装着した状態で、個人測定を行うことで、伝達特性取得部102は、空間音響伝達特性を取得することができる。空間音響伝達特性は、マイクが収音した時間領域の収音信号であってもよく、収音信号をFFT等することで得られる周波数特性であってもよい。
【0052】
入力部101は、タッチパネル、キーボード、マウスなどの入力デバイスを有している。ユーザUが入力部101を操作することで、データを入力することができる。たとえば、ユーザUは音源の位置を変更するための入力を行う。
図4は、頭外定位処理装置100の表示画面上に表示された入力ウィンドウのGUI(Graphical User Interface)を示す図である。
【0053】
図4に示すように、音源の位置を左右、前後、上下に変更するための位置調整バーがそれぞれ示されている。また、音量調整バーが示されている。さらに、位置調整バー、音量調整バーは、Lch、Rchのそれぞれに示されている。ユーザUは入力部101によって位置調整バーの位置を変更することで、音源の位置を調整することができる。左右のスピーカで独立して、位置調整が可能になっている。また、位置調整ONのチェックボックスを外すと、位置調整が終了する。
【0054】
ユーザが入力部101を用いて音源の位置変更を入力すると、位置情報取得部111が音源位置を示す位置情報を取得する。ここでは、音源の上方方向の位置を調整する処理について説明する。例えば、ユーザUが上下方向の位置調整バーを操作すると、位置情報取得部111が、その上下方向位置を示す位置情報を取得する。上下方向の位置情報は、仰俯角で示されていてもよい。あるいは、上下方向の位置情報は、高さで示されてもよく、基準高さに対する相対位置であってもよい。
【0055】
特定部116は、空間音響伝達特性の周波数特性におけるピーク及びノッチを特定する。例えば、周波数振幅特性のピークとノッチを抽出する。周波数振幅特性のピークとノッチを抽出する場合、FFTにより得られた振幅スペクトルの概形を用いることが好ましい。
【0056】
特定部116は、周波数特性に基づくスペクトルデータに対して平滑化処理を行うことで、概形スペクトルを用いる。特定部116は、移動平均やSavitzky-Golayフィルタ、平滑化スプライン、ケプストラム変換、ケプストラム包絡線等の手法を用いて、スペクトルデータを平滑化する。これにより、特定部116は、概形スペクトルを算出することができる。
【0057】
特定部116が、平滑化の次数に異なる値を与えることで、平滑化の度合いを変えることができる。次数が大きい場合、平滑化の度合いが低くなり、次数が小さい場合、平滑化の度合いが高くなる。したがって、小さい次数の平滑化処理で得られたスペクトルデータは、大きい次数の平滑化処理で得られたスペクトルデータよりも平滑化されている。小さい次数の平滑化処理で得られたスペクトルデータは、大きい次数の平滑化処理で得られたスペクトルデータよりも滑らかになっている。
【0058】
特定部116は平滑化の度合いが小さい概形スペクトル(第1概形スペクトルともいう)及び平滑化の度合いが大きい概形スペクトル(第2概形スペクトル)を求める。特定部116は第2概形スペクトルから、ピーク及びノッチの周波数を特定する。つまり、最も平滑化の度合いが大きい概形スペクトルは、ピーク及びノッチの周波数特定のみに用いられる。また、平滑化の度合いが小さい第1概形スペクトルに対して、補正部112,設定部118等が後述する処理を行う。
【0059】
以下、特に言及のない場合、平滑化の度合いの小さい第1概形スペクトルを、空間音響伝達特性の周波数(振幅)特性又は振幅スペクトルと称する。補正部112,設定部118等が平滑化前の空間音響伝達特性の周波数振幅特性に対して処理を行う。
【0060】
ここで、特定部116は、複数のノッチを区別するため、低周波数側から順にN1、N2、N3等として特定する。同様に、複数のピークを区別するため、低周波数側から順にP1、P2、P3、P4等として特定する。音源が受聴者の正面方向にある場合の空間音響伝達特性の周波数振幅特性において、±10dBを超える特徴的な山(ピーク)や谷(ノッチ)がいくつか存在する。特に、音源側の耳ではノッチやピークが明確である。音源方向にかかわらず生じる4kHz付近のピークを下限周波数とし、周波数の高いほうに向かってノッチとピークにラベル付けを行う。
【0061】
設定部118は、ノッチ又はピークをシフトするシフト領域を設定する。例えば、ノッチN2のシフト領域は、ノッチN2を含む範囲である。例えば、シフト領域は上限周波数と、下限周波数とによって規定される。設定部118の処理については後述する。なお、シフト領域を決定するためのIndex数が予め設定されていてもよい。
【0062】
補正部112は、補正データを用いて空間音響伝達特性を補正する。補正部112は、位置情報に応じて空間音響伝達特性の周波数特性のピーク及びノッチを補正する。補正部112はシフト領域にある振幅値のデータを補正する。
【0063】
具体的には、補正部112は、上下方向の位置情報に基づいて、空間音響伝達特性を補正する。これにより、伝達特性取得部102で取得された空間音響伝達特性が補正される。さらに、補正部112は、補正データ格納部113に格納されている補正データを参照して、空間音響伝達特性を補正する。例えば、補正データは、周波数振幅特性のピークの周波数と振幅、並びに、ノッチの周波数と振幅を含んでいる。
【0064】
なお、本実施の形態では、ピーク及びノッチの周波数振幅特性がFFT解析幅におけるIndex値により示されている。サンプリング周波数をFsとすると、周波数[Hz]=Index値*Fs/(FFT解析幅)となる。例えば、サンプリング周波数48kHz、FFT解析幅(Length)2048点でFFTした場合、Index値が1増えるごとに、約23.44Hz増加する。Index値が111の場合、周波数は2601.1Hzとなる。なお、周波数振幅特性は、Index値ではなく、周波数[Hz]により示されていてもよい。
【0065】
補正データ格納部113は、補正のために用いられる補正データを格納する。補正データ格納部113は、上下方向の位置を変えて測定された空間音響伝達特性のピークとノッチのデータを格納する。さらに、補正データは、それぞれの被測定者1について、ピークとノッチに関するデータを含んでいる。補正データを用いた補正については、後述する。補正部112は補正後の空間音響伝達特性をフィルタ生成部114に出力する。
【0066】
フィルタ生成部114は、補正された空間音響伝達特性に基づいて、空間音響フィルタを生成する。補正後の空間音響伝達特性は、変更された上下方向位置の仮想音源から耳までの空間音響伝達特性に基づくものとなる。よって、補正後の空間音響フィルタ(補正フィルタ)を用いることで、上下方向位置に定位された音像を形成することができる。フィルタ生成部114は、補正された空間音響伝達特性に応じた空間音響フィルタを補正フィルタとして生成する。
【0067】
テスト音源125は、試聴用の再生信号(テスト信号ともいう)を格納している。したがって、ユーザUは、テスト信号を試聴しながら、仮想音源の位置を調整することができる。つまり、音源の位置を調整しながら、ユーザUがテスト音源125の再生信号を受聴する。ユーザUは、定位効果が高い位置に仮想音源の位置を調整することができる。このように、ユーザUの好みに応じて、音像の定位位置を調整することができる。
【0068】
畳み込み処理部121は、補正フィルタをテスト音源125の再生信号に畳み込む。畳み込み処理部121は、
図1の頭外定位処理部10に対応しており、4つの畳み込み演算部と、2つの加算器を備えている。畳み込み処理部121は、Lch,Rchの入力信号に対して補正フィルタを畳み込む。
図1で示したように、畳み込み処理部121には、位置調整後の音源から耳までの空間音響伝達特性Hls、Hlo、Hro、Hrsを示す空間音響フィルタが設定されている。そして、畳み込み処理部121は、2つの信号を加算して、逆フィルタ部123に出力する。
【0069】
逆フィルタ部123は、補正フィルタが畳み込まれた信号に逆フィルタを畳み込む。逆フィルタ部123は、
図1の逆フィルタ部41、42に対応している。したがって、逆フィルタLinv、Rinvが畳み込まれた信号がヘッドホン43から出力される。畳み込み処理部121と、逆フィルタ部123の処理は、
図1と同様であるため説明を省略する。
【0070】
図5~
図12は、一人の被測定者1に対する測定データに基づく周波数振幅特性(振幅スペクトル)を示すグラフである。横軸は周波数[Hz]を示し、縦軸は振幅[dB]を示す。
図5~
図8は、0°~+30°までの範囲で5°毎に音源位置を上昇させた場合の振幅スペクトルを示すグラフである。
図9~
図12は、-30°~0°までの範囲で5°毎に音源位置を下降させた場合の振幅スペクトルを示すググラフである。
【0071】
図5、
図9は、空間音響伝達特性Hlsの振幅スペクトルを示す。
図6、
図10は、空間音響伝達特性Hloの振幅スペクトルを示す。
図7、
図11は、空間音響伝達特性Hroの振幅スペクトルを示す。
図8、
図12は、空間音響伝達特性Hrsの振幅スペクトルを示す
【0072】
図5~
図12に示すように、振幅スペクトルは複数のピークと、複数のノッチを有している。
図5~
図12に示されるように、音源位置に応じて、ピーク及びノッチがシフトしている。頭外定位処理装置100、又は測定装置200が振幅スペクトルのピークとノッチを抽出する。そして、補正データ格納部113は、ピークとノッチを補正するための補正データを格納する。補正データについては後述する。
【0073】
ここで、複数のノッチを区別するため、低周波数側から順にN1、N2、N3等として特定する。同様に、複数のピークを区別するため、低周波数側から順にP1、P2、P3等として特定する。なお、
図5~
図12において、ピーク及びノッチを抽出する周波数帯は、振幅スペクトルの一部の帯域となっていてもよい。つまり、補正が必要な帯域のみ、ピークとノッチが抽出されていればよい。例えば、
図5等では、ノッチN1~N3と、ピークP2、P3のみが抽出されている。従って、ピークP1は、補正する帯域外にあるため、
図5に明示されていない。
【0074】
ここで、周波数振幅特性のピークとノッチを抽出する場合、FFTにより得られた振幅スペクトルの概形を用いることが好ましい。例えば、測定装置200は、振幅スペクトルをスプライン補間や移動平均などにより平滑化することで、振幅スペクトルの概形(概形スペクトル)を求める。そして、測定装置200は、概形スペクトルの極大値をピークとして検出し、極小値をノッチとして検出する。
【0075】
図13は、複数の被測定者1に対する測定で得られたピークノッチテーブルを示す。
図13は、ピークP1~P4、及びノッチN1~N3の周波数を示すピークノッチテーブル(周波数テーブルともいう)である。具体的には、
図13は、ピークP1~P4、及びノッチN1~N3の周波数に対応するIndex値を示す。
【0076】
図13は、音源の位置が基準位置、つまり、0°となっている時の測定データを示す。
図13において、001L、001Rは第1の被測定者1の左耳及び右耳に関するデータを示す。左耳に関しては、空間音響伝達特性Hls、Hroのピーク及びノッチが含まれ、右耳に関しては、空間音響伝達特性Hrs、Hloのピーク及びノッチが含まれている。
【0077】
同様に、
図13の002L、002Rは第2の被測定者1の左耳及び右耳に関するデータを示し、003L、003Rは第3の被測定者1の左耳及び右耳に関するデータを示す。被測定者1のそれぞれについて、ピーク及びノッチの周波数のデータが格納されている。さらに、ピーク及びノッチの振幅値(振幅レベル)を示すピークノッチテーブル(振幅テーブルともいう)が得られる。つまり、1つの音源位置に対して、周波数テーブルと、振幅テーブルの2つのテーブルが得られる。また、音源位置毎に、周波数テーブルと、振幅テーブルが得られる。
【0078】
図14は、ピーク毎、及びノッチ毎の振幅レベルの推移を示すグラフである。
図14は、横軸が音源の角度(上下方向位置)を示し、縦軸が、ピーク又はノッチの振幅レベルを示している。上記のように、-30°~+30°までの範囲で5°毎に上下方向位置を変えた場合のデータが得られている。上下方向に音源の位置が変わることで、ピーク及びノッチの振幅レベルが変化している。
【0079】
図14には、ピーク毎、及びノッチ毎に、振幅レベルのデータを近似した多項式が示されている。ここでは、2次の多項式で振幅レベルを近似している。例えば、ノッチN1について、上下方向位置を変えた時の振幅レベルを多項式近似している。同様に、ノッチN2を近似した多項式と、ノッチN3の振幅レベルを近似した多項式がそれぞれ示されている。ピークP2の振幅レベルを近似した多項式と、ピークP3の振幅レベルを近似した多項式と、ピークP4の振幅レベルを近似した多項式がそれぞれ示されている。
【0080】
図15は、ピーク毎、及びノッチ毎の周波数の推移を示すグラフである。
図13は、横軸が上下方向位置を示し、縦軸が、ピーク又はノッチの周波数を示している。上記のように、-30°~+30°までの範囲で5°毎に上下方向位置を変えた場合のデータが得られている。上下方向に音源の位置が変わることで、ピーク及びノッチの周波数が変化している。
【0081】
図15には、ピーク毎、及びノッチ毎に、周波数のデータを近似した多項式が示されている。ここでは、1次の多項式で周波数を近似している。例えば、ノッチN3について、上下方向位置を変えた時の周波数を線形近似している。同様に、ピークP3の周波数を線形近似した式と、ピークP4の周波数を線形近似した式がそれぞれ示されている。
【0082】
補正データは、
図13に示すようなピークノッチテーブルであってもよい。あるいは、補正データは、振幅及び周波数を近似した多項式のデータを含む。例えば、補正データ格納部113は、多項式の係数を補正データとしてもよい。したがって、補正データ格納部113は、ノッチ毎、及びピーク毎に、多項式の係数をそれぞれ格納する。もちろん、線形近似又は2次の多項式近似に限らず、種々の近似式を用いることができる。補正データは、シフト量を求める算出式となっていることが好ましい。例えば、被測定者のピークノッチテーブルから得られた算出式とすることができる。補正データ格納部113は、ピーク毎の算出式と、ノッチ毎の算出式のデータを格納する。補正部112は、上下方向の位置情報(角度)を算出式に入力することでシフト量を算出する。そして、補正部112は、シフト量だけピーク又はノッチをシフトする。
【0083】
補正部112は、補正データ格納部113に格納された補正データを参照して、空間音響伝達特性のピーク及びノッチを補正する。つまり、補正部112は、調整後の位置に応じて、振幅スペクトルにおけるピークとノッチを移動させる。これにより、音源の位置を所望の位置に変更することができる。例えば、ユーザUが入力部101を操作して、仮想音源の位置を変化させる。ここでは、ユーザUが仮想音源の位置を+10°に変更する例を説明するが、位置は+10に限られるものではない。
【0084】
補正部112は、基準位置(0°)における振幅スペクトル(基準スペクトル)と+10°の振幅スペクトルとの間でピーク及びノッチのシフト量を求める。シフト量は、2つのスペクトルの間での差分に対応する。例えば、補正部112は、補正データの近似式を参照して、基準位置におけるピーク及びノッチの周波数と振幅を算出する。補正部112は、補正データの近似式を参照して、+10°におけるピーク及びノッチの周波数と振幅を算出する。補正部112は、ピーク毎、及びノッチ毎に、周波数と振幅を算出する。
【0085】
2つのスペクトルとの間で、それぞれのノッチについて、振幅の差分と周波数の差分を求める。補正部112は、この差分に応じて、基準スペクトルのノッチをシフトする。具体的には、補正部112は、基準スペクトルのノッチN2と、+10°のスペクトルのノッチN2との間の周波数差分値と振幅差分値を算出する。同様に、補正部112は、ノッチN1、N3及びピークP2等についても周波数差分値と振幅差分値を算出してもよい。
【0086】
補正部112は、補正データを参照して、ノッチ毎に周波数と振幅をそれぞれシフトする。これにより、基準スペクトルにおけるノッチがシフトする。補正データを参照して、補正部112は、ピーク毎に周波数と振幅をそれぞれシフトする。これにより、基準スペクトルにおけるピークがシフトする。これにより、ピーク及びノッチをシフトすることで、補正スペクトルが得られる。
【0087】
図15から分かるように、音源の上下位置に応じて、ノッチN2の周波数が大きく変化する。そこで、本実施の形態では、補正部112が、ノッチN2の周波数及び振幅レベルを補正している。具体的には、音源位置を下方に調整される場合、ノッチN2の周波数が低周波数側にシフトする。音源位置を上方に調整される場合、ノッチN2の周波数が高周波数側にシフトする。
【0088】
音源の上下位置に応じて、ノッチN1、N3、ピークP2~P4の振幅レベルが変化している。よって、補正部112は、ノッチN1の振幅レベルを補正することが好ましい。補正部112が、ノッチN3、ピークP2、P3については、振幅レベルを補正することがさらに、好ましい。ノッチN1、N3、ピークP2~P4の振幅レベルが変化している。よって、補正部112は、ノッチN1、N3、ピークP2~P4の周波数は補正しなくてもよい。
【0089】
上記のように、特定部116は、振幅スペクトルのピークP1~P4、ノッチN1~N4の周波数を特定している。例えば、特定部116は、FFT後のスペクトルを平滑化して第2概形スペクトルを求めている。そして、特定部116は、第2概形スペクトルの極大値をピーク周波数として検出し、極小値をノッチ周波数として検出する。このようにすることで、特定部116は、低周波数側から2番目にあるノッチN2を特定する。
【0090】
なお、特定部116は、伝達特性取得部102が空間音響伝達特性を取得する前に、特定部116は、ピークとノッチを予め特定していても良い。例えば、予めデータベース103に格納されている空間音響伝達特性の全てについて、振幅スペクトルのピークとノッチが予め特定されている。特定部116は、空間音響伝達特性にピークとノッチの周波数を示すデータを付しておけばよい。
【0091】
設定部118及び補正部112における処理について、
図16を用いて説明する。
図16は、ノッチN2を補正するためのシフト領域を説明するための図であり、基準角度における振幅スペクトル(第1概形スペクトル)を模式的に示している。
【0092】
より詳細には、
図16はノッチN2周辺の基準スペクトルを拡大して示すグラフである。
図16において、横軸は周波数のIndex値であり、縦軸は振幅レベルである。ここでは、ノッチN2の周波数fN2のIndex値を基準である0として、高周波数側に行くほど、Index値が増加し、低周波数側に行くほど、Index値が減少するものとして説明する。
【0093】
設定部118は、振幅スペクトルにおいて、ノッチN2のシフト領域S1を設定する。シフト領域S1はノッチN2を含む領域である。具体的には、シフト領域S1は、ノッチN2の周波数よりも低い下限周波数fminと、高い上限周波数fmaxで規定される周波数範囲(帯域)である。fmin、fmax、及びfN2はIndex値で示される周波数となる。
【0094】
設定部118は、振幅スペクトル(第1概形スペクトル)の極値を求めることで、上限周波数fmaxと下限周波数fminと算出する。例えば、設定部118は、振幅スペクトルの傾きに基づいて、上限周波数fmaxと下限周波数fminと算出する。傾きは、隣接する振幅値の差分値に対応している。
図16では、それぞれのIndex値における傾き(差分値)の符号が示されている。さらに、隣接する2つの差分値の積の符号が示されている。差分値、及び傾きの符号は正(+)又は負(-)で示される。ここで、極値を求めるスペクトルは第1概形スペクトルとすることが好ましい。
【0095】
隣接する2つのIndex値において、差分値が同じ符号を示す場合、積が正となる。例えば、隣接する2つのIndex値において、差分値の符号が正の場合、積が正となる。隣接する2つのIndex値において、差分値の符号が負の場合、積が正となる。隣接する2つのIndex値において、差分値が異なる符号を示す場合、積が正となる。例えば、隣接する2つのIndex値において、一方の差分値の符号が正、他方の差分値の符号が負の場合、積が負となる。
【0096】
図16に示すように、極値では差分値の積が負となる。設定部118は、ノッチN2の低周波数側及び高周波数側で、ノッチN2に最も近い極大値を求める。つまり、ノッチN2の高周波数側でノッチN2に最も近い極値を上限周波数fmaxとして設定する。設定部118は、低周波数側でノッチN2に最も近い極値を下限周波数fminとして設定する。設定部118は下限周波数fminから上限周波数fmaxまでの範囲をシフト領域S1として設定する。シフト領域S1に含まれるIndex数は、fmaxとfminの差(fmax-fmin)で示される。
【0097】
図16に示すように、補正部112は、シフト領域S1に含まれるデータをシフト量Dだけシフトする。シフト量Dは、周波数差分値Dfと、振幅差分値Dampを含む。したがって、シフト量Dは(Df,Damp)とする2次元ベクトルで示される。補正部112は、横軸に沿って、周波数差分値Dfだけシフト領域S1のデータを移動させる。周波数差分値DfはIndex数つまり、整数によって示される。同様に、補正部112は、縦軸に沿って振幅差分値Dampだけ、シフト領域S1のデータを移動させる。
【0098】
シフト後のデータをシフトデータS2とする。シフトデータS2は、下限周波数fnewminと上限周波数fnewmaxとで規定される範囲である。fnewmin=fmin-Dfとなり、fnewmax=fmax-Dfとなる。ここで、DfはIndex数を示す正の整数である。シフト後のノッチN2の周波数をfnewN2とすると、fnewN2=fN2-Dfとなる。fnewmin、fnewmax、及びfnewN2はIndex値で示される周波数となる。
【0099】
補正部112がシフト領域S1を設定しているため、ノッチN2の近傍のスペクトル波形がそのまま平行移動する。シフトデータS2におけるスペクトル波形と、シフト領域S1のスペクトル波形は一致している。ノッチN2の近傍の形状を維持したままノッチN2を移動することができる。このように補正部112は、ノッチN2を含むシフト領域S1を設定している。そして、シフト領域S1に含まれるデータをシフト量Dだけシフトしている。このようにすることで、補正部112は、基準スペクトルのノッチ周辺における波形形状(振幅スペクトルの形状)を維持したまま、補正することができる。よって、仮想音源を所望の位置とした場合であっても、空間音響フィルタを適切に補正することができる。これにより、適切に頭外定位処理を行うことができる。
【0100】
ここでは、シフト領域S1のデータが、低周波数側(
図16中の左側)、かつ高レベル側(
図16中の上側)に平行移動している。シフト領域S1に含まれるIndex数と、シフトデータS2に含まれるIndex数は等しくなっている。なお、シフトデータS2以外の周波数については、補正部112は、シフトしていない振幅レベルをそのまま用いることができる。つまり、シフトデータS2の外側についは、補正部112は振幅レベルを補正しなくてもよい。
【0101】
ピークP2、ピークP3、ノッチN1、及びノッチN3については、補正部112は、振幅レベルのみを変化する。つまり、ピークP2、ピークP3、ノッチN1、及びノッチN3については、補正部112は、ピーク周波数及びノッチ周波数をシフトしない。具体的には、補正部112は、位置情報に基づいて、振幅差分値Dampを取得する。還元すると、ピークP2、P3、及びノッチN1、N3については、周波数差分値Df=0となっている。つまり、補正部112は、ピークP2、ピークP3、ノッチN1、及びノッチN3を上下方向のみにシフトする。
【0102】
なお、音源位置が上方にシフトした場合、
図15に示されるように、ノッチN1のピーク周波数が下方にシフトしている。よって、ノッチN1は、ノッチN2と同様に、ノッチ周波数をシフトしてもよい。なお、ピークP2、ピークP3、ノッチN1、及びノッチN3については、設定部118は、ノッチN1と同様に、シフト領域を設定してもよい。つまり、ピーク又はノッチの両側の極値に基づいて、設定部118がシフト領域を設定してもよい。あるいは、ピークP2、ピークP3、ノッチN1、及びノッチN3については、シフト領域となるIndex数が予め設定されていてもよい。
【0103】
さらに、補正部112は、シフトデータS2の両端で、データ補間を行っている。これにより、シフト後の振幅スペクトルの不連続な形状を補正することができる。具体的には、シフトデータS2の両端において、補正部112が振幅レベルを補間する補間範囲を設定している。補間範囲において、補正部112がデータ補間により振幅レベルを算出している。振幅レベルが急激に変化しないように、補正部112が補正を行うことができる。
【0104】
この補間処理について、
図17を用いて説明する。
図17は、補間前後の振幅スペクトルを模式的に示すグラフである。
図17では、ノッチN2が上方にシフトした場合の例を示す図である。
図17は、ノッチN2の周辺の振幅スペクトルを示している。横軸はIndex値、縦軸は振幅レベルを示す。ここでは、主として、ノッチN2の低周波数側のデータを補間する処理について説明する。
【0105】
ここで、シフト後のノッチ周波数のIndex値をfnewN2とする。また、シフトデータS2の下限周波数fnewminのIndex値を(fnewN2―10)とする。また、下限周波数におけるシフトデータS2の振幅レベルをAmp(fnewN2―10)とする。さらに、下限周波数(fnewN2―10)よりも1つ少ないIndex値を(fnewN2-11)とする。(fnewN2-11)における基準スペクトルの振幅レベルをAmp(fnewN2―11)とする。Amp(fnewN2―11)は、基準スペクトルにおける振幅レベルとなる。下限周波数(fnewN2―10)よりも1つ多いIndex値を(fnewN2-9)等と記載し、その振幅レベルをAmp(fnewN2―9)等と記載する。Amp(fnewN2―11)は、シフト後の振幅レベルとなる。
【0106】
ここで、Amp(fnewN2―11)がAmp(fnewN2―10)よりも小さくなっている。同様に、Amp(fnewN2―11)がAmp(fNewN2―9)~Amp(fNewN2―7)よりも小さくなっている。Amp(fnewN2―11)がAmp(fNewN2―6)よりも大きくなっている。よって、補正部112は、(fnewN2-10)~(fnewN2-7)までの範囲を補間範囲Aとして、データ補間を行う。
【0107】
補正部112は、データを補正しない周波数と、データを補正する周波数の境界部分において、2つの振幅レベルを比較する。補正部112は、振幅レベルの比較結果に基づいて、補間範囲Aを設定する。補正部112は、シフト後の振幅レベルと、補正しない周波数での振幅レベルとを比較する。補正しない周波数とは、データを補正していない周波数帯域において、ノッチN2に最も近い周波数となる。
【0108】
図17では、補正しない周波数は、(fnewN2―11)となり、その振幅レベルはAmp(fnewN2―11)となる。シフト後の振幅レベルが、振幅レベルAmp(fnewN2―11)を超える周波数を補正部112が補間範囲Aに組み込む。補正部112は、Amp(fnewN2―11)よりも振幅レベルが小さくなる周波数をシフトデータの下限周波数から順番に探索していく。Amp(fnewN2―11)よりも振幅レベルが大きくなる周波数(fnewN2-10)~(fnewN2-7)を補間範囲Aとする。これにより、補間範囲Aにおいて、振幅スペクトルが滑らかになるように、補正部112が補正することができる。
【0109】
高周波数側のデータについても、補間範囲Bを設定する。
図17では、補間範囲Bは(fnewN2+4)~(fnewN2+7)となっている。補正部112は、補間範囲Bの振幅値を補間処理で算出する。補正部112は、Amp(fnewN2+3)とAmp(fnewN2+8)とを用いた補間処理で、(fnewN2+4)~(fnewN2+7)の振幅レベルを算出する。
【0110】
このように、補正した周波数での振幅レベルが、補正していない周波数での振幅レベルを超えないように、補正部112がデータを補正する。補正する周波数と補正しない周波数との境界近傍において、極値が形成されないように、補正部112が補正を行うことができる。もちろん、低周波数側の補間範囲Aと高周波数側の補間範囲Bとで、Index数は同じであってもよく、異なっていてもよい。補正部112は、周波数差分値や振幅値に基づいて、補間範囲A、Bを算出することができる。
【0111】
ここでは、補正部112が、Amp(fnewN2-11)とAmp(fnewN2―6)の振幅レベルを用いて線形補間することで、(fnewN2-10)~(fnewN2-7)における振幅レベルを算出する。例えば、(fnewN2-10)における補間後の振幅レベルをAmpint(fnewN2-10)とすると、Ampint(fnewN2-10)はAmp(fnewN2-11)未満であり、Amp(fnewN2―6)よりも大きい値となる。もちろん、補正部112は、線形補間に限らず、二次曲線などを用いて補間してもよい。
【0112】
なお、補間範囲A、BはシフトデータS2の周波数範囲fnewmin~fnewmaxの内側にあってもよく、外側にあってもよい。あるいは、補間範囲Aは、シフトデータS2の下限周波数fnewminを跨ぐように設定されていても良い。補間範囲Bは、シフトデータS2の上限周波数fnewmaxを跨ぐように設定されていても良い。
【0113】
補正部112が、シフトデータS2の端部近傍において、補間範囲A,Bを設定している。補正部112は、補間範囲A、Bの外側の振幅レベルを補間することで、補間範囲A,Bの振幅レベルを算出する。補間範囲Aで振幅レベルが連続的になるように、補正部112がデータを補正する。補間範囲Bで振幅レベルが連続的になるように、補正部112がデータを補正する。シフトデータS2の両端において、新たな極値が形成されることを防ぐことができる。つまり、
図17では、(fnewN2―10)~(fnewN2―7)が極大値となることを防ぐことができる。極値の増加を防ぐことができるため、元の振幅スペクトルの形状を維持することができる。補正部112は、より適切な補正を行うことができる。
【0114】
フィルタ生成部114は、補正後の周波数振幅特性(補正スペクトル)を用いて、空間音響フィルタを生成する。例えば、フィルタ生成部114は、逆フーリエ変換などにより、時間領域の空間音響伝達特性を生成する。なお、逆変換における周波数位相特性は、基準位置での周波数位相特性を用いることができる。フィルタ生成部114は、時間領域の空間音響伝達特性を所定のフィルタ長で切り出すことで、空間音響フィルタを生成する。
【0115】
上記のように、補正部112は、周波数差分値Df及び振幅差分値Dampに基づいて、ノッチN2をシフトする。つまり、補正部112は、ノッチN2の周波数と振幅レベルを変化させる。補正部112は、振幅差分値Dampに基づいて、ピークP2、P3、ノッチN1、ノッチN3をシフトする。つまり、補正部112は、ピークP2、P3、ノッチN1、ノッチN3の振幅レベルを変化させる。補正データ格納部113は、補正データとして、振幅差分値及び周波数差分値を格納している。なお、補正部112は、ピークP1を補正しない。
【0116】
補正部112がピークP2、P3、及びノッチN1~N3を補正する順番の一例について説明する。ここでは,補正部112は、ノッチN1、ピークP2、ノッチN2、ピークP3、ノッチN3の順番で、補正を行ってもよい。あるいは、補正部112は、周波数をシフトするノッチN2を最後に補正してもよい。補正部112が高周波数側から順にノッチN3、ピークP3、ノッチN2、ピークP2、ノッチN1を補正してもよい。
【0117】
次に、フィルタ生成方法について、
図18を用いて説明する。
図18は、フィルタ生成方法を示すフローチャートである。
【0118】
まず、伝達特性取得部102が、データベース103のプリセットデータの中から、空間音響伝達特性Hls、Hroを取得する(S101)。伝達特性取得部102は、ユーザの左耳に外耳道伝達特性と類似する外耳道伝達特性を有する被測定者1の空間音響伝達特性Hls、Hroを抽出する。
【0119】
同様に、伝達特性取得部102が、データベース103のプリセットデータの中から、空間音響伝達特性Hlo、Hrsを取得する(S102)。伝達特性取得部102は、ユーザの右耳に外耳道伝達特性と類似する外耳道伝達特性を有する被測定者1の空間音響伝達特性Hlo、Hrsを抽出する。
【0120】
次に、頭外定位処理装置100が、テスト音源125のテスト信号を再生する(S103)。ここでは、頭外定位処理装置100が、頭外定位処理された再生信号をヘッドホン43から出力する。つまり、畳み込み処理部121が、再生信号に、抽出された空間音響伝達特性Hls、Hro、Hlo、Hrsを示す空間音響フィルタを畳み込む。さらに、逆フィルタ部123が、逆フィルタを再生信号にテスト信号に畳み込む。これにより、ユーザが頭外定位処理された再生信号を受聴することができる。
【0121】
次に、位置情報取得部111が、位置調整があるか否かを判定する(S104)。例えば、ユーザUが位置調整バー(
図4参照)を移動した場合、位置情報取得部111は、位置調整有りと判定する(S104のYES)。ユーザUが位置調整バーを移動していない場合、位置情報取得部111は、位置調整なしと判定する(S104のNO)。位置調整がない場合(S104のNO)、ステップS108に移行する。
【0122】
位置調整がある場合(S104のYES)、位置情報取得部111が位置情報を取得する(S105)。つまり、位置情報取得部111が、仮想音源の変更後の角度を取得する。
【0123】
補正部112は、位置情報に基づいて、ピーク及びノッチを補正する(S106)。補正部112は、補正データを参照してピーク及びノッチを補正する。上記のように、補正部112は、補正データを参照して、ピーク及びノッチをシフトとする。補正部112は、低周波数側に位置するピーク及びノッチのいずれかから適宜補正する。これにより、振幅スペクトルを補正した補正スペクトルが得られる。また、補正部112は、一部の帯域に含まれるピーク及びノッチを補正してもよい。なお、補正部112は、低周波数側からピーク及びノッチを順に補正してもよい。あるいは、補正部112は、高周波数側からピーク及びノッチを順に補正してもよい。もちろん、ピーク及びノッチを補正する順番は特に限定されるものではない。予め定められた順番で、ピーク及びノッチを補正してもよい。
【0124】
フィルタ生成部114は、補正スペクトルを用いて、補正フィルタを生成する(S107)。つまり、フィルタ生成部114は、補正スペクトルを逆フーリエ変換することで、空間音響伝達特性を示す補正フィルタを生成する。補正フィルタは、上下方向に位置が変化した音源から耳までの空間音響伝達特性を示す。
【0125】
位置情報取得部111が、位置調整が終了したか否かを判定する(S108)。例えば、ユーザUが
図4の位置調整ONのチェックボックスを外すと、位置調整が終了する(S108のYES)。これにより、処理が終了する。
【0126】
位置調整が終了していない場合(S108のNO)、ステップS104に戻る。したがって、ユーザUが引き続き頭外定位処理されたテスト信号を受聴する。ユーザUはテスト信号を頭外定位受聴した結果に応じて、位置調整を行うことができる。これにより、ユーザUの好む仮想音源位置での空間音響伝達特性を示す空間音響フィルタが生成される。よって、頭外定位処理装置100は、適切なフィルタを生成することができるため、効果的な頭外定位処理を行うことができる。
【0127】
次に、ノッチ又はピークの補正について、
図19を用いて説明する。
図19は、ノッチを補正する処理を説明するためのフローチャートである。
図19は、周波数をシフトするノッチN2以外のノッチとピークを補正する処理を示す。具体的には、
図19を用いて、ノッチN1を補正する処理を示している。つまり、
図19は、振幅レベルのみをシフトする補正を示している。ノッチN3、及びピークP1~P3についても、
図19と同様の処理により、振幅レベルをシフトすることができるため、詳細な説明を省略する。
【0128】
まず、設定部118が,シフト領域を設定する(S201)。シフト領域は、ノッチN1を含む周波数範囲である。ノッチN1の周波数のIndex値をfN1とすると、シフト領域は(fN1-2)以上、(fN1+2)以下とすることができる。つまり、fN1とその両側の2つのIndexがシフト領域として設定される。ノッチN1等について、シフト領域となるIndex数が予め設定されている。もちろん、ノッチN1のシフト領域に含まれるIndex数は、5に限られるものでない。設定部118は、ノッチN2と同様に、ノッチN1のシフト領域を、周波数特性に基づいて設定してもよい。
【0129】
補正部112が、位置情報に基づいて、ノッチN1でのシフト量を取得する(S202)。シフト量は、振幅差分値Dampで示される。シフト量は、(基準角度での振幅レベル)と(位置情報が示す角度での振幅レベル)の差となる。
【0130】
補正部112が、振幅差分値Dampだけ、ノッチN1の振幅レベルをシフトする。(S203)。これにより、fN1での振幅レベルAmp(fN1)が補正される。次に、ノッチN1の両側のデータを補間する(S204)。つまり、補正部112は、ノッチN1の両側の振幅レベルをデータ補間で求める。
【0131】
これにより、(fN1-2)、(fN1-1)、(fN1+1)、(fN1+2)の振幅レベルAmp(fN1-2)Amp(fN1-1)、Amp(fN1+1)、Amp(fN1+1)が補正される。ここでは、補正部112が、振幅レベルAmp(fN1-3)とシフト後のAmp(fN1)を用いて線形補間を行うことで、振幅レベルAmp(fN1-2)、Amp(fN1-1)を算出する。振幅レベルAmp(fN1+3)とシフト後のAmp(fN1)を用いて線形補間を行うことで、振幅レベルAmp(fN1+2)、Amp(fN1+1)を算出する。
【0132】
このようにすることで、音源位置に応じて、ノッチN1を適切に補正することができる。
図19と同様の処理により、補正部112がノッチN3、ピークP2、P3についても補正する。
【0133】
次に、ノッチN2を補正する処理について、
図20を用いて説明する。
図20は、ノッチN2を補正する処理を説明するためのフローチャートである。
図20は、振幅レベルと周波数をシフトする補正を示している。
【0134】
まず、設定部118が、シフト領域S1を設定する(S301)。
図16に示されるように、設定部118は、ノッチN2の近傍の極値に基づいて、シフト領域S1を設定する。ノッチN2の周波数のIndex値をfN2とする。fN2は、上限周波数fmax未満であり、下限周波数fminよりも大きい値となる。
【0135】
補正部112が、位置情報に基づいて、ノッチN2でのシフト量Dを取得する(S302)。シフト量Dは、周波数差分値Df、及び振幅差分値Dampで示される。振幅差分値Dampは、(基準角度での振幅レベル)と(位置情報が示す角度での振幅レベル)の差となる。周波数差分値Dfは、(基準角度でのノッチN2の周波数)と(位置情報が示す角度でのノッチN2の周波数)の差となる。
【0136】
補正部112が、シフト量Dだけ、シフト領域S1のデータをシフトする。(S303)。つぎに、補正部112が補間範囲A、Bを決定する(S304)。補正部112は、シフトデータの振幅レベルと、シフトしていない周波数での振幅レベルとを比較することで、補間範囲を決定する。シフトデータS2の両端近傍が補間範囲A、Bとなる。補間範囲AはノッチN2よりも低周波数側の補間範囲である。補間範囲BはノッチN2よりも高周波数側の範囲である。
【0137】
補正部112が、補間範囲A,Bの振幅レベルを求めるために、データ補間を行う(S305)。補正部112は、線形補間によりデータ補間を行うことができる。あるいは、補正部112は、2次曲線を用いて、データ補間を求める。補間範囲A,Bにおいて、データ補間を行う。これにより、ノッチN2の周辺に極値が新たに生成されることが防ぐことができる(
図17参照)。これにより、ノッチN2の補正が終了する。シフト領域以外については、オリジナルの振幅値を用いればよい。このようにすることで、適切にノッチN2を補正することができる。
【0138】
なお、頭外定位処理装置100の処理の少なくも一部は、他の装置で行ってもよい。つまり、上記の処理は複数の装置によって分散処理してもよい。例えば、フィルタ生成装置110と、頭外定位処理装置100は、物理的に異なる装置となっていてもよい。この場合、フィルタ生成装置110が生成した空間音響フィルタを頭外定位処理装置100に送信すればよい。あるいは、補正部112が補正した空間音響伝達特性を頭外定位処理装置100に送信して、頭外定位処理装置100が逆フィルタを生成してもよい。
【0139】
プリセットデータからユーザに適した空間音響伝達特性を選択する処理は、頭外定位処理装置100とは異なるサーバ装置などが行ってもよい。また、データベース103や補正データ格納部113はネットワークに接続されたサーバ装置等に搭載されていてよい。
【0140】
上記処理のうちの一部又は全部は、コンピュータプログラムによって実行されてもよい。上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0141】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記実施の形態に限られたものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。
【符号の説明】
【0142】
U ユーザ
1 被測定者
2L 左マイク
2R 右マイク
5L 左スピーカ
5R 右スピーカ
9L 左耳
9R 右耳
10 頭外定位処理部
11 畳み込み演算部
12 畳み込み演算部
21 畳み込み演算部
22 畳み込み演算部
24 加算器
25 加算器
41 逆フィルタ部
42 逆フィルタ部
43 ヘッドホン
100 頭外定位処理装置
101 入力部
102 伝達特性取得部
103 データベース
110 フィルタ生成装置
111 位置情報取得部
112 補正部
113 補正データ格納部
114 フィルタ生成部
116 特定部
118 設定部
121 畳み込み処理部
123 逆フィルタ部
125 テスト音源
200 測定装置
201 測定処理装置
S1 シフト領域
S2 シフトデータ
A 補間範囲
B 補間範囲
N2 ノッチ