(58)【調査した分野】(Int.Cl.,DB名)
前記所定の周波数よりも高い第1の周波数と、前記第1の周波数よりも低い第2の周波数との間の帯域に含まれるデータを用いて、前記第2のスペクトルのレベルを調整する調整部をさらに備え、
前記補正部が前記調整部で調整された前記第2のスペクトルのデータを用いて、前記所定の周波数以下の帯域における前記第1のスペクトルのデータを補正する請求項1に記載のフィルタ生成装置。
前記補正部が、前記所定の周波数以下の帯域における前記第1のスペクトルのデータを、前記第2のスペクトルのデータに置換する請求項1、又は2に記載のフィルタ生成装置。
前記第2の同期加算部が、ダミーヘッドに前記マイクを装着した状態で取得された前記収音信号を加算することで、前記第2の同期加算信号を生成する請求項1から3のいずれか1項に記載のフィルタ生成装置。
前記所定の周波数よりも高い第1の周波数と、前記第1の周波数よりも低い第2の周波数との間の帯域に含まれるデータを用いて、前記第2のスペクトルのレベルを調整するステップをさらに備え、
前記補正するステップでは、レベルが調整された前記第2のスペクトルを用いて、前記所定の周波数以下の帯域における前記第1のスペクトルを補正する請求項5に記載のフィルタ生成方法。
前記補正するステップでは、前記所定の周波数以下の帯域における前記第1のスペクトルのデータを、前記第2のスペクトルのデータに置換する請求項5、又は6に記載のフィルタ生成方法。
ダミーヘッドに前記マイクを装着した状態で取得された前記収音信号を加算することで、前記第2の同期加算信号を生成する請求項5〜7のいずれか1項に記載のフィルタ生成方法。
【発明を実施するための形態】
【0012】
本実施の形態では、スピーカからマイクまでの伝達特性を測定している。そして、測定された伝達特性に基づいて、フィルタ生成装置がフィルタを生成している。
【0013】
本実施の形態にかかるフィルタ生成装置で生成したフィルタを用いた音像定位処理の概要について説明する。ここでは、音像定位処理装置の一例である頭外定位処理について説明する。本実施形態にかかる頭外定位処理は、個人の空間音響伝達特性(空間音響伝達関数ともいう)と外耳道伝達特性(外耳道伝達関数ともいう)を用いて頭外定位処理を行うものである。外耳道伝達特性は、外耳道入口から鼓膜までの伝達特性である。本実施形態では、スピーカから聴取者の耳までの空間音響伝達特性、及びヘッドホンを装着した状態での外耳道伝達特性の逆特性を用いて頭外定位処理を実現している。
【0014】
本実施の形態にかかる頭外定位処理装置は、パーソナルコンピュータ、スマートホン、タブレットPCなどの情報処理装置であり、プロセッサ等の処理手段、メモリやハードディスクなどの記憶手段、液晶モニタ等の表示手段、タッチパネル、ボタン、キーボード、マウスなどの入力手段、ヘッドホン又はイヤホンを有する出力手段を備えている。
【0015】
実施の形態1.
本実施の形態にかかる音場再生装置の一例である頭外定位処理装置100を
図1に示す。
図1は、頭外定位処理装置のブロック図である。頭外定位処理装置100は、ヘッドホン43を装着するユーザUに対して音場を再生する。そのため、頭外定位処理装置100は、LchとRchのステレオ入力信号XL、XRについて、音像定位処理を行う。LchとRchのステレオ入力信号XL、XRは、CD(Compact Disc)プレイヤーなどから出力されるアナログのオーディオ再生信号、又は、mp3(MPEG Audio Layer-3)等のデジタルオーディオデータである。である。なお、頭外定位処理装置100は、物理的に単一な装置に限られるものではなく、一部の処理が異なる装置で行われてもよい。例えば、一部の処理がパソコンなどにより行われ、残りの処理がヘッドホン43に内蔵されたDSP(Digital Signal Processor)などにより行われてもよい。
【0016】
頭外定位処理装置100は、頭外定位処理部10と、フィルタ部41、フィルタ部42、及びヘッドホン43を備えている。
【0017】
頭外定位処理部10は、畳み込み演算部11〜12、21〜22、及び加算器24、25を備えている。畳み込み演算部11〜12、21〜22は、空間音響伝達特性を用いた畳み込み処理を行う。頭外定位処理部10には、CDプレイヤーなどからのステレオ入力信号XL、XRが入力される。頭外定位処理部10には、空間音響伝達特性が設定されている。頭外定位処理部10は、各chのステレオ入力信号XL、XRに対し、空間音響伝達特性を畳み込む。空間音響伝達特性はユーザU本人の頭部や耳介で測定した頭部伝達関数HRTFでもよいし、ダミーヘッドまたは第三者の頭部伝達関数であってもよい。これらの伝達特性は、その場で測定してもよいし、予め用意してもよい。
【0018】
空間音響伝達特性は、4つの伝達特性Hls、Hlo、Hro、Hrsに応じたフィルタを有している。4つの伝達特性に応じたフィルタは、後述するフィルタ生成装置を用いて求めることができる。
【0019】
そして、畳み込み演算部11は、Lchのステレオ入力信号XLに対して伝達特性Hlsに応じたフィルタを畳み込む。畳み込み演算部11は、畳み込み演算データを加算器24に出力する。畳み込み演算部21は、Rchのステレオ入力信号XRに対して伝達特性Hroに応じたフィルタを畳み込む。畳み込み演算部21は、畳み込み演算データを加算器24に出力する。加算器24は2つの畳み込み演算データを加算して、フィルタ部41に出力する。
【0020】
畳み込み演算部12は、Lchのステレオ入力信号XLに対して伝達特性Hloに応じたフィルタを畳み込む。畳み込み演算部12は、畳み込み演算データを、加算器25に出力する。畳み込み演算部22は、Rchのステレオ入力信号XRに対して伝達特性Hrsに応じたフィルタを畳み込む。畳み込み演算部22は、畳み込み演算データを、加算器25に出力する。加算器25は2つの畳み込み演算データを加算して、フィルタ部42に出力する。
【0021】
フィルタ部41、42にはヘッドホン特性(ヘッドホンの再生ユニットとマイク間の特性)をキャンセルする逆フィルタが設定されている。そして、頭外定位処理部10での処理が施された再生信号に逆フィルタを畳み込む。フィルタ部41で加算器24からのLch信号に対して、逆フィルタを畳み込む。同様に、フィルタ部42は加算器25からのRch信号に対して逆フィルタを畳み込む。逆フィルタは、ヘッドホン43を装着した場合に、ヘッドホンユニットからマイクまでの特性をキャンセルする。マイクは、外耳道入口から鼓膜までの間ならばどこに配置してもよい。逆フィルタは、ユーザU本人の特性をその場で測定した結果から算出してもよいし、ダミーヘッド等の任意の外耳を用いて測定したヘッドホン特性から算出した逆フィルタを予め用意してもよい。
【0022】
フィルタ部41は、補正されたLch信号をヘッドホン43の左ユニット43Lに出力する。フィルタ部42は、補正されたRch信号をヘッドホン43の右ユニット43Rに出力する。ユーザUは、ヘッドホン43を装着している。ヘッドホン43は、Lch信号とRch信号をユーザUに向けて出力する。これにより、ユーザUの頭外に定位された音像を再生することができる。
【0023】
(フィルタ生成装置)
図2を用いて、空間音響伝達特性(以下、伝達特性とする)を測定して、フィルタを生成するフィルタ生成装置について説明する。
図2は、フィルタ生成装置200の測定構成を模式的に示す図である。なお、フィルタ生成装置200は、
図1に示す頭外定位処理装置100と共通の装置であってもよい。あるいは、フィルタ生成装置200の一部又は全部が頭外定位処理装置100と異なる装置となっていてもよい。
【0024】
図2に示すように、フィルタ生成装置200は、ステレオスピーカ5とステレオマイク2を有している。ステレオスピーカ5が測定環境に設置されている。測定環境は、ユーザUの自宅の部屋やオーディオシステムの販売店舗やショールーム等でもよい。
【0025】
本実施の形態では、フィルタ生成装置200の処理装置(
図2では不図示)が、伝達特性に応じたフィルタを適切に生成するための演算処理を行っている。処理装置は、例えば、MP3(MPEG−1 Audio Layer−3)プレイヤー、CDプレイヤー等の音楽プレイヤーなどを有している。処理装置は、パーソナルコンピュータ(PC)、タブレット端末、スマートホン等であってもよい。
【0026】
ステレオスピーカ5は、左スピーカ5Lと右スピーカ5Rを備えている。例えば、受聴者1の前方に左スピーカ5Lと右スピーカ5Rが設置されている。左スピーカ5Lと右スピーカ5Rは、インパルス応答測定を行うためのインパルス音等を出力する。
【0027】
以下、本実施の形態では、音源となるスピーカの数を2(ステレオスピーカ)として説明するが、測定に用いる音源の数は2に限らず、1以上であればよい。すなわち、1chのモノラル、または、5.1ch、7.1ch等の、いわゆるマルチチャンネル環境においても同様に、本実施の形態を適用することができる。
【0028】
ステレオマイク2は、左のマイク2Lと右のマイク2Rを有している。左のマイク2Lは、受聴者1の左耳9Lに設置され、右のマイク2Rは、受聴者1の右耳9Rに設置されている。具体的には、左耳9L、右耳9Rの外耳道入口又は鼓膜位置にマイク2L、2Rを設置することが好ましい。マイク2L、2Rは、ステレオスピーカ5から出力された測定信号を収音して、収音信号を取得する。例えば、測定信号はインパルス信号やTSP(Time Streched Pule)信号等でもよい。マイク2L、2Rは収音信号を後述するフィルタ生成装置200に出力する。受聴者1は、人でもよく、ダミーヘッドでもよい。すなわち、本実施形態において、受聴者1は人だけでなく、ダミーヘッドを含む概念である。
【0029】
上記のように、左右のスピーカ5L、5Rで出力されたインパルス音をマイク2L、2Rで測定することでインパルス応答が測定される。フィルタ生成装置200は、インパルス応答測定に基づいて取得した収音信号をメモリなどに記憶する。これにより、左スピーカ5Lと左マイク2Lとの間の伝達特性Hls、左スピーカ5Lと右マイク2Rとの間の伝達特性Hlo、右スピーカ5Lと左マイク2Lとの間の伝達特性Hro、右スピーカ5Rと右マイク2Rとの間の伝達特性Hrsが測定される。すなわち、左スピーカ5Lから出力された測定信号を左マイク2Lが収音することで、伝達特性Hlsが取得される。左スピーカ5Lから出力された測定信号を右マイク2Rが収音することで、伝達特性Hloが取得される。右スピーカ5Rから出力された測定信号を左マイク2Lが収音することで、伝達特性Hroが取得される。右スピーカ5Rから出力された測定信号を右マイク2Rが収音することで、伝達特性Hrsが取得される。
【0030】
そして、フィルタ生成装置200は、収音信号に基づいて、左右のスピーカ5L、5Rから左右のマイク2L、2Rまでの伝達特性Hls、Hlo、Hro、Hrsに応じたフィルタを生成する。具体的には、フィルタ生成装置200は、伝達特性Hls、Hlo、Hro、Hrsを所定のフィルタ長で切り出して、演算処理を行う。このようにすることで、フィルタ生成装置200は、頭外定位処理装置100の畳み込み演算に用いられるフィルタとして生成する。
図1で示したように、頭外定位処理装置100が、左右のスピーカ5L、5Rと左右のマイク2L、2Rとの間の伝達特性Hls、Hlo、Hro、Hrsに応じたフィルタを用いて頭外定位処理を行う。すなわち、伝達特性に応じたフィルタをオーディオ再生信号に畳み込むことにより、頭外定位処理を行う。
【0031】
ここで、電源ノイズや空調等によるいわゆる暗騒音(定在波、定常波)と近い周波数帯域である、低周波数帯域に対して、測定により得られる特性の精度をさらに向上させるための検討について説明する。ここでは、ダミーヘッドによる詳細な測定と、その測定によって得られる特性を用いた各個人の特性データの補正を検討する。
【0032】
上述した暗騒音等または突発的なノイズ等の外乱による影響を軽減するため、フィルタ生成装置200は、同期加算を行っている。左のスピーカ5L又は右のスピーカ5Rが同じ測定信号を一定の時間間隔で繰り返し出力する。そして、左マイク2L、及び右マイク2Rが複数の測定信号を収音して、それぞれの測定信号に対応する収音信号を同期して加算している。例えば、同期加算回数が16回の場合、左のスピーカ5L又は右のスピーカ5Rが測定信号を16回出力する。そして、左マイク2L、及び右マイク2Rが16個の収音信号を同期して加算している。このようにすることで、暗騒音等または突発的なノイズ等の外乱による影響を軽減することができ、適切なフィルタを生成することができる。
【0033】
左のスピーカ5L又は右のスピーカ5Rは、前の測定信号の残響などが無い状態で、次の測定信号を出力する必要がある。よって、測定信号を出力する時間間隔をある程度長くしなければならない。そのため、同期加算回数が多くなると、全体の測定時間が長くなってしまう。受聴者1は、測定中、動かずに静止していなければならない。受聴者1がユーザU個人の場合、測定時間を長くすることはユーザUにとって負担になる。そのため、本実施の形態では、ユーザ個人の測定では、同期加算回数を少なくしている。
【0034】
一方、同期加算回数を多くすることで、外乱の影響をより少なくすることができる。そのため、ダミーヘッドを用いた測定では、同期加算回数を多くしても、ユーザUの放胆とはならない。よって、本実施の形態では、ダミーヘッドを用いた測定と、ユーザU個人の測定で同期加算回数を変えている。
【0035】
例えば、受聴者1としてのダミーヘッドにステレオマイク2を装着した状態では、同期加算回数が64回の測定が行われる。一方、実際のユーザUにマイク2を装着した状態では、同期加算回数が16回の測定が行われる。ここで、ダミーヘッドにステレオマイク2を装着した状態で得られた測定をコンフィギュレーション測定とし、コンフィギュレーション測定に基づくデータをコンフィギュレーションデータとする。実際に頭外定位受聴を行うユーザUにマイク2を装着した状態の測定を個人測定とし、個人測定に基づくデータを個人測定データとする。フィルタ生成装置200は、個人測定データをコンフィギュレーションデータで補正する。
【0036】
具体的には、補正上限周波数よりも低い低周波数帯域(補正帯域とも称する)については、個人測定データをコンフィギュレーションデータで補正する。例えば、低周波数帯域については、個人測定データの値(例えば、パワー、又は振幅)をコンフィギュレーションデータの値(例えば、パワー、又は振幅)で置き換える。補正上限周波数よりも高い高周波数帯域については、個人測定データの値をそのまま用いる。このように、フィルタ生成装置200は、コンフィギュレーションデータと個人測定データを合成することで、伝達特性に応じたフィルタを生成する。本実施の形態では、位相スペクトルは補正せず、パワースペクトルのみを補正している。
【0037】
個人測定の同期加算回数をコンフィギュレーション測定の同期加算回数よりも少なくすることで、ユーザの負担を軽減することができる。すなわち、個人測定の同期加算回数を少なくすることで、ユーザUが実際に測定信号を受聴する測定時間を短くすることができる。これにより、ユーザ負担を軽減することができる。また、コンフィギュレーション測定での同期加算回数を多くすることで、フィルタの低周波数帯域を適切に設定することができる。
【0038】
ここで、同期加算回数による測定データの違いについて、説明する。
図3は、同期加算回数を16回とした測定データを示し、
図4は、同期加算回数を64回とした測定データを示す。
図3、
図4は、同期加算した同期加算信号を高速フーリエ変換(FFT)で解析した対数パワースペクトルを示している。また、
図3、
図4とも受聴者1としてダミーヘッドを用いた場合の測定データを示している。本実施の形態の測定では、サンプリング周波数は48kHz、測定フレーム長は8192サンプルとしている。
図3、
図4は、8192サンプルのデータ(以下、RAWデータ)の対数パワースペクトルを示している。
【0039】
図3、
図4は、4つの伝達特性Hls、Hlo、Hro、Hrsの対数パワースペクトルを示している。
図3では、16回の同期加算回数を1セットとして、5セットの測定を行った結果を示し、
図4は64回の同期加算回数を1セットとして、5セットの測定を行った結果を示している。したがって、
図3、
図4のそれぞれには、伝達測定Hlsについて、5つの対数パワースペクトルが示されている。同様に、伝達特性、Hlo、Hro、Hrsについても、それぞれ5つの対数パワースペクトルが示されている。
図3、
図4には、それぞれ20個の対数パワースペクトルが示されている。
【0040】
図3、
図4中の丸枠に囲まれた箇所から見て取れるように、約40Hz〜200Hzの周波数帯域において、16回の同期加算回数よりも64回の同期加算回数のほうが、伝達特性が安定しており、精度が高いことがわかる。すなわち、同期加算回数が16回の場合、
図3に示すように、約40Hz〜200Hzの周波数帯域において、セット毎のばらつきが大きくなる。
【0041】
図5、
図6は、マイク特性の補正、4096サンプル長へのフィルタの切り出し、及び窓掛けの処理が行われた同期加算信号の対数パワースペクトルを示している。
図5は、同期加算回数が16回の測定データ、すなわち、
図3に対応するRAWデータに処理を行った対数パワースペクトルを示している。
図6は、同期加算回数が64回の測定データ、すなわち、
図4に対応するRAWデータに処理を行った対数パワースペクトルを示している。
【0042】
この場合も、
図5、
図6中の丸枠に囲まれた箇所から見て取れるように、約40Hz〜200Hzの周波数帯域において、16回の同期加算回数よりも64回の同期加算回数のほうが、伝達特性が安定しており、精度が高いことがわかる。すなわち、同期加算回数が16回の場合、
図5に示すように、約40Hz〜200Hzの周波数帯域において、セット毎のばらつきが大きくなる。
【0043】
図7に、同期加算による定常波減衰率を示す。
図7は、サンプリング周波数48kHz、同期フレーム内サンプル数8192、の場合における、純音1Hzから200Hzまでの1Hz毎の定常波減衰率を示している。また、
図7では、同期加算回数が16回と64回の場合の定常波減衰率を示している。同期加算回数が64回の場合、概ね−20dB以上の減衰率が得られることが分かる。すなわち、同期加算回数が64回の場合、外乱による定常波が十分に減衰していることが分かる。さらに、同期加算回数が16回と比較すると、64回の場合、全体的に数十dBの改善が得られていることが分かる。したがって、200Hz以下の低周波数帯域において、同期加算回数を64回とすることで、外乱の影響を十分低減することができる。
【0044】
暗騒音の周波数帯域と近い低周波数帯域の測定制度を向上させるためには、同期加算回数を多くすることが好ましい。そこで、本実施の形態では、低周波数帯域については、ダミーヘッドを用いたコンフィギュレーション測定を行うことで、同期加算回数を多くしている。すなわち、ダミーヘッドにステレオマイク2を装着した状態で伝達特性の測定を行うことで、同期加算回数を多くした場合でも、ユーザの負担を軽減することができる。そして、フィルタ生成装置200は、個人測定データをコンフィギュレーションデータで補正する。
【0045】
ここで、個人測定データの一例を
図8に示す。
図8は、受聴者1をユーザUとした場合の測定結果を示すグラフである。
図8では、
図6と同様に、マイク特性の補正、4096サンプル長へのフィルタの切り出し、窓掛けを行ったデータに対して、FFTで解析した対数パワースペクトルを示している。
図8は、同期加算回数を64回にした時の個人測定データを示している。
【0046】
図6と
図8とを比較してわかるように、低周波数帯域の対数パワースペクトルの形状は、コンフィギュレーションデータと個人測定データとの間で同等となっている。理論的にも、低周波数帯域の頭部伝達関数は、各個人でほとんど差がないことが分かっている。すなわち、低周波数帯域の対数パワースペクトルの形状は、ユーザUによる個人差がほとんどない。したがって、低周波数帯域の個人測定データを、コンフィギュレーションデータで補正することが可能である。
【0047】
ここで、
図6、
図8等に示した対数パワースペクトルにおいて、同期加算信号の時間波形におけるサンプル値の二乗総和(=セグメンタルパワー)について、伝達特性Hls,Hrsのいずれか大きい方が1となるように、データを正規化している。すなわち、4つの伝達特性Hls、Hlo、Hro、Hrsに同じ係数を乗じることで、正規化が行われている。しかしながら、正規化を行ったとしても、
図6、
図8の丸枠に示すように、低周波数帯域のレベルに違いが生じていることが分かる。
【0048】
そこで、本実施の形態では、調整帯域におけるコンフィギュレーションデータと個人測定データに応じて、レベル調整を行うことが好ましい。調整帯域は、補正上限周波数よりも高い周波数を含んでいる。調整帯域は、例えば、200Hz〜500Hzとなっている。すなわち、このレベル調整の詳細については後述する。
【0049】
次に、本実施の形態にかかるフィルタ生成方法について、
図9を用いて説明する。
図9は、フィルタ生成方法の概要を示すフローチャートである。
【0050】
まず、コンフィギュレーション測定を行うため、フィルタ生成装置200が、ダミーヘッドを用いて、同期加算回数64回での測定を行う(S11)。すなわち、
図2に示した測定環境において、受聴位置にダミーヘッドを設置して、ダミーヘッドにステレオマイク2を装着する。そして、ステレオスピーカ5が、同じ測定信号を64回出力する。ステレオマイク2が収音した64個の収音信号を同期して加算する。これにより、伝達特性Hls、Hlo、Hro、Hrsのそれぞれに対応する同期加算信号が取得される。
【0051】
次に、フィルタの切り出しを行う(S12)。例えば、S11で取得した同期加算信号に対して、4096サンプル長へのフィルタの切り出し処理を前処理として行う。同期加算信号は部屋の残響などを考慮し、十分に長い時間のデータであるため、フィルタ生成装置200は、必要なサンプル数のデータ長に切り出しを行う。なお、フィルタ生成装置200が、切り出されたフィルタに対して、DC成分のカット、マイク特性の補正、及び窓掛け等の処理を前処理として行ってもよい。
【0052】
そして、フィルタ生成装置200が、前処理されたデータをコンフィギュレーションデータとして保存する(S13)。具体的には、フィルタ生成装置200が前処理されたコンフィギュレーションデータを、周波数領域のデータに変換する。フィルタ生成装置200が周波数領域のデータをコンフィギュレーションデータとして保存する。例えば、フィルタ生成装置200は、FFTを行うことで、対数パワースペクトルと位相スペクトルを算出する。対数パワースペクトルと位相スペクトルとがコンフィギュレーションデータとしてメモリなどに保存される。
【0053】
次に、個人測定データを取得するため、ユーザUにステレオマイク2を装着して、同期加算回数16回での測定を行う(S21)。すなわち、ユーザUが
図2で示した測定環境の受聴位置に座り、ステレオマイク2を装着する。そして、ステレオスピーカ5が、同じ測定信号を16回出力する。ステレオマイク2が収音した16個の収音信号を同期して加算する。これにより、伝達特性Hls、Hlo、Hro、Hrsのそれぞれに対応する同期加算信号が取得される。
【0054】
次に、フィルタの切り出しを行う(S22)。例えば、S21で取得した同期加算信号に対して、4096サンプル長へのフィルタの切り出し処理を前処理として行う。同期加算信号は部屋の残響などを考慮し、十分に長い時間のデータであるため、フィルタ生成装置200は、必要なサンプル数のデータ長に切り出しを行う。なお、フィルタ生成装置200が、切り出されたフィルタに対して、DC成分のカット、マイク特性の補正、及び窓掛け等の処理を前処理として行ってもよい。
【0055】
次に、フィルタ生成装置200が、個人測定データに対して、コンフィギュレーションデータを用いた補正を行う(S23)。そのため、まず、フィルタ生成装置200は、S22で前処理された個人測定データを周波数領域のデータに変換する。例えば、フィルタ生成装置200は、FFTを行うことで、対数パワースペクトルと位相スペクトルを算出する。
【0056】
そして、個人測定データの対数パワースペクトルをコンフィギュレーションデータの対数パワースペクトルで補正する。具体的には、フィルタ生成装置200は、補正上限周波数よりも低い低周波数帯域では、個人測定データのパワー値をコンフィギュレーションデータのパワー値で置き換える。フィルタ生成装置200は、補正上限周波数よりも高い高周波数帯域では、個人測定データのパワー値をそのまま用いる。すなわち、フィルタ生成装置200は、低周波数帯域のコンフィギュレーションデータのパワー値と、高周波数帯域の個人測定データのパワー値とを組み合わせることで、補正データを生成している。
【0057】
なお、フィルタ生成装置200は、補正を行う際において、個人測定データとコンフィギュレーションデータとのレベルを調整してもよい。具体的には、調整帯域の個人測定データとコンフィギュレーションデータとの対数パワースペクトルに基づいて、コンフィギュレーションデータの対数パワースペクトルのレベル調整を行っている。調整帯域は、第1の周波数と第2の周波数との間の帯域である。第1の周波数は第2の周波数より高く、かつ、上記した、補正上限周波数よりも高い。また、ここでは、第2の周波数を補正上限周波数よりも高くしているが、第1の周波数は補正上限周波数よりも低い周波数であってもよい。
【0058】
図10、
図11に補正前の対数パワースペクトルと補正後の対数パワースペクトルの一例を示す。
図10では、補正前の個人測定データが実線で示され、コンフィギュレーションデータが破線で示されている。
図11では、補正後のデータが実線で示され、コンフィギュレーションデータが破線で示されている。低周波数帯域において、補正後の対数パワースペクトルとコンフィギュレーションデータは一致する。
【0059】
具体的な一例では、補正上限周波数は150Hz、第1の周波数は500Hz、第2の周波数は200Hzである。すなわち、調整帯域は、200Hz〜500Hzとなる。フィルタ生成装置200は、個人測定データにおける150Hz以下のパワー値を、コンフィギュレーションンデータで置換する。個人測定データを補正する低周波数帯域は、最低周波数から150Hzの帯域である。個人測定データを補正しない高周波数帯域は補正上限周波数よりも高い帯域である。補正上限周波数は100Hz以上、200Hz以下とすることが好ましい。
【0060】
次に、フィルタ生成装置200の処理装置と、その処理について詳細に説明する。
図12は、フィルタ生成装置200の処理装置210を示す制御ブロック図である。
図13は、処理装置210における処理を示すフローチャートである。
【0061】
処理装置210は、フィルタ生成装置(フィルタ生成部)として機能する。処理装置210は、測定信号生成部211、収音信号取得部212、第1の同期加算部213、第2の同期加算部214、波形切り出し部215、DCカット部216、第1の窓掛部217、正規化部218、位相合わせ部219、第1の変換部220、レベル調整部221、第1の補正部222、第1の逆変換部223、第2の窓掛部224、第2の変換部225、第2の補正部226、第2の逆変換部227、及び第3の窓掛部228を備えている。
【0062】
例えば、処理装置210は、パーソナルコンピュータ、スマートホン、タブレット端末などの情報処理装置であり、音声入力インターフェース(IF)と音声出力インターフェースを備えている。すなわち、処理装置210は、ステレオマイク2、及びステレオスピーカ5に接続される入出力端子を有する音響デバイスである。
【0063】
測定信号生成部211は、D/A変換器やアンプなどを備えており、測定信号を生成する。測定信号生成部211は、生成した測定信号をステレオスピーカ5にそれぞれ出力する。左スピーカ5Lと右スピーカ5Rがそれぞれ伝達特性を測定するための測定信号を出力する。左スピーカ5Lによるインパルス応答測定と、右スピーカ5Rによるインパルス応答測定がそれぞれ行われる。測定信号はインパルス音等の測定音を含んでいる。
【0064】
ステレオマイク2の左マイク2L、右マイク2Rがそれぞれ測定信号を収音し、収音信号を処理装置210に出力する。収音信号取得部212は、左マイク2L、右マイク2Rからの収音信号を取得する。なお、収音信号取得部212は、A/D変換器、及びアンプなどを有しており、左マイク2L、右マイク2Rからの収音信号をA/D変換、増幅などしてもよい。収音信号取得部212は、取得した収音信号を第1の同期加算部213又は第2の同期加算部214に出力する。
【0065】
個人測定の場合、測定信号生成部211は、16回の測定信号を繰り返し、左スピーカ5L又は右スピーカ5Rに出力する。そして測定信号生成部211は、16回の測定信号に対応する収音信号を第1の同期加算部213に出力する。第1の同期加算部213は、16回の収音信号を同期加算することで、第1の同期加算信号を生成する。第1の同期加算部213は、それぞれ伝達特性Hls、Hlo,Hro、Hrs毎に同期加算信号を生成する。
【0066】
コンフィギュレーション測定の場合、測定信号生成部211は、64回の測定信号を繰り返し、左スピーカ5L又は右スピーカ5Rに出力する。そして測定信号生成部211は、64回の測定信号に対応する収音信号を第2の同期加算部214に出力する。第2の同期加算部214は、64回の収音信号を同期加算することで、第2の同期加算信号を生成する。第2の同期加算部214は、それぞれ伝達特性Hls、Hlo,Hro、Hrs毎に同期加算信号を生成する。
【0067】
第1の同期加算信号は、個人測定データとなり、第2の同期加算信号はコンフィギュレーションデータとなる。
【0068】
次に、波形切り出し部215が、第1及び第2の同期加算信号から必要なデータサンプル長の波形を切り出す(S31)。具体的には、8192サンプル長の第1及び第2の同期加算信号から4096サンプル長のデータを切り出す。
【0069】
DCカット部216は、切り出し後の第1及び第2の同期加算信号のDC成分(直流成分)をカットする(S32)。これにより、第1及び第2の同期加算信号のDCノイズ成分が除去される。
【0070】
第1の窓掛部217は、DC成分カット後の第1及び第2の同期加算信号に対して、第1の窓掛けを行う(S33)。窓関数は、同期加算信号の絶対最大値を基準に前後窓長の異なる窓関数の半分を掛ける。例えば、窓関数はハニング窓でもよいし、ハミング窓でもよい。また、全体に窓関数をかけずに、両端の一部にのみ窓関数をかけてもよい。第1の窓掛部217で用いられる窓関数は特に限定されるものではない。
【0071】
なお、S31からS33の処理は、第1の同期加算信号及び第2の同期加算信号に対して同じとなっている。すなわち、切り出すサンプル長と窓関数は、第1の同期加算信号と第2の同期加算信号の間で同じとなっている。また、第1の同期加算信号と第2の同期加算信号との処理順は特に限定されるものではない。第2の同期加算信号に対してS31〜S33の前処理を行った後、第1の同期加算信号に対してS31〜S33の前処理を行ってもよい。あるいは、第1の同期加算信号に対してS31〜S33の前処理を行った後、第2の同期加算信号に対してS31〜S33の前処理を行ってもよい。すなわち、第1の同期加算信号に対して第2の同期加算信号よりも先にS31〜S33の前処理を行ってもよく、第2の同期加算信号に対して第1の同期加算信号よりも先にS31〜S33の前処理を行ってもよい。
【0072】
次に、正規化部218は、窓掛処理後の同期加算信号に対して正規化を行う(S34)。具体的には、正規化部218は、伝達特性Hls、Hlo,Hro、Hrsの4つの同期加算信号についてデータの二乗総和を求める。正規化部218は、4つの二乗総和の中の最大値が1となるような係数を求める。正規化部218は、伝達特性Hls、Hlo,Hro、Hrsの4つの同期加算信号に対して、その係数を掛ける。例えば、第1の同期加算信号において、伝達特性Hls、Hlo,Hro、Hrsの係数K1は同じ値である。第2の同期加算信号において、伝達特性Hls、Hlo,Hro、Hrsの係数K2は同じ値である。
【0073】
位相合わせ部219は、正規化後の第1の同期加算信号と第2の同期加算信号の位相合わせを行う(S35)。具体的には、位相合わせ部219は、伝達特性Hls、Hlo,Hro、Hrsのそれぞれに対して、絶対最大値をもつサンプル位置を求める。そして、第1の同期加算信号と第2の同期加算信号とにおいて、絶対最大値を持つサンプル位置が同じになるように、第2の同期加算信号をシフトする。
【0074】
例えば、伝達特性Hlsの第1の同期加算信号と、伝達特性Hlsの第2の同期加算信号の位相合わせを行う場合を説明する。伝達特性Hlsの第1の同期加算信号の絶対最大値がサンプル位置N1であり、伝達特性Hlsの第2の同期加算信号の絶対最大値がサンプル位置N2であるとする。この場合、第1の同期加算信号と第2の同期加算信号の絶対最大値がサンプル位置N1で一致するよう、第2の同期加算信号を(N1−N2)だけシフトする。
【0075】
同様に伝達特性Hloについても、第1の同期加算信号と第2の同期加算信号の絶対最大値が一致するように、第2の同期加算信号をシフトする。伝達特性Hroについても、第1の同期加算信号と第2の同期加算信号の絶対最大値が一致するように、第2の同期加算信号をシフトする。伝達特性Hrsについても、第1の同期加算信号と第2の同期加算信号の絶対最大値が一致するように、第2の同期加算信号をシフトする。なお、位相合わせの方法は上記の手法に限らず、第1の同期加算信号と第2の同期加算信号の相関などを用いてもよい。
【0076】
次に、第1の変換部220は、位相合わせ後の第1及び第2の同期加算信号を周波数領域のデータに変換する(S36)。第1の変換部220は、FFTを用いて、第1の同期加算信号を第1の対数パワースペクトル及び第1の位相スペクトルを生成する。同様に第1の変換部220は、FFTを用いて、第2の同期加算信号を第2の対数パワースペクトル及び第2の位相スペクトルを生成する。
【0077】
第1の対数パワースペクトル及び第1の位相スペクトルは、個人測定データであり、第2の対数パワースペクトル及び第2の位相スペクトルは、コンフィギュレーションデータである。なお、第1の変換部220は、対数パワースペクトルの代わりに振幅スペクトルを生成してもよい。また、第1の変換部220は、離散フーリエ変換や離散コサイン変換により、同期加算信号を周波数領域のデータに変換してもよい。
【0078】
レベル調整部221は、対数パワースペクトルの基準値に基づいて、コンフィギュレーションデータのレベル調整を行う(S37)。具体的には、レベル調整部221は、第1の対数パワースペクトルと第2の対数パワースペクトルの基準値を求める。基準値は、例えば、所定の周波数範囲における対数パワースペクトルの平均値である。なお、レベル調整部221は、一定値以上の外れ値を、除外してもよい。あるいは、レベル調整部221は、一定値以上の外れ値を一定値に制限してもよい。なお、基準値の算出方法は、これに限られるものではない。例えば、ケプストラムスムージング、移動平均、直線近似等によるスムージングや変換を施したデータの平均値を基準値として用いることも可能であり、または、それらの中央値を基準値として用いることができる。
【0079】
レベル調整部221は、第1の対数パワースペクトルの基準値を第1の基準値として算出し、第2の対数パワースペクトルの基準値を第2の基準値として算出する。そして、レベル調整部221は、第1の基準値及び第2の基準値に基づいて、第2の対数パワースペクトルのレベル調整を行う。具体的には、第2の基準値が、第1の基準値と一致するように第2の対数パワースペクトルのパワー値を調整する。例えば、第1の基準値と第2の基準値の比に応じた係数K3を第2の対数パワースペクトルに加算または減算する。なお、対数パワースペクトルに代えて振幅スペクトルを用いる場合は、係数K3を乗算することで振幅値を調整する。係数K3には、周波数によらない一定値を用いることができる。このようにして、レベル調整部221は、第1の対数パワースペクトルに基づいて、第2の対数パワースペクトルのレベル調整を行う。
【0080】
第1の補正部222は、レベル調整後に対数パワースペクトルを用いて、第1の対数パワースペクトルを補正する(S38)。具体的には、第1の対数パワースペクトルの低周波数帯域のパワー値を第2の対数パワースペクトルのパワー値に置き換える。これにより、
図10に示した対数パワースペクトルが
図11に示す対数パワースペクトルに補正される。なお、低周波数帯域とは、上記の通り、補正上限周波数以下の帯域である。例えば、補正上限周波数は150Hzであるため、低周波数帯域は最低周波数〜150Hzとなる。補正上限周波数よりも高い高周波数帯域では、第1の補正部222が第1の対数パワースペクトルのパワー値を補正せずに、そのまま用いる。なお、第1の補正部222により補正された対数パワースペクトルを第1の補正データ、又は第3の対数パワースペクトルとも称する。
【0081】
第1の逆変換部223が第3の対数パワースペクトルを時間領域に逆変換する(S39)。具体的には、第1の逆変換部223が逆高速フーリエ変換(IFFT)を用いて、第1の補正データを時間領域に逆変換する。例えば、第1の逆変換部223が第3の対数パワースペクトルと第1の位相スペクトルとに逆離散フーリエ変換を施すことで、第1の補正データが時間領域のデータとなる。第1の逆変換部223は、逆離散フーリエ変換ではなく、逆離散コサイン変換等により、逆変換を行ってもよい。
【0082】
第2の窓掛部224は、逆変換された第1の補正データに第2の窓掛けを施す(S40)。第2の窓掛けの処理は、S33の第1の窓掛けの処理と同じ処理であるため、説明を省略する。第2の窓掛けに用いる窓関数は、第1の窓掛けに用いる窓関数と同じものでもよく、異なるものでもよい。
【0083】
第2の変換部225は、第2の窓掛け後の第1の補正データを周波数領域に変換する(S41)。第2の変換部225は、第1の変換部220と同様に、FFTを用いて、時間領域における第2の窓掛け後の第1の補正データを周波数領域の第1の補正データに変換する。第2の変換部225が算出した対数パワースペクトル及び位相スペクトルを第4の対数パワースペクトル、及び第4の位相スペクトルとする。第4の対数パワースペクトル、及び第4の位相スペクトルは、第2の窓掛け後の対数パワースペクトル、及び第4の位相スペクトルである。
【0084】
次に、第2の補正部226は、第2の窓掛けによる減衰率から、第3の対数パワースペクトルを補正する(S42)。具体的には、第2の補正部226は、S38で算出された第3の対数パワースペクトルと、S41で算出された第4の対数パワースペクトルとのパワーの減衰率を求める。第2の補正部226は、第2の窓掛け前後の第1の補正データを比較して、所定の周波数帯域におけるパワーの減数率を算出する。そして、第2の補正部226は、減衰率に応じて、第3の対数パワースペクトルに対する第2の補正を行う。なお、第2の補正部226によって補正された対数パワースペクトルを第5の対数パワースペクトル、又は第2の補正データとする。
【0085】
ここで、減衰率を算出するための周波数帯域を算出用帯域とする。算出用帯域は、対数パワースペクトルの一部の帯域である。算出用帯域は、同期加算信号のサンプル数やサンプリングレートを用いて求めることができる。算出用帯域は、所定の周波数よりも低い周波数の帯域である。算出用帯域は、低周波数帯域と異なる帯域となっていてもよく、同じ帯域であってもよい。
【0086】
第2の補正部226は、算出用帯域における第3の対数パワースペクトルのパワー値と第4の対数パワースペクトルのパワー値を比較することで、第2の窓掛け処理による減衰率を求める。そして、算出用帯域に第3の対数パワースペクトルのパワー値を減衰率に応じて底上げする。例えば、算出用帯域における第3の対数パワースペクトルのパワー値に減衰率に応じた値を加えたり、乗じたりすることで、算出用帯域における第3の対数パワースペクトルのパワー値が底上げされる。具体的には、第4の対数パワースペクトルと第5の対数パワースペクトルとの減衰率が1となるように、第2の補正部226は第3の対数パワースペクトルを補正する。
【0087】
そして、第2の逆変換部227は、第5の対数パワースペクトルを時間領域に逆変換する(S43)。第2の逆変換部227は、S39と同様に逆離散フーリエ変換等を行って、第2の補正データを時間領域に変換する。例えば、第2の逆変換部227が第5の対数パワースペクトルと第1の位相スペクトルとに逆離散フーリエ変換を施すことで、第2の補正データが時間領域のデータとなる。第2の逆変換部227は、逆離散フーリエ変換ではなく、逆離散コサイン変換により、逆変換を行ってもよい。
【0088】
そして、第3の窓掛部228は、時間領域の第2の補正データに対して、窓掛けを行う(S44)。第3の窓掛部228は、S40の窓掛けと同じ窓関数を用いて、窓掛けを行う。これにより、処理が終了する。
【0089】
上記の処理を行うことで、処理装置210が伝達特性に応じたフィルタを生成することができる。低周波数帯域の特性は、周波数帯域が近い、電源ノイズや空調等によるいわゆる暗騒音(定在波、定常波)の影響を排除することが難しい。また、低周波数帯域の特性は、個人差が小さい。よって、低周波数帯域については、コンフィギュレーションデータで個人測定データを置き換えている。これより、伝達特性に応じたフィルタを適切に生成することができる。処理装置210は、伝達特性Hls、Hlo、Hro、Hrs毎にフィルタを生成する。そして、処理装置210が生成したフィルタを、
図1の畳み込み演算部11、12、21、22に設定する。このようにすることで、適切に頭外定位処理することができる。
【0090】
頭外定位処理装置100のユーザUは短時間の簡易な測定のみでよいため、ユーザUの負担を軽減することができる。上記のフィルタを用いた結果、頭外定位された再生音の音質を向上することができる。これにより、聴感上、(1)耳の周囲に残る低周波数帯域の音像が明瞭となる、(2)左右の偏りが補正され違和感が減少する、(3)中低域の音圧バランスが良くなる、等の効果が得られる。
【0091】
個人測定データの対数パワースペクトルと補正後の対数パワースペクトルを
図14〜
図18に示す。
図14〜
図18は異なる5人のユーザUに対して測定された個人測定データの対数パワースペクトルと、補正後の対数パワースペクトルを示している。
図14〜
図18において、太線が補正後の対数パワースペクトルであり、細線が補正前の個人測定スペクトルである。また、
図14〜
図18では、同じコンフィギュレーションデータが用いられている。
図14〜
図18から、低周波数帯域の特性のばらつきが、補正処理により安定化していることが分かる。
【0092】
なお、第1の補正部222が、低周波数帯域のパワー値を置き換えることで、第1の補正を行っていたが、補正する方法は、特に限定されるものではない。補正上限周波数の近傍に境界周波数帯域を設定して、境界周波数帯域において、指数関数的あるいは、線形的にパワー値を漸近させてもよい。
【0093】
例えば、補正上限周波数を200Hzとし、200Hz〜1kHzを境界周波数帯域とすることができる。200Hz以下の低周波数帯域では、第1の対数パワースペクトルのパワー値を第2の対数パワースペクトルのパワー値で置換する。1kHz以上では、第1の対数パワースペクトルのパワー値をそのまま用いる。境界周波数帯(200Hz〜1kHz)では、200Hzのパワー値と1kHzのパワー値を漸近的につなぎ合わせる関数に基づいて、パワー値を設定する。この関数は、例えば、指数関数や線形関数とすることができる。
【0094】
さらには、個人測定に応じて、補正上限周波数を可変とすることも可能である。例えば、一定の周波数幅を指定して、その周波数幅の範囲内で、第1の対数パワースペクトルと第2の対数パワースペクトルの差異が最小となる周波数点を探索する。探索された周波数点を補正上限周波数とすることができる。例えば、周波数幅が50Hzとして探索した場合において、80Hz〜130Hzの周波数幅で、第1の対数パワースペクトルと第2の対数パワースペクトルの差異が最小となったとする。この場合、補正上限周波数を130Hzとすることができる。
【0095】
コンフィギュレーション測定での同期加算回数を64回、個人測定での同期加算回数を16回としたが、それぞれの同期加算回数はこれに限られるものではない。すなわち、コンフィギュレーション測定での同期加算回数が個人測定での同期加算回数よりも多ければよい。個人測定での同期加算回数は2回以上であればよい。
【0096】
個人測定での同期加算回数をコンフィギュレーション測定での同期加算回数よりも少なくすることで、個人測定時間を短縮することができる。よって、ユーザUの負担を軽減することができる。
【0097】
ダミーヘッドを用いることで、同期加算回数を多くすることができるので、外乱などの影響を低減することができる。なお、ダミーヘッドを用いてコンフィギュレーション測定を行うことで、ユーザUの負担を軽減することができるが、コンフィギュレーション測定は、個人測定を行った個人(ユーザU)と異なる個人であってもよい。すなわち、1人のコンフィギュレーションデータを複数のユーザUに使用するようにしてもよい。このようにしても、ユーザUの負担を軽減することができる。
【0098】
処理装置210において実施された全ての処理は必須ではない。例えば、S31〜S34の処理、及びS35などの処理の一部又は全部は省略することが可能である。また、レベル調整部221によるS37を行うことで、適切にフィルタを生成することができるが、適宜省略することも可能である。S40〜S44等の処理の一部又は全部を省略することも可能である。
【0099】
なお、処理装置210は、物理的な単一な装置に限られるものではない。すなわち、処理装置210の一部の処理を他の装置で行うことも可能である。例えば、他の装置で測定したコンフィギュレーションデータを用意しておく。そして、処理装置210は、コンフィギュレーションデータの第2の対数パワースペクトルをメモリなどに格納しておく。コンフィギュレーションデータを予めメモリに格納しておくことで、複数のユーザUの個人測定データの補正に用いることができる。
【0100】
上記処理のうちの一部又は全部は、コンピュータプログラムによって実行されてもよい。上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non−transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0101】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記実施の形態に限られたものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。