特許 6690008 オーディオ信号処理装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6690008

(24)【登録日】2020年4月10日

(45)【発行日】2020年4月28日

(54)【発明の名称】オーディオ信号処理装置および方法

(51)【国際特許分類】

   H04S 7/00 20060101AFI20200421BHJP

   H04S 1/00 20060101ALI20200421BHJP

【ＦＩ】

   H04S7/00 300

   H04S1/00 700

   H04S1/00 500

【請求項の数】16

【全頁数】24

(21)【出願番号】特願2018-548270(P2018-548270)

(86)(22)【出願日】2015年12月7日

(65)【公表番号】特表2019-502337(P2019-502337A)

(43)【公表日】2019年1月24日

(86)【国際出願番号】EP2015078805

(87)【国際公開番号】WO2017097324

(87)【国際公開日】20170615

【審査請求日】2018年8月6日

(73)【特許権者】

【識別番号】504161984

【氏名又は名称】ホアウェイ・テクノロジーズ・カンパニー・リミテッド

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100140534

【弁理士】

【氏名又は名称】木内 敬二

(72)【発明者】

【氏名】リユン・パン

(72)【発明者】

【氏名】ペーター・グロシェ

(72)【発明者】

【氏名】クリストフ・ファラー

(72)【発明者】

【氏名】アレクシス・ファヴロート

【審査官】 秋山 直人

(56)【参考文献】

【文献】 特開平１０−１７４２００（ＪＰ，Ａ）

【文献】 特開２００２−０９５０９６（ＪＰ，Ａ）

【文献】 特開平０６−１３３３９９（ＪＰ，Ａ）

【文献】 特開２００６−２０３８５０（ＪＰ，Ａ）

【文献】 特開昭５５−０８０９１３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｓ ７／００

Ｈ０４Ｓ １／００

(57)【特許請求の範囲】

【請求項1】

リスナに対する方位角および仰角によって画定された仮想目標位置から来る入力オーディオ信号を前記リスナが知覚するように、前記リスナに送信される前記入力オーディオ信号を処理するためのオーディオ信号処理装置であって、
一組の所定の左耳および右耳の伝達関数のペアを記憶するように構成されたメモリであって、前記一組の所定の左耳および右耳の伝達関数の各ペアは、前記リスナに対する複数の基準位置の各基準位置に対してあらかじめ定義され、前記各基準位置が2次元平面内にある、メモリと、
前記仮想目標位置の前記方位角および前記仰角に対する前記一組の所定の左耳および右耳の伝達関数のペアに基づいて、左耳および右耳の伝達関数のペアを決定するように構成された決定器と、
前記決定された左耳および右耳の伝達関数のペアと、左耳出力オーディオ信号および右耳出力オーディオ信号を取得するために、前記決定された左耳および右耳の伝達関数のペアの前記左耳伝達関数と前記右耳伝達関数との間の遅延、ならびに前記決定された左耳および右耳の伝達関数のペアの前記左耳伝達関数および前記右耳伝達関数の周波数依存性を、前記仮想目標位置の前記方位角および／または前記仰角の関数として調整するように構成された調整関数とに基づいて、前記入力オーディオ信号をフィルタリングするように構成された調整フィルタであって、前記調整関数は、
前記決定された左耳および右耳の伝達関数のペアの決定された左耳伝達関数と決定された右耳伝達関数との間の遅延を調整し、
左耳出力オーディオ信号および右耳出力オーディオ信号を取得するために、複数の無限インパルス応答フィルタに基づいて、前記決定された左耳伝達関数および前記決定された右耳伝達関数の周波数依存性を、前記方位角または前記仰角の関数として調整し、ここで前記複数の無限インパルス応答フィルタの各無限インパルス応答フィルタの周波数依存性は、複数の所定のフィルタパラメータによって決定され、無限インパルス応答フィルタに対して、前記所定のフィルタパラメータは、測定された左耳および右耳の伝達関数のペアの測定された左耳伝達関数または測定された右耳伝達関数が最小または最大の大きさを有する周波数ならびに前記方位角または前記仰角を決定することによって選択される、
調整フィルタと
を備える、オーディオ信号処理装置。

【請求項2】

前記調整フィルタが、前記仮想目標位置と前記リスナの左耳との間の距離および前記仮想目標位置と前記リスナの右耳との間の距離に関連付けられた音の移動時間差を補償することにより、前記決定された左耳および右耳の伝達関数のペアの前記左耳伝達関数と前記右耳伝達関数との間の前記遅延を、前記仮想目標位置の前記方位角および／または前記仰角の関数として調整するように構成される、請求項1に記載のオーディオ信号処理装置。

【請求項3】

前記調整フィルタが、以下の式：

【数1】

および

【数2】

に基づいて、前記決定された左耳および右耳の伝達関数のペアの前記左耳伝達関数と前記右耳伝達関数との間の前記遅延を、前記仮想目標位置の前記方位角および／または前記仰角の関数として調整するように構成され、
τ_Lが前記左耳伝達関数に適用される遅延を表し、τ_Rが前記右耳伝達関数に適用される遅延を表し、τおよびΘが、以下の式：

【数3】

および

【数4】

に基づいて定義され、
τが秒単位の遅延を表し、cが音速を表し、aがリスナの頭部に関連するパラメータを表し、θが前記仮想目標位置の前記方位角を表し、φが前記仮想目標位置の前記仰角を表す、
請求項1または2に記載のオーディオ信号処理装置。

【請求項4】

前記複数の無限インパルス応答フィルタが、測定された左耳および右耳の伝達関数の複数のペアの左耳伝達関数および右耳伝達関数の前記周波数依存性の少なくとも一部分を、前記仮想目標位置の前記方位角および／または前記仰角の関数として近似するように構成される、請求項1から3のいずれか一項に記載のオーディオ信号処理装置。

【請求項5】

各無限インパルス応答フィルタの前記周波数依存性が、複数の所定のフィルタパラメータによって定義され、各無限インパルス応答フィルタの前記周波数依存性が、測定された左耳および右耳の伝達関数の前記複数のペアの左耳伝達関数および右耳伝達関数の前記周波数依存性の少なくとも一部分を、前記仮想目標位置の前記方位角および／または前記仰角の関数として近似するように、前記複数の所定のフィルタパラメータが選択される、請求項4に記載のオーディオ信号処理装置。

【請求項6】

前記複数の無限インパルス応答フィルタが、複数のバイカッドフィルタであって、前記複数のバイカッドフィルタが、並列フィルタまたは直列フィルタとして実装することができる、複数のバイカッドフィルタを備える、請求項5に記載のオーディオ信号処理装置。

【請求項7】

前記複数のバイカッドフィルタが、少なくとも1つのシェルビングフィルタであって、前記少なくとも1つのシェルビングフィルタが、カットオフ周波数パラメータf₀およびゲインパラメータg₀によって定義される、シェルビングフィルタ、ならびに／または少なくとも1つのピーキングフィルタであって、前記少なくとも1つのピーキングフィルタが、カットオフ周波数パラメータf₀、ゲインパラメータg₀、および帯域幅パラメータΔ₀によって定義される、ピーキングフィルタを備える、請求項6に記載のオーディオ信号処理装置。

【請求項8】

前記複数の無限インパルス応答フィルタの少なくとも1つの無限インパルス応答フィルタに対して、前記複数の所定のフィルタパラメータが、測定された左耳および右耳の伝達関数の前記複数のペアの左耳伝達関数または右耳伝達関数が最小または最大の大きさを有する周波数ならびに方位角および／または仰角を決定することによって、かつ前記少なくとも1つの無限インパルス応答フィルタの前記周波数依存性により、測定された左耳および右耳の伝達関数の前記複数のペアの前記左耳伝達関数または前記右耳伝達関数の前記周波数依存性を近似することによって選択される、請求項7に記載のオーディオ信号処理装置。

【請求項9】

前記カットオフ周波数パラメータf₀、前記ゲインパラメータg₀、および／または前記帯域幅パラメータΔ₀が、以下の式：
f₀＝max（m_f，min（M_f，a_f（φ−φ_p）²＋f_p））、
g₀＝max（m_g，min（M_g，a_g（φ−φ_p）²＋g_p））、
Δ₀＝max（m_Δ，min（M_Δ，a_Δ（φ−φ_p）²＋Δ_p））、
に基づいて決定され、M_f、M_g、M_Δおよびm_f、m_g、m_Δが、それぞれf、g、Δの最大値および最小値を表し、a_f、a_g、a_Δが、対応するフィルタパラメータを変更する速さを制御する係数を表す、請求項7または8に記載のオーディオ信号処理装置。

【請求項10】

前記調整フィルタが、前記左耳出力オーディオ信号を取得するために、前記調整関数を前記左耳伝達関数と畳み込み、結果を前記入力オーディオ信号と畳み込むことにより、かつ／または前記右耳出力オーディオ信号を取得するために、前記調整関数を前記右耳伝達関数と畳み込み、前記結果を前記入力オーディオ信号と畳み込むことにより、前記決定された左耳および右耳の伝達関数のペアならびに前記調整関数に基づいて、前記入力オーディオ信号をフィルタリングするように構成される、請求項1から9のいずれか一項に記載のオーディオ信号処理装置。

【請求項11】

前記調整フィルタが、前記左耳出力オーディオ信号を取得するために、前記左耳伝達関数を前記入力オーディオ信号と畳み込み、結果を前記調整関数と畳み込むことにより、かつ／または前記右耳出力オーディオ信号を取得するために、前記右耳伝達関数を前記入力オーディオ信号と畳み込み、前記結果を前記調整関数と畳み込むことにより、前記決定された左耳および右耳の伝達関数のペアならびに前記調整関数に基づいて、前記入力オーディオ信号をフィルタリングするように構成される、請求項1から9のいずれか一項に記載のオーディオ信号処理装置。

【請求項12】

前記オーディオ信号処理装置が、前記左耳出力オーディオ信号および前記右耳出力オーディオ信号を出力するように構成された一対のトランスデューサ、特に、クロストーク除去を使用するヘッドホンまたはラウドスピーカをさらに備える、請求項1から11のいずれか一項に記載のオーディオ信号処理装置。

【請求項13】

前記所定の左耳および右耳の伝達関数のペアが、前記リスナに対して水平面内にある、前記リスナに対する複数の基準位置に対してあらかじめ定義される、請求項1から12のいずれか一項に記載のオーディオ信号処理装置。

【請求項14】

前記決定器が、前記仮想目標位置の前記方位角および前記仰角に対する前記一組の所定の左耳および右耳の伝達関数のペアから左耳および右耳の伝達関数のペアを選択することにより、かつ／または前記仮想目標位置の前記方位角および前記仰角に対する前記一組の所定の左耳および右耳の伝達関数のペアに基づいて、左耳および右耳の伝達関数のペアを補間することにより、前記仮想目標位置の前記方位角および前記仰角に対する前記一組の所定の左耳および右耳の伝達関数のペアに基づいて、左耳および右耳の伝達関数の前記ペアを決定するように構成される、請求項1から13のいずれか一項に記載のオーディオ信号処理装置。

【請求項15】

リスナに対する方位角および仰角によって画定された仮想目標位置から来る入力オーディオ信号を前記リスナが知覚するように、前記リスナに送信される前記入力オーディオ信号を処理するためのオーディオ信号処理方法であって、
前記仮想目標位置の前記方位角および前記仰角に対する一組の所定の左耳および右耳の伝達関数のペアに基づいて、左耳および右耳の伝達関数のペアを決定するステップであって、前記所定の左耳および右耳の伝達関数のペアが、前記リスナに対する複数の基準位置に対してあらかじめ定義され、前記複数の基準位置が2次元平面内にある、ステップと、
前記決定された左耳および右耳の伝達関数のペアと、左耳出力オーディオ信号および右耳出力オーディオ信号を取得するために、前記決定された左耳および右耳の伝達関数のペアの前記左耳伝達関数と前記右耳伝達関数との間の遅延、ならびに前記決定された左耳および右耳の伝達関数のペアの前記左耳伝達関数および前記右耳伝達関数の周波数依存性を、前記仮想目標位置の前記方位角および／または前記仰角の関数として調整するように構成された調整関数とに基づいて、前記入力オーディオ信号をフィルタリングするステップであって、前記調整関数は、
前記決定された左耳および右耳の伝達関数のペアの決定された左耳伝達関数と決定された右耳伝達関数との間の遅延を調整し、
左耳出力オーディオ信号および右耳出力オーディオ信号を取得するために、複数の無限インパルス応答フィルタに基づいて、前記決定された左耳伝達関数および前記決定された右耳伝達関数の周波数依存性を、前記方位角または前記仰角の関数として調整し、
ここで前記複数の無限インパルス応答フィルタの各無限インパルス応答フィルタの周波数依存性は、複数の所定のフィルタパラメータによって決定され、無限インパルス応答フィルタに対して、前記所定のフィルタパラメータは、測定された左耳および右耳の伝達関数のペアの測定された左耳伝達関数または測定された右耳伝達関数が最小または最大の大きさを有する周波数ならびに方位角または仰角を決定することによって選択される、ステップと
を備える、オーディオ信号処理方法。

【請求項16】

コンピュータ上で実行されると請求項15の方法を実施するためのプログラムコードを備える、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

一般に、本発明はオーディオ信号処理の分野に関する。より詳細には、本発明は、仮想目標位置からのバイノーラルオーディオ信号を生成することを可能にするオーディオ信号処理装置および方法に関する。

【背景技術】

【0002】

人間の耳は、範囲（距離）、上下方向（仰角）、前後（方位角）、ならびに両側（左右）の3次元で音の位置を特定することができる。空間のある点から耳によって受け取られる音の特性は、頭部伝達関数（HRTF）によって特徴付けることができる。したがって、2つの耳のための一対の頭部伝達関数を使用して、目標位置、すなわち仮想目標位置から来るように見えるバイノーラル音を合成することができる。

【0003】

仮想現実、空間遠隔会議、バーチャルサラウンドなどの、ヘッドホンを使用する3Dオーディオの多くのアプリケーションは、必要なすべての方向の伝達関数を含む高品質HRTFデータセットを必要とする。ラウドスピーカからのサラウンド音響再生をシミュレートするために、いくつかの形態のHRTF処理もコンピュータソフトウェアに含まれている。しかしながら、すべての方位角についてHRTFを測定することは、ハードウェアおよび材料を要する退屈な作業である。その上、測定されたHRTFのデータベースを記憶するために必要なメモリは、非常に大きくなる可能性がある。加えて、個別化されたHRTFを使用すると、音響体験をさらに向上させることができるが、それらを得るには3D音響を合成するプロセスが複雑になる。

【0004】

HRTFを導出してバイノーラル音を合成するための完全パラメトリックモデルのアイデアは、R．O．Duda、「Modeling head related transfer functions」、信号、システム、およびコンピュータに関する第27回Asilomar会議、1993年、およびV．R．Algaziら、「The use of head−and−torso models for improved spatial sound synthesis」、AES第113回会議、2002年10月において提案されている。しかしながら、現実的なバイノーラル音レンダリングの場合、取得されたHRTFは、これらのモデルが個別化されたHRTFから大きく逸脱するので、十分に正確ではない。

【0005】

個別化された（ユーザ固有の）HRTFから大きく逸脱しないHRTFを取得る方法を開発するために、多くの研究が行われている。H．Gamper、「Head−related transfer function interpolation in azimuth， elevation and distance」、JASA Express Letters、2013年に示されているように、3DのHRTF補間を使用して、測定されたHRTFから所望の音源位置における推定HRTFを取得することができる。この技術は、近くの位置で測定されたHRTF、たとえば、所望の位置を囲む四面体を形成する4つの測定値を必要とする。加えて、この技法では正確な仰角知覚を実現することは困難である。

【0006】

したがって、仮想目標位置からのバイノーラルオーディオ信号を生成することを可能にする、改良されたオーディオ信号処理装置および方法が必要とされている。

【発明の概要】

【課題を解決するための手段】

【0007】

仮想目標位置からのバイノーラルオーディオ信号を生成することを可能にする、改良されたオーディオ信号処理装置および方法を提供することが本発明の目的である。

【0008】

この目的は独立請求項の特徴によって達成される。さらなる実装形態は、従属請求項、明細書、および図面から明らかである。

【0009】

第1の態様によれば、本発明は、リスナに対する方位角および仰角によって画定された仮想目標位置から来る入力オーディオ信号をリスナが知覚するように、リスナに送信される入力オーディオ信号を処理するためのオーディオ信号処理装置に関し、オーディオ信号処理装置は、リスナに対する複数の基準位置に対してあらかじめ定義された一組の所定の左耳および右耳の伝達関数のペアを記憶するように構成されたメモリであって、複数の基準位置が2次元平面内にある、メモリと、仮想目標位置の方位角および仰角に対する一組の所定の左耳および右耳の伝達関数のペアに基づいて、左耳および右耳の伝達関数のペアを決定するように構成された決定器と、決定された左耳および右耳の伝達関数のペアと、左耳出力オーディオ信号および右耳出力オーディオ信号を取得するために、決定された左耳および右耳の伝達関数のペアの左耳伝達関数と右耳伝達関数との間の遅延、ならびに決定された左耳および右耳の伝達関数のペアの左耳伝達関数および右耳伝達関数の周波数依存性を、仮想目標位置の方位角および／または仰角の関数として調整するように構成された調整関数とに基づいて、入力オーディオ信号をフィルタリングするように構成された調整フィルタとを備える。

【0010】

このように、仮想目標位置からのバイノーラルオーディオ信号を生成することを可能にする改良されたオーディオ信号処理装置が提供される。特に、第1の態様によるオーディオ信号処理装置は、計算効率の良い方式で、ユーザに対して、2次元平面、たとえば、（所与のシナリオでは、何度もすでに利用可能である）水平面で仮想目標位置に対して定義された一組の所定の伝達関数を3次元に、すなわち、この平面の上下の仮想目標位置に拡張することを可能にする。これは、たとえば、所定の伝達関数を記憶するために必要とされるメモリが著しく低減される有益な効果を有する。

【0011】

一組の所定の左耳および右耳の伝達関数のペアは、所定の左耳および右耳の頭部伝達関数のペアを備えることができる。

【0012】

一組の所定の左耳および右耳の伝達関数のペアは、測定された左耳および右耳の伝達関数および／またはモデル化された左耳および右耳の伝達関数を備えることができる。こうして、第1の態様によるオーディオ信号処理装置は、ユーザ固有の測定された伝達関数が利用可能でない場合、より現実的な音の知覚またはモデル化された伝達関数のためのユーザ固有の測定された伝達関数のデータベースを使用することができる。

【0013】

そのような第1の態様によるオーディオ信号処理装置の第1の可能な実装形態では、調整フィルタは、仮想目標位置とリスナの左耳との間の距離および仮想目標位置とリスナの右耳との間の距離に関連付けられた音の移動時間差を補償することにより、決定された左耳および右耳の伝達関数のペアの左耳伝達関数と右耳伝達関数との間の遅延を、仮想目標位置の方位角および／または仰角の関数として調整するように構成される。

【0014】

仮想目標位置の方位角および／または仰角の関数として遅延を導入することにより、音の移動時間差を補償することができ、リスナによるより現実的な音の知覚がもたらされる。

【0015】

そのような第1の態様またはその第1の実装形態によるオーディオ信号処理装置の第2の可能な実装形態では、調整フィルタは、以下の式：

【数1】

および

【数2】

に基づいて、決定された左耳および右耳の伝達関数のペアの左耳伝達関数と右耳伝達関数との間の遅延を、仮想目標位置の方位角および／または仰角の関数として調整するように構成され、
τ_Lは左耳伝達関数に適用される遅延を表し、τ_Rは右耳伝達関数に適用される遅延を表し、τおよびΘは、以下の式：

【数3】

および

【数4】

に基づいて定義され、
τは秒単位の遅延を表し、cは音速を表し、aはリスナの頭部に関連するパラメータを表し、θは仮想目標位置の方位角を表し、φは仮想目標位置の仰角を表す。

【0016】

このように、仮想目標位置の方位角および／または仰角の関数としての音の移動時間差を補償するための遅延は、計算効率の良い方法で決定することができる。

【0017】

そのような第1の態様またはその第1もしくは第2の実装形態によるオーディオ信号処理装置の第3の可能な実装形態では、調整フィルタは、複数の無限インパルス応答フィルタに基づいて、決定された左耳および右耳の伝達関数のペアの左耳伝達関数および右耳伝達関数の周波数依存性を、仮想目標位置の方位角および／または仰角の関数として調整するように構成され、複数の無限インパルス応答フィルタは、測定された左耳および右耳の伝達関数の複数のペアの左耳伝達関数および右耳伝達関数の周波数依存性の少なくとも一部分を、仮想目標位置の方位角および／または仰角の関数として近似するように構成される。

【0018】

IIRフィルタによって測定された伝達関数を近似し、それらの主なスペクトル特性、特に方位角および／または仰角の知覚に関連する特性のみを考慮することにより、計算の複雑さを低減することができる。

【0019】

第1の態様の第3の実装形態によるオーディオ信号処理装置の第4の可能な実装形態では、各無限インパルス応答フィルタの周波数依存性は、複数の所定のフィルタパラメータによって定義され、複数の所定のフィルタパラメータは、各無限インパルス応答フィルタの周波数依存性が、測定された左耳および右耳の伝達関数の複数のペアの左耳伝達関数および右耳伝達関数の周波数依存性の少なくとも一部分、特に、スペクトル最大値またはスペクトル最小値などの顕著なスペクトル特性を、仮想目標位置の方位角および／または仰角の関数として近似するように選択される。

【0020】

有限セットのフィルタパラメータによって各無限インパルス応答フィルタを定義することにより、測定された伝達関数の主なスペクトル特性を復元するためにフィルタパラメータのみを保存すればよいので、メモリスペースを節約することが可能になる。

【0021】

第1の態様の第4の実装形態によるオーディオ信号処理装置の第5の可能な実装形態では、複数の無限インパルス応答フィルタは、複数のバイカッドフィルタ、すなわち4次フィルタを備える。複数のバイカッドフィルタは、並列フィルタまたは直列フィルタとして実装することができる。直列フィルタの使用は、伝達関数のスペクトル特性をより良く近似するので好ましい。複数のバイカッドフィルタの順序は異なっていてもよい。

【0022】

第1の態様の第5の実装形態によるオーディオ信号処理装置の第6の可能な実装形態では、複数のバイカッドフィルタは、少なくとも1つのシェルビングフィルタであって、少なくとも1つのシェルビングフィルタが、カットオフ周波数パラメータf₀およびゲインパラメータg₀によって定義される、シェルビングフィルタ、ならびに／または少なくとも1つのピーキングフィルタであって、少なくとも1つのピーキングフィルタが、カットオフ周波数パラメータf₀、ゲインパラメータg₀、および帯域幅パラメータΔ₀によって定義される、ピーキングフィルタを備える。

【0023】

シェルビングフィルタおよび／またはピーキングフィルタの周波数依存性は、2つまたは3つのフィルタパラメータに基づいて測定された伝達関数の周波数依存性に良好な近似値を提供する。

【0024】

第1の態様の第6の実装形態によるオーディオ信号処理装置の第7の可能な実装形態では、複数の無限応答フィルタの少なくとも1つの無限インパルス応答フィルタに対して、複数の所定のフィルタパラメータは、測定された左耳および右耳の伝達関数の複数のペアの左耳伝達関数または右耳伝達関数が最小または最大の大きさを有する周波数ならびに方位角および／または仰角を決定することによって、かつ少なくとも1つの無限インパルス応答フィルタの周波数依存性により、測定された左耳および右耳の伝達関数の複数のペアの左耳伝達関数または右耳伝達関数の周波数依存性を近似することによって選択される。

【0025】

こうして、所定のフィルタパラメータは、計算効率の良い方法で決定することができる。

【0026】

第1の態様の第6または第7の実装形態によるオーディオ信号処理装置の第8の可能な実装形態では、フィルタパラメータ、すなわちカットオフ周波数パラメータf₀、ゲインパラメータg₀、および帯域幅パラメータΔ₀は、以下の式：
f₀＝max（m_f，min（M_f，a_f（φ−φ_p）²＋f_p））、
g₀＝max（m_g，min（M_g，a_g（φ−φ_p）²＋g_p））、
Δ₀＝max（m_Δ，min（M_Δ，a_Δ（φ−φ_p）²＋Δ_p））、
に基づいて決定され、M_f、M_g、M_Δおよびm_f、m_g、m_Δは、それぞれf、g、Δの最大値および最小値を表し、a_f、a_g、a_Δは、対応するフィルタ設計パラメータを変更する速度を制御する係数を表す。

【0027】

そのような第1の態様またはその第1から第8の実装形態のいずれか1つによるオーディオ信号処理装置の第9の可能な実装形態では、調整フィルタは、左耳出力オーディオ信号を取得するために、調整関数を左耳伝達関数と畳み込み、その結果を入力オーディオ信号と畳み込むことにより、かつ／または右耳出力オーディオ信号を取得するために、調整関数を右耳伝達関数と畳み込み、その結果を入力オーディオ信号と畳み込むことにより、決定された左耳および右耳の伝達関数のペアならびに調整関数に基づいて、入力オーディオ信号をフィルタリングするように構成される。

【0028】

そのような第1の態様またはその第1から第8の実装形態のいずれか1つによるオーディオ信号処理装置の第10の可能な実装形態では、調整フィルタは、左耳出力オーディオ信号を取得するために、左耳伝達関数を入力オーディオ信号と畳み込み、その結果を調整関数と畳み込むことにより、かつ／または右耳出力オーディオ信号を取得するために、右耳伝達関数を入力オーディオ信号と畳み込み、その結果を調整関数と畳み込むことにより、決定された左耳および右耳の伝達関数のペアならびに調整関数に基づいて、入力オーディオ信号をフィルタリングするように構成される。

【0029】

そのような第1の態様またはその第1から第10の実装形態のいずれか1つによるオーディオ信号処理装置の第11の可能な実装形態では、オーディオ信号処理装置は、左耳出力オーディオ信号および右耳出力オーディオ信号を出力するように構成された一対のトランスデューサ、特に、クロストーク除去を使用するヘッドホンまたはラウドスピーカをさらに備える。

【0030】

そのような第1の態様またはその第1から第11の実装形態のいずれか1つによるオーディオ信号処理装置の第12の可能な実装形態では、所定の左耳および右耳の伝達関数のペアは、リスナに対して水平面内にある、リスナに対する複数の基準位置に対してあらかじめ定義される。すなわち、一組の所定の左耳および右耳の伝達関数のペアは、複数の異なる方位角および一定のゼロ仰角に対する所定の左耳および右耳の伝達関数のペアから構成することができる。

【0031】

そのような第1の態様またはその第1から第12の実装形態のいずれか1つによるオーディオ信号処理装置の第13の可能な実装形態では、決定器は、仮想目標位置の方位角および仰角に対する一組の所定の左耳および右耳の伝達関数のペアから左耳および右耳の伝達関数のペアを選択することにより、かつ／または仮想目標位置の方位角および仰角に対する一組の所定の左耳および右耳の伝達関数のペアに基づいて、左耳および右耳の伝達関数のペアを補間することにより、仮想目標位置の方位角および仰角に対する一組の所定の左耳および右耳の伝達関数のペアに基づいて、左耳および右耳の伝達関数のペアを決定するように構成される。

【0032】

第2の態様によれば、本発明は、リスナに対する方位角および仰角によって画定された仮想目標位置から来る入力オーディオ信号をリスナが知覚するように、リスナに送信される入力オーディオ信号を処理するためのオーディオ信号処理方法に関し、オーディオ信号処理方法は、仮想目標位置の方位角および仰角に対する一組の所定の左耳および右耳の伝達関数のペアに基づいて、左耳および右耳の伝達関数のペアを決定するステップであって、所定の左耳および右耳の伝達関数のペアが、リスナに対する複数の基準位置に対してあらかじめ定義され、複数の基準位置が2次元平面内にある、ステップと、たとえば、調整フィルタにより、決定された左耳および右耳の伝達関数のペアと、左耳出力オーディオ信号および右耳出力オーディオ信号を取得するために、決定された左耳および右耳の伝達関数のペアの左耳伝達関数と右耳伝達関数との間の遅延、ならびに決定された左耳および右耳の伝達関数のペアの左耳伝達関数および右耳伝達関数の周波数依存性を、仮想目標位置の方位角および／または仰角の関数として調整するように構成された調整関数とに基づいて、入力オーディオ信号をフィルタリングするステップとを備える。

【0033】

そのような第2の態様によるオーディオ信号処理方法の第1の可能な実装形態では、調整関数は、仮想目標位置とリスナの左耳との間の距離および仮想目標位置とリスナの右耳との間の距離に関連付けられた音の移動時間差を補償することにより、決定された左耳および右耳の伝達関数のペアの左耳伝達関数と右耳伝達関数との間の遅延を、仮想目標位置の方位角および／または仰角の関数として調整するように構成される。

【0034】

そのような第2の態様またはその第1の実装形態によるオーディオ信号処理方法の第2の可能な実装形態では、調整関数は、以下の式：

【数5】

および

【数6】

に基づいて、決定された左耳および右耳の伝達関数のペアの左耳伝達関数と右耳伝達関数との間の遅延を、仮想目標位置の方位角および／または仰角の関数として調整するように構成され、
τ_Lは左耳伝達関数に適用される遅延を表し、τ_Rは右耳伝達関数に適用される遅延を表し、τおよびΘは、以下の式：

【数7】

および

【数8】

に基づいて定義され、
τは秒単位の遅延を表し、cは音速を表し、aはリスナの頭部に関連するパラメータを表し、θは仮想目標位置の方位角を表し、φは仮想目標位置の仰角を表す。

【0035】

そのような第2の態様またはその第1もしくは第2の実装形態によるオーディオ信号処理方法の第3の可能な実装形態では、調整関数は、複数の無限インパルス応答フィルタに基づいて、決定された左耳および右耳の伝達関数のペアの左耳伝達関数および右耳伝達関数の周波数依存性を、仮想目標位置の方位角および／または仰角の関数として調整するように構成され、複数の無限インパルス応答フィルタは、測定された左耳および右耳の伝達関数の複数のペアの左耳伝達関数および右耳伝達関数の周波数依存性の少なくとも一部分を、仮想目標位置の方位角および／または仰角の関数として近似するように構成される。

【0036】

第2の態様の第3の実装形態によるオーディオ信号処理方法の第4の可能な実装形態では、各無限インパルス応答フィルタの周波数依存性は、複数の所定のフィルタパラメータによって定義され、複数の所定のフィルタパラメータは、各無限インパルス応答フィルタの周波数依存性が、測定された左耳および右耳の伝達関数の複数のペアの左耳伝達関数および右耳伝達関数の周波数依存性の少なくとも一部分、特に、スペクトル最大値またはスペクトル最小値などの顕著なスペクトル特性を、仮想目標位置の方位角および／または仰角の関数として近似するように選択される。

【0037】

第2の態様の第4の実装形態によるオーディオ信号処理方法の第5の可能な実装形態では、複数の無限インパルス応答フィルタは、複数のバイカッドフィルタ、すなわち4次フィルタを備える。複数のバイカッドフィルタは、並列フィルタまたは直列フィルタとして実装することができる。直列フィルタの使用は、伝達関数のスペクトル特性をより良く近似するので好ましい。複数のバイカッドフィルタの順序は異なっていてもよい。

【0038】

第2の態様の第5の実装形態によるオーディオ信号処理方法の第6の可能な実装形態では、複数のバイカッドフィルタは、少なくとも1つのシェルビングフィルタであって、少なくとも1つのシェルビングフィルタが、カットオフ周波数パラメータf₀およびゲインパラメータg₀によって定義される、シェルビングフィルタ、ならびに／または少なくとも1つのピーキングフィルタであって、少なくとも1つのピーキングフィルタが、カットオフ周波数パラメータf₀、ゲインパラメータg₀、および帯域幅パラメータΔ₀によって定義される、ピーキングフィルタを備える。

【0039】

第2の態様の第6の実装形態によるオーディオ信号処理方法の第7の可能な実装形態では、複数の無限応答フィルタの少なくとも1つの無限インパルス応答フィルタに対して、複数の所定のフィルタパラメータは、測定された左耳および右耳の伝達関数の複数のペアの左耳伝達関数または右耳伝達関数が最小または最大の大きさを有する周波数ならびに方位角および／または仰角を決定することによって、かつ少なくとも1つの無限インパルス応答フィルタの周波数依存性により、測定された左耳および右耳の伝達関数の複数のペアの左耳伝達関数または右耳伝達関数の周波数依存性を近似することによって選択される。

【0040】

第2の態様の第6または第7の実装形態によるオーディオ信号処理方法の第8の可能な実装形態では、フィルタパラメータ、すなわちカットオフ周波数パラメータf₀、ゲインパラメータg₀、および帯域幅パラメータΔ₀は、以下の式：
f₀＝max（m_f，min（M_f，a_f（φ−φ_p）²＋f_p））、
g₀＝max（m_g，min（M_g，a_g（φ−φ_p）²＋g_p））、
Δ₀＝max（m_Δ，min（M_Δ，a_Δ（φ−φ_p）²＋Δ_p））、
に基づいて決定され、M_f、M_g、M_Δおよびm_f、m_g、m_Δは、それぞれf、g、Δの最大値および最小値を表し、a_f、a_g、a_Δは、対応するフィルタ設計パラメータを変更する速度を制御する係数を表す。

【0041】

そのような第2の態様またはその第1から第8の実装形態のいずれか1つによるオーディオ信号処理方法の第9の可能な実装形態では、決定された左耳および右耳の伝達関数のペアならびに調整関数に基づいて、入力オーディオ信号をフィルタリングするステップは、左耳出力オーディオ信号を取得するために、調整関数を左耳伝達関数と畳み込み、その結果を入力オーディオ信号と畳み込むステップ、および／または右耳出力オーディオ信号を取得するために、調整関数を右耳伝達関数と畳み込み、その結果を入力オーディオ信号と畳み込むステップを備える。

【0042】

そのような第2の態様またはその第1から第8の実装形態のいずれか1つによるオーディオ信号処理方法の第10の可能な実装形態では、決定された左耳および右耳の伝達関数のペアならびに調整関数に基づいて、入力オーディオ信号をフィルタリングするステップは、左耳出力オーディオ信号を取得するために、左耳伝達関数を入力オーディオ信号と畳み込み、その結果を調整関数と畳み込むステップ、および／または右耳出力オーディオ信号を取得するために、右耳伝達関数を入力オーディオ信号と畳み込み、その結果を調整関数と畳み込むステップを備える。

【0043】

そのような第2の態様またはその第1から第10の実装形態のいずれか1つによるオーディオ信号処理方法の第11の可能な実装形態では、オーディオ信号処理方法は、一対のトランスデューサ、特に、クロストーク除去を使用するヘッドホンまたはラウドスピーカを用いて、左耳出力オーディオ信号および右耳出力オーディオ信号を出力するステップをさらに備える。

【0044】

そのような第2の態様またはその第1から第11の実装形態のいずれか1つによるオーディオ信号処理方法の第12の可能な実装形態では、所定の左耳および右耳の伝達関数のペアは、リスナに対して水平面内にある、リスナに対する複数の基準位置に対してあらかじめ定義される。

【0045】

そのような第2の態様またはその第1から第12の実装形態のいずれか1つによるオーディオ信号処理方法の第13の可能な実装形態では、仮想目標位置の方位角および仰角に対する一組の所定の左耳および右耳の伝達関数のペアに基づいて、左耳および右耳の伝達関数のペアを決定するステップは、仮想目標位置の方位角および仰角に対する一組の所定の左耳および右耳の伝達関数のペアから左耳および右耳の伝達関数のペアを選択するステップ、または仮想目標位置の方位角および仰角に対する一組の所定の左耳および右耳の伝達関数のペアに基づいて、左耳および右耳の伝達関数のペアを補間するステップを備える。

【0046】

本発明の第2の態様によるオーディオ信号処理方法は、本発明の第1の態様によるオーディオ信号処理装置によって実施することができる。

【0047】

第3の態様によれば、本発明は、コンピュータ上で実行されると、本発明の第2の態様またはその実装形態のうちのいずれかによるオーディオ信号処理方法を実施するためのプログラムコードを備えるコンピュータプログラムに関する。

【0048】

本発明は、ハードウェアおよび／またはソフトウェア内に実装することができる。
本発明のさらなる実施形態が以下の図に関して記載される。

【図面の簡単な説明】

【0049】

【図1】一実施形態によるオーディオ信号処理装置を示す概略図である。

【図2】一実施形態によるオーディオ信号処理装置の調整フィルタを示す概略図である。

【図3】一定の方位角に対する仰角の関数としての頭部伝達関数のデータベースの例示的な周波数振幅分析を示す図である。

【図4】一実施形態によるオーディオ信号処理装置の調整フィルタに実装することができる、シェルビングフィルタおよびピーキングフィルタを含む、複数のバイカッドフィルタを示す概略図である。

【図5】一実施形態によるオーディオ信号処理装置の調整フィルタに実装することができる、例示的なシェービングフィルタの周波数依存性、および例示的なピーキングフィルタの周波数依存性を示す概略図である。

【図6】一実施形態によるオーディオ信号処理装置によるフィルタパラメータの選択を示す概略図である。

【図7】一実施形態によるオーディオ信号処理装置の一部を示す概略図である。

【図8】一実施形態によるオーディオ信号処理装置の一部を示す概略図である。

【図9】一実施形態によるオーディオ信号処理装置を使用することができる、すなわち仮想ラウドスピーカサラウンドシステムをシミュレートするヘッドホンを介するバイノーラル音の合成についての例示的なシナリオを示す概略図である。

【図10】一実施形態による、入力オーディオ信号を処理するためのオーディオ信号処理方法を示す概略図である。

【発明を実施するための形態】

【0050】

様々な図において、同一または少なくとも機能的に等価な特徴に対して同一の参照符号が使用される。

【0051】

以下の説明では、本開示の一部を形成する添付の図面に対して参照が行われ、添付の図面では、本発明を配置することができる具体的な態様が実例として示される。本発明の範囲から逸脱することなく、他の態様を利用することができ、構造的または論理的な変更を行うことができることが理解されよう。したがって、以下の発明を実施するための形態は、本発明の範囲が添付の特許請求の範囲で定義されるように、限定的な意味で捉えられるべきではない。

【0052】

たとえば、記載された方法に関連する開示は、その方法を実施するように構成された対応するデバイスまたはシステムにも当てはまり、逆もまた同様であることが理解されよう。たとえば、具体的な方法ステップが記載されている場合、対応するデバイスは、そのようなユニットが図に明示的に記載または例示されていない場合でも、記載された方法ステップを実施するユニットを含んでもよい。さらに、特に断らない限り、本明細書に記載された様々な例示的な態様の特徴は、互いに組み合わされてもよいことが理解されよう。

【0053】

図1は、リスナが仮想目標位置から来る入力オーディオ信号101を知覚するように、リスナに送信される入力オーディオ信号101を処理するためのオーディオ信号処理装置100の概略図を示す。球面座標系では、（リスナに対する）仮想目標位置は、半径距離r、方位角θ、および仰角φによって画定される。

【0054】

オーディオ信号処理装置100は、複数の基準位置／方向に対してあらかじめ定義された一組の所定の左耳および右耳の伝達関数のペアを記憶するように構成されたメモリ103を備え、複数の基準位置は2次元平面を画定する。

【0055】

その上、オーディオ信号処理装置100は、仮想目標位置の方位角および仰角に対する一組の所定の左耳および右耳の伝達関数に基づいて、左耳および右耳の伝達関数のペアを決定するように構成された決定器105を備える。決定器105は、複数の基準位置によって画定された2次元平面内にある仮想目標位置に関連付けられた位置／方向に対する左耳および右耳の伝達関数のペアを決定するように構成される。より具体的には、決定器105は、複数の基準位置によって画定された2次元平面上への仮想目標位置／方向の投影用の一組の所定の左耳および右耳の伝達関数のペアに基づいて、左耳および右耳の伝達関数のペアを決定することによって、左耳および右耳の伝達関数のペアを決定するように構成される。

【0056】

一実施形態では、決定器105は、仮想目標位置の方位角および仰角に対する一組の所定の左耳および右耳の伝達関数のペアから左耳および右耳の伝達関数のペアを選択することにより、仮想目標位置の方位角および仰角に対する一組の所定の左耳および右耳の伝達関数のペアに基づいて、左耳および右耳の伝達関数のペアを決定するように構成することができる。

【0057】

一実施形態では、決定器105は、仮想目標位置の方位角および仰角に対する一組の所定の左耳および右耳の伝達関数のペアに基づいて、たとえば、最近傍補間、線形補間などを用いて、左耳および右耳の伝達関数のペアを補間することにより、仮想目標位置の方位角および仰角に対する一組の所定の左耳および右耳の伝達関数のペアに基づいて、左耳および右耳の伝達関数のペアを決定するように構成することができる。一実施形態では、決定器105は、線形補間方式、最近傍補間方式、または同様の補間方式を使用して、仮想目標位置の方位角および仰角に対する一組の所定の左耳および右耳の伝達関数のペアに基づいて、左耳および右耳の伝達関数のペアを決定するように構成される。

【0058】

その上、オーディオ信号処理装置100は、複数の基準位置によって画定された2次元平面上への仮想目標位置／方向の投影用に決定器105によって決定された左耳および右耳の伝達関数のペアを、「3次元」、すなわち複数の基準位置によって画定された2次元平面の上下の位置／方向に拡張するための調整フィルタ107を備える。この目的を達成するために、調整フィルタ107は、決定された左耳および右耳の伝達関数のペアと、左耳出力オーディオ信号111aおよび右耳出力オーディオ信号111bを取得するために、決定された左耳および右耳の伝達関数のペアの左耳伝達関数と右耳伝達関数との間の遅延、ならびに決定された左耳および右耳の伝達関数のペアの左耳伝達関数および右耳伝達関数の周波数依存性を、仮想目標位置の方位角および／または仰角の関数として調整するように構成された調整関数M（r，θ，φ）109とに基づいて、入力オーディオ信号101をフィルタリングするように構成される。

【0059】

例示的な実施形態では、一組の所定の左耳および右耳の伝達関数のペアは、水平面内の、すなわち仰角φ＝0°に対する所定の左耳および右耳の伝達関数の4ペアを備える。所定の左耳および右耳の伝達関数の4ペアは、それぞれ、方位角θ＝0°、90°、180°、270°に対して定義することができる。例示的な仮想目標位置が方位角θ＝20°および仰角φ＝20°に関連付けられている場合、決定器105は、θ＝0°、90°の所定の左耳および右耳の伝達関数のペアを使用する線形補間を用いて、方位角θ＝20°および仰角φ＝0°に対する左耳および右耳の伝達関数のペアを決定することができる。代替の実施形態では、決定器105は、（最近傍補間に対応する）θ＝0°での所定の左耳および右耳の伝達関数のペアを選択することにより、方位角θ＝20°および仰角φ＝0°に対する左耳および右耳伝達関数のペアを決定することができる。方位角θ＝20°および仰角φ＝0°での所定の左耳および右耳の伝達関数の決定されたペアの仰角φ＝20°への拡張は、調整フィルタ107によって実施される。

【0060】

一組の所定の左耳および右耳の伝達関数は、たとえば、限定された一組の頭部伝達関数（HRTF）であり得る。一組の所定の左耳および右耳の伝達関数のペアは、個別化される（特定のユーザのために測定される）か、または一般化されたデータベースから取得される（モデル化される）かのいずれかであり得る。

【0061】

すでに上述されたように、一実施形態では、一組の所定の左耳および右耳の頭部伝達関数のペアは、複数の方位角および一定の仰角に対して定義することができる。たとえば、一定の仰角φ＝0°の場合、一組の所定の左耳および右耳の頭部伝達関数のペアは、方位角θによって個別化された左耳HRTF h_L（r，θ，0）および右耳HRTF h_R（r，θ，0）として定義することができる。

【0062】

すでに上述されたように、一実施形態では、一組の所定の左耳および右耳の頭部伝達関数のペアは、一定の方位角および複数の仰角に対して定義することができる。たとえば、一定の方位角θ＝0°の場合、一組の所定の左耳および右耳の頭部伝達関数のペアは、仰角φによって個別化された左耳HRTF h_L（r，0，φ）および右耳HRTF h_R（r，0，φ）として定義することができる。

【0063】

図2は、一実施形態によるオーディオ信号処理装置の調整フィルタ、たとえば、図1に示されたオーディオ信号処理装置100の調整フィルタ107に使用される調整関数M（r，θ，φ）109を示す概略図を示す。図2に示された例示的な実施形態では、一組の所定の左耳および右耳の頭部関連伝達関数のペアは、水平伝達関数h_L（r，θ，0）およびh_R（r，θ，0）、すなわちリスナに対する水平面内の基準位置／方向に対して定義される伝達関数である。

【0064】

図2に示された調整関数M（r，θ，φ）109は、水平伝達関数h_L（r，θ，0）およびh_R（r，θ，0）に遅延を適用するための遅延ブロック109aと、水平伝達関数h_L（r，θ，0）およびh_R（r，θ，0）に周波数調整を適用するための周波数調整ブロック109bとを備える。

【0065】

一実施形態では、調整フィルタ107は、仮想目標位置とリスナの左耳との間の距離および仮想目標位置とリスナの右耳との間の距離に関連付けられた音の移動時間差を補償することにより、調整関数M（r，θ，φ）109に基づいて左耳および右耳の伝達関数の決定されたペアの左耳伝達関数と右耳伝達関数との間の遅延109aを、仮想目標位置の方位角および／または仰角の関数として調整するように構成される。

【0066】

一実施形態では、調整関数109は、一定の仰角面で導出された新しい入射角Θに基づいて、一組の所定の伝達関数h_L（r，θ，0）およびh_R（r，θ，0）に対する仰角φに起因する追加の時間遅延を決定するように構成される。

【0067】

一実施形態では、調整フィルタ107は、調整関数109を用いて、以下の式：

【数9】

および

【数10】

に基づいて、決定された左耳および右耳の伝達関数のペアの左耳伝達関数と右耳伝達関数との間の遅延109aを、仮想目標位置の方位角および／または仰角の関数として調整するように構成され、
τ_Lは左耳伝達関数に適用される遅延を表し、τ_Rは右耳伝達関数に適用される遅延を表し、τおよびΘは、以下の式：

【数11】

および

【数12】

に基づいて定義され、
τは秒単位の遅延を表し、cは音速を表し（すなわち、c＝340m／sec）、aはリスナの頭部に関連するパラメータを表し（たとえば、a＝0．087m）、θは仮想目標位置の方位角を表し、φは仮想目標位置の仰角を表す。新しい入射角Θを決定するための上記の式は、水平面内の仮想目標位置の方位角θの一定の仰角面への投影に基づく。

【0068】

図2に示された調整関数M（r，θ，φ）109の周波数調整ブロック109bは、仰角、すなわち3次元に関する関連知覚情報を追加することにより、所定の水平伝達関数のペアの「2次元」セットを拡張するために、水平伝達関数h_L（r，θ，0）およびh_R（r，θ，0）に周波数調整を適用するように構成される。

【0069】

一実施形態では、図2に示された調整関数M（r，θ，φ）109の周波数調整ブロック109bは、すべての所望の位置／方向をカバーする伝達関数の完全なデータベースのスペクトル分析に基づくことができる。これにより、たとえば、水平面内で方位角θによって画定された水平HRTF、h_L（r，θ，0）およびh_R（r，θ，0）を水平面の上下の仰角φに持ち上げるかまたは調整することが可能になる。

【0070】

図3は、仰角の関数としての頭部伝達関数のデータベース、すなわちKEMARダミーヘッドを使用する測定されたMIT HRTFデータベースの例示的な周波数振幅分析を示す。周波数振幅応答は、仮想目標位置の方位角θ＝0°に対する仰角φの関数として、左HRTF h_Lについて図3に示されている。対象の複数の方位角に対してそのようなスペクトル分析を繰り返すことにより、方位角のみで定義される水平伝達関数の任意のセットを所望の仰角に持ち上げられた関数に拡張するために、伝達関数の完全なセットを取得することができる。

【0071】

一実施形態では、上述された方式で導出された伝達関数は、一組の所定の左耳および右耳の伝達関数を等価すること、すなわち周波数依存性を調整することによって置き換えられ、それは、好ましくは、仰角または方位角の知覚に関連する主なスペクトル特性のみを考慮に入れる。そうすることにより、持ち上げられた伝達関数を生成するために必要なデータが大幅に削減される。仰角または方位角は、次いで、スペクトル効果として、すなわち、等価または調整関数を適用してレンダリングすることができ、任意の伝達関数に対して使用することができる。

【0072】

一実施形態では、オーディオ信号処理装置100の調整フィルタ107は、複数の無限インパルス応答フィルタに基づいて、決定された左耳および右耳の伝達関数のペアの左耳伝達関数および右耳伝達関数の周波数依存性を、仮想目標位置の方位角および／または仰角の関数として調整するように構成され、複数の無限インパルス応答フィルタは、測定された左耳および右耳の伝達関数の複数のペアの左耳伝達関数および右耳伝達関数の周波数依存性の、最大値または最小値などのスペクトルの顕著な特性を、仮想目標位置の方位角θおよび／または仰角φの関数として近似するように構成される。

【0073】

一実施形態では、各無限インパルス応答フィルタの周波数依存性は、複数の所定のフィルタパラメータによって定義され、複数の所定のフィルタパラメータは、各無限インパルス応答フィルタの周波数依存性が、測定された左耳および右耳の伝達関数の複数のペアの左耳伝達関数および右耳伝達関数の周波数依存性の少なくとも一部分を、仮想目標位置の方位角および／または仰角の関数として近似するように選択される。

【0074】

一実施形態では、複数の無限インパルス応答フィルタは、複数のバイカッドフィルタを備える。複数のバイカッドフィルタは、並列フィルタまたは直列フィルタとして実装することができる。直列フィルタの使用は、伝達関数のスペクトル特性をより良く近似するので好ましい。図4は、すでに上述されたように、スペクトル分析から取得された伝達関数とフィルタ振幅応答との間の距離を最小化するために、図1に示されたオーディオ信号処理装置100のフィルタ105に実装することができる、シェルビングフィルタ401a、bおよびピーキングフィルタ403a〜cを含む複数のバイカッドフィルタを示す。

【0075】

図5は、図1に示されたオーディオ信号処理装置100のフィルタ105に実装することができる、例示的なシェルビングフィルタ401aの周波数依存性、および例示的なピーキングフィルタ403aの周波数依存性を示す概略図を示す。シェルビングフィルタ401aは、2つのフィルタパラメータ、すなわち、信号が変更される周波数範囲を定義するカットオフ周波数f₀、および信号がどれだけブーストされる（またはg₀＜0dBの場合減衰される）かを定義するゲインg₀によって定義することができる。ピーキングフィルタ403aは、3つのフィルタパラメータ、すなわち、品質係数Q₀＝f₀／Δ₀に直接関係する、ピークが位置するカットオフ周波数f₀、ピーク（またはg₀＜0dBの場合のノッチ）の高さを定義するゲインg₀、およびピーク（またはノッチ）の帯域幅Δ₀によって定義することができる。

【0076】

一実施形態では、フィルタパラメータは、数値最適化方法を使用して取得することができる。

【0077】

しかしながら、よりメモリ効率の良い実施形態では、たとえば図3で提供されたスペクトル情報に基づいてフィルタパラメータを導出するために、アドホック方法を使用することができる。こうして、一実施形態では、複数の無限応答フィルタの少なくとも1つの無限インパルス応答フィルタに対して、複数の所定のフィルタパラメータは、測定された左耳および右耳の伝達関数の複数のペアの左耳伝達関数または右耳伝達関数が最小または最大の大きさを有する周波数ならびに方位角および／または仰角を決定することによって、かつ少なくとも1つの無限インパルス応答フィルタの周波数依存性により、測定された左耳および右耳の伝達関数の複数のペアの左耳伝達関数または右耳伝達関数の周波数依存性を近似することによって計算または選択される。

【0078】

図6は、図3にすでに示されたデータを使用するフィルタパラメータの選択を示す概略図を示し、その選択は、一実施形態によるオーディオ信号処理装置、たとえば図1に示されたオーディオ信号処理装置100において実現することができる。フィルタパラメータの導出は、測定された伝達関数において、最も重要なスペクトル特性、すなわちピークおよびノッチの位置を特定することから始まる。識別された特徴の各々について、次いで、関連する特徴特性、すなわち、水平軸上で読み取ることができる対応する中心仰角φ_p、垂直軸上で読み取ることができる対応する中心周波数f_p、（g_p＞0ではピークに対応し、g_p＜0ではノッチに対応する）最大対応スペクトル値g_p、および最大帯域幅Δ_pが抽出される。

【0079】

一実施形態では、（ピーキングフィルタ403a〜cのために定義された）フィルタパラメータ、すなわちカットオフ周波数パラメータf₀、ゲインパラメータg₀、および帯域幅パラメータΔ₀は、以下の式：
f₀＝max（m_f，min（M_f，a_f（φ−φ_p）²＋f_p））、
g₀＝max（m_g，min（M_g，a_g（φ−φ_p）²＋g_p））、
Δ₀＝max（m_Δ，min（M_Δ，a_Δ（φ−φ_p）²＋Δ_p））、
に基づいて決定され、M_f、M_g、M_Δおよびm_f、m_g、m_Δは、それぞれf、g、Δの最大値および最小値を表し、a_f、a_g、a_Δは、対応するフィルタ設計パラメータを変更する速度を制御する係数を表す。

【0080】

一実施形態では、パラメータM_f、M_g、M_Δ、m_f、m_g、m_Δ、およびa_f、a_g、a_Δは、選択されたスペクトル特性を可能な限り近くモデル化するために、3つのフィルタ設計パラメータf₀、g₀、およびΔ₀に対して手動で設定される。

【0081】

その後、IIRフィルタの振幅応答がスペクトル分析によって取得された伝達関数と一致するように、すべてのスペクトル特性についてパラメータM、m、およびaを精緻化することができる。

【0082】

フィルタパラメータを決定するための上述された実施形態では、IIRフィルタごとに13個のパラメータ（φ_p、f_p、g_p、Δ_p、M_f、M_g、M_Δ、m_f、m_g、m_Δ、a_f、a_g、a_Δ）のみを記憶するだけで、最初の4つのパラメータ（φ_p、f_p、g_p、Δ_p）はスペクトル分析から直接取得することができ、他のパラメータは手動で設定することができる。

【0083】

こうして、上述された式が与えられると、フィルタ401a、bおよび403a〜cのパラメータは、所望の仰角φの関数として直接導出することができる。正中面においてのみ測定された、すなわち特定の半径方向距離rおよび特定の仰角φについてのみの情報を含む伝達関数の所定のセット、すなわちh_L（r、θ、0）およびh_R（r、θ、0）が与えられると、これらの伝達関数は、上述された方法と同様の方法で、任意の所望の方位角θ、すなわち3次元に拡張することができる。

【0084】

図7は、一実施形態によるオーディオ信号処理装置の一部、たとえば図1に示されたオーディオ信号処理装置100の一部を示す。一実施形態では、オーディオ信号処理装置100の調整フィルタ107は、左耳出力オーディオ信号111aを取得するために、調整関数109を左耳伝達関数と畳み込み、その結果を入力オーディオ信号101と畳み込むことにより、かつ／または右耳出力オーディオ信号111bを取得するために、調整関数109を右耳伝達関数と畳み込み、その結果を入力オーディオ信号101と畳み込むことにより、決定された左耳および右耳の伝達関数のペアならびに調整関数109に基づいて、入力オーディオ信号101をフィルタリングするように構成される。

【0085】

図8は、一実施形態によるオーディオ信号処理装置の一部、たとえば図1に示されたオーディオ信号処理装置100の一部を示す。一実施形態では、オーディオ信号処理装置100の調整フィルタ107は、左耳出力オーディオ信号111aを取得するために、左耳伝達関数を入力オーディオ信号101と畳み込み、その結果を調整関数109と畳み込むことにより、かつ／または右耳出力オーディオ信号111bを取得するために、右耳伝達関数を入力オーディオ信号101と畳み込み、その結果を調整関数109と畳み込むことにより、決定された左耳および右耳の伝達関数のペアならびに調整関数109に基づいて、入力オーディオ信号101をフィルタリングするように構成される。

【0086】

図9は、一実施形態によるオーディオ信号処理装置、たとえば図1に示されたオーディオ信号処理装置100を使用することができる、例示的なシナリオを示す概略図を示す。図9に示された実施形態では、オーディオ信号処理装置100は、仮想ラウドスピーカサラウンドシステムをシミュレートするヘッドホンを介してバイノーラル音を合成するように構成される。この目的を達成するために、オーディオ信号処理装置100は、バイノーラル音、すなわち左耳出力オーディオ信号111aおよび右耳出力オーディオ信号111bを出力するように構成された少なくとも1つのトランスデューサ、特に、クロストーク除去を使用するヘッドホンまたはラウドスピーカを備えることができる。

【0087】

図9に示された例では、シミュレートされているバーチャルラウドスピーカサラウンドシステムは、フロント左（FL）、フロント右（FR）、フロント中央（FC）、リア左（RL）、およびリア右（RR）のラウドスピーカでセットアップされた5．1音響システムである。この例では、仮想ラウドスピーカ向けのバイノーラル音を合成するために、5つのラウドスピーカに対応する5つのHRTFを記憶することができる。所望の高さのラウドスピーカ位置、フロント左高さ（FLH）、フロント右高さ（FRH）、フロント中央高さ（FCH）、リア左高さ（RLH）、およびリア右高さ（RRH）が与えられると、オーディオ信号処理装置100は、記憶された5つの水平HRTFを対応する持ち上げられたHRTFに効率的に拡張することができる。こうして、オーディオ信号処理装置100を使用して、5．1音響システム上のバイノーラルレンダリングシステムは、10．2音響システムに拡張される。

【0088】

図10は、リスナに対する方位角および仰角によって画定された仮想目標位置から来る入力オーディオ信号101をリスナが知覚するように、リスナに送信される入力オーディオ信号101を処理するためのオーディオ信号処理方法1000を示す概略図を示す。

【0089】

オーディオ信号処理方法1000は、仮想目標位置の方位角および仰角に対する一組の所定の左耳および右耳の伝達関数のペアに基づいて、左耳および右耳の伝達関数のペアを決定するステップ1001であって、所定の左耳および右耳の伝達関数のペアが、リスナに対する複数の基準位置に対してあらかじめ定義され、複数の基準位置が2次元平面内にある、ステップ1001と、決定された左耳および右耳の伝達関数のペアと、左耳出力オーディオ信号111aおよび右耳出力オーディオ信号111bを取得するために、決定された左耳および右耳の伝達関数のペアの左耳伝達関数と右耳伝達関数との間の遅延109a、ならびに決定された左耳および右耳の伝達関数のペアの左耳伝達関数および右耳伝達関数の周波数依存性109bを、仮想目標位置の方位角および／または仰角の関数として調整するように構成された調整関数109とに基づいて、入力オーディオ信号101をフィルタリングするステップ1003とを備える。

【0090】

本発明の実施形態は様々な利点を実現する。オーディオ信号処理装置100およびオーディオ信号処理方法1000は、バイノーラル音、すなわちリスナが仮想目標位置から来ると知覚するオーディオ信号を合成する手段を提供する。オーディオ信号処理装置100は、一般化されたデータベースから取得されるか、または特定のユーザのために測定されるかのいずれかであり得る伝達関数の「2次元」の所定のセットに基づいて機能する。オーディオ信号処理装置100はまた、合成音における前後または仰角の効果を補強するための手段を提供することができる。本発明の実施形態は、様々なシナリオ、たとえば、メディア再生において、基本的な2次元のセットに基づいてすべての3次元の方位角および仰角を取得するために、5．1伝達関数およびパラメータのみを記憶することによる、5．1を超える（たとえば、10．2、またはさらに22．2の）仮想サラウンドレンダリングに適用することができる。本発明の実施形態は、低解像度の伝達関数に基づいて高解像度の完全な球面伝達関数を取得するために、仮想現実に適用することもできる。本発明の実施形態は、必要とされるメモリおよび信号処理アルゴリズムの複雑さに関して、バイノーラル音合成の効果的な実現を提供する。

【0091】

本開示の特定の特徴または態様は、いくつかの実装形態または実施形態のうちの1つのみに関して開示されているかもしれないが、そのような特徴または態様は、任意の所与のまたは特定の用途に所望され有利であり得るように、他の実装形態または実施形態の1つまたは複数の他の特徴または態様と組み合わされてもよい。さらに、用語「含む」、「もつ」、「有する」、またはそれらの他の変形が詳細な説明または特許請求の範囲において使用される限りでは、そのような用語は、用語「備える」と同様に包括的であるものとする。また、用語「例示的な」、「例として」、および「たとえば」は、最良または最適よりはむしろ、例としての意味しかない。派生語とともに、「結合された」および「接続された」という用語が使用されているかもしれない。これらの用語は、2つの要素が、物理的または電気的に直接接触しているか、互いに直接接触していないかにかかわらず、互いに協働または対話することを示すために使用されているかもしれないことを理解されたい。

【0092】

本明細書において具体的な態様が図示され記載されたが、本開示の範囲から逸脱することなく、様々な代替のおよび／または均等な実装形態が、図示され記載された具体的な態様と置き換えられてもよいことを、当業者なら諒解されよう。本出願は、本明細書で説明された具体的な態様の任意の適合または変形を包含するものとする。

【0093】

以下の特許請求の範囲内の要素は、対応するラベル付けを有する特定の順序で列挙されているが、請求項の列挙が、他にそれらの要素の一部または全部を実装するための特定の順序を意味しない限り、それらの要素は、必ずしもその特定の順序で実装されるように限定されるものではない。

【0094】

上記の教示に照らして、多くの代替形態、修正形態、および変更形態が当業者には明らかであろう。当然、当業者は、本明細書に記載されたもの以外に本発明の多くの用途があることを容易に認識する。1つまたは複数の特定の実施形態を参照して本発明が記載されたが、当業者は、本発明の範囲から逸脱することなく、それらに対して多くの変更が行われてもよいことを認識する。したがって、添付の特許請求の範囲およびそれらの均等物の範囲内で、本発明は本明細書に具体的に記載された以外に実践されてもよいことが理解されよう。

【符号の説明】

【0095】

100 オーディオ信号処理装置
101 入力オーディオ信号
103 メモリ
105 決定器、フィルタ
107 調整フィルタ
109 調整関数
109a 遅延ブロック、遅延
109b 周波数調整ブロック、周波数依存性
111a 左耳出力オーディオ信号
111b 右耳出力オーディオ信号
401a シェルビングフィルタ
403a ピーキングフィルタ
1000 オーディオ信号処理方法

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】