IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ブームクラウド 360 インコーポレイテッドの特許一覧

特許7370415空間オーディオ信号のクロストーク処理のためのスペクトル欠陥補償
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-19
(45)【発行日】2023-10-27
(54)【発明の名称】空間オーディオ信号のクロストーク処理のためのスペクトル欠陥補償
(51)【国際特許分類】
   H04S 7/00 20060101AFI20231020BHJP
【FI】
H04S7/00 300
【請求項の数】 30
(21)【出願番号】P 2022069432
(22)【出願日】2022-04-20
(62)【分割の表示】P 2020570844の分割
【原出願日】2018-07-06
(65)【公開番号】P2022101630
(43)【公開日】2022-07-06
【審査請求日】2022-05-17
(31)【優先権主張番号】16/013,804
(32)【優先日】2018-06-20
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】518253875
【氏名又は名称】ブームクラウド 360 インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】ザッカリー セルデス
【審査官】堀 洋介
(56)【参考文献】
【文献】米国特許出願公開第2008/0031462(US,A1)
【文献】米国特許第05995631(US,A)
【文献】米国特許出願公開第2017/0208411(US,A1)
【文献】米国特許出願公開第2017/0230777(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04S 1/00- 7/00
(57)【特許請求の範囲】
【請求項1】
左チャネルおよび右チャネルを含むオーディオ信号を強化する方法であって、
回路によって、
クロストークシミュレーションを前記オーディオ信号に適用することと、
前記左チャネルおよび前記右チャネルの合計を使用して中央成分を生成することであって、前記中央成分は、前記オーディオ信号の非空間成分である、ことと、
前記クロストークシミュレーションによって引き起こされたスペクトル欠陥を補償するフィルタを前記中央成分に適用することによって、中央補償チャネルを生成することと、
前記中央補償チャネルを使用して左出力チャネルおよび右出力チャネルを生成することと
を備える方法。
【請求項2】
前記クロストークシミュレーションを適用することは、
第1のフィルタおよび第1の時間遅延を前記左チャネルに適用することと、
第2のフィルタおよび第2の時間遅延を前記右チャネルに適用することと
を含む、請求項の方法。
【請求項3】
前記回路によって、前記左チャネルおよび前記右チャネルの中央サブバンド成分およびサイドサブバンド成分をゲイン調整することによってサブバンド空間処理を前記オーディオ信号に適用することであって、前記中央サブバンド成分は、前記中央成分の周波数バンドである、ことをさらに備える、請求項1の方法。
【請求項4】
前記中央補償チャネルは、前記オーディオ信号への前記サブバンド空間処理の適用の後で生成される、請求項の方法。
【請求項5】
前記中央補償チャネルは、前記オーディオ信号への前記サブバンド空間処理の適用より前に生成される、請求項の方法。
【請求項6】
前記サブバンド空間処理を前記オーディオ信号に適用することによって生成される空間的に強化されたオーディオ信号を前記中央補償チャネルと組み合わせることをさらに備える、請求項3の方法。
【請求項7】
前記サブバンド空間処理を前記オーディオ信号に適用することによって生成される空間的に強化されたオーディオ信号を前記中央補償チャネルから形成される左補償チャネルおよび右補償チャネルと組み合わせることをさらに備える、請求項3の方法。
【請求項8】
前記クロストークシミュレーションは、前記中央補償チャネルの生成より前に適用される、請求項1の方法。
【請求項9】
前記クロストークシミュレーションは、前記中央補償チャネルの生成の後で適用される、請求項1の方法。
【請求項10】
前記中央補償チャネルをクロストークシミュレートされたオーディオ信号と組み合わせることをさらに備える、請求項1の方法。
【請求項11】
左チャネルおよび右チャネルを含むオーディオ信号を強化するシステムであって、
クロストークシミュレーションを前記オーディオ信号に適用することと、
前記左チャネルおよび前記右チャネルの合計を使用して中央成分を生成することであって、前記中央成分は、前記オーディオ信号の非空間成分である、ことと、
前記クロストークシミュレーションによって引き起こされたスペクトル欠陥を補償するフィルタを前記中央成分に適用することによって、中央補償チャネルを生成することと、
前記中央補償チャネルを使用して左出力チャネルおよび右出力チャネルを生成することと
を実行するように構成される回路
を備えたシステム。
【請求項12】
前記クロストークシミュレーション適用するように構成された前記回路は、
第1のフィルタおよび第1の時間遅延を前記左チャネルに適用することと、
第2のフィルタおよび第2の時間遅延を前記右チャネルに適用することと
を実行するように構成された回路を含む、請求項11のシステム。
【請求項13】
前記回路は、前記左チャネルおよび前記右チャネルの中央サブバンド成分およびサイドサブバンド成分をゲイン調整することによってサブバンド空間処理を前記オーディオ信号に適用することであって、前記中央サブバンド成分は、前記中央成分の周波数バンドである、ことを実行するようにさらに構成される、請求項11のシステム。
【請求項14】
前記回路は、前記オーディオ信号への前記サブバンド空間処理の適用の後で前記中央補償チャネルを生成するように構成される、請求項13のシステム。
【請求項15】
前記回路は、前記オーディオ信号への前記サブバンド空間処理の適用より前に前記中央補償チャネルを生成するように構成される、請求項13のシステム。
【請求項16】
前記回路は、前記サブバンド空間処理を前記オーディオ信号に適用することによって生成される空間的に強化されたオーディオ信号を前記中央補償チャネルと組み合わせることをさらに備える、請求項13のシステム。
【請求項17】
前記回路は、前記サブバンド空間処理を前記オーディオ信号に適用することによって生成される空間的に強化されたオーディオ信号を前記中央補償チャネルから形成される左補償チャネルおよび右補償チャネルと組み合わせることをさらに備える、請求項13のシステム。
【請求項18】
前記回路は、前記中央補償チャネルの生成より前に前記クロストークシミュレーションを適用するように構成される、請求項11のシステム。
【請求項19】
前記回路は、前記中央補償チャネルの生成の後で前記クロストークシミュレーションを適用するように構成される、請求項11のシステム。
【請求項20】
前記回路は、前記中央補償チャネルをクロストークシミュレートされたオーディオ信号と組み合わせるように構成される、請求項11のシステム。
【請求項21】
格納されたプログラムコードを備える非一時的なコンピュータ可読媒体であって、前記プログラムコードは、プロセッサによって実行されると、前記プロセッサに、
左チャネルおよび右チャネルを含むオーディオ信号にクロストークシミュレーションを適用することと、
前記左チャネルおよび前記右チャネルの合計を使用して中央成分を生成することであって、前記中央成分は、前記オーディオ信号の非空間成分である、ことと、
前記クロストークシミュレーションによって引き起こされたスペクトル欠陥を補償するフィルタを前記中央成分に適用することによって、中央補償チャネルを生成することと、
前記中央補償チャネルを使用して左出力チャネルおよび右出力チャネルを生成することと
を実行させる、非一時的なコンピュータ可読媒体。
【請求項22】
前記プロセッサに前記クロストークシミュレーション適用させる前記プログラムコードは、前記プロセッサに、
第1のフィルタおよび第1の時間遅延を前記左チャネルに適用することと、
第2のフィルタおよび第2の時間遅延を前記右チャネルに適用することと
を実行させるプログラムコードを含む、請求項21のコンピュータ可読媒体。
【請求項23】
前記プログラムコードは、前記プロセッサに、前記左チャネルおよび前記右チャネルの中央サブバンド成分およびサイドサブバンド成分をゲイン調整することによってサブバンド空間処理を前記オーディオ信号に適用させ、前記中央サブバンド成分は、前記中央成分の周波数バンドである請求項21のコンピュータ可読媒体。
【請求項24】
前記プログラムコードは、前記プロセッサに、前記オーディオ信号への前記サブバンド空間処理の適用の後で前記中央補償チャネルを生成させる、請求項23のコンピュータ可読媒体。
【請求項25】
前記プログラムコードは、前記プロセッサに、前記オーディオ信号への前記サブバンド空間処理の適用より前に前記中央補償チャネルを生成させる、請求項23のコンピュータ可読媒体。
【請求項26】
前記プログラムコードは、前記プロセッサに、前記サブバンド空間処理を前記オーディオ信号に適用することによって生成される空間的に強化されたオーディオ信号を前記中央補償チャネルと組み合わせることを実行させる、請求項23のコンピュータ可読媒体。
【請求項27】
前記プログラムコードは、前記プロセッサに、前記サブバンド空間処理を前記オーディオ信号に適用することによって生成される空間的に強化されたオーディオ信号を前記中央補償チャネルから形成される左補償チャネルおよび右補償チャネルと組み合わせることを実行させる、請求項23のコンピュータ可読媒体。
【請求項28】
前記プログラムコードは、前記プロセッサに、前記中央補償チャネルの生成より前に前記クロストークシミュレーションを適用させる、請求項21のコンピュータ可読媒体。
【請求項29】
前記プログラムコードは、前記プロセッサに、前記中央補償チャネルの生成の後で前記クロストークシミュレーションを適用させる、請求項21のコンピュータ可読媒体。
【請求項30】
前記プログラムコードは、前記プロセッサに、前記中央補償チャネルをクロストークシミュレートされたオーディオ信号と組み合わせることを実行させる、請求項21のコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の実施形態は、一般に、オーディオ信号処理の分野に関し、より詳細には、空間的に強化されたマルチチャネルオーディオのクロストーク処理に関する。
【背景技術】
【0002】
立体音響音再生は、音場の空間的性質を収容する信号を符号化すること、および再生することに関わる。立体音響音は、リスナーが、ヘッドフォンまたはラウドスピーカを使用して、ステレオ信号から音場における空間感覚を知覚することを可能にする。しかしながら、オリジナル信号を、遅延させた、および場合によりオリジナルの反転させた、または相変化したバージョンと組み合わせることによる立体音響音の処理は、結果としての信号に、可聴な、かつしばしば知覚的に不快な、コムフィルタリングアーチファクトを生み出すことがある。そのようなアーチファクトの知覚される影響は、ミキシング(すなわち、音声録音、その他)内で、特定の音波要素の軽い音色付けから著しい減衰または増幅にまで及ぶことがある。
【発明の概要】
【0003】
実施形態は、左入力チャネルおよび右入力チャネルを含むオーディオ信号を強化することに関する。左入力チャネルおよび右入力チャネルから、非空間成分および空間成分が生成される。オーディオ信号のクロストーク処理からのスペクトル欠陥を補償する第1のフィルタを非空間成分に適用することによって、中央補償チャネルが生成される。オーディオ信号のクロストーク処理からのスペクトル欠陥を補償する第2のフィルタを空間成分に適用することによって、サイド補償チャネルが生成される。中央補償チャネルおよびサイド補償チャネルから、左補償チャネルおよび右補償チャネルが生成される。左補償チャネルを使用して左出力チャネルが生成され、右補償チャネルを使用して右出力チャネルが生成される。
【0004】
いくつかの実施形態において、クロストーク処理およびサブバンド空間処理が、オーディオ信号に実施される。クロストーク処理は、クロストークキャンセル、またはクロストークシミュレーションを含むことができる。クロストークシミュレーションは、ラウドスピーカを使用して体験され得るクロストークをシミュレートするように、ヘッドマウントスピーカへの出力を生成するために使用されてよい。クロストークキャンセルは、ラウドスピーカを使用して体験され得るクロストークを取り除くように、ラウドスピーカへの出力を生成するために使用されてよい。クロストーク補償は、クロストークキャンセルに先立って、クロストークキャンセルに続いて、またはクロストークキャンセルと並行して実施されてよい。サブバンド空間処理は、左および右の入力チャネルの非空間成分および空間成分のサブバンドにゲインを適用することを含む。クロストーク補償は、サブバンド空間処理あり、またはなしに、クロストークキャンセルまたはクロストークシミュレーションによって引き起こされるスペクトル欠陥を補償する。
【0005】
いくつかの実施形態において、システムが、左入力チャネルおよび右入力チャネルを有するオーディオ信号を強化する。システムは、左入力チャネルおよび右入力チャネルから非空間成分および空間成分を生成し、オーディオ信号のクロストーク処理からのスペクトル欠陥を補償する第1のフィルタを非空間成分に適用することによって中央補償チャネルを生成し、オーディオ信号のクロストーク処理からのスペクトル欠陥を補償する第2のフィルタを空間成分に適用することによってサイド補償チャネルを生成するように構成される回路を含む。回路は、中央補償チャネルおよびサイド補償チャネルから左補償チャネルおよび右補償チャネルを生成し、左補償チャネルを使用して左出力チャネルを生成し、右補償チャネルを使用して右出力チャネルを生成するようにさらに構成される。
【0006】
いくつかの実施形態において、クロストーク補償が、サブバンド空間処理と統合される。左入力チャネルおよび右入力チャネルは、空間成分および非空間成分に処理される。第1のサブバンドゲインが、空間成分のサブバンドに適用されて、強化された空間成分を生成し、第2のサブバンドゲインが、非空間成分のサブバンドに適用されて、強化された非空間成分を生成する。フィルタを強化された非空間成分に適用することによって、中央の強化された補償チャネルが生成される。中央の強化された補償チャネルは、オーディオ信号のクロストーク処理からのスペクトル欠陥の補償を有する強化された非空間成分を含む。中央の強化された補償チャネルから、左の強化された補償チャネルおよび右の強化された補償チャネルが生成される。左の強化された補償チャネルから、左出力チャネルが生成され、右の強化された補償チャネルから、右出力チャネルが生成される。
【0007】
いくつかの実施形態において、第2のフィルタを強化された空間成分に適用することによって、サイドの強化された補償チャネルが生成され、サイドの強化された補償チャネルは、オーディオ信号のクロストーク処理からのスペクトル欠陥の補償を有する強化された空間成分を含む。中央の強化された補償チャネルおよびサイドの強化された補償チャネルから、左の強化された補償チャネルおよび右の強化された補償チャネルが生成される。
【0008】
他の態様は、コンポーネント、デバイス、システム、改良点、方法、プロセス、アプリケーション、コンピュータ可読媒体および上記のいずれかに関する他の技術を含む。
【図面の簡単な説明】
【0009】
図1A】一実施形態による、ラウドスピーカ用のステレオオーディオ再生システムの例の図である。
図1B】一実施形態による、ヘッドフォン用のステレオオーディオ再生システムの例の図である。
図2A】一実施形態による、空間的に強化されたオーディオ信号でクロストークキャンセルを実施するためのオーディオシステムの例の図である。
図2B】一実施形態による、空間的に強化されたオーディオ信号でクロストークキャンセルを実施するためのオーディオシステムの例の図である。
図3】一実施形態による、空間的に強化されたオーディオ信号でクロストークキャンセルを実施するためのオーディオシステムの例の図である。
図4】一実施形態による、空間的に強化されたオーディオ信号でクロストークキャンセルを実施するためのオーディオシステムの例の図である。
図5A】一実施形態による、空間的に強化されたオーディオ信号でクロストークシミュレーションを実施するためのオーディオシステムの例の図である。
図5B】一実施形態による、空間的に強化されたオーディオ信号でクロストークシミュレーションを実施するためのオーディオシステムの例の図である。
図5C】一実施形態による、空間的に強化されたオーディオ信号でクロストークシミュレーションを実施するためのオーディオシステムの例の図である。
図6】一実施形態による、空間的に強化されたオーディオ信号でクロストークシミュレーションを実施するためのオーディオシステムの例の図である。
図7】一実施形態による、空間的に強化されたオーディオ信号でクロストークシミュレーションを実施するためのオーディオシステムの例の図である。
図8】一実施形態によるクロストーク補償プロセッサの例の図である。
図9】一実施形態によるクロストーク補償プロセッサの例の図である。
図10】一実施形態によるクロストーク補償プロセッサの例の図である。
図11】一実施形態によるクロストーク補償プロセッサの例の図である。
図12】一実施形態による空間周波数バンド分割器の例の図である。
図13】一実施形態による空間周波数バンドプロセッサの例の図である。
図14】一実施形態による空間周波数バンドコンバイナの例の図である。
図15】一実施形態によるクロストークキャンセルプロセッサの図である。
図16A】一実施形態によるクロストークシミュレーションプロセッサの図である。
図16B】一実施形態によるクロストークシミュレーションプロセッサの図である。
図17】一実施形態によるコンバイナの図である。
図18】一実施形態によるコンバイナの図である。
図19】一実施形態によるコンバイナの図である。
図20】一実施形態によるコンバイナの図である。
図21】一実施形態による、クロストークキャンセルおよびクロストーク補償を使用した信号の空間および非空間成分のプロットである。
図22】一実施形態による、クロストークキャンセルおよびクロストーク補償を使用した信号の空間および非空間成分のプロットである。
図23】一実施形態による、クロストークキャンセルおよびクロストーク補償を使用した信号の空間および非空間成分のプロットである。
図24】一実施形態による、クロストークキャンセルおよびクロストーク補償を使用した信号の空間および非空間成分のプロットである。
図25】一実施形態による、クロストークキャンセルおよびクロストーク補償を使用した信号の空間および非空間成分のプロットである。
図26】一実施形態による、クロストークキャンセルおよびクロストーク補償を使用した信号の空間および非空間成分のプロットである。
図27A】一実施形態による、クロストークキャンセル遅延の関数としての、クロストーク補償プロセッサのためのフィルタ設定の表である。
図27B】一実施形態による、クロストークキャンセル遅延の関数としての、クロストーク補償プロセッサのためのフィルタ設定の表である。
図28A】いくつかの実施形態による、クロストークキャンセル、クロストーク補償、およびサブバンド空間処理の例の図である。
図28B】いくつかの実施形態による、クロストークキャンセル、クロストーク補償、およびサブバンド空間処理の例の図である。
図28C】いくつかの実施形態による、クロストークキャンセル、クロストーク補償、およびサブバンド空間処理の例の図である。
図28D】いくつかの実施形態による、クロストークキャンセル、クロストーク補償、およびサブバンド空間処理の例の図である。
図28E】いくつかの実施形態による、クロストークキャンセル、クロストーク補償、およびサブバンド空間処理の例の図である。
図29A】いくつかの実施形態による、クロストークシミュレーション、クロストーク補償、およびサブバンド空間処理の例の図である。
図29B】いくつかの実施形態による、クロストークシミュレーション、クロストーク補償、およびサブバンド空間処理の例の図である。
図29C】いくつかの実施形態による、クロストークシミュレーション、クロストーク補償、およびサブバンド空間処理の例の図である。
図29D】いくつかの実施形態による、クロストークシミュレーション、クロストーク補償、およびサブバンド空間処理の例の図である。
図29E】いくつかの実施形態による、クロストークシミュレーション、クロストーク補償、およびサブバンド空間処理の例の図である。
図29F】いくつかの実施形態による、クロストークシミュレーション、クロストーク補償、およびサブバンド空間処理の例の図である。
図29G】いくつかの実施形態による、クロストークシミュレーション、クロストーク補償、およびサブバンド空間処理の例の図である。
図29H】いくつかの実施形態による、クロストークシミュレーション、クロストーク補償、およびサブバンド空間処理の例の図である。
図30】いくつかの実施形態に従ったコンピュータの概略ブロック図である。
【発明を実施するための形態】
【0010】
本明細書で説明される特徴および利点は、全てを包括するわけではなく、とりわけ、多くの追加の特徴および利点は、図面、明細書および特許請求の範囲を考慮して、当業者には明らかとなるであろう。その上、本明細書で使用される言語は、主に読みやすさおよび教育的な目的のために選択されており、発明的な主題を線引きする、または制限するために選択されていないことがあることが留意されるべきである。
【0011】
図(FIG.)および以下の説明は、例証のみとしての好ましい実施形態に関する。以下の議論から、本明細書で開示される機構および方法の代替実施形態は、本発明の原理から逸脱することなく採用され得る実用的な代替として直ちに認識されることになると留意されるべきである。
【0012】
これより、その例が付属の図面に図示されている本発明のいくつかの実施形態に、参照が詳細に行われることになる。実践できる場合はいつでも、類似のまたは同様の参照番号は、図において使用されてよく、類似のまたは同様の機能性を示すことができることに留意されたい。図は、例証のみの目的のために実施形態を表現する。当業者は、以下の説明から、本明細書で図示される機構および方法の代替実施形態が、本明細書で説明される原理から逸脱することなく採用され得ることを直ちに認識するであろう。
【0013】
本明細書で議論されるオーディオシステムは、空間的に強化されたオーディオ信号にクロストーク処理を提供する。クロストーク処理は、ラウドスピーカ用のクロストークキャンセル、またはヘッドフォン用のクロストークシミュレーションを含むことができる。空間的に強化された信号のためのクロストーク処理を実施するオーディオシステムは、空間強化あり、またはなしに、オーディオ信号のクロストーク処理から生じるスペクトル欠陥について調整するクロストーク補償プロセッサを含むことができる。
【0014】
図1Aに図示されるようなラウドスピーカ配置において、ラウドスピーカ110Lおよび110Rの両方によって生み出される音波は、リスナー120の左耳および右耳125L、125Rの両方で受信される。ラウドスピーカ110Lおよび110Rの各々からの音波は、左耳125Lと右耳125Rとの間のわずかな遅延、およびリスナー120のヘッドによって引き起こされるフィルタリングを有する。リスナーのヘッドの同じサイドのスピーカによって出力され、そのサイドのリスナーの耳によって受信される信号成分(例えば、118L、118R)は、本明細書において「同側音成分」(例えば、左耳で受信される左チャネル信号成分、および右耳で受信される右チャネル信号成分)と呼ばれ、リスナーのヘッドの反対サイドのスピーカによって出力される信号成分(例えば、112L、112R)は、本明細書において「対側音成分」(例えば、右耳で受信される左チャネル信号成分、および左耳で受信される右チャネル信号成分)と呼ばれる。対側音成分は、減少された空間性の知覚をもたらすクロストーク干渉の一因となる。したがって、リスナー120によるクロストーク干渉の体験を低減するために、クロストークキャンセルが、ラウドスピーカ110に入力されるオーディオ信号に適用されてよい。
【0015】
図1Bに図示されるようなヘッドマウントスピーカ配置において、専用の左スピーカ130Lは、左耳125Lへと音を発し、専用の右スピーカ130Rは、右耳125Rへと音を発する。ヘッドマウントスピーカは、ユーザの耳のそばで音波を発し、そのため、より少ないトランスオーラル音波伝播を生成する、またはトランスオーラル音波伝播を生成せず、したがって、クロストーク干渉を引き起こす対側成分を生成しない。リスナー120の各耳は、対応するスピーカからの同側音成分を受信し、もう一方のスピーカからの対側クロストーク音成分を受信しない。それに応じて、リスナー120は、ヘッドマウントスピーカでは、異なる、かつ通常より小さな音場を知覚することになる。したがって、オーディオ信号が架空のラウドスピーカ音ソース140Lおよび140Rによって出力されるときに、リスナー120によって体験されることになるようなクロストーク干渉をシミュレートするように、クロストークシミュレーションが、ヘッドマウントスピーカに入力されるオーディオ信号に適用されてよい。
【0016】
例示的なオーディオシステム
図2A図2B図3および図4は、空間的に強化されたオーディオ信号Eでクロストークキャンセルを実施するオーディオシステムの例を示す。これらのオーディオシステムの各々は、入力信号Xを受信し、低減されたクロストーク干渉を有する、ラウドスピーカのための出力信号Oを生成する。図5A図5B図5C図6および図7は、空間的に強化されたオーディオ信号でクロストークシミュレーションを実施するオーディオシステムの例を示す。これらのオーディオシステムは、入力信号Xを受信し、ラウドスピーカを使用して体験されることになるようなクロストーク干渉をシミュレートする、ヘッドマウントスピーカのための出力信号Oを生成する。クロストークキャンセルおよびクロストークシミュレーションはまた、「クロストーク処理」とも呼ばれる。図2Aから図7に示されたオーディオシステムの各々において、クロストーク補償プロセッサは、空間的に強化されたオーディオ信号のクロストーク処理によって引き起こされたスペクトル欠陥を取り除く。
【0017】
クロストーク補償は、様々なやり方で適用されてよい。例えば、クロストーク補償は、クロストーク処理に先立って実施される。例えば、クロストーク補償は、入力オーディオ信号Xのサブバンド空間処理と並行して実施されて、組み合わされた結果を生成してもよく、組み合わされた結果は、続いてクロストーク処理を受信することができる。別の例では、クロストーク補償は、入力オーディオ信号のサブバンド空間処理と統合され、サブバンド空間処理の出力が、続いてクロストーク処理を受信する。別の例では、クロストーク補償は、クロストーク処理が空間的に強化された信号Eに実施された後に、実施されてもよい。
【0018】
いくつかの実施形態において、クロストーク補償は、入力オーディオ信号Xの中央成分およびサイド成分の強化(例えば、フィルタリング)を含むことができる。他の実施形態において、クロストーク補償は、中央成分のみを、またはサイド成分のみを強化する。
【0019】
図2Aは、一実施形態による、空間的に強化されたオーディオ信号でクロストークキャンセルを実施するためのオーディオシステム200の例を図示する。オーディオシステム200は、左入力チャネルXLおよび右入力チャネルXRを含む入力オーディオ信号Xを受信する。いくつかの実施形態において、入力オーディオ信号Xは、デジタルビットストリーム(例えば、PCMデータ)におけるソースコンポーネントから提供される。ソースコンポーネントは、コンピュータ、デジタルオーディオプレーヤ、光学ディスクプレーヤ(例えば、DVD、CD、Blu-ray)、デジタルオーディオストリーマ、またはデジタルオーディオ信号の他のソースであってよい。オーディオシステム200は、入力チャネルXLおよびXRを処理することによって、2つの出力チャネルOLおよびORを含む出力オーディオ信号Oを生成する。オーディオ出力信号Oは、クロストーク補償およびクロストークキャンセルを伴う入力オーディオ信号Xの空間的に強化されたオーディオ信号である。図2Aには示されていないものの、オーディオシステム200は、増幅器をさらに含むことができ、増幅器は、クロストークキャンセルプロセッサ270からの出力オーディオ信号Oを増幅し、出力チャネルOLおよびORを音に変換するラウドスピーカ280Lおよび280Rなどの出力デバイスに、信号Oを提供する。
【0020】
オーディオ処理システム200は、サブバンド空間プロセッサ210と、クロストーク補償プロセッサ220と、コンバイナ260と、クロストークキャンセルプロセッサ270とを含む。オーディオ処理システム200は、入力オーディオ入力チャネルXL、XRのクロストーク補償およびサブバンド空間処理を実施し、サブバンド空間処理の結果をクロストーク補償の結果と組み合わせ、次いで組み合わされた信号にクロストークキャンセルを実施する。
【0021】
サブバンド空間プロセッサ210は、空間周波数バンド分割器240と、空間周波数バンドプロセッサ245と、空間周波数バンドコンバイナ250とを含む。空間周波数バンド分割器240は、入力チャネルXLおよびXR、並びに空間周波数バンドプロセッサ245に結合される。空間周波数バンド分割器240は、左入力チャネルXLおよび右入力チャネルXRを受信し、入力チャネルを、空間(または「サイド」)成分Ysおよび非空間(または「中央」)成分Ymに処理する。例えば、空間成分Ysは、左入力チャネルXLと右入力チャネルXRとの差に基づいて生成されてよい。非空間成分Ymは、左入力チャネルXLと右入力チャネルXRとの合計に基づいて生成されてよい。空間周波数バンド分割器240は、空間成分Ysおよび非空間成分Ymを、空間周波数バンドプロセッサ245に提供する。空間周波数バンド分割器に関する追加の詳細は、図12に関連して下で議論される。
【0022】
空間周波数バンドプロセッサ245は、空間周波数バンド分割器240および空間周波数バンドコンバイナ250に結合される。空間周波数バンドプロセッサ245は、空間周波数バンド分割器240から、空間成分Ysおよび非空間成分Ymを受信し、受信された信号を強化する。特に、空間周波数バンドプロセッサ245は、空間成分Ysから強化された空間成分Esを生成し、非空間成分Ymから強化された非空間成分Emを生成する。
【0023】
例えば、空間周波数バンドプロセッサ245は、空間成分Ysにサブバンドゲインを適用して、強化された空間成分Esを生成し、非空間成分Ymにサブバンドゲインを適用して、強化された非空間成分Emを生成する。いくつかの実施形態において、空間周波数バンドプロセッサ245は、追加として、または代替として、空間成分Ysにサブバンド遅延を提供して、強化された空間成分Esを生成し、非空間成分Ymにサブバンド遅延を提供して、強化された非空間成分Emを生成する。サブバンドゲインおよび/またはサブバンド遅延は、空間成分Ysおよび非空間成分Ymの異なる(例えば、n個の)サブバンドについて異なってもよいし、または(例えば、2つ以上のサブバンドについて)同じであってもよい。空間周波数バンドプロセッサ245は、空間成分Ysおよび非空間成分Ymの異なるサブバンドについてのゲインおよび/または遅延を互いに対して調整して、強化された空間成分ESおよび強化された非空間成分Emを生成する。空間周波数バンドプロセッサ245は次いで、強化された空間成分ESおよび強化された非空間成分Emを、空間周波数バンドコンバイナ250に提供する。空間周波数バンドプロセッサに関する追加の詳細は、図13に関連して下で議論される。
【0024】
空間周波数バンドコンバイナ250は、空間周波数バンドプロセッサ245に結合され、コンバイナ260にさらに結合される。空間周波数バンドコンバイナ250は、空間周波数バンドプロセッサ245から、強化された空間成分ESおよび強化された非空間成分Emを受信し、強化された空間成分ESおよび強化された非空間成分Emを、左の空間的に強化されたチャネルELおよび右の空間的に強化されたチャネルERに組み合わせる。例えば、左の空間的に強化されたチャネルELは、強化された空間成分ESと強化された非空間成分Emとの合計に基づいて生成されてよく、右の空間的に強化されたチャネルERは、強化された非空間成分Emと強化された空間成分Esとの差に基づいて生成されてよい。空間周波数バンドコンバイナ250は、左の空間的に強化されたチャネルELおよび右の空間的に強化されたチャネルERを、コンバイナ260に提供する。空間周波数バンドコンバイナに関する追加の詳細は、図14に関連して下で議論される。
【0025】
クロストーク補償プロセッサ220は、クロストークキャンセルにおけるスペクトル欠陥またはアーチファクトを補償するために、クロストーク補償を実施する。クロストーク補償プロセッサ220は、入力チャネルXLおよびXRを受信し、クロストークキャンセルプロセッサ270によって実施される強化された非空間成分Emおよび強化された空間成分Esの後続のクロストークキャンセルにおけるいずれかのアーチファクトを補償するための処理を実施する。いくつかの実施形態において、クロストーク補償プロセッサ220は、フィルタを適用して、左クロストーク補償チャネルZLおよび右クロストーク補償チャネルZRを含むクロストーク補償信号Zを生成することによって、非空間成分Xmおよび空間成分Xsに強化を実施することができる。他の実施形態において、クロストーク補償プロセッサ220は、非空間成分Xmのみに強化を実施することができる。クロストーク補償プロセッサに関する追加の詳細は、図8から図11に関連して下で議論される。
【0026】
コンバイナ260は、左の空間的に強化されたチャネルELを左クロストーク補償チャネルZLと組み合わせて、左の強化された補償チャネルTLを生成し、右の空間的に強化されたチャネルERを右クロストーク補償チャネルZRと組み合わせて、右の強化された補償チャネルTRを生成する。コンバイナ260は、クロストークキャンセルプロセッサ270に結合され、左の強化された補償チャネルTLおよび右の強化された補償チャネルTRを、クロストークキャンセルプロセッサ270に提供する。コンバイナ260に関する追加の詳細は、図17に関連して下で議論される。
【0027】
クロストークキャンセルプロセッサ270は、左の強化された補償チャネルTLおよび右の強化された補償チャネルTRを受信し、チャネルTL、TRにクロストークキャンセルを実施して、左出力チャネルOLおよび右出力チャネルORを含む出力オーディオ信号Oを生成する。クロストークキャンセルプロセッサ270に関する追加の詳細は、図15に関連して下で議論される。
【0028】
図2Bは、一実施形態による、空間的に強化されたオーディオ信号でクロストークキャンセルを実施するためのオーディオシステム202の例を図示する。オーディオシステム202は、サブバンド空間プロセッサ210と、クロストーク補償プロセッサ222と、コンバイナ262と、クロストークキャンセルプロセッサ270とを含む。オーディオシステム202は、クロストーク補償プロセッサ222がフィルタを適用して中央クロストーク補償信号Zmを生成することによって非空間成分Xmに強化を実施することを除いて、オーディオシステム200に類似している。コンバイナ262は、中央クロストーク補償信号Zmを、サブバンド空間プロセッサ210からの左の空間的に強化されたチャネルELおよび右の空間的に強化されたチャネルERと組み合わせる。クロストーク補償プロセッサ222に関する追加の詳細は、図10に関連して下で議論され、コンバイナ262に関する追加の詳細は、図18に関連して下で議論される。
【0029】
図3は、一実施形態による、空間的に強化されたオーディオ信号でクロストークキャンセルを実施するためのオーディオシステム300の例を図示する。オーディオシステム300は、クロストーク補償プロセッサ320を含むサブバンド空間プロセッサ310を含み、クロストークキャンセルプロセッサ270をさらに含む。サブバンド空間プロセッサ310は、空間周波数バンド分割器240と、空間周波数バンドプロセッサ245と、クロストーク補償プロセッサ320と、空間周波数バンドコンバイナ250とを含む。図2Aおよび図2Bに示されたオーディオシステム200および202とは異なり、クロストーク補償プロセッサ320は、サブバンド空間プロセッサ310と統合されている。
【0030】
とりわけ、クロストーク補償プロセッサ320は、空間周波数バンドプロセッサ245に結合されて、強化された非空間成分Emおよび強化された空間成分Esを受信し、(例えば、オーディオシステム200および202について上で議論された入力信号Xではなく)強化された非空間成分Emおよび強化された空間成分Esを使用してクロストーク補償を実施して、中央の強化された補償チャネルTmおよびサイドの強化された補償チャネルTsを生成する。空間周波数バンドコンバイナ250は、中央の強化された補償チャネルTmおよびサイドの強化された補償チャネルTsを受信し、左の強化された補償チャネルTLおよび右の強化された補償チャネルTRを生成する。クロストークキャンセルプロセッサ270は、左の強化された補償チャネルTLおよび右の強化された補償チャネルTRにクロストークキャンセルを実施することによって、左出力チャネルOLおよび右出力チャネルORを含む出力オーディオ信号Oを生成する。クロストーク補償プロセッサ320に関する追加の詳細は、図11に関連して下で議論される。
【0031】
図4は、一実施形態による、空間的に強化されたオーディオ信号でクロストークキャンセルを実施するためのオーディオシステム400の例を図示する。オーディオシステム200、202、および300とは異なり、オーディオシステム400は、クロストークキャンセルの後に、クロストーク補償を実施する。オーディオシステム400は、クロストークキャンセルプロセッサ270に結合されたサブバンド空間プロセッサ210を含む。クロストークキャンセルプロセッサ270は、クロストーク補償プロセッサ420に結合される。クロストークキャンセルプロセッサ270は、サブバンド空間プロセッサ210から、左の空間的に強化されたチャネルELおよび右の空間的に強化されたチャネルERを受信し、クロストークキャンセルを実施して、左の強化されたインアウトバンドクロストークチャネルCLおよび右の強化されたインアウトバンドクロストークチャネルCRを生成する。クロストーク補償プロセッサ420は、左の強化されたインアウトバンドクロストークチャネルCLおよび右の強化されたインアウトバンドクロストークチャネルCRを受信し、左の強化されたインアウトバンドクロストークチャネルCLおよび右の強化されたインアウトバンドクロストークチャネルCRの中央およびサイドの成分を使用してクロストーク補償を実施して、左出力チャネルOLおよび右出力チャネルORを生成する。クロストーク補償プロセッサ420に関する追加の詳細は、図8および図9に関連して下で議論される。
【0032】
図5Aは、一実施形態による、空間的に強化されたオーディオ信号でクロストークシミュレーションを実施するためのオーディオシステム500の例を図示する。オーディオシステム500は、入力オーディオ信号Xのためにクロストークシミュレーションを実施して、左ヘッドマウントスピーカ580Lのための左出力チャネルOL、および右ヘッドマウントスピーカ580Rのための右出力チャネルORを含む出力オーディオ信号Oを生成する。オーディオシステム500は、サブバンド空間プロセッサ210と、クロストーク補償プロセッサ520と、クロストークシミュレーションプロセッサ580と、コンバイナ560とを含む。
【0033】
クロストーク補償プロセッサ520は、入力チャネルXLおよびXRを受信し、クロストークシミュレーションプロセッサ580によって生成されたクロストークシミュレーション信号Wと、強化されたチャネルEとの後続の組合せにおけるアーチファクトを補償するための処理を実施する。クロストーク補償プロセッサ520は、左クロストーク補償チャネルZLおよび右クロストーク補償チャネルZRを含むクロストーク補償信号Zを生成する。クロストークシミュレーションプロセッサ580は、左クロストークシミュレーションチャネルWLおよび右クロストークシミュレーションチャネルWRを生成する。サブバンド空間プロセッサ210は、左の強化されたチャネルELおよび右の強化されたチャネルERを生成する。クロストーク補償プロセッサ520に関する追加の詳細は、図8および図9に関連して下で議論される。クロストークシミュレーションプロセッサ580に関する追加の詳細は、図16Aおよび図16Bに関連して下で議論される。
【0034】
コンバイナ560は、左の強化されたチャネルEL、右の強化されたチャネルER、左クロストークシミュレーションチャネルWL、右クロストークシミュレーションチャネルWR、左クロストーク補償チャネルZL、および右クロストーク補償チャネルZRを受信する。コンバイナ560は、左の強化されたチャネルELと、右クロストークシミュレーションチャネルWRと、左クロストーク補償チャネルZLとを組み合わせることによって、左出力チャネルOLを生成する。コンバイナ560は、右の強化されたチャネルERと、左クロストークシミュレーションチャネルWLと、右クロストーク補償チャネルZRとを組み合わせることによって、右出力チャネルORを生成する。コンバイナ560に関する追加の詳細は、図19に関連して下で議論される。
【0035】
図5Bは、一実施形態による、空間的に強化されたオーディオ信号でクロストークシミュレーションを実施するためのオーディオシステム502の例を図示する。オーディオシステム502は、クロストークシミュレーションプロセッサ580とクロストーク補償プロセッサ520とが直列であることを除いて、オーディオシステム500と同様である。とりわけ、クロストークシミュレーションプロセッサ580は、入力チャネルXLおよびXRを受信し、クロストークシミュレーションを実施して、左クロストークシミュレーションチャネルWLおよび右クロストークシミュレーションチャネルWRを生成する。クロストーク補償プロセッサ520は、左クロストークシミュレーションチャネルWLおよび右クロストークシミュレーションチャネルWRを受信して、クロストーク補償を実施して、左シミュレーション補償チャネルSCLおよび右シミュレーション補償チャネルSCRを含むシミュレーション補償信号SCを生成する。
【0036】
コンバイナ562は、サブバンド空間プロセッサ210からの左の強化されたチャネルELを、右シミュレーション補償チャネルSCRと組み合わせて、左出力チャネルOLを生成し、サブバンド空間プロセッサ210からの右の強化されたチャネルERを、左シミュレーション補償チャネルSCLと組み合わせて、右出力チャネルORを生成する。コンバイナ562に関する追加の詳細は、図20に関連して下で議論される。
【0037】
図5Cは、一実施形態による、空間的に強化されたオーディオ信号でクロストークシミュレーションを実施するためのオーディオシステム504の例を図示する。オーディオシステム504は、クロストーク補償がクロストークシミュレーションに先立って入力信号Xに適用されることを除いて、オーディオシステム502と同様である。クロストーク補償プロセッサ520は、入力チャネルXLおよびXRを受信し、クロストーク補償を実施して、左クロストーク補償チャネルZLおよび右クロストーク補償チャネルZRを生成する。クロストークシミュレーションプロセッサ580は、左クロストーク補償チャネルZLおよび右クロストーク補償チャネルZRを受信し、クロストークシミュレーションを実施して、左シミュレーション補償チャネルSCLおよび右シミュレーション補償チャネルSCRを含むシミュレーション補償信号SCを生成する。コンバイナ562は、左の強化されたチャネルELを右シミュレーション補償チャネルSCRと組み合わせて、左出力チャネルOLを生成し、右の強化されたチャネルERを左シミュレーション補償チャネルSCLと組み合わせて、右出力チャネルORを生成する。
【0038】
図6は、一実施形態による、空間的に強化されたオーディオ信号でクロストークシミュレーションを実施するためのオーディオシステム600の例を図示する。オーディオシステム500、502、および504とは異なり、クロストーク補償プロセッサ620は、サブバンド空間プロセッサ610と統合されている。オーディオシステム600は、クロストーク補償プロセッサ620を含むサブバンド空間プロセッサ610と、クロストークシミュレーションプロセッサ580と、コンバイナ562とを含む。クロストーク補償プロセッサ620は、空間周波数バンドプロセッサ245に結合されて、強化された非空間成分Emおよび強化された空間成分Esを受信し、クロストーク補償を実施して、中央の強化された補償チャネルTmおよびサイドの強化された補償チャネルTsを生成する。空間周波数バンドコンバイナ250は、中央の強化された補償チャネルTmおよびサイドの強化された補償チャネルTsを受信し、左の強化された補償チャネルTLおよび右の強化された補償チャネルTRを生成する。コンバイナ562は、左の強化された補償チャネルTLを、右クロストークシミュレーションチャネルWRと組み合わせることによって、左出力チャネルOLを生成し、右の強化された補償チャネルTRを、左クロストークシミュレーションチャネルWLと組み合わせることによって、右出力チャネルORを生成する。クロストーク補償プロセッサ620に関する追加の詳細は、図11に関連して下で議論される。
【0039】
図7は、一実施形態による、空間的に強化されたオーディオ信号でクロストークシミュレーションを実施するためのオーディオシステム700の例を図示する。オーディオシステム500、502、504、および600とは異なり、オーディオシステム700は、クロストークシミュレーションの後にクロストーク補償を実施する。オーディオシステム700は、サブバンド空間プロセッサ210と、クロストークシミュレーションプロセッサ580と、コンバイナ562と、クロストーク補償プロセッサ720とを含む。コンバイナ562は、サブバンド空間プロセッサ210およびクロストークシミュレーションプロセッサ580に結合され、クロストーク補償プロセッサ720にさらに結合される。コンバイナ562は、サブバンド空間プロセッサ210から、左の空間的に強化されたチャネルELおよび右の空間的に強化されたチャネルERを受信し、クロストークシミュレーションプロセッサ580から、左クロストークシミュレーションチャネルWLおよび右クロストークシミュレーションチャネルWRを受信する。コンバイナ562は、左の空間的に強化されたチャネルELと、右クロストークシミュレーションチャネルWRとを組み合わせることによって、左の強化された補償チャネルTLを生成し、右の空間的に強化されたチャネルERと、左クロストークシミュレーションチャネルWLとを組み合わせることによって、右の強化された補償チャネルTRを生成する。クロストーク補償プロセッサ720は、左の強化された補償チャネルTLおよび右の強化された補償チャネルTRを受信し、クロストーク補償を実施して、左出力チャネルOLおよび右出力チャネルORを生成する。クロストーク補償プロセッサ720に関する追加の詳細は、図8および図9に関連して下で議論される。
【0040】
図8は、一実施形態によるクロストーク補償プロセッサ800の例を図示する。クロストーク補償プロセッサ800は、左および右の入力チャネルを受信し、クロストーク補償を入力チャネルに適用することによって、左および右の出力チャネルを生成する。クロストーク補償プロセッサ800は、図2Aに示されたクロストーク補償プロセッサ220、図4に示されたクロストーク補償プロセッサ420、図5A図5Bおよび図5Cに示されたクロストーク補償プロセッサ520、または図7に示されたクロストーク補償プロセッサ720の例である。クロストーク補償プロセッサ800は、L/RツーM/S(L/R To M/S)コンバータ812と、中央成分プロセッサ820と、サイド成分プロセッサ830と、M/SツーL/R(M/S To L/R)コンバータ814とを含む。
【0041】
クロストーク補償プロセッサ800がオーディオシステム200、400、500、504、または700の一部であるとき、クロストーク補償プロセッサ800は、左および右の入力チャネル(例えば、XLおよびXR)を受信し、左クロストーク補償チャネルZLおよび右クロストーク補償チャネルZRを生成するためなどに、クロストーク補償処理を実施する。チャネルZL、ZRは、クロストークキャンセルまたはシミュレーションなどのクロストーク処理におけるいずれかのアーチファクトを補償するために使用されてよい。L/RツーM/Sコンバータ812は、左入力オーディオチャネルXLおよび右入力オーディオチャネルXRを受信し、入力チャネルXL、XRの非空間成分Xmおよび空間成分Xsを生成する。一般に、左および右のチャネルは、左および右のチャネルの非空間成分を生成するために合計されてよく、左および右のチャネルの空間成分を生成するために減算されてよい。
【0042】
中央成分プロセッサ820は、中央フィルタ840(a)、840(b)から840(m)までなどの、m個の複数のフィルタ840を含む。ここで、m個の中央フィルタ840の各々は、非空間成分Xmのm個の周波数バンドのうちの1つを処理する。中央成分プロセッサ820は、非空間成分Xmを処理することによって、中央クロストーク補償チャネルZmを生成する。いくつかの実施形態において、中央フィルタ840は、シミュレーションを通じたクロストーク処理を伴う非空間成分Xmの周波数応答プロットを使用して構成される。加えて、周波数応答プロットを解析することによって、クロストーク処理のアーチファクトとして発生する、所定の閾値(例えば、10dB)を超える周波数応答プロットにおけるピークまたはトラフなどのいずれかのスペクトル欠陥が推定され得る。これらのアーチファクトは、クロストーク処理における、遅延させた、および場合により反転させた(例えば、クロストークキャンセルの場合)対側信号と、それらの対応する同側信号との合計から主に生じ、それによって、コムフィルタのような周波数応答を最終的なレンダリング結果に事実上導入する。中央クロストーク補償チャネルZmは、推定されたピークまたはトラフを補償するために中央成分プロセッサ820によって生成されてよく、ここで、m個の周波数バンドの各々は、ピークまたはトラフに対応する。具体的には、クロストーク処理において適用される固有の遅延、フィルタリング周波数、およびゲインに基づいて、ピークおよびトラフは、周波数応答において上下にシフトし、スペクトルの固有の領域におけるエネルギーの変わりやすい増幅および/または減衰を引き起こす。中央フィルタ840の各々は、ピークおよびトラフの1つまたは複数について調整するように構成されてよい。
【0043】
サイド成分プロセッサ830は、サイドフィルタ850(a)、850(b)から850(m)までなどの、m個の複数のフィルタ850を含む。サイド成分プロセッサ830は、空間成分Xsを処理することによって、サイドクロストーク補償チャネルZsを生成する。いくつかの実施形態において、クロストーク処理を伴う空間成分Xsの周波数応答プロットが、シミュレーションを通じて取得され得る。周波数応答プロットを解析することによって、クロストーク処理のアーチファクトとして発生する、所定の閾値(例えば、10dB)を超える周波数応答プロットにおけるピークまたはトラフなどのいずれかのスペクトル欠陥が推定され得る。サイドクロストーク補償チャネルZsは、推定されたピークまたはトラフを補償するためにサイド成分プロセッサ830によって生成されてよい。具体的には、クロストーク処理において適用される固有の遅延、フィルタリング周波数、およびゲインに基づいて、ピークおよびトラフは、周波数応答において上下にシフトし、スペクトルの固有の領域におけるエネルギーの変わりやすい増幅および/または減衰を引き起こす。サイドフィルタ850の各々は、ピークおよびトラフの1つまたは複数について調整するように構成されてよい。いくつかの実施形態において、中央成分プロセッサ820およびサイド成分プロセッサ830は、異なる数のフィルタを含むことができる。
【0044】
いくつかの実施形態において、中央フィルタ840およびサイドフィルタ850は、式1によって定義される伝達関数を有する双二次フィルタを含むことができる。
【0045】
【数1】
【0046】
ここで、zは、複素変数であり、a0、a1、a2、b0、b1、およびb2は、デジタルフィルタ係数である。そのようなフィルタを実装するための1つのやり方は、式2によって定義されるような直接形式Iトポロジである。
【0047】
【数2】
【0048】
ここで、Xは、入力ベクトルであり、Yは、出力である。それらの最大ワード長および飽和挙動に応じて、他のトポロジが使用されてもよい。
【0049】
双二次フィルタは、次いで、実数値の入力および出力を用いて2次フィルタを実装するために使用され得る。離散時間フィルタを設計するために、連続時間フィルタが設計され、次いで双一次変換を介して離散時間に変換される。さらに、中心周波数およびバンド幅における結果としてのシフトが、周波数ワーピングを使用して補償されてよい。
【0050】
例えば、ピーキングフィルタは、式3によって定義されるS平面の伝達関数を有することができる。
【0051】
【数3】
【0052】
ここで、sは、複素変数であり、Aは、ピークの増幅であり、Qは、フィルタ「品質」であり、デジタルフィルタ係数は、
【0053】
【数4】
【0054】
によって定義され、ここで、ω0は、ラジアンでのフィルタの中心周波数であり、
【0055】
【数5】
【0056】
である。
【0057】
さらに、フィルタ品質Qは、式4によって定義されてよい。
【0058】
【数6】
【0059】
ここで、Δfは、バンド幅であり、fcは、中心周波数である。
【0060】
M/SツーL/Rコンバータ814は、中央クロストーク補償チャネルZmおよびサイドクロストーク補償チャネルZsを受信し、左クロストーク補償チャネルZLおよび右クロストーク補償チャネルZRを生成する。一般に、中央およびサイドの成分の左チャネルを生成するために、中央およびサイドのチャネルが合計されてよく、中央およびサイドの成分の右チャネルを生成するために、中央およびサイドのチャネルが減算されてよい。
【0061】
クロストーク補償プロセッサ800がオーディオシステム502の一部であるとき、クロストーク補償プロセッサ800は、クロストークシミュレーションプロセッサ580から、左クロストークシミュレーションチャネルWLおよび右クロストークシミュレーションチャネルWRを受信し、(例えば、入力チャネルXLおよびXRについて上で議論されたように)前処理を実施して、左シミュレーション補償チャネルSCLおよび右シミュレーション補償チャネルSCRを生成する。
【0062】
クロストーク補償プロセッサ800がオーディオシステム700の一部であるとき、クロストーク補償プロセッサ800は、コンバイナ562から、左の強化された補償チャネルTLおよび右の強化された補償チャネルTRを受信し、(例えば、入力チャネルXLおよびXRについて上で議論されたように)前処理を実施して、左出力チャネルOLおよび右出力チャネルORを生成する。
【0063】
図9は、一実施形態によるクロストーク補償プロセッサ900の例を図示する。クロストーク補償プロセッサ800とは異なり、クロストーク補償プロセッサ900は、非空間成分Xmおよび空間成分Xsの両方ではなく、非空間成分Xmに処理を実施する。クロストーク補償プロセッサ900は、図2Aに示されたクロストーク補償プロセッサ220、図4に示されたクロストーク補償プロセッサ420、図5A図5Bおよび図5Cに示されたクロストーク補償プロセッサ520、または図7に示されたクロストーク補償プロセッサ720の別の例である。クロストーク補償プロセッサ900は、L&Rコンバイナ910と、中央成分プロセッサ820と、MツーL/R(M To L/R)コンバータ960とを含む。
【0064】
クロストーク補償プロセッサ900が、例えば、オーディオシステム200、500、または504の一部であるとき、L&Rコンバイナ910は、左入力オーディオチャネルXLおよび右入力オーディオチャネルXRを受信し、チャネルXL、XRを加えることによって、非空間成分Xmを生成する。中央成分プロセッサ820は、非空間成分Xmを受信し、中央フィルタ840(a)から840(m)を使用して非空間成分Xmを処理することによって、中央クロストーク補償チャネルZmを生成する。MツーL/Rコンバータ960は、中央クロストーク補償チャネルZmを受信し、中央クロストーク補償チャネルZmを使用して、左クロストーク補償チャネルZLおよび右クロストーク補償チャネルZRの各々を生成する。クロストーク補償プロセッサ900が、例えば、オーディオシステム400、502、または700の一部であるとき、入力信号および出力信号は、クロストーク補償プロセッサ900について上で議論されたものとは異なることがある。
【0065】
図10は、一実施形態によるクロストーク補償プロセッサ222の例を図示する。クロストーク補償プロセッサ222は、図2Bに関連して上で議論されたオーディオシステム202のコンポーネントである。中央クロストーク補償チャネルZmを左クロストーク補償チャネルZLおよび右クロストーク補償チャネルZRに変換するクロストーク補償プロセッサ900とは異なり、クロストーク補償プロセッサ222は、中央クロストーク補償チャネルZmを出力する。したがって、クロストーク補償プロセッサ900は、クロストーク補償プロセッサ900について上で議論されたように、L&Rコンバイナ910と、中央成分プロセッサ820とを含む。
【0066】
図11は、一実施形態によるクロストーク補償プロセッサ1100の例を図示する。クロストーク補償プロセッサ1100は、図3に示されたクロストーク補償プロセッサ320、または図6に示されたクロストーク補償プロセッサ620の例である。クロストーク補償プロセッサ1100は、サブバンド空間プロセッサ内に統合されている。クロストーク補償プロセッサ1100は、信号の入力中央EmおよびサイドEsの成分を受信し、中央およびサイドの成分にクロストーク補償を実施して、中央TmおよびサイドTs出力チャネルを生成する。
【0067】
クロストーク補償プロセッサ1100は、中央成分プロセッサ820と、サイド成分プロセッサ830とを含む。中央成分プロセッサ820は、空間周波数バンドプロセッサ245から、強化された非空間成分Emを受信し、中央フィルタ840(a)から840(m)を使用して、中央の強化された補償チャネルTmを生成する。サイド成分プロセッサ830は、空間周波数バンドプロセッサ245から、強化された空間成分Esを受信し、サイドフィルタ850(a)から850(m)を使用して、サイドの強化された補償チャネルTsを生成する。
【0068】
図12は、一実施形態による空間周波数バンド分割器240の例を図示する。空間周波数バンド分割器240は、図2Aから図7に示されたサブバンド空間プロセッサ210、310、または610のコンポーネントである。空間周波数バンド分割器240は、L/RツーM/Sコンバータ1212を含み、L/RツーM/Sコンバータ1212は、左入力チャネルXLおよび右入力チャネルXRを受信し、これらの入力を空間成分Ysおよび非空間成分Ymに変換する。
【0069】
図13は、一実施形態による空間周波数バンドプロセッサ245の例を図示する。空間周波数バンドプロセッサ245は、図2Aから図7に示されたサブバンド空間プロセッサ210、310、または610のコンポーネントである。空間周波数バンドプロセッサ245は、非空間成分Ymを受信し、サブバンドフィルタのセットを適用して、強化された非空間サブバンド成分Emを生成する。空間周波数バンドプロセッサ245はまた、空間成分Ysを受信し、サブバンドフィルタのセットを適用して、強化された空間サブバンド成分Esを生成する。サブバンドフィルタは、ピークフィルタ、ノッチフィルタ、ローパスフィルタ、ハイパスフィルタ、ローシェルフフィルタ、ハイシェルフフィルタ、バンドパスフィルタ、バンドストップフィルタ、および/またはオールパスフィルタの様々な組合せを含むことができる。
【0070】
より具体的には、空間周波数バンドプロセッサ245は、非空間成分Ymのn個の周波数サブバンドの各々のためのサブバンドフィルタと、空間成分Ysのn個のサブバンドの各々のためのサブバンドフィルタとを含む。n=4個のサブバンドの場合、例えば、空間周波数バンドプロセッサ245は、サブバンド(1)のための中央等化(EQ)フィルタ1362(1)と、サブバンド(2)のための中央EQフィルタ1362(2)と、サブバンド(3)のための中央EQフィルタ1362(3)と、サブバンド(4)のための中央EQフィルタ1362(4)とを含む、非空間成分Ymのためのサブバンドフィルタのシリーズを含む。各中央EQフィルタ1362は、非空間成分Ymの周波数サブバンド部分にフィルタを適用して、強化された非空間成分Emを生成する。
【0071】
空間周波数バンドプロセッサ245は、サブバンド(1)のためのサイド等化(EQ)フィルタ1364(1)と、サブバンド(2)のためのサイドEQフィルタ1364(2)と、サブバンド(3)のためのサイドEQフィルタ1364(3)と、サブバンド(4)のためのサイドEQフィルタ1364(4)とを含む、空間成分Ysの周波数サブバンドのためのサブバンドフィルタのシリーズをさらに含む。各サイドEQフィルタ1364は、空間成分Ysの周波数サブバンド部分にフィルタを適用して、強化された空間成分Esを生成する。
【0072】
非空間成分Ymおよび空間成分Ysのn個の周波数サブバンドの各々は、周波数の範囲に対応していてよい。例えば、周波数サブバンド(1)は、0から300Hzに対応していてよく、周波数サブバンド(2)は、300から510Hzに対応していてよく、周波数サブバンド(3)は、510から2700Hzに対応していてよく、周波数サブバンド(4)は、2700Hzからナイキスト周波数に対応していてよい。いくつかの実施形態において、n個の周波数サブバンドは、臨界バンドの集約されたセットである。臨界バンドは、広く多様な音楽ジャンルからのオーディオサンプルのコーパスを使用して決定されてよい。24バーク尺度臨界バンドにわたる中央成分からサイド成分の長期平均エネルギー比が、サンプルから決定される。類似した長期平均比を有する隣接した周波数バンドは次いで、共にグループ化されて、臨界バンドのセットを形成する。周波数サブバンドの範囲、並びに周波数サブバンドの数は、調整可能であってよい。
【0073】
図14は、一実施形態による空間周波数バンドコンバイナ250の例を図示する。空間周波数バンドコンバイナ250は、図2Aから図7に示されたサブバンド空間プロセッサ210、310、または610のコンポーネントである。空間周波数バンドコンバイナ250は、中央およびサイドの成分を受信し、成分の各々にゲインを適用し、中央およびサイドの成分を左および右のチャネルに変換する。例えば、空間周波数バンドコンバイナ250は、強化された非空間成分Emおよび強化された空間成分Esを受信し、強化された非空間成分Emおよび強化された空間成分Esを左の空間的に強化されたチャネルELおよび右の空間的に強化されたチャネルERに変換する前に、グローバル中央ゲインおよびグローバルサイドのゲインを実施する。
【0074】
より具体的には、空間周波数バンドコンバイナ250は、グローバル中央ゲイン1422と、グローバルサイドゲイン1424と、グローバル中央ゲイン1422およびグローバルサイドゲイン1424に結合されたM/SツーL/Rコンバータ1426とを含む。グローバル中央ゲイン1422は、強化された非空間成分Emを受信し、ゲインを適用し、グローバルサイドゲイン1424は、強化された空間成分Esを受信し、ゲインを適用する。M/SツーL/Rコンバータ1426は、グローバル中央ゲイン1422から強化された非空間成分Emを、およびグローバルサイドゲイン1424から強化された空間成分Esを受信し、これらの入力を、左の空間的に強化されたチャネルELおよび右の空間的に強化されたチャネルERに変換する。
【0075】
空間周波数バンドコンバイナ250が、図3に示されたサブバンド空間プロセッサ310または図6に示されたサブバンド空間プロセッサ610の一部であるとき、空間周波数バンドコンバイナ250は、非空間成分Emの代わりに中央の強化された補償チャネルTmを受信し、空間成分Esの代わりにサイドの強化された補償チャネルTsを受信する。空間周波数バンドコンバイナ250は、中央の強化された補償チャネルTmおよびサイドの強化された補償チャネルTsを処理して、左の強化された補償チャネルTLおよび右の強化された補償チャネルTRを生成する。
【0076】
図15は、一実施形態によるクロストークキャンセルプロセッサ270を図示する。オーディオシステム200、202、および300について上で議論されたように、クロストークキャンセルがクロストーク補償の後に実施されるとき、クロストークキャンセルプロセッサ270は、左の強化された補償チャネルTLおよび右の強化された補償チャネルTRを受信し、チャネルTL、TRにクロストークキャンセルを実施して、左出力チャネルOLおよび右出力チャネルORを生成する。オーディオシステム400について上で議論されたように、クロストークキャンセルがクロストーク補償よりも前に実施されるとき、クロストークキャンセルプロセッサ270は、左の空間的に強化されたチャネルELおよび右の空間的に強化されたチャネルERを受信し、チャネルEL、ERにクロストークキャンセルを実施して、左の強化されたインアウトバンドクロストークチャネルCLおよび右の強化されたインアウトバンドクロストークチャネルCRを生成する。
【0077】
一実施形態において、クロストークキャンセルプロセッサ270は、インアウトバンド分割器1510と、インバータ1520および1522と、対側推定器1530および1540と、コンバイナ1550および1552と、インアウトバンドコンバイナ1560とを含む。これらのコンポーネントは、共に動作して、入力チャネルTL、TRを、インバンド成分およびアウトオブバンド成分に分割し、インバンド成分にクロストークキャンセルを実施して、出力チャネルOL、ORを生成する。
【0078】
入力オーディオ信号Tを異なる周波数バンド成分に分割することによって、かつクロストークキャンセルを選択的な成分(例えば、インバンド成分)に実施することによって、クロストークキャンセルは、他の周波数バンドにおける劣化を未然に防ぎながら、特定の周波数バンドのために実施され得る。入力オーディオ信号Tを異なる周波数バンドに分割することなくクロストークキャンセルが実施される場合、そのようなクロストークキャンセル後のオーディオ信号は、低周波数(例えば、350Hzよりも下)、高周波数(例えば、12000Hzよりも上)、または両方で、非空間および空間成分において著しい減衰または増幅を見せることがある。圧倒的多数のインパクトのある空間キューが存在するインバンド(例えば、250Hzから14000Hzの間)に、クロストークキャンセルを選択的に実施することによって、ミキシングにおけるスペクトルにわたり、特に非空間成分において、バランスの取れた全体エネルギーが維持され得る。
【0079】
インアウトバンド分割器1510は、入力チャネルTL、TRをインバンドチャネルTL,In、TR,Inと、アウトオブバンドチャネルTL,Out、TR,Outとに、それぞれ分離する。特に、インアウトバンド分割器1510は、左の強化された補償チャネルTLを、左インバンドチャネルTL,Inと、左アウトオブバンドチャネルTL,Outとに分割する。同様に、インアウトバンド分割器1510は、右の強化された補償チャネルTRを、右インバンドチャネルTR,Inと、右アウトオブバンドチャネルTR,Outとに分離する。各インバンドチャネルは、例えば、250Hzから14kHzを含む周波数範囲に対応するそれぞれの入力チャネルの部分を包含することができる。周波数バンドの範囲は、例えば、スピーカパラメータに従って調整可能であってよい。
【0080】
インバータ1520および対側推定器1530は、共に動作して、左インバンドチャネルTL,Inに起因した対側音成分を補償するために、左対側キャンセル成分SLを生成する。同様に、インバータ1522および対側推定器1540は、共に動作して、右インバンドチャネルTR,Inに起因した対側音成分を補償するために、右対側キャンセル成分SRを生成する。
【0081】
1つのアプローチにおいて、インバータ1520は、インバンドチャネルTL,Inを受信し、受信されたインバンドチャネルTL,Inの極性を反転させ、反転させたインバンドチャネルTL,In’を生成する。対側推定器1530は、反転させたインバンドチャネルTL,In’を受信し、フィルタリングを通して対側音成分に対応する反転させたインバンドチャネルTL,In’の部分を抽出する。フィルタリングは反転させたインバンドチャネルTL,In’に実施されるので、対側推定器1530によって抽出された部分は、対側音成分に属するとされるインバンドチャネルTL,Inの部分の逆になる。よって、対側推定器1530によって抽出された部分は、左対側キャンセル成分SLになり、左対側キャンセル成分SLは、もう片方のインバンドチャネルTR,Inに加えられ、インバンドチャネルTL,Inに起因した対側音成分を低減することができる。いくつかの実施形態において、インバータ1520および対側推定器1530は、異なるシーケンスで実装される。
【0082】
インバータ1522および対側推定器1540は、インバンドチャネルTR,Inに対して類似した動作を実施して、右対側キャンセル成分SRを生成する。したがって、その詳細な説明は、簡潔さのために本明細書では省略される。
【0083】
一例示的な実装において、対側推定器1530は、フィルタ1532と、増幅器1534と、遅延ユニット1536とを含む。フィルタ1532は、反転させた入力チャネルTL,In’を受信し、フィルタリング機能を通して対側音成分に対応する反転させたインバンドチャネルTL,In’の部分を抽出する。例示的なフィルタ実装は、5000から10000Hzの間で選択された中心周波数、および0.5から1.0の間で選択されたQを用いたノッチフィルタまたはハイシェルフフィルタである。デシベルでのゲイン(GdB)は、式5から導き出されてよい。
dB=-3.0-log1.333(D) 式(5)
ここで、Dは、例えば、48KHzのサンプリングレートでのサンプルにおける、遅延ユニット1536および1546による遅延量である。代替実装は、5000から10000Hzの間で選択されたコーナー周波数、および0.5から1.0の間で選択されたQを用いたローパスフィルタである。その上、増幅器1534が、抽出された部分を対応するゲイン係数GL,Inの分だけ増幅し、遅延ユニット1536は、遅延関数Dに従って増幅器1534から増幅された出力を遅延させて、左対側キャンセル成分SLを生成する。対側推定器1540は、フィルタ1542と、増幅器1544と、反転させたインバンドチャネルTR,In’に類似した動作を実施して右対側キャンセル成分SRを生成する遅延ユニット1546とを含む。一例において、対側推定器1530、1540は、下の式に従って、左および右の対側キャンセル成分SL、SRを生成する。
L=D[GL,In×F[TL,In’]] 式(6)
R=D[GR,In×F[TR,In’]] 式(7)
ここで、F[]は、フィルタ関数であり、D[]は、遅延関数である。
【0084】
クロストークキャンセルの構成は、スピーカパラメータによって決定されてよい。例えば、フィルタ中心周波数、遅延量、増幅器ゲイン、およびフィルタゲインは、リスナーに対して2つのスピーカ280の間で形成された角度に従って決定されてよい。いくつかの実施形態において、スピーカ角度の間の値は、他の値を補間するために使用される。
【0085】
コンバイナ1550は、右対側キャンセル成分SRを左インバンドチャネルTL,Inに組み合わせて、左インバンドクロストークチャネルULを生成し、コンバイナ1552は、左対側キャンセル成分SLを右インバンドチャネルTR,Inに組み合わせて、右インバンドクロストークチャネルURを生成する。インアウトバンドコンバイナ1560は、左インバンドクロストークチャネルULをアウトオブバンドチャネルTL,Outと組み合わせて、左出力チャネルOLを生成し、右インバンドクロストークチャネルURをアウトオブバンドチャネルTR,Outと組み合わせて、右出力チャネルORを生成する。
【0086】
それに応じて、左出力チャネルOLは、対側音に属するとされるインバンドチャネルTR,Inの部分の逆に対応する右対側キャンセル成分SRを含み、右出力チャネルORは、対側音に属するとされるインバンドチャネルTL,Inの部分の逆に対応する左対側キャンセル成分SLを含む。この構成において、右耳に到達される右出力チャネルORに従ってラウドスピーカ280Rによって出力される同側音成分の波面は、左出力チャネルOLに従ってラウドスピーカ280Lによって出力される対側音成分の波面をキャンセルすることができる。同様に、左耳に到達される左出力チャネルOLに従ってスピーカ280Lによって出力される同側音成分の波面は、右出力チャネルORに従ってラウドスピーカ280Rによって出力される対側音成分の波面をキャンセルすることができる。したがって、対側音成分が低減されて、空間検出可能性を強化することができる。
【0087】
図16Aは、一実施形態によるクロストークシミュレーションプロセッサ1600を図示する。クロストークシミュレーションプロセッサ1600は、図5A図5B図5C図6および図7にそれぞれ示されたオーディオシステム500、502、504、600、および700のクロストークシミュレーションプロセッサ580の例である。クロストークシミュレーションプロセッサ1600は、ヘッドマウントスピーカ580Lおよび580Rへの出力のための対側音成分を生成し、それによって、ヘッドマウントスピーカ580Lおよび580R上でラウドスピーカのようなリスニング体験を提供する。
【0088】
クロストークシミュレーションプロセッサ1600は、左ヘッドシャドーローパスフィルタ1602と、左クロストーク遅延1604と、左ヘッドシャドーゲイン1610とを含んで、左入力チャネルXLを処理する。クロストークシミュレーションプロセッサ1600は、右ヘッドシャドーローパスフィルタ1606と、右クロストーク遅延1608と、右ヘッドシャドーゲイン1612とをさらに含んで、右入力チャネルXRを処理する。左ヘッドシャドーローパスフィルタ1602は、左入力チャネルXLを受信し、リスナーのヘッドを通過した後に信号の周波数応答をモデル化する変調を適用する。左ヘッドシャドーローパスフィルタ1602の出力は、左ヘッドシャドーローパスフィルタ1602の出力に時間遅延を適用する左クロストーク遅延1604に提供される。時間遅延は、同側音成分に対する対側音成分によってトラバースされるトランスオーラル距離を表す。周波数応答は、リスナーのヘッドによる音波変調の周波数依存特性を決定するために、経験的実験に基づいて生成されてよい。例えば、図1Bを参照すると、トランスオーラル伝播からの音波変調を表す周波数応答と、右耳125Rに届くように対側音成分112Lが(同側音成分118Rに対して)移動する増大された距離をモデル化する時間遅延とを用いて、同側音成分118Lをフィルタリングすることによって、右耳125Rへと伝播する対側音成分112Lが、左耳125Lへと伝播する同側音成分118Lから導き出され得る。いくつかの実施形態において、クロストーク遅延1604は、ヘッドシャドーローパスフィルタ1602に先立って適用される。左ヘッドシャドーゲイン1610は、左クロストーク遅延1604の出力にゲインを適用して、左クロストークシミュレーションチャネルWLを生成する。左および右のチャネルの各々のためのヘッドシャドーローパスフィルタ、クロストーク遅延、およびヘッドシャドーゲインの適用は、異なる順序で実施されてもよい。
【0089】
右入力チャネルXRについても同様に、右ヘッドシャドーローパスフィルタ1606は、右入力チャネルXRを受信し、リスナーのヘッドの周波数応答をモデル化する変調を適用する。右ヘッドシャドーローパスフィルタ1606の出力は、右クロストーク遅延1608に提供され、右クロストーク遅延1608は、右ヘッドシャドーローパスフィルタ1606の出力に時間遅延を適用する。右ヘッドシャドーゲイン1612は、右クロストーク遅延1608の出力にゲインを適用して、右クロストークシミュレーションチャネルWRを生成する。
【0090】
いくつかの実施形態において、ヘッドシャドーローパスフィルタ1602および1606は、2,023Hzのカットオフ周波数を有する。クロストーク遅延1604および1608は、0.792ミリ秒遅延を適用する。ヘッドシャドーゲイン1610および1612は、-14.4dBゲインを適用する。図16Bは、一実施形態によるクロストークシミュレーションプロセッサ1650を図示する。クロストークシミュレーションプロセッサ1650は、図5A図5B図5C図6および図7にそれぞれ示されたオーディオシステム500、502、504、600および700のクロストークシミュレーションプロセッサ580の別の例である。クロストークシミュレーションプロセッサ1600のコンポーネントに加えて、クロストークシミュレーションプロセッサ1650は、左ヘッドシャドーハイパスフィルタ1624と、右ヘッドシャドーハイパスフィルタ1626とをさらに含む。左ヘッドシャドーハイパスフィルタ1624は、リスナーのヘッドを通過した後に信号の周波数応答をモデル化する変調を左入力チャネルXLに適用し、右ヘッドシャドーハイパスフィルタは、リスナーのヘッドを通過した後に信号の周波数応答をモデル化する変調を右入力チャネルXRに適用する。左および右の入力チャネルXLおよびXRへのローパスフィルタおよびハイパスフィルタ両方の使用は、リスナーのヘッドを通して周波数応答のより正確なモデルをもたらすことができる。
【0091】
クロストークシミュレーションプロセッサ1600および1650のコンポーネントは、異なる順序で配置されてもよい。例えば、クロストークシミュレーションプロセッサ1650は、左ヘッドシャドーハイパスフィルタ1624と結合された左ヘッドシャドーローパスフィルタ1602と、左クロストーク遅延1604に結合された左ヘッドシャドーハイパスフィルタ1624と、左ヘッドシャドーゲイン1610に結合された左クロストーク遅延1604とを含むが、コンポーネント1602、1624、1604、および1610は、異なる順序で左入力チャネルXLを処理するように再配置されてもよい。同様に、右入力チャネルXRを処理するコンポーネント1606、1626、1608、および1612が、異なる順序で配置されてもよい。
【0092】
図17は、一実施形態によるコンバイナ260を図示する。コンバイナ260は、図2Aに示されたオーディオシステム200の一部であってよい。コンバイナ260は、左合計1702と、右合計1704と、出力ゲイン1706とを含む。コンバイナ260は、サブバンド空間プロセッサ210から、左の空間的に強化されたチャネルELおよび右の空間的に強化されたチャネルERを受信し、クロストーク補償プロセッサ220から、左クロストーク補償チャネルZLおよび右クロストーク補償チャネルZRを受信する。左合計1702は、左の空間的に強化されたチャネルELを左クロストーク補償チャネルZLと組み合わせて、左の強化された補償チャネルTLを生成する。右合計1704は、右の空間的に強化されたチャネルERを右クロストーク補償チャネルZRと組み合わせて、右の強化された補償チャネルTRを生成する。出力ゲイン1706は、左の強化された補償チャネルTLにゲインを適用し、左の強化された補償チャネルTLを出力する。出力ゲイン1706はまた、右の強化された補償チャネルTRにゲインを適用し、右の強化された補償チャネルTRを出力する。
【0093】
図18は、一実施形態によるコンバイナ262を図示する。コンバイナ262は、図2Bに示されたオーディオシステム202の一部であってよい。コンバイナ262は、コンバイナ260について上で議論されたように、左合計1702と、右合計1704と、出力ゲイン1706とを含む。コンバイナ260とは異なり、コンバイナ262は、クロストーク補償プロセッサ222から、中央クロストーク補償信号Zmを受信する。MツーL/Rコンバータ1826が、中央クロストーク補償信号Zmを、左クロストーク補償チャネルZLと、右クロストーク補償チャネルZRとに分離する。コンバイナ262は、サブバンド空間プロセッサ210から、左の空間的に強化されたチャネルELおよび右の空間的に強化されたチャネルERを受信し、MツーL/Rコンバータ1826から、左クロストーク補償チャネルZLおよび右クロストーク補償チャネルZRを受信する。左合計1702は、左の空間的に強化されたチャネルELを左クロストーク補償チャネルZLと組み合わせて、左の強化された補償チャネルTLを生成する。右合計1704は、右の空間的に強化されたチャネルERを右クロストーク補償チャネルZRと組み合わせて、右の強化された補償チャネルTRを生成する。出力ゲイン1706は、左の強化された補償チャネルTLにゲインを適用し、左の強化された補償チャネルTLを出力する。出力ゲイン1706はまた、右の強化された補償チャネルTRにゲインを適用し、右の強化された補償チャネルTRを出力する。
【0094】
図19は、一実施形態によるコンバイナ560を図示する。コンバイナ560は、図5Aに示されたオーディオシステム500の一部であってよい。コンバイナ560は、左合計1902と、右合計1904と、出力ゲイン1906とを含む。コンバイナ560は、サブバンド空間プロセッサ210から、左の空間的に強化されたチャネルELおよび右の空間的に強化されたチャネルERを受信し、クロストーク補償プロセッサ520から、左クロストーク補償チャネルZLおよび右クロストーク補償チャネルZRを受信し、クロストークシミュレーションプロセッサ580から、左クロストークシミュレーションチャネルWLおよび右クロストークシミュレーションチャネルWRを受信する。左合計1902は、左の空間的に強化されたチャネルELと、左クロストーク補償チャネルZLと、右クロストークシミュレーションチャネルWRとを組み合わせて、左出力チャネルOLを生成する。右合計1904は、右の空間的に強化されたチャネルERと、右クロストーク補償チャネルZRと、左クロストークシミュレーションチャネルWLとを組み合わせて、右出力チャネルORを生成する。出力ゲイン1906は、左出力チャネルOLにゲインを適用し、左出力チャネルOLを出力する。出力ゲイン1906はまた、右出力チャネルORにゲインを適用し、右出力チャネルORを出力する。
【0095】
図20は、一実施形態によるコンバイナ562を図示する。コンバイナ562は、図5B図5C図6および図7にそれぞれ示されたオーディオシステム502、504、600および700の一部であってよい。オーディオシステム502および504の場合、コンバイナ562は、サブバンド空間プロセッサ210からの左の空間的に強化されたチャネルELおよび右の空間的に強化されたチャネルERを受信し、左シミュレーション補償チャネルSCLおよび右シミュレーション補償チャネルSCRを受信し、左出力チャネルOLおよび右出力チャネルORを生成する。
【0096】
左合計2002は、左の空間的に強化されたチャネルELと左シミュレーション補償チャネルSCLとを組み合わせて、左出力チャネルOLを生成する。右合計2004は、右の空間的に強化されたチャネルERと右シミュレーション補償チャネルSCRとを組み合わせて、右出力チャネルORを生成する。出力ゲイン2006は、左出力チャネルOLおよび右出力チャネルORにゲインを適用し、左出力チャネルOLおよび右出力チャネルORを出力する。
【0097】
オーディオシステム600の場合、コンバイナ562は、サブバンド空間プロセッサ610から、左の強化された補償チャネルTLおよび右の強化された補償チャネルTRを受信し、クロストークシミュレーションプロセッサ580から、左クロストークシミュレーションチャネルWLおよび右クロストークシミュレーションチャネルWRを受信する。左合計2002は、左の強化された補償チャネルTLと、右クロストークシミュレーションチャネルWRとを組み合わせることによって、左出力チャネルOLを生成する。右合計2004は、右の強化された補償チャネルTRと、左クロストークシミュレーションチャネルWLとを組み合わせることによって、右出力チャネルORを生成する。
【0098】
オーディオシステム700の場合、コンバイナ562は、サブバンド空間プロセッサ210から、左の空間的に強化されたチャネルELおよび右の空間的に強化されたチャネルERを受信し、クロストークシミュレーションプロセッサ580から、左クロストークシミュレーションチャネルWLおよび右クロストークシミュレーションチャネルWRを受信する。左合計2002は、左の空間的に強化されたチャネルELと、右クロストークシミュレーションチャネルWRとを組み合わせることによって、左の強化された補償チャネルTLを生成する。右合計2004は、右の空間的に強化されたチャネルERと、左クロストークシミュレーションチャネルWLとを組み合わせることによって、右の強化された補償チャネルTRを生成する。
【0099】
例示的なクロストーク補償
上述したように、クロストーク補償プロセッサは、クロストークキャンセルにおけるさまざまなクロストーク遅延およびゲインの結果として、空間および非空間の信号成分において発生するコムフィルタリングアーチファクトを補償することができる。これらのクロストークキャンセルアーチファクトは、適正なフィルタを、非空間および空間成分に独立して適用することによって対処されてよい。(関連付けられたM/S非マトリクス化(de-matrixing)による)中央/サイドフィルタリングは、アルゴリズムの全体信号フローにおけるさまざまなポイントに挿入されることが可能であり、空間および非空間の信号成分の周波数応答においてクロストークにより誘発されたコムフィルタピークおよびノッチが、並行して対処されてよい。
【0100】
図21図26は、クロストークキャンセル処理のみが入力信号に適用された、異なるスピーカ角度およびスピーカサイズ構成に対して、クロストーク補償プロセッサのフィルタを適用するときの、空間および非空間の信号成分への影響を図示する。クロストーク補償プロセッサは、信号成分の周波数応答を選択的に平坦化して、最小限に音色付けされ、最小限にゲイン調整された、クロストークキャンセルされた後の出力を提供することができる。
【0101】
これらの例において、補償フィルタは、空間および非空間成分に独立して適用されて、非空間(L+R、または中央)成分における全てのコムフィルタピークおよび/またはトラフ、並びに空間(L-R、またはサイド)成分における、最も低いコムフィルタピークおよびトラフ以外の全てをターゲットにする。補償の方法は、手続き的に導き出される、耳および手によって調節される、または組合せであってよい。
【0102】
図21は、一実施形態による、クロストークキャンセルされた信号のプロット2100を図示する。ライン2102は、ホワイトノイズ入力信号である。ライン2104は、クロストークキャンセルを伴う入力信号の非空間成分である。ライン2106は、クロストークキャンセルを伴う入力信号の空間成分である。10度のスピーカ角度および小さなスピーカ設定の場合、クロストークキャンセルは、1サンプル@48KHzサンプリングレートのクロストーク遅延、-3dBのクロストークゲイン、並びに350Hzの低周波数バイパスおよび12000Hzの高周波数バイパスによって定義されたインバンド周波数範囲を含むことができる。
【0103】
図22は、一実施形態による、図21の非空間成分に適用されたクロストーク補償についてのプロット2200を図示する。ライン2204は、図21におけるライン2104によって表されたクロストークキャンセルを伴う入力信号の非空間成分に適用されたクロストーク補償を表す。とりわけ、1000Hz中心周波数、12.5dBゲイン、および0.4Qを有するピークノッチフィルタと、15000Hz中心周波数、-1dBゲイン、および1.0Qを有する別のピークノッチフィルタとを含む2つの中央フィルタが、クロストークキャンセルされた非空間成分に適用される。図22には示されていないが、クロストークキャンセルを伴う入力信号の空間成分を表すライン2106がまた、クロストーク補償で修正されてもよい。
【0104】
図23は、一実施形態による、クロストークキャンセルされた信号のプロット2300を図示する。ライン2302は、ホワイトノイズ入力信号である。ライン2304は、クロストークキャンセルを伴う入力信号の非空間成分である。ライン2306は、クロストークキャンセルを伴う入力信号の空間成分である。30度のスピーカ角度および小さなスピーカ設定の場合、クロストークキャンセルは、3サンプル@48KHzサンプリングレートのクロストーク遅延、-6.875dBのクロストークゲイン、並びに350Hzの低周波数バイパスおよび12000Hzの高周波数バイパスによって定義されたインバンド周波数範囲を含むことができる。
【0105】
図24は、一実施形態による、図23の非空間成分および空間成分に適用されたクロストーク補償についてのプロット2400を図示する。ライン2404は、図23におけるライン2304によって表されたクロストークキャンセルを伴う入力信号の非空間成分に適用されたクロストーク補償を表す。650Hz中心周波数、8.0dBゲイン、および0.65Qを有する第1のピークノッチフィルタと、5000Hz中心周波数、-3.5dBゲイン、および0.5Qを有する第2のピークノッチフィルタと、16000Hz中心周波数、2.5dBゲイン、および2.0Qを有する第3のピークノッチフィルタとを含む3つの中央フィルタが、クロストークキャンセルされた非空間成分に適用される。ライン2406は、図23におけるライン2306によって表されたクロストークキャンセルを伴う入力信号の空間成分に適用されたクロストーク補償を表す。6830Hz中心周波数、4.0dBゲイン、および1.0Qを有する第1のピークノッチフィルタと、15500Hz中心周波数、-2.5dBゲイン、および2.0Qを有する第2のピークノッチフィルタとを含む2つのサイドフィルタが、クロストークキャンセルされた空間成分に適用される。一般に、クロストーク補償プロセッサによって適用される中央およびサイドのフィルタの数、並びにそれらのパラメータは、変動してもよい。
【0106】
図25は、一実施形態による、クロストークキャンセルされた信号のプロット2500を図示する。ライン2502は、ホワイトノイズ入力信号である。ライン2504は、クロストークキャンセルを伴う入力信号の非空間成分である。ライン2506は、クロストークキャンセルを伴う入力信号の空間成分である。50度のスピーカ角度および小さなスピーカ設定の場合、クロストークキャンセルは、5サンプル@48KHzサンプリングレートのクロストーク遅延、-8.625dBのクロストークゲイン、並びに350Hzの低周波数バイパスおよび12000Hzの高周波数バイパスによって定義されたインバンドを含むことができる。
【0107】
図26は、一実施形態による、図25の非空間成分および空間成分に適用されたクロストーク補償についてのプロット2600を図示する。ライン2604は、図25におけるライン2504によって表されたクロストークキャンセルを伴う入力信号の非空間成分に適用されたクロストーク補償を表す。500Hz中心周波数、6.0dBゲイン、および0.65Qを有する第1のピークノッチフィルタと、3200Hz中心周波数、-4.5dBゲイン、および0.6Qを有する第2のピークノッチフィルタと、9500Hz中心周波数、3.5dBゲイン、および1.5Qを有する第3のピークノッチフィルタと、14000Hz中心周波数、-2.0dBゲイン、および2.0Qを有する第4のピークノッチフィルタとを含む4つの中央フィルタが、クロストークキャンセルされた非空間成分に適用される。ライン2606は、図25におけるライン2506によって表されたクロストークキャンセルを伴う入力信号の空間成分に適用されたクロストーク補償を表す。4000Hz中心周波数、8.0dBゲイン、および2.0Qを有する第1のピークノッチフィルタと、8800Hz中心周波数、-2.0dBゲイン、および1.0Qを有する第2のピークノッチフィルタと、15000Hz中心周波数、1.5dBゲイン、および2.5Qを有する第3のピークノッチフィルタとを含む3つのサイドフィルタが、クロストークキャンセルされた空間成分に適用される。
【0108】
図27Aは、一実施形態による、クロストークキャンセル遅延の関数としての、クロストーク補償プロセッサのためのフィルタ設定の表2700を図示する。とりわけ、表2700は、クロストークキャンセルプロセッサが350から12000Hzのインバンド周波数範囲@48KHzを適用するときの、クロストーク補償プロセッサの中央フィルタ840についての中心周波数(Fc)、ゲイン、およびQの値を提供している。
【0109】
図27Bは、一実施形態による、クロストークキャンセル遅延の関数としての、クロストーク補償プロセッサのためのフィルタ設定の表2750を図示する。とりわけ、表2750は、クロストークキャンセルプロセッサが200から14000Hzのインバンド周波数範囲@48KHzを適用するときの、クロストーク補償プロセッサの中央フィルタ840についての中心周波数(Fc)、ゲイン、およびQの値を提供している。
【0110】
図27Aおよび図27Bに示されるように、例えば、スピーカ位置または角度によって異なるクロストーク遅延時間が引き起こされることがあり、異なるコムフィルタリングアーチファクトをもたらすことがある。さらに、クロストークキャンセルにおいて使用される異なるインバンド周波数がまた、異なるコムフィルタリングアーチファクトをもたらすことがある。したがって、クロストーク補償プロセッサの中央およびサイドのフィルタは、中心周波数、ゲイン、およびQについて異なる設定を適用して、コムフィルタリングアーチファクトを補償することができる。
【0111】
例示的な処理
本明細書で議論されるオーディオシステムは、サブバンド空間処理(SBS)、クロストーク補償処理(CCP)、およびクロストーク処理(CP)を含む様々なタイプの処理を、入力オーディオ信号に実施する。クロストーク処理は、クロストークシミュレーション、またはクロストークキャンセルを含むことができる。SBS、CCP、およびCPについての処理の順序は変動してもよい。いくつかの実施形態において、SBS、CCP、またはCP処理のさまざまなステップは、統合されてもよい。処理の実施形態のいくつかの例が、クロストーク処理がクロストークキャンセルであるときについて、図28A図28B図28C図28Dおよび図28Eに示されており、クロストーク処理がクロストークシミュレーションであるときについて、図29A図29B図29C図29D図29E図29F図29Gおよび図29Hに示されている。
【0112】
図28Aを参照すると、サブバンド空間処理が、クロストーク補償処理と並行して入力オーディオ信号Xに実施されて、結果を生成し、次いでクロストークキャンセル処理が結果に適用されて、出力オーディオ信号Oを生成する。
【0113】
図28Bを参照すると、サブバンド空間処理が、クロストーク補償処理と統合されて、入力オーディオ信号Xから結果を生成する。クロストーク補償プロセッサ320がサブバンド空間プロセッサ310と統合されている例は、図3に示されている。クロストークキャンセル処理が次いで結果に適用されて、出力オーディオ信号Oを生成する。
【0114】
図28Cを参照すると、サブバンド空間処理が、入力オーディオ信号Xに実施されて結果を生成し、クロストークキャンセル処理が、サブバンド空間処理の結果に実施され、クロストーク補償処理が、クロストークキャンセル処理の結果に実施されて、出力オーディオ信号Oを生成する。
【0115】
図28Dを参照すると、クロストーク補償処理が、入力オーディオ信号Xに実施されて結果を生成し、サブバンド空間処理が、クロストーク補償処理の結果に実施され、クロストークキャンセル処理が、サブバンド空間処理の結果に実施されて、出力オーディオ信号Oを生成する。
【0116】
図28Eを参照すると、サブバンド空間処理が、入力オーディオ信号Xに実施されて結果を生成し、クロストーク補償処理が、サブバンド空間処理の結果に実施され、クロストークキャンセル処理が、クロストーク補償処理の結果に実施されて、出力オーディオ信号Oを生成する。
【0117】
図29Aを参照すると、サブバンド空間処理、クロストーク補償処理、およびクロストークシミュレーション処理が、入力オーディオ信号Xに各々実施され、結果が組み合わされて、出力オーディオ信号Oを生成する。
【0118】
図29Bを参照すると、クロストークシミュレーション処理およびクロストーク補償処理が入力オーディオ信号Xに実施されているのと並行して、サブバンド空間処理が、入力オーディオ信号Xに実施される。並行の結果が組み合わされて、出力オーディオ信号Oを生成する。ここで、クロストークシミュレーション処理は、クロストーク補償処理よりも前に適用される。
【0119】
図29Cを参照すると、クロストーク補償処理およびクロストークシミュレーション処理が入力オーディオ信号Xに実施されているのと並行して、サブバンド空間処理が、入力オーディオ信号Xに実施される。並行の結果が組み合わされて、出力オーディオ信号Oを生成する。ここで、クロストーク補償処理は、クロストークシミュレーション処理よりも前に適用される。
【0120】
図29Dを参照すると、サブバンド空間処理が、クロストーク補償処理と統合されて、入力オーディオ信号Xから結果を生成する。並行して、クロストークシミュレーション処理が、入力オーディオ信号Xに適用される。並行の結果が組み合わされて、出力オーディオ信号Oを生成する。
【0121】
図29Eを参照すると、サブバンド空間処理およびクロストークシミュレーション処理が、各々入力オーディオ信号Xに適用される。クロストーク補償処理が、並行の結果に適用されて、出力オーディオ信号Oを生成する。
【0122】
図29Fを参照すると、クロストーク補償処理およびサブバンド空間処理が入力信号Xに適用されているのと並行して、クロストークシミュレーション処理が、入力オーディオ信号Xに適用される。並行の結果が組み合わされて、出力オーディオ信号Oを生成する。ここで、クロストーク補償処理は、サブバンド空間処理よりも前に実施される。
【0123】
図29Gを参照すると、サブバンド空間処理およびクロストーク補償処理が入力信号Xに適用されているのと並行して、クロストークシミュレーション処理が、入力オーディオ信号Xに適用される。並行の結果が組み合わされて、出力オーディオ信号Oを生成する。ここで、サブバンド空間処理は、クロストーク補償処理よりも前に実施される。
【0124】
図29Hを参照すると、クロストーク補償処理が、入力オーディオ信号に適用される。サブバンド空間処理およびクロストークシミュレーションが並行して、クロストーク補償処理の結果に適用される。サブバンド空間処理およびクロストークシミュレーション処理の結果が組み合わされて、出力オーディオ信号Oを生成する。
【0125】
例示的なコンピュータ
図30は、一実施形態によるコンピュータ3000の概略ブロック図である。コンピュータ3000は、オーディオシステムを実装する回路の例である。チップセット3004に結合された少なくとも1つのプロセッサ3002が図示されている。チップセット3004は、メモリコントローラハブ3020と、入力/出力(I/O)コントローラハブ3022とを含む。メモリ3006およびグラフィクスアダプタ3012は、メモリコントローラハブ3020に結合され、ディスプレイデバイス3018は、グラフィクスアダプタ3012に結合される。ストレージデバイス3008、キーボード3010、ポインティングデバイス3014、およびネットワークアダプタ3016は、I/Oコントローラハブ3022に結合される。コンピュータ3000は、さまざまなタイプの入力または出力デバイスを含むことができる。コンピュータ3000の他の実施形態は、異なるアーキテクチャを有する。例えば、メモリ3006は、いくつかの実施形態において、プロセッサ3002に直接結合される。
【0126】
ストレージデバイス3008は、ハードドライブ、コンパクトディスク読み出し専用メモリ(CD-ROM)、DVD、またはソリッドステートメモリデバイスなどの、1つまたは複数の非一時的なコンピュータ可読記憶媒体を含む。メモリ3006は、プロセッサ3002によって使用される命令およびデータを保持する。ポインティングデバイス3014は、データをコンピュータシステム3000に入力するために、キーボード3010と組み合わせて使用される。グラフィクスアダプタ3012は、画像および他の情報をディスプレイデバイス3018上に表示する。いくつかの実施形態において、ディスプレイデバイス3018は、ユーザ入力および選択を受信するためのタッチスクリーン能力を含む。ネットワークアダプタ3016は、コンピュータシステム3000をネットワークに結合する。コンピュータ3000のいくつかの実施形態は、図30に示されたものとは異なる、および/または他のコンポーネントを有する。
【0127】
コンピュータ3000は、本明細書で説明された機能性を提供するためのコンピュータプログラムモジュールを実行するようになされる。例えば、いくつかの実施形態は、本明細書で議論された処理を実施するように構成された1つまたは複数のモジュールを含むコンピューティングデバイスを含むことができる。本明細書で使用されるとき、用語「モジュール」は、指定された機能性を提供するために使用されるコンピュータプログラム命令および/または他の論理を指す。したがって、モジュールは、ハードウェア、ファームウェア、および/またはソフトウェアで実装され得る。一実施形態において、実行可能なコンピュータプログラム命令から形成されるプログラムモジュールは、ストレージデバイス3008上に記憶され、メモリ3006にロードされ、プロセッサ3002によって実行される。
【0128】
本開示を読むとき、当業者は、本明細書で開示された原理の追加の代替実施形態を認めるであろう。特定の実施形態およびアプリケーションが図示され、説明されてきたが、開示された実施形態は、本明細書で開示された厳密な構造およびコンポーネントに限定されないことが理解されるべきである。当業者には明らかとなる様々な修正、変更および変形は、本明細書で説明された範囲から逸脱することなく、本明細書で開示された方法並びに装置の、配置、動作および詳細において行われてもよい。
【0129】
本明細書で説明されたステップ、動作、またはプロセスのいずれも、1つもしくは複数のハードウェアまたはソフトウェアモジュールを用いて、単独で、または他のデバイスと組み合わせて実施または実装されてよい。一実施形態において、ソフトウェアモジュールは、説明されたステップ、動作またはプロセスのうちのいずれか、または全てを実施するために、コンピュータプロセッサによって実行され得るコンピュータプログラムコードを収容するコンピュータ可読媒体(例えば、非一時的なコンピュータ可読媒体)を含むコンピュータプログラム製品で実装される。
図1A
図1B
図2A
図2B
図3
図4
図5A
図5B
図5C
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16A
図16B
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27A
図27B
図28A
図28B
図28C
図28D
図28E
図29A
図29B
図29C
図29D
図29E
図29F
図29G
図29H
図30