知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-06-01
(54)【発明の名称】音響クロストークのキャンセルと仮想スピーカ技術
(51)【国際特許分類】
H04S 1/00 20060101AFI20230525BHJP
H04S 3/00 20060101ALI20230525BHJP
【ＦＩ】
H04S1/00 200
H04S3/00 200
H04S1/00 700
H04S3/00 800
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022564357
(86)(22)【出願日】2021-04-05
(85)【翻訳文提出日】2022-12-16
(86)【国際出願番号】 US2021025813
(87)【国際公開番号】W WO2021216274
(87)【国際公開日】2021-10-28
(31)【優先権主張番号】16/857,033
(32)【優先日】2020-04-23
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】503289676
【氏名又は名称】ティ エイチ エックス リミテッド
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】グレイ，ラッセル
【テーマコード（参考）】
5D162
【Ｆターム（参考）】
5D162AA09
5D162CA12
5D162CB18
5D162CC34
5D162CD07
5D162DA12
5D162DA13
5D162DA16
5D162DA17
5D162EA02
5D162EC02
(57)【要約】
実施形態は、クロストークのキャンセル及び／又は仮想スピーカの生成を実行するための方法、装置、及びシステムを提供する。オーディオプロセッサは、クロストークキャンセル回路と線形化回路とを含むことができる。線形化回路は、クロストークキャンセル回路の周波数応答をオフセットして、フラットな全体的周波数応答を提供することができる。仮想スピーカ回路は、出力チャネルに関連付けられた入力信号を受信し、入力信号を変更せずに出力チャネルに渡すことができる。仮想スピーカ回路は、入力信号に基づいて仮想化信号を生成し、仮想化信号を別の物理チャネルに渡す。仮想化信号は、仮想スピーカ回路によって生成された仮想スピーカの仮想スピーカ位置に対応する同側の頭部伝達関数（ＨＲＴＦ）と反対側のＨＲＴＦに基づいてさらに生成されることができる。他の実施形態は記載され及び／又は請求されることができる。
【特許請求の範囲】
【請求項1】
オーディオプロセッサ回路であって：入力オーディオ信号を受信する入力ターミナルと；
出力オーディオ信号を提供する出力ターミナルと；
前記入力ターミナルと前記出力ターミナルとの間に結合され、出力オーディオ信号にクロストークキャンセル信号を提供するクロストークキャンセル回路であって、前記クロストークキャンセル回路は第１周波数応答を有する、クロストークキャンセル回路と；
前記入力ターミナルと前記出力ターミナルとの間で前記クロストークキャンセル回路と直列に結合された線形化回路であって、前記線形化回路は、第２周波数応答を有し、動作レンジにわたってフラットな、オーディオプロセッサ回路のための全体的周波数応答を提供する、線形化回路と；
を備える、オーディオプロセッサ回路。
【請求項2】
前記クロストークキャンセル回路は、フィルタを有するフィードバックループと、前記クロストークキャンセル回路の出力と前記クロストークキャンセル回路の入力との間で前記フィードバックループに結合された、減衰要素と、遅延要素と、を含む、請求項１記載のオーディオプロセッサ回路。
【請求項3】
前記フィルタは第１フィルタであり、前記減衰要素は第１減衰要素であり、前記遅延要素は第１遅延要素であり、前記線形化回路は、第２フィルタを有するフィードフォワードループと、前記線形化回路の入力と前記線形化回路の出力との間でフィードフォワードループに結合された第２遅延要素と、第２減衰要素と、を含む、
請求項２記載のオーディオプロセッサ回路。
【請求項4】
前記線形化回路の１つ以上の値を、前記クロストークキャンセル回路の対応する１つ以上の値と同じになるように制御する制御回路をさらに備える、請求項１記載のオーディオプロセッサ回路。
【請求項5】
前記線形化回路は、前記入力オーディオ信号を受信し、前記入力オーディオ信号に基づいて中間オーディオ信号を生成するものであり、前記クロストークキャンセル回路は、前記中間オーディオ信号を受信し、前記中間オーディオ信号に基づいて前記出力オーディオ信号を生成するものである、
請求項１記載のオーディオプロセッサ回路。
【請求項6】
前記入力ターミナルと前記出力ターミナルとの間の信号経路上の前記クロストークキャンセル回路の第１周波数応答は：【数11】
前記線形化回路の前記第２周波数応答は：
【数12】
【数13】
請求項５記載のオーディオプロセッサ回路。
【請求項7】
前記入力オーディオ信号は第１入力オーディオ信号であり、前記オーディオプロセッサ回路は仮想スピーカ回路をさらに含み、前記仮想スピーカ回路は：第２入力オーディオ信号を受信し、前記第２入力オーディオ信号はマルチチャネルリスニング環境の第１物理チャネルに対応し；
前記第２入力オーディオ信号を、前記第１物理チャネルのための前記第１入力オーディオ信号として、前記クロストークキャンセル回路に渡し；
前記第２入力オーディオ信号に基づいて前記マルチチャネルリスニング環境の仮想チャネルを生成し、前記仮想チャネルは仮想チャネル位置に関連する、ものであり、
前記仮想スピーカ回路は、前記仮想チャネルを生成するために：
前記第２入力オーディオ信号、仮想チャネル位置に対応する同側の頭部伝達関数（ＨＲＴＦ）、及び、前記仮想チャネル位置に対応する反対側のＨＲＴＦに基づいて、仮想化オーディオ信号を生成し；
前記仮想化オーディオ信号をマルチチャネルリスニング環境の第２物理チャネルに提供する、ものである、
請求項１乃至６いずれか１項記載のオーディオプロセッサ回路。
【請求項8】
前記仮想スピーカ回路は、前記第２入力オーディオ信号を、変更することなく、クロストークキャンセル回路に渡すものである、請求項７記載のオーディオプロセッサ回路。
【請求項9】
前記仮想化オーディオ信号は、【数14】
請求項７記載のオーディオプロセッサ回路。
【請求項10】
オーディオプロセッサ回路であって：マルチチャネルリスニング環境の第１物理チャネルに対応する入力オーディオ信号を受信する入力ターミナルと；
前記入力ターミナルに結合する仮想スピーカ回路と；を備え、
前記仮想スピーカ回路は、前記入力オーディオ信号に基づいて前記マルチチャネルリスニング環境の仮想チャネルを生成し、前記仮想チャネルは仮想チャネル位置に関連し、
前記仮想スピーカ回路は、前記仮想チャネルを生成するために：
前記入力オーディオ信号、仮想チャネル位置に対応する同側の頭部伝達関数（ＨＲＴＦ）、及び、前記仮想チャネル位置に対応する反対側のＨＲＴＦに基づいて、仮想化オーディオ信号を生成し；
前記仮想化オーディオ信号をマルチチャネルリスニング環境の第２物理チャネルに提供する、ものである、
オーディオプロセッサ回路。
【請求項11】
前記仮想スピーカ回路はさらに、前記入力オーディオ信号を、変更することなく、前記第１物理チャネルに関連する物理的なスピーカに渡すものである、請求項１０記載のオーディオプロセッサ回路。
【請求項12】
前記仮想化オーディオ信号は、【数15】
請求項１０記載のオーディオプロセッサ回路。
【請求項13】
前記入力オーディオ信号は第１入力オーディオ信号であり、前記仮想化オーディオ信号は第１仮想化オーディオ信号であり、前記仮想スピーカ回路はさらに：
前記マルチチャネルリスニング環境の前記第２物理チャネルと関連する第２入力オーディオ信号を受信し；
第２入力オーディオ信号に基づいて前記仮想チャネルのための第２仮想化オーディオ信号を生成し；
前記第２仮想化オーディオ信号を前記第１物理チャネルに提供する、ものである、
請求項１０乃至１２いずれか１項記載のオーディオプロセッサ回路。
【請求項14】
オーディオプロセッサを備えるオーディオ出力システムであって、前記オーディオプロセッサは：
入力オーディオ信号を受信し、前記入力オーディオ信号に基づいて中間オーディオ信号を生成する線形化回路であって、前記線形化回路は第１周波数応答を有する、線形化回路と；
前記中間オーディオ信号を受信し、出力オーディオ信号を生成して前記中間オーディオ信号のクロストークをキャンセルするクロストークキャンセル回路であって、前記クロストークキャンセル回路は、第２周波数応答を有し、動作レンジにわたってフラットな、前記オーディオプロセッサのための全体的周波数応答を提供する、クロストークキャンセル回路と；
前記オーディオプロセッサと結合するオーディオ増幅器であって、前記オーディオ増幅器は、前記出力オーディオ信号を増幅し、前記出力オーディオ信号を１つ以上のスピーカに提供する、オーディオ増幅器と、
を備える、オーディオ出力システム。
【請求項15】
前記クロストークキャンセル回路は、フィルタを有するフィードバックループと、前記クロストークキャンセル回路の出力と前記クロストークキャンセル回路の入力との間で前記フィードバックループに結合された、減衰要素と、遅延要素と、を含む、請求項１４記載のオーディオ出力システム。
【請求項16】
前記フィルタは第１フィルタであり、前記減衰要素は第１減衰要素であり、前記遅延要素は第１遅延要素であり、前記線形化回路は、
前記第１フィルタと同じフィルタ機能を有する第２フィルタを備えたフィードフォワードループと、
前記第１減衰要素と同じ減衰値を有する第２減衰要素と、
前記第１遅延要素と同じ遅延値を有する第２遅延要素と、を含み、
前記第２フィルタ、前記第２減衰要素及び前記第２遅延要素は、前記線形化回路の入力と前記線形化回路の出力との間でフィードフォワードループ内に結合されている、
請求項１５記載のオーディオ出力システム。
【請求項17】
前記線形化回路の前記第１周波数応答は：【数16】
前記クロストークキャンセル回路の前記第２周波数応答は：
【数17】
【数18】
請求項１４記載のオーディオ出力システム。
【請求項18】
前記入力オーディオ信号は第１入力オーディオ信号であり、前記オーディオプロセッサは仮想スピーカ回路をさらに含み、前記仮想スピーカ回路は：
第２入力オーディオ信号を受信し、前記第２入力オーディオ信号はマルチチャネルリスニング環境の第１物理チャネルに対応し；
前記第２入力オーディオ信号を変更せずに前記線形化回路の第１入力に渡し、前記第１入力は前記第１物理チャネルのためのものであり；
前記出力オーディオ信号、仮想チャネル位置に対応する同側の頭部伝達関数（ＨＲＴＦ）、及び、前記仮想チャネル位置に対応する反対側のＨＲＴＦに基づいて仮想化オーディオ信号を生成し；
前記仮想化オーディオ信号を前記線形化回路の第２入力に提供し、前記仮想チャネル位置と関連する仮想チャネルを生成し、前記第２入力は、前記マルチチャネルリスニング環境の第２物理チャネルに対応する、ものである、
請求項１４記載のオーディオ出力システム。
【請求項19】
前記仮想化オーディオ信号は、【数19】
請求項１８記載のオーディオ出力システム。
【請求項20】
前記オーディオ増幅器に結合され、増幅された前記出力オーディオ信号を受信する、前記１つ以上のスピーカをさらに有する、請求項１４乃至１９いずれか１項記載のオーディオ出力システム。
【発明の詳細な説明】
【技術分野】
【0001】
［関連出願］
本願は、２０２０年４月２３日に出願された米国出願第１６／８５７，０３３号 「ＡＣＯＵＳＴＩＣ ＣＲＯＳＳＴＡＬＫ ＣＡＮＣＥＬＬＡＴＩＯＮ ＡＮＤ ＶＩＲＴＵＡＬ ＳＰＥＡＫＥＲＳ ＴＥＣＨＮＩＱＵＥＳ（音響クロストークキャンセル及びバーチャルスピーカー技術）」に基づく先権を主張する。
［技術分野］
本明細書の実施形態は、オーディオ再生の分野、より具体的には、音響クロストークキャンセル及び仮想スピーカ技術に関する。
本願は、２０２０年４月２３日に出願された米国出願第１６／８５７，０３３号 「ＡＣＯＵＳＴＩＣ ＣＲＯＳＳＴＡＬＫ ＣＡＮＣＥＬＬＡＴＩＯＮ ＡＮＤ ＶＩＲＴＵＡＬ ＳＰＥＡＫＥＲＳ ＴＥＣＨＮＩＱＵＥＳ（音響クロストークキャンセル及びバーチャルスピーカー技術）」に基づく先権を主張する。
［技術分野］
本明細書の実施形態は、オーディオ再生の分野、より具体的には、音響クロストークキャンセル及び仮想スピーカ技術に関する。
【背景技術】
【0002】
オーディオ再生システムでは、左ラウドスピーカがリスナの右耳にサウンドエネルギーを導入するとき、及び／又は、右ラウドスピーカがリスナの左耳にサウンドエネルギーを導入するときに、音響クロストークが発生する。いくつかのシステムでは、この不所望なサウンドエネルギーを除去するためにクロストークキャンセルプロセスが実装されている。ただし、これらのクロストークキャンセルプロセスは、スペクトルアーティファクト（例えば、フィードバック動作におけるコムフィルタリング（ｃｏｍｂ ｆｉｌｔｅｒｉｎｇ））をもたらす。
【0003】
さらに、いくつかのオーディオ再生システムでは、仮想スピーカ技術を実装して、リスナに、ラウドスピーカの物理的位置（ｐｈｙｓｉｃａｌ ｌｏｃａｔｉｏｎ）以外のソースに由来する音として認識させることができる。これは典型的には、ソースオーディオを操作して音響心理学的な位置の手がかり又はキュー（ｌｏｃａｔｉｏｎ ｃｕｅｓ）が含まれるようにすることで実現される。例えば、従来の方法では、各チャネルで頭部インパルス応答（ＨＲＩＲ）コンボリューションを実行して、心理音響的な位置の手がかりを追加する。しかし、これらの仮想スピーカ技術は、出力信号にスペクトルアーティファクトももたらす。
【図面の簡単な説明】
【0004】
添付の図面及び添付の特許請求の範囲と併せて、以下の詳細な説明によれば、実施形態は容易に理解されよう。
実施形態は、添付の図面の図示において限定ではなく例として示されている。
実施形態は、添付の図面の図示において限定ではなく例として示されている。
【発明を実施するための形態】
【0005】
本明細書の種々の実施形態は、クロストークをキャンセルし及び／又は１つ以上の仮想スピーカを生成するオーディオプロセッサについて記載する。例えば、オーディオプロセッサは、入力ターミナルと出力オーディオターミナルとの間で、互いに直列に結合されたクロストークキャンセル回路と線形化回路とを含むことができる。クロストークキャンセル回路は、入力信号に基づいて出力ターミナルにクロストークキャンセル信号を提供し、クロストークをキャンセルすることができる。クロストークキャンセル回路は第１周波数応答を有する。線形化回路は第２周波数応答を有し、動作レンジにわたってフラットな（ｆｌａｔ）（例えば１に等しい）、クロストークキャンセル方法のための全体的周波数応答（ｏｖｅｒａｌｌ ｆｒｅｑｕｅｎｃｙ ｒｅｓｐｏｎｓｅ）を提供する。例えば、第２周波数応答は、第１周波数応答の逆数又は逆関数（ｉｎｖｅｒｓｅ）でありうる。したがって、線形化回路とクロストークキャンセル回路との組み合わせは、出力信号に対してクロストークキャンセルを提供しつつ、フラットな周波数応答も提供することができる。
【0006】
付加的に又は代替的に、オーディオプロセッサは仮想スピーカ回路を含むことができる。仮想スピーカ回路は、マルチチャネルリスニング環境の物理チャネルの入力信号を受信することができる。仮想スピーカ回路は、変更されていない入力信号を、物理チャネルに関連する第１出力ターミナルに渡すことができる（例えば、同側出力（ｔｈｅ ｉｐｓｉｌａｔｅｒａｌ ｏｕｔｐｕｔ））。仮想スピーカ回路は、入力信号に基づいて仮想化信号を生成し、仮想化信号を第２物理チャネルに関連する第２出力ターミナルに提供することができる（例えば、反対側出力（ｔｈｅ ｃｏｎｔｒａｌａｔｅｒａｌ ｏｕｔｐｕｔ））。仮想化信号は、後述するように、仮想スピーカの仮想スピーカ位置に対応する同側の頭部伝達関数（ＨＲＴＦ）と反対側のＨＲＴＦに基づいてさらに生成されることができる。したがって、仮想スピーカ方法は、同側の出力にスペクトルアーティファクトをもたらさないことができる。さらに、仮想スピーカ方法はリアルタイムで動作することができ、限られたデジタル信号処理リソースしか必要としないことができ、幅広い製品価格カテゴリに展開することができる。
【0007】
これら及び他の実施形態については、以下でさらに詳細に記載する。
【0008】
この詳細な説明では、本明細書の一部を形成し、実施され得る例示的な実施形態として示される添付の図面を参照する。本発明の範囲から逸脱することなく、他の実施形態を利用することができ、構造的又は論理的な変更を行うことができることを理解されたい。したがって、詳細な説明は、限定的な意味で解釈されるべきではない。
【0009】
実施形態を理解するのに役立つように、種々の動作を複数の個別の動作として順番に記載することができる；ただし、記載の順序は、これらの動作が順序に依存することを意味すると解されるべきではない。
【0010】
説明は、上／下（ｕｐ／ｄｏｗｎ）、後／前（ｂａｃｋ／ｆｒｏｎｔ）、頂部／底部（ｔｏｐ／ｂｏｔｔｏｍ）などの視点ベースの記載を使用することがある。かかる記載は、議論を容易にするために使用されるだけであり、開示された実施形態の適用を制限することを意図するものではない。
【0011】
「結合された（ｃｏｕｐｌｅｄ）」及び「接続された（ｃｏｎｎｅｃｔｅｄ）」という用語は、それらの派生語とともに使用されることができる。これらの用語は、互いに同義語として意図されていないことを理解されたい。むしろ、特定の実施形態では、「接続された」は、２つ以上の要素が互いに物理的又は電気的に直接コンタクトしていることを示すために使用されることができる。「結合」とは、２つ以上の要素が物理的又は電気的に直接コンタクトしていることを意味することができる。しかしながら、「結合」は、２つ以上の要素が互いに直接コンタクトしていないが、それでもなお互いに協働又は相互作用することを意味することもできる。
【0012】
説明の目的で、「Ａ／Ｂ」の形又は「Ａ及び／又はＢ」の形のフレーズは、（Ａ）、（Ｂ）、又は（Ａ及びＢ）を意味する。説明の目的で、「Ａ、Ｂ、及びＣの少なくとも１つ」という形のフレーズは、（Ａ）、（Ｂ）、（Ｃ）、（Ａ及びＢ）、（Ａ及びＣ）、（Ｂ及びＣ）、又は（Ａ、Ｂ及びＣ）を意味する。説明の目的で、「（Ａ）Ｂ」という形の語句は、（Ｂ）又は（ＡＢ）を意味する、つまり、Ａは任意の要素である。
【0013】
説明では、「実施形態」又は「複数の実施形態」という用語を使用することができ、これらはそれぞれ、同じ又は異なる実施形態のうちの１つ以上を指すことができる。さらに、実施形態に関して使用される「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「有する（ｈａｖｉｎｇ）」などの用語は同義語であり、一般に「オープンな」用語として意図されている（例えば、「含む」という用語は「含むが、これに限定されない」と解釈されるべきであり、「有する」という用語は「少なくとも有する」と解釈されるべきであり、「含む」という用語は、「含むがこれに限定されない」などと解釈されるべきである）。
【0014】
本明細書で使用される「回路網」又は「回路」という用語は、１つ以上のソフトウェア又はファームウェアプログラム、組み合わせ論理回路、及び／又は記述された機能を提供する他の適切なコンポーネントを実行する、特定用途向け集積回路（ＡＳＩＣ）、電子回路、プロセッサ（共有、専用又はグループ）及び／又はメモリ（共有、専用又はグループ）を指すか、その一部であるか、又はそれを含むことができる。
【0015】
本明細書における任意の複数及び／又は単数の用語の使用に関して、当業者は、文脈及び／又は適用に適切であるように、複数から単数に及び／又は単数から複数に変換することができる。明確にするために、本明細書では、種々の単数／複数の順列が明示的に示されている場合がある。
【0016】
図１は、種々の実施形態によるオーディオプロセッサ１００を示す。オーディオプロセッサ１００は、入力ターミナル１０２で入力オーディオ信号ｘ［ｎ］を受信し、出力ターミナル１０４で出力オーディオ信号ｙ［ｎ］を生成することができる。オーディオプロセッサ１００は、入力ターミナル１０２と出力ターミナル１０４との間で互いに直列に結合されたクロストークキャンセル回路１０６と線形化回路１０８とを含むことができる。
例えば、いくつかの実施形態では、信号経路に沿って線形化回路１０８の後にクロストークキャンセル回路１０６を（例えば、線形化回路１０８と出力ターミナル１０４のと間に）結合することができる。
例えば、いくつかの実施形態では、信号経路に沿って線形化回路１０８の後にクロストークキャンセル回路１０６を（例えば、線形化回路１０８と出力ターミナル１０４のと間に）結合することができる。
【0017】
いくつかの実施形態では、入力オーディオ信号ｘ［ｎ］は、複数のチャネルを有するオーディオ再生システムの１つのチャネルに対応することができる。オーディオ再生システムは、システムの個々のチャネルにそれぞれ対応するオーディオプロセッサ１００を含むことができる。いくつかの実施形態では、オーディオプロセッサ１００は、左スピーカと右スピーカとを有する２チャネルオーディオシステムに実装することができる。付加的に又は代替的に、オーディオプロセッサ１００は、２つ以上のスピーカを有するマルチチャネルオーディオシステム（例えば、サラウンドサウンドシステム）に実装することもできる。マルチチャネルオーディオシステムは、左右のスピーカと同じ平面に追加のスピーカ（例えば、リスナレベルのスピーカ）、及び／又は１つ以上の他の平面に追加のスピーカ（例えば、高さスピーカ）を含むことができる。
【0018】
種々の実施形態では、異なるチャネルのためのオーディオプロセッサ１００は、いくつかの実施形態では、同じ処理回路（例えば、デジタルシグナルプロセッサ）に実装され、共有コンポーネントを含むことがあるか又は含まないことがある。代替的に又は付加的に、オーディオ再生システムは、１つ以上のそれぞれのチャネルのための個別のオーディオプロセッサを有する複数の集積回路を含むことができる。いくつかの実施形態では、オーディオプロセッサ１００は、入力オーディオ信号をデジタル信号として（例えば、デジタルソースから及び／又はアナログ－デジタル変換器（ＡＤＣ）を介して）受信することができる。出力オーディオ信号を、スピーカに渡す前に、デジタルアナログ（ＤＡＣ）変換器によってアナログオーディオ信号に変換されることができる。
【0019】
様々な実施形態において、クロストークキャンセル回路１０６は、その入力オーディオ信号に基づいて出力オーディオ信号を生成し、オーディオ信号中のクロストークアーティファクトをキャンセルすることができる（例えば、リスナの片方の耳に向けられたサウンドエネルギーが、リスナのもう片方の耳に届かないようにする）。クロストークキャンセル回路１０６は、図２に関して後述するように、非線形周波数応答を有することができる。したがって、クロストークキャンセル回路１０６は出力信号にスペクトルアーティファクトを導入することがある。
【0020】
種々の実施形態では、線形化回路１０８が含まれ、クロストークキャンセル回路１０６の周波数応答をオフセットし、（例えば、クロストークキャンセル回路１０６及び／又は線形化回路１０８の動作範囲にわたって）フラットなオーディオプロセッサ１００の全体的な周波数応答を提供することができる。例えば、線形化回路１０８は、入力オーディオ信号ｘ［ｎ］を事前に歪ませて（ｐｒｅ－ｄｉｓｔｏｒｔ）、クロストークキャンセル回路１０６に提供される中間オーディオ信号ｍ［ｎ］を生成することができる。クロストークキャンセル回路１０６は中間オーディオ信号ｍ［ｎ］を処理して出力オーディオ信号ｙ［ｎ］を生成することができる。線形化回路１０８の周波数応答は、クロストークキャンセル回路１０６の周波数応答の数又は逆関数（ｉｎｖｅｒｓｅ）でありうる。したがって、線形化回路１０８とクロストークキャンセル回路１０６との両方がオーディオ信号を処理すると、全体の周波数応答はフラットになる一方で、所望のクロストークキャンセルを提供することができる。これらの概念は、図２に関して以下にさらに説明する。
【0021】
図２は、種々の実施形態によるオーディオプロセッサ１００に対応することができるオーディオプロセッサ２００を示す。オーディオプロセッサ２００は、入力ターミナル２０２で入力オーディオ信号ｘ［ｎ］を受信し、出力ターミナル２０４で出力オーディオ信号ｙ［ｎ］を提供することができる。前述のように、いくつかの実施形態では、入力オーディオ信号ｘ［ｎ］は、複数のチャネルを有するオーディオ再生システムの１つのチャネルに対応することができる。
【0022】
種々の実施形態において、オーディオプロセッサ２００は、入力ターミナル２０２と出力ターミナル２０４との間に互いに直列に結合された（カスケードとも呼ばれる）クロストークキャンセル回路２０６と線形化回路２０８とを含むことができる。例えば、線形化回路２０８は、図２に示すように、クロストークキャンセル回路２０６よりも信号経路内で早く結合されることができる。線形化回路２０８は、入力オーディオ信号ｘ［ｎ］を受信し、クロストークキャンセル回路２０６に（例えば中間ノード２１６で）提供される中間オーディオ信号ｍ［ｎ］を生成することができる。クロストークキャンセル回路２０６は、中間オーディオ信号ｍ［ｎ］を受信し、出力オーディオ信号ｙ［ｎ］を生成することができる。図２に示すクロストークキャンセル回路２０６は、（例えば、異なる入力チャネル及び／又は出力チャネルに対応する）複数の入力と出力とを含む、より大きなクロストークキャンセル回路の１つの信号経路を示すことができる。
【0023】
種々の実施形態において、クロストークキャンセル回路２０６は、その入力オーディオ信号（例えばｍ［ｎ］）を変更して、クロストークのアーティファクトをキャンセルすることができる。例えば、クロストークキャンセル回路２０６は、出力ターミナル２０４からクロストークキャンセル回路２０６の入力に結合された加算器２１８へのフィードバックループ内で結合された、フィルタ２１０、遅延要素２１２、及び／又は減衰素子２１４を含むことができる。クロストークキャンセル回路２０６のフィードバックループからのフィードバックは、加算器２１８によって入力オーディオ信号から減算され、出力ターミナル２０４で出力オーディオ信号ｙ［ｎ］が生成される。いくつかの実施形態は、追加のフィードバックループ及び／又はクロストークキャンセル回路２０６のフィードバックループ上に追加の又は異なる処理要素を含むことができる。
【0024】
フィルタ２１０、遅延要素２１２、及び／又は減衰要素２１４の値及び／又は構成は、システム構成（例えば、スピーカの数やスピーカーレイアウトなど）、予測、測定、又は決定されたリスナ位置、頭部伝達関数、意図された出力機能などの、任意の適切な要因に基づいて決定することができる。
【0025】
クロストークキャンセル回路２０６を単独（例えば、線形化回路２０８を使用しない場合）で見ると、クロストークキャンセル回路２０６の入力（ｍ［ｎ］）に基づく離散時間ドメインにおけるクロストークキャンセル回路２０６の出力（ｙ［ｎ］）は、式（１）で与えられる：
ここで、Ｋ１は遅延素子２１２の遅延値、ａ１は減衰素子２１４の減衰値、ｈ１［ｎ］はフィルタ２１０のフィルタ関数である。
【数1】
【0026】
式（１）を周波数ドメインに変換し、いくつかの代数的操作を実行すると、式（２）によるクロストークキャンセル回路２０６の周波数応答が得られる：
【数2】
【0027】
したがって、式（２）で示されるように、クロストークキャンセル回路２０６のフィードバックループによって提供されるクロストークキャンセルは、一様でない周波数応答を有する（例えば、スペクトルアーティファクトを導く）。
【0028】
種々の実施形態では、線形化回路２０８は、クロストークキャンセル回路２０６への入力として提供される中間オーディオ信号ｍ［ｎ］を生成し、フィードバックループの周波数効果のバランスをとり、オーディオプロセッサ２００の全体的な周波数応答を均一にする。例えば、線形化回路２０８は、入力ターミナル２０２から中間ノード２１６に結合された加算器２２６へのフィードフォワードループで結合されたフィルタ２２０、遅延素子２２２、及び／又は減衰素子２２４を含むことができる。フィードフォワードループからのフィードフォワード信号は、加算器２２６によって線形化回路２０８の出力に加算され、中間オーディオ信号ｍ［ｎ］が生成される。
【0029】
線形化回路２０８を単独で見ると、線形化回路２０８の出力は式（３）で与えられる：
ここで、Ｋ２は遅延要素２２２の遅延値、ａ２は減衰要素２２４の減衰値、ｈ２［ｎ］はフィルタ２２０のフィルタ関数である。
【数3】
【0030】
式（３）を周波数ドメインに変換し、いくつかの代数的操作を実行すると、式（４）によるフィードフォワードループ２０８の周波数応答が得られる：
【数4】
【0031】
式（２）と式（４）とを組み合わせると、図（５）に示されるオーディオプロセッサ２００の全体的な周波数応答が得られる：
【数5】
【0032】
したがって、次の条件を満たす場合、オーディオプロセッサ２００の全体的な周波数応答は１になることがわかる（すなわち、周波数スペクトルにわたってフラットである）：
【数6】
【0033】
したがって、クロストークキャンセル回路２０６のフィードバックループ及び線形化回路２０８のフィードフォワードループの要素は、式（６）の上記の条件を満たすように設計及び／又は制御することができる。例えば、制御回路（例えば、デジタル信号プロセッサで実装される）は、フィルタ、遅延、減衰の値及び／又はその他の値がフィードバックループ全体で同じになり、フィードフォワードループがフィードバックループと対応するフィードフォワードループとの間で同じになるように制御することができる。
【0034】
オーディオプロセッサ２００は、複数のクロストークキャンセル回路２０６及び線形化回路２０８及び／又は追加の信号経路を含み、複数の入力オーディオ信号（例えば、異なるチャネルに対応する）から出力オーディオ信号を生成することができる。結果として得られるオーディオプロセッサ２００は、フラットな周波数応答を提供しながら、オーディオ信号の音響クロストークをキャンセルする。オーディオプロセッサ２００の要素は、式（６）の条件が残っている限り、任意の所望の遅延、動作の帯域、及び／又は減衰レベル（例えば、フィルタ２１０と２２０、遅延要素２１２と２２２、及び／又は減衰要素２１４と２２４の値を調整することによって）で構成されることができる。
【0035】
前述のように、ここでは仮想スピーカのオーディオ処理方法、及び関連する装置やシステムについても説明する。仮想スピーカ方法は、ステレオ又はマルチチャネル（例えば２チャネル以上）のソースオーディオからの２つ以上の個別のドライブユニット（例えばスピーカ）を含むラウドスピーカーシステム（ｌｏｕｄｓｐｅａｋｅｒ ｓｙｓｔｅｍ）から再生される没入型空間オーディオリスニング環境を作成することができる。マルチチャネルリスニング環境には、環境のそれぞれの物理チャネルに対応する２つ以上の物理スピーカを含むことができる。マルチチャネルリスニング環境は、物理スピーカの位置とは異なるそれぞれの仮想スピーカ位置に関連付けられた１つ以上の仮想スピーカをさらに含むことができる。仮想スピーカは、仮想スピーカ方法によって、１つ以上の物理スピーカに提供されるオーディオ信号を変更することによって、生成されることができ、リスナに仮想出力チャネルがそれぞれの仮想スピーカ位置から到来すると認識させる。種々の実施形態において、物理的なスピーカはヘッドホンスピーカ及び／又はアウトボードスピーカ（ｏｕｔｂｏａｒｄ ｓｐｅａｋｅｒｓ）を含むことができる。
【0036】
種々の実施形態では、ここで記載する線形クロストークキャンセルプロセスに加えて仮想スピーカ方法を実装することができ、スペクトルアーティファクトの無い没入型リスニング環境（ａｎ ｉｍｍｅｒｓｉｖｅ ｌｉｓｔｅｎｉｎｇ ｅｎｖｉｒｏｎｍｅｎｔ）を生成することができる。例えば、図３は、いくつかの実施形態によるオーディオプロセッサ３００を示す。オーディオプロセッサ３００は、入力ターミナル３０２と出力ターミナル３０４との間に結合された線形化回路３０８とクロストークキャンセル回路３０６とを含む。線形化回路３０８及び／又はクロストークキャンセル回路３０６は、ここで説明するそれぞれの線形化回路１０８及び／又は２０８、及び／又は、クロストークキャンセル回路１０６及び／又は２０６に対応することができる。オーディオプロセッサ３００は、オーディオプロセッサ３００の入力ターミナル３０２と線形化回路３０８の入力との間に結合された仮想スピーカ回路３１０をさらに含むことができる。仮想スピーカ回路３１０は、ここで記載する仮想スピーカ方法を実装することができる。
【0037】
あるいは、仮想スピーカ方法は、クロストークキャンセルなしで（例えばヘッドホンで使用する場合）、又はここに記載されているものとは異なるクロストークキャンセル方法と共に実装することもできる。例えば、図４は、入力ターミナル４０２と出力ターミナル４０４との間に直列に結合された仮想スピーカ回路４１０を含むオーディオプロセッサ４００を示す。仮想スピーカ回路４１０は、ここで記載する仮想スピーカ方法を実装できる。
【0038】
仮想スピーカ方法の種々の実施形態では、物理的出力チャネルに関連付けられた所定の入力チャネルについて、仮想スピーカ処理方法による任意の修正なしに（ただし、入力オーディオ信号は、クロストークキャンセルなど、使用され得る他の処理動作によって処理されることはある）、入力オーディオ信号を対応する物理スピーカに渡す又は通過させる（ｐａｓｓｅｄ）ことができる。仮想スピーカは、１つ以上の他の物理スピーカに追加の仮想化オーディオ信号を提供することによって生成されることができる。
【0039】
仮想スピーカ方法は、サラウンドサウンド環境の印象を作り出すために、リスナに心理音響的な手掛かり（ｐｓｙｃｈｏａｃｏｕｓｔｉｃ ｃｕｅｓ）を与える追加の信号処理とともに、着信オーディオストリームに適用される差分フィルタ（ｄｉｆｆｅｒｅｎｃｅ ｆｉｌｔｅｒｓ）を作成することによって動作することができる。この方法は、トランスデューサが物理的に互いに離れている２つの別個にアドレス可能な音響再生チャネルを含む任意の再生デバイス上で実装することができる。
【0040】
例えば、図５は、種々の実施形態による仮想スピーカ方法を実装することができる仮想スピーカ回路５００を示す。いくつかの実施形態では、仮想スピーカ回路５００は、仮想スピーカ回路３１０及び／又は４１０に対応することができる。仮想スピーカ回路５００は、入力ターミナル５０２で入力信号ｘＬ［ｎ］を受信することができる。入力信号ｘＬ［ｎ］は、マルチチャネルリスニング環境の物理チャネル（例えば左スピーカチャネル）に対応することができる。仮想スピーカ回路５００は、入力信号ｘＬ［ｎ］を変更せずに、物理チャネルに対応する第１出力ターミナル５０４に渡すことができる（例えば、物理的なスピーカ及び／又は物理チャネルの後続の処理回路（例えば、線形化回路及び／又はクロストークキャンセル回路）に渡す）。したがって、物理チャネルの出力信号ｙＬ［ｎ］は、物理チャネルの入力信号ｘＬ［ｎ］と同じになる。
【0041】
あるいは、仮想スピーカ回路５００は、入力信号ｘＬ［ｎ］に基づいて仮想化信号ｙＲ［ｎ］を生成し、異なる物理チャネル（例えば、この例では右スピーカチャネル）に対応する第２出力ターミナル５０６に仮想化信号を渡すことができる。仮想化信号は、以下でさらに説明するように、仮想スピーカの仮想スピーカ位置に対応する同側ＨＲＴＦと反対側ＨＲＴＦに基づいてさらに生成されることができる。例えば、いくつかの実施形態では、仮想スピーカ回路５００は、フィルタ５２０、減衰要素５２４、及び／又は遅延要素５２２を含み、それぞれのフィルタリング、減衰、及び遅延を入力信号ｘＬ［ｎ］に提供し、仮想化信号ｙＲ［ｎ］を生成することができる。他の実施形態は、仮想化信号を生成するためのより少ないコンポーネント、追加コンポーネント、及び／又はコンポーネントの異なる配置を含むことができる。
【0042】
図６は、仮想スピーカ方法を実装できるリスニング環境６００を示す。リスニング環境６００は、左スピーカ６０２と右スピーカ６０４を含むことができる。仮想スピーカ方法は、スピーカ６０２及び６０４に対して相対的に配置されたリスニングポジション６０６を考慮することによって実装することができる。例えば、スピーカ６０２及び６０４は、両方のスピーカ６０２及び６０４の基準軸が互いに平行であり、リスニングポジション６０６にあるリスナの鼻先からリスナの後頭部（ｔｈｅ ｂａｃｋ ｏｆ ｔｈｅ ｌｉｓｔｅｎｅｒ’ｓ ｈｅａｄ）まで地面に平行に引かれた仮想線に平行であり、リスニングポジション６０６が両方の音源から等距離にある、ように配置されることができる。着信ステレオオーディオを方位角のみの（ａｚｉｍｕｔｈ－ｏｎｌｙ）空間環境に処理する（例：仰角キュー（ｅｌｅｖａｔｉｏｎ ｃｕｅｓ）が生成されない）。いくつかの実施形態では、他のスピーカ配置及び／又はリスナポジションを実装するために、本方法に修正を加えることができる。例えば、いくつかの実施形態は、仰角キューを有する仮想の高さチャネルを含むことができる。
【0043】
リスニング環境６００では、リスニングポジション６０６は、Ａ点、Ｂ点、Ｃ点、及びＤ点によるコーナーにおいて定義されたボックスの中心に配置されることができる。従来のオーディオ空間化アプローチでは、着信オーディオ（ｉｎｃｏｍｉｎｇ ａｕｄｉｏ）は頭部インパルス応答（ＨＲＩＲ）データとコンボリューションされ、適切な遅延とスペクトルシフトを生成し、それによってオーディオをポジション情報又は位置情報（ｌｏｃａｌｉｚａｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）でエンコードする。この方法の欠点の１つは、処理されたすべてのオーディオにスペクトル変化が生じることである。対照的に、本明細書で記載する仮想スピーカ方法は、任意のスペクトル変化を導入することなく、リスニングポジションにおいて空間化された音場を作成することができる。
【0044】
仮想スピーカ方法は、リスニング環境６００に関して記載され、ステレオ物理スピーカによる再生のためにステレオオーディオ信号を空間化する（ｓｐａｔｉａｌｉｚｅ）。理解しやすいように、着信ステレオオーディオの１つのチャネルに関してプロセスを説明する。着信オーディオのもう一方のチャネルの処理は、チャネル指定を除いて同じである。このプロセスは、（たとえば、追加のプロセスパスを含めるか、及び／又は、空間化信号（ｓｐａｔｉａｌｉｚａｔｉｏｎ ｓｉｇｎａｌｓ）を複数の物理スピーカに分散させる方法を変更することにより、）２つ以上の物理スピーカで使用されることもできる。
【0045】
仮想化の１つの方法では、左側の着信時間ドメインオーディオチャネルｘＬは、所望の左側位置：同側（ｈＬＬ）及び反対側（ｈＬＲ）に対応するＨＲＩＲの２つのチャネルとコンボリューションされる。その結果は２つの出力信号であり、１つは再生システムの左チャネル（ｙＬ）に送られ、１つは再生システムの右チャネル（ｙＲ）に送られる：
【数7】
【0046】
式（７）を周波数ドメインに変換すると、式（８）が得られる：
【数8】
【0047】
式（８）を並べ替えると、同側出力に関して反対側出力の式を得ることができる：
【数9】
【0048】
式（９）の最終形は、反対側の出力信号によって与えられる心理音響位置効果が、周波数ドメインにおける同側と反対側の頭部伝達関数（ＨＲＴＦ）の差によって変更された、同側出力信号の線形関数であること、を示している。ここでの種々の実施形態に従って、仮想スピーカプロセスの同側出力は、変更されていない入力チャネルである。
【0049】
したがって、式（９）に基づいて反対側の出力を生成することができる。例えば、仮想スピーカ方法の同側出力と反対側出力は次のようになる：
したがって、種々の実施形態において、空間化された信号は、意図された位置起点（ｌｏｃａｌｉｚａｔｉｏｎ ｏｒｉｇｉｎｓ）に対応する２つのＨＲＴＦの比に等しいフィルタを適用することによって（例えば図５のフィルタ５２０によって適用される）、任意のリスニング次元にわたってソースオーディオから任意に生成されることができる。再び図６を参照すると、サイドツーサイド（ＳＴＳ）プロセス６０８を適用して、Ａ－Ｂ次元で入力オーディオを空間化することができる。付加的に又は代替的に、Ａ－Ｃ次元で入力オーディオを空間化するために、フロントツーバック（ＦＴＢ）プロセス６１０を適用することもできる。プロセス６０８及び／又は６１０は、適切な位置キュー又は手掛り（ｔｈｅ ｐｒｏｐｅｒ ｌｏｃａｌｉｚａｔｉｏｎ ｃｕｅｓ）を作成するために、（例えば、図５に示すように）遅延、減衰、位相調整などの追加の信号処理要素を含むことができる。位相調整は、例えば、１つ以上のオールパスフィルタを使用して、フィルタ５２０によって提供されることができる。
【数10】
【0050】
いくつかの実施形態は、ＳＴＳプロセス６０８及び／又はＦＴＢプロセス６１０に加えて又はその代えて、１つ以上の他の次元の空間化プロセスを含むことができる。例えば、いくつかの実施形態は、付加的又は代替的に、入力オーディオを垂直方向に空間化するための仰角プロセス、及び／又は、入力オーディオを対角方向に空間化するための対角空間化プロセス（ｄｉａｇｏｎａｌ ｓｐａｔｉａｌｉｚａｔｉｏｎ ｐｒｏｃｅｓｓ）を含むことができる。
【0051】
種々の実施形態では、ここに記載されているクロストークキャンセル方法及び／又は仮想スピーカ方法は、任意の適切なオーディオ再生システムに実装することができる。図７は、クロストークキャンセル方法及び／又は仮想スピーカ方法を実装できるオーディオプロセッサ回路７０２を含むシステム７００の一例を模式的に図示する。例えば、オーディオプロセッサ回路７０２は、ここで記載するオーディオプロセッサ１００，２００，３００及び／又は４００、及び／又は、仮想スピーカ回路５００を含むことができる。
【0052】
種々の実施形態では、システム７００はマルチチャネル入力オーディオ信号であり得る入力オーディオ信号を受信することができる。入力オーディオ信号は、デジタル及び／又はアナログ形式で受信できる。入力オーディオ信号は、システム７００の別の構成要素（例えば、メディアプレーヤ及び／又はストレージデバイス）から、及び／又は、システム７００と通信可能に結合された別のデバイス（例えば有線接続（例えば、ユニバーサルシリアルバス（ＵＳＢ）、光デジタル、同軸デジタル、高品位メディア相互接続（ＨＤＭＩ（登録商標））、有線ローカルエリアネットワーク（ＬＡＮ）など）及び／又は無線接続（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ワイヤレスローカルエリアネットワーク（ＷｉＦｉなどのＷＬＡＮ）、セルラーなど）経由）から受信され得る。
【0053】
種々の実施形態において、オーディオプロセッサ回路７０２は出力オーディオ信号を生成し、出力オーディオ信号を増幅回路７０４に渡すことができる。オーディオプロセッサ回路７０２は、ここで説明する（１つ以上の）クロストークキャンセル回路及び／又は（１つ以上の）仮想スピーカ回路を実装して、それぞれクロストークキャンセルを提供し及び／又は（１つ以上の）仮想スピーカを生成することができる。出力オーディオ信号は、２つ以上の出力チャネルを有するマルチチャネルオーディオ信号であることができる。
【0054】
増幅回路７０４は、有線及び／又は無線接続を介してオーディオプロセッサ回路７０２からの出力オーディオ信号を受信することができる。増幅回路７０４は、オーディオプロセッサ回路７０２から受信した出力オーディオ信号を増幅し、増幅されたオーディオ信号を生成することができる。増幅回路７０４は、増幅されたオーディオ信号を複数の物理スピーカ７０６に渡すことができる。スピーカ７０６は、増幅されたオーディオ信号に基づいて可聴音を生成するのに適した任意のオーディオ出力デバイス、例えば、アウトボードスピーカ及び／又はヘッドホンスピーカを含むことができる。スピーカ７０６は、増幅回路から増幅されたオーディオ信号を受信するためのスタンドアロンスピーカであることができ、及び／又は、増幅回路７０４及び／又はオーディオプロセッサ回路７０２も含むデバイスに統合されることができる。例えば、スピーカ７０６は、増幅回路７０４を含まないパッシブスピーカ及び／又は同じデバイスに統合された増幅回路７０４を含むアクティブスピーカであることができる。
【0055】
一実施例では、スピーカ７０６は、例えば、リスナの左耳にオーディオを提供する左スピーカと、リスナの右耳にオーディオを提供する右スピーカとを備えたヘッドホンスピーカであることができる。ヘッドホンは、有線及び／又は無線インターフェイスを介して入力オーディオを受信することができる。ヘッドホンはオーディオ増幅器７０４（例えば、無線インターフェイスからのオーディオ再生）を含むことも、又は、含まないこともできる。いくつかの実施形態では、ヘッドホンは、ここで説明する仮想スピーカ方法を適用するためにオーディオプロセッサ回路７０２を含むことができる。あるいは、仮想スピーカ方法を適用した後、ヘッドホンが別のデバイスから処理済みのオーディオを受信することができる。
【0056】
種々の実施形態において、システム７００の一部又は全ての要素は、携帯電話、コンピュータ、オーディオ／ビデオ受信器、集積アンプ、スタンドアロンオーディオプロセッサ（オーディオ／ビデオプロセッサを含む）、パワードスピーカ（例えばスマートスピーカ又は非スマートパワードスピーカ）、ヘッドホン、アウトボードＵＳＢ ＤＡＣデバイスなど、任意の適切なデバイスに含まれることができる。
【0057】
種々の実施形態において、オーディオプロセッサ回路７０２は、１つ以上のデジタル信号プロセッサ回路などの１つ以上の集積回路を含むことができる。付加的に又は代替的に、システム７００は、１つ以上のプロセッサ、メモリ（例えば、ランダムアクセスメモリ（ＲＡＭ）、大容量記憶装置（例えば、フラッシュメモリ、ハードディスクドライブ（ＨＤＤ）など）、アンテナ、ディスプレイなどの、１つ以上の追加コンポーネントを含むことができる。
【0058】
ここでは、特定の実施形態が例示され説明されているが、同じ目的を達成するために計算された多種多様な代替的及び／又は均等な実施形態又は実装が、本発明の技術的範囲から逸脱することなく、示され説明された実施形態の代わりに使用できることは、当業者には理解されるであろう。当業者は、実施形態が非常に多種多様な方法で実装され得ることを容易に理解するであろう。本出願は、本明細書に記載されている実施形態のあらゆる適応又は変形を対象とすることを意図している。したがって、実施形態は特許請求の範囲及びその均等物によってのみ制限されることが明白に意図されている。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【国際調査報告】