特表2022-551873スペクトル直交オーディオ成分を用いたサブバンド空間処理およびクロストーク処理
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-12-14
(54)【発明の名称】スペクトル直交オーディオ成分を用いたサブバンド空間処理およびクロストーク処理
(51)【国際特許分類】
H04S 1/00 20060101AFI20221207BHJP
H04S 7/00 20060101ALI20221207BHJP
【ＦＩ】
H04S1/00 200
H04S7/00 300
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022521288
(86)(22)【出願日】2020-08-10
(85)【翻訳文提出日】2022-06-08
(86)【国際出願番号】 US2020045670
(87)【国際公開番号】W WO2021071577
(87)【国際公開日】2021-04-15
(31)【優先権主張番号】62/939,364
(32)【優先日】2019-11-22
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/983,827
(32)【優先日】2020-08-03
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/913,661
(32)【優先日】2019-10-10
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/983,817
(32)【優先日】2020-08-03
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】518253875
【氏名又は名称】ブームクラウド ３６０ インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】ザッカリー セルデス
【テーマコード（参考）】
5D162
【Ｆターム（参考）】
5D162AA04
5D162BA17
5D162DA22
5D162DA28
5D162EA02
(57)【要約】
システムは、スペクトル直交サウンド成分を使用して、オーディオ信号を処理する。システムは、オーディオ信号の左チャンネルおよび右チャンネルから、ミッド成分と、サイド成分とを生成する回路を含む。回路は、ミッド成分のスペクトルエネルギーから除去された、サイド成分のスペクトルエネルギーを含む、ハイパーミッド成分を生成し、ミッド成分のスペクトルエネルギーから分離したハイパーミッド成分のスペクトルエネルギーを含む残差ミッド成分を生成する。回路は、サブバンド空間処理を適用するように、残差ミッド成分のサブバンドをフィルタリングする。回路は、残差ミッド成分のフィルタリングされたサブバンドを使用して左出力チャネルおよび右出力チャネルを生成する。
【特許請求の範囲】
【請求項1】
システムであって、回路であって、
オーディオ信号の左チャンネルおよび右チャンネルから、ミッド成分と、サイド成分とを生成し、
前記ミッド成分のスペクトルエネルギーから除去された、前記サイド成分のスペクトルエネルギーを含む、ハイパーミッド成分を生成し、
前記ミッド成分の前記スペクトルエネルギーから除去された、前記ハイパーミッド成分のスペクトルエネルギーを含む、残差ミッド成分を生成し、
前記残差ミッド成分のサブバンドをフィルタリングし、
前記残差ミッド成分の前記フィルタリングされたサブバンドを使用して、左出力チャンネルと、右出力チャンネルとを生成する
ように構成された回路
を備えるシステム。
【請求項2】
前記残差ミッド成分の前記サブバンドの各々は、クリティカルバンドのセットを含む請求項１に記載のシステム。
【請求項3】
前記回路は、前記サイド成分の前記スペクトルエネルギーから除去された、前記ミッド成分の前記スペクトルエネルギーを含む、ハイパーサイド成分を生成し、
前記サイド成分の前記スペクトルエネルギーから除去された、前記ハイパーサイド成分の前記スペクトルエネルギーを含む、残差サイド成分を生成し、
前記残差サイド成分のサブバンドをフィルタリングし、
前記残差サイド成分の前記フィルタリングされたサブバンドを使用して、前記左出力チャンネルと、前記右出力チャンネルとを生成する
ようにさらに構成される請求項１に記載のシステム。
【請求項4】
前記回路は、前記サイド成分の前記スペクトルエネルギーから除去された、前記ミッド成分の前記スペクトルエネルギーを含む、ハイパーサイド成分を生成し、
前記ハイパーサイド成分のサブバンドをフィルタリングし、
前記ハイパーサイド成分の前記フィルタリングされたサブバンドを使用して、前記左出力チャンネルと、前記右出力チャンネルとを生成する
ようにさらに構成される請求項１に記載のシステム。
【請求項5】
前記回路は、前記サイド成分のサブバンドをフィルタリングし、
前記サイド成分の前記フィルタリングされたサブバンドを使用して、前記左出力チャンネルと、前記右出力チャンネルとを生成する
ようにさらに構成される請求項１に記載のシステム。
【請求項6】
前記回路は、前記ハイパーミッド成分のサブバンドをフィルタリングし、
前記ハイパーミッド成分の前記フィルタリングされたサブバンドを使用して、前記左出力チャンネルと、前記右出力チャンネルとを生成する
ようにさらに構成される請求項１に記載のシステム。
【請求項7】
前記回路は、前記オーディオ信号にクロストーク処理を適用するようにさらに構成され、前記クロストーク処理は、クロストークキャンセレーション、またはクロストークシミュレーションの一方を含む請求項１に記載のシステム。
【請求項8】
前記回路は、前記クロストーク処理によって引き起こされた、スペクトル不良を補償するために、前記ハイパーミッド成分をフィルタリングするようにさらに構成される請求項７に記載のシステム。
【請求項9】
前記回路は、前記クロストーク処理によって引き起こされた、スペクトル不良を補償するために、前記残差ミッド成分をフィルタリングするようにさらに構成される請求項７に記載のシステム。
【請求項10】
前記回路は、前記クロストーク処理によって引き起こされた、スペクトル不良を補償するために、前記ミッド成分をフィルタリングするようにさらに構成される請求項７に記載のシステム。
【請求項11】
前記回路は、前記サイド成分の前記スペクトルエネルギーから除去された、前記ミッド成分の前記スペクトルエネルギーを含む、ハイパーサイド成分を生成し、
前記クロストーク処理によって引き起こされた、スペクトル不良を補償するために、前記ハイパーサイド成分をフィルタリングする
ようにさらに構成される請求項７に記載のシステム。
【請求項12】
前記回路は、前記サイド成分の前記スペクトルエネルギーから除去された、前記ハイパーサイド成分の前記スペクトルエネルギーを含む、残差サイド成分を生成し、
前記クロストーク処理によって引き起こされた、スペクトル不良を補償するために、前記残差サイド成分をフィルタリングする
ようにさらに構成される請求項７に記載のシステム。
【請求項13】
前記回路は、前記クロストーク処理によって引き起こされた、スペクトル不良を補償するために、前記サイド成分をフィルタリングするようにさらに構成される請求項７に記載のシステム。
【請求項14】
記憶されたプログラムコードを備える、非一時的なコンピュータ可読媒体であって、前記プログラムコードは、少なくとも１つのプロセッサによって実行されたとき、オーディオ信号の左チャンネルおよび右チャンネルから、ミッド成分と、サイド成分とを生成し、
前記ミッド成分のスペクトルエネルギーから除去された、前記サイド成分のスペクトルエネルギーを含む、ハイパーミッド成分を生成し、
前記ミッド成分の前記スペクトルエネルギーから除去された、前記ハイパーミッド成分のスペクトルエネルギーを含む、残差ミッド成分を生成し、
前記残差ミッド成分のサブバンドをフィルタリングし、
残差ミッド成分の前記フィルタリングされたサブバンドを使用して、左出力チャンネルと、右出力チャンネルとを生成する
ように、前記少なくとも１つのプロセッサを構成する非一時的なコンピュータ可読媒体。
【請求項15】
前記残差ミッド成分の前記サブバンドの各々は、クリティカルバンドのセットを含む請求項１４に記載の非一時的なコンピュータ可読媒体。
【請求項16】
前記プログラムコードは、前記サイド成分の前記スペクトルエネルギーから除去された、前記ミッド成分の前記スペクトルエネルギーを含む、ハイパーサイド成分を生成し、
前記サイド成分の前記スペクトルエネルギーから除去された、前記ハイパーサイド成分の前記スペクトルエネルギーを含む、残差サイド成分を生成し、
前記残差サイド成分のサブバンドをフィルタリングし、
前記残差サイド成分の前記フィルタリングされたサブバンドを使用して、前記左出力チャンネルと、前記右出力チャンネルとを生成する
ように、前記少なくとも１つのプロセッサをさらに構成する請求項１４に記載の非一時的なコンピュータ可読媒体。
【請求項17】
前記プログラムコードは、前記サイド成分の前記スペクトルエネルギーから除去された、前記ミッド成分の前記スペクトルエネルギーを含む、ハイパーサイド成分を生成し、
前記ハイパーサイド成分のサブバンドをフィルタリングし、
前記ハイパーサイド成分の前記フィルタリングされたサブバンドを使用して、前記左出力チャンネルと、前記右出力チャンネルとを生成する
ように、前記少なくとも１つのプロセッサをさらに構成する請求項１４に記載の非一時的なコンピュータ可読媒体。
【請求項18】
前記プログラムコードは、前記サイド成分のサブバンドをフィルタリングし、
前記サイド成分の前記フィルタリングされたサブバンドを使用して、前記左出力チャンネルと、前記右出力チャンネルとを生成する
ように、前記少なくとも１つのプロセッサをさらに構成する請求項１４に記載の非一時的なコンピュータ可読媒体。
【請求項19】
前記プログラムコードは、前記ハイパーミッド成分のサブバンドをフィルタリングし、
前記ハイパーミッド成分の前記フィルタリングされたサブバンドを使用して、前記左出力チャンネルと、前記右出力チャンネルとを生成する
ように、前記少なくとも１つのプロセッサをさらに構成する請求項１４に記載の非一時的なコンピュータ可読媒体。
【請求項20】
前記プログラムコードは、前記オーディオ信号にクロストーク処理を適用するように、前記少なくとも１つのプロセッサをさらに構成し、前記クロストーク処理は、クロストークキャンセレーション、またはクロストークシミュレーションの一方を含む請求項１４に記載の非一時的なコンピュータ可読媒体。
【請求項21】
前記プログラムコードは、前記クロストーク処理によって引き起こされた、スペクトル不良を補償するために、前記ハイパーミッド成分をフィルタリングするように、前記少なくとも１つのプロセッサをさらに構成する請求項２０に記載の非一時的なコンピュータ可読媒体。
【請求項22】
前記プログラムコードは、前記クロストーク処理によって引き起こされた、スペクトル不良を補償するために、前記残差ミッド成分をフィルタリングするように、前記少なくとも１つのプロセッサをさらに構成する請求項２０に記載の非一時的なコンピュータ可読媒体。
【請求項23】
前記プログラムコードは、前記クロストーク処理によって引き起こされた、スペクトル不良を補償するために、前記ミッド成分をフィルタリングするように、前記少なくとも１つのプロセッサをさらに構成する請求項２０に記載の非一時的なコンピュータ可読媒体。
【請求項24】
前記プログラムコードは、前記サイド成分の前記スペクトルエネルギーから除去された、前記ミッド成分の前記スペクトルエネルギーを含む、ハイパーサイド成分を生成し、
前記クロストーク処理によって引き起こされた、スペクトル不良を補償するために、前記ハイパーサイド成分をフィルタリングする
ように、前記少なくとも１つのプロセッサをさらに構成する請求項２０に記載の非一時的なコンピュータ可読媒体。
【請求項25】
前記プログラムコードは、前記サイド成分の前記スペクトルエネルギーから除去された、前記ハイパーサイド成分の前記スペクトルエネルギーを含む、残差サイド成分を生成し、
前記クロストーク処理によって引き起こされた、スペクトル不良を補償するために、前記残差サイド成分をフィルタリングする
ように、前記少なくとも１つのプロセッサをさらに構成する請求項２０に記載の非一時的なコンピュータ可読媒体。
【請求項26】
前記プログラムコードは、前記クロストーク処理によって引き起こされた、スペクトル不良を補償するために、前記サイド成分をフィルタリングするように、前記少なくとも１つのプロセッサをさらに構成する請求項２０に記載の非一時的なコンピュータ可読媒体。
【請求項27】
回路によって、オーディオ信号の左チャンネルおよび右チャンネルから、ミッド成分と、サイド成分とを生成するステップと、
前記ミッド成分のスペクトルエネルギーから除去された、前記サイド成分のスペクトルエネルギーを含む、ハイパーミッド成分を生成するステップと、
前記ミッド成分の前記スペクトルエネルギーから除去された、前記ハイパーミッド成分のスペクトルエネルギーを含む、残差ミッド成分を生成するステップと、
前記残差ミッド成分のサブバンドをフィルタリングするステップと、
残差ミッド成分の前記フィルタリングされたサブバンドを使用して、左出力チャンネルと、右出力チャンネルとを生成するステップと
を含む方法。
【請求項28】
前記残差ミッド成分の前記サブバンドの各々は、クリティカルバンドのセットを含む請求項２７に記載の方法。
【請求項29】
前記回路によって、前記サイド成分の前記スペクトルエネルギーから除去された、前記ミッド成分の前記スペクトルエネルギーを含む、ハイパーサイド成分を生成するステップと、
前記サイド成分の前記スペクトルエネルギーから除去された、前記ハイパーサイド成分の前記スペクトルエネルギーを含む、残差サイド成分を生成するステップと、
前記残差サイド成分のサブバンドをフィルタリングするステップと、
前記残差サイド成分の前記フィルタリングされたサブバンドを使用して、前記左出力チャンネルと、前記右出力チャンネルとを生成するステップと
をさらに含む請求項２７に記載の方法。
【請求項30】
前記回路によって、前記サイド成分の前記スペクトルエネルギーから除去された、前記ミッド成分の前記スペクトルエネルギーを含む、ハイパーサイド成分を生成するステップと、
前記ハイパーサイド成分のサブバンドをフィルタリングするステップと、
前記ハイパーサイド成分の前記フィルタリングされたサブバンドを使用して、前記左出力チャンネルと、前記右出力チャンネルとを生成するステップと
をさらに含む請求項２７に記載の方法。
【請求項31】
前記回路によって、前記サイド成分のサブバンドをフィルタリングするステップと、
前記サイド成分の前記フィルタリングされたサブバンドを使用して、前記左出力チャンネルと、前記右出力チャンネルとを生成するステップと
をさらに含む請求項２７に記載の方法。
【請求項32】
前記回路によって、前記ハイパーミッド成分のサブバンドをフィルタリングするステップと、
前記ハイパーミッド成分の前記フィルタリングされたサブバンドを使用して、前記左出力チャンネルと、前記右出力チャンネルとを生成するステップと
をさらに含む請求項２７に記載の方法。
【請求項33】
前記回路によって、前記オーディオ信号にクロストーク処理を適用するステップをさらに含み、前記クロストーク処理は、クロストークキャンセレーション、またはクロストークシミュレーションの一方を含む請求項２７に記載の方法。
【請求項34】
前記回路によって、前記クロストーク処理によって引き起こされた、スペクトル不良を補償するために、前記ハイパーミッド成分をフィルタリングするステップをさらに含む請求項３３に記載の方法。
【請求項35】
前記回路によって、前記クロストーク処理によって引き起こされた、スペクトル不良を補償するために、前記残差ミッド成分をフィルタリングするステップをさらに含む請求項３３に記載の方法。
【請求項36】
前記回路によって、前記クロストーク処理によって引き起こされた、スペクトル不良を補償するために、前記ミッド成分をフィルタリングするステップをさらに含む請求項３３に記載の方法。
【請求項37】
前記回路によって、前記サイド成分の前記スペクトルエネルギーから除去された、前記ミッド成分の前記スペクトルエネルギーを含む、ハイパーサイド成分を生成するステップと、
前記クロストーク処理によって引き起こされた、スペクトル不良を補償するために、前記ハイパーサイド成分をフィルタリングするステップと
をさらに含む請求項３３に記載の方法。
【請求項38】
前記回路によって、前記サイド成分の前記スペクトルエネルギーから除去された、前記ハイパーサイド成分の前記スペクトルエネルギーを含む、残差サイド成分を生成するステップと、
前記クロストーク処理によって引き起こされた、スペクトル不良を補償するために、前記残差サイド成分をフィルタリングするステップと
をさらに含む請求項３３に記載の方法。
【請求項39】
前記回路によって、前記クロストーク処理によって引き起こされた、スペクトル不良を補償するために、前記サイド成分をフィルタリングするステップをさらに含む請求項３３に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に、オーディオ処理に関し、より詳細には、空間オーディオ処理に関する。
【背景技術】
【0002】
概念的に、左－右ステレオ信号のサイド（または「空間」）成分は、空間情報を含む左チャンネルおよび右チャンネルの部分（すなわち、音場における中央の左または右のどこかに現れる、ステレオ信号におけるサウンド）と考えることができる。反対に、左－右のステレオ信号のミッド（または「非空間」）成分は、非空間情報を含む左チャンネルおよび右チャンネルの部分（すなわち、（音場の中央に現れる、ステレオ信号におけるサウンド）と考えることができる。ミッド成分は、非空間的と知覚される、ステレオ信号におけるエネルギーを含むが、それは、一般に、音場の中央に知覚的に配置されない、ステレオ信号における要素からのエネルギーも有する。同様に、サイド成分は、空間的と知覚される、ステレオ信号におけるエネルギーを含むが、それは、一般に、音場の中央に知覚的に配置された、ステレオ信号における要素からのエネルギーも有する。オーディオを処理する際の可能性の範囲を拡張するために、互いにスペクトル的に「直交」する、ミッド成分およびサイド成分の部分を分離し、操作することが、望ましい。
【発明の概要】
【0003】
実施形態は、ステレオオーディオ信号または他のマルチチャンネルオーディオ信号の、ハイパーミッド成分、ハイパーサイド成分、残差ミッド成分、または残差サイド成分など、スペクトル直交オーディオ成分を使用する空間オーディオ処理に関する。空間オーディオ処理は、空間検出性を高めるサブバンド空間処理、またはオーディオ信号に適用されたクロストーク処理に起因するスペクトル不良を補償するクロストーク補償処理を含み得る。クロストーク処理は、クロストークキャンセレーション、またはクロストークシミュレーションを含み得る。
【0004】
いくつかの実施形態は、オーディオ信号を処理するためのシステムを含む。システムは、オーディオ信号の左チャンネルおよび右チャンネルから、ミッド成分と、サイド成分とを生成する回路を含む。回路は、ミッド成分のスペクトルエネルギーから除去された、サイド成分のスペクトルエネルギーを含むハイパーミッド成分を生成し、ミッド成分のスペクトルエネルギーから除去された、ハイパーミッド成分のスペクトルエネルギーを含む残差ミッド成分を生成する。回路は、サブバンド空間処理を適用するなどのために、残差ミッド成分のサブバンドをフィルタリングする。回路は、残差ミッド成分のフィルタリングされたサブバンドを使用して、左出力チャンネルと、右出力チャンネルとを生成する。
【0005】
いくつかの実施形態においては、残差ミッド成分のサブバンドの各々は、クリティカルバンドのセットを含む。
【0006】
いくつかの実施形態において、回路は、サイド成分のスペクトルエネルギーから除去された、ミッド成分のスペクトルエネルギーを含むハイパーサイド成分を生成し、サイド成分のスペクトルエネルギーから除去された、ハイパーサイド成分のスペクトルエネルギーを含む残差サイド成分を生成し、残差サイド成分のサブバンドをフィルタリングし、残差サイド成分のフィルタリングされたサブバンドを使用して、左出力チャンネルと、右出力チャンネルとを生成する。
【0007】
いくつかの実施形態において、回路は、サイド成分のスペクトルエネルギーから除去された、ミッド成分のスペクトルエネルギーを含むハイパーサイド成分を生成し、ハイパーサイド成分のサブバンドをフィルタリングし、ハイパーサイド成分のフィルタリングされたサブバンドを使用して、左出力チャンネルと、右出力チャンネルとを生成する。
【0008】
いくつかの実施形態においては、回路は、サイド成分のサブバンドをフィルタリングし、サイド成分のフィルタリングされたサブバンドを使用して、左出力チャンネルと、右出力チャンネルとを生成する。
【0009】
いくつかの実施形態においては、回路は、ハイパーミッド成分のサブバンドをフィルタリングし、ハイパーミッド成分のフィルタリングされたサブバンドを使用して、左出力チャンネルと、右出力チャンネルとを生成する。
【0010】
いくつかの実施形態においては、回路は、オーディオ信号にクロストーク処理を適用する。クロストーク処理は、クロストークキャンセレーション、またはクロストークシミュレーションを含む。いくつかの実施形態においては、回路は、クロストーク処理によって引き起こされた、スペクトル不良を補償するためにハイパーミッド成分をフィルタリングする。いくつかの実施形態においては、回路は、クロストーク処理によって引き起こされたスペクトル不良を補償するために、残差ミッド成分をフィルタリングする。いくつかの実施形態においては、回路は、クロストーク処理によって引き起こされたスペクトル不良を補償するためにミッド成分をフィルタリングする。いくつかの実施形態においては、回路は、サイド成分のスペクトルエネルギーから除去された、ミッド成分のスペクトルエネルギーを含むハイパーサイド成分を生成し、クロストーク処理によって引き起こされたスペクトル不良を補償するために、ハイパーサイド成分をフィルタリングする。いくつかの実施形態においては、回路は、サイド成分のスペクトルエネルギーから除去された、ハイパーサイド成分のスペクトルエネルギーを含む、残差サイド成分を生成し、クロストーク処理によって引き起こされたスペクトル不良を補償するために残差サイド成分をフィルタリングする。いくつかの実施形態においては、回路は、クロストーク処理によって引き起こされたスペクトル不良を補償するためにサイド成分をフィルタリングする。
【0011】
いくつかの実施形態は、記憶されたプログラムコードを含む、非一時的なコンピュータ可読媒体を含む。プログラムコードは、少なくとも１つのプロセッサによって実行されたとき、オーディオ信号の左チャンネルおよび右チャンネルから、ミッド成分と、サイド成分とを生成し、ミッド成分のスペクトルエネルギーから除去された、サイド成分のスペクトルエネルギーを含む、ハイパーミッド成分を生成し、ミッド成分のスペクトルエネルギーから除去された、ハイパーミッド成分のスペクトルエネルギーを含む、残差ミッド成分を生成し、残差ミッド成分のサブバンドをフィルタリングし、残差ミッド成分のフィルタリングされたサブバンドを使用して、左出力チャンネルと、右出力チャンネルとを生成するように、少なくとも１つのプロセッサを構成する。
【0012】
いくつかの実施形態は、回路によって実行される方法を含む。方法は、オーディオ信号の左チャンネルおよび右チャンネルから、ミッド成分と、サイド成分とを生成するステップと、ミッド成分のスペクトルエネルギーから除去された、サイド成分のスペクトルエネルギーを含むハイパーミッド成分を生成するステップと、ミッド成分のスペクトルエネルギーから除去された、ハイパーミッド成分のスペクトルエネルギーを含む残差ミッド成分を生成するステップと、残差ミッド成分のサブバンドをフィルタリングするステップと、残差ミッド成分のフィルタリングされたサブバンドを使用して、左出力チャンネルと、右出力チャンネルとを生成するステップとを含む。
【図面の簡単な説明】
【0013】
開示された実施形態は、詳細な説明、添付の特許請求の範囲、および添付の図（または図面）からより容易に明らかとなる、他の利点および特徴を有する。図の簡単な紹介は、以下の通りである。
【図8】図８は、１つまたは複数の実施形態による、ハイパーミッド成分、残差ミッド成分、ハイパーサイド成分、または残差サイド成分のうちの少なくとも１つを使用する、空間処理のためのプロセスのフローチャートである。
【発明を実施するための形態】
【0014】
図および以下の説明は、例示としてのみ、好ましい実施形態に関する。以下の説明から、本明細書において開示される構造および方法の代替的な実施形態は、特許請求されるものの原理から逸脱することなく利用され得る、実行可能な代案として容易に認識されることが、留意されるべきである。
【0015】
今から、その例が添付の図に例示された、いくつかの実施形態に対する言及が、詳細に行われる。実行可能なときは常に、類似または同様の参照番号が、図において使用され得、類似または同様の機能性を示し得ることが、留意される。図は、例示の目的でのみ、開示されるシステム（または方法）の実施形態を示している。当業者は、以下の説明から、本明細書に例示された構造および方法の代替的な実施形態が、本明細書において説明される原理から逸脱することなく、利用され得ることを容易に認識するであろう。
【0016】
実施形態は、互いにスペクトル的に直交する、ミッド成分およびサイド成分を使用する、空間オーディオ処理に関する。例えば、オーディオ処理システムは、音場の中央に存在するスペクトルエネルギーだけに対応する、ミッド成分の部分を分離した、ハイパーミッド成分、または音場の中央に存在しないスペクトルエネルギーだけに対応する、サイド成分の部分を分離した、ハイパーサイド成分を生成する。ハイパーミッド成分は、ミッド成分のスペクトルエネルギーから除去された、サイド成分のスペクトルエネルギーを含み、ハイパーサイド成分は、サイド成分のスペクトルエネルギーから除去された、ミッド成分のスペクトルエネルギーを含む。オーディオ処理システムは、（例えば、ミッド成分のスペクトルエネルギーから、ハイパーミッド成分のスペクトルエネルギーを減算することによって）ハイパーミッド成分が除去された、ミッド成分のスペクトルエネルギーに対応する、残差ミッド成分、または（例えば、サイド成分のスペクトルエネルギーから、ハイパーサイド成分のスペクトルエネルギーを減算することによって）ハイパーミッド成分が除去された、サイド成分のスペクトルエネルギーに対応する、残差サイド成分も生成し得る。これらの直交成分を分離し、これらの成分を使用して、様々なタイプのオーディオ処理を実行することによって、オーディオ処理システムは、オーディオコンテンツの目標とされるエンハンスメントを提供することができる。ハイパーミッド成分は、音場の中央における非空間的（すなわち、ミッド）スペクトルエネルギーを表す。例えば、音場の中央における非空間的スペクトルエネルギーは、映画のダイアログ、または音楽における主要ボーカルコンテンツを含み得る。ハイパーミッドに対して信号処理操作を適用することは、音場内の他のどこかに存在するスペクトルエネルギーを変化させることなく、そのようなオーディオコンテンツの調整を可能にする。例えば、いくつかの実施形態においては、ボーカルコンテンツは、典型的な人間の声域におけるスペクトルエネルギーを減少させる、ハイパーミッド成分にフィルタを適用することによって、部分的および／または完全に除去され得る。他の実施形態においては、ボーカルコンテンツに対する目標とされるエンハンスメントまたはエフェクトが、（例えば、圧縮、リバーブ、および／または他のオーディオ処理技法を介して）典型的な人間の声域におけるエネルギーを増加させるフィルタによって、適用され得る。残差ミッド成分は、音場の真ん中にない非空間的スペクトルエネルギーを表す。残差ミッドに対して信号処理技法を適用することは、類似の変換が、他の成分と直交して行われることを可能にする。例えば、いくつかの実施形態においては、全体的な知覚されるゲインの最小限の変化と、ボーカルプレゼンスの最小限の損失で、オーディオコンテンツに対して空間的広がりエフェクトを提供するために、残差サイド成分におけるスペクトルエネルギーは、増加させながら、残差ミッド成分における目標とされるスペクトルエネルギーは、部分的および／または完全に除去され得る。
【0017】
例示的なオーディオ処理システム
図１は、１つまたは複数の実施形態による、オーディオ処理システム１００のブロック図である。オーディオ処理システム１００は、空間的に増強された出力オーディオ信号を生成するために、入力オーディオ信号を処理する回路である。入力オーディオ信号は、左入力チャンネル１０３と、右入力チャンネル１０５とを含み、出力オーディオ信号は、左出力チャンネル１２１と、右出力チャンネル１２３とを含む。オーディオ処理システム１００は、Ｌ／ＲからＭ／Ｓへの変換器モジュール１０７と、直交成分ジェネレータモジュール１１３と、直交成分プロセッサモジュール１１７と、Ｍ／ＳからＬ／Ｒへの変換器モジュール１１９と、クロストークプロセッサモジュール１４１とを含む。いくつかの実施形態においては、オーディオ処理システム１００は、上で述べられたコンポーネントのサブセット、および／または上で述べられたそれらに対する追加コンポーネントを含む。いくつかの実施形態においては、オーディオ処理システム１００は、図１に示されるものとは異なる順序で、入力オーディオ信号を処理する。例えば、オーディオ処理システム１００は、直交成分ジェネレータモジュール１１３および直交成分プロセッサモジュール１１７を使用する処理の前に、クロストーク処理を用いて、入力オーディオを処理し得る。
図１は、１つまたは複数の実施形態による、オーディオ処理システム１００のブロック図である。オーディオ処理システム１００は、空間的に増強された出力オーディオ信号を生成するために、入力オーディオ信号を処理する回路である。入力オーディオ信号は、左入力チャンネル１０３と、右入力チャンネル１０５とを含み、出力オーディオ信号は、左出力チャンネル１２１と、右出力チャンネル１２３とを含む。オーディオ処理システム１００は、Ｌ／ＲからＭ／Ｓへの変換器モジュール１０７と、直交成分ジェネレータモジュール１１３と、直交成分プロセッサモジュール１１７と、Ｍ／ＳからＬ／Ｒへの変換器モジュール１１９と、クロストークプロセッサモジュール１４１とを含む。いくつかの実施形態においては、オーディオ処理システム１００は、上で述べられたコンポーネントのサブセット、および／または上で述べられたそれらに対する追加コンポーネントを含む。いくつかの実施形態においては、オーディオ処理システム１００は、図１に示されるものとは異なる順序で、入力オーディオ信号を処理する。例えば、オーディオ処理システム１００は、直交成分ジェネレータモジュール１１３および直交成分プロセッサモジュール１１７を使用する処理の前に、クロストーク処理を用いて、入力オーディオを処理し得る。
【0018】
Ｌ／ＲからＭ／Ｓへの変換器モジュール１０７は、左入力チャンネル１０３と、右入力チャンネル１０５とを受信し、入力チャンネル１０３および１０５から、ミッド成分１０９（例えば、非空間成分）と、サイド成分１１１（例えば、空間成分）とを生成する。いくつかの実施形態においては、ミッド成分１０９は、左入力チャンネル１０３と右入力チャンネル１０５との和に基づいて生成され、サイド成分１１１は、左入力チャンネル１０３と右入力チャンネル１０５との間の差に基づいて生成される。いくつかの実施形態においては、いくつかのミッド成分およびサイド成分が、マルチチャンネル入力オーディオ信号（例えば、サラウンドサウンド）から生成される。他のＬ／ＲからＭ／Ｓタイプの変換は、ミッド成分１０９と、サイド成分１１１とを生成するために使用され得る。
【0019】
直交成分ジェネレータモジュール１１３は、ハイパーミッド成分Ｍ１、ハイパーサイド成分Ｓ１、残差ミッド成分Ｍ２、および残差サイド成分Ｓ２のうちの少なくとも１つを生成するために、ミッド成分１０９と、サイド成分１１１とを処理する。ハイパーミッド成分Ｍ１は、サイド成分１１１が除去された、ミッド成分１０９である。ハイパーサイド成分Ｓ１は、ミッド成分１０９のスペクトルエネルギーが除去された、サイド成分１１１のスペクトルエネルギーである。残差ミッド成分Ｍ２は、ハイパーミッド成分Ｍ１のスペクトルエネルギーが除去された、ミッド成分１０９のスペクトルエネルギーである。残差サイド成分Ｓ２は、ハイパーサイド成分Ｓ１のスペクトルエネルギーが除去された、サイド成分１１１のスペクトルエネルギーである。いくつかの実施形態においては、オーディオ処理システム１００は、ハイパーミッド成分Ｍ１、ハイパーサイド成分Ｓ１、残差ミッド成分Ｍ２、および残差サイド成分Ｓ２のうちの少なくとも１つを処理することによって、左出力チャンネル１２１と、右出力チャンネル１２３とを生成する。直交成分ジェネレータモジュール１１３は、図２Ａ～図２Ｃに関して、さらに説明される。
【0020】
直交成分プロセッサモジュール１１７は、ハイパーミッド成分Ｍ１、ハイパーサイド成分Ｓ１、残差ミッド成分Ｍ２、および／または残差サイド成分Ｓ２のうちの１つまたは複数を処理する。成分Ｍ１、Ｍ２、Ｓ１、Ｓ２に対する処理は、空間キュー処理（例えば、振幅もしくは遅延ベースのパニング、バイノーラル処理など）、ダイナミックレンジ処理、機械学習ベースの処理、ゲイン適用、リバーブレーション、オーディオエフェクト追加、または他のタイプの処理など、様々なタイプのフィルタリングを含み得る。いくつかの実施形態においては、直交成分プロセッサモジュール１１７は、処理されたミッド成分１３１と、処理されたサイド成分１３９とを生成するために、ハイパーミッド成分Ｍ１、ハイパーサイド成分Ｓ１、残差ミッド成分Ｍ２、および／または残差サイド成分Ｓ２を使用して、サブバンド空間処理、および／またはクロストーク補償処理を実行する。サブバンド空間処理は、オーディオ信号を空間的に増強するために、オーディオ信号のミッド成分およびサイド成分の周波数サブバンドに対して実行される処理である。クロストーク補償処理は、ラウドスピーカのためのクロストーク補償、またはヘッドホンのためのクロストークシミュレーションなど、クロストーク処理によって引き起こされるスペクトルアーチファクトを調整するオーディオ信号に対して実行される処理である。直交成分プロセッサモジュール１１７は、図３に関して、さらに説明される。
【0021】
Ｍ／ＳからＬ／Ｒへの変換器モジュール１１９は、処理されたミッド成分１３１と、処理されたサイド成分１３９とを受信し、処理された左成分１５１と、処理された右成分１５９とを生成する。いくつかの実施形態においては、処理された左成分１５１は、処理されたミッド成分１３１と処理されたサイド成分１３９との和に基づいて生成され、処理された右成分１５９は、処理されたミッド成分１３１と処理されたサイド成分１３９との間の差に基づいて生成される。他のＭ／ＳからＬ／Ｒタイプの変換は、処理された左成分１５１と、処理された右成分１５９とを生成するために使用され得る。
【0022】
クロストークプロセッサモジュール１４１は、処理された左成分１５１と、処理された右成分１５９とを受信し、それらに対してクロストーク処理を実行する。クロストーク処理は、例えば、クロストークシミュレーション、またはクロストークキャンセレーションを含む。クロストークシミュレーションは、ラウドスピーカのエフェクトをシミュレートするために（例えば、ヘッドホンを介して出力される）オーディオ信号に対して実行される処理である。クロストークキャンセレーションは、ラウドスピーカによって引き起こされるクロストークを除去するために、ラウドスピーカを介して出力されるように構成されたオーディオ信号に対して実行される処理である。クロストークプロセッサモジュール１４１は、左出力チャンネル１２１と、右出力チャンネル１２３とを出力する。
【0023】
例示的な直交成分ジェネレータ
図２Ａ～図２Ｃは、それぞれ、１つまたは複数の実施形態による直交成分ジェネレータモジュール２１３、２２３、２４３のブロック図である。直交成分ジェネレータモジュール２１３、２２３、２４３は、直交成分ジェネレータモジュール１１３の例である。
図２Ａ～図２Ｃは、それぞれ、１つまたは複数の実施形態による直交成分ジェネレータモジュール２１３、２２３、２４３のブロック図である。直交成分ジェネレータモジュール２１３、２２３、２４３は、直交成分ジェネレータモジュール１１３の例である。
【0024】
図２Ａを参照すると、直交成分ジェネレータモジュール２１３は、減算ユニット２０５と、減算ユニット２０９と、減算ユニット２１５と、減算ユニット２１９とを含む。上で説明されたように、直交成分ジェネレータモジュール１１３は、ミッド成分１０９と、サイド成分１１１とを受信し、ハイパーミッド成分Ｍ１、ハイパーサイド成分Ｓ１、残差ミッド成分Ｍ２および残差サイド成分Ｓ２のうちの１つまたは複数を出力する。
【0025】
減算ユニット２０５は、ハイパーミッド成分Ｍ１を生成するためにミッド成分１０９のスペクトルエネルギーからサイド成分１１１のスペクトルエネルギーを除去する。例えば、減算ユニット２０５は、ハイパーミッド成分Ｍ１を生成するために位相だけを残しながら周波数領域におけるミッド成分１０９の大きさから周波数領域におけるサイド成分１１１の大きさを減算する。周波数領域における減算は、周波数領域における信号を生成するための時間領域信号に対するフーリエ変換と、その後の周波数領域における信号の減算とを使用して実行され得る。他の例においては、周波数領域における減算はフーリエ変換の代わりにウェーブレット変換を使用するなど、他の方法で実行されることができる。減算ユニット２０９は、ミッド成分１０９のスペクトルエネルギーからハイパーミッド成分Ｍ１のスペクトルエネルギーを除去することによって残差ミッド成分Ｍ２を生成する。例えば、減算ユニット２０９は、残差ミッド成分Ｍ２を生成するために位相だけを残しながら周波数領域におけるミッド成分１０９の大きさから周波数領域におけるハイパーミッド成分Ｍ１の大きさを減算する。時間領域においてミッドからサイドを減算することは、信号の元の右チャンネルをもたらすのに対し、周波数領域における上述の操作は、（Ｍ１、またはハイパーミッドと呼ばれる）サイド成分のスペクトルエネルギーと異なるミッド成分のスペクトルエネルギーの部分と、（Ｍ２、または残差ミッドと呼ばれる）サイド成分のスペクトルエネルギーと同じミッド成分のスペクトルエネルギーの部分とを分離し、区別する。
【0026】
いくつかの実施形態においては、ミッド成分１０９のスペクトルエネルギーからのサイド成分１１１のスペクトルエネルギーの減算が（例えば、周波数領域におけるビンのうちの１つまたは複数について）ハイパーミッド成分Ｍ１についての負の値をもたらすとき、追加処理が使用され得る。いくつかの実施形態においては、ミッド成分１０９のスペクトルエネルギーからのサイド成分１１１のスペクトルエネルギーの減算が負の値をもたらすとき、ハイパーミッド成分Ｍ１は、０値に固定される。いくつかの実施形態においては、ハイパーミッド成分Ｍ１は、負の値の絶対値をハイパーミッド成分Ｍ１の値として取ることによって、ラップアラウンドされる。ミッド成分１０９のスペクトルエネルギーからのサイド成分１１１のスペクトルエネルギーの減算がＭ１についての負の値をもたらすとき、他のタイプの処理が、使用されてよい。ハイパーサイド成分Ｓ１、残差サイド成分Ｓ２、または残差ミッド成分Ｍ２を生成する減算が負をもたらすとき、０に固定、ラップアラウンド、または他の処理など、類似の追加処理が使用され得る。ハイパーミッド成分Ｍ１を０に固定することは、減算が負の値をもたらしたときに、Ｍ１と両サイド成分との間のスペクトル直交性を保証する。同様に、ハイパーサイド成分Ｓ１を０に固定することは、減算が負の値をもたらしたときに、Ｓ１と両ミッド成分との間のスペクトル直交性を保証する。ハイパーミッド成分およびハイパーサイド成分と、それらの適切なミッド／サイド対応成分（すなわち、ハイパーミッドに対するサイド成分、ハイパーサイドに対するミッド成分）との間に直交性を生み出すことによって導出された残差ミッドＭ２成分および残差サイドＳ２成分は、それらの適切なミッド／サイド対応成分と直交しない（すなわち、共通する）スペクトルエネルギーを含む。すなわち、残差ミッドを導出するために、ハイパーミッドに対して０への固定を適用し、そのＭ１成分を使用するときサイド成分と共通するスペクトルエネルギーを有さないハイパーミッド成分、およびサイド成分と十分に共通するスペクトルエネルギーを有する残差ミッド成分が生成される。ハイパーサイドを０に固定したとき、同じ関係がハイパーサイドと残差サイドとに当てはまる。周波数領域処理を適用するとき、一般に、周波数とタイミング情報との間に分解能のトレードオフが存在する。周波数分解能が増加するにつれて（すなわち、ＦＦＴウィンドウサイズ、および周波数ビンの数が、増えるにつれて）、時間分解能は低下し、その逆も同様である。上で説明されたスペクトル減算は、周波数ビンごとに行われ、したがって、大きなＦＦＴウィンドウサイズ（例えば、実数値入力信号を仮定すると、４０９６個の周波数ビンをもたらす８１９２サンプル）を有することは、ハイパーミッド成分からボーカルエネルギーを除去するときなど、ある状況において好ましいことがある。他の状況は、より大きい時間分解能を必要とし、したがって、より低い全体的なレイテンシ、およびより低い周波数分解能（例えば、実数値入力信号を仮定すると２５６個の周波数ビンをもたらす５１２サンプルのＦＦＴウィンドウサイズ）を必要とし得る。後者のケースにおいて、ミッドおよびサイドの低い周波数分解能は、ハイパーミッドＭ１成分およびハイパーサイドＳ１成分を導出するために相手から減算されるとき、各周波数ビンのスペクトルエネルギーがあまりにも大きい周波数範囲にわたるエネルギーの平均表現であるために、可聴スペクトルアーチファクトを生成することがある。このケースにおいて、ハイパーミッドＭ１またはハイパーサイドＳ１を導出するときにミッドとサイドとの間の差の絶対値を取ることは、成分における真の直交性からの周波数ビンごとの逸脱を許容することによって、知覚的アーチファクトを軽減する助けとなることができる。０にラップアラウンドすることに加えて、またはそれの代わりに減数値に係数を適用して、その値を０と１との間にスケーリングし、したがって、一方の極（すなわち、１の値）における完全な直交性があるハイパーおよび残差ミッド／サイド成分と、他方の極（すなわち、０の値）における対応する元のミッド成分およびサイド成分と同一であるハイパーミッドＭ１およびハイパーサイドＳ１との間における補間方法を提供し得る。
【0027】
減算ユニット２１５は、ハイパーサイド成分Ｓ１を生成するために、位相だけを残しながら周波数領域におけるサイド成分１１１のスペクトルエネルギーから周波数領域におけるミッド成分１０９のスペクトルエネルギーを除去する。例えば、減算ユニット２１５は、ハイパーサイド成分Ｓ１を生成するために、位相だけを残しながら周波数領域におけるサイド成分１１１の大きさから周波数領域におけるミッド成分１０９の大きさを減算する。減算ユニット２１９は、残差サイド成分Ｓ２を生成するために、サイド成分１１１のスペクトルエネルギーからハイパーサイド成分Ｓ１のスペクトルエネルギーを除去する。例えば、減算ユニット２１９は、残差サイド成分Ｓ２を生成するために、位相だけを残しながら、周波数領域におけるサイド成分１１１の大きさから周波数領域におけるハイパーサイド成分Ｓ１の大きさを減算する。
【0028】
図２Ｂにおいて、直交成分ジェネレータモジュール２２３は、それがミッド成分１０９とサイド成分１１１とを受信し、ハイパーミッド成分Ｍ１と、残差ミッド成分Ｍ２と、ハイパーサイド成分Ｓ１と、残差サイド成分Ｓ２とを生成する点において、直交成分ジェネレータモジュール２１３に類似している。直交成分ジェネレータモジュール２２３は、周波数領域において、ハイパーミッド成分Ｍ１とハイパーサイド成分Ｓ１とを生成し、その後、これらの成分を、残差ミッド成分Ｍ２と残差サイド成分Ｓ２とを生成するために、時間領域に変換し戻すことによって直交ジェネレータモジュール２１３と異なる。直交成分ジェネレータモジュール２２３は、順方向ＦＦＴユニット２２０と、バンドパスユニット２２２と、減算ユニット２２４と、ハイパーミッドプロセッサ２２５と、逆ＦＦＴユニット２２６と、時間遅延ユニット２２８と、減算ユニット２３０と、順方向ＦＦＴユニット２３２と、バンドパスユニット２３４と、減算ユニット２３６と、ハイパーサイドプロセッサ２３７と、逆ＦＦＴユニット２４０と、時間遅延ユニット２４２と、減算ユニット２４４とを含む。
【0029】
順方向高速フーリエ変換（ＦＦＴ）ユニット２２０は、ミッド成分１０９に順方向ＦＦＴを適用し、ミッド成分１０９を周波数領域に変換する。周波数領域における変換されたミッド成分１０９は、大きさと、位相とを含む。バンドパスユニット２２２は、周波数領域ミッド成分１０９にバンドパスフィルタを適用し、バンドパスフィルタは、ハイパーミッド成分Ｍ１における周波数を指定する。例えば、典型的な人間の声域を分離するために、バンドパスフィルタは、３００Ｈｚから８０００Ｈｚの間の周波数を指定し得る。別の例においては、典型的な人間の声域と関連付けられたオーディオコンテンツを除去するために、バンドパスフィルタは、ハイパーミッド成分Ｍ１において、（例えば、ベースギターまたはドラムによって発生される）より低い周波数と、（例えば、シンバルによって発生される）より高い周波数とを維持し得る。他の実施形態においては、直交成分ジェネレータモジュール２２３は、バンドパスユニット２２２によって適用されるバンドパスフィルタに加えて、および／またはそれの代わりに、様々な他のフィルタを周波数領域ミッド成分１０９に適用する。いくつかの実施形態においては、直交成分ジェネレータモジュール２２３は、バンドパスユニット２２２を含まず、周波数領域ミッド成分１０９にいかなるフィルタも適用しない。周波数領域において、減算ユニット２２４は、ハイパーミッド成分Ｍ１を生成するために、フィルタリングされたミッド成分からサイド成分１１１を減算する。他の実施形態においては、直交成分プロセッサモジュール（例えば、図３の直交成分プロセッサモジュール）によって実行されるような、ハイパーミッド成分Ｍ１に適用される後の処理に加えて、および／またはそれの代わりに、直交成分ジェネレータモジュール２２３は、周波数領域ハイパーミッド成分Ｍ１に様々なオーディオエンハンスメントを適用する。ハイパーミッドプロセッサ２２５は、周波数領域におけるハイパーミッド成分Ｍ１に対する処理を、時間領域へのそれの変換の前に実行する。処理は、サブバンド空間処理、および／またはクロストーク補償処理を含み得る。いくつかの実施形態においては、ハイパーミッドプロセッサ２２５は、直交成分プロセッサモジュール１１７によって実行され得る処理の代わりに、および／またはそれに加えて、ハイパーミッド成分Ｍ１に対する処理を実行する。逆ＦＦＴユニット２２６は、ハイパーミッド成分Ｍ１に逆ＦＦＴを適用し、ハイパーミッド成分Ｍ１を時間領域に変換し戻す。周波数領域におけるハイパーミッド成分Ｍ１は、Ｍ１の大きさと、ミッド成分１０９の位相とを含み、逆ＦＦＴユニット２２６は、それを時間領域に変換する。時間遅延ユニット２２８は、ミッド成分１０９およびハイパーミッド成分Ｍ１が、同時に減算ユニット２３０に到達するように、ミッド成分１０９に時間遅延を適用する。減算ユニット２３０は、時間領域における時間遅延させたミッド成分１０９から、時間領域におけるハイパーミッド成分Ｍ１を減算し、残差ミッド成分Ｍ２を生成する。この例においては、時間領域における処理を使用して、ハイパーミッド成分Ｍ１のスペクトルエネルギーがミッド成分１０９のスペクトルエネルギーから除去される。
【0030】
順方向ＦＦＴユニット２３２は、サイド成分１１１に順方向ＦＦＴを適用し、サイド成分１１１を周波数領域に変換する。周波数領域における変換されたサイド成分１１１は、大きさと、位相とを含む。バンドパスユニット２３４は、周波数領域サイド成分１１１にバンドパスフィルタを適用する。バンドパスフィルタは、ハイパーサイド成分Ｓ１における周波数を指定する。他の実施形態においては、直交成分ジェネレータモジュール２２３は、バンドパスフィルタに加えて、および／またはそれの代わりに、様々な他のフィルタを周波数領域サイド成分１１１に適用する。周波数領域において、減算ユニット２３６は、ハイパーサイド成分Ｓ１を生成するために、フィルタリングされたサイド成分１１１からミッド成分１０９を減算する。他の実施形態においては、直交成分プロセッサ（例えば、図３の直交成分プロセッサモジュール）によって実行されるような、ハイパーサイド成分Ｓ１に適用される後の処理に加えて、および／またはそれの代わりに、直交成分ジェネレータモジュール２２３は、周波数領域におけるハイパーサイド成分Ｓ１に様々なオーディオエンハンスメントを適用する。ハイパーサイドプロセッサ２３７は、周波数領域におけるハイパーサイド成分Ｓ１に対する処理を、時間領域へのそれの変換の前に実行する。処理は、サブバンド空間処理、および／またはクロストーク補償処理を含み得る。いくつかの実施形態においては、ハイパーサイドプロセッサ２３７は、直交成分プロセッサモジュール１１７によって実行され得る処理の代わりに、および／またはそれに加えて、ハイパーサイド成分Ｓ１に対する処理を実行する。逆ＦＦＴユニット２４０は、周波数領域におけるハイパーサイド成分Ｓ１に逆ＦＦＴを適用し、時間領域におけるハイパーサイド成分Ｓ１を生成する。周波数領域におけるハイパーサイド成分Ｓ１は、Ｓ１の大きさと、サイド成分１１１の位相とを含み、逆ＦＦＴユニット２２６は、それを時間領域に変換する。時間遅延ユニット２４２は、サイド成分１１１が、ハイパーサイド成分Ｓ１と同時に、減算ユニット２４４に到達するように、サイド成分１１１を時間遅延させる。その後、減算ユニット２４４は、時間領域における時間遅延させたサイド成分１１１から、時間領域におけるハイパーサイド成分Ｓ１を減算し、残差サイド成分Ｓ２を生成する。この例においては、時間領域における処理を使用して、ハイパーサイド成分Ｓ１のスペクトルエネルギーがサイド成分１１１のスペクトルエネルギーから除去される。
【0031】
いくつかの実施形態においては、ハイパーミッドプロセッサ２２５、およびハイパーサイドプロセッサ２３７は、これらのコンポーネントによって実行される処理が、直交成分プロセッサモジュール１１７によって実行される場合に省かれ得る。
【0032】
図２Ｃにおいて、直交成分ジェネレータモジュール２４５は、直交成分ジェネレータモジュール２４５が、周波数領域において、成分Ｍ１、Ｍ２、Ｓ１、Ｓ２の各々を生成し、その後、これらの成分を時間領域に変換することを除いて、それが、ミッド成分１０９と、サイド成分１１１とを受信し、ハイパーミッド成分Ｍ１と、残差ミッド成分Ｍ２と、ハイパーサイド成分Ｓ１と、残差サイド成分Ｓ２とを生成する点において、直交成分ジェネレータモジュール２２３に類似している。直交成分ジェネレータモジュール２４５は、順方向ＦＦＴユニット２４７と、バンドパスユニット２４９と、減算ユニット２５１と、ハイパーミッドプロセッサ２５２と、減算ユニット２５３と、残差ミッドプロセッサ２５４と、逆ＦＦＴユニット２５５と、逆ＦＦＴユニット２５７と、順方向ＦＦＴユニット２６１と、バンドパスユニット２６３と、減算ユニット２６５と、ハイパーサイドプロセッサ２６６と、減算ユニット２６７と、残差サイドプロセッサ２６８と、逆ＦＦＴユニット２６９と、逆ＦＦＴユニット２７１とを含む。
【0033】
順方向ＦＦＴユニット２４７は、ミッド成分１０９に順方向ＦＦＴを適用し、ミッド成分１０９を周波数領域に変換する。周波数領域における変換されたミッド成分１０９は、大きさと、位相とを含む。順方向ＦＦＴユニット２６１は、サイド成分１１１に順方向ＦＦＴを適用し、サイド成分１１１を周波数領域に変換する。周波数領域における変換されたサイド成分１１１は、大きさと、位相とを含む。バンドパスユニット２４９は、周波数領域のミッド成分１０９にバンドパスフィルタを適用し、バンドパスフィルタは、ハイパーミッド成分Ｍ１の周波数を指定する。いくつかの実施形態においては、直交成分ジェネレータモジュール２４５は、バンドパスフィルタに加えて、および／またはそれの代わりに、様々な他のフィルタを周波数領域ミッド成分１０９に適用する。減算ユニット２５１は、周波数領域ミッド成分１０９から周波数領域サイド成分１１１を減算し、周波数領域におけるハイパーミッド成分Ｍ１を生成する。ハイパーミッドプロセッサ２５２は、周波数領域におけるハイパーミッド成分Ｍ１に対する処理を、時間領域へのそれの変換の前に実行する。いくつかの実施形態においては、ハイパーミッドプロセッサ２５２は、サブバンド空間処理、および／またはクロストーク補償処理を実行する。いくつかの実施形態においては、ハイパーミッドプロセッサ２５２は、直交成分プロセッサモジュール１１７によって実行され得る処理の代わりに、および／またはそれに加えて、ハイパーミッド成分Ｍ１に対する処理を実行する。逆ＦＦＴユニット２５７は、ハイパーミッド成分Ｍ１に逆ＦＦＴを適用し、それを時間領域に変換し戻す。周波数領域におけるハイパーミッド成分Ｍ１は、Ｍ１の大きさと、ミッド成分１０９の位相とを含み、逆ＦＦＴユニット２５７は、それを時間領域に変換する。減算ユニット２５３は、残差ミッド成分Ｍ２を生成するために、周波数領域において、ミッド成分１０９からハイパーミッド成分Ｍ１を減算する。残差ミッドプロセッサ２５４は、周波数領域における残差ミッド成分Ｍ２に対する処理を、時間領域へのそれの変換の前に実行する。いくつかの実施形態においては、残差ミッドプロセッサ２５４は、残差ミッド成分Ｍ２に対して、サブバンド空間処理、および／またはクロストーク補償処理を実行する。いくつかの実施形態においては、残差ミッドプロセッサ２５４は、直交成分プロセッサモジュール１１７によって実行され得る処理の代わりに、および／またはそれに加えて、残差ミッド成分Ｍ２に対する処理を実行する。逆ＦＦＴユニット２５５は、逆ＦＦＴを適用し、残差ミッド成分Ｍ２を時間領域に変換する。周波数領域における残差ミッド成分Ｍ２は、Ｍ２の大きさと、ミッド成分１０９の位相とを含み、逆ＦＦＴユニット２５５は、それを時間領域に変換する。
【0034】
バンドパスユニット２６３は、周波数領域サイド成分１１１にバンドパスフィルタを適用する。バンドパスフィルタは、ハイパーサイド成分Ｓ１における周波数を指定する。他の実施形態においては、直交成分ジェネレータモジュール２４５は、バンドパスフィルタに加えて、および／またはそれの代わりに、様々な他のフィルタを周波数領域サイド成分１１１に適用する。周波数領域において、減算ユニット２６５は、ハイパーサイド成分Ｓ１を生成するために、フィルタリングされたサイド成分１１１からミッド成分１０９を減算する。ハイパーサイドプロセッサ２６６は、周波数領域におけるハイパーサイド成分Ｓ１に対する処理を、時間領域へのそれの変換の前に実行する。いくつかの実施形態においては、ハイパーサイドプロセッサ２６６は、ハイパーサイド成分Ｓ１に対して、サブバンド空間処理、および／またはクロストーク補償処理を実行する。いくつかの実施形態においては、ハイパーサイドプロセッサ２６６は、直交成分プロセッサモジュール１１７によって実行され得る処理の代わりに、および／またはそれに加えて、ハイパーサイド成分Ｓ１に対する処理を実行する。逆ＦＦＴユニット２７１は、ハイパーサイド成分Ｓ１を時間領域に変換し戻すために、逆ＦＦＴを適用する。周波数領域におけるハイパーサイド成分Ｓ１は、Ｓ１の大きさと、サイド成分１１１の位相とを含み、逆ＦＦＴユニット２７１は、それを時間領域に変換する。減算ユニット２６７は、周波数領域において、サイド成分１１１からハイパーサイド成分Ｓ１を減算し、残差サイド成分Ｓ２を生成する。残差サイドプロセッサ２６８は、周波数領域における残差サイド成分Ｓ２に対する処理を、時間領域へのそれの変換の前に実行する。いくつかの実施形態においては、残差サイドプロセッサ２６８は、残差サイド成分Ｓ２に対して、サブバンド空間処理、および／またはクロストーク補償処理を実行する。いくつかの実施形態においては、残差サイドプロセッサ２６８は、直交成分プロセッサモジュール１１７によって実行され得る処理の代わりに、および／またはそれに加えて、残差サイド成分Ｓ２に対する処理を実行する。逆ＦＦＴユニット２６９は、残差サイド成分Ｓ２に逆ＦＦＴを適用し、それを時間領域に変換する。周波数領域における残差サイド成分Ｓ２は、Ｓ２の大きさと、サイド成分１１１の位相とを含み、逆ＦＦＴユニット２６９は、それを時間領域に変換する。
【0035】
いくつかの実施形態においては、ハイパーミッドプロセッサ２５２、ハイパーサイドプロセッサ２６６、残差ミッドプロセッサ２５４、または残差サイドプロセッサ２６８は、これらのコンポーネントによって実行される処理が、直交成分プロセッサモジュール１１７によって実行される場合に省かれ得る。
【0036】
例示的な直交成分プロセッサ
図３は、１つまたは複数の実施形態による、直交成分プロセッサモジュール３１７のブロック図である。直交成分プロセッサモジュール３１７は、直交成分プロセッサモジュール１１７の例である。直交成分プロセッサモジュール３１７は、サブバンド空間処理および／またはクロストーク補償処理ユニット３２０と、加算ユニット３２５と、加算ユニット３３０とを含み得る。直交成分プロセッサモジュール３１７は、ハイパーミッド成分Ｍ１、残差ミッド成分Ｍ２、ハイパーサイド成分Ｓ１、および残差サイド成分Ｓ２のうちの少なくとも１つに対して、サブバンド空間処理および／またはクロストーク補償処理を実行する。サブバンド空間処理および／またはクロストーク補償処理３２０の結果として、直交成分プロセッサモジュール３１７は、処理されたＭ１、処理されたＭ２、処理されたＳ１、および処理されたＳ２のうちの少なくとも１つを出力する。加算ユニット３２５は、処理されたミッド成分１３１を生成するために、処理されたＭ１と処理されたＭ２とを加算し、加算ユニット３３０は、処理されたサイド成分１３９を生成するために、処理されたＳ１と処理されたＳ２とを加算する。
図３は、１つまたは複数の実施形態による、直交成分プロセッサモジュール３１７のブロック図である。直交成分プロセッサモジュール３１７は、直交成分プロセッサモジュール１１７の例である。直交成分プロセッサモジュール３１７は、サブバンド空間処理および／またはクロストーク補償処理ユニット３２０と、加算ユニット３２５と、加算ユニット３３０とを含み得る。直交成分プロセッサモジュール３１７は、ハイパーミッド成分Ｍ１、残差ミッド成分Ｍ２、ハイパーサイド成分Ｓ１、および残差サイド成分Ｓ２のうちの少なくとも１つに対して、サブバンド空間処理および／またはクロストーク補償処理を実行する。サブバンド空間処理および／またはクロストーク補償処理３２０の結果として、直交成分プロセッサモジュール３１７は、処理されたＭ１、処理されたＭ２、処理されたＳ１、および処理されたＳ２のうちの少なくとも１つを出力する。加算ユニット３２５は、処理されたミッド成分１３１を生成するために、処理されたＭ１と処理されたＭ２とを加算し、加算ユニット３３０は、処理されたサイド成分１３９を生成するために、処理されたＳ１と処理されたＳ２とを加算する。
【0037】
いくつかの実施形態においては、直交成分プロセッサモジュール３１７は、周波数領域において、ハイパーミッド成分Ｍ１、残差ミッド成分Ｍ２、ハイパーサイド成分Ｓ１、および残差サイド成分Ｓ２のうちの少なくとも１つに対して、サブバンド空間処理および／またはクロストーク補償処理３２０を実行し、周波数領域において、処理されたミッド成分１３１と、処理されたサイド成分１３９とを生成する。直交成分ジェネレータモジュール１１３は、周波数領域における成分Ｍ１、Ｍ２、Ｓ１、またはＳ２を、逆ＦＦＴを実行する、直交成分プロセッサに提供し得る。処理されたミッド成分１３１と、処理されたサイド成分１３９とを生成した後、直交成分プロセッサモジュール３１７は、処理されたミッド成分１３１と、処理されたサイド成分１３９とに対して、これらの成分を時間領域に変換し戻すために、逆ＦＦＴを実行し得る。いくつかの実施形態においては、直交成分プロセッサモジュール３１７は、処理されたＭ１、処理されたＭ２、処理されたＳ１、および処理されたＳ１に対して、逆ＦＦＴを実行し、時間領域において、処理されたミッド成分１３１と、処理されたサイド成分１３９とを生成する。
【0038】
直交成分プロセッサモジュール３１７の例が、図４および図５に示されている。いくつかの実施形態においては、直交成分プロセッサモジュール３１７は、サブバンド空間処理およびクロストーク補償処理の両方を実行する。直交成分プロセッサモジュール３１７によって実行される処理は、サブバンド空間処理、またはクロストーク補償処理に限定されない。ミッド成分の代わりにハイパーミッド成分を、またはサイド成分の代わりにハイパーサイド成分を使用することなどによる、ミッド／サイド空間を使用する任意のタイプの空間処理が直交成分プロセッサモジュール３１７によって実行され得る。いくつかの他のタイプの処理は、ゲイン適用、振幅または遅延ベースのパニング、バイノーラル処理、リバーブレーション、圧縮および制限などのダイナミックレンジ処理、ならびにコーラスまたはフランジングから、ボーカルまたはインストルメンタルスタイル転送、変換、または再合成に対する機械学習ベースの手法にわたる、他の線形または非線形オーディオ処理技法およびエフェクトなどを含み得る。
【0039】
例示的なサブバンド空間プロセッサ
図４は、１つまたは複数の実施形態による、サブバンド空間プロセッサモジュール４１０のブロック図である。サブバンド空間プロセッサモジュール４１０は、直交成分プロセッサモジュール３１７の例である。サブバンド空間プロセッサモジュール４１０は、ミッドＥＱフィルタ４０４（１）と、ミッドＥＱフィルタ４０４（２）と、ミッドＥＱフィルタ４０４（３）と、ミッドＥＱフィルタ４０４（４）と、サイドＥＱフィルタ４０６（１）と、サイドＥＱフィルタ４０６（２）と、サイドＥＱフィルタ４０６（３）と、サイドＥＱフィルタ４０６（４）とを含む。いくつかの実施形態においては、サブバンド空間プロセッサモジュール４１０は、本明細書において説明されるものに加えて、および／またはそれの代わりに、コンポーネントを含む。
図４は、１つまたは複数の実施形態による、サブバンド空間プロセッサモジュール４１０のブロック図である。サブバンド空間プロセッサモジュール４１０は、直交成分プロセッサモジュール３１７の例である。サブバンド空間プロセッサモジュール４１０は、ミッドＥＱフィルタ４０４（１）と、ミッドＥＱフィルタ４０４（２）と、ミッドＥＱフィルタ４０４（３）と、ミッドＥＱフィルタ４０４（４）と、サイドＥＱフィルタ４０６（１）と、サイドＥＱフィルタ４０６（２）と、サイドＥＱフィルタ４０６（３）と、サイドＥＱフィルタ４０６（４）とを含む。いくつかの実施形態においては、サブバンド空間プロセッサモジュール４１０は、本明細書において説明されるものに加えて、および／またはそれの代わりに、コンポーネントを含む。
【0040】
サブバンド空間プロセッサモジュール４１０は、非空間成分Ｙmと、空間成分Ｙsとを受信し、空間エンハンスメントを提供するために、これらの成分のうちの１つまたは複数のサブバンドをゲイン調整する。非空間成分Ｙmは、ハイパーミッド成分Ｍ１、または残差ミッド成分Ｍ２であり得る。空間成分Ｙsは、ハイパーサイド成分Ｓ１、または残差サイド成分Ｓ２であり得る。
【0041】
サブバンド空間プロセッサモジュール４１０は、非空間成分Ｙmを受信し、増強された非空間成分Ｅmを生成するために、Ｙmの異なるサブバンドに、ミッドＥＱフィルタ４０４（１）から４０４（４）を適用する。サブバンド空間プロセッサモジュール４１０は、また、空間成分Ｙsを受信し、増強された空間成分Ｅsを生成するために、Ｙsの異なるサブバンドに、サイドＥＱフィルタ４０６（１）から４０６（４）を適用する。サブバンドフィルタは、ピークフィルタ、ノッチフィルタ、ローパスフィルタ、ハイパスフィルタ、ローシェルフフィルタ、ハイシェルフフィルタ、バンドパスフィルタ、バンドストップフィルタ、および／またはオールパスフィルタの様々な組み合わせを含むことができる。サブバンドフィルタは、また、それぞれのサブバンドにゲインを適用し得る。より具体的には、サブバンド空間プロセッサモジュール４１０は、非空間成分Ｙmのｎ個の周波数サブバンドの各々のためのサブバンドフィルタと、空間成分Ｙsのｎ個のサブバンドの各々のためのサブバンドフィルタとを含む。例えば、ｎ＝４個のサブバンドの場合、サブバンド空間プロセッサモジュール４１０は、サブバンド（１）のためのミッドイコライゼーション（ＥＱ）フィルタ４０４（１）と、サブバンド（２）のためのミッドＥＱフィルタ４０４（２）と、サブバンド（３）のためのミッドＥＱフィルタ４０４（３）と、サブバンド（４）のためのミッドＥＱフィルタ４０４（４）とを含む、非空間成分Ｙmのための一連のサブバンドフィルタを含む。各ミッドＥＱフィルタ４０４は、増強された非空間成分Ｅmを生成するために、非空間成分Ｙmの周波数サブバンド部分にフィルタを適用する。
【0042】
サブバンド空間プロセッサモジュール４１０は、サブバンド（１）のためのサイドイコライゼーション（ＥＱ）フィルタ４０６（１）と、サブバンド（２）のためのサイドＥＱフィルタ４０６（２）と、サブバンド（３）のためのサイドＥＱフィルタ４０６（３）と、サブバンド（４）のためのサイドＥＱフィルタ４０６（４）とを含む、空間成分Ｙsの周波数サブバンドのための一連のサブバンドフィルタをさらに含む。各サイドＥＱフィルタ４０６は、増強された空間成分Ｅsを生成するために、空間成分Ｙsの周波数サブバンド部分にフィルタを適用する。
【0043】
非空間成分Ｙmおよび空間成分Ｙsのｎ個の周波数サブバンドの各々は、周波数の範囲と対応し得る。例えば、周波数サブバンド（１）は、０Ｈｚから３００Ｈｚに対応し得て、周波数サブバンド（２）は、３００Ｈｚから５１０Ｈｚに対応し得て、周波数サブバンド（３）は、５１０Ｈｚから２７００Ｈｚに対応し得て、周波数サブバンド（４）は、２７００Ｈｚからナイキスト周波数に対応し得る。いくつかの実施形態においては、ｎ個の周波数サブバンドは、クリティカルバンドの連結セットである。クリティカルバンドは、多種多様な音楽ジャンルからのオーディオサンプルのコーパスを使用して決定され得る。２４個のバーク尺度クリティカルバンドにわたる、サイド成分に対するミッド成分の長期平均エネルギー比がサンプルから決定される。その後、類似した長期平均比を有する連続した周波数バンドが、クリティカルバンドのセットを形成するために、一緒にグループ化される。周波数サブバンドの範囲、および周波数サブバンドの数は、調整可能であり得る。
【0044】
いくつかの実施形態においては、サブバンド空間プロセッサモジュール４１０は、残差ミッド成分Ｍ２を非空間成分Ｙmとして処理し、サイド成分、ハイパーサイド成分Ｓ１、または残差サイド成分Ｓ２のうちの１つを空間成分Ｙsとして使用する。
【0045】
いくつかの実施形態においては、サブバンド空間プロセッサモジュール４１０は、ハイパーミッド成分Ｍ１、ハイパーサイド成分Ｓ１、残差ミッド成分Ｍ２、および残差サイド成分Ｓ２のうちの１つまたは複数を処理する。これらの成分の各々のサブバンドに適用されるフィルタは異なり得る。ハイパーミッド成分Ｍ１および残差ミッド成分Ｍ２は、各々、非空間成分Ｙmについて説明されたように処理され得る。ハイパーサイド成分Ｓ１および残差サイド成分Ｓ２は、各々、空間成分Ｙsについて説明されたように処理され得る。
【0046】
例示的なクロストーク補償プロセッサ
図５は、１つまたは複数の実施形態による、クロストーク補償プロセッサモジュール５１０のブロック図である。クロストーク補償プロセッサモジュール５１０は、直交成分プロセッサモジュール３１７の例である。クロストーク補償プロセッサモジュール５１０は、ミッド成分プロセッサ５２０と、サイド成分プロセッサ５３０とを含む。クロストーク補償プロセッサモジュール５１０は、非空間成分Ｙmと、空間成分Ｙsとを受信し、（例えば、後続または先行する）クロストーク処理によって引き起こされるスペクトル不良を補償するために、これらの成分のうちの１つまたは複数にフィルタを適用する。非空間成分Ｙmは、ハイパーミッド成分Ｍ１、または残差ミッド成分Ｍ２であり得る。空間成分Ｙsは、ハイパーサイド成分Ｓ１、または残差サイド成分Ｓ２であり得る。
図５は、１つまたは複数の実施形態による、クロストーク補償プロセッサモジュール５１０のブロック図である。クロストーク補償プロセッサモジュール５１０は、直交成分プロセッサモジュール３１７の例である。クロストーク補償プロセッサモジュール５１０は、ミッド成分プロセッサ５２０と、サイド成分プロセッサ５３０とを含む。クロストーク補償プロセッサモジュール５１０は、非空間成分Ｙmと、空間成分Ｙsとを受信し、（例えば、後続または先行する）クロストーク処理によって引き起こされるスペクトル不良を補償するために、これらの成分のうちの１つまたは複数にフィルタを適用する。非空間成分Ｙmは、ハイパーミッド成分Ｍ１、または残差ミッド成分Ｍ２であり得る。空間成分Ｙsは、ハイパーサイド成分Ｓ１、または残差サイド成分Ｓ２であり得る。
【0047】
クロストーク補償プロセッサモジュール５１０は、非空間成分Ｙmを受信し、ミッド成分プロセッサ５２０は、増強された非空間クロストーク補償成分Ｚmを生成するためにフィルタのセットを適用する。クロストーク補償プロセッサモジュール５１０は、また、空間サブバンド成分Ｙsを受信し、増強された空間サブバンド成分Ｅsを生成するために、サイド成分プロセッサ５３０において、フィルタのセットを適用する。ミッド成分プロセッサ５２０は、ｍ個のミッドフィルタ５４０（ａ）、５４０（ｂ）、乃至５４０（ｍ）など、複数のフィルタ５４０を含む。ここで、ｍ個のミッドフィルタ５４０の各々は、非空間成分Ｘmのｍ個の周波数バンドのうちの１つを処理する。ミッド成分プロセッサ５２０は、非空間成分Ｘmを処理することによって、ミッドクロストーク補償チャンネルＺmをしかるべく生成する。いくつかの実施形態においては、ミッドフィルタ５４０は、シミュレーションを通した、クロストーク処理を用いた、非空間Ｘmの周波数応答プロットを使用して構成される。加えて、周波数応答プロットを分析することによって、クロストーク処理のアーチファクトとして発生する、事前決定されたしきい値（例えば、１０ｄＢ）を超える、周波数応答プロットにおけるピークまたはトラフなどの、いかなるスペクトル不良も推定されることができる。これらのアーチファクトは、クロストーク処理における、遅延させられ、場合によっては、反転させられた対側信号の、それらの対応する同側信号との和から主にもたらされ、それによって、効果的に、最終的なレンダリングされた結果に、コムフィルタに似た周波数応答を導入する。推定されたピークまたはトラフを補償するために、ミッドクロストーク補償チャンネルＺmが、ミッド成分プロセッサ５２０によって、生成されることができ、ｍ個の周波数バンドの各々は、ピークまたはトラフと対応する。具体的には、クロストーク処理において適用される、特定の遅延、フィルタリング周波数、およびゲインに基づいて、ピークおよびトラフは、周波数応答において、上下にシフトし、スペクトルの特定の領域における、エネルギーの可変増幅および／または減衰を引き起こす。ミッドフィルタ５４０の各々は、ピークおよびトラフのうちの１つまたは複数を調整するように構成され得る。
【0048】
サイド成分プロセッサ５３０は、ｍ個のサイドフィルタ５５０（ａ）、５５０（ｂ）、乃至５５０（ｍ）など、複数のフィルタ５５０を含む。サイド成分プロセッサ５３０は、空間成分Ｘsを処理することによって、サイドクロストーク補償チャンネルＺsを生成する。いくつかの実施形態においては、クロストーク処理を用いた、空間Ｘsの周波数応答プロットが、シミュレーションを通して、獲得されることができる。周波数応答プロットを分析することによって、クロストーク処理のアーチファクトとして発生する、事前決定されたしきい値（例えば、１０ｄＢ）を超える、周波数応答プロットにおけるピークまたはトラフなどの、いかなるスペクトル不良も、推定されることができる。推定されたピークまたはトラフを補償するために、サイドクロストーク補償チャンネルＺsが、サイド成分プロセッサ５３０によって生成されることができる。具体的には、クロストーク処理において適用される、特定の遅延、フィルタリング周波数、およびゲインに基づいて、ピークおよびトラフは、周波数応答において、上下にシフトし、スペクトルの特定の領域における、エネルギーの可変増幅および／または減衰を引き起こす。サイドフィルタ５５０の各々は、ピークおよびトラフのうちの１つまたは複数を調整するように構成され得る。いくつかの実施形態においては、ミッド成分プロセッサ５２０およびサイド成分プロセッサ５３０は、異なる数のフィルタを含み得る。
【0049】
いくつかの実施形態においては、ミッドフィルタ５４０およびサイドフィルタ５５０は、式１によって定義される伝達関数を有する、双２次フィルタを含み得る。
【0050】
【数1】
【0051】
ここで、ｚは、複素変数であり、ａ0、ａ1、ａ2、ｂ0、ｂ1、およびｂ2は、デジタルフィルタ係数である。そのようなフィルタを実施する１つの方法は、式２で定義されるような、直接形Ｉトポロジである。
【0052】
【数2】
【0053】
ここで、Ｘは、入力ベクトルであり、Ｙは、出力である。他のトポロジが、それらの最大ワード長、および飽和挙動に応じて、使用され得る。その後、双２次が、実数値入力および出力を有する、２次フィルタを実施するために、使用されることができる。離散時間フィルタを設計するために、連続時間フィルタが、設計され、その後、双１次変換を介して、離散時間に変換される。さらに、中心周波数および帯域幅における、結果として生じるシフトは、周波数ワーピングを使用して、補償され得る。
【0054】
例えば、ピーキングフィルタは、式３によって定義される、Ｓ平面伝達関数を有し得る。
【0055】
【数3】
【0056】
ここで、ｓは、複素変数であり、Ａは、ピークの振幅であり、Ｑは、フィルタ「品質」であり、デジタルフィルタ係数は、
【0057】
【数4】
【0058】
によって定義される。
【0059】
ここで、ω0は、ラジアン単位のフィルタの中心周波数であり、
【0060】
【数5】
【0061】
である。さらに、フィルタ品質Ｑは、式４によって定義され得る。
【0062】
【数6】
【0063】
ここで、△ｆは帯域幅であり、ｆｃは中心周波数である。ミッドフィルタ５４０は、直列であるとして示されており、サイドフィルタ５５０は、直列であるとして示されている。いくつかの実施形態においては、ミッドフィルタ５４０はミッド成分Ｘmに対して並列に適用され、サイドフィルタはサイド成分Ｘsに対して並列に適用される。
【0064】
いくつかの実施形態においては、クロストーク補償プロセッサモジュール５１０は、ハイパーミッド成分Ｍ１、ハイパーサイド成分Ｓ１、残差ミッド成分Ｍ２、および残差サイド成分Ｓ２の各々を処理する。これらの成分の各々に適用されるフィルタは、異なり得る。
【0065】
例示的なクロストークプロセッサ
図６は、１つまたは複数の実施形態による、クロストークシミュレーションプロセッサモジュール６００のブロック図である。図１に関して述べられたように、いくつかの実施形態においては、オーディオ処理システム１００は、処理された左成分１５１と、処理された右成分１５９とにクロストーク処理を適用するクロストークプロセッサモジュール１４１を含む。クロストーク処理は、例えば、クロストークシミュレーション、およびクロストークキャンセレーションを含む。いくつかの実施形態においては、クロストークプロセッサモジュール１４１は、クロストークシミュレーションプロセッサモジュール６００を含む。クロストークシミュレーションプロセッサモジュール６００は、ステレオヘッドホンに出力するための対側サウンド成分を生成し、それによって、ヘッドホンにおいてラウドスピーカに似たリスニング体験を提供する。左入力チャンネルＸLは、処理された左成分１５１であり得て、右入力チャンネルＸRは、処理された右成分１５９であり得る。いくつかの実施形態においては、クロストークシミュレーションは、直交成分処理の前に実行され得る。
図６は、１つまたは複数の実施形態による、クロストークシミュレーションプロセッサモジュール６００のブロック図である。図１に関して述べられたように、いくつかの実施形態においては、オーディオ処理システム１００は、処理された左成分１５１と、処理された右成分１５９とにクロストーク処理を適用するクロストークプロセッサモジュール１４１を含む。クロストーク処理は、例えば、クロストークシミュレーション、およびクロストークキャンセレーションを含む。いくつかの実施形態においては、クロストークプロセッサモジュール１４１は、クロストークシミュレーションプロセッサモジュール６００を含む。クロストークシミュレーションプロセッサモジュール６００は、ステレオヘッドホンに出力するための対側サウンド成分を生成し、それによって、ヘッドホンにおいてラウドスピーカに似たリスニング体験を提供する。左入力チャンネルＸLは、処理された左成分１５１であり得て、右入力チャンネルＸRは、処理された右成分１５９であり得る。いくつかの実施形態においては、クロストークシミュレーションは、直交成分処理の前に実行され得る。
【0066】
クロストークシミュレーションプロセッサモジュール６００は、左入力チャンネルＸLを処理するために、左ヘッドシャドウローパスフィルタ６０２と、左ヘッドシャドウハイパスフィルタ６２４と、左クロストーク遅延６０４と、左ヘッドシャドウゲイン６１０とを含む。クロストークシミュレーションプロセッサモジュール６００は、右入力チャンネルＸRを処理するために、右ヘッドシャドウローパスフィルタ６０６、右ヘッドシャドウハイパスフィルタ６２６、右クロストーク遅延６０８、右ヘッドシャドウゲイン６１２をさらに含む。左ヘッドシャドウローパスフィルタ６０２および左ヘッドシャドウハイパスフィルタ６２４は、リスナの頭部を通過した後の信号の周波数応答をモデル化した変調を、左入力チャンネルＸLに対して適用する。左ヘッドシャドウハイパスフィルタ６２４の出力は、時間遅延を適用する左クロストーク遅延６０４に提供される。時間遅延は、同側サウンド成分に対する、対側サウンド成分によって横断されるトランスオーラル距離を表す。左ヘッドシャドウゲイン６１０は、右左シミュレーションチャンネルＷLを生成するために、左クロストーク遅延６０４の出力にゲインを適用する。
【0067】
右入力チャンネルＸRについても同様に、右ヘッドシャドウローパスフィルタ６０６および右ヘッドシャドウハイパスフィルタ６２６は、リスナの頭部の周波数応答をモデル化した変調を、右入力チャンネルＸRに適用する。右ヘッドシャドウハイパスフィルタ６２６の出力は、時間遅延を適用する、右クロストーク遅延６０８に提供される。右ヘッドシャドウゲイン６１２は、右クロストークシミュレーションチャンネルＷRを生成するために、右クロストーク遅延６０８の出力にゲインを適用する。
【0068】
左チャンネルおよび右チャンネルの各々に対する、ヘッドシャドウローパスフィルタ、ヘッドシャドウハイパスフィルタ、クロストーク遅延、およびヘッドシャドウゲインの適用は、異なる順序で実行され得る。
【0069】
図７は、１つまたは複数の実施形態による、クロストークキャンセレーションプロセッサモジュール７００のブロック図である。クロストークプロセッサモジュール１４１は、クロストークキャンセレーションプロセッサモジュール７００を含み得る。クロストークキャンセレーションプロセッサモジュール７００は、左入力チャンネルＸLと、右入力チャンネルＸRとを受信し、左出力チャンネルＯLと、右出力チャンネルＯRとを生成するために、チャンネルＸL、ＸRに対して、クロストークキャンセレーションを実行する。左入力チャンネルＸLは、処理された左成分１５１であり得て、右入力チャンネルＸRは、処理された右成分１５９であり得る。いくつかの実施形態においては、クロストークキャンセレーションは、直交成分処理の前に実行され得る。
【0070】
クロストークキャンセレーションプロセッサモジュール７００は、イン－アウトバンド分割器７１０と、インバータ７２０および７２２と、対側推定器７３０および７４０と、結合器７５０、７５２と、イン－アウトバンド結合器７６０とを含む。これらのコンポーネントは、入力チャンネルＴL、ＴRを、インバンド成分と、アウトオブバンド成分とに分割し、出力チャンネルＯL、ＯRを生成するために、インバンド成分に対して、クロストークキャンセレーションを実行するために一緒に動作する。
【0071】
入力オーディオ信号Ｔを、異なる周波数バンド成分に分割することによって、および選択成分（例えば、インバンド成分）に対して、クロストークキャンセレーションを実行することによって、他の周波数バンドにおける劣化を回避しながら、特定の周波数バンドに対して、クロストークキャンセレーションが実行されることができる。入力オーディオ信号Ｔを異なる周波数バンドに分割せずに、クロストークキャンセレーションが実行された場合、そのようなクロストークキャンセレーション後のオーディオ信号は、（例えば、３５０Ｈｚよりも下の）低い周波、（例えば、１２０００Ｈｚよりも上の）より高い周波、または両方において、非空間成分および空間成分における著しい減衰または増幅を呈し得る。影響の強い空間キューの大部分が存在する、（例えば、２５０Ｈｚから１４０００Ｈｚの間の）インバンドに対して、選択的にクロストークキャンセレーションを実行することによって、混合におけるスペクトルにわたる、特に非空間的成分における、バランスのとれた全体的エネルギーが保持されることができる。
【0072】
イン－アウトバンド分割器７１０は、入力チャンネルＴL、ＴRを、それぞれ、インバンドチャンネルＴL,In，ＴR,Inと、アウトオブバンドチャンネルＴL,Out，ＴR,Outとに分離する。特に、イン－アウトバンド分割器７１０は、増強された左補償チャンネルＴLを、左インバンドチャンネルＴL,Inと、左アウトオブバンドチャンネルＴL,Outとに分割する。同様に、イン－アウトバンド分割器７１０は、増強された右補償チャンネルＴRを、右インバンドチャンネルＴR,Inと、右アウトオブバンドチャンネルＴR,Outとに分離する。各インバンドチャンネルは、例えば、２５０Ｈｚから１４ｋＨｚを含む、周波数範囲に対応する、それぞれの入力チャンネルの部分を包含し得る。周波数バンドの範囲は、例えば、スピーカのパラメータに従って、調整可能であり得る。
【0073】
インバータ７２０および対側推定器７３０は、左インバンドチャンネルＴL,Inに起因する対側サウンド成分を補償するために、左対側キャンセレーション成分ＳLを生成するように一緒に動作する。同様に、インバータ７２２および対側推定器７４０は、右インバンドチャンネルＴR,Inに起因する、対側サウンド成分を補償するために、右対側キャンセレーション成分ＳRを生成するように一緒に動作する。
【0074】
１つの手法においては、インバータ７２０は、インバンドチャンネルＴL,Inを受信し、反転されたインバンドチャンネルＴL,In’を生成するために、受信されたインバンドチャンネルＴL,Inの極性を反転する。対側推定器７３０は、反転されたインバンドチャンネルＴL,In’を受信し、フィルタリングを通して、対側サウンド成分に対応する、反転されたインバンドチャンネルＴL,In’の部分を抽出する。フィルタリングは、反転されたインバンドチャンネルＴL,In’に対して実行されるので、対側推定器７３０によって抽出される部分は、対側サウンド成分に帰せられる、インバンドチャンネルＴL,Inの部分の反転になる。したがって、対側推定器７３０によって抽出される部分は、左対側キャンセレーション成分ＳLになり、それは、インバンドチャンネルＴL,Inに起因する対側サウンド成分を低減させるために、対応インバンドチャンネルＴR,Inに加算されることができる。いくつかの実施形態においては、インバータ７２０および対側推定器７３０は、異なる順序で実施される。
【0075】
インバータ７２２および対側推定器７４０は、右対側キャンセレーション成分ＳRを生成するために、インバンドチャンネルＴR,Inに関して類似の動作を実行する。したがって、それの詳細な説明は、簡潔にするために、本明細書においては省略される。
【0076】
１つの例示的な実施においては、対側推定器７３０は、フィルタ７３２と、増幅器７３４と、遅延ユニット７３６とを含む。フィルタ７３２は、反転された入力チャンネルＴL,In’を受信し、フィルタリング機能を通して、対側サウンド成分に対応する、反転されたインバンドチャンネルＴL,In’の部分を抽出する。例示的なフィルタ実施は、５０００Ｈｚから１００００Ｈｚの間で選択された中心周波数と、０．５から１．０の間で選択されたＱとを有するノッチフィルタまたはハイシェルフフィルタである。デシベル単位のゲイン（ＧdB）は、式５から導出され得る。
ＧdB＝－３．０－ｌｏｇ1.333（Ｄ） 式（５）
ＧdB＝－３．０－ｌｏｇ1.333（Ｄ） 式（５）
【0077】
ここで、Ｄは、例えば、４８ＫＨｚのサンプリングレートにおける、サンプル単位の遅延ユニット７３６および６４６による遅延量である。代替的な実施は、５０００Ｈｚから１００００Ｈｚの間で選択されたコーナ周波数と、０．５から１．０の間で選択されたＱとを有するローパスフィルタである。さらに、増幅器７３４は、抽出された部分を、対応するゲイン係数ＧL,Inによって増幅し、遅延ユニット７３６は、左対側キャンセレーション成分ＳLを生成するために、増幅器７３４からの増幅された出力を遅延関数Ｄに従って遅延させる。対側推定器７４０は、右対側キャンセレーション成分ＳRを生成するために、反転されたインバンドチャンネルＴR,In’に対して同様の操作を実行するフィルタ７４２と、増幅器７４４と、遅延ユニット７４６とを含む。１つの例においては、対側推定器７３０，７４０は、以下の式に従って、左対側キャンセレーション成分ＳLと、右対側キャンセレーション成分ＳRとを生成する。
ＳL＝Ｄ［ＧL,In＊Ｆ［ＴL,In’］］ 式（６）
ＳR＝Ｄ［ＧR,In＊Ｆ［ＴR,In’］］ 式（７）
ＳL＝Ｄ［ＧL,In＊Ｆ［ＴL,In’］］ 式（６）
ＳR＝Ｄ［ＧR,In＊Ｆ［ＴR,In’］］ 式（７）
【0078】
ここで、Ｆ［］は、フィルタ関数であり、Ｄ［］は、遅延関数である。
【0079】
クロストークキャンセレーションの構成は、スピーカパラメータによって決定されることができる。１つの例においては、フィルタ中心周波数、遅延量、増幅器ゲイン、およびフィルタゲインは、リスナに関して、２つのスピーカの間に形成される角度に従って決定されることができる。いくつかの実施形態においては、スピーカ角度の間の値は、他の値を補間するために使用される。
【0080】
結合器７５０は、左インバンドクロストークチャンネルＵLを生成するために、右対側キャンセレーション成分ＳRを左インバンドチャンネルＴL,Inに結合し、結合器７５２は、右インバンドクロストークチャンネルＵRを生成するために、左対側キャンセレーション成分ＳLを右インバンドチャンネルＴR,Inに結合する。イン－アウトバンド結合器７６０は、左出力チャンネルＯLを生成するために、左インバンドクロストークチャンネルＵLをアウトオブバンドチャンネルＴL,Outと結合し、右出力チャンネルＯRを生成するために、右インバンドクロストークチャンネルＵRをアウトオブバンドチャンネルＴR,Outと結合する。
【0081】
したがって、左出力チャンネルＯLは、対側サウンドに帰せられる、インバンドチャンネルＴR,Inの部分の反転に対応する右対側キャンセレーション成分ＳRを含み、右出力チャンネルＯRは、対側サウンドに帰せられる、インバンドチャンネルＴL,Inの部分の反転に対応する左対側キャンセレーション成分ＳLを含む。この構成においては、右耳に到達される、右出力チャンネルＯRに従って、右ラウドスピーカによって出力された同側サウンド成分の波面は、左出力チャンネルＯLに従って、左ラウドスピーカによって出力された対側サウンド成分の波面を打ち消すことができる。同様に、左耳に到達される左出力チャンネルＯLに従って、左ラウドスピーカによって出力された同側サウンド成分の波面は、右出力チャンネルＯRに従って、右ラウドスピーカによって出力された対側サウンド成分の波面を打ち消すことができる。したがって、対側サウンド成分は、空間検出性を高めるために低減させることができる。
【0082】
直交成分空間処理
図８は、１つまたは複数の実施形態による、ハイパーミッド成分、残差ミッド成分、ハイパーサイド成分、または残差サイド成分の少なくとも１つを使用する、空間処理のためのプロセスのフローチャートである。空間処理は、とりわけ、ゲイン適用、振幅または遅延ベースのパニング、バイノーラル処理、リバーブレーション、圧縮および制限などのダイナミックレンジ処理、線形または非線形オーディオ処理技法およびエフェクト、コーラスエフェクト、フランジングエフェクト、ボーカルまたはインストルメンタルスタイル転送、変換、または再合成に対する機械学習ベースの手法を含み得る。プロセスは、空間的に増強されたオーディオを、ユーザのデバイスに提供するために実行され得る。プロセスは、より少ないステップまたは追加のステップを含み得て、ステップは、異なる順序で実行され得る。
図８は、１つまたは複数の実施形態による、ハイパーミッド成分、残差ミッド成分、ハイパーサイド成分、または残差サイド成分の少なくとも１つを使用する、空間処理のためのプロセスのフローチャートである。空間処理は、とりわけ、ゲイン適用、振幅または遅延ベースのパニング、バイノーラル処理、リバーブレーション、圧縮および制限などのダイナミックレンジ処理、線形または非線形オーディオ処理技法およびエフェクト、コーラスエフェクト、フランジングエフェクト、ボーカルまたはインストルメンタルスタイル転送、変換、または再合成に対する機械学習ベースの手法を含み得る。プロセスは、空間的に増強されたオーディオを、ユーザのデバイスに提供するために実行され得る。プロセスは、より少ないステップまたは追加のステップを含み得て、ステップは、異なる順序で実行され得る。
【0083】
オーディオ処理システム（例えば、オーディオ処理システム１００）は、入力オーディオ信号（例えば、左入力チャンネル１０３と、右入力チャンネル１０５と）を受信する８１０。いくつかの実施形態においては、入力オーディオ信号は、複数の左－右チャンネルペアを含むマルチチャンネルオーディオ信号であり得る。各左－右チャンネルペアは、左入力チャンネルおよび右入力チャンネルについて本明細書において説明されるように処理され得る。
【0084】
オーディオ処理システムは、入力オーディオ信号から、非空間的ミッド成分（例えば、ミッド成分１０９）と、空間的サイド成分（例えば、サイド成分１１１）とを生成する８２０。いくつかの実施形態においては、Ｌ／ＲからＭ／Ｓへの変換器（例えば、Ｌ／ＲからＭ／Ｓへの変換器モジュール１０７）が、入力オーディオ信号のミッド成分およびサイド成分への変換を実行する。
【0085】
オーディオ処理システムは、ハイパーミッド成分（例えば、ハイパーミッド成分Ｍ１）、ハイパーサイド成分（例えば、ハイパーサイド成分Ｓ１）、残差ミッド成分（例えば、残差ミッド成分Ｍ２）、および残差サイド成分（例えば、残差サイド成分Ｓ２）のうちの少なくとも１つを生成する８３０。オーディオ処理システムは、上で列挙された成分のうち少なくとも１つおよび／またはすべてを生成し得る。ハイパーミッド成分は、ミッド成分のスペクトルエネルギーから除去されたサイド成分のスペクトルエネルギーを含む。残差ミッド成分は、ミッド成分のスペクトルエネルギーから除去されたハイパーミッド成分のスペクトルエネルギーを含む。ハイパーサイド成分は、サイド成分のスペクトルエネルギーから除去されたミッド成分のスペクトルエネルギーを含む。残差サイド成分は、サイド成分のスペクトルエネルギーから除去されたハイパーサイド成分のスペクトルエネルギーを含む。Ｍ１、Ｍ２、Ｓ１、またはＳ２を生成するために使用される処理は、周波数領域または時間領域において実行され得る。
【0086】
オーディオ処理システムは、オーディオ信号を増強するために、ハイパーミッド成分、残差ミッド成分、ハイパーサイド成分、および残差サイド成分のうちの少なくとも１つをフィルタリングする８４０。フィルタリングは、ハイパーミッド成分、残差ミッド成分、ハイパーサイド成分、または残差サイド成分の周波数依存振幅または周波数依存遅延を調整することなどによる空間キュー処理を含み得る。空間キュー処理のいくつかの例は、振幅または遅延ベースのパニングまたはバイノーラル処理を含む。
【0087】
フィルタリングは、圧縮または制限などの、ダイナミックレンジ処理を含み得る。例えば、ハイパーミッド成分、残差ミッド成分、ハイパーサイド成分、または残差サイド成分は、圧縮のためのしきい値レベルが超えられたとき、圧縮率に従って圧縮され得る。別の例においては、ハイパーミッド成分、残差ミッド成分、ハイパーサイド成分、または残差サイド成分は、制限のためのしきい値レベルが超えられたとき、最大レベルに制限され得る。
【0088】
フィルタリングは、ハイパーミッド成分、残差ミッド成分、ハイパーサイド成分、または残差サイド成分に対する機械学習ベースの改変を含み得る。いくつかの例は、機械学習ベースのボーカルまたはインストルメンタルスタイル転送、変換、または再合成を含む。
【0089】
ハイパーミッド成分、残差ミッド成分、ハイパーサイド成分、または残差サイド成分のフィルタリングは、ゲイン適用、リバーブレーション、ならびにコーラスおよび／もしくはフランジングにわたる他の線形もしくは非線形オーディオ処理技法およびエフェクト、または他のタイプの処理を含み得る。いくつかの実施形態においては、フィルタリングは、図９との関連において以下でより詳細に説明されるように、サブバンド空間処理およびクロストーク補償のためのフィルタリングを含み得る。
【0090】
フィルタリングは、周波数領域または時間領域において実行され得る。いくつかの実施形態においては、ミッド成分およびサイド成分が時間領域から周波数領域に変換され、ハイパー成分および／または残差成分が周波数領域において生成され、フィルタリングが周波数領域において実行され、フィルタリングされた成分は時間領域に変換される。他の実施形態においては、ハイパー成分および／または残差成分は、時間領域に変換され、フィルタリングは、時間領域において、これらの成分に対して実行される。
【0091】
オーディオ処理システムは、フィルタリングされたハイパー／残差成分のうちの１つまたは複数を使用して、左出力チャンネル（例えば、左出力チャンネル１２１）と、右出力チャンネル（例えば、右出力チャンネル１２３）とを生成する８５０。例えば、Ｍ／ＳからＬ／Ｒへの変換は、フィルタリングされたハイパーミッド成分、フィルタリングされた残差ミッド成分、フィルタリングされたハイパーサイド成分、またはフィルタリングされた残差サイド成分のうちの少なくとも１つから生成されたミッド成分（例えば、処理されたミッド成分１３１）またはサイド成分（例えば、処理されたサイド成分１３９）を使用して実行され得る。別の例においては、フィルタリングされたハイパーミッド成分、もしくはフィルタリングされた残差ミッド成分が、Ｍ／ＳからＬ／Ｒへの変換のためのミッド成分として使用され得て、またはフィルタリングされたハイパーサイド成分もしくは残差サイド成分がＭ／ＳからＬ／Ｒへの変換のためのサイド成分として使用され得る。
【0092】
直交成分サブバンド空間およびクロストーク処理
図９は、１つまたは複数の実施形態による、ハイパーミッド成分、残差ミッド成分、ハイパーサイド成分、または残差サイド成分のうちの少なくとも１つを使用する、サブバンド空間処理およびクロストークに対する補償処理のためのプロセスのフローチャートである。クロストーク処理は、クロストークキャンセレーション、またはクロストークシミュレーションを含み得る。サブバンド空間処理は、ラウドスピーカのロケーションに対応する空間内の特定の地点ではなく、広いエリアからサウンドがリスナに向けられている知覚を生み出すこと（例えば、音場エンハンスメント）などによる、増強された空間検出性をオーディオコンテンツに提供し、それによって、より没入感のあるリスニング体験をリスナに生み出す。クロストークシミュレーションは、対側クロストークを伴ったラウドスピーカ体験をシミュレートするために、ヘッドホンに出力されるオーディオに対して使用され得る。クロストークキャンセレーションは、クロストーク干渉の影響を除去するために、ラウドスピーカに出力されるオーディオに対して使用され得る。クロストーク補償は、クロストークキャンセレーションまたはクロストークシミュレーションによって引き起こされるスペクトル不良を補償する。プロセスは、より少ないステップまたは追加のステップを含み得て、ステップは、異なる順序で実行され得る。ハイパーおよび残差ミッド／サイド成分は、異なる目的のためには異なる方法で操作されることができる。例えば、クロストーク補償のケースにおいては、クロストーク処理からもたらされるスペクトルアーチファクトを、その成分だけにおいて除去するように努める際に、（多くの映画コンテンツにおけるボーカルダイアログエネルギーの大部分が発生する）ハイパーミッド成分Ｍ１だけに、目標とされるサブバンドフィルタリングが適用される。クロストーク処理を伴うまたは伴わない音場エンハンスメントのケースにおいては、目標とされるサブバンドゲインが、残差ミッド成分Ｍ２と、残差サイド成分Ｓ２とに適用され得る。例えば、残差ミッド成分Ｍ２は、減衰させられ得て、残差サイド成分Ｓ２は、反対に増幅させられ得て、最終的なＬ／Ｒ信号における知覚的ラウドネスの劇的な全体的変化を生じさせず、一方で、（例えば、ボーカルエネルギーの大部分をしばしば含む、信号のその部分である）ハイパーミッドＭ１成分における減衰も回避しながら、ゲインの観点から、これらの成分間の距離を増加させる（それは、上手に行われた場合、空間検出性を増加させることができる）。
図９は、１つまたは複数の実施形態による、ハイパーミッド成分、残差ミッド成分、ハイパーサイド成分、または残差サイド成分のうちの少なくとも１つを使用する、サブバンド空間処理およびクロストークに対する補償処理のためのプロセスのフローチャートである。クロストーク処理は、クロストークキャンセレーション、またはクロストークシミュレーションを含み得る。サブバンド空間処理は、ラウドスピーカのロケーションに対応する空間内の特定の地点ではなく、広いエリアからサウンドがリスナに向けられている知覚を生み出すこと（例えば、音場エンハンスメント）などによる、増強された空間検出性をオーディオコンテンツに提供し、それによって、より没入感のあるリスニング体験をリスナに生み出す。クロストークシミュレーションは、対側クロストークを伴ったラウドスピーカ体験をシミュレートするために、ヘッドホンに出力されるオーディオに対して使用され得る。クロストークキャンセレーションは、クロストーク干渉の影響を除去するために、ラウドスピーカに出力されるオーディオに対して使用され得る。クロストーク補償は、クロストークキャンセレーションまたはクロストークシミュレーションによって引き起こされるスペクトル不良を補償する。プロセスは、より少ないステップまたは追加のステップを含み得て、ステップは、異なる順序で実行され得る。ハイパーおよび残差ミッド／サイド成分は、異なる目的のためには異なる方法で操作されることができる。例えば、クロストーク補償のケースにおいては、クロストーク処理からもたらされるスペクトルアーチファクトを、その成分だけにおいて除去するように努める際に、（多くの映画コンテンツにおけるボーカルダイアログエネルギーの大部分が発生する）ハイパーミッド成分Ｍ１だけに、目標とされるサブバンドフィルタリングが適用される。クロストーク処理を伴うまたは伴わない音場エンハンスメントのケースにおいては、目標とされるサブバンドゲインが、残差ミッド成分Ｍ２と、残差サイド成分Ｓ２とに適用され得る。例えば、残差ミッド成分Ｍ２は、減衰させられ得て、残差サイド成分Ｓ２は、反対に増幅させられ得て、最終的なＬ／Ｒ信号における知覚的ラウドネスの劇的な全体的変化を生じさせず、一方で、（例えば、ボーカルエネルギーの大部分をしばしば含む、信号のその部分である）ハイパーミッドＭ１成分における減衰も回避しながら、ゲインの観点から、これらの成分間の距離を増加させる（それは、上手に行われた場合、空間検出性を増加させることができる）。
【0093】
オーディオ処理システムは、入力オーディオ信号を受信し９１０、入力オーディオ信号は、左チャンネルと、右チャンネルとを含む。いくつかの実施形態においては、入力オーディオ信号は、複数の左－右チャンネルペアを含むマルチチャンネルオーディオ信号であり得る。各左－右チャンネルペアは、左入力チャンネルおよび右入力チャンネルについて本明細書において説明されるように処理され得る。
【0094】
オーディオ処理システムは、受信された入力オーディオ信号にクロストーク処理を適用する９２０。クロストーク処理は、クロストークシミュレーションおよびクロストークキャンセレーションのうちの少なくとも１つを含む。
【0095】
ステップ９３０乃至ステップ９６０において、オーディオ処理システムは、ハイパーミッド成分、ハイパーサイド成分、残差ミッド成分、または残差サイド成分のうちの１つまたは複数を使用してクロストーク処理のためのサブバンド空間処理およびクロストーク補償を実行する。いくつかの実施形態においては、クロストーク処理は、ステップ９３０乃至ステップ９６０における処理の後に実行され得る。
【0096】
オーディオ処理システムは、（例えば、クロストーク処理された）オーディオ信号から、ミッド成分と、サイド成分とを生成する９３０。
【0097】
オーディオ処理システムは、ハイパーミッド成分、残差ミッド成分、ハイパーサイド成分、および残差サイド成分のうちの少なくとも１つを生成する９４０。オーディオ処理システムは、上で列挙された成分のうち少なくとも１つおよび／またはすべてを生成し得る。
【0098】
オーディオ処理システムは、サブバンド空間処理をオーディオ信号に適用するために、ハイパーミッド成分、残差ミッド成分、ハイパーサイド成分、および残差サイド成分のうちの少なくとも１つのサブバンドをフィルタリングする９５０。各サブバンドは、クリティカルバンドのセットによって定義され得るなど、周波数の範囲を含み得る。いくつかの実施形態においては、サブバンド空間処理は、ハイパーミッド成分、残差ミッド成分、ハイパーサイド成分、および残差サイド成分のうちの少なくとも１つのサブバンドを時間遅延させることをさらに含む。
【0099】
オーディオ処理システムは、入力オーディオ信号のクロストーク処理からのスペクトル不良を補償するために、ハイパーミッド成分、残差ミッド成分、ハイパーサイド成分、および残差サイド成分のうちの少なくとも１つをフィルタリングする９６０。スペクトル不良は、クロストーク処理のアーチファクトとして発生する、事前決定されたしきい値（例えば、１０ｄＢ）を超える、ハイパーミッド成分、残差ミッド成分、ハイパーサイド成分、または残差サイド成分の周波数応答プロットにおけるピークまたはトラフを含み得る。スペクトル不良は、推定されるスペクトル不良であり得る。
【0100】
いくつかの実施形態においては、ステップ９５０におけるサブバンド空間処理のためのスペクトル直交成分のフィルタリングおよびステップ９６０におけるクロストーク補償は、フィルタリングのために選択された各スペクトル直交成分ごとに、単一のフィルタリング動作に統合され得る。
【0101】
いくつかの実施形態においては、サブバンド空間処理またはクロストーク補償のためのハイパー／残差ミッド／サイド成分のフィルタは、ゲイン適用、振幅もしくは遅延ベースのパニング、バイノーラル処理、リバーブレーション、圧縮および制限などのダイナミックレンジ処理、コーラスおよび／もしくはフランジングにわたる線形もしくは非線形オーディオ処理技法およびエフェクト、ボーカルもしくはインストルメンタルスタイル転送、変換、もしくは再合成に対する機械学習ベースの手法、またはハイパーミッド成分、残差ミッド成分、ハイパーサイド成分、および残差サイド成分のうちのいずれかを使用する、他のタイプの処理など、他の目的のためのフィルタリングとの関連において実行され得る。
【0102】
フィルタリングは、周波数領域または時間領域において実行され得る。いくつかの実施形態においては、ミッド成分およびサイド成分が、時間領域から周波数領域に変換され、ハイパー成分および／または残差成分が、周波数領域において生成され、フィルタリングが周波数領域において実行され、フィルタリングされた成分が時間領域に変換される。他の実施形態においては、ハイパー成分および／または残差成分は、時間領域に変換され、フィルタリングは、時間領域において、これらの成分に対して実行される。
【0103】
オーディオ処理システムは、フィルタリングされたハイパーミッド成分から、左出力チャンネルと、右出力チャンネルとを生成する９７０。いくつかの実施形態においては、左出力チャンネルおよび右出力チャンネルは、フィルタリングされた残差ミッド成分、フィルタリングされたハイパーサイド成分、およびフィルタリングされた残差サイド成分のうちの少なくとも１つに追加的に基づく。
【0104】
【0105】
図１０は、左に激しくパニングされたホワイトノイズ信号（ｗｈｉｔｅ ｎｏｉｓｅ ｓｉｇｎａｌ ｐａｎｎｅｄ ｈａｒｄ ｌｅｆｔ）１０００のプロットを例示している。左－右ホワイトノイズ信号は、ミッド成分１００５と、サイド成分１０１０とに変換され、定電力サイン／コサインパンロウを使用して、左に激しくパニングされる。ホワイトノイズ信号が、左への激しいパニング１０００を施されたとき、一対の左ラウドスピーカと右ラウドスピーカとの間に位置付けられたユーザは、サウンドを、左ラウドスピーカに、および／またはその周囲に現れたように知覚する。ホワイトノイズ信号の左入力チャンネルと右入力チャンネルとに分割されたホワイトノイズ信号は、Ｌ／ＲからＭ／Ｓへの変換器モジュール１０７を使用して、ミッド成分１００５と、サイド成分１０１０とに変換され得る。図１０に示されるように、ホワイトノイズ信号が、左への激しいパニング１０００を施されたとき、ミッド成分１００５およびサイド成分１０１０の両方は、近似的に等しい量のエネルギーを有する。同様に、ホワイトノイズ信号が、右への激しいパニングを施されたとき（図１０には示されず）、ミッド成分およびサイド成分は、近似的に等しい量のエネルギーを有する。
【0106】
図１１は、中央左にパニングされたホワイトノイズ信号（ｗｈｉｔｅ ｎｏｉｓｅ ｓｉｇｎａｌ ｐａｎｎｅｄ ｃｅｎｔｅｒ ｌｅｆｔ）１１００のプロットを例示している。ホワイトノイズ信号が、一般的な定電力サイン／コサインパンロウを使用した、中央左へのパニング１１００を施されたとき、一対の左ラウドスピーカと右ラウドスピーカとの間に位置付けられたユーザは、サウンドを、ユーザの正面と左ラウドスピーカとの間の中途に現れたように知覚する。図１１は、中央左にパニングされたホワイトノイズ信号１１００のミッド成分１１０５およびサイド成分１１１０、ならびに左に激しくパニングされたホワイトノイズ信号１０００を示している。左に激しくパニングされたホワイトノイズ信号１０００と比較すると、ミッド成分１１０５は、近似的に３ｄＢ増加し、一方、サイド成分１１１０は、近似的に６ｄＢ減少する。ホワイトノイズ信号が中央右にパニングされたとき、ミッド成分１１０５およびサイド成分１１１０は、図１１に示されるものと類似したエネルギーを有する。
【0107】
図１２は、中央にパニングされたホワイトノイズ信号（ｗｈｉｔｅ ｎｏｉｓｅ ｓｉｇｎａｌ ｐａｎｎｅｄ ｃｅｎｔｅｒ）１２００のプロットを例示している。ホワイトノイズ信号が、一般的な定電力サイン／コサインパンロウを使用した、中央へのパニング１２００を施されたとき、一対の左ラウドスピーカと右ラウドスピーカとの間に位置付けられたユーザは、サウンドを、ユーザの正面（例えば、左ラウドスピーカと右ラウドスピーカとの間）に現れたように知覚する。図１２に示されるように、中央にパニングされたホワイトノイズ信号１２００は、ミッド成分１２０５だけを有する。
【0108】
図１０、図１１、および図１２における上の例から、ミッド成分は、図１２に示されるように、中央にパニングされたサウンドについてのエネルギーだけを信号に含む（すなわち、左チャンネルおよび右チャンネルは、同一である）が、元のＬ／Ｒストリームにおけるサウンドが、図１０および図１１に示されるように、一般に、中央からずれているように（すなわち、中央の左または右にパニングされたサウンドとして）知覚されるシナリオにおいては、ミッド成分エネルギーも存在することが分かる。
【0109】
特に、Ｌ／Ｒオーディオ使用事例の大部分を代表する、上の３つのシナリオは、サイドが唯一のエネルギーを構成するシナリオを包含しない。これは、左チャンネルおよび右チャンネルが１８０度位相がずれている（すなわち、符号反転している）ケースだけであり、音楽および娯楽用の２チャンネルオーディオにおいては、まれなことである。そのため、ミッド成分は、実質的にすべての２チャンネル左／右オーディオストリームに遍在し、また、中央にパニングされたコンテンツにおける唯一のエネルギーを構成し、一方、サイド成分は、中央にパニングされたコンテンツ以外のすべてに存在し、信号における唯一のエネルギーとして働くことは、あるとしても、ほとんどない。
【0110】
直交成分処理は、スペクトル的に互いに「直交」する、ミッド成分およびサイド成分の部分を分離して操作する。すなわち、直交成分処理を使用すると、音場の中央に存在するエネルギーだけに対応するミッド成分の部分（すなわち、ハイパーミッド成分）が、分離されることができ、同様に、音場の中央に存在しないエネルギーだけに対応するサイド成分の部分（すなわち、ハイパーサイド成分）が、分離されることができる。概念的には、ハイパーミッド成分は、ラウドスピーカでもヘッドホンでも同様に、音場の中央で知覚されるサウンドの細い柱に対応するエネルギーである。さらに、単純なスカラーを使用すると、この柱がどれだけ「細い」かを制御して、ハイパーミッドからミッドへの、およびハイパーサイドからサイドへの、補間空間を提供することが可能である。さらに、我々のハイパーミッド／サイド成分信号を導出することの副産物として、元の完全なミッド成分およびサイド成分を形成するために、ハイパーミッド成分またはハイパーサイド成分と一緒に結合する、残差信号（例えば、残差ミッド成分および残差サイド成分）を操作することも可能である。ミッドおよびサイドのこれら４つのサブ成分の各々は、単純なゲインステージングから、マルチバンドＥＱ、カスタムおよび特異エフェクトにわたる、操作のすべての方式を用いて、独立して処理されることができる。
【0111】
図１３乃至図１９は、ホワイトノイズ信号の直交成分処理を例示している。図１３は、中央にパニングされ、（例えば、８次バターワースフィルタを使用して）２０Ｈｚから１００Ｈｚの間においてバンドパスされた、ホワイトノイズ信号１３０５と、左に激しくパニングされ、（例えば、８次バターワースフィルタを使用して）５０００Ｈｚから１００００Ｈｚの間においてバンドパスされた、ホワイトノイズ信号１３１０の、直交成分処理なしの、プロットを例示している。プロットは、パニングされたホワイトノイズ信号１３０５および１３１０の各々についての、ミッド成分１３１５と、サイド成分１３２０とを示している。中央にパニングされたホワイトノイズ信号１３０５は、それのミッド成分１３１５だけに、エネルギーを有し、一方、左に激しくパニングされたホワイトノイズ信号は、それのミッド成分１３１５と、それのサイド成分１３２０とに、等しい量のエネルギーを有する。これは、図１０および図１２に示された結果と同様である。
【0112】
図１４は、サイド成分１３２０のエネルギーが除去された、図１３のパニングされたホワイトノイズ信号１３０５および１３１０を例示している。信号１３０５のホワイトノイズの中央にパニングされたローバンドは、変化しない。信号１３１０のホワイトノイズの左に激しくパニングされたハイバンドは、今や、ゼロのサイドエネルギーを有するが、ミッド成分１３１５によって表されるエネルギーの部分は、まだ存在する。サイドエネルギーが、除去されたとしても、信号１３１０によって示されるような、ミッド信号に存在する、中央にパニングされていないエネルギーが、まだ存在する。
【0113】
図１５は、直交成分処理を使用した、図１３のパニングされたホワイトノイズ信号１５００を例示している。特に、ハイパーミッド成分１５１０を分離し、オーディオ信号の他のエネルギーを除去するために、直交成分処理が、使用される。ここでは、左に激しくパニングされた信号が、除去され、中央にパニングされた信号１５００だけが、残っている。これは、ハイパーミッド成分１５１０が、音場の真ん中を占める信号におけるエネルギーだけの分離であり、他のものの分離ではないことを示す。
【0114】
オーディオ信号のハイパーミッド成分を分離することが、可能であるので、オーディオ信号は、元の信号のどの要素が、様々なＭ１／Ｍ２／Ｓ１／Ｓ２成分になるかを制御するために、操作されることができる。この前処理操作は、単純な振幅および遅延調整から、より複雑なフィルタリング技法にわたることができる。それらの前処理操作は、その後、元の音場を復元するために、逆転され得る。
【0115】
図１６は、直交成分処理を使用した、図１３のパニングされたホワイトノイズ信号１６００の別の実施形態を例示している。Ｌ／Ｒオーディオ信号は、（例えば、図１３における信号１３１０によって示されるような）左に激しくパニングされたハイバンドホワイトノイズを音場の中央に配置し、（例えば、図１３における信号１３０５によって示されるような）中央にパニングされたローバンドノイズを中央から遠くにシフトさせるような方法で、回転される。元は左に激しくパニングされ、５０００Ｈｚから１００００Ｈｚ１６００の間においてバンドパスされたホワイトノイズ信号は、その後、抽出され、回転されたＬ／Ｒ信号のハイパーミッド成分１６１０を分離することによって、さらに処理されることができる。
【0116】
図１７は、脱相関されたホワイトノイズ信号１７００を示す。入力ホワイトノイズ信号１７００は、右チャンネル成分１７１０と、左チャンネル成分１７２０とを含む、２チャンネル直交ホワイトノイズ信号であり得る。プロットは、また、ホワイトノイズ信号から生成された、ミッド成分１７３０と、サイド成分１７４０とを示す。左チャンネル成分１７２０のスペクトルエネルギーは、右チャンネル成分１７１０のそれと一致し、ミッド成分１７３０のスペクトルエネルギーは、サイド成分１７４０のそれと一致する。ミッド成分１７３０およびサイド成分１７４０は、右チャンネル成分１７１０および左チャンネル成分１７２０よりも信号レベルが約３ｄＢ低い。
【0117】
図１８は、ハイパーミッド成分１８１０と、残差ミッド成分１８２０とに分解された、ミッド成分１７３０を例示している。ミッド成分１７３０は、音場における入力オーディオ信号の非空間的情報を表す。ハイパーミッド成分１８１０は、音場の中央において直接的に見出される、非空間情報のサブ成分を含み、残差ミッド成分１８２０は、残りの非空間情報である。典型的なステレオオーディオ信号においては、ハイパーミッド成分１８１０は、ダイアログまたはボーカルなど、オーディオ信号の主要な特徴を含み得る。図１８においては、残差ミッド成分１８２０は、ミッド成分１７３０よりも近似的に３ｄＢ低く、ハイパーミッド成分１８１０は、ミッド成分１７３０よりも近似的に８～９ｄＢ低い。
【0118】
図１９は、ハイパーサイド成分１９１０と、残差サイド成分１９２０とに分解された、サイド成分１７４０を例示している。サイド成分１７４０は、音場における入力オーディオ信号における空間情報を表す。ハイパーサイド成分１９１０は、音場のエッジにおいて見出される、空間情報のサブ成分を含み、残差サイド成分１９２０は、残りの空間情報である。典型的なステレオオーディオ信号においては、残差サイド成分１９２０は、バイノーラル処理、パニング技法、リバーブレーション、および／または脱相関プロセスのエフェクトなど、処理からもたらされる主要な特徴を含む。図１９に示されるように、サイド成分１７４０と、ハイパーサイド成分１９１０と、残差サイド成分１９２０との間の関係は、ミッド成分１７３０と、ハイパーミッド成分１８１０と、残差サイド成分１８２０のそれと類似している。
【0119】
コンピューティングマシンアーキテクチャ
図２０は、１つまたは複数の実施形態による、コンピュータシステム２０００のブロック図である。コンピュータシステム２０００は、オーディオ処理システムを実施する回路の例である。チップセット２００４に結合された、少なくとも１つのプロセッサ２００２が、例示されている。チップセット２００４は、メモリコントローラハブ２０２０と、入出力（Ｉ／Ｏ）コントローラハブ２０２２とを含む。メモリ２００６、およびグラフィックスアダプタ２０１２が、メモリコントローラハブ２０２０に結合され、ディスプレイデバイス２０１８が、グラフィックスアダプタ２０１２に結合される。ストレージデバイス１００８、キーボード２０１０、ポインティングデバイス２０１４、およびネットワークアダプタ２０１６が、Ｉ／Ｏコントローラハブ２０２２に結合される。コンピュータシステム２０００は、様々なタイプの入力デバイスまたは出力デバイスを含み得る。コンピュータシステム２０００の他の実施形態は、異なるアーキテクチャを有する。例えば、メモリ２００６は、いくつかの実施形態においては、プロセッサ２００２に直接的に結合される。
図２０は、１つまたは複数の実施形態による、コンピュータシステム２０００のブロック図である。コンピュータシステム２０００は、オーディオ処理システムを実施する回路の例である。チップセット２００４に結合された、少なくとも１つのプロセッサ２００２が、例示されている。チップセット２００４は、メモリコントローラハブ２０２０と、入出力（Ｉ／Ｏ）コントローラハブ２０２２とを含む。メモリ２００６、およびグラフィックスアダプタ２０１２が、メモリコントローラハブ２０２０に結合され、ディスプレイデバイス２０１８が、グラフィックスアダプタ２０１２に結合される。ストレージデバイス１００８、キーボード２０１０、ポインティングデバイス２０１４、およびネットワークアダプタ２０１６が、Ｉ／Ｏコントローラハブ２０２２に結合される。コンピュータシステム２０００は、様々なタイプの入力デバイスまたは出力デバイスを含み得る。コンピュータシステム２０００の他の実施形態は、異なるアーキテクチャを有する。例えば、メモリ２００６は、いくつかの実施形態においては、プロセッサ２００２に直接的に結合される。
【0120】
ストレージデバイス２００８は、ハードドライブ、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、ＤＶＤ、またはソリッドステートメモリデバイスなど、１つまたは複数の非一時的なコンピュータ可読記憶媒体を含む。メモリ２００６は、プロセッサ２００２によって使用される、（１つまたは複数の命令から構成される）プログラムコード、およびデータを保持する。プログラムコードは、図１～図１９を用いて説明された、処理態様に対応し得る。
【0121】
ポインティングデバイス２０１４は、コンピュータシステム２０００にデータを入力するために、キーボード２０１０と組み合わせて、使用される。グラフィックスアダプタ２０１２は、ディスプレイデバイス２０１８上に、画像および他の情報を表示する。いくつかの実施形態においては、ディスプレイデバイス２０１８は、ユーザ入力および選択を受け取るための、タッチスクリーン能力を含む。ネットワークアダプタ２０１６は、コンピュータシステム２０００をネットワークに結合する。コンピュータシステム２０００のいくつかの実施形態は、図２０に示されるそれらとは異なるコンポーネント、および／または他のコンポーネントを有する。
【0122】
回路は、非一時的なコンピュータ可読に記憶されたプログラムコードを実行する、１つまたは複数のプロセッサを含み得、プログラムコードは、１つまたは複数のプロセッサによって実行されたとき、オーディオ処理システムまたはオーディオ処理システムのモジュールを実施するように、１つまたは複数のプロセッサを構成する。オーディオ処理システムまたはオーディオ処理システムのモジュールを実施する回路の他の例は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他のタイプのコンピュータ回路などの、集積回路を含み得る。
【0123】
追加的な考察
開示された構成の例示的な利益および利点は、デバイスおよび関連付けられたオーディオレンダリングシステムに適応した、増強されたオーディオシステム、ならびに（例えば、オーディオ信号が、ゲーム用ではなく、音楽再生用に使用されることを示す）使用事例情報など、デバイスＯＳによって利用可能にされる他の関連情報に起因する、動的オーディオエンハンスメントを含む。増強されたオーディオシステムは、（例えば、ソフトウェア開発キットを使用して）デバイスに統合され得、またはオンデマンドでアクセス可能なように、リモートサーバ上に記憶され得る。このように、デバイスは、それのオーディオレンダリングシステムまたはオーディオレンダリング構成に固有の、オーディオエンハンスメントシステムのメンテナンスのために、ストレージまたは処理リソースを割く必要がない。いくつかの実施形態においては、増強されたオーディオシステムは、様々なレベルの利用可能なデバイス固有のレンダリング情報にわたって、効果的なオーディオエンハンスメントが、適用されることができるように、レンダリングシステム情報についての様々なレベルの問い合わせを可能にする。
開示された構成の例示的な利益および利点は、デバイスおよび関連付けられたオーディオレンダリングシステムに適応した、増強されたオーディオシステム、ならびに（例えば、オーディオ信号が、ゲーム用ではなく、音楽再生用に使用されることを示す）使用事例情報など、デバイスＯＳによって利用可能にされる他の関連情報に起因する、動的オーディオエンハンスメントを含む。増強されたオーディオシステムは、（例えば、ソフトウェア開発キットを使用して）デバイスに統合され得、またはオンデマンドでアクセス可能なように、リモートサーバ上に記憶され得る。このように、デバイスは、それのオーディオレンダリングシステムまたはオーディオレンダリング構成に固有の、オーディオエンハンスメントシステムのメンテナンスのために、ストレージまたは処理リソースを割く必要がない。いくつかの実施形態においては、増強されたオーディオシステムは、様々なレベルの利用可能なデバイス固有のレンダリング情報にわたって、効果的なオーディオエンハンスメントが、適用されることができるように、レンダリングシステム情報についての様々なレベルの問い合わせを可能にする。
【0124】
本明細書の全体にわたって、単一のインスタンスとして説明された、コンポーネント、動作、または構造を、複数のインスタンスが、実施し得る。１つまたは複数の方法の個々の動作は、別々の動作として、例示および説明されているが、個々の動作のうちの１つまたは複数は、同時に実行され得、何も、動作が例示された順序で実行されることを必要としない。例示的な構成において別々のコンポーネントとして提示された、構造および機能性は、組み合わされた構造またはコンポーネントとして、実施され得る。同様に、単一のコンポーネントとして提示された、構造および機能性は、別々のコンポーネントとして、実施され得る。これらおよび他の変形、変更、追加、および改善は、本明細書における主題の範囲内に含まれる。
【0125】
ロジック、または数々のコンポーネント、モジュール、もしくはメカニズムを含むものとして、ある実施形態が、本明細書で説明された。モジュールは、ソフトウェアモジュール（例えば、マシン可読媒体上または伝送信号内に具現化されたコード）、またはハードウェアモジュールのどちらかを構成し得る。ハードウェアモジュールは、ある動作を実行することが可能な有形のユニットであり、ある方式で構成または配置され得る。例示的な実施形態においては、１つもしくは複数のコンピュータシステム（例えば、スタンドアロン、クライアント、またはサーバコンピュータシステム）、またはコンピュータシステムの１つもしくは複数のハードウェアモジュール（例えば、プロセッサ、またはプロセッサのグループ）は、本明細書において説明されるような、ある動作を実行するように動作するハードウェアモジュールとして、ソフトウェア（例えば、アプリケーションまたはアプリケーション部分）によって、構成され得る。
【0126】
本明細書において説明される例示的な方法の様々な動作は、関連動作を実行するように、（例えば、ソフトウェアによって）一時的に構成される、または永続的に構成される、１つまたは複数のプロセッサによって、少なくとも部分的に実行され得る。一時的に構成されるか、または永続的に構成されるかにかかわらず、そのようなプロセッサは、１つまたは複数の動作または機能を実行するように動作する、プロセッサ実施されるモジュールを構成し得る。本明細書において言及されるモジュールは、いくつかの例示的な実施形態においては、プロセッサ実施されるモジュールを構成し得る。
【0127】
同様に、本明細書において説明される方法は、少なくとも部分的に、プロセッサ実施され得る。例えば、方法の動作のうちの少なくともいくつかは、１つまたは複数のプロセッサまたはプロセッサ実施されるハードウェアモジュールによって、実行され得る。動作のあるものの実行は、単一のマシン内に存在するばかりでなく、数々のマシンにわたって配備された、１つまたは複数のプロセッサの間に分散され得る。いくつかの例示的な実施形態においては、１つまたは複数のプロセッサは、単一のロケーションに（例えば、家庭環境、オフィス環境内に、またはサーバファームとして）配置され得、一方、他の実施形態においては、プロセッサは、数々のロケーションにわたって、分散され得る。
【0128】
特段の指摘がない限り、「処理する」、「計算する」、「算出する」、「決定する」、「提示する」、または「表示する」などの語を使用する、本明細書における説明は、１つもしくは複数のメモリ（例えば、揮発性メモリ、不揮発性メモリ、またはそれらの組み合わせ）、レジスタ、または情報を受信し、記憶し、送信し、もしくは表示する、他のマシンコンポーネント内において、物理的な（例えば、電子的、磁気的、または光学的な）量として表されるデータを操作または変換する、マシン（例えば、コンピュータ）のアクションまたはプロセスに言及することがある。
【0129】
本明細書において使用される場合、「一実施形態」または「実施形態」に対するいずれの言及も、実施形態との関連において説明される、特定の要素、特徴、構造、または特性が、少なくとも１つの実施形態に含まれることを意味する。本明細書内の様々な場所における「一実施形態において」という語句の出現は、必ずしもすべてが同じ実施形態に言及しているわけではない。
【0130】
いくつかの実施形態は、「結合された」および「接続された」という表現、ならびにそれらの派生語を使用して、説明されることがある。これらの用語は、互いの同義語として意図されていないことが、理解されるべきである。例えば、いくつかの実施形態は、２つ以上の要素が、物理的または電気的に直接的な接触を互いに行っていることを示す、「接続された」という用語を使用して、説明されることがある。別の例においては、いくつかの実施形態は、２つ以上の要素が、物理的または電気的に直接的な接触を行っていることを示す、「結合された」という用語を使用して、説明されることがある。しかしながら、「結合された」という用語は、２つ以上の要素が、直接的な接触を互いに行っていないが、それでも依然として、互いに協力または相互作用していることを意味してもよい。実施形態は、この文脈において、限定されない。
【0131】
本明細書において使用される場合、「含む（ｃｏｍｐｒｉｓｅ）」、「含む（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｅｓ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「有する（ｈａｓ）」、「有する（ｈａｖｉｎｇ）」という用語、またはそれらの他の任意の変形は、非排他的な包含を含むことを意図している。例えば、要素のリストを含む、プロセス、方法、物品、または装置は、必ずしもそれらの要素だけに限定されるわけではなく、明示的に列挙されていない、またはそのようなプロセス、方法、物品、もしくは装置に固有の、他の要素を含んでよい。さらに、明示的にそれを否定する指摘がない限り、「または」は、包含的な「または」のことであり、排他的な「または」のことではない。例えば、ＡまたはＢという条件は、以下のいずれか１つによって、すなわち、Ａが真であり（または存在し）、Ｂが偽である（または存在しない）、Ａが偽であり（または存在せず）、Ｂが真である（または存在する）、ならびにＡおよびＢの両方が、真である（または存在する）によって、満たされる。
【0132】
加えて、「ａ」または「ａｎ」の使用は、本明細書における実施形態の要素およびコンポーネントを説明するために、利用される。これは、単に便宜的に、および本発明の一般的な意味を与えるために、行われる。この説明は、１つまたは少なくとも１つを含むように、読まれるべきであり、そうではないことが意味されていることが明らかでない限り、単数形は、複数形も含む。
【0133】
この説明のいくつかの部分は、情報に対する操作のアルゴリズムおよびシンボリック表現の観点から、実施形態を説明する。これらのアルゴリズム的な説明および表現は、自分の仕事の内容を他の当業者に効果的に伝えるために、データ処理技術分野における当業者によって、一般的に使用されている。これらの操作は、機能的、計算的、または論理的に説明されるが、コンピュータプログラム、または等価的な電気回路、もしくはマイクロコードなどによって実施されると理解される。さらに、一般性を失うことなく、動作のこれらの配置をモジュールと呼ぶことが、時には便利であることも分かっている。説明された動作およびそれらと関連付けられたモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせで、具現化され得る。
【0134】
本明細書において説明された、ステップ、動作、またはプロセスのいずれも、１つまたは複数のハードウェアまたはソフトウェアモジュールを用いて、それだけで、または他のデバイスと組み合わせて、実行または実施され得る。一実施形態においては、ソフトウェアモジュールは、説明されたありとあらゆるステップ、操作、またはプロセスを実行するための、コンピュータプロセッサによって実行されることができる、コンピュータプログラムコードを含む、コンピュータ可読媒体を含む、コンピュータプログラム製品で実施される。
【0135】
実施形態は、本明細書における動作を実行するための装置にも関し得る。この装置は、必要とされる目的のために、特別に構築され得、および／またはそれは、コンピュータ内に記憶されたコンピュータプログラムによって、選択的に起動または再構成される、汎用コンピューティングデバイスを含み得る。そのようなコンピュータプログラムは、コンピュータシステムバスに結合され得る、非一時的な有形のコンピュータ可読記憶媒体、または電子的命令を記憶するのに適した任意のタイプの媒体に記憶され得る。さらに、本明細書において言及される、任意のコンピューティングシステムは、単一のプロセッサを含み得、またはコンピューティング能力を高めるための複数プロセッサ設計を利用した、アーキテクチャであり得る。
【0136】
実施形態は、本明細書において説明されるコンピューティングプロセスによって生成される製品にも関し得る。そのような製品は、コンピューティングプロセスからもたらされる情報を含み得、情報は、非一時的な有形のコンピュータ可読記憶媒体上に記憶され、本明細書において説明される、コンピュータプログラム製品または他のデータ組み合わせの任意の実施形態を含み得る。
【0137】
本開示を読んだとき、当業者は、本明細書において開示された原理を通した、デバイス固有のメタデータを使用する、オーディオエンハンスメントのためのシステムおよびプロセスのための、さらなる追加の代替的な構造設計および機能設計を理解するであろう。したがって、特定の実施形態および適用が、例示および説明されたが、開示された実施形態は、本明細書に開示された通りの構造およびコンポーネントに限定されないことが、理解されるべきである。添付の特許請求の範囲において定義される主旨および範囲から逸脱することなく、本明細書において開示された方法および装置の配置、動作、および詳細において、当業者に明らかな、様々な変更、変化、および変形が、施されてよい。
【0138】
最後に、本明細書において使用される言葉は、主として、読みやすさおよび教示的な目的のために、選択されたものであり、特許権を詳述または画定するために、選択されなかったことがある。したがって、特許権の範囲は、この詳細な説明によっては限定されず、むしろ、本明細書に基づいた出願において出された、いずれかの請求項によって限定されることが、意図されている。したがって、実施形態の開示は、以下の特許請求の範囲において規定される、特許権の範囲について、例示はするが、限定しないことが、意図されている。
【図1】
【図2A】
【図2B】
【図2C】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【手続補正書】
【提出日】2022-06-08
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【0016】
実施形態は、互いにスペクトル的に直交する、ミッド成分およびサイド成分を使用する、空間オーディオ処理に関する。例えば、オーディオ処理システムは、音場の中央に存在するスペクトルエネルギーだけに対応する、ミッド成分の部分を分離した、ハイパーミッド成分、または音場の中央に存在しないスペクトルエネルギーだけに対応する、サイド成分の部分を分離した、ハイパーサイド成分を生成する。ハイパーミッド成分は、ミッド成分のスペクトルエネルギーから除去された、サイド成分のスペクトルエネルギーを含み、ハイパーサイド成分は、サイド成分のスペクトルエネルギーから除去された、ミッド成分のスペクトルエネルギーを含む。オーディオ処理システムは、（例えば、ミッド成分のスペクトルエネルギーから、ハイパーミッド成分のスペクトルエネルギーを減算することによって）ハイパーミッド成分が除去された、ミッド成分のスペクトルエネルギーに対応する、残差ミッド成分、または（例えば、サイド成分のスペクトルエネルギーから、ハイパーサイド成分のスペクトルエネルギーを減算することによって）ハイパーサイド成分が除去された、サイド成分のスペクトルエネルギーに対応する、残差サイド成分も生成し得る。これらの直交成分を分離し、これらの成分を使用して、様々なタイプのオーディオ処理を実行することによって、オーディオ処理システムは、オーディオコンテンツの目標とされるエンハンスメントを提供することができる。ハイパーミッド成分は、音場の中央における非空間的（すなわち、ミッド）スペクトルエネルギーを表す。例えば、音場の中央における非空間的スペクトルエネルギーは、映画のダイアログ、または音楽における主要ボーカルコンテンツを含み得る。ハイパーミッドに対して信号処理操作を適用することは、音場内の他のどこかに存在するスペクトルエネルギーを変化させることなく、そのようなオーディオコンテンツの調整を可能にする。例えば、いくつかの実施形態においては、ボーカルコンテンツは、典型的な人間の声域におけるスペクトルエネルギーを減少させる、ハイパーミッド成分にフィルタを適用することによって、部分的および／または完全に除去され得る。他の実施形態においては、ボーカルコンテンツに対する目標とされるエンハンスメントまたはエフェクトが、（例えば、圧縮、リバーブ、および／または他のオーディオ処理技法を介して）典型的な人間の声域におけるエネルギーを増加させるフィルタによって、適用され得る。残差ミッド成分は、音場の真ん中にない非空間的スペクトルエネルギーを表す。残差ミッドに対して信号処理技法を適用することは、類似の変換が、他の成分と直交して行われることを可能にする。例えば、いくつかの実施形態においては、全体的な知覚されるゲインの最小限の変化と、ボーカルプレゼンスの最小限の損失で、オーディオコンテンツに対して空間的広がりエフェクトを提供するために、残差サイド成分におけるスペクトルエネルギーは、増加させながら、残差ミッド成分における目標とされるスペクトルエネルギーは、部分的および／または完全に除去され得る。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【0023】
例示的な直交成分ジェネレータ
図２Ａ～図２Ｃは、それぞれ、１つまたは複数の実施形態による直交成分ジェネレータモジュール２１３、２２３、２４５のブロック図である。直交成分ジェネレータモジュール２１３、２２３、２４５は、直交成分ジェネレータモジュール１１３の例である。
図２Ａ～図２Ｃは、それぞれ、１つまたは複数の実施形態による直交成分ジェネレータモジュール２１３、２２３、２４５のブロック図である。直交成分ジェネレータモジュール２１３、２２３、２４５は、直交成分ジェネレータモジュール１１３の例である。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【0037】
いくつかの実施形態においては、直交成分プロセッサモジュール３１７は、周波数領域において、ハイパーミッド成分Ｍ１、残差ミッド成分Ｍ２、ハイパーサイド成分Ｓ１、および残差サイド成分Ｓ２のうちの少なくとも１つに対して、サブバンド空間処理および／またはクロストーク補償処理３２０を実行し、周波数領域において、処理されたミッド成分１３１と、処理されたサイド成分１３９とを生成する。直交成分ジェネレータモジュール１１３は、周波数領域における成分Ｍ１、Ｍ２、Ｓ１、またはＳ２を、逆ＦＦＴを実行する、直交成分プロセッサに提供し得る。処理されたミッド成分１３１と、処理されたサイド成分１３９とを生成した後、直交成分プロセッサモジュール３１７は、処理されたミッド成分１３１と、処理されたサイド成分１３９とに対して、これらの成分を時間領域に変換し戻すために、逆ＦＦＴを実行し得る。いくつかの実施形態においては、直交成分プロセッサモジュール３１７は、処理されたＭ１、処理されたＭ２、処理されたＳ１、および処理されたＳ２に対して、逆ＦＦＴを実行し、時間領域において、処理されたミッド成分１３１と、処理されたサイド成分１３９とを生成する。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【0047】
クロストーク補償プロセッサモジュール５１０は、非空間成分Ｙmを受信し、ミッド成分プロセッサ５２０は、増強された非空間クロストーク補償成分Ｚmを生成するためにフィルタのセットを適用する。クロストーク補償プロセッサモジュール５１０は、また、空間サブバンド成分Ｙsを受信し、増強された空間サブバンド成分Ｅsを生成するために、サイド成分プロセッサ５３０において、フィルタのセットを適用する。ミッド成分プロセッサ５２０は、ｍ個のミッドフィルタ５４０（ａ）、５４０（ｂ）、乃至５４０（ｍ）など、複数のフィルタ５４０を含む。ここで、ｍ個のミッドフィルタ５４０の各々は、非空間成分Ｙ
mのｍ個の周波数バンドのうちの１つを処理する。ミッド成分プロセッサ５２０は、非空間成分Ｙ
mを処理することによって、ミッドクロストーク補償チャンネルＺmをしかるべく生成する。いくつかの実施形態においては、ミッドフィルタ５４０は、シミュレーションを通した、クロストーク処理を用いた、非空間Ｙ
mの周波数応答プロットを使用して構成される。加えて、周波数応答プロットを分析することによって、クロストーク処理のアーチファクトとして発生する、事前決定されたしきい値（例えば、１０ｄＢ）を超える、周波数応答プロットにおけるピークまたはトラフなどの、いかなるスペクトル不良も推定されることができる。これらのアーチファクトは、クロストーク処理における、遅延させられ、場合によっては、反転させられた対側信号の、それらの対応する同側信号との和から主にもたらされ、それによって、効果的に、最終的なレンダリングされた結果に、コムフィルタに似た周波数応答を導入する。推定されたピークまたはトラフを補償するために、ミッドクロストーク補償チャンネルＺmが、ミッド成分プロセッサ５２０によって、生成されることができ、ｍ個の周波数バンドの各々は、ピークまたはトラフと対応する。具体的には、クロストーク処理において適用される、特定の遅延、フィルタリング周波数、およびゲインに基づいて、ピークおよびトラフは、周波数応答において、上下にシフトし、スペクトルの特定の領域における、エネルギーの可変増幅および／または減衰を引き起こす。ミッドフィルタ５４０の各々は、ピークおよびトラフのうちの１つまたは複数を調整するように構成され得る。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【0048】
サイド成分プロセッサ５３０は、ｍ個のサイドフィルタ５５０（ａ）、５５０（ｂ）、乃至５５０（ｍ）など、複数のフィルタ５５０を含む。サイド成分プロセッサ５３０は、空間成分Ｙ
sを処理することによって、サイドクロストーク補償チャンネルＺsを生成する。いくつかの実施形態においては、クロストーク処理を用いた、空間Ｙ
sの周波数応答プロットが、シミュレーションを通して、獲得されることができる。周波数応答プロットを分析することによって、クロストーク処理のアーチファクトとして発生する、事前決定されたしきい値（例えば、１０ｄＢ）を超える、周波数応答プロットにおけるピークまたはトラフなどの、いかなるスペクトル不良も、推定されることができる。推定されたピークまたはトラフを補償するために、サイドクロストーク補償チャンネルＺsが、サイド成分プロセッサ５３０によって生成されることができる。具体的には、クロストーク処理において適用される、特定の遅延、フィルタリング周波数、およびゲインに基づいて、ピークおよびトラフは、周波数応答において、上下にシフトし、スペクトルの特定の領域における、エネルギーの可変増幅および／または減衰を引き起こす。サイドフィルタ５５０の各々は、ピークおよびトラフのうちの１つまたは複数を調整するように構成され得る。いくつかの実施形態においては、ミッド成分プロセッサ５２０およびサイド成分プロセッサ５３０は、異なる数のフィルタを含み得る。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】変更
【補正の内容】
【0063】
ここで、△ｆは帯域幅であり、ｆｃは中心周波数である。ミッドフィルタ５４０は、直列であるとして示されており、サイドフィルタ５５０は、直列であるとして示されている。いくつかの実施形態においては、ミッドフィルタ５４０はミッド成分Ｙ
mに対して並列に適用され、サイドフィルタはサイド成分Ｙ
sに対して並列に適用される。
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】００７７
【補正方法】変更
【補正の内容】
【0077】
ここで、Ｄは、例えば、４８ＫＨｚのサンプリングレートにおける、サンプル単位の遅延ユニット７３６および６４６による遅延量である。代替的な実施は、５０００Ｈｚから１００００Ｈｚの間で選択されたコーナ周波数と、０．５から１．０の間で選択されたＱとを有するローパスフィルタである。さらに、増幅器７３４は、抽出された部分を、対応するゲイン係数ＧL,Inによって増幅し、遅延ユニット７３６は、左対側キャンセレーション成分ＳLを生成するために、増幅器７３４からの増幅された出力を遅延関数Ｄに従って遅延させる。対側推定器７４０は、右対側キャンセレーション成分ＳRを生成するために、反転されたインバンドチャンネルＴR,In’に対して同様の操作を実行するフィルタ７７２と、増幅器７４４と、遅延ユニット７７６とを含む。１つの例においては、対側推定器７３０，７４０は、以下の式に従って、左対側キャンセレーション成分ＳLと、右対側キャンセレーション成分ＳRとを生成する。
ＳL＝Ｄ［ＧL,In＊Ｆ［ＴL,In’］］ 式（６）
ＳR＝Ｄ［ＧR,In＊Ｆ［ＴR,In’］］ 式（７）
ＳL＝Ｄ［ＧL,In＊Ｆ［ＴL,In’］］ 式（６）
ＳR＝Ｄ［ＧR,In＊Ｆ［ＴR,In’］］ 式（７）
【手続補正8】
【補正対象書類名】明細書
【補正対象項目名】０１１９
【補正方法】変更
【補正の内容】
【0119】
コンピューティングマシンアーキテクチャ
図２０は、１つまたは複数の実施形態による、コンピュータシステム２０００のブロック図である。コンピュータシステム２０００は、オーディオ処理システムを実施する回路の例である。チップセット２００４に結合された、少なくとも１つのプロセッサ２００２が、例示されている。チップセット２００４は、メモリコントローラハブ２０２０と、入出力（Ｉ／Ｏ）コントローラハブ２０２２とを含む。メモリ２００６、およびグラフィックスアダプタ２０１２が、メモリコントローラハブ２０２０に結合され、ディスプレイデバイス２０１８が、グラフィックスアダプタ２０１２に結合される。ストレージデバイス２００８、キーボード２０１０、ポインティングデバイス２０１４、およびネットワークアダプタ２０１６が、Ｉ／Ｏコントローラハブ２０２２に結合される。コンピュータシステム２０００は、様々なタイプの入力デバイスまたは出力デバイスを含み得る。コンピュータシステム２０００の他の実施形態は、異なるアーキテクチャを有する。例えば、メモリ２００６は、いくつかの実施形態においては、プロセッサ２００２に直接的に結合される。
図２０は、１つまたは複数の実施形態による、コンピュータシステム２０００のブロック図である。コンピュータシステム２０００は、オーディオ処理システムを実施する回路の例である。チップセット２００４に結合された、少なくとも１つのプロセッサ２００２が、例示されている。チップセット２００４は、メモリコントローラハブ２０２０と、入出力（Ｉ／Ｏ）コントローラハブ２０２２とを含む。メモリ２００６、およびグラフィックスアダプタ２０１２が、メモリコントローラハブ２０２０に結合され、ディスプレイデバイス２０１８が、グラフィックスアダプタ２０１２に結合される。ストレージデバイス２００８、キーボード２０１０、ポインティングデバイス２０１４、およびネットワークアダプタ２０１６が、Ｉ／Ｏコントローラハブ２０２２に結合される。コンピュータシステム２０００は、様々なタイプの入力デバイスまたは出力デバイスを含み得る。コンピュータシステム２０００の他の実施形態は、異なるアーキテクチャを有する。例えば、メモリ２００６は、いくつかの実施形態においては、プロセッサ２００２に直接的に結合される。
【手続補正9】
【補正対象書類名】明細書
【補正対象項目名】０１２２
【補正方法】変更
【補正の内容】
【0122】
回路は、非一時的なコンピュータ可読媒体に記憶されたプログラムコードを実行する、１つまたは複数のプロセッサを含み得、プログラムコードは、１つまたは複数のプロセッサによって実行されたとき、オーディオ処理システムまたはオーディオ処理システムのモジュールを実施するように、１つまたは複数のプロセッサを構成する。オーディオ処理システムまたはオーディオ処理システムのモジュールを実施する回路の他の例は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他のタイプのコンピュータ回路などの、集積回路を含み得る。
【国際調査報告】