特表 2024-510177 オーディオ相関除去器、オーディオ信号を相関除去するための処理システムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-06

(54)【発明の名称】オーディオ相関除去器、オーディオ信号を相関除去するための処理システムおよび方法

(51)【国際特許分類】

   G10L 21/0232 20130101AFI20240228BHJP

【ＦＩ】

G10L21/0232

【審査請求】有

【予備審査請求】有

(21)【出願番号】P 2023555211

(86)(22)【出願日】2022-03-09

(85)【翻訳文提出日】2023-11-06

(86)【国際出願番号】 EP2022055983

(87)【国際公開番号】W WO2022189481

(87)【国際公開日】2022-09-15

(31)【優先権主張番号】21162142.0

(32)【優先日】2021-03-11

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】21203832.7

(32)【優先日】2021-10-20

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】500341779

【氏名又は名称】フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン

(74)【代理人】

【識別番号】100134119

【弁理士】

【氏名又は名称】奥町 哲行

(72)【発明者】

【氏名】ディッシュ・ザシャ

(72)【発明者】

【氏名】アネミュラー・カルロッタ

(72)【発明者】

【氏名】ヘレ・ユルゲン

(57)【要約】

相関除去器は、複数の遅延ユニットを備え、各遅延ユニットは、オーディオ信号に基づく周波数表現の部分を受信するように構成され、各遅延ユニットは、受信された部分を遅延させて遅延部分を提供するように構成される。相関除去器は、周波数表現の遅延部分に基づく信号を受信および結合するように構成された包絡線整形器を備える。包絡線整形器は、オーディオ信号の周波数表現を受信し、オーディオ信号の周波数表現に関して遅延部分のエネルギーを調整するように構成される。包絡線整形器は、合成整形された周波数表現を提供するように構成される。過渡現象信号部分は、相関除去器の適応動作によって処理される。
【選択図】図１

【特許請求の範囲】

【請求項1】

相関除去器であって、
複数の遅延ユニット（１２）であって、各遅延ユニット（１２）が、オーディオ信号（２２）に基づく周波数表現の部分（１４_１～１４_ｎ）を受信するように構成され、各遅延ユニット（１２）が、前記受信部分（１４_１～１４_ｎ）を遅延させて遅延部分（１４’_１～１４’_ｎ）を提供するように構成された、複数の遅延ユニットと、
前記周波数表現の前記遅延部分（１４’_１～１４’_ｎ）に基づく信号を受信および結合するように、前記オーディオ信号（２２）の前記周波数表現を受信するように、前記オーディオ信号（２２）の前記周波数表現に関して前記遅延部分（１４’_１～１４’_ｎ）のエネルギーを調整するように、合成整形された周波数表現を提供するように構成された包絡線整形器（１６）と、を備える、相関除去器。

【請求項2】

前記周波数表現の異なる部分（１４_１～１４_ｎ）が、同じまたは異なる数の周波数ビンを含む、請求項１に記載の相関除去器。

【請求項3】

前記オーディオ信号（２２）の前記周波数表現（１４）を位相シフトするように、または、位相シフトされたオーディオ信号（２２）を得るために時間領域において前記オーディオ信号（２２）を位相シフトするように構成された位相シフタ（２６）をさらに備える、請求項１または２に記載の相関除去器。

【請求項4】

前記位相シフタ（２６）が、前記オーディオ信号（２２）の前記周波数表現を位相シフトするように構成され、複数のオールパスフィルタを備え、各オールパスフィルタ（２８）が、前記オーディオ信号（２２）の前記周波数表現の関連部分（１４_１～１４_ｎ）を位相シフトするように構成される、請求項３に記載の相関除去器。

【請求項5】

前記複数のオールパスフィルタのうちのオールパスフィルタ（２８）が、互いに直列に接続されたシュレーダーＩＩＲフィルタなどのオールパスフィルタ構造（４０；５０）のセットを備え、前記オールパスフィルタ構造（４０；５０）が、異なる時間遅延を提供するように適合され、または
前記オールパスフィルタ構造（４０；５０）が、入れ子状のオールパスフィルタ構造を備える、請求項４に記載の相関除去器。

【請求項6】

オールパスフィルタ構造（４０；５０）の数および／または前記オールパスフィルタ構造の回路が、異なるオールパスフィルタ（２８）間で等しいかまたは異なる、請求項５に記載の相関除去器。

【請求項7】

前記異なる時間遅延が、前記オーディオ信号（２２）の前記周波数表現を取得するために使用されるローカルサンプリングレートの素数倍に基づく、請求項５または６に記載の相関除去器。

【請求項8】

前記オールパスフィルタ構造（４０；５０）のセットが、４個のオールパスフィルタ構造（４０；５０）を備え、それぞれ、１、２、３および５または１、３、５および７の遅延を提供するように適合される、請求項５から７のいずれか一項に記載の相関除去器。

【請求項9】

前記オールパスフィルタ（２８）のゲイン係数が、例えば２０％の許容範囲内の０．７の大きさを有する値に適合される、請求項４から８のいずれか一項に記載の相関除去器。

【請求項10】

前記位相シフタ（２６）が、時間領域において前記オーディオ信号（２２）を位相シフトするように構成され、前記位相シフタ（２６）が、互いに直列に接続されたシュレーダーＩＩＲフィルタなどのオールパスフィルタ構造（４０；５０）のセットを備え、前記オールパスフィルタ構造（４０；５０）が、異なる時間遅延を提供するように適合され、または
前記オールパスフィルタ構造（４０；５０）が、入れ子状のオールパスフィルタ構造を備える、請求項３に記載の相関除去器。

【請求項11】

前記異なるオールパス時間遅延が、前記オーディオ信号（２２）の前記周波数表現を取得するために使用されるサンプリングレートの逆数の素数倍に基づく、請求項１０に記載の相関除去器。

【請求項12】

前記異なる時間遅延が、最小素数のセット、例えば１、２、３および５、または、１、３、５および７のそれぞれを、中間結果を取得するために前記オーディオ信号（２２）の前記周波数表現の部分（１４_１～１４_ｎ）を生成するために、および前記中間結果に対して次の素数、例えば１３１、２５７、３８３、６４１または１３１、３８３、６４１、９０７を使用するために使用されるダウンサンプリング係数と乗算することによって得られる素数に基づく、請求項１０または１１に記載の相関除去器。

【請求項13】

前記包絡線整形器（１６）の前記オーディオ信号（２２）から前記オーディオ信号（２２）の前記周波数表現を取得するための第１の変換ユニット（２４）を備え、前記残響オーディオ信号（２２）から周波数表現を取得するための第２の変換ユニット（３４）を備え、前記周波数表現の前記部分（１４_１～１４_ｎ）が、前記残響オーディオ信号（２２）からの前記周波数表現の部分（１４_１～１４_ｎ）を形成する、請求項１０から１２のいずれか一項に記載の相関除去器。

【請求項14】

前記周波数表現の前記部分（１４_１～１４_ｎ）が、等しい数または異なる数の周波数ビンを含む、請求項１から１３のいずれか一項に記載の相関除去器。

【請求項15】

前記周波数表現の１６個の部分（１４_１～１４_ｎ）を取得するように適合される、請求項１から１４のいずれか一項に記載の相関除去器。

【請求項16】

１２８個または１２９個の周波数ビンを有する前記周波数表現を取得するように適合される、請求項１から１５のいずれか一項に記載の相関除去器。

【請求項17】

前記相関除去器が、前記周波数表現のサブセットまたは全ての部分（１４_１～１４_ｎ）に対して同じ所定の遅延をさらに実装するように適合される、請求項１から１６のいずれか一項に記載の相関除去器。

【請求項18】

前記複数の遅延ユニット（１２）のうちのスペクトル部分（１４_１～１４_ｎ）に関連付けられた前記遅延ユニット（１２）が、他のスペクトル部分（１４_１～１４_ｎ）に関連付けられた遅延ユニット（１２）と比較した場合に、前記周波数表現の前記関連部分（１４_１～１４_ｎ）を異なって遅延させるように構成される、請求項１から１７のいずれか一項に記載の相関除去器。

【請求項19】

前記複数の遅延ユニット（１２）が、より高い周波数を含む前記周波数表現の部分（１４_１～１４_ｎ）と比較した場合に、より高い時間遅延を有するより低い周波数を含む前記周波数表現の部分（１４_１～１４_ｎ）を遅延させるように構成される、請求項１から１８のいずれか一項に記載の相関除去器。

【請求項20】

異なる時間遅延間の関係が、線形、対数、および／またはサブバンドサンプルの丸めに基づくもののうちの１つである、請求項１９に記載の相関除去器。

【請求項21】

時間ブロックごとの離散フーリエ変換、ＤＦＴ、または短時間フーリエ変換、ＳＴＦＴを実行することによって、前記オーディオ信号（２２）または前記オーディオ信号（２２）の残響バージョンを受信して前記部分（１４_１～１４_ｎ）に変換するための変換ユニット（２４）を備え、前記変換ユニット（２４）が、許容範囲内の５０％のオーバーラップを有するブロックを変換するように構成される、請求項１から２０のいずれか一項に記載の相関除去器。

【請求項22】

時間ブロックごとの離散フーリエ変換、ＤＦＴ、または短時間フーリエ変換、ＳＴＦＴを実行することによって、前記オーディオ信号（２２）または前記オーディオ信号（２２）の残響バージョンを受信して前記部分（１４_１～１４_ｎ）に変換するための変換ユニット（２４）を備え、ブロックが、２５６サンプルのブロック長を含む、請求項１から２１のいずれか一項に記載の相関除去器。

【請求項23】

前記周波数表現（１４）の前記部分の処理済みバージョンを受信し、オーバーラップ加算手順に基づいて前記処理済みバージョンから合成信号を合成するための逆変換ユニット（３４）を備える、請求項１から２２のいずれか一項に記載の相関除去器。

【請求項24】

前記包絡線整形器（１６）が、サブバンド領域において４ｍｓ未満の時間分解能で動作するように構成される、請求項１から２３のいずれか一項に記載の相関除去器。

【請求項25】

前記合成整形された周波数表現に基づいて信号（３６）を提供するためのインターフェース（３８）を備える、請求項１から２４のいずれか一項に記載の相関除去器。

【請求項26】

前記包絡線整形器（１６）が、例えば、相互依存または少なくともグループごとの共通整形処理を実装することによって、スペクトルビンを時間的におよび／または周波数的に個別にまたはグループとして整形するためのものである、請求項１から２５のいずれか一項に記載の相関除去器。

【請求項27】

前記合成整形された周波数表現に基づく信号をモノラル信号として受信し、前記モノラル信号を少なくともステレオ信号に処理するように構成された信号処理段（６６）を備える、請求項１から２６のいずれか一項に記載の相関除去器。

【請求項28】

前記合成整形された周波数表現を少なくともステレオオーディオ信号に処理するように、例えば周波数領域における、少なくともステレオ信号に基づくソース拡張モデリングのために構成された信号処理段（６６）を備える、請求項１から２７のいずれか一項に記載の相関除去器。

【請求項29】

処理システムであって、
請求項１から２８のいずれか一項に記載の相関除去器と、
中央／側分解信号を左／右分解信号に変換する処理段（６６）と、を備える、処理システム。

【請求項30】

前記中央／側分解信号の一方の部分（７４_１）が、前記相関除去器によって提供され、他方の部分（７４_２）が、前記相関除去器と並列に接続され且つ前記処理段（６６）と接続される遅延補償ユニット（７８）によって提供される、請求項２９に記載の処理システム。

【請求項31】

前記相関除去器の入力において前記オーディオ信号（２２）またはその周波数表現（１４）における過渡現象を検出するように構成された過渡現象抑制器（８２）を備え、
前記過渡現象抑制器（８２）が、前記処理段におけるエコーを抑制するために前記相関除去器によって提供される前記部分（７４_１）を一時的にミュートするように構成される、請求項３０に記載の処理システム。

【請求項32】

前記過渡現象抑制器（８２）が、前記相関除去器の前記部分をミュートすることに対応する前記遅延補償ユニットの前記部分を増幅するように構成される、請求項３１に記載の処理システム。

【請求項33】

前記過渡現象抑制器（８２）が、前記相関除去器のミュートされていない部分と比較した場合に、前記遅延補償ユニットの前記部分を、

の率によって増幅するように構成される、請求項３２に記載の処理システム。

【請求項34】

前記過渡現象抑制器（８２）が、検出された過渡現象を抑制し、所定の阻害時間よりも早くない後続の過渡現象を抑制するように構成される、請求項３１から３３のいずれか一項に記載の処理システム。

【請求項35】

前記阻害時間が第１の阻害時間であり、前記過渡現象抑制器（８２）が、前記第１の阻害時間の間に過渡現象が発生した場合に、前記第１の阻害時間よりも長い第２の阻害時間として前記阻害時間を再開するように構成される、請求項３１から３４のいずれか一項に記載の処理システム。

【請求項36】

前記過渡現象抑制器（８２）が、前記周波数領域において動作するように構成される、請求項３１から３５のいずれか一項に記載の処理システム。

【請求項37】

前記過渡現象抑制器（８２）が、前記相関除去器の事前遅延と比較した場合に、より長い時間にわたって前記相関除去器の前記部分をミュートするように構成される、請求項３１から３６のいずれか一項に記載の処理システム。

【請求項38】

前記相関除去器が、前記中央／側分解信号の一部として前記合成整形された周波数表現を前記処理段に提供し、前記処理段が、前記合成整形された周波数表現およびオーディオ信号（２２）の遅延バージョンを、周波数領域において左／右分解信号に変換するためのものである、請求項２９から３７のいずれか一項に記載の処理システム。

【請求項39】

方法であって、
オーディオ信号に基づく周波数表現の複数の部分を受信すること（１０１０）と、
複数の遅延部分を提供するために、前記受信した部分のそれぞれを遅延させること（１０２０）と、
前記周波数表現の前記遅延部分に基づく信号を受信して（１０３０）結合することと、
前記オーディオ信号の前記周波数表現を受信すること（１０４０）と、
前記オーディオ信号の前記周波数表現に関して前記遅延部分のエネルギーを調整すること（１０５０）と、
合成整形された周波数表現を提供すること（１０６０）と、を含む、方法。

【請求項40】

前記オーディオ信号（２２）またはその前記周波数表現（１４）における過渡現象を検出することと、
処理段におけるエコーを抑制するために、相関除去器によって提供される部分（７４_１）を一時的にミュートすることと、
をさらに含む、請求項３９に記載の方法。

【請求項41】

コンピュータまたはプロセッサ上で実行されると、請求項３９または４０に記載の方法を実行するためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オーディオ信号のための相関除去器、そのような相関除去器を有する処理システム、相関除去方法、およびコンピュータプログラム製品に関する。本発明は、特に、オーディオ信号相関除去器に関する。

【背景技術】

【0002】

知覚オーディオコーディングにおいて、相関除去器は、パラメトリック空間オーディオコーディングの重要な構成要素である。既知の解決策は、パラメトリックステレオまたはＭＰＥＧサラウンドのようなパラメトリック空間オーディオコーディングから知られる相関除去器に関する。［１］または［２］に記載されているような相関除去器は、長いインパルス応答を有する計算コストの高い時間領域残響（リバーブ）フィルタを使用する。［３］または［４］に記載されているような相関除去器は、かなりの処理遅延および計算コストの高い格子フィルタを有する直交ミラーフィルタバンク（ＱＭＦ）の使用を必要とする。

【0003】

したがって、低処理遅延および／または低計算複雑度相関除去を可能にするオーディオ信号の部分を相関除去するための相関除去器、そのような相関除去器を有する処理システム、および方法が必要とされている。

【発明の概要】

【0004】

本発明の目的は、特に過渡現象を含む信号を処理する際に、低処理遅延および／または低複雑度および高知覚品質で相関除去を可能にする相関除去器、処理システム、および相関除去方法を提供することである。
この目的は、独立請求項に定義される主題によって達成される。

【0005】

本発明の発見は、周波数表現を複数の部分に分割し、処理、すなわち、各部分を別々の遅延ユニットによって遅延させることにより、異なる部分の計算が並列に実行され得るため、低い処理遅延を可能にすることである。同時に、そのような周波数領域動作は、低い計算複雑度を必要とする。

【0006】

実施形態によれば、相関除去器は、複数の遅延ユニットを備え、各遅延ユニットは、オーディオ信号に基づく周波数表現の部分を受信するように構成され、各遅延ユニットは、受信された部分を遅延させて遅延部分を提供するように構成される。相関除去器は、周波数表現の遅延部分に基づく合成信号を受信し、オーディオ信号の周波数表現を受信し、オーディオ信号の周波数表現に関して遅延部分のエネルギーを調整し、合成形状周波数表現を提供するように構成された包絡線整形器を備える。

【0007】

実施形態によれば、周波数表現の異なる部分は、同じまたは異なる数の周波数ビンを含む。同じ数の周波数ビンは、同じ処理時間を可能にし得て、異なる数の周波数ビンは、アプリケーション要件への適応を可能にし得る。

【0008】

実施形態によれば、相関除去器は、オーディオ信号の周波数表現を位相シフトするように、または位相シフトされたオーディオ信号を取得するために時間領域においてオーディオ信号を位相シフトするように構成された位相シフタを備える。位相シフトは、知覚される残響、したがって高いオーディオ品質を可能にし得る。

【0009】

実施形態によれば、位相シフタは、オーディオ信号の周波数表現を位相シフトするように構成され、複数のオールパスフィルタを備え、各オールパスフィルタは、オーディオ信号の周波数表現の関連部分を位相シフトするように構成される。すなわち、オールパスフィルタは、高い全体的なオーディオ品質を可能にし得るオーディオ信号のそれぞれの部分に関連付けられて適合され得る。

【0010】

実施形態によれば、複数のオールパスフィルタのうちの１つのオールパスフィルタは、互いに直列に接続された、すなわちシュレーダーＩＩＲフィルタを使用したオールパスフィルタ構造のセットを備える。オールパスフィルタ構造は、異なる時間遅延を提供するように適合される。代替的または追加的に、オールパスフィルタ構造は、入れ子状のオールパスフィルタ構造を備える。

【0011】

実施形態によれば、オールパスフィルタ構造の数および／またはオールパスフィルタ構造の回路は、異なるオールパスフィルタ間で同等であるかまたは異なる。これは、相関除去器の高い柔軟性を可能にする。

【0012】

実施形態によれば、異なる時間遅延は、オーディオ信号の周波数表現を取得するために使用されるローカルサンプリングレートの素数倍に基づく。これは、高い知覚オーディオ品質を可能にする。

【0013】

実施形態によれば、オールパスフィルタ構造のセットは、いくつかの４つのオールパスフィルタ構造を備え、１、２、３、および５時間単位の遅延を提供するように適合される。そのような時間単位は、周波数領域への変換のブロックサイズに基づき得る。例えば、５０％のオーバーラップを有する２５６のブロックサイズを使用すると、時間単位は、４８ｋＨｚ＝２．７ｍｓで１２８サンプルをもたらし得る。合理的な他の時間単位は、例えば、３２または６４サンプルまたは他の値であり得る。時間単位は、後続の時間／周波数包絡線整形において十分な時間分解能を可能にするのに十分短いことが好ましい。代替的な解決策では、４つのオールパスフィルタ構造によって１、３、５、および７の遅延が提供される。これは、時間領域におけるオーバーラップを回避することを可能にする。

【0014】

実施形態によれば、オールパスフィルタのゲイン係数は、許容範囲内の０．７の大きさ、すなわち正または負の値を有する値に適合される。許容範囲は、例えば、２０％、１０％または５％である。

【0015】

実施形態によれば、位相シフタは、時間領域においてオーディオ信号を位相シフトするように構成され、位相シフタは、互いに直列に接続されたオールパスフィルタ構造のセットを備え、オールパスフィルタ構造は、異なる時間遅延を提供するように適合される。代替的または追加的に、オールパスフィルタ構造は、入れ子状のオールパスフィルタ構造を備える。

【0016】

実施形態によれば、異なるオールパス時間遅延は、オーディオ信号の周波数表現を取得するために使用されるサンプリングレートの逆数の素数倍に基づく。周波数領域と同様に、時間領域においても対応する利点が得られ得る。時間領域では、異なる時間遅延は、最小素数のセット、例えば、１つの例示的なセットとしての１、２、３および５、または別の例示的なセットとしての１、３、５および７のそれぞれに、中間結果を取得するためにオーディオ信号の周波数表現の部分を生成し、中間結果に対して次の素数を使用するために使用されるダウンサンプリング係数を乗算することによって得られる素数に基づき得る。次の素数として、例えば、次の大きいまたは次の小さい素数値を得るために、最も近い距離が理解され得る。所与の例では、値１３１、２５７、３８３および６４１は、第１のセットに対して取得されてもよく、１３１、３８３、６４１および９０７は、第２の例のセットに対して取得されてもよい。ここで、１つの時間単位は、１サンプルであり得る。サンプルは、例えば４８ｋＨｚであるサンプリング周波数に関連し得る。他の実施形態では、サンプリング周波数は、４４．１ｋＨｚまたは３２ｋＨｚまたは他の値であってもよい。

【0017】

実施形態によれば、相関除去器は、包絡線整形器のオーディオ信号からオーディオ信号の周波数表現を取得するための第１の変換ユニットを備え、残響オーディオ信号から周波数表現を取得するための第２の変換ユニットを備え、周波数表現の部分は、残響オーディオ信号から周波数表現の部分を形成する。これは、相関除去器において直接形成される使用済み信号を生成することを可能にする。

【0018】

実施形態によれば、相関除去器は、周波数表現のサブセットまたは全ての部分に対して同じ所定の遅延をさらに実装するように適合される。すなわち、それぞれの部分または遅延線に等しい遅延はまた、関連部分のそれぞれの遅延線の単純な遅延ユニットを可能にする共通の遅延モジュールに共通に適用され得る。

【0019】

実施形態によれば、複数の遅延ユニットのうちのスペクトル部分に関連付けられた遅延ユニットは、他のスペクトル部分に関連付けられた遅延ユニットと比較して異なるように周波数表現の関連部分を遅延させるように構成される。これは、異なる周波数部分を異なるように扱うことによって高い知覚品質を可能にする。

【0020】

実施形態によれば、遅延ユニットは、より高い周波数を含む周波数表現の部分と比較した場合に、より低い周波数を含む周波数表現の部分をより高い時間遅延によって遅延させるように構成される。

【0021】

実施形態によれば、異なる時間遅延間の関係は、線形、対数、および／またはサブバンドサンプルの丸めに基づく。これは、高い知覚品質を可能にする。

【0022】

実施形態によれば、相関除去器は、時間ブロックごとの離散フーリエ変換、ＤＦＴ、または短時間フーリエ変換、ＳＴＦＴを実行することによってオーディオ信号またはオーディオ信号の残響バージョンを部分に変換することを受信するための変換ユニットを備え、変換ユニットは、許容範囲内で５０％のオーバーラップを有するブロックを変換するように構成される。そのようなブロックごとの変換は、得られるそれぞれの部分の短い遅延、および異なる部分の並列処理を可能にする。

【0023】

実施形態によれば、包絡線整形器は、サブバンド領域において４ミリ秒未満の時間分解能で動作するように構成される。

【0024】

実施形態によれば、相関除去器は、合成整形された周波数表現に基づく信号を、例えばモノラル信号として受信し、モノラル信号を少なくともステレオ信号に処理するように構成された信号処理段を備える。これは、聴取者の向上した知覚を可能にする。

【0025】

実施形態によれば、相関除去器は、合成整形された周波数表現を少なくともステレオ信号に処理し、例えば周波数領域において、少なくともステレオ信号に基づいてソース拡張モデリングするように構成された信号処理段を備える。

【0026】

実施形態によれば、処理システムは、本明細書に記載の相関除去器と、中央／側分解信号を左／右分解信号に変換するための処理段とを備える。

【0027】

実施形態によれば、処理システムは、エコー、例えば、過渡現象によって引き起こされるプレエコーおよび／またはポストエコーを抑制するために過渡現象抑制を実行し得る。そのような過渡現象処理は、相関除去器の出力をミュートすることと、それに対応して、左／右分解信号の一部を提供し、相関除去器と並列であり、処理段と接続されている遅延補償ユニットの出力を増幅することと、を含み得る。

【0028】

実施形態によれば、本方法は、オーディオ信号に基づく周波数表現の複数の部分を受信することと、複数の遅延部分を提供するために受信部分のそれぞれを遅延させることと、周波数表現の遅延部分に基づく信号を受信および合成することと、を含む。本方法は、オーディオ信号の周波数表現を受信することと、オーディオ信号の周波数表現に関して遅延部分のエネルギーを調整することと、を含む。合成整形された周波数表現が提供される。

【0029】

実施形態によれば、コンピュータ上で実行されると、そのような方法を実行するために、それぞれの命令を実行するための命令を記憶したコンピュータプログラムもしくはコンピュータプログラム製品または非一時的記憶媒体が提供される。

【0030】

さらなる有利な実施形態は、従属請求項に定義されている。
添付の図面を参照しながら、有利な実施形態をより詳細に説明する。

【図面の簡単な説明】

【0031】

【図1】実施形態にかかる相関除去器の概略ブロック図を示している。

【図2】実施形態にかかる時間領域信号の周波数表現を生成するための変換ユニットを備える相関除去器の概略ブロック図を示している。

【図3】実施形態にかかる事前遅延をさらに含む相関除去の概略ブロック図を示している。

【図4】実施形態にかかるオールパスフィルタの概略ブロック図を示ししている。

【図5】実施形態にかかる入れ子状のオールパスフィルタ構造の概略ブロック図を示している。

【図6】実施形態にかかる時間領域において動作するように構成された位相シフタを備える相関除去器の概略ブロック図を示している。

【図7】実施形態にかかるソース拡張モデリングに接続されている相関除去器の概略ブロック図を示している。

【図8】実施形態にかかる処理システムの概略ブロック図を示している。

【図9】実施形態にかかる過渡現象処理のために構成された処理システムの概略ブロック図を示している。

【図10】実施形態にかかる方法の概略ブロック図を示している。

【発明を実施するための形態】

【0032】

等しいまたは同等の要素または同等または均等の機能を有する要素は、異なる図で発生する場合であっても、同等または均等の参照符号によって以下の説明で示されている。

【0033】

以下の説明では、本発明の実施形態のより完全な説明を提供するために、複数の詳細が示されている。しかしながら、本発明の実施形態がこれらの特定の詳細なしで実施され得ることは当業者にとって明らかであろう。他の例では、本発明の実施形態を曖昧にすることを回避するために、周知の構造および装置が詳細ではなくブロック図の形態で示されている。さらに、以下に説明する異なる実施形態の特徴は、特に明記しない限り、互いに組み合わせられ得る。

【0034】

図１は、実施形態にかかる相関除去器１０の概略ブロック図を示している。相関除去器１０は、ｎ＞１である少なくとも２個の遅延ユニット１２_１から１２_ｎを備える。図１は、２つの遅延ユニット１２の数を示しているが、その数は、より多いことが好ましく、例えば、４、８、１６、または２の累乗で得られる他の値であり、実施形態は、そのような数に限定されない。すなわち、実施形態はまた、３、５、７または９個の遅延ユニット１２を備えてもよい。各遅延ユニットは、オーディオ信号に基づく周波数表現１４の関連部分１４_１から１４_ｎを受信するように構成される。例えば、周波数表現１４は、離散フーリエ変換、ＤＦＴ、または短期フーリエ変換、ＳＴＦＴなどのフーリエ変換によって得られるスペクトルであってもよく、またはそれを含んでもよい。部分１４_１から１４_ｎは、例えば、スペクトルのサブバンド、すなわち周波数領域表現の部分として得られ得る。例えば、そのような部分１４_１から１４_ｎは、適切な窓を使用することによって得られ得る。

【0035】

各遅延ユニット１２_１から１２_ｎは、遅延部分１４’_１から１４’_ｎを提供するように、すなわち時間領域において遅延を有するように、受信部分１４_１から１４_ｎを遅延させるように構成される。

【0036】

相関除去器１０は、遅延部分１４’_１から１４’_ｎに基づく信号を受信するように構成された包絡線整形器１６をさらに備える。そのような信号は、遅延部分１４’_１から１４’_ｎ自体またはその処理された変形であってもよい。包絡線整形器１６は、受信信号を合成するように構成される。さらに、包絡線整形器は、オーディオ信号の周波数表現１４を受信するように構成される。包絡線整形器１６は、オーディオ信号の周波数表現１４に関して遅延部分１４’_１から１４’_ｎのエネルギーを調整するように構成される。包絡線整形器１６は、合成整形された周波数表現１８を提供するように構成される。合成整形された周波数表現１８において、それぞれの部分１４_１から１４_ｎ、それぞれその結果生じる信号は、互いに関しておよび／または周波数表現１４に関して相関除去され得る。

【0037】

包絡線整形器１６は、合成周波数表現１４を受信するように示されているが、代替として、包絡線整形器１６は、遅延されない可能性があるか、または一般的に処理される部分１４_１から１４_ｎを受信することによってそれぞれの情報を受信してもよい。

【0038】

図２は、実施形態にかかる相関除去器２０の概略ブロック図を示している。相関除去器２０は、オーディオ信号２２を受信するように構成される。相関除去器２０は、図１に示す周波数表現１４を生成するように構成された変換ユニット２４を備え得る。変換ユニット２４は、例示的なＳＴＦＴによって得られる部分１４_１から１４_１６を提供し得る。例えば、周波数表現は、合計１２９個の周波数ビンを含み得る。あるいは、１２８個のビンが使用されてもよい。例えば、いわゆる「偶数積み重ね」および「奇数積み重ね」の２種類のデジタルフーリエ変換（ＤＦＴ）が使用され得る。例えば、「標準」ＤＦＴとして、偶数積み重ねバージョンは、提供される例では１２９バンド（１２７複素数、１つの実数および１つの虚数）を有すると見なされ得る。奇数積み重ねは、１２８個の（複素数）バンドを含み得る。本明細書に記載の実施形態では、両方の変換が使用されることができる。部分１４_１から１４_１６は、部分的にまたは完全に、同じまたは異なる数のビンを含み得る。例えば、部分１４_１は、第１から第９のビン、例えば９つのビンを含んでもよい。部分１４_２は、例えば、ビン１０から１９、したがって１０個のビンを含む。ビンの数に関する適合または選択は、図示の例では４８ｋＨｚであるサンプリング周波数、例えば５０％であるオーバーラップ、および／または生成される部分１４_１から１４_１６の数に基づき得る。部分１４_１から１４_１６は、いくつかまたは全ての部分１４_１から１４_１６が同じ数の周波数ビンを含むように生成され得るように、等しい数または異なる数の周波数ビンを含み得る。

【0039】

相関除去器２０は、遅延線１２_１から１２_１６を有する遅延セクション２５をさらに備え、各遅延線１２_１から１２_１６は、特定の部分１４_１から１４_１６に関連付けられ、前記部分、その処理済みバージョンをそれぞれ受信するように構成される。遅延ユニット１２_１から１２_１６は、それぞれのスペクトル部分１４_１から１４_１６に関連付けられてもよい。そのような遅延ユニット１２_１から１２_１６は、他のスペクトル部分に関連する遅延ユニットと比較した場合に、周波数表現１４の関連部分を異なって遅延させるように構成され得る。代替的または追加的に、異なる時間遅延間の関係は、線形、対数、および／またはスーパーバンドサンプルの丸めに基づくもののうちの１つであってもよい。

【0040】

相関除去器２０は、遅延セクション２５に結合されている位相シフタ２６をさらに備え、位相シフタ２６は、遅延部分１４’_１から１４’_１６を受信するように構成される。位相シフタ２６を使用する位相シフトは、信号部分における残響を可能にし得る。しかしながら、実施形態によれば、遅延セクション２５および残響セクション２６のシーケンスはまた、それぞれの部分１４_１から１４_１６が最初に残響フィルタの対象となり、その後遅延されるように変更されてもよい。

【0041】

位相シフタ２６は、オーディオ信号の処理された、例えば遅延されたバージョンの周波数表現１４を位相シフトするように構成されてもよい。位相シフトはまた、オーディオ信号２２を周波数領域に変換する前に実行されてもよく、対応する位相シフタは、位相シフトされたオーディオ信号を得るために時間領域においてオーディオ信号２２を位相シフトするように構成されてもよい。位相シフタ２６がオーディオ信号１４の周波数表現、その遅延バージョンをそれぞれ位相シフトするように構成されている短い構成では、位相シフタは、複数のオールパスフィルタ２８_１から２８_１６を備え得る。図示の例では、オールパスフィルタ２８_１から２８_１６は、遅延部分１４’_１から１４’_１６を受信するように構成される。オールパスフィルタという用語は、通過される周波数範囲がそれぞれの部分１４_１から１４_１６の周波数範囲に対応すると理解されるべきである。ここで、これは、オールパスフィルタ２８_１から２８_１６のそれぞれが周波数表現で提供される完全な周波数範囲を通過する例を含んでもよく、異なるオールパスフィルタ２８_１から２８_１６の通過バンドはまた、それぞれの部分１４_１から１４_１６に含まれる異なる周波数ビンに基づいて互いに異なってもよい。

【0042】

オールパスフィルタ２８_１から２８_１６のそれぞれは、オーディオ信号の周波数表現の関連部分を位相シフトするように構成される。

【0043】

すなわち、オールパスフィルタ構造の数および／またはオールパスフィルタ構造の回路は、同じであってもよく、すなわち、等しいかまたは同等であってもよく、あるいは、異なるオールパスフィルタ２８_１から２８_１６の間で異なってもよい。

【0044】

遅延線１２_１から１２_１６によって提供される時間遅延は、異なる部分１４_１から１４_１６に対して同じであっても異なってもよい。図２に示すように、より低い周波数を含む周波数表現の部分は、より高い周波数を含む周波数表現の部分と比較して、より高い時間遅延で遅延され得る。ビン１からより高いビンまで、表される周波数は増加し得る。ｚ領域において表されるように、時間遅延は、周波数の増加とともに減少し得る。

【0045】

信号３２_１から３２_１６は、例えばオールパスフィルタ２８_１から２８_１６の出力として、遅延および位相シフトの結果を含み得る。

【0046】

包絡線整形器１６は、信号３２_１から３２_１６およびそのフィルタ処理されておらず遅延されていないバージョン、すなわち部分１４_１から１４_１６、すなわちオーディオ信号２２の周波数表現を受信するように構成され得る。部分１４_１から１４_１６は、サブバンドとして理解され得る。包絡線整形器１６は、サブバンド領域で動作するように構成されてもよい。例えば、包絡線整形器１６の時間分解能は、せいぜい４ミリ秒以下、例えば、４ミリ秒、３．５ミリ秒、３ミリ秒以下であってもよい。

【0047】

相関除去器２０は、変換ユニット２４と比較した場合に逆演算を提供し得る別の変換ユニット３５を備えてもよい。例えば、変換レート３４は、逆短期フーリエ変換ｉＳＴＦＴを行ってもよい。合成形状周波数表現１８は、合成形状周波数表現１８が変換ユニット２４の出力に対応して処理され得るように、ビンのそれぞれに存在する周波数領域に関する情報を含み得る。すなわち、変換ユニット３４は、周波数表現１４の部分１４_１から１４_１６の処理済みバージョンを受信し、例えばオーバーラップ加算手順に基づいて処理済みバージョン１４’_１から１４’_１６から合成信号３６を合成し得る。信号３６は、例えば、相関除去器２０のインターフェース３８において提供されてもよい。

【0048】

包絡線整形器１６は、時間および／または周波数においてスペクトルビンを整形するように構成されてもよい。整形は、個々のビンおよび／またはビンのグループに対して、例えば相互依存または少なくともグループごとの共通の整形処理を実装することによって、包絡線整形器２６によって実行され得る。

【0049】

変換ユニット２４を再び参照すると、オーディオ信号２２またはその残響バージョンを受信して部分１４_１から１４_１６に変換するように構成されてもよく、１６個は例にすぎない。オーディオ信号２２の残響バージョンは、位相シフタ２６が時間領域において動作する場合の入力であってもよく、したがって変換ユニット２４の上流に配置されてもよい。変換ユニット２４は、時間ブロックごとの離散フーリエ変換、ＤＦＴ、または短時間フーリエ変換、ＳＴＦＴを実行し得る。変換ユニットは、例えば公差範囲内で５０％のオーバーラップを有するブロックを変換するように構成されてもよい。例えば、許容範囲は、可能な限り０％、最大５％、最大１０％、最大１５％またはそれ以上であってもよい。

【0050】

ブロックは、例えば、１２８サンプル、２５６サンプル、または５１２サンプルのブロック長を含んでもよく、２５６の値が好ましい場合がある。

【0051】

図３は、相関除去３０の概略ブロック図を示している。相関除去器２０と比較すると、相関除去器３０は、事前遅延４２をさらに含み得て、事前遅延という用語は、任意の特定のブロックの直前または直後に実装される遅延を制限しない。事前遅延４２は、包絡線整形器１６の前の任意の段階、好ましくは変換ユニット２４の後の周波数領域において動作するときに配置されてもよい。すなわち、例えば、残響または位相シフタ２６のオールパスフィルタと事前遅延４２との間のシーケンスは、図３の図と比較した場合に入れ替えられてもよい。事前遅延４２または遅延ブロック４２は、周波数表現の部分１４_１から１４_１６のサブセットまたは全てに対して同じ所定の遅延をさらに実装するように構成され得る。これは、この段階で処理を組み合わせるために各部分１４_１から１４_１６またはそのグループに対する同じ遅延の実装を可能にし得て、ブロック４２において実装された共通遅延とは異なるようにおそらく個別の遅延を追加するために遅延線１２_１から１２_１６を使用し得る。一例では、事前遅延４２は、全てのスペクトルバンドに対して一定の事前遅延を可能にするように構成される。

【0052】

図４は、相関除去器２０および／または３０のフィルタ２８_１から２８_１６のうちの１つの少なくとも一部として動作され得る実施形態にかかるオールパスフィルタ４０の概略ブロック図を示している。オールパス４０は、例えば、シュレーダーＩＩＲフィルタの構造を含み得て、オールパスフィルタ４０の入力信号４４に基づくそれぞれの出力信号５４を提供するために、遅延ブロック５２と組み合わせた逆方向分岐４８と組み合わせた順方向分岐４６を含み得る。相関除去器２０および／または３０のオールパスフィルタ２８は、互いに直列に接続されたそのようなオールパスフィルタ４０のうちの１つまたは複数を含み得る。異なるオールパスフィルタ２８_１から２８_１６に異なる時間遅延を提供するために、異なる数のオールパスフィルタ構造１４が直列に接続され得る。
換言すれば、図４は、オールパスフィルタ段を示している。

【0053】

図５は、入れ子状のオールパスフィルタ構造であるオールパスフィルタ構造５０の概略ブロック図を示している。代替的に、またはオールパスフィルタ構造４０に加えて、１つまたは複数のオールパスフィルタ構造５０は、相関除去器２０および／または３０のオールパスフィルタ２８_１から２８_１６の少なくとも一部を形成し得る。２つの遅延ブロック５２_１および５２_２を示しているが、異なる、特により多数の遅延ブロック５２が存在してもよく、その結果、場合によっては、順方向分岐４６および／または逆方向分岐４８の数が増加する。さらに、ゲインｇ_１／－ｇ_１および／またはｇ_２／－ｇ_２が採用されてもよい。

【0054】

例えば、遅延ブロック５２を１つ以上のオールパスフィルタ構造４０および／または１つ以上のオールパスフィルタ構造５０に直列に接続することを考慮すると、異なるオールパスフィルタ２８_１から２８_１６は、他のオールパスフィルタと比較して異なる時間遅延を含むように実装されてもよい。例えば、異なるオールパスフィルタ構造および／またはオールパスフィルタ構造の回路の異なる遅延は、オーディオ信号２２の周波数表現１４を取得するために使用されるローカルサンプリングレートの素数倍、例えば４８ｋＨｚに基づき得る。例えば、オールパスフィルタの少なくとも一部を形成するオールパスフィルタ構造のセットは、４個のオールパスフィルタ構造、例えばオールパスフィルタ構造４０を備え得る。その中の異なる遅延ブロックは、１、２、３、および５の遅延を提供するように適合され得る。別の例によれば、４つのオールパスフィルタ構造の数は、ｚ領域において１、３、５、および７単位の遅延を提供し得る。これらの値は、素数値のセットを形成してもよく、すなわち、２、３、４、５またはそれ以上の数の素数値がグループ化されてもよい。

【0055】

この実施形態、素数値のセットを時間領域におけるオールパスフィルタの可能な動作にそれぞれ転送するとき、時間遅延は、実施形態においてオーディオ信号の周波数表現を取得するために使用されるサンプリングレートの逆数の素数倍に基づく。例えば、異なる時間遅延は、上述した素数のセット、例えば１、２、３および５または１、３、５および７のそれぞれに、中間結果を得るためにオーディオ信号の周波数表現の部分を生成するために使用されるダウンサンプリング係数を乗算することによって得られる素数に基づき得る。中間結果の代わりに、中間結果に対する次の素数が使用されてもよい。例えば、１２８のダウンサンプリング係数を参照し、上記の素数のセットを考慮すると、そのような結果は、一方では１３１、２５７、３８３および６４１、他方では１３１、３８３、６４１および９０７の遅延であり得て、各遅延は、４８ｋＨｚのサンプリングレートの場合、約２０．８μｓであるサンプリングレートにおける１サンプルとの乗算に関連し得る。他の素数のセットが制限なく可能である。

【0056】

例えば、図４を参照すると、オールパスフィルタのゲイン係数ｇは、例えば、±２０％、±１０％または±５％の許容範囲内で０．７の値に適合され得る。しかしながら、ゲイン値は、上述した許容範囲内で、例えば－０．７の負の値を有してもよい。すなわち、ゲイン係数は、許容範囲内の０．７の大きさの値に適合され得る。

【0057】

換言すれば、図４のシリアルアウトパス構成に加えて、外側のシュレーダーオールパスの遅延素子を他の内側のオールパス構成に置き換えた入れ子構成や、両者の組み合わせが実装されてもよい。図５は、単純な入れ子状のオールパスフィルタ段を示している。

【0058】

図６は、実施形態にかかる相関除去器６０の概略ブロック図を示している。相関除去器６０は、時間領域において動作するように構成された位相シフタ２６を備える。オールパスフィルタ構造２８’は、相関除去器２０および／または３０に関連して説明したように、素数のセットと比較した場合にそれぞれの次の素数を使用するように構成され得る。相関除去器６０の正確な動作を保証するために、変換ユニット２４_１および２４_２を備え得る。変換ユニット２４_１は、オーディオ信号の周波数表現を提供し得るが、変換ユニット２４_２は、位相シフタ２８’によって提供される残響オーディオ信号または位相シフトオーディオ信号２２’を受信し得る。得られた部分１４’’_１から１４’’_１６は、時間領域ベースの残響を可能にしながら、相関除去器２０および／または３０と比較した場合に包絡線整形器１６の同等の入力に到達する遅延ユニット１２_１から１２_１６によって遅延され得る。すなわち、周波数表現の部分は、残響オーディオ信号２２’から周波数表現の部分を形成し得る。

【0059】

実施形態によれば、本明細書に記載されるような相関除去器は、さらなる機能と組み合わされてもよく、すなわち、出力信号は、さらに処理されてもよい。
換言すれば、図６は、図２に関する相関除去器の代替的な実装を示している。

【0060】

さらに、本発明の相関除去器は、過渡現象処理プロセスと組み合わせられてもよい。過渡現象は、エコー後または望ましくないパンニング効果などの相関除去ステレオ信号にアーチファクトを引き起こすことがある。これを緩和するために、過渡現象処理が本明細書に記載の相関除去器と組み合わせられることができる。過渡現象処理は、直接開始波形を保存し、事前遅延によって引き起こされるエコー後を抑制するために、相関除去器出力をミュートし得る。

【0061】

図７は、実施形態にかかる相関除去器７０の概略ブロック図を示している。相関除去器７０は、相関除去器１０の少なくとも一部を備え、代替的または追加的に、相関除去器２０、３０および／または６０の少なくとも一部が配置されてもよい。相関除去器７０は、合成整形された周波数表現１８またはそれに基づく信号を処理するように構成された信号処理段５６を備え得る。合成整形された周波数表現１８は、モノラル信号と考えられ得て、すなわち、単一のチャネルを表し得る。受信されたモノラル信号から、処理段は、少なくともステレオ信号を表す信号５８_１および５８_２を提供し得る。

【0062】

点音源のモノラル信号およびその相関除去バージョンから空間的に拡張された音源の知覚効果をモデル化するソース拡張器５８が相関除去器７０に結合されてもよい。ソース拡張器５８は、信号５８_１および５８_２を有するステレオ信号に基づいてソース拡張モデリングを可能にするフィルタ６４_１から６４_２を備え得る。ソース拡張モデリングは、例えば、周波数領域において実行され得て、ステレオ出力信号６４_１、例えば、左チャネルおよび６４_２、例えば、右チャネルをもたらし得る。ソース拡張器５８はまた、相関除去器７０の一部を形成してもよいことに留意されたい。
換言すれば、図７は、ソース拡張処理の概略ブロック図を示している。

【0063】

図８は、実施形態にかかる処理システム８０の概略ブロック図を示している。処理システム８０は、相関除去器１０を備え得る。代替的または追加的に、相関除去器２０、３０、６０および／または７０が配置されてもよい。処理システム８０は、中央／側分解信号６８を左／右分解信号７２に変換するように構成された処理段６６を備える。すなわち、中央／側分解信号６８は、例えば中央／中間または側部分の一方を表す少なくとも第１の信号７４_１と、他方を表す第２の信号７４_２とを含み得る。処理段６６は、信号７４_１から７４_２および場合によっては追加の信号を、少なくとも左チャネルおよび右チャネルを表す信号７６_１から７６_２に変換するように構成され得る。１つのチャネル、例えば左チャネルＬは、例えば中間成分Ｍと側成分Ｍ＋Ｓとを加えることによって得られ得る。他方、例えば右チャネルは、一方の成分を他方の成分から減算すること、例えばＭ－Ｓによって得られ得る。異なる手法によれば、両方のチャネルは、その５０％または０．５倍、すなわち０．５（Ｍ＋Ｓ）および０．５（Ｍ－Ｓ）を使用することによって得られ得る。他の係数および／または決定規則も可能である。

【0064】

実施形態によれば、信号７４_１は、処理システム８０の相関除去器によって提供される。他の信号７４_２は、相関除去器１０に並列に接続され、オーディオ信号２２も受信するように構成された遅延補償ユニット７８によって提供されてもよい。したがって、遅延補償ユニット７８は、処理段６６に接続される。遅延補償ユニット７８は、相関除去器に匹敵する時間遅延を提供するように構成されてもよい。好ましくは、周波数領域の実施形態では、遅延は、相関除去器のＳＴＦＴ分析／合成によって導入される処理遅延に等しい。しかしながら、相関除去器１０は、信号７４_２が信号７４_１と比較した場合に同様の遅延を含み得るように、相関除去につながる追加の信号処理を提供し得る。実施形態によれば、信号７４_２は、時間遅延を除いて未処理であり得る。

【0065】

処理システム８０内の相関除去器１０は、中央／側分解信号の少なくとも一部として合成整形された周波数表現を処理段６６に提供し得る。処理段６６は、合成整形された周波数表現を遅延信号７４_２とともに周波数領域において左／右分解信号に変換し得る。処理段６６の出力は、Ｌ／Ｒ信号７２であってもよい。相関除去器１０自体は、モノラル信号Ｓ（側面、成分１８）を生成してもよく、その点において、それはその一部にすぎない。過渡現象処理では、信号Ｓがミュートされ、増幅されたＭ信号（信号７４’_２）によって「置き換えられる」ため、直接部分Ｍ（７４_２；７４’_２）と相関除去器出力Ｓ（信号１８）とが密接に結合され得る。結果として、両方のユニット、相関除去器および「アップミキシングユニット」６６は、密接に結合され、したがって、処理段６６は、最終的に相関除去ステレオ信号を提供する。例えば、処理段６６なしで、相関除去器がモノラル出力で独立して動作される場合、遅延補償された直接信号は、いかなるスケーリングもなしでモノラル出力に直接追加されて、ミュートされたギャップを満たし、「完全な」信号を提供する必要がある。

【0066】

換言すれば、図８は、モノ（中間信号）入力の遅延補償を伴うＭ／ＳからＬ／Ｒへのセットアップにおける相関除去器を示している。

【0067】

図９は、実施形態にかかる処理システム９０の概略ブロック図を示している。処理システム８０と比較すると、処理システム９０は、相関除去器の入力においてオーディオ信号２２またはその周波数表現１４における過渡現象を検出するように構成された過渡現象抑制器８２を備える。過渡現象抑制器は、オーディオ信号２２またはその周波数表現を受信するように構成された過渡現象検出ユニット８４を備え得る。過渡現象検出ユニット８４は、例えば、オーディオ信号２２を処理することによって、オーディオ信号の過渡現象を検出し得る。過渡現象抑制器８２は、合成整形された周波数表現１８を受信し、制御信号に基づいてこれをミュートするように構成されたミュートユニット８６をさらに備え得る。しかしながら、相関除去器１０または相関除去器の出力をミュートするように処理システム９０に含まれる相関除去器を制御する場合にも、同じまたは同等の効果が得られ得ることに留意されたい。すなわち、ミュートユニット８６はまた、相関除去器の一部を構成していてもよい。しかしながら、処理段６６の入力を形成する信号７４_１は、オーディオ信号２２において検出された過渡現象に基づいてミュートされてもよい。過渡現象抑制器８２は、処理段６６においてエコーを抑制するために、相関除去器によって提供される部分を一時的にミュートするように構成されてもよく、エコーは、プレエコーおよび／またはポストエコーに関連してもよい。時間領域において動作する場合、ミュートによって引き起こされる追加の過渡現象を回避するために、ソフトミュートのための窓が使用され得る。周波数領域において行われる場合、相関除去器２０、３０、および６０に関連して説明されているＳＴＦＴ窓処理は、自動的に、すなわち相乗的に、そのような効果を提供し得る。

【0068】

処理段６６に関して、相関除去器１０の出力をミュートすることは、信号処理段６６の入力エネルギーの望ましくないシフトをもたらすことがある。悪影響を回避するために、遅延補償ユニット７８と信号処理段６６との間に増幅器８２が接続されて、信号７４_２を一時的に増幅して増幅信号７４’_２を得てもよい。信号７４_２の増幅は、相関除去器１０の出力をミュートすることを条件としてもよい。すなわち、過渡現象抑制器８２は、相関除去器の部分をミュートすることに対応する遅延補償ユニット７８の部分を増幅するように構成されてもよい。

【0069】

増幅のレベルは、固定されてもよく、または制御されてもよい。一例によれば、適用される場合、増幅器８２の増幅率は、相関除去器のミュートされていない部分と比較した場合に、

の率であり得る。すなわち、相関除去器の出力をミュートするとき、増幅器８８は、

によって信号７４_２を増幅し得るが、ミュートがオフである時間、すなわち、ｇ＝１の間は信号７４_２を増幅しない。

【0070】

任意に、且つ過渡現象抑制中の望ましくない影響を回避するために、過渡現象抑制器８２は、オーディオ信号内の検出された過渡現象を抑制し、所定の抑制時間よりも早くない後続の過渡現象を抑制するように構成されてもよい。例えば、過渡現象抑制器８２は、保持時間、ヒステリシス、および／または抑制時間を制御および／または適用するように構成された制御ユニット９２を備えてもよい。例えば、保持時間は、阻害時間に比べて短くてもよい。保持時間は、検出された過渡現象、すなわち過渡現象検出ユニット８４によって決定された特性に応答して、相関除去器１０の出力がミュートされる時間に関連し得る。阻害時間は、望ましくない影響を回避するために、保持時間と比較してより長くてもよい。例えば、ホールドカウンタ、すなわちミュートのための時間は、１、２、４、６、７または８ブロックであってもよいが、阻害時間は、その時間の少なくとも２倍、例えば、少なくとも１４、少なくとも２０、少なくとも３０または５６ブロック、または他の任意の持続時間であってもよい。

【0071】

例によれば、制御ユニット９２はまた、低レートパルス列のようなオーディオ信号の過渡現象抑制のオン／オフトグルを緩和するためのヒステリシスを提供し得る。すなわち、制御ユニット９２によって提供される阻害時間は、第１の阻害時間であってもよい。過渡現象抑制器８２は、第１の阻害時間の間に過渡現象が発生した場合に、第１の阻害時間よりも長い第２の阻害時間として阻害時間を再開するように構成されてもよい。すなわち、保持時間は経過したが、阻害時間はまだ経過しておらず、新たな過渡現象が判定された場合（保持時間が経過したか否かにかかわらず）、阻害タイマが再開され得る。任意に、再開された阻害タイマは、キャンセルされた阻害タイマと比較してより長くてもよい。換言すれば、非常に最初の過渡現象が検出されると、保持カウンタおよび阻害カウンタの両方が開始される。過渡現象は、ホールドカウンタがその停止カウント、例えば８ブロックに到達するまでミュートされ得る。そして、ホールドカウンタがリセットされ、ミュートが停止され得る。阻害カウンタは、時間的にかなり遅れて、例えば５６ブロックでその停止カウント／リセットに到達し得る。前記進行中の阻害カウントプロセス中に新たな過渡現象が検出された場合、阻害カウンタのみが再開されるが、停止カウント値はより高く、例えば６４ブロックである。このように、ヒステリシスは、条件付きスイッチングおよび停止カウント修正によって実装される。すなわち、阻害カウンタ実行中に、過渡現象抑制またはミュートの新たなトリガが無効にされ得る。

【0072】

過渡現象抑制器８２は、周波数領域において動作するように構成されてもよい。代替的または追加的に、過渡現象抑制器８２は、相関除去器の事前遅延と比較して、より長い時間、相関除去器の部分をミュートするように構成されてもよい。すなわち、オーディオ信号２２において過渡現象が検出された場合、過渡現象が相関除去器の出力に到達したときにミュートは依然として有効であるべきである。

【0073】

換言すれば、実施形態にかかる相関除去器は、短い持続時間を有するオーバーラップする変換ブロック上で短時間フーリエ変換（ＳＴＦＴ）領域において動作する。これは、４８ｋＨｚのサンプルレートで１３．３ミリ秒の遅延時間に到達し得る［２］または［３］に記載されたＰＳ／ＭＤＳ相関除去器の高い遅延とは対照的に、数ミリ秒、例えば２５６および４８ｋＨｚのサンプルレートの変換サイズを想定した２．７ミリ秒の小さい処理遅延を可能にする。さらに、記載された相関除去器は、非常に低い計算オールパスフィルタを使用して実装されることができ、したがって、［１］または［２］に記載された時間領域相関除去よりも計算上はるかに効率的であり得る。さらなる下流スペクトル処理、例えばソース拡張モデリングが必要であるかまたは望まれる場合、記載された相関除去器は、低い計算複雑度を達成するためにＳＴＦＴ領域内のこの処理段に直接インターフェース接続され得る。

【0074】

したがって、本明細書に記載の相関除去器は、短い処理遅延および中程度の計算複雑度を提供し得る。相関除去器は、空間次元を有するオーディオオブジェクトをモデル化するための追加の下流処理、いわゆる「音源拡張」の知覚特性を有する空間拡張音源（ＳＥＳＳ）と組み合わせられることができる。

【0075】

換言すれば、図２および図９は、本発明の好ましい実施形態を示している。最初に、入力信号またはオーディオ信号（例えば、点音源の音）は、例えば２５６サンプルブロック長および例えば５０％オーバーラップを有する時間ブロックごとのＤＦＴを含む相関除去器２０に供給され得る。次に、ＤＦＴのスペクトルビンは、周波数依存持続時間にわたって時間遅延され、低周波数は、より高い遅延を有し得て、高周波数は、より低い遅延を有し得る。例えば、遅延は、低周波数では１６個のサブバンドサンプル（４８ｋＨｚで４２．７ミリ秒）であり得て、最高ビン、すなわちｚ^－１では１個のサブバンドサンプルまで減少し得る。経時的な遅延の減少は、線形、対数、またはさもなければサブバンドサンプルの整数への丸めであり得る。次に、各ビンは、好ましくは単純なオールパスフィルタのチェーンまたは入れ子状のオールパスフィルタ構造を備える、オールパスフィルタを介して送られる。オールパスフィルタの例が図４に示されている。異なる構造が図５に示されている。図４に関して、１つの可能なチェーンは、４つのそのようなオールパスフィルタを含むかまたはそれからなり得る。パラメータｇは、例えば０．７であるように選択されてもよく、遅延Ｍ_ｉは、素数であってもよい。図４は、チェーンのまさに最初の部分、すなわちＭ_１を示すことに留意されたい。これらのフィルタは、ダウンサンプリングされたスペクトルバンド、例えばダウンサンプリング係数１２８で動作し得るため、遅延は非常に低く、例えば素数１、２、３および５、または別の例として、１、３、５および７であり得る。続いて、時間／周波数包絡線整形が適用され得る。包絡線整形への入力信号は、直接ＤＦＴビンおよびそれらの遅延およびフィルタリングされたバージョンであってもよい。最後に、オーバーラップ加算を伴うＩＤＦＴは、出力信号を合成し得る。出力信号は、図８に示されるような構成において、モノラル入力信号から左／右ステレオ信号を得るために時間領域においてさらに処理されてもよい。あるいは、左／右ステレオ信号は、ＤＦＴ周波数領域において組み立てられ、全体的な計算効率に有益であれば、例えば、高速畳み込みによるソース拡張／ＳＥＳＳモデリングのために、周波数領域においてさらに処理されることができる。ソース拡張モデリングの構成が図７に示されている。他の実施形態とは対照的に、遅延Ｍ_ｉを有する代替的な実施形態は、サブバンド領域において選択されたものよりも約１２８倍大きい素数、例えば、１３１、２５７、３８３および６４１（素数値１、２、３および５のセットについて）または１３１、３８３、６４１および９０７（素数値１、３、５および７のセットについて）として選択されてもよい。異なる数の素数および／または異なる素数を有する素数値の異なるセットについて、対応する値が選択されてもよい。さらに、代替的な実施形態は、時間／周波数包絡線整形器に入力される直接信号を取得するために追加のＳＴＦＴを必要としてもよい。

【0076】

図９は、過渡現象処理を伴うＭ／ＳからＬ／Ｒへのセットアップにおける例示的な相関除去器を示している。これらの実施形態の態様は、以下の通りである：
・過渡現象検出は、孤立した過渡現象の存在を検出する。

【0077】

・過渡現象が検出された場合、相関除去された音は、「保持時間」の間ミュートされ、遅延補償された直接信号は、それに応じて増幅される。コヒーレント加算の効果を補償するために、２／ｓｑｒｔ（２）の係数が適用されて直接信号を増幅し、そこで相関除去信号を置き換える。

【0078】

・トーンとして知覚される高速パルス列のトリガを回避するために、阻害は、特定の「阻害時間」の間の次の過渡現象によるトリガを防止する。「保持時間」の間は、新たな過渡現象検出ごとに阻害時間が再開される。

【0079】

・ヒステリシスは、（例えば、再誘発された阻害の場合に「阻害時間」を増加させることによって）過渡現象検出のトグルを防止する。

【0080】

・過渡現象検出、ミュート、直接音増幅、検出阻害、およびヒステリシスは、以下のようにＳＴＦＴ領域において有利に実装されてもよい：
○ＳＴＦＴブロックのオーバーラップは、滑らかなクロスフェードを提供する
○ミュート時間が相関除去器の事前遅延よりも長い
○相関除去信号をミュートし、直接信号を増幅するためのミュートブロックカウンタ
○過渡現象検出を阻害するための阻害ブロックカウンタ
○過渡現象検出におけるトグルを回避するためのヒステリシス

【0081】

本発明の実施形態は、以下に関する。
オーディオ信号の相関除去のための装置／方法であって、
・相関除去器であって、
○ＤＦＴ／ＩＤＦＴペア（周波数領域においてＳＥＳＳ処理と直接インターフェースされている場合は任意）と、
○サブバンド領域の遅延であって、好ましくは、低周波数がより高い遅延を有し、高周波数がより低い遅延を有し、周波数に沿った遅延分布：線形、対数などである、サブバンド領域の遅延と、
○サブバンド領域におけるオールパスフィルタであって、任意に、低周波数がより高い遅延／次数を有することができ、高周波数がより低い遅延／次数を有することができ、高次オールパスフィルタが、低次オールパスフィルタの段によって実現され得る、オールパスフィルタと、を含む、相関除去器と、
・周波数可変遅延と組み合わせて小さい整数の遅延素数を使用する（ダウンサンプリングされた）ＤＦＴサブバンド領域におけるショートシュレーダーＩＩＲフィルタであって、
○高時間分解能（＜４ｍｓ）のＴ／Ｆ包絡線調整器がサブバンド領域において動作し、遅延／オールパス処理前後のエネルギーを測定し、サブバンド信号のエネルギーを（可能な限り）元のサブバンド信号のエネルギーと一致するように調整する、ショートシュレーダーＩＩＲフィルタと、
・「ソース拡張」モデリング／処理の一部としての低遅延相関除去器（ＭＰＥＧサラウンド相関除去器とは対照的）と、
・計算効率のための時間またはＤＦＴ周波数領域におけるダウンストリームソース拡張処理へのインターフェースと、
・代替的な実装：遅延前のオールパスフィルタ（「遅延後」）と、を備える、装置／方法。

【0082】

図１０は、例えば、本明細書に記載の相関除去器によって実装され得る実施形態にかかる方法１０００の概略ブロック図を示している。方法１０００は、オーディオ信号に基づく複数の部分が受信されるステップ１０１０を含む。１０２０において、複数の遅延部分を提供するために、各受信部分が遅延される。１０３０は、周波数表現の遅延部分に基づく信号を受信および結合することを含む。１０４０は、オーディオ信号の周波数表現を受信することを含む。１０５０は、オーディオ信号の周波数表現に関して遅延部分のエネルギーを調整することを含む。１０６０は、例えば包絡線整形器１６を使用して、合成整形された周波数表現を提供することを含む。

【0083】

いくつかの態様が装置の文脈で説明されたが、これらの態様は、対応する方法の説明も表すことは明らかであり、ブロックまたは装置は、方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップの文脈で説明された態様は、対応する装置の対応するブロックまたは項目または機能の説明も表す。

【0084】

本発明の符号化された音声信号は、デジタル記憶媒体に記憶されることができるか、または無線伝送媒体などの伝送媒体またはインターネットなどの有線伝送媒体上で送信されることができる。

【0085】

特定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装されることができる。実装は、電子的に読み取り可能な制御信号が記憶され、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する（または協働することができる）、例えば、フロッピーディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリなどのデジタル記憶媒体を使用して行うことができる。

【0086】

本発明にかかるいくつかの実施形態は、本明細書に記載の方法の１つが実行されるように、プログラム可能なコンピュータシステムと協調することができる電子的に読み取り可能な制御信号を有するデータキャリアを備える。

【0087】

一般に、本発明の実施形態は、プログラムコードを備えたコンピュータプログラム製品として実装されることができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに方法の１つを実行するために動作する。プログラムコードは、例えば、機械可読キャリアに記憶されてもよい。

【0088】

他の実施形態は、機械可読キャリアに記憶された、本明細書に記載された方法の１つを実行するためのコンピュータプログラムを備える。

【0089】

換言すれば、本発明の方法の実施形態は、したがって、コンピュータプログラムがコンピュータ上で実行されると、本明細書に記載された方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。

【0090】

したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムをその上に記録したデータキャリア（またはデジタル記憶媒体、またはコンピュータ可読媒体）である。

【0091】

したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えば、インターネットなどのデータ通信接続を介して転送されるように構成されてもよい。

【0092】

さらなる実施形態は、本明細書に記載された方法の１つを実行するように構成または適合された処理手段、例えば、コンピュータ、またはプログラマブルロジックデバイスを備える。

【0093】

さらなる実施形態は、本明細書に記載の方法のうちの１つを実行するためのコンピュータプログラムをその上にインストールしたコンピュータを備える。

【0094】

いくつかの実施形態では、プログラマブルロジックデバイス（例えば、フィールドプログラマブルゲートアレイ）が使用されて、本明細書に記載の方法の機能のいくつかまたは全てを実行し得る。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載された方法の１つを実行するためにマイクロプロセッサと協調し得る。一般に、本方法は、好ましくは、任意のハードウェア装置によって実行される。

【0095】

上述した実施形態は、本発明の原理を単に例示するものである。本明細書に記載された構成および詳細の変更および変形は、当業者にとって明らかであろうことが理解される。したがって、本明細書の実施形態の説明および説明として提示された特定の詳細によってではなく、差し迫った特許請求の範囲によってのみ限定されることが意図されている。

【先行技術文献】

【非特許文献】

【0096】

【非特許文献1】［１］ W. Oomen, E. Schuijers, B. den Brinker, and J. Breebaart, "Advances in Parametric Coding for High-Quality Audio," Paper 5852, (2003 March.)

【0097】

【非特許文献2】［2］ J. Breebaart, S. van de Par, A. Kohlrausch, and E. Schuijers, "High-quality Parametric Spatial Audio Coding at Low Bitrates," Paper 6072, (2004 May.)

【0098】

【非特許文献3】QMF domain PS: ［3］ H. Purnhagen, J. Engdegard, J. Roden, and L. Liljeryd, "Synthetic Ambience in Parametric Stereo Coding," Paper 6074, (2004 May.)

【0099】

【非特許文献4】［4］ J. Herre, K. Kjoerling, J. Breebaart, C. Faller, S. Disch, H. Purnhagen, J. Koppens, J. Hilpert, J. Roeden, W. Oomen, K. Linzmeier, and KO. SE. Chong, "MPEG Surround-The ISO/MPEG Standard for Efficient and Compatible Multichannel Audio Coding," J. Audio Eng. Soc., vol. 56, no. 11, pp. 932-955, (2008 November.)

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【国際調査報告】