(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024023573
(43)【公開日】2024-02-21
(54)【発明の名称】広帯域フィルタによって生成される補充信号を使用して、エンコードされたマルチチャネル信号をエンコードまたはデコードするための装置
(51)【国際特許分類】
G10L 19/008 20130101AFI20240214BHJP
【FI】
G10L19/008
【審査請求】有
【請求項の数】20
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2023206540
(22)【出願日】2023-12-07
(62)【分割の表示】P 2022161637の分割
【原出願日】2018-07-26
(31)【優先権主張番号】17183841.0
(32)【優先日】2017-07-28
(33)【優先権主張国・地域又は機関】EP
(71)【出願人】
【識別番号】500341779
【氏名又は名称】フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
(74)【代理人】
【識別番号】100134119
【弁理士】
【氏名又は名称】奥町 哲行
(72)【発明者】
【氏名】ビュート・ヤン
(72)【発明者】
【氏名】ロイテルフーバー・フランツ
(72)【発明者】
【氏名】ディシュ・ザシャ
(72)【発明者】
【氏名】フックス・ギヨーム
(72)【発明者】
【氏名】ムルトルス・マルクス
(72)【発明者】
【氏名】ガイガー・ラルフ
(57)【要約】 (修正有)
【課題】周波数ドメインマルチチャネル処理と、時間ドメイン無相関化を組み合わせ、高いオーディオ品質を有するデコードされたマルチチャネル信号を得る装置及び方法を提供する。
【解決手段】マルチチャネル信号をデコードするための装置は、エンコードされたベースチャネルをデコードしてデコードされたベースチャネルを得るためのベースチャネルデコーダ700と、デコードされたベースチャネルの少なくとも一部をフィルタ処理して補充信号を得るための無相関化フィルタ800と、デコードされたベースチャネルのスペクトル表現及び補充信号のスペクトル表現を使用してマルチチャネル処理を実行するためのマルチチャネルプロセッサ900と、を備える。無相関化フィルタは、広帯域フィルタであり、マルチチャネルプロセッサは、デコードされたベースチャネルのスペクトル表現及び補充信号のスペクトル表現に狭帯域処理を適用する。
【選択図】
図7a
【特許請求の範囲】
【請求項1】
エンコードされたマルチチャネル信号をデコードするための装置であって、
エンコードされたベースチャネルをデコードしてデコードされたベースチャネルを得るためのベースチャネルデコーダ(700)と、
前記デコードされたベースチャネルの少なくとも一部をフィルタ処理して補充信号を得るための無相関化フィルタ(800)と、
前記デコードされたベースチャネルのスペクトル表現および前記補充信号のスペクトル表現を使用してマルチチャネル処理を実行するためのマルチチャネルプロセッサ(900)と
を備えており、
前記無相関化フィルタ(800)は、広帯域フィルタであり、前記マルチチャネルプロセッサ(900)は、前記デコードされたベースチャネルの前記スペクトル表現および前記補充信号の前記スペクトル表現に狭帯域処理を適用するように構成されている、
装置。
【請求項2】
前記無相関化フィルタ(800)のフィルタ特性が、前記フィルタ特性が一定の大きさである領域が、前記デコードされたベースチャネルの前記スペクトル表現のスペクトル粒度および前記補充信号の前記スペクトル表現のスペクトル粒度よりも大きくなるように選択される、
請求項1に記載の装置。
【請求項3】
前記無相関化フィルタは、
前記デコードされたベースチャネルをフィルタ処理して広帯域または時間ドメイン補充信号を得るためのフィルタ段(802)と、
前記広帯域または時間ドメイン補充信号を前記補充信号の前記スペクトル表現に変換するためのスペクトル変換器(804)と
を備える、請求項1または2に記載の装置。
【請求項4】
前記デコードされたベースチャネルを前記デコードされたベースチャネルの前記スペクトル表現に変換するためのベースチャネルスペクトル変換器(902)をさらに備える、
請求項1~3のいずれか一項に記載の装置。
【請求項5】
前記無相関化フィルタ(800)は、オールパス時間ドメインフィルタ(802)または少なくとも1つのシュレーダーオールパスフィルタ(802)を備える、
請求項1~4のいずれか一項に記載の装置。
【請求項6】
前記無相関化フィルタ(800)は、第1の加算器(411)と、遅延段(423)と、第2の加算器(416)と、順方向ゲインを有する順方向フィード(443)と、逆方向ゲインを有する逆方向フィード(433)とを有する少なくとも1つのシュレーダーオールパスフィルタを備える、
請求項1~5のいずれか一項に記載の装置。
【請求項7】
前記オールパスフィルタ(802)は、少なくとも1つのオールパスフィルタセルを備え、前記少なくとも1つのオールパスフィルタセルは、2つのシュレーダーオールパスフィルタ(401、402)を第3のシュレーダーオールパスフィルタ(403)に入れ子にして備え、あるいは
前記オールパスフィルタは、少なくとも1つのオールパスフィルタセル(403)を備え、前記少なくとも1つのオールパスフィルタセルは、2つのカスケード接続されたシュレーダーオールパスフィルタ(401、402)を備え、前記カスケード接続された第1のシュレーダーオールパスフィルタへの入力および前記カスケード接続された第2のシュレーダーオールパスフィルタからの出力が、信号の流れの方向において、前記第3のシュレーダーオールパスフィルタの遅延段(423)の前に接続されている、
請求項5または6に記載の装置。
【請求項8】
前記オールパスフィルタは、
第1の加算器(411)、第2の加算器(412)、第3の加算器(413)、第4の加算器(414)、第5の加算器(415)、および第6の加算器(416)と、
第1の遅延段(421)、第2の遅延段(422)、および第3の遅延段(423)と、
第1の順方向ゲインを有する第1の順方向フィード(431)および第1の逆方向ゲインを有する第1の逆方向フィード(441)と、
第2の順方向ゲインを有する第2の順方向フィード(442)および第2の逆方向ゲインを有する第2の逆方向フィード(432)と、
第3の順方向ゲインを有する第3の順方向フィード(443)および第3の逆方向ゲインを有する第3の逆方向フィード(433)と
を備える、請求項5~7のいずれか一項に記載の装置。
【請求項9】
前記第1の加算器(411)への入力が、前記オールパスフィルタ(802)への入力に相当し、前記第1の加算器(411)への第2の入力が、前記第3の遅延段(423)の出力に接続され、第3の逆方向ゲインを有する前記第3の逆方向フィード(433)を備え、
前記第1の加算器(411)の出力は、前記第2の加算器(412)への入力に接続され、前記第3の順方向ゲインを有する前記第3の順方向フィードを介して前記第6の加算器の入力に接続され、
前記第2の加算器(412)へのさらなる入力は、前記第1の逆方向ゲインを有する前記第1の逆方向フィード(441)を介して前記第1の遅延段(421)に接続され、
前記第2の加算器(412)の出力は、前記第1の遅延段(421)の入力に接続され、前記第1の順方向ゲインを有する前記第1の順方向フィード(431)を介して前記第3の加算器(413)の入力に接続され、
前記第1の遅延段(421)の出力は、前記第3の加算器(413)のさらなる入力に接続され、
前記第3の加算器(413)の出力は、前記第4の加算器(414)の入力に接続され、
前記第4の加算器(414)へのさらなる入力は、前記第2の逆方向ゲインを有する前記第2の逆方向フィード(432)を介して前記第2の遅延段(422)の出力に接続され、
前記第4の加算器(414)の出力は、前記第2の遅延段(422)への入力に接続され、前記第2の順方向ゲインを有する前記第2の順方向フィード(442)を介して前記第5の加算器(415)への入力に接続され、
前記第2の遅延段(421)の出力は、前記第5の加算器(415)へのさらなる入力に接続され、
前記第5の加算器(415)の出力は、前記第3の遅延段(423)の入力に接続され、
前記第3の遅延段(423)の出力は、前記第6の加算器(416)への入力に接続され、
前記第6の加算器(416)へのさらなる入力は、前記第3の順方向ゲインを有する前記第3の順方向フィード(443)を介して前記第1の加算器(411)の出力に接続され、
前記第6の加算器(416)の前記出力は、前記オールパスフィルタ(802)の出力に相当する、
請求項8に記載の装置。
【請求項10】
前記オールパスフィルタ(802)は、2つ以上のオールパスフィルタセル(401、402、403、502、504、506、508、510)を備え、前記オールパスフィルタセルの前記遅延の遅延値は、互いに素である、
請求項7~9のいずれか一項に記載の装置。
【請求項11】
シュレーダーオールパスフィルタの順方向ゲインおよび逆方向ゲインは、互いに等しく、あるいは互いの相違が前記順方向ゲインおよび前記逆方向ゲインのうちの大きい方のゲイン値の10%未満である、
請求項5~10のいずれか一項に記載の装置。
【請求項12】
前記無相関化フィルタ(800)は、2つ以上のオールパスフィルタセルを備え、
前記オールパスフィルタセルのうちの1つは、2つの正のゲインおよび1つの負のゲインを有し、前記オールパスフィルタセルのうちのもう1つは、1つの正のゲインおよび2つの負のゲインを有する、
請求項5~11のいずれか一項に記載の装置。
【請求項13】
第1の遅延段(421)の遅延値は、第2の遅延段(422)の遅延値よりも小さく、前記第2の遅延段(422)の前記遅延値は、3つのシュレーダーオールパスフィルタを備えるオールパスフィルタセルの第3の遅延段(423)の遅延値よりも小さく、あるいは
第1の遅延段(421)の遅延値および第2の遅延段(422)の遅延値の和が、3つのシュレーダーオールパスフィルタを備えるオールパスフィルタセル(502、504、506、508、510)の前記第3の遅延段(423)の遅延値よりも小さい、
請求項5~12のいずれか一項に記載の装置。
【請求項14】
前記オールパスフィルタ(802)は、カスケード内の少なくとも2つのオールパスフィルタセル(502、504、506、508、510)を備え、前記カスケードにおいてより後ろのオールパスフィルタの最小の遅延値が、前記カスケードにおいてより前のオールパスフィルタセルの最大または2番目に大きい遅延値よりも小さい、
請求項5~13のいずれか一項に記載の装置。
【請求項15】
前記オールパスフィルタは、カスケード内の少なくとも2つのオールパスフィルタセル(502、504、506、508、510)を備え、
各々のオールパスフィルタセル(502、504、506、508、510)は、第1の順方向ゲインまたは第1の逆方向ゲインと、第2の順方向ゲインまたは第2の逆方向ゲインと、第3の順方向ゲインまたは第3の逆方向ゲインと、第1の遅延段と、第2の遅延段と、第3の遅延段とを有し、
前記ゲインおよび前記遅延の値は、下記の
【表1】
に示される値の±20%の許容差範囲内に設定され、
B
1(z)は、前記カスケード内の第1のオールパスフィルタセル(502)であり、
B
2(z)は、前記カスケード内の第2のオールパスフィルタセル(504)であり、
B
3(z)は、前記カスケード内の第3のオールパスフィルタセル(506)であり、
B
4(z)は、前記カスケード内の第4のオールパスフィルタセル(508)であり、
B
5(z)は、前記カスケード内の第5のオールパスフィルタセル(510)であり、
前記カスケードは、前記第1のオールパスフィルタセルB
1および前記第2のオールパスフィルタセルB
2、またはB
1~B
5で構成されるオールパスフィルタセルの群のうちの任意の他の2つのオールパスフィルタセルだけを含み、あるいは
前記カスケードは、5つのオールパスフィルタセルB
1~B
5の群から選択された3つのオールパスフィルタセルを含み、あるいは
前記カスケードは、オールパスフィルタセルB
1~B
5の群から選択された4つのオールパスフィルタセルを含み、あるいは
前記カスケードは、5つのオールパスフィルタセルB
1~B
5をすべて含み、
g
1は、前記オールパスフィルタセルの前記第1の順方向ゲインまたは逆方向ゲインを表し、g
2は、前記オールパスフィルタセルの第2の逆方向ゲインまたは順方向ゲインを表し、g
3は、前記オールパスフィルタセルの前記第3の順方向ゲインまたは逆方向ゲインを表し、d
1は、前記オールパスフィルタセルの前記第1の遅延段の遅延を表し、d
2は、前記オールパスフィルタセルの前記第2の遅延段の遅延を表し、d
3は、前記オールパスフィルタセルの第3の遅延段の遅延を表し、あるいは
g
1は、前記オールパスフィルタセルの前記第2の順方向ゲインまたは逆方向ゲインを表し、g
2は、前記オールパスフィルタセルの第1の逆方向ゲインまたは順方向ゲインを表し、g
3は、前記オールパスフィルタセルの前記第3の順方向ゲインまたは逆方向ゲインを表し、d
1は、前記オールパスフィルタセルの前記第2の遅延段の遅延を表し、d
2は、前記オールパスフィルタセルの前記第1の遅延段の遅延を表し、d
3は、前記オールパスフィルタセルの第3の遅延段の遅延を表す、
請求項5~14のいずれか一項に記載の装置。
【請求項16】
前記マルチチャネルプロセッサ(900)は、前記デコードされたベースチャネルのスペクトル帯および前記補充信号の対応するスペクトル帯の異なる重み付けの組み合わせを使用して、第1のアップミックスチャネルおよび第2のアップミックスチャネルを決定(946)するように構成され、前記異なる重み付けの組み合わせは、予測係数および/またはゲイン係数ならびに/あるいは前記デコードされたベースチャネルのスペクトル帯および前記補充信号の対応するスペクトル帯を使用して計算されるエンベロープまたはエネルギ正規化係数に依存する、
請求項1~15のいずれか一項に記載の装置。
【請求項17】
前記マルチチャネルプロセッサは、前記エネルギ正規化係数を圧縮(945)し、前記圧縮されたエネルギ正規化係数を使用して前記異なる重み付けの組み合わせを計算するように構成されている、
請求項16に記載の装置。
【請求項18】
前記エネルギ正規化係数は、
前記エネルギ正規化係数の対数を計算すること(921)と、
前記対数を非線形関数に委ねること(922)と、
前記非線形関数の結果の累乗結果を計算すること(923)と
を使用して圧縮される、請求項17に記載の装置。
【請求項19】
前記非線形関数は、
に基づいて定義され、
前記関数cは、
に基づいて定義され、
ここでtは実数であり、τは積分変数である、
請求項18に記載の装置。
【請求項20】
前記マルチチャネルプロセッサ(900、924、925)は、前記エネルギ正規化係数を圧縮(921)し、前記圧縮されたエネルギ正規化係数を使用し、非線形関数を使用して、前記異なる重み付けの組み合わせを計算するように構成され、
前記非線形関数は、
に基づいて定義され、
ここでαは所定の境界値であり、tは-αと+αとの間の値である、
請求項16または18に記載の装置。
【請求項21】
前記マルチチャネルプロセッサ(900)は、低帯域の第1のアップミックスチャネルおよび低帯域の第2のアップミックスチャネルを計算(904)するように構成され、
当該装置は、前記低帯域の第1のアップミックスチャネルおよび前記低帯域の第2のアップミックスチャネルあるいは低帯域のベースチャネルを拡張するための時間ドメイン帯域幅拡張器(960)をさらに備え、
前記マルチチャネルプロセッサ(904)は、前記デコードされたベースチャネルのスペクトル帯および前記補充信号の前記対応するスペクトル帯の異なる重み付けの組み合わせを使用して、第1のアップミックスチャネルおよび第2のアップミックスチャネルを決定(946)するように構成され、前記異なる重み付けの組み合わせは、前記デコードされたベースチャネルの前記スペクトル帯および前記補充信号の前記スペクトル帯のエネルギを使用して計算(945)されるエネルギ正規化係数に依存し、
前記エネルギ正規化係数は、ウインドウ処理された広帯域信号のエネルギから導出されるエネルギ評価を使用して計算(961)される、
請求項1~20のいずれか一項に記載の装置。
【請求項22】
前記時間ドメイン帯域幅拡張器(960)は、前記エネルギ正規化係数の前記計算に使用される前記ウインドウ処理の操作を伴わない前記広帯域信号を使用するように構成されている、
請求項21に記載の装置。
【請求項23】
前記ベースチャネルデコーダ(700、705)は、デコードされたプライマリベースチャネルおよびデコードされたセカンダリベースチャネルをもたらすように構成され、
前記無相関化フィルタ(800)は、前記デコードされたプライマリベースチャネルをフィルタ処理して前記補充信号を得るように構成され、
前記マルチチャネルプロセッサ(900)は、マルチチャネル処理を、前記補充信号を使用して前記マルチチャネル処理における1つ以上の残差部分を合成することによって実行するように構成され、
整形フィルタ(930)が前記補充信号に適用される、
請求項1~22のいずれか一項に記載の装置。
【請求項24】
前記プライマリベースチャネルおよび前記セカンダリベースチャネルは、元の入力チャネルの変換の結果であり、前記変換は、例えばミッド/サイド変換またはKarhunen Loeve(KL)変換であり、前記デコードされたセカンダリベースチャネルは、より小さい帯域幅に限定されており、
前記マルチチャネルプロセッサは、前記補充信号を高域通過フィルタ処理(930)し、前記高域通過フィルタ処理した補充信号を、前記帯域幅が限定されたデコードされたセカンダリベースチャネルに含まれない帯域幅のためのセカンダリチャネルとして使用するように構成されている、
請求項23に記載の装置。
【請求項25】
前記マルチチャネルプロセッサ(900)は、異なるステレオ処理方法(904a、904b、904c)を実行するように構成され、
前記マルチチャネルプロセッサ(900)は、前記異なるマルチチャネル処理方法を、例えば帯域幅によって分けて同時に実行し、あるいは例えば周波数ドメイン対時間ドメイン処理など、排他的に実行するようにさらに構成され、切り替え判断に接続されており、
前記マルチチャネルプロセッサ(900)は、すべてのマルチチャネル処理方法(904a、904b、904c)において前記同じ補充信号を使用するように構成されている、
請求項1~24のいずれか一項に記載の装置。
【請求項26】
前記無相関化フィルタ(800)は、時間ドメインフィルタ(802)として、20ms~40msの間の時間ドメインフィルタインパルス応答の最適ピーク領域を有する、
請求項1~25のいずれか一項に記載の装置。
【請求項27】
前記無相関化フィルタ(800)は、前記デコードされたベースチャネルを所定の目標サンプリングレートまたは入力依存の目標サンプリングレートに再サンプリング(811、812)するように構成され、
前記無相関化フィルタ(800)は、再サンプリングされたデコードされたベースチャネルを、無相関化フィルタ(802)段を使用してフィルタ処理するように構成され、
前記マルチチャネルプロセッサ(900)は、さらなる時間部分についてデコードされたベースチャネルを同じサンプリングレートに変換(710)するように構成され、したがって前記マルチチャネルプロセッサ(900)は、異なる時間部分の前記デコードされたベースチャネルの異なるサンプリングレートにかかわらず、同じサンプリングレートに基づく前記デコードされたベースチャネルおよび前記補充信号のスペクトル表現を使用して動作し、あるいは
当該装置は、周波数ドメインへの変換(804、702)前、または周波数ドメインへの変換(804、702)時、または前記周波数ドメインへの変換(804、702)後に、再サンプリングを実行するように構成されている、
請求項1~26のいずれか一項に記載の装置。
【請求項28】
前記エンコードまたはデコードされたベースチャネルにおける過渡を発見するための過渡検出器をさらに備え、
前記無相関化フィルタ(800)は、前記過渡検出器が過渡信号サンプルを発見した時間部分においてノイズまたはゼロ値(816)を無相関化フィルタ段(802)に供給するように構成され、前記無相関化フィルタ(800)は、前記過渡検出器が前記エンコードまたはデコードされたベースチャネルにおいて過渡を発見しなかったさらなる時間部分において前記デコードされたベースチャネルのサンプルを前記無相関化フィルタ段(802)に供給するように構成されている、
請求項1~27のいずれか一項に記載の装置。
【請求項29】
前記ベースチャネルデコーダ(700)は、
低帯域デコーダ(721)と帯域幅拡張デコーダ(720)とを備えており、前記デコードされたチャネルの第1の部分を生成する第1のデコーディングブランチと、
フルバンドデコーダを有しており、前記デコードされたベースチャネルの第2の部分を生成する第2のデコーディングブランチ(722)と、
前記エンコードされたベースチャネルの一部を前記制御信号に応じて前記第1のデコーディングブランチまたは前記第2のデコーディングブランチのいずれかに供給するコントローラ(713)と
を備える、
請求項1~28のいずれか一項に記載の装置。
【請求項30】
前記無相関化フィルタ(800)は、
第1の部分を所定のサンプリングレートに再サンプリングするための第1の再サンプラー(810、811)と、
第2の部分を前記所定のサンプリングレートに再サンプリングするための第2の再サンプラー(812)と、
オールパスフィルタ入力信号をオールパスフィルタ処理して前記補充信号を得るためのオールパスフィルタユニット(802)と、
再サンプリングされた第1の部分または再サンプリングされた第2の部分を前記オールパスフィルタユニット(802)に供給するためのコントローラ(815)と
を備える、請求項1~29のいずれか一項に記載の装置。
【請求項31】
前記コントローラ(815)は、前記制御信号に応答して、前記再サンプリングされた第1の部分または前記再サンプリングされた第2の部分あるいはゼロデータ(816)のいずれかを前記オールパスフィルタユニットに供給するように構成されている、
請求項30に記載の装置。
【請求項32】
前記無相関化フィルタ(800)は、
前記補充信号を第1のスペクトル分解能のスペクトルラインを含むスペクトル表現に変換するための時間-スペクトル変換器(804)
を備え、
前記マルチチャネルプロセッサ(900)は、前記デコードされたベースチャネルを前記第1のスペクトル分解能のスペクトルラインを使用するスペクトル表現に変換するための時間-スペクトル変換器(902)を備え、
前記マルチチャネルプロセッサ(904)は、第1のアップミックスチャネルまたは第2のアップミックスチャネルのための前記第1のスペクトル分解能を有するスペクトルラインを、特定のスペクトルラインについて、前記補充信号のスペクトルライン、前記デコードされたベースチャネルのスペクトルライン、および1つ以上のパラメータを使用して生成するように構成され、
前記1つ以上のパラメータは、前記第1のスペクトル分解能よりも低い第2のスペクトル分解能に関係し、
前記1つ以上のパラメータは、前記特定のスペクトルラインおよび少なくとも1つの周波数隣接スペクトルラインを含むスペクトルライン群を生成するために使用される、
請求項1~31のいずれか一項に記載の装置。
【請求項33】
前記マルチチャネルプロセッサは、前記第1のアップミックスチャネルまたは前記第2のアップミックスチャネルのためのスペクトルラインを、
1つ以上の伝達されたパラメータに応じた位相回転係数(941a、941b)、
前記デコードされたベースチャネルのスペクトルライン、
伝達されたパラメータに応じた前記デコードされたベースチャネルの前記スペクトルラインの第1の重み(942a、942b)、
前記補充信号のスペクトルライン、
伝達されたパラメータに応じた前記補充信号の前記スペクトルラインの第2の重み(943a、943b)、および
エネルギ正規化係数(945)
を使用して生成するように構成されている、請求項1~32のいずれか一項に記載の装置。
【請求項34】
前記第2のアップミックスチャネルの計算に関して、前記第2の重みの符号は、前記第1のアップミックスチャネルの計算に使用される前記第2の重みの符号とは異なり、あるいは
前記第2のアップミックスチャネルの計算に関して、前記位相回転係数は、前記第1のアップミックスチャネルの計算に使用される前記位相回転係数とは異なり、
前記第2のアップミックスチャネルの計算に関して、前記第1の重みは、前記第1のアップミックスチャネルの計算に使用される前記第1の重みとは異なる、
請求項33に記載の装置。
【請求項35】
前記ベースチャネルデコーダは、第1の帯域幅の前記デコードされたベースチャネルを得るように構成され、
前記マルチチャネルプロセッサ(900)は、第1のアップミックスチャネルおよび第2のアップミックスチャネルのスペクトル表現を生成するように構成され、前記スペクトル表現は、前記第1の帯域幅、および周波数に関して前記第1の帯域幅よりも上の帯域を含む追加の第2の帯域幅を有し、
前記第1の帯域幅は、前記デコードされたベースチャネルおよび前記補充信号を使用して生成され、
前記第2の帯域幅は、前記デコードされたベースチャネルを使用せずに前記補充信号を使用して生成され、
前記マルチチャネルプロセッサは、前記第1のアップミックスチャネルまたは前記第2のアップミックスチャネルを時間ドメイン表現に変換するように構成され、
前記マルチチャネルプロセッサは、
前記第1のアップミックス信号または前記第2のアップミックス信号あるいは前記ベースチャネルのための前記第2の帯域幅を含む時間ドメイン拡張信号を生成するための時間ドメイン帯域幅拡張プロセッサ(960)と、
前記時間ドメイン拡張信号と、前記第1または第2のアップミックスチャネルあるいは前記ベースチャネルの前記時間表現とを結合させて、広帯域アップミックスチャネルを得るための結合器(994a、994b)と
をさらに備える、請求項1~34のいずれか一項に記載の装置。
【請求項36】
前記マルチチャネルプロセッサ(900)は、前記第2の帯域幅の前記第1または第2のアップミックスチャネルの計算に使用されるエネルギ正規化係数を、
前記第1の帯域幅の前記デコードされたベースチャネルのエネルギを使用し、
前記第1のチャネルまたは前記第2のチャネルあるいは帯域幅拡張されたダウンミックス信号のための時間拡張信号のウインドウ処理バージョンのエネルギを使用し、さらに
前記第2の帯域幅の前記補充信号のエネルギを使用して
計算(945)するように構成されている、請求項35に記載の装置。
【請求項37】
エンコードされたマルチチャネル信号をデコードする方法であって、
エンコードされたベースチャネルをデコードしてデコードされたベースチャネルを得るステップ(700)と、
前記デコードされたベースチャネルの少なくとも一部を無相関化フィルタ処理して補充信号を得るステップ(800)と、
前記デコードされたベースチャネルのスペクトル表現および前記補充信号のスペクトル表現を使用してマルチチャネル処理を実行するステップ(900)と
を含んでおり、
前記無相関化フィルタ処理(800)は、広帯域フィルタ処理であり、前記マルチチャネル処理(900)は、前記デコードされたベースチャネルの前記スペクトル表現および前記補充信号の前記スペクトル表現に狭帯域処理を適用することを含む、
方法。
【請求項38】
コンピュータまたはプロセッサ上で実行されたときに請求項37に記載の方法を実行するためのコンピュータプログラム。
【請求項39】
オーディオ入力信号を無相関化処理して無相関化信号を得るためのオーディオ信号無相関化器(800)であって、
オールパスフィルタ(802)
を備えており、
前記オールパスフィルタ(802)は、少なくとも1つのオールパスフィルタセルを備え、オールパスフィルタセルは、2つのシュレーダーオールパスフィルタ(401、402)を第3のシュレーダーオールパスフィルタ(403)に入れ子にして備えており、あるいは
前記オールパスフィルタは、少なくとも1つのオールパスフィルタセルを備え、前記オールパスフィルタセルは、2つのカスケード接続されたシュレーダーオールパスフィルタ(401、402)を備え、前記カスケード接続された第1のシュレーダーオールパスフィルタへの入力および前記カスケード接続された第2のシュレーダーオールパスフィルタからの出力が、信号の流れの方向において、前記第3のシュレーダーオールパスフィルタ(403)の遅延段(423)の前に接続されている、
オーディオ信号無相関化器(800)。
【請求項40】
前記少なくとも1つのシュレーダーオールパスフィルタは、第1の加算器(411)、遅延段、第2の加算器(412)、順方向ゲインを有する順方向フィード、および逆方向ゲインを有する逆方向フィードを有する、
請求項39に記載の装置。
【請求項41】
前記オールパスフィルタは、
第1の加算器(411)、第2の加算器(412)、第3の加算器(413)、第4の加算器(414)、第5の加算器(415)、および第6の加算器(416)と、
第1の遅延段(421)、第2の遅延段(422)、および第3の遅延段(423)と、
第1の順方向ゲインを有する第1の順方向フィード(431)および第1の逆方向ゲインを有する第1の逆方向フィード(441)と、
第2の順方向ゲインを有する第2の順方向フィード(442)および第2の逆方向ゲインを有する第2の逆方向フィード(432)と、
第3の順方向ゲインを有する第3の順方向フィード(443)および第3の逆方向ゲインを有する第3の逆方向フィード(433)と
を備える、請求項39または40に記載の装置。
【請求項42】
前記第1の加算器(411)への入力が、前記オールパスフィルタへの入力に相当し、前記第1の加算器(411)への第2の入力が、前記第3の遅延段(423)の出力に接続され、第3の逆方向ゲインを有する前記第3の逆方向フィード(433)を備え、
前記第1の加算器(411)の出力は、前記第2の加算器(412)への入力に接続され、前記第3の順方向ゲイン(433)を有する前記第3の順方向フィード(443)を介して前記第6の加算器(416)の入力に接続され、
前記第2の加算器(412)へのさらなる入力は、前記第1の逆方向ゲインを有する前記第1の逆方向フィード(441)を介して前記第1の遅延段(421)に接続され、
前記第2の加算器(412)の出力は、前記第1の遅延段(421)の入力に接続され、前記第1の順方向ゲインを有する前記第1の順方向フィード(431)を介して前記第3の加算器(413)の入力に接続され、
前記第1の遅延段(421)の出力は、前記第3の加算器(413)のさらなる入力に接続され、
前記第3の加算器(413)の出力は、前記第4の加算器(414)の入力に接続され、
前記第4の加算器(414)へのさらなる入力は、前記第2の逆方向ゲインを有する前記第2の逆方向フィード(432)を介して前記第2の遅延段(422)の出力に接続され、
前記第4の加算器(414)の出力は、前記第2の遅延段(422)への入力に接続され、前記第2の順方向ゲインを有する前記第2の順方向フィードを介して前記第5の加算器(415)への入力に接続され、
前記第2の遅延段(422)の出力は、前記第5の加算器(415)へのさらなる入力に接続され、
前記第5の加算器(415)の出力は、前記第3の遅延段(423)の入力に接続され、
前記第3の遅延段(423)の前記出力は、前記第6の加算器(416)への入力に接続され、
前記第6の加算器(416)へのさらなる入力は、前記第3の順方向ゲインを有する前記第3の順方向フィード(443)を介して前記第1の加算器(411)の出力に接続され、
前記第6の加算器(416)の前記出力は、前記オールパスフィルタ(802)の出力に相当する、
請求項41に記載の装置。
【請求項43】
前記オールパスフィルタ(802)は、2つ以上のオールパスフィルタセルを備え、前記オールパスフィルタセルの前記遅延の遅延値は、互いに素である、
請求項39~42のいずれか一項に記載の装置。
【請求項44】
シュレーダーオールパスフィルタの順方向ゲインおよび逆方向ゲインは、互いに等しく、あるいは互いの相違が前記順方向ゲインおよび前記逆方向ゲインのうちの大きい方のゲイン値の10%未満である、
請求項39~43のいずれか一項に記載の装置。
【請求項45】
前記無相関化フィルタは、2つ以上のオールパスフィルタセルを備え、
前記オールパスフィルタセルのうちの1つは、2つの正のゲインおよび1つの負のゲインを有し、前記オールパスフィルタセルのうちのもう1つは、1つの正のゲインおよび2つの負のゲインを有する、
請求項39~44のいずれか一項に記載の装置。
【請求項46】
第1の遅延段(421)の遅延値は、第2の遅延段(422)の遅延値よりも小さく、前記第2の遅延段(422)の前記遅延値は、3つのシュレーダーオールパスフィルタを備えるオールパスフィルタセルの第3の遅延段(423)の遅延値よりも小さく、あるいは
第1の遅延段(421)の遅延値および第2の遅延段(422)の遅延値の和が、3つのシュレーダーオールパスフィルタ(401、402、403)を備えるオールパスフィルタセルの前記第3の遅延段(423)の遅延値よりも小さい、
請求項39~45のいずれか一項に記載の装置。
【請求項47】
前記オールパスフィルタ(802)は、カスケード内の少なくとも2つのオールパスフィルタセルを備え、前記カスケードにおいてより後ろのオールパスフィルタ(802)の最小の遅延値が、前記カスケードにおいてより前のオールパスフィルタセルの最大または2番目に大きい遅延値よりも小さい、
請求項39~46のいずれか一項に記載の装置。
【請求項48】
前記オールパスフィルタ(802)は、カスケード内の少なくとも2つのオールパスフィルタセルを備え、
各々のオールパスフィルタセル(802)は、第1の順方向ゲインまたは第1の逆方向ゲインと、第2の順方向ゲインまたは第2の逆方向ゲインと、第3の順方向ゲインまたは第3の逆方向ゲインと、第1の遅延段(421)と、第2の遅延段(422)と、第3の遅延段(423)とを有し、
前記ゲインおよび前記遅延の値は、下記の
【表2】
に示される値の±20%の許容差範囲内に設定され、
B
1(z)は、前記カスケード内の第1のオールパスフィルタセルであり、
B
2(z)は、前記カスケード内の第2のオールパスフィルタセルであり、
B
3(z)は、前記カスケード内の第3のオールパスフィルタセルであり、
B
4(z)は、前記カスケード内の第4のオールパスフィルタセルであり、
B
5(z)は、前記カスケード内の第5のオールパスフィルタセルであり、
前記カスケードは、前記第1のオールパスフィルタセルB
1および前記第2のオールパスフィルタセルB
2、またはB
1~B
5で構成されるオールパスフィルタセルの群のうちの任意の他の2つのオールパスフィルタセルだけを含み、あるいは
前記カスケードは、5つのオールパスフィルタセルB
1~B
5の群から選択された3つのオールパスフィルタセルを含み、あるいは
前記カスケードは、オールパスフィルタセルB
1~B
5の群から選択された4つのオールパスフィルタセルを含み、あるいは
前記カスケードは、5つのオールパスフィルタセルB
1~B
5をすべて含み、
g
1は、前記オールパスフィルタセルの前記第1の順方向ゲインまたは逆方向ゲインを表し、g
2は、前記オールパスフィルタセルの第2の逆方向ゲインまたは順方向ゲインを表し、g
3は、前記オールパスフィルタセルの前記第3の順方向ゲインまたは逆方向ゲインを表し、d
1は、前記オールパスフィルタセルの前記第1の遅延段(421)の遅延を表し、d
2は、前記オールパスフィルタセルの前記第2の遅延段(422)の遅延を表し、d
3は、前記オールパスフィルタセルの第3の遅延段(423)の遅延を表し、あるいは
g
1は、前記オールパスフィルタセルの前記第2の順方向ゲインまたは逆方向ゲインを表し、g
2は、前記オールパスフィルタセルの第1の逆方向ゲインまたは順方向ゲインを表し、g
3は、前記オールパスフィルタセルの前記第3の順方向ゲインまたは逆方向ゲインを表し、d
1は、前記オールパスフィルタセルの前記第2の遅延段(422)の遅延を表し、d
2は、前記オールパスフィルタセルの前記第1の遅延段(421)の遅延を表し、d
3は、前記オールパスフィルタセルの第3の遅延段(423)の遅延を表す、
請求項39~47のいずれか一項に記載の装置。
【請求項49】
オーディオ入力信号を無相関化処理して無相関化信号を得る方法であって、
2つのシュレーダーオールパスフィルタを第3のシュレーダーオールパスフィルタに入れ子にして備えている少なくとも1つのオールパスフィルタセルを使用し、あるいは
2つのカスケード接続されたシュレーダーオールパスフィルタを備えており、前記カスケード接続された第1のシュレーダーオールパスフィルタへの入力および前記カスケード接続された第2のシュレーダーオールパスフィルタからの出力が、信号の流れの方向において、前記第3のシュレーダーオールパスフィルタの遅延段の前に接続されている少なくとも1つのオールパスフィルタセルを使用して、
オールパスフィルタ処理を実行するステップ
を含む、方法。
【請求項50】
コンピュータまたはプロセッサ上で実行されたときに請求項49に記載の方法を実行するためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、オーディオ処理に関し、とくには、エンコードされたマルチチャネル信号をデコードするための装置または方法におけるマルチチャネルオーディオ処理に関する。
【背景技術】
【0002】
低ビットレートでのステレオ信号のパラメトリックコーディングのための現在の技術水準のコーデックは、MPEGコーデックxHE-AACである。これは、モノラルダウンミックスならびにサブバンドにて評価されるステレオパラメータ、すなわちチャネル間レベル差(ILD)およびチャネル間コヒーレンス(ICC)に基づく完全にパラメトリックなステレオコーディングの態様を特徴とする。出力は、各々のサブバンドにおいて、サブバンドダウンミックス信号と、QMFフィルタバンク内のサブバンドフィルタを適用することによって得られるそのサブバンドダウンミックス信号の無相関化バージョンとを行列化することにより、モノラルダウンミックスから合成される。
【0003】
スピーチアイテムのコーディングについて、xHE-AACに関連するいくつかの欠点が存在する。合成の第2の信号を生成するフィルタが、入力信号のきわめて反響性のバージョンを生成するため、ダッカーが必要である。したがって、処理により、入力信号のスペクトル形状が時間とともに大きく損なわれる。これは、多くの種類の信号において良好に機能するが、スペクトルエンベロープが急激に変化するスピーチ信号においては、不自然な調子ならびにダブルトークまたはゴーストボイスなどの可聴アーチファクトを発生させる。さらに、フィルタは、基礎となるQMFフィルタバンクの時間分解能に依存するが、これはサンプリングレートによって変化する。したがって、出力信号は、異なるサンプリングレートに関して一貫性がない。
【0004】
これとは別に、3GPP(登録商標)のコーデックであるAMR-WB+が、7~48kbit/sのビットレートをサポートするセミパラメトリックステレオモードを特徴とする。これは、左右の入力チャネルのミッド/サイド変換に基づく。低周波数範囲においては、バランスゲインを得るために中間信号mによってサイド信号sが予測され、mおよび予測残差の両方がエンコードされ、予測係数とともにデコーダに送信される。中間周波数範囲においては、ダウンミックス信号mのみがコード化され、欠けている信号sは、エンコーダにおいて計算される低次FIRフィルタを使用して、mから予測される。これが、両方のチャネルについて、帯域幅拡張と組み合わせられる。このコーデックは、通常は、スピーチに関してxHE-AACよりも自然なサウンドをもたらすが、いくつかの問題に直面している。低次FIRフィルタによってsをmによって予測する手順は、例えば反響性のスピーチ信号またはダブルトークの場合など、入力チャネルが弱い相関しか持たない場合に、あまり良好に機能しない。また、このコーデックは、品質の大幅な低下につながりかねない位相のずれた信号を処理することができず、デコードされた出力のステレオ画像が、通常はきわめて圧縮されているように感じられる。さらに、この方法は、完全にはパラメトリックでないため、ビットレートに関して効率的でない。
【0005】
一般に、完全にパラメトリックな方法においては、パラメトリックエンコーディングに起因して失われた信号部分がデコーダ側で再現されないため、オーディオ品質が低下する可能性がある。
【0006】
一方で、ミッド/サイドコーディングなどの波形保存手順では、パラメトリックマルチチャネルコーダから得られるようなビットレートの大幅な節約は、不可能である。
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明の目的は、エンコードされたマルチチャネル信号をデコードするための改善された考え方を提供することである。
【課題を解決するための手段】
【0008】
この目的は、エンコードされたマルチチャネル信号をデコードするための装置、エンコードされたマルチチャネル信号をデコードするための請求項37に記載の方法、請求項38に記載のコンピュータプログラム、および請求項39に記載のオーディオ信号無相関化器、オーディオ入力信号を無相関化する請求項49に記載の方法、または請求項50に記載のコンピュータプログラムによって達成される。
【0009】
本発明は、混成の手法がエンコードされたマルチチャネル信号のデコードに有用であるという発見に基づく。この混成の手法は、無相関化フィルタによって生成された補充信号の使用に依存し、次いで、この補充信号が、パラメトリックまたは他のマルチチャネルプロセッサなどのマルチチャネルプロセッサによって、デコードされたマルチチャネル信号を生成するために使用される。とくには、無相関化フィルタは、広帯域フィルタであり、マルチチャネルプロセッサは、狭帯域処理をスペクトル表現に適用するように構成される。したがって、補充信号は、好ましくは、例えばオールパスフィルタ手順によって時間ドメインにおいて生成され、マルチチャネル処理は、デコードされたベースチャネルのスペクトル表現を使用し、時間ドメインにおいて計算された補充信号から生成された補充信号のスペクトル表現をさらに使用して、スペクトルドメインにおいて行われる。
【0010】
したがって、一方における周波数ドメインマルチチャネル処理の利点と、他方における時間ドメイン無相関化の利点とが、高いオーディオ品質を有するデコードされたマルチチャネル信号を得るために、有用な方法で組み合わせられる。それにもかかわらず、エンコードされたマルチチャネル信号を伝送するためのビットレートは、エンコードされたマルチチャネル信号が、典型的には波形保存エンコード形式でなく、例えばパラメトリックマルチチャネルコーディング形式であるという事実により、可能な限り低く保たれる。したがって、補充信号を生成するために、デコードされたベースチャネルなどのデコーダで利用可能なデータのみが使用され、特定の実施形態においては、ゲインパラメータまたは予測パラメータなどの追加のステレオパラメータ、あるいはILD、ICC、または技術的に知られた任意の他のステレオパラメータが使用される。
【0011】
次に、いくつかの好ましい実施形態を説明する。ステレオ信号をコーディングする最も効率的な方法は、バイノーラルキューコーディングまたはパラメトリックステレオなどのパラメトリックな方法を使用することである。それらは、サブバンド内のいくつかの空間キューを復元することにより、モノラルダウンミックスから空間印象を再現することを目指しており、それ自体は心理音響学に基づく。パラメトリックな方法に目を向ける別のやり方が存在し、チャネル間の冗長性を利用して、或るチャネルを別のチャネルでパラメータによってモデル化しようと試みる。このやり方は、プライマリチャネルからセカンダリチャネルの一部を回復できるが、通常は残差成分が残る。この成分を省略すると、通常は、デコードされた出力のステレオ像が不安定になる。したがって、そのような残差成分の適切な代替品を補充する必要がある。このような代替品はブラインドであるため、ダウンミックス信号と同様の時間およびスペクトル特性を有する第2の信号からそのような部分を取得することが最も安全である。
【0012】
したがって、本発明の実施形態は、パラメトリックオーディオコーダ、とくには欠落した残差部分の代替品がデコーダ側の無相関化フィルタによって生成された人工信号から抽出されるパラメトリックオーディオデコーダの状況において、とくに有用である。
【0013】
さらなる実施形態は、人工信号を生成するための手順に関する。いくつかの実施形態は、欠落した残差部分の代替品が抽出される人工の第2のチャネルを生成する方法、および拡張ステレオ補充と呼ばれる完全にパラメトリックなステレオコーダにおけるその使用に関する。この信号は、xHE-AAC信号よりもスピーチ信号のコーディングにより適しており、なぜならば、そのスペクトル形状が入力信号に時間的により近いからである。特別なフィルタ構造を適用することによって時間ドメインにおいて生成されるため、ステレオアップミックスが実行されるフィルタバンクとは無関係である。したがって、さまざまなアップミックス手順において使用することができる。例えば、xHE-AACにおいて、QMFドメインへの変換後の人工信号を置き換えるために使用することができ、これはスピーチに関して性能を改善すると考えられ、さらにはAMR-WB+の中域において、ミッド/サイド予測における残差の代わりをするために使用することができ、これは弱相関の入力チャネルに関して性能を改善し、ステレオ像を改善すると考えられる。これは、異なるステレオモード(時間ドメインおよび周波数ドメインステレオ処理など)を備えるコーデックにとってとくに興味深い。
【0014】
好ましい実施形態において、無相関化フィルタは、少なくとも1つのオールパスフィルタセルを備え、この少なくとも1つのオールパスフィルタセルは、2つのシュレーダーオールパスフィルタセルを第3のシュレーダーオールパスフィルタに入れ子にして備え、さらには/あるいはオールパスフィルタは、少なくとも1つのオールパスフィルタセルを備え、このオールパスフィルタセルは、2つのカスケード接続されたシュレーダーオールパスフィルタを備え、カスケード接続された第1のシュレーダーオールパスフィルタへの入力およびカスケード接続された第2のシュレーダーオールパスフィルタからの出力が、信号の流れの方向において、第3のシュレーダーオールパスフィルタの遅延段の前に接続される。
【0015】
さらなる実施形態においては、ステレオまたはマルチチャネルデコーディングの目的のための良好なインパルス応答を有するとくに有用なオールパスフィルタを得るために、3つの入れ子にされたシュレーダーオールパスフィルタを含むいくつかのそのようなオールパスフィルタセルが、カスケード接続される。
【0016】
ここで、本発明のいくつかの態様が、モノラルのベースチャネルから左アップミックスチャネルおよび右アップミックスチャネルを生成するステレオデコーディングに関して論じられるが、本発明が、例えば4つのチャネルからなる信号が2つのベースチャネルを使用してエンコードされ、最初の2つのアップミックスチャネルが第1のベースチャネルから生成され、第3および第4のアップミックスチャネルが第2のベースチャネルから生成されるマルチチャネルデコーディングにも適用可能であることを、強調しておかなければならない。他の代案において、本発明は、単一のベースチャネルから、好ましくは同じ補充信号を常に使用して、3つ以上のアップミックスチャネルを生成するためにも有用である。しかしながら、そのような手順のすべてにおいて、補充信号は広帯域の方法で、すなわち好ましくは時間ドメインで生成され、デコードされたベースチャネルから2つ以上のアップミックスチャネルを生成するためのマルチチャネル処理は、周波数ドメインにおいて行われる。
【0017】
無相関化フィルタは、好ましくは完全に時間ドメインで動作する。しかしながら、例えば、無相関化が、一方で低帯域部分を無相関化し、他方で高帯域部分を無相関化することによって実行される一方で、例えばマルチチャネル処理がはるかに高いスペクトル分解能で実行される他の混成の手法も有用である。したがって、例として、マルチチャネル処理のスペクトル分解能が、例えば各々のDFTまたはFFTラインの個別の処理と同じ高さであってよく、パラメトリックデータがいくつかの帯域について与えられ、各々の帯域が例えば2つ、3つ、またはさらに多くのDFT/FFT/MDCTラインを含み、補充信号を得るためのデコードされたベースチャネルのフィルタ処理は、広帯域状に行われ、すなわち時間ドメインにおいて行われ、あるいは低帯域内および高帯域内、もしくは3つの異なる帯域内など、半広帯域状に行われる。したがって、いずれの場合も、個々のラインまたはサブバンド信号について典型的に実行されるステレオ処理のスペクトル分解能が、最高のスペクトル分解能である。典型的には、エンコーダにおいて生成され、伝送され、好ましいデコーダによって使用されるステレオパラメータは、中程度のスペクトル分解能を有する。したがって、パラメータは帯域について与えられ、帯域は、さまざまな帯域幅を有することができるが、各々の帯域は、マルチチャネルプロセッサによって生成および使用される2つ以上のラインまたはサブバンド信号を少なくとも含む。さらに、無相関化フィルタ処理のスペクトル分解能はきわめて低く、時間ドメインフィルタ処理の場合に極端に低く、あるいは異なる帯域について異なる無相関化信号を生成する場合に中程度であるが、この中程度のスペクトル分解能は、パラメトリック処理のためのパラメータが与えられる分解能よりも依然として低い。
【0018】
好ましい実施形態において、無相関化フィルタのフィルタ特性は、対象のスペクトル範囲の全体にわたって一定の大きさの領域を有するオールパスフィルタである。しかしながら、この理想的なオールパスフィルタ挙動を持たない他の無相関化フィルタも、好ましい実施形態において、フィルタ特性が一定の大きさである領域が、デコードされたベースチャネルのスペクトル表現のスペクトル粒度および補充信号のスペクトル表現のスペクトル粒度よりも大きいならば、有用である。
【0019】
このように、高品質の補充信号が生成され、好ましくはエネルギ正規化係数を使用して調整され、次いで2つ以上のアップミックスチャネルの生成に使用されるように、マルチチャネル処理が実行される補充信号またはデコードされたベースチャネルのスペクトル粒度が、無相関化フィルタ処理に影響を与えないように保証される。
【0020】
さらに、後で論じられる
図4、
図5、または
図6に関して説明される無相関化信号などの無相関化信号の生成を、マルチチャネルデコーダの状況において使用することが可能であるが、例えばオーディオ信号のレンダリング、残響操作、などの無相関化信号が有用である任意の他の用途においても使用できることに、注意すべきである。
【0021】
次に、好ましい実施形態を、添付の図面に関して説明する。
【図面の簡単な説明】
【0022】
【
図1a】EVSコアコーダと共に使用される場合の人工信号生成を示している。
【
図1b】別の実施形態によるEVSコアコーダと共に使用される場合の人工信号生成を示している。
【
図2a】時間ドメイン帯域幅拡張アップミックスを含むDFTステレオ処理への統合を示している。
【
図2b】別の実施形態による時間ドメイン帯域幅拡張アップミックスを含むDFTステレオ処理への統合を示している。
【
図3】複数のステレオ処理ユニットを備えるシステムへの統合を示している。
【
図6】好ましいオールパスフィルタのインパルス応答を示している。
【
図7a】エンコードされたマルチチャネル信号をデコードするための装置を示している。
【
図7b】無相関化フィルタの好ましい実施態様を示している。
【
図7c】ベースチャネルデコーダとスペクトル変換器との組み合わせを示している。
【
図8】マルチチャネルプロセッサの好ましい実施態様を示している。
【
図9a】帯域幅拡張処理を使用してエンコードされたマルチチャネル信号をデコードするための装置のさらなる実施態様を示している。
【
図9b】圧縮されたエネルギ正規化係数を生成するための好ましい実施形態を示している。
【
図10】ベースチャネルデコーダ内のチャネル変換を使用して動作するさらなる実施形態によるエンコードされたマルチチャネル信号をデコードするための装置を示している。
【
図11】ベースチャネルデコーダの再サンプラーと後続の無相関化フィルタとの間の協働を示している。
【
図12】本発明によるデコードするための装置において有用な典型的なパラメトリックマルチチャネルエンコーダを示している。
【
図13】エンコードされたマルチチャネル信号をデコードするための装置の好ましい実施態様を示している。
【
図14】マルチチャネルプロセッサのさらなる好ましい実施態様を示している。
【発明を実施するための形態】
【0023】
図7aが、エンコードされたマルチチャネル信号をデコードするための装置の好ましい実施形態を示している。エンコードされたマルチチャネル信号は、エンコードされたベースチャネルを含み、エンコードされたベースチャネルは、エンコードされたベースチャネルをデコードしてデコードされたベースチャネルを得るためのベースチャネルデコーダ700に入力される。
【0024】
さらに、デコードされたベースチャネルは、デコードされたベースチャネルの少なくとも一部をフィルタ処理して補充信号を得るための無相関化フィルタ800に入力される。
【0025】
デコードされたベースチャネルおよび補充信号の両方は、デコードされたベースチャネルのスペクトル表現を使用し、さらに補充信号のスペクトル表現を使用してマルチチャネル処理を実行するためのマルチチャネルプロセッサ900に入力される。マルチチャネルプロセッサは、例えば、ステレオ処理の状況においては左アップミックスチャネルおよび右アップミックスチャネルを含み、3つ以上の出力チャネルをカバーするマルチチャネル処理の場合には3つ以上のアップミックスチャネルを含むデコードされたマルチチャネル信号を出力する。
【0026】
無相関化フィルタ800は、広帯域フィルタとして構成され、マルチチャネルプロセッサ900は、デコードされたベースチャネルのスペクトル表現および補充信号のスペクトル表現に狭帯域処理を加えるように構成される。重要なことに、フィルタ処理されるべき信号が、例えば22kHz以下などの高いサンプリングレートから16kHzまたは12.8kHzにダウンサンプリングされているなど、高いサンプリングレートからダウンサンプリングされている場合、広帯域フィルタ処理も行われる。
【0027】
したがって、マルチチャネルプロセッサは、補充信号の生成のスペクトル粒度よりも大幅に高いスペクトル粒度で動作する。換言すると、無相関化フィルタのフィルタ特性は、一定の大きさのフィルタ特性の領域が、デコードされたベースチャネルのスペクトル表現のスペクトル粒度および補充信号のスペクトル表現のスペクトル粒度よりも大きくなるように選択される。
【0028】
したがって、例えば、マルチチャネルプロセッサのスペクトル粒度が、例えば1024ラインのDFTスペクトルの各々のスペクトルラインについてアップミックス処理が実行されるようなスペクトル粒度である場合、無相関化フィルタは、無相関化フィルタの一定の大きさのフィルタ特性の領域が、DFTスペクトルの2つ以上のスペクトルラインよりも高い周波数幅を有するようなやり方で定められる。典型的には、無相関化フィルタは、時間ドメインにおいて動作し、例えば20Hz~20kHzのスペクトル帯域が使用される。このようなフィルタは、オールパスフィルタであることが知られており、ここで、大きさが完璧に一定である完璧に一定の大きさの範囲を、オールパスフィルタによって得ることは典型的には不可能であるが、一定の大きさから平均値の+/-10%だけ変動することも、オールパスフィルタに関して有用であると考えられ、したがって「一定の大きさのフィルタ特性」に相当することに、注意すべきである。
【0029】
図7bが、時間ドメインフィルタ段802と、続いて接続された補充信号のスペクトル表現を生成するスペクトル変換804とによる無相関化フィルタ800の実施態様を示している。スペクトル変換器804は、典型的には、FFTまたはDFTプロセッサとして実施されるが、他の時間周波数ドメイン変換アルゴリズムも有用である。
【0030】
図7cは、ベースチャネルデコーダ700とベースチャネルスペクトル変換器902との間の協調の好ましい実施態様を示している。典型的には、ベースチャネルデコーダが、タイムドメインベースチャネル信号を生成するタイムドメインベースチャネルデコーダとして動作するように構成される一方で、マルチチャネルプロセッサ900は、スペクトルドメインで動作する。したがって、
図7aのマルチチャネルプロセッサ900は、入力段として、
図7cのベースチャネルスペクトル変換器902を有し、したがってベースチャネルスペクトル変換器902のスペクトル表現が、例えば
図8、
図13、
図14、
図9a、または
図10に示されるマルチチャネルプロセッサ処理要素に転送される。この状況において、一般に、「7」から始まる参照番号が、好ましくは
図7aのベースチャネルデコーダ700に属する要素を表すことが、概説されるべきである。「8」で始まる参照番号を有する要素は、好ましくは
図7aの無相関化フィルタ800に属し、図中の「9」で始まる参照番号を有する要素は、好ましくは
図7aのマルチチャネルプロセッサ900に属する。しかしながら、ここで、個々の要素間の分離が、あくまでも本発明を説明するために行われているにすぎず、実際の実施態様が、
図7aおよび他の図に示されている論理的な分離とは異なるやり方で分離された異なる処理ブロック、典型的にはハードウェア処理ブロック、またはソフトウェア処理ブロック、あるいはハードウェア/ソフトウェアの混合の処理ブロックを有してよいことに、注意すべきである。
【0031】
図4は、802’として示されるフィルタ段802の好ましい実施態様を示している。とくには、
図4は、無相関化フィルタに含まれてよい基本オールパスユニットを示しており、このような基本オールパスユニットが、単独で、または例えば
図5に示されるようにさらに多くのこのようなカスケード接続されたオールパスユニットと一緒に、無相関化フィルタに含まれてよい。
図5は、典型的には5つのカスケード接続された基本オールパスユニット502、504、506、508、510を有する無相関化フィルタ802を示しているが、基本オールパスユニットの各々を、
図4に概説されるように実施することができる。しかしながら、代案として、無相関化フィルタは、
図4の単一の基本オールパスユニット403を含むことができ、したがって無相関化フィルタ段802’の代案の実施態様に相当する。
【0032】
好ましくは、各々の基本オールパスユニットは、2つのシュレーダーオールパスフィルタ401、402を第3のシュレーダーオールパスフィルタ403に入れ子にして備える。この実施態様において、オールパスフィルタセル403は、2つのカスケード接続されたシュレーダーオールパスフィルタ401、402に接続され、第1のカスケード接続されたシュレーダーオールパスフィルタ401への入力およびカスケード接続された第2のシュレーダーオールパスフィルタ402からの出力が、信号の流れの方向において、第3のシュレーダーオールパスフィルタの遅延段423の前に接続される。
【0033】
とくには、
図4に示されるオールパスフィルタは、第1の加算器411、第2の加算器412、第3の加算器413、第4の加算器414、第5の加算器415、および第6の加算器416、第1の遅延段421、第2の遅延段422、および第3の遅延段423、第1の順方向ゲインを有する第1の順方向フィード431、第1の逆方向ゲインを有する第1の逆方向フィード441、第2の順方向ゲインを有する第2の順方向フィード442、および第2の逆方向ゲインを有する第2の逆方向フィード432、ならびに第3の順方向ゲインを有する第3の順方向フィード443および第3の逆方向ゲインを有する第3の逆方向フィード433を備える。
【0034】
図4に示される接続は、以下のとおりであり、すなわち第1の加算器411への入力が、オールパスフィルタ802への入力に相当し、第1の加算器411への第2の入力が、第3のフィルタ遅延段423の出力に接続され、第3の逆方向ゲインを有する第3の逆方向フィード433を備える。第1の加算器411の出力は、第2の加算器412への入力に接続され、第3の順方向ゲインを有する第3の順方向フィード443を介して第6の加算器416の入力に接続される。第2の加算器412への入力は、第1の逆方向ゲインを有する第1の逆方向フィード441を介して第1の遅延段421に接続される。第2の加算器412の出力は、第1の遅延段421の入力に接続され、第1の順方向ゲインを有する第1の順方向フィード431を介して第3の加算器413の入力に接続される。第1の遅延段421の出力は、第3の加算器413のさらなる入力に接続される。第3の加算器413の出力は、第4の加算器414の入力に接続される。第4の加算器414へのさらなる入力は、第2の逆方向ゲインを有する第2の逆方向フィード432を介して第2の遅延段422の出力に接続される。第4の加算器414の出力は、第2の遅延段422への入力に接続され、第2の順方向ゲインを有する第2の順方向フィード442を介して第5の加算器415への入力に接続される。第2の遅延段421の出力は、第5の加算器415へのさらなる入力に接続される。第5の加算器415の出力は、第3の遅延段423の入力に接続される。第3の遅延段423の出力は、第6の加算器416への入力に接続される。第6の加算器416へのさらなる入力は、第3の順方向ゲインを有する第3の順方向フィード443を介して第1の加算器411の出力に接続される。第6の加算器416の出力は、オールパスフィルタ802の出力に相当する。
【0035】
好ましくは、
図8に示されるように、マルチチャネルプロセッサ900は、デコードされたベースチャネルのスペクトル帯域および補充信号の対応するスペクトル帯域の異なる重み付きの組み合わせを使用して、第1のアップミックスチャネルおよび第2のアップミックスチャネルを決定するように構成される。とくには、異なる重み付きの組み合わせは、エンコードされたマルチチャネル信号に含まれるエンコードされたパラメトリック情報から導出される予測係数および/またはゲイン係数に依存する。さらに、重み付きの組み合わせは、好ましくは、エンベロープ正規化係数に依存し、あるいは好ましくはデコードされたベースチャネルのスペクトル帯域および補充信号の対応するスペクトル帯域を使用して計算されるエネルギ正規化係数に依存する。したがって、
図8のプロセッサ904は、デコードされたベースチャネルのスペクトル表現および補充信号のスペクトル表現を受け取り、好ましくは時間ドメインにおいて、第1のアップミックスチャネルおよび第2のアップミックスチャネルを出力し、予測係数、ゲイン係数、およびエネルギ正規化係数は、帯域ごとのやり方で入力され、これらの係数は、帯域内のすべてのスペクトルラインについて使用されるが、異なる帯域については変化し、ここで、このデータは、エンコードされた信号から取得され、あるいはデコーダにおいてローカルに決定される。
【0036】
とくには、予測係数およびゲイン係数は、典型的には、デコーダ側でデコードされ、その後にパラメトリックステレオアップミキシングに使用されるエンコードされたパラメータに相当する。反対に、エネルギ正規化係数は、典型的には、デコードされたベースチャネルのスペクトル帯域および補充信号のスペクトル帯域を使用して、デコーダ側で計算される。同じことが、エンベロープ正規化係数にも当てはまる。好ましくは、エンベロープ正規化は、帯域ごとのエネルギ正規化に相当する。
【0037】
本発明を、
図12に示される特定の基準のエンコーダならびに
図13または
図14に示される特定のデコーダによって説明するが、狭帯域スペクトルドメインで動作するマルチチャネルステレオデコーディングにおける広帯域補充信号の生成および広帯域補充信号の適用が、技術的に知られた任意の他のパラメトリックステレオエンコーディング技術にも適用可能であることに、注意すべきである。これらは、HE-AAC規格、またはMPEGサラウンド規格、またはバイノーラルキューコーディング(BCCコーディング)、または任意の他のステレオエンコーディング/デコーディングツール、または任意の他のマルチチャネルエンコーディング/デコーディングツールから知られているパラメトリックステレオエンコーディングである。
【0038】
図9aは、第1のアップミックスチャネルおよび第2のアップミックスチャネルを生成するマルチチャネルプロセッサ段904と、第1のアップミックスチャネルおよび第2のアップミックスチャネルにガイドありまたはガイドなしのやり方で時間ドメイン帯域幅拡張を個別に実行する後続の時間ドメイン帯域幅拡張要素908、910とを備えるマルチチャネルデコーダのさらなる好ましい実施形態を示している。典型的には、ウインドウ器およびエネルギ正規化係数計算器912が、マルチチャネルプロセッサ904によって使用されるエネルギ正規化係数を計算するために設けられる。しかしながら、
図1aまたは
図1bならびに
図2aまたは
図2bに関して説明される代案の実施形態においては、帯域幅拡張が、モノラルまたはデコードされたコア信号で実行され、
図2aまたは
図2bの単一のステレオ処理要素960のみが、後に加算器994aおよび994bを使用して低帯域左チャネル信号および低帯域右チャネル信号に追加される高帯域左チャネル信号および高帯域右チャネル信号を、高帯域モノラル信号から生成するために設けられる。
【0039】
図2aまたは
図2bに示されるこの追加を、例えば時間ドメインにおいて実行することができる。したがって、ブロック960は、時間ドメイン信号を生成する。これは、好ましい実施態様である。しかしながら、代案として、
図2aまたは
図2bのステレオ処理904、ならびにブロック960からの左チャネルおよび右チャネル信号を、スペクトルドメインにおいて生成することができ、加算器994aおよび994bは、例えば合成フィルタバンクによって実現され、ブロック904からの低帯域データが合成フィルタバンクの低帯域入力に入力され、ブロック960の高帯域出力が合成フィルタバンクの高帯域入力に入力され、合成フィルタバンクの出力が、対応する左チャネル時間ドメイン信号または右チャネル時間ドメイン信号である。
【0040】
好ましくは、
図9aのウインドウ器および係数計算器912は、例えば
図1aまたは
図1bの961にも示されるように高帯域信号のエネルギ値を生成および計算し、このエネルギ評価値を使用して、好ましい実施形態において式28~31に関して後述されるように高帯域の第1および第2のアップミックスチャネルを生成する。
【0041】
好ましくは、重み付きの組み合わせを計算するためのプロセッサ904は、入力として、帯域ごとのエネルギ正規化係数を受け取る。しかしながら、好ましい実施形態においては、エネルギ正規化係数の圧縮が実行され、圧縮されたエネルギ正規化係数を使用して、異なる重み付けの組み合わせが計算される。したがって、
図8に関して、プロセッサ904は、非圧縮のエネルギ正規化係数の代わりに、圧縮されたエネルギ正規化係数を受け取る。この手順は、異なる実施形態に関して
図9bに示されている。ブロック920は、時間/周波数ビンごとの残差または補充信号のエネルギ、ならびに時間および周波数ビンごとのデコードされたベースチャネルのエネルギを受け取り、次いで、いくつかのそのような時間/周波数ビンを含む帯域の絶対エネルギ正規化係数を計算する。次に、ブロック921において、エネルギ正規化係数の圧縮が実行され、この圧縮は、例えば後に式22に関して論じられるような対数関数の使用であってよい。
【0042】
ブロック921によって生成された圧縮されたエネルギ正規化係数に基づいて、圧縮されたエネルギ正規化係数を生成するための異なる手順が与えられる。第1の代案においては、922に示されるように、圧縮された係数に関数が適用され、この関数は、好ましくは非線形関数である。次に、ブロック923において、評価された係数が拡張され、特定の圧縮されたエネルギ正規化係数が得られる。したがって、ブロック922を、例えば、後述される式(22)の関数表現に実現することができ、ブロック923は、式(22)内の「指数」関数によって実行される。しかしながら、同様の圧縮されたエネルギ正規化係数をもたらす別の代案が、ブロック924および925に示される。ブロック924において、評価係数が決定され、ブロック925において、評価係数が、ブロック920から得られたエネルギ正規化係数に適用される。したがって、ブロック912に概略的に示されるとおりのエネルギ正規化係数への係数の適用を、例えば、後に示される式27によって実現することができる。
【0043】
したがって、例えば、後に式27に示されるように、評価係数が決定され、この係数は、単純に、特別な関数評価を実際に実行することなくブロック920によって決定されたとおりのエネルギ正規化係数
によって乗算することができる係数である。したがって、ブロック925の計算も省くことができ、すなわち、元の非圧縮のエネルギ正規化係数ならびに評価係数および補充信号のスペクトル値などの乗算におけるさらなるオペランドが、正規化された補充信号スペクトルラインを得るために互いに乗算されるや否や、圧縮されたエネルギ正規化係数の具体的な計算は不要である。
【0044】
図10は、エンコードされたマルチチャネル信号が単なるモノラル信号ではなく、例えばエンコードされた中間信号およびエンコードされたサイド信号を含むさらなる実施態様を示している。そのような状況において、ベースチャネルデコーダ700は、エンコードされた中間信号およびエンコードされたサイド信号、あるいは一般的にはエンコードされた第1の信号およびエンコードされた第2の信号をデコードするだけでなく、例えばLなどのプライマリチャネルおよびRなどのセカンダリチャネルを計算するためのミッド/サイド変換および逆ミッド/サイド変換の形態のチャネル変換705もさらに実行し、あるいは変換は、Karhunen Loeve変換である。
【0045】
しかしながら、チャネル変換の結果、とくにはデコード操作の結果は、プライマリチャネルが広帯域チャネルである一方で、セカンダリチャネルが狭帯域チャネルであるという結果である。次に、広帯域チャネルが無相関化フィルタ800に入力され、高域通過フィルタ処理がブロック930において実行されて無相関化高域通過信号が生成され、次いで、この無相関化高域通過信号が帯域結合器934において狭帯域セカンダリチャネルに追加されて広帯域セカンダリチャネルが得られ、最終的に広帯域プライマリチャネルおよび広帯域セカンダリチャネルが出力される。
【0046】
図11が、エンコードされたベースチャネルに関する特定のサンプリングレートのベースチャネルデコーダ700によって得られたデコードされたベースチャネルが再サンプラー710に入力されて再サンプリングされたベースチャネルが得られ、次いで再サンプリングされたベースチャネルが再サンプリングされたチャネルについて働くマルチチャネルプロセッサにおいて使用されるさらなる実施態様を示している。
【0047】
図12は、基準ステレオエンコーディングの好ましい実施態様を示している。ブロック1200において、チャネル間位相差IPDが、Lなどの第1のチャネルおよびRなどの第2のチャネルについて計算される。次いで、このIPD値は、典型的には、エンコーダ出力データ1206として、各々の時間枠の各々の帯域に関して量子化および出力される。さらに、IPD値は、各々の時間枠
の各々の帯域
についての予測パラメータ
および各々の時間枠
の各々の帯域
についてのゲインパラメータ
など、ステレオ信号のパラメトリックデータを計算するために使用される。
【0048】
さらに、第1および第2のチャネルの両方は、各々の帯域について中間信号およびサイド信号を計算するために中間/サイドプロセッサ1203においても使用される。
【0049】
実施態様に応じて、中間信号
のみをエンコーダ1204に送ることができ、サイド信号はエンコーダ1204には送られず、したがって出力データ1206は、エンコードされたベースチャネル、ブロック1202によって生成されたパラメトリックデータ、およびブロック1200によって生成されたIPD情報だけを含む。
【0050】
次に、好ましい実施形態を基準エンコーダに関して説明するが、上述のような任意の他のステレオエンコーダも同様に使用できることに注意すべきである。
【0051】
基準ステレオエンコーダ
DFTベースのステレオエンコーダを、基準として述べる。通常どおり、左右のチャネルの時間周波数ベクトルLtおよびRtが、分析ウインドウを同時に適用し、次いで離散フーリエ変換(DFT)を適用することによって生成される。次いで、DFTビンは、サブバンド(Lt,k)k ∈ Ibおよび(Rt,k)k ∈ Ibにそれぞれグループ化され、ここでIbは、サブバンドインデックスの組を意味する。
【0052】
IPDの計算およびダウンミキシング。ダウンミックスに関して、帯域ごとのチャネル間位相差(IPD)が、
【0053】
(1)
として計算され、ここで
は、
の複素共役を意味する。これが、
について帯域ごとの中間信号
【0054】
【0055】
(3)
を生成するために使用され、
ここでβは、例えば
【0056】
(4)
によって与えられる絶対位相回転パラメータである。
【0057】
パラメータの計算。帯域ごとのIPDに加えて、2つのさらなるステレオパラメータが抽出される。
によって
を予測するための最適係数、すなわち残りのエネルギ
【0058】
(5)
が最小であるような数
、および中間信号
に適用された場合に各々の帯域における
および
のエネルギを等しくする相対ゲイン係数
、すなわち
【0059】
【0060】
【0061】
【0062】
【0063】
これから、
は[-1、1]にあることになる。残差ゲインを、エネルギおよび内積から
【0064】
(10)
=
として同様に計算することができ、これは
【0065】
【0066】
図13が、デコーダ側の好ましい実施態様を示している。
図7aのベースチャネルデコーダに相当するブロック700において、エンコードされたベースチャネル
がデコードされる。
【0067】
次に、ブロック940aにおいて、Lなどのプライマリアップミックスチャネルが計算される。さらに、ブロック940bにおいて、例えばチャネル
であるセカンダリアップミックスチャネルが計算される。
【0068】
ブロック940aおよび940bの両方は、補充信号生成器800に接続されており、
図12のブロック1200または
図12の1202によって生成されたパラメトリックデータを受け取る。
【0069】
好ましくは、パラメトリックデータは、第2のスペクトル分解能を有する帯域にて与えられ、ブロック940a、940bは、高いスペクトル分解能粒度で動作し、第2のスペクトル分解能よりも高い第1のスペクトル分解能でスペクトルラインを生成する。
【0070】
ブロック940a、940bの出力は、例えば、周波数-時間変換器961、962への入力である。これらの変換器は、DFTまたは任意の他の変換であってよく、典型的には、後続の合成ウインドウ処理およびさらなる重畳加算操作も含む。
【0071】
加えて、補充信号発生器は、エネルギ正規化係数、好ましくは圧縮されたエネルギ正規化係数を受け取り、この係数は、ブロック940aおよび940bのための正確なレベル/重み付けの補充信号スペクトルラインを生成するために使用される。
【0072】
続いて、ブロック940a、940bの好ましい実施態様を示す。両方のブロックは、位相回転係数の計算941aと、942aおよび942bによって示されるとおりのデコードされたベースチャネルのスペクトルラインの第1の重みの計算とを含む。さらに、両方のブロックは、補充信号のスペクトルラインの第2の重みを計算するための計算943aおよび943bを含む。
【0073】
さらに、補充信号生成器800は、ブロック945によって生成されたエネルギ正規化係数を受け取る。このブロック945は、帯域ごとの補充信号および帯域ごとのベースチャネル信号を受け取り、次いで、帯域内のすべての線に使用される同じエネルギ正規化係数を計算する。
【0074】
最後に、このデータは、第1および第2のアップミックスチャネルのスペクトルラインを計算するためのプロセッサ946に転送される。このために、プロセッサ946は、ブロック941a、941b、942a、942b、943a、943bからのデータと、デコードされたベースチャネルのスペクトルラインおよび補充信号のスペクトルラインを受け取る。したがって、ブロック946の出力は、第1および第2のアップミックスチャネルの対応するスペクトルラインである。
【0075】
続いて、デコーダの好ましい実施態様を示す。
【0076】
基準デコーダ
上述のエンコーダに対応する基準のDFTベースのデコーダについて述べる。両方のエンコーダからの時間-周波数変換が、デコードされたダウンミックスに適用され、時間-周波数ベクトル
がもたらされる。逆量子化された値
、
、および
を使用して、左右のチャネルが、
について
【0077】
【0078】
(13)
として計算され、ここで
は、エンコーダからの欠落残差
の代替であり、
は、エネルギ正規化係数
【0079】
(14)
であり、相対残差予測ゲイン
を絶対ゲインに変換する。
についての簡単な選択は、
【0080】
(15)
であると考えられ、ここで
は帯域ごとのフレーム遅延を意味するが、これは特定の欠点を有する。すなわち
・
および
が、きわめて異なるスペクトルおよび時間形状を有する可能性があり、
・調和するスペクトルおよび時間エンベロープの場合でも、(12)および(13)における(15)の使用は、低から中の周波数範囲においてゆっくりとしか変化しない周波数依存のILDとIPDを引き起こし、これが例えば調性アイテムについて問題を引き起こし、
・スピーチ信号に関して、エコーしきい値未満にとどまるように遅延を小さく選択すべきであるが、これはくし形フィルタ処理に起因する強い調子を引き起こす。
【0081】
したがって、後述される人工信号の時間-周波数ビンを使用することがより良好である。
【0082】
位相回転係数βは、やはり
【0083】
【0084】
合成信号生成
ステレオアップミックスにおいて欠落残差部分を置き換えるために、第2の信号が時間ドメイン入力信号
から生成され、第2の信号
が出力される。このフィルタの設計上の制約は、短くて高密度なインパルス応答を有することである。これは、2つのシュレーダーオールパスフィルタを第3のシュレーダーフィルタに入れ子にすることによって得られる基本的なオールパスフィルタのいくつかの段を適用することによって達成され、すなわち
【0085】
【0086】
【0087】
【0088】
これらの基本的なオールパスフィルタ
【0089】
(20)
は、シュレーダーによって人工的な残響の生成の状況において提案されており、大きなゲインおよび大きな遅延の両方で適用される。残響する出力信号を有することは、この状況においては望ましくないため、ゲインおよび遅延はかなり小さくなるように選択される。残響の場合と同様に、高密度なランダム状のインパルス応答が、すべてのオールパスフィルタについてペアの互いに素な遅延
を選択することによって最も良好に得られる。
【0090】
フィルタは、コアコーダによってもたらされる信号の帯域幅またはサンプリングレートに関係なく、固定のサンプリングレートで動作する。EVSコーダと共に使用される場合、帯域幅が動作の最中に帯域幅検出器によって変更される可能性があるため、これが必要であり、固定のサンプリングレートは一貫した出力を保証する。オールパスフィルタの好ましいサンプリングレートは32kHz、すなわちネイティブの超広帯域サンプリングレートであり、なぜならば、16kHzを上回る残差部分の欠如は、通常はもはや可聴ではないからである。EVSコーダと共に使用される場合、信号はコアから直接構成され、これは、
図1に示されるように、いくつかの再サンプリングルーチンを含む。
【0091】
32kHzのサンプリングレートで良好に機能することが明らかになっているフィルタは
【0092】
(21)
であり、ここで
は、表1に示されるゲインおよび遅延を有する基本的なオールパスフィルタである。このフィルタのインパルス応答を
図6に示す。複雑さの理由から、このようなフィルタをより低いサンプリングレートで適用することもでき、さらには/あるいは基本的なオールパスフィルタユニットの数を減らすこともできる。
【0093】
また、オールパスフィルタユニットは、入力信号の一部をゼロで上書きする機能も提供し、これはエンコーダによって制御される。これを、例えば、フィルタ入力から攻撃を削除するために使用することができる。
【0094】
係数
の圧縮
より滑らかな出力を得るために、値を1に向かって圧縮するエネルギ調整ゲイン
への圧縮器の適用が有益であることがわかっている。これは、より低いビットレートでダウンミックスをコーディングした後に雰囲気の一部が典型的には失われるという事実も少し補償する。
【0095】
このような圧縮器を、
【0096】
(22)
を取ることによって構成することができ、ここで
【0097】
【0098】
【0099】
次に、
の周囲の
の値が、この領域がどの程度強く圧縮されるかを指定し、値0は圧縮なしに対応し、値1は完全な圧縮に対応する。さらに、圧縮スキームは、
が偶、すなわち
の場合、対称である。一例は、
【0100】
【0101】
【0102】
この場合、(22)を
【0103】
(27)
に簡略化でき、特別な関数の評価を節約することができる。
ACELPフレームのための帯域幅拡張の時間ドメインステレオアップミックスとの組み合わせにおける使用
通信の背景における低遅延オーディオコーデックであるEVSコーデックと共に使用される場合、時間ドメイン帯域幅拡張(TBE)によって引き起こされる安全な遅延へと、時間ドメインにおいて帯域幅拡張のステレオアップミックスを実行することが望ましい。ステレオ帯域幅アップミックスは、帯域幅拡張範囲における正しいパニングの復元を目的とするが、欠落残差の代わりを追加しない。したがって、
図2に示されるように、周波数ドメインのステレオ処理において代わりを追加することが望ましい。
【0104】
デコーダにおける入力信号について
、フィルタ処理された入力信号について
、
の時間-周波数ビンについて
、および
の時間-周波数ビンについて
の表記が使用される。
【0105】
次に、
が帯域幅拡張範囲において未知であるという問題に直面し、したがってインデックス
の一部が帯域幅拡張範囲にある場合に、エネルギ正規化係数
【0106】
(28)
を直接計算することができない。この問題は、次のように解決される。すなわち、
および
が周波数ビンの高帯域および低帯域インデックスをそれぞれ表すものとする。次に、
の評価
が、時間ドメインにおいてウインドウ処理された高帯域信号のエネルギを計算することによって得られる。ここで
および
が帯域
のインデックスである
における低帯域および高帯域インデックスを表す場合、
【0107】
【0108】
ここで、右側の第2の和の加数は未知であるが、
はオールパスフィルタによって
から得られるため、
および
のエネルギは同様に分布すると推定でき、したがって、
【0109】
【0110】
したがって、(29)の右側の第2の和を、
【0111】
【0112】
プライマリおよびセカンダリチャンネルをコーディングするコーダにおける使用
人工信号は、プライマリおよびセカンダリチャンネルをコーディングするステレオコーダにおいても有用である。この場合、プライマリチャネルは、オールパスフィルタユニットの入力として機能します。次いで、フィルタ処理された出力を、おそらくは整形フィルタの適用後に、ステレオ処理の残差部分を置き換えるために使用することができる。最も単純な設定において、プライマリおよびセカンダリチャネルは、ミッド/サイドまたはKL変換などの入力チャネルの変換であってよく、セカンダリチャネルは、より小さな帯域幅に制限されてよい。次いで、セカンダリチャネルの欠落部分を、ハイパスフィルタの適用後に、フィルタ処理されたプライマリチャネルで置き換えることができる。
【0113】
ステレオモード間の切り替えが可能なデコーダにおける使用
人工信号のとくに興味深い事例は、
図3に示されるように、デコーダが異なるステレオ処理方法を備える場合である。これらの方法は、同時に適用(例えば、帯域幅で分離)されても、あるいは排他的に適用(例えば、周波数ドメイン対時間ドメインの処理)されてもよく、切り替え判断に接続されてよい。すべてのステレオ処理方法において同じ人工信号を使用することで、切り替えの場合および同時の場合の両方で不連続が滑らかになる。
【0114】
好ましい実施形態の利点および長所
この新規な方法は、例えばxHE-AACにおいて適用される技術水準の方法と比べて多数の利点および長所を有する。
【0115】
時間ドメインの処理は、サブバンド処理としてのはるかに高い時間分解能を可能にし、これは、パラメトリックステレオに適用され、高密度かつ高速に減衰するインパルス応答のフィルタを設計することを可能にする。これにより、入力信号のスペクトルエンベロープが時間が経っても損なわれにくくなり、あるいは出力信号が着色されにくく、したがってより自然に聞こえるようになる。
【0116】
スピーチにより好適であるように、フィルタのインパルス応答の最適ピーク領域は、20~40ミリ秒の間に位置すべきである。
【0117】
フィルタユニットは、異なるサンプリングレートの入力信号の再サンプリング機能を備える。これにより、フィルタを固定のサンプリングレートで動作させることができ、これは、異なるサンプリングレートで同様の出力を保証し、あるいは異なるサンプリングレートの信号を切り替えるときに不連続を滑らかにするため、有益である。複雑さの理由から、内部サンプリングレートを、フィルタ処理された信号が知覚的に重要な周波数範囲のみをカバーするように選択すべきである。
【0118】
信号はデコーダの入力において生成され、フィルタバンクには接続されていないため、異なるステレオ処理ユニットにおいて使用することができる。これは、異なるユニット間の切り替え時、または信号の異なる部分について異なるユニットを動作させるときに、不連続を滑らかにする役に立つ。
【0119】
また、ユニット間の切り替え時に再初期化が必要でないため、複雑さが軽減される。
【0120】
ゲイン圧縮スキームは、コアコーディングに起因する雰囲気の損失の補償に役立つ。
【0121】
ACELPフレームの帯域幅拡張に関連する方法は、パンニングベースの時間ドメイン帯域幅拡張アップミックスにおいて欠落している残差成分の不足を軽減し、これは、DFTドメインおよび時間ドメインにおける高帯域の処理の切り替え時の安定性を高める。
【0122】
入力をきわめて細かい時間スケールでゼロによって置き換えることができ、これは攻撃の処理に有益である。
【0123】
【0124】
図1aまたは
図1bは、デコードされたベースチャネルの第1の部分を生成するための低帯域デコーダ721および帯域幅拡張デコーダ720を有する第1のデコーディングブランチを備えるベースチャネルデコーダ700を示している。さらに、ベースチャネルデコーダ700は、デコードされたベースチャネルの第2の部分を生成するためのフルバンドデコーダを有する第2のデコーディングブランチ722を備える。
【0125】
両方の要素間の切り替えは、ブロック720、721を含む第1のデコーディングブランチまたは第2のデコーディングブランチ722のいずれかにエンコードされたベースチャネルの一部を供給するために、エンコードされたマルチチャネル信号に含まれる制御パラメータによって制御されるスイッチとして示されているコントローラ713によって行われます。低帯域デコーダ721は、例えば、代数符号励振線形予測コーダACELPとして実現され、第2のフルバンドデコーダは、変換符号化励振(TCX)/高品質(HQ)コアデコーダとして実現される。
【0126】
ブロック722からのデコードされたダウンミックスまたはブロック721からのデコードされたコア信号、ならびにブロック720からの帯域幅拡張信号が取り出され、
図2aまたは
図2bの手順に送られる。さらに、後続の無相関化フィルタが、再サンプラー810、811、812を備え、必要に応じて遅延補償要素813、814を備える。加算器が、ブロック720からの時間ドメイン帯域幅拡張信号とブロック721からのコア信号とを組み合わせ、第1のコーディングブランチまたは第2のコーディングブランチの間の切り換えをどちらの信号が利用可能であるかに応じて行うためのスイッチコントローラの形態のエンコードされたマルチチャネルデータによって制御されるスイッチ815に送る。
【0127】
さらに、例えば過渡検出器として実現される切り替え判断817が構成される。しかしながら、過渡検出器は、必ずしも信号分析によって過渡を検出する実際の検出器である必要はなく、過渡検出器は、サイド情報またはベースチャネルの過渡を示すエンコードされたマルチチャンネル信号の特定の制御パラメータを決定するように構成されてもよい。
【0128】
切り替え判断817は、スイッチ815からの信号出力をオールパスフィルタユニット802に供給するか、あるいは
図1aまたは
図1bに1000で示されているEVSオールパス信号生成器(APSG)が完全に時間ドメインで動作するため、特定のきわめて具体的な選択可能な時間領域についてマルチチャネルプロセッサにおける補充信号の追加を実際に停止させるゼロ入力を供給するように、スイッチを設定する。したがって、ゼロ入力を、スペクトルドメインの処理に必要とされるようなスペクトル分解能を低下させるウインドウ長の参照を必要とせずに、サンプルごとのやり方で選択することができる。
【0129】
図1aに示される装置は、再サンプラーおよび遅延段が
図1bにおいては省略されており、すなわち要素810、811、812、813、814が
図1bの装置においては不要である点で、
図1bに示される装置から相違する。したがって、
図1bの実施形態において、オールパスフィルタユニットは、
図1aのような32kHzではなく、16kHzで動作する。
【0130】
図2aまたは
図2bは、時間ドメイン帯域幅拡張アップミックスを含むDFTステレオ処理へのオールパス信号生成器1000の統合を示している。ブロック1000は、ブロック720によって生成されたモノラル帯域幅拡張信号から高帯域左信号と高帯域右信号を生成するために、ブロック720によって生成された帯域幅拡張信号を高帯域アップミキサ960(TBEアップミックス-(時間ドメイン)帯域幅拡張アップミックス)に出力する。さらに、再サンプラー821が設けられ、804で示される補充信号のためのDFTの前に接続される。加えて、(フルバンドの)デコードされたダウンミックスまたは(低帯域の)デコードされたコア信号のいずれかであるデコードされたベースチャネルのためのDFT922が設けられる。
【0131】
実施態様に応じて、フルバンドデコーダ722からのデコードされたダウンミックス信号が利用可能である場合、ブロック960は停止され、ステレオ処理ブロック904が、フルバンド左および右チャネルなどのフルバンドアップミックス信号をすでに出力する。
【0132】
しかしながら、デコードされたコア信号がDFTブロック922に入力される場合、ブロック960が作動し、左チャネル信号および右チャネル信号が加算器994aおよび994bによって加えられる。しかしながら、補充信号の追加は、例えば式28~31に基づく好ましい実施形態において説明したとおりの手順に従って、ブロック904によって示されるスペクトルドメインにおいて依然として実行される。したがって、そのような状況において、低帯域中間信号に対応するDFTブロック902による信号出力は、高帯域データを有さない。しかしながら、ブロック804によって出力される信号、すなわち補充信号が、低帯域データおよび高帯域データを有する。
【0133】
ステレオ処理ブロックにおいて、ブロック904によって出力される低帯域データは、デコードされたベースチャネルおよび補充信号によって生成されるが、ブロック904によって出力される高帯域データは、デコードされたベースチャネルは帯域が限られているため、補充信号のみで構成され、デコードされたベースチャネルからの高帯域情報を有さない。デコードされたベースチャネルからの高帯域情報は、帯域幅拡張ブロック720によって生成され、ブロック960によって左高帯域チャネルおよび右高帯域チャネルにアップミックスされ、その後に加算器994a、994bによって加えられる。
【0134】
図2aに示される装置は、再サンプラーが
図2bにおいては省略されており、すなわち要素821が
図2bの装置においては不要である点で、
図2bに示される装置から相違する。
【0135】
図3は、ステレオモード間の切り替えに関して上述したような複数のステレオ処理ユニット904a、904b、904cを有するシステムの好ましい実施態様を示している。各々のステレオ処理ブロックは、サイド情報を受け取り、さらに特定のプライマリ信号を受け取るが、入力信号の特定の時間部分がステレオ処理アルゴリズム904aを使用して処理されるか、ステレオ処理アルゴリズム904bを使用して処理されるか、あるいは別のステレオ処理アルゴリズム904cを使用して処理されるかどうかに関係なく、まったく同じ補充信号を受け取る。
【0136】
いくつかの態様を装置の文脈において説明したが、これらの態様が対応する方法の説明も代理しており、ブロックまたは装置が、方法のステップまたは方法のステップの特徴に相当することは明らかである。同様に、方法のステップの文脈において説明した態様は、対応する装置の対応するブロックまたはアイテムまたは特徴の説明も代理する。方法のステップの一部またはすべてを、例えばマイクロプロセッサ、プログラム可能なコンピュータ、または電子回路などのハードウェア装置によって(または、このようなハードウェア装置を使用して)実行することができる。いくつかの実施形態においては、最も重要な方法のステップのうちの1つ以上を、そのような装置によって実行することができる。
【0137】
本発明のエンコードされた音声信号を、デジタル記憶媒体に記憶することができ、あるいはインターネットなどの無線伝送媒体または有線伝送媒体などの伝送媒体にて伝送することができる。
【0138】
特定の実施要件に応じて、本発明の実施形態を、ハードウェアまたはソフトウェアにて実施することができる。実施を、電子的に読み取り可能な制御信号を格納し、それぞれの方法を実行するようにプログラム可能なコンピュータシステムと協働する(あるいは、協働することができる)フロッピーディスク、DVD、ブルーレイ、CD、ROM、PROM、EPROM、EEPROM、またはフラッシュメモリなどの非一時的な記憶媒体またはデジタル記憶媒体を使用して実行することができる。したがって、デジタル記憶媒体は、コンピュータにとって読み取り可能であってよい。
【0139】
本発明によるいくつかの実施形態は、本明細書に記載の方法の1つが実行されるようにプログラム可能なコンピュータシステムと協働することができる電子的に読み取り可能な制御信号を有するデータ担体を含む。
【0140】
一般に、本発明の実施形態を、プログラムコードを有するコンピュータプログラム製品として実現することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに上記方法のうちの1つを実行するように動作することができる。プログラムコードを、例えば、機械で読み取ることができる担体に保存することができる。
【0141】
他の実施形態は、機械で読み取ることができる担体に格納された本明細書に記載の方法のうちの1つを実行するためのコンピュータプログラムを含む。
【0142】
したがって、換言すると、本発明の方法の一実施形態は、コンピュータプログラムであり、このコンピュータプログラムは、このコンピュータプログラムがコンピュータ上で実行されたときに本明細書に記載の方法のうちの1つを実行するためのプログラムコードを有する。
【0143】
したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法のうちの1つを実行するためのコンピュータプログラムが記録されたデータ担体(あるいは、デジタル記憶媒体またはコンピュータ可読媒体)である。データ担体、デジタル記憶媒体、または記録された媒体は、典型的には、有形かつ/または非一時的である。
【0144】
したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法のうちの1つを実行するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスを、例えばインターネットなどのデータ通信接続を介して伝送されるように構成することができる。
【0145】
さらなる実施形態は、本明細書に記載の方法のうちの1つを実行するように設定または構成された処理手段、例えばコンピュータまたはプログラマブル論理デバイスを含む。
【0146】
さらなる実施形態は、本明細書に記載の方法のうちの1つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
【0147】
本発明によるさらなる実施形態は、本明細書に記載の方法のうちの1つを実行するためのコンピュータプログラムを受信機に(例えば、電子的または光学的に)伝送するように構成された装置またはシステムを含む。受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイス、などであってよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に伝送するためのファイルサーバを備えることができる。
【0148】
いくつかの実施形態においては、プログラマブル論理デバイス(例えば、フィールドプログラマブルゲートアレイ)を使用して、本明細書に記載の方法の機能の一部またはすべてを実行することができる。いくつかの実施形態においては、フィールドプログラマブルゲートアレイがマイクロプロセッサと協働して、本明細書に記載の方法のうちの1つを実行することができる。一般に、これらの方法は、好ましくは任意のハードウェア装置によって実行される。
【0149】
本明細書に記載の装置を、ハードウェア装置を使用し、コンピュータを使用し、あるいはハードウェア装置とコンピュータとの組み合わせを使用して実現することができる。
【0150】
本明細書に記載の装置、または本明細書に記載の装置の任意の構成要素を、少なくとも部分的にハードウェアおよび/またはソフトウェアで実現することができる。
【0151】
本明細書に記載の方法を、ハードウェア装置を使用し、コンピュータを使用し、あるいはハードウェア装置とコンピュータとの組み合わせを使用して実行することができる。
【0152】
本明細書に記載の方法、または本明細書に記載の方法の任意の構成要素を、少なくとも部分的にハードウェアおよび/またはソフトウェアによって実行することができる。
【0153】
上述の実施形態は、あくまでも本発明の原理を説明するためのものにすぎない。本明細書に記載の構成および詳細について、修正および変更が当業者にとって明らかであることを理解されたい。したがって、本発明は、本明細書の実施形態の説明および解説として提示された特定の詳細によってではなく、添付の特許請求の技術的範囲によってのみ限定される。
【0154】
以上の説明において、開示を合理化する目的で、実施形態において種々の特徴が一緒にグループ化されていることを理解できるであろう。この開示の方法を、請求される実施形態が各々の請求項に明示的に記載された特徴以外のさらなる特徴を必要とするという意図を反映していると解釈してはならない。むしろ、添付の特許請求の範囲が反映するように、発明の主題は、開示された或る1つの実施形態のすべての特徴を含まなくてもよいかもしれない。したがって、以下の特許請求の範囲が、ここでの言及によって詳細な説明に組み込まれ、各々の請求項が、別個の実施形態として自立することができる。各々の請求項が別個の実施形態として自立することができる一方で、従属請求項が、特許請求の範囲において1つ以上の他の請求項との特定の組み合わせに関係できるが、他の実施形態が、従属請求項と他の各々の従属請求項の主題との組み合わせを含んでもよく、あるいは各々の特徴の他の従属または独立請求項との組み合わせを含んでもよいことに、注意すべきである。そのような組み合わせは、具体的な組み合わせが意図されていないと明記されていない限り、本明細書において提案される。さらに、或る請求項の特徴を別の独立請求項に取り入れることが、たとえこの請求項がその独立請求項に直接従属していない場合でも意図される。
【0155】
さらに、本明細書または特許請求の範囲に開示された方法を、これらの方法のそれぞれのステップの各々を実行するための手段を有する装置によって実施できることに留意されたい。
【0156】
さらに、いくつかの実施形態においては、単一のステップが複数のサブステップを含むことができ、あるいは単一のステップを複数のサブステップに分割することができる。そのようなサブステップは、明示的に除外されない限り、この単一のステップの開示に含まれてよく、この単一のステップの開示の一部であり得る。
【手続補正書】
【提出日】2023-12-07
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
エンコードされたマルチチャネル信号をデコードするための装置であって、
エンコードされたベースチャネルをデコードしてデコードされたベースチャネルを得るためのベースチャネルデコーダ(700)と、
前記デコードされたベースチャネルの少なくとも一部をフィルタ処理して補充信号を得るための無相関化フィルタ(800)と、
前記デコードされたベースチャネルのスペクトル表現および前記補充信号のスペクトル表現を使用してマルチチャネル処理を実行するためのマルチチャネルプロセッサ(900)と
を備えており、
前記無相関化フィルタ(800)は、広帯域フィルタであり、前記マルチチャネルプロセッサ(900)は、前記デコードされたベースチャネルの前記スペクトル表現および前記補充信号の前記スペクトル表現に狭帯域処理を適用するように構成され、
前記装置は、前記エンコードまたはデコードされたベースチャネルにおける過渡を発見するための過渡検出器をさらに備え、
前記無相関化フィルタ(800)は、前記過渡検出器が過渡信号サンプルを発見した時間部分においてノイズまたはゼロ値(816)を無相関化フィルタ段(802)に供給するように構成され、前記無相関化フィルタ(800)は、前記過渡検出器が前記エンコードまたはデコードされたベースチャネルにおいて過渡を発見しなかったさらなる時間部分において前記デコードされたベースチャネルのサンプルを前記無相関化フィルタ段(802)に供給するように構成されている、
装置。
【請求項2】
前記デコードされたベースオーディオチャネルの前記スペクトル表現は、前記デコードされたベースオーディオチャネルの前記スペクトル表現の個々のスペクトルラインに関連する帯域幅を示す第1のスペクトル粒度を有し、前記補充オーディオ信号の前記スペクトル表現は、前記補充オーディオ信号の前記スペクトル表現の個々のスペクトルラインに関連する帯域幅を示す第2のスペクトル粒度を有し、
前記無相関化フィルタ(800)のフィルタ特性が、一定の大きさの領域を有し、前記無相関化フィルタ(800)は、前記一定の大きさの前記領域が、前記デコードされたベースチャネルの前記スペクトル表現の前記第1のスペクトル粒度および前記補充信号の前記スペクトル表現の前記第2のスペクトル粒度よりも周波数で大きくなるように構成される、
請求項1に記載の装置。
【請求項3】
前記無相関化フィルタ(800)は、
前記デコードされたベースチャネルをフィルタ処理して広帯域補充信号または時間ドメイン補充信号を得るためのフィルタ段(802)と、
前記広帯域補充信号または前記時間ドメイン補充信号を前記補充信号の前記スペクトル表現に変換するためのスペクトル変換器(804)と
を備える、請求項1または2に記載の装置。
【請求項4】
前記デコードされたベースチャネルを前記デコードされたベースチャネルの前記スペクトル表現に変換するためのベースチャネルスペクトル変換器(902)をさらに備える、
請求項1~3のいずれか一項に記載の装置。
【請求項5】
前記無相関化フィルタ(800)は、オールパス時間ドメインフィルタ(802)または少なくとも1つのシュレーダーオールパスフィルタ(802)を備える、
請求項1~4のいずれか一項に記載の装置。
【請求項6】
前記マルチチャネルプロセッサ(900)は、低帯域の第1のアップミックスチャネルおよび低帯域の第2のアップミックスチャネルを計算(904)するように構成され、
当該装置は、前記低帯域の第1のアップミックスチャネルおよび前記低帯域の第2のアップミックスチャネルあるいは低帯域のベースチャネルを拡張するための時間ドメイン帯域幅拡張器(960)をさらに備え、
前記マルチチャネルプロセッサ(900)は、前記デコードされたベースチャネルのスペクトル帯および前記補充信号の前記対応するスペクトル帯の異なる重み付けの組み合わせを使用して、第1のアップミックスチャネルおよび第2のアップミックスチャネルを決定(946)するように構成され、前記異なる重み付けの組み合わせは、前記デコードされたベースチャネルの前記スペクトル帯および前記補充信号の前記スペクトル帯のエネルギを使用して計算(945)されるエネルギ正規化係数に依存し、
前記エネルギ正規化係数は、ウインドウ処理された広帯域信号のエネルギから導出されるエネルギ評価を使用して計算(961)される、
請求項1~5のいずれか一項に記載の装置。
【請求項7】
前記時間ドメイン帯域幅拡張器(960)は、前記エネルギ正規化係数の前記計算に使用される前記ウインドウ処理の操作を伴わない前記広帯域信号を使用するように構成されている、
請求項6に記載の装置。
【請求項8】
前記ベースチャネルデコーダ(700、705)は、デコードされたプライマリベースチャネルおよびデコードされたセカンダリベースチャネルをもたらすように構成され、
前記無相関化フィルタ(800)は、前記デコードされたプライマリベースチャネルをフィルタ処理して前記補充信号を得るように構成され、
前記マルチチャネルプロセッサ(900)は、マルチチャネル処理を、前記補充信号を使用して前記マルチチャネル処理における1つ以上の残差部分を合成することによって実行するように構成され、
整形フィルタ(930)が前記補充信号に適用される、
請求項1~7のいずれか一項に記載の装置。
【請求項9】
前記プライマリベースチャネルおよび前記セカンダリベースチャネルは、元の入力チャネルの変換の結果であり、前記変換は、例えばミッド/サイド変換またはKarhunen Loeve(KL)変換であり、前記デコードされたセカンダリベースチャネルは、より小さい帯域幅に限定されており、
前記マルチチャネルプロセッサ(900)は、前記補充信号を高域通過フィルタ処理(930)し、前記高域通過フィルタ処理した補充信号を、前記帯域幅が限定されたデコードされたセカンダリベースチャネルに含まれない帯域幅のためのセカンダリチャネルとして使用するように構成されている、
請求項8に記載の装置。
【請求項10】
前記マルチチャネルプロセッサ(900)は、異なるマルチチャネル処理方法(904a、904b、904c)を実行するように構成され、
前記マルチチャネルプロセッサ(900)は、前記異なるマルチチャネル処理方法を、帯域幅によって分けて同時に実行し、あるいは排他的に切り替え判断に関係され、前記異なるマルチチャネル処理方法のうちの第1のマルチチャネル処理方法は、周波数ドメイン処理を含み、前記異なるマルチチャネル処理方法のうちの第2のマルチチャネル処理方法は、時間ドメイン処理を含み、
前記マルチチャネルプロセッサ(900)は、前記第1のおよび前記第2のマルチチャネル処理方法(904a、904b、904c)において前記同じ補充信号を使用するように構成されている、
請求項1~9のいずれか一項に記載の装置。
【請求項11】
前記無相関化フィルタ(800)は、時間ドメインフィルタ(802)として、20ms~40msの間の時間ドメインフィルタインパルス応答の最適ピーク領域を有する、
請求項1~10のいずれか一項に記載の装置。
【請求項12】
前記無相関化フィルタ(800)は、前記デコードされたベースチャネルを時間部分で所定の目標サンプリングレートまたは入力依存の目標サンプリングレートに再サンプリング(811、812)するように構成され、
前記無相関化フィルタ(800)は、再サンプリングされたデコードされたベースチャネルを、無相関化フィルタ(802)段を使用してフィルタ処理するように構成され、
前記マルチチャネルプロセッサ(900)は、さらなる時間部分についてデコードされたベースチャネルを、前記所定の目標サンプリングレートまたは前記入力依存の目標サンプリングレートに変換(710)するように構成され、したがって前記マルチチャネルプロセッサ(900)は、前記時間部分および前記さらなる時間部分の前記デコードされたベースチャネルの異なるサンプリングレートにかかわらず、前記所定の目標サンプリングレートまたは前記入力依存の目標サンプリングレートに基づく前記デコードされたベースチャネルおよび前記補充信号のスペクトル表現を使用して動作し、あるいは
当該装置は、周波数ドメインへの変換(804、702)前、または前記周波数ドメインへの変換(804、702)時、または前記周波数ドメインへの変換(804、702)後に、再サンプリングを実行するように構成されている、
請求項1~11のいずれか一項に記載の装置。
【請求項13】
前記ベースチャネルデコーダ(700)は、
低帯域デコーダ(721)と帯域幅拡張デコーダ(720)とを備えており、前記デコードされたチャネルの第1の部分を生成する第1のデコーディングブランチと、
フルバンドデコーダを有しており、前記デコードされたベースチャネルの第2の部分を生成する第2のデコーディングブランチ(722)と、
前記エンコードされたベースチャネルの一部を制御信号に応じて前記第1のデコーディングブランチまたは前記第2のデコーディングブランチのいずれかに供給するコントローラ(713)と
を備える、
請求項1~12のいずれか一項に記載の装置。
【請求項14】
前記無相関化フィルタ(800)は、
第1の部分を所定のサンプリングレートに再サンプリングするための第1の再サンプラー(810、811)と、
第2の部分を前記所定のサンプリングレートに再サンプリングするための第2の再サンプラー(812)と、
オールパスフィルタ入力信号をオールパスフィルタ処理して前記補充信号を得るためのオールパスフィルタユニット(802)と、
再サンプリングされた第1の部分または再サンプリングされた第2の部分を前記オールパスフィルタユニット(802)に供給するためのコントローラ(815)と
を備える、請求項1~13のいずれか一項に記載の装置。
【請求項15】
前記コントローラ(815)は、制御信号に応答して、前記再サンプリングされた第1の部分または前記再サンプリングされた第2の部分あるいはゼロデータ(816)のいずれかを前記オールパスフィルタユニットに供給するように構成されている、
請求項14に記載の装置。
【請求項16】
前記無相関化フィルタ(800)は、
前記補充信号を第1のスペクトル分解能のスペクトルラインを含むスペクトル表現に変換するための時間-スペクトル変換器(804)
を備え、
前記マルチチャネルプロセッサ(900)は、前記デコードされたベースチャネルを前記第1のスペクトル分解能のスペクトルラインを使用するスペクトル表現に変換するための時間-スペクトル変換器(902)を備え、
前記マルチチャネルプロセッサ(904)は、第1のアップミックスチャネルまたは第2のアップミックスチャネルのための前記第1のスペクトル分解能を有するスペクトルラインを、特定のスペクトルラインについて、前記補充信号のスペクトルライン、前記デコードされたベースチャネルのスペクトルライン、および1つ以上のパラメータを使用して生成するように構成され、
前記1つ以上のパラメータは、前記第1のスペクトル分解能よりも低い第2のスペクトル分解能に関係し、
前記1つ以上のパラメータは、前記特定のスペクトルラインおよび少なくとも1つの周波数隣接スペクトルラインを含むスペクトルライン群を生成するために使用される、
請求項1~15のいずれか一項に記載の装置。
【請求項17】
前記マルチチャネルプロセッサは、前記第1のアップミックスチャネルまたは前記第2のアップミックスチャネルのためのスペクトルラインを、
1つ以上の伝達されたパラメータに応じた位相回転係数(941a、941b)、
前記デコードされたベースチャネルのスペクトルライン、
伝達されたパラメータに応じた前記デコードされたベースチャネルの前記スペクトルラインの第1の重み(942a、942b)、
前記補充信号のスペクトルライン、
伝達されたパラメータに応じた前記補充信号の前記スペクトルラインの第2の重み(943a、943b)、および
エネルギ正規化係数(945)
を使用して生成するように構成されている、請求項1に記載の装置。
【請求項18】
前記第2のアップミックスチャネルの計算に関して、前記第2の重みの符号は、前記第1のアップミックスチャネルの計算に使用される前記第2の重みの符号とは異なり、あるいは
前記第2のアップミックスチャネルの計算に関して、前記位相回転係数は、前記第1のアップミックスチャネルの計算に使用される前記位相回転係数とは異なり、
前記第2のアップミックスチャネルの計算に関して、前記第1の重みは、前記第1のアップミックスチャネルの計算に使用される前記第1の重みとは異なる、
請求項17に記載の装置。
【請求項19】
エンコードされたマルチチャネル信号をデコードする方法であって、
エンコードされたベースチャネルをデコードしてデコードされたベースチャネルを得るステップ(700)と、
前記デコードされたベースチャネルの少なくとも一部を無相関化フィルタ処理して補充信号を得るステップ(800)と、
前記デコードされたベースチャネルのスペクトル表現および前記補充信号のスペクトル表現を使用してマルチチャネル処理を実行するステップ(900)と
を含んでおり、
前記無相関化フィルタ処理(800)は、広帯域フィルタ処理であり、前記マルチチャネル処理(900)は、前記デコードされたベースチャネルの前記スペクトル表現および前記補充信号の前記スペクトル表現に狭帯域処理を適用することを含み、
前記方法は、前記エンコードまたはデコードされたベースチャネルにおける過渡を発見するステップをさらに含み、
前記無相関化フィルタ処理(800)は、前記過渡を発見するステップが過渡信号サンプルを発見した時間部分においてノイズまたはゼロ値(816)を無相関化フィルタ段(802)に供給することを含み、前記無相関化フィルタ処理(800)は、前記過渡を発見するステップが前記エンコードまたはデコードされたベースチャネルにおいて過渡を発見しなかったさらなる時間部分において前記デコードされたベースチャネルのサンプルを前記無相関化フィルタ段(802)に供給することを含む、
方法。
【請求項20】
コンピュータまたはプロセッサ上で実行されたときに請求項19に記載の方法を実行するためのコンピュータプログラム。
【外国語明細書】