特許 7340553 高調波ポストフィルタを使用してオーディオ信号を処理するための装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-30

(45)【発行日】2023-09-07

(54)【発明の名称】高調波ポストフィルタを使用してオーディオ信号を処理するための装置および方法

(51)【国際特許分類】

   G10L 19/26 20130101AFI20230831BHJP

【ＦＩ】

G10L19/26 B

【請求項の数】 19

【外国語出願】

(21)【出願番号】P 2021005407

(22)【出願日】2021-01-16

(62)【分割の表示】P 2019114240の分割

【原出願日】2015-07-24

(65)【公開番号】P2021064009

(43)【公開日】2021-04-22

【審査請求日】2021-01-30

(31)【優先権主張番号】14178820.8

(32)【優先日】2014-07-28

(33)【優先権主張国・地域又は機関】EP

【前置審査】

(73)【特許権者】

【識別番号】500341779

【氏名又は名称】フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン

(74)【代理人】

【識別番号】100134119

【弁理士】

【氏名又は名称】奥町 哲行

(72)【発明者】

【氏名】ラベリ・エマニュエル

(72)【発明者】

【氏名】ヘルムリッヒ・クリスチャン

(72)【発明者】

【氏名】ゴラン・マルコビッチ

(72)【発明者】

【氏名】ノイジンガー・マティアス

(72)【発明者】

【氏名】ディッシュ・ザシャ

(72)【発明者】

【氏名】ヤンダー・マヌエル

(72)【発明者】

【氏名】ディーツ・マーティン

【審査官】中村 天真

(56)【参考文献】

【文献】特開２００４－３０２２５７（ＪＰ，Ａ）

【文献】特表２０１３－５３３９８３（ＪＰ，Ａ）

【文献】特開２０１３－１２０２２５（ＪＰ，Ａ）

【文献】特表２０１４－５１０３０１（ＪＰ，Ａ）

【文献】特開平１０－２１４１００（ＪＰ，Ａ）

【文献】国際公開第２００４／０９７７９８（ＷＯ，Ａ１）

【文献】特表２００５－５２８６４７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ １９／００－１９／２６

(57)【特許請求の範囲】

【請求項1】

ピッチラグ情報および利得情報を関連付けられているオーディオ信号を処理するための装置であって、
前記オーディオ信号の第１の領域の表現を、前記第１の領域の表現とは異なる前記オーディオ信号の第２の領域の表現へと変換するための領域変換器と、
前記オーディオ信号の前記第２の領域の表現をフィルタリングするための高調波ポストフィルタ（１０４）であって、前記高調波ポストフィルタ（１０４）は、分子および分母を含む伝達関数に基づき、前記分子は前記利得情報によって示される利得値を含み、前記分母は、前記ピッチラグの整数部分、および、前記ピッチラグの分数部分に依存するマルチタップフィルタを含む、高調波ポストフィルタ（１０４）と
を備える、装置。

【請求項2】

前記高調波ポストフィルタ（１０４）が基づく長期予測フィルタは、前記ピッチラグを含むフィルタパラメータを含み、前記パラメータは、前記オーディオ信号と前記ピッチラグ情報と前記利得情報とを含むビットストリームから復号されたパラメータから判定される、請求項１に記載の装置。

【請求項3】

前記ビットストリームはさらに判定ビットを含み、前記装置は、前記判定ビットが０に等しい場合、いかなるピッチラグ情報または利得情報も復号されず、または前記ピッチラグ情報および前記利得情報をビットストリームに書き込まれていないと仮定するように、または前記ピッチラグ情報によって示される前記ピッチラグおよび前記利得情報によって示される利得をゼロ値として仮定するように、構成される、請求項２に記載の装置。

【請求項4】

前記高調波ポストフィルタ（１０４）は、前記ピッチラグ情報および前記利得情報からそれぞれ導出された前記ピッチラグおよび利得であるフィルタパラメータを含み、前記高調波ポストフィルタ（１０４）は、１つのフレームから次のフレームへと異なるパラメータを有するように構成され、前記装置は、前記１つのフレームと前記次のフレームとの間の境界における不連続部を回避するための不連続部除去器をさらに含む、請求項１に記載の装置。

【請求項5】

前記不連続部除去器は、クロスフェーダ、ローパスフィルタ、またはＬＰＣフィルタのうちの少なくとも１つを含む、請求項４に記載の装置。

【請求項6】

前記不連続部除去器は、前記１つのフレームのポストフィルタリングされたオーディオ信号をフェードアウトさせると同時に、前記次のフレームのポストフィルタリングされたオーディオ信号をフェードインさせるように構成される、請求項４または５に記載の装置。

【請求項7】

前記フェードアウトおよび前記フェードインのクロスフェーディング特性は、フェーディング係数がクロスフェーディング動作全体を通じて１になるようなものである、請求項６に記載の装置。

【請求項8】

前記伝達関数は、前記分子内に、前記ピッチラグのゼロ分数部分（Ｔ_ｆｒ）のためのさらなるマルチタップＦＩＲフィルタ（Ｂ（ｚ，０））を含むか、または、前記分母は、前記マルチタップフィルタと前記利得値との間の積を含む、請求項１に記載の装置。

【請求項9】

前記分子は、第１のスカラー値（α）と第２のスカラー値（β）との積をさらに含み、前記分母は、前記第２のスカラー値（β）を含み、前記第１のスカラー値（α）は含まず、前記第１のスカラー値（α）および前記第２のスカラー値（β）は予め決定されており、０よりも大きい値を有し、前記第２のスカラー値（β）は前記第１のスカラー値（α）よりも小さい、請求項１または８に記載の装置。

【請求項10】

前記伝達関数Ｈ（ｚ）は、以下の式に基づく極－ゼロ点表現で表され、

【数1】

ここで、αは第１のスカラー値であり、βは第２のスカラー値であり、Ｂ（ｚ，０）はゼロ分数部分ピッチラグのためのマルチタップフィルタであり、Ｂ（ｚ，Ｔｆｒ）は前記ピッチラグの前記分数部分に依存する前記マルチタップフィルタであり、Ｔｉｎｔは前記ピッチラグの前記整数部分であり、Ｔｆｒは前記ピッチラグの前記分数部分であり、ｇは前記利得情報によって示される前記利得値であり、ｚはｚ平面内の変数である、請求項１に記載の装置。

【請求項11】

前記高調波ポストフィルタ（１０４）は、有限インパルス応答（ＦＩＲ）フィルタであって少なくとも３つのタップを有するマルチタップフィルタを含む、請求項１～７のいずれか一項に記載の装置。

【請求項12】

ゼロの値を有する前記ピッチラグの前記分数部分に依存する前記マルチタップフィルタは４つのフィルタタップ（ｗ_１～ｗ_４）を含み、前記ピッチラグの前記分数部分の前記ゼロの値について、第１のフィルタタップ（ｗ_４）は０．０から０．１の間であり、第２のフィルタタップ（ｗ_３）は０．２から０．３の間であり、第３のフィルタタップ（ｗ_２）は０．５から０．６の間であり、第４のフィルタタップ（ｗ_１）は０．２から０．３の間であるか、または
前記ピッチラグの前記分数部分に依存する前記マルチタップフィルタは、前記ピッチラグの前記分数部分の第１の値について、４つのフィルタタップを含み、第１のフィルタタップは０．０から０．１の間であり、第２のフィルタタップは０．３から０．４の間であり、第３のフィルタタップは０．４５から０．５５の間であり、第４のフィルタタップは０．１から０．２の間であるか、または
前記ピッチラグの前記分数部分に依存する前記マルチタップフィルタは、前記ピッチラグの前記分数部分の第２の値について、４つのフィルタタップを含み、第１のフィルタタップは０．０から０．１の間であり、第２のフィルタタップは０．３５から０．４５の間であり、第３のフィルタタップは０．３５から０．４５の間であり、第４のフィルタタップは０．０から０．１の間であるか、または
前記ピッチラグの前記分数部分に依存する前記マルチタップフィルタは、前記ピッチラグの前記分数部分の第３の値について、４つのフィルタタップを含み、第１のフィルタタップは０．１から０．２の間であり、第２のフィルタタップは０．４５から０．５５の間であり、第３のフィルタタップは０．３から０．４の間であり、第４のフィルタタップは０．０から０．１の間であり、
前記分数部分の前記第３の値は前記分数部分の前記第２の値よりも大きく、前記分数部分の前記第２の値は前記分数部分の前記第１の値よりも大きく、前記分数部分の前記第１の値は前記分数部分の前記ゼロの値よりも大きい、請求項１０に記載の装置。

【請求項13】

前記高調波ポストフィルタ（１０４）は、高調波間の周波数におけるエネルギーの損失を補償するための負のスペクトル傾斜を有するように構成されており、または
前記高調波ポストフィルタ（１０４）は、フレーム内の高調波間のエネルギーの量を抑制するように構成されており、前記抑制されるエネルギーの量は、前記フレーム内の前記第２の領域の表現に対応する時間領域表現の総エネルギーの２０％よりも小さい、請求項１～１２のいずれか一項に記載の装置。

【請求項14】

前記領域変換器は周波数－時間変換器であり、前記第１の領域は周波数領域であり、または
前記領域変換器はＬＰＣ残差－時間変換器であり、前記第１の領域はＬＰＣ残差領域である、請求項１～１３のいずれか一項に記載の装置。

【請求項15】

ピッチラグ情報および利得情報を関連付けられているオーディオ信号を処理するための方法であって、
前記オーディオ信号の第１の領域の表現を、前記第１の領域の表現とは異なる前記オーディオ信号の第２の領域の表現へと変換することと、
高調波ポストフィルタ（１０４）によって前記オーディオ信号の前記第２の領域の表現をフィルタリングすることであって、前記高調波ポストフィルタ（１０４）は、分子および分母を含む伝達関数に基づき、前記分子は前記利得情報によって示される利得値を含み、前記分母は、前記ピッチラグの整数部分、および、前記ピッチラグの分数部分に依存するマルチタップフィルタを含む、フィルタリングすることと
を含む、方法。

【請求項16】

オーディオ信号を符号化して符号化オーディオ信号（１０２）を得るための符号化器と、前記符号化オーディオ信号（１０２）を復号するための復号器であってプロセッサを備える復号器（１００）とを備える、オーディオ信号を処理するためのシステムであって、前記プロセッサは、
復号されたオーディオ信号の第１の領域の表現を、前記第１の領域の表現とは異なる前記復号されたオーディオ信号の第２の領域の表現へと変換するための領域変換器と、
前記復号されたオーディオ信号の前記第２の領域の表現をフィルタリングするための高調波ポストフィルタ（１０４）であって、
前記高調波ポストフィルタ（１０４）は、分子および分母を含む伝達関数に基づき、前記分子は利得情報によって示される利得値を含み、前記分母は、ピッチラグの整数部分、および、ピッチラグの分数部分に依存するマルチタップフィルタを含む、高調波ポストフィルタ（１０４）と
を備える、システム。

【請求項17】

前記符号化器は、前記ピッチラグの整数部分および前記ピッチラグの分数部分を計算するためのピッチラグ計算器（４０２、４０４、４０６）と、利得値を計算するための利得計算器（４１０、４１２）と、前記ピッチラグに関する情報および前記利得値に関する情報を含む前記符号化オーディオ信号（１０２）を生成するための符号化信号形成器（４１４）とを備える、請求項１６に記載のシステム。

【請求項18】

オーディオ信号を符号化して符号化オーディオ信号（１０２）を得る方法および前記符号化オーディオ信号（１０２）を復号する方法を含む、オーディオ信号を処理するための方法であって、
前記復号する方法は、
復号されたオーディオ信号の第１の領域の表現を、前記第１の領域の表現とは異なる前記復号されたオーディオ信号の第２の領域の表現へと変換することと、
高調波ポストフィルタ（１０４）を使用して前記復号されたオーディオ信号の前記第２の領域の表現をフィルタリングすることであって、前記高調波ポストフィルタ（１０４）は、分子および分母を含む伝達関数に基づき、前記分子は利得情報によって示される利得値を含み、前記分母は、ピッチラグの整数部分、および、ピッチラグの分数部分に依存するマルチタップフィルタを含む、フィルタリングすることと
を含む、方法。

【請求項19】

コンピュータまたはプロセッサ上で作動しているときに、請求項１５または請求項１８に記載の方法を実施するためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オーディオ処理に関し、特に、高調波ポストフィルタを使用したオーディオ処理に関する。

【背景技術】

【0002】

変換ベースのオーディオコーデックは一般的に、特に低ビットレートにおいて、高調波オーディオ信号を処理するときに高調波間ノイズを導入してしまう。

【0003】

この効果は、変換ベースのオーディオコーデックが低遅延で動作するときに、より短い変換サイズによってもたらされる周波数分解能および／もしくは選択性の悪化、ならびに／または、ウィンドウ周波数応答の悪化に起因して、さらに悪化する。

【0004】

この高調波間ノイズは一般的に、非常に不快なアーティファクトとして知覚され、調性感の高いオーディオ材料に対して主観的に評価されるときに、変換ベースのオーディオコーデックの性能を大幅に低減する。

【0005】

高調波オーディオ信号に関する変換ベースのオーディオコーデックの主観的品質を改善するためのいくつかの解決策が存在する。それらはすべて、変換領域または時間領域のいずれかにおける、予測ベースの技法に基づく。

【0006】

変換領域手法の例は、以下のとおりである。

【0007】

・［１］Ｈ．Ｆｕｃｈｓ「Ｉｍｐｒｏｖｉｎｇ ＭＰＥＧ Ａｕｄｉｏ Ｃｏｄｉｎｇ ｂｙ Ｂａｃｋｗａｒｄ Ａｄａｐｔｉｖｅ Ｌｉｎｅａｒ Ｓｔｅｒｅｏ Ｐｒｅｄｉｃｔｉｏｎ」（９９ｔｈ ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ， Ｎｅｗ Ｙｏｒｋ １９９５， Ｐｒｅｐｒｉｎｔ ４０８６）
・［２］Ｌ．Ｙｉｎ、Ｍ． Ｓｕｏｎｉｏ、Ｍ． Ｖａａｎａｎｅｎ「Ａ Ｎｅｗ Ｂａｃｋｗａｒｄ Ｐｒｅｄｉｃｔｏｒ ｆｏｒ ＭＰＥＧ Ａｕｄｉｏ Ｃｏｄｉｎｇ」（１０３ｒｄ ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ， Ｎｅｗ Ｙｏｒｋ １９９７， Ｐｒｅｐｒｉｎｔ ４５２１）
・［３］Ｊｕｈａ Ｏｊａｎｐｅｒａ、Ｍａｕｒｉ Ｖａａｎａｎｅｎ、Ｌｉｎ Ｙｉｎ「Ｌｏｎｇ Ｔｅｒｍ Ｐｒｅｄｉｃｔｏｒ ｆｏｒ Ｔｒａｎｓｆｏｒｍ Ｄｏｍａｉｎ Ｐｅｒｃｅｐｔｕａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ」（１０７ｔｈ ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ， Ｎｅｗ Ｙｏｒｋ １９９９， Ｐｒｅｐｒｉｎｔ ５０３６）
時間領域手法の例は、以下のとおりである。

【0008】

・［４］Ｐｈｉｌｉｐ Ｊ． Ｗｉｌｓｏｎ、Ｈａｒｐｒｉｔ Ｃｈｈａｔｗａｌ「Ａｄａｐｔｉｖｅ ｔｒａｎｓｆｏｒｍ ｃｏｄｅｒ ｈａｖｉｎｇ ｌｏｎｇ ｔｅｒｍ ｐｒｅｄｉｃｔｏｒ」（米国特許第５，０１２，５１７号明細書、１９９１年４月３０日）
・［５］Ｊｅｏｎｇｏｏｋ Ｓｏｎｇ、Ｃｈａｎｇ－Ｈｅｏｎ Ｌｅｅ、Ｈｙｅｎ－Ｏ Ｏｈ、Ｈｏｎｇ－Ｇｏｏ Ｋａｎｇ「Ｈａｒｍｏｎｉｃ Ｅｎｈａｎｃｅｍｅｎｔ ｉｎ Ｌｏｗ Ｂｉｔｒａｔｅ Ａｕｄｉｏ Ｃｏｄｉｎｇ Ｕｓｉｎｇ ａｎｄ Ｅｆｆｉｃｉｅｎｔ Ｌｏｎｇ－Ｔｅｒｍ Ｐｒｅｄｉｃｔｏｒ」（ＥＵＲＡＳＩＰ Ｊｏｕｒｎａｌ ｏｎ Ａｄｖａｎｃｅｓ ｉｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ ２０１０）
・［６］Ｊｕｉｎ－Ｈｗｅｙ Ｃｈｅｎ「Ｐｉｔｃｈ－ｂａｓｅｄ ｐｒｅ－ｆｉｌｔｅｒｉｎｇ ａｎｄ ｐｏｓｔ－ｆｉｌｔｅｒｉｎｇ ｆｏｒ ｃｏｍｐｒｅｓｓｉｏｎ ｏｆ ａｕｄｉｏ ｓｉｇｎａｌｓ」（米国特許第８，７３８，３８５号明細書、２０１４年５月２７日）

【先行技術文献】

【特許文献】

【0009】

【文献】米国特許第５，０１２，５１７号明細書

【文献】米国特許第８，７３８，３８５号明細書

【非特許文献】

【0010】

【文献】Ｈ．Ｆｕｃｈｓ「Ｉｍｐｒｏｖｉｎｇ ＭＰＥＧ Ａｕｄｉｏ Ｃｏｄｉｎｇ ｂｙ Ｂａｃｋｗａｒｄ Ａｄａｐｔｉｖｅ Ｌｉｎｅａｒ Ｓｔｅｒｅｏ Ｐｒｅｄｉｃｔｉｏｎ」（９９ｔｈ ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ， Ｎｅｗ Ｙｏｒｋ １９９５， Ｐｒｅｐｒｉｎｔ ４０８６）

【文献】Ｌ．Ｙｉｎ、Ｍ． Ｓｕｏｎｉｏ、Ｍ． Ｖａａｎａｎｅｎ「Ａ Ｎｅｗ Ｂａｃｋｗａｒｄ Ｐｒｅｄｉｃｔｏｒ ｆｏｒ ＭＰＥＧ Ａｕｄｉｏ Ｃｏｄｉｎｇ」（１０３ｒｄ ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ， Ｎｅｗ Ｙｏｒｋ １９９７， Ｐｒｅｐｒｉｎｔ ４５２１）

【文献】Ｊｕｈａ Ｏｊａｎｐｅｒａ、Ｍａｕｒｉ Ｖａａｎａｎｅｎ、Ｌｉｎ Ｙｉｎ「Ｌｏｎｇ Ｔｅｒｍ Ｐｒｅｄｉｃｔｏｒ ｆｏｒ Ｔｒａｎｓｆｏｒｍ Ｄｏｍａｉｎ Ｐｅｒｃｅｐｔｕａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ」（１０７ｔｈ ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ， Ｎｅｗ Ｙｏｒｋ １９９９， Ｐｒｅｐｒｉｎｔ ５０３６）

【文献】Ｊｅｏｎｇｏｏｋ Ｓｏｎｇ、Ｃｈａｎｇ－Ｈｅｏｎ Ｌｅｅ、Ｈｙｅｎ－Ｏ Ｏｈ、Ｈｏｎｇ－Ｇｏｏ Ｋａｎｇ「Ｈａｒｍｏｎｉｃ Ｅｎｈａｎｃｅｍｅｎｔ ｉｎ Ｌｏｗ Ｂｉｔｒａｔｅ Ａｕｄｉｏ Ｃｏｄｉｎｇ Ｕｓｉｎｇ ａｎｄ Ｅｆｆｉｃｉｅｎｔ Ｌｏｎｇ－Ｔｅｒｍ Ｐｒｅｄｉｃｔｏｒ」（ＥＵＲＡＳＩＰ Ｊｏｕｒｎａｌ ｏｎ Ａｄｖａｎｃｅｓ ｉｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ ２０１０）

【発明の概要】

【発明が解決しようとする課題】

【0011】

本発明の目的は、オーディオ信号を処理するための改善された概念を提供することである。

【課題を解決するための手段】

【0012】

この目的は、請求項１のオーディオ信号を処理するための装置、請求項１２のオーディオ信号を処理するための方法、請求項１３のシステム、請求項１７のシステムを動作させるための方法または請求項１８のコンピュータプログラムによって達成される。

【0013】

本発明は、分子および分母を含む伝達関数を有する高調波ポストフィルタを使用することによって、オーディオ信号の主観的品質を大幅に改善することができるという知見に基づく。伝達関数の分子は、送信される利得情報によって示される利得値を含み、分母は、ピッチラグ情報によって示されるピッチラグの整数部分と、ピッチラグの分数部分に依存するマルチタップフィルタとを含む。

【0014】

したがって、一般的な領域変更オーディオ復号器によってアーティファクトとして導入される高調波間ノイズを除去することが可能である。この高調波ポストフィルタは、当該フィルタが、送信される情報、すなわち、いずれにしても復号器内で利用可能であるピッチ利得およびピッチラグに依拠するという点において、特に有用である。これは、この情報が、復号器入力信号を介して対応する符号化器から受信されるためである。さらに、ピッチラグの整数部分が考慮に入れられるだけでなく、加えて、ピッチラグの分数部分も考慮に入れられるという事実に起因して、ポストフィルタリングは特に高精度である。ピッチラグの分数部分は特に、実際にピッチラグの分数部分に依存するフィルタ係数を有するマルチタップフィルタを介してポストフィルタへと導入することができる。このフィルタは、ＦＩＲフィルタとして実装することができ、または、ＩＩＲフィルタもしくは異なるフィルタ実施態様のような任意の他のフィルタとしても実装することができる。時間－周波数変更またはＬＰＣ－時間変更または時間－ＬＰＣ変更または周波数－時間変更のような任意の領域変更を、本発明のポストフィルタ概念によって有利に改善することができる。しかしながら、好ましくは、領域変更は周波数－時間領域変更である。

【0015】

したがって、本発明の実施形態は、時間領域において作動する長期予測器に基づく変換オーディオコーデックによって導入される高調波間ノイズを低減する。変換符号化の前のプレフィルタと変換復号の後のポストフィルタの両方が使用される［０４］～［６］とは対照的に、本発明は、好ましくは、ポストフィルタのみを適用する。

【0016】

さらに、［０４］～［６］において利用されているプレフィルタには、変換符号化器に与えられる入力信号に不安定性を導入する傾向があることが分かっている。これらの不安定性は、フレームごとの利得および／またはピッチラグの変化に起因する。変換符号器には、特に低ビットレートにおけるそのような不安定性の符号化に問題があり、時として、プレフィルタまたはポストフィルタを一切用いない状況と比較して復号信号にさらにより多くのノイズを導入するものがある。

【0017】

好ましくは、本発明は、プレフィルタを一切利用せず、それゆえ、プレフィルタと関連する問題を完全に回避する。

【0018】

さらに、本発明は、変換符号化後に復号信号に対して適用されるポストフィルタに依拠する。このポストフィルタは、変換オーディオコーデックによって導入される高調波間ノイズを低減する、ピッチラグの整数部分および分数部分を考慮に入れる長期予測フィルタに基づく。

【0019】

より良好な堅牢性のために、ポストフィルタパラメータのピッチラグおよびピッチ利得が符号化器側で推定され、ビットストリームで送信される。しかしながら、他の実施態様では、ピッチラグおよびピッチ利得はまた、オーディオ信号の周波数表現をオーディオ信号の時間領域表現へと変換するための周波数－時間変換器を備えるオーディオ復号器によって得られる復号オーディオ信号に基づいて復号器側で推定することもできる。

【0020】

好ましい実施形態において、分子は、ピッチラグの分数部分に依存する分母内のマルチタップフィルタによって導入されるスペクトル傾斜を補償するために、ピッチラグのゼロ分数部分のためのマルチタップフィルタをさらに備える。

【0021】

好ましくは、ポストフィルタは、フレーム内の高調波間のエネルギーの量を抑制するように構成されており、抑制されるエネルギーの量は、フレーム内の時間領域表現の総エネルギーの２０％よりも小さい。

【0022】

さらなる実施形態において、分母は、マルチタップフィルタと利得値との間の積を含む。

【0023】

さらなる実施形態において、フィルタ分子は、第１のスカラー値と第２のスカラー値との積をさらに含み、分母は、第１のスカラー値ではなく、第２のスカラー値のみを含む。これらのスカラー値は所定の値に設定され、０よりも大きく１未満の値を有し、加えて、第２のスカラー値は、第１のスカラー値よりも小さい。したがって、非常に効率的に、一般的に望ましくないエネルギー除去特性を設定し、加えて、フィルタ強度、すなわち、変換領域復号器出力信号においてフィルタがどの程度強く高調波間アーティファクトを減衰させるかを設定することが可能である。

【0024】

装置は、好ましい実施形態において、より低いビットレートに対してはより高い値が設定され、またその逆も設定されるように、ビットレートに応じて少なくとも第２のスカラー値を設定するためのフィルタコントローラをさらに備える。

【0025】

さらに、フィルタコントローラは、高調波ポストフィルタを信号適応的に、すなわち、ピッチラグの実際に与えられる分数部分値に応じて設定するために、ピッチラグの分数部分に応じて、対応するマルチタップフィルタを信号に応じて選択するように構成されている。

【0026】

続いて、本発明の好ましい実施形態を、添付の図面の文脈において論じる。

【図面の簡単な説明】

【0027】

【図1】オーディオ信号を処理するための本発明の装置の一実施形態を示す図である。

【図2】ｚ領域における伝達関数として表されている高調波ポストフィルタの好ましい実施形態を示す図である。

【図3】ｚ領域における伝達関数として表されている高調波ポストフィルタのさらなる好ましい実施形態を示す図である。

【図4】図１に示す変換領域オーディオ復号器によって復号されるべき符号化信号を生成するための符号化器の好ましい実施態様を示す図である。

【図5】フィルタコントローラによって制御されるＦＩＲフィルタとしてのマルチタップフィルタの好ましい実施態様を示す図である。

【図6】分数部分に応じた、フィルタコントローラと、タップ重みを予め記憶されているメモリとの間の協調を示す図である。

【図7a】ゼロα値を有するフィルタの周波数応答を示す図である。

【図7b】１に等しいα値を有する好ましい高調波ポストフィルタの周波数応答を示す図である。

【図7c】０．８のα値を有する好ましい高調波ポストフィルタの周波数応答を示す図である。

【図8a】０．４に等しいβ値を有する高調波ポストフィルタの好ましい実施形態を示す図である。

【図8b】０．２のβ値を有する高調波ポストフィルタの周波数応答を示す図である。

【発明を実施するための形態】

【0028】

図１は、ピッチラグ情報および利得情報が関連付けられているオーディオ信号を処理するための装置を示す。この利得情報は、符号化信号を受信する復号器入力１０２を介して復号器１００に送信することができ、または、代替的に、この情報は、この情報が利用可能でないときは復号器自体の中で計算することができる。しかしながら、より強固な動作のために、ピッチラグ情報およびピッチ利得情報を符号化器側で計算することが好ましい。

【0029】

復号器１００は、たとえば、オーディオ信号の周波数－時間表現を、オーディオ信号の時間領域表現へと変換するための周波数－時間変換器を含む。したがって、復号器は純粋な時間領域音声コーデックではなく、純粋な変換領域復号器もしくは混合変換領域復号器、または、時間領域とは異なる領域において動作する任意の他の符号器を含む。さらに、第２の領域が時間領域であることが好ましい。

【0030】

装置は、オーディオ信号の時間領域表現をフィルタリングするための高調波ポストフィルタ１０４をさらに備え、この高調波ポストフィルタは、分子および分母を含む伝達関数に基づく。特に、分子は、利得情報によって示される利得値を含み、分母は、ピッチラグ情報によって示されるピッチラグの整数部分を含み、重要なことに、ピッチラグの分数部分に依存するマルチタップフィルタをさらに含む。

【0031】

伝達関数Ｈ（ｚ）を有するこの高調波ポストフィルタの好ましい実施態様が図２に示されている。このフィルタは、復号器出力信号１０６を受信し、ポストフィルタリング済み出力信号１０８を得るために、この復号出力信号に、ポストフィルタリング動作を受けさせる。このポストフィルタリング済み出力信号は、処理済み信号として出力することができ、または、無論、信号依存性である、すなわち、フレームごとに変化し得るポストフィルタリング動作によって導入される任意の不連続部を除去するための任意の手順によってさらに処理することができる。この不連続部除去動作は、クロスフェーディングのような既知の不連続部除去動作のいずれかであってもよく、これは、先行するフレームがフェードアウトされ、同時に新たなフレームがフェードインされ、好ましくは、フェーディング特性は、フェーディング係数がクロスフェーディング動作全体を通じて１になるようなものであることを意味する。しかしながら、ローパスフィルタリングまたはＬＰＣフィルタリングのような他の不連続部除去も適用することができる。

【0032】

図１に示すオーディオ信号を処理するための装置は、マルチタップフィルタ情報記憶装置１１２と、フィルタコントローラ１１４とをさらに備える。特に、フィルタコントローラ１１４は、復号器１００からサイド情報１１６を受信し、このサイド情報は、たとえば、ピッチ利得情報ｇならびにピッチラグ情報、すなわち、ピッチラグの整数部分Ｔ_ｉｎｔおよびピッチラグの分数部分Ｔ_ｆｒに関する情報であり得る。この情報は、フレームごとの高調波ポストフィルタを設定し、加えて、マルチタップフィルタ情報Ｂ（ｚ，Ｔ_ｆｒ）を選択するのに有用である。さらに、復号器によって適用されるビットレート、または、復号信号の基礎となっているサンプリングレートのような追加の情報もまた、フィルタ制御部１１４によって、特に、ビットレートおよびサンプリングレートに関する特定の符号化器および／または復号器設定向けにスカラー値α、βを設定するために使用することができる。

【0033】

図２は、当該技術分野において既知であるような、ｚ領域におけるフィルタ伝達関数Ｈ（ｚ）の極／ゼロ点表現を示す。当然のことながら、高調波ポストフィルタの多数の他の表現があり、これらはすべてフィルタ表現であり、ｚ領域におけるこの種類の極／ゼロ点表現に変換することができる。したがって、本発明は、本明細書において例示されているような伝達関数によって任意の様式で記述可能である各フィルタに適用可能である。

【0034】

図３は、同じくｚ領域における極／ゼロ点表記の伝達関数として記載されている高調波ポストフィルタの好ましい実施形態を示す。

【0035】

このフィルタは、以下のように記述することができる。

【数1】

ここで、ｇは復号利得であり、Ｔ_ｉｎｔおよびＴ_ｆｒは、復号ピッチラグの整数部分および分数部分であり、αおよびβは、利得を重み付けする２つのスカラーであり、Ｂ（ｚ，Ｔ_ｆｒ）は、その係数が復号ピッチラグの分数部分に依存するローパスＦＩＲフィルタである。

【0036】

Ｈ（ｚ）の分数内のＢ（ｚ，０）は、Ｂ（ｚ，Ｔ_ｆｒ）によって導入される傾斜を補償するために使用される。

【0037】

βは、ポストフィルタの強度を制御するために使用される。１に等しいβは、高調波間の可能な最大限の量のエネルギーを抑制する、完全な効果を生成する。０に等しいβは、ポストフィルタを無効にする。一般的に、高調波間のエネルギーを過度に抑制しすぎないように、非常に低い値が使用される。この値はまた、ビットレートにも依存し得、より低いビットレートにおいてはより高い値になり、たとえば、低ビットレートでは０．４であり、高ビットレートでは０．２である。

【0038】

αは、低周波数におけるエネルギーのわずかな損失を補償するために、Ｈ（ｚ）の周波数応答にわずかな傾斜を加えるために使用される。αの値は一般的に１に近くなるように選択され、たとえば、０．８である。

【0039】

Ｂ（ｚ，Ｔ_ｆｒ）の一例を図６に示す。Ｂ（ｚ，Ｔ_ｆｒ）の次数および係数もまた、ビットレートおよび出力サンプリングレートに依存し得る。ビットレートおよび出力サンプリングレートの各組み合わせに対して、異なる周波数応答を設計および調節することができる。

【0040】

特に、０．６から１．０未満の間の偶数値のαが有用であること、および、加えて、０．１から０．５の間のβの値も有用であると証明されていることが分かっている。

【0041】

さらに、マルチタップフィルタは、可変数のタップを有することができる。特定の実施態様について、１つのタップがｚ^＋１である、４つのタップで十分であることが分かっている。しかしながら、２つのみのタップを有するより小さいフィルタ、または、さらには、５つ以上のタップを有するより大きいフィルタが、特定の実施態様にとっては有用である。

【0042】

図６は、ピッチラグの異なる分数値の、特に、１／４のピッチラグ分解能のフィルタＢ（ｚ）の好ましい実施態様を示す。この実施態様について、高調波ポストフィルタの伝達関数の分母内のマルチタップフィルタについて４つの異なるフィルタ記述が示されている。しかしながら、フィルタ係数は必ずしも、図６に示す値を正確に示す必要はなく、±０．０５の一定の変動も、他の実施態様においては有用であり得ることが分かっている。

【0043】

特に、図１に示すように、図６に示すタップ重みは、マルチタップフィルタ情報のためのメモリ１１２内に記憶される。フィルタコントローラ１１４は、図１のライン１１６から分数部分Ｔ_ｆｒを受信し、この値に応答して、抽出ライン２００を介してピッチラグの特定の分数部分の特定のフィルタ情報を抽出するために、メモリ１１２をアドレス指定する。この情報はその後、高調波ポストフィルタが正確に設定されるように、出力ライン２０２を介して高調波ポストフィルタ１０４に転送される。マルチタップＦＩＲフィルタの特定の実施態様が、図５に示されている。重み指示ｗ_１～ｗ_４は図６の表記に対応し、フィルタコントローラ１１４は、ピッチラグの実際の分数部分に応答して、特定のオーディオフレームに対して対応する重みを適用する。遅延部分５０１、５０２、５０３および結合器５０５のような他の部分は、図示されているように実装され得る。この文脈において、５０３および５０４のような正の遅延値に加えて負の遅延値を有するＦＩＲフィルタ表現が特に有用であることが分かっているため、遅延値５０１は、ｚ表記において負の遅延値であることを強調しておく。

【0044】

続いて、特定の機能ブロックを有し、いかなるプレフィルタも用いずに動作する好ましい符号化器実施態様が、図４に示されている。図４に示すフィルタ部分は、ピッチ推定器４０２と、ピッチリファイナ４０４と、分数部分推定器４０６と、過渡検出器４０８と、利得推定器４１０と、利得量子化器４１２とを備える。利得量子化器４１２、分数部分推定器４０６、ピッチリファイナ４０４、および、過渡検出器４０８によって生成される判定ビットによって与えら得る情報が、符号化信号形成器４１４へと入力される。符号化信号形成器は、符号化信号１０２を与え、当該信号はその後、図１に示す復号器１００へと入力される。符号化信号１０２は、図４に示されていない追加の信号情報を含む。

【0045】

続いて、ピッチ推定器４０２の機能を説明する。

【0046】

フレームあたり１つのピッチラグ（整数部分＋分数部分）が推定される（フレームサイズはたとえば、２０ｍｓである）。これは、複雑性を低減するために３ステップで行われ、推定精度を改善する。

【0047】

平滑なピッチ発展輪郭を生成するピッチ分析アルゴリズムが使用される（たとえば、Ｒｅｃ．ＩＴＵ－Ｔ Ｇ．７１８，ｓｅｃ．６．６に記載されている開ループピッチ分析）。この分析は一般的に、サブフレーム単位で行われ（サブフレームサイズは、たとえば、１０ｍｓである）、サブフレームあたり１つのピッチラグ推定値を生成する。これらのピッチラグ推定値はいかなる分数部分も有せず、一般的にダウンサンプリングされた信号（サンプリングレートは、たとえば、６４００Ｈｚである）について推定されることに留意されたい。使用される信号は任意のオーディオ信号、たとえば、Ｒｅｃ．ＩＴＵ－Ｔ Ｇ．７１８，ｓｅｃ．６．５に記載されているＬＰＣ加重オーディオ信号とすることができる。

【0048】

ピッチリファイナは、以下のように動作する。

【0049】

ピッチラグの最終的な整数部分が、オーディオ信号ｘ［ｎ］について推定され、一般的にａ．において使用されるダウンサンプリングされた信号のサンプリングレートよりも高いコア符号化器サンプリングレートにおいて実行される（たとえば、１２．８ｋＨｚ、１６ｋＨｚ、３２ｋＨｚ．．．）。信号ｘ［ｎ］は、任意のオーディオ信号、たとえば、ＬＰＣ加重オーディオ信号とすることができる。

【0050】

ピッチラグの整数部分はこのとき、以下の自己相関関数を最大化するラグｄ_ｍであり、

【数2】

ここで、ｄはおおよそ、ステップ１．ａ．において推定されるピッチラグＴである。

【0051】

（数３）
Ｔ－δ_１≦ｄ≦Ｔ＋δ_２
分数部分推定器４０６は、以下のように動作する。

【0052】

ステップ２．ｂ．において計算される自己相関関数Ｃ（ｄ）を補間し、補間された自己相関関数を最大化する分数ピッチラグを選択することによって、分数部分が求められる。補間は、Ｒｅｃ．ＩＴＵ－Ｔ Ｇ．７１８，ｓｅｃ．６．６．７に記載されているようなローパスＦＩＲフィルタを使用して実施することができる。

【0053】

図４に示す過渡検出器４０８は、判定ビットを生成するように構成されている。

【0054】

入力オーディオ信号がいかなる高調波成分も含まない場合、ビットストリームにおいてパラメータは符号化されない。復号器がポストフィルタパラメータを復号しなければならないか否かが復号器に分かるように、１ビットのみが送信される。判定は、以下のいくつかのパラメータに基づいて行われる。

【0055】

ａ．ステップ１．ｂ．において推定される整数ピッチラグにおける正規化相関。

【数4】

入力信号が整数ピッチラグによって完全に予測可能である場合、正規化相関は１であり、まったく予測可能でない場合は０である。このとき、高い値（１に近い）は高調波信号を示す。よりロバストな判定のために、過去のフレームの正規化相関も、判定に使用することができる。たとえば

【0056】

（ｎｏｒｍ．ｃｏｒｒ（ｃｕｒｒ．）＊ｎｏｒｍ．ｃｏｒｒ．（ｐｒｅｖ．））＞０．２５である場合、現在のフレームは何らかの高調波成分を含む（ｂｉｔ＝１）。

【0057】

ｂ．過渡を含む信号に対してポストフィルタが作動することを回避するための、過渡検出器によって計算される特徴（たとえば、時間的平坦性測度、最大エネルギー変化）、たとえば

【0058】

（ｔｅｍｐＦｌａｔｎｅｓｓ＞３．５ ｏｒ ｍａｘＥｎｅｒｇｙｃｈａｎｇｅ＞３．５）である場合、ｂｉｔ＝０を設定し、そうでない場合、いかなるパラメータも送信しない。

【0059】

さらに、利得推定器４１０は、利得量子化器４１２へと入力されるべき利得を計算する。

【0060】

利得は一般的に、コア符号化器サンプリングレートにおける入力オーディオ信号について推定されるが、これはまた、ＬＰＣ加重オーディオ信号のような任意のオーディオ信号とすることもできる。この信号はｙ［ｎ］と表記され、ｘ［ｎ］と同じであってもよく、または、異なっていてもよい。

【0061】

最初に、ｙ［ｎ］を以下のフィルタを用いてフィルタリングすることによって、ｙ［ｎ］の予測ｙ_Ｐ［ｎ］が求められる。

【数5】

ここで、Ｔ_ｉｎｔはピッチラグの整数部分であり（１．ｂ．において推定される）、Ｂ（ｚ，Ｔ_ｆｒ）は、その係数がピッチラグの分数部分Ｔ_ｆｒ（１．ｃ．において推定される）に依存するローパスＦＩＲフィルタである。

【0062】

ピッチラグ分解能が１／４であるときのＢ（ｚ）の一例は以下のとおりである。

【数6】

その後、利得ｇが以下のように計算され、

【数7】

０から１の間に限定される。

【0063】

最後に、利得が、たとえば、一様量子化を使用して、たとえば、２ビットで量子化される。

【0064】

利得が０に量子化される場合、ビットストリームにおいてパラメータは符号化されず、１判定ビットのみがもたらされる（ｂｉｔ＝０）。

【0065】

すでに概説したように、ポストフィルタは、変換復号器の後の出力オーディオ信号に対して適用される。ポストフィルタは、２０ｍｓのような、符号化器側で使用されたものと同じフレームサイズを有するフレームごとに信号を処理する。図示されているように、これは、そのパラメータが、符号化器側で推定され、ビットストリームから復号されるパラメータから判定される長期予測フィルタＨ（ｚ）に基づく。この情報は、判定ビット、ピッチラグおよび利得を含む。判定ビットが０である場合、ピッチラグおよび利得は復号されず、０であると仮定され、ビットストリームへはまったく書き込まれない。

【0066】

論じられているように、フィルタパラメータが１つのフレームから次のフレームへと異なる場合、２つのフレームの間の境界に不連続部が導入され得る。不連続部を回避するために、クロスフェーダまたはそれを目的とした任意の他の実施態様のような不連続部除去器が適用される。

【0067】

さらに、高調波ポストフィルタを設定するためのいくつかの異なる方法が、図７ａ～図８ｂに示されている。これらのプロットは、周波数領域伝達関数を示している。水平軸は正規化周波数１に関係付けられ、垂直軸はｄＢ単位のフィルタ応答の振幅である。図７ｂを除くすべての図解において、フィルタは、低周波数の増幅、すなわち、一定の正のｄＢ振幅値を導入していることが強調される。

【0068】

特に、図７ａは、上記で示したような一定のパラメータ値を有する、図３のフィルタを実装している伝達関数を示している。さらに、α値、すなわち、第１のスカラー値は０に設定されている。図７ｂは、同様の状況を示すが、ここでは、α値は１に等しい。他のパラメータは図７ａと同一である。

【0069】

図７ｃは、αが０．８に等しいさらなる実施態様を示し、これは、わずかな傾斜およびより低い周波数のブーストを有する。ここでも、図７は図７ａに示すものと同じ他のパラメータを有する。１に等しいαが、傾斜を除去し、すべての高調波周波数が１の利得を有することが明らかになる。この設定の欠点は、高調波間の周波数におけるエネルギーの損失である。それゆえ、図７ｃにあるような、０．８に等しいαの値が好ましい。この値は、図７ｂのαが１に等しい状況と比較して、わずかな傾斜を加える。高調波間の周波数におけるエネルギーの損失を補償するために、このわずかな傾斜が使用されることが好ましい。

【0070】

さらに、図８ａおよび図８ｂは、０．８に等しいαの値、ならびに、異なるβ値、すなわち、図８ａにおいては０．４のβ値、および、図８ｂにおいては０．２のβ値についてのフィルタ設定を示している。０．４のβ値が、０．２のβ値と比較してより強いポストフィルタリング効果を有することが明らかになり、それゆえ、より低いビットレートにおいては、そのような低ビットレートによって導入される高調波間ノイズを除去するために、０．４のβ値が使用される。

【0071】

他方、０．２に等しいβは、高調波間のエネルギーを抑制する効果がそれほど強くなく、それゆえ、このβ値は、より高いビットレートにおいてはそれほど多くの高調波間ノイズが存在しないことに起因して、そのような高いビットレートにとって好ましい。

【0072】

いくつかの態様が装置の文脈において説明されているが、これらの態様は対応する方法の説明をも表すことは明らかであり、ブロックまたはデバイスが、方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップの文脈において説明されている態様は、対応する装置の対応するブロックまたは項目または特徴の説明をも表す。方法ステップのいくつかまたはすべては、たとえば、マイクロプロセッサ、プログラム可能コンピュータまたは電子回路のようなハードウェア装置によって（またはハードウェア装置を使用して）実行されてもよい。いくつかの実施形態において、最も重要な方法ステップのいずれか１つまたは複数は、そのような装置によって実行されてもよい。

【0073】

本発明の送信または符号化信号は、デジタル記憶媒体上に記憶することができ、または、インターネットのような、無線伝送媒体または有線伝送媒体のような伝送媒体上で送信することができる。

【0074】

特定の実施要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアにおいて実装することができる。実施態様は、それぞれの方法が実施されるようにプログラム可能コンピュータシステムと協働する（または協働することが可能である）、電子可読制御信号を記憶されているデジタル記憶媒体、たとえば、フロッピーディスク、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）、ＣＤ、ＲＯＭ、ＰＲＯＭ、およびＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリを使用して実施することができる。それゆえ、デジタル記憶媒体は、コンピュータ可読であってもよい。

【0075】

本発明によるいくつかの実施形態は、本明細書に記載されている方法の１つが実施されるように、プログラム可能コンピュータシステムと協働することが可能である、電子可読制御信号を有するデータキャリアを含む。

【0076】

一般的に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で作動すると、方法の１つを実施するように動作可能である。プログラムコードは、たとえば、機械可読キャリア上に記憶されてもよい。

【0077】

他の実施形態は、機械可読キャリア上に記憶されている、本明細書に記載されている方法の１つを実施するためのコンピュータプログラムを含む。

【0078】

言い換えれば、本発明の方法の一実施形態は、それゆえ、コンピュータプログラムがコンピュータ上で作動すると、本明細書に記載されている方法の１つを実施するためのプログラムコードを有するコンピュータプログラムである。

【0079】

それゆえ、本発明の方法のさらなる実施形態は、本明細書に記載されている方法の１つを実施するためのコンピュータプログラムを記録されて含むデータキャリア（またはデジタル記憶媒体、もしくはコンピュータ可読媒体のような非一時的記憶媒体）である。データキャリア、デジタル記憶媒体または記録媒体は一般的に、有形かつ／または非一時的である。

【0080】

それゆえ、本発明の方法のさらなる実施形態は、本明細書に記載されている方法の１つを実施するためのコンピュータプログラムを表すデータストリームまたは信号系列である。データストリームまたは信号系列は、たとえば、データ通信接続、たとえば、インターネット上を介して転送されるように構成されてもよい。

【0081】

さらなる実施形態は、本明細書に記載されている方法の１つを実施するように構成または適合されている処理手段、たとえば、コンピュータまたはプログラム可能論理デバイスを含む。

【0082】

さらなる実施形態は、本明細書に記載されている方法の１つを実施するためのコンピュータプログラムをインストールされているコンピュータを含む。

【0083】

本発明によるさらなる実施形態は、本明細書に記載されている方法のうちの１つを実施するためのコンピュータプログラムを受信機に（たとえば、電子的にまたは光学的に）転送するように構成されている装置またはシステムを含む。受信機は、たとえば、コンピュータ、モバイルデバイス、メモリデバイスなどであってもよい。装置またはシステムは、たとえば、コンピュータプログラムを受信機に転送するためのファイルサーバを含んでもよい。

【0084】

いくつかの実施形態において、プログラム可能論理デバイス（たとえば、フィールドプログラマブルゲートアレイ）が、本明細書に記載されている方法の機能のいくつかまたはすべてを実施するために使用されてもよい。いくつかの実施形態において、フィールドプログラマブルゲートアレイは、本明細書に記載されている方法の１つを実施するためにマイクロプロセッサと協働してもよい。一般的に、方法は、任意のハードウェア装置によって実施されることが好ましい。

【0085】

上述した実施形態は、本発明の原理の例示にすぎない。本明細書に記載されている構成および詳細の修正および変形が当業者には明白であることが理解される。それゆえ、本明細書において実施形態の記述および説明として提示されている特定の詳細によってではなく、添付の特許請求項の範囲のみによって限定されることが意図されている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7a】

【図7b】

【図7c】

【図8a】

【図8b】