特許 6321684 サブバンドの時間的平滑化を用いて周波数増強信号を生成する装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6321684

(24)【登録日】2018年4月13日

(45)【発行日】2018年5月9日

(54)【発明の名称】サブバンドの時間的平滑化を用いて周波数増強信号を生成する装置および方法

(51)【国際特許分類】

   G10L 21/0388 20130101AFI20180423BHJP

【ＦＩ】

   G10L21/0388 100

【請求項の数】13

【全頁数】25

(21)【出願番号】特願2015-555674(P2015-555674)

(86)(22)【出願日】2014年1月28日

(65)【公表番号】特表2016-510429(P2016-510429A)

(43)【公表日】2016年4月7日

(86)【国際出願番号】EP2014051601

(87)【国際公開番号】WO2014118160

(87)【国際公開日】20140807

【審査請求日】2015年9月25日

(31)【優先権主張番号】61/758,090

(32)【優先日】2013年1月29日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】591037214

【氏名又は名称】フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ

(74)【代理人】

【識別番号】100079577

【弁理士】

【氏名又は名称】岡田 全啓

(74)【代理人】

【識別番号】100167966

【弁理士】

【氏名又は名称】扇谷 一

(72)【発明者】

【氏名】ディスヒ サッシャ

(72)【発明者】

【氏名】ガイガー ラルフ

(72)【発明者】

【氏名】ヘルムリッヒ クリスティアン

(72)【発明者】

【氏名】マルトラス マルクス

(72)【発明者】

【氏名】シュミット コンスタンティン

【審査官】 五貫 昭一

(56)【参考文献】

【文献】 国際公開第２００４／０１０４１５（ＷＯ，Ａ１）

【文献】 特表２０１３−５３１２８１（ＪＰ，Ａ）

【文献】 特表２０１４−５０８３２２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｌ ２１／０３８８

(57)【特許請求の範囲】

【請求項1】

周波数が増強された信号（１４０）を生成する装置であって、
コア信号（１２０，１１０）から周波数増強信号（１３０）を生成する信号生成器であって、前記周波数増強信号（１３０）は前記コア信号に含まれない増強周波数レンジを備え、前記周波数増強信号（１３０）または前記コア信号の現在の時間部分（３２０、３４０）は複数のサブバンドについてのサブバンド信号を備える、信号生成器（２００）と、
前記増強周波数レンジまたは前記コア信号の複数のサブバンド信号に対して、同一の平滑化情報（８０２）を計算する、制御装置（８００）と、
を備え、
前記信号生成器（２００）は、前記同一の平滑化情報（８０２）を用いて、前記増強周波数レンジまたは前記コア信号の複数のサブバンド信号を平滑化するように構成され、
前記制御装置（８００）は、前記コア信号および前記周波数増強信号（１３０）の複数のサブバンド信号の結合エネルギーを用いて、または前記現在の時間部分の前記周波数増強信号のみを用いて、前記平滑化情報（８０２）を計算するように構成され、および、
前記制御装置は、前記コア信号および前記周波数増強信号（１３０）の複数のサブバンド信号の平均エネルギー、または前記現在の時間部分に先立つ１つ以上の時間部分または前記現在の時間部分に引き続く１つ以上の時間部分の前記コア信号のみの平均エネルギーを用いて、前記同一の平滑化情報を計算するように構成された、
装置。

【請求項2】

前記同一の平滑化情報（８０２）は、前記増強周波数レンジの複数のサブバンド信号についての単一の補正係数（１４０２ｂ、１４０１ｂ、１４００ｂ）であり、前記信号生成器（２００）は、前記単一の補正係数を前記増強周波数レンジの複数のサブバンド信号に適用するように構成された、
請求項１に記載の装置。

【請求項3】

複数の時間的に引き続くフィルタバンクスロット（３４０）に対して、前記コア信号の複数のサブバンド信号を供給するフィルタバンクまたは供給器（１００）を更に備え、
前記信号生成器（２００）は、前記コア信号（１２０）の複数のサブバンド信号を用いて、前記複数の時間的に引き続くフィルタバンクスロット（３４０）についての前記増強周波数レンジの複数のサブバンド信号を導き出すように構成され、
前記制御装置（８００）は、各フィルタバンクスロット（３４０）についての個々の平滑化情報を計算するように構成された、
請求項１または２に記載の装置。

【請求項4】

前記制御装置（８００）は、前記現在の時間部分および先行する１つ以上の時間部分の前記コア信号または前記周波数増強信号（１３０）に基づいて、平滑化強度制御値（１０４０）を計算するように構成され、
前記制御装置（８００）は、前記平滑化強度制御値（１０４０）を用いて、平滑化強度が、前記現在の時間部分における前記コア信号または前記周波数増強信号（１３０）のエネルギーと先行する１つ以上の時間部分の前記コア信号または前記周波数増強信号（１３０）における平均エネルギーとの差分に応じて変化するように、前記同一の平滑化情報（８０２）を計算するように構成された、
請求項１〜３のいずれかに記載の装置。

【請求項5】

前記制御装置（８００）は、以下の式に基づいて前記同一の平滑化情報（８０２）を計算するように構成され、

ここで、Ｅｃｕｒｒ_tは現在の時間部分のエネルギーであり、Ｅａｖｇ_tは先行するまたは引き続く１つ以上の時間部分の平均であり、ａは平滑化強度を制御するパラメータであり、
前記信号生成器は、前記同一の平滑化情報を、前記周波数増強信号の複数のサブバンドの各サブバンドサンプルに適用するように構成された、
請求項１〜４のいずれかに記載の装置。

【請求項6】

前記信号生成器（２００）は、前記同一の平滑化情報（８０２）を用いて前記増強周波数レンジまたは前記コア信号の複数のサブバンドの前記平滑化に加えて、前記コア信号または前記周波数増強信号（１３０）を整形する（２０４）ように構成された、請求項１〜５のいずれかに記載の装置。

【請求項7】

前記現在の時間部分と前記現在の時間部分に先行するまたは前記現在の時間部分に引き続く少なくとも１つの更なる時間部分は、フレーム（３４０）を形成し、
前記信号生成器（２００）は、前記フレーム（３４０）に対して同一の整形情報を適用するように構成され、前記信号生成器（２００）は、前記フレーム（３４０）内の各時間部分に対して個々の平滑化情報（８０２）を用いて平滑化するように構成された、
請求項６に記載の装置。

【請求項8】

前記信号生成器（２００）は、前記周波数増強信号（１３０）または前記コア信号にエネルギー制限を実行するように構成され、
合成フィルタバンク（３００）によって得られた前記信号の高いバンドのエネルギーが、前記合成フィルタバンク（３００）によって得られた信号の低いバンドにおけるエネルギーと等しい、あるいは、多くとも、前記低いバンドにおけるエネルギーよりも予め定められた３ｄＢ以下の閾値分大きい、
請求項１〜７のいずれかに記載の装置。

【請求項9】

前記信号生成器（２００）は、前記周波数増強信号（１３０）の複数のサブバンド信号を計算するとき、前記コア信号の単一のサブバンド信号または前記コア信号の複数のサブバンド信号をミラーリングする（２０２）ように構成された、
請求項１〜８のいずれかに記載の装置。

【請求項10】

周波数が増強された信号（１４０）を生成する方法であって、
コア信号（１２０，１１０）から周波数増強信号（１３０）を生成するステップであって、前記周波数増強信号（１３０）は前記コア信号に含まれない増強周波数レンジを備え、前記周波数増強信号（１３０）または前記コア信号の現在の時間部分（３２０、３４０）は複数のサブバンドについてのサブバンド信号を備える、生成するステップ（２００）と、
前記増強周波数レンジまたは前記コア信号の複数のサブバンド信号に対して、同一の平滑化情報（８０２）を計算するステップ（８００）と、
を備え、
前記生成するステップ（２００）は、前記同一の平滑化情報（８０２）を用いて、前記増強周波数レンジまたは前記コア信号の複数のサブバンド信号を平滑化するステップを備え、
前記計算するステップ（８００）は、前記コア信号および前記周波数増強信号（１３０）の複数のサブバンド信号の結合エネルギーを用いて、または前記現在の時間部分の前記周波数増強信号（１３０）のみを用いて、前記同一の平滑化情報（８０２）を計算するステップを備え、および、
前記計算するステップ（８００）は、前記コア信号および前記周波数増強信号（１３０）の複数のサブバンド信号の平均エネルギー、または前記現在の時間部分に先立つ１つ以上の時間部分または前記現在の時間部分に引き続く１つ以上の時間部分の前記コア信号のみの平均エネルギーを用いるステップを備えた、
方法。

【請求項11】

オーディオ信号を処理するシステムであって、
前記オーディオ信号から、符号化されたコア信号（１１０）を生成するエンコーダ（１５００）と、
前記符号化されたコア信号から導出された復号化されたコア信号から、請求項１〜９のいずれかに記載された周波数増強信号（１３０）を生成する装置と、
を備えた、システム。

【請求項12】

オーディオ信号を処理する方法であって、
前記オーディオ信号から、符号化されたコア信号（１１０）を生成するステップ（１５００）と、
請求項１０に記載の方法を用いて、前記符号化されたコア信号から導出された復号化されたコア信号から、周波数増強信号（１３０）を生成するステップと、
を備えた、方法。

【請求項13】

コンピュータプログラムがコンピュータまたは処理装置上で動作するとき、請求項１０または１２に記載の方法を実行する、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オーディオ符号化に基づき、特にバンド幅拡張、スペクトルバンド複製または知的ギャップ充填のような周波数増強プロシージャに基づく。

【0002】

本発明は、特に非ガイド式の、すなわちデコーダ側がサイド情報なしにまたは最小限のサイド情報のみで動作する、周波数増強プロシージャに関する。

【背景技術】

【0003】

知覚的なオーディコーデックは、特に（相対的に）低ビットレートで動作するとき、しばしば音声信号の全知覚可能周波数レンジのローパス部分のみを量子化し、符号化する。
このアプローチは、符号化された低周波信号に対する許容可能な品質を保証するが、多くのリスナーはハイパス部分の欠落を品質劣化として知覚する。この問題を克服するために、欠落する高周波部分を、バンド幅拡張スキームによって合成することができる。

【0004】

技術水準のコーデックは、低周波信号を符号化するために、ＡＡＣのような波形保存コーダ、またはスピーチコーダのようなパラメトリックコーダをしばしば用いる。これらのコーダは、特定のストップ周波数まで動作する。この周波数は、クロスオーバー周波数と呼ばれる。クロスオーバー周波数の下の周波数部分は、ローバンドと呼ばれる。バンド幅拡張スキームによって合成されるクロスオーバー周波数より上の信号は、ハイバンドと呼ばれる。

【0005】

バンド幅拡張は、通常は伝送された信号（ローバンド）と追加のサイド情報によって欠落バンド幅（ハイバンド）を合成する。低ビットレートのオーディオ符号化の分野で適用される場合、追加の情報ができる限り起こりうる追加のビットレートを消費しないようにすべきである。従って、追加の情報に対して、通常はパラメトリック表現が選択される。このパラメトリック表現は、エンコーダから比較的低いビットレートで伝送される（ガイド式のバンド幅拡張）か、デコーダにおいて特定の信号特性に基づいて推定される（非ガイド式のバンド幅拡張）。後者のケースにおいて、パラメータは全くビットレートを消費しない。

【0006】

ハイバンドの合成は、通常は次の２つのパートからなる。

１．高周波コンテンツの生成
これは、低周波コンテンツ（の一部）をハイバンドにコピーまたは反転させる、またはホワイトノイズまたは整形されたノイズまたは他の人工信号部分をハイバンドに挿入することによってなすことができる。

２．パラメトリック情報に従って生成された高周波コンテンツの調整
これは、パラメトリック表現による形状、調性／ノイジネスおよびエネルギーの操作を含む。

【0007】

合成プロセスのゴールは、通常は知覚的にオリジナル信号に近い信号を達成することである。このゴールを適合することができない場合、合成された部分はリスナーに対して最も妨害しないものとすべきである。

【0008】

ガイド式のＢＷＥスキーム以外の、非ガイド式のバンド幅拡張は、ハイバンドの合成に対して追加の情報に依存することができない。その代わりに、通常はローバンドとハイバンドの間の相関を実施する経験則を用いる。多くの音楽ピースや声に出したスピーチセグメントは高低の周波数バンド間で高い相関を呈するが、これは、通常は無声音のまたは摩擦音のスピーチセグメントに対するケースでない。摩擦音のサウンドは、特定の周波数より上に高いエネルギーを持つが、低周波数レンジにおいて極めて少ないエネルギーを持つ。この周波数がクロスオーバー周波数の近くにある場合、ローバンドは関連する信号部分をほとんど含まないので、クロスオーバー周波数より上に人工信号を生成することは問題がある可能性がある。この課題に対処するために、この種のサウンドの良好な検出が有用である。

【0009】

ＨＥ-ＡＡＣは、ローバンドに対して波形保存コーデック（ＡＡＣ）およびハイバンドに対してパラメトリックコーデック（ＳＢＲ）からなる周知のコーデックである。デコーダ側において、ハイバンド信号は、ＱＭＦフィルタバンクを用いて復号化されたＡＡＣ信号を周波数ドメインに変換することによって生成される。引き続いて、ローバンド信号のサブバンドはハイバンドへコピーされる（高周波コンテンツの生成）。このハイバンド信号は、次に、伝送されたパラメトリックサイド情報に基づいて、スペクトル包絡、調性および暗騒音において調整される（生成された高周波コンテンツの調整）。この方法は、ガイド式のＢＷＥアプローチを用いるので、ハイバンドとローバンドの間の弱い相関は一般に問題とならず、適当なパラメータセットを伝送することによって克服することができる。しかしながら、これは付加的なビットレートを必要とし、それは一定のアプリケーションシナリオに対して受け入れられないかもしれない。

【0010】

ＩＴＵ標準Ｇ.722.2 は、時間ドメインにおいてのみ動作する、すなわち周波数ドメインにおいていかなる演算も実行しない、スピーチコーデックである。この種のデコーダは、１２．８ｋＨｚのサンプリングレートで時間ドメイン信号を出力し、引き続いて１６ｋＨｚまでアップサンプリングされる。高周波コンテンツ（６．４−７．０ｋＨｚ）の生成は、バンドパスノイズの挿入に基づいている。多くの演算モードにおいて、ノイズのスペクトル整形はいかなるサイド情報も用いることなくなされ、ノイズエネルギーに関して最も高いビットレート情報を有する演算モードにおいてのみ、ビットストリームにおいて伝送される。簡潔のため、そして全てのアプリケーションシナリオが追加のパラメータセットの伝送をもたらすわけではないので、以下において、いかなるサイド情報も用いることのないハイバンド信号の生成のみが記載される。

【0011】

ハイバンド信号の生成に対して、ノイズ信号は、コアの励起信号と同じエネルギーを持つようにスケーリングされる。信号の無声音部分により多くのエネルギーを与えるために、スペクトル傾斜ｅが計算される。

【0012】

ここで、ｓは、４００Ｈｚのカットオフ周波数を有するハイパスフィルタリングされた復号化コア信号である。ｎは、サンプルインデックスである。高周波においてより少ないエネルギーが存在する有声音セグメントのケースにおいてｅは１に近づくが、無声音セグメントに対してｅはゼロに近づく。ハイバンド信号においてより多くのエネルギーを持つために、無声音のスピーチに対して、ノイズのエネルギーに（１−ｅ）が掛けられる。最後に、スケーリングされたノイズ信号は、ラインスペクトル周波数（ＬＳＦ）ドメインにおける外挿によってコア線形予測符号化（ＬＰＣ）フィルタから導き出されるフィルタによってフィルタリングされる。

【0013】

完全に時間ドメインで動作するＧ.722.2 の非ガイド式のバンド幅拡張には、以下の欠点を有する。

１．生成されたＨＦコンテンツはノイズに基づいている。これは、ＨＦ信号が音のハーモニック低周波信号（例えば音楽）と結合される場合に、聞き取れるアーチファクトを創生する。この種のアーチファクトを回避するため、Ｇ.722.2 は、生成されたＨＦ信号のエネルギーを強く制限し、それはまたバンド幅拡張の潜在的利益を制限する。従って、残念なことに、サウンドのブライトネスの最大の可能な改善またはスピーチ信号の明瞭度における最大の獲得できる増加も制限される。

２．この非ガイド式のバンド幅拡張は時間ドメインにおいて動作するので、フィルタ演算は付加的なアルゴリズム的遅延を生ずる。この付加的な遅延は、双方向通信シナリオにおけるユーザ経験の品質を下げるか、または所定の通信技術標準の必要条件の項目によって許容されないかもしれない。

３．また、信号処理は時間ドメインにおいて実行されるので、フィルタ演算は不安定の傾向がある。さらに、時間ドメインフィルタは高い計算量を有する。

４．ハイバンド信号のエネルギーのオーバーオール合計のみがコア信号のエネルギーに適合される（そして、更にスペクトル傾斜によって重み付けされる）ので、コア信号の上側周波数レンジ（ちょうどクロスオーバー周波数の下の信号）とハイバンド信号の間のクロスオーバー周波数におけるエネルギーの有意なローカルミスマッチがあるかもしれない。例えば、これは、特に超低周波数レンジにおけるエネルギー集中を呈するが、上側周波数レンジにおいてほとんどエネルギーを含まない音の信号に対するケースになる。

５．さらにまた、時間ドメイン表現においてスペクトル勾配を推定することは演算的に複雑である。周波数ドメインにおいて、スペクトル勾配の外挿は非常に効率的になすことができる。例えば摩擦音の大部分のエネルギーは高い周波数レンジに集中しているので、これらは、保守的なエネルギーとＧ.722.2 におけるようなスペクトル勾配の推定戦略が適用される場合、鈍く聞こえるかもしれない（１．を参照）。

【0014】

要約すると、従来技術の非ガイド式のまたはブラインドのバンド幅拡張スキームは、デコーダ側について有意の計算量を必要とし、それにもかかわらず特に摩擦音のような問題があるスピーチサウンドに対して制限されたオーディオ品質に結果としてなるかもしれない。さらにまた、ガイド式のバンド幅拡張スキームは、より良好なオーディオ品質を提供し、時にはデコーダ側についてより少ない計算量でよいが、ハイバンドについての付加的なパラメトリック情報が符号化されたコアオーディオ信号に関して有意の量の付加的なビットレートを必要とする可能性があるという事実により、実質的なビットレートの低減を提供することができない。

【0015】

それ故に、本発明の目的は、非ガイド式の周波数増強技術の局面におけるオーディオ処理に対する改良されたコンセプトを提供することである。

【発明の概要】

【0016】

この目的は、請求項１の周波数増強信号を生成する装置、請求項１１の周波数増強信号を生成する方法、請求項１２のエンコーダと周波数増強信号を生成する装置を含むシステム、請求項１３の関連する方法、または請求項１４のコンピュータプログラムによって達成される。

【0017】

本発明は、オーディオコーデックに対するバンド幅拡張スキームのような周波数増強スキームを提供する。このスキームは、追加のサイド情報の必要なしに、またはガイド式のバンド幅拡張スキームにおけるような欠落バンドの完全なパラメトリック記述と比較して有意に低減された最小量のみによる、オーディオコーデックの周波数帯域幅を拡張することを意図する。

【0018】

周波数増強信号を生成する装置は、コア信号における周波数に関するエネルギー分布を記述する値を計算する計算器を含む。コア信号に含まれない増強周波数レンジを備える周波数増強信号を生成する信号生成器は、コア信号を用いて動作し、次に周波数増進信号のスペクトル包絡がエネルギー分布を記述する値に従属するように周波数増強信号またはコア信号の整形を実行する。

【0019】

従って、周波数増強信号の包絡または周波数増強信号は、エネルギー分布を記述するこの値に基づいて整形される。この値は容易に計算することができ、この値は次に完全な包絡形状または周波数増強信号の完全な形状を定義する。従って、デコーダは低い複雑性で動作することができ、同時に良好なオーディオ品質が得られる。特に、コア信号におけるエネルギー分布は、周波数増強信号のスペクトル整形に対して用いられるとき、コア信号におけるスペクトル重心のようなエネルギー分布についての値を計算する処理やこのスペクトル重心に基づく周波数増強信号の調整が直接的で低い計算資源で実行することができる処理であっても、良好なオーディオ品質に結果としてなる。

【0020】

さらにまた、このプロシージャは、ハイバンド信号の絶対エネルギーと勾配（ロールオフ）が、それぞれコア信号の絶対エネルギーと勾配（ロールオフ）から導き出されることを可能とする。スペクトル包絡の整形は、単に周波数表現にゲインカーブを掛けることに相当し、このゲインカーブはコア信号における周波数に関するエネルギー分布を記述する値から導き出されるので、演算的に効率的な方法でなされるように、これらの演算は周波数ドメインにおいて実行することが好ましい。

【0021】

さらにまた、時間ドメインにおいて所定のスペクトル形状を正確に推定し外挿することは、演算的に複雑である。従って、この種の演算は、好ましくは周波数ドメインにおいて実行される。例えば、摩擦音は、通常は低周波で低い量のエネルギーを持ち、高周波で高い量のエネルギーを持つ。エネルギーにおける上昇は、実際の摩擦音に依存し、クロスオーバー周波数以下ではほとんど起きないかもしれない。時間ドメインにおいては、この状況を検知し、それから有効な外挿を得ることは困難であり、演算的に複雑である。非摩擦音に対しては、人工的に生成されたスペクトルのエネルギーは、周波数の上昇によって常に低下することが保証される。

【0022】

更なる態様において、時間的平滑化プロシージャが適用される。コア信号から周波数増強信号を生成する信号生成器が提供される。周波数増強信号またはコア信号の時間部分は、複数のサブバンドに対してサブバンド信号を備える。増強周波数レンジの複数のサブバンド信号に対して同じ平滑化情報を計算する制御装置が提供され、この平滑化情報は、次に増強周波数レンジの複数のサブバンド信号を、特に同じ平滑化情報を用いて平滑化する信号生成器によって用いられ、または、代替として、平滑化が高周波生成の前に実行されるとき、次にコア信号の複数のサブバンド信号が全て同じ平滑化情報を用いて平滑化される。この時間的平滑化は、小さく速いエネルギー変動の継続を回避し、ローバンドからハイバンドに継承され、従ってより気持ちの良い知覚的印象に導く。ローバンドエネルギーの変動は、不安定性に導くコアコーダの根底をなす量子化誤差によって通常は引き起こされる。平滑化は、信号の（長期の）定常性に依存するので、信号適応である。さらにまた、全ての個々のサブバンドに対して全く同一の平滑化情報を使用することは、サブバンド間のコヒーレンシーが時間的平滑化によって変化しないことを確保する。その代わりに、全てのサブバンドが同じように平滑化され、平滑化情報は全てのサブバンドからまたは増強周波数レンジにおけるサブバンドのみから導き出される。従って、各サブバンド信号の個々の平滑化と比較して、有意に良好なオーディオ品質が得られる。

【0023】

更なる態様は、好ましくは周波数増強信号を生成する全部のプロシージャの終わりに、エネルギー制限を実行することに関する。コア信号から周波数増強信号を生成する信号生成器が提供され、ここで周波数増強信号はコア信号に含まれない増強周波数レンジを備え、周波数増強信号の時間部分は１つまたは複数のサブバンドに対してサブバンド信号を備える。周波数増強信号を用いて周波数が増強された信号を生成する合成フィルタバンクが提供され、ここで信号生成器は、合成フィルタバンクによって得られる周波数が増強された信号が、結果として高いバンドのエネルギーが低いバンドにおけるエネルギーに多くても等しい、または多くても所定の閾値だけ大きいことを確保するため、エネルギー制限を実行するように構成される。これは、単一の拡張バンドに対して適用することができる。次に、比較またはエネルギー制限が最も高いコアバンドのエネルギーを用いてなされる。これは、複数の拡張バンドに対しても適用することができる。次に、最も低い拡張バンドが最も高いコアバンドを用いてエネルギー制限され、最も高い拡張バンドが最も高い拡張バンドから２番目に対してエネルギー制限される。

【0024】

このプロシージャは、特に非ガイド式のバンド幅拡張スキームに対して有用であるが、非ガイド式のバンド幅拡張スキームは、特に負のスペクトル傾斜を持つセグメントにおいて、不自然に突き出ているスペクトルコンポーネントによって引き起こされるアーチファクトの傾向があるので、ガイド式のバンド幅拡張スキームにおいても役立つ可能性がある。これらのコンポーネントは、高周波ノイズバーストをもたらすかもしれない。この種の状況を回避するため、エネルギー制限は、好ましくは処理の終わりにおいて適用され、周波数上のエネルギーの増加を制限する。実施態様において、ＱＭＦ（直交ミラーフィルタリング）サブバンドｋのエネルギーは、ＱＭＦサブバンドｋ−１におけるエネルギーを超過してはならない。このエネルギー制限は、時間スロットベースについて実行されるようにしてもよく、複雑性についてセーブするためにフレームにつき一度だけ実行されるようにしてもよい。従って、高周波バンドが低周波バンドより多くのエネルギーを持つこと、または高周波バンドのエネルギーが低周波バンドにおけるエネルギーよりも所定の閾値、例えば３ｄＢの閾値以上高いことは非常に不自然であるので、バンド幅拡張スキームにおけるいかなる不自然な状況も回避されることが確保される。通常は、全てのスピーチ／音楽信号は、ローパス特性を持つ、すなわち周波数上でだいたい単調に減少するエネルギーコンテンツを持つ。これは、単一の拡張バンドに対して適用することができる。次に、比較またはエネルギー制限が最も高いコアバンドのエネルギーを用いてなされる。これは、複数の拡張バンドに対しても適用することができる。次に、最も低い拡張バンドは最も高いコアバンドを用いてエネルギー制限され、最も高い拡張バンドは最も高い拡張バンドの次のものに関してエネルギー制限される。

【0025】

周波数増強信号の整形、周波数増強サブバンド信号の時間的平滑化、およびエネルギー制限の技術は、お互いから分離して個々に実行することができるが、これらのプロシージャは、好ましくは非ガイド式の周波数増強スキーム内で一斉に実行することもできる。

【0026】

さらにまた、特定の実施形態に関する従属クレームを参照されたい。

【図面の簡単な説明】

【0027】

本発明の好ましい実施形態は、以下の添付図面について引き続いて記載される。

【図1】周波数増強信号の整形、サブバンド信号の平滑化、およびエネルギー制限の技術を備える実施形態を示す。

【図2a】図１の信号生成器の異なる実施態様を示す。

【図2b】図１の信号生成器の異なる実施態様を示す。

【図2c】図１の信号生成器の異なる実施態様を示す。

【図3】フレームが長い時間部分を持ち、スロットが短い時間部分を持ち、各フレームが複数のスロットを備える個々の時間部分を示す。

【図4】バンド幅拡張アプリケーションの実施態様におけるコア信号と周波数増強信号のスペクトルポジションを表すスペクトルチャートを示す。

【図5】コア信号のエネルギー分布を記述する値に基づくスペクトル整形を用いて周波数増強信号を生成する装置を示す。

【図6】整形技術の実施態様を示す。

【図7】特定のスペクトル重心によって決定される異なるロールオフを示す。

【図8】コア信号または周波数増強信号のサブバンド信号を平滑化する同じ平滑化情報を備える、周波数増強信号を生成する装置を示す。

【図9】図８の制御装置および信号生成器によって適用される好ましいプロシージャを示す。

【図10】図８の制御装置および信号生成器によって適用される更なるプロシージャを示す。

【図11】増強された信号の高いバンドが隣接する低いバンドと多くとも同じエネルギーを持つか、または多くともエネルギーにおいて所定の閾値だけ高いように、周波数増強信号におけるエネルギー制限プロシージャを実行する、周波数増強信号を生成する装置を示 す。

【図12a】制限前の周波数増強信号のスペクトルを示す。

【図12b】制限後の図１２ａのスペクトルを示す。

【図13】実施態様における信号生成器によって実行されるプロセスを示す。

【図14】フィルタバンクドメイン内の整形、平滑化およびエネルギー制限の技術の共存するアプリケーションを示す。

【図15】エンコーダおよび非ガイド式の周波数増強デコーダを備えるシステムを示す。

【発明を実施するための形態】

【0028】

図１は、整形、時間的平滑化およびエネルギー制限の技術が一斉に実行される好ましい実施態様における周波数が増強された信号１４０を生成する装置を示す。しかしながら、これらの技術は、整形技術に対して図５〜７、平滑化技術に対して図８〜１０、エネルギー制限技術に対して図１１〜１３の局面において述べられるように、個々に適用することもできる。

【0029】

好ましくは、図１の周波数が増強された信号１４０を生成する装置は、解析フィルタバンクまたはコアデコーダ１００、またはコアデコーダがＱＭＦサブバンド信号を出力するとき、ＱＭＦドメインにおけるようなフィルタバンクドメインにおいてコア信号を提供する他のいかなるデバイスを備える。あるいは、解析フィルタバンク１００は、コア信号が時間ドメイン信号であるか、またはスペクトルドメインまたはサブバンドドメインの他のいかなるドメインにおいて提供されるときでも、ＱＭＦフィルタバンクまたは他の解析フィルタバンクとすることができる。

【0030】

１２０において利用可能なコア信号１１０の個々のサブバンド信号は、次に信号生成器２００に入力され、信号生成器２００の出力は、周波数増強信号１３０である。この周波数増強信号１３０は、コア信号１１０に含まれない増強周波数レンジを備え、信号生成器は、例えばノイズの整形等（のみ）によってではなく、コア信号１１０または好ましくはコア信号のサブバンド１２０を用いて、この周波数増強信号を生成する。合成フィルタバンクは、次にコア信号サブバンド１２０と周波数増強信号１３０を結合し、合成フィルタバンク３００は、周波数が増強された信号１４０を出力する。

【0031】

基本的に、信号生成器２００は、「ＨＦ生成」（ここでＨＦは高周波を表す）として表される信号生成ブロック２０２を備える。しかしながら、図１における周波数増強は、高周波が生成される技術に限定されない。その代わりに、低周波または中間周波を生成することもでき、コア信号が高いバンドと低いバンドを持つとき、および中間バンドの欠落があるとき、例えば知的ギャップ充填（ＩＧＦ）として知られるような、コア信号におけるスペクトルホールの再生とさえすることもできる。シグナル生成２０２は、ＨＥ-ＡＡＣにより知られるようなコピーアッププロシージャ、または高い周波数レンジまたは周波数増強レンジを生成するためコア信号がコピーアップされるよりむしろミラーリングされるミラーリングプロシージャを備える。

【0032】

さらにまた、信号生成器は、整形機能２０４を備え、コア信号１２０における周波数に関するエネルギー分布を表す値を計算する演算によって制御される。この整形は、ブロック２０２によって生成された信号の整形をすることができ、または代替として、図２ａ〜２ｃの局面において述べられるように、機能２０２と２０４の順序が逆にされるとき、低周波の整形をすることができる。

【0033】

更なる機能は、平滑化制御装置８００によって制御される時間的平滑化機能２０６である。エネルギー制限２０８は、好ましくはプロシージャの最後に実行されるが、エネルギー制限は、合成フィルタバンク３００による結合信号出力が、高い周波数バンドは隣接する低い周波数バンドより多くのエネルギーを持ってはならない、または高い周波数バンドは隣接する低い周波数バンドと比較してより多くのエネルギー、ここでインクリメントは多くとも３ｄＢのような所定の閾値に限られる、を持ってはならないような、エネルギー制限判定基準を満たすことが確保される限り、処理機能２０２〜２０８のチェーンのいかなる他の位置に置くこともできる。

【0034】

図２ａは、ＨＦ生成２０２を実行する前に、整形２０４が時間的平滑化２０６およびエネルギー制限２０８と共に実行される異なる順序を示す。従って、コア信号は整形され／平滑化され／制限され、次に既に完了した整形され／平滑化され／制限された信号が増強周波数レンジにコピーアップまたはミラーリングされる。さらにまた、図２ａを図１における対応するブロックの順序と比較したときに見られるように、ブロック２０４、２０６、２０８の順序はいかなる形であれ実行できることを理解することが重要である。

【0035】

図２ｂは、時間的平滑化と整形が低周波またはコア信号について実行され、ＨＦ生成２０２がエネルギー制限２０８の前に実行される状況を示す。さらに、図２ｃは、増強周波数レンジに対する信号を取得するために、信号の整形が低周波信号に対して実行され、コピーアップまたはミラーリングのような引き続くＨＦ生成が実行され、この信号が次に平滑化２０６され、エネルギー制限２０８される状況を示す。

【0036】

さらにまた、例えば図１４に示されるように、サブバンド信号に対して特定の係数を適用することによって、整形、時間的平滑化およびエネルギー制限の機能を全て実行することができることが強調される。整形は、個々のバンドｉ、ｉ＋１、ｉ＋２に対して、乗数器１４０２ａ、１４０１ａおよび１４００ａによって実施される。

【0037】

さらにまた、時間的平滑化は、乗数器１４０２ｂ、１４０１ｂおよび１４００ｂによって実行される。加えて、エネルギー制限は、個々のバンドｉ＋２、ｉ＋１およびｉに対して、制限係数１４０２ｃ、１４０１ｃおよび１４００ｃによって実行される。これらの機能の全てが、本実施形態において乗算係数によって実施されるという事実により、全てのこれらの機能が、各個々のバンドに対して、単一の乗算係数１４０２、１４０１、１４００によって個々のサブバンド信号に適用することができ、この単一の「マスター」乗算係数は、バンドｉ＋２に対して個々の係数１４０２ａ、１４０２ｂおよび１４０２ｃの積であり、その状況は他のバンドｉ＋１およびｉに対して類似することに留意すべきである。従って、サブバンドに対する実数の／虚数のサブバンドサンプル値は、次に単一の「マスター」乗算係数によって乗算され、出力は、ブロック１４０２、１４０１または１４００の出力において、乗算された実数の／虚数のサブバンドサンプル値として得られ、次に図１の合成フィルタバンク３００に導入される。従って、ブロック１４００、１４０１、１４０２の出力は、コア信号１２０に含まれない増強周波数レンジを通常はカバーする周波数増強信号１３０に対応する。

【0038】

図３は、信号生成のプロセスにおいて用いられる異なる時間分解能を表すチャートを示す。基本的に、信号はフレームワイズに処理される。これは、解析フィルタバンク１００が、好ましくはサブバンド信号の時間的に引き続くフレーム３２０を生成するように実施されることを意味し、ここでサブバンド信号の各フレーム３２０は、１つまたは複数のスロットまたはフィルタバンクスロット３４０を備える。図３はフレーム当たり４つのスロットを示しているが、フレーム当たり２つ、３つまたは４つを超えるスロットとすることもできる。図１４に示したように、コア信号のエネルギー分布に基づく周波数増強信号またはコア信号の整形は、フレーム当たり１回実行される。一方、時間的平滑化は、高い時間分解能で、すなわち好ましくはスロット３４０当たり１回実行され、エネルギー制限は、低い計算量が必要とされるときは再びフレーム当たり１回、または高い計算量が特定の実施に対して問題がないときはスロット当たり１回実行することができる。

【0039】

図４は、コア信号の周波数レンジにおいて５つのサブバンド１、２、３、４、５を持つスペクトルの表現を示す。さらにまた、図４における実施例は、増強信号レンジにおいて４つのサブバンド信号またはサブバンド６、７、８、９を持ち、コア信号レンジと増強信号レンジはクロスオーバー周波数４２０によって分離されている。さらにまた、後に述べられるように、整形２０４の目的に対して、周波数に関するエネルギー分布を記述する値を計算するために用いられるスタート周波数バンド４１０が示されている。このプロシージャは、より良好な増強信号の調整を得るために、最も低いまたは複数の最も低いサブバンドが周波数に関するエネルギー分布を記述する値の演算に対して用いられないことを確保する。

【0040】

引き続いて、コア信号を用いたコア信号に含まれない増強周波数レンジの生成２０２の実施が示される。

【0041】

クロスオーバー周波数上に人工信号を生成するために、通常はＱＭＦ値がクロスオーバー周波数の下の周波数レンジからハイバンドにコピーアップ（「パッチ」）される。このコピー演算は、ＱＭＦサンプルを、低い周波数レンジからクロスオーバー周波数の上の領域まで丁度シフトすることによって、またはこれらのサンプルを付加的にミラーリングすることによって、なすことができる。ミラーリングの利点は、クロスオーバー周波数の丁度下の信号と人工的な生成信号が、クロスオーバー周波数において非常に類似したエネルギーとハーモニック構造を持つということである。ミラーリングまたはコピーアップは、コア信号の単一のサブバンドまたはコア信号の複数のサブバンドに適用することができる。

【0042】

前記ＱＭＦフィルタバンクのケースにおいて、ミラーリングされたパッチは、遷移領域におけるサブバンド折り返し歪を最小化するために、好ましくはベースバンドの負の複素共役から成る。

【0043】

ここで、Ｑｒ（ｔ,ｆ）は、時間インデックスｔおよびサブバンドインデックスｆにおけるＱＭＦの実数値であり、Ｑｉ（ｔ,ｆ）は虚数値である。ｘｏｖｅｒは、クロスオーバー周波数を参照するＱＭＦサブバンドである。ｎＢａｎｄｓは、外挿される整数のバンドである。実部における負符号は、負の共役複素演算を意味する。

【0044】

好ましくは、ＨＦ生成２０２または一般的に増強周波数レンジの生成は、ブロック１００によって提供されるサブバンド表現に依存する。好ましくは、周波数が増強された信号１４０を生成する発明の装置は、例えばナローバンド、ワイドバンドおよびスーパーワイドバンド出力をサポートするために、復号化信号１１０をリサンプルしてサンプリング頻度を変化させることができるマルチバンド幅デコーダとすべきである。それ故に、ＱＭＦフィルタバンク１００は、入力として復号化時間ドメイン信号をとる。周波数ドメインにおいてゼロをパディングすることによって、ＱＭＦフィルタバンクは、復号化信号をリサンプルするために用いることができ、同じＱＭＦフィルタバンクは、好ましくはハイバンド信号を創生するためにも用いることができる。

【0045】

好ましくは、周波数が増強された信号１４０を生成する装置は、周波数ドメインにおける全ての演算を実行するために働く。従って、デコーダ側において内部周波数ドメイン表現を既に持つ実存するシステムは、図１において示されたように、例えば既にＱＭＦフィルタバンクドメインの出力信号を提供する「コアデコーダ」として表されたブロック１００によって拡張される。

【0046】

この表現は、好ましくは周波数ドメインにおいてなされるサンプリングレート変換および他の信号操作のような付加的なタスク（例えば整形された快適なノイズの挿入、ハイパス／ローパスフィルタリング）に対して、簡単に再利用される。従って、いかなる付加的な時間-周波数変換も計算される必要がない。

【0047】

ＨＦコンテンツに対してノイズを用いる代わりに、この実施形態においてのみ、ローバンド信号に基づいてハイバンド信号が生成される。これは、周波数ドメインにおけるコピーアップまたはフォールディングアップ（ミラーリング）演算によって、なすことができる。このように、ローバンド信号と同じハーモニック構造と時間的微細構造によるハイバンド信号が保証される。これは、演算的に高価な時間ドメイン信号のフォールディングと付加的な遅延を回避する。

【0048】

引き続いて、図１の整形技術２０４の機能が、図５、６および７の局面において述べられ、ここでは、整形は図１、２ａ〜２ｃの局面において実行することができるか、または他のガイド式または非ガイド式の周波数増強技術により知られる他の機能と共に分離して個々に実行することができる。

【0049】

図５は、コア信号１２０における周波数に関するエネルギー分布を記述する値を計算する計算器５００を備える周波数が増強された信号１４０を生成する装置を示す。さらにまた、ライン５０２で示されるように、信号生成器２００は、コア信号から、コア信号に含まれない増強周波数レンジを備える周波数増強信号を生成するように構成される。さらにまた、信号生成器２００は、周波数増強信号のスペクトル包絡がエネルギー分布を記述する値に従属するように、図１におけるブロック２０２による出力または図２ａの局面におけるコア信号１２０のような周波数増強信号を整形するように構成される。

【0050】

好ましくは、装置は、周波数が増強された信号１４０を取得するために、ブロック２００によって出力される周波数増強信号１３０とコア信号１２０を結合する結合器３００を付加的に備える。時間的平滑化２０６またはエネルギー制限２０８のような付加的な演算は、整形された信号を更に処理するために好ましいが、特定の実施態様においては必ずしも必要ではない。

【0051】

信号生成器２００は、増強周波数レンジにおける第１の周波数から増強周波数レンジにおける第２の高い周波数への第１のスペクトル包絡の減少が、エネルギー分布を記述する第１の値に対して得られるように、増強信号を整形するように構成される。さらにまた、増強レンジにおける第１の周波数から増強レンジにおける第２の周波数へのスペクトル包絡の減少は、第２のエネルギー分布を記述する第２の値に対して得られる。第２の周波数が第１の周波数より大きく、第２のスペクトル包絡の減少が第１のスペクトル包絡の減少より大きい場合に、第１の値は、コア信号がコア信号の低い周波数レンジにおけるエネルギー集中を記述する第２の値と比較して、コア信号の高い周波数レンジにおいてエネルギー集中を持つことを示す。

【0052】

好ましくは、計算器５００は、エネルギー分布についての情報値として、現在のフレームのスペクトル重心に対する尺度を計算するように構成される。次に、信号生成器２００は、高い周波数におけるスペクトル重心が、低い周波数におけるスペクトル重心と比較して、より浅い勾配のスペクトル包絡に結果としてなるように、スペクトル重心に対するこの尺度に従って整形する。

【0053】

エネルギー分布計算器５００によって計算されるエネルギー分布についての情報は、第１の周波数において開始し、第１の周波数より高い第２の周波数において終了するコア信号の周波数部分について計算される。第１の周波数は、例えば図４において４１０で示されるような、コア信号における最も低い周波数より低い。好ましくは、第２の周波数は、クロスオーバー周波数４２０でもよく、ケースによってはクロスオーバー周波数４２０より低い周波数とすることもできる。しかしながら、スペクトル分布に対する尺度を計算するために用いられる第２の周波数を可能な限りクロスオーバー周波数４２０に拡張することが好ましく、結果として最良のオーディオ品質になる。

【0054】

実施形態において、図６のプロシージャは、エネルギー分布計算器５００と信号生成器２００によって適用される。ステップ６０２において、Ｅ(ｉ)で示されるコア信号の各バンドに対するエネルギー値が計算される。次に、増強周波数レンジの全てのバンドの調整に対して用いられるｓｐのような単一のエネルギー分布値が、ブロック６０４において計算される。次に、ステップ６０６において、この単一の値に対して用いる増強周波数レンジの全てのバンドに対して重み係数が計算され、ここで重み係数は好ましくはａｔｔｆである。

【0055】

次に、信号生成器２０８によって実行されるステップ６０８において、重み係数はサブバンドサンプルの実部と虚部に適用される。

【0056】

摩擦音は、ＱＭＦドメインにおける現在のフレームのスペクトル重心を計算することによって検出される。スペクトル重心は、０．０〜１．０の範囲を持つ尺度である。高いスペクトル重心（１に近い値）は、サウンドのスペクトル包絡が上昇する勾配を持つことを意味する。スピーチ信号に対して、これは、現在のフレームがおそらく摩擦音を含むことを意味する。スペクトル重心の値が１に近づくほど、スペクトル包絡の勾配が急である、または、より多くのエネルギーが高い周波数レンジに集中している。

【0057】

スペクトル重心は、次式により計算される。

ここで、Ｅ（ｉ）はＱＭＦサブバンドｉのエネルギーであり、ｓｔａｒｔは、１ｋＨｚを参照するＱＭＦサブバンドインデックスである。コピーされたＱＭＦサブバンドは、次式のように係数ａｔｔ^fによって重み付けられる。

ここで、ａｔｔ＝０．５＊ｓｐ＋０．５であり、一般に、ａｔｔは次式を用いて計算することができる。

ａｔｔ＝ｐ（ｓｐ）

ここで、ｐは多項式である。好ましくは、多項式は次式のように次数１を持つ。

ａｔｔ＝ａ＊ｓｐ＋ｂ

ここで、ａ、ｂ、または一般に多項式の係数は、全て０と１の間である。

【0058】

上記の式から離れて、相当するパフォーマンスを持つ他の式を適用することができる。
この種の他の式は以下の通りである。

【0059】

特に、値ａｉは、高いｉに対して値は高くあるべきであり、重要なことに、値ｂｉは、少なくともインデックスｉ >１に対して値ａｉより低い。従って、上記の式と比較して異なる式によって、類似した結果が得られる。一般に、ａｉ、ｂｉは、ｉによって単調に増加するまたは減少する値である。

【0060】

さらにまた、図７を参照されたい。図７は、異なるエネルギー分布値ｓｐに対する個々の重み係数ａｔｔ^fを示す。ｓｐが１に等しいとき、コア信号全体のエネルギーは、コア信号の最も高いバンドに集中される。そのとき、ａｔｔは１に等しく、重み係数ａｔｔ^fは７００に示すように周波数を通じて一定である。一方、コア信号における全部のエネルギーがコア信号の最も低いバンドに集中されるとき、ｓｐは０に等しく、ａｔｔは０．５に等しく、周波数上の調整係数の対応するコースは７０６に示される。

【0061】

７０２および７０４に示される周波数上の整形係数のコースは、対応して増加するスペクトル分布値に対するものである。従って、項目７０４に対するエネルギー分布値は、０より大きいが、パラメータ矢印７０８で示されるように、項目７０２に対するエネルギー分布値より小さい。

【0062】

図８は、時間的平滑化技術を用いて周波数が増強された信号１４０を生成する装置を示す。装置は、コア信号１２０、１１０から周波数増強信号１３０を生成する信号生成器２００を備え、ここで、周波数増強信号１３０はコア信号に含まれない増強周波数レンジを備える。フレーム３２０のような現在の時間部分および好ましくは周波数増強信号１３０またはコア信号１２０のスロット３４０は、複数のサブバンドに対するサブバンド信号を備える。

【0063】

制御装置８００は、増強周波数レンジまたはコア信号１２０を含む周波数増強信号１３０の複数のサブバンド信号に対して同じ平滑化情報８０２を計算するものである。さらにまた、信号生成器２００は、同じ平滑化情報８０２を用いて増強周波数レンジの複数のサブバンド信号を平滑化するように、または同じ平滑化情報８０２を用いてコア信号１２０の複数のサブバンド信号を平滑化するように構成される。信号生成器２００の出力は、図８において、次に結合器３００に入力される平滑化された周波数増強信号１３０である。図２ａ〜２ｃの局面で述べられたように、平滑化２０６は、図１の処理チェーンにおけるいかなる場所でも実行することができる、または他のいかなる周波数増強スキームの局面においても個々に実行することができる。

【0064】

制御装置８００は、コア信号１２０および周波数増強信号１３０の複数のサブバンド信号の結合エネルギーを用いて、または時間部分の周波数増強信号１３０のみを用いて、平滑化情報を計算するように好ましくは構成される。さらにまた、コア信号１２０および周波数増強信号１３０の複数のサブバンド信号の平均エネルギー、または現在の時間部分に先行する１つ以上前の時間部分のみのコア信号１２０の平均エネルギーが用いられる。平滑化情報は、全てのバンドにおける増強周波数レンジの複数のサブバンド信号に対する単一の補正係数であり、それ故に、信号生成器２００は、増強周波数レンジの複数のサブバンド信号に補正係数を適用するように構成される。

【0065】

図１の局面で述べられたように、装置は、フィルタバンク１００、または複数の時間的に引き続くフィルタバンクスロットに対してコア信号１２０の複数のサブバンド信号を提供する供給器をさらに備える。さらにまた、信号生成器は、コア信号１２０の複数のサブバンド信号を用いて、複数の時間的に引き続くフィルタバンクスロットに対して増強周波数レンジの複数のサブバンド信号を導き出すように構成され、制御装置８００は、各フィルタバンクスロットに対して個々の平滑化情報８０２を計算するように構成され、平滑化は、次に新しい個々の平滑化情報によって各フィルタバンクスロットに対して実行される。

【0066】

制御装置８００は、現在の時間部分のコア信号１２０または周波数増強信号１３０に基づいて、および１つ以上先行する時間部分に基づいて、平滑化強度制御値を計算するように構成され、制御装置８００は、次に、平滑化制御値を用いて、平滑化強度が、現在の時間部分のコア信号１２０または周波数増強信号１３０のエネルギーと１つ以上先行する時間部分のコア信号１２０または周波数増強信号１３０の平均エネルギーとの差分に応じて変化するように、平滑化情報を計算するように構成される。

【0067】

制御装置８００および信号生成器２００によって実行されるプロシージャを示す図９を参照されたい。制御装置８００によって実行されるステップ９００は、例えば現在の時間部分におけるエネルギーと１つ以上先行する時間部分における平均エネルギーとの差分に基づいて探索することができる平滑化強度についての決定の探索を備えるが、平滑化強度について決定する他のいかなるプロシージャも同様に用いることができる。１つの変形例は、その代わりにまたは加えて、将来の時間スロットに用いられる。更なる変形例は、フレーム当り単一の変換のみを持ち、時間的に引き続くフレームにわたって平滑化する。しかしながら、これらの変形例は両方とも遅延を導入する可能性がある。これは、ストリーミングアプリケーションのような遅延が問題でないアプリケーションにおいては全く問題がない可能性がある。例えば携帯電話を用いる双方向通信に対するような遅延が問題のあるアプリケーションに対しては、過去のフレームの使用は遅延を導入しないので、過去のまたは先行するフレームは将来のフレームにわたって好ましい。

【0068】

次に、ステップ９０２において、平滑化情報がステップ９００の平滑化強度の決定に基づいて計算される。このステップ９０２も制御装置８００によって実行される。次に、信号生成器２００は、いくつかのバンドへの平滑化情報の適用を備える９０４を実行し、ここでコア信号または増強周波数レンジのいずれかにおいて、全く同じ平滑化情報８００がこれらのいくつかのバンドに対して適用される。

【0069】

図１０は、図９のステップのシーケンスの実施態様の好ましいプロシージャを示す。ステップ１０００において、現在のスロットのエネルギーが計算される。次に、ステップ１０２０において、１つ以上の前のスロットの平均エネルギーが計算される。次に、ステップ１０４０において、現在のスロットに対する平滑化係数がブロック１０００と１０２０によって得られた値の差分に基づいて決定される。次に、ステップ１０６０は現在のスロットに対する補正係数の計算を備え、ステップ１０００〜１０６０は、全て制御装置８００によって実行される。次に、信号生成器２００によって実行されるステップ１０８０において実際の平滑化演算が実行される、すなわち、対応する補正係数が１つのスロット内の全てのサブバンド信号に対して適用される。

【0070】

実施形態において、時間的平滑化が以下の２つのステップにおいて実行される。

【0071】

平滑化強度についての決定：平滑化強度についての決定に対して、時間上の信号の定常性が評価される。この評価を実行する可能な方法は、現在の短期ウインドウまたはＱＭＦ時間スロットのエネルギーを前の短期ウインドウまたはＱＭＦ時間スロットの平均エネルギー値と比較することである。煩雑性についてセーブするため、これは、ハイバンド部分のみに対して評価されてもよい。比較されたエネルギー値が近いほど、平滑化の強度は低くあるべきである。これは、平滑化係数ａ、ここで０＜ａ≦１、において反映される。ａが大きいほど、平滑化の強度は高い。

【0072】

ハイバンドへの平滑化の適用：平滑化は、ＱＭＦ時間スロットベースのハイバンド部分に対して適用される。それ故に、現在の時間スロットのハイバンドエネルギーＥｃｕｒｒ_tは、次のように１つまたは多数の前のＱＭＦ時間スロットの平均ハイバンドエネルギーＥａｖｇ_tに適合される。

Ｅｃｕｒｒは、次のように１つの時間スロットにおけるハイバンドＱＭＦエネルギーの合計として計算される。

Ｅａｖｇは、次のようにエネルギーの時間上の移動平均である。

ここで、ｓｔａｒｔおよびｓｔｏｐは移動平均の計算に対して用いられるインターバルの境界である。

【0073】

合成に対して用いられる実数および虚数のＱＭＦ値は、次のように補正係数ｃｕｒｒＦａｃで乗算され、

これは、次のようにＥｃｕｒｒおよびＥａｖｇから導き出される。

【0074】

係数ａは、固定としてもよく、またはＥｃｕｒｒとＥａｖｇのエネルギーの差分に従属するようにしてもよい。

【0075】

既に図１４で述べられたように、時間的平滑化に対する時間分解能は、整形の時間分解能またはエネルギー制限技術の時間分解能より高くなるようにセットされる。これは、サブバンド信号の時間的に滑らかなコースが得られる一方、同時に、演算的により強い整形がフレーム当り１回のみ実行されることを確保する。しかしながら、これは、これまでに見られたように、主観的なリスニング品質を実質的に低下させるので、１つのサブバンドから他のサブバンドへの、すなわち周波数方向におけるいかなる平滑化も実行されない。

【0076】

増強レンジにおいて、全てのサブバンドに対する補正係数のような同じ平滑化情報を用いることが好ましい。しかしながら、同じ平滑化情報が全てのサブバンドに対してではなく、少なくとも２つのサブバンドを持つバンドのグループに対して適用される実施態様とすることもできる。

【0077】

図１１は、図１に示されたエネルギー制限技術２０８に向けられる更なる態様を示す。具体的には、図１１は、周波数増強信号１３０を生成する信号生成器２００を備える周波数が増強された信号１４０を生成する装置を示し、周波数増強信号１３０はコア信号１２０に含まれない増強周波数レンジを備える。さらにまた、周波数増強信号１３０の時間部分は複数のサブバンドに対するサブバンド信号を備える。加えて、装置は、周波数増強信号１３０を用いて周波数が増強された信号１４０を生成する合成フィルタバンク３００を備える。

【0078】

エネルギー制限プロシージャを実施するために、信号生成器２００は、合成フィルタバ
ンク３００によって得られる周波数が増強された信号１４０が、高いバンドのエネルギーが低いバ
ンドにおけるエネルギーに多くとも等しい、または低いバンドにおけるエネルギーより多
くとも所定の閾値だけ大きいことを確保するため、エネルギー制限を実行するように構成
される。

【0079】

信号生成器は、高いＱＭＦサブバンドｋがＱＭＦサブバンドｋ−１におけるエネルギーを上回ってはならないことを確保するように、好ましくは実施される。それにもかかわらず、信号生成器２００は、好ましくは３ｄＢの閾値とすることができる特定の増分の増加を許容するように実施することもでき、閾値は好ましくは２ｄＢとすることができ、より好ましくは１ｄＢまたはさらに小さいものとすることができる。所定の閾値は、各バンドに対して一定とすることができる、または前に計算されたスペクトル重心に従属させることもできる。好ましい従属は、重心が低い周波数に近づくとき、閾値が低くなる、すなわち小さくなることであり、その一方で重心が高い周波数に近づくほどまたはｓｐが１に近づくほど、閾値は大きくなることができる。

【0080】

更なる実施態様において、信号生成器２００は、第１のサブバンドにおける第１のサブバンド信号を検査し、周波数において第１のサブバンドに隣接し、第１のサブバンドの中心周波数より高い中心周波数を持つ第２のサブバンドにおけるサブバンド信号を検査するように構成され、信号生成器は、第２のサブバンド信号のエネルギーが第１のサブバンド信号のエネルギーと等しいとき、または第２のサブバンド信号のエネルギーが第１のサブバンド信号のエネルギーより所定の閾値未満で大きいとき、第２のサブバンド信号を制限しない。

【0081】

さらにまた、信号生成器は、例えば図１または図２ａ〜２ｃにおいて示されたように、シーケンスにおいて複数の処理演算を形成するように構成される。次に、信号生成器は、好ましくはシーケンスの最後においてエネルギー制限を実行し、合成フィルタバンク３００に入力される周波数増強信号１３０を取得する。従って、合成フィルタバンク３００は、入力として、エネルギー制限の最終プロセスによってシーケンスの最後に生成される周波数増強信号１３０を受信するように構成される。

【0082】

さらにまた、信号生成器は、エネルギー制限の前にスペクトル整形２０４または時間的平滑化２０６を実行するように構成される。

【0083】

好ましい実施形態において、信号生成器２００は、コア信号の複数のサブバンドをミラーリングすることによって周波数増強信号の複数のサブバンド信号を生成するように構成される。

【0084】

ミラーリングに対しては、好ましくは、上述されたように実部または虚部のいずれかを無効にするプロシージャが実行される。

【0085】

更なる実施形態において、信号生成器は、補正係数ｌｉｍＦａｃを計算するように構成され、この制限係数ｌｉｍＦａｃは次に以下のようにコアまたは増強周波数レンジのサブバンド信号に適用される。

【0086】

Ｅ_fを、次式のように時間スパンｓｔｏｐ−ｓｔａｒｔを通じて平均化された１つのバンドのエネルギーとする。

【0087】

このエネルギーが前のバンドの平均エネルギーを数レベルだけ超える場合、このバンドのエネルギーは次の補正／制限係数ｌｉｍＦａｃによって乗算され、

実部と虚部のＱＭＦ値は、次式によって補正される。

【0088】

係数または所定の閾値ｆａｃは、各バンドに対して一定とすることができ、または前に計算されたスペクトル重心に従属させることができる。

【0089】

【0090】

他の実施態様において、制限係数ｌｉｍＦａｃは以下の式を用いて計算される。

【0091】

この式において、Ｅ_limは、通常は低いバンドのエネルギーまたは特定の閾値ｆａｃによって増加する低いバンドのエネルギーである制限エネルギーである。Ｅ_f(ｉ)は、現在のバンドｆまたはｉのエネルギーである。

【0092】

増強周波数レンジに７つのバンドがある特定の例を示す図１２ａと１２ｂを参照されたい。バンド１２０２は、エネルギーに関してバンド１２０１より大きい。従って、図１２ｂから明らかになるように、バンド１２０２は、このバンドに対して図１２ｂにおいて１２５０で示されるようにエネルギー制限される。さらにまた、バンド１２０５、１２０４および１２０６は、全てバンド１２０３より大きい。従って、全ての３つのバンドは、図１２ｂにおいて１２５０で示されるようにエネルギー制限される。残された非制限バンドは、バンド１２０１（これは再構成レンジにおける第１のバンドである）およびバンド１２０３および１２０７である。

【0093】

上述したように、図１２ａ／１２ｂは、制限が、高いバンドが低いバンドより多くのエネルギーを持ってはならない状況を示す。しかしながら、特定の増加が許容された場合に、状況はやや異なるように見えるだろう。

【0094】

エネルギー制限は、単一の拡張バンドに対して適用することができる。次に、比較またはエネルギー制限が、最も高いコアバンドのエネルギーを用いてなされる。これは、複数の拡張バンドに対して適用することもできる。次に、最も低い拡張バンドは最も高いコアバンドを用いてエネルギー制限され、最も高い拡張バンドは最も高い拡張バンドの次に関してエネルギー制限される。

【0095】

図１５は、伝送システムまたは、一般に、エンコーダ１５００およびデコーダ１５１０を備えるシステムを示す。エンコーダは、好ましくは、バンド幅リダクションを実行する、または一般にオリジナルのオーディオ信号１５０１において、必ずしも完全な上側周波数レンジまたは上側バンドでなければならない必要がないが、コアの周波数バンド間においていかなる周波数バンドとすることもできる、いくつかの周波数レンジを削除する符号化されたコア信号を生成するエンコーダである。次に、符号化されたコア信号は、エンコーダ１５００からデコーダ１５１０に、いかなるサイド情報もなしに伝送され、デコーダ１５１０は、次に周波数が増強された信号１４０を得るために非ガイド式の周波数増強を実行する。従って、デコーダは、図１〜１４のいずれかで述べたように実施することができる。

【0096】

本発明は、ブロックが現実のまたは論理的なハードウェアコンポーネントを表すブロック図の局面において述べられたが、本発明は、コンピュータで実施される方法によって実施することもできる。後者のケースにおいて、ブロックは対応する方法ステップを表し、ここでこれらのステップは対応する論理的または物理的ハードウェアブロックによって実行される機能を表す。

【0097】

いくつかの態様が装置の局面において記述されてきたが、これらの態様は対応する方法の記述をも表していることは明らかであり、ここでブロックまたはデバイスは、方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップの局面において記述された態様は、対応する装置の対応するブロックまたはアイテムまたは特徴の記載をも表す。いくつかの、または全ての方法ステップは、例えばマイクロプロセッサ、プログラム可能なコンピュータまたは電子回路のようなハードウェア装置によって（または用いて）実行することができる。いくつかの実施形態において、いくつかの１つ以上の最も重要な方法ステップは、この種の装置によって実行することができる。

【0098】

本発明の送信されたまたは符号化された信号は、デジタル記憶媒体に記憶することができ、または例えばインターネットのような無線伝送路または有線伝送路のような伝送路上を送信することができる。

【0099】

特定の実施要求に依存して、本発明の実施形態は、ハードウェアにおいてまたはソフトウェアにおいて実施することができる。実施は、その上に記憶される電子的に読取可能な制御信号を持ち、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する（または協働することができる）デジタル記憶媒体、例えばフロッピー（登録商標）ディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリを用いて実行することができる。それ故に、デジタル記憶媒体はコンピュータ読取可能とすることができる。

【0100】

本発明によるいくつかの実施形態は、本願明細書に記載された方法の１つが実行されるように、電子的に読取可能な制御信号を持ち、プログラム可能なコンピュータシステムと協働することができるデータキャリアを備える。

【0101】

一般に、本発明の実施形態は、コンピュータプログラム製品がコンピュータ上で動作するときに発明の方法の１つを実行するように動作するプログラムコードを有するコンピュータプログラム製品として実施することができる。プログラムコードは、例えば機械読取可能なキャリア上に記憶することができる。

【0102】

他の実施形態は、機械読取可能なキャリア上に記憶され、本願明細書に記載された方法の１つを実行するコンピュータプログラムを備える。

【0103】

換言すれば、本発明の方法の実施形態は、それ故に、コンピュータプログラムがコンピュータ上で動作するとき、本願明細書に記載された方法の１つを実行するプログラムコードを持つコンピュータプログラムである。

【0104】

発明の方法の更なる実施形態は、それ故に、その上に記録され、本願明細書に記載された方法の１つを実行するコンピュータプログラムを備えるデータキャリア（またはデジタル記憶媒体またはコンピュータ読取可能媒体のような固定の記憶媒体）である。データキャリア、デジタル記憶媒体または記録媒体は、通常は有形および／または固定である。

【0105】

本発明の方法の更なる実施形態は、それ故に、本願明細書に記載された方法の１つを実行するコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えばデータ通信接続を介して、例えばインターネットを介して伝送されるように構成することができる。

【0106】

更なる実施形態は、本願明細書に記載された方法の１つを実行するように構成されたまたは適合された処理手段、例えばコンピュータまたはプログラマブルロジックデバイスを備える。

【0107】

更なる実施形態は、本願明細書に記載された方法の１つを実行するコンピュータプログラムがその上にインストールされたコンピュータを備える。

【0108】

本発明による更なる実施形態は、本願明細書に記載された方法の１つを実行するコンピュータプログラムをレシーバに（例えば電子的にまたは光学的に）伝送するように構成された装置またはシステムを備える。レシーバは、例えばコンピュータ、モバイルデバイス、記憶デバイス等とすることができる。装置またはシステムは、例えばコンピュータプログラムをレシーバへ転送するファイルサーバを備えることができる。

【0109】

いくつかの実施形態において、本願明細書に記載された方法の機能のいくつかまたは全てを実行するために、プログラマブルロジックデバイス（例えばフィールドプログラマブルゲートアレイ）を用いることができる。いくつかの実施形態において、フィールドプログラマブルゲートアレイは、本願明細書に記載された方法の１つを実行するために、マイクロプロセッサと協働することができる。一般に、方法は、好ましくはいかなるハードウェア装置によっても実行される。

【0110】

上述した実施形態は、単に本発明の原理に対して示したものである。本願明細書に記載された構成および詳細の修正および変更は他の当業者にとって明らかであると理解される。それ故に、本発明は、以下の特許請求の範囲のスコープによってのみ制限され、本願明細書の実施形態の記載および説明によって提供された特定の詳細によっては制限されないことを意図する。

【図1】

【図2a】

【図2b】

【図2c】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12a】

【図12b】

【図13】

【図14】

【図15】