知財求人 - 知財ポータルサイト「IP Force」
▶ フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオの特許一覧
特許7391930独立したノイズ充填を用いた強化された信号を生成するための装置および方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-27
(45)【発行日】2023-12-05
(54)【発明の名称】独立したノイズ充填を用いた強化された信号を生成するための装置および方法
(51)【国際特許分類】
G10L 19/028 20130101AFI20231128BHJP
G10L 21/0388 20130101ALI20231128BHJP
【ＦＩ】
G10L19/028
G10L21/0388 100
【請求項の数】
16
【外国語出願】
(21)【出願番号】P 2021198957
(22)【出願日】2021-12-08
(62)【分割の表示】P 2019103541の分割
【原出願日】2015-07-24
(65)【公開番号】P2022046504
(43)【公開日】2022-03-23
【審査請求日】2022-01-04
(31)【優先権主張番号】14178777.0
(32)【優先日】2014-07-28
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】591037214
【氏名又は名称】フラウンホッファー－ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ
(74)【代理人】
【識別番号】100079577
【弁理士】
【氏名又は名称】岡田 全啓
(72)【発明者】
【氏名】ディスヒ サッシャ
(72)【発明者】
【氏名】ガイガー ラルフ
(72)【発明者】
【氏名】ニーダーマイアー アンドレーアス
(72)【発明者】
【氏名】ノイズィンガー マティアス
(72)【発明者】
【氏名】シュミット コンスタンティン
(72)【発明者】
【氏名】ヴィルデ シュテファン
(72)【発明者】
【氏名】シューベルト ベンヤミン
(72)【発明者】
【氏名】ノイカム クリスティアン
【審査官】山下 剛史
(56)【参考文献】
【文献】米国特許出願公開第２０１３／０２９０００３（ＵＳ，Ａ１）
【文献】特開２０１３－１５５９８（ＪＰ，Ａ）
【文献】特表２０１１－５２７４５５（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１４／０１８８４６４（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１０Ｌ １９／００－２５／９３
(57)【特許請求の範囲】
【請求項1】
入力信号（６００）から強化された信号を生成するための装置であって、前記強化された信号は強化スペクトル領域についてのスペクトル値を有し、前記強化スペクトル領域についての前記スペクトル値は前記入力信号（６００）に含まれず、前記装置は、前記入力信号（６００）のソース領域を前記強化スペクトル領域におけるターゲット領域にマップするためのマッパー（６０２）と、
前記入力信号（６００）の前記ソース領域におけるノイズ充填領域（３０２）のための第１のノイズ値を生成するように構成され、かつ、前記強化スペクトル領域内の前記ターゲット領域内のノイズ領域のための第２のノイズ値を生成するように構成されるノイズ・フィラー（５０４）であって、ここで前記第２のノイズ値は、前記第１のノイズ値から非相関される、ノイズ・フィラー（６０４）、または、
前記ターゲット領域内のノイズ領域のための第２のノイズ値を生成するように構成されるノイズ・フィラー（５０４）であって、ここで前記第２のノイズ値は、前記入力信号（６００）の前記ソース領域における第１のノイズ値から非相関される、ノイズ・フィラー（６０４）と、
を含み、
前記入力信号（６００）は、前記入力信号（６００）の前記ソース領域についてのノイズ充填パラメータを含む符号化された信号であり、
前記ノイズ・フィラー（６０４）は、前記ノイズ充填パラメータを使用して前記第１のノイズ値を生成し、かつ、前記第１のノイズ値に関するエネルギー情報を使用して前記第２のノイズ値を生成するように構成される、装置。
【請求項2】
入力信号（６００）から強化された信号を生成するための装置であって、前記強化された信号は強化スペクトル領域についてのスペクトル値を有し、前記強化スペクトル領域についての前記スペクトル値は前記入力信号（６００）に含まれず、前記装置は、
前記入力信号（６００）のソース領域を前記強化スペクトル領域におけるターゲット領域にマップするためのマッパー（６０２）と、
前記入力信号（６００）の前記ソース領域におけるノイズ充填領域（３０２）のための第１のノイズ値を生成するように構成され、かつ、前記強化スペクトル領域内の前記ターゲット領域内のノイズ領域のための第２のノイズ値を生成するように構成されるノイズ・フィラー（５０４）であって、ここで前記第２のノイズ値は、前記第１のノイズ値から非相関される、ノイズ・フィラー（６０４）、または、
前記ターゲット領域内のノイズ領域のための第２のノイズ値を生成するように構成されるノイズ・フィラー（５０４）であって、ここで前記第２のノイズ値は、前記入力信号（６００）の前記ソース領域における第１のノイズ値から非相関される、ノイズ・フィラー（６０４）と、
を含み、
前記ノイズ・フィラー（６０４）は、
前記入力信号（６００）内の、前記第１のノイズ値を有する前記ノイズ充填領域（３０２）を識別（９００）し、
前記入力信号（６００）の少なくとも領域をソース・タイル・バッファへコピー（９０２）し、前記領域は前記ソース領域を含み、前記ソース領域は前記ノイズ充填領域（３０２）を含み、
前記ソース・タイル・バッファにおいて、前記識別（９００）において識別された前記第１のノイズ値を非相関のノイズ値によって置換（９０４）する
ように構成され、
前記マッパー（６０２）は、前記非相関ノイズ値を有する前記ソース・タイル・バッファを前記ターゲット領域にマップするように構成される、装置。
【請求項3】
入力信号（６００）から強化された信号を生成するための装置であって、前記強化された信号は強化スペクトル領域についてのスペクトル値を有し、前記強化スペクトル領域についての前記スペクトル値は前記入力信号（６００）に含まれず、前記装置は、
前記入力信号（６００）のソース領域を前記強化スペクトル領域におけるターゲット領域にマップするためのマッパー（６０２）と、
前記入力信号（６００）の前記ソース領域におけるノイズ充填領域（３０２）のための第１のノイズ値を生成するように構成され、かつ、前記強化スペクトル領域内の前記ターゲット領域内のノイズ領域のための第２のノイズ値を生成するように構成されるノイズ・フィラー（５０４）であって、ここで前記第２のノイズ値は、前記第１のノイズ値から非相関される、ノイズ・フィラー（６０４）、または、
前記ターゲット領域内のノイズ領域のための第２のノイズ値を生成するように構成されるノイズ・フィラー（５０４）であって、ここで前記第２のノイズ値は、前記入力信号（６００）の前記ソース領域における第１のノイズ値から非相関される、ノイズ・フィラー（６０４）と、
を含み、
前記ノイズ・フィラー（６０４）は、前記非相関のノイズ値に関するエネルギー情報を測定（１１０２）し、かつ前記第１のノイズ値に関するエネルギー情報を測定（１１００）し、さらに前記非相関のノイズ値に関する前記エネルギー情報と前記第１のノイズ値に関する前記エネルギー情報とから導出（１１０４）されたスケーリング値を使用して前記非相関のノイズ値をスケーリング（９０６，１１０６）するように構成される、装置。
【請求項4】
入力信号（６００）から強化された信号を生成するための装置であって、前記強化された信号は強化スペクトル領域についてのスペクトル値を有し、前記強化スペクトル領域についての前記スペクトル値は前記入力信号（６００）に含まれず、前記装置は、
前記入力信号（６００）のソース領域を前記強化スペクトル領域におけるターゲット領域にマップするためのマッパー（６０２）と、
前記入力信号（６００）の前記ソース領域におけるノイズ充填領域（３０２）のための第１のノイズ値を生成するように構成され、かつ、前記強化スペクトル領域内の前記ターゲット領域内のノイズ領域のための第２のノイズ値を生成するように構成されるノイズ・フィラー（５０４）であって、ここで前記第２のノイズ値は、前記第１のノイズ値から非相関される、ノイズ・フィラー（６０４）、または、
前記ターゲット領域内のノイズ領域のための第２のノイズ値を生成するように構成されるノイズ・フィラー（５０４）であって、ここで前記第２のノイズ値は、前記入力信号（６００）の前記ソース領域における第１のノイズ値から非相関される、ノイズ・フィラー（６０４）と、
を含み、
前記ノイズ・フィラー（６０４）は、前記マッパー（６０２）の動作の後に前記第２のノイズ値を生成するように構成される、または、
前記ノイズ・フィラー（６０４）は、前記マッパー（６０２）の動作の後に前記第１のノイズ値および前記第２のノイズ値を生成（６０４）するように構成される、装置。
【請求項5】
入力信号（６００）から強化された信号を生成するための装置であって、前記強化された信号は強化スペクトル領域についてのスペクトル値を有し、前記強化スペクトル領域についての前記スペクトル値は前記入力信号（６００）に含まれず、前記装置は、
前記入力信号（６００）のソース領域を前記強化スペクトル領域におけるターゲット領域にマップするためのマッパー（６０２）と、
前記入力信号（６００）の前記ソース領域におけるノイズ充填領域（３０２）のための第１のノイズ値を生成するように構成され、かつ、前記強化スペクトル領域内の前記ターゲット領域内のノイズ領域のための第２のノイズ値を生成するように構成されるノイズ・フィラー（５０４）であって、ここで前記第２のノイズ値は、前記第１のノイズ値から非相関される、ノイズ・フィラー（６０４）、または、
前記ターゲット領域内のノイズ領域のための第２のノイズ値を生成するように構成されるノイズ・フィラー（５０４）であって、ここで前記第２のノイズ値は、前記入力信号（６００）の前記ソース領域における第１のノイズ値から非相関される、ノイズ・フィラー（６０４）と、
を含み、
前記マッパー（６０２）は、前記ソース領域を前記ターゲット領域にマップするように構成され、
前記ノイズ・フィラー（６０４）は、ノイズ充填動作およびサイド情報として前記入力信号（６００）に送信されたノイズ充填パラメータを使用して前記第１のノイズ値を生成することによって、スペクトル領域におけるノイズ充填を実行し、かつ、
前記第１のノイズ値に関するエネルギー情報を使用して前記ターゲット領域におけるノイズ充填動作を実行して、前記第２のノイズ値を生成するように構成される、装置。
【請求項6】
入力信号（６００）から強化された信号を生成するための装置であって、前記強化された信号は強化スペクトル領域についてのスペクトル値を有し、前記強化スペクトル領域についての前記スペクトル値は前記入力信号（６００）に含まれず、前記装置は、
前記入力信号（６００）のソース領域を前記強化スペクトル領域におけるターゲット領域にマップするためのマッパー（６０２）と、
前記入力信号（６００）の前記ソース領域におけるノイズ充填領域（３０２）のための第１のノイズ値を生成するように構成され、かつ、前記強化スペクトル領域内の前記ターゲット領域内のノイズ領域のための第２のノイズ値を生成するように構成されるノイズ・フィラー（５０４）であって、ここで前記第２のノイズ値は、前記第１のノイズ値から非相関される、ノイズ・フィラー（６０４）、または、
前記ターゲット領域内のノイズ領域のための第２のノイズ値を生成するように構成されるノイズ・フィラー（５０４）であって、ここで前記第２のノイズ値は、前記入力信号（６００）の前記ソース領域における第１のノイズ値から非相関される、ノイズ・フィラー（６０４）と、
を含み、
サイド情報として前記入力信号（６００）に含まれるスペクトル・エンベロープ情報を使用して前記強化スペクトル領域における前記第２のノイズ値を調整（１２０２）するためのエンベロープ調整器をさらに含む、装置。
【請求項7】
入力信号（６００）から強化された信号を生成するための装置であって、前記強化された信号は強化スペクトル領域についてのスペクトル値を有し、前記強化スペクトル領域についての前記スペクトル値は前記入力信号（６００）に含まれず、前記装置は、
前記入力信号（６００）のソース領域を前記強化スペクトル領域におけるターゲット領域にマップするためのマッパー（６０２）と、
前記入力信号（６００）の前記ソース領域におけるノイズ充填領域（３０２）のための第１のノイズ値を生成するように構成され、かつ、前記強化スペクトル領域内の前記ターゲット領域内のノイズ領域のための第２のノイズ値を生成するように構成されるノイズ・フィラー（５０４）であって、ここで前記第２のノイズ値は、前記第１のノイズ値から非相関される、ノイズ・フィラー（６０４）、または、
前記ターゲット領域内のノイズ領域のための第２のノイズ値を生成するように構成されるノイズ・フィラー（５０４）であって、ここで前記第２のノイズ値は、前記入力信号（６００）の前記ソース領域における第１のノイズ値から非相関される、ノイズ・フィラー（６０４）と、
を含み、
前記ノイズ・フィラー（６０４）は、ノイズ充填動作のためのスペクトル位置を識別するために、前記入力信号（６００）のサイド情報のみを使用するように構成される、または、
前記ノイズ・フィラー（６０４）は、前記ノイズ充填動作のためのスペクトル位置を識別するために、前記ノイズ充填領域（３０２）におけるスペクトル値の有無にかかわらず前記入力信号（６００）の時間またはスペクトル特性を解析するように構成される、装置。
【請求項8】
入力信号（６００）から強化された信号を生成するための装置であって、前記強化された信号は強化スペクトル領域についてのスペクトル値を有し、前記強化スペクトル領域についての前記スペクトル値は前記入力信号（６００）に含まれず、前記装置は、
前記入力信号（６００）のソース領域を前記強化スペクトル領域におけるターゲット領域にマップするためのマッパー（６０２）と、
前記入力信号（６００）の前記ソース領域におけるノイズ充填領域（３０２）のための第１のノイズ値を生成するように構成され、かつ、前記強化スペクトル領域内の前記ターゲット領域内のノイズ領域のための第２のノイズ値を生成するように構成されるノイズ・フィラー（５０４）であって、ここで前記第２のノイズ値は、前記第１のノイズ値から非相関される、ノイズ・フィラー（６０４）、または、
前記ターゲット領域内のノイズ領域のための第２のノイズ値を生成するように構成されるノイズ・フィラー（５０４）であって、ここで前記第２のノイズ値は、前記入力信号（６００）の前記ソース領域における第１のノイズ値から非相関される、ノイズ・フィラー（６０４）と、
を含み、
前記ノイズ・フィラー（６０４）は、前記ソース領域のみにおけるスペクトル位置についての入力を有する、または、前記ソース領域および前記ターゲット領域におけるスペクトル位置についての入力を有する識別ベクトル（７０６）を使用して、ノイズ位置を識別するように構成される、装置。
【請求項9】
前記ノイズ・フィラー（６０４）は、前記識別ベクトル（７０６）が示すノイズ値に関するエネルギー情報を計算（１１００）し、
前記ターゲット領域が対象として予定する、挿入ランダム値に関するエネルギー情報を計算（１１０２）し、
前記挿入ランダム値をスケーリングするためのゲイン係数を算出（１１０４）し、
前記ゲイン係数を前記挿入ランダム値に適用（１０１０，１１０６）する
ように構成される、請求項８に記載の装置。
【請求項10】
前記ノイズ・フィラー（６０４）は、前記入力信号（６００）の少なくとも領域を前記コピー（９０２）するにあたって、前記入力信号（６００）のスペクトル部分全体、もしくは前記マッパー（６０２）が使用可能なノイズ充填境界周波数を超える前記入力信号（６００）のスペクトル部分全体を前記ソース・タイル・バッファにコピーし、前記ソース・タイル・バッファ全体に対して前記置換（９０４）を実行するように構成される、または、前記ノイズ・フィラー（６０４）は、前記入力信号（６００）の少なくとも領域を前記コピー（９０２）するにあたって、前記マッパー（６０２）が識別されたターゲット領域のために使用するソース領域について、１つ以上の特定のソース識別子（ｓｐｅｃｉｆｉｃ ｓｏｕｒｃｅ ｉｄｅｎｔｉｆｉｅｒｓ）が識別した、前記入力信号（６００）のスペクトル領域のみをコピーするように構成され、ここで、異なる個別のマッピング動作のそれぞれについて、個別のソース・タイル・バッファが使用される、請求項２に記載の装置。
【請求項11】
入力信号（６００）から強化された信号を生成するための装置であって、前記強化された信号は強化スペクトル領域についてのスペクトル値を有し、前記強化スペクトル領域についての前記スペクトル値は前記入力信号（６００）に含まれず、前記装置は、
前記入力信号（６００）のソース領域を前記強化スペクトル領域におけるターゲット領域にマップするためのマッパー（６０２）と、
前記入力信号（６００）の前記ソース領域におけるノイズ充填領域（３０２）のための第１のノイズ値を生成するように構成され、かつ、前記強化スペクトル領域内の前記ターゲット領域内のノイズ領域のための第２のノイズ値を生成するように構成されるノイズ・フィラー（５０４）であって、ここで前記第２のノイズ値は、前記第１のノイズ値から非相関される、ノイズ・フィラー（６０４）、または、
前記ターゲット領域内のノイズ領域のための第２のノイズ値を生成するように構成されるノイズ・フィラー（５０４）であって、ここで前記第２のノイズ値は、前記入力信号（６００）の前記ソース領域における第１のノイズ値から非相関される、ノイズ・フィラー（６０４）と、
を含み、
前記マッパー（６０２）は、ギャップ充填動作を実行して前記ターゲット領域を生成するように構成され、前記装置は、
第１のスペクトル部分の第１のセットの第１の復号化された表現を生成するためのスペクトル領域音声デコーダ（１１２）であって、前記復号化された表現は第１のスペクトル解像度を有する、スペクトル領域音声デコーダ（１１２）と、
前記第１のスペクトル解像度より低い第２のスペクトル解像度を有する、第２のスペクトル部分の第２のセットの第２の復号化された表現を生成するためのパラメトリック・デコーダ（１１４）と、
第１のスペクトル部分と前記第２のスペクトル部分に対するスペクトル・エンベロープ情報とを使用して、前記第１のスペクトル解像度を有する再構築された第２のスペクトル部分を再生成するための周波数再生器（１１６）と、
前記再構築された第２のスペクトル部分における前記第１の復号化された表現を時間表現に変換するためのスペクトル時間コンバータ（１１８）と、
を含み、
前記マッパー（６０２）および前記ノイズ・フィラー（６０４）は、少なくとも部分的に前記周波数再生器（１１６）に含まれる、装置。
【請求項12】
前記スペクトル領域音声デコーダ（１１２）は、スペクトル値の復号化されたフレームのシーケンスを出力するように構成され、復号化されたフレームは前記第１の復号化された表現であり、ここで、前記フレームは、スペクトル部分の前記第１のセットについてのスペクトル値と第２のスペクトル部分の前記第２のセットについての０表示とを含み、復号化するための前記装置は、前記周波数再生器（１１６）が生成した、第２のスペクトル部分の前記第２のセットについてのスペクトル値と第１のスペクトル部分の前記第１のセットのスペクトル値とを再構築帯域において結合して、前記第１のスペクトル部分の前記第１のセットおよび前記第２のスペクトル部分の前記第２のセットについてのスペクトル値を含む再構築されたスペクトル・フレームを得るためのコンバイナ（２０８）をさらに含み、
前記スペクトル時間コンバータ（１１８）は、前記再構築されたスペクトル・フレームを前記時間表現に変換するように構成される、
請求項１１に記載の装置。
【請求項13】
入力信号（６００）から強化された信号を生成するための方法であって、前記強化された信号は、強化スペクトル領域についてのスペクトル値を有し、前記強化スペクトル領域についての前記スペクトル値は前記入力信号（６００）に含まれず、前記方法は、前記入力信号（６００）のソース領域を前記強化スペクトル領域内のターゲット領域にマップするステップ（６０２）であって、前記ソース領域はノイズ充填領域（３０２）を含む、マップするステップ（６０２）と、
前記入力信号（６００）の前記ソース領域内の前記ノイズ充填領域（３０２）についての第１のノイズ値を生成し（６０４）、かつ、前記ターゲット領域内のノイズ領域についての第２のノイズ値を生成するステップであって、ここで前記第２のノイズ値は前記第１のノイズ値から非相関される、生成するステップ、または、
前記ターゲット領域内のノイズ領域についての第２のノイズ値を生成するステップであって、ここで前記第２のノイズ値は、前記入力信号（６００）の前記ソース領域における第１のノイズ値から非相関される、生成するステップ（６０４）と、
を含み、
前記入力信号（６００）は、前記入力信号（６００）の前記ソース領域についてのノイズ充填パラメータを含む符号化された信号であり、前記生成するステップ（６０４）は、前記ノイズ充填パラメータを使用して前記第１のノイズ値を生成するステップ、および前記第１のノイズ値に関するエネルギー情報を使用して前記第２のノイズ値を生成するステップを含む、または
前記生成するステップ（６０４）は、前記入力信号（６００）内の、前記第１のノイズ値を有する前記ノイズ充填領域（３０２）を識別するステップ（９００）と、前記入力信号（６００）の少なくとも領域をソース・タイル・バッファへコピーするステップ（９０２）であって、前記領域は前記ソース領域を含み、前記ソース領域は前記ノイズ充填領域（３０２）を含む、ステップ（９０２）と、前記ソース・タイル・バッファにおいて、前記識別するステップ（９００）において識別された前記第１のノイズ値を非相関のノイズ値によって置換するステップ（９０４）とを含み、前記マップするステップ（６０２）は、前記非相関ノイズ値を有する前記ソース・タイル・バッファを前記ターゲット領域にマップするステップを含む、または
前記生成するステップ（６０４）は、前記非相関のノイズ値に関するエネルギー情報を測定するステップ（１１０２）と、前記第１のノイズ値に関するエネルギー情報を測定するステップ（１１００）と、前記非相関のノイズ値に関する前記エネルギー情報と前記第１のノイズ値に関する前記エネルギー情報とから導出（１１０４）されたスケーリング値を使用して前記非相関のノイズ値をスケーリングするステップ（９０６，１１０６）とを含む、または
前記生成するステップ（６０４）は、前記マップするステップ（６０２）の後に前記第２のノイズ値を生成するするステップ、もしくは、前記マップするステップ（６０２）の後に前記第１のノイズ値および前記第２のノイズ値を生成するステップ（６０４）を含む、または
前記マップするステップ（６０２）は、前記ソース領域を前記ターゲット領域にマップするステップを含み、前記生成するステップ（６０４）は、ノイズ充填動作およびサイド情報として前記入力信号（６００）に送信されたノイズ充填パラメータを使用して前記第１のノイズ値を生成することによって、スペクトル領域におけるノイズ充填を実行し、かつ、前記第１のノイズ値に関するエネルギー情報を使用して前記ターゲット領域におけるノイズ充填動作を実行して、前記第２のノイズ値を生成するステップを含む、または
前記方法は、サイド情報として前記入力信号（６００）に含まれるスペクトル・エンベロープ情報を使用して前記強化スペクトル領域における前記第２のノイズ値を調整するステップ（１２０２）を含む、または
前記生成するステップ（６０４）は、ノイズ充填動作のためのスペクトル位置を識別するために、前記入力信号（６００）のサイド情報のみを使用するステップ、もしくは、前記ノイズ充填動作のためのスペクトル位置を識別するために、前記ノイズ充填領域（３０２）におけるスペクトル値の有無にかかわらず前記入力信号（６００）の時間またはスペクトル特性を解析するステップを含む、または
前記生成するステップ（６０４）は、前記ソース領域のみにおけるスペクトル位置についての入力を有する、もしくは、前記ソース領域および前記ターゲット領域におけるスペクトル位置についての入力を有する識別ベクトル（７０６）を使用して、ノイズ位置を識別するステップを含む、または
前記マップするステップ（６０２）は、ギャップ充填動作を実行して前記ターゲット領域を生成するステップを含み、前記方法は、第１のスペクトル部分の第１のセットの第１の復号化された表現を生成するステップであって、前記復号化された表現は第１のスペクトル解像度を有する、ステップと、前記第１のスペクトル解像度より低い第２のスペクトル解像度を有する、第２のスペクトル部分の第２のセットの第２の復号化された表現を生成するステップと、第１のスペクトル部分と前記第２のスペクトル部分に対するスペクトル・エンベロープ情報とを使用して、前記第１のスペクトル解像度を有する再構築された第２のスペクトル部分を再生成するステップと、前記再構築された第２のスペクトル部分における前記第１の復号化された表現を時間表現に変換するステップと、を含み、ここで前記マップするステップ（６０２）および前記生成するステップ（６０４）は、少なくとも部分的に前記再生成するステップに含まれる、
方法。
【請求項14】
音声信号を処理するためのシステムであって、前記システムは、符号化された信号を前記音声信号から生成するためのエンコーダと、
請求項１ないし請求項１２のいずれかに記載の、入力信号（６００）から強化された信号を生成するための装置であって、前記符号化された信号は、前記強化された信号を生成するための前記装置への前記入力信号（６００）を生成するために、所定の処理（７００）に付される、前記装置と、
を含むシステム。
【請求項15】
音声信号を処理するための方法であって、前記方法は、前記音声信号から符号化された信号を生成するステップと、
請求項１３に記載の入力信号（６００）から強化された信号を生成する方法であって、前記符号化された信号は、前記強化された信号を生成するための前記方法への前記入力信号（６００）を生成するために、所定の処理（７００）に付される、方法と、
を含む、方法。
【請求項16】
コンピュータ上で動作する際に、請求項１３または請求項１５の方法を実行するための、コンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、信号処理に関するものであり、特に、音声信号処理に関するものである。
【背景技術】
【0002】
効率的保存のためのデータ量減少を目的とした音声信号の知覚的な符号化、または、これらの信号の伝送は、広く実用的に使われている。特に、最低ビットレートを達成しようとする時に、使用される符号化は、伝送される音声信号帯域のエンコーダ側での制限によってしばしば主に起因する音声品質の低下につながる。現代のコーデックにおいて、周知な方法が、音声信号Ｂａｎｄ Ｗｉｄｔｈ Ｅｘｔｅｎｓｉｏｎ（ＢＷＥ）（例えばＳｐｅｃｔｒａｌ Ｂａｎｄ Ｒｅｐｌｉｃａｔｉｏｎ（ＳＢＲ））を用いるデコーダ側の信号復元のために存在する。
【0003】
低ビットレートの符号化において、いわゆるノイズ充填は、使用される。厳しいビットレート制限のためにゼロに量子化された突出したスペクトル領域は、デコーダ内で合成されたノイズで充填される。
【0004】
通常、両方の技術は、低ビットレートの符号化の適用において同時に行われる。さらに、Ｉｎｔｅｌｌｉｇｅｎｔ Ｇａｐ Ｆｉｌｌｉｎｇ（ＩＧＦ）のような、音声符号化、ノイズ充填およびスペクトル・ギャップ充填を同時に用いる統合的解決法が存在する。
【0005】
しかしながら、すべてのこれらの方法は、第一段階で、ベースバンドまたはコア音声信号が波形復号化およびノイズ充填を用いて再現され、第二段階で、ＢＷＥまたはＩＧＦ処理が直ちに再現された信号を用いて実行される、という共通点を有している。これは、再現の間ノイズ充填によってベースバンドにおいて充填された同じノイズ値が、（ＢＷＥにおいて）高周波帯域の失われた部分を再生するために、または、（ＩＧＦにおいて）残りのスペクトル・ギャップを充填するために、使用されるという事実に至る。ＢＷＥまたはＩＧＦにおいて複数のスペクトル領域を再現するために高度に相関するノイズを用いることは、知覚的な損傷に至る可能性がある。
【0006】
最先端の技術水準において関連するトピックは、次のことを含む。
・波形復号化に対するポスト・プロセッサとしてのＳＢＲ［１－３］
・ＡＡＣ ＰＮＳ［４］
・ＭＰＥＧ Ｄ ＵＳＡＣ ノイズ充填［５］
・Ｇ．７１９およびＧ．７２２．１Ｃ［６］
・ＭＰＥＧ Ｈ ３Ｄ ＩＧＦ［８］
・波形復号化に対するポスト・プロセッサとしてのＳＢＲ［１－３］
・ＡＡＣ ＰＮＳ［４］
・ＭＰＥＧ Ｄ ＵＳＡＣ ノイズ充填［５］
・Ｇ．７１９およびＧ．７２２．１Ｃ［６］
・ＭＰＥＧ Ｈ ３Ｄ ＩＧＦ［８］
【0007】
以下の文献および特許出願は、本出願に関連すると考えられる方法を記載する：
[1] M. Dietz, L. Liljeryd, K. Kjoerling and O. Kunz, "Spectral Band Replication, a novel approach in audio coding," in 112th AES Convention, Munich, Germany, 2002.
[2] S. Meltzer, R. Boehm and F. Henn, "SBR enhanced audio codecs for digital broadcasting such as "Digital Radio Mondiale" (DRM)," in 112th AES Convention, Munich, Germany, 2002.
[3] T. Ziegler, A. Ehret, P. Ekstrand and M. Lutzky, "Enhancing mp3 with SBR: Features and Capabilities of the new mp3PRO Algorithm," in 112th AES Convention
, Munich, Germany, 2002.
[4] J. Herre, D. Schulz, Extending the MPEG-4 AAC Codec by Perceptual Noise Substitution, Audio Engineering Society 104th Convention, Preprint 4720, Amsterdam, Netherlands, 1998
[5] 欧州特許出願公開第２３０４７２０号 ＵＳＡＣノイズ充填
[6] ＩＴＵ－Ｔ勧告Ｇ．７１９およびＧ．２２１Ｃ
[7] 欧州特許出願公開第２７０４１４２号
[8] 欧州特許出願公開第１３１７７３５０号
[1] M. Dietz, L. Liljeryd, K. Kjoerling and O. Kunz, "Spectral Band Replication, a novel approach in audio coding," in 112th AES Convention, Munich, Germany, 2002.
[2] S. Meltzer, R. Boehm and F. Henn, "SBR enhanced audio codecs for digital broadcasting such as "Digital Radio Mondiale" (DRM)," in 112th AES Convention, Munich, Germany, 2002.
[3] T. Ziegler, A. Ehret, P. Ekstrand and M. Lutzky, "Enhancing mp3 with SBR: Features and Capabilities of the new mp3PRO Algorithm," in 112th AES Convention
, Munich, Germany, 2002.
[4] J. Herre, D. Schulz, Extending the MPEG-4 AAC Codec by Perceptual Noise Substitution, Audio Engineering Society 104th Convention, Preprint 4720, Amsterdam, Netherlands, 1998
[5] 欧州特許出願公開第２３０４７２０号 ＵＳＡＣノイズ充填
[6] ＩＴＵ－Ｔ勧告Ｇ．７１９およびＧ．２２１Ｃ
[7] 欧州特許出願公開第２７０４１４２号
[8] 欧州特許出願公開第１３１７７３５０号
【0008】
これらの方法によって処理された音声信号は、特に低ビットレートで、例えば粗さ、変調歪みおよび不快に知覚される音質といった人工的な産物をこうむることとなる。そして、その結果、低い帯域幅および／またはＬＦ範囲のスペクトル孔の発生をこうむる。その理由は主として、後述するように、拡張された又はギャップ充填されたスペクトルの再現された構成要素が、ベースバンドからのノイズを含んでいる一つ以上の直接的なコピーに基づくものであるという事実である。再現されたノイズにおける上記の望まれざる相関関係から生じている一時的な変調は、知覚的な粗さ又は不快なゆがみとして騒々しい方法で聞き取ることができる。ｍｐ３＋ＳＢＲ、ＡＡＣ＋ＳＢＲ、ＵＳＡＣ、Ｇ．７１９およびＧ．７２２．１Ｃ、更にはＭＰＥＧ Ｈ ３Ｄ ＩＧＦのようなすべての既存の方法は、最初に、コアからコピーまたは反映されたスペクトル・データでスペクトル・ギャップまたはハイバンドを満たす前にノイズ充填を含んでいる完全なコア復号化を行う。
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明の目的は、強化された信号を生成することについて改良された概念を提供することである。
【0010】
この目的は、請求項１の強化された信号を生成する装置、請求項１３の強化された信号を生成する方法、請求項１４の符号化および復号化のシステム、請求項１５の符号化および復号化の方法、または、請求項１６のコンピュータ・プログラム、によって達成される。
【課題を解決するための手段】
【0011】
本発明は、帯域幅拡張又は高度なギャップ充填により生成された強化された信号、または、入力信号には含まれていない強化スペクトル領域に対するスペクトル値を有する他の方法により生成された強化された信号、の音声品質の重大な改善が、入力信号のソース・スペクトル領域においてノイズ充填領域に対する第１のノイズ値を生成すること、および、デスティネーション（ｄｅｓｔｉｎａｔｉｏｎ）またはターゲット領域における、すなわち、現在はノイズ値を有する強化領域におけるノイズ領域に対する第２の独立したノイズ値、すなわち、第１のノイズ値から独立した第２のノイズ値を生成すること、によって得られる、という事実に、基づくものである。
【0012】
したがって、スペクトル値マッピングのためにベースバンドおよび強化バンドに従属するノイズがあるという従来の技術的課題は除去される。そして、粗さ、変調歪みおよび特に低ビットレートで不快に知覚される音質といったような人工的な産物があるという関連する課題は除去される。
【0013】
すなわち、第２のノイズ値のノイズ充填は、第１のノイズ値から非相関される。つまり、第１のノイズ値から少なくとも部分的には独立しているノイズ値は、人工的な産物がもはや生じないか、または、従来技術に関しては少なくとも減少される、ということを確認する。それ故、簡単な帯域幅拡張または高度なギャップ充填動作によるベースバンドにお
けるノイズ充填スペクトル値の従来技術での処理は、ベースバンドからのノイズとは非相関であり、例えば、レベルを変えるのみである。しかしながら、一方ではソース・バンドにおいて、他方ではターゲット・バンドにおいて、好ましくは別個のノイズ処理に由来する、非相関のノイズ値を導入することは、最高の結果を提供する。しかしながら、完全に非相関ではない、または、完全に独立してはおらず、０の非相関値が完全な非相関を示すときに例えば０．５以下の非相関値で少なくとも部分的に非相関であるノイズ値の導入さえ、従来技術の完全な相関問題を改善する。
けるノイズ充填スペクトル値の従来技術での処理は、ベースバンドからのノイズとは非相関であり、例えば、レベルを変えるのみである。しかしながら、一方ではソース・バンドにおいて、他方ではターゲット・バンドにおいて、好ましくは別個のノイズ処理に由来する、非相関のノイズ値を導入することは、最高の結果を提供する。しかしながら、完全に非相関ではない、または、完全に独立してはおらず、０の非相関値が完全な非相関を示すときに例えば０．５以下の非相関値で少なくとも部分的に非相関であるノイズ値の導入さえ、従来技術の完全な相関問題を改善する。
【0014】
それゆえに、実施例は、知覚的なデコーダにおいて、波形復号化、帯域幅拡張、または、ギャップ充填およびノイズ充填、の組合せを述べている。
【0015】
更なる利点は、既存の概念とは対照的に、信号歪みおよび知覚的な粗さという人工的な産物の発生が回避されるということである。ここで、人工的な産物は、現在のところ波形復号化およびノイズ充填に続く帯域幅拡張またはギャップ充填を算出することに対して典型的なことである。
【0016】
これは、いくつかの実施例において、前述の処理ステップの過程で生じる変化によるものである。波形復号化の後に帯域幅拡張またはギャップ充填を直接的に実行することは好まれ、そして、無相関のノイズを使用して既に再構築された信号上にノイズ充填を引き続いて計算することは、さらに好まれる。
【0017】
更なる実施例においては、波形復号化およびノイズ充填は従来の順序で実行されることができ、さらに前記処理の流れに沿って、ノイズ値は適切にスケールされた無相関のノイズと置き換えられることができる。
【0018】
それゆえに、本発明は、ノイズ充填の段階を処理連鎖のまさにその終端へ移すことによって、そして、パッチングまたはギャップ充填のために無相関のノイズを使用することによって、ノイズ充填されたスペクトル上への複写動作または鏡像動作によって発生する課題に対処する。
【0019】
続いて、本発明の好ましい実施例は、添付の図面に関して述べられる。
【図面の簡単な説明】
【0020】
【発明を実施するための形態】
【0021】
図６は、音声信号にもなりえる入力信号から、例えば音声信号のような強化された信号を生成する装置を例示する。強化された信号は、強化スペクトル領域に対するスペクトル値を有する。ここで、強化スペクトル領域に対するスペクトル値は、入力信号である入力６００で最初の入力信号には含まれない。当該装置は、入力信号のソース・スペクトル領域を強化スペクトル領域のターゲット領域にマップするためのマッパー６０２を備える。ここで、ソース・スペクトル領域は、ノイズ充填領域を含む。
【0022】
さらにまた、当該装置は、入力信号のソース・スペクトル領域のノイズ充填領域のための第１のノイズ値を生成するように構成された、そして、ターゲット領域のノイズ領域のための第２のノイズ値を生成するように構成されたノイズ・フィラー（ｎｏｉｓｅ ｆｉｌｌｅｒ）６０４を備える。ここで、第２のノイズ値、すなわち、ターゲット領域のノイズ値は、ノイズ充填領域において第１のノイズ値から独立しているか、無相関であるか、非相関である。
【0023】
一実施例は、次の状況に関する。その状況において、ノイズ充填は、実際はベースバンドにおいて実行される。つまり、その状況において、ソース領域のノイズ値は、ノイズ充填によって生成されたものである。更なる変形例において、ソース領域のノイズ充填は実行されなかったと推定される。にもかかわらず、ソース領域は、ソースまたはコア・エンコーダによってスペクトル値として模式的に符号化されるスペクトル値のようなノイズで実際は満たされるノイズ領域を有している。ソース領域のようなこのノイズを強化領域にマップすることは、ソース及びターゲット領域において従属するノイズをも生成する。この問題に対処するために、ノイズ・フィラー（ｎｏｉｓｅ ｆｉｌｌｅｒ）は、マッパーのターゲット領域に、当該ノイズを満たすだけである。すなわち、ノイズ・フィラー（ｎｏｉｓｅ ｆｉｌｌｅｒ）は、ターゲット領域におけるノイズ領域のために第２のノイズ値を生成する。ここで、第２のノイズ値は、ソース領域の第１のノイズ値から非相関される。この置換またはノイズ充填は、ソース・タイル・バッファにおいて起こることもできるか、またはターゲットそのものにおいて起こることもできる。ノイズ領域は、ソース領域を分析することによって、または、ターゲット領域を分析することによって、分類器によって識別されることができる。
【0024】
この目的を達成するために、図３Ａを参照して述べる。図３Ａは、充填領域として、入力信号のスケール・ファクタ・バンド３０１を例示する。そして、ノイズ・フィラー（ｎｏｉｓｅ ｆｉｌｌｅｒ）は、入力信号の復号化動作においてこのノイズ充填バンド３０
１で第一のノイズ・スペクトル値を生成する。
１で第一のノイズ・スペクトル値を生成する。
【0025】
さらに、このノイズ充填バンド３０１は、ターゲット領域にマップされる。すなわち、従来技術と一致するように、生成されたノイズ値はターゲット領域にマップされる。そして、それゆえ、ターゲット領域は、ソース領域を伴うノイズに依存または相関している。
【0026】
本発明によれば、しかしながら、図６のノイズ・フィラー（ｎｏｉｓｅ ｆｉｌｌｅｒ）６０４は、デスティネーション（ｄｅｓｔｉｎａｔｉｏｎ）またはターゲット領域におけるノイズ領域のために第２のノイズ値を生成する。ここで、第２のノイズ値は、図３Ａのノイズ充填バンド３０１における第１のノイズ値から非相関であるか、無相関であるか、独立している。
【0027】
通常、ノイズ充填とソース・スペクトル領域をデスティネーション（ｄｅｓｔｉｎａｔｉｏｎ）領域にマップするためのマッパーとは、統合化されたギャップ充填の範囲内で、図１Ａから図５Ｃまで模式的に図示するように、高周波数再生器の範囲内に含まれていてもよい。または、図１３Ｂにて図示するようにポストプロセッサとして、そして図１３Ａの対応エンコーダとして実施されることができる。
【0028】
通常、入力信号は、逆量子化７００に、または、ブロック７００の出力で、図６の入力信号が得られることを意味する付加的な所定のデコーダ処理７００に従う。その結果、コア・コーダ・ノイズ充填ブロックまたはノイズ・フィラー・ブロック（ｎｏｉｓｅ ｆｉｌｌｅｒ ｂｌｏｃｋ）７０４への入力は、図６の入力６００である。図６のマッパーはギャップ充填または帯域幅拡張ブロック６０２に対応し、そして、独立したノイズ充填ブロック７０２は図６のノイズ・フィラー（ｎｏｉｓｅ ｆｉｌｌｅｒ）６０４の範囲内にも含まれる。このように、ブロック７０４および７０２は共に図６のノイズ・フィラー（ｎｏｉｓｅ ｆｉｌｌｅｒ）ブロック６０４にも含まれ、そして、ブロック７０４はノイズ充填領域におけるノイズ領域のためにいわゆる第１のノイズ値を生成し、そして、ブロック７０２はデスティネーション（ｄｅｓｔｉｎａｔｉｏｎ）またはターゲット領域におけるノイズ領域のために第２のノイズ値を生成する。そして、それはマッパーまたはギャップ充填または帯域幅拡張ブロック６０２によって実施される帯域幅拡張の側のベースバンドにおけるノイズ充填領域に由来する。さらに、後ほど述べられるように、ブロック７０２によって実施される独立のノイズ充填動作は、制御ライン７０６で例示される制御ベクトルＰＨＩによって制御される。
【0029】
１.ステップ：ノイズ識別
第一段階において、送信された音声フレームにおけるノイズを表す全てのスペクトル線は、識別される。識別処理は、ノイズ充填［４］［５］に使用するノイズ位置についてのすでに既存の、送信された情報によって制御されてもよい、または追加分類器と識別されてもよい。ノイズ線識別の結果は、１の位置がノイズを表すスペクトル線を示す０および１を含んでいるベクトルである。
第一段階において、送信された音声フレームにおけるノイズを表す全てのスペクトル線は、識別される。識別処理は、ノイズ充填［４］［５］に使用するノイズ位置についてのすでに既存の、送信された情報によって制御されてもよい、または追加分類器と識別されてもよい。ノイズ線識別の結果は、１の位置がノイズを表すスペクトル線を示す０および１を含んでいるベクトルである。
【0030】
数学的条件において、この手順は、次のように表現することができる：
【0031】
【0032】
【0033】
【0034】
【0035】
２.ステップ：独立したノイズ
第二段階において、送信されたスペクトルの特定の領域は、選択されて、ソース・タイルへコピーされる。このソース・タイルの範囲内で、識別されたノイズは、ランダム・ノイズに置き換えられる。挿入されたランダム・ノイズのエネルギーは、ソース・タイルにおけるオリジナルのノイズの同じエネルギーに適合される。
第二段階において、送信されたスペクトルの特定の領域は、選択されて、ソース・タイルへコピーされる。このソース・タイルの範囲内で、識別されたノイズは、ランダム・ノイズに置き換えられる。挿入されたランダム・ノイズのエネルギーは、ソース・タイルにおけるオリジナルのノイズの同じエネルギーに適合される。
【0036】
数学的条件において、この手順は、次のように表現することができる：
【0037】
【0038】
【0039】
【0040】
【0041】
【0042】
【0043】
【0044】
【0045】
図８は、図１Ｂのブロック１１２において例示されるスペクトル領域の復号化のようないかなる後処理にも続く実施例を例示する。または、図１３Ｂのブロック１３２６で例示されるポストプロセッサの実施例において、入力信号は、最初に、ギャップ充填または帯域幅拡張に従う。すなわち、入力信号は、最初にマッピング動作に従い、そして、それから、独立したノイズ充填は、その後、すなわち、全スペクトルの範囲内で、実行される。
【0046】
【0047】
【0048】
【0049】
【0050】
【0051】
【0052】
本発明の独立したノイズ充填が、同様にステレオ・チャネル・ペア環境において用いられることができる。したがって、エンコーダは、周波数帯および任意の予測係数毎に、適切なチャネル・ペア表現、Ｌ／ＲまたはＭ／Ｓを算出する。デコーダは、上記の独立したノイズ充填を、Ｌ／Ｒ表現に向かうすべての周波数帯の最終転化の次の計算の前に、チャネルの適切に選ばれた表現に適用する。
【0053】
本発明は、完全な帯域幅が利用できないか、スペクトル孔を埋めるためのギャップ充填を使用するすべての音声アプリケーションに、適用できる、又は、適している。本発明は、例えばデジタル・ラジオ、インターネット・ストリーミングおよび音声通信アプリケーションで、例えば音声コンテンツの配布または放送で、使用形態を発見することができる。
【0054】
次に、本発明の実施例は、図９－１２に関して述べられる。ステップ９００において、ノイズ領域は、ソース範囲において識別される。この手順、つまり「ノイズ識別」に関して以前から議論されていた手順は、完全にエンコーダ側から受け取られるノイズ充填側情報に依存することができ、または、強化スペクトル領域のためのスペクトル値なしで、すなわち、この強化スペクトル領域のためのスペクトル値なしで、既に生成された入力信号の信号分析に代替的に又は付加的に依存するように加えて構成されることもできる。
【0055】
それから、ステップ９０２において、当該技術分野において周知である直接のノイズ充填に既にしたがっているソース範囲、すなわち、完全なソース範囲は、ソース・タイル・バッファへコピーされる。
【0056】
それから、ステップ９０４において、第１のノイズ値、すなわち入力信号のノイズ充填
領域の中で発生する直接のノイズ値は、ランダムな値によってソース・タイル・バッファにおいて置換される。それから、ステップ９０６において、これらのランダムな値は、ターゲット領域に対する第２のノイズ値を得るために、ソース・タイル・バッファにおいてスケールされる。それから、ステップ９０８において、マッピング動作は実行される、すなわち、ステップ９０４及び９０６の後に利用可能なソース・タイル・バッファのそれらの内容は、デスティネーション（ｄｅｓｔｉｎａｔｉｏｎ）範囲にマップされる。このようにして、置換動作９０４によって、そして、マッピング動作９０８に続いて、ソース範囲およびターゲット範囲の独立したノイズ充填動作は、得られた。
領域の中で発生する直接のノイズ値は、ランダムな値によってソース・タイル・バッファにおいて置換される。それから、ステップ９０６において、これらのランダムな値は、ターゲット領域に対する第２のノイズ値を得るために、ソース・タイル・バッファにおいてスケールされる。それから、ステップ９０８において、マッピング動作は実行される、すなわち、ステップ９０４及び９０６の後に利用可能なソース・タイル・バッファのそれらの内容は、デスティネーション（ｄｅｓｔｉｎａｔｉｏｎ）範囲にマップされる。このようにして、置換動作９０４によって、そして、マッピング動作９０８に続いて、ソース範囲およびターゲット範囲の独立したノイズ充填動作は、得られた。
【0057】
図１０は、本発明の更なる実施例を例示する。また、ステップ９００で、ソース範囲のノイズは、識別される。しかしながら；このステップ９００の機能は図９のステップ９００の機能と異なる。なぜなら、図９のステップ９００は、ノイズ値をすでに受信した、すなわち、ノイズ充填動作はすでに実行された、入力信号スペクトルに作用することができる。
【0058】
しかしながら、図１０においては、入力信号に対するいかなるノイズ充填動作も実行されなかった、そして、入力信号は、ステップ９０２の入力でノイズ充填領域のいかなるノイズ値もまだ有しない。ステップ９０２において、ソース範囲は、デスティネーション（ｄｅｓｔｉｎａｔｉｏｎ）またはターゲット範囲にマップされる。ここで、ノイズ充填値はソース範囲に含まれていない。
【0059】
このようにして、ステップ９００のソース範囲におけるノイズの識別は、ノイズ充填領域に関して、信号の０スペクトル値を識別することによって、および／または、入力信号からのこのノイズ充填サイド情報を用いることによって、実行されることができる。すなわち、エンコーダ側はノイズ充填情報を生成した。それから、ステップ９０４において、ノイズ充填情報と、特に、デコーダ側の入力信号にもたらされるエネルギーを識別しているエネルギー情報とは、読み込まれる。
【0060】
それから、ステップ１００６にて図示するように、ソース範囲におけるノイズ充填は実行され、そして、その後、または、並行して、ステップ１００８は実行される。すなわち、ランダムな値は、全帯域にまたがるステップ９００によって識別された、または、マッピング情報とともにベースバンドまたは入力信号情報を用いて識別された、デスティネーション（ｄｅｓｔｉｎａｔｉｏｎ）範囲における位置に挿入される。そして、マッピング情報とは、すなわち、どの（複数の）ソース範囲は、どの（複数の）ターゲット範囲にマップされるかという情報である。
【0061】
最後に、挿入されたランダムな値は、２番目に独立であるか無相関であるか非相関のノイズ値を得るためにスケールされる。
【0062】
次に、図１１は、強化スペクトル領域におけるノイズ充填値のスケーリングに関する更なる情報を例示するために述べられる。すなわち、いかにしてランダムな値から、第２のノイズ値が得られるか、が述べられる。
【0063】
ステップ１１００において、ソース範囲におけるノイズに関するエネルギー情報が、得られる。それから、エネルギー情報は、ランダムな値から、すなわち、ステップ１１０２にて図示するように、ランダム又は疑似ランダムの処理によって生成する値から、決定される。さらにまた、ステップ１１０４は、スケール・ファクタを算出する方法、すなわち、ソース範囲におけるノイズに関するエネルギー情報を用いる方法、そして、ランダムな値に関するエネルギー情報を用いる方法を説明する。それから、ステップ１１０６において、ランダムな値、すなわちステップ１１０２においてエネルギーが算出される根拠とな
ったランダムな値は、ステップ１１０４によって生成されたスケール・ファクタに乗算される。それゆえ、図１１において例示される手順は、先に実施例において示されたスケール・ファクタｇの算出に対応する。しかしながら、すべてのこれらの算出は、対数的領域において、または、他のいかなる領域において、実行されることもでき、そして、乗算ステップ１１０６は対数的範囲における加算または減算によって置換されることができる。
ったランダムな値は、ステップ１１０４によって生成されたスケール・ファクタに乗算される。それゆえ、図１１において例示される手順は、先に実施例において示されたスケール・ファクタｇの算出に対応する。しかしながら、すべてのこれらの算出は、対数的領域において、または、他のいかなる領域において、実行されることもでき、そして、乗算ステップ１１０６は対数的範囲における加算または減算によって置換されることができる。
【0064】
更なる参照は、一般的な知的なギャップ充填または帯域幅拡張スキームの範囲内で本発明の埋め込みを例示するために、図１２になされる。ステップ１２００において、スペクトル・エンベロープ情報は、入力信号から回収される。スペクトル・エンベロープ情報は、例えば、図１３Ａのパラメータ抽出器１３０６によって生成されることができ、そして、図１３ｂのパラメータ・デコーダ１３２４によって提供されることができる。それから、第２のノイズ値およびデスティネーション（ｄｅｓｔｉｎａｔｉｏｎ）範囲における他の値は、１２０２に図示するようにこのスペクトル・エンベロープ情報を使用して、スケールされる。その後、いかなる更なる後処理１２０４も、帯域幅拡張の場合には増加した帯域幅を有する、もしくは、減らされた数を有する最終的な時間領域の強化された信号を得るために、または、知的なギャップ充填の状況におけるスペクトル孔を得ないために、実行されることができる。
【0065】
この状況において、特に図９の実施例のために、いくつかの変形例が適用されることができることは、概説される。実施例のために、ステップ９０２は、入力信号の全部のスペクトルで、または、少なくともノイズ充填境界周波数を越える入力信号のスペクトルの部分で、実行される。この周波数は、特定の周波数以下で、すなわち、この周波数以下で、いかなるノイズ充填も全く実行されないことを保証する。
【0066】
それから、いかなる特定のソース範囲／ターゲット範囲マッピング情報にかかわりなく、全部の入力信号スペクトル、すなわち完全な潜在的ソース範囲は、ソース・タイル・バッファ９０２へコピーされ、それからステップ９０４および９０６で処理される、そして、ステップ９０８はそれから特に必要とされる特定のソース領域をこのソース・タイル・バッファから選択する。
【0067】
他の実施例において、しかしながら、入力信号の部分だけでもよい特に必要とされるソース範囲だけは、単一のソース・タイル・バッファに、または、入力信号に含まれるソース範囲／ターゲット範囲情報に基づくいくつかの個々のソース・タイル・バッファに、すなわち、サイド情報としてこの音声入力信号に関連するソース・タイル・バッファに、コピーされる。特に必要とされるソース範囲だけはステップ９０２、９０４、９０６によって処理される当該状況つまり第２の変形例に応じて、複雑さ又は最低メモリ必要条件は、特定のマッピング状況から常に独立している状況であって、少なくともノイズ充填境界周波数を超える全部のソース範囲がステップ９０２、９０４、９０６によって処理される状況と比較して、減らされていてもよい。
【0068】
その後、周波数再生器１１６の範囲内で本発明の特定の実施の形態を例示するために、参照は図１ａ－５ｅになされる。周波数再生器１１６は、スペクトル時間コンバータ１１８の前に配置される。
【0069】
図１ａは、音声信号９９を符号化する装置を例示する。音声信号９９は、サンプリング・レートを有する音声信号を、時間スペクトル・コンバータによって出力されるスペクトル表現１０１に変換するための、時間スペクトル・コンバータ１００への入力である。当該スペクトル１０１は、スペクトル表現１０１を分析するためのスペクトル・アナライザ１０２への入力である。スペクトル・アナライザ１０１は、第１のスペクトル解像度で符号化されるように第１のスペクトル部分１０３の第１のセットを決定し、そして、第２の
スペクトル解像度で符号化されるように第２のスペクトル部分１０５の異なる第２のセットを決定するように、構成される。第２のスペクトル解像度は、第１のスペクトル解像度より小さい。第２のスペクトル部分１０５の第２のセットは、第２のスペクトル解像度を有するスペクトル・エンベロープ情報を算出するためのパラメータ計算機またはパラメトリック・コーダ１０４への入力である。さらにその上、スペクトル領域音声コーダ１０６は、第１のスペクトル解像度を有する第１のスペクトル部分の第１のセットの第１の符号化された表現１０７を生成するために設けられている。さらにまた、パラメータ計算機／パラメトリック・コーダ１０４は、第２のスペクトル部分の第２のセットの第２の符号化された表現１０９を生成するように構成される。第１の符号化された表現１０７と第２の符号化された表現１０９とは、ビットストリーム・マルチプレクサまたはビット・ストリーム・フォーマ１０８への入力であり、そして、ブロック１０８は最終的に、伝送または記憶装置上の記憶のために符号化された音声信号を出力する。
スペクトル解像度で符号化されるように第２のスペクトル部分１０５の異なる第２のセットを決定するように、構成される。第２のスペクトル解像度は、第１のスペクトル解像度より小さい。第２のスペクトル部分１０５の第２のセットは、第２のスペクトル解像度を有するスペクトル・エンベロープ情報を算出するためのパラメータ計算機またはパラメトリック・コーダ１０４への入力である。さらにその上、スペクトル領域音声コーダ１０６は、第１のスペクトル解像度を有する第１のスペクトル部分の第１のセットの第１の符号化された表現１０７を生成するために設けられている。さらにまた、パラメータ計算機／パラメトリック・コーダ１０４は、第２のスペクトル部分の第２のセットの第２の符号化された表現１０９を生成するように構成される。第１の符号化された表現１０７と第２の符号化された表現１０９とは、ビットストリーム・マルチプレクサまたはビット・ストリーム・フォーマ１０８への入力であり、そして、ブロック１０８は最終的に、伝送または記憶装置上の記憶のために符号化された音声信号を出力する。
【0070】
概して、図３ａのうちの３０６のような第１のスペクトル部分は、３０７ａ、３０７ｂのような２つの第２のスペクトル部分によって囲まれる。これは、ＨＥ ＡＡＣにおけるケースではない。ここで、コア・コーダ周波数範囲は、制限されるバンドである。
【0071】
図１ｂは、図１ａのエンコーダと調和するデコーダを例示する。第１の符号化された表現１０７は、第１のスペクトル部分の第１のセットの第１の復号化された表現（第１のスペクトル解像度を有する復号化された表現）を生成するためのスペクトル領域音声デコーダ１１２への入力である。さらにまた、第２の符号化された表現１０９は、第１のスペクトル解像度より低い第２のスペクトル解像度を有する第２のスペクトル部分の第２のセットの第２の復号化された表現を生成するためのパラメトリック・デコーダ１１４への入力である。
【0072】
デコーダは、さらに、第１のスペクトル部分を使用している第１のスペクトル解像度を有する再構築された第２のスペクトル部分を再生するための周波数再生器１１６を有する。周波数再生器１１６は、タイル充填動作を実行する、すなわち、第１のスペクトル部分の第１のセットのタイルまたは部分を使用し、第２のスペクトル部分を有する再構築範囲または再構築バンドへの第１のスペクトル部分のこの第１のセットをコピーし、そして、概して、パラメトリック・デコーダ１１４によって復号化される第２の表現の出力によって、すなわち、第２のスペクトル部分の第２のセットに関する情報を用いて、示されるように、スペクトル・エンベロープの形成またはその他の動作を実行する。第１のスペクトル部分の復号化された第１のセットと、線１１７上の周波数再生器１１６の出力で示されるようなスペクトル部分の再構築された第２のセットとは、第１の復号化された表現と再構築された第２のスペクトル部分とを時間表現１１９（ある特定の高いサンプリング・レートを有する時間表現）へ転換するように構成されるスペクトル時間コンバータ１１８への入力である。
【0073】
図２ｂは、図１ａエンコーダの実施の形態を例示する。音声入力信号９９は、図１ａの時間スペクトル・コンバータ１００に対応する分析フィルタバンク２２０への入力である。それから、図２ｂの１ブロックである音のマスク２２６に対応する図１ａのスペクトル・アナライザ１０２への入力は、時間的ノイズ形成動作／時間的タイル形成動作が適用されない時は完全なスペクトル値であり、図２ｂで例示されるようなＴＮＳ動作であるブロック２２２が適用されるときは残余のスペクトル値である。２チャネル信号またはマルチチャネル信号のために、共同の（ｊｏｉｎｔ）チャネル符号化２２８は付加的に実行されることができる。その結果、図１ａのスペクトル領域エンコーダ１０６は、共同の（ｊｏｉｎｔ）チャネル符号化ブロック２２８を有していてもよい。さらに、無損失性データ圧縮を実行するためのエントロピー・コーダ２３２は設けられている。そして、それは図１ａのスペクトル領域エンコーダ１０６の一部でもある。
【0074】
スペクトル・アナライザ／音のマスク２２６は、ＴＮＳブロック２２２の出力を、コア・バンドと、第１のスペクトル部分１０３の第１のセットに対応する音の構成要素と、図１ａの第２のスペクトル部分１０５の第２のセットに対応する残余の構成要素と、に区分する。ＩＧＦパラメータ抽出符号化として示されるブロック２２４は、図１ａのパラメトリック・コーダ１０４に対応し、そして、ビットストリーム・マルチプレクサ２３０は、図１ａのビットストリーム・マルチプレクサ１０８に対応する。
【0075】
好ましくは、分析フィルタバンク２２２はＭＤＣＴ（修正された離散コサイン変換フィルタバンク）として実施され、そして、ＭＤＣＴは、信号９９を、周波数分析ツールとして作用する修正された離散コサイン変換で時間周波数領域に変えるために用いられる。
【0076】
スペクトル・アナライザ２２６は、好ましくは音調マスクを適用する。この音調マスク評価ステージは、音の構成要素を信号中のノイズのような構成要素から切り離すために用いられる。これは、コア・コーダ２２８に音響心理学的なモジュールを有するすべての音の構成要素を符号化させることができる。音調マスク評価ステージは、多数の異なる方法で実施されることができて、好ましくは、スピーチ／オーディオ符号化［８、９］のためのサインおよびノイズモデリングにおいて使用される正弦波トラック評価ステージ、または、〔１０〕に記載した音声コーダに基づくＨＩＬＮモデルと同様に、その機能において、実施される。好ましくは、生死軌道を維持する必要性なしに実施することが容易である実施の形態が用いられるが、他のいかなる音調またはノイズ検出器も同様に用いられることができる。
【0077】
【0078】
【0079】
加えて、例えばさえずりや音楽的なノイズのような周波数領域の人工的な産物を取り除くタイル選択安定化技術が提案されている。
【0080】
ステレオ・チャネル・ペアの場合には、付加的な共同の（ｊｏｉｎｔ）ステレオ処理が適用される。これは、必要なことである。なぜなら、ある特定のデスティネーション（ｄｅｓｔｉｎａｔｉｏｎ）範囲のために、信号は、パンされた音源と高度に相関することができるからである。この特定領域のために選択されるソース領域がよく相関していない場合には、エネルギーがデスティネーション（ｄｅｓｔｉｎａｔｉｏｎ）領域のために合わされるにもかかわらず、空間イメージは無相関のソース領域のために損なわれることができる。概してスペクトル値の相互相関を実行しつつ、エンコーダは、それぞれのデスティネーション（ｄｅｓｔｉｎａｔｉｏｎ）領域エネルギー・バンドを分析し、そして、特定の閾値が上回られる場合には、このエネルギー・バンドのための共同の（ｊｏｉｎｔ）フラグをセットする。この共同の（ｊｏｉｎｔ）ステレオ・フラグがセットされない場合、デコーダにおいて、左右のチャネル・エネルギー・バンドは個々に処理される。共同の（ｊｏｉｎｔ）ステレオ・フラグがセットされる場合には、エネルギーもパッチングも両方とも共同の（ｊｏｉｎｔ）ステレオ領域において実行される。予測の場合には、予測の方向がダウンミックスから残余であるか又はその逆の方向であるのかを指し示しているフラグを含みつつ、ＩＧＦ領域のための共同の（ｊｏｉｎｔ）ステレオ情報は、コア符号化のための信号を送付され類似する共同の（ｊｏｉｎｔ）ステレオの情報である。
【0081】
【0082】
もう一つの解法は、共同の（ｊｏｉｎｔ）ステレオが作動中であるバンドに対して共同の（ｊｏｉｎｔ）ステレオ領域において直接的にエネルギーを算出し、伝導することである。その結果、付加的なエネルギー変化がデコーダ側では必要とされない。
【0083】
【0084】
【0085】
共同の（Ｊｏｉｎｔ）ステレオ->ＬＲ変換：
【0086】
【0087】
【0088】
【0089】
この処理は、たとえソース領域が相関していない場合であっても、高度に相関されるデスティネーション（ｄｅｓｔｉｎａｔｉｏｎ）領域とパンされたデスティネーション（ｄｅｓｔｉｎａｔｉｏｎ）領域とを再生するために使用されるタイルから、結果として生じる左右のチャネルはまだ、相関されパンされた音源を表現することを保証する。そして、そのような領域のためにステレオ画像を保存する。
【0090】
換言すれば、ビットストリームにおいて、一般的な共同の（ｊｏｉｎｔ）ステレオ符号化のための一例としてＬ／ＲかＭ／Ｓが使われるかどうかについて指し示す共同の（ｊｏｉｎｔ）ステレオ・フラグが送信される。デコーダにおいて、最初に、コア・バンドのための共同の（ｊｏｉｎｔ）ステレオ・フラグによって示されるように、コア信号は復号化される。２番目に、コア信号は、Ｌ／ＲおよびＭ／Ｓ表現に格納される。ＩＧＦタイル充填のために、ＩＧＦバンドのための共同の（ｊｏｉｎｔ）ステレオ情報によって示されるように、ソース・タイル表現はターゲット・タイル表現に合うように選ばれる。
【0091】
時間的ノイズ形成（ＴＮＳ）は、標準技術およびＡＡＣ［１１－１３］の一部である。
ＴＮＳは、知覚的なコーダの基本スキームの拡張と考えることができる。そして、フィルタバンクと量子化ステージとの間に任意の処理ステップを挿入する。ＴＮＳモジュールのメイン・タスクは、生成された量子化ノイズを信号のような一時的現象の一時的なマスキング領域に隠すことである、そして、したがって、それは、より効率的な符号化スキームに至る。最初に、ＴＮＳは、変換領域（例えばＭＤＣＴ）における「前方の予測」を使用している一組の予測係数を算出する。これらの係数は、それから、信号の時間的エンベロープを平らにするために使用される。量子化がＴＮＳフィルタに通されたスペクトルに影響を及ぼす時に、また、量子化ノイズは一時的に平坦である。デコーダ側で逆ＴＮＳフィルタリングを適用することによって、量子化ノイズはＴＮＳフィルタの時間的エンベロープにしたがって形成され、したがって、量子化ノイズは一時的現象によってマスクされる。
ＴＮＳは、知覚的なコーダの基本スキームの拡張と考えることができる。そして、フィルタバンクと量子化ステージとの間に任意の処理ステップを挿入する。ＴＮＳモジュールのメイン・タスクは、生成された量子化ノイズを信号のような一時的現象の一時的なマスキング領域に隠すことである、そして、したがって、それは、より効率的な符号化スキームに至る。最初に、ＴＮＳは、変換領域（例えばＭＤＣＴ）における「前方の予測」を使用している一組の予測係数を算出する。これらの係数は、それから、信号の時間的エンベロープを平らにするために使用される。量子化がＴＮＳフィルタに通されたスペクトルに影響を及ぼす時に、また、量子化ノイズは一時的に平坦である。デコーダ側で逆ＴＮＳフィルタリングを適用することによって、量子化ノイズはＴＮＳフィルタの時間的エンベロープにしたがって形成され、したがって、量子化ノイズは一時的現象によってマスクされる。
【0092】
ＩＧＦは、ＭＤＣＴ表現に基づく。効果的な符号化のために、好ましくは、約２０ｍｓのロング・ブロックが、用いられなければならない。そのようなロング・ブロックの中の信号が一時的現象を含む場合、聞き取ることができる前および後エコーは、タイル充填によりＩＧＦスペクトル・バンドで発生する。図７ｃは、ＩＧＦにより一時的な開始の前に典型的な前エコー効果を示す。左側で、オリジナル信号のスペクトログラムは示され、そして、右側で、ＴＮＳフィルタリングを用いないで帯域幅拡張した信号のスペクトログラムは示される。
【0093】
【0094】
レガシー・デコーダにおいて、音声信号上のスペクトル・パッチングは、パッチ境界でスペクトル相関を腐敗し、このことにより、分散を導くことによって、音声信号の時間的エンベロープを損なう。それゆえ、残余信号上のＩＧＦタイル充填を実行する他の利点は、フィルタ形成のアプリケーションの後、タイル境界がシームレスに相関しているということである。そして、このことは、信号のより忠実な時間的再生という結果になる。
【0095】
発明のエンコーダにおいて、ＴＮＳ／ＴＴＳフィルタリング、音調マスク処理およびＩＧＦパラメータ評価を受けていたスペクトルは、音の構成要素を除いてＩＧＦ開始周波数を上回る任意の信号を欠いている。このまばらなスペクトルは、算術符号化および予兆的符号化の原則を使用しているコア・コーダによって現在のところ符号化される。シグナリング・ビットと一緒にこれらの符号化された構成要素は、オーディオのビットストリームを形成する。
【0096】
図２ａは、対応するデコーダの実施の形態を例示する。符号化された音声信号に対応する図２ａのビットストリームは、ブロック１１２および１１４まで、図１ｂに関して、接続されるデマルチプレクサ／デコーダへの入力である。ビットストリーム・デマルチプレクサは、入力音声信号を図１ｂの第１の符号化された表現１０７と図１ｂの第２の符号化された表現１０９とに分ける。第１のスペクトル部分の第１のセットを有する第１の符号化された表現は、図１ｂのスペクトル領域デコーダ１１２に対応する共同の（ｊｏｉｎｔ）チャネル復号化ブロック２０４への入力である。第２の符号化された表現は、図２ａにおいて例示されていないパラメトリック・デコーダ１１４への入力であり、そしてそれから、図１ｂの周波数再生器１１６に対応するＩＧＦブロック２０２への入力である。周波数再生のために必要な第１のスペクトル部分の第１のセットは、線２０３を経由するＩＧＦブロック２０２への入力である。さらにその上、共同の（ｊｏｉｎｔ）チャネル復号化２０４に続いて、特定のコア複号化は、音のマスク・ブロック２０６に適用される。その結果、音のマスク２０６の出力は、スペクトル領域デコーダ１１２の出力に対応する。それから、コンバイナ２０８による組合せは実行される。すなわち、コンバイナ２０８の出力が完全な範囲のスペクトルを有するが、しかしまだ、ＴＮＳ／ＴＴＳフィルタに通された領域におけるフレーム・ビルディングである。それから、ブロック２１０において、逆のＴＮＳ／ＴＴＳ動作は、線１０９を経由して提供されるＴＮＳ／ＴＴＳフィルタ情報を使用して実行される。すなわち、ＴＴＳサイド情報は、好ましくは、スペクトル領域エンコーダ１０６によって生成される第１の符号化された表現に含まれる。スペクトル領域エンコーダ１０６は、例えば、直接のＡＡＣまたはＵＳＡＣコア・エンコーダでありえるか、又は、第２の符号化された表現に含まれることもできる。ブロック２１０の出力で、オリジナルの入力信号のサンプリング・レートで定義される完全な範囲の周波数である最大周波数までの完全なスペクトルが提供される。それから、スペクトル／時間転換は、最後に音声出力信号を得るために、合成フィルタバンク２１２において実行される。
【0097】
図３ａは、スペクトルの概略図を例示する。スペクトルは、図３ａの例で図示するように、ＳＣＢ１からＳＣＢ７までの７つのスケール・ファクタ・バンドが存在するスケール・ファクタ・バンドＳＣＢにおいて再分割される。スケール・ファクタ・バンドは、ＡＡＣ標準において定められるＡＡＣスケール・ファクタ・バンドであり得て、そして、模式的に図３ａにて図示するように、上側の周波数まで増加している帯域幅を有する。スペクトルのまさしくその始まりからではなく知的なギャップ充填を実行することが、好ましい。すなわち、低周波数で、３０９で例示したＩＧＦ開始周波数でＩＧＦ動作を開始することが好ましい。したがって、コア周波数帯は、最低周波数からＩＧＦ開始周波数まで伸びる。ＩＧＦ開始周波数を上回って、スペクトル分析は、高解像度スペクトル要素３０４、３０５、３０６、３０７（第１のスペクトル部分の第１のセット）を第２のスペクトル部分の第２のセットによって表現される低解像度要素から切り離すために適用される。図３ａは、スペクトル領域エンコーダ１０６または共同の（ｊｏｉｎｔ）チャネル・コーダ２２８への模式的な入力であるスペクトルを例示する。すなわち、コア・エンコーダは完全な範囲で動作するが、相当数の０スペクトル値を符号化する。すなわち、これらの０スペクトル値は０に量子化され、または、量子化する前に０にセットされ、または、量子化の後に起こる。いずれにせよ、コア・エンコーダは完全な範囲で動作する。すなわち、スペクトルが図示されるように、すなわち、コア・デコーダは、必ずしも、任意の知的なギャップ充填を認知する必要はなく、より低いスペクトル解像度を用いて第２のスペクトル部分の第２のセットの符号化をする必要もない。
【0098】
好ましくは、高解像度はＭＤＣＴ線のようなスペクトル線の線的な符号化によって定義される。その一方で、第２の解像度または低解像度は、例えば、スケール・ファクタ・バンド毎に単一のスペクトル値のみを算出することによって定義される。ここで、スケール・ファクタ・バンドは、いくつかの周波数線をカバーする。このように、第２の低解像度
は、そのスペクトル解像度に関して、例えばＡＡＣまたはＵＳＡＣコア・エンコーダのようなコア・エンコーダによって典型的に適用される線的な符号化によって定義される第１の又は高解像度より非常に低い。
は、そのスペクトル解像度に関して、例えばＡＡＣまたはＵＳＡＣコア・エンコーダのようなコア・エンコーダによって典型的に適用される線的な符号化によって定義される第１の又は高解像度より非常に低い。
【0099】
【0100】
特に、コア・エンコーダが低ビットレートの状態の下にあるときに、コア・バンドにおける、すなわち、ＩＧＦ開始周波数より低い周波数における、すなわち、ＳＣＢ１からＳＣＢ３までのスケール・ファクタ・バンドにおける、付加的なノイズ充填動作は、加えて適用されることができる。ノイズ充填において、ゼロまで量子化された複数の隣接するスペクトル線が、存在する。デコーダ側で、０のスペクトル値まで量子化されたこれらは再合成され、そして、再合成されたスペクトル値は、図３ｂにおける３０８で例示されるＮＦ2のようなノイズ充填エネルギーを用いて、それらの規模で適合させられる。絶対的な条件で与えられうる、又は、ＵＳＡＣにおけるものとして特にスケール・ファクタに関する相対的な条件で与えられうる、ノイズ充填エネルギーは、０まで量子化されるスペクトル値のセットのエネルギーに対応する。これらのノイズ充填スペクトル線は、ソース範囲からのスペクトル値とエネルギー情報Ｅ1、Ｅ2、Ｅ3、Ｅ4とを使用している周波数タイルを再構築するための他の周波数から周波数タイルを使用している周波数再生に依存しているいかなるＩＧＦ動作もない直接のノイズ充填合成によって再生される第３のスペクトル部分の第３のセットである、と考慮されることもできる。
【0101】
好ましくは、エネルギー情報が算出される対象である、バンドは、スケール・ファクタ・バンドと一致する。他の実施例において、例えば、スケール・ファクタ・バンド４および５に対して、単一のエネルギー情報値だけが送信されるように、エネルギー情報値グループ化は適用されるが、しかし、本実施例においてさえ、グループ化された再構築バンドの境界はスケール・ファクタ・バンドの境界と一致する。異なるバンド分離が適用される場合、特定の再算出または同期算出は適用されてもよく、そして、これは特定の実施の形態に応じて意味をなすことができる。
【0102】
好ましくは、図１ａのスペクトル領域エンコーダ１０６は、図４ａにて図示するように、音響心理学的に駆動されるエンコーダである。概して、例えばＭＰＥＧ２／４ ＡＡＣスタンダードまたはＭＰＥＧ１／２，Ｌａｙｅｒ ３スタンダードにおいて例示されるように、スペクトル範囲（図４ａの４０１）に変形された後に符号化された音声信号であることは、スケール・ファクタ計算機４００に送られる。スケール・ファクタ計算機は、量子化された音声信号であることを付加的に受領する、又は、ＭＰＥＧ１／２ Ｌａｙｅｒ ３またはＭＰＥＧ ＡＡＣスタンダードにおいてそうであるように、音声信号の複雑な
スペクトル表現を受領する音響心理学的なモデルによってコントロールされる。音響心理学的なモデルは、各スケール・ファクタ・バンドに対して、音響心理学的な閾値を表現しているスケール・ファクタを算出する。加えて、よく知られた内と外との繰り返しループの協力によって、または、他のいかなる適切な調整された符号化手順によって、スケール・ファクタはそうであり、その結果、特定のビットレート条件は完全に充填される。それから、一方では量子化されたスペクトル値であることが、他方では算出されたスケール・ファクタが、クオンタイザ・プロセッサ４０４への入力である。直接の音声エンコーダ動作において、量子化されたスペクトル値であることはスケール・ファクタによって加重され、そして、加重されたスペクトル値は、それから、概して上の振幅範囲まで圧縮機能を有している固定クオンタイザへの入力である。それから、クオンタイザ・プロセッサの出力で、隣接した周波数値に対する０量子化インデックスのセットに対して、又は、この技術分野ではまたそう呼ばれるように０値の「走行」に対して特定かつ効率的な符号化を概して有するエントロピーエンコーダの中へそれから送られる量子化インデックスがまさに存在する。
スペクトル表現を受領する音響心理学的なモデルによってコントロールされる。音響心理学的なモデルは、各スケール・ファクタ・バンドに対して、音響心理学的な閾値を表現しているスケール・ファクタを算出する。加えて、よく知られた内と外との繰り返しループの協力によって、または、他のいかなる適切な調整された符号化手順によって、スケール・ファクタはそうであり、その結果、特定のビットレート条件は完全に充填される。それから、一方では量子化されたスペクトル値であることが、他方では算出されたスケール・ファクタが、クオンタイザ・プロセッサ４０４への入力である。直接の音声エンコーダ動作において、量子化されたスペクトル値であることはスケール・ファクタによって加重され、そして、加重されたスペクトル値は、それから、概して上の振幅範囲まで圧縮機能を有している固定クオンタイザへの入力である。それから、クオンタイザ・プロセッサの出力で、隣接した周波数値に対する０量子化インデックスのセットに対して、又は、この技術分野ではまたそう呼ばれるように０値の「走行」に対して特定かつ効率的な符号化を概して有するエントロピーエンコーダの中へそれから送られる量子化インデックスがまさに存在する。
【0103】
図１ａの音声エンコーダにおいて、しかしながら、クオンタイザ・プロセッサは、概してスペクトル・アナライザから第２のスペクトル部分に関する情報を受領する。このように、クオンタイザ・プロセッサ４０４は、クオンタイザ・プロセッサ４０４の出力において、スペクトル・アナライザ１０２によって識別される第２のスペクトル部分が、０であるか、又は、スペクトルにおいて０値の「走行」が特に存在する時に非常に効率的に符号化されうる０表現としてエンコーダまたはデコーダによって認知される表現を有することを確認する。
【0104】
図４ｂは、クオンタイザ・プロセッサの実施の形態を例示する。ＭＤＣＴスペクトル値は、０ブロック４１０のセットへの入力になりうる。それから、ブロック４１２のスケール・ファクタによる加重が実行される前に、第２のスペクトル部分はすでに０へのセットである。付加的な実施の形態において、ブロック４１０は設けられていない、しかし、０協力へのセットは、加重ブロック４１２に続くブロック４１８において実行される。更なる実施の形態において、０動作へのセットは、クオンタイザ・ブロック４２０における量子化に続く０ブロック４２２へのセットにおいて実行されることもできる。この実施の形態において、ブロック４１０および４１８は、存在しない。一般的に、ブロック４１０、４１８、４２２のうちの少なくとも１つは、特定の実施の形態に応じて設けられている。
【0105】
それから、ブロック４２２の出力で、量子化されたスペクトルは、図３ａにおいて例示されることに対応して得られる。この量子化されたスペクトルは、それから、例えばＵＳＡＣ標準において定められるようにハフマン・コーダまたは算数コーダでありえる図２ｂの２３２のようなエントロピー・コーダへの入力である。
【0106】
各々交代的に又は平行に設けられている０ブロック４１０、４１８、４２２へのセットは、スペクトル・アナライザ４２４によって制御される。スペクトル・アナライザは、好ましくは、周知の音調検出器のいかなる実施の形態も含むか、または、スペクトルを高解像度によって符号化される構成要素と低解像度によって符号化される構成要素とに分けるためのいかなる異なる種類の有効な検出器も含む。異なるスペクトル部分に対する解像度要件に関するスペクトル情報または関連するメタデータに応じて、スペクトル・アナライザにおいて実施される他の同様なアルゴリズムは、音声アクティビティ検出器、ノイズ検出器、スピーチ検出器、または決め手となるいかなる他の検出器でもありえる。
【0107】
例えば、ＡＡＣまたはＵＳＡＣにおいて実施されるように、図５ａは図１ａの時間スペクトル・コンバータ１００の好ましい実施の形態を例示する。時間スペクトル・コンバータ１００は、一時的な検出器５０４によって制御されるウィンドウア５０２を有する。一
時的な検出器５０４が一時的現象を検出するとき、ロング・ウィンドウからショート・ウィンドウへの切り替えはウィンドウアに信号を送られる。ウィンドウア５０２は、それから、ブロックに重なるために、ウィンドウ化されたフレームを算出する。ここで、ウィンドウ化された各フレームは、概して、例えば２０４８個の値のような２Ｎ個の値を有する。それから、ブロック変換器５０６の範囲内の変換は実行される、そして、このブロック変換器は概して付加的に衰退を提供する。その結果、合同の衰退／変換は、ＭＤＣＴスペクトル値のようなＮ個の値を伴うスペクトル・フレームを得るために実行される。このように、ロング・ウィンドウ・オペレーションのために、ブロック５０６の入力でのフレームは、２０４８個の値のような２Ｎ個の値を含み、そして、スペクトル・フレームはそれから１０２４個の値を有する。それから、しかしながら、スイッチはショート・ブロックまで実行される。そのとき、各ショート・ブロックがロング・ウィンドウと比較して１／８にウィンドウ化された時間領域値を有し、各スペクトル・ブロックはロング・ブロックと比較して１／８のスペクトル値を有するところで、８つのショート・ブロックは実行される。このように、この衰退がウィンドウアの５０％の重なり動作と結合されるときに、スペクトルは、時間領域音声信号９９の決定的にサンプルをとられたバージョンである。
時的な検出器５０４が一時的現象を検出するとき、ロング・ウィンドウからショート・ウィンドウへの切り替えはウィンドウアに信号を送られる。ウィンドウア５０２は、それから、ブロックに重なるために、ウィンドウ化されたフレームを算出する。ここで、ウィンドウ化された各フレームは、概して、例えば２０４８個の値のような２Ｎ個の値を有する。それから、ブロック変換器５０６の範囲内の変換は実行される、そして、このブロック変換器は概して付加的に衰退を提供する。その結果、合同の衰退／変換は、ＭＤＣＴスペクトル値のようなＮ個の値を伴うスペクトル・フレームを得るために実行される。このように、ロング・ウィンドウ・オペレーションのために、ブロック５０６の入力でのフレームは、２０４８個の値のような２Ｎ個の値を含み、そして、スペクトル・フレームはそれから１０２４個の値を有する。それから、しかしながら、スイッチはショート・ブロックまで実行される。そのとき、各ショート・ブロックがロング・ウィンドウと比較して１／８にウィンドウ化された時間領域値を有し、各スペクトル・ブロックはロング・ブロックと比較して１／８のスペクトル値を有するところで、８つのショート・ブロックは実行される。このように、この衰退がウィンドウアの５０％の重なり動作と結合されるときに、スペクトルは、時間領域音声信号９９の決定的にサンプルをとられたバージョンである。
【0108】
その後、参照は、図１ｂの、または、図２ａのブロック２０８、２１２の複合動作の周波数再生器１１６およびスペクトル時間コンバータ１１８の特定の実施の形態を例示している図５ｂになされる。図５ｂにおいて、特定の再構築バンドは、例えば図３ａのスケール・ファクタ・バンド６として考えられている。この再構築バンドにおける第１のスペクトル部分すなわち図３ａの第１のスペクトル部分３０６は、フレーム組立器／調整器ブロック５１０への入力である。さらにまた、スケール・ファクタ・バンド６に対する再構築された第２のスペクトル部分は、同様にフレーム組立器／調整器５１０への入力である。さらにまた、スケール・ファクタ・バンド６に対する図３ｂのＥ3のようなエネルギー情報は、ブロック５１０への入力でもある。再構築バンドにおける再構築された第２のスペクトル部分は、ソース範囲を使用する周波数タイル充填によってすでに発生した、そして、再構築バンドはそれからターゲット範囲に対応する。現在、フレームのエネルギー調整は、例えば、図２ａのコンバイナ２０８の出力で得られるようにＮ個の値を有する完全な再構築されたフレームを最終的に得るために実行される。ついで、ブロック５１２において、逆のブロック変換／補間は、例えばブロック５１２の入力での１２４スペクトル値に対する２４８時間領域値を得るために実行される。それから、合成ウィンドウイング動作は、符号化された音声信号におけるサイド情報として送信されるロング・ウィンドウ／ショート・ウィンドウ表示によって再び制御されるブロック５１４において実行される。それから、ブロック５１６において、以前の時間フレームを有する重なり／加算動作は、実行される。好ましくは、ＭＤＣＴは５０％の重なりを適用する。その結果、２Ｎ個の値の各新しい時間フレームごとに対して、Ｎ時間領域値が最後に出力される。５０％の重なりは、それがブロック５１６の重なり／加算動作のため１つのフレームから次のフレームまで重要なサンプリングと連続交差とを提供するという事実のため、非常に好まれる。
【0109】
図３ａの３０１で図示するように、ノイズ充填動作は、付加的に、ＩＧＦ開始周波数未満だけでなく、図３ａのスケール・ファクタ・バンド６と一致している熟考された再構築バンドに対するようなＩＧＦ開始周波数を超えても、適用されることができる。それから、ノイズ充填スペクトル値はフレーム組立器／調整器５１０への入力であることもでき、そして、ノイズ充填スペクトル値の調整はこのブロックの範囲内に適用されることもでき、または、ノイズ充填スペクトル値はフレーム組立器／調整器５１０への入力である前にノイズ充填エネルギーを使用してすでに調整されることができる。
【0110】
好ましくは、ＩＧＦ動作すなわち他の部分からのスペクトル値を使用している動作を充填している周波数タイルは、完全なスペクトルにおいて適用されることができる。このように、スペクトル・タイル充填動作は、ＩＧＦ開始周波数を超える高いバンドにおいて適
用されることができるだけでなく、低いバンドにおいて適用されることもできる。さらにまた、周波数タイル充填を伴わないノイズ充填は、ＩＧＦ開始周波数未満だけでなくＩＧＦ開始周波数を超えても適用されることもできる。しかしながら、ノイズ充填動作がＩＧＦ開始周波数未満の周波数範囲に制限されるとき、そして、図３ａにて図示するように周波数タイル充填動作がＩＧＦ開始周波数を超える周波数範囲に制限されるときに、高品質かつ高効率な音声符号化が得られることができるということが分かっている。
用されることができるだけでなく、低いバンドにおいて適用されることもできる。さらにまた、周波数タイル充填を伴わないノイズ充填は、ＩＧＦ開始周波数未満だけでなくＩＧＦ開始周波数を超えても適用されることもできる。しかしながら、ノイズ充填動作がＩＧＦ開始周波数未満の周波数範囲に制限されるとき、そして、図３ａにて図示するように周波数タイル充填動作がＩＧＦ開始周波数を超える周波数範囲に制限されるときに、高品質かつ高効率な音声符号化が得られることができるということが分かっている。
【0111】
好ましくは、ターゲット・タイル（ＴＴ）（ＩＧＦ開始周波数より大きい周波数を有する）は、フルレート・コーダのスケール・ファクタ・バンド境界に束縛されている。すなわち、ＩＧＦ開始周波数より低い周波数に対して、情報がとられる元となるソース・タイル（ＳＴ）は、スケール・ファクタ・バンド境界に束縛されない。ＳＴのサイズは、関係するＴＴのサイズに対応しなければならない。これは、次の例を使用して例示される。ＴＴ［０］は、１０ＭＤＣＴ Ｂｉｎｓの長さを有する。これは、正確に、２つの次のＳＣＢ（例えば４＋６）の長さに対応する。それから、また、ＴＴ［０］と相関しているすべての可能なＳＴは、１０の容器の長さを有する。ＴＴ［０］と隣接している第２のターゲット・タイルＴＴ［１］は、１５の容器ｌ（７＋８の長さを有するＳＣＢ）の長さを有する。それから、それのためのＳＴは、ＴＴ［０］に関しては、１０の容器よりむしろ１５の容器の長さを有する。
【0112】
ターゲット・タイルの長さを伴うＳＴに対してＴＴを誰も見つけられないというケース（例えば、ＴＴの長さが利用可能なソース範囲より大きいとき）が、仮に発生すれば、その場合は、相関は算出されず、そしてソース範囲は、ターゲット・タイルＴＴが完全に充填されるまではずっと、このＴＴに向かって複数の回数をコピーされる（コピーは順々に実行される。その結果、第２のコピーの最低周波数に対する周波数線は、直ちに、周波数において、第１のコピーの最も高い周波数に対する周波数線に続いて起こる。）。
【0113】
その後、参照は、図１ｂの周波数再生器１１６または図２ａのＩＧＦブロック２０２の更なる好ましい実施例を例示している図５ｃになされる。ブロック５２２は、ターゲット・バンドＩＤを受領しているだけでなく、加えて、ソース・バンドＩＤを受領している周波数タイル生成器である。模式的に、図３ａのスケール・ファクタ・バンド３がスケール・ファクタ・バンド７を再構築することに対して非常によく適しているということが、エンコーダ側で決定された。このように、ソース・バンドＩＤは２であり、そして、ターゲット・バンドＩＤは７である。この情報に基づいて、周波数タイル生成器５２２は、スペクトル構成要素５２３の生の第２の部分を生成するために、コピー・アップまたは倍音的タイル充填動作または他のいかなるタイル充填動作も適用する。スペクトル構成要素の生の第２の部分は、第１のスペクトル部分の第１のセットに含まれる周波数解像度と同一の周波数解像度を有する。
【0114】
それから、図３ａの３０７のような再構築バンドの第１のスペクトル部分は、フレーム組立器５２４への入力であり、そして、生の第２の部分５２３も、フレーム組立器５２４への入力である。それから、再構築されたフレームは、ゲイン・ファクタ計算機５２８によって算出される再構築バンドに対してゲイン・ファクタを使用している調整器５２６によって調整される。しかしながら、重要なことに、フレームにおける第１のスペクトル部分は調整器５２６によって影響されない、しかし、再構築フレームのための生の第２の部分のみは調整器５２６によって影響される。この目的で、最後に正しいゲイン・ファクタ５２７を発見するために、ゲイン・ファクタ計算機５２８はソース・バンドまたは生の第２の部分５２３を分析し、加えて、再構築バンドにおける第１のスペクトル部分を分析する。その結果、スケール・ファクタ・バンド７が考慮されるときに、調整器５２６により調整されたフレーム出力のエネルギーはエネルギーＥ4を有する。
【0115】
この状況において、ＨＥ－ＡＡＣと比較して本発明の高周波数再構築精度を評価することは、非常に重要である。これは、図３ａのスケール・ファクタ・バンド７に関して説明される。図１３ａにおいて例示されるような従来技術エンコーダが、「失われた倍音」として高解像度で符号化されるスペクトル部分３０７を検出することが、想定される。それから、このスペクトル構成要素のエネルギーは、スケール・ファクタ・バンド７のような再構築バンドに対するスペクトル・エンベロープ情報と共に、デコーダに送信される。それから、デコーダは、失われた倍音を再形成する。しかしながら、図１３ｂの従来技術デコーダによって失われた倍音３０７が再構築されるところであるスペクトル値は、再構築周波数３９０によって示される周波数でバンド７の中央である。このように、本発明は、図１３ｄの従来技術デコーダによって導かれる周波数エラー３９１を回避する。
【0116】
実施の形態において、スペクトル・アナライザも、第１のスペクトル部分と第２のスペクトル部分との類似点を算出するために実施され、そして、算出された類似点に基づいて、再構築範囲における第２のスペクトル部分に対して、できるだけ第２のスペクトル部分と合っている第１のスペクトル部分を決定するために実施される。それから、この可変的なソース範囲／デスティネーション（ｄｅｓｔｉｎａｔｉｏｎ）範囲の実施の形態において、パラメトリック・コーダは、付加的に、第２の符号化された表現に、デスティネーション（ｄｅｓｔｉｎａｔｉｏｎ）範囲ごとに対してマッチング・ソース範囲を示しているマッチング情報を導入する。デコーダ側で、それから、この情報は、ソース・バンドＩＤおよびターゲット・バンドＩＤに基づく生の第２の部分５２３の生成を例示している図５ｃの周波数タイル生成器５２２により用いられる。
【0117】
さらに、図３ａにおいて図示するように、スペクトル・アナライザは、サンプリング周波数の半分未満の少量だけであって、好ましくはサンプリング周波数の少なくとも１／４であるかまたは概してそれより大きい最大分析周波数まで、スペクトル表現を分析するように構成される。
【0118】
図示するように、エンコーダはダウン・サンプリングなしに動作し、そして、デコーダはアンサンプリングなしに動作する。換言すれば、スペクトル領域音声コーダは、オリジナルの入力音声信号のサンプリング・レートによって定義されるナイキスト周波数を有するスペクトル表現を生成するように構成される。
【0119】
さらに、図３ａにおいて図示するように、スペクトル・アナライザは、ギャップ充填開始周波数で開始し、スペクトル表現に含まれる最大周波数によって表現される最大周波数で終了するスペクトル表現を分析するように構成される。ここで、最小周波数からギャップ充填開始周波数まで伸びているスペクトル部分は、スペクトル部分の第１のセットに帰属し、そして、ギャップ充填周波数を超える周波数値を有する３０４、３０５、３０６、３０７のような更なるスペクトル部分は、付加的に、第１のスペクトル部分の第１のセットに含まれる。
【0120】
概説するように、第１の復号化された表現におけるスペクトル値によって表現される最大周波数が、第１のスペクトル部分の第１のセットにおける最大周波数に対するスペクトル値が０であるか０と異なるようなサンプリング・レートを有する時間表現に含まれる最大周波数と等しくなるように、スペクトル領域音声デコーダ１１２は構成される。いずれにせよ、スペクトル構成要素の第１のセットにおけるこの最大周波数に対して、スケール・ファクタ・バンドに対するスケール・ファクタが存在する。そして、それは、図３ａおよび３ｂの状況において述べられるように、このスケール・ファクタ・バンドにおける全てのスペクトル値が０にセットされるかどうかにかかわりなく、生成され、送信される。
【0121】
したがって、本発明は、圧縮効率、例えばノイズ置換およびノイズ充填（これらの技術
は、ローカル信号内容のようなノイズの効率的な表現に対するもののみである）を上昇するために、他のパラメータの技術に関して有利である。本発明は音の構成要素の正確な周波数再生を可能にする。現在までのところ、最先端の技術は、高バンド（ＨＦ）と低バンド（ＬＦ）とにおける固定されたアプリオリな分裂の制限のないスペクトル・ギャップ充填による任意の信号内容の効率的なパラメータの表現を述べない。
は、ローカル信号内容のようなノイズの効率的な表現に対するもののみである）を上昇するために、他のパラメータの技術に関して有利である。本発明は音の構成要素の正確な周波数再生を可能にする。現在までのところ、最先端の技術は、高バンド（ＨＦ）と低バンド（ＬＦ）とにおける固定されたアプリオリな分裂の制限のないスペクトル・ギャップ充填による任意の信号内容の効率的なパラメータの表現を述べない。
【0122】
本発明システムの実施例は、最先端の方法を改善し、そして、このことにより、低ビットレートに対してさえ高い圧縮効率と全くないかわずかな知覚的な不快感と完全な音声帯域幅とを提供する。
【0123】
一般のシステムは、次のものからなる。
・完全なバンド・コア符号化
・知的なギャップ充填（タイル充填又はノイズ充填）
・音のマスクにより選択されるコアにおけるまばらな音の部分
・タイル充填を含み完全なバンドに対して符号化する共同の（ｊｏｉｎｔ）ステレオ・ペア
・タイル上のＴＮＳ
・ＩＧＦ範囲におけるスペクトル白化
・完全なバンド・コア符号化
・知的なギャップ充填（タイル充填又はノイズ充填）
・音のマスクにより選択されるコアにおけるまばらな音の部分
・タイル充填を含み完全なバンドに対して符号化する共同の（ｊｏｉｎｔ）ステレオ・ペア
・タイル上のＴＮＳ
・ＩＧＦ範囲におけるスペクトル白化
【0124】
より効率的なシステムへの第１のステップは、スペクトル・データをコア・コーダの１つと異なる第２の変換領域に変換することの必要性を取り除くことである。例えばＡＡＣのような大多数の音声コーデックは基本的な変換としてＭＤＣＴを使用するように、ＭＤＣＴ領域においてＢＷＥを実行することもまた有用である。ＢＷＥシステムに対する第２の要件は、ＨＦ音の構成要素さえ保存され、かつ、符号化された音声の品質が既存のシステムよりこのように優れる手段である音のグリッドを保存する必要性である。上述した両方の要件を処理するために、知的なギャップ充填（ＩＧＦ）と呼ばれるシステムが、提案された。図２ｂはエンコーダ側の提案されたシステムのブロック図を示し、そして、図２ａはデコーダ側のシステムを示す。
【0125】
その後、後処理フレームワークは、本発明がこの後処理の実施例における高周波数再構築器１３３０において実施されることもできることを例示するために、１３Ａ図および図１３Ｂに関して記載されている。
【0126】
例えば、高効率ＡＡＣ（ＨＥ－ＡＡＣ）で使われるように、図１３ａは帯域幅拡張技術に対する音声エンコーダの概略図を例示する。線１３００での音声信号は、ロー・パス１３０２とハイ・パス１３０４とを有するフィルタシステムへの入力である。ハイ・パス・フィルタ１３０４による信号出力は、パラメータ抽出器／コーダ１３０６への入力である。パラメータ抽出器／コーダ１３０６は、例えば、スペクトル・エンベロープ・パラメータ、ノイズ加算パラメータ、失われた倍音パラメータまたは逆のフィルタリング・パラメータのようなパラメータを算出および符号化するように構成される。これらの抽出されたパラメータは、ビットストリーム・マルチプレクサ１３０８への入力である。ロー・パス出力信号は、ダウン・サンプラ１３１０およびコア・コーダ１３１２の機能を概して備えるプロセッサへの入力である。ロー・パス１３０２は、符号化される帯域幅を、線１３００上でオリジナルの入力音声信号において発生するものより著しく少ない帯域幅に制限する。コア・コーダに生じる全部の機能が、減らされた帯域幅を有する信号に作用しなければならないだけであるという事実のため、これは、重要な符号化ゲインを提供する。例えば、線１３００上の音声信号の帯域幅が２０ｋＨｚであるときに、そして、ロー・パス・フィルタ１３０２が模範的に４ｋＨｚの帯域幅を有するときに、サンプリング定理を満たすために、ダウン・サンプラに続く信号が８ｋＨｚのサンプリング周波数を有することは理論的に充分である。そして、それは、少なくとも４０ｋＨｚでなければならない音声
信号１３００に対して必要とされるサンプリング・レートへの相当な縮小である。
信号１３００に対して必要とされるサンプリング・レートへの相当な縮小である。
【0127】
図１３ｂは、対応する帯域幅拡張デコーダの概略図を例示する。デコーダは、ビットストリーム・マルチプレクサ１３２０を有する。ビットストリーム・デマルチプレクサ１３２０は、コア・デコーダ１３２２に対する入力信号とパラメータ・デコーダ１３２４に対する入力信号とを抽出する。上記の例において、コア・デコーダ出力信号は、８ｋＨｚのサンプリング・レートと、それゆえ、４ｋＨｚの帯域幅を有するが、一方、完全な帯域幅再構築のためには、高周波数再構築器１３３０の出力信号は、少なくとも４０ｋＨｚのサンプリング・レートを必要とする２０ｋＨｚでなければならない。これを可能にするために、アップサンプラ１３２５およびフィルタバンク１３２６の機能を有するデコーダ・プロセッサが、必要とされる。高周波数再構築器１３３０はそれから、フィルタバンク１３２６によって周波数分析された低周波数信号出力を受信し、高い周波数帯のパラメータの表現を使用している図１３ａのハイ・パス・フィルタ１３０４によって定義される周波数範囲を再構築する。高周波数再構築器１３３０は、低周波数範囲においてソース範囲を使用するより上の周波数範囲の再生成、スペクトル・エンベロープ調整、ノイズ加算機能およびより上の周波数範囲において失われた倍音を導入する機能のようないくつかの機能を有し、そして、図１３ａのエンコーダにおいて適用され算出される場合には、概して、より高い周波数範囲がより低い周波数範囲ほど音的ではないという事実の原因を説明するために逆のフィルタ動作を有する。ＨＥ－ＡＡＣにおいて、失われた倍音は、デコーダ側で再合成されて、再構築バンドの中央に正確に配置される。それゆえ、特定の再構築バンドにおいて決定されたすべての失われた倍音は、それらがオリジナル信号で位置されていた周波数値に配置されるというわけではない。その代わりに、それらの失われた倍音線は、特定のバンドの中央における周波数に配置される。このように、オリジナル信号の失われた倍音線がオリジナル信号の再構築バンド境界の非常に近くに配置されたときは、バンドの中央に再構築された信号のこの失われた倍音線を配置することによって導かれる周波数におけるエラーは、個々の再構築バンドの約５０％である。再構築バンドに対して、パラメータは生成され、送信されている。
【0128】
さらに、典型的音声コア・コーダがスペクトル領域において作動する場合であっても、それにもかかわらず、コア・デコーダは、それから再びフィルタバンク１３２６の機能によってスペクトル領域に変換される時間領域信号を生成する。これは、更なる処理遅延を導き、スペクトル領域から周波数領域への第１の変換と、概して異なる周波数領域への再度の変換とのタンデム処理により人工的な産物を導くことができ、そして、もちろん、これが、十分な量の計算複雑さとそれゆえ電力とをも必要とする。そして、それは、帯域幅拡張技術が携帯電話、タブレットまたはラップトップ・コンピュータ等のようなモバイル機器に適用されるときに、特に問題である。
【0129】
いくつかの態様が、符号化または復号化のための装置との関連で説明されるが、これらの態様も、対応する方法の説明を表現することは明らかであり、ここで、ブロックあるいはデバイスは、方法のステップまたは方法のステップの特徴に対応する。類似して、方法のステップとの関連で説明される態様はまた、対応するブロック、アイテムまたは対応する装置の特徴の説明を表現する。方法のステップのいくつかまたは全ては、たとえば、マイクロプロセッサ、プログラム可能なコンピュータ、または電子回路のようなハードウェア装置によって実行（または使用）されうる。いくつかの実施例において、最も重要な方法のステップの１つ以上は、そのような装置によって実行されうる
【0130】
特定の実施要件に応じて、本発明の実施例は、ハードウェアにおいて、または、ソフトウェアにおいて、実施されうる。その実施の形態は、そこに格納され電子的に読み込み可能な制御信号を有するデジタル記憶媒体、例えば、フロッピー（登録商標）ディスク、ハード・ディスク・ドライブ（ＨＤＤ）、ＤＶＤ、Ｂｌｕ－Ｒａｙ（登録商標）、ＣＤ、Ｒ
ＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、またはＦＬＡＳＨメモリのような非一時的記憶媒体を使用して実行されうる。それは、プログラミング可能なコンピュータ・システムと協働し（または、協働することができ）、その結果、それぞれの方法が実行される。したがって、デジタル記憶媒体は、コンピュータ読込可能でもよい。
ＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、またはＦＬＡＳＨメモリのような非一時的記憶媒体を使用して実行されうる。それは、プログラミング可能なコンピュータ・システムと協働し（または、協働することができ）、その結果、それぞれの方法が実行される。したがって、デジタル記憶媒体は、コンピュータ読込可能でもよい。
【0131】
本発明によるいくつかの実施例は、プログラミング可能なコンピュータ・システムと協働することができる電子的に読み込み可能な制御信号を有するデータキャリアを含む。その結果、本願明細書において記載される方法のうちの１つは実行される。
【0132】
一般的に、本発明の実施例は、プログラムコードを有するコンピュータ・プログラム製品として実施され、コンピュータ・プログラム製品がコンピュータ上で稼動する場合、当該プログラムコードは、方法のうちの１つを実行することに対して有効である。当該プログラムコードは、例えば、機械読込可能キャリア上に、格納されうる。
【0133】
他の実施例は、機械読込可能キャリアに格納され、本願明細書において記載される方法のうちの１つを実行するためのコンピュータ・プログラムを含む。
【0134】
換言すれば、したがって、コンピュータ・プログラムがコンピュータ上で稼動する場合、本発明の方法の実施例は、本願明細書において記載される方法のうちの１つを実行するためのプログラムコードを有するコンピュータ・プログラムである。
【0135】
したがって、本発明の方法の更なる実施例は、その上に記録され、本願明細書において記載される方法のうちの１つを実行するためのコンピュータ・プログラムを含むデータキャリア（または、デジタル記憶媒体、またはコンピュータ読込可能媒体）である。
【0136】
したがって、本発明の方法の更なる実施例は、本願明細書において記載される方法のうちの１つを実行するためのコンピュータ・プログラムを表現しているデータ・ストリームまたはシーケンスの信号である。例えば、データ・ストリームまたはシーケンスの信号は、データ通信接続を介して、例えば、インターネットを介して、転送されるように構成されていてもよい。
【0137】
更なる実施例は、本願明細書において記載される方法のうちの１つを実行するように構成され、または適応される処理手段、例えば、コンピュータまたはプログラマブル・ロジック・デバイスを含む。
【0138】
更なる実施例は、その上にインストールされ、本願明細書において記載される方法のうちの１つを実行するためのコンピュータ・プログラムを有するコンピュータを含む。
【0139】
本発明による更なる実施例は、本願明細書に記載される方法のうちの１つを実行するためのコンピュータ・プログラムをレシーバに（例えば、電子的にまたは光学的に）転送するように構成される装置またはシステムを含む。レシーバは、例えば、コンピュータ、モバイル機器、メモリ素子等でもよい。装置またはシステムは、例えば、レシーバにコンピュータ・プログラムを転送するためのファイル・サーバを含んでもよい。
【0140】
いくつかの実施例において、プログラマブル・ロジック・デバイス（例えば、フィールド・プログラマブル・ゲート・アレイ）は、本願明細書において記載される方法の機能のいくつかまたは全てを実行するために使用されていてもよい。いくつかの実施例において、フィールド・プログラマブル・ゲート・アレイは、本願明細書において記載される方法の１つを実行するために、マイクロプロセッサと協働してもよい。一般的に、当該方法は、いくつかのハードウェア装置によって、好ましくは実行される。
【0141】
上述した実施例は、本発明の原理のために、単に説明されているだけである。配置の修正変更および本願明細書において記載されている詳細は他の当業者にとって明らかであるものと理解される。したがって、間近に迫った特許請求の範囲だけによってのみ制限され、本願明細書において実施例の説明および説明として示される具体的な詳細によっては制限されないことが意図される。
【図1a】
【図1b】
【図2a】
【図2b】
【図3a】
【図3b】
【図4a】
【図4b】
【図5a】
【図5b】
【図5c】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13a】
【図13b】