特許 6240145 高周波数帯域幅拡張のための符号化／復号化装置及びその方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6240145

(24)【登録日】2017年11月10日

(45)【発行日】2017年11月29日

(54)【発明の名称】高周波数帯域幅拡張のための符号化／復号化装置及びその方法

(51)【国際特許分類】

   G10L 19/00 20130101AFI20171120BHJP

   G10L 19/02 20130101ALI20171120BHJP

   G10L 19/18 20130101ALI20171120BHJP

   G10L 21/0388 20130101ALI20171120BHJP

【ＦＩ】

   G10L19/00 400A

   G10L19/02 150

   G10L19/18

   G10L21/0388 100

【請求項の数】5

【全頁数】47

(21)【出願番号】特願2015-242633(P2015-242633)

(22)【出願日】2015年12月11日

(62)【分割の表示】特願2013-547347(P2013-547347)の分割

【原出願日】2011年12月28日

(65)【公開番号】特開2016-105174(P2016-105174A)

(43)【公開日】2016年6月9日

【審査請求日】2015年12月11日

(31)【優先権主張番号】10-2010-0138045

(32)【優先日】2010年12月29日

(33)【優先権主張国】KR

(31)【優先権主張番号】61/495,017

(32)【優先日】2011年6月9日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】503447036

【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】チュ，キ−ヒョン

(72)【発明者】

【氏名】オ，ウン−ミ

(72)【発明者】

【氏名】ソン，ホ−サン

【審査官】 岩田 淳

(56)【参考文献】

【文献】 特表２００９−５４１７９０（ＪＰ，Ａ）

【文献】 特表２０１０−５１２５５０（ＪＰ，Ａ）

【文献】 国際公開第２００５／１０４０９４（ＷＯ，Ａ１）

【文献】 特表２００９−５０６３６８（ＪＰ，Ａ）

【文献】 特表２０１０−５００８１９（ＪＰ，Ａ）

【文献】 特開平０８−２６３０９８（ＪＰ，Ａ）

【文献】 欧州特許出願公開第２２５９２５４（ＥＰ，Ａ２）

【文献】 特開２０１０−１９７８６２（ＪＰ，Ａ）

【文献】 特開２００９−１１６３７１（ＪＰ，Ａ）

【文献】 特開２００３−３０４２３８（ＪＰ，Ａ）

【文献】 Udar Mittal, et al.，Low Complexity Factorial Pulse Coding of MDCT Coefficients using Approximation of Combinatorial Func，IEEE International Conference on Acoustics, Speech and Signal Processing, 2007 (ICASSP 2007)，米国，IEEE，２００７年 ４月，Vol.1，pp.I-289 - I-292

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｌ １９／００−１９／０３８

Ｇ１０Ｌ ２１／０３８８

(57)【特許請求の範囲】

【請求項1】

入力信号の符号化モードがＣＥＬＰ（code excited linear prediction）モードと決定されれば、前記入力信号の低バンド信号の線形予測係数（ＬＰＣ）を利用して抽出されたＬＰＣ励起信号に対して、ＣＥＬＰ符号化を行うＣＥＬＰ符号化部と、
前記入力信号の低バンド信号のＬＰＣ励起信号に対してＣＥＬＰ符号化が行われれば、前記入力信号の高バンド信号に対してＴＤ（time domain）拡張符号化を行う ＴＤ拡張符号化部と、
前記入力信号の符号化モードがオーディオ符号化モードと決定されれば、前記入力信号の低バンド信号の線形予測係数（ＬＰＣ）を利用して抽出された
ＬＰＣ励起信号に対して、オーディオ符号化を行うオーディオ符号化部と、
前記入力信号の低バンド信号のＬＰＣ励起信号に対してオーディオ符号化が行われれば、前記入力信号の高バンド信号に対してＦＤ（frequency domain）拡張符号化を行うＦＤ拡張符号化部と、を含み、
前記ＦＤ拡張符号化部は、現在フレームがノントランジェント（non-transient）フレームに当る場合、前記現在フレームを構成する各バンドのエネルギーを調節し、調節されたエネルギーを量子化することを特徴とする符号化装置。

【請求項2】

前記ＦＤ拡張符号化部は、互いに異なるビット率に対して、同一のコードブックを共有して、エネルギー量子化を行うことを特徴とする請求項１に記載の符号化装置。

【請求項3】

前記ＦＤ拡張符号化部は、前記現在フレームの各バンドに対して、本来のスペクトルのトーナリティと基本励起スペクトルのトーナリティとの比率からエネルギー制御要素を求め、エネルギー制御要素を用いてエネルギーを調節することを特徴とする請求項１に記載の符号化装置。

【請求項4】

前記ＦＤ拡張符号化部は、知覚的重要度が高い低域周波数バンドに加重値を付与し、エネルギーをベクトル量子化することを特徴とする請求項１に記載の符号化装置。

【請求項5】

前記ＦＤ拡張符号化部は、知覚的重要度が高い低域周波数バンドに、高域周波数バンドより相対的に多くのビットを割り当ててエネルギーを量子化することを特徴とする請求項１に記載の符号化装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音声信号または音楽信号のようなオーディオ信号を符号化したり復号化する方法及び装置に係り、さらに詳細には、オーディオ信号のうち、高周波数領域に該当する信号を符号化したり復号化する方法及びその装置に関する。

【背景技術】

【0002】

高周波数領域に該当する信号は、低周波数領域に該当する信号に比べ、周波数の微細構造にさほど敏感ではない。従って、オーディオ信号を符号化するとき、可用ビットの制約を克服するために、コーディングの効率を高めなければならない場合、低周波数領域に対応する信号に、多くのビットを割り当てて符号化する一方、高周波数領域に対応する信号に相対的に少ないビットを割り当てて符号化する。

【0003】

このような方式が適用された技術が、ＳＢＲ（spectral band replication）である。ＳＢＲ技術は、高域成分信号を包絡線で表現し、これを復号化段階で合成する方式で、符号化効率を向上させる方式である。これは、人間の聴覚特性が高域信号に相対的に低い解像力を有するという事実に基づいたものである。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、ＳＢＲ技術において、高周波数領域の帯域幅を確張するための改善された方法を提供するものである。

【課題を解決するための手段】

【0005】

本発明の一実施形態による符号化装置は、入力信号をダウン・サンプリングするダウン・サンプリング部と、ダウン・サンプリングされた入力信号に対してコア符号化を行うコア符号化部と、前記入力信号を周波数変換する周波数変換部と、前記周波数領域の入力信号の基本信号を利用して、帯域幅拡張符号化を行う拡張符号化部と、を含んでもよい。

【0006】

本発明の他の一実施形態による符号化装置は、入力信号をダウン・サンプリングするダウン・サンプリング部と、ダウン・サンプリングされた入力信号に対してコア符号化を行うコア符号化部と、前記入力信号を周波数変換する周波数変換部と、前記入力信号の特性、及び前記周波数領域の入力信号の基本信号（basic signal）を利用して、帯域幅拡張符号化を行う拡張符号化部と、を含んでもよい。

【0007】

本発明のさらに他の実施形態による符号化装置は、周波数領域の入力信号と、時間領域の入力信号とを利用して、帯域幅拡張符号化の符号化モードを選択する符号化モード選択部と、前記周波数領域の入力信号と前記符号化モードとを利用して、帯域幅拡張符号化を行う拡張符号化部と、を含んでもよい。

【0008】

本発明の一実施形態による符号化装置の前記拡張符号化部は、前記周波数領域の入力信号の周波数スペクトルを利用して、前記周波数領域の入力信号の基本信号を生成する基本信号生成部と、前記基本信号を利用して、エネルギー制御要素（energy control factor）を推定する要素推定部と、前記周波数領域の入力信号からエネルギーを抽出するエネルギー抽出部と、前記エネルギー制御要素を利用して、前記抽出されたエネルギーを制御するエネルギー制御部と、前記制御されたエネルギーを量子化するエネルギー量子化部と、を含んでもよい。

【0009】

本発明の他の実施形態による符号化装置の前記拡張符号化部は、前記周波数領域の入力信号の周波数スペクトルを利用して、前記周波数領域の入力信号の基本信号を生成する基本信号生成部と、前記入力信号及び前記基本信号の特性を利用して、エネルギー制御要素を推定する要素推定部と、前記周波数領域の入力信号からエネルギーを抽出するエネルギー抽出部と、前記エネルギー制御要素を利用して、前記抽出されたエネルギーを制御するエネルギー制御部と、前記制御されたエネルギーを量子化するエネルギー量子化部と、を含んでもよい。

【0010】

本発明のさらに他の実施形態による符号化装置の拡張符号化部は、前記符号化モードに基づいて、周波数領域の入力信号からエネルギーを抽出するエネルギー抽出部と、前記符号化モードに基づいて、エネルギーを制御するエネルギー制御部と、前記符号化モードに基づいて、前記エネルギーを量子化するエネルギー量子化部と、を含んでもよい。

【0011】

本発明の一実施形態による符号化装置の前記基本信号生成部は、前記周波数領域の入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号（artificial signal）を生成する人工信号生成部と、ウィンドウを利用して、前記基本信号の包絡線を推定する包絡線推定部と、前記推定された包絡線を人工信号に適用する包絡線適用部と、を含んでもよい。

【0012】

本発明の一実施形態による符号化装置の前記要素推定部は、前記周波数領域の入力信号の高周波数領域のトーナリティを計算する第１トーナリティ計算部と、前記基本信号のトーナリティを計算する第２トーナリティ計算部と、前記入力信号の高周波数領域のトーナリティと、前記基本信号のトーナリティとを利用して、前記エネルギー制御要素を計算する要素計算部と、を含んでもよい。

【0013】

本発明の他の実施形態による符号化装置は、入力信号の特性を参照して、入力信号の符号化モードを決定する信号分類部と、前記入力信号の符号化モードが、ＣＥＬＰ（code excited linear prediction）符号化モードと決定されれば、前記入力信号の低周波信号に対して、ＣＥＬＰ符号化を行うＣＥＬＰ符号化部と、前記入力信号の低周波信号に対して、ＣＥＬＰ符号化が行われれば、前記入力信号の高周波信号に対して、拡張符号化を行うＴＤ（time domain）拡張符号化部と、前記入力信号の符号化モードがＦＤ（frequency domain）モードと決定されれば、前記入力信号を周波数変換する周波数変換部と、前記周波数変換された入力信号に対して、ＦＤ符号化を行うＦＤ符号化部と、を含んでもよい。

【0014】

本発明の他の実施形態による符号化装置の前記ＦＤ符号化部は、前記変換された入力信号に対して周波数バンド別にエネルギーを抽出し、抽出されたエネルギーを量子化する符号化部と、前記量子化されたNorm値で、前記変換された入力信号をスケーリングした値に対して、ＦＰＣ符号化を行うＦＰＣ（factorial pulse coding）符号化部と、前記ＦＰＣ符号化が行われることによるノイズ付加情報を生成するノイズ付加情報生成部と、を含み、前記ＦＤ符号化部に入力される変換された入力信号は、トランジェント・フレームであることを特徴とする。

【0015】

本発明の他の実施形態による符号化装置の前記ＦＤ符号化部は、前記変換された入力信号に対して、周波数バンド別にエネルギーを抽出し、抽出されたエネルギーを量子化するNorm符号化部と、前記量子化されたNorm値で、前記変換された入力信号をスケーリングした値に対して、ＦＰＣ符号化を行うＦＰＣ符号化部と、前記ＦＰＣ符号化が行われることによるノイズ付加情報を生成するノイズ付加情報生成部と、前記変換された入力信号の高周波信号に対して、拡張符号化を行うＦＤ拡張符号化部と、を含み、前記ＦＤ符号化部に入力される変換された入力信号は、ステーショナリ・フレームであることを特徴とする。

【0016】

本発明の他の実施形態による符号化装置のＦＤ符号化部のＦＤ拡張符号化部は、互いに異なるビット率に対して、同一のコードブックを共有してエネルギー量子化を行うことを特徴とする。

【0017】

本発明の他の実施形態による符号化装置の入力信号に対して、ＦＤ符号化が行われた結果によるビットストリームは、以前フレームモード情報を含んでもよい。

【0018】

本発明のさらに他の実施形態による符号化装置は、入力信号の特性を参照し、入力信号の符号化モードを決定する信号分類部と、前記入力信号の低周波信号から線形予測係数（ＬＰＣ：linear prediction coefficient）を抽出し、抽出された線形予測係数を量子化するＬＰＣ符号化部と、前記入力信号の符号化モードが、ＣＥＬＰモードと決定されれば、前記線形予測係数を利用して、抽出されたＬＰＣ励起信号に対して、ＣＥＬＰ符号化を行うＣＥＬＰ符号化部と、前記入力信号の低周波信号のＬＰＣ励起信号に対して、ＣＥＬＰ符号化が行われれば、前記入力信号の高周波信号に対して、拡張符号化を行うＴＤ拡張符号化部と、前記入力信号の符号化モードが、オーディオ符号化モードと決定されれば、前記線形予測係数を利用して、抽出されたＬＰＣ励起信号に対して、オーディオ符号化を行うオーディオ符号化部と、前記入力信号の低周波信号のＬＰＣ励起信号に対して、オーディオ符号化が行われれば、前記入力信号の高周波信号に対して、拡張符号化を行うＦＤ拡張符号化部と、を含んでもよい。

【0019】

本発明のさらに他の実施形態による符号化装置の前記ＦＤ拡張符号化部は、互いに異なるビット率に対して、同一のコードブックを共有してエネルギー量子化を行うことを特徴とする。

【0020】

本発明の一実施形態による復号化装置は、ビットストリームに含まれたコア符号化された入力信号をコア復号化するコア復号化部と、前記コア復号化された入力信号をアップ・サンプリングするアップ・サンプリング部と、前記アップ・サンプリングされた入力信号を周波数変換する周波数変換部と、前記ビットストリームに含まれた前記入力信号のエネルギーと、前記周波数領域の入力信号とを利用して、帯域幅拡張復号化を行う拡張復号化部と、を含んでもよい。

【0021】

本発明の一実施形態による復号化装置の前記拡張復号化部は、前記入力信号のエネルギーを逆量子化する逆量子化部と、前記周波数領域の入力信号を利用して、基本信号を生成する基本信号生成部と、前記逆量子化されたエネルギーと、前記基本信号のエネルギーとを利用して、前記基本信号に適用されるゲインを計算するゲイン計算部と、前記計算されたゲインを周波数バンド別に適用するゲイン適用部と、を含んでもよい。

【0022】

本発明の一実施形態による復号化装置の前記基本信号生成部は、前記周波数領域の入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号を生成する人工信号生成部と、前記ビットストリームに含まれたウィンドウを利用して、前記基本信号の包絡線を推定する包絡線推定部と、前記推定された包絡線を人工信号に適用する包絡線適用部と、を含んでもよい。

【0023】

本発明の他の実施形態による復号化装置は、ビットストリームに含まれたフレームそれぞれに係わるモード情報を検査するモード情報検査部と、前記検査結果によって、ＣＥＬＰ符号化されたフレームに対して、ＣＥＬＰ復号化を行うＣＥＬＰ復号化部と、前記ＣＥＬＰ復号化が行われた結果、及び低周波信号の励起信号のうち、少なくともいずれか一つを利用して、高周波数に係わる復号化信号を生成するＴＤ拡張復号化部と、前記検査結果によって、ＦＤ符号化されたフレームに対して、ＦＤ復号化を行うＦＤ復号化部と、前記ＦＤ復号化が行われた結果を周波数逆変換する周波数逆変換部、を含んでもよい。

【0024】

本発明の他の実施形態による復号化装置の前記ＦＤ復号化部は、前記ビットストリームのNorm情報を参照し、Norm復号化を行うNorm復号化部と、前記ビットストリームのＦＰＣ符号化情報に基づいて、ＦＰＣ復号化を行うＦＰＣ復号化部と、前記ＦＰＣ復号化が行われた結果に対して、ノイズ・フィリングを行うノイズ・フィリング遂行部と、を含んでもよい。

【0025】

本発明の他の実施形態による復号化装置の前記ＦＤ復号化部は、前記ビットストリームのNorm情報を参照し、Norm復号化を行うNorm復号化部と、前記ビットストリームのＦＰＣ符号化情報に基づいて、ＦＰＣ復号化を行うＦＰＣ復号化部と、前記ＦＰＣ復号化が行われた結果に対して、ノイズ・フィリングを行うノイズ・フィリング遂行部と、前記ＦＰＣ復号化及びノイズ・フィリングが行われた結果を利用して、高周波数拡張復号化を行うＦＤ高周波数拡張復号化部と、を含んでもよい。

【0026】

本発明の他の実施形態による復号化装置の前記ＦＤ復号化部は、ＦＰＣ復号化を行う周波数バンドの上位バンド値が、コア信号に対する周波数バンドの上位バンド値より小さい場合、前記ＦＰＣ復号化及びノイズ・フィリングが行われた結果に対して、拡張符号化を行うＦＤ低周波数拡張符号化部をさらに含んでもよい。

【0027】

本発明の他の実施形態による復号化装置のＦＤ復号化部の前記ＦＤ高周波数拡張復号化部は、互いに異なるビット率に対して、同一のコードブックを共有してエネルギー逆量子化を行うことを特徴とする。

【0028】

本発明の他の実施形態による復号化装置の前記ＦＤ復号化部は、ＦＤ符号化されたフレームに対して、前記ビットストリームに含まれた以前フレームモード情報を参照してＦＤ復号化を行うことを特徴とする。

【0029】

本発明のさらに他の実施形態による復号化装置は、ビットストリームに含まれたフレームそれぞれに係わるモード情報を検査するモード情報検査部と、前記ビットストリームに含まれたフレームに対して、ＬＰＣ復号化を行うＬＰＣ復号化部と、前記検査結果によって、ＣＥＬＰ符号化されたフレームに対して、ＣＥＬＰ復号化を行うＣＥＬＰ復号化部と、前記ＣＥＬＰ復号化が行われた結果、及び低周波信号の励起信号のうち、少なくともいずれか一つを利用して、高周波数に係わる復号化信号を生成するＴＤ拡張復号化部と、前記検査結果によって、オーディオ符号化されたフレームに対してオーディオ復号化を行うオーディオ復号化部と、前記オーディオ復号化が行われた結果を利用して、拡張復号化を行うＦＤ拡張復号化部と、を含んでもよい。

【0030】

本発明のさらに他の実施形態による復号化装置の前記ＦＤ拡張復号化部は、異なるビット率に対して、同一のコードブックを共有してエネルギー逆量子化を行うことを特徴とする。

【0031】

本発明の一実施形態による符号化方法は、入力信号をダウン・サンプリングする段階と、ダウン・サンプリングされた入力信号に対して、コア符号化を行う段階と、前記入力信号を周波数変換する段階と、前記周波数領域の入力信号の基本信号を利用して、帯域幅拡張符号化を行う段階と、を含んでもよい。

【0032】

本発明の他の実施形態による符号化方法は、入力信号をダウン・サンプリングする段階と、ダウン・サンプリングされた入力信号に対して、コア符号化を行う段階と、前記入力信号を周波数変換する段階と、前記入力信号の特性、及び前記周波数領域の入力信号の基本信号を利用して、帯域幅拡張符号化を行う段階と、を含んでもよい。

【0033】

本発明のさらに他の実施形態による符号化方法は、周波数領域の入力信号と、時間領域の入力信号とを利用して、帯域幅拡張符号化の符号化モードを選択する段階と、前記周波数領域の入力信号と前記符号化モードとを利用して、帯域幅拡張符号化を行う段階と、を含んでもよい。

【0034】

本発明の一実施形態による復号化方法は、ビットストリームに含まれたコア符号化された入力信号をコア復号化する段階と、前記コア復号化された入力信号をアップ・サンプリングする段階と、前記アップ・サンプリングされた入力信号を周波数変換する段階と、前記ビットストリームに含まれた前記入力信号のエネルギーと、前記周波数領域の入力信号とを利用して、帯域幅拡張復号化を行う段階と、を含んでもよい。

【0035】

本発明の他の実施形態による符号化方法は、入力信号の特性を参照し、入力信号の符号化モードを決定する段階と、前記入力信号の符号化モードが、ＣＥＬＰ符号化モードと決定されれば、前記入力信号の低周波信号に対して、ＣＥＬＰ符号化を行う段階と、前記入力信号の低周波信号に対して、ＣＥＬＰ符号化が行われれば、前記入力信号の高周波信号に対して、ＴＤ拡張符号化を行う段階と、前記入力信号の符号化モードがＦＤモードと決定されれば、前記入力信号を周波数変換する段階と、前記周波数変換された入力信号に対して、ＦＤ符号化を行う段階と、を含んでもよい。

【0036】

本発明の他の実施形態による符号化方法の前記ＦＤ符号化を行う段階は、互いに異なるビット率に対して、同一のコードブックを共有してエネルギー量子化を行うことを特徴とする。

【0037】

本発明の他の実施形態による符号化方法は、前記入力信号に対して、ＦＤ符号化が行われた結果によるビットストリームは、以前フレームモード情報を含んでもよい。

【0038】

本発明のさらに他の実施形態による符号化方法は、入力信号の特性を参照し、入力信号の符号化モードを決定する段階と、前記入力信号の低周波信号から線形予測係数（ＬＰＣ：linear prediction coefficient）を抽出し、抽出された線形予測係数を量子化する段階と、前記入力信号の符号化モードが、ＣＥＬＰモードと決定されれば、前記線形予測係数を利用して、抽出されたＬＰＣ励起信号に対して、ＣＥＬＰ符号化を行う段階と、前記入力信号の低周波信号のＬＰＣ励起信号に対して、ＣＥＬＰ符号化が行われれば、前記入力信号の高周波信号に対して、ＴＤ拡張符号化を行う段階と、前記入力信号の符号化モードがＦＤモードと決定されれば、前記線形予測係数を利用して、抽出されたＬＰＣ励起信号に対して、オーディオ符号化を行う段階と、前記入力信号の低周波信号のＬＰＣ励起信号に対して、ＦＤ符号化が行われれば、前記入力信号の高周波信号に対してＦＤ拡張符号化を行う段階と、を含んでもよい。

【0039】

本発明のさらに他の実施形態による符号化方法の前記ＦＤ拡張符号化を行う段階は、互いに異なるビット率に対して、同一のコードブックを共有してエネルギー量子化を行うことを特徴とする。

【0040】

本発明の他の実施形態による復号化方法は、ビットストリームに含まれたフレームそれぞれに係わるモード情報を検査する段階と、前記検査結果によって、ＣＥＬＰ符号化されたフレームに対して、ＣＥＬＰ復号化を行う段階と、前記ＣＥＬＰ復号化が行われた結果、及び低周波信号の励起信号のうち、少なくともいずれか一つを利用して、高周波数に係わる復号化信号を生成する段階と、前記検査結果によって、ＦＤ符号化されたフレームに対して、ＦＤ復号化を行う段階と、前記ＦＤ復号化が行われた結果を周波数逆変換する段階と、を含んでもよい。

【0041】

本発明の他の実施形態による復号化方法の前記ＦＤ復号化を行う段階は、互いに異なるビット率に対して、同一のコードブックを共有してエネルギー逆量子化を行うことを特徴とする。

【0042】

本発明の他の実施形態による復号化方法の前記ＦＤ復号化を行う段階は、ＦＤ符号化されたフレームに対して、前記ビットストリームに含まれた以前フレームモード情報を参照して、ＦＤ復号化を行うことを特徴とする。

【0043】

本発明のさらに他の実施形態による復号化方法は、ビットストリームに含まれたフレームそれぞれに係わるモード情報を検査する段階と、前記ビットストリームに含まれたフレームに対して、ＬＰＣ復号化を行う段階と、前記検査結果によって、ＣＥＬＰ符号化されたフレームに対して、ＣＥＬＰ復号化を行う段階と、前記ＣＥＬＰ復号化が行われた結果、及び低周波信号の励起信号のうち、少なくともいずれか一つを利用して、高周波数に係わる復号化信号を生成する段階と、前記検査結果によって、オーディオ符号化されたフレームに対して、オーディオ復号化を行う段階と、前記オーディオ復号化が行われた結果を利用して、ＦＤ拡張復号化を行う段階と、を含んでもよい。

【0044】

本発明のさらに他の実施形態による復号化方法の前記ＦＤ拡張復号化を行う段階は、互いに異なるビット率に対して、同一のコードブックを共有してエネルギー逆量子化を行うことを特徴とする。

【発明の効果】

【0045】

本発明の一実施形態によれば、入力信号の基本信号を抽出した後、入力信号の高周波数領域のトーナリティと、基本信号のトーナリティとを利用して、入力信号のエネルギーを制御することにより、高周波数領域の帯域幅を効率的に確張することができる。

【図面の簡単な説明】

【0046】

【図1】本発明の一実施形態による符号化装置及び復号化装置を図示した図面である。

【図2A】本発明の一実施形態による符号化装置の全体構成を図示したブロックダイヤグラムである。

【図2B】本発明の他の実施形態による符号化装置の全体構成を図示したブロックダイヤグラムである。

【図2C】本発明の一実施形態による符号化装置のＦＤ（frequency domain）符号化部を図示した図面である。

【図2D】本発明のさらに他の実施形態による符号化装置の全体構成を図示したブロックダイヤグラムである。

【図3】本発明の一実施形態によるコア符号化部を図示した図面である。

【図4】本発明の一実施形態による符号化装置の拡張符号化部を図示した図面である。

【図5】本発明の他の一実施形態による符号化装置の拡張符号化部を図示した図面である。

【図6】本発明の一実施形態による拡張符号化部の基本信号生成部を図示した図面である。

【図7】本発明の一実施形態による拡張符号化部の要素推定部を図示した図面である。

【図8】本発明の一実施形態によるエネルギー量子化部の動作を説明するための図面である。

【図9】本発明の一実施形態によって、エネルギーを量子化する過程を示した図面である。

【図10】本発明の一実施形態による人工信号を生成する過程を図示した図面である。

【図11A】本発明の一実施形態による包絡線推定のためのウィンドウを図示した図面である。

【図11B】本発明の一実施形態による包絡線推定のためのウィンドウを図示した図面である

【図12A】本発明の一実施形態による復号化装置を図示したブロックダイヤグラムである。

【図12B】本発明の他の実施形態による復号化装置を図示したブロックダイヤグラムである。

【図12C】本発明の一実施形態による復号化装置のＦＤ復号化部を図示した図面である。

【図12D】本発明のさらに他の実施形態による復号化装置を図示したブロックダイヤグラムである。

【図13】本発明の一実施形態による復号化装置の拡張復号化部を図示した図面である。

【図14】本発明の一実施形態による拡張復号化部の逆量子化部の動作を図示した図面である。

【図15A】本発明の一実施形態による符号化方法を図示したフローチャートである。

【図15B】本発明の他の実施形態による符号化方法を図示したフローチャートである。

【図15C】本発明のさらに他の実施形態による符号化方法を図示したフローチャートである。

【図16A】６Ａは本発明の一実施形態による復号化方法を図示したフローチャートである。

【図16B】本発明の他の実施形態による復号化方法を図示したフローチャートである。

【図16C】本発明のさらに他の実施形態による復号化方法を図示したフローチャートである。

【図17】本発明のさらに他の実施形態による符号化装置の全体構成を図示したブロックダイヤグラムである。

【図18】本発明のさらに他の実施形態による符号化装置のエネルギー量子化部が遂行する動作を図示した図面である。

【図19】本発明の一実施形態によって、不均衡ビット割り当て方法を利用して、エネルギーを量子化する過程を示した図面である。

【図20】本発明の一実施形態によって、イントラフレーム予測を利用したベクトル量子化を行う過程を図示した図面である。

【図21】本発明の一実施形態によって、周波数加重方法を利用して、エネルギーを量子化する過程を示した図面である。

【図22】本発明の一実施形態によって、マルチステージ・スプリットのベクトル量子化と、イントラフレーム予測とを利用したベクトル量子化を行う過程を図示した図面である。

【図23】本発明の一実施形態によって、復号化装置の逆量子化部が遂行する動作を図示した図面である。

【図24】本発明の一実施形態による符号化装置の他の構造を図示した図面である。

【図25】本発明の一実施形態によるビットストリームの一例を図示した図面である。

【図26】本発明の一実施形態による周波数帯域別周波数割り当ての一例を図示した図面である。

【図27】本発明の一実施形態によるＦＤ符号化部またはＦＤ復号化部で適用される周波数帯域の一例を図示した図面である。

【発明を実施するための形態】

【0047】

以下、本発明の実施形態について、添付された図面を参照して詳細に説明する。

【0048】

図１は、本発明の一実施形態による符号化装置及び復号化装置を図示した図面である。符号化装置１０１は、入力信号の基本信号（base signal）を生成し、復号化装置１０２に伝送することができる。基本信号は、低周波信号を基に生成され、低周波信号の包絡線情報が除去（whitening）された信号であるために、高周波帯域幅拡張のための励起信号（excitation signal）でもある。それにより、復号化装置１０２は、基本信号から入力信号を修復することができる。すなわち、符号化装置１０１と復号化装置１０２は、ＳＷＢ ＢＷＥ（super wide band bandwidth extension）を行う。具体的には、ＳＷＢ ＢＷＥは、低周波数領域である０〜６．４ＫＨｚのデコーディングされたＷＢ（wide band）信号を基に、ＳＷＢに対応する高周波数領域である６．４〜１６ＫＨｚ信号を生成することができる。このとき、１６ＫＨｚは、状況によって変動されもする。そして、デコーディングされたＷＢ信号は、ＬＰＤ（linear prediction domain）基盤のＣＥＬＰ（code excited linear prediction）によって、音声コーデック（speech codec）を介して生成された信号や、または周波数ドメインで量子化を行う方式によって生成された信号でもある。周波数ドメインで量子化する方式は、ＭＤＣＴ（modified discrete cosine transform）基盤で行うＡＡＣ（advanced audio coding）を有することができる。

【0049】

以下では、符号化装置１０１と復号化装置１０２との詳細動作について具体的に説明する。

【0050】

図２Ａは、本発明の一実施形態による符号化装置の全体構成を図示したブロックダイヤグラムである。図２Ａを参照すれば、符号化装置１０１は、ダウン・サンプリング部２０１、コア符号化部２０２、周波数変換部２０３及び拡張符号化部２０４を含んでもよい。

【0051】

ダウン・サンプリング部２０１は、ＷＢコーディングのために、入力信号をダウン・サンプリングすることができる。入力信号であるＳＷＢ信号は、一般的に、３２ＫＨｚサンプリング・レートを有する信号であるので、ＷＢコーディングに適するサンプリング・レートに変換することが必要である。一例として、ダウン・サンプリング部２０１は、３２ＫＨｚサンプリング・レートを示す入力信号を１２．８ＫＨｚにダウン・サンプリングすることができる。

【0052】

コア符号化部２０２は、ダウン・サンプリングされた入力信号をコア符号化することができる。すなわち、コア符号化部２０２は、ＷＢコーディングを行うことができる。一例として、コア符号化部２０２は、ＣＥＬＰ方式のＷＢコーディングを行うことができる。

【0053】

周波数変換部２０３は、入力信号を周波数変換することができる。一例として、周波数変換部２０３は、ＦＦＴ（fast Fourier transform）またはＭＤＣＴ（modified discrete cosing transform）のうちいずれか一つを利用して、入力信号を周波数変換することができる。以下では、ＭＤＣＴを適用したと仮定して説明する。

【0054】

拡張符号化部２０４は、周波数領域の入力信号の基本信号を利用して、帯域幅拡張符号化を行うことができる。すなわち、拡張符号化部２０４は、周波数領域の入力信号を基に、ＳＷＢ ＢＷＥ符号化を行うことができる。その場合、拡張符号化部２０４は、図４で、符号化情報を入力として受け取らない。

【0055】

また、拡張符号化部２０４は、周波数領域の入力信号の基本信号と入力信号との特性を利用して、帯域幅拡張符号化を行うことができる。その場合、入力信号の特性の出所によって、拡張符号化部２０４は、図４及び図５のようなブロックダイヤグラムで具体化されもする。

【0056】

拡張符号化部２０４の動作については、図４及び図５で具体的に説明する。

【0057】

結局、図２Ａで、上段経路（path）は、コア符号化過程を示し、下段経路（path）は、帯域幅拡張符号化過程を示す。特に、ＳＷＢ ＢＷＥ符号化過程を介して、入力信号のエネルギー情報が復号化装置１０２に伝達される。

【0058】

図２Ｂは、本発明の他の実施形態による符号化装置の全体構成を図示したブロックダイヤグラムである。図２Ｂを参照すれば、符号化装置１０１は、信号分類部２０５、ＣＥＬＰ符号化部２０６、ＴＤ（time domain）拡張符号化部２０７、周波数変換部２０８及びＦＤ（frequency domain）符号化部２０９を含んでもよい。

【0059】

信号分類部２０５は、入力信号の特性を参照し、入力信号の符号化モードを決定する。このとき、本実施形態による符号化モードは、符号化方式でなってもよい。

【0060】

例を挙げて説明すれば、信号分類部２０５は、入力信号の時間ドメイン特性と、周波数ドメイン特性とを考慮し、入力信号の符号化モードを決定することができる。また、信号分類部２０５は、入力信号の特性が音声信号に該当する場合、入力信号に対して、ＣＥＬＰ符号化が行われるように決定し、入力信号の特性がオーディオ信号に該当する場合、入力信号に対して、ＦＤ符号化が行われるように決定することができる。

【0061】

ただし、信号分類部２０５に入力される入力信号は、ダウン・サンプリング部（図示せず）によって、ダウン・サンプリングされた信号になってもよい。例を挙げて説明すれば、本実施形態による入力信号は、３２ｋＨｚまたは４８ｋＨｚのサンプリング・レートを有する信号をリサンプリング（re-sampling）することにより、１２．８ｋＨｚまたは１６ｋＨｚのサンプリング・レートを有する信号になってもよい。このとき、リサンプリングは、ダウン・サンプリングになってもよい。

【0062】

図２Ａで説明したように、３２ｋＨｚのサンプリング・レートを有する信号は、ＳＷＢ（super wide band）信号にもなり、このとき、ＳＷＢ信号は、fullband（ＦＢ）信号になってもよい。また、１６ｋＨｚのサンプリング・レートを有する信号は、ＷＢ信号になってもよい。

【0063】

このように、信号分類部２０５は、入力信号の低周波領域に対応する低周波信号の特性を参照し、低周波信号の符号化モードを、ＣＥＬＰモードまたはＦＤモードのうちいずれか一つに決定することができる。

【0064】

ＣＥＬＰ符号化部２０６は、入力信号の符号化モードが、ＣＥＬＰモードと決定されれば、入力信号の低周波信号に対して、ＣＥＬＰ符号化を行う。例を挙げて説明すれば、ＣＥＬＰ符号化部２０６は、入力信号の低周波信号から励起信号を抽出し、抽出された励起信号を、ピッチ（pitch）情報に該当するadaptive codebook contribution及びfixed codebook contributionそれぞれを考慮して、量子化することができる。

【0065】

ただし、それに限定されるものではなく、本実施形態によるＣＥＬＰ符号化部２０６は、入力信号の低周波信号から線形予測係数（ＬＰＣ：linear prediction coefficient）を抽出し、抽出された線形予測係数を量子化して、量子化された線形予測係数を利用して、励起信号を抽出する過程をさらに含んでもよい。

【0066】

また、本実施形態によるＣＥＬＰ符号化部２０６は、入力信号の低周波信号の特性による多様な符号化モードによって、ＣＥＬＰ符号化を行うことができる。例を挙げて説明すれば、ＣＥＬＰ符号化部２０６は、有声音符号化モード（voiced coding mode）、無声音符号化モード（unvoiced coding mode）、転移信号符号化モード（transition coding mode）または一般的な符号化モード（generic coding mode）のうちいずれか一つの符号化モードで、入力信号の低周波信号に対して、ＣＥＬＰ符号化を行うことができる。

【0067】

ＴＤ拡張符号化部２０７は、入力信号の低周波信号に対して、ＣＥＬＰ符号化が行われれば、入力信号の高周波信号に対して、拡張符号化を行う。例を挙げて説明すれば、ＴＤ拡張符号化部２０７は、入力信号の高周波領域に対応する高周波信号の線形予測係数を量子化する。このとき、ＴＤ拡張符号化部２０７は、入力信号の高周波信号の線形予測係数を抽出し、抽出された線形予測係数を量子化することもできる。また、本実施形態によるＴＤ拡張符号化部２０７は、入力信号の低周波信号の励起信号を使用し、入力信号の高周波信号の線形予測係数を生成することもできる。

【0068】

このように、ＴＤ拡張符号化部２０７は、ＴＤ高周波数拡張符号化部にもなるが、それに限定されるものではない。

【0069】

周波数変換部２０８は、入力信号の符号化モードが、ＦＤ符号化モードと決定されれば、入力信号を周波数変換する。例を挙げて説明すれば、周波数変換部２０８は、入力信号に対して、ＭＤＣＴなどのように、フレーム間で重畳される（overlap）周波数変換方式を使用することができるが、それに限定されるものではない。

【0070】

ＦＤ符号化部２０９は、周波数変換された入力信号に対して、ＦＤ符号化を行う。例を挙げて説明すれば、ＦＤ符号化部２０９は、周波数変換部２０８で変換された周波数スペクトルに対して、ＦＤ符号化を行うことができる。ＦＤ符号化部２０９について、以下、図２Ｃで詳細に説明する。

【0071】

本実施形態による符号化装置１０１は、入力信号を、前述のような符号化方法を使用して符号化されたビットストリームを出力することができる。例を挙げて説明すれば、入力信号が符号化されたビットストリームは、ヘッダ（header）及びペイロード（payload）を含んでもよい。

【0072】

このとき、ヘッダは、入力信号が符号化されたモードを示す符号化モード情報を含んでもよく、ペイロードは、入力信号が符号化されたモードによって、入力信号が、ＣＥＬＰモードで符号化された場合には、ＣＥＬＰ情報及びＴＤ高周波数拡張情報を含んでもよく、入力信号が、ＦＤモードで符号化された場合には、予測データ（prediction data）及びＦＤ情報を含んでもよい。

【0073】

ただし、本実施形態による符号化されたビットストリームは、フレームエラーが発生する場合に備えるために、ビットストリームのヘッダに、以前フレームのモード情報をさらに含んでもよい。例を挙げて説明すれば、ビットストリームのヘッダは、入力信号の符号化モードがＦＤモードと決定された場合、以前フレームのモード情報をさらに含んでもよい。これについては、以下の図２５でさらに詳細に説明する。

【0074】

このように、本実施形態による符号化装置１０１は、入力信号の特性によって、ＣＥＬＰモードまたはＦＤモードのうちいずれか１つの符号化モードを使用するようにスイッチングされることにより、入力信号の特性によって、適切な符号化モードを遂行することができる。また、本実施形態による符号化装置１０１は、信号分類部２０５の決定によって、ＦＤモードを使用することにより、高ビット率環境に適切な符号化を行うことができる。

【0075】

図２Ｃは、本発明の一実施形態による符号化装置のＦＤ符号化部を図示した図面である。図２Ｃを参照すれば、ＦＤ符号化部２０９は、Norm符号化部２０９１、ＦＰＣ（factorial pulse coding）符号化部２０９２、ノイズ付加情報生成部２０９３及びＦＤ拡張符号化部２０９４を含んでもよい。

【0076】

Norm符号化部２０９１は、周波数変換部２０８で変換された入力信号に対して、周波数バンド別にエネルギーを抽出し、抽出されたエネルギーを量子化する。また、Norm符号化部２０９１は、抽出されたエネルギーを基に、スケーリング（scaling）することができ、このとき、スケーリングされるエネルギー値は、量子化されもする。例を挙げて説明すれば、本実施形態によるエネルギー値は、エネルギー、パワーのように、周波数バンドのエネルギーと比例関係にある測定方式を使用して獲得することができる。

【0077】

Norm符号化部２０９１で量子化された結果によるNorm情報は、符号化されたビットストリームに含まれて復号化装置１０２に伝送されもする。

【0078】

例を挙げて説明すれば、Norm符号化部２０９１は、入力信号に対応する周波数スペクトルを、所定個数の周波数バンドに分割し、周波数スペクトルから分割された周波数バンド別にエネルギーを抽出し、抽出されたエネルギー値を量子化する。このように、量子化された値は、周波数スペクトルを正規化（normalization）するのに使用されもする。

【0079】

このとき、Norm符号化部２０９１は、量子化された値を符号化する過程をさらに遂行することもできる。

【0080】

ＦＰＣ符号化部２０９２は、量子化されたNorm値で、前記変換された入力信号をスケーリングした値に対して、ＦＰＣ符号化を行う。すなわち、ＦＰＣ符号化部２０９２は、Norm符号化部２０９１で正規化されたスペクトル値に対して、ＦＰＣ符号化を行うことができる。

【0081】

例を挙げて説明すれば、ＦＰＣ符号化部２０９２は、分割された周波数バンド別に可用ビット数を割り当て、正規化されたスペクトル値に対して、周波数バンド別に割り当てられたビット数によるＦＰＣ符号化を行う。かような場合、周波数バンド別に割り当てされるビット数は、ターゲットビット率（target bit rate）によって決定されもする。また、ＦＰＣ符号化部２０９２は、Norm符号化部２０９１で量子化されたNorm符号化値を使用して、周波数バンド別に割り当てられるビットを算出することもできる。かような場合、ＦＰＣ符号化部２０９２は、正規化されたスペクトルではない周波数変換されたスペクトルに対して、ＦＰＣ符号化を行うこともできる。

【0082】

ノイズ付加情報生成部２０９３は、ＦＰＣ符号化が行われることによるノイズ付加情報を生成する。例を挙げて説明すれば、ノイズ付加情報生成部２０９３は、ＦＰＣ符号化部２０９２で、周波数スペクトルに対するＦＰＣ符号化の遂行を参照し、適切なノイズレベルを生成する。

【0083】

このとき、ノイズ付加情報生成部２０９３で生成された付加情報は、復号化端で、ノイズ・フィリング（noise filling）を行う場合に参照するように、符号化されたビットストリームに含まれる。

【0084】

ＦＤ拡張符号化部２０９４は、入力信号の高周波信号に対して、拡張符号化を行う。さらに詳細に説明すれば、ＦＤ拡張符号化部２０９４は、低周波数スペクトルを利用して、高周波数拡張を行う。

【0085】

例を挙げて説明すれば、ＦＤ拡張符号化部２０９４は、入力信号の高周波領域に対応する高周波信号の周波数ドメインエネルギー情報の量子化を行う。このとき、ＦＤ拡張符号化部２０９４は、入力信号に対応する周波数スペクトルを、所定個数の周波数バンドに分割し、分割された周波数バンド別に、周波数スペクトルのエネルギーを獲得し、獲得されたエネルギーを利用して、ＭＳＶＱ（multi stage vector quantization）方式を遂行することができる。このとき、ＭＳＶＱ方式は、多段階ベクトル量子化されてもよい。

【0086】

さらに詳細に説明すれば、ＦＤ拡張符号化部２０９４は、所定個数の周波数バンドのうち、奇数番目バンドのエネルギー情報を集めてＶＱ（vector quantization）を行い、ＶＱを遂行した結果による量子化された値を利用して偶数番目バンドの予測エラーを獲得し、次のステージで獲得された予測エラーに対するＶＱを行うことができる。

【0087】

ただし、それに限定されるものではなく、ＦＤ拡張符号化部２０９４は、偶数番目バンドのエネルギー情報を集めてＶＱを行い、ＶＱを行った結果による量子化された値を利用して、奇数番目バンドの予測エラーを獲得することもできる。

【0088】

すなわち、ＦＤ拡張符号化部２０９４は、第ｎ番目バンドにＶＱを行った結果による量子化された値と、第（ｎ＋２）番目バンドにＶＱを行った結果による量子化された値を利用して、第（ｎ＋１）番目バンドに対する予測エラーを獲得する。このとき、ｎは自然数になってもよい。

【0089】

また、ＦＤ拡張符号化部２０９４で、エネルギー情報を集めてＶＱを行うにあたり、ＦＤ拡張符号化部２０９４は、所定の周波数バンドで励起信号を生成する方式をシミュレーション（simulation）し、シミュレーション結果による励起信号の特性と、前記所定の周波数バンドの原信号の特性とが異なれば、エネルギーを調節することができる。このとき、シミュレーション結果による励起信号の特性及び原信号の特性は、トーナリティ（tonality）及びnoiseness factorのうち少なくともいずれか一つにもなるが、それに限定されるものではない。このように、復号化端で、実際エネルギーのような復号化を行ったとき、ノイズが増加する現象を防止することができる。

【0090】

ＦＤ拡張符号化部２０９４は、入力信号の高周波信号の特性によって、多様な励起信号生成方式を使用するマルチモード高周波拡張（multi mode bandwidth extension）方式を使用することができる。例を挙げて説明すれば、ＦＤ拡張符号化部２０９４は、入力信号の特性によって、フレーム別に、ノルマル（normal）・モード、ハーモニック・（harmonic）モードまたはノイズ（noise）・モードのうちいずれか１つのモードを使用して、励起信号を生成することができる。

【0091】

また、本実施形態によるＦＤ拡張符号化部２０９４は、ビット率によって、互いに異なる周波数帯域に対する信号を生成することができる。すなわち、ＦＤ拡張符号化部２０９４で、拡張符号化が行われる高周波信号に対応する高周波数帯域は、ビット率によって、互いに異なって設定される。

【0092】

例を挙げて説明すれば、ＦＤ拡張符号化部２０９４は、１６ｋｂｐｓのビット率では、約６．４ないし１４．４ｋＨｚの周波数帯域に該当する信号を生成するのに使用され、１６ｋｂｐｓ以上のビット率では、約８ないし１６ｋＨｚの周波数帯域に該当する信号を生成するのに使用される。また、ＦＤ拡張符号化部２０９４は、１６ｋｂｐｓのビット率では、約６．４ないし１４．４ｋＨｚの周波数帯域に該当する高周波信号に対して拡張符号化を行い、１６ｋｂｐｓ以上のビット率では、約８ないし１６ｋＨｚの周波数帯域に該当する高周波信号に対して、拡張符号化を行う。

【0093】

かような場合、本実施形態によるＦＤ拡張符号化部２０９４は、互いに異なるビット率に対して、同一のコードブックを共有して、エネルギー量子化を行うことができる。これについては、以下の図２６で、さらに詳細に説明する。

【0094】

また、本実施形態によるＦＤ符号化部２０９は、ステーショナリ・フレームが入力される場合、Norm符号化部２０９１、ＦＰＣ符号化部２０９２、ノイズ付加情報生成部２０９３及びＦＤ拡張符号化部２０９４それぞれによる動作が遂行されもする。

【0095】

ただし、トランジェント（transient）フレームが入力される場合、本実施形態によるＦＤ符号化部２０９で、ＦＤ拡張符号化部２０９４は、動作しないこともある。かような場合、ＦＤ符号化部２０９のNorm符号化部２０９１及びＦＰＣ符号化部２０９２は、ステーショナリ・フレームが入力される場合より、ＦＰＣコーディングを行う周波数帯域の上位バンド値（Ｆcore）をさらに高く適用することができる。Ｆcore値については、以下の図２７で、さらに詳細に説明する。

【0096】

図２Ｄは、本発明のさらに他の実施形態による符号化装置の全体構成を図示したブロックダイヤグラムである。図２Ｄを参照すれば、符号化装置１０１は、信号分類部２１０、ＬＰＣ符号化部２１１、ＣＥＬＰ符号化部２１２、ＴＤ拡張符号化部２１３、オーディオ符号化部２１４及びＦＤ拡張符号化部２１５を含んでもよい。

【0097】

信号分類部２１０は、入力信号の特性を参照し、入力信号の符号化モードを決定する。このとき、本実施形態による符号化モードは、符号化方式でなってもよい。

【0098】

例を挙げて説明すれば、信号分類部２１０は、入力信号の時間ドメイン特性と、周波数ドメイン特性とを考慮し、入力信号の符号化モードを決定することができる。また、信号分類部２０５は、入力信号の特性が音声信号に該当する場合、入力信号に対して、ＣＥＬＰ符号化が行われるように決定し、入力信号の特性がオーディオ信号に該当する場合、入力信号に対して、オーディオ符号化が行われるように決定することができる。

【0099】

ＬＰＣ符号化部２１１は、入力信号の低周波信号から、線形予測係数（ＬＰＣ：linear prediction coefficient）を抽出し、抽出された線形予測係数を量子化する。例を挙げて説明すれば、本実施形態によるＬＰＣ符号化部２１１は、ＴＣＱ（trellis coded quantization）方式、ＭＳＶＱ（multi-stage vector quantization）方式、ＬＶＱ（lattice vector quantization）方式などを使用し、線形予測係数を量子化することができるが、それらに限定されるものではない。

【0100】

さらに詳細に説明すれば、ＬＰＣ符号化部２１１は、３２ｋＨｚまたは４８ｋＨｚのサンプリング・レートを有する入力信号を、リサンプリング（re-sampling）することにより、１２．８ｋＨｚまたは１６ｋＨｚのサンプリング・レートを有する入力信号の低周波信号から、線形予測係数を抽出することができる。

【0101】

図２Ａ及び図２Ｂで説明したように、３２ｋＨｚのサンプリング・レートを有する信号は、ＳＷＢ（super wide band）信号にもなり、このとき、ＳＷＢ信号は、fullband（ＦＢ）信号になってもよい。また、１６ｋＨｚのサンプリング・レートを有する信号は、ＷＢ信号になってもよい。

【0102】

また、ＬＰＣ符号化部２１１は、量子化された線形予測係数を利用して、ＬＰＣ励起信号を抽出する過程をさらに含んでもよいが、それに限定されるものではない。

【0103】

ＣＥＬＰ符号化部２１２は、入力信号の符号化モードが、ＣＥＬＰモードと決定されれば、線形予測係数を利用して、抽出されたＬＰＣ励起信号に対して、ＣＥＬＰ符号化を行う。例を挙げて説明すれば、ＣＥＬＰ符号化部２１２は、ＬＰＣ励起信号に対してピッチ情報に該当するadaptive codebook contribution及びfixed codebook contributionそれぞれを考慮して、量子化することができる。このとき、ＬＰＣ励起信号は、ＣＥＬＰ符号化部２１２及びＬＰＣ符号化部２１１のうち少なくともいずれか一つで生成される。

【0104】

また、本実施形態によるＣＥＬＰ符号化部２１２は、入力信号の低周波信号の特性による多様な符号化モードによって、ＣＥＬＰ符号化を行うことができる。例を挙げて説明すれば、ＣＥＬＰ符号化部２０６は、有声音符号化モード（voiced coding mode）、無声音符号化モード（unvoiced coding mode）、転移信号符号化モード（transition coding mode）または一般的な符号化モード（generic coding mode）のうちいずれか１つの符号化モードで、入力信号の低周波信号に対して、ＣＥＬＰ符号化を行うことができる。

【0105】

ＴＤ拡張符号化部２１３は、入力信号の低周波信号のＬＰＣ励起信号に対して、ＣＥＬＰ符号化が行われれば、前記入力信号の高周波信号に対して、拡張符号化を行う。

【0106】

例を挙げて説明すれば、ＴＤ拡張符号化部２１３は、入力信号の高周波信号の線形予測係数を量子化する。このとき、本実施形態によるＴＤ拡張符号化部２１３は、入力信号の低周波信号のＬＰＣ励起信号を使用し、入力信号の高周波信号の線形予測係数を抽出することもできる。

【0107】

このように、ＴＤ拡張符号化部２１３は、ＴＤ高周波数拡張符号化部にもなるが、それに限定されるものではない。

【0108】

オーディオ符号化部２１４は、入力信号の符号化モードが、オーディオ符号化モードと決定されれば、線形予測係数を利用して、抽出されたＬＰＣ励起信号に対して、オーディオ符号化を行う。

【0109】

例を挙げて説明すれば、オーディオ符号化部２１４は、線形予測係数を利用して、抽出されたＬＰＣ励起信号を周波数変換して、変換されたＬＰＣ励起信号を量子化する。

【0110】

オーディオ符号化部２１４で、周波数変換を行うにあたり、ＤＣＴ（discrete cosine transform）のように、フレーム間で重畳される領域が存在しない周波数変換方式を使用することができる。また、オーディオ符号化部２１４は、周波数変換された励起信号スペクトルに対して、ＦＰＣ方式またはLattice ＶＱ（ＬＶＱ）方式でよる量子化を行うことができる。

【0111】

さらには、オーディオ符号化部２１４は、ＬＰＣ励起信号に対して量子化を行うにあたってビットの余裕がある場合、adaptive codebook contribution及びfixed codebook contributionのＴＤコーディング情報をさらに考慮し、量子化することもできる。

【0112】

ＦＤ拡張符号化部２１５は、入力信号の低周波信号のＬＰＣ励起信号に対して、オーディオ符号化が行われれば、入力信号の高周波信号に対して、拡張符号化を行う。すなわち、ＦＤ拡張符号化部２１５は、低周波数スペクトルを利用して、高周波数拡張を行う。

【0113】

例を挙げて説明すれば、ＦＤ拡張符号化部２１５は、入力信号の高周波領域に対応する高周波信号の周波数ドメインエネルギー情報の量子化を行う。このとき、ＦＤ拡張符号化部２１５は、ＭＤＣＴのような周波数変換方式を使用して、周波数スペクトルを生成し、周波数スペクトルを、所定個数の周波数バンドに分割し、分割された周波数バンド別に、周波数スペクトルのエネルギーを獲得し、獲得されたエネルギーを利用して、ＭＳＶＱ（multi stage vector quantization）方式を遂行することができる。このとき、ＭＳＶＱ方式は、多段階ベクトル量子化されてもよい。

【0114】

さらに詳細に説明すれば、ＦＤ拡張符号化部２１５は、所定個数の周波数バンドのうち、奇数番目バンドのエネルギー情報を集めてＶＱを行い、ＶＱを行った結果による量子化された値を利用して、偶数番目バンドの予測エラーを獲得し、次のステージで、獲得された予測エラーに対するＶＱを行うことができる。

【0115】

ただし、それに限定されるものではなく、ＦＤ拡張符号化部２１５は、偶数番目バンドのエネルギー情報を集めてＶＱを行い、ＶＱを行った結果による量子化された値を利用して、奇数番目バンドの予測エラーを獲得することもできる。

【0116】

すなわち、ＦＤ拡張符号化部２１５は、第ｎ番目バンドにＶＱを行った結果による量子化された値と、第（ｎ＋２）番目バンドにＶＱを行った結果による量子化された値とを利用して、第（ｎ＋１）番目バンドに対する予測エラーを獲得する。このとき、ｎは自然数になる。

【0117】

また、ＦＤ拡張符号化部２１５で、エネルギー情報を集めてＶＱを行うにあたって、ＦＤ拡張符号化部２１５は、所定の周波数バンドで励起信号を生成する方式をシミュレーションし、シミュレーション結果による励起信号の特性と、前記所定の周波数バンドの原信号の特性とが異なれば、エネルギーを調節することができる。このとき、シミュレーション結果による励起信号の特性及び原信号の特性は、トーナリティ及びnoisenessf actorのうち少なくともいずれか一つにもなるが、それらに限定されるものではない。このように、復号化端で、実際エネルギーのようなものの復号化を行ったとき、ノイズが増加する現象を防止することができる。

【0118】

ＦＤ拡張符号化部２１５は、入力信号の高周波信号の特性によって、多様な励起信号生成方式を使用するマルチモード高周波拡張方式を使用することができる。例を挙げて説明すれば、ＦＤ拡張符号化部２１５は、入力信号の特性によって、フレーム別に、ノルマル・モード、ハーモニック・モード、転移モードまたはノイズ・モードのうちいずれか１つのモードを使用して、励起信号を生成することができる。かような場合、転移モードでは、temporal envelope情報も共に量子化される。

【0119】

また、本実施形態によるＦＤ拡張符号化部２１５は、ビット率によって、互いに異なる周波数帯域に対する信号を生成することができる。すなわち、ＦＤ拡張符号化部２１５で、拡張符号化が行われる高周波信号に対応する高周波数帯域は、ビット率によって、互いに異なって設定されもする。

【0120】

例を挙げて説明すれば、ＦＤ拡張符号化部２１５は、１６ｋｂｐｓのビット率では、約６．４ないし１４．４ｋＨｚの周波数帯域に該当する信号を生成するのに使用され、１６ｋｂｐｓ以上のビット率では、約８ないし１６ｋＨｚの周波数帯域に該当する信号を生成するのに使用される。また、ＦＤ拡張符号化部２１５は、１６ｋｂｐｓのビット率では、約６．４ないし１４．４ｋＨｚの周波数帯域に該当する高周波信号に対して拡張符号化を行い、１６ｋｂｐｓ以上のビット率では、約８ないし１６ｋＨｚの周波数帯域に該当する高周波信号に対して、拡張符号化を行う。

【0121】

かような場合、本実施形態によるＦＤ拡張符号化部２１５は、互いに異なるビット率に対して、同一のコードブックを共有して、エネルギー量子化を行うことができる。これについては、以下の図２６で、さらに詳細に説明する。

【0122】

本実施形態による符号化装置１０１は、入力信号を、前述のような符号化方法を使用して符号化されたビットストリームを出力することができる。例を挙げて説明すれば、入力信号が符号化されたビットストリームは、ヘッダ及びペイロードを含んでもよい。

【0123】

このとき、ヘッダは、入力信号が符号化されたモードを示す符号化モード情報を含んでもよく、ペイロードは、入力信号が符号化されたモードによって、入力信号がＣＥＬＰモードで符号化された場合には、ＣＥＬＰ情報及びＴＤ高周波数拡張情報を含んでもよく、入力信号がオーディオ符号化モードで符号化された場合には、予測データ、オーディオ符号化情報及びＦＤ高周波数拡張情報を含んでもよい。

【0124】

入力信号の特性によって、ＣＥＬＰモードまたはオーディオ符号化モードのうちいずれか１つの符号化モードを使用するように、スイッチングされることにより、入力信号の特性によって、適切な符号化モードを遂行することができる。また、本実施形態による符号化装置１０１は、信号分類部２１０の決定によって、ＦＤモードを使用することにより、低ビット率環境に適切な符号化を行うことができる。

【0125】

図３は、本発明の一実施形態によるコア符号化部を図示した図面である。図３を参照すれば、コア符号化部２０２は、信号分類部３０１及び符号化部３０２を含んでもよい。

【0126】

信号分類部３０１は、ダウンサンプリングされた入力信号（１２．８ＫＨｚ）の特性を分類することができる。すなわち、信号分類部３０１は、入力信号の特性によって、入力信号を多様な符号化モードに分類することができる。例えば、ＩＴＵ−Ｔ Ｇ．７１８コーデックで、信号分類部３０１は、音声信号を有声音符号化モード、無声音符号化モード、転移信号符号化モード、そして一般的な信号符号化モードに分類することができる。ここで、無声音符号化モードは、無声音フレームと、ほとんどのinactive frameとを符号化するために設計されている。

【0127】

符号化部３０２は、信号分類部３０１で分類された入力信号の特性によって最適化されたコーディングを行うことができる。

【0128】

図４は、本発明の一実施形態による符号化装置の拡張符号化部を図示した図面である。図４を参照すれば、拡張符号化部２０４は、基本信号生成部４０１、要素推定部４０２、エネルギー抽出部４０３、エネルギー制御部４０４及びエネルギー量子化部４０５を含んでもよい。一例として、拡張符号化部２０４は、符号化モードを入力されずに、エネルギー制御要素を推定することができる。他の一例として、拡張符号化部２０４は、符号化モードを利用して、エネルギー制御要素を推定することができる。このとき、符号化モードは、コア符号化部２０２から入力されもする。

【0129】

基本信号生成部４０１は、周波数領域の入力信号の周波数スペクトルを利用して、入力信号の基本信号（basic signal）を生成することができる。基本信号は、ＷＢ信号を基に、ＳＷＢ ＢＷＥを行うための信号を意味する。言い替えれば、基本信号は、低周波領域のfine structureを構成する信号を意味する。基本信号を生成する過程は、図６でさらに具体的に説明する。

【0130】

一例として、要素推定部４０２は、基本信号を利用して、エネルギー制御要素（energy control factor）を推定することができる。すなわち、符号化装置１０１は、復号化装置１０２で、ＳＷＢ領域の信号を生成するために、入力信号のエネルギー情報を伝送する。このとき、要素推定部４０２は、エネルギー情報を知覚的な（perceptual）観点から制御するために、エネルギーを制御するためのパラメータであるエネルギー制御要素を推定することができる。エネルギー制御要素を推定する過程は、図７で具体的に説明する。

【0131】

他の一例として、要素推定部４０２は、基本信号と入力信号との特性を利用して、エネルギー制御要素を推定することができる。このとき、入力信号の特性は、コア符号化部２０２から入力される。

【0132】

エネルギー抽出部４０３は、周波数領域の入力信号からエネルギーを抽出することができる。抽出されたエネルギーは、復号化装置１０２に伝送される。エネルギーは、周波数バンド別に抽出されもする。

【0133】

エネルギー制御部４０４は、エネルギー制御要素を利用して、入力信号から抽出されたエネルギーを制御することができる。すなわち、エネルギー制御部４０４は、周波数バンド別に抽出されたエネルギーに、エネルギー制御要素を適用することにより、エネルギーを制御することができる。

【0134】

エネルギー量子化部４０５は、制御されたエネルギーを量子化することができる。エネルギーは、ｄＢ scaleで変換されて量子化が行われる。具体的には、エネルギー量子化部４０５は、全体エネルギーであるグローバル（globaｌ）エネルギーを求め、グローバルエネルギー、及び周波数バンド別エネルギーとグローバルエネルギーとの差をスカラ量子化することができる。または、最初のバンドは、エネルギーを直接量子化し、２番目以後のバンドは、以前バンドとの差を量子化することができる。また、エネルギー量子化部４０５は、周波数バンドの差値を利用せずに、周波数バンド別に、エネルギーを直接量子化することもできる。周波数バンド別に、エネルギーを直接量子化する場合、スカラ量子化またはベクトル量子化が利用されもする。エネルギー量子化部４０５については、図８及び図９で具体的に説明する。

【0135】

図５は、本発明の他の一実施形態による符号化装置の拡張符号化部を図示した図面である。図５の拡張符号化部２０４は、図４と異なり、信号分類部５０１をさらに含む。一例として、要素推定部４０２は、基本信号と入力信号との特性を利用して、エネルギー制御要素を推定することができる。このとき、入力信号の特性は、コア符号化部２０２から入力されるのではなく、信号分類部５０１から入力される。

【0136】

信号分類部５０１は、入力信号（３２ＫＨｚ、ＭＤＣＴスペクトル）を利用して、入力信号を特性によって分類することができる。具体的には、信号分類部５０１は、入力信号を、特性によって、多様な符号化モードに分類することができる。

【0137】

入力信号の特性が分類されることにより、エネルギー制御要素推定過程において、適する信号に対してのみエネルギー制御要素が推定され、またエネルギーが制御される。例えば、ノイズ信号や無声音信号のように、トーナル成分を含まない信号は、エネルギー制御要素推定過程に適さない。このとき、拡張符号化部２０４は、入力信号が無声音符号化モードに分類された場合、拡張符号化部２０４は、エネルギー制御要素を推定せずに、帯域幅拡張符号化を行うことができる。

【0138】

図５で、基本信号生成部４０１、要素推定部４０２、エネルギー抽出部４０３、エネルギー制御部４０４及びエネルギー量子化部４０５に係わる説明は、図４を参照することができる。

【0139】

図６は、本発明の一実施形態による拡張符号化部の基本信号生成部を図示した図面である。図６を参照すれば、基本信号生成部４０１は、人工信号生成部６０１、包絡線適用部６０２及び包絡線推定部６０３を含んでもよい。

【0140】

人工信号生成部６０１は、周波数領域の入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号（artificial signal）を生成することができる。すなわち、人工信号生成部６０１は、周波数領域の入力信号の低周波数スペクトルをコピーし、ＳＷＢ領域の人工信号を生成することができる。人工信号を生成する具体的な過程は、図６で説明する。

【0141】

包絡線推定部６０２は、ウィンドウを利用して、基本信号の包絡線を推定することができる。基本信号の包絡線は、ＳＷＢ領域の人工信号の周波数スペクトルに含まれている低周波数領域の包絡線情報を除去するために使用される。特定周波数インデックスの包絡線は、特定周波数の以前と以後との周波数スペクトルを使用して決定されもする。そして、動き平均（moving average）を介して、包絡線が推定される。一例として、周波数変換時にＭＤＣＴが使用されるならば、ＭＤＣＴ変換された周波数スペクトルの絶対値を介して、基本信号の包絡線が推定される。

【0142】

このとき、包絡線推定部６０２は、ホワイトニング（whitening）バンドを構成した後、ホワイトニングバンド別に、周波数大きさ（magnitude）の平均を、ホワイトニングバンド内に属した周波数の包絡線として推定することができる。前記ホワイトニングバンドに属する周波数スペクトルの個数は、エネルギーを抽出するバンドよりさらに少なく設定されもする。

【0143】

ホワイトニングバンド別に、周波数大きさの平均を、ホワイトニングバンド内に属した周波数の包絡線として推定する場合、包絡線推定部６０２は、ホワイトニングバンド内に属したスペクトルの個数の多少いかんを情報として伝送し、基本信号の平坦化程度を調節することができる。例えば、包絡線推定部６０２は、８個のスペクトルで構成された場合と、３個のスペクトルで構成された場合との２種方式で基づいて、情報を伝送することができる。このとき、３個のスペクトルで構成された場合、８個のスペクトルで構成された場合より、さらに平坦化された基本信号が生成される。

【0144】

また、包絡線推定部６０２は、ホワイトニングバンド内に属したスペクトルの個数の多少いかんに係わる情報を伝送せずに、コア符号化部２０２で使用された符号化モードによって、決定することができる。コア符号化部２０２は、入力信号の特性によって、入力信号を、有声音符号化モード、無声音符号化モード、transient符号化モード及びgeneric符号化モードに区分して、入力信号を符号化することができる。

【0145】

このとき、包絡線推定部６０２は、入力信号の特性による符号化モードに基づいて、ホワイトニングバンドに属した周波数スペクトルの個数を制御させることができる。一例として、入力信号が、有声音符号化モードによって符号化された場合、包絡線推定部６０２は、ホワイトニングバンドにおいて、３個の周波数スペクトルによって構成し、包絡線を推定することができる。そして、入力信号が、有声音符号化モード以外の符号化モードによって符号化された場合、包絡線推定部６０２は、ホワイトニングバンドにおいて、３個の周波数スペクトルによって構成し、包絡線を推定することができる。

【0146】

包絡線適用部６０３は、推定された包絡線を、人工信号に適用することができる。かような過程をホワイトニングといい、人工信号が包絡線によって平坦化される。包絡線適用部６０３は、人工信号を、周波数インデックスそれぞれの包絡線に分け、基本信号を生成することができる。

【0147】

図７は、本発明の一実施形態による拡張符号化部の要素推定部を図示した図面である。図７を参照すれば、要素推定部４０２は、第１トーナリティ（tonality）計算部７０１、第２トーナリティ計算部７０２及び要素計算部７０３を含んでもよい。

【0148】

第１トーナリティ計算部７０１は、周波数領域の入力信号の高周波数領域のトーナリティを計算することができる。すなわち、第１トーナリティ計算部７０１は、入力信号の高周波数領域であるＳＷＢ領域のトーナリティを計算することができる。

【0149】

第２トーナリティ計算部７０２は、基本信号のトーナリティを計算することができる。トーナリティは、spectral flatnessを測定することにより、計算される。具体的には、下記数式（１）によって、トーナリティが計算される。spectral flatnessは、周波数スペクトルの幾何平均と算術平均との関係を介して測定される。

【0150】

【数1】

要素計算部７０３は、入力信号の高周波数領域のトーナリティと、基本信号のトーナリティとを利用して、エネルギー制御要素を計算することができる。このとき、エネルギー制御要素は、下記数式（２）によって計算される。

【0151】

【数2】

ここで、αは、エネルギー制御要素を示し、Ｔ_０は、入力信号のトーナリティ、Ｔ_ｂは、基本信号のトーナリティを示す。Ｎ_ｂは、ノイジネス・ファクタ（noisiness factor）であり、信号にノイズ成分が含まれた程度を示す。

【0152】

エネルギー制御要素は、下記数式（３）によって計算されてもよい。

【0153】

【数3】

要素計算部７０３は、それぞれの周波数バンド別に、エネルギー制御要素を計算することができる。計算されたエネルギー制御要素は、入力信号のエネルギーに適用されもする。このとき、エネルギー制御要素は、エネルギー制御要素が、既設定の臨界エネルギー制御要素より小さい場合、入力信号のエネルギーに適用されもする。

【0154】

図８は、本発明の一実施形態によるエネルギー量子化部の動作を説明するための図面である。

【0155】

段階Ｓ８０１で、エネルギー量子化部４０５は、エネルギー制御要素によって、エネルギーのベクトルを前処理し、前処理されたエネルギーベクトルのサブベクトルを選択することができる。一例として、エネルギー量子化部４０５は、エネルギーベクトルそれぞれに対して、平均値を差し引いたり、あるいはエネルギーベクトルそれぞれの重要度に係わる加重値を計算することができる。このとき、重要度に係わる加重値は、合成音の音質を最大化する方向に計算される。

【0156】

そして、エネルギー量子化部４０５は、符号化効率を考慮し、エネルギーベクトルのサブベクトルを適切に選択することができる。そして、補間効果を向上させるために、エネルギー量子化部４０５は、同一間隔で、サブベクトルを選択することができる。

【0157】

一例として、エネルギー量子化部４０５は、下記数式（４）によって、サブベクトルを選択することができる。

【0158】

【数4】

その場合、ｋ＝２になれば、偶数だけが選択される。

【0159】

段階Ｓ８０２で、エネルギー量子化部４０５は、選択されたサブベクトルを量子化及び逆量子化する。エネルギー量子化部４０５は、数式（５）によって計算されたＭＳＥを最小化する量子化インデックスを選択し、サブベクトルを量子化することができる。

【0160】

【数5】

エネルギー量子化部４０５は、スカラ量子化、ベクトル量子化、ＴＣＱ及びＬＶＱのうちいずれか一つによって、サブベクトルを量子化することができる。このとき、ベクトル量子化は、multi−stage ＶＱまたはsplit ＶＱなどが可能であり、split ＶＱとmulti−stage ＶＱが同時に使用されることも可能である。量子化インデックスは、復号化装置１０２に伝送される。

【0161】

そして、前処理過程で、重要度に係わる加重値が計算された場合、エネルギー量子化部４０５は、加重値が適用されたＷＭＳＥ（weighted ＭＳＥ）を利用して、最適化された量子化インデックスを求めることができる。このとき、weighted ＭＳＥは、数式（６）によって計算される。

【0162】

【数6】

段階Ｓ８０３で、エネルギー量子化部４０５は、量子化されたサブベクトルを補間し、選択されていない残りのサブベクトルの値を計算することができる。段階Ｓ８０４で、エネルギー量子化部４０５は、補間された残りのサブベクトルと、本来エネルギーベクトルにマッチングされた残りのサブベクトルとの差である補間エラーを計算することができる。

【0163】

段階Ｓ８０５で、エネルギー量子化部４０５は、補間エラーを量子化及び逆量子化することができる。このとき、エネルギー量子化部４０５は、ＭＳＥを最小化する量子化インデックスを利用して、補間エラーを量子化することができる。エネルギー量子化部４０５は、スカラ量子化、ベクトル量子化、ＴＣＱ及びＬＶＱのうちいずれか一つによって、補間エラーを量子化することができる。このとき、ベクトル量子化は、multi−stage ＶＱまたはsplit ＶＱなどが可能であり、split ＶＱとmulti−stage ＶＱとが同時に使用されることも可能である。そして、前処理過程で、重要度に係わる加重値が計算された場合、エネルギー量子化部４０５は、加重値が適用されたＷＭＳＥを利用して、最適化された量子化インデックスを求めることができる。

【0164】

段階Ｓ８０６で、エネルギー量子化部４０５は、選択されたサブベクトルの量子化されたベクトルを補間して選択されていない残りのサブベクトルを計算して、段階Ｓ８０５）で計算された量子化された補間エラーを加えて最終的に量子化されたエネルギーを計算することができる。そして、エネルギー量子化部４０５は、後処理過程を介して前処理過程で抜いた平均値をまた加えて最終的に量子化されたエネルギーを計算することができる。

【0165】

Multi−stage ＶＱで、エネルギー量子化部４０５は、同一のコードブックで、量子化性能を向上させるために、Ｋ個のサブベクトルの候補（candidate）を利用して量子化を行う。Ｋが２以上である場合、エネルギー量子化部４０５は、distortion measureを行い、最適サブベクトルの候補を決定することができる。このとき、distortion measureは、２つの方式によって決定されもする。

【0166】

第一に、エネルギー量子化部４０５は、サブベクトルの候補それぞれに対して、各ステージで、ＭＳＥ（mean square error）またはＷＭＳＥ（weighted mean square error）に対してインデックスセットを生成した後、すべてのステージのＭＳＥまたはＷＭＳＥの和が最小であるサブベクトルの候補を選択することができる。その場合、計算量が少ないという長所がある。

【0167】

第二に、エネルギー量子化部４０５は、サブベクトルの候補それぞれに対して、各ステージで、ＭＳＥまたはＷＭＳＥを最小化するインデックスセットを生成した後、逆量子化過程を経てエネルギーベクトルを修復した後、復元されたエネルギーベクトルと、本来のエネルギーベクトルとのＭＳＥまたはＷＭＳＥを最小化するサブベクトルの候補を選択することができる。その場合、復元のための計算量が追加されるが、実際の量子化された値を利用して、ＭＳＥを求めるので、性能にすぐれるという長所がある。

【0168】

図９は、本発明の一実施形態によって、エネルギーを量子化する過程を示した図面である。図９を参照すれば、エネルギーベクトルは、１４dimensionを示している。１^ｓｔstageで、エネルギー量子化部４０５は、エネルギーベクトルで、偶数のみを選択し、７dimensionであるサブベクトルを選択した。１^ｓｔ stageで、性能向上のために、エネルギー量子化部４０５は、２個にsplitされた２^ｎｄ stageベクトル量子化を利用する。

【0169】

エネルギー量子化部４０５は、２^ｎｄ stageで、１^ｓｔ stageのエラー信号を利用して、量子化を行う。エネルギー量子化部４０５は、選択されたサブベクトルの逆量子化過程を経て補間エラーを求め、補間エラーは、２個にsplitされた３^ｒｄ stageベクトル量子化を利用して量子化される。

【0170】

図１０は、本発明の一実施形態による人工信号を生成する過程を図示した図面である。図１０を参照すれば、人工信号生成部６０１は、全体周波数バンドで、低周波数領域であるｆＬ〜６．４ＫＨｚに対応する周波数スペクトル１００１をコピーすることができる。コピーされた周波数スペクトル１００１は、６．４〜１２．８−ｆ_ＬＫＨｚ周波数領域までスウィーピングされる。そして、１２．８−ｆ_Ｌ〜１６ＫＨｚ周波数領域に対応する周波数スペクトルは６．４〜１２．８−ｆ_ＬＫＨｚ周波数領域の周波数スペクトルがフォールディングされて生成されもする。すなわち、高周波数領域であるＳＷＢに対応する人工信号は、６．４〜１６ＫＨｚまで生成される。

【0171】

このとき、周波数スペクトルを生成するときに使用された変換が、ＭＤＣＴである場合、ｆ_Ｌと６．４ｋＨｚとの間に相関関係が存在する。具体的には、６．４ｋＨｚに該当するＭＤＣＴの周波数インデックスが偶数である場合には、ｆ_Ｌの周波数インデックスも偶数でなければならない。一方、４ｋＨｚに該当するＭＤＣＴの周波数インデックスが奇数である場合、ｆ_Ｌの周波数インデックスも、奇数でなければならない。

【0172】

例えば、本来の入力信号に対して、６４０個のスペクトルを抽出するＭＤＣＴを適用した場合、６．４ｋＨｚに対応するインデックスは、２５６番目インデックスになり（６４００／１６０００＊６４０）、偶数になる。その場合、ｆ_Ｌは、必ず偶数として選択にならなければならない。すなわち、ｆ_Ｌは、２（５０Ｈｚ）、４（１００Ｈｚ）などが使用される。この過程は、復号化過程でも同一に適用される。

【0173】

図１１Ａ及び図１１Ｂは、本発明の一実施形態による包絡線推定のためのウィンドウを図示した図面である。図１１Ａ及び図１１Ｂを参照すれば、ウィンドウ１１０１とウィンドウ１１０２とのピーク位置が、現在包絡線を推定しようとする周波数インデックスを意味する。基本信号に対する包絡線推定は、下記数式（７）によって行われる。

【0174】

【数7】

図１１Ａ及び図１１Ｂでウィンドウ１１０１とウィンドウ１１０２は、いつも固定して使用され、その場合には、追加して伝送されるビットが不要である。または、ウィンドウ１１０１とウィンドウ１１０２とが選択的に使用される場合には、包絡線推定のために、いずれのウィンドウが使用されるかを示す情報をビットで表現し、追加して復号化装置１０２に伝達する必要がある。かようなビットは、周波数バンド別に伝送されるが、あるいは１フレームに１回伝送される。

【0175】

ウィンドウ１１０１とウィンドウ１１０２とを比較すれば、ウィンドウ１１０２は、ウィンドウ１１０１より、現在周波数インデックスに対応する周波数スペクトルに加重値をさらに付け加えて包絡線を推定する。従って、ウィンドウ１１０２によって生成された基本信号は、ウィンドウ１１０１によって生成された基本信号より、平坦に生成される。ウィンドウの種類は、ウィンドウ１１０１とウィンドウ１１０２とによって生成されたそれぞれの基本信号と入力信号との周波数スペクトルを比較することによって選択される。また、高周波数領域のトーナリティの比較を介して、類似しているトーナリティを有させるウィンドウが選択されもする。そして、高周波数領域の相関度（correlation）の比較を介して、相関度の高いウィンドウが選択される。

【0176】

図１２Ａは、本発明の一実施形態による復号化装置を図示したブロックダイヤグラムである。図１２Ａの過程は、図２Ａの過程の逆過程からなる。図１２Ａを参照すれば、復号化装置１０２は、コア復号化部１２０１、アップ・サンプリング部１２０２、周波数変換部１２０４、拡張復号化部１２０４及び周波数逆変換部１２０５を含んでもよい。

【0177】

コア復号化部１２０１は、ビットストリームに含まれたコア符号化された入力信号をコア復号化することができる。コア復号化過程を介して、１２．８ＫＨｚサンプリング・レートを有する信号が抽出される。

【0178】

アップ・サンプリング部１２０２は、コア復号化された入力信号を、アップ・サンプリングすることができる。アップ・サンプリングを介して、３２ＫＨｚサンプリング・レートを有する信号が抽出される。

【0179】

周波数変換部１２０４は、アップ・サンプリングされた入力信号を周波数変換することができる。周波数変換は、符号化器で使用された周波数変換方式と同一の方法を使用することができ、例えば、ＭＤＣＴを使用することができる。

【0180】

拡張復号化部１２０４は、ビットストリームに含まれた前記入力信号のエネルギーと、前記周波数領域の入力信号とを利用して、帯域幅拡張復号化を行うことができる。拡張復号化部１２０４の動作については、図９で具体的に説明する。

【0181】

周波数逆変換部１２０５は、帯域幅拡張復号化が行われた結果に対して、周波数逆変換を行うことができる。周波数変換部１２０４で使用された周波数変換方式の逆変換を行うことにより、例えば、ＩＭＤＣＴ（inverse modified discrete cosine transform）を行うことができる。

【0182】

図１２Ｂは、本発明の他の実施形態による復号化装置を図示したブロックダイヤグラムである。図１２Ｂの過程は、図１２Ａの過程の逆過程からなる。図１２Ｂを参照すれば、復号化装置１０２は、モード情報検査部１２０６、ＣＥＬＰ復号化部１２０７、ＴＤ拡張復号化部１２０８、ＦＤ復号化部１２０９及び周波数逆変換部１２１０を含んでもよい。

【0183】

モード情報検査部１２０６は、ビットストリームに含まれたフレームそれぞれに係わるモード情報を検査する。このとき、ビットストリームは、符号化装置１０１で、符号化された結果によるビットストリームが、復号化装置１０２に伝送された信号になる。

【0184】

例を挙げて説明すれば、モード情報検査部１２０６は、符号化されたビットストリームから、モード情報をパージングし、パージング結果による現在フレームの符号化モードによって、ＣＥＬＰ復号化モードまたはＦＤ復号化モードのうち、いずれか１つの復号化モードでスイッチング作業を行う。

【0185】

さらに詳細に説明すれば、モード情報検査部１２０６は、ビットストリームに含まれたフレームそれぞれに対して、ＣＥＬＰモードで符号化されたフレームは、ＣＥＬＰ復号化が行われるように、スイッチングし、ＦＤモードで符号化されたフレームは、ＦＤ復号化が行われるように、スイッチングすることができる。

【0186】

ＣＥＬＰ復号化部１２０７は、検査結果によって、ＣＥＬＰ符号化されたフレームに対して、ＣＥＬＰ復号化を行う。例を挙げて説明すれば、ＣＥＬＰ復号化部１２０７は、ビットストリームに含まれた線形予測係数を復号化し、adaptive codebook contribution及びfixed codebook contributionに係わる復号化を行い、復号化遂行結果を合成し、低周波数に係わる復号化信号である低周波信号を生成する。

【0187】

ＴＤ拡張復号化部１２０８は、ＣＥＬＰ復号化が行われた結果、及び低周波信号の励起信号のうち少なくとも一つを利用して、高周波数に係わる復号化信号を生成する。このとき、低周波信号の励起信号は、ビットストリームに含まれもする。また、ＴＤ拡張復号化部１２０８は、高周波数に係わる復号化信号である高周波信号を生成するために、ビットストリームに含まれた高周波信号に対する線形予測係数情報を活用することができる。

【0188】

また、本実施形態によるＴＤ拡張復号化部１２０８は、生成された高周波信号を、ＣＥＬＰ復号化部１２０７で生成された低周波信号と合成し、復号化された信号を生成することができる。このとき、ＴＤ拡張復号化部１２０８は、復号化された信号を生成するために、低周波信号と高周波信号とのサンプリング・レートを、同一になるように変換する作業をさらに行うことができる。

【0189】

ＦＤ復号化部１２０９は、検査結果によって、ＦＤ符号化されたフレームに対して、ＦＤ復号化を行う。ＦＤ復号化部１２０９は、ビットストリームを復号化し、周波数スペクトルを生成することができる。また、本実施形態によるＦＤ復号化部１２０９は、ビットストリームに含まれた以前フレームのモード情報を参照し、復号化を行うこともできるということが分かる。すなわち、ＦＤ復号化部１２０９は、ＦＤ符号化されたフレームに対して、ビットストリームに含まれた以前フレームモード情報を参照し、ＦＤ復号化を行うことができる。これについては、図２５で、さらに詳細に説明する。また、ＦＤ復号化部１２０９については、以下の図１２Ｃで詳細に説明する。

【0190】

周波数逆変換部１２１０は、ＦＤ復号化が行われた結果を周波数逆変換する。周波数逆変換部１２１０は、ＦＤ復号化された周波数スペクトルに対して、周波数逆変換を行い、復号化された信号を生成する。例を挙げて説明すれば、周波数逆変換部１２１０は、ＩＭＤＣＴを行うことができるが、それに限定されるものではない。

【0191】

このように、復号化装置１０２は、ビットストリームのフレームそれぞれの符号化モードを参照し、ビットストリームに対する復号化を行うことができる。

【0192】

図１２Ｃは、本発明の一実施形態による復号化装置のＦＤ復号化部を図示した図面である。図１２Ｃの過程は、図１２Ｂの過程の逆過程からなる。図１２Ｃを参照すれば、ＦＤ復号化部１２０９は、Norm復号化部１２０９１、ＦＰＣ復号化部１２０９２、ノイズ・フィリング遂行部１２０９３及びＦＤ拡張復号化部１２０９４を含んでもよく、ＦＤ拡張復号化部１２０９４は、ＦＤ低周波数拡張復号化部１２０９５及びＦＤ高周波数拡張復号化部１２０９６を含んでもよい。

【0193】

Norm復号化部１２０９１は、ビットストリームのNorm情報を参照し、Norm復号化を行う。このとき、ビットストリームのNorm情報は、図２ＣのNorm符号化部２０９１で符号化された結果による情報になってもよい。

【0194】

ＦＰＣ復号化部１２０９２は、ビットストリームのＦＰＣ符号化情報に基づいて、ＦＰＣ復号化を行う。このとき、ＦＰＣ符号化情報は、図２ＣのＦＰＣ符号化部２０９で符号化された結果による情報になってもよい。

【0195】

例を挙げて説明すれば、ＦＰＣ復号化部１２０９２は、図２ＣのＦＰＣ符号化部２０９２で符号化された方法と同一に、周波数バンド別に可用ビット数を割り当て、ＦＰＣ復号化を行う。

【0196】

ノイズ・フィリング遂行部１２０９３は、ＦＰＣ復号化が行われた結果に対して、ノイズ・フィリングを行う。例を挙げて説明すれば、ノイズ・フィリング遂行部１２０９３は、ＦＰＣ復号化が行われた周波数バンドにノイズを付け加える。このとき、ノイズ・フィリング遂行部１２０９３は、ＦＰＣ復号化が行われた周波数バンドの最後の周波数バンドまでノイズを付け加える。これと関連して、図２７で、さらに詳細に説明する。

【0197】

ＦＤ拡張復号化部１２０９４は、ＦＤ低周波数拡張復号化部１２０９５及びＦＤ高周波数拡張復号化部１２０９６を含んでもよい。

【0198】

ＦＤ低周波数拡張復号化部１２０９５は、ＦＰＣ復号化を行う周波数バンドの上位バンド値（Ｆｆｐｃ）が、ＦＰＣコーディングを行う周波数帯域の上位バンド値（Ｆcore）より小さい場合、前記ＦＰＣ復号化及びノイズ・フィリングが行われた結果に対して、拡張符号化を行う。

【0199】

このように、ＦＤ低周波数拡張復号化部１２０９５は、ＦＰＣ復号化及びノイズピルリによって生成された周波数スペクトルを使用し、ＦＰＣコーディングを行う周波数帯域義上位バンド値（Ｆcore）までの周波数スペクトルを生成する。

【0200】

このように、ＦＤ低周波数拡張復号化部１２０９５によって生成された周波数スペクトルに対して、Norm復号化部１２０９１によって復号化されたNorm値を乗じ、復号化された低周波数スペクトルを生成することができる。

【0201】

ただし、ＦＤ低周波数拡張復号化部１２０９５が動作しない場合には、ＦＰＣ復号化及びノイズ・フィリングが行われた結果によって生成された周波数スペクトルに対して、Norm復号化部１２０９１によって復号化されたNorm値を乗じ、復号化された低周波数スペクトルを生成することができる。

【0202】

ＦＤ高周波数拡張復号化部１２０９６は、ＦＰＣ復号化及びノイズ・フィリングが行われた結果を利用して、高周波数拡張復号化を行う。本実施形態によるＦＤ高周波数拡張復号化部１２０９６は、図２ＣのＦＤ拡張符号化部２０９４に対応して動作する。

【0203】

例を挙げて説明すれば、ＦＤ高周波数拡張復号化部１２０９６は、ビットストリームの高周波数エネルギー情報に基づいて、高周波数エネルギーを逆量子化し、高周波帯域幅拡張の多様なモードによって、低周波信号を利用して高周波信号の励起信号を生成し、生成された励起信号のエネルギーが、逆量子化されたエネルギーに対称になるようにゲインを適用することにより、復号化された高周波信号を生成することができる。例を挙げて説明すれば、高周波帯域幅拡張の多様なモードは、ノルマル・モード、ハーモニック・モードまたはノイズ・モードのうちいずれか１つのモードになってもよい。

【0204】

このとき、ＦＤ高周波数拡張復号化部１２０９６は、互いに異なるビット率に対して、同一のコードブックを共有して、エネルギー逆量子化を行うことができる。これについては、図２６で、さらに詳細に説明する。

【0205】

また、本実施形態によるＦＤ復号化部１２０９は、復号化されるフレームがステーショナリ・フレームである場合、Norm復号化部１２０９１、ＦＰＣ復号化部１２０９２、ノイズ・フィリング遂行部１２０９３及びＦＤ拡張復号化部１２０９４それぞれによる動作が遂行される。

【0206】

ただし、復号化されるフレームが、トランジェント・フレームである場合、本実施形態によるＦＤ復号化部１２０９で、ＦＤ拡張復号化部１２０９４は、動作しない。

【0207】

図１２Ｄは、本発明のさらに他の実施形態による復号化装置を図示したブロックダイヤグラムである。図１２Ｄの過程は、図２Ｄの過程の逆過程からなる。図１２Ｄを参照すれば、復号化装置１０２は、モード情報検査部１２１１、ＬＰＣ復号化部１２１２、ＣＥＬＰ復号化部１２１３、ＴＤ拡張復号化部１２１４、オーディオ復号化部１２１５及びＦＤ拡張復号化部１２１６を含んでもよい。

【0208】

モード情報検査部１２１１は、ビットストリームに含まれたフレームそれぞれに係わるモード情報を検査する。このとき、ビットストリームは、符号化装置１０１で符号化された結果によるビットストリームが、復号化装置１０２に伝送された信号になってもよい。

【0209】

例を挙げて説明すれば、モード情報検査部１２１１は、符号化されたビットストリームから、モード情報をパージングし、パージング結果による現在フレームの符号化モードによって、ＣＥＬＰ復号化モードまたはオーディオ復号化モードのうちいずれか１つの復号化モードで、スイッチング作業を行う。

【0210】

さらに詳細に説明すれば、モード情報検査部１２１１は、ビットストリームに含まれたフレームそれぞれに対して、ＣＥＬＰモードで符号化されたフレームは、ＣＥＬＰ復号化が行われるように、スイッチングし、オーディオ符号化モードで符号化されたフレームは、オーディオ復号化が行われるように、スイッチングすることができる。

【0211】

ＬＰＣ復号化部１２１２は、ビットストリームに含まれたフレームに対して、ＬＰＣ復号化を行う。

【0212】

ＣＥＬＰ復号化部１２１３は、検査結果によって、ＣＥＬＰ符号化されたフレームに対して、ＣＥＬＰ復号化を行う。例を挙げて説明すれば、ＣＥＬＰ復号化部１２１３は、adaptive codebook contribution及びfixed codebook contributionに係わる復号化を行い、復号化遂行結果を合成し、低周波数に係わる復号化信号である低周波信号を生成する。

【0213】

ＴＤ拡張復号化部１２１４は、ＣＥＬＰ復号化が行われた結果、及び低周波信号の励起信号のうち少なくとも一つを利用して、高周波数に係わる復号化信号を生成する。このとき、低周波信号の励起信号は、ビットストリームに含まれもする。また、ＴＤ拡張復号化部１２０８は、高周波数に係わる復号化信号である高周波信号を生成するために、ＬＰＣ復号化部１２１２で復号化された線形予測係数情報を活用することができる。

【0214】

また、本実施形態によるＴＤ拡張復号化部１２１４は、生成された高周波信号を、ＣＥＬＰ復号化部１２１４で生成された低周波信号と合成し、復号化された信号を生成することができる。このとき、ＴＤ拡張復号化部１２１４は、復号化された信号を生成するために、低周波信号と高周波信号とのサンプリング・レートが同一になるように変換する作業をさらに行うことができる。

【0215】

オーディオ復号化部１２１５は、検査結果によって、オーディオ符号化されたフレームに対して、オーディオ復号化を行う。例を挙げて説明すれば、オーディオ復号化部１２１５は、ビットストリームを参照し、時間ドメイン寄与分（contribution）が存在する場合、時間ドメイン寄与分及び周波数ドメイン寄与分を考慮して復号化を行い、時間ドメイン寄与分が存在しない場合、周波数ドメイン寄与分を考慮して復号化を行う。

【0216】

また、オーディオ復号化部１２１５は、ＦＰＣまたはＬＶＱに量子化された信号に対して、ＩＤＣＴなどを利用した周波数逆変換を遂行し、復号化された低周波数励起信号を生成し、生成された励起信号を、逆量子化されたＬＰＣ係数と合成し、復号化された低周波数信号を生成することができる。

【0217】

ＦＤ拡張復号化部１２１６は、オーディオ復号化が行われた結果を利用して、拡張復号化を行う。例を挙げて説明すれば、ＦＤ拡張復号化部１２１６は、復号化された低周波数信号を高周波数拡張復号化に適するサンプリング・レートに変換し、変換された信号に、ＭＤＣＴのような周波数変換を行う。ＦＤ拡張復号化部１２１６は、量子化された高周波数エネルギーを逆量子化し、高周波帯域幅拡張の多様なモードによって、低周波信号を利用して、高周波信号の励起信号を生成し、生成された励起信号のエネルギーが、逆量子化されたエネルギーに対称になるように、ゲインを適用することにより、復号化された高周波信号を生成することができる。例を挙げて説明すれば、高周波帯域幅拡張の多様なモードは、ノルマル・モード、転移モード、ハーモニック・モードまたはノイズ・モードのうちいずれか１つのモードになってもよい。

【0218】

また、ＦＤ拡張復号化部１２１６は、生成された復号化された高周波信号及び低周波信号に対して、ＩＭＤＣＴのような周波数逆変換を行い、最終復号化された信号を生成する。

【0219】

さらには、ＦＤ拡張復号化部１２１６は、帯域幅拡張に転移モードが適用された場合、周波数逆変換が遂行された後に復号化された信号が、復号化されたtemporal envelopeにマッチングされるように、時間ドメインで求めたゲインを適用し、ゲインが適用された信号を合成することもある。

【0220】

このように、復号化装置１０２は、ビットストリームのフレームそれぞれの符号化モードを参照し、ビットストリームに対する復号化を行うことができる。図１３は、本発明の一実施形態による復号化装置の拡張復号化部を図示した図面である。

【0221】

図１３を参照すれば、拡張復号化部１２０４は、逆量子化部１３０１、ゲイン計算部１３０２、ゲイン適用部１３０３、人工信号生成部１３０４、包絡線推定部１３０５及び包絡線適用部１３０６を含んでもよい。

【0222】

逆量子化部１３０１は、入力信号のエネルギーを逆量子化することができる。エネルギーを逆量子化する過程については、図１４で具体的に説明する。

【0223】

ゲイン計算部１３０２は、逆量子化されたエネルギーと、基本信号のエネルギーとを利用して、基本信号に適用されるゲインを計算することができる。具体的には、ゲインは、逆量子化されたエネルギーと、基本信号のエネルギーとの比率を介して決定されもする。一般的にエネルギーは、周波数スペクトルのamplitudeの二乗の和を使用して決定されるので、エネルギー比率のroot値を使用する。

【0224】

ゲイン適用部１３０３は、計算されたゲインを周波数バンド別に適用することができる。それにより、最終的に、ＳＷＢの周波数スペクトルが決定される。

【0225】

一例として、ゲイン計算及びゲイン適用は、前述したように、バンドをエネルギーを伝送したバンドと一致させて行うことができる。他の実施例で、急激なエネルギーの変化を防止するために、全体周波数バンドをサブバンドに分けて遂行することもできる。かような場合において、周辺バンドの逆量子化されたエネルギーを、補間によってバンド境界部分でのエネルギーをスムージング（smoothing）させることができる。例えば、それぞれのバンドは、３個のサブバンドに分離し、それぞれバンドの３個サブバンドのうち中間のサブバンドは、現在バンドの逆量子化されたエネルギーを割り当て、最初及び３番目のサブバンドは、以前バンドあるいは以後バンドの中間バンドに割り当てられたエネルギーと、補間を介して新しくスムージングされエネルギーとを使用して、ゲイン計算及び適用を行うことができる。すなわち、ゲイン計算及び適用する単位をサブバンドとして設定して適用する。

【0226】

かようなエネルギー・スムージング方式は、常に固定された方式で適用することができる。また、拡張符号化部２０４で、エネルギー・スムージングが必要であるという情報を伝送し、必要なフレームでのみ適用することができる。このとき、スムージングが必要なフレームであるという情報は、スムージングを行った場合が、スムージングを行っていない場合に比べて、全体エネルギーの量子化エラーが少なくなる場合に選択することができる。

【0227】

一方、周波数領域の入力信号を利用して、基本信号を生成することができる。基本信号を生成する過程は、次のような構成要素を介して遂行される。

【0228】

人工信号生成部１３０４は、周波数領域の入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号を生成することができる。このとき、周波数領域の入力信号は、３２ＫＨｚサンプリング・レートを有するＷＢ復号化された信号でもある。

【0229】

包絡線推定部１３０５は、ビットストリームに含まれたウィンドウを利用して,基本信号の包絡線を推定することができる。ウィンドウは、符号化装置１０１で,包絡線推定のために使用されたものであり、ウィンドウの種類は、ビット形態でビットストリームに含まれ、復号化装置１０２に伝送される。

【0230】

包絡線適用部１３０６は、推定された包絡線を人工信号に適用することにより、基本信号を生成することができる。

【0231】

符号化装置の包絡線推定部６０２で、ホワイトニングバンド別に周波数大きさの平均を、ホワイトニングバンド内に属した周波数の包絡線として推定する場合において、ホワイトニングバンド内に属したスペクトルの個数多少いかんと係わる情報を、復号化装置に伝送した場合、復号化装置の包絡線推定部１３０５が、伝送された方式で基づいて包絡線を推定した後、包絡線適用部１３０６で、包絡線を適用することができる。また情報伝送なしに、ＷＢコア復号化部に使用されたコア符号化モードによって決定することができる。

【0232】

コア復号化部１２０１は、信号の特性によって、有声音符号化、無声音符号化、transient符号化、generic符号化部に区分して復号化することができる。このとき、包絡線推定部６０２は、入力信号の特性による復号化モードに基づいて、ホワイトニングバンドに属した周波数スペクトルの個数を制御させることができる。一例として、入力信号が、有声音復号化モードによって復号化された場合、包絡線推定部１３０５は、ホワイトニングバンドに、３個の周波数スペクトルによって構成し、包絡線を推定することができる。そして、入力信号が、有声音復号化モード以外の復号化モードによって、符号化された場合、包絡線推定部１３０６は、ホワイトニングバンドに、３個の周波数スペクトルによって構成し、包絡線を推定することができる。

【0233】

図１４は、本発明の一実施形態による拡張復号化部の逆量子化部の動作を図示した図面である。

【0234】

段階Ｓ１４０１で、逆量子化部１３０１は、符号化装置１０１から伝送されたインデックスを利用して、エネルギーベクトルの選択されたサブベクトルを逆量子化することができる。

【0235】

段階Ｓ１４０２で、逆量子化部１３０１は、符号化装置１０１から伝送されたインデックスを利用して、選択されていない残りのサブベクトルに対応する補間エラーを逆量子化することができる。

【0236】

段階Ｓ１４０３で、逆量子化部１３０１は、逆量子化されたサブベクトルを補間し、選択されていない残りのサブベクトルを計算することができる。そして、逆量子化部１３０１は、残りサブベクトルに逆量子化された補間エラー値を加えることができる。また、逆量子化部１３０１は、後処理過程を介して、前処理過程で差し引いた平均値を加え、最終的な逆量子化されたエネルギーを計算することができる。

【0237】

図１５Ａは、本発明の一実施形態による符号化方法を図示したフローチャートである。

【0238】

符号化装置１０１は、入力信号をダウン・サンプリングすることができる（Ｓ１５０１）。符号化装置１０１は、ダウン・サンプリングされた入力信号に対して、コア符号化することができる（Ｓ１５０２）。符号化装置１０１は、入力信号を周波数変換することができる（Ｓ１５０３）。符号化装置１０１は、周波数領域の入力信号に対して、帯域幅拡張符号化を行うことができる（Ｓ１５０４）。一例として、符号化装置１０１は、コア符号化を介して決定された符号化情報を利用して、帯域幅拡張符号化を行うことができる。このとき、符号化情報は、コア符号化時、入力信号の特性によって分類された符号化モードを含んでもよい。

【0239】

一例として、符号化装置１０１は、帯域幅拡張符号化を、次のような過程を介して行うことができる。符号化装置１０１は、周波数領域の入力信号の周波数スペクトルを利用して、周波数領域の入力信号の基本信号を生成することができる。他の一例として、符号化装置は、入力信号の特性及び入力信号の周波数スペクトルを利用して、周波数領域の入力信号の基本信号を生成することができる。このとき、入力信号の特性は、コア符号化を介して導出されるか、あるいは別途の信号分類過程を介して導出されもする。そして、符号化装置１０１は、基本信号を利用して、エネルギー制御要素を推定することができる。その後、符号化装置１０１は、周波数領域の入力信号から、エネルギーを抽出することができる。それにより、符号化装置１０１は、エネルギー制御要素を利用して抽出されたエネルギーを制御することができる。符号化装置１０１は、制御されたエネルギーを量子化することができる。

【0240】

このとき、基本信号を生成する過程は、次のような方法を介して遂行される。

【0241】

符号化装置１０１は、周波数領域の入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号（artificial signal）を生成することができる。そして、符号化装置１０１は、ウィンドウを利用して、基本信号の包絡線を推定することができる。このとき、符号化装置１０１は、トーナリティまたは相関度のうち、いずれか１つの比較結果によってウィンドウを選択し、基本信号の包絡線を推定することができる。一例として、符号化装置１０１は、ホワイトニングバンドそれぞれの周波数大きさ（magnitude）の平均を、ホワイトニングバンド内に属した周波数の包絡線として推定することができる。具体的には、符号化装置１０１は、コア符号化モードによって、ホワイトニングバンドに属した周波数スペクトルの個数を制御させ、前記基本信号の包絡線を推定することができる。

【0242】

その後、符号化装置１０１は、推定された包絡線を人工信号に適用することにより、基本信号を生成することができる。

【0243】

そして、エネルギー制御要素を推定する過程は、次のような方法を介して遂行されもする。

【0244】

符号化装置１０１は、周波数領域の入力信号の高周波数領域のトーナリティを計算することができる。そして、符号化装置１０１は、基本信号のトーナリティを計算することができる。その後、符号化装置１０１は、入力信号の高周波数領域のトーナリティと、基本信号のトーナリティとを利用して、エネルギー制御要素を計算することができる。

【0245】

また、エネルギーを量子化する過程は、次のような方法を介して遂行されもする。

【0246】

符号化装置１０１は、サブベクトルを選択して量子化を行った後、補間エラーを利用して、残りの（remained）サブベクトルを量子化することができる。このとき、符号化装置１０１は、同一間隔で、サブベクトルを選択することができる。

【0247】

一例として、符号化装置１０１は、サブベクトルの候補を選択し、２個以上使用するマルチステージ（multi−stage）ベクトル量子化を行うことができる。このとき、符号化装置１０１は、サブベクトルの候補それぞれに対して、各ステージで、ＭＳＥまたはＷＭＳＥに対してインデックスセットを生成した後、すべてのステージのＭＳＥまたはＷＭＳＥの和が最小であるサブベクトルの候補を選択することができる。または、符号化装置１０１は、サブベクトルの候補それぞれに対して、各ステージで、ＭＳＥまたはＷＭＳＥを最小化するインデックスセットを生成した後、逆量子化過程を経てエネルギーベクトルを修復した後、復元されたエネルギーベクトルと、本来のエネルギーベクトルとのＭＳＥまたはＷＭＳＥを最小化するサブベクトルの候補を選択することができる。

【0248】

図１５Ｂは、本発明の他の実施形態による符号化方法を図示したフローチャートである。図１５Ｂを参照すれば、符号化方法は、図２Ａないし図２Ｃに図示された符号化装置１０１で、時系列的に処理される段階で構成される。従って、以下で省略された内容であるとしても、図２Ａないし図２Ｃに図示された符号化装置１０１について、以上で記述された内容は、図１５Ｂの符号化方法にも適用されるということが分かる。

【0249】

信号分類部２０５は、入力信号の特性を参照し、入力信号の符号化モードを決定する（Ｓ１５０５）。ＣＥＬＰ符号化部２０６は、入力信号の符号化モードが、ＣＥＬＰモードと決定されれば、前記入力信号の低周波信号に対して、ＣＥＬＰ符号化を行う（Ｓ１５０６）。

【0250】

ＴＤ拡張符号化部２０７は、入力信号の低周波信号に対して、ＣＥＬＰ符号化が行われれば、入力信号の高周波信号に対して、ＴＤ拡張符号化を行う（Ｓ１５０７）。周波数変換部２０８は、入力信号の符号化モードが、ＦＤモードと決定されれば、前記入力信号を周波数変換する（Ｓ１５０８）。ＦＤ符号化部２０９は、周波数変換された入力信号に対して、ＦＤ符号化を行う（Ｓ１５０９）。

【0251】

図１５Ｃは、本発明のさらに他の実施形態による符号化方法を図示したフローチャートである。図１５Ｃを参照すれば、符号化方法は、図２Ａないし図２Ｃに図示された符号化装置１０１で、時系列的に処理される段階で構成される。従って、以下で省略された内容であるとしても、図２Ａないし図２Ｃに図示された符号化装置１０１について、以上で記述された内容、は図１５Ｃの符号化方法にも適用されるということが分かる。

【0252】

信号分類部２１０は、入力信号の特性を参照し、入力信号の符号化モードを決定する（Ｓ１５１０）。ＬＰＣ符号化部２１１は、入力信号の低周波信号から線形予測係数を抽出し、抽出された線形予測係数を量子化する（Ｓ１５１１）。

【0253】

ＣＥＬＰ符号化部２１２は、入力信号の符号化モードが、ＣＥＬＰモードと決定されれば、線形予測係数を利用して、抽出されたＬＰＣ励起信号に対して、ＣＥＬＰ符号化を行う（Ｓ１５１２）。ＴＤ拡張符号化部２１３は、入力信号の低周波信号のＬＰＣ励起信号に対して、ＣＥＬＰ符号化が行われれば、入力信号の高周波信号に対して、ＴＤ拡張符号化を行う（Ｓ１５１３）。

【0254】

オーディオ符号化部２１４は、入力信号の符号化モードが、ＦＤモードと決定されれば、線形予測係数を利用して、抽出されたＬＰＣ励起信号に対して、オーディオ符号化を行う（Ｓ１５１４）。

【0255】

ＦＤ拡張符号化部２１５は、入力信号の低周波信号のＬＰＣ励起信号に対して、ＦＤ符号化が行われれば、入力信号の高周波信号に対して、ＦＤ拡張符号化を行う（Ｓ１５１５）。

【0256】

図１６Ａは、本発明の一実施形態による復号化方法を図示したフローチャートである。復号化装置１０２は、ビットストリームに含まれたコア符号化された入力信号を、コア復号化することができる（Ｓ１６０１）。復号化装置１０２は、コア復号化された入力信号を、アップ・サンプリングすることができる（Ｓ１６０２）。

【0257】

復号化装置１０２は、アップ・サンプリングされた入力信号を、周波数変換することができる（Ｓ１６０３）。復号化装置１０２は、ビットストリームに含まれた入力信号のエネルギーと、周波数領域の入力信号とを利用して、帯域幅拡張復号化を行うことができる（Ｓ１６０４）。

【0258】

具体的には、帯域幅拡張を行う過程は、次のようになる。

【0259】

復号化装置１０２は、入力信号のエネルギーを逆量子化することができる。このとき、復号化装置１０１は、サブベクトルを選択して逆量子化し、逆量子化されたサブベクトルを補間し、補間されたサブベクトルに補間エラー値を加え、最終的にエネルギーを逆量子化することができる。

【0260】

そして、復号化装置１０２は、周波数領域の入力信号を利用して、基本信号を生成することができる。その後、復号化装置１０２は、逆量子化されたエネルギーと、基本信号のエネルギーとを利用して、基本信号に適用されるゲインを計算することができる。最終的に、復号化装置１０２は、計算されたゲインを、周波数バンド別に適用することができる。

【0261】

具体的には、基本信号を生成する過程は、次のようになる。

【0262】

復号化装置１０２は、周波数領域の入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号を生成することができる。そして、復号化装置１０２は、ビットストリームに含まれたウィンドウを利用して、基本信号の包絡線を推定することができる。このとき、ウィンドウ情報を常に同一に使用するように設定された場合には、ビットストリームに含まれない。その後、復号化装置１０２は、推定された包絡線を人工信号に適用することができる。

【0263】

図１６Ｂは、本発明の他の実施形態による復号化方法を図示したフローチャートである。図１６Ｂを参照すれば、符号化方法は、図１２Ａないし図１２Ｃに図示された復号化装置１０２で、時系列的に処理される段階で構成される。従って、以下で省略された内容であるとしても、図１２Ａないし図１２Ｃに図示された復号化装置１０２について、以上で記述された内容は、図１６Ｂの復号化方法にも適用されるということが分かる。

【0264】

モード情報検査部１２０６は、ビットストリームに含まれたフレームそれぞれに係わるモード情報を検査する（Ｓ１６０６）。ＣＥＬＰ復号化部１２０７は、検査結果によって、ＣＥＬＰ符号化されたフレームに対して、ＣＥＬＰ復号化を行う（Ｓ１６０７）。

【0265】

ＴＤ拡張復号化部１２０８は、ＣＥＬＰ復号化が行われた結果、及び低周波信号の励起信号のうち、少なくともいずれか一つを利用して、高周波数に係わる復号化信号を生成する（Ｓ１６０８）。ＦＤ復号化部１２０９は、検査結果によって、ＦＤ符号化されたフレームに対して、ＦＤ復号化を行う（Ｓ１６０９）。周波数逆変換部１２１０は、ＦＤ復号化が行われた結果を、周波数逆変換する。

【0266】

図１６Ｃは、本発明のさらに他の実施形態による復号化方法を図示したフローチャートである。図１６Ｃを参照すれば、符号化方法は、図１２Ａないし図１２Ｃに図示された復号化装置１０２で、時系列的に処理される段階で構成される。従って、以下で省略された内容であるとしても、図１２Ａないし図１２Ｃに図示された復号化装置１０２について、以上で記述された内容は、図１６Ｃの復号化方法にも適用されるということが分かる。

【0267】

モード情報検査部１２１１は、ビットストリームに含まれたフレームそれぞれに係わるモード情報を検査する（Ｓ１６１１）。

【0268】

ＬＰＣ復号化部１２１２は、ビットストリームに含まれたフレームに対して、ＬＰＣ復号化を行う（Ｓ１６１２）。ＣＥＬＰ復号化部１２１３は、検査結果によって、ＣＥＬＰ符号化されたフレームに対して、ＣＥＬＰ復号化を行う（Ｓ１６１３）。

【0269】

ＴＤ拡張復号化部１２１４は、ＣＥＬＰ復号化が行われた結果、及び低周波信号の励起信号のうち、少なくともいずれか一つを利用して、高周波数に係わる復号化信号を生成する（Ｓ１６１４）。オーディオ復号化部１２１５は、検査結果によって、オーディオ符号化されたフレームに対して、オーディオ復号化を行う（Ｓ１６１５）。ＦＤ拡張復号化部１２１６は、オーディオ復号化が行われた結果を利用して、ＦＤ拡張復号化を行う（Ｓ１６１６）。

【0270】

図１５Ａないし図１６Ｃで説明されない事項は、図１ないし図１４の説明を参考にすることができる。

【0271】

図１７は、本発明のさらに他の実施形態による符号化装置の全体構成を図示したブロックダイヤグラムである。図１７を参照すれば、符号化装置１００は、符号化モード選択部１７０１及び拡張符号化部１７０２を含んでもよい。

【0272】

符号化モード選択部１７０１は、周波数領域の入力信号と、時間領域の入力信号とを利用して、帯域幅拡張符号化の符号化モードを選択することができる。

【0273】

具体的には、符号化モード選択部１７０１は、周波数領域の入力信号と、時間領域の入力信号とを利用して、周波数領域の入力信号を分類し、分類された情報によって、帯域幅拡張符号化の符号化モード、及び符号化モードに基づいた周波数バンドの個数を決定することができる。ここで、符号化モードは、拡張符号化部１７０２の性能向上のために、コア符号化時に決定された符号化モードと異なる新しい符号化モードのセットとして設定されもする。

【0274】

一例として、符号化モードは、ノルマル・モード、ハーモニック・モード、トランジェント・モード、ノイズ・モードに分類される。まず、符号化モード選択部１７０１は、時間領域信号の長区間エネルギーと、現在フレームの高域エネルギーとの比率を利用して、現在フレームがトランジェント・フレームであるか否かを決定する。トランジェント信号区間は、時間領域で急激なエネルギー変化が現われる区間であるので、高域のエネルギーが急激に変化する区間であるといえる。

【0275】

残り３個の符号化モードを決定する過程は、次の通りである。まず、以前フレームと現在フレームとの周波数領域のグローバルエネルギーを求めた後、これら間の比率と、周波数領域信号とを、事前に定義された帯域に分けた後、各帯域の平均エネルギーとピークエネルギーとを利用して、残り３個のモードを決定する。ハーモニック・モードは、一般的に、周波数領域信号で、平均エネルギーとピークエネルギーとの差が最大である信号であるといえる。そして、ノイズ・モードは、全体的にエネルギー変化が少ない信号といえる。かような２つの信号を除いた残りの信号は、いずれもノルマル・モードと決定される。

【0276】

そして、一実施形態で、周波数バンド個数は、ノルマル・モードとハーモニック・モードとでは１６個に決定され、トランジェント・モードでは、５個に決定され、ノイズ・モードでは、１２個と決定される。

【0277】

拡張符号化部１７０２は、周波数領域の入力信号と、時間領域の入力信号とを利用して、帯域幅拡張符号化の符号化モードを選択することができる。図１７を参照すれば、拡張符号化部１７０２は、基本信号生成部１７０３、要素推定部１７０４、エネルギー抽出部１７０５、エネルギー制御部１７０６及びエネルギー量子化部１７０７を含んでもよい。基本信号生成部１７０３と要素推定部１７０４とについては、図５の説明を参考にすることができる。

【0278】

エネルギー抽出部１７０５は、符号化モードに基づいて、決定された周波数バンド個数によって、各周波数バンドに該当するエネルギーを抽出することができる。基本信号生成部１７０３、要素推定部１７０４及びエネルギー制御部１７０６は、符号化モードによって使用されるか、あるいは使用されないこともある。例えば、ノルマル・モードとハーモニック・モードは、前述の３個の構成要素が使用され、トランジェント・モードとノイズ・モードは、前述の３個の構成要素が使用されないこともある。前述の３個の構成要素に係わる詳細的な説明は、図５で説明した部分を参考にすることができる。エネルギー制御過程を経たバンドエネルギーは、エネルギー量子化部１７０７で量子化されもする。

【0279】

図１８は、本発明のさらに他の実施形態による符号化装置のエネルギー量子化部が遂行する動作を図示した図面である。

【0280】

エネルギー量子化部１７０７は、符号化モードによって、入力信号から抽出されたエネルギーを量子化することができる。このとき、エネルギー量子化部１７０７は、符号化モードによって、入力信号の知覚的な特性及びバンドエネルギー個数を考慮し、各入力信号に最適な方式で、バンドエネルギーを量子化することができる。

【0281】

例えば、符号化モードが、トランジェント・モード（transient mode）である場合、エネルギー量子化部１７０７は、５個のバンドエネルギーに対して、知覚的特性に基づいた周波数加重方法（frequency weighting method）を利用して、バンドエネルギーを量子化することができる。そして、符号化モードがノルマル・モード（normal mode）またはハーモニック・モード（harmonic mode）である場合、エネルギー量子化部１７０７は、１６個のバンドエネルギーに対して、知覚的特性に基づいた不均衡ビット割り当て方法（unequal bit allocation method）を利用して、バンドエネルギーを量子化することができる。もし、入力信号の特性が明確ではない場合、エネルギー量子化部１７０７は、知覚的特性を考慮せずに、一般的な量子化を行うこともできる。

【0282】

図１９は、本発明の一実施形態によって、不均衡ビット割り当て方法（unequal bit allocation method）を利用して、エネルギーを量子化する過程を示した図面である。

【0283】

不均衡ビット割り当て方法は、拡張符号化の対象になった入力信号の知覚的特性を考慮したものであり、知覚的に重要度が高い相対的に、さらに低い周波数帯域をさらに正確に量子化することができる方法である。このために、エネルギー量子化部１７０７は、低いバンドエネルギーに、同じであるか、あるいはさらに多くのビットを割り当て、知覚的な重要度を区分することができる。

【0284】

一例として、エネルギー量子化部１７０７は、相対的に低い帯域である０〜５番の周波数帯域に、さらに多くのビット割り当てを行い、０〜５番の周波数帯域に、いずれも同一のビット割り当てを行う。そして、周波数帯域が高くなるほど、エネルギー量子化部１７０７は、さらに少ないビット割り当てを行う。かようなビット割り当てによって、周波数帯域０〜１３は、図１９と同様に方式で量子化される。そして、周波数帯域１４と１５は、図２０のように量子化される。

【0285】

図２０は、本発明の一実施形態によって、イントラフレーム予測を利用したベクトル量子化を行う過程を図示した図面である。

【0286】

エネルギー量子化部１７０７は、２個以上の要素（element）を有する量子化対象ベクトルの代表値を予測した後、前記予測された代表値と、前記量子化対象ベクトルの各要素との間のエラー信号を、ベクトル量子化することができる。

【0287】

図２０は、かようなイントラフレーム予測（intra frame prediction）を示し、量子化対象ベクトルの代表値を予測し、エラー信号を導出する方法は、数式（８）の通りである。

【0288】

【数8】

ここで、Ｅｎｖ（ｎ）は、量子化されていないバンドエネルギーを意味し、ＱＥｎｖ（ｎ）は、量子化されたバンドエネルギーを意味する。そして、ｐは、量子化対象ベクトルの予測された代表値を意味し、ｅ（ｎ）は、エラーエネルギーを意味する。ここでｅ（１４）とｅ（１５）は、ベクトル量子化される。

【0289】

図２１は、本発明の一実施形態によって、周波数加重方法を利用して、エネルギーを量子化する過程を示した図面である。

【0290】

周波数加重方法（frequency weighting method）は、拡張符号化対象である入力信号の知覚的特性を考慮し、不均衡ビット割り当て方法（unequal bit allocation method）と同一に、知覚的に重要度が高い、相対的にさらに低い帯域をさらに正確に量子化をする方法である。このために、低いバンドエネルギーに、同じであるか、あるいはさらに高い加重値を付与して知覚的な重要度を区分する。

【0291】

一例として、エネルギー量子化部１７０７は、図２１のように、相対的に低い周波数帯域である０〜３番の帯域に、さらに高い加重値である１．０を付与し、１５番の周波数帯域は、さらに低い加重値である０．７を付与して量子化することができる。付与された加重値を使用するために、エネルギー量子化部１７０７は、ＷＭＳＥ値を利用して、最適インデックスを求めることができる。

【0292】

図２２は、本発明の一実施形態によって、マルチステージ・スプリットのベクトル量子化と、イントラフレーム予測とを利用したベクトル量子化を行う過程を図示した図面である。

【0293】

エネルギー量子化部１７０７は、バンドエネルギーの個数が１６個であるノルマル・モードについて、図２２のように、ベクトル量子化を行うことができる。ここで、エネルギー量子化部１７０７は、不均衡ビット割り当て方法（unequal bit allocation method）、イントラフレーム予測（intra frame prediction）及びmulti−stage split ＶＱ with energy interpolationの技術を利用して、ベクトル量子化を行うことができる。

【0294】

図２３は、本発明の一実施形態によって、復号化装置の逆量子化部が遂行する動作を図示した図面である。図２３は、図１８の動作を逆に遂行する。図１７のように、拡張符号化時に、符号化モードが使用された場合、復号化装置の逆量子化部１３０１は、符号化モードを復号化することができる。

【0295】

逆量子化部１３０１は、まず、伝送されたインデックスを利用して、符号化モードを復号化する。そして、逆量子化部１３０１は、復号化された符号化モードによって決定された方式で、逆量子化をする。図２３の符号化モードによって、各逆量子化対象であるブロックは、量子化の逆順に逆量子化される。

【0296】

ここで使用されたmulti−stagesplit ＶＱ with energy interpolation方式で量子化された部分は、図１４と同一の方式で逆量子化される。このうち、逆量子化部１３０１は、イントラフレーム予測を利用して、下記数式（９）によって逆量子化することができる。

【0297】

【数9】

ここで、Ｅｎｖ（ｎ）は、量子化されていないバンドエネルギーを意味し、ＱＥｎｖ（ｎ）は、量子化されたバンドエネルギーを意味する。そして、ｐは、量子化対象ベクトルの予測された代表値を意味し、ｅ＾（ｎ）は、量子化されたエラーエネルギーを意味する。

【0298】

図２４は、本発明の一実施形態による符号化装置の他の構造を図示した図面である。図２４に図示された符号化装置１０１の各構成要素の基本的な動作は、図２Ａの通りである。ただし、拡張符号化部２４０４は、コア符号化部２４０４の情報伝送がなく、時間領域の入力信号が直接入力されもする。

【0299】

図２５は、本発明の一実施形態によるビットストリームの一例を図示した図面である。図２５を参照すれば、Ｎ番目フレームに該当するビットストリーム２５１、（Ｎ＋１）番目フレームに該当するビットストリーム２５２、及び（Ｎ＋２）番目フレームに該当するビットストリーム２５３がそれぞれ図示されている。

【0300】

図２５を参照すれば、ビットストリーム２５１，２５２，２５３は、ヘッダ２５４及びペイロード２５５から構成される。ヘッダ２５４は、モード情報２５１１，２５２１，２５３１を含んでもよい。このとき、モード情報２５１１，２５２１，２５３１は、フレームそれぞれに係わる符号化モード情報を示す。例を挙げて説明すれば、モード情報２５１１は、Ｎ番目フレームがいかなる符号化モードで符号化されているかを示し、モード情報２５１２は、（Ｎ＋１）番目フレームがいかなる符号化モードで符号化されているかを示し、モード情報２５１３は、（Ｎ＋２）番目フレームがいかなる符号化モードで符号化されているかを示す。例を挙げて説明すれば、符号化モードは、ＣＥＬＰモード、ＦＤモードまたはオーディオ符号化モードのうちいずれか一つにもなるが、それらに限定されるものではない。

【0301】

ペイロード２５５は、フレームの符号化モードによるコアデータに係わる情報を示す。ＣＥＬＰモードによって符号化されたＮ番目フレームを例として挙げて説明すれば、ペイロード２５５は、ＣＥＬＰ情報２５１２及びＴＤ拡張情報２５１３を含んでもよい。

【0302】

ＦＤモードによって符号化された（Ｎ＋１）番目フレームまたは（Ｎ＋２）番目フレームを例として挙げて説明すれば、ペイロード２５５は、ＦＤ情報２５２３または２５３２を含んでもよい。

【0303】

また、（Ｎ＋１）番目フレームに係わるビットストリーム２５２に図示されているように、ビットストリーム２５２のペイロード２５５は、予測データ２５２２をさらに含んでもよい。すなわち、隣接するフレーム間の符号化モードが、ＣＥＬＰモードからＦＤモードに変更される場合、ＦＤモードによる符号化が行われた結果によるビットストリーム２５２には、予測データ２５２２が含まれもする。

【0304】

さらに詳細に説明すれば、図２Ｂに図示されているように、ＣＥＬＰモードまたはＦＤモードのうちいずれか１つのモードでスイッチングがなされる符号化装置１０１で、ＦＤモードによる符号化を行う場合、ＭＤＣＴのように、フレーム間で重畳する周波数変換方式を利用する。

【0305】

このように、入力信号のＮ番目フレームに対して、ＣＥＬＰモードによる符号化が行われ、（Ｎ＋１）番目フレームに対して、ＦＤモードによる符号化が行われれば、ＦＤモードによる符号化結果だけで、（Ｎ＋１）番目フレームに係わる復号化を行うことができない。このように、隣接するフレーム間の符号化モードが、ＣＥＬＰモードからＦＤモードに変更される場合、ＦＤモードによる符号化が行われた結果によるビットストリーム２５２には、予測に該当する情報を示す予測データ２５２２が含まれもする。

【0306】

従って、復号化端で、ビットストリーム２５２に含まれた予測データ２５２２を参照し、以前フレーム（例えば、Ｎ番目フレーム）の復号化された結果と、現在フレーム（例えば、（Ｎ＋１）番目フレーム）の復号化された時間ドメイン情報とを利用した予測を介して、ＦＤモードによって符号化されたビットストリーム２５２を復号化することができる。例を挙げて説明すれば、時間ドメイン情報は、時間ドメイン・エイリアシング（time domain aliasing）にもなるが、それに限定されるものではない。

【0307】

また、（Ｎ＋１）番目フレームに係わるビットストリーム２５２、及び（Ｎ＋２）番目フレームに係わるビットストリーム２５３に図示されているように、ビットストリーム２５２，２５３のペイロード２５５は、以前フレームモード情報２５２４，２５３３をさらに含んでもよい。

【0308】

さらに詳細に説明すれば、ＦＤモードによる符号化が行われた結果によるビットストリーム２５２，２５３には、以前フレームモード情報２５２４，２５３３が含まれもする。

【0309】

例を挙げて説明すれば、（Ｎ＋１）番目フレームに係わるビットストリーム２５２に含まれた以前フレームモード情報２５２４は、Ｎ番目フレームのモード情報２５１１に係わる情報を含んでもよく、（Ｎ＋２）番目フレームに係わるビットストリーム２５３に含まれた以前フレームモード情報２５３３は、（Ｎ＋１）番目フレームのモード情報２５２４に係わる情報を含んでもよい。

【0310】

このように、複数のフレームのうち、いずれか１つのフレームにエラーが発生した場合にも、復号化端で、モード転移を正確に把握することができる。

【0311】

図２６は、本発明の一実施形態による周波数帯域別周波数割り当ての一例を図示した図面である。

【0312】

前述のように、図２Ｃに図示されたＦＤ拡張符号化部２０９４、または図２Ｄに図示されたＦＤ拡張符号化部２１５は、互いに異なるビット率に対して、同一のコードブックを共有して、エネルギー量子化を行うことができる。このように、ＦＤ拡張符号化部２０９４、または図２Ｄに図示されたＦＤ拡張符号化部２１５は、入力信号に対応する周波数スペクトルを、所定個数の周波数バンドに分割するにあたり、互いに異なるビット率に対して、同一の周波数バンド別に帯域幅を有するようにする。

【0313】

１６ｋｂｐｓのビット率で、約６．４ないし１４．４ｋＨｚの周波数帯域を分割する場合（２６１）、及び１６ｋｂｐｓ以上のビット率で、約８ないし１６ｋＨｚの周波数帯域を分割する場合（２６２）を例として挙げて説明する。かような場合、互いに異なるビット率に対して、同一の周波数バンド別に帯域幅を有するようにする。

【0314】

すなわち、最初の周波数バンドに係わる帯域幅２６３は、１６ｋｂｐｓのビット率、及び１６ｋｂｐｓ以上のビット率いずれにおいても、０．４ｋＨｚであり、２番目の周波数バンドに係わる帯域幅２６４は、１６ｋｂｐｓのビット率及び１６ｋｂｐｓ以上のビット率いずれにおいても、０．６ｋＨｚになる。

【0315】

かような方式で、互いに異なるビット率に対して、同一の周波数バンド別に、帯域幅を有するようにすることにより、本実施形態によるＦＤ拡張符号化部２０９４またはＦＤ拡張符号化部２１５は、互いに異なるビット率に対して、同一のコードブックを共有し、エネルギー量子化を行うことができる。

【0316】

このように、ＣＥＬＰモードとＦＤモードとがスイッチングされる設定（configuration）、またはＣＥＬＰモードとオーディオ符号化モードとがスイッチングされる設定で、multi mode band width extension技術を適用し、このとき、多様なビット率を支援することができるコードブック共有を行うことにより、ＲＯＭ（read-only memory）サイズを縮小させ、具現を単純化することができる。

【0317】

図２７は、本発明の一実施形態によるＦＤ符号化部またはＦＤ復号化部で適用される周波数帯域の一例を図示した図面である。図２７に図示された周波数帯域２７１は、図２Ｂに図示されたＦＤ符号化部２０９、及び図１２Ｂに図示されたＦＤ復号化部１２０９で、それぞれのツール別に適用可能な周波数帯域の一例を図示している。

【0318】

さらに詳細に説明すれば、ＦＤ符号化部２０９のＦＰＣ符号化部２０９２は、ＦＰＣコーディングを行う周波数帯域を、ビット率別に制限する。例えば、ＦＰＣコーディングを行う周波数帯域（Ｆcore）は、ビット率によって、６．４ｋＨｚ、８ｋＨｚまたは９．６ｋＨｚにもなるが、それに限定されるものではない。

【0319】

ＦＰＣ符号化部２０９２によって制限された周波数帯域内で、ＦＰＣコーディングを行うことにより、ＦＰＣがコーディングされた周波数帯域（Ｆｆｐｃ）２７２が決定されもする。かような場合、ＦＤ復号化部１２０９のノイズ・フィリング遂行部１２０９３は、ＦＰＣがコーディングされた周波数帯域（Ｆｆｐｃ）２７２に対して、ノイズ・フィリングを行う。

【0320】

このとき、ＦＰＣがコーディングされた周波数帯域（Ｆｆｐｃ）の上位帯域値が、ＦＰＣコーディングを行う周波数帯域（Ｆcore）の上位帯域値より小さい場合、ＦＤ復号化部１２０９のＦＤ低周波数拡張復号化部１２０９５は、低周波数拡張復号化を行うことができる。

【0321】

図２７を参照すれば、ＦＤ低周波数拡張復号化部１２０９５は、ＦＰＣコーディングを行う周波数帯域（Ｆcore）において、ＦＰＣがコーディングされた周波数帯域（Ｆｆｐｃ）に該当しない周波数帯域２７３に対して、ＦＤ低周波数拡張復号化を行うことができる。ただし、ＦＰＣコーディングを行う周波数帯域（Ｆcore）が、ＦＰＣがコーディングされた周波数帯域（Ｆｆｐｃ）と同一である場合には、ＦＤ低周波数拡張復号化が遂行されないこともある。

【0322】

ＦＤ復号化部１２０９のＦＤ高周波数拡張復号化部１２０９６は、ＦＰＣコーディングを行う周波数帯域（Ｆcore）の上位バンド値と、ビット率による周波数帯域（Ｆｅｎｄ）の上位バンド値との周波数帯域２７４に対して、ＦＤ高周波数拡張符号化を行うことができる。例を挙げて説明すれば、ビット率による周波数帯域（Ｆｅｎｄ）の上位バンド値は、１４ｋＨｚ、１４．４ｋＨｚまたは１６ｋＨｚにもなるが、それらに限定されるものではない。このように、本実施形態による符号化装置１０１及び復号化装置１０２を使用することにより、多様なスイッチング構造を介して、多様なビット率に対して、音声及び音楽を効率的にコーディングすることができる。また、ＦＤ拡張符号化及びＦＤ拡張復号化を行うにあたり、コードブックを共有することにより、多様な設定が存在する場合にも、高音質を低複雑で具現することができる。さらには、ＦＤ符号化が行われる場合、ビットストリームに、以前フレームのモード情報が含まれることにより、フレームエラーが発生する場合にも、正確な復号化を行うことができる。それにより、本実施形態による符号化装置１０１及び復号化装置１０２を使用することにより、low complexity及びlow delayを具現することができる。

【0323】

従って、３ＧＰＰ ＥＶＳ（enhanced voiced service）による音声信号及び音楽信号の符号化及び復号化を好ましく行うことができる。

【0324】

本発明の実施例による方法は、多様なコンピュータ手段を介して遂行されるプログラム命令形態に具現され、コンピュータ可読媒体に記録されもする。前記コンピュータ可読媒体は、プログラム命令、データファイル、データ構造などを、単独でまたは組み合わせて含んでもよい。前記媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものや、コンピュータ・ソフトウェア当業者に公知されて使用可能なものでもある。

【0325】

以上のように、本発明は、たとえ限定された実施形態と図面とによって説明されたとしても、本発明は、前記の実施形態に限定されるものではなくて、本発明が属する分野で当業者であるならば、かような記載から多様な修正及び変形が可能であろう。従って、本発明の範囲は、説明された実施形態に限って決まるものではなく、特許請求の範囲だけではなく、該特許請求の範囲と均等なものによっても決まるものである。

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図12A】

【図12B】

【図12C】

【図12D】

【図13】

【図14】

【図15A】

【図15B】

【図15C】

【図16A】

【図16B】

【図16C】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】