知財求人 - 知財ポータルサイト「IP Force」
▶ サムスン エレクトロニクス カンパニー リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6787941
(24)【登録日】2020年11月2日
(45)【発行日】2020年11月18日
(54)【発明の名称】高周波数帯域幅拡張のための符号化／復号化装置及びその方法
(51)【国際特許分類】
G10L 19/02 20130101AFI20201109BHJP
G10L 21/0388 20130101ALI20201109BHJP
【ＦＩ】
G10L19/02 150
G10L21/0388 100
【請求項の数】3
【全頁数】35
(21)【出願番号】特願2018-42309(P2018-42309)
(22)【出願日】2018年3月8日
(62)【分割の表示】特願2016-230346(P2016-230346)の分割
【原出願日】2011年9月15日
(65)【公開番号】特開2018-120236(P2018-120236A)
(43)【公開日】2018年8月2日
【審査請求日】2018年3月8日
(31)【優先権主張番号】10-2010-0138045
(32)【優先日】2010年12月29日
(33)【優先権主張国】KR
(31)【優先権主張番号】10-2010-0103636
(32)【優先日】2010年10月22日
(33)【優先権主張国】KR
(31)【優先権主張番号】10-2010-0090582
(32)【優先日】2010年9月15日
(33)【優先権主張国】KR
(73)【特許権者】
【識別番号】503447036
【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100091214
【弁理士】
【氏名又は名称】大貫 進介
(72)【発明者】
【氏名】ソン，ホ−サン
(72)【発明者】
【氏名】ジュ，キ−ヒョン
(72)【発明者】
【氏名】オ，ウン−ミ
【審査官】
冨澤 直樹
(56)【参考文献】
【文献】
米国特許出願公開第２００８／０１２０１１７（ＵＳ，Ａ１）
【文献】
特表２０１０−５００８１９（ＪＰ，Ａ）
【文献】
特許第６３０６６７６（ＪＰ，Ｂ２）
【文献】
特許第６１１１１９６（ＪＰ，Ｂ２）
【文献】
特開２００６−０４８０４３（ＪＰ，Ａ）
【文献】
特開２００６−１８９８３６（ＪＰ，Ａ）
【文献】
特開２０１０−０６６１５８（ＪＰ，Ａ）
【文献】
特開２００２−２０２７９９（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ１０Ｌ １９／００−１９／２６
Ｇ１０Ｌ ２１／０３８８
(57)【特許請求の範囲】
【請求項1】
少なくとも１つのプロセッサを含み、
前記プロセッサは、
現在フレームの入力スペクトルに基づき、所定周波数より高い帯域のための基本励起スペクトル(base excitation spectrum)を生成し、
前記入力スペクトルから前記現在フレームを構成するバンドのエネルギーを取得し、
前記基本励起スペクトルのトーナリティと前記入力スペクトルのトーナリティとの比率に基づき、前記現在フレームを構成するバンドに対応するエネルギー制御要素を取得し、
前記現在フレームを構成するバンドに対して得られたエネルギーを前記エネルギー制御要素に基づいて制御し、
エネルギーベクトルから一定間隔にサブベクトルを選択し、前記選択されたサブベクトルを補間して補間エラーを計算し、前記選択されたサブベクトル及び前記補間エラーを加重平均二乗エラー(weighted mean square error)に基づいて量子化することにより、前記制御されたエネルギーをベクトル量子化する符号化装置。
前記プロセッサは、
現在フレームの入力スペクトルに基づき、所定周波数より高い帯域のための基本励起スペクトル(base excitation spectrum)を生成し、
前記入力スペクトルから前記現在フレームを構成するバンドのエネルギーを取得し、
前記基本励起スペクトルのトーナリティと前記入力スペクトルのトーナリティとの比率に基づき、前記現在フレームを構成するバンドに対応するエネルギー制御要素を取得し、
前記現在フレームを構成するバンドに対して得られたエネルギーを前記エネルギー制御要素に基づいて制御し、
エネルギーベクトルから一定間隔にサブベクトルを選択し、前記選択されたサブベクトルを補間して補間エラーを計算し、前記選択されたサブベクトル及び前記補間エラーを加重平均二乗エラー(weighted mean square error)に基づいて量子化することにより、前記制御されたエネルギーをベクトル量子化する符号化装置。
【請求項2】
前記プロセッサは、前記現在フレームがノントランジェント(non-transient)フレームに該当する場合、前記現在フレームを構成するバンドに対して得られたエネルギーのサイズを前記エネルギー制御要素に基づき調整する請求項１に記載の符号化装置。
【請求項3】
前記ノントランジェント(non-transient)フレームは、ハーモニック(harmonic)フレームとノーマル(normal)フレームを含む請求項２に記載の符号化装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音声信号または音楽信号のようなオーディオ信号を符号化／復号化する方法及びその装置に係り、さらに詳細には、オーディオ信号において、高周波数領域に該当する信号を符号化／復号化する方法及びその装置に関する。
【背景技術】
【0002】
高周波数領域に該当する信号は、低周波数領域に該当する信号に比べ、周波数の微細構造にそれほど敏感ではない。従って、オーディオ信号を符号化するとき、可用ビットの制約を克服するために、コーディングの効率を高めなければならない場合、低周波数領域に対応する信号に多くのビットを割り当てて符号化する一方、高周波数領域に対応する信号に相対的に少ないビットを割り当てて符号化する。
【0003】
かような方式が適用された技術がＳＢＲ（spectral band replication）である。ＳＢＲ技術は、高域成分信号を包絡線で表現し、これを復号化段階で合成する方式で、符号化効率を向上させる方式である。これは、人間の聴覚特性が高域信号に相対的に低い解像力を有するという事実に基づいたものである。
【発明の概要】
【発明が解決しようとする課題】
【0004】
かようなＳＢＲ技術において、高周波数領域の帯域幅を拡張するための改善された方法が要求される。
【課題を解決するための手段】
【0005】
本発明の一実施形態による符号化装置は、時間領域入力信号をダウンサンプリングするダウンサンプリング部と、ダウンサンプリングされた時間領域入力信号に対して、コア符号化を行うコア符号化部と、前記コア符号化された時間領域入力信号を、周波数領域入力信号に変換する周波数変換部と、前記周波数領域入力信号の基本信号（basic signal）を利用して、帯域幅拡張符号化を行う拡張符号化部と、を含んでもよい。
【0006】
本発明の一実施形態による符号化装置の前記拡張符号化部は、前記周波数領域入力信号の周波数スペクトルを利用して、前記周波数領域入力信号の基本信号を生成する基本信号生成部と、前記基本信号を利用して、エネルギー制御要素（energy control factor）を推定する要素推定部と、前記周波数領域入力信号から、エネルギーを抽出するエネルギー抽出部と、前記エネルギー制御要素を利用して、前記抽出されたエネルギーを制御するエネルギー制御部と、前記制御されたエネルギーを量子化するエネルギー量子化部と、を含んでもよい。
【0007】
本発明の一実施形態による符号化装置の前記基本信号生成部は、前記周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号（artificial signal）を生成する人工信号生成部と、ウィンドウを利用して、前記基本信号の包絡線を推定する包絡線推定部と、前記推定された包絡線を人工信号に適用する包絡線適用部と、を含んでもよい。前記推定された包絡線を適用するということは、前記人工信号を、前記人工信号の推定された包絡線によって分けることを意味する。
【0008】
本発明の一実施形態による符号化装置の前記要素推定部は、前記周波数領域入力信号の高周波数領域のトーナリティを計算する第１トーナリティ計算部と、前記基本信号のトーナリティを計算する第２トーナリティ計算部と、前記高周波数領域のトーナリティと、前記基本信号のトーナリティとを利用して、前記エネルギー制御要素を計算する要素計算部と、を含んでもよい。
【0009】
本発明の他の一実施形態による符号化装置は、時間領域入力信号をダウンサンプリングするダウンサンプリング部と、ダウンサンプリングされた時間領域入力信号に対して、コア符号化を行うコア符号化部と、前記コア符号化された時間領域入力信号を、周波数領域入力信号に変換する周波数変換部と、前記周波数領域入力信号の特性、及び前記周波数領域入力信号の基本信号を利用して、帯域幅拡張符号化を行う拡張符号化部と、を含んでもよい。
【0010】
本発明の一実施形態による符号化装置の前記拡張符号化部は、前記周波数領域入力信号の周波数スペクトルを利用して、前記周波数領域入力信号の基本信号を生成する基本信号生成部と、前記周波数領域入力信号の特性及び前記基本信号を利用して、エネルギー制御要素を推定する要素推定部と、前記周波数領域入力信号から、エネルギーを抽出するエネルギー抽出部と、前記エネルギー制御要素を利用して、前記抽出されたエネルギーを制御するエネルギー制御部と、前記制御されたエネルギーを量子化するエネルギー量子化部と、を含んでもよい。
【0011】
本発明のさらに他の実施形態による符号化装置は、周波数領域入力信号と時間領域入力信号とを利用して、帯域幅拡張符号化の符号化モードを選択する符号化モード選択部と、前記周波数領域入力信号と、前記選択された符号化モードとを利用して、帯域幅拡張符号化を行う拡張符号化部と、を含んでもよい。
【0012】
本発明の一実施形態による符号化装置の前記拡張符号化部は、前記符号化モードに基づいて、前記周波数領域入力信号から、エネルギーを抽出するエネルギー抽出部と、前記符号化モードに基づいて、前記抽出されたエネルギーを制御するエネルギー制御部と、前記符号化モードに基づいて、前記制御されたエネルギーを量子化するエネルギー量子化部と、を含んでもよい。
【0013】
本発明の一実施形態による復号化装置は、ビットストリームに含まれ、コア符号化された時間領域入力信号をコア復号化するコア復号化部と、前記コア復号化された時間領域入力信号をアップサンプリングするアップサンプリング部と、前記アップサンプリングされた時間領域入力信号を、周波数領域入力信号に変換する周波数変換部と、前記時間領域入力信号のエネルギーと、前記周波数領域入力信号とを利用して、帯域幅拡張復号化を行う拡張復号化部と、を含んでもよい。
【0014】
本発明の一実施形態による復号化装置の前記拡張復号化部は、前記時間領域入力信号のエネルギーを逆量子化する逆量子化部と、前記周波数領域入力信号を利用して、基本信号を生成する基本信号生成部と、前記逆量子化されたエネルギーと、前記基本信号のエネルギーとを利用して、前記基本信号に適用されるゲインを計算するゲイン計算部と、前記計算されたゲインを周波数バンド別に適用するゲイン適用部と、を含んでもよい。
【0015】
本発明の一実施形態による復号化装置の前記基本信号生成部は、前記周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号を生成する人工信号生成部と、前記ビットストリームに含まれたウィンドウを利用して、前記基本信号の包絡線を推定する包絡線推定部と、前記推定された包絡線を、前記人工信号に適用する包絡線適用部と、を含んでもよい。
【0016】
本発明の一実施形態による符号化方法は、時間領域入力信号をダウンサンプリングする段階と、ダウンサンプリングされた時間領域入力信号に対して、コア符号化を行う段階と、前記時間領域入力信号を、周波数領域入力信号に変換する段階と、及び前記周波数領域入力信号の基本信号を利用して、帯域幅拡張符号化を行う段階と、を含んでもよい。
【0017】
本発明の他の実施形態による符号化方法は、時間領域入力信号をダウンサンプリングする段階と、ダウンサンプリングされた時間領域入力信号に対して、コア符号化を行う段階と、前記時間領域入力信号を、周波数領域入力信号に変換する段階と、前記周波数領域入力信号の特性、及び前記周波数領域入力信号の基本信号を利用して、帯域幅拡張符号化を行う段階と、を含んでもよい。
【0018】
本発明のさらに他の実施形態による符号化方法は、周波数領域入力信号と時間領域入力信号とを利用して、帯域幅拡張符号化の符号化モードを選択する段階と、前記周波数領域入力信号と、前記選択された符号化モードとを利用して、帯域幅拡張符号化を行う段階と、を含んでもよい。
【0019】
本発明の一実施形態による復号化方法は、ビットストリームに含まれ、コア符号化された時間領域入力信号をコア復号化する段階と、前記コア復号化された時間領域入力信号をアップサンプリングする段階と、前記アップサンプリングされた時間領域入力信号を、周波数領域入力信号に変換する段階と、前記時間領域入力信号のエネルギーと、前記周波数領域入力信号とを利用して、帯域幅拡張復号化を行う段階と、を含んでもよい。
【発明の効果】
【0020】
本発明の実施形態によれば、入力信号の基本信号を抽出し、入力信号の高周波数領域のトーナリティと基本信号のトーナリティとを利用して、入力信号のエネルギーを制御することにより、高周波数領域の帯域幅を効率的に拡張することができる。
【図面の簡単な説明】
【0021】
【図1】一実施形態による符号化装置及び復号化装置を図示したブロック図である。
【図6】拡張符号化部の基本信号生成部を図示したブロック図である。
【図7】拡張符号化部の要素推定部を図示したブロック図である。
【図9】一実施形態によって、エネルギーを量子化する過程を示した図面である。
【図10】一実施形態によって、人工信号を生成する過程を示した図面である。
【図11A】一実施形態によって、包絡線推定のためのウィンドウの例を示した図面である。
【図11B】一実施形態によって、包絡線推定のためのウィンドウの例を示した図面である。
【図14】拡張復号化部の逆量子化部の動作を示したフローチャートである。
【図15】本発明の一実施形態による符号化方法を示したフローチャートである。
【図16】本発明の一実施形態による復号化方法を示したフローチャートである。
【図19】一実施形態によって、不均一ビット割り当て方法を利用して、エネルギーを量子化する過程を示した図面である。
【図20】一実施形態によって、イントラフレーム予測を利用したベクトル量子化を行う過程を図示した図面である。
【図21】一実施形態によって、周波数加重方法を利用して、エネルギーを量子化する過程を示した図面である。
【図22】一実施形態によって、マルチステージ・スプリットのベクトル量子化と、イントラフレーム予測を利用したベクトル量子化とを行う過程を図示した図面である。
【発明を実施するための形態】
【0022】
以下、本発明の実施形態について、添付された図面を参照して詳細に説明する。
【0023】
図１は、一実施形態による符号化装置１０１及び復号化装置１０２を図示したブロック図である。符号化装置１０１は、入力信号の基本信号（base signal）を生成し、復号化装置１０２に伝送することができる。基本信号は、低周波信号を基に生成され、低周波信号の包絡線情報が除去（whitening）された信号であるから、高周波帯域幅拡張のための励起信号（excitation signal）である。それにより、復号化装置１０２は、受信された基本信号から入力信号を復元することができる。すなわち、符号化装置１０１と復号化装置１０２は、ＳＷＢ ＢＷＥ（super wide band bandwidth extension）を行う。具体的には、ＳＷＢ ＢＷＥは、低周波数領域である０〜６．４ＫＨｚのデコーディングされたＷＢ（wide band）信号を基に、ＳＷＢに対応する高周波数領域である６．４〜１６ＫＨｚ信号を生成することができる。このとき、１６ＫＨｚは、状況によって変動される。そして、デコーディングされたＷＢ信号は、ＬＰＤ（linear prediction domain）基盤のＣＥＬＰ（code excited linear prediction）によって、speech codecを介して生成された信号であるか、あるいは周波数ドメインで量子化を行う方式によって生成された信号であってもよい。周波数ドメインで量子化する方式は、ＭＤＣＴ（modified discrete cosine transform）基盤で行うＡＡＣ（advanced audio coding）を有することができる。
【0024】
以下では、符号化装置１０１と復号化装置１０２との詳細動作について具体的に説明する。
【0025】
図２は、図１の符号化装置１０１の構成を図示したブロック図である。図２を参照すれば、符号化装置１０１は、例えば、ダウンサンプリング部２０１、コア符号化部２０２、周波数変換部２０３及び拡張符号化部２０４を含んでもよい。
【0026】
ダウンサンプリング部２０１は、ＷＢコーディングのために、時間領域入力信号をダウンサンプリングすることができる。時間領域入力信号であるＳＷＢ（super wide band）信号は、一般的に、３２ＫＨｚサンプリングレートを有する信号であるので、ＷＢコーディングに適するサンプリングレートに変換することが必要である。一例として、ダウンサンプリング部２０１は、３２ＫＨｚサンプリングレートを示す時間領域入力信号を、１２．８ＫＨｚにダウンサンプリングすることができる。
【0027】
コア符号化部２０２は、ダウンサンプリングされた時間領域入力信号をコア符号化することができる。すなわち、コア符号化部２０２は、ＷＢコーディングを行うことができる。一例として、コア符号化部２０２は、ＣＥＬＰ方式のＷＢコーディングを行うことができる。
【0028】
周波数変換部２０３は、時間領域入力信号を、周波数領域入力信号に変換することができる。一例として、周波数変換部２０３は、ＦＦＴ（fast Fourier transform）またはＭＤＣＴのうちいずれか一つを利用して、時間領域入力信号を、周波数領域入力信号に変換することができる。以下では、ＭＤＣＴを適用したと仮定して説明する。
【0029】
拡張符号化部２０４は、周波数領域入力信号の基本信号を利用して、帯域幅拡張符号化を行うことができる。すなわち、拡張符号化部２０４は、周波数領域入力信号を基に、ＳＷＢ ＢＷＥ符号化を行うことができる。
【0030】
また、拡張符号化部２０４は、周波数領域入力信号の基本信号と周波数領域入力信号との特性を利用して、帯域幅拡張符号化を行うことができる。その場合、周波数領域入力信号の特性のソースによって、拡張符号化部２０４は、図４及び図５のようなブロック図として具体化される。
【0032】
結局、図２で上端pathは、コア符号化過程を示し、下端pathは、帯域幅拡張符号化過程を示す。特に、ＳＷＢ ＢＷＥ符号化過程を介して、入力信号のエネルギー情報が復号化装置１０２に伝達されてもよい図３は、コア符号化部２０２のブロック図を図示した図面である。図３を参照すれば、コア符号化部２０２は、例えば、信号分類部３０１及び符号化部３０２を含んでもよい。
【0033】
信号分類部３０１は、ダウンサンプリングされた入力信号（１２．８ＫＨｚ）の特性を分類することができる。すなわち、信号分類部３０１は、周波数領域入力信号の特性によって、周波数領域入力信号に適用する符号化モードを決定することができる。例えば、ＩＴＵ−Ｔ Ｇ．７１８コーデックで、信号分類部３０１は、音声信号を、有声音符号化モード（voiced coding mode）、無声音符号化モード（unvoiced coding mode）、転移信号符号化モード（transition coding mode）及び一般的な信号符号化モード（generic coding mode）のうち一つ以上に分類することができる。ここで、無声音符号化モードは、無声音フレームと、ほとんどのinactive frameとを符号化するために設計された。
【0034】
符号化部３０２は、信号分類部３０１で分類された周波数領域入力信号の特性によって最適化されたコーディングを行うことができる。
【0035】
図４は、図２の拡張符号化部２０４の一実施形態を図示した図面である。図４を参照すれば、拡張符号化部２０４は、例えば、基本信号生成部４０１、要素推定部４０２、エネルギー抽出部４０３、エネルギー制御部４０４及びエネルギー量子化部４０５を含んでもよい。一例として、拡張符号化部２０４は、符号化モードを入力されずに、エネルギー制御要素を推定することができる。他の一例として、拡張符号化部２０４は、符号化モードを利用して、エネルギー制御要素を推定することができる。このとき、符号化モードは、コア符号化部２０２から入力される。
【0036】
基本信号生成部４０１は、周波数領域入力信号の周波数スペクトルを利用して、入力信号の基本信号を生成することができる。基本信号は、ＷＢ信号を基にＳＷＢ ＢＷＥを行うめの信号を意味する。言い替えれば、基本信号は、低周波領域のfine structureを構成する信号を意味する。基本信号を生成する過程については、図６でさらに具体的に説明する。
【0037】
一例として、要素推定部４０２は、基本信号を利用して、エネルギー制御要素（energy control factor）を推定することができる。すなわち、符号化装置１０１は、復号化装置１０２で、ＳＷＢ領域の信号を生成するために、入力信号のエネルギー情報を伝送する。このとき、要素推定部４０２は、エネルギー情報を知覚的な（perceptual）観点から制御するために、エネルギーを制御するためのパラメータであるエネルギー制御要素を推定することができる。エネルギー制御要素を推定する過程については、図７で具体的に説明する。
【0038】
他の一例として、要素推定部４０２は、周波数領域入力信号の特性と基本信号とを利用して、エネルギー制御要素を推定することができる。このとき、周波数領域入力信号の特性は、コア符号化部２０２から入力される。
【0039】
エネルギー抽出部４０３は、周波数領域入力信号から、エネルギーを抽出することができる。抽出されたエネルギーは、復号化装置１０２に伝送される。エネルギーは、周波数バンド別に抽出される。
【0040】
エネルギー制御部４０４は、エネルギー制御要素を利用して、入力信号から抽出されたエネルギーを制御することができる。すなわち、エネルギー制御部４０４は、周波数バンド別に抽出されたエネルギーに、エネルギー制御要素を適用することにより、エネルギーを制御することができる。
【0041】
エネルギー量子化部４０５は、制御されたエネルギーを量子化（quantization）することができる。エネルギーは、ｄＢ（decibel） scaleに変換されて量子化が行われる。具体的には、エネルギー量子化部４０５は、全体エネルギーであるグローバル（global）エネルギーを求めて、グローバルエネルギー、及び周波数バンド別エネルギーとグローバルエネルギーとの差をスカラ量子化することができる。または、最初のバンドは、エネルギーを直接量子化し、二番目以後のバンドは、以前バンドとの差を量子化することができる。また、エネルギー量子化部４０５は、周波数バンドの差値を利用せずに、周波数バンド別にエネルギーを直接量子化することもできる。周波数バンド別にエネルギーを直接量子化する場合、スカラ量子化またはベクトル量子化が利用される。エネルギー量子化部４０５については、図８及び図９で具体的に説明する。
【0042】
図５は、拡張符号化部２０４の他の実施形態を図示したブロック図である。図５の拡張符号化部２０４は、図４の拡張符号化部２０４と異なり、信号分類部５０１をさらに含んでもよい。一例として、要素推定部４０２は、周波数領域入力信号の特性と基本信号とを利用して、エネルギー制御要素を推定することができる。このとき、周波数領域入力信号の特性は、コア符号化部２０２から入力されるのではなく、信号分類部５０１から入力されるのである。
【0043】
信号分類部５０１は、３２ＫＨｚの入力信号を、ＭＤＣＴスペクトルを利用して、周波数領域入力信号の特性を分類することができる。具体的には、信号分類部５０１は、周波数領域入力信号の特性によって、周波数領域入力信号に適用される符号化モードを決定することができる。
【0044】
入力信号の特性が分類されるとき、エネルギー制御要素が信号から抽出されて制御される。一実施形態において、エネルギー制御要素推定に適する信号について、エネルギー制御要素が抽出される。例えば、ノイズ信号や無声音信号のように、トーナル成分を含まない信号は、エネルギー制御要素推定に適さないこともある。このとき、拡張符号化部２０４は、入力信号が無声音符号化モードとして分類された場合、拡張符号化部２０４は、エネルギー制御要素を推定せずに、帯域幅拡張符号化を行うことができる。
【0047】
人工信号生成部６０１は、周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号（artificial signal）を生成することができる。すなわち、人工信号生成部６０１は、周波数領域入力信号の低周波数スペクトルをコピーし、ＳＷＢ領域の人工信号を生成することができる。人工信号を生成する具体的な過程については、図１０で説明する。
【0048】
包絡線推定部６０２は、ウィンドウを利用して、基本信号の包絡線を推定することができる。基本信号の包絡線は、ＳＷＢ領域の人工信号の周波数スペクトルに含まれている低周波数領域の包絡線情報を取り除くために使用される。特定周波数インデックスの包絡線は、特定周波数以前と以後との周波数スペクトルを使用して決定される。そして、動き平均（moving average）を介して、包絡線が推定される。一例として、周波数変換時にＭＤＣＴが使用されたとするなら、ＭＤＣＴ変換された周波数スペクトルの絶対値を介して、基本信号の包絡線が推定される。
【0049】
このとき、包絡線推定部６０２は、whiteningバンドを構成した後、whiteningバンド別に周波数magnitudeの平均を、whiteningバンド内に属した周波数の包絡線として推定することができる。前記whiteningバンドに属する周波数スペクトルの個数は、エネルギーを抽出するバンドよりさらに少なく設定されることができる。
【0050】
ホワイトニング（whitening）バンド別に、周波数サイズ（magnitude）の平均を、ホワイトニングバンド内に属した周波数の包絡線として推定する場合、包絡線推定部６０２は、ホワイトニングバンド内に属したスペクトルの個数が多いか、あるいは少ないかということに係わる情報で伝送し、基本信号の平坦化位を調節することができる。例えば、包絡線推定部６０２は、８個のスペクトルから構成された場合と、３個のスペクトルから構成された場合との２種方式に基づいて情報を伝送することができる。このとき、３個のスペクトルから構成された場合、８個のスペクトルから構成された場合より、さらに平坦化された基本信号が生成される。
【0051】
また、包絡線推定部６０２は、ホワイトニングバンド内に属したスペクトルの個数の多少いかんに係わる情報を送信せずに、コア符号化部２０２に使用された符号化モードによって決定することができる。コア符号化部２０２は、入力信号の特性によって、入力信号を、有声音符号化モード、無声音符号化モード、transient符号化モード、及びgeneric符号化モードに区分して入力信号を符号化することができる。
【0052】
このとき、包絡線推定部６０２は、入力信号の特性による符号化モードに基づいて、ホワイトニングバンドに属した周波数スペクトルの個数を制御させることができる。一例として、入力信号が有声音符号化モードによって符号化された場合、包絡線推定部６０２は、ホワイトニングバンドに３個の周波数スペクトルを構成して包絡線を推定することができる。そして、入力信号が有声音符号化モード以外の符号化モードによって符号化された場合、包絡線推定部６０２は、ホワイトニングバンドに３個の周波数スペクトルを構成して包絡線を推定することができる。
【0053】
包絡線適用部６０３は、推定された包絡線を人工信号に適用することができる。かような過程をwhiteningといい、人工信号が包絡線によって平坦化される。包絡線適用部６０３は、人工信号を、周波数インデックスそれぞれの包絡線に分けて基本信号を生成することができる。
【0054】
図７は、要素推定部４０２を図示したブロック図である。図７を参照すれば、要素推定部４０２は、例えば、第１トーナリティ（tonality）計算部７０１、第２トーナリティ計算部７０２及び要素計算部７０３を含んでもよい。
【0055】
第１トーナリティ計算部７０１は、周波数領域入力信号の高周波数領域のトーナリティ（tonality）を計算することができる。すなわち、第１トーナリティ計算部７０１は入力信号の高周波数領域であるＳＷＢ領域のトーナリティを計算することができる。
【0056】
第２トーナリティ計算部７０２は、基本信号のトーナリティを計算することができる。トーナリティは、spectral flatnessを測定することによって計算される。具体的には、下記数式（１）によってトーナリティが計算される。Spectral flatnessは、周波数スペクトルの幾何平均と算術平均との関係を介して測定される。
【0057】
【数1】
【0058】
【数2】
【0059】
エネルギー制御要素は、下記数式（３）によって計算される。
【0060】
【数3】
【0061】
図８は、エネルギー量子化部４０５の動作について説明するためのフローチャートである。段階Ｓ８０１で、エネルギー量子化部４０５は、エネルギー制御要素を利用して、エネルギーベクトルを前処理し、前処理されたエネルギーベクトルのサブベクトルを選択することができる。一例として、エネルギー量子化部４０５は、選択されたエネルギーベクトルそれぞれのエネルギー値について、平均値を差し引いたり、あるいはエネルギーベクトルそれぞれの重要度に係わる加重値を計算することができる。このとき、重要度に係わる加重値、は合成音の音質を最大化する方向に計算される。
【0062】
そして、エネルギー量子化部４０５は、符号化効率を考慮して、エネルギーベクトルのサブベクトルを適切に選択することができる。そして、補間効果を向上させるために、エネルギー量子化部４０５は、一定間隔でサブベクトルを選択することができる。
【0063】
一例として、エネルギー量子化部４０５は、下記数式（４）によって、サブベクトルを選択することができる。
【0064】
ｋ＊ｎ（ｎ＝０ … Ｎ），ｋ＞＝２，Ｎは、ベクトルdimensionより小さい最大整数 （４）その場合、ｋ＝２になれば、偶数がＮに選択される。
【0065】
段階Ｓ８０２で、エネルギー量子化部４０５は、選択されたサブベクトルを量子化及び逆量子化する。エネルギー量子化部４０５は、数式（５）によって計算されたＭＳＥ（mean square error）を最小化する量子化インデックスを選択し、サブベクトルを量子化することができる。
【0066】
【数4】
【0067】
そして、前処理過程で、重要度に係わる加重値が計算された場合、エネルギー量子化部４０５は、加重値が適用されたＷＭＳＥ（weighted ＭＳＥ）を利用して、最適化された量子化インデックスを求めることができる。このとき、weighted ＭＳＥは、数式（６）によって計算される。
【0068】
【数5】
【0069】
段階Ｓ８０５で、エネルギー量子化部４０５は、補間エラーを量子化することができる。このとき、エネルギー量子化部４０５は、ＭＳＥを最小化する量子化インデックスを利用して、補間エラーを量子化することができる。エネルギー量子化部４０５は、スカラ量子化、ベクトル量子化、ＴＣＱ（trellis coded quantization）及びＬＶＱ（lattice ＶＱ）のうちいずれか一つによって補間エラーを量子化することができる。このとき、ベクトル量子化は、multi−stage ＶＱまたはsplit ＶＱなどが可能であり、split ＶＱとmulti−stage ＶＱとを同時に使用することも可能である。そして、前処理過程で、重要度に係わる加重値が計算された場合、エネルギー量子化部４０５は、加重値が適用されたＷＭＳＥを利用して、最適化された量子化インデックスを求めることができる。
【0070】
段階Ｓ８０６で、エネルギー量子化部４０５は、選択されて量子化されたサブベクトルを補間し、選択されていない残りのサブベクトルを計算し、段階Ｓ８０５で計算された量子化された補間エラーを加え、最終的に量子化されたエネルギーを計算することができる。そして、エネルギー量子化部４０５は、後処理過程を介して、前処理過程で差し引いた平均値をエネルギー値にさらに加え、最終的に量子化されたエネルギーを計算することができる。
【0071】
Multi−stage ＶＱで、エネルギー量子化部４０５は、同一のコードブックでもって、量子化性能を向上させるために、Ｋ個のサブベクトルの候補（candidate）を利用して量子化を行う。Ｋが２以上である場合、エネルギー量子化部４０５は、distortion measureを行い、サブベクトルの最適候補を決定することができる。このとき、distortion measureは、２つの方式によって決定される。
【0072】
第一に、エネルギー量子化部４０５は、サブベクトルの候補それぞれについて、各ステージで、ＭＳＥ（mean square error）またはＷＭＳＥ（weighted mean square error）を最小化させるインデックスセットを生成した後、すべてのステージのＭＳＥまたはＷＭＳＥの和が最小であるサブベクトルについて候補を選択することができる。その場合、計算量が少ないという長所がある。
【0073】
第二に、エネルギー量子化部４０５は、サブベクトルの候補それぞれについて、各ステージで、ＭＳＥまたはＷＭＳＥを最小化するインデックスセットを生成した後、逆量子化過程を経てエネルギーベクトルを復元した後、復元されたエネルギーベクトルと、原のエネルギーベクトルとのＭＳＥまたはＷＭＳＥを最小化するサブベクトルについて、候補を選択することができる。その場合、復元のための計算量が追加されるものの、実際量子化された値を利用してＭＳＥを求めるので、性能にすぐれるという長所がある。
【0074】
図９は、一実施形態によって、エネルギーを量子化する過程を示した図面である。図９を参照すれば、エネルギーベクトルは、１４dimensionを示す。１st stageで、エネルギー量子化部４０５は、エネルギーベクトルから偶数のみを選択し、７dimensionであるサブベクトルを選択することができる。１st stageで、性能向上のためにエネルギー量子化部４０５は、２個の量子化stageにsplitされたベクトル量子化を利用することができる。
【0075】
エネルギー量子化部４０５は、２nd stageで、１st stageのエラー信号を利用して量子化を行うことができる。エネルギー量子化部４０５は、選択されたサブベクトルの逆量子化過程を経て、補間エラーを求めることができる。３rd stageで、エネルギー量子化部４０５は、補間エラーを２個にsplitされたベクトル量子化を利用して、量子化することができる。
【0076】
図１０は、一実施形態による人工信号を生成する過程を図示した図面である。図１０を参照すれば、人工信号生成部６０１は、全体周波数バンドで、低周波数領域であるｆＬ〜６．４ＫＨｚに対応する周波数スペクトル１００１をコピーすることができる。コピーされた周波数スペクトル１００１は、６．４〜１２．８−ｆＬ ＫＨｚ周波数領域までシフトされる。そして、１２．８−ｆＬ〜１６ＫＨｚ周波数領域に対応する周波数スペクトルは、６．４〜１２．８−ｆＬ ＫＨｚ周波数領域の周波数スペクトルがフォールディングされて生成される。すなわち、高周波数領域であるＳＷＢに対応する人工信号は、６．４〜１６ＫＨｚまで生成される。
【0077】
このとき、周波数スペクトルを生成するときに使用された変換がＭＤＣＴである場合、ｆＬと６．４ｋＨｚとの間に相関関係が存在する。具体的には、６．４ｋＨｚに該当するＭＤＣＴの周波数インデックスが偶数である場合には、ｆＬの周波数インデックスも偶数である必要がある。一方、６．４ｋＨｚに該当するＭＤＣＴの周波数インデックスが奇数である場合、ｆＬの周波数インデックスも奇数である必要がある。
【0078】
例えば、原入力信号に対して、６４０個のスペクトルを抽出するＭＤＣＴを適用した場合、６．４ｋＨｚに対応するインデックスは、２５６番目のインデックスになって（６４００／１６０００＊６４０）偶数になる。その場合、ｆＬは、偶数として選択される必要がある。すなわち、ｆＬは、２（５０Ｈｚ）、４（１００Ｈｚ）などが使用される。この過程は、復号化過程でも同一に適用される。
【0079】
図１１Ａ及び図１１Ｂは、一実施形態による包絡線推定のためのウィンドウを図示した図面である。図１１Ａ及び図１１Ｂを参照すれば、ウィンドウ１１０１とウィンドウ１１０２とのpeak位置が、現在包絡線を推定しようとする周波数インデックスを意味する。基本信号に係わる包絡線推定は、下記数式（７）によって行われる。
【0080】
【数6】
【0081】
ウィンドウ１１０１とウィンドウ１１０２とを比較すれば、ウィンドウ１１０２は、ウィンドウ１１０１より現在周波数インデックスに対応する周波数スペクトルに、加重値をさらに付け加えて包絡線を推定する。従ってウィンドウ１１０２によって生成された基本信号は、ウィンドウ１１０１によって生成された基本信号より平坦に生成される。ウィンドウの種類は、ウィンドウ１１０１あるいはウィンドウ１１０２によって生成されたそれぞれの基本信号と、入力信号の周波数スペクトルとを比較することによって選択される。また、高周波数領域のトーナリティ比較を介して、類似したトーナリティを有させるウィンドウが選択される。そして、高周波数領域の相関も（correlation）の比較を介して、相関図の高いウィンドウが選択される。
【0082】
図１２は、図１の復号化装置１０１を図示したブロック図である。図１２の過程は、図２の過程の逆過程からなる。図１２を参照すれば、復号化装置１０２は、例えば、コア復号化部１２０１、アップサンプリング部１２０２、周波数変換部１２０３、拡張復号化部１２０４及び周波数逆変換部１２０５を含んでもよい。
【0083】
コア復号化部１２０１は、ビットストリームに含まれたコア符号化された時間領域入力信号をコア復号化することができる。コア復号化過程を介して、１２．８ＫＨｚサンプリングレートを有する信号が抽出される。
【0084】
アップサンプリング部１２０２は、コア復号化された時間領域入力信号をアップサンプリングすることができる。アップサンプリングを介して、３２ＫＨｚサンプリングレートを有する信号が抽出される。
【0085】
周波数変換部１２０４は、アップサンプリングされた時間領域入力信号を、周波数領域入力信号に変換することができる。アップサンプリングされた時間領域入力信号の変換は、符号化装置１０１で使用した周波数変換方式と同一の方法を使用することができるし、例えば、ＭＤＣＴを使用することができる。
【0086】
拡張復号化部１２０４は、時間領域入力信号のエネルギーと周波数領域入力信号とを利用して、帯域幅拡張復号化を行うことができる。拡張復号化部１２０４の動作については、図１３で具体的に説明する。
【0087】
周波数逆変換部１２０５は、帯域幅拡張復号化が行われた結果に対して、周波数逆変換を行うことができる。周波数変換部１２０３で使用した周波数変換方式の逆過程を遂行することにより、例えば、ＩＭＤＣＴ（inverse modified discrete cosine transform）を行うことができる。
【0088】
図１３は、図１２の拡張復号化部１２０４を図示したブロック図である。図１３を参照すれば、拡張復号化部１２０４は、例えば、逆量子化部１３０１、ゲイン計算部１３０２、ゲイン適用部１３０３、人工信号生成部１３０４、包絡線推定部１３０５及び包絡線適用部１３０６を含んでもよい。
【0089】
逆量子化部１３０１は、時間領域入力信号のエネルギーを逆量子化することができる。エネルギーを逆量子化する過程については、図１４で具体的に説明する。
【0090】
ゲイン計算部１３０２は、逆量子化されたエネルギーと基本信号のエネルギーとを利用して、基本信号に適用されるゲインを計算することができる。具体的には、ゲインは、逆量子化されたエネルギーと基本信号のエネルギーの比率を介して決定される。一般的にエネルギーは、周波数スペクトルのamplitudeの二乗の和を使用して決定されるから、エネルギーの比率のroot値を使用することができる。
【0091】
ゲイン適用部１３０３は、計算されたゲインを周波数バンド別に適用することができる。それにより、最終的に、ＳＷＢの周波数スペクトルが決定される。
【0092】
一例として、ゲイン計算及びゲイン適用は、前述のように、バンドをエネルギーを伝送したバンドと一致させて行うことができる。他の実施形態で、急激なエネルギーの変化を防止するために、全体周波数バンドをサブバンドに分けて遂行することもできる。かような場合において、周辺バンドの逆量子化されたエネルギーが補間（interpolation）され、バンド境界部分でのエネルギーをスムージング（smoothing）させることができる。例えば、それぞれのバンドは、３個のサブバンドに分離し、それぞれバンドの３個サブバンドのうち、中間のサブバンドは、現在バンドの逆量子化されたエネルギーを割り当て、最初及び三番目のサブバンドは、以前バンドあるいは以後バンドの中間バンドに割り当てられたエネルギーと、補間を介して新しくスムージングされたエネルギーとを使用して、ゲイン計算及び適用を行うことができる。すなわち、ゲイン計算及び適用を行う単位をサブバンドで設定して適用することができる。
【0093】
かようなエネルギー・スムージング方式は、常に固定された方式で適用することができる。また、拡張符号化部２０４で、エネルギー・スムージングが必要であるという情報を伝送し、必要なフレームで適用することができる。このとき、スムージングが必要なフレームであるという情報は、スムージングを行った場合が、スムージングを行っていない場合に比べ、全体エネルギーの量子化エラーが少なくなる場合に選択することができる。
【0094】
一方、周波数領域入力信号を利用して、基本信号を生成することができる。基本信号を生成する過程は、次のような構成要素を介して行われる。
【0095】
人工信号生成部１３０４は、周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号を生成することができる。このとき、周波数領域入力信号は、３２ＫＨｚサンプリングレートを有するＷＢ復号化された信号であってもよい。
【0096】
包絡線推定部１３０５は、ビットストリームに含まれたウィンドウを利用して、基本信号の包絡線を推定することができる。ウィンドウは、符号化装置１０１で、包絡線推定のために使用されたものであり、ウィンドウ種類は、ビット形態でビットストリームに含まれ、復号化装置１０２に伝送される。
【0097】
包絡線適用部１３０６は、推定された包絡線を人工信号に適用することにより、基本信号を生成することができる。
【0098】
符号化装置の包絡線推定部６０２で、ホワイトニングバンド別に、周波数サイズ（magnitude）の平均を、ホワイトニングバンド内に属した周波数の包絡線として推定する場合において、ホワイトニングバンド内に属したスペクトルの個数が多少いかんと係わる情報を復号化装置に伝送した場合、復号化装置の包絡線推定部１３０５が、伝送された方式に基づいて包絡線を推定した後、包絡線適用部１３０６で、包絡線を適用することができる。また、情報伝送なしに、ＷＢコア復号化部に使用されたコア符号化モードによって決定することができる。
【0099】
コア復号化部１２０１は、周波数領域入力信号の特性によって、有声音復号化モード、無声音復号化モード、transient復号化モード、generic復号化モードのうち、復号化モードを決定して復号化することができる。このとき、包絡線推定部６０２は、周波数領域入力信号の特性による復号化モードに基づいて、ホワイトニングバンドに属した周波数スペクトルの個数を制御させることができる。一例として、周波数領域入力信号が有声音復号化モードによって復号化された場合、包絡線推定部１３０５は、ホワイトニングバンドに３個の周波数スペクトルを構成して包絡線を推定することができる。そして、周波数領域入力信号が、有声音復号化モード以外の復号化モードによって符号化された場合、包絡線推定部１３０６は、ホワイトニングバンドに、３個の周波数スペクトルを構成して包絡線を推定することができる。
【0100】
図１４は、逆量子化部１３０１の動作を図示したフローチャートである。段階Ｓ１４０１で、逆量子化部１３０１は、符号化装置１０１から伝送されたインデックス１を利用して、エネルギーベクトルの選択されたサブベクトルを逆量子化することができる。
【0101】
段階Ｓ１４０２で、逆量子化部１３０１は、符号化装置１０１から伝送されたインデックス２を利用して、選択されていない残りのサブベクトルに対応する補間エラーを逆量子化することができる。
【0102】
段階Ｓ１４０３で、逆量子化部１３０１は、逆量子化されたサブベクトルを補間し、選択されていない残りのサブベクトルを計算することができる。そして、逆量子化部１３０１は、残りのサブベクトルに逆量子化された補間エラー値を加えることができる。また、逆量子化部１３０１は、後処理過程を介して、前処理過程で差し引いた平均値を加え、最終的な逆量子化されたエネルギーを計算することができる。
【0103】
図１５は、一実施形態による符号化方法を図示したフローチャートである。符号化装置１０１は、時間領域入力信号をダウンサンプリングすることができる（Ｓ１５０１）。
【0104】
符号化装置１０１は、ダウンサンプリングされた時間領域入力信号に対して、コア符号化することができる（Ｓ１５０２）。符号化装置１０１は、時間領域入力信号を、周波数領域入力信号に変換することができる（Ｓ１５０３）。
【0105】
符号化装置１０１は、周波数領域入力信号に対して、帯域幅拡張符号化を行うことができる（Ｓ１５０４）。一例として、符号化装置１０１は、Ｓ１５０２で、一定符号化情報を利用して、帯域幅拡張符号化を行うことができる。このとき、符号化情報は、周波数領域入力信号の特性によって分類された符号化モードを含んでもよい。
【0106】
一例として、符号化装置１０１は、帯域幅拡張符号化を、次のような過程を介して行うことができる。符号化装置１０１は、周波数領域入力信号の周波数スペクトルを利用して、周波数領域の入力信号の基本信号を生成することができる。他の一例として、符号化装置は、周波数領域入力信号の特性、及び周波数領域入力信号の周波数スペクトルを利用して、周波数領域入力信号の基本信号を生成することができる。このとき、周波数領域入力信号の特性は、コア符号化を介して導き出されたり、あるいは別途の信号分類過程を介して導き出される。そして、符号化装置１０１は、基本信号を利用して、エネルギー制御要素を推定することができる。その後、符号化装置１０１は、周波数領域入力信号からエネルギーを抽出することができる。それにより、符号化装置１０１は、エネルギー制御要素を利用して、抽出されたエネルギーを制御することができる。符号化装置１０１は、制御されたエネルギーを量子化することができる。このとき、基本信号を生成する過程は、次のような方法を介して行われる。
【0107】
符号化装置１０１は、周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号を生成することができる。そして、符号化装置１０１は、ウィンドウを利用して、基本信号の包絡線を推定することができる。このとき、符号化装置１０１は、トーナリティまたは相関度（correlation）のうち、いずれか一つの比較結果によってウィンドウを選択し、基本信号の包絡線を推定することができる。一例として、符号化装置１０１は、ホワイトニングバンドそれぞれの周波数サイズの平均を、ホワイトニングバンド内に属した周波数の包絡線として推定することができる。具体的には、符号化装置１０１は、コア符号化モードによって、ホワイトニングバンドに属した周波数スペクトルの個数を制御させ、前記基本信号の包絡線を推定することができる。
【0108】
その後、符号化装置１０１は、推定された包絡線を人工信号に適用することにより、基本信号を生成することができる。そして、エネルギー制御要素を推定する過程は、次のような方法を介して行われる。
【0109】
符号化装置１０１は、周波数領域入力信号の高周波数領域のトーナリティを計算することができる。そして、符号化装置１０１は、基本信号のトーナリティを計算することができる。その後、符号化装置１０１は、高周波数領域のトーナリティと、基本信号のトーナリティとを利用して、エネルギー制御要素を計算することができる。
【0110】
また、エネルギーを量子化する過程は、次のような方法を介して行われる。
【0111】
符号化装置１０１は、エネルギーベクトルのサブベクトルを選択して量子化を行った後、補間エラーを利用して、選択されていない残りの（remained）サブベクトルを量子化することができる。このとき、符号化装置１０１は、一定間隔でサブベクトルを選択することができる。
【0112】
一例として、符号化装置１０１は、サブベクトルの候補（candidate）を選択し、２個以上使用するマルチステージ（multistage）ベクトル量子化を行うことができる。このとき、符号化装置１０１は、サブベクトルの候補それぞれについて、各ステージでＭＳＥまたはＷＭＳＥを最小化するインデックスセットを生成した後、すべてのステージのＭＳＥまたはＷＭＳＥの和が最小であるサブベクトルについて候補を選択することができる。または、符号化装置１０１は、サブベクトルの候補それぞれについて、各ステージでＭＳＥまたはＷＭＳＥを最小化するインデックスセットを生成した後、逆量子化過程を経てエネルギーベクトルを復元した後、復元されたエネルギーベクトルと、原エネルギーベクトルとのＭＳＥまたはＷＭＳＥを最小化するサブベクトルについて候補を選択することができる。
【0113】
図１６は、一実施形態による復号化方法を図示したフローチャートである。復号化装置１０２は、ビットストリームに含まれたコア符号化された時間領域入力信号をコア復号化することができる（Ｓ１６０１）。復号化装置１０２は、コア復号化された時間領域入力信号をアップサンプリングすることができる（Ｓ１６０２）。復号化装置１０２は、アップサンプリングされた時間領域入力信号を周波数変換することができる（Ｓ１６０３）。
【0114】
復号化装置１０２は、時間領域入力信号のエネルギーと周波数領域入力信号とを利用して、帯域幅拡張復号化を行うことができる（Ｓ１６０４）。
【0115】
具体的には、帯域幅拡張を行う過程は、次のように成り立つ。復号化装置１０２は、時間領域入力信号のエネルギーを逆量子化することができる。このとき、復号化装置１０１は、サブベクトルを選択して逆量子化し、逆量子化されたサブベクトルを補間し、補間されたサブベクトルに補間エラー値を加え、最終的にエネルギーを逆量子化することができる。
【0116】
そして、復号化装置１０２は、周波数領域入力信号を利用して、基本信号を生成することができる。その後、復号化装置１０２は、逆量子化されたエネルギーと、基本信号のエネルギーとを利用して、基本信号に適用されるゲインを計算することができる。最終的には、復号化装置１０２は、計算されたゲインを、周波数バンド別に適用することができる。
【0117】
具体的には、基本信号を生成する過程は、次のようになる。
【0118】
復号化装置１０２は、周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号を生成することができる。そして、復号化装置１０２は、ビットストリームに含まれたウィンドウを利用して、基本信号の包絡線を推定することができる。このとき、ウィンドウ情報を常に同一に使用するように設定された場合には、ビットストリームにウィンドウが含まれないこともある。その後、復号化装置１０２は、推定された包絡線を人工信号に適用することができる。
【0120】
図１７は、他の実施形態による符号化装置１０１の全体構成を図示したブロック図である。図１７を参照すれば、符号化装置１０１は、例えば、符号化モード選択部１７０１及び拡張符号化部１７０２を含んでもよい。
【0121】
符号化モード選択部１７０１は、周波数領域入力信号と時間領域入力信号とを利用して、帯域幅拡張符号化の符号化モードを選択することができる。
【0122】
具体的には、符号化モード選択部１７０１は、周波数領域入力信号と、時間領域入力信号とを利用して、周波数領域入力信号を分類し、分類された情報によって、帯域幅拡張符号化の符号化モード、及び符号化モードに基づいた周波数バンドの個数を決定することができる。ここで、符号化モードは、拡張符号化部１７０２の性能向上のために、コア符号化時に、一定符号化モードと異なる新しい符号化モードのセットに設定される。
【0123】
一例として、符号化モードは、ノーマル（normal）モード、ハーモニック（harmonic）モード、トランジェント（transient）モード、ノイズ（noise）モードに分類される。まず、符号化モード選択部１７０１は、時間領域の入力信号の長区間エネルギーと、現在フレームの高域エネルギーとの比率を利用して、現在フレームがtransientしたフレームであるか否かを決定することができる。transientした信号区間は、時間領域で、急激なエネルギー変化が示される区間であるので、高域のエネルギーが急激に変化する区間であるといえる。
【0124】
残り３個の符号化モードを決定する過程は、次の通りである。まず、符号化モード選択部１７０１は、以前フレームと現在フレームとの周波数領域のglobalエネルギーを求めた後、これらの間の比率と、周波数領域の入力信号とを、前もって定義された周波数帯域に分けた後、各周波数帯域の平均エネルギーとpeakエネルギーとを利用して、残り３個のモードを決定することができる。
【0125】
Harmonicモードは、一般的に、周波数領域信号で、平均エネルギーとpeakエネルギーとの差が最大である信号であるといえる。そしてnoiseモードは、全体的に、エネルギー変化が少ない信号であるといえる。かような２つのモードの信号を除いた残りの信号は、いずれもnormalモードとして決定される。
【0126】
そして、一実施形態で、normalモード及びharmonicモードで、周波数バンドの個数は、１６個に決定され、transientモードで、周波数バンドの個数は、５個に決定され、noiseモードで、周波数バンドの個数は、１２個に決定される。
【0127】
拡張符号化部１７０２は、周波数領域入力信号と符号化モードとを利用して、帯域幅拡張符号化を行うことができる。図１７を参照すれば、拡張符号化部１７０２は、例えば、基本信号生成部１７０３、要素推定部１７０４、エネルギー抽出部１７０５、エネルギー制御部１７０６及びエネルギー量子化部１７０７を含んでもよい。基本信号生成部１７０３と要素推定部１７０４とについては、図４の基本信号生成部４０１と要素推定部４０２との説明を参照する。
【0128】
エネルギー抽出部１７０５は、符号化モードに基づいて、一定周波数バンドの個数によって、各周波数バンドに該当するエネルギーを抽出することができる。エネルギー制御部１７０６は、符号化モードに基づいて、周波数バンドに対応するエネルギーを制御することができる。
【0129】
基本信号生成部１７０３、要素推定部１７０４及びエネルギー制御部１７０６は、符号化モードによって使用されもし、または使用されないこともある。例えば、normalモードとharmonicモードは、前述の３個構成要素が使用され、transientモードとnoiseモードは、前述の３個構成要素が使用されないこともある。前述の３個の構成要素に係わる詳細的な説明は、図４で説明した部分を参照する。
【0130】
エネルギー量子化部１７０７は、符号化モードに基づいて制御されたエネルギーを量子化することができる。すなわち、エネルギー制御過程を経たバンドエネルギーは、エネルギー量子化部１７０７で量子化される。
【0131】
図１８は、エネルギー量子化部１７０７が行う動作を図示した図面である。エネルギー量子化部１７０７は、符号化モードによって、周波数領域入力信号から抽出されたエネルギーを量子化することができる。このとき、エネルギー量子化部１７０７は、符号化モードによって、入力信号の知覚的な特性、及び周波数バンドの個数を考慮し、各入力信号に最適な方式で、バンドエネルギーを量子化することができる。
【0132】
例えば、符号化モードがtransientモードである場合、エネルギー量子化部１７０７は、５個のバンドエネルギーについて、知覚的特性に基づいた周波数加重方法（frequency weighting method）を利用して、バンドエネルギーを量子化することができる。そして、符号化モードがnormalモードまたはharmonicモードである場合、エネルギー量子化部１７０７は、１６個バンドエネルギーについて、知覚的特性に基づいた不均一ビット割り当て方法（unequal bit allocation method）を利用して、バンドエネルギーを量子化することができる。もし、知覚的特性が明確ではない場合、エネルギー量子化部１７０７は、知覚的特性を考慮せずに、一般的な量子化を行うこともできる。
【0133】
図１９は、一実施形態によって、不均一ビット割り当て方法を利用して、エネルギーを量子化する過程を示した図面である。
【0134】
不均一ビット割り当て方法は、拡張符号化の対象になった入力信号の知覚的特性を考慮したものであり、知覚的に重要度が高く、相対的にさらに低い周波数帯域に対応するバンドエネルギーを、さらに正確に量子化することができる方法である。このために、エネルギー量子化部１７０７は、低い周波数帯域に対応するバンドエネルギーに、同じであるか、あるいはさらに多いビットを割り当て、知覚的な重要度を区分することができる。
【0135】
一例として、エネルギー量子化部１７０７は、相対的に低い帯域である０〜５番周波数帯域にさらに多くのビット割り当てを行い、０〜５番周波数帯域にいずれも同一のビット割り当てを行うようにすることができる。そして、周波数帯域が高くなるほど、エネルギー量子化部１７０７は、さらに少ないビットを割り当てる。かようなビット割り当てによって、周波数帯域０〜１３は、図１９のような方式で量子化される。そして、周波数帯域１４，１５は、図２０のように量子化される。
【0136】
図２０は、一実施形態によって、イントラフレーム予測を利用したベクトル量子化を行う過程を図示した図面である。
【0137】
エネルギー量子化部１７０７は、２個以上の要素（element）を有する量子化対象ベクトルの代表値を予測した後、予測された代表値と、量子化対象ベクトルの少なくとも２個の各要素との間のエラー信号をベクトル量子化することができる。
【0138】
図２０は、かようなイントラフレーム予測（intra frame prediction）を示し、量子化対象ベクトルの代表値を予測し、エラー信号を導出する方法は、数式（８）の通りである。
【0139】
【数7】
【0140】
図２１は、一実施形態によって、周波数加重方法を利用して、エネルギーを量子化する過程を示した図面である。
【0141】
周波数加重方法（frequency weighting method）は、拡張符号化対象である入力信号の知覚的特性として考慮し、不均一ビット割り当て方法と同一に、知覚的に重要度が高く、相対的にさらに低い周波数帯域に対応するバンドエネルギーをさらに正確に量子化をする方法である。このために、低い周波数帯域に対応するバンドエネルギーと同じであるか、あるいはさらに高い加重値を付与して知覚的な重要度を区分する。
【0142】
一例として、エネルギー量子化部１７０７は、相対的に低い周波数帯域である０〜３番周波数帯域に対応するバンドエネルギーに、さらに高い加重値である１．０を付与し、高い周波数帯域である１５番周波数帯域に対応するバンドエネルギーに、さらに低い加重値である０．７を付与して量子化することができる。付与された加重値を使用するために、エネルギー量子化部１７０７は、ＷＭＳＥ値を利用して、最適インデックスを求めることができる。
【0143】
図２２は、一実施形態によって、マルチステージ・スプリットのベクトル量子化と、イントラフレーム予測を利用したベクトル量子化とを行う過程を図示した図面である。
【0144】
エネルギー量子化部１７０７は、バンドエネルギーの個数が１６個であるnormalモードについて、図２２のようにベクトル量子化を行うことができる。ここで、エネルギー量子化部１７０７は、不均一ビット割り当て方法、イントラフレーム予測（intra frame prediction）、及びmulti−stage split ＶＱ with energy interpolation技術を利用して、ベクトル量子化を行うことができる。
【0145】
図２３は、逆量子化部１３０１が行う動作を図示した図面である。図２３の過程は、図１８の過程の逆に遂行することができる。図１７のように、拡張符号化時に符号化モードが使用された場合、拡張復号化部１２０４の逆量子化部１３０１は、符号化モードを復号化することができる。
【0146】
逆量子化部１３０１は、まず、伝送されたインデックスを利用して、符号化モードを復号化することができる。そして、逆量子化部１３０１は、復号化された符号化モードによって、定められた方式で逆量子化を行うことができる。図２３の符号化モードによって、各逆量子化対象であるブロックは、量子化の逆順に逆量子化される。
【0147】
ここで使用されたmulti−stage split ＶＱ with energy interpolation方式で量子化された部分は、図１４と同一の方式で逆量子化される。ここにおいて、逆量子化部１３０１は、イントラフレーム予測を利用して、下の数式（９）によって逆量子化することができる。
【0148】
【数8】
【0149】
図２４は、一実施形態による符号化装置１０１の他の構造を図示した図面である。図２４に図示された符号化装置１０１は、例えば、ダウンサンプリング部２４０１、コア符号化部２４０２、周波数変換部２４０３、拡張符号化部２４０４を含んでもよい。
【0150】
図２４に図示された符号化装置１０１のダウンサンプリング部２４０１、コア符号化部２４０２、周波数変換部２４０３、拡張符号化部２４０４は、図２に図示された符号化装置１０１のダウンサンプリング部２０１、コア符号化部２０２、周波数変換部２０３、拡張符号化部２０４ｄと同一の基本的な動作を遂行することができる。ただし、拡張符号化部２４０４は、コア符号化部２４０２への情報伝送を必要とせず、時間領域の入力信号が直接入力される。
【0151】
本発明の実施形態による方法は、多様なコンピュータ手段を介して行われるプログラム命令形態で具現され、コンピュータ可読媒体に記録される。前記コンピュータ可読媒体は、プログラム命令、データファイル、データ構造などを、単独で、あるいは組み合わせて含んでもよい。前記媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものや、コンピュータソフトウェア当業者に公知されて使用可能なものであってもよい。
【0152】
以上、本発明は、たとえ限定された実施形態と図面とによって説明したにしても、本発明は、前記の実施形態に限定されるものではなく、本発明が属する分野で当業者であるならは、かような記載から多様な修正及び変形が可能である。従って、本発明の範囲は、説明された実施形態に限られて決められるものではなく、特許請求の範囲だけではなく、当該特許請求の範囲と均等なものによっても決定されるものである。
【0153】
以上の実施例に関し、更に、以下の項目を開示する。
【0154】
（１）一つ以上のプロセッサで実行される構成要素を制御するプロセッサと、ダウンサンプリングされた時間領域入力信号に対して、コア符号化を行うコア符号化部と、
前記時間領域入力信号を、周波数領域入力信号に変換する周波数変換部と、
前記周波数領域入力信号の基本信号を利用して、帯域幅拡張符号化を行う拡張符号化部と、を含む符号化装置。
【0155】
（２）前記拡張符号化部は、前記周波数領域入力信号の周波数スペクトルを利用して、前記周波数領域入力信号の基本信号を生成する基本信号生成部と、
前記基本信号と前記周波数領域入力信号とを利用して、エネルギー制御要素を推定する要素推定部と、
前記周波数領域入力信号から、エネルギーを抽出するエネルギー抽出部と、
前記エネルギー制御要素を利用して、前記抽出されたエネルギーを制御するエネルギー制御部と、
前記制御されたエネルギーを量子化するエネルギー量子化部と、を含むことを特徴とする（１）に記載の符号化装置。
【0156】
（３）前記基本信号生成部は、前記周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号を生成する人工信号生成部と、
ウィンドウを利用して、前記基本信号の包絡線を推定する包絡線推定部と、
前記推定された包絡線を人工信号に適用する包絡線適用部と、を含むことを特徴とする（２）に記載の符号化装置。
【0157】
（４）前記ウィンドウのピークは、前記基本信号の包絡線を推定しようとする周波数インデックスに対応し、前記包絡線推定部は、トーナリティまたは相関度のうちいずれか一つの比較結果によってウィンドウを選択し、基本信号の包絡線を推定することを特徴とする（３）に記載の符号化装置。
【0158】
（５）前記包絡線推定部は、ホワイトニングバンドそれぞれの周波数サイズの平均を、ホワイトニングバンド内に属した周波数の包絡線として推定することを特徴とする（３）に記載の符号化装置。
【0159】
（６）前記包絡線推定部は、コア符号化モードによって、ホワイトニングバンドに属した周波数スペクトルの個数を制御させ、前記基本信号の包絡線を推定することを特徴とする（５）に記載の符号化装置。
【0160】
（７）前記要素推定部は、前記周波数領域入力信号の高周波数領域のトーナリティを計算する第１トーナリティ計算部と、
前記基本信号のトーナリティを計算する第２トーナリティ計算部と、
前記高周波数領域のトーナリティと、前記基本信号のトーナリティとを利用して、前記エネルギー制御要素を計算する要素計算部と、を含むことを特徴とする（２）に記載の符号化装置。
【0161】
（８）前記エネルギー制御部は、前記エネルギー制御要素があらかじめ設定したエネルギー制御要素より小さい場合、前記抽出されたエネルギーを制御することを特徴とする（２）に記載の符号化装置。
【0162】
（９）前記エネルギー量子化部は、エネルギーベクトルのサブベクトルを選択して量子化を遂行した後、補間エラーを利用して、残りのサブベクトルを量子化することを特徴とする（２）に記載の符号化装置。
【0163】
（１０）前記エネルギー量子化部は、一定間隔でサブベクトルを選択して量子化を行うことを特徴とする（９）に記載の符号化装置。
【0164】
（１１）前記エネルギー量子化部は、前記サブベクトルの候補を選択し、少なくとも２個のステージを使用するマルチステージベクトル量子化を行うことを特徴とする（９）に記載の符号化装置。
【0165】
（１２）前記エネルギー量子化部は、前記サブベクトルの候補それぞれについて、各ステージでＭＳＥ（mean square error）またはＷＭＳＥ（weighted mean square error）を最小化するインデックスセットを生成した後、すべてのステージのＭＳＥまたはＷＭＳＥの和が最小であるサブベクトルについて候補を選択することを特徴とする（９）に記載の符号化装置。
【0166】
（１３）前記エネルギー量子化部は、前記サブベクトルの候補それぞれについて、各ステージでＭＳＥまたはＷＭＳＥを最小化するインデックスセットを生成した後、逆量子化過程を経てエネルギーベクトルを復元した後、復元されたエネルギーベクトルと原エネルギーベクトルとのＭＳＥまたはＷＭＳＥを最小化するサブベクトルについて候補を選択することを特徴とする（９）に記載の符号化装置。
【0167】
（１４）一つ以上のプロセッサで実行される構成要素を制御するプロセッサと、ダウンサンプリングされた時間領域入力信号に対して、コア符号化を行うコア符号化部と、
前記時間領域入力信号を、周波数領域入力信号に変換する周波数変換部と、
前記周波数領域入力信号と、前記周波数領域入力信号の基本信号とを利用して、帯域幅拡張符号化を行う拡張符号化部と、を含む符号化装置。
【0168】
（１５）前記拡張符号化部は、前記周波数領域入力信号の周波数スペクトルを利用して、前記周波数領域入力信号の基本信号を生成する基本信号生成部と、
前記基本信号、と前記周波数領域入力信号との特性を利用して、エネルギー制御要素を推定する要素推定部と、
前記周波数領域入力信号から、エネルギーを抽出するエネルギー抽出部と、
前記エネルギー制御要素を利用して、前記抽出されたエネルギーを制御するエネルギー制御部と、
前記制御されたエネルギーを量子化するエネルギー量子化部と、を含むことを特徴とする（１４）に記載の符号化装置。
【0169】
（１６）前記拡張符号化部は、前記周波数領域の入力信号の周波数スペクトルを利用して、前記周波数領域入力信号を、特性によって分類する信号分類部をさらに含み、前記要素推定部は、前記信号分類部で決定された前記周波数領域入力信号の特性を利用して、エネルギー制御要素を推定することを特徴とする（１５）に記載の符号化装置。
【0170】
（１７）前記要素推定部は、前記コア符号化部で決定された前記周波数領域入力信号の特性を利用して、エネルギー制御要素を推定することを特徴とする（１５）に記載の符号化装置。
【0171】
（１８）前記基本信号生成部は、前記周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号を生成する人工信号生成部と、
ウィンドウを利用して、前記基本信号の包絡線を推定する包絡線推定部と、
前記推定された包絡線を人工信号に適用する包絡線適用部と、を含むことを特徴とする（１５）に記載の符号化装置。
【0172】
（１９）前記ウィンドウのピークは、前記基本信号の包絡線を推定しようとする周波数インデックスに対応し、前記包絡線推定部は、トーナリティまたは相関度のうちいずれか一つの比較結果によってウィンドウを選択し、基本信号の包絡線を推定することを特徴とする（１８）に記載の符号化装置。
【0173】
（２０）前記包絡線推定部は、ホワイトニングバンドそれぞれの周波数サイズの平均を、ホワイトニングバンド内に属した周波数の包絡線として推定することを特徴とする（１８）に記載の符号化装置。
【0174】
（２１）前記包絡線推定部は、コア符号化モードによってホワイトニングバンドに属した周波数スペクトルの個数を制御させ、前記基本信号の包絡線を推定することを特徴とする（２０）に記載の符号化装置。
【0175】
（２２）前記要素推定部は、前記周波数領域入力信号の高周波数領域のトーナリティを計算する第１トーナリティ計算部と、
前記基本信号のトーナリティを計算する第２トーナリティ計算部と、
前記高周波数領域のトーナリティと、前記基本信号のトーナリティとを利用して、前記エネルギー制御要素を計算する要素計算部と、を含むことを特徴とする（１４）に記載の符号化装置。
【0176】
（２３）前記エネルギー制御部は、前記エネルギー制御要素があらかじめ設定したスレッシュホールドエネルギー制御要素より小さい場合、前記入力信号のエネルギーを制御することを特徴とする（１５）に記載の符号化装置。
【0177】
（２４）前記エネルギー量子化部は、サブベクトルを選択して量子化を行った後、補間エラーを利用して、残りのサブベクトルを量子化することを特徴とする（１５）に記載の符号化装置。
【0178】
（２５）前記エネルギー量子化部は、一定間隔でサブベクトルを選択して量子化を行うことを特徴とする（２４）に記載の符号化装置。
【0179】
（２６）前記エネルギー量子化部は、前記サブベクトルの候補を選択し、少なくとも２個のステージを使用するマルチステージベクトル量子化を行うことを特徴とする（２４）に記載の符号化装置。
【0180】
（２７）一つ以上のプロセッサで実行される構成要素を制御するプロセッサと、符号化モードに基づいて周波数領域入力信号から、エネルギーを抽出するエネルギー抽出部と、
前記符号化モードに基づいて、エネルギーを制御するエネルギー制御部と、
前記符号化モードに基づいて、前記エネルギーを量子化するエネルギー量子化部と、を含む符号化装置。
【0181】
（２８）一つ以上のプロセッサで実行される構成要素を制御するプロセッサと、周波数領域入力信号と時間領域入力信号とを利用して、帯域幅拡張符号化の符号化モードを選択する符号化モード選択部と、
前記周波数領域入力信号と前記符号化モードとを利用して、帯域幅拡張符号化を行う拡張符号化部と、を含む符号化装置。
【0182】
（２９）前記符号化モード選択部は、前記周波数領域の入力信号と、前記時間領域入力信号とを利用して、前記周波数領域入力信号を分類し、分類された情報によって、帯域幅拡張符号化の符号化モード、及び前記符号化モードに基づいた周波数バンドの個数を決定することを特徴とする（２８）に記載の符号化装置。
【0183】
（３０）前記拡張符号化部は、前記符号化モードに基づいて、周波数領域入力信号から、エネルギーを抽出するエネルギー抽出部と、
前記符号化モードに基づいて、エネルギーを制御するエネルギー制御部と、
前記符号化モードに基づいて、前記エネルギーを量子化するエネルギー量子化部と、を含むことを特徴とする（２８）に記載の符号化装置。
【0184】
（３１）前記エネルギー抽出部は、前記符号化モードに基づいて、周波数バンドに対応するエネルギーを抽出することを特徴とする（３０）に記載の符号化装置。
【0185】
（３２）前記エネルギー制御部は、前記周波数領域入力信号の基本信号によって推定されたエネルギー制御要素を利用して、エネルギーを制御することを特徴とする（３０）に記載の符号化装置。
【0186】
（３３）前記エネルギー量子化部は、前記符号化モードによって、前記周波数領域入力信号に最適な方式によって量子化することを特徴とする（３０）に記載の符号化装置。
【0187】
（３４）前記エネルギー量子化部は、前記符号化モードがトランジェントモードである場合、周波数バンドについて周波数加重方法を利用して、エネルギーを量子化することを特徴とする（３３）に記載の符号化装置。
【0188】
（３５）前記周波数加重方法は、知覚的重要度が高い低域周波数バンドに加重値を付与し、エネルギーを量子化する方法であることを特徴とする（３４）に記載の符号化装置。
【0189】
（３６）前記エネルギー量子化部は、前記符号化モードがノーマルモードまたはハーモニックモードである場合、周波数バンドについて不均一ビット割り当て方法を利用して、エネルギーを量子化することを特徴とする（３３）に記載の符号化装置。
【0190】
（３７）前記不均一ビット割り当て方法は、知覚的重要度が高い低域周波数バンドに、高域周波数バンドより相対的に多くのビットを割り当ててエネルギーを量子化する方法であることを特徴とする（３６）に記載の符号化装置。
【0191】
（３８）前記エネルギー量子化部は、２個以上の要素を有する量子化対象ベクトルの代表値を予測した後、前記予測された代表値と、前記量子化対象ベクトルの各要素とのエラー信号をベクトル量子化することを特徴とする（３０）に記載の符号化装置。
【0192】
（３９）一つ以上のプロセッサで実行される構成要素を制御するプロセッサと、ビットストリームに含まれた時間領域入力信号をコア復号化するコア復号化部と、
前記コア復号化された時間領域入力信号をアップサンプリングするアップサンプリング部と、
前記アップサンプリングされた時間領域入力信号を、周波数領域入力信号に変換する周波数変換部と、
前記周波数領域入力信号のエネルギーを利用して、帯域幅拡張復号化を行う拡張復号化部と、を含む復号化装置。
【0193】
（４０）前記拡張復号化部は、前記時間領域入力信号のエネルギーを逆量子化する逆量子化部と、
前記周波数領域入力信号を利用して、基本信号を生成する基本信号生成部と、
前記逆量子化されたエネルギーと、前記基本信号のエネルギーとを利用して、前記基本信号に適用されるゲインを計算するゲイン計算部と、
前記計算されたゲインを周波数バンド別に適用するゲイン適用部と、を含むことを特徴とする（３９）に記載の復号化装置。
【0194】
（４１）前記逆量子化部は、サブベクトルを選択して逆量子化し、逆量子化されたサブベクトルを補間し、補間されたサブベクトルに補間エラー値を加え、最終的にエネルギーを逆量子化することを特徴とする（４０）に記載の復号化装置。
【0195】
（４２）前記基本信号生成部は、前記周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号を生成する人工信号生成部と、
前記ビットストリームに含まれたウィンドウを利用して、前記基本信号の包絡線を推定する包絡線推定部と、
前記推定された包絡線を人工信号に適用する包絡線適用部と、を含むことを特徴とする（４０）に記載の復号化装置。
【0196】
（４３）前記ゲイン計算部とゲイン適用部は、エネルギー・スムージングを適用するためのサブバンドを設定し、補間を介して、サブバンド別にエネルギーを生成し、前記ゲインは、サブバンド単位で計算されることを特徴とする（４０）に記載の復号化装置。
【0197】
（４４）ダウンサンプリングされた時間領域入力信号に対して、コア符号化を行う段階と、前記時間領域入力信号を、周波数領域入力信号に変換する段階と、
前記周波数領域入力信号の基本信号を利用して、帯域幅拡張符号化を行う段階と、を含む符号化方法。
【0198】
（４５）前記帯域幅拡張符号化を行う段階は、前記周波数領域入力信号の周波数スペクトルを利用して、前記周波数領域入力信号の基本信号を生成する段階と、
前記基本信号を利用して、エネルギー制御要素を推定する段階と、
前記周波数領域入力信号から、エネルギーを抽出する段階と、
前記エネルギー制御要素を利用して、前記抽出されたエネルギーを制御する段階と、
前記制御されたエネルギーを量子化する段階と、を含むことを特徴とする（４４）に記載の符号化方法。
【0199】
（４６）前記時間領域入力信号の基本信号を生成する段階は、前記周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号を生成する段階と、
ウィンドウを利用して、前記基本信号の包絡線を推定する段階と、
前記推定された包絡線を人工信号に適用する段階と、を含むことを特徴とする（４５）に記載の符号化方法。
【0200】
（４７）前記ウィンドウのピークは、前記基本信号の包絡線を推定しようとする周波数インデックスに対応し、前記基本信号の包絡線を推定する段階は、トーナリティまたは相関度のうちいずれか一つの比較結果によってウィンドウを選択し、基本信号の包絡線を推定することを特徴とする（４６）に記載の符号化方法。
【0201】
（４８）前記基本信号の包絡線を推定する段階は、ホワイトニングバンドそれぞれの周波数サイズの平均を、ホワイトニングバンド内に属した周波数の包絡線として推定することを特徴とする（４６）に記載の符号化方法。
【0202】
（４９）前記基本信号の包絡線を推定する段階は、コア符号化モードによって、ホワイトニングバンドに属した周波数スペクトルの個数を制御させ、前記基本信号の包絡線を推定することを特徴とする（４８）に記載の符号化方法。
【0203】
（５０）前記エネルギー制御要素を推定する段階は、前記周波数領域入力信号の高周波数領域のトーナリティを計算する段階と、
前記基本信号のトーナリティを計算する段階と、
前記高周波数領域のトーナリティと、前記基本信号のトーナリティとを利用して、前記エネルギー制御要素を計算する段階と、を含むことを特徴とする（４５）に記載の符号化方法。
【0204】
（５１）前記抽出されたエネルギーを制御する段階は、前記エネルギー制御要素があらかじめ設定したエネルギー制御要素より小さい場合、前記抽出されたエネルギーを制御することを特徴とする（４５）に記載の符号化方法。
【0205】
（５２）前記制御されたエネルギーを量子化する段階は、エネルギーベクトルのサブベクトルを選択して量子化を行った後、補間エラーを利用して、残りのサブベクトルを量子化することを特徴とする（４５）に記載の符号化方法。
【0206】
（５３）前記制御されたエネルギーを量子化する段階は、一定間隔でサブベクトルを選択して量子化を行うことを特徴とする（５２）に記載の符号化方法。
【0207】
（５４）前記制御されたエネルギーを量子化する段階は、前記サブベクトルの候補を選択し、少なくとも２個のステージを使用するマルチステージベクトル量子化を行うことを特徴とする（５２）に記載の符号化方法。
【0208】
（５５）前記制御されたエネルギーを量子化する段階は、前記サブベクトルの候補それぞれについて、各ステージで、ＭＳＥ（mean square error）またはＷＭＳＥ（weighted mean square error）を最小化するインデックスセットを生成した後、すべてのステージのＭＳＥまたはＷＭＳＥの和が最小であるサブベクトルについて候補を選択することを特徴とする（５４）に記載の符号化方法。
【0209】
（５６）前記制御されたエネルギーを量子化する段階は、前記サブベクトルの候補それぞれについて、各ステージで、ＭＳＥまたはＷＭＳＥを最小化するインデックスセットを生成した後、逆量子化過程を経てエネルギーベクトルを復元した後、復元されたエネルギーベクトルと原エネルギーベクトルとのＭＳＥまたはＷＭＳＥを最小化するサブベクトルについて候補を選択することを特徴とする（５４）に記載の符号化方法。
【0210】
（５７）ダウンサンプリングされた時間領域入力信号に対して、コア符号化を行う段階と、前記時間領域入力信号を、周波数領域入力信号に変換する段階と、
前記周波数領域入力信号の特性、及び前記周波数領域入力信号の基本信号を利用して、帯域幅拡張符号化を行う段階と、を含む符号化方法。
【0211】
（５８）前記帯域幅拡張符号化を行う段階は、前記周波数領域入力信号の周波数スペクトルを利用して、前記周波数領域入力信号の基本信号を生成する段階と、
前記周波数領域入力信号の特性及び前記基本信号を利用して、エネルギー制御要素を推定する段階と、
前記周波数領域入力信号から、エネルギーを抽出する段階と、
前記エネルギー制御要素を利用して、前記抽出されたエネルギーを制御する段階と、
前記制御されたエネルギーを量子化する段階と、を含むことを特徴とする（５７）に記載の符号化方法。
【0212】
（５９）前記帯域幅拡張符号化を行う段階は、前記周波数領域入力信号の周波数スペクトルを利用して、前記周波数領域入力信号を、特性によって分類する段階をさらに含み、前記エネルギー制御要素を推定する段階は、前記周波数領域入力信号を、特性によって分類する段階で決定された入力信号の特性を利用して、エネルギー制御要素を推定することを特徴とする（５８）に記載の符号化方法。
【0213】
（６０）前記エネルギー制御要素を推定する段階は、前記コア符号化を行う段階で決定された周波数領域入力信号の特性を利用して、エネルギー制御要素を推定することを特徴とする（５８）に記載の符号化方法。
【0214】
（６１）前記基本信号を生成する段階は、前記周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号を生成する段階と、
ウィンドウを利用して、前記基本信号の包絡線を推定する段階と、
前記推定された包絡線を人工信号に適用する段階と、を含むことを特徴とする（５８）に記載の符号化方法。
【0215】
（６２）前記ウィンドウのピークは、前記基本信号の包絡線を推定しようとする周波数インデックスに対応し、前記基本信号の包絡線を推定する段階は、トーナリティまたは相関度のうちいずれか一つの比較結果によってウィンドウを選択し、基本信号の包絡線を推定することを特徴とする（６１）に記載の符号化方法。
【0216】
（６３）前記基本信号の包絡線を推定する段階は、ホワイトニングバンドそれぞれの周波数サイズの平均を、ホワイトニングバンド内に属した周波数の包絡線として推定することを特徴とする（６１）に記載の符号化方法。
【0217】
（６４）前記基本信号の包絡線を推定する段階は、コア符号化モードによって、ホワイトニングバンドに属した周波数スペクトルの個数を制御させ、前記基本信号の包絡線を推定することを特徴とする（６３）に記載の符号化方法。
【0218】
（６５）前記エネルギー制御要素を推定する段階は、前記周波数領域入力信号の高周波数領域のトーナリティを計算する段階と、
前記基本信号のトーナリティを計算する段階と、
前記高周波数領域のトーナリティと、前記基本信号のトーナリティとを利用して、前記エネルギー制御要素を計算する段階と、を含むことを特徴とする（５８）に記載の符号化方法。
【0219】
（６６）前記抽出されたエネルギーを制御する段階は、前記エネルギー制御要素があらかじめ設定したエネルギー制御要素より小さい場合、前記抽出されたエネルギーを制御することを特徴とする（５８）に記載の符号化方法。
【0220】
（６７）前記制御されたエネルギーを量子化する段階は、エネルギーベクトルのサブベクトルを選択して量子化を行った後、補間エラーを利用して、残りのサブベクトルを量子化することを特徴とする（５８）に記載の符号化方法。
【0221】
（６８）前記制御されたエネルギーを量子化する段階は、一定間隔でサブベクトルを選択して量子化を行うことを特徴とする（６７）に記載の符号化方法。
【0222】
（６９）前記制御されたエネルギーを量子化する段階は、前記サブベクトルの候補を選択し、少なくとも２個のステージを使用するマルチステージベクトル量子化を行うことを特徴とする（６７）に記載の符号化方法。
【0223】
（７０）符号化モードに基づいて、周波数領域入力信号から、エネルギーを抽出する段階と、前記符号化モードに基づいて、エネルギーを制御する段階と、
前記符号化モードに基づいて、前記エネルギーを量子化する段階と、を含む符号化方法。
【0224】
（７１）周波数領域入力信号と時間領域入力信号とを利用して、帯域幅拡張符号化の符号化モードを選択する段階と、前記周波数領域入力信号と前記符号化モードとを利用して、帯域幅拡張符号化を行う段階と、を含む符号化方法。
【0225】
（７２）前記符号化モードを選択する段階は、前記周波数領域入力信号と、前記時間領域入力信号とを利用して、前記周波数領域入力信号を分類する段階と、
分類された情報によって、帯域幅拡張符号化の符号化モード、及び前記符号化モードに基づいた周波数バンドの個数を決定する段階と、を含むことを特徴とする（７１）に記載の符号化方法。
【0226】
（７３）前記帯域幅拡張符号化を行う段階は、前記符号化モードに基づいて、周波数領域入力信号から、エネルギーを抽出する段階と、
前記符号化モードに基づいて、エネルギーを制御する段階と、
前記符号化モードに基づいて、前記エネルギーを量子化する段階と、を含むことを特徴とする（７１）に記載の符号化方法。
【0227】
（７４）前記エネルギーを抽出する段階は、前記符号化モードに基づいて、周波数バンドに対応するエネルギーを抽出することを特徴とする（７３）に記載の符号化方法。
【0228】
（７５）前記エネルギーを制御する段階は、前記周波数領域入力信号の基本信号によって推定されたエネルギー制御要素を利用して、エネルギーを制御することを特徴とする（７３）に記載の符号化方法。
【0229】
（７６）前記エネルギーを量子化する段階は、前記符号化モードによって、前記周波数領域入力信号に最適な方式によって量子化することを特徴とする（７３）に記載の符号化方法。
【0230】
（７７）前記エネルギーを量子化する段階は、前記符号化モードがトランジェントモードである場合、周波数バンドについて周波数加重方法を利用して、エネルギーを量子化することを特徴とする（７６）に記載の符号化方法。
【0231】
（７８）前記周波数加重方法は、知覚的重要度が高い低域周波数バンドに加重値を付与し、エネルギーを量子化する方法であることを特徴とする（７７）に記載の符号化方法。
【0232】
（７９）前記エネルギーを量子化する段階は、前記符号化モードがノーマルモードまたはハーモニックモードである場合、周波数バンドについて不均一ビット割り当て方法を利用して、エネルギーを量子化することを特徴とする（７６）に記載の符号化方法。
【0233】
（８０）前記不均一ビット割り当て方法は、知覚的重要度が高い低域周波数バンドに、高域周波数バンドより相対的に多くのビットを割り当ててエネルギーを量子化する方法であることを特徴とする（７９）に記載の符号化方法。
【0234】
（８１）前記エネルギーを量子化する段階は、２個以上の要素を有する量子化対象ベクトルの代表値を予測した後、前記予測された代表値と、前記量子化対象ベクトルの各要素とのエラー信号をベクトル量子化することを特徴とする（７３）に記載の符号化方法。
【0235】
（８２）ビットストリームに含まれたコア符号化された時間領域入力信号をコア復号化する段階と、前記コア復号化された時間領域入力信号をアップサンプリングする段階と、
前記アップサンプリングされた時間領域入力信号を、周波数領域入力信号に変換する段階と、
前記時間領域入力信号のエネルギーと、前記周波数領域入力信号とを利用して、帯域幅拡張復号化を行う段階と、を含む復号化方法。
【0236】
（８３）前記帯域幅拡張復号化を行う段階は、前記時間領域入力信号のエネルギーを逆量子化する段階と、
前記周波数領域入力信号を利用して、基本信号を生成する段階と、
前記逆量子化されたエネルギーと、前記基本信号のエネルギーとを利用して、前記基本信号に適用されるゲインを計算する段階と、
前記計算されたゲインを周波数バンド別に適用する段階と、を含むことを特徴とする（８２）に記載の復号化方法。
【0237】
（８４）前記逆量子化部は、エネルギーベクトルのサブベクトルを選択して逆量子化し、逆量子化されたサブベクトルを補間し、補間されたサブベクトルに補間エラー値を加え、最終的にエネルギーを逆量子化することを特徴とする（８３）に記載の復号化方法。
【0238】
（８５）前記基本信号を生成する段階は、前記周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号を生成する段階と、
前記ビットストリームに含まれたウィンドウを利用して、前記基本信号の包絡線を推定する段階と、
前記推定された包絡線を人工信号に適用する段階と、を含むことを特徴とする（８４）に記載の復号化方法。
【0239】
（８６）前記基本信号に適用されるゲインを計算する段階は、エネルギー・スムージングを適用するためのサブバンドを設定し、補間を介して、サブバンド別にエネルギーを生成し、前記ゲインは、サブバンド単位で計算されることを特徴とする（８４）に記載の復号化方法。
【0240】
（８７）（４４）に記載の方法を遂行するためのプログラムが記録されたコンピュータ可読記録媒体。