特許 6243540 スペクトル符号化方法及びスペクトル復号化方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6243540

(24)【登録日】2017年11月17日

(45)【発行日】2017年12月6日

(54)【発明の名称】スペクトル符号化方法及びスペクトル復号化方法

(51)【国際特許分類】

   G10L 19/02 20130101AFI20171127BHJP

   G10L 19/035 20130101ALI20171127BHJP

   H03M 7/30 20060101ALI20171127BHJP

【ＦＩ】

   G10L19/02 150

   G10L19/035 D

   H03M7/30 A

【請求項の数】9

【全頁数】26

(21)【出願番号】特願2016-542652(P2016-542652)

(86)(22)【出願日】2014年9月16日

(65)【公表番号】特表2016-538602(P2016-538602A)

(43)【公表日】2016年12月8日

(86)【国際出願番号】KR2014008627

(87)【国際公開番号】WO2015037969

(87)【国際公開日】20150319

【審査請求日】2016年3月15日

(31)【優先権主張番号】61/878,172

(32)【優先日】2013年9月16日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】503447036

【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】ソン，ホ−サン

【審査官】 鈴木 圭一郎

(56)【参考文献】

【文献】 特表２０１１−５０１８２８（ＪＰ，Ａ）

【文献】 特開２００９−１９３０１５（ＪＰ，Ａ）

【文献】 特表２００９−５０１３５９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｌ １９／００

Ｈ０３Ｍ ７／００

(57)【特許請求の範囲】

【請求項1】

正規化されたスペクトルに対して、各バンド別に重要周波数成分を選択する段階と、
各バンド別に、前記選択された重要周波数成分の数、位置、大きさ及び符号の情報を符号化する段階と、を含み、
前記重要周波数成分の数、位置及び符号の情報は算術符号化(arithmetic
coding)に基づいて符号化され、
前記各ステップは、少なくとも一つのプロセッサによって行われるスペクトル符号化方法。

【請求項2】

前記重要周波数成分の大きさは、数、位置及び符号とは異なる方式によって符号化することを特徴とする請求項１に記載のスペクトル符号化方法。

【請求項3】

前記重要周波数成分の大きさは、ＵＳＱ（uniform scalar quantization）及びＴＣＱ（trellis coded quantization）のうち一つを利用して量子化し、算術符号化することを特徴とする請求項１に記載のスペクトル符号化方法。

【請求項4】

前記正規化されたスペクトルを、各バンド別に割り当てられたビットに基づいて、スケーリングを行う段階をさらに含み、スケーリングされたスペクトルに対して、前記重要周波数成分を選択することを特徴とする請求項１に記載のスペクトル符号化方法。

【請求項5】

ＴＣＱは、２−ゼロレベルを有する８ステート４コセットのトレリス構造を使用することを特徴とする請求項１に記載のスペクトル符号化方法。

【請求項6】

ビットストリームから、符号化されたスペクトルの各バンド別に重要周波数成分の数、位置、大きさ及び符号の情報を得る段階と、
各バンド別に、前記得られた重要周波数成分の数、位置、大きさ及び符号の情報を復号化する段階と、を含み、
前記重要周波数成分の数、位置及び符号の情報は算術復号化(arithmetic
decoding)に基づいて復号化され、
前記各ステップは、少なくとも一つのプロセッサによって行われるスペクトル復号化方法。

【請求項7】

前記重要周波数成分の大きさは、数、位置及び符号とは異なる方式によって復号化することを特徴とする請求項６に記載のスペクトル復号化方法。

【請求項8】

前記重要周波数成分の大きさは、算術復号化し、ＵＳＱ（uniform scalar quantization）及びＴＣＱ（trellis coded quantization）のうち一つを利用して逆量子化することを特徴とする請求項６に記載のスペクトル復号化方法。

【請求項9】

前記ＴＣＱは、２−ゼロレベルを有する８ステート４コセットのトレリス構造を使用することを特徴とする請求項８に記載のスペクトル復号化方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オーディオ信号あるいはスピーチ信号の符号化及び復号化に係り、さらに具体的には、周波数ドメインにおいて、スペクトル係数を符号化あるいは復号化する方法及びその装置に関する。

【背景技術】

【0002】

周波数ドメインにおいて、スペクトル係数の効率的な符号化のために、多様な方式の量子化器が提案されている。例えば、ＴＣＱ（trellis coded quantization）、ＵＳＱ（uniform scalar quantization）、ＦＰＣ（factorial pulse coding）、ＡＶＱ（algebraic ＶＱ）、ＰＶＱ（pyramid ＶＱ）などがあり、それぞれの量子化器に最適化された無損失符号化器が共に具現される。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明が解決しようとする課題は、周波数ドメインにおいて、多様なビット率、あるいは多様なサブバンドの大きさに適応的にスペクトル係数を符号化あるいは復号化する方法、及びその装置を提供するところにある。

【0004】

本発明が解決しようとする他の課題は、信号符号化方法あるいはその復号化方法を、コンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供するところにある。

【0005】

本発明が解決しようとする他の課題は、信号符号化装置あるいはその復号化装置を採用するマルチメディア機器を提供するところにある。

【課題を解決するための手段】

【0006】

前記課題を達成するための一側面による信号符号化方法は、正規化されたスペクトルに対して、各バンド別に重要周波数成分を選択する段階、及び各バンド別に選択された重要周波数成分の情報を、数、位置、大きさ及び符号に基づいて符号化する段階を含んでもよい。

【0007】

前記課題を達成するための一側面による信号復号化方法は、ビットストリームから、符号化されたスペクトルの各バンド別に重要周波数成分の情報を得る段階と、各バンド別に、前記得られた重要周波数成分の情報を、数、位置、大きさ及び符号に基づいて復号化する段階と、を含んでもよい。

【発明の効果】

【0008】

多様なビット率と、多様なサブバンドの大きさとに適応的なスペクトル係数の符号化及び復号化が可能である。

【図面の簡単な説明】

【0009】

【図1A】本発明が適用されるオーディオ符号化装置の一例による構成を示したブロック図である。

【図1B】本発明が適用されるオーディオ復号化装置の一例による構成を示したブロック図である。

【図2A】本発明が適用されるオーディオ符号化装置の他の例による構成を示したブロック図である。

【図2B】本発明が適用されるオーディオ復号化装置の他の例による構成を示したブロック図である。

【図3A】本発明が適用されるオーディオ符号化装置の他の例による構成を示したブロック図である。

【図3B】本発明が適用されるオーディオ復号化装置の他の例による構成を示したブロック図である。

【図4A】本発明が適用されるオーディオ符号化装置の他の例による構成を示したブロック図である。

【図4B】本発明が適用されるオーディオ復号化装置の他の例による構成を示したブロック図である。

【図5】本発明が適用される周波数ドメインオーディオ符号化装置の構成を示したブロック図である。

【図6】本発明が適用される周波数ドメインオーディオ復号化装置の構成を示したブロック図である。

【図7】一実施形態によるスペクトル符号化装置の構成を示すブロック図である。

【図8】サブバンド分割の例を示す図面である。

【図9】一実施形態によるスペクトル量子化及び符号化装置の構成を示すブロック図である。

【図10】ＩＳＣ収集過程の概念を示す図面である。

【図11】本発明で使用されたＴＣＱの一例を示す図面である。

【図12】本発明が適用される周波数ドメインオーディオ復号化装置の構成を示したブロック図である。

【図13】一実施形態によるスペクトル復号化装置の構成を示すブロック図である。

【図14】一実施形態によるスペクトル復号化及び逆量子化装置の構成を示すブロック図である。

【図15】一実施形態によるマルチメディア機器の構成を示したブロック図である。

【図16】他の実施形態によるマルチメディア機器の構成を示したブロック図である。

【図17】他の実施形態によるマルチメディア機器の構成を示したブロック図である。

【発明を実施するための形態】

【0010】

本発明は、多様な変換を加えることができ、さまざまな実施形態を有することができるが、特定実施形態を図面に例示し、詳細な説明で具体的に説明する。しかし、それは、本発明を特定の実施形態について限定するものではなく、本発明の技術的思想、及び技術範囲に含まれる全ての変換、均等物ないし代替物を含むものであると理解される。本発明の説明において、関連公知技術に係わる具体的な説明が、本発明の要旨を不明確にすると判断される場合、その詳細な説明を省略する。

【0011】

第１、第２のような用語は、多様な構成要素の説明に使用されるが、構成要素が用語によって限定されるものではない。用語は、１つの構成要素を他の構成要素から区別する目的にのみ使用される。

【0012】

本発明で使用した用語は、ただ特定実施形態の説明に使用されたものであり、本発明を限定する意図ではない。本発明で使用した用語は、本発明での機能を考慮しながら、可能な限り現在広く使用される一般的な用語を選択したが、それは当分野に携わる技術者の意図、判例または新たな技術の出現などによって異なる。また、特定の場合、出願人が任意に選定した用語もあり、その場合、当該発明の説明部分において、詳細にその意味を記載する。従って、本発明で使用される用語は、単純な用語の名称ではない、その用語が有する意味、及び本発明の全般にわたった内容を基に定義されなければならない。

【0013】

単数の表現は、文脈上、明白に異なって意味しない限り、複数の表現を含む。本発明において、「含む」または「有する」というような用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品、またはそれらの組み合わせが存在するということを指定するものであり、一つまたはそれ以上の他の特徴、数字、段階、動作、構成要素、部品、またはそれらの組み合わせの存在または付加の可能性を事前に排除するものではないということを理解しなければならない。

【0014】

以下、本発明の実施形態について、添付図面を参照し、詳細に説明する。

【0015】

図１Ａ及び図１Ｂは、本発明が適用されるオーディオ符号化装置及びオーディオ復号化装置の一例による構成をそれぞれ示したブロック図である。

【0016】

図１Ａに図示されたオーディオ符号化装置１１０は、前処理部１１２、周波数ドメイン符号火部１１４及びパラメータ符号化部１１６を含んでもよい。各構成要素は、少なくとも１以上のモジュールに一体化され、少なくとも１以上のプロセッサ（図示せず）でもっても具現される。

【0017】

図１Ａにおいて、前処理部１１２は、入力信号に対して、フィルタリングあるいはダウンサンプリングなどを行うが、それらに限定されるものではない。入力信号は、オーディオ、ミュージックまたはスピーチ、あるいはそれらの混合信号を示すサウンドのようなメディア信号を意味するが、以下では、説明の便宜のために、オーディオ信号とする。

【0018】

周波数ドメイン符号化部１１４は、前処理部１１２から提供されるオーディオ信号に対して、時間−周波数変換を行い、オーディオ信号のチャンネル数、符号化帯域及びビット率に対応して符号化ツールを選択し、選択された符号化ツールを利用して、オーディオ信号に対する符号化を行う。時間−周波数変換は、ＭＤＣＴ（modified discrete cosine transform）、ＭＬＴ（modulated lapped transform）あるいはＦＦＴ（fast Fourier transform）を使用するが、それらに限定されるものではない。ここで、与えられたビット数が十分である場合、全体帯域に対して一般的な変換符号化方式を適用し、与えられたビット数が十分ではない場合、一部帯域については、帯域拡張方式を適用することができる。一方、オーディオ信号が、ステレオあるいはマルチチャンネルである場合、与えられたビット数が十分であるならば、各チャンネル別に符号化し、十分ではなければ、ダウンミキシング方式を適用することができる。周波数ドメイン符号化部１１４からは、符号化されたスペクトル係数が生成される。

【0019】

パラメータ符号化部１１６は、周波数ドメイン符号化部１１４から提供される符号化されたスペクトル係数からパラメータを抽出し、抽出されたパラメータを符号化することができる。パラメータは、例えば、サブバンド別あるいはバンド別に抽出され、以下では、説明の簡素化のためにサブバンドとする。各サブバンドは、スペクトル係数をグルーピングした単位であり、臨界帯域を反映させ、均一あるいは非均一の長さを有することができる。非均一長を有する場合、低周波数帯域に存在するサブバンドの場合、高周波数帯域と比較し、相対的に短い長さを有する。１フレームに含まれるサブバンドの個数及び長さは、コーデックアルゴリズムによって異なり、符号化性能に影響を及ぼす。一方、パラメータは、サブバンドのスケールファクタ、パワー、平均エネルギーあるいはnormを例として挙げることができるが、それらに限定されるものではない。符号化の結果として得られるスペクトル係数とパラメータは、ビットストリームを形成し、記録媒体に保存されるか、あるいはチャネルを介して、例えば、パッケージ形態で伝送される。

【0020】

図１Ｂに図示されたオーディオ復号化装置１３０は、パラメータ復号化部１３２、周波数ドメイン復号化部１３４及び後処理部１３６を含んでもよい。ここで、周波数ドメイン復号化部１３４は、フレーム消去隠匿（ＦＥＣ：frame erasure concealment）アルゴリズムあるいはパケット損失隠匿（ＰＬＣ：packet loss concealment）アルゴリズムを含んでもよい。各構成要素は、少なくとも１以上のモジュールに一体化され、少なくとも１以上のプロセッサ（図示せず）でもっても具現される。

【0021】

図１Ｂにおいて、パラメータ復号化部１３２は、受信されたビットストリームから、符号化されたパラメータを復号化し、復号化されたパラメータから、フレーム単位で消去あるいは損失のようなエラーが発生したか否かということをチェックすることができる。エラーチェックは、公知の多様な方法を使用することができ、現在フレームが正常フレームであるか、あるいは消去フレームまたは損失フレームであるかということに係わる情報を、周波数ドメイン復号化部１３４に提供する。以下では、説明の簡素化のために、消去フレームあるいは損失フレームをエラーフレームであるとする。

【0022】

周波数ドメイン復号化部１３４は、現在フレームが正常フレームである場合、一般的な変換復号化過程を介して復号化を行い、合成されたスペクトル係数を生成することができる。一方、周波数ドメイン復号化部１３４は、現在フレームがエラーフレームである場合、ＦＥＣアルゴリズムあるいはＰＬＣアルゴリズムを介して、以前正常フレームのスペクトル係数をエラーフレームに反復して使用するとか回帰分析を介してスケーリングして繰り返すことで、合成されたスペクトル係数を生成することができる。周波数ドメイン復号化部１３４は、合成されたスペクトル係数に対して、周波数−時間変換を行い、時間ドメイン信号を生成することができる。

【0023】

後処理部１３６は、周波数ドメイン復号化部１３４から提供される時間ドメイン信号に対して、音質向上のためのフィルタリングあるいはアップサンプリングなどを行うことができるが、それらに限定されるものではない。後処理部１３６は、出力信号として、復元されたオーディオ信号を提供する。

【0024】

図２Ａ及び図２Ｂは、本発明が適用されるオーディオ符号化装置及びオーディオ復号化装置の他の例による構成をそれぞれ示したブロック図であり、スイッチング構造を有する。

【0025】

図２Ａに図示されたオーディオ符号化装置２１０は、前処理部２１２、モード決定部２１３、周波数ドメイン符号化部２１４、時間ドメイン符号化部２１５及びパラメータ符号化部２１６を含んでもよい。各構成要素は、少なくとも１以上のモジュールに一体化され、少なくとも１以上のプロセッサ（図示せず）でもっても具現される。図２Ａにおいて、前処理部２１２は、図１Ａの前処理部１１２と実質的に同一であるので、説明を省略する。

【0026】

モード決定部２１３は、入力信号の特性を参照し、符号化モードを決定することができる。入力信号の特性によって、現在フレームに適する符号化モードが、音声モードであるか、あるいは音楽モードであるかということを決定し、また現在フレームに効率的な符号化モードが、時間ドメインモードであるか、あるいは周波数ドメインモードであるかということを決定することができる。ここで、フレームの短区間特性、あるいは複数のフレームに係わる長区間特性などを利用して、入力信号の特性を把握することができるが、それに限定されるものではない。例えば、入力信号が音声信号に該当すれば、音声モードあるいは時間ドメインモードに決定し、入力信号が音声信号以外の信号、すなわち、音楽信号あるいは混合信号に該当すれば、音楽モードあるいは周波数ドメインモードに決定することができる。モード決定部２１３は、入力信号の特性が、音楽モードあるいは周波数ドメインモードに該当する場合には、前処理部２１２の出力信号を周波数ドメイン符号化部２１４に提供し、入力信号の特性が、音声モードあるいは時間ドメインモードに該当する場合、時間ドメイン符号化部２１５に提供することができる。

【0027】

周波数ドメイン符号化部２１４は、図１Ａの周波数ドメイン符号化部１１４と実質的に同一であるので、説明を省略する。

【0028】

時間ドメイン符号化部２１５は、前処理部２１２から提供されるオーディオ信号に対して、ＣＥＬＰ（code excited linear prediction）符号化を行う。具体的には、ＡＣＥＬＰ（algebraic ＣＥＬＰ）を使用することができるが、それに限定されるものではない。

【0029】

パラメータ符号化部２１６は、周波数ドメイン符号化部２１４あるいは時間ドメイン符号化部２１５から提供される符号化されたスペクトル係数からパラメータを抽出し、抽出されたパラメータを符号化する。パラメータ符号化部２１６は、図１Ａのパラメータ符号化部１１６と実質的に同一であるので、説明を省略する。符号化の結果として得られるスペクトル係数とパラメータは、符号化モード情報と共にビットストリームを形成し、チャネルを介してパケット形態で伝送したり記録媒体に保存されたりする。

【0030】

図２Ｂに図示されたオーディオ復号化装置２３０は、パラメータ復号化部２３２、モード決定部２３３、周波数ドメイン復号化部２３４、時間ドメイン復号化部２３５及び後処理部２３６を含んでもよい。ここで、周波数ドメイン復号化部２３４と時間ドメイン復号化部２３５は、それぞれ当該ドメインでのＦＥＣアルゴリズムあるいはＰＬＣアルゴリズムを含んでもよい。各構成要素は、少なくとも１以上のモジュールに一体化され、少なくとも１以上のプロセッサ（図示せず）でもっても具現される。

【0031】

図２Ｂにおいて、パラメータ復号化部２３２は、パケット形態で伝送されるビットストリームから、パラメータを復号化し、復号化されたパラメータから、フレーム単位で、エラーが発生したか否かということをチェックすることができる。エラーチェックは、公知の多様な方法を使用することができ、現在フレームが正常フレームであるか、あるいはエラーフレームであるかということに係わる情報を、周波数ドメイン復号化部２３４あるいは時間ドメイン復号化部２３５に提供する。

【0032】

モード決定部２３３は、ビットストリームに含まれた符号化モード情報をチェックし、現在フレームを周波数ドメイン復号化部２３４あるいは時間ドメイン復号化部２３５に提供する。

【0033】

周波数ドメイン復号化部２３４は、符号化モードが音楽モードあるいは周波数ドメインモードである場合に動作し、現在フレームが正常フレームである場合、一般的な変換復号化過程を介して復号化を行い、合成されたスペクトル係数を生成する。一方、現在フレームがエラーフレームであり、以前フレームの符号化モードが音楽モードあるいは周波数ドメインモードである場合、周波数ドメインでのＦＥＣアルゴリズムあるいはＰＬＣアルゴリズムを介して、以前正常フレームのスペクトル係数をエラーフレームに反復して使用したり、回帰分析を介してスケーリングして反復したりすることにより、合成されたスペクトル係数を生成することができる。周波数ドメイン復号化部２３４は、合成されたスペクトル係数に対して周波数−時間変換を行い、時間ドメイン信号を生成することができる。

【0034】

時間ドメイン復号化部２３５は、符号化モードが音声モードあるいは時間ドメインモードである場合に動作し、現在フレームが正常フレームである場合、一般的なＣＥＬＰ復号化過程を介して復号化を行い、時間ドメイン信号を生成する。一方、現在フレームがエラーフレームであり、以前フレームの符号化モードが音声モードあるいは時間ドメインモードである場合、時間ドメインでのＦＥＣアルゴリズムあるいはＰＬＣアルゴリズムを遂行することができる。

【0035】

後処理部２３６は、周波数ドメイン復号化部２３４あるいは時間ドメイン復号化部２３５から提供される時間ドメイン信号に対して、フィルタリングあるいはアップサンプリングなどを行うことができるが、それらに限定されるものではない。後処理部２３６は、出力信号として、復元されたオーディオ信号を提供する。

【0036】

図３Ａ及び図３Ｂは、本発明が適用されるオーディオ符号化装置及びオーディオ復号化装置の他の例による構成をそれぞれ示したブロック図であり、スイッチング構造を有する。

【0037】

図３Ａに図示されたオーディオ符号化装置３１０は、前処理部３１２）、ＬＰ（linear prediction）分析部３１３、モード決定部３１４、周波数ドメイン励起符号化部３１５、時間ドメイン励起符号化部３１６及びパラメータ符号化部３１７を含んでもよい。各構成要素は、少なくとも１以上のモジュールに一体化され、少なくとも１以上のプロセッサ（図示せず）でもっても具現される。

【0038】

図３Ａにおいて、前処理部３１２は、図１Ａの前処理部１１２と実質的に同一であるので、説明を省略する。

【0039】

ＬＰ分析部３１３は、入力信号に対してＬＰ分析を行ってＬＰ係数を抽出し、抽出されたＬＰ係数から励起信号を生成する。励起信号は、符号化モードにより、周波数ドメイン励起符号化部３１５と時間ドメイン励起符号化部３１６とのうち一つに提供される。

【0040】

モード決定部３１４は、図２Ｂのモード決定部２１３と実質的に同一であるので、説明を省略する。

【0041】

周波数ドメイン励起符号化部３１５は、符号化モードが音楽モードあるいは周波数ドメインモードである場合に動作し、入力信号が励起信号であることを除いては、図１Ａの周波数ドメイン符号化部１１４と実質的に同一であるので、説明を省略する。

【0042】

時間ドメイン励起符号化部３１６は、符号化モードが音声モードあるいは時間ドメインモードである場合に動作し、入力信号が励起信号であることを除いては、図２Ａの時間ドメイン符号化部２１５と実質的に同一であるので、説明を省略する。

【0043】

パラメータ符号化部３１７は、周波数ドメイン励起符号化部３１５あるいは時間ドメイン励起符号化部３１６から提供される符号化されたスペクトル係数からパラメータを抽出し、抽出されたパラメータを符号化する。パラメータ符号化部３１７は、図１Ａのパラメータ符号化部１１６と実質的に同一であるので、説明を省略する。符号化の結果として得られるスペクトル係数とパラメータは、符号化モード情報と共にビットストリームを形成し、チャネルを介してパケット形態で伝送されるか、あるいは記録媒体に保存される。

【0044】

図３Ｂに図示されたオーディオ復号化装置３３０は、パラメータ復号化部３３２、モード決定部３３３、周波数ドメイン励起復号化部３３４、時間ドメイン励起復号化部３３５、ＬＰ合成部３３６及び後処理部３３７を含んでもよい。ここで、周波数ドメイン励起復号化部３３４と時間ドメイン励起復号化部３３５は、それぞれ当該ドメインでのＦＥＣアルゴリズムあるいはＰＬＣアルゴリズムを含んでもよい。各構成要素は、少なくとも１以上のモジュールに一体化され、少なくとも１以上のプロセッサ（図示せず）でもっても具現される。

【0045】

図３Ｂにおいて、パラメータ復号化部３３２は、パケット形態で伝送されるビットストリームから、パラメータを復号化し、復号化されたパラメータから、フレーム単位で、エラーが発生したか否かということをチェックすることができる。エラーチェックは、公知の多様な方法を使用することができ、現在フレームが正常フレームであるか、あるいはエラーフレームであるかということに係わる情報を、周波数ドメイン励起復号化部３３４あるいは時間ドメイン励起復号化部３３５に提供する。

【0046】

モード決定部３３３は、ビットストリームに含まれた符号化モード情報をチェックし、現在フレームを、周波数ドメイン励起復号化部３３４あるいは時間ドメイン励起復号化部３３５に提供する。

【0047】

周波数ドメイン励起復号化部３３４は、符号化モードが音楽モードあるいは周波数ドメインモードである場合に動作し、現在フレームが正常フレームである場合、一般的な変換復号化過程を介して復号化を行い、合成されたスペクトル係数を生成する。一方、現在フレームがエラーフレームであり、以前フレームの符号化モードが音楽モードあるいは周波数ドメインモードである場合、周波数ドメインでのＦＥＣアルゴリズムあるいはＰＬＣアルゴリズムを介して、以前正常フレームのスペクトル係数をエラーフレームに反復して使用したり、回帰分析を介してスケーリングして反復したりすることにより、合成されたスペクトル係数を生成することができる。周波数ドメイン励起復号化部３３４は、合成されたスペクトル係数に対して周波数−時間変換を行い、時間ドメイン信号である励起信号を生成することができる。

【0048】

時間ドメイン励起復号化部３３５は、符号化モードが音声モードあるいは時間ドメインモードである場合に動作し、現在フレームが正常フレームである場合、一般的なＣＥＬＰ復号化過程を介して復号化を行い、時間ドメイン信号である励起信号を生成する。一方、現在フレームがエラーフレームであり、以前フレームの符号化モードが音声モードあるいは時間ドメインモードである場合、時間ドメインでのＦＥＣアルゴリズムあるいはＰＬＣアルゴリズムを遂行することができる。

【0049】

ＬＰ合成部３３６は、周波数ドメイン励起復号化部３３４あるいは時間ドメイン励起復号化部３３５から提供される励起信号に対してＬＰ合成を行い、時間ドメイン信号を生成する。

【0050】

後処理部３３７は、ＬＰ合成部３３６から提供される時間ドメイン信号に対して、フィルタリングあるいはアップサンプリングなどを行うことができるが、それらに限定されるものではない。後処理部３３７は、出力信号として、復元されたオーディオ信号を提供する。

【0051】

図４Ａ及び図４Ｂは、本発明が適用されるオーディオ符号化装置及びオーディオ復号化装置の他の例による構成をそれぞれ示したブロック図であり、スイッチング構造を有する。

【0052】

図４Ａに図示されたオーディオ符号化装置４１０は、前処理部４１２、モード決定部４１３、周波数ドメイン符号化部４１４、ＬＰ分析部４１５、周波数ドメイン励起符号化部４１６、時間ドメイン励起符号化部４１７及びパラメータ符号化部４１８を含んでもよい。各構成要素は、少なくとも１以上のモジュールに一体化され、少なくとも１以上のプロセッサ（図示せず）でもっても具現される。図４Ａに図示されたオーディオ符号化装置４１０は、図２Ａのオーディオ符号化装置２１０と、図３Ａのオーディオ符号化装置３１０とを結合したものであると見ることができるので、共通する部分の動作説明は省略する一方、モード決定部４１３の動作について説明する。

【0053】

モード決定部４１３は、入力信号の特性及びビット率を参照し、入力信号の符号化モードを決定することができる。モード決定部４１３は、入力信号の特性によって、現在フレームが音声モードであるか、あるいは音楽モードであるかということにより、また現在フレームに効率的な符号化モードが、時間ドメインモードであるか、あるいは周波数ドメインモードであるかということにより、ＣＥＬＰモードと、それ以外のモードとに決定することができる。もし入力信号の特性が音声モードである場合には、ＣＥＬＰモードに決定し、音楽モードでありながら、高ビット率である場合、ＦＤモードに決定し、音楽モードでありながら、低ビット率である場合、オーディオモードに決定することができる。モード決定部４１３は、ＦＤモードである場合、入力信号を周波数ドメイン符号化部４１４に提供し、オーディオモードである場合、ＬＰ分析部４１５を介して周波数ドメイン励起符号化部４１６に提供し、ＣＥＬＰモードである場合、ＬＰ分析部４１５を介して、時間ドメイン励起符号化部４１７に提供することができる。

【0054】

周波数ドメイン符号化部４１４は、図１Ａのオーディオ符号化装置１１０の周波数ドメイン符号化部１１４、あるいは図２Ａのオーディオ符号化装置２１０の周波数ドメイン符号化部２１４に対応し、周波数ドメイン励起符号化部４１６あるいは時間ドメイン励起符号化部４１７は、図３Ａのオーディオ符号化装置３１０の周波数ドメイン励起符号化部３１５あるいは時間ドメイン励起符号化部３１６に対応する。

【0055】

図４Ｂに図示されたオーディオ復号化装置４３０は、パラメータ復号化部４３２、モード決定部４３３、周波数ドメイン復号化部４３４、周波数ドメイン励起復号化部４３５、時間ドメイン励起復号化部４３６、ＬＰ合成部４３７及び後処理部４３８を含んでもよい。ここで、周波数ドメイン復号化部４３４、周波数ドメイン励起復号化部４３５及び時間ドメイン励起復号化部４３６は、それぞれ当該ドメインでのＦＥＣアルゴリズムあるいはＰＬＣアルゴリズムを含んでもよい。各構成要素は、少なくとも１以上のモジュールに一体化され、少なくとも１以上のプロセッサ（図示せず）でもっても具現される。図４Ｂに図示されたオーディオ復号化装置４３０は、図２Ｂのオーディオ復号化装置２３０と、図３Ｂのオーディオ復号化装置３３０とを結合したものであると見ることができるので、共通する部分の動作説明は省略する一方、モード決定部４３３の動作について説明する。

【0056】

モード決定部４３３は、ビットストリームに含まれた符号化モード情報をチェックし、現在フレームを、周波数ドメイン復号化部４３４、周波数ドメイン励起復号化部４３５あるいは時間ドメイン励起復号化部４３６に提供する。

【0057】

周波数ドメイン復号化部４３４は、図１Ｂのオーディオ符号化装置１３０の周波数ドメイン復号化部１３４、あるいは図２Ｂのオーディオ復号化装置２３０の周波数ドメイン復号化部２３４に対応し、周波数ドメイン励起復号化部４３５あるいは時間ドメイン励起復号化部４３６は、図３Ｂのオーディオ復号化装置３３０の周波数ドメイン励起復号化部３３４あるいは時間ドメイン励起復号化部３３５に対応する。

【0058】

図５は、本発明が適用される周波数ドメインオーディオ符号化装置の構成を示したブロック図である。

【0059】

図５に図示された周波数ドメインオーディオ符号化装置５１０は、トランジェント検出部５１１）、変換部５１２、信号分類部５１３、エネルギー符号化部５１４、スペクトル正規化部５１５、ビット割当て部５１６、スペクトル符号化部５１７及び多重化部５１８を含んでもよい。各構成要素は、少なくとも１以上のモジュールに一体化され、少なくとも１以上のプロセッサ（図示せず）でもっても具現される。ここで、周波数ドメインオーディオ符号化装置５１０は、図２に図示された周波数ドメイン符号化部２１４の全ての機能と、パラメータ符号化部２１６の一部機能とを遂行することができる。一方、周波数ドメインオーディオ符号化装置５１０は、信号分類部５１３を除いては、ＩＴＵ−Ｔ Ｇ．７１９標準に開示されたエンコーダの構成にも代替され、そのとき、変換部５１２は、５０％のオーバーラップ区間を有する変換ウィンドウを使用することができる。また、周波数ドメインオーディオ符号化装置５１０は、トランジェント検出部５１１及び信号分類部５１３を除いては、ＩＴＵ−Ｔ Ｇ．７１９標準に開示されたエンコーダの構成にも代替される。各場合において、図示されていないが、ＩＴＵ−Ｔ Ｇ．７１９標準でのように、スペクトル符号化部５１７の後端に、ノイズレベル推定部をさらに具備し、ビット割り当て過程において、ゼロビットが割り当てられたスペクトル係数のためのノイズレベルを推定してビットストリームに含めることができる。

【0060】

図５を参照すれば、トランジェント検出部５１１は、入力信号を分析し、トランジェント特性を示す区間を検出し、検出結果に対応し、各フレームに係わるトランジェントシグナリング情報を生成することができる。そのとき、トランジェント区間の検出には、公知の多様な方法を使用することができる。一実施形態によれば、トランジェント検出部５１１は、まず現在フレームがトランジェントフレームであるか否かということを一次的に判断し、トランジェントフレームであると判断された現在フレームに対して、二次的に検証を行う。トランジェントシグナリング情報は、多重化部５１８を介してビットストリームに含まれる一方、変換部５１２に提供される。

【0061】

変換部５１２は、トランジェント区間の検出結果によって、変換に使用されるウィンドウサイズを決定し、決定されたウィンドウサイズに基づいて、時間−周波数変換を行う。一例として、トランジェント区間が検出されたサブバンドの場合、短区間ウィンドウ（short window）を適用し、検出されていないサブバンドの場合、長区間ウィンドウ（long window）を適用することができる。他の例として、トランジェント区間を含むフレームに対して、短区間ウィンドウを適用することができる。

【0062】

信号分類部５１３は、変換部５１２から提供されるスペクトルをフレーム単位で分析し、各フレームがハーモニックフレームに該当するか否かということを判断することができる。そのとき、ハーモニックフレームの判断には、公知の多様な方法を使用することができる。一実施形態によれば、信号分類部５１３は、変換部５１２から提供されるスペクトルを複数のサブバンドに分け、各サブバンドに対して、エネルギーのピーク値及び平均値を求めることができる。次に、各フレームに対して、エネルギーのピーク値が、平均値より所定比率以上大きいサブバンドの数を求め、求められたサブバンドの数が所定値以上であるフレームをハーモニックフレームと決定することができる。ここで、所定比率及び所定値は、実験あるいはシミュレーションを介して、既定でもある。ハーモニックシグナリング情報は、多重化部５１８を介して、ビットストリームに含められる。

【0063】

エネルギー符号化部５１４は、各サブバンド単位でエネルギーを求め、量子化及び無損失符号化を行うことができる。一実施形態によれば、エネルギーとして、各サブバンドの平均スペクトルエネルギーに該当するnorm値を使用することができ、スケールファクタあるいはパワーを代わりに使用することができるが、それらに限定されるものではない。ここで、各サブバンドのnorm値は、スペクトル正規化部５１５及びビット割当て部５１６に提供される一方、多重化部５１８を介してビットストリームに含められる。

【0064】

スペクトル正規化部５１５は、各サブバンド単位で求められたnorm値を利用して、スペクトルを正規化することができる。

【0065】

ビット割当て部５１６は、各サブバンド単位で求められたnorm値を利用して、整数単位あるいは小数点単位でビット割り当てを行う。また、ビット割当て部５１６は、各サブバンド単位で求められたnorm値を利用して、マスキング臨界値を計算し、マスキング臨界値を利用して、知覚的に必要なビット数、すなわち、許容ビット数を推定することができる。次に、ビット割当て部５１６は、各サブバンドに対して、割り当てビット数が許容ビット数を超えないように制限することができる。一方、ビット割当て部５１６は、norm値が大きいサブバンドから順次にビットを割り当て、各サブバンドのnorm値に対して、各サブバンドの知覚的重要度によって、加重値を付与することにより、知覚的に重要なサブバンドにさらに多くのビットが割り当てられるように調整することができる。そのとき、norm符号化部５１４からビット割当て部５１６に提供される量子化されたnorm値は、ＩＴＵ−Ｔ Ｇ．７１９におけると同様に、心理音響加重（psycho-acoustical weighting）及びマスキングの効果を考慮するために、事前に調整された後でビット割り当てに使用される。

【0066】

スペクトル符号化部５１７は、正規化されたスペクトルに対して、各サブバンドの割り当てビット数を利用して量子化を行い、量子化された結果に対して、無損失符号化することができる。一例として、スペクトル符号化に、ＴＣＱ、ＵＳＱ、ＦＰＣ、ＡＶＱ、ＰＶＱ、あるいはそれらの組み合わせ、及び各量子化器に対応する無損失符号化器を使用することができる。また、当該コーデックが搭載される環境、あるいはユーザの必要によって、多様なスペクトル符号化技法を適用することができる。スペクトル符号化部５１７で符号化されたスペクトルに係わる情報は、多重化部５１８を介してビットストリームに含められる。

【0067】

図６は、本発明が適用される周波数ドメインオーディオ符号化装置の構成を示したブロック図である。図６に図示されたオーディオ符号化装置６００は、前処理部６１０、周波数ドメイン符号化部６３０、時間ドメイン符号化部６５０及び多重化部６７０を含んでもよい。周波数ドメイン符号化部６３０は、トランジェント検出部６３１、変換部６３３及びスペクトル符号化部６３５を含んでもよい。各構成要素は、少なくとも１以上のモジュールに一体化され、少なくとも１以上のプロセッサ（図示せず）でもっても具現される。

【0068】

図６において、前処理部６１０は、入力信号に対して、フィルタリングあるいはダウンサンプリングなどを行うことができるが、それらに限定されるものではない。前処理部６１０は、信号特性に基づいて、符号化モードを決定することができる。信号特性によって、現在フレームに適する符号化モードが音声モードであるか、あるいは音楽モードであるかということを決定することができ、また現在フレームに効率的な符号化モードが、時間ドメインモードであるか、あるいは周波数ドメインモードであるかということを決定することができる。ここで、フレームの短区間特性、あるいは複数のフレームに係わる長区間特性などを利用して、信号特性を把握することができるが、それらに限定されるものではない。例えば、入力信号が音声信号に該当すれば、音声モードあるいは時間ドメインモードに決定し、入力信号が音声信号以外の信号、すなわち、音楽信号あるいは混合信号に該当すれば、音楽モードあるいは周波数ドメインモードに決定することができる。前処理部６１０は、信号特性が音楽モードあるいは周波数ドメインモードに該当する場合には、入力信号を周波数ドメイン符号化部６３０に提供し、信号特性が音声モードあるいは時間ドメインモードに該当する場合、入力信号を時間ドメイン符号化部６５０に提供することができる。

【0069】

周波数ドメイン符号化部６３０は、前処理部６１０から提供されるオーディオ信号を、変換符号化に基づいて、処理することができる。具体的には、トランジェント検出部６３１は、オーディオ信号からトランジェント成分を検出し、現在フレームがトランジェントフレームであるかを判断することができる。変換部６３３は、トランジェント検出部６３１から提供されるフレームタイプ、すなわち、トランジェント情報に基づいて、変換ウィンドウの長さあるいは形態を決定し、決定された変換ウィンドウに基づいて、オーディオ信号を、周波数ドメインに変換することができる。変換技法においては、ＭＤＣＴ、ＦＦＴあるいはＭＬＴを適用することができる。一般的に、トランジェント成分を有するフレームについては、短い長さの変換ウィンドウを適用することができる。スペクトル符号化部６３５は、周波数ドメインに変換されたオーディオスペクトルに対して符号化を行う。スペクトル符号化部６３５については、図７及び図９を参照してさらに具体的に説明する。

【0070】

時間ドメイン符号化部６５０は、前処理部６１０から提供されるオーディオ信号に対して、ＣＥＬＰ（code excited linear prediction）符号化を行う。具体的には、ＡＣＥＬＰ（algebraic ＣＥＬＰ）を使用することができるが、それに限定されるものではない。

【0071】

多重化部６７０は、周波数ドメイン符号化部６３０あるいは時間ドメイン符号化部６５０において、符号化の結果として生成されるスペクトル成分あるいは信号成分と、多様なインデックスとを多重化してビットストリームを生成し、ビットストリームは、チャネルを介してパケット形態で伝送されるか、あるいは記録媒体に保存される。

【0072】

図７は、一実施形態によるスペクトル符号化装置の構成を示すブロック図である。図７に図示された装置は、図６のスペクトル符号化部６３５に対応するか、他の周波数ドメイン符号化装置に含まれるか、あるいは独立して具現される。図７に図示されたスペクトル符号化装置７００は、エネルギー推定部７１０、エネルギー量子化及び符号化部７２０、ビット割当て部７３０、スペクトル正規化部７４０、スペクトル量子化及び符号化部７５０及びノイズフィリング部７６０を含んでもよい。

【0073】

図７を参照すれば、エネルギー推定部７１０は、本来のスペクトル係数に対して、サブバンドに分離し、各サブバンド別エネルギー、例えば、norm値を推定することができる。ここで、１つのフレームにおいて、各サブバンドは、同一サイズを有するか、低帯域から高帯域に行くほど、各サブバンドに含まれるスペクトル係数の数を増加させることができる。

【0074】

エネルギー量子化及び符号化部７２０は、各サブバンドに対して推定されたnorm値を、量子化及び符号化することができる。そのとき、norm値は、ＶＱ（vector quantization）、ＳＱ（scalar quantization）、ＴＣＱ（trellis coded quantization）、ＬＶＱ（lattice vector quantization）など多様な方式で量子化される。エネルギー量子化及び符号化部７２０は、さらなる符号化効率を向上させるために無損失符号化をさらに行う。

【0075】

ビット割当て部７３０は、サブバンド別に量子化されたnorm値を利用して、フレーム当たり許容ビットを考慮しながら、符号化に必要なビットを割り当てることができる。

【0076】

スペクトル正規化部７４０は、サブバンド別に量子化されたnorm値を利用して、スペクトルに係わる正規化を行う。

【0077】

スペクトル量子化及び符号化部７５０は、正規化されたスペクトルに対して、サブバンド別に割り当てられたビットに基づいて、量子化及び符号化を行う。

【0078】

ノイズフィリング部７６０は、スペクトル量子化及び符号化部７５０において、許容ビットの制約によって０に量子化された部分に、適切なノイズを追加することができる。

【0079】

図８は、サブバンド分割の例を示す図面である。図８を参照すれば、入力信号が４８ｋＨｚのサンプリング周波数を使用し、２０ｍｓのフレームサイズを有する場合、毎フレーム当たり処理するサンプルの個数は、９６０個になる。すなわち、入力信号を、ＭＤＣＴを利用して、５０％のオーバーラッピングを適用して変換すれば、９６０個のスペクトル係数が得られる。ここで、オーバーラッピングの比率は、符号化方式によって多様に設定される。周波数ドメインにおいては、理論的に、２４ｋＨｚまで処理可能であるが、人間の可聴帯域を考慮し、２０ｋＨｚまでの帯域を表現する。低帯域である０〜３．２ｋＨｚまでは、８個のスペクトル係数を１つのサブバンドにまとめて使用し、３．２〜６．４ｋＨｚの帯域においては、１６個のスペクトル係数を１つのサブバンドにまとめて使用する。６．４〜１３．６ｋＨｚの帯域においては、２４個のスペクトル係数を１つのサブバンドにまとめて使用し、１３．６〜２０ｋＨｚの帯域においては、３２個のスペクトル係数を１つのサブバンドにまとめて使用する。実際、norm値を求めて符号化を行う場合、符号化器で定めた帯域までnormを求めて符号化することができる。決定された帯域後の特定高帯域では、帯域拡張のような多様な方式に基づいた符号化が可能である。

【0080】

図９は、一実施形態によるスペクトル量子化及び符号化装置の構成を示すブロック図である。図９に図示された装置は、図７のスペクトル量子化及び符号化部７５０に対応するか、他の周波数ドメイン符号化装置に含まれるか、あるいは独立して具現される。図９に図示されたスペクトル量子化及び符号化装置９００は、符号化方式選択部９１０、ゼロ符号化部９３０、係数符号化部９５０、量子化成分復元部９７０及び逆スケーリング部９９０を含んでもよい。係数符号化部９５０は、スケーリング部９５１、ＩＳＣ（important spectral component）選択部９５２、位置情報符号化部９５３、ＩＳＣ収集部９５４、サイズ情報符号化部９５５、符号情報符号化部９５６を含んでもよい。

【0081】

図９を参照すれば、符号化方式選択部９１０は、バンド別に割り当てられたビットに基づいて、符号化方式を選択することができる。正規化されたスペクトルは、バンド別に選択された符号化方式に基づいて、ゼロ符号化部９３０あるいは係数符号化部９５０に提供される。

【0082】

ゼロ符号化部９３０は、割り当てられたビットが０であるバンドに対して、全てのサンプルを０に符号化することができる。

【0083】

係数符号化部９５０は、割り当てられたビットが０ではないバンドに対して選択された量子化器を利用して符号化を行う。具体的には、係数符号化部９５０は、正規化されたスペクトルに対して、各バンド別に重要周波数成分を選択し、各バンド別に選択された重要周波数成分の情報を、数、位置、大きさ及び符号に基づいて符号化することができる。重要周波数成分の大きさは、数、位置及び符号とは異なる方式によって符号化することができる。一例を挙げれば、重要周波数成分の大きさは、ＵＳＱ及びＴＣＱのうち一つを利用して、量子化して算術符号化（arithmetic coding）を行う一方、重要周波数成分の数、位置及び符号に対して算術符号化を行う。特定バンドが重要な情報を含んでいると判断される場合、ＵＳＱを使用し、そうではない場合、ＴＣＱを使用することができる。一実施形態によれば、信号特性に基づいて、ＴＣＱ及びＵＳＱのうち一つを選択することができる。ここで、信号特性は、各バンドに割り当てられたビットあるいはバンドの長さを含んでもよい。もしバンドに含まれた各サンプルに割り当てられた平均ビット数が、臨界値、例えば、０．７５以上である場合、当該バンドは、非常に重要な情報を含んでいると判断することができるので、ＵＳＱが使用される。一方、バンドの長さが短い低帯域の場合にも、必要によって、ＵＳＱが使用される。

【0084】

スケーリング部９５１は、ビット率を調節するためにバンドに割り当てられたビットに基づいて、正規化されたスペクトルに係わるスケーリングを行う。スケーリング部９５１は、バンドに含まれた各サンプル、すなわち、スペクトル係数に割り当てられた平均ビット数を考慮することができる。例えば、平均ビット数が多いほど、さらに大きいスケーリングが行われる。

【0085】

ＩＳＣ選択部９５２は、ビット率を調節するためにスケーリングされたスペクトルから、所定基準に基づいて、ＩＳＣを選択することができる。ＩＳＣ選択部９５３は、スケーリングされたスペクトルからスケーリングされた程度を分析し、実際のノンゼロ位置を求めることができる。ここで、ＩＳＣは、スケーリング以前の実際のノンゼロスペクトル係数に該当する。ＩＳＣ選択部９５３は、バンド別に割り当てられたビットに基づいて、スペクトル係数の分布及び分散を考慮し、符号化するスペクトル係数、すなわち、ノンゼロ位置を選択することができる。ＩＳＣ選択のために、ＴＣＱを使用することができる。

【0086】

位置情報符号化部９５３は、ＩＳＣ選択部９５２で選択されたＩＳＣの位置情報、すなわち、ノンゼロスペクトル係数の位置情報を符号化することができる。位置情報は、選択されたＩＳＣの数及び位置を含んでもよい。位置情報の符号化には、算術符号化が使用される。

【0087】

ＩＳＣ収集部９５４は、選択されたＩＳＣを集め、新たなバッファを構成することができる。ＩＳＣ収集のために、ゼロバンドと、選択されていないスペクトルは、除外される。

【0088】

サイズ情報符号化部９５５は、新たに構成されたＩＳＣのサイズ情報に対して符号化を行う。そのとき、ＴＣＱ及びＵＳＱのうち一つを選択して量子化を行い、続けて算術符号化をさらに行う。算術符号化の効率を高めるために、ノンゼロ位置情報と、ＩＳＣの数とが使用される。

【0089】

符号情報符号化部９５６は、選択されたＩＳＣの符号情報に対して符号化を行う。符号情報の符号化には、算術符号化が使用される。

【0090】

量子化成分復元部９７０は、ＩＳＣの位置、大きさ及び符号情報に基づいて、実際の量子化成分を復元することができる。ここで、ゼロ位置、すなわち、ゼロに符号化されたスペクトル係数には、０が割り当てられる。

【0091】

逆スケーリング部９９０は、復元された量子化成分に対して逆スケーリングを行い、正規化されたスペクトルと同一レベルの量子化されたスペクトル係数を出力することができる。スケーリング部９５１及び逆スケーリング部９９０においては、同一スケーリングファクタを使用することができる。

【0092】

図１０は、ＩＳＣ収集過程の概念を示す図面であり、まず、ゼロバンド、すなわち、０に量子化されるバンドは除く。次に、ノンゼロバンドに存在するスペクトル成分のうち選択されたＩＳＣを利用して、新たなバッファを構成することができる。新たに構成されたＩＳＣに対して、帯域単位でＵＳＣあるいはＴＣＱを遂行し、対応する無損失符号化を行う。

【0093】

図１１は、本発明で使用されたＴＣＱの一例を示す図面であり、２つのゼロレベルを有する８ステート４コセットのトレリス構造に該当する。当該ＴＣＱに係わる詳細な説明は、ＵＳ７６０５７２７に開示されている。

【0094】

図１２は、本発明が適用される周波数ドメインオーディオ復号化装置の構成を示したブロック図である。図１２に図示された周波数ドメインオーディオ復号化装置１２００は、フレームエラー検出部１２１０、周波数ドメイン復号化部１２３０、時間ドメイン復号化部１２５０及び後処理部１２７０を含んでもよい。周波数ドメイン復号化部１２３０は、スペクトル復号化部１２３１、メモリ更新部１２３３、逆変換部１２３５及びＯＬＡ（overlap and add）部１２３７を含んでもよい。各構成要素は、少なくとも１以上のモジュールに一体化され、少なくとも１以上のプロセッサ（図示せず）でもっても具現される。

【0095】

図１２を参照すれば、フレームエラー検出部１２１０は、受信されたビットストリームから、フレームエラーが発生したか否かということを検出することができる。

【0096】

周波数ドメイン復号化部１２３０は、符号化モードが音楽モードあるいは周波数ドメインモードである場合に動作し、フレームエラーが発生した場合、ＦＥＣアルゴリズムあるいはＰＬＣアルゴリズムを動作させ、フレームエラーが発生していない場合、一般的な変換復号化過程を介して、時間ドメイン信号を生成する。具体的には、スペクトル復号化部１２３１は、復号化されたパラメータを利用してスペクトル復号化を行い、スペクトル係数を合成することができる。スペクトル復号化部１２３１については、図１３及び図１４を参照し、さらに具体的に説明する。

【0097】

メモリ更新部１２３３は、正常フレームである現在フレームについて合成されたスペクトル係数、復号化されたパラメータを利用して得られた情報、現在まで連続したエラーフレームの個数、各フレームの信号特性あるいはフレームタイプ情報などを、次のフレームのために更新することができる。ここで、信号特性は、トランジェント特性、ステーショナリ特性を含んでもよく、フレームタイプは、トランジェントフレーム、ステーショナリフレームあるいはハーモニックフレームを含んでもよい。

【0098】

逆変換部１２３５は、合成されたスペクトル係数に対して時間−周波数逆変換を行い、時間ドメイン信号を生成することができる。

【0099】

ＯＬＡ部１２３７は、以前フレームの時間ドメイン信号を利用してＯＬＡ処理を行い、その結果、現在フレームに係わる最終時間ドメイン信号を生成し、後処理部１２７０に提供することができる。

【0100】

時間ドメイン復号化部１２５０は、符号化モードが音声モードあるいは時間ドメインモードである場合に動作し、フレームエラーが発生した場合、ＦＥＣアルゴリズムあるいはＰＬＣアルゴリズムを動作させ、フレームエラーが発生していない場合、一般的なＣＥＬＰ復号化過程を介して時間ドメイン信号を生成する。

【0101】

後処理部１２７０は、周波数ドメイン復号化部１２３０あるいは時間ドメイン復号化部１２５０から提供される時間ドメイン信号に対して、フィルタリングあるいはアップサンプリングなどを行うことができるが、それらに限定されるものではない。後処理部１２７０は、出力信号として、復元されたオーディオ信号を提供する。

【0102】

図１３は、一実施形態によるスペクトル復号化装置の構成を示すブロック図である。図１３に図示された装置は、図１２のスペクトル復号化部１２３１に対応するか、他の周波数ドメイン復号化装置に含まれるか、あるいは独立して具現される。図１３に図示されたスペクトル復号化装置１３００は、エネルギー復号化及び逆量子化部１３１０、ビット割当て部１３３０、スペクトル復号化及び逆量子化部１３５０、ノイズフィリング部１３７０及びスペクトルシェーピング部１３９０を含んでもよい。ここで、ノイズフィリング部１３７０は、スペクトルシェーピング部１３９０の後端に位置することもできる。各構成要素は、少なくとも１以上のモジュールに一体化され、少なくとも１以上のプロセッサ（図示せず）でもっても具現される。

【0103】

図１３を参照すれば、エネルギー復号化及び逆量子化部１３１０は、符号化過程で無損失符号化が遂行されたパラメータ、例えば、norm値のようなエネルギーに対して無損失復号化を行い、復号化されたnorm値に対して逆量子化を行う。符号化過程において、norm値は、多様な方式、例えば、ＶＱ（vector quantization）、ＳＱ（sclar quantization）、ＴＣＱ（trellis coded quantization）、ＬＶＱ（lattice vector quantization）などを利用して量子化され、対応する方式を使用して逆量子化を行う。

【0104】

ビット割当て部１３３０は、量子化されたnorm値、あるいは逆量子化されたnorm値に基づいて、サブバンド別に必要とするビット数を割り当てることができる。その場合、サブバンド単位に割り当てられたビット数は、符号化過程で割り当てられたビット数と同一でもある。

【0105】

スペクトル復号化及び逆量子化部１３５０は、符号化されたスペクトル係数に対して、サブバンド別に割り当てられたビット数を使用して無損失復号化を行い、復号化されたスペクトル係数に対して逆量子化過程を遂行し、正規化されたスペクトル係数を生成することができる。

【0106】

ノイズフィリング部１３７０は、正規化されたスペクトル係数のうち、サブバンド別にノイズフィリングを必要とする部分に対してノイズを充填することができる。

【0107】

スペクトルシェーピング部１３９０は、逆量子化されたnorm値を利用して、正規化されたスペクトル係数をシェーピングすることができる。スペクトルシェーピング過程を介して、最終的に復号化されたスペクトル係数が得られる。

【0108】

図１４は、一実施形態によるスペクトル復号化及び逆量子化装置の構成を示すブロック図である。図１４に図示された装置は、図１３のスペクトル復号化及び逆量子化部１３５０に対応するか、他の周波数ドメイン復号化装置に含まれるか、あるいは独立して具現される。図１４に図示されたスペクトル復号化及び逆量子化装置１４００は、復号化方式選択部１４１０、ゼロ復号化部１４３０、係数復号化部１４５０、量子化成分復元部１４７０及び逆スケーリング部１４９０を含んでもよい。係数復号化部１４５０は、位置情報復号化部１４５１、サイズ情報復号化部１４５３及び符号情報復号化部１４５５を含んでもよい。

【0109】

図１４を参照すれば、復号化方式選択部１４１０は、バンド別に割り当てられたビットに基づいて、復号化方式を選択することができる。正規化されたスペクトルは、バンド別に選択された復号化方式に基づいて、ゼロ復号化部１４３０あるいは係数復号化部１４５０に提供される。

【0110】

ゼロ復号化部１４３０は、割り当てられたビットが０であるバンドについて、全てのサンプルを０に復号化することができる。

【0111】

係数復号化部１４５０は、割り当てられたビットが０ではないバンドについて選択された逆量子化器を利用して復号化を行う。係数復号化部１４５０は、符号化されたスペクトルの各バンド別に、重要周波数成分の情報を得て、各バンド別に得られた重要周波数成分の情報を、数、位置、大きさ及び符号に基づいて、復号化することができる。重要周波数成分の大きさは、数、位置及び符号とは異なる方式によって復号化することができる。一例を挙げれば、重要周波数成分の大きさは、算術復号化してＵＳＱ及びＴＣＱのうち一つを利用して逆量子化する一方、重要周波数成分の数、位置及び符号に対して算術復号化を行う。逆量子化器選択は、図９で図示された係数符号化部９５０と同一結果を利用して行う。係数復号化部１４５０は、割り当てられたビットが０ではないバンドに対して、ＴＣＱ及びＵＳＱのうち一つを利用して逆量子化を行う。

【0112】

位置情報復号化部１４５１は、ビットストリームに含まれた位置情報と係わるインデックスを復号化し、ＩＳＣの数及び位置を復元することができる。位置情報の復号化には、算術復号化が使用される。サイズ情報復号化部１４５３は、ビットストリームに含まれたサイズ情報と係わるインデックスに対して算術復号化を行い、復号化されたインデックスに対して、ＴＣＱ及びＵＳＱのうち一つを選択して逆量子化を行う。算術復号化の効率を高めるために、ノンゼロ位置情報と、ＩＳＣ数とが使用される。符号情報復号化部１４５５は、ビットストリームに含まれた符号情報と係わるインデックスを復号化し、ＩＳＣの符号を復元することができる。符号情報の復号化には、算術復号化が使用される。一実施形態によれば、ノンゼロバンドが必要とするパルス数を推定し、位置情報、サイズ情報あるいは符号情報の復号化に使用することができる。

【0113】

量子化成分復元部１４７０は、復元されたＩＳＣの位置、大きさ及び符号情報に基づいて、実際の量子化成分を復元することができる。ここで、ゼロ位置、すなわち、ゼロに復号化されたスペクトル係数である量子化されていない部分には、０が割り当てられる。

【0114】

逆スケーリング部１４９０は、復元された量子化成分に対して逆スケーリングを行い、正規化されたスペクトルと同一レベルの量子化されたスペクトル係数を出力することができる。

【0115】

図１５は、本発明の一実施形態による符号化モジュールを含むマルチメディア機器の構成を示したブロック図である。図１５に図示されたマルチメディア機器１５００は、通信部１５１０と、符号化モジュール１５３０とを含んでもよい。また、符号化の結果として得られるオーディオビットストリームの用途によって、オーディオビットストリームを保存する保存部１５５０をさらに含んでもよい。また、マルチメディア機器１５００は、マイクロフォン１５７０をさらに含んでもよい。すなわち、保存部１５５０とマイクロフォン１５７０は、オプションとして具備される。一方、図１５に図示されたマルチメディア機器１５００は、任意の復号化モジュール（図示せず）、例えば、一般的な復号化機能を遂行する復号化モジュール、あるいは本発明の一実施形態による復号化モジュールをさらに含んでもよい。ここで、符号化モジュール１５３０は、マルチメディア機器１５００に具備される他の構成要素（図示せず）と共に一体化され、少なくとも１以上のプロセッサ（図示せず）でもっても具現される。

【0116】

図１５を参照すれば、通信部１５１０は、外部から提供されるオーディオと、符号化されたビットストリームとのうち少なくとも一つを受信するか、復元されたオーディオと、符号化モジュール１５３０の符号化の結果として得られるオーディオビットストリームとのうち少なくとも一つを送信することができる。

【0117】

通信部１５１０は、無線インターネット、無線イントラネット、無線電話網、無線ＬＡＮ（local area network）、Ｗｉ−Ｆｉ（wireless fidelity）、ＷＦＤ（Ｗｉ−Ｆｉ direct）、３Ｇ（３rd generation）、４Ｇ（４th generation）、ブルートゥース（登録商標（Bluetooth））、赤外線通信（ＩｒＤＡ：infrared data association）、ＲＦＩＤ（radio frequency identification）、ＵＷＢ（ultra wideband）、ジグビー（ZigBee）、ＮＦＣ（near field communication）のような無線ネットワーク；または有線電話網、有線インターネットのような有線ネットワークを介して、外部のマルチメディア機器あるいはサーバとデータを送受信することができるように構成される。

【0118】

符号化モジュール１５３０は、一実施形態によれば、正規化されたスペクトルに対して、各バンド別に重要周波数成分を選択し、各バンド別に選択された重要周波数成分の情報を、数、位置、大きさ及び符号に基づいて符号化することができる。重要周波数成分の大きさは、数、位置及び符号とは異なる方式によって符号化することができ、一例を挙げれば、重要周波数成分の大きさは、ＵＳＱ及びＴＣＱのうち一つを利用して、量子化して算術符号化する一方、重要周波数成分の数、位置及び符号に対して算術符号化を行う。一実施形態によれば、正規化されたスペクトルを、各バンド別に割り当てられたビットに基づいてスケーリングを行い、スケーリングされたスペクトルに対して、重要周波数成分を選択することができる。

【0119】

保存部１５５０は、マルチメディア機器１５００の運用に必要な多様なプログラムを保存することができる。

【0120】

マイクロフォン１５７０は、ユーザ、あるいは外部のオーディオ信号を符号化モジュール１５３０に提供することができる。

【0121】

図１６は、本発明の一実施形態による復号化モジュールを含むマルチメディア機器の構成を示したブロック図である。図１６に図示されたマルチメディア機器１６００は、通信部１６１０と復号化モジュール１６３０とを含んでもよい。また、復号化の結果として得られる復元されたオーディオ信号の用途によって、復元されたオーディオ信号を保存する保存部１６５０をさらに含んでもよい。また、マルチメディア機器１６００は、スピーカ１６７０をさらに含んでもよい。すなわち、保存部１６５０とスピーカ１６７０は、オプションとして具備される。一方、図１６に図示されたマルチメディア機器１６００は、任意の符号化モジュール（図示せず）、例えば、一般的な符号化機能を遂行する符号化モジュール、あるいは本発明の一実施形態による符号化モジュールをさらに含んでもよい。ここで、復号化モジュール１６３０は、マルチメディア機器１６００に具備される他の構成要素（図示せず）と共に一体化され、少なくとも１つの以上のプロセッサ（図示せず）でもっても具現される。

【0122】

図１６を参照すれば、通信部１６１０は、外部から提供される符号化されたビットストリームと、オーディオ信号とのうち少なくとも一つを受信するか、復号化モジュール１６３０の復号化の結果として得られる復元されたオーディオ信号と、符号化の結果として得られるオーディオビットストリームとのうち少なくとも一つを送信することができる。一方、通信部１６１０は、図１５の通信部１５１０と実質的に類似して具現される。

【0123】

復号化モジュール１６３０は、一実施形態によれば、通信部１６１０を介して提供されるビットストリームを受信し、符号化されたスペクトルの各バンド別に重要周波数成分の情報を得て、各バンド別に得られた重要周波数成分の情報を、数、位置、大きさ及び符号に基づいて、復号化することができる。重要周波数成分の大きさは、数、位置及び符号とは異なる方式によって復号化することができ、一例を挙げれば、重要周波数成分の大きさは、算術復号化し、ＵＳＱ及びＴＣＱのうち一つを利用して逆量子化する一方、重要周波数成分の数、位置及び符号に対して算術復号化を行う。

【0124】

保存部１６５０は、復号化モジュール１６３０で生成される復元されたオーディオ信号を保存することができる。一方、保存部１６５０は、マルチメディア機器１６００の運用に必要な多様なプログラムを保存することができる。

【0125】

スピーカ１６７０は、復号化モジュール１６３０で生成される復元されたオーディオ信号を外部に出力することができる。

【0126】

図１７は、本発明の一実施形態による符号化モジュールと復号化モジュールとを含むマルチメディア機器の構成を示したブロック図である。図１７に図示されたマルチメディア機器１７００は、通信部１７１０、符号化モジュール１７２０及び復号化モジュール１７３０を含んでもよい。また、符号化の結果として得られるオーディオビットストリーム、あるいは復号化の結果として得られる復元されたオーディオ信号の用途によって、オーディオビットストリーム、あるいは復元されたオーディオ信号を保存する保存部１７４０をさらに含んでもよい。また、マルチメディア機器１７００は、マイクロフォン１７５０あるいはスピーカ１７６０をさらに含んでもよい。ここで、符号化モジュール１７２０と復号化モジュール１７３０は、マルチメディア機器１７００に具備される他の構成要素（図示せず）と共に一体化され、少なくとも１以上のプロセッサ（図示せず）でもっても具現される。

【0127】

図１７に図示された各構成要素は、図１５に図示されたマルチメディア機器１５００の構成要素、あるいは図１６に図示されたマルチメディア機器１６００の構成要素と重複するので、その詳細な説明は省略する。

【0128】

図１５ないし図１７に図示されたマルチメディア機器１５００，１６００，１７００には、電話、モバイルフォンなどを含む音声通信専用端末；ＴＶ（television）、ＭＰ３プレーヤなどを含む放送専用装置または音楽専用装置、あるいは音声通信専用端末と、放送専用装置または音楽専用装置との融合端末装置；テレカンファレンスあるいはインタラクションシステムのユーザ端末；が含まれるが、それらに限定されるものではない。また、マルチメディア機器１５００，１６００，１７００は、クライアント、サーバ、あるいはクライアントとサーバとの間に配置される変換器としても使用される。

【0129】

一方、マルチメディア機器１５００，１６００，１７００）が、例えば、モバイルフォンである場合、図示されていないが、キーパッドのようなユーザ入力部、ユーザインターフェース；モバイルフォンで処理される情報をディスプレイするディスプレイ部；またはモバイルフォンの全般的な機能を制御するプロセッサをさらに含んでもよい。また、モバイルフォンは、撮像機能を有するカメラ部と、モバイルフォンで必要とする機能を遂行する少なくとも１以上の構成要素とをさらに含んでもよい。

【0130】

一方、マルチメディア機器１５００，１６００，１７００が、例えば、ＴＶである場合、図示されていないが、キーパッドなどのようなユーザ入力部；受信された放送情報をディスプレーするディスプレイ部；あるいはＴＶの全般的な機能を制御するプロセッサをさらに含んでもよい。また、ＴＶは、ＴＶで必要とする機能を遂行する少なくとも１以上の構成要素をさらに含んでもよい。

【0131】

前記実施形態は、コンピュータで実行されるプログラムによって作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。また、前述の本発明の実施形態で使用されるデータ構造、プログラム命令あるいはデータファイルは、コンピュータで読み取り可能な記録媒体に、多様な手段を介して記録される。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存される全種の保存装置を含んでもよい。コンピュータで読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体（magnetic media）；ＣＤ（compact disc）−ＲＯＭ（read only memory）、ＤＶＤ（digital versatile disc）のような光記録媒体（optical media）、フロプティカルディスク（floptical disk）のような磁気−光媒体（magneto-optical media）；及びＲＯＭ、ＲＡＭ（random access memory）、フラッシュメモリのような、プログラム命令を保存して遂行するように特別に構成されたハードウェア装置；が含まれる。また、コンピュータで読み取り可能な記録媒体は、プログラム命令、データ構造などを指定する信号を伝送する伝送媒体でもある。プログラム命令の例としては、コンパイラによって作われるような機械語コードだけではなく、インタープリタなどを使用して、コンピュータによって実行される高級言語コードを含んでもよい。

【0132】

以上のように、本発明の一実施形態は、たとえ限定された実施形態及び図面によって説明されたとしても、本発明の一実施形態は、前述の実施形態に限定されるものではなく、それらは、本発明が属する分野で当業者であるならば、そのような記載から多様な修正及び変形が可能であろう。従って、本発明のスコープは、前述の説明ではなく、特許請求の範囲に示されており、それらと均等または等価的変形は、いずれも本発明の技術的思想の範疇に属すると言えるのである。

【図1A】

【図1B】

【図2A】

【図2B】

【図3A】

【図3B】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】