知財求人 - 知財ポータルサイト「IP Force」
▶ サムスン エレクトロニクス カンパニー リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6178373
(24)【登録日】2017年7月21日
(45)【発行日】2017年8月9日
(54)【発明の名称】オーディオ信号の符号化及び復号化方法並びにその装置
(51)【国際特許分類】
G10L 19/02 20130101AFI20170731BHJP
【ＦＩ】
G10L19/02 170Z
【請求項の数】7
【全頁数】57
(21)【出願番号】特願2015-184515(P2015-184515)
(22)【出願日】2015年9月17日
(62)【分割の表示】特願2013-125014(P2013-125014)の分割
【原出願日】2008年5月8日
(65)【公開番号】特開2015-228044(P2015-228044A)
(43)【公開日】2015年12月17日
【審査請求日】2015年9月17日
(31)【優先権主張番号】10-2007-0044717
(32)【優先日】2007年5月8日
(33)【優先権主張国】KR
(73)【特許権者】
【識別番号】503447036
【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100091214
【弁理士】
【氏名又は名称】大貫 進介
(72)【発明者】
【氏名】チュー，ギ−ヒョン
(72)【発明者】
【氏名】ポロフ，アントン
(72)【発明者】
【氏名】オー，ウン−ミ
(72)【発明者】
【氏名】キム，ジュン−フェ
【審査官】
安田 勇太
(56)【参考文献】
【文献】
特表２０１０−５２６３４６（ＪＰ，Ａ）
【文献】
国際公開第２００６／０７５５６３（ＷＯ，Ａ１）
【文献】
特開２００７−３１０１６５（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ１０Ｌ １９／００ −１９／２６
(57)【特許請求の範囲】
【請求項1】
サブバンドの一つ以上の周波数成分を復号化する段階と、
前記サブバンドのエネルギーを復号化する段階と、
前記サブバンドの復号化されたエネルギーに基づいて、ノイズ成分を生成する段階と、
前記ノイズ成分を前記サブバンドの復号化された一つ以上の周波数成分に付加する段階とを含み、
前記復号化される一つ以上の周波数成分は、符号化された非ゼロ(non−zero)の周波数成分であるオーディオ信号の復号化方法。
前記サブバンドのエネルギーを復号化する段階と、
前記サブバンドの復号化されたエネルギーに基づいて、ノイズ成分を生成する段階と、
前記ノイズ成分を前記サブバンドの復号化された一つ以上の周波数成分に付加する段階とを含み、
前記復号化される一つ以上の周波数成分は、符号化された非ゼロ(non−zero)の周波数成分であるオーディオ信号の復号化方法。
【請求項2】
前記ノイズ成分は、ランダムノイズから生成される請求項１に記載のオーディオ信号の復号化方法。
【請求項3】
前記復号化された一つ以上の周波数成分は、知覚的に重要な周波数成分である請求項１に記載のオーディオ信号の復号化方法。
【請求項4】
請求項１から３のいずれかに記載の方法を実行するためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項5】
サブバンドの一つ以上の周波数成分を復号化する第１復号化部と、
前記サブバンドのエネルギーを復号化する第２復号化部と、
前記サブバンドの復号化されたエネルギーに基づいて、ノイズ成分を生成するノイズ生成部と、
前記ノイズ成分を前記サブバンドの復号化された一つ以上の周波数成分に付加する合成部とを備え、
前記復号化される一つ以上の周波数成分は、符号化された非ゼロ(non−zero)の周波数成分であるオーディオ信号の復号化装置。
前記サブバンドのエネルギーを復号化する第２復号化部と、
前記サブバンドの復号化されたエネルギーに基づいて、ノイズ成分を生成するノイズ生成部と、
前記ノイズ成分を前記サブバンドの復号化された一つ以上の周波数成分に付加する合成部とを備え、
前記復号化される一つ以上の周波数成分は、符号化された非ゼロ(non−zero)の周波数成分であるオーディオ信号の復号化装置。
【請求項6】
前記ノイズ成分は、ランダムノイズから生成される請求項５に記載のオーディオ信号の復号化装置。
【請求項7】
前記復号化された一つ以上の周波数成分は、知覚的に重要な周波数成分である請求項５に記載のオーディオ信号の復号化装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の概念は、音声信号または音楽信号のようなオーディオ信号を符号化したり復号化する方法及びその装置に係り、さらに詳細には、制限された環境で、さらに効率的にオーディオ信号を符号化したり復号化する方法及びその装置に関する。
【背景技術】
【0002】
オーディオ信号を符号化したり復号化するにあたって、データサイズ及び伝送率のような遂行環境が制限される。しかし、かように制限された環境で、音質を最大限向上させることが最も重要である。かような課題に係わる解決策として、オーディオ信号で、人間が認識するのに重要なデータには、ビットを多く割り当てて符号化し、人間が認識するのに重要ではないデータには、ビットを少なく割り当てる方式が要求される。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明の概念がなそうとする技術的課題は、オーディオ信号から、一つ以上の重要な周波数成分を検出して符号化し、オーディオ信号に対して包絡線を符号化する方法及び装置を提供することである。
【0004】
本発明の概念がなそうとする他の技術的課題は、一つ以上の重要な周波数成分が含まれたバンドに作られた包絡線を、一つ以上の重要な周波数成分のエネルギー値を考慮して調節することによって、オーディオ信号を復号化する方法及び装置を提供することである。
【課題を解決するための手段】
【0005】
前記課題を達成するための本発明の概念によるオーディオ信号の符号化方法は、入力オーディオ信号から、既設定の基準によって一つ以上の周波数成分を検出して符号化する段階、及び前記入力信号に対して、所定の周波数帯域単位でエネルギー値を計算して符号化する段階を含むことを特徴とする。
【0006】
前記課題を達成するための本発明の概念によるオーディオ信号の符号化方法は、入力信号から、既設定の基準によって一つ以上の周波数成分を検出して符号化する段階、及び前記入力信号の包絡線を抽出して符号化する段階を含むことを特徴とする。
【0007】
前記課題を達成するための本発明の概念によるオーディオ信号の符号化方法は、複数の入力信号から、既設定の基準によって一つ以上の周波数成分を検出して符号化する段階、前記入力信号のうち、既設定の周波数より小さい周波数帯域に作られた信号に対して、所定の周波数帯域単位でエネルギー値を計算して符号化する段階、及び前記既設定の周波数より小さい周波数帯域の信号を利用し、前記入力信号のうち、既設定の周波数より大きい周波数帯域の信号を符号化する段階を含むことを特徴とする。
【0008】
前記方法は、一つ以上の所定帯域で、一つ以上の信号のトーナリティを符号化する段階をさらに含むことができる。
【0009】
前記課題を達成するための本発明の概念によるオーディオ信号の復号化方法は、一つ以上の周波数成分を復号化する段階、各バンドに作られる信号のエネルギー値を復号化する段階、前記復号化されたエネルギー値を基に、前記復号化された周波数成分のエネルギー値を考慮し、各バンドに生成される信号のエネルギー値を計算する段階、前記計算されたエネルギー値を有する信号を各バンド別に生成する段階、及び前記周波数成分と前記生成された信号とを合成する段階を含むことを特徴とする。
【0010】
前記エネルギー値を計算する段階は、前記復号化された各バンドのエネルギー値から、各バンドに含まれた前記周波数成分のエネルギー値を減算した値を、各バンドに生成される信号のエネルギー値として計算できる。
【0011】
前記一つ以上の信号を生成する段階で生成する信号は、任意に生成されうる。
【0012】
前記一つ以上の信号を生成する段階で生成する信号は、既設定の周波数より小さい周波数帯域に該当する信号をコピーした信号でありうる。
【0013】
前記一つ以上の信号を生成する段階で生成する信号は、既設定の周波数より小さい周波数帯域に該当する信号を利用して生成した信号でありうる。
【0014】
前記方法は、一つ以上の所定のバンドに対するトーナリティを復号化する段階をさらに含むことができる。
【0015】
前記エネルギー値を計算する段階は、前記一つ以上のトーナリティも考慮し、各バンドに生成される信号のエネルギー値を計算できる。
【0016】
前記課題を達成するための本発明の概念によるオーディオ信号の復号化方法は、一つ以上の周波数成分を復号化する段階、オーディオ信号の一つ以上の包絡線を復号化する段階、各バンドに作られた前記周波数成分のエネルギー値を考慮し、各バンドに作られた前記包絡線を調節する段階、及び前記周波数成分と前記調節された包絡線とを合成する段階を含むことを特徴とする。
【0017】
前記包絡線を調節する段階は、各バンドに作られた前記包絡線のエネルギー値が、前記各バンドに作られた包絡線のエネルギー値から、前記各バンドに作られた周波数成分のエネルギー値を減算した値になるように、前記各バンドに作られた包絡線を調節できる。
【0018】
前記課題を達成するための本発明の概念によるオーディオ信号の復号化方法は、一つ以上の周波数成分を復号化する段階、既設定の周波数より小さい周波数帯域に作られた各バンドの信号に係わるエネルギー値を復号化する段階、前記復号化されたエネルギー値を基に、前記復号化された周波数成分のエネルギー値を考慮し、各バンドに生成される信号のエネルギー値を計算する段階、既設定の周波数より小さい周波数帯域に作られた各バンドに対し、前記計算されたエネルギー値を有する信号を生成する段階、既設定の周波数より小さい周波数帯域の信号を利用し、既設定の周波数より大きい周波数帯域に作られた信号を復号化する段階、各バンドに作られた前記周波数成分のエネルギー値を考慮し、前記復号化された既設定の周波数より大きい周波数帯域に作られた信号を調節する段階、及び前記周波数成分、活気生成された信号及び前記調節された信号を合成する段階を含むことを特徴とする。
【0019】
前記エネルギー値を計算する段階は、前記復号化された各バンドのエネルギー値から、各バンドに含まれた前記周波数成分のエネルギー値を減算した値を、各バンドに生成される信号のエネルギー値として計算できる。
【0020】
前記信号を生成する段階で生成する信号は、既設定の周波数より小さい周波数帯域に該当する信号をコピーした信号でありうる。
【0021】
前記信号を生成する段階で生成する信号は、既設定の周波数より小さい周波数帯域に該当する信号を利用して生成した信号でありうる。
【0022】
前記方法は、前記周波数成分を復号化する段階で利用されるフレームと、前記生成する段階、または前記既設定の周波数より大きい周波数帯域に作られた信号を復号化する段階で利用されるフレームとが一致しない場合、フレーム同期化する段階をさらに含むことができる。
【0023】
前記課題を達成するための本発明の概念による記録媒体は、入力信号から、既設定の基準によって一つ以上の周波数成分を検出して符号化する段階、及び前記入力信号に対して、所定のバンド単位でエネルギー値を計算して符号化する段階を含む発明をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能である。
【0024】
前記課題を達成するための本発明の概念による記録媒体は、入力信号から、既設定の基準によって一つ以上の周波数成分を検出して符号化する段階、及び前記入力信号の包絡線を抽出して符号化する段階を含む発明をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能である。
【0025】
前記課題を達成するための本発明の概念による記録媒体は、入力信号から、既設定の基準によって一つ以上の周波数成分を検出して符号化する段階、前記入力信号のうち、既設定の周波数より小さい周波数帯域に作られた信号に対して、所定のバンド単位でエネルギー値を計算して符号化する段階、及び前記既設定の周波数より小さい周波数帯域の信号を利用し、前記入力信号のうち、既設定の周波数より大きい周波数帯域の信号を符号化する段階を含む発明をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能である。
【0026】
前記課題を達成するための本発明の概念による記録媒体は、一つ以上の周波数成分を復号化する段階、各バンドに作られる信号のエネルギー値を復号化する段階、前記復号化されたエネルギー値を基に、前記復号化された周波数成分のエネルギー値を考慮し、各バンドに生成される信号のエネルギー値を計算する段階、各バンドに対し、前記計算されたエネルギー値を有する信号を生成する段階、及び前記周波数成分と前記生成された信号とを合成する段階を含む発明をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能である。
【0027】
前記課題を達成するための本発明の概念による記録媒体は、一つ以上の周波数成分を復号化する段階、オーディオ信号の包絡線を復号化する段階、各バンドに作られた前記周波数成分のエネルギー値を考慮し、各バンドに作られた前記包絡線を調節する段階、及び前記周波数成分と前記調節された包絡線とを合成する段階を含む発明をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能である。
【0028】
前記課題を達成するための本発明の概念による記録媒体は、一つ以上の周波数成分を復号化する段階、既設定の周波数より小さい領域に作られた各バンドの信号に係わるエネルギー値を復号化する段階、前記復号化されたエネルギー値を基に、前記復号化された周波数成分のエネルギー値を考慮し、各バンドに生成される信号のエネルギー値を計算する段階、既設定の周波数より小さい周波数帯域に作られた各バンドに対し、前記計算されたエネルギー値を有する信号を生成する段階、既設定の周波数より小さい周波数帯域の信号を利用し、前記入力信号のうち、既設定の周波数より大きい周波数帯域に作られた信号を復号化する段階、各バンドに作られた前記周波数成分のエネルギー値を考慮し、前記復号化された既設定の周波数より大きい周波数帯域に作られた信号を調節する段階、及び前記周波数成分、活気生成された信号及び前記調節された信号を合成する段階を含む発明をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能である。
【0029】
前記課題を達成するための本発明の概念によるオーディオ信号の符号化装置は、入力信号から、既設定の基準によって一つ以上の周波数成分を検出して符号化する周波数成分符号化部、及び前記入力信号に対して、所定のバンド単位でエネルギー値を計算して符号化するエネルギー値符号化部を含むことを特徴とする。
【0030】
前記課題を達成するための本発明の概念によるオーディオ信号の符号化装置は、入力信号から、既設定の基準によって一つ以上の周波数成分を検出して符号化する周波数成分符号化部、及び前記入力信号の包絡線を抽出して符号化する包絡線符号化部を含むことを特徴とする。
【0031】
前記課題を達成するための本発明の概念によるオーディオ信号の符号化装置は、入力信号から、既設定の基準によって一つ以上の周波数成分を検出して符号化する周波数成分符号化部、前記入力信号のうち、既設定の周波数より小さい周波数帯域に作られた信号に対して、所定のバンド単位でエネルギー値を計算して符号化するエネルギー値符号化部、及び前記既設定の周波数より小さい周波数帯域の信号を利用し、前記入力信号のうち、既設定の周波数より大きい周波数帯域の信号を符号化する帯域幅拡張符号化部を含むことを特徴とする。
【0032】
前記課題を達成するための本発明の概念によるオーディオ信号の復号化装置は、一つ以上の周波数成分を復号化する周波数成分復号化部、各バンドに作られる信号のエネルギー値を復号化するエネルギー値復号化部、前記復号化されたエネルギー値を基に、前記復号化された周波数成分のエネルギー値を考慮し、各バンドに生成される信号のエネルギー値を計算するエネルギー値計算部、前記計算されたエネルギー値を有する信号を各バンド別に生成する信号生成部、及び前記周波数成分と前記生成された信号とを合成する信号合成部を含むことを特徴とする。
【0033】
前記課題を達成するための本発明の概念によるオーディオ信号の復号化装置は、一つ以上の周波数成分を復号化する周波数成分復号化部、オーディオ信号の包絡線を復号化する包絡線復号化部、各バンドに作られた前記周波数成分のエネルギー値を考慮し、各バンドに作られた前記包絡線を調節する包絡線調節部、及び前記周波数成分と前記調節された包絡線とを合成する信号合成部を含むことを特徴とする。
【0034】
前記課題を達成するための本発明の概念によるオーディオ信号の復号化装置は、一つ以上の周波数成分を復号化する周波数成分復号化部、既設定の周波数より小さい領域に作られた各バンドの信号に係わるエネルギー値を復号化するエネルギー値復号化部、前記復号化されたエネルギー値を基に、前記復号化された周波数成分のエネルギー値を考慮し、各バンドに生成される信号のエネルギー値を計算するエネルギー値計算部、既設定の周波数より小さい周波数帯域に作られた各バンドに対し、前記計算されたエネルギー値を有する信号を生成する信号生成部、既設定の周波数より小さい周波数帯域の信号を利用し、前記入力信号のうち、既設定の周波数より大きい周波数帯域に作られた信号を復号化する帯域幅拡張復号化部、各バンドに作られた前記周波数成分のエネルギー値を考慮し、前記復号化された既設定の周波数より大きい周波数帯域に作られた信号を調節する信号調節部、及び前記周波数成分、活気生成された信号及び前記調節された信号を合成する信号合成部を含むことを特徴とする。
【図面の簡単な説明】
【0035】
【図1】本発明の概念によるオーディオ信号の符号化装置に係わる一実施形態を図示したブロック図である。
【図2】本発明の概念によるオーディオ信号の復号化装置に係わる一実施形態を図示したブロック図である。
【図3】本発明の概念によるオーディオ信号の符号化装置に係わる一実施形態を図示したブロック図である。
【図4】本発明の概念によるオーディオ信号の復号化装置に係わる一実施形態を図示したブロック図である。
【図5】本発明の概念によるオーディオ信号の符号化装置に係わる一実施形態を図示したブロック図である。
【図6】本発明の概念によるオーディオ信号の復号化装置に係わる一実施形態を図示したブロック図である。
【図7】本発明の概念によるオーディオ信号の符号化装置に係わる一実施形態を図示したブロック図である。
【図8】本発明の概念によるオーディオ信号の復号化装置に係わる一実施形態を図示したブロック図である。
【図9】本発明の概念によるオーディオ信号の符号化装置に係わる一実施形態を図示したブロック図である。
【図10】本発明の概念によるオーディオ信号の復号化装置に係わる一実施形態を図示したブロック図である。
【図11】本発明の概念によるオーディオ信号の符号化装置に係わる一実施形態を図示したブロック図である。
【図12】本発明の概念によるオーディオ信号の復号化装置に係わる一実施形態を図示したブロック図である。
【図13】本発明の概念による復号化装置に含まれる信号調節部の一実施形態を図示したブロック図である。
【図16】本発明の概念によるオーディオ信号の符号化方法に係わる一実施形態を図示したフローチャートである。
【図17】本発明の概念によるオーディオ信号の復号化方法に係わる一実施形態を図示したフローチャートである。
【図18】本発明の概念によるオーディオ信号の符号化方法に係わる一実施形態を図示したフローチャートである。
【図19】本発明の概念によるオーディオ信号の復号化方法に係わる一実施形態を図示したフローチャートである。
【図20】本発明の概念によるオーディオ信号の符号化方法に係わる一実施形態を図示したフローチャートである。
【図21】本発明の概念によるオーディオ信号の復号化方法に係わる一実施形態を図示したフローチャートである。
【図22】本発明の概念によるオーディオ信号の符号化方法に係わる一実施形態を図示したフローチャートである。
【図23】本発明の概念によるオーディオ信号の復号化方法に係わる一実施形態を図示したフローチャートである。
【図24】本発明の概念によるオーディオ信号の符号化方法に係わる一実施形態を図示したフローチャートである。
【図25】本発明の概念によるオーディオ信号の復号化方法に係わる一実施形態を図示したフローチャートである。
【図26】本発明の概念によるオーディオ信号の符号化方法に係わる一実施形態を図示したフローチャートである。
【図27】本発明の概念によるオーディオ信号の復号化方法に係わる一実施形態を図示したフローチャートである。
【図29】本発明の概念によるオーディオ信号の符号化装置に係わる一実施形態を図示したブロック図である。
【図30】本発明の概念によるオーディオ信号の符号化方法に係わる一実施形態を図示したフローチャートである。
【発明を実施するための形態】
【0036】
以下、添付された図面を参照しつつ、本発明の概念によるオーディオ信号の符号化及び復号化方法並びにその装置について詳細に説明する。
【0037】
図１は、本発明の概念によるオーディオ信号の符号化装置に係わる一実施形態を図示したブロック図であり、前記オーディオ信号の符号化装置は、第１変換部１００、第２変換部１０５、周波数成分検出部１１０、周波数成分符号化部１１５、エネルギー値計算部１２０、エネルギー値符号化部１２５、トーナリティ符号化部１３０及び多重化部１３５を含むことができる。
【0038】
第１変換部１００は、入力端子ＩＮを介して入力されたオーディオ信号を、既設定の第１変換方式で、時間ドメインから周波数ドメインに変換できる。ここで、オーディオ信号の例として、音声（speech）信号または音楽（music）信号などがある。
【0039】
第２変換部１０５は、心理音響（psycho acoustic）モデルを適用するために、第１変換方式以外の他の既設定の方式である第２変換方式でも、入力端子ＩＮを介して入力されたオーディオ信号を、時間ドメインから周波数ドメインに変換できる。
【0040】
第１変換部１００で変換された信号は、オーディオ信号の符号化に利用され、第２変換部１０５で変換された信号は、オーディオ信号に対して心理音響モデルを適用し、重要な周波数成分を検出するのに利用されうる。ここで、心理音響モデルは、ヒューマン聴覚システムの遮蔽作用に係わる数学的モデルをいう。
【0041】
例えば、第１変換部１００は、オーディオ信号を、第１変換方式に該当するＭＤＣＴ（modified discrete cosine transform）によって周波数ドメインに変換し、実数部で表現し、第２変換部１０５は、オーディオ信号を、第２変換方式に該当するＭＤＳＴ（modified discrete sine transform）によって周波数ドメインに変換し、虚数部で表現できる。ここで、ＭＤＣＴによって変換されて実数部で表現された信号は、オーディオ信号の符号化に使われ、ＭＤＳＴによって変換されて虚数部で表現された信号は、オーディオ信号に対して心理音響モデルを適用し、重要な周波数成分を検出するのに利用されうる。これによって、信号の位相情報をさらに表現できるために、時間ドメインに該当する信号に対してＤＦＴ（discrete Fourier transform）を遂行した後、ＭＤＣＴの係数を量子化することによって、発生するミスマッチ（miss match）を解決できる。
【0042】
周波数成分検出部１１０は、第１変換部１００で変換された信号から、既設定の基準によって、第２変換部１０５で変換された信号を利用し、重要な周波数成分であると判断される周波数成分を検出できる。周波数成分検出部１１０で、重要な周波数成分を検出するにおいて、次のような方法がある。第一に、ＳＭＲ（signal to masking ratio）値を計算し、マスキング閾値より大きい信号を重要な周波数成分として決定できる。第二に、所定の重み付けを考慮してスペクトルピークを抽出し、重要な周波数成分を決定できる。第三に、各サブバンド別にＳＮＲ（signal to noise ratio）値を計算し、ＳＮＲ値が低いサブバンドのうち、所定大きさ以上のピーク値を有する周波数成分を、重要周波数成分として決定できる。前述の三種の方法は、それぞれ実施できるが、少なくとも一つ以上の方法を結合して組み合わせることによって、実施することができ、前述の方法は単なる例に過ぎず、前述の方法に限定して実施しなければならないというものではない。
【0043】
周波数成分符号化部１１５は、周波数成分検出部１１０で検出された周波数成分と、その周波数成分の位置を示す情報とを符号化できる。
【0044】
エネルギー値計算部１２０は、第１変換部１００で変換された信号の各バンドでの信号に係わるエネルギー値を計算できる。ここでバンドの例として、ＱＭＦ（quadrature mirror filter）の場合、バンドは、１個のサブバンド（subband）または１個のスケールファクタ・バンド（scale factor band）になりうる。
【0045】
エネルギー値符号化部１２５は、エネルギー値計算部１２０で計算された各バンドのエネルギー値と、そのバンドの位置を示す情報とを符号化できる。
【0046】
トーナリティ符号化部１３０は、周波数成分検出部１１０で検出された周波数成分が含まれた各バンドでの信号の各トーナリティ（tonality）を計算して符号化できる。しかし本発明の概念では、トーナリティ符号化部１３０を必ず含めて実施しなければならないものではない。ただし、復号化器（図示せず）で周波数成分が作られたバンドに信号を生成するにおいて、単数の信号を利用して生成するのではなく、複数の信号を利用して単数の信号を生成する場合に、トーナリティ符号化部１３０が必要でありうる。例えば、復号化器（図示せず）で、任意に生成された信号とパッチ（patch）された信号とをいずれも利用し、周波数成分が含まれたバンドに作られる信号を生成する場合に必要である。
【0047】
多重化部１３５は、周波数成分符号化部１１５で符号化された周波数成分、並びにその周波数成分の位置を示す情報、エネルギー値符号化部１２５で符号化された各バンドのエネルギー値、並びに各バンドの位置を示す情報を含んで多重化し、出力端子ＯＵＴを介して、多重化されたビットストリームを出力できる。所定の場合、多重化部１３５は、トーナリティ符号化部１３０で符号化されたトーナリティも含んで多重化できる。
【0048】
図２は、本発明の概念によるオーディオ信号の復号化装置の一実施形態を図示したブロック図であり、前記オーディオ信号の復号化装置は、逆多重化部２００、周波数成分復号化部２０５、エネルギー値復号化部２１０、信号生成部２１５、信号調節部２２０、信号合成部２２５及び逆変換部２３０を含むことができる。
【0049】
逆多重化部２００は、符号化端から入力端子ＩＮを介して、ビットストリームを入力されて逆多重化できる。例えば、周波数成分、並びにその周波数成分の位置を示す情報、各バンドのエネルギー値、符号化器（図示せず）でエネルギー値が符号化されたバンドの位置及びトーナリティなどを、逆多重化部２００で逆多重化できる。
【0050】
周波数成分復号化部２０５は、符号化器（図示せず）で既設定の基準によって、重要な周波数成分であると判断されて符号化された所定の周波数成分を復号化できる。
【0051】
エネルギー値復号化部２１０は、各バンドでの信号のエネルギー値を復号化できる。
【0052】
トーナリティ復号化部２１３は、周波数成分復号化部２０５で復号化された周波数成分が含まれたバンドでの信号に係わるトーナリティを復号化できる。しかし本発明の概念では、トーナリティ復号化部２１３を必ず含めて実施しなければならないものではない。ただし、信号生成部２１５で単数の信号を利用して生成するのではなく、複数の信号を利用して単数の信号を生成する場合に、トーナリティ復号化部２１３が必要でありうる。例えば、信号生成部２１５で、任意に生成された信号とパッチされた信号とをいずれも利用し、周波数成分復号化部２０５で復号化された周波数成分が含まれたバンドに作られる信号を生成する場合に必要でありうる。もし本発明の概念で、トーナリティ復号化部２１３を含んで実施する場合、信号調節部２２０は、トーナリティ復号化部２１３で復号化されたトーナリティまで考慮し、信号生成部２１５で生成された信号を調節できる。
【0053】
信号生成部２１５は、エネルギー値復号化部２１０で復号化された各バンドのエネルギー値を有する信号を各バンドに生成しうる。
【0054】
ここで、信号生成部２１５で、各バンドに信号を生成する方法として、次に述べる例がある。第一に、信号生成部２１５は、任意にノイズ信号を生成しうる。例えば、ランダムノイズ信号（random noise signal）がある。第二に、信号生成部２１５は、所定のバンドでの信号が、既設定の周波数より大きい領域に該当する高周波数信号であり、既設定の周波数より小さい領域に該当する低周波数信号が、すでに復号化されて利用されうるならば、低周波数信号をコピーして、信号を生成しうる。例えば、低周波数信号をパッチしたりフォールディング（folding）して、信号を生成しうる。
【0055】
信号調節部２２０は、信号生成部２１５で生成された信号のうち、周波数成分復号化部２０５で復号化された周波数成分が含まれたバンドでの信号を調節できる。ここで、信号調節部２２０は、エネルギー値復号化部２１０で復号化された各バンドのエネルギー値を基に、周波数成分復号化部２０５で復号化された周波数成分のエネルギー値を考慮し、信号生成部２２０で生成された信号のエネルギーが調節されるように、信号生成部２２０で生成された信号を調節できる。信号調節部２２０に係わるさらに詳細な一実施形態は、図１３の説明と共に後述する。
【0056】
しかし、信号調節部２２０は、信号生成部２１５で生成された信号のうち、周波数成分復号化部２０５で復号化された周波数成分が含まれていないバンドでの信号を調節しないこともある。
【0057】
信号合成部２２５は、復号化された周波数成分が含まれたバンドに係わり、周波数成分復号化部２０５で復号化された周波数成分と、信号調節部２２０で調節された信号とを合成して作り、復号化された周波数成分が含まれていないバンドに係わり、信号生成部２１５で生成された信号で作ることができる。
【0058】
逆変換部２３０は、図１の第１変換部１００で遂行する変換の逆過程であり、信号合成部２２５で作られた信号を、既設定の第１逆変換方式で、周波数ドメインから時間ドメインに変換し、出力端子ＯＵＴを介して出力できる。第１逆変換方式の例として、ＩＭＤＣＴ（inverse modified discrete cosine transform）がある。
【0059】
図３は、本発明の概念によるオーディオ信号の符号化装置に係わる一実施形態を図示したブロック図であり、前記オーディオ信号の符号化装置は、第１変換部３００、第２変換部３０５、周波数成分検出部３１０、周波数成分符号化部３１５、包絡線抽出部３２０、包絡線符号化部３２５及び多重化部３３０を含むことができる。
【0060】
第１変換部３００は、入力端子ＩＮを介して入力されたオーディオ信号を、既設定の第１変換方式で、時間ドメインから周波数ドメインに変換できる。ここで、オーディオ信号の例として、音声信号または音楽信号などがある。
【0061】
第２変換部３０５は、心理音響モデルを適用するために、第１変換方式以外の他の既設定の方式である第２変換方式でも、入力端子ＩＮを介して入力されたオーディオ信号を、時間ドメインから周波数ドメインに変換できる。
【0062】
第１変換部３００で変換された信号は、オーディオ信号の符号化に利用され、第２変換部３０５で変換された信号は、オーディオ信号に対して心理音響モデルを適用し、重要な周波数成分を検出するのに利用されうる。ここで、心理音響モデルは、ヒューマン聴覚システムの遮蔽作用に係わる数学的モデルをいう。
【0063】
例えば、第１変換部３００は、オーディオ信号を、第１変換方式に該当するＭＤＣＴによって周波数ドメインに変換して実数部で表現し、第２変換部３０５は、オーディオ信号を、第２変換方式に該当するＭＤＳＴによって周波数ドメインに変換して虚数部で表現できる。ここで、ＭＤＣＴによって変換されて実数部で表現された信号は、オーディオ信号の符号化に使われ、ＭＤＳＴによって変換されて虚数部で表現された信号は、オーディオ信号に対して心理音響モデルを適用し、重要な周波数成分を検出するのに利用されうる。これによって、信号の位相情報をさらに表現できるために、時間ドメインに該当する信号に対してＤＦＴを遂行した後、ＭＤＣＴの係数を量子化することによって、発生するミスマッチを解決できる。
【0064】
周波数成分検出部３１０は、第１変換部３００で変換された信号から、既設定の基準によって、第２変換部３０５で変換された信号を利用し、重要な周波数成分であると判断される周波数成分を検出できる。周波数成分検出部３１０で重要な周波数成分を検出するにおいて、次のような方法がある。第一に、ＳＭＲ値を計算し、マスキング閾値より大きい信号を重要な周波数成分として決定できる。第二に、所定の重み付けを考慮してスペクトルピークを抽出し、重要な周波数成分を決定できる。第三に、各サブバンド別にＳＮＲ値を計算し、ＳＮＲ値が低いサブバンドのうち、所定大きさ以上のピーク値を有する周波数成分を、重要周波数成分として決定できる。前述の三種の方法は、それぞれ実施できるが、少なくとも一つ以上の方法を結合して組み合わせることによって、実施することができ、前述の方法は単なる例に過ぎず、前述の方法に限定して実施しなければならないというものではない。
【0065】
周波数成分符号化部３１５は、周波数成分検出部３１０で検出された周波数成分と、その周波数成分の位置を示す情報とを符号化できる。包絡線抽出部３２０は、第１変換部３００で変換された信号の包絡線を抽出できる。包絡線符号化部３２５は、包絡線抽出部３２０で抽出した包絡線を符号化できる。
【0066】
多重化部３３０は、周波数成分符号化部３１５で符号化された周波数成分、並びに周波数成分の位置を示す情報、包絡線符号化部３２５で符号化された包絡線を含んで多重化でき、出力端子ＯＵＴを介して、多重化されたビットストリームを出力できる。
【0067】
図４は、本発明の概念によるオーディオ信号の復号化装置の一実施形態を図示したブロック図であり、前記オーディオ信号の復号化装置は、逆多重化部４００、周波数成分復号化部４０５、包絡線復号化部４１０、エネルギー計算部４１５、包絡線調節部４２０、信号合成部４２５及び逆変換部４３０を含むことができる。
【0068】
逆多重化部４００は、符号化端から入力端子ＩＮを介して、ビットストリームを入力されて逆多重化できる。例えば、周波数成分、並びにその周波数成分の位置を示す情報、符号化器（図示せず）で符号化された包絡線などを逆多重化部４００で逆多重化できる。
【0069】
周波数成分復号化部４０５は、符号化器（図示せず）で既設定の基準によって、重要な周波数成分であると判断されて符号化された所定の周波数成分を復号化できる。
【0070】
包絡線復号化部４１０は、符号化器（図示せず）で符号化された包絡線を復号化できる。
【0071】
エネルギー計算部４１５は、周波数成分復号化部４０５で復号化された各周波数成分のエネルギー値を計算できる。
【0072】
包絡線調節部４２０は、包絡線復号化部４１０で復号化された包絡線のうち、周波数成分復号化部４０５で復号化された周波数成分が含まれたバンドでの信号を調節できる。ここで、包絡線調節部４２０は、包絡線復号化部４１０で復号化された各バンドに作られた包絡線のエネルギー値が、周波数成分復号化部４０５で復号化された周波数成分が含まれた各バンドに作られた包絡線のエネルギー値から、当該バンドに含まれた周波数成分のエネルギー値を減算した値になるように、当該バンドに作られた包絡線を調節できる。
【0073】
しかし、包絡線調節部４２０は、包絡線復号化部４１５で復号化された包絡線のうち、周波数成分復号化部４０５で復号化された周波数成分が含まれていないバンドでの信号を調節しないこともある。
【0074】
信号合成部４２５は、周波数成分復号化部４０５で復号化された周波数成分が含まれたバンドに対し、周波数成分復号化部４０５で復号化された周波数成分と、包絡線調節部４２０で調節された包絡線とを合成して作り、周波数成分復号化部４０５で復号化された周波数成分が含まれていないバンドに対し、包絡線復号化部４１０で復号化された信号で作ることができる。
【0075】
逆変換部４３０は、図３の第１変換部３００で遂行する変換の逆過程であり、信号合成部４２５で作られた信号を、既設定の第１逆変換方式で、周波数ドメインから時間ドメインに変換し、出力端子ＯＵＴを介して出力できる。第１逆変換方式の例として、ＩＭＤＣＴがある。
【0076】
図５は、本発明の概念によるオーディオ信号の符号化装置に係わる一実施形態を図示したブロック図であり、前記オーディオ信号の符号化装置は、第１変換部５００、第２変換部５０５、周波数成分検出部５１０、周波数成分符号化部５１５、エネルギー値計算部５２０、エネルギー値符号化部５２５、第３変換部５３０、帯域幅拡張符号化部５３５、トーナリティ符号化部５４０及び多重化部５４５を含むことができる。
【0077】
第１変換部５００は、入力端子ＩＮを介して入力されたオーディオ信号を、既設定の第１変換方式で、時間ドメインから周波数ドメインに変換できる。ここで、オーディオ信号の例として、音声信号または音楽信号などがある。
【0078】
第２変換部５０５は、心理音響モデルを適用するために、第１変換方式以外の他の既設定の方式である第２変換方式でも、入力端子ＩＮを介して入力されたオーディオ信号を、時間ドメインから周波数ドメインに変換できる。
【0079】
第１変換部５００で変換された信号は、オーディオ信号の符号化に利用され、第２変換部５０５で変換された信号は、オーディオ信号に対して心理音響モデルを適用し、重要な周波数成分を検出するのに利用されうる。ここで、心理音響モデルは、ヒューマン聴覚システムの遮蔽作用に係わる数学的モデルをいう。
【0080】
例えば、第１変換部５００は、オーディオ信号を第１変換方式に該当するＭＤＣＴによって、周波数ドメインに変換して実数部で表現し、第２変換部５０５は、オーディオ信号を第２変換方式に該当するＭＤＳＴによって、周波数ドメインに変換して虚数部で表現できる。ここで、ＭＤＣＴによって変換されて実数部で表現された信号は、オーディオ信号の符号化に使われ、ＭＤＳＴによって変換されて虚数部で表現された信号は、オーディオ信号に対して心理音響モデルを適用し、重要な周波数成分を検出するのに利用される。これによって、信号の位相情報をさらに表現できるために、時間ドメインに該当する信号に対してＤＦＴを遂行した後、ＭＤＣＴの係数を量子化することによって、発生するミスマッチを解決できる。
【0081】
周波数成分検出部５１０は、第１変換部５００で変換された信号から、既設定の基準によって、第２変換部５０５で変換された信号を利用し、重要な周波数成分であると判断される周波数成分を検出できる。周波数成分検出部５１０で重要な周波数成分を検出するにおいて、次のような方法がある。第一に、ＳＭＲ値を計算し、マスキング閾値より大きい信号を重要な周波数成分として決定できる。第二に、所定の重み付けを考慮してスペクトルピークを抽出し、重要な周波数成分を決定できる。第三に、各サブバンド別にＳＮＲ値を計算し、ＳＮＲ値が低いサブバンドのうち、所定大きさ以上のピーク値を有する周波数成分を、重要周波数成分として決定できる。前述の三種の方法は、それぞれ実施できるが、少なくとも一つ以上の方法を結合して組み合わせることによって、実施することができ、前述の方法は単なる例に過ぎず、前述の方法に限定して実施しなければならないというものではない。
【0082】
周波数成分符号化部５１５は、周波数成分検出部５１０で検出された周波数成分と、その周波数成分の位置を示す情報とを符号化できる。
【0083】
エネルギー値計算部５２０は、周波数成分符号化部５１５で符号化された周波数成分が含まれたバンド、または既設定の周波数より小さい領域に該当するバンドでの信号のエネルギー値を計算できる。ここでバンドの例として、ＱＭＦの場合、バンドは、１個のサブバンド、または１個のスケールファクタ・バンドになりうる。
【0084】
エネルギー値符号化部５２５は、エネルギー値計算部５２０で計算された各バンドのエネルギー値と、そのバンドの位置を示す情報とを符号化できる。
【0085】
第３変換部５３０は、入力端子ＩＮを介して入力されたオーディオ信号を、分析フィルタバンク（analysis filter bank）によって、所定の周波数バンド別に、時間ドメインによって示すようにドメインを変換できる。例えば、第３変換部５３０では、ＱＭＦを適用してドメインを変換できる。
【0086】
帯域幅拡張符号化部５３５は、既設定の周波数より小さい領域に該当する低周波数信号を利用し、周波数成分検出部５１０で検出された周波数成分が含まれていないバンドのうち、既設定の周波数より大きい領域に該当する第３変換部５３０で変換された信号を符号化できる。帯域幅拡張符号化部５３５で符号化するにおいて、低周波数信号を利用し、既設定の周波数より大きい領域に該当する所定バンドの信号を復号化できる情報を生成して符号化できる。
【0087】
トーナリティ符号化部５４０は、周波数成分検出部５１５で検出された周波数成分が含まれたバンドでの、第１変換部５００で変換された信号に対する各トーナリティを計算して符号化できる。しかし本発明の概念では、トーナリティ符号化部５４０を必ず含めて実施しなければならないものではない。ただし、復号化器（図示せず）で、周波数成分が作られたバンドに信号を生成するにおいて、単数の信号を利用して生成するのではなく、複数の信号を利用して単数の信号を生成する場合に、トーナリティ符号化部５４０が必要でありうる。例えば、復号化器（図示せず）で、任意に生成された信号とパッチされた信号とをいずれも利用し、周波数成分が含まれたバンドに作られる信号を生成する場合に必要である。
【0088】
多重化部５４５は、周波数成分符号化部５１５で符号化された周波数成分、並びにその周波数成分の位置を示す情報、エネルギー値符号化部５２５で符号化された各バンドのエネルギー値、並びに各バンドの位置を示す情報、及び帯域幅拡張符号化部５３５で、低周波数信号を利用し、既設定の周波数より大きい領域に該当するバンドのうち、周波数成分を含まないバンドでの信号を復号化できる情報を含んで多重化し、出力端子ＯＵＴを介して、多重化されたビットストリームを出力できる。所定の場合、多重化部５４５は、トーナリティ符号化部５４０で符号化されたトーナリティも含んで多重化できる。
【0089】
図６は、本発明の概念によるオーディオ信号の復号化装置に係わる一実施形態を図示したブロック図であり、前記オーディオ信号の復号化装置は、逆多重化部６００、周波数成分復号化部６０５、エネルギー値復号化部６１０、トーナリティ復号化部６１３、信号生成部６１５、信号調節部６２０、第１信号合成部６２５、第１逆変換部６３０、第２変換部６３５、同期化部６４０、帯域幅拡張符号化部６４５、第２逆変換部６５０及び第２信号合成部６５５を含むことができる。
【0090】
逆多重化部６００は、符号化端から入力端子ＩＮを介して、ビットストリームを入力されて逆多重化できる。例えば、周波数成分、並びにその周波数成分の位置を示す情報、各バンドのエネルギー値、符号化器（図示せず）でエネルギー値が符号化されたバンドの位置、既設定の周波数より小さい領域に該当する信号を利用し、既設定の周波数より大きい領域に該当するバンドのうち、周波数成分を含まないバンドでの信号を復号化できる情報、及びトーナリティなどを、逆多重化部６００で逆多重化できる。
【0091】
周波数成分復号化部６０５は、符号化器（図示せず）で既設定の基準によって、重要な周波数成分であると判断されて符号化された所定の周波数成分を復号化できる。
【0092】
エネルギー値復号化部６１０は、周波数成分復号化部６０５で復号化された周波数成分が含まれたバンド、または既設定の周波数より小さい領域に該当するバンドの信号に係わるエネルギー値を復号化できる。
【0093】
トーナリティ復号化部６１３は、周波数成分復号化部６０５で復号化された周波数成分が含まれたバンドでの信号のトーナリティを復号化できる。しかし本発明の概念では、トーナリティ復号化部６１３を必ず含めて実施しなければならないものではない。ただし、信号生成部６１５で、単数の信号を利用して生成するのではなく、複数の信号を利用して単数の信号を生成する場合に、トーナリティ復号化部６１３が必要でありうる。例えば、信号生成部６１５で、任意に生成された信号とパッチされた信号とをいずれも利用し、周波数成分復号化部６０５で復号化された周波数成分が含まれたバンドに作られる信号を生成する場合に必要でありうる。もし本発明の概念で、トーナリティ復号化部６１３を含んで実施する場合、信号調節部６２０は、トーナリティ復号化部６１３で復号化されたトーナリティまで考慮し、信号生成部６１５で生成された信号を調節できる。
【0094】
信号生成部６１５は、エネルギー値復号化部６１０で復号化された周波数成分が含まれたバンド、または既設定の周波数より小さい領域に該当するバンドのエネルギー値を有する各バンドでの信号を生成しうる。
【0095】
ここで、信号生成部６１５で信号を生成する方法として、次に述べる例がありうる。第一に、信号生成部６１５は、任意にノイズ信号を生成しうる。例えば、ランダムノイズ信号がある。第二に、信号生成部６１５は、所定のバンドでの信号が、既設定の周波数より大きい領域に該当する高周波数信号であり、既設定の周波数より小さい領域に該当する低周波数信号が、すでに復号化されて利用されうるならば、低周波数信号をコピーして、信号を生成しうる。例えば、低周波数領域に該当する信号をパッチしたりフォールディングして、当該バンドの信号を生成しうる。
【0096】
信号調節部６２０は、周波数成分復号化部６０５で復号化された周波数成分が含まれたバンドに係わり、信号生成部６１５で生成された信号を調節できる。ここで、信号調節部６２０は、エネルギー値復号化部６１０で復号化された各バンドのエネルギー値を基に、周波数成分復号化部６０５で復号化された周波数成分のエネルギー値を考慮し、信号生成部６２０で生成された信号のエネルギーが調節されるように、信号生成部６２０で生成された信号を調節できる。信号調節部６２０に係わるさらに詳細な一実施形態は、図１３の説明と共に後述する。
【0097】
第１信号合成部６２５は、周波数成分復号化部６０５で復号化された周波数成分が含まれたバンドに対し、周波数成分復号化部６０５で復号化された周波数成分と、信号調節部６２０で調節された信号とを合成して作り、周波数成分復号化部６０５で復号化された周波数成分が含まれていないバンドのうち、既設定の周波数より小さい領域に該当するバンドに係わり、信号生成部６１５で生成された信号で作ることができる。
【0098】
逆変換部６３０は、図５の第１変換部５００で遂行する変換の逆過程であり、信号合成部６２５で作られた信号を、既設定の第１逆変換方式で、周波数ドメインから時間ドメインに変換できる。第１逆変換方式の例として、ＩＭＤＣＴがある。
【0099】
第２変換部６３５は、分析フィルタバンクによって、第１逆変換部６３０で逆変換された信号を、所定の周波数バンド別に時間ドメインによって示すように、ドメインを変換できる。例えば、第２変換部６３５では、ＱＭＦを適用してドメインを変換できる。
【0100】
同期化部６４０は、周波数成分復号化部６０５で適用されるフレームと、帯域幅拡張復号化部６４５で適用されるフレームとが互いに一致しない場合、周波数成分復号化部６０５で適用されるフレームと、帯域幅拡張復号化部６４５で適用されるフレームとを同期化できる。ここで、同期化部６４０は、周波数成分復号化部６０５で適用されるフレームを基に、帯域幅拡張復号化部６４５で適用されるフレームのうち、全部または一部を処理することが望ましい。
【0101】
帯域幅拡張復号化部６４５は、第２変換部６３５で変換された信号のうち、既設定の周波数より小さい領域に該当する信号を利用し、既設定の周波数より大きい領域に該当するバンドのうち、周波数成分復号化部６０５で復号化された周波数成分が含まれていないバンドでの信号を復号化できる。ここで、帯域幅拡張復号化部６４５は、復号化するにおいて、逆多重化部６００で逆多重化された既設定の周波数より小さい領域に該当する信号を利用し、既設定の周波数より大きい領域に該当する信号を復号化できる情報を利用できる。
【0102】
第２逆変換部６５０は、図６の第２変換部６３５で遂行する変換の逆過程であり、帯域幅拡張復号化部６４５で復号化された信号のドメインを、合成フィルタバンク（synthesis filterbank）を介して逆変換できる。
【0103】
第２信号合成部６５５は、第１逆変換部６３０で逆変換された信号と、第２逆変換部６５０で逆変換された信号とを合成できる。第１逆変換部６３０で逆変換された信号は、周波数成分復号化部６０５で復号化された周波数成分が含まれたバンドでの信号と、周波数成分復号化部６０５で復号化された周波数成分が含まれていないバンドのうち、既設定の周波数より小さい領域に該当するバンドでの信号とでありうる。また、第２逆変換部６５０で逆変換された信号は、周波数成分復号化部６０５で復号化された周波数成分が含まれていないバンドのうち、既設定の周波数より大きい領域に該当するバンドでの信号でありうる。これによって、周波数全領域に係わるオーディオ信号を、第２信号合成部６５５は復元し、出力端子ＯＵＴを介して出力できる。
【0104】
図７は、本発明の概念によるオーディオ信号の符号化装置に係わる一実施形態を図示したブロック図であり、前記オーディオ信号の符号化装置は、第１変換部７００、第２変換部７０５、周波数成分検出部７１０、周波数成分符号化部７１５、エネルギー値計算部７２０、エネルギー値符号化部７２５、第３変換部７３０、帯域幅拡張符号化部７３５、トーナリティ符号化部７４０及び多重化部７４５を含むことができる。
【0105】
第１変換部７００は、入力端子ＩＮを介して入力されたオーディオ信号を、既設定の第１変換方式で、時間ドメインから周波数ドメインに変換できる。ここで、オーディオ信号の例として、音声信号または音楽信号などがある。
【0106】
第２変換部７０５は、心理音響モデルを適用するために、第１変換方式以外の他の既設定の方式である第２変換方式でも、入力端子ＩＮを介して入力されたオーディオ信号を、時間ドメインから周波数ドメインに変換できる。
【0107】
第１変換部７００で変換された信号は、オーディオ信号の符号化に利用され、第２変換部７０５で変換された信号は、オーディオ信号に対して心理音響モデルを適用し、重要な周波数成分を検出するのに利用されうる。ここで、心理音響モデルは、ヒューマン聴覚システムの遮蔽作用に係わる数学的モデルをいう。
【0108】
例えば、第１変換部７００は、オーディオ信号を、第１変換方式に該当するＭＤＣＴによって、周波数ドメインに変換して実数部で表現し、第２変換部７０５は、オーディオ信号を、第２変換方式に該当するＭＤＳＴによって、周波数ドメインに変換して虚数部で表現できる。ここで、ＭＤＣＴによって変換されて実数部で表現された信号は、オーディオ信号の符号化に使われ、ＭＤＳＴによって変換されて虚数部で表現された信号は、オーディオ信号に対して心理音響モデルを適用し、重要な周波数成分を検出するのに利用されうる。これによって、信号の位相情報をさらに表現できるために、時間ドメインに該当する信号に対してＤＦＴを遂行した後、ＭＤＣＴの係数を量子化することによって、発生するミスマッチを解決できる。
【0109】
周波数成分検出部７１０は、第１変換部７００で変換された信号から、既設定の基準によって、第２変換部７０５で変換された信号を利用し、重要な周波数成分であると判断される周波数成分を検出できる。周波数成分検出部７１０で重要な周波数成分を検出するにおいて、次のような方法がありうる。第一に、ＳＭＲ値を計算し、マスキング閾値より大きい信号を重要な周波数成分として決定できる。第二に、所定の重み付けを考慮してスペクトルピークを抽出し、重要な周波数成分を決定できる。第三に、各サブバンド別にＳＮＲ値を計算し、ＳＮＲ値が低いサブバンドのうち、所定大きさ以上のピーク値を有する周波数成分を、重要周波数成分として決定できる。前述の三種の方法は、それぞれ実施できるが、少なくとも一つ以上の方法を結合して組み合わせることによって、実施することができ、前述の方法は単なる例に過ぎず、前述の方法に限定して実施しなければならないというものではない。
【0110】
周波数成分符号化部７１５は、周波数成分検出部７１０で検出された周波数成分と、その周波数成分の位置を示す情報とを符号化できる。
【0111】
エネルギー値計算部７２０は、既設定の周波数より小さい領域に該当するバンドでの信号のエネルギー値を計算できる。ここでバンドの例として、ＱＭＦの場合にバンドは、１個のサブバンド、または１個のスケールファクタ・バンドになりうる。
【0112】
エネルギー値符号化部７２５は、エネルギー値計算部７２０で計算された各バンドのエネルギー値と、そのバンドの位置を示す情報とを符号化できる。
【0113】
第３変換部７３０は、入力端子ＩＮを介して入力されたオーディオ信号を、分析フィルタバンクによって所定の周波数バンド別に時間ドメインによって示すように、ドメインを変換できる。例えば、第３変換部７３０では、ＱＭＦを適用してドメインを変換できる。
【0114】
帯域幅拡張符号化部７３５は、既設定の周波数より小さい領域に該当する低周波数信号を利用し、第３変換部７３０で変換された信号のうち、既設定の第２周波数より大きい領域に該当する高周波数信号を符号化できる。帯域幅拡張符号化部７３５で符号化するにおいて、低周波数信号を利用し、第２周波数より大きい領域に該当する信号を復号化できる情報を生成して符号化できる。
【0115】
トーナリティ符号化部７４０は、周波数成分検出部７１５で検出された周波数成分が含まれたバンドでの信号の各トーナリティを計算して符号化できる。しかし本発明の概念では、トーナリティ符号化部７４０を必ず含めて実施しなければならないものではない。ただし、復号化器（図示せず）で、周波数成分が作られたバンドに信号を生成するにおいて、単数の信号を利用して生成するのではなく、複数の信号を利用して単数の信号を生成する場合に、トーナリティ符号化部７４０が必要でありうる。例えば、復号化器（図示せず）で、任意に生成された信号とパッチされた信号とをいずれも利用し、周波数成分が含まれたバンドに作られる信号を生成する場合に必要である。
【0116】
多重化部７４５は、周波数成分符号化部７１５で符号化された周波数成分、並びに周波数成分の位置を示す情報、エネルギー値符号化部７２５で符号化された各バンドのエネルギー値及びそのバンドの位置を示す情報、及び帯域幅拡張符号化部７３５で、低周波数信号を利用して高周波数信号を復号化できる情報を含んで多重化でき、出力端子ＯＵＴを介して、多重化されたビットストリームを出力できる。所定の場合、多重化部７４５は、トーナリティ符号化部７４０で符号化されたトーナリティも含んで多重化できる。
【0117】
図８は、本発明の概念によるオーディオ信号の復号化装置に係わる一実施形態を図示したブロック図であり、前記オーディオ信号の復号化装置は、逆多重化部８００、周波数成分復号化部８０５、エネルギー値復号化部８１０、トーナリティ復号化部８１５、信号生成部８２０、信号調節部８２５、第１信号合成部８３０、第１逆変換部８３５、第２変換部８４０、同期化部８４５、帯域幅拡張符号化部８５０、第２信号調節部８５５、第２信号合成部８６０、第２逆変換部８６５及び領域合成部８７０を含むことができる。
【0118】
逆多重化部８００は、符号化端から入力端子ＩＮを介して、ビットストリームを入力されて逆多重化できる。例えば、周波数成分、並びにその周波数成分の位置を示す情報、各バンドのエネルギー値、符号化器（図示せず）でエネルギー値が符号化されたバンドの位置、既設定の周波数より小さい領域に該当する信号を利用し、既設定の周波数より大きい領域に該当する信号を復号化できる情報、及びトーナリティなどを、逆多重化部８００で逆多重化できる。
【0119】
周波数成分復号化部８０５は、符号化器（図示せず）で既設定の基準によって、重要な周波数成分であると判断されて符号化された所定の周波数成分を復号化できる。
【0120】
エネルギー値復号化部８１０は、既設定の周波数より小さい領域に該当する低周波数信号の各バンドに係わるエネルギー値を復号化できる。
【0121】
トーナリティ復号化部８１５は、既設定の周波数より小さい領域に該当するバンドのうち、周波数成分復号化部８０５で復号化された周波数成分が含まれたバンドでの信号に係わるトーナリティを復号化できる。しかし本発明の概念では、トーナリティ復号化部８１５を必ず含めて実施しなければならないものではない。ただし、信号生成部８２０で、単数の信号を利用して生成するのではなく、複数の信号を利用して単数の信号を生成する場合に、トーナリティ復号化部８１５が必要でありうる。例えば、信号生成部８２０で、任意に生成された信号とパッチされた信号とをいずれも利用し、周波数成分復号化部８０５で復号化された周波数成分が含まれたバンドに作られる信号を生成する場合に必要でありうる。もし本発明の概念で、トーナリティ復号化部８１５を含んで実施する場合、信号調節部８２５は、トーナリティ復号化部８１５で復号化されたトーナリティまで考慮し、信号生成部８２０で生成された信号を調節できる。
【0122】
信号生成部８２０は、エネルギー値復号化部８１０で復号化されたバンドのエネルギー値を有する各バンドでの信号を生成しうる。
【0123】
ここで、信号生成部８２０で信号を生成する方法として、次に述べる例がありうる。第一に、信号生成部８２０は、任意にノイズ信号を生成しうる。例えば、ランダムノイズ信号がある。第二に、信号生成部８２０は、所定のバンドでの信号が、すでに復号化されて利用されうるならば、復号化されたバンドの信号をコピーして、信号を生成しうる。例えば、復号化されたバンドの信号をパッチしたりフォールディングして、信号を生成しうる。
【0124】
信号調節部８２５は、既設定の周波数より小さい領域に該当するバンドのうち、周波数成分復号化部８０５で復号化された周波数成分が含まれたバンドに係わり、信号生成部８２０で生成された信号を調節できる。ここで、信号調節部８２５は、エネルギー値復号化部８１０で復号化された各バンドのエネルギー値を基に、周波数成分復号化部８０５で復号化された周波数成分のエネルギー値を考慮し、信号生成部８２０で生成された信号のエネルギーが調節されるように、信号生成部８２０で生成された信号を調節できる。信号調節部８１５に係わるさらに詳細な一実施形態は、図１３の説明と共に後述する。
【0125】
第１信号合成部８３０は、既設定の周波数より小さい領域に該当するバンドのうち、周波数成分復号化部８０５で復号化された周波数成分が含まれたバンドに対し、周波数成分復号化部８０５で復号化された周波数成分と、信号調節部８２５で調節された信号とを合成して作り、既設定の周波数より小さい領域に該当するバンドのうち、周波数成分復号化部８０５で復号化された周波数成分が含まれていないバンドに係わり、信号生成部８２０で生成された信号で作ることができる。これによって、第１信号合成部８３０では、低周波数信号を復元できる。
【0126】
第１逆変換部８３５は、図７の第１変換部７００で遂行する変換の逆過程であり、第１信号合成部８３０で復元された低周波数信号を、既設定の第１逆変換方式で、周波数ドメインから時間ドメインに変換できる。第１逆変換方式の例として、ＩＭＤＣＴがある。
【0127】
第２変換部８４０は、第１逆変換部８３５で逆変換された低周波数信号を、分析フィルタバンクによって所定の周波数バンド別に時間ドメインによって示すように、ドメインを変換できる。例えば、第２変換部８４０では、ＱＭＦを適用してドメインを変換できる。
【0128】
同期化部８４５は、周波数成分復号化部８０５で適用されるフレームと、帯域幅拡張復号化部８５０で適用されるフレームとが互いに一致しない場合、周波数成分復号化部８０５で適用されるフレームと、帯域幅拡張復号化部８５０で適用されるフレームとを同期化できる。ここで、同期化部８４５は、周波数成分復号化部８０５で適用されるフレームを基に、帯域幅拡張復号化部８５０で適用されるフレームのうち、全部または一部を処理することが望ましい。
【0129】
帯域幅拡張復号化部８５０は、第２変換部８４０で変換された低周波数信号を利用し、既設定の周波数より大きい領域に該当する信号の高周波数信号を復号化できる。ここで、帯域幅拡張復号化部８５０は、復号化するにおいて、逆多重化部８００で逆多重化された低周波数信号を利用して高周波数信号を復号化できる情報を利用できる。
【0130】
第２信号調節部８５５は、帯域幅拡張復号化部８５０で復号化された高周波数信号のうち、周波数成分復号化部８０５で復号化された周波数成分が含まれたバンドでの信号を調節できる。
【0131】
まず、第２信号調節部８５５は、既設定の周波数より大きい領域に作られた周波数成分のエネルギー値を計算できる。そして、第２信号調節部８５５で調節するバンドでの信号に係わるエネルギーが、帯域幅拡張復号化部８５０で復号化された信号のエネルギー値から、各バンドに含まれた周波数成分のエネルギー値を減算した値になるように、帯域幅拡張復号化部８５０で復号化された当該バンドに作られた高周波数信号を調節できる。
【0132】
第２信号合成部８６０は、既設定の周波数より大きい領域に該当するバンドのうち、周波数成分復号化部８０５で復号化された周波数成分が含まれたバンドに対し、周波数成分復号化部８０５で復号化された周波数成分と、第２信号調節部８５５で調節された信号とを合成して作り、既設定の周波数より大きい領域に該当するバンドのうち、周波数成分復号化部８０５で復号化された周波数成分が含まれていないバンドに対し、帯域幅拡張復号化部８５０で復号化された信号で作ることができる。これによって、第２信号合成部８６０では、高周波数信号を復元できる。
【0133】
第２逆変換部８６５は、第２変換部８４０で遂行する変換の逆過程であり、第２信号合成部８６０で復元された高周波数信号のドメインを、合成フィルタバンクを介して逆変換できる。
【0134】
第３信号合成部８７０は、第１逆変換部８３５で逆変換された低周波数信号と、第２逆変換部８６５で逆変換された高周波数信号とを合成し、出力端子ＯＵＴを介して出力できる。
【0135】
図９は、本発明の概念によるオーディオ信号の符号化装置に係わる一実施形態を図示したブロック図であり、前記オーディオ信号の符号化装置は、領域分割部９００、第１変換部９０３、第２変換部９０５、周波数成分検出部９１０、周波数成分符号化部９１５、エネルギー値計算部９２０、エネルギー値符号化部９２５、トーナリティ符号化部９３０、第３変換部９３５、帯域幅拡張符号化部９４０及び多重化部９４５を含むことができる。
【0136】
領域分割部９００は、既設定の周波数を基準として、入力端子ＩＮを介して入力された信号を、低周波数信号と高周波数信号とに分割できる。ここで、低周波数信号は、既設定の第１周波数より小さい領域に該当する信号であり、高周波数信号は、既設定の第２周波数より大きい領域に該当する信号をいう。第１周波数と第２周波数は、互いに同じ値に設定されることが望ましいが、必ずしも同じ値に設定して実施しなければならないというものではない。
【0137】
第１変換部９０３は、領域分割部９００で分割された低周波数信号を、既設定の第１変換方式で、時間ドメインから周波数ドメインに変換できる。
【0138】
第２変換部９０５は、心理音響モデルを適用するために、第１変換方式以外の他の既設定の方式である第２変換方式でも、領域分割部９００で分割された低周波数信号を、時間ドメインから周波数ドメインに変換できる。
【0139】
第１変換部９０３で変換された信号は、低周波数信号を符号化するのに利用され、第２変換部９０５で変換された信号は、低周波数信号に対して心理音響モデルを適用し、重要な周波数成分を検出するのに利用されうる。ここで、心理音響モデルは、ヒューマン聴覚システムの遮蔽作用に係わる数学的モデルをいう。
【0140】
例えば、第１変換部９０３は、低周波数信号を、第１変換方式に該当するＭＤＣＴによって、周波数ドメインに変換して実数部で表現し、第２変換部９０５は、低周波数信号を、第２変換方式に該当するＭＤＳＴによって、周波数ドメインに変換して虚数部で表現できる。ここで、ＭＤＣＴによって変換されて実数部で表現された信号は、低周波数信号を符号化するのに使われ、ＭＤＳＴによって変換されて虚数部で表現された信号は、低周波数信号に対して心理音響モデルを適用し、重要な周波数成分を検出するのに利用されうる。これによって、信号の位相情報をさらに表現できるために、時間ドメインに該当する信号に対してＤＦＴを遂行した後、ＭＤＣＴの係数を量子化することによって、発生するミスマッチを解決できる。
【0141】
周波数成分検出部９１０は、第１変換部９０３で変換された低周波数信号から、既設定の基準によって、第２変換部９０５で変換された信号を利用し、重要な周波数成分であると判断される周波数成分を検出できる。周波数成分検出部９１０で重要な周波数成分を検出するにおいて、次のような方法がありうる。第一に、ＳＭＲ値を計算し、マスキング閾値より大きい信号を重要な周波数成分として決定できる。第二に、所定の重み付けを考慮してスペクトルピークを抽出し、重要な周波数成分を決定できる。第三に、各サブバンド別にＳＮＲ値を計算し、ＳＮＲ値が低いサブバンドのうち、所定大きさ以上のピーク値を有する周波数成分を、重要周波数成分として決定できる。前述の三種の方法は、それぞれ実施できるが、少なくとも一つ以上の方法を結合して組み合わせることによって、実施することができ、前述の方法は単なる例に過ぎず、前述の方法に限定して実施しなければならないというものではない。
【0142】
周波数成分符号化部９１５は、周波数成分検出部９１０で検出された低周波数信号の周波数成分と、その周波数成分の位置を示す情報とを符号化できる。
【0143】
エネルギー値計算部９２０は、第１変換部９０３で変換された低周波数信号の各バンドでの信号に係わるエネルギー値を計算できる。ここでバンドの例として、ＱＭＦの場合にバンドは、１個のサブバンド、または１個のスケールファクタ・バンドになりうる。
【0144】
エネルギー値符号化部９２５は、エネルギー値計算部９２０で計算された各バンドのエネルギー値と、そのバンドの位置を示す情報とを符号化できる。
【0145】
トーナリティ符号化部９３０は、周波数成分検出部９１０で検出された周波数成分が含まれたバンドでの信号に対する各トーナリティを計算して符号化できる。しかし本発明の概念では、トーナリティ符号化部９３０を必ず含めて実施しなければならないものではない。ただし、復号化器（図示せず）で、周波数成分が作られたバンドに信号を生成するにおいて、単数の信号を利用して生成するのではなく、複数の信号を利用して単数の信号を生成する場合に、トーナリティ符号化部９３０が必要でありうる。例えば、復号化器（図示せず）で、任意に生成された信号とパッチされた信号とをいずれも利用し、周波数成分が含まれたバンドに作られる信号を生成する場合に必要である。
【0146】
第３変換部９３５は、領域分割部９００で分割された高周波数信号を、分析フィルタバンクによって所定の周波数バンド別に時間ドメインによって示すように、ドメインを変換できる。例えば、第３変換部９３５では、ＱＭＦを適用してドメインを変換できる。
【0147】
帯域幅拡張符号化部９４０は、低周波数信号を利用し、第３変換部７３０で変換された高周波数信号を符号化できる。帯域幅拡張符号化部７３５で符号化するにおいて、低周波数信号を利用して高周波数信号を復号化できる情報を生成して符号化できる。
【0148】
多重化部９４５は、周波数成分符号化部９１５で符号化された周波数成分、並びにその周波数成分の位置を示す情報、エネルギー値符号化部９２５で符号化された各バンドのエネルギー値及びそのバンドの位置を示す情報、及び帯域幅拡張符号化部９４０で符号化された低周波数信号を利用して高周波数信号を符号化する情報を含んで多重化でき、出力端子ＯＵＴを介して、多重化されたビットストリームを出力できる。所定の場合、多重化部９４５は、トーナリティ符号化部９３０で符号化されたトーナリティも含んで多重化できる。
【0149】
図１０は、本発明の概念によるオーディオ信号の復号化装置の一実施形態を図示したブロック図であり、前記オーディオ信号の復号化装置は、逆多重化部１０００、周波数成分復号化部１００５、エネルギー値復号化部１０１０、信号生成部１０１５、信号調節部１０２０、信号合成部１０２５、第１逆変換部１０３０、第２変換部１０３５、同期化部１０４０、帯域幅拡張復号化部１０４５、第２逆変換部１０５０及び領域合成部１０５５を含むことができる。
【0150】
逆多重化部１０００は、符号化端から入力端子ＩＮを介して、ビットストリームを入力されて逆多重化できる。例えば、周波数成分、並びにその周波数成分の位置を示す情報、各バンドのエネルギー値、符号化器（図示せず）でエネルギー値が符号化されたバンドの位置、低周波数信号を利用して高周波数信号を符号化する情報、及びトーナリティなどを、逆多重化部１０００で逆多重化できる。
【0151】
周波数成分復号化部１００５は、符号化器（図示せず）で、既設定の周波数より小さい領域に該当する低周波数信号に係わり、既設定の基準によって重要な周波数成分であると判断されて符号化された所定の周波数成分を復号化できる。
【0152】
エネルギー値復号化部１０１０は、既設定の周波数より小さい領域に該当するバンドに作られた各バンド別信号のエネルギー値を復号化できる。
【0153】
信号生成部１０１５は、エネルギー値復号化部１０１０で復号化された各バンドのエネルギー値を有する信号を各バンド別に生成しうる。
【0154】
ここで、信号生成部１０１５で信号を生成する方法として、次に述べる例がありうる。第一に、信号生成部１０１５は、任意にノイズ信号を生成しうる。例えば、ランダムノイズ信号がある。第二に、信号生成部１０１５は、所定のバンドでの信号が、高周波数領域に該当する信号であり、低周波数領域に該当する信号が、すでに復号化されて利用されうるならば、低周波数領域に該当する信号をコピーして、信号を生成しうる。例えば、低周波数領域に該当する信号をパッチしたりフォールディングして、信号を生成しうる。
【0155】
信号調節部１０２０は、周波数成分復号化部１００５で復号化された周波数成分が含まれたバンドに係わり、信号生成部１０１５で生成された信号を調節できる。ここで、信号調節部１０２０は、エネルギー値復号化部１０１０で復号化された各バンドのエネルギー値を基に、周波数成分復号化部１００５で復号化された周波数成分のエネルギー値を考慮し、信号生成部１０２０で生成された信号のエネルギーが調節されるように、信号生成部１０２０で生成された信号を調節できる。信号調節部１０２０に係わるさらに詳細な一実施形態は、図１３の説明と共に後述する。
【0156】
しかし、信号調節部１０２０は、周波数成分復号化部１００５で復号化された周波数成分が含まれていないバンドで作られた、信号生成部１０１５で生成された信号を調節しないこともある。
【0157】
信号合成部１０２５は、既設定の周波数より小さい領域に該当するバンドのうち、周波数成分復号化部１００５で復号化された周波数成分が含まれたバンドに対し、周波数成分復号化部１００５で復号化された周波数成分と、信号調節部１０２０で調節された信号とを合成して作り、既設定の周波数より小さい領域に該当するバンドのうち、周波数成分復号化部１００５で復号化された周波数成分が含まれていないバンドに係わり、信号生成部１０１５で生成された信号で作ることができる。これによって、信号合成部１０２５では、低周波数信号を復元できる。
【0158】
第１逆変換部１０３０は、図９の第１変換部９０３で遂行する変換の逆過程であり、信号合成部１０２５で作られた信号を、既設定の第１逆変換方式で、周波数ドメインから時間ドメインに変換できる。第１逆変換方式の例として、ＩＭＤＣＴがある。
【0159】
第２変換部１０３５は、分析フィルタバンクによって、第１逆変換部１０３０で逆変換された低周波数信号を、所定の周波数バンド別に時間ドメインによって示すように、ドメインを変換できる。例えば、第２変換部１０３５では、ＱＭＦを適用してドメインを変換する。
【0160】
同期化部１０４０は、周波数成分復号化部１００５で適用されるフレームと、帯域幅拡張復号化部１０４５で適用されるフレームとが互いに一致しない場合、周波数成分復号化部１００５で適用されるフレームと、帯域幅拡張復号化部１０４５で適用されるフレームとを同期化できる。ここで、同期化部１０４０は、周波数成分復号化部１００５で適用されるフレームを基に、帯域幅拡張復号化部１０４５で適用されるフレームのうち、全部または一部を処理することが望ましい。
【0161】
帯域幅拡張復号化部１０４５は、第２変換部１０３５で変換された低周波数信号を利用して高周波数信号を復号化できる。ここで、帯域幅拡張復号化部１０４５は、復号化するにおいて、逆多重化部１０００で逆多重化された低周波数信号を利用して高周波数信号を復号化できる情報を利用できる。
【0162】
第２逆変換部１０５０は、第２変換部１０３５で遂行する変換の逆過程であり、帯域幅拡張復号化部１０４５で復号化された高周波数信号のドメインを、合成フィルタバンクを介して逆変換できる。
【0163】
領域合成部１０５５は、第１逆変換部１０３０で逆変換された低周波数信号と、第２逆変換部１０５０で逆変換された高周波数信号とを合成し、出力端子ＯＵＴを介して出力できる。
【0164】
図１１は、本発明の概念によるオーディオ信号の符号化装置に係わる一実施形態を図示したブロック図であり、前記オーディオ信号の符号化装置は、領域分割部１１００、第１変換部１１０３、第２変換部１１０５、周波数成分検出部１１１０、周波数成分符号化部１１１５、包絡線抽出部１１２０、包絡線符号化部１１２５、第３変換部１１３０、帯域幅拡張符号化部１１３５及び多重化部１１４０を含むことができる。
【0165】
領域分割部１１００は、既設定の周波数を基準として、入力端子ＩＮを介して入力された信号を、低周波数信号と高周波数信号とに分割できる。ここで、低周波数信号は、既設定の第１周波数より小さい領域に該当する信号であり、高周波数信号は、既設定の第２周波数より大きい領域に該当する信号をいう。第１周波数と第２周波数は、互いに同じ値に設定されることが望ましいが、必ずしも同じ値に設定して実施しなければならないというものではない。
【0166】
第１変換部１１０３は、領域分割部１１００で分割された低周波数信号を、既設定の第１変換方式で、時間ドメインから周波数ドメインに変換できる。
【0167】
第２変換部１１０５は、心理音響モデルを適用するために、第１変換方式以外の他の既設定の方式である第２変換方式でも、領域分割部１１００で分割された低周波数信号を、時間ドメインから周波数ドメインに変換できる。
【0168】
第１変換部１１０３で変換された信号は、低周波数信号を符号化するのに利用され、第２変換部１１０５で変換された信号は、低周波数信号に対して心理音響モデルを適用し、重要な周波数成分を検出するのに利用されうる。ここで、心理音響モデルは、ヒューマン聴覚システムの遮蔽作用に係わる数学的モデルをいう。
【0169】
例えば、第１変換部１１０３は、低周波数信号を、第１変換方式に該当するＭＤＣＴによって、周波数ドメインに変換して実数部で表現し、第２変換部１１０５は、低周波数信号を、第２変換方式に該当するＭＤＳＴによって、周波数ドメインに変換して虚数部で表現できる。ここで、ＭＤＣＴによって変換されて実数部で表現された信号は、低周波数信号を符号化するのに使われ、ＭＤＳＴによって変換されて虚数部で表現された信号は、低周波数信号に対して心理音響モデルを適用し、重要な周波数成分を検出するのに利用されうる。これによって、信号の位相情報をさらに表現できるために、時間ドメインに該当する信号に対してＤＦＴを遂行した後、ＭＤＣＴの係数を量子化することによって、発生するミスマッチを解決できる。
【0170】
周波数成分検出部１１１０は、第１変換部１１０３で変換された低周波数信号から、既設定の基準によって、第２変換部１１０５で変換された信号を利用し、重要な周波数成分であると判断される周波数成分を検出できる。周波数成分検出部１１１０で重要な周波数成分を検出するにおいて、次のような方法がありうる。第一に、ＳＭＲ値を計算し、マスキング閾値より大きい信号を重要な周波数成分として決定できる。第二に、所定の重み付けを考慮してスペクトルピークを抽出し、重要な周波数成分を決定できる。第三に、各サブバンド別にＳＮＲ値を計算し、ＳＮＲ値が低いサブバンドのうち、所定大きさ以上のピーク値を有する周波数成分を、重要周波数成分として決定できる。前述の三種の方法は、それぞれ実施できるが、少なくとも一つ以上の方法を結合して組み合わせることによって、実施することができ、前述の方法は単なる例に過ぎず、前述の方法に限定して実施しなければならないというものではない。
【0171】
周波数成分符号化部１１１５は、周波数成分検出部１１１０で検出された低周波数信号の周波数成分と、その周波数成分の位置を示す情報とを符号化できる。
【0172】
包絡線抽出部１１２０は、第１変換部１１０３で変換された低周波数信号の包絡線を抽出できる。
【0173】
包絡線符号化部１１２５は、包絡線抽出部１１２０で抽出した低周波数信号の包絡線を符号化できる。
【0174】
第３変換部１１３０は、領域分割部１１００で分割された高周波数信号を、分析フィルタバンクによって所定の周波数バンド別に時間ドメインによって示すように、ドメインを変換できる。例えば、第３変換部１１３０では、ＱＭＦを適用してドメインを変換できる。
【0175】
帯域幅拡張符号化部１１３５は、低周波数信号を利用し、第３変換部１１３０で変換された高周波数信号を符号化できる。帯域幅拡張符号化部１１３５で符号化するにおいて、低周波数信号を利用して高周波数信号を復号化できる情報を生成して符号化できる。
【0176】
多重化部１１４０は、周波数成分符号化部１１１５で符号化された周波数成分、並びに周波数成分の位置を示す情報、包絡線符号化部１１２５で符号化された低周波数信号の包絡線、及び帯域幅拡張符号化部１１３５で符号化された低周波数信号を利用して高周波数信号を復号化できる情報を含んで多重化でき、出力端子ＯＵＴを介して、多重化されたビットストリームを出力できる。
【0177】
図１２は、本発明の概念によるオーディオ信号の復号化装置の一実施形態を図示したブロック図であり、前記オーディオ信号の復号化装置は、逆多重化部１２００、周波数成分復号化部１２０５、包絡線復号化部１２１０、エネルギー計算部１２１５、包絡線調節部１２２０、信号合成部１２２５、第１逆変換部１２３０、第２変換部１２３５、同期化部１２４０、帯域幅拡張復号化部１２４５、第２逆変換部１２５０及び領域合成部１２５５を含むことができる。
【0178】
逆多重化部１２００は、符号化端から入力端子ＩＮを介して、ビットストリームを入力されて逆多重化できる。例えば、周波数成分、並びに周波数成分の位置を示す情報、符号化器（図示せず）で符号化された低周波数信号の包絡線、並びに低周波数信号を利用して高周波数信号を復号化できる情報などを、逆多重化部１２００で逆多重化できる。ここで、低周波数信号は、既設定の第１周波数より小さい領域に該当する信号であり、高周波数信号は、既設定の第２周波数より大きい領域に該当する信号をいう。第１周波数と第２周波数は、互いに同じ値に設定されることが望ましいが、必ずしも同じ値に設定して実施しなければならないというものではない。
【0179】
周波数成分復号化部１２０５は、符号化器（図示せず）で既設定の基準によって、低周波数信号から重要な周波数成分であると判断されて符号化された所定の周波数成分を復号化できる。
【0180】
包絡線復号化部１２１０は、符号化器（図示せず）で符号化された低周波数信号の包絡線を復号化できる。
【0181】
エネルギー計算部１２１５は、周波数成分復号化部１２０５で復号化された各周波数成分のエネルギー値を計算できる。
【0182】
包絡線調節部１２２０は、周波数成分復号化部１２０５で復号化された周波数成分が含まれたバンドに作られた、包絡線復号化部１２１０で復号化された低周波数信号の包絡線を調節できる。ここで、包絡線調節部１２２０は、包絡線復号化部１２１０で復号化された各バンドに作られた包絡線のエネルギー値が、周波数成分復号化部１２０５で復号化された周波数成分が含まれた各バンドに作られた、包絡線復号化部１２１０で復号化された包絡線のエネルギー値から、そのバンドに含まれた周波数成分のエネルギー値を減算した値になるように、包絡線復号化部１２１０で復号化された包絡線を調節できる。
【0183】
しかし包絡線調節部１２２０は、周波数成分復号化部１２０５で復号化された周波数成分が含まれていないバンドに作られた、包絡線復号化部１２１０で復号化された包絡線を調節しないこともある。
【0184】
信号合成部１２２５は、既設定の周波数より小さい領域に該当するバンドのうち、周波数成分復号化部１２０５で復号化された周波数成分が含まれたバンドに対し、周波数成分復号化部１２０５で復号化された周波数成分と、包絡線調節部１２２０で調節された包絡線とを合成して作り、既設定の周波数より小さい領域に該当するバンドのうち、周波数成分復号化部１２０５で復号化された周波数成分が含まれていないバンドに対し、包絡線復号化部１２１０で復号化された信号で作ることができる。これによって、信号合成部１２２５では、低周波数信号を復元できる。
【0185】
第１逆変換部１２３０は、図１１の第１変換部１１０３で遂行する変換の逆過程であり、信号合成部１２２５で復元された低周波数信号を、既設定の第１逆変換方式で、周波数ドメインから時間ドメインに変換できる。第１逆変換方式の例として、ＩＭＤＣＴがある。
【0186】
第２変換部１２３５は、分析フィルタバンクによって、第１逆変換部１２３０で逆変換された低周波数信号を、所定の周波数バンド別に時間ドメインによって示すように、ドメインを変換できる。例えば、第２変換部１２３５では、ＱＭＦを適用してドメインを変換する。
【0187】
同期化部１２４０は、周波数成分復号化部１２０５で適用されるフレームと、帯域幅拡張復号化部１２４５で適用されるフレームとが互いに一致しない場合、周波数成分復号化部１２０５で適用されるフレームと、帯域幅拡張復号化部１２４５で適用されるフレームとを同期化できる。ここで、同期化部１２４０は、周波数成分復号化部１２０５で適用されるフレームを基に、帯域幅拡張復号化部１２４５で適用されるフレームのうち、全部または一部を処理することが望ましい。
【0188】
帯域幅拡張復号化部１２４５は、第２変換部１２３５で変換された低周波数信号を利用して高周波数信号を復号化できる。ここで、帯域幅拡張復号化部１２４５は、復号化するにおいて、逆多重化部１２００で逆多重化された低周波数信号を利用して高周波数信号を復号化できる情報を利用できる。
【0189】
第２逆変換部１２５０は、第２変換部１２３５で遂行する変換の逆過程であり、帯域幅拡張復号化部１２４５で復号化された高周波数信号のドメインを、合成フィルタバンクを介して逆変換できる。
【0190】
領域合成部１２５５は、第１逆変換部１２３０で逆変換された低周波数信号と、第２逆変換部１２５０で逆変換された高周波数信号とを合成し、出力端子ＯＵＴを介して出力できる。
【0191】
図１３は、本発明の概念による復号化装置に含まれる信号調節部２２０，６２０，８２５，１０２０の一実施形態を図示したブロック図であり、前記信号調節部２２０，６２０，８２５，１０２０は、第１エネルギー計算部１３００、第２エネルギー計算部１３１０、利得値計算部１３２０及び利得値適用部１３３０を含むことができる。図２、図６、図８及び図１０を参照し、図１３に図示された実施形態を説明する。
【0192】
第１エネルギー計算部１３００は、入力端子ＩＮ１を介して信号生成部２１５，６１５，８２０，１０１５で、周波数成分が含まれたバンドに生成された信号を入力され、各バンドでの信号のエネルギー値を計算できる。
【0193】
第２エネルギー計算部１３１０は、入力端子ＩＮ２を介して周波数成分復号化部２０５，６０５，８０５，１００５で復号化された周波数成分を入力され、各周波数成分のエネルギー値を計算できる。
【0194】
利得値計算部１３２０は、エネルギー値復号化部２１０，６１０，８１０，１０１０から周波数成分が含まれたバンドのエネルギー値を、入力端子ＩＮ３を介して入力され、第１エネルギー計算部１３００で計算された各エネルギー値が、エネルギー値復号化部２１０，６１０，８１０，１０１０から入力された各エネルギー値から、第２エネルギー計算部１３１０で計算された各エネルギー値を減算した値になるように、利得値を計算できる。例えば、利得値計算部１３２０は、次に記載の式（１）によって利得値を計算できる。
【0195】
【数1】
【0196】
【数2】
【0197】
【数3】
【0198】
【数4】
【0199】
もし利得値計算部１３２０で、トーナリティまで考慮して利得値を計算する場合、利得値計算部１３２０は、エネルギー値復号化部２１０，６１０，８１０，１０１０から、周波数成分が含まれたバンドのエネルギー値を、入力端子ＩＮ３を介して入力され、周波数成分が含まれたバンドでの信号に係わるトーナリティを、入力端子ＩＮ４を介して入力され、入力された各エネルギー値、各トーナリティ、及び第２エネルギー計算部１３１０で計算された各エネルギー値を利用することによって、利得値を計算できる。
【0200】
利得値適用部１３３０は、入力端子ＩＮ１を介して、信号生成部２１５，６１５，８２０，１０１５で周波数成分が含まれた各バンドに生成された信号に、利得値計算部１３２０で計算された各バンドに対する利得値を適用できる。
【0201】
図１４は、図２、図６、図８及び図１０に図示された信号生成部２１５，６１５，８２０，１０１５で、単数の信号だけを利用して信号を生成する場合に、利得値を適用する一実施形態を図示した図である。
【0202】
利得値適用部１３３０は、入力端子ＩＮ１を介して、信号生成部２１５，６１５，８２０，１０１５で、周波数成分が含まれたバンドに生成された信号を入力され、利得値計算部１３２０で計算された利得値を乗算できる。
【0203】
第１信号合成部１４００は、利得値適用部１３３０で利得値が乗算された信号に、入力端子ＩＮ２を介して、周波数成分復号化部２０５，６０５，８０５，１００５で復号化された周波数成分を入力されて合成できる。
【0205】
まず、利得値適用部１３３０は、信号生成部２１５，６１５，８２０，１０１５で、任意に生成された信号を入力端子ＩＮ１を介して入力され、利得値計算部１３２０で計算された第１利得値を乗算できる。
【0206】
また、利得値適用部１３３０は、信号生成部２１５，６１５，８２０，１０１５で、所定のバンドでの信号をコピーした信号、低周波数信号をコピーした信号、所定のバンドでの信号を利用して生成された信号、及び低周波数信号を利用して生成された信号のうち、いずれか１つの信号を、入力端子ＩＮ１’を介して入力され、利得値計算部１３２０で計算された第２利得値を乗算できる。
【0207】
第２合成部１５００は、利得値適用部１３３０で第１利得値が乗算された信号と、利得値適用部１３３０で第２利得値が乗算された信号とを合成できる。
【0208】
第３信号合成部１５１０は、第２合成部１５００で合成された信号に、入力端子ＩＮ２を介して、周波数成分復号化部２０５，６０５，８０５，１００５で復号化された周波数成分を入力されて合成できる。
【0209】
図１６は、本発明の概念によるオーディオ信号の符号化方法に係わる一実施形態を図示したフローチャートである。
【0210】
まず、入力されたオーディオ信号を、既設定の第１変換方式で、時間ドメインから周波数ドメインに変換できる（第１６００段階）。ここで、オーディオ信号の例として、音声信号または音楽信号などがある。
【0211】
心理音響モデルを適用するために、第１変換方式以外の他の既設定の方式である第２変換方式でも、入力されたオーディオ信号を、時間ドメインから周波数ドメインに変換できる（第１６０５段階）。
【0212】
第１６００段階で変換された信号は、オーディオ信号の符号化に利用され、第１６０５段階で変換された信号は、オーディオ信号に対して心理音響モデルを適用し、重要な周波数成分を検出するのに利用されうる。ここで、心理音響モデルは、ヒューマン聴覚システムの遮蔽作用に係わる数学的モデルをいう。
【0213】
例えば、第１６００段階では、オーディオ信号を、第１変換方式に該当するＭＤＣＴによって、周波数ドメインに変換して実数部で表現し、第１６０５段階では、オーディオ信号を、第２変換方式に該当するＭＤＳＴによって、周波数ドメインに変換して虚数部で表現できる。ここで、ＭＤＣＴによって変換されて実数部で表現された信号は、オーディオ信号の符号化に使われ、ＭＤＳＴによって変換されて虚数部で表現された信号は、オーディオ信号に対して心理音響モデルを適用し、重要な周波数成分を検出するのに利用される。これによって、信号の位相情報をさらに表現できるために、時間ドメインに該当する信号に対してＤＦＴを遂行した後、ＭＤＣＴの係数を量子化することによって、発生するミスマッチを解決できる。
【0214】
第１６００段階で変換された信号から、既設定の基準によって、第１６０５段階で変換された信号を利用し、重要な周波数成分であると判断される周波数成分を検出できる（第１６１０段階）。第１６１０段階で、重要な周波数成分を検出するにおいて、次のような方法がありうる。第一に、ＳＭＲ値を計算し、マスキング閾値より大きい信号を重要な周波数成分として決定できる。第二に、所定の重み付けを考慮してスペクトルピークを抽出し、重要な周波数成分を決定できる。第三に、各サブバンド別にＳＮＲ値を計算し、ＳＮＲ値が低いサブバンドのうち、所定大きさ以上のピーク値を有する周波数成分を、重要周波数成分として決定できる。前述の三種の方法は、それぞれ実施できるが、少なくとも一つ以上の方法を結合して組み合わせることによって、実施することができ、前述の方法は単なる例に過ぎず、前述の方法に限定して実施しなければならないというものではない。
【0215】
第１６１０段階で検出された周波数成分と、その周波数成分の位置を示す情報とを符号化できる（第１６１５段階）。
【0216】
第１６００段階で変換された信号の各バンドでの信号に係わるエネルギー値を計算できる（第１６２０段階）。ここでバンドの例として、ＱＭＦの場合にバンドは、１個のサブバンド、または１個のスケールファクタ・バンドになりうる。
【0217】
第１６２０段階で計算された各バンドのエネルギー値と、そのバンドの位置を示す情報とを符号化できる（第１６２５段階）。
【0218】
第１６１０段階で検出された周波数成分が含まれた各バンドでの信号のトーナリティを計算して符号化できる（第１６３０段階）。しかし本発明の概念では、第１６３０段階を必ず含めて実施しなければならないものではない。ただし、復号化器（図示せず）で、周波数成分が作られたバンドに信号を生成するにおいて、単数の信号を利用して生成するのではなく、複数の信号を利用して単数の信号を生成する場合に、第１６３０段階が必要でありうる。例えば、復号化器（図示せず）で、任意に生成された信号とパッチされた信号とをいずれも利用し、周波数成分が含まれたバンドに作られる信号を生成する場合に必要でありうる。
【0219】
第１６１５段階で符号化された周波数成分、並びにその周波数成分の位置を示す情報、第１６２５段階で符号化された各バンドのエネルギー値、並びにそのバンドの位置を示す情報を含んで多重化することによって、ビットストリームを生成できる（第１６３５段階）。所定の場合、第１６３５段階では、第１６３０段階で符号化されたトーナリティも含んで多重化できる。
【0220】
図１７は、本発明の概念によるオーディオ信号の復号化方法に係わる一実施形態を図示したフローチャートである。
【0221】
まず、符号化端からビットストリームを入力され、逆多重化する（第１７００段階）。例えば、周波数成分、並びにその周波数成分の位置を示す情報、各バンドのエネルギー値、符号化器（図示せず）でエネルギー値が符号化されたバンドの位置及びトーナリティなどを、第１７００段階で逆多重化できる。
【0222】
符号化器（図示せず）で既設定の基準によって、重要な周波数成分であると判断されて符号化された所定の周波数成分を復号化できる（第１７０５段階）。
【0223】
各バンドでの信号のエネルギー値を復号化できる（第１７１０段階）。
【0224】
第１７０５段階で復号化された周波数成分が含まれたバンドでの信号に係わるトーナリティを復号化できる（第１７１３段階）。しかし本発明の概念では、第１７１３段階を必ず含めて実施しなければならないものではない。ただし、第１７１５段階で、単数の信号を利用して生成するのではなく、複数の信号を利用して単数の信号を生成する場合に、第１７１３段階が必要でありうる。例えば、第１７１５段階で、任意に生成された信号とパッチされた信号とをいずれも利用し、第１７０５段階で復号化された周波数成分が含まれたバンドに作られる信号を生成する場合に必要でありうる。もし本発明の概念で、第１７１３段階を含んで実施する場合、第１７２０段階は、第１７１３段階で復号化されたトーナリティまで考慮し、第１７１５段階で生成された信号を調節できる。
【0225】
第１７１０段階で復号化された各バンドのエネルギー値を有する信号を各バンドに生成できる（第１７１５段階）。
【0226】
ここで、第１７１５段階で各バンドに信号を生成する方法として、次に述べる例がありうる。第一に、第１７１５段階では、任意にノイズ信号を生成しうる。例えば、ランダムノイズ信号がある。第二に、信号生成部２１５は、所定のバンドでの信号が、既設定の周波数より大きい領域に該当する高周波数信号であり、既設定の周波数より小さい領域に該当する低周波数信号が、すでに復号化されて利用されうるならば、低周波数信号をコピーして、信号を生成しうる。例えば、低周波数信号をパッチしたりフォールディングして、信号を生成しうる。
【0227】
第１７０５段階で復号化した周波数成分が含まれたバンドであるか否かを判断できる（第１７１８段階）。
【0228】
もし第１７１８段階で、周波数成分が含まれたバンドであると判断されれば、第１７１５段階で生成された信号のうち、周波数成分が含まれたバンドでの信号を調節できる（第１７２０段階）。第１７２０段階では、第１７１０段階で復号化された各バンドのエネルギー値を基に、第１７０５段階で復号化された周波数成分のエネルギー値を考慮し、第１７２０段階で生成された信号のエネルギーが調節されるように、第１７２０段階で生成された信号を調節できる。第１７２０段階に係わるさらに詳細な一実施形態は、図２８の説明と共に後述する。
【0229】
しかし、もし第１７１８段階で、周波数成分が含まれていないバンドであると判断されれば、第１７１５段階で生成された信号のうち、周波数成分が含まれていないバンドでの信号を調節しないこともある。
【0230】
第１７０５段階で復号化された周波数成分が含まれたバンドに係わり、第１７０５段階で復号化された周波数成分と、第１７２０段階で調節された信号とを合成して作り、第１７０５段階で復号化された周波数成分が含まれていないバンドに係わり、第１７１５段階で生成された信号で作ることができる（第１７２５段階）。
【0231】
図１６の第１６００段階で遂行する変換の逆過程であり、第１７２５段階で作られた信号を、既設定の第１逆変換方式で、周波数ドメインから時間ドメインに変換できる（第１７３０段階）。第１逆変換方式の例として、ＩＭＤＣＴがある。
【0232】
図１８は、本発明の概念によるオーディオ信号の符号化方法に係わる一実施形態を図示したフローチャートである。
【0233】
まず、入力されたオーディオ信号を、既設定の第１変換方式で、時間ドメインから周波数ドメインに変換できる（第１８００段階）。ここで、オーディオ信号の例として、音声信号または音楽信号などがある。
【0234】
心理音響モデルを適用するために、第１変換方式以外の他の既設定の方式である第２変換方式でも、入力されたオーディオ信号を、時間ドメインから周波数ドメインに変換できる（第１８０５段階）。
【0235】
第１８００段階で変換された信号は、オーディオ信号の符号化に利用され、第１８０５段階で変換された信号は、オーディオ信号に対して心理音響モデルを適用し、重要な周波数成分を検出するのに利用されうる。ここで、心理音響モデルは、ヒューマン聴覚システムの遮蔽作用に係わる数学的モデルをいう。
【0236】
例えば、第１８００段階では、オーディオ信号を、第１変換方式に該当するＭＤＣＴによって、周波数ドメインに変換して実数部で表現し、第１８０５段階では、オーディオ信号を、第２変換方式に該当するＭＤＳＴによって、周波数ドメインに変換して虚数部で表現できる。ここで、ＭＤＣＴによって変換されて実数部で表現された信号は、オーディオ信号の符号化に使われ、ＭＤＳＴによって変換されて虚数部で表現された信号は、オーディオ信号に対して心理音響モデルを適用し、重要な周波数成分を検出するのに利用される。これによって、信号の位相情報をさらに表現できるために、時間ドメインに該当する信号に対してＤＦＴを遂行した後、ＭＤＣＴの係数を量子化することによって、発生するミスマッチを解決できる。
【0237】
第１８００段階で変換された信号から、既設定の基準によって、第１８０５段階で変換された信号を利用し、重要な周波数成分であると判断される周波数成分を検出できる（第１８１０段階）。第１８１０段階で、重要な周波数成分を検出するにおいて、次のような方法がありうる。第一に、ＳＭＲ値を計算し、マスキング閾値より大きい信号を重要な周波数成分として決定できる。第二に、所定の重み付けを考慮してスペクトルピークを抽出し、重要な周波数成分を決定できる。第三に、各サブバンド別にＳＮＲ値を計算し、ＳＮＲ値が低いサブバンドのうち、所定大きさ以上のピーク値を有する周波数成分を、重要周波数成分として決定できる。前述の三種の方法は、それぞれ実施できるが、少なくとも一つ以上の方法を結合して組み合わせることによって、実施することができ、前述の方法は単なる例に過ぎず、前述の方法に限定して実施しなければならないというものではない。
【0238】
第１８１０段階で検出された周波数成分と、その周波数成分の位置を示す情報とを符号化できる（第１８１５段階）。
【0239】
第１８００段階で変換された信号の包絡線を抽出できる（第１８２０段階）。第１８２０段階で抽出した包絡線を符号化できる（第１８２５段階）。第１８１５段階で符号化された周波数成分、並びにその周波数成分の位置を示す情報、第１８２５段階で符号化された包絡線を含んで多重化することによって、ビットストリームを生成できる（第１８３０段階）。
【0240】
図１９は、本発明の概念によるオーディオ信号の復号化方法に係わる一実施形態を図示したフローチャートである。まず、符号化端からビットストリームを入力され、逆多重化できる（第１９００段階）。例えば、周波数成分、並びにその周波数成分の位置を示す情報、符号化器（図示せず）で符号化された包絡線などを、第１９００段階で逆多重化できる。
【0241】
符号化器（図示せず）で既設定の基準によって、重要な周波数成分であると判断されて符号化された所定の周波数成分を復号化できる（第１９０５段階）。符号化器（図示せず）で符号化された包絡線を復号化できる（第１９１０段階）。第１９０５段階で復号化された各周波数成分のエネルギー値を計算できる（第１９１５段階）。第１９０５段階で復号化した周波数成分が含まれたバンドであるか否かを判断できる（第１９１８段階）。
【0242】
もし第１９１８段階で、周波数成分が含まれたバンドであると判断されれば、第１９１０段階で復号化された包絡線のうち、第１９０５段階で復号化された周波数成分が含まれたバンドでの信号を調節できる（第１９２０段階）。ここで、第１９２０段階では、第１９１０段階で復号化された各バンドに作られた包絡線のエネルギー値が、第１９０５段階で復号化された周波数成分が含まれた各バンドに作られた包絡線のエネルギー値から、当該バンドに含まれた周波数成分のエネルギー値を減算した値になるように、当該バンドに作られた包絡線を調節できる。
【0243】
もし第１９１８段階で、周波数成分が含まれていないバンドであると判断されれば、第１９１５段階で復号化された包絡線のうち、第１９０５段階で復号化された周波数成分が含まれていないバンドでの信号を調節しないこともある。
【0244】
第１９０５段階で復号化された周波数成分が含まれたバンドに係わり、第１９０５段階で復号化された周波数成分と、第１９２０段階で調節された包絡線とを合成して作り、第１９０５段階で復号化された周波数成分が含まれていないバンドに係わり、第１９１０段階で復号化された信号で作ることができる（第１９２５段階）。
【0245】
図１８の第１８００段階で遂行する変換の逆過程であり、第１９２５段階で作られた信号を、既設定の第１逆変換方式で、周波数ドメインから時間ドメインに変換できる（第１９３０段階）。第１逆変換方式の例として、ＩＭＤＣＴがある。
【0246】
図２０は、本発明の概念によるオーディオ信号の符号化方法に係わる一実施形態を図示したフローチャートである。
【0247】
まず、入力されたオーディオ信号を、既設定の第１変換方式で、時間ドメインから周波数ドメインに変換できる（第２０００段階）。ここで、オーディオ信号の例として、音声信号または音楽信号などがある。
【0248】
心理音響モデルを適用するために、第１変換方式以外の他の既設定の方式である第２変換方式でも、入力されたオーディオ信号を、時間ドメインから周波数ドメインに変換できる（第２００５段階）。
【0249】
第２０００段階で変換された信号は、オーディオ信号の符号化に利用され、第２００５段階で変換された信号は、オーディオ信号に対して心理音響モデルを適用し、重要な周波数成分を検出するのに利用されうる。ここで、心理音響モデルは、ヒューマン聴覚システムの遮蔽作用に係わる数学的モデルをいう。
【0250】
例えば、第２０００段階では、オーディオ信号を、第１変換方式に該当するＭＤＣＴによって、周波数ドメインに変換して実数部で表現し、第２００５段階では、オーディオ信号を、第２変換方式に該当するＭＤＳＴによって、周波数ドメインに変換して虚数部で表現できる。ここで、ＭＤＣＴによって変換されて実数部で表現された信号は、オーディオ信号の符号化に使われ、ＭＤＳＴによって変換されて虚数部で表現された信号は、オーディオ信号に対して心理音響モデルを適用し、重要な周波数成分を検出するのに利用されうる。これによって、信号の位相情報をさらに表現できるために、時間ドメインに該当する信号に対してＤＦＴを遂行した後、ＭＤＣＴの係数を量子化することによって、発生するミスマッチを解決できる。
【0251】
第２０００段階で変換された信号から、既設定の基準によって、第２００５段階で変換された信号を利用し、重要な周波数成分であると判断される周波数成分を検出できる（第２０１０段階）。第２０１０段階で重要な周波数成分を検出するにおいて、次のような方法がありうる。第一に、ＳＭＲ値を計算し、マスキング閾値より大きい信号を重要な周波数成分として決定できる。第二に、所定の重み付けを考慮してスペクトルピークを抽出し、重要な周波数成分を決定できる。第三に、各サブバンド別にＳＮＲ値を計算し、ＳＮＲ値が低いサブバンドのうち、所定大きさ以上のピーク値を有する周波数成分を、重要周波数成分として決定できる。前述の三種の方法は、それぞれ実施できるが、少なくとも一つ以上の方法を結合して組み合わせることによって、実施することができ、前述の方法は単なる例に過ぎず、前述の方法に限定して実施しなければならないというものではない。
【0252】
第２０１０段階で検出された周波数成分と、その周波数成分の位置を示す情報とを符号化できる（第２０１５段階）。
【0253】
入力されたオーディオ信号を、分析フィルタバンクによって所定の周波数バンド別に時間ドメインによって示すように、ドメインを変換できる（第２０３０段階）。例えば、第２０３０段階では、ＱＭＦを適用してドメインを変換する。
【0254】
既設定の周波数より小さい領域に該当する低周波数信号を利用し、第２０３０段階で検出された周波数成分が含まれていないバンドのうち、既設定の周波数より大きい領域に該当する第２０３０段階で変換された信号を符号化できる（第２０３５段階）。第２０３５段階で符号化するにおいて、低周波数信号を利用し、既設定の周波数より大きい領域に該当する所定バンドの信号を復号化できる情報を生成して符号化できる。
【0255】
第２０１５段階で符号化された周波数成分が含まれたバンド、または既設定の第１周波数より小さい領域に該当するバンドでの信号のエネルギー値を計算できる（第２０３６段階）。ここでバンドの例として、ＱＭＦの場合にバンドは、１個のサブバンド、または１個のスケールファクタ・バンドになりうる。
【0256】
第２０３６段階で計算された各バンドのエネルギー値と、そのバンドの位置を示す情報とを符号化できる（第２０３７段階）。
【0257】
第２０１０段階で検出された周波数成分が含まれたバンドに作られた、第２０００段階で変換された信号に対する各トーナリティを計算して符号化できる（第２０４０段階）。しかし本発明の概念では、第２０４０段階を必ず含めて実施しなければならないものではない。ただし、復号化器（図示せず）で、周波数成分が作られたバンドに信号を生成するにおいて、単数の信号を利用して生成するのではなく、複数の信号を利用して単数の信号を生成する場合に、第２０４０段階が必要でありうる。例えば、復号化器（図示せず）で、任意に生成された信号とパッチされた信号とをいずれも利用し、周波数成分が含まれたバンドに作られる信号を生成する場合に必要でありうる。
【0258】
第２０１５段階で符号化された周波数成分、並びにその周波数成分の位置を示す情報、第２０３７段階で符号化された各バンドのエネルギー値、並びにそのバンドの位置を示す情報、及び第２０３５段階で低周波数信号を利用し、既設定の周波数より大きい領域に該当するバンドのうち、周波数成分を含まないバンドでの信号を復号化できる情報を含んで多重化することによって、ビットストリームを出力できる（第２０４５段階）。所定の場合、第２０４５段階では、第２０４０段階で符号化されたトーナリティも含んで多重化できる。
【0259】
図２１は、本発明の概念によるオーディオ信号の復号化方法に係わる一実施形態を図示したフローチャートである。
【0260】
まず、符号化端からビットストリームを入力され、逆多重化できる（第２１００段階）。例えば、周波数成分、並びにその周波数成分の位置を示す情報、各バンドのエネルギー値、符号化器（図示せず）でエネルギー値が符号化されたバンドの位置、既設定の周波数より小さい領域に該当する信号を利用し、既設定の周波数より大きい領域に該当するバンドのうち、周波数成分を含まないバンドでの信号を復号化できる情報、及びトーナリティなどを、第２１００段階で逆多重化できる。
【0261】
符号化器（図示せず）で既設定の基準によって、重要な周波数成分であると判断されて符号化された所定の周波数成分を復号化できる（第２１０５段階）。
【0262】
図２０の第２０００段階で遂行する変換の逆過程であり、第２１０５段階複合化された周波数信号を、既設定の第１逆変換方式で、周波数ドメインから時間ドメインに変換できる（第２１０６段階）。第１逆変換方式の例として、ＩＭＤＣＴがある。
【0263】
分析フィルタバンクによって、第２１０６段階で逆変換された信号を、所定の周波数バンド別に時間ドメインによって示すように、ドメインを変換する（第２１０７段階）。例えば、第２１０６段階では、ＱＭＦを適用してドメインを変換する。
【0264】
第２１０５段階で適用されるフレームと、第２１４５段階で適用されるフレームとが互いに一致するか否かを判断できる（第２１０８段階）。
【0265】
もし第２１０５段階で適用されるフレームと、後述する第２１４５段階で適用されるフレームとが互いに一致しないと第２１０８段階で判断されれば、第２１０５段階で適用されるフレームと、第２１４５段階で適用されるフレームとを同期化できる（第２１０９段階）。ここで、第２１０９段階では、第２１０５段階で適用されるフレームを基に、第２１４５段階で適用されるフレームのうち、全部または一部を処理することが望ましい。
【0266】
第２１０５段階で復号化された周波数成分が含まれたバンド、または既設定の周波数より小さい領域に該当するバンドの信号に係わるエネルギー値を復号化できる（第２１１０段階）。
【0267】
第２１０５段階で復号化された周波数成分が含まれたバンドでの信号のトーナリティを復号化できる（第２１１３段階）。しかし本発明の概念では、第２１１３段階を必ず含めて実施しなければならないものではない。ただし、後述する第２１１５段階で、単数の信号を利用して生成するのではなく、複数の信号を利用して単数の信号を生成する場合に、第２１１３段階が必要でありうる。例えば、第２１１５段階で、任意に生成された信号とパッチされた信号とをいずれも利用し、第２１０５段階で復号化された周波数成分が含まれたバンドに作られる信号を生成する場合に必要でありうる。もし本発明の概念で、第２１１３段階を含んで実施する場合、後述する第２１２０段階では、第２１１３段階で復号化されたトーナリティまで考慮し、第２１１５段階で生成された信号を調節できる。
【0268】
第２１１０段階で復号化された周波数成分が含まれたバンド、または既設定の周波数より小さい領域に該当するバンドのエネルギー値を有する各バンドでの信号を生成できる（第２１１５段階）。
【0269】
ここで、第２１１５段階で信号を生成する方法として、次に述べる例がありうる。第一に、第２１１５段階では、任意にノイズ信号を生成しうる。例えば、ランダムノイズ信号がある。第二に、第２１１３段階では、所定のバンドでの信号が、既設定の周波数より大きい領域に該当する高周波数信号であり、既設定の周波数より小さい領域に該当する低周波数信号が、すでに復号化されて利用されうるならば、低周波数信号をコピーして、信号を生成しうる。例えば、低周波数信号をパッチしたりフォールディングして、当該バンドの信号を生成しうる。
【0270】
第２１０５段階で復号化した周波数成分が含まれたバンドであるか否かを判断できる（第２１１８段階）。
【0271】
もし第２１１８段階で、周波数成分が含まれたバンドであると判断されれば、第２１１５段階で生成された信号のうち、第２１０５段階で復号化された周波数成分が含まれたバンドでの信号を調節できる（第２１２０段階）。第２１２０段階では、第２１１０段階で復号化された各バンドのエネルギー値を基に、第２１０５段階で復号化された周波数成分のエネルギー値を考慮し、第２１２０段階で生成された信号のエネルギーが調節されるように、第２１２０段階で生成された信号を調節できる。第２０２０段階に係わるさらに詳細な一実施形態は、図２８の説明と共に後述する。
【0272】
しかし、もし第２１１８段階で、周波数成分が含まれていないバンドであると判断されれば、周波数成分が含まれていないバンドに作られた、第２１１５段階で生成された信号を調節しないこともある。
【0273】
第２１０５段階で復号化された周波数成分が含まれたバンドに係わり、第２１０５段階で復号化された周波数成分と、第２１２０段階で調節された信号とを合成して作り、第２１０５段階で復号化された周波数成分が含まれていないバンドのうち、既設定の周波数より小さい領域に該当するバンドに係わり、第２１１５段階で生成された信号で作ることができる（第２１２５段階）。
【0274】
既設定の周波数より大きい領域に該当するバンドに係わり、第２１０５段階で復号化した周波数成分が含まれたバンドであるか否かを判断できる（第２１４３段階）。
【0275】
もし第２１４３段階で、周波数成分が含まれたバンドであると判断されれば、第２１３５段階で変換された信号のうち、既設定の周波数より小さい領域に該当する信号を利用し、既設定の周波数より大きい領域に該当するバンドのうち、第２１３５段階で復号化された周波数成分が含まれていないバンドでの信号を復号化できる（第２１４５段階）。第２１４５段階で復号化するにおいて、第２１００段階で逆多重化された既設定の周波数より小さい領域に該当する信号を利用し、既設定の周波数より大きい領域に該当する信号を復号化できる情報を利用できる。
【0276】
第２１３５段階で遂行する変換の逆過程であり、第２１４５段階で復号化された信号のドメインを、合成フィルタバンクを介して逆変換できる（第２１５０段階）。
【0277】
第２１３０段階で逆変換された信号と、第２１５０段階で逆変換された信号とを合成できる（第２１５５段階）。第２１３０段階で逆変換された信号は、第２１０５段階で復号化された周波数成分が含まれたバンドでの信号と、第２１０５段階で復号化された周波数成分が含まれていないバンドのうち、既設定の周波数より小さい領域に該当するバンドでの信号とでありうる。また、第２１５０段階で逆変換された信号は、第２１０５段階で復号化された周波数成分が含まれていないバンドのうち、既設定の周波数より大きい領域に該当するバンドでの信号でありうる。これによって、周波数全領域に係わるオーディオ信号を第２１５５段階では合成し、オーディオ信号を復元できる。
【0278】
図２２は、本発明の概念によるオーディオ信号の符号化方法に係わる一実施形態を図示したフローチャートである。
【0279】
まず、入力されたオーディオ信号を、既設定の第１変換方式で、時間ドメインから周波数ドメインに変換できる（第２２００段階）。ここで、オーディオ信号の例として、音声信号または音楽信号などがある。
【0280】
心理音響モデルを適用するために、第１変換方式以外の他の既設定の方式である第２変換方式でも、入力されたオーディオ信号を、時間ドメインから周波数ドメインに変換できる（第２２０５段階）。
【0281】
第２２００段階で変換された信号は、オーディオ信号の符号化に利用され、第２２０５段階で変換された信号は、オーディオ信号に対して心理音響モデルを適用し、重要な周波数成分を検出するのに利用されうる。ここで、心理音響モデルは、ヒューマン聴覚システムの遮蔽作用に係わる数学的モデルをいう。
【0282】
例えば、第２２００段階では、オーディオ信号を、第１変換方式に該当するＭＤＣＴによって、周波数ドメインに変換して実数部で表現し、第２２０５段階では、オーディオ信号を、第２変換方式に該当するＭＤＳＴによって、周波数ドメインに変換して虚数部で表現できる。ここで、ＭＤＣＴによって変換されて実数部で表現された信号は、オーディオ信号の符号化に使われ、ＭＤＳＴによって変換されて虚数部で表現された信号は、オーディオ信号に対して心理音響モデルを適用し、重要な周波数成分を検出するのに利用される。これによって、信号の位相情報をさらに表現できるために、時間ドメインに該当する信号に対してＤＦＴを遂行した後、ＭＤＣＴの係数を量子化することによって、発生するミスマッチを解決できる。
【0283】
第２２００段階で変換されたオーディオ信号から、既設定の基準によって、第２２０５段階で変換された信号を利用し、重要な周波数成分であると判断される周波数成分を検出できる（第２２１０段階）。第２２１０段階で重要な周波数成分を検出するにおいて、次のような方法がありうる。第一に、ＳＭＲ値を計算し、マスキング閾値より大きい信号を重要な周波数成分として決定できる。第二に、所定の重み付けを考慮してスペクトルピークを抽出し、重要な周波数成分を決定できる。第三に、各サブバンド別にＳＮＲ値を計算し、ＳＮＲ値が低いサブバンドのうち、所定大きさ以上のピーク値を有する周波数成分を、重要周波数成分として決定できる。前述の三種の方法は、それぞれ実施できるが、少なくとも一つ以上の方法を結合して組み合わせることによって、実施することができ、前述の方法は単なる例に過ぎず、前述の方法に限定して実施しなければならないというものではない。
【0284】
第２２１０段階で検出された周波数成分と、その周波数成分の位置を示す情報とを符号化できる（第２２１５段階）。
【0285】
入力されたオーディオ信号を、分析フィルタバンクによって所定の周波数バンド別に時間ドメインによって示すように、ドメインを変換できる（第２２１８段階）。例えば、第２２３０段階では、ＱＭＦを適用してドメインを変換できる。
【0286】
既設定の周波数より小さい領域に該当するバンドでの信号のエネルギー値を計算できる（第２２２０段階）。ここでバンドの例として、ＱＭＦの場合にバンドは、１個のサブバンド、または１個のスケールファクタ・バンドになりうる。
【0287】
第２２２０段階で計算された各バンドのエネルギー値と、そのバンドの位置を示す情報とを符号化できる（第２２２５段階）。
【0288】
既設定の周波数より小さい領域に該当する低周波数信号を利用し、既設定の周波数より大きい領域に該当する高周波数信号を符号化できる（第２２３５段階）。第２２３５段階で符号化するにおいて、低周波数信号を利用して高周波数信号を復号化できる情報を生成して符号化できる。
【0289】
第２２１５段階で検出された周波数成分が含まれたバンドでの信号の各トーナリティを計算して符号化できる（第２２４０段階）。しかし本発明の概念では、第２２４０段階を必ず含めて実施しなければならないものではない。ただし、復号化器（図示せず）で、周波数成分が作られたバンドに信号を生成するにおいて、単数の信号を利用して生成するのではなく、複数の信号を利用して単数の信号を生成する場合に、第２２４０段階が必要でありうる。例えば、復号化器（図示せず）で、任意に生成された信号とパッチされた信号とをいずれも利用し、周波数成分が含まれたバンドに作られる信号を生成する場合に必要でありうる。
【0290】
第２２１５段階で符号化された周波数成分、並びに周波数成分の位置を示す情報、第２２２５段階で符号化された各バンドのエネルギー値、並びにそのバンドの位置を示す情報、及び第２２３５段階で、低周波数信号を利用して高周波数信号を復号化できる情報を含んで多重化することによって、ビットストリームを生成できる（第２２４５段階）。所定の場合、第２２４５段階では、第２２４０段階で符号化されたトーナリティも含んで多重化できる。
【0291】
図２３は、本発明の概念によるオーディオ信号の復号化方法に係わる一実施形態を図示したフローチャートである。
【0292】
まず、符号化端からビットストリームを入力され、逆多重化できる（第２３００段階）。例えば、周波数成分、並びに周波数成分の位置を示す情報、各バンドのエネルギー値、符号化器（図示せず）でエネルギー値が符号化されたバンドの位置、既設定の周波数より小さい領域に該当する信号を利用し、既設定の周波数より大きい領域に該当する信号を復号化できる情報、及びトーナリティなどを、第２３００段階で逆多重化できる。
【0293】
符号化器（図示せず）で、既設定の周波数より小さい領域に該当する低周波数信号のうち、既設定の基準によって、重要な周波数成分であると判断されて符号化された所定の周波数成分を復号化できる（第２３０５段階）。
【0294】
図２２の第２２００段階で遂行する変換の逆過程であり、第２３０５段階で復元された低周波数信号を、既設定の第１逆変換方式で、周波数ドメインから時間ドメインに変換できる（第２３０７段階）。第１逆変換方式の例として、ＩＭＤＣＴがある。
【0295】
第２３０７段階で逆変換された低周波数信号を、分析フィルタバンクによって所定の周波数バンド別に時間ドメインによって示すように、ドメインを変換できる（第２３０９段階）。例えば、第２３０９段階では、ＱＭＦを適用してドメインを変換できる。
【0296】
第２３０５段階で適用されるフレームと、第２３５０段階で適用されるフレームとが互いに一致するか否かを判断できる（第２３１１段階）。
【0297】
もし第２３０５段階で適用されるフレームと、後述する第２３５０段階で適用されるフレームとが互いに一致しないと第２３１１段階で判断されれば、第２３０５段階で適用されるフレームと、第２３５０段階で適用されるフレームとを同期化できる（第２３１３段階）。ここで、第２３１３段階では、第２３０５段階で適用されるフレームを基に、第２３５０段階で適用されるフレームのうち、全部または一部を処理することが望ましい。
【0298】
周波数信号の各バンドに係わるエネルギー値を復号化できる（第２３１４段階）。
【0299】
既設定の周波数より小さい領域に該当するバンドのうち、第２３０５段階で復号化された周波数成分が含まれたバンドでの信号に係わるトーナリティを復号化できる（第２３１５段階）。しかし本発明の概念では、第２３１５段階を必ず含めて実施しなければならないものではない。ただし、後述する第２３２０段階で、単数の信号を利用して生成するのではなく、複数の信号を利用して単数の信号を生成する場合に、第２３１５段階が必要でありうる。例えば、第２３２０段階で、任意に生成された信号とパッチされた信号とをいずれも利用し、第２３０５段階で復号化された周波数成分が含まれたバンドに作られる信号を生成する場合に必要でありうる。もし本発明の概念で、第２３１５段階を含んで実施する場合、第２３２５段階は、第２３１５段階で復号化されたトーナリティまで考慮し、第２３２０段階で生成された信号を調節できる。
【0300】
第２３１０段階で復号化されたバンドのエネルギー値を有する各バンドでの信号を生成できる（第２３２０段階）。
【0301】
ここで、第２３２０段階で信号を生成する方法として、次に述べる例がありうる。第一に、第２３２０段階では、任意にノイズ信号を生成しうる。例えば、ランダムノイズ信号がある。第二に、信号生成部８２０は、所定のバンドでの信号が、すでに復号化されて利用されうるならば、関連が高い復号化されたバンドの信号をコピーして、信号を生成しうる。例えば、復号化されたバンドの信号をパッチしたりフォールディングして、信号を生成しうる。
【0302】
第１周波数より小さい領域に該当するバンドのうち、第２３０５段階で復号化した周波数成分が含まれたバンドであるか否かを判断できる（第２３２３段階）。
【0303】
もし第２３２３段階で、周波数成分が含まれたバンドであると判断されれば、当該バンドに係わり、第２３２０段階で生成された信号を調節できる（第２３２５段階）。第２３２５段階では、第２３１０段階で復号化された各バンドのエネルギー値を基に、第２３０５段階で復号化された周波数成分のエネルギー値を考慮し、第２３２０段階で生成された信号のエネルギーが調節されるように、第２３２０段階で生成された信号を調節できる。第２３２５段階に係わるさらに詳細な一実施形態は、図２８の説明と共に後述する。
【0304】
しかし、もし第２３２３段階で、周波数成分が含まれていないバンドであると判断されれば、周波数成分が含まれていないバンドに作られた、第２３２０段階で生成された信号を調節しないこともある。
【0305】
既設定の周波数より小さい領域に該当するバンドのうち、第２３０５段階で復号化された周波数成分が含まれたバンドに係わり、第２３０５段階で復号化された周波数成分と、第２３２５段階で調節された信号とを合成して作り、既設定の周波数より小さい領域に該当するバンドのうち、第２３０５段階で復号化された周波数成分が含まれていないバンドに係わり、第２３２０段階で生成された信号で作ることができる（第２３３０段階）。これによって、第２３３０段階では、低周波数信号を復元できる。
【0306】
既設定の周波数より大きい領域に該当する信号の高周波数信号を復号化できる（第２３５０段階）。第２３５０段階で復号化するにおいて、第２３００段階で逆多重化された低周波数信号を利用し、高周波数信号を復号化できる情報を利用できる。
【0307】
既設定の周波数より大きい領域に該当するバンドに係わり、復号化した周波数成分が含まれたバンドであるか否かを判断できる（第２３５３段階）。
【0308】
もし第２３５３段階で、周波数成分が含まれたバンドであると判断されれば、第２３５０段階で復号化された高周波数信号のうち、復号化された周波数成分が含まれたバンドでの信号を調節できる（第２３５５段階）。
【0309】
まず、第２３５５段階では、既設定の周波数より大きい領域に作られた周波数成分のエネルギー値を計算できる。そして、第２３５５段階で調節するバンドでの信号に係わるエネルギーが、第２３５０段階で復号化された信号のエネルギー値から、各バンドに含まれた周波数成分のエネルギー値を減算した値になるように、第２３５０段階で復号化された当該バンドに作られた高周波数信号を調節できる。
【0310】
既設定の周波数より大きい領域に該当するバンドのうち、第２３０５段階で復号化された周波数成分が含まれたバンドに係わり、第２３０５段階で復号化された周波数成分と、第２３５５段階で調節された信号とを合成して作り、既設定の周波数より大きい領域に該当するバンドのうち、第２３０５段階で復号化された周波数成分が含まれていないバンドに係わり、第２３５０段階で復号化された信号で作ることができる（第２３６０段階）。これによって、第２３６０段階では、高周波数信号を復元できる。
【0311】
第２３４０段階で遂行する変換の逆過程であり、復元された高周波数信号のドメインを、合成フィルタバンクを介して逆変換できる（第２３６５段階）。第２３３５段階で逆変換された低周波数信号と、第２３６５段階で逆変換された高周波数信号とを合成し、オーディオ信号を復元できる（第２３７０段階）。
【0312】
図２４は、本発明の概念によるオーディオ信号の符号化方法に係わる一実施形態を図示したフローチャートである。まず、既設定の周波数を基準として、入力された信号を、低周波数信号と高周波数信号とに分割できる（第２４００段階）。ここで、低周波数信号は、既設定の第１周波数より小さい領域に該当する信号であって、高周波数信号は、既設定の第２周波数より大きい領域に該当する信号でありうる。第１周波数と第２周波数は、互いに同じ値に設定されることが望ましいが、必ずしも同じ値に設定して実施しなければならないというものではない。
【0313】
第２４００段階で分割された低周波数信号を、既設定の第１変換方式で、時間ドメインから周波数ドメインに変換できる（第２４０３段階）。
【0314】
心理音響モデルを適用するために、第１変換方式以外の他の既設定の方式である第２変換方式でも、第２４００段階で分割された低周波数信号を、時間ドメインから周波数ドメインに変換できる（第２４０５段階）。
【0315】
第２４０３段階で変換された信号は、低周波数信号を符号化するのに利用され、第２４０５段階で変換された信号は、低周波数信号に対して心理音響モデルを適用し、重要な周波数成分を検出するのに利用されうる。ここで、心理音響モデルは、ヒューマン聴覚システムの遮蔽作用に係わる数学的モデルをいう。
【0316】
例えば、第２４０３段階では、低周波数信号を、第１変換方式に該当するＭＤＣＴによって、周波数ドメインに変換して実数部で表現し、第２４０５段階では、低周波数信号を、第２変換方式に該当するＭＤＳＴによって、周波数ドメインに変換して虚数部で表現できる。ここで、ＭＤＣＴによって変換されて実数部で表現された信号は、低周波数信号を符号化するのに使われ、ＭＤＳＴによって変換されて虚数部で表現された信号は、低周波数信号に対して心理音響モデルを適用し、重要な周波数成分を検出するのに利用されうる。これによって、信号の位相情報をさらに表現できるために、時間ドメインに該当する信号に対してＤＦＴを遂行した後、ＭＤＣＴの係数を量子化することによって、発生するミスマッチを解決できる。
【0317】
第２４０３段階で変換された低周波数信号から、既設定の基準によって、第２４０５段階で変換された信号を利用し、重要な周波数成分であると判断される周波数成分を検出できる（第２４１０段階）。第２４１０段階で重要な周波数成分を検出するにおいて、次のような方法がありうる。第一に、ＳＭＲ値を計算し、マスキング閾値より大きい信号を重要な周波数成分として決定できる。第二に、所定の重み付けを考慮してスペクトルピークを抽出し、重要な周波数成分を決定できる。第三に、各サブバンド別にＳＮＲ値を計算し、ＳＮＲ値が低いサブバンドのうち、所定大きさ以上のピーク値を有する周波数成分を、重要周波数成分として決定できる。前述の三種の方法は、それぞれ実施できるが、少なくとも一つ以上の方法を結合して組み合わせることによって、実施することができ、前述の方法は単なる例に過ぎず、前述の方法に限定して実施しなければならないというものではない。
【0318】
第２４１０段階で検出された第２４０３段階で変換された低周波数信号の周波数成分と、その周波数成分の位置を示す情報とを符号化できる（第２４１５段階）。
【0319】
第２４００段階で分割された高周波数信号を、分析フィルタバンクによって所定の周波数バンド別に時間ドメインによって示すように、ドメインを変換できる（第２４１８段階）。例えば、第２４１８段階では、ＱＭＦを適用してドメインを変換できる。
【0320】
第２４０３段階で変換された低周波数信号の各バンドでの信号に係わるエネルギー値を計算できる（第２４２０段階）。ここでバンドの例として、ＱＭＦの場合にバンドは、１個のサブバンド、または１個のスケールファクタ・バンドになりうる。
【0321】
第２４２０段階で計算された各バンドのエネルギー値と、そのバンドの位置を示す情報とを符号化できる（第２４２５段階）。
【0322】
第２４１０段階で検出された周波数成分が含まれたバンドでの信号に対する各トーナリティを計算して符号化できる（第２４３０段階）。しかし本発明の概念では、第２４３０段階を必ず含めて実施しなければならないものではない。ただし、復号化器（図示せず）で、周波数成分が作られたバンドに信号を生成するにおいて、単数の信号を利用して生成するのではなく、複数の信号を利用して単数の信号を生成する場合に、第２４３０段階が必要でありうる。例えば、復号化器（図示せず）で、任意に生成された信号とパッチされた信号とをいずれも利用し、周波数成分が含まれたバンドに作られる信号を生成する場合に必要でありうる。
【0323】
低周波数信号を利用し、第２４３０段階で変換された高周波数信号を符号化できる（第２４４０段階）。第２４４０段階で符号化するにおいて、低周波数信号を利用して高周波数信号を復号化できる情報を生成して符号化できる。
【0324】
第２４１５段階で符号化された周波数成分、並びにその周波数成分の位置を示す情報、第２４２５段階で符号化された各バンドのエネルギー値、並びにそのバンドの位置を示す情報、及び第２４４０段階で符号化された低周波数信号を利用して高周波数信号を符号化する情報を含んで多重化することによって、ビットストリームを出力できる（第２４４５段階）。所定の場合、第２４４５段階では、第２４３０段階で符号化されたトーナリティも含んで多重化できる。
【0325】
図２５は、本発明の概念によるオーディオ信号の復号化方法に係わる一実施形態を図示したフローチャートである。まず、符号化端からビットストリームを入力され、逆多重化できる（第２５００段階）。例えば、周波数成分、並びにその周波数成分の位置を示す情報、各バンドのエネルギー値、符号化器（図示せず）でエネルギー値が符号化されたバンドの位置、低周波数信号を利用して高周波数信号を符号化する情報、及びトーナリティなどを、第２５００段階で逆多重化できる。ここで、低周波数信号は、既設定の第１周波数より小さい領域に該当する信号であって、高周波数信号は、既設定の第２周波数より大きい領域に該当する信号でありうる。第１周波数と第２周波数は、互いに同じ値に設定されることが望ましいが、必ずしも同じ値に設定して実施しなければならないというものではない。
【0326】
符号化器（図示せず）で既設定の基準によって、低周波数信号から重要な周波数成分であると判断されて符号化された所定の周波数成分を復号化できる（第２５０５段階）。
【0327】
既設定の周波数より小さい領域に該当するバンドに作られた各バンド別信号のエネルギー値を復号化できる（第２５１０段階）。
【0328】
第２５１０段階で復号化された各バンドのエネルギー値を有する信号をバンド別に生成できる（第２５１５段階）。
【0329】
ここで、第２５１５段階で信号を生成する方法として、次に述べる例がありうる。第一に、第２５１５段階では、任意にノイズ信号を生成しうる。例えば、ランダムノイズ信号がある。第二に、第２５１５段階では、所定のバンドでの信号が、高周波数領域に該当する信号であり、低周波数領域に該当する信号が、すでに復号化されて利用されうるならば、低周波数領域に該当する信号をコピーして、信号を生成しうる。例えば、低周波数領域に該当する信号をパッチしたりフォールディングして、信号を生成しうる。
【0330】
既設定の周波数より小さい領域に該当するバンドのうち、第２５０５段階で復号化した周波数成分が含まれたバンドであるか否かを判断できる（第２５１８段階）。
【0331】
もし第２５１８段階で、周波数成分が含まれたバンドであると判断されれば、当該バンドに係わり、第２５１５段階で生成された信号を調節できる（第２５２０段階）。第２５２０段階では、第２５１０段階で復号化された各バンドのエネルギー値を基に、第２５０５段階で復号化された周波数成分のエネルギー値を考慮し、第２５１５段階で生成された信号のエネルギーが調節されるように、第２５１５段階で生成された信号を調節できる。第２５２０段階に係わるさらに詳細な一実施形態は、図２８の説明と共に後述する。
【0332】
もし第２５１８段階で、周波数成分が含まれていないバンドであると判断されれば、当該バンドに作られた、第２５１５段階で生成された信号を調節しないこともある。
【0333】
既設定の周波数より小さい領域に該当するバンドのうち、第２５０５段階で復号化された周波数成分が含まれたバンドに係わり、第２５０５段階で復号化された周波数成分と、第２５２０段階で調節された信号とを合成して作り、既設定の周波数より小さい領域に該当するバンドのうち、第２５０５段階で復号化された周波数成分が含まれていないバンドに係わり、第２５１５段階で生成された信号で作ることができる（第２５２５段階）。これによって、第２５２５段階では、低周波数信号を復元できる。
【0334】
図２４の第２４０３段階で遂行する変換の逆過程であり、第２５２５段階で作られた信号を、既設定の第１逆変換方式で、周波数ドメインから時間ドメインに変換できる（第２５３０段階）。第１逆変換方式の例として、ＩＭＤＣＴがある。
【0335】
分析フィルタバンクによって、第２５３０段階で逆変換された低周波数信号を、所定の周波数バンド別に時間ドメインによって示すように、ドメインを変換できる（第２５３５段階）。例えば、第２５３５段階では、ＱＭＦを適用してドメインを変換できる。
【0336】
第２５０５段階で適用されるフレームと、後述する第２５４５段階で適用されるフレームとが互いに一致するか否かを判断できる（第２５３８段階）。
【0337】
もし第２５０５段階で適用されるフレームと、第２５４５段階で適用されるフレームとが互いに一致しないと第２５３８段階で判断されれば、第２５０５段階で適用されるフレームと、第２５４５段階で適用されるフレームとを同期化できる（第２５４０段階）。第２５４０段階は、第２５０５段階で適用されるフレームを基に、第２５４５段階で適用されるフレームのうち、全部または一部を処理することが望ましい。
【0338】
第２５３５段階で変換された低周波数信号を利用して高周波数信号を復号化できる（第２５４５段階）。第２５４５段階で復号化するにおいて、第２５００段階で逆多重化された低周波数信号を利用して高周波数信号を復号化できる情報を利用できる。
【0339】
第２５３５段階で遂行する変換の逆過程であり、第２５４５段階で復号化された高周波数信号のドメインを、合成フィルタバンクを介して逆変換できる（第２５５０段階）。
【0340】
第２５３０段階で逆変換された低周波数信号と、第２５５０段階で逆変換された高周波数信号とを合成し、オーディオ信号を復元できる（第２５５５段階）。
【0341】
図２６は、本発明の概念によるオーディオ信号の符号化方法に係わる一実施形態を図示したフローチャートである。まず、既設定の周波数を基準として、入力端子ＩＮを介して入力された信号を、低周波数信号と高周波数信号とに分割できる（第２６００段階）。ここで、低周波数信号は、既設定の第１周波数より小さい領域に該当する信号であって、高周波数信号は、既設定の第２周波数より大きい領域に該当する信号でありうる。第１周波数と第２周波数は、互いに同じ値に設定されることが望ましいが、必ずしも同じ値に設定して実施しなければならないというものではない。
【0342】
第２６００段階で分割された低周波数信号を、既設定の第１変換方式で、時間ドメインから周波数ドメインに変換できる（第２６０３段階）。
【0343】
心理音響モデルを適用するために、第１変換方式以外の他の既設定の方式である第２変換方式でも第２６００段階で分割された低周波数信号を、時間ドメインから周波数ドメインに変換できる（第２６０５段階）。
【0344】
第２６０３段階で変換された信号は、低周波数信号を符号化するのに利用され、第２６０５段階で変換された信号は、低周波数信号に対して心理音響モデルを適用し、重要な周波数成分を検出するのに利用されうる。ここで、心理音響モデルは、ヒューマン聴覚システムの遮蔽作用に係わる数学的モデルをいう。
【0345】
例えば、第２６０３段階では、低周波数信号を、第１変換方式に該当するＭＤＣＴによって、周波数ドメインに変換して実数部で表現し、第２６０５段階では、低周波数信号を、第２変換方式に該当するＭＤＳＴによって、周波数ドメインに変換して虚数部で表現できる。ここで、ＭＤＣＴによって変換されて実数部で表現された信号は、低周波数信号を符号化するのに使われ、ＭＤＳＴによって変換されて虚数部で表現された信号は、低周波数信号に対して心理音響モデルを適用し、重要な周波数成分を検出するのに利用される。これによって、信号の位相情報をさらに表現できるために、時間ドメインに該当する信号に対してＤＦＴを遂行した後、ＭＤＣＴの係数を量子化することによって、発生するミスマッチを解決できる。
【0346】
第２６０３段階で変換された低周波数信号から、既設定の基準によって、第２６０５段階で変換された信号を利用し、重要な周波数成分であると判断される周波数成分を検出できる（第２６１０段階）。第２６１０段階で重要な周波数成分を検出するにおいて、次のような方法がありうる。第一に、ＳＭＲ値を計算し、マスキング閾値より大きい信号を重要な周波数成分として決定できる。第二に、所定の重み付けを考慮してスペクトルピークを抽出し、重要な周波数成分を決定できる。第三に、各サブバンド別にＳＮＲ値を計算し、ＳＮＲ値が低いサブバンドのうち、所定大きさ以上のピーク値を有する周波数成分を、重要周波数成分として決定できる。前述の三種の方法は、それぞれ実施できるが、少なくとも一つ以上の方法を結合して組み合わせることによって、実施することができ、前述の方法は単なる例に過ぎず、前述の方法に限定して実施しなければならないというものではない。
【0347】
第２６１０段階で検出された低周波数信号の周波数成分と、その周波数成分の位置を示す情報とを符号化できる（第２６１５段階）。
【0348】
第２６０３段階で変換された低周波数信号の包絡線を抽出できる（第２６２０段階）。第２６２０段階で抽出した低周波数信号の包絡線を符号化できる（第２６２５段階）。第２６００段階で分割された高周波数信号を、分析フィルタバンクによって所定の周波数バンド別に時間ドメインによって示すように、ドメインを変換できる（第２６３０段階）。例えば、第２６３０段階では、ＱＭＦを適用してドメインを変換できる。
【0349】
低周波数信号を利用し、第２６３０段階で変換された高周波数信号を符号化できる（第２６３５段階）。第２６３５段階で符号化するにおいて、低周波数信号を利用して高周波数信号を復号化できる情報を生成して符号化できる。
【0350】
第２６０５段階で符号化された周波数成分、並びに周波数成分の位置を示す情報、第２６２５段階で符号化された低周波数信号の包絡線、並びに第２６３５段階で符号化された低周波数信号を利用して高周波数信号を復号化できる情報を含んで多重化することによって、ビットストリームを生成できる（第２６４０段階）。
【0351】
図２７は、本発明の概念によるオーディオ信号の復号化方法に係わる一実施形態を図示したフローチャートである。
【0352】
まず、符号化端からビットストリームを入力され、逆多重化できる（第２７００段階）。例えば、周波数成分、並びに周波数成分の位置を示す情報、符号化器（図示せず）で符号化された低周波数信号の包絡線、並びに低周波数信号を利用して高周波数信号を復号化できる情報などを、第２７００段階で逆多重化できる。ここで、低周波数信号は、既設定の第１周波数より小さい領域に該当する信号であり、高周波数信号は、既設定の第２周波数より大きい領域に該当する信号をいう。第１周波数と第２周波数は、互いに同じ値に設定されることが望ましいが、必ずしも同じ値に設定して実施しなければならないというものではない。
【0353】
符号化器（図示せず）で既設定の基準によって、低周波数信号から重要な周波数成分であると判断されて符号化された所定の周波数成分を復号化できる（第２７０５段階）。
【0354】
符号化器（図示せず）で符号化された低周波数信号の包絡線を復号化できる（第２７１０段階）。
【0355】
第２７０５段階で復号化された各周波数成分のエネルギー値を計算できる（第２７１５段階）。
【0356】
既設定の周波数より小さい領域に該当するバンドのうち、第２７０５段階で復号化された周波数成分が含まれたバンドに該当するか否かを判断できる（第２７１８段階）。
【0357】
もし第２７１８段階で、周波数成分が含まれたバンドに該当すると判断されれば、当該バンドに作られた、第２７１０段階で復号化された包絡線を調節できる（第２７２０段階）。第２７２０段階では、第２７１０段階で復号化された各バンドに作られた包絡線のエネルギー値が、第２７０５段階で復号化された周波数成分が含まれた各バンドに作られた、第２７１０段階で復号化された包絡線のエネルギー値から、そのバンドに含まれた周波数成分のエネルギー値を減算した値になるように、第２７１０段階で復号化された包絡線を調節できる。
【0358】
もし第２７１８段階で、周波数成分が含まれていないバンドに該当すると判断されれば、当該バンドに作られた、第２７１０段階で復号化された包絡線を調節しないこともある。
【0359】
既設定の周波数より小さい領域に該当するバンドのうち、第２７０５段階で復号化された周波数成分が含まれたバンドに係わり、第２７０５段階で復号化された周波数成分と、第２７２０段階で調節された包絡線とを合成して作り、既設定の周波数より小さい領域に該当するバンドのうち、第２７０５段階で復号化された周波数成分が含まれていないバンドに係わり、第２７１０段階で復号化された信号で作ることができる（第２７２５段階）。これによって、第２７２５段階では、低周波数信号を復元できる。
【0360】
図２６の第２６０３段階で遂行する変換の逆過程であり、第２７２５段階で復元された低周波数信号を、既設定の第１逆変換方式で、周波数ドメインから時間ドメインに変換できる（第２７３０段階）。第１逆変換方式の例として、ＩＭＤＣＴがある。
【0361】
分析フィルタバンクによって、第２７３０段階で逆変換された低周波数信号を、所定の周波数バンド別に時間ドメインによって示すように、ドメインを変換できる（第２７３５段階）。例えば、第２７３５段階では、ＱＭＦを適用してドメインを変換できる。
【0362】
第２７０５段階で適用されるフレームと、後述する第２７４５段階で適用されるフレームとが互いに一致するか否かを判断できる（第２７３８段階）。
【0363】
もし第２７０５段階で適用されるフレームと、第２７４５段階で適用されるフレームとが互いに一致しないと第２７３８段階で判断されれば、第２７０５段階で適用されるフレームと、第２７４５段階で適用されるフレームとを同期化できる（第２７４０段階）。第２７４０段階では、第２７０５段階で適用されるフレームを基に、第２７４５段階で適用されるフレームのうち、全部または一部を処理することが望ましい。
【0364】
第２７３５段階で変換された低周波数信号を利用して高周波数信号を復号化できる（第２７４５段階）。第２７４５段階で復号化するにおいて、第２７００段階で逆多重化された低周波数信号を利用して高周波数信号を復号化できる情報を利用できる。
【0365】
第２７３５段階で遂行する変換の逆過程であり、第２７４５段階で復号化された高周波数信号のドメインを、合成フィルタバンクを介して逆変換できる（第２７５０段階）。
【0366】
第２７３０段階で逆変換された低周波数信号と、第２７５０段階で逆変換された高周波数信号とを合成し、オーディオ信号を復元できる（第２７５５段階）。
【0367】
図２８は、本発明の概念の実施形態によって、図１７、図２１、図２３または図２５に含まれた第１７２０段階、第２１２０段階、第２３２５段階または第２５２０段階に係わる一実施形態を図示したフローチャートである。
【0368】
まず、第１７１５段階、第２１１５段階、第２３２０段階または第２５１５段階で、周波数成分が含まれたバンドに生成された信号を入力され、各バンドでの信号のエネルギー値を計算できる（第２８００段階）。
【0369】
第１７０５段階、第２１０５段階、第２３０５段階または第２５０５段階で復号化された周波数成分を入力され、各周波数成分のエネルギー値を計算できる（第２８０５段階）。
【0370】
第１７１０段階、第２１１０段階、第２３１０段階または第２５１０段階で復号化された周波数成分が含まれたバンドのエネルギー値のゲイン値について、第２８００段階で計算された各エネルギー値が、第１７１０段階、第２１１０段階、第２３１０段階または第２５１０段階で入力された各エネルギー値から、第２８０５段階で計算された各エネルギー値を減算した値になるように、利得値を計算できる（第２８１０段階）。例えば、第２８１０段階では、次に記載の式（２）によって利得値を計算できる。
【0371】
【数5】
【0372】
【数6】
【0373】
【数7】
【0374】
【数8】
【0375】
もし第２８１０段階でトーナリティまで考慮して利得値を計算する場合、第２８１０段階では、第２８０５段階で復号化された周波数成分が含まれたバンドのエネルギー値を入力され、周波数成分が含まれたバンドでの信号に係わるトーナリティを入力され、入力された各エネルギー値、各トーナリティ、及び第２８０５段階で計算された各エネルギー値を利用することによって、利得値を計算できる。
【0376】
第１７１５段階、第２１１５段階、第２３２０段階または第２５１５段階で、周波数成分が含まれた各バンドに生成された信号に、第２８１０段階で計算された各バンドに対する利得値を適用できる（第２８１５段階）。
【0377】
図２９は、本発明の概念によるオーディオ信号の符号化装置に係わる一実施形態を図示したブロック図であり、前記オーディオ信号の符号化装置は、第１変換部２９００、第２変換部２９０５、周波数成分検出部２９１０、周波数成分符号化部２９１５、第３変換部２９１８、エネルギー値計算部２９２０、エネルギー値符号化部２９２５、トーナリティ符号化部２９３０及び多重化部２９３５を含んでなされる。
【0378】
第１変換部２９００は、入力端子ＩＮを介して入力されたオーディオ信号を、既設定の第１変換方式で、時間ドメインから周波数ドメインに変換する。ここで、オーディオ信号の例として、音声信号または音楽信号などがある。
【0379】
第２変換部２９０５は、心理音響モデルを適用するために、第１変換方式以外の他の既設定の方式である第２変換方式でも、入力端子ＩＮを介して入力されたオーディオ信号を、時間ドメインから周波数ドメインに変換する。
【0380】
第１変換部２９００で変換された信号は、オーディオ信号の符号化に利用され、第２変換部２９０５で変換された信号は、オーディオ信号に対して心理音響モデルを適用し、重要な周波数成分を検出するのに利用される。ここで、心理音響モデルは、ヒューマン聴覚システムの遮蔽作用に係わる数学的モデルをいう。
【0381】
例えば、第１変換部２９００は、オーディオ信号を、第１変換方式に該当するＭＤＣＴによって、周波数ドメインに変換して実数部で表現し、第２変換部２９０５は、オーディオ信号を、第２変換方式に該当するＭＤＳＴによって、周波数ドメインに変換して虚数部で表現できる。ここで、ＭＤＣＴによって変換されて実数部で表現された信号は、オーディオ信号の符号化に使われ、ＭＤＳＴによって変換されて虚数部で表現された信号は、オーディオ信号に対して心理音響モデルを適用し、重要な周波数成分を検出するのに利用される。これによって、信号の位相情報をさらに表現できるために、時間ドメインに該当する信号に対してＤＦＴを遂行した後、ＭＤＣＴの係数を量子化することによって、発生するミスマッチを解決できる。
【0382】
周波数成分検出部２９１０は、第１変換部２９００で変換された信号から、既設定の基準によって、第２変換部２９０５で変換された信号を利用し、重要な周波数成分であると判断される周波数成分を検出する。周波数成分検出部２９１０で重要な周波数成分を検出するにおいて、次のような方法がある。第一に、ＳＭＲ値を計算し、マスキング閾値より大きい信号を重要な周波数成分として決定する。第二に、所定の重み付けを考慮してスペクトルピークを抽出し、重要な周波数成分を決定する。第三に、各サブバンド別にＳＮＲ値を計算し、ＳＮＲ値が低いサブバンドのうち、所定大きさ以上のピーク値を有する周波数成分を、重要周波数成分として決定する。前述の三種の方法は、それぞれ実施できるが、少なくとも一つ以上の方法を結合して組み合わせることによって、実施することができ、前述の方法は単なる例に過ぎず、前述の方法に限定して実施しなければならないというものではない。
【0383】
周波数成分符号化部２９１５は、周波数成分検出部２９１０で検出された周波数成分と、その周波数成分の位置を示す情報とを符号化する。
【0384】
第３変換部２９１８は、入力端子ＩＮを介して入力されたオーディオ信号を、分析フィルタバンクによって所定の周波数バンド別に時間ドメインによって示すように、ドメインを変換する。例えば、第３変換部５３０では、ＱＭＦを適用してドメインを変換する。
【0385】
エネルギー値計算部２９２０は、第３変換部２９１８で変換された信号の各バンドでの信号に係わるエネルギー値を計算する。ここでバンドの例として、ＱＭＦの場合にバンドは、１個のサブバンド、または１個のスケールファクタ・バンドになりうる。
【0386】
エネルギー値符号化部２９２５は、エネルギー値計算部２９２０で計算された各バンドのエネルギー値と、そのバンドの位置を示す情報とを符号化する。
【0387】
トーナリティ符号化部２９３０は、周波数成分検出部２９１０で検出された周波数成分が含まれた各バンドでの信号の各トーナリティを計算して符号化する。しかし、本発明では、トーナリティ符号化部２９３０を必ず含めて実施しなければならないものではない。ただし、復号化器（図示せず）で、周波数成分が作られたバンドに信号を生成するにおいて、単数の信号を利用して生成するのではなく、複数の信号を利用して単数の信号を生成する場合に、トーナリティ符号化部２９３０が必要でありうる。例えば、復号化器（図示せず）で、任意に生成された信号とパッチされた信号とをいずれも利用し、周波数成分が含まれたバンドに作られる信号を生成する場合に必要である。
【0388】
多重化部２９３５は、周波数成分符号化部２９１５で符号化された周波数成分、並びにその周波数成分の位置を示す情報、エネルギー値符号化部２９２５で符号化された各バンドのエネルギー値、並びに各バンドの位置を示す情報を含んで多重化し、出力端子ＯＵＴを介して、多重化されたビットストリームを出力する。所定の場合、多重化部２９３５は、トーナリティ符号化部２９３０で符号化されたトーナリティも含んで多重化できる。
【0389】
図３０は、本発明の概念によるオーディオ信号の符号化方法に係わる一実施形態を図示したフローチャートである。
【0390】
まず、入力されたオーディオ信号を、既設定の第１変換方式で、時間ドメインから周波数ドメインに変換する（第３０００段階）。ここで、オーディオ信号の例として、音声信号または音楽信号などがある。
【0391】
心理音響モデルを適用するために、第１変換方式以外の他の既設定の方式である第２変換方式でも、入力されたオーディオ信号を、時間ドメインから周波数ドメインに変換する（第３００５段階）。
【0392】
第３０００段階で変換された信号は、オーディオ信号の符号化に利用され、第３００５段階で変換された信号は、オーディオ信号に対して心理音響モデルを適用し、重要な周波数成分を検出するのに利用される。ここで、心理音響モデルは、ヒューマン聴覚システムの遮蔽作用に係わる数学的モデルをいう。
【0393】
例えば、第３０００段階では、オーディオ信号を、第１変換方式に該当するＭＤＣＴによって、周波数ドメインに変換して実数部で表現し、第３００５段階では、オーディオ信号を、第２変換方式に該当するＭＤＳＴによって、周波数ドメインに変換して虚数部で表現できる。ここで、ＭＤＣＴによって変換されて実数部で表現された信号は、オーディオ信号の符号化に使われ、ＭＤＳＴによって変換されて虚数部で表現された信号は、オーディオ信号に対して心理音響モデルを適用し、重要な周波数成分を検出するのに利用される。これによって、信号の位相情報をさらに表現できるために、時間ドメインに該当する信号に対してＤＦＴを遂行した後、ＭＤＣＴの係数を量子化することによって、発生するミスマッチを解決できる。
【0394】
第３０００段階で変換された信号から、既設定の基準によって、第３００５段階で変換された信号を利用し、重要な周波数成分であると判断される周波数成分を検出する（第３０１０段階）。第３０１０段階で重要な周波数成分を検出するにおいて、次のような方法がある。第一に、ＳＭＲ値を計算し、マスキング閾値より大きい信号を重要な周波数成分として決定する。第二に、所定の重み付けを考慮してスペクトルピークを抽出し、重要な周波数成分を決定する。第三に、各サブバンド別にＳＮＲ値を計算し、ＳＮＲ値が低いサブバンドのうち、所定大きさ以上のピーク値を有する周波数成分を、重要周波数成分として決定する。前述の三種の方法は、それぞれ実施できるが、少なくとも一つ以上の方法を結合して組み合わせることによって、実施することができ、前述の方法は単なる例に過ぎず、前述の方法に限定して実施しなければならないというものではない。
【0395】
第３０１０段階で検出された周波数成分と、その周波数成分の位置を示す情報とを符号化する（第３０１５段階）。
【0396】
入力されたオーディオ信号を、分析フィルタバンクによって所定の周波数バンド別に時間ドメインによって示すように、ドメインを変換する（第３０１８段階）。例えば、第３０１８段階では、ＱＭＦを適用してドメインを変換する。
【0397】
第３０１８段階で変換された信号の各バンドでの信号に係わるエネルギー値を計算する（第３０２０段階）。ここでバンドの例として、ＱＭＦの場合にバンドは、１個のサブバンド、または１個のスケールファクタ・バンドになりうる。
【0398】
第３０２０段階で計算された各バンドのエネルギー値と、そのバンドの位置を示す情報とを符号化する（第３０２５段階）。
【0399】
第３０１０段階で検出された周波数成分が含まれた各バンドでの信号のトーナリティを計算して符号化する（第３０３０段階）。しかし、本発明では第３０３０段階を必ず含めて実施しなければならないものではない。ただし、復号化器（図示せず）で、周波数成分が作られたバンドに信号を生成するにおいて、単数の信号を利用して生成するのではなく、複数の信号を利用して単数の信号を生成する場合に、第３０３０段階が必要でありうる。例えば、復号化器（図示せず）で、任意に生成された信号とパッチされた信号とをいずれも利用し、周波数成分が含まれたバンドに作られる信号を生成する場合に必要である。
【0400】
第３０１５段階で符号化された周波数成分、並びにその周波数成分の位置を示す情報、第３０２５段階で符号化された各バンドのエネルギー値、並びにそのバンドの位置を示す情報を含んで多重化することによって、ビットストリームを生成する（第３０３５段階）。所定の場合、第３０３５段階では、第３０３０段階で符号化されたトーナリティも含んで多重化できる。
【0401】
本発明の概念は、コンピュータで読み取り可能な記録媒体に、コンピュータ（情報処理機能を有する装置をいずれも含む）で読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録装置の例としては、ＲＯＭ（read-only memory）、ＲＡＭ（random-access memory）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがある。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取り可能なコードが保存されて実行されうる。またキャリアウェーブ（例えば、インターネットを介した伝送）の形態で具現されるものも含む。また、本発明の概念を遂行させる機能的なプログラム、コードそしてコードセグメントは、本発明の概念の属する技術分野のプログラマらによって、容易に構成されうるデあろう。
【0402】
本発明の概念によるオーディオ信号の符号化方法及び装置によれば、オーディオ信号から、重要な周波数成分を検出して符号化し、オーディオ信号に係わって包絡線を符号化する。また、本発明の概念によるオーディオ信号の復号化方法及び装置によれば、重要な周波数成分が含まれたバンドに作られた包絡線を、重要な周波数成分のエネルギー値を考慮して調節することによって、オーディオ信号を復号化する。
【0403】
これにより、少ないビットを利用して符号化したり復号化するにもかかわらず、オーディオ信号の音質を低下させないので、コーディング効率を極大化できる効果を収めることができる。
【0404】
本発明について実施形態を用いて説明したが、それらは例示的なものに過ぎず、本技術分野の当業者ならば、本発明の範囲および趣旨から外れない範囲で多様な変更および変形が可能であるということを理解することができるであろう。従って、本発明の技術的範囲は、説明された実施形態によって定められず、特許請求の範囲によって定められねばならない。
【符号の説明】
【0405】
１００ 第１変換部１０５ 第２変換部
１１０ 周波数成分検出部
１１５ 周波数成分符号化部
１２０ エネルギー値計算部
１２５ エネルギー値符号化部
１３０ トーナリティ符号化部
１３５ 多重化部
２００ 逆多重化部
２０５ 周波数成分復号化部
２１０ エネルギー値復号化部
２１５ 信号生成部
２２０ 信号調節部
２２５ 信号合成部
２３０ 逆変換部
３００ 第１変換部
３０５ 第２変換部
３１０ 周波数成分検出部
３１５ 周波数成分符号化部
３２０ 包絡線抽出部
３２５ 包絡線符号化部
３３０ 多重化部
４００ 逆多重化部
４０５ 周波数成分復号化部
４１０ 包絡線復号化部
４１５ エネルギー計算部
４２０ 包絡線調節部
４２５ 信号合成部
４３０ 逆変換部
５００ 第１変換部
５０５ 第２変換部
５１０ 周波数成分検出部
５１５ 周波数成分符号化部
５２０ エネルギー値計算部
５２５ エネルギー値符号化部
５３０ 第３変換部
５３５ 帯域幅拡張符号化部
５４０ トーナリティ符号化部
５４５ 多重化部
６００ 逆多重化部
６０５ 周波数成分復号化部
６１０ エネルギー値復号化部
６１３ トーナリティ復号化部
６１５ 信号生成部
６２０ 信号調節部
６２５ 第１信号合成部
６３０ 第１逆変換部
６３５ 第２変換部
６４０ 同期化部
６４５ 帯域幅拡張符号化部
６５０ 第２逆変換部
６５５ 第２信号合成部
７００ 第１変換部
７０５ 第２変換部
７１０ 周波数成分検出部
７１５ 周波数成分符号化部
７２０ エネルギー値計算部
７２５ エネルギー値符号化部
７３０ 第３変換部
７３５ 帯域幅拡張符号化部
７４０ トーナリティ符号化部
７４５ 多重化部
８００ 逆多重化部
８０５ 周波数成分復号化部
８１０ エネルギー値復号化部
８１５ トーナリティ復号化部
８２０ 信号生成部
８２５ 信号調節部
８３０ 第１信号合成部
８３５ 第１逆変換部
８４０ 第２変換部
８４５ 同期化部
８５０ 帯域幅拡張符号化部
８５５ 第２信号調節部
８６０ 第２信号合成部
８６５ 第２逆変換部
８７０ 領域合成部
９００ 領域分割部
９０３ 第１変換部
９０５ 第２変換部
９１０ 周波数成分検出部
９１５ 周波数成分符号化部
９２０ エネルギー値計算部
９２５ エネルギー値符号化部
９３０ トーナリティ符号化部
９３５ 第３変換部
９４０ 帯域幅拡張符号化部
９４５ 多重化部
１０００ 逆多重化部
１００５ 周波数成分復号化部
１０１０ エネルギー値復号化部
１０１５ 信号生成部
１０２０ 信号調節部
１０２５ 信号合成部
１０３０ 第１逆変換部
１０３５ 第２変換部
１０４０ 同期化部
１０４５ 帯域幅拡張復号化部
１０５０ 第２逆変換部
１０５５ 領域合成部
１１００ 領域分割部
１１０３ 第１変換部
１１０５ 第２変換部
１１１０ 周波数成分検出部
１１１５ 周波数成分符号化部
１１２０ 包絡線抽出部
１１２５ 包絡線符号化部
１１３０ 第３変換部
１１３５ 帯域幅拡張符号化部
１１４０ 多重化部
１２００ 逆多重化部
１２０５ 周波数成分復号化部
１２１０ 包絡線復号化部
１２１５ エネルギー計算部
１２２０ 包絡線調節部
１２２５ 信号合成部
１２３０ 第１逆変換部
１２３５ 第２変換部
１２４０ 同期化部
１２４５ 帯域幅拡張復号化部
１２５０ 第２逆変換部
１２５５ 領域合成部
１３００ 第１エネルギー計算部
１３１０ 第２エネルギー計算部
１３２０ 利得値計算部
１３３０ 利得値適用部