特許 6139685 損失フレーム復元方法及びオーディオ復号化方法とそれを利用する装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6139685

(24)【登録日】2017年5月12日

(45)【発行日】2017年5月31日

(54)【発明の名称】損失フレーム復元方法及びオーディオ復号化方法とそれを利用する装置

(51)【国際特許分類】

   G10L 19/005 20130101AFI20170522BHJP

【ＦＩ】

   G10L19/005

【請求項の数】15

【全頁数】30

(21)【出願番号】特願2015-531852(P2015-531852)

(86)(22)【出願日】2013年9月11日

(65)【公表番号】特表2015-534115(P2015-534115A)

(43)【公表日】2015年11月26日

(86)【国際出願番号】KR2013008235

(87)【国際公開番号】WO2014042439

(87)【国際公開日】20140320

【審査請求日】2015年3月13日

(31)【優先権主張番号】61/700,865

(32)【優先日】2012年9月13日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】502032105

【氏名又は名称】エルジー エレクトロニクス インコーポレイティド

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100151459

【弁理士】

【氏名又は名称】中村 健一

(72)【発明者】

【氏名】チョン キュヒョク

(72)【発明者】

【氏名】チョン ヒョチョン

(72)【発明者】

【氏名】カン インユ

【審査官】 安田 勇太

(56)【参考文献】

【文献】 特開２００８−１１１９９１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｌ １９／００ −１９／２６

(57)【特許請求の範囲】

【請求項1】

フレーム損失を復元する方法であって、
現在フレームの以前のフレームの対応する帯域を導出するステップであって、前記対応する帯域のそれぞれはＭＤＣＴ（Ｍｏｄｉｆｉｅｄ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）係数を含み、前記以前のフレームの対応する帯域は前記現在フレームの現在帯域と同じ周波数帯に位置し、前記対応する帯域のそれぞれは、前記以前のフレームのそれぞれに対応する、ステップと、
前記対応する帯域のそれぞれのスペクトルピークのエネルギ相関関係に基づいて前記以前のフレームの対応する帯域のトーナリティを導出するステップと、
前記導出されたトーナリティに基づいて前記現在フレームの前記現在帯域のトーナリティを導出するステップと、
前記現在帯域のトーナリティが所定の値より大きいか又は等しいかを決定するステップと、
前記決定の結果に応じて前記現在帯域の減衰定数を導出するステップと、
前記現在フレームの以前のフレームの対応する帯域のＭＤＣＴ係数に前記減衰定数を適用することで前記現在帯域のＭＤＣＴ係数を復元するステップと、を含み、
前記現在帯域の前記トーナリティが前記所定の値より大きい又は等しい場合、前記以前のフレームの前記対応する帯域の前記ＭＤＣＴ係数間の相関関係に基づいて前記減衰定数が導出され、
前記現在帯域の前記トーナリティが前記所定の値より小さい場合、前記以前のフレームの前記対応する帯域のエネルギに基づいて前記減衰定数が導出される、フレーム損失復元方法。

【請求項2】

前記対応する帯域は、前記現在フレームの連続するＮ個(Ｎは、整数)の以前のフレームに基づいて導出される、請求項１に記載のフレーム損失復元方法。

【請求項3】

前記Ｎは、前記以前のフレームの情報を格納するバッファの個数と同じである、請求項２に記載のフレーム損失復元方法。

【請求項4】

前記現在帯域の前記トーナリティが前記所定の値より大きい又は等しい場合、前記以前のフレームの前記対応する帯域の前記ＭＤＣＴ係数間の相関関係は前記現在帯域の前記減衰定数として利用される、請求項１に記載のフレーム損失復元方法。

【請求項5】

前記ＭＤＣＴ係数間の相関関係は、以下の数式に基づいて計算される、請求項４に記載のフレーム損失復元方法。

【数1】

ここで、Ｗ_ｍは前記現在帯域に対する加重値を示し、ｎは前記現在フレームの指数を表し、Ｎ_{ｉ,ｎ−１}は（ｎ−１）番目のフレームのｉ番目のＭＤＣＴ係数を示し、Ｎ_{ｉ,ｎ−２}は、（ｎ−２）番目のフレームのｉ番目のＭＤＣＴ係数を示す。

【請求項6】

前記現在帯域のトーナリティが前記所定の値より小さい場合、前記減衰定数は、前記現在フレームの前記以前のフレームの前記対応する帯域に対するエネルギ値と、前記以前のフレームの前記対応する帯域間のエネルギの変化に基づく前記現在帯域に対して予測されたエネルギ予測値との比である、請求項１に記載のフレーム損失復元方法。

【請求項7】

前記現在帯域のＭＤＣＴ係数は、前記以前のフレームの前記対応する帯域の前記ＭＤＣＴ係数に前記減衰定数をかけた値に復元される、請求項１に記載のフレーム損失復元方法。

【請求項8】

前記以前のフレームが復元フレームである場合、前記現在帯域のＭＤＣＴ係数は、前記以前のフレームの前記対応する帯域の減衰定数に前記現在帯域の減衰定数を追加適用して復元される、請求項７に記載のフレーム損失復元方法。

【請求項9】

現在フレームに損失があるか否かを判断するステップと、
前記現在フレームが損失した場合、現在フレームの以前のフレームの対応する帯域を導出するステップであって、前記対応する帯域のそれぞれはＭＤＣＴ（Ｍｏｄｉｆｉｅｄ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）係数を含み、前記以前のフレームの対応する帯域は前記現在フレームの現在帯域と同じ周波数帯に位置し、前記対応する帯域のそれぞれは、前記以前のフレームのそれぞれに対応する、ステップと、
前記対応する帯域のそれぞれのスペクトルピークのエネルギ相関関係に基づいて前記以前のフレームの前記対応する帯域のトーナリティを導出するステップと、
前記導出されたトーナリティに基づいて前記現在フレームの前記現在帯域のトーナリティを導出するステップと、
前記現在帯域のトーナリティが所定の値より大きいか又は等しいかを決定するステップと、
前記決定の結果に応じて前記現在帯域の減衰定数を導出するステップと、
前記現在フレームの以前のフレームの対応する帯域のＭＤＣＴ係数に前記減衰定数を適用することで前記現在帯域のＭＤＣＴ係数を復元するステップと、
前記復元されたＭＤＣＴ係数を逆変換するステップと、を含み、
前記現在帯域の前記トーナリティが前記所定の値より大きい又は等しい場合、前記以前のフレームの前記対応する帯域の前記ＭＤＣＴ係数間の相関関係に基づいて前記減衰定数が導出され、
前記現在帯域の前記トーナリティが前記所定の値より小さい場合、前記以前のフレームの前記対応する帯域のエネルギに基づいて前記減衰定数が導出される、オーディオ復号化方法。

【請求項10】

前記対応する帯域は、前記現在フレームの連続するＮ個（Ｎは整数）の以前のフレームに基づいて導出される、請求項９に記載のオーディオ復号化方法。

【請求項11】

前記現在帯域のトーナリティが前記所定値より大きい又は等しい場合、前記以前のフレームの前記対応する帯域の前記ＭＤＣＴ係数間の相関度は、前記現在帯域の前記減衰係数として利用される、請求項９に記載のオーディオ復号化方法。

【請求項12】

前記現在帯域のトーナリティが前記所定値より小さい場合、前記減衰定数は、前記現在フレームの前記以前のフレームの前記対応する帯域に対するエネルギー値と、前記以前のフレームの前記対応する帯域間のエネルギの変化に基づく前記現在帯域に対して予測されたエネルギ予測値との比である、請求項９に記載のオーディオ復号化方法。

【請求項13】

前記現在帯域のＭＤＣＴ係数は、前記以前のフレームの前記対応する帯域の前記ＭＤＣＴ係数に前記減衰定数をかけて得られた値に復元される、請求項９に記載のオーディオ復号化方法。

【請求項14】

前記以前のフレームが復元フレームである場合、前記現在帯域のＭＤＣＴ係数は、前記以前のフレームの前記対応する帯域の前記減衰定数に前記現在帯域の減衰定数を追加適用して復元される、請求項１３に記載のオーディオ復号化方法。

【請求項15】

前記所定値より大きい又は等しいトーナリティを有する帯域に対して追加適用される減衰定数は、前記所定値より小さいトーナリティを有する帯域に対して追加適用される減衰定数より小さい又は等しい、請求項１４に記載のオーディオ復号化方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オーディオ(ａｕｄｉｏ)信号の符号化及び復号化に関し、具体的には、オーディオ信号の復号化過程で損失を復元する方法及び装置に関する。

【0002】

より具体的には、本発明は、デジタル通信環境で音声及びオーディオ符号化器からのビットストリームが損失された場合に対する復元する発明とそれを利用する装置に関する。

【背景技術】

【0003】

一般的に、オーディオ信号は、多様な周波数の信号が含まれており、人間の可聴周波数は、２０Ｈｚ−２０ｋＨｚであり、それに対し、一般的に人間の音声は、約２００Ｈｚ−３ｋＨｚ領域に存在する。入力オーディオ信号は、人間の音声が存在する帯域だけでなく、人間の音声が存在しにくい７ｋＨｚ以上の高周波領域の成分まで含む場合がある。

【0004】

最近、ネットワークの発達と高品質サービスに対するユーザ要求が増加しており、狭帯域(Ｎａｒｒｏｗ Ｂａｎｄ：ＮＢ、以下‘ＮＢ’という)、広帯域(Ｗｉｄｅ Ｂａｎｄ：ＷＢ、以下‘ＷＢ’という)、超広帯域(Ｓｕｐｅｒ Ｗｉｄｅ Ｂａｎｄ：ＳＷＢ、以下‘ＳＷＢ’という)のように幅広い帯域を介してオーディオ信号を送信している。

【0005】

それと関連し、ＷＢ(サンプリングレート(ｓａｍｐｌｉｎｇ ｒａｔｅ)が〜約１６ｋＨｚ)の信号に対し、ＮＢ(サンプリングレートが〜約８ｋＨｚ)に適した符号化方式を適用すると、音質の劣化が発生するという問題点がある。

【0006】

また、ＳＷＢ(サンプリングレートが〜約３２ｋＨｚ)の信号に対し、ＮＢ(サンプリングレートが〜約８ｋＨｚ)に適した符号化方式やＷＢ(サンプリングレート(ｓａｍｐｌｉｎｇ ｒａｔｅ)が〜約１６ｋＨｚ)に適した符号化方式を適用すると、音質の劣化が発生するという問題点がある。

【0007】

したがって、ＮＢからＷＢまたはＳＷＢに達するまでの多様な帯域に対し、または多様な帯域間で通信環境を含む多様な環境で使用可能な音声及びオーディオ符号化装置/復号化装置に対する開発が進行している。

【0008】

一方、音声信号の符号化過程または符号化された情報の送信過程では情報の損失が発生できる。この場合、復号化過程では、損失された情報の復元または隠匿のためのプロセスを実行することができる。前述したように、帯域別に最適化された符号化/復号化方法が使われている状況で、ＳＷＢ信号に損失が発生する場合は、ＷＢの損失に対処する方法とは異なる方法により損失を復元し、または隠匿する必要がある。

【発明の概要】

【発明が解決しようとする課題】

【0009】

本発明は、損失された現在フレームのＭＤＣＴ係数を復元する方法及び装置を提供することを目的とする。

【0010】

本発明は、追加的な遅延がない損失復元方法として現在フレーム以前の正常フレーム間の相関関係を介して現在フレームのＭＤＣＴ係数を復元するためのスケーリング係数(減衰定数)を帯域別に適応的に求める方法及び装置を提供することを目的とする。

【0011】

本発明は、損失された現在フレームの直前フレームだけでなく、現在フレーム以前の複数個の正常フレームを利用して減衰定数を適応的に算出する方法及び装置を提供することを目的とする。

【0012】

本発明は、帯域別特徴を反映して減衰定数を適用する方法及び装置を提供することを目的とする。

【0013】

本発明は、現在フレーム以前の所定個数の正常フレームに基づいて帯域別トーナリティに応じて減衰定数を誘導する方法及び装置を提供することを目的とする。

【0014】

本発明は、損失された現在フレーム以前の正常フレームの変換係数特性を反映して現在フレームを復元する方法及び装置を提供することを目的とする。

【0015】

本発明は、連続されたフレーム損失がある場合にも、単純に先行減衰を前提にしてフレーム復元を実行するものではなく、単一フレーム損失に適用するために誘導された減衰定数及び/または連続フレーム損失に適用するために誘導された減衰定数を以前のフレームの復元された変換係数に適用することによって、効果的に信号を復元する方法及び装置を提供することを目的とする。

【課題を解決するための手段】

【0016】

本発明の一実施形態は、オーディオ信号のフレーム損失復元方法であって、現在フレームの以前のフレームのうち少なくとも一つのフレームの変換係数を所定個数の帯域にグルーピングするステップと、グルーピングされた帯域のトーナリティに応じて減衰定数を誘導するステップと、現在フレームの以前のフレームに減衰定数を適用することで現在フレームの変換係数を復元するステップとを含む。

【0017】

本発明の他の実施形態は、オーディオ復号化方法であって、現在フレームの損失可否を判断するステップと、現在フレームが損失した場合、現在フレームの以前のフレームの変換係数に基づいて現在フレームの変換係数を復元するステップと、復元された変換係数を逆変換するステップとを含み、変換係数を復元するステップでは以前のフレームのうち少なくとも一つのフレームの変換係数の帯域別トーナリティ(tonality)に基づいて現在フレームの変換係数を復元することができる。

【発明の効果】

【0018】

本発明によると、損失した現在フレームの直前フレームだけでなく、現在フレーム以前の複数個の正常フレームを利用して減衰定数を適応的に算出することによって、復元効果を大きく高めることができる。

【0019】

本発明によると、帯域別特徴を反映して減衰定数を適用することによって帯域別特性が反映された復元効果を得ることができる。

【0020】

本発明によると、現在フレーム以前の所定個数の正常フレームに基づいて帯域別トーナリティに応じて減衰定数を誘導することができるため、帯域特性を考慮して減衰定数を適応的に適用することができる。

【0021】

本発明によると、損失された現在フレーム以前の正常フレームの変換係数特性を反映して現在フレームを復元することができるため、復元性能を向上させることができる。

【0022】

本発明によると、連続したフレーム損失がある場合にも、単純に先行減衰を前提にしてフレーム復元を実行するものではなく、単一フレーム損失に適用するために誘導された減衰定数及び/または連続フレーム損失に適用するために誘導された減衰定数を以前のフレームの復元された変換係数に適用することによって、より効果的に信号を復元することができる。

【図面の簡単な説明】

【0023】

【図1】超広帯域信号を帯域拡張方法に処理する場合に利用できる符号化器構成の一例を概略的に示す。

【図2】超広帯域信号を帯域拡張方法に処理する場合に利用できる復号化器構成の一例を概略的に示す。

【図3】通信環境でオーディオ情報を含めたビットストリームが損失された場合に適用されることができる復号化器の一例を概略的に説明するブロック図である。

【図4】本発明によってフレーム損失を隠匿するのに適用される復号化器の一例を概略的に説明するブロック図である。

【図5】本発明によるフレーム損失隠匿部の一例を概略的に説明するブロック図である。

【図6】本発明によって復号化器でフレーム損失を隠匿/復元する方法の一例を概略的に説明する流れ図である。

【図7】本発明によって相関度を誘導することを概略的に説明する図面である。

【図8】本発明によって復号化器でフレーム損失を隠匿/復元する方法の他の例を概略的に説明する流れ図である。

【図9】本発明によるフレーム損失復元(隠匿)方法の一例を概略的に説明する流れ図である。

【図10】本発明によるオーディオ復号化方法の一例を概略的に説明する流れ図である。

【発明を実施するための形態】

【0024】

以下、図面を参照して本発明の実施形態に対して具体的に説明する。本明細書の実施例を説明するにあたって、関連している公知構成または機能に対する具体的な説明が本明細書の要旨を不明にすると判断される場合は説明を省略する。

【0025】

一構成要素が他の構成要素に「連結されている」または「接続されている」と言及された場合、該当他の構成要素に直接的に連結されている、または接続されていることもあるが、中間に他の構成要素が存在することもあると理解しなければならない。

【0026】

第１、第２などの用語は、多様な構成要素の説明に使われることができるが、前記構成要素は、前記用語により限定されてはならない。前記用語は、一つの構成要素を他の構成要素から区別する目的としてのみ使われる。

【0027】

また、本発明の実施例に示す構成部は、互いに異なる特徴的な機能を示すために独立的に図示されるものであり、各構成部が分離されたハードウェアや一つのソフトウェア構成単位に構成されることを意味しない。即ち、各構成部は、説明の便宜上、各々の構成部として羅列して含むものであり、各構成部のうち少なくとも２個の構成部が統合されて一つの構成部からなり、または一つの構成部が複数個の構成部に分けられて機能を遂行することができる。

【0028】

ネットワークの発達と高品質サービスに対する要求に応じて、ＮＢ(Ｎａｒｒｏｗ Ｂａｎｄ)からＷＢ(Ｗｉｄｅ Ｂａｎｄ)またはＳＷＢ(Ｓｕｐｅｒ Ｗｉｄｅ Ｂａｎｄ)に達するまでの多様な帯域に対するオーディオ信号処理方法が研究されている。例えば、音声及びオーディオ符号化/復号化技術として、ＣＥＬＰ(Ｃｏｄｅ Ｅｘｃｉｔｅｄ Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ)モード、サイン(ｓｉｎｕｓｏｉｄａｌ)モードなどが使われることができる。

【0029】

符号化器は、ベースラインコーダ(ｂａｓｅｌｉｎｅ ｃｏｄｅｒ)と向上階層(ｅｎｈａｎｃｅｍｅｎｔ ｌａｙｅｒ)とに区分されることができる。また、向上階層は、低帯域向上(Ｌｏｗｅｒ Ｂａｎｄ Ｅｎｈａｎｃｅｍｅｎｔ：ＬＢＥ)階層、帯域拡張(Ｂａｎｄｗｉｄｔｈ Ｅｘｔｅｎｓｉｏｎ：ＢＷＥ)階層、そして高帯域向上(Ｈｉｇｈｅｒ Ｂａｎｄ Ｅｎｈａｎｃｅｍｅｎｔ：ＨＢＥ)階層に分けられることができる。

【0030】

ＬＢＥ階層は、コア符号化器(ｃｏｒｅ ｅｎｃｏｄｅｒ)/コア復号化器(ｃｏｒｅ ｄｅｃｏｄｅｒ)で処理した音源と原音との差異信号、即ち、励起信号(ｅｘｃｉｔｅｄ ｓｉｇｎａｌ)を符号化/復号化することによって、低帯域の音質を向上させる。高帯域信号は、低帯域信号との間で類似性を有するため、低帯域を利用した高帯域拡張方法を介して低いビット率で高帯域信号を復元することができる。

【0031】

高帯域の信号を拡張して符号化し、復号化過程を経て復元する方法として、ＳＷＢ信号をスケーラブル拡張(ｓｃａｌａｂｌｅ ｅｘｔｅｎｓｉｏｎ)して処理する方法を考慮することができる。ＳＷＢ信号を帯域拡張する方法は、ＭＤＣＴ(Ｍｏｄｉｆｉｅｄ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ)ドメインで動作できる。

【0032】

拡張階層は、ジェネリックモード(ｇｅｎｅｒｉｃ ｍｏｄｅ)とサインモード(ｓｉｎｕｓｏｉｄａｌ ｍｏｄｅ)とに分けられて処理されることができる。例えば、３個の拡張階層が利用される場合、１番目の拡張階層は、ジェネリックモードとサインモードで処理され、２番目及び３番目の拡張階層は、サインモードで処理するようにすることができる。

【0033】

本明細書において、サイン波(ｓｉｎｕｓｏｉｄ)は、正弦波(ｓｉｎｅ ｗａｖｅ)及び正弦波を半波長ほど位相シフト(ｓｈｉｆｔ)した余弦波(ｃｏｓｉｎｅ ｗａｖｅ)を両方とも含む。したがって、本発明において、サイン波(ｓｉｎｕｓｏｉｄ)は、正弦波(ｓｉｎｅ ｗａｖｅ)を意味することもあり、余弦波(ｃｏｓｉｎｅ ｗａｖｅ)を意味することもある。入力されたサイン波が余弦波である場合は、符号化/復号化過程で正弦波または余弦波に変換することができ、この変換は、入力信号が経る変換の変換方法にしたがう。入力されたサイン波が正弦波である場合にも、符号化/復号化過程で余弦波または正弦波に変換することができ、この変換は、入力信号が経る変換の変換方法にしたがう。

【0034】

ジェネリックモードで、コーディングは、コーディングされた広帯域(ｗｉｄｅｂａｎｄ)シグナルサブ帯域の適応的複製(ｒｅｐｌｉｃａｔｉｏｎ)に基づいて行われる。サインモードのコーディングでは高周波コンテンツ(ｈｉｇｈ ｆｒｅｑｕｅｎｃｙ ｃｏｎｔｅｎｔｓ)にサイン波が追加される。

【0035】

サインモードは、周期性が強い信号またはトーン成分がある信号に対する効率的符号化技法であって、各サイン波成分に対して符号(ｓｉｇｎ)、大きさ(ａｍｐｌｉｔｕｄｅ)、位置(ｐｏｓｉｔｉｏｎ)情報を符号化することができる。各階層(ｌａｙｅｒ)毎に所定個数、例えば、１０個のＭＤＣＴ係数を符号化することができる。

【0036】

図１は、超広帯域信号を帯域拡張方法に処理する場合に利用できる符号化器構成の一例を概略的に示す。図１では、サインモードが適用されたＧ.７１８アネックス(ａｎｎｅｘ)Ｂスケーラブル拡張(ｓｃａｌａｂｌｅ ｅｘｔｅｎｓｉｏｎ)の符号化器構造を例に挙げて説明する。

【0037】

図１の符号化器は、ＳＷＢ拡張のためにジェネリックモードとサインモードとで構成され、追加的なビットが割り当てられる場合、サインモードを拡張して使用することができる。

【0038】

図１を参照すると、符号化器１００は、ダウンサンプリング部１０５、ＷＢコア１１０、変換部１１５、トーナリティ(ｔｏｎａｌｉｔｙ)推定部１２０、ＳＷＢ(Ｓｕｐｅｒ Ｗｉｄｅ Ｂａｎｄ)符号化部１５０を含む。ＳＷＢ符号化部１５０は、トーナリティ(ｔｏｎａｌｉｔｙ)判断部１２５、ジェネリックモード部１３０、サイン波モード部１３５、追加サイン波部１４０、１４５を含む。

【0039】

ＳＷＢ信号が入力されると、ダウンサンプリング部１０５は、入力信号をダウンサンプリングしてコア符号化器(ｃｏｒｅ ｅｎｃｏｄｅｒ)が処理できるＷＢ信号を生成する。

【0040】

ＳＷＢ符号化は、ＭＤＣＴドメインで実行される。ＷＢコア１１０は、ＷＢ信号を符号化して合成されたＷＢ信号をＭＤＣＴし、ＭＤＣＴ係数を出力する。

【0041】

ＭＤＣＴ(Ｍｏｄｉｆｉｅｄ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ)は、時間領域の信号を周波数領域の信号に変換させる変換であって、重複合算(ｏｖｅｒｌａｐ−ａｄｄｉｔｉｏｎ)方式を使用して原本信号を変換前信号に完全復元(ｐｅｒｆｅｃｔ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ)することができる。数式１は、ＭＤＣＴの一例を示す。

【0042】

【数1】

【0043】

【数2】

【0044】

変換部１１５は、ＳＷＢ信号をＭＤＣＴし、トーナリティ推定部１２０がＭＤＣＴされた信号のトーナリティを推定する。ジェネリックモードとサインモードのうちいずれのモードを選択するかは、トーナリティ(ｔｏｎａｌｉｔｙ)に基づいて判断することができる。

【0045】

トーナリティ推定は、現在フレーム(ｃｕｒｒｅｎｔ ｆｒａｍｅ)と過去フレーム(ｐａｓｔ ｆｒａｍｅ)でスペクトルピーク(ｓｐｅｃｔｒａｌ ｐｅａｋ)間の相関分析(ｃｏｒｒｅｌａｔｉｏｎ ａｎａｌｙｓｉｓ)に基づいて実行されることができる。トーナリティ推定部１２０は、トーナリティ(ｔｏｎａｌｉｔｙ)推定値をトーナリティ判断部１２５に出力する。

【0046】

トーナリティ判断部１２５は、ＭＤＣＴ変換された信号がトーナル(ｔｏｎａｌ)かどうかをトーナリティ(ｔｏｎａｌｉｔｙ)に基づいて判断した後、ジェネリックモード部１３０及びサイン波モード部１３５に伝達する。例えば、トーナリティ判断部１２５は、トーナリティ推定部１２０から入力されたトーナリティ推定値を所定の基準値と比較してＭＤＣＴ変換された信号がトーナル信号かまたは非トーナル信号かを判断することができる。

【0047】

図示されているように、ＳＷＢ符号化部１５０は、ＭＤＣＴされたＳＷＢ信号のＭＤＣＴ係数を処理する。このとき、ＳＷＢ符号化部１５０は、コア符号化器１１０を経て入力される合成ＷＢ信号のＭＤＣＴ係数を利用してＳＷＢ信号のＭＤＣＴ係数を処理することができる。

【0048】

トーナリティ判断部１２５によりＭＤＣＴ変換された信号がトーナルでないと判断された場合は、ジェネリックモード部１３０に信号が伝達され、トーナルであると判断された場合は、サイン波モード部１３５に信号が伝達される。

【0049】

ジェネリックモードは、入力フレームがトーナル(ｔｏｎａｌ)でないと判断された場合に利用することができる。ジェネリックモード部１３０は、低帯域スペクトラム(ｌｏｗ ｆｒｅｑｕｅｎｃｙ ｓｐｅｃｔｒｕｍ)を直接高周波数(ｈｉｇｈ ｆｒｅｑｕｅｎｃｙ)にトランスポーズ(ｔｒａｎｓｐｏｓｅ)し、原(ｏｒｉｇｉｎａｌ)高周波数の包絡線(ｅｎｖｅｌｏｐｅ)に従うようにパラメータ化することができる。このとき、パラメータ化は、原高周波数の場合より概略的に(ｃｏａｒｓｅｌｙ)行うことができる。ジェネリックモードを適用することによって、高周波コンテンツを低いビット率でコーディングすることができる。

【0050】

例えば、ジェネリックモードでは高周波帯域をサブ帯域(ｓｕｂ−ｂａｎｄ)に分け、所定の類似性判断基準によって、符号化されて包絡線正規化された広帯域コンテンツのうち最もよく適合する(ｍａｔｃｈ)ものを選択する。選択されたコンテンツは、スケーリングされた後に合成された高周波コンテンツとして出力される。

【0051】

サイン波モード(ｓｉｎｕｓｏｉｄａｌ ｍｏｄｅ)部１３５は、入力されたフレームがトーナルである場合に利用することができる。サインモードではサイン波成分の有限集合(ｆｉｎｉｔｅ ｓｅｔ)をＨＦ(Ｈｉｇｈ Ｆｒｅｑｕｅｎｃｙ)スペクトラムに加えてＳＷＢ信号を生成する。このとき、ＨＦスペクトラムは、ＳＷ合成信号のＭＤＣＴ係数を利用して生成される。

【0052】

追加的なビットが割り当てられる場合は、追加サイン波部１４０、１４５を介して、サイン波モードを拡張して適用することができる。

【0053】

追加サイン波部１４０、１４５ではジェネリックモードに出力された信号とサインモードに出力された信号に追加サイン波を付加して生成信号を向上させる。例えば、追加サイン波部１４０、１４５は、追加ビットが割り当てられる場合、送信する追加サイン波(パルス)を決定し、量子化するサインモードを拡張して信号を改善する。

【0054】

一方、図示されているように、コア符号化器１１０、トーナリティ判断部１２５、ジェネリックモード部１３0、サイン波モード部１35、追加サイン波部１４０、１４５の出力は、ビットストリームとして復号化器に送信することができる。

【0055】

図２は、超広帯域信号を帯域拡張方法に処理する場合に利用できる復号化器構成の一例を概略的に示す。図２では、超広帯域信号の帯域拡張に使われる復号化器の例であり、Ｇ.７１８アネックスＢ ＳＷＢスケーラブル拡張の復号化器を例に挙げて説明する。

【0056】

図２を参照すると、復号化器２００は、ＷＢ復号化部２０５、ＳＷＢ復号化部２３５、逆変換部２４０、加算部２４５を含む。ＳＷＢ復号化部２３５は、トーナリティ(ｔｏｎａｌｉｔｙ)判断部２１０、ジェネリックモード部２１５、サイン波モード部２２５、追加サイン波部２２０、２３０を含む。

【0057】

一般的に正常フレームが入力すると、ビットストリームのパーシング(ｐａｒｓｉｎｇ)情報に応じて、ＳＷＢ復号化部２３５を介してＳＷＢ信号が合成される。

【0058】

フレームのＷＢ信号は、ＷＢ復号化部２０５でＳＷＢパラメータを利用して合成するようになる。

【0059】

復号化器２００で出力される最終的なＳＷＢ信号は、ＷＢ復号化部２０５で出力するＷＢ信号と、ＳＷＢ復号化部２３５及び逆変換部2４０を経て出力するＳＷＢ拡張信号との和となる。

【0060】

具体的に、ＷＢ復号化部２０５、ＳＷＢ復号化部２３５にはビットストリームから処理する対象情報及び/または処理のための補助情報を入力することができる。

【0061】

ＷＢ復号化部２０５は、広帯域信号を復号化してＷＢ信号を合成する。合成されたＷＢ信号のＭＤＣＴ変換係数は、ＳＷＢ復号化部２３５に入力することができる。

【0062】

ＳＷＢ復号化部２３５は、ビットストリームから入力されたＳＷＢ信号のＭＤＣＴを復号化する。このとき、ＷＢ復号化部２０５から入力される合成されたＷＢ信号(Ｓｙｎｔｈｅｓｉｚｅｄ Ｓｕｐｅｒ Ｗｉｄｅ Ｂａｎｄ Ｓｉｇｎａｌ)のＭＤＣＴ係数を利用することができる。ＳＷＢ信号の復号化は、主にＭＤＣＴドメインで実行される。

【0063】

トーナリティ判断部２１０は、ＭＤＣＴ変換された信号がトーナル信号かまたは非トーナル信号かを判断することができる。ＭＤＣＴ変換された信号がトーナルであると判断された場合は、ジェネリックモード部２１５でＳＷＢ拡張信号が合成され、トーナルでないと判断された場合は、サイン波モード部２２５でサイン波情報を介してＳＷＢ拡張信号(ＭＤＣＴ係数)を合成することができる。ジェネリックモード部２１５とサイン波モード部２２５は、拡張階層の１番目の階層をデコーディングし、上位階層は、追加ビットを利用して追加サイン波部２２０、２３０で復号化されることができる。例えば、レイヤ７やレイヤ８に対しては追加サイン波モードのサイン波情報ビットを利用してＭＤＣＴ係数を合成することができる。

【0064】

合成されたＭＤＣＴ係数は、逆変換部２４０で逆変換され、ＳＷＢ拡張合成信号が生成されることができる。このとき、追加サイン波ブロックのレイヤ情報によって合成される。

【0065】

加算部２４５は、ＷＢ復号化部２０５で出力されたＷＢ信号と、逆変換部２４０で出力されたＳＷＢ拡張合成信号とを加算してＳＷＢ信号を出力することができる。

【0066】

一方、符号化されたオーディオ情報が復号化器に伝達される過程で損失が発生する場合、ＦＥＣ(Ｆｏｒｗａｒｄ Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ)を介して損失を復元し、または隠匿(ｃｏｎｃｅａｌｍｅｎｔ)することができる。

【0067】

情報の送信過程でエラーが発生した場合、受信側で情報を受信したか否かをシグナリングすることによって、送信側から情報の再送信を受けるＡＲＱ(Ａｕｔｏｍａｔｉｃ Ｒｅｐｅａｔ Ｒｅｑｕｅｓｔ)と違って、ＦＥＣの場合は、受信側でエラーを訂正し、または損失を補償/隠匿することができる。

【0068】

具体的に、ＦＥＣの場合、送信(エンコーダ)側で送信するデータまたは格納媒体に格納されたデータにエラーを訂正し、または損失を補償/隠匿することができる情報(エラー/損失訂正用情報)が含まれ、受信(デコーダ)側では送信されたデータまたは格納されたデータのエラー/損失をエラー/損失訂正用情報を利用して復元することができる。このとき、エラー/損失訂正用情報として、以前の正常フレーム(ｐｒｅｖｉｏｕｓ ｇｏｏｄ ｆｒａｍｅ)のパラメータ、ＭＤＣＴ係数、符号化/復号化された信号などが利用されることができる。

【0069】

図１で説明したように、ＳＷＢビットストリームは、ＷＢ信号とＳＷＢ拡張信号のビットストリームで構成することができる。ＷＢ信号のビットストリームとＳＷＢ拡張信号のビットストリームは、一つのパケットで構成されるため、オーディオ信号の一つのフレームが損失された場合、ＷＢ信号のビットとＳＷＢ拡張信号のビットが両方とも損失するようになる。

【0070】

この場合、ＦＥＣ復号化器は、正常フレームに対する復号化動作と同様に、ＦＥＣを適用してＷＢ信号とＳＷＢ拡張信号を別々出力した後、ＷＢ信号とＳＷＢ拡張信号とを合算して損失フレームに対するＳＷＢ信号を出力することができる。

【0071】

現在フレームが損失された場合、ＦＥＣ復号化器は、現在フレーム以前の正常フレームのトーナル情報(ｔｏｎａｌ ｉｎｆｏｒｍａｔｉｏｎ)と合成されたＭＤＣＴ係数を利用し、損失された現在フレームに対するＭＤＣＴ係数を合成することができる。ＦＥＣ復号化器は、合成されたＭＤＣＴ係数を逆変換してＳＷＢ拡張信号を出力することができ、ＳＷＢ拡張信号とＷＢ信号とを加えて損失された現在フレームに対するＳＷＢ信号を復号化することができる。

【0072】

図３は、通信環境でオーディオ情報を含めたビットストリームが損失された場合に適用されることができる復号化器の一例を概略的に説明するブロック図である。具体的に、図３は、損失されたフレームに対する復号化を実行することができる復号化器の一例である。

【0073】

図３では、Ｇ.７１８アネックスＢ ＳＷＢスケーラブル拡張(Ｇ.７１８ Ａｎｎｅｘ Ｂ ＳＷＢ ｓｃａｌａｂｌｅ ｅｘｔｅｎｓｉｏｎ)のＦＥＣ復号化器を損失フレームに適用できる復号化器の一例として説明する。

【0074】

図３を参照すると、ＦＥＣ復号化器３００は、ＷＢ ＦＥＣ復号化部３０５、ＳＷＢ ＦＥＣ復号化部３３０、逆変換部３３５及び加算部３４０を含む。

【0075】

ＷＢ ＦＥＣ復号化部３０５は、ビットストリームのＷＢ信号をデコーディングすることができる。ＷＢ ＦＥＣ復号化部３０５は、損失されたＷＢ信号(ＷＢ信号のＭＤＣＴ係数)にＦＥＣを適用して復号化を実行することができる。このとき、ＷＢ ＦＥＣ復号化部３０５は、損失された現在フレームの以前のフレーム(正常フレーム)の情報を利用して現在フレームのＭＤＣＴ係数を復元することができる。

【0076】

ＳＷＢ ＦＥＣ復号化部３３０は、ビットストリームのＳＷＢ拡張信号をデコーディングすることができる。ＳＷＢ ＦＥＣ復号化部３３０は、損失されたＳＷＢ拡張信号(ＳＷＢ拡張信号のＭＤＣＴ係数)にＦＥＣを適用して復号化を実行することができる。ＳＷＢ ＦＥＣ復号化部３３０は、トーナリティ判断部３１０、複製部(ｒｅｐｌｉｃａｔｉｏｎ ｕｎｉｔ)３１５、３２０、３２５を含むことができる。

【0077】

トーナリティ(ｔｏｎａｌｉｔｙ)判断部３１０は、ＳＷＶ拡張信号がトーナル(ｔｏｎａｌ)かまたは非トーナルかを判断することができる。

【0078】

トーナルであると判断されたＳＷＢ拡張信号(トーナルＳＷＢ拡張信号)とトーナルでないと判断されたＳＷＢ拡張信号(非トーナルＳＷＢ拡張信号)は、互いに異なる過程を介して復元することができる。例えば、トーナルＳＷＢ拡張信号は、複製部３１５を経て、非トーナル(ａｔｏｎａｌ)ＳＷＢ拡張信号は、複製部３２０を経た後、二つの信号が合成されて複製部３２５を介して復元することができる。

【0079】

このとき、トーナルＳＷＢ拡張信号に適用されるスケーリングファクタと非トーナルＳＷＢ拡張信号に適用されるスケーリングファクタは、互いに異なる値を有する。また、トーナルＳＷＢ拡張信号と非トーナルＳＷＢ拡張信号とを合成したＳＷＢ拡張信号に適用されるスケーリングファクタは、トーナル成分と非トーナル成分に対して適用するスケーリングファクタと異なることもある。

【0080】

具体的に、ＳＷＢ拡張信号を復元するために逆変換部３３５で逆変換(ＩＭＤＣＴ)が実行されるように、ＳＷＢ ＦＥＣ復号化部３３０は、逆変換の対象信号(ＳＷＢ拡張信号のＭＤＣＴ係数)を復元することができる。ＳＷＢ ＦＥＣ復号化部３３０は、損失したフレーム(現在フレーム)以前の正常フレームのモードによるスケーリング係数を適用して正常フレームの信号(ＭＤＣＴ係数)が線形的に減衰するようにすることによって、損失したフレームのＳＷＢ信号に対するＭＤＣＴ係数を復元することができる。

【0081】

この場合、連続したフレーム損失に対しても線形的減衰を維持することによって、連続したフレームが損失した場合にも損失した信号を復元することができる。

【0082】

復元対象信号がジェネリックモードの信号かまたはサイン波モードの信号か(トーナル信号かまたは非トーナル(ｓｔｏｎａｌ)信号か)に応じて異なるスケーリング係数が適用されることができる。例えば、ジェネリックモードに対してはスケーリングファクタβ_FECを適用し、サイン波モードに対してはスケーリングファクタβ_FEC,sinを適用することができる。

【0083】

例えば、現在フレームが損失され、正常フレームである以前のフレームがジェネリックモードであり、レイヤがレイヤ７まであると仮定すると、現在フレーム(損失フレーム)を復元するためのスケーリングファクタとしてβ_FEC＝０.５、β_FEC,sin＝０.６に設定することができる。このとき、現在フレーム(損失されたフレーム)のＭＤＣＴ係数は、数式２のように復元されることができる。

【0084】

【数3】

【0085】

【数4】

【0086】

また、現在フレームが損失され、正常フレームである以前のフレームがサイン波モードであり、レイヤが７まであると仮定すると、現在フレーム(損失フレーム)を復元するためのスケーリングファクタとしてβ_FEC＝０、β_FEC,sin＝０.８に設定されることができる。このとき、現在フレーム(損失されたフレーム)のＭＤＣＴ係数は、数式３のように復元されることができる。

【0087】

【数5】

【0088】

数式２と数式３を一般化すると、損失されたフレームのＳＷＢ拡張信号に対するＭＤＣＴ係数は、数式４のように復元することができる。

【0089】

【数6】

【0090】

一方、前述したようなＦＥＣ方法では、現在フレームが損失された場合、以前のフレーム(過去フレーム)のＭＤＣＴ係数のみを利用し、ＭＤＣＴ係数が線形減衰することを仮定することによって損失された信号を復元する。この方法を適用する場合、信号のエネルギが順次減衰する区間で損失が発生した場合は、信号を効果的に復元することができるが、信号のエネルギが増加する場合または信号が正常状態(エネルギの大きさが一定範囲内で維持された状態)である場合は、音質歪曲が発生するようになる。

【0091】

また、前述したようなＦＥＣ方法は、損失されたフレームが正常フレームの区間中、一つまたは二つのフレームが損失されるといった小さい損失率の通信環境では良い性能を示すことができる。それに対し、連続するフレームが損失される場合(損失が頻繁に発生する場合)または損失が発生する区間が長い場合は、復元された信号にも音質損失が明確に示すことができる。

【0092】

前述した点を考慮して、本発明では現在フレーム(損失されたフレーム)以前の正常フレームのうち一つのフレームの変換係数(ＭＤＣＴ係数)だけでなく、現在フレーム以前の正常フレームの変化程度を利用して適応的にスケーリングファクタを適用することができる。

【0093】

また、前述したようにＳＷＢ拡張帯域に同じスケーリングファクタを適用する代わりに、本発明ではＭＤＣＴ特性が帯域別に異なるということを反映することができる。例えば、本発明では現在フレーム(損失されたフレーム)以前の正常フレームの変化程度を考慮したスケーリングファクタを帯域別に修正することができる。したがって、ＭＤＣＴ係数の変化が帯域別にスケーリングファクタに反映されることができる。

【0094】

本発明の適用方法を対象別に分類すると、下記の(１)と(２)のように概略的に分類することができる。

【0095】

(１)単一フレームが損失された場合−本発明は、ＭＤＣＴまたはＦＦＴ(Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ)のように時間軸信号を他の軸(例えば、周波数軸)信号に変換する場合にも適用することができるため、図２または図３に示すＧ.７１８のＳＷＢ復号化器構造において、上位ＳＷＢ側でのフレーム損失を効果的に復元または隠匿することができる。

【0096】

単一フレームの損失において、フレーム損失を隠匿する方法は、大きく(ｉ)〜(iii)のような三つのステップを含むことができる。(ｉ)受信されたフレームの損失可否を判断するステップ、(ii)受信されたフレームに損失が発生された場合、以前の正常フレームに対する変換係数から損失されたフレームに対する変換係数を復元するステップ、及び(iii)復元された変換係数を逆変換するステップ。

【0097】

例えば、フレーム損失が確認された場合、変換係数を復元するステップにおいて、ｎ番目のフレームが損失した場合は、以前のフレーム(ｎ−１番目のフレーム、ｎ−２番目のフレーム、...、ｎ−Ｎ番目のフレーム)に対する変換係数として格納されている変換係数からｎ番目のフレームに対する変換係数を復元することができる。ここで、Ｎは、損失隠匿過程で使われるフレームの個数を意味する。次に、復元されたｎ番目のフレームに対する変換係数(ＭＤＣＴ係数)を逆変換(ＩＭＤＣＴ)することでフレーム損失を隠匿することができる。

【0098】

このとき、変換係数を復元するステップでは帯域別に減衰定数(スケーリングファクタ)を使い分けることができる。また、正常フレーム(無損失フレーム)のトーナル成分有無を以前の正常フレームから算出し、トーナル成分の有無によって減衰定数を使い分けることもできる。

【0099】

例えば、トーナル成分が強い帯域の場合は、以前のフレームでサイン波パルス(ＭＤＣＴ係数)の相関情報を利用し、損失されたフレームの変換係数を復元するために使用する減衰定数を誘導することができる。トーナル成分がないまたは弱い帯域の場合は、以前の正常フレームに対する変換係数(ＭＤＣＴ係数)のエネルギ情報を推定し、損失されたフレームの変換係数を復元するために使用する減衰定数を誘導することができる。

【0100】

復元された変換係数、各帯域のトーナル情報及び減衰定数は、フレームの損失が連続する場合に対する損失復元(隠匿)のために格納することができる。

【0101】

(２)連続したフレームが損失された場合−連続したフレームが損失された場合、損失を隠匿する方法は、大きく(ａ)と(ｂ)の二つのステップを含むことができる。(ａ)受信されたフレームに対し、連続するフレームが損失したかどうかを判断するステップ、及び(ｂ)連続したフレームが損失した場合、以前の正常フレーム(無損失フレーム)の変換係数を利用して連続的に損失したフレームに対する励起信号(ＭＤＣＴ係数)を復元するステップ。

【0102】

連続したフレームが損失された場合も、帯域別にトーナル成分の有無またはトーナル成分の強弱に応じて帯域別に適用される追加減衰定数(スケーリングファクタ)に変化を与えることができる。

【0103】

図４は、本発明によってフレーム損失を隠匿するのに適用される復号化器の一例を概略的に説明するブロック図である。

【0104】

図４を参照すると、復号化器４００は、ＷＢ信号に対するフレーム損失判断部４０５、ＷＢ信号に対するフレーム損失隠匿部４１０、ＷＢ信号の復号化部４１５、ＳＷＢ信号に対するフレーム損失判断部４２０、ＳＷＢ信号の復号化部４２５、ＳＷＢ信号のフレーム損失隠匿部４３０、フレームバックアップ部４３５、逆変換部４４０、加算部４４５を含む。

【0105】

フレーム損失判断部４０５は、ＷＢ信号に対するフレーム損失可否を判断する。フレーム損失判断部４２０は、ＳＷＢ信号に対するフレーム損失可否を判断する。フレーム損失判断部４０５、４２０は、損失が単一フレームに発生したか、または連続したフレームに発生したかも判断することができる。

【0106】

ここでは、ＷＢ信号に対するフレーム損失判断部４０５とＳＷＢ信号に対するフレーム損失判断部４２０を別途の動作部として説明したが、本発明はこれに限定されるものではない。例えば、復号化器４００は、一つのフレーム損失部を含み、フレーム損失部でＷＢ信号に対するフレーム損失とＳＷＢ信号に対するフレーム損失を両方とも判断することができる。または、フレームに損失が発生した場合、ＷＢ信号とＳＷＢ信号が両方とも損失されたため、ＷＢ信号に対するフレーム損失を判断した後、判断結果をＳＷＢ信号に対して適用することもでき、またはＳＷＢ信号に対するフレーム損失を判断した後、判断結果をＷＢ信号に対して適用することもできる。

【0107】

損失があると判断されたＷＢ信号のフレームに対し、フレーム損失隠匿部４１０は、フレーム損失を隠匿する。フレーム損失隠匿部４１０は、以前の正常フレーム情報に基づいて損失が発生したフレーム(現在フリーム)の情報を復元することができる。

【0108】

損失がないと判断されたＷＢ信号のフレームに対し、ＷＢ復号化部４１５は、ＷＢ信号の復号化を実行することができる。

【0109】

ＷＢ信号に対して復号化または復元された信号は、ＳＷＢ信号の復号化または復元のためにＳＷＢ復号化部４２５に伝達することができる。また、ＷＢ信号に対して復号化または復元された信号は、加算部４４５に伝達されてＳＷＢ信号の合成に利用することができる。

【0110】

一方、損失がないと判断されたＳＷＢ信号のフレームに対し、ＳＷＢ復号化部４２５は、ＳＷＢ拡張信号の復号化を実行することができる。このとき、ＳＷＢ復号化部４２５は、復号化されたＷＢ信号を利用してＳＷＢ拡張信号を復号化することもできる。

【0111】

損失があると判断されたＳＷＢ信号のフレームに対してはＳＷＢフレーム損失隠匿部４３０がフレームの損失を復元または隠匿することができる。

【0112】

単一フレームの損失がある場合、ＳＷＢフレーム損失隠匿部４３０は、フレームバックアップ部４３５に格納された以前の正常フレームの変換係数を利用して現在フレームの変換係数を復元することができる。連続したフレームの損失がある場合、ＳＷＢフレーム損失隠匿部４３０は、以前に復元した損失フレームの変換係数と正常フレームの変換係数だけでなく、以前の損失フレームの変換係数を復元するのに使われた情報(例えば、帯域別トーナル情報、帯域別減衰定数情報等)を利用して現在フレーム(損失フレーム)に対する変換係数を復元することができる。

【0113】

ＳＷＢフレーム損失隠匿部４３０で復元した変換係数(ＭＤＣＴ係数)は、逆変換部４４０で逆変換(ＩＭＤＣＴ)しることができる。

【0114】

フレームバックアップ部４３５は、現在フレームの変換係数(ＭＤＣＴ係数)を格納することができる。フレームバックアップ部４３５では以前に格納された変換係数(以前のフレームの変換係数)を削除し、現在フレームに対する変換係数を格納することができる。現在フレームに対する変換係数は、直後のフレームに損失がある場合、損失を隠匿するために使うことができる。

【0115】

それに対し、フレームバックアップ部４３５は、Ｎ個のバッファ(Ｎは、整数)を有し、フレームの変換係数を格納することもできる。この場合、バッファに格納されるフレームは、正常フレームと損失から復元されたフレームである。

【0116】

例えば、フレームバックアップ部４３５は、Ｎ番目のバッファに格納された変換係数を削除し、各バッファに格納されたフレームの変換係数を真横のバッファに一つずつ移動(ｓｈｉｆｔ)させた後、１番目のバッファに現在フレームに対する変換係数を格納することができる。このとき、バッファの個数Ｎは、復号化器の性能、オーディオ品質などを考慮して決めることができる。

【0117】

逆変換部４４０は、ＳＷＢ復号化部４２５で復号化された変換係数とＳＷＢフレーム損失隠匿部４３０で復元された変換係数を逆変換してＳＷＢ拡張信号を生成することができる。

【0118】

加算部４４５は、ＷＢ信号とＳＷＢ拡張信号とを合成してＳＷＢ信号を出力することができる。

【0119】

図５は、本発明によるフレーム損失隠匿部の一例を概略的に説明するブロック図である。図５では単一フレームが損失された場合に対するフレーム損失隠匿部を例に挙げて説明する。

【0120】

単一フレームが損失した場合、フレーム損失隠匿部は、前述したように、フレームバックアップ部に格納された以前の正常フレームの変換係数に対する情報を利用することによって損失したフレームの変換係数を復元することができる。

【0121】

図５を参照すると、フレーム損失隠匿部５００は、帯域分割部５０５、トーナル(ｔｏｎａｌ)成分有無判断部５１０、相関度算出部５１５、減衰定数算出部５２０、エネルギ算出部５２５、エネルギ予測部５３０、減衰定数算出部５３５、損失フレーム変換係数復元部５４０を含む。

【0122】

本発明によるフレーム損失隠匿/復元では帯域別ＭＤＣＴ係数の特性を考慮してＭＤＣＴ係数を復元することができる。具体的に、本発明によるフレーム損失隠匿/復元では帯域別に異なる変化率(減衰定数)を適用し、損失フレームに対するＭＤＣＴ係数を復元することができる。

【0123】

したがって、フレーム損失隠匿部５００では、帯域(ｂａｎｄ)分割部５０５がバッファに格納された以前の正常フレームの変換係数をＭ個の帯域(Ｍ個のグループ)にグルーピング(ｇｒｏｕｐｉｎｇ)する。帯域分割部５０５は、グルーピングする時、連続する変換係数が一つの帯域に属するようにすることによって、周波数帯域別に正常フレームの変換係数が分割される効果を得るようになる。例えば、Ｍ個のグループは、Ｍ個の帯域になる。

【0124】

トーナル成分有無判断部５１０ではＮ個のバッファ(１〜Ｎ番目のバッファ)に格納された変換係数を利用してスペクトルピークのエネルギ相関度をログ(ｌｏｇ)ドメインで分析することによって変換係数のトーナリティを各帯域別に算出することができる。即ち、トーナル成分有無判断部５１０は、トーナリティを各帯域別に算出することによって帯域別にトーナル成分有無を判断することができる。例えば、損失フレームがｎ番目のフレームである場合、Ｎ個のバッファに格納された以前のフレーム(ｎ−１番目のフレーム〜ｎ−Ｎ番目のフレーム)の変換係数を利用してｎ番目のフレーム(損失フレーム)のＭ個帯域に対するトーナリティが誘導されることができる。

【0125】

損失したフレームのトーナリティを帯域(ｂａｎｄ)別に判断した結果、トーナル成分が多い帯域は、相関度算出部５１５、減衰定数算出部５２０を介して誘導された減衰定数を利用して復元することができる。

【0126】

損失したフレームのトーナリティを帯域別に判断した結果、トーナル成分がないまたは少ない帯域は、エネルギ算出部５２５、エネルギ予測部５３０、減衰定数算出部５３５を介して誘導した減衰定数を利用して復元することができる。

【0127】

具体的に、無損失フレームの変換係数に対する相関度算出部５１５は、トーナル成分有無判断部５１０でトーナルであると判断した帯域(例えば、ｍ番目の帯域)に対する相関度を算出することができる。即ち、相関度算出部５１５は、トーナル成分が存在すると判断される帯域で、ｎ番目のフレームである現在フレーム(損失フレーム)以前の連続した正常フレーム(ｎ−１番目のフレーム、...、ｎ−Ｎ番目のフレーム)のパルス間位置の相関度を測定することによって、相関度を判断することができる。

【0128】

連続した正常フレームで強い相関性を有するフレームの場合、パルス(ＭＤＣＴ係数)の位置は、重要なＭＤＣＴ係数または大きさが大きいＭＤＣＴ係数から±Ｌに位置することを前提にして相関度判断を実行することができる。

【0129】

減衰定数算出部５２０は、相関度算出部５１５で算出した相関度に基づいてトーナル成分が多い帯域に対する減衰定数を適応的に算出することができる。

【0130】

一方、無損失フレームのフレームに対するエネルギ算出部５２５は、トーナル成分がないまたは少ない帯域に対するエネルギを算出することができる。エネルギ算出部５２５は、現在フレーム(損失フレーム)以前の正常フレームに対して各帯域(ｂａｎｄ)別にエネルギを算出することができる。例えば、現在フレーム(損失フレーム)がｎ番目のフレームであり、Ｎ個のバッファにＮ個の以前のフレームに対する情報が格納されている場合、エネルギ算出部５２５は、ｎ−１番目のフレームからｎ−Ｎ番目のフレームまでのフレームに対して帯域別にエネルギを算出することができる。このとき、エネルギが算出される帯域は、トーナル成分有無判断部５１０によりトーナル成分がないまたは少ないと判断された帯域に属する帯域である。

【0131】

エネルギ予測部５３０ではエネルギ算出部５２５からフレーム別に算出された帯域別エネルギに基づいて現在フレーム(損失フレーム)のエネルギを線形予測することによって推定することができる。

【0132】

減衰定数算出部５３５は、エネルギ予測部５３０で算出されたエネルギの予測値に基づいてトーナル成分がない又は少ない帯域に対する減衰定数を誘導することができる。

【0133】

即ち、トーナル成分が多い帯域に対し、相関度算出部５１５で算出された無損失フレームの変換係数間の相関度に基づいて減衰定数算出部５２０が減衰定数を誘導することができる。また、トーナル成分がないまたは少ない帯域に対しては、エネルギ予測部５３０で予測された現在フレーム(損失フレーム)のエネルギと以前の正常フレームのエネルギとの間の比に基づいて減衰定数を誘導することができる。例えば、現在フレーム(損失フレーム)がｎ番目のフレームの場合、ｎ番目のフレームのエネルギとして予測された値とｎ−１番目のフレームのエネルギとの間の比(ｎ−１番目のフレームのエネルギ/ｎ番目のフレームのエネルギ予測値)をｎ番目のフレームに適用する減衰定数として誘導することができる。

【0134】

損失フレームの変換係数復元部５４０では減衰定数算出部５２０、５３５で算出された減衰定数(スケーリングファクタ)と現在フレーム以前の正常フレームの変換係数を利用して現在フレーム(損失フレーム)の変換係数を復元することができる。

【0135】

図５のフレーム損失隠匿部で実行する動作を図面を利用してさらに具体的に説明する。

【0136】

図６は、本発明によって復号化器でフレーム損失を隠匿/復元する方法の一例を概略的に説明する流れ図である。図６では単一フレームが損失した場合に適用するフレーム損失隠匿方法を例を挙げて説明する。図６の動作は、オーディオ信号復号化器または復号化器内の特定動作部で実行することもできる。例えば、図５の説明を参照すると、図６の動作は、図５のフレーム損失隠匿部で実行することもできる。ただし、ここでは説明の便宜のために、復号化器が図６の動作を実行すると説明する。

【0137】

図６を参照すると、復号化器は、オーディオ信号を含むフレームを受信する(Ｓ６００)。復号化器は、フレーム損失があるかどうかを判断する(Ｓ６０５)。

【0138】

受信したフレームが正常フレームであると判断すると、ＳＷＢ復号化部を介してＳＷＢ復号化を実行することができる(Ｓ６５０)。フレーム損失があると判断されると、復号化器は、フレーム損失隠匿を実行する。

【0139】

具体的に、フレーム損失があると判断すると、復号化器は、格納されていた以前の正常フレームに対する変換係数をフレームバックアップバッファから持ってきて(Ｓ６１５)、Ｍ個(Ｍは、整数)の帯域に分割する(Ｓ６１０)。帯域分割に対しては前述した通りである。

【0140】

復号化器は、無損失フレーム(正常フレーム)のトーナル成分有無を判断する(Ｓ６２０)。例えば、現在フレーム(損失フレーム)がｎ番目のフレームの場合、復号化器は、現在フレームの以前のフレームであるｎ−１番目のフレーム、ｎ−２番目のフレーム、...、ｎ−Ｎ番目のフレームのＭ個の帯域にグルーピングされた変換係数を利用することで、帯域別にトーナル成分がある程度か判断することができる。このとき、Ｎは、以前のフレームの変換係数を格納するバッファの個数であり、バッファの個数がＮである場合、Ｎ個のフレームに対する変換係数を格納することができる。

【0141】

トーナリティは、正常フレーム(ｎ−１番目のフレーム、ｎ−２番目のフレーム、...、ｎ−Ｎ番目のフレーム)の帯域別変換係数を利用してログ(ｌｏｇ)軸でのスペクトラム類似性に基づいて決定することができる。例えば、変換係数を３個の帯域(Ｍ＝３)にグルーピングする場合、現在フレーム以前の正常フレームの変換係数が３個の帯域に分類され、帯域毎にトーナリティが異なる。例えば、１番目の帯域はトーナル成分があり、２番目の帯域はトーナル成分がなく、３番目の帯域はトーナル成分があると判断することができる。

【0142】

このように、トーナリティは、帯域別に異なると判断することができ、トーナリティに応じて他の方法を利用して帯域別減衰定数を誘導することができる。

【0143】

例えば、トーナル成分が多いと判断された場合は、無損失フレーム(正常フレーム)の変換係数間の相関度を算出(Ｓ６２５)し、算出された相関度に基づいて減衰定数を算出することができる(Ｓ６３０)。

【0144】

具体的に、復号化器は、フレームバックアップバッファに格納された変換係数(ＭＤＣＴ係数)を帯域分割した信号を利用して無損失フレーム(正常フレーム)の変換係数間の相関度を算出することができる(Ｓ６２５)。相関度の算出は、Ｓ６２０ステップでトーナル成分があると判断された帯域に対してのみ実行することができる。

【0145】

変換係数の相関度を算出するステップ(Ｓ６２５)は、トーナリティ(トーナリティ、ｔｏｎａｌｉｔｙ)が強い帯域で連続性が大きいハーモニックを測定するものであり、連続した正常フレームで変換係数のサイン波(ｓｉｎｕｓｏｉｄ)パルスの位置が大きく変わらないという点を利用する。

【0146】

即ち、連続された正常フレームのサイン波パルスの位置相関度を測定して帯域別に相関度を算出することができる。このとき、相関度を算出するためのサイン波パルスとして大きさが大きい(絶対値が大きい)Ｋ個の変換係数を選択することができる。

【0147】

帯域別相関度は、数式５を利用して算出されることができる。

【0148】

【数7】

【0149】

ここで、Ｗ_mは、ｍ番目の帯域に対する加重値を示す。加重値は、低い周波数帯域であるほど大きい値が割り当てられることができる。したがって、Ｗ₁≧Ｗ₂≧Ｗ₃…の関係が成立することができる。数式５において、Ｗ_mは、１より大きい値を有することができる。したがって、数式５は、フレーム別に信号が増加する場合にも適用することができる。

【0150】

数式５において、Ｎ_i,n-1は、ｎ−１番目のフレームのｉ番目のサイン波パルスを示し、Ｎ_i,n-2は、ｎ−２番目のフレームのｉ番目のサイン波パルスを示す。

【0151】

数式５では説明の便宜のために、現在フレーム(損失フレーム)以前の二つの正常フレーム(ｎ−１番目の正常フレーム、ｎ−２番目の正常フレーム)のみを考慮する場合を説明した。

【0152】

図７は、本発明によって相関度を誘導することを概略的に説明する図面である。

【0153】

図７では説明の便宜のために、二つの正常フレーム(ｎ−１番目のフレームとｎ−２番目のフレーム)で変換係数が３個の帯域にグルーピングされる場合を例に挙げて説明する。

【0154】

図７の例では、帯域１と帯域２がトーナリティ(ｔｏｎａｌｉｔｙ)が存在する帯域であると仮定する。この場合、数式５により相関度が算出されることができる。

【0155】

数式５を利用すると、帯域１の場合は、ｎ−１番目のフレームとｎ−２番目のフレームで大きさが大きいパルスの位置が類似するため、大きい値の相関度が算出される。それに対し、帯域２の場合は、ｎ−１番目のフレームとｎ−２番目のフレームで大きさが大きいパルスの位置が異なるため、小さい値の相関度が算出される。

【0156】

また、図６を参照すると、復号化器は、算出された相関度に基づいて減衰定数を算出することができる(Ｓ６３０)。相関度の最大値は、１より小さいため、復号化器は、帯域別相関度を減衰定数として誘導することもできる。即ち、復号化器は、帯域別相関度を減衰定数として使用することもできる。

【0157】

Ｓ６２５及びＳ６３０ステップで説明したように、本発明によると、トーナリティ(ｔｏｎａｌｉｔｙ)がある帯域に対して算出されたパルス間の相関度に応じて減衰定数を適応的に算出することができる。

【0158】

一方、トーナリティが少ないまたはない帯域に対し、復号化器は、無損失フレーム(正常フレーム)変換係数のエネルギを計算し(Ｓ６３５)、計算されたエネルギに基づいてｎ番目のフレーム(現在フレーム、損失フレーム)のエネルギを予測し(Ｓ６４０)、予測された損失フレームのエネルギと正常フレームのエネルギを利用して減衰定数を算出(Ｓ６４５)することができる。

【0159】

具体的に、トーナリティが少ないまたはない帯域に対し、復号化器は、現在フレーム(損失フレーム)以前の正常フレームに対して帯域別にエネルギを算出することができる(Ｓ６３５)。例えば、現在フレームがｎ番目のフレームの場合、ｎ−１番目のフレーム、ｎ−２番目のフレーム、...、ｎ−Ｎ(Ｎは、バッファの個数)番目のフレームに対して帯域別にエネルギ値を算出することができる。

【0160】

復号化器は、算出された正常フレームのエネルギに基づいて現在フレーム(損失フレーム)のエネルギを予測することができる(Ｓ６４０)。例えば、現在フレームのエネルギは、以前の正常フレームにおいてフレーム当たりエネルギ変化量を考慮して予測されることができる。

【0161】

復号化器は、フレーム間のエネルギの比を利用して減衰定数を算出することができる(Ｓ６４５)。例えば、復号化器は、現在フレーム(ｎ番目のフレーム)の予測されたエネルギと以前のフレーム(ｎ−１番目のフレーム)のエネルギとの間の比を介して減衰定数を算出することができる。現在フレームの予測されたエネルギがＥ_n,predであり、現在フレームの以前のフレームでのエネルギがＥ_n-1の場合、現在フレームのトーナリティが少ないまたはない帯域に対する減衰定数は、Ｅ_n,pred/Ｅ_n-1になりうる。

【0162】

復号化器は、帯域別に算出された減衰定数を利用して現在フレーム(損失フレーム)の変換係数を復元することができる(Ｓ６６０)。復号化器は、現在フレーム以前の正常フレームの変換係数に帯域別に算出された減衰定数をかけて現在フレームの変換係数を復元することができる。このとき、減衰定数は、帯域別に誘導されるため、正常フレームの変換係数で構成される帯域のうち対応する帯域の変換係数にかけられる。

【0163】

例えば、復号化器は、ｎ−１番目のフレームのｋ番目の帯域内の変換係数にｋ番目の帯域に対する減衰定数をかけることで、ｎ番目のフレーム(損失された現在フレーム)のｋ番目の帯域の変換係数を誘導することができる(ｋとｎは、整数)。復号化器は、ｎ−１番目のフレームの各帯域に対して対応する減衰定数をかけることで、全体帯域に対するｎ番目のフレーム(現在フレーム)の変換係数を復元することができる。

【0164】

復号化器は、復元された変換係数及び復号化された変換係数を逆変換してＳＷＢ拡張信号を出力することができる(Ｓ６６５)。復号化器は、変換係数(ＭＤＣＴ係数)を逆変換(ＩＭＤＣＴ)することで、ＳＷＢ拡張信号を出力することができる。復号化器は、ＳＷＢ拡張信号とＷＢ信号を合成してＳＷＢ信号を出力することができる。

【0165】

一方、Ｓ６６０で復元された変換係数、Ｓ６２０で判断されたトーナル成分有無情報、Ｓ６３０とＳ６４５で算出された減衰定数のような情報は、フレームバックアップバッファに格納することができる(Ｓ６５５)。格納された変換係数は、以後のフレームが損失した場合に損失したフレームの変換係数を復元するために使うことができる。例えば、復号化器は、連続したフレームが損失した場合は、格納した復元情報(以前のフレームで復元した変換係数、以前のフレームに対するトーナル成分情報、減衰定数等)を利用して連続した損失フレームに対する復元を実行することができる。

【0166】

図８は、本発明によって復号化器でフレーム損失を隠匿/復元する方法の他の例を概略的に説明する流れ図である。図８では連続したフレームが損失した場合に適用するフレーム損失隠匿方法を例を挙げて説明する。図８の動作は、オーディオ信号復号化器または復号化器内の特定動作部で実行することもできる。例えば、図５の説明を参照すると、図８の動作は、図５のフレーム損失隠匿部で実行することもできる。ただし、ここでは説明の便宜のために、復号化器が図８の動作を実行すると説明する。

【0167】

図８を参照すると、復号化器は、現在フレームに対してフレーム損失があるかどうかを判断する(Ｓ８００)。

【0168】

復号化器は、フレーム損失がある場合、連続したフレームが損失したかどうかを判断する(Ｓ８１０)。復号化器は、現在フレームが損失した場合、以前のフレームも損失したかどうかを判断し、連続したフレームが損失しるかどうかを決定することができる。

【0169】

以前のフレームが正常フレームの場合(単一フレームが損失した場合)、復号化器は、図６で説明した帯域分割ステップ(Ｓ６１０)とその以後のステップを順序通りに進行することができる。

【0170】

以前のフレームにもフレーム損失があって連続したフレームが損失したと判断されると、復号化器は、フレームバックアップバッファから情報を持ってきて(Ｓ８２０)、Ｍ個(Ｍは、整数)の帯域に分割することができる(Ｓ８３０)。Ｓ８３０で実行する帯域分割も前述した通りである。ただし、以前の正常フレームでの変換係数をＭ個の帯域に分割した単一フレーム損失の場合と違って、Ｓ８３０では以前の損失フレームで復元された変換係数をＭ個の帯域に分割する。

【0171】

復号化器は、以前のフレーム(復元フレーム)のトーナル成分有無を判断する(Ｓ８４０)。例えば、現在フレーム(損失フレーム)がｎ番目のフレームの場合、復号化器は、現在フレームの以前のフレームとして損失フレームであるｎ−１番目のフレームのＭ個の帯域にグルーピングされた変換係数を利用することで、帯域別にトーナル成分がある程度か判断することができる。

【0172】

トーナリティは、帯域別変換係数を利用してログ(ｌｏｇ)軸でのスペクトラム類似性に基づいて決定することができる。例えば、変換係数を３個の帯域(Ｍ＝３)にグルーピングする場合、以前のフレームの変換係数が３個の帯域に分類され、帯域毎にトーナリティが異なる。例えば、１番目の帯域はトーナル成分があり、２番目の帯域はトーナル成分がなく、３番目の帯域はトーナル成分があると判断することができる。

【0173】

このように、トーナリティは、帯域別に異なると判断することができ、トーナリティに応じて帯域別減衰定数を誘導することができる。

【0174】

復号化器は、以前のフレームの減衰定数に追加減衰要素を適用することで、現在フレームに適用する減衰定数を誘導することができる(Ｓ８５０)。

【0175】

具体的に、ｐ個のフレームが連続して損失した場合(ｐ回フレーム損失が連続して発生した場合)、１番目のフレーム損失に対する初期減衰定数はλ₁に決定され、２番目のフレーム損失に対する追加減衰定数はλ₂に決定され、ｑ番目のフレーム損失に対する追加減衰定数はλ_qに決定され、ｐ番目のフレーム損失に対する追加減衰定数はλ_pに決定されることができる(ｐとｑは、整数、ｑ<ｐ)。この場合、損失したフレームのうち、ｑ番目のフレームに適用される減衰定数は、これらの初期減衰定数及び/または追加減衰定数の積から誘導することができる。

【0176】

このとき、トーナリティが強い帯域に対しては大きい追加減衰を適用し、トーナリティが弱い帯域に対しては小さい追加減衰を適用することができる。したがって、帯域のトーナリティが大きい場合は、追加減衰を多くし、帯域のトーナリティが小さい場合は、追加減衰を少なくすることができる。

【0177】

例えば、ｒ(ｒは、整数)番目のフレーム損失に対し、トーナリティが強い帯域の追加減衰定数λ_{r,strong tonality}は、数式６のように、トーナリティが弱い帯域の追加減衰定数λ_{r,weak tonality}より大きいまたは同じ値を有するようになる。

【0178】

【数8】

【0179】

一例として、３個のフレームが連続して損失した場合を仮定する。このとき、トーナリティが強い帯域の場合、１番目のフレーム損失に対する初期減衰定数を１に設定し、２番目のフレーム損失に対しては追加減衰定数を０.９に設定し、３番目のフレーム損失に対しては追加減衰定数を０.７に設定することができる。トーナリティが弱い帯域の場合、１番目のフレーム損失に対して減衰定数を１に設定し、２番目のフレーム損失に対しては追加減衰定数を０.９５に設定し、３番目のフレーム損失に対しては追加減衰定数を０.８５に設定することができる。

【0180】

追加減衰定数は、トーナリティが強い帯域かまたはトーナリティが弱い帯域かに応じて異なるように設定することができるが、１番目のフレーム損失に対する初期減衰定数は、トーナリティが強い帯域かまたはトーナリティが弱い帯域かに応じて異なるように設定することもでき、帯域のトーナリティに関係なく設定することもできる。

【0181】

復号化器は、誘導した減衰定数を以前のフレームの帯域に適用し(Ｓ８６０)、現在フレームの変換係数を復元することができる。

【0182】

復号化器は、帯域別に誘導した減衰定数を以前のフレーム(復元されたフレーム)の対応する帯域に適用することができる。例えば、現在フレームがｎ番目のフレーム(損失フレーム)であり、ｎ−１番目のフレームが復元フレームである場合、復号化器は、復元フレーム(ｎ−１番目のフレーム)のｋ番目の帯域を構成する変換係数にｋ番目の帯域に対する減衰定数をかけて現在フレーム(ｎ番目のフレーム)のｋ番目の帯域を構成する変換係数を得ることができる。復号化器は、ｎ−１番目のフレームの各帯域に対して対応する減衰定数をかけて全体帯域に対するｎ番目のフレーム(現在フレーム)の変換係数を復元することができる。

【0183】

復号化器は、復元された変換係数を逆変換することができる(Ｓ８８０)。復号化器は、復元された変換係数(ＭＤＣＴ係数)を逆変換(ＩＭＤＣＴ)してＳＷＢ拡張信号を生成することができ、ＷＢ信号と合成してＳＷＢ信号を出力することができる。

【0184】

一方、図８では初期減衰定数と追加減衰定数をトーナリティに応じて設定すると説明したが、本発明はこれに限定されるものではない。

【0185】

例えば、トーナリティに応じて初期減衰定数と追加減衰定数のうち少なくとも一つを誘導することもできる。具体的に、復号化器は、トーナリティが強い帯域に対してフレームバックアップバッファに格納された正常フレーム及び復元フレームの変換係数との相関度に基づき、Ｓ６２５及びＳ６３０で説明したように減衰定数を算出することができる。この場合、ｈ個(ｈは、整数)のフレームが連続して損失され、現在フレームが損失されたフレームのうちｈ番目のフレームであると仮定すると、復元フレームのうち１番目のフレームに対する減衰定数としてフレームバックアップバッファに格納された減衰定数が初期減衰定数となり、２番目の復元フレームから現在フレームまでの減衰定数は追加減衰定数となる。したがって、現在フレームに対するトーナリティが強い帯域の減衰定数は、数式７のように、以前のｈ−１個の連続された復元フレームに対する減衰定数と現在フレームに対して誘導された減衰定数との積から誘導されることができる。

【0186】

【数9】

【0187】

数式７において、λ_ts,currentは、現在フレームの変換係数を誘導するために以前の復元フレームに適用される減衰定数であり、λ_ts1は、ｈ個の連続されたフレーム損失に対して１番目のフレーム損失に対する減衰定数であり、λ_ts2は、２番目のフレーム損失に対する減衰定数であり、λ_tshは、現在フレームに対して以前のフレームとの相関度に基づいて誘導された減衰定数である。減衰定数は、トーナリティが強い帯域に対して帯域別に誘導っすることができる。

【0188】

また、復号化器は、トーナリティが弱い帯域に対してフレームバックアップバッファに格納された正常フレーム及び復元フレームの変換係数のエネルギに基づき、Ｓ６３５ないしＳ６４５で説明したように減衰定数を算出することができる。この場合、ｈ個(ｈは、整数)のフレームが連続して損失され、現在フレームが損失されたフレームのうちｈ番目のフレームであると仮定すると、復元フレームのうち１番目のフレームに対する減衰定数としてフレームバックアップバッファに格納された減衰定数が初期減衰定数となり、２番目の復元フレームから現在フレームまでの減衰定数は追加減衰定数となる。したがって、現在フレームに対するトーナリティが弱い帯域の減衰定数は、数式８のように、以前のｈ−１個の連続された復元フレームに対する減衰定数と現在フレームに対して誘導された減衰定数との積から誘導することができる。

【0189】

【数10】

【0190】

数式８において、λ_tw,currentは、現在フレームの変換係数を誘導するために以前の復元フレームに適用される減衰定数であり、λ_tw1は、ｈ個の連続されたフレーム損失に対して１番目のフレーム損失に対する減衰定数であり、λ_tw2は、２番目のフレーム損失に対する減衰定数であり、λ_twhは、現在フレームに対して以前のフレームとの相関度に基づいて誘導された減衰定数である。減衰定数は、トーナリティが弱い帯域に対して帯域別に誘導することができる。

【0191】

図９は、本発明によるフレーム損失復元(隠匿)方法の一例を概略的に説明する流れ図である。図９の動作は、復号化器で実行することもでき、復号化器内のフレーム損失隠匿部で実行することもできる。ここでは説明の便宜のために、復号化器で図９の動作を実行すると説明する。

【0192】

図９を参照すると、復号化器は、現在フレームの以前のフレームのうち少なくとも一つのフレームの変換係数を所定個数の帯域にグルーピングする(Ｓ９１０)。このとき、現在フレームは、損失フレームであり、現在フレームの以前のフレームは、フレームバックアップバッファに格納された正常フレームまたは復元フレームである。

【0193】

復号化器は、グルーピングされた帯域のトーナリティに応じて減衰定数を誘導することができる(Ｓ９２０)。このとき、減衰定数は、現在フレーム以前のＮ個(Ｎは、整数)の正常フレームの変換係数に基づいて誘導することができ、Ｎは、以前のフレームの情報を格納するバッファの個数である。

【0194】

また、変換係数のトーナリティが強い帯域で減衰定数は、以前の正常フレームの変換係数間の相関度に基づいて誘導することができ、変換係数のトーナリティが弱い帯域で減衰定数は、以前の正常フレームに対するエネルギに基づいて誘導することができる。

【0195】

また、減衰定数は、現在フレーム以前のＮ個(Ｎは、整数)の正常フレーム及び復元フレームの変換係数に基づいて誘導することもでき、Ｎは、以前のフレームの情報を格納するバッファの個数である。

【0196】

また、変換係数のトーナリティが強い帯域で減衰定数は、以前の正常フレーム及び復元フレームの変換係数間の相関度に基づいて誘導することもでき、変換係数のトーナリティが弱い帯域で減衰定数は、以前の正常フレーム及び復元フレームに対するエネルギに基づいて誘導することもできる。

【0197】

減衰定数に対する具体的な内容は、以上で詳細に説明した通りである。

【0198】

復号化器は、現在フレームの以前のフレームに減衰定数を適用することで、現在フレームの変換係数を復元することができる(Ｓ９３０)。現在フレームの変換係数は、前記以前のフレームの各帯域別変換係数に帯域別に誘導された減衰定数をかけた値に復元されることができる。現在フレームの以前のフレームが復元フレームである場合、即ち、連続されたフレームが損失された場合、現在フレームの変換係数は、以前のフレームの減衰定数に現在フレームの減衰定数を追加適用して復元することもできる。

【0199】

減衰定数を適用することで現在フレーム(損失フレーム)の変換係数を復元する方法の具体的な内容は、前述した通りである。

【0200】

図１０は、本発明によるオーディオ復号化方法の一例を概略的に説明する流れ図である。図１０の動作は、復号化器で実行することができる。

【0201】

図１０を参照すると、復号化器は、現在フレームの損失可否を判断することができる(Ｓ１０１０)。

【0202】

現在フレームが損失した場合、復号化器は、現在フレームの以前のフレームの変換係数に基づいて前記現在フレームの変換係数を復元することができる(Ｓ１０２０)。このとき、復号化器は、以前のフレームのうち少なくとも一つのフレームの変換係数の帯域別トーナリティに基づいて現在フレームの変換係数を復元することができる。

【0203】

変換係数の復元は、現在フレームの以前のフレームのうち少なくとも一つのフレームの変換係数を所定個数の帯域にグルーピングし、グルーピングされた帯域のトーナリティに応じて減衰定数を誘導し、現在フレームの以前のフレームに減衰定数を適用することによって実行することができる。このとき、現在フレームの以前のフレームが復元フレームの場合、前記現在フレームの変換係数は、前記以前のフレームの減衰定数に前記現在フレームの減衰定数を追加適用して復元することができ、トーナル成分が強い帯域に対して追加適用される減衰定数は、トーナル成分が弱い帯域に対して追加適用される減衰定数より小さいまたは同じである。

【0204】

帯域のグルーピング、減衰定数の誘導、減衰定数の適用に対しては、図９及び本明細書の前部で詳細に説明した通りである。

【0205】

復号化器は、復元された変換係数を逆変換することができる(Ｓ１０３０)。復号化器は、復元された変換係数(ＭＤＣＴ係数)がＳＷＢに対するものの場合、逆変換(ＩＭＤＣＴ)を介してＳＷＢ拡張信号を生成することができ、ＷＢ信号と合成してＳＷＢ信号を出力することができる。

【0206】

一方、以上では、本明細書において、(ａ)トーナル成分がある及びトーナル成分がない、(ｂ)トーナル成分が多い及びトーナル成分がないまたは少ない、(ｃ)トーナリティ(ｔｏｎａｌｉｔｙ)がある及びトーナリティが(少ないまたは)ないと三つに表現することによってトーナリティに対する判断基準を示したが、この三つの表現は、説明の便宜のためのものであって、同じ基準を示し、互いに異なる判断基準ではないことに留意する。

【0207】

即ち、本明細書において、トーナル成分がある、トーナル成分が多い、トーナリティがあるという三つの表現は、所定の基準値より多いトーナル成分が存在するという意味であり、トーナル成分がない、トーナル成分がないまたは少ない、トーナリティが(少ないまたは)ないという三つの表現は、トーナル成分が所定の基準値より少ないということを意味する。

【0208】

前述した例示において、方法は、一連のステップまたはブロックで流れ図に基づいて説明されているが、本発明は、ステップの順序に限定されるものではなく、あるステップは、前述と異なるステップと、異なる順序にまたは同時に発生することができる。また、前述した実施例は、多様な態様の例示を含む。例えば、前述した実施形態を互いに組合せて実施することもでき、これも本発明による実施形態に属する。本発明は、特許請求の範囲内に属する本発明の技術的思想による多様な修正及び変更を含む。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】