(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】特表2016-530548(P2016-530548A)
(43)【公表日】2016年9月29日
(54)【発明の名称】エネルギー調整モジュールを備えた帯域幅拡大モジュールを有するオーディオ復号器
(51)【国際特許分類】
G10L 19/005 20130101AFI20160902BHJP
G10L 21/0388 20130101ALI20160902BHJP
【FI】
G10L19/005
G10L21/0388 100
【審査請求】有
【予備審査請求】有
【全頁数】29
(21)【出願番号】特願2016-520479(P2016-520479)
(86)(22)【出願日】2014年6月18日
(85)【翻訳文提出日】2016年2月2日
(86)【国際出願番号】EP2014062902
(87)【国際公開番号】WO2014202701
(87)【国際公開日】20141224
(31)【優先権主張番号】13173152.3
(32)【優先日】2013年6月21日
(33)【優先権主張国】EP
(31)【優先権主張番号】14167050.5
(32)【優先日】2014年5月5日
(33)【優先権主張国】EP
(81)【指定国】
AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KN,KP,KR,KZ,LA,LC,LK,LR,LS,LT,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG,US
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.Blu−ray
(71)【出願人】
【識別番号】500341779
【氏名又は名称】フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
(74)【代理人】
【識別番号】100085464
【弁理士】
【氏名又は名称】野口 繁雄
(72)【発明者】
【氏名】ジェレミー・レコンテ
(72)【発明者】
【氏名】ファビアン・バウアー
(72)【発明者】
【氏名】ラルフ・シュペルシュナイダー
(72)【発明者】
【氏名】アルトゥル・トリットハルト
(57)【要約】
オーディオフレームを含むビットストリームからオーディオ信号を生成するように構成されているオーディオ復号器が提供される。このオーディオ復号器は、ビットストリームから直接復号されたコア帯域オーディオ信号を導出するように構成されているコア帯域復号モジュールと、コア帯域オーディオ信号及びビットストリームからパラメータ的に復号された帯域幅拡大オーディオ信号を導出するように構成されている帯域幅拡大モジュールであって、帯域幅拡大オーディオ信号が、少なくとも1つの周波数帯域を有する周波数領域信号に基づいている帯域幅拡大モジュールと、オーディオ信号を生成するように、コア帯域オーディオ信号と帯域幅拡大オーディオ信号とを組み合わせるように構成されている結合器とを備えている。帯域幅拡大モジュールは、オーディオフレーム損失が発生している現在のオーディオフレームにおいて、少なくとも1つの周波数帯域の現在のオーディオフレームの調整信号エネルギーが、現在のオーディオフレームの現在の利得係数であって、先行するオーディオフレーム又はビットストリームからの利得係数から導出される現在の利得係数に基づいて、及び少なくとも1つの周波数帯域の推定信号エネルギーであって、コア帯域オーディオ信号の現在のオーディオフレームのスペクトルから導出される推定信号エネルギーに基づいて設定される。
【選択図】図4
【特許請求の範囲】
【請求項1】
オーディオフレーム(AF)を含むビットストリーム(BS)からオーディオ信号(AS)を生成するように構成されているオーディオ復号器であって、該オーディオ復号器(1)は、
前記ビットストリーム(BS)から直接復号されたコア帯域オーディオ信号(CBS)を導出するように構成されているコア帯域復号モジュール(2)と、
前記コア帯域オーディオ信号(CBS)及び前記ビットストリーム(BS)からパラメータ的に復号された帯域幅拡大オーディオ信号(BES)を導出するように構成されている帯域幅拡大モジュール(3)であって、前記帯域幅拡大オーディオ信号(BES)は少なくとも1つの周波数帯域(FB)を有する周波数領域信号(FDS)に基づいている帯域幅拡大モジュール(3)と、
前記オーディオ信号(AS)を生成するように、前記コア帯域オーディオ信号(CBS)と前記帯域幅拡大オーディオ信号(BES)とを組み合わせるように構成されている結合器(4)とを備え、
前記帯域幅拡大モジュール(3)は、エネルギー調整モジュール(5)を備え、前記エネルギー調整モジュール(5)は、オーディオフレーム損失(AFL)が発生している現在のオーディオフレーム(AF2)において、前記少なくとも1つの周波数帯域(FB)の前記現在のオーディオフレーム(AF2)の調整信号エネルギーが、
前記現在のオーディオフレーム(AF2)の現在の利得係数(CGF)であって、先行するオーディオフレーム(AF1)又は前記ビットストリーム(BS)からの利得係数から導出される現在の利得係数(CGF)に基づいて、及び
前記少なくとも1つの周波数帯域の推定信号エネルギー(EE)であって、前記コア帯域オーディオ信号(CBS)の前記現在のオーディオフレーム(AF2’)のスペクトルから導出される推定信号エネルギー(EE)に基づいて設定されるように構成されているオーディオ復号器。
【請求項2】
前記帯域幅拡大モジュール(3)は、少なくとも前記オーディオフレーム損失(AFL)が発生している前記現在のオーディオフレーム(AF2)における前記現在の利得係数(CGF)を前記エネルギー調整モジュール(5)に転送するように構成されている利得係数提供モジュール(6)を備えている請求項1に記載のオーディオ復号器。
【請求項3】
前記利得係数提供モジュール(6)は、前記オーディオフレーム損失(AFL)が発生している前記現在のオーディオフレーム(AF2)において、前記現在の利得係数(CGF)が、前記先行するオーディオフレーム(AF1)の前記利得係数であるように構成されている請求項2に記載のオーディオ復号器。
【請求項4】
前記利得係数提供モジュール(6)は、前記フレーム損失(AFL)が発生している前記現在のオーディオフレーム(AF2)において、前記現在の利得係数(CGF)が、前記先行するオーディオフレーム(AF1)の前記利得係数及び前記先行するオーディオフレーム(AF1)の信号クラスから計算されるように構成されている請求項2又は3に記載のオーディオ復号器。
【請求項5】
前記利得係数提供モジュール(6)は、オーディオフレーム損失(AFL)が発生する後続のオーディオフレームの数を計算するように構成されており、オーディオフレーム損失(AFL)が発生する後続のオーディオフレームの数が所定数を超える場合に、利得係数低減処理を実行するように構成されている請求項2から4のいずれか一項に記載のオーディオ復号器。
【請求項6】
前記利得係数低減処理は、前記現在の利得係数が第1の閾値を超える場合に、前記現在の利得係数を第1の数で除算することによって、前記現在の利得係数を低減するステップを含む請求項5に記載のオーディオ復号器。
【請求項7】
前記利得係数低減処理は、前記現在の利得係数が、前記第1の閾値よりも大きい第2の閾値を超える場合に、前記現在の利得係数を前記第1の数よりも大きい第2の数で除算することによって、前記現在の利得係数を低減するステップを含む請求項5又は6に記載のオーディオ復号器。
【請求項8】
前記利得係数低減処理は、低減後の前記現在の閾値が前記第1の閾値を下回る場合に、前記現在の利得係数を前記第1の閾値に設定するステップを含む請求項5から7のいずれか一項に記載のオーディオ復号器。
【請求項9】
前記帯域幅拡大モジュール(3)は、前記少なくとも1つの周波数帯域(FB)にノイズ(NOI)を追加するように構成されているノイズ生成器モジュール(7)を備え、前記オーディオフレーム損失(AFL)が発生している前記現在のオーディオフレーム(AF2)において、前記先行するオーディオフレーム(AF1)の前記少なくとも1つの周波数帯域(FB)の信号エネルギー対ノイズエネルギーの比が、前記現在のオーディオフレーム(AF2)のノイズエネルギーを計算するのに使用される請求項1から8のいずれか一項に記載のオーディオ復号器。
【請求項10】
該オーディオ復号器(1)はスペクトル分析モジュール(8)を備え、前記スペクトル分析モジュール(8)は、前記コア帯域オーディオ信号(CBS)の前記現在のオーディオフレーム(AF2’)の前記スペクトルを確立し、かつ前記コア帯域オーディオ信号(CBS)の前記現在のオーディオフレーム(AF2’)の前記スペクトルから、前記少なくとも1つの周波数帯域(FB)の前記現在のフレーム(AF2)の前記推定信号エネルギーを導出するように構成されている請求項1から9のいずれか一項に記載のオーディオ復号器。
【請求項11】
前記利得係数提供モジュール(6)は、オーディオフレーム損失が発生していない現在のオーディオフレームが、オーディオフレーム損失が発生している先行するオーディオフレームに後続する事例において、前記コア帯域復号モジュール(2)の前記オーディオフレーム(AF1’、AF2’)に対する前記帯域幅拡大モジュール(3)のオーディオフレーム(AF1、AF2)の遅延(DEL)が遅延閾値よりも小さい場合、前記現在のオーディオフレームについて受信される前記利得係数が前記現在のフレームに使用され、一方で、前記コア帯域復号モジュールの前記オーディオフレームに対する前記帯域幅拡大モジュールのオーディオフレームの遅延が前記遅延閾値よりも大きい場合、前記先行するオーディオフレームからの前記利得係数が前記現在のフレームに使用されるように構成されている請求項2から10のいずれか一項に記載のオーディオ復号器。
【請求項12】
前記帯域幅拡大モジュール(3)は信号生成器モジュール(9)を備え、前記信号生成器モジュール(9)は、前記コア帯域オーディオ信号(CBS)及び前記ビットストリーム(BS)に基づいて、前記エネルギー調整モジュール(5)に転送される、少なくとも1つの周波数帯域(FB)を有する原周波数領域信号(RFS)を作成するように構成されている請求項1から11のいずれか一項に記載のオーディオ復号器。
【請求項13】
前記帯域幅拡大モジュール(3)は、前記周波数領域信号(FDS)から前記帯域幅拡大オーディオ信号(BES)を生成するように構成されている信号合成モジュール(10)を備えている請求項1から12のいずれか一項に記載のオーディオ復号器。
【請求項14】
オーディオフレーム(AF)を含むビットストリーム(BS)からオーディオ信号(AS)を生成するための方法であって、該方法は、
前記ビットストリーム(BS)から直接復号されたコア帯域オーディオ信号(CBS)を導出するステップと、
前記コア帯域オーディオ信号(CBS)及び前記ビットストリーム(BS)からパラメータ的に復号された帯域幅拡大オーディオ信号(BES)を導出するステップであって、前記帯域幅拡大オーディオ信号(BES)が、少なくとも1つの周波数帯域(FB)を有する周波数領域信号(FDS)に基づいている導出するステップと、
前記オーディオ信号(AS)を生成するように、前記コア帯域オーディオ信号(CBS)と前記帯域幅拡大オーディオ信号(BES)とを組み合わせるステップとを含み、
オーディオフレーム損失(AFL)が発生している現在のオーディオフレーム(AF2)において、前記少なくとも1つの周波数帯域(FB)の前記現在のオーディオフレーム(AF2)の調整信号エネルギーが、
前記現在のオーディオフレーム(AF2)の現在の利得係数(CGF)であって、先行するオーディオフレーム(AF1)又は前記ビットストリーム(BS)からの利得係数から導出される現在の利得係数(CGF)に基づいて、及び
前記少なくとも1つの周波数帯域(FB)の推定信号エネルギーであって、前記コア帯域オーディオ信号(CBS)の前記現在のオーディオフレーム(AF2’)のスペクトルから導出される推定信号エネルギーに基づいて設定される方法。
【請求項15】
コンピュータ又はプロセッサ上で作動するときに、請求項14に記載の方法を実施するためのコンピュータプログラム。
【発明の詳細な説明】
【背景技術】
【0001】
SBR(スペクトル帯域複製)は、他の帯域幅拡大技法と同様に、コア符号化器段階の上に、オーディオ信号の高スペクトル帯域部分を符号化及び復号するように意図されている。SBRは[ISO09]において標準化されており、MPEG−4 Profile HE−AACにおけるAACとともに使用される。MPEG−4 Profile HE−AACは、様々なアプリケーション規格、例えば3GPP[3GP12a]、DAB+[EBU10]及びDRM[EBU12]に利用されている。
【0002】
AACと協働する現行の技術水準のSBR復号は、[ISO09,section 4.6.18]に記載されている。
【0003】
図1は分析フィルタバンク、合成フィルタバンク、SBRデータ復号、HF生成器及びHF調整器を備えている現行の技術水準のSBR復号器を示す。
【0004】
現行の技術水準のSBR復号において、コア符号化器の出力は元の信号のローパスフィルタリングされた表現である。これは、SBR復号器のQMF分析フィルタバンクに対する入力x
pcm_inである。
【0005】
このフィルタバンクの出力x
QMF_anaはHF生成器に渡され、そこでパッチングが行われる。パッチングは、基本的に、低帯域スペクトルを高帯域に上げて複製することである。
【0006】
パッチングされたスペクトルx
HF_patchedは、次に、SBRデータ復号から得られる高帯域のスペクトル情報(エンベロープ)とともにHF調整器に与えられる。エンベロープ情報はハフマン復号され、その後、差動復号され、最後に、エンベロープデータを得るために逆量子化される(図2参照)。得られたエンベロープデータは、特定の時間量、例えば全フレーム又はその一部分、をカバーするスケール係数のセットである。HF調整器はパッチングされた高帯域のエネルギーを適切に調整し、すべての帯域kについて符号化器側における元の高帯域エネルギーと可能な限り良好に一致させる。式1及び図2がこれを解明する。
g
sbr[k]=E
Ref[k]/E
EstAvg[l]
E
Adj[k]=E
Est[k]×g
sbr[k] (1)
式中、
E
Ref[k]はSBRビットストリーム内で符号化形式で送信されている1つの帯域kのエネルギーを示す。
E
Est[k]はHF生成器によってパッチングされた1つの高帯域kからのエネルギーを示す。
E
EstAvg[l]は、
と
との間の帯域の範囲として定義されている1つのスケール係数帯域lの内部の平均化された高帯域エネルギーを示す。すなわち、
である。
E
Adj[k]は、利得
sbrを使用してHF調整器によって調整された、1つの高帯域kからのエネルギーを示す。
g
sbr[k]は、式(1)に示す除算からもたらされる、1つの利得係数を示す。
【0007】
合成QMFフィルタバンクは、処理されたQMFサンプルx
HF_adjをPCMオーディオx
pcm_outに復号する。
再構築されたスペクトルにノイズの欠落があり、そのノイズは元の高帯域には存在していたがHF生成器によってパッチングされなかったものである場合、各帯域kについて、一定のノイズフロア(noise floor)Qによっていくらかのノイズが追加される可能性がある。
Q[k]=Energy
Additional_Noise[k]/Energy
HF_Generated[k] (3)
【0008】
さらに、現行の技術水準のSBRは、一定の限界内のSBRフレーム境界及びフレームあたり複数のエンベロープを動かすことを可能にする。
【0009】
CELP/HVXCを伴うSBR復号が、[EBU12,section 5.6.2.2]に記載されている。DRMにおけるCELP/HVXC+SBR復号器は、section 1.1.1に記載されているHEAACにおける現行の技術水準のSBRに密接に関連する。基本的に、図1が当てはまる。
【0010】
エンベロープ情報の復号は、[EBU12,section 5.6.2.2.4]に記載されているように、音声状信号のスペクトル特性に適合されている。
【0011】
通常のAMR−WB復号において、高帯域拡大はホワイトノイズu
HB1(n)を生成することによってなされる。高帯域励振の電力は、より低い帯域の励振u
2(n)の電力に等しくなるように設定され、これは次式を意味する。
【0012】
最終的に、高帯域励振は次式によって求められる。
式中、
は利得係数である。
【0013】
23.85kbit/sモードにおいて、
は受信利得インデックス(サイド情報)から復号される。
【0014】
6.60、8.85、12.65、14.25、15.85、18.25、19.85及び23.05kbit/sモードにおいて、g
HBは、[0.1,1.0]によって制限される発声情報を使用して推定される。最初に、合成の傾斜e
tiltが求められる。
式中、
は、400Hzのカットオフ周波数でハイパスフィルタリングされたより低い帯域の音声合成
である。次に、g
HBが以下の式によって求められる。
式中、g
SP=1―e
tiltは音声信号の利得であり、g
BG=1.25g
SPは背景雑音信号の利得であり、w
SPは、音声区間検出(VAD)がオンであるときは1に、オフであるときは0に設定される重み関数である。g
HBは[0.1,1.0]の間に制限される。高周波数において存在するエネルギーがより少ない有声セグメントの場合、e
tiltは1に近づき、結果として利得g
HBはより低くなる。これによって、有声セグメントの場合に生成されるノイズのエネルギーが低減される。
【0015】
その後、高帯域LP合成フィルタA
HB(z)が重み付き低帯域LP合成フィルタから導出される。すなわち、
である。
式中、
は補間されたLP合成フィルタである。
は12.8kHzのサンプリングレートで信号を分析して計算されているが、ここでは16kHz信号に使用される。これは、12.8kHz領域内の5.1〜5.6kHzが16kHz領域内の6.4〜7.0kHzにマッピングされることを意味する。
【0016】
次に、u
HB(n)がA
HB(z)を通じてフィルタリングされる。この高帯域合成s
HB(n)の出力が、6〜7kHzの通過帯域を有するバンドパスFIRフィルタH
HB(z)を通じてフィルタリングされる。最後に、s
HBが合成音声に加えられて、合成出力音声信号が生成される。
【0017】
AMR−WB+において、HF信号は入力信号の(fs/4)を上回る周波数成分から構成される。HF信号を低いレートで表すために、帯域幅拡大(BWE)手法が利用される。BWEにおいて、エネルギー情報がスペクトルエンベロープ及びフレームエネルギーの形態で復号器に送信されるが、信号の微細構造は、復号器において、LF信号内の受信(復号)励振信号から推定される。
【0018】
ダウンサンプリングされた信号s
HFのスペクトルは、ダウンサンプリング前の高周波数帯域の折り畳まれたものと考えることができる。s
HF(n)に対してLP分析が実施されて、この信号のスペクトルエンベロープをモデル化する係数のセットが得られる。一般的に、必要とされるパラメータは、LF信号よりも少ない。ここでは、次数8のフィルタが使用される。その後、LP係数がISP表現に変換され、送信のために量子化される。
【0019】
HF信号の合成は、ある種の帯域幅拡大(BWE)メカニズムを実行し、LF復号器からのいくつかのデータを使用する。これは、AMR−WB音声復号器(参照)において使用されるBWEメカニズムの発展である。HF復号器は図3において詳述されている。
【0020】
HF信号は2つのステップにおいて合成される。
1.HF励振の計算、
2.HF励振からのHF信号の計算。
【0021】
HF励振は、LF励振信号を、64サンプルサブフレームベース上のスカラー因子(又は利得)を用いて時間領域内で整形することによって得られる。このHF励振信号は後処理されて出力の「耳鳴り(buzziness)」が低減され、その後、HF線形予測合成フィルタ1/A
HF(z)によってフィルタリングされる。その結果がさらに後処理されて、エネルギー変化が平滑化される。さらなる情報については[3GP09]を参照されたい。
【0022】
AACを伴うSBRにおけるパケット損失隠蔽(concealment)は3GPP TS 26.402[3GP12a,section 5.2]に規定されており、その後、DRM[EBU12,section 5.6.3.1]及びDAB[EBU10,section A2]において再使用された。
【0023】
フレーム損失の場合、フレームあたりのエンベロープの数が1に設定され、最後の有効な受信エンベロープデータが再使用され、すべての隠蔽フレームについて一定の比によってエネルギーが低減される。
【0024】
その結果もたらされるエンベロープデータがその後、通常の復号プロセスに供給され、その復号プロセスにおいて、HF調整器がそれらのデータを使用して利得を計算し、計算された利得は、HF生成器からパッチングされた高帯域を調整するのに使用される。残りのSBR復号は通常通り行われる。
【0025】
さらに、符号化ノイズフロアデルタ値が0に設定されており、これによって、デルタ復号ノイズフロアが固定されたままになる。復号プロセスの終わりにおいて、これは、ノイズフロアのエネルギーがHF信号のエネルギーに従うことを意味する。
【0026】
さらに、正弦波を追加するためのフラグがクリアされる。
現行の技術水準のSBR隠蔽は復元にも対処する。現行の技術水準のSBR隠蔽は、不整合のフレーム境界から生じるおそれがあるエネルギーギャップに関して、隠蔽された信号から正確に復号された信号への円滑な遷移を管理する。
【0027】
CELP/HVXCを伴う現行の技術水準のSBR隠蔽は、[EBU12,section 5.6.3.2]に記載されており、以下に簡潔に概説する。
【0028】
破損したフレームが検出されたときはいつでも、所定のデータ値セットがSBR復号器に与えられる。これによって、「より高い周波数に向かうロールオフを呈する、相対再生レベル(relative playback level)が低い静的な高帯域スペクトルエンベロープ」がもたらされる[EBU12,section 5.6.3.2]。ここで、SBR隠蔽は、SBR領域における専用フェージング(dedicated fading)を有しない何らかの種類の快適ノイズを挿入する。これによって、聴取者の耳が潜在的に大音量の音響バーストを受けることが回避され、帯域幅が一定であるという印象が保たれる。
【0029】
G.718のBWEの現行の技術水準の隠蔽は[ITU08,7.11.1.7.1]に記載されており、以下のように簡潔に概説する。
【0030】
もっぱら層1と2にとって利用可能である低遅延モードにおいて、高周波数帯域6000〜7000Hzの隠蔽は、フレーム消去が発生しないときとまったく同じように実施される。層1、2及び3のクリーンチャネル復号器動作は以下のとおりである、すなわち、ブラインド帯域幅拡大が適用される。範囲6400〜7000Hz内のスペクトルが、励振領域で適切にスケーリングされた白色雑音信号で満たされる(高帯域のエネルギーは低帯域エネルギーに一致しなければならない)。その後、スペクトルは、12.8kHz領域に使用されるものと同じLP合成フィルタから重み付けすることによって導出されるフィルタで合成される。層4と5については、それらの層は8kHzまでの全帯域をカバーするため、帯域幅拡大は実施されない。
【0031】
デフォルト動作において、16kHzのサンプリング周波数において合成信号の高周波数帯域を再構築するために、低複雑度処理が実施される。最初に、スケーリングされた高周波数帯域拡張u’’
HB(n)が、次式のようにフレーム全体を通じて線形的に減衰される。
式中、フレーム長は320サンプルであり、g
att(n)は次式によって与えられる減衰係数である。
【0032】
の式において、
は平均ピッチ利得である。これは、適応コードブックの隠蔽中に使用されるものと同じ利得である。その後、周波数範囲6000〜7000Hz内のバンドパスフィルタのメモリが、式10中において導出されるようなg
att(n)を使用して減衰されて、任意の不連続性が防止される。最後に、高周波数励振信号u’’’(n)が、合成フィルタを通じてフィルタリングされる。合成信号はその後、16kHzのサンプリング周波数において、隠蔽された合成に加えられる。
【0033】
現行の技術水準のAMR−WBにおけるブラインド帯域幅拡大の隠蔽は、[3GP12b,6.2.4]に概説されており、ここで簡潔に要約する。
【0034】
フレームが失われるか又は部分的に失われると、高帯域利得パラメータは受信されず、代わりに、高帯域利得の推定が使用される。これは、音声フレームが不良/失われている場合、高帯域再構築はすべての異なるモードに対して同じように動作することを意味する。
【0035】
フレームが失われる場合、高帯域LP合成フィルタは、コア帯域からのLPC係数から通常通り導出される。唯一の例外は、LPC係数がビットストリームから復号されておらず、通常のAMR−WB隠蔽手法を使用して推定されていることである。
【0036】
現行の技術水準のAMR−WB+における帯域幅拡大の隠蔽は[3GP09,6.2]に概説されており、ここで簡潔に要約する。
【0037】
パケット損失の場合、HF復号器の内部にある制御データが、不良フレームインジケータベクトルBFI=(bfi0,bfi1,bfi2,bfi3)から生成される。これらのデータは、
、BFI
GAIN、及びISF補間のためのサブフレームの数である。これらのデータの性質を、下記により詳細に定義する。
【0038】
は、ISFパラメータの損失を示す2値フラグである。HF信号のISFパラメータは常に、HF20、40又は80のいずれかである第1のパケット(第1のサブフレームを含む)内で送信されるため、損失フラグは常に第1のサブフレームのbfiインジケータに設定される(bfi0)。同じことが、失われたHF利得の指示にも当てはまる。現在のモードの第1のパケット/サブフレームが失われた場合(HF20、40又は80)、利得が失われ、隠蔽される必要がある。
【0039】
HF ISFベクトルの隠蔽は、コアISFのISF隠蔽と非常に類似している。主な着想は、最後の良好なISFベクトルを再使用するが、このベクトルを平均ISFベクトルに向けてシフトすることである(平均ISFベクトルはオフライン訓練される)。すなわち、
である。
【0040】
は、以下のソースコードに従って推定される(コードにおいて、
は復号器定数である)。
【0041】
「fs/4において振幅を一致させるための利得」を導出するために、クリーンチャネル復号におけるアルゴリズムと同じアルゴリズムが実施されるが、HF及び/又はLF部分のためのISFがすでに隠蔽されている場合がある点が異なっている。利得の線形dB補間、合計及び適用のようなすべての後続するステップはクリーンチャネルの事例と同じである。
【0042】
励振を導出するために、正確に受信されたフレームにおけるのと同じ処理が適用される。その処理では、より低い帯域の励振が、
ランダム化され、
サブフレーム利得を用いて時間領域において増幅され、
LPフィルタを用いて周波数領域において整形され、
エネルギーが時間にわたって平滑化された
後に、使用される。
【0043】
その後、図3に従って合成が実施される。
【0044】
AES convention paper 6789 : Schneider, Krauss and Ehret[SKE06]は、最後の有効なSBRエンベロープデータを再使用する隠蔽技法を記載している。2つ以上のSBRフレームが失われた場合、フェードアウト(fadeout)が適用される。「基本原理は、新たな送信データを用いてSBR処理が継続され得るまで、単純に、最後の既知の有効なSBRエンベロープ値をロックすることである。加えて、2つ以上のSBRフレームが復号可能でない場合、フェードアウトが実施される。」
【0045】
AES convention paper 6962 : Sang-Uk Ryu and Kenneth Rose[RR06]は、先行するフレームと次のフレームからのSBRを使用してパラメータ情報を推定する隠蔽技法を記載している。周囲のフレームにおけるエネルギー発生から、高帯域エンベロープが適応的に推定される。
【0046】
パケット損失隠蔽概念は、パケット損失中に、知覚的に劣化したオーディオ信号を生成し得る。
【先行技術文献】
【非特許文献】
【0047】
【非特許文献1】[3GP09] 3GPP; Technical Specification Group Services and System Aspects, Extended adaptive multi-rate - wideband (AMR-WB+) codec, 3GPP TS 26.290, 3rd Generation Partnership Project, 2009.
【非特許文献2】[3GP12a] General audio codec audio processing functions; Enhanced aacPlus general audio codec; additional decoder tools (release 11), 3GPP TS 26.402, 3rd Generation Partnership Project, Sep 2012.
【非特許文献3】[3GP12b] Speech codec speech processing functions; adaptive multi-rate - wideband (AMRWB) speech codec; error concealment of erroneous or lost frames, 3GPP TS 26.191, 3rd Generation Partnership Project, Sep 2012.
【非特許文献4】[EBU10] EBU/ETSI JTC Broadcast, Digital audio broadcasting (DAB); transport of advanced audio coding (AAC) audio, ETSI TS 102 563, European Broadcasting Union, May 2010.
【非特許文献5】[EBU12] Digital radio mondiale (DRM); system specification, ETSI ES 201 980, ETSI, Jun 2012.
【非特許文献6】[ISO09] ISO/IEC JTC1/SC29/WG11, Information technology - coding of audio-visual objects - part 3: Audio, ISO/IEC IS 14496-3, International Organization for Standardization, 2009.
【非特許文献7】[ITU08] ITU-T, G.718: Frame error robust narrow-band and wideband embedded variable bit-rate coding of speech and audio from 8-32 kbit/s, Recommendation ITU-T G.718, Telecommunication Standardization Sector of ITU, Jun 2008.
【非特許文献8】[RR06] Sang-Uk Ryu and Kenneth Rose, Frame loss concealment for audio decoders employing spectral band replication, Convention Paper 6962, Electrical and Computer Engineering, University of California, Oct 2006, AES.
【非特許文献9】[SKE06] Andreas Schneider, Kurt Krauss, and Andreas Ehret, Evaluation of real-time transport protocol configurations using aacplus, Convention paper 6789, AES, May 2006, Presented at the 120th Convention 2006 May 20-23.
【発明の概要】
【発明が解決しようとする課題】
【0048】
本発明の目的は、改善されたパケット損失隠蔽概念を有するオーディ復号器及び方法を提供することである。
【課題を解決するための手段】
【0049】
この目的は、オーディオフレームを含むビットストリームからオーディオ信号を生成するように構成されている以下のオーディオ復号器によって達成することができる。このオーディオ復号器は、ビットストリームから直接復号されたコア帯域オーディオ信号を導出するように構成されているコア帯域復号モジュール(core band decoding module)と、コア帯域オーディオ信号及びビットストリームからパラメータ的に復号された帯域幅拡大オーディオ信号を導出するように構成されている帯域幅拡大モジュールであって、その帯域幅拡大オーディオ信号は少なくとも1つの周波数帯域を有する周波数領域信号に基づいている帯域幅拡大モジュールと、オーディオ信号を生成するように、コア帯域オーディオ信号と帯域幅拡大オーディオ信号とを組み合わせるように構成されている結合器とを備えている。帯域幅拡大モジュールはエネルギー調整モジュールを備え、エネルギー調整モジュールは、オーディオフレーム損失が発生している現在のオーディオフレームにおいて、少なくとも1つの周波数帯域の現在のオーディオフレームの調整信号エネルギーが、現在のオーディオフレームの現在の利得係数と少なくとも1つの周波数帯域の推定信号エネルギーとに基づいて設定されるように構成されている。現在の利得係数は先行するオーディオフレーム又はビットストリームからの利得係数から導出され、推定信号エネルギーはコア帯域オーディオ信号の現在のオーディオフレームのスペクトルから導出される。
【0050】
本発明によるオーディオ復号器は、エネルギーに関して帯域幅拡大モジュールをコア帯域復号モジュールにリンクし、又は、言い換えれば、コア帯域復号モジュールが何を行おうとも、隠蔽中、エネルギーに関して帯域幅拡大モジュールがコア帯域復号モジュールに従うことを確実にする。
【0051】
本手法による革新は、隠蔽の場合には、高帯域生成がもはやエンベロープエネルギーに厳密には適合しないことである。利得ロックの技法によって、高帯域エネルギーは隠蔽中は低帯域エネルギーに適合され、したがって、もはや最後の良好なフレームにおける送信データのみには依拠しない。この処理は、高帯域再構築に低帯域情報を使用するという着想を取り上げる。
【0052】
この手法によれば、追加のデータ(例えば、フェードアウト係数(fadeout factor))がコア符号化器から帯域幅拡大符号化器に転送される必要はない。これによって、本技法が、帯域幅拡大を用いる任意の符号化器、特に、SBRに容易に適用可能になる。SBRでは、利得計算が本来すでに実施されている(式1)。
【0053】
本発明のオーディオ復号器の隠蔽は、コア帯域復号モジュールのフェージング勾配(fading slope)を考慮に入れる。これによって、全体としてのフェードアウトの意図される挙動がもたらされる。
【0054】
コア帯域復号モジュールの周波数帯域のエネルギーが帯域幅拡大モジュールの周波数帯域のエネルギーよりも遅くフェードアウトする状況は、知覚可能になり、帯域が制限された信号の不快な印象を引き起こすが、この状況が回避される。
【0055】
さらに、コア帯域復号モジュールの周波数帯域のエネルギーが帯域幅拡大モジュールの周波数帯域のエネルギーよりも速くフェードアウトする状況は、帯域幅拡大モジュールの周波数帯域がコア帯域復号モジュールの周波数帯域と比較して増幅され過ぎるためにアーティファクトを導入するが、この状況も回避される。
【0056】
所定のエネルギーレベルを有する帯域幅拡大を行う非フェージング復号器(例えば、CELP/HVXC+SBR復号器のようなもの)は特定の信号タイプのスペクトル傾斜のみを保持するが、それは異なり、本発明のオーディオ復号器は信号のスペクトル特性とは無関係に機能し、それによって、オーディオ信号の知覚的に復号される劣化が回避される。
【0057】
提案される技法は、コア帯域復号モジュール(以下、コア符号化器)に加えて任意の帯域幅拡大(BWE)方法によって使用することができる。帯域幅拡大技法のほとんどは、元のエネルギーレベルとコアスペクトルが複製された後に得られるエネルギーレベルとの間の帯域あたりの利得に基づいている。提案される技法は、現行の技術水準がそうするように先行するオーディオフレームのエネルギーに対して作用するのではなく、先行するオーディオフレームの利得に対して作用する。
【0058】
オーディオフレームが失われているか又は読み取り不可能であるとき(又は、言い換えれば、オーディオフレーム損失が発生している場合)、最後の良好なフレームからの利得がコア帯域復号モジュールの通常の復号プロセスに供給され、これによって、帯域幅拡大モジュールの周波数帯域のエネルギーが調整される(式1参照)。これによって、隠蔽が形成される。コア帯域復号モジュール隠蔽によってコア帯域復号モジュールに適用されている任意のフェードアウトは、低帯域と高帯域との間にエネルギー比をロックすることによって、帯域幅拡大モジュールの周波数帯域のエネルギーに自動的に適用される。
【0059】
少なくとも1つの周波数領域を有する周波数領域信号は、例えば、代数符号励振線形予測励振信号(ACELP(algebraic code-excited linear prediction)励振信号)とすることができる。
【0060】
いくつかの実施形態において、帯域幅拡大モジュールは、少なくともオーディオフレーム損失が発生している現在のオーディオフレームにおける現在の利得係数をエネルギー調整モジュールに転送するように構成されている利得係数提供モジュール(gain factor providing module)を備えている。
【0061】
好ましい実施形態において、利得係数提供モジュールは、オーディオフレーム損失が発生している現在のオーディオフレームにおいて、現在の利得係数が先行するオーディオフレームの利得係数であるように構成されている。この最後の良好なフレーム内の最後のエンベロープについて導出される利得をロックするだけで、帯域幅拡大復号モジュールに含まれているフェードアウトを完全に無効化する。すなわち、
である。式中、E
Adj[k]は帯域幅拡大モジュールの1つの周波数バンクkからのエネルギーを示し、元のエネルギー分布を可能なかぎり良好に表現するように調整されている。
は、現在のフレームの利得係数を示し、
は先行するフレームの利得係数を示す。
【0062】
他の好ましい実施形態において、利得係数提供モジュールは、フレーム損失が発生している現在のオーディオフレームにおいて、現在の利得係数が先行するオーディオフレームの利得係数と先行するオーディオフレームの信号クラスとから計算されるように構成されている。
【0063】
この信号分類器を使用して、過去の利得に基づいて、及び以前受信されたフレームの信号クラスにも適応的に基づいて利得を計算する。すなわち、
である。式中、
は、先行するオーディオフレームの利得係数
と先行するオーディオフレームの信号クラス
とに依存する関数を示す。信号クラスは言語音のクラスを指すことができ、阻害音(これのサブクラスは閉鎖音、破擦音、摩擦音である)、共鳴音(これのサブクラスは、鼻音、はじき接近音(flap approximant)、母音である)、側音、顫音などである。
【0064】
好ましい実施形態において、利得係数提供モジュールは、オーディオフレーム損失が発生する後続のオーディオフレームの数を計算するように構成されており、かつオーディオフレーム損失が発生する後続のオーディオフレームの数が所定数を超える場合に、利得係数低減処理(gain factor lowering procedure)を実行するように構成されている。
【0065】
バーストフレーム損失(後続のオーディオフレームにおける複数のフレーム損失)の直前に摩擦音が発生した場合、利得ロックと相まって心地よく自然な音を確実にするには、コア帯域復号モジュールの本来のデフォルトフェードアウトが遅すぎる場合がある。この問題の知覚される結果は、帯域幅拡大モジュールの周波数帯域のエネルギーが大きすぎることによって、摩擦音が長引くことであり得る。この理由から、複数のフレーム損失に対するチェックを実施することができる。このチェックが陽性である場合、利得係数低減処理を実行することができる。
【0066】
好ましい実施形態において、利得係数低減処理は、現在の利得係数が第1の閾値を超える場合に、現在の利得係数を第1の数で除算することによって現在の利得係数を低減するステップを含む。これらの特徴によって、第1の閾値(経験的に決定することができる)を超える利得が低減される。
【0067】
好ましい実施形態において、利得係数低減処理は、現在の利得係数が第1の閾値よりも大きい第2の閾値を超える場合に、現在の利得係数を第1の数よりも大きい第2の数で除算することによって現在の利得係数を低減するステップを含む。これらの特徴は、極端に高い利得がさらに迅速に低減することを確実にする。第2の閾値を超えるすべての利得がより迅速に低減される。
【0068】
いくつかの実施形態において、利得係数低減処理は、低減後の現在の閾値が第1の閾値を下回る場合に、現在の利得係数を第1の閾値に設定するステップを含む。これらの特徴によって、低減した利得が第1の閾値を下回って降下することが防止される。
【0069】
一例を、擬似コード1に見ることができる。
ここで、previousFrameErrorFlagは複数のフレーム損失が存在するか否かを示すフラグであり、BWE_GAINDECは第1の閾値を示し、50
*BWE_GAINDECは第2の閾値を示し、gain[k]は周波数バンクkの現在の利得係数を示す。
【0070】
いくつかの実施形態において、帯域幅拡大モジュールは、少なくとも1つの周波数帯域にノイズを追加するように構成されているノイズ生成器モジュールを備え、オーディオフレーム損失が発生している現在のオーディオフレームにおいて、先行するオーディオフレームの少なくとも1つの周波数帯域の信号エネルギー対ノイズエネルギーの比が現在のオーディオフレームのノイズエネルギーを計算するのに使用される。
【0071】
帯域幅拡大において実行されるノイズフロア特徴(すなわち、元の信号の騒々しさを保持するための追加のノイズ成分)がある場合、ノイズフロアにも向けた利得ロックの着想を導入することが必要である。これを達成するために、帯域幅拡大モジュールの周波数帯域のエネルギーを考慮に入れて、非隠蔽フレームのノイズフロアエネルギーレベルがノイズ比に変換される。この比はバッファに保存され、隠蔽の場合のノイズレベルの基礎となる。この主要な利点は、比prev_noise[k]の計算によって、ノイズフロアがコア符号化器エネルギーに一層良好に結合することである。
【0072】
擬似コード2がこれを示している。
ここで、frameErrorFlagはフレーム損失が存在するか否かを示すフラグであり、prev_noise[k]は周波数バンクkのエネルギーnrgHighband[k]と周波数バンクkのノイズレベルnoiseLevel[k]との間の比である。
【0073】
好ましい実施形態において、オーディオ復号器はスペクトル分析モジュールを備えており、スペクトル分析モジュールは、コア帯域オーディオ信号の現在のオーディオフレームのスペクトルを確立し、かつコア帯域オーディオ信号の現在のオーディオフレームのスペクトルから、少なくとも1つの周波数帯域の現在のフレームの推定信号エネルギーを導出するように構成されている。
【0074】
いくつかの実施形態において、利得係数提供モジュールは、オーディオフレーム損失が発生していない現在のオーディオフレームがオーディオフレーム損失が発生している先行するオーディオフレームに後続する事例において、コア帯域復号モジュールのオーディオフレームに対する帯域幅拡大モジュールのオーディオフレームの遅延が遅延閾値よりも小さい場合、現在のオーディオフレームについて受信される利得係数が現在のフレームに使用され、一方で、コア帯域復号モジュールのオーディオフレームに対する帯域幅拡大モジュールのオーディオフレームの遅延が遅延閾値よりも大きい場合、先行するオーディオフレームからの利得係数が現在のフレームに使用されるように構成されている。
【0075】
隠蔽に加えて、帯域幅拡大モジュールにおいて、フレーミングに特別な注意を払う必要がある。帯域幅拡大モジュールのオーディオフレームとコア帯域復号モジュールのオーディオフレームは正確には位置整合されていないことが多く、一定の遅延を有し得る。そのため、1つの失われたパケットが、同じパケット内に含まれているコア信号に対して遅延されている帯域幅拡大データを含むということが起き得る。
【0076】
この事例の結果、損失の後の第1の良好なパケットが、復号器においてすでに隠蔽された、先行するコア帯域復号モジュールオーディオフレームの、帯域幅拡大モジュールの周波数帯域の部分を作成するための拡大データを含む場合があるということになる。
【0077】
この理由から、コア帯域復号モジュールと帯域幅拡大モジュールのそれぞれの特性に応じて、復元中にフレーミングを考慮する必要がある。これは、帯域幅拡大モジュールにおいて第1のオーディオフレーム又はその部分を誤りのあるものとして処理し、最新の利得を即座に適用するのではなく、1つ追加のフレームのために第1のオーディオフレームからのロックされた利得を保持することを意味することがありうる。
【0078】
第1の良好なフレームのロックされた利得を保持するべきか否かは、遅延に応じて決まる。異なる遅延をもつコーデックへの経験的な応用は、複数の異なる遅延をもつコーデックに対する複数の異なる利点を示している。遅延が非常に小さい(例えば、1ms)コーデックについては、第1の良好なオーディオフレームに最新の利得を使用することがより良好である。
【0079】
好ましい実施形態において、帯域幅拡大モジュールは信号生成器モジュールを備えており、信号生成器モジュールは、コア帯域オーディオ信号とビットストリームに基づいて少なくとも1つの周波数帯域を有する原周波数領域信号を作成するように構成されており、原周波数領域信号はエネルギー調整モジュールに転送される。
【0080】
好ましい実施形態において、帯域幅拡大モジュールは、周波数領域信号から帯域幅拡大オーディオ信号を生成するように構成されている信号合成モジュールを備えている。
【0081】
本発明の目的は、オーディオフレームを含むビットストリームからオーディオ信号を生成するための方法によって達成することができる。この方法は、ビットストリームから、直接復号されたコア帯域オーディオ信号を導出するステップと、コア帯域オーディオ信号及びビットストリームからパラメータ的に復号された帯域幅拡大オーディオ信号を導出するステップであって、帯域幅拡大オーディオ信号は少なくとも1つの周波数帯域を有する周波数領域信号に基づいている導出するステップと、オーディオ信号を生成するように、コア帯域オーディオ信号と帯域幅拡大オーディオ信号とを組み合わせるステップとを含んでいる。そして、オーディオフレーム損失が発生している現在のオーディオフレームにおいて、少なくとも1つの周波数帯域の現在のオーディオフレームの調整信号エネルギーが、現在のオーディオフレームの現在の利得係数と少なくとも1つの周波数帯域の推定信号エネルギーとに基づいて設定される。現在の利得係数は先行するオーディオフレーム又はビットストリームからの利得係数から導出され、推定信号エネルギーはコア帯域オーディオ信号の現在のオーディオフレームのスペクトルから導出される。
【0082】
本発明の目的は、さらに、コンピュータ又はプロセッサ上で作動するときに、上述した方法を実施するためのコンピュータプログラムによって達成することができる。
【図面の簡単な説明】
【0083】
【図4】本発明によるオーディ復号器の一実施形態を示す概略図である。
【図5】本発明によるオーディ復号器の一実施形態のフレーミングを示す図である。
【発明を実施するための形態】
【0084】
続いて、本発明の好ましい実施形態を添付の図面を参照しながら説明する。
【0085】
図4は、本発明によるオーディ復号器1の一実施形態を概略図で示す。オーディオ復号器1は、オーディオフレームAFを含むビットストリームBSからオーディオ信号ASを生成するように構成されている。オーディオ復号器1は、ビットストリームBSから直接復号されたコア帯域オーディオ信号CBSを導出するように構成されているコア帯域復号モジュール2と、コア帯域オーディオ信号CBS及びビットストリームBSからパラメータ的に復号された帯域幅拡大オーディオ信号BESを導出するように構成されている帯域幅拡大モジュール2であって、帯域幅拡大オーディオ信号BESは少なくとも1つの周波数帯域FBを有する周波数領域信号FDSに基づいている帯域幅拡大モジュール2と、オーディオ信号ASを生成するように、コア帯域オーディオ信号CBSと帯域幅拡大オーディオ信号BESとを組み合わせるように構成されている結合器4とを備えている。帯域幅拡大モジュール3はエネルギー調整モジュール5を備えており、エネルギー調整モジュール5は、オーディオフレーム損失AFLが発生している現在のオーディオフレームAF2において、少なくとも1つの周波数帯域FBの現在のオーディオフレームAF2の調整信号エネルギーが、現在のオーディオフレームAF2の現在の利得係数CGFと少なくとも1つの周波数帯域FBの推定信号エネルギーEEとに基づいて設定されるように構成されている。現在の利得係数CGFは先行するオーディオフレームAF1又はビットストリームBSからの利得係数から導出され、推定信号エネルギーEEはコア帯域オーディオ信号CBSの現在のオーディオフレームAF2のスペクトルから導出される。
【0086】
本発明によるオーディオ復号器1は、エネルギーに関して帯域幅拡大モジュール3をコア帯域復号モジュール2にリンクさせ、又は、言い換えれば、コア帯域復号モジュール2が何を行おうとも、隠蔽中、エネルギーに関して帯域幅拡大モジュール3がコア帯域復号モジュール2に従うことを確実にする。
【0087】
本手法による革新は、隠蔽の場合には、高帯域生成がもはやエンベロープエネルギーに厳密には適合しないことである。利得ロックの技法によって、高帯域エネルギーは隠蔽中は低帯域エネルギーに適合され、したがって、もはや最後の良好なフレームAF1における送信データのみには依拠しない。この処理は、高帯域再構築に低帯域情報を使用するという着想を取り上げる。
【0088】
この手法によれば、追加のデータ(例えば、フェードアウト係数)がコア符号化器2から帯域幅拡大符号化器3に転送される必要はない。これによって、本技法が、帯域幅拡大3を用いる任意の符号化器1、特に、SBRに容易に適用可能になる。SBRでは、利得計算が本来すでに実施されている(式1)。
【0089】
本発明のオーディオ復号器1の隠蔽は、コア帯域復号モジュール2のフェージング勾配を考慮に入れる。これによって、全体としてのフェードアウトの意図される挙動がもたらされる。
【0090】
コア帯域復号モジュール2の周波数帯域FBのエネルギーが帯域幅拡大モジュール3の周波数帯域FBのエネルギーよりも遅くフェードアウトする状況は、知覚可能になり、帯域が制限された信号の不快な印象を引き起こすが、この状況が回避される。
【0091】
さらに、コア帯域復号モジュール2の周波数帯域FBのエネルギーが帯域幅拡大モジュール3の周波数帯域FBのエネルギーよりも速くフェードアウトする状況は、帯域幅拡大モジュール3の周波数帯域FBがコア帯域復号モジュール2の周波数帯域FBと比較して増幅され過ぎるためにアーティファクトを導入するが、この状況も回避される。
【0092】
所定のエネルギーレベルを有する帯域幅拡大を有する非フェージング復号器(例えば、CELP/HVXC+SBR復号器のようなもの)は特定の信号タイプのスペクトル傾斜のみを保持するが、それとは異なり、本発明のオーディオ復号器1は信号のスペクトル特性とは無関係に機能し、それによって、オーディオ信号ASの知覚的に復号される劣化が回避される。
【0093】
提案される技法は、コア帯域復号モジュール2(以下、コア符号化器)に加えて任意の帯域幅拡大(BWE)方法によって使用され得る。帯域幅拡大技法のほとんどは、元のエネルギーとコアスペクトルが複製された後に得られるエネルギーレベルとの間の帯域あたりの利得に基づいている。提案される技法は、現行の技術水準がそうするように先行するオーディオフレームのエネルギーに対して作用するのではなく、先行するオーディオフレームAF1の利得に対して作用する。
【0094】
オーディオフレームAF2が失われているか又は読み取り不可能であるとき(又は、言い換えれば、オーディオフレーム損失AFLが発生している場合)、最後の良好なフレームからの利得がコア帯域復号モジュール2の通常の復号プロセスに供給され、これによって、帯域幅拡大モジュール3の周波数帯域FBのエネルギーが調整される(式1参照)。これによって、隠蔽が形成される。コア帯域復号モジュール隠蔽によってコア帯域復号モジュール2に適用されている任意のフェードアウトは、低帯域と高帯域との間にエネルギー比をロックすることによって、帯域幅拡大モジュール3の周波数帯域FBのエネルギーに自動的に適用される。
【0095】
いくつかの実施形態において、帯域幅拡大モジュール3は、少なくともオーディオフレーム損失AFLが発生している現在のオーディオフレームAF2における現在の利得係数CGFをエネルギー調整モジュール5に転送するように構成されている利得係数提供モジュール6を備えている。
【0096】
好ましい実施形態において、利得係数提供モジュール6は、オーディオフレーム損失AFLが発生している現在のオーディオフレームAF2において、現在の利得係数CGFが先行するオーディオフレームAF1の利得係数であるように構成されている。
【0097】
この最後の良好なフレーム内の最後のエンベロープについて導出される利得をロックするだけで、帯域幅拡大復号モジュール3に含まれているフェードアウトを完全に無効化する。
【0098】
他の好ましい実施形態において、利得係数提供モジュール6は、フレーム損失AFLが発生している現在のオーディオフレームAF2において、現在の利得係数CGSが先行するオーディオフレームの利得係数と先行するオーディオフレームの信号クラスから計算されるように構成されている。
【0099】
この信号分類器を使用して、過去の利得に基づいて、及び以前受信されたフレームAF1の信号クラスにも適応的に基づいて利得GCSを計算する。信号クラスは言語音のクラスを指すことができ、阻害音(これのサブクラスは閉鎖音、破擦音、摩擦音である)、共鳴音(これのサブクラスは、鼻音、はじき接近音、母音である)、側音、顫音などである。
【0100】
好ましい実施形態において、利得係数提供モジュール6は、オーディオフレーム損失AFLが発生する後続のオーディオフレームの数を計算するように構成されており、かつオーディオフレーム損失AFLが発生する後続のオーディオフレームの数が所定数を超える場合に、利得係数低減処理を実行するように構成されている。
【0101】
バーストフレーム損失(後続のオーディオフレームAFにおける複数のフレーム損失AFL)の直前に摩擦音が発生した場合、利得ロックと相まって心地よく自然な音を確実にするには、コア帯域復号モジュール2の本来のデフォルトフェードアウトが遅すぎる場合がある。この問題の知覚される結果は、帯域幅拡大モジュール3の周波数帯域FBのエネルギーが大きすぎることによって、摩擦音が長引くことであり得る。この理由から、複数のフレーム損失AFLに対するチェックを実施することができる。このチェックが陽性である場合、利得係数低減処理を実行することができる。
【0102】
好ましい実施形態において、利得係数低減処理は、現在の利得係数が第1の閾値を超える場合に、現在の利得係数を第1の数で除算することによって現在の利得係数を低減するステップを含む。これらの特徴によって、第1の閾値(経験的に決定することができる)を超える利得が低減される。
【0103】
好ましい実施形態において、利得係数低減処理は、現在の利得係数が第1の閾値よりも大きい第2の閾値を超える場合に、現在の利得係数を第1の数よりも大きい第2の数で除算することによって現在の利得係数を低減するステップを含む。これらの特徴は、極端に高い利得がさらに迅速に低減することを確実にする。第2の閾値を超えるすべての利得がより迅速に低減される。
【0104】
いくつかの実施形態において、利得係数低減処理は、低減後の現在の閾値が第1の閾値を下回る場合に、現在の利得係数を第1の閾値に設定するステップを含む。これらの特徴によって、低減した利得が第1の閾値を下回って降下することが防止される。
【0105】
いくつかの実施形態において、帯域幅拡大モジュール3は、少なくとも1つの周波数帯域FBにノイズNOIを追加するように構成されているノイズ生成器モジュール7を備え、オーディオフレーム損失AFLが発生している現在のオーディオフレームAF2において、先行するオーディオフレームAF1の少なくとも1つの周波数帯域FBの信号エネルギー対ノイズエネルギーの比が現在のオーディオフレームAF2のノイズエネルギーを計算するのに使用される。
【0106】
帯域幅拡大3に実装されているノイズフロア特徴(すなわち、元の信号の騒々しさを保持するための追加のノイズ成分)がある場合、ノイズフロアにも向けた利得ロックの着想を導入することが必要である。これを達成するために、帯域幅拡大モジュールの周波数帯域のエネルギーを考慮に入れて、非隠蔽フレームのノイズフロアエネルギーレベルがノイズ比に変換される。この比はバッファに保存され、隠蔽の場合のノイズレベルの基礎となる。この主要な利点は、この比の計算によってノイズフロアがコア符号化器エネルギーに一層良好に結合することである。
【0107】
好ましい実施形態において、オーディオ復号器1はスペクトル分析モジュール8を備えており、スペクトル分析モジュール8は、コア帯域オーディオ信号CBSの現在のオーディオフレームAF2のスペクトルを確立し、かつコア帯域オーディオ信号CBSの現在のオーディオフレームAF2のスペクトルから、少なくとも1つの周波数帯域FBの現在のフレームAF2の推定信号エネルギーEEを導出するように構成されている。
【0108】
好ましい実施形態において、帯域幅拡大モジュール3は信号生成器モジュール9を備えており、信号生成器モジュール9は、コア帯域オーディオ信号CBSとビットストリームBSに基づいて少なくとも1つの周波数帯域FBを有する原周波数領域信号RFSを作成するように構成されており、原周波数領域信号RFSはエネルギー調整モジュール5に転送される。
【0109】
好ましい実施形態において、帯域幅拡大モジュール3は、周波数領域信号FDSから帯域幅拡大オーディオ信号BESを生成するように構成されている信号合成モジュール10を備えている。
【0110】
図5は、本発明によるオーディ復号器1の一実施形態のフレーミングを示す。
【0111】
いくつかの実施形態において、利得係数提供モジュール6は次のように構成されている。すなわち、オーディオフレーム損失AFLが発生していない現在のオーディオフレームAF2が、オーディオフレーム損失AFLが発生している先行するオーディオフレームAF1に後続する事例において、コア帯域復号モジュール2のオーディオフレームAF’に対する帯域幅拡大モジュール3のオーディオフレームAFの遅延DELが遅延閾値よりも小さい場合、現在のオーディオフレームAF2について受信される利得係数が現在のフレームAF2に使用され、一方で、コア帯域復号モジュール3のオーディオフレームAF’に対する帯域幅拡大モジュール3のオーディオフレームAFの遅延DELが遅延閾値よりも大きい場合、先行するオーディオフレームAF1からの利得係数が現在のフレームAF2に使用される。
【0112】
隠蔽に加えて、帯域幅拡大モジュール3において、フレーミングに特別な注意を払う必要がある。帯域幅拡大モジュールのオーディオフレームAFとコア帯域復号モジュール3のオーディオフレームAF’は正確には位置整合されていないことが多く、一定の遅延DELを有し得る。そのため、1つの失われたパケットが、同じパケット内に含まれているコア信号に対して遅延されている帯域幅拡大データを含むということが起き得る。
【0113】
この事例の結果、損失の後の第1の良好なパケットが、復号器2においてすでに隠蔽された、先行するコア帯域復号モジュールオーディオフレームAF’の、帯域幅拡大モジュール3の周波数帯域FBの部分を作成するための拡大データを含む場合があるということになる。
【0114】
この理由から、コア帯域復号モジュールと帯域幅拡大モジュールのそれぞれの特性に応じて、復元中にフレーミングを考慮する必要がある。これは、帯域幅拡大モジュール3において第1のオーディオフレーム又はその部分を誤りのあるものとして処理し、最新の利得係数を即座に適用するのではなく、1つ追加のフレームのために第1のオーディオフレームからのロックされた利得を保持することを意味することがありうる。
【0115】
第1の良好なフレームのロックされた利得を保持するべきか否かは、遅延に応じて決まる。異なる遅延をもつコーデックへの経験的な適用は、複数の異なる遅延をもつコーデックに対する複数の異なる利点を示している。遅延が非常に小さい(例えば、1ms)コーデックについては、第1の良好なオーディオフレームに最新の利得係数を使用することがより良好である。
【0116】
いくつかの態様を装置に関して説明してきたが、これらの態様は対応する方法の説明をも表すことは明らかであり、ブロック又はデバイスは方法ステップ又は方法ステップの特徴に対応する。同様に、方法ステップに関して説明されている態様は、対応する装置の対応するブロック、項目又は特徴の説明をも表す。方法ステップのいくつか又はすべては、ハードウェア装置、例えばマイクロプロセッサ、プログラマブルコンピュータ又は電子回路など、によって(又はそれを使用して)実行することができる。いくつかの実施形態において、もっとも重要な方法ステップのある1つ又は複数は、そのような装置によって実行することができる。
【0117】
特定の実施要件に応じて、ハードウェア又はソフトウェアにおいて実装することができる。実施態様は、デジタル記憶媒体のような非遷移型の記憶媒体を使用して実施することができる。そのようなデジタル記憶媒体は、例えば、フロッピーディスク、DVD、Blu−Ray、CD、ROM、PROM、及びEPROM、EEPROM又はフラッシュメモリであり、電子的に読取り可能な制御信号を保持し、その制御信号はそれぞれの方法が実施されるようにプログラマブルコンピュータシステムと協働する(又は協働することが可能である)。それゆえ、そのようなデジタル記憶媒体は、コンピュータ読取り可能である。
【0118】
本発明によるいくつかの本明細書に記載されている方法の1つが実施されるようにプログラマブルコンピュータシステムと協働することが可能な電子的読取可能制御信号を有するデータキャリアを含む。
【0119】
概して、プログラムコードを有するコンピュータプログラム製品として実装することができ、そのプログラムコードはコンピュータプログラム製品がコンピュータ上で作動するときに本発明の方法の1つを実施するように動作可能である。そのプログラムコードは、例えば機械読取り可能なキャリアに記憶することができる。
【0120】
他の機械読取り可能なキャリアに記憶され、本明細書に記載されている方法の1つを実施するためのコンピュータプログラムを含む。
【0121】
言い換えれば、本発明の方法の一それゆえ、コンピュータプログラムであって、このコンピュータプログラムがコンピュータ上で作動するときに本明細書に記載されている方法の1つを実施するためのプログラムコードを有する。
【0122】
それゆえ、本発明の方法のさらなる本明細書に記載されている方法の1つを実施するためのコンピュータプログラムを記憶して備えているデータキャリア(又はデジタル記憶媒体もしくはコンピュータ読取り可能な媒体)である。データキャリア、デジタル記憶媒体又は記録媒体は一般的に有形かつ/又は非遷移型である。
【0123】
それゆえ、本発明の方法のさらなる本明細書に記載されている方法の1つを実施するためのコンピュータプログラムを表すデータストリーム又は信号シーケンスである。そのデータストリーム又は信号シーケンスは、例えば、データ通信接続を介して、例えば、インターネットを介して転送されるように構成することができる。
【0124】
さらなる処理手段、例えば、本明細書に記載されている方法の1つを実施するように構成又は適合されているコンピュータ又はプログラマブル論理デバイスを含む。
【0125】
さらなる本明細書に記載されている方法の1つを実施するためのコンピュータプログラムがインストールされているコンピュータを含む。
【0126】
本発明によるさらなる本明細書に記載されている方法の1つを実施するためのコンピュータプログラムを受信機に(例えば、電子的又は光学的に)転送するように構成されている装置又はシステムを含む。その受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどとすることができる。その装置又はシステムは、例えば、コンピュータを受信機に転送するためのファイルサーバを含むことができる。
【0127】
いくつかの実施形態において、プログラマブル論理デバイス(例えば、フィールドプログラマブルゲートアレイ)を、本明細書に記載されている方法の機能のいくつか又はすべてを実施するのに使用することができる。いくつかの実施形態において、フィールドプログラマブルゲートアレイが、本明細書に記載されている方法の1つを実施するためにマイクロプロセッサと協働することができる。概して、本発明の方法は、好ましくは、任意のハードウェア装置によって実施される。
【0128】
上述した本発明の原理の例示にすぎない。当然のことながら、本明細書に記載されている構成及び記載の修正及び変形が当業者には明らかである。それゆえ、意図するところは、本発明は、添付の特許請求項の範囲によってのみ限定され、本明細書における実施形態の記載及び説明によって提示されている特定の詳細によっては限定されないことが意図される。
【符号の説明】
【0129】
1 オーディオ復号器
2 コア帯域復号モジュール
3 帯域幅拡大モジュール
4 結合器
5 エネルギー調整モジュール
6 利得係数提供モジュール
7 ノイズ生成器モジュール
8 スペクトル分析モジュール
9 信号生成器モジュール
10 信号合成モジュール
AS オーディオ信号
BS ビットストリーム
AF オーディオフレーム
CBS コア帯域オーディオ信号
BES 帯域幅拡大オーディオ信号
FDS 周波数領域信号
FB 周波数帯域
AFL オーディオフレーム損失
CGF 現在の利得係数
EE 推定信号エネルギー
NOI ノイズ
DEL 遅延
RFS 原周波数領域信号
【国際調査報告】