特許第6883047号(P6883047)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオの特許一覧

特許6883047適切に復号されたオーディオフレームの復号化表現の特性を使用する誤り隠蔽ユニット、オーディオデコーダ、および関連する方法およびコンピュータプログラム
<>
  • 特許6883047-適切に復号されたオーディオフレームの復号化表現の特性を使用する誤り隠蔽ユニット、オーディオデコーダ、および関連する方法およびコンピュータプログラム 図000024
  • 特許6883047-適切に復号されたオーディオフレームの復号化表現の特性を使用する誤り隠蔽ユニット、オーディオデコーダ、および関連する方法およびコンピュータプログラム 図000025
  • 特許6883047-適切に復号されたオーディオフレームの復号化表現の特性を使用する誤り隠蔽ユニット、オーディオデコーダ、および関連する方法およびコンピュータプログラム 図000026
  • 特許6883047-適切に復号されたオーディオフレームの復号化表現の特性を使用する誤り隠蔽ユニット、オーディオデコーダ、および関連する方法およびコンピュータプログラム 図000027
  • 特許6883047-適切に復号されたオーディオフレームの復号化表現の特性を使用する誤り隠蔽ユニット、オーディオデコーダ、および関連する方法およびコンピュータプログラム 図000028
  • 特許6883047-適切に復号されたオーディオフレームの復号化表現の特性を使用する誤り隠蔽ユニット、オーディオデコーダ、および関連する方法およびコンピュータプログラム 図000029
  • 特許6883047-適切に復号されたオーディオフレームの復号化表現の特性を使用する誤り隠蔽ユニット、オーディオデコーダ、および関連する方法およびコンピュータプログラム 図000030
  • 特許6883047-適切に復号されたオーディオフレームの復号化表現の特性を使用する誤り隠蔽ユニット、オーディオデコーダ、および関連する方法およびコンピュータプログラム 図000031
  • 特許6883047-適切に復号されたオーディオフレームの復号化表現の特性を使用する誤り隠蔽ユニット、オーディオデコーダ、および関連する方法およびコンピュータプログラム 図000032
  • 特許6883047-適切に復号されたオーディオフレームの復号化表現の特性を使用する誤り隠蔽ユニット、オーディオデコーダ、および関連する方法およびコンピュータプログラム 図000033
  • 特許6883047-適切に復号されたオーディオフレームの復号化表現の特性を使用する誤り隠蔽ユニット、オーディオデコーダ、および関連する方法およびコンピュータプログラム 図000034
  • 特許6883047-適切に復号されたオーディオフレームの復号化表現の特性を使用する誤り隠蔽ユニット、オーディオデコーダ、および関連する方法およびコンピュータプログラム 図000035
  • 特許6883047-適切に復号されたオーディオフレームの復号化表現の特性を使用する誤り隠蔽ユニット、オーディオデコーダ、および関連する方法およびコンピュータプログラム 図000036
  • 特許6883047-適切に復号されたオーディオフレームの復号化表現の特性を使用する誤り隠蔽ユニット、オーディオデコーダ、および関連する方法およびコンピュータプログラム 図000037
  • 特許6883047-適切に復号されたオーディオフレームの復号化表現の特性を使用する誤り隠蔽ユニット、オーディオデコーダ、および関連する方法およびコンピュータプログラム 図000038
  • 特許6883047-適切に復号されたオーディオフレームの復号化表現の特性を使用する誤り隠蔽ユニット、オーディオデコーダ、および関連する方法およびコンピュータプログラム 図000039
  • 特許6883047-適切に復号されたオーディオフレームの復号化表現の特性を使用する誤り隠蔽ユニット、オーディオデコーダ、および関連する方法およびコンピュータプログラム 図000040
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6883047
(24)【登録日】2021年5月11日
(45)【発行日】2021年6月2日
(54)【発明の名称】適切に復号されたオーディオフレームの復号化表現の特性を使用する誤り隠蔽ユニット、オーディオデコーダ、および関連する方法およびコンピュータプログラム
(51)【国際特許分類】
   G10L 19/005 20130101AFI20210524BHJP
【FI】
   G10L19/005
【請求項の数】26
【全頁数】41
(21)【出願番号】特願2018-547420(P2018-547420)
(86)(22)【出願日】2017年3月3日
(65)【公表番号】特表2019-512733(P2019-512733A)
(43)【公表日】2019年5月16日
(86)【国際出願番号】EP2017055107
(87)【国際公開番号】WO2017153300
(87)【国際公開日】20170914
【審査請求日】2018年11月7日
(31)【優先権主張番号】16159033.6
(32)【優先日】2016年3月7日
(33)【優先権主張国】EP
(31)【優先権主張番号】16171444.9
(32)【優先日】2016年5月25日
(33)【優先権主張国】EP
(73)【特許権者】
【識別番号】591037214
【氏名又は名称】フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ
(74)【代理人】
【識別番号】100079577
【弁理士】
【氏名又は名称】岡田 全啓
(74)【代理人】
【識別番号】100167966
【弁理士】
【氏名又は名称】扇谷 一
(72)【発明者】
【氏名】ルコント ジェレミー
(72)【発明者】
【氏名】トマセク エイドリアン
【審査官】 中村 天真
(56)【参考文献】
【文献】 国際公開第2015/063045(WO,A1)
【文献】 国際公開第2009/008220(WO,A1)
【文献】 国際公開第2008/151408(WO,A1)
【文献】 米国特許出願公開第2007/0282601(US,A1)
【文献】 国際公開第2014/123471(WO,A1)
【文献】 国際公開第2008/126347(WO,A1)
【文献】 安藤彰男,外2名,発話速度自動計測のための一方法,日本音響学会講演論文集,1995年 3月,p.125-126
(58)【調査した分野】(Int.Cl.,DB名)
G10L 19/00−19/26
(57)【特許請求の範囲】
【請求項1】
符号化されたオーディオ情報(210)内のオーディオフレームの損失を隠蔽するための誤り隠蔽オーディオ情報(107,232,382)を提供するための誤り隠蔽ユニット(100,230,380)であって、
前記誤り隠蔽ユニットは、前記失われたオーディオフレームに先行する適切に復号されたオーディオフレーム(102,403,501)に基づいて、失われたオーディオフレームのための誤り隠蔽オーディオ情報を提供するように構成され、
前記誤り隠蔽ユニットは、前記失われたオーディオフレームに先行する適切に復号されたオーディオフレームの復号された表現の特性に基づいて、減衰係数(103,410,803,1408a〜1408c)を導出する(804,811,910,1504)ように構成され、
前記誤り隠蔽ユニットは、前記減衰係数(103,410,803,1408a〜1408c)を使用してフェードアウト(104,404,812〜814,920)を実行するように構成され、
前記誤り隠蔽ユニットは、
前記失われたオーディオフレームに先行する前記適切に復号されたオーディオフレームの前記復号された表現の終端部におけるエネルギー、または前記失われたオーディオフレームに先行する前記適切に復号されたオーディオフレームの前記復号された表現のスケーリングされたバージョンの終端部におけるエネルギーと、
前記失われたオーディオフレームに先行する前記適切に復号されたオーディオフレームの前記復号された表現における全エネルギー、または前記失われたオーディオフレームに先行する前記適切に復号されたオーディオフレームの前記復号された表現のスケーリングされたバージョンにおける全エネルギーと
の商を計算して、前記減衰係数(103,410,803,1408a〜1408c)を得るように構成された、誤り隠蔽ユニット(100,230,380)。
【請求項2】
前記誤り隠蔽ユニットは、前記失われたオーディオフレームに先行する前記適切に復号されたオーディオフレームの復号された時間領域表現(102,372)の特性に基づいて、前記減衰係数(103,410,803,1408a〜1408c)を導出するように構成された、請求項1に記載の誤り隠蔽ユニット。
【請求項3】
前記誤り隠蔽ユニットは、前記復号された時間領域表現(102)の解析(111,500)を実行し、前記復号された時間領域表現の前記解析に基づいて前記減衰係数(103,410,803,1408a〜1408c)を導出するように構成された、請求項2に記載の誤り隠蔽ユニット。
【請求項4】
前記誤り隠蔽ユニットは、前記失われたオーディオフレームに先行する前記適切に復号されたオーディオフレームの前記復号された表現の時間エネルギー傾向(509,801)に基づいて、前記減衰係数(103,410,803,1408a〜1408c)を導出するように構成された、請求項1ないし3のいずれか1項に記載の誤り隠蔽ユニット。
【請求項5】
前記誤り隠蔽ユニットは、前記失われたオーディオフレームに先行する前記適切に復号されたオーディオフレーム(501)の復号された表現の第1の部分(502)のエネルギー、または前記失われたオーディオフレームに先行する前記適切に復号されたオーディオフレーム(501)の復号された表現の第1の部分(502)の加重バージョンのエネルギーを計算するように構成された、請求項1ないし4のいずれか1項に記載の誤り隠蔽ユニット。
【請求項6】
前記失われたオーディオフレームに先行する前記適切に復号されたオーディオフレームの前記復号された表現の第2の部分(503)のエネルギーまたは前記適切に復号されたオーディオフレームの前記復号された表現の第2の部分(503)の加重バージョンのエネルギーを計算するように構成された、請求項5に記載の誤り隠蔽ユニット。
【請求項7】
前記失われたオーディオフレームに先行する前記適切に復号されたオーディオフレームの前記復号された表現の第2の部分(503)のエネルギーまたは前記失われたオーディオフレームに先行する前記適切に復号されたオーディオフレームの前記復号された表現の第2の部分(503)の加重バージョンのエネルギーを計算して、前記復号された表現の前記第1の部分の開始が、前記復号された表現の前記第2の部分の開始に時間的に先行するように構成された、請求項5または6に記載の誤り隠蔽ユニット。
【請求項8】
前記失われたオーディオフレームに先行する前記適切に復号されたオーディオフレームの前記復号された表現の第2の部分(503)のエネルギーまたは前記失われたオーディオフレームに先行する前記適切に復号されたオーディオフレームの前記復号された表現の第2の部分(503)の加重バージョンのエネルギーを計算して、前記第1の部分の時間値の平均が、前記第2の部分の時間値の平均に時間的に先行するように構成された、請求項5または6または7に記載の誤り隠蔽ユニット。
【請求項9】
前記誤り隠蔽ユニットは、前記第1の部分のエネルギーに依存して、かつ前記第2の部分のエネルギーに依存して、前記減衰係数(103,410,803,1408a〜1408c)を計算するように構成された、請求項6ないし8のいずれか1項に記載の誤り隠蔽ユニット。
【請求項10】
前記誤り隠蔽ユニットは、下記の式を用いて前記時間エネルギー傾向を計算するように構成され、
ここで、Lはサンプルにおける前記フレーム長、xkはサンプリングされた信号値、wkは加重係数、cは0.5と0.9の間、好ましくは0.6と0.8の間、より好ましくは0.65と0.75の間の値であり、さらにより好ましくは0.7である、請求項4に記載の誤り隠蔽ユニット。
【請求項11】
前記誤り隠蔽ユニットは、下記の条件を検証するために前記加重係数を決定するように構成されている、請求項10に記載の誤り隠蔽ユニット。
【請求項12】
前記誤り隠蔽ユニットは、前記加重係数を下記の通り決定するよう構成され、
ここで、dは0.4と0.6の間、好ましくは0.49と0.51の間、より好ましくは0.499と0.501の間、さらにより好ましくは0.5であり、
ここで、hは0.15と0.25の間、好ましくは0.19と0.21の間、より好ましくは0.199と0.201の間、さらにより好ましくは0.2であり、
ここで、gは0.05と0.15の間、好ましくは0.09と0.11の間、より好ましくは0.5である、請求項10または請求項11に記載の誤り隠蔽ユニット。
【請求項13】
前記誤り隠蔽ユニットは、前の隠蔽されたオーディオフレームに関して前記減衰係数(103,410,803,1408a〜1408c)を低減し、前記低減された減衰係数(103,410,803,1408a〜1408c)を使用して、前の隠蔽されたオーディオフレームに続く少なくとも1つの後続の隠蔽されたオーディオフレームをフェードアウトするように構成された、請求項1ないし12のいずれか1項に記載の誤り隠蔽ユニット。
【請求項14】
前記誤り隠蔽ユニットは、少なくとも3つの連続する隠蔽されたオーディオフレームにわたる指数関数以上の時間減衰に従ってフェードアウトを実行するように構成された、請求項12または13に記載の誤り隠蔽ユニット。
【請求項15】
前記誤り隠蔽ユニットは、前記失われたオーディオフレームに先行する前記適切に復号されたオーディオフレームの前記復号された表現の時間エネルギー傾向を定量的に記述するエネルギー傾向値を決定するように構成され、かつ
前記誤り隠蔽ユニットは、前記減衰係数(103,410,803,1408a〜1408c)を定義するために、前記エネルギー傾向値または前記エネルギー傾向値のスケーリングされたバージョンを使用するように構成された、請求項1ないし14のいずれか1項に記載の誤り隠蔽ユニット。
【請求項16】
前記誤り隠蔽ユニットは、現在のエネルギー傾向値が比較的小さい経時的エネルギー減少を示す所定の範囲内にある場合、前記現在のエネルギー傾向値より低い所定の値に前記減衰係数(103,410,803,1408a〜1408c)を設定するように構成された、請求項14または15に記載の誤り隠蔽ユニット。
【請求項17】
前記誤り隠蔽ユニットは、現在のエネルギー傾向値が前記所定の範囲外にあり、かつ比較的大きい経時的エネルギー減少を示す場合、前記減衰係数が現在のエネルギー傾向値に等しくなるように、あるいはエネルギー傾向値の変化に伴い線形に変化するように、前記減衰係数(103,410,803,1408a〜1408c)を決定するように構成された、請求項16に記載の誤り隠蔽ユニット。
【請求項18】
前記誤り隠蔽ユニットは、
好ましくはビットストリーム情報に基づいて、または信号解析に基づいて、前記失われたオーディオフレームに先行する前記適切に復号されたオーディオフレームがノイズ状であると認識された場合、前記減衰係数(103,410,803,1408a〜1408c)を、第2の既定値よりも小さい減衰を示す第1の既定値に設定する、および/または、
好ましくはビットストリーム情報に基づいて、または信号解析に基づいて、前記失われたオーディオフレームに先行する前記適切に復号されたオーディオフレームが音声状で、音声が前記失われたオーディオフレームに先行する前記適切に復号されたオーディオフレーム内で終了しないと認識された場合、前記減衰係数(103,410,803,1408a〜1408c)を前記第2の既定値に設定する、および/または、
好ましくはビットストリーム情報に基づいて、または信号解析に基づいて、前記失われたオーディオフレームに先行する前記適切に復号されたオーディオフレームが音声状で、音声が前記失われたオーディオフレームに先行する前記適切に復号されたオーディオフレーム内で減衰するまたは終了すると認識された場合、前記減衰係数(103,410,803,1408a〜1408c)を前記エネルギー傾向値または前記エネルギー傾向値のスケーリングされたバージョンに基づく値に設定するように構成された、請求項15ないし17のいずれか1項に記載の誤り隠蔽ユニット。
【請求項19】
前記誤り隠蔽ユニットは、異なる周波数帯域に対して異なる減衰係数(103,410,803,1408a〜1408c)を決定するように構成された、請求項1ないし18のいずれか1項に記載の誤り隠蔽ユニット。
【請求項20】
前記誤り隠蔽ユニットは、前記減衰係数(103,410,803,1408a〜1408c)が前記失われたオーディオフレームに先行する最後の前記適切に復号されたオーディオフレームの終端部分におけるエネルギーレベルの計時的推移の外挿を前記失われたオーディオフレームに向けて反映するように、前記減衰係数(103,410,803,1408a〜1408c)を導出するように構成された、請求項1ないし19のいずれか1項に記載の誤り隠蔽ユニット。
【請求項21】
前記誤り隠蔽ユニットは、前記減衰係数(103,410,803,1408a〜1408c)を使用して、前記失われたオーディオフレームに先行する前記オーディオフレームのオーディオコンテンツをフェードアウトするように構成された、請求項1ないし20のいずれか1項に記載の誤り隠蔽ユニット。
【請求項22】
前記誤り隠蔽ユニットは、前記失われたオーディオフレームの隠蔽されたスペクトル表現を導出するために、前記減衰係数(103,410,803,1408a〜1408c)を使用して前記失われたオーディオフレームに先行する前記オーディオフレームのスペクトル表現をスケーリングするように構成された、請求項1ないし21のいずれか1項に記載の誤り隠蔽ユニット。
【請求項23】
前記誤り隠蔽ユニットは、前記失われたオーディオフレームに先行する前記適切に復号されたオーディオフレームの前記復号された表現を得るために、スペクトル領域から時間領域への変換を実行するように構成された、請求項1ないし22のいずれか1項に記載の誤り隠蔽ユニット。
【請求項24】
符号化されたオーディオ情報におけるオーディオフレームの損失を隠蔽するための誤り隠蔽オーディオ情報を提供するための誤り隠蔽方法であって、前記方法は、
失われたオーディオフレームに先行する適切に復号されたオーディオフレームの復号された表現の特性に基づいて減衰係数(103,410,803,1408a〜1408c)を導出するステップと、前記減衰係数を使用してフェードアウトを実行するステップとを含み、
前記方法は、前記減衰係数(103,410,803,1408a〜1408c)を得るために、
前記失われたオーディオフレームに先行する前記適切に復号されたオーディオフレームの前記復号された表現の終端部におけるエネルギー、または前記失われたオーディオフレームに先行する前記適切に復号されたオーディオフレームの前記復号された表現のスケーリングされたバージョンの終端部におけるエネルギーと、
前記失われたオーディオフレームに先行する前記適切に復号されたオーディオフレームの前記復号された表現における全エネルギー、または前記失われたオーディオフレームに先行する前記適切に復号されたオーディオフレームの前記復号された表現のスケーリングされたバージョンにおける全エネルギーと
の商を計算するステップを含む、誤り隠蔽方法。
【請求項25】
コンピュータプログラムがコンピュータ上で動作するときに、請求項24に記載の方法を実行するためのコンピュータプログラム。
【請求項26】
符号化されたオーディオ情報に基づいて復号されたオーディオ情報を提供するためのオーディオデコーダであって、前記オーディオデコーダは、請求項1ないし23のいずれか1項に記載の誤り隠蔽ユニットを備える、オーディオデコーダ。
【発明の詳細な説明】
【技術分野】
【0001】
1.技術分野
本発明による実施形態は、符号化されたオーディオ情報内のオーディオフレームまたはより多くのオーディオフレームの損失を隠蔽するための誤り隠蔽オーディオ情報を提供するための誤り隠蔽ユニットを作り出す。
【0002】
本発明による実施形態は、符号化されたオーディオ情報に基づいて復号されたオーディオ情報を提供するオーディオデコーダを作り出し、前記デコーダは誤り隠蔽ユニットを含む。
【0003】
本発明によるいくつかの実施形態は、符号化されたオーディオ情報内のオーディオフレームの損失を隠蔽するための誤り隠蔽オーディオ情報を提供する方法を作り出す。
【0004】
本発明によるいくつかの実施形態は、前記方法のうちの1つを実行するためのコンピュータプログラムを作り出す。
【0005】
いくつかの実施形態は、周波数領域オーディオコーデックのための適応減衰係数の使用に関する。
【背景技術】
【0006】
2.発明の背景
近年、オーディオコンテンツのデジタル送信および記憶に対する需要が増加している。しかしながら、オーディオコンテンツは、信頼できないチャネルを介して送信されることが多く、1つ以上のオーディオフレーム(例えば、符号化された周波数領域表現または符号化された時間領域表現などの符号化表現の形式で)を含むデータユニット(例えば、パケット)が失われる危険をもたらす。場合によっては、失われたオーディオフレーム(または、1つ以上の失われたオーディオフレームを含むパケットのようなデータユニット)の繰返し(再送)を要求することが可能であろう。しかしながら、これは典型的にはかなりの遅延をもたらし、従って、オーディオフレームの広範なバッファリングを必要とする。他の場合には、失われたオーディオフレームの繰り返しを要求することはほとんど不可能である。
【0007】
(大量のメモリを消費し、オーディオ符号化の実時間能力を実質的に低下させる)広範なバッファリングを提供することなくオーディオフレームが失われる場合に、良好な、または少なくとも容認できるオーディオ品質を得るために、1つ以上のオーディオフレームの損失に対処する概念を有することが望ましい。特に、オーディオフレームが失われた場合でも、良好なオーディオ品質、または少なくとも許容可能なオーディオ品質をもたらす概念を有することが望ましい。
【0008】
これまで、いくつかの誤り隠蔽の概念が開発されており、これは異なる音声符号化の概念に採用することができる。アドバンストオーディオコーデック(AAC)における従来の隠蔽技術はノイズ置換である。ノイズ置換は周波数領域で動作し、ノイズの多い音楽アイテムに適する。
【0009】
代替フレーム(またはスペクトル値)の強度を低減するためのフェードアウト技術も開発されている。これらの技術は、代替フレームを所定の係数(減衰係数)でスケーリングすることに基づいていることが多い。通常、減衰係数は0と1の間の値で表される。減衰係数が小さいほどフェードアウトが強くなる。
【0010】
【0011】
しかし、特に音声や過渡信号の場合、そのようなフェードアウト技術は完全に満足できるものではない。最初の失われたフレームが単語の終りの直後であるとき、雑音の置換は、適切に復号された以前の音声フレーム、すなわち単語が終了したフレームの繰返しを意味する。無駄な会話(情報なし)が繰返され、迷惑なポストエコーが発生する。例えば、図11(エコーが存在しない場合)と比較して図10(エコーあり)を参照されたい。また、図10および図11は、縦軸の周波数および横軸の時間(100msまたはhms)を示す。
【0012】
このエコーは、適切に復号されたオーディオフレームの繰返しの直接的で避けられない結果である。
【0013】
このような技術的な障害を克服することが望ましいであろう。G.729.1 [3]およびEVS [4]は、信号特性の安定性に依存する適応型フェードアウト技術を提案している。フェードアウト係数は、最後に受信された良好なスーパーフレームクラスのパラメータおよび連続して消去されたスーパーフレームの数に依存する。この係数は、無声スーパーフレーム(有声フレームと無声フレームとの間の分類が実行される)に対するLPフィルタの安定性にさらに依存する。AAC−ELD [5]のようなAACデコーダで利用可能な信号特性がないため、コーデックは隠れた信号を盲目的に固定係数で減衰させているので、上述の厄介な繰り返しアーチファクトにつながる可能性がある。
【0014】
いくつかの条件では、迷惑なアーチファクトが、スペクトル表現のホールによって生成されることが分かっている。
【発明の概要】
【発明が解決しようとする課題】
【0015】
先行技術の障害の少なくともいくつかの発生率を克服する、または少なくとも減少させるための解決策が必要である。
【課題を解決するための手段】
【0016】
3.発明の概要
本発明の実施形態によれば、符号化されたオーディオ情報におけるオーディオフレームの損失を隠蔽するための誤り隠蔽オーディオ情報を提供する誤り隠蔽ユニットが提供される。誤り隠蔽ユニットは、失われた音声フレームに先行する適切に復号化された音声フレームに基づく周波数領域隠蔽を使用して誤り隠蔽音声情報を提供するように構成される。誤り隠蔽ユニットは、異なる周波数帯域について異なる減衰係数に従って隠蔽されたオーディオフレームをフェードアウトするように構成される。
【0017】
本発明の実施形態によれば、符号化されたオーディオ情報におけるオーディオフレームの損失を隠蔽するための誤り隠蔽オーディオ情報を提供するための誤り隠蔽ユニットも提供される。誤り隠蔽ユニットは、失われた音声フレームに先行して適切に復号化された音声フレームに基づいて、失われた音声フレームについての誤り隠蔽音声情報を提供するように構成される。誤り隠蔽ユニットは、失われた音声フレームに先行する適切に復号された音声フレームの復号された表現の特性に基づいて、1つ以上の減衰係数を導出するように構成されてもよい。誤り隠蔽ユニットは、減衰係数を使用してフェードアウトを実行するように構成される。
【0018】
従って、ポストエコーアーチファクトによって引起こされる問題は、失われたオーディオフレームに先行して適切に復号されたオーディオフレームの復号された表現の特性の分析に基づく技法を使用することによって克服することができることが観察されている。信号の特性は、オーディオ情報を分類し、そのような分類に従って隠れたオーディオフレームを減衰させるために使用できる、信号のエネルギーに関する正確な情報を提供する。
【0019】
本発明の一態様によれば、誤り隠蔽ユニットは、失われた音声フレームに先行する適切に復号された音声フレームの復号された時間領域表現の特性に基づいて減衰係数を導出するように構成することができる。
【0020】
例えば、単にこのような時間領域表現の態様に基づいて、以前の適切に復号されたオーディオフレームが単語または音声の終わり(または、一般に、時間の経過によるエネルギーの減少)を含むことを認識することが可能である。また、復号されたオーディオフレームの異なる特徴(時間変調、一時的な特性など)は、復号された表現から良好な精度で導き出すことができる。
【0021】
本発明の一態様によれば、誤り隠蔽ユニットは、復号された時間領域表現の分析を実行し、分析に基づいて減衰係数を導出するように構成することができる。
【0022】
従って、復号された時間領域表現を解析することによって減衰係数を直接導出することが可能である。復号された表現を分析することは、典型的には、復号の入力パラメータを使用して信号の特性を推定することよりもはるかに正確である。この場合、分析はエンコーダでは行われない。
【0023】
代替的には、いくつかの信号特性がエンコーダで計算され、デコーダが減衰係数を決定するビットストリームに送られる。
【0024】
本発明の一態様によれば、誤り隠蔽ユニットは、失われた音声フレームに先行する適切に復号された音声フレームの復号された表現の時間的エネルギー傾向に基づいて減衰係数を導出するように構成することができる。
【0025】
事実、適切に復号化されたオーディオフレーム(誤って受信されたフレームを「置換」する)の性質を、そのエネルギー傾向を分析することによって決定することが可能であることが指摘されている。音声(および音楽のような他の意図された音声情報)は一般に雑音より多くのエネルギーをもたらすので、フレーム内のエネルギーの減衰は単語の終りの発生の指標として使用することができる。従って、以前に適切に復号化されたオーディオフレームの決定された性質に基づいて、オーディオ情報を異なる方法でフェードインすることが可能である。異なる性質のフレームに異なるフェージングを適用することにより、ポストエコーアーチファクトの発生を低減することが可能である。
【0026】
復号された表現(時間領域表現の形式を取ることができる)は、符号化された表現よりもオーディオ信号の時間的進展をより明示し、したがって、復号された表現(例えば、復号された表現の特性は、復号された表現の解析によって導出されてもよい)の特性に基づいて減衰係数を導出することが有利であることが認識されている。
【0027】
本発明の一態様によれば、誤り隠蔽ユニットは、失われた音声フレームに先行して適切に復号された音声フレームの復号化された表現の第1の部分のエネルギー、またはその加重バージョンのエネルギーを計算するように、かつ失われたオーディオフレームに先行して適切に復号されたオーディオフレームの復号された表現の第2の部分のエネルギー、またはその加重バージョンのエネルギーを計算するように構成することができる。復号された表現の第1の部分の開始は、復号された表現の第2の部分の開始に時間的に先行するか、または第1の部分の時間値の平均が時間的に第2の部分の平均時間値に先行する。誤差隠蔽ユニットは、第1の部分のエネルギーに依存しかつ第2の部分のエネルギーに依存して減衰係数を計算するように構成することができる。
【0028】
従って、エネルギー傾向(例えば、エネルギー傾向値によって具体化される)を計算することが可能である:フレームの時間的に前の部分が、フレームの次の部分より多くのエネルギーを有する場合、スピーチの終わり(または、一般に、時間の経過とともにエネルギーの減少)は、十分な程度の確実性で決定することができる。特に、フレームの第1の部分は第2の部分を含むことができる(またはその逆)。第1の部分の平均時間は、第2の部分の平均時間に先行する(例えば、第1の部分の中心が第2の部分の中心に時間的に先行する)。
【0029】
特に、復号された表現の第2の部分は、失われたオーディオフレームに先行する適切に復号されたオーディオフレームの復号された表現のサンプルの最後の区間を含むことができる。復号された表現の第1の部分は、失われたオーディオフレームに先行する適切に復号されたオーディオフレームのすべてのサンプル、または第2の部分と重なる失われたオーディオフレームに先行する適切に復号されたオーディオフレームのサンプルの区間を含むことができ、第1の部分のサンプルの少なくともいくつかは、第2の部分のすべてのサンプルに先行する。
【0030】
従って、本発明の実施形態の根底にある理論的根拠の1つは、迷惑な繰返しアーチファクトは、失われたフレームが音声の終わりに続くときに主として生じるという知見に基づいている。無音またはノイズを再生する代わりに、単語の断片が無用に反復される。これは、本発明の実施形態が、失われたフレーム(または連続する失われたフレームのシーケンスの最初のフレーム)が、ワード(または音声)の終わりに続くフレームであること、例えば、最後に適切に復号化されたオーディオフレームは、単語(または音声)の終わりに続くフレーム、またはより一般的には、エネルギーレベルが突然低下したフレームであることを認識することに基づいている理由の1つである。(場合によっては、フレームが80msのようにかなり長いところで、たとえフレームロスがエネルギー減衰の途中で現れるとしても、何らかのポストエコーが生じることがある。)
【0031】
次の間の商を計算することは可能である:
−失われたオーディオフレームに先行する適切に復号されたオーディオフレームの復号された表現の端部におけるエネルギー、または損失されたオーディオフレームに先行する適切に復号されたオーディオフレームの復号された表現のスケーリングされたバージョンの端部におけるエネルギー、および
−減衰されたオーディオフレームに先行する適切に復号されたオーディオフレームの復号された表現における全エネルギー、または減衰係数を得るために損失されたオーディオフレームに先行する適切に復号されたオーディオフレームの復号された表現のスケーリングされたバージョンにおける全エネルギー。
【0032】
第1の部分はフレームのすべてのサンプルを含むことができるが、第2の部分は同じフレームの後半(または請求項の後半の一部)のサンプルのみを含むことができる。第2の部分に関連するエネルギーに関連する値を、第1の部分(例えば、フレーム全体)に関連するエネルギーに関連する値で割ることによって、値を得ることができる(第1の部分がフレーム全体を含むとき、値は0〜1の間となることができ、パーセンテージで表すことができる)。
【0033】
いくつかの実施形態では、ゼロに等しい商は、エネルギーが第2部分のサンプルに存在しないことを暗示することができ、第2部分のサンプルが固有情報として「無音」を伝えることを示す。
【0034】
【0035】
【0036】
【0037】
【0038】
本発明の一態様によれば、誤り隠蔽ユニットは、前に隠蔽されたオーディオフレームに関して減衰係数を減少させ、低減された減衰係数を使用して以前に隠蔽されたオーディオフレームに続いて、少なくとも1つの後続の隠蔽されたオーディオフレームをフェードアウトするように構成することができる。
【0039】
この解決策は、複数の連続したフレームが誤って復号される場合に特に有利である。このようにして、オーディオ信号は適切に減衰される。
【0040】
本発明の一態様によれば、誤り隠蔽ユニットは、少なくとも3つの連続した隠蔽された音声フレームにわたる指数関数的な時間減衰よりも大きくなるように、フェードアウトを実行するように構成することができる。
【0041】
フェードアウトに関連する減衰係数の指数関数的な時間減衰よりも大きいことが好ましく、フェージングの優雅さとオーディオ情報の強度を減少させる必要性との間の良好なトレードオフを得ることができることがわかっている。具体的には、特に適切な減衰は、第2の連続した損失フレームで以前の減衰係数を0.9倍、第3の連続する失われたフレームで0.75、第3の連続する失われたフレームで0.5、4番目とそれ以降の連続する失われたフレームで0.2倍繰り返し乗算することで得られることがわかっている。
【0042】
本発明の一態様によれば、誤り隠蔽ユニットは、失われた音声フレームに先行する適切に復号された音声フレームの復号された表現の時間的エネルギー傾向を定量的に記述するエネルギー傾向値を決定するように構成することができる。
【0043】
本発明の一態様によれば、誤差隠蔽ユニットは、現在のエネルギー傾向値が時間の経過とともに比較的小さいエネルギーを示す所定の範囲内にある場合には、現在のエネルギー傾向値よりも低い所定の値に減衰係数を設定するように構成することができる。
【0044】
従って、時間的エネルギー傾向が1に近い(または、少なくとも、(1/2)1/2になり得る閾値よりも大きい)場合、適切に復号されたオーディオフレームが会話の終端部を含まない(または、とにかくエネルギーが急激に減少するオーディオフレームではない)という十分な程度の確信度で判定することができる。
【0045】
本発明の一態様によれば、誤差隠蔽は、現在のエネルギー傾向値が所定の範囲外にあり、時間の経過とともに比較的大きなエネルギー減少を示す場合、減衰係数は現在のエネルギー傾向値に等しく、または変化するエネルギー傾向値に対して線形に変化するように、減衰係数を決定するように構成できる。
【0046】
従って、時間的エネルギー傾向が閾値(例えば、1/21/2とすることができる)未満である場合、適切に復号された音声フレームが単語(または会話)の終わりを含むという十分な程度の確信度で判定することができる。従って、フェードアウトを加速するために低減された制動値を使用することが可能であり、従って本発明によるポストエコーを回避することができる。
【0047】
【0048】
適切に復号化されたオーディオフレームを分類することにより(例えば、雑音/フレーム内の音声終了/音声継続として)、3つの異なるフェージングを実行することができる。
−小さなフェージングまたはノイズのために全くフェージングなし(ノイズにとって好ましい)
−スピーチが適切に復号されたオーディオフレームで終わらないときの中程度のフェージング(迷惑なエコーのリスクがない場合)。
−スピーチが適切に復号されたオーディオフレームで終了するときのハードフェーディング(したがって、迷惑なエコーの影響を減少させる)
誤り隠蔽は、異なる周波数帯域について異なる減衰係数を決定するように構成される。
【0049】
本発明の一態様によれば、誤り隠蔽ユニットは、減衰係数が、失われたオーディオフレームに先行する最後の適切に復号されたオーディオフレームの端部のエネルギーレベルの時間的進展の失われたオーディオフレームに向けての外挿を反映するように、減衰係数を導出するように構成される。
【0050】
本発明の一態様によれば、誤り隠蔽ユニットは、失われたオーディオフレームの隠蔽されたスペクトル表現を導出するために、減衰係数を使用して、失われたオーディオフレームに先行するオーディオフレームのスペクトル表現をスケーリングするように構成される。
【0051】
本発明の一態様によれば、誤り隠蔽ユニットは、失われたオーディオフレームの隠蔽されたスペクトル表現を導出するために、減衰係数を使用して、失われたオーディオフレームに先行するオーディオフレームのスペクトル表現をスケーリングするように構成される。
【0052】
本発明の一態様によれば、誤り隠蔽ユニットは、失われた音声フレームに先行する適切に復号された音声フレームの復号された表現を得るために、スペクトル領域から時間領域への変換を実行するように構成される。
【0053】
本発明の実施形態によれば、符号化オーディオ情報内のオーディオフレームの損失を隠蔽するための誤り隠蔽オーディオ情報方法が提供され、以下のステップを含む:
−前記損失されたオーディオフレームに先行して適切に復号されたオーディオフレームの復号された表現の特性に基づいて減衰係数を導出するステップ、および
−減衰係数を使用してフェードアウトを実行するステップ。
【0054】
この方法は、上記の本発明の態様のいずれかと組合せて使用することができる。
【0055】
本発明の実施形態によれば、コンピュータプログラムがコンピュータ上で実行されるときに、本発明の方法を実施するための、および/または上述の本発明の製品実施形態を制御するためのコンピュータプログラムが提供される。
【0056】
本発明の実施形態によれば、符号化されたオーディオ情報に基づいて復号されたオーディオ情報を提供するためのオーディオデコーダが提供され、オーディオデコーダは上述の誤り隠蔽ユニットを備えるか、または上述のような方法を実施する。
【0057】
本発明の実施形態によれば、符号化オーディオ情報内のオーディオフレームの損失を隠蔽するための誤り隠蔽オーディオ情報を提供する誤り隠蔽ユニットが提供され、前記誤り隠蔽ユニットは、失われたオーディオフレームに先行する適切に復号されたオーディオフレームに基づく誤り隠蔽オーディオ情報を提供するように構成することができる。誤り隠蔽ユニットは、異なる周波数帯域に対して異なる減衰係数を使用してフェードアウトを実行するように構成される。
【0058】
オーディオフレームの同じスペクトル表現の異なる帯域に対して異なる減衰係数を使用することが可能であることに留意されたい。従って、例えば、スピーチ状(またはほとんどがスピーチを含む)である周波数帯域(またはスペクトルビン)よりもノイズ状の周波数帯域(またはスペクトルビン)に異なる減衰係数を適用することが可能であるため、スペクトルホールによる厄介なアーチファクトの発生を回避することが可能である
【0059】
従って、減衰係数は、異なる周波数帯域または異なるスペクトルビンの信号特性、または異なる周波数帯域またはスペクトルビンにおけるエネルギーの時間的進展に適合させることができる。
【0060】
本発明の一態様によれば、誤り隠蔽ユニットは、失われた音声フレームに先行する適切に復号された音声フレームのスペクトル領域表現の特性に基づいて減衰係数を導出するように構成することができる。
【0061】
本発明の一態様によれば、誤り隠蔽ユニットは、例えば、失われたオーディオフレームに先行する適切に復号されたオーディオフレームの有声周波数帯域を、失われたオーディオフレームに先行する適切に復号されたオーディオフレームの非音声あるいは雑音状の周波数帯域より速くフェードアウトさせるように、1つ以上の減衰係数を適合させるように構成することができる。
【0062】
フェードアウトを各周波数帯域(またはスペクトルビン)に適合させることにより、最適なフェージング挙動を得ることが可能である。特に、音声に関連するスペクトル帯域は、ノイズに関連するスペクトル帯域よりも速く減衰され、したがって、オーディオ復号化された情報を聞いている人の煩わしさが軽減される。
【0063】
本発明の一態様によれば、誤り隠蔽ユニットは、失われたオーディオフレームに先行しかつ失われたオーディオフレームに先行して適切に復号化されたオーディオフレームの1つ以上の周波数帯域よりも速く、スペクトルビン当たり比較的高いエネルギーを有しかつスペクトルビン当たり比較的低いエネルギーを有する適切に復号されたオーディオフレームの1つ以上の周波数帯域をフェードアウトさせるように、1つ以上の減衰係数を適応させるように構成できる。
【0064】
本発明の原理によれば、スペクトルビン当たり比較的高いエネルギーを有する帯域は雑音よりも多くの音声情報を含むことが予想される。従って、低エネルギー(雑音状の)周波数帯域を徐々にフェードアウトのみさせる一方でこれらの音声関連帯域の減衰を増加させることが提案される。
【0065】
本発明の一態様によれば、誤り隠蔽ユニットは、少なくとも1つの周波数帯域について、失われたオーディオフレームに先行する適切に復号されたオーディオフレームにおける少なくとも1つの周波数帯域に関連付けられたエネルギー値と、閾値との間の比較に基づいて減衰係数を設定するように構成される。
【0066】
閾値との比較は、結果がとりわけ、スピーチまたはノイズに関する情報を運ぶことが期待されるバンドの決定である単純な(しかし重要な)テストを実行することを可能にする。
【0067】
本発明の一態様によれば、誤り隠蔽ユニットは、少なくとも1つの周波数帯域に関連するエネルギー値が閾値よりも低い場合、少なくとも1つの周波数帯域に対して所定の減衰係数を使用するように構成することができる。誤り隠蔽ユニットは、少なくとも1つの周波数帯域に関連するエネルギー値が閾値よりも高い場合、少なくとも1つの周波数帯域について所定の減衰係数よりも小さい減衰係数を使用するように構成することができる。
【0068】
従って、より高いエネルギーの帯域バンドは、より低いエネルギーの帯域よりも速く減衰され、したがって聴取者にとっての煩わしさを低減する。
【0069】
本発明の一態様によれば、誤り隠蔽ユニットは、少なくとも1つの周波数帯域に関連するエネルギー値が、しきい値より低い場合、少なくとも1つの周波数帯域について比較的遅いフェードアウトを表す減衰係数を使用するように構成することができる。誤り隠蔽ユニットは、少なくとも1つの周波数帯域に関連するエネルギー値が閾値よりも高い場合、少なくとも1つの周波数帯域について比較的速いフェードアウトを表す減衰係数を使用するように構成することができる。
【0070】
本発明の一態様によれば、誤り隠蔽ユニットは、少なくとも1つの周波数帯域に関連するエネルギー値が閾値よりも低い場合、減衰係数を所定の値として定義するように構成することができる。誤り隠蔽ユニットは、少なくとも1つの周波数帯域に関連するエネルギー値が閾値よりも高い場合に、前記少なくとも1つの周波数帯域に関連するエネルギー値が前記閾値よりも低い場合よりも前記少なくとも1つの周波数帯域を速くフェードアウトさせるように、失われたオーディオフレームに先行する適切に復号されたオーディオフレームの復号された表現の時間的エネルギー傾向値に基づいて少なくとも1つの周波数帯域についての減衰係数を導出するように構成することができる。
【0071】
低エネルギー帯域よりも速く(音声に関係すると予想される)高エネルギー帯域を減衰させることが可能であるだけでなく、適切に復号された音声フレームの進化に従って帯域をフェードアウトすることも可能である。例えば、適切に復号されたオーディオフレームのエネルギー展開が、後者が単語(または音声)が終了したフレームであることを示す場合、スピーチに関連すると予想されるより高いエネルギー帯域の減衰を増加させることが好ましい。従って、適切に復号化された音声フレームが単語の終わりを含むとき、迷惑なエコーアーチファクトを回避することができる。
【0072】
本願発明の一態様によれば、誤り隠蔽ユニットは、異なる周波数帯域について異なる閾値を定義するように構成することができる。
【0073】
例えば、ビンは多いが輝度は低い帯域は、ノイズに関連すると予想される。これとは逆に、エネルギーの高い帯域が音声と関連することが期待できる。従って、これらの帯域の間の区別は、異なる帯域について異なる閾値との異なる比較を操作することによって得ることができる。
【0074】
本願発明の一態様によれば、誤り隠蔽ユニットは、少なくとも1つの周波数帯域のエネルギー値、平均エネルギー値、または予想されるエネルギー値に基づいて閾値を設定するように構成することができる。
【0075】
例えば、低エネルギーの帯域はノイズに関連すると予想される。これとは逆に、エネルギーの高い帯域が音声と関連することが期待できる。従って、各帯域について、エネルギー値、平均エネルギー値、または帯域の予想されるエネルギー値に依存する閾値を選択することによって、これらの帯域の間の区別を得ることができる。
【0076】
本願発明の一態様によれば、誤り隠蔽ユニットは、失われたオーディオフレームに先行する適切に復号されたオーディオフレームのエネルギー値と失われたオーディオフレームに先行して適切に復号されたオーディオフレームの全体のスペクトルのスペクトルラインの数との間の比に基づいて閾値を設定するように構成することができる。
【0077】
本願発明の一態様によれば、誤り隠蔽ユニットは、失われたオーディオフレームに先行する適切に復号されたオーディオフレームの復号された表現の時間的エネルギー傾向に基づいて閾値を設定するように構成することができる。
【0078】
時間的エネルギー傾向は、ワードの終わりがフレーム内にあるか否かにかかわらず、適切に復号されたオーディオフレームが情報を含むかどうかの情報を含むことができる。耳障りなエコーアーチファクトを避けるために、単語の終わりを含むオーディオフレームに続くより速いフレームを減衰させることが好ましい。従って、時間的エネルギー傾向に基づいて閾値を選択することが好ましいことがある。適切に復号されたフレーム(エネルギー傾向が0に近い)で終了する単語の確率が高いほど、閾値が低くなるほど、帯域の減衰が速くなる。
【0079】
【0080】
【0081】
値facは、失われたオーディオフレームに先行する適切に復号されたオーディオフレームにおける時間的エネルギー傾向を表す量、または失われたオーディオフレームに先行する適切に復号されたオーディオフレームにおける時間的エネルギー傾向を表す量から導出される減衰値であり得る。値energytotalは、失われたオーディオフレームに先行する適切に復号されたオーディオフレームの全周波数帯域にわたる総エネルギーとすることができる。値nbOfTotalLinesは、失われたオーディオフレームに先行して適切に復号されたオーディオフレームのスペクトル線の総数とすることができる。
【0082】
本発明の一態様によれば、誤り隠蔽ユニットは、異なるスケーリング係数帯域について異なる減衰係数を使用してフェードアウトを実行するように構成することができる。逆量子化されたスペクトル値をスケーリングするための異なるスケーリング係数は、異なるスケール係数帯域に関連付けることができる。
【0083】
本発明の態様によれば、誤り隠蔽ユニットは、失われたオーディオフレームの隠蔽されたスペクトル表現を導出するために、減衰係数を使用して失われたオーディオフレームに先行するオーディオフレームのスペクトル表現をスケーリングするように構成することができる。
【0084】
本発明の態様によれば、誤り隠蔽ユニットは、失われたオーディオフレームの隠蔽されたスペクトル表現を導出するために、異なる減衰係数を使用して失われたオーディオフレームに先行するオーディオフレームのスペクトル表現の異なる周波数帯域をスケーリングし、それにより異なるフェードアウト速度を有する異なる周波数帯域のスペクトル値をフェードアウトするように構成することができる。
【0085】
従って、音声などの情報を含む帯域が雑音を含む帯域よりも減衰された適切な隠蔽を得ることが可能である。
【0086】
本願発明の一態様によれば、誤り隠蔽ユニットは、
−好ましくはビットストリーム情報に基づいて、または信号解析に基づいて、失われたオーディオフレームに先行して適切に復号化されたオーディオフレームがノイズ状である場合、所与の周波数帯域に関連する減衰係数を、第2の所定値(例えば、約1/21/2)より小さい減衰を示す第1の所定値(例えば、0.95と1との間)に設定し、および/または
−好ましくは、ビットストリーム情報に基づいて、または信号解析に基づいて、失われたオーディオフレームに先行して適切に復号化されたオーディオフレームが失われたオーディオフレームに先行する適切に復号されたオーディオフレームで終わらないスピーチ的であると認識された場合、所与の周波数帯域に関連する減衰係数を第2の所定の値に設定し、および/または
−好ましくはビットストリーム情報に基づいて、または信号解析に基づいて、失われたオーディオフレームに先行する適切に復号されたオーディオフレームは、スピーチ的に減衰してスピーチ状であるか、失われたオーディオフレームに先行する適切に復号されたオーディオフレームで終了すると認識された場合、所与の周波数帯域に関連する減衰係数をエネルギー傾向値またはそのスケーリングされたバージョンに基づく値に設定する
ように構成されている。
【0087】
例えば、音声(または音楽などの意図された音声情報)およびノイズを含む情報などの情報を含む帯域を区別することが可能である。意図された音声情報を含む帯域は、雑音を含む帯域よりも速く減衰させることができる。以前に復号されたオーディオフレームが単語の終わり(またはスピーチまたはとにかく意図されたオーディオ情報)を含む場合、減衰は比較的に(例えば、減衰係数を減少させることによって)増加される。
【0088】
本願発明の一態様によれば、誤り隠蔽ユニットは、所与の周波数帯域のエネルギーを閾値と比較するように構成することができる。誤り隠蔽ユニットは、所与の周波数帯域における閾値よりも大きい場合失われた音声フレームに先行する適切に復号された音声フレームの復号された表現の時間的エネルギー傾向に基づいて得られる所与の周波数帯域のエネルギーについてのスケーリング係数を提供するように構成することができる。誤り隠蔽ユニットは、好ましくはビットストリーム情報に基づいて、または信号解析に基づいて、失われたオーディオフレームに先行して適切に復号化されたオーディオフレームが雑音的であると認識され、かつ所定の周波数帯域のエネルギーが閾値よりも小さい場合には、第2の所定の値よりも小さい減衰を示す第1の所定の値に減衰係数を設定するように構成することができる。好ましくはビットストリーム情報に基づいて、またはノイズ的なものではないとの信号解析に基づいて、失われたオーディオフレームに先行して適切に復号されたオーディオフレームが認識される場合、誤り隠蔽ユニットは、減衰係数を第2の所定の値に設定するように構成することができる。
【0089】
本願発明の一態様によれば、誤り隠蔽ユニットは、失われた音声フレームに先行する適切に復号された音声フレームの復号された表現を得るために、スペクトル領域から時間領域への変換を実行するように構成することができる。
【0090】
本願発明の実施形態はまた、符号化されたオーディオ情報内のオーディオフレームの損失を隠蔽するための誤り隠蔽オーディオ情報を提供する方法に関連し、その方法は
−失われたオーディオフレームに先行して適切に復号されたオーディオフレームに基づいて誤り隠蔽オーディオ情報を提供するステップ、および
−異なる周波数帯域について異なる減衰係数を使用してフェードアウトを実行するステップ
を含む。
【0091】
本願発明の方法は、上述した態様のうちの1つ以上を実施することができる。
【0092】
本願発明の実施形態はまた、コンピュータプログラムがコンピュータ上で実行される場合、および/または上述の製品態様を実装する場合に、本願発明の方法を実行するためのコンピュータプログラムに関する。
【0093】
本願発明の実施形態はまた、上述した誤り隠蔽ユニットを含むオーディオデコーダに関する。
【0094】
オーディオデコーダは、異なる減衰係数を使用して、失われたオーディオフレームに先行するオーディオフレームのスペクトル表現の異なる減衰係数帯域のスペクトル値をスケーリングするように構成することができる。
【0095】
上述の態様は、互いに組合せることができる。
【0096】
4.図面の簡単な説明
本願発明の実施形態は、添付の図面を参照して以下に説明される。
【図面の簡単な説明】
【0097】
図1図1は、本願発明による誤り隠蔽ユニットのブロック概略図を示す図である。
図2図2は、本願発明の一実施形態によるオーディオデコーダのブロック概略図を示す図である。
図3図3は、本願発明の別の実施形態によるオーディオデコーダのブロック概略図を示す図である。
図4図4は、本願発明の一実施形態による周波数領域隠蔽のブロック概略図を示す図である。
図5図5は、本願発明の一実施形態によるエネルギー傾向値の計算の詳細を示す図である。
図6図6は、本願発明の一実施形態によるエネルギー傾向を計算するために使用されるフレームの細分化の詳細を示す図である。
図7図7は、本願発明の一実施形態によるエネルギー傾向値を計算するために使用される加重(「修正されたハンウィンドウ」)を示す図である。
図8図8は、本願発明の一実施形態による減衰係数を計算するために使用される手段の実施形態を示す図である。
図9図9は、本願発明の隠蔽方法の実施形態を示す図である。
図10図10は、信号図の比較例を示す図である。
図11図11は、信号図の比較例を示す図である。
図12図12は、本願発明の一実施形態による閾値の定義の一例を示す図である。
図13図13は、信号図の比較例を示す図である。
図14図14は、本願発明の一実施形態による減衰係数を計算するために使用される手段の実施形態を示す図である。
図15図15は、本願発明の一実施形態による減衰係数を計算するために使用される手段の実施形態を示す図である。
図15c図15は、本願発明の一実施形態による減衰係数を計算するために使用される手段の実施形態を示す図である。
図16図16は、本願発明の隠蔽方法の実施形態を示す図である。
【発明を実施するための形態】
【0098】
5.実施例の説明
本セクションでは、本発明の実施形態を、図面を参照して説明する。
【0099】
5.1 図1による誤り隠蔽ユニット
図1は、本発明による誤り隠蔽ユニット100のブロック概略図を示す。
【0100】
誤り隠蔽部100は、符号化された音声情報における音声フレームの損失を隠蔽するための誤り隠蔽音声情報107を提供する。誤り隠蔽ユニット100は、適切に復号されたオーディオフレームのスペクトルバージョン(または表現)101などのオーディオ情報によって入力される。時間領域信号102の代わりに、後処理されたバージョン102’を使用することができる(後に、後処理されたバージョン102’を使用して本発明を実施することは可能であるが、簡潔さのために時間領域信号102のみが参照される)。
【0101】
誤り隠蔽ユニット100は、失われた音声フレームに先行する適切に復号された音声フレームの復号化された表現102の特性に基づいて減衰係数103を導出するように構成される。
【0102】
誤り隠蔽ユニット100は、減衰係数103を用いてフェードアウトを行うように構成されている。
【0103】
フェードアウトの一例は、スケーラ104によって実施することができ、減衰係数103を用いて適切に復号されたオーディオフレームのスペクトルバージョン101をスケーリングする。
【0104】
減衰係数決定器110は、適切に復号された音声フレームの時間領域バージョン102に基づいて減衰係数103を導出するように実施することができる。
【0105】
減衰係数決定器110は、失われたオーディオフレームに先行する適切に復号化されたオーディオフレームの復号された時間領域表現102の特性に基づいて減衰係数103を導出することができる。
【0106】
エネルギー傾向分析器111を使用して、適切に復号されたオーディオフレーム102の分析を実行することができる。いくつかの実装によれば、フレーム内のエネルギーの傾向を分析することができる。
【0107】
減衰係数マッパ(または計算機)112は、減衰係数をスケーリングするために(例えば、複数の連続した不正確なデータフレームが得られた場合)使用され得る。
【0108】
さらに、雑音加算器117によって、周波数領域表現101のスケーリングされたバージョン105にノイズをオプションで追加して、隠蔽フレームの周波数領域表現107を導出することができる。
【0109】
誤り隠蔽ユニット100の一実施形態によれば、適切に復号されたフレームのスペクトル表現101は、オプションで、異なる帯域に分割されてもよい。スケーラ104は、この場合、帯域の各々1つに対して複数のスケーリング係数を採用することができる。
【0110】
5.2 図2による誤り隠蔽ユニット
図2は、本発明の一実施形態によるオーディオデコーダ200のブロック概略図を示す。オーディオデコーダ200は、例えば、周波数領域表現で符号化されたオーディオフレームを含むことができる符号化オーディオ情報210を受信する。符号化されたオーディオ情報210は、原則として、信頼性の低いチャネルを介して受信され、フレーム損失が時々発生する。オーディオデコーダ200はさらに、符号化されたオーディオ情報210に基づいて、復号されたオーディオ情報212を提供する。
【0111】
オーディオデコーダ200は、フレーム損失がない場合に、符号化されたオーディオ情報に基づいて復号されたオーディオ情報を提供する復号/処理220を含むことができる。
【0112】
オーディオデコーダ200は、誤り隠蔽オーディオ情報232を提供する誤り隠蔽230(誤り隠蔽ユニット100によって具現化することができる)をさらに備える。誤り隠蔽230は、音声フレームの損失を隠蔽するための誤り隠蔽音声情報232(105,107)を提供するように構成される。
【0113】
換言すれば、復号/処理220は、周波数領域表現の形で、すなわち符号化された表現の形で符号化され、その符号化された値が異なる周波数ビンにおける強度を記述するオーディオフレームのための復号されたオーディオ情報222を提供することができる。換言すれば、復号/処理220は、例えば、符号化されたオーディオ情報210からスペクトル値のセットを導出し、周波数領域から時間領域への変換を実行することによって、復号されたオーディオ情報222を構成するか、追加の後処理がある場合に復号されたオーディオ情報122を提供するための基礎を形成する時間領域表現を導く周波数領域オーディオデコーダを含む。
【0114】
さらに、オーディオデコーダ200は、以下に説明する特徴および機能のいずれかによって、個別にまたは組合せて補完することができることに留意されたい。
【0115】
誤り隠蔽230は、いくつかの実施形態において、異なる減衰係数を有する異なる帯域をフェードアウトすることもできる。
【0116】
5.3 図3によるオーディオデコーダ
図3は、本発明の一実施形態による、オーディオデコーダ300のブロック概略図を示す。
【0117】
オーディオデコーダ300は、符号化されたオーディオ情報310を受信し、それに基づいて、復号されたオーディオ情報312を提供するように構成される。オーディオデコーダ300は、(「ビットストリームデフォーマッタ」または「ビットストリームパーサ」とも呼ばれる)ビットストリームアナライザ320を備える。ビットストリームアナライザ320は、符号化されたオーディオ情報310を受信し、それに基づいて、周波数領域表現322および場合によっては追加の制御情報324を提供する。周波数領域表現322は、例えば、符号化されたスペクトル値326、符号化されたスケーリング係数328、およびオプションとして、例えば、ノイズ充填、中間処理または後処理のような特定の処理ステップを制御することができる追加のサイド情報330を含むことができる。オーディオデコーダ300はまた、符号化されたスペクトル値326を受信し、それに基づいて、復号されたスペクトル値342のセットを提供するように構成されたスペクトル値復号化340を含む。オーディオデコーダ300はまた、符号化スケーリング係数328を受信し、それに基づいて復号化スケーリング係数352のセットを提供するように構成されたスケーリング係数復号化350を含むことができる。
【0118】
スケール係数復号の代わりに、例えば符号化オーディオ情報がスケール係数情報ではなく符号化LPC情報を含む場合、LPC−スケール係数変換354を使用することができる。しかしながら、いくつかの符号化モード(例えば、USACオーディオデコーダまたはEVSオーディオデコーダのTCXデコードモード)では、LPC係数のセットを使用して、オーディオデコーダの側で一組のスケール係数を導出することができる。この機能は、LPC−スケーリング係数変換354によって達成され得る。
【0119】
オーディオデコーダ300は、スケーリングされた係数352のセットをスペクトル値342のセットに適用して、それによってスケーリングされた復号されたスペクトル値362のセットを得るように構成されてもよいスケーラ360も備えることができる。例えば、複数の復号されたスペクトル値342を含む第1の周波数帯域は、第1のスケーリング係数を使用してスケーリングされ、複数の復号されたスペクトル値342を含む第2の周波数帯域は、第2のスケーリング係数を使用してスケーリングされ得る。従って、スケーリングされた復号されたスペクトル値のセット362が得られる。オーディオデコーダ300は、スケーリングされた復号スペクトル値362に何らかの処理を適用することができるオプションの処理366をさらに含むことができる。例えば、オプションの処理366は、雑音充填または他の何らかの操作を含むことができる。
【0120】
オーディオデコーダ300はまた、スケーリングされた復号されたスペクトル値362またはその処理されたバージョン378を受信し、かつスケーリングされた復号されたスペクトル値362のセットに関連付けされた時間領域表現372を提供するように構成することもできる。例えば、周波数領域−時間領域変換370は、オーディオコンテンツのフレームまたはサブフレームに関連する時間領域表現372を提供することができる。例えば、周波数領域から時間領域への変換は、MDCT係数のセット(スケーリングされた復号されたスペクトル値とみなすことができる)を受信し、それに基づいて、時間領域表現372を形成できる時間領域サンプルのブロックを提供することができる。
【0121】
オーディオデコーダ300は、時間領域表現372を受信し、時間領域表現372をいくらか修正する後処理376を任意に含むことができ、それにより、時間領域表現372の後処理バージョン378を得ることができる。
【0122】
本発明によれば、オーディオデコーダ300は、(隠蔽ユニット100または230のうちの1つによって具現化され得る)誤り隠蔽380を備える。誤り隠蔽380は、復号されたスペクトル値362(値101を具現化することができる)またはそれらのポート処理バージョン368を受信する。
【0123】
誤り隠蔽380は、周波数領域から時間領域への変換からの時間領域表現372(値102を具現化することができる)、またはオプションの後処理376からの後処理された値378(値102’を具現化することができる)を受信することもできる。しかしながら、誤り隠蔽が異なる周波数帯域に異なる減衰係数を適用するが、適切に復号された音声フレームの復号された表現に基づいて1つ以上の減衰係数を導出しない実施形態では、誤差隠蔽380は、信号372,378を受信する必要はない。
【0124】
さらに誤り隠蔽380は、1つ以上の失われたオーディオフレームに対する誤り隠蔽オーディオ情報382を提供する。オーディオフレームが失われた場合、例えば、符号化されたスペクトル値326が前記オーディオフレーム(またはオーディオサブフレーム)に利用できないように、誤り隠蔽380は、誤り隠蔽オーディオ情報を提供することができる。誤り隠蔽オーディオ情報は、オーディオコンテンツの周波数領域表現(これは、周波数領域−時間領域変換器370に提供され得る)、またはオーディオコンテンツの時間領域表現(これは、信号組合せ390に提供され得る)であってもよい。
【0125】
誤り隠蔽部380は、例えば、上述した誤り隠蔽ユニット100及び/又は誤り隠蔽230の機能を実行することができることに留意されたい。誤り隠蔽380は、時間領域隠蔽信号382を信号組合せ390に、または周波数領域隠蔽信号382’を周波数領域−時間領域変換370に出力することができる。
【0126】
誤り隠蔽に関しては、誤り隠蔽は、フレーム復号と同時に発生しないことに留意すべきである。例えば、フレームnが良好ならば、通常の復号を行い、最後に、次のフレームを隠蔽しなければならない場合、フレームn+1が失われた場合、前の良好なフレームから来る変数を与える隠蔽関数を呼び出すのに役立ついくつかの変数を保存する。次のフレーム損失や次の正常なフレームへの回復に役立つように、いくつかの変数も更新する。
【0127】
オーディオデコーダ300はまた、時間領域表現372(または後処理376がある場合には後処理された時間領域表現378)を受信するように構成された信号組合せ390を備える。さらに、信号組合せ390は、典型的には失われたオーディオフレームに対して提供される誤り隠蔽オーディオ信号の時間領域表現でもある誤り隠蔽オーディオ情報382を受信することができる。信号組合せ390は、例えば、後続のオーディオフレームに関連する時間領域表現を組合せることができる。後続の適切に復号されたオーディオフレームがある場合、信号組合せ390は、これら適切に復号されたオーディオフレームに関連する(例えば、重畳および加算)時間領域表現を組合せることができる。しかしながら、オーディオフレームが失われた場合、信号組合せ390は、失われたオーディオフレームに先行して適切に復号されたオーディオフレームに関連する時間領域表現と、失われたオーディオフレームに関連する誤り隠蔽情報とを組合せることができ(例えば、重畳および加算)、適切に受信されたオーディオフレームと失われたオーディオフレームとの間の滑らかな遷移を有するようにすることができる。同様に、信号組合せ390は、失われたオーディオフレームに関連する誤り隠蔽オーディオ情報と、失われたオーディオフレーム(または複数の連続するオーディオフレームが失われた場合に別の失われたオーディオフレームに関連する別の誤り隠蔽オーディオ情報)に続く別の適切に復号されたオーディオフレームに関連付けられた時間領域表現とを組合せる(例えば、重畳および加算)ように構成することができる。
【0128】
従って、信号の組合せ390は、時間領域表現372またはその後処理されたバージョン378が適切に復号されたオーディオフレームのために提供されるように、また、誤り隠蔽オーディオ情報382が失われたオーディオフレームのために提供されるように、適切に復号されたオーディオフレームを提供でき、重畳および加算動作が後続のオーディオフレームのオーディオ情報間で(オーディオ情報が周波数領域−時間領域変換370によって提供されるか、誤り隠蔽380によって提供されるかにかかわらず)一般的に実行される。一部のコーデックではキャンセルが必要な重畳および加算部にいくらかのエイリアシングがあるので、オプションでオーバーラップ追加を行うために作成したフレームの半分に人工的なエイリアシングを作成できる。
【0129】
オーディオデコーダ300の機能は、図2のオーディオデコーダ200の機能と同様であることに留意されたい。さらに、図3によるオーディオデコーダ300は、本明細書で説明される特徴および機能のいずれかによって補足され得ることに留意すべきである。特に、誤り隠蔽380は、誤り隠蔽に関して本明細書で説明される特徴および機能のいずれかによって補足することができる。
【0130】
一実施形態では、誤り隠蔽380は、例えば、図14を参照して以下に説明するように、スケール係数帯域に対する隠蔽を実行することができる。この場合、適切に復号化されたオーディオフレームの復号された表現の特性に基づいて、減衰係数が提供されても提供されなくてもよい。
【0131】
5.4 周波数領域の誤り隠蔽とフェードアウト
誤り隠蔽ユニット100によって実施できまたは使用できる周波数領域隠蔽に関連して、ここではいくつかの情報が提供される。例えば、以下に説明する機能は、スケーラ104において部分的または完全に得ることができる。
【0132】
周波数領域隠蔽機能は、デコーダの遅延を1フレームだけ増加させる。周波数領域の隠蔽は、例えば、最終的な周波数から時間への変換の直前にスペクトルデータに作用する。単一のフレームが破損している場合、隠蔽は、最後の(または最後の1つの)良好なフレーム(適切に復号されたオーディオフレーム)と最初の良好なフレームとの間で補間することができ、失われたフレームのスペクトルデータを生成する。前のフレームは、周波数−時間変換(例えば、周波数領域−時間領域変換370)によって処理することができる。複数のフレームが壊れている場合、隠蔽は最初に、最後の良好なフレームからのわずかに修正されたスペクトル値に基づいてフェードアウトを実行する。良好なフレームが利用可能になるとすぐに、新しいスペクトルデータが隠蔽される。
【0133】
周波数領域隠蔽が図4に示されている。ステップ401において、現在のオーディオ情報が適切に復号されたフレームを含むかどうかが(例えば、CRCまたは同様の戦略に基づいて)決定される。決定の結果が肯定的である場合、適切に復号されたフレームのスペクトル値が適切なオーディオ情報として402で使用される。このスペクトルはさらに使用するためにバッファ403に記録される。
【0134】
決定の結果が否定的(破損したフレーム)である場合、ステップ404において、(以前のサイクルでステップ403でバッファに保存された)以前に適切に復号されたオーディオフレーム405の以前に記録されたスペクトル表現405は、破損した(および破棄された)オーディオフレームを置換するのに使用される。
【0135】
具体的には、コピー器及びスケーラ407は、以前に適切に復号された音声フレームの予め記録され適切に復号されたスペクトル表現405の周波数範囲内の周波数ビン(又はスペクトルビン)405a、405b、...のスペクトル値をコピー及びスケーリングし、破損したオーディオフレームの代わりに使用される周波数ビン(またはスペクトルビン)406a、406b、...の値を得る。
【0136】
スペクトル値の各々は、帯域によって搬送される特定の情報に従って、共通のスケーリング値、またはそれぞれの係数(または減衰係数)によって乗算することができる。
【0137】
さらに、連続的な隠蔽の場合に信号の強度を反復的に減少させるために信号を減衰させるために、1つ以上の減衰係数410を使用することができる。
【0138】
特に、いくつかの実施形態では、様々な帯域(例えば、スケール係数帯域)を異なって減衰させるために、異なる減衰係数410を任意に使用することができる。
【0139】
結論として、コピー器及びスケーラ407はスケーラ104を具体化してもよく、ステップ404はオプションでノイズ挿入器107の機能を含んでもよい。
【0140】
5.5 適切に復号されたオーディオフレームの時間的エネルギー傾向の分析
本発明の実施形態によれば、失われたオーディオフレームに先行する適切に復号されたオーディオフレームの復号された時間領域表現(例えば、102,102’、372,378)の特性に基づいて減衰係数(例えば、110,230,380または404)を導出することが可能である。
【0141】
図5は、分析装置111を具体化することができるエネルギー傾向分析器500の一例を示す。エネルギー傾向分析器500は、適切に復号化されたオーディオフレームの時間領域表現のサンプルが格納されるメモリ部分(例えば、バッファ)501を含む。いくつかの実施形態によれば、サンプル数は1024であってもよい。バッファの各フィールドには、1つのサンプルの値が格納される。
【0142】
第1の部分502は、特定の数のサンプルまたはすべてのサンプルによって形成することができる。第2の部分503は、ある数のサンプル、例えばサンプルの最後の30%(例えば、1024個のうちの約307個のサンプル)、またはフレームの第2の半分のサンプルのサブセットによって形成することができる。第2の部分503は、ある数のサンプル、例えばサンプルの最後の30%(例えば、1024個のうちの約307個のサンプル)、またはフレームの後半のサンプルのサブセットによって形成することができる。第1の部分502の平均時間は、第2の部分503の時間の平均に先行する。第1の部分502のサンプルの重要な数は、第2の部分503のサンプルの大部分に先行することができる。
【0143】
504において、第2の部分503のエネルギーに関連する(または第2の部分503のエネルギーを表す)値504’を計算することができる。加重ブロック506によって得られた加重値507は、第2の部分503に適用することもできる。例えば、エネルギー傾向計算機は、値504’、505’を(例えば、差または商を計算することによって)含むことができ、エネルギー傾向値を導き出す。
【0144】
505において、第1の部分505のエネルギーに関連する値505’を計算することができる。
【0145】
エネルギー傾向計算機508を使用してエネルギー傾向値509を取得することができ、例えば、減衰係数を計算するために使用することができる。
【0146】
いくつかの実施形態によれば、適切に復号されたオーディオフレームの周波数領域表現の異なるスペクトル帯域について異なる減衰係数を使用するように隠蔽が実行されたとしても、エネルギー傾向値は同じフレームの異なる帯域について変化しない。むしろ、所与のフレームについて単一のエネルギー傾向値を計算することができる。
【0147】
5.6 フレームの第1部分と第2部分
フレームの第1および第2の部分(例えば、エネルギー傾向値の計算)を得る(または選択する)ために、いくつかの戦略を使用することができる。
【0148】
図6(a)は、第1の部分502がサンプルの初期区間によって形成され、第2の部分503がフレームのすべてのサンプルを含むことを示す。代替的な実施形態では、第1の部分は、フレームの初期区間内でのみ採取されるサンプルのグループによって形成され、第2の部分は、(初期区間だけでなく)フレーム全体を通して採取されたサンプルのグループによって形成される。
【0149】
図6(b)は、第1の部分502がフレームのサンプルのすべて(またはほとんど) を含み、第2の部分503がサンプルの最終的な区間(またはグループ)によって形成されることを示す。例えば、第1の部分502は1024個のサンプルを含み、第2の部分503はサンプルの最後の30%のみを含むことができる。
【0150】
図6(c)は、第1の部分502がフレームの初期サンプルを含み、第2の部分503がサンプルの最終的な区間(またはグループ)を含むことを示す。
【0151】
図6(d)は、第1の部分のサンプルの大部分(または有意なグループ)が第2の部分のサンプルの大部分(または有意なグループ)に先行するように、第1および第2の部分が2つの異なる区間(または2つの異なる区間からのみ採取されたサンプルの群)に対応する。
【0152】
【0153】
例えば、図6(a)の第2の部分503の平均時間と図6(b)の第1の部分502の平均時間は、フレームの中央にある。
【0154】
図6(b)の実施形態は好ましい実施形態と考えられ、以下の段落でこれを参照する。
【0155】
【0156】
【0157】
図6(b)のようにオーディオフレームの第1部分と第2部分を定義することにより、時間的エネルギー傾向値facは0と1との間の値である。その場合、時間的エネルギー傾向facは百分率を意味することができる。全てのエネルギーがフレームの最後の間隔で分配される場合、エネルギー傾向の百分率は100%になる。全てのエネルギーがフレームの最初で分配される場合、エネルギー傾向の百分率は0%になる。
【0158】
【0159】
【0160】
つまり、ウィンドウ値wkを正規化することができる。
【0161】
図7は、加重係数のグラフ表示700を示す。
【0162】
エネルギートレンド値は、失われたオーディオフレームに先行して適切に復号されたオーディオフレームの復号された表現の時間的エネルギー傾向を定量的に記述する。その値、またはそれのスケーリングされた(または制限された)バージョンは、減衰係数(例えば、103または410)を定義するために使用され得る。
【0163】
5.8.1 減衰係数の計算
図8(a)は、計算器112を具体化することができる減衰係数計算器800の一例を示す。ブロック804において、エネルギー傾向値801(例えば、509)が閾値802と比較される。減衰係数803(値103または410を具現化することができる)が得られる。
【0164】
減衰係数803は、現在のエネルギー傾向値は所定の範囲内にあり、時間の経過とともに比較的小さなエネルギー減少を示す場合、現在のエネルギー傾向値よりも低い(例えば、エネルギー傾向値と比較したときのより大きなダンピングまたはエネルギー減少を示す)所定の値に(例えば、ブロック804によって)設定することができる。
【0165】
減衰係数803は、現在のエネルギー傾向値801に等しくなるように設定することができ、または現在のエネルギー傾向値801が所定の範囲外であり、比較的大きなエネルギー減少を示す場合、時間とともに変化するエネルギートレンド値801に対して線形的に変化させることができる。
【0166】
特に、異なる減衰係数が異なる帯域に対して定義される場合、適切に復号された音声フレームの各帯域に対して異なる減衰係数803を得ることができる。例えば、異なる周波数帯域ごとに異なる閾値802を定義することができる。
【0167】
図8(b)は、さらなる例として、エネルギー傾向値(例えば、509または801)を使用して実行される減衰係数の決定810を示す。811において、エネルギー傾向値の分析が実行される。分析は、上述の例の1つによる時間的エネルギー傾向値の計算を考慮することができる。
【0168】
適切に復号化されたオーディオフレームがほとんどノイズを含んでいると認識された場合、812において、例えば0.98または1で減衰係数を定義することによって、僅かな減衰(または全く減衰なし)が実行される。
【0169】
適切に復号化された音声フレームが大部分は音声を含むが、単語が適切に復号化された音声フレームで終了しない(または、エネルギー傾向値が時間の経過とともに比較的小さいエネルギー減少を示す)と認識された場合、例えば、減衰係数0.7071を定義することによって、813で減少された(中程度の)減衰が実行される。
【0170】
適切に復号されたオーディオフレームが同じフレームで終了する音声を含む(または、エネルギー傾向値が適切に復号されたオーディオフレームにおける有意なエネルギー減少を示す)と認識された場合、814で高速減衰が実行される。時間的エネルギー傾向値が上記のように計算され(かつフレームの第1および第2の部分が図6(b)の実施形態と同様に定義される)場合、減衰係数803をエネルギー傾向値801(または509)と同じ値(またはスケーリングされた値)として定義することも可能である。
【0171】
基本的には、減衰係数が、失われたオーディオフレームに先行する最後の適切に復号されたオーディオフレームの最後の部分におけるエネルギーレベルの時間的進展の外挿を失われたオーディオフレームに向けて反映する実施形態を実行することが可能である。
【0172】
特に、異なる減衰係数が異なる帯域に対して定義される場合、ステップ811〜814は、適切に復号された音声フレームの各帯域に対して実行され得る。
【0173】
5.8.2 減衰係数の減衰
複数の連続したフレームが失われた場合に、減衰係数は、例えば指数関数的な減衰以上に減衰するように、誤り隠蔽ユニットを構成することが可能である。
【0174】
図8(c)は、スケーラ807が減衰係数803のスケーリングされたバージョン803 ‘を提供する図8(a)の変形例を示す。比較ブロック804は、エネルギー傾向値801を閾値802と比較することによって動作するが、減衰係数803は、バッファ804に記憶される。2つの連続したフレームが失われたとき、バッファ804に記憶された減衰係数(第1の損失フレームまたは前のフレームに使用される)は、第2の失われたフレームについてまたは一般的に後続のフレームまたは現在のフレームについて減衰係数を得るためにルックアップテーブル805に含まれる係数が乗算される。
【0175】
【0176】
特に、異なる減衰係数が異なる帯域に対して定義される場合、異なる減衰が異なる周波数帯域に適用される可能性がある。
【0177】
5.9 発明の方法
図9(a)は、符号化されたオーディオ情報におけるオーディオフレームの損失を隠蔽するための誤り隠蔽オーディオ情報を提供するための、以下のステップを含む誤り隠蔽方法900を示す。
失われた音声フレームに先行して(例えば、501に含まれる)適切に復号化されたオーディオフレームの復号された表現(例えば、102)の特性に基づいて、減衰係数(例えば、減衰係数103,803、または803’)を導出するステップ910および
減衰係数を使用してフェードアウト(例えば、811〜814で)を行うステップ920
【0178】
図9(b)は、ステップ910の前に、適切に復号化されたオーディオフレームのエネルギー傾向値が分析されるステップ905が実行される変形900bを示す。
【0179】
特に、異なる減衰係数が異なる帯域に対して定義される場合、方法は、適切に復号された音声フレームの異なる帯域に対して(例えば、反復によって)繰り返される。
【0180】
6.本発明の実施形態の動作および実験結果
本発明による隠蔽されたフレームをフェードアウトさせることが意図される。
【0181】
図10は、数字1002および1003によって示されるいくつかのフレームが従来の技術で隠されている信号のスペクトル図を有する図1000を示す。以前の適切に復号されたフレームでは、音声は終了しているが、迷惑なエコーは人為的に解釈される。
【0182】
特に音声や過渡信号の場合、静的な減衰係数では不十分である。例えば、最初の失われたフレームが単語の終りの直後にある場合、これは迷惑なポストエコーにつながる(左下の図を参照)。これを防止するには、減衰係数を電流信号に適合させる必要がある。G.729.1[3]およびEVS[4]によれば、信号特性の安定性に依存する適応型フェードアウトが提案されている。従って、係数は、最後に良好に受信されたスーパーフレームクラスのパラメータおよび連続消去されたスーパーフレームの数に依存する。この係数は、無声スーパーフレームのLPフィルタの安定性にさらに依存する。AAC−ELD[5]のようなAACデコーダで利用可能な信号特性がないので、コーデックは隠蔽された信号ブラインドを固定係数で減衰させており、上述の厄介な繰返しアーチファクトにつながる可能性がある。
【0183】
【0184】
【0185】
[1]と比較すると、静的弾性減衰係数0.7071が常に全スペクトルに適用されるが、計算された減衰係数facはデフォルト値の0.7071より低い場合に使用される。それ以外の場合は、fac = 0.7071が使用される。ある場合には、信号特性についてのいくつかの事前知識があり、これは、信号のエネルギー安定性となる可能性があり、信号が有声、雑音または発症特性を有するかどうかを示す。そして、(例えば、失われたオーディオフレームに先行して適切に復号化されたオーディオフレームが雑音として分類されている場合)、計算された減衰係数を使用することによって、より遅くフェードアウトすることが有益な場合がある。例えば、信号が実際に騒々しい場合、エネルギーを一定に保つことが望ましく、これは特に単一フレーム損失に役立つ。最後に、減衰係数は、高エネルギー増加アーチファクトを防止するために、最大1にすることができる。
【0186】
【0187】
nbLostは、連続する失われたフレームの数である。これは、より速いフェードアウト(または現在のフレームが失われたフレームのシーケンスの第2、第3、第4、...、番目の失われたフレームであるかどうかを記述するインデックス)によるポストエコーを少なくする。
【0188】
図11に見られるように、領域1002および1003(これは従来技術では厄介なエコーによって影響を受けていたであろう)は今や有利に「平滑化される」。
【0189】
7.本開示のさらなる実施形態
図14は、適切に復号された同じオーディオフレームの異なる周波数帯域(またはビン)が異なるように減衰される誤り隠蔽1400を示す。
【0190】
図2および図4を参照すると、符号化されたオーディオ情報におけるオーディオフレームの損失を隠蔽するための誤り隠蔽オーディオ情報を提供する目的で誤り隠蔽ユニットが得られる。誤り隠蔽ユニットは、失われた音声フレームに先行して適切に復号された音声フレームに基づいて誤り隠蔽音声情報を提供するように構成される。誤り隠蔽ユニットは、異なる周波数帯域に対して異なる減衰係数を使用してフェードアウトを実行するように構成される。
【0191】
異なるメモリ部分(例えば、バッファ)405a、405b、...、405gに記憶された異なるビンは、異なる減衰係数1408a、1408b、...、1408g(スケーリング器407a、407b、...、407gにおけるビン値を乗算する減衰係数)を使用してスケーリングされ、隠蔽オーディオ情報の異なるメモリ部分406a、406b、...、406gに記憶された異なるビンを得る。
【0192】
一実施形態によれば、失われたオーディオフレームに先行する適切に復号されたオーディオフレームのスペクトル領域表現の特性に基づいて異なる減衰係数を導出することが可能である。
【0193】
図14は、適切に復号されたオーディオフレームのFD表現が、異なる周波数帯域1403a、1403b、...、1403gの間でブロック1402において細分されることを示す。続いて、帯域の値が互いに構成され、ブロック1406(これは上述のブロック370と同じであり得る)で変換され、隠蔽オーディオ情報1407として使用され得る。
【0194】
ブロック1402は現実には存在せず、単純な実施形態ではスペクトルビン値の論理グループのみを表す。同様に、ブロック1405は現実には存在しないが、修正された(スケーリングされた)スペクトル値の論理的組合せを表す。
【0195】
失われたオーディオフレームに先行する適切に復号されたオーディオフレームの無声またはノイズ状の周波数帯域よりも速く失われたオーディオフレームに先行する適切に復号されたオーディオフレームの有声周波数帯域(または比較的高いエネルギーを有する周波数帯域)をフェードアウトさせるように、1つ以上の減衰係数を適合させることが可能である。
【0196】
一実施形態によれば、適切に復号されたオーディオフレームの1つ以上の周波数帯域(すなわち、全スペクトルのi番目の帯域)をフェードアウトし、失われたオーディオフレームに先行して適切に復号されたオーディオフレームの1つ以上の周波数帯域よりも速くスペクトルビン当たり比較的高いエネルギーを有し、スペクトルビン当たり比較的低いエネルギーを有するように減衰係数1408a、1408b、...、1408gを適合させることが可能である。
【0197】
図15(a)に見られるように、比較ブロック1504において、適切に復号化されたオーディオフレーム内の少なくとも1つの周波数帯域に関連する値1501と、閾値1502との比較に基づいて、少なくとも1つの周波数帯域1403a、1403b、...、1403gについて、減衰係数1503を設定することが可能である。
【0198】
一実施形態によれば、少なくとも1つの周波数帯域に関連するエネルギー値が閾値よりも低い場合、少なくとも1つの周波数帯域に所定の減衰係数を使用することが可能である。少なくとも1つの周波数帯域に関連するエネルギー値が閾値よりも大きい場合、少なくとも1つの周波数帯域について、所定の減衰係数よりも小さい減衰係数(一般に、より強い減衰またはより速いフェードアウトを示す)を使用することができる。
【0199】
一実施形態によれば、少なくとも1つの周波数帯域に関連するエネルギー値が閾値よりも低い場合、少なくとも1つの周波数帯域に対して比較的遅いフェードアウトを表す減衰係数を使用することが可能である。誤り隠蔽ユニットは、少なくとも1つの周波数帯域に関連するエネルギー値が閾値よりも高い場合、少なくとも1つの周波数帯域に対して比較的速いフェードアウトを表す減衰係数を使用するように構成することができる。
【0200】
一実施形態によれば、少なくとも1つの周波数帯域に関連するエネルギー値が閾値よりも低い場合、減衰係数を所定の値として定義することが可能である。少なくとも1つの周波数帯域に関連するエネルギー値が閾値より高い場合、前記少なくとも1つの周波数帯域に関連付けられた前記エネルギー値が前記閾値よりも低い場合よりも前記少なくとも1つの周波数帯域を速くフェードアウトさせるように、失われたオーディオフレームに先行する適切に復号されたオーディオフレームの復号された表現の時間的エネルギー傾向値に基づいて少なくとも1つの周波数帯域について減衰係数を導出することが可能である。
【0201】
図15(b)は、1つの帯域のエネルギーに関連する値(例えば、適切に復号化されたオーディオフレームのスペクトルのi番目の帯域)を閾値(例えば、閾値1502)と比較することによって実行される判定1510を示す。1511において、決定が実行される。この決定は、上記(上記の図5および図8(b)および明細書の関連する節を参照)で議論した例の1つに従って、i番目の周波数帯域における時間的エネルギー傾向値を計算することを考慮することができる。
【0202】
適切に復号化されたオーディオフレームのi番目の帯域がノイズを含むと認識された場合(例えば、帯域のエネルギーに関連する値が閾値未満である場合)、例えば、0.95と1との間の値で減衰係数を定義することによって1512で小さな減衰(または全く減衰なし)が実行される。
【0203】
i番目の帯域が音声を含んでいるが、適切に復号化された音声フレーム内で単語が終了しない(または経時的なエネルギー減少が所定の閾値よりも小さい)と認識された場合、1513において、例えば、減衰係数0.7071を定義することによる抑えられた減衰が実行される。
【0204】
特に、適切に復号された音声フレームのi番目の帯域が、同じフレームで終了する音声の要素を含むと認識された場合、1514で強い減衰が実行される。時間的エネルギー傾向値が上記のように計算される(フレームの第1および第2の部分が図6(b)の実施形態と同様に定義される)場合には、減衰係数をバンドiのエネルギー傾向値801の値と同じ値(スケールされた値)として定義することも可能である。
【0205】
しかし、本発明を(1512または1513で使用されるような)2つの減衰係数のみに限定する必要はない。3つ以上のデフォルト係数を定義することも可能である。例えば、媒体減衰(1513)として0.7071に類似する値;0.9より低い帯域の場合。中程度の帯域の場合は0.95;小さな減衰係数(1512)として高い帯域の場合は0.98、信号クラスが有声の場合は0.9、信号クラスが小さい減衰係数(1512)などとして無声の場合は0.95 ...
【0206】
図15(c)に示すように、異なる周波数帯域i、i+1等に対して異なる閾値1501i、1501(i+1)等を定義して、異なる減衰係数1503i、1503(i+1)などを得ることが可能である。図12には、異なる帯域(またはスケール係数帯域)のエネルギーに関連する値が異なる閾値と比較されることを意味する、周波数に応じて閾値が変化する例が示されている。
【0207】
特に、少なくとも1つの周波数帯域のエネルギー値、平均エネルギー値、または予想されるエネルギー値に基づいて閾値を設定することが可能である。
【0208】
一実施形態によれば、失われたオーディオフレームに先行する適切に復号されたオーディオフレームのエネルギー値と、失われたオーディオフレームに先行する適切に復号されたオーディオフレームのスペクトル全体におけるスペクトルラインの数との間の比に基づいて閾値を設定することが可能である。
【0209】
閾値は、失われたオーディオフレームに先行する適切に復号されたオーディオフレームの復号された表現の時間的エネルギー傾向値に基づくことができる。
【0210】
【0211】
値fac は、失われたオーディオフレームに先行する適切に復号されたオーディオフレームにおける時間的エネルギートレンド値、または失われたオーディオフレームに先行する適切に復号されたオーディオフレームにおける時間的エネルギートレンド値を表す量から得られる減衰値を表す。値energytotalは、失われたオーディオフレームに先行する適切に復号されたオーディオフレームの全周波数帯域にわたる総エネルギーである。値nbOfTotalLinesは、失われたオーディオフレームに先行して適切に復号されたオーディオフレームのスペクトル線の総数である。
【0212】
帯域は、スケール係数帯域とすることができ、そのスペクトル値は、異なるスケール係数を使用してスケーリングされる。逆量子化されたスペクトル値をスケーリングするための異なるスケール係数は、異なるスケール係数帯域と関連付けられる。失われたオーディオフレームの隠蔽されたスペクトル表現を導出するために、減衰係数を使用して、失われたオーディオフレームに先行するオーディオフレームのスペクトル表現をスケーリングすることが可能である。
【0213】
異なるオーディオフレームの隠蔽されたスペクトル表現を導出するために、異なる減衰係数を使用して失われたオーディオフレームに先行するオーディオフレームのスペクトル表現の異なる周波数帯域をスケーリングすることにより、異なるフェードアウト速度を有する異なる周波数帯域のスペクトル値をフェードアウトすることが可能である。
【0214】
図15(b)を参考にして、適切に復号されたフレームの各i番目の帯域について、以下が可能である。
−1512において、i番目の周波数帯域に関連する減衰係数を、好ましくはビットストリーム情報または信号解析に基づいて、失われたオーディオフレームに先行して適切に復号されたオーディオフレームは雑音的であると認識される場合、第2の所定値よりも小さい減衰を示す第1の所定値に設定すること、および/または
−1513において、i番目の周波数帯域に関連する減衰係数を、1511において、好ましくはビットストリーム情報または信号解析に基づいて、失われたオーディオフレームに先行する適切に復号されたオーディオフレームは、失われたオーディオフレームに先行して適切に復号されたオーディオフレームで終わらない音声でスピーチ的であると認識される場合、第2の所定値に設定すること、
−1514において、i番目の周波数帯域に関連する減衰係数を、1511において、好ましくはビットストリーム情報または信号解析に基づいて、失われたオーディオフレームに先行する適切に復号されたオーディオフレームが、スピーチ的に減衰しているスピーチ的であるか、または失われたオーディオフレームに先行する適切に復号されたオーディオフレームで終了すると認識される場合、エネルギー傾向値またはそのスケールされたバージョンに基づく値に設定すること、および/または
−1515において、新しい帯域i+1が選択され、上記の手順が新しい帯域について繰返されること
【0215】
一実施形態によれば、誤り隠蔽ユニットは、所与のi番目の周波数帯域のエネルギーを閾値(例えば1502)と比較するように構成され、かつ
−誤り隠蔽ユニットは、i番目の周波数帯域が閾値よりも大きい場合、失われた音声フレームに先行する適切に復号化された音声フレームの復号された表現の時間的エネルギー傾向値に基づいて得られる所与のi番目の周波数帯域についてスケール係数を提供し、かつ
−誤り隠蔽ユニットは、好ましくはビットストリーム情報に基づいてまたは信号解析に基づいて、失われたオーディオフレームに先行して適切に復号化されたオーディオフレームがノイズ状であると認識され、所与のi番目の周波数帯域のエネルギーが閾値より小さい場合、第2の所定値よりも小さい減衰を示す第1の所定値(例えば、1512)に減衰係数を設定し、および/または
−誤り隠蔽ユニットは、好ましくはビットストリーム情報に基づいてまたは信号解析に基づいて、失われたオーディオフレームに先行して適切に復号化されたオーディオフレームがノイズ状でないとして認識される場合、減衰係数を第2の所定値に設定するように構成される。
【0216】
一実施形態によれば、誤り隠蔽ユニットは、失われた音声フレームに先行する適切に復号された音声フレームの復号された表現(例えば、1407)を得るために、スペクトル領域から時間領域への変換を実行する(例えば、1406)。
【0217】
図16(a)は、符号化されたオーディオ情報におけるオーディオフレームの損失を隠蔽するための誤り隠蔽オーディオ情報を提供するための誤り隠蔽方法1600を示し、適切に復号されたオーディオフレームのスペクトル表現が1,2、...、iなどの帯域に細分され、方法は、以下のステップを含む。
1605において、第1の帯域1(例えば、i=1)を選択し、
910において、帯域iの失われたオーディオフレームに先行する適切に復号されたオーディオフレームの復号された表現の特性に基づいて減衰係数を導出し、
920において、帯域iに対する減衰係数を使用してフェードアウトを実行し、
1630で、新しい帯域i+1を選択し、
適切に復号されたオーディオフレームのスペクトルビューのすべての帯域についてこの手順を繰り返す。
【0218】
図16(b)は、ステップ910(図16(a)参照)の前に、適切に復号されたオーディオフレームのエネルギー傾向値が分析されるステップ905が実行される変形1600bを示す。
【0219】
方法1600および1600bでは、方法900および900bの参照番号を維持して、方法の異なる実施形態間の類似性を認識することを可能にする。
【0220】
8.本発明の実施形態の動作および実験結果
本発明の一態様によれば、異なる減衰係数を使用して信号の異なる帯域をフェージングすることによって秘匿フレームをフェードアウトすることが有利であることがわかる。
【0221】
同じ速度で信号のすべての部分を減衰させることが常に望ましいとは限らないことが分かっている。例えば、背景雑音を伴う音声の場合、スペクトルの穴から生じる迷惑なアーチファクトを避けるために、背景雑音をあまりにもフェードアウトすることなく、信号の有声部分をフェードアウトさせたい。従って、いくつかの実施形態では、減衰係数は、信号の異なる周波数領域に異なるように適用される。これは、LPCまたはスケール係数に基づいて行うことができる。
【0222】
1つの応用は、以下に説明するスケール係数帯域に依存する減衰である(図12も参照)。
【0223】
現在の技術水準で現れることができる低エネルギースケール係数帯域(SFB)におけるエネルギーギャップ/スペクトルホールを防止するために、減衰係数はスケール係数帯域方向に適用される。SFBのエネルギーがある閾値よりも高い場合には、適応された減衰係数fac(例えば、セクション5.7に記載されているように得ることができる)が使用される。それ以外の場合は、デフォルトの減衰係数0.7071(1/21/2)が適用される(図12を参照)。場合によっては、しきい値よりも低いSFBをフェードアウトすることがさらに効果的であり、それらの部分がゼロにならないようにする。これは、信号がフェージングアウトホワイトノイズに向かってフェージングしていることを意味する。
【0224】
【0225】
実施例は、図13(a)及び(b)(縦軸:時間は100ms又はhms;横軸:周波数)の結果によって提供され得て、非減衰信号のグラフ1300aが減衰信号のグラフ1300bと比較される。高減衰領域1301(主に音声、特に音声が終了したフレーム)は、変化しない領域1302(ほとんど非減衰雑音)と反対の位置に示される。特に、図13(a)に生じるより高い減衰領域1301は、図13(b)において適切に減衰され、したがって、厄介なエコーを低減する。反対に、領域1302のノイズは、好ましくは減衰されない。
【0226】
9.結論
周波数領域オーディオコーデックにおけるパケットロスの隠蔽のための適応的フェードアウトについて説明する。
【0227】
パケット損失の場合、スピーチおよびオーディオコーデックは通常、迷惑な繰返しアーチファクトを防ぐためにゼロまたはバックグラウンドノイズに向かって消える。すべてのAACファミリーデコーダでは、信号特性に関係なく隠れスペクトラムが一定の減衰係数でフェードアウトされる。特に、音声信号や過渡信号の場合、静的な減衰係数では不十分な場合がある。従って、本発明による実施形態は、最後の良好なフレームの時間的エネルギー傾向値に依存する適応減衰係数を計算する。さらに、スペクトルの厄介な穴を避けるために、隠蔽されたスペクトルに周波数適応減衰が適用される。
【0228】
実施形態は、例えば、技術分野ELD、XLD、DRMまたはMPEG−Hにおいて、例えば、その種のオーディオデコーダと組合せて使用することができる。
【0229】
10.その他の備考
パケット損失の場合、スピーチおよびオーディオコーデックは通常、迷惑な繰り返しアーチファクトを防ぐためにゼロまたはバックグラウンドノイズに向かって消える。
【0230】
すべてのAACファミリーデコーダでは、信号特性に関係なく隠れスペクトラムが一定の減衰係数でフェードアウトされる。
【0231】
特に音声や過渡信号の場合、静的な減衰係数では不十分である。
【0232】
従って、最後の良好なフレームの時間的エネルギー傾向に依存する適応減衰係数を計算するためのツールが提供される。
【0233】
さらに、スペクトルの厄介な穴を避けるために、隠蔽されたスペクトルに周波数適応減衰が適用される。
【0234】
11.実装の選択肢
いくつかの態様は、装置の文脈で説明されているが、これらの態様は、対応する方法の説明も表しており、ブロックまたはデバイスは、方法ステップまたは方法ステップの特徴に対応することは明らかである。同様に、方法ステップの文脈で説明される態様は、対応するブロックまたは対応する装置のアイテムまたは特徴の記述も表す。方法ステップの一部または全部は、例えば、マイクロプロセッサ、プログラム可能なコンピュータまたは電子回路のようなハードウェア装置によって(または使用して)実行されてもよい。いくつかの実施形態では、最も重要な方法ステップのうちのいくつかの1つ以上を、そのような装置によって実行することができる。
【0235】
特定の実施要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実施することができる。実装は、電子的に読取り可能な制御信号が記憶されたフロッピーディスク、DVD、ブルーレイ、CD、ROM、PROM、EPROM、EEPROMまたはフラッシュメモリなどのデジタル記憶媒体を使用して実行することができ、それはそれぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する(または協働することができる)。従って、デジタル記憶媒体はコンピュータ可読であってもよい。
【0236】
本発明によるいくつかの実施形態は、プログラム可能なコンピュータシステムと協働して、本明細書に記載の方法の1つが実行されるように、電子的に読取り可能な制御信号を有するデータ担体を備える。
【0237】
一般に、本発明の実施形態は、コンピュータプログラム製品がコンピュータ上で動作するときに、方法の1つを実行するように動作するプログラムコードを有するコンピュータプログラム製品として実施することができる。
【0238】
他の実施形態は、本明細書に記載の方法の1つを実行するためのコンピュータプログラムを含み、機械読取り可能な担体に格納される。
【0239】
換言すれば、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載の方法の1つを実行するためのプログラムコードを有するコンピュータプログラムである。
【0240】
従って、本発明の方法のさらなる実施形態は、本明細書に記載の方法のうちの1つを実行するためのコンピュータプログラムを含むデータ担体(またはデジタル記憶媒体またはコンピュータ可読媒体)である。データ担体、デジタル記憶媒体または記録された媒体は、典型的には有形および/または非遷移型である。
【0241】
従って、本発明の方法のさらなる実施形態は、本明細書に記載の方法のうちの1つを実行するためのコンピュータプログラムを表すデータストリームまたは一連の信号である。データストリームまたは信号のシーケンスは、データ通信接続を介して、例えば、インターネットを介して、例えば転送されるように構成することができる。
【0242】
さらなる実施形態は、本明細書に記載の方法のうちの1つを実行するように構成された、または適用される処理手段、例えばコンピュータまたはプログラマブル論理装置を含む。
【0243】
さらなる実施形態は、本明細書で説明される方法の1つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
【0244】
本発明によるさらなる実施形態は、本明細書で説明される方法の1つを実行するためのコンピュータプログラムを受信機に転送(例えば、電子的にまたは光学的に)するように構成された装置またはシステムを含む。レシーバは、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどであってもよい。この装置またはシステムは、例えば、コンピュータプログラムをレシーバに転送するためのファイルサーバを備えることができる。
【0245】
いくつかの実施形態では、プログラマブルロジックデバイス(例えば、フィールドプログラマブルゲートアレイ)を使用して、本明細書に記載の方法の機能の一部または全部を実行することができる。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書で説明する方法の1つを実行するためにマイクロプロセッサと協働することができる。一般に、これらの方法は、好ましくは、任意のハードウェア装置によって実行される。
【0246】
本明細書に記載の装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータとの組合せを使用して実装することができる。
【0247】
ここに記載された方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータとの組合せを使用して実行されてもよい。
【0248】
上述の実施形態は、本発明の原理の単なる例示である。本明細書に記載された構成および詳細の修正および変形は、当業者には明らかであることが理解される。従って、差し迫った特許請求の範囲によってのみ限定され、本明細書の実施形態の明細書および説明によって示される特定の詳細によっては限定されないことが意図される。
【0249】
12.参考文献
[1] 3GPP TS 26.402 ?Enhanced aacPlus general audio codec; Additional decoder tools (Release 11)”,

[2] J. Lecomte, et al, “Enhanced time domain packet loss concealment in switched speech/audio codec”, submitted to IEEE ICASSP, Brisbane, Australia, Apr.2015.

[3] WO 2015063045 A1

[4] "Apparatus and method for improved concealment of the adaptive codebook in ACELP-like concealment employing improved pitch lag estimation", 2014, PCT/EP2014/062589

[5] "Apparatus and method for improved concealment of the adaptive codebook in ACELP-like concealment employing improved pulse “synchronization", 2014, PCT/EP2014/062578
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図15c
図16