(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-02
(45)【発行日】2022-08-10
(54)【発明の名称】パワー補償を使用してエラー隠し信号を生成する装置及び方法
(51)【国際特許分類】
G10L 19/005 20130101AFI20220803BHJP
【FI】
G10L19/005
(21)【出願番号】P 2020148639
(22)【出願日】2020-09-04
(62)【分割の表示】P 2019087035の分割
【原出願日】2015-03-04
【審査請求日】2020-10-03
(32)【優先日】2014-03-19
(33)【優先権主張国・地域又は機関】EP
(32)【優先日】2014-05-05
(33)【優先権主張国・地域又は機関】EP
(32)【優先日】2014-07-28
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】500341779
【氏名又は名称】フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
(74)【代理人】
【識別番号】100205981
【氏名又は名称】野口 大輔
(72)【発明者】
【氏名】シュナーベル,ミヒャエル
(72)【発明者】
【氏名】レコンテ,ジェレミー
(72)【発明者】
【氏名】シュペアシュナイデル,ラルフ
(72)【発明者】
【氏名】ヤンデル,マニュエル
【審査官】中村 天真
(56)【参考文献】
【文献】特開2012-256070(JP,A)
【文献】国際公開第2008/108080(WO,A1)
【文献】国際公開第2006/009074(WO,A1)
【文献】特開平07-036496(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G10L 19/00-19/26
IEEE Xplore
(57)【特許請求の範囲】
【請求項1】
エラー隠しオーディオ信号を生成する装置であって、
置き換えLPC表現を生成するためのLPC(線形予測符号化)表現生成部(100)と、
前記置き換えLPC表現からゲイン情報を計算するためのゲイン計算部(600)と、
前記ゲイン情報を使用して、前記置き換えLPC表現のゲイン影響を補償するための補償部(406、408、900)と、
前記置き換えLPC表現を使用して符号帳情報をフィルタリングし、
LPC合成出力信号を得るためのLPC合成部(106,108)と、を備え、
前記補償部(406、408、900)は、前記符号帳情報又は前記LPC合成出力信号を重み付けするよう構成され、
前記エラー隠しオーディオ信号は前記LPC合成出力信号から導出され、
前記ゲイン計算部(600)は、
前記エラー隠しの開始前の最後の良好なLPC表現に関連する最後の良好なフレームのパワー情報を計算(700)するよう構成され、前記最後の良好なLPC表現は良好な条件で受信されたLPC表現であり、
前記置き換えLPC表現からパワー情報を計算(702)するよう構成され、かつ
前記最後の良好なフレームのパワー情報と前記置き換えLPC表現からのパワー情報とを使用して前記ゲイン情報としてのゲイン値を計算(704)するよう構成されており、
前記補償部(406、408、900)は前記ゲイン値を使用して補償(706)するよう構成されている、装置。
【請求項2】
請求項
1に記載の装置であって、
前記ゲイン計算部(600)は、前記置き換えLPC表現のインパルス応答(716)を計算し、かつ前記インパルス応答からrms値(718)を計算して、前記ゲイン情報を得るよう構成されている、装置。
【請求項3】
請求項1
又は2に記載の装置であって、
前記ゲイン計算部(600)は、次式に基づいて前記ゲイン情報を計算するよう構成され、
【数6】
【数7】
ここで、gはゲイン情報であり、rms
newは置き換えLPC表現のrms値であり、tは時間変数であり、Tは3ms~8ms又はフレームサイズより低い所定時間値であり、imp_respは置き換えLPC表現から導出されたインパルス応答であり、rms
oldは最後の良好なフレームから導出されたrms値である、装置。
【請求項4】
請求項1~
3のいずれか1項に記載の装置であって、
適応型符号帳情報を提供するための適応型符号帳(102)と、
固定型符号帳情報を提供するための固定型符号帳(104)と、
前記適応型符号帳情報を重み付けするための適応型符号帳重み付け部(402)および前記固定型符号帳情報を重み付けするための固定型符号帳重み付け部(404)と、をさらに含み、
前記補償部(406、408、900)は、前記適応型符号帳重み付け部(402)の出力、前記固定型符号帳重み付け部(404)の出力、又は前記適応型符号帳重み付け部(402)及び前記固定型符号帳重み付け部(404)の出力の合計を処理するよう構成されている、装置。
【請求項5】
請求項
4に記載の装置であって、
前記適応型符号帳重み付け部(402)及び前記補償部(406、408、900)、又は前記固定型符号帳重み付け部(404)及び前記補償部(406、408、900)は、単一のマニピュレーション情報を使用して信号をマニピュレートするためのマニピュレータ(1004)によって構成され、前記単一のマニピュレーション情報は符号帳重み付け部情報と補償部情報とから導出される、装置。
【請求項6】
請求項
4又は
5に記載の装置であって、
前記適応型符号帳重み付け部(402)は、最後の良好な受信された適応型符号帳ゲインから導出された置き換え適応型符号帳ゲインを適用するよう構成され、
前記固定型符号帳重み付け部(404)は、最後の良好な受信された固定型符号帳ゲインから導出された置き換え固定型符号帳ゲインを適用するよう構成されている、装置。
【請求項7】
請求項1~
6のいずれか1項に記載の装置であって、
前記LPC合成部(106,108)は第1のLPC合成信号を得るよう構成され、この信号はLPC合成出力信号に相当するか、またはその信号からLPC合成出力信号が導出され、
前記LPC表現生成部(100)は、追加の置き換えLPC表現を生成するよう構成され、前記追加の置き換えLPC表現は前記置き換えLPC表現とは異なり、
前記LPC合成部(106,108)は、前記置き換えLPC表現を使用して前記符号帳情報をフィルタリングして前記第1のLPC合成信号を取得し、かつ前記追加の置き換えLPC表現を使用して追加の符号帳情報をフィルタリングして第2のLPC合成信号を取得するよう構成され、
前記装置は、前記第1のLPC合成信号と前記第2のLPC合成信号とを結合して、前記
エラー隠しオーディオ信号を得る置き換え信号結合部(110)をさらに備える、装置。
【請求項8】
請求項
7に記載の装置であって、
前記符号帳情報を提供するための適応型符号帳(102)と、
前記追加の符号帳情報を提供するための固定型符号帳(104)と、をさらに含む装置。
【請求項9】
請求項
8に記載の装置であって、
前記固定型符号帳(104)は、
前記追加の符号帳情報としてエラー隠しのためのノイズ信号(112)を提供するよう構成され、
前記適応型符号帳(102)は、
前記符号帳情報として
の適応型符号帳コンテンツ又は
前記追加の符号帳情報として
の前の固定型符号帳コンテンツと結合され
る適応型符号帳コンテンツを提供するよう構成されている、装置。
【請求項10】
請求項
9に記載の装置であって、
前記LPC表現生成部(100)は、1つ又は少なくとも2つのエラーのない先行するLPC表現を使用して、置き換えLPC表現を生成するよう構成され、かつ
1つ以上の先行する良好なフレーム(208)からノイズ推定部(206)によって推定されたノイズ推定及び少なくとも1つのエラーのない先行するLPC表現を使用して、追加の置き換えLPC表現を生成するよう構成され
ている、装置。
【請求項11】
請求項
10に記載の装置であって、
前記LPC表現生成部(100)は、
少なくとも2つの最後の良好なフレームのLPC表現の平均値を計算(130)し、前記平均値と最後の良好なフレームのLPC表現(132)との重み付き合計(136)を使用して、前記置き換えLPC表現(138)を生成するよう構成され、前記重み付き合計の第1の重み付けファクタは連続的なエラーのある又は損失したフレームに亘って変化し、
前記LPC表現生成部(100)は、最後の良好なフレーム(144)のLPC表現と前記ノイズ推定(140)のLPC表現との重み付き合計(146)を使用して、前記追加の置き換えLPC表現を生成するよう構成され、前記重み付き合計の第2の重み付けファクタは連続的なエラーのある又は損失したフレームに亘って変化する、装置。
【請求項12】
請求項
10又は
11に記載の装置であって、
前記ノイズ推定部(206)は、1つ又はそれ以上の先行する良好なフレーム(208)から前記ノイズ推定を推定するよう構成される、装置。
【請求項13】
請求項1に記載の装置であって、
前記LPC合成部(106,108)は、前記置き換えLPC表現を使用して前記符号帳情報をフィルタリングし、第1のLPC合成信号を取得するよう構成され、この信号はLPC合成出力信号に相当するか、またはその信号からLPC合成出力信号が導出され、
前記補償部(406、408、900)は、前記符号帳情報又は前記LPC合成出力信号を重み付けするよう構成され、
前記エラー隠しオーディオ信号は前記LPC合成出力信号から導出される、装置。
【請求項14】
請求項
13に記載の装置であって、
前記LPC表現生成部は追加の置き換えLPC表現を生成するよう構成され、前記追加の置き換えLPC表現は前記置き換えLPC表現とは異なり、
前記LPC合成部(106,108)は、前記置き換えLPC表現を使用して前記符号帳情報をフィルタリングして前記第1のLPC合成信号を取得し、かつ前記追加の置き換えLPC表現を使用して追加の符号帳情報をフィルタリングして第2のLPC合成信号を取得するよう構成され、
前記装置は、
前記第1のLPC合成信号と前記第2のLPC合成信号とを結合して、前記
エラー隠しオーディオ信号を得る置き換え信号結合部(110)と、
適応型符号帳情報を提供するための適応型符号帳と、
固定型符号帳情報を提供するための固定型符号帳と、
前記適応型符号帳情報を重み付けするための適応型符号帳重み付け部(402)と、
前記固定型符号帳情報を重み付けするための固定型符号帳重み付け部(404)と、
をさらに含み、
前記補償部(406、408、900)は、前記適応型符号帳重み付け部(402)の出力、前記固定型符号帳重み付け部(404)の出力、又は前記適応型符号帳重み付け部(402)及び前記固定型符号帳重み付け部(404)の出力の合計を処理するよう構成されている、装置。
【請求項15】
エラー隠しオーディオ信号を生成する方法であって、
置き換えLPC表現を生成するステップ(100)と、
前記置き換えLPC表現からゲイン情報を計算するステップ(600)と、
前記ゲイン情報を使用して、前記置き換えLPC表現のゲイン影響を補償するステップ(406、408)と、
前記置き換えLPC表現を使用して符号帳情報をフィルタリングし、
LPC合成出力信号を得るステップ(106,108)と、
前記LPC合成出力信号から前記エラー隠しオーディオ信号を導出するステップ(110)と、
を備え、
前記補償するステップ(406、408、900)は、前記符号帳情報又は前記LPC合成出力信号を重み付けするよう構成され、
前記ゲイン情報を計算するステップ(600)は、
前記エラー隠しの開始前の最後の良好なLPC表現に関連する最後の良好なフレームのパワー情報を計算(700)し、前記最後の良好なLPC表現は良好な条件で受信されたLPC表現であり、
前記置き換えLPC表現からパワー情報を計算(702)し、かつ
前記最後の良好なフレームのパワー情報と前記置き換えLPC表現からのパワー情報とを使用して前記ゲイン情報としてのゲイン値を計算(704)するよう実行され、
前記補償するステップ(406、408、900)は前記ゲイン値を使用して補償(706)する、
方法。
【請求項16】
コンピュータ又はプロセッサ上で作動するとき、請求項
15に記載の方法を実行するためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、オーディオ符号化に関し、特に符号帳(コードブック)のコンテキストにおけるLPC状処理に基づいたオーディオ符号化に関する。
【背景技術】
【0002】
知覚的オーディオ符号器は、人間の声道をモデル化するため、及び冗長量を削減するために線形予測符号化(LPC)をしばしば利用しており、そのLPCはLPCパラメータによってモデル化され得る。入力信号をLPCフィルタによってフィルタリングすることによって得られるLPC残差は、さらにモデル化され、1つ又は2つ以上の符号帳(例えば、適応型符号帳、声門パルス(glottal pulse)符号帳、革新的符号帳、遷移符号帳、予測及び変換部からなるハイブリッド符号帳など)によってそれを表現することによって伝送される。
【0003】
フレーム損失がある場合、スピーチ/オーディオデータのセグメント(典型的には10ms又は20ms)が失われる。この損失をできるだけ不可聴にするために、種々の隠し技術が適用される。これら技術は、通常、過去の受信されたデータの外挿からなる。このデータは、符号帳のゲイン、符号帳ベクトル、符号帳をモデル化するためのパラメータ、LPC係数であり得る。現状技術から公知である全ての隠し技術において、信号合成に使用されるLPC係数のセットは、(最終の良好セットに基づいて)繰り返されるか、又は外挿/内挿される。
【0004】
非特許文献1:LPCパラメータ(ISFドメインで表現される)は隠し操作の期間中、外挿される。外挿は2つのステップで構成される。第1ステップでは、長期間目標ISFベクトルが計算される。この長期間目標ISFベクトルは、以下の2つの(固定重み付けファクタβを持つ)重み付き平均である。
・最終の3個の既知のISFベクトルの平均を表すISFベクトル、及び
・長期間平均スペクトル形状を表すオフライン練習済みISFベクトル
【0005】
次に、長期間目標ISFベクトルは、最後に受信されたISFベクトルから長期間目標ISFベクトルへとクロスフェードを可能にするため、時間変化するファクタαを使用して、最後に正確に受信されたISFベクトルを用いて1フレーム毎に1回内挿される。結果的なISFベクトルは、次にLPCドメインへ逆変換され、中間段階(ISFは20ms毎に伝送され、内挿は各5ms毎にLPCのセットを生成する)を生成する。LPCは次に、適応型及び固定型の符号帳の合計の結果をフィルタリングすることにより、出力信号を合成するために使用され、それらは対応する符号帳ゲインを用いて加算の前に増幅される。固定型符号帳は、隠し期間中にノイズを含む。連続的なフレーム損失がある場合には、適応型符号帳が固定型符号帳を追加することなくフィードバックされる。代替的に、非特許文献4において行われているように、合計信号がフィードバックされてもよい。
【0006】
非特許文献2では、LPC係数の2つのセットを利用する隠し方式が示されている。LPC係数の1セットは最後の良好に受信されたフレームに基づいて導出され、LPCパラメータの他のセットは最初の良好に受信されたフレームに基づいて導出されるが、信号は逆方向に(過去に向かって)展開すると推定される。次に、予測が2方向に実行され、1つは未来の方向であり、他の1つは過去の方向である。したがって、欠損したフレームの2つの表現が生成される。最後に、両信号は、重み付けられかつ平均化された後で再生される。
【0007】
図8は、従来技術に従ったエラー隠し処理を示す。適応型符号帳800が適応型符号帳情報を増幅器808へと提供し、増幅器は符号帳ゲインg
pを適応型符号帳800からの情報へ適用する。増幅器808の出力は結合部810の入力へと接続されている。さらに、ランダムノイズ生成部804は、固定型符号帳802と共に、追加の増幅器g
cへと符号帳情報を提供する。806で示される増幅器g
cは、固定型符号帳ゲインであるゲインファクタg
cを、ランダムノイズ生成部804と一緒に固定型符号帳802によって提供された情報へと適用する。増幅器806の出力は、次に追加的に結合部810へと入力される。結合部810は対応する符号帳ゲインによって増幅された両符号帳の結果を加算して、結合信号を取得し、その結合信号は次にLPC合成ブロック814へと入力される。LPC合成ブロック814は、上述のように生成された置き換え表現(replacement representation)によって制御される。
【0008】
この従来技術の手順はある種の欠点を有する。
【0009】
変化する信号特性に対処するため、又はLPC包絡を背景ノイズ状特性へと収束させるために、LPCは幾つかの他のLPCベクトルを用いて外挿/内挿することにより、隠し期間中に変更される。隠し期間中にエネルギーを正確に制御する可能性はない。種々の符号帳の符号帳ゲインを制御する機会があるものの、全体レベル又はエネルギー(周波数依存性であっても)に対し、LPCは暗示的に影響を及ぼすであろう。
【0010】
バーストフレーム損失の期間中、ある明確なエネルギーレベル(例えば背景ノイズレベル)へとフェードアウト(減衰)させるよう構想することも可能であろう。しかしこれは、従来技術を用いた場合には、たとえ符号帳ゲインを制御しても不可能である。
【0011】
フレーム損失の前と同じスペクトル特性を持つ調性部分を合成する可能性を維持しながら、信号のノイズ状部分を背景ノイズへとフェードさせることは不可能である。
【先行技術文献】
【特許文献】
【0012】
【文献】[4] 米国特許出願US20110173011 A1, Ralf Geiger et. al., "Audio Encoder and Decoder for Encoding and Decoding Frames of a Sampled Audio Signal"
【非特許文献】
【0013】
【文献】[1] ITU-T G.718 Recommendation, 2006
【文献】[2] Kazuhiro Kondo, Kiyoshi Nakagawa, “A Packet Loss Concealment Method Using Recursive Linear Prediction” Department of Electrical Engineering, Yamagata University, Japan.
【文献】[3] R. Martin, Noise Power Spectral Density Estimation Based on Optimal Smoothing and Minimum Statistics, IEEE Transactions on speech and audio processing, vol. 9, no. 5, July 2001
【文献】[5] 3GPP TS 26.190; Transcoding functions; - 3GPP technical specification
【発明の概要】
【発明が解決しようとする課題】
【0014】
本発明の目的は、エラー隠し信号を生成するための改善された概念を提供することである。
【課題を解決するための手段】
【0015】
この目的は、請求項1に記載のエラー隠し信号を生成する装置、請求項14に記載のエラー隠し信号を生成する方法、又は請求項15に記載のコンピュータプログラムによって達成される。
【0016】
本発明の1つの態様において、エラー隠し信号を生成する装置は、第1の置き換えLPC表現と、それとは異なる第2の置き換えLPC表現と、を生成するためのLPC表現生成部を含む。さらに、LPC合成部は、第1の置き換えLPC表現を使用して第1符号帳情報をフィルタリングして第1の置き換え信号を取得し、かつ第2の置き換えLPC表現を使用して第2の符号帳情報をフィルタリングして第2の置き換え信号を取得するために設けられる。LPC合成部の出力は、第1の置き換え信号と第2の置き換え信号とを結合してエラー隠し信号を取得する、置き換え信号結合部によって結合される。
【0017】
第1符号帳は、好ましくは第1符号帳情報を提供するための適応型符号帳であり、第2符号帳は、好ましくは第2符号帳情報を提供するための固定型符号帳である。換言すれば、第1符号帳は信号の調性部分を表現しており、第2又は固定型符号帳は信号のノイズ状部分を表現し、それ故、ノイズ符号帳と見なすことができる。
【0018】
適応型符号帳に関する第1符号帳情報は、最後の良好な複数のLPC表現の平均値と最後の良好な表現とフェーディング値(fading value)とを使用して生成される。さらに、第2の又は固定の符号帳についてのLPC表現は、最後の良好なLPC表現フェーディング値及びノイズ推定を使用して生成される。構成に依存して、ノイズ推定は固定値、オフライン練習済み値、又はエラー隠し状況に先行する信号から適応的に導出され得る値であってもよい。
【0019】
好ましくは、置き換えLPC表現の影響を計算するためのLPCゲイン計算が実行され、この情報は、次に、合成信号のパワー若しくはラウドネス、又は一般的には振幅関連尺度が、エラー隠し操作の前の対応する合成信号と同様となるように、補償を行うために使用される。
【0020】
さらなる態様において、エラー隠し信号を生成する装置は、1つ以上の置き換えLPC表現を生成するためのLPC表現生成部を含む。さらに、LPC表現からゲイン情報を計算するためのゲイン計算部が設けられ、次に置き換えLPC表現のゲイン影響を補償するための補償部が追加的に設けられ、このゲイン補償は、ゲイン計算部によって提供されたゲイン情報を使用して作動する。次に、LPC合成部が置き換えLPC表現を使用して符号帳情報をフィルタリングし、エラー隠し信号を取得し、補償部は、LPC合成部によって合成される前に符号帳情報を重み付けするよう構成されるか、又はLPC合成出力信号を重み付けするよう構成される。よって、エラー隠し状況の開始時において、如何なるゲイン若しくはパワー又は振幅関連の知覚できる影響も低減され、又は除去される。
【0021】
この補償は、上述の態様において説明した個別のLPC表現について有用であるだけでなく、単一のLPC置き換え表現を単一のLPC合成部と共に使用する場合においても有用である。
【0022】
ゲイン値は、最後の良好なLPC表現及び置き換えLPC表現のインパルス応答を計算することによって、また、特に3~8msの間、好ましくは5msのある時間に亘って対応するLPC表現のインパルス応答におけるrms値を計算することによって決定される。
【0023】
ある構成例では、実際のゲイン値は新たなrms値、つまり置き換えLPC表現についてのrms値を、良好なLPC表現のrms値によって除算することによって決定される。
【0024】
好ましくは、単一の又は複数の置き換えLPC表現が背景ノイズ推定を使用して計算される。その背景ノイズ推定は、オフライン練習済みの所定のノイズ推定とは対照的に、好ましくは現時点で復号化された信号から導出された背景ノイズ推定である。
【0025】
さらなる態様においては、信号を生成する装置は、1つ以上の置き換えLPC表現を生成するためのLPC表現生成部と、置き換えLPC表現を使用して符号帳情報をフィルタリングするためのLPC合成部とを含む。さらに、良好なオーディオフレームの受信中にノイズ推定を推定するためのノイズ推定部が設けられ、そのノイズ推定は良好なオーディオフレームに依存している。前記表現生成部は、置き換えLPC表現を生成するに当り、ノイズ推定部によって推定されたノイズ推定を使用するよう構成されている。
【0026】
過去に復号化された信号のスペクトル表現は、処理されて、ノイズスペクトル表現又は目標表現を提供する。ノイズスペクトル表現はノイズLPC表現へと変換され、このノイズLPC表現は、好ましくは置き換えLPC表現と同種のLPC表現である。ISFベクトルは特異なLPC関連処理手順にとって、好ましい。
【0027】
推定は、過去に復号化された信号に対する最適な平滑化を用いた最小の統計的アプローチを使用して、導出される。このスペクトルノイズ推定は、次に時間ドメイン表現へと変換される。次に、レビンソン-ダービン(Levinson-Durbin)回帰が時間ドメイン表現の第1個数のサンプルを使用して実行され、ここでサンプルの個数はLPC次数に等しい。次に、LPC係数がレビンソン-ダービン回帰の結果から導出され、この結果は最終的にベクトルへと変換される。個々の符号帳について個別のLPC表現を使用する態様、ゲイン補償と共に1つ以上のLPC表現を使用する態様、及び1つ以上のLPC表現を生成する際にノイズ推定を使用する態様であって、その推定がオフライン練習済みベクトルではなく、過去に復号化された信号から導出されたノイズ推定である態様は、従来技術に対する改良を達成する目的で個別に使用可能である。
【0028】
さらに、これら個々の態様は互いに結合することができ、例えば第1の態様と第2の態様とを結合したり、第1の態様と第3の態様とを結合したり、又は第2の態様と第3の態様とを結合したりすることができ、従来技術に対してさらに改善された性能を提供することができる。さらに好ましくは、全ての3つの態様を互いに結合することができ、従来技術に対する改良を達成できる。よって、添付の図面及び説明を参照すれば明らかなように、各態様は個別の図によって説明されるが、全ての態様は互いに結合して適用可能である。
【0029】
以下に、本発明の好ましい実施形態について、添付の図面を参照しながら説明する。
【図面の簡単な説明】
【0030】
【
図1c】通常モード又は隠しモードにおける固定型符号帳の使用を示す。
【
図1d】第1のLPC置き換表現の計算についてのフローチャートを示す。
【
図1e】第2のLPC置き換表現の計算についてのフローチャートを示す。
【
図2】エラー隠しコントローラ及びノイズ推定部を有する復号器の概観図である。
【
図4】第1の態様と第2の態様とを結合した好ましい実施形態を示す。
【
図5】第1の態様と第2の態様とを結合した更なる実施形態を示す。
【
図6】第1の態様と第2の態様とを結合した一実施形態を示す。
【
図9】ゲイン補償を有する第2の態様に従う実施形態を示す。
【
図11】ノイズ推定部を使用した第3の態様の実施形態を示す。
【
図12a】ノイズ推定を計算する好ましい構成を示す。
【
図12b】ノイズ推定を計算する他の好ましい構成を示す。
【
図13】ノイズ推定を使用しかつフェーディング操作を適用して、個別の符号帳について単一のLPC置き換え表現又は個別のLPC置き換え表現を計算する方法を示す。
【発明を実施するための形態】
【0031】
本発明の好ましい実施形態は、外挿されたLPCによって引き起こされる如何なるゲイン変化とは独立して、符号帳ゲインによって出力信号のレベルを制御すること、及びLPCモデル化されたスペクトル形状を各符号帳について別個に制御することに関係している。この目的のため、別個のLPCが各符号帳について適用され、隠し期間中のLPCゲインの如何なる変化をも補償するよう補償手段が適用される。
【0032】
異なる態様又は結合された態様として定義された本発明の実施形態は、復号器側で1つ以上のデータパケットが正しく受信されないか又は全く受信されない場合に、スピーチ/オーディオの高い主観的な品質を提供するという利点を有する。
【0033】
さらに、好ましい実施形態は、隠し期間中、経時的に変化するLPC係数からもたらされ得る後続のLPC間のゲイン差を補償し、それにより所望でないレベル変化が回避される。
【0034】
さらに、実施形態は、隠し期間中、LPC係数の2つ以上のセットが、有声および無声のスピーチ部分、並びに調性及びノイズ状のオーディオ部分のスペクトル挙動に対して独立して影響を与えるよう使用される点で有利である。
【0035】
本発明の全ての態様は、改善された主観的オーディオ品質を提供する。
【0036】
本発明の1つの態様によれば、エネルギーは内挿期間中、正確に制御される。LPCを変更することによって導入される如何なるゲインも補償される。
【0037】
本発明の他の態様によれば、個別のLPC係数セットが符号帳ベクトルの各々について利用される。各符号帳ベクトルはその対応するLPCによってフィルタリングされ、個別のフィルタリング済み信号は、その直後に加算されて合成済み出力を得る。これとは対照的に、従来技術では、最初に全ての励振ベクトル(異なる符号帳から生成される)が加算され、その直後にその合計を単一のLPCフィルタへ供給する。
【0038】
他の実施形態によれば、ノイズ推定は、例えばオフライン練習済みベクトルとして使用されず、過去の復号化済みフレームから実際に導出され、それにより、ある量のエラー含み又は欠損したパケット/フレームの後で、任意の所定のノイズスペクトルではなく実際の背景ノイズへのフェードアウトが得られる。この事は、特にユーザー側にとって受け入れできる感情をもたらす一方で、エラー状況が発生した場合でも、ある数のフレームの後で復号器によって提供される信号は先行する信号に関係している。しかしながら、ある数の損失又はエラー含みのフレームの場合に復号器によって提供される信号は、エラー状況の前に復号器によって提供された信号とは全く関連性のない信号である。
【0039】
LPCの時間変化するゲインに対してゲイン補償を適用することは、以下の利点をもたらす。
【0040】
LPCを変更することによって導入される如何なるゲインをも補償する。
【0041】
それ故、出力信号のレベルは、種々の符号帳の符号帳ゲインによって制御され得る。このことは、内挿されたLPCによる如何なる所望でない影響を除去することによって、所定のフェードアウトを可能にする。
【0042】
隠し期間中に使用された各符号帳について、LPC係数の個別のセットを使用することは、以下のような利点をもたらす。
【0043】
まず、信号の調性部分およびノイズ状部分のスペクトル形状に対して個別に影響を及ぼす可能性を創造する。
【0044】
また、有声信号部分を殆ど変更せずに(例えば、母音について望ましい)再生する機会を与える一方で、ノイズ部分は背景ノイズへと速やかに収れんされ得る。
【0045】
更に、有声部分を隠し、その有声部分を任意の減衰速度(例えば、信号特性に依存したフェードアウト速度)でフェードアウトさせる機会を与える一方で、同時に隠し期間中、背景ノイズを維持する。従来技術のコーデックは、通常、非常に明瞭な有声の隠し音から不利を受ける。
【0046】
更には、スペクトル特性を変更せずに調性部分をフェードアウトさせ、かつノイズ状部分を背景ノイズスペクトル包絡へとフェード(減衰)させることによって、隠し期間中、背景ノイズへと円滑にフェードさせる手段を提供する。
【0047】
図1aはエラー隠し信号111を生成する装置を示す。この装置は、第1の置き換えLPC表現を生成し、かつ追加的に第2の置き換えLPC表現を生成するLPC表現生成部100を含む。
図1aに示されるように、第1の置き換え表現はLPC合成部106へと入力され、そのLPC合成部は、適応型符号帳102のような第1符号帳102によって出力された第1符号帳情報をフィルタリングして、ブロック106の出力において第1の置き換え信号を得るものである。さらに、LPC表現生成部100によって生成された第2の置き換えLPC表現はLPC合成部108へと入力され、このLPC合成部は、第2符号帳104、例えば固定型符号帳によって提供された第2の異なる符号帳情報をフィルタリングして、ブロック108の出力において第2の置き換え信号を得るものである。両方の置き換え信号は、次に第1の置き換え信号と第2の置き換え信号とを結合する置き換え信号結合部110へと入力され、エラー隠し信号111を得る。両方のLPC合成部106、108は単一のLPC合成ブロック内に構成されることができ、又は別個のLPC合成フィルタとして構成されることができる。他の構成では、両方のLPC合成部は、実際に並列的に構成されかつ並列的に作動する2つのLPCフィルタによって構成することができる。しかしながら、LPC合成は1つのLPC合成フィルタとある種の制御部とであることができ、それによりLPC合成フィルタが第1の符号帳情報と第1の置き換え表現とについての出力信号を提供し、次に第1の動作に続いて、制御部が第2の符号帳情報と第2の置き換え表現とを合成フィルタへ提供し、直列的に第2の置き換え信号を取得する。単一の又は複数の合成ブロックとは別のLPC合成部についての他の構成は、当業界においては自明のことである。
【0048】
典型的には、LPC合成出力信号は時間ドメイン信号であり、置き換え信号結合部110は、同期されたサンプル毎の加算を実行することによって、合成出力信号の結合を実行する。しかしながら、重み付きサンプル毎の加算、周波数ドメイン加算、又はその他の信号結合のような他の結合が、置き換え信号結合部110によって同様に実行され得る。
【0049】
さらに、第1符号帳102は適応型符号帳を含むとして示され、第2符号帳104は固定型符号帳を含むとして示されている。しかしながら、第1符号帳及び第2符号帳は、第1符号帳が予測型符号帳であり、第2符号帳がノイズ符号帳であるような他の符号帳であってもよい。しかしながら、他の符号帳は、声門パルス符号帳、革新的符号帳、遷移符号帳、予測部及び変換部からなるハイブリッド符号帳、男性/女性/子供のような個々のボイス発生者のための符号帳、動物の音声のような異なる音声のための符号帳等であってもよい。
【0050】
図1bは適応型符号帳の表現を示す。適応型符号帳にはフィードバックループ120が設けられ、入力としてピッチラグ118を受信する。このピッチラグは、良好に受信されたフレーム/パケットの場合には、復号化されたピッチラグであり得る。しかしながら、エラーのある又は欠損したフレーム/パケットを示すエラー状況が検出された場合には、エラー隠しピッチラグ118が復号器によって提供され、適応型符号帳へ入力される。適応型符号帳102は、フィードバックライン120を介して提供されたフィードバック出力値を記憶するメモリとして構成されてもよく、適用されたピッチラグ118に依存して、ある量のサンプリング値が適応型符号帳から出力される。
【0051】
さらに、
図1cは固定型符号帳104を示す。通常モードの場合には、固定型符号帳104は符号帳インデックスを受信し、この符号帳インデックスに応答して、ある符号帳エントリ114が符号帳情報として固定型符号帳によって提供される。しかしながら、隠しモードが決定された場合には、符号帳インデックスは利用できない。そこで、固定型符号帳104内に設けられたノイズ発生部112が、ノイズ信号を符号帳情報116として提供するべく、活性化される。構成に依存して、ノイズ発生部はランダム符号帳インデックスを提供してもよい。しかしながら、ノイズ発生部は、ランダム符号帳インデックスよりもノイズ信号を実際に提供する方が望ましい。ノイズ発生部112は、ある種のハードウエア又はソフトウエアのノイズ発生部として構成されてもよく、ノイズ表、又はノイズ形状を有する固定型符号帳におけるある「追加的」エントリ、として構成されてもよい。さらに、上述の手順の組合せ、即ちノイズ符号帳エントリとある後処理とを組み合わせることも可能である。
【0052】
図1dは、エラーがある場合に、第1の置き換えLPC表現を計算するための望ましい手順を示す。ステップ130は、2つ以上の最後の良好なフレームのLPC表現の平均値の計算を示す。3つの最後の良好なフレームが望ましい。よって、3つの最後の良好なフレームの平均値がブロック130で計算され、ブロック136へと提供される。さらに、記憶された最後の良好なフレームのLPC情報がステップ132において提供され、さらにブロック136へと提供される。さらに、フェーディングファクタ(減衰ファクタ)134がブロック134で決定される。次に、最後の良好なLPC情報に依存し、最後の良好なフレームのLPC情報の平均値に依存し、かつブロック134のフェーディングファクタに依存して、第1の置き換え表現138が計算される。
【0053】
従来技術においては、たった1つのLPCが適用される。新たに提案された方法では、適応型符号帳又は固定型符号帳のいずれかによって生成された各励振ベクトルは、それ自身のLPC係数のセットによってフィルタリングされる。個々のISFベクトルの導出は以下の通りである。
【0054】
(適応型符号帳をフィルタリングするための) 係数セットAは、以下の式によって決定される。
【数1】
【数2】
ここで、α
Aは信号安定性や信号クラスなどに依存し得る時間変化する適応型フェーディングファクタであり、isf
-xはISF係数であり、ここでxは現フレームの端部に対するフレーム番号を示し、x=-1は第1の損失ISFを示し、x=-2は最後の良好なISFであり、x=-3は最後から2番目の良好なISF等である。このことは、調性部分をフィルタリングするためのLPCを、最後に正確に受信されたフレームから開始し、平均LPC(最後の3個の良好な20msのフレームの平均)へとフェーディング(減衰)させることになる。失われたフレームの数が多ければ多いほど、隠し期間中に使用されるISFがこの短期間平均ISFベクトル(isf')により近くなるであろう。
【0055】
図1eは、第2の置き換え表現を計算するための好ましい手順を示す。ブロック140では、ノイズ推定が決定される。次に、ブロック142では、フェーディングファクタが決定される。さらに、ブロック144では、以前に記憶されていたLPC情報内の最後の良好なフレームが提供される。次に、ブロック146では、第2の置き換え表現が計算される。好ましくは、(固定型符号帳をフィルタリングするための)係数セットBが次の式によって決定される。
【数3】
ここで、isf
cngは背景ノイズ推定から導出されたISF係数セットであり、α
Bは、好ましくは信号依存性の時間変化するフェーディング速度ファクタである。目標スペクトル形状は、非特許文献3と同様に、最適な平滑化を有する最小統計アプローチを使用して、FFTドメイン(パワースペクトル)で過去に復号化された信号をトレーシングすることにより導出される。このFFT推定は、逆FFTを実行し、次にレビンソン-ダービン回帰を用いて、逆FFTの最初のN個(ここでNはLPC次数である)のサンプルを使用してLPC係数を計算することにより、自己相関を計算することによって、LPC表現へと変換される。このLPCは、次にISFドメインへと変換され、isf
cngを得る。代替的に、背景スペクトル形状の追跡が利用できない場合には、目標スペクトル形状は、通常の目標スペクトル形状について非特許文献1(G.718)において実行されているように、オフライン練習済みベクトルと短期間スペクトル平均との任意の組合せに基づいて導出されてもよい。
【0056】
好ましくは、フェーディングファクタαA及びαBは復号化されたオーディオ信号に依存して決定され、すなわちエラーの発生前に復号化されたオーディオ信号に依存して決定される。フェーディングファクタは信号安定性、信号クラス等に依存してもよい。よって、信号がきわめてノイズの多い信号であると決定された場合には、フェーディングファクタは、信号が非常に調性であるような状況に比べて、そのファクタが時間と共により速やかに減少するように決定される。この状況では、フェーディングファクタはある時間フレームから次の時間フレームへと低減された量で減少する。このことは、最後の良好なフレームから最後の3つの良好なフレームの平均値へのフェードアウトが、非ノイズ信号又は調性信号に比べてノイズの多い信号の場合に、より速やかに起こることを確実にし、非ノイズ信号又は調性信号の場合にはフェードアウト速度は低減される。同様の手順が信号クラスについても実行され得る。有声信号の場合には、無声信号の場合よりも低速でフェードアウトを実行することができ、又は、音楽信号の場合には、他の信号特性に比べてあるフェード速度が低減され得、かつフェーディングファクタの対応する決定が適用され得る。
【0057】
図1eの文脈の中で説明したように、異なるフェーディングファクタα
Bが第2の符号帳情報について計算され得る。つまり、異なる符号帳エントリが異なるフェーディング速度を備え得る。よって、ノイズ推定に対するフェードアウトisf
cngは、
図1dのブロック136において説明したような、最後の良好なフレームISF表現から平均ISF表現へのフェーディング速度とは異なるように設定され得る。
【0058】
図2は好ましい構成の概観を示す。入力ラインは、例えばワイヤレス入力インターフェイス又はケーブルインターフェイスから、オーディオ信号のパケット又はフレームを受信する。入力ライン202上のデータは、復号器204へ提供され、同時にエラー隠し制御部200へも提供される。エラー隠し制御部は、受信されたパケット又はフレームがエラーがあるか又は欠損しているかどうかを決定する。このことが決定されれば、エラー隠し制御部は制御メッセージを復号器204へ入力する。
図2の構成では、制御ラインCTRL上の「1」メッセージは、復号器204が隠しモードで作動すべきであることを信号伝達する。しかしながら、もしエラー隠し制御部がエラー状況を発見しない場合には、制御ラインCTRLは、
図2の表210に示されるように、通常復号化モードを示す「0」メッセージを伝達する。復号器204はさらにノイズ推定部206と接続されている。通常復号化モードの期間中、ノイズ推定部206はフィードバックライン208を介して復号化済みオーディオ信号を受信し、その復号化済み信号からノイズ推定を決定する。しかしながら、エラー隠し制御部が通常復号化モードから隠しモードへの変更を指示する場合には、ノイズ推定部206はノイズ推定を復号器204へと供給し、復号器204は前の図及び次の図で説明するようにエラー隠しを実行することができる。ノイズ推定部206は、エラー隠し制御部からの制御ラインCTRLによって、通常復号化モードにおける通常ノイズ推定モードから、隠しモードにおけるノイズ推定準備動作(noise estimate provision operation)へと、切り替えるようさらに制御される。
【0059】
図4は、
図2の復号器204のような、適応型符号帳102を有しさらに固定型符号帳104を有する復号器の文脈において、本発明の好ましい実施形態を示す。
図2の表210の文脈の中で説明したように、制御ラインデータ「0」によって示された通常の復号化モードにおいては、復号器は
図8における項目804が無視された場合と同様に作動する。正確に受信されたパケットは、固定型符号帳802を制御するための固定型符号帳インデックスと、増幅器806を制御するための固定型符号帳ゲインg
cと、増幅器808を制御するための適応型符号帳ゲインg
pとを含む。さらに、適応型符号帳800は伝送されたピッチラグによって制御され、スイッチ812は適応型符号帳の出力が適応型符号帳の入力へとフィードバックされるように接続されている。さらに、LPC合成フィルタ814のための係数が、伝送されたデータから導出される。
【0060】
しかしながら、もしエラー隠し状況が
図2のエラー隠し制御部200によって検出された場合、エラー隠し手順は、通常の手順とは対照的に、2つの合成フィルタ106、108が設けられた状態で開始される。さらに、適応型符号帳102のためのピッチラグがエラー隠し装置によって生成される。さらに、適応型符号帳ゲインg
pと固定型符号帳ゲインg
cもまた、増幅器402、404を正しく制御するために、当業界で公知なようにエラー隠し手順によって合成される。
【0061】
さらに、信号クラスに依存して、コントローラ409は、両方の符号帳出力(対応する符号帳ゲインの適用に続いて)をフィードバックするか、又は適応型符号帳出力だけをフィードバックするために、スイッチ405を制御する。
【0062】
一実施形態に従えば、LPC合成フィルタA(106)のためのデータと、LPC合成フィルタB(108)のためのデータとは、
図1aのLPC表現生成部100によって生成され、さらにゲイン修正が増幅器406、408によって実行される。この目的で、増幅器408、406を正しく駆動するために、ゲイン補償ファクタg
A及びg
Bが計算され、LPC表現によって生成された如何なるゲイン影響も停止される。最後に、106と108とによって示されたLPC合成フィルタA,Bの出力は、結合部110によって結合され、エラー隠し信号が取得される。
【0063】
次に、通常モードから隠しモードへの切り替えと、隠しモードから通常モードへの切り替えとについて説明する。
【0064】
最後の良好なLPCのメモリ状態が別個のLPCの各AR又はMAメモリを初期化するよう使用される可能性があるので、クリーンなチャネル復号化から隠しモードへの切り替え時における1つの共通LPCから複数の別個のLPCへの遷移は、如何なる不連続性をも引き起こさない。そのように動作した場合には、最後の良好なフレームから最初の損失フレームへの円滑な遷移が確保される。
【0065】
隠しモードからクリーンなチャネル復号化(回復段階)への切り替え時に、別個のLPCの手法は、クリーンなチャネル復号化(通常はAR(自己回帰)モデルが使用される)の期間中の単一のLPCフィルタの内部メモリ状態を正しく更新することを困難にしてしまう。1つのLPCのARメモリ又は平均化されたARメモリだけを使用することは、最後の損失フレームと最初の良好なフレームとの間のフレーム境界において、不連続性をもたらす恐れがある。以下では、この困難性を克服するための方法について説明する。
【0066】
全ての励振ベクトルの小部分(提案:5ms)が任意の隠しフレームの端部に加算される。この合計された励振ベクトルは、次に回復のために使用され得るLPCに供給されてもよい。この点が
図5に示されている。構成に依存して、LPCゲイン補償の後で励振ベクトルを合計することも可能である。
【0067】
LPC ARメモリをゼロに設定してフレーム端部の5ms前から開始し、個別のLPC係数セットのいずれかを使用してLPC合成を導出し、隠しフレームの正に終点におけるメモリ状態を保存することは得策である。もし次のフレームが正しく受信された場合には、このメモリ状態は次に回復のために使用され(つまり、フレーム開始LPCメモリを初期化するため使用され)てもよく、もしそうでない場合には廃棄される。このメモリは追加的に導入されるべきであり、そのメモリは隠し期間中に使用された隠しの使用済みLPC ARメモリのいずれからも独立して取り扱われなければならない。
【0068】
回復のための他の解決策は、特許文献1から知られた方法LPC0を使用することである。
【0069】
次に、
図5についてより詳細に説明する。一般に、適応型符号帳102は、
図5に示されるように予測型符号帳と称することができ、又は予測型符号帳によって置き換えることができる。さらに、固定型符号帳104はノイズ符号帳104として置き換え可能又は構成可能である。増幅器402、404を正しく駆動するために、符号帳ゲインg
p及びg
cは、通常モードにおいて入力データの中で伝送されるか、又はエラー隠しの場合にエラー隠し手順によって合成され得る。さらに、任意の他の符号帳であり得、しかも増幅器414によって示されるように関連する符号帳ゲインg
rを追加的に有する、第3の符号帳412が使用される。一実施形態では、他の符号帳についてのLPC置き換え表現によって制御される、別個のフィルタによる追加的なLPC合成がブロック416内において構成される。さらに、ゲイン補正g
cがg
A及びg
Bの文脈で説明したのと同様にして実行される。
【0070】
さらに、418で示される追加的な回復LPC合成部Xが示され、その合成部は入力として5msのような全ての励振ベクトルの少なくとも小部分の合計を受信する。この励振ベクトルはLPC合成部X(418)に対し、LPC合成フィルタXのメモリ状態として入力される。
【0071】
次に、隠しモードから通常モードへの切り替えが行われたとき、単一のLPC合成フィルタが、LPC合成フィルタXの内部メモリ状態をこの単一の通常作動フィルタへとコピーすることによって制御され、追加的に、フィルタの係数が正しく伝送されたLPC表現によって設定される。
【0072】
図3は、2つのLPC合成フィルタ106、108有するLPC合成部のさらにより詳細な構成を示す。各フィルタは、フィルタタップ302、306とフィルタ内部メモリ304、308とを有する、例えばFIRフィルタ又はIIRフィルタである。フィルタタップ302、306は、正しく伝送された対応するLPC表現、又は
図1aの100のようにLPC表現生成部によって生成された対応する置き換えLPC表現によって制御される。さらに、メモリ初期化部320が設けられている。このメモリ初期化部320は、最後の良好なLPC表現を受信し、エラー隠しモードへの切り替えが行われたとき、メモリ初期化部320は単一のLPC合成フィルタのメモリ状態をフィルタ内部メモリ304、308へと供給する。特に、メモリ初期化部は、最後の良好なLPC表現に代えて、又は最後の良好なLPC表現に追加して、最後の良好なメモリ状態、すなわち処理中、及び特に最後の良好なフレーム/パケットの処理後での単一のLPCフィルタの内部メモリ状態、を受信する。
【0073】
さらに、
図5の文脈で既に説明したように、メモリ初期化部320は、エラー隠し状況から通常のエラー無し作動モードへの回復のためのメモリ初期化手順を実行するよう構成され得る。この目的で、エラー含み又は損失フレームから良好なフレームへの回復の場合に、メモリ初期化部320又は別の追加のLPC初期化部が、単一のLPCフィルタを初期化するために構成される。LPCメモリ初期化部は、結合された第1符号帳情報及び第2符号帳情報の少なくとも一部、又は結合された重み付き第1符号帳情報及び重み付き第2符号帳情報の少なくとも一部を、
図5のLPCフィルタ418のような別個のLPCフィルタへ供給するよう構成されている。さらに、LPCメモリ初期化部は、その供給された値を処理することによって得られたメモリ状態を保存するよう構成される。次に、後続のフレーム又はパケットが良好なフレーム又はパケットである場合には、通常モードのための
図8の単一LPCフィルタ814が、保存されたメモリ状態、つまりフィルタ418からの状態を使用して初期化される。さらに、
図5において説明したように、このフィルタのフィルタ係数は、LPC合成フィルタ106、LPC合成フィルタ108、又はLPC合成フィルタ416の係数であるか、又はこれら係数の重み付き若しくは非重み付き結合であり得る。
【0074】
図6は、ゲイン補償を用いたさらなる構成を示す。この目的のため、エラー隠し信号を生成する装置は、ゲイン計算部600と補償部406、408とを含み、補償部は
図4(406、408)又は
図5(406、408、409)の文脈の中で既に説明した通りである。特に、LPC表現計算部100は第1の置き換えLPC表現及び第2の置き換えLPC表現をゲイン計算部600へ出力する。ゲイン計算部は次に、第1の置き換えLPC表現についての第1ゲイン情報と、第2の置き換えLPC表現についての第2ゲイン情報とを計算し、このデータを補償部406、408へと供給し、補償部は第1と第2の符号帳情報に加えて、
図4又は
図5に示されるように、最後の良好なフレーム/パケット/ブロックのLPCを受信する。次に、補償部は補償済み信号を出力する。補償部への入力は、
図4の実施形態における増幅器402、404の出力、符号帳102、104の出力、又は合成ブロック106、108の出力のいずれかであり得る。
【0075】
補償部406、408は、第1ゲイン情報を使用して第1の置き換えLPC表現のゲイン影響を部分的又は全体的に補償し、第2ゲイン情報を使用して第2の置き換えLPC表現のゲイン影響を補償する。
【0076】
一実施形態では、計算部600は、エラー隠しの開始前に、最後の良好なLPC表現に関連した最後の良好なパワー情報を計算するよう構成されている。さらに、ゲイン計算部600は、第1の置き換えLPC表現についての第1パワー情報と、第2の置き換えLPC表現についての第2パワー情報と、最後の良好なパワー情報と第1のパワー情報とを用いた第1ゲイン値と、最後の良好なパワー情報と第2のパワー情報とを用いた第2ゲイン値と、を計算する。次に、第1ゲイン値と第2ゲイン値とを使用して、補償が補償部406、408において実行される。しかしながら、構成によるが、最後の良好なパワー情報の計算は、
図6の実施形態に示されるように、補償部によって直接的に実行され得る。しかし、最後の良好なパワー情報の計算は、基本的に第1の置き換えLPC表現についての第1ゲイン値及び第2の置き換えLPC表現についての第2ゲイン値と同様にして実行されるという事実により、入力601によって示されるように、全てのゲイン値の計算をゲイン計算部600において行うのが望ましい。
【0077】
特に、ゲイン計算部600は、最後の良好なLPC表現又は第1及び第2のLPC置き換え表現からインパルス応答を計算し、次にそのインパルス応答からrms(二乗平均平方根)を計算して、ゲイン補償における対応するパワー情報を取得するよう構成され、各励振ベクトルは-対応する符号帳ゲインによって増幅された後-ゲインg
A及びg
Bによって再度増幅される。これらゲインは、現時点で使用されているLPCのインパルス応答を計算し、以下のrmsを計算することによって決定される。ここで、rms
newは置き換えLPC表現のrms値であり、tは時間変数であり、Tは3~8ms又はフレームサイズより短い所定時間値であり、imp_respは置き換えLPC表現から導出されたインパルス応答であり、rms
oldは最後の良好なフレームから導出されたrms値である。
【数4】
【0078】
この結果は、次に最後の正しく受信されたLPCのrmsと比較され、LPC内挿のエネルギー増加/損失について補償するために、商がゲインファクタとして使用される。
【数5】
【0079】
この手順は、一種の正規化とみなすことができる。この手順は、LPC内挿に起因するゲインを補償する。
【0080】
続いて、
図7a及び7bが、ゲイン計算部600及び補償部406、408を含むエラー隠し信号の生成装置を説明するためにより詳細に説明される。このエラー隠し信号の生成装置は、
図7aにおいて700で示されるように、最後の良好なパワー情報を計算する。さらに、ゲイン計算部600は702で示されるように、第1と第2のLPC置き換え表現のための第1と第2のパワー情報を計算する。次に、704で示されるように、第1と第2のゲイン値が、好ましくはゲイン計算部600によって計算される。次に、符号帳情報、重み付き符号帳情報、又はLPC合成出力が、706にて示されるように、これらゲイン値を用いて補償される。この補償は、好ましくは増幅器406、408によって実行される。
【0081】
この目的で、
図7bに示される好ましい実施形態において、複数のステップが実行される。ステップ710では、第1又は第2の置き換えLPC表現、又は最後の良好なLPC表現のようなLPC表現が提供される。ステップ712では、ブロック402、404にて示されるように、符号帳ゲインが符号帳情報/出力へ適用される。さらに、ステップ716では、インパルス応答が対応するLPC表現から計算される。次に、ステップ718では、各インパルス応答についてrms値が計算され、ステップ720では、対応するゲインが古いrms値と新たなrms値とを使用して計算され、この計算は好ましくは古いrms値を新たなrms値で除算することにより行われる。最後に、ステップ720の結果がステップ712の結果を補償するために使用され、ステップ714で示されるように、補償済み結果を最終的に得る。
【0082】
次に、さらなる態様、即ち、エラー隠し信号を生成する装置についての構成を説明する。その装置は、例えば
図8に示す状況と同様に、単一の置き換えLPC表現だけを生成するLPC表現生成部100を有する。しかしながら、
図8とは対照的に、
図9にさらなる態様を示す実施形態は、ゲイン計算部600と補償部406、408とを含む。LPC表現生成部によって生成された置き換えLPC表現による如何なるゲイン影響も、補償される。特に、このゲイン補償は、
図9に示されるように、LPC合成部の入力側で補償部406、408によって実行されるか、又は代替的にLPC合成部の出力側で補償部900によって実行されることができ、最終的にエラー隠し信号を取得する。補償部406、408、900は符号帳情報、又はLPC合成部106、108によって提供されたLPC合成出力信号を重み付けするよう構成される。
【0083】
LPC表現生成部、ゲイン計算部、補償部、LPC合成部についての他の処理は、
図1a~
図8の文脈で説明したものと同様にして実行され得る。
【0084】
図4の文脈の中で説明した通り、特に増幅器出力402、404の合計が適応型符号帳にフィードバックされず、適応型符号帳出力だけがフィードバックされる場合、つまりスイッチ405が図示された位置にある場合に、増幅器402及び406は互いに直列的に2つの重み付け操作を実行するか、又は増幅器404及び408が2つの重み付け操作を直列に実行する。
図10に示すある実施形態では、これら2つの重み付け操作は単一の操作で実行され得る。この目的のため、ゲイン計算部600はその出力g
p又はg
cを単一値計算部1002へと供給する。さらに、符号帳ゲイン生成部1000は隠し符号帳ゲインを従来技術から公知のように生成するよう構成される。次に、単一値計算部1002は単一値を得るために、好ましくはg
pとg
Aとの積を計算する。さらに、第2ブランチでは、単一値計算部1002はg
cとg
Bとの積を計算し、
図4における下側ブランチのための単一値を提供する。
図5の増幅器414、409を有する第3ブランチのために、さらなる手順が実行され得る。
【0085】
次に、単一の符号帳の符号帳情報に対して、又は2つ以上の符号帳の符号帳情報に対して、例えば増幅器402、406の操作を一緒に実行するマニピュレータ1004が設けられ、そのマニピュレータ1004が
図9のLPC合成部の前に配置されるか、又は
図9のLPC合成部の後に配置されるかに依存して、最終的に符号帳信号又は隠し信号のようなマニピュレート済み信号を取得する。
図11は第3の態様を示し、LPC表現生成部100、LPC合成部106、108及び
図2の文脈の中で既に説明したような追加のノイズ推定部206が設けられる。LPC合成部106、108は符号帳情報と置き換えLPC表現とを受信する。LPC表現は、ノイズ推定部206からのノイズ推定を使用してLPC表現生成部によって生成され、ノイズ推定部206は最後の良好なフレームからノイズ推定を決定することにより作動する。よって、ノイズ推定は最後の良好なオーディオフレームに依存し、ノイズ推定は良好なオーディオフレームの受信中、つまり
図2の制御ラインにおいて「0」によって示される通常の復号化モードにおいて推定され、通常の復号化モード期間中に生成されたこのノイズ推定は、次に
図2のブロック206と204との接続によって示されたように隠しモードにおいて適用される。
【0086】
ノイズ推定部は過去の復号化済み信号のスペクトル表現を処理して、ノイズスペクトル表現を提供し、かつノイズスペクトル表現をノイズLPC表現へと変換するよう構成され、このノイズLPC表現は置き換えLPC表現と同種のLPC表現である。よって、置き換えLPC表現がISFドメイン表現又はISFベクトルである場合には、ノイズLPC表現はさらにISFベクトル又はISF表現である。
【0087】
さらに、ノイズ推定部206は、最適な平滑化を用いた最小統計アプローチを過去の復号化済み信号に適用して、ノイズ推定を導出するよう構成されている。この手順のために、非特許文献3に示された手順を実行するのが望ましい。しかしながら、背景ノイズ又はオーディオ信号におけるノイズをフィルタ除去(filter out)するために、例えばスペクトルにおける非調性部分に比べて調性部分の抑圧に依存した他のノイズ推定手順もまた、目標スペクトル形状又はノイズスペクトル推定を得るために同様に適用され得る。
【0088】
ある実施形態では、スペクトルノイズ推定が過去の復号化済み信号から導出され、そのスペクトルノイズ推定が次にLPC表現へ変換され、次にISFドメインへ変換され、最終的なノイズ推定又は目標スペクトル形状を得る。
【0089】
図12aは好ましい実施形態を示す。ステップ1200では、例えば
図2においてフィードバックループ208によって示されるように、過去の復号化済み信号が得られる。ステップ1202では、高速フーリエ変換(FFT)表現のようなスペクトル表現が計算される。次に、ステップ1204では、最適な平滑化を用いた最小統計アプローチ又は他のノイズ推定処理等によって、目標スペクトル形状が導出される。次に、目標スペクトル形状はブロック1206で示されるようにLPC表現へ変換され、最後にLPC表現はブロック1208で示されるようにISFファクタへ変換され、最終的にISFドメインでの目標スペクトル形状を取得し、その目標スペクトル形状は置き換えLPC表現を生成するためのLPC表現生成部によって直接的に使用され得る。この適用例の方程式では、ISFドメインでの目標スペクトル形状は「ISF
cng」として示されている。
【0090】
図12bに示された好ましい実施形態では、目標スペクトル形状は例えば最小統計アプローチ及び最適な平滑化によって導出される。次に、ステップ1212では、目標スペクトル形状に対して例えば逆FFTを適用することによって、時間ドメイン表現が計算される。次に、レビンソン-ダービン回帰を使用することによってLPC係数が計算される。しかしながら、ブロック1214のLPC係数計算は、上述のレビンソン-ダービン回帰とは異なる他の任意の手順によっても実行され得る。次に、ステップ1216では、最終的なISFファクタが計算され、LPC表現生成部100によって使用されるべきノイズ推定ISF
cngを得る。
【0091】
次に、
図13を参照して、例えば
図8に示された手順のための単一のLPC置き換え表現1308の計算、又は
図1に示された実施形態のためのブロック1310によって示された個別の符号帳についての個別のLPC表現の計算、の文脈におけるノイズ推定の使用を説明する。
【0092】
ステップ1300では、2個又は3個の最後の良好なフレームの平均値が計算される。ステップ1302では、最後の良好なフレームのLPC表現が提供される。さらにステップ1304では、例えば別個の信号分析部によって制御され得るフェーディングファクタが提供され、その信号分析部は、例えば
図2のエラー隠し制御部200に含まれ得るものである。次に、ステップ1306では、ノイズ推定が計算され、ステップ1306における手順は、
図12a、12bに示されたいずれの手順によっても実行され得る。
【0093】
単一のLPC置き換え表現を計算する文脈において、ブロック1300、1304、1306の出力は計算部1308へ供給される。次に、単一の置き換えLPC表現は、ある個数の損失、欠損、又はエラーのあるフレーム/パケットに続いて、ノイズ推定LPC表現へのフェーディングが得られるように、計算される。
【0094】
しかしながら、適応型符号帳及び固定型符号帳のような、個別の符号帳についての個別のLPC表現が、ブロック1310で示されるように計算され、次に、ISFA
-1(LPC A)を計算する一方でISFB
-1(LPC B)を計算するための前述の手順が実行される。
【0095】
本発明を、各ブロックが現実の又は論理的ハードウエア要素を表すブロック図の文脈で説明してきたが、本発明はコンピュータ実装された方法によって構成することもできる。後者の場合、ブロックは対応する方法ステップを表し、これらステップは対応する論理的又は物理的ハードウエアブロックによって実行される機能を表している。
【0096】
これまで幾つかの態様を装置の文脈で説明してきたが、これら態様は対応する方法の記述も表現していることは明白であり、そこではブロック又は装置は方法ステップ又は方法ステップの特徴に対応している。同様に、方法ステップの文脈で説明された態様はまた、対応するブロック又は項目の説明、又は対応する装置の特徴を表現している。方法ステップの幾つか又は全ては、例えばマイクロプロセッサ、プログラム可能なコンピュータ、電子回路などのハードウエア装置、によって(を使用して)実行されてもよい。幾つかの実施形態では、最も重要な方法ステップの幾つか又はそれ以上は、そのような装置によって実行されてもよい。
【0097】
ある実装要件にもよるが、本発明の実施形態は、ハードウエア又はソフトウエアにおいて構成可能である。この構成は、その中に格納された電子的に読み取り可能な制御信号を有し、本発明の各方法が実行されるようにプログラム可能なコンピュータシステムと協働する(又は協働可能な)、例えばフレキシブルディスク,DVD,ブルーレイ,CD,ROM,PROM,EPROM,EEPROM又はフラッシュメモリなどの、デジタル記憶媒体を使用して実行され得る。従って、デジタル記憶媒体はコンピュータ読み取り可能であってもよい。
【0098】
本発明に従う幾つかの実施形態は、上述した方法の1つを実行するようプログラム可能なコンピュータシステムと協働可能で、電子的に読み取り可能な制御信号を有するデータキャリアを含む。
【0099】
一般的に、本発明の実施例は、プログラムコードを有するコンピュータプログラム製品として構成することができ、そのプログラムコードは当該コンピュータプログラム製品がコンピュータ上で作動するときに、本発明の方法の一つを実行するよう作動可能である。そのプログラムコードは、例えば機械読み取り可能なキャリアに格納されていても良い。
【0100】
本発明の他の実施形態は、上述した方法の1つを実行するための、機械読み取り可能なキャリアに格納されたコンピュータプログラムを含む。
【0101】
換言すれば、本発明方法の一実施形態は、そのコンピュータプログラムがコンピュータ上で作動するときに、上述した方法の1つを実行するためのプログラムコードを有するコンピュータプログラムである。
【0102】
本発明方法の他の実施形態は、上述した方法の1つを実行するために、その上に記録されたコンピュータプログラムを含む、データキャリア(又はデジタル記憶媒体、又はコンピュータ読み取り可能な媒体のような非一時的(non-transitory)記憶媒体)である。そのデータキャリア、デジタル記憶媒体、又は記憶媒体は、典型的には有形及び/又は非一時的である。
【0103】
本発明方法の他の実施形態は、上述した方法の1つを実行するためのコンピュータプログラムを表現するデータストリーム又は信号列である。そのデータストリーム又は信号列は、例えばインターネットのようなデータ通信接続を介して伝送されるよう構成されても良い。
【0104】
他の実施形態は、上述した方法の1つを実行するように構成又は適応された、例えばコンピュータ又はプログラム可能な論理デバイスのような処理手段を含む。
【0105】
他の実施形態は、上述した方法の1つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
【0106】
本発明に係るさらなる実施形態は、上述した方法の1つを実行するためのコンピュータプログラムを受信器へ(例えば電子的又は光学的に)伝送するよう構成された装置又はシステムを含む。受信器は、例えばコンピュータ、モバイル装置、メモリ装置等であってもよい。この装置又はシステムは、例えばコンピュータプログラムを受信器へと送信するためのファイルサーバをふくんでもよい。
【0107】
幾つかの実施形態においては、(例えばフィールドプログラマブル・ゲートアレイのような)プログラム可能な論理デバイスが、上述した方法の幾つか又は全ての機能を実行するために使用されても良い。幾つかの実施形態では、フィールドプログラマブル・ゲートアレイが、上述した方法の1つを実行するためにマイクロプロセッサと協働しても良い。一般的に、そのような方法は、好適には任意のハードウエア装置によって実行される。
【0108】
上述した実施形態は、本発明の原理を単に例示的に示したに過ぎない。本明細書に記載した構成及び詳細について修正及び変更が可能であることは、当業者にとって明らかである。従って、本発明は、添付した特許請求の範囲によってのみ限定されるべきであり、本明細書に実施形態の説明及び解説の目的で提示した具体的詳細によって限定されるものではない。
-備考-
[請求項1]
エラー隠し信号を生成する装置であって、
置き換えLPC表現を生成するためのLPC(線形予測符号化)表現生成部(100)と、
前記LPC表現からゲイン情報を計算するためのゲイン計算部(600)と、
前記ゲイン情報を使用して、前記置き換えLPC表現のゲイン影響を補償するための補償部(406、408)と、
前記置き換えLPC表現を使用して符号帳情報をフィルタリングし、前記エラー隠し信号を得るためのLPC合成部(106,108)と、を備え、
前記補償部(406、408、900)は前記符号帳情報又はLPC合成出力信号を重み付けするよう構成されている、装置。
[請求項2]
請求項1に記載の装置であって、
前記ゲイン計算部(600)は、
前記エラー隠しの開始前の最後の良好なLPC表現に関連する最後の良好なフレーム(700)のパワー情報と、
前記置き換えLPC情報(702)からのパワー情報と、
前記最後の良好なパワー情報(704)を使用したゲイン値と、を計算するよう構成され、
前記補償部(406、408、900)は前記ゲイン値を使用して補償するよう構成されている、装置。
[請求項3]
請求項2に記載の装置であって、
前記ゲイン計算部(600)は、前記LPC置き換え表現のインパルス応答(716)を計算し、かつ前記インパルス応答からrms値(718)を計算して、前記パワー情報を得るよう構成されている、装置。
[請求項4]
請求項1~3のいずれか1項に記載の装置であって、
前記ゲイン計算部(600)は、次式に基づいて前記ゲインを計算するよう構成され、
[数6]
[数7]
ここで、rms
newはLPC置き換え表現のrms値であり、tは時間変数であり、Tは3~8ms又はフレームサイズより低い所定時間値であり、imp_respは表現から導出されたインパルス応答であり、rms
oldは前記最後の良好なフレームから導出されたrms値である、装置。
[請求項5]
請求項1~4のいずれか1項に記載の装置であって、
適応型符号帳情報を提供するための適応型符号帳(102)と、
固定型符号帳情報を提供するための固定型符号帳(104)と、
前記適応型符号帳情報を重み付けするための適応型符号帳重み付け部(402)と、前記固定型符号帳情報を重み付けするための固定型符号帳重み付け部(404)と、をさらに含み、
前記補償部(406、408)は、前記適応型符号帳重み付け部(402)若しくは前記固定型符号帳重み付け部(404)の出力、又は前記適応型符号帳重み付け部及び前記固定型符号帳重み付け部の出力の合計を処理するよう構成されている、装置。
[請求項6]
請求項5に記載の装置であって、
前記適応型符号帳重み付け部(402)及び前記補償部(406)、又は前記固定型符号帳重み付け部(404)及び前記補償部(406)は、単一のマニピュレーション情報を使用して信号をマニピュレートするためのマニピュレータ(1004)によって構成され、前記単一のマニピュレーション情報は符号帳重み付け部情報と補償部情報とから導出される、装置。
[請求項7]
請求項5又は6に記載の装置であって、
前記符号帳重み付け部は、対応する最後の良好な受信された符号帳ゲインから導出された対応する置き換え符号帳ゲインを適用するよう構成されている、装置。
[請求項8]
請求項1~7のいずれか1項に記載の装置であって、
前記LPC表現生成部は、追加の置き換えLPC表現を生成するよう構成され、
前記LPC合成部は、前記追加の置き換えLPC表現を使用して追加の符号帳情報をフィルタリングするよう構成され、
前記装置は、LPC合成部出力を置き換えるための置き換え信号結合部(110)をさらに備える、装置。
[請求項9]
請求項8に記載の装置であって、
第1の符号帳情報を提供するための適応型符号帳(102)と、
第2の符号帳情報を提供するための固定型符号帳(104)と、をさらに含む装置。
[請求項10]
請求項9に記載の装置であって、
前記固定型符号帳(104)は、前記エラー隠しのためのノイズ信号(112)を提供するよう構成され、
前記適応型符号帳(102)は、適応型符号帳コンテンツ又は前の固定型符号帳コンテンツと結合された適応型符号帳コンテンツを提供するよう構成されている、装置。
[請求項11]
請求項10に記載の装置であって、
前記LPC表現生成部(100)は、1つ又は少なくとも2つのエラーのない先行するLPC表現を使用して、第1の置き換えLPC表現を生成するよう構成され、かつ
ノイズ推定及び少なくとも1つのエラーのない先行するLPC表現を使用して、第2の置き換えLPC表現を生成するよう構成された、装置。
[請求項12]
請求項11に記載の装置であって、
前記LPC表現生成部(100)は、少なくとも2つの最後の良好なフレームの平均値(130)と、前記平均値及び最後の良好なフレームの重み付き合計(136)とを使用して、前記第1の置き換えLPC表現を生成するよう構成され、前記重み付き合計の第1の重み付けファクタは連続的なエラーのある又は損失したフレームに亘って変化し、
前記LPC係数生成部は、最後の良好なフレーム(114)と前記ノイズ推定(140)との重み付き合計(146)だけを使用して、前記第2の置き換えLPC表現を生成するよう構成され、前記重み付き合計の第2の重み付けファクタは連続的なエラーのある又は損失したフレームに亘って変化する、装置。
[請求項13]
請求項11又は12に記載の装置であって、
1つ又はそれ以上の先行する良好なフレーム(208)から前記ノイズ推定を推定するためのノイズ推定部(206)をさらに備える、装置。
[請求項14]
エラー隠し信号を生成する方法であって、
置き換えLPC表現を生成するステップ(100)と、
前記LPC表現からゲイン情報を計算するステップ(600)と、
前記ゲイン情報を使用して、前記置き換えLPC表現のゲイン影響を補償するステップ(406、408)と、
前記置き換えLPC表現を使用して符号帳情報をフィルタリングし、前記エラー隠し信号を得るステップ(106,108)と、を備え、
前記補償するステップ(406、408、900)は前記符号帳情報又はLPC合成出力信号を重み付けするよう構成されている、方法。
[請求項15]
コンピュータ又はプロセッサ上で作動するとき、請求項14に記載の方法を実行するためのコンピュータプログラム。