【文献】
Christof FALLER, et al.,"Binaural Cue Coding - Part II: Schemes and Applications",IEEE Transactions on Speech and Audio Processing,2003年11月,Vol.11, No.6,pp.520-531
【文献】
Jeroen BREEBAART, et al.,"Parametric Coding of Stereo Audio",EURASIP Journal on Applied Signal Processing,2005年 6月,pp.1305-1322,URL,http://www.jeroenbreebaart.com/papers/jasp/jasp2005.pdf
(58)【調査した分野】(Int.Cl.,DB名)
前記2つのブロックの第1のブロックおよび第2のブロックの符号化は、符号化されるフレームが偶数インデックスを有するか、または、奇数インデックスを有するかに従って実施されることを特徴とする請求項4または5のいずれか1項に記載の方法。
回転角度パラメータおよび主成分とアンビエンス信号との間のエネルギー比を含む空間情報パラメータを取得するための主成分分析も含むことを特徴とする請求項1に記載の方法。
請求項1から7のいずれか1項に記載の符号化方法のステップを、前記ステップがプロセッサによって実行されたときに実施するためのコード命令を含むコンピュータプログラム。
請求項8から9のいずれか1項に記載の復号化方法のステップを、前記ステップがプロセッサによって実行されたときに実施するためのコード命令を含むコンピュータプログラム。
【背景技術】
【0002】
本発明による符号化および復号化は、オーディオ周波数信号(スピーチ、音楽、または同様なもの)などのデジタル信号の伝送および/または記憶に特に適する。
【0003】
より詳細には、本発明は、マルチチャネルオーディオ信号のパラメトリック符号化/復号化に関する。
【0004】
このタイプの符号化/復号化は、復号化時に、これらの空間特性が聴取者について再構成されるような、空間情報パラメータの抽出に基づく。
【0005】
このタイプのパラメトリック符号化は、特にステレオ信号のために適用される。こうした符号化/復号化技法は、たとえば、「Parametric Coding of Stereo Audio」(EURASIP Journal on Applied Signal Processing 2005:9,1305-1322)という名称のBreebaart,J.とvan de Par,SとKohlrausch,A.とSchuijersの文書に記載される。この例は、パラメトリックステレオコーダおよびデコーダをそれぞれ述べる
図1および
図2を参照して繰り返される。
【0006】
そのため、
図1は、2つのオーディオチャネル、すなわち、左チャネル(Lで示す)および右チャネル(Rで示す)を受信するコーダを述べる。
【0007】
チャネルL(n)およびR(n)は、短期間フーリエ解析を実施するブロック101、102、および103、104によってそれぞれ処理される。変換済み信号L[j]およびR[j]は、こうして取得される。
【0008】
ブロック105は、周波数領域において、左信号および右信号から和信号、この場合モノ信号を取得するために、チャネル低減マトリクス化または「ダウンミックス(downmix)」を実施する。
【0009】
空間情報パラメータの抽出もまた、ブロック105にて実施される。
【0010】
チャネル間強度差とも呼ばれるICLD(「チャネル間レベル差(InterChannel Level Difference)」)タイプのパラメータは、左チャネルと右チャネルとの間の各周波数副帯域についてエネルギー比を特徴付ける。
【0011】
それらのパラメータは、式
【0012】
【数1】
【0013】
によってdBで規定される。式中、L[j]およびR[j]は、チャネルLおよびRの(複素)スペクトル係数に対応し、値B[k]およびB[k+1]は、各周波数帯域kについて、スペクトルの副帯域への細分を規定し、シンボル
*は複素共役を示す。
【0014】
チャネル間位相差とも呼ばれるICPD(「チャネル間位相差(InterChannel Phase Difference)」)タイプのパラメータは、各周波数副帯域について、以下の関係
【0015】
【数2】
【0016】
に従って規定される。ここで、∠は、複素オペランドの引数(argument)(位相)を示す。ICPDと等価な方法で、チャネル間時間差(interchannel time difference)(ICTD)を規定することも可能である。
【0017】
チャネル間コヒーレンス(interchannel coherence)(ICC)パラメータはチャネル間相関を表す。
【0018】
これらのパラメータICLD、ICPD、およびICCは、ブロック105によってステレオ信号から抽出される。
【0019】
モノ信号は、短期間フーリエ合成(逆FFT、ウィンドウイング、およびオーバラップ加算(overlap-add)(OLA))後に時間領域(ブロック106〜108)に渡され、モノ符号化(ブロック109)が実施される。並列に、ステレオパラメータが、ブロック110にて量子化され符号化される。
【0020】
一般に、信号(L[j]、R[j])のスペクトルは、ERB(等価矩形帯域幅(Equivalent Rectangular Bandwidth))またはBarkタイプの非線形周波数スケールに従って分割され、いくつかの副帯域は通常20〜34の範囲にある。このスケールは、各副帯域kについてB[k]およびB[k+1]の値を規定する。パラメータ(ICLD、ICPD、ICC)は、スカラ量子化、おそらくはそれに続いてエントロピー符号化または差動符号化によって符号化される。たとえば、先に引用した論文では、ICLDは、差動符号化を用いる非一様量子化器(-50〜+50dBの範囲にある)によって符号化され、非一様量子化ステップは、ICLD値が大きくなればなるほど、このパラメータの変動に対する聴覚感度が低くなるということを利用する。
【0021】
デコーダ200では、モノ信号が復号化され(ブロック201)、復号化済みモノ信号の2つのバージョン
【0022】
【数3】
【0023】
および
【0024】
【数4】
【0025】
を生成するために、相関解除器が使用される(ブロック202)。周波数領域(ブロック203〜206)に渡されたこれらの2つの信号および復号化済みステレオパラメータ(ブロック207)は、ステレオ合成(ブロック208)によって使用されて、周波数領域内で左および右チャネルが再構成される。これらのチャネルは、最終的に、時間領域(ブロック209〜214)で再構成される。
【0026】
ステレオ信号符号化技法では、強度ステレオ符号化技法は、先に規定された、和チャネル(M)およびエネルギー比ICLDを符号化することにある。
【0027】
強度ステレオ符号化は、高周波成分の知覚が、主に信号の時間(エネルギー)包絡線にリンクすることを利用する。
【0028】
モノ信号の場合、「パルス符号変調(pulse-code modulation)」(PCM)符号化、または、「適応差動パルス符号変調(adaptive differential pulse-code modulation)」(ADPCM)と呼ばれるその適応型バージョンなどの、メモリを用いるかまたはメモリを用いない量子化技法も存在する。
【0029】
ここでより詳細には、符号が副帯域内で入れ子になるADPCM(適応差動パルス符号変調)符号化を使用するITU-T勧告G.722に、関心が絞られる。
【0030】
G.722タイプコーダの入力信号は、広帯域であり、16kHzのサンプリング周波数によって[50〜7000Hz]の最小帯域幅を有する。この信号は、直交ミラーフィルタ(quadrature mirror filter)(QMF)による信号の分解によって取得される2つの副帯域[0〜4000Hz]および[4000〜8000Hz]に分解され、その後、副帯域はそれぞれ、別々に、ADPCMコーダによって符号化される。
【0031】
低い帯域は、6、5、および4ビットの入れ子式符号を用いるADPCM符号化によって符号化され、一方、高い帯域は、2ビット/サンプルのADPCMコーダによって符号化される。総合ビットレートは、低い帯域の復号化に使用されるビット数に応じて64、56、または48ビット/sである。
【0032】
勧告G.722は、ISDN(統合サービスデジタル網)で最初に使用され、その後、HD(高品位)音声品質IPネットワーク上のエンハーンストテレフォニーアプリケーションで使用された。
【0033】
G.722規格による量子化信号フレームは、低い帯域(0〜4000Hz)において6、5、または4ビットで、また、高い帯域(4000〜8000Hz)において2ビットで符号化された量子化インデックスで構成される。スカラインデックスの送信周波数が、各副帯域において8kHzであるため、ビットレートは64、56、または48Kビット/sである。G.722規格では、8ビットが、次のように分配される。2ビットは高い帯域用、6ビットは低い帯域用である。低い帯域の最後のビットまたは最後の2ビットは、データによって「盗まれる(stolen)」または置換されうる。
【0034】
ITU-Tは、G.722勧告を2つの方法で拡張するG.722-SWB(たとえば文書:ITU文書:Annex Q10.J Terms of Reference (ToR) and time schedule for the super wideband extension to ITU-T G.722 and ITU-T G.711WB, January 2009, WD04_G722G711SWBToRr3.docに記載されるQ.10/16問題の文脈で)と呼ばれる標準化活動を最近始めた。2つの方法とは、
- 50〜7000Hz(広帯域)から50〜14000Hz(超広帯域、SWB)への音響帯域の拡張
- モノからステレオへの拡張
である。このステレオ拡張は、モノ符号化を広帯域にまたはモノ符号化を超広帯域に拡張できる。
【0035】
G.722-SWBの文脈では、G.722符号化は、短い5msフレームで働く。
【0036】
ここで、関心の焦点は、より詳細には広帯域G.722符号化のステレオ拡張にある。
【0037】
2つのG.722ステレオ拡張モードは、G.722-SWB標準化において試験される。2つのG.722ステレオ拡張モードとは、
- 全体で8Kビット/sまたは64Kビット/sのさらなるビットレートを有する56Kビット/s G.722ステレオ拡張
- 全体で16Kビット/sまたは80Kビット/sのさらなるビットレートを有する64Kビット/s G.722拡張
である。
【0038】
ICLDまたは他のパラメータによって表される空間情報は、符号化フレームが短くなるほど大きくなる(さらなるステレオ拡張)ビットレートを必要とする。
【0039】
例として、G.722-SWB標準化の文脈で、G.722(広帯域)ステレオ拡張が強度符号化技法によって実施される場合、以下のステレオ拡張ビットレートが取得される。
【0040】
5msフレームを有するG.722および20個の副帯域への広帯域スペクトル(0〜8000Hz)の分解によって符号化される和(モノ)信号の場合、5msごとに送信される20個のICLDパラメータが取得される。これらのICLDパラメータが、4ビット/副帯域のオーダーの(平均)ビットレートで符号化されることが仮定されうる。したがって、G.722ステレオ拡張ビットレートは、20×4ビット/5ms=16Kビット/sになる。そのため、20個の副帯域を有するICLDによるG.722ステレオ拡張は、16Kビット/sのオーダーのさらなるビットレートをもたらす。ここで、従来技術によれば、自分自身に関するICLD符号化は、一般に、良好なステレオ品質を達成するのに十分ではない。
【0041】
したがって、この例は、短い(5ms)フレームを有するG.722などのコーダのステレオ拡張を生成するときの困難さを示す。
【0042】
ICLD(他のパラメータを持たない)の直接符号化は、既にG.722拡張についての考えられる最大拡張ビットレートである約16Kビット/sのさらなる(ステレオ拡張)ビットレートを与える。
【発明の概要】
【発明が解決しようとする課題】
【0044】
したがって、符号化フレームが短いときに、許容可能な品質を持って、できる限り低いビットレートで効果的にステレオ信号、より詳細にはマルチチャネル信号を表現する必要性が存在する。
【0045】
本発明は、その状況を改善することを目的とする。
【課題を解決するための手段】
【0046】
そのため、本発明は、一実施形態では、マルチチャネルデジタルオーディオ信号用のパラメトリック符号化方法を提案し、方法は、マルチチャネル信号のチャネル低減マトリクス化からの信号を符号化する符号化ステップ(G.722 Cod)を含む。方法は、方法がまた、
- 所定の長さの各フレームについて、マルチチャネル信号の空間情報パラメータを取得するステップ(Obt.)と、
- 空間情報パラメータをパラメータの複数のブロックに分割するステップ(Div.)と、
- 現在のフレームのインデックス(index)の関数としてパラメータのブロックを選択するステップ(St.)と、
- 現在のフレームについて選択されたパラメータのブロックを符号化するステップ(Q)と
を含むようなものである。
【0047】
そのため、空間情報パラメータは、多数のフレームに関して符号化された多数のブロックに分割される。したがって、符号化ビットレートは、多数のフレームにわたって分配され、この情報の符号化は、したがって低ビットレートで行われる。
【0048】
以下で述べる種々の特定の実施形態は、先に規定された方法のステップにおいて、独立に、または、互いに組み合せて付加されうる。
【0049】
一実施形態では、空間情報パラメータは、
- 各フレームについてマルチチャネル信号のスペクトルを取得するための、マルチチャネル信号の周波数変換ステップ(Fen.、FFT)と、
- 複数の周波数副帯域へのマルチチャネル信号のスペクトルの、各フレームについての細分ステップ(D)と、
- 各周波数副帯域についての、空間情報パラメータの計算ステップとによって取得される。
【0050】
空間情報パラメータの分割ステップは、細分によって取得される周波数副帯域の関数として実施される。
【0051】
ブロックによるこの分配は、これらのパラメータの使用を最適化し、マルチチャネル信号の品質に及ぼす影響(impact)を最小にするために、規定された周波数副帯域に従って実施される。
【0052】
空間情報パラメータは、有利にはマルチチャネル信号のチャネル間のエネルギー比として規定される。
【0053】
これらのパラメータは、音源の方向を最良に規定し、したがって、たとえばステレオ信号について、復号時に再構成される左信号と右信号の特性を規定することを可能にする。
【0054】
特定の実施形態では、空間情報パラメータのブロックの符号化ステップは、非一様スカラ量子化によって実施される。
【0055】
この量子化は、符号化のマルチチャネル拡張に加えて、最小のビットレートを使用するようになっている。
【0056】
第1の実施形態では、パラメータの分割ステップは、2つのブロックを取得することを可能にし、第1のブロックは第1の周波数副帯域のパラメータに対応し、第2のブロックは、細分によって取得される最後の周波数副帯域のパラメータに対応する。
【0057】
別の特定の実施形態では、パラメータの分割ステップは、異なる周波数副帯域のパラメータをインタリーブする2つのブロックを取得することを可能にする。
【0058】
したがって、パラメータのこの分配は、単純でかつ効果的に実施される。2つの連続ブロックにわたるパラメータの分配は、従来の差動符号化を可能にするという利点を付加する。
【0059】
有利には、第1のブロックおよび第2のブロックの符号化は、符号化されるフレームが偶数インデックスを有するか、または、奇数インデックスを有するかに従って実施される。
【0060】
そのため、パラメータは、短い間隔でリフレッシュされ、復号化時のさらなる知覚劣化が存在しないことを意味する。
【0061】
別の実施形態では、方法はまた、回転角度パラメータおよび主成分とアンビエンス信号との間のエネルギー比を含む空間情報パラメータを取得するための主成分分析ステップも含む。
【0062】
空間情報パラメータを取得するこの特定の方法は、マルチチャネル信号の異なるチャネル間に存在する相関を考慮することも可能にする。
【0063】
本発明はまた、マルチチャネルデジタルオーディオ信号用のパラメトリック復号化方法に適用され、方法は、マルチチャネル信号のチャネル低減マトリクス化からの信号を復号化する復号化ステップ(G.722 Dec)を含む。方法は、方法がまた、
- 復号化済み信号の所定の長さの現在のフレームについて受信された空間情報パラメータを復号化するステップと、
- 現在のフレームについて復号化済みパラメータを記憶するステップと、
- 少なくとも1つの先行するフレームの復号化済みかつ記憶済みパラメータを取得し、これらのパラメータを現在のフレームについて復号化されたパラメータに関連付けるステップと、
- 復号化済み信号および現在のフレームについて取得されたパラメータの関連付けからマルチチャネル信号を再構成するステップと
を含むようなものである。
【0064】
そのため、復号化時に、空間情報パラメータは、多数の連続するフレームに関して受信され、さらなる過剰のビットレートなしで連続して復号化される。
【0065】
これらの空間パラメータを取得することは、マルチチャネル信号の良好な品質の再構成を取得することを可能にする。
【0066】
符号化方法と同様に、先行するフレームの復号化済みかつ記憶済みパラメータは、復号化周波数帯域の第1の周波数副帯域のパラメータに対応し、現在のフレームの復号化済みパラメータは、細分によって取得された最後の周波数副帯域のパラメータに対応する、または、逆もまた同じである。
【0067】
本発明はまた、マルチチャネル信号のチャネル低減マトリクス化から取得される信号を符号化する符号化モジュール(304)を備える、符号化方法を実施するコーダに関しており、コーダは、コーダがまた、
- 所定の長さの各フレームについて、マルチチャネル信号の空間情報パラメータを取得するモジュールと、
- 空間情報パラメータをパラメータの複数のブロックに分割するモジュールと、
- 現在のフレームのインデックスの関数としてパラメータのブロックを選択するモジュールと、
- 現在のフレームについて選択されたパラメータのブロックを符号化する符号化モジュールと
を備えるようなものである。
【0068】
本発明はまた、マルチチャネル信号のチャネル低減マトリクス化から取得される信号を復号化する復号化モジュールを備える、復号化方法を実施するデコーダに関する。デコーダはまた、
- 復号化済み信号の所定の長さの現在のフレームについて受信された空間情報パラメータを復号化する復号化モジュールと、
- 現在のフレームについてパラメータを記憶する記憶空間と、
- 少なくとも1つの先行するフレームの復号化済みかつ記憶済みパラメータを取得し、これらのパラメータを現在のフレームについて復号化されたパラメータに関連付けるモジュールと、
- 復号化済み信号および現在のフレームについて取得されたパラメータの関連付けからマルチチャネル信号を再構成する再構成モジュールと
を備える。
【0069】
本発明はまた、述べた符号化方法のステップを、ステップがプロセッサによって実行されたときに実施するためのコード命令を含むコンピュータプログラム、および、述べた復号化方法のステップを、ステップがプロセッサによって実行されたときに実施するためのコード命令を含むコンピュータプログラムに関する。
【0070】
本発明は、最終的に、述べたコンピュータプログラムを記憶するプロセッサ可読記憶手段に関する。
【0071】
本発明の他の特徴および利点は、非制限的な例として単に与えられ、また、添付図面を参照して与えられる以下の説明を読むことによってより明らかになる。
【発明を実施するための形態】
【0073】
図3を参照して、第1の実施形態による符号化方法を実施するステレオ信号コーダの第1の実施形態が、ここで述べられる。
【0074】
このパラメトリックステレオコーダは、5msフレームに関し16kHzでサンプリングされるステレオ信号を有する広帯域モードで働く。各チャネル(LおよびR)は、ハイパスフィルタ(HPF)によって最初にプレフィルタリングされ、50Hzより低い成分をなくす(ブロック301および302)。次に、モノ信号(M)は、ブロック303によって計算され、その例示的な実施形態は、
M(n)=1/2(L'(n)+R'(n))
で与えられる。
【0075】
この信号は、たとえばITU-T勧告G.722,7kHz audio-coding within 64Kビット/s, Nov.1988に述べるG.722タイプのコーダによって符号化される(ブロック304)。
【0076】
G.722タイプ符号化に導入される遅延は、16kHzの22サンプルである。LおよびRチャネルは、T=22サンプルの遅延で時間的に整列し(ブロック305および308)、たとえばここでの例では50%であるオーバラップを有する正弦波ウィンドウイングを用いる離散フーリエ変換による変換によって周波数が解析される(ブロック306、307、および309、310)。そのため各ウィンドウは2つの5msまたは10msフレーム(160サンプル)をカバーする。
【0077】
フレームへの信号の分割は、
図5を参照して規定される。この図は、10msの解析ウィンドウ(実線)がインデックスtの現在のフレームおよびインデックスt+1の将来のフレームをカバーすること、および、50%のオーバラップが、現在のフレームのウィンドウと先行するフレームのウィンドウ(波線)との間で使用されることを示す。
【0078】
したがって、将来のフレームは、コーダに関して5msのさらなるアルゴリズム的遅延を誘起する。
【0079】
フレームtについて、
図3のブロック307および310の出力において、取得されるスペクトルL[t,j]およびR[t,j](j=0…79)は、100Hz/周波数レイの分解能を有する80個の複素サンプルを含む。
【0080】
空間情報パラメータ抽出ブロック311がここで述べられる。
【0081】
これは、周波数領域における処理の場合、スペクトルL[t,j]およびR[t,j]を、所定の数の周波数副帯域に、たとえばここでは、以下で規定するスケールに従って20個の副帯域に細分する第1のモジュール313を備える。
{B(k)}
k=0,…,20=[0,1,2,3,4,5,6,7,9,11,13,16,19,23,27,31,37,44,52,61,80]
【0082】
このスケールは、インデックスk=0〜19の周波数副帯域の境界を(いくつかのフーリエ係数として)定める(delimit)。たとえば、第1の副帯域(k=0)は、係数B(k)=0〜B(k+1)-1=0に及び、したがって、単一係数(100Hz)に帰する。
【0083】
同様に、最後の副帯域(k=19)は、係数B(k)=61〜B(k+1)-1=79に及び、19個の係数(1900Hz)を含む。
【0084】
モジュール314は、ステレオ信号の空間情報パラメータを取得する手段を備える。
【0085】
たとえば、取得されるパラメータは、チャネル間強度差パラメータ、ICLDである。
【0086】
インデックスtの各フレームについて、副帯域k=0,…,19のICLDは、式
【0092】
は、それぞれ、左チャネル(L)のエネルギーおよび右チャネル(R)のエネルギーを表す。
【0093】
特定の実施形態では、これらのエネルギーは、
【0096】
この式は、10ms(2つの連続するウィンドウの有効時間サポートが計数される場合15ms)の時間サポートに対応する2つの連続するフレームのエネルギーを結合することになる。
【0097】
したがって、モジュール314は、一連の以前に規定されたICLDパラメータを生成する。
【0098】
これらのICLDパラメータは、分割モジュール315において、いくつかのブロックに分割される。ここで示す実施形態では、パラメータは、以下の2つの部分{ICLD[t,k]}
k=0,…,9および{ICLD[t,k]}
k=10,…,19に従って2つのブロックに分割される。
【0099】
連続ブロックへのICLDパラメータの分割は、スカラ量子化インデックスの差動符号化を実施することを可能にする。
【0100】
モジュール316は、その後、符号化される現在のフレームのインデックスに従って、符号化されるブロックの選択(St.)を実施する。
【0101】
ここで述べる例では、偶数インデックスのフレームtについて、ブロック{ICLD[t,k]}
k=0,…,9が、312にて符号化され、送信され、奇数インデックスのフレームtについて、ブロック{ICLD[t,k]}
k=10,…,19が、312にて符号化され、送信される。
【0102】
312におけるこれらのブロックの符号化は、たとえば非一様スカラ量子化によって実施される。
【0103】
そのため、10個のICLDのブロックの符号化は、
・第1のICLDパラメータについて5ビット、
・次の8個のICLDパラメータについて4ビット、
・最後の(10番目の)ICLDパラメータについて3ビット
を用いて生成される。
【0104】
より詳細な例示的な実施形態は、たとえば、次の通りである。
量子化テーブル
tab_ild_q5[31]={-50,-45,-40,-35,-30,-25,-22,-19,-16,-13,-10,-8,-6,-4,-2,0,2,4,6,8,10,13,16,19,22,25,30,35,40,45,50}
について、ICLD[t,k]の5ビット量子化は、
i=arg minj=0…30|ICLD[t,k]-tab_ild_q5[j]|
∧2
であるような量子化インデックスiを見出すことにある。同様に、量子化テーブル
tab_ild_q4[15]={-16,-13,-10,-8,-6,-4,-2,0,2,4,6,8,10,13,16}
について、ICLD[t,k]の4ビット量子化は、
i=arg minj=0…14|ICLD[t,k]-tab_ild_q4[j]|
∧2
であるような量子化インデックスiを見出すことにある。最後に、量子化テーブル
tab_ild_q3[7]={-16,-8,-4,0,4,8,16}
について、ICLD[t,k]の3ビット量子化は、
i=arg minj=0…6|ICLD[t,k]-tab_ild_q3[j]|
∧2
であるような量子化インデックスiを見出すことにある。
【0105】
したがって、全部で、5+8×4+3=40ビットが、10個のICLDのブロックを符号化するために必要とされる。フレームが5msであるため、40ビット/5ms=8Kビット/sが、したがってステレオ符号化拡張のためのさらなるビットレートとして取得される。
【0106】
したがって、このビットレートは、大き過ぎず、ステレオパラメータを効果的に送信するのに十分である。
【0107】
この例示的な実施形態では、マルチチャネル信号の空間情報パラメータを取得するために2つの連続するフレームで十分であり、2つのフレームの長さは、大抵、50%オーバラップを有する周波数変換用の解析ウィンドウの長さである。
【0108】
変形では、導入される遅延を低減するために、より短いオーバラップウィンドウが使用されうる。
【0109】
そのため、
図3を参照して述べるコーダは、マルチチャネルデジタルオーディオ信号用のパラメトリック符号化方法を実施し、方法は、マルチチャネル信号のチャネル低減マトリクス化から取得される信号を符号化する符号化ステップ(G.722 Cod)を含む。方法はまた、
- 所定の長さの各フレームについて、マルチチャネル信号の空間情報パラメータを取得するステップ(Obt.)と、
- 空間情報パラメータをパラメータの複数のブロックに分割するステップ(Div.)と、
- 現在のフレームのインデックスに従ってパラメータのブロックを選択するステップ(St.)と、
- 現在のフレームについて選択されたパラメータのブロックを符号化するステップ(Q)と
を含む。
【0110】
上述した実施形態は、16kHzのサンプリング周波数および副帯域への特定の細分によって動作する広帯域コーダの文脈に関する。
【0111】
考えられる別の実施形態では、コーダは、(32kHzなどの)他の周波数および副帯域への異なる細分で働くことができる。
【0112】
パラメータICLD[t,k](k=0)が無視されうることを利用することも可能である。その計算、したがってその符号化が回避されうる。この場合、ICLDパラメータの符号化は、
- 偶数インデックスtのフレームの場合、
・第1のパラメータICLD[t,k](k=1)について5ビット、
・次の8個のICLDパラメータについて4ビット
を用いる非一様スカラ量子化による、9個のパラメータ{ICLD[t,k]}
k=1,…,9のブロックの符号化になり、
- 奇数インデックスtのフレームの場合、
・第1のICLDパラメータについて5ビット、
・次の8個のICLDパラメータについて4ビット、
・最後の(10番目の)ICLDパラメータについて3ビット
を用いて先に述べたように、10個のパラメータ{ICLD[t,k]}
k=10,…,19のブロックの符号化になる。
【0113】
そのため、この実施形態では、37ビットが、偶数インデックスtのフレームのために使用され、40ビットが、奇数インデックスtのフレームのために使用される。
【0114】
同様に、変形実施形態では、ICLDパラメータを連続ブロックに分割する代わりに、これらのパラメータは、たとえば2つの部分{ICLD[t,2k]}
k=0,…,9および{ICLD[t,2k+1]}
k=0,…,9を取得するためにインタリーブすることによって、異なるように分割されうる。
【0115】
こうして述べられる符号化方法は、パラメータが3つ以上のブロックに分割される場合に容易に一般化されることが留意されるべきである。変形実施形態では、20個のICLDパラメータが、4つのブロック、すなわち、
{ICLD[t,k]}
k=0,…,4、{ICLD[t,k]}
k=5,…,9、{ICLD[t,k]}
k=10,…,14、および{ICLD[t,k]}
k=15,…,19
に分割される。
【0116】
ICLDパラメータの符号化は、その後、復号化時に先行するフレームにおいて復号化されたパラメータを記憶した状態で、4つの連続するフレームにわたって分配される。ICLDパラメータの計算は、その後、エネルギー
【0120】
の計算に3つ以上のフレームを含むように修正されなければならない。
【0121】
この変形実施形態では、ICLDパラメータの符号化は、その後、以下の割り当て、すなわち、1フレーム当たり全部で21ビットに関して
・第1のICLDパラメータについて5ビット、
・次の4個のICLDパラメータについて4ビット
を使用できる。したがって、ビットレートは、先の実施形態よりさらに低くなり、相応して、ICLDパラメータが、10msごとではなく20msごとに少なくとも1つのブロックにおいて再び更新されることになる。しかし、一部のステレオパラメータについて、また、信号のタイプに応じて、この変形は、可聴空間化欠陥(audible spatialization defects)をもたらす。
【0122】
しかし、フレームのレートより低いレートでステレオまたは空間パラメータを送信することの利益は依然として大きい。そのため、チャネル間エネルギー変動の不完全な聴覚が利用される。
【0123】
最後に、こうして述べられた符号化方法は、ICLDパラメータ以外のパラメータの符号化に適用される。たとえば、コヒーレンスパラメータ(ICC)が、ICLDと同様な方法で選択的に、計算され送信されうる。
【0124】
2つのパラメータはまた、先に述べた符号化方法に従って、計算され符号化されうる。
【0125】
図4は、本発明の実施形態のデコーダおよびデコーダが実施する復号化方法を示す。
【0126】
G.722コーダから受信されるビットレートスケーラブルであるビット列は、56または64Kビット/sモードでG.722タイプのデコーダによって逆多重化され復号化される(ブロック401)。取得される合成信号は、送信エラーが存在しない状態のモノ信号
【0129】
コーダと同じウィンドウイングを用いる短期間離散フーリエ変換による解析は、スペクトル
【0133】
(ブロック402および403)に関して実施される。
【0134】
ステレオ拡張に関連するビット列の部分もまた、ブロック404にて逆多重化される。
【0135】
合成ブロック405の動作がここで述べられる。
【0136】
偶数インデックスのフレームtについて、第1のブロックのパラメータ{ICLD
q[t,k]}
k=0,…,9が、モジュール404にて復号化され、これらの復号化済みパラメータが、モジュール412に記憶される。奇数インデックスのフレームtについて、第2のブロックのパラメータ{ICLD
q[t,k]}
k=10,…,19が、モジュール404にて復号化され、これらの復号化済みパラメータが、モジュール412に記憶される。
【0137】
より詳細な例示的な実施形態は、たとえば次の通りである。
量子化テーブル
tab_ild_q5[31]={-50,-45,-40,-35,-30,-25,-22,-19,-16,-13,-10,-8,-6,-4,-2,0,2,4,6,8,10,13,16,19,22,25,30,35,40,45,50}
について、5ビットからのインデックスiの復号化は、
ICLD
q[t,k]=tab_ild_q5(i)
としてパラメータICLD
q[t,k]を合成することにある。同様に、量子化テーブル
tab_ild_q4[15]={-16,-13,-10,-8,-6,-4,-2,0,2,4,6,8,10,13,16}
について、4ビットからのインデックスiの復号化は、
ICLD
q[t,k]=tab_ild_q4(i)
としてパラメータICLD
q[t,k]を合成することにある。最後に、量子化テーブル
tab_ild_q3[7]={-16,-8,-4,0,4,8,16}
について、3ビットからのインデックスiの復号化は、
ICLD
q[t,k]=tab_ild_q3(i)
としてパラメータICLD
q[t,k]を合成することにある。
【0138】
偶数インデックスのフレームでは、先行するフレームにおいて記憶された値{ICLD
q[t-1,k]}
k=10,…,19、換言すれば、ICLD
q[t,k]=ICLD
q[t-1,k](k=10…19)が、その後、パラメータの抜けている部分のためにモジュール413で使用される。同様に、奇数インデックスのフレームでは、先行するフレームにおいて記憶された値{ICLD
q[t-1,k]}
k=0,…,9が、抜けている部分のために使用される。
【0139】
周波数帯域のそれぞれについてのパラメータは、こうして取得される。
【0140】
左および右チャネルのスペクトルは、こうして復号化されたパラメータ{ICLD
q[t-1,k]}
k=0,…,19を各副帯域について適用することによって、合成モジュール414によって再構成される。この合成は、たとえば、次の通りに実施される。
【0144】
であり、したがって、
c[t,k]=10
ICLD[t,k]/20
である。
【0145】
スケールファクタの上記計算は、例として与えられることが留意されるべきである。本発明のために実施されうるスケールファクタを表現する他の方法が存在する。
【0154】
の逆離散フーリエ変換(ブロック406および409)および正弦波ウィンドウイング(ブロック407および410)を用いる加算-オーバラップ(ブロック408および411)によって再構成される。
【0155】
そのため、
図4を参照して述べるデコーダ、特に、ステレオ信号復号化実施形態は、マルチチャネルデジタルオーディオ信号用のパラメトリック復号化方法を実施し、方法は、マルチチャネル信号のチャネル低減マトリクス化から取得される信号を復号化する復号化ステップ(G.722 Dec)を含む。方法はまた、
- 復号化済み信号の所定の長さの現在のフレームについて受信された空間情報パラメータを復号化するステップ(Q
-1)と、
- 現在のフレームについて復号化済みパラメータを記憶するステップ(Mem)と、
- 少なくとも1つの先行するフレームについて復号化されかつ記憶されたパラメータを取得し、これらのパラメータを現在のフレームについて復号化されたパラメータに関連付けるステップ(Comp. P)と、
- 復号化済み信号および現在のフレームについて取得されたパラメータの関連付けからマルチチャネル信号を再構成するステップ(Synth.)と
を含む。
【0156】
先に述べた変形実施形態の場合と同様に、空間情報パラメータの3つ以上のブロックへの、たとえば4つのブロックへの分割の場合、復号化済みパラメータの全てのブロックは、4つの復号化済みフレームについて取得される。
【0157】
したがって、ステレオ拡張のビットレートは低減され、これらのパラメータを取得することは、良好な品質のステレオ信号を再構成することを可能にする。
【0158】
パラメータ(ICLD、ICPD、ICC)の符号化に対する代替の技法は、本発明による符号化方法を実施するために採用されうることも留意されうる。
【0159】
そのため、変形実施形態では、
図3のパラメータ抽出ブロックのモジュール314は異なる。
【0160】
この実施形態のこのモジュールは、1991年のDAFX会議で公表された「Parametric coding of stereo audio based on principal component analysis」という名称のManuel Briand, David ViretteおよびNadine Martinによる論文に記載されるような主成分分析(PCA)を適用することによって、他のステレオパラメータを取得することを可能にする。
【0161】
そのため、主成分分析は、各副帯域について実施される。こうして解析される左および右チャネルは、その後、主成分およびアンビエンスと見なされる2次成分を取得するために、回転によって修正される。ステレオ分析は、各副帯域について、回転角度(θ)パラメータおよび主成分とアンビエンス信号との間のエネルギー比(主成分とアンビエンスのエネルギー比を表すPCAR)を生成する。
【0162】
そして、ステレオパラメータは、回転角度パラメータおよびエネルギー比(θおよびPCAR)からなる。
【0163】
図6は、本発明によるコーダの別の実施形態を示す。
【0164】
図3のコーダと比較して、ここでは、異なるのはマトリクス化または「ダウンミックス(downmix)」ブロック303である。
図3の例では、「ダウンミックス」動作は、瞬時であり、複雑さが最小であるという利点を有する。
【0165】
しかし、この動作は、必ずしもエネルギーの保存を可能にしない。この「ダウンミックス」動作の向上は、たとえば形態M(n)=w
1L(n)+w
2R(n)および適応的重みw
1およびw
2の計算によって時間領域で、またはさらに、
図6を参照してここで表現される周波数領域で可能である。
【0166】
「ダウンミックス」動作は、ここで、周波数領域への移行のために、ブロック603a、603b、603c、および603dからなる。
【0167】
モノ信号の計算は、「ダウンミックス」ブロック603eで実施され、信号は、周波数領域で、式
【0169】
によって計算される。式中、|.|は振幅(複素モジュール)を表し、∠(.)は位相(複素引数)を表す。
【0170】
ブロック603f、603g、および603hは、
図3に示すコーダについてブロック304によって符号化されるためにモノ信号を時間領域に持ち込むために使用される。
【0171】
T'=80+Tサンプルのオフセットまたは80+80+22=182サンプルのオフセットが、その後、取得される。
【0172】
このオフセットは、左/右チャネルの時間フレームと復号化済みモノ信号の時間フレームを同期させることを可能にする。
【0173】
本発明は、ここでG.722コーダ/デコーダの場合に述べられた。本発明は、改良型G.722コーダ、たとえばノイズ低減(「ノイズフィードバック(noise feedback)」)メカニズムを含むかまたは補助情報を有するスケーラブルG.722を含むコーダの場合に適用されうる。本発明はまた、G.722タイプのモノコーダ以外のモノコーダ、たとえばG.711.1タイプのコーダの場合に適用されうる。後者の場合、遅延Tが、G.711.1コーダの遅延を考慮するために調整されなければならない。
【0174】
同様に、
図3を参照して述べる実施形態の時間-周波数分析は、異なる変形、すなわち、
- 正弦波ウィンドウイングが使用されうる以外のウィンドウイング、
- 連続するウィンドウ間の50%が使用されうる以外のオーバラップ、
- フーリエ変換、たとえば変形離散コサイン変換(MDCT)が使用されうる以外の周波数変換
に従って置換されうる。
【0175】
先に述べた実施形態は、ステレオ信号タイプのマルチチャネル信号の場合を扱うが、本発明の実施態様はまた、モノまたはさらにステレオ「ダウンミックス」からのマルチチャネル信号(3つ以上のオーディオ信号を有する)の符号化のより一般的な場合に拡張される。
【0176】
この場合、空間情報の符号化は、空間情報パラメータの符号化および送信を含む。たとえば、左(L)チャネル、右(R)チャネル、中央(C)チャネル、左後(左サラウンド用のLs)チャネル、右後(右サラウンド用のRs)チャネル、およびサブウーハ(低周波効果用のLFE)チャネルを備える5.1チャネルを有する信号の場合がそうである。マルチチャネル信号の空間情報パラメータは、その後、異なるチャネル間の差またはコヒーレンスを考慮する。
【0177】
図3、4、および6を参照して述べたコーダおよびデコーダは、セットトップボックス、コンピュータのようなマルチメディア機器、あるいはさらに移動体電話または携帯情報端末などの通信機器に組み込まれうる。
【0178】
図7aは、こうしたマルチメディア機器または本発明によるコーダを備える符号化デバイスの例を示す。このデバイスは、記憶および/または作業メモリMEMを備えるメモリブロックBMを協働するプロセッサPROCを備える。
【0179】
メモリブロックは、有利には、コンピュータプログラムを含み、コンピュータプログラムは、コード命令であって、コード命令がプロセッサPROCによって実行されたときに、本発明の要旨内の符号化方法のステップ、特に、
- 所定の長さの各フレームについて、マルチチャネル信号の空間情報パラメータを取得するステップ、
- 空間情報パラメータをパラメータの複数のブロックに分割するステップ、
- 現在のフレームのインデックスに従ってパラメータのブロックを選択するステップ、
- 現在のフレームについて選択されたパラメータのブロックを符号化するステップ
を実施するためのコード命令を含む。
【0180】
通常、
図3の説明は、こうしたコンピュータプログラムのアルゴリズムのステップを含む。コンピュータプログラムはまた、デバイスの読取り手によって読み取られうるか、または、機器のメモリ空間にダウンロードされうる可読媒体上に記憶されてもよい。
【0181】
デバイスは、通信ネットワークを介して、または、記憶媒体上に記憶されたコンテンツを読み取ることによって音シーンを表すマルチチャネル信号S
mを受信することが可能な入力モジュールを備える。このマルチメディア機器はまた、こうしたマルチチャネル信号を取り込む手段を備える。
【0182】
デバイスは、マルチチャネル信号の符号化から取得された、符号化済み空間情報パラメータP
cおよび和信号S
Sを送信することが可能な出力モジュールを備える。
【0183】
同様に、
図7bは、マルチメディア機器または本発明によるデコーダを備える復号化デバイスの例を示す。
【0184】
このデバイスは、記憶および/または作業メモリMEMを備えるメモリブロックBMを協働するプロセッサPROCを備える。
【0185】
メモリブロックは、有利には、コンピュータプログラムを含み、コンピュータプログラムは、コード命令であって、コード命令がプロセッサPROCによって実行されたときに、本発明の要旨内の符号化方法のステップ、特に、
- 復号化済み信号の所定の長さの現在のフレームについて受信された空間情報パラメータを復号化するステップ、
- 現在のフレームについて復号化されたパラメータを記憶するステップ、
- 少なくとも1つの先行するフレームについて復号化されかつ記憶されたパラメータを取得し、これらのパラメータを現在のフレームについて復号化されたパラメータに関連付けるステップ、
- 復号化済み信号および現在のフレームについて取得されたパラメータの関連付けからマルチチャネル信号を再構成するステップ
を実施するためのコード命令を含む。
【0186】
通常、
図4の説明は、こうしたコンピュータプログラムのアルゴリズムのステップを繰り返す。コンピュータプログラムはまた、デバイスの読取り手によって読み取られうるか、または、機器のメモリ空間にダウンロードされうるメモリ媒体上に記憶されてもよい。
【0187】
デバイスは、たとえば、通信ネットワークから生じる、符号化済み空間情報パラメータP
cおよび和信号S
Sを受信することが可能な入力モジュールを備える。これらの入力信号は、記憶媒体を読み取ることから生じる可能性がある。
【0188】
デバイスは、機器によって実施される復号化方法によって復号化されたマルチチャネル信号を送信することが可能な出力モジュールを備える。
【0189】
このマルチメディア機器はまた、ラウドスピーカタイプの再生手段、または、このマルチチャネル信号を送信することが可能な通信手段を備えてもよい。
【0190】
明らかに、こうしたマルチメディア機器は、本発明によるコーダおよびデコーダの両方を備えることができる。そして、入力信号はオリジナルのマルチチャネル信号であり、出力信号は復号化済みマルチチャネル信号であることになる。