特許 6063555 マルチチャネルオーディオエンコーダ及びマルチチャネルオーディオ信号を符号化する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6063555

(24)【登録日】2016年12月22日

(45)【発行日】2017年1月18日

(54)【発明の名称】マルチチャネルオーディオエンコーダ及びマルチチャネルオーディオ信号を符号化する方法

(51)【国際特許分類】

   G10L 19/008 20130101AFI20170106BHJP

【ＦＩ】

   G10L19/008 100

【請求項の数】15

【全頁数】28

(21)【出願番号】特願2015-503765(P2015-503765)

(86)(22)【出願日】2012年4月5日

(65)【公表番号】特表2015-514234(P2015-514234A)

(43)【公表日】2015年5月18日

(86)【国際出願番号】EP2012056321

(87)【国際公開番号】WO2013149671

(87)【国際公開日】20131010

【審査請求日】2014年10月8日

(73)【特許権者】

【識別番号】503433420

【氏名又は名称】華為技術有限公司

【氏名又は名称原語表記】ＨＵＡＷＥＩ ＴＥＣＨＮＯＬＯＧＩＥＳ ＣＯ．，ＬＴＤ．

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】ヴィレット，ダヴィド

(72)【発明者】

【氏名】ラン，ユエ

(72)【発明者】

【氏名】シュイ，ジエンフォン

【審査官】 安田 勇太

(56)【参考文献】

【文献】 特表２００８−５２２５５１（ＪＰ，Ａ）

【文献】 特表２００８−５１１８４９（ＪＰ，Ａ）

【文献】 特開２０１１−０１３５６０（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１３／０００３９８０（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｌ １９／００ −１９／２６

(57)【特許請求の範囲】

【請求項1】

マルチチャネルオーディオ信号の複数のオーディオチャネル信号のうちのオーディオチャネル信号の符号化パラメータを決定するエンコーダの作動方法であって、各オーディオチャネル信号は、オーディオチャネル信号値を有し、前記方法は、
前記オーディオチャネル信号の前記オーディオチャネル信号値の周波数変換を決定するステップと、
参照オーディオ信号の参照オーディオ信号値の周波数変換を決定するステップであって、前記参照オーディオ信号は、前記複数のオーディオチャネル信号のうちの別のオーディオチャネル信号又は前記複数のオーディオチャネル信号のうちの少なくとも２つのオーディオチャネル信号から引き出されるダウンミックスオーディオ信号である、ステップと、
周波数サブ帯域のサブセットの中の少なくとも各周波数サブ帯域についてチャネル間差を決定するステップであって、各チャネル間差は、前記チャネル間差の関連する個々の周波数サブ帯域において前記オーディオチャネル信号の帯域の限られた信号部分と前記参照オーディオ信号の帯域の限られた信号部分との間の位相差又は時間差を示す、ステップと、
前記チャネル間差の正の値に基づき第１の平均を決定し、及び前記チャネル間差の負の値に基づき第２の平均を決定するステップと、
前記第１の平均及び前記第２の平均のうちの一方を前記符号化パラメータとして選択することにより前記符号化パラメータを決定するステップと、
を有する方法。

【請求項2】

前記チャネル間差は、チャネル間位相差又はチャネル間時間差である、請求項１に記載の方法。

【請求項3】

前記チャネル間差の正の値に基づき第１の標準偏差を決定し、及び前記チャネル間差の負の値に基づき第２の標準偏差を決定するステップと、
を更に有し、
前記符号化パラメータを決定するステップは、前記第１の標準偏差及び前記第２の標準偏差に基づく、
請求項１又は２に記載の方法。

【請求項4】

前記周波数サブ帯域は、１又は複数の周波数ビンを有する、請求項１乃至３のいずれか一項に記載の方法。

【請求項5】

周波数サブ帯域のサブセットの中の少なくとも各周波数サブ帯域についてチャネル間差を決定する前記ステップは、
前記オーディオチャネル信号値の前記周波数変換及び前記参照オーディオ信号値の前記周波数変換から相互関係として相互スペクトルを決定するステップと、
前記相互スペクトルに基づき、各周波数サブ帯域のチャネル間位相差を決定するステップと、
を有する、請求項１乃至４のいずれか一項に記載の方法。

【請求項6】

周波数ビンの又は周波数サブ帯域の前記チャネル間位相差は、前記相互スペクトルの角度として決定される、請求項５に記載の方法。

【請求項7】

前記チャネル間位相差に基づきチャネル間時間差を決定するステップ、
を更に有し、
前記第１の平均を決定するステップは、前記チャネル間時間差の正の値に基づき、前記第２の平均を決定するステップは、前記チャネル間時間差の負の値に基づく、
請求項５又は６に記載の方法。

【請求項8】

周波数サブ帯域の前記チャネル間時間差は、前記チャネル間位相差の関数として決定され、前記関数は、周波数ビンの数、及び前記周波数ビン又は周波数サブ帯域インデックスに依存する、請求項７に記載の方法。

【請求項9】

前記符号化パラメータを決定するステップは、
周波数サブ帯域の前記サブセットに含まれる周波数サブ帯域の数に渡り、正のチャネル間時間差の第１の数及び負のチャネル間時間差の第２の数を計数するステップ、
を有する、請求項７又は８に記載の方法。

【請求項10】

前記符号化パラメータは、正のチャネル間時間差の前記第１の数と負のチャネル間時間差の前記第２の数との間の比較に基づき決定される、請求項９に記載の方法。

【請求項11】

前記符号化パラメータは、前記第１の標準偏差と前記第２の標準偏差との間の比較に基づき決定される、請求項３に記載の方法。

【請求項12】

前記符号化パラメータは、正のチャネル間時間差の前記第１の数と第１の係数を乗算された負のチャネル間時間差の前記第２の数との間の比較に基づき決定される、請求項９又は１０に記載の方法。

【請求項13】

前記符号化パラメータは、前記第１の標準偏差と第２の係数を乗算された前記第２の標準偏差との間の比較に基づき決定される、請求項１１に記載の方法。

【請求項14】

マルチチャネルオーディオ信号の複数のオーディオチャネル信号のうちの１つのオーディオチャネル信号の符号化パラメータを決定するマルチチャネルオーディオエンコーダであって、各オーディオチャネル信号は、オーディオチャネル信号値を有し、前記マルチチャネルオーディオエンコーダは、
前記オーディオチャネル信号の前記オーディオチャネル信号値の周波数変換を決定し、及び参照オーディオ信号の参照オーディオ信号値の周波数変換を決定する周波数変換器であって、前記参照オーディオ信号は、前記複数のオーディオチャネル信号のうちの別のオーディオチャネル信号又は前記複数のオーディオチャネル信号のうちの少なくとも２つのオーディオチャネル信号から引き出されるダウンミックスオーディオ信号である、周波数変換器と、
周波数サブ帯域のサブセットの中の少なくとも各周波数サブ帯域についてチャネル間差を決定するチャネル間差決定器であって、各チャネル間差は、前記チャネル間差の関連する個々の周波数サブ帯域において前記オーディオチャネル信号の帯域の限られた信号部分と前記参照オーディオ信号の帯域の限られた信号部分との間の位相差又は時間差を示す、チャネル間差決定器と、
前記チャネル間差の正の値に基づき第１の平均を決定し、及び前記チャネル間差の負の値に基づき第２の平均を決定する平均決定器と、
前記第１の平均及び前記第２の平均のうちの一方を前記符号化パラメータとして選択することにより前記符号化パラメータを決定する符号化パラメータ決定器と、
を有するマルチチャネルオーディオエンコーダ。

【請求項15】

請求項１乃至１３のいずれか一項に記載の方法をコンピュータに実行させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オーディオ符号化に関し、特に、パラメトリックマルチチャネルオーディオ符号化としても知られるパラメトリック空間オーディオ符号化に関する。

【背景技術】

【0002】

例えばC.Faller及びF.Baumgarte, “Efficient representation of spatial audio using perceptual parametrization,” in Proc. IEEE Workshop on Appl. of Sig. Proc. to Audio and Acoust., Oct. ２００１, pp.１９９−２０２に記載のようなパラメトリックステレオ又はマルチチャネルオーディオ符号化は、通常はモノ若しくはステレオのダウンミックスオーディオ信号から、ダウンミックスオーディオ信号より多くのチャネルを有するマルチチャネルオーディオ信号を合成するために、空間的キューを用いる。通常、ダウンミックスオーディオ信号は、例えばステレオオーディオ信号のマルチチャネルオーディオ信号の複数のオーディオチャネル信号の重畳の結果生じる。これらのより少数のチャネルは波形符号化され、元の信号チャネル関係に関連するサイド情報、つまり空間的キューは、符号化パラメータとして符号化オーディオチャネルに追加される。デコーダは、このサイド情報を用いて、復号化された波形符号化オーディオチャネルに基づき、元の数のオーディオチャネルを再生成する。

【0003】

基本パラメトリックステレオコーダは、チャネル間レベル差（inter-channel level differences：ＩＬＤ）を、モノダウンミックスオーディオ信号からステレオ信号を生成するためのキューとして用いても良い。より多くの高機能コーダは、チャネル間コヒーレンス（inter-channel coherence：ＩＣＣ）も用いても良い。ＩＣＣは、オーディオチャネル信号、つまりオーディオチャネル間の類似度を表し得る。さらに、例えば３Ｄオーディオ又はヘッドフォンに基づくサラウンド再生のために両耳ステレオ信号を符号化するとき、チャネル間位相差（inter-channel phase difference：ＩＰＤ）は、チャネル間の位相／遅延差を再生する役割を果たし得る。

【0004】

両耳間時間差（inter-aural time difference：ＩＴＤ）は、図７から分かるように、２つの耳７０３、７０５の間の音７０１の到着時間の差である。音の定位には、音源７０１の（頭７０９に対する）入射の方向７０７又は角度θ（シータ）を識別することは、キューを提供するので、重要である。信号が片側から耳７０３、７０５に到着する場合、信号は、（反対側の）遠くの耳７０３に達するためにより長い経路を有し、（同じ側の）近くの耳７０５に達するためにより短い経路を有する。この経路長の差は、耳７０３、７０５に音が到着する時間差７１５を生じる。この時間差は、検出され、音源７０１の方向７０７を識別する処理を支援する。

【0005】

図７は、ＩＴＤ（Δｔ又は時間差７１５として示される）の一例を与える。２つの耳７０３、７０５における到着時間差は、音波の遅延により示される。左耳７０３への波形が最初に到来する場合には、ＩＴＤ７１５は正である。その他の場合、ＩＴＤ７１５は負である。音源７０１が聴取者の直接前に存在する場合、波形は、両方の耳７０３、７０５に同時に到着し、したがってＩＴＤ７１５はゼロである。

【0006】

ＩＴＤキューは、多くのステレオ録音にとって重要である。例えば、両耳オーディオ信号は、例えばダミーヘッド又は両耳合成に基づく頭部伝達関数（Head Related Transfer Function：ＨＲＴＦ）処理を用いて実際の録音から得ることができ、音楽録音又はオーディオ会議のために用いられる。したがって、それは、低ビットレートパラメトリックステレオコーデックにとって、及び特に会話アプリケーションを対象とするコーデックにとって、非常に重要なパラメータである。低複雑性及び安定したＩＴＤ推定アルゴリズムが、低ビットレートステレオコーデックのために必要である。さらに、例えばチャネル間レベル差（ＣＬＤ又はＩＬＤ）及びチャネル間コヒーレンス（ＩＣＣ）のような他のパラメータに加えて、ＩＴＤパラメータの使用はビットレートオーバヘッドを増大し得る。この特定の非常に低いビットレートのシナリオでは、１つの全帯域ＩＴＤパラメータのみが送信され得る。１つの全帯域ＩＴＤのみが推定されるとき、安定性に対する制約は、達成することが更に困難になる。

【0007】

従来、ＩＴＤ推定方法は、３つの主なカテゴリに分類できる。

【0008】

ＩＴＤ推定は、時間領域の方法に基づいても良い。ＩＴＤは、チャネル間の時間領域相互関係に基づき推定される。ＩＴＤは、時間領域相互関係（次式に示す）が最大になる遅延に対応する。

【数1】

この方法は、幾つかのフレームに渡る遅延の非安定推定を提供する。これは、特に、異なるサブ帯域信号が異なるＩＴＤ値を有するために、ｆ及びｇの入力信号が複雑な音響シーンを有する広帯域信号であるとき、真である。非安定ＩＴＤは、デコーダ内の連続フレームに対して遅延が切り替えられるとき、クリック（ノイズ）の導入を生じ得る。この時間領域の分析が全帯域信号に対して実行されるとき、１つのＩＴＤのみが推定され、符号化され及び送信されるので、時間領域ＩＴＤ推定のビットレートは低い。しかしながら、高いサンプリング周波数を有する信号の相互関係計算のために、複雑性は非常に高い。

【0009】

第２のカテゴリのＩＴＤ推定方法は、周波数及び時間領域アプローチの組合せに基づく。Marple, S.L., Jr.;, "Estimatinggroup delay and phase delay via discrete-time “analytic” cross-correlation," Signal Processing, IEEE Transactions on, vol.４７, no.９, pp.２６０４-２６０７, Sep１９９９では、周波数及び時間領域ＩＴＤ推定は、以下のステップを含む。

【0010】

１．周波数係数を得るために、高速フーリエ変換（Fast Fourier Transform：ＦＦＴ）分析が入力信号に適用される。
２．周波数領域で、相互関係が計算される。
３．周波数領域相互関係は、逆ＦＦＴを用いて時間領域に変換される。
４．ＩＴＤは複素時間領域で推定される。

【0011】

この方法は、１つの全帯域ＩＴＤのみが推定され、符号化され、及び送信されるので、低ビットレートの制約を達成できる。しかしながら、相互関係計算、及び計算の複雑性が限られるときこの方法を適用不可能にする逆ＦＦＴにより、複雑性は非常に高い。

【0012】

最後に、最後のカテゴリは、ＩＴＤ推定を周波数領域で直接実行する。Baumgarte, F.; Faller, C.;, "Binaural cue coding-PartI: psychoacoustic fundamentals and design principles, "Speech and Audio Processing, IEEE Transactions on, vol.１１, no.６, pp.５０９-５１９, Nov. ２００３及びFaller, C.; Baumgarte, F.;, "Binaural cue coding-Part II: Schemes and applications, "Speech and Audio Processing, IEEE Transactions on, vol.１１, no.６, pp.５２０-５３１, Nov. ２００３では、ＩＴＤは周波数領域で推定され、各周波数帯域毎にＩＴＤは符号化され送信される。このソリューションの複雑性は限られるが、サブ帯域当たり１つのＩＴＤが送信されるので、この方法のために必要なビットレートは高い。

【0013】

さらに、推定されたＩＴＤの信頼性及び安定性は、大きなサブ帯域ＩＴＤでは一貫しない場合のあるサブ帯域信号の周波数帯域幅に依存する（異なる位置を有する異なる音源は、帯域の限られた音声信号内に存在する場合がある）。

【0014】

非常に低いビットレートのパラメトリックマルチチャネルオーディオ符号化スキームは、ビットレートに対する制約だけでなく、特に、バッテリ寿命が節約されなければならないモバイル端末内の実装を対象とするコーデックのために可能な複雑性に対する制限も有する。従来のＩＴＤ推定アルゴリズムは、ＩＴＤ推定の安定性の点で良好な品質を維持しながら、低ビットレート及び低複雑性の両方の要件を同時に満たすことができない。

【発明の概要】

【発明が解決しようとする課題】

【0015】

本発明の目的は、ＩＴＤ推定の安定性の点で良好な品質を維持しながら低ビットレート及び低複雑性の両方を提供するマルチチャネルオーディオエンコーダのための概念を提供することである。

【0016】

この目的は、独立請求項の特徴により達成される。さらに実装形態は、従属請求項、説明及び図面から明らかである。

【課題を解決するための手段】

【0017】

本発明は、マルチチャネルオーディオ信号の２つのオーディオチャネル信号の帯域の限られた信号部分の間のＩＴＤ及びＩＰＤのようなチャネル間差に洗練された平均化を適用することが、帯域の限られた処理により、ＩＴＤ推定の安定性の点で良好な品質を維持しながらビットレート及び計算の複雑性の両方を低減することの発見に基づく。洗練された平均化は、チャネル間差をそれらの符号により区別し、該符号に依存して異なる平均化を実行し、それにより、チャネル間差処理の安定性を増大する。

【0018】

本発明を詳細に説明するために、以下の用語、略語及び注釈が用いられる。

【0019】

ＢＣＣ：両耳間キュー符号化（Binaural cues coding）。チャネル間関係を記述するためにダウンミックス及び両耳間キュー（又は空間パラメータ）を用いたステレオ又はマルチチャネル信号の符号化。

【0020】

両耳間キュー：左及び右耳に入力する信号の間のチャネル間キュー（ＩＴＤ、ＩＬＤ、及びＩＣも参照）。

【0021】

ＣＬＤ：チャネルレベル差、ＩＬＤと同じ。

【0022】

ＦＦＴ：ＤＦＴの高速実装、高速フーリエ変換と表す。

【0023】

ＨＲＴＦ：頭部伝達関数。自由音場におけるソースから左及び右耳への入力の音の変換のモデル化。

【0024】

ＩＣ：両耳間コヒーレンス（Inter-aural coherence）。つまり、左及び右耳へ入力する信号の間の類似度。これは、ＩＡＣ又は両耳間相互関係（interaural cross-correlation：ＩＡＣＣ）とも表される場合がある。

【0025】

ＩＣＣ：チャネル間コヒーレンス（Inter-channel coherence）、チャネル間相関。ＩＣと同じだが、任意の信号対（例えば、ラウドスピーカ信号対、耳に入力する信号対、等）の間でより一般的に定められる。

【0026】

ＩＣＰＤ：チャネル間位相差（Inter-channel phase difference）。単一の対の間の平均位相差。

【0027】

ＩＣＬＤ：チャネル間レベル差（Inter-channel level difference）。ＩＬＤと同じだが、任意の信号対（例えば、ラウドスピーカ信号対、耳に入力する信号対、等）の間でより一般的に定められる。

【0028】

ＩＣＴＤ：チャネル間時間差（Inter-channel time difference）。ＩＴＤと同じだが、任意の信号対（例えば、ラウドスピーカ信号対、耳に入力する信号対、等）の間でより一般的に定められる。

【0029】

ＩＬＤ：両耳間レベル差（Interaural level difference）、つまり左及び右耳に入力する信号間のレベル差。これは、両耳間強度差（interaural intensity difference：ＩＩＤ）と表される場合がある。

【0030】

ＩＰＤ：両耳間位相差（Interaural phase difference）、つまり左及び右耳に入力する信号間の位相差。

【0031】

ＩＴＤ：両耳間時間差（Interaural time difference）、つまり左及び右耳に入力する信号間の時間差。これは、両耳間時間遅延（interaural time delay）と表される場合がある。

【0032】

ＩＣＤ：チャネル間差（Inter-channel difference）。２つのチャネル間の差、例えば２つのチャネル間の時間差、位相差、レベル差、又はコヒーレンスの一般的用語。

【0033】

ミキシング：ソース信号の数が与えられる場合（例えば、別個に録音された楽器、マルチトラック録音）、空間オーディオ再生を目的としてステレオ又はマルチチャネルオーディオ信号を生成する処理がミキシングと表される。

【0034】

ＯＣＰＤ：全体チャネル位相差（Overall channel phase difference）。２以上のオーディオチャネルの共通の位相変更。

【0035】

空間オーディオ：適切な再生システムを通じて再生されるとき、聴覚空間像を引き起こすオーディオ信号。

【0036】

空間キュー：空間認知に関連するキュー。この用語は、ステレオ又はマルチチャネルオーディオ信号のチャネル対間のキューに対して用いられる（ＩＣＴＤ、ＩＣＬＤ、及びＩＣＣも参照）。空間パラメータ又は両耳キュ―とも表される。

【0037】

第１の態様によると、本発明は、マルチチャネルオーディオ信号の複数のオーディオチャネル信号のうちの１つのオーディオチャネル信号の符号化パラメータを決定する方法であって、各オーディオチャネル信号は、オーディオチャネル信号値を有し、前記方法は、前記オーディオチャネル信号の前記オーディオチャネル信号値の周波数変換を決定するステップと、参照オーディオ信号の参照オーディオ信号値の周波数変換を決定するステップであって、前記参照オーディオ信号は、前記複数のオーディオチャネル信号のうちの別のオーディオチャネル信号である、ステップと、周波数サブ帯域のサブセットの中の少なくとも各周波数サブ帯域についてチャネル間差を決定するステップであって、各チャネル間差は、前記オーディオチャネル信号の帯域の限られた信号部分と前記チャネル間差の関連付けられる個々の周波数サブ帯域内の前記参照オーディオ信号の帯域の限られた信号部分との間の位相差又は時間差を示す、ステップと、前記チャネル間差の正の値に基づき第１の平均を決定し、及び前記チャネル間差の負の値に基づき第２の平均を決定するステップと、前記第１の平均及び前記第２の平均に基づき前記符号化パラメータを決定するステップと、を有する方法に関する。

【0038】

第２の態様によると、本発明は、マルチチャネルオーディオ信号の複数のオーディオチャネル信号のうちの１つのオーディオチャネル信号の符号化パラメータを決定する方法であって、各オーディオチャネル信号は、オーディオチャネル信号値を有し、前記方法は、前記オーディオチャネル信号の前記オーディオチャネル信号値の周波数変換を決定するステップと、参照オーディオ信号の参照オーディオ信号値の周波数変換を決定するステップであって、前記参照オーディオ信号は、前記複数のオーディオチャネル信号のうちの少なくとも２つのオーディオチャネル信号から引き出されるダウンミックスオーディオ信号である、ステップと、周波数サブ帯域のサブセットの中の少なくとも各周波数サブ帯域についてチャネル間差を決定するステップであって、各チャネル間差は、前記オーディオチャネル信号の帯域の限られた信号部分と前記チャネル間差の関連付けられる個々の周波数サブ帯域内の前記参照オーディオ信号の帯域の限られた信号部分との間の位相差又は時間差を示す、ステップと、前記チャネル間差の正の値に基づき第１の平均を決定し、及び前記チャネル間差の負の値に基づき第２の平均を決定するステップと、前記第１の平均及び前記第２の平均に基づき前記符号化パラメータを決定するステップと、を有する方法に関する。

【0039】

帯域の限られた信号部分は、周波数領域信号部分であり得る。しかしながら、帯域の限られた信号部分は、時間領域信号部分であり得る。この例では、逆フーリエ変換器のような周波数領域−時間領域変換器が用いられ得る。時間領域では、帯域の限られた信号部分の時間遅延平均が実行され、これは、周波数領域の位相平均に対応する。信号処理でが、ウインドウ化、例えばハミングウインドウ化は、時間領域信号部分をウインドウ化するために用いることができる。

【0040】

帯域の限られた信号部分は、１つの周波数ビンのみに渡って又は１より多い周波数ビンに渡って、広がり得る。

【0041】

第１の態様による又は第２の態様による方法の第１の可能な実施形態では、前記チャネル間差はチャネル間位相差又はチャネル間時間差である。

【0042】

前記第１の態様自体による、又は前記第２の態様自体による、又は前記第１の態様の前記第１の実施形態による、又は前記第２の態様の前記第１の実施形態による、方法の第２の可能な可能な実施形態では、前記方法は、前記チャネル間差の正の値に基づき第１の標準偏差を決定し、及び前記チャネル間差の負の値に基づき第２の標準偏差を決定するステップ、を更に有し、前記符号化パラメータを決定するステップは、前記第１の標準偏差及び前記第２の標準偏差に基づく。

【0043】

前記第１の態様自体による、又は前記第２の態様自体による、又は前記第１の態様の前述の実施形態のいずれかによる、又は前記第２の態様の前述の実施形態のいずれかによる、方法の第３の可能な実施形態では、周波数サブ帯域は、１又は複数の周波数ビンを有する。

【0044】

前記第１の態様自体による、又は前記第２の態様自体による、又は前記第１の態様の前述の実施形態のいずれかによる、又は前記第２の態様の前述の実施形態のいずれかによる、方法の第４の可能な実施形態では、周波数サブ帯域のサブセットの中の少なくとも各周波数サブ帯域についてチャネル間差を決定するステップは、前記オーディオチャネル信号値の前記周波数変換及び前記参照オーディオ信号値の前記周波数変換から相互関係として相互スペクトルを決定するステップと、前記相互スペクトルに基づき各周波数サブ帯域についてチャネル間位相差を決定するステップと、を有する。

【0045】

前記第１の態様の前記第４の実施形態による、又は前記第２の態様の前記第４の実施形態による、方法の第５の可能な実施形態では、周波数ビン又は周波数サブ帯域の前記チャネル間位相差は、前記相互スペクトルの角度として決定される。

【0046】

前記第１の態様の前記第４若しくは前記第５の実施形態による、又は前記第２の態様の前記第４若しくは前記第５の実施形態による、方法の第６の可能な実施形態では、前記方法は、前記チャネル間位相差に基づき両耳間時間差を決定するステップを更に有し、前記第１の平均を決定するステップは、前記両耳間時間差の正の値に基づき、前記第２の平均を決定するステップは、前記両耳間時間差の負の値に基づく。

【0047】

前記第１の態様の前記第４若しくは前記第５の実施形態による、又は前記第２の態様の前記第４若しくは前記第５の実施形態による、方法の第７の可能な実施形態では、周波数サブ帯域の前記両耳間時間差は、前記チャネル間位相差の関数として決定され、前記関数は、周波数ビンの数及び前記周波数ビン若しくは周波数サブ帯域インデックスに依存する。

【0048】

前記第１の態様の前記第６若しくは前記第７の実施形態による、又は前記第２の態様の前記第６若しくは前記第７の実施形態による、方法の第８の可能な実施形態では、前記符号化パラメータを決定するステップは、周波数サブ帯域の前記サブセットに含まれる周波数サブ帯域の数に渡り、正の両耳間時間差の第１の数及び負の両耳間時間差の第２の数を計数するステップを有する。

【0049】

前記第１の態様の前記第８の実施形態による、又は前記第２の態様の前記第８の実施形態による、方法の第９の可能な実施形態では、前記符号化パラメータは、正の両耳間時間差の第１の数と負の両耳間時間差の第２の数との間の比較に基づき決定される。

【0050】

前記第１の態様の前記第９の実施形態による、又は前記第２の態様の前記第９の実施形態による、方法の第１０の可能な実施形態では、前記符号化パラメータは、前記第１の標準偏差と前記第２の標準偏差との間の比較に基づき決定される。

【0051】

前記第１の態様の前記第９若しくは前記第１０の実施形態による、又は前記第２の態様の前記第９若しくは前記第１０の実施形態による、方法の第１１の可能な実施形態では、前記符号化パラメータは、正の両耳間時間差の第１の数と第１の係数により乗算された負の両耳間時間差の第２の数との間の比較に基づき決定される。

【0052】

前記第１の態様の前記第１１の実施形態による、又は前記第２の態様の前記第１１の実施形態による、方法の第１２の可能な実施形態では、前記符号化パラメータは、前記第１の標準偏差と第２の係数により乗算された前記第２の標準偏差との間の比較に基づき決定される。

【0053】

前記第１の態様の前記第６若しくは前記第７の実施形態による、又は前記第２の態様の前記第６若しくは前記第７の実施形態による、方法の第１３の可能な実施形態では、前記符号化パラメータを決定するステップは、周波数サブ帯域の前記サブセットに含まれる周波数サブ帯域の数に渡り、正のチャネル間時間差の第１の数及び負のチャネル間時間差の第２の数を計数するステップを有する。

【0054】

前記第１の態様自体による、又は前記第２の態様自体による、又は前記第１の態様の前述の実施形態のいずれかによる、又は前記第２の態様の前述の実施形態のいずれかによる、方法の第１４の実施形態では、前記方法は、以下のエンコーダ：ＩＴＵ−Ｔ Ｇ．７２２エンコーダ、ＩＴＵ−Ｔ Ｇ．７２２ Ａｎｎｅｘ Ｂエンコーダ、ＩＴＵ−Ｔ Ｇ．７１１．１エンコーダ、ＩＴＵ−Ｔ Ｇ．７１１．１ Ａｎｎｅｘ Ｄエンコーダ、及び３ＧＰＰ拡張音声サービスエンコーダのうちの１つ又は組合せで適用される。

【0055】

サブ帯域ＩＴＤの平均推定を提供するＩＴＤの推定と比べて、前記第１又は第２の態様による方法は、サブ帯域内の大部分の関連するＩＴＤを選択する。したがって、低ビットレート及び低複雑性のＩＴＤ推定が達成され、同時にＩＴＤ推定の安定性の点で良好な品質を維持する。

【0056】

第３の態様によると、本発明は、マルチチャネルオーディオ信号の複数のオーディオチャネル信号のうちの１つのオーディオチャネル信号の符号化パラメータを決定するマルチチャネルオーディオエンコーダであって、各オーディオチャネル信号は、オーディオチャネル信号値を有し、前記パラメトリック空間オーディオエンコーダは、前記オーディオチャネル信号の前記オーディオチャネル信号値の周波数変換を決定し、及び参照オーディオ信号の参照オーディオ信号値の周波数変換を決定する、フーリエ変換器のような周波数変換器であって、前記参照オーディオ信号は、前記複数のオーディオチャネル信号のうちの別のオーディオチャネル信号である、周波数変換器と、周波数サブ帯域のサブセットの中の少なくとも各周波数サブ帯域についてチャネル間差を決定するチャネル間差決定器であって、各チャネル間差は、前記オーディオチャネル信号の帯域の限られた信号部分と前記チャネル間差の関連付けられる個々の周波数サブ帯域内の前記参照オーディオ信号の帯域の限られた信号部分との間の位相差又は時間差を示す、チャネル間差決定器と、前記チャネル間差の正の値に基づき第１の平均を決定し、及び前記チャネル間差の負の値に基づき第２の平均を決定する平均決定器と、前記第１の平均及び前記第２の平均に基づき前記符号化パラメータを決定する符号化パラメータ決定器と、を有するマルチチャネルオーディオエンコーダに関する。

【0057】

第４の態様によると、本発明は、マルチチャネルオーディオ信号の複数のオーディオチャネル信号のうちの１つのオーディオチャネル信号の符号化パラメータを決定するマルチチャネルオーディオエンコーダであって、各オーディオチャネル信号は、オーディオチャネル信号値を有し、前記パラメトリック空間オーディオエンコーダは、前記オーディオチャネル信号の前記オーディオチャネル信号値の周波数変換を決定し、及び参照オーディオ信号の参照オーディオ信号値の周波数変換を決定する、フーリエ変換器のような周波数変換器であって、前記参照オーディオ信号は、前記複数のオーディオチャネル信号のうちの少なくとも２つのオーディオチャネル信号から引き出されるダウンミックスオーディオ信号である、周波数変換器と、周波数サブ帯域のサブセットの中の少なくとも各周波数サブ帯域についてチャネル間差を決定するチャネル間差決定器であって、各チャネル間差は、前記オーディオチャネル信号の帯域の限られた信号部分と前記チャネル間差の関連付けられる個々の周波数サブ帯域内の前記参照オーディオ信号の帯域の限られた信号部分との間の位相差又は時間差を示す、チャネル間差決定器と、前記チャネル間差の正の値に基づき第１の平均を決定し、及び前記チャネル間差の負の値に基づき第２の平均を決定する平均決定器と、前記第１の平均及び前記第２の平均に基づき前記符号化パラメータを決定する符号化パラメータ決定器と、を有するマルチチャネルオーディオエンコーダに関する。

【0058】

第５の態様によると、本発明は、コンピュータで実行されると、前記第１の態様自体による又は前記第２の態様自体による又は前記第１の態様の前述の請求項のいずれかによる又は前記第２の態様の前述の請求項のいずれかによる方法を実行するプログラムコードを有するコンピュータプログラムに関する。

【0059】

前記コンピュータプログラムは、複雑性を低減され、したがってバッテリ寿命が節約されなければならないモバイル端末内で効率的に実装できる。

【0060】

第６の態様によると、本発明は、前記第１の態様自体による又は前記第２の態様自体による又は前記第１の態様の前述の実施形態のいずれかによる又は前記第２の態様の前述の実施形態のいずれかによる方法を実施するよう構成されるパラメトリック空間オーディオエンコーダに関する。

【0061】

前記第６の態様によるパラメトリック空間オーディオエンコーダの第１の可能な実施形態では、前記パラメトリック空間オーディオエンコーダは、前記第１の態様自体による又は前記第２の態様自体による又は前記第１の態様の前述の実施形態のいずれかによる又は前記第２の態様の前述の実施形態のいずれかによる方法を実施するプロセッサを有する。

【0062】

前記第６の態様自体による又は前記第６の態様の前記第１の実施形態による前記パラメトリック空間オーディオエンコーダの第２の可能な実施形態では、マルチチャネルオーディオ信号の複数のオーディオチャネル信号のうちの１つのオーディオチャネル信号の符号化パラメータを決定するマルチチャネルオーディオエンコーダであって、各オーディオチャネル信号は、オーディオチャネル信号値を有し、前記パラメトリック空間オーディオエンコーダは、前記オーディオチャネル信号の前記オーディオチャネル信号値の周波数変換を決定し、及び参照オーディオ信号の参照オーディオ信号値の周波数変換を決定する、フーリエ変換器のような周波数変換器であって、前記参照オーディオ信号は、前記複数のオーディオチャネル信号のうちの別のオーディオチャネル信号又は前記複数のオーディオチャネル信号のうちの少なくとも２つのオーディオチャネル信号から引き出されるダウンミックスオーディオ信号である、周波数変換器と、周波数サブ帯域のサブセットの中の少なくとも各周波数サブ帯域についてチャネル間差を決定するチャネル間差決定器であって、各チャネル間差は、前記オーディオチャネル信号の帯域の限られた信号部分と前記チャネル間差の関連付けられる個々の周波数サブ帯域内の前記参照オーディオ信号の帯域の限られた信号部分との間の位相差又は時間差を示す、チャネル間差決定器と、前記チャネル間差の正の値に基づき第１の平均を決定し、及び前記チャネル間差の負の値に基づき第２の平均を決定する平均決定器と、前記第１の平均及び前記第２の平均に基づき前記符号化パラメータを決定する符号化パラメータ決定器と、を有する。

【0063】

第７の態様によると、本発明は、コンピュータで実行されると、前記第１の態様自体による又は前記第２の態様自体による又は前記第１の態様の前述の請求項のいずれかによる又は前記第２の態様の前述の請求項のいずれかによる方法を実行するプログラムコードを有するコンピュータプログラムを有する記憶装置、特にコンパクトディスク、のような機械可読媒体に関する。

【0064】

本願明細書に記載の方法は、デジタル信号プロセッサ（ＤＳＰ）内の、マイクロコントローラ内の、又は任意の他のサイドプロセッサ内のソフトウェアとして、又は特定用途向け集積回路（ＡＳＩＣ）内のハードウェア回路として、実装できる。

【0065】

本発明は、デジタル電子回路で、又はコンピュータハードウェア、ファームウェア、ソフトウェア又はそれらの組合せで実装できる。

【図面の簡単な説明】

【0066】

本発明の更なる実施形態は、以下の図面に関して説明される。

【図1】一実施形態によるオーディオチャネル信号のための符号化パラメータを生成する方法の概略図を示す。

【図2】一実施形態によるＩＴＤ推定アルゴリズムの概略図を示す。

【図3】一実施形態によるＩＴＤ選択アルゴリズムの概略図を示す。

【図4】一実施形態によるパラメトリックオーディオエンコーダのブロック図を示す。

【図5】一実施形態によるパラメトリックオーディオデコーダのブロック図を示す。

【図6】一実施形態によるパラメトリックステレオオーディオエンコーダ及びデコーダのブロック図を示す。

【図7】両耳間時間差の原理を説明する概略図を示す。

【発明を実施するための形態】

【0067】

図１は、一実施形態によるオーディオチャネル信号のための符号化パラメータを生成する方法の概略図を示す。

【0068】

方法１００は、マルチチャネルオーディオ信号の複数のオーディオチャネル信号ｘ_１、ｘ_２のうちオーディオチャネル信号ｘ_１の符号化パラメータＩＴＤを決定するためのものである。各オーディオチャネル信号ｘ_１、ｘ_２は、オーディオチャネル信号値ｘ_１［ｎ］、ｘ_２［ｎ］を有する。図１は、複数のオーディオチャネル信号が左オーディオチャネルｘ_１及び右オーディオチャネルｘ_２を有するステレオの例を示す。方法１００は以下のステップを有する。

【0069】

オーディオチャネル信号ｘ_１のオーディオチャネル信号値ｘ_１［ｎ］の周波数変換Ｘ_１［ｋ］を決定するステップ１０１。

【0070】

参照オーディオ信号ｘ_２の参照オーディオ信号値ｘ_２［ｎ］の周波数変換Ｘ_２［ｋ］を決定するステップ１０３。ここで、参照オーディオ信号は、複数のオーディオチャネルのうちの別のオーディオチャネル信号ｘ_２又は複数のオーディオチャネル信号のうちの少なくとも２つのオーディオチャネル信号ｘ_１、ｘ_２から引き出されるダウンミックスオーディオ信号である。

【0071】

周波数サブ帯域のサブセットのうち少なくとも各周波数サブ帯域ｂについて、チャネル間差ＩＣＤ［ｂ］を決定するステップ１０５。ここで、各チャネル間差は、チャネル間差の関連する個々の周波数サブ帯域ｂにおいてオーディオチャネル信号の帯域の限られた信号部分と参照オーディオ信号の帯域の限られた信号部分と間の位相差ＩＰＤ［ｂ］又は時間差ＩＴＤ［ｂ］を示す。

【0072】

チャネル間差ＩＣＤ［ｂ］の正の値に基づき第１の平均ＩＴＤ_{ｍｅａｎ＿ｐｏｓ}を決定し、及びチャネル間差ＩＣＤ［ｂ］の負の値に基づき第２の平均ＩＴＤ_{ｍｅａｎ＿ｎｅｇ}を決定するステップ１０７。

【0073】

第１の平均及び第２の平均に基づき、符号化パラメータＩＴＤを決定するステップ１０９。

【0074】

一実施形態では、オーディオチャネル信号の帯域の限られた信号部分及び参照オーディオ信号の帯域の限られた信号部分は、周波数領域内のそれぞれのサブ帯域及びその周波数ビンを参照する。

【0075】

一実施形態では、オーディオチャネル信号の帯域の限られた信号部分及び参照オーディオ信号の帯域の限られた信号部分は、時間領域内のサブ帯域のそれぞれの時間変換された信号を参照する。

【0076】

帯域の限られた信号部分は、周波数領域信号部分であり得る。しかしながら、帯域の限られた信号部分は、時間領域信号部分であり得る。この例では、逆フーリエ変換器のような周波数領域−時間領域変換器が用いられ得る。時間領域では、帯域の限られた信号部分の時間遅延平均が実行され、これは、周波数領域の位相平均に対応する。信号処理では、ウインドウ化、例えばハミングウインドウ化は、時間領域信号部分をウインドウ化するために用いることができる。

【0077】

帯域の限られた信号部分は、１つの周波数ビンのみに渡って又は１より多い周波数ビンに渡って、広がり得る。

【0078】

一実施形態では、方法１００は、以下のように処理される。

【0079】

図１の１０１及び１０３に対応する第１のステップで、時間周波数変換は、時間領域入力チャネル、例えば第１の入力チャネルｘ_１、及び時間領域参照チャネル、例えば第２の入力チャネルｘ_２に適用される。ステレオの例では、これらは左及び右チャネルである。好適な実施形態では、時間周波数変換は、高速フーリエ変換（Fast Fourier Transform：ＦＦＴ）又は短時間フーリエ変換（Short Term Fourier Transform）である。代替の実施形態では、時間周波数変換は、コサイン変調フィルタバンク又は複合フィルタバンクである。

【0080】

図１の１０５に対応する第２のステップでは、ＦＦＴの各周波数ビン［ｂ］について相互スペクトルが次式のように計算される。

【数2】

ここで、ｃ［ｂ］は周波数ビン［ｂ］の相互スペクトルであり、Ｘ_１［ｂ］及びＸ_２［ｂ］は２つのチャネルのＦＦＴ係数である。＊は複素共役を表す。この例では、サブ帯域ｂは、１つの周波数ビン［ｋ］に直接対応し、周波数ビン［ｂ］及び［ｋ］は正確に同じ周波数ビンを表す。

【0081】

代替で、相互スペクトルはサブ帯域［ｋ］毎に次式のように計算される。

【数3】

ここで、ｃ［ｂ］はサブ帯域［ｂ］の相互スペクトルであり、Ｘ_１［ｋ］及びＸ_２［ｋ］は２つのチャネル、例えばステレオの例では左及び右チャネルのＦＦＴ係数である。＊は複素共役を表し、ｋ_ｂはサブ帯域［ｂ］の開始ビンである。

【0082】

相互スペクトルは、次式により計算される平滑化バージョンであり得る。

【数4】

ここで、ＳＭＷ１は平滑化因子である。ｉはフレームインデックスである。

【0083】

チャネル間位相差（inter channel phase difference：ＩＰＤ）は、次式のように相互スペクトルに基づきサブ帯域毎に計算される。

【数5】

ここで、演算子∠はｃ［ｂ］の角度を計算するための偏角演算子（argument operator）である。留意すべき事に、相互スペクトルの平滑化の例では、ｃ_ｓｍ［ｂ，ｉ］は、次式のようにＩＰＤ計算のために用いられる。

【数6】

図１の１０５に対応する第３のステップでは、各周波数ビン（又はサブ帯域）のＩＴＤは、ＩＰＤに基づき計算される。

【数7】

ここで、ＮはＦＦＴビンの数である。

【0084】

図１の１０７に対応する第４のステップでは、ＩＴＤの正及び負の値の計数が実行される。正及び負のＩＴＤの平均及び標準偏差は、次式のようにＩＴＤの符号に基づく。

【数8】

ここで、Ｎｂ_ｐｏｓ及びＮｂ_ｎｅｇは、それぞれ正及び負のＩＴＤの数である。Ｍは抽出されるＩＴＤの合計数である。留意すべきことに、代替で、ＩＴＤが０に等しい場合、それは負ＩＴＤで計数し、又は平均していずれも計数しないこともできる。

【0085】

図１の１０９に対応する第５のステップでは、ＩＴＤは、平均及び標準偏差に基づき正及び負ＩＴＤから選択される。選択アルゴリズムは、図３に示される。

【0086】

図２は、一実施形態によるＩＴＤ推定アルゴリズム２００の概略図を示す。

【0087】

図１の１０１に対応する第１のステップ２０１で、時間周波数変換は、時間領域入力チャネル、例えば第１の入力チャネルｘ_１に適用される。好適な実施形態では、時間周波数変換は、高速フーリエ変換（Fast Fourier Transform：ＦＦＴ）又は短時間フーリエ変換（Short Term Fourier Transform）である。代替の実施形態では、時間周波数変換は、コサイン変調フィルタバンク又は複合フィルタバンクである。

【0088】

図１の１０３に対応する第２のステップ２０３で、時間周波数変換は、時間領域参照チャネル、例えば第２の入力チャネルｘ_２に適用される。好適な実施形態では、時間周波数変換は、高速フーリエ変換（Fast Fourier Transform：ＦＦＴ）又は短時間フーリエ変換（Short Term Fourier Transform）である。代替の実施形態では、時間周波数変換は、コサイン変調フィルタバンク又は複合フィルタバンクである。

【0089】

図１の１０５に対応する次の第３のステップ２０５で、各周波数ビンの相互関係が計算される。これは、限られた数の周波数ビン又は周波数サブ帯域に対して実行される。相互スペクトルは、次式のようにＦＦＴの各周波数ビン［ｂ］の相互関係から計算される。

【数9】

ここで、ｃ［ｂ］は周波数ビン［ｂ］の相互スペクトルであり、Ｘ_１［ｂ］及びＸ_２［ｂ］は２つのチャネルのＦＦＴ係数である。＊は複素共役を表す。この例では、サブ帯域ｂは、１つの周波数ビン［ｋ］に直接対応し、周波数ビン［ｂ］及び［ｋ］は正確に同じ周波数ビンを表す。

【0090】

代替で、相互スペクトルはサブ帯域［ｋ］毎に次式のように計算される。

【数10】

ここで、ｃ［ｂ］はサブ帯域［ｂ］の相互スペクトルであり、Ｘ_１［ｋ］及びＸ_２［ｋ］は２つのチャネル、例えばステレオの例では左及び右チャネルのＦＦＴ係数である。＊は複素共役を表し、ｋ_ｂはサブ帯域［ｂ］の開始ビンである。

【0091】

相互スペクトルは、次式により計算される平滑化バージョンであり得る。

【数11】

ここで、ＳＭＷ１は平滑化因子である。ｉはフレームインデックスである。

【0092】

チャネル間位相差（inter channel phase difference：ＩＰＤ）は、次式のように相互スペクトルに基づきサブ帯域毎に計算される。

【数12】

ここで、演算子∠はｃ［ｂ］の角度を計算するための偏角演算子（argument operator）である。留意すべき事に、相互スペクトルの平滑化の例では、ｃ_ｓｍ［ｂ，ｉ］は、次式のようにＩＰＤ計算のために用いられる。

【数13】

図１の１０５に対応する次の第４のステップ２０７では、各周波数ビン（又はサブ帯域）のＩＴＤは、ＩＰＤに基づき計算される。

【数14】

ここで、ＮはＦＦＴビンの数である。

【0093】

図１の１０７に対応する次の第５のステップ２０９で、ステップ２０７の計算されたＩＴＤは、０より大きいかチェックされる。０より大きい場合、ステップ２１１が処理され、０より大きくない場合、ステップ２１３が処理される。

【0094】

ステップ２０９の後に、ステップ２１１で、例えば「Ｎｂ＿ｉｔｄ＿ｐｏｓ＋＋，，Ｉｔｄ＿ｓｕｍ＿ｐｏｓ＋＝ＩＴＤ」に従って、ＩＴＤのＭ個の周波数ビン（又はサブ帯域）値に渡る和が計算される。

【0095】

ステップ２０９の後に、ステップ２１３で、例えば「Ｎｂ＿ｉｔｄ＿ｎｅｇ＋＋，，Ｉｔｄ＿ｓｕｍ＿ｎｅｇ＋＝ＩＴＤ」に従って、ＩＴＤのＭ個の周波数ビン（又はサブ帯域）値に渡る和が計算される。

【0096】

ステップ２１１の後に、ステップ２１５で、正ＩＴＤの平均は、次式に従って計算される。

【数15】

ここで、Ｎｂ_ｐｏｓは正ＩＴＤ値の数であり、Ｍは抽出されるＩＴＤの合計数である。

【0097】

ステップ２１５の後に、ステップ２１９で、正ＩＴＤの標準偏差は、次式に従って計算される。

【数16】

ステップ２１３の後に、ステップ２１７で、負ＩＴＤの平均は、次式に従って計算される。

【数17】

ここで、Ｎｂ_ｎｅｇは負ＩＴＤ値の数であり、Ｍは抽出されるＩＴＤの合計数である。

【0098】

ステップ２１７の後に、ステップ２２１で、負ＩＴＤの標準偏差は、次式に従って計算される。

【数18】

図１の１０９に対応する最後のステップ２２３では、ＩＴＤは、平均に及び任意的に標準偏差に基づき正及び負ＩＴＤから選択される。選択アルゴリズムは、図３に示される。

【0099】

この方法２００は、全帯域ＩＴＤ推定に適用できる。この場合、サブ帯域ｂは、全周波数範囲を（Ｂまで）カバーする。サブ帯域ｂは、例えば臨界帯域又は等価矩形帯域幅（Equivalent Rectangular Bandwidth：ＥＲＢ）のようなスペクトルの知覚的分解に従うために選択され得る。代替の実施形態では、全帯域ＩＴＤは、最も関連のあるサブ帯域ｂに基づき推定できる。最も関連のあることにより、（例えば２００Ｈｚ乃至１５００Ｈｚで）知覚的なサブ帯域ｂがＩＴＤ認知に関連することが理解されるべきである。

【0100】

本発明の第１又は第２の態様によるＩＴＤ推定の利点は、２つのスピーカが聴取者の左及び右にそれぞれ存在し、及びそれらが同時に話す場合、全てのＩＴＤの単純な平均は、ゼロに近い値を与えるが、これは正しくない。ゼロＩＴＤはスピーカが聴取者の正面にあることを意味するからである。全ＩＴＤの平均がゼロでない場合でも、それはステレオ像を狭くするだろう。また、本例では、方法２００は、抽出したＩＴＤの安定性に基づき、正及び負ＩＴＤの平均から１つのＩＴＤを選択する。これは、ソース方向の点で良好な推定を与える。

【0101】

標準偏差は、パラメータの安定性を測定する方法である。標準偏差が小さい場合、推定されたパラメータは、より安定し信頼できる。正及び負ＩＴＤの標準偏差を用いる目的は、どれがより信頼できるかを調べるためである。そして、信頼できる１つを最終出力ＩＴＤとして選択する。極端な（extremism）差のような他の類似のパラメータも、ＩＴＤの安定性をチェックするために用いることができる。したがって、標準偏差はここでは任意である。

【0102】

更なる実施形態では、ＩＰＤとＩＴＤとの間の直接関係が存在するとき、正及び負の計数はＩＰＤに対して直接実行される。次に、決定処理は、負及び正ＩＰＤ平均に対して直接実行される。

【0103】

図１及び２に記載されるような方法１００、２００は、ＩＴＵ−Ｔ Ｇ．７２２、Ｇ．７２２Ａｎｎｅｘ Ｂ、Ｇ７１１．１及び／又はＧ７１１．１ Ａｎｎｅｘ Ｄのステレオ拡張のエンコーダで適用できる。さらに、記載の方法は、３ＧＰＰ ＥＶＳ（Enhanced Voice Services）コーデックで定められるようなモバイルアプリケーションのための会話及びオーディオエンコーダにも適用できる。

【0104】

図３は、一実施形態によるＩＴＤ選択アルゴリズムの概略図を示す。

【0105】

第１のステップ３０１で、正ＩＴＤ値の数Ｎｂ_ｐｏｓは、負ＩＴＤ値の数Ｎｂ_ｎｅｇに対してチェックされる。Ｎｂ_ｐｏｓが数Ｎｂ_ｎｅｇより大きい場合、ステップ３０３が実行される。Ｎｂ_ｐｏｓが数Ｎｂ_ｎｅｇより大きくない場合、ステップ３０５が実行される。

【0106】

ステップ３０３で、例えば（ＩＴＤ_{ｓｔｄ＿ｐｏｓ}＜ＩＴＤ_{ｓｔｄ＿ｎｅｇ}）||（Ｎｂ_ｐｏｓ＞＝Ａ＊Ｎｂ_ｎｅｇ）に従って、正ＩＴＤの標準偏差ＩＴＤ_{ｓｔｄ＿ｐｏｓ}は負ＩＴＤの標準偏差ＩＴＤ_{ｓｔｄ＿ｎｅｇ}に対してチェックされ、正ＩＴＤ値の数Ｎｂ_ｐｏｓは第１の係数Ａを乗算された負ＩＴＤ値の数Ｎｂ_ｎｅｇに対してチェックされる。ＩＴＤ_{ｓｔｄ＿ｐｏｓ}＜ＩＴＤ_{ｓｔｄ＿ｎｅｇ}又はＮｂ_ｐｏｓ＞Ａ＊Ｎｂ_ｎｅｇの場合、ステップ３０７で、ＩＴＤは正ＩＴＤの平均として選択される。その他の場合、ステップ３０９で、正及び負ＩＴＤの間の関係は、更にチェックされる。

【0107】

ステップ３０９で、例えば（ＩＴＤ_{ｓｔｄ＿ｎｅｇ}＜Ｂ＊ＩＴＤ_{ｓｔｄ＿ｐｏｓ}）に従って、負ＩＴＤの標準偏差ＩＴＤ_{ｓｔｄ＿ｎｅｇ}は、第２の係数Ｂを乗算された正ＩＴＤの標準偏差ＩＴＤ_{ｓｔｄ＿ｐｏｓ}に対してチェックされる。ＩＴＤ_{ｓｔｄ＿ｎｅｇ}＜Ｂ＊ＩＴＤ_{ｓｔｄ＿ｐｏｓ}の場合、ステップ３１５で、負ＩＴＤ平均の反対の値は、出力ＩＴＤとして選択される。その他の場合、ステップ３１７で、前のフレームからのＩＴＤ（Ｐｒｅ＿ｉｔｄ）がチェックされる。

【0108】

ステップ３１７で、例えば「Ｐｒｅ＿ｉｔｄ＞０」に従って、前のフレームからのＩＴＤはゼロより大きいかチェックされる。Ｐｒｅ＿ｉｔｄ＞０の場合、ステップ３２３で、出力ＩＴＤは正ＩＴＤの平均として選択され、その他の場合、ステップ３２５で、出力ＩＴＤは負ＩＴＤ平均の反対の値である。

【0109】

ステップ３０５で、例えば（ＩＴＤ_{ｓｔｄ＿ｎｅｇ}＜ＩＴＤ_{ｓｔｄ＿ｐｏｓ}）||（Ｎｂ_ｎｅｇ＞＝Ａ＊Ｎｂ_ｐｏｓ）に従って、負ＩＴＤの標準偏差ＩＴＤ_{ｓｔｄ＿ｎｅｇ}は正ＩＴＤの標準偏差ＩＴＤ_{ｓｔｄ＿ｐｏｓ}に対してチェックされ、負ＩＴＤ値の数Ｎｂ_ｎｅｇは第１の係数Ａを乗算された正ＩＴＤ値の数Ｎｂ_ｐｏｓに対してチェックされる。ＩＴＤ_{ｓｔｄ＿ｎｅｇ}＜ＩＴＤ_{ｓｔｄ＿ｐｏｓ}又はＮｂ_ｎｅｇ＞Ａ＊Ｎｂ_ｐｏｓの場合、ステップ３１１で、ＩＴＤは負ＩＴＤの平均として選択される。その他の場合、ステップ３１３で、負及び正ＩＴＤの間の関係は、更にチェックされる。

【0110】

ステップ３１３で、例えば（ＩＴＤ_{ｓｔｄ＿ｐｏｓ}＜Ｂ＊ＩＴＤ_{ｓｔｄ＿ｎｅｇ}）に従って、正ＩＴＤの標準偏差ＩＴＤ_{ｓｔｄ＿ｐｏｓ}は、第２の係数Ｂを乗算された負ＩＴＤの標準偏差ＩＴＤ_{ｓｔｄ＿ｎｅｇ}に対してチェックされる。ＩＴＤ_{ｓｔｄ＿ｐｏｓ}＜Ｂ＊ＩＴＤ_{ｓｔｄ＿ｎｅｇ}の場合、ステップ３１９で、正ＩＴＤ平均の反対の値は、出力ＩＴＤとして選択される。その他の場合、ステップ３２１で、前のフレームからのＩＴＤ（Ｐｒｅ＿ｉｔｄ）がチェックされる。

【0111】

ステップ３２１で、例えば「Ｐｒｅ＿ｉｔｄ＞０」に従って、前のフレームからのＩＴＤはゼロより大きいかチェックされる。Ｐｒｅ＿ｉｔｄ＞０の場合、ステップ３２７で、出力ＩＴＤは負ＩＴＤの平均として選択され、その他の場合、ステップ３２９で、出力ＩＴＤは正ＩＴＤ平均の反対の値である。

【0112】

図４は、一実施形態によるパラメトリックオーディオエンコーダ４００のブロック図を示す。パラメトリックオーディオエンコーダ４００は、マルチチャネルオーディオ信号４０１を入力信号として受信し、ビットストリームを出力信号４０３として提供する。パラメトリックエンコーダ４００は、マルチチャネルオーディオ信号４０１に結合され符号化パラメータ４１５を生成するパラメータ生成器４０５と、マルチチャネルオーディオ信号４０１に結合されダウンミックス信号４１１又は和信号を生成するダウンミックス信号生成器４０７と、ダウンミックス信号生成器４０７に結合されダウンミックス信号４１１を符号化して符号化オーディオ信号４１３に提供するオーディオエンコーダ４０９と、結合器４１７、例えばパラメータ生成器４０５及びオーディオエンコーダ４０９に結合され符号化パラメータ４１５及び符号化信号４１３からビットストリーム４０３を形成するビットストリーム形成器と、を有する。

【0113】

パラメトリックオーディオエンコーダ４００は、ステレオ及びマルチチャネルオーディオ信号に対してオーディオ符号化スキームを実施する。これは、単一のオーディオチャネル、例えば入力オーディオチャネルのダウンミックス表現、及びオーディオチャネルｘ_１、ｘ_２、．．．、ｘ_Ｍ間の「知覚関連差」を記述する追加パラメータを送信するだけである。符号化スキームは、両耳間キューがその中で重要な役割を果たすので、両耳間キュー符号化（binaural cue coding：ＢＣＣ）に従う。図に示すように、入力オーディオチャネルｘ_１、ｘ_２、．．．、ｘ_Ｍは、和信号としても表される単一のオーディオチャネル４１１にダウンミックスされる。オーディオチャネルｘ_１、ｘ_２、．．．、ｘ_Ｍ間の「知覚的関連差」として、符号化パラメータ４１５、例えばチャネル間時間差（inter-channel time difference：ＩＣＴＤ）、チャネル間レベル差（inter-channel level difference：ＩＣＬＤ）、及び／又はチャネル間コヒーレンス（inter-channel coherence：ＩＣＣ）は、周波数及び時間の関数として推定され、サイド情報として図５に記載のデコーダ５００へ送信される。

【0114】

ＢＣＣを実施するパラメータ生成器４０５は、特定の時間及び周波数分解能で、マルチチャネルオーディオ信号４０１を処理する。周波数分解能は、聴覚系の周波数分解能により大きく刺激される。心理音響学は、空間認知が音響入力信号の臨界帯域表現に基づく可能性が高いことを示唆する。この周波数分解能は、聴覚系の臨界帯域に等しい又はそれに比例する帯域幅を有するサブ帯域を有する可逆フィルタバンクを用いることにより考慮される。重要なことに、送信される和信号４１１は、マルチチャネルオーディオ信号４０１の全ての信号成分を含む。目標は、各信号成分が完全に維持されることである。マルチチャネルオーディオ信号４０１のオーディオ入力チャネルｘ_１、ｘ_２、．．．、ｘ_Ｍの単純な和は、信号成分の増幅又は減衰を生じる場合が多い。言い換えると、「単純な」和において信号成分のパワーは、各チャネルｘ_１、ｘ_２、．．．、ｘ_Ｍの対応する信号成分のパワーの和より大きい又は小さい場合が多い。したがって、ダウンミックス技術は、和信号４１１の中の信号成分のパワーがマルチチャネルオーディオ信号４０１の全ての入力オーディオチャネルｘ_１、ｘ_２、．．．、ｘ_Ｍの中の対応するパワーとほぼ同じになるように、和信号４１１を均等にするダウンミキシング装置４０７を適用することにより用いられる。入力オーディオチャネルｘ_１、ｘ_２、．．．、ｘ_Ｍは、多数のサブ帯域に分解される。このようなサブ帯域の１つは、Ｘ_１［ｂ］と表される（表記を簡略化するためにサブ帯域インデックスは用いられないことに留意する）。同様の処理は、全てのサブ帯域に独立に適用され、通常、サブ帯域信号はダウンサンプリングされる。各入力チャネルの各サブ帯域の信号は加算され、次にパワー正規化係数を乗算される。

【0115】

和信号４１１が与えられると、パラメータ生成器４０５は、ステレオ又はマルチチャネルオーディオ信号４１５を合成し、ＩＣＴＤ、ＩＣＬＤ及び／又はＩＣＣが元のマルチチャネルオーディオ信号４０１の対応するキューを近似するようにする。

【0116】

１つのソースの両耳空間インパルス応答（binaural room impulse response：ＢＲＩＲ）を考慮するとき、聴覚イベントと聴取者包囲と両耳空間インパルス応答の前半と後半部分について推定されたＩＣとの間には関係が存在する。しかしながら、ＢＲＩＲだけでなく一般的信号についてのＩＣ又はＩＣＣとこれらの特性との間の関係は直接的ではない。ステレオ及びマルチチャネルオーディオ信号は、通常、包囲された空間内の録音から生じる反響信号成分の重畳された又は空間的印象を人工的に生成する録音技術者により追加される同時に活性化するソース信号の複雑な混合物を含む。異なる音源信号及びそれらの反響は、時間−周波数平面内の異なる領域を占有する。これは、時間及び周波数の関数として変化するＩＣＴＤ、ＩＣＬＤ、及びＩＣＣにより反映される。この場合、瞬間的ＣＴＤ、ＩＣＬＤ、及びＩＣＣと聴覚イベント方向及び空間的印象との間の関係は、明らかではない。パラメータ生成器４０５の方針は、これらのキューが元のオーディオ信号の対応するキューを近似するように、これらのキューを無分別に合成することである。

【0117】

一実施形態では、パラメトリックオーディオエンコーダ４００は、等価矩形帯域幅の２倍に等しい帯域幅のサブ帯域を有するフィルタバンクを用いる。非公式な聴取は、より高い周波数分解能を選択するとき、ＢＣＣのオーディオ音質が著しく向上しないことを明らかにした。より低い周波数分解能は、デコーダへ送信する必要のあるより少ないＩＣＴＤ、ＩＣＬＤ、及びＩＣＣ値をもたらし、したがってより低いビットレートをもたらすので、好ましい。時間分解能に関し、ＩＣＴＤ、ＩＣＬＤ、及びＩＣＣは、規則的時間間隔で考慮される。一実施形態では、ＩＣＴＤ、ＩＣＬＤ、及びＩＣＣは、約４−１６ｍｓ毎に考慮される。留意すべきことに、キューが非常に短い時間間隔で考慮されない限り、先行音効果は直接考慮されない。

【0118】

参照信号と合成信号との間の頻繁に達成される知覚的に小さな差は、広範なオーディオ空間像属性に関連するキューが、規則的時間間隔でＩＣＴＤ、ＩＣＬＤ、及びＩＣＣを合成することにより暗黙のうちに考慮されることを意味する。これらの空間キューの送信のために必要なビットレートは僅か数ｋｂ／ｓであり、したがってパラメトリックオーディオエンコーダ４００は、単一のオーディオチャネルのために必要なビットレートに近いビットレートでステレオ及びマルチチャネルオーディオ信号を送信できる。図１及び２は、ＩＣＴＤが符号化パラメータ４１５として推定される方法を示す。

【0119】

パラメトリックオーディオエンコーダ４００は、ダウンミックス信号４１１を得るためにマルチチャネルオーディオ信号４０１の少なくとも２つオーディオチャネル信号を重畳するダウンミックス信号生成器４０７と、符号化オーディオ信号４１３を得るためにダウンミックス信号４１１を符号化するオーディオエンコーダ４０９、特にモノエンコーダと、符号化オーディオ信号４１３を対応する符号化パラメータ４１５と結合する結合器４１７と、を有する。

【0120】

パラメトリックオーディオエンコーダ４００は、マルチチャネルオーディオ信号４０１のｘ_１，ｘ_２，．．．，ｘ_Ｍとして表される複数のオーディオチャネル信号のうちの１つのオーディオチャネル信号の符号化パラメータ４１５を生成する。各オーディオチャネル信号ｘ_１，ｘ_２，．．．，ｘ_Ｍは、ｘ_１［ｎ］，ｘ_２［ｎ］，．．．，ｘ_Ｍ［ｎ］として表されるデジタルオーディオチャネル信号値を有するデジタル信号であっても良い。

【0121】

パラメトリックオーディオエンコーダ４００が符号化パラメータ４１５を生成する例示的なオーディオチャネル信号は、信号値ｘ_１［ｎ］を有する第１のオーディオチャネル信号ｘ_１である。パラメータ生成器４０５は、第１のオーディオ信号ｘ１のオーディオチャネル信号値ｘ_１［ｎ］から及び参照オーディオ信号ｘ_２の参照オーディオ信号値ｘ_２［ｎ］から符号化パラメータＩＴＤを決定する。

【0122】

参照オーディオ信号として用いられるオーディオチャネル信号は、例えば第２のオーディオチャネル信号ｘ_２である。同様に、オーディオチャネル信号ｘ_１，ｘ_２，．．．，ｘ_Ｍのうちの任意の他の１つは、参照オーディオ信号として機能しても良い。第１の態様によると、参照オーディオ信号は、符号化パラメータ４１５が生成されるオーディオチャネル信号ｘ_１と等しくないオーディオチャネル信号のうちの別のオーディオチャネル信号である。

【0123】

第２の態様によると、参照オーディオ信号は、複数のマルチチャネルオーディオ信号４０１のうちの少なくとも２つのオーディオチャネル信号から引き出される、例えば第１のオーディオチャネル信号ｘ_１及び第２のオーディオチャネル信号ｘ_２から引き出されるダウンミックスオーディオ信号である。一実施形態では、参照オーディオ信号は、ダウンミキシング装置４０７により生成される和信号とも呼ばれるダウンミックス信号４１１である。一実施形態では、参照オーディオ信号は、エンコーダ４０９により提供される符号化信号４１３である。

【0124】

パラメータ生成器４０５により用いられる例示的な参照オーディオ信号は、信号値ｘ_２［ｎ］を有する第２のオーディオチャネル信号ｘ_２である。

【0125】

パラメータ生成器４０５は、オーディオチャネル信号ｘ_１のオーディオチャネル信号値ｘ_１［ｎ］の周波数変換、及び参照オーディオ信号ｘ_２の参照オーディオ信号値ｘ_２［ｎ］の周波数変換を決定する。参照オーディオ信号は、複数のオーディオチャネル信号のうちの別のオーディオチャネル信号ｘ_２、又は複数のオーディオチャネル信号のうちの少なくとも２つのオーディオチャネル信号ｘ_１、ｘ_２から引き出されるダウンミックスオーディオ信号である。

【0126】

パラメータ生成器４０５は、周波数サブ帯域のサブセットの少なくとも各周波数サブ帯域についてチャネル間差を決定する。各チャネル間差は、チャネル間差が関連付けられる個々の周波数サブ帯域内のオーディオチャネル信号の帯域の限られた信号部分と参照オーディオ信号の帯域の限られた信号部分との間の位相差ＩＰＤ［ｂ］又は時間差ＩＴＤ［ｂ］を示す。

【0127】

パラメータ生成器４０５は、チャネル間差ＩＰＤ［ｂ］、ＩＴＤ［ｂ］の正の値に基づき第１の平均ＩＴＤ_{ｍｅａｎ＿ｐｏｓ}を、及びチャネル間差ＩＰＤ［ｂ］、ＩＴＤ［ｂ］の負の値に基づき第２の平均ＩＴＤ_{ｍｅａｎ＿ｎｅｇ}を決定する。パラメータ生成器４０５は、第１の平均及び第２の平均に基づき、符号化パラメータＩＴＤを決定する。

【0128】

チャネル間位相差（inter-channel phase difference：ＩＣＰＤ）は、信号対の間の平均位相差である。チャネル間レベル差（inter-channel level difference：ＩＣＬＤ）は、両耳間レベル差（interaural level difference：ＩＬＤ）、つまり左及び右耳に入る信号間のレベル差と同じであるが、より一般的には任意の信号対、例えばラウドスピーカ信号対、耳に入る信号対、等の間で定められる。チャネル間コヒーレンス又はチャネル間相関は、両耳間コヒーレンス（inter-aural coherence：ＩＣ）、つまり左及び右耳に入る信号間の類似度と同じであるが、より一般的には任意の信号対、例えばラウドスピーカ信号対、耳に入る信号対、等の間で定められる。チャネル間時間差（inter-channel time difference：ＩＣＴＤ）は、両耳間時間遅延としても表される場合のある両耳間時間差（interaural time difference：ＩＴＤ）、つまり左及び右耳に入る信号間の時間差と同じであるが、より一般的には任意の信号対、例えばラウドスピーカ信号対、耳に入る信号対、等の間で定められる。サブ帯域チャネル間レベル差、サブ帯域チャネル間位相差、サブ帯域チャネル間コヒーレンス、及びサブ帯域チャネル間強度差は、サブ帯域帯域幅に関して以上に指定されたパラメータと関連する。

【0129】

第１のステップで、パラメータ生成器４０５は、時間領域入力チャネル、例えば第１の入力チャネルｘ_１、及び時間領域参照チャネル、例えば第２の入力チャネルｘ_２に時間周波数変換を適用する。ステレオの例では、これらは左及び右チャネルである。好適な実施形態では、時間周波数変換は、高速フーリエ変換（Fast Fourier Transform：ＦＦＴ）又は短時間フーリエ変換（Short Term Fourier Transform）である。代替の実施形態では、時間周波数変換は、コサイン変調フィルタバンク又は複合フィルタバンクである。

【0130】

第２のステップでは、次式のように、パラメータ生成器４０５は、ＦＦＴの各周波数ビン［ｂ］について相互スペクトルを計算する。

【数19】

ここで、ｃ［ｂ］は周波数ビン［ｂ］の相互スペクトルであり、Ｘ_１［ｂ］及びＸ_２［ｂ］は２つのチャネルのＦＦＴ係数である。＊は複素共役を表す。この例では、サブ帯域ｂは、１つの周波数ビン［ｋ］に直接対応し、周波数ビン［ｂ］及び［ｋ］は正確に同じ周波数ビンを表す。

【0131】

代替で、パラメータ生成器４０５は、次式のように、サブ帯域［ｋ］毎に相互スペクトルを計算する。

【数20】

ここで、ｃ［ｂ］はサブ帯域［ｂ］の相互スペクトルであり、Ｘ_１［ｋ］及びＸ_２［ｋ］は２つのチャネル、例えばステレオの例では左及び右チャネルのＦＦＴ係数である。＊は複素共役を表し、ｋ_ｂはサブ帯域［ｂ］の開始ビンである。

【0132】

相互スペクトルは、次式により計算される平滑化バージョンであり得る。

【数21】

ここで、ＳＭＷ１は平滑化因子である。ｉはフレームインデックスである。

【0133】

チャネル間位相差（inter channel phase difference：ＩＰＤ）は、次式のように相互スペクトルに基づきサブ帯域毎に計算される。

【数22】

ここで、演算子∠はｃ［ｂ］の角度を計算するための偏角演算子（argument operator）である。留意すべき事に、相互スペクトルの平滑化の例では、ｃ_ｓｍ［ｂ，ｉ］は、次式のようにＩＰＤ計算のために用いられる。

【数23】

第３のステップで、パラメータ生成器４０５は、ＩＰＤに基づき、各周波数ビン（又はサブ帯域）のＩＴＤを計算する。

【数24】

ここで、ＮはＦＦＴビンの数である。

【0134】

第４のステップで、パラメータ生成器４０５は、ＩＴＤの正及び負値の計数を実行する。正及び負のＩＴＤの平均偏差及び標準偏差は、次式のようにＩＴＤの符号に基づく。

【数25】

ここで、Ｎｂ_ｐｏｓ及びＮｂ_ｎｅｇは、それぞれ正及び負のＩＴＤの数である。Ｍは抽出されるＩＴＤの合計数である。

【0135】

第５のステップで、パラメータ生成器４０５は、平均及び標準偏差に基づき正及び負ＩＴＤからＩＴＤを選択する。選択アルゴリズムは、図３に示される。

【0136】

一実施形態では、パラメータ生成器４０５は、以下を有する。

【0137】

オーディオチャネル信号（ｘ_１）のオーディオチャネル信号値（ｘ_１［ｎ］）の周波数変換（Ｘ_１［ｋ］）を決定し及び参照オーディオ信号（ｘ_２）の参照オーディオ信号値（ｘ_２［ｎ］）の周波数変換（Ｘ_２［ｋ］）を決定するフーリエ変換器のような周波数変換器。ここで、参照オーディオ信号は、複数のオーディオチャネル信号のうちの別のオーディオチャネル信号（ｘ_２）、又は複数のオーディオチャネル信号のうちの少なくとも２つのオーディオチャネル信号（ｘ_１、ｘ_２）から引き出されるダウンミックスオーディオ信号である。

【0138】

周波数サブ帯域のサブセットのうち少なくとも各周波数サブ帯域（ｂ）について、チャネル間差（ＩＰＤ［ｂ］、ＩＴＤ［ｂ］）を決定するチャネル間差決定器。各チャネル間差は、チャネル間差の関連する個々の周波数サブ帯域（ｂ）においてオーディオチャネル信号の帯域の限られた信号部分と参照オーディオ信号の帯域の限られた信号部分と間の位相差（ＩＰＤ［ｂ］）又は時間差（ＩＴＤ［ｂ］）を示す。

【0139】

チャネル間差（ＩＰＤ［ｂ］、ＩＴＤ［ｂ］）の正の値に基づき第１の平均（ＩＴＤ_{ｍｅａｎ＿ｐｏｓ}）を、及びチャネル間差（ＩＰＤ［ｂ］、ＩＴＤ［ｂ］）の負の値に基づき第２の平均（ＩＴＤ_{ｍｅａｎ＿ｎｅｇ}）を決定するパラメータ生成器。

【0140】

第１の平均及び第２の平均に基づき、符号化パラメータ（ＩＴＤ）を決定する符号化パラメータ決定器。

【0141】

図５は、一実施形態によるパラメトリックオーディオデコーダ５００のブロック図を示す。パラメトリックオーディオデコーダ５００は、通信チャネルを介して送信されるビットストリームを入力信号として受信し、復号化マルチチャネルオーディオ信号５０１を出力信号として提供する。パラメトリックオーディオデコーダ５００は、ビットストリーム５０３に結合されビットストリーム５０３を符号化パラメータ５１５及び符号化信号５１３に復号化するビットストリームデコーダ５１７と、ビットストリームデコーダ５１７に結合され符号化信号５１３から和信号５１１を生成するデコーダ５０９と、ビットストリームデコーダ５１７に結合され符号化パラメータ５１５からパラメータ５２１を決定するパラメータ決定器５０５と、パラメータ決定器５０５及びデコーダ５０９に結合されパラメータ５２１及び和信号５１１から復号化マルチチャネルオーディオ信号５０１を合成する合成器５０５と、を有する。

【0142】

パラメトリックオーディオデコーダ５００は、チャネル間のＩＣＴＤ、ＩＣＬＤ、及び／又はＩＣＣが元のマルチチャネルオーディオ信号のＩＣＴＤ、ＩＣＬＤ、及び／又はＩＣＣを近似するように、マルチチャネルオーディオ信号５０１の出力チャネルを生成する。記載のスキームは、モノオーディオ信号を表すために必要なビットレートよりほんの僅かに高いビットレートでマルチチャネルオーディオ信号を表すことができる。したがって、チャネル対の間の推定されたＩＣＴＤ、ＩＣＬＤ、及びＩＣＣは、オーディオ波形より約２桁小さい大きさを有する。低ビットレートだけでなく、後方互換性の側面も関心がある。送信される和信号は、ステレオ又はマルチチャネル信号のモノダウンミックスに対応する。

【0143】

図６は、一実施形態によるパラメトリックステレオオーディオエンコーダ６０１及びデコーダ６０３のブロック図を示す。パラメトリックステレオオーディオエンコーダ６０１は図４に関して説明したようなパラメトリックオーディオエンコーダ４００に対応する。しかし、マルチチャネルオーディオ信号４０１は、左６０５及び右６０７のオーディオチャネルを有するステレオオーディオ信号である。

【0144】

パラメトリックオーディオエンコーダ６０１は、ステレオオーディオ信号６０５、６０７を入力信号として受信し、ビットストリームを出力信号６０９として提供する。パラメトリックオーディオエンコーダ６０１は、ステレオオーディオ信号６０５、６０７に結合され空間パラメータ６１３を生成するパラメータ生成器６１１と、ステレオオーディオ信号６０５、６０７に結合されダウンミックス信号６１７又は和信号を生成するダウンミックス信号生成器６１５と、ダウンミックス信号生成器６１５に結合され符号化オーディオ信号６２１を提供するためにダウンミックス信号６１７を符号化するモノエンコーダ６１９と、パラメータ生成器６１１及びモノエンコーダ６１９に結合され、出力信号６０９を提供するために符号化パラメータ６１３及び符号化オーディオ信号６２１うぃビットストリームに結合するビットストリーム結合器６２３と、を有する。パラメータ生成器６１１では、空間パラメータ６１３は、ビットストリームに多重化される前に、抽出され量子化される。

【0145】

パラメトリックオーディオデコーダ６０３は、ビットストリーム、つまり通信チャネルを介して送信されるパラメトリックオーディオエンコーダ６０１の出力信号６０９を入力信号として受信し、左チャネル６２５及び右チャネル６２７を有する復号化ステレオオーディオ信号を出力信号として提供する。パラメトリックステレオオーディオデコーダ６０３は、受信ビットストリーム６０９に結合されビットストリーム６０９を符号化パラメータ６３１及び符号化信号６３３に復号化するビットストリームデコーダ６２９と、ビットストリームデコーダ６２９に結合され符号化信号６３３から和信号６３７を生成するモノデコーダ６３５と、ビットストリームデコーダ６２９に結合され符号化パラメータ６３１から空間パラメータ６４１を決定する空間パラメータ決定器６３９と、空間パラメータ決定器６３９及びモノデコーダ６３５に結合され空間パラメータ６４１及び和信号６３７から復号化ステレオオーディオ信号６２５を合成する合成器６４３と、を有する。

【0146】

パラメトリックステレオオーディオデコーダ６０３内の処理は、空間パラメータ６３１、例えばチャネル間時間差（inter-channel time difference：ＩＣＴＤ）及びチャネル間レベル差（inter-channel level difference：ＩＣＬＤ）を生成するために、時間及び周波数において適応的に、遅延を導入し及びオーディオ信号のレベルを変更できる。さらに、パラメトリックステレオオーディオデコーダ６０３は、チャネル間コヒーレンス（inter-channel coherence：ＩＣＣ）合成のために効率的に時間適応型フィルタリングを実行する。一実施形態では、パラメトリックステレオエンコーダは、計算の複雑性の低い両耳間キュー符号化（binaural cue coding：ＢＣＣ）を効率的に実施するために、短時間フーリエ変換（ＳＴＦＴ）に基づくフィルタバンクを用いる。パラメトリックステレオオーディオエンコーダ６０１内の処理は、計算の複雑性が低く及び遅延が小さく、パラメトリックステレオオーディオ符号化をリアルタイムアプリケーションのためのマイクロプロセッサ又はデジタル信号プロセッサ上での安価な実装に適するものにする。

【0147】

図６に示したパラメータ生成器６１１は、空間キューの量子化及び符号化が追加されている点を除き、図４に関して説明した対応するパラメータ生成器４０５と機能的に同じである。和信号６１７は、従来のモノオーディオコーダ６１９で符号化される。一実施形態では、パラメトリックステレオオーディオエンコーダ６０１は、ＳＴＦＴに基づく時間−周波数変換を用いて、ステレオオーディオチャネル信号６０５、６０７を周波数領域に変換する。ＳＴＦＴは、入力信号ｘ（ｎ）のウインドウ化部分に離散フーリエ変換（discrete Fourier transform：ＤＦＴ）を適用する。Ｎ個のサンプルの信号フレームは、Ｎ点ＤＦＴが適用される前に、長さＷのウインドウを乗算される。隣接するウインドウは、重なり合い、Ｗ／２サンプルだけシフトされる。ウインドウは、重なり合うウインドウが合計で一定値１になるよう、選択される。したがって、逆変換では、追加ウインドウ化は必要ない。Ｗ／２個のサンプルの連続フレーム分の時間前進を有するサイズＮの単純な逆ＤＦＴは、デコーダ６０３で用いられる。スペクトルが変更されない場合、重なり合い／追加により完全な再構成が達成される。

【0148】

ＳＴＦＴの均一なスペクトル分解能は人間の知覚に良好に適応しないので、ＳＴＦＴの均等に空間の空けられたスペクトル係数出力は、知覚により良好に適応された帯域幅を有するＢ個の重なり合わない区画にグループ化される。１つの区画は、図４に関連する説明に従って、１つの「サブ帯域」に概念的に対応する。代替の実施形態では、パラメトリックステレオオーディオエンコーダ６０１は、不均一フィルタバンクを用いて、ステレオオーディオチャネル信号６０５、６０７を周波数領域に変換する。

【0149】

一実施形態では、ダウンミキサ３１５は、次式により、等化和信号Ｓｍ（ｋ）６１７の１つの区画ｂの又は１つのサブ帯域ｂのスペクトル係数を決定する。

【数26】

ここで、Ｘｃ，ｍ（ｋ）は入力オーディオチャネル６０５、６０７のスペクトルであり、ｅｂ（ｋ）は次式により計算される利得係数である。

【数27】

ここで、区画パワー推定は、次式の通りである。

【数28】

サブ帯域信号の和の減衰が顕著なとき、大きな利得係数から生じるアーティファクトを防ぐために、利得係数ｅｂ（ｋ）は６ｄＢまでに制限される。つまり、ｅｂ（ｋ）≦２である。

【0150】

以上から、当業者には、種々の方法、システム、記録媒体上のコンピュータプログラム、等が提供されることが明らかであろう。

【0151】

本開示は、実行されると少なくとも１つのコンピュータに本願明細書に記載のステップを実行及び計算ステップを実行させるコンピュータ実行可能コード又はコンピュータ実行可能命令を含むコンピュータプログラム製品もサポートする。

【0152】

本開示は、本願明細書に記載のステップを実行及び計算ステップを実行するよう構成されるシステムもサポートする。

【0153】

多くの代替、変更及び変形が、上述の教示を踏まえて当業者に明らかであろう。勿論、当業者は、本願明細書の記載以外に本発明の多数の適用が存在することを直ちに理解する。本発明は１又は複数の特定の実施形態を参照して説明されたが、当業者は、本発明の精神及び範囲から逸脱することなく、それらに多くの変更が行われ得ることを理解する。したがって、添付の請求の範囲及びそれらの等価物の範囲内で本発明は実施され得ること又は特に本願明細書に記載されたように実施され得ることが理解されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】