特許 6859423 チャネル間時間差を推定する装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6859423

(24)【登録日】2021年3月29日

(45)【発行日】2021年4月14日

(54)【発明の名称】チャネル間時間差を推定する装置及び方法

(51)【国際特許分類】

   G10L 19/008 20130101AFI20210405BHJP

   G10L 25/51 20130101ALI20210405BHJP

【ＦＩ】

   G10L19/008

   G10L25/51

【請求項の数】14

【全頁数】38

(21)【出願番号】特願2019-235359(P2019-235359)

(22)【出願日】2019年12月26日

(62)【分割の表示】特願2018-538602(P2018-538602)の分割

【原出願日】2017年1月20日

(65)【公開番号】特開2020-60788(P2020-60788A)

(43)【公開日】2020年4月16日

【審査請求日】2020年1月16日

(31)【優先権主張番号】16152453.3

(32)【優先日】2016年1月22日

(33)【優先権主張国】EP

(31)【優先権主張番号】16152450.9

(32)【優先日】2016年1月22日

(33)【優先権主張国】EP

(73)【特許権者】

【識別番号】500341779

【氏名又は名称】フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン

(74)【代理人】

【識別番号】100085497

【弁理士】

【氏名又は名称】筒井 秀隆

(72)【発明者】

【氏名】バイエル，シュテファン

(72)【発明者】

【氏名】フォトポーロー，エレニ

(72)【発明者】

【氏名】ムルトルス，マルクス

(72)【発明者】

【氏名】フッハス，ギローム

(72)【発明者】

【氏名】ラベリ，エマニュエル

(72)【発明者】

【氏名】シュネル，マルクス

(72)【発明者】

【氏名】デーラ，シュテファン

(72)【発明者】

【氏名】イェーゲルス，ヴォルフガング

(72)【発明者】

【氏名】ディーツ，マルチン

(72)【発明者】

【氏名】マルコビッチ，ゴラン

【審査官】 渡部 幸和

(56)【参考文献】

【文献】 特許第６６４１０１８（ＪＰ，Ｂ２）

【文献】 米国特許出願公開第２０１３／０３０１８３５（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００９／０３１３０２８（ＵＳ，Ａ１）

【文献】 特表２０１５−５１８１７６（ＪＰ，Ａ）

【文献】 国際公開第２００７／０５２６１２（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｌ １９／００−１９／２６

Ｇ１０Ｌ ２５／００−２５／９３

(57)【特許請求の範囲】

【請求項1】

第１チャネル信号と第２チャネル信号との間のチャネル間時間差を推定する装置であって、ある時間ブロックにおける前記第１チャネル信号とその時間ブロックにおける前記第２チャネル信号とから、前記第１チャネル信号又は前記第２チャネル信号のスペクトル特性を使用して、その時間ブロックについての相関スペクトルを時間に亘って平滑化し、平滑化された相関スペクトルを取得し、かつ前記平滑化された相関スペクトルを処理して、前記チャネル間時間差を取得する、処理装置を備える、
装置。

【請求項2】

前記処理装置は、前記平滑化された相関スペクトルを処理するプロセッサ（１０４０）を備える、
請求項１に記載の装置。

【請求項3】

前記処理装置は、ノイズ状信号の場合に平滑化が弱く、調性信号の場合に平滑化が強くなるよう、前記平滑化を実行するよう構成される、
請求項１又は２に記載の装置。

【請求項4】

前記プロセッサ（１０４０）は、前記平滑化された相関スペクトルの振幅を使用して、前記平滑化された相関スペクトルを正規化（４５６）するよう構成される、
請求項２に記載の装置。

【請求項5】

前記プロセッサ（１０４０）は、
前記平滑化された相関スペクトル又は平滑化され正規化された相関スペクトルの時間ドメイン表現を計算（１０３１）し、
前記チャネル間時間差を決定するために、前記時間ドメイン表現を分析（１０３２）するよう構成される、
請求項２に記載の装置。

【請求項6】

前記プロセッサ（１０４０）は、前記時間ドメイン表現をローパスフィルタリング（４５８）し、そのローパスフィルタリングの結果をさらに処理（１０３３）するよう構成される、
請求項５に記載の装置。

【請求項7】

前記プロセッサ（１０４０）は、前記平滑化された相関スペクトルから決定された時間ドメイン表現内でピーク探索又はピーク・ピッキング操作を実行することにより、前記チャネル間時間差の決定を実行するよう構成される、
請求項２に記載の装置。

【請求項8】

前記処理装置は、前記スペクトル特性を推定するスペクトル特性推定部（１０１０）と、前記相関スペクトルを平滑化する平滑化フィルタ（１０３０）と、を備え、
前記スペクトル特性推定部（１０１０）は、前記スペクトル特性として、前記スペクトルのノイズ性又は調性を決定するよう構成され、
前記平滑化フィルタ（１０３０）は、第１の低いノイズ性特性又は第１の高い調性特性の場合に第１平滑度を用いて時間にわたって強い平滑化を適用し、又は第２の高いノイズ性特性又は第２の低い調性特性の場合に第２平滑度を用いて時間にわたって弱い平滑化を適用するよう構成され、
前記第１平滑度は前記第２平滑度よりも大きく、前記第１のノイズ性特性は前記第２のノイズ性特性に比べてノイズ性が低く、又は、前記第１の調性特性は前記第２の調性特性に比べて調性が高い、
請求項１に記載の装置。

【請求項9】

前記処理装置は、前記スペクトル特性を推定するスペクトル特性推定部（１０１０）を備え、
前記スペクトル特性推定部（１０１０）は、前記スペクトル特性として、前記第１チャネル信号のスペクトルの第１のスペクトル平坦尺度と前記第２チャネル信号の第２スペクトルの第２のスペクトル平坦尺度とを計算し、
スペクトル平坦尺度の最大値を選択すること、スペクトル平坦尺度間の重み付き平均又は非重み付き平均を決定すること、又はスペクトル平坦尺度の最小値を選択することにより、前記第１と第２のスペクトル平坦尺度から前記第１チャネル信号又は第２チャネル信号のスペクトル特性を決定するよう構成される、
請求項１に記載の装置。

【請求項10】

前記処理装置は、前記相関スペクトルを平滑化する平滑化フィルタ（１０３０）を備え、
前記平滑化フィルタ（１０３０）は、前記時間ブロックからのある周波数についての相関スペクトル値と、少なくとも１つの過去の時間ブロックからの前記周波数についての相関スペクトル値との重み付き結合によって、前記周波数について平滑化された相関スペクトル値を計算するよう構成され、前記重み付き結合の重みファクタは前記第１チャネル信号又は第２チャネル信号のスペクトル特性によって決定される、
請求項１に記載の装置。

【請求項11】

前記プロセッサ（１０４０）は、
前記平滑化された相関スペクトルから導出された時間ドメイン表現内でピーク探索操作を実行し、
前記時間ドメイン表現から可変しきい値を決定（１０３４）し、
あるピークを前記可変しきい値と比較（１０３５）し、前記チャネル間時間差は前記可変しきい値と所定の関係にあるピークと関連するタイムラグとして決定される、
請求項２に記載の装置。

【請求項12】

第１チャネル信号と第２チャネル信号との間のチャネル間時間差を推定する方法であって、
ある時間ブロックにおける前記第１チャネル信号とその時間ブロックにおける前記第２チャネル信号とから、前記第１チャネル信号又は前記第２チャネル信号のスペクトル特性を使用して、その時間ブロックについての相関スペクトルを時間に亘って平滑化し、平滑化された相関スペクトルを取得するステップ（１０３０）と、
前記平滑化された相関スペクトルを処理して、前記チャネル間時間差を取得するステップ（１０４０）と、
を備える方法。

【請求項13】

前記平滑化は、ノイズ状信号の場合に平滑化が弱く、調性信号の場合に平滑化が強くなるよう実行される、
請求項１２に記載の方法。

【請求項14】

コンピュータ又はプロセッサ上で作動するとき、請求項１２又は１３に記載の方法を実行するためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ステレオ処理又は一般的には多チャネル処理に関し、ここで多チャネルとは、ステレオ信号の場合の左チャネル及び右チャネルのように２個のチャネルを有するか、又は３個、４個、５個もしくは他の任意の個数など、３個以上のチャネルを有するものである。

【背景技術】

【0002】

ステレオスピーチ及び特に会話のステレオスピーチは、立体音響音楽の記憶や配信に比べて遥かに小さな科学的注目度しか得られて来なかった。実際、スピーチ通信においては、今日でもモノラル音響の伝送が主に使用されている。しかしながら、ネットワーク帯域幅及び容量の増加に伴い、ステレオ音響技術に基づく通信はさらに普及し、より良好なリスニング経験をもたらすであろうと期待されている。

【0003】

ステレオ音響オーディオ材料の効率的な符号化は、効率的な記憶又は配信のための音楽の知覚的オーディオ符号化において、長年研究されてきた。波形保存が重要となる高いビットレートにおいては、中央／サイド（Ｍ／Ｓ）ステレオとして知られる和−差ステレオ(sum-difference stereo)が長年使用されてきた。低いビットレートについては、インテンシティステレオ及び最近ではパラメトリックステレオ符号化が導入されてきた。ＨｅＡＡＣｖ２及びＭｐｅｇＵＳＡＣのような種々の標準においては、最新の技術が採用されている。そのような技術では、２チャネル信号のダウンミクスを生成し、コンパクトな空間サイド情報を伴う。

【0004】

ジョイントステレオ符号化は通常、高い周波数分解能、即ち低い時間分解能に亘って構築され、よってその信号の時間−周波数変換は、殆どのスピーチコーダにおいて実行される低遅延及び時間ドメインの処理に対して互換性を持たない。さらに、生成されるビットレートは通常は高い。

【0005】

他方、パラメトリックステレオは、前処理部として符号器の最前端に配置されまた後処理部として復号器の最後端に配置される、追加のフィルタバンクを使用する。従って、パラメトリックステレオは、ＭＰＥＧ ＵＳＡＣにおいて実施されているように、ＡＣＥＬＰのような従来のスピーチコーダとともに使用され得る。更に、聴覚的シーンのパラメトリック化は、最少量のサイド情報を用いて達成されることができ、これは低ビットレートに適している。しかしながら、パラメトリックステレオは、例えばＭＰＥＧ ＵＳＡＣの場合のように、低遅延のために特異に設計されたものではなく、また、様々な会話シナリオに対して一貫した品質を提供するものでもない。空間的シーンの従来のパラメトリック表現において、ステレオイメージの幅は、２つの合成されたチャネルに適用されるデコリレータにより人工的に再生され、符号器により計算されかつ伝送されるチャネル間コヒーレンス（ＩＣｓ）パラメータにより制御される。殆どのステレオスピーチにとって、ステレオイメージの幅を広げるこの方法は、かなり直接音であるスピーチの自然環境を再現するには適切ではない。なぜならスピーチは、空間内におけるある特定位置に位置する単一の音源により（時には室内からの反響も伴って）生成されるからである。対照的に、楽器はスピーチよりも自然な幅が各段に大きいので、チャネルをデコリレートすることによってより良好に模倣され得る。

【0006】

更に、マイクロホンが互いに距離を置いて配置されるＡ−Ｂ方式やバイノーラルの録音又はレンダリングの場合のように、スピーチが非同時マイクロホン(non-coincident microphones)を用いて録音される場合にも問題が発生する。このようなシナリオは、テレカンファランス（teleconferences）においてスピーチを捕捉する場合や、多点制御ユニット（ＭＣＵ）において遠方スピーカを用いて仮想の聴覚シーンを創造する場合に想定され得る。そのような場合、１つのチャネルからの信号の到達時刻は他のチャネルとは異なり、これは、Ｘ−Ｙ（インテンシティ録音）又はＭ−Ｓ（中央−サイド録音）のような同時マイクロホン(coincident microphones)で実行された録音と同様ではない。そのような時間整列されていない２つのチャネルのコヒーレンスの計算は、誤って推定される恐れがあり、結果的に人工的な環境合成の失敗を招きかねない。

【0007】

ステレオ処理に関する先行技術文献は、特許文献１又は特許文献２である。

【0008】

特許文献３は、トランスペアレントに近い又はトランスペアレントな多チャネル符号器／復号器のスキームを開示している。多チャネル符号器／復号器のスキームは、波形タイプの残差信号を追加的に生成する。この残差信号は１つ以上の多チャネルパラメータと一緒に復号器へと伝送される。純粋にパラメトリックな多チャネル復号器とは対照的に、強化された復号器は、追加的な残差信号に起因して、改善された出力品質を有する多チャネル出力信号を生成する。符号器側では、左チャネル及び右チャネルの両方が１つの分析フィルタバンクによってフィルタリングされる。次に、各サブバンドについて、１つのサブバンドのアライメント値とゲイン値とが計算される。そのようなアライメントは、更なる処理の前に実行される。復号器側では、デ・アライメント及びゲイン処理が実行され、対応する信号が合成フィルタバンクによって合成されて、復号化済み左信号と復号化済み右信号とが生成される。

【0009】

そのようなステレオ処理アプリケーションにおいて、第１チャネル信号と第２チャネル信号との間のチャネル間又はチャネル間時間差の計算は、広帯域時間アライメント手順を典型的に実行するために、有用である。しかしながら、第１チャネルと第２チャネルとの間のチャネル間時間差の使用に関して他のアプリケーションが存在する。これらのアプリケーションは、パラメトリックデータの記憶又は伝送の中に存在し、ステレオ／多チャネル処理は、ほんの数例を挙げれば、２つのチャネルの時間アライメント、室内における話者位置の決定のための到達推定の時間差、ビーム形成空間フィルタリング、前景／背景分解、又は例えば音響的三角法(acoustic triangulation)による音源の配置、などを含む。

【0010】

そのような全てのアプリケーションにとって、第１チャネル信号と第２チャネル信号との間のチャネル間時間差の効率的で正確かつロバストな決定が必要となる。

【0011】

そのような決定は、用語「ＧＣＣ−ＰＨＡＴ」の下で、又は言い換えれば一般化相互相関(generalized cross-ｃorrelation)の位相変換として、存在している。典型的には、相互相関スペクトルが２つのチャネル信号間で計算され、次に、その相互相関スペクトルに重み付け関数が適用されて所謂一般化相互相関スペクトルが取得され、その後、その一般化相互相関スペクトルに対して逆ＤＦＴのような逆スペクトル変換を実行して、時間ドメイン表現を発見する。この時間ドメイン表現は、あるタイムラグについての値を表現しており、その場合、その時間ドメイン表現の最高のピークは、典型的には２つのチャネル信号間の時間遅延又は時間差、すなわちチャネル間の時間遅延の差に対応している。

【0012】

しかしながら、例えば如何なる反響又は背景ノイズのない明瞭なスピーチとは異なる信号内において特に、この一般的な技術のロバスト性は最適でないことが分かってきた。

【先行技術文献】

【特許文献】

【0013】

【特許文献1】米国特許第５，４３４，９４８号

【特許文献2】米国特許第８，８１１，６２１号

【特許文献3】国際公開第２００６／０８９５７０Ａ１号

【発明の概要】

【発明が解決しようとする課題】

【0014】

したがって、本発明の目的は、２つのチャネル信号間のチャネル間時間差を推定するための改善された概念を提供することである。

【課題を解決するための手段】

【0015】

この目的は、請求項１に記載のチャネル間時間差を推定する装置、請求項１５に記載のチャネル間時間差を推定する方法、又は請求項１６に記載のコンピュータプログラムにより達成される。

【0016】

本発明は、第１チャネル信号又は第２チャネル信号のスペクトルのスペクトル特性によって制御される、相互相関スペクトルの時間にわたる平滑化は、チャネル間時間差決定のロバスト性と精度とを有意に改善する、という知見に基づいている。

【0017】

望ましい実施形態では、スペクトルの調性(tonality)／ノイズ特性が決定され、調性状(tone-like)信号の場合には平滑化がより強く、一方でノイズ状信号の場合には平滑化がそれより弱い。

【0018】

好ましくは、スペクトル平坦尺度が使用され、調性状信号の場合には、スペクトル平坦尺度が低く、平滑化がより強くなるであろうし、ノイズ状信号の場合には、スペクトル平坦尺度は約１又は１近傍のように高く、平滑化が弱くなるであろう。

【0019】

このように、本発明に従えば、第１チャネル信号と第２チャネル信号との間のチャネル間時間差を推定する装置は、ある時間ブロックにおける第１チャネル信号とその時間ブロック第２チャネル信号とから、その時間ブロックについての相互相関スペクトルを計算する計算部を含む。この装置は、前記時間ブロックについての第１チャネル信号と第２チャネル信号とのスペクトルの特性を推定するスペクトル特性推定部を含み、さらにそのスペクトル特性を使用して相互相関スペクトルを時間に亘って平滑化し、平滑化された相互相関スペクトルを取得する平滑化フィルタをさらに含む。次に、平滑化された相互相関スペクトルは、チャネル間時間差パラメータを得るために、プロセッサによってさらに処理される。

【0020】

平滑化された相互相関スペクトルのさらなる処理に関連する好ましい実施形態について、適応型しきい値処理作動が実行され、その中で平滑化された一般化相互相関スペクトルの時間ドメイン表現が可変しきい値を決定するために分析され、その可変しきい値はその時間ドメイン表現に依存し、時間ドメイン表現のピークは可変しきい値と比較される。チャネル間時間差は、例えば前記しきい値より大きいような前記しきい値と所定の関係にあるピークに関連したタイムラグとして決定される。

【0021】

一実施形態では、可変しきい値は、時間ドメイン表現の値の最大の例えば１０パーセント内にある１つの値の整数倍に等しい値として決定されるか、又は代替的に、可変決定のためのさらなる実施形態では、可変しきい値は可変しきい値とその値との乗算によって計算され、その値は第１と第２チャネル信号の信号対ノイズ比特性に依存し、その値は高い信号対ノイズ比についてより高くなり、かつ低い信号対ノイズ比についてはより低くなる。

【0022】

前述のように、チャネル間時間差の計算は、多くの異なるアプリケーションで使用することができ、例えば、パラメトリックデータの記憶又は伝送、ステレオ／多チャネル処理／符号化、２つのチャネルの時間アライメント、２つのマイクロホン又は公知のマイクロホン設定を有するある室内における話者位置の決定のための到来推定の時間差、ビーム形成のため、空間フィルタリング、例えば２つ又は３つの信号の時間差に基づいた音響的三角法による前景／背景分解又は音源の配置決定、などである。

【0023】

しかしながら、以下では、チャネル間時間差計算の好ましい実施及び使用を、少なくとも２つのチャネルを有する多チャネル信号の符号化のプロセスにおいて、２つのステレオ信号の広帯域時間アライメントの目的で説明する。

【0024】

少なくとも２つのチャネルを持つ多チャネル信号を符号化する装置は、一方で１つの広帯域アライメント・パラメータと他方で複数の狭帯域アライメント・パラメータとを決定する、パラメータ決定部を含む。これらパラメータは、それらのパラメータを使用して少なくとも２つのチャネルをアライン（整列：aligning）してアライン済みチャネルを取得するために、信号アライナによって使用される。次に、信号プロセッサは、アライン済みチャネルを使用して中央信号とサイド信号とを計算し、その後で中央信号とサイド信号とは符号化されて符号化済み出力信号内へと供給されるが、その出力信号は、パラメトリックサイド情報として、さらに広帯域アライメント・パラメータと複数の狭帯域アライメント・パラメータとを有する。

【0025】

復号器側では、信号復号器は、符号化済み中央信号及び符号化済みサイド信号を復号化し、復号化済み中央及びサイド信号を得る。これらの信号は、次いで、復号済み第１チャネル及び復号化済み第２チャネルを計算するために、信号プロセッサによって処理される。これらの復号化済みチャネルは、符号化済み多チャネル信号に含まれた、広帯域アライメント・パラメータに関する情報と複数の狭帯域パラメータに関する情報とを用いてデ・アラインされ、復号化済み多チャンネル信号を得る。

【0026】

特定の実施態様では、広帯域アライメント・パラメータは、チャネル間時間差パラメータであり、複数の狭帯域アライメント・パラメータは、チャンネル間位相差である。

【0027】

本発明は以下のような知見に基づいている。すなわち、特に２人以上の話者がいるスピーチ信号についてだけでなく、複数のオーディオ音源がある他のオーディオ信号についても、両方が多チャネル信号の２つのチャネル内へとマッピングされるオーディオ音源同士の異なる位置は、一方または両方のチャネルのスペクトル全体に適用されるチャネル間時間差パラメータのような広帯域アライメント・パラメータを使用して説明され得る、という知見である。この広帯域アライメント・パラメータに加えて、サブバンドごとに異なる複数の狭帯域アライメント・パラメータが、さらに両方のチャンネルにおける信号の良好なアライメントをもたらすことが分かってきた。

【0028】

このように、各サブバンドにおいて同じ時間遅延に対応する広帯域アライメントと、異なるサブバンドに対して異なる位相回転に対応する位相アライメントとは、２つのチャネルが後に１つの中央／サイド表現へと変換されかつ更なる符号化を施される前に、両チャンネルの最適なアライメントをもたらす。最適なアライメントが得られたという事実に起因して、一方で中央信号のエネルギーができる限り高く、他方でサイド信号のエネルギーが可能な限り小さくなり、それにより最低の可能なビットレート又はあるビットレートについて最高の可能なオーディオ品質を持つ最適な符号化結果を得ることができる。

【0029】

具体的には、会話のスピーチ材料の場合、典型的には、２つの異なる場所で活性である話者がいるように思われる。さらに、この状況は、通常、1人の話者が第１の位置から話しており、第２の話者が第２の場所または位置から話しているような場合である。第１（左)チャネルおよび第２（右)チャネルのような２つのチャネル上の異なる位置の影響は、異なる到達時間、したがって異なる位置に起因する両チャンネル間のある時間遅延によって反映され、この時間遅延は、時々刻々変化する。一般に、この影響は、広帯域アライメント・パラメータによって指定することが可能な広帯域デ・アライメントとして２つのチャンネル信号に反映される。

【0030】

一方で、特に残響又は他のノイズ源から到来する他の効果は、双方のチャネルの広帯域の異なる到達時間または広帯域デ・アライメントに重畳される、個々の帯域のための個々の位相アライメント・パラメータにより説明することができる。

【0031】

このことを考慮すると、１つの広帯域アライメント・パラメータとその広帯域アライメント・パラメータの上に複数の狭帯域アライメント・パラメータとの双方の使用は、良好で非常にコンパクトな中央／サイド表現を取得するために符号化側での最適なチャネルアライメントをもたらし、その一方で、復号器側の復号化の後の対応するデ・アライメントは、あるビットレートでの良好なオーディオ品質をもたらすか、又はある所望のオーディオ品質についての小さなビットレートをもたらす。

【0032】

本発明の利点は、既存のステレオ符号化方式よりも、ステレオスピーチの変換に関してはるかに好適な新たなステレオ符号化方式を提供することである。本発明によれば、パラメトリックステレオ技術およびジョイントステレオ符号化技術は、スピーチ音源の場合だけでなく他のオーディオ音源の場合においても、多チャネル信号のチャネル同士に発生するチャネル間時間差を利用することによって、綿密に結合される。

【0033】

複数の実施形態が、後述のように有用な利点を提供する。

【0034】

この新たな方法は、従来のＭ／Ｓステレオとパラメトリックステレオからの要素を混合するハイブリッド手法である。従来のＭ／Ｓでは、チャネルは中央及びサイド信号を生成するために、受動的にダウンミックスされる。その処理は、チャネルを合計し差分化する前の主成分分析（ＰＣＡ）として知られている、Karhunen-Loeve変換(KLT)を用いてチャネルを回転させることにより、拡張され得る。中央信号は一次コア符号器により符号化され、サイド信号は二次符号器へと送られる。進化型のＭ／Ｓステレオは、現在または以前のフレームで符号化された中央チャネルによるサイド信号の予測をさらに使用することができる。回転及び予測の主な目的は、サイド信号のエネルギーを最小にしながら、中央信号のエネルギーを最大にすることである。Ｍ／Ｓステレオは波形保存型であり、この態様では、任意のステレオシナリオに対して非常にロバストであるが、ビット消費量の点で非常に消耗し得る。

【0035】

低ビットレートでの最高効率を得るために、パラメトリックステレオは、チャンネル間レベル差（ＩＬＤ）、チャンネル間位相差（ＩＰＤ）、チャンネル間時間差（ＩＴＤ）およびチャンネル間コヒーレンス（ＩＣ）などのパラメータを計算し、符号化する。これらは、ステレオイメージを簡潔に表すものであり、聴覚的シーン（音源定位、パニング、ステレオ幅など）のキューである。この場合の目的は、ステレオシーンをパラメータ化し、復号器に存在し得る１つのダウンミックス信号だけを符号化し、送信されたステレオ・キューの助けを借りて再度空間化されるようにすることである。

【0036】

本発明の手法は、２つの概念を混合した。第１に、ステレオ・キューＩＴＤおよびＩＰＤが計算され、２つのチャンネルに適用される。その目的は、広帯域における時間差と異なる周波数帯域における位相とを表現することである。２つのチャンネルは、次に時間と位相においてアラインされ、次にＭ／Ｓ符号化が行われる。ＩＴＤおよびＩＰＤは、ステレオスピーチをモデル化するために有用であることが判明しており、Ｍ／ＳにおけるＫＬＴベースの回転の良好な代替品である。純粋なパラメトリック符号化とは異なり、周囲環境は、ＩＣによってモデル化されるのではなく、符号化されおよび／または予測されたサイド信号によって直接的にモデル化される。スピーチ信号を扱う場合には特に、この手法はよりロバストであることが判明した。

【0037】

ＩＴＤの計算および処理は、本発明の重要な部分である。ＩＴＤは、既に従来技術のバイノーラルキュー符号化（ＢＣＣ）で利用されていたが、ＩＴＤが一旦経時的に変化すれば、非効率的であった。この欠点を回避するために、２つの異なるＩＴＤ間の遷移を平滑化し、１人の話者から異なる場所に位置する別の話者へと継ぎ目なく切り替えることができるように、特異な窓掛けが設計されていた。

【0038】

さらなる実施形態は、符号器側で、複数の狭帯域アライメント・パラメータを決定するパラメータ決定が、以前に決定された広帯域アライメント・パラメータを用いて既にアラインされているチャネルを使用して実行される、手順に関係する。

【0039】

これに対応して、典型的には単一である広帯域アライメント・パラメータを用いる広帯域のデ・アライメントが実行される前に、復号器側で狭帯域のデ・アライメントが実行される。

【0040】

更なる実施形態において、符号器側において、さらに重要なことに復号器側においても、何らかの種類の窓掛けおよびオーバーラップ加算操作、又は１つのブロックから次のブロックまでの任意の種類のクロスフェードが、全てのアライメントに続いて、具体的には広帯域アライメント・パラメータを用いた時間アライメントに続いて実行される。このことは、時間または広帯域アライメント・パラメータがブロックからブロックへと変化する際に、クリックのような如何なる可聴アーチファクトをも回避する。

【0041】

他の実施形態では、異なるスペクトル分解能が適用される。特に、チャネル信号は、ＤＦＴスペクトルのような高い周波数分解能を有する時間−スペクトル変換が施され、一方で、狭帯域アライメント・パラメータのようなパラメータは、低いスペクトル解像度を有するパラメータ帯域のために決定される。典型的に、１つのパラメータ帯域は信号スペクトルの他に２つ以上のスペクトル線を有し、典型的にＤＦＴスペクトルからの１組のスペクトル線を有する。さらに、聴覚心理学的問題に対処するために、パラメータ帯域は低周波数から高周波数にかけて増大する。

【0042】

さらなる実施形態は、チャネル間レベル差のようなレベルパラメータの追加的使用、又はステレオ充填パラメータ（stereo filling parameters）等のようなサイド信号を処理するための他の手順に関係する。符号化済みサイド信号は、実際のサイド信号自体によって表現され得るか、又は現フレームまたは任意の他のフレームの中央信号を使用して実行される予測残差信号によって表現され得るか、又は帯域のあるサブセットのみにおけるサイド信号又はサイド予測残差信号と残りの帯域のみについての予測パラメータとによって表現され得るか、又は如何なる高い周波数分解能サイド信号情報をも有しない全ての帯域に関する予測パラメータとによってさえ表現され得る。従って、上述の最後の代替案では、符号化済みサイド情報は、各パラメータ帯域についての予測パラメータによって、又はパラメータ帯域のサブセットによってのみ表現され、残りのパラメータ帯域については、オリジナルサイド信号に関する如何なる情報も存在しない。

【0043】

さらに、広帯域信号の全帯域を反映する全てのパラメータ帯域についてではなく、例えばパラメータ帯域の下位５０％のような低い帯域のあるセットについてのみ、複数の狭帯域アライメント・パラメータを有することが好ましい。一方、ステレオ充填パラメータは、これら幾つかの低い帯域に対しては使用されず、その理由は、これら帯域についてはサイド信号自体または予測残差信号が送信され、少なくとも低い帯域については波形正確型の表現（waveform-correct representation）が利用可能であることが確保されるからである。他方で、ビットレートをさらに低減するために、サイド信号は、高い帯域については波形正確型の表現では送信されず、このサイド信号は典型的にステレオ充填パラメータによって表される。

【0044】

また、同一のDFTスペクトルに基づく１つの同じ周波数ドメイン内で、全体のパラメータ分析とアライメントとを行うことが好ましい。この目的のために、チャネル間時間差の決定のために、位相変換(GCC-PHAT)技術を用いた汎用の相互相関を使用することが、さらに好ましい。この手順の好ましい実施形態では、平滑化がノイズ状信号の場合に弱くなり、かつ調性状(tone-like)信号の場合により強くなるように、スペクトル形状に関する情報、好ましくはスペクトル平坦尺度である情報に基づいた相関スペクトルの平滑化が実行される。

【0045】

さらに、特別な位相回転を行うことが望ましく、そこではチャネル振幅が考慮される。特に、位相回転は、符号器側でのアライメントの目的で、かつ当然ながら復号器側でのデ・アライメントの目的で、２つのチャネル間で分配され、より高い振幅を有するチャネルは主要なチャネルであるとみなされ、かつ位相回転による影響が抑制され、すなわち低い振幅を持つチャネルよりも小さく回転されるであろう。

【0046】

さらに、両方のチャンネルのエネルギーから導出され、かつ中央／サイド計算がエネルギーに強く影響を与え過ぎないことを確実にするためある範囲に制限されたスケーリング係数を持つエネルギースケーリングを用いて、和差演算が実行される。しかしながら、一方では、本発明の目的のため、この種のエネルギー保全は、先行技術の方法の場合のように重要ではないことに留意すべきであり、なぜなら時間と位相は予めアラインされているからである。従って、左と右からの中央信号とサイド信号との計算（符号器側）、又は中央とサイドからの左信号と右信号との計算（復号器側）に起因する、エネルギー変動は従来に比べて重要ではない。

【0047】

以下に、添付図面を参照しながら本発明の好ましい実施形態を説明する。

【図面の簡単な説明】

【0048】

【図1】多チャネル信号を符号化する装置の好ましい実施形態のブロック図である。

【図2】符号化済み多チャネル信号を復号化する装置の好ましい実施形態である。

【図3】所定の実施形態に係る種々の周波数分解能及び他の周波数関連の態様を示す。

【図4a】チャネルをアラインするために符号化装置内で実行される処理のフローチャートを示す。

【図4b】周波数ドメインで実行される手順の好ましい実施形態を示す。

【図4c】ゼロパディング部分及びオーバーラップ領域を有する分析窓を使用して符号化装置内で実行される手順の好ましい実施形態を示す。

【図4d】符号化装置内で実行される追加的な手順についてのフローチャートを示す。

【図4e】チャネル間時間差推定の好ましい実施形態を示すフローチャートである。

【図5】符号化装置内で実行される手順の更なる実施形態を示すフローチャートである。

【図6a】符号器の一実施形態のブロック図を示す。

【図6b】復号器の対応する一実施形態のフローチャートを示す。

【図7】ステレオ時間−周波数分析及び合成のためのゼロパディングを持つ低いオーバーラップ正弦窓を用いた好ましい窓シナリオを示す。

【図8】異なるパラメータ値のビット消費を示す表である。

【図9a】好ましい実施形態において符号化済み多チャネル信号を復号化する装置によって実行される手順を示す。

【図9b】符号化済み多チャネル信号を復号化する装置の好ましい一実施形態を示す。

【図9c】符号化済み多チャネル信号の復号化の枠組み内での広帯域デ・アライメントの文脈において実行される手順を示す。

【図10a】チャネル間時間差を推定する装置の一例を示す。

【図10b】チャネル間時間差が適用される信号のさらなる処理の概略図を示す。

【図11a】図１０ａのプロセッサにより実行される手順を示す。

【図11b】図１０ａのプロセッサにより実行されるさらなる手順を示す。

【図11c】可変しきい値の計算と、時間ドメイン表現の分析における可変しきい値の利用とのさらなる実施を示す。

【図11d】可変しきい値の決定の第１実施形態を示す。

【図11e】しきい値の決定のさらなる実施を示す。

【図12】明瞭なスピーチ信号についての平滑化された相互相関スペクトルの時間表現を示す。

【図13】ノイズと雰囲気とを有するスピーチ信号についての平滑化された相互相関スペクトルの時間表現を示す。

【発明を実施するための形態】

【0049】

図１０ａは、左チャネルのような第１チャネル信号と、右チャネルのような第２チャネル信号との間のチャネル間時間差を推定する装置の一例を示す。これらチャネルは、図４ｅに関して項目４５１として追加的に記載されている時間−スペクトル変換部１５０へと入力される。

【0050】

さらに、左及び右チャネル信号の時間ドメイン表現は、ある時間ブロックについて、その時間ブロックにおける第１チャネル信号とその時間ブロックにおける第２チャネル信号とから相互相関スペクトルを計算するための計算部１０２０へ入力される。さらに、この装置は、前記時間ブロックについての第１チャネル信号又は第２チャネル信号のスペクトルの特性を推定するためのスペクトル特性推定部１０１０を含む。この装置はさらに、スペクトル特性を使用して相互相関スペクトルを時間にわたって平滑化し、平滑化された相互相関スペクトルを得る平滑化フィルタ１０３０を含む。この装置はさらに、平滑化された相関スペクトルを処理して、チャネル間時間差を得るプロセッサ１０４０を含む。

【0051】

特に、スペクトル特性推定部の機能は、好ましい実施形態における図４ｅの項目４５３、４５４によっても反映されている。

【0052】

さらに、相互相関計算部１０２０の機能は、後述する好ましい実施形態における図４ｅの項目４５２によっても反映されている。

【0053】

これに対応して、平滑化フィルタ１０３０の機能は、後述するように図４ｅの文脈において項目４５３によって反映されている。さらに、プロセッサ１０４０の機能は、好ましい実施形態における図４ｅの文脈において項目４５６〜４５９として説明されている。

【0054】

好ましくは、スペクトル特性推定部は、そのスペクトルのノイズ性又は調性を計算し、その好ましい実施形態は、調性又は非ノイズ状信号の場合には０に近く、ノイズ又はノイズ状信号の場合には１に近い、スペクトル平坦尺度の計算である。

【0055】

特に、平滑化フィルタは次に、第１の低いノイズ性特性又は第１の高い調性特性の場合に第１平滑度を用いて時間にわたって強い平滑化を適用し、又は第２の高いノイズ性特性又は第２の低い調性特性の場合に第２平滑度を用いて時間にわたって弱い平滑化を適用するよう構成される。

【0056】

特に、第１平滑度は第２平滑度よりも大きく、第１のノイズ特性は第２のノイズ特性に比べてノイズ性がより低く、又は、第１の調性特性は第２の調性特性に比べてより調性が高い。平滑度の好ましい実施形態はスペクトル平坦尺度である。

【0057】

さらに、図１１ａに示すように、プロセッサは、図４ｅ及び１１ａにおける４５６で示すように、平滑化された相互相関スペクトルを正規化するよう好ましくは実装され、その後に、図４ｅの実施形態におけるステップ４５７及び４５８に対応する、ステップ１０３１における時間ドメイン表現の計算を実行する。しかしながら、図１１ａでもまた説明するように、プロセッサは図４ｅのステップ４５６における正規化を行わずに作動することもできる。次に、プロセッサは、チャネル間時間差を発見するために、図１１ａのブロック１０３２で示すように時間ドメイン表現を分析するよう構成される。この分析は、任意の公知の方法で実行することができ、改善されたロバスト性をもたらすであろう。なぜなら、その分析はスペクトル特性に従って平滑化された相互相関スペクトルに基づいて実行されるからである。

【0058】

図１１ｂに示すように、時間ドメイン分析１０３２の好ましい実施は、図４ｅの項目４５８に対応する図１１ｂの４５８で示すように、時間ドメイン表現のローパスフィルタリングと、ローパスフィルタリング済み時間ドメイン表現内でのピーク探索／ピーク・ピッキング操作を使用した後続のさらなる処理１０３３とである。

【0059】

図１１ｃに示すように、ピーク探索／ピーク・ピッキング操作の好ましい実施形態は、可変しきい値を使用してこの操作を実行することである。特に、プロセッサは、時間ドメイン表現から可変しきい値を決定１０３４することにより、かつ（スペクトル正規化を用いて又は用いずに取得された）その時間ドメイン表現の１つのピーク又は複数のピークを可変しきい値と比較することにより、平滑化された相互相関スペクトルから導出された時間ドメイン表現内でピーク探索／ピーク・ピッキング操作を実行するよう構成され、チャネル間時間差は、可変しきい値より大きい等のしきい値と所定の関係にあるピークと関連するタイムラグとして決定される。

【0060】

図１１ｄに示すように、後述の図４ｅ−ｂに関連する擬似コードにおいて示された１つの好ましい実施形態は、それらの振幅に応じた値の選別１０３４ａである。次に、図１１ｄの項目１０３４ｂで示すように、例えばそれら値の最高の１０％又は５％が決定される。

【0061】

次に、ステップ１０３４ｃに示すように、例えば数３のような数が、最高の１０又は５％の値の中の最小値と乗算され、可変しきい値が取得される。

【0062】

上述のように、好ましくは最高の１０又は５％が決定されるが、しかしまた、値の最高の５０％の最小値を決定し、かつ例えば１０のようなより高い乗算数を使用することも有用である。通常は、値の最高の３％のようなより小さい総数が決定され、値のこれら最高の３％の中の最小値が、次に３より低い例えば２．５又は２に等しい数と乗算される。このように、数及び比率の異なる組合せが、図１１ｄに示される実施形態で使用可能である。比率とは別に、数もまた可変であり、１．５より大きな数が望ましい。

【0063】

図１１ｅに示すさらなる実施形態では、時間ドメイン表現がブロック１１０１によって示されるようにサブブロックに分割され、かつこれらサブブロックは図１３において１３００で示される。ここで、約１６個のサブブロックが有効範囲として使用され、各サブブロックが２０のタイムラグスパンを持つ。しかしながら、サブブロックの数はこの値より多くても、また少なくてもよく、３より多く、５０より少ないのが望ましい。

【0064】

図１１ｅのステップ１１０２では、各サブブロックにおけるピークが決定され、ステップ１１０３では全てのサブブロックにおける平均ピークが決定される。次に、ステップ１１０４では、ブロック１１０４の左側に示されるように一方では信号対ノイズ比に依存し、さらなる実施形態ではしきい値と最大ピークとの間の差に依存して、乗算値ａが決定される。これら入力値に依存して、好ましい３つの異なる乗算値の１つが決定され、その乗算値はａ_low、ａ_high及びａ_lowestに等しくてもよい。

【0065】

次に、ステップ１１０５では、ブロック１１０４で決定された乗算値ａは、可変しきい値を得るために平均しきい値と乗算され、その可変しきい値は次に、ブロック１１０６における比較操作において使用される。比較操作では、ブロック１１０１に入力された時間ドメイン表現が再度使用され得るか、又はブロック１１０２において説明したように各サブブロックにおいて既に決定されたピークが使用され得る。

【0066】

次に、時間ドメイン相互相関関数内のピークの評価と検出に関するさらなる実施形態について説明する。

【0067】

チャネル間時間差（ＩＴＤ）を推定するために、一般化相互相関（ＧＣＣ−ＰＨＡＴ）法からもたらされる時間ドメイン相互相関関数内のピークの評価と検出は、異なる入力シナリオに起因して常に単純である訳ではない。明瞭なスピーチ入力は、強いピークを持つ低いばらつきの相互相関関数をもたらし、その一方でノイズの多い残響環境におけるスピーチは、高いバラツキを持つベクトルと、ＩＴＤの存在を示す、低いが依然として突出した振幅を持つピークとを生成し得る。異なる入力シナリオに順応するために適応可能で、かつ柔軟性のあるピーク検出アルゴリズムを説明する。

【0068】

遅延条件に起因して、全体システムはチャネル時間アライメントをある限度、すなわちＩＴＤ＿ＭＡＸまで取り扱うことができる。この提案アルゴリズムは、有効なＩＴＤが以下の場合に存在するかどうかを検出するよう設計される。
−突出したピークに起因する有効なＩＴＤ。相互相関関数の［−ＩＴＤ＿ＭＡＸ，ＩＴＤ＿ＭＡＸ］境界内の突出したピークが存在する。
−相関なし。２つのチャネル間に相関がない場合、突出したピークがない。しきい値が定義されるべきであり、ピークは有効なＩＴＤ値と認識されるためにはこのしきい値を超えて十分強くなくてはならない。そうでない場合には、如何なるＩＴＤ処理も信号伝達されず、つまりＩＴＤはゼロに設定され、時間アライメントは実行されない。
−ＩＴＤ境界の外側。領域［−ＩＴＤ＿ＭＡＸ，ＩＴＤ＿ＭＡＸ］の外側の相互相関関数の強いピークは、そのシステムの処理能力を超えるＩＴＤが存在するかどうかを決定するために、評価されるべきである。この場合、如何なるＩＴＤ処理も信号伝達されず、よって時間アライメントは実行されない。

【0069】

ピークの振幅が時間差値として考慮できるほど高いかどうかを決定するために、適切なしきい値が定義される必要がある。異なる入力シナリオにとって、相互相関関数の出力は、異なるパラメータ、例えば環境（ノイズ、残響など）、マイクロホン設定（ＡＢ，Ｍ／Ｓなど）に応じて変化する。したがって、しきい値を適応的に定義することが必須となる。

【0070】

提案のアルゴリズムでは、しきい値は、まず［−ＩＴＤ＿ＭＡＸ，ＩＴＤ＿ＭＡＸ］領域（図１３）内で相互相関関数の振幅の包絡の粗い計算の平均を計算することにより定義され、その平均は次にＳＮＲ推定に応じて重み付けられる。

【0071】

そのアルゴリズムの段階的な説明を以下に行う。

【0072】

時間ドメインの相互相関を表す、ＧＣＣ−ＰＨＡＴの逆ＤＦＴの出力が負から正のタイムラグ（図１２）へと再配置される。

【0073】

相互相関ベクトルが３つの主たる領域に分割され、すなわち重要な領域［−ＩＴＤ＿ＭＡＸ，ＩＴＤ＿ＭＡＸ］と、ＩＴＤ＿ＭＡＸ境界の外側の領域、すなわち−ＩＴＤ＿ＭＡＸ（下限）より小さいタイムラグと、ＩＴＤ＿ＭＡＸ（上限）より大きいタイムラグとである。「境界の外側」領域の最大ピークが検出され、その最大ピークは重要な領域において検出された最大ピークと比較されるために保存される。

【0074】

有効なＩＴＤが存在するかどうかを決定するために、相互相関関数のサブベクトル領域［−ＩＴＤ＿ＭＡＸ，ＩＴＤ＿ＭＡＸ］が考慮される。そのサブベクトルは、Ｎ個のサブブロック（図１３）に分割される。

【0075】

各サブブロックについて、最大ピーク振幅ｐｅａｋ＿ｓｕｂと等価タイムラグ位置ｉｎｄｅｘ＿ｓｕｂとが発見され、保存される。

【0076】

極大値ｐｅａｋ＿ｍａｘの最大値が決定され、有効なＩＴＤ値の存在を決定するためにしきい値と比較されるであろう。

【0077】

最大値ｐｅａｋ＿ｍａｘはｍａｘ＿ｌｏｗ及びｍａｘ＿ｈｉｇｈと比較される。ｐｅａｋ＿ｍａｘがその２つのいずれかより低い場合には、如何なるＩＴＤ処理も信号伝達されず、時間アライメントは実行されない。このシステムのＩＴＤ処理制限のために、境界外のピークの振幅は評価される必要がない。

【0078】

ピークの振幅の平均は次のように計算される。

【数1】

【0079】

次に、ＳＮＲに依存する重みファクタａ_wを用いてｐｅａｋ_meanを重み付けすることにより、しきい値ｔｈｒｅｓが計算される。

【数2】

【0080】

ＳＮＲ≪ＳＮＲ_thresholdかつ｜ｔｈｒｅｓ−ｐｅａｋ＿ｍａｘ｜＜εである場合、高い近隣ピークを持つ突出したピークを排除するのを避けるために、ピーク振幅は僅かに緩和されたしきい値（ａ_w＝ａ_lowest）とも比較される。重みファクタは、例えばａ_high＝３，ａ_low＝２．５及びａ_lowest＝２であってもよく、一方でＳＮＲ_thresholdは例えば２０ｄＢ、境界値ε＝０．０５であってもよい。

【0081】

好ましい範囲は、ａ_highについては２．５〜５であり、ａ_lowについては１．５〜４であり、ａ_lowestについては１．０〜３であり、ＳＮＲ_thresholdについては１０〜３０ｄＢであり、εについては０．０１〜０．５であり、ａ_highはａ_lowより大きく、ａ_lowはａ_lowestより大きい。

【0082】

ｐｅａｋ＿ｍａｘ＞ｔｈｒｅｓの場合には、等価タイムラグは推定されたＩＴＤとして戻され、それ以外の場合には如何なるＩＴＤ処理も信号伝達されない（ＩＴＤ＝０）。

【0083】

さらなる実施形態は図４ｅに関して後述される。

【0084】

次に、さらなる信号プロセッサのための、図１０ｂのブロック１０５０内での本発明の好ましい実施形態を、図１〜図９ｅに関して、すなわちステレオ／多チャネル処理／符号化と２つのチャネルの時間アライメントの文脈で説明する。

【0085】

しかしながら、図１０ｂについて説明した通り、多くの他の分野が存在し、そこでは決定されたチャネル間時間差を使用する信号のさらなる処理が同様に実行され得る。

【0086】

図１は、少なくとも２つのチャネルを有する多チャネル信号を符号化する装置を示す。多チャネル信号１０は、一方ではパラメータ決定部１００に対して入力され、他方では信号アライナ（signal aligner）２００に入力される。パラメータ決定部１００は、多チャネル信号から、一方では１つの広帯域アライメント・パラメータを決定し、他方では複数の狭帯域アライメント・パラメータを決定する。これらのパラメータは、パラメータ線１２を介して出力される。更に、これらのパラメータは、図示するように他のパラメータ線１４を介して出力インターフェース５００へも出力される。パラメータ線１４上では、レベルパラメータなどの追加的パラメータがパラメータ決定部１００から出力インターフェース５００へと送られる。信号アライナ２００は、パラメータ線１２を介して受け取った広帯域アライメント・パラメータと複数の狭帯域アライメント・パラメータとを使用して、多チャネル信号１０の少なくとも２つのチャネルをアラインし、信号アライナ２００の出力においてアライン済みチャネル２０を取得するよう構成されている。これらのアライン済みチャネル２０は信号プロセッサ３００へと送られ、この信号プロセッサ３００は、線２０を介して受け取られたアライン済みチャネルから、中央信号３１とサイド信号３２とを計算するよう構成されている。この符号化装置は、線３１からの中央信号と線３２からのサイド信号３２とを符号化して、線４１上に符号化済み中央信号を取得し、線４２上に符号化済みサイド信号を取得する、信号符号器４００を更に含む。これら両方の信号は、出力線５０において符号化済み多チャネル信号を生成する、出力インターフェース５００へと送られる。出力線５０における符号化済み信号は、線４１からの符号化済み中央信号と、線４２からの符号化済みサイド信号と、線１４からの広帯域アライメント・パラメータ及び狭帯域アライメント・パラメータと、任意ではあるが線１４からのレベルパラメータと、更に任意ではあるが信号符号器４００により生成されかつパラメータ線４３を介して出力インターフェース５００へと送られたステレオ充填パラメータと、を含む。

【0087】

好ましくは、パラメータ決定部１００が実際に狭帯域パラメータを計算する前に、信号アライナが広帯域アライメント・パラメータを使用して多チャネル信号からのチャネルをアラインするよう構成されている。従って、この実施例において、信号アライナ２００は、広帯域アライン済みチャネルを、接続線１５を介してパラメータ決定部１００へと戻す。次に、パラメータ決定部１００は、広帯域特性に関して既にアラインされた多チャネル信号から、複数の狭帯域アライメント・パラメータを決定する。しかしながら、他の実施例においては、パラメータはこのような特異な流れの手順を踏まずに決定される。

【0088】

図４ａは、接続線１５をもたらす特異なステップの系列が実行される、好ましい実施形態を示す。ステップ１６において、２つのチャネルを使用して広帯域アライメント・パラメータが決定され、チャネル間時間差又はＩＴＤパラメータなどの広帯域アライメント・パラメータが取得される。次に、ステップ２１において、図１の信号アライナ２００により、広帯域アライメント・パラメータを使用して２つのチャネルがアラインされる。次に、ステップ１７において、パラメータ決定部１００内でアライン済みチャネルを使用して狭帯域パラメータが決定され、多チャネル信号の異なる帯域についての複数のチャネル間位相差パラメータなどの複数の狭帯域アライメント・パラメータを決定する。次に、ステップ２２において、各パラメータ帯域におけるスペクトル値が、この特定の帯域のための対応する狭帯域アライメント・パラメータを使用してアラインされる。狭帯域アライメント・パラメータが利用可能な各帯域についてステップ２２のこの手順が実行された場合、アラインされた第１及び第２のチャネル又は左／右のチャネルが、図１の信号プロセッサ３００による更なる信号処理にとって利用可能となる。

【0089】

図４ｂは、複数の手順が周波数ドメインで実行される、図１の多チャネル符号器の更なる実施形態を示す。

【0090】

特に、多チャネル符号器は、時間ドメインの多チャネル信号を周波数ドメイン内の少なくとも２つのチャネルのスペクトル表現へと変換する、時間−スペクトル変換部１５０を更に含む。

【0091】

更に、符号１５２で示すように、図１に符号１００，２００，３００で示すパラメータ決定部と信号アライナと信号プロセッサは、全て周波数ドメインで作動する。

【0092】

更に、多チャネル符号器及び特に信号プロセッサは、少なくとも中央信号の時間ドメイン表現を生成するためのスペクトル−時間変換部１５４を更に含む。

【0093】

好ましくは、スペクトル−時間変換部は、ブロック１５２で表す手順によっても決定されたサイド信号のスペクトル表現を、時間ドメイン表現へと追加的に変換する。また、図１の信号符号器４００は次に、時間ドメイン信号としての中央信号及び／又はサイド信号を、図１の信号符号器４００の特異な実施形態に依存して更に符号化するよう構成されている。

【0094】

好ましくは、図４ｂの時間−スペクトル変換部１５０は、図４ｃのステップ１５５，１５６及び１５７を実行するよう構成されている。特に、ステップ１５５は分析窓を提供することを含み、その分析窓は、その一端部に少なくとも１つのゼロパディング部分を有し、具体的には、例えば図７以降に示すように、窓の初期部分におけるゼロパディング部分と窓の終了部分におけるゼロパディング部分とを有する。更に、その分析窓は、窓の第１半分と窓の第２半分においてオーバーラップ領域又はオーバーラップ部分を追加的に有し、更にまた、場合によっては非オーバーラップ領域である中央部分を有することが好ましい。

【0095】

ステップ１５６において、各チャネルはオーバーラップ領域を有する分析窓を用いて窓掛けされる。特に、各チャネルは、分析窓を使用して、チャネルの第１ブロックが取得されるような方法で窓掛けされる。次に、第１ブロックとの間であるオーバーラップ領域を有する同じチャネルの第２ブロックが取得されるように続き、その結果、例えば５回の窓掛け操作が行われた後で、各チャネルの窓掛け済みサンプルの５個のブロックが利用可能となり、それらは次に、図４ｃの符号１５７で示すように、スペクトル表現へと個別に変換される。同じ手順が他のチャネルについても実行され、その結果、ステップ１５７の終了時には、スペクトル値、及び特にＤＦＴスペクトル値などの複素スペクトル値、又は複素サブバンドサンプルのブロック系列が利用可能となる。

【0096】

図１のパラメータ決定部１００により実行されるステップ１５８において、広帯域アライメント・パラメータが決定され、図１の信号アライナ２００により実行されるステップ１５９において、その広帯域アライメント・パラメータを使用して循環シフト（circular shift）が実行される。これも図１のパラメータ決定部１００により実行されるステップ１６０において、狭帯域アライメント・パラメータが個別の帯域／サブバンドについて決定され、ステップ１６１において、アライン済みスペクトル値は、特定の帯域について決定された対応する狭帯域アライメント・パラメータを使用して、各帯域について回転される。

【0097】

図４ｄは、信号プロセッサ３００により実行される更なる手順を示す。特に、信号プロセッサ３００は、ステップ３０１に示すように中央信号とサイド信号とを計算するよう構成されている。ステップ３０２において、サイド信号のある種の追加的処理が実行されることができ、次に、ステップ３０３において、中央信号及びサイド信号の各ブロックが時間ドメインへと逆変換される。ステップ３０４において、ステップ３０３により取得された各ブロックに対して合成窓が適用され、ステップ３０５において、一方では中央信号についてオーバーラップ加算操作を実行し、他方ではサイド信号についてオーバーラップ加算操作を実行して、最終的に、時間ドメインの中央／サイド信号を取得する。

【0098】

特に、ステップ３０４及び３０５の操作は、中央信号又はサイド信号のあるブロックからの中央信号及びサイド信号の次ブロックへの一種のクロスフェーディングをもたらし、それにより、チャネル間時間差パラメータ又はチャネル間位相差パラメータなどの如何なるパラメータ変化が発生した場合でも、図４ｄのステップ３０５により取得された時間ドメインの中央／サイド信号内においてパラメータ変化が可聴とならないような方法で実行される。

【0099】

新たな低遅延ステレオ符号化は、幾つかの空間キューを利用するジョイント中央／サイド（Ｍ／Ｓ）ステレオ符号化であり、その中央チャネルは一次モノラルコアコーダによって符号化され、サイドチャネルは二次コアコーダによって符号化される。符号器及び復号器の原理は図６ａ及び図６ｂに示される。

【0100】

ステレオ処理は主として周波数ドメイン（ＦＤ）で実行される。任意選択的に、周波数分析の前に何らかのステレオ処理が時間ドメイン（ＴＤ）で実行されることもあり得る。これはＩＴＤ（チャネル間時間差）計算の場合であり、ステレオ分析の追及及び処理の前に、チャネルを時間においてアラインするために、周波数分析の前にその計算がされて適用され得る。代替的に、ＩＴＤ処理は周波数ドメインで直接的に実行され得る。ＡＣＥＬＰのような通常のスピーチコーダは、内部的な時間−周波数分解を全く含まないので、そのステレオ符号化は、コア符号器の前の分析及び合成フィルタバンクと、コア復号器の後の分析−合成フィルタバンクの別のステージとにより、余分な複素変調されたフィルタバンクを追加することになる。好ましい実施形態においては、低いオーバーラップ領域を有するオーバーサンプル型ＤＦＴが使用される。しかしながら、他の実施形態においては、同様な時間的分解能を有する如何なる複素値の時間−周波数分解も使用可能である。

【0101】

ステレオ処理は、チャネル間時間差（ＩＴＤ）、チャネル間位相差（ＩＰＤｓ）及びチャネル間レベル差（ＩＬＤｓ）のような、空間キューを計算することで構成される。ＩＴＤとＩＰＤは、２つのチャネルＬとＲとを時間と位相においてアラインするために、入力ステレオ信号に対して使用される。ＩＴＤは広帯域ドメイン又は時間ドメインで計算され、ＩＰＤとＩＬＤは、周波数空間の不均一な分解に対応して、パラメータ帯域のそれぞれ又は一部について計算される。２つのチャネルがアラインされた後、ジョイントＭ／Ｓステレオが適用され、そこではサイド信号が次に中央信号から予測される。予測ゲインはＩＬＤから導出される。

【0102】

中央信号は、さらに一次コア符号器によって符号化される。好ましい実施形態では、一次コア符号器は３ＧＰＰ ＥＶＳ標準又はそれから導出される符号化であり、スピーチ符号化モードであるＡＣＥＬＰ、及びＭＤＣＴ変換に基づく音楽モードの間で切り替え可能である。望ましくは、ＡＣＥＬＰ及びＭＤＣＴベース符号器は、時間ドメイン帯域幅拡張（ＴＤ−ＢＷＥ）、及び／又はインテリジェントギャップ充填（ＩＧＦ）モジュールによって個別に支援される。

【0103】

サイド信号は、まずＩＬＤから導出された予測ゲインを使用して中央チャネルによって予測される。残差は、中央信号の遅延バージョンによってさらに予測され、又は二次コア符号器によって直接的に符号化されることができ、これは好ましい実施形態ではＭＤＣＴドメインで実行される。符号器におけるステレオ処理は、後段で説明するように、図５によって要約され得る。

【0104】

図２は、入力線５０で受信された符号化済み多チャネル信号を復号化する装置の一実施例のブロック図を示す。

【0105】

特に、その信号は入力インターフェース６００により受信される。信号復号器７００と信号デ・アライナ（de-aligner）９００とが入力インターフェース６００に接続されている。更に、信号プロセッサ８００は、一方では信号復号器７００と接続され、他方では信号デ・アライナと接続されている。

【0106】

特に、符号化済み多チャネル信号は、符号化済み中央信号と、符号化済みサイド信号と、広帯域アライメント・パラメータに関する情報と、複数の狭帯域パラメータに関する情報と、を含む。線５０上の符号化済み多チャネル信号は、図１の出力インターフェース５００により出力された信号と正に同じ信号であり得る。

【0107】

しかしながら、ここで重要なことは、図１で示したこととは対照的に、符号化済み信号の中に所定の形態で含まれた広帯域アライメント・パラメータと複数の狭帯域アライメント・パラメータとは、図１の信号アライナ２００によって使用されたアライメント・パラメータと全く同じであり得るが、代替的にそれらの逆の値でもあり得ること、即ち、信号アライナ２００により実行されるのと全く同じ操作により使用され得るが、デ・アライメントが得られるように逆の値を有する、パラメータでもよい、ことに留意すべきである。

【0108】

よって、アライメント・パラメータに関する情報は、図１の信号アライナ２００によって使用されるアライメント・パラメータであってもよいし、又はその逆の値、即ち、実際の「デ・アライメント・パラメータ」であってもよい。さらにこれらのパラメータは、図８に関して後段で説明するように、典型的にはある形態で量子化されるであろう。

【0109】

図２の入力インターフェース６００は、符号化済み中央／サイド信号から広帯域アライメント・パラメータと複数の狭帯域パラメータとに関する情報を分離し、パラメータ線６１０を介してこの情報を信号デ・アライナ９００へと送る。他方、符号化済み中央信号は、線６０１を介して信号復号器７００へと送られ、符号化済みサイド信号は信号線６０２を介して信号復号器７００へと送られる。

【0110】

信号復号器は、符号化済み中央信号を復号化し、かつ符号化済みサイド信号を復号化して、線７０１上の復号化済み中央信号と線７０２上の復号化済みサイド信号とを取得する。これらの信号は、復号化済み中央信号及び復号化済みサイド信号から、復号化済み第１チャネル信号又は復号化済み左信号を計算し、かつ復号化済み第２チャネル信号又は復号化済み右チャネル信号を計算するために、信号プロセッサ８００によって使用され、これら復号化済み第１チャネル及び復号化済み第２チャネルはそれぞれ線８０１，８０２上で出力される。信号デ・アライナ９００は、線８０１上の復号化済み第１チャネルと復号化済み右チャネル８０２とをデ・アラインするよう構成されており、その際、広帯域アライメント・パラメータに関する情報を使用し、かつ追加的に複数の狭帯域アライメント・パラメータに関する情報をも使用して、復号化済み多チャネル信号、即ち、線９０１及び９０２上の少なくとも２つの復号化済みかつデ・アライン済みのチャネルを有する復号化済み信号を取得する。

【0111】

図９ａは、図２の信号デ・アライナ９００により実行されるステップの好ましい流れを示す。特に、ステップ９１０は、図２の線８０１，８０２上で利用可能なアライン済みの左右のチャネルを受信する。ステップ９１０において、信号デ・アライナ９００は、狭帯域アライメント・パラメータについての情報を使用して個々のサブバンドをデ・アライメントし、位相デ・アラインされた復号化済みの第１及び第２のチャネル又は左及び右のチャネルを９１１ａ及び９１１ｂで取得する。ステップ９１２において、チャネルは広帯域アライメント・パラメータを使用してデ・アラインされ、その結果、９１３ａ及び９１３ｂで位相及び時間−デ・アラインされたチャネルが取得される。

【0112】

ステップ９１４において、窓掛け又は任意のオーバーラップ加算操作又は一般的に任意のクロスフェード操作を含む任意の追加的処理が実行され、９１５ａ又は９１５ｂでアーチファクト低減された又はアーチファクト無しの復号化済み信号を取得する。このようにして、アーチファクトを何も含まない復号化済みチャネルが得られるが、そのために典型的には、一方では広帯域のための、他方では複数の狭帯域のための時間変化するデ・アライメント・パラメータが使用されていたものである。

【0113】

図９ｂは、図２に示す多チャネル復号器の好ましい実施形態を示す。

【0114】

特に、図２からの信号プロセッサ８００は、時間−スペクトル変換部８１０を含む。

【0115】

信号プロセッサは、中央／サイドから左／右への変換部８２０を更に含み、その変換部は、中央信号Ｍ及びサイド信号Ｓから左信号Ｌ及び右信号Ｒを計算する。

【0116】

しかしながら、重要なことは、ブロック８２０における中央／サイドから左／右への変換によってＬ及びＲを計算するために、サイド信号Ｓは必ずしも使用する必要がないということである。その代わり、後段で説明するように、左／右の信号は、チャネル間レベル差パラメータＩＬＤから導出されるゲインパラメータを使用するだけで当初は計算される。一般的に、予測ゲインはＩＬＤの一形式であると考えられてもよい。そのゲインはＩＬＤから導出され得るが、直接的にも導出され得る。ＩＬＤをもはや計算せずに、予測ゲインを直接的に計算し、ＩＬＤパラメータよりもその予測ゲインを復号器に伝送し使用するのが望ましい。

【0117】

従って、このような実施形態において、サイド信号Ｓはチャネル更新部８３０において使用されるだけであり、その更新部は、迂回線８２１によって示すように、伝送されたサイド信号Ｓを使用して、より良好な左／右の信号を提供するために作動する。

【0118】

従って、変換部８２０は、レベルパラメータ入力８２２を介して取得されたレベルパラメータを使用しながら、実際にはサイド信号Ｓを使用せずに作動するが、チャネル更新部８３０は、サイド８２１を使用し、特定の実施形態によるが、線８３１を介して受信するステレオ充填パラメータをも使用して作動する。信号アライナ９００は、次に位相デ・アライナ及びエネルギースケーラ９１０を含む。そのエネルギースケーリングは、スケーリングファクタ計算部９４０により導出されたスケーリングファクタによって制御される。スケーリングファクタ計算部９４０にはチャネル更新部８３０の出力が供給される。入力９１１を介して受信された狭帯域アライメント・パラメータに基づいて、位相のデ・アライメントが実行され、ブロック９２０において、線９２１を介して受信された広帯域アライメント・パラメータに基づいて、時間のデ・アライメントが実行される。最後に、スペクトル−時間変換９３０が実行されて、最終的に復号化済み信号が取得される。

【0119】

図９ｃは、好適な実施例において、図９ｂのブロック９２０及び９３０の中で典型的に実行されるステップのさらなる流れを示す。

【0120】

詳細には、狭帯域デ・アライン済みチャネルが、図９ｂのブロック９２０に対応する広帯域デ・アライメント機能へと入力される。ＤＦＴ又は任意の他の変換がブロック９３１内で実行される。時間ドメインサンプルの実際の計算に続いて、合成窓を使用する任意選択的な合成窓掛けが実行される。合成窓は、好ましくは分析窓と正に同一であるか、又は例えば補間又はデシメーションによって分析窓から導出されたものであるが、分析窓に所定の方法で依存している。このような依存性は、好ましくは２つのオーバーラップしている窓により定義される乗算因子が、オーバーラップ領域内の各点について加算されて１となるように設定される。このように、ブロック９３２における合成窓に続いて、オーバーラップ操作と後続の加算操作が実行される。代替的に、合成窓掛け及びオーバーラップ／加算操作に代えて、各チャネルについて後続のブロック間の任意のクロスフェードが実行されて、図９ａの文脈で既に説明したように、アーチファクトが低減された復号化済み信号を取得してもよい。

【0121】

図６ｂを考慮する場合、中央信号のための実際の操作、即ち「ＥＶＳ復号器」と、サイド信号のための逆ベクトル量子化ＶＱ^-1及び逆ＭＤＣＴ操作（ＩＭＤＣＴ）とは、図２の信号復号器７００に対応している。

【0122】

更に、ブロック８１０におけるＤＦＴ操作は図９ｂにおける構成要素８１０に対応し、逆ステレオ処理及び逆時間シフトの機能は、図２のブロック８００，９００に対応し、図６ｂにおける逆ＤＦＴ操作９３０は、図９ｂのブロック９３０における操作と対応する。

【0123】

次に、図３についてより詳細に説明する。特に、図３は、個別のスペクトル線を有するＤＦＴスペクトルを示す。好ましくは、ＤＦＴスペクトル又は図３に示す任意の他のスペクトルは複素スペクトルであり、各線は、振幅と位相又は実数部と虚数部を有する、複素スペクトル線である。

【0124】

追加的に、このスペクトルは異なるパラメータ帯域へも分割される。各パラメータ帯域は少なくとも１つの、及び好ましくは２つ以上のスペクトル線を有する。加えて、パラメータ帯域はより低い周波数からより高い周波数へと増大する。典型的には、広帯域アライメント・パラメータは、全体スペクトルのための、即ち図３の例示的実施形態においては帯域１から６までのすべてを含む１つのスペクトルのための、単一の広帯域アライメント・パラメータである。

【0125】

更に、複数の狭帯域アライメント・パラメータは、各パラメータ帯域について１つのアライメント・パラメータが存在するように提供される。これは、１つの帯域のためのアライメント・パラメータが、対応する帯域内の全てのスペクトル値に対して適用することを意味する。

【0126】

更に、狭帯域アライメント・パラメータに加え、レベルパラメータも各パラメータ帯域について提供される。

【0127】

帯域１から６までの各々かつ全てのパラメータ帯域に対して提供されるレベルパラメータとは対照的に、帯域１，２，３，４のようなある限定された個数の低い帯域についてだけ複数の狭帯域アライメント・パラメータを提供することが望ましい。

【0128】

加えて、ステレオ充填パラメータが、例示の実施例においては帯域４，５，６のように、低い帯域を除く所定数の帯域に提供され、他方、低いパラメータ帯域１，２，３についてはサイド信号スペクトル値が存在し、結果としてこれらの低帯域についてはステレオ充填パラメータが存在せず、これら低帯域においては、サイド信号そのもの又はサイド信号を表現する予測残差信号のいずれかを使用して、波形マッチングが取得される。

【0129】

上述したように、より高い帯域においてはより多数のスペクトル線が存在する。例えば、図３の実施例においては、パラメータ帯域６内には７個のスペクトル線がある一方で、パラメータ帯域２内にはたった３個のスペクトル線がある。当然ながら、パラメータ帯域の数、スペクトル線の数、１つのパラメータ帯域内のスペクトル線の数、及びあるパラメータについての種々の制限も、異なるであろう。

【0130】

しかしながら、図８は、図３の例とは対照的に、実際に１２個の帯域が存在するある実施例における、パラメータの配分とパラメータが提供される帯域の個数とを示す。

【0131】

図示するように、レベルパラメータＩＬＤが１２帯域の各々に対して提供され、帯域毎に５ビットで表現される量子化精度へと量子化される。

【0132】

更に、狭帯域アライメント・パラメータＩＰＤは、２．５ｋＨｚの境界周波数までの低い帯域に対してだけ提供される。加えて、チャネル間時間差又は広帯域アライメント・パラメータは、全体的スペクトルのための単一のパラメータとしてだけ提供されるが、全体の帯域について８ビットで表現される非常に高い量子化精度を有する。

【0133】

更に、かなり粗く量子化されたステレオ充填パラメータが帯域毎に３ビットで表現されて提供されるが、これらは１ｋＨｚを下回る帯域には提供されない。なぜなら、低い帯域については、実際に符号化されたサイド信号又はサイド信号残差スペクトル値が含まれるからである。

【0134】

次に、符号器側の好ましい処理について、図５に関して要約する。第１ステップにおいて、左右のチャネルのＤＦＴ分析が実行される。この手順は図４ｃのステップ１５５〜１５７に対応する。ステップ１５８では、広帯域アライメント・パラメータが計算され、特に、好ましい広帯域アライメント・パラメータとしてチャネル間時間差（ＩＴＤ）が計算される。１７０で示すように、周波数ドメインにおけるＬ及びＲの時間シフトが実行される。代替的に、この時間シフトは時間ドメインでも実行され得る。次に逆方向ＤＦＴが実行され、時間シフトが時間ドメインで実行され、広帯域アライメント・パラメータを使用したアライメントの後で再度スペクトル表現を持つように、追加の順方向ＤＦＴが実行される。

【0135】

ＩＬＤパラメータ、即ちレベルパラメータ及び位相パラメータ（ＩＰＤパラメータ）が、ステップ１７１で示すように、シフトされたＬ及びＲ表現に対し各パラメータ帯域について計算される。このステップは、例えば図４ｃのステップ１６０と対応する。時間シフトされたＬ及びＲ表現は、図４ｃ又は図５のステップ１６１で示すように、チャネル間位相差パラメータの機能として回転される。次に、ステップ３０１で示すように中央及びサイド信号が計算され、好ましくは、後述するようなエネルギー変換操作をさらに伴う。後続のステップ１７４では、ＩＬＤの機能としてのＭ、及び任意選択的には過去のＭ信号、即ち以前のフレームの中央信号を用いた、Ｓの予測が実行される。次に、中央信号及びサイド信号の逆方向ＤＦＴが実行され、これは好ましい実施例においては図４ｄのステップ３０３，３０４，３０５に対応する。

【0136】

最終ステップ１７５において、時間ドメインの中央信号ｍと、任意選択的には残差信号とがステップ１７５に示すように符号化される。この手順は図１における信号符号器４００により実行される手順に対応する。

【0137】

逆ステレオ処理における復号器において、サイド信号がＤＦＴドメインで生成され、これは中央信号から以下のように最初に予測される。

【数3】

ここで、ｇは各パラメータ帯域について計算されたゲインであり、伝送されるチャネル間レベル差（ＩＬＤｓ）の関数である。

【0138】

予測の残差Side−g・Midは、次に２つの異なる方法で精密化され得る。
−残差信号の二次的符号化による：

【数4】

ここで、ｇ_codは全体スペクトルのために伝送されたグローバルゲインである。
−前の復号化済み中央信号スペクトルを用いて前のＤＦＴフレームから残差サイドスペクトルを予測する、ステレオ充填として知られる残差予測による：

【数5】

ここで、ｇ_predはパラメータ帯域毎に伝送された予測ゲインである。

【0139】

符号化の精密化の２つのタイプは、同じＤＦＴスペクトル内で混合され得る。好ましい実施例において、残差符号化はより低いパラメータ帯域に対して適用される一方で、残差予測は残りの帯域に対して適用される。図１に示すような好ましい実施例において、残差符号化は、時間ドメインで残差サイド信号を合成しそれをＭＤＣＴによって変換した後で、ＭＤＣＴドメインで実行される。ＤＦＴとは異なり、ＭＤＣＴは臨界サンプリングされるので、オーディオ符号化により適している。ＭＤＣＴ係数は、格子ベクトル量子化によって直接的にベクトル量子化されるが、代替的に、スカラー量子化とその後のエントロピー符号器によって符号化され得る。代替的に、残差サイド信号は、スピーチ符号化技術によって時間ドメインで符号化されることもでき、又は、ＤＦＴドメインで直接的に符号化されることもできる。

【0140】

１．時間−周波数分析：ＤＦＴ
ＤＦＴによって実行される、ステレオ処理からの特殊な時間−周波数分解によって、良好な聴覚的シーン分析をもたらす一方で、符号化システムの全体的な遅延が有意に増加しないようにすることが重要である。デフォルトにより、１０ｍｓの時間分解能（コアコーダの２０ｍｓフレーミングの２倍）が使用される。分析窓と合成窓は同じであり、対称形である。窓は図７の中で１６ｋＨｚのサンプリングレートで表現される。発生する遅延を低減するためにオーバーラップ領域が制限され、後段で説明するように、ＩＴＤを周波数ドメインにおいて適用する際に循環シフトを釣り合わせるためにゼロパディングもまた追加されることが見て取れる。

【0141】

２．ステレオパラメータ
ステレオパラメータは、最大限ではステレオＤＦＴの時間分解能において伝送され得る。最小限では、ステレオパラメータはコアコーダのフレーミング分解能、即ち２０ｍｓへと低減され得る。デフォルトにより、過渡が検出されない場合、パラメータは２つのＤＦＴ窓にわたり２０ｍｓ毎に計算される。パラメータ帯域は、等価方形帯域幅(Equivalent Rectangular Bandwidth)（ＥＲＢ）の凡そ２倍又は４倍の後に続いてスペクトルの非均一かつ非オーバーラップの分解を構成する。デフォルトにより、１６ｋＨｚ（３２ｋｂｐｓのサンプリングレート、スーパーワイドバンド・ステレオ）の周波数帯域幅について、ＥＲＢのスケールの４倍が、合計で１２個の帯域について使用される。図８は、ステレオサイド情報が約５ｋｂｐｓで伝送される構成の一例を要約したものである。

【0142】

３．ＩＴＤの計算及びチャネル時間アライメント
ＩＴＤは、位相変換を用いた一般化相互相関（ＧＣＣ−ＰＨＡＴ）を使用して、到達時間差（ＴＤＯＡ）を推定することにより計算される。

【数6】

ここで、Ｌ及びＲはそれぞれ左右のチャネルの周波数スペクトルである。周波数分析は、後続のステレオ処理に使用されるＤＦＴから独立して実行されることができ、又は共有され得る。ＩＴＤを計算するための疑似コードは以下の通りである。

【0143】

【数7】

【0144】

図４ｅは、広帯域アライメント・パラメータの一例としてチャネル間時間差のロバストで効率的な計算を得るために、前述の擬似コードを実行するフローチャートを示す。

【0145】

ブロック４５１では、第１チャネル（ｌ）と第２チャネル（ｒ）についての時間ドメイン信号のＤＦＴ分析が実行される。このＤＦＴ分析は、例えば図５又は図４ｃにおけるステップ１５５〜１５７の文脈で説明されたものと典型的に同じＤＦＴ分析であろう。

【0146】

次に、ブロック４５２で示すように、各周波数ビンについて、相互相関が実行される。

【0147】

このように、左チャネルと右チャネルの全体のスペクトル範囲について、相互相関スペクトルが取得される。

【0148】

ステップ４５３では、次にＬとＲの振幅スペクトルからスペクトル平坦尺度が計算され、ステップ４５４では、より大きなスペクトル平坦尺度が選択される。しかしながら、ステップ４５４における選択は、より大きな尺度の選択である必要はなく、両方のチャネルからの単一のＳＦＭの決定が、左チャネルだけ、又は右チャネルだけの選択又は計算であってもよく、又は両方のＳＦＭ値の重み付けされた平均の計算であってもよい。

【0149】

ステップ４５５では、次に相互相関スペクトルがスペクトル平坦尺度に応じて時間に亘って平滑化される。

【0150】

好ましくは、スペクトル平坦尺度は、振幅スペクトルの幾何平均を、振幅スペクトルの算術平均によって除算することにより、計算される。このように、ＳＦＭについての値は０と１との間に制限される。

【0151】

ステップ４５６では、次に平滑化された相互相関スペクトルがその振幅によって正規化され、ステップ４５７では、正規化され平滑化された相互相関スペクトルの逆ＤＦＴが計算される。ステップ４５８では、ある時間ドメインフィルタが好ましくは実行され、この時間ドメインフィルタリングは実装に応じて実行せずに済ますことも可能であるが、後述するように実行されるのが望ましい。

【0152】

ステップ４５９では、フィルタ一般化相互相関関数のピーク・ピッキングとある種のしきい値演算とを実行することにより、ＩＴＤ推定が行われる。

【0153】

しきい値を超えるピークが得られない場合には、ＩＴＤがゼロに設定され、この対応するブロックについて時間アライメントは実行されない。

【0154】

ＩＴＤ計算は、以下のようにも要約できる。相互相関が周波数ドメインで計算され、次にスペクトル平坦尺度（ＳＦＭ）に依存して平滑化される。ＳＦＭは０と１との間に制限されている。ノイズ状信号の場合、ＳＦＭは高く（即ちほぼ１に）なるであろうし、平滑化は弱いであろう。調性状信号の場合、ＳＦＭは低くなり、平滑化はより強くなるであろう。平滑化された相互相関は、次に、その振幅によって正規化され、時間ドメインへと逆変換される。その正規化は、相互相関の位相変換に対応し、低いノイズ及び比較的高い反響環境の中での通常の相互相関よりも良好な性能を示すことが知られている。このようにして得られた時間ドメイン関数は、よりロバストなピーク・ピッキングを達成するためにまずフィルタ処理される。最大振幅に対応するインデックスは、左右のチャネル間の時間差（ＩＴＤ）の推定に対応する。最大の振幅が所与の閾値よりも低い場合、推定されたＩＴＤは信頼性が高いとは認められず、ゼロに設定される。

【0155】

時間アライメントが時間ドメインで適用される場合、ＩＴＤは別個のＤＦＴ分析で計算される。このシフトは以下のように実行される。

【数8】

【0156】

これは符号器側において余分な遅延を必要とし、その遅延は、最大では取り扱い可能な最大絶対値ＩＴＤと等しい。ＩＴＤの時間的な変化は、ＤＦＴの分析窓掛けにより平滑化される。

【0157】

代替的に、時間アライメントは周波数ドメインでも実行され得る。この場合、ＩＴＤの計算及び循環シフトは同じＤＦＴドメイン内であり、この他のステレオ処理と共有されているドメインである。循環シフトは次式で与えられる。

【数9】

【0158】

ＤＦＴ窓のゼロパディングは、循環シフトを用いた時間シフトをシミュレートするために必要である。ゼロパディングのサイズは、取り扱い可能な最大絶対値ＩＴＤに対応している。好ましい実施例において、ゼロパディングは、両端に３．１２５ｍｓのゼロを追加することで、分析窓の両側に均一に分割される。その場合、可能な最大絶対値ＩＴＤは６．２５ｍｓとなる。Ａ−Ｂマイクロホン設定において、これは最悪の場合、２個のマイクロホンの間の約２．１５メートルの最大距離に対応する。ＩＴＤの時間的な変化は、ＤＦＴの合成窓掛けとオーバーラップ加算により平滑化される。

【0159】

時間シフトの後でシフト済み信号の窓掛けを行うことが重要である。この点が先行技術のバイノーラルキュー符号化（ＢＣＣ）との主要な相違点であり、バイノーラルキュー符号化においては、窓掛け済み信号に対して時間シフトが適用されるが、合成ステージでは更なる窓掛けが行われない。その結果、ＩＴＤにおける時間的な如何なる変化も、復号化された信号の中で人工的な過渡／クリックを生み出してしまう。

【0160】

４．ＩＰＤの計算とチャネル回転
２つのチャネルの時間アライメントの後で、ＩＰＤが計算され、この計算は、各パラメータ帯域又は少なくとも所与のｉｐｄ＿ｍａｘ＿ｂａｎｄまで、ステレオ構成に依存して行われる。

【数10】

【0161】

ＩＰＤは次に、２つのチャネルに対してそれらの位相をアラインするために適用される。

【数11】

ここで、

であり、ｂは周波数インデックスｋが帰属するパラメータ帯域インデックスである。パラメータβは、２つのチャネル間の位相回転の量を分配し、同時にそれらの位相をアラインする役割を担う。βはＩＰＤに依存し、またチャネル同士の相対的な振幅レベルＩＬＤにも依存する。あるチャネルがより高い振幅を有する場合、それが主要なチャネルとして認識され、低い振幅を有するチャネルよりも位相回転によって受ける影響が少なくなるであろう。

【0162】

５．和・差及びサイド信号の符号化
和差変換は、２つのチャネルの時間及び位相がアラインされたスペクトルに対し、中央信号内でエネルギーが保存される方法で実行される。

【数12】

ここで、

は １／１．２と１．２との間、即ち−１．５８ｄＢと＋１．５８ｄＢの間に制限される。この制限により、Ｍ及びＳのエネルギーを調整するときにアーチファクトを防止できる。このエネルギー保存は、時間及び位相が事前にアラインされていた場合には重要度が低いことに留意すべきである。代替的に、これら制限は増大又は減少され得る。

【0163】

サイド信号ＳがＭを用いて更に予測される。

【数13】

ここで、

である。代替的に、前出の方程式から推定された残差及びＩＬＤの平均二乗誤差（ＭＳＥ）を最小化することで、最適な予測ゲインｇを見つけることができる。

【0164】

残差信号Ｓ'（ｆ）は、２つの手段でモデル化できる。即ち、Ｍの遅延されたスペクトルを用いて予測するか、又はそれをＭＤＣＴドメインで直接的に符号化するかである。

【0165】

６．ステレオ復号化
中央信号Ｘ及びサイド信号Ｓは、まず左及び右のチャネルＬ及びＲへと次式のように変換される。

【数14】

ここで、パラメータ帯域毎のゲインｇはＩＬＤパラメータから導出される。

【数15】

【0166】

cod_max_bandより低いパラメータ帯域については、２つのチャネルは復号化済みサイド信号を用いて更新される。

【数16】

【0167】

より高いパラメータ帯域については、サイド信号が予測され、チャネルは以下のように更新される。

【数17】

【0168】

最後に、ステレオ信号のオリジナルエネルギー及びチャネル間位相を保存する目的で、それらチャネルが複素値によって乗算される。

【数18】

ここで、

【数19】

である。但し、ａは上段で定義したように定義されかつ制限されており、

であり、かつａｔａｎ２（ｘ，ｙ）はｙに対するｘの四象限逆正接（four-quadrant inverse tangent）である。

【0169】

最後に、伝送されたＩＴＤに依存して、チャネルは時間ドメイン又は周波数ドメインのいずれかで時間シフトされる。この時間ドメインのチャネルは、逆ＤＦＴ及びオーバーラップ加算により合成される。

【0170】

本発明の特異な特徴は、空間キューと和・差ジョイントステレオ符号化との結合に関係している。具体的には、空間キューＩＴＤとＩＰＤとが計算され、それらがステレオチャネル（左と右）に対して適用される。さらに、和・差（Ｍ／Ｓ信号）が計算され、好ましくは予測がＭを用いてＳに適用される。

【0171】

復号器側では、広帯域及び狭帯域の空間キューが和・差ジョイントステレオ符号化と共に結合される。特に、サイド信号がＩＬＤのような少なくとも１つの空間キューを用いて中央信号により予測され、左右のチャネルを得るために逆の和・差が計算され、さらに広帯域及び狭帯域の空間キューが左右のチャネルに適用される。

【0172】

好ましくは、符号器は、ＩＴＤを用いた処理の後に、時間アライン済みチャネルに対して窓掛けとオーバーラップ加算とを有する。さらに、復号器は、チャネル間時間差を適用した後、チャネルのシフト済み又はデ・アライン済みバージョンの窓掛け及びオーバーラップ加算作動を有する。

【0173】

ＧＣＣ−Ｐｈａｔ法を用いたチャネル間時間差の計算は、特にロバストな方法である。

【0174】

新たな手順は、ステレオオーディオ又は多チャネルオーディオの低ビットレート符号化を低遅延で達成するので、従来技術に比べて有利である。それは、入力信号の異なる性質に対して、及び多チャネル又はステレオ録音の異なる設定に対して、ロバストとなるように特異的に設計される。特に、本発明は、低ビットレート・ステレオスピーチ符号化にとって、良好な品質を提供する。

【0175】

この好ましい手順は、スピーチ又は音楽のような全てのタイプのステレオ又は多チャネルのオーディオコンテンツの放送を、所与の低ビットレートで一定の知覚品質をもって一様に配信することにおいて有用である。そのような適用範囲は、デジタルラジオ、インターネット・ストリーミング、又はオーディオ通信アプリケーションである。

【0176】

本発明に係る符号化済みオーディオ信号は、デジタル記憶媒体又は非一時的記憶媒体に記憶されることができ、又は、インターネットのような無線伝送媒体又は有線伝送媒体などの伝送媒体上で伝送されることもできる。

【0177】

これまで幾つかの態様を装置の文脈で示してきたが、これらの態様は対応する方法の説明をも表しており、１つのブロック又は装置が１つの方法ステップ又は方法ステップの特徴に対応することは明らかである。同様に、方法ステップを説明する文脈で示した態様もまた、対応するブロック、項目、又は対応する装置の特徴を表している。

【0178】

所定の構成要件にもよるが、本発明の実施形態は、ハードウエア又はソフトウエアにおいて構成可能である。この構成は、例えばフレキシブルディスク，ＤＶＤ，ＣＤ，ＲＯＭ，ＰＲＯＭ，ＥＰＲＯＭ，ＥＥＰＲＯＭ，フラッシュメモリなどのデジタル記憶媒体を使用して実行することができ、そのデジタル記憶媒体は、その中に格納された電子的に読み取り可能な制御信号を有し、それら制御信号は、本発明の各方法が実行されるようにプログラム可能なコンピュータシステムと協働する（又は協働可能である）。

【0179】

本発明に従う幾つかの実施形態は、電子的に読み取り可能な制御信号を有するデータキャリアを含み、それら制御信号は、上述した方法の１つを実行するようプログラム可能なコンピュータシステムと協働可能である。

【0180】

一般的に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として構成することができ、そのプログラムコードは当該コンピュータプログラム製品がコンピュータ上で作動するときに、本発明の方法の一つを実行するよう作動可能である。そのプログラムコードは例えば機械読み取り可能なキャリアに記憶されていても良い。

【0181】

本発明の他の実施形態は、上述した方法の１つを実行するための、機械読み取り可能なキャリア又は非一時的記憶媒体に格納されたコンピュータプログラムを含む。

【0182】

換言すれば、本発明の方法の一実施形態は、コンピュータプログラムがコンピュータ上で作動するときに、上述した方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。

【0183】

本発明の他の実施形態は、上述した方法の１つを実行するために記録されたコンピュータプログラムを含む、データキャリア（又はデジタル記憶媒体、又はコンピュータ読み取り可能な媒体）である。

【0184】

本発明の他の実施形態は、上述した方法の１つを実行するためのコンピュータプログラムを表現するデータストリーム又は信号列である。そのデータストリーム又は信号列は、例えばインターネットのようなデータ通信接続を介して伝送されるよう構成されても良い。

【0185】

他の実施形態は、上述した方法の１つを実行するように構成又は適応された、例えばコンピュータ又はプログラム可能な論理デバイスのような処理手段を含む。

【0186】

他の実施形態は、上述した方法の１つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。

【0187】

幾つかの実施形態においては、（例えば書換え可能ゲートアレイのような）プログラム可能な論理デバイスが、上述した方法の幾つか又は全ての機能を実行するために使用されても良い。幾つかの実施形態では、書換え可能ゲートアレイは、上述した方法の１つを実行するためにマイクロプロセッサと協働しても良い。一般的に、そのような方法は、好適には任意のハードウエア装置によって実行される。

【0188】

上述の実施形態は、本発明の原理の単なる説明に過ぎない。上述の装置及び詳細の修正及び変更が当業者にとって明らかなことは理解されよう。従って、以下に添付する特許請求の範囲の主題によってのみ限定されるべきであり、実施形態の説明及び解説の方法で表現された特定の詳細によっては限定されないことが趣旨である。
[備考]
[請求項１]
第１チャネル信号と第２チャネル信号との間のチャネル間時間差を推定する装置であって、
ある時間ブロックにおける前記第１チャネル信号とその時間ブロックにおける前記第２チャネル信号とから、その時間ブロックについての相互相関スペクトルを計算する計算部（１０２０）と、
前記時間ブロックについての前記第１チャネル信号又は前記第２チャネル信号のスペクトル特性を推定するスペクトル特性推定部（１０１０）と、
前記スペクトル特性を使用して前記相互相関スペクトルを時間に亘って平滑化し、平滑化された相互相関スペクトルを取得する平滑化フィルタ（１０３０）と、
前記平滑化された相互相関スペクトルを処理して、前記チャネル間時間差を取得するプロセッサ（１０４０）と、
を備える装置。
[請求項２]
前記プロセッサ（１０４０）は、前記平滑化された相互相関スペクトルの振幅を使用して、前記平滑化された相互相関スペクトルを正規化（４５６）するよう構成される、
請求項１に記載の装置。
[請求項３]
前記プロセッサ（１０４０）は、
前記平滑化された相互相関スペクトル又は正規化され平滑化された相互相関スペクトルの時間ドメイン表現を計算（１０３１）し、
前記チャネル間時間差を決定するために、前記時間ドメイン表現を分析（１０３２）するよう構成される、
請求項１又は２に記載の装置。
[請求項４]
前記プロセッサ（１０４０）は、前記時間ドメイン表現をローパスフィルタリング（４５８）し、そのローパスフィルタリングの結果をさらに処理（１０３３）するよう構成される、
請求項１乃至３のいずれか一項に記載の装置。
[請求項５]
前記プロセッサは、前記平滑化された相互相関スペクトルから決定された時間ドメイン表現内でピーク探索又はピーク・ピッキング操作を実行することにより、前記チャネル間時間差の決定を実行するよう構成される、
請求項１乃至４のいずれか一項に記載の装置。
[請求項６]
前記スペクトル特性推定部（１０１０）は、前記スペクトル特性として、前記スペクトルのノイズ性又は調性を決定するよう構成され、
前記平滑化フィルタ（１０３０）は、第１の低いノイズ性特性又は第１の高い調性特性の場合に第１平滑度を用いて時間にわたって強い平滑化を適用し、又は第２の高いノイズ性特性又は第２の低い調性特性の場合に第２平滑度を用いて時間にわたって弱い平滑化を適用するよう構成され、
前記第１平滑度は前記第２平滑度よりも大きく、前記第１のノイズ性特性は前記第２のノイズ性特性に比べてノイズ性が低く、又は、前記第１の調性特性は前記第２の調性特性に比べて調性が高い、
請求項１乃至５のいずれか一項に記載の装置。
[請求項７]
前記スペクトル特性推定部（１０１０）は、前記特性として、前記第１チャネル信号のスペクトルの第１のスペクトル平坦尺度と前記第２チャネル信号の第２スペクトルの第２のスペクトル平坦尺度とを計算し、
最大値を選択すること、スペクトル平坦尺度間の重み付き平均又は非重み付き平均を決定すること、又は最小値を選択することにより、前記第１と第２のスペクトル平坦尺度から前記スペクトル特性を決定するよう構成される、
請求項１乃至６のいずれか一項に記載の装置。
[請求項８]
前記平滑化フィルタ（１０３０）は、前記時間ブロックからのある周波数についての相互相関スペクトル値と、少なくとも１つの過去の時間ブロックからの前記周波数についての相互相関スペクトル値との重み付き結合によって、前記周波数について平滑化された相互相関スペクトル値を計算するよう構成され、前記重み付き結合の重みファクタは前記スペクトル特性によって決定される、
請求項１乃至７のいずれか一項に記載の装置。
[請求項９]
前記プロセッサ（１０４０）は、前記平滑化された相互相関スペクトルから導出された時間ドメイン表現内の有効範囲と無効範囲とを決定するよう構成され、
前記無効範囲内の少なくとも１つの最大ピークが検出され、前記有効範囲内の最大ピークと比較され、前記チャネル間時間差は、前記有効範囲内の最大ピークが前記無効範囲内の少なくとも１つの最大ピークより大きい場合のみ決定される、
請求項１乃至８のいずれか一項に記載の装置。
[請求項１０]
前記プロセッサ（１０４０）は、
前記平滑化された相互相関スペクトルから導出された時間ドメイン表現内でピーク探索操作を実行し、
前記時間ドメイン表現から可変しきい値を決定（１０３４）し、
あるピークを前記可変しきい値と比較（１０３５）し、前記チャネル間時間差は前記可変しきい値と所定の関係にあるピークと関連するタイムラグとして決定される、
請求項１乃至９のいずれか一項に記載の装置。
[請求項１１]
前記プロセッサは、前記時間ドメイン表現の値の最大の１０パーセント内にある１つの値の整数倍に等しい値として前記可変しきい値を決定（１３３４ｃ）するよう構成される、
請求項１０に記載の装置。
[請求項１２]
前記プロセッサ（１０４０）は、前記平滑化された相互相関スペクトルから導出された時間ドメイン表現の複数のサブブロックの各ブロックにおける最大ピーク振幅を決定（１１０２）するよう構成され、
前記プロセッサ（１０４０）は、前記複数のサブブロックの前記最大ピーク振幅から導出された平均ピーク振幅に基づいて可変しきい値を計算（１１０４、１１０５）するよう構成され、
前記プロセッサは、前記可変しきい値より大きい、前記複数のサブブロックの最大ピークに対応するタイムラグ値として前記チャネル間時間差を決定するよう構成される、
請求項１乃至９のいずれか一項に記載の装置。
[請求項１３]
前記プロセッサ（１０４０）は、前記サブブロック内のピーク間の平均ピークとして決定された前記平均しきい値とある値との乗算（１１０５）によって可変しきい値を計算するよう構成され、
前記値は、前記第１及び第２のチャネル信号のＳＮＲ（信号対ノイズ比）特性によって決定（１１０４）され、第１値は第１ＳＮＲ値と関連し、第２値は第２ＳＮＲ値と関連しており、前記第１値は前記第２値より大きく、前記第１ＳＮＲ値は前記第２ＳＮＲ値より大きい、
請求項１２に記載の装置。
[請求項１４]
前記プロセッサ（１０４０）は、第３ＳＮＲ値が前記第２ＳＮＲ値より低く、かつ前記しきい値と最大ピークとの差が所定値（ε）より低い場合に、前記第２値（ａ_low）より低い第３値（ａ_lowest）を使用（１１０４）するよう構成される、
請求項１３に記載の装置。
[請求項１５]
第１チャネル信号と第２チャネル信号との間のチャネル間時間差を推定する装置であって、
ある時間ブロックにおける前記第１チャネル信号とその時間ブロックにおける前記第２チャネル信号とから、その時間ブロックについての相互相関スペクトルを計算するステップ（１０２０）と、
前記時間ブロックについての前記第１チャネル信号又は前記第２チャネル信号のスペクトル特性を推定するステップ（１０１０）と、
前記スペクトル特性を使用して前記相互相関スペクトルを時間に亘って平滑化し、平滑化された相互相関スペクトルを取得するステップ（１０３０）と、
前記平滑化された相互相関スペクトルを処理して、前記チャネル間時間差を取得するステップ（１０４０）と、
を備える装置。
[請求項１６]
コンピュータ又はプロセッサ上で作動するとき、請求項１５に記載の方法を実行するためのコンピュータプログラム。

【図1】

【図2】

【図3】

【図4a】

【図4b】

【図4c】

【図4d】

【図4e】

【図5】

【図6a】

【図6b】

【図7】

【図8】

【図9a】

【図9b】

【図9c】

【図10a】

【図10b】

【図11a】

【図11b】

【図11c】

【図11d】

【図11e】

【図12】

【図13】