特許 6201047 オーディオ信号のパラメトリック再構成のための脱相関器構造

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6201047

(24)【登録日】2017年9月1日

(45)【発行日】2017年9月20日

(54)【発明の名称】オーディオ信号のパラメトリック再構成のための脱相関器構造

(51)【国際特許分類】

   G10L 19/008 20130101AFI20170911BHJP

   G10L 19/00 20130101ALI20170911BHJP

   H04S 5/02 20060101ALI20170911BHJP

   H04R 3/00 20060101ALI20170911BHJP

【ＦＩ】

   G10L19/008

   G10L19/00 400Z

   G10L19/00 330B

   H04S5/02

   H04R3/00 310

【請求項の数】22

【全頁数】28

(21)【出願番号】特願2016-524453(P2016-524453)

(86)(22)【出願日】2014年10月21日

(65)【公表番号】特表2016-539358(P2016-539358A)

(43)【公表日】2016年12月15日

(86)【国際出願番号】EP2014072568

(87)【国際公開番号】WO2015059152

(87)【国際公開日】20150430

【審査請求日】2016年4月18日

(31)【優先権主張番号】61/893,770

(32)【優先日】2013年10月21日

(33)【優先権主張国】US

(31)【優先権主張番号】61/973,646

(32)【優先日】2014年4月1日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】510185767

【氏名又は名称】ドルビー・インターナショナル・アーベー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】ヴィレモーズ，ラルス

(72)【発明者】

【氏名】ヒルヴォーネン，トニ

(72)【発明者】

【氏名】プルンハーゲン，ヘイコ

【審査官】 五貫 昭一

(56)【参考文献】

【文献】 特表２０１１−５２７４５６（ＪＰ，Ａ）

【文献】 特表２０１２−５１２４３８（ＪＰ，Ａ）

【文献】 特表２０１４−５０８３１６（ＪＰ，Ａ）

【文献】 特表２０１６−５３７６６９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｌ １９／００８

Ｇ１０Ｌ １９／００

Ｈ０４Ｒ ３／００

Ｈ０４Ｓ ５／０２

(57)【特許請求の範囲】

【請求項1】

複数のオーディオ信号（X）を再構成する方法であって：
ダウンミックス信号（Y）の時間／周波数タイルを、関連付けられたウェット・アップミックス係数およびドライ・アップミックス係数（P、C）と一緒に受領する段階であって、前記ダウンミックス信号は再構成されるべきオーディオ信号の数より少数のチャネルを含む、段階と；
中間信号（W）を、前記ダウンミックス信号の線形マッピングとして計算する段階であって、係数の第一の集合（Q）が前記ダウンミックス信号のチャネルに適用される、段階と；
前記中間信号の一つまたは複数のチャネルを処理することによって、脱相関信号（Z）を生成する段階と；
ウェット・アップミックス信号を前記脱相関信号の線形マッピングとして計算する段階であって、係数の第二の集合（P）が前記脱相関信号の一つまたは複数のチャネルに適用される、段階と；
ドライ・アップミックス信号を前記ダウンミックス信号の線形マッピングとして計算する段階であって、係数の第三の集合（C）が前記ダウンミックス信号のチャネルに適用される、段階と；
前記ウェット・アップミックス信号および前記ドライ・アップミックス信号を組み合わせて、再構成されるべき前記複数のオーディオ信号の時間／周波数タイルに対応する多次元の再構成された信号を得る段階とを含み、
係数の前記第二の集合および前記第三の集合は、それぞれ受領されたウェット・アップミックス係数およびドライ・アップミックス係数に一致するまたはそれぞれ受領されたウェット・アップミックス係数およびドライ・アップミックス係数から導出され、
当該方法はさらに、係数の前記第一の集合を、受領された前記ウェット・アップミックス係数および前記ドライ・アップミックス係数に基づいて計算する段階であって、処理されて前記脱相関信号にされる前記中間信号が前記ドライ・アップミックス信号の線形マッピングによって得られるようにする、段階を含む、
方法。

【請求項2】

前記中間信号は、前記ドライ・アップミックス信号に対して、前記ウェット・アップミックス係数の絶対値である係数の集合を適用することによって取得可能である、請求項１記載の方法。

【請求項3】

係数の前記第一の集合は、あらかじめ定義された規則に従って前記ウェット・アップミックス係数を処理し、処理されたウェット・アップミックス係数および前記ドライ・アップミックス係数を乗算することによって計算される、請求項１または２記載の方法。

【請求項4】

前記ウェット・アップミックス係数を処理するための前記あらかじめ定義された規則は、要素ごとの絶対値演算を含む、請求項３記載の方法。

【請求項5】

前記ウェット・アップミックス係数および前記ドライ・アップミックス係数はそれぞれの行列として構成され、前記ウェット・アップミックス係数を処理するための前記あらかじめ定義された規則は、すべての要素の要素ごとの絶対値を計算し、前記ドライ・アップミックス係数の行列との直接的な行列乗算を許容するよう、それらの要素を再配列することを含む、請求項４記載の方法。

【請求項6】

前記ダウンミックス信号は、中間信号を計算する前記段階およびドライ・アップミックス信号を計算する前記段階より前に直交ミラー・フィルタ（QMF）領域表現に変換される、請求項１ないし５のうちいずれか一項記載の方法。

【請求項7】

前記ウェット・アップミックス係数および前記ドライ・アップミックス係数の複数の値が受領され、各値はアンカー点に関連付けられており、当該方法はさらに：
二つの連続するアンカー点に関連付けられた前記ウェット・アップミックス係数および前記ドライ・アップミックス係数の値に基づいて、係数の前記第一の集合の対応する値を計算し、
次いで、すでに計算された係数の前記第一の集合の値に基づいて、前記連続するアンカー点の間に含まれる少なくとも一つの時点についての係数の前記第一の集合の値を補間することを含む、
請求項１ないし６のうちいずれか一項記載の方法。

【請求項8】

ダウンミックス信号の時間／周波数タイルおよび関連付けられたウェット・アップミックス係数およびドライ・アップミックス係数を受領し、複数のオーディオ信号を再構成するよう適応されたパラメトリック再構成部をもつオーディオ・デコード・システムであって、前記ダウンミックス信号は再構成されるべきオーディオ信号の数より少数のチャネルをもち、前記パラメトリック再構成部は：
前記ダウンミックス信号の前記時間／周波数タイルを受領して、係数の第一の集合に従って線形に前記ダウンミックス信号をマッピングすることによって計算される中間信号（W）を出力するよう構成された前置乗算器と；
前記中間信号を受領してそれに基づいて脱相関信号を出力するよう構成された脱相関部と；
前記ウェット・アップミックス係数および前記脱相関信号を受領して、前記ウェット・アップミックス係数に従って線形に前記脱相関信号をマッピングすることによってウェット・アップミックス信号を計算するよう構成されたウェット・アップミックス部と；
前記ドライ・アップミックス係数および前記前置乗算器と並列に前記ダウンミックス信号の前記時間／周波数タイルを受領して、前記ドライ・アップミックス係数に従って線形に前記ダウンミックス信号をマッピングすることによって計算されたドライ・アップミックス信号を出力するよう構成されたドライ・アップミックス部と；
前記ウェット・アップミックス信号および前記ドライ・アップミックス信号を受領して、これらの信号を組み合わせて、再構成されるべき前記複数のオーディオ信号の時間／周波数タイルに対応する多次元の再構成された信号を得るよう構成された組み合わせ部とを有しており、
前記パラメトリック再構成部はさらに、前記ウェット・アップミックス係数および前記ドライ・アップミックス係数を受領して、あらかじめ定義された規則に従って係数の前記第一の集合を計算し、これを前記前置乗算器に供給するよう構成された変換器を有しており、
前記前置乗算器は、前記ドライ・アップミックス信号の線形マッピングによって前記中間信号を得るようさらに構成されている、
オーディオ・デコード・システム。

【請求項9】

パラメトリック再構成のために好適なデータとして複数のオーディオ信号（X）をエンコードするための方法であって：
前記複数のオーディオ信号の時間／周波数タイルを受領する段階と；
ダウンミックス規則に従って、前記オーディオ信号の線形結合を形成することによってダウンミックス信号（Y）を計算する段階であって、前記ダウンミックス信号は、再構成されるべきオーディオ信号の数より少数のチャネルを含む、段階と；
前記時間／周波数タイルにおいてエンコードされるべきオーディオ信号を近似する前記ダウンミックス信号の線形マッピングを定義するために、ドライ・アップミックス係数（C）を決定する段階と；
受領されたオーディオ信号の共分散および前記ダウンミックス信号の前記線形マッピングによって近似されたオーディオ信号の共分散に基づいてウェット・アップミックス係数（P）を決定する段階と；
前記ダウンミックス信号を、前記ウェット・アップミックス係数および前記ドライ・アップミックス係数と一緒に出力する段階であって、それらの係数はそれ自身が、前記オーディオ信号のパラメトリック再構成の一部として脱相関前の線形マッピングを定義する係数のさらなる集合（Q）の、あらかじめ定義された規則に基づくデコーダ側での計算を可能にする、段階とを含み、
前記ウェット・アップミックス係数は：
前記ダウンミックス信号の前記線形マッピングによって近似される前記オーディオ信号の前記共分散を補足する目標共分散を設定し；
前記目標共分散を行列とその転置の積として分解することによって決定され、前記行列の要素は、列ごとの再スケーリング後に、前記ウェット・アップミックス係数に対応する、
方法。

【請求項10】

前記オーディオ信号の複数の時間／周波数タイルが受領され、前記ダウンミックス信号は、あらかじめ定義されたダウンミックス規則に従って一様に計算される、請求項９記載の方法。

【請求項11】

前記オーディオ信号の複数の時間／周波数タイルが受領され、前記ダウンミックス信号は、信号適応的なダウンミックス規則に従って計算される、請求項９記載の方法。

【請求項12】

前記目標共分散が分解される前記行列の列ごとの再スケーリングをさらに含み、前記列ごとの再スケーリングは、前記脱相関前の線形マッピングを定義する係数が前記あらかじめ定義された規則に従って計算される限り、前記脱相関前の線形マッピングを前記ダウンミックス信号に適用することから帰結する各信号の分散が、前記列ごとの再スケーリングにおいて用いられる対応する再スケーリング因子の逆二乗に等しいことを保証する、請求項９ないし１１のうちいずれか一項記載の方法。

【請求項13】

前記あらかじめ決定された規則は、係数の前記さらなる集合と前記ウェット・アップミックス係数との間の線形スケーリング関係を含意し、前記列ごとの再スケーリングは、行列積
(absV)^TCR_yyC^TabsV
の対角部分を−1/4乗したものの乗算に帰着し、ここで、absVは前記目標共分散が分解される前記行列の要素ごとの絶対値を表わし、CR_yyC^Tは前記ダウンミックス信号の前記線形マッピングによって近似された前記オーディオ信号の前記共分散に対応する行列である、
請求項１２記載の方法。

【請求項14】

前記目標共分散は、前記目標共分散と、前記ダウンミックス信号の前記線形マッピングによって近似された前記オーディオ信号の前記共分散との和が、受領された前記オーディオ信号の前記共分散を近似するために選ばれる、請求項９ないし１３のうちいずれか一項記載の方法。

【請求項15】

受領されたオーディオ信号の推定された全エネルギーと、前記ダウンミックス信号、前記ウェット・アップミックス係数および前記ドライ・アップミックス係数に基づいてパラメトリックに再構成されたオーディオ信号の推定された全エネルギーとの比を決定し；
前記比の平方根の逆数によって前記ドライ・アップミックス係数を再スケーリングすることによって、
エネルギー補償を実行することをさらに含み、
再スケーリングされたドライ・アップミックス係数は、前記ダウンミックス信号および前記ウェット・アップミックス係数と一緒に出力される、
請求項９ないし１３のうちいずれか一項記載の方法。

【請求項16】

パラメトリック再構成のために好適なデータとして複数のオーディオ信号をエンコードするよう適応されたパラメトリック・エンコード部を含むオーディオ・エンコード・システムであって、前記パラメトリック・エンコード部は：
前記複数のオーディオ信号の時間／周波数タイルを受領し、ダウンミックス規則に従って前記オーディオ信号の線形結合を形成することによってダウンミックス信号を計算するよう構成されたダウンミックス部であって、前記ダウンミックス信号は、再構成されるべきオーディオ信号の数より少数のチャネルを含む、ダウンミックス部と；
前記時間／周波数タイルにおいてエンコードされるべきオーディオ信号を近似する前記ダウンミックス信号の線形マッピングを定義するために、ドライ・アップミックス係数を決定するよう構成された第一の解析部と；
受領されたオーディオ信号の共分散および前記ダウンミックス信号の前記線形マッピングによって近似されたオーディオ信号の共分散に基づいてウェット・アップミックス係数を決定するよう構成された第二の解析部とを有しており、
前記パラメトリック・エンコード部は、前記ダウンミックス信号を、前記ウェット・アップミックス係数および前記ドライ・アップミックス係数と一緒に出力するよう構成されており、前記ウェット・アップミックス係数および前記ドライ・アップミックス係数はそれ自身が、前記オーディオ信号のパラメトリック再構成の一部として脱相関前の線形マッピングを定義する係数のさらなる集合の、あらかじめ定義された規則に基づくデコーダ側での計算を可能にし、
前記第二の解析部は、前記ウェット・アップミックス係数を：
前記ダウンミックス信号の前記線形マッピングによって近似される前記オーディオ信号の前記共分散を補足する目標共分散を設定し；
前記目標共分散を行列とその転置の積として分解することによって決定するよう構成されており、前記行列の要素が、列ごとの再スケーリング後に、前記ウェット・アップミックス係数に対応する、
オーディオ・エンコード・システム。

【請求項17】

コンピュータに請求項１ないし７のうちいずれか一項記載の方法を実行させるためのコンピュータ・プログラム。

【請求項18】

コンピュータに請求項９ないし１５のうちいずれか一項記載の方法を実行させるためのコンピュータ・プログラム。

【請求項19】

前記複数のオーディオ信号のうちの少なくとも一つは、空間的位置指定子に関連付けられたオーディオ・オブジェクト信号に関係する、請求項１ないし７のうちいずれか一項記載の方法。

【請求項20】

前記複数のオーディオ信号のうちの少なくとも一つは、空間的位置指定子に関連付けられたオーディオ・オブジェクト信号に関係する、請求項９ないし１５のうちいずれか一項記載の方法。

【請求項21】

前記複数のオーディオ信号のうちの少なくとも一つは、空間的位置指定子に関連付けられたオーディオ・オブジェクト信号に関係する、請求項８記載のオーディオ・デコード・システム。

【請求項22】

前記複数のオーディオ信号のうちの少なくとも一つは、空間的位置指定子に関連付けられたオーディオ・オブジェクト信号に関係する、請求項１６記載のオーディオ・エンコード・システム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願への相互参照
本願は2014年4月1日に出願された米国仮特許出願第61/973,646号および2013年10月21日に出願された米国仮特許出願第61/893,770号の優先権を主張するものである。各出願の内容はここに参照によってその全体において組み込まれる。

【0002】

技術分野
本稿に開示される発明は、オーディオ信号のエンコードおよびデコードに、詳細にはダウンミックス信号および関連するメタデータからの複数のオーディオ信号のパラメトリック再構成に関する。

【背景技術】

【0003】

複数のラウドスピーカーを含むオーディオ再生システムは、複数のオーディオ信号によって表わされるオーディオ・シーンを再現するためにしばしば使われる。ここで、それぞれのオーディオ信号はそれぞれのラウドスピーカーで再生される。オーディオ・システムはたとえば、複数の音響トランスデューサを介して記録されたものであってもよく、オーディオ・オーサリング設備によって生成されたものであってもよい。多くの状況において、オーディオ信号を再生設備に伝送するための帯域幅制限および／またはオーディオ信号をコンピュータ・メモリもしくはポータブル記憶装置に記憶するための制限されたスペースがある。必要とされる帯域幅または記憶サイズを低減するよう、オーディオ信号のパラメトリック符号化のためのオーディオ符号化システムが存在する。エンコーダ側では、これらのシステムは典型的にはオーディオ信号をダウンミックスして、典型的にはモノ（一チャネル）またはステレオ（二チャネル）ダウンミックスであるダウンミックス信号にし、レベル差および相互相関のようなパラメータによってオーディオ信号の属性を記述するサイド情報を抽出する。次いで、ダウンミックスおよびサイド情報はエンコードされて、デコーダ側に送られる。デコーダ側では、該ダウンミックスから、サイド情報のパラメータの制御のもとで、複数のオーディオ信号が再構成される、すなわち近似される。前記複数のオーディオ信号のより忠実な再構成を許容するよう、ダウンミックスによって提供されるオーディオ・コンテンツの次元性（dimensionality）増すために、パラメトリック再構成の一部としてしばしば脱相関器が用いられる。脱相関器をいかにして設計し、実装するかは、再構成の忠実度を高めるためのキーとなる要因でありうる。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Hotho et al.、“A Backward-Compatible Multichannel Audio Codec”、IEEE Transactions on Audio, Speech, and Language Processing, Vol.16, No.1, January 2008

【発明の概要】

【発明が解決しようとする課題】

【0005】

家庭におけるエンドユーザーをねらいとする台頭しつつあるセグメントを含めオーディオ・シーンを表わす複数のオーディオ信号の再生のために利用可能な装置およびシステムの異なる型の幅広い範囲に鑑み、帯域幅要求および／または記憶のための必要とされるメモリ・サイズを低減するおよび／またはデコーダ側での前記複数のオーディオ信号の再構成を容易にするよう、複数のオーディオ信号を効率的にエンコードするための新しい、代替的な方法が必要とされている。

【図面の簡単な説明】

【0006】

下記では、例示的実施形態が、付属の図面を参照して、より詳細に記述される。

【図1】ある例示的実施形態に基づく、ダウンミックス信号および付随するウェットおよびドライなアップミックス係数に基づいて複数のオーディオ信号を再構成するためのパラメトリック再構成部の一般化されたブロック図である。

【図2】ある例示的実施形態に基づく、図１に描かれたパラメトリック再構成部を有するオーディオ・デコード・システムの一般化されたブロック図である。

【図3】ある例示的実施形態に基づく、パラメトリック再構成のために好適なデータとして複数のオーディオ信号をエンコードするためのパラメトリック・エンコード部の一般化されたブロック図である。

【図4】ある例示的実施形態に基づく、図３に描かれたパラメトリック・エンコード部を有するオーディオ・エンコード・システムの一般化されたブロック図である。 すべての図面は概略的であり、一般に、本開示を明快にするために必要な部分を示すのみである。一方、他の部分は省略されたり示唆されるだけであったりすることがある。

【発明を実施するための形態】

【0007】

本稿での用法では、オーディオ信号は純粋なオーディオ信号、オーディオビジュアル信号またはマルチメディア信号のオーディオ部分またはメタデータと組み合わせたこれらの任意のものでありうる。

【0008】

本稿での用法では、チャネルは、あらかじめ定義された／固定された空間位置／配向または「左」または「右」のような定義されない空間位置に関連付けられたオーディオ信号である。

【0009】

本稿での用法では、オーディオ・オブジェクトまたはオーディオ・オブジェクト信号は、時間可変でありうる空間位置、すなわち、値が時間とともに割り当て直されたり更新されたりしうる空間位置に関連付けられたオーディオ信号である。

【0010】

〈Ｉ．概観〉
第一の側面によれば、例示的実施形態は、複数のオーディオ信号を再構成するためのオーディオ・デコード・システムならびに方法およびコンピュータ・プログラム・プロダクトを提案する。該第一の側面に基づく提案されるデコード・システム、方法およびコンピュータ・プログラム・プロダクトは一般に同じまたは対応する特徴および利点をもつことがある。

【0011】

例示的実施形態によれば、複数のオーディオ信号を再構成するための方法が提供される。本方法は、ダウンミックス信号の時間／周波数タイルを、関連付けられたウェットおよびドライのアップミックス係数と一緒に受領する段階であって、前記ダウンミックス信号は再構成されるべきオーディオ信号の数より少数のチャネルを含む、段階と；中間信号と称される一つまたは複数のチャネルをもつ第一の信号を、前記ダウンミックス信号の線形マッピングとして計算する段階であって、前記中間信号の計算の一部として、係数の第一の集合が前記ダウンミックス信号のチャネルに適用される、段階と；前記中間信号の一つまたは複数のチャネルを処理することによって、脱相関信号と称される一つまたは複数のチャネルをもつ第二の信号を生成する段階と；ウェット・アップミックス信号と称される複数のチャネルをもつ第三の信号を前記脱相関信号の線形マッピングとして計算する段階であって、前記ウェット・アップミックス信号の計算の一部として、係数の第二の集合が前記脱相関信号の一つまたは複数のチャネルに適用される、段階と；ドライ・アップミックス信号と称される複数のチャネルをもつ第四の信号を前記ダウンミックス信号の線形マッピングとして計算する段階であって、前記ドライ・アップミックス信号の計算の一部として、係数の第三の集合が前記ダウンミックス信号のチャネルに適用される、段階と；前記ウェット・アップミックス信号および前記ドライ・アップミックス信号を組み合わせて、再構成されるべき前記複数のオーディオ信号の時間／周波数タイルに対応する多次元の再構成された信号を得る段階とを含む。今の例示的実施形態では、係数の第二の集合および第三の集合は、それぞれ受領されたウェット・アップミックス係数およびドライ・アップミックス係数に対応する。係数の第一の集合は、該ウェット・アップミックス係数およびドライ・アップミックス係数に基づいて、あらかじめ定義された規則に従って、計算される。

【0012】

脱相関信号を加えることは、聴取者によって知覚される多次元の再構成された信号の内容の次元性を高め、多次元の再構成された信号の忠実度を高めるはたらきをする。脱相関信号の前記一つまたは複数のチャネルのそれぞれは、前記中間信号の前記一つまたは複数のチャネルの対応するチャネルと、少なくとも近似的には同じスペクトルを有していてもよく、あるいは前記中間信号の前記一つまたは複数のチャネルの前記対応するチャネルのスペクトルの再スケーリング／規格化されたバージョンに対応するスペクトルを有していてもよい。脱相関信号の前記一つまたは複数のチャネルは少なくとも近似的には、互いに無相関であってもよい。脱相関信号の前記一つまたは複数のチャネルは好ましくは、前記中間信号の前記一つまたは複数のチャネルと、少なくとも近似的には無相関であってもよい。たとえば白色雑音から、所与のスペクトルをもつ相互に相関していない諸信号を合成することが可能であるが、本例示的実施形態の前記脱相関信号の前記一つまたは複数のチャネルは、前記中間信号を処理することによって生成される。これはたとえば、前記中間信号のそれぞれの一つまたは複数のチャネルにそれぞれの全通過フィルタを適用することまたは前記中間信号のそれぞれの一つまたは複数のチャネルの諸部分を再結合することを含む。それにより、音色のような前記中間信号の相対的により微妙な、音響心理学的に条件付けられる属性を含む前記中間信号のできるだけ多くの属性、特にローカルに静的な属性を保存するようにするのである。

【0013】

本発明者らは、脱相関信号が導出されるもとになる中間信号の選択が再構成されるオーディオ信号の忠実度に影響しうること、再構成されるべきオーディオ信号のある種の属性が変化する場合、たとえば再構成されるべきオーディオ信号が時間変化する位置をもつオーディオ・オブジェクトである場合には、中間信号を得る計算がしかるべく適応されれば再構成されたオーディオ信号の忠実度が高められることを認識するに至った。本例示的実施形態では、中間信号の計算は、ダウンミックス信号のチャネルに係数の第一の集合を適用することを含む。したがって、係数の第一の集合は、中間信号がどのように計算されるかに対して、少なくともいくらかの制御を許容する。これは、再構成されるオーディオ信号の忠実度を高めることを許容する。

【0014】

本発明者らは、さらに、それぞれウェットおよびドライ・アップミックス信号を計算するために用いられる受領されたウェットおよびドライ・アップミックス係数が、係数の第一の集合のための好適な値を計算するために用いられうる情報を担持することを認識するに至った。ウェットおよびドライ・アップミックス係数に基づいて、あらかじめ定義された規則に従って係数の第一の集合を計算することによって、前記複数のオーディオ信号の再構成を可能にするために必要とされる情報の量が低減され、ダウンミックス信号と一緒にエンコーダ側から送信されるメタデータの量の低減を許容する。パラメトリック再構成のために必要とされるデータの量を低減することにより、再構成されるべき前記複数のオーディオ信号のパラメトリックな表現の送信のための必要とされる帯域幅および／またはそのような表現を記憶するための必要とされるメモリ・サイズが低減されうる。

【0015】

受領されたウェットおよびドライ・アップミックス係数にそれぞれ対応する係数の第二の集合および第三の集合とは、係数の第二の集合および第三の集合がそれぞれウェット・アップミックス係数およびドライ・アップミックス係数と一致すること、あるいは係数の第二の集合および第三の集合はそれぞれウェット・アップミックス係数およびドライ・アップミックス係数によって一意的に制御される（またはそれから一意的に導出可能である）ことを意味する。たとえば、たとえウェット・アップミックス係数の数が係数の第二の集合内の係数の数より少なくても、たとえばウェット・アップミックス係数から係数の第二の集合を決定するためのあらかじめ定義された公式がデコーダ側で知られていれば、ウェット・アップミックス係数から係数の第二の集合が導出可能でありうる。

【0016】

ウェットおよびドライ・アップミックス信号を組み合わせることは、ウェット・アップミックス信号のそれぞれのチャネルからのオーディオ・コンテンツを、ドライ・アップミックス信号のそれぞれの対応するチャネルのオーディオ・コンテンツに加えること、たとえばサンプル毎または変換係数毎の加法的混合を含んでいてもよい。

【0017】

中間信号がダウンミックス信号の線形マッピングであるとは、中間信号が、ダウンミックス信号に第一の線形変換を適用することによって得られることを意味する。この第一の変換は、あらかじめ定義された数のチャネルを入力として取り、あらかじめ定義された数の一つまたは複数のチャネルを出力として提供する。係数の前記第一の集合は、この第一の線形変換の定量的属性を定義する係数を含む。

【0018】

ウェット・アップミックス信号が脱相関信号の線形マッピングであるとは、ウェット・アップミックス信号が、脱相関信号に第二の線形変換を適用することによって得られることを意味する。この第二の変換は、あらかじめ定義された数の一つまたは複数のチャネルを入力として取り、あらかじめ定義された（第二の）数のチャネルを出力として提供する。係数の前記第二の集合は、この第二の線形変換の定量的属性を定義する係数を含む。

【0019】

ドライ・アップミックス信号がダウンミックス信号の線形マッピングであるとは、ドライ・アップミックス信号が、ダウンミックス信号に第三の線形変換を適用することによって得られることを意味する。この第三の変換は、あらかじめ定義された（第三の）数のチャネルを入力として取り、あらかじめ定義された数のチャネルを出力として提供する。係数の前記第三の集合は、この第三の線形変換の定量的属性を定義する係数を含む。

【0020】

オーディオ・エンコード／デコード・システムは典型的には、入力オーディオ信号に好適なフィルタバンクを適用することによって、時間‐周波数空間を時間／周波数タイルに分割する。時間／周波数タイルとは、一般に、ある時間区間およびある周波数サブバンドに対応する、時間‐周波数空間の一部を意味する。時間区間は典型的には、オーディオ・エンコード／デコード・システムにおいて使われる時間フレームの継続時間に対応しうる。周波数サブバンドは典型的には、エンコード／デコード・システムにおいて使用されるフィルタバンクによって定義される一つまたはいくつかの近隣の周波数サブバンドに対応しうる。周波数サブバンドがフィルタバンクによって定義されるいくつかの近隣の周波数サブバンドに対応する場合、これは、オーディオ信号のデコード／再構成プロセスにおいて非一様な周波数サブバンドを、たとえばオーディオ信号のより高い周波数についてはより幅広い周波数サブバンドを、もつことを許容する。オーディオ・エンコード／デコード・システムが全周波数範囲上で動作するブロードバンドの場合、時間／周波数タイルの周波数サブバンドは周波数範囲全体に対応してもよい。本例示的実施形態に基づく方法は、一つのそのような時間／周波数タイルについて前記複数のオーディオ信号を再構成するための諸段階に関して記述される。また、いくつかの時間／周波数タイルが同時に再構成されてもよいことが理解される。典型的には、近隣の時間／周波数タイルどうしは分離していてもよく、あるいは部分的に重なり合っていてもよい。

【0021】

ある例示的実施形態では、処理されて脱相関信号にされる前記中間信号は、ドライ・アップミックス信号の線形マッピングによって取得可能であってもよい。すなわち、前記中間信号は、ドライ・アップミックス信号に対して線形変換を適用することによって取得可能であってもよい。ダウンミックス信号の線形マッピングとして計算されるドライ・アップミックス信号の線形マッピングによって取得可能な中間信号を用いることによって、脱相関信号を得るために必要とされる計算の複雑さが軽減されうる。これはオーディオ信号の、より計算効率のよい再構成を許容する。少なくともいくつかの例示的実施形態では、ドライ・アップミックス係数は、デコーダ側で計算されるドライ・アップミックス信号が再構成されるべきオーディオ信号を近似するように、エンコーダ側で決定されたものであってもよい。そのような近似の線形マッピングによって取得可能な中間信号に基づく脱相関信号の生成は、再構成されたオーディオ信号の忠実度を高めうる。

【0022】

ある例示的実施形態では、中間信号は、ドライ・アップミックス信号に対して、ウェット・アップミックス係数の絶対値である係数の集合を適用することによって取得可能であってもよい。中間信号は、たとえば、前記中間信号の前記一つまたは複数のチャネルを、ドライ・アップミックス信号の諸チャネルのそれぞれの一つまたは複数の線形結合として形成することによって取得可能であってもよい。ここで、ウェット・アップミックス係数の該絶対値がそれぞれのドライ・アップミックス信号チャネルに、前記一つまたは複数の線形結合における利得として適用されてもよい。ウェット・アップミックス係数の絶対値である係数の集合を適用することによってドライ・アップミックス信号をマッピングすることによって取得可能な中間信号を用いることによって、諸ウェット・アップミックス係数が異なる符号をもつことに起因する、ドライ・アップミックス信号のそれぞれのチャネルからの寄与の間で前記中間信号において打ち消しが生起するリスクが低減されうる。中間信号における打ち消しのリスクを低減することにより、中間信号から生成される脱相関信号のエネルギー／振幅が、再構成されるオーディオ信号のものにマッチするとともに、ウェット・アップミックス係数における急激な揺動が避けられうるまたはより低頻度で起こりうる。

【0023】

ある例示的実施形態では、係数の第一の集合は、あらかじめ定義された規則に従ってウェット・アップミックス係数を処理し、処理されたウェット・アップミックス係数およびドライ・アップミックス係数を乗算することによって計算されうる。たとえば、処理されたウェット・アップミックス係数およびドライ・アップミックス係数はそれぞれの行列として構成されてもよく、係数の第一の集合は、これら二つの行列の行列積として計算された行列に対応してもよい。

【0024】

ある例示的実施形態では、ウェット・アップミックス係数を処理するためのあらかじめ定義された規則は、要素ごとの絶対値演算を含んでいてもよい。

【0025】

ある例示的実施形態では、ウェットおよびドライ・アップミックス係数はそれぞれの行列として構成されていてもよく、ウェット・アップミックス係数を処理するためのあらかじめ定義された規則は、任意の順序で、すべての要素の要素ごとの絶対値を計算し、ドライ・アップミックス係数の行列との直接的な行列乗算を許容するよう、それらの要素を再配列することを含んでいてもよい。今の例示的実施形態では、再構成されるべきオーディオ信号は、前記中間信号のベースとなるダウンミックス信号を介して脱相関信号の前記一つまたは複数のチャネルに寄与し、脱相関信号の前記一つまたは複数のチャネルはウェット・アップミックス信号を介して、再構成されるオーディオ信号に寄与する。本発明者らは、再構成されたオーディオ信号の忠実度を高めるために、次の原理を遵守するよう努めることが望ましいことがありうることを認識するに至った：脱相関信号の所与のチャネルがパラメトリック再構成において寄与するオーディオ信号は、ダウンミックス信号を介して、脱相関信号の該所与のチャネルが生成されるもとになった中間オーディオ信号の同じチャネルに、好ましくはマッチする／等価な量だけ寄与するべきである。今の例示的実施形態に基づくあらかじめ定義された規則は、この原理を反映すると言われてもよい。

【0026】

ウェット・アップミックス係数を処理するためのあらかじめ定義された規則に要素ごとの絶対値演算を含めることによって、諸ウェット・アップミックス係数が異なる符号をもつことに起因する、ドライ・アップミックス信号のそれぞれのチャネルからの寄与の間で前記中間信号において打ち消しが生起するリスクが低減されうる。中間信号における打ち消しのリスクを低減することにより、中間信号から生成される脱相関信号のエネルギー／振幅が、再構成されるオーディオ信号のものにマッチするとともに、ウェット・アップミックス係数における急激な揺動が避けられうるまたはより低頻度で起こりうる。

【0027】

ある例示的実施形態では、計算し、組み合わせる段階は、前記信号の直交ミラー・フィルタ（QMF）領域表現に対して実行されてもよい。

【0028】

ある例示的実施形態では、ウェットおよびドライ・アップミックス係数の複数の値が受領されてもよい。ここで、各値は特定のアンカー点に関連付けられている。今の例示的実施形態では、本方法はさらに、二つの連続するアンカー点に関連付けられたウェットおよびドライ・アップミックス係数の値に基づいて、係数の前記第一の集合の対応する値を計算し、次いで、すでに計算された係数の前記第一の集合の値に基づいて連続するアンカー点の間に含まれる少なくとも一つの時点についての係数の前記第一の集合の値を補間することを含んでいてもよい。換言すれば、二つの連続するアンカー点について計算された係数の前記第一の集合の値が、二つの連続するアンカー点の間に含まれる少なくとも一つの時点についての係数の前記第一の集合の値を得るために、二つの連続するアンカー点の間での補間のために用いられる。これは、ウェットおよびドライ・アップミックス係数に基づく係数の前記第一の集合の、相対的によりコスト高な計算の無用な反復を回避する。

【0029】

例示的実施形態によれば、ダウンミックス信号の時間／周波数タイルおよび関連付けられたウェットおよびドライ・アップミックス係数を受領し、複数のオーディオ信号を再構成するよう適応されたパラメトリック再構成部をもつオーディオ・デコード・システムが提供される。ここで、前記ダウンミックス信号は再構成されるべきオーディオ信号の数より少数のチャネルをもつ。パラメトリック再構成部は：ダウンミックス信号の時間／周波数タイルを受領して、係数の第一の集合に従って線形に前記ダウンミックス信号をマッピングすることによって、すなわち係数の前記第一の集合を用いて前記ダウンミックス信号のチャネルの一つまたは複数の線形結合を形成することによって計算される中間信号を出力するよう構成された前置乗算器と；前記中間信号を受領してそれに基づいて脱相関信号を出力するよう構成された脱相関部と；前記ウェット・アップミックス係数および前記脱相関信号を受領して、前記ウェット・アップミックス係数に従って線形に前記脱相関信号をマッピングすることによって、すなわち前記ウェット・アップミックス係数を用いて前記脱相関信号の一つまたは複数のチャネルの線形結合を形成することによってウェット・アップミックス信号を計算するよう構成されたウェット・アップミックス部と；前記ドライ・アップミックス係数および前記前置乗算器と並列に前記ダウンミックス信号の前記時間／周波数タイルを受領して、前記ドライ・アップミックス係数に従って線形に前記ダウンミックス信号をマッピングすることによって、すなわち前記ドライ・アップミックス係数を用いて前記ダウンミックス信号のチャネルの線形結合を形成することによって計算されたドライ・アップミックス信号を出力するよう構成されたドライ・アップミックス部と；前記ウェット・アップミックス信号および前記ドライ・アップミックス信号を受領して、これらの信号を組み合わせて、再構成されるべき前記複数のオーディオ信号の時間／周波数タイルに対応する多次元の再構成された信号を得るよう構成された組み合わせ部とを有する。パラメトリック再構成部はさらに、ウェットおよびドライ・アップミックス係数を受領して、あらかじめ定義された規則に従って係数の前記第一の集合を計算し、これを、すなわち係数の前記第一の集合を前記前置乗算器に供給するよう構成された変換器を有する。

【0030】

第二の側面によれば、例示的実施形態は、複数のオーディオ信号をエンコードするためのオーディオ・エンコード・システムならびに方法およびコンピュータ・プログラム・プロダクトを提案する。該第二の側面に基づく提案されるエンコード・システム、方法およびコンピュータ・プログラム・プロダクトは一般に同じまたは対応する特徴および利点をもつことがある。さらに、デコード・システム、方法およびコンピュータ・プログラム・プロダクトの特徴について上記で呈示した利点は、一般に、第二の側面に基づくエンコード・システム、方法およびコンピュータ・プログラム・プロダクトの対応する特徴についても有効でありうる。

【0031】

例示的実施形態によれば、パラメトリック再構成のために好適なデータとして複数のオーディオ信号をエンコードするための方法が提供される。本方法は、前記複数のオーディオ信号の時間／周波数タイルを受領する段階と；ダウンミックス規則に従って、前記オーディオ信号の線形結合を形成することによってダウンミックス信号を計算する段階であって、前記ダウンミックス信号は、再構成されるべきオーディオ信号の数より少数のチャネルを含む、段階と；前記時間／周波数タイルにおいてエンコードされるべきオーディオ信号を近似する前記ダウンミックス信号の線形マッピングを定義するために、ドライ・アップミックス係数を決定する段階と；受領されたオーディオ信号の共分散および前記ダウンミックス信号の前記線形マッピングによって近似されたオーディオ信号の共分散に基づいてウェット・アップミックス係数を決定する段階と；前記ダウンミックス信号を、前記ウェットおよびドライ・アップミックス係数と一緒に出力する段階であって、それらの係数はそれ自身が、前記オーディオ信号のパラメトリック再構成の一部として脱相関前の線形マッピングを定義する係数のさらなる集合の、あらかじめ定義された規則に基づく計算を可能にする、段階とを含む。このコンテキストにおいて、脱相関前の線形マッピングは、たとえば、オーディオ信号の前記共分散の完全なまたは部分的な復元を可能にしうる。

【0032】

ウェットおよびドライ・アップミックス係数自身が、係数のさらなる集合の、あらかじめ定義された規則に基づく計算を可能にするとは、ひとたびウェットおよびドライ・アップミックス係数（の値）がわかれば、係数の前記さらなる集合は、エンコーダ側から送られるそれ以上の追加的な係数（の値）にアクセスすることなく、前記あらかじめ定義された規則に従って計算されうるということを意味する。たとえば、本方法は、前記ダウンミックス信号、前記ウェット・アップミックス係数および前記ドライ・アップミックス係数のみを出力することを含んでいてもよい。

【0033】

デコーダ側では、オーディオ信号のパラメトリック再構成は典型的には、前記ダウンミックス信号の線形マッピングを介して得られたドライ・アップミックス信号を、前記ダウンミックス信号に基づいて生成された脱相関信号からの寄与と組み合わせることを含む。係数の前記さらなる集合が前記オーディオ信号のパラメトリック再構成の一部として脱相関前の線形マッピングを定義するとは、係数の前記さらなる集合が、前記ダウンミックス信号を入力として取り中間信号と称される一つまたは複数のチャネルをもつ信号を出力する線形変換の定量的な属性を定義する係数を含むことを意味する。ここで、該中間信号に対して脱相関手順が実行されて、前記脱相関信号を生成する。

【0034】

係数の前記さらなる集合は、あらかじめ定義された規則に従って、ウェットおよびドライ・アップミックス係数に基づいて計算されうるので、前記複数のオーディオ信号の再構成を可能にするために必要とされる情報の量が低減され、ダウンミックス信号と一緒にデコーダ側に送信されるメタデータの量の低減を許容する。パラメトリック再構成のために必要とされるデータの量を低減することにより、再構成されるべき前記複数のオーディオ信号のパラメトリックな表現の送信のための必要とされる帯域幅および／またはそのような表現を記憶するための必要とされるメモリ・サイズが低減されうる。

【0035】

ダウンミックス信号を計算するときに用いられるダウンミックス規則は、前記オーディオ信号の線形結合の定量的属性、すなわち、線形結合を形成するときにそれぞれのオーディオ信号に適用されるべき係数を定義する。

【0036】

ドライ・アップミックス係数が、エンコードされるべきオーディオ信号を近似する前記ダウンミックス信号の線形マッピングを定義するとは、ドライ・アップミックス係数が、前記ダウンミックス信号を入力として取り、エンコードされるべきオーディオ信号を近似するオーディオ信号の集合を出力する線形変換の定量的属性を定義する係数であることを意味する。ドライ・アップミックス係数の決定された集合は、たとえば、オーディオ信号の最小平均平方誤差近似に対応する前記ダウンミックス信号の線形マッピングを定義しうる。すなわち、前記ダウンミックス信号の線形マッピングの集合の間で、ドライ・アップミックス係数の決定された集合は、最小平均平方の意味で前記オーディオ信号を最もよく近似する線形マッピングを定義しうる。

【0037】

ウェット・アップミックス係数は、たとえば、受領されたオーディオ信号の共分散および前記ダウンミックス信号の前記線形マッピングによって近似されたオーディオ信号の共分散の間の差に基づいて、あるいはそれらの共分散を比較することによって決定されてもよい。

【0038】

ある例示的実施形態では、オーディオ信号の複数の時間／周波数タイルが受領されてもよく、ダウンミックス信号は、あらかじめ定義されたダウンミックス規則に従って一様に計算されてもよい。換言すれば、オーディオ信号の線形結合を形成するときのそれぞれのオーディオ信号に適用される係数はあらかじめ定義されており、連続する諸時間フレームにわたって一定である。たとえば、ダウンミックス規則は、後方互換なダウンミックス信号を提供するよう、すなわち、標準化されたチャネル構成を用いるレガシー再生設備で再生されうるダウンミックス信号を提供するよう、適応されていてもよい。

【0039】

ある例示的実施形態では、オーディオ信号の複数の時間／周波数タイルが受領されてもよく、ダウンミックス信号は、信号適応的なダウンミックス規則に従って計算されてもよい。換言すれば、オーディオ信号の線形結合を形成するときに適用される係数のうちの少なくとも一つは信号適応的である、すなわち、それらの係数のうちの少なくとも一つ、好ましくはいくつかの値は、前記オーディオ信号のうちの一つまたは複数のオーディオ信号のオーディオ・コンテンツに基づいてエンコード・システムによって調整／選択されうる。

【0040】

ある例示的実施形態では、ウェット・アップミックス係数は：ダウンミックス信号の線形マッピングによって近似されるオーディオ信号の共分散を補足する目標共分散を設定し；前記目標共分散を行列とそれ自身の転置の積として分解することによって決定されてもよい。ここで、前記行列の要素は、任意的な列ごとの再スケーリング後に、ウェット・アップミックス係数に対応する。今の例示的実施形態では、前記目標共分散が分解される前記行列、すなわちそれ自身の転置を乗算されたときに前記目標共分散を与える前記行列は、正方行列または非正方行列でありうる。少なくともいくつかの例示的実施形態によれば、前記目標共分散は、受領されたオーディオ信号の共分散行列と前記ダウンミックス信号の前記線形マッピングによって近似されたオーディオ信号の共分散行列との間の差として形成された行列の一つまたは複数の固有ベクトルに基づいて決定されてもよい。

【0041】

ある例示的実施形態では、本方法はさらに、前記目標共分散が分解される前記行列（すなわち前記目標共分散は行列とその転置の積として分解される）の列ごとの再スケーリングを含んでいてもよい。ここで、前記行列の要素は、列ごとの再スケーリング後に、ウェット・アップミックス係数に対応する。今の例示的実施形態では、脱相関前の線形マッピングを定義する係数が前記あらかじめ定義された規則に従って計算される限り、列ごとの再スケーリングは、脱相関前の線形マッピングを前記ダウンミックス信号に適用することから帰結する各信号の分散が、列ごとの再スケーリングにおいて用いられる対応する再スケーリング因子の逆二乗に等しいことを保証してもよい。脱相関前の線形マッピングは、再構成されるべきオーディオ信号のパラメトリック再構成において前記ダウンミックス信号を補足するための脱相関信号を生成するために、デコーダ側で用いられてもよい。本例示的実施形態に基づく列ごとの再スケーリングを用いれば、ウェット・アップミックス係数は、目標共分散に対応する共分散を与える脱相関信号の線形マッピングを定義する。

【0042】

ある例示的実施形態では、前記あらかじめ決定された規則は、係数の前記さらなる集合と前記ウェット・アップミックス係数との間の線形スケーリング関係を含意してもよく、前記列ごとの再スケーリングは、行列積
(absV)^TCR_yyC^TabsV
の対角部分を−1/4乗したものの乗算に帰着してもよい。ここで、absVは前記目標共分散が分解される前記行列の要素ごとの絶対値を表わし、CR_yyC^Tは前記ダウンミックス信号の前記線形マッピングによって近似された前記オーディオ信号の前記共分散に対応する行列である。所与の行列、たとえば上記の行列積の対角部分とは、該所与の行列においてすべての非対角要素を0にすることによって得られる対角行列を意味する。そのような対角行列を−1/4乗するとは、該対角行列における各行列要素が−1/4乗されることを意味する。係数の前記さらなる集合と前記ウェット・アップミックス係数との間の線形スケーリング関係は、たとえば、前記目標共分散が分解された前記行列の列ごとの再スケーリングが、係数の前記さらなる集合を行列要素としてもつ行列の行ごとまたは列ごとの再スケーリングに対応する。ここで、係数の前記さらなる集合を行列要素としてもつ行列の行ごとまたは列ごとの再スケーリングは、前記目標共分散が分解された前記行列の列ごとの再スケーリングにおいて用いられる。

【0043】

前記脱相関前の線形マッピングは、再構成されるべきオーディオ信号のパラメトリック再構成においてダウンミックス信号を補足するための脱相関信号を生成するためにデコーダ側で用いられてもよい。本例示的実施形態に基づく列ごとの再スケーリングを用いることで、脱相関前の線形マッピングを定義する係数が前記あらかじめ定義された規則に従って計算される限り、ウェット・アップミックス係数は、前記目標共分散に対応する共分散を与える脱相関信号の線形マッピングを定義する。

【0044】

ある例示的実施形態では、前記目標共分散は、前記目標共分散と、前記ダウンミックス信号の前記線形マッピングによって近似されたオーディオ信号の前記共分散との和が、受領されたオーディオ信号の前記共分散を近似する、あるいはそれと少なくとも実質的に一致するために選ばれてもよい。それにより、前記ダウンミックス信号および前記ウェットおよびドライ・アップミックス・パラメータに基づいてデコーダ側でパラメトリックに再構成されたオーディオ信号が、受領されたオーディオ信号の前記共分散を近似する、あるいはそれと少なくとも実質的に一致する共分散をもつことを許容する。

【0045】

ある例示的実施形態では、本方法はさらに：受領されたオーディオ信号の推定された全エネルギーと前記ダウンミックス信号および前記ウェット・アップミックス係数および前記ドライ・アップミックス係数に基づいてパラメトリックに再構成されたオーディオ信号の推定された全エネルギーとの比を決定し、前記比の平方根の逆数によって前記ドライ・アップミックス係数を再スケーリングすることによって、エネルギー補償を実行することをさらに含んでいてもよい。今の例示的実施形態では、再スケーリングされたドライ・アップミックス係数は、前記ダウンミックス信号および前記ウェット・アップミックス係数と一緒に出力されてもよい。少なくともいくつかの例示的実施形態では、前記あらかじめ定義された規則は、前記ドライ・アップミックス係数に対して実行されるエネルギー補償が係数の前記さらなる集合に対応する効果をもつような、係数の前記さらなる集合と前記ドライ・アップミックス係数との間の線形スケーリング関係を含意してもよい。本例示的実施形態に基づくエネルギー補償は、前記ダウンミックス信号および前記ウェットおよびドライ・アップミックス・パラメータに基づいてデコーダ側でパラメトリックに再構成されたオーディオ信号が、受領されたオーディオ信号の全エネルギーを近似する全エネルギーをもつことを許容する。

【0046】

少なくともいくつかの例示的実施形態では、前記ウェット・アップミックス係数は、エネルギー補償を実行する前に決定されてもよい。すなわち、前記ウェット・アップミックス係数は、まだエネルギー補償されていないウェット・アップミックス係数に基づいて決定されてもよい。

【0047】

例示的実施形態によれば、パラメトリック再構成のために好適なデータとして複数のオーディオ信号をエンコードするよう適応されたパラメトリック・エンコード部を含むオーディオ・エンコード・システムが提供される。パラメトリック・エンコード部は：前記複数のオーディオ信号の時間／周波数タイルを受領し、ダウンミックス規則に従って、前記オーディオ信号の線形結合を形成することによってダウンミックス信号を計算するよう構成されたダウンミックス部であって、前記ダウンミックス信号は、再構成されるべきオーディオ信号の数より少数のチャネルを含む、ダウンミックス部と；前記時間／周波数タイルにおいてエンコードされるべきオーディオ信号を近似する前記ダウンミックス信号の線形マッピングを定義するために、ドライ・アップミックス係数を決定するよう構成された第一の解析部と；受領されたオーディオ信号の共分散および前記ダウンミックス信号の前記線形マッピングによって近似されたオーディオ信号の共分散に基づいてウェット・アップミックス係数を決定するよう構成された第二の解析部とを有する。本例示的実施形態では、パラメトリック・エンコード部は、前記ダウンミックス信号を、前記ウェットおよびドライ・アップミックス係数と一緒に出力するよう構成されており、前記ウェットおよびドライ・アップミックス係数はそれ自身が、前記オーディオ信号のパラメトリック再構成の一部として脱相関前の線形マッピングを定義する係数のさらなる集合の、あらかじめ定義された規則に基づく計算を可能にする。

【0048】

例示的実施形態によれば、第一および第二の側面内の諸方法のいずれかを実行するための命令をもつコンピュータ可読媒体を有するコンピュータ・プログラム・プロダクトが提供される。

【0049】

ある例示的実施形態によれば、前記複数のオーディオ信号の少なくとも一つは、空間的位置指定子（spatial locator）に関連付けられたオーディオ・オブジェクト信号に関係してもよく、あるいはそのようなオーディオ・オブジェクトを表わすために使われてもよい。すなわち、前記複数のオーディオ信号はたとえば静的な空間位置／配向に関連付けられたチャネルを含んでいてもよいが、前記複数のオーディオ信号は、時間可変な空間位置に関連付けられた一つまたは複数のオーディオ・オブジェクトをも含んでいてもよい。

【0050】

さらなる例示的実施形態が従属請求項において定義される。例示的実施形態は、たとえ互いに異なる請求項に記載されるものであっても特徴のすべての組み合わせを含むことが注意される。

【実施例】

【0051】

〈ＩＩ．例示的実施形態〉
下記では、エンコードおよびデコードの数学的記述が与えられる。より詳細な理論的背景については、非特許文献１参照。

【0052】

図３および図４を参照して記述されるエンコーダ側では、複数のオーディオ信号x_n、n＝1,…,Nの線形結合を

【数1】

に従って形成することによって、ダウンミックス信号Y＝[y₁…y_M]^Tが計算される。ここで、d_n,mはダウンミックス行列Dによって表わされるダウンミックス係数であり、オーディオ信号x_n、n＝1,…,Nは行列X＝[x₁…x_n]^Tに集められている。ダウンミックス信号YはM個のチャネルを含み、前記複数のオーディオ信号XはN個のオーディオ信号を含む。ここで、N＞M＞1である。図１および図２を参照して記述されるデコーダ側では、前記複数のオーディオ信号Xのパラメトリック再構成が

【数2】

に従って実行される。ここで、c_n,mは行列ドライ・アップミックス行列Cによって表わされるドライ・アップミックス係数であり、p_n,kはウェット・アップミックス行列Pによって表わされるウェット・アップミックス係数であり、z_kは脱相関信号Z＝[z₁…z_K]^TのK個のチャネルであり、K≧1である。脱相関信号Zは、

【数3】

として得られる中間信号W＝[w₁…w_K]^Tに基づいて生成される。ここで、係数q_k,mは、ダウンミックス信号Yの脱相関前の線形マッピングを定義する脱相関前行列Qによって表わされる。脱相関信号ZのK個のチャネルは、中間信号WのそれぞれのK個のチャネルから、脱相関動作を介して得られる。脱相関動作は、中間信号Wのそれぞれのチャネルのエネルギー／分散を保存するが、脱相関信号Zの諸チャネルを互いに無相関にする。すなわち、脱相関信号Zは
Z＝decorr(W) (4)
として表わされうる。ここで、decorr()はこの脱相関動作を表わす。

【0053】

式(1)(3)(4)において見て取れるように、再構成されるべきオーディオ信号Xは、ダウンミックス信号Yおよび中間信号Wを介して脱相関信号Zのチャネルに寄与する。式(2)において見て取れるように、脱相関信号Zのチャネルは、再構成されたオーディオ信号（＾付きのX）に、ウェット・アップミックス信号PZを介して寄与する。本発明者らは、再構成されたオーディオ信号（＾付きのX）の忠実度を高めるために、次の原理に従うよう努めることが望ましいことがありうることを認識するに至った：
脱相関信号Zの所与のチャネルがパラメトリック再構成において寄与するオーディオ信号は、ダウンミックス信号Yを介して、脱相関信号Zの該所与のチャネルが生成されるもとになった中間オーディオ信号Wの同じチャネルに、好ましくは対応する／マッチする量だけ寄与するべきである。

【0054】

この原理に従うことに向けた一つのアプローチは、脱相関前係数Qを
Q＝(absP)^TC (5)
に従って計算するということである。ここで、absPは、ウェット・アップミックス行列Pの要素の絶対値を取ることによって得られる行列を表わす。式(3)および(5)は、処理されて脱相関信号Zになる中間信号Wが、再構成されるべきオーディオ信号Xの近似と見なされてもよい「ドライ」アップミックス信号CYの線形マッピングによって取得可能であることを含意する。これは、脱相関信号Zを導出するための上記の原理を反映している。脱相関前係数Qを計算するための規則(5)は、比較的低い複雑さの計算を伴うだけであり、よってデコーダ側で便利に用いられうる。脱相関前係数Qをドライ・アップミックス係数Cおよびウェット・アップミックス係数Pに基づいて計算するための代替的な諸方法が考えられる。たとえば、Q＝(absP₀)^TCとして計算されてもよい。ここで、行列P₀はPの各列を規格化することによって得られる。脱相関前係数Qを計算するためのこの代替法の効果は、式(2)によって与えられるパラメトリック再構成が、ウェット・アップミックス行列Pの大きさ（magnitude）とともに線形にスケールするということである。

【0055】

ドライ・アップミックス係数Cはたとえば、最小二乗の意味で、たとえば通常の式
CYY^T＝XY^T (6)
を解くことによって、可能な最良の「ドライ」アップミックス信号CYを計算することによって決定されてもよい。ドライ・アップミックスCYによって近似されるオーディオ信号の共分散行列は、
ΔR＝R_xx−CR_yyC^T (7)
を形成することによって、再構成されるべきオーディオ信号Xの共分散行列R_xxと比較されてもよい。ここで、R_yyはダウンミックス信号Yの共分散行列であり、ΔRは、「ウェット」アップミックス信号PZによって完全にまたは部分的に与えられうる「不足している」共分散である。不足共分散ΔRは、固有分解（eigendecomposition）を介して、すなわちその固有値および関連する固有ベクトルに基づいて解析できる。式(2)に基づくパラメトリック再構成がデコーダ側で実行される場合、高々K個の脱相関器を用いて、すなわちK個のチャネルをもつ脱相関信号を用いて、いくつかの最大の固有値の大きさに関連するK個の固有ベクトルに対応するΔRの固有分解の部分のみを保持することによって、すなわち、他の固有ベクトルに対応する不足共分散ΔRの部分を除去することによって、ウェット・アップミックス信号PZについて目標共分散R_wetが設定されうる。式(1)に基づく、エンコーダ側で用いられるダウンミックス行列Dが非縮退であれば、不足共分散ΔRが高々N−Mの階数をもち、不足共分散ΔRをフルに与えるためにK＝N−M個の脱相関器しか必要とされないことを示すことができる。証明については、非特許文献１参照。最大のいくつかの固有値に関連する寄与を保持することによって、たとえデコーダ側でより少数K＜N−M個の脱相関器しか用いられないとしても、不足共分散ΔRの知覚的に重要／有意な部分が、ウェット・アップミックス信号PZによって再現されうる。特に、単一の脱相関器の使用、すなわちK＝1がすでに、脱相関なしのパラメトリック再構成に比べ、デコーダ側での比較的低い追加的な計算量のコストで、再構成されるオーディオ信号の忠実度の有意な改善を与える。脱相関器の数を増すことによって、再構成されたオーディオ信号の忠実度は、伝送されるべき追加的なウェット・アップミックス・パラメータPを代償として、増大させられる。用いられるダウンミックス・チャネルの数Mおよび用いられる脱相関器の数Kは、たとえば、デコーダ側にデータを伝送するための目標ビットレートおよび再構成されたオーディオ信号の要求される忠実度／品質に基づいて選ばれてもよい。

【0056】

目標共分散R_wetがK個の固有値に関連する不足共分散ΔRの一部に基づいて設定されていることを与えられると、目標共分散R_wetは
R_wet＝VV^T (8)
として分解できる。ここで、VはN行K列の行列であり、ウェット・アップミックス行列Pは
P＝VS (9)
の形で得られる。ここで、Sは行列Vの列ごとの再スケーリングを与える正の要素をもつ対角行列である。(9)の形をもつウェット・アップミックス行列Pおよび式(6)を解くドライ・アップミックス行列Cについて、再構成された信号（＾付きのX）の共分散行列は

【数4】

と表わせる。ここで、diag()は行列のすべての非対角要素を0にする動作を表わす。したがって、ウェット・アップミックス行列Pが目標共分散R_wetを満足させるための条件は、
VSdiag(QR_yyQ^T)S^TV^T＝VV^T (10)
と表わせる。これは、行列Sによって与えられる列ごとの再スケーリングにより、脱相関前の線形マッピングをダウンミックス信号Yに適用することから帰結する各信号（すなわちQR_yyQ^Tの対角要素を分散としてもつ式(3)を介して得られる中間信号Wのチャネル）の分散が行列Sにおける対応する列ごとの再スケーリング因子の逆二乗に等しいことが保証されれば、満たされる。(5)の形をもつ脱相関前行列Qを用いることで、ウェット・アップミックス行列Pと脱相関前係数Qとの間に線形のスケーリング関係がある。これは、式(10)において行列Sの複数のインスタンスが集められることを許容し、十分条件
S⁴diag（(absV)^TCR_yyC^T(absV)）＝I
を与える。ここで、Iは恒等行列である。よって、ウェット・アップミックス係数PはP＝VSとして得られてもよい。ここで、
S＝（(absV)^TCR_yyC^T(absV)）^-1/4 (11)
である。

【0057】

図３は、ある例示的実施形態に基づくパラメトリック・エンコード部３００の一般化されたブロック図である。パラメトリック・エンコード部３００は、式(2)に基づくパラメトリック再構成のために好適なデータとして複数のオーディオ信号X＝[x₁…x_N]^Tをエンコードするよう構成されている。パラメトリック・エンコード部３００は：前記複数のオーディオ信号Xの時間／周波数タイルを受領し、式(1)に従って前記オーディオ信号Xの線形結合を形成することによってダウンミックス信号Y＝[y₁…y_M]^Tを計算するダウンミックス部３０１を有しており、前記ダウンミックス信号Yは、再構成されるべきオーディオ信号Xの数Nより少数Mのチャネルを含む。本例示的実施形態では、前記複数のオーディオ信号Xは、時間可変の空間位置に関連するオーディオ・オブジェクト信号を含み、ダウンミックス信号Yは信号適応的な規則に従って計算される。すなわち、式(1)に従って線形結合を形成するときのダウンミックス係数Dはオーディオ信号Xに依存する。本例示的実施形態では、ダウンミックス係数Dは、ダウンミックス部３０１によって、前記複数のオーディオ信号Xに含まれるオーディオ・オブジェクトに関連付けられた空間位置に基づいて、比較的遠く離れて位置するオブジェクトはダウンミックス信号Yの異なるチャネルにエンコードされ、一方、互いに比較的近接して位置するオブジェクトはダウンミックス信号Yの同じチャネルにエンコードされうることを保証するように、決定される。そのような信号適応的なダウンミックス規則の効果は、デコーダ側でのオーディオ・オブジェクト信号の再構成を容易にするおよび／または聴取者によって知覚されるオーディオ・オブジェクト信号の、より忠実な再構成を可能にするということである。

【0058】

本例示的実施形態では、第一の解析部３０２は、再構成されるべきオーディオ信号Xを近似するダウンミックス信号Yの線形マッピングを定義するために、ドライ・アップミックス行列Cによって表わされるドライ・アップミックス係数を決定する。ダウンミックス信号Yのこの線形マッピングは式(2)ではCYで表わされている。本例示的実施形態では、ドライ・アップミックス係数Cは、ダウンミックス信号Yの線形マッピングCYが再構成されるべきオーディオ信号Xの最小平均平方近似に対応するように、式(6)に従って、決定される。第二の解析部３０３は、受領されたオーディオ信号Xの共分散行列およびダウンミックス信号Yの線形マッピングCYによって近似されたオーディオ信号の共分散行列に基づいて、すなわち式(7)における不足共分散ΔRに基づいて、ウェット・アップミックス行列Pによって表わされるウェット・アップミックス係数を決定する。本例示的実施形態では、第一の処理部３０４が、受領されたオーディオ信号Xの共分散行列を計算する。乗算部３０５は、ダウンミックス信号Yおよびウェット・アップミックス行列Cを乗算することによってダウンミックス信号Yの線形マッピングCYを計算し、それを第二の処理部３０６に与える。第二の処理部３０６は、ダウンミックス信号Yの線形マッピングCYによって近似されたオーディオ信号の共分散行列を計算する。

【0059】

本例示的実施形態では、決定されたウェット・アップミックス係数Pは、K個のチャネルをもつ脱相関信号Zとともに、式(2)に基づくパラメトリック再構成のために意図されている。したがって、第二の解析部３０３は、式(7)における不足共分散ΔRのいくつかの最大の固有値（最大の固有値の大きさ）に関連するK個の固有ベクトルに基づいて、目標共分散R_wetを設定し、式(8)に従って、目標共分散R_wetを分解する。次いで、前記目標共分散R_wetが分解された行列Vから、式(9)(11)に従って行列Sによる列ごとの再スケーリングを行なった後に、ウェット・アップミックス係数Pが得られる。本例示的実施形態では、脱相関前係数（pre-decorrelation coefficients）と称される係数のさらなる集合Qが、式(5)に従って、ドライ・アップミックス係数Cおよびウェット・アップミックス係数Pから導出可能であり、式(3)によって与えられる、ダウンミックス信号Yの脱相関前の線形マッピングを定義する。

【0060】

本例示的実施形態では、K＜N−Mであり、よってウェット・アップミックス信号PZは、式(7)における完全な不足共分散ΔRを提供するものではない。よって、再構成されたオーディオ信号（＾付きのX）は典型的には、再構成されるべきオーディオ信号Xより低いエネルギーをもつ。第一の解析部３０２は、任意的に、第二の解析部３０３によってウェット・アップミックス係数が決定された後に、ドライ・アップミックス係数CYを再スケーリングすることによって、エネルギー補償を実行してもよい。その代わりにK＝N−Mである例示的実施形態では、ウェット・アップミックス信号PZは式(7)における完全な不足共分散ΔRを提供でき、エネルギー補償の必要はないことがありうる。

【0061】

エネルギー補償が実行される場合、第一の解析部３０２は、受領されたオーディオ信号Xの推定された全エネルギーと、式(2)に従って、すなわちダウンミックス信号Y、ウェット・アップミックス係数Pおよびドライ・アップミックス係数Cに基づいて再構成されたオーディオ信号（＾付きのX）の推定された全エネルギーとの比を決定する。次いで、第一の解析部３０２は、決定された比の平方根の逆数によって、以前に決定されたドライ・アップミックス係数Cを再スケーリングする。次いで、パラメトリック・エンコード部３００は、ダウンミックス信号Yを、ウェット・アップミックス係数Pおよび再スケーリングされたドライ・アップミックス係数Cと一緒に出力する。脱相関前係数Qは式(5)によって与えられるあらかじめ定義された規則に従って決定されるので、ドライ・アップミックス係数Cと脱相関前係数Qとの間には線形スケーリング関係がある。よって、ドライ・アップミックス係数Cの再スケーリングは、式(2)に基づくデコーダ側でのパラメトリック再構成の間に、ドライ・アップミックス信号CYおよびウェット・アップミックス信号PZの両方の再スケーリングを引き起こす。

【0062】

図４は、ある例示的実施形態に基づくオーディオ・エンコード・システム４００であって、図３を参照して記述したパラメトリック・エンコード部３００を有するものの一般化されたブロック図である。本例示的実施形態では、たとえば一つまたは複数の音響トランスデューサ４０１によって記録されたまたはオーディオ・オーサリング設備４０１によって生成されたオーディオ・コンテンツが前記複数のオーディオ信号Xの形で提供される。直交ミラー・フィルタ（QMF）解析部４０２は、時間／周波数タイルの形でのオーディオ信号Xのパラメトリック・エンコード部３００による処理のために、オーディオ信号Xを時間セグメントごとにQMF領域に変換する。QMF領域の使用は、オーディオ信号の処理のために、たとえばアップミックス／ダウンミックスおよびパラメトリック再構成を実行するために好適であり、デコーダ側でのオーディオ信号のほぼ無損失な再構成を許容する。

【0063】

パラメトリック・エンコード部３００によって出力されたダウンミックス信号Yは、QMF合成部４０３によってQMF領域から変換し戻され、変換部４０４によって修正離散コサイン変換（MDCT）領域に変換される。量子化部４０５および４０６は、それぞれドライ・アップミックス係数Cおよびウェット・アップミックス係数Cを量子化する。たとえば、きざみサイズ0.1または0.2（無次元）をもつ一様量子化が用いられてもよく、それに、ハフマン符号化の形のエントロピー符号化が続いてもよい。きざみサイズ0.2をもつ、より粗い量子化は、たとえば、伝送帯域幅を節約するために用いられてもよく、きざみサイズ0.1をもつ、より細かい量子化は、たとえば、デコーダ側での再構成の忠実度を改善するために用いられてもよい。次いで、MDCT変換されたダウンミックス信号Yおよび量子化されたドライ・アップミックス係数Cおよびウェット・アップミックス係数Pは、デコーダ側への伝送のために、マルチプレクサ４０７によってビットストリームBに組み合わされる。オーディオ・エンコード・システム４００は、ダウンミックス信号Yがマルチプレクサ４０７に与えられる前に、ドルビー・デジタルまたはMPEG AACのような知覚的オーディオ・コーデックを使ってダウンミックス信号Yをエンコードするよう構成されたコア・エンコーダ（図４には示さず）をも有していてもよい。

【0064】

複数のオーディオ信号Xは、時間変化する空間位置または空間的位置指定子に関連付けられたオーディオ・オブジェクト信号を含むので、そのような空間的位置指定子を含むレンダリング・メタデータRが、デコーダ側でのオーディオ・オブジェクト信号のレンダリングのために、たとえばオーディオ・エンコード・システム４００によってビットストリームBにエンコードされてもよい。レンダリング・メタデータRは、たとえば、複数のオーディオ信号Xを生成するために用いられたオーディオ・オーサリング設備４０１によってマルチプレクサ４０７に与えられてもよい。

【0065】

図１は、複数のオーディオ信号Xをダウンミックス信号Yおよび関連するウェット・アップミックス係数Pおよびドライ・アップミックス係数Cに基づいて再構成するよう適応された、ある例示的実施形態に基づくパラメトリック再構成部の一般化されたブロック図である。前置乗算器１０１は、ダウンミックス信号Yの時間／周波数タイルを受領して、係数の第一の集合に従って線形にダウンミックス信号をマッピングすることによって、すなわち式(3)に従って計算された中間信号Wを出力する。ここで、係数の前記第一の集合は、脱相関前行列Qによって表わされる脱相関係前係数の集合である。脱相関部１０２は、中間信号Wを受領してそれに基づいて脱相関信号Z＝[z₁…z_K]^Tを出力する。本例示的実施形態では、脱相関信号ZのK個のチャネルは、中間信号WのK個のチャネルを処理することによって導出される。これは中間信号Wのチャネルにそれぞれの全通過フィルタを適用して、中間オーディオ信号Wのオーディオ・コンテンツとスペクトル的に同様であり、聴取者によっても中間オーディオ信号Wのオーディオ・コンテンツと同様であると知覚される互いに無相関なチャネルを提供することを含む。脱相関信号Zは、聴取者によって知覚される、複数のオーディオ信号Xの再構成されたバージョン（＾付きのX）の次元性を高めるはたらきをする。本例示的実施形態では、脱相関信号Zのチャネルは、中間オーディオ信号Wのそれぞれのチャネルと、少なくとも近似的に同じエネルギーまたは分散を有する。ウェット・アップミックス部１０３は、ウェット・アップミックス係数Pおよび脱相関信号Zを受領して、ウェット・アップミックス係数Pに従って線形に脱相関信号Zをマッピングすることによって、すなわち式(2)に従って、ウェット・アップミックス信号を計算する。ここで、ウェット・アップミックス信号はPZによって表わされる。ドライ・アップミックス部１０４は、ドライ・アップミックス係数Cおよび前置乗算器１０１と並列にダウンミックス信号Yの前記時間／周波数タイルをも受領する。ドライ・アップミックス部１０３は、ドライ・アップミックス係数Cの集合に従って線形にダウンミックス信号Yをマッピングすることによって、式(2)においてCYで表わされるドライ・アップミックス信号を出力する。組み合わせ部１０５は、ドライ・アップミックス信号CYおよびウェット・アップミックス信号PZを受領して、これらの信号を組み合わせて、再構成されるべき前記複数のオーディオ信号Xの時間／周波数タイルに対応する多次元の再構成された信号（＾付きのX）を得る。本例示的実施形態では、組み合わせ部１０５は、式(2)に従って、ドライ・アップミックス信号CYのそれぞれのチャネルのオーディオ・コンテンツをウェット・アップミックス信号PZのそれぞれのチャネルと組み合わせることによって、前記多次元の再構成された信号（＾付きのX）を得る。パラメトリック再構成部はさらに、ウェット・アップミックス係数Pおよびドライ・アップミックス係数Cを受領して、式(5)によって与えられるあらかじめ定義された規則に従って係数の前記第一の集合、すなわち前記脱相関前係数Qを計算し、係数の前記第一の集合Qを前置乗算器１０１に供給する変換器１０６を有する。

【0066】

本例示的実施形態では、パラメトリック再構成部１００は任意的に、補間を用いてもよい。たとえば、パラメトリック再構成部１００は、ウェットおよびドライ・アップミックス係数P、Cの複数の値を受領してもよい。ここで、各値は、特定のアンカー点に関連付けられる。変換器１０６は、二つの連続するアンカー点に関連付けられたウェットおよびドライ・アップミックス係数P、Cの値に基づいて、係数の前記第一の集合Qの対応する値を計算する。計算された値は第一の補間器１０７に供給され、該第一の補間器１０７は、たとえばすでに計算された係数Qの前記第一の集合の値に基づいて連続するアンカー点の間に含まれる少なくとも一つの時点についての係数の前記第一の集合Qの値を補間することによって、二つの連続するアンカー点の間での係数の前記第一の集合Qの補間を実行する。用いられる補間方式はたとえば線形補間であってもよい。あるいはまた、係数の前記第一の集合Qの古い値が、たとえばビットストリームBにおいてエンコードされたメタデータにおいて指示されるある時点まで使用において保持され、その時点において、係数の前記第一の集合についての新しい値が古い値を置換する急峻な補間が用いられてもよい。補間は、ウェットおよびドライ・アップミックス係数P、C自身に対して用いられてもよい。第二の補間器１０８が、ウェット・アップミックス係数の複数の値を受領してもよく、ウェット・アップミックス係数Pをウェット・アップミックス部１０３に供給する前に、時間補間を実行してもよい。同様に、第三の補間器１０９が、ドライ・アップミックス係数Cの複数の値を受領してもよく、ドライ・アップミックス係数Cをドライ・アップミックス部１０４に供給する前に、時間補間を実行してもよい。ウェットおよびドライ・アップミックス係数P、Cのために用いられる補間方式は、係数の前記第一の集合Qのために用いられるのと同じ補間方式であってもよく、あるいは異なる補間方式であってもよい。

【0067】

図２は、ある例示的実施形態に基づくオーディオ・デコード・システム２００の一般化されたブロック図である。オーディオ・デコード・システム２００は、図１を参照して述べたパラメトリック再構成部１００を有する。たとえばデマルチプレクサを含む受領部２０１は、図４を参照して述べたオーディオ・エンコード・システム４００から伝送されたビットストリームBを受領し、ビットストリームBからダウンミックス信号Yおよび関連するドライ・アップミックス係数Cおよびウェット・アップミックス係数Pを抽出する。ダウンミックス信号Yがドルビー・デジタルまたはMPEG AACのような知覚的オーディオ・コーデックを使ってビットストリームBにエンコードされている場合には、オーディオ・デコード・システム２００は、ビットストリームBから抽出されるときにダウンミックス信号Yをデコードするよう構成されたコア・デコーダ（図２には示さず）を有していてもよい。変換部２０２は、逆MDCTを実行することによってダウンミックス信号Yを変換し、QMF分解部２０３は、時間／周波数タイルの形のダウンミックス信号Yのパラメトリック再構成部１００による処理のために、ダウンミックス信号YをQMF領域に変換する。量子化解除部２０４および２０５は、ドライ・アップミックス係数Cおよびウェット・アップミックス係数Pを、パラメトリック再構成部１００に供給する前に、たとえばエントロピー符号化されたフォーマットから、量子化解除する。図４を参照して述べたように、量子化は、二つの異なるきざみサイズ、たとえば0.1または0.2のうちの一方を用いて実行されたものであってもよい。用いられた実際のきざみサイズは、あらかじめ定義されていてもよく、あるいはエンコーダ側からオーディオ・デコード・システム２００に、たとえばビットストリームBを介して、信号伝達されてもよい。

【0068】

本例示的実施形態では、パラメトリック再構成部１００によって出力される多次元の再構成されたオーディオ信号（＾付きのX）は、QMF合成部２０６によってQMF領域から変換し戻され、次いでレンダラー２０７に与えられる。本例示的実施形態では、再構成されるべきオーディオ信号Xは、時間可変な空間位置に関連付けられたオーディオ・オブジェクト信号を含む。オーディオ・オブジェクトについての空間的位置指定子を含むレンダリング・メタデータRが、エンコーダ側でビットストリームBにエンコードされていてもよく、受領部２０１は、該レンダリング・メタデータRを抽出してレンダラー２０７に提供してもよい。再構成されたオーディオ信号（＾付きのX）およびレンダリング・メタデータRに基づいて、レンダラー２０７は、再構成されたオーディオ信号を、マルチスピーカー・システム２０８での再生のために好適なフォーマットでレンダラー２０７の出力チャネルにレンダリングする。レンダラー２０７は、たとえば、オーディオ・デコード・システム２００に含まれていてもよいし、あるいはオーディオ・デコード・システム２００から入力データを受領する別個の装置であってもよい。

【0069】

〈ＩＩＩ．等価物、拡張、代替その他〉
上記の記述を吟味すれば、当業者には本開示のさらなる実施形態が明白になるであろう。本稿および図面は実施形態および例を開示しているが、本開示はこれらの個別的な例に制約されるものではない。付属の請求項によって定義される本開示の範囲から外れることなく数多くの修正および変形をなすことができる。請求項に現われる参照符号があったとしても、その範囲を限定するものと理解されるものではない。

【0070】

さらに、図面、本開示および付属の請求項の吟味から、本開示を実施する当業者によって、開示される実施形態に対する変形が理解され、実施されることができる。請求項において、「有する／含む」の語は他の要素またはステップを排除するものではなく、単数形の表現は複数を排除するものではない。ある種の施策が互いに異なる従属請求項に記載されているというだけの事実がこれらの施策の組み合わせが有利に使用できないことを示すものではない。

【0071】

上記で開示された装置および方法は、ソフトウェア、ファームウェア、ハードウェアまたはそれらの組み合わせとして実装されうる。ハードウェア実装では、上記の記述で言及された機能ユニットの間でのタスクの分割は必ずしも物理的なユニットへの分割に対応しない。逆に、一つの物理的コンポーネントが複数の機能を有していてもよく、一つのタスクが協働するいくつかの物理的コンポーネントによって実行されてもよい。ある種のコンポーネントまたはすべてのコンポーネントは、デジタル信号プロセッサまたはマイクロプロセッサによって実行されるソフトウェアとして実装されてもよく、あるいはハードウェアとしてまたは特定用途向け集積回路として実装されてもよい。そのようなソフトウェアは、コンピュータ記憶媒体（または非一時的な媒体）および通信媒体（または一時的な媒体）を含みうるコンピュータ可読媒体上で頒布されてもよい。当業者にはよく知られているように、コンピュータ記憶媒体という用語は、コンピュータ可読命令、データ構造、プログラム・モジュールまたは他のデータのような情報の記憶のための任意の方法または技術において実装される揮発性および不揮発性、リムーバブルおよび非リムーバブル媒体を含む。コンピュータ記憶媒体は、これに限られないが、RAM、ROM、EEPROM、フラッシュメモリまたは他のメモリ技術、CD-ROM、デジタル多用途ディスク（DVD）または他の光ディスク記憶、磁気カセット、磁気テープ、磁気ディスク記憶または他の磁気記憶デバイスまたは、所望される情報を記憶するために使用されることができ、コンピュータによってアクセスされることができる他の任意の媒体を含む。さらに、通信媒体が典型的にはコンピュータ可読命令、データ構造、プログラム・モジュールまたは他のデータを、搬送波または他の転送機構のような変調されたデータ信号において具現し、任意の情報送達媒体を含むことは当業者にはよく知られている。
いくつかの態様を記載しておく。
〔態様１〕
複数のオーディオ信号（X）を再構成する方法であって：
ダウンミックス信号（Y）の時間／周波数タイルを、関連付けられたウェット・アップミックス係数およびドライ・アップミックス係数（P、C）と一緒に受領する段階であって、前記ダウンミックス信号は再構成されるべきオーディオ信号の数より少数のチャネルを含む、段階と；
中間信号（W）を、前記ダウンミックス信号の線形マッピングとして計算する段階であって、係数の第一の集合（Q）が前記ダウンミックス信号のチャネルに適用される、段階と；
前記中間信号の一つまたは複数のチャネルを処理することによって、脱相関信号（Z）を生成する段階と；
ウェット・アップミックス信号を前記脱相関信号の線形マッピングとして計算する段階であって、係数の第二の集合（P）が前記脱相関された中間信号の一つまたは複数のチャネルに適用される、段階と；
ドライ・アップミックス信号を前記ダウンミックス信号の線形マッピングとして計算する段階であって、係数の第三の集合（C）が前記ダウンミックス信号のチャネルに適用される、段階と；
前記ウェット・アップミックス信号および前記ドライ・アップミックス信号を組み合わせて、再構成されるべき前記複数のオーディオ信号の時間／周波数タイルに対応する多次元の再構成された信号を得る段階とを含み、
係数の前記第二の集合および前記第三の集合は、それぞれ受領されたウェット・アップミックス係数およびドライ・アップミックス係数に対応し、
係数の前記第一の集合は、前記ウェット・アップミックス係数および前記ドライ・アップミックス係数に基づいて、あらかじめ定義された規則に従って、計算される、
方法。
〔態様２〕
処理されて前記脱相関信号にされる前記中間信号は、前記ドライ・アップミックス信号の線形マッピングによって取得可能である、態様１記載の方法。
〔態様３〕
前記中間信号は、前記ドライ・アップミックス信号に対して、前記ウェット・アップミックス係数の絶対値である係数の集合を適用することによって取得可能である、態様２記載の方法。
〔態様４〕
係数の前記第一の集合は、あらかじめ定義された規則に従って前記ウェット・アップミックス係数を処理し、処理されたウェット・アップミックス係数および前記ドライ・アップミックス係数を乗算することによって計算される、態様１ないし３のうちいずれか一項記載の方法。
〔態様５〕
前記ウェット・アップミックス係数を処理するための前記あらかじめ定義された規則は、要素ごとの絶対値演算を含む、態様４記載の方法。
〔態様６〕
前記ウェット・アップミックス係数および前記ドライ・アップミックス係数はそれぞれの行列として構成され、前記ウェット・アップミックス係数を処理するための前記あらかじめ定義された規則は、すべての要素の要素ごとの絶対値を計算し、前記ドライ・アップミックス係数の行列との直接的な行列乗算を許容するよう、それらの要素を再配列することを含む、態様５記載の方法。
〔態様７〕
前記計算する段階および組み合わせる段階は、前記信号の直交ミラー・フィルタ（QMF）領域表現に対して実行される、態様１ないし６のうちいずれか一項記載の方法。
〔態様８〕
前記ウェット・アップミックス係数および前記ドライ・アップミックス係数の複数の値が受領され、各値は特定のアンカー点に関連付けられており、当該方法はさらに：
二つの連続するアンカー点に関連付けられた前記ウェット・アップミックス係数および前記ドライ・アップミックス係数の値に基づいて、係数の前記第一の集合の対応する値を計算し、
次いで、すでに計算された係数の前記第一の集合の値に基づいて、前記連続するアンカー点の間に含まれる少なくとも一つの時点についての係数の前記第一の集合の値を補間することを含む、
態様１ないし７のうちいずれか一項記載の方法。
〔態様９〕
ダウンミックス信号の時間／周波数タイルおよび関連付けられたウェット・アップミックス係数およびドライ・アップミックス係数を受領し、複数のオーディオ信号を再構成するよう適応されたパラメトリック再構成部をもつオーディオ・デコード・システムであって、前記ダウンミックス信号は再構成されるべきオーディオ信号の数より少数のチャネルをもち、前記パラメトリック再構成部は：
前記ダウンミックス信号の前記時間／周波数タイルを受領して、係数の第一の集合に従って線形に前記ダウンミックス信号をマッピングすることによって計算される中間信号（W）を出力するよう構成された前置乗算器と；
前記中間信号を受領してそれに基づいて脱相関信号を出力するよう構成された脱相関部と；
前記ウェット・アップミックス係数および前記脱相関信号を受領して、前記ウェット・アップミックス係数に従って線形に前記脱相関信号をマッピングすることによってウェット・アップミックス信号を計算するよう構成されたウェット・アップミックス部と；
前記ドライ・アップミックス係数および前記前置乗算器と並列に前記ダウンミックス信号の前記時間／周波数タイルを受領して、前記ドライ・アップミックス係数に従って線形に前記ダウンミックス信号をマッピングすることによって計算されたドライ・アップミックス信号を出力するよう構成されたドライ・アップミックス部と；
前記ウェット・アップミックス信号および前記ドライ・アップミックス信号を受領して、これらの信号を組み合わせて、再構成されるべき前記複数のオーディオ信号の時間／周波数タイルに対応する多次元の再構成された信号を得るよう構成された組み合わせ部とを有しており、
前記パラメトリック再構成部はさらに、前記ウェット・アップミックス係数および前記ドライ・アップミックス係数を受領して、あらかじめ定義された規則に従って係数の前記第一の集合を計算し、これを前記前置乗算器に供給するよう構成された変換器を有する、
オーディオ・デコード・システム。
〔態様１０〕
パラメトリック再構成のために好適なデータとして複数のオーディオ信号（X）をエンコードするための方法であって：
前記複数のオーディオ信号の時間／周波数タイルを受領する段階と；
ダウンミックス規則に従って、前記オーディオ信号の線形結合を形成することによってダウンミックス信号（Y）を計算する段階であって、前記ダウンミックス信号は、再構成されるべきオーディオ信号の数より少数のチャネルを含む、段階と；
前記時間／周波数タイルにおいてエンコードされるべきオーディオ信号を近似する前記ダウンミックス信号の線形マッピングを定義するために、ドライ・アップミックス係数（C）を決定する段階と；
受領されたオーディオ信号の共分散および前記ダウンミックス信号の前記線形マッピングによって近似されたオーディオ信号の共分散に基づいてウェット・アップミックス係数（P）を決定する段階と；
前記ダウンミックス信号を、前記ウェット・アップミックス係数および前記ドライ・アップミックス係数と一緒に出力する段階であって、それらの係数はそれ自身が、前記オーディオ信号のパラメトリック再構成の一部として脱相関前の線形マッピングを定義する係数のさらなる集合（Q）の、あらかじめ定義された規則に基づく計算を可能にする、段階とを含む、
方法。
〔態様１１〕
前記オーディオ信号の複数の時間／周波数タイルが受領され、前記ダウンミックス信号は、あらかじめ定義されたダウンミックス規則に従って一様に計算される、態様１０記載の方法。
〔態様１２〕
前記オーディオ信号の複数の時間／周波数タイルが受領され、前記ダウンミックス信号は、信号適応的なダウンミックス規則に従って計算される、態様１０記載の方法。
〔態様１３〕
前記ウェット・アップミックス係数は：
前記ダウンミックス信号の前記線形マッピングによって近似される前記オーディオ信号の前記共分散を補足する目標共分散を設定し；
前記目標共分散を行列とその転置の積として分解することによって決定され、前記行列の要素は、任意的な列ごとの再スケーリング後に、前記ウェット・アップミックス係数に対応する、
態様１０ないし１２のうちいずれか一項記載の方法。
〔態様１４〕
前記目標共分散が分解される前記行列の列ごとの再スケーリングをさらに含み、前記列ごとの再スケーリングは、前記脱相関前の線形マッピングを定義する係数が前記あらかじめ定義された規則に従って計算される限り、前記脱相関前の線形マッピングを前記ダウンミックス信号に適用することから帰結する各信号の分散が、前記列ごとの再スケーリングにおいて用いられる対応する再スケーリング因子の逆二乗に等しいことを保証する、態様１３記載の方法。
〔態様１５〕
前記あらかじめ決定された規則は、係数の前記さらなる集合と前記ウェット・アップミックス係数との間の線形スケーリング関係を含意し、前記列ごとの再スケーリングは、行列積
(absV)^TCR_yyC^TabsV
の対角部分を−1/4乗したものの乗算に帰着し、ここで、absVは前記目標共分散が分解される前記行列の要素ごとの絶対値を表わし、CR_yyC^Tは前記ダウンミックス信号の前記線形マッピングによって近似された前記オーディオ信号の前記共分散に対応する行列である、
態様１４記載の方法。
〔態様１６〕
前記目標共分散は、前記目標共分散と、前記ダウンミックス信号の前記線形マッピングによって近似された前記オーディオ信号の前記共分散との和が、受領された前記オーディオ信号の前記共分散を近似するために選ばれる、態様１３ないし１５のうちいずれか一項記載の方法。
〔態様１７〕
受領されたオーディオ信号の推定された全エネルギーと、前記ダウンミックス信号、前記ウェット・アップミックス係数および前記ドライ・アップミックス係数に基づいてパラメトリックに再構成されたオーディオ信号の推定された全エネルギーとの比を決定し；
前記比の平方根の逆数によって前記ドライ・アップミックス係数を再スケーリングすることによって、
エネルギー補償を実行することをさらに含み、
再スケーリングされたドライ・アップミックス係数は、前記ダウンミックス信号および前記ウェット・アップミックス係数と一緒に出力される、
態様１０ないし１５のうちいずれか一項記載の方法。
〔態様１８〕
パラメトリック再構成のために好適なデータとして複数のオーディオ信号をエンコードするよう適応されたパラメトリック・エンコード部を含むオーディオ・エンコード・システムであって、前記パラメトリック・エンコード部は：
前記複数のオーディオ信号の時間／周波数タイルを受領し、ダウンミックス規則に従って前記オーディオ信号の線形結合を形成することによってダウンミックス信号を計算するよう構成されたダウンミックス部であって、前記ダウンミックス信号は、再構成されるべきオーディオ信号の数より少数のチャネルを含む、ダウンミックス部と；
前記時間／周波数タイルにおいてエンコードされるべきオーディオ信号を近似する前記ダウンミックス信号の線形マッピングを定義するために、ドライ・アップミックス係数を決定するよう構成された第一の解析部と；
受領されたオーディオ信号の共分散および前記ダウンミックス信号の前記線形マッピングによって近似されたオーディオ信号の共分散に基づいてウェット・アップミックス係数を決定するよう構成された第二の解析部とを有しており、
前記パラメトリック・エンコード部は、前記ダウンミックス信号を、前記ウェット・アップミックス係数および前記ドライ・アップミックス係数と一緒に出力するよう構成されており、前記ウェット・アップミックス係数および前記ドライ・アップミックス係数はそれ自身が、前記オーディオ信号のパラメトリック再構成の一部として脱相関前の線形マッピングを定義する係数のさらなる集合の、あらかじめ定義された規則に基づく計算を可能にする、
オーディオ・エンコード・システム。
〔態様１９〕
態様１ないし８および１０ないし１７のうちいずれか一項記載の方法を実行するための命令をもつコンピュータ可読媒体を有するコンピュータ・プログラム・プロダクト。
〔態様２０〕
前記複数のオーディオ信号のうちの少なくとも一つは、空間的位置指定子に関連付けられたオーディオ・オブジェクト信号に関係する、態様１ないし１９のうちいずれか一項記載の方法または装置。

【図1】

【図2】

【図3】

【図4】