特許 6133413 マルチチャネル・オーディオのためのなめらかな構成切り換え

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6133413

(24)【登録日】2017年4月28日

(45)【発行日】2017年5月24日

(54)【発明の名称】マルチチャネル・オーディオのためのなめらかな構成切り換え

(51)【国際特許分類】

   H04S 3/00 20060101AFI20170515BHJP

   G10L 19/008 20130101ALI20170515BHJP

   H04S 7/00 20060101ALI20170515BHJP

   H03M 7/30 20060101ALI20170515BHJP

【ＦＩ】

   H04S3/00 200

   G10L19/008 100

   H04S7/00 300

   H03M7/30 Z

【請求項の数】32

【全頁数】46

(21)【出願番号】特願2015-516625(P2015-516625)

(86)(22)【出願日】2013年6月14日

(65)【公表番号】特表2015-525532(P2015-525532A)

(43)【公表日】2015年9月3日

(86)【国際出願番号】EP2013062339

(87)【国際公開番号】WO2013186343

(87)【国際公開日】20131219

【審査請求日】2014年12月18日

(31)【優先権主張番号】61/659,602

(32)【優先日】2012年6月14日

(33)【優先権主張国】US

(31)【優先権主張番号】61/713,025

(32)【優先日】2012年10月12日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】510185767

【氏名又は名称】ドルビー・インターナショナル・アーベー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】プルンハーゲン，ヘイコ

(72)【発明者】

【氏名】セルストロム，レイフ

(72)【発明者】

【氏名】ローエデン，カール ヨナス

(72)【発明者】

【氏名】クヨーリング，クリストファー

(72)【発明者】

【氏名】ヴィレモエス，ラルス

【審査官】 渡邊 正宏

(56)【参考文献】

【文献】 国際公開第２０１１／１２８１３８（ＷＯ，Ａ１）

【文献】 特表２０１１−５２８１２９（ＪＰ，Ａ）

【文献】 MPEG Unified Speech and Audio Coding-The ISO/MPEG Standard for High-Efficiency Audio Coding of All Content Types，Audio Engineering Society Convention Presented at the 132nd convention 2012 April 26-29 Budapest, Hungary，p.2，section 2.1, Fig.1

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｌ １３／００−１３／１０

Ｇ１０Ｌ １９／００−１９／２６

Ｇ１０Ｌ ２１／００−２１／１８

Ｇ１０Ｌ ２５／００−２５／９３

Ｇ１０Ｌ ９９／００

Ｈ０３Ｍ ３／００−１１／００

Ｈ０４Ｓ １／００− ７／００

(57)【特許請求の範囲】

【請求項1】

nチャネルのオーディオ信号を再構成するデコード・システムであって、当該デコード・システムは、所与の時間フレームにおいて、時間フレームにセグメント分割されており前記オーディオ信号を表現する入力信号を、
ａ）少なくとも一つの混合パラメータを使うパラメトリック符号化；および
ｂ）n個の別々にエンコードされるチャネルを使う離散的符号化
を含む群から選択される符号化方式に従ってエンコードするビットストリームを受領するよう適応されており、
当該デコード・システムは、前記n個の別々にエンコードされるチャネルに基づいてまたは空間的合成によって前記オーディオ信号を導出するよう動作可能であり、
当該デコード・システムは：
ダウンミックス指定に従って、前記入力信号に基づいてmチャネルのダウンミックス信号を出力するよう動作可能なダウンミックス段であって、n＞m≧1である、ダウンミックス段と；
前記ダウンミックス信号および前記少なくとも一つの混合パラメータに基づいて、前記オーディオ信号のnチャネル表現を出力するよう動作可能な空間的合成段とを有しており、
前記ダウンミックス段は、離散的符号化された時間フレームの各エピソードにおける少なくとも最初の時間フレームにおいておよび離散的符号化された時間フレームの各エピソード後の少なくとも最初の時間フレームにおいてアクティブである、
デコード・システム。

【請求項2】

前記ビットストリームに基づいて前記入力信号を出力するよう適応されたオーディオ・デコーダをさらに有しており、前記オーディオ・デコーダは、重複変換窓を使う時間から周波数への変換を実行するよう適応されている、請求項１記載のデコード・システム。

【請求項3】

前記時間フレームのそれぞれが前記重複変換窓のうちの少なくとも一つの長さの半分と等価である、請求項２記載のデコード・システム。

【請求項4】

前記ダウンミックス段が、前記入力信号がパラメトリック符号化によって前記オーディオ信号を表わす各時間フレームにおいてアクティブであるよう適応されている、請求項１ないし３のうちいずれか一項記載のデコード・システム。

【請求項5】

前記入力信号がパラメトリック符号化によって前記オーディオ信号を表わす各時間フレームにおいては前記入力信号がmチャネルのコア信号を含み、
前記入力信号がn個の別々にエンコードされたチャネルとして前記オーディオ信号を表わす各時間フレームにおいては、前記入力信号から、同じオーディオ信号を表わすmチャネルのコア信号が前記ダウンミックス指定を使って取得可能である、
請求項１ないし４のうちいずれか一項記載のデコード・システム。

【請求項6】

前記ダウンミックス段が、前記入力信号がパラメトリック符号化によって前記オーディオ信号を表わす各時間フレームにおいて、前記オーディオ信号のパラメトリック符号化表現の前記コア信号を前記ダウンミックス信号として再生することによって前記ダウンミックス信号を生成するよう適応されている、請求項５記載のデコード・システム。

【請求項7】

当該デコード・システムが、前記入力信号がパラメトリック符号化によって前記オーディオ信号を表わす各時間フレームにおいてnチャネル信号である入力信号をエンコードするビットストリームを受領するよう適応されており、前記nチャネル信号においてn−m個のチャネルは前記オーディオ信号を表現するために使われない、請求項１ないし６のうちいずれか一項記載のデコード・システム。

【請求項8】

前記入力信号を受領するよう適応された第一の遅延線；および
前記空間的合成段および前記第一の遅延線に通信上接続された混合器をさらに有する、請求項１ないし７のうちいずれか一項記載のデコード・システムであって、
前記混合器は、当該システムのパラメトリック・モードでは、前記空間的合成段の出力またはそれから導出される信号を出力し；
当該システムの離散モードでは、前記第一の遅延線の出力を出力し；
前記入力信号において生起するパラメトリック符号化と離散的符号化との間の変化に応答して、前記空間的合成段の出力と前記第一の遅延線の出力との間の混合遷移を出力するよう適応されている、
デコード・システム。

【請求項9】

前記第一の遅延線が、前記ダウンミックス段および前記空間的合成段に付随する全通過時間に対応する遅延を受けるよう動作可能である、請求項８記載のデコード・システム。

【請求項10】

前記混合器の出力を受領するよう適応された第二の遅延線（１６０）をさらに有し、前記第一および第二の遅延線によって受ける全遅延が一つの時間フレームの長さの倍数に対応する、請求項９記載のデコード・システム。

【請求項11】

前記空間的合成段は、パラメトリック符号化または該当するなら縮小パラメトリック符号化における前記入力信号が、当該時間フレームにおける最初でない点についての明示的な混合パラメータ値を定義しているような相続く時間フレームどうしの間の補間によって得られる混合パラメータ値を適用するよう適応されている、請求項１ないし１０のうちいずれか一項記載のデコード・システム。

【請求項12】

前記空間的合成段は、現在時間フレームが、各時間フレームがパラメトリック符号化されているまたは該当するなら縮小パラメトリック符号化されている時間フレームのエピソードにおける最初の時間フレームであることに応答して、最も早い明示的な混合パラメータ値を現在の時間フレームの先頭まで後ろ向きに外挿することを含む離散からパラメトリックへの遷移を開始するよう適応されている、請求項１１記載のデコード・システム。

【請求項13】

前記空間的合成段は、現在時間フレームが、離散的符号化された時間フレームのエピソードにおける最初の時間フレームであることに応答して、最も遅い明示的な混合パラメータ値を少なくとも現在の時間フレームの終わりまで前向きに外挿することを含むパラメトリックから離散への遷移を開始するよう適応されている、請求項１１または１２記載のデコード・システム。

【請求項14】

前記空間的合成段が：
前記mチャネルのダウンミックス信号の時間領域表現を受領してそれに基づいて前記ダウンミックス信号の周波数領域表現を出力するよう適応された第一の変換段と；
前記ダウンミックス信号の前記周波数領域表現および前記少なくとも一つの混合パラメータに基づいて、前記オーディオ信号の前記nチャネル表現の周波数領域表現を出力するよう適応されているアップミックス段と；
前記オーディオ信号の前記nチャネル表現の前記周波数領域表現を受領し、それに基づいて、前記オーディオ信号の前記nチャネル表現の時間領域表現を、前記空間的合成段の出力として出力するよう適応されている、第二の変換段とを有する、
請求項１ないし１３のうちいずれか一項記載のデコード・システム。

【請求項15】

前記アップミックス段が、前記ダウンミックス信号の前記周波数領域表現におけるチャネルを含む線形結合を形成し、これを前記オーディオ信号の前記nチャネル表現の前記周波数領域表現として出力するよう適応されており、前記少なくとも一つの混合パラメータは、前記線形結合における前記ダウンミックス信号の前記周波数領域表現における少なくとも一つのチャネルに関係する少なくとも一つの利得を制御する、請求項１４記載のデコード・システム。

【請求項16】

前記ダウンミックス段が、前記入力信号の時間領域表現のチャネルの線形結合を形成するよう適応されている、請求項１ないし１５のうちいずれか一項記載のデコード・システム。

【請求項17】

前記空間的合成段および混合器があれば該混合器を、現在の時間フレームおよび前の時間フレームの符号化方式に基づいて制御するコントローラをさらに有する、請求項１ないし１６のうちいずれか一項記載のデコード・システム。

【請求項18】

前記コントローラが、前記空間的合成段および混合器があれば該混合器を、現在の時間フレームと直前およびその前を含む二つの時間フレームとの符号化方式に基づいて制御する、請求項１７記載のデコード・システム。

【請求項19】

符号化方式の前記群がさらに、
ｃ）縮小パラメトリック符号化
を含み、
前記入力信号が縮小パラメトリック符号化によって前記オーディオ信号を表わす各時間フレームにおいては、前記入力信号はmチャネルのコア信号の形であり、
前記入力信号がn個の別々にエンコードされたチャネルとして前記オーディオ信号を表わす各時間フレームにおいては、前記入力信号から、同じオーディオ信号を表わすmチャネルのコア信号が前記ダウンミックス指定を使って取得可能である、請求項１ないし１８のうちいずれか一項記載のデコード・システム。

【請求項20】

前記空間的合成段が、前記入力信号が縮小パラメトリック符号化によって前記オーディオ信号を表わす各時間フレームにおいて、前記入力信号および前記少なくとも一つの混合パラメータに基づいて前記オーディオ信号の前記nチャネル表現を出力するよう動作可能である、請求項１９記載のデコード・システム。

【請求項21】

前記入力信号のパラメトリック符号化された時間フレームの直後の前記入力信号の各時間フレームが縮小パラメトリック符号化または離散的符号化によって符号化されるフォーマットにおいて前記ビットストリームを受領するよう適応されている、請求項１９または２０記載のデコード・システム。

【請求項22】

前記入力信号の離散的符号化された時間フレームの直前の前記入力信号の各時間フレームが離散的符号化またはパラメトリック符号化によって符号化され、前記入力信号の離散的符号化された時間フレームの直後の前記入力信号の各時間フレームが離散的符号化またはパラメトリック符号化によって符号化されるフォーマットにおいて前記ビットストリームを受領するよう適応されている、請求項１ないし２１のうちいずれか一項記載のデコード・システム。

【請求項23】

nチャネルのオーディオ信号を再構成する方法であって、当該方法は、所与の時間フレームにおいて、時間フレームにセグメント分割されており前記オーディオ信号を表現する入力信号を、
ａ）少なくとも一つの混合パラメータを使うパラメトリック符号化；および
ｂ）n個の別々にエンコードされるチャネルを使う離散的符号化
を含む群から選択される符号化方式に従ってエンコードするビットストリームを受領する段階と；
現在の時間フレームが、離散的符号化された時間フレームのエピソードにおける最初の時間フレームであることまたは現在の時間フレームが、離散的符号化された時間フレームのエピソード後の最初の時間フレームであることに応答して、ダウンミックス指定に従って、前記入力信号に基づいてmチャネルのダウンミックス信号を生成する段階であって、n＞m≧1である、段階と；
前記入力信号が現在の時間フレームと直前およびその前を含む二つの時間フレームとにおいて離散的符号化されていることに応答して、前記n個の別々にエンコードされるチャネルに基づいて前記オーディオ信号を導出する段階と；
前記入力信号が現在の時間フレームと直前およびその前を含む二つの時間フレームとにおいてパラメトリック符号化されていることに応答して、前記ダウンミックス信号および前記少なくとも一つの混合パラメータに基づいて、前記オーディオ信号のnチャネル表現を生成する段階とを含む、
方法。

【請求項24】

前記入力信号が現在および前の時間フレームにおいて離散的符号化されていることに応答して、前記n個の別々にエンコードされるチャネルに基づいて前記オーディオ信号を導出する段階と；
前記入力信号が現在および前の時間フレームにおいてパラメトリック符号化されていることに応答して、前記ダウンミックス信号および前記少なくとも一つの混合パラメータに基づいて、前記オーディオ信号のnチャネル表現を生成する段階とを含む、
請求項２３記載の方法。

【請求項25】

パラメトリック符号化によって前記オーディオ信号を表わす前記入力信号の各時間フレームが、その与えられた時間フレームにおける最初でない点について前記少なくとも一つの混合パラメータの値を含み、
現在時間フレームが、パラメトリック符号化された時間フレームのエピソードにおける最初の時間フレームであることに応答して、前記少なくとも一つの混合パラメータの受領された値を現在の時間フレームの先頭まで後ろ向きに外挿する段階をさらに含む、
請求項２３または２４記載の方法。

【請求項26】

前記入力信号が現在の時間フレームにおいて離散的符号化されており、前の時間フレームにおいてパラメトリック符号化されていることに応答して、前記ダウンミックス信号に基づきかつ前記少なくとも一つの混合パラメータの、前記前の時間フレームに関連付けられている少なくとも一つの値に基づき、前記オーディオ信号のnチャネル表現を生成し、現在の時間フレームの間に、前記n個の別々にエンコードされるチャネルに基づいて前記オーディオ信号を導出することに遷移する段階をさらに含む、請求項２３ないし２５のうちいずれか一項記載の方法。

【請求項27】

時間フレームにセグメント分割されたnチャネルのオーディオ信号をエンコードするエンコード・システムであって、当該エンコード・システムは、
ａ）パラメトリック符号化
ｂ）n個の別々にエンコードされるチャネルを使う離散的符号化および
ｃ）縮小パラメトリック符号化
を含む群から選択される符号化方式に従って、所与の時間フレームにおいて、前記オーディオ信号を表わすビットストリーム（P）を出力するよう適応されており、
当該エンコード・システムは：
所与の時間フレームについて、どのエンコード方式が前記オーディオ信号を表わすために使用されるかを選択するよう適応された選択器と；
前記オーディオ信号のnチャネル表現に基づき、ダウンミックス指定に従って、mチャネルのコア信号および少なくとも一つの混合パラメータを出力するよう動作可能なパラメトリック分解段とを有しており、前記mチャネルのコア信号および少なくとも一つの混合パラメータは、パラメトリック符号化方式における出力されるビットストリームによってエンコードされ、n＞m≧1であり、
前記パラメトリック符号化および前記離散的符号化においてはnチャネル信号フォーマットが使われ、前記縮小パラメトリック符号化においてはmチャネル信号フォーマットが使われる、
エンコード・システム。

【請求項28】

前記選択器が、パラメトリック符号化された時間フレームが直前にある時間フレームにおいて、縮小パラメトリック符号化または離散的符号化によって前記オーディオ信号を表現するよう選択するよう適応されている、請求項２７記載のエンコード・システム。

【請求項29】

前記選択器が：
離散的符号化された時間フレームの直前の時間フレームにおいて、離散的符号化によってまたはパラメトリック符号化によって前記オーディオ信号を表現するよう選択し：
離散的符号化された時間フレームの直後の時間フレームにおいて、離散的符号化によってまたはパラメトリック符号化によって前記オーディオ信号を表現するよう選択するよう適応されている、
請求項２７または２８記載のエンコード・システム。

【請求項30】

請求項２７ないし２９のうちいずれか一項記載のエンコード・システムおよび請求項１ないし２２のうちいずれか一項記載のデコード・システムを有するオーディオ配信システムであって、前記エンコード・システムおよび前記デコード・システムは通信上接続されており、前記エンコード・システムおよび前記デコード・システムのそれぞれのダウンミックス指定は等価である、オーディオ配信システム。

【請求項31】

nチャネルのオーディオ信号をビットストリームとしてエンコードする方法であって：
前記オーディオ信号のnチャネル表現を受領する段階と；
ａ）パラメトリック符号化
ｂ）n個の別々にエンコードされるチャネルを使う離散的符号化および
ｃ）縮小パラメトリック符号化
を含む群から、所与の時間フレームにおいて、どの符号化方式を前記オーディオ信号を表現するために使うかを選択する段階と；
パラメトリック符号化によって前記オーディオ信号をエンコードするとの決定に応答して、前記オーディオ信号の前記nチャネル表現に基づき、ダウンミックス指定に従って、mチャネルのコア信号および少なくとも一つの混合パラメータをエンコードするビットストリームを形成する段階であって、n＞m≧1である、段階と；
離散的符号化によって前記オーディオ信号をエンコードするとの決定に応答して、n個の別々にエンコードされる信号によって前記オーディオ信号をエンコードするビットストリームを出力する段階とを含み、
前記パラメトリック符号化および前記離散的符号化においてはnチャネル信号フォーマットが使われ、前記縮小パラメトリック符号化においてはmチャネル信号フォーマットが使われる、
方法。

【請求項32】

請求項２３ないし２６および３１のうちいずれか一項記載の方法を実行するための命令をもつコンピュータ可読媒体を有するコンピュータ・プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本稿に開示される発明は、概括的にはオーディオビジュアル・メディア配信に関する。詳細には、より高いビットレートおよびより低いビットレートのモードの両方ならびにデコードの際のシームレスなモード遷移を可能にする適応的な配信フォーマットに関する。本発明はさらに、上記配信フォーマットに基づく信号をエンコードおよびデコードする方法および装置に関する。

【背景技術】

【0002】

パラメトリック・ステレオおよびマルチチャネル符号化方法は、聴取品質の点でスケーラブルかつ効率的であることが知られており、そのため低ビットレート用途において特に魅力的なものとなっている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

しかしながら、ビットレート制限が一時的な性質のものである（たとえば、ネットワーク・ジッタ、負荷変動）場合には、利用可能なネットワーク資源の十全な恩恵は、通常条件の間は相対的により高いビットレートが使われ、ネットワークが貧弱に機能するときはより低いビットレートが使われる適応的な配信フォーマットの使用を通じて得られることがある。既存の適応的配信フォーマットおよび関連する符号化（復号）技法は、その帯域幅効率、計算効率、誤り耐性、アルゴリズム遅延の観点から、またさらにはオーディオビジュアル・メディア配信においては、いかにしてビットレート切り換えイベントが復号されるメディアを享受する人にとってどのくらい気づかれやすいかに関して、改善されうる。

【課題を解決するための手段】

【0004】

本発明の実施形態について、ここで、付属の図面を参照して記述する。

【図面の簡単な説明】

【0005】

【図1】本発明のある例示的な実施形態に基づくデコード・システムの一般化されたブロック図である。

【図2】図１と同様に、本発明のある例示的な実施形態に基づくエンコード・システムを示す図である。

【図3】エンコーダ側およびデコーダ側に位置するダウンミックス段の機能を示す図である。

【図4】デコード・システムにおける展開のためのある例示的な実施形態に基づくアップミックス段の詳細を示す図である。

【図5】デコード・システムにおける展開のためのある例示的な実施形態に基づく空間的合成段の詳細を示す図である。

【図6】図５の空間的合成段を備えたある例示的なデコード・システムにおいて生じるデータ信号および制御信号を示す図である。

【図7】デコード・システムにおける展開のためのある例示的な実施形態に基づく空間的合成段の詳細を示す図である。

【図8】図７の空間的合成段を備えたある例示的なデコード・システムにおいて生じるデータ信号および制御信号を示す図である。

【図9】本発明のある例示的な実施形態に基づく、情報をデコーダ装置に送信するエンコード・システムを示す図である。

【図10】図５の空間的合成段を備えたある例示的なデコード・システムにおいて生じるデータ信号および制御信号を示す図である。

【図11】本発明のある例示的な実施形態に基づくデコード・システムの一般化されたブロック図である。

【図12】デコード・システムにおける展開のためのある例示的な実施形態に基づくオーディオ・デコーダの詳細を示す図である。 すべての図面は概略的であり、一般に、本発明を例解するために必要な部分のみを示す。他の部分が省略されていたり、単に示唆されていたりすることがある。特に断わりのない限り、同様の参照符号は異なる図面における同様の部分を指す。

【発明を実施するための形態】

【0006】

〈Ｉ．概観〉
本稿での用法では、オーディオ信号は、純粋なオーディオ信号、オーディオビジュアル信号もしくはマルチメディア信号のオーディオ部分またはこれらの任意のものをメタデータと組み合わせたものでありうる。

【0007】

本発明の第一の側面では、例示的な実施形態は、オーディオまたはビデオ・コンテンツのようなメディア・コンテンツの適応的な配信を可能にする方法および装置であって、改善されたビットレート選択能力および／または低下した遅延をもつものを提案する。ある例示的な実施形態はさらに、そのような適応的なメディア配信に好適な符号化フォーマットであって、ビットレートの間のシームレスな遷移に寄与するものを提供する。

【0008】

本発明の例示的な実施形態は、独立請求項に記載される特徴をもつエンコード方法、エンコード・システム、デコード方法、デコード・システム、オーディオ配信システムおよびコンピュータ・プログラム・プロダクトを提供する。

【0009】

デコード・システムが、入力信号に基づいてオーディオ信号を再構成するよう適応される。入力信号は、デコード・システムに直接提供されてもよいし、あるいはデコード・システムによって受領されるビットストリームによってエンコードされていてもよい。入力信号は、オーディオ信号の（重なり合うまたは連続する）時間セグメントに対応する時間フレームにセグメント分割される。入力信号の一つの時間フレームは、パラメトリック符号化（parametric coding）および離散的符号化（discrete coding）を含む符号化方式の群から選択される符号化方式に従って、オーディオ信号のある時間セグメントを表わす。特に、エンコードされるオーディオ信号がnチャネル信号である場合、入力信号は、受領されるフレームの（少なくとも）同数のチャネルを含み、それらのチャネルにおいて離散的に符号化される。すなわち、離散的符号化方式では、オーディオ信号を表わすためにn個の別々にエンコードされるチャネルが使われる。パラメトリック符号化される受領されるフレームでは、入力信号はnチャネルより少ないチャネルを含む（ただし、nチャネル・フォーマットであって、いくつかのチャネルが使用されないのでもよい）が、さらにメタデータを含んでいてもよい。メタデータは、たとえば信号エネルギー値または相関係数を計算することによって、エンコード・プロセスの間にオーディオ信号から導出される少なくとも一つの混合パラメータなどである。あるいはまた、前記少なくとも一つの混合パラメータは、異なる通信経路を通じて、たとえば入力信号を担持するビットストリームとは別個のメタデータ・ビットストリームを介して、デコード・システムに供給されてもよい。上記のように、入力信号は少なくとも二つの異なる方式（すなわち、パラメトリック符号化または離散的符号化）であってもよく、それに対して、デコード・システムは、パラメトリック・モードまたは離散モードに遷移する――またはそれに留まる――ことによって反応にする。システムの遷移は有限の継続時間をもつことがあり、よってデコード・システムは、一つまたは複数の時間フレームが経過したのちにはじめて、入力信号の現在の符号化方式によって引き起こされるモードにはいる。したがって、動作では、デコード・システムのモードは入力信号の方式より、一つまたは複数の時間フレームに対応する期間だけ遅れることがある。パラメトリック符号化された時間フレームの「エピソード」とは、みなパラメトリック符号化によってオーディオ信号を表わす一つまたは複数の連続的な時間フレームのシーケンスを指す。同様に、離散的に符号化される時間フレームのエピソードとは、n個の離散的に符号化されるチャネルをもつ一つまたは複数の連続する時間フレームのシーケンスである。本稿での用法では、デコード・システム出力がフレーム継続時間の大半について空間的合成（基礎になるデータの起源は問わない）によって生成される時間フレームにおいてデコード・システムは「パラメトリック・モード」にあり、「離散モード」は、デコード・システムがパラメトリック・モードにない任意の時間フレームをいう。

【0010】

デコード・システムは、入力信号に基づいてmチャネル・ダウンミックス信号を出力するよう適応されたダウンミックス段を有する。好ましくは、デコード・システムは、ダウンミックス動作の定量的および／または定性的諸側面を制御するダウンミックス指定、たとえばダウンミックス段によって形成される任意の線形結合において適用されるべき利得、を受け容れる。好ましくは、ダウンミックス指定は、データ通信または記憶媒体から少なくとも一つのさらなるダウンミックス段、たとえば前記入力信号または該入力信号をエンコードするビットストリームを前記デコード・システムに提供するエンコーダにおける同様のまたは異なる構造的特性をもつダウンミックス段に提供されることのできるデータ構造である。このように、これらのダウンミックス段は機能的に等価であること、たとえば同一の入力信号に応答して同一のダウンミックス信号を与えることが保証されてもよい。ダウンミック指定をロードすることは、展開後のダウンミックス段を構成設定し直すことに相当してもよいが、あるいはまた、その製造、初期プログラミング、インストール、展開などの間に実行されてもよい。ダウンミックス指定は入力信号の特定の形式またはフォーマット（フォーマット中のチャネルの位置および番号付けを含む）を用いて表現されてもよい。あるいはまた、ダウンミックス指定は意味的に表現されてもよい（チャネルのフォーマットに対する位置に関わりなく、チャネルの幾何学的な意義を含む）。好ましくは、ダウンミックス指定は、入力信号の現在の形式やフォーマットおよび／または入力信号の方式とは独立に定式化され、それによりダウンミックス動作は、入力信号フォーマットの変化を越えて、中断なく継続しうる。

【0011】

デコード・システムはさらに、ダウンミックス信号を受領し、オーディオ信号を表わすnチャネル表現を出力するよう適応された空間的合成段を有する。空間的合成段には、そのアルゴリズム遅延の理由により、0でない通過時間が付随する。本発明の基礎にある問題の一つは、この遅延の存在にもかかわらず、なめらかな切り換えを達成することである。オーディオ信号のnチャネル表現は、デコード・システム出力として出力されてもよい；あるいはまた、オーディオ信号をより忠実におよび／またはより少ないアーチファクトおよび誤差をもって再構成するという一般的なねらいをもってさらなる処理を受ける。空間的合成段は、空間的合成動作の定量的および／または定性的諸側面を制御する少なくとも一つの混合パラメータを受け容れる。原理的には、空間的合成段は、少なくともパラメトリック・モードにおいて、たとえばダウンミックス信号が利用可能であるときにアクティブである。離散モードでは、デコード・システムは、n個の離散的にエンコードされたチャネルのそれぞれをデコードすることによって、入力信号から出力信号を導出する。

【0012】

この例示的な実施形態によれば、ダウンミックス段は、離散的に符号化された時間フレームの各エピソードにおける少なくとも最初の時間フレームにおいて（たとえば該フレーム全体を通じて）および離散的に符号化された時間フレームの各エピソード後の少なくとも最初の時間フレームにおいて（たとえば該フレーム全体を通じて）、アクティブである。これは、離散的符号化からパラメトリック符号化への入力信号における遷移があったあとすぐ、mチャネル・ダウンミックス信号が利用可能となりうることを含意する。結果として、空間的合成段は、たとえ内在的な0でないアルゴリズム遅延を伴う処理、たとえば時間から周波数への変換、実から複素への変換および／またはハイブリッド分解フィルタリング（hybrid analysis filtering）を含むとしても、より短い時間でアクティブ化できる。さらに、オーディオ信号のnチャネル表現はパラメトリック・モードから離散モードへの諸遷移を通じて利用可能なままであってもよく、そのような遷移をより高速におよび／またはより気づかれにくくするために使用されてもよい。

【0013】

本稿での用法では、「時間フレーム」（または「フレーム」）は、それについて符号化方式が制御できる、入力信号の最小単位である。好ましくは、入力信号の空でないチャネルが窓掛けされた変換（windowed transform）によって得られる。たとえば、各変換窓はサンプルに関連付けられていてもよく、MDCTにおけるように、連続する変換窓が重なり合ってもよい。明らかに、連続する窓が50%重なり合う場合には、時間フレームの長さは変換窓の半分の長さより小さくなく（たとえば、512サンプルの変換窓の半分の長さは256サンプルに等しい）、その場合、該変換窓は変換ストライドに等しい。切り換えイベントは、デコードされたオーディオを享受する人にとってより知覚されにくくできるので、この例示的な実施形態は、動作中に切り換えイベントの数を制限する必要がなく、ネットワーク条件の変化に注意を払って応答しうる。これは、利用可能なネットワーク資源がよりフルに利用されることを許容する。短縮されたデコード・システム遅延は、特にライブ・メディア・ストリーミングにおいて、メディアの忠実度を向上させうる。

【0014】

本開示の目的のためには、ダウンミックス段がある時間フレームにおいてアクティブであるとは、ダウンミックス段が少なくとも、その時間フレームのサブセットの間アクティブであることを意味する。ダウンミックス段は、フレーム全体を通じて／フレーム全体の間、あるいはフレームの初期部分など、その時間フレームのサブセットの間のみ、アクティブであってもよい。初期部分は、フレーム長さの1/2、1/3、1/4、1/6に対応してもよい；初期部分は変換ストライドに対応してもよい；あうるいはまた、初期部分はTがフレーム長さ、pが各フレームにおいて始まる変換窓の数であるとして、T/pに対応してもよい。入力信号における符号化方式間の遷移は典型的には、前の時間フレームの符号化と現在時間フレームの符号化の間で、
時間フレームのはじまりにおける（たとえば時間フレームの最初の1/6の間のまたは1536個のうち256個の時間サンプルの間の）クロスフェードに関わる（たとえば、入力信号を、ビットストリームから該入力信号が得られうる周波数領域フォーマットから時間領域に変換するときに重なり合う変換窓を使う結果として）。ダウンミックス段は、好ましくは、入力信号の離散的符号化への／からの遷移直後の時間フレームの少なくとも初期部分の間、アクティブであってもよい。これは、ダウンミックス信号を、入力信号におけるクロスフェードの間、利用可能にする。それにより、空間的合成段は、入力信号におけるクロスフェードに関する時間フレームの部分について、オーディオ信号のnチャネル表現を出力しうる。入力信号の現在の方式（たとえばパラメトリック符号化または離散的符号化）についての情報が、入力信号と一緒に受領されてもよい。たとえば、入力信号が含まれるビットストリーム中のある位置にあるビットである。たとえば、パラメトリック符号化の間、空間的パラメータについての情報がビットストリームのある種の位置に見出されてもよく、一方、離散的符号化の間は、これらの位置／ビットは使用されない。そのようなビットの期待される位置での存在をチェックすることにより、デコード・システムは入力信号の現在の符号化方式を判定しうる。

【0015】

上記の例示的な実施形態のあるさらなる発展では、入力信号の時間セグメントは、パラメトリック符号化、離散的符号化および縮小（reduced）パラメトリック符号化を含む符号化方式の群から選択される符号化方式によってオーディオ信号の時間セグメントを表現してもよい。このように、前記さらなる発展では、縮小パラメトリック符号化と称される追加的な符号化方式がある。この方式では、入力信号はmチャネル・コア信号（可能性としては混合パラメータおよび他のメタデータが付随する）である。このコア信号は、同じオーディオ信号を表わす（すなわち、最初に言及したオーディオ信号と同一のオーディオ信号を表わす）仮説的な離散的nチャネル入力信号から、前記ダウンミックス指定に従ったダウンミックスによって、得られる。逆に、離散的符号化された時間フレーム中の入力信号に基づいて、前記ダウンミックス指定は、それらのフレームにおいて同じオーディオ信号を表わすために縮小パラメトリック符号化が使われていたとしたらコア信号はどうなっていたかを決定することを可能にする。

【0016】

入力信号が縮小パラメトリック符号化によってオーディオ信号を表わすフレームでは、いかなるダウンミックスも実行する必要がないことがある。実際、入力信号はmチャネル・コア信号であり、空間的合成段に送られる前にダウンミックスされる必要はない。よって、空間的合成段は好ましくは入力信号を直接受領してもよく、あるいは入力信号は、空間的合成段に到達する前に、影響を受けずにダウンミックス段を通過してもよい。したがって、入力信号が縮小パラメトリック符号化によってオーディオ信号を表わすフレームでは、空間的合成段は、入力信号および少なくとも一つの混合パラメータに基づいてオーディオ信号のnチャネル表現を出力してもよい。縮小パラメトリック符号化された時間フレームを受領するときにダウンミックス段を非アクティブ化する（またはアイドル／受動／休止モードにする）ことは、エネルギーを節約しうる。それによりたとえば、携帯機器におけるバッテリー時間が延長されうる。

【0017】

ある例示的な実施形態では、ダウンミックス段は、入力信号がパラメトリック符号化によってオーディオ信号を表わす各時間フレームにおいてアクティブである。二つだけの符号化方式（パラメトリックおよび離散的）がある例では、これはダウンミックス段は、少なくとも、離散的に符号化されるのでないすべてのフレームにおいてアクティブであることを含意する。縮小パラメトリック符号化のような利用可能な追加的な符号化方式がある例では、ダウンミックス段は、離散的に符号化されるのでない時間フレームにおいて、非アクティブ／非アクティブ化状態／アイドルであるのでもよい。これは、エネルギーを節約するおよび／またはバッテリー時間を延長することができる。

【0018】

ある例示的な実施形態では、デコード・システムは、パラメトリック符号化された時間フレームの間、mチャネル・コア信号（混合パラメータおよび他のメタデータがあればそれに加えて）を有する入力信号を受領するよう適応される。コア信号は、同じオーディオ信号を表わす（すなわち、最初に言及したオーディオ信号と同一のオーディオ信号を表わす）仮説的な離散nチャネル入力信号から、前記ダウンミックス指定に従ったダウンミックスによって得ることができる。逆に、離散的符号化された時間フレーム中の入力信号に基づいて、前記ダウンミックス指定は、それらのフレームにおいて同じオーディオ信号を表わすためにパラメトリック符号化が使われていたとしたらコア信号はどうなっていたかを決定することを可能にする。

【0019】

しかしながら、ダウンミックス段は、入力信号がコア信号を含まないことがある少なくともいくつかの離散的に符号化された時間フレーム（たとえば、離散的に符号化された時間フレームのエピソード中の最初の時間フレームなど）においてアクティブなので、デコード・システムは、これらの離散的に符号化された時間フレームにおいてこのコア信号がどうであったかを予測することができるであろう。よって、たとえ原理的にはコア信号と離散的に符号化されたチャネルの共存はないとしても、入力信号における（パラメトリック符号化または縮小パラメトリック符号化と離散的符号化の間の）方式変更に関連するいかなる不連続も緩和されるまたは完全に回避されることができる。

【0020】

上記の例示的実施形態のあるさらなる発展では、ダウンミックス段は、もし利用可能であれば入力信号中のコア信号を再生することによってダウンミックス信号を生成するよう適応されている。換言すれば、ダウンミックス段は、パラメトリック符号化された時間フレームの受領に、中でも、コア信号をコピーまたは転送することによって応答するよう適応される。それにより、ダウンミックス段は、コア信号をダウンミックス段として出力する。別の言い方をすれば、ダウンミックス信号におけるmチャネルがnチャネル入力信号の空間の部分空間と考えられる場合、ダウンミックス段は、この部分空間上への投影である。特に、入力信号のmチャネルのサブセットを、ダウンミックス段は、ダウンミックス信号におけるそれぞれのmチャネルと同一にマッピングする。これは、前記ダウンミックス指定において規定されてもよい。離散的に符号化された時間フレームについては、ダウンミックス信号は入力信号に基づいてかつ前記ダウンミックス指定に基づいて生成される。上記で論じたように、ダウンミックス指定は、コア信号と入力信号中のn個の離散的に符号化されたチャネルとの間の関係を定義する。これは、入力信号における方式変化はそれ自身としては不連続を生じさせることができないことを含意する。すなわち、オーディオ信号がモード変化をまたいで連続的であれば、ダウンミックス段出力は連続的なままであり、実質的に中断がないことになる。

【0021】

上記で概説した例示的実施形態の代替として、あるいはそのさらなる発展として実施されうるある例示的な実施形態では、パラメトリック符号化方式および離散的符号化方式の両方において適用可能なフォーマットで入力信号をエンコードするビットストリームを受領するよう適応される。n個の離散的に符号化されたチャネルを受け容れるために、受領されたビットストリームは、入力信号を、nチャネル以上を含むフォーマットでエンコードする。結果として、パラメトリック符号化方式の時間フレームはたとえばn−m個の不使用のチャネルを含むことがある。パラメトリック符号化方式においてフォーマットの一様性を保存するために、不使用のチャネルは存在するが、励起なしに対応する中立値、たとえば0のシーケンスに設定される。発明者は、デコーダ・プロダクトは、フォーマット変化が頻繁でありうる適応的メディア配信設備において展開される意図なしに設計されたレガシー・コンポーネントまたは汎用コンポーネント（たとえば、ハードウェア、アルゴリズム、ソフトウェア・ライブラリ）を含むことがあることを認識するに至った。そのようなコンポーネントは、より低いビットレート・フォーマットへの検出される変化に対して、自らを非アクティブ化するまたは部分的に電源オフすることによって応答することがある。これは、コンポーネントが通常動作に復するときのフォーマット変化と関連した不連続のため、ビットレート間のなめらかな遷移を妨げたり、その達成をより難しくしたりすることがある。困難は、重複窓関数を用いた変換との関連でのように、異なる符号化方式のフレームからの寄与が合計されるときにも生じうる。本例示的実施形態では、入力フォーマットについて一様なフォーマットが使用されるので、デコード・システムにおけるこれらの特性をもつコンポーネントは典型的には、パラメトリックから離散的符号化方式への、また逆に離散的からパラメトリック符号化方式への遷移によって実質的に影響されないままである。上記は、すべての離散的符号化またはパラメトリック符号化された時間フレームについて当てはまる。いくつかの例示的実施形態では、パラメトリック符号化された時間フレームの二つのエピソードの間では、入力信号が代わりにmチャネル・フォーマット（縮小パラメトリック符号化方式）において提供されてもよい。それにより、モード遷移が切迫していないまたは実行されようとしていないときにダウンミックスの必要がなくなる。任意的に、mチャネル・フォーマット（すなわち、縮小パラメトリック符号化方式）は、離散的符号化されていないすべてのフレームにおいて使用されてもよく、デコード・システムは任意的に、少なくともいくつかのフレームにおいて、受領されたmチャネル・フォーマットをnチャネル・フォーマットにフォーマットし直すよう適応されていてもよい。たとえば、直前の縮小パラメトリック符号化された諸フレームまたは直後の離散的符号化された諸時間フレームにおいて、n−m個の中立チャネルをmチャネル・フォーマットにアペンドすることによって、縮小パラメトリック符号化が、フォーマットし直されてもよい。異なる符号化方式の間の遷移の間に同数のチャネルをもつという上記の利点の少なくともいくつかを得るためである。好ましくは、上記一様フォーマットは、パラメトリックおよび／または離散的モードにおいて使うための、混合パラメータおよび他のメタデータを受け容れる。好ましくは、入力信号はエントロピー符号化または同様のアプローチによってエンコードされ、それにより不使用のチャネルが必要とされる帯域幅を増すのは、限られた程度だけである。

【0022】

ある例示的実施形態では、デコード・システムはさらに、第一の遅延線および混合器を有する。第一の遅延線は入力信号を受領し、該入力信号の遅延されたバージョンを出力するよう動作可能である。あるいはまた、第一の遅延線は、たとえば入力信号から前記n個のチャネルが導出されたあとのまたはパケット化解除後の前記入力信号の処理されたバージョンを遅延させるよう動作可能であってもよい。第一の遅延線は、モード遷移を容易にするため、パラメトリック・モードにおいては（すなわち、デコード・システム出力が空間的合成によって生成される時間フレームにおいては）アクティブである必要はないが、可能性のある例外は、デコード・システムが離散モードにある時間フレームのシーケンスにおける最初の時間フレームである。混合器は第一の遅延線出力および空間的合成段出力の両方に接続され、これら二つの源の間の選択器として作用する。パラメトリック・モードでは、混合器出力は空間的合成段出力を出力する。離散モードでは、混合器は第一の遅延線出力を出力する。入力信号における離散符号化方式とパラメトリック符号化方式（または、デコード・システムが上記のように受領された縮小パラメトリック符号化された時間フレームをnチャネル・フォーマットにフォーマットし直すよう適応されているなら縮小パラメトリック符号化方式）との間に遷移があるとき、混合器はこれら二つの出力の間の混合遷移（mixing transition）を実行する。混合遷移は、クロスフェード型動作またはあまり知覚されにくいことが知られている他の混合遷移を含みうる。混合遷移は、そこからモード遷移が起こるある時間フレームまたはある時間フレームのある割合を占めてもよい。第一の遅延線の存在により、空間的合成段によって与えられるオーディオ信号のnチャネル表現が、入力信号からn個の離散符号化されたチャネルに基づいて導出された信号と同期したままであることができる。これは、モード遷移のなめらかさを向上させる。さらに、二つの信号の予備的な整列が必要ないので、混合器は、短いレイテンシーでモード間で遷移できるであろう。特に、第一の遅延線は、入力信号を、ダウンミックス段および空間的合成段の全通過時間に対応する期間だけ遅延させるよう構成されてもよい。全通過時間は、それぞれの通過時間の和であってもよい。しかしながら、遅延短縮施策が講じられる場合には、全通過時間は前記和より短くてもよい。ダウンミックス段の通過時間は0でない数であることもあるし、あるいは特にダウンミックス段が時間領域で動作する場合には0であることもあることを注意しておく。

【0023】

上記の実施形態のあるさらなる発展では、デコード・システムはさらに、混合器の下流の第二の遅延線を含む。第二の遅延線は、パラメトリック・モードおよび離散モードにおいて同様に、すなわち時間フレーム継続時間と第一の遅延線によって受ける遅延との間の差である遅延を加えることによって機能するよう構成される。よって、デコード・システムの全通過時間はちょうど一つの時間フレームである。あるいはまた、第二の遅延線によって受ける遅延は、第一の遅延線および第二の遅延線によって受ける全遅延が一時間フレームの長さの倍数であるよう選ばれる。これらの代替はいずれも、切り換えを簡単にする。特に、これは、切り換えとの関連で、デコード・システムと接続されたエンティティとの間の協働を簡単にする。

【0024】

ある例示的実施形態では、空間的合成段は、時間補間によって得られた混合パラメータ値を適用するよう適応される。パラメトリックおよび縮小パラメトリック符号化方式では、時間フレームは、時間フレームの中点または末尾のような所与の時間フレーム内のある参照点（またはアンカー点）について明示的に定義される混合パラメータ（単数または複数）を担持してもよい。明示的に定義された値に基づいて、空間的合成段は、相続く（連続する）時間フレームにおけるそれぞれの参照点の間の補間によって時間的に中間的な諸点について中間混合パラメータ値を導出する。換言すれば、補間は、二つの相続く（連続する）時間フレームの間で、これら二つの時間フレームのそれぞれが混合パラメータ値を担持する場合に、たとえばこれらの時間フレームのそれぞれがパラメトリック符号化されているまたは縮小パラメトリック符号化されている場合に、実行されるのみであってもよい。この設定では、特に参照点が最初でない場合、空間的合成段は、各時間フレームがパラメトリック符号化されているまたは縮小パラメトリック符号化されている時間フレームのエピソードにおける最初の時間フレームである現在時間フレーム（すなわち、現在時間フレームの前の時間フレームは混合パラメータ値を担持しない）に対して、現在時間フレームにおける参照点から後ろ向きに現在時間フレームの先頭までの間の混合パラメータ値を外挿することによって応答するよう適応される。空間的合成段は、混合パラメータを一定値によって外挿するよう構成されていてもよい。すなわち、混合パラメータは、フレーム先頭における参照点値をもつものとされ、参照点まで変動なしにこの値を（中間的な値として）維持し、次いでその後の時間フレーム内の参照点に向かって補間を開始する。好ましくは、外挿には、デコード・システムにおけるパラメトリック・モードへの遷移が伴っていてもよい。空間的合成ユニットは、現在時間フレームにおいてアクティブ化されてもよい。現在フレームおよび／またはそのあとのフレームの間、デコード・システムは、空間的合成ユニットからのオーディオ信号出力のnチャネル表現を使ってオーディオ信号を再構成することに遷移してもよい。現在時間フレームが離散的に符号化された時間フレームのエピソードにおける最初の時間フレームであるとき、空間的合成段は、現在時間フレームの直前の時間フレームにおける参照点から（混合パラメータ値の）前方外挿を実行するよう適応されていてもよい。前方外挿は、混合パラメータ値を、現在時間フレームの終点までの最後の参照点から一定に保つことによって達成されてもよい。あるいはまた、離散モードへのモード遷移を受け容れるよう、外挿は、現在時間フレームのあとさらに一時間フレームについて進行してもよい。結果として、空間的合成段はある時間フレーム（現在時間フレームの直前の時間フレーム）から外挿された混合パラメータ値を、現在時間フレーム（またはその後の時間フレーム）からのコア信号との組み合わせにおいて、使ってもよい。現在フレームの直後のフレームおよび／またはそのあとの時間フレームの間、デコード・システムは好ましくは、入力信号に含まれるn個の離散的にエンコードされたチャネルに基づいて、オーディオ信号を導出することに遷移してもよい。

【0025】

ある例示的実施形態では、空間的合成段は、ダウンミックス信号の周波数領域表現に対して作用する混合行列を含む。混合行列は、mからnへのアップミックスを実行するよう動作可能であってもよい。この目的に向け、空間的合成段はさらに、混合行列の上流に、時間から周波数への変換段を、混合行列の下流に周波数から時間への変換段を有する。追加的または代替的に、混合行列は、m個のダウンミックス・チャネルを含む線形結合によってそのn個の出力チャネルを生成するよう構成される。線形結合は、好ましくは、ダウンミックス・チャネルのうち少なくともいくつかの、脱相関されたバージョンを含んでいてもよい。混合行列は、混合パラメータを受け容れ、混合パラメータの値に基づく線形結合における、前記ダウンミックス・チャネルのうちの少なくとも一つに関係する少なくとも一つの利得を調整することによって反応する。前記少なくとも一つの利得は、前記ダウンミックス信号のmチャネル周波数領域表現におけるチャネルの一つまたは複数に適用されてもよい。混合パラメータ値における点変化は、即座のまたは漸進的な利得変化につながりうる。たとえば、漸進的な変化は、上記で概説したような相続くフレームの間の補間によって達成されうる。利得の制御可能性は、アップミックス動作がダウンミックス信号の時間領域または周波数領域表現のいずれで実行されるかに関わりなく実施されてもよいことを注意しておく。

【0026】

ある例示的実施形態では、ダウンミックス段は、入力信号の時間領域表現に対して作用するよう適応されている。より精密には、mチャネル・ダウンミックス信号を生成するために、ダウンミックス段は、コア信号またはn個の離散的にエンコードされた信号の時間領域表現を供給される。時間領域におけるダウンミックスは、計算的に無駄のない技法である。これは典型的な使用では、ダウンミックス段の動作がデコード・システムにおける全計算負荷を（ダウンミックス段のないデコーダに比べて）非常にわずかな度合いしか増加させないことを含意する。すでに述べたように、ダウンミックスの定量的属性は、ダウンミックス指定によって制御可能である。特に、ダウンミックス指定は、適用されるべき利得を含んでいてもよい。

【0027】

ある例示的実施形態では、空間的合成段および混合器（もしそれがデコード・システムに設けられていれば）は、たとえば有限状態機械（FSM: finite state machine）として実装されうるコントローラによって制御される。ダウンミックス段は、コントローラとは独立に動作してもよいし、あるいはダウンミックスが必要とされないとき、たとえば現在および一つ（または複数）の前の時間フレームにおいて入力信号が縮小パラメトリック符号化されるときまたは入力信号が離散的符号化されるときにコントローラによって非アクティブ化されてもよい。コントローラ（たとえば有限状態機械）は、プロセッサであってもよく、その状態は現在の時間フレームおよび前の時間フレームおよび可能性としては前の時間フレームの前の時間フレームの符号化型／方式（パラメトリック、離散的および利用可能であれば縮小パラメトリック）によって一意的に決定される。以下で見るように、コントローラは、本発明を実施できるためのプログラム命令以外の何かを記憶するスタック、暗黙的状態変数または内部メモリを含む必要はない。これは、簡単さ、透明性（たとえば検証および試験における）および／または堅牢性を提供する。

【0028】

ある例示的実施形態では、オーディオ信号は、各時間フレームにおいて、離散的符号化（D）、パラメトリック符号化（P）および縮小パラメトリック符号化（rP）の三つの符号化方式に従って表現されてもよい。現在の例示的実施形態（現在の例示的実施形態ではデコード・システムは縮小パラメトリック符号化された時間フレームをnチャネル・フォーマットにフォーマットし直すよう適応されていない；上記の他の例示的実施形態ではデコード・システムはそのように適応されていてもよい）では、相続く（連続する）時間フレームの次のシーケンスが回避されてもよい：
rP D または D rP
すなわち、離散的符号化された時間フレームの（直）後または（直）前には縮小パラメトリック符号化された時間フレームがこない。換言すれば、離散的符号化された時間フレームの次には離散的符号化された時間フレームまたはパラメトリック符号化された時間フレームのどちらかがきて、離散的符号化された時間フレームの前には離散的符号化された時間フレームまたはパラメトリック符号化された時間フレームのどちらかがくる。代替的または追加的に、相続く（連続する）時間フレームの次のシーケンス：
P rP P および P rP … rP P
が、符号化効率の理由により、それぞれ：
P P P および P P … P P
より好まれる。換言すれば、パラメトリック符号化された時間フレームの直後の各時間フレームは、好ましくは、縮小パラメトリック符号化されるまたは離散的符号化されうる。これに対する例外は、非常に短いエピソードが受け容れられる実装でありうる。そのような状況では、二つの相続くパラメトリック符号化された時間フレームが起こりうるような、縮小パラメトリック符号化方式にはいる十分な時間が常にあるとは限らない。

【0029】

種々の方式に従って符号化された時間フレームの順序に関する上記の規則がすべて適用されるある例示的実施形態では、入力信号中の時間フレームのシーケンスは典型的には次のようなものとなる。

【0030】

D D P D D D D P rP rP rP rP rP P D D D P D P D D D P rP P D D
ここで、離散的符号化（D）とパラメトリック（P）符号化は常に縮小パラメトリック符号化（rP）によって分離されている。上記のように、上記の例示的実施形態の少なくともいくつかのもののエンコード・システムは、相続くフレーム（の符号化方式の）他の組み合わせを受領するよう適応されてもよいことを注意しておく。

【0031】

ある例示的実施形態では、デコードは、現在の時間フレームおよび現在の時間フレームの直前の二つの先行する時間フレームにおいて入力信号が離散的符号化されているすべての場合において、入力信号からn個の離散的にエンコードされたチャネルを導出することによって進行する。さらに、デコードは、現在の時間フレームにおいてオーディオ信号がパラメトリック符号化されているまたは現在の時間フレームが離散的に符号化された時間フレームのエピソード中の最初の時間フレームである場合、ダウンミックス指定に従って入力信号に基づいてmチャネル・ダウンミックス信号を生成することにより、かつ現在フレームおよび二つの先行するフレームにおいてオーディオ信号がパラメトリック符号化されているすべての場合において、ダウンミックス信号に基づいてオーディオ信号のnチャネル表現を生成することによって進行する。現在フレームおよび一つのみの先行する時間フレームにおいて入力信号がパラメトリック符号化（または縮小パラメトリック符号化）されている時間フレームにおける挙動は、異なる例示的実施形態の間で異なっていてもよい。任意的に、直前の時間フレームの（直）前の時間フレームにおいてオーディオ信号がパラメトリック符号化されているときにもmチャネル・ダウンミックス信号が生成される。

【0032】

この例示的実施形態のさらなる発展では、パラメトリック符号化または縮小パラメトリック符号化によって所与の時間フレームにおいてオーディオ信号を表わす入力信号を（たとえばビットストリームをデコードすることによって）受領することは、所与の時間フレーム内の最初でない点について前記少なくとも一つの混合パラメータの値を受領することを含む。現在の時間フレームが、各時間フレームがパラメトリック符号化されているか縮小パラメトリック符号化されている時間フレームのエピソード中の最初の時間フレームである場合、前記少なくとも一つの混合パラメータの受領された値は、現在の時間フレームの先頭まで後ろ向きに外挿される。追加的または代替的に、二つの相続く離散的に符号化された時間フレーム（現在および直前）がパラメトリック符号化された時間フレームのあとに受領されると、デコード・システムはパラメトリック復号を実行する（すなわち、ダウンミックス信号に基づいてオーディオ信号のnチャネル表現を生成する）。ただし、これは直前の時間フレームの直前の時間フレームに関連する混合パラメータ値に基づく。前方補間のための基礎をなすことのできる直後の時間フレームがないので、デコード・システムは、最後の明示的な混合パラメータ値を、前方に向けて、現在フレームを通じて外挿する。その間、デコード・システムは、たとえばフレームの初期部分（たとえばフレーム継続時間の1/3、1/4または1/6；その長さは上記で論じてある）にわたるクロス混合を実行することによって、離散的デコード／モードに遷移する。本方法はさらに、次の段階を含んでいてもよい：入力信号が現在の時間フレームのおよび直前の時間フレームにおいてパラメトリック符号化されており、前記直前の時間フレームの直前の時間フレームにおいて離散的に符号化されていることに応答して、現在の時間フレームの間に、前記ダウンミックス信号および少なくとも一つの混合パラメータに基づいてオーディオ信号のnチャネル表現を生成することに遷移する。

【0033】

本発明のある例示的実施形態では、エンコード・システムが、時間フレームにセグメント分割されたnチャネル・オーディオ信号をエンコードするよう適応される。エンコード・システムは、パラメトリック符号化およびn個の別々にエンコードされるチャネルを使う離散的符号化を含む群から選択される符号化方式に従って、所与の時間フレームにおいて、オーディオ信号を表わすビットストリーム（P）を出力するよう適応される。エンコード・システムは、所与の時間フレームについて、どちらのエンコード方式がオーディオ信号を表わすために使用されるかを選択するよう適応された選択器を有する。エンコード・システムはさらに、オーディオ信号のnチャネル表現に基づき、ダウンミックス指定に従って、コア信号および少なくとも一つの混合パラメータを出力するよう動作可能なパラメトリック分解段を有する。前記コア信号および少なくとも一つの混合パラメータは、パラメトリック符号化における出力ビットストリームの一部をなす。本例示的実施形態のあるさらなる発展では、前記符号化方式の群はさらに、縮小パラメトリック符号化を含む。本実施形態では、パラメトリック符号化は、n個の信号チャネルをもつフォーマットを使い、離散的符号化もそうである。他方、縮小パラメトリック符号化は、m個の信号チャネルをもつフォーマットを使う。ここで、n＞m≧1である。

【0034】

本発明の第二の側面では、nチャネル・オーディオ信号を再構成するためのデコード・システムが提供される。デコード・システムは、入力信号をエンコードするビットストリームを受領するよう適応される。入力信号は時間フレームにセグメント分割されており、オーディオ信号を表現するためにn個の別々にエンコードされるチャネルを使う離散的符号化およびn＞m≧1であるとしてオーディオ信号を表現するためにmチャネル・コア信号および少なくとも一つの混合パラメータを使う縮小パラメトリック符号化を含む群から選択される符号化方式に従って、所与の時間フレームにおいて、オーディオ信号を表現する。縮小パラメトリック符号化方式は、オーディオ信号を表現するために、コア信号に加えて、たとえば少なくとも一つの混合パラメータのようなメタデータを使ってもよいことを注意しておく。

【0035】

本例示的実施形態のデコード・システムは、n個の離散的にエンコードされたチャネルに基づいてまたは空間的合成によってオーディオ信号を導出するよう動作可能である。このデコード・システムは、ビットストリームから抽出した、入力信号の周波数領域表現を、入力信号の時間領域表現に変換するよう適応されたオーディオ・デコーダを有する。デコード・システムはさらに、ダウンミックス指定に従って入力信号の時間領域表現に基づいてmチャネル・ダウンミックス信号を出力するよう動作可能なダウンミックス段と、前記ダウンミックス信号および少なくとも一つの混合パラメータ（たとえば同じビットストリームにおいて受領され、オーディオ・デコーダによって抽出されるまたはたとえば他の何らかのビットストリームにおいて別個に受領される）に基づいてオーディオ信号のnチャネル表現を出力するよう動作可能な空間的合成段とを有する。

【0036】

本例示的実施形態の縮小パラメトリック符号化された時間フレームでは、入力信号の周波数領域表現がnチャネル信号である離散的に符号化された時間フレームとは異なり、入力信号の周波数領域表現は、mチャネル信号（すなわちコア信号）である。オーディオ・デコーダは、入力信号の周波数領域表現を時間領域に変換する前に、少なくとも、離散的に符号化された時間フレームに隣接する縮小パラメトリック符号化された時間フレームの諸部分において、入力信号の周波数領域表現をフォーマットし直す（すなわち、そのフォーマットを修正する）よう適応されていてもよい。それらの諸部分における入力信号の周波数領域表現が（よって時間領域表現も）離散的に符号化された時間フレームと同数のチャネルをもつようにするためである。離散的符号化と縮小パラメトリック符号化の間の遷移の際に一定数のチャネルをもつ（だが縮小パラメトリック符号化された時間フレームのエピソードの間は必ずしも一定ではない）入力信号の時間領域表現は、そのような遷移の際にもなめらかな聴取経験を提供することに寄与しうる。これは、デコード・システムのさらに下流に配置されるデコード／処理セクションにおける遷移を容易にすることによって達成される。たとえば、一定数のチャネルをもつことは、入力信号の時間領域表現においてなめらかな遷移を提供することを容易にしうる。

【0037】

この目的のため、オーディオ・デコーダは、離散的に符号化された時間フレームの直後の各縮小パラメトリック符号化された時間フレームの少なくとも初期部分の間および離散的に符号化された時間フレームの直前の各縮小パラメトリック符号化された時間フレームの少なくとも最終部分について、入力信号の周波数領域表現をフォーマットし直すよう適応されていてもよい。オーディオ・デコーダは、これらの部分における（縮小パラメトリック符号化された時間フレームにおいてはmチャネル・コア信号によって表現される）入力信号の周波数領域表現を、mチャネル・コア信号にn−m個の中立チャネルをアペンドすることによって、nチャネル・フォーマットにフォーマットし直すよう適応される。中立チャネルは、中立的な信号値、たとえば0のようなオーディオ・コンテンツなしまたは励起なしに対応する値を含むチャネルであってもよい。換言すれば、中立的な値は、中立チャネルのコンテンツがオーディオ信号を含むチャネルに加えられるときに、生成されるオーディオ信号は該中立的な値によって影響されず（中立的な値に非中立的な寄与を加えたものは該非中立的な寄与に等しい）、それでいて動作としてはよく定義されているように選ばれてもよい。上記の仕方で、縮小パラメトリック符号化された時間フレーム（のうちのいくつかの、少なくとも一部）におけるオーディオ信号の周波数領域表現のmチャネル・コア信号は、オーディオ・デコーダによって、離散的に符号化された時間フレームにおける入力信号のフォーマットと同質のフォーマット、特に同数のチャネルを有するフォーマットにフォーマットし直されてもよい。

【0038】

ある例示的実施形態によれば、オーディオ・デコーダは、重複変換窓を使って周波数から時間への変換を実行するよう適応されてもよい。ここで、各時間フレームは、変換窓のうちの少なくとも一つの長さの半分と等価である（たとえば同じ長さをもつ）。換言すれば、各時間フレームは、一つの変換窓と等価な時間期間の少なくとも半分である時間期間に対応してもよい。変換窓が重なり合うので〔重複〕、異なる時間フレームからの変換窓の間に重複があることがあり、したがって、所与の時間フレームにおける入力信号の時間領域表現の値は、該所与の時間フレーム以外の時間フレーム、たとえば、少なくとも前記所与の時間フレームの直前または直後の時間フレームからの寄与に基づくことがある。

【0039】

ある例示的実施形態では、オーディオ・デコーダは、離散的に符号化された時間フレームの直後の各縮小パラメトリック符号化された時間フレームにおいて、少なくとも、前記縮小パラメトリック符号化された時間フレームの中立チャネルの少なくとも一つからの第一の寄与および前記直前の離散的に符号化された時間フレームからの第二の寄与を合計することによって、入力信号の時間領域表現の少なくとも一つのチャネルを決定するよう適応されていてもよい。先の実施形態との関係で述べたように、mチャネル・コア信号は、（周波数領域の）入力信号を、縮小パラメトリック符号化された時間フレームにおいて表現し、オーディオ・デコーダは、離散的に符号化された時間フレームの直後の縮小パラメトリック符号化された時間フレーム（の少なくとも初期部分）においてmチャネル・コア信号にm−n個の中立チャネルをアペンドするよう適応されていてもよい。入力信号のnチャネル時間領域表現は、そのような縮小パラメトリック符号化された時間フレームにおいては、nチャネルのそれぞれについて、直前の離散的に符号化された時間フレームおよび前記縮小パラメトリック符号化された時間フレームの対応するチャネルからの寄与を合計することによって、得られてもよい。mチャネル・コア信号に対応するm個のチャネルのそれぞれについては、これは、（縮小パラメトリック符号化された時間フレームからの）コア信号のチャネルからの第一の寄与および離散的に符号化された時間フレームにおける対応するチャネルからの第二の寄与を合計することを含んでいてもよい。前記n−m個の中立チャネルに対応するn−m個のチャネルのそれぞれについては、これは、中立チャネルの一つからの第一の寄与（すなわち0のような中立的な値）および直前の離散的に符号化された時間フレームにおける対応するチャネルからの第二の寄与を合計することに対応してもよい。このようにして、離散的に符号化された時間フレームのn個のチャネルすべてからの寄与が、離散的に符号化された時間フレームの直後の縮小パラメトリック符号化された時間フレームにおいて入力信号についての時間領域表現を形成するときに使用されうる。これは、入力信号の時間領域表現におけるよりなめらかなおよび／またはより気づかれにくい遷移を許容しうる。たとえば、離散的に符号化された時間フレームからの寄与は、縮小パラメトリック符号化におけるn−m個の中立チャネルに対応するn−m個のチャネルにおいてフェードアウトすることが許容されてもよい。これは、入力信号の離散的符号化と縮小パラメトリック符号化の間の遷移の際の改善された（またはよりなめらかな）聴取経験を達成するために、デコード・システムにおけるさらに下流に配置される段／ユニットにおける入力信号の処理／デコードをも容易にしうる。

【0040】

ある例示的実施形態では、オーディオ・デコーダは、パラメトリック符号化された時間フレームの直後の各離散的に符号化された時間フレームにおいて、少なくとも、前記離散的に符号化された時間フレームからの第一の寄与および前記直前の縮小パラメトリック符号化された時間フレームの中立チャネルのうち少なくとも一つからの第二の寄与を合計することによって、入力信号の時間領域表現の少なくとも一つのチャネルを決定するよう適応されていてもよい。先の実施形態との関係で述べたように、mチャネル・コア信号は、（周波数領域の）入力信号を、縮小パラメトリック符号化された時間フレームにおいて表現し、オーディオ・デコーダは、離散的に符号化された時間フレームの直前の縮小パラメトリック符号化された時間フレーム（の少なくとも最終部分）においてmチャネル・コア信号にm−n個の中立チャネルをアペンドするよう適応されていてもよい。入力信号のnチャネル時間領域表現は、そのような縮小パラメトリック符号化された時間フレームの直後の離散的に符号化された時間フレームにおいては、nチャネルのそれぞれについて、前記離散的に符号化された時間フレームおよび前記直前の縮小パラメトリック符号化された時間フレームの対応するチャネルからの寄与を合計することによって、得られてもよい。mチャネル・コア信号に対応するm個のチャネルのそれぞれについては、これは、離散的に符号化された時間フレームにおける対応するチャネルからの第一の寄与および（縮小パラメトリック符号化された時間フレームからの）コア信号の対応するチャネルからの第二の寄与を合計することを含んでいてもよい。前記n−m個の中立チャネルに対応するn−m個のチャネルのそれぞれについては、これは、離散的に符号化された時間フレームにおける対応するチャネルからの第一の寄与および直前の縮小パラメトリック符号化された時間フレームからの対応する中立チャネルの第二の寄与（すなわち0のような中立的な値）を合計することに対応してもよい。このようにして、縮小パラメトリック符号化された時間フレームにおけるコア信号のm個のチャネルからの寄与が、直後の離散的に符号化された時間フレームにおいて入力信号についての時間領域表現を形成するときに使用されうる。それによりたとえば、離散的に符号化された時間フレームの初期部分の間に、離散的に符号化された時間フレームの対応するチャネルの値がフェードインできるようにする。さらに、残りのn−m個のチャネルでは、mチャネル・コア信号にアペンドされたチャネルにおける中立的な値（たとえば0）が、離散的に符号化された時間フレームの対応するチャネルの値がフェードインできるようにするよう、使用されてもよい。特に、前に離散的に符号化された時間フレームからの、縮小パラメトリック符号化のエピソードの間に（典型的には）使用されないn−m個のチャネルに関係する、オーディオ・デコーダのバッファ／メモリ内に残っている値があったとしてもそれは、アペンドされた中立チャネルの中立的な値によって置き換えられてもよい。すなわち、この、より遅く離散的に符号化された時間フレームにおけるエンコード・システムのオーディオ出力に影響することが許されなくてもよい。上記で言及した前記前に離散的に符号化された時間フレームは、潜在的には、現在の離散的に符号化された時間フレームより多数の時間フレーム前に位置されていてもよい。すなわち、現在の離散的に符号化された時間フレームから、多くの縮小パラメトリック符号化された時間フレームによって隔てられていてもよく、潜在的には、入力信号によって表現されるオーディオ信号において数秒またさらには数分前のオーディオ・コンテンツに対応していてもよい。したがって、現在の離散的に符号化された時間フレームをデコードするとき、これら前に離散的に符号化された時間フレームに関係するデータおよび／またはオーディオ・コンテンツを使用することを避けることが望ましいことがある。

【0041】

本例示的実施形態は、（縮小パラメトリック符号化から離散的符号化への遷移によって引き起こされる）入力信号の時間領域表現におけるよりなめらかなおよび／またはより気づかれにくい遷移を許容しうる。さらに、入力信号の縮小パラメトリック符号化と離散的符号化との間の遷移の際の改善された（またはよりなめらかな）聴取経験を達成するために、デコード・システムにおけるさらに下流の段／ユニットにおける入力信号のさらなる処理／デコードをも容易にしうる。

【0042】

ある例示的実施形態では、ダウンミックス段は、離散的に符号化された時間フレームの各エピソードにおける少なくとも最初の時間フレームにおいておよび離散的に符号化された時間フレームの各エピソードのあとの少なくとも最初の時間フレームにおいてアクティブであるよう適応されてもよい。ダウンミックス段は、好ましくは、これらの時間フレームにおける初期部分において、すなわち入力信号についての時間領域表現における離散的符号化へのおよび該離散的符号化からの遷移の際に、アクティブであってもよい。ダウンミックス段はその際、これらの遷移の際にダウンミックス信号を提供してもよい。ダウンミックス信号は、入力信号における離散的符号化へのおよび離散的符号化からの遷移の際の改善された（またはよりなめらかな）聴取経験をもつエンコード・システムの出力を提供するために使用されてもよい。

【0043】

ある例示的実施形態では、符号化方式の群はさらに、パラメトリック符号化を有していてもよい。デコード・システムは、入力信号をエンコードしているビットストリームを受領するよう適応されていてもよい。該入力信号は、該入力信号がパラメトリック符号化によってオーディオ信号を表わす各時間フレームにおいて、mチャネル・コア信号を含み、該mチャネル・コア信号は、入力信号がn個の離散的にエンコードされたチャネルとしてオーディオ信号を表わす各時間フレームにおいて、同じオーディオ信号を表わすmチャネル・コア信号が、前記入力信号からダウンミックス指定を使って取得可能であるようなものである。

【0044】

本例示的実施形態では、ビットストリームを介して受領される入力信号の時間フレームは、離散的符号化、パラメトリック符号化および縮小パラメトリック符号化という三つの符号化方式のいずれを使って符号化されてもよい。特に、これらの符号化方式のうち任意のもので符号化された時間フレームが、これらの符号化方式のうち任意のもので符号化された時間フレームのあとに続くことがある。デコード・システムは、これら三つの符号化方式の任意のものを使って符号化された時間フレームの間の任意の遷移を扱うよう適応されていてもよい。

【0045】

本発明の前記第二の側面において、上記の例示的実施形態のいずれかに記載されるデコード・システム（によって実行される方法）と類似の、nチャネル・オーディオ信号を再構成する方法が提供される。本方法は、ビットストリームを受領し；ビットストリームから入力信号の周波数領域表現を抽出し；入力信号が現在の時間フレームにおいて縮小パラメトリック符号化されており直前の時間フレームにおいて離散的に符号化されていること、あるいは入力信号が現在の時間フレームにおいて縮小パラメトリック符号化されており直後の時間フレームにおいて離散的に符号化されていることに応答して、入力信号の周波数領域表現の現在の時間フレームの少なくとも一部を、nチャネル・フォーマットにフォーマットし直し；入力信号の周波数領域表現を入力信号の時間領域表現に変換することを含んでいてもよい。本方法はさらに、入力信号が現在のおよび（一つまたは）二つの直前の時間フレームにおいて離散的に符号化されていることに応答して、n個の離散的にエンコードされたチャネルに基づいてオーディ信号を導出し；入力信号が現在のおよび（一つまたは）二つの直前の時間フレームにおいて縮小パラメトリック符号化されていることに応答して、コア信号および前記少なくとも一つの混合パラメータに基づいてオーディオ信号のnチャネル表現を生成することを含んでいてもよい。

【0046】

本発明の前記第二の側面において、時間フレームにセグメント分割されたnチャネル・オーディオ信号をエンコードするエンコード・システムが提供される。本エンコード・システムは、n個の別々にエンコードされるチャネルを使う離散的符号化および縮小パラメトリック符号化を含む群から選択される符号化方式に従って、所与の時間フレームにおいて、オーディオ信号を表わすビットストリーム（P）を出力するよう適応される。エンコード・システムは、所与の時間フレームについて、どちらのエンコード方式がオーディオ信号を表わすために使用されるかを選択するよう適応された選択器と；オーディオ信号のnチャネル表現に基づき、ダウンミックス指定に従って、mチャネル・コア信号および少なくとも一つの混合パラメータを出力するよう動作可能なパラメトリック分解段とを有する。前記コア信号および少なくとも一つの混合パラメータは、縮小パラメトリック符号化方式における出力ビットストリームによってエンコードされる。任意的に、エンコード・システムは、所与の時間フレームにおいて、パラメトリック符号化方式にも基づいてオーディオ信号を表わす前記ビットストリームを出力するよう動作可能であってもよく、前記選択器は、所与の時間フレームについて、離散的符号化、パラメトリック符号化および縮小パラメトリック符号化の間で選択をするよう適応されていてもよい。

【0047】

本発明の前記第二の側面において、上記の実施形態のいずれかのエンコード・システム（によって実行される方法）と類似の、nチャネル・オーディオ信号をビットストリームとしてエンコードする方法が提供される。本方法は、オーディオ信号のnチャネル表現を受領し；所与の時間フレームにおいて、オーディオ信号を表現するために使われるべき符号化方式を選択し；オーディオ信号を縮小パラメトリック符号化によってエンコードする選択に応答して、オーディオ信号のnチャネル表現に基づき、ダウンミックス指定に従って、mチャネル・コア信号および少なくとも一つの混合パラメータをエンコードするビットストリームを形成し；オーディオ信号を離散的符号化によってエンコードする選択に応答して、オーディオ信号をn個の離散的にエンコードされたチャネルによってエンコードするビットストリームを出力することを含んでいてもよい。

【0048】

本発明の前記第二の側面において、エンコードおよびデコード・システムの上記の実施形態のいずれかに基づくエンコード・システムおよびデコード・システムを有するオーディオ伝送システムが提供される。エンコードおよびデコード・システムは通信上接続され、エンコード・システムおよびデコード・システムのそれぞれのダウンミックス指定は等価である。

【0049】

本発明の前記第二の側面の実施形態との関係で記述された符号化方式（離散的符号化、パラメトリック符号化および縮小パラメトリック符号化）は、本発明の第一の側面に関係して記述されたのと同じ符号化方式であること、本発明の前記第二の側面のすでに述べた実施形態（またはその組み合わせ）を本実施形態の前記第一の側面に関係して述べた実施形態からの特徴と組み合わせることによって、本発明の第二の側面の追加的な実施形態が得られることがあることを注意しておく。そうするにあたり、本発明の第一の側面に基づく実施形態からの少なくともいくつかの特徴について、パラメトリック符号化された時間フレームおよび縮小パラメトリック符号化された時間フレームは交換可能に使われてもよい。すなわち、これら二つの符号化方式の間の区別をする必要はないことがある。

【0050】

本発明の両側面のさらなる例示的実施形態が従属請求項において記述される。本発明は、たとえ互いに異なる請求項に記載されていたとしても、特徴のあらゆる組み合わせに関することを注意しておく。

【実施例】

【0051】

〈ＩＩ．例示的実施形態〉
図１は、本発明の例示的実施形態に基づくデコード・システム１００をブロック図の形で示している。オーディオ・デコーダ１１０はビットストリームPを受領し、それから、一つまたは複数の処理段階において、丸囲みの文字Aによって表わされる、nチャネル・オーディオ信号を表わす入力信号を生成する。一例として、ドルビー・デジタル・プラス・フォーマット（または向上AC-3）を、それに適応したオーディオ・デコーダ１１０とともに使ってもよい。オーディオ・デコーダ１１０の内部動作についてはのちにより詳細に述べる。入力信号Aは、オーディオ信号の時間セグメントに対応する時間フレームにセグメント分割される。好ましくは、相続く時間フレームは連続しており、重なり合わない。入力信号Aは、所与の時間フレームにおいて、オーディオ信号を、（ｂ）パラメトリック符号化によってまたは（ａ）n個の離散的にエンコードされたチャネルWとして、表現する。パラメトリック符号化データは、オーディオ信号をダウンミックスすることによって得られるダウンミックス信号Xに対応するmチャネル・コア信号を含む。入力信号Aにおいて受領されるパラメトリック符号化データは、まとめてαによって表わされる、ダウンミックス信号Xに関連付けられている一つまたは複数の混合パラメータをも含んでいてもよい。あるいはまた、ダウンミックス信号Xに関連付けられた前記少なくとも一つの混合パラメータαは、同じビットストリームP内の前記入力信号とは別個の信号を通じてまたは異なるビットストリームを通じて受領されてもよい。入力信号の現在の符号化方式（すなわち、パラメトリック符号化または離散的符号化）についての情報は、ビットストリームPにおいて、あるいは別個の信号として受領されてもよい。図１に示されるデコード・システムでは、オーディオ信号は六つのチャネルをもち、コア信号は二つのチャネルをもつ。すなわち、m＝2、n＝6である。本開示のいくつかの節では、いくつかの接続線がマルチチャネル信号を伝送するよう適応されていることを明示的に示すために、これらの線は、それぞれのチャネル数の隣に横断線を与えられている。入力信号Aは、離散的符号化方式においては、チャネルL（左）、R（右）およびC（中央）、Lfe（低域効果）、Ls（左サラウンド）、Rs（右サラウンド）をもつ5.1サラウンドとしてのオーディオ信号の表現であってもよい。しかしながら、パラメトリック符号化方式では、LおよびRチャネルは2.0ステレオにおいてコア信号チャネルL0（コア左）およびR0（コア右）を伝送するために使われる。

【0052】

デコード・システム１００は、デコード・システム１００がn個の離散的にエンコードされたチャネルWからオーディオ信号を導出する離散モードで動作可能である。デコード・システム１００はまた、デコード・システム１００が、空間的合成を含むアップミックス動作を実行することによって、コア信号からオーディオ信号を再構成する、パラメトリック・モードでも動作可能である。

【0053】

ダウンミックス段１４０は、入力信号を受領し、ダウンミックス指定に従って入力信号のダウンミックスを実行し、mチャネル・ダウンミックス信号Xを出力する。本実施形態では、ダウンミックス段１４０は、入力信号をnチャネル信号として扱う。すなわち、入力信号がmチャネル・コア信号のみを含む場合、入力信号は空／0であるn−m個の追加的チャネルをもつと考えられる。実際上、これは、占有されていないチャネルを0のシーケンスのような中立的な値によってパディングすることに相当しうる。ダウンミックス段１４０は、n個の入力チャネルのmチャネル線形結合を形成し、それをダウンミックス信号Xとして出力する。ダウンミックス指定はこの線形結合の利得を指定するものであり、入力信号の符号化とは独立である。すなわち、ダウンミックス段１４０がアクティブであるとき、ダウンミックス段１４０は入力信号の符号化とは独立に動作する。

【0054】

本実施形態において、オーディオ信号がパラメトリック符号化されているとき、ダウンミックス段１４０はmチャネル・コア信号をn−m個の空のチャネルとともに受領する。ダウンミックス指定によって指定される線形結合の利得は、オーディオ信号がパラメトリック符号化されるとき、ダウンミックス信号Xがコア信号と同じになるよう、すなわち、線形結合がコア信号を素通しにするよう、選択される。ダウンミックス段は、次のようにモデル化されうる。

【0055】

【数1】

ここで、それぞれの*記号は任意のエントリーを表わす。

【0056】

この例示的実施形態では、空間的合成段１５０はダウンミックス信号Xを受領する。パラメトリック・モードでは、空間的合成段１５０は、前記少なくとも一つの混合パラメータαを使ってダウンミックス信号Xに対してアップミックス動作を実行し、オーディオ信号のnチャネル表現Yを出力する。

【0057】

空間的合成段１５０は、mチャネル・ダウンミックス信号Xの時間領域表現を受領してそれに基づいてダウンミックス信号Xの周波数領域表現X_fを出力する第一の変換段１５１を有する。ダウンミックス信号Xの周波数領域表現X_fおよび前記少なくとも一つの混合パラメータを、アップミックス段１５５が受領する。アップミックス段１５５は、アップミックス動作を実行して、オーディオ信号のnチャネル表現の周波数領域表現Y_fを出力する。オーディオ信号のnチャネル表現Yの周波数領域表現Y_fを第二の変換段１５２が受領し、それに基づいて、オーディオ信号のnチャネル表現の時間領域表現Yを、空間的合成段１５０の出力として、出力する。

【0058】

デコード・システム１００は、入力信号を受領して入力信号の遅延されたバージョンを出力する第一の遅延線１２０を有する。第一の遅延線１２０によって受ける遅延の量は、ダウンミックス段１４０および空間的合成段１５０に関連する全通過時間に対応する。

【0059】

デコード・システム１００はさらに、空間的合成１５０段および第一の遅延線１２０に通信上接続されている混合器１３０を有する。パラメトリック・モードでは、混合器は、空間的合成段１５０からのオーディオ信号のnチャネル表現Yおよび第一の遅延線１２０からの入力信号の遅延されたバージョンを受領する。混合器１３０は次いでオーディオ信号のnチャネル表現Yを出力する。離散モードでは、混合器１３０は遅延線１２０からのn個の離散的にエンコードされたチャネルWの遅延されたバージョンを受領し、これを出力する。入力信号のエンコードがパラメトリック符号化とn個の離散的にエンコードされたチャネルとの間で変わるとき、混合器１３０は、空間的合成段出力と遅延線出力との間の遷移を出力する。

【0060】

いくつかの実施形態では、デコード・システム１００はさらに、混合器１３０からの出力を受領し、その遅延されたバージョンを出力する第二の遅延線１６０を有していてもよい。第一の遅延線１２０および第二の遅延線１６０によって受ける遅延の和は、一つの時間フレームまたは時間フレーム複数個の長さに対応してもよい。

【0061】

任意的に、デコード・システム１００はさらに、空間的合成段１５０および混合器１３０を、デコード・システム１００によって受領されるオーディオ信号の符号化方式に基づいて、ただしメモリ内容、バッファまたは他の記憶されている情報には基づかずに制御する（有限状態機械として実装されてもよい）コントローラ１７０を有していてもよい。コントローラ１７０（または有限状態機械）は空間的合成段１５０および混合器１３０を、現在フレームにおけるオーディオ信号の符号化方式および直前のフレーム（すなわち、現在フレームのすぐ前のフレーム）における符号化に基づいて、ただしフレームの中の信号値には基づかずに、制御する。コントローラ１７０は、さらに、前記直前の時間フレームの（直）前の時間フレームに基づいて、空間的合成段１５０および混合器１３０を制御してもよい。コントローラ１７０は任意的に、ダウンミックス段１４０をも制御してもよい。この任意的な機能を用いて、ダウンミックス段１４０は、必要とされない時、たとえば、縮小パラメトリック符号化において、空間的合成段１５０に適合するフォーマットのコア信号が入力信号から直接的な仕方で導出できる、またさらにはコピーされることができるときには、非アクティブ化されてもよい。種々の例示的実施形態に基づくコントローラ１７０の動作が、表１および表２ならびに図６および図８を参照してさらに後述される。

【0062】

図４を参照するに、アップミックス段１５５は、ダウンミックス修正プロセッサ４１０を有していてもよい。これは、アップミックス段１５５のアクティブ状態において、ダウンミックス信号Xの周波数領域表現X_fを受領し、修正されたダウンミックス信号Dを出力する。修正されたダウンミックス信号Dは、ダウンミックス信号Xの周波数領域表現X_fの非線形処理によって得られてもよい。たとえば、修正されたダウンミックス信号Dは、まずダウンミックス信号Xの周波数領域表現X_fのチャネルの線形結合として新たな諸チャネルを形成し、それら新たなチャネルに諸脱相関器を通過させ、最後に脱相関されたチャネルをアーチファクト減衰にかけてから、その結果を修正されたダウンミックス信号Dとして出力することによって得られてもよい。アップミックス段１５５はさらに、ダウンミックス信号Xの周波数領域表現X_fおよび修正されたダウンミックス信号Dを受領し、受領されたダウンミックス信号チャネルおよび修正されたダウンミックス信号チャネルのみのnチャネル線形結合を形成し、これをオーディオ信号のnチャネル表現Yの周波数領域表現Y_fとして出力する混合行列４２０を有していてもよい。混合行列４２０は、混合行列４２０によって形成される線形結合の利得のうちの少なくとも一つを制御する少なくとも一つの混合パラメータαを受け容れてもよい。任意的に、ダウンミックス修正プロセッサ４１０は、ダウンミックス修正プロセッサ４１０の動作を制御しうる前記少なくとも一つの混合パラメータαを受け容れてもよい。

【0063】

図２は、本発明のある例示的実施形態に基づくエンコード・システム２００をブロック図の形で示している。エンコード・システム２００は、nチャネル・オーディオ信号のnチャネル表現Wを受領し、オーディオ信号をエンコードする出力信号Pを生成する。

【0064】

エンコード・システム２００は、所与の時間フレームについて、オーディオ信号を、パラメトリック符号化によってまたはn個の離散的にエンコードされるチャネルによってエンコードするかどうかを決定するよう適応されている選択器２３０を有する。離散的符号化は典型的には、より多くの帯域幅占有を代償として、より高い知覚される聴取品質を達成することを考えると、選択器２３０はその符号化モードの選択を、出力信号Pの伝送のために利用可能な下流の帯域幅の瞬間的な量に基づかせるよう構成されていてもよい。

【0065】

エンコード・システム２００は、オーディオ信号のnチャネル表現Wを受領し、選択器２３０に通信上接続されているダウンミックス段２４０を有する。選択器２３０が、オーディオ信号がパラメトリック符号化によって符号化されるべきであると決定するとき、ダウンミックス段２４０はダウンミックス指定に従ってダウンミックス動作を実行し、少なくとも一つの混合パラメータαを計算し、mチャネル・ダウンミックス信号Xおよび前記少なくとも一つの混合パラメータαを出力する。

【0066】

エンコード・システム２００はオーディオ・エンコーダ２６０を有する。選択器２３０は、スイッチ２５０（任意のハードウェアまたはソフトウェアによって実装される信号選択手段を象徴している）を使って、オーディオ・エンコーダ２６０がnチャネル・オーディオ信号のnチャネル表現Wを受領するか、あるいはダウンミックス信号X（mチャネル・ダウンミックス信号Xおよびn−m個の空／中立チャネルを含むnチャネル信号）を受領するかを制御する。あるいはまた、エンコード・システム２００はさらに、ダウンミックス信号Xおよび前記少なくとも一つの混合パラメータαを受領し、これらに基づいて、パラメトリック符号化によってオーディオ信号を表わす組み合わされた信号を出力する組み合わせユニット（図示せず）を有する。その場合、選択器２３０は、スイッチを使って、オーディオ・エンコーダ２６０がnチャネル・オーディオ信号のnチャネル表現Wを受領するか、あるいは前記組み合わされた信号を受領するかを制御する。組み合わせユニットはたとえばマルチプレクサであってもよい。

【0067】

オーディオ・エンコーダ２６０は、受領されたチャネルを個々にエンコードし、その結果を出力信号Pとして出力する。出力信号Pはたとえばビットストリームであってもよい。

【0068】

図２に示されるエンコード・システム２００のある代替的な実施形態では、選択器２３０は、所与の時間フレームについて、オーディオ信号を、縮小パラメトリック符号化（すなわち、mチャネルのダウンミックス信号を使い、パラメトリック符号化においてアペンドされている追加のn−m個の中立チャネルは使わない）によってまたはn個の離散的にエンコードされるチャネルによってエンコードするかどうかを決定するよう適応されている。選択器２３０は、スイッチ２５０によって、オーディオ・エンコーダ２６０がnチャネル・オーディオ信号のnチャネル表現Wを受領するか、あるいは（いかなる追加的な中立チャネルもない）mチャネル・ダウンミックス信号Xを受領するかを選択するよう適応されている。

【0069】

図９は、本発明のある例示的実施形態に基づくエンコード・システムをブロック図の形で示している。本実施形態では、n＝6、m＝2である。本エンコード・システムは、それをデコード・システム１００に接続する通信ネットワーク９９９と一緒に示されている。

【0070】

エンコード・システムは、nチャネル・オーディオ信号のnチャネル表現Wを受領し、オーディオ信号をエンコードする出力信号Pを出力する。エンコード・システムは、オーディオ信号のnチャネル表現Wを受領するダウンミックス段２４０を有する。ダウンミックス段２４０は、ダウンミックス指定に従ってダウンミックス動作を実行し、さらに、少なくとも一つの混合パラメータαを計算し、mチャネル・ダウンミックス信号Xおよび前記少なくとも一つの混合パラメータαを出力する。

【0071】

エンコード・システムは、前記ダウンミックス信号および中立的な値９７０をもつn−m個の空のチャネルを受領する第一のオーディオ・エンコーダ２６１を有する。該空のチャネルは、すなわちフォーマットにおいて存在するがオーディオ信号を表現するためには使われない四つのチャネルである。これらのチャネルは中立的な値を割り当てられてもよい。第一のエンコーダ２６１は、受領されたチャネルを個々にエンコードし、その結果を、nチャネル中間信号として出力する。エンコード・システムはさらに、前記中間信号および前記少なくとも一つの混合パラメータαを受領し、これらに基づいて、パラメトリック符号化によってオーディオ信号を表わす組み合わされた信号を出力する組み合わせユニット９８０を有する。組み合わせユニットは、たとえばマルチプレクサであってもよい。

【0072】

エンコード・システムは、nチャネル・オーディオ信号のnチャネル表現Wを受領し、n個の離散的にエンコードされたチャネルを出力する第二のオーディオ・エンコーダ２６２を有する。

【0073】

エンコード・システムはさらに、通信ネットワーク９９９に通信上接続されている選択器２３０を有する。出力信号Pは、デコード・システム１００に到達する前に該通信ネットワーク９９９を通じて伝送される。ネットワーク９９９の現在の条件（たとえば瞬間的な負荷、利用可能な帯域幅など）に基づいて、選択器２３０は、スイッチ９５０（任意のハードウェアまたはソフトウェアによって実装される信号選択手段を象徴している）を使って、エンコード・システムが、所与の時間フレームにおいて、前記組み合わされた信号または前記n個の離散的にエンコードされたチャネルのどちらを出力信号Pとして出力するかを制御する。出力信号Pはたとえばビットストリームであってもよい。

【0074】

本実施形態では、図２との関係で述べた実施形態と比べ、ダウンミックス段２４０が、選択器２３０の決定とは独立に、アクティブであってもよい。実のところ、図９のエンコード・システムの上および下の部分は、オーディオ信号のパラメトリック表現および離散的表現を与える。それらはこのように、出力信号Pとして使うためにどちらを選ぶかの決定に関わりなく、各所与の時間フレームにおいて形成されうるのである。

【0075】

図９に示されるエンコード・システムのあるさらなる発展では、第一のオーディオ・エンコーダ２６１が、n−m個の空のチャネルを含めるまたは該空のチャネルを破棄するよう動作できる。第一のオーディオ・エンコーダ２６１が、それらのチャネルを破棄するモードにある場合、mチャネル信号を出力する。組み合わせユニット９８０は先の記述と同様に機能する。すなわち、mチャネル・フォーマットのコア信号および前記少なくとも一つの混合パラメータαを含む組み合わされた信号（たとえばビットストリーム）を形成する。選択器２３０は、n−m個の空のチャネルを含めるか含めないかに関する限り、第一のオーディオ・エンコーダ２６１を制御するよう構成されていてもよい。よって、スイッチ９５０のアクションを考慮に入れると、このさらなる発展に基づく図９のエンコード・システムは、三つの異なる型のビットストリームPを出力しうる。該三つの型は、上述したような離散的、パラメトリックおよび縮小パラメトリック符号化方式のそれぞれに対応する。

【0076】

図３を参照するに、エンコード・システム２００内に位置されるダウンミックス段２４０は、オーディオ信号のnチャネル信号表現Wを受領し、（選択器２３０によってアクティブ化されているとき）ダウンミックス指定に従ってmチャネル・ダウンミックス信号Xを出力する。（ダウンミックス段２４０は、図２を参照して先述したように混合パラメータをも出力してもよいことを注意しておくべきである。）デコード・システム１００内に位置されるダウンミックス段１４０もmチャネル・ダウンミック信号Xを、同一のダウンミックス指定に従って出力する。しかしながら、このダウンミックス段１４０への入力は、オーディオ信号を、n個の離散的にエンコードされたチャネルWとして、またはパラメトリック符号化によって表現しうる。ビットストリームPがパラメトリック符号化によってオーディオ信号を表現するとき、ビットストリームPは、ダウンミックス段１４０を不変のまま通過し、ダウンミックス信号Xとなるコア信号を含む。パラメトリック符号化では、コア信号はnチャネル・フォーマットにおいて表現される（存在するが使われないn−m個のチャネルがある）。一方、ダウンミックス信号はmチャネル信号である。縮小パラメトリック符号化では、コア信号およびダウンミックス信号の両方がmチャネル・フォーマットであり、そのため、フォーマット変化が必要とされない。その代わり、ダウンミックス段１４０は非アクティブ化されてもよく、信号はダウンミックス段１４０と並列に配置された線を通じて空間的合成段１５０に供給されてもよい。

【0077】

ここで図５を参照するに、図１の空間的合成段１５０は、上流から下流の順に挙げる、以下のユニットを有していてもよい：第一の変換ユニット５０１、第一の変換修正器５０２、アップミックス段１５５、第二の変換修正器５０３および第二の変換ユニット５０４。

【0078】

第一の変換ユニット５０１は、mチャネル・ダウンミックス信号Xの時間領域表現を受領し、それを実数値の周波数領域表現に変換する。変換ユニット５０１は、たとえば、実数値のQMF分解バンクを利用してもよい。第一の変換修正器５０２は、たとえば処理が臨界サンプリングされている変換信号に対して実行される場合に現われることがあるエイリアシング効果を低減することによってデコード・システムのパフォーマンスを改善するために、この実数値の周波数領域表現を部分的に複素の周波数領域表現に変換する。ダウンミックス信号Xの複素周波数領域表現はアップミックス段１５５に供給される。アップミックス段１５５は少なくとも一つの混合パラメータαを受領し、オーディオ信号のnチャネル表現Yの周波数領域表現を出力する。混合パラメータαは、コア信号と一緒にビットストリームに含まれてもよい。第二の変換修正器５０３は、たとえばエイリアシングを低減するよう虚スペクトル・データに基づいて実スペクトル・データを更新することにより、この信号を修正してオーディオ信号のnチャネル表現Yの実数値の周波数領域表現にする。第二の変換ユニット５０４は、オーディオ信号のnチャネル表現Yの時間領域表現を、空間的合成段１５０の出力として出力する。

【0079】

この例示的実施形態では、各時間フレームは1536時間領域サンプルからなる。すべての処理段階が一時に一つの時間領域サンプルに対して実行されることはできないので、空間的合成段における諸ユニットは、図５における時間軸５１０上で示される異なる（アルゴリズム）遅延に関連付けられていてもよい。その際受ける遅延は、第一の変換ユニット５０１については320サンプル、第一の変換修正器５０２については320サンプル、アップミックス段１５５については0サンプル、第二の変換修正器５０３については320サンプル、第二の変換ユニット５０４については257サンプルであってもよい。図１を参照して先述したように、空間的合成段１５０のさらに下流で、デコード・システム１００における両方の処理経路を遅延させる位置において、第二の遅延線１６０が導入されてもよい。第二の遅延線１６０によって受ける遅延は319サンプルと選ばれてもよい。それにより、空間的合成段１５０および第二の遅延線１６０の組み合わされた遅延は1536サンプル、すなわち時間フレーム一つぶんの長さとなる。

【0080】

表１は、デコード・システム１００の（第一の型の）ある例示的実施形態の種々の部分または側面の種々の動作モードの組み合わせで、ある時間フレームにおいて生じうるものを挙げている。図１を参照するに、入力信号がパラメトリック符号化によってオーディオ信号をエンコードしているとき、少なくとも一つの混合パラメータαが空間的合成段１５５によって受領される。空間的合成段１５０における混合パラメータの使用は側面１と称される。空間的合成段１５０の動作は側面２と称される。デコード・システム１００全体としてのモードは側面３と称される。この例のために時間フレームはそれぞれ64サンプルからなる24個のQMFスロットに分割されているとすると、混合パラメータが使用されるそのようなスロットの数は側面４として示される。

【0081】

【表1】

この表およびのちには図６および図８において、R（リセット）は、空間的合成段１５０における重複加算（overlap-add）バッファを空にすることをいう；E（外挿）は一定の値による後方への外挿をいう；K（保持）は一定の値による前方への外挿をいう；N（通常）は相続くフレームのそれぞれの対における（最初でない）参照点について定義されている明示的な値を使ってのフレーム間補間をいう。

【0082】

エンコード・システム１００によって受領される入力信号におけるオーディオ信号の符号化に依存して、表１に挙げられる諸側面は、挙げられているように動作する。本実施形態では、動作モードは、表２に挙げられるように、現在の時間フレームおよび直前の時間フレームにおける符号化方式のみに依存する。ここで、Nは現在の時間フレーム、N−1は直前の時間フレームを表わす。

【0083】

【表2】

表２によって記述されるデコード・システムの挙動は、空間的合成段１５０および混合器１３０に通信上接続され、これを制御するコントローラ１７０によって制御されてもよい。

【0084】

図６は、デコード・システム１００が例示的な入力信号を受領するときに例示的なデコード・システム１００において生じるデータ信号および制御信号を示している。図６は、七つの時間フレーム６０１ないし６０７に分割されている。それらの時間フレームについて、符号化方式は各参照符号の下に示されている（表２の上部と同様、離散的：D；パラメトリック：P）。記号Param1、Param2、Param3は明示的な混合パラメータ値およびそのそれぞれのアンカー点を指す。アンカー点はこの例示的実施形態では時間フレームの右端の点である。

【0085】

データ信号は、図１における丸囲みの文字AないしEによって示される位置に由来する。入力信号Aは、離散的符号化方式においては、上の部分におけるチャネルL（左）、R（右）および下の部分におけるC（中央）、Lfe（低域効果）、Ls（左サラウンド）、Rs（右サラウンド）をもつ5.1サラウンドとしてのオーディオ信号の表現であってもよい。しかしながら、パラメトリック符号化方式では、LおよびRチャネルはコア信号チャネルL0（コア左）およびR0（コア右）を伝送するために使われる。チャネルC、Lfe、LsおよびRsは存在するが、パラメトリック符号化方式において占有されておらず、よって信号は形式的には5.1フォーマットである。信号Aはオーディオ・デコーダ１１０によって供給されてもよい。信号Bはコア信号の周波数領域表現であり、パラメトリック・モードにおいては第一の変換段１５１によって出力されるが、好ましくは離散モードでは処理資源を節約するために、生成されない。信号C（信号Aにおける中央チャネルと混同しないこと）は、パラメトリック・モードにおいて空間的合成段１５０から受領されるアップミックスされた信号である。信号Dは入力信号Aの遅延されたバージョンである。ここで、チャネルは信号Aについてのようにグループ化されており、遅延は図１における、空間的合成段１５０を含む上の処理経路における通過時間に一致する。信号Eは混合器１３０出力の遅延されたバージョンである。さらに、図６は、混合器１３０によって信号Cに加えられる利得CxGおよび混合器１３０によって信号Dに加えられるDxGに関係する制御信号の時間値を半図式的に示している。明らかに、利得は区間[0,1]内の値を取り、フレーム６０３の間におよびフレーム６０６から、クロス混合遷移がある。図６は、信号型（または信号方式）を示しつつ、信号値、主としてデータ信号の値を黙示または単に示唆するに留めている点で、抽象的である。

【0086】

図６は、左側の曲線矢印の形で、信号を隔てる遅延を注釈付けしてある。

【0087】

表１および表２に挙げた種々の動作モードについてこれから図６を参照して述べる。

【0088】

入力信号が現在の時間フレーム６０２および前の時間フレーム６０１において離散的に符号化されているとき（表２の第一列）、デコード・システム１００は離散モードになる（側面３：DM）。空間的合成段１５０および混合パラメータは必要とされない（側面１および２：該当せず）。混合パラメータは、今の時間フレーム６０２のいかなる部分でも使用されない（側面４：0）。図６に示されるように、入力信号Aは5.1サラウンド・サウンドとしてのオーディオ信号の表現である。混合器１３０は、入力信号の遅延されたバージョンDを受領し、これをデコード・システム１００の出力Eとして、可能性としては図１を参照して先述したようにさらに下流の第二の遅延線１６０によって遅延させて、出力する。

【0089】

入力信号が現在の時間フレーム６０６において離散的に符号化されており、前の時間フレーム６０５においてパラメトリック符号化されているとき（表２の第二列）、デコード・システム１００はパラメトリック・モードから離散モードに遷移する（側面３：PM→DM）。ここでもまた、ダウンミックス指定によって制御可能なダウンミックス段１４０の属性のおかげで、パラメトリックから離散へのモード遷移にわたるすべての時点において、安定したコア信号を得ることが可能であり、モード遷移はほぼ気づかれない仕方で実行できる。空間的合成段１５０は前の時間フレームに関連付けられた混合パラメータを受け取っている。これらは現在の時間フレームの間保持される（側面１：K）。フレーム間補間のための第二の参照値のはたらきをすることができる、受領される新たな混合パラメータがないことがありうるからである。空間的合成段１５０は、入力信号Aとしてエンコード・システム１００によって受領されたパラメトリック符号化された信号のコア信号であることから、離散的に符号化された入力信号Aのダウンミックス信号であることに遷移する信号を受領する。空間的合成段は１５０は前の時間フレーム６０５からの通常動作を現在の時間フレーム６０６の間、続ける（側面２：N）。混合パラメータは時間フレーム全体の間、使用される（側面４：24）。現在の時間フレーム６０６の間、混合器１３０は、空間的分解段１５０から受領されるアップミックスされた信号Cを出力することから、入力信号の遅延されたバージョンDを出力することに遷移する。結果として、デコード・システム１００の出力Eは（第二の遅延線１６０によって受ける319サンプルの遅延のため次の時間フレーム６０７の間に）、ダウンミックスされた信号をパラメトリックにアップミックスすることによって生成される、オーディオ信号の再構成されたバージョンから、n個の離散的にエンコードされたチャネルによってオーディオ信号を表わす真のマルチチャネル信号に遷移する。

【0090】

入力信号が現在の時間フレーム６０３においてパラメトリック符号化されており、前の時間フレーム６０２において離散的に符号化されているとき（表２の第三列）、デコード・システム１００は離散モードからパラメトリック・モードに遷移する（側面３：DM→PM）。この時間フレーム６０３が示すように、たとえ原理的にはコア信号と離散的に符号化されたチャネルとの共存がないとしても、入力信号における（パラメトリック符号化と離散的符号化の間の）方式変化に関連したいかなる不連続も緩和されるか完全に回避される。システムは、遷移を通じて安定したコア信号へのアクセスをもつからである。空間的合成段１５０は、フレームの終わりに現在の時間フレーム６０３に関連する混合パラメータを受領する。前の時間フレーム６０２のために利用可能な混合パラメータがないので、新しいパラメータは後ろ向きに時間フレーム６０３全体に外挿され（側面１；E）、空間的合成段１５０によって使用される。空間的合成段１５０は前の時間フレーム６０２ではアクティブではなかったので、空間的合成段１５０は現在の時間フレーム６０３を、リセットによって始める（側面２：R）。混合パラメータは、時間フレーム全体の間、使用される（側面４：24）。信号Cの「DC」（don't care［どうでもよい］）と記される部分は、利得CxGが0なので、出力には寄与しない；「外挿」と記される部分は、外挿された混合パラメータ値を使って空間的合成段１５０において生成される；「OK」と記される部分は通常の仕方で、明示的な値の間のフレーム間補間によって得られた瞬間的な混合パラメータを使って生成される；部分「Keep1」は、（最新のパラメトリック符号化された時間フレーム６０５からの）最新の明示的な混合パラメータ値を維持し、それに空間的合成段１５０の定量的属性を制御させることによって生成される。時間フレーム６０３は、そのような外挿が行なわれるほんの一例である。よって、現在の時間フレーム６０３の間に、混合器１３０は入力信号の遅延されたバージョンCの出力から、空間的分解段１５０から受領されたアップミックス信号Cを出力することに遷移する。結果として、デコード・システム１００の出力Eは（第二の遅延線１６０によって受ける319サンプルの遅延のため次の時間フレーム６０４の間に）、n個の離散的にエンコードされたチャネルによってオーディオ信号を表わす真のマルチチャネル信号から、ダウンミックスされた信号をアップミックスすることによって生成される、オーディオ信号の再構成されたバージョンに遷移する。

【0091】

入力信号が現在の時間フレーム６０５および前の時間フレーム６０４においてパラメトリック符号化されているとき（表２の第四列）、デコード・システム１００はパラメトリック・モードにある（側面３：PM）。空間的合成段１５０は、混合パラメータの、前の時間フレームに関連付けられた値を受領しており、混合パラメータの、現在の時間フレームに関連付けられた値も受領し、通常のフレームごとの補間を可能にする。該補間は、アップミックスの際に適用される利得などを制御する瞬間的な混合パラメータ値を与える。これで図５、図６、表１および表２に関係した議論を終わる。

【0092】

ここで、図７を参照するに、あるさらなる例示的実施形態に基づく、ハイブリッド・フィルタバンクを有するデコード・システム１００の詳細が示されている。いくつかのアプリケーションでは、ハイブリッド・フィルタバンクの向上した分解能が有益であることがある。図７によれば、空間的合成段１５０における第一の変換段１５１は、（QWFフィルタバンクのような）時間から周波数への変換ユニット７０１を有し、それに実から複素への変換ユニット７０２およびハイブリッド分解ユニット７０５が続く。第一の変換段１５１の下流には、アップミックス段１５５があり、それに第二の変換段１５２が続く。第二の変換段１５２は、ハイブリッド合成ユニット７０６、実から複素への変換ユニット７０３および周波数から時間への変換ユニット７０４がこの順で配列されて続く。それぞれの通過時間（サンプル単位）は破線７１０の下に示されている。通過時間0というのは、アルゴリズム遅延が0であるサンプルごとの処理として理解される。実際の通過時間は十分な計算パワーを割り当てることによって任意に小さくできる。ハイブリッド分解および合成段７０５、７０６の存在は、上記の例示的実施形態との関係で、有意な相違をなす。本実施形態では、分解能はより高いが、遅延はより長くなり、コントローラ１７０（または有限状態機械）は、エンコード・システム１００を制御する場合に、（下記で表４に示されるような）より複雑な状態構造を扱う必要がある。表３が示すように、これらのユニットの利用可能な動作モードは上記の場合と同様である。

【0093】

【表3】

さらなる説明については、表１およびその後の議論が参照される。（側面４における）新しいフラッシュ（flush）・モードは、パラメトリックnチャネル出力から離散的nチャネル出力への時間領域のクロスフェードを可能にする。

【0094】

下記の表４に示されるように、本例示的実施形態に基づくデコード・システム１００は、コントローラ１７０（または有限状態機械）によって制御可能である。該コントローラ１７０（または有限状態機械）の状態は、現在の時間フレームの前に受領された二つの時間フレームにおける符号化方式（離散的またはパラメトリック）の組み合わせによって決定される。表２と同じ記法を使って、コントローラ（または有限状態機械）は次のようにプログラムされうる。

【0095】

【表4】

表４のプログラミング・スキームの適用は図８に例解されている。図８は、図１の丸囲みの文字AないしDによって示される位置で観察されるデータ信号AないしDを、七つの相続く時間フレーム８０１ないし８０７にわたる時間の関数として視覚化するものである。

【0096】

図６における離散的復号モード、パラメトリック復号モードおよび離散からパラメトリックへの遷移に関係する上記の議論は、適宜調整して、図８に示される状況にも当てはまる。一つの注目すべき相違は、本実施形態におけるパラメトリック復号計算におけるより大きなアルゴリズム遅延（1217サンプルでなく1536サンプル）に起因する。1536サンプルより多くのアルゴリズム遅延をもつデコード・システムでは、パラメトリックから離散への遷移は、一つの追加的な時間フレームを占有する。よって、さらなる時間フレーム（の一部）についての信号Cを提供するためには、クロスフェードが行なわれうるよう、最新の受領された明示的な混合パラメータ値が、「Keep1」「Keep2」によって示されるように、二つの時間フレームにわたって前方に外挿される必要があることがある。結論として、引き続きアルゴリズム遅延が1536サンプルまたはフレーム全体を超えるデコード・システムを参照するに、パラメトリックから離散的復号モードへの遷移は、パラメトリック・エピソードから離散エピソードへの入力信号における符号化方式変化によってトリガーされる。ここで、最新の明示的な混合パラメータ値が、関連付けられた時間フレーム後の二つのフレームの末尾まで前方に外挿される（保持される）。ここで、デコード・システムは、第一の受領された離散的に符号化された時間フレーム後の第二の時間フレームにおいて離散モードにはいる。

【0097】

ここで、図５のような一般的構造をもつ空間的合成段をもつ（よって図６に示されるのと同じアルゴリズム遅延値をもつ）が、縮小パラメトリック方式にある入力信号を処理する能力をもつデコード・システムについて述べる。縮小パラメトリック符号化方式の属性は、パラメトリックおよび離散的符号化方式に対する差を含めて上記で概説した。

【0098】

ここで考えられるデコード・システムでは、ダウンミックス段１４０の動作を制御する追加的な責務をもつコントローラ１７０が提供される。図１では、このことは、コントローラ１７０からダウンミックス段１４０への破線矢印によって示唆されている。本デコード・システムは、図１１に示される機能的構造に従って編成されると言われてもよい。ここで、システムへの入力信号はオーディオ・デコーダ１１０およびコントローラ１７０の両方に供給される。コントローラ１７０は、入力信号の検出された符号化方式に基づいて、混合器１３０およびパラメトリック・マルチチャネル・デコーダ１１００のそれぞれを制御するよう構成される。該パラメトリック・マルチチャネル・デコーダ１１００内に、ダウンミックス段（図１１には示さず）および空間的合成段（図１１には示さず）が含まれる。混合器１３０は、パラメトリック・マルチチャネル・デコーダ１１００からおよび第一の遅延線１２０から入力を受け取る。パラメトリック・マルチチャネル・デコーダ１１００および第一の遅延線１２０のそれぞれは、その処理を、入力信号からオーディオ・デコーダ１１０によって抽出されたデータに基づかせる。デコード・システムが縮小パラメトリック符号化方式から裨益するために、コントローラ１７０は、パラメトリック・マルチチャネル・デコーダ１１００におけるダウンミックス段を非アクティブ化するために動作可能である。好ましくは、ダウンミックス段は、入力信号が、空間的合成段に供給されるべきコア信号が（通常のパラメトリック・モードにおけるようなnチャネル・フォーマットでなく）mチャネル・フォーマットで表わされる縮小パラメトリック方式にあるときには、非アクティブ化される。たとえ前記のようにコア信号を表わすnチャネル・フォーマットのそれらの信号がダウンミックス段を不変のまま通過するとしても、コア信号が、nチャネル・フォーマットとmチャネル・フォーマットの間の変換の必要なしに空間的合成段に直接供給されることができるという事実は、計算資源の潜在的な節約を含意する。

【0099】

コントローラ１７０は、ダウンミックス段１４０を制御するようにも適応されるので、デコード・システムにおける利用可能なモードの表は、上記の表１に対して拡張される。

【0100】

【表5】

側面２におけるR（リセット）およびN（通常）は先に定義されている。新しいNDB（通常、ダウンミックスはバイパスされる）モードでは、ダウンミックス段１４０が非アクティブ化され、コア信号は、チャネル数の変更を伴うフォーマット変換なしに、空間的合成段１５０に供給される
コントローラ１７０の状態は、相変わらず、現在および直前の時間フレームにおける符号化方式の組み合わせによって一意的に決定される。この新しい符号化方式の存在は、表２に比べ、FSMプログラミング表のサイズを増大させる。

【0101】

【表6】

表６は、二つの場合(D,rP)および(rP,D)は扱っていない。これらは、この例示的実施形態に基づくシステムの障害状態以外では起こらないと期待される。いくつかの実装はさらに、第四列で言及されている場合(P,P)も除外してもよい。入力信号をできるだけ早くrP方式に切り換えさせることがより経済的でありうるからである。しかしながら、エンコーダが非常に高速な切り換えのために構成されている場合、二つの離散的に符号化されたエピソードが、非常に少数の、他の符号化方式に属する時間フレームによって隔てられることがあり、(P,P)を通常の場合として受け容れることが必要になることがある。異なる言い方をすれば、非常に短いパラメトリック・エピソードは、なめらかな切り換えを達成するために必要な部分によって占められることがあり、エンコード・システムが縮小パラメトリック符号化モードにはいるために時間がないほどであることがある。

【0102】

図１０を参照するに、デコード・システムは、時間フレーム１００１においては表６の第一または第二列に対応するモードにあり；時間フレーム１００２では第一列に対応するモードにあり；時間フレーム１００３では第三列に対応するモードにあり；時間フレーム１００４では第七列に対応するモードにあり；時間フレーム１００５では第五列に対応するモードにあり；時間フレーム１００６では第二列に対応するモードにあり；時間フレーム１００７では第一列に対応するモードにある。この例においては、時間フレーム１００４は、受領される入力信号が縮小パラメトリック方式にある唯一の時間フレームであるが、より現実的な例では、縮小パラメトリック符号化方式にある時間フレームのエピソードは典型的にはもっと長く、その端点における、比較的より少数のパラメトリック符号化された時間フレームよりも多数の時間フレームを占める。この型のより現実的な例は、表６の第六列に対応する二つの相続くrP,rP符号化された時間フレームの受領に応答してデコード・システムがはいるモードを示すことになろう。だが、その表における第六列および第七列は、側面１〜４に関する限り、違いはないので、当業者は、図１０および上記の議論を研究することによって、そのような時間フレームにおけるデコード・システムの望ましい挙動を理解し、実装することができるであろうと考えられる。

【0103】

締めくくりとして、表５〜表６および図１０は、表３〜表４および図７〜図８を出発点として用いても同じくらいよく導出できたはずであることを注意しておく。実際、そこに示されるデコード・システムはより大きなアルゴリズム遅延に関わるものの、縮小パラメトリック符号化方式において入力信号を受領し、処理する能力は、実質的には、上記と同じ仕方で実装されうる。しかしながら、アルゴリズム遅延が一時間フレームを超える場合には、デコード・システムにおけるコントローラ１７０の状態は、現在の時間フレームおよび二つの前の時間フレームにおける符号化方式によって決定されることになる。可能なコントローラ状態の総数は3³＝27であるが、これらのうちのかなりの数（(rP,D)または(D,rP)を含む任意の三フレームのシーケンスを含む）は、エンコード側の障害の結果として出現するだけであろうから、考慮から除外されてもよい。この最後の陳述は、主として上記の例示的実施形態に当てはまるのであって、本発明のそのような本質的な限定に関するものではないことを強調しておく。実際、縮小パラメトリックおよび離散的（および可能性としてはパラメトリック）時間フレームの任意のシーケンスに基づくオーディオ信号を再構成できる実施形態が、図１２の記述のあとで、下記で論じられる。

【0104】

図１２は、図１のデコード・システム１００または同様のデコード・システムの一部をなすオーディオ・デコーダ１１０の可能な実装を示している。オーディオ・デコーダ１１０は、入来ビットストリームPに基づいて入力信号W、Xの時間領域表現を出力するよう適応されている。この目的のため、デマルチプレクサ１１１はビットストリームPから、入力信号W、Xにおける各チャネルに関連付けられているチャネル・サブストリーム（そのそれぞれは入力信号におけるあるチャネルの周波数領域表現と見なされてもよい）を抽出する。それぞれのチャネル・サブストリームは、可能性としては追加的な処理のあとに、複数のチャネル・デコーダ１１３に供給される。チャネル・デコーダは、入力信号のチャネルL、R、……のそれぞれを与える。チャネル・デコーダ１１３のそれぞれは好ましくは、現在の時点において重なる少なくとも二つの窓からの寄与を合計することによって、関連付けられたチャネルの時間値を与える。これは、多くのフーリエ関係の変換、特にMDCTについて成り立つ。たとえば、一つの変換窓は、512サンプルと等価であってもよい。チャネル・デコーダ１１３の内部の動作は、図の下部に示されている。これは、逆変換部１１５を有し、それに重複加算部１１６が続く。いくつかの実装では、逆変換部１１５は、逆MDCTを実行するよう構成されていてもよい。N−1、NおよびN＋1とラベル付けされた三つのプロットは、三つの相続く変換窓についての逆変換部１１５からの出力信号を視覚化している。(N−1)番目およびN番目の変換窓が重なる時間期間では、重複加算部１１６は、(N−1)番目およびN番目の変換窓内の逆変換された値を加算することによって、当該チャネルの時間値を形成する。その後の時間期間においては、同様に、N番目および(N＋1)番目の変換窓に関する逆変換された値を加算することによって、当該チャネル信号の時間値が得られる。明らかに、(N−1)番目およびN番目の変換窓は、時間フレーム境界近傍の入力信号の異なる時間フレームに由来する。図１２の主たる部分に戻ると、チャネル・デコーダ１１３の下流に位置する組み合わせユニット１１４は、諸チャネルを、その後の処理に好適な仕方で、たとえば各時間フレームがその時間フレーム内のすべてのチャネルを再構成するための必要なデータを含むよう時間フレームを形成することによって、組み合わせる。

【0105】

先述したように、オーディオ信号は、（ｂ）パラメトリック符号化によってまたは（ａ）n個の離散的にエンコードされたチャネルWとして（n＞m）、表現されうる。パラメトリック符号化では、オーディオ信号を表わすためにm個の信号が使われるが、nチャネル・フォーマットが使われる。そのため、上記で説明したように、n−m個の信号は情報を担持しないまたは中立的な値を割り当てられてもよい。例示的実装では、これは、前記チャネル・サブストリームのうちn−m個が中立的な信号値を表わすことを含意しうる。不使用チャネルにおいて中立的な信号値が受領されるという事実は、パラメトリック符号化から離散的符号化へのまたはその逆の符号化方式変化との関連で有益である。そのような符号化方式変化の近傍では、異なる符号化方式をもつフレームに属する二つの変換窓が重なり合い、当該チャネルの時間表現に寄与する。しかしながら、中立的な値の存在のおかげにより、それらの寄与を合計する動作は相変わらずよく定義されていることになる。

【0106】

いくつかの例示的実施形態では、デコード・システム１００はさらに、（ｃ）縮小パラメトリック符号化されている入力信号の時間フレームを受領するよう適応される。ここで、入力信号はmチャネル・フォーマットにある。これは、パラメトリック符号化方式において中立的な値を担持するn−m個のチャネルが完全に不在であることを意味する。符号化方式変化を横断してもチャネル・デコーダ１１３のなめらかな機能を保証するために、前記チャネル・デコーダ１１３のうち少なくともn−m個のチャネル・デコーダには、図１２の下部に詳細に示される前処理器１１２が先行する。前処理器１１２は、中立的な値（「0」と表わされている）をエンコードするチャネル・サブストリームを生成するよう動作可能である。前処理器は、素通しモードと中立的な値が出力されるモードとの間で切り替え可能な選択器によって記号的に示されている。入力信号W、Xの対応するチャネルは、符号化方式変化の少なくとも一方の側において中立的な値を含むことになる。

【0107】

前処理器１１２は、デコード・システム１００内のコントローラ１７０によって制御可能であってもよい。たとえば、前処理器１１２は、（ｂ）離散的符号化と（ｃ）縮小パラメトリック符号化との間の、中間のパラメトリック符号化された時間フレームがないそのような方式変化においてアクティブ化されてもよい。入力信号W、Xは、離散的エピソードに隣接する時間フレームにおいてダウンミックス段１４０に供給されるので、そのような状況では、入力信号が十分に安定していることが必要である。これを達成するために、コントローラ１７０は、前処理器１１２およびダウンミックス段１４０をアクティブ化することによってこの型の検出される方式変化に応答する。これらの前処理器１１２の集団的なアクションは、入力信号にn−m個のチャネルをアペンドすることである。抽象的な観点からは、これらの前処理器１１２は、mチャネル・フォーマットからnチャネル・フォーマットへの（たとえば、ドルビー・デジタル・プラスの枠組みではacmod2からacmod7への）フォーマット変換を達成する。

【0108】

図１２を参照して上述したオーディオ・デコーダ１１０は、縮小パラメトリック符号化から離散的符号化へのおよびその逆の方式変化をまたいでも安定した入力信号を――よって安定したダウンミックス信号を――供給することを可能にする。実際、図５および図７に詳細を描いたデコード・システムは、上記の特性をもつオーディオ・デコーダを備えてもよい。すると、これらのシステムは、それぞれ図６および図８に従って動作することにより、
D D D rP rP … rP D D D
の型の時間フレーム・シーケンスを扱うことができるようになる。

【0109】

特に図６に目を転じると、時間フレーム６０３、６０４および６０５の符号化領域が縮小パラメトリック（rP）になる。時間フレーム６０３では、信号をnチャネル・フォーマットにフォーマットし直してダウンミックス段１４０が方式変化（L、RからL0、R0）を横断して中断なく動作するようにするために、オーディオ・デコーダ１１０における前記少なくとも一つの前処理器１１２がアクティブ化される。好ましくは、前処理器は、時間フレーム６０３の、異なる符号化方式に属する変換窓が重なると期待される時間区間に対応する初期部分の間のみアクティブである。時間フレーム６０４では、フォーマットし直すことは必要ではないが、入力信号Aが空間的合成段１５１の入力側に直接回送されてもよく、ダウンミックス段１４０は一時的に非アクティブ化されることができる。しかしながら、時間フレーム６０５は、縮小パラメトリック・エピソードにおける最後のものであり、その第二の端点を次のフレーム内にもつ少なくとも一つの変換窓を含んでいるので、オーディオ・デコーダ１１０は、フォーマットし直すモード（前処理器１１２がアクティブ）に設定される。すると、時間フレーム６０６では、ダウンミックス段１４０がアクティブ化されており、この時間フレーム６０６の先頭における入力信号Aのコンテンツの変化は、ダウンミックス段１４０にとって気づかれなくなる。ダウンミックス段１４０は代わりに、コンテンツ変化を横断した不連続なダウンミックス信号Xを与えることになる。ここでもまた、前処理器１１２は時間フレーム６０５の最後の部分の間にのみアクティブであることが十分であり、実際それが好ましい。該最後の部分は、第一の離散的に符号化された時間フレーム６０６の第一の変換窓と重なる変換窓の先頭が位置している部分である。

【0110】

時間フレーム８０３、８０４および８０５において縮小パラメトリック符号化されたデータ（rP）が受領される図８の同様の変形も可能である。好適には、前段および他所で述べた理由により、オーディオ・デコーダ１１０のフォーマット変換機能は時間フレーム８０３（の始まり）および時間フレーム８０５（の終わり）においてアクティブであり、それによりデコーダは、二つの方式変化をまたいですべての時点においてダウンミックス段１４０に均質で安定した信号を供給しうる。この例示的な実施形態はハイブリッド・フィルタバンクを有することが想起されるが、この事実はオーディオ・デコーダ１１０の動作には格別な意義はない。たとえば混合パラメータαが外挿される必要がある期間とは異なり、信号コンテンツの変化から生じる潜在的な信号不連続の継続時間は、システムにおけるアルゴリズム遅延とは独立であり、システムを通る途上、時間的に局在化されたままである。換言すれば、図６に比べて図８に示される例示的実施形態においてより長い時間期間にわたって前処理器１１２を動作させる必要はない。

【0111】

〈ＩＩＩ．等価物、拡張、代替その他〉
上記の記述を研究したあとでは、当業者には本発明のさらなる実施形態が明白となるであろう。本稿および図面が実施形態および例を開示しているとはいえ、本発明はそうした個別的な例に制約されるものではない。付属の請求項によって定義される本発明の範囲から外れることなく数多くの修正および変形をなすことができる。請求項に現われる参照符号があったとしても、その範囲を限定するものと理解されるものではない。

【0112】

上記に開示されるシステムおよび方法は、ソフトウェア、ファームウェア、ハードウェアまたはそれらの組み合わせとして実装されうる。ハードウェア実装では、上記の記述において言及される機能ユニット間のタスクの分割は必ずしも物理的なユニットへの分割に対応しない。逆に、一つの物理的コンポーネントが複数の機能を有していてもよく、一つのタスクが協働していくつかの物理的コンポーネントによって実行されてもよい。ある種のコンポーネントまたは全部のコンポーネントがデジタル信号プロセッサまたはマイクロプロセッサによって実行されるソフトウェアとして実装されてもよく、あるいはハードウェアとしてもしくは特定用途向け集積回路として実装されてもよい。そのようなソフトウェアはコンピュータ可読媒体上で配信されてもよい。コンピュータ可読媒体は、コンピュータ記憶媒体（または非一時的媒体）および通信媒体（または一時的媒体）を含みうる。当業者にはよく知られているように、コンピュータ記憶媒体という用語は、コンピュータ可読命令、データ構造、プログラム・モジュールまたは他のデータといった情報の記憶のための任意の方法または技術で実装された、揮発性および不揮発性、リムーバブルおよび非リムーバブルな媒体をいずれも含む。コンピュータ記憶媒体は、RAM、ROM、EEPROM、フラッシュメモリまたは他のメモリ技術、CD-ROM、デジタル多用途ディスク（DVD）または他の光ディスク記憶、磁気カセット、磁気テープ、磁気ディスク記憶または他の磁気記憶デバイスまたは所望される情報を記憶するために使用できコンピュータによってアクセスされることができる他の任意の媒体を含むがそれに限られない。さらに、通信媒体が典型的にはコンピュータ可読命令、データ構造、プログラム・モジュールまたは他のデータを、搬送波または他の転送機構のような変調されたデータ信号において具現するものであり、任意の情報送達媒体を含むことは当業者にはよく知られている。
いくつかの態様を記載しておく。
〔態様１〕
nチャネル・オーディオ信号を再構成するデコード・システムであって、当該デコード・システムは、所与の時間フレームにおいて、時間フレームにセグメント分割されており前記オーディオ信号を表現する入力信号を、
ａ）少なくとも一つの混合パラメータを使うパラメトリック符号化；および
ｂ）n個の別々にエンコードされるチャネルを使う離散的符号化
を含む群から選択される符号化方式に従ってエンコードするビットストリームを受領するよう適応されており、
当該デコード・システムは、前記n個の別々にエンコードされるチャネルに基づいてまたは空間的合成によって前記オーディオ信号を導出するよう動作可能であり、
当該デコード・システムは：
ダウンミックス指定に従って、前記入力信号に基づいてmチャネル・ダウンミックス信号を出力するよう動作可能なダウンミックス段であって、n＞m≧1である、ダウンミックス段と；
前記ダウンミックス信号および前記少なくとも一つの混合パラメータに基づいて、前記オーディオ信号のnチャネル表現を出力するよう動作可能な空間的合成段とを有しており、
前記ダウンミックス段は、離散的符号化された時間フレームの各エピソードにおける少なくとも最初の時間フレームにおいておよび離散的符号化された時間フレームの各エピソード後の少なくとも最初の時間フレームにおいてアクティブである、
デコード・システム。
〔態様２〕
前記ビットストリームに基づいて前記入力信号を出力するよう適応されたオーディオ・デコーダをさらに有しており、前記オーディオ・デコーダは、重複変換窓を使う時間から周波数への変換を実行するよう適応されている、態様１記載のデコード・システム。
〔態様３〕
前記時間フレームのそれぞれが前記変換窓のうちの少なくとも一つの長さの半分と等価である、態様２記載のデコード・システム。
〔態様４〕
前記ダウンミックス段が、前記入力信号がパラメトリック符号化によって前記オーディオ信号を表わす各時間フレームにおいてアクティブであるよう適応されている、態様１ないし３のうちいずれか一項記載のデコード・システム。
〔態様５〕
当該デコード・システムが、前記入力信号がn個の別々にエンコードされたチャネルとして前記オーディオ信号を表わす各時間フレームにおいて、前記入力信号から、同じオーディオ信号を表わすmチャネル・コア信号が前記ダウンミックス指定を使って取得可能であるようなmチャネル・コア信号を、前記入力信号がパラメトリック符号化によって前記オーディオ信号を表わす各時間フレームにおいて含む入力信号をエンコードするビットストリームを受領するよう適応されている、態様１ないし４のうちいずれか一項記載のデコード・システム。
〔態様６〕
前記ダウンミックス段が、前記入力信号がパラメトリック符号化によって前記オーディオ信号を表わす各時間フレームにおいて、前記オーディオ信号のパラメトリック符号化表現の前記コア信号を前記ダウンミックス信号として再生することによって前記ダウンミックス信号を生成するよう適応されている、態様５記載のデコード・システム。
〔態様７〕
当該デコード・システムが、前記入力信号がパラメトリック符号化によって前記オーディオ信号を表わす各時間フレームにおいてnチャネル信号である入力信号をエンコードするビットストリームを受領するよう適応されており、前記nチャネル信号においてn−m個のチャネルは前記オーディオ信号を表現するために使われない、態様１ないし６のうちいずれか一項記載のデコード・システム。
〔態様８〕
前記入力信号を受領するよう適応された第一の遅延線；および
前記空間的合成段および前記第一の遅延線に通信上接続された混合器をさらに有する、態様１ないし７のうちいずれか一項記載のデコード・システムであって、
前記混合器は、当該システムのパラメトリック・モードでは、前記空間的合成段の出力またはそれから導出される信号を出力し；
当該システムの離散モードでは、前記第一の遅延線の出力を出力し；
前記入力信号において生起するパラメトリック符号化と離散的符号化との間の変化に応答して、前記空間的合成段の出力と前記第一の遅延線の出力との間の混合遷移を出力するよう適応されている、
デコード・システム。
〔態様９〕
前記第一の遅延線が、前記ダウンミックス段および前記空間的合成段に付随する全通過時間に対応する遅延を受けるよう動作可能である、態様８記載のデコード・システム。
〔態様１０〕
前記混合器の出力を受領するよう適応された第二の遅延線（１６０）をさらに有し、前記第一および第二の遅延線によって受ける全遅延が一つの時間フレームの長さの倍数に対応する、態様９記載のデコード・システム。
〔態様１１〕
前記空間的合成段は、パラメトリック符号化または該当するなら縮小パラメトリック符号化における前記入力信号が、当該時間フレームにおける最初でない点についての明示的な混合パラメータ値を定義しているような相続く時間フレームどうしの間の補間によって得られる混合パラメータ値を適用するよう適応されている、態様１ないし１０のうちいずれか一項記載のデコード・システム。
〔態様１２〕
前記空間的合成段は、現在時間フレームが、各時間フレームがパラメトリック符号化されているまたは該当するなら縮小パラメトリック符号化されている時間フレームのエピソードにおける最初の時間フレームであることに応答して、最も早い明示的な混合パラメータ値を現在の時間フレームの先頭まで後ろ向きに外挿することを含む離散からパラメトリックへの遷移を開始するよう適応されている、態様１１記載のデコード・システム。
〔態様１３〕
前記空間的合成段は、現在時間フレームが、離散的符号化された時間フレームのエピソードにおける最初の時間フレームであることに応答して、最も遅い明示的な混合パラメータ値を少なくとも現在の時間フレームの終わりまで前向きに外挿することを含むパラメトリックから離散への遷移を開始するよう適応されている、態様１１または１２記載のデコード・システム。
〔態様１４〕
前記空間的合成段が：
前記mチャネル・ダウンミックス信号の時間領域表現を受領してそれに基づいて前記ダウンミックス信号の周波数領域表現を出力するよう適応された第一の変換段と；
前記ダウンミックス信号の前記周波数領域表現および前記少なくとも一つの混合パラメータに基づいて、前記オーディオ信号の前記nチャネル表現の周波数領域表現を出力するよう適応されているアップミックス段と；
前記オーディオ信号の前記nチャネル表現の前記周波数領域表現を受領し、それに基づいて、前記オーディオ信号の前記nチャネル表現の時間領域表現を、前記空間的合成段の出力として出力するよう適応されている、第二の変換段とを有する、
態様１ないし１３のうちいずれか一項記載のデコード・システム。
〔態様１５〕
前記アップミックス段が、前記ダウンミックス信号の前記mチャネル周波数領域表現におけるチャネルを含む線形結合を形成し、これを前記オーディオ信号の前記nチャネル表現の前記周波数領域表現として出力するよう適応されており、前記少なくとも一つの混合パラメータは、前記線形結合における前記ダウンミックス信号の前記mチャネル周波数領域表現における少なくとも一つのチャネルに関係する少なくとも一つの利得を制御する、態様１４記載のデコード・システム。
〔態様１６〕
前記ダウンミックス段が、前記入力信号の時間領域表現のチャネルの線形結合を形成するよう適応されている、態様１ないし１５のうちいずれか一項記載のデコード・システム。
〔態様１７〕
前記空間的合成段および混合器があれば該混合器を、現在の時間フレームおよび前の時間フレームの符号化方式に基づいて制御するコントローラをさらに有する、態様１ないし１６のうちいずれか一項記載のデコード・システム。
〔態様１８〕
前記コントローラが、前記空間的合成段および混合器があれば該混合器を、現在の時間フレームおよび二つの前の時間フレームの符号化方式に基づいて制御する、態様１７記載のデコード・システム。
〔態様１９〕
符号化方式の前記群がさらに、
ｃ）縮小パラメトリック符号化
を含み、当該デコード・システムは、前記入力信号がn個の別々にエンコードされたチャネルとして前記オーディオ信号を表わす各時間フレームにおいて、前記入力信号から、同じオーディオ信号を表わすmチャネル・コア信号が前記ダウンミックス指定を使って取得可能であるようなものであるmチャネル・コア信号の形を、前記入力信号が縮小パラメトリック符号化によって前記オーディオ信号を表わす各時間フレームにおいてもつ入力信号をエンコードするビットストリームを受領するよう適応されている、態様１ないし１８のうちいずれか一項記載のデコード・システム。
〔態様２０〕
前記空間的合成段が、前記入力信号が縮小パラメトリック符号化によって前記オーディオ信号を表わす各時間フレームにおいて、前記入力信号および前記少なくとも一つの混合パラメータに基づいて前記オーディオ信号の前記nチャネル表現を出力するよう動作可能である、態様１９記載のデコード・システム。
〔態様２１〕
前記入力信号のパラメトリック符号化された時間フレームの直後の前記入力信号の各時間フレームが縮小パラメトリック符号化または離散的符号化によって符号化されるフォーマットにおいて前記ビットストリームを受領するよう適応されている、態様１９または２０記載のデコード・システム。
〔態様２２〕
前記入力信号の離散的符号化された時間フレームの直前の前記入力信号の各時間フレームが離散的符号化またはパラメトリック符号化によって符号化され、前記入力信号の離散的符号化された時間フレームの直後の前記入力信号の各時間フレームが離散的符号化またはパラメトリック符号化によって符号化されるフォーマットにおいて前記ビットストリームを受領するよう適応されている、態様１ないし２１のうちいずれか一項記載のデコード・システム。
〔態様２３〕
nチャネル・オーディオ信号を再構成する方法であって、当該方法は、所与の時間フレームにおいて、時間フレームにセグメント分割されており前記オーディオ信号を表現する入力信号を、
ａ）少なくとも一つの混合パラメータを使うパラメトリック符号化；および
ｂ）n個の別々にエンコードされるチャネルを使う離散的符号化
を含む群から選択される符号化方式に従ってエンコードするビットストリームを受領する段階と；
現在の時間フレームが、離散的符号化された時間フレームのエピソードにおける最初の時間フレームであることまたは現在の時間フレームが、離散的符号化された時間フレームのエピソード後の最初の時間フレームであることに応答して、ダウンミックス指定に従って、前記入力信号に基づいてmチャネル・ダウンミックス信号を生成する段階であって、n＞m≧1である、段階と；
前記入力信号が現在および二つの前の時間フレームにおいて離散的符号化されていることに応答して、前記n個の別々にエンコードされるチャネルに基づいて前記オーディオ信号を導出する段階と；
前記入力信号が現在および二つの前の時間フレームにおいてパラメトリック符号化されていることに応答して、前記ダウンミックス信号および前記少なくとも一つの混合パラメータに基づいて、前記オーディオ信号のnチャネル表現を生成する段階とを含む、
方法。
〔態様２４〕
前記入力信号が現在および前の時間フレームにおいて離散的符号化されていることに応答して、前記n個の別々にエンコードされるチャネルに基づいて前記オーディオ信号を導出する段階と；
前記入力信号が現在および前の時間フレームにおいてパラメトリック符号化されていることに応答して、前記ダウンミックス信号および前記少なくとも一つの混合パラメータに基づいて、前記オーディオ信号のnチャネル表現を生成する段階とを含む、
態様２３記載の方法。
〔態様２５〕
パラメトリック符号化によって前記オーディオ信号を表わす前記入力信号の各時間フレームが、その与えられた時間フレームにおける最初でない点について前記少なくとも一つの混合パラメータの値を含み、
現在時間フレームが、パラメトリック符号化された時間フレームのエピソードにおける最初の時間フレームであることに応答して、前記少なくとも一つの混合パラメータの受領された値を現在の時間フレームの先頭まで後ろ向きに外挿する段階をさらに含む、
態様２３または２４記載の方法。
〔態様２６〕
前記入力信号が現在の時間フレームにおいて離散的符号化されており、前の時間フレームにおいてパラメトリック符号化されていることに応答して、前記ダウンミックス信号に基づきかつ前記少なくとも一つの混合パラメータの、前記前の時間フレームに関連付けられている少なくとも一つの値に基づき、前記オーディオ信号のnチャネル表現を生成し、現在の時間フレームの間に、前記n個の別々にエンコードされるチャネルに基づいて前記オーディオ信号を導出することに遷移する段階をさらに含む、態様２３ないし２５のうちいずれか一項記載の方法。
〔態様２７〕
時間フレームにセグメント分割されたnチャネル・オーディオ信号をエンコードするエンコード・システムであって、当該エンコード・システムは、
ａ）パラメトリック符号化および
ｂ）n個の別々にエンコードされるチャネルを使う離散的符号化
を含む群から選択される符号化方式に従って、所与の時間フレームにおいて、前記オーディオ信号を表わすビットストリーム（P）を出力するよう適応されており、
当該エンコード・システムは：
所与の時間フレームについて、どのエンコード方式が前記オーディオ信号を表わすために使用されるかを選択するよう適応された選択器と；
前記オーディオ信号のnチャネル表現に基づき、ダウンミックス指定に従って、mチャネル・コア信号および少なくとも一つの混合パラメータを出力するよう動作可能なパラメトリック分解段とを有しており、前記mチャネル・コア信号および少なくとも一つの混合パラメータは、パラメトリック符号化方式における前記出力ビットストリームによってエンコードされ、n＞m≧1である、
エンコード・システム。
〔態様２８〕
符号化方式の前記群がさらに、
ｃ）縮小パラメトリック符号化
を含み、前記パラメトリック符号化方式および前記離散的符号化方式においてはnチャネル信号フォーマットが使われ、前記縮小パラメトリック符号化方式においてはmチャネル信号フォーマットが使われる、
態様２７記載のエンコード・システム。
〔態様２９〕
前記選択器が、パラメトリック符号化された時間フレームが直前にある時間フレームにおいて、縮小パラメトリック符号化または離散的符号化によって前記オーディオ信号を表現するよう選択するよう適応されている、態様２８記載のエンコード・システム。
〔態様３０〕
前記選択器が：
離散的符号化された時間フレームが直前にある時間フレームにおいて、離散的符号化によってまたはパラメトリック符号化によって前記オーディオ信号を表現するよう選択し：
離散的符号化された時間フレームの直後の時間フレームにおいて、離散的符号化によってまたはパラメトリック符号化によって前記オーディオ信号を表現するよう選択するよう適応されている、
態様２７ないし２９のうちいずれか一項記載のエンコード・システム。
〔態様３１〕
態様２７ないし３０のうちいずれか一項記載のエンコード・システムおよび態様１ないし２２のうちいずれか一項記載のデコード・システムを有するオーディオ配信システムであって、前記エンコード・システムおよび前記デコード・システムは通信上接続されており、前記エンコード・システムおよび前記デコード・システムのそれぞれのダウンミックス指定は等価である、オーディオ配信システム。
〔態様３２〕
nチャネル・オーディオ信号をビットストリームとしてエンコードする方法であって：
前記オーディオ信号のnチャネル表現を受領する段階と；
ａ）パラメトリック符号化および
ｂ）n個の別々にエンコードされるチャネルを使う離散的符号化
を含む群から、所与の時間フレームにおいて、どの符号化方式を前記オーディオ信号を表現するために使うかを選択する段階と；
パラメトリック符号化によって前記オーディオ信号をエンコードするとの決定に応答して、前記オーディオ信号の前記nチャネル表現に基づき、ダウンミックス指定に従って、mチャネル・コア信号および少なくとも一つの混合パラメータをエンコードするビットストリームを形成する段階であって、n＞m≧1である、段階と；
離散的符号化によって前記オーディオ信号をエンコードするとの決定に応答して、n個の別々にエンコードされる信号によって前記オーディオ信号をエンコードするビットストリームを出力する段階とを含む、
方法。
〔態様３３〕
態様２３ないし２６および３２のうちいずれか一項記載の方法を実行するための命令をもつコンピュータ可読媒体を有するコンピュータ・プログラム・プロダクト。
〔態様３４〕
n＝6かつm＝2である、態様１ないし３３のうちいずれか一項記載の装置または方法。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】