(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-16
(45)【発行日】2022-12-26
(54)【発明の名称】マルチチャネル・オーディオ・コンテンツの符号化
(51)【国際特許分類】
G10L 19/008 20130101AFI20221219BHJP
G10L 21/038 20130101ALI20221219BHJP
【FI】
G10L19/008 100
G10L21/038
【外国語出願】
(21)【出願番号】P 2021183937
(22)【出願日】2021-11-11
(62)【分割の表示】P 2020147541の分割
【原出願日】2014-09-08
【審査請求日】2021-11-11
(32)【優先日】2013-09-12
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2013-10-21
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2014-04-01
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】510185767
【氏名又は名称】ドルビー・インターナショナル・アーベー
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】プルンハーゲン,ヘイコ
(72)【発明者】
【氏名】ミュント,ハーラルト
(72)【発明者】
【氏名】クヨーリング,クリストファー
【審査官】岩田 淳
(56)【参考文献】
【文献】特表2009-506372(JP,A)
【文献】特表2013-508770(JP,A)
【文献】特表2013-525830(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G10L 19/00-99/00
(57)【特許請求の範囲】
【請求項1】
複数のオーディオ信号をデコードする方法であって、当該方法は:
前記複数のオーディオ信号のうちの第一のオーディオ信号を受領する段階であって、前記第一のオーディオ信号はミッド信号である、段階と;
前記複数のオーディオ信号のうちの第二のオーディオ信号を受領する段階であって、前記第二のオーディオ信号は前記第一のオーディオ信号の前記ミッド信号に対応するサイド信号である、段階と;
前記第一のオーディオ信号および前記第二のオーディオ信号をデコードしてステレオ信号を決定する段階であって、前記ステレオ信号は、あるスピーカー構成の二つのチャネルでの再生に好適な第一のステレオ信号および第二のステレオ・オーディオ信号を含む、段階とを含み、
受領された前記第二のオーディオ信号は第一の周波数までの周波数に対応するスペクトル・データを含む波形符号化された信号であり、
デコードされた前記ステレオ信号は、前記第一の周波数より下の周波数については、前記第一のオーディオ信号および前記第二のオーディオ信号の逆和差変換を実行することを含む第一のアップミックスに、前記第一の周波数より上の周波数については、前記第一の信号のパラメトリック・アップミックスを実行することを含む第二のアップミックスに基づいて決定される、
方法。
【請求項2】
前記第一のオーディオ信号および前記第二のオーディオ信号は周波数領域で表現されている、請求項1記載の方法。
【請求項3】
前記ステレオ信号を時間領域に変換することをさらに含む、請求項1記載の方法。
【請求項4】
デコードして前記ステレオ信号を決定する前記段階が、周波数領域で実行される、請求項1記載の方法。
【請求項5】
デコードして前記ステレオ信号を決定する前記段階が、ステレオ・デコードが有効にされていることを示すパラメータに基づく、請求項1記載の方法。
【請求項6】
プロセッサによって実行されたときに請求項1記載の方法を実行する命令を含んでいる、非一時的なコンピュータ読み取り可能な記憶媒体。
【請求項7】
複数のオーディオ信号をデコードする装置であって、当該装置は:
前記複数のオーディオ信号のうちの第一のオーディオ信号を受領する第一の受領器であって、前記第一のオーディオ信号はミッド信号である、第一の受領器と;
前記複数のオーディオ信号のうちの第二のオーディオ信号を受領する第二の受領器であって、前記第二のオーディオ信号は前記第一のオーディオ信号の前記ミッド信号に対応するサイド信号である、第二の受領器と;
前記第一のオーディオ信号および前記第二のオーディオ信号をデコードしてステレオ信号を決定するデコーダであって、前記ステレオ信号は、あるスピーカー構成の二つのチャネルでの再生に好適な第一のステレオ信号および第二のステレオ・オーディオ信号を含む、デコーダとを有しており、
受領された前記第二のオーディオ信号は第一の周波数までの周波数に対応するスペクトル・データを含む波形符号化された信号であり、
デコードされた前記ステレオ信号は、前記第一の周波数より下の周波数については、前記第一のオーディオ信号および前記第二のオーディオ信号の逆和差変換を実行することを含む第一のアップミックスに、前記第一の周波数より上の周波数については、前記第一の信号のパラメトリック・アップミックスを実行することを含む第二のアップミックスに基づいて決定される、
装置。
【請求項8】
前記第一のオーディオ信号および前記第二のオーディオ信号は周波数領域で表現されている、請求項
7記載の装置。
【請求項9】
前記ステレオ信号を時間領域に変換するように構成された時間/周波数変換コンポーネントをさらに有する、請求項
7記載の装置。
【請求項10】
前記デコーダが前記ステレオ信号を決定するように構成されているのが、周波数領域で実行される、請求項
7記載の装置。
【請求項11】
前記デコーダが前記ステレオ信号を決定するように構成されているのが、ステレオ・デコードが有効にされていることを示すパラメータに基づく、請求項
7記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
本願の開示は概括的には、マルチチャネル・オーディオ信号の符号化に関する。詳細には、ある数のチャネルをもつスピーカー構成での再生のための複数の入力信号のエンコードおよびデコードのためのエンコーダおよびデコーダに関する。
【背景技術】
【0002】
マルチチャネル・オーディオ・コンテンツは、ある数のチャネルをもつスピーカー構成に対応する。たとえば、マルチチャネル・オーディオ・コンテンツは五つの前方チャネル、四つのサラウンド・チャネル、四つの天井チャネルおよび低域効果(LFE)チャネルに対応していてもよい。そのようなチャネル構成は5/4/4.1、9.1+4または13.1構成と称されることがある。時に、エンコードされたマルチチャネル・オーディオ・コンテンツを、エンコードされたマルチチャネル・オーディオ・コンテンツより少数のチャネル、すなわちスピーカーをもつスピーカー構成をもつ再生システムで再生することが望ましい。以下では、そのような再生システムはレガシー再生システムと称される。たとえば、エンコードされた13.1オーディオ・コンテンツを、三つの前方チャネル、二つのサラウンド・チャネル、二つの天井チャネルおよびLFEチャネルをもつスピーカー構成で、再生することが望ましいことがありうる。そのようなチャネル構成は3/2/2.1、5.1+2または7.1構成とも称される。
【発明の概要】
【発明が解決しようとする課題】
【0003】
従来技術によれば、もとのマルチチャネル・オーディオ・コンテンツのすべてのチャネルの完全なデコードおよびそれに続くレガシー再生システムのチャネル構成へのダウンミックスが必要とされるであろう。明らかに、そのような構成は、もとのマルチチャネル・オーディオ・コンテンツのすべてのチャネルがデコードされる必要があるので計算効率が悪い。よって、レガシー再生システムのために好適なダウンミックスを直接デコードすることを許容する符号化方式が必要とされている。
【図面の簡単な説明】
【0004】
ここで例示的実施形態について、付属の図面を参照して述べる。
【
図1】例示的実施形態に基づくデコード方式を示す図である。
【
図2】
図1のデコード方式に対応するエンコード方式を示す図である。
【
図3】例示的実施形態に基づくデコーダを示す図である。
【
図4】例示的実施形態に基づくデコード・モジュールの第一の構成を示す図である。
【
図5】例示的実施形態に基づくデコード・モジュールの第二の構成を示す図である。
【
図6】例示的実施形態に基づくデコーダを示す図である。
【
図7】例示的実施形態に基づくデコーダを示す図である。
【
図8】
図7のデコーダにおいて使用される高周波再構成コンポーネントを示す図である。
【
図9】例示的実施形態に基づくエンコーダを示す図である。
【
図10】例示的実施形態に基づくエンコード・モジュールの第一の構成を示す図である。
【
図11】例示的実施形態に基づくエンコード・モジュールの第二の構成を示す図である。 すべての図面は概略的であり、一般に、本開示を明快にするために必要な部分を示すのみである。一方、他の部分は省略されたり示唆されるだけであったりすることがある。特に断わりのない限り、同様の参照符号は異なる図面における同様の部分を指す。
【発明を実施するための形態】
【0005】
上記に鑑み、レガシー再生システムに好適なダウンミックスの効率的なデコードを許容するマルチチャネル・オーディオ・コンテンツのエンコード/デコードのためのエンコード/デコード方法を提供することが目的である。
【0006】
〈I.概観――デコーダ〉
第一の側面によれば、マルチチャネル・オーディオ・コンテンツをデコードするためのデコード方法、デコーダおよびコンピュータ・プログラム・プロダクトが提供される。
【0007】
例示的実施形態によれば、N個のチャネルをもつスピーカー構成での再生のための複数の入力オーディオ信号をデコードするデコーダにおける方法であって、前記複数の入力オーディオ信号は少なくともN個のチャネルに対応するエンコードされたマルチチャネル・オーディオ・コンテンツを表わし、当該方法は:
M個の入力オーディオ信号を受領する段階であって、1<M≦N≦2Mである、段階と;
第一のデコード・モジュールにおいて、前記M個の入力オーディオ信号を、M個のチャネルをもつスピーカー構成での再生に好適なM個のミッド信号にデコードする段階と;
前記N個のチャネルのうちM個のチャネルを超過するそれぞれについて、
前記M個のミッド信号の一つに対応する追加的な入力オーディオ信号を受領し、前記追加的な入力オーディオ信号は、サイド信号または前記ミッド信号および重み付けパラメータaと一緒にサイド信号の再構成を許容する相補信号であり;
ステレオ・デコード・モジュールにおいて、前記追加的な入力オーディオ信号およびその対応するミッド信号をデコードして、前記スピーカー構成のN個のチャネルのうちの二つでの再生に好適な第一および第二のオーディオ信号を含むステレオ信号を生成する段階とを含み、
それにより、前記スピーカー構成のN個のチャネルでの再生のために好適なN個のオーディオ信号が生成される、
方法が提供される。
【0008】
上記の方法は、オーディオ・コンテンツがレガシー再生システムで再生されるべきである場合に、デコーダがマルチチャネル・オーディオ・コンテンツのすべてのチャネルをデコードして完全なマルチチャネル・オーディオ・コンテンツのダウンミックスを形成する必要がない点で有利である。
【0009】
より詳細には、Mチャネル・スピーカー構成に対応するオーディオ・コンテンツをデコードするよう設計されているレガシー・デコーダは、単にM個の入力オーディオ信号を使って、これらをMチャネル・スピーカー構成での再生に好適なM個のミッド信号にデコードしてもよい。デコーダ側で、オーディオ・コンテンツのさらなるダウンミックスは必要とされない。実際、レガシー再生スピーカー構成に好適なダウンミックスはエンコーダ側においてすでに用意され、エンコードされていて、M個の入力信号によって表現されている。
【0010】
M個より多いチャネルに対応するオーディオ・コンテンツをデコードするよう設計されているデコーダは、追加的な入力オーディオ信号を受領して、所望されるスピーカー構成に対応する出力チャネルに到達するために、これらを、ステレオ・デコード技法によって前記M個のミッド信号の対応するものと組み合わせてもよい。したがって、提案される方法は、再生のために使われるスピーカー構成に関して柔軟であるという点で有利である。
【0011】
例示的実施形態によれば、ステレオ・デコード・モジュールは、デコーダがデータを受領するビットレートに依存して少なくとも二つの構成において動作可能である。本方法はさらに、前記少なくとも二つの構成のどちらを前記追加的な入力オーディオ信号およびその対応するミッド信号をデコードする段階において使うかに関する指示を受領することを含んでいてもよい。
【0012】
これは、本デコード方法がエンコード/デコード・システムによって使用されるビットレートに関して柔軟であるという点で有利である。
【0013】
例示的実施形態によれば、追加的な入力オーディオ信号を受領する段階は:
前記M個のミッド信号の第一のものに対応する追加的な入力オーディオ信号および前記M個のミッド信号の第二のものに対応する追加的な入力オーディオ信号のジョイント・エンコードに対応する一対のオーディオ信号を受領し;
前記一対のオーディオ信号をデコードして、前記M個のミッド信号の第一および第二のものにそれぞれ対応する前記追加的な入力オーディオ信号を生成することを含む。
【0014】
これは、追加的な入力オーディオ信号がペアごとに効率的に符号化されうる点で有利である。
【0015】
例示的実施形態によれば、前記追加的な入力オーディオ信号は第一の周波数までの周波数に対応するスペクトル・データを含む波形符号化された信号であり、前記対応するミッド信号は前記第一の周波数より大きい周波数までの周波数に対応するスペクトル・データを含む波形符号化された信号であり、前記ステレオ・デコード・モジュールの前記第一の構成に従って前記追加的な入力オーディオ信号およびその対応するミッド信号をデコードする段階は:
前記追加的なオーディオ入力信号が相補信号の形である場合には、前記第一の周波数までの周波数についてのサイド信号を、前記ミッド信号に重み付けパラメータaを乗算し、乗算の結果を前記相補信号に加えることによって計算する段階と;
前記ミッド信号および前記サイド信号をアップミックスして、第一および第二のオーディオ信号を含むステレオ信号を生成する段階であって、前記第一の周波数より下の周波数については、前記アップミックスは、前記ミッド信号および前記サイド信号の逆和差変換を実行し、前記第一の周波数より上の周波数については、前記アップミックスは前記ミッド信号のパラメトリック・アップミックスを実行することとを含む、段階とを含む。
【0016】
これは、ステレオ・デコード・モジュールによって実行されるデコードが、ミッド信号および対応する追加的な入力オーディオ信号のデコードを可能にする点で有利である。前記追加的な入力オーディオ信号は、前記ミッド信号についての対応する周波数より低い周波数まで波形符号化される。このようにして、本デコード方法は、エンコード/デコード・システムが低下したビットレートで動作することを許容する。
【0017】
ミッド信号のパラメトリック・アップミックスを実行するとは、一般に、前記第一の周波数より上の周波数について、前記第一および第二のオーディオ信号がミッド信号に基づいてパラメトリックに再構成されることを意味する。
【0018】
例示的実施形態によれば、波形符号化されたミッド信号は、第二の周波数までの周波数に対応するスペクトル・データを含み、本方法はさらに:
パラメトリック・アップミックスを実行するのに先立って、高周波再構成を実行することによって前記第二の周波数より上の周波数範囲まで前記ミッド信号を拡張することを含む。
【0019】
このようにして、本デコード方法は、エンコード/デコード・システムがさらに低下したビットレートで動作することを許容する。
【0020】
例示的実施形態によれば、前記追加的な入力オーディオ信号および前記対応するミッド信号は、第二の周波数までの周波数に対応するスペクトル・データを含む波形符号化された信号であり、前記ステレオ・デコード・モジュールの前記第二の構成に従って前記追加的な入力オーディオ信号およびその対応するミッド信号をデコードする段階は:
前記追加的なオーディオ入力信号が相補信号の形である場合には、サイド信号を、前記ミッド信号に前記重み付けパラメータaを乗算し、乗算の結果を前記相補信号に加えることによって計算する段階と;
前記ミッド信号および前記サイド信号の逆和差変換を実行し、第一および第二のオーディオ信号を含むステレオ信号を生成する段階とを含む。
【0021】
これは、ステレオ・デコード・モジュールによって実行されるデコードが、ミッド信号および対応する追加的な入力オーディオ信号のデコードをさらに可能にする点で有利である。前記追加的な入力オーディオ信号は、同じ周波数まで波形符号化される。このようにして、本デコード方法は、エンコード/デコード・システムが高いビットレートでも動作することを許容する。
【0022】
例示的実施形態によれば、本方法はさらに、前記ステレオ信号の第一および第二のオーディオ信号を、高周波再構成を実行することによって前記第二の周波数より上の周波数範囲まで拡張することを含む。これは、エンコード/デコード・システムのビットレートに関する柔軟性がさらに増すという点で有利である。
【0023】
M個のミッド信号がM個のチャネルをもつスピーカー構成で再生される例示的実施形態によれば、本方法はさらに:
前記M個のミッド信号の少なくとも一つおよびその対応する追加的なオーディオ入力信号から生成されうる前記ステレオ信号の前記第一および第二のオーディオ信号に関連付けられている高周波再構成パラメータに基づいて高周波再構成を実行することによって、前記M個のミッド信号の前記少なくとも一つの、周波数範囲を拡張することを含む。
【0024】
これは、高周波再構成されたミッド信号の品質が改善されうる点で有利である。
【0025】
前記追加的な入力オーディオ信号がサイド信号の形である例示的実施形態によれば、前記追加的な入力オーディオ信号および前記対応するミッド信号は、異なる変換サイズをもつ修正離散コサイン変換を使って波形符号化される。これは、変換サイズを選ぶことに関する柔軟性が増す点で有利である。
【0026】
例示的実施形態は、上記に開示したエンコード方法のいずれかを実行するための命令をもつコンピュータ可読媒体を有するコンピュータ・プログラム・プロダクトにも関する。コンピュータ可読媒体は非一時的なコンピュータ可読媒体であってもよい。
【0027】
例示的実施形態は、N個のチャネルをもつスピーカー構成での再生のための複数の入力オーディオ信号をデコードするデコーダにも関する。前記複数の入力オーディオ信号は少なくともN個のチャネルに対応するエンコードされたマルチチャネル・オーディオ・コンテンツを表わし、当該デコーダは:
M個の入力オーディオ信号を受領するよう構成された受領コンポーネントであって、1<M≦N≦2Mである、受領コンポーネントと;
前記M個の入力オーディオ信号を、M個のチャネルをもつスピーカー構成での再生に好適なM個のミッド信号にデコードするよう構成された第一のデコード・モジュールと;
前記N個のチャネルのうちM個のチャネルを超過するそれぞれについてのステレオ符号化モジュールとを有しており、前記ステレオ符号化モジュールは:
前記M個のミッド信号の一つに対応する追加的な入力オーディオ信号を受領し、前記追加的な入力オーディオ信号は、サイド信号または前記ミッド信号および重み付けパラメータaと一緒にサイド信号の再構成を許容する相補信号であり;
前記追加的な入力オーディオ信号およびその対応するミッド信号をデコードして、前記スピーカー構成のN個のチャネルのうちの二つでの再生に好適な第一および第二のオーディオ信号を含むステレオ信号を生成するよう構成されており、
それにより、当該デコーダは、前記スピーカー構成のN個のチャネルでの再生のために好適なN個のオーディオ信号を生成するよう構成される。
【0028】
〈II.概観――エンコーダ〉
第二の側面によれば、マルチチャネル・オーディオ・コンテンツをデコードするためのエンコード方法、エンコーダおよびコンピュータ・プログラム・プロダクトが提供される。
【0029】
該第二の側面は一般に、第一の側面と同じ特徴および利点をもつことがある。
【0030】
例示的実施形態によれば、K個のチャネルに対応するマルチチャネル・オーディオ・コンテンツを表わす複数の入力オーディオ信号をエンコードするためのエンコーダにおける方法であって:
K個のチャネルをもつスピーカー構成のチャネルに対応するK個の入力オーディオ信号を受領する段階と;
前記K個の入力オーディオ信号から、M個のチャネルをもつスピーカー構成での再生に好適なM個のミッド信号およびK-M個の出力オーディオ信号を生成する段階であって、1<M<K≦2Mであり、
前記ミッド信号の2M-K個は、前記入力オーディオ信号の2M-K個に対応し、
残りのK-M個のミッド信号およびK-M個の出力オーディオ信号は、Mを超えるKの各値について、
ステレオ・エンコード・モジュールにおいて、前記K個の入力オーディオ信号のうちの二つをエンコードしてミッド信号および出力オーディオ信号を生成することによって生成され、前記出力オーディオ信号は、サイド信号または前記ミッド信号および重み付けパラメータaと一緒にサイド信号の再構成を許容する相補信号である、段階と;
第二のエンコード・モジュールにおいて、前記M個のミッド信号をM個の追加的な出力オーディオ・チャネルにエンコードする段階と;
前記K-M個の出力オーディオ信号および前記M個の追加的な出力オーディオ・チャネルをデコーダに伝送するためのデータ・ストリームに含める段階とを含む、方法が提供される。
【0031】
例示的実施形態によれば、前記ステレオ・エンコード・モジュールは、エンコーダの所望されるビットレートに依存して少なくとも二つの構成で動作可能である。本方法はさらに、前記少なくとも二つの構成のどちらが前記K個の入力オーディオ信号の二つをエンコードする段階において前記ステレオ・エンコード・モジュールによって使用されたかに関する指示を前記データ・ストリーム中に含める段階を含んでいてもよい。
【0032】
例示的実施形態によれば、本方法はさらに、前記データ・ストリームに含めるのに先立ってペアごとに前記K-M個の出力オーディオ信号のステレオ・エンコードを実行する段階を含んでいてもよい。
【0033】
前記ステレオ・エンコード・モジュールが第一の構成に従って動作する例示的実施形態によれば、前記K個の入力オーディオ信号の二つをエンコードしてミッド信号および出力オーディオ信号を生成する段階は:
前記二つの入力オーディオ信号をミッド信号である第一の信号およびサイド信号である第二の信号に変換する段階と;
前記第一および第二の信号を第一および第二の波形符号化された信号にそれぞれ波形符号化する段階であって、前記第二の信号は第一の周波数まで波形符号化され、前記第一の信号は前記第一の周波数より大きい第二の周波数まで波形符号化される、段階と;
前記第一の周波数より上の周波数について、前記K個の入力オーディオ信号の前記二つのスペクトル・データの再構成を可能にするパラメトリック・ステレオ・パラメータを抽出するために、前記二つの入力オーディオ信号をパラメトリック・ステレオ・エンコードにかける段階と;
前記第一および第二の波形符号化された信号および前記パラメトリック・ステレオ・パラメータを前記データ・ストリーム中に含める段階とを含む。
【0034】
例示的実施形態によれば、本方法はさらに:
前記第一の周波数より下の周波数について、ミッド信号である前記波形符号化された第一の信号に重み付け因子aを乗算し、乗算の結果を前記第二の波形符号化された信号から減算することによって、サイド信号である前記波形符号化された第二の信号を相補信号に変換する段階と;
前記重み付けパラメータaを前記データ・ストリーム中に含める段階とを含む。
【0035】
例示的実施形態によれば、本方法はさらに:
前記第二の周波数より上の前記第一の信号の高周波再構成を可能にする高周波再構成パラメータを生成するために、ミッド信号である前記第一の信号を高周波再構成エンコードにかける段階と;
前記高周波再構成パラメータを前記データ・ストリーム中に含める段階とを含む。
【0036】
前記ステレオ・エンコード・モジュールが第二の構成に従って動作する例示的実施形態によれば、前記K個の入力オーディオ信号の二つをエンコードしてミッド信号および出力オーディオ信号を生成する段階は:
前記二つの入力オーディオ信号を、ミッド信号である第一の信号およびサイド信号である第二の信号に変換する段階と;
前記第一および第二の信号をそれぞれ第一および第二の波形符号化された信号に波形符号化する段階であって、前記第一および第二の信号は第二の周波数まで波形符号化される、段階と;
前記第一および第二の波形符号化された信号を含める段階とを含む。
【0037】
例示的実施形態によれば、本方法はさらに:
ミッド信号である前記波形符号化された第一の信号に重み付け因子aを乗算し、乗算の結果を前記第二の波形符号化された信号から減算することによって、サイド信号である前記波形符号化された第二の信号を相補信号に変換する段階と;
前記重み付けパラメータaを前記データ・ストリーム中に含める段階とを含む。
【0038】
例示的実施形態によれば、本方法はさらに:
前記第二の周波数より上の前記K個の入力オーディオ信号の前記二つの高周波再構成を可能にする高周波再構成パラメータを生成するために、前記K個の入力オーディオ信号の前記二つのそれぞれを、高周波再構成エンコードにかける段階と;
前記高周波再構成パラメータを前記データ・ストリーム中に含める段階とを含む。
【0039】
例示的実施形態は、例示的実施形態のエンコード方法を実行するための命令をもつコンピュータ可読媒体を有するコンピュータ・プログラム・プロダクトにも関する。コンピュータ可読媒体は非一時的なコンピュータ可読媒体であってもよい。
【0040】
例示的実施形態は、K個のチャネルに対応するマルチチャネル・オーディオ・コンテンツを表わす複数の入力オーディオ信号をエンコードするためのエンコーダにも関する。当該エンコーダは:
K個のチャネルをもつスピーカー構成のチャネルに対応するK個の入力オーディオ信号を受領するよう構成された受領コンポーネントと;
前記K個の入力オーディオ信号から、M個のチャネルをもつスピーカー構成での再生に好適なM個のミッド信号およびK-M個の出力オーディオ信号を生成するよう構成された第一のエンコード・モジュールであって、1<M<K≦2Mであり、
前記ミッド信号の2M-K個は、前記入力オーディオ信号の2M-K個に対応し、
前記第一のエンコード・モジュールは、残りのK-M個のミッド信号およびK-M個の出力オーディオ信号を生成するよう構成されたK-M個のステレオ・エンコード・モジュールを有しており、各ステレオ・エンコード・モジュールは:
前記K個の入力オーディオ信号のうちの二つをエンコードしてミッド信号および出力オーディオ信号を生成するよう構成されており、前記出力オーディオ信号は、サイド信号または前記ミッド信号および重み付けパラメータaと一緒にサイド信号の再構成を許容する相補信号である、第一のエンコード・モジュールと;
前記M個のミッド信号をM個の追加的な出力オーディオ・チャネルにエンコードするよう構成された第二のエンコード・モジュールと;
前記K-M個の出力オーディオ信号および前記M個の追加的な出力オーディオ・チャネルをデコーダに伝送するためのデータ・ストリームに含めるよう構成された多重化コンポーネントとを有する。
【実施例】
【0041】
〈III.例示的実施形態〉
左(L)および右(R)チャネルをもつステレオ信号は、異なるステレオ符号化方式に対応して異なる形で表現されうる。本稿で左右符号化「L-R符号化」と称される第一の符号化方式によれば、ステレオ変換コンポーネントの入力チャネルL、Rおよび出力チャネルA、Bは、次式によって関係付けられる:
L=A; R=B
換言すれば、LR符号化は単に入力チャネルの素通しを含意する。LおよびRチャネルによって表現されるステレオ信号はL/R表現をもつまたはL/R形式であるといわれる。
【0042】
本稿で和差符号化(またはミッド‐サイド符号化「MS符号化」)と称される第二の符号化方式によれば、ステレオ変換コンポーネントの入力および出力チャネルは、次式によって関係付けられる:
A=0.5(L+R); B=0.5(L-R)
換言すれば、MS符号化は、入力チャネルの和と差を計算することに関わる。これは本稿では、和差変換を実行すると称される。このため、チャネルAは第一および第二のチャネルLおよびRのミッド信号(和信号M)と見なされてもよく、チャネルBは第一および第二のチャネルLおよびRのサイド信号(差信号)と見なされてもよい。ステレオ信号が和差符号化にかけられた場合、該信号はミッド/サイド(M/S)表現をもつまたはミッド/サイド(M/S)形式であるといわれる。
【0043】
デコーダの観点からは、対応する式は
L=(A+B); R=(A-B)
である。
【0044】
ミッド/サイド形式であるステレオ信号をL/R形式に変換することは、本稿では、逆和差変換を実行することと称される。
【0045】
ミッド‐サイド符号化方式は、本稿で「向上MS符号化」(または向上された和差符号化)と称される第三の符号化方式に一般化されうる。向上MS符号化では、ステレオ・変換コンポーネントの入力および出力チャネルは、次式によって関係付けられる:
A=0.5(L+R); B=0.5(L(1-a)-R(1+a))
L=(1+a)A+B; R=(1-a)A-B
ここで、aは重み付けパラメータである。重み付けパラメータは時間および周波数で可変であってもよい。また、この場合、信号Aはミッド信号と考えられてもよく、信号Bは修正されたサイド信号または相補サイド信号と考えられてもよい。特に、a=0については、向上されたMS符号化方式はミッド‐サイド符号化に帰着する。ステレオ信号が向上されたミッド/サイド符号化にかけられた場合、該信号はミッド/相補/a表現(M/c/a)をもつまたはミッド/相補/a形式であるといわれる。
【0046】
上記によれば、相補信号は、対応するミッド信号にパラメータaを乗算し、乗算の結果を相補信号に加えることによって、サイド信号に変換されうる。
【0047】
図1は、例示的実施形態に基づくデコード・システムにおけるデコード方式100を示している。データ・ストリーム120が受領コンポーネント102によって受領される。データ・ストリーム120は、K個のチャネルに対応するエンコードされたマルチチャネル・オーディオ・コンテンツを表わす。受領コンポーネント102は、データ・ストリーム120を多重分離し、量子化解除して、M個の入力オーディオ信号122およびK-M個の入力オーディオ信号124を形成してもよい。ここで、M<Kであると想定される。
【0048】
M個の入力オーディオ信号122は第一のデコード・モジュール104によってデコードされてM個のミッド信号126となる。M個のミッド信号はM個のチャネルをもつスピーカー構成での再生に好適である。第一のデコード・モジュール104は一般に、M個のチャネルに対応するオーディオ・コンテンツをデコードするための任意の既知のデコード方式に従って動作しうる。こうして、デコード・システムがレガシーまたは低計算量デコード・システムであってM個のチャネルをもつスピーカー構成での再生をサポートするだけのものである場合には、M個のミッド信号は、もとのオーディオ・コンテンツのK個のチャネルすべてをデコードする必要なく、スピーカー構成のM個のチャネルで再生されうる。
【0049】
M<N≦Kとして、Nチャネルをもつスピーカー構成での再生をサポートするデコード・システムの場合、デコード・システムは、M個のミッド信号126と、K-M個の入力オーディオ信号124の少なくとも一部とを第二のデコード・モジュール106にかけてもよい。第二のデコード・モジュール106は、N個のチャネルをもつスピーカー構成での再生に好適なN個の出力オーディオ信号128を生成する。
【0050】
K-M個の入力オーディオ信号124のそれぞれは、二つの代替の一方に従ってM個のミッド信号126の一つに対応する。第一の代替によれば、入力オーディオ信号124はM個のミッド信号126の一つに対応するサイド信号であり、ミッド信号および対応する入力信号はミッド/サイド形式で表現されたステレオ信号をなす。第二の代替によれば、入力オーディオ信号124はM個のミッド信号126の一つに対応する相補信号であり、ミッド信号および対応する入力信号はミッド/相補/a形式で表現されたステレオ信号をなす。このように、第二の代替によれば、サイド信号はミッド信号および重み付けパラメータaと一緒になった相補信号から再構成されうる。第二の代替が使われるときは、重み付けパラメータaはデータ・ストリーム120に含まれる。
【0051】
下記でより詳細に説明するように、第二のデコード・モジュール106のN個の出力オーディオ信号128のいくつかは、M個のミッド信号126のいくつかへの直接対応であってもよい。さらに、第二のデコード・モジュールは、一つまたは複数のステレオ・デコード・モジュールを有していてもよく、そのそれぞれがM個のミッド信号126およびその対応する入力オーディオ信号124に作用して、一対の出力オーディオ信号を生成する。生成される出力オーディオ信号の各対は、スピーカー構成のN個のチャネルのうちの二つでの再生のために好適である。
【0052】
図2は、
図1のデコード方式100に対応するエンコード・システムのエンコード方式200を示している。K>2であるとして、K個のチャネルをもつスピーカー構成のチャネルに対応するK個の入力オーディオ信号228は受領コンポーネント(図示せず)によって受領される。K個の入力オーディオ信号は、第一のエンコード・モジュール206に入力される。K個の入力オーディオ信号228に基づいて、第一のエンコード・モジュール206は、M個のチャネルをもつスピーカー構成での再生に好適なM個のミッド信号226と、K-M個の出力オーディオ信号224とを生成する。ここで、M<K≦2Mである。
【0053】
一般に、のちにより詳細に説明するように、M個のミッド信号226のいくつか、典型的にはミッド信号226の2M-K個は、K個の入力オーディオ信号228の個々のものに対応する。換言すれば、第一のエンコード・モジュール206はM個のミッド信号226のいくつかを、K個の入力信号228のいくつかを素通しさせることによって生成する。
【0054】
M個のミッド信号226の残りのK-M個は一般に、第一のエンコード・モジュール206によって素通しにされていない入力オーディオ信号228をダウンミックスする、すなわち線形結合することによって生成される。特に、第一のエンコード・モジュールは、それらの入力オーディオ信号228をペアごとにダウンミックスしてもよい。この目的のために、第一のエンコード・モジュールは一つまたは複数の(典型的にはK-M個の)ステレオ・エンコード・モジュールを有していてもよい。各ステレオ・エンコード・モジュールは入力オーディオ信号228の対に対して作用して、ミッド信号(すなわち、ダウンミックスまたは和信号)および対応する出力オーディオ信号224を生成する。出力オーディオ信号224は、上記で論じた二つの代替の任意のものに従ったミッド信号に対応する。すなわち、出力オーディオ信号224は、サイド信号またはミッド信号および重み付けパラメータaと一緒にサイド信号の再構成を許容する相補信号である。後者の場合、重み付けパラメータaはデータ・ストリーム220に含められる。
【0055】
M個のミッド信号226は次いで、第二のエンコード・モジュール204に入力され、そこで、M個の追加的な出力オーディオ信号222にエンコードされる。第二のエンコード・モジュール204は、M個のチャネルに対応するオーディオ・コンテンツをエンコードするための任意の既知のエンコード方式に従って動作してもよい。
【0056】
第一のエンコード・モジュールからのN-M個の出力オーディオ信号224およびM個の追加的な出力オーディオ信号222は次いで量子化されて、多重化コンポーネント202によって、デコーダへの伝送のためにデータ・ストリーム220に含められる。
【0057】
図1~
図2を参照して述べたエンコード/デコード方式では、Kチャネル・オーディオ・コンテンツのMチャネル・オーディオ・コンテンツへの適切なダウンミックスがエンコーダ側で(第一のエンコード・モジュール206によって)実行される。このようにして、M個のチャネル、あるいはより一般にM≦N≦KとしてN個のチャネルをもつチャネル構成での再生のためのKチャネル・オーディオ・コンテンツの効率的なデコードが達成される。
【0058】
デコーダの例示的実施形態について、
図3~
図8を参照して以下で述べる。
【0059】
図3は、N個のチャネルをもつスピーカー構成での再生のための複数の入力オーディオ信号のデコードのために構成されているデコーダ300を示している。デコーダ300は、受領コンポーネント302と、第一のデコード・モジュール104と、ステレオ・デコード・モジュール306を含む第二のデコード・モジュール106とを有する。第二のデコード・モジュール106はさらに、高周波拡張コンポーネント308を有していてもよい。デコーダ300はステレオ変換コンポーネント310をも有していてもよい。
【0060】
デコーダ300の動作について以下で説明する。受領コンポーネント302はデータ・ストリーム320、すなわちビットストリームをエンコーダからを受領する。受領コンポーネント302は、たとえば、データ・ストリーム320をその構成要素部分に多重分離する多重分離コンポーネントと、受領されたデータの量子化解除のための量子化解除器とを有していてもよい。
【0061】
受領されたデータ・ストリーム320は、複数の入力オーディオ信号を含む。一般に、該複数の入力オーディオ信号は、K≧Nであるとして、K個のチャネルをもつスピーカー構成に対応するエンコードされたマルチチャネル・オーディオ・コンテンツに対応してもよい。
【0062】
特に、データ・ストリーム320は、M個の入力オーディオ信号322を含む。ここで、1<M<Nである。図示した例では、Mは7に等しく、七つの入力オーディオ信号322がある。しかしながら、他の例では、5など他の数であってもよい。さらに、データ・ストリーム320はN-M個のオーディオ信号323を含み、それからN-M個の入力オーディオ信号324がデコードされうる。図示した例では、Nは13に等しく、六つの追加的な入力オーディオ信号324がある。
【0063】
データ・ストリーム320はさらに、追加的なオーディオ信号321を有していてもよい。これは典型的にはエンコードされたLFEチャネルに対応する。
【0064】
一例によれば、N-M個のオーディオ信号323のうちの一対はN-M個の入力オーディオ信号324の一対をジョイント・エンコードしたものに対応してもよい。ステレオ変換コンポーネント310はN-M個のオーディオ信号324のそのような対をデコードして、N-M個の入力オーディオ信号324の対応する対を生成してもよい。たとえば、ステレオ変換コンポーネント310は、N-M個のオーディオ信号323の対にMSまたは向上MSデコードを適用することによってデコードを実行してもよい。
【0065】
M個の入力オーディオ信号322およびもし入手可能であれば追加的なオーディオ信号321は、第一のデコード・モジュール104に入力される。
図1を参照して論じたように、第一のデコード・モジュール104はM個の入力オーディオ信号322を、M個のチャネルをもつスピーカー構成での再生に好適なM個のミッド信号326にデコードする。本例において示されるように、M個のチャネルは中央前方スピーカー(C)、左前方スピーカー(L)、右前方スピーカー(R)、左サラウンド・スピーカー(LS)、右サラウンド・スピーカー(RS)、左天井スピーカー(LT)および右天井スピーカー(RT)に対応しうる。第一のデコード・モジュール104はさらに、追加的なオーディオ信号321を、典型的には低域効果LFEスピーカーに対応する出力オーディオ信号325にデコードする。
【0066】
図1を参照してさらに上記で論じたように、追加的な入力オーディオ信号324のそれぞれは、ミッド信号に対応するサイド信号またはミッド信号に対応する相補信号であるという点でミッド信号326の一つに対応する。例として、入力オーディオ信号324の第一のものは、左前方スピーカーに関連付けられたミッド信号326に対応してもよく、入力オーディオ信号324の第二のものは、右前方スピーカーに関連付けられたミッド信号326に対応してもよい、など。
【0067】
M個のミッド信号326およびN-M個のオーディオ入力オーディオ信号324は、Nチャネル・スピーカー構成での再生に好適なN個のオーディオ信号328を生成する第二のデコード・モジュール106に入力される。
【0068】
第二のデコード・モジュール106は、ミッド信号326のうち対応する残差信号をもたないものを、任意的には高周波再構成コンポーネント308を介して、Nチャネル・スピーカー構成の対応するチャネルにマッピングする。たとえば、Mチャネル・スピーカー構成の中央前方スピーカー(C)に対応するミッド信号は、Nチャネル・スピーカー構成の中央前方スピーカー(C)にマッピングされてもよい。高周波再構成コンポーネント308は、
図4および
図5を参照して後述するものと同様である。
【0069】
第二のデコード・モジュール106は、N-M個のステレオ・デコード・モジュール306を有する。ミッド信号326および対応する入力オーディオ信号324からなる各対について一つである。一般に、各ステレオ・デコード・モジュール306はジョイント・ステレオ・デコードを実行して、Nチャネル・スピーカー構成のチャネルのうちの二つにマッピングするステレオ・オーディオ信号を生成する。例として、7チャネル・スピーカー構成の左前方スピーカー(L)に対応するミッド信号およびその対応する入力オーディオ信号324を入力として取るステレオ・デコード・モジュール306は、13チャネル・スピーカー構成の二つの左前方スピーカー(「Lワイド〔Lwide〕」および「Lスクリーン〔Lscreen〕」)にマッピングするステレオ・オーディオ信号を生成する。
【0070】
ステレオ・デコード・モジュール306は、エンコーダ/デコーダ・システムが動作するデータ伝送レート(ビットレート)、すなわちデコーダ300がデータを受領するビットレートに依存して、少なくとも二つの構成において動作可能である。第一の構成は、たとえば、ステレオ・デコード・モジュール306当たり約32~48kbpsのような中程度のビットレートに対応してもよい。第二の構成は、たとえば、ステレオ・デコード・モジュール306当たり48kbpsを超えるビットレートのような高いビットレートに対応してもよい。デコーダ300は、どの構成を使うべきかに関する指示を受領する。たとえば、そのような指示は、エンコーダによって、データ・ストリーム320中の一つまたは複数のビットを介してデコーダ300に信号伝達されてもよい。
【0071】
図4は、中程度のビットレートに対応する第一の構成に従って機能するときのステレオ・デコード・モジュール306を示している。ステレオ・デコード・モジュール306は、ステレオ変換コンポーネント440と、さまざまな時間/周波数変換コンポーネント442、446、454と、高周波再構成(HFR)コンポーネント448と、ステレオ・アップミックス・コンポーネント452とを有する。ステレオ・デコード・モジュール306は、ミッド信号326および対応する入力オーディオ信号324を入力として取るよう制約されている。ミッド信号326および入力オーディオ信号324は周波数領域、典型的には修正離散コサイン変換(MDCT)領域で表現されていることが想定される。
【0072】
中程度のビットレートを達成するために、少なくとも入力オーディオ信号324の帯域幅が制限される。より正確には、入力オーディオ信号324は、第一の周波数k1までの周波数に対応するスペクトル・データを含む波形符号化された信号である。ミッド信号326は、第一の周波数k1より大きいある周波数までの周波数に対応するスペクトル・データを含む波形符号化された信号である。いくつかの場合において、データ・ストリーム320において送られる必要のあるさらなるビットを節約するために、ミッド信号326の帯域幅も制限される。それにより、ミッド信号326は第一の周波数k1より大きい第二の周波数k2までのスペクトル・データを含む。
【0073】
ステレオ変換コンポーネント440は、入力信号326、324をミッド/サイド表現に変換する。上記でさらに論じたように、ミッド信号326および対応する入力オーディオ信号324は、ミッド/サイド形式またはミッド/相補/a形式で表現されていてもよい。前者の場合、入力信号はすでにミッド/サイド形式なので、ステレオ変換コンポーネント440は入力信号326、324を何らの修正もなしに素通しにする。後者の場合、ステレオ変換コンポーネント440はミッド信号326を素通しにする。一方、相補信号である入力オーディオ信号324は、第一の周波数k1までの周波数についてのサイド信号に変換される。より正確には、ステレオ変換コンポーネント440は、ミッド信号326に重み付けパラメータa(これはデータ・ストリーム320から受領される)を乗算し、乗算の結果を入力オーディオ信号324に加えることによって、第一の周波数k1までの周波数についてのサイド信号を決定する。結果として、ステレオ変換コンポーネントはこのように、ミッド信号326および対応するサイド信号424を出力する。
【0074】
これに関連して、ミッド信号326および入力オーディオ信号324がミッド/サイド形式で受領される場合、信号324、326の混合はステレオ変換コンポーネント440において行なわれないことを注意しておく価値がある。結果として、ミッド信号326および入力オーディオ信号324は異なる変換サイズをもつMDCT変換によって符号化されうる。しかしながら、ミッド信号326および入力オーディオ信号324がミッド/相補/a形式で受領される場合には、ミッド信号326および入力オーディオ信号324のMDCT符号化は、同じ変換サイズに制約される。
【0075】
ミッド信号326が限られた帯域幅をもつ場合、すなわち、ミッド信号326のスペクトル内容が第二の周波数k2までの周波数に制約されている場合には、ミッド信号326は、高周波再構成コンポーネント448によって高周波再構成(HFR)にかけられる。HFRとは、一般に、信号の低周波数(この場合、第二の周波数k2より下の周波数)についてのスペクトル内容およびデータ・ストリーム320においてエンコーダから受領されるパラメータに基づいて高周波数(この場合、第二の周波数k2より上の周波数)についての信号のスペクトル内容を再構成するパラメトリックな技法を意味する。そのような高周波再構成技法は当技術分野において知られており、たとえばスペクトル帯域複製(SBR)技法を含む。HFRコンポーネント448はこうして、システムにおいて表現される最大周波数までのスペクトル内容をもつミッド信号426を出力する。ここで、第二の周波数k2より上のスペクトル内容はパラメトリックに再構成される。
【0076】
高周波再構成コンポーネント448は典型的には直交ミラー・フィルタ(QMF)領域で動作する。したがって、高周波再構成を実行する前に、ミッド信号326および対応するサイド信号424はまず、典型的には逆MDCT変換を実行する時間/周波数変換コンポーネント442によって時間領域に変換され、次いで時間/周波数変換コンポーネント446によってQMF領域に変換される。
【0077】
ミッド信号426およびサイド信号424は次いで、L/R形式で表わされたステレオ信号428を生成するステレオ・アップミックス・コンポーネント452に入力される。サイド信号424は第一の周波数k1までの周波数についてのスペクトル内容をもつのみであり、ステレオ・アップミックス・コンポーネント452は第一の周波数k1より下と上の周波数を異なる仕方で扱う。
【0078】
より詳細には、第一の周波数k1までの周波数については、ステレオ・アップミックス・コンポーネント452はミッド信号426およびサイド信号424をミッド/サイド形式からL/R形式に変換する。換言すれば、ステレオ・アップミックス・コンポーネント452は、第一の周波数k1までの周波数については逆和差変換を実行する。
【0079】
サイド信号424についてスペクトル・データが提供されない第一の周波数k1より上の周波数については、ステレオ・アップミックス・コンポーネント452はステレオ信号428の第一および第二の成分を、ミッド信号426からパラメトリックに再構成する。一般に、ステレオ・アップミックス・コンポーネント452は、データ・ストリーム320を介して、エンコーダ側でこの目的のために抽出されたパラメータを受領し、これらのパラメータを再構成のために利用する。一般に、パラメトリック・ステレオ再構成のための任意の既知の技法が使用されうる。
【0080】
上記に鑑み、ステレオ・アップミックス・コンポーネント452によって出力されるステレオ信号428はこのように、システムにおいて表現される最大周波数までのスペクトル内容をもつ。ここで、第一の周波数k1より上のスペクトル内容はパラメトリックに再構成される。HFRコンポーネント448と同様に、ステレオ・アップミックス・コンポーネント452は典型的にはQMF領域で動作する。よって、ステレオ信号428は、時間領域で表わされたステレオ信号328を生成するために、時間/周波数変換コンポーネント454によって時間領域に変換される。
【0081】
図5は、高ビットレートに対応する第二の構成に従って動作するときのステレオ・デコード・モジュール306を示している。ステレオ・デコード・モジュール306は第一のステレオ変換コンポーネント540、さまざまな時間/周波数変換コンポーネント542、546、554、第二のステレオ変換コンポーネント452および高周波再構成(HFR)コンポーネント548a、548bを有する。ステレオ・デコード・モジュール306は、ミッド信号326および対応する入力オーディオ信号324を入力として取るよう制約されている。ミッド信号326および入力オーディオ信号324が周波数領域、典型的には修正離散コサイン変換(MDCT)領域で表現されることが想定される。
【0082】
高ビットレートの場合、入力信号326、324の帯域幅に関する制約は、中程度のビットレートの場合とは異なる。より正確には、ミッド信号326および入力オーディオ信号324は、第二の周波数k2までの周波数に対応するスペクトル・データを含む波形符号化された信号である。いくつかの場合には、第二の周波数k2はシステムによって表わされる最大周波数に対応してもよい。他の場合には、第二の周波数k2はシステムによって表わされる最大周波数より低くてもよい。
【0083】
ミッド信号326および入力オーディオ信号324は、ミッド/サイド表現への変換のために第一のステレオ変換コンポーネント540に入力される。第一のステレオ変換コンポーネント540は
図4のステレオ変換コンポーネント440と同様である。違いは、入力オーディオ信号324が相補信号の形である場合、第一のステレオ変換コンポーネント540は、第二の周波数k
2までの周波数について、相補信号をサイド信号に変換するということである。よって、ステレオ変換コンポーネント540は、いずれも第二の周波数までのスペクトル内容をもつミッド信号326および対応するサイド信号524を出力する。
【0084】
ミッド信号326および対応するサイド信号524は次いで第二のステレオ変換コンポーネント552に入力される。第二のステレオ変換コンポーネント552はミッド信号326およびサイド信号524の和および差を形成して、ミッド信号326およびサイド信号524をミッド/サイド形式からL/R形式に変換する。換言すれば、第二のステレオ変換コンポーネントは、第一の成分528aおよび第二の成分528bをもつステレオ信号を生成するために逆和差変換を実行する。
【0085】
好ましくは、第二のステレオ変換コンポーネント552は時間領域で動作する。したがって、第二のステレオ変換コンポーネント552に入力されるのに先立ち、ミッド信号326およびサイド信号524は時間/周波数変換コンポーネント542によって周波数領域(MDCT領域)から時間領域に変換されてもよい。代替として、第二のステレオ変換コンポーネント552はQMF領域で動作してもよい。そのような場合、
図5のコンポーネント546および552の順序は、逆にされる。これは、第二のステレオ変換コンポーネント552において生起する混合がミッド信号326および入力オーディオ信号324に関するMDCT変換サイズに対してさらなる制約を課さないという点で有利である。さらに上記で論じたように、ミッド信号326および入力オーディオ信号324がミッド/サイド形式で受領される場合、それらは異なる変換サイズを使ってMDCT変換によって符号化されてもよい。
【0086】
第二の周波数k
2が最高の表現される周波数より低い場合には、ステレオ信号の第一および第二の成分528a、528bは、高周波再構成コンポーネント548a、548bによって高周波再構成(HFR)にかけられてもよい。高周波再構成コンポーネント548a、548bは
図4の高周波再構成コンポーネント448と同様である。しかしながら、この場合、高周波再構成パラメータの第一の集合がデータ・ストリーム230を介して受領され、ステレオ信号の第一の成分528aの高周波再構成において使用され、高周波再構成パラメータの第二の集合がデータ・ストリーム230を介して受領され、ステレオ信号の第二の成分528bの高周波再構成において使用されることを注意しておく価値がある。よって、高周波再構成コンポーネント548a、548bは、システムにおいて表現される最大周波数までのスペクトル・データを含むステレオ信号の第一および第二の成分530a、530bを出力する。ここで、第二の周波数k
2より上のスペクトル内容はパラメトリックに再構成される。
【0087】
好ましくは、高周波再構成はQMF領域で実行される。したがって、高周波再構成にかけられるのに先立って、ステレオ信号の第一および第二の成分528a、528bは時間/周波数変換コンポーネント546によってQMF領域に変換されてもよい。
【0088】
高周波再構成コンポーネント548から出力されるステレオ信号の第一および第二の成分530a、530bは次いで、時間領域において表現されるステレオ信号328を生成するために時間/周波数変換コンポーネント554によって時間領域に変換されてもよい。
【0089】
図6は、11.1チャネルをもつスピーカー構成での再生のためのデータ・ストリーム620に含まれる複数の入力オーディオ信号のデコードのために構成されているデコーダ600を示している。デコーダ600の構造は一般に、
図3に示したものと同様であってもよい。違いは、13.1チャネルをもつスピーカー構成が示される
図3と比べ、スピーカー構成のチャネルの示される数が少なく、LFEスピーカー、三つの前方スピーカー(中央C、左Lおよび右R)、四つのサラウンド・スピーカー(左側方Lside、左後方Lback、右側方Rside、右後方Rback)および四つの天井スピーカー(左上前方LTF、左上後方LTB、右上前方RTF、右上後方RTB)をもつということである。
【0090】
図6では、第一のデコード・コンポーネント104は、チャネルC、L、R、LS、RS、LTおよびRTのスピーカー構成に対応しうる七つのミッド信号626を出力する。さらに、四つの追加的な入力オーディオ信号624a~dがある。追加的な入力オーディオ信号624a~dはそれぞれミッド信号626の一つに対応する。例として、入力オーディオ信号624aは、LSミッド信号に対応するサイド信号または相補信号であってもよく、入力オーディオ信号624bは、RSミッド信号に対応するサイド信号または相補信号であってもよく、入力オーディオ信号624cは、LTミッド信号に対応するサイド信号または相補信号であってもよく、入力オーディオ信号624dは、RTミッド信号に対応するサイド信号または相補信号であってもよい。
【0091】
図示した実施形態では、第二のデコード・モジュール106は
図4および
図5に示される型の四つのステレオ・デコード・モジュール306を有する。各ステレオ・デコード・モジュール306は、ミッド信号626のうちの一つおよび対応する追加的な入力オーディオ信号624a~dを入力として取り、ステレオ・オーディオ信号328を出力する。たとえば、LSミッド信号および入力オーディオ信号624aに基づいて、第二のデコード・モジュール106はLsideおよびLbackスピーカーに対応するステレオ信号を出力してもよい。さらなる例は図から明らかである。
【0092】
さらに、第二のデコード・モジュール106は、ミッド信号626のうちの三つ、ここではC、L、Rチャネルに対応するミッド信号の素通しとして作用する。これらの信号のスペクトル帯域幅に依存して、第二のデコード・モジュール106は高周波再構成コンポーネント308を使って高周波再構成を実行してもよい。
【0093】
図7は、レガシーまたは低計算量のデコーダ700がいかにして、M個のチャネルをもつスピーカー構成での再生のために、K個のチャネルをもつスピーカー構成に対応するデータ・ストリーム720のマルチチャネル・オーディオ・コンテンツをデコードするかを示している。例として、Kは11または13に等しくてもよく、Mは7に等しくてもよい。デコーダ700は受領コンポーネント702と、第一のデコード・モジュール704と、高周波再構成モジュール712とを有する。
【0094】
図1のデータ・ストリーム120を参照してさらに述べたように、データ・ストリーム720は一般に、M個の入力オーディオ信号722(
図1および
図3の信号122および322参照)およびK-M個の追加的な入力オーディオ信号(
図1および
図3の信号124および324参照)を有していてもよい。任意的に、データ・ストリーム720は、典型的にはLFEチャネルに対応する追加的なオーディオ信号721を有していてもよい。デコーダ700はM個のチャネルをもつスピーカー構成に対応するので、受領コンポーネント702は、データ・ストリーム720からM個の入力オーディオ信号722(および存在すれば追加的なオーディオ信号721)を抽出するだけであり、残りのK-M個の追加的な入力オーディオ信号を破棄する。
【0095】
ここでは七つのオーディオ信号によって例示されているM個の入力オーディオ信号722および追加的なオーディオ信号は次いで第一のデコード・モジュール104に入力される。第一のデコード・モジュール104はM個の入力オーディオ信号722を、Mチャネル・スピーカー構成のチャネルに対応するM個のミッド信号726にデコードする。
【0096】
M個のミッド信号726が、システムによって表現される最大周波数より低いある周波数までのスペクトル内容しか含まない場合には、M個のミッド信号726は、高周波再構成モジュール712による高周波再構成にかけられてもよい。
【0097】
図8は、そのような高周波再構成モジュール712の例を示している。高周波モジュール712は高周波再構成コンポーネント848およびさまざまな時間/周波数変換コンポーネント842、846、854を有する。
【0098】
HFRモジュール712に入力されるミッド信号726は、HFRコンポーネント848による高周波再構成にかけられる。高周波再構成は好ましくはQMF領域において実行される。したがって、典型的にはMDCTスペクトルの形であるミッド信号726は、HFRコンポーネント848に入力されるのに先立ち、時間/周波数変換コンポーネント842によって時間領域に変換され、次いで、時間/周波数変換コンポーネント846によってQMF領域に変換されてもよい。
【0099】
HFRコンポーネント848は一般に、より高い周波数についてのスペクトル内容をパラメトリックに再構成するために、より低い周波数についての入力データのスペクトル内容を、データ・ストリーム720から受領されるパラメータと一緒に使うという点で、たとえば
図4および
図5のHFRコンポーネント448、548と同じ仕方で動作する。しかしながら、エンコーダ/デコーダ・システムのビットレートに依存して、HRFコンポーネント848は異なるパラメータを使ってもよい。
【0100】
図5を参照して説明したように、高ビットレートの場合について、対応する追加的な入力オーディオ信号をもつ各ミッド信号について、データ・ストリーム720は、HRFパラメータの第一の集合およびHRFパラメータの第二の集合を含む(
図5の項目548a、548bの記述を参照)。デコーダ700はミッド信号に対応する追加的な入力オーディオ信号を使わないものの、HFRコンポーネント848は、ミッド信号の高周波再構成を実行するときに、HRFパラメータの第一および第二の集合の組み合わせを使ってもよい。たとえば、高周波再構成コンポーネント848は、第一および第二の集合のHRFパラメータの平均または線形結合のようなダウンミックスを使ってもよい。
【0101】
このように、HFRコンポーネント854は、拡張されたスペクトル内容をもつミッド信号828を出力する。ミッド信号828は次いで、時間領域表現をもつ出力信号728を与えるために、時間/周波数変換コンポーネント854によって時間領域に変換されてもよい。
【0102】
エンコーダの例示的実施形態について、
図9~
図11を参照して以下で述べる。
【0103】
図9は、
図2の一般的構造のもとにはいるエンコーダ900を示している。エンコーダ900は、受領コンポーネント(図示せず)と、第一のエンコード/モジュール206と、第二のエンコード・モジュール204と、量子化および多重化コンポーネント902とを有する。第一のエンコード・モジュール206はさらに、高周波再構成(HFR)エンコード・コンポーネント908と、ステレオ・エンコード・モジュール906とを有していてもよい。デコーダ900はさらに、ステレオ変換コンポーネント910を有していてもよい。
【0104】
エンコーダ900の動作についてここで説明する。受領コンポーネントは、K個のチャネルをもつスピーカー構成のチャネルに対応するK個の入力オーディオ信号928を受領する。たとえば、K個のチャネルは、上記のような13チャネル構成のチャネルに対応していてもよい。さらに、典型的にはLFEチャネルに対応する追加的なチャネル925が受領されてもよい。K個のチャネルは第一のエンコード・モジュール206に入力され、該第一のエンコード・モジュール206がM個のミッド信号926およびK-M個の出力オーディオ信号924を生成する。
【0105】
第一のエンコード・モジュール206はK-M個のステレオ・エンコード・モジュール906を有する。K-M個のステレオ・エンコード・モジュール906のそれぞれは、K個の入力オーディオ信号のうちの二つを入力として取り、ミッド信号926の一つおよび出力オーディオ信号924の一つを生成する。これについてはのちにより詳細に述べる。
【0106】
第一のエンコード・モジュール206はさらに、ステレオ・エンコード・モジュール906の一つに入力されない残りの入力オーディオ信号を、M個のミッド信号926の一つに、任意的にはHFRエンコード・コンポーネント908を介して、マッピングする。HFRエンコード・コンポーネント908は
図10および
図11を参照して述べるものと同様である。
【0107】
M個のミッド信号926は、任意的には典型的にはLFEチャネルを表わす追加的な入力オーディオ信号925と一緒に、
図2を参照して上記したような第二のエンコード・モジュール204に入力される。M個の出力オーディオ・チャネル922にエンコードするためである。
【0108】
データ・ストリーム920に含められる前に、K-M個の出力オーディオ信号924は任意的に、ステレオ変換コンポーネント910によってペアごとにエンコードされてもよい。たとえば、ステレオ変換コンポーネント910は、K-M個の出力オーディオ信号のうちのある対を、MSまたは向上MS符号化を実行することによって、エンコードしてもよい。
【0109】
M個の出力オーディオ信号922(および追加的な入力オーディオ信号925から帰結する追加的な信号)およびK-M個の出力オーディオ信号924(またはステレオ・エンコード・コンポーネント910から出力されるオーディオ信号)は、量子化および多重化コンポーネント902によって量子化され、データ・ストリーム920に含められる。さらに、種々のエンコード・コンポーネントおよびモジュールによって抽出されるパラメータが量子化され、データ・ストリームに含められてもよい。
【0110】
ステレオ・エンコード・モジュール906は、エンコーダ/デコーダ・システムが動作するデータ伝送レート(ビットレート)、すなわちエンコーダ900がデータを伝送するビットレートに依存して少なくとも二つの構成において動作可能である。第一の構成は、たとえば中程度のビットレートに対応してもよい。第二の構成は、たとえば高いビットレートに対応してもよい。エンコーダ900は、どの構成を使うべきかに関する指示を、データ・ストリーム920中に含める。たとえば、そのような指示は、データ・ストリーム920における一つまたは複数のビットを介して信号伝達されてもよい。
【0111】
図10は、中程度のビットレートに対応する第一の構成に従って動作するときのステレオ・エンコード・モジュール906を示している。ステレオ・エンコード・モジュール906は第一のステレオ変換コンポーネント1040、さまざまな時間/周波数変換コンポーネント1042、1046、HFRエンコード・コンポーネント1048、パラメトリック・ステレオ・エンコード・コンポーネント1052および波形符号化コンポーネント1056を有する。ステレオ・エンコード・モジュール906はさらに、第二のステレオ変換コンポーネント1043を有していてもよい。ステレオ・エンコード・モジュール906は入力オーディオ信号928のうちの二つを入力として取る。入力オーディオ信号928は時間領域で表現されていることが想定される。
【0112】
第一のステレオ変換コンポーネント1040は、上記に基づく和および差を形成することによって、入力オーディオ信号928をミッド/サイド表現に変換する。よって、第一のステレオ変換コンポーネント940はミッド信号1026およびサイド信号1024を出力する。
【0113】
いくつかの実施形態では、ミッド信号1026およびサイド信号1024は次いで第二のステレオ変換コンポーネント1043によってミッド/相補/a表現に変換される。第二のステレオ変換コンポーネント1043は、データ・ストリーム920に含めるための重み付けパラメータaを抽出する。重み付けパラメータaは時間および周波数依存であってもよい。すなわち、データの異なる時間フレームおよび周波数帯域の間で異なってもよい。
【0114】
波形符号化コンポーネント1056はミッド信号1026およびサイドもしくは相補信号を波形符号化にかけ、それにより波形符号化されたミッド信号926および波形符号化されたサイドもしくは相補信号924を生成する。
【0115】
第二のステレオ変換コンポーネント1043および波形符号化コンポーネント1056は典型的にはMDCT領域で動作する。こうして、ミッド信号1026およびサイド信号1024は、第二のステレオ変換および波形符号化に先立って、時間/周波数変換コンポーネント1042によってMDCT領域に変換されてもよい。信号1026および1024が第二のステレオ変換1043にかけられない場合には、ミッド信号1026およびサイド信号1024について異なるMDCT変換サイズが使われてもよい。信号1026および1024が第二のステレオ変換1043にかけられる場合には、ミッド信号1026および相補信号1024について同じMDCT変換サイズが使われるべきである。
【0116】
中程度のビットレートを達成するために、少なくともサイドまたは相補信号924の帯域幅が制限される。より正確には、サイドまたは相補信号は第一の周波数k1までの周波数については波形符号化される。よって、波形符号化されたサイドまたは相補信号924は、第一の周波数k1までの周波数に対応するスペクトル・データを含む。ミッド信号1026は、第一の周波数k1より大きいある周波数までの周波数について波形符号化される。よって、ミッド信号926は、第一の周波数k1より大きいある周波数までの周波数に対応するスペクトル・データを含む。いくつかの場合には、データ・ストリーム920において送られる必要のあるさらなるビットを節約するために、ミッド信号926の帯域幅も制限される。それにより、波形符号化されたミッド信号926は、第一の周波数k1より大きい第二の周波数k2までのスペクトル・データを含むようになる。
【0117】
ミッド信号926の帯域幅が制限される場合、すなわち、ミッド信号926のスペクトル内容が第二の周波数k2までの周波数に制約される場合、ミッド信号1026はHFRエンコード・コンポーネント1048によるHFRエンコードにかけられる。一般に、HFRエンコード・コンポーネント1048はミッド信号1026のスペクトル内容を解析し、パラメータ1060の集合を抽出する。それらのパラメータが、低周波数(この場合、第二の周波数k2より上の周波数)についての信号のスペクトル内容に基づいて高周波数(この場合、第二の周波数k2より上の周波数)についての信号のスペクトル内容の再構成を可能にする。そのようなHFRエンコード技法は当技術分野において既知であり、たとえばスペクトル帯域複製(SBR)技法を含む。パラメータ1060の集合は、データ・ストリーム920に含められる。
【0118】
HFRエンコード・コンポーネント1048は典型的には直交ミラー・フィルタ(QMF)領域において動作する。したがって、HFRエンコードを実行するのに先立って、ミッド信号1026は時間/周波数変換コンポーネント1046によってQMF領域に変換されてもよい。
【0119】
入力オーディオ信号928(あるいは代替的にはミッド信号1046およびサイド信号1024)は、パラメトリック・ステレオ(PS)エンコード・コンポーネント1052においてパラメトリック・ステレオ・エンコードにかけられる。一般に、パラメトリック・ステレオ・エンコード・コンポーネント1052は入力オーディオ信号928を解析し、第一の周波数k1より上の周波数についてのミッド信号1026に基づいて入力オーディオ信号928の再構成を可能にするパラメータ1062を抽出する。パラメトリック・ステレオ・エンコード・コンポーネント1052はパラメトリック・ステレオ・エンコードのためのいかなる既知の技法を適用してもよい。
【0120】
パラメトリック・ステレオ・エンコード・コンポーネント1052は典型的にはQMF領域において動作する。したがって、入力オーディオ信号928(あるいは代替的にはミッド信号1046およびサイド信号1024)は、時間/周波数変換コンポーネント1046によってQMF領域に変換されてもよい。
【0121】
図11は、高ビットレートに対応する第二の構成に従って機能するときのステレオ・エンコード・モジュール906を示している。ステレオ・エンコード・モジュール906は、第一のステレオ変換コンポーネント1140と、さまざまな時間/周波数変換コンポーネント1142、1146と、HFRエンコード・コンポーネント1048a、1048bと、波形符号化コンポーネント1156とを有する。任意的に、ステレオ・エンコード・モジュール906は第二のステレオ変換コンポーネント1143を有していてもよい。ステレオ・エンコード・モジュール906は入力オーディオ信号928のうちの二つを入力として取る。入力オーディオ信号928が時間領域で表現されていることが想定される。
【0122】
第一のステレオ変換コンポーネント1140は、第一のステレオ変換コンポーネント1040と同様であり、入力オーディオ信号928をミッド信号1126およびサイド信号1124に変換する。
【0123】
いくつかの実施形態では、ミッド信号1126およびサイド信号1124は次いで、第二のステレオ変換コンポーネント1143によってミッド/相補/a表現に変換される。第二のステレオ変換コンポーネント1043は、データ・ストリーム920に含めるために重み付けパラメータaを抽出する。重み付けパラメータaは時間および周波数依存であってもよい。すなわち、データの異なる時間フレームおよび周波数帯域の間で異なってもよい。波形符号化コンポーネント1156は次いでミッド信号1126およびサイドもしくは相補信号を波形符号化にかけ、それにより波形符号化されたミッド信号926および波形符号化されたサイドもしくは相補信号924を生成する。
【0124】
波形符号化コンポーネント1156は
図10の波形符号化コンポーネント1056と同様である。ただし、出力信号926、924の帯域幅に関して重要な違いが現われる。より正確には、波形符号化コンポーネント1156は、第二の周波数k
2(これは典型的には、中程度のレートの場合に関して述べた第一の周波数k
1より大きい)までのミッド信号1126およびサイドもしくは相補信号の波形符号化を実行する。結果として、波形符号化されたミッド信号926および波形符号化されたサイドもしくは相補信号924は、第二の周波数k
2までの周波数に対応するスペクトル・データを含む。いくつかの場合には、第二の周波数k
2はシステムによって表現される最大周波数に対応してもよい。他の場合には、第二の周波数k
2はシステムによって表現される最大周波数より低くてもよい。
【0125】
第二の周波数k
2がシステムによって表現される最大周波数より低い場合、入力オーディオ信号928はHFRコンポーネント1148a、1148bによるHFRエンコードにかけられる。HFRエンコード・コンポーネント1148a、1148bのそれぞれは、
図10のHFRエンコード・コンポーネント1048と同様に動作する。よって、HFRエンコード・コンポーネント1148a、1148bはそれぞれパラメータの第一の集合1160aおよびパラメータの第二の集合1160bを生成する。これらは、低周波数(この場合、第二の周波数k
2より上の周波数)についての入力オーディオ信号928のスペクトル内容に基づいて高周波数(この場合、第二の周波数k
2より上の周波数)についてのそれぞれの入力オーディオ信号のスペクトル内容の再構成を可能にする。パラメータの第一および第二の集合1160a、1160bは、データ・ストリーム920に含められる。
【0126】
〈等価物、拡張、代替その他〉
上記の記述を吟味すれば、当業者には本開示のさらなる実施形態が明白になるであろう。本稿および図面は実施形態および例を開示しているが、本開示はこれらの個別的な例に制約されるものではない。付属の請求項によって定義される本開示の範囲から外れることなく数多くの修正および変形をなすことができる。請求項に現われる参照符号があったとしても、その範囲を限定するものと理解されるものではない。
【0127】
さらに、図面、本開示および付属の請求項の吟味から、本開示を実施する当業者によって、開示される実施形態に対する変形が理解され、実施されることができる。請求項において、「有する/含む」の語は他の要素またはステップを排除するものではなく、単数形の表現は複数を排除するものではない。ある種の施策が互いに異なる従属請求項に記載されているというだけの事実がこれらの施策の組み合わせが有利に使用できないことを示すものではない。
【0128】
上記で開示されたシステムおよび方法は、ソフトウェア、ファームウェア、ハードウェアまたはそれらの組み合わせとして実装されうる。ハードウェア実装では、上記の記述で言及された機能ユニットの間でのタスクの分割は必ずしも物理的なユニットへの分割に対応しない。逆に、一つの物理的コンポーネントが複数の機能を有していてもよく、一つのタスクが協働するいくつかの物理的コンポーネントによって実行されてもよい。ある種のコンポーネントまたはすべてのコンポーネントは、デジタル信号プロセッサまたはマイクロプロセッサによって実行されるソフトウェアとして実装されてもよく、あるいはハードウェアとしてまたは特定用途向け集積回路として実装されてもよい。そのようなソフトウェアは、コンピュータ記憶媒体(または非一時的な媒体)および通信媒体(または一時的な媒体)を含みうるコンピュータ可読媒体上で頒布されてもよい。当業者にはよく知られているように、コンピュータ記憶媒体という用語は、コンピュータ可読命令、データ構造、プログラム・モジュールまたは他のデータのような情報の記憶のための任意の方法または技術において実装される揮発性および不揮発性、リムーバブルおよび非リムーバブル媒体を含む。コンピュータ記憶媒体は、これに限られないが、RAM、ROM、EEPROM、フラッシュメモリまたは他のメモリ技術、CD-ROM、デジタル多用途ディスク(DVD)または他の光ディスク記憶、磁気カセット、磁気テープ、磁気ディスク記憶または他の磁気記憶デバイスまたは、所望される情報を記憶するために使用されることができ、コンピュータによってアクセスされることができる他の任意の媒体を含む。さらに、通信媒体が典型的にはコンピュータ可読命令、データ構造、プログラム・モジュールまたは他のデータを、搬送波または他の転送機構のような変調されたデータ信号において具現し、任意の情報送達媒体を含むことは当業者にはよく知られている。
【0129】
すべての図面は概略的であり、一般に、本開示を明快にするために必要な部分を示すのみである。一方、他の部分は省略されたり示唆されるだけであったりすることがある。特に断わりのない限り、同様の参照符号は異なる図面における同様の部分を指す。
【0130】
いくつかの態様を記載しておく。
〔態様1〕
N個のチャネルをもつスピーカー構成での再生のための複数の入力オーディオ信号をデコードするデコーダにおける方法であって、前記複数の入力オーディオ信号は少なくともN個のチャネルに対応するエンコードされたマルチチャネル・オーディオ・コンテンツを表わし、当該方法は:
M個の入力オーディオ信号を受領する段階であって、1<M≦N≦2Mである、段階と;
第一のデコード・モジュールにおいて、前記M個の入力オーディオ信号を、M個のチャネルをもつスピーカー構成での再生に好適なM個のミッド信号にデコードする段階と;
前記N個のチャネルのうちM個のチャネルを超過するそれぞれについて、
前記M個のミッド信号の一つに対応する追加的な入力オーディオ信号を受領し、前記追加的な入力オーディオ信号は、サイド信号または前記ミッド信号および重み付けパラメータaと一緒にサイド信号の再構成を許容する相補信号であり;
ステレオ・デコード・モジュールにおいて、前記追加的な入力オーディオ信号およびその対応するミッド信号をデコードして、前記スピーカー構成のN個のチャネルのうちの二つでの再生に好適な第一および第二のオーディオ信号を含むステレオ信号を生成する段階とを含み、
それにより、前記スピーカー構成のN個のチャネルでの再生のために好適なN個のオーディオ信号が生成される、
方法。
〔態様2〕
前記ステレオ・デコード・モジュールは、前記デコーダがデータを受領するビットレートに依存して少なくとも二つの構成において動作可能であり、当該方法はさらに、前記少なくとも二つの構成のどちらを前記追加的な入力オーディオ信号およびその対応するミッド信号をデコードする段階において使うかに関する指示を受領することを含む、態様1記載の方法。
〔態様3〕
追加的な入力オーディオ信号を受領する前記段階は:
前記M個のミッド信号の第一のものに対応する追加的な入力オーディオ信号および前記M個のミッド信号の第二のものに対応する追加的な入力オーディオ信号をジョイント・エンコードしたものに対応する一対のオーディオ信号を受領し;
前記一対のオーディオ信号をデコードして、前記M個のミッド信号の前記第一のものおよび前記第二のものにそれぞれ対応する前記追加的な入力オーディオ信号を生成することを含む、
態様1または2記載の方法。
〔態様4〕
前記追加的な入力オーディオ信号は第一の周波数までの周波数に対応するスペクトル・データを含む波形符号化された信号であり、前記対応するミッド信号は前記第一の周波数より大きいある周波数までの周波数に対応するスペクトル・データを含む波形符号化された信号であり、前記ステレオ・デコード・モジュールの前記第一の構成に従って前記追加的な入力オーディオ信号およびその対応するミッド信号をデコードする段階は:
前記追加的なオーディオ入力信号が相補信号の形である場合には、前記第一の周波数までの周波数についてのサイド信号を、前記ミッド信号に重み付けパラメータaを乗算し、該乗算の結果を前記相補信号に加えることによって計算する段階と;
前記ミッド信号および前記サイド信号をアップミックスして、第一および第二のオーディオ信号を含むステレオ信号を生成する段階であって、前記第一の周波数より下の周波数については、前記アップミックスは、前記ミッド信号および前記サイド信号の逆和差変換を実行し、前記第一の周波数より上の周波数については、前記アップミックスは前記ミッド信号のパラメトリック・アップミックスを実行することとを含む、段階とを含む、
態様2または3記載の方法。
〔態様5〕
前記波形符号化されたミッド信号は、第二の周波数までの周波数に対応するスペクトル・データを含み、当該方法はさらに:
パラメトリック・アップミックスを実行するのに先立って、高周波再構成を実行することによって前記第二の周波数より上の周波数範囲まで前記ミッド信号を拡張することを含む、
態様4記載の方法。
〔態様6〕
前記追加的な入力オーディオ信号および前記対応するミッド信号は、第二の周波数までの周波数に対応するスペクトル・データを含む波形符号化された信号であり、前記ステレオ・デコード・モジュールの前記第二の構成に従って前記追加的な入力オーディオ信号およびその対応するミッド信号をデコードする段階は:
前記追加的なオーディオ入力信号が相補信号の形である場合には、サイド信号を、前記ミッド信号に前記重み付けパラメータaを乗算し、該乗算の結果を前記相補信号に加えることによって計算する段階と;
前記ミッド信号および前記サイド信号の逆和差変換を実行し、第一および第二のオーディオ信号を含むステレオ信号を生成する段階とを含む、
態様2または3記載の方法。
〔態様7〕
前記ステレオ信号の前記第一および第二のオーディオ信号を、高周波再構成を実行することによって前記第二の周波数より上の周波数範囲まで拡張することをさらに含む、
態様6記載の方法。
〔態様8〕
M個のミッド信号がM個のチャネルをもつスピーカー構成で再生されるべきである場合、当該方法はさらに:
前記M個のミッド信号の少なくとも一つおよびその対応する追加的なオーディオ入力信号から生成されうる前記ステレオ信号の前記第一および第二のオーディオ信号に関連付けられている高周波再構成パラメータに基づいて高周波再構成を実行することによって、前記M個のミッド信号の前記少なくとも一つの、周波数範囲を拡張することをさらに含む、態様1ないし7のうちいずれか一項記載の方法。
〔態様9〕
前記追加的な入力オーディオ信号がサイド信号の形である場合、前記追加的な入力オーディオ信号および前記対応するミッド信号は、異なる変換サイズをもつ修正離散コサイン変換を使って波形符号化される、態様1ないし8のうちいずれか一項記載の方法。
〔態様10〕
態様1ないし9のうちいずれか一項記載の方法を実行するための命令をもつコンピュータ可読媒体を有するコンピュータ・プログラム・プロダクト。
〔態様11〕
N個のチャネルをもつスピーカー構成での再生のための複数の入力オーディオ信号をデコードするデコーダであって、前記複数の入力オーディオ信号は少なくともN個のチャネルに対応するエンコードされたマルチチャネル・オーディオ・コンテンツを表わし、当該デコーダは:
M個の入力オーディオ信号を受領するよう構成された受領コンポーネントであって、1<M≦N≦2Mである、受領コンポーネントと;
前記M個の入力オーディオ信号を、M個のチャネルをもつスピーカー構成での再生に好適なM個のミッド信号にデコードするよう構成された第一のデコード・モジュールと;
前記N個のチャネルのうちM個のチャネルを超過するそれぞれについてのステレオ符号化モジュールとを有しており、前記ステレオ符号化モジュールは:
前記M個のミッド信号の一つに対応する追加的な入力オーディオ信号を受領し、前記追加的な入力オーディオ信号は、サイド信号または前記ミッド信号および重み付けパラメータaと一緒にサイド信号の再構成を許容する相補信号であり;
前記追加的な入力オーディオ信号およびその対応するミッド信号をデコードして、前記スピーカー構成のN個のチャネルのうちの二つでの再生に好適な第一および第二のオーディオ信号を含むステレオ信号を生成するよう構成されており、
それにより、当該デコーダは、前記スピーカー構成のN個のチャネルでの再生のために好適なN個のオーディオ信号を生成するよう構成される、
デコーダ。
〔態様12〕
K個のチャネルに対応するマルチチャネル・オーディオ・コンテンツを表わす複数の入力オーディオ信号をエンコードするためのエンコーダにおける方法であって:
K個のチャネルをもつスピーカー構成のチャネルに対応するK個の入力オーディオ信号を受領する段階と;
前記K個の入力オーディオ信号から、M個のチャネルをもつスピーカー構成での再生に好適なM個のミッド信号およびK-M個の出力オーディオ信号を生成する段階であって、1<M<K≦2Mであり、
前記ミッド信号のうち2M-K個は、前記入力オーディオ信号のうちの2M-K個に対応し、
残りのK-M個のミッド信号および前記K-M個の出力オーディオ信号は、Mを超えるKの各値について、
ステレオ・エンコード・モジュールにおいて、前記K個の入力オーディオ信号のうちの二つをエンコードしてミッド信号および出力オーディオ信号を生成することによって生成され、前記出力オーディオ信号は、サイド信号または前記ミッド信号および重み付けパラメータaと一緒にサイド信号の再構成を許容する相補信号である、段階と;
第二のエンコード・モジュールにおいて、前記M個のミッド信号をM個の追加的な出力オーディオ・チャネルにエンコードする段階と;
前記K-M個の出力オーディオ信号および前記M個の追加的な出力オーディオ・チャネルをデコーダに伝送するためのデータ・ストリームに含める段階とを含む、
方法。
〔態様13〕
前記ステレオ・エンコード・モジュールは、当該エンコーダの所望されるビットレートに依存して少なくとも二つの構成で動作可能であり、当該方法はさらに、前記少なくとも二つの構成のどちらが前記K個の入力オーディオ信号のうちの二つをエンコードする段階において前記ステレオ・エンコード・モジュールによって使用されたかに関する指示を前記データ・ストリーム中に含める段階を含む、態様12記載の方法。
〔態様14〕
前記データ・ストリームに含めるのに先立ってペアごとに前記K-M個の出力オーディオ信号のステレオ・エンコードを実行する段階をさらに含む、態様12または13記載の方法。
〔態様15〕
前記ステレオ・エンコード・モジュールが第一の構成に従って動作する条件で、前記K個の入力オーディオ信号のうちの二つをエンコードしてミッド信号および出力オーディオ信号を生成する段階は:
前記二つの入力オーディオ信号をミッド信号である第一の信号およびサイド信号である第二の信号に変換する段階と;
前記第一および第二の信号を第一および第二の波形符号化された信号にそれぞれ波形符号化する段階であって、前記第二の信号は第一の周波数まで波形符号化され、前記第一の信号は前記第一の周波数より大きい第二の周波数まで波形符号化される、段階と;
前記第一の周波数より上の周波数について、前記K個の入力オーディオ信号のうちの前記二つのスペクトル・データの再構成を可能にするパラメトリック・ステレオ・パラメータを抽出するために、前記二つの入力オーディオ信号をパラメトリック・ステレオ・エンコードにかける段階と;
前記第一および第二の波形符号化された信号および前記パラメトリック・ステレオ・パラメータを前記データ・ストリーム中に含める段階とを含む、
態様12ないし14のうちいずれか一項記載の方法。
〔態様16〕
前記第一の周波数より下の周波数について、ミッド信号である前記波形符号化された第一の信号に重み付け因子aを乗算し、該乗算の結果を前記第二の波形符号化された信号から減算することによって、サイド信号である前記波形符号化された第二の信号を相補信号に変換する段階と;
前記重み付けパラメータaを前記データ・ストリーム中に含める段階とをさらに含む、
態様15記載の方法。
〔態様17〕
前記第二の周波数より上の前記第一の信号の高周波再構成を可能にする高周波再構成パラメータを生成するために、ミッド信号である前記第一の信号を高周波再構成エンコードにかける段階と;
前記高周波再構成パラメータを前記データ・ストリーム中に含める段階とをさらに含む、
態様15または16記載の方法。
〔態様18〕
前記ステレオ・エンコード・モジュールが第二の構成に従って動作する条件で、前記K個の入力オーディオ信号のうちの二つをエンコードしてミッド信号および出力オーディオ信号を生成する段階は:
前記二つの入力オーディオ信号を、ミッド信号である第一の信号およびサイド信号である第二の信号に変換する段階と;
前記第一および第二の信号をそれぞれ第一および第二の波形符号化された信号に波形符号化する段階であって、前記第一および第二の信号は第二の周波数まで波形符号化される、段階と;
前記第一および第二の波形符号化された信号を含める段階とを含む、
態様12ないし14のうちいずれか一項記載の方法。
〔態様19〕
ミッド信号である前記波形符号化された第一の信号に重み付け因子aを乗算し、該乗算の結果を前記第二の波形符号化された信号から減算することによって、サイド信号である前記波形符号化された第二の信号を相補信号に変換する段階と;
前記重み付けパラメータaを前記データ・ストリーム中に含める段階とをさらに含む、
態様18記載の方法。
〔態様20〕
前記第二の周波数より上の前記N個の入力オーディオ信号のうちの前記二つの高周波再構成を可能にする高周波再構成パラメータを生成するために、前記K個の入力オーディオ信号のうちの前記二つのそれぞれを、高周波再構成エンコードにかける段階と;
前記高周波再構成パラメータを前記データ・ストリーム中に含める段階とを含む、
態様18または19記載の方法。
〔態様21〕
態様12ないし20のうちいずれか一項記載の方法を実行するための命令をもつコンピュータ可読媒体を有するコンピュータ・プログラム・プロダクト。
〔態様22〕
K個のチャネルに対応するマルチチャネル・オーディオ・コンテンツを表わす複数の入力オーディオ信号をエンコードするためのエンコーダであって:
K個のチャネルをもつスピーカー構成のチャネルに対応するK個の入力オーディオ信号を受領するよう構成された受領コンポーネントと;
前記K個の入力オーディオ信号から、M個のチャネルをもつスピーカー構成での再生に好適なM個のミッド信号およびK-M個の出力オーディオ信号を生成するよう構成された第一のエンコード・モジュールであって、1<M<K≦2Mであり、
前記ミッド信号の2M-K個は、前記入力オーディオ信号の2M-K個に対応し、
前記第一のエンコード・モジュールは、残りのK-M個のミッド信号およびK-M個の出力オーディオ信号を生成するよう構成されたK-M個のステレオ・エンコード・モジュールを有しており、各ステレオ・エンコード・モジュールは:
前記K個の入力オーディオ信号のうちの二つをエンコードしてミッド信号および出力オーディオ信号を生成するよう構成されており、前記出力オーディオ信号は、サイド信号または前記ミッド信号および重み付けパラメータaと一緒にサイド信号の再構成を許容する相補信号である、第一のエンコード・モジュールと;
前記M個のミッド信号をM個の追加的な出力オーディオ・チャネルにエンコードするよう構成された第二のエンコード・モジュールと;
前記K-M個の出力オーディオ信号および前記M個の追加的な出力オーディオ・チャネルをデコーダに伝送するためのデータ・ストリームに含めるよう構成された多重化コンポーネントとを有する、
エンコーダ。