特許 6113282 パラメトリックオーディオオブジェクトコーディングのための残差コンセプトを採用するエンコーダ、デコーダ、システム、および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6113282

(24)【登録日】2017年3月24日

(45)【発行日】2017年4月12日

(54)【発明の名称】パラメトリックオーディオオブジェクトコーディングのための残差コンセプトを採用するエンコーダ、デコーダ、システム、および方法

(51)【国際特許分類】

   G10L 19/008 20130101AFI20170403BHJP

   G10L 19/00 20130101ALI20170403BHJP

【ＦＩ】

   G10L19/008 200

   G10L19/00 400Z

【請求項の数】25

【全頁数】43

(21)【出願番号】特願2015-525786(P2015-525786)

(86)(22)【出願日】2013年4月16日

(65)【公表番号】特表2015-529850(P2015-529850A)

(43)【公表日】2015年10月8日

(86)【国際出願番号】EP2013057932

(87)【国際公開番号】WO2014023443

(87)【国際公開日】20140213

【審査請求日】2015年4月10日

(31)【優先権主張番号】61/681,730

(32)【優先日】2012年8月10日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】500341779

【氏名又は名称】フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン

(74)【代理人】

【識別番号】110000121

【氏名又は名称】アイアット国際特許業務法人

(72)【発明者】

【氏名】カシュトナー，トルシュテン

(72)【発明者】

【氏名】ヘッレ，ユェルゲン

(72)【発明者】

【氏名】パウルス，ヨウニ

(72)【発明者】

【氏名】テレンティフ，レオン

(72)【発明者】

【氏名】ヘルムート，オリファー

(72)【発明者】

【氏名】フクス，ハラルト

【審査官】 安田 勇太

(56)【参考文献】

【文献】 国際公開第２０１０／１４９７００（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｌ １９／００ −１９／２６

(57)【特許請求の範囲】

【請求項1】

複数のオリジナルオーディオオブジェクト信号が符号化された３つ以上のダウンミックス信号を、前記複数のオリジナルオーディオ信号上の情報を示すパラメトリック副情報に基づいてアップミックスするよう構成され、前記３つ以上のダウンミックス信号をアップミックスすることにより、複数の第１推定オーディオオブジェクト信号を生成するパラメトリックデコード部（１１０）と、
１つ以上の残差信号に基づいて前記複数の第１推定オーディオオブジェクト信号のうちの１つ以上の第１推定オーディオオブジェクト信号を変更修正するよう構成され、前記１つ以上の第１推定オーディオオブジェクト信号を変更修正することにより複数の第２推定オーディオオブジェクト信号を生成する残差処理部（１２０）と、
を備えるデコーダ。

【請求項2】

請求項１に記載のデコーダにおいて、
前記残差処理部（１２０）は、少なくとも３つの残差信号に基づいて前記１つ以上の第１推定オーディオオブジェクト信号を変更修正するよう構成され、
前記デコーダは、前記複数の第２推定オーディオオブジェクト信号に基づいて、少なくとも３つのオーディオ出力チャンネルを生成する、
デコーダ。

【請求項3】

請求項１または２に記載のデコーダにおいて、
前記パラメトリックデコード部（１１０）は、第１のステップにおいて、前記３つ以上のダウンミックス信号を、前記複数のオリジナルオーディオオブジェクト信号に関する情報を示す前記パラマトリック副情報に基づきアップミックスすることにより、前記複数の第１推定オーディオオブジェクト信号を生成するよう構成され、
前記残差処理部（１２０）は、第２のステップにおいて、前記１つ以上の残差信号に基づいて前記１つ以上の第１推定オーディオオブジェクト信号を変更修正することにより、前記複数の第２推定オーディオオブジェクト信号を生成するよう構成され、
前記デコーダは、第３のステップにおいて、前記複数の第２推定オーディオオブジェクト信号のうち、前記残差処理部（１２０）によって決定された１つ以上の第２推定オーディオオブジェクト信号を、前記３つ以上のダウンミックス信号から除去して、３つ以上の変更ダウンミックス信号を得るよう構成されたダウンミックス変更部（１４０）をさらに備え、
前記パラメトリックデコード部（１１０）は、第４のステップにおいて、前記３つ以上の変更ダウンミックス信号に基づいて、前記１つ以上の第１推定オーディオオブジェクト信号を決定することにより、前記複数の第１推定オーディオオブジェクト信号を更新するよう構成された、
デコーダ。

【請求項4】

請求項３に記載のデコーダにおいて、
前記ダウンミックス変更部（１４０）は、

【数1】

を適用して、前記残差処理部（１２０）により決定された前記１つ以上の第２推定オーディオオブジェクト信号を、前記３つ以上のダウンミックス信号から除去して、３つ以上の変更ダウンミックス信号を得るよう構成され、
ここで、
Ｘは、変更修正される前の３つ以上のダウンミックス信号を示し、
Ｘ^〜_{ｎｏｎＥＡＯ}は、前記３つ以上の変更ダウンミックス信号を示し、
Ｄは、ダウンミキシング情報を示し、
Ｓ_ｅａｏは、前記１つ以上の第２推定オーディオオブジェクト信号からなり、
Ｚ^＊_ｅａｏは、前記１つ以上の第２推定オーディオオブジェクト信号の所在を示す、
デコーダ。

【請求項5】

請求項３または４に記載のデコーダにおいて、
前記デコーダは、２つ以上の反復ステップを実行する実施するよう構成され、
各反復ステップにおいて、前記パラメトリックデコード部（１１０）は、前記複数の第１推定オーディオオブジェクト信号のうちの１つの第１推定オーディオオブジェクト信号を決定するよう構成され、
その反復ステップにおいて、前記残差処理部（１２０）は、前記１つの第１推定オーディオオブジェクト信号を変更修正することにより、前記複数の第２推定オーディオオブジェクト信号のうちの１つの第２推定オーディオオブジェクト信号を決定するよう構成され、
前記その反復ステップにおいて、前記ダウンミックス変更部（１４０）は、前記３つ以上のダウンミックス信号から、前記１つの第２推定オーディオオブジェクト信号を除去し、前記３つ以上のダウンミックス信号を変更修正するよう構成され、
前記その反復ステップの次に続く反復ステップにおいて、前記パラメトリックデコード部（１１０）は、変更修正された前記３つ以上のダウンミックス信号に基づいて、前記複数の第１推定オーディオオブジェクト信号のうちの次の１つの第１推定オーディオオブジェクト信号を決定するよう構成された、
デコーダ。

【請求項6】

請求項１から５のいずれか１項に記載のデコーダにおいて、前記１つ以上の残差信号はそれぞれ、前記複数のオリジナルオーディオオブジェクト信号の１つと前記１つ以上の第１推定オーディオオブジェクト信号の１つとの間の差異を示す、デコーダ。

【請求項7】

請求項１または２に記載のデコーダにおいて、
前記残差処理部（１２０）は、前記複数の第１推定オーディオオブジェクト信号のうちの５つ以上を変更修正することにより、前記複数の第２推定オーディオオブジェクト信号を生成するよう構成され、
前記残差処理部（１２０）は、５つ以上の残差信号に基づいて、前記第１推定オーディオオブジェクト信号のうちの５つ以上を変更修正するよう構成された、
デコーダ。

【請求項8】

請求項１または２に記載のデコーダにおいて、前記複数の第２推定オーディオオブジェクト信号に基づいて、７つ以上のオーディオ出力チャンネルを生成するデコーダ。

【請求項9】

請求項１から８のいずれか１項に記載のデコーダにおいて、チャンネル推定係数を決定せずに前記複数の第２推定オーディオオブジェクト信号を決定するよう構成されたデコーダ。

【請求項10】

請求項１から９のいずれか１項に記載のデコーダにおいて、ＳＡＯＣデコーダとして構成されたデコーダ。

【請求項11】

複数のオリジナルオーディオオブジェクト信号が符号化された３つ以上のダウンミックス信号を、前記複数のオリジナルオーディオ信号上の情報を示すパラメトリック副情報に基づいてアップミックスするよう構成され、前記３つ以上のダウンミックス信号をアップミックスすることにより、複数の推定オーディオオブジェクト信号を生成するパラメトリックデコード部（２３０）と、
前記複数のオリジナルオーディオオブジェクトに基づいて、かつ前記複数の推定オーディオオブジェクト信号に基づいて、それぞれが前記複数のオリジナルオーディオオブジェクト信号のうちの１つのオリジナルオーディオオブジェクト信号と前記複数の推定オーディオオブジェクト信号のうちの１つの推定オーディオオブジェクト信号との間の差異を示す複数の残差信号を生成する残差推定部（２４０）と、
を備える残差信号生成器（２００）。

【請求項12】

請求項１１に記載の残差信号生成器（２００）において、
前記３つ以上のダウンミックス信号を変更修正して３つ以上の変更ダウンミックス信号を得るよう構成されたダウンミックス変更部（２５０）をさらに備え、
前記パラメトリックデコード部（２３０）は、前記３つ以上の変更ダウンミックス信号に基づいて、前記複数の推定オーディオオブジェクト信号のうちの１つ以上の推定オーディオオブジェクト信号を決定するよう構成された、
残差信号生成器。

【請求項13】

請求項１２に記載の残差信号生成器（２００）において、前記ダウンミックス変更部（２５０）は、前記複数のオリジナルオーディオオブジェクト信号のうちの１つ以上のオリジナルオーディオオブジェクト信号を、前記３つ以上のオリジナルダウンミックス信号から除去することにより、前記３つ以上のダウンミックス信号を変更修正して３つ以上の変更ダウンミックス信号を得るよう構成された、残差信号生成器。

【請求項14】

請求項１３に記載の残差信号生成器において、
前記ダウンミックス変更部（２５０）は、

【数2】

を適用して、前記１つ以上のオリジナルオーディオオブジェクト信号を、前記３つ以上のダウンミックス信号から除去して、３つ以上の変更ダウンミックス信号を得るよう構成され、
ここで、
Ｘは、変更修正される前の３つ以上のダウンミックス信号を示し、
Ｘ^〜_{ｎｏｎＥＡＯ}は、前記３つ以上の変更ダウンミックス信号を示し、
Ｄは、ダウンミキシング情報を示し、
Ｓ_ｅａｏは、前記１つ以上のオリジナルオーディオオブジェクト信号からなり、
Ｚ^＊_ｅａｏは、前記１つ以上のオリジナルオーディオオブジェクト信号の所在を示す、
残差信号生成器。

【請求項15】

請求項１２に記載の残差信号生成器（２００）において、前記ダウンミックス変更部（２５０）は、前記１つ以上の推定オーディオオブジェクト信号に基づいて、かつ前記複数の残差信号のうちの１つ以上の残差信号に基づいて、１つ以上の変更オーディオオブジェクト信号を生成することにより、さらに、前記１つ以上の変更オーディオオブジェクト信号を、前記３つ以上のオリジナルダウンミックス信号から除去することにより、前記３つ以上のオリジナルダウンミックス信号を変更修正して３つ以上の変更ダウンミックス信号を得るよう構成された、残差信号生成器。

【請求項16】

請求項１５に記載の残差信号生成器において、
前記ダウンミックス変更部（２５０）は、

【数3】

を適用して、前記１つ以上の変更オーディオオブジェクト信号を、前記３つ以上のダウンミックス信号から除去して、３つ以上の変更ダウンミックス信号を得るよう構成され、
ここで、
Ｘは、変更修正対象の３つ以上のダウンミックス信号を示し、
Ｘ^〜_{ｎｏｎＥＡＯ}は、前記３つ以上の変更ダウンミックス信号を示し、
Ｄは、ダウンミキシング情報を示し、
Ｓ_ｅａｏは、前記１つ以上の変更オーディオオブジェクト信号からなり、
Ｚ^＊_ｅａｏは、前記１つ以上の変更オーディオオブジェクト信号の所在を示す、
残差信号生成器。

【請求項17】

請求項１２から１６のいずれか１項に記載の残差信号生成器（２００）において、
前記残差信号生成器（２００）は、２つ以上の反復ステップを実行するように構成され、
各反復ステップにおいて、前記パラメトリックデコード部（２３０）は、前記複数の推定オーディオオブジェクト信号のうちの１つの推定オーディオオブジェクト信号を決定するよう構成され、
その反復ステップにおいて、前記残差推定部（２４０）は、前記１つの推定オーディオオブジェクト信号を変更修正することにより、前記複数の残差信号のうちの１つの残差信号を決定するよう構成され、
前記その反復ステップにおいて、前記ダウンミックス変更部（２５０）は、前記３つ以上のダウンミックス信号を変更修正するよう構成され、
前記その反復ステップの次の反復ステップにおいて、前記パラメトリックデコード部（２３０）は、変更修正された前記３つ以上のダウンミックス信号に基づいて、前記複数の推定オーディオオブジェクト信号のうちの次の１つの推定オーディオオブジェクト信号を決定するよう構成された
残差信号生成器。

【請求項18】

請求項１１から１７のいずれか１項に記載の残差信号生成器（２００）において、前記残差推定部（２４０）は、前記複数のオリジナルオーディオオブジェクト信号のうち少なくとも５つのオリジナルオーディオオブジェクト信号に基づいて、かつ前記複数の推定オーディオオブジェクト信号のうち少なくとも５つの推定オーディオオブジェクト信号に基づいて、少なくとも５つの残差信号を生成するよう構成された、残差信号生成器。

【請求項19】

３つ以上のダウンミックス信号を生成し、パラメトリック副情報を生成し、かつ複数の残差信号を生成することにより、複数のオリジナルオーディオオブジェクト信号を符号化するエンコーダであって、
前記複数のオリジナルオーディオオブジェクト信号のダウンミックスを示す３つ以上の信号を前記３つ以上のダウンミックス信号として生成するダウンミックス生成器（２１０）と、
前記複数のオリジナルオーディオオブジェクト信号に関する情報を示す情報を前記パラメトリック副情報として生成するパラメトリック副情報推定器（２２０）と、
請求項１１から１８のいずれか１項に記載の残差信号生成器（２００）と、
を備え、
前記残差信号生成器（２００）の前記パラメトリックデコード部（２３０）は、前記パラメトリック副情報推定器（２２０）により生成された前記パラメトリック副情報に基づいて、前記ダウンミンク生成器（２１０）により提供される前記３つ以上のダウンミックス信号をアップミックスすることによって、複数の推定オーディオオブジェクト信号を生成するよう構成され、
前記残差信号生成器（２００）の前記残差推定部（２４０）は、前記複数の残差信号を、前記複数のオリジナルオーディオオブジェクト信号に基づいて、かつ前記複数の推定オーディオオブジェクト信号に基づいて、それぞれが前記複数のオリジナルオーディオオブジェクト信号の１つと前記複数の推定オーディオオブジェクト信号の１つとの間の差異を示すように生成するよう構成された、
エンコーダ。

【請求項20】

請求項１９に記載のエンコーダにおいて、前記エンコーダがＳＡＯＣエンコーダであることを特徴とする、エンコーダ。

【請求項21】

３つ以上のダウンミックス信号、パラメトリック副情報および複数の残差信号を生成することにより、複数のオリジナルオーディオオブジェクト信号を符号化する請求項１９または２０に記載のエンコーダ（３１０）と、
請求項１から１０のいずれか１項に記載のデコーダ（３２０）と、
を備え、
前記デコーダ（３２０）は、前記エンコーダ（３１０）によって生成された前記３つ以上のダウンミックス信号、前記エンコーダ（３１０）によって生成された前記パラメトリック副情報、および前記エンコーダ（３１０）によって生成された前記複数の残差信号に基づき、複数の第２推定オーディオオブジェクト信号を生成するよう構成された
システム。

【請求項22】

複数のオリジナルオーディオオブジェクト信号が符号化された３つ以上のダウンミックス信号を、前記複数のオリジナルオーディオオブジェクト信号上の情報を示すパラメトリック副情報に基づいてアップミキシングすることにより、複数の第１推定オーディオオブジェクト信号を生成し、
前記複数の第１推定オーディオオブジェクト信号のうちの１つ以上の第１推定オーディオオブジェクト信号を、１つ以上の残差信号に基づき変更修正することにより、複数の第２推定オーディオオブジェクト信号を生成する
方法。

【請求項23】

複数のオリジナルオーディオオブジェクト信号が符号化された３つ以上のダウンミックス信号を、前記複数のオリジナルオーディオオブジェクト信号上の情報を示すパラメトリック副情報に基づいてアップミキシングすることにより、複数の推定オーディオオブジェクト信号を生成し、
前記複数のオリジナルオーディオオブジェクト信号に基づいて、かつ前記複数の推定オーディオオブジェクト信号に基づいて、それぞれが前記複数のオリジナルオーディオオブジェクト信号の１つと前記複数の推定オーディオオブジェクト信号の１つとの間の差異を示す差異信号である複数の残差信号を生成する
方法。

【請求項24】

コンピュータまたは信号プロセッサによって実行されるときに請求項２２に記載の方法を実行するためのコンピュータプログラム。

【請求項25】

コンピュータまたは信号プロセッサによって実行されるときに請求項２３に記載の方法を実行するためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オーディオ信号のエンコーディング、デコーディング、および処理に関し、より具体的には、パラメトリックオーディオオブジェクトコーディングのための残差コンセプトを採用するエンコーダ、デコーダ、および方法に関する。

【背景技術】

【0002】

近年、複数のオーディオオブジェクトを有するオーディオシーンを、効率良いビットレートで送信／蓄積するためのパラメトリック技術が、オーディオコーディング（例えば、非特許文献１から５参照）およびインフォームドソース分離（例えば、非特許文献６から１１参照）の分野で提案されている。これらの技術は、送信および／または蓄積されたオーディオシーンおよび／またはそのオーディオシーンにおけるオーディオソースオブジェクトについて記述する追加的副情報を基礎として、所望の出力オーディオシーンまたは所望のオーディオソースオブジェクトを再構築することを目的とする。

【0003】

図５は、ＳＡＯＣ（空間オーディオオブジェクトコーディング）システムの概略を示し、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）ＳＡＯＣの例を用いて、パラメトリックシステムの原理を示す（例えば、非特許文献５、３および４を参照）。

【0004】

一般的処理は、時間／周波数を選択可能な態様により実行されるが、これについては以下の通り説明できる。

【0005】

ＳＡＯＣエンコーダ５１０、特に、このＳＡＯＣエンコーダ５１０の副情報推定部５３０は、最大で３２個の入力オーディオオブジェクト信号Ｓ_１〜Ｓ_３２の特徴を記述する副情報を抽出する（最も簡易な形式では、オーディオオブジェクト信号のオブジェクト電力の関係）。ＳＡＯＣエンコーダ５１０のミキサー５２０は、オーディオオブジェクト信号Ｓ_１〜Ｓ_３２をダウンミックスし、ダウンミックスゲイン要素ｄ_１，１〜ｄ_３２，２を用いたモノラルまたは２チャンネル混合信号（つまり、１つまたは２つのダウンミックス信号）を生成する。

【0006】

ダウンミックス信号と副情報は、送信あるいは蓄積される。このために、ダウンミックスオーディオ信号は、オーディオエンコーダ５４０を用いて符号化される。オーディオエンコーダ５４０としては、良く知られた知覚オーディオエンコーダを用いることができ、例えば、ＭＰＥＧ−１レイヤーＩＩまたはＩＩＩ（別名：ｍｐ３）オーディオエンコーダや、ＭＰＥＧアドバンスオーディオコーディング（ＡＡＣ）オーディオエンコーダなどを用いることができる。

【0007】

受信側では、対応するオーディオデコーダ５５０、例えば、ＭＰＥＧ−１レイヤーＩＩまたはＩＩＩ（別名：ｍｐ３）オーディオデコーダやＭＰＥＧアドバンストオーディオコーディング（ＡＡＣ）オーディオデコーダなどの知覚オーディオデコーダが、符号化されたダウンミックスオーディオ信号をデコードする。

【0008】

ＳＡＯＣデコーダ５６０は、概念的には、例えばヴァーチャルオブジェクト分離器５７０により、送信および／または蓄積された副情報を使って、１つまたは２つのダウンミックス信号から、オリジナルの（オーディオ）オブジェクト信号（「オブジェクト分離」）復元しようと試みる。そして、これらの近似（オーディオ）オブジェクト信号Ｓ_{１，ｅｓｔ}〜Ｓ_{３２，ｅｓｔ}は、ＳＡＯＣデコーダ５６０のレンダラー５８０によって、レンダリングマトリックス（係数ｒ_１，１〜ｒ_３２，６により記述される）を用いて、最大で６個のオーディオ出力チャンネルｙ_{１，ｅｓｔ}〜ｙ_６，ｅｓにより示される目標シーンにミキシングされる。出力は、シングルチャンネル目標シーン、２チャンネルステレオ目標シーン、または５．１マルチチャンネル目標シーン（例えば、１、２または６のオーディオ出力信号）となる。

【0009】

デコーダ側におけるオーディオオブジェクトのパラメトリック推定に根本的な制約があるため、ほとんどの場合、所望の出力シーンを完全に生成することはできない。例えば、１つのオーディオオブジェクトの単一再生などのように、極端な動作点においては、十分な主観的な音が処理によってはもはや実現できないということがよくある。このために、拡張オーディオオブジェクト（ＥＡＯ）を導入することによって、ＳＡＯＣのシステムが拡張されてきた（例えば、非特許文献１２、さらには非特許文献５を参照）。ＥＡＯとしてエンコーダされたオーディオオブジェクトは、副情報レートの増加という負担はあるものの、同じダウンミックス信号にエンコードされた他の（通常の）非拡張オーディオオブジェクト（ｎｏｎ−ＥＡＯ）からの高い分離性能を示す。ＥＡＯコンセプトは、各ＥＡＯについて、パラメトリックモデルの推定エラー（残差信号）を考慮する。

【0010】

図６は、エンコーダ側における残差推定を示し、各ＥＡＯの残差信号の算出を示す概略図である。ＳＡＯＣエンコーダにおいて、残差信号（４つのＥＡＯまで）は、抽出されたパラメトリック副情報（ＰＳＩ）と、波形が符号化されＳＡＯＣビットストリームに非パラメトリック残差副情報（ＲＳＩ）として導入されたオリジナルのソース信号とを用いて推定される。さらに詳しくは、ＥＡＯ用ＰＳＩ ＳＡＯＣデコーダ６１０は、ダウンミックスＸから、推定オーディオオブジェクト信号Ｓ_{ｅｓｔ，ＥＡＯ}を生成する。そして、ＲＳＩ生成部６２０は、生成された推定オーディオオブジェクト信号Ｓ_{ｅｓｔ，ＥＡＯ}およびオリジナルのＥＡＯオーディオオブジェクト信号Ｓ_１〜Ｓ_４に基づき、４つまでの残差信号Ｓ_{ｒｅｓ，ＲＳＩ｛１〜４｝}を生成する。

【0011】

図７は、ＥＡＯ支援のあるＳＡＯＣデコーダの基本構成を示し、ＳＡＯＣデコーディング／トランスコーディング（あるエンコーディングから別のエンコーディングへのデータ変換）のチェーンに組み込まれたＥＡＯ処理スキームの概念的概略図である。

【0012】

ダウンミックス信号志向のパラメータ、すなわちチャンネル推定係数（ＣＰＣ）が、ＣＰＣ推定部７１０により、パラメトリック副情報（ＰＳＩ）から導き出される。

【0013】

ＣＰＣおよびダウンミックス信号は、２対Ｎ（Ｔｗｏ−ｔｏ−Ｎ）ボックス（ＴＴＮボックス）７２０に入力される。ＴＴＮボックス７２０は、送信ダウンミックス信号（Ｘ）からＥＡＯ（Ｓ_{ｅａｔ，ＥＡＯ}）を推定して、非ＥＡＯのみから構成される推定非ＥＡＯダウンミックス（Ｘ_{ｅｓｔ，ｎｏｎＥＡＯ}）を提供するようコンセプトとして試みる。

【0014】

送信／蓄積されデコードされた残差信号（Ｓ_{ｒｅｓ，ＲＳＩ}）は、ＲＳＩ処理部７３０により用いられ、ＥＡＯ（Ｓ_{ｅｓｔ，ＥＡＯ}）および対応する非ＥＡＯオブジェクト（Ｘ_{ｎｏｎＥＡＯ}）のみのダウンミックスの推定値を向上させる。

【0015】

先行技術によると、次のステップにおいて、ＲＳＩ処理部７３０は、非ＥＡＯダウンミックス信号（Ｘ_{ｎｏｎＥＡＯ}）をＳＡＯＣダウンミックス処理器（ＰＳＩデコーディング部）７４０に供給し、ＰＳＩデコーディング部７４０は、非ＥＡＯオブジェクトＳ_{ｅｓｔ，ｎｏｎＥＡＯ}を推定する。ＰＳＩデコーディング部７４０は、推定非ＥＡＯオーディオオブジェクトＳ_{ｅｓｔ，ｎｏｎＥＡＯ}を、レンダリング部７５０に渡す。さらに、ＲＳＩ処理部は、改善されたＥＡＯ、Ｓ^＾_{ｅｓｔ，ＥＡＯ}をレンダリング部７５０に直接入力する。そして、レンダリング部７５０は、推定非ＥＡＯオーディオオブジェクトＳ_{ｅｓｔ，ｎｏｎＥＡＯ}および改善されたＥＡＯ、Ｓ^＾_{ｅｓｔ，ＥＡＯ}に基づき、モノラルまたはステレオ出力信号を生成する。

【先行技術文献】

【非特許文献】

【0016】

【非特許文献1】Ｃ．Ｆａｌｌｅｒ ａｎｄ Ｆ．Ｂａｕｍｇａｒｔｅ，“Ｂｉｎａｕｒａｌ Ｃｕｅ Ｃｏｄｉｎｇ - Ｐａｒｔ ＩＩ：Ｓｃｈｅｍｅｓ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ”，ＩＥＥＥ Ｔｒａｎｓ． ｏｎ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｐｒｏｃ．， ｖｏｌ．１１，ｎｏ．６，Ｎｏｖ．２００３

【非特許文献2】Ｃ．Ｆａｌｌｅｒ，“Ｐａｒａｍｅｔｒｉｃ Ｊｏｉｎｔ‐Ｃｏｄｉｎｇ ｏｆ Ａｕｄｉｏ Ｓｏｕｒｃｅｓ”，１２０ｔｈ ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ，Ｐａｒｉｓ，２００６

【非特許文献3】Ｊ．Ｈｅｒｒｅ，Ｓ．Ｄｉｓｃｈ，Ｊ．Ｈｉｌｐｅｒｔ，Ｏ．Ｈｅｌｌｍｕｔｈ：“Ｆｒｏｍ ＳＡＣ Ｔｏ ＳＡＯＣ ‐ Ｒｅｃｅｎｔ Ｄｅｖｅｌｏｐｍｅｎｔｓ ｉｎ Ｐａｒａｍｅｔｒｉｃ Ｃｏｄｉｎｇ ｏｆ Ｓｐａｔｉａｌ Ａｕｄｉｏ”， ２２ｎｄ Ｒｅｇｉｏｎａｌ ＵＫ ＡＥＳ Ｃｏｎｆｅｒｅｎｃｅ，Ｃａｍｂｒｉｄｇｅ，ＵＫ，Ａｐｒｉｌ ２００７

【非特許文献4】Ｊ．Ｅｎｇｄｅｇａｅｒｄ，Ｂ．Ｒｅｓｃｈ，Ｃ．Ｆａｌｃｈ，Ｏ．Ｈｅｌｌｍｕｔｈ，Ｊ．Ｈｉｌｐｅｒｔ，Ａ．Ｈａｅｌｚｅｒ，Ｌ．Ｔｅｒｅｎｔｉｅｖ，Ｊ．Ｂｒｅｅｂａａｒｔ， Ｊ．Ｋｏｐｐｅｎｓ，Ｅ．Ｓｃｈｕｉｊｅｒｓ ａｎｄ Ｗ．Ｏｏｍｅｎ：“Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｏｂｊｅｃｔ Ｃｏｄｉｎｇ （ＳＡＯＣ） − Ｔｈｅ Ｕｐｃｏｍｉｎｇ ＭＰＥＧ Ｓｔａｎｄａｒｄ ｏｎ Ｐａｒａｍｅｔｒｉｃ Ｏｂｊｅｃｔ Ｂａｓｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ”，１２４ｔｈ ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ，Ａｍｓｔｅｒｄａｍ ２００８

【非特許文献5】ＩＳＯ／ＩＥＣ，“ＭＰＥＧ ａｕｄｉｏ ｔｅｃｈｎｏｌｏｇｉｅｓ ‐ Ｐａｒｔ ２：Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｏｂｊｅｃｔ Ｃｏｄｉｎｇ （ＳＡＯＣ）”，ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ （ＭＰＥＧ） Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ ２３００３‐２：２０１０．

【非特許文献6】Ｍ．Ｐａｒｖａｉｘ ａｎｄ Ｌ．Ｇｉｒｉｎ：“Ｉｎｆｏｒｍｅｄ Ｓｏｕｒｃｅ Ｓｅｐａｒａｔｉｏｎ ｏｆ ｕｎｄｅｒｄｅｔｅｒｍｉｎｅｄ ｉｎｓｔａｎｔａｎｅｏｕｓ Ｓｔｅｒｅｏ Ｍｉｘｔｕｒｅｓ ｕｓｉｎｇ Ｓｏｕｒｃｅ Ｉｎｄｅｘ Ｅｍｂｅｄｄｉｎｇ”，ＩＥＥＥ ＩＣＡＳＳＰ，２０１０

【非特許文献7】Ｍ．Ｐａｒｖａｉｘ，Ｌ．Ｇｉｒｉｎ，Ｊ．Ｍ．Ｂｒｏｓｓｉｅｒ：“Ａ ｗａｔｅｒｍａｒｋｉｎｇ‐ｂａｓｅｄ ｍｅｔｈｏｄ ｆｏｒ ｉｎｆｏｒｍｅｄ ｓｏｕｒｃｅ ｓｅｐａｒａｔｉｏｎ ｏｆ ａｕｄｉｏ ｓｉｇｎａｌｓ ｗｉｔｈ ａ ｓｉｎｇｌｅ ｓｅｎｓｏｒ”， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ａｕｄｉｏ，Ｓｐｅｅｃｈ ａｎｄ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，２０１０

【非特許文献8】Ａ．Ｌｉｕｔｋｕｓｒ，Ｊ．Ｐｉｎｅｌ，Ｒ．Ｂａｄｅａｕ，Ｌ．Ｇｉｒｉｎ，Ｇ．Ｒｉｃｈａｒｄ：“Ｉｎｆｏｒｍｅｄ ｓｏｕｒｃｅ ｓｅｐａｒａｔｉｏｎ ｔｈｒｏｕｇｈ ｓｐｅｃｔｒｏｇｒａｍ ｃｏｄｉｎｇ ａｎｄ ｄａｔａ ｅｍｂｅｄｄｉｎｇ”，Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｊｏｕｒｎａｌ，２０１１

【非特許文献9】Ａ．Ｏｚｅｒｏｖ，Ａ．Ｌｉｕｔｋｕｓ，Ｒ．Ｂａｄｅａｕ，Ｇ．Ｒｉｃｈａｒｄ：“Ｉｎｆｏｒｍｅｄ ｓｏｕｒｃｅ ｓｅｐａｒａｔｉｏｎ：ｓｏｕｒｃｅ ｃｏｄｉｎｇ ｍｅｅｔｓ ｓｏｕｒｃｅ ｓｅｐａｒａｔｉｏｎ”，ＩＥＥＥ Ｗｏｒｋｓｈｏｐ ｏｎ Ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ ｔｏ Ａｕｄｉｏ ａｎｄ Ａｃｏｕｓｔｉｃｓ， ２０１１

【非特許文献10】Ｓｈｕｈｕａ Ｚｈａｎｇ ａｎｄ Ｌａｕｒｅｎｔ Ｇｉｒｉｎ：“Ａｎ Ｉｎｆｏｒｍｅｄ Ｓｏｕｒｃｅ Ｓｅｐａｒａｔｉｏｎ Ｓｙｓｔｅｍ ｆｏｒ Ｓｐｅｅｃｈ Ｓｉｇｎａｌｓ”，ＩＮＴＥＲＳＰＥＥＣＨ，２０１１

【非特許文献11】Ｌ．Ｇｉｒｉｎ ａｎｄ Ｊ．Ｐｉｎｅｌ：“Ｉｎｆｏｒｍｅｄ Ａｕｄｉｏ Ｓｏｕｒｃｅ Ｓｅｐａｒａｔｉｏｎ ｆｒｏｍ Ｃｏｍｐｒｅｓｓｅｄ Ｌｉｎｅａｒ Ｓｔｅｒｅｏ Ｍｉｘｔｕｒｅｓ”，ＡＥＳ ４２ｎｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ：Ｓｅｍａｎｔｉｃ Ａｕｄｉｏ，２０１１

【非特許文献12】Ｃ．Ｆａｌｃｈ，Ｌ．Ｔｅｒｅｎｔｉｅｖ ａｎｄ Ｊ．Ｈｅｒｒｅ：“Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｏｂｊｅｃｔ Ｃｏｄｉｎｇ ｗｉｔｈ Ｅｎｈａｎｃｅｄ Ａｕｄｉｏ Ｏｂｊｅｃｔ Ｓｅｐａｒａｔｉｏｎ”，１０ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｄｉｇｉｔａｌ Ａｕｄｉｏ Ｅｆｆｅｃｔｓ，２０１０

【発明の概要】

【発明が解決しようとする課題】

【0017】

先行技術システムには、以下のような課題がある。

【0018】

残差信号を適用してＳＡＯＣデコーダでＥＡＯを計算する前に、ダウンミックス志向のＣＰＣが、送信／蓄積されたパラメトリック副情報から算出される必要がある。

【0019】

全てのダウンミックス信号は、そのＥＡＯ処理における有用性に拘わらず、ＳＡＯＣ残差コンセプト内において処理されなければならない。

【0020】

ＳＡＯＣ残差コンセプトは、ＴＴＮボックス制限のため、単一または２チャンネル混合信号と組み合わせてのみ使用可能である。ＥＡＯ残差コンセプトは、例えば５．１マルチチャンネル混合信号などのようなマルチチャンネル混合信号と組み合わせて使用することができない。
さらに、その推定の対応する計算上の煩雑さのため、ＳＡＯＣ ＥＡＯ処理は、ＥＡＯの数に制限を設定している（つまり４までという制限）。

【0021】

この制限のため、ＳＡＯＣ ＥＡＯ残差取り扱いコンセプトは、マルチチャンネル（例えば５．１）ダウンミックス信号には適用できず、また４を超えるＥＡＯには使用できない。

【0022】

したがって、オーディオ信号エンコーディング、オーディオ信号デコーディング、およびオーディオ信号処理についてのコンセプトが改善されることが非常に重視される。

【課題を解決するための手段】

【0023】

本発明の目的は、オーディオ信号エンコーディング、オーディオ信号デコーディング、およびオーディオ信号処理についてのコンセプトの改善を行うことである。また、本発明の目的は、請求項１に記載のデコーダ、請求項１１に記載の残差信号生成器、請求項１９に記載のエンコーダ、請求項２１に記載のシステム、請求項２２に記載の符号化信号、請求項２３に記載の方法、請求項２４に記載の方法および請求項２５に記載のコンピュータプログラムによって解決される。

【0024】

デコーダが提供される。このデコーダは、３つ以上のダウンミックス信号をアップミキシングすることにより複数の第１推定オーディオオブジェクト信号を生成するパラメトリックデコード部を備える。上述の３つ以上のダウンミックス信号には、複数のオリジナルオーディオオブジェクト信号が符号化されており、パラメトリックデコード部は、複数のオリジナルオーディオオブジェクト信号を示すパラメトリック副情報に基づき、３つ以上のダウンミックス信号をアップミキシングするよう構成される。さらにこのデコーダは、上述の第１推定オーディオオブジェクト信号の１つ以上を変更修正することにより、複数の第２推定オーディオオブジェクト信号を生成する残差処理部を備える。残差処理部は、１つ以上の残差信号に基づき、第１推定オーディオオブジェクト信号の１つ以上を変更修正するよう構成される。

【0025】

実施形態によると、ＥＡＯの感性品質を改善するオブジェクト志向の残差コンセプトが提供される。従来のシステムと異なり、この提供されるコンセプトにおいて、ダウンミックス信号の数やＥＡＯの数は制限されない。オブジェクト関連の残差信号を導き出す２つの方法が提供される。ひとつはカスケードコンセプトであり、計算が複雑になるという代償はあるものの、残差信号のエネルギーが、ＥＡＯの数の増加ととともに反復的に削減する。もうひとつのは計算の複雑さが少ないコンセプトであり、全ての残差が同時に推定される。

【0026】

さらに、実施形態によると、デコーダ側においてオブジェクト志向の残差信号を適用する改善されたコンセプトが提供され、デコーダ側においてＥＡＯのみが処理される適用形態、または非ＥＡＯの変更修正が利得の拡大縮小に限定されている適用形態のために設計された複雑性を低減したコンセプトが提供される。

【0027】

一実施形態によると、残差処理部は、少なくとも３つの残差信号に基づき、１つ以上の第１推定オーディオオブジェクト信号を変更修正するよう構成される。当該デコーダは、複数の第２推定オーディオオブジェクト信号に基づき、少なくとも３つのオーディオ出力チャンネルを生成するよう構成される。

【0028】

一実施形態によると、デコーダは、さらにダウンミックス変更部を備えることができる。残差処理部は、複数の第２推定オーディオオブジェクト信号のうち、１つ以上のオーディオオブジェクト信号を決定することができる。ダウンミックス変更部は、決定された１つ以上の第２推定オーディオオブジェクト信号を、３つ以上のダウンミックス信号から除去し、３つ以上の変更ダウンミックス信号を得るよう構成される。パラメトリックデコード部は、第１推定オーディオオブジェクト信号における１つ以上のオーディオオブジェクト信号を、３つ以上の変更ダウンミックス信号に基づき決定するよう構成される。

【0029】

特定の実施形態においては、ダウンミックス変更部は、例えば、次式を適用するよう構成される。

【数1】

【0030】

さらに、デコーダは、２つ以上の反復ステップを実行するよう構成されてもよい。各反復ステップにおいて、パラメトリックデコード部は、複数の第１推定オーディオオブジェクト信号のうちのまさに１つのオーディオオブジェクト信号を決定するよう構成されてる。さらに、各反復ステップにおいて、残差処理部は、当該複数の第１推定オーディオオブジェクト信号における当該１つのオーディオオブジェクト信号を変更修正することによって、複数の第２推定オーディオオブジェクト信号のうちのまさに１つのオーディオオブジェクト信号を決定するよう構成される。さらに、その反復ステップにおいて、ダウンミックス変更部は、３つ以上のダウンミックス信号から当該複数の第２推定オーディオオブジェクト信号における当該１つのオーディオオブジェクト信号を除去して、３つ以上のダウンミックス信号を変更修正するよう構成される。その反復ステップの次の反復ステップにおいて、パラメトリックデコード部は、変更された３つ以上のダウンミックス信号に基づいて、複数の第１推定オーディオオブジェクト信号のうちのまさに１つのオーディオオブジェクト信号のみを決定するよう構成される。

【0031】

一実施形態においては、１つ以上の残差信号のそれぞれが、複数のオリジナルオーディオオブジェクト信号の１つと複数の第１推定オーディオオブジェクト信号の１つとの間の相違を示すことができる。

【0032】

一実施形態において、残差処理部は、第１推定オーディオオブジェクト信号を５つ以上変更修正することにより、複数の第２推定オーディオオブジェクト信号を生成するよう構成されてもよく、また残差処理部は、５つ以上の残差信号に基づいて、第１推定オーディオオブジェクト信号のうち５つ以上を変更修正するよう構成されてもよい。

【0033】

他の実施形態においては、デコーダは、７つ以上のオーディオ出力チャンネルを、複数の第２オーディオオブジェクト信号に基づいて生成するよう構成されてもよい。

【0034】

さらに他の実施形態によれば、デコーダは、複数の第２推定オーディオオブジェクト信号を決定するためのチャンネル予測係数を決定しないよう構成されてもよい。実施形態によると、従来のＳＡＯＣでのデコードについては、チャンネル予測係数の計算が必要であったが、これが必要となくなるコンセプトが提供される。

【0035】

さらに他の実施形態においては、デコーダがＳＡＯＣデコーダであってもよい。

【0036】

さらに、残差信号生成器が提供される。この残差信号生成器は、３つ以上のダウンミックス信号をアップミキシングすることにより複数の推定オーディオオブジェクト信号を生成するパラメトリックデコード部を備える。３つ以上のダウンミックス信号には、複数のオリジナルオーディオオブジェクト信号が符号化され、パラメトリックデコード部は、複数のオリジナルオーディオオブジェクト信号上の情報を示すパラメトリック副情報に基づき、３つ以上のダウンミックス信号をアップミキシングするよう構成される。さらに、この残差信号生成器は、複数のオリジナルオーディオオブジェクトに基づいて、かつ複数の推定オーディオオブジェクト信号に基づいて、それぞれが複数のオリジナルオーディオオブジェクト信号の１つと複数の推定オーディオオブジェクト信号の１つとの間の差異を示す複数の残差信号を生成する残差推定部を備える。

【0037】

一実施形態において、残差推定部は、複数のオリジナルオーディオオブジェクト信号のうち少なくとも５つのオリジナルオーディオオブジェクト信号に基づいて、かつ複数の推定オーディオオブジェクト信号のうち少なくとも５つの推定オーディオオブジェクト信号に基づいて、少なくとも５つの残差信号を生成するよう構成されてもよい。

【0038】

一実施形態において、残差信号生成器は、３つ以上のダウンミックス信号を変更修正して、３つ以上の変更ダウンミックス信号を得るよう構成されたダウンミックス変更部をさらに備えることができる。パラメトリックデコード部は、第１推定オーディオオブジェクト信号における１つ以上のオーディオオブジェクト信号を、３つ以上の変更ダウンミックス信号に基づいて決定するよう構成されてもよい。

【0039】

一実施形態において、ダウンミックス変更部は、例えば、３つ以上のオリジナルダウンミックス信号から、複数のオリジナルオーディオオブジェクト信号のうち１つ以上の信号を取り除くことにより、３つ以上のオリジナルダウンミックス信号を変更修正し、３つ以上の変更ダウンミックス信号を得るよう構成されてもよい。

【0040】

他の実施形態においては、ダウンミックス変更部は、例えば、推定オーディオオブジェクト信号の１つ以上に基づいて、かつ残差信号の１つ以上に基づいて、１つ以上の変更オーディオオブジェクト信号を生成することにより、さらに、その１つ以上の変更オーディオオブジェクト信号を、当該３つ以上のオリジナルダウンミックス信号から除去することにより、当該３つ以上のオリジナルダウンミックス信号を変更修正して３つ以上の変更ダウンミックス信号を得るよう構成されてもよい。例えば、１つ以上の変更オーディオオブジェクト信号は各々、ダウンミックス変更部によって、推定オーディオオブジェクト信号の１つを変更修正することにより生成されてもよい。この場合、ダウンミックス変更部は、当該推定オーディオオブジェクト信号を、１つ以上の残差信号に基づき変更修正するよう構成されてもよい。

【0041】

上述の２つの実施形態のいずれにおいても、ダウンミックス変更部は、例えば、

【数2】

を適用して、複数のオリジナルオーディオオブジェクト信号の１つ以上を、３つ以上のダウンミックス信号から除去して、３つ以上の変更ダウンミックス信号を得るよう構成されることができる。ここで、Ｘは、変更修正対象の３つ以上のダウンミックス信号を示し、Ｄは、ダウンミキシング情報を示し、Ｓ_ｅａｏは、複数の第２推定オーディオオブジェクト信号のうちの当該１つ以上のオーディオオブジェクト信号からなり、Ｚ^＊_ｅａｏは、複数の第２推定オーディオオブジェクト信号のうちの当該１つ以上のオーディオオブジェクト信号の所在を示し、Ｘ^〜は、３つ以上の変更ダウンミックス信号である。例えば、あるオーディオオブジェクト信号の所在（位置）は、全てのオブジェクトリストにおける当該オブジェクトの所在（位置）に相当する。

【0042】

一実施形態によると、残差信号生成器は、２つ以上の反復ステップを実行するよう構成されてもよい。各反復ステップにおいて、パラメトリックデコード部は、複数の推定オーディオオブジェクト信号のうちのまさに１つのオーディオオブジェクト信号を決定するよう構成されてもよい。さらに、当該反復ステップにおいて、残差推定部は、当該複数の推定オーディオオブジェクト信号における当該１つのオーディオオブジェクト信号を変更修正することによって、複数の残差信号のうちのまさに１つの残差信号のみを決定するよう構成されてもよい。さらに、当該反復ステップにおいて、ダウンミックス変更部は、３つ以上のダウンミックス信号を変更修正するよう構成されてもよい。当該反復ステップの次の反復ステップにおいて、パラメトリックデコード部は、変更された３つ以上のダウンミックス信号に基づいて、複数の推定オーディオオブジェクト信号のうちのまさに１つのオーディオオブジェクト信号を決定するよう構成されてもよい。

【0043】

一実施形態において、３つ以上のダウンミックス信号を生成し、パラメトリック副情報を生成し、かつ複数の残差信号を生成することにより、複数のオリジナルオーディオオブジェクト信号を符号化するエンコーダが提供される。このエンコーダは、複数のオリジナルオーディオオブジェクト信号のダウンミックスを示す３つ以上のダウンミックス信号を生成するダウンミックス生成器を備える。さらに、このエンコーダは、複数のオリジナルオーディオオブジェクト信号に関する情報を示すパラメトリック副情報を生成して、パラメトリック副情報を得るパラメトリック副情報推定器を備える。さらにこのエンコーダは、上述の実施形態のいずれかによる残差信号生成器を備える。残差信号生成器のパラメトリックデコード部は、ダウンミックス生成器により提供される３つ以上のダウンミックスをアップミキシングすることによって、複数の推定オーディオオブジェクト信号を生成するよう構成され、このダウンミックス信号には、複数のオリジナルオーディオオブジェクト信号が符号化される。パラメトリックデコード部は、３つ以上のダウンミックス信号を、パラメトリック副情報推定器によって生成されたパラメトリック副情報に基づいてアップミキシングするよう構成される。残差信号生成器の残差推定部は、複数のオーディオオブジェクト信号に基づいて、かつ複数の推定オーディオオブジェクト信号に基づいて、複数の残差信号を生成し、複数の残差信号は各々、複数のオリジナルオーディオオブジェクト信号の１つと複数の推定オーディオオブジェクト信号の１つとの間の差異を示すよう構成されている。

【0044】

一実施形態において、エンコーダはＳＡＯＣエンコーダである。

【0045】

さらに、システムが提供される。このシステムは、上述の実施形態のいずれかによるエンコーダを備え、このエンコーダは、３つ以上のダウンミックス信号、パラメトリック副情報および複数の残差信号を生成することによって、複数のオリジナルオーディオオブジェクト信号を符号化する。さらに、このシステムは、上述の実施形態のいずれかによるデコーダを備え、このデコーダは、エンコーダによって生成された３つ以上のダウンミックス信号、エンコーダによって生成されたパラメトリック副情報、およびエンコーダによって生成された複数の残差信号に基づき、複数のオーディオ出力チャンネルを生成するよう構成される。

【0046】

さらに、符号化オーディオ信号が提供される。この符号化オーディオ信号には、３つ以上のダウンミックス信号、パラメトリック副情報、および複数の残差信号が含まれる。３つ以上のダウンミックス信号は、複数のオリジナルオーディオオブジェクト信号をダウンミックスしたものである。パラメトリック副情報には、複数のオリジナルオーディオオブジェクト信号上の副情報を示すパラメータが含まれる。複数の残差信号のそれぞれは、複数のオリジナルオーディオ信号のうちの１つと複数の推定オーディオオブジェクト信号のうちの１つとの間の相違を示す相違信号である。

【0047】

さらに、方法が提供される。この方法は、複数のオリジナルオーディオオブジェクト信号が符号化された３つ以上のダウンミックス信号を、複数のオリジナルオーディオオブジェクト信号上の情報を示すパラメトリック副情報に基づいてアップミキシングすることにより、複数の第１推定オーディオオブジェクト信号を生成し、第１推定オーディオオブジェクト信号の１つ以上を、１つ以上の残差信号に基づき変更修正することにより、複数の第２推定オーディオオブジェクト信号を生成することを含む。

【0048】

さらに、別の方法が提供される。この方法は、複数のオリジナルオーディオオブジェクト信号が符号化された３つ以上のダウンミックス信号を、複数のオリジナルオーディオオブジェクト信号上の情報を示すパラメトリック副情報に基づいてアップミキシングすることにより、複数の推定オーディオオブジェクト信号を生成し、複数のオリジナルオーディオオブジェクト信号に基づいて、かつ複数の推定オーディオオブジェクト信号に基づいて、それぞれが複数のオリジナルオーディオオブジェクト信号の１つと複数の推定オーディオオブジェクト信号の１つとの間の差異を示す差異信号である複数の残差信号を生成することを含む。

【0049】

さらに、コンピュータまたは信号プロセッサによって実行されるとき、上述のいずれかの方法を実行するためのコンピュータプログラムが提供される。

【0050】

以下、図面を参照して、本発明の実施形態を詳細に説明する。

【図面の簡単な説明】

【0051】

【図1A】一実施形態によるデコーダを示す。

【図1B】別の実施形態であって、レンダラーをさらに備えるデコーダを示す。

【図2A】一実施形態による残差信号生成器を示す。

【図2B】一実施形態によるエンコーダを示す。

【図3】一実施形態によるシステムを示す。

【図4】一実施形態による符号化オーディオ信号を示す。

【図5】ＳＡＯＣシステム概略図であり、ＭＥＰＧ ＳＡＯＣの例を用いて、そのようなパラメトリックシステムの原理を示す

【図6】エンコーダ側における残差推定を示し、各ＥＡＯの残差信号計算の概略を示す。

【図7】ＥＡＯサポートを含むＳＡＯＣデコーダの基本構成を示し、ＳＡＯＣデコーディング／トランスコーディング（あるエンコーディングから別のエンコーディングへのデータ変換）の連鎖に組み込まれたＥＡＯ処理スキームの概念概略図である。

【図8】一実施形態により提供された、パラメトリックおよび残差に基づくオーディオオブジェクトコーディングの仕組みを概念的に示した概略図である。

【図9】一実施形態による、各ＥＡＯ信号のための残差信号をエンコーダ側で一体的に推定するコンセプトを示す。

【図10】一実施形態による、デコーダ側での一体残差デコーディングのコンセプトを示す。

【図11】一実施形態による、ダウンミックス変更部をさらに備える残差信号生成器を示す。

【図12】一実施形態による、ダウンミックス変更部をさらに備えるデコーダを示す。

【図13】一実施形態による、残差要素をカスケード形式によりエンコーダ側で算出するコンセプトを示す。

【図14】一実施形態による、デコーダ側でのカスケード残差算出とともに採用される、カスケードＲＳＩデコード部を示す。

【図15】カスケードコンセプトを利用した、一実施形態による残差信号生成器を示す。

【図16】カスケードコンセプトを採用した、一実施形態によるデコーダを示す。

【発明を実施するための形態】

【0052】

図２Ａは、一実施形態による残差信号生成器２００を示す。

【0053】

残差信号生成器２００は、複数の推定オーディオオブジェクト信号（推定オーディオオブジェクト信号＃１〜推定オーディオオブジェクト信号＃Ｍ）を、３つ以上のダウンミックス信号（ダウンミックス信号＃１、ダウンミックス信号＃２、ダウンミックス信号＃３、〜ダウンミックス信号＃Ｎ）をアップミキシングすることにより生成するパラメトリックデコード部２３０を備える。この３つ以上のダウンミックス信号（ダウンミックス信号＃１、ダウンミックス信号＃２、ダウンミックス信号＃３、〜ダウンミックス信号＃Ｎ）には、複数のオリジナルオーディオオブジェクト信号（オリジナルオーディオオブジェクト信号＃１〜オリジナルオーディオオブジェクト信号＃Ｍ）が符号化されている。パラメトリックデコード部２３０は、この３つ以上のダウンミックス信号（ダウンミックス信号＃１、ダウンミックス信号＃２、ダウンミックス信号＃３、〜ダウンミックス信号＃Ｎ）を、複数のオリジナルオーディオオブジェクト信号（オリジナルオーディオオブジェクト信号＃１〜オリジナルオーディオオブジェクト信号＃Ｍ）に関する情報を示すパラメトリック副情報に基づいて、アップミキシングするよう構成されている。

【0054】

さらに、残差信号生成器２００は、複数のオリジナルオーディオオブジェクト信号（オリジナルオーディオオブジェクト信号＃１〜オリジナルオーディオオブジェクト信号＃Ｍ）に基づき、かつ複数の推定オーディオオブジェクト信号（推定オーディオオブジェクト＃１〜推定オーディオオブジェクト＃Ｍ）に基づき、複数の残差信号（残差信号＃１〜残差信号＃Ｍ）を生成する残差推定部２４０を備える。そして、複数の残差信号（残差信号＃１〜残差信号＃Ｍ）はそれぞれ、複数のオリジナルオーディオオブジェクト信号（オリジナルオーディオオブジェクト信号＃１〜オリジナルオーディオオブジェクト信号＃Ｍ）の１つと、複数の推定オーディオオブジェクト信号（推定オーディオオブジェクト＃１〜推定オーディオオブジェクト＃Ｍ）の１つと、の間の相違を示す相違信号となる。

【0055】

上述の実施形態におけるエンコーダは、先行技術のＳＡＯＣ制限（非特許文献５参照）を克服している。

【0056】

現行のＳＡＯＣシステムは、１つ以上の２対１ボックスまたは１つ以上の３対１ボックスを採用して、ダウンミキシングを実施する。とりわけ、これらの潜在的制限のため、現行のＳＡＯＣシステムは、オーディオオブジェクト信号を、最大で２つのダウンミックスチャンネル／２つのダウンミックス信号へとダウンミックスすることができる。

【0057】

本発明による残差信号生成器およびエンコーダのコンセプトによると、３つ以上の送信チャンネルを採用している送信システムにおいてオーディオオブジェクトコーディングが好適となるよう、ＳＡＯＣの制限を克服することができる。

【0058】

一実施形態において、残差推定部２４０は、複数のオリジナルオーディオオブジェクト信号のうち少なくとも５つのオリジナルオーディオオブジェクト信号に基づき、かつ複数の推定オーディオオブジェクト信号のうち少なくとも５つの推定オーディオオブジェクト信号に基づき、少なくとも５つの残差信号を生成するよう構成される。
図２Ｂは、一実施形態によるエンコーダを示す。図２Ｂのエンコーダは、残差信号生成器２００を備える。

【0059】

さらに、このエンコーダは、複数のオリジナルオーディオオブジェクト信号（オリジナルオーディオオブジェクト信号＃１〜オリジナルオーディオオブジェクト信号＃Ｍ、さらなるオリジナルオーディオオブジェクト信号）のダウンミックスを示す、３つ以上のダウンミックス信号（ダウンミックス信号＃１、ダウンミックス信号＃２、ダウンミックス信号＃３、〜ダウンミックス信号＃Ｎ）を生成するダウンミックス生成器２１０を備える。

【0060】

オリジナルオーディオオブジェクト信号＃１〜オリジナルオーディオオブジェクト信号＃Ｍについて、残差推定部２４０は、残差信号（残差信号＃１〜残差信号＃Ｍ）を生成する。したがって、オリジナルオーディオオブジェクト信号＃１〜オリジナルオーディオオブジェクト信号＃Ｍは、拡張オーディオオブジェクト（ＥＡＯ）と称される。

【0061】

しかしながら、図２Ｂに示されるように、さらなるオリジナルオーディオオブジェクト信号が選択的に存在し、これはダウンミックスされるものの、残差信号は生成されない。したがって、これらのさらなるオーディオオブジェクト信号は、非拡張オーディオオブジェクト（非ＥＡＯ）と称される。

【0062】

図２Ｂのエンコーダは、複数のオリジナルオーディオオブジェクト信号（オリジナルオーディオオブジェクト信号＃１〜オリジナルオーディオオブジェクト信号＃Ｍ、さらなるオリジナルオーディオオブジェクト信号）に関する情報を示すパラメトリック副情報を生成するパラメトリック副情報推定器２２０をさらに備える。これによってパラメトリック副情報を得る。図２Ｂの実施形態において、パラメトリック副情報推定器は、非ＥＡＯであるオリジナルオーディオオブジェクト信号（さらなるオリジナルオーディオオブジェクト信号）も考慮する。

【0063】

一実施形態において、オリジナルオーディオオブジェクト信号の数は、例えば全てのオリジナルオーディオオブジェクト信号がＥＡＯであるとき、残差信号の数と等しくなってもよい。

【0064】

しかしながら、その他の実施形態においては、残信号の数は、オリジナルオーディオオブジェクト信号の数と異なってもよく、例えばオリジナルオーディオオブジェクト信号が非ＥＡＯであるとき、推定オーディオオブジェクト信号の数と異なってもよい。

【0065】

ある実施形態において、エンコーダは、ＳＡＯＣエンコーダである。

【0066】

図１Ａは、一実施形態によるデコーダを示す。

【0067】

デコーダは、３つ以上のダウンミックス信号（ダウンミックス信号＃１、ダウンミックス信号＃２、ダウンミックス信号＃３〜ダウンミックス信号＃Ｎ）をアップミキシングすることにより、複数の第一オーディオオブジェクト信号（第１オーディオオブジェクト信号＃１〜第１オーディオオブジェクト信号＃Ｍ）を生成するパラメトリックデコード部１１０を備える。ここで、この３つ以上のダウンミックス信号（ダウンミックス信号＃１、ダウンミックス信号＃２、ダウンミックス信号＃３〜ダウンミックス信号＃Ｎ）には、複数のオリジナルオーディオオブジェクト信号が符号化されている。パラメトリックデコード部１１０は、３つ以上のダウンミックス信号（ダウンミックス信号＃１、ダウンミックス信号＃２、ダウンミックス信号＃３〜ダウンミックス信号＃Ｎ）を、複数のオリジナルオーディオオブジェクト信号に関する情報を表示するパラマトリック副情報に基づき、アップミックスするよう構成されている。

【0068】

さらに、デコーダは、１つ以上の第１推定オーディオオブジェクト信号（第１オーディオオブジェクト信号＃１〜第１オーディオオブジェクト信号＃Ｍ）を変更修正することによって、複数の第２推定オーディオオブジェクト信号（第２オーディオオブジェクト信号＃１〜第２オーディオオブジェクト信号＃Ｍ）を生成する残差処理部１２０を備える。この残差処理部１２０は、１つ以上の第１推定オーディオオブジェクト信号（第１オーディオオブジェクト信号＃１〜第１オーディオオブジェクト信号＃Ｍ）を、１つ以上の残差信号（残差信号＃１〜残差信号＃Ｍ）に基づき、変更修正する。

【0069】

上述の実施形態におけるデコーダは、先行技術のＳＡＯＣ制限（非特許文献５参照）を克服している。

【0070】

さらに、現行のＳＡＯＣシステムは、１つ以上の１対２ボックス（ＯＴＴボックス）または１つ以上の２対３ボックス（ＴＴＴボックス）を採用することにより、アップミキシングを実行する。とりわけ、これらの制限により、３以上のダウンミックス信号／ダウンミックスチャンネルを符号化したオーディオオブジェクト信号は、先行技術のＳＡＯＣデコーダではアップミックスできない。

【0071】

本発明によるデコーダのコンセプトによると、３つ以上の送信チャンネルを採用している送信システムにおいてオーディオオブジェクトコーディングが好適となるよう、ＳＡＯＣの制限を克服することができる。

【0072】

図１Ｂは、別の実施形態に係るデコーダを示す。このデコーダは、レンダリング情報に基づき、第２推定オーディオオブジェクト信号（第２推定オーディオオブジェクト信号＃１〜第２推定オーディオオブジェクト信号＃Ｍ）から複数のオーディオ出力チャンネル（オーディオ出力チャンネル＃１〜オーディオ出力チャンネル＃Ｒ）を生成するレンダラー１３０をさらに備える。例えば、レンダリング情報とは、レンダリングマトリックスおよび／またはレンダリングマトリックスの係数であってもよく、レンダリング部１３０は、レンダリングマトリックスを第２推定オーディオオブジェクト信号（第２推定オーディオオブジェクト信号＃１〜第２推定オーディオオブジェクト信号＃Ｍ）に対して適用し、複数のオーディオ出力チャンネル（オーディオ出力チャンネル＃１〜オーディオ出力チャンネル＃Ｒ）を得る。

【0073】

一実施形態によると、残差処理部１２０は、少なくとも３つの残差信号に基づき、１つ以上の第１推定オーディオオブジェクト信号を変更修正するよう構成される。デコーダは、複数の第２推定オーディオオブジェクト信号に基づき、少なくとも３つのオーディオ出力チャンネルを生成するよう構成される。

【0074】

また別の実施形態においては、１つ以上の残差信号が、複数のオリジナルオーディオオブジェクト信号の１つと複数の第１推定オーディオオブジェクト信号の１つとの間の相違を示す。

【0075】

一実施形態によれば、残差処理部１２０は、５つ以上の第１推定オーディオオブジェクト信号を変更修正することによって、複数の第２推定オーディオオブジェクト信号を生成するよう構成される。残差処理部１２０は、当該５つ以上の第１推定オーディオオブジェクト信号を、５つ以上の残差信号に基づき変更修正するよう構成される。

【0076】

他の実施形態においては、デコーダは、７つ以上のオーディオ出力チャンネルを、複数の第２オーディオオブジェクト信号に基づき生成するよう構成される。

【0077】

さらに他の実施形態によれば、デコーダは、複数の第２推定オーディオオブジェクト信号を決定するためのチャンネル予測係数を決定しないよう構成される。

【0078】

さらに他の実施形態においては、デコーダは、ＳＡＯＣデコーダである。

【0079】

図３は、一実施形態によるシステムを示す。このシステムは、上記実施形態のいずれかによるエンコーダ３１０を備え、このエンコーダ３１０は、パラメトリック副情報および複数の残差信号を生成することによって、複数のオリジナルオーディオオブジェクト信号（オリジナルオーディオオブジェクト信号＃１〜オリジナルオーディオオブジェクト信号＃Ｍ）を符号化する。さらに、このシステムは、上記実施形態のいずれかによるデコーダ３２０を備え、このデコーダ３２０は、エンコーダ３１０の生成した３つ以上のダウンミックス信号、エンコーダ３１０の生成したパラメトリック副情報、およびエンコーダ３１０によって生成された複数の残差信号に基づき、複数の第２推定オーディオオブジェクト信号を生成するよう構成される。

【0080】

図４は、一実施形態による符号化オーディオ信号を示す。符号化オーディオ信号には、３つ以上のダウンミックス信号４１０、パラメトリック副情報４２０、および複数の残差信号４３０が含まれる。当該３つ以上のダウンミックス信号４１０は、複数のオリジナルオーディオオブジェクト信号をダウンミックスしたものである。当該パラメトリック副情報４２０には、複数のオリジナルオーディオオブジェクト信号に関する副情報を示すパラメータが含まれる。当該複数の残差信号４３０は各々、複数のオリジナルオーディオ信号のうちの１つと複数の推定オーディオオブジェクト信号のうちの１つとの間の相違を示す相違信号である。

【0081】

以下において、一実施形態によるコンセプト概略を説明する。

【0082】

図８は、一実施形態により提供された、パラメトリックおよび残差に基づくオーディオオブジェクトコーディングの仕組みを、概念的に示した概略図である。ここでは、コーディングの仕組みによって、進化したダウンミックス信号および進化したＥＡＯ支援が示されている。

【0083】

エンコーダ側で、パラメトリック副情報推定器（「ＰＳＩ生成部」）２２０は、ソースおよびダウンミックス関連特性を利用しているデコーダでのオブジェクト信号を推定するために、ＰＳＩを算出する。ＲＳＩ生成部２４５は、拡張すべき各オブジェクト信号に対して、推定オブジェクト信号とオリジナルオブジェクト信号との間の相違を分析することにより、残差信号を算出する。ＲＳＩ生成部２４５は、例えば、パラメトリックデコード部２３０と、残差推定部２４０とを備えてもよい。

【0084】

デコーダ側では、パラメトリックデコード部（「ＰＳＩデコード」部）が、ダウンミックス信号および所定のＰＳＩから、オブジェクト信号を推定する。第２ステップにおいては、残差処理部（「ＲＳＩデコード」部）１２０が、拡張対象となる推定オブジェクト信号の品質を、ＲＳＩを用いて改善する。全てのオブジェクト信号（拡張オーディオオブジェクトおよび非拡張オーディオオブジェクト）は、例えば、レンダリング部１３０へ渡され、目的の出力シーンを生成してもよい。

【0085】

なお、全てのダウンミックス信号を考慮する必要はない。オブジェクト信号の推定または／および推定と拡張に対するダウンミックス信号の貢献度が無視できる程度なのであれば、ダウンミックス信号を計算の対象から外してもよい。

【0086】

理解を容易にするため、図８およびその後の図面における処理ステップは、別個の処理部として図示されている。実際には、これらは、効果的に結合され、計算上の手間を省いている。

【0087】

以下において、一体残差エンコーディング／デコーディング（ｊｏｉｎｔ ｒｅｓｉｄｕａｌ ｅｎｃｏｄｉｎｇ／ｄｅｃｏｄｉｎｇ）のコンセプトを説明する。

【0088】

図９は、一実施形態による、各ＥＡＯ信号のための残差信号を、エンコーダ側で一体的に推定するコンセプトを示す。

【0089】

パラメトリックデコード部（「ＰＳＩデコード」部）２３０は、推定されたＰＳＩとダウンミックス信号とが入力として与えられ、オーディオオブジェクト信号の推定値（推定オーディオオブジェクト信号ｓ_{ｅｓｔ，ＰＳＩ，｛１〜Ｍ｝}）を生成する。推定オーディオオブジェクト信号ｓ_{ｅｓｔ，ＰＳＩ｛１〜Ｍ｝}は、残差推定部（「ＲＳＩ推定」部）２４０において、オリジナルの変更されていないソース信号Ｓ_１〜Ｓ_Ｍと比較される。残差推定部２４０は、各オーディオオブジェクトを拡張するための残差／エラー信号項ｓ_{ｒｅｓ，ＲＳＩ，｛１〜Ｍ｝}を提供する。

【0090】

図１０は、デコーダにおける一体残差計算と組み合わせて用いられる「ＲＳＩデコード」部を表す。特に、図１０は、一実施形態による、デコーダ側での一体残差デコーディングのコンセプトを示す。

【0091】

パラメトリックデコード部（「ＰＳＩデコード」部）１１０からの（第１）推定オーディオオブジェクト信号ｓ_{ｅｓｔ，ＰＳＩ，｛１〜Ｍ｝}は、残差情報（「残差副情報」）とともに、残差処理部（「ＲＳＩデコード」）１２０に入力される。残差処理部２１０は、残差（サイド）情報および推定オーディオオブジェクト信号ｓ_{ｅｓｔ，ＰＳＩ，｛１〜Ｍ｝}から、第２推定オーディオオブジェクト信号ｓ_{ｅｓｔ，ＲＳＩ，｛１〜Ｍ｝}、例えば拡張および非拡張オーディオオブジェクト信号を算出し、この第２推定オーディオオブジェクト信号ｓ_{ｅｓｔ，ＲＳＩ，｛１〜Ｍ｝}、例えば拡張および非拡張オーディオオブジェクト信号を、残差処理部１２０の出力として出力する。

【0092】

さらに、非ＥＡＯの再推定を実行することができる（図１０には図示しない）。ＥＡＯは、混合信号から除外され、残りの非ＥＡＯが、この混合信号から再度推定される。これによって、全てのオブジェクト信号を含む混合信号からの推定と比較したオブジェクトについて、その推定を改善することができる。その目的が、混合信号における拡張オブジェクト信号のみを処理することにある場合には、この再推定は省略してもよい。

【0093】

図１１は、一実施形態による残差信号生成器を示す。

【0094】

図１１において、残差信号生成器２００は、３つ以上のダウンミックス信号を変更修正して、３つ以上の変更ダウンミックス信号を得るよう構成されたダウンミックス変更部２５０をさらに備える。

【0095】

パラメトリックデコード部２３０は、第１推定オーディオオブジェクト信号における１つ以上のオーディオオブジェクト信号を、３つ以上の変更ダウンミックス信号に基づき決定するよう構成される。

【0096】

そして、残差推定部２４０は、第１推定オーディオオブジェクト信号における当該１つ以上のオーディオオブジェクト信号に基づき、例えば、１つ以上の残差信号を決定してもよい。

【0097】

一実施形態において、ダウンミックス変更部２５０は、例えば、３つ以上のオリジナルダウンミックス信号から、複数のオリジナルオーディオオブジェクト信号のうち１つ以上の信号を取り除くことにより、３つ以上のオリジナルダウンミックス信号を変更修正し、３つ以上の変更ダウンミックス信号を得るよう構成されてもよい。

【0098】

他の実施形態においては、ダウンミックス変更部２５０は、例えば、１つ以上の推定オーディオオブジェクト信号、および１つ以上の残差信号に基づき１つ以上の変更オーディオオブジェクト信号を生成し、かつ３つ以上のオリジナルダウンミックス信号から、１つ以上の変更オーディオオブジェクト信号を取り除くことにより、３つ以上のオリジナルダウンミックス信号を変更修正し、３つ以上の変更ダウンミックス信号を得るよう構成されてもよい。例えば、１つ以上の変更オーディオオブジェクト信号は各々、推定オーディオオブジェクト信号の１つを変更修正することにより、ダウンミックス変更部によって生成されてもよい。この場合、ダウンミックス変更部は、当該推定オーディオオブジェクト信号を、１つ以上の残差信号に基づき変更修正するよう構成されてもよい。

【0099】

上述の実施形態の両方において、ダウンミックス変更部は、例えば、次式を適用するように構成される。

【数3】

ここで、
Ｘは、変更修正の対象となる３つ以上のダウンミックス信号を示し、Ｄは、関連するダウンミキシング情報を示し、Ｓ_ｅａｏには、除去されるべきオリジナルオーディオオブジェクト信号または除去されるべき変更オーディオオブジェクト信号が含まれ、Ｚ^＊_ｅａｏは、除去されるべき信号の所在を示し、Ｘ^〜は、変更対象となるダウンミックスである。

【0100】

例えば、あるオーディオオブジェクト信号の所在（位置）は、全てのオブジェクトリストにおける当該オブジェクトの所在（位置）に相当する。

【0101】

図１２は、一実施形態によるデコーダを示す。

【0102】

図１２の実施形態において、デコーダは、ダウンミックス変更部１４０をさらに備える。

【0103】

残差処理部１２０は、複数の第２推定オーディオオブジェクト信号のうち、１つ以上のオーディオオブジェクト信号を決定する。

【0104】

ダウンミックス変更部１４０は、決定された１つ以上の第２推定オーディオオブジェクト信号を、３つ以上のダウンミックス信号から除去し、３つ以上の変更ダウンミックス信号を得るよう構成されている。

【0105】

パラメトリックデコード部１１０は、当該３つ以上の変更ダウンミックス信号に基づき、第１推定オーディオオブジェク信号のうち、１つ以上のオブジェクト信号を決定するよう構成される。

【0106】

残差処理部１２０は、例えば、第１推定オーディオオブジェクト信号における当該決定された１つ以上のオーディオオブジェクト信号に基づいて、１つ以上の更なる第２推定オーディオオブジェクト信号を決定してもよい。

【0107】

特定の実施形態においては、ダウンミックス変更部１３０は、複数の第２推定オーディオオブジェクト信号のうち残差処理部１２０によって決定された１つ以上のオーディオオブジェクト信号を３つ以上のダウンミックス信号から除去して、３つ以上の変更ダウンミックス信号を得るために、例えば、下記の式を適用するよう構成されてもよい。

【数4】

ここで、Ｘは、変更修正前の３つ以上のダウンミックス信号を示し、Ｘ^〜_{ｎｏｎＥＡＯ}は、３つ以上の変更ダウンミックス信号を示し、Ｄは、ダウンミックスマトリックスを示し、Ｚ_ｅａｏは、ＥＡＯの位置（所在）を示すマッピングサブマトリックスを示す（この実施形態の特定の変数に関する詳細は下記を参照）。

【0108】

以下において、カスケード残差エンコーディング／デコーディングコンセプトを説明する。

【0109】

図１３は、一実施形態による、残差要素をカスケード形式によりエンコーダ側で算出するコンセプトを示す。一体残差算出コンセプトと比較して、カスケード方式のアプローチは、各反復ステップにおいて、計算が複雑になるという代償はあるものの、残差エネルギーのエネルギーを削減する。各ステップにおいては、拡張オーディオオブジェクトにおけるオリジナルオーディオオブジェクト信号（Ｓ_Ｍ）の１つ（または別の実施形態においては、推定オーディオオブジェクト信号、破線矢印２４６１、２４６２を参照。）が、混合信号（ダウンミックス）が次の処理器２４５２へと渡される前に、混合信号（ダウンミックス）から除去される。これによって、混合信号（ダウンミックス）におけるオブジェクト信号の数が、各処理ステップを経る度に減少する。次のステップにおける拡張オーディオオブジェクト信号の推定（第２推定オーディオオブジェクト信号）がこれによって改善され、よって残差信号のエネルギーを連続的に削減することができる。
（なお、推定オーディオオブジェクト信号が各反復ステップにおいて混合信号から除去される別の実施形態においては、ダウンミックス変更サブ部２５０１、２５０２は、オリジナルオーディオオブジェクト信号Ｓ_Ｍを受け取る必要はない。反対に、オリジナルオーディオオブジェクト信号が各反復ステップにおいて混合信号から除去される実施形態においては、ダウンミックス変更サブ部２５０１、２５０２は、推定オーディオオブジェクト信号を受け取る必要はない。）

【0110】

より詳細には、図１３は、複数のＲＳＩ生成サブ部２４５１、２４５２を示す。この複数のＲＳＩ生成サブ部２４５１、２４５２がともに、ＲＳＩ生成部を構成する。

【0111】

複数のＲＳＩ生成サブ部２４５１、２４５２は各々、パラメトリックデコードサブ部２３０１を備える。複数のパラメトリックデコードサブ部２３０１がともに、パラメトリックデコード部を構成する。パラメトリックデコードサブ部２３０１は、第１推定オーディオオブジェクト信号Ｓｅｓｔ，ＰＳＩ，｛１〜Ｍ｝を生成する。

【0112】

複数のＲＳＩ生成サブ部２４５１、２４５２は各々、残差推定サブ部２４０１を備える。複数の残差推定サブ部２４０１がともに、残差推定部を構成する。残差推定サブ部２４０１は、第２推定オーディオオブジェクト信号ｓ_{ｅｓｔ，ＲＳＩ，Ｍ}およびｓ_{ｅｓｔ，ＲＳＩ，Ｍ−１}を生成する。

【0113】

また、図１３は、複数のダウンミックス変更サブ部２５０１、２５０２を示す。ダウンミックス変更サブ部２５０１、２５０２がともに、ダウンミックス変更部を構成する。

【0114】

図１４は、一実施形態において、デコーダ側のカスケード式残差算出との組み合わせにおいて採用されるカスケード式「ＲＳＩデコード」部を表す。

【0115】

各ステップにおいて、拡張対象となるオブジェクト信号の１つが、パラメトリックデコードサブ部（「ＰＳＩデコード）１１０１によって、（第１推定オーディオオブジェクト信号ｓ_{ｅｓｔ，ＰＳＩ，Ｍ}を得るために）推定され、そして第１推定オーディオオブジェクト信号ｓ_{ｅｓｔ，ＰＳＩ，Ｍ}の１つが、残差処理サブ部（「ＲＳＩ処理」）１２０１によって、対応する残差信号ｓ_{ｒｅｓ，ＲＳＩ，Ｍ}とともに処理される。そして、オブジェクト信号の拡張バージョン（第２推定オーディオオブジェクト信号の１つ）ｓ_{ｅｓｔ，ＲＳＩ，Ｍ}が出力される。拡張オブジェクト信号ｓ_{ｅｓｔ，ＲＳＩ，Ｍ}は、変更ダウンミックス信号が次の残差デコードサブ部（「残差デコード」）に入力される前に、ダウンミックス変更サブ部（「ダウンミックス変更」）１４０１によって、ダウンミックス信号から消去される。

【0116】

一体残差エンコーディング／デコーディングコンセプトと同様、非ＥＡＯについても再推定が追加的になされてもよい。

【0117】

その詳細として、図１４は、複数の残差デコードサブ部１２５１、１２５２を示す。複数の残差デコードサブ部１２５１、１２５２がともに、残差デコード部を構成する。

【0118】

複数の残差デコードサブ部１２５１、１２５２は各々、パラメトリックデコードサブ部１１０１を備える。複数のパラメトリックデコードサブ部１１０１がともに、パラメトリックデコード部を構成する。パラメトリックデコードサブ部１１０１は、第１推定オーディオオブジェクト信号ｓ_{ｅｓｔ，ＰＳＩ，｛１〜Ｍ｝}を生成する。

【0119】

複数の残差デコードサブ部１２５１、１２５２は各々、残差処理サブ部１２０１を備える。複数の残差処理サブ部１２０１がともに、残差処理部を構成する残差処理サブ部１２０１は、第２推定オーディオオブジェクト信号ｓ_{ｅｓｔ，ＲＳＩ，Ｍ}、ｓ_{ｅｓｔ，ＲＳＩ，Ｍ−１}を生成する。

【0120】

また、図１４は、複数のダウンミックス変更サブ部１４０１、１４０２を示す。複数のダウンミックス変更サブ部１４０１、１４０２がともに、ダウンミックス変更部を構成する。

【0121】

図１５は、カスケードコンセプトを利用した、一実施形態による残差信号生成器を示す。

【0122】

図１５において、残差信号生成器は、ダウンミックス変更部２５０を備える。

【0123】

残差信号生成器２００は、２つ以上の反復ステップを実行するよう構成される。

【0124】

各反復ステップにおいて、パラメトリックデコード部２３０は、複数の推定オーディオオブジェクト信号のうちのまさに１つのオーディオオブジェクト信号を決定するよう構成される。

【0125】

さらに、当該反復ステップにおいて、残差推定部２４０は、当該複数の推定オーディオオブジェクト信号における当該１つのオーディオオブジェクト信号を変更修正することによって、複数の残差信号のうちのまさに１つの残差信号を決定するよう構成される。

【0126】

さらに、当該反復ステップにおいて、ダウンミックス変更部２５０は、３つ以上のダウンミックス信号を変更修正するよう構成される。

【0127】

当該反復ステップの次の反復ステップにおいて、パラメトリックデコード部２３０は、変更された３つ以上のダウンミックス信号に基づいて、複数の推定オーディオオブジェクト信号のうちのまさに１つのオーディオオブジェクト信号を決定するよう構成される。

【0128】

図１６は、カスケードコンセプトを採用した、一実施形態によるデコーダを示す。図１６において、デコーダは、ダウンミックス変更部１４０を再度備えている。

【0129】

図１６のデコーダは、２つ以上の反復ステップを実行するよう構成される。

【0130】

各反復ステップにおいて、パラメトリックデコード部１１０は、複数の第１推定オーディオオブジェクト信号のうちのまさに１つのオーディオオブジェクト信号を決定するよう構成される。

【0131】

さらに、各反復ステップにおいて、残差処理部１２０は、当該複数の第１推定オーディオオブジェクト信号における当該１つのオーディオオブジェクト信号を変更修正することによって、複数の第２推定オーディオオブジェクト信号のうちのまさに１つのオーディオオブジェクト信号を決定するよう構成される。

【0132】

さらに、当該反復ステップにおいて、ダウンミックス変更部１４０は、３つ以上のダウンミックス信号から当該複数の第２推定オーディオオブジェクト信号における当該１つのオーディオオブジェクト信号を除去して、３つ以上のダウンミックス信号を変更修正するよう構成される。

【0133】

当該反復ステップの次の反復ステップにおいて、パラメトリックデコード部１１０は、変更された３つ以上のダウンミックス信号に基づいて、複数の第１推定オーディオオブジェクト信号のうちのまさに１つのオーディオオブジェクト信号を決定するよう構成される。

【0134】

以下に、一体残差エンコーディング／デコーディング概念の一例における数学的導出について説明する。

【0135】

以下において、以下の表記が用いられる。
サイズ：
Ｎ_{Ｏｂｊｅｃｔ}：オーディオオブジェクト信号の数
Ｎ_{ＤｍｘＣｈ}：ダウンミックス信号の数
Ｎ_{ＵｐｍｉｘＣｈ}：アップミックスチャンネルの数
Ｎ_{Ｓａｍｐｌｅｓ}：処理データの数
Ｎ_ＥＡＯ：ＥＡＯの数
項目：
Ｚ^＊：ター演算子（＊）は、あるマトリックスの共役転置を意味する。
Ｓ：エンコーダに入力されたオリジナルオーディオオブジェクト信号（サイズ：Ｎ_{Ｏｂｊｅｃｔ}×Ｎ_{Ｓａｍｐｌｅｓ}）
Ｄ：ダウンミックスマトリックス（サイズ：Ｎ_{ＤｍｘＣｈ}×Ｎ_{Ｏｂｊｅｃｔ}）
Ｒ：レンダリングマトリックス（サイズ：Ｎ_{ＵｐｍｉｘＣｈ}×Ｎ_{Ｏｂｊｅｃｔ}）
Ｘ：ダウンミックスオーディオ信号Ｘ＝ＤＳ（サイズ：Ｎ_{ＤｍｘＣｈ}×Ｎ_{Ｓａｍｐｌｅｓ}）
Ｙ：理想的オーディオ出力信号Ｙ＝ＲＳ（サイズ：Ｎ_{ＵｐｍｉｘＣｈ}×Ｎ_{Ｓａｍｐｌｅｓ}）
Ｓ_ｅｓｔ：Ｓ_ｅｓｔ＝ＧＸ と定義されるＳ_ｅｓｔ Ｓに近似するパラメトリックに再構築されたオブジェクト信号（サイズＮ_{Ｏｂｊｅｃｔ}×Ｎ_{Ｓａｍｐｌｅｓ}）
Ｓ^＾_ｅｓｔ：（パラメトリックに推定された）全ての非ＥＡＯとＥＡＯ（パラメトリック＋残差）信号推定とを含むデコーダ出力、サイズ：Ｎ_{Ｏｂｊｅｃｔ}×Ｎ_{Ｓａｍｐｌｅｓ}
Ｙ^＾_ｅｓｔ：Ｙ^＾_ｅｓｔ＝ＲＳ^＾_ｅｓｔと定義されるＹ^＾_ｅｓｔ Ｙに近似するアップミックスオーディオ出力信号 （サイズ：Ｎ_{ＵｐｍｉｘＣｈ}×Ｎ_{Ｓａｍｐｌｅｓ}）
Ｚ_{ｎｏｎＥａｏ}；Ｚ_ｅａｏ：全てのオブジェクトリストにおける非ＥＡＯおよびＥＡＯの所在を示すマッピングサブマトリックス。なお、Ｚ_{ｎｏｎＥａｏ}×Ｚ_ｅａｏ＝［０］である。（サイズ：（Ｎ_{Ｏｂｊｅｃｔ}−Ｎ_ＥＡＯ）×Ｎ_{Ｏｂｊｅｃｔ}；Ｎ_ＥＡＯ×Ｎ_{Ｏｂｊｅｃｔ}）
非ＥＡＯのＺ_{ｎｏｎＥａｏ}および対応するＺ_ｅａｏマッピングマトリックスは次のように定義される。

【数5】

例えば、Ｎ_{Ｏｂｊｅｃｔ}＝５でオブジェクト数２および４がＥＡＯの場合、これらのマトリックスは次の通りである。

【数6】

Ｄ_{ｎｏｎＥａｏ}：非ＥＡＯに対応するダウンミックスサブマトリックであって、Ｄ_{ｎｏｎＥａｏ}＝ＤＺ_{ｎｏｎＥａｏ}と定義される（サイズ：Ｎ_{ＤｍｘＣｈ}×（Ｎ_{Ｏｂｊｅｃｔ}−Ｎ_ＥＯＡ））
Ｄ_ｅａｏ：ＥＡＯに対応するダウンミックスサブマトリックであって、Ｄ_ｅａｏ＝ＤＺ^＊_ｅａｏと定義される（サイズ：Ｎ_{ＤｍｘＣｈ}×Ｎ_ＥＯＡ）
Ｇ：パラメトリックソース推定マトリックス（サイズ：Ｎ_{Ｏｂｊｅｃｔ}×Ｎ_ＥＯＡ）
Ｅ：オブジェクト共分散マトリックス（サイズ：Ｎ_{Ｏｂｊｅｃｔ}×Ｎ_{Ｏｂｊｅｃｔ}）
Ｅ_{ｎｏｎＥａｏ}：非ＥＡＯに対応する共分散サブマトリックであって、Ｅ_{ｎｏｎＥａｏ}＝Ｚ_{ｎｏｎＥａｏ}ＥＺ^＊_{ｎｏｎＥａｏ}と定義される（サイズ：（Ｎ_{Ｏｂｊｅｃｔ}−Ｎ_ＥＯＡ）×（Ｎ_{Ｏｂｊｅｃｔ}−Ｎ_ＥＯＡ））
Ｓ_ｅａｏ：ＥＡＯの再構築を含むＥＡＯ信号（サイズ：Ｎ_ＥＯＡ×Ｅ_{Ｓａｍｐｌｅｓ}）
Ｓ_{ｎｏｎＥａｏ}：非ＥＡＯの再構築を含む非ＥＡＯ信号（サイズ：（Ｎ_{Ｏｂｊｅｃｔ}−Ｎ_ＥＯＡ）×Ｎ_{Ｓａｍｐｌｅｓ}）
Ｓ_ｒｅｓ：ＥＡＯの残差信号（サイズ：Ｎ_ＥＯＡ×Ｅ_{Ｓａｍｐｌｅｓ}）
Ｘ^〜_{ｎｏｎＥＡＯ}：非ＥＡＯ信号のみを含む変更ダウンミックス信号であって、ＳＡＯＣダウンミックスと再構築ＥＡＯのダウンミックスとの差異として算出される（サイズ：Ｎ_{ＤｍｘＣｈ}×Ｎ_{Ｓａｍｐｌｅｓ}）

【0136】

紹介されるマトリックスは全て、（一般に）時間と周波数の変数である。

【0137】

ここで、デコーダ側における非ＥＡＯ信号の再推定の一般的方法を考慮する。

【0138】

一般的な方法は、２段階プローチとして説明することができる。まず、対応するダウンミックス信号から全てのＥＡＯ信号を抽出し、そして全ての非ＥＡＯ信号をＥＡＯを考慮して再構築する。オブジェクト信号は、ＰＳＩ（Ｅ，Ｄ）および取り込まれた残差信号（Ｓ_ｒｅｓ）を使って、ダウンミックス信号（Ｘ）から復元される。

【0139】

最終的にレンダリングされた出力信号Ｙ^＾_ｅｓｔは、次のように与えられると考えられる。

【数7】

【0140】

デコーダ出力オブジェクト信号Ｓ^＾_ｅｓｔは、次の合計として表すことができる。

【数8】

【0141】

ＥＡＯ信号Ｓ_ｅａｏは、ダウンミックスＸから、パラメトリックＥＡＯ再構築マトリックスＧ_ｅａｏおよび対応するＥＡＯ残差Ｓ_ｒｅｓを用いて、次のように算出される。

【数9】

【0142】

非ＥＡＯ信号Ｓ_{ｎｏｎＥａｏ}は、変更ダウンミックスＸ^〜_{ｎｏｎＥａｏ}から、パラメトリック非ＥＡＯ再構築マトリックスＧ^〜_{ｎｏｎＥａｏ}を用いて、次のように算出される。

【数10】

【0143】

変更ダウンミックス信号Ｘ^〜_{ｎｏｎＥａｏ}は、ダウンミックスＸと再構築されたＥＡＯの対応するダウンミックスとの差として定義され、これにより、ＥＡＯがダウンミックス信号Ｘからキャンセルされる。

【数11】

【0144】

ここで、ＥＡＯおよび非ＥＡＯ用のパラメトリックオブジェクト再構築マトリックスＧ_ｅａｏ，Ｇ^〜_{ｎｏｎＥａｏ}は、ＰＳＩ（Ｅ，Ｄ）を使って、次のように決定される。

【数12】

【0145】

以下において、デコーダ側において非ＥＡＯ信号の再推定をしないシンプルな手法「Ａ」を説明する。

【0146】

混合信号内のＥＡＯのみを取り扱う場合には、目標シーンは、ダウンミックス信号とＥＡＯ信号の線形結合と解釈できる。したがって、非ＥＡＯ信号の追加的再推定を省略できる。非ＥＡＯ信号再推定を伴う一般的方法は、単一ステップ手順へと簡略化できる。

【数13】

【0147】

信号

【数14】

は、送信されたＥＡＯの残差信号と、残差補償項とを含み、次の定義を有する。

【数15】

【0148】

この条件は、ＥＡＯのみの取り扱いに限定されている音響シーンをレンダリングするのに十分である。

【0149】

【数16】

と

【数17】

とにより、項Ｘ_ｄｉｆに対して、次の制約が満たされなければならない。

【数18】

【0150】

項Ｘ_ｄｉｆは、エンコーダによって決定され（そして送信または蓄積され）た成分Ｓ_ｒｅｓと、この等式を用いて定義される成分Ｘ_{ｎｏｎＥａｏ}とから構成される。

【0151】

ダウンマトリックスの定義

【数19】

と補償項の定義

【数20】

を用いて、次の式を導き出すことができる。

【数21】

【0152】

この式は、

【数22】

と

【数23】

とを用いて、次のように簡略化される。

【数24】

【0153】

この線形方程式をＸ_{ｎｏｎＥａｏ}について解くと、次の通りとなる。

【数25】

【0154】

この線形方程式の系を解いた後、目標シーンが、次の通り、パラメトリック予測項と残差拡張項との合計として計算される。

【数26】

できる。

【0155】

以下において、デコーダ側において非ＥＡＯ信号の再推定をしないシンプルな手法「Ｂ」を説明する。

【0156】

補償項Ｘ_ｄｉｆが、パラメトリック信号予測Ｓ_ｅｓｔに対して、

【数27】

であり、残差信号Ｓ_ｒｅｓの関数

【数28】

であることから、次の式が導かれる。

【数29】

【0157】

代替的な数式化は、ダウンミックス信号Ｈ_ｄｍｘＸ、拡張オブジェクトＨ_ｅｎｈＺ^＊_ｅａｏＺ_ｅａｏＳ_ｅｎｈ、および非拡張オブジェクトＨ_ｅｓｔＳ_ｅｓｔの３つの部分で構成され、これらの適切な線形結合を含み、次のようになる。

【数30】

【0158】

マトリックスのサイズは、Ｈ_ｄｍｘがＮ_{ｏｂｊｅｃｔｓ}×Ｎ_{ＤｍｘＣｈ}であり、Ｈ_ｅｎｈがＮ_{ｏｂｊｅｃｔｓ}×Ｎ_{ｏｂｊｅｃｔｓ}であり、Ｓ_ｄｍｘがＮ_{ｏｂｊｅｃｔｓ}×Ｎ_{Ｓａｍｐｌｅｓ}であり、Ｈ_ｅｓｔがＮ_{ｏｂｊｅｃｔｓ}×Ｎ_{ｏｂｊｅｃｔｓ}である。

【0159】

この式は、

【数31】

と仮定し、

【数32】

の定義から、以下のように書き換えられる。

【数33】

【0160】

これと再構築信号の上述の定義（数２９）とを比較すると、次の通りとなり、

【数34】

項Ｈ_ｅｓｔが、次の通り導き出される。

【数35】

【0161】

非拡張信号の寄与が最小限となるとき、最終的再構築におけるエラーが最小限となる。したがって、Ｈ_ｅｓｔ ０を目標とすると、線形方程式の系から項Ｈ_ｅｓｔを解くことができる。

【数36】

ここで、拡張ダウンミックスマトリックスＤ_ｅｘｔおよびアップミックスマトリックスＨ_ｅｘｔは、次の連結マトリックスとして定義される。

【数37】

【数38】

したがって、

【数39】

【0162】

この線形方程式の系を解いた後に、所望の修正項Ｘ_ｄｉｆが、以下の通り得られ、

【数40】

最終の出力

【数41】

が得られる。

【0163】

以下において、シンプルな手法「Ｃ」を説明する。

【0164】

混合信号においてＥＡＯのみを任意に取り扱う場合には、目標シーンは、ダウンミックス信号とＥＡＯとの線形結合として生成することができる。なお、ダウンミックスの代わりに、ＥＡＯを削除したダウンミックスを用いてもよい。残差処理が完全にＥＡＯを復元する場合には、目標シーンが完全に生成される。目標シーンは、ダウンミックスおよびＥＡＯ再構築について、２つの要素レンダリングマトリックスＲ_ＤおよびＲ_ｅａｏを使ってレンダリングすることができる。マトリックスのサイズは、Ｒ_Ｄ：Ｎ_{ＵｐｍｉｘＣｈ}×Ｎ_{ＤｍｘＣｈ}およびＲ_ｅａｏ：Ｎ_{ＵｐｍｉｘＣｈ}×Ｎ_ＥＡＯである。目標レンダリングマトリックスＲは、レンダリングマトリックスとダウンミックスマトリックスとを結合した結果として、次の通り表される。

【数42】

【0165】

これから、Ｒ_ｅｘｔについて、次の通り解くことができ、

【数43】

この解から、サブマトリックスＲ_ＤおよびＲ_ｅａｏが、

【数44】

【数45】

を用いて抽出される。

【0166】

ここで、目標シーンは、

【数46】

により計算される。ここで、Ｓ_ｅａｏは、ＥＡＯの完全な再構築を含み、上述の通り、

【数47】

と定義される。

【0167】

ダウンミックスからＤ_ｅａｏＳ_ｅａｏを差し引くことによってＥＡＯをミックスから削除したダウンミックスを用いて対象をレンダリングする場合にも、同様の方程式を組むことができる。

【0168】

以下において、一体残差エンコーディング／デコーディング概念における他の数学的導出およびさらなる詳細について説明し、一般的方法と簡略方法「Ａ」との統合について説明する。

【0169】

以下の説明においては、以下の表記を用いる。一部の要素について、以下の表記が上述の表記と一貫しない場合には、以下の説明については、以下の表記のみが当該要素について適用される。
定義：
Ｓは、サイズＮ_{Ｏｂｊｅｃｔｓ}×Ｎ_{Ｓａｍｏｌｅｓ}のオブジェクト信号であり、
Ｅ＝ＳＳ^＊は、サイズＮ_{Ｏｂｊｅｃｔｓ}×Ｎ_{Ｏｂｊｅｃｔｓ}のオブジェクト共分散マトリックスであり、
Ｄは、サイズＮ_{ＤｍｘＣｈ}×Ｎ_{Ｏｂｊｅｃｔｓ}のダウンミキシングマトリックスであり、
Ｘ＝ＤＳは、サイズＮ_{ＤｍｘＣｈ}×Ｎ_{Ｓａｍｏｌｅｓ}のダウンミックス信号であり、
Ｇ＝ＥＤ^＊Ｊは、サイズＮ_{Ｏｂｊｅｃｔｓ}×Ｎ_{ＤｍｘＣｈ}のアップミキシングマトリックスであり、
Ｍ_ｒｅｎは、サイズＮ_{ＵｐｍｉｘＣｈ}×Ｎ_{Ｏｂｊｅｃｔｓ}のレンダリングマトリックスであり、
Ｘ_ｒｅｓは、サイズＮ_ＥＡＯ×Ｎ_{Ｓａｍｏｌｅｓ}の残差信号であり、
Ｒ_ｅａｏは、サイズＮ_ＥＡＯ×Ｎ_{Ｏｂｊｅｃｔｓ}のマトリックスであって、

【数48】

として定義される非ＥＡＯの位置（所在）を示し、
Ｒ_{ｎｏｎＥａｏ}は、サイズ（Ｎ_{Ｏｂｊｅｃｔｓ}−Ｎ_ＥＡＯ）×Ｎ_{Ｏｂｊｅｃｔｓ}のマトリックスであって、

【数49】

として定義される非ＥＡＯの位置（所在）を示す。

【0170】

非ＥＡＯに相当する上記のいくつかのサブマトリクスは、次の通り、選択マトリクスＲ_{ｎｏｎＥａｏ}を用いて特定できる。

【数50】

【0171】

以下において、デコーダ側において非ＥＡＯ信号の再推定を行う一般的方法の別の詳細なる数学的説明を記載する。

【0172】

オブジェクト信号は、副情報と取り込まれた残差信号を使って、ダウンミックスから復活される。デコーダからの出力Ｘ^＾は、次の通り生成される。

【数51】

【0173】

ＥＡＯからなるサイズＮ_ＥＡＯのＥＡＯ項は、次の通り計算される。

【数52】

ここで、サイズＮ_ＥＡＯの残差信号Ｘ_ｒｅｓ項は、ＥＡＯに対する残差信号を含む。

【0174】

非ＥＡＯを有するサイズＮ_{Ｏｂｊｅｃｔｓ}−Ｎ_ＥＡＯの非ＥＡＯ項は、次の通り計算される。

【数53】

ここで、非ＥＡＯ信号のみからなる変更ダウンミックス信号Ｘ~_{ｎｏｎＥａｏ}は、ＳＡＯＣダウンミックスと再構築ＥＡＯのダウンミックスの差として計算される。

【数54】

【0175】

非ＥＡＯに対応するサイズ（Ｎ_{Ｏｂｊｅｃｔｓ}−Ｎ_ＥＡＯ）×（Ｎ_{Ｏｂｊｅｃｔｓ}−Ｎ_ＥＡＯ）の共分散サブマトリックスが、次の通り計算される。

【数55】

【0176】

非ＥＡＯに対応するサイズＮ_{ＤｍｘＣｈ}×（Ｎ_{Ｏｂｊｅｃｔｓ}−Ｎ_ＥＡＯ）のダウンミックスサブマトリックスＤ_{ｎｏｎＥａｏ}が、次の通り計算される。

【数56】

【0177】

以下では、簡略方法「Ａ」（デコーダ側において非ＥＡＯ信号の再推定を行わない）の別の詳細な数学的説明を提供する。

【0178】

オブジェクト信号は、副情報と取り込まれた残差信号を使って、ダウンミックスから復活される。デコーダからの最終出力Ｘ^＾は、次の通り示される。

【数57】

【0179】

サイズＮ_{Ｏｂｊｅｃｔ}のＸ_ｄｉｆ項は、次のように、ＥＡＯに対するサイズＮ_ＥＡＯの残差信号Ｘ_ｒｅｓと、非ＥＡＯに対する予測項Ｘ_{ｎｏｎＥａｏ}とを包含する。

【数58】

【0180】

予測項Ｘ_{ｎｏｎＥａｏ}は、次の通り推定される。

【数59】

【0181】

ＥＡＯに対応するダウンミックスサブマトリックスＤ_ｅａｏおよび通常のオブジェクトに対応するダウンミックスサブマトリックスＤ_{ｎｏｎＥａｏ}は、次の通り定義される。

【数60】

【0182】

以下では、レンダリングマトリックス１の特殊の場合を検討する。

【0183】

ＥＡＯの任意の変形と非ＥＡＯの均一のスケーリング（ダウンミックスと比較して）とを伴うサイズＮ_{ＤｍｘＣｈ}×Ｎ_{Ｏｂｊｅｃｔｓ}のダウンミックス様レンダリングマトリックスＭ_Ｄの、次の特別な場合を検討する。

【数61】

【0184】

ここで、一般的方法の詳細な数学的説明は、以下の通りとなる。

【数62】

次に、簡略化した方法「Ａ」の詳細な数学的説明は、以下の通りとなる。

【数63】

レンダリングマトリックスの想定が適用されるとき、上記２つの結果が同じになることが分かる。

【0185】

次に、レンダリングマトリックス２の特別なケースを検討する。

【0186】

サイズＮ_{ＤｍｘＣｈ}×Ｎ_{Ｏｂｊｅｃｔｓ}のレンダリングマトリックスＭ_Ｓの構造に追加的な制限を加え、全ての非ＥＡＯが、ダウンミックスに比べて共通のスケーリングファクタａによってのみ変更され、全てのＥＡＯがダウンミックスに比べて共通のスケーリングファクタｂによってのみ変更されるものとする。

【数64】

前の結果から引き続いて、システムの出力は、次のようになる。

【数65】

【0187】

一部の側面について装置の文脈において説明したが、これらの側面は、対応する方法の記載も示していることは明らかであり、ブロックや装置は、方法的ステップまたは方法的ステップの特徴に対応する。同様に、方法の観点から説明された側面もまた、対応するブロックもしくは物品または対応する装置の特徴の説明としても機能するものである。

【0188】

本発明に係る分解信号は、デジタル記憶媒体に格納することができ、または無線通信媒体やインターネットなどの有線通信媒体のような通信媒体上を転送することもできる。

【0189】

所定の実施要件によっては、本発明に係る実施形態は、ハードウェアとして実施してもよいしソフトウェアとして実施してもよい。実施は、例えばフレキシブルディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ（登録商標）、またはフラッシュメモリなどのような、電子的に読み取り可能な制御信号が記憶されたデジタル記憶媒体を用いてすることができ、当該方法が実行されるようこれらのデジタル記憶媒体がプログラム可能なコンピュータシステムと協働する（または協働することできる）。

【0190】

本発明による一部の実施形態では、電子的に読み取り可能な制御信号を有する固定データ担体を備え、その担体は、開示される方法のいずれかが実施されるよう、プログラム可能なコンピュータシステムと協働することができる。

【0191】

一般的に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実施することが可能であり、当該コンピュータプログラム製品がコンピュータにおいて実行されたとき、当該プログラムコードがいずれかの方法を実行するよう動作する。このプログラムは、例えば機械で読み取り可能な担体に記憶されてもよい。

【0192】

その他の実施形態においては、開示されるいずれかの方法を実行する機械で読み取り可能な担体に記憶されたコンピュータプログラムを備える。

【0193】

すなわち、本発明に係る方法は、その一実施形態においては、コンピュータプログラムがコンピュータで実行されたとき、開示されるいずれかの方法を実行するプログラムコードを有するコンピュータプログラムとして構成される。

【0194】

したがって、本発明に係る方法のさらなる実施形態は、開示される方法のいずれかを実施するコンピュータプログラムが記録されたデータ担体（またはデジタル記憶媒体またはコンピュータに読み取り可能な媒体）として構成される。

【0195】

したがって、本発明に係る方法のさらなる実施形態は、開示される方法のいずれかを実施するコンピュータプログラムを示すデータストリームまたは信号シーケンスとして構成される。 このデータストリームまたは信号シーケンスは、例えば、データコミュニケーション接続（例えばインターネットなど）を介して伝送されるよう構成されてもよい。

【0196】

さらなる実施形態においては、開示されるいずれかの方法を実行するよう構成された処理手段、例えばコンピュータ、プログラム可能な論理機構を備える。

【0197】

さらなるの実施形態においては、開示されるいずれかの方法を実行するコンピュータプログラムをインストールしたコンピュータを備える。

【0198】

いくつかの実施形態においては、開示される方法の機能の一部または全部を実行するために、プログラム可能な論理機構（例えば、フィールドプログラマブルゲートアレイ）を用いてもよい。いくつかの実施形態においては、開示される方法のいずれかを実行するために、フィールドプログラマブルゲートアレイとマイクロプロセッサとを協働させてもよい。一般的に、方法は、ハードウェア装置によって実行されることが好ましい。

【0199】

上述の実施形態は、本発明の原理を単に例示するものに過ぎない。開示される構成や詳細に対して変更または調整が可能であることは、当該分野に知識を有する者にとっては明らかである。従って、現時点における特許クレームの範囲によってのみ限定されるものであり、開示の方法や実施形態の説明によって提供された具体的詳細によっては何ら限定されるものではない。

【図1A】

【図1B】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】