特許 6207739 修正された出力信号を得るために符号化されたオーディオ信号を復号化するための装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6207739

(24)【登録日】2017年9月15日

(45)【発行日】2017年10月4日

(54)【発明の名称】修正された出力信号を得るために符号化されたオーディオ信号を復号化するための装置および方法

(51)【国際特許分類】

   H04S 7/00 20060101AFI20170925BHJP

   G10L 19/008 20130101ALI20170925BHJP

   G10L 19/02 20130101ALI20170925BHJP

【ＦＩ】

   H04S7/00 300

   G10L19/008 200

   G10L19/008 100

   G10L19/02 150

【請求項の数】15

【全頁数】22

(21)【出願番号】特願2016-528467(P2016-528467)

(86)(22)【出願日】2014年7月18日

(65)【公表番号】特表2016-530789(P2016-530789A)

(43)【公表日】2016年9月29日

(86)【国際出願番号】EP2014065533

(87)【国際公開番号】WO2015011054

(87)【国際公開日】20150129

【審査請求日】2016年2月23日

(31)【優先権主張番号】13177379.8

(32)【優先日】2013年7月22日

(33)【優先権主張国】EP

(73)【特許権者】

【識別番号】591037214

【氏名又は名称】フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ

(74)【代理人】

【識別番号】100079577

【弁理士】

【氏名又は名称】岡田 全啓

(74)【代理人】

【識別番号】100167966

【弁理士】

【氏名又は名称】扇谷 一

(72)【発明者】

【氏名】パウルス ヨウニ

(72)【発明者】

【氏名】テレンチエフ レオン

(72)【発明者】

【氏名】フックス ハラルド

(72)【発明者】

【氏名】ヘルムート オリヴァー

(72)【発明者】

【氏名】モルタザ アドリアン

(72)【発明者】

【氏名】リッダーブッシュ ファルコ

【審査官】 下林 義明

(56)【参考文献】

【文献】 特表２００７−５３１９１６（ＪＰ，Ａ）

【文献】 特表２０１０−５０８５４５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｓ １／００ − ７／００

Ｇ１０Ｌ １９／００ − ９９／００

(57)【特許請求の範囲】

【請求項1】

修正された出力信号（１６０）を得るために符号化されたオーディオ信号（１００）を復号化するための装置であって、
送信されたダウンミックス信号（１１２）および前記送信されたダウンミックス信号（１１２）に含まれるオーディオオブジェクトに関するパラメトリックデータ（１１４）を受信するための入力インタフェース（１１０）であって、前記送信されたダウンミックス信号は、前記パラメトリックデータが関するエンコーダダウンミックス信号と異なる、入力インタフェース、
ダウンミックス修正機能を用いて前記送信されたダウンミックス信号を修正するためのダウンミックス修正器（１１６）であって、前記ダウンミックス修正は、修正されたダウンミックス信号が前記エンコーダダウンミックス信号と同一でありまたは前記送信されたダウンミックス信号（１１２）と比較して前記エンコーダダウンミックス信号とより類似するように実行される、ダウンミックス修正器、
出力信号を得るために前記修正されたダウンミックス信号および前記パラメトリックデータを用いて前記オーディオオブジェクトをレンダリングするためのオブジェクトレンダラー（１１８）、および
出力信号修正機能を用いて前記出力信号を修正するための出力信号修正器（１２０）であって、前記出力信号修正機能は、前記送信されたダウンミックス信号（１１２）を得るために前記エンコーダダウンミックス信号に適用される操作動作が前記修正された出力信号（１６０）を得るために前記出力信号に少なくとも部分的に適用されるようにする、出力信号修正器を含む、装置。

【請求項2】

前記ダウンミックス修正器（１１６）および前記出力信号修正器（１２０）は、前記出力信号修正機能が前記ダウンミックス信号修正機能と異なりさらに前記ダウンミックス信号修正機能に対して逆であるように構成される、請求項１の装置。

【請求項3】

前記ダウンミックス修正機能は、ダウンミックス修正ゲインファクタを前記送信されたダウンミックス信号の異なる時間フレームまたは周波数バンドに適用することを含み、
前記出力信号修正機能は、出力信号修正ゲインファクタを前記出力信号の異なる時間フレームまたは周波数バンドに適用することを含み、さらに、
前記出力信号修正ゲインファクタは、前記ダウンミックス修正ゲインファクタの逆の値から導き出され、さらに、前記ダウンミックス修正ゲインファクタは、前記出力信号修正ゲインファクタの逆の値から導き出される、請求項１または請求項２の装置。

【請求項4】

前記入力インタフェース（１１０）は、前記ダウンミックス修正機能に関する情報をさらに受信するように構成され、さらに、前記ダウンミックス修正器（１１６）は、前記ダウンミックス修正機能に関する前記情報を用いるように構成され、前記出力信号修正器（１２０）は、前記ダウンミックス信号修正に関する前記情報（１１５）から前記出力信号修正機能を導き出すように構成され、または
前記入力インタフェース（１１０）は、前記出力信号修正機能に関する情報をさらに受信するように構成され、前記ダウンミックス修正器（１１６）は、受信される前記出力信号修正機能に関する前記情報から前記ダウンミックス修正機能を導き出すように構成される、請求項１ないし請求項３のいずれかに記載の装置。

【請求項5】

前記ダウンミックス修正機能に関する前記情報は、ダウンミックス修正ゲインファクタを含み、さらに
前記ダウンミックス修正器（１１６）は、前記ダウンミックス修正ゲインファクタを適用しまたは補間され若しくは平滑化されたダウンミックス修正ゲインファクタを適用するように構成され、さらに
前記出力信号修正器（１２０）は、それぞれ、逆にされたダウンミックス修正ゲインファクタまたは補間され若しくは平滑化されたダウンミックス修正ゲインファクタおよび一定値の最大を用いることによって、または、前記逆にされたダウンミックス修正ゲインファクタまたは補間され若しくは平滑化されたダウンミックス修正ゲインファクタおよび前記一定値の合計を用いることによって、前記出力信号修正ゲインファクタを計算するように構成される、請求項４の装置。

【請求項6】

前記出力信号修正器（１２０）は、制御信号（１１７）によって制御可能であり、前記入力インタフェース（１１０）は、前記送信されたダウンミックス信号の周波数バンドの時間フレームのための制御情報を受信するように構成され、さらに
前記出力信号修正器（１２０）は、前記制御情報から前記制御信号を導き出すように構成される、請求項１ないし請求項５のいずれかに記載の装置。

【請求項7】

前記制御情報は、フラグであり、さらに、前記制御信号は、前記フラグがセット状態にある場合に、前記出力信号修正器（１２０）が非活性化され、さらに、前記フラグが非セット状態またはその逆であるときに、前記出力信号修正器（１２０）が活性化されるようにする、請求項６の装置。

【請求項8】

前記ダウンミックス修正器（１１６）は、前記送信されたダウンミックス信号（１１２）に適用される、ラウドネス最適化、イコライゼーション動作、マルチバンドイコライゼーション動作、ダイナミックレンジ圧縮動作またはリミット動作を低減しまたはキャンセルするように構成され、さらに
前記出力信号修正器（１２０）は、前記ラウドネス最適化または前記イコライゼーション動作または前記マルチバンドイコライゼーション動作または前記ダイナミックレンジ圧縮または前記リミット動作を前記出力信号に適用するように構成される、請求項１ないし請求項７のいずれかに記載の装置。

【請求項9】

前記オブジェクトレンダラー（１１８）は、前記修正されたダウンミックス信号、前記パラメトリックデータ（１１４）および再生レイアウトにおいて前記オブジェクトの位置決めを示す位置情報（１２１）からチャンネル信号を計算するように構成される、請求項１ないし請求項８のいずれかに記載の装置。

【請求項10】

前記オブジェクトレンダラー（１１８）は、前記パラメトリックデータ（１１４）を用いて前記オブジェクトを再構成し、さらに、再生レイアウトにおいて前記オブジェクトの位置決めを示す位置情報（１２１）を用いて再生レイアウトのためのチャンネル信号に前記オブジェクトを配布するように構成される、
請求項１ないし請求項９のいずれかに記載の装置。

【請求項11】

前記入力インタフェース（１１０）は、オリジナルのオブジェクトおよび再構成されたオブジェクト間の波形差である強化されたオーディオオブジェクトおよび通常のオーディオオブジェクトを受信するように構成され、前記再構成は、前記パラメトリックデータ（１１４）に基づき、
前記オブジェクトレンダラー（１１８）は、前記出力信号を計算するために前記通常のオブジェクトおよび前記強化されたオーディオオブジェクトを用いるように構成される、請求項１ないし請求項１０のいずれかに記載の装置。

【請求項12】

前記オブジェクトレンダラー（１１８）は、１つ以上のオブジェクトを操作するためのユーザー入力（１２３）を受信するように構成され、さらに、前記オブジェクトレンダラー（１１８）は、前記出力信号をレンダリングするときに前記ユーザー入力によって決定されるような前記１つ以上のオブジェクトを操作するように構成される、
請求項１ないし請求項１１のいずれかに記載の装置。

【請求項13】

前記オブジェクトレンダラー（１１８）は、前記符号化されたオーディオオブジェクト信号に含まれるフォアグラウンドオブジェクトまたはバックグラウンドオブジェクトを操作するように構成される、請求項１２の装置。

【請求項14】

修正された出力信号（１６０）を得るために符号化されたオーディオ信号（１００）を復号化する方法であって、
送信されたダウンミックス信号（１１２）および前記送信されたダウンミックス信号（１１２）に含まれるオーディオオブジェクトに関するパラメトリックデータ（１１４）を受信するステップ（１１０）であって、前記送信されたダウンミックス信号は、前記パラメトリックデータが関するエンコーダダウンミックス信号と異なる、受信するステップ、
ダウンミックス修正機能を用いて前記送信されたダウンミックス信号を修正するステップ（１１６）であって、前記ダウンミックス修正は、修正されたダウンミックス信号が前記エンコーダダウンミックス信号と同一でありまたは前記送信されたダウンミックス信号（１１２）と比較して前記エンコーダダウンミックス信号とより類似するように実行される、修正するステップ、
出力信号を得るために前記修正されたダウンミックス信号および前記パラメトリックデータを用いて前記オーディオオブジェクトをレンダリングするステップ（１１８）、および
出力信号修正機能を用いて前記出力信号を修正するステップ（１２０）であって、前記出力信号修正機能は、前記送信されたダウンミックス信号（１１２）を得るために前記エンコーダダウンミックス信号に適用される操作動作が前記修正された出力信号（１６０）を得るために前記出力信号に少なくとも部分的に適用されるようにする、修正するステップを含む、方法。

【請求項15】

コンピュータプログラムがコンピュータまたはプロセッサ上で実行されるときに、請求項１４の方法を実行するためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オーディオオブジェクト符号化に関し、特にトランスポートチャンネルとしてマスターされたダウンミックスを用いるオーディオオブジェクト符号化に関する。

【背景技術】

【0002】

近年、複数のオーディオオブジェクトを含むオーディオシーンのビットレート効率のよい伝送／記憶のためのパラメトリック手法が、オーディオ符号化［ＢＣＣ，ＪＳＣ，ＳＡＯＣ，ＳＡＯＣ１，ＳＡＯＣ２］およびインフォームドソース分離［ＩＳＳ１，ＩＳＳ２，ＩＳＳ３，ＩＳＳ４，ＩＳＳ５，ＩＳＳ６］の分野において提案されている。これらの手法は、送信され／格納されたオーディオシーンおよび／またはオーディオシーンにおけるソースオブジェクトを記述する付加的なサイド情報に基づいて所望の出力オーディオシーンまたはオーディオソースオブジェクトを再構成することを目的とする。この再構成は、パラメトリックインフォームドソース分離スキームを用いてデコーダにおいて起こる。

【0003】

ここで、主にＭＰＥＧ空間オーディオオブジェクト符号化（ＳＡＯＣ）［ＳＡＯＣ］の動作に注目するが、同じ原理が、他のシステムのためにも当てはまる。ＳＡＯＣシステムの主な動作は、図５に示される。一般性の喪失なしに、式の読みやすさを改善するために、全ての導入された変数のために、特に明記しない限り、時間および周波数依存性を示すインデックスは、このドキュメントにおいて省略される。システムは、Ｎ個の入力オーディオオブジェクトＳ₁，・・・，Ｓ_Nと、これらのオブジェクトがどのように例えばダウンミキシングマトリックスＤの形でミックスされるべきかのインストラクションとを受信する。入力オブジェクトは、サイズＮ×Ｎ_SamplesのマトリックスＳとして表すことができる。エンコーダは、オブジェクトを記述するパラメトリックでおそらく波形ベースのサイド情報を抽出する。ＳＡＯＣにおいて、サイド情報は、主に、オブジェクトレベル差（ＯＬＤｓ）でパラメータ化される相対的なオブジェクトエネルギー情報およびオブジェクト間相関（ＩＯＣｓ）でパラメータ化されるオブジェクト間の相関の情報からなる。ＳＡＯＣにおける任意の波形ベースのサイド情報は、パラメトリックモデルの再構成エラーを記述する。このサイド情報を抽出することに加えて、エンコーダは、サイズＭ×ＮのダウンミキシングマトリックスＤ内で情報を用いて作成される、Ｍチャンネルを有するダウンミックス信号Ｘ₁，・・・，Ｘ_Mを提供する。ダウンミックス信号は、入力オブジェクトとの以下の関係を有するサイズＭ×Ｎ_SamplesのマトリックスＸとして表すことができる：Ｘ＝ＤＳ。通常、関係Ｍ＜Ｎが、成立するが、これは、厳格な要件ではない。ダウンミックス信号およびサイド情報は、例えば、ＭＰＥＧ−２／４ ＡＡＣなどのオーディオコーデックの助けを借りて、送信されまたは格納される。ＳＡＯＣデコーダは、ダウンミックス信号およびサイド情報、さらに、しばしばＫチャンネルを有する出力Ｙ₁，・・・，Ｙ_Kがどのようにオリジナルの入力オブジェクトに関するかを記述するサイズＫ×ＮのレンダリングマトリックスＭの形で付加的なレンダリング情報を受信する。

【0004】

【0005】

ＳＡＯＣにおける（仮想）オブジェクト分離は、主にアンミキシング係数を決定するためのパラメトリックサイド情報を用いることによって作動し、それは、その後、（仮想）オブジェクト再構成を得るためのダウンミックス信号に適用される。このように得られる知覚的な品質がいくつかのアプリケーションのために不足する可能性があることに注意されたい。このために、ＳＡＯＣは、最大で４つまでのオリジナルの入力オーディオオブジェクトのための強化された品質モードも提供する。これらのオブジェクトは、強化されたオーディオオブジェクト（ＥＡＯｓ）と呼ばれ、（仮想）オブジェクト再構成およびオリジナルの入力オーディオオブジェクト間の差を最小化する時間領域訂正信号と関連する。ＥＡＯは、オリジナルの入力オーディオオブジェクトから非常に小さい波形差で再構成することができる。

【0006】

ＳＡＯＣシステムの１つの主な特性は、それらに耳を傾けることができさらに意味的に重要なオーディオシーンを形成するようにダウンミックス信号Ｘ₁，・・・，Ｘ_Mを設計することができるということである。これは、ＳＡＯＣ情報を復号化することができるレシーバのないユーザーが可能なＳＡＯＣエンハンスメントのない主なオーディオコンテンツをまだ楽しむことを可能にする。例えば、後方互換性のあるようにラジオまたはＴＶ放送内に上述のようにＳＡＯＣシステムを適用することが可能である。いくつかの重要でない機能性を加えるためだけに配備される全てのレシーバを交換することは、実際上不可能である。ＳＡＯＣサイド情報は、通常むしろコンパクトであり、さらに、それは、ダウンミックス信号トランスポートストリーム内に埋め込むことができる。レガシーレシーバは、単にＳＡＯＣサイド情報を無視し、さらに、ダウンミックス信号を出力し、さらに、ＳＡＯＣデコーダを含むレシーバは、サイド情報を復号化することができ、さらに、いくつかの付加的な機能性を提供することができる。

【0007】

しかしながら、特に放送用の場合において、ＳＡＯＣエンコーダによって生成されるダウンミックス信号は、送信される前に、審美的または技術的な理由のために放送局によってさらに後処理される。サウンドエンジニアが彼の芸術的なビジョンによりよくフィットするようにオーディオシーンを調整したいということが可能であり、または、信号が放送局の商標サウンドイメージにマッチするように操作されなければならない、または、信号が例えばオーディオラウドネスに関する勧告および規則などのいくつかの技術的な規則に従うように操作されるべきである。ダウンミックス信号が操作されるときに、図５の信号フロー図が図７に示されるものに変えられる。ここで、ダウンミックスマスタリングのオリジナルのダウンミックス操作は、操作されたダウンミックス信号ｆ（Ｘ_i），１≦ｉ≦Ｍに結果としてなる、ダウンミックス信号Ｘ_i，１≦ｉ≦Ｍのそれぞれにいくつかの機能ｆ（・）を適用すると想定されている。実際に送信されたダウンミックス信号は、ＳＡＯＣエンコーダによって生成されるものから生じていないが、全体として外部から提供されることが可能であるが、この状況は、エンコーダで作成されたダウンミックスの操作でもあるとして議論に含まれる。

【0008】

ダウンミックス信号の操作は、デコーダにおけるダウンミックス信号がサイド情報を介して送信されるモデルに必ずしももはやマッチすることができないように、（仮想）オブジェクト分離においてＳＡＯＣデコーダにおける問題を生じる可能性がある。特に予測エラーの波形サイド情報がＥＡＯｓのために送信されるときに、それは、ダウンミックス信号において波形変更に対して非常に感度が高い。

【0009】

ＭＰＥＧ ＳＡＯＣ［ＳＡＯＣ］は、２つのダウンミックス信号および１つまたは２つの出力信号の最大のために定義される、すなわち、１≦Ｍ≦２および１≦Ｋ≦２であることに注意すべきである。しかしながら、ディメンションは、この拡張がかなり簡単でありさらに説明を助けるように、一般の場合にここで拡張される。

【0010】

ＳＡＯＣミキシングモデルに従うダウンミックス信号およびデコーダにおいて利用可能な操作されたダウンミックス信号間の差を低減するために、操作されたダウンミックス信号をＳＡＯＣエンコーダに送り、いくつかの付加的なサイド情報を抽出し、さらにデコーダにおいてこのサイド情報を用いることが、［ＰＤＧ，ＳＡＯＣ］において提案されている。ルーティングの基本的な考え方は、ダウンミックス操作からＳＡＯＣエンコーダへの付加的なフィードバック接続で図８ａに示される。ＳＡＯＣ［ＳＡＯＣ］のための現在のＭＰＥＧスタンダードは、主にパラメトリック補償に注目する提案［ＰＤＧ］の部分を含む。補償パラメータの推定は、ここに記載されていないが、リーダーは、ＭＰＥＧ ＳＡＯＣスタンダード［ＳＡＯＣ］のインフォマティブアネックス（ｉｎｆｏｒｍａｔｉｖｅ Ａｎｎｅｘ）Ｄ．８と呼ばれる。

【0011】

【0012】

［ＰＤＧ］において、パラメトリックに補償された操作されたダウンミックス信号およびＳＡＯＣエンコーダによって作成されるダウンミックス信号間の差を記述する波形残差信号を含むことも提案される。しかしながら、これらは、ＭＰＥＧ ＳＡＯＣスタンダード［ＳＡＯＣ］の部分でない。

【0013】

補償の利点は、ＳＡＯＣ（仮想）オブジェクト分離ブロックによって受信されるダウンミックス信号がＳＡＯＣエンコーダによって生成されるダウンミックス信号により近く、さらに、送信されたサイド情報によりよくマッチするということである。しばしば、これは、（仮想）オブジェクト再構成において低減されたアーチファクトをもたらす。

【0014】

【0015】

これを放送においてダイアログエンハンスメント（ｄｉａｌｏｇ ｅｎｈａｎｃｅｍｅｎｔ）の潜在的な用途からより具体的な例で示す。

【0016】

オリジナルの入力オーディオオブジェクトＳは、例えばスポーツ放送における観客および周囲のノイズなどの（おそらくマルチチャンネル）バックグラウンド信号と、例えばコメンテーターなどの（おそらくマルチチャンネル）フォアグラウンド信号とからなる。

【0017】

ダウンミックス信号Ｘは、バックグラウンドおよびフォアグラウンドの混合を含む。

【0018】

ダウンミックス信号は、例えば、マルチバンドイコライザ、ダイナミックレンジ圧縮器、およびリミッタ（ここで行われるいかなる操作も、「マスタリング」と後で呼ばれる）の実際のワードの場合にあるｆ（Ｘ）によって操作される。

【0019】

デコーダにおいて、レンダリング情報は、ダウンミキシング情報と類似する。唯一の差は、バックグラウンドおよびフォアグラウンド信号間の相対的なレベルバランスがエンドユーザーによって調整することができるということである。換言すれば、ユーザーは、例えば、改善された明瞭度のために、コメンテーターをより聞き取れるようにするために観衆ノイズを減衰することができる。逆の例として、エンドユーザーは、イベントの音響シーンにより注目することを可能にするためにコメンテーターを低減することができる。

【0020】

ダウンミックス操作の補償が用いられない場合に、（仮想）オブジェクト再構成は、受信されたダウンミックス信号の実特性およびサイド情報として送信される特性間の差によって生じるアーチファクトを含む可能性がある。

【0021】

ダウンミックス操作の補償が用いられる場合に、出力は、マスタリングが除去される。エンドユーザーがミキシングバランスを修正しないときの場合であっても、デフォルトのダウンミックス信号（すなわち、ＳＡＯＣサイド情報を復号化することができないレシーバからの出力）およびレンダリングされた出力は、おそらく全くかなり異なる。

【0022】

結局、放送局は、その後、以下の次善のオプションを有する：
ダウンミックス信号およびサイド情報間のミスマッチからＳＡＯＣアーチファクトを受け入れる、
いかなる高度なダイアログエンハンスメント（ｄｉａｌｏｇ ｅｎｈａｎｃｅｍｅｎｔ）機能性も含まない、および／または
出力信号のマスタリング変更を失う。

【先行技術文献】

【特許文献】

【0023】

【特許文献1】米国特許出願公開第２０１１／０１６６８６７号：［ＰＤＧ］ J. Seo, S. Beack, K. Kang, J. W. Hong, J. Kim, C. Ahn, K. Kim, and M. Hahn, "Multi-object audio encoding and decoding apparatus supporting post downmix signal", United States Patent Application Publication US2011/0166867, Jul 2011.

【非特許文献】

【0024】

【非特許文献1】［ＢＣＣ］ C. Faller and F. Baumgarte, "Binaural Cue Coding - Part II: Schemes and applications," IEEE Trans. on Speech and Audio Proc., vol. 11, no. 6, Nov. 2003.

【非特許文献2】［ＪＳＣ］ C. Faller, "Parametric Joint-Coding of Audio Sources", 120th AES Convention, Paris, 2006.

【非特許文献3】［ＩＳＳ１］ M. Parvaix and L. Girin: "Informed Source Separation of underdetermined instantaneous Stereo Mixtures using Source Index Embedding", IEEE ICASSP, 2010.

【非特許文献4】［ＩＳＳ２］ M. Parvaix, L. Girin, J.-M. Brossier: "A watermarking-based method for informed source separation of audio signals with a single sensor", IEEE Transactions on Audio, Speech and Language Processing, 2010.

【非特許文献5】［ＩＳＳ３］ A. Liutkus and J. Pinel and R. Badeau and L. Girin and G. Richard: "Informed source separation through spectrogram coding and data embedding", Signal Processing Journal, 2011.

【非特許文献6】［ＩＳＳ４］ A. Ozerov, A. Liutkus, R. Badeau, G. Richard: "Informed source separation: source coding meets source separation", IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, 2011.

【非特許文献7】［ＩＳＳ５］ S. Zhang and L. Girin: "An Informed Source Separation System for Speech Signals", INTERSPEECH, 2011.

【非特許文献8】［ＩＳＳ６］ L. Girin and J. Pinel: "Informed Audio Source Separation from Compressed Linear Stereo Mixtures", AES 42nd International Conference: Semantic Audio, 2011.

【非特許文献9】［ＳＡＯＣ１］ J. Herre, S. Disch, J. Hilpert, O. Hellmuth: "From SAC To SAOC - Recent Developments in Parametric Coding of Spatial Audio", 22nd Regional UK AES Conference, Cambridge, UK, April 2007.

【非特許文献10】［ＳＡＯＣ２］ J. Engdegaard, B. Resch, C. Falch, O. Hellmuth, J. Hilpert, A. Hoelzer, L. Terentiev, J. Breebaart, J. Koppens, E. Schuijers and W. Oomen: " Spatial Audio Object Coding (SAOC) - The Upcoming MPEG Standard on Parametric Object Based Audio Coding", 124th AES Convention, Amsterdam 2008.

【非特許文献11】［ＳＡＯＣ］ ISO/IEC, "MPEG audio technologies - Part 2: Spatial Audio Object Coding (SAOC)," ISO/IEC JTC1/SC29/WG11 (MPEG) International Standard 23003-2.

【発明の概要】

【発明が解決すようとする課題】

【0025】

本発明の目的は、符号化されたオーディオ信号を復号化するための改善された概念を提供することである。

【課題を解決するための手段】

【0026】

この目的は、請求項１の符号化されたオーディオ信号を復号化するための装置、請求項１４の符号化されたオーディオ信号を復号化する方法または請求項１５のコンピュータプログラムによって達成される。

【0027】

本発明は、マスタリングステップ内に適用されているダウンミックス操作が単にオブジェクト分離を改善するために放棄されないが、レンダリングステップによって生成される出力信号にその後再適用されるときに、符号化されたオーディオオブジェクト信号を用いる改善されたレンダリング概念が得られるという知見に基づく。このように、いかなる芸術的なまたは他のダウンミックス操作もオーディオオブジェクト符号化された信号の場合に簡単に失われないが、復号化動作の最終結果で見つけることができることが確実にされる。この目的で、符号化されたオーディオ信号を復号化するための装置は、入力インタフェースと、ダウンミックス修正機能を用いて送信されたダウンミックス信号を修正するためのその後に接続されたダウンミックス修正器と、修正されたダウンミックス信号およびパラメトリックデータを用いてオーディオオブジェクトをレンダリングするためのオブジェクトレンダラーと、出力信号修正機能を用いて出力信号を修正するための最終出力信号修正器とを含み、修正は、ダウンミックス修正機能による修正が少なくとも部分的に逆にされるように起こり、または、別の言い方をすれば、ダウンミックス操作は、リカバリーされるが、ダウンミックスに再び適用されなく、オブジェクトレンダラーの出力信号に適用される。換言すれば、出力信号修正機能は、好ましくは、ダウンミックス信号修正に対して逆であり、または、ダウンミックス信号修正機能に対して少なくとも部分的に逆である。別の言い方をすれば、出力信号修正機能は、送信されたダウンミックス信号を得るためにオリジナルのダウンミックス信号に適用される操作動作が出力信号に少なくとも部分的に適用され、さらに、好ましくは同一の動作が適用されるようにする。

【0028】

本発明の好適な実施形態において、両方の修正機能は、互いに異なり、さらに、互いに少なくとも部分的に逆である。さらなる実施形態において、ダウンミックス修正機能および出力信号修正機能は、異なる時間フレームまたは周波数バンドのためのそれぞれのゲインファクタを含み、さらに、ダウンミックス修正ゲインファクタまたは出力信号修正ゲインファクタは、互いに導き出し合う。このように、ダウンミックス信号修正ゲインファクタまたは出力信号修正ゲインファクタは、送信することができ、さらに、デコーダは、その後、典型的にそれらを逆にすることによって、送信されたものから他のファクタを導き出す位置にある。

【0029】

さらなる実施形態は、サイド情報として送信された信号においてダウンミックス修正情報を含み、さらに、デコーダは、サイド情報を抽出し、一方ではダウンミックス修正を実行し、逆のまたは少なくとも部分的に若しくはほぼ逆の機能を計算し、さらに、オブジェクトレンダラーから出力信号にこの機能を適用する。

【0030】

さらなる実施形態は、それが芸術的な理由に起因するものであるときに出力信号修正だけが実行されることを確実にするために、出力信号修正器を選択的に活性化し／非活性化するために制御情報を送信することを含み、さらに、出力信号修正は、例えば、それが特定の伝送フォーマット／変調方法のための伝送特性をよりよく得るために例えば信号操作のような純粋な技術的な理由に起因するものであるときに、実行されない。

【0031】

さらなる実施形態は、符号化された信号に関し、ダウンミックスは、ラウドネス最適化、イコライゼーション、マルチバンドイコライゼーション、ダイナミックレンジ圧縮またはリミット動作を実行することによって操作され、さらに、出力信号修正器は、その後、出力信号に、イコライゼーション動作、ラウドネス最適化動作、マルチバンドイコライゼーション動作、ダイナミックレンジ圧縮動作またはリミット動作を再適用するように構成される。

【0032】

さらなる実施形態は、送信されたパラメトリック情報に基づいて、さらに、応答設定においてオーディオオブジェクトの位置決めに関する位置情報に基づいて、出力信号を生成するオブジェクトレンダラーを含む。出力信号の生成は、個々のオブジェクト信号を再作成することによって、再作成されたオブジェクト信号をその後任意に修正することによって、さらに、例えばベクトルベースの振幅パニングなどのようないかなる種類の周知のレンダリング概念により任意に修正された再構成されたオブジェクトをラウドスピーカーのためのチャンネル信号にその後配布することによって、行うことができる。他の実施形態は、仮想オブジェクトの明確な再構成に依存しないが、例えばＭＰＥＧ−サラウンドまたはＭＰＥＧ−ＳＡＯＣなどの空間オーディオ符号化の技術分野において公知であるような再構成されたオブジェクトの明確な計算なしに修正されたダウンミックス信号からラウドスピーカー信号への直接処理を実行する。

【0033】

さらなる実施形態において、入力信号は、通常のオーディオブジェクトおよび強化されたオーディオオブジェクトを含み、さらに、オブジェクトレンダラーは、通常のオーディオオブジェクトおよび強化されたオーディオオブジェクトを用いてオーディオオブジェクトを再構成するようにまたは出力チャンネルを直接生成するように構成される。

【0034】

その後、本発明の好適な実施形態が、添付の図面に関して記載される。

【図面の簡単な説明】

【0035】

【図1】図１は、オーディオデコーダの実施形態のブロック図である。

【図2】図２は、オーディオデコーダのさらなる実施形態である。

【図3】図３は、ダウンミックス信号修正機能から出力信号修正機能を導き出す方法を示す。

【図4】図４は、補間されたダウンミックス修正ゲインファクタから出力信号修正ゲインファクタを計算するためのプロセスを示す。

【図5】図５は、ＳＡＯＣシステムの動作の基本ブロック図を示す。

【図6】図６は、ＳＡＯＣデコーダの動作のブロック図を示す。

【図7】図７は、ダウンミックス信号の操作を含むＳＡＯＣシステムの動作のブロック図を示す。

【図8a】図８ａは、ダウンミックス信号の操作を含むＳＡＯＣシステムの動作のブロック図を示す。

【図8b】図８ｂは、主なＳＡＯＣ処理の前にダウンミックス信号操作の補償を含むＳＡＯＣデコーダの動作のブロック図を示す。

【発明を実施するための形態】

【0036】

図１は、修正された出力信号１６０を得るために符号化されたオーディオ信号１００を復号化するための装置を示す。装置は、送信されたダウンミックス信号および送信されたダウンミックス信号に含まれる２つのオーディオオブジェクトに関するパラメトリックデータを受信するための入力インタフェース１１０を含む。入力インタフェースは、符号化されたオーディオ信号１００から、送信されたダウンミックス信号１１２およびパラメトリックデータ１１４を抽出する。特に、ダウンミックス信号１１２、すなわち送信されたダウンミックス信号は、パラメトリックデータ１１４が関するエンコーダダウンミックス信号と異なる。さらに、装置は、ダウンミックス修正機能を用いて送信されたダウンミックス信号１１２を修正するためのダウンミックス修正器１１６を含む。ダウンミックス修正は、修正されたダウンミックス信号がエンコーダダウンミックス信号と同一でありまたは送信されたダウンミックス信号と比較してエンコーダダウンミックス信号と少なくともより類似するように実行される。好ましくは、ブロック１１６の出力で修正されたダウンミックス信号は、パラメトリックデータが関するエンコーダダウンミックス信号と同一である。しかしながら、ダウンミックス修正器１１６は、エンコーダダウンミックス信号の操作を完全に逆にしないが、この操作を部分的にだけ除去するように構成することもできる。このように、修正されたダウンミックス信号は、エンコーダダウンミックス信号ひいては送信されたダウンミックス信号と少なくともより類似する。類似性は、例えば、時間領域においてまたは周波数領域において個々のサンプル間の２乗距離を計算することによって測定することができ、その差は、例えば、修正されたダウンミックス信号およびエンコーダダウンミックス信号の対応するフレームおよび／またはバンド間でサンプルごとに形成される。その後、この２乗距離測定、すなわち全ての２乗差にわたる合計は、送信されたダウンミックス信号１１２（図７または図８ａにおいてブロックダウンミックス操作によって生成される）およびエンコーダダウンミックス信号（図５、図６、図７、図８ａにおいてブロックＳＡＯＣエンコーダにおいて生成される）間の２乗差の対応する合計よりも小さい。

【0037】

このように、ダウンミックス修正器１１６は、図８ｂとの関連で述べられるように、ダウンミックス修正ブロックと類似するように構成することができる。

【0038】

図１における装置は、出力信号を得るために修正されたダウンミックス信号およびパラメータデータ１１４を用いてオーディオオブジェクトをレンダリングするためのオブジェクトレンダラー１１８をさらに含む。さらに、装置は、重要なことに、出力信号修正機能を用いて出力信号を修正するための出力信号修正器１２０を含む。好ましくは、出力修正は、ダウンミックス修正器１１６によって適用される修正が少なくとも部分的に逆にされるように実行される。他の実施態様において、出力信号修正機能は、ダウンミックス信号修正機能に対して逆にされまたは少なくとも部分的に逆にされる。このように、出力信号修正器は、送信されたダウンミックス信号を得るためにエンコーダダウンミックス信号に適用される操作動作が出力信号に少なくとも部分的に適用され、さらに、好ましくは出力信号に完全に適用されるように、出力信号修正機能を用いて出力信号を修正するように構成される。

【0039】

実施形態において、ダウンミックス修正器１１６および出力信号修正器１２０は、出力信号修正機能がダウンミックス修正機能と異なり、さらに、ダウンミックス修正機能に対して少なくともに部分的に逆にされるように構成される。

【0040】

さらに、ダウンミックス修正器の実施形態は、ダウンミックス修正ゲインファクタを送信されたダウンミックス信号１１２の異なる時間フレームまたは周波数バンドに適用することを含むダウンミックス修正機能を含む。さらに、出力信号修正機能は、出力信号修正ゲインファクタを出力信号の異なる時間フレームまたは周波数バンドに適用することを含む。さらに、出力信号修正ゲインファクタは、ダウンミックス信号修正機能の逆の値から導き出される。このシナリオは、ダウンミックス信号修正ゲインファクタが、例えば、デコーダ側における別々の入力によって利用でき、または、それらが符号化されたオーディオ信号１００において送信されているので、利用できるときに、適用される。しかしながら、別の実施形態も、出力信号修正器１２０によって用いられる出力信号修正ゲインファクタが送信されまたはユーザーによって入力される状況を含み、その後、ダウンミックス修正器１１６は、利用できる出力信号修正ゲインファクタからダウンミックス信号修正ゲインファクタを導き出すように構成される。

【0041】

さらなる実施態様において、入力インタフェース１１０は、ダウンミックス修正機能に関する情報をさらに受信するように構成され、さらに、この修正情報１１５は、符号化されたオーディオ信号から入力インタフェース１１０によって抽出され、さらに、ダウンミックス修正器１１６および出力信号修正器１２０に提供される。また、ダウンミックス修正機能は、ダウンミックス信号修正ゲインファクタまたは出力信号修正ゲインファクタを含むことができ、その後、ゲインファクタのどのセットが利用できるかに応じて、対応する要素１１６または１２０は、利用できるデータからそのゲインファクタを導き出す。

【0042】

さらなる実施形態において、ダウンミックス信号修正ゲインファクタまたは出力信号修正ゲインファクタの補間が実行される。あるいはまたは加えて、平滑化も、あまりにも急速に変わるそれらの送信データがいかなるアーチファクトも導入しない状況のように実行される。

【0043】

実施形態において、出力信号修正器１２０は、ダウンミックス修正ゲインファクタを逆にすることによってその出力信号修正ゲインファクタを導き出すように構成される。その後、数値問題を回避するために、逆にされたダウンミックス修正ゲインファクタおよび一定値の最大または逆にされたダウンミックス修正ゲインファクタおよび同一か若しくは異なる一定値の合計が、用いられる。したがって、出力信号修正機能は、ダウンミックス信号修正機能に対して必ずしも完全に逆でなければならない必要がないが、少なくとも部分的に逆である。

【0044】

さらに、出力信号修正器１２０は、制御フラグとして１１７で示される制御信号によって制御可能である。このように、出力信号修正器１２０が特定の周波数バンドおよび／または時間フレームのために選択的に活性化されまたは非活性化されるという可能性が存在する。実施形態において、フラグは、まさに１ビットのフラグであり、さらに、制御信号は、出力信号修正器が非活性化されるようにするときに、これは、例えば、フラグの０状態によってシグナリングされ、さらに、制御信号は、出力信号修正器が活性化されるようにするときに、これは、例えばフラグの１状態またはセット状態によってシグナリングされる。当然、制御ルールは、その逆にすることができる。

【0045】

さらなる実施形態において、ダウンミックス修正器１１６は、送信されたダウンミックスチャンネルに適用される、ラウドネス最適化またはイコライゼーションまたはマルチバンドイコライゼーションまたはダイナミックレンジ圧縮またはリミット動作を低減しまたはキャンセルするように構成される。別の言い方をすれば、それらの動作は、例えば、図５におけるブロックＳＡＯＣエンコーダ、図７におけるＳＡＯＣエンコーダまたは図８ａにおけるＳＡＯＣエンコーダによって生成されるようなエンコーダダウンミックス信号から送信されたダウンミックス信号を導き出すために、図７におけるダウンミックス操作ブロックまたは図８ａにおけるダウンミックス操作ブロックによってエンコーダ側に典型的に適用されている。

【0046】

その後、出力信号修正器１２０は、修正された出力信号１６０を最終的に得るためにラウドネス最適化またはイコライゼーションまたはマルチバンドイコライゼーションまたはダイナミックレンジ圧縮またはリミット動作を再びオブジェクトレンダラー１１８によって生成される出力信号に適用するように構成される。

【0047】

さらに、オブジェクトレンダラー１１８は、修正されたダウンミックス信号、パラメトリックデータ１１４、および、例えば、ユーザー入力インタフェース１２２を介してオブジェクトレンダラー１１８に入力することができ、または、例えば「レンダリングマトリックス」として、別にまたは符号化された信号１００内でエンコーダからデコーダにさらに送信することができる、位置情報１２１から、再生レイアウトのラウドスピーカーのためのチャンネル信号として出力信号を計算するように構成することができる。

【0048】

その後、出力信号修正器１２０は、出力信号修正機能をラウドスピーカーのためのこれらのチャンネル信号に適用するように構成され、さらに、修正された出力信号１１６は、その後、ラウドスピーカーに直接送ることができる。

【0049】

異なる実施形態において、オブジェクトレンダラーは、２つのステップ処理を実行し、すなわち、まず第１に個々のオブジェクトを再構成し、さらに、その後例えばベクトルベースの振幅パニングなどのような周知の手段のいずれか１つによって、オブジェクト信号を対応するラウドスピーカー信号に配布するように構成される。その後、出力信号修正器１２０は、個々のラウドスピーカーへの配布が起こる前に、出力信号修正を再構成されたオブジェクト信号に適用するように構成することもできる。このように、図１においてオブジェクトレンダラー１１８によって生成される出力信号は、再構成されたオブジェクト信号とすることができ、または、すでに（修正されていない）ラウドスピーカーチャンネル信号とすることができる。

【0050】

さらに、入力信号インタフェース１１０は、例えば、ＳＡＯＣから公知であるように、強化されたオーディオオブジェクトおよび通常のオーディオオブジェクトを受信するように構成される。特に、強化されたオーディオオブジェクトは、当該技術分野において公知のように、例えばパラメトリックデータ１１４などのパラメトリックデータを用いてオリジナルのオブジェクトおよびこのオブジェクトの再構成されたバージョン間の波形差である。これは、例えば２０個のオブジェクトのセットにおいて例えば４つのオブジェクトなどのような個々のオブジェクトが、当然に強化されたオーディオのための必要な情報に起因する付加的なビットレートのプライスで、非常によく送信することができることを可能にする。その後、オブジェクトレンダラー１１８は、出力信号を計算するために通常のオブジェクトおよび強化されたオーディオオブジェクトを用いるように構成される。

【0051】

さらなる実施形態において、オブジェクトレンダラーは、例えばフォアグラウンドオブジェクトＦＧＯまたはバックグラウンドオブジェクトＢＧＯまたは両方を操作するための１つ以上のオブジェクトを操作するためのユーザー入力１２３を受信するように構成され、その後、オブジェクトレンダラー１１８は、出力信号をレンダリングするときに、ユーザー入力によって決定されるような１つ以上のオブジェクトを操作するように構成される。この実施形態において、オブジェクト信号を実際に再構成し、さらに、その後フォアグラウンドオブジェクト信号を操作し、または、バックグラウンドオブジェクト信号を減衰することが好ましく、その後チャンネルへの配布が起こり、その後チャンネル信号が修正される。しかしながら、あるいは、出力信号は、すでに個々のオブジェクト信号でありうり、さらに、ブロック１２０によって修正された後のオブジェクト信号の配布は、位置情報１２１および例えばベクトルベースの振幅パニングなどのオブジェクト信号からラウドスピーカーチャンネル信号を生成するためのいかなる周知のプロセスを用いて、オブジェクト信号を個々のチャンネル信号に配布する前に起こる。

【0052】

その後、符号化されたオーディオ信号を復号化するための装置の好適な実施形態である図２が記載される。例えば図１のパラメトリックデータ１１４および修正情報１１５を含む符号化されたサイド情報が受信される。さらに、送信されたダウンミックス信号１１２に対応する修正されたダウンミックス信号が受信される。送信されたダウンミックス信号は、単一のチャンネルまたは例えばＭチャンネルなどのいくつかのチャンネルでありえることが、図２から分かり、Ｍは、整数である。図２の実施形態は、サイド情報が符号化される場合にサイド情報を復号化するためのサイド情報デコーダ１１１を含む。その後、復号化されたサイド情報は、図１においてダウンミックス修正器１１６に対応するダウンミックス修正ブロックに送られる。その後、補償されたダウンミックス信号は、図２の実施形態において、（仮想）オブジェクト分離ブロック１１８ａおよび図１においてオブジェクト１２１のための位置情報に対応するレンダリング情報Ｍを受信するレンダラーブロック１１８ｂからなるオブジェクトレンダラー１１８に送られる。さらに、レンダラー１１８ｂは、出力信号、または、それらが図２において命名されるように、中間出力信号を生成し、さらに、ダウンミックス修正リカバリーブロック１２０は、図１において出力信号修正器１２０に対応する。ダウンミックス修正リカバリーブロックによって生成される最終出力信号１６０は、図１のタームにおいて修正された出力信号に対応する。

【0053】

好適な実施形態は、ダウンミックス修正のすでに含まれたサイド情報を用い、さらに、出力信号のレンダリングの後の修正プロセスを逆にする。このブロック図は、図２に示される。これを図８ｂと比較すると、図２においてブロック「ダウンミックス修正リカバリー」または図１において出力信号修正器の追加がこの実施形態を実施することに注意することができる。

【0054】

【0055】

その後、図３は、ダウンミックス信号修正機能から出力信号修正機能を計算するための好適な実施形態を示すために考慮され、さらに、特にこの状況において、両方の機能は、周波数バンドおよび／または時間フレームのための対応するゲインファクタによって表される。

【0056】

ＳＡＯＣフレームワーク［ＳＡＯＣ］においてダウンミックス信号修正に関するサイド情報は、以前に記載されているように、ダウンミックス信号ごとにゲインファクタに制限される。換言すれば、ＳＡＯＣにおいて、逆にされた補償機能は、送信され、さらに、補償されたダウンミックス信号は、図３の第１の式において示されるように得ることができる。

【0057】

【0058】

【0059】

ビットストリーム変数ｂｓＰｄｇＩｎｖＦｌａｇ１１７が値０に設定されまたは省略され、さらに、ビットストリーム変数ｂｓＰｄｇＦｌａｇが値１に設定されるときに、デコーダは、ＭＰＥＧスタンダード［ＳＡＯＣ］において指定されるように作動し、すなわち、補償は、（仮想）オブジェクト分離の前にデコーダによって受信されるダウンミックス信号に適用される。ビットストリーム変数ｂｓＰｄｇＩｎｖＦｌａｇが値１に設定されるときに、ダウンミックス信号は、以前のように処理され、さらに、レンダリングされた出力は、ダウンミックス操作に近似する提案された方法によって処理される。

【0060】

その後、図４においてさらにこの明細書において「ＰＤＧ」としても示される補間されたダウンミックス修正ゲインファクタを用いるための好適な実施形態を示す図４が考慮される。第１のステップは、４０で示されるように例えば現在の時刻のＰＤＧ値および次の（将来の）時刻のＰＤＧ値などの現在のおよび将来のまたは以前のおよび現在のＰＤＧ値の提供を含む。ステップ４２において、補間されたＰＤＧ値は、ダウンミックス修正器１１６において計算されさらに用いられる。その後、ステップ４４において、出力信号修正ゲインファクタは、ブロック４２によって生成される補間されたゲインファクタから導き出され、その後、計算された出力信号修正ゲインファクタは、出力信号修正器１２０内で用いられる。このように、どのダウンミックス信号修正ファクタが考慮されるかに応じて、出力信号修正ゲインファクタは、送信されたファクタに対して完全に逆でないが、補間されたゲインファクタに対して部分的にだけまたは完全に逆にされることが明らかになる。

【0061】

【0062】

実施形態は、操作がＳＡＯＣダウンミックス信号に適用されるときに起こる問題を解決する。最先端のアプローチは、マスタリングのための補償が行われない場合に、オブジェクト分離のタームにおいて次善の知覚的な品質を提供し、または、マスタリングのための補償がある場合に、マスタリングの利点を失う。これは、マスタリング効果が最終出力において例えばラウドネス最適化、イコライジングなどを保持するために有益であるものを表す場合に特に問題を含む。提案された方法の主な利点は、それだけに制限されない。

【0063】

コアＳＡＯＣ処理、すなわち、（仮想）オブジェクト分離は、デコーダによって受信されるダウンミックス信号よりも近いオリジナルのエンコーダで作成されたダウンミックス信号に近似するダウンミックス信号に作動することができる。これは、ＳＡＯＣ処理からのアーチファクトを最小化する。

【0064】

ダウンミックス操作（「マスタリング効果」）は、少なくとも近似する形で最終出力において保持される。レンダリング情報がダウンミックス情報と同一であるときに、最終出力は、同一でない場合にデフォルトダウンミックス信号に非常に近くに近似する。

【0065】

ダウンミックス信号がより近くにエンコーダで作成されたダウンミックス信号に似ているので、オブジェクトのための強化された品質モードを用いること、すなわち、ＥＡＯｓのための波形訂正信号を含むことが可能である。

【0066】

ＥＡＯｓが用いられ、さらに、オリジナルの入力オーディオオブジェクトの近い近似が再構成されるときに、提案された方法は、「マスタリング効果」をそれらにも適用する。

【0067】

提案された方法は、ＭＰＥＧ ＳＡＯＣのＰＤＧサイド情報がすでに送信される場合に、送信されるいかなる付加的なサイド情報も必要としない。

【0068】

必要とされる場合に、提案された方法は、エンドユーザーによって、または、エンコーダから送られるサイド情報によって、イネーブルにしまたはディセーブルにすることができるツールとして実施することができる。

【0069】

提案された方法は、ＳＡＯＣにおいて（仮想）オブジェクト分離と比較して計算的に非常に軽い。

【0070】

本発明は、ブロックが実際のまたは論理的なハードウェアコンポーネントを表すブロック図との関連で記載されているにもかかわらず、本発明は、コンピュータ実施方法によって実施することもできる。後者の場合に、ブロックは、これらのステップが対応する論理的なまたは物理的なハードウェアブロックによって実行される機能を表す対応する方法ステップを表す。

【0071】

いくつかの態様が装置との関連で記載されているにもかかわらず、これらの態様は、対応する方法の説明も表すことが明らかであり、ブロックまたは装置は、方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップとの関連で記載されている態様は、対応するブロック若しくはアイテムまたは対応する装置の特徴の説明も表す。方法ステップのいくつかまたは全ては、例えば、マイクロプロセッサ、プログラム可能なコンピュータまたは電子回路のようなハードウェア装置によって（またはそれを用いて）実行されてもよい。いくつかの実施形態において、最も重要な方法ステップのいずれかの１つ以上は、そのような装置によって実行されてもよい。

【0072】

特定の実施要件に応じて、本発明の実施形態は、ハードウェアにおいてまたはソフトウェアにおいて実施することができる。実施は、それぞれの方法が実行されるように、プログラム可能なコンピュータシステムと協働する（または協働することができる）電子的に可読の制御信号が格納される、デジタル記憶媒体、例えばフロッピー（登録商標）ディスク、ＤＶＤ、ブルーレイ（登録商標）、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリを用いて実行することができる。したがって、デジタル記憶媒体は、コンピュータ可読であってもよい。

【0073】

本発明によるいくつかの実施形態は、ここに記載される方法のうちの１つが実行されるように、プログラム可能なコンピュータシステムと協働することができる電子的に可読の制御信号を有するデータキャリアを含む。

【0074】

一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実施することができ、そのプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに、それらの方法のうちの１つを実行するために働く。プログラムコードは、例えば、機械可読のキャリアに格納されてもよい。

【0075】

他の実施形態は、機械可読のキャリアに格納される、ここに記載される方法のうちの１つを実行するためのコンピュータプログラムを含む。

【0076】

したがって、換言すれば、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、ここに記載される方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。

【0077】

したがって、本発明の方法のさらなる実施形態は、それに記録される、ここに記載される方法のうちの１つを実行するためのコンピュータプログラムを含むデータキャリア（または例えばデジタル記憶媒体などの一時的でない記憶媒体、またはコンピュータ可読の媒体）である。データキャリア、デジタル記憶媒体または記録媒体は、典型的に有形でありおよび／または一時的でない。

【0078】

したがって、本発明の方法のさらなる実施形態は、ここに記載される方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリームまたは一連の信号である。データストリームまたは一連の信号は、例えば、データ通信接続を介して、例えばインターネットを介して、転送されるように構成されてもよい。

【0079】

さらなる実施形態は、ここに記載される方法のうちの１つを実行するように構成されまたは適している処理手段、例えばコンピュータまたはプログラム可能な論理デバイスを含む。

【0080】

さらなる実施形態は、ここに記載される方法のうちの１つを実行するためのコンピュータプログラムがインストールされているコンピュータを含む。

【0081】

本発明によるさらなる実施形態は、ここに記載される方法のうちの１つを実行するためのコンピュータプログラムをレシーバに（例えば、電子的にまたは光学的に）転送するように構成される装置またはシステムを含む。レシーバは、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどであってもよい。装置またはシステムは、例えば、コンピュータプログラムをレシーバに転送するためのファイルサーバを含んでもよい。

【0082】

いくつかの実施形態において、プログラム可能な論理デバイス（例えば、フィールドプログラム可能なゲートアレイ）は、ここに記載される方法の機能のいくつかまたは全てを実行するために用いられてもよい。いくつかの実施形態において、フィールドプログラム可能なゲートアレイは、ここに記載される方法のうちの１つを実行するために、マイクロプロセッサと協働してもよい。一般に、その方法は、好ましくは、いかなるハードウェア装置によっても実行される。

【0083】

上述の実施形態は、本発明の原理のために単に例示するだけである。ここに記載される構成および詳細の修正および変更が他の当業者にとって明らかであるものと理解される。したがって、本発明は、特許請求の範囲によってだけ制限され、ここに実施形態の記述および説明として示される具体的な詳細によって制限されないと意図される。

【0084】

文献
［ＢＣＣ］ C. Faller and F. Baumgarte, "Binaural Cue Coding - Part II: Schemes and applications," IEEE Trans. on Speech and Audio Proc., vol. 11, no. 6, Nov. 2003.
［ＪＳＣ］ C. Faller, "Parametric Joint-Coding of Audio Sources", 120th AES Convention, Paris, 2006.
［ＩＳＳ１］ M. Parvaix and L. Girin: "Informed Source Separation of underdetermined instantaneous Stereo Mixtures using Source Index Embedding", IEEE ICASSP, 2010.
［ＩＳＳ２］ M. Parvaix, L. Girin, J.-M. Brossier: "A watermarking-based method for informed source separation of audio signals with a single sensor", IEEE Transactions on Audio, Speech and Language Processing, 2010.
［ＩＳＳ３］ A. Liutkus and J. Pinel and R. Badeau and L. Girin and G. Richard: "Informed source separation through spectrogram coding and data embedding", Signal Processing Journal, 2011.
［ＩＳＳ４］ A. Ozerov, A. Liutkus, R. Badeau, G. Richard: "Informed source separation: source coding meets source separation", IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, 2011.
［ＩＳＳ５］ S. Zhang and L. Girin: "An Informed Source Separation System for Speech Signals", INTERSPEECH, 2011.
［ＩＳＳ６］ L. Girin and J. Pinel: "Informed Audio Source Separation from Compressed Linear Stereo Mixtures", AES 42nd International Conference: Semantic Audio, 2011.
［ＰＤＧ］ J. Seo, S. Beack, K. Kang, J. W. Hong, J. Kim, C. Ahn, K. Kim, and M. Hahn, "Multi-object audio encoding and decoding apparatus supporting post downmix signal", United States Patent Application Publication US2011/0166867, Jul 2011.
［ＳＡＯＣ１］ J. Herre, S. Disch, J. Hilpert, O. Hellmuth: "From SAC To SAOC - Recent Developments in Parametric Coding of Spatial Audio", 22nd Regional UK AES Conference, Cambridge, UK, April 2007.
［ＳＡＯＣ２］ J. Engdegaard, B. Resch, C. Falch, O. Hellmuth, J. Hilpert, A. Hoelzer, L. Terentiev, J. Breebaart, J. Koppens, E. Schuijers and W. Oomen: " Spatial Audio Object Coding (SAOC) - The Upcoming MPEG Standard on Parametric Object Based Audio Coding", 124th AES Convention, Amsterdam 2008.
［ＳＡＯＣ］ ISO/IEC, "MPEG audio technologies - Part 2: Spatial Audio Object Coding (SAOC)," ISO/IEC JTC1/SC29/WG11 (MPEG) International Standard 23003-2.

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8a】

【図8b】