特許 6141978 マルチチャネル・ダウンミックス／アップミックス構成のためのパラメトリックコンセプトを採用したマルチインスタンス方式の空間音響オブジェクト符号化用のデコーダおよびその方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6141978

(24)【登録日】2017年5月12日

(45)【発行日】2017年6月7日

(54)【発明の名称】マルチチャネル・ダウンミックス／アップミックス構成のためのパラメトリックコンセプトを採用したマルチインスタンス方式の空間音響オブジェクト符号化用のデコーダおよびその方法

(51)【国際特許分類】

   G10L 19/008 20130101AFI20170529BHJP

   G10L 19/00 20130101ALI20170529BHJP

   G10L 19/02 20130101ALI20170529BHJP

【ＦＩ】

   G10L19/008 200

   G10L19/00 400Z

   G10L19/02 150

【請求項の数】14

【全頁数】19

(21)【出願番号】特願2015-524811(P2015-524811)

(86)(22)【出願日】2013年8月5日

(65)【公表番号】特表2015-527611(P2015-527611A)

(43)【公表日】2015年9月17日

(86)【国際出願番号】EP2013066374

(87)【国際公開番号】WO2014020181

(87)【国際公開日】20140206

【審査請求日】2015年4月1日

(31)【優先権主張番号】61/679,412

(32)【優先日】2012年8月3日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】500341779

【氏名又は名称】フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン

(74)【代理人】

【識別番号】110000121

【氏名又は名称】アイアット国際特許業務法人

(72)【発明者】

【氏名】カシュトナー，トルシュテン

(72)【発明者】

【氏名】ヘッレ，ユェルゲン

(72)【発明者】

【氏名】テレンティフ，レオン

(72)【発明者】

【氏名】ヘルムート，オリファー

【審査官】 安田 勇太

(56)【参考文献】

【文献】 特表２０１０−５０７１１５（ＪＰ，Ａ）

【文献】 特表２０１５−５３１０７８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１２／０１８３１４８（ＵＳ，Ａ１）

【文献】 Spatial Audio Object Coding (SAOC) The Upcoming MPEG Standard on Parametric Object Based Audio Coding，１２４ｔｈ ＡＥＳ Convention，２００８年 １月

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｌ １９／００ −１９／２６

(57)【特許請求の範囲】

【請求項1】

３以上のダウンミックスチャネルを有するダウンミックス信号から、１以上のオーディオ出力チャネルを有するオーディオ出力信号を生成するデコーダであって、
前記ダウンミックス信号には、それぞれがオーディオコンテンツの異なる部分を示す３以上のオーディオオブジェクト信号が符号化され、
前記部分は再生レベルおよび空間的位置に関連しており、
前記デコーダは、
前記３以上のダウンミックスチャネルを受け取ると共に副情報を受け取る入力チャネルルータ（１１０）と、
前記１以上のオーディオ出力チャネルを得るために、少なくとも２つの処理済チャネルを生成する少なくとも２つのチャネル処理部（１２１，１２２，１２３，１２４，１２５，１２６）と、
出力チャネルルータ（１３０）と、
レンダラ（１４０）と
を備え、
前記入力チャネルルータ（１００）は、前記３以上のダウンミックスチャネルの少なくとも２つをそれぞれ、前記少なくとも２つのチャネル処理部（１２１、１２２、１２３、１２４、１２５、１２６）の少なくとも１つに供給し、これにより、前記少なくとも２つのチャネル処理部（１２１、１２２、１２３、１２４、１２５、１２６）のそれぞれが、前記３以上のダウンミックスチャネルの１以上を受け取ると共に、前記少なくとも２つのチャネル処理部（１２１、１２２、１２３、１２４、１２５、１２６）のそれぞれが、前記３以上のダウンミックスチャネルの総数よりも少ない数のダウンミックスチャネルを受け取るよう構成され、
前記少なくとも２つのチャネル処理部（１２１、１２２、１２３、１２４、１２５、１２６）のそれぞれは、前記チャネル処理部が前記入力チャネルルータ（１１０）から受け取った前記３以上のダウンミックスチャネルの少なくとも２つのうちの１以上および前記副情報に基づいて、前記少なくとも２つの処理済チャネルの１以上を生成し、前記少なくとも２つのチャンネル処理ユニット（１２１、１２２、１２３、１２４、１２５、１２６）が、前記少なくとも２つの処理済チャンネルを並列に生成するよう構成され、
前記出力チャンネルルータ（１３０）は、前記オーディオオブジェクト信号の推定を得るよう構成され、
前記レンダラ（１４０）は、レンダリング情報を受信し、前記オーディオオブジェクト信号の推定に基づき、かつ前記レンダリング情報に基づいて、前記１つ以上のオーディオ出力チャンネルを生成するよう構成される
デコーダ。

【請求項2】

請求項１に記載のデコーダにおいて、前記入力チャネルルータ（１１０）は、前記３以上のダウンミックスチャネルの少なくとも２つをそれぞれ、前記少なくとも２つのチャネル処理部（１２１、１２２、１２３、１２４、１２５、１２６）のうちただ１つに対して供給するよう構成されるデコーダ。

【請求項3】

請求項１または２に記載のデコーダにおいて、前記入力チャネルルータ（１１０）は、前記３以上のダウンミックスチャネルのそれぞれを、前記少なくとも２つのチャネル処理部（１２１、１２２、１２３、１２４、１２５、１２６）の少なくとも１つに供給し、前記３以上のダウンミックスチャネルのそれぞれが、前記少なくとも２つのチャネル処理部（１２１、１２２、１２３、１２４、１２５、１２６）の１以上に受け取られるよう構成されるデコーダ。

【請求項4】

請求項１または２に記載のデコーダにおいて、前記入力チャネルルータ（１１０）は、前記３以上のダウンミックスチャネルの少なくとも１つを、前記少なくとも２つのチャネル処理部（１２１、１２２、１２３、１２４、１２５、１２６）のいずれに対しても供給せず、前記３以上のダウンミックスチャネルのうち前記少なくとも１つは、前記少なくとも２つのチャネル処理部（１２１、１２２、１２３、１２４、１２５、１２６）のいずれによっても受け取られないよう構成されるデコーダ。

【請求項5】

請求項１から４のいずれか１項に記載のデコーダにおいて、前記少なくとも２つのチャネル処理部（１２１、１２２、１２３、１２４、１２５、１２６）のそれぞれは、前記少なくとも２つの処理済チャネルの前記１以上を、前記３以上のダウンミックスチャネルの少なくとも１つから独立して生成するよう構成されるデコーダ。

【請求項6】

請求項１から５のいずれか１項に記載のデコーダにおいて、
前記少なくとも２つのチャネル処理部（１２１、１２２、１２３、１２４、１２５、１２６）のそれぞれは、モノラル処理部またはステレオ処理部のいずれかであり、
前記モノラル処理部は、前記３以上のダウンミックスチャネルのうちただ１つを受け取って、前記３以上のダウンミックスチャネルのうち前記ただ１つと前記副情報とに基づき、前記少なくとも２つの処理済チャネルのうちただ１つ、またはただ２つを生成するよう構成され、
前記ステレオ処理部は、前記３以上のダウンミックスチャネルのうちただ２つを受け取って、前記３以上のダウンミックスチャネルのうち前記ただ２つと前記副情報とに基づき、前記少なくとも２つの処理済チャネルのうちただ１つ、またはただ２つを生成するよう構成される
デコーダ。

【請求項7】

請求項１から６のいずれか１項に記載のデコーダにおいて、前記少なくとも２つのチャネル処理部（１２１、１２２、１２３、１２４、１２５、１２６）の少なくとも１つは、前記３以上のダウンミックスチャネルのうちただ１つを受け取り、前記３以上のダウンミックスチャネルのうち前記ただ１つと前記副情報とに基づき、前記少なくとも２つの処理済チャネルのうちただ２つを生成するよう構成されるデコーダ。

【請求項8】

請求項１から７のいずれか１項に記載のデコーダにおいて、前記少なくとも２つのチャネル処理部（１２１、１２２、１２３、１２４、１２５、１２６）の少なくとも１つは、前記３以上のダウンミックスチャネルのうちただ２つを受け取り、前記３以上のダウンミックスチャネルのうち前記ただ２つと前記副情報とに基づき、前記少なくとも２つの処理済チャネルのうちただ１つを生成するよう構成されるデコーダ。

【請求項9】

請求項１から８のいずれか１項に記載のデコーダにおいて、
前記入力チャネルルータ（１１０）は、４以上のダウンミックスチャネルを受け取るよう構成され、
前記少なくとも２つのチャネル処理部（１２１、１２２、１２３、１２４、１２５、１２６）の少なくとも１つは、前記４以上のダウンミックスチャネルの少なくとも３つを受け取り、前記４以上のダウンミックスチャネルのうち前記少なくとも３つと前記副情報とに基づき、前記処理済チャネルを少なくとも３つ生成するよう構成されるデコーダ。

【請求項10】

請求項９に記載のデコーダにおいて、前記少なくとも２つのチャネル処理部（１２１、１２２、１２３、１２４、１２５、１２６）の少なくとも１つは、前記４以上のダウンミックスチャネルのうちただ３つを受け取り、前記４以上のダウンミックスチャネルのうち前記ただ３つと前記副情報とに基づき、前記処理済チャネルをただ３つ生成するよう構成されるデコーダ。

【請求項11】

請求項９または１０に記載のデコーダにおいて、
前記入力チャネルルータ（１１０）は、６以上のダウンミックスチャネルを受け取るよう構成され、
前記少なくとも２つのチャネル処理部（１２１、１２２、１２３、１２４、１２５、１２６）の少なくとも１つは、前記６以上のダウンミックスチャネルのうちただ５つを受け取り、前記６以上のダウンミックスチャネルのうち前記ただ５つと前記副情報とに基づき、前記処理済チャネルをただ５つ生成するよう構成されるデコーダ。

【請求項12】

請求項１から１１のいずれか１項に記載のデコーダにおいて、
前記少なくとも２つのチャネル処理部（１２１、１２２、１２３、１２４、１２５、１２６）のうちの第１のチャネル処理部は、前記少なくとも２つの処理済チャネルのうちの第１の処理済チャネルを、前記少なくとも２つのチャネル処理部（１２１、１２２、１２３、１２４、１２５、１２６）のうちの第２のチャネル処理部に供給するように構成され、
前記第２の処理部は、前記第１の処理済チャネルに基づいて、前記少なくとも２つの処理済チャネルのうちの第２の処理済チャネルを生成するよう構成される、
デコーダ。

【請求項13】

３以上のダウンミックスチャネルを有するダウンミックス信号から、１以上のオーディオ出力チャネルを有するオーディオ出力信号を生成する方法であり、
前記ダウンミックス信号には、それぞれがオーディオコンテンツの異なる部分を示す３以上のオーディオオブジェクト信号が符号化され、
前記部分は再生レベルおよび空間的位置に関連しており、
入力チャネルルータ（１１０）により、前記３以上のダウンミックスチャネルを受け取ると共に副情報を受け取り、
前記３以上のダウンミックスチャネルの少なくとも２つを少なくとも２つのチャネル処理部（１２１，１２２，１２３，１２４，１２５，１２６）の少なくとも１つに供給し、これにより、前記少なくとも２つのチャネル処理部（１２１、１２２、１２３、１２４、１２５、１２６）のそれぞれが、前記３以上のダウンミックスチャネルの１以上を受け取ると共に、前記少なくとも２つのチャネル処理部（１２１、１２２、１２３、１２４、１２５、１２６）のそれぞれが、前記３以上のダウンミックスチャネルの総数よりも少ない数のダウンミックスチャネルを受け取り、
前記１以上のオーディオ出力チャネルを得るために、前記少なくとも２つのチャネル処理部（１２１，１２２，１２３，１２４，１２５，１２６）により少なくとも２つの処理済チャネルを生成し、
前記少なくとも２つのチャネル処理部（１２１、１２２、１２３、１２４、１２５、１２６）のそれぞれが、前記チャネル処理部が前記入力チャネルルータ（１１０）から受け取った前記３以上のダウンミックスチャネルの少なくとも２つのうちの１以上および前記副情報に基づいて、前記少なくとも２つの処理済チャネルの１以上を生成し、前記少なくとも２つのチャンネル処理ユニット（１２１、１２２、１２３、１２４、１２５、１２６）により、前記少なくとも２つの処理済チャンネルを並列に生成し、
出力チャンネルルータ（１３０）により前記少なくとも２つの処理チャンネルから前記オーディオオブジェクト信号の推定を取得し、
レンダリング情報をレンダラ（１４０）により受信し、
前記オーディオオブジェクト信号の推定に基づき、かつ前記レンダリング情報に基づいて、前記レンダラ（１４０）により、前記１つ以上のオーディオ出力チャンネルを生成する
方法。

【請求項14】

コンピュータまたは信号処理装置において実行されたとき、請求項１３に記載の方法を実施することを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マルチチャネル・ダウンミックス／アップミックス構成用のパラメトリックコンセプトを採用した、マルチインスタンス方式の空間音響オブジェクト符号化用のデコーダおよびその方法に関する。

【背景技術】

【0002】

現在のデジタルオーディオシステムでは、送信コンテンツについて、受信機側でオーディオオブジェクト関連の変更を行うことを許容することが主流となっている。これらの変更には、オーディオ信号の選択部位についてのゲイン変更、および／または空間的に分散したスピーカを通じてマルチチャネル再生を行う場合の専用オーディオオブジェクトの空間的再配置が含まれる。これは、それぞれのスピーカに対して、オーディオコンテンツの各部位を個別に伝達することによって達成される。

【0003】

つまり、オーディオ処理、オーディオ送信およびオーディオ蓄積の分野においては、オブジェクト指向のオーディオコンテンツ再生について、ユーザの相互反応を許容したいという要望が高まっているとともに、聴覚的印象を改善するために、オーディオコンテンツまたはその一部について、個別にマルチチャネル再生を行うという拡張的可能性を利用したいというニーズがある。これによって、マルチチャネル・オーディオコンテンツの利用は、ユーザに対して、大きな改善をもたらす。例えば、三次元の聴覚的印象を得ることができ、これによって、エンタテインメント利用した場合には、さらなるユーザ満足がもたらされる。しかしながら、マルチチャネル・オーディオコンテンツは、商業環境においてもまた有用であり、例えば、電話会議に利用した場合、マルチチャネル・オーディオ再生を利用することによって、話者を容易に認識することができる。その他の潜在的用途としては、楽曲の聴き手に対して、再生レベルを個別に調整すること、および／またはヴォーカルパートや異なる楽器等の異なるパーツ（以下「オーディオオブジェクト」ともいう。）またはトラックの空間的位置を個別に調整することが考えられる。ユーザは、個人的嗜好のために、楽曲の１以上の部位の簡単な複写、教育、カラオケやリハーサル等の目的のために、そのような調整を行うことができる。

【0004】

全てのデジタルマルチチャネルまたはマルチオブジェクト・オーディオコンテンツを、そのまま、例えば、パルス符号変調（ＰＣＭ）データ形式や、さらには圧縮オーディオ形式などで、個別に送信すると、非常に高いビットレートを要する。しかしながら、ビットレート効率よく、オーディオデータを送信し蓄積することが望ましい。したがって、マルチチャネル／マルチオブジェクト・アプリケーションにより生じる過度なリソース負担を回避するため、オーディオ品質とビットレート要件との間で、合理的なバランスを図ることが望ましい。

【0005】

近年、オーディオ符号化の分野においては、ビットレート効率のよいマルチチャネル／マルチオブジェクト・オーディオ信号の送信／記憶に関するパラメータ技術が、例えばムービング・ピクチャー・エクスパーツ・グループ（ＭＰＥＧ）やその他によって導入されている。一例としては、チャネル志向のアプローチとして、ＭＰＥＧサラウンド（ＭＰＳ）（非特許文献１、非特許文献２）が、オブジェクト指向のアプローチとして、ＭＰＥＧ空間音響オブジェクト符号化（ＳＡＯＣ）（非特許文献３、非特許文献６、非特許文献４、非特許文献５）が挙げられる。他のオブジェクト志向アプローチは、「インフォームド情報源分離」と称される（非特許文献７、非特許文献８、非特許文献９、非特許文献１０、非特許文献１１、非特許文献１２）。これらの技術は、対象となる出力オーディオシーン、または対象となるオーディオソースオブジェクトを、チャネル／オブジェクトのダウンミックス、および送信または蓄積されたオーディオシーンおよび／または当該オーディオシーンにおけるオーディオソースオブジェクトを記載する追加的副情報に基づき、再構成することを目的とする。

【0006】

そのようなシステムでのチャネル／オブジェクト関連副情報の推定および適用は、時間−周波数選択的態様で行われる。したがって、そのようなシステムは、離散フーリエ変換（ＤＦＴ）、短時間フーリエ変換（ＳＴＦＴ）またはフィルタバンク的な直交ミラーフィルタ（ＱＭＦ）バンクなどの時間−周波数変換を使用する。このシステムの基本的原理を、ＭＰＥＧ ＳＡＯＣの例を用いて図２に示す。

【0007】

ＳＴＦＴの場合には、時間の次元が時間ブロック数によって表され、スペクトルの次元がスペクトル係数（「ビン」）によって捕捉される。ＱＭＦの場合には、時間の次元がタイムスロット数によって表され、スペクトルの次元がサブバンド数によって捕捉される。ＱＭＦのスペクトル解像度が後続の第２のフィルタ段の適用によって向上された場合、フィルタバンク全体はハイブリッドＱＭＦと称され、高解像度のサブバンドはハイブリッドサブバンドと称される。

【0008】

上述のように、ＳＡＯＣでは、一般的な処理が、時間−周波数選択的態様で実行され、図２に示すように、各周波数帯域内で以下のように説明される：
− Ｎ個の入力オーディオ信号ｓ_１・・・ｓ_Ｎを、エンコーダ処理の一部として、要素ｄ_１，１・・・ｄ_Ｎ，Ｐからなるダウンミックス行列を用いてＰ個のチャネルｘ_１・・・ｘ_Ｐへとミックスダウンする。さらに、エンコーダは、入力オーディオオブジェクトの特性を記述する副情報を抽出する（副情報推定器（ＳＩＥ）モジュール）。ＭＰＥＧ ＳＡＯＣにとって、オブジェクトのパワーの相互の関係が、そのような副情報の最も基本的なものである。
− ダウンミックス信号および副情報を送信／蓄積する。この目的のため、例えば、ＭＰＥＧ−１／２ Ｌａｙｅｒ２または３（ｍｐ３）、ＭＰＥＧ−２／４ Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ（ＡＡＣ）など周知の知覚オーディオコーダを用いて、ダウンミックスオーディオ信号を圧縮することができる。
− 受信端において、デコーダは、概念的には、送信された副情報を用いて（復号された）ダウンミックス信号から元のオブジェクト信号を復元しようとする（「オブジェクト分離」）。そして、これらの近似オブジェクト信号

【数1】

は、図２における係数ｒ_１，１・・・ｒ_Ｎ，Ｍによって記述されたレンダリング行列を用いて、Ｍ個のオーディオチャネル

【数2】

によって表される目標シーンにミキシングされる。所望の目標シーンは、極端な場合では、ミキシングの中の１つだけの音源信号のレンダリングであってもよいし（音源分離シナリオ）、送信されるオブジェクトからなる他の任意の音響シーンであってもよい。例えば、出力は、単一チャネル、２チャネルステレオまたは５．１マルチチャネルの目標シーンとすることができる。

【0009】

オーディオ符号化の分野における利用可能な帯域／蓄積容量の増加および進行中の改善によって、ユーザは、徐々に増加している選択肢からマルチチャネル・オーディオ製品を選択することができる。マルチチャネル５．１オーディオフォーマットは、既にＤＶＤおよびブルーレイ製品において標準となっている。より多くのオーディオ移送チャネルを持つＭＰＥＧ−Ｈ ３Ｄ Ａｕｄｉｏのような新たなオーディオフォーマットが出現し、これは高度な没入型のオーディオ体験をエンドユーザに提供することになる。

【先行技術文献】

【非特許文献】

【0010】

【非特許文献1】ＩＳＯ／ＩＥＣ ２３００３−１：２００７，ＭＰＥＧ−Ｄ（ＭＰＥＧ ａｕｄｉｏ ｔｅｃｈｎｏｌｏｇｉｅｓ），Ｐａｒｔ １：ＭＰＥＧ Ｓｕｒｒｏｕｎｄ，２００７

【非特許文献2】Ｃ．Ｆａｌｌｅｒ ａｎｄ Ｆ．Ｂａｕｍｇａｒｔｅ，“Ｂｉｎａｕｒａｌ Ｃｕｅ Ｃｏｄｉｎｇ−Ｐａｒｔ ＩＩ：Ｓｃｈｅｍｅｓ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ，”ＩＥＥＥ Ｔｒａｎｓ． ｏｎ Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｐｒｏｃ．，ｖｏｌ．１１，ｎｏ．６，Ｎｏｖ．２００３

【非特許文献3】Ｃ．Ｆａｌｌｅｒ，“Ｐａｒａｍｅｔｒｉｃ Ｊｏｉｎｔ−Ｃｏｄｉｎｇ ｏｆ Ａｕｄｉｏ Ｓｏｕｒｃｅｓ”，１２０ｔｈ ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ，Ｐａｒｉｓ，２００６

【非特許文献4】Ｊ．Ｈｅｒｒｅ，Ｓ．Ｄｉｓｃｈ，Ｊ．Ｈｉｌｐｅｒｔ，Ｏ．Ｈｅｌｌｍｕｔｈ：“Ｆｒｏｍ ＳＡＣ Ｔｏ ＳＡＯＣ−Ｒｅｃｅｎｔ Ｄｅｖｅｌｏｐｍｅｎｔｓ ｉｎ Ｐａｒａｍｅｔｒｉｃ Ｃｏｄｉｎｇ ｏｆ Ｓｐａｔｉａｌ Ａｕｄｉｏ”，２２ｎｄ Ｒｅｇｉｏｎａｌ ＵＫ ＡＥＳ Ｃｏｎｆｅｒｅｎｃｅ，Ｃａｍｂｒｉｄｇｅ，ＵＫ，Ａｐｒｉｌ ２００７

【非特許文献5】Ｊ．Ｅｎｇｄｅｇａｅｒｄ，Ｂ．Ｒｅｓｃｈ，Ｃ．Ｆａｌｃｈ，Ｏ．Ｈｅｌｌｍｕｔｈ，Ｊ．Ｈｉｌｐｅｒｔ，Ａ．Ｈｏｅｌｚｅｒ，Ｌ．Ｔｅｒｅｎｔｉｅｖ，Ｊ．Ｂｒｅｅｂａａｒｔ，Ｊ．Ｋｏｐｐｅｎｓ，Ｅ．Ｓｃｈｕｉｊｅｒｓ ａｎｄ Ｗ．Ｏｏｍｅｎ：“Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｏｂｊｅｃｔ Ｃｏｄｉｎｇ（ＳＡＯＣ）−Ｔｈｅ Ｕｐｃｏｍｉｎｇ ＭＰＥＧ Ｓｔａｎｄａｒｄ ｏｎ Ｐａｒａｍｅｔｒｉｃ Ｏｂｊｅｃｔ Ｂａｓｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ”，１２４ｔｈ ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ，Ａｍｓｔｅｒｄａｍ ２００８

【非特許文献6】ＩＳＯ／ＩＥＣ，“ＭＰＥＧ ａｕｄｉｏ ｔｅｃｈｎｏｌｏｇｉｅｓ−Ｐａｒｔ ２：Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｏｂｊｅｃｔ Ｃｏｄｉｎｇ（ＳＡＯＣ）”，ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１（ＭＰＥＧ） Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ ２３００３−２

【非特許文献7】Ｍ．Ｐａｒｖａｉｘ ａｎｄ Ｌ．Ｇｉｒｉｎ：“Ｉｎｆｏｒｍｅｄ Ｓｏｕｒｃｅ Ｓｅｐａｒａｔｉｏｎ ｏｆ ｕｎｄｅｒｄｅｔｅｒｍｉｎｅｄ ｉｎｓｔａｎｔａｎｅｏｕｓ Ｓｔｅｒｅｏ Ｍｉｘｔｕｒｅｓ ｕｓｉｎｇ Ｓｏｕｒｃｅ Ｉｎｄｅｘ Ｅｍｂｅｄｄｉｎｇ”，ＩＥＥＥ ＩＣＡＳＳＰ，２０１０

【非特許文献8】Ｍ．Ｐａｒｖａｉｘ，Ｌ．Ｇｉｒｉｎ，Ｊ．−Ｍ．Ｂｒｏｓｓｉｅｒ：“Ａ ｗａｔｅｒｍａｒｋｉｎｇ−ｂａｓｅｄ ｍｅｔｈｏｄ ｆｏｒ ｉｎｆｏｒｍｅｄ ｓｏｕｒｃｅ ｓｅｐａｒａｔｉｏｎ ｏｆ ａｕｄｉｏ ｓｉｇｎａｌｓ ｗｉｔｈ ａ ｓｉｎｇｌｅ ｓｅｎｓｏｒ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ａｕｄｉｏ，Ｓｐｅｅｃｈ ａｎｄ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，２０１０

【非特許文献9】Ａ．Ｌｉｕｔｋｕｓ ａｎｄ Ｊ．Ｐｉｎｅｌ ａｎｄ Ｒ．Ｂａｄｅａｕ ａｎｄ Ｌ．Ｇｉｒｉｎ ａｎｄ Ｇ．Ｒｉｃｈａｒｄ：“Ｉｎｆｏｒｍｅｄ ｓｏｕｒｃｅ ｓｅｐａｒａｔｉｏｎ ｔｈｒｏｕｇｈ ｓｐｅｃｔｒｏｇｒａｍ ｃｏｄｉｎｇ ａｎｄ ｄａｔａ ｅｍｂｅｄｄｉｎｇ”，Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｊｏｕｒｎａｌ，２０１１

【非特許文献10】Ａ．Ｏｚｅｒｏｖ，Ａ．Ｌｉｕｔｋｕｓ，Ｒ．Ｂａｄｅａｕ，Ｇ．Ｒｉｃｈａｒｄ：“Ｉｎｆｏｒｍｅｄ ｓｏｕｒｃｅ ｓｅｐａｒａｔｉｏｎ：ｓｏｕｒｃｅ ｃｏｄｉｎｇ ｍｅｅｔｓ ｓｏｕｒｃｅ ｓｅｐａｒａｔｉｏｎ”，ＩＥＥＥ Ｗｏｒｋｓｈｏｐ ｏｎ Ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ ｔｏ Ａｕｄｉｏ ａｎｄ Ａｃｏｕｓｔｉｃｓ，２０１１

【非特許文献11】Ｓｈｕｈｕａ Ｚｈａｎｇ ａｎｄ Ｌａｕｒｅｎｔ Ｇｉｒｉｎ：“Ａｎ Ｉｎｆｏｒｍｅｄ Ｓｏｕｒｃｅ Ｓｅｐａｒａｔｉｏｎ Ｓｙｓｔｅｍ ｆｏｒ Ｓｐｅｅｃｈ Ｓｉｇｎａｌｓ”，ＩＮＴＥＲＳＰＥＥＣＨ，２０１１

【非特許文献12】Ｌ．Ｇｉｒｉｎ ａｎｄ Ｊ．Ｐｉｎｅｌ：“Ｉｎｆｏｒｍｅｄ Ａｕｄｉｏ Ｓｏｕｒｃｅ Ｓｅｐａｒａｔｉｏｎ ｆｒｏｍ Ｃｏｍｐｒｅｓｓｅｄ Ｌｉｎｅａｒ Ｓｔｅｒｅｏ Ｍｉｘｔｕｒｅｓ”，ＡＥＳ ４２ｎｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ：Ｓｅｍａｎｔｉｃ Ａｕｄｉｏ，２０１１

【発明の概要】

【発明が解決しようとする課題】

【0011】

パラメトリックなオーディオオブジェクト符号化手法は、現在、最大２個のダウンミックスチャネルに制限されている。この手法は、マルチチャネルのミキシング、例えば、２個だけのダウンミックスチャネルに対して、ある程度しか適用され得ない。したがって、この符号化手法によって、オーディオシーンをユーザ自身の好みに調整できるようにユーザに与えられる柔軟性は非常に制限され、例えば、スポーツ放送においてスポーツ解説者と周辺とのオーディオレベルを変化させることなどに限定される。

【0012】

さらに、現在のオーディオオブジェクト符号化手法は、エンコーダ側でのミキシング処理において、制限された多様性しか与えない。ミキシング処理は、オーディオオブジェクトの時間変数ミキシングに制限され、周波数変数ミキシングは可能でない。

【0013】

したがって、オーディオオブジェクト符号化について、改善された概念が提供されることが非常に望ましい。

【課題を解決するための手段】

【0014】

本発明の課題は、オーディオオブジェクト符号化に関する改善された概念を提供することである。本発明の課題は、請求項１に記載のデコーダ、請求項１６に記載の方法、および請求項１７のコンピュータプログラムによって解決される。

【0015】

３以上のダウンミックスチャネルを有し３以上のオーディオオブジェクト信号を符号化したダウンミックス信号から、１以上のオーディオ出力チャネルを有するオーディオ出力信号を生成するデコーダが提供される。

【0016】

このデコーダは、３以上のダウンミックスチャネルを受け取り、かつ副情報を受け取る入力チャネルルータと、１以上のオーディオ出力チャネルを得るために、少なくとも２つの処理済チャネルを生成する少なくとも２つのチャネル処理部とを備える。

【0017】

入力チャネルルータは、３以上のダウンミックスチャネルの少なくとも２つをそれぞれ、少なくとも２つのチャネル処理部のうち少なくとも１つに供給し、少なくとも２つのチャネル処理部のそれぞれが、３以上のダウンミックスチャネルのうち１以上を受け取ると共に、少なくとも２つのチャネル処理部のそれぞれが、３以上のダウンミックスチャネルの総数よりも少ない数のダウンミックスチャネルを受け取るよう構成される。

【0018】

少なくとも２つのチャネル処理部のそれぞれは、副情報に基づき、かつチャネル処理部が入力チャネルルータから受け取った３以上のダウンミックスチャネルの少なくとも２つのうちの１以上に基づいて、少なくとも２つの処理済チャネルの１以上を生成するよう構成される。

【0019】

ミキシング処理におけるさらなる柔軟性によって、信号オブジェクト特性の最適な利用が可能となる。ダウンミックスは、知覚品質についてデコーダ側でのパラメトリック分離に最適となるよう生成されることができる。

【0020】

実施形態において、ＳＡＯＣシステムにおけるパラメトリック部分を、任意の数のダウンミックス／アップミックスチャネルに対して拡張する。本発明の方法によって、オーディオオブジェクトのミキシングを完全に柔軟に行うことができる。

【0021】

一実施形態によると、入力チャネルルータは、３以上のダウンミックスチャネルのうち少なくとも２つをそれぞれ、少なくとも２つのチャネル処理部のうちただ１つに対して供給するよう構成されてもよい。

【0022】

一実施形態において、入力チャネルルータは、３以上のダウンミックスチャネルのそれぞれを、少なくとも２つのチャネル処理部のうち少なくとも１つに供給し、３以上のダウンミックスチャネルのそれぞれが、少なくとも２つのチャネル処理部の１以上に受け取られるよう構成されてもよい。

【0023】

一実施形態によると、少なくとも２つのチャネル処理部のそれぞれが、少なくとも２つの処理済チャネルの１以上を、３以上のダウンミックスチャネルの少なくとも１つから独立して生成するよう構成されてもよい。

【0024】

一実施形態において、少なくとも２つのチャネル処理部のそれぞれは、モノラル処理部またはステレオ処理部のいずれかであり、モノラル処理部は、３以上のダウンミックスチャネルのうちただ１つを受け取り、３以上のダウンミックスチャネルのそのだだ１つと副情報とに基づき、少なくとも２つの処理済チャネルのうちただ１つ、またはただ２つを生成するよう構成され、ステレオ処理部は、３以上のダウンミックスチャネルのうちただ２つを受け取って、３以上のダウンミックスチャネルのうちそのただ２つと副情報とに基づき、少なくとも２つの処理済チャネルのうちただ１つ、またはただ２つを生成するよう構成されてもよい。

【0025】

少なくとも２つのチャネル処理部の少なくとも１つは、３以上のダウンミックスチャネルのうちただ１つを受け取り、３以上のダウンミックスチャネルのうちのそのただ１つと副情報とに基づき、少なくとも２つの処理済チャネルのうちただ２つを生成するよう構成されてもよい。

【0026】

一実施形態によると、少なくとも２つのチャネル処理部の少なくとも１つは、３以上のダウンミックスチャネルのうちただ２つを受け取り、３以上のダウンミックスチャネルのそのただ２つと副情報とに基づき、少なくとも２つの処理済チャネルのうちただ１つを生成するよう構成されてもよい。

【0027】

一実施形態において、入力チャネルルータは、４以上のダウンミックスチャネルを受け取るよう構成され、少なくとも２つのチャネル処理部の少なくとも１つは、４以上のダウンミックスチャネルの少なくとも３つを受け取り、４以上のダウンミックスチャネルのうちその少なくとも３つと副情報に基づき、処理済チャネルを少なくとも３つ生成するよう構成されてもよい。

【0028】

一実施形態によると、少なくとも２つのチャネル処理部の少なくとも１つは、４以上のダウンミックスチャネルのうちただ３つを受け取り、４以上のダウンミックスチャネルのうちその３つと副情報に基づき、処理済チャネルをただ３つ生成するよう構成されてもよい。

【0029】

一実施形態において、入力チャネルルータは、６以上のダウンミックスチャネルを受け取るよう構成され、少なくとも２つのチャネル処理部の少なくとも１つは、６以上のダウンミックスチャネルのうちただ５つを受け取り、６以上のダウンミックスチャネルのうちそのただ５つと副情報とに基づき、処理済チャネルを５つだけ生成するよう構成されてもよい。

【0030】

一実施形態において、入力チャネルルータは、３以上のダウンミックスチャネルの少なくとも１つを、少なくとも２つのチャネル処理部のいずれに対しても供給しないよう構成され、３以上のダウンミックスチャネルの少なくとも１つは、少なくとも２つのチャネル処理部のいずれによっても受け取られないよう構成されてもよい。

【0031】

一実施形態によると、このデコーダは、少なくとも２つの処理済チャネルを組み合わせて１以上のオーディオ出力チャネルを得る出力チャネルルータをさらに備えることができる。

【0032】

一実施形態において、このデコーダは、レンダラをさらに備え、このレンダラは、レンダリング情報を受け取り、少なくとも２つの処理済チャネルとレンダリング情報とに基づき、１以上のオーディオ出力チャネルを生成するよう構成されてもよい。

【0033】

一実施形態によると、少なくとも２つのチャネル処理部は、少なくとも２つの処理済チャネルを並列に生成するよう構成されてもよい。

【0034】

一実施形態によると、少なくとも２つのチャネル処理部の第１のチャネル処理部は、少なくとも２つの処理済チャネルのうちの第１の処理済チャネルを、少なくとも２つのチャネル処理部の第２のチャネル処理部に供給し、第２の処理部は、第１の処理済チャネルに基づいて、少なくとも２つの処理済チャネルのうちの第２の処理済チャネルを生成するよう構成されてもよい。

【0035】

さらに、３以上のダウンミックスチャネルを有するダウンミックス信号から、１以上のオーディオ出力チャネルを有するオーディオ出力信号を生成する方法が提供される。ダウンミックス信号には、３以上のオーディオオブジェクト信号が符号化されている。この方法は：
入力チャネルルータにより、３以上のダウンミックスチャネルを受け取ると共に副情報を受け取り、
３以上のダウンミックスチャネルの少なくとも２つをそれぞれ、少なくとも２つのチャネル処理部の少なくとも１つに供給し、
少なくとも２つのチャネル処理部により、１以上のオーディオ出力チャネルを得るために、少なくとも２つの処理済チャネルを生成する。

【0036】

この方法において、入力チャネルルータは、３以上のダウンミックスチャネルの少なくとも２つのそれぞれを、少なくとも２つのチャネル処理部の少なくとも１つに供給し、少なくとも２つのチャネル処理部のそれぞれが、３以上のダウンミックスチャネルのうち１以上を受け取り、かつ少なくとも２つのチャネル処理部のそれぞれが、３以上のダウンミックスチャネルの総数よりも少ない数のダウンミックスチャネルを受け取る。

【0037】

そして、少なくとも２つの処理済チャネルの生成は、少なくとも２つのチャネル処理部のそれぞれが、副情報に基づき、かつ入チャネル処理部が力チャネルルータから受け取った３以上のダウンミックスチャネルの少なくとも２つのうちの１以上に基づき、少なくとも２つの処理済チャネルの１以上を生成することによって行われる。

【0038】

さらに、コンピュータまたは信号処理装置において実行されたとき、上述の方法を実施するコンピュータプログラムが提供される。

【0039】

以下、本発明の実施形態を、図面を参照してより詳しく説明する。

【図面の簡単な説明】

【0040】

【図1】一実施形態による、オーディオ出力信号生成デコーダである。

【図2】ＭＰＥＧ ＳＡＯＣの例を用いて、システムの基本的原理を図示するＳＡＯＣシステム概略図である。

【図3】一実施形態による、複数のＳＡＯＣモノラルおよびステレオデコーダ／トランスコーダ段を並列に組み合わせて、パラメトリックにマルチチャネル混合信号を復号する原理を示す概略図である。

【図4】一実施形態による、ＳＡＯＣモノラルおよびステレオデコーダ／トランスコーダ段をカスケード構成として、マルチチャネル混合信号を復号する原理を示す概略図である。

【発明を実施するための形態】

【0041】

本発明の実施形態を説明する前に、現行技術のＳＡＯＣ方式についての背景をさらに説明する。

【0042】

図２は、ＳＡＯＣエンコーダ１０およびＳＡＯＣデコーダ１２の一般的構成を示す。ＳＡＯＣエンコーダ１０は、Ｎ個の入力オブジェクト、すなわち、オーディオ信号ｓ_１〜ｓ_Ｎを受信する。具体的には、エンコーダ１０は、オーディオ信号ｓ_１〜ｓ_Ｎを受信し、それをダウンミックス信号１８にダウンミックスするダウンミキサ１６を備える。あるいは、ダウンミックスが外部から与えられ（「アーティスティックなダウンミックス」）、システムが、追加の副情報を推定して、与えられたダウンミックスを、計算されたダウンミックスに一致させるようにしてもよい。図２において、ダウンミックス信号は、Ｐチャネル信号として示される。ここでは、モノラル（Ｐ＝１）、ステレオ（Ｐ＝２）またはマルチチャネル（Ｐ＞２）のいずれのダウンミックス信号構成でもよい。

【0043】

ステレオダウンミックスの場合、ダウンミックス信号１８のチャネルはＬ０およびＲ０と表記され、モノラルダウンミックスの場合、単にＬ０と表記される。ＳＡＯＣデコーダ１２が個々のオブジェクトｓ_１〜ｓ_Ｎを受信することができるようにするため、副情報推定器１７は、ＳＡＯＣパラメータを含む副情報をＳＡＯＣデコーダ１２に与える。例えば、ステレオダウンミックスの場合、ＳＡＯＣパラメータは、オブジェクトレベルの差（ＯＬＤ）、オブジェクト間相関（ＩＯＣ）（オブジェクト間相互相関パラメータ）、ダウンミックスゲイン値（ＤＭＧ）およびダウンミックスチャネルレベルの差（ＤＣＬＤ）を含む。ＳＡＯＣパラメータを含む副情報２０は、ダウンミックス信号１８とともに、ＳＡＯＣデコーダ１２によって受信されたＳＡＯＣ出力データストリームを形成する。

【0044】

ＳＡＯＣデコーダ１２はアップミキサを備え、このアップミキサは、副情報２０とともにダウンミックス信号１８を受信して、ＳＡＯＣデコーダ１２に入力されたレンダリング情報２６により規定されているレンダリングで、オーディオ信号

【数3】

を、任意のユーザ選択によるチャネルセット

【数4】

上に復元およびレンダリングする。

【0045】

オーディオ信号ｓ_１からｓ_Ｎは、時間領域またはスペクトル領域のような何らかの符号化領域で、エンコーダ１０に入力される。オーディオ信号ｓ_１からｓ_ＮがＰＣＭ符号化されるなどして時間領域でエンコーダ１０に供給される場合、エンコーダ１０は、信号をスペクトル領域、すなわちオーディオ信号が異なるスペクトル部分に関連付けられた複数のサブバンドに特定のフィルタバンク解像度で表される領域、に変換するために、ハイブリッドＱＭＦバンクのようなフィルタバンクを用いることができる。オーディオ信号ｓ_１からｓ_Ｎが、既にエンコーダ１０によって想定されているよう表現となっている場合には、スペクトル分解を行う必要はない。

【0046】

図１は、一実施形態による、３以上のダウンミックスチャネルを有するダウンミックス信号から、１以上のオーディオ出力チャネルを有するオーディオ出力信号を生成するデコーダを示す。ダウンミックス信号には、３以上のオーディオオブジェクト信号が符号化される。

【0047】

デコーダは、３以上のダウンミックスチャネルＤＭＸ１、ＤＭＸ２、ＤＭＸ３を受け取ると共に副情報Ｓｌを受け取る入力チャネルルータ１１０と、１以上のオーディオ出力チャネルを得るために少なくとも２つの処理済チャネルを生成する少なくとも２つのチャネル処理部１２１、１２２とを備える。

【0048】

入力チャネルルータ１１０は、３以上のダウンミックスチャネルＤＭＸ１、ＤＭＸ２、ＤＭＸ３の少なくとも２つをそれぞれ、少なくとも２つのチャネル処理部１２１、１２２の少なくとも１つに供給し、少なくとも２つのチャネル処理部１２１、１２２のそれぞれが、３以上のダウンミックスチャネルのうち１以上を受け取り、また少なくとも２つのチャネル処理部１２１、１２２のそれぞれが、３以上のダウンミックスチャネルＤＭＸ１、ＤＭＸ２、ＤＭＸ３の総数よりも少ない数のダウンミックスチャネルを受け取る。

【0049】

特に、図１の実施形態においては、３つのダウンミックスチャネルＤＭＸ１、ＤＭＸ２、ＤＭＳ３のそれぞれが、ただ１つのチャネル処理部に入力される。しかしながら、その他の実施形態においては、入力チャネルルータ１１０によって受け取られた３以上のダウンミックスチャネルの全てが、処理部に入力されなくともよい。いずれにせよ、３以上のダウンミックスチャネルのうち、少なくとも２つのダウンミックスチャネルがそれぞれ、チャネル処理部の少なくとも１つに入力される。

【0050】

少なくとも２つのチャネル処理部１２１、１２２のそれぞれは、入力チャネルルータ１１０からチャネル処理部１２１、１２２が受け取った副情報Ｓｌおよび３以上のダウンミックスチャネル（ＤＭＸ１、ＤＭＸ２、ＤＭＸ３）のうち少なくとも２つのうちの１以上に基づき、少なくとも２つの処理済チャネルの１以上を生成するよう構成される。

【0051】

図１の例においては、チャネル処理部１２１は、２つのダウンミックスチャネル（ＤＭＸ１、ＤＭＸ２）を受け取り、２つの処理済チャネル（ＰＣＨ１、ＰＣＨ２）を生成する。したがって、処理部１２１は、ステレオ−ステレオ処理部と考えてよい。

【0052】

さらに、図１の例においては、チャネル処理部１２２は、ダウンミックスチャネルＤＭＸ３を受け取り、２つの処理済チャネル（ＰＣＨ３、ＰＣＨ４）を生成する。

【0053】

図１の例においては、処理済チャネルＰＣＨ１、ＰＣＨ２、ＰＣＨ３、ＰＣＨ４は、デコーダによって生成されたオーディオ出力チャネルである。しかしながら、その他の実施形態においては、オーディオ出力チャネルは、例えば、レンダリング情報を用いて、処理済チャネルに基づき生成される。

【0054】

ダウンミックスチャネルからの処理済チャネルの生成は、副情報を用いることでなされる。副情報は、例えば、当該３以上のダウンミックスチャネルを得るために、オーディオオブジェクトがどのようにダウンミックスされているかを示すダウンミックス情報を含んでいる。さらに、副情報は、Ｎ×Ｎの大きさの共分散マトリックに関する情報も含んでおり、これには、符号化されたＮ個のオーディオオブジェクトすなわちＮ個のオーディオオブジェクト信号について、これらＮ個のオーディオオブジェクトのＯＬＤおよびＩＯＣパラメータが示されている。

【0055】

少なくとも２つの処理部１２１、１２２のうち一方は、例えば、モノラル−モノラル「ｘ−１−１」処理モードを実行するモノラル−モノラル処理部であってもよい。あるいは、少なくとも２つの処理部１２１、１２２のうち一方は、例えば、モノラル−ステレオ「ｘ−１−２」処理モードを実行するよう構成されてもよい。さらには、少なくとも２つの処理部１２１、１２２のうち一方は、例えば、ステレオ−モノラル「ｘ−２−１」処理モードを実行するよう構成されてもよい。また、少なくとも２つの処理部１２１、１２２のうち一方は、例えば、ステレオ−ステレオ「ｘ−２−２」処理モードを実行するステレオ−ステレオ処理部であってもよい。

【0056】

モノラル−モノラル「ｘ−１−１」処理モード、モノラル−ステレオ「ｘ−１−２」処理モード、ステレオ−モノラル「ｘ−２−１」処理モードおよびステレオ−ステレオ「ｘ−２−２」処理モードは、ＳＡＯＣ規格（非特許文献６参照）において、ＳＡＯＣ規格の復号モードとして記載されている。

【0057】

特に、例えば、非特許文献６の“ＳＡＯＣ Ｐｒｏｃｅｓｓｉｎｇ”の章、さらには“Ｄｅｃｏｄｉｎｇ ｍｏｄｅｓ”の項を参照されたい。

【0058】

一実施形態において、少なくとも２つのチャネル処理部１２１、１２２のそれぞれは、モノラル処理部またはステレオ処理部のいずれであってもよい。この場合において、モノラル処理部は、３以上のダウンミックスチャネルのうち１つのみを受け取って、１つのダウンミックスチャネルおよび副情報に基づき、少なくとも２つの処理信号のうちただ１つまたはただ２つを生成するよう構成される。また、ステレオ処理部は、３以上のダウンミックスチャネルのうちただ２つを受け取って、その２つのダウンミックスチャネルおよび副情報に基づき、少なくとも２つの処理信号のうちただ１つまたはただ２つを生成するよう構成される。

【0059】

少なくとも２つのチャネル処理部１２１、１２２の少なくとも一方は、３以上のダウンミックスチャネルのうちただ１つを受け取って、その１つのダウンミックスチャネルおよび副情報に基づいて、少なくとも２つの処理信号のうちただ２つを生成するよう構成されてもよい。

【0060】

一実施形態によると、少なくとも２つのチャネル処理部１２１、１２２の少なくとも一方は、３以上のダウンミックスチャネルのうちただ２つを受け取って、その２つのダウンミックスチャネルおよび副情報に基づいて、少なくとも２つの処理信号のうちただ１つを生成するよう構成されてもよい。

【0061】

少なくとも２つの処理部１２１、１２２のうち一方は、例えば、１つのモノラル・ダウンミックスチャネルから５つの処理済チャネルを生成するよう、モノラル・ダウンミックス（「ｘ−１−５」）処理モードを実行してもよい。あるいは、少なくとも２つの処理部１２１、１２２のうち一方は、例えば、２つのダウンミックスチャネルから５つの処理済チャネルを生成するよう、ステレオダウンミックス（「ｘ−２−５」）処理モードを実行してもよい。

【0062】

モノラル・ダウンミックス（「ｘ−１−５」）処理モード、およびステレオ・ダウンミックス「ｘ−２−５」処理モードは、ＳＡＯＣ規格（非特許文献６）において、ＳＡＯＣ規格の変換コードモードとして記載されている。

【0063】

特に、例えば、非特許文献６の特に“ＳＡＯＣ Ｐｒｏｃｅｓｓｉｎｇ”の章、さらには“Ｔｒａｎｓｃｏｄｉｎｇ ｍｏｄｅｓ”の項を参照されたい。

【0064】

ある実施形態においては、チャネル処理部１２１、１２２のうち一方、一部または全部が異なる構成とされてもよい。

【0065】

一実施形態において、入力チャネルルータ１１０は４以上のダウンミックスチャネルを受け取るよう構成されてもよく、少なくとも２つのチャネル処理部１２１、１２２の少なくとも一方は、４以上のダウンミックスチャネルのうち少なくとも３つを受け取り、その少なくとも３つのダウンミックスチャネルおよび副情報に基づいて、少なくとも３つの処理信号を生成するよう構成されてもよい。

【0066】

一実施形態によると、少なくとも２つのチャネル処理部１２１、１２２の少なくとも一方は、４以上のダウンミックスチャネルのうちただ３つを受け取って、そのただ３つのダウンミックスチャネルおよび副情報に基づいて、ただ３つの処理信号を生成するよう構成されてもよい。

【0067】

一実施形態において、入力チャネルルータ１１０は、６以上のダウンミックスチャネルを受け取るよう構成されてもよい。この場合においては、少なくとも２つのチャネル処理部１２１、１２２の少なくとも一方は、６つのダウンミックスチャネルのうちただ５つを受け取り、その５つのダウンミックスチャネルおよび副情報に基づいて、ただ５つの処理済チャネルを生成するよう構成されてもよい。

【0068】

一実施形態において、入力チャネルルータは、３以上のダウンミックスチャネルのうち少なくとも２つをそれぞれ、少なくとも２つのチャネル処理部１２１、１２２のうち一方のみに入力するよう構成されてもよい。したがって、例えば、図１の例に示すように、ダウンミックスチャネルＤＭＸ１、ＤＭＸ２、ＤＭＸ３のいずれも、２以上のチャネル処理部１２１、１２２には入力されない。しかしながら、その他の実施形態においては、１以上のダウンミックスチャネルが、２以上のチャネル処理部に入力されてもよい。

【0069】

一実施形態において、入力チャネルルータ１１０は、３以上のダウンミックスチャネルをそれぞれ、少なくとも２つのチャネル処理部１２１、１２２のうち少なくとも一方に入力し、少なくとも２つのチャネル処理部１２１、１２２のうち１以上の処理部は、３以上のダウンミックスチャネルのそれぞれを受け取る。しかしながら、その他の実施形態においては、入力チャネルルータ１１０は、３以上のダウンミックスチャネルのうち少なくとも１つを、少なくとも２つのチャネル処理部１２１、１２２のいずれにも入力しないよう構成され、３以上のダウンミックスチャネルの少なくとも１つが、少なくとも２つのチャネル処理部のいずれによっても受け取られないものとしている。

【0070】

一実施形態によると、少なくとも２つのチャネル処理部１２１、１２２のそれぞれが、少なくとも２つの処理済チャネルの１以上を、３以上のダウンミックスチャネルのうち少なくとも１つから独立して生成するよう構成されてもよい。つまり、図１に示す通り、いずれのチャネル処理部も、ダウンミックスチャネルＤＭＸ１、ＤＭＸ２、ＤＭＸ３の全てを受け取るわけではない。

【0071】

一実施形態によると、マルチチャネル・ダウンミックス処理機能は、複数のＳＡＯＣデコーダ／トランスコーダ段（またはそのパーツ）をカスケード構成または／および並列構成とすることにより、実現されてもよい。

【0072】

図３は、一実施形態による、複数のＳＡＯＣモノラルおよびステレオデコーダ／トランスコーダ・インスタンスを並列に組み合わせて、パラメトリックにマルチチャネル混合信号を復号する原理を示す概略図である。

【0073】

特に、図３においては、複数のＳＡＯＣモノラルおよびステレオのデコーダ／トランスコーダ段が並列に駆動され、マルチチャネル・ダウンミックスを処理する。

【0074】

例えば、図３のチャネル処理部１２１、１２２、１２３、１２４、１２５、１２６は、少なくとも２つの処理済チャネルを並列に生成するよう構成されてもよい。例えば、チャネル処理部１２１、１２２、１２３、１２４、１２５、１２６は、少なくとも２つの処理済チャネルを並列に生成するように構成され、少なくとも２つのチャネル処理部の他のいずれかチャネル処理部が２つの処理済チャネルの他方の生成を完了する前に、少なくとも２つのチャネル処理部のそれぞれが、２つの処理済チャネルの１つの生成を開始することができる。

【0075】

図３の入力チャネルルータ１１０は、入力チャネルを複数のデコーダ／トランスコーダに送る。なお、デコーダ／トランスコーダは、任意の数の入力チャネルによって駆動されることができるものとし、図３視覚的明瞭性のために示すような、モノラルまたはステレオ信号だけに限定されるものではない。

【0076】

図３の実施形態によると、デコーダは、少なくとも２つの処理済チャネルを組み合わせて１以上のオーディオ出力チャネルを得る出力チャネルルータ１３０をさらに備える。デコーダ／トランスコーダ部から処理された（処理済）信号は、出力チャネルルータ１３０に供給される。出力チャネルルータ１３０は、複数の入力ストリームを組み合わせ、オーディオオブジェクト信号の最終推定結果を生成して、レンダラ１４０に出力する。

【0077】

図３に示す実施形態においては、デコーダは、さらにレンダラ１４０を備える。このレンダラ１４０は、レンダリング情報を受け取るよう構成され、少なくとも２つの処理済チャネルおよびレンダリング情報に基づき、１以上のオーディオ出力チャネルを生成するよう構成される。

【0078】

なお、パラメトリック処理は、対象となるダウンミックスチャネルに適用されさえすればよい。これにより、計算上の手間を低減することができる。ダウンミックス信号は、もし必要でなければ、この処理を完全に迂回してもよい（例えば、フロントシーンのみ操作されるのであれば、サラウンドチャネルは迂回してもよい）。これらの実施形態においては、入力チャネルルータ１１０によって受け取られた３以上のダウンミックスチャネルは、全てがチャネル処理部に供給されるのではなく、これらのダウンミックスチャネルの一部のみが供給される。いずれにせよ、３以上の受け取られたダウンミックスチャネルのうち、少なくとも２つのダウンミックスチャネルが、チャネル処理部に提供される。

【0079】

図４は、一実施形態による、ＳＡＯＣモノラルおよびステレオデコーダ／トランスコーダをカスケード構成とし、マルチチャネル混合信号を復号する原理を示す概略図である。

【0080】

図４に示される実施形態によると、少なくとも２つのチャネル処理部のうち第１のチャネル処理部１２１は、少なくとも２つの処理済チャネルのうち第１の処理済チャネルＰＣＨ１１を、少なくとも２つのチャネル処理部のうち第２のチャネル処理部１２６に供給するにように構成される。第２のチャネル処理部１２６は、第１処理済チャネルＰＣＨ１１に基づいて、少なくとも２つの処理済チャネルのうち第２処理済チャネルＰＣＨ２２を生成するよう構成されてもよい。

【0081】

複数のデコーダ／トランスコーダの組み合わせは、静的であらかじめ決められたものであってもよいし、動的に構成されてもよい。

【0082】

このアプローチは、マルチチャネル・ダウンミックス・システムの取り扱いの、完全にＳＡＯＣ上位互換性のある拡張方法を示している。

【0083】

上述した発明の実施形態は、任意の数のダウンミックス／アップミックスチャネルに対して適用できる。いかなる既存のまたは今後開発されるオーディオ形式と組み合わせることができる。

【0084】

発明した方法の柔軟性によって、変更のないチャネルを迂回して、計算上の手間を回避することができる。これによって、ビットストリームペイロードが低減でき、データ量も低減できる。

【0085】

一部の実施形態は、オーディオエンコーダ、エンコーディング方法、またはエンコーディングコンピュータプログラムに関するものである。また、一部の実施形態は、上述の通り、オーディオデコーダ、デコーディング方法、またはデコーディングコンピュータプログラムに関するものである。さらに、一部の実施形態は、エンコードされた信号に関するものである。

【0086】

一部の側面は装置の観点から説明されたものであるが、これらの側面がまた対応する方法の説明としても機能することは明らかであり、ブロックや装置は、方法過程または方法過程の特徴に対応する。同様に、、方法の観点から説明された側面もまた、対応するブロックもしくは物品または対応する装置の特徴の説明としても機能するものである。

【0087】

本発明に係る分解信号は、デジタル記憶媒体に記憶されることができ、または無線通信媒体やインターネットなどの有線通信媒体のような通信媒体において通信されることもできる。

【0088】

所定の実施要件によっては、本発明に係る実施形態は、ハードウェアとして実施されてもよいし、ソフトウェアとして実施されてもよい。実施は、例えばフレキシブルディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ（登録商標）、またはフラッシュメモリーなどのような、電子的に読み取り可能な制御信号が記憶されたデジタル記憶媒体を用いてすることができ、それぞれの方法が実行されるようこれらのデジタル記憶媒体が、プログラム可能なコンピュータシステムと協働する（または協働することできる）。

【0089】

本発明による一部の実施形態では、電子的に読み取り可能な制御信号を有する固定データ担体を備え、この担体は、開示される方法のいずれかが実施されるよう、プログラム可能なコンピュータシステムと協働することができる。

【0090】

総じて、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実施することが可能であり、そのコンピュータプログラム製品がコンピュータにおいて実行されたとき、そのプログラムコードがいずれかの方法を実行するよう動作する。このプログラムコードは、例えば機械で読み取り可能な担体に記憶されてもよい。

【0091】

その他の実施形態においては、開示されるいずれかの方法を実行する、機械で読み取り可能な担体に記憶されたコンピュータプログラムを備える。

【0092】

すなわち、本発明に係る方法は、その一実施形態においては、コンピュータプログラムがコンピュータで実行されたとき、開示されるいずれかの方法を実行するプログラムコードを有するコンピュータプログラムとして構成される。

【0093】

したって、本発明に係る方法のさらなる実施形態は、開示される方法のいずれかを実施するコンピュータプログラムが記録されたデータキャリア（またはデジタル記憶媒体またはコンピュータに読み取り可能な媒体）として構成される。

【0094】

したがって、本発明に係る方法のさちなる実施形態は、開示される方法のいずれかを実施するコンピュータプログラムを示すデータストリームまたは信号シーケンスとして構成される。このデータストリームまたは信号シーケンスは、例えば、データコミュニケーション接続（例えばインターネットなど）を介して伝送されるよう構成されてもよい。

【0095】

その他の実施形態においては、開示されるいずれかの方法を実行するよう構成または採用された処理手段、例えばコンピュータ、プログラム可能な論理機構を備える。

【0096】

その他の実施形態においては、開示されるいずれかの方法を実行するコンピュータプログラムをインストールしたコンピュータを備える。

【0097】

一部の実施形態においては、開示される方法の機能の一部または全部を実行するために、プログラム可能な論理機構（例えば、フィールドプログラマブルゲートアレイ）を用いてもよい。一部の実施形態においては、開示される方法のいずれかを実行するために、フィールドプログラマブルゲートアレイとマイクロプロセッサとを協働させてもよい。一般的に、方法は、ハードウェア装置によって実行されることが好ましい。

【0098】

上述の実施形態は、本発明の原理を単に例示するものに過ぎない。開示される構成や詳細に対して変更または調整が可能であることは、当該分野に知識を有する者にとっては明らかである。したがって、本発明は、特許請求の範囲によってのみ限定されるものであり、開示の方法や実施形態の説明によって提供された具体的詳細によっては何ら限定されるものではない。

【図1】

【図2】

【図3】

【図4】