特許 6134867 レンダラ制御式空間アップミックス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6134867

(24)【登録日】2017年4月28日

(45)【発行日】2017年5月31日

(54)【発明の名称】レンダラ制御式空間アップミックス

(51)【国際特許分類】

   H04S 3/00 20060101AFI20170522BHJP

   G10L 19/008 20130101ALI20170522BHJP

   G10L 19/02 20130101ALI20170522BHJP

   H04S 7/00 20060101ALI20170522BHJP

【ＦＩ】

   H04S3/00 200

   G10L19/008 100

   G10L19/008 200

   G10L19/02 150

   G10L19/02 160A

   H04S7/00 300

【請求項の数】16

【全頁数】30

(21)【出願番号】特願2016-528409(P2016-528409)

(86)(22)【出願日】2014年7月14日

(65)【公表番号】特表2016-527804(P2016-527804A)

(43)【公表日】2016年9月8日

(86)【国際出願番号】EP2014065037

(87)【国際公開番号】WO2015010937

(87)【国際公開日】20150129

【審査請求日】2016年3月15日

(31)【優先権主張番号】13177368.1

(32)【優先日】2013年7月22日

(33)【優先権主張国】EP

(31)【優先権主張番号】13189285.3

(32)【優先日】2013年10月18日

(33)【優先権主張国】EP

(73)【特許権者】

【識別番号】500341779

【氏名又は名称】フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン

(74)【代理人】

【識別番号】100205981

【弁理士】

【氏名又は名称】野口 大輔

(74)【代理人】

【識別番号】100085464

【弁理士】

【氏名又は名称】野口 繁雄

(72)【発明者】

【氏名】クリスティアン・エルテル

(72)【発明者】

【氏名】ヨハネス・ヒルペルト

(72)【発明者】

【氏名】アンドレアス・ヘルツェール

(72)【発明者】

【氏名】アキーム・クンツ

(72)【発明者】

【氏名】ヤン・プログスティエス

(72)【発明者】

【氏名】ミカエル・クラッシュメル

【審査官】 菊池 充

(56)【参考文献】

【文献】 特表２００９−５３１７３５（ＪＰ，Ａ）

【文献】 特開２００６−０５０２４１（ＪＰ，Ａ）

【文献】 特表２００９−５３１８８６（ＪＰ，Ａ）

【文献】 特表２０１２−５０５５７５（ＪＰ，Ａ）

【文献】 特表２０１０−５２５４０３（ＪＰ，Ａ）

【文献】 特表２００９−５２６２５８（ＪＰ，Ａ）

【文献】 特開２０１３−１２５１５０（ＪＰ，Ａ）

【文献】 特表２０１２−５２５０５１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００９／０１１０２０３（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００７／０２２３７０８（ＵＳ，Ａ１）

【文献】 欧州特許出願公開第０２１７５６７０（ＥＰ，Ａ１）

【文献】 米国特許出願公開第２０１０／００９４６３１（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００９／００１０４４０（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１３／０１５６２００（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１２／００３９４７７（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｓ １／００− ７／００

Ｇ１０Ｌ １９／００−２１／１８

(57)【特許請求の範囲】

【請求項1】

圧縮入力オーディオ信号を復号するためのオーディオ復号器デバイスであって、
プロセッサ入力信号（３８、３８'）に基づいてプロセッサ出力信号（３７）を生成するための１つ又は複数のプロセッサ（３６、３６'）を有する少なくとも１つのコア復号器（６、２４）であって、前記プロセッサ出力信号（３７、３７'）の出力チャネル（３７．１、３７．２、３７．１'、３７．２'）の数は前記プロセッサ入力信号（３８、３８'）の入力チャネル（３８．１、３８．１'）の数よりも多く、前記１つ又は複数のプロセッサ（３６、３６'）の各々は脱相関装置（３９、３９'）及び混合器（４０、４０'）を備え、複数のチャネル（１３．１、１３．２、１３．３、１３，４）を有するコア復号器出力信号（１３）は前記プロセッサ出力信号（３７、３７'）を含み、前記コア復号器出力信号（１３）は基準スピーカ配置（４２）に適している、少なくとも１つのコア復号器（６、２４）と、
前記コア復号器出力信号（１３）を、目標スピーカ配置（４５）に適している出力オーディオ信号（３１）に変換するように構成されている少なくとも１つのフォーマット変換器デバイス（９、１０）と、
前記プロセッサ（３６、３６'）の前記脱相関装置（３９、３９'）が前記プロセッサ（３６、３６'）の前記混合器（４０、４０'）から独立して制御され得るように、少なくとも１つ又は複数のプロセッサ（３６、３６'）を制御するように構成されている制御デバイス（４６）であって、前記目標スピーカ配置（４５）に応じて、前記プロセッサ（３６、３６'）の前記脱相関装置（３９、３９'）がオフにされたときに、前記プロセッサ（３６、３６'）の前記混合器（４０、４０'）が使用可能となるように、前記１つ又は複数のプロセッサ（３６、３６'）の前記脱相関装置（３９、３９'）の少なくとも１つを制御するように構成されている制御デバイス（４６）と、を備えた復号器デバイス。

【請求項2】

前記制御デバイス（４６）は、前記プロセッサ入力信号（３８、３８'）の入力チャネル（３８．１、３８．１'）が、処理されていない形式で前記プロセッサ出力信号（３７、３７'）の出力チャネル（３７．１、３７．２、３７．１'、３７．２'）に供給されるように、少なくとも１つ又は複数のプロセッサ（３６、３６'）を機能停止するように構成されている請求項１に記載の復号器デバイス。

【請求項3】

前記プロセッサ（３６、３６'）は１入力２出力の復号ツールであり、前記脱相関装置（３９、３９'）は、前記プロセッサ入力信号（３８、３８'）の少なくとも１つの前記チャネル（３８．１、３８．１'）を脱相関することによって脱相関信号（４８）を作成するように構成されており、前記混合器（４０、４０'）は、前記プロセッサ出力信号（３７、３７'）が２つの非コヒーレント出力チャネル（３７．１、３７．２、３７．１'、３７．２'）から構成されるように、チャネルレベル差信号（４９）及び／又はチャネル間コヒーレンス信号（５０）に基づいて前記プロセッサ入力信号（３８）及び前記脱相関信号（４６）を混合する請求項１又は２に記載の復号器デバイス。

【請求項4】

前記制御デバイスは、前記脱相関信号（４８）をゼロに設定することによって、又は、前記混合器（４０、４０'）が前記脱相関信号（４６）を混合して前記それぞれのプロセッサ（３６、３６'）の前記プロセッサ出力信号（３７）にするのを阻止することによって、１つの前記プロセッサ（３６、３６'）の前記脱相関装置（３６、３６'）をオフにするように構成されている請求項３に記載の復号器デバイス。

【請求項5】

前記コア復号器（６）は、ＵＳＡＣ復号器（６）のような、音楽及び発話の両方のための復号器であり、少なくとも１つの前記プロセッサ（３６、３６'）の前記プロセッサ入力信号（３８）が、ＵＳＡＣチャネル対要素のようなチャネル対要素を含む請求項１から４のいずれか一項に記載の復号器デバイス。

【請求項6】

前記コア復号器（２４）は、ＳＡＯＣ復号器（２４）のようなパラメトリックオブジェクトコーダである請求項１から５のいずれか一項に記載の復号器デバイス。

【請求項7】

前記基準スピーカ配置（４２）のスピーカの数は、前記目標スピーカ配置（４５）のスピーカの数よりも多い請求項１から６のいずれか一項に記載の復号器デバイス。

【請求項8】

前記制御デバイス（４６）は、前記プロセッサ出力信号（３７'）の前記出力チャネルのうちの少なくとも１つの第１の出力チャネル（３７．１'）、及び、前記プロセッサ出力信号（３７'）の前記出力チャネルのうちの１つの第２の出力チャネル（３７．２'）が、前記出力チャネルのうちの第１の出力チャネル（３７．１'）を混合して前記出力オーディオ信号（３１）の共通のチャネル（３１．２）にするための第１のスケーリング係数が第１の閾値を超えること、かつ／又は、前記出力チャネルのうちの第２の出力チャネル（３７．２'）を混合して共通のチャネル（３１．２）にするための第２のスケーリング係数が第２の閾値を超えることを前提として、前記目標スピーカ配置に応じて、前記共通のチャネル（３１．２）に混合される場合、前記出力チャネル（３７'）のうちの第１の出力チャネル（３７．１'）及び前記出力チャネル（３７'）のうちの第２の出力チャネル（３７．２'）に対して前記脱相関装置（３６'）をオフにするように構成されている請求項１から７のいずれか一項に記載の復号器デバイス。

【請求項9】

前記制御デバイス（４６）は、前記フォーマット変換器デバイス（９、１０）から規則セット（４７）を受信するように構成されており、該規則セットに従って、前記フォーマット変換器デバイス（９、１０）は、前記目標スピーカ配置（４５）に応じて前記コア復号器出力信号（１３）の前記チャネル（１３．１、１３．２、１３．３、１３．４）を前記出力オーディオ信号（３１）の前記チャネル（３１．１、３１．２、３１．３）に混合し、前記制御デバイス（４６）は、前記受信される規則セット（４７）に応じて前記少なくとも１つの前記プロセッサ（３６、３６'）を制御するように構成されている請求項１から８のいずれか一項に記載の復号器デバイス。

【請求項10】

前記制御デバイス（４６）は、前記コア復号器出力信号（１３）の非コヒーレントチャネルの数が前記出力オーディオ信号（３１）の前記チャネル（３１．１、３１．２、３１．３）の数に等しくなるように、前記プロセッサ（３６、３６'）の前記脱相関装置（３９、３９'）を制御するように構成されている請求項１から９のいずれか一項に記載の復号器デバイス。

【請求項11】

前記フォーマット変換器デバイス（９、１０）は、前記コア復号器出力信号（１３）をダウンミックスするためのダウンミキサ（１０）を備える請求項１から１０のいずれか一項に記載の復号器デバイス。

【請求項12】

前記フォーマット変換器デバイス（９、１０）はバイノーラルレンダラ（１０）を備える、請求項１から１１のいずれか一項に記載の復号器デバイス。

【請求項13】

前記コア復号器出力信号（１３）は、バイノーラルレンダラ入力信号として前記バイノーラルレンダラ（９）に供給される請求項１２に記載の復号器デバイス。

【請求項14】

前記ダウンミキサ（９）のダウンミキサ出力信号はバイノーラルレンダラ入力信号として前記バイノーラルレンダラ（１０）供給される請求項１１及び請求項１２から１３のいずれか一項に記載の復号器デバイス。

【請求項15】

圧縮入力オーディオ信号を復号するための方法であって、前記方法は、
プロセッサ入力信号（３８）に基づいてプロセッサ出力信号（３７、３７'）を生成するための１つ又は複数のプロセッサ（３６、３６'）を有する少なくとも１つのコア復号器（６、２４）を提供するステップであって、前記プロセッサ出力信号（３７、３７'）の出力チャネル（３７．１、３７．２、３７．１'、３７．２'）の数は前記プロセッサ入力信号（３８、３８'）の入力チャネル（３８．１、３８．１'）の数よりも多く、前記１つ又は複数のプロセッサ（３６、３６'）の各々は脱相関装置（３９、３９'）及び混合器（４０、４０'）を備え、複数のチャネル（１３．１、１３．２、１３．３、１３，４）を有するコア復号器出力信号（１３）は前記プロセッサ出力信号（３７、３７'）を含み、前記コア復号器出力信号（１３）は基準スピーカ配置（４２）に適している、ステップと、
前記コア復号器出力信号（１３）を、目標スピーカ配置（４５）に適している出力オーディオ信号（３１）に変換するように構成されている少なくとも１つのフォーマット変換器デバイス（９、１０）を提供するステップと、
前記プロセッサ（３６、３６'）の前記脱相関装置（３９、３９'）が前記プロセッサ（３６、３６'）の前記混合器（４０、４０'）から独立して制御され得るように、少なくとも１つ又は複数のプロセッサ（３６、３６'）を制御するように構成されている制御デバイス（４６）を提供するステップであって、前記制御デバイス（４６）は、前記目標スピーカ配置（４５）に応じて、前記プロセッサ（３６、３６'）の前記脱相関装置（３９、３９'）がオフにされたときに、前記プロセッサ（３６、３６'）の前記混合器（４０、４０'）が使用可能となるように、前記１つ又は複数のプロセッサ（３６、３６'）の前記脱相関装置（３９、３９'）の少なくとも１つを制御するように構成されている、ステップと、を含む方法。

【請求項16】

コンピュータ又は信号プロセッサ上で実行されるときに、請求項１５に記載の方法を実施するためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オーディオ信号処理に関し、特に、マルチチャネルオーディオ信号のフォーマット変換に関する。

【背景技術】

【0002】

フォーマット変換とは、特定数のオーディオチャネルを、異なる数のオーディオチャネルを介した再生に適した別の表現にマッピングするプロセスを表す。

【0003】

フォーマット変換の一般的な使用事例は、オーディオチャネルのダウンミックスである。参考文献［１］において、ダウンミックスによってエンドユーザが、たとえ「ホームシアタ」５．１モニタリングシステムが全て利用可能でないときでも、５．１ソース材料のバージョンを再生することが可能になる場合がある。Ｄｏｌｂｙ Ｄｉｇｉｔａｌ材料を許容するように設計されているが、モノラル出力又はステレオ出力のみを提供する機器（例えば、ポータブルＤＶＤプレーヤ、セットトップボックスなど）は、元の５．１を標準のように１つ又は２つの出力チャネルにダウンミックスするための設備を組み込んでいる。

【0004】

他方、フォーマット変換はまた、例えば、５．１互換バージョンを形成するためにステレオ材料をアップミックスすることなどのアップミックスプロセスも表すことができる。また、バイノーラルレンダリングもフォーマット変換と考えることができる。

【0005】

以下において、圧縮オーディオ信号の復号プロセスに対するフォーマット変換の意味を説明する。ここで、オーディオ信号の圧縮表現（ｍｐ４）は、固定スピーカ配置によって再生されるように意図されている固定数のオーディオチャネルを表す。

【0006】

オーディオ復号器と、所望の再生フォーマットへの後続のフォーマット変換との間の相互作用は、３つのカテゴリに区別することができる。

【0007】

１．復号プロセスは、最終的な再生状況について依存しない。したがって、全オーディオ表現が取り出され、その後、変換プロセスが適用される。

【0008】

２．オーディオ復号プロセスは、その機能に制限され、固定フォーマットしか出力しない。例としては、モノラルラジオがステレオＦＭ番組を受信すること、又は、ＨＥ−ＡＡＣ復号器がＨＥ−ＡＡＣ ｖ２ビットストリームを受信することである。

【0009】

３．オーディオ復号プロセスは、最終的な再生配置について認識しており、その処理をそれに従って適合させることができる。例としては、参考文献［２］におけるＭＰＥＧサラウンドについて定義されているような「低減されたスピーカ構成のためのスケーラブルなチャネル復号」である。ここで、復号器は、出力チャネルの数を低減する。

【0010】

これらの方法の欠点は、復号された材料の後続の処理（ダウンミックスのためのコムフィルタ処理、アップミックスのための脱マスキング）（１．）及び最終的な出力フォーマットに関して自由度が制限されること（２．及び３．）によって、不必要に複雑度が高いこと、及び、アーティファクトの可能性があることである。

【先行技術文献】

【非特許文献】

【0011】

【非特許文献1】[1] Surround Sound Explained - Part 5. Published in: soundonsound magazine, December 2001.

【非特許文献2】[2] ISO/IEC IS 23003-1, MPEG audio technologies - Part 1: MPEG Surround.

【非特許文献3】[3] ISO/IEC IS 23003-3, MPEG audio technologies - Part 3: Unified speech and audio coding.

【発明の概要】

【発明が解決しようとする課題】

【0012】

本発明の目的は、オーディオ信号処理のための改善された概念を提供することである。

【課題を解決するための手段】

【0013】

本発明の目的は、請求項１に記載の復号器、請求項１４に記載の方法、及び請求項１５に記載のコンピュータプログラムによって解決される。

【0014】

圧縮入力オーディオ信号を復号するためのオーディオ復号器デバイスであって、プロセッサ入力信号に基づいてプロセッサ出力信号を生成するための１つ又は複数のプロセッサを有する少なくとも１つのコア復号器であり、プロセッサ出力信号の出力チャネルの数はプロセッサ入力信号の入力チャネルの数よりも多く、１つ又は複数のプロセッサの各々は脱相関装置（decorrelator）及び混合器を備え、複数のチャネルを有するコア復号器出力信号はプロセッサ出力信号を含み、コア復号器出力信号は基準スピーカ配置に適している、少なくとも１つのコア復号器と、
コア復号器出力信号を、目標スピーカ配置に適している出力オーディオ信号に変換するように構成されている少なくとも１つのフォーマット変換器と、
プロセッサの脱相関装置がプロセッサの混合器から独立して制御され得るように、少なくとも１つ又は複数のプロセッサを制御するように構成されている制御デバイスであり、制御デバイスは、目標スピーカ配置に応じて１つ又は複数のプロセッサの脱相関装置の少なくとも１つを制御するように構成されている制御デバイスと、を備えるオーディオ復号器デバイスが提供される。

【0015】

プロセッサの目的は、プロセッサ入力信号の入力チャネルの数よりも多数の非コヒーレント／無相関（uncorrelated）チャネルを有するプロセッサ出力信号を作成することである。より詳細には、プロセッサの各々が、例えば、モノラル入力信号からのより少数の入力チャネルを有するプロセッサ入力信号からの訂正空間手掛かりを用いて、複数の非コヒーレント／無相関出力チャネル、例えば、２つの出力チャネルを有するプロセッサ出力信号を生成する。

【0016】

そのようなプロセッサは、脱相関装置及び混合器を備える。脱相関装置は、プロセッサ入力信号のチャネルから脱相関装置信号を作成するのに使用される。一般的に、脱相関装置（脱相関フィルタ）は、周波数依存プリディレイ、及びそれに後続する全域通過（ＩＩＲ）部分から構成される。

【0017】

脱相関装置信号及びプロセッサ入力信号のそれぞれのチャネルがその後、混合器に供給される。混合器は、脱相関装置信号及びプロセッサ入力信号のそれぞれのチャネルを混合することによってプロセッサ出力信号を確立するように構成されており、プロセッサ出力信号の出力チャネルの訂正コヒーレンス／相関及び訂正強度比を合成するために、サイド情報が使用される。

【0018】

プロセッサ出力信号の出力チャネルはその後、非コヒーレント／無相関にされる。それにより、プロセッサの出力チャネルは、それらが異なる位置に置かれた異なるスピーカに供給されたときに、独立した音源であるように知覚される。

【0019】

フォーマット変換器は、コア復号器出力信号を、基準スピーカ配置とは異なる可能性があるスピーカ配置上での再生に適するように変換することができる。この配置は、目標スピーカ配置と呼ばれる。

【0020】

１つのプロセッサの出力信号が、非コヒーレント／無相関形式で後続のフォーマット変換器によって設定される特定の目標スピーカ配置に必要とされない場合、訂正相関の合成は知覚的に重要でない。したがって、これらのプロセッサについて、脱相関装置は省略されてもよい。しかしながら、一般的に、脱相関装置がオフにされるとき、混合器は完全に動作したままである。結果として、プロセッサ出力信号の出力チャネルは、たとえ脱相関装置がオフにされる場合であっても、生成される。

【0021】

この事例において、プロセッサ出力信号のチャネルはコヒーレント／相関であるが、同一ではないことに留意すべきである。これは、プロセッサ出力信号のチャネルがプロセッサの下流において互いに独立してさらなる処理がなされる場合があり、例えば、出力オーディオ信号のチャネルのレベルを設定するために、強度比及び／又は他の空間情報がフォーマット変換器によって使用され得ることを意味している。

【0022】

脱相関フィルタリングは相当の計算複雑度を必要とするが、提案の復号器デバイスにより、全体的な復号作業負荷を大きく低減することができる。

【0023】

脱相関装置、特にそれらの全域通過フィルタは、主観的な音声品質に及ぼす影響を最小限に抑えるように設計されるが、例えば位相の歪み又は特定の周波数成分の「リンギング（ringing）」に起因する過渡音の不鮮明さといった可聴アーティファクトが入ることを常に回避できるとはかぎらない。それゆえ、脱相関装置プロセスの副次的影響が省略されることにより、オーディオ音声品質の改善を達成することができる。

【0024】

この処理は、脱相関が適用される周波数帯域にのみ適用されるべきであることに留意されたい。残差コード化が使用される周波数帯域は影響を受けない。

【0025】

好ましい実施形態において、制御デバイスは、プロセッサ入力信号の入力チャネルが、処理されていない形式でプロセッサ出力信号の出力チャネルに供給されるように、少なくとも１つ又は複数のプロセッサを機能停止するように構成されている。この機能によって、同一でないチャネルの数を低減することができる。これは、目標スピーカ配置が、基準スピーカ配置のスピーカの数と比較して非常に少ない数のスピーカを含む場合に有利であり得る。

【0026】

有利な実施形態において、プロセッサは、１入力２出力の復号ツール（ＯＴＴ）であり、脱相関装置は、プロセッサ入力信号の少なくとも１つのチャネルを脱相関することによって脱相関信号を作成するように構成されており、混合器は、プロセッサ出力信号が２つの非コヒーレント出力チャネルから構成されるように、チャネルレベル差（ＣＬＤ）信号及び／又はチャネル間コヒーレンス（ＩＣＣ）信号に基づいてプロセッサ入力オーディオ信号及び脱相関信号を混合する。そのような１入力２出力の復号ツールは、チャネル対を有するプロセッサ出力信号を作成することを可能にし、この対のチャネルは、互いに対する訂正振幅及びコヒーレンスを容易にもつ。

【0027】

いくつかの実施形態において、制御デバイスは、脱相関オーディオ信号をゼロに設定することによって、又は、混合器が脱相関信号を混合してそれぞれのプロセッサのプロセッサ出力信号にするのを阻止することによって、１つのプロセッサの脱相関装置をオフにするように構成されている。いずれの方法によっても、脱相関装置を容易にオフにすることができる。

【0028】

好ましい実施形態において、コア復号器は、ＵＳＡＣ復号器のような、音楽及び発話の両方のための復号器であり、少なくとも１つのプロセッサのプロセッサ入力信号が、ＵＳＡＣチャネル対要素のようなチャネル対要素を含む。この場合、チャネル対要素の復号が現在の目標スピーカ配置にとって必要でない場合は、これを省略することができる。これにより、脱相関プロセス及びダウンミックスプロセスに由来する計算複雑度及びアーティファクトを大幅に低減することができる。

【0029】

いくつかの実施形態において、コア復号器は、ＳＡＯＣ復号器のような、パラメトリックオブジェクトコーダである。これにより、脱相関プロセス及びダウンミックスプロセスに由来する計算複雑度及びアーティファクトをさらに低減することができる。

【0030】

いくつかの実施形態において、基準スピーカ配置のスピーカの数は、目標スピーカ配置のスピーカの数よりも多い。この場合、フォーマット変換器は、コア復号器出力信号を出力オーディオ信号のオーディオにダウンミックスすることができ、また、出力チャネルの数はコア復号器出力信号の出力チャネルの数よりも少ない。

【0031】

ここで、ダウンミックスとは、目標スピーカ配置よりも多数のスピーカが、基準スピーカ配置に存在することを意味する。そのような場合、非コヒーレント信号の形態の１つ又は複数のプロセッサの出力チャネルは、必要とされないことが多い。そのようなプロセッサの脱相関装置がオフにされる場合、脱相関プロセス及びダウンミックスプロセスに由来する計算複雑度及びアーティファクトを大幅に低減することができる。

【0032】

いくつかの実施形態において、制御デバイスは、プロセッサ出力信号の上記出力チャネルのうちの少なくとも１つの第１の出力チャネル、及び、プロセッサ出力信号の上記出力チャネルのうちの１つの第２の出力チャネルが、プロセッサ出力信号の上記出力チャネルのうちの第１の出力チャネルを混合して出力オーディオ信号の共通のチャネルにするための第１のスケーリング係数が第１の閾値を超えること、かつ／又は、プロセッサ出力信号の上記出力チャネルのうちの第２の出力チャネルを混合して共通のチャネルにするための第２のスケーリング係数が第２の閾値を超えることを前提として、目標スピーカ配置に応じて、共通のチャネルに混合される場合、上記出力チャネルのうちの第１の出力チャネル及び上記出力チャネルのうちの第２の出力チャネルに対して脱相関装置をオフにするように構成されている。

【0033】

上記出力チャネルのうちの第１の出力チャネル及び上記出力チャネルのうちの第２の出力チャネルが出力オーディオ信号の共通のチャネルに混合される場合、コア復号器における脱相関は、第１の出力チャネル及び第２の出力チャネルについて省略されてもよい。これにより、脱相関プロセス及びダウンミックスプロセスに由来する計算複雑度及びアーティファクトを大幅に低減することができる。そして、不要な脱相関を回避することができる。

【0034】

さらに好ましい実施形態では、プロセッサ出力信号の上記第１の出力チャネルを混合するための第１のスケーリング係数を予期することができる。同じように、プロセッサ出力信号の上記第２の出力チャネルを混合するための第２のスケーリング係数を使用することができる。本明細書において、スケーリング係数は、元のチャネル（プロセッサ出力信号の出力チャネル）の信号強度と、混合されたチャネル（出力オーディオ信号の共通のチャネル）内の結果もたらされる信号の信号強度との間の比を表す、通常０〜１の数値である。スケーリング係数は、ダウンミックス行列に含まれ得る。第１のスケーリング係数に対する第１の閾値を使用することによって、及び／又は、第２のスケーリング係数に対する第２の閾値を使用することによって、第１の出力チャネルの少なくとも画定された部分及び／又は第２の出力チャネルの少なくとも画定された部分が共通のチャネルに混合される場合には、第１の出力チャネル及び第２の出力チャネルに対する脱相関のみがオフにされるようになっていてもよい。その一例として、閾値がゼロに設定されてもよい。

【0035】

好ましい実施形態において、制御デバイスは、フォーマット変換器から規則セットを受信するように構成されており、その規則セットに従って、フォーマット変換器は、目標スピーカ配置に応じてプロセッサ出力信号のチャネルを出力オーディオ信号のチャネルに混合する。すなわち、制御デバイスは、受信される規則セットに応じてプロセッサを制御するように構成されている。本明細書において、プロセッサの制御は、脱相関装置及び／又は混合器の制御を含み得る。この機能によって、制御デバイスがプロセッサを正確に制御することができる。

【0036】

規則セットにより、プロセッサの出力チャネルが後続のフォーマット変換ステップによって組み合わされるか否かの情報を、制御デバイスに提供することができる。制御デバイスが受信する規則は、概して、各復号器出力チャネルについての、フォーマット変換器によって使用される各オーディオ出力チャネルに対するスケーリング係数を規定するダウンミックス行列の形式内にある。次のステップにおいて、脱相関装置を制御するための制御規則は、ダウンミックス規則から制御デバイスが計算することができる。この制御規則は、いわゆる混合行列に含むことができる。混合行列は、目標スピーカ配置に応じて制御デバイスが生成することができる。そして、この制御規則は、脱相関装置及び／又は混合器を制御するために使用することができる。その結果、制御デバイスは、手作業を介することなく、複数の異なる目標スピーカ配置に適用され得る。

【0037】

好ましい実施形態において、制御デバイスは、コア復号器出力信号の非コヒーレントチャネルの数が目標スピーカ配置のスピーカの数に等しくなるように、コア復号器の脱相関装置を制御するように構成されている。この場合、脱相関プロセス及びダウンミックスプロセスに由来する計算複雑度及びアーティファクトを大幅に低減することができる。

【0038】

実施形態において、フォーマット変換器は、コア復号器出力信号をダウンミックスするためのダウンミキサを備える。そのダウンミキサは、出力オーディオ信号を直接的に生成することができる。しかしながら、いくつかの実施形態において、ダウンミキサは、フォーマット変換器の別の要素に接続されてもよく、その場合には、この別の要素が出力オーディオ信号を生成する。

【0039】

いくつかの実施形態において、フォーマット変換器は、バイノーラルレンダラを備える。バイノーラルレンダラは、通常、ステレオヘッドホンを用いて使用するのに適したステレオ信号へマルチチャネル信号を変換するために使用される。バイノーラルレンダラは、バイノーラルレンダラに供給される信号の各入力チャネルが仮想音源によって表わされるように、この信号のバイノーラルダウンミックスを生成する。この処理は、直交ミラーフィルタ（ＱＭＦ）ドメインにおいてフレームごとに行われ得る。バイノーラル化は、測定されるバイノーラル室内インパルス応答に基づくとともに、非常に高い計算複雑度をもたらす。計算複雑度は、バイノーラルレンダラに供給される信号の非コヒーレント／無相関チャネルの数と関係する。

【0040】

好ましい実施形態において、コア復号器出力信号は、バイノーラルレンダラ入力信号としてバイノーラルレンダラに供給される。この実施形態において、制御デバイスは、通常、コア復号器出力信号のチャネルの数がヘッドホンのスピーカの数よりも増加するように、コア復号器のプロセッサを制御するように構成されている。このことは、例えば、三次元オーディオ印象を生成するためにヘッドホンに供給されるステレオ信号の周波数特性を調整するチャネルに含まれる空間音声情報を、バイノーラルレンダラが使用することができるため、要求され得る。

【0041】

いくつかの実施形態において、ダウンミキサのダウンミキサ出力信号は、バイノーラルレンダラ入力信号としてバイノーラルレンダラに供給される。ダウンミキサの出力オーディオ信号がバイノーラルレンダラに供給される場合、その入力信号のチャネルの数は、コア復号器出力信号がバイノーラルレンダラに供給される事例よりも大幅に少なく、それによって、計算複雑度が低減する。

【0042】

さらに、圧縮入力オーディオ信号を復号するための方法であって、プロセッサ入力信号に基づいてプロセッサ出力信号を生成するための１つ又は複数のプロセッサを有する少なくとも１つのコア復号器を提供するステップであり、プロセッサ出力信号の出力チャネルの数は、プロセッサ入力信号の入力チャネルの数よりも多く、１つ又は複数のプロセッサの各々は脱相関装置及び混合器を備え、複数のチャネルを有するコア復号器出力信号は、プロセッサ出力信号を含み、コア復号器出力信号が基準スピーカ配置に適している、ステップと、コア復号器出力信号を、目標スピーカ配置に適している出力オーディオ信号に変換するように構成されている少なくとも１つのフォーマット変換器を提供するステップと、プロセッサの脱相関装置がプロセッサの混合器から独立して制御され得るように、少なくとも１つ又は複数のプロセッサを制御するように構成されている制御デバイスを提供するステップであり、制御デバイスは、目標スピーカ配置に応じて１つ又は複数のプロセッサの脱相関装置の少なくとも１つを制御するように構成されているステップと、を含む方法が提供される。

【0043】

その上、コンピュータ又は信号プロセッサ上で実行されるときに、上述した方法を実施するためのコンピュータプログラムが提供される。

【図面の簡単な説明】

【0044】

【図1】本発明による復号器の好ましい実施形態のブロック図である。

【図2】本発明による復号器の第２の実施形態のブロック図である。

【図3】脱相関装置がオンにされている、概念上のプロセッサのモデルを示す図である。

【図4】脱相関装置がオフにされている、概念上のプロセッサのモデルを示す図である。

【図5】フォーマット変換と復号との間の相互作用を示す図である。

【図6】５．１チャネル信号が生成される、本発明による復号器の実施形態の詳細のブロック図である。

【図7】５．１チャネルが２．０チャネル信号にダウンミックスされる、本発明による復号器の図６の実施形態の詳細のブロック図である。

【図8】５．１チャネル信号が４．０チャネル信号にダウンミックスされる、本発明による復号器の図６の実施形態の詳細のブロック図である。

【図9】９．１チャネル信号が生成される、本発明による復号器の実施形態の詳細のブロック図である。

【図10】９．１チャネル信号が４．０チャネル信号にダウンミックスされる、本発明による復号器の図９の実施形態の詳細のブロック図である。

【図11】３Ｄオーディオ符号化器の概念的な概観の概略ブロック図である。

【図12】３Ｄオーディオ復号器の概念的な概観の概略ブロック図である。

【図13】フォーマット変換器の概念的な概観の概略ブロック図である。

【発明を実施するための形態】

【0045】

以下において、本発明の実施形態を、図面を参照してより詳細に説明する。

【0046】

本発明の実施形態を説明する前に、現行の技術水準の符号化器−復号器システムに関するより多くの背景を提示する。

【0047】

図１１は、３Ｄオーディ符号化器１の概念的な概観の概略ブロック図であり、一方、図１２は、３Ｄオーディ復号器２の概念的な概観の概略ブロック図である。

【0048】

３Ｄオーディオコーデックシステム１、２は、符号化器３の出力オーディオ信号７の復号のためのＭＰＥＧ−Ｄ統合音声音響符号化（ＵＳＡＣ）復号器６に基づくだけでなく、チャネル信号４及びオブジェクト信号５のコード化のためのＭＰＥＧ−Ｄ統合音声音響符号化（ＵＳＡＣ）符号化器３に基づいてもよい。大量のオブジェクト５をコード化する効率を向上させるために、空間オーディオオブジェクトコード化（ＳＡＯＣ）技術が使用され得る。３つのタイプのレンダラ８、９、１０はそれぞれ、オブジェクト１１、１２をチャネル１３にレンダリングするタスク、チャネル１３をヘッドホンにレンダリングするタスク、又は、チャネルを異なるスピーカ配置にレンダリングするタスクを実施する。

【0049】

オブジェクト信号が明示的に送信された場合、又はＳＡＯＣを使用してパラメータ的に符号化された場合、対応するオブジェクトメタデータ（ＯＡＭ）１４情報が圧縮されて３Ｄオーディオビットストリーム７に多重化される。

【0050】

プリレンダラ／混合器１５は、チャネル及びオブジェクト入力シーン４、５をチャネルシーン４、１６に変換するために、符号化前に任意的に用いてもよい。プリレンダラ／混合器１５は、機能的に、後述するオブジェクトレンダラ／混合器１５と同一である。

【0051】

オブジェクト５のプリレンダリングは、符号化器３の入力における決定論的信号エントロピーを保証する。符号化器３の入力は、基本的に、同時にアクティブなオブジェクト信号５の数とは無関係である。オブジェクト５をプリレンダリングすることによって、オブジェクトメタデータ１４を送信する必要がなくなる。

【0052】

個別のオブジェクト信号５が、符号化器３が使用するように構成されているチャネルレイアウトにレンダリングされる。各チャネル１６についてのオブジェクト５の重みは、関連するオブジェクトメタデータ１４から得られる。

【0053】

スピーカチャネル信号４、個別のオブジェクト信号５、オブジェクトダウンミックス信号１４及びプリレンダリング済み信号１６のためのコアコーデックは、ＭＰＥＧ−Ｄ ＵＳＡＣ技術によるものであってもよい。ＭＰＥＧ−Ｄ ＵＳＡＣ技術は、入力のチャネル及びオブジェクト割り当ての幾何学的情報及び意味情報に基づいて、チャネル及びオブジェクトのマッピング情報を作成することによって、複数の信号４、５、１４のコード化を行なう。このマッピング情報は、入力チャネル４及びオブジェクト５が、ＵＳＡＣチャネル要素、すなわち、チャネル対要素（ＣＰＥ）、単一チャネル要素（ＳＣＥ）、低周波数増強（ＬＦＥ）に、どのようにマッピングされるかを描き、それに応じた情報が復号器６に送信される。

【0054】

ＳＡＯＣデータ１７やオブジェクトメタデータ１４のようなすべての追加ペイロードは、拡張要素を通じて通すことができ、符号化器３のレート制御において考慮することができる。

【0055】

オブジェクト５のコード化は、レンダラのレート／歪み要件及び対話性要件に応じて、様々な方法で行なうことができる。以下のオブジェクトコード化の変形例が可能である。

【0056】

− プリレンダリング済みオブジェクト１６：オブジェクト信号５は、符号化前に、プリレンダリングされ、例えば２２．２チャネル信号４などのチャネル信号４に混合される。後続のコード化チェーンは、２２．２チャネル信号４を読み取る。

【0057】

− 個別オブジェクト波形：オブジェクト５は、単音波形として符号化器３に供給される。符号化器３は、単一チャネル要素（ＳＣＥ）を使用して、チャネル信号４に加えてオブジェクト５を送信する。復号済みオブジェクト１８は受信機側においてレンダリング及び混合される。圧縮オブジェクトメタデータ情報１９、２０が、ともに受信機／レンダラ２１に送信される。

【0058】

− パラメトリックオブジェクト波形１７：ＳＡＯＣパラメータ２２、２３は、オブジェクト特性及びそれらの互いの関係を示す。オブジェクト信号１７のダウンミックスはＵＳＡＣを用いてコード化される。パラメトリック情報２２は並行して送信される。ダウンミックスチャネル１７の数は、オブジェクト５の数及び全体的なデータレートに応じて選択される。圧縮オブジェクトメタデータ情報２３が、ＳＡＯＣレンダラ２４に送信される。

【0059】

オブジェクト信号５用のＳＡＯＣ符号化器２５及び復号器２４は、ＭＰＥＧ ＳＡＯＣ技術に基づく。このシステムは、より少数の送信チャネル７や、オブジェクトレベル差（ＯＬＤ）、オブジェクト間コヒーレンス（ＩＯＣ）及びダウンミックス利得値（ＤＭＧ）のような追加のパラメータデータ２２、２３に基づいて、いくつかのオーディオオブジェクト５を再生成、修正及びレンダリングすることができる。追加のパラメータデータ２２、２３は、すべてのオブジェクト５を個々に送信するのに必要とされるよりも大幅に低いデータレートを呈し、コード化を非常に効率的にする。

【0060】

ＳＡＯＣ符号化器２５は、単音波形としてのオブジェクト／チャネル信号５を入力として取り込み、パラメトリック情報２２（３Ｄオーディオビットストリーム７内にパケット化される）とＳＡＯＣトランスポートチャネル１７（単一チャネル要素を使用して符号化され、送信される）を出力する。ＳＡＯＣ復号器２４は、復号済みＳＡＯＣトランスポートチャネル２６とパラメトリック情報２３からオブジェクト／チャネル信号５を再構築し、再生レイアウト、解凍されたオブジェクトメタデータ情報２０、任意ではあるがユーザ対話情報に基づいて、出力オーディオシーン２７を生成する。

【0061】

各オブジェクト５について、３Ｄ空間におけるオブジェクトの幾何学的位置及び体積を指定する関連するメタデータ１４が、オブジェクトメタデータ符号化器２８によって、時間及び空間におけるオブジェクト特性の量子化によって効率的にコード化される。圧縮オブジェクトメタデータ（ｃＯＡＭ）１９が、ＯＡＭ復号器２９によって復号することができるサイド情報２０として受信機に送信される。

【0062】

オブジェクトレンダラ２１は、与えられた再生フォーマットに従ってオブジェクト波形１２を生成するために、圧縮オブジェクトメタデータ２０を利用する。各オブジェクト５は、そのメタデータ１９、２０に従って、特定の出力チャネル１２にレンダリングされる。このブロック２１の出力は、部分的な結果の合計からもたらされる。チャネルベースの内容１１、３０及び個別／パラメータオブジェクト１２、２７の両方が復号される場合、チャネルベースの波形１１、３０及びレンダリング済みオブジェクト波形１２、２７が混合され、その後、結果としての波形１３が混合器８によって出力される（又はその後、それらが、バイノーラルレンダラ９もしくはスピーカレンダラモジュール１０のような後処理モジュール９、１０に供給される）。

【0063】

バイノーラルレンダラモジュール９は、各入力チャネル１３が仮想音源によって表わされるように、マルチチャネルオーディオ材料１３のバイノーラルダウンミックスを生成する。この処理は、直交ミラーフィルタ（ＱＭＦ）ドメインにおいてフレームごとに行われる。バイノーラル化は、測定されるバイノーラル室内インパルス応答に基づく。

【0064】

図１３により詳細に示すスピーカレンダラ１０は、送信されるチャネル構成１３と所望の再生フォーマット３１との間で変換する。したがって、以下において、スピーカレンダラ１０を「フォーマット変換器」１０と称する。フォーマット変換器１０は、より少数の出力チャネル３１への変換を行なう。すなわち、フォーマット変換器１０は、ダウンミキサ３２によってダウンミックスを作成する。ＤＭＸコンフィギュレータ３３は、入力フォーマット１３及び出力フォーマット３１の与えられた組み合わせに対して最適化されたダウンミックス行列を自動的に生成し、これらの行列を、混合器出力レイアウト３４及び再生レイアウト３５が使用されるダウンミックスプロセス３２に適用する。フォーマット変換器１０は、標準的なスピーカ構成だけでなく、スピーカ位置が非標準的なランダム構成を可能にする。

【0065】

図１は、本発明による復号器２の好ましい実施形態のブロック図である。

【0066】

圧縮入力オーディオ信号３８、３８'を復号するためのオーディオ復号器デバイス２は、プロセッサ入力信号３８、３８'に基づいてプロセッサ出力信号３７、３７'を生成するための１つ又は複数のプロセッサ３６、３６'を有する少なくとも１つのコア復号器６を備えている。プロセッサ出力信号３７、３７'の出力チャネル３７．１、３７．２、３７．１'、３７．２'の数は、プロセッサ入力信号３８、３８'の入力チャネル３８．１、３８．１'の数よりも多い。１つ又は複数のプロセッサ３６、３６'の各々は、脱相関装置３９、３９'及び混合器４０、４０'を備えている。複数のチャネル１３．１、１３．２、１３．３、１３．４を有するコア復号器出力信号１３は、プロセッサ出力信号３７、３７'を含む。コア復号器出力信号１３は基準スピーカ配置４２に適したものである。

【0067】

さらに、オーディオ復号器デバイス２は、少なくとも１つのフォーマット変換器デバイス９、１０を備えている。フォーマット変換器デバイス９、１０は、コア復号器出力信号１３を目標スピーカ配置４５に適した出力オーディオ信号３１に変換するように構成されている。

【0068】

さらに、オーディオ復号器デバイス２は制御デバイス４６を備えている。制御デバイス４６は、プロセッサ３６、３６'の脱相関装置３９、３９'がプロセッサ３６、３６'の混合器４０、４０'から独立して制御され得るように、少なくとも１つ又は複数のプロセッサ３６、３６'を制御するように構成されている。制御デバイス４６は、目標スピーカ配置に応じて１つ又は複数のプロセッサ３６、３６'の脱相関装置３９、３９'の少なくとも１つを制御するように構成されている。

【0069】

プロセッサ３６、３６'の目的は、プロセッサ出力信号３７、３７'を作成することである。プロセッサ出力信号３７、３７'は、プロセッサ入力信号３８の入力チャネル３８．１、３８．１'の数よりも多数の非コヒーレント／無相関チャネル３７．１、３７．２、３７．１'、３７．２'を有するものである。より詳細には、プロセッサ３６、３６'の各々が、より少数の入力チャネル３８．１、３８．１'を有するプロセッサ入力信号３８、３８'からの訂正空間手掛かりを用いて、複数の非コヒーレント／無相関出力チャネル３７．１、３７．２、３７．１'、３７．２'を有するプロセッサ出力信号３７を生成することができる。

【0070】

図１に示す実施形態において、第１のプロセッサ３６は、モノラル入力信号３８から生成される２つの出力チャネル３７．１、３７．２を有し、第２のプロセッサ３６'は、モノラル入力信号３８'から生成される２つの出力チャネル３７．１'、３７．２'を有する。

【0071】

フォーマット変換器デバイス９、１０は、コア復号器出力信号１３を、基準スピーカ配置４２とは異なる可能性があるスピーカ配置４５上での再生に適するように変換することができる。この配置は、目標スピーカ配置４５と呼ばれる。

【0072】

図１の実施形態において、基準スピーカ配置４２は、左正面スピーカ（Ｌ）、右正面スピーカ（Ｒ）、左サラウンドスピーカ（ＬＳ）及び右サラウンドスピーカ（ＲＳ）を備える。さらに、目標スピーカ配置４２は、左正面スピーカ（Ｌ）、右正面スピーカ（Ｒ）及び中央サラウンドスピーカ（ＣＳ）を備える。

【0073】

１つのプロセッサ３６、３６'の出力信号３７．１、３７．２、３７．１'、３７．２'が、非コヒーレント／無相関形式で後続のフォーマット変換器デバイス９、１０によって特定の目標スピーカ配置４５に必要とされない場合、訂正相関の合成は知覚的に重要でない。したがって、これらのプロセッサ３６、３６'について、脱相関装置３９、３９'は省略されてもよい。しかしながら、通常、脱相関装置がオフにされるとき、混合器４０、４０'は完全に動作したままである。結果として、脱相関装置３９、３９'がオフにされたときでも、プロセッサ出力信号の出力チャネル３７．１、３７．２、３７．１'、３７．２'は生成される。

【0074】

この事例において、プロセッサ出力信号３７、３７'のチャネル３７．１、３７．２、３７．１'、３７．２'はコヒーレント／相関であるが、同一でないことに留意しなければならない。これは、プロセッサ出力信号３７、３７'のチャネル３７．１、３７．２、３７．１'、３７．２'がプロセッサ３６、３６'の下流で互いに独立してさらに処理される場合があり、例えば、出力オーディオ信号３１のチャネル３１．１、３１．２、３１．３のレベルを設定するために、強度比及び／又は他の空間情報がフォーマット変換器デバイス９、１０によって使用され得ることを意味している。

【0075】

脱相関フィルタリングは相当の計算複雑度を必要とするところ、提案の復号器デバイス２により、全体的な復号作業負荷を大きく低減することができる。

【0076】

脱相関装置３９、３９'、特にそれらの全域通過フィルタは、主観的な音声品質に及ぼす影響を最小限に抑えるように設計されるが、例えば、位相歪み又は特定の周波数成分の「リンギング」に起因する過渡音の不鮮明さといった可聴アーティファクトが導入されることを常に回避できるわけではない。それゆえ、脱相関装置プロセスが省略される副次的影響として、オーディオ音声品質の改善を達成することができる。

【0077】

この処理は、脱相関が適用される周波数帯域にのみ適用されるべきことに留意されたい。残差コード化が使用される周波数帯域は影響を受けない。

【0078】

好ましい実施形態において、プロセッサ入力信号３８の入力チャネル３８．１、３８．１'が処理されていない形式でプロセッサ出力信号３７、３７'の出力チャネル３７．１、３７．２、３７．１'、３７．２'に供給されるように、制御デバイス４６は、少なくとも１つ又は複数のプロセッサ３６、３６'を機能停止するように構成されている。この機能によって、同一でないチャネルの数を低減することができる。これは、目標スピーカ配置４５が、基準スピーカ配置４２のスピーカの数と比較して非常に少ない数のスピーカを有する場合に有利である。

【0079】

好ましい実施形態において、コア復号器６は、ＵＳＡＣ復号器６のような、音楽及び発話の両方のための復号器６であり、少なくとも１つのプロセッサのプロセッサ入力信号３８、３８'が、ＵＳＡＣチャネル対要素のようなチャネル対要素を含む。この形態において、チャネル対要素の復号が現在の目標スピーカ配置４５にとって必要でない場合は、これを省略することができる。このように、脱相関プロセス及びダウンミックスプロセスに由来する計算複雑度及びアーティファクトを大幅に低減することができる。

【0080】

いくつかの実施形態において、コア復号器は、ＳＡＯＣ復号器２４のような、パラメトリックオブジェクトコーダ２４である。これにより、脱相関プロセス及びダウンミックスプロセスに由来する計算複雑度及びアーティファクトをさらに低減することができる。

【0081】

いくつかの実施形態において、基準スピーカ配置４２のスピーカの数は、目標スピーカ配置４５のスピーカの数よりも多い。この形態では、フォーマット変換器デバイス９、１０は、コア復号器出力信号１３を出力オーディオ信号３１のオーディオにダウンミックスすることができる。また、この形態では、出力チャネル３１．１、３１．２、３１．３の数は、コア復号器出力信号１３の出力チャネル１３．１、１３．２、１３．３、１３．４の数よりも少ない。

【0082】

ここで、ダウンミックスとは、目標スピーカ配置４５におけるよりも多数のスピーカが、基準スピーカ配置４２内に存在する事例を表す。そのような事例において、非コヒーレント信号の形態の１つ又は複数のプロセッサ３６、３６'の出力チャネル３７．１、３７．２、３７．１'、３７．２'は、必要とされないことが多い。図１においては、コア復号器出力信号１３の４つの復号器出力チャネル１３．１、１３．２、１３．３、１３．４が存在するが、オーディオ出力信号３１の出力チャネル３１．１、３１．２、３１．３は３つのみである。そのようなプロセッサ３６、３６'の脱相関装置３９、３９'がオフにされることにより、脱相関プロセス及びダウンミックスプロセスに由来する計算複雑度及びアーティファクトが大幅に低減される。

【0083】

下記に説明する理由から、非コヒーレント信号の形態の図１における復号器出力チャネル１３．３及び１３．４は必要とされない。それゆえ、脱相関装置３９'は制御デバイス４６によってオフにされ、一方、脱相関装置３９及び混合器４０、４０'はオンにされる。

【0084】

いくつかの実施形態において、制御デバイス４６は、プロセッサ出力信号３７、３７'の上記出力チャネルのうちの少なくとも１つの第１の出力チャネル３７．１'、及び、プロセッサ出力信号３７、３７'の上記出力チャネルのうちの１つの第２の出力チャネル３７．２、３７．２'が、プロセッサ出力信号３７'の上記出力チャネルのうちの第１の出力チャネル３７．１'を混合して出力オーディオ信号３１の共通のチャネル３１．３にするための第１のスケーリング係数が第１の閾値を超えること、かつ／又は、プロセッサ出力信号３７'の上記出力チャネルのうちの第２の出力チャネル３７．２'を混合して共通のチャネル３１．３にするための第２のスケーリング係数が第２の閾値を超えることを前提として、目標スピーカ配置４５に応じて、共通のチャネル３１．３に混合される場合、上記出力チャネル３７、３７'のうちの第１の出力チャネル３７．１'及び上記出力チャネル３７、３７'のうちの第２の出力チャネル３７．２、３７．２'に対して脱相関装置３９'をオフにするように構成されている。

【0085】

図１において、復号器出力チャネル１３．３及び１３．４は、出力オーディオ信号３１の共通のチャネル３１．３において混合される。第１のスケーリング係数及び第２のスケーリング係数は０．７０７１であってもよい。この実施形態における第１の閾値及び第２の閾値がゼロに設定されると、それらの脱相関装置３９'はオフにされる。

【0086】

上記出力チャネルのうちの第１の出力チャネル３７．１'及び上記出力チャネルのうちの第２の出力チャネル３７．２'が出力オーディオ信号３１の共通のチャネル３１．３に混合される場合、コア復号器６における脱相関は、第１の出力チャネル３７．１'及び第２の出力チャネル３７．２'について省略されてもよい。これにより、脱相関プロセス及びダウンミックスプロセスに由来する計算複雑度及びアーティファクトを大幅に低減することができる。これにより、不要な脱相関を回避することができる。

【0087】

さらなる実施形態では、プロセッサ出力信号３７'の上記第１の出力チャネル３７．１'を混合するための第１のスケーリング係数を予期することができる。同じように、プロセッサ出力信号３７'の上記第２の出力チャネル３７．２'を混合するための第２のスケーリング係数を使用することができる。本明細書において、スケーリング係数は、元のチャネル（プロセッサ出力信号３７'の出力チャネル３７．１'、３７．２'）の信号強度と、混合チャネル（出力オーディオ信号３１の共通のチャネル３１．１）内の結果もたらされる信号の信号強度との間の比を表す、通常０〜１の数値である。スケーリング係数は、ダウンミックス行列に含まれ得る。第１のスケーリング係数に対する第１の閾値を使用することによって、及び／又は、第２のスケーリング係数に対する第１の閾値を使用することによって、第１の出力チャネル３７．１'の少なくとも画定された部分及び／又は第２の出力チャネル３７．２'の少なくとも画定された部分が共通のチャネル３１．３に混合される場合、第１の出力チャネル３７．１'及び第２の出力チャネル３７．２'に対する脱相関のみがオフにされることを保証することができる。一例として、閾値はゼロに設定されてもよい。

【0088】

図１の実施形態において、復号器出力チャネル１３．３及び１３．４は、出力オーディオ信号３１の共通のチャネル３１．３において混合される。第１のスケーリング係数及び第２のスケーリング係数は０．７０７１であってもよい。この実施形態におおける第１の閾値及び第２の閾値がゼロに設定されると、それらの脱相関装置３９'はオフにされる。

【0089】

好ましい実施形態において、制御デバイス４６は、フォーマット変換器デバイス９、１０から規則セット４７を受信するように構成されている。フォーマット変換器９、１０は、その規則セットに従って、目標スピーカ配置４５に応じてプロセッサ出力信号３７、３７'のチャネル３７．１、３７．２、３７．１'、３７．２'を出力オーディオ信号３１のチャネル３１．１、３１．２、３１．３に混合する。制御デバイス４６は、受信される規則セット４７に応じてプロセッサ３６、３６'を制御するように構成されている。本明細書において、プロセッサ３６、３６'の制御は、脱相関装置３９、３９'及び／又は混合器４０、４０'の制御を含んでいてもよい。この機能により、制御デバイス４６がプロセッサ３６、３６'を正確に制御することができる。

【0090】

規則セット４７によって、プロセッサ３６、３６'の出力チャネルが後続のフォーマット変換ステップによって組み合わされるか否かの情報を、制御デバイス９、１０に提供することができる。制御デバイス４６が受信する規則は、概して、各コア復号器出力チャネル１３．１、１３．２、１３．３、１３．４についての、フォーマット変換器デバイス９、１０によって使用される各オーディオ出力チャネル３１．１、３１．２、３１．３に対するスケーリング係数を規定するダウンミックス行列の形態にある。次のステップにおいて、脱相関装置を制御するための制御規則が、制御デバイスによってダウンミックス規則から計算される。この制御規則は、いわゆる混合行列に含まれ得る。混合行列は、制御デバイス４６によって目標スピーカ配置４５に応じて生成することができる。そして、この制御規則は、脱相関装置３９、３９'及び／又は混合器４０、４０'を制御するために使用することができる。結果として、制御デバイス４６は、手作業を介することなく、複数の異なる目標スピーカ配置４５に適用され得る。

【0091】

図１において、規則セット４７は、復号器出力チャネル１３．３及び１３．４が、出力オーディオ信号３１の共通のチャネル３１．３において混合されるという情報を含むことができる。これは、図１の実施形態においては、基準スピーカ配置４２の左サラウンドスピーカ及び右サラウンドスピーカが、目標スピーカ配置４５における中央サラウンドスピーカに置き換えられるというように行うことができる。

【0092】

好ましい実施形態において、制御デバイス４６は、コア復号器出力信号１３の非コヒーレントチャネルの数が目標スピーカ配置４５のスピーカの数に等しくなるように、コア復号器６の脱相関装置３９、３９'を制御するように構成されている。この形態により、脱相関プロセス及びダウンミックスプロセスに由来する計算複雑度及びアーティファクトを大幅に低減することができる。

【0093】

例えば、図１において、３つの非コヒーレントチャネルが存在し、第１の非コヒーレントチャネルは復号器出力チャネル１３．１であり、第２の非コヒーレントチャネルは復号器出力チャネル１３．２であり、復号器出力チャネル１３．３及び１３．４は脱相関装置３９'が省略されていることに起因してコヒーレントであるため、第３の非コヒーレントチャネルは復号器出力チャネル１３．３及び１３．４の各々である。

【0094】

図１の実施形態のような実施形態において、フォーマット変換器デバイス９、１０は、コア復号器出力信号１３をダウンミックスするためのダウンミキサ１０を備える。ダウンミキサ１０は、図１に示すように出力オーディオ信号３１を直接生成することができる。しかしながら、いくつかの実施形態において、ダウンミキサ１０は、バイノーラルレンダラ９のようなフォーマット変換器１０の別の要素に接続されてもよく、その場合、その別の要素が出力オーディオ信号３１を生成する。

【0095】

図２は、本発明による復号器の第２の実施形態のブロック図を示す。以下においては、第１の実施形態との差のみを説明する。図２において、フォーマット変換器９、１０は、バイノーラルレンダラ９を備える。バイノーラルレンダラ９は、通常、ステレオヘッドホンを用いて使用するのに適したステレオ信号にマルチチャネル信号を変換するために使用される。バイノーラルレンダラ９は、バイノーラルレンダラに供給されるマルチチャネル信号の各入力チャネルが仮想音源によって表わされるように、この信号のバイノーラルダウンミックスＬＢ及びＲＢを生成する。マルチチャネル信号は、最大３２チャネル又はそれ以上のチャネルを有することができる。しかしながら、図２においては、事例を単純化するために４つのチャネル信号が示されている。この処理は、直交ミラーフィルタ（ＱＭＦ）ドメインにおいてフレームごとに行われ得る。バイノーラル化は、測定されるバイノーラル室内インパルス応答に基づくとともに、非常に高い計算複雑度をもたらす。計算複雑度は、バイノーラルレンダラに供給される信号の非コヒーレント／無相関チャネルの数と関係する。計算複雑度を低減するために、脱相関装置３９、３９'の少なくとも１つがオフにされ得る。

【0096】

図２の実施形態において、コア復号器出力信号１３は、バイノーラルレンダラ入力信号１３としてバイノーラルレンダラ９に供給される。この実施形態において、制御デバイス４６は通常、コア復号器出力信号１３のチャネル１３．１、１３．２、１３．３、１３．４の数がヘッドホンのスピーカの数よりも多くなるように、コア復号器６のプロセッサを制御するように構成されている。このことは、例えば、三次元オーディオ印象を生成するためにヘッドホンに供給されるステレオ信号の周波数特性を調整するチャネルに含まれる空間音声情報を、バイノーラルレンダラ９が使用することができるため、要求され得る。

【0097】

図示されていない実施形態において、ダウンミキサ１０のダウンミキサ出力信号は、バイノーラルレンダラ入力信号としてバイノーラルレンダラ９に供給される。ダウンミキサ１０の出力オーディオ信号がバイノーラルレンダラ９に供給される場合、その入力信号のチャネルの数は、コア復号器出力信号１３がバイノーラルレンダラ９に供給される事例よりも大幅に少なく、それによって、計算複雑度が低減する。

【0098】

有利な実施形態において、プロセッサ３６は、図３及び図４に示すような１入力２出力の復号ツール（ＯＴＴ）３６である。

【0099】

図３に示すように、脱相関装置３９は、プロセッサ入力信号３８の少なくとも１つのチャネル３８．１を脱相関することによって脱相関信号４８を作成するように構成されている。混合器４０は、プロセッサ出力信号３７が２つの非コヒーレント出力チャネル３７．１、３７．２から構成されるように、チャネルレベル差（ＣＬＤ）信号４９及び／又はチャネル間コヒーレンス（ＩＣＣ）信号５０に基づいてプロセッサ入力オーディオ信号４８と脱相関信号４８を混合する。

【0100】

そのような１入力２出力の復号ツール３６は、チャネル対３７．１、３７．２を有するプロセッサ出力信号３７を作成することを可能にし、この対のチャネルは、容易に互いに対する訂正振幅及びコヒーレンスを有する。一般的に、脱相関装置（脱相関フィルタ）は、周波数依存プリディレイ、及び、それに後続する全域通過（ＩＩＲ）部分から構成される。

【0101】

いくつかの実施形態において、制御デバイスは、脱相関オーディオ信号４８をゼロに設定することによって、又は、混合器が脱相関信号４８を混合してそれぞれのプロセッサ３６のプロセッサ出力信号３７にするのを阻止することによって、１つのプロセッサ３６の脱相関装置３９をオフにするように構成されている。両方の方法は、脱相関装置３９をオフにすることを容易にする。

【0102】

いくつかの実施形態は、「ＩＳＯ／ＩＥＣ ＩＳ ２３００３−３統合音声音響符号化」に基づくマルチチャネル復号器２向けに規定され得る。

【0103】

マルチチャネルコード化のために、ＵＳＡＣは複数の異なるチャネル要素から構成される。５．１オーディオチャネルの一例を下記に与える。

【0104】

【0105】

各ステレオ要素ID_USAC_CPEは、ＯＴＴ３６によるモノラルからステレオへのアップミックス用のＭＰＥＧサラウンドを使用するように構成することができる。下記に説明するように、各要素は、モノラル入力信号をそのモノラル入力信号が供給される脱相関装置３９の出力と混合することにより、訂正空間手掛かりを用いて２つの出力チャネル３７．１、３７．２を生成する［２］［３］。

【0106】

重要な構成ブロックは、脱相関装置３９である。脱相関装置３９は、出力チャネル３７．１、３７．２の訂正コヒーレンス／相関を合成するのに使用される。概して、脱相関フィルタは、周波数依存プリディレイ、及び、それに後続する全域通過（ＩＩＲ）部分から構成される。

【0107】

１つのＯＴＴ復号ブロック３６の出力チャネル３７．１、３７．２が後続のフォーマット変換ステップによってダウンミックスされる場合、訂正相関の合成は知覚的に重要でなくなる。したがって、これらのアップミックスブロックについて、脱相関装置３９は省略することができる。これは、以下のように達成することができる。

【0108】

フォーマット変換９、１０と復号との間の相互作用は、図５に示すように確立され得る。ＯＴＴ復号ブロック３６の出力チャネルが後続のフォーマット変換ステップ９、１０によってダウンミックスされるか否かの情報が生成される。この情報は、行列計算器４６によって生成されるとともに、ＵＳＡＣ復号器６にわたされる、いわゆる混合行列に含まれる。行列計算器によって処理される情報は、一般的に、フォーマット変換モジュール９、１０によって提供されるダウンミックス行列である。

【0109】

フォーマット変換処理ブロック９、１０は、オーディオデータを、基準スピーカ配置４２とは異なる可能性があるスピーカ配置４５上での再生に適するように変換する。この配置は、目標スピーカ配置４５と呼ばれる。

【0110】

ダウンミックスとは、基準スピーカ配置４２に存在するよりも少数のスピーカが、目標スピーカ配置４５において使用されることを意味する。

【0111】

図６にコア復号器６が示されている。コア復号器６は、左正面スピーカチャネルＬ、右正面スピーカチャネルＲ、左サラウンドスピーカチャネルＬＳ、右サラウンドスピーカチャネルＲＳ、中央正面スピーカチャネルＣ及び低周波数増強スピーカチャネルＬＦＥを含む５．１基準スピーカ配置４２に適した出力チャネル１３．１〜１３．６を含むコア復号器出力信号を供給する。出力チャネル１３．１及び１３．２は、プロセッサ３６の脱相関装置３９がオンにされるときに、脱相関チャネル１３．１及び１３．２としてプロセッサ３６に供給されるチャネル対要素（ID_USAC_CPE）に基づいて、プロセッサ３６により作成される。

【0112】

左正面スピーカチャネルＬ、右正面スピーカチャネルＲ、左サラウンドスピーカチャネルＬＳ、右サラウンドスピーカチャネルＲＳ及び中央正面スピーカチャネルＣは主要チャネルである。一方、低周波数増強スピーカチャネルＬＦＥは任意である。

【0113】

同じように、出力チャネル１３．３及び１３．４は、プロセッサ３６'の脱相関装置３９'がオンにされるときに、チャネル対要素（ID_USAC_CPE）に基づいて、プロセッサ３６'により作成される。チャネル対要素（ID_USAC_CPE）は、脱相関チャネル１３．３及び１３．４としてプロセッサ３６'に供給される。

【0114】

出力チャネル１３．５は単一チャネル要素（ID_USAC_SCE）に基づく。一方で、出力チャネル１３．６は低周波数増強要素ID_USAC_LFEに基づく。

【0115】

６つの適切なスピーカが利用可能である場合、コア復号器出力信号１３は、いかなるダウンミックスもなしに再生するために使用することができる。しかしながら、ステレオスピーカセットしか利用可能でない場合、コア復号器出力信号１３はダウンミックスされる。

【0116】

一般的に、ダウンミックス処理は、各ソースチャネルの、各目標チャネルへのスケーリング係数を定義するダウンミックス行列によって表すことができる。

【0117】

例えば、ＩＴＵ ＢＳ７７５は、５．１主要チャネルをステレオにダウンミックスするための以下のダウンミックス行列を定義している。そのダウンミックス行列は、チャネルＬ、Ｒ、Ｃ、ＬＳ及びＲＳをステレオチャネルＬ'及びＲ'にマッピングする。

【0118】

ダウンミックス行列はｍ×ｎ次元を有し、ｎはソースチャネルの数であり、ｍは宛先チャネルの数である。

【0119】

ダウンミックス行列Ｍ_DMXから、いわゆる混合行列Ｍ_Mixが行列計算器処理ブロックにおいて差し引かれる。混合行列は、いずれのソースチャネルが組み合わされているかを表す。混合行列は、ｎ×ｎ次元を有する。

【0120】

Ｍ_Mixは対称行列であることに留意されたい。

【0121】

５つのチャネルをステレオにダウンミックスする上記の例について、混合行列Ｍ_Mixは以下の通りである。

【0122】

混合行列を得るための方法は、以下の疑似コードによって与えられる。

【0123】

一例として、閾値ｔｈｒはゼロに設定されてもよい。

【0124】

各ＯＴＴ復号ブロックは、チャネル番号ｉ及びｊに対応する２つの出力チャネルをもたらす。混合行列Ｍ_Mix（ｉ，ｊ）が１に等しい場合、脱相関はこの復号ブロックについてオフにされる。

【0125】

脱相関装置３９を省略するために、要素ｑ^l,mはゼロに設定される。代替的に、脱相関経路は下記に示すように省略されてもよい。

【0126】

この結果として、アップミックス行列

の要素

がそれぞれゼロに設定されるか、又は省略されることになる。（詳細については参考文献［２］の「６．５．３．２ Ｄｅｒｉｖａｔｉｏｎ ｏｆ ａｒｂｉｔｒａｒｙ ｍａｔｒｉｘ ｅｌｅｍｅｎｔ」を参照されたい）。

【0127】

別の好ましい実施形態において、アップミックス行列

の要素

は、ＩＣＣ^l,m＝１を設定することによって計算されるものとする。

【0128】

図７は、主要チャネルＬ、Ｒ、ＬＳ、ＬＲ、及びＣの、ステレオチャネルＬ'及びＲ'へのダウンミックスを示す。プロセッサ３６によって作成されるチャネルＬ及びＲは出力オーディオ信号３１の共通のチャネルにおいて混合されないため、プロセッサ３６の脱相関装置３９はオンにされたままである。同じように、プロセッサ３６'によって作成されるチャネルＬＳ及びＲＳは、出力オーディオ信号３１の共通のチャネルにおいて混合されないため、プロセッサ３６'の脱相関装置３９'はオンにされたままである。任意ではあるが、低周波数増強スピーカチャネルＬＦＥが使用されてもよい。

【0129】

図８は、図６に示す５．１基準スピーカ配置４２の、４．０目標スピーカ配置４５へのダウンミックスを示す。プロセッサ３６によって作成されるチャネルＬ及びＲは出力オーディオ信号３１の共通のチャネルにおいて混合されないため、プロセッサ３６の脱相関装置３９はオンにされたままである。一方、プロセッサ３６'によって作成されるチャネル１３．３（図６においてはＬＳ）及び１３．４（図６においてはＲＳ）は、中央サラウンドスピーカチャネルＣＳを形成するために、出力オーディオ信号３１の共通のチャネル３１．３において混合される。それゆえ、プロセッサ３６'の脱相関装置３９'はオフにされ、それによって、チャネル１３．３は中央サラウンドスピーカチャネルＣＳ'となり、チャネル１３．４は中央サラウンドスピーカチャネルＣＳ''となる。そうすることによって、修正基準スピーカ配置４２'が生成される。チャネルＣＳ'及びＣＳ''は相関しているが、同一ではないことに留意されたい。

【0130】

完全を期すために、チャネル１３．５（Ｃ）及び１３．６（ＬＦＥ）は、中央正面スピーカチャネルＣを形成するために出力オーディオ信号３１の共通のチャネル３１．４において混合されることを付け加えておかなければならない。

【0131】

図９において、コア復号器６が示されている。コア復号器６は、左正面スピーカチャネルＬ、左正面中央スピーカチャネルＬＣ、左サラウンドスピーカチャネルＬＳ、左サラウンド垂直高後方ＬＶＲ、右正面スピーカチャネルＲ、右サラウンドスピーカチャネルＲＳ、右正面中央スピーカチャネルＲＣ、左サラウンド垂直高後方ＲＶＲ、中央正面スピーカチャネルＣ及び低周波数増強スピーカチャネルＬＦＥを含む９．１基準スピーカ配置４２に適した出力チャネル１３．１〜１３．１０を含むコア復号器出力信号１３を供給する。

【0132】

出力チャネル１３．１及び１３．２は、プロセッサ３６の脱相関装置３９がオンにされたときに、チャネル対要素（ID_USAC_CPE）に基づいて、プロセッサ３６により作成される。チャネル対要素（ID_USAC_CPE）は、脱相関チャネル１３．１及び１３．２としてプロセッサ３６に供給される。

【0133】

同様に、出力チャネル１３．３及び１３．４は、プロセッサ３６'の脱相関装置３９'がオンにされたときに、チャネル対要素（ID_USAC_CPE）に基づいて、プロセッサ３６'により作成される。チャネル対要素（ID_USAC_CPE）は、脱相関チャネル１３．３及び１３．４としてプロセッサ３６'に供給される。

【0134】

さらに、出力チャネル１３．５及び１３．６は、プロセッサ３６''の脱相関装置３９''がオンにされたときに、チャネル対要素（ID_USAC_CPE）に基づいて、プロセッサ３６''により作成される。チャネル対要素（ID_USAC_CPE）は、脱相関チャネル１３．５及び１３．６としてプロセッサ３６''に供給される。

【0135】

さらに、出力チャネル１３．７及び１３．８は、プロセッサ３６'''の脱相関装置３９'''がオンにされるときに、チャネル対要素（ID_USAC_CPE）に基づいて、プロセッサ３６'''により作成される。チャネル対要素（ID_USAC_CPE）は、脱相関チャネル１３．７及び１３．８としてプロセッサ３６'''に供給される。

【0136】

出力チャネル１３．９は、単一チャネル要素（ID_USAC_SCE）に基づく。一方で、出力チャネル１３．１０は低周波数増強要素ID_USAC_LFEに基づく。

【0137】

図１０は、図９に示す９．１基準スピーカ配置４２の、５．１目標スピーカ配置４５へのダウンミックスを示す。プロセッサ３６によって作成されるチャネル１３．１及び１３．２は、左正面スピーカチャネルＬ'を形成するために出力オーディオ信号３１の共通のチャネル３１．１において混合される。そのため、プロセッサ３６の脱相関装置３９はオフにされ、それによって、チャネル１３．１は左正面スピーカチャネルＬ'になり、チャネル１３．２は左正面スピーカチャネルＬ''になる。

【0138】

さらに、プロセッサ３６'によって作成されるチャネル１３．３及び１３．４は、左サラウンドスピーカチャネルＬＳを形成するために、出力オーディオ信号３１の共通のチャネル３１．２において混合される。そのため、プロセッサ３６'の脱相関装置３９'はオフにされ、それによって、チャネル１３．３は左サラウンドスピーカチャネルＬＳ'となり、チャネル１３．４は左サラウンドスピーカチャネルＬＳ''となる。

【0139】

プロセッサ３６''によって作成されるチャネル１３．５及び１３．６は、右正面スピーカチャネルＬを形成するために出力オーディオ信号３１の共通のチャネル３１．３において混合される。そのため、プロセッサ３６''の脱相関装置３９''はオフにされ、それによって、チャネル１３．５は右正面スピーカチャネルＲ'になり、チャネル１３．２は右正面スピーカチャネルＲ''になる。

【0140】

その上、プロセッサ３６'''によって作成されるチャネル１３．７及び１３．８は、右サラウンドスピーカチャネルＲＳを形成するために、出力オーディオ信号３１の共通のチャネル３１．４において混合される。そのため、プロセッサ３６'''の脱相関装置３９'''はオフにされ、それによって、チャネル１３．７は右サラウンドスピーカチャネルＲＳ'となり、チャネル１３．８は右サラウンドスピーカチャネルＲＳ''となる。

【0141】

そうすることによって、修正基準スピーカ配置４２'が生成され、コア復号器出力信号１３の非コヒーレントチャネルの数は、目標配置４５のスピーカチャネルの数に等しくなる。

【0142】

この処理は、脱相関が適用される周波数帯域にのみ適用されるべきことに留意しなければならない。残差コード化が使用される周波数帯域は影響を受けない。

【0143】

既述のように、本発明はバイノーラルレンダリングに適用可能である。バイノーラル再生は一般的に、ヘッドホン及び／又はモバイルデバイスにおいて行われる。ここでは、復号器及びレンダリング複雑度を制限する制約が存在し得る。

【0144】

脱相関装置処理の低減／省略が実施され得る。オーディオ信号が最終的にバイノーラル再生向けに処理される場合、すべて又はいくつかのＯＴＴ復号ブロックにおいて脱相関を省略又は低減することが提案される。

【0145】

これによって、復号器において脱相関されたオーディオ信号のダウンミックスからのアーティファクトが回避される。

【0146】

バイノーラルレンダリングのために復号される出力チャネルの数が低減される。脱相関を省略することに加えて、より少数の非コヒーレント出力チャネルに復号することが望ましい。そうすれば、バイノーラルレンダリングのための非コヒーレント入力チャネルがより少数になる。例えば、元々２２．２チャネルの材料は、モバイルデバイス上で復号が行われる場合、２２チャネルではなく、５．１チャネルに復号し、５チャネルのみをバイノーラルレンダリングする。

【0147】

全体的な復号器の複雑度を低減するために、以下の処理を適用することが提案される。

【0148】

A)元のチャネル構成よりも少数のチャネルを有する目標スピーカ配置を定義する。目標チャネルの数は、品質及び複雑度制約に応じて決まる。
目標スピーカ配置を達成するために、２つの可能性Ｂ１及びＢ２が存在する。これらの可能性Ｂ１及びＢ２は組み合わせることもできる。

【0149】

Ｂ１）より少数のチャネルに復号する、すなわち、復号器において完全なＯＴＴ処理ブロックをスキップすることによる。これは、復号器処理を制御するために、バイノーラルレンダラから（ＵＳＡＣ）復号器への情報経路を必要とする。

【0150】

Ｂ２）元のスピーカチャネル構成又は中間チャネル構成から目標スピーカ配置へのフォーマット変換（すなわち、ダウンミックス）ステップを適用する。これは、（ＵＳＡＣ）コア復号器の後の処理ステップにおいて行うことができ、復号プロセスを変更することを必要としない。

【0151】

最後に、ステップＣ）が実施される。

【0152】

Ｃ）より少数のチャネルのバイノーラルレンダリングを実施する。

【0153】

ＳＡＯＣ復号に対する適用
上述した方法は、パラメトリックオブジェクトコード化（ＳＡＯＣ）処理に適用することもできる。

【0154】

フォーマット変換は、脱相関装置処理を低減／省略して実施することができる。ＳＡＯＣ復号後にフォーマット変換が適用される場合、フォーマット変換器からＳＡＯＣ復号器への情報が送信される。そのような内部の情報相関によって、ＳＡＯＣ復号器は、人工的に脱相関される信号の量を低減するように制御される。この情報は、完全なダウンミックス行列又は導出された情報となり得る。

【0155】

さらに、バイノーラルレンダリングは、脱相関装置処理を低減／省略して実行することができる。パラメトリックオブジェクトコード化（ＳＡＯＣ）の場合には、復号プロセスに脱相関が適用される。バイノーラルレンダリングが後に実行される場合には、ＳＡＯＣ復号器内部の脱相関処理を省略又は低減すべきである。

【0156】

さらに、バイノーラルレンダリングは、チャネルの数を低減して実行することができる。ＳＡＯＣ復号後にバイノーラル再生が適用される場合、ＳＡＯＣ復号器は、を使用してより少数のチャネルにレンダリングするように構成することができる。ダウンミックス行列は、フォーマット変換器からの情報に基づいて構築される。

【0157】

脱相関フィルタリングは相当の計算複雑度を必要とするが、提案の方法により、全体的な復号作業負荷を大きく低減することができる。

【0158】

全域通過フィルタは主観的な音声品質に及ぼす影響を最小限に抑えるように設計されるが、可聴アーティファクトが導入されることを常に回避できるとはかぎらない。例えば、位相歪み又は特定の周波数成分の「リンギング」に起因する過渡音の不鮮明さ。これにより、脱相関フィルタリングプロセスの副次的影響が省略され、オーディオ音声品質の改善を達成することができる。さらに、後続のダウンミックス、アップミックス又はバイノーラル処理によるそのような脱相関装置アーティファクトの任意の脱マスキングが回避される。

【0159】

さらに、（ＵＳＡＣ）コア復号器又はＳＡＯＣ復号器にバイノーラルレンダリングが組み合わされる場合に複雑度を低減するための方法が説明されている。

【0160】

説明されている実施形態の復号器及び符号化器ならびに方法に関連して、以下が言及される。

【0161】

いくつかの態様が装置という面で説明されているが、これらの態様はまた、対応する方法の説明をも表すことは明らかであり、ブロック又はデバイスが、方法ステップ又は方法ステップの特徴に対応する。同様に、方法ステップという面で説明されている態様も、対応する装置の対応するブロック又は項目又は特徴の説明を表す。

【0162】

特定の実施要件に応じて、本発明の実施形態は、ハードウェア又はソフトウェアにおいて実装することができる。その実施形態は、例えば、フロッピーディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、又はフラッシュメモリなど、電子可読制御信号を記憶するデジタル記憶媒体を使用して実施することができる。そのデジタル記憶媒体は、それぞれの方法が実施されるようにプログラム可能なコンピュータシステムと協働する（又は協働することが可能である）。

【0163】

本発明によるいくつかの実施形態は、電子可読制御信号を記憶するデータ担体を含む。そのデータ担体は、本明細書に記載されている方法のうちの１つが実施されるように、プログラム可能なコンピュータシステムと協働することができる。

【0164】

通常、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができる。プログラムコードは、コンピュータプログラム製品がコンピュータ上で作動すると、上記方法のうちの１つを実施するように動作することができる。プログラムコードは、例えば、機械可読担体上に記憶されていてもよい。

【0165】

他の実施形態は、本明細書に記載されている方法のうちの１つを実施するためのコンピュータプログラムを含む。そのようなコンピュータプログラムは、機械可読担体又は持続性記憶媒体上に記憶されている、

【0166】

言い換えれば、本発明の方法の一実施形態は、コンピュータ上で作動したときに、本明細書に記載されている方法のうちの１つを実施するためのプログラムコードをもつコンピュータプログラムである。

【0167】

本発明の方法のさらなる実施形態は、本明細書に記載されている方法のうちの１つを実施するためのコンピュータプログラムを記録されて備えるデータ担体（又はデジタル記憶媒体、又はコンピュータ可読媒体）である。

【0168】

本発明の方法のさらなる実施形態は、本明細書に記載されている方法のうちの１つを実施するためのコンピュータプログラムを表すデータストリーム又は信号系列である。データストリーム又は信号系列は、例えば、データ通信接続、例えば、インターネットを介して転送されるように構成されてもよい。

【0169】

さらなる実施形態は、本明細書に記載されている方法のうちの１つを実施するように構成又は適合されている処理手段、例えば、コンピュータ又はプログラム可能な論理デバイスを含む。

【0170】

さらなる実施形態は、本明細書に記載されている方法のうちの１つを実施するためのコンピュータプログラムをインストールされているコンピュータを含む。

【0171】

いくつかの実施形態において、プログラム可能な論理デバイス（例えば、フィールドプログラマブルゲートアレイ）が、本明細書に記載されている方法の機能のいくつか又はすべてを実施するために使用されてもよい。いくつかの実施形態において、フィールドプログラマブルゲートアレイは、本明細書に記載されている方法のうちの１つを実施するために、マイクロプロセッサと協働してもよい。通常、この方法は、どのようなハードウェア装置によっても適当に実施される。

【0172】

本発明がいくつかの実施形態に関して説明されているが、本発明の範囲内に入る代替形態、置換形態、及び均等物が存在する。本発明の方法及び構成を実施する多くの代替的な方法が存在することにも留意すべきである。したがって、添付の特許請求の範囲は、本発明の真の思想及び範囲内に入るようなすべての代替形態、置換形態及び均等物を含むものとして解釈されることが意図されている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】