特表2024-543189シーンに基づく没入型オーディオコンテンツの符号化又は復号のための方法及び装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-19
(54)【発明の名称】シーンに基づく没入型オーディオコンテンツの符号化又は復号のための方法及び装置
(51)【国際特許分類】
G10L 19/008 20130101AFI20241112BHJP
【ＦＩ】
G10L19/008 200
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024532160
(86)(22)【出願日】2022-11-30
(85)【翻訳文提出日】2024-06-20
(86)【国際出願番号】 EP2022083824
(87)【国際公開番号】W WO2023099551
(87)【国際公開日】2023-06-08
(31)【優先権主張番号】63/284,198
(32)【優先日】2021-11-30
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/410,587
(32)【優先日】2022-09-27
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．３ＧＰＰ
(71)【出願人】
【識別番号】510185767
【氏名又は名称】ドルビー・インターナショナル・アーベー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100229448
【弁理士】
【氏名又は名称】中槇 利明
(72)【発明者】
【氏名】ブルーン，シュテファン
(57)【要約】
本明細書は、Ambisonics入力オーディオ信号（１０１）を符号化する方法（５００）を記載する。方法（５００）は、入力オーディオ信号（１０１）をSPARエンコーダ（１１０、１３０）と、DirACアナライザ及びパラメータエンコーダ（１２０）とに供給するステップ（５０１）を含む。更に、方法（５００）は、SPARエンコーダ（１１０、１３０）の出力（１０２、１０５）と、DirACアナライザ及びパラメータエンコーダ（１２０）の出力（１０４）とに基づいて、エンコーダビットストリーム（１０６）を生成するステップ（５０２）を含む。
【特許請求の範囲】
【請求項1】
Ambisonics入力オーディオ信号を符号化する方法であって、前記方法は、前記入力オーディオ信号をSPARエンコーダとDirACアナライザ及びパラメータエンコーダとに提供するステップと、
前記SPARエンコーダの出力に基づいて、かつ前記DirACアナライザ及びパラメータエンコーダの出力に基づいて、エンコーダビットストリームを生成するステップと、
を含む方法。
【請求項2】
前記SPARエンコーダの出力が、SPARメタデータビットストリームと、SPARダウンミックスチャネル信号のセットを示すオーディオビットストリームとを含み、及び／又は、前記DirACアナライザ及びパラメータエンコーダの出力は、DirACメタデータビットストリームを含む、請求項１に記載の方法。
【請求項3】
前記エンコーダビットストリームを生成するステップは、前記SPARメタデータビットストリーム、前記オーディオビットストリーム、及び前記DirACメタデータビットストリームを、共通エンコーダビットストリームに多重化するステップを含む、請求項２に記載の方法。
【請求項4】
前記エンコーダビットストリームの表現を、特に復号装置に送信し、及び／又は前記エンコーダビットストリームの表現を格納するステップ、を更に含む請求項１に記載の方法。
【請求項5】
前記方法は、前記入力オーディオ信号を表す複数の周波数帯及び／又は複数の時間／周波数タイル内のサブバンドデータを生成するステップと、
前記複数の周波数帯及び／又は前記複数の時間／周波数タイルのサブセットを選択するステップと、
前記サブバンドデータに基づいて、周波数帯及び／又は時間／周波数タイルの選択された前記サブセットについて、特に周波数帯及び／又は時間／周波数タイルの選択された前記サブセットのみについて、前記DirACアナライザ及びパラメータエンコーダの出力、特にDirACメタデータビットストリームを決定するステップと、
を含む請求項１に記載の方法。
【請求項6】
前記方法は、前記入力オーディオ信号の特性、特に前記入力オーディオ信号のノイズのような又は音色特性に関する特性に関する特性情報を決定するステップと、
前記特性情報に基づいて、周波数帯及び／又は時間／周波数タイルの前記サブセットを選択するステップと、
を含む請求項５に記載の方法。
【請求項7】
周波数帯及び／又は時間／周波数タイルの前記サブセットは、所定の閾値周波数以上の周波数の周波数範囲に対応する、請求項５に記載の方法。
【請求項8】
前記方法は、分析フィルタバンクを使用して、前記入力オーディオ信号を表す複数の周波数帯及び／又は複数の時間／周波数タイル内のサブバンドデータを生成するステップと、
SPARメタデータを生成するために前記SPARエンコーダに、及びDirACメタデータを生成するために前記DirACアナライザ及びパラメータエンコーダに、前記サブバンドデータを供給するステップと、
を含む請求項１に記載の方法。
【請求項9】
前記方法は、合成フィルタバンクを使用して、前記SPARエンコーダ内の１つ以上のダウンミックスチャネル信号を生成するステップ、
を含む請求項８に記載の方法。
【請求項10】
Ambisonics入力オーディオ信号を示すエンコーダビットストリームを復号する方法であって、前記方法は、前記エンコーダビットストリームに基づいて、SPARデコーダを使用して中間Ambisonics信号を生成するステップと、
DirAC合成器を使用して中間Ambisonics信号を処理して、レンダリングのための出力オーディオ信号を提供するステップと、
を含む方法。
【請求項11】
前記方法は、前記エンコーダビットストリームからSPARメタデータビットストリーム及びオーディオビットストリームを抽出するステップと、
前記SPARデコーダを使用して前記SPARメタデータビットストリーム及び前記オーディオビットストリームから前記中間Ambisonics信号を生成するステップと、
を含む請求項１０に記載の方法。
【請求項12】
前記方法は、オーディオデコーダを使用して前記オーディオビットストリームから再構成ダウンミックスチャネル信号のセットを生成するステップと、
アップミックスユニットを使用して、前記SPARメタデータビットストリームに基づいて、再構成ダウンミックスチャネル信号の前記セットを前記中間Ambisonics信号にアップミックスするステップと、
を含む請求項１１に記載の方法。
【請求項13】
前記方法は、前記エンコーダビットストリームからDirACメタデータビットストリームを抽出するステップと、
前記DirAC合成器を使用して前記DirACメタデータビットストリームに依存して前記中間Ambisonics信号を処理して、前記出力オーディオ信号を提供するステップと、
を含む請求項１０に記載の方法。
【請求項14】
前記方法は、DirACアナライザ内で前記中間Ambisonics信号を処理して、補助DirACメタデータを生成するステップと、
前記DirAC合成器を使用して前記補助DirACメタデータに依存して前記中間Ambisonics信号を処理して、前記出力オーディオ信号を提供するステップと、
を含む請求項１０に記載の方法。
【請求項15】
前記方法は、前記中間Ambisonics信号を表す複数の周波数帯及び／又は複数の時間／周波数タイル内のサブバンドデータを生成するステップと、
前記複数の周波数帯及び／又は前記複数の時間／周波数タイルのサブセットを選択するステップと、
前記サブバンドデータに基づいて、周波数帯及び／又は時間／周波数タイルの選択された前記サブセットについて、特に周波数帯及び／又は時間／周波数タイルの選択された前記サブセットのみについて、前記補助DirACメタデータを決定するステップと、
を含む請求項１４に記載の方法。
【請求項16】
前記方法は、前記入力オーディオ信号の及び／又は前記中間Ambisonics信号の特性、特に前記入力オーディオ信号の及び／又は前記中間Ambisonics信号のノイズのような又は音色特性に関する特性に関する特性情報を決定するステップと、
前記特性情報に基づいて、周波数帯及び／又は時間／周波数タイルの前記サブセットを選択するステップと、
を含む請求項１５に記載の方法。
【請求項17】
周波数帯及び／又は時間／周波数タイルの前記サブセットは、所定の閾値周波数以下の周波数の周波数範囲に対応する、請求項１５に記載の方法。
【請求項18】
前記方法は、前記入力オーディオ信号の及び／又は前記中間Ambisonics信号のAmbisonics次数よりも大きいAmbisonics次数を有するDirAC合成器を使用して、前記中間Ambisonics信号からAmbisonics出力信号を生成するステップ、
を含む請求項１０に記載の方法。
【請求項19】
前記出力オーディオ信号は、Ambisonics出力信号、バイノーラル出力信号、ステレオ又はマルチスピーカ出力信号のうちの少なくとも１つを含む、請求項１０に記載の方法。
【請求項20】
前記方法は、特に頭部追跡装置を使用して、リスナーの頭部の向きに関する方向データを決定するステップと、
前記方向データに応じて前記中間Ambisonics信号に対して回転操作を実行し、回転Ambisonics信号を生成するステップと、
前記DirAC合成器を使用して前記回転Ambisonics信号を処理して、前記リスナーにレンダリングするための前記出力オーディオ信号を提供するステップと、
を含む請求項１０に記載の方法。
【請求項21】
前記方法は、特に頭部追跡装置を使用して、リスナーの頭部の向きに関する方向データを決定するステップと、
前記エンコーダビットストリームからDirACメタデータを抽出するステップと、
前記方向データに応じて前記DirACメタデータに対して回転操作を実行し、回転DirACメタデータを生成するステップと、
前記DirAC合成器を使用して前記回転DirACメタデータに従い前記中間Ambisonics信号又は前記中間Ambisonics信号から導出されたAmbisonics信号を処理して、前記リスナーにレンダリングするための前記出力オーディオ信号を提供するステップと、
を含む請求項１０に記載の方法。
【請求項22】
前記中間Ambisonics信号は、前記Ambisonics入力オーディオ信号よりも少ないチャネルを含み、及び／又は、前記SPARデコーダは、前記Ambisonics入力オーディオ信号よりも少ないチャネルを含む中間Ambisonics信号を生成するために部分的アップミキシング動作を実行するために使用される、
請求項１０に記載の方法。
【請求項23】
前記部分的アップミキシング動作は、複数のサブバンド及び／又は複数の時間／周波数タイルを有するフィルタバンクドメインにおいて実行され、前記中間Ambisonics信号は、前記複数のサブバンドのすべて及び／又は前記複数の時間／周波数タイルのすべてについて、前記Ambisonics入力オーディオ信号よりも少ないチャネルを含み、又は、
前記中間Ambisonics信号は、前記複数のサブバンド及び／又は前記複数の時間／周波数タイルのサブセットに対してのみ、前記Ambisonics入力オーディオ信号よりも少ないチャネルを含む、
請求項２２に記載の方法。
【請求項24】
前記方法は、前記エンコーダビットストリームからオーディオビットストリームを抽出するステップと、
オーディオデコーダを使用して、前記オーディオビットストリームから再構成ダウンミックスチャネル信号のセットを生成するステップと、
分析フィルタバンクを前記再構成ダウンミックスチャネル信号のセットに適用して、前記再構成ダウンミックスチャネル信号のセットをフィルタバンクドメインに変換するステップと、
前記フィルタバンクドメイン内の前記再構成ダウンミックスチャネル信号のセットに基づいて、前記フィルタバンクドメインで表される中間Ambisonics信号を生成するステップと、
前記DirAC合成器を使用して前記フィルタバンクドメインで表される前記中間Ambisonics信号を処理するステップと、
を含む請求項１０に記載の方法。
【請求項25】
前記方法は、前記DirAC合成器を使用して前記フィルタバンクドメインで表される前記中間Ambisonics信号を処理して、前記フィルタバンクドメインで表される出力信号を生成するステップと、
前記フィルタバンクドメインで表される前記出力信号に合成フィルタバンクを適用して、時間ドメインの出力信号を生成するステップと、
を含む請求項２４に記載の方法。
【請求項26】
前記分析フィルタバンク及び前記合成フィルタバンクは、結合分析／合成フィルタバンク、特に完全再構成分析／合成フィルタバンクを形成し、及び／又は、前記分析フィルタバンク及び前記合成フィルタバンクは、ナイキストフィルタバンク又はQMFフィルタバンクである、
請求項２５に記載の方法。
【請求項27】
前記エンコーダビットストリームは、第１タイプのフィルタバンク、特にナイキストフィルタバンクを使用して生成されたものであり、前記分析フィルタバンクは、前記第１タイプとは異なる第２タイプのフィルタバンク、特にQMFフィルタバンクである、
請求項２４に記載の方法。
【請求項28】
前記第１タイプのフィルタバンクの周波数帯域境界が、前記第２タイプのフィルタバンクの対応する周波数帯域境界に調整される、請求項２７に記載の方法。
【請求項29】
システムであって、１つ以上のプロセッサと、
命令を格納する非一時的コンピュータ可読媒体であって、前記命令は、前記１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに請求項１～２８のいずれかに記載の方法を実行させる、非一時的コンピュータ可読記憶媒体と、
を含むシステム。
【請求項30】
命令を格納する非一時的コンピュータ可読媒体であって、前記命令は、１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに請求項１～２８のいずれかに記載の方法を実行させる、非一時的コンピュータ可読媒体。
【請求項31】
Ambisonics入力オーディオ信号を符号化する符号化装置であって、前記符号化装置は、前記入力オーディオ信号をSPARエンコーダとDirACアナライザ及びパラメータエンコーダとに提供し、
前記SPARエンコーダの出力に基づいて、かつ前記DirACアナライザ及びパラメータエンコーダの出力に基づいて、エンコーダビットストリームを生成する、
ように構成される符号化装置。
【請求項32】
前記Ambisonics入力オーディオ信号は複数の入力チャネル信号を含み、前記SPARエンコーダは、サブバンド及び／又はQMFドメインの前記複数の入力チャネル信号を１つ以上のダウンミックスチャネル信号にダウンミックスし、
前記１つ以上のダウンミックスチャネル信号を再構成Ambisonics信号の複数の再構成チャネル信号にアップミックスするように適応された、前記サブバンド及び／又はQMFドメイン内のSPARメタデータビットストリームを生成する、
ように構成されている、請求項３１に記載の符号化装置。
【請求項33】
前記DirACアナライザ及びパラメータエンコーダは、サブバンド及び／又はQMFドメインのAmbisonics入力オーディオ信号に対して到来方向分析を実行して、前記Ambisonics入力オーディオ信号の１つ以上の主要成分の到来方向を示すDirACメタデータビットストリームを決定するように構成されている、請求項３１に記載の符号化装置。
【請求項34】
Ambisonics入力オーディオ信号を示すエンコーダビットストリームを復号する復号装置であって、前記復号装置は、前記エンコーダビットストリームに基づいて、SPARデコーダを使用して中間Ambisonics信号を生成し、
DirAC合成器を使用して前記中間Ambisonics信号を処理して、レンダリングのための出力オーディオ信号を提供する、
ように構成される復号装置。
【請求項35】
前記復号装置は、前記DirAC合成器をパススルー動作モードにする、及び／又は、
前記DirAC合成器をバイパスする、
ように構成され、特に、前記中間Ambisonics信号がレンダリング用の前記出力オーディオ信号に対応するようにする、請求項３４に記載の復号装置。
【発明の詳細な説明】
【技術分野】
【0001】
［関連出願］
本出願は、２０２１年１１月３０日出願の米国仮出願第６３／２８４，１９８号、及び２０２２年９月２７日出願の米国仮出願第６３／４１０，５８７号の優先権を主張する。
本出願は、２０２１年１１月３０日出願の米国仮出願第６３／２８４，１９８号、及び２０２２年９月２７日出願の米国仮出願第６３／４１０，５８７号の優先権を主張する。
【0002】
［技術分野］
本明細書は、オーディオを処理するための、特に没入型オーディオコンテンツをコーディングするための方法及び対応する装置に関する。
本明細書は、オーディオを処理するための、特に没入型オーディオコンテンツをコーディングするための方法及び対応する装置に関する。
【背景技術】
【0003】
リスニング位置に配置されたリスナーのリスニング環境内の音又は音場は、Ambisonicsオーディオ信号、特に１次Ambisonics信号（first order Ambisonics signal （FOA））又は高次Ambisonics信号（higher order Ambisonics signal （HOA））を使用して記述することができる。Ambisonics信号は、各チャネルがリスナーのリスニング位置における音場の特定の指向性パターンに対応するマルチチャネルオーディオ信号と見なすことができる。Ambisonics信号は、３次元（３D）デカルト座標系を使用して記述することができ、座標系の原点はリスニング位置に対応し、x軸は前を指し、y軸は左を指し、z軸は上を指す。
【0004】
本明細書は、Ambisonicsオーディオ信号の特に効率的かつ柔軟なコーディングを可能にするという技術的課題を取り扱う。技術的課題は、独立請求項の各々によって解決される。好ましい例は、従属請求項に記載される。
【発明の概要】
【0005】
一態様によれば、Ambisonics入力オーディオ信号を符号化する方法が記載される。方法は、空間再構成（spatial reconstruction （SPAR））エンコーダと、指向性オーディオコーディング（directional audio coding （DirAC））アナライザ及びパラメータエンコーダとに、入力オーディオ信号を供給することを含む。更に、方法は、SPARエンコーダの出力と、DirACアナライザ及びパラメータエンコーダの出力とに基づいて、エンコーダビットストリームを生成するステップを含む。
【0006】
別の態様によれば、Ambisonics入力オーディオ信号を示すエンコーダビットストリームを復号する方法が記載される。方法は、エンコーダビットストリームに基づき、空間再構成（SPAR）デコーダを使用して、中間Ambisonics信号を生成することを含む。更に、方法は、指向性オーディオコーディング（DirAC）合成器を使用して、中間Ambisonics信号を処理し、レンダリングのための出力オーディオ信号を提供することを含む。
【0007】
本明細書に記載される方法は各々、各々の方法の全部又は一部を、１つ以上のプロセッサ上のソフトウェア及び／又はコンピュータ可読コードで実施することができることに留意されたい。
【0008】
更なる態様によると、ソフトウェアプログラムが説明される。ソフトウェアプログラムは、プロセッサ上での実行のために、及びプロセッサ上で実行されると本願明細書で説明された方法のステップを実行するために適応される。
【0009】
別の態様によると、記憶媒体が説明される。記憶媒体はソフトウェアプログラムを含み、前記ソフトウェアプログラムは、プロセッサ上での実行のために、及びプロセッサ上で実行されると本願明細書で説明された方法のステップを実行するために適応される。
【0010】
更なる態様によると、コンピュータプログラムプロダクトが説明される。コンピュータプログラムは、コンピュータ上で実行されると本願明細書で説明された方法のステップを実行するための実行可能命令を含んでよい。
【0011】
別の態様によれば、１つ以上のプロセッサを含むシステムが記載される。システムは、命令を格納する非一時的コンピュータ可読媒体を含み、前記命令は、１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに本願明細書に記載の方法のうちの１つ以上の動作を実行させる。
【0012】
更なる態様によると、命令を格納する非一時的コンピュータ可読媒体が説明され、前記命令は、１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに本願明細書に記載の方法のうちの１つ以上の動作を実行させる。
【0013】
別の態様によれば、Ambisonics入力オーディオ信号を符号化する符号化装置が記載される。符号化装置は、空間再構成（spatial reconstruction （SPAR））エンコーダと、指向性オーディオコーディング（directional audio coding （DirAC））アナライザ及びパラメータエンコーダとに、入力オーディオ信号を供給するように構成される。更に、符号化装置は、SPARエンコーダの出力と、DirACアナライザ及びパラメータエンコーダの出力とに基づいて、エンコーダビットストリームを生成するように構成される。
【0014】
更なる態様によれば、Ambisonics入力オーディオ信号を示すエンコーダビットストリームを復号する復号装置が記載される。復号装置は、エンコーダビットストリームに基づき、空間再構成（SPAR）デコーダを使用して、中間Ambisonics信号を生成するように構成される。更に、復号装置は、指向性オーディオコーディング（DirAC）合成器を使用して、中間Ambisonics信号を処理し、レンダリングのための出力オーディオ信号を提供するように構成される。
【0015】
本特許出願に概説されている好ましい実施形態を含む方法及びシステムは、単独で使用することも、本明細書に開示されている他の方法及びシステムと組み合わせて使用することもできることに留意されたい。更に、本特許出願に概説されている方法及びシステムのすべての態様を任意に組み合わせることができる。特に、特許請求の範囲の特徴は、任意の方法で互いに組み合わせることができる。
【図面の簡単な説明】
【0016】
本発明は、添付の図面を参照して例示的な方法で以下に説明される。
【図1】例示的なオーディオエンコーダを示す。
【図2】例示的なオーディオデコーダを示す。
【図3a】例示的なオーディオエンコーダを示す。
【図3b】例示的なオーディオデコーダを示す。
【図4】例示的なオーディオエンコーダを示す。
【図5a】Ambisonicsオーディオ信号を符号化する方法の例のフローチャートを示す。
【図5b】Ambisonicsオーディオ信号を示すビットストリームを復号する方法の例のフローチャートを示す。
【発明を実施するための形態】
【0017】
上述したように、本明細書は、Ambisonicsオーディオ信号の効率的かつ柔軟な符号化に関する。Ambisonicsオーディオ信号のためのコーディングスキームの例は、いわゆるSPAR（空間再構成）スキームであり、これは、例えば、McGrath et al., "Immersive Audio Coding for Virtual Reality Using a Metadata-assisted Extension of the ３GPP EVS Codec,」 ICASSP ２０１９-２０１９ IEEE International Conference on Acoustics, Speech and Signal Processing （ICASSP）, ２０１９, pp. ７３０-７３４, doi: １０.１１０９／ICASSP.２０１９.８６８３７１２に記載されており、その内容全体が参照により本明細書に組み込まれている。更なるコーディング方式は、いわゆる指向性オーディオコーディング（DirAC）方式であり、これは、例えば、Ahonen, Jukka, et al. "Directional analysis of sound field with linear microphone array and applications in sound reproduction." Audio Engineering Society Convention １２４. Audio Engineering Society, ２００８, and／or in V. Pulkki et al, “Directional audio coding - perception-based reproduction of spatial sound”, International Workshop on the principles and applications of spatial hearing, Nov. １１-１３, ２００９, Zao, Miyagi, Japanに記載されており、その内容全体が参照により本明細書に組み込まれている。
【0018】
SPARにおいて、Ambisonics（FOA又はHOA）オーディオ信号は、SPARエンコーダによって決定されたメタデータに基づいて、１つ以上のダウンミックスチャネルが波形符号化され、幾つかのチャネルがパラメトリックに符号化されるように、ダウンミックス中に空間的に処理され得る。SPARデコーダは、SPARメタデータの助けを借りて１つ以上の受信（及び復号）ダウンミックスチャネルをアップミックスし、元のAmbisonicsチャネルを再構築するという点で、逆演算を実行する。SPARは、通常、複数の異なる時間／周波数（T/F）タイル上で動作する。
【0019】
指向性オーディオコーディング（DirAC）は、到来方向（direction of arrival （DoA））及びT／Fタイルあたりの拡散性（すなわち、複数の異なるT／Fタイルについて）に基づくパラメトリックコーディング方法である。DirACは、一般に入力オーディオ形式に依存しないが、Ambisonicsオーディオで使用することができる。これは、DirACパラメータ分析がAmbisonics（FOA又はHOA）入力オーディオ信号に基づくことができ、DirACデコーダがAmbisonics信号を再構築できることを意味する。DirACの特性は、DirACが、多数の受信信号（トランスポートチャネル）及びDirACメタデータに基づいて、バイノーラルにレンダリングされた出力信号を直接生成するように適合させることができることである。DirACメタデータ生成は、部分的又は完全に復号端に存在し、例えば、（本明細書で概説するように）送信及び受信されたFOA又はHOAトランスポートチャネル上で動作することができる。更に、DirACは、コーディングシステムへの元の入力よりも高い次数でAmbisonicsオーディオを復元するために使用することができ、従って、例えば、入力オーディオ信号の空間分解能と比較して出力信号の空間分解能を向上させるために使用することができる。
【0020】
SPARは効率的なコーディング方法であり、これにより、Ambisonics信号を比較的低いビットレートで格納及び／又は送信することができる。高品質の要求に対して、SPARは、比較的少数のダウンミックスチャネル信号（例えば、４以下）のみを使用しながら、HOA信号（例えば、L=３以上のオーダー）を効率的に表現するために使用することができる。しかし、SPARは、より低い次数のAmbisonics入力オーディオ信号から増加したAmbisonics次数でAmbisonics出力信号を復元及び／又は生成するための解決策を提供しない。例えば、入力オーディオ信号がFOA（L=１）である場合、通常、HOA２（L=２）又はHOA３（L=３）信号を復元及び／又は生成することはできない。その場合、SPARは、通常、所与のビットレートで比較的高品質のFOA入力オーディオ信号を再構成することしかできない。
【0021】
DirACは、コーディングシステムの要件に応じて変化する強度を有する効率的なコーディング方法である。例えば、所与の次数L（FOA又はHOA）の入力Ambisonics信号を復号後に可能な限り高い忠実度で復元することが要件である場合、DirACのコーディング効率は、一般にSPARに比べて劣ることが観察されている。また、DirACオーディオ再構成の品質は、比較的高いビットレートで飽和し、DirACは、比較的高いビットレートで透過なオーディオ品質を得るためのネイティブソリューションを提供しないことも観察されている。この問題に対処するために、DirACに依存するコーディングシステムは、（比較的高いビットレートで）すべての入力チャネル（例えば、FOAの場合は４）をトランスポートチャネルとして送信し、DirACを使用してパラメトリック再構成を無効にする可能性がある。これは、（SPARと比較して）DirACの効率に影響を与え、（SPARコーディングシステム内で符号化されるダウンミックスチャネルの数と比較して）波形コーディングを使用して比較的多くのトランスポートチャネルを符号化する必要があるため、（数値及びメモリリソースに関して）比較的高い複雑さにつながる。
【0022】
本明細書では、SPARとDirACコーディングシステムの長所を最適な方法で組み合わせたコーディング方式について説明する。SPAR及びDirACは、結合されたデコーダが、（SPARデコーダを使用して）受信され且つ復号されたSPARダウンミックス信号及びSPARメタデータに基づいて、Ambisonicsアップミックス信号の第１セットを再構成するように結合され得る。再構成されたSPARアップミックス信号（ここでは、中間Ambisonics信号と呼ぶ）は、次に、DirACメタデータを使用してSPARアップミックス信号のセットで動作するために（例えば、増大したAmbisonics次数で出力信号を生成するために）、DirACデコーダに供給され得る。
【0023】
図１は、例示的な符号化装置（エンコーダ又は符号化ユニットとも呼ばれる）１００を示し、図２及び図４は、例示的な復号装置（デコーダ又は復号ユニットとも呼ばれる）２００を示す。SPAR及びDirACは、符号化装置１００内で並列構造で動作し、復号装置２００内で直列構造で動作する。一例として（限定ではないが）、入力オーディオ信号１０１がFOA信号であり、コーデック（コーディング／復号）システム１００、２００が２０ms長のフレームで動作すると仮定することができる。
【0024】
符号化装置１００において、入力オーディオ信号１０１のフレームは、SPARエンコーダ１１０、１３０（ダウンミックスユニット１１０及びコアオーディオエンコーダ１３０を含むことができる）に、及びオプションのDirACアナライザ及びパラメータエンコーダ１２０に供給することができる。これらのユニット１１０、１２０、１３０の各々は、各々対応する部分ビットストリーム１０２、１０４、１０５を生成する。SPARエンコーダ１１０、１３０、特にSPARエンコーダ１１０、１３０のダウンミックスユニット１１０は、SPARメタデータビットストリーム（又はSPARメタデータ）１０２及び（１つ以上の）SPARダウンミックスチャネル信号１０３のセットを生成する。１つ以上のSPARダウンミックスチャネル信号１０３は、コアオーディオビットストリーム１０５を使用してこれらの信号１０３を表すように構成されたコアオーディオエンコーダ１３０に供給される。
【0025】
SPARエンコーダ１１０、１３０のコアオーディオエンコーダ１３０は、１つ以上のダウンミックスチャネル信号１０３の波形符号化を実行するように構成され、それによってコアオーディオビットストリーム１０５を提供する。ダウンミックスチャネル信号１０３の各々は、モノ波形エンコーダ（例えば、３GPP EVS符号化）を使用して符号化することができ、それによって効率的な符号化を可能にする。１つ以上のダウンミックスチャネル信号１０３を符号化する更なる例は、MPEG AAC、MPEG HE-AAC及び他のMPEG Audioコーデック、３GPPコーデック、及びDolby Digital／Dolby Digital Plus（AC-３、eAC-３）である。SPAR及びDirACの両方が、各々ダウンミックス又はトランスポートチャネルを表す様々な異なるコアオーディオコーデックと共に動作することができる空間オーディオコーディングフレームワークであることは注目に値する。SPAR及びDirACは、各々のSPAR又はDirACメタデータによって空間オーディオ情報を表す。
【0026】
オプションのDirACアナライザ及びメタデータエンコーダ１２０は、オプションのDirACメタデータビットストリーム（又はDirACメタデータ）１０４を生成する。FOA用の従来のDirACエンコーダとは対照的に、（この情報はSPARエンコーダ１１０、１３０によって提供されるため）符号化装置１００は、DirACトランスポートチャネル生成器又はダウンミキサーを含まない。部分ビットストリーム１０２、１０４、１０５は、（多重化ユニット１４０内で）共通のエンコーダビットストリーム１０６に多重化され、復号装置２００に送信することができる。
【0027】
復号装置２００において、受信（エンコーダ）ビットストリーム１０６は、部分ビットストリーム１０２、１０４、１０５、特にSPARメタデータビットストリーム１０２、コアオーディオビットストリーム１０５、及び（オプションの）DirACメタデータビットストリーム１０４に（逆多重化ユニット２４０内で）逆多重化することができる。コアオーディオビットストリーム１０５は、１つ以上のSPARダウンミックスチャネル信号２０５を再構成するコアオーディオデコーダ２３０に供給される。これら１つ以上の再構成ダウンミックスチャネル信号２０５は、SPARメタデータビットストリーム１０２と共にSPARアップミックスユニット２１０に供給される。SPARアップミックスユニット２１０は、１つ以上の再構成ダウンミックスチャネル信号２０５をアップミックスして、元のAmbisonics信号１０１のチャネルの少なくともサブセットの再構成２０１（中間Ambisonics信号１０１と呼ばれることがある）を提供する。この中間Ambisonics信号２０１は、通常、符号化装置１００の元のAmbisonics入力オーディオ信号１０１の近似にすぎない。中間Ambisonics信号２０１のAmbisonics次数Lは、元の入力オーディオ信号１０１のAmbisonics次数とほぼ同一であるか、それより大きくない。
【0028】
この中間Ambisonics信号２０１は、復号装置２００のDirAC分析及びメタデータ生成ユニット２５０に供給することができる。このオプションのDirAC分析及びメタデータ生成ユニット２５０は、SPAR再構成された中間Ambisonics信号２０１に基づいて、DirAC分析及びメタデータ生成を実行することができる。DirAC分析及びメタデータ生成ユニット２５０からのオプションの（補助）DirACメタデータ２０４（補助DirACメタデータ２０４と呼ばれる）、符号化装置１００から受信したオプションのDirACメタデータビットストリーム１０４、及びSPAR再構成された中間Ambisonics信号２０１は、DirAC合成ユニット２２０に供給することができる。このDirAC合成ユニット２２０は、受信したメタデータビットストリーム１０４を復号することができる。その後、利用可能なDirACメタデータ１０４、２０４を使用して、SPAR再構成された中間Ambisonics信号２０１に対してDirAC信号合成を実行することができる。DirAC合成ユニット２２０は、（入力オーディオ信号１０１と比較して）高次の出力Ambisonics信号２１１を合成するか、バイノーラル出力信号２１１を合成（レンダリング）するか、又はマルチスピーカ出力信号２１１を合成（レンダリング）するように構成することができる。
【0029】
図１、図２及び図４に示すように、DirAC分析は、オプションとして、（DirACアナライザ及びメタデータエンコーダ１２０内の）符号化装置１００において、及び／又は（DirAC分析及びメタデータ生成ユニット２５０内の）復号装置２００において実行することができる。トランスポートチャネル信号（すなわち、１つ以上のダウンミックスチャネル信号１０３及び／又は中間Ambisonics信号２０１）が復号装置２００で復号後にDirAC分析を実行するのに適さない場合、DirAC分析及びメタデータ符号化を符号化装置１００で実行することができる。これは、復号されたトランスポートチャネル信号が単一（モノ）又はステレオオーディオ信号のみであり、Ambisonics信号ではない場合である。このような状況では、すべての球形又は少なくとも円柱形の方向に対する到来方向（DOA）分析（これは、典型的にはDirAC分析ユニット１２０、２５０内で実行される）を実行することができない。これは、送信されたAmbisonics信号の特定の周波数帯域についても同様であり、ある周波数帯域についてDOA分析を不可能又は信頼できないものにするパラメトリック符号化方法（例えば、帯域幅拡張、スペクトル帯域複製（spectral band replication （SBR））など）がコアオーディオエンコーダ１３０内で使用される場合である。本明細書で概説されているようにDirACとSPARを組み合わせることの利点は、いかなる場合でも復号された中間Ambisonics信号２０１がデコーダ側のDirAC分析（DirAC分析及びメタデータ生成ユニット２５０内）に利用可能であることである。
【0030】
SPAR及びDirACコーディングの一態様は、両方の方法が周波数帯域（サブバンド）及びフレーム又はサブフレーム、すなわちT／Fタイル上で動作することである。これらの方法の実装は、サブバンド上の時間ドメイン、QMFドメイン、又は例えば（修正）DFT周波数ビン又はそのようなビンのグループ上の周波数ドメインにおける動作を使用することができる。従って、本明細書に記載されているすべての態様は、任意のT／Fタイルに適用可能である。更に、サブバンド、周波数バンド／ビン又はQMFバンド／ビンという用語は、本明細書の文脈において互換性がある。同様に、サブバンドドメイン、QMFドメイン又は周波数ドメインという用語は、本明細書の文脈において同義的である。
【0031】
SPARとDirACコーディングを組み合わせる場合、特定のT／Fタイル又はサブバンドは、（DirAC分析及びメタデータ生成ユニット２５０内で）SPAR復号された中間Ambisonics信号２０１に基づいてDirAC分析を実行することにより、より多くの利益を得ることが判明する可能性があり、一方、他の場合には、符号化装置１００（DirACアナライザ及びメタデータエンコーダ１２０内）でそのような分析を行い、対応するメタデータビットストリーム１０４を復号装置２００に送信することが有益である可能性がある。通常、DirACパラメータ分析は、元の入力オーディオ信号１０１に基づくことができるため、符号化装置１００でより信頼性が高い。しかし、この場合、対応するメタデータビットストリーム１０４を符号化して送信する必要がある。ある総ビットレートバジェットを仮定すると、DirACメタデータビットストリーム１０４の部分ビットレートは、SPARメタデータビットストリーム１０２及びコアオーディオビットストリーム１０５で利用可能なビットレートを犠牲にする。従って、少なくとも１つ以上の選択されたT／Fタイル又はサブバンドについては、（復号装置２００で）中間Ambisonics信号２０１の対応するSPAR復号されたT／Fタイル又はサブバンド信号に対してDirAC分析を行うことが、コーディングシステム全体の性能にとってより有益である可能性がある。
【0032】
（最適なコーディングシステムを実現するために）エンコーダ側又はデコーダ側で所与のサブバンド又はT／Fタイルに対してDirACパラメータ分析を選択するかどうかは、１つ以上のコアオーディオコーディングされたSPARダウンミックスチャネル信号１０３の１つ以上の特性に依存し、次に、（DirAC分析及びメタデータ生成ユニット２５０内で）DirACパラメータ分析を実行するためにSPARデコーダ２１０、２３０のアップミックスユニット２１０でアップミックスされた後の再構成された中間Ambisonics信号２０１の適合性に依存する。コーディングが波形保存であるサブバンド及び時間フレームは、一般に、コーディングが波形保存でないサブバンド及び時間フレームよりも、復号装置２００での（DirAC分析及びメタデータ生成ユニット２５０内で）DirACパラメータ分析に適していることが観察されている。これは、典型的には、低周波数帯域の場合、及び／又はノイズ等ではなくトーン的な時間／周波数信号部分の場合である。従って、コーデックシステム１００、２００は、高周波数帯域及び／又はノイズのような時間／周波数信号部分に対してエンコーダ側で（DirAC分析及びメタデータエンコーダ１２０内で）DirACパラメータ分析を実行するように構成することができる。一方、コーデックシステム１００、２００は、低周波数帯域及び／又はトーン的な時間／周波数信号部分に対してデコーダ側で（DirAC分析及びメタデータ生成ユニット２５０内で）DirACパラメータ分析を実行するように構成することができる。
【0033】
従って、SPAR及びDirACコーディング／復号システム１００、２００の組合せは、符号化装置１００からのDirACメタデータ伝送と、選択的なT／Fタイル、サブバンド及び／又はフレームについて復号装置２００で実行されるDirAC分析との間を適応的に切り換える適応手段を含むことができる。適応は、例えば、トーン又はノイズなど、入力オーディオ信号１０１の１つ以上の検出された特性に依存することができる。
【0034】
SPAR及びDirAC符号化／復号システム１００、２００の組合せは、後続のDirACユニット２２０、２５０に供給される修正された数のSPARアップミックスチャネルで動作する復号装置２００を含むことができる。SPARシステムは、通常、Ambisonics信号にアップミックスする。これは、所与のAmbisonics次数Lに対して（L+１）２個のアップミックスチャネルを生成することを意味する。特に、比較的低いビットレート（例えば<６４kbpsにおける）動作の場合、（アップミックスユニット２１０内の）SPAR復号及びアップミックス動作は、少なくとも特定のT／Fタイル又は周波数帯域に対して、比較的低い信号品質をもたらす可能性がある。これは、後続のDirAC動作に影響を与える可能性があり、ひいては、符号化／復号システム１００、２００のオーディオ出力信号２１１の品質に影響を与える可能性がある。
【0035】
この問題は、（アップミックスユニット２１０でのアップミックスに続く）アップミックスチャネル信号の数が（少なくとも特定のT／Fタイル又は周波数帯域に対して）減少するようにSPARを修正することによって対処することができる。一例として、FOA入力オーディオ信号１０１に対して、少なくとも特定のT／Fタイル又は周波数帯域に対して、復号されたBフォーマットFOAコンポーネント信号W、又は各々W及びYに対応する、単一のアップミックスチャネル又は２つのアップミックスチャネルのみを生成するようにSPARを修正することができる。このSPARの修正は、破棄されたチャネル（Y、Z、X、各々Z、X）に対する（SPARメタデータ内の）各々のアップミックス係数を０に設定することによって、及び／又は、２チャネルの例では、WからYへの予測を実行しないことによって、送信された予測残差信号Y’がYと同一になるように達成することができる。
【0036】
復号装置２００のDirACユニット２２０及び／又は２５０は、少なくとも選択されたT／Fタイル又は周波数帯域に対して、対応して減少した数の入力信号で動作するように修正することができる。DirAC合成ユニット２２０にとって、これは、使用されるプロトタイプ信号の数がそれに応じて減少することを意味する。１チャネルの例では、これは、DirAC合成が単一の（モノ）プロトタイプ信号に基づくことを意味し、２チャネルの例では、W及びY入力信号を用いて、DirAC合成器は、これらの信号を、プロトタイプ信号を得ることができる左／右ステレオ表現に変換することができる。（DirAC分析及びメタデータ生成ユニット２５０における）DirAC分析は、典型的には、これらのT／Fタイル又は周波数帯に対しては不可能である。従って、これらのT／Fタイル又はサブバンドに対して、DirACメタデータ１０４は、符号化装置１００において計算され、エンコーダビットストリーム１０６内で送信されるべきである。
【0037】
従って、復号装置２００は、アップミックスユニット２１０の出力信号２０１（すなわち、中間Ambisonics信号２０１）が（L+１）２個未満のチャネルを含むように、アップミックスユニット２１０内で部分的なアップミックスのみを実行するように構成することができる。この部分的にアップミックスされた中間Ambisonics信号２０１は、レンダリングのための出力オーディオ信号２１１、例えばバイノーラル又はステレオ出力信号を提供するために、DirAC合成ユニット２２０に渡すことができる。部分的なアップミックスは、複数のT／Fタイル又はサブバンドのサブセットに対して実行することができる。代替として、部分的なアップミックスは、T／Fタイル又はサブバンドの完全なセットに対して実行することができる。部分的なアップミックスを実行するオプションは、比較的低いビットレートで出力信号２１１の知覚オーディオ品質を向上させるために使用することができる。
【0038】
一例として、復号装置２００は、アップミックスユニット２１０の出力信号２０１がステレオ信号になるように、アップミックスユニット２１０内で部分的なアップミックスを実行するように構成することができる。代替として又は追加で、復号装置２００は、DirAC合成ユニット２２０をパススルー動作モードにするように構成することができる（この動作モードでは、DirAC合成ユニット２２０は、出力信号２０１を修正することなく、及び／又は出力信号２０１に対する操作を実行することなく、アップミックスユニット２１０の出力信号２０１を通過させる）。これにより、ステレオ出力信号２１１の効率的な生成が可能となる（例えば、２つのスピーカを持つマルチスピーカの場合）。
【0039】
結合されたSPAR及びDirAC符号化／復号システム１００、２００は、頭部追跡入力データを効率的に処理して、そのようなデータに応答して出力オーディオ信号２１１を調整（回転）するように構成することができる。一例では、比較的低次（例、FOA）のSPAR再構成中間Ambisonics信号２０１は、DirACユニット２２０、２５０に供給される前に、（頭部追跡データに従って）回転させることができる。これは、DirAC分析及びメタデータ生成が、復号装置２００で利用可能なSPAR再構成中間Ambisonics信号２０１のみに基づく場合、特に数値的に効率的である。数値的に効率の悪い代替手段は、DirAC合成後に（DirAC合成ユニット２２０で）高次Ambisonics信号２１１を回転させることである。DirACメタデータ１０４が符号化装置１００から（部分的に）受信された場合でも、このメタデータ１０４（検出された主音方向の方位角及び仰角を含む）は、頭部追跡装置から取得された回転角に基づいて、受信角度の追加調整を受けることができる。
【0040】
図３a及び３bは、SPARとDirACを結合した符号化装置１００及びSPARとDirAC、及びSPARとDirACを結合した復号装置２００の例を示す。符号化装置１００及び／又は復号装置２００は、ビットレートに応じてSPARエンコーダとDirACエンコーダとを切り換えるように構成することができる。図３a及び３bに示す符号化装置１００及び復号装置２００は、本明細書に記載されている相乗効果を提供するができない。
【0041】
図３aに示す符号化装置１００は、エンコーダビットストリーム１０６の（目標）ビットレート３０１に応じて、SPARエンコーダブランチ又は（代替的に）DirACエンコーダブランチを選択するように構成された選択ユニット３００を含む。一例として、ビットレート３０１が所定のビットレート閾値以下である場合、SPARエンコーダブランチを選択することができる。一方、ビットレート３０１がビットレート閾値より大きい場合、DirACエンコーダブランチを選択することができる。この結果、エンコーダビットストリーム１０６は、SPARエンコーダブランチからのビットストリーム１０２、１０５又はDirACエンコーダブランチからのビットストリーム３２５、１０４のいずれかを含む。
【0042】
DirACエンコーダブランチは、Ambisonics入力オーディオ信号１０１の複数の入力チャネル信号を１つ以上のトランスポートチャネル信号３２４にダウンミックスするように構成されたダウンミックスユニット３２１を含むことができる。１つ以上のトランスポートチャネル信号３２４は、任意の（シングルチャネル、デュアルチャネル、又はマルチチャネル）波形エンコーダ３２２を使用して符号化することができ、それによってコアオーディオビットストリーム３２５を提供する。
【0043】
図３bは、SPARデコーダブランチ及び別個のDirACデコーダブランチを含む対応する復号装置２００を示しており、これらは両方とも、復号装置２００の出力信号２１１を提供するために（エンコーダビットストリーム１０６のビットレート３０１に依存して）選択することができる出力信号を生成するように構成されている。
【0044】
SPARデコーダブランチは、ステレオ信号又はバイノーラル信号などの（中間Ambisonics信号２０１とは異なる）代替出力信号３１１を生成するように構成されたオプションのレンダリングユニット３２０を含むことができる。選択ユニット３７１は、中間Ambisonics信号２０１と代替出力信号３１１との間で選択するために提供することができる。
【0045】
DirACデコーダブランチは、通常、DirACメタデータビットストリーム１０４からDirACメタデータ３０４を生成するように構成されたメタデータデコーディングユニット３４０を含む。更に、DirACデコーダブランチは、コアオーディオビットストリーム３２５に基づいて（１つ以上のトランスポートチャネル信号３２４に対応する）１つ以上の再構成トランスポートチャネル信号３４４を生成するように構成されたコアデコーダユニット３４２を含むことができる。１つ以上の再構成トランスポートチャネル信号３４４及びDirACメタデータ３０４は、DirAC合成ユニット３６０内で使用されて、出力信号（例えば、Ambisonics信号）を生成することができる。
【0046】
DirACデコーダブランチは、（レンダリングのために）出力信号を生成するためにDirAC合成ユニット３６０において使用され得る補助DirACメタデータ３５４を生成するために、１つ以上の再構成トランスポートチャネル信号３４４を分析するように構成されたDirACアナライザ及びメタデータ生成器３５０（ユニット３５０と同様又は同等）を更に含むことができる。DirAC合成ユニット３６０の出力信号は、（選択ユニット３７２、３００を使用して）復号装置２００の全体的な出力信号２１１として選択され得る。
【0047】
更に、DirACデコーダブランチは、（DirAC合成ユニット３６０の出力信号の代替として）代替出力信号を生成するように構成されたiレンダリングユニット３６１（又は調和内部レンダリングユニット）を含むことができる。代替出力信号は、（Ambisonics信号の代替として）バイノーラル信号又はステレオ信号であってもよい。レンダリングユニット３６１は、DirACメタデータ３０４、補助DirACメタデータ３５４、及び／又は再構成トランスポートチャネル信号３４４に基づいて代替出力信号を生成するように構成され得る。レンダリングユニット３６１は、図２の復号装置２００のDirAC合成ユニット２２０内に含まれ得る。
【0048】
図３aの符号化装置１００の構成要素の１つ以上が、図１の符号化装置１００内で使用され得ることに留意されたい。同様に、図３bの復号装置２００の構成要素の１つ以上が、図２及び／又は図４の復号装置２００内で使用され得る。
【0049】
図１の符号化装置１００において、SPAR波形エンコーダは、特にすべてのビットレートに対して、任意のコアオーディオコーディングツールを利用し得る。SPARは、すべてのビットレートに対してDirACと組み合わせて実行することができる。（DirAC合成ユニット２２０内の）DirAC復号は、すべてのビットレートに対してSPARによって再構成された中間Ambisonics信号２０１に依存することができる。
【0050】
DirACコーデックが通常１つ又は２つのトランスポートチャネルを使用する比較的低いビットレートでは、結合されたSPAR／DirACコーデックは、以下の動作に適合することができる：
FOA信号を再構成するためにエンコーダとデコーダの両方でDirAC操作を必要とする１つ又は２つのトランスポートチャネルを持つ特定の周波数帯域で動作する、及び／又は、
FOA信号の４つのSPAR再構成信号を持つ特定の他の周波数帯域で動作する。
FOA信号を再構成するためにエンコーダとデコーダの両方でDirAC操作を必要とする１つ又は２つのトランスポートチャネルを持つ特定の周波数帯域で動作する、及び／又は、
FOA信号の４つのSPAR再構成信号を持つ特定の他の周波数帯域で動作する。
【0051】
従って、FOAパススルーを提供することができる。
【0052】
特定の（比較的低い）ビットレートでは、結合されたSPAR／DirACコーデックは、低次のAmbisonics信号のSPAR再構成を持つ特定の周波数帯域で少なくとも動作し、元のAmbisonics次数を再構成するためにDirACに依存するように適合させることができる。従って、HOAパススルーを提供することができる。
【0053】
DirACは、SPARによって再構成された低次のAmbisonics信号に基づくオーディオ信号の空間解像度を増強するための主要なツールとして使用することができる。特に、
FOA及び／又はHOA入力オーディオ信号１０１は、HOAm、バイノーラル及び／又はLS（ラウドスピーカ）信号に変換することができ、出力Ambisonics次数mは入力Ambisonics次数nよりも大きい。
FOA及び／又はHOA入力オーディオ信号１０１は、HOAm、バイノーラル及び／又はLS（ラウドスピーカ）信号に変換することができ、出力Ambisonics次数mは入力Ambisonics次数nよりも大きい。
【0054】
内部及び／又は外部レンダラーのオプションを提供できる。例えば、
参照テストを使用した主観的な評価のために（想定される）参照レンダラーと同等に実行する内部レンダラー、
追加の遅延を発生させない内部レンダラー、及び／又は、
参照レンダラーに対する参照テストではテストできない高度な機能を提供する外部レンダラー。レンダラーは、パススルー性能を向上させることができる。
参照テストを使用した主観的な評価のために（想定される）参照レンダラーと同等に実行する内部レンダラー、
追加の遅延を発生させない内部レンダラー、及び／又は、
参照レンダラーに対する参照テストではテストできない高度な機能を提供する外部レンダラー。レンダラーは、パススルー性能を向上させることができる。
【0055】
ここで説明する結合されたSPAR／DirACコーデックは、スタンドアロンのSPARコーデック及びDirACコーデックと下位互換性があるように構成できる。特に、デコーダ側のDirAC合成モジュールがパススルー動作モードになっている場合は、元のSPAR動作を維持できる。更に、SPARモジュールがパススルー動作モードになっている場合は、（例えば、SPAR予測係数を０に設定することによって）元のDirAC動作を維持できる。
【0056】
FOAパススルーを提供することによって、厳密に品質対ビットレートの動作を向上させることができる。HOAパススルーを提供することによって、コーデックはHOA信号に対して純粋なSPARエンコーダの性能を実現できる。DirACの使用は、HOAコンテンツ（例えば、HOA４解像度）の効率的な生成を可能にする。結合されたSPAR／DirACシステムは、SPAR符号化モジュール内で生成される可能性のあるアクティブダウンミックスチャネルW*に依存する可能性があるため、低ビットレートで特に効率的に動作する。
【0057】
上述したように、SPAR及び／又はDirAC処理は、通常、異なるサブバンド及び／又はT／Fファイル内で実行される。この目的のために、１つ以上の異なるタイプのフィルタバンク（FB）を使用することができる。一例として、FB_Aと呼ばれる第１タイプのフィルタバンクを使用することができる。FB_Aは、QMF（quadrature mirror filter、直交ミラーフィルタ）フィルタバンク、特に複合低遅延フィルタバンク（Complex Low Delay Filter bank （CLDFB））であることができる。FB_Aは、サブバンドのセットにグループ化することができる６０個のチャネルを含むことができる。第２タイプのフィルタバンクは、FB_Bと呼ばれることができる。FB_Bは、修正DFTの異なるビンをサブバンドのセットにグループ化することができる修正DFT（Discrete Fourier Transform、離散フーリエ変換）の適用を含むナイキストフィルタバンクであることができる。フィルタバンクは、ブロック効果を回避するために、特定のオーバーラップ（例えば、１msのオーバーラップ）を有する時間ドメイン信号に適用することができる。FB_A（分析及び合成）は、２.５から５msの遅延を示すことができ、及び／又は、FB_B（分析及び合成）は、２msの遅延を示すことができる。
【0058】
第１例では、SPARエンコーダ１１０、１３０のダウンミックスユニット１１０は、SPARメタデータビットストリーム１０２を生成するためにFB_B分析を利用し、１つ以上のダウンミックスチャネル信号１０３を生成するためにFB_B合成を利用することができる。更に、DirACアナライザ及びメタデータエンコーダ１２０は、FB_A分析を利用することができる。デコーダ側では、SPARアップミックスユニット２１０は、中間（Ambisonics）信号２０１を生成するためにFB_B分析及びFB_B合成を利用することができる。更に、DirACユニット２２０、２５０は、中間（Ambisonics）信号２０１のFB_A分析、及び（DirAC処理の後の）FB_A合成を利用して、出力信号２１１を生成することができる。
【0059】
FB_B分析は、SPARエンコーダ１１０、１３０のダウンミックスユニット１１０の入力で実行することができ、FB_B合成は、SPARエンコーダ１１０、１３０のダウンミックスユニット１１０の出力（１つ以上のダウンミックスチャネル信号１０３を提供する出力）で実行することができる。更に、FB_A分析は、DirACアナライザ及びメタデータエンコーダ１２０の入力で実行することができる。更に、FB_B分析は、SPARアップミックスユニット２１０の入力（１つ以上の再構成ダウンミックスチャネル信号２０５の入力）で実行することができ、FB_B合成は、SPARアップミックスユニット２１０の出力で実行することができる。更に、FB_A分析は、（DirAC分析及びメタデータ生成ユニット２５０及び／又はDirAC合成ユニット２２０に入る前に）中間（Ambisonics）信号２０１で実行することができ、FB_A合成処理は、DirAC合成ユニット２２０の出力で実行することができる。
【0060】
更なる例では、Ambisonics入力オーディオ信号１０１は、（好ましくは、SPARエンコーダ１１０、１３０のダウンミックスユニット１１０及び／又はDirACアナライザ及びメタデータエンコーダ１２０に入る前に、SPAR処理及びDirAC処理の両方のために）FB_Bを使用して分析することができる。FB_B合成は、（SPARエンコーダ１１０、１３０のダウンミックスユニット１１０の出力において）１つ以上のダウンミックスチャネル信号１０３を生成するために使用することができる。復号装置２００は、第１例のフィルタバンク構成を使用することができる。
【0061】
好ましい例では、FB_B（又は代替的にFB_A）解析を使用して、（好ましくは、SPARエンコーダ１１０、１３０のダウンミックスユニット１１０及び／又はDirACアナライザ及びメタデータエンコーダ１２０に入る前に、SPAR及びDirAC処理のために）Ambisonics入力オーディオ信号１０１を解析することができる。FB_B（又は代替的にFB_A）合成は、１つ以上のダウンミックスチャネル信号１０３を生成するために使用することができる（及びSPARエンコーダ１１０、１３０のダウンミックスユニット１１０の出力において実行することができる）。デコーダ側では、FB_A（又は代替的にFB_B）解析を使用して、（SPARアップミックスユニット２１０の入力において）１つ以上の再構成ダウンミックスチャネル信号２０５を解析することができる。中間（Ambisonics）信号２０１は、フィルタバンクドメイン内のDirAC処理ユニット２５０、２２０に提供することができ、それによって、別のフィルタバンク動作の必要性を取り除くことができる。これにより、復号装置２００の処理負荷及び遅延を低減することができる。FB_A（又は代替的にFB_B）合成をDirAC合成ユニット２２０の出力において使用して、出力信号２１１を生成することができる。
【0062】
図５aは、Ambisonics入力オーディオ信号１０１を符号化する方法５００の例のフローチャートを示す。Ambisonics入力オーディオ信号１０１は、複数の異なる入力チャネル信号を含み、異なるチャネルは、異なるパンニング及び／又は球面基本関数、及び／又は異なる指向性パターンに関連することができる。例として、L次３D Ambisonics信号は、（L+１）２個のチャネルを含むことができる。１次Ambisonics（First Order Ambisonics （FOA））信号は、次数L=１のAmbisonics信号であり、高次Ambisonics（Higher Order Ambisonics （HOA））信号は、次数L>１のAmbisonics信号である。
【0063】
方法５００は、空間再構成（spatial reconstruction （SPAR））エンコーダ１１０、１３０と、指向性オーディオコーディング（directional audio coding （DirAC））アナライザ及びパラメータエンコーダ１２０とに（並列に）、入力オーディオ信号１０１を供給するステップ５０１を含む。
【0064】
SPARエンコーダ１１０、１３０は、サブバンド及び／又はQMFドメイン内のAmbisonics入力オーディオ信号１０１の複数の入力チャネル信号を、１つ以上のダウンミックスチャネル信号１０３にダウンミックスするように構成されてもよい。通常、ダウンミックスチャネル信号１０３の数は、入力チャネル信号の数よりも少ない。１つ以上のダウンミックスチャネル信号１０３は、オーディオビットストリーム１０５を提供するために、（波形）オーディオエンコーダ１３０によって符号化されてもよい。
【0065】
更に、SPARエンコーダ１１０、１３０は、サブバンド及び／又はQMFドメイン内のAmbisonics入力オーディオ信号１０１の表現に関連付けられたSPARメタデータビットストリーム１０２を生成するように構成されてもよい。SPARメタデータビットストリーム１０２は、（対応する復号装置２００において）１つ以上のダウンミックスチャネル信号１０３を、再構成された中間Ambisonics信号２０１の複数の再構成チャネル信号にアップミックスするように適合されてもよく、再構成された中間Ambisonics信号２０１の複数の再構成チャネル信号は、通常、Ambisonics入力オーディオ信号１０１の複数の入力チャネル信号に（一対一の関係で）対応する。
【0066】
SPARメタデータビットストリーム１０２を決定するために、１つ以上のダウンミックスチャネル信号１０３をサブバンドドメインに変換してもよく、及び／又はサブバンドドメイン内で処理してもよい。また、入力音オーディオ信号１０１の複数の入力チャネル信号をサブバンドドメイン（複数の異なる周波数帯域のサブバンドを含む）に変換してもよい。その後、SPARメタデータビットストリーム１０２は、特に、SPARメタデータビットストリーム１０２を使用して１つ以上のダウンミックスチャネル信号１０３のサブバンド信号をアップミックスすることによって、入力オーディオ信号１０１の複数の入力チャネル信号のサブバンド信号の近似値が得られるように、サブバンドごとに（例えば、周波数帯域ごと及び／又は時間／周波数タイルごとに）決定してもよい。異なるサブバンドに対する（すなわち、異なる周波数帯域及び／又は異なる時間／周波数タイルに対する）SPARメタデータを組み合わせて、SPARメタデータビットストリーム１０２を形成することができる。
【0067】
DirACアナライザ及びパラメータエンコーダ１２０は、サブバンド及び／又はQMFドメインのAmbisonics入力オーディオ信号１０１に対して到来方向分析（direction of arrival analysis （DoA））を実行して、Ambisonics入力オーディオ信号１０１の１つ以上の主要成分の到来方向を示すDirACメタデータビットストリーム１０４を決定するように構成されてよい。DirACメタデータビットストリーム１０４は、Ambisonics入力オーディオ信号１０１の１つ以上の主要成分の空間方向を示すことができる。DirACメタデータ１０４、特に１つ以上の主要成分の空間方向は、複数の異なる周波数帯域及び／又は複数の異なる時間／周波数タイルに対して生成することができる。
【0068】
方法５００は、SPARエンコーダ１１０、１３０の出力１０２、１０５と、DirACアナライザ及びパラメータエンコーダ１２０の出力１０４とに基づいて、エンコーダビットストリーム１０６を生成するステップ５０２を更に含む。DirACアナライザは、到来方向（DoA）分析及び／又は拡散性分析を実行するように構成することができる。言い換えると、DirAC分析は、DoA分析及び／又は拡散性分析を含むことができる。上述のように、SPARエンコーダ１１０、１３０の出力１０２、１０５は、SPARメタデータビットストリーム１０２及びSPARダウンミックスチャネル信号１０３のセットを示すオーディオビットストリーム１０５を含むことができる。DirACアナライザ及びパラメータエンコーダ１２０の出力１０４は、DirACメタデータビットストリーム１０４を含むことができる。エンコーダビットストリーム１０６を生成するステップ５０２は、SPARメタデータビットストリーム１０２、オーディオビットストリーム１０５、及びDirACメタデータビットストリーム１０４を、共通エンコーダビットストリーム１０６に多重化するステップを含むことができる。エンコーダビットストリーム１０６の表現は、（特に復号装置２００に）送信され、及び／又は記憶され得る。
【0069】
従って、知覚品質が向上した特に効率的なAmbisonicsオーディオエンコーダを提供するために、SPAR符号化及びDirAC符号化を併用する方法５００が記載される。方法５００に関連して、DirACコーディング方式によって提供されるデータは、DirACメタデータに限定され得る。一方、DirACコーディング方式の１つ以上のトランスポートチャネルは、SPARコーディング方式によって提供されるデータ（特に、１つ以上のダウンミックスチャネル信号及び／又はSPARメタデータ）によって置き換えられ得る。
【0070】
方法５００は、複数の周波数帯及び／又は複数の時間／周波数タイル内にサブバンドデータを生成することを含むことができ、サブバンドデータは、入力オーディオ信号１０１を表す。この目的のために、QMF及び／又はサブバンドフィルタバンクを使用することができる。
【0071】
更に、方法５００は、複数の周波数帯及び／又は複数の時間／周波数タイルのサブセットを選択することを含むことができる。周波数帯及び／又は時間／周波数タイルのサブセットは、所定の閾値周波数以上の周波数の周波数範囲に対応してよい。これは、ある（低い）周波数範囲についてはSPARメタデータに基づいて選択的に動作し、別の（高い）周波数範囲についてはDirACメタデータ１０４に基づいて動作することを可能にするために使用することができる。
【0072】
代替的に、又は追加的に、入力オーディオ信号１０１の特性に関する特性情報、特に入力オーディオ信号１０１のノイズのような特性又は音色に関する特性を（例えば、入力オーディオ信号１０１を分析することによって）決定することができる。次に、特性情報に基づいて、周波数帯及び／又は時間／周波数タイルのサブセットを選択することができる。特に、特性情報に基づいて、選択された周波数帯及び／又は時間／周波数タイルの周波数範囲の閾値周波数を決定することができる。
【0073】
次に、DirACアナライザ及びパラメータエンコーダ１２０の出力１０４、特にDirACメタデータビットストリーム１０４を、周波数帯及び／又は時間／周波数タイルの選択されたサブセットに対して、特に、周波数帯及び／又は時間／周波数タイルの選択されたサブセットに対してのみ決定することができる。
【0074】
換言すれば、DirACメタデータは、符号化装置１００において、複数の周波数帯全体及び／又は複数の時間／周波数タイル全体の縮小されたサブセットに対してのみ決定することができ、特に、音色特性を有しない及び／又はノイズのような特性を有する周波数帯及び／又は時間／周波数タイルに対して、及び／又は（ある閾値周波数以上の）上位周波数帯及び／又は時間／周波数タイルに対して決定することができる。これにより、特に効率的で高品質のAmbisonicsコーディングスキームを提供することができる。
【0075】
上述のように、SPAR処理及び／又はDirAC処理は、通常、サブバンド及び／又はフィルタバンクドメイン内で実行される。方法５００は、複数の周波数帯及び／又は複数の時間／周波数タイル内のサブバンドデータを生成することを含むことができ、サブバンドデータは、入力オーディオ信号１０１を表す。サブバンドデータは、分析フィルタバンクを使用して生成することができる。次に、サブバンドデータは、SPARメタデータビットストリーム１０２を生成するためにSPARエンコーダ１１０、１３０に提供され、DirACメタデータ１０４を生成するためにDirACアナライザ及びパラメータエンコーダ１２０に提供される。
【0076】
従って、単一の分析フィルタバンクを使用して、入力オーディオ信号１０１をフィルタバンクドメインに変換することができる。入力１０１信号は、異なるサブバンド（すなわち、サブバンドデータによって）に対する係数及び／又はサンプルによって、フィルタバンクドメインで表現することができる。このサブバンドデータは、SPAR処理及びDirAC処理のための基礎として使用することができ、それによって、特に効率的な符号化装置１００を提供する。
【0077】
方法５００は、合成フィルタバンクを使用して、SPARエンコーダ１１０、１３０内の１つ以上のダウンミックスチャネル信号１０３を生成するステップを含んでよい。分析フィルタバンク及び合成フィルタバンクは、（場合によっては完全再構成）分析／合成フィルタバンクを形成することができる。１つ以上のダウンミックスチャネル信号１０３は、コアオーディオエンコーダ１３０内で符号化される時間ドメイン信号であってもよい。
【0078】
従って、SPAR処理及びDirAC処理を実行するために、単一の分析／合成フィルタバンク（例えば、ナイキスト又はQMFフィルタバンク）を符号化装置１００内で使用することができ、それによって、（知覚品質に影響を与えることなく）符号化装置１００の計算の複雑さを低減することができる。
【0079】
図５bは、Ambisonics入力オーディオ信号１０１を示すエンコーダビットストリーム１０６を復号する（コンピュータ実装）方法５１０の例のフローチャートを示す。方法５１０は、エンコーダビットストリーム１０６に基づき、空間再構成（SPAR）デコーダ２１０、２３０を使用して、中間Ambisonics信号２０１を生成するステップ５１１を含む。中間Ambisonics信号２０１は、入力オーディオ信号１０１と同じ次数Lを有することができる。中間Ambisonics信号２０１は、時間ドメイン信号であることができる。あるいは、中間Ambisonics信号２０１は、フィルタバンク又はサブバンドドメイン内で表されてもよい。
【0080】
SPARメタデータビットストリーム１０２及びオーディオビットストリーム１０５は、エンコーダビットストリーム１０６から抽出されてもよい。中間Ambisonics信号２０１は、次に、SPARデコーダ２１０、２３０を使用して、SPARメタデータビットストリーム１０２及びオーディオビットストリーム１０５から生成されてもよい。特に、再構成ダウンミックスチャネル信号２０５のセットは、（波形）オーディオデコーダ２３０を使用して、オーディオビットストリーム１０５から生成されてもよい。更に、再構成ダウンミックスチャネル信号２０５のセットは、アップミックスユニット２１０を使用して、SPARメタデータビットストリーム１０２に基づいて、中間Ambisonics信号２０１（複数の（特に（L+１）２個以下の）中間チャネル信号を含む）にアップミックスされてもよい。中間Ambisonics信号２０１の複数の中間チャネル信号は、典型的には、Ambisonics入力オーディオ信号１０１又はそのサブセットの複数の入力チャネル信号の再構成及び／又は近似である。
【0081】
更に、方法５００は、指向性オーディオコーディング（DirAC）合成器２２０（DirAC合成ユニットとも呼ばれる）を使用して、中間Ambisonics信号を処理し、レンダリングのための出力オーディオ信号２１１を提供することを含む。出力信号２１１は、Ambisonics出力信号、バイノーラル出力信号、ステレオ又はマルチスピーカ出力信号のうちの少なくとも１つを含むことができる。特に、DirACメタデータビットストリーム１０４は、エンコーダビットストリーム１０６から抽出することができる。中間Ambisonics信号２０１は、DirAC合成器２２０を使用して、DirACメタデータビットストリーム１０４に依存して処理されて、出力オーディオ信号２１１を提供することができる。
【0082】
上述したように、中間Ambisonics信号２０１は、時間ドメインで表現することができる。この場合、DirAC処理は、中間Ambisonics信号２０１をフィルタバンクドメインに変換するための分析フィルタバンクの適用を含むことができる。好ましい例では、（SPAR処理によって提供される）中間Ambisonics信号２０１は、フィルタバンクドメイン内で既に表現されている。これを行うことによって、（SPAR処理内の）合成フィルタバンクの適用及びその後の（DirAC処理内の）分析フィルタバンクの適用を除去することができ、それによって、復号装置２００の計算効率及び知覚品質を向上させることができる。
【0083】
従って、その後にDirAC合成操作（及び場合によってはDirAC分析操作）が続くSPAR復号を利用する復号方法５１０が記載される。SPAR復号を使用して、効率的かつ高品質な方法で、１つ以上のトランスポートチャネル（特に中間Ambisonics信号２０１）を提供することができる。DirAC合成器を使用して、柔軟な方法でオーディオ信号をレンダリングするための１つ以上の異なるタイプの出力信号２１１を提供することができる。この文脈において、（DirACメタデータ内に含まれる）入力オーディオ信号１０１の１つ以上の主要成分のDoAデータを使用して、出力信号２１１を生成することができる。
【0084】
DirACメタデータは、エンコーダビットストリーム１０６内に（少なくとも部分的に）提供することができる。代替的に、又は追加的に、DirACメタデータは、復号装置２００で（少なくとも部分的に）生成することができる。
【0085】
従って、方法５１０は、DirACアナライザ２５０内で（すなわち、DirAC分析及びメタデータ生成ユニット２５０内で）中間Ambisonics信号２０１を処理して、補助DirACメタデータ２０４を生成することを含むことができる。この文脈において、DoA分析を実行して、中間Ambisonics信号２０１の１つ以上の主要成分のDoAを示す補助DirACメタデータ２０４を決定することができる。
【0086】
中間Ambisonics信号２０１は、DirAC合成器２２０を使用して、補助DirACメタデータ２０４に依存して処理されて、出力オーディオ信号２１１を提供することができる。復号装置２００で決定されたDirACメタデータを使用することによって、Ambisonicsコーデックの効率を更に改善することができる。
【0087】
上述のように、（SPAR及び／又はDirAC）メタデータは、通常、複数の異なる周波数帯域及び／又は時間／周波数タイルに対して生成される。コーデックは、符号化装置１００で異なる周波数帯域及び／又は時間／周波数タイルの一部について、及び復号装置２００で異なる周波数帯域及び／又は時間／周波数タイルの他の一部について、DirACメタデータを生成するように構成することができる（特に、相補的かつ／又は相互排他的な方法で）。これにより、Ambisonicsコーデックの効率及び品質を更に改善することができる。
【0088】
方法５１０は、（例えば、サブバンド変換及び／又はQMFフィルタバンクを用いて）複数の周波数帯域及び／又は複数の時間／周波数タイル内のサブバンドデータを生成することを含むことができ、サブバンドデータは、（フィルタバンク又はサブバンドドメイン内の）中間Ambisonics信号２０１を表す。更に、方法５１０は、複数の周波数帯及び／又は複数の時間／周波数タイルのサブセットを選択することを含むことができる。
【0089】
所定の閾値周波数以上の周波数の周波数範囲に対応する周波数帯及び／又は時間／周波数タイルのサブセットが選択されてよい。
【0090】
代替的に、又は追加的に、入力オーディオ信号１０１及び／又は中間Ambisonics信号２０１の特性に関する特性情報、特に入力オーディオ信号１０１及び／又は中間Ambisonics信号２０１のノイズのような特性又は音色に関する特性を、例えば中間Ambisonics信号２０１を分析することによって決定することができる。次に、特性情報に基づいて、周波数帯及び／又は時間／周波数タイルのサブセットを決定することができる。特に、サブセットを選択するための閾値周波数は、特性情報に基づいて決定することができる。
【0091】
方法５１０は、サブバンドデータに基づいて、周波数帯及び／又は時間／周波数タイルの選択されたサブセットについて、特に、周波数帯及び／又は時間／周波数タイルの選択されたサブセットのみについて、補助DirACメタデータ２０４を決定することを更に含むことができる。
【0092】
従って、補助DirACメタデータ２０４は、周波数帯及び／又は時間／周波数タイルの縮小されたサブセットについて、復号装置２００で直接生成することができる（これらの周波数帯及び／又は時間／周波数タイルについてDirACメタデータを送信する必要はない）。これは、低周波数帯の場合であってもよい。これにより、Ambisonicsコーデックの効率を更に改善することができる。
【0093】
方法５１０は、特に頭部追跡装置を使用して、（聴取環境内の）リスナーの頭部の（空間的）方向に関する方向データを決定することを含むことができる。回転操作は、方向データに応じて中間Ambisonics信号２０１に対して実行され、回転されたAmbisonics信号を生成することができる。従って、中間Ambisonics信号は、資源効率の良い方法でリスナーの頭部の方向を考慮するように回転させることができる。更に、補助DirACメタデータは、（回転されていない中間Ambisonics信号の代わりに）回転されたAmbisonics信号に基づいて生成されてもよい。
【0094】
回転された中間Ambisonics信号２０１は、次に、DirAC合成器２２０を使用して処理され、リスナーにレンダリングするための（回転された）出力オーディオ信号２１１を提供してもよい。これを行うことによって、ヘッドの回転を効率的かつ正確に考慮することができる。
【0095】
上述のように、DirACメタデータビットストリーム（すなわちDirACメタデータ）１０４をエンコーダビットストリーム１０６から抽出することができる。方法５１０は、回転DirACメタデータビットストリーム（すなわち回転DirACメタデータ）を生成するために、方向データに応じてDirACメタデータビットストリーム（すなわち、DirACメタデータ）１０４に対して回転操作を実行することを含むことができる。中間Ambisonics信号２０１又はそこから派生したAmbisonics信号（特に回転Ambisonics信号）は、次に、DirAC合成器２２０を使用して、回転DirACメタデータビットストリームに応じて（すなわちDirACメタデータ上で）処理され、リスナーにレンダリングするための出力オーディオ信号２１１を提供することができる。これを行うことによって、ヘッドの回転を効率的かつ正確に考慮することができる。
【0096】
方法５１０は、DirAC合成器２２０を使用して、中間Ambisonics信号２０１からAmbisonics出力信号２１１を生成することを含むことができる。この目的のために、（エンコーダビットストリーム１０６からの）DirACメタデータビットストリーム１０４及び／又は（復号装置２００で生成された）補助DirACメタデータ２０４を使用することができる。Ambisonics出力信号２１１は、入力オーディオ信号１０１及び／又は中間Ambisonics信号２０１のAmbisonics次数よりも大きいAmbisonics次数Lを有することができる。これを行うことにより、Ambisonicsオーディオレンダリングの品質及び柔軟性を効率的に改善することができる。
【0097】
上述のように、方法５１０は、エンコーダビットストリーム１０６からオーディオビットストリーム１０５を抽出し、（コア）オーディオデコーダ２３０を使用してオーディオビットストリーム１０５から再構成ダウンミックスチャネル信号２０５のセットを生成することを含むことができる。言い換えれば、再構成ダウンミックスチャネル信号２０５のセットをエンコーダビットストリーム１０６から導出することができる。
【0098】
方法５１０は、分析フィルタバンクを再構成ダウンミックスチャネル信号２０５のセットに適用して、（時間ドメインからの）再構成ダウンミックスチャネル信号２０５のセットをフィルタバンクドメインに変換することを更に含むことができる。分析フィルタバンクは、１つ以上の異なる再構成ダウンミックスチャネル信号２０５を、サブバンドのセットにグループ化することができる異なる周波数チャネル又は周波数ビンに変換するように構成することができる。１つ以上の異なる再構成ダウンミックスチャネル信号２０５は、フィルタバンクドメイン内で、異なるサブバンドに対するサンプル及び／又は係数として表すことができる。
【0099】
更に、方法５１０は、フィルタバンクドメイン内の再構成ダウンミックスチャネル信号２０５のセットに基づいて、フィルタバンクドメイン内で表される中間Ambisonics信号２０１を生成するステップ５１１を含むことができる。この目的のために、（SPARメタデータビットストリーム１０２を使用する）アップミックス操作を実行することができる。中間Ambisonics信号２０１は、フィルタバンクドメイン内で、異なるサブバンドに対するサンプル及び／又は係数として表すことができる。
【0100】
方法５１０は、DirAC合成器２２０を使用して、フィルタバンクドメイン内で表される中間Ambisonics信号２０１を処理するステップ５１２を更に含むことができる。従って、DirAC合成器２２０（及び場合によってはDirACアナライザ２５０）は、（別のフィルタバンク動作を実行する必要なしに）フィルタバンクドメイン内で表される中間Ambisonics信号２０１を直接操作することができる。これにより、（フィルタバンクドメイン内で既に表されている）DirACメタデータ１０４、２０４を、フィルタバンクドメイン内で表される中間Ambisonics信号２０１に直接適用することができる。
【0101】
従って、復号装置２００は、単一の分析フィルタバンクを使用して、１つ以上の再構成ダウンミックス信号２０５をフィルタバンクドメインに変換することができる。その後、SPARアップミキシング及び／又はDirAC処理を、同じフィルタバンクドメイン内で直接提供することができる。これにより、特に効率的な復号装置２００を提供することができる。更に、復号装置２００のオーディオ品質を改善することができる。
【0102】
方法５１０は、更に、DirAC合成器２２０を使用してフィルタバンクドメイン内で表される中間Ambisonics信号２０１を処理して、フィルタバンクドメイン内で表される出力信号２１１を生成することを含むことができる５１２。上述のように、DirAC合成は、１つ以上の再構成ダウンミックス信号２０５に適用される分析フィルタバンクのフィルタバンクドメイン内で直接実行することができ、それによって、このフィルタバンクドメイン内で出力信号２１１を生成する。出力信号２１１は、フィルタバンクドメイン内で、フィルタバンクドメインの異なるサブバンドに対するサンプル及び／又は係数として表すことができる。
【0103】
更に、方法５１０は、フィルタバンクドメイン内で表される出力信号２１１に合成フィルタバンクを適用して、時間ドメイン内で出力信号２１１を生成することを含むことができる。分析フィルタバンク及び合成フィルタバンクは、典型的には、結合分析／合成フィルタバンク、特に完全再構成分析／合成フィルタバンクを形成する。一例として、分析フィルタバンク及び合成フィルタバンクは、ナイキストフィルタバンク又はQMF（quadrature mirror filter、直交ミラーフィルタ）フィルタバンクであってもよい。
【0104】
エンコーダビットストリーム１０６は、第１タイプのフィルタバンク、特にナイキストフィルタバンクを使用して生成されてもよい。（復号装置２００で使用される）分析フィルタバンクは、第１タイプとは異なる第２タイプのフィルタバンク、特にQMFフィルタバンクであってもよい。第１タイプのフィルタバンクの周波数帯域境界は、第２タイプのフィルタバンクの対応する周波数帯域境界に調整及び／又は整合されることが好ましい。
【0105】
従って、異なるタイプの分析／合成フィルタバンクを符号化装置１００及び復号装置２００で使用してもよい。これにより、コーデックの待ち時間を可能な限り低く維持しながら、コーデック全体の知覚品質を更に改善することができる。
【0106】
（時間ドメイン内又はフィルタバンクドメイン内の）中間Ambisonics信号２０１は、元のAmbisonics入力オーディオ信号１０１よりも少ないチャネルを含むことができる。言い換えると、SPARデコーダ２１０、２３０を使用して、部分的なアップミックス動作（のみ）を実行して、Ambisonics入力オーディオ信号１０１よりも少ないチャネルを含む中間Ambisonics信号２０１を生成することができる。
【0107】
部分的なアップミックス動作は、複数のサブバンド及び／又は複数の時間／周波数タイルを有するフィルタバンクドメイン内で実行することができる。中間Ambisonics信号２０１は、複数のサブバンドのすべて及び／又は複数の時間／周波数タイルのすべてについて、Ambisonics入力オーディオ信号１０１よりも少ないチャネルを含むことができる。代替として、中間Ambisonics信号２０１は、複数のサブバンド及び／又は複数の時間／周波数タイルのサブセットのみについて、Ambisonics入力オーディオ信号１０１よりも少ないチャネルを含むことができる。
【0108】
従って、復号装置２００は、SPARデコーダ２１０、２３０に、元のAmbisonics入力オーディオ信号１０１のチャネルのサブセットのみを生成させるように構成されてもよい。例えば、エンコーダビットストリーム１０６のビットレートが所定のビットレート閾値（例えば、６４kbs）と等しいか、又はそれよりも小さい場合である。次に、このチャネルのサブセットをDirAC合成２２０内で使用して、出力信号２１１を生成することができる。これにより、デコーダ動作の数値的複雑性及びメモリ要件を低減しながら、オーディオ品質を（比較的低いビットレートで）向上させることができる。
【0109】
復号装置２００は、DirAC合成器２２０をパススルー動作モードにするように、及び／又はDirAC合成器２２０をバイパスするように構成されてもよい。これは、中間Ambisonics信号２０１がレンダリングのための出力オーディオ信号２１１に対応するように行われてもよい（ここで、中間Ambisonics信号２０１は、例えば、部分的なアップミックス動作に起因するステレオ信号に対応することができる）。これにより、ステレオ出力を効率的な方法で提供することができる。
【0110】
「メタデータ」及び「メタデータビットストリーム」という用語は、「メタデータ」を参照する場合は「メタデータビットストリーム」を（も）指し、及び／又は「メタデータビットストリーム」を参照する場合は「メタデータ」を（も）指すように、本明細書内では交換可能な方法で使用されていることに留意されたい。
【0111】
ここに記載されるシステムの態様は、デジタル又はデジタルかされたオーディオファイルを処理する適切なコンピュータに基づく音声処理ネットワーク環境で実施されてよい。適応型オーディオシステムの部分は、コンピュータの間で送信されるデータをバッファリング及びルーティングするよう機能する１つ以上のルータ（図示しない）を含む任意の所望の数の個別機械を含む１つ以上のネットワークを含んでよい。このようなネットワークは、種々の異なるネットワークプロトコル上で構築されてよく、インターネット、広域ネットワーク（Wide Area Network （WAN））、ローカルエリアネットワーク（Local Area Network （LAN））、又はそれらの任意の組合せであってよい。
【0112】
コンポーネント、ブロック、プロセス、又は他の機能的コンポーネントのうちの１つ以上は、システムのプロセッサに基づくコンピューティング装置の実行を制御するコンピュータプログラムを通じて実装されてよい。また、留意すべきことに、ここに開示した種々の機能は、ハードウェア、ファームウェア、及び／又は種々の機械可読若しくはコンピュータ可読媒体の中に具現化されたデータ及び／又は命令として、それらの動作の観点で、レジスタトランスファ、論理コンポーネント、及び／又は他の特性、の任意の数の組合せを用いて記載され得る。このようなフォーマットされたデータ及び／又は命令が具現化されるコンピュータ可読媒体は、限定ではないが、光、磁気、又は半導体記憶媒体のような、種々の形式の物理的（非一時的）不揮発性記憶媒体を含む。
【0113】
１つ以上の実装が例として、特定の実施形態の観点で記載されたが、１つ以上の実装は、開示された実施形態に限定されないことが理解されるべきである。これに対して、これの実装は、当業者に明らかなように、種々の変形及び同様の構成をカバーすることを意図する。従って、添付の請求の範囲は、全部のこのような変形及び同様の構成を包含するように、最も広く解釈されるべきである。
【0114】
本発明の種々の態様及び実装は、請求されない以下に列挙する例示的な実施形態（enumerated example embodiment：EEE）からも理解できる。
【0115】
（EEE１）Ambisonics入力オーディオ信号を符号化する方法（５００）であって、前記方法（５００）は、
前記入力オーディオ信号（１０１）をSPARエンコーダ（１１０、１３０）とDirACアナライザ及びパラメータエンコーダ（１２０）とに提供するステップ（５０１）と、
前記SPARエンコーダ（１１０、１３０）の出力（１０２、１０５）に基づいて、かつ前記DirACアナライザ及びパラメータエンコーダ（１２０）の出力（１０４）に基づいて、エンコーダビットストリーム（１０６）を生成するステップ（５０２）と、
を含む方法。
前記入力オーディオ信号（１０１）をSPARエンコーダ（１１０、１３０）とDirACアナライザ及びパラメータエンコーダ（１２０）とに提供するステップ（５０１）と、
前記SPARエンコーダ（１１０、１３０）の出力（１０２、１０５）に基づいて、かつ前記DirACアナライザ及びパラメータエンコーダ（１２０）の出力（１０４）に基づいて、エンコーダビットストリーム（１０６）を生成するステップ（５０２）と、
を含む方法。
【0116】
（EEE２）前記SPARエンコーダ（１１０、１３０）の出力（１０２、１０５）が、SPARメタデータビットストリーム（１０２）と、SPARダウンミックスチャネル信号（１０３）のセットを示すオーディオビットストリーム（１０５）とを含み、及び／又は、
前記DirACアナライザ及びパラメータエンコーダ（１２０）の出力（１０４）は、DirACメタデータビットストリーム（１０４）を含む、EEE１に記載の方法（５００）。
前記DirACアナライザ及びパラメータエンコーダ（１２０）の出力（１０４）は、DirACメタデータビットストリーム（１０４）を含む、EEE１に記載の方法（５００）。
【0117】
（EEE３）前記エンコーダビットストリーム（１０６）を生成するステップ（５０２）は、前記SPARメタデータビットストリーム（１０２）、前記オーディオビットストリーム（１０５）、及び前記DirACメタデータビットストリーム（１０４）を、共通エンコーダビットストリーム（１０６）に多重化するステップを含む、EEE２に記載の方法（５００）。
【0118】
（EEE４）前記エンコーダビットストリーム（１０６）の表現を、特に復号装置（２００）に送信し、及び／又は前記エンコーダビットストリーム（１０６）の表現を格納するステップ、を更に含むEEE１～３のいずれかに記載の方法（５００）。
【0119】
（EEE５）前記方法（５００）は、
前記入力オーディオ信号（１０１）を表す複数の周波数帯及び／又は複数の時間／周波数タイル内のサブバンドデータを生成するステップと、
前記複数の周波数帯及び／又は前記複数の時間／周波数タイルのサブセットを選択するステップと、
前記サブバンドデータに基づいて、周波数帯及び／又は時間／周波数タイルの選択された前記サブセットについて、特に周波数帯及び／又は時間／周波数タイルの選択された前記サブセットのみについて、前記DirACアナライザ及びパラメータエンコーダ（１２０）の出力（１０４）、特にDirACメタデータビットストリーム（１０４）を決定するステップと、
を含むEEE１～４のいずれかに記載の方法（５００）。
前記入力オーディオ信号（１０１）を表す複数の周波数帯及び／又は複数の時間／周波数タイル内のサブバンドデータを生成するステップと、
前記複数の周波数帯及び／又は前記複数の時間／周波数タイルのサブセットを選択するステップと、
前記サブバンドデータに基づいて、周波数帯及び／又は時間／周波数タイルの選択された前記サブセットについて、特に周波数帯及び／又は時間／周波数タイルの選択された前記サブセットのみについて、前記DirACアナライザ及びパラメータエンコーダ（１２０）の出力（１０４）、特にDirACメタデータビットストリーム（１０４）を決定するステップと、
を含むEEE１～４のいずれかに記載の方法（５００）。
【0120】
（EEE６）前記方法（５００）は、
前記入力オーディオ信号（１０１）の特性、特に前記入力オーディオ信号（１０１）のノイズのような特性又は音色特性に関する特性情報を決定するステップと、
前記特性情報に基づいて、周波数帯及び／又は時間／周波数タイルの前記サブセットを選択するステップと、
を含むEEE５に記載の方法（５００）。
前記入力オーディオ信号（１０１）の特性、特に前記入力オーディオ信号（１０１）のノイズのような特性又は音色特性に関する特性情報を決定するステップと、
前記特性情報に基づいて、周波数帯及び／又は時間／周波数タイルの前記サブセットを選択するステップと、
を含むEEE５に記載の方法（５００）。
【0121】
（EEE７）周波数帯及び／又は時間／周波数タイルの前記サブセットは、所定の閾値周波数以上の周波数の周波数範囲に対応する、EEE５～６のいずれかに記載の方法（５００）。
【0122】
（EEE８）前記方法（５００）は、
分析フィルタバンクを使用して、前記入力オーディオ信号（１０１）を表す複数の周波数帯及び／又は複数の時間／周波数タイル内のサブバンドデータを生成するステップと、
SPARメタデータ（１０２）を生成するために前記SPARエンコーダ（１１０、１３０）に、及びDirACメタデータ（１０４）を生成するために前記DirACアナライザ及びパラメータエンコーダ（１２０）に、前記サブバンドデータを供給するステップと、
を含むEEE１～７のいずれかに記載の方法（５００）。
分析フィルタバンクを使用して、前記入力オーディオ信号（１０１）を表す複数の周波数帯及び／又は複数の時間／周波数タイル内のサブバンドデータを生成するステップと、
SPARメタデータ（１０２）を生成するために前記SPARエンコーダ（１１０、１３０）に、及びDirACメタデータ（１０４）を生成するために前記DirACアナライザ及びパラメータエンコーダ（１２０）に、前記サブバンドデータを供給するステップと、
を含むEEE１～７のいずれかに記載の方法（５００）。
【0123】
（EEE９）前記方法（５００）は、
合成フィルタバンクを使用して、前記SPARエンコーダ（１１０、１３０）内の１つ以上のダウンミックスチャネル信号（１０３）を生成するステップ、
を含むEEE８に記載の方法（５００）。
合成フィルタバンクを使用して、前記SPARエンコーダ（１１０、１３０）内の１つ以上のダウンミックスチャネル信号（１０３）を生成するステップ、
を含むEEE８に記載の方法（５００）。
【0124】
（EEE１０）Ambisonics入力オーディオ信号（１０１）を示すエンコーダビットストリーム（１０６）を復号する方法（５１０）であって、前記方法（５１０）は、
前記エンコーダビットストリーム（１０６）に基づいて、SPARデコーダ（２１０、２３０）を使用して中間Ambisonics信号（２０１）を生成するステップ（５１１）と、
DirAC合成器（２２０）を使用して中間Ambisonics信号（２０１）を処理して、レンダリングのための出力オーディオ信号（２１１）を提供するステップ（５１２）と、
を含む方法（５１０）。
前記エンコーダビットストリーム（１０６）に基づいて、SPARデコーダ（２１０、２３０）を使用して中間Ambisonics信号（２０１）を生成するステップ（５１１）と、
DirAC合成器（２２０）を使用して中間Ambisonics信号（２０１）を処理して、レンダリングのための出力オーディオ信号（２１１）を提供するステップ（５１２）と、
を含む方法（５１０）。
【0125】
（EEE１１）前記方法（５１０）は、
前記エンコーダビットストリーム（１０６）からSPARメタデータビットストリーム（１０２）及びオーディオビットストリーム（１０５）を抽出するステップと、
前記SPARデコーダ（２１０、２３０）を使用して前記SPARメタデータビットストリーム（１０２）及び前記オーディオビットストリーム（１０５）から前記中間Ambisonics信号（２０１）を生成するステップと、
を含むEEE１０に記載の方法（５１０）。
前記エンコーダビットストリーム（１０６）からSPARメタデータビットストリーム（１０２）及びオーディオビットストリーム（１０５）を抽出するステップと、
前記SPARデコーダ（２１０、２３０）を使用して前記SPARメタデータビットストリーム（１０２）及び前記オーディオビットストリーム（１０５）から前記中間Ambisonics信号（２０１）を生成するステップと、
を含むEEE１０に記載の方法（５１０）。
【0126】
（EEE１２）前記方法（５１０）は、
オーディオデコーダ（２３０）を使用して前記オーディオビットストリーム（１０５）から再構成ダウンミックスチャネル信号（２０５）のセットを生成するステップと、
アップミックスユニット（２１０）を使用して、前記SPARメタデータビットストリーム（１０２）に基づいて、再構成ダウンミックスチャネル信号（２０５）の前記セットを前記中間Ambisonics信号（２０１）にアップミックスするステップと、
を含むEEE１１に記載の方法（５１０）。
オーディオデコーダ（２３０）を使用して前記オーディオビットストリーム（１０５）から再構成ダウンミックスチャネル信号（２０５）のセットを生成するステップと、
アップミックスユニット（２１０）を使用して、前記SPARメタデータビットストリーム（１０２）に基づいて、再構成ダウンミックスチャネル信号（２０５）の前記セットを前記中間Ambisonics信号（２０１）にアップミックスするステップと、
を含むEEE１１に記載の方法（５１０）。
【0127】
（EEE１３）前記方法（５１０）は、
前記エンコーダビットストリーム（１０６）からDirACメタデータビットストリーム（１０４）を抽出するステップと、
前記DirAC合成器（２２０）を使用して前記DirACメタデータビットストリーム（１０４）に依存して前記中間Ambisonics信号（２０１）を処理して、前記出力オーディオ信号（２１１）を提供するステップ（５１２）と、
を含むEEE１０～１２のいずれかに記載の方法（５１０）。
前記エンコーダビットストリーム（１０６）からDirACメタデータビットストリーム（１０４）を抽出するステップと、
前記DirAC合成器（２２０）を使用して前記DirACメタデータビットストリーム（１０４）に依存して前記中間Ambisonics信号（２０１）を処理して、前記出力オーディオ信号（２１１）を提供するステップ（５１２）と、
を含むEEE１０～１２のいずれかに記載の方法（５１０）。
【0128】
（EEE１４）前記方法（５１０）は、
前記DirACアナライザ（２５０）内で前記中間Ambisonics信号（２０１）を処理して、補助DirACメタデータ（２０４）を生成するステップと、
前記DirAC合成器（２２０）を使用して前記補助DirACメタデータ（２０４）に依存して前記中間Ambisonics信号（２０１）を処理して、前記出力オーディオ信号（２１１）を提供するステップ（５１２）と、
を含むEEE１０～１３のいずれかに記載の方法（５１０）。
前記DirACアナライザ（２５０）内で前記中間Ambisonics信号（２０１）を処理して、補助DirACメタデータ（２０４）を生成するステップと、
前記DirAC合成器（２２０）を使用して前記補助DirACメタデータ（２０４）に依存して前記中間Ambisonics信号（２０１）を処理して、前記出力オーディオ信号（２１１）を提供するステップ（５１２）と、
を含むEEE１０～１３のいずれかに記載の方法（５１０）。
【0129】
（EEE１５）前記方法（５１０）は、
前記中間Ambisonics信号（２０１）を表す複数の周波数帯及び／又は複数の時間／周波数タイル内のサブバンドデータを生成するステップと、
前記複数の周波数帯及び／又は前記複数の時間／周波数タイルのサブセットを選択するステップと、
前記サブバンドデータに基づいて、周波数帯及び／又は時間／周波数タイルの選択された前記サブセットについて、特に周波数帯及び／又は時間／周波数タイルの選択された前記サブセットのみについて、前記補助DirACメタデータ（２０４）を決定するステップと、
を含むEEE１４に記載の方法（５１０）。
前記中間Ambisonics信号（２０１）を表す複数の周波数帯及び／又は複数の時間／周波数タイル内のサブバンドデータを生成するステップと、
前記複数の周波数帯及び／又は前記複数の時間／周波数タイルのサブセットを選択するステップと、
前記サブバンドデータに基づいて、周波数帯及び／又は時間／周波数タイルの選択された前記サブセットについて、特に周波数帯及び／又は時間／周波数タイルの選択された前記サブセットのみについて、前記補助DirACメタデータ（２０４）を決定するステップと、
を含むEEE１４に記載の方法（５１０）。
【0130】
（EEE１６）前記方法（５１０）は、
前記入力オーディオ信号（１０１）の及び／又は前記中間Ambisonics信号（２０１）の特性、特に前記入力オーディオ信号（１０１）の及び／又は前記中間Ambisonics信号（２０１）のノイズのような特性又は音色特性に関する特性情報を決定するステップと、
前記特性情報に基づいて、周波数帯及び／又は時間／周波数タイルの前記サブセットを選択するステップと、
を含むEEE１５に記載の方法（５１０）。
前記入力オーディオ信号（１０１）の及び／又は前記中間Ambisonics信号（２０１）の特性、特に前記入力オーディオ信号（１０１）の及び／又は前記中間Ambisonics信号（２０１）のノイズのような特性又は音色特性に関する特性情報を決定するステップと、
前記特性情報に基づいて、周波数帯及び／又は時間／周波数タイルの前記サブセットを選択するステップと、
を含むEEE１５に記載の方法（５１０）。
【0131】
（EEE１７）周波数帯及び／又は時間／周波数タイルの前記サブセットは、所定の閾値周波数以下の周波数の周波数範囲に対応する、EEE１５～１６のいずれかに記載の方法（５１０）。
【0132】
（EEE１８）前記方法（５１０）は、
前記入力オーディオ信号（１０１）の及び／又は前記中間Ambisonics信号（２０１）のAmbisonics次数よりも大きいAmbisonics次数を有するDirAC合成器（２２０）を使用して、前記中間Ambisonics信号（２０１）からAmbisonics出力信号（２１１）を生成するステップ、
を含むEEE１０～１７のいずれかに記載の方法（５１０）。
前記入力オーディオ信号（１０１）の及び／又は前記中間Ambisonics信号（２０１）のAmbisonics次数よりも大きいAmbisonics次数を有するDirAC合成器（２２０）を使用して、前記中間Ambisonics信号（２０１）からAmbisonics出力信号（２１１）を生成するステップ、
を含むEEE１０～１７のいずれかに記載の方法（５１０）。
【0133】
（EEE１９）前記出力信号（２１１）は、Ambisonics出力信号、バイノーラル出力信号、ステレオ又はマルチスピーカ出力信号のうちの少なくとも１つを含む、EEE１０～１８のいずれかに記載の方法（５１０）。
【0134】
（EEE２０）前記方法（５１０）は、
特に頭部追跡装置を使用して、リスナーの頭部の向きに関する方向データを決定するステップと、
前記方向データに応じて前記中間Ambisonics信号（２０１）に対して回転操作を実行し、回転Ambisonics信号を生成するステップと、
前記DirAC合成器（２２０）を使用して前記回転Ambisonics信号を処理して、前記リスナーにレンダリングするための前記出力オーディオ信号（２１１）を提供するステップと、
を含むEEE１０～１９のいずれかに記載の方法（５１０）。
特に頭部追跡装置を使用して、リスナーの頭部の向きに関する方向データを決定するステップと、
前記方向データに応じて前記中間Ambisonics信号（２０１）に対して回転操作を実行し、回転Ambisonics信号を生成するステップと、
前記DirAC合成器（２２０）を使用して前記回転Ambisonics信号を処理して、前記リスナーにレンダリングするための前記出力オーディオ信号（２１１）を提供するステップと、
を含むEEE１０～１９のいずれかに記載の方法（５１０）。
【0135】
（EEE２１）前記方法（５１０）は、
特に頭部追跡装置を使用して、リスナーの頭部の向きに関する方向データを決定するステップと、
前記エンコーダビットストリーム（１０６）からDirACメタデータ（１０４）を抽出するステップと、
前記方向データに応じて前記DirACメタデータ（１０４）に対して回転操作を実行し、回転DirACメタデータを生成するステップと、
前記DirAC合成器（２２０）を使用して前記回転DirACメタデータに従い前記中間Ambisonics信号（２０１）又は前記中間Ambisonics信号から導出されたAmbisonics信号を処理して、前記リスナーにレンダリングするための前記出力オーディオ信号（２１１）を提供するステップと、
を含むEEE１０～２０のいずれかに記載の方法（５１０）。
特に頭部追跡装置を使用して、リスナーの頭部の向きに関する方向データを決定するステップと、
前記エンコーダビットストリーム（１０６）からDirACメタデータ（１０４）を抽出するステップと、
前記方向データに応じて前記DirACメタデータ（１０４）に対して回転操作を実行し、回転DirACメタデータを生成するステップと、
前記DirAC合成器（２２０）を使用して前記回転DirACメタデータに従い前記中間Ambisonics信号（２０１）又は前記中間Ambisonics信号から導出されたAmbisonics信号を処理して、前記リスナーにレンダリングするための前記出力オーディオ信号（２１１）を提供するステップと、
を含むEEE１０～２０のいずれかに記載の方法（５１０）。
【0136】
（EEE２２）前記中間Ambisonics信号（２０１）は、前記Ambisonics入力オーディオ信号（１０１）よりも少ないチャネルを含み、及び／又は、
前記SPARデコーダ（２１０、２３０）は、前記Ambisonics入力オーディオ信号（１０１）よりも少ないチャネルを含む中間Ambisonics信号（２０１）を生成するために部分的アップミキシング動作を実行するために使用される、
EEE１０～２１のいずれかに記載の方法（５１０）。
前記SPARデコーダ（２１０、２３０）は、前記Ambisonics入力オーディオ信号（１０１）よりも少ないチャネルを含む中間Ambisonics信号（２０１）を生成するために部分的アップミキシング動作を実行するために使用される、
EEE１０～２１のいずれかに記載の方法（５１０）。
【0137】
（EEE２３）前記部分的アップミキシング動作は、複数のサブバンド及び／又は複数の時間／周波数タイルを有するフィルタバンクドメインにおいて実行され、
前記中間Ambisonics信号（２０１）は、前記複数のサブバンドのすべて及び／又は前記複数の時間／周波数タイルのすべてについて、前記Ambisonics入力オーディオ信号（１０１）よりも少ないチャネルを含み、又は、
前記中間Ambisonics信号（２０１）は、前記複数のサブバンド及び／又は前記複数の時間／周波数タイルのサブセットに対してのみ、前記Ambisonics入力オーディオ信号（１０１）よりも少ないチャネルを含む、
EEE２２に記載の方法（５１０）。
前記中間Ambisonics信号（２０１）は、前記複数のサブバンドのすべて及び／又は前記複数の時間／周波数タイルのすべてについて、前記Ambisonics入力オーディオ信号（１０１）よりも少ないチャネルを含み、又は、
前記中間Ambisonics信号（２０１）は、前記複数のサブバンド及び／又は前記複数の時間／周波数タイルのサブセットに対してのみ、前記Ambisonics入力オーディオ信号（１０１）よりも少ないチャネルを含む、
EEE２２に記載の方法（５１０）。
【0138】
（EEE２４）前記方法（５１０）は、
前記エンコーダビットストリーム（１０６）からオーディオビットストリーム（１０５）を抽出するステップと、
オーディオデコーダ（２３０）を使用して、前記オーディオビットストリーム（１０５）から再構成ダウンミックスチャネル信号（２０５）のセットを生成するステップと、
分析フィルタバンクを前記再構成ダウンミックスチャネル信号（２０５）のセットに適用して、前記再構成ダウンミックスチャネル信号（２０５）のセットをフィルタバンクドメインに変換するステップと、
前記フィルタバンクドメイン内の前記再構成ダウンミックスチャネル信号（２０５）のセットに基づいて、前記フィルタバンクドメインで表される中間Ambisonics信号（２０１）を生成するステップ（５１１）と、
前記DirAC合成器（２２０）を使用して前記フィルタバンクドメインで表される前記中間Ambisonics信号（２０１）を処理するステップ（５１２）と、
を含むEEE１０～２２のいずれかに記載の方法（５１０）。
前記エンコーダビットストリーム（１０６）からオーディオビットストリーム（１０５）を抽出するステップと、
オーディオデコーダ（２３０）を使用して、前記オーディオビットストリーム（１０５）から再構成ダウンミックスチャネル信号（２０５）のセットを生成するステップと、
分析フィルタバンクを前記再構成ダウンミックスチャネル信号（２０５）のセットに適用して、前記再構成ダウンミックスチャネル信号（２０５）のセットをフィルタバンクドメインに変換するステップと、
前記フィルタバンクドメイン内の前記再構成ダウンミックスチャネル信号（２０５）のセットに基づいて、前記フィルタバンクドメインで表される中間Ambisonics信号（２０１）を生成するステップ（５１１）と、
前記DirAC合成器（２２０）を使用して前記フィルタバンクドメインで表される前記中間Ambisonics信号（２０１）を処理するステップ（５１２）と、
を含むEEE１０～２２のいずれかに記載の方法（５１０）。
【0139】
（EEE２５）前記方法（５１０）は、
前記DirAC合成器（２２０）を使用して前記フィルタバンクドメインで表される前記中間Ambisonics信号（２０１）を処理して、前記フィルタバンクドメインで表される出力信号を（２１１）生成するステップ（５１２）と、
前記フィルタバンクドメインで表される前記出力信号（２１１）に合成フィルタバンクを適用して、時間ドメインの出力信号（２１１）を生成するステップと、
を含むEEE２４記載の方法（５１０）。
前記DirAC合成器（２２０）を使用して前記フィルタバンクドメインで表される前記中間Ambisonics信号（２０１）を処理して、前記フィルタバンクドメインで表される出力信号を（２１１）生成するステップ（５１２）と、
前記フィルタバンクドメインで表される前記出力信号（２１１）に合成フィルタバンクを適用して、時間ドメインの出力信号（２１１）を生成するステップと、
を含むEEE２４記載の方法（５１０）。
【0140】
（EEE２６）前記分析フィルタバンク及び前記合成フィルタバンクは、結合分析／合成フィルタバンク、特に完全再構成分析／合成フィルタバンクを形成し、及び／又は、
前記分析フィルタバンク及び前記合成フィルタバンクは、ナイキストフィルタバンク又はQMFフィルタバンクである、
EEE２５に記載の方法（５１０）。
前記分析フィルタバンク及び前記合成フィルタバンクは、ナイキストフィルタバンク又はQMFフィルタバンクである、
EEE２５に記載の方法（５１０）。
【0141】
（EEE２７）前記エンコーダビットストリーム（１０６）は、第１タイプのフィルタバンク、特にナイキストフィルタバンクを使用して生成されたものであり、
前記分析フィルタバンクは、前記第１タイプとは異なる第２タイプのフィルタバンク、特にQMFフィルタバンクである、
EEE２４～２６のいずれかに記載の方法（５１０）。
前記分析フィルタバンクは、前記第１タイプとは異なる第２タイプのフィルタバンク、特にQMFフィルタバンクである、
EEE２４～２６のいずれかに記載の方法（５１０）。
【0142】
（EEE２８）前記第１タイプのフィルタバンクの周波数帯域境界が、前記第２タイプのフィルタバンクの対応する周波数帯域境界に調整される、EEE２７に記載の方法（５１０）。
【0143】
（EEE２９）システムであって、
１つ以上のプロセッサと、
命令を格納する非一時的コンピュータ可読媒体であって、前記命令は、前記１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサにEEE１～２８のいずれかに記載の動作を実行させる、非一時的コンピュータ可読記憶媒体と、
を含むシステム。
１つ以上のプロセッサと、
命令を格納する非一時的コンピュータ可読媒体であって、前記命令は、前記１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサにEEE１～２８のいずれかに記載の動作を実行させる、非一時的コンピュータ可読記憶媒体と、
を含むシステム。
【0144】
（EEE３０）命令を格納する非一時的コンピュータ可読媒体であって、前記命令は、前記１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに、ＥＥＥ１～２８のいずれかに記載の動作を実行させる、非一時的コンピュータ可読媒体。
【0145】
（EEE３１）Ambisonics入力オーディオ信号（１０１）を符号化する符号化装置（１００）であって、前記符号化装置（１００）は、
前記入力オーディオ信号（１０１）をSPARエンコーダ（１１０、１３０）とDirACアナライザ及びパラメータエンコーダ（１２０）とに提供し、
前記SPARエンコーダ（１１０、１３０）の出力（１０２、１０５）に基づいて、かつ前記DirACアナライザ及びパラメータエンコーダ（１２０）の出力（１０４）に基づいて、エンコーダビットストリーム（１０６）を生成する、
ように構成される符号化装置（１００）。
前記入力オーディオ信号（１０１）をSPARエンコーダ（１１０、１３０）とDirACアナライザ及びパラメータエンコーダ（１２０）とに提供し、
前記SPARエンコーダ（１１０、１３０）の出力（１０２、１０５）に基づいて、かつ前記DirACアナライザ及びパラメータエンコーダ（１２０）の出力（１０４）に基づいて、エンコーダビットストリーム（１０６）を生成する、
ように構成される符号化装置（１００）。
【0146】
（EEE３２）前記Ambisonics入力オーディオ信号（１０１）は複数の入力チャネル信号を含み、前記SPARエンコーダ（１１０、１３０）は、
サブバンド及び／又はQMFドメインの前記複数の入力チャネル信号を１つ以上のダウンミックスチャネル信号（１３０）にダウンミックスし、
前記１つ以上のダウンミックスチャネル信号（１０３）を再構成Ambisonics信号（２０１）の複数の再構成チャネル信号にアップミックスするように適応された、前記サブバンド及び／又はQMFドメイン内のSPARメタデータビットストリーム（１０２）を生成する、
ように構成されている、EEE３１に記載の符号化装置（１００）。
サブバンド及び／又はQMFドメインの前記複数の入力チャネル信号を１つ以上のダウンミックスチャネル信号（１３０）にダウンミックスし、
前記１つ以上のダウンミックスチャネル信号（１０３）を再構成Ambisonics信号（２０１）の複数の再構成チャネル信号にアップミックスするように適応された、前記サブバンド及び／又はQMFドメイン内のSPARメタデータビットストリーム（１０２）を生成する、
ように構成されている、EEE３１に記載の符号化装置（１００）。
【0147】
（EEE３３）前記DirACアナライザ及びパラメータエンコーダ（１３０）は、サブバンド及び／又はQMFドメインのAmbisonics入力オーディオ信号（１０１）に対して到来方向分析を実行して、前記Ambisonics入力オーディオ信号（１０１）の１つ以上の主要成分の到来方向を示すDirACメタデータビットストリーム（１０４）を決定するように構成されている、EEE３１～３２のいずれかに記載の符号化装置（１００）。
【0148】
（EEE３４）Ambisonics入力オーディオ信号（１０１）を示すエンコーダビットストリーム（１０６）を復号する復号装置（２００）であって、前記復号装置（２００）は、
前記エンコーダビットストリーム（１０６）に基づいて、SPARデコーダ（２１０、２３０）を使用して中間Ambisonics信号（２０１）を生成し、
DirAC合成器（２２０）を使用して前記中間Ambisonics信号（２１０）を処理して、レンダリングのための出力オーディオ信号（２１１）を提供する、
ように構成される復号装置（２００）。
前記エンコーダビットストリーム（１０６）に基づいて、SPARデコーダ（２１０、２３０）を使用して中間Ambisonics信号（２０１）を生成し、
DirAC合成器（２２０）を使用して前記中間Ambisonics信号（２１０）を処理して、レンダリングのための出力オーディオ信号（２１１）を提供する、
ように構成される復号装置（２００）。
【0149】
（EEE３５）前記復号装置（２００）は、
前記DirAC合成器（２２０）をパススルー動作モードにする、及び／又は、
前記DirAC合成器（２２０）をバイパスする、
ように構成され、特に、前記中間Ambisonics信号（２０１）がレンダリング用の前記出力オーディオ信号（２１１）に対応するようにする、EEE３４に記載の復号装置（２００）。
前記DirAC合成器（２２０）をパススルー動作モードにする、及び／又は、
前記DirAC合成器（２２０）をバイパスする、
ように構成され、特に、前記中間Ambisonics信号（２０１）がレンダリング用の前記出力オーディオ信号（２１１）に対応するようにする、EEE３４に記載の復号装置（２００）。
【図1】
【図2】
【図3a】
【図3b】
【図4】
【図5a】
【図5b】
【国際調査報告】