特許 6205416 ノイズ削減のための多チャネルＨＯＡオーディオ信号をエンコードする方法および装置ならびにノイズ削減のための多チャネルＨＯＡオーディオ信号をデコードする方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6205416

(24)【登録日】2017年9月8日

(45)【発行日】2017年9月27日

(54)【発明の名称】ノイズ削減のための多チャネルＨＯＡオーディオ信号をエンコードする方法および装置ならびにノイズ削減のための多チャネルＨＯＡオーディオ信号をデコードする方法および装置

(51)【国際特許分類】

   G10L 19/008 20130101AFI20170914BHJP

   H04S 3/02 20060101ALI20170914BHJP

   H04S 5/02 20060101ALI20170914BHJP

【ＦＩ】

   G10L19/008 100

   H04S3/02

   H04S5/02

【請求項の数】15

【全頁数】32

(21)【出願番号】特願2015-522077(P2015-522077)

(86)(22)【出願日】2013年7月16日

(65)【公表番号】特表2015-526759(P2015-526759A)

(43)【公表日】2015年9月10日

(86)【国際出願番号】EP2013065032

(87)【国際公開番号】WO2014012944

(87)【国際公開日】20140123

【審査請求日】2016年6月28日

(31)【優先権主張番号】12305861.2

(32)【優先日】2012年7月16日

(33)【優先権主張国】EP

(73)【特許権者】

【識別番号】510185767

【氏名又は名称】ドルビー・インターナショナル・アーベー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】ベーム，ヨーハネス

(72)【発明者】

【氏名】コルドン，スヴェン

(72)【発明者】

【氏名】クルーガー，アレクサンダー

(72)【発明者】

【氏名】ジャックス，ピーター

【審査官】 五貫 昭一

(56)【参考文献】

【文献】 特開２００１−２７５１９７（ＪＰ，Ａ）

【文献】 特表２００６−５０６９１８（ＪＰ，Ａ）

【文献】 特表２０１０−５２１９０９（ＪＰ，Ａ）

【文献】 特開２０１２−１３３３６６（ＪＰ，Ａ）

【文献】 特表２０１３−５２４５６４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｌ １９／００８

Ｈ０４Ｓ ３／０２

Ｈ０４Ｓ ５／０２

(57)【特許請求の範囲】

【請求項1】

ノイズ削減のための多チャネル高次アンビソニックス（HOA）オーディオ信号をエンコードする方法であって、
・逆適応的離散球面調和関数変換（DSHT）を使ってそれらのチャネルを脱相関させる段階であって、前記逆適応的DSHTは回転演算および逆DSHTを含み、前記回転演算は前記iDSHTの空間的サンプリング格子を回転させ、前記空間的サンプリング格子は、項

【数82】

の対数が最小化されるよう回転され、ここで、|Σ_WSdl,j|は、Σ_WSdの行インデックスlおよび列インデックスjをもつ要素の絶対値であり、σ²_SdlはΣ_WSdの対角要素であり、

【数83】

であり、W_Sdはオーディオ・チャネル数かけるブロック処理サンプル数のサイズをもつ行列であり、W_Sdは前記逆適応的DSHTの結果である、段階と；
・脱相関されたチャネルのそれぞれを知覚的にエンコードする段階と；
・回転情報をエンコードする段階であって、前記回転情報は前記回転演算を定義する三つの成分をもつ空間的ベクトル

【数84】

である、段階と；
・知覚的にエンコードされたオーディオ・チャネルおよびエンコードされた回転情報を送信または記憶する段階とを含む、
方法。

【請求項2】

前記逆適応的DSHTは、
・初期のデフォルト空間的サンプリング格子を選択する段階と；
・最も強い源方向を決定する段階と；
・M個の時間サンプルのブロックについて、ある単一の空間的サンプル位置が前記最も強い源方向に一致するよう前記空間的サンプリング格子を回転させる段階とを含む、
請求項１記載の方法。

【請求項3】

前記空間的ベクトルの三つの成分は角度θ_axis,φ_axis,φ_rotであり、θ_axis、φ_axisは、球座標における回転軸についての情報を定義し、暗黙的な半径が1であり、φ_rotは前記回転軸のまわりの回転角を定義し、前記角度は量子化され、エントロピー符号化され、あるエスケープ・パターンが、サイド情報（SI）を生成するために前に使われた値の再使用を指示する、請求項１または２記載の方法。

【請求項4】

・TFTフレーム化ユニットにおいて重なり合うデータ・ブロックを構築する段階と、
・各チャネルの係数に対して時間から周波数への変換を実行する段階と、
・スペクトル帯域化ユニットにおいて、時間から周波数への変換をされた周波数帯域を組み合わせてJ個の新しいスペクトル帯域を形成する段階と、
・複数の処理ブロックにおいて同時に前記スペクトル帯域の複数を処理する段階であって、各処理ブロックは逆適応的DSHTを実行し、前記逆適応的DSHTは回転演算および逆DSHTを含み、前記回転演算は前記iDSHTの空間的サンプリング格子を回転させる、段階と、
・時間から周波数への変換なしのチャネル独立な不可逆オーディオ圧縮を実行する段階とをさらに含む、
請求項１ないし３のうちいずれか一項記載の方法。

【請求項5】

削減されたノイズをもつ符号化された多チャネル高次アンビソニックス（HOA）オーディオ信号をデコードする方法であって、
・エンコードされた多チャネルHOAオーディオ信号およびチャネル回転情報を受領する段階であって、前記チャネル回転情報は回転演算を定義する三つの成分をもつ空間的ベクトル

【数85】

を含む、段階と；
・受領されたデータを圧縮解除する段階であって、知覚的デコードが使われ、知覚的にデコードされたチャネルが得られる段階と；
・適応的離散球面調和関数変換（DSHT）を使って各知覚的にデコードされたチャネルを空間的にデコードする段階であって、離散球面調和関数変換（DSHT）と、前記回転情報に基づく前記DSHTの空間的サンプリング格子の回転とが実行される、段階と；
・知覚的および空間的にデコードされたチャネルをマトリクス処理する段階であって、ラウドスピーカー位置にマッピングされる再生可能なオーディオ信号が得られる段階とを含む、
方法。

【請求項6】

前記適応的DSHTは、
・該適応的DSHTのための初期のデフォルト空間的サンプリング格子を選択する段階と、
・M個の時間サンプルのブロックについて、前記回転情報に従って前記デフォルト空間的サンプリング格子を回転させる段階と、
・回転された空間的サンプリング格子上で前記DSHTを実行する段階とを含む、
請求項５記載の方法。

【請求項7】

適応的DSHTを使って各チャネルを空間的にデコードする前記段階が、複数の空間的デコード・ユニットにおいて同時にすべてのチャネルについて行なわれ、当該方法がさらに、スペクトル帯域化解除する段階と、重複加算をもつ時間から周波数への変換の逆処理を実行する段階とを含む、請求項５または６記載の方法。

【請求項8】

前記チャネル回転情報は三つの角度θ_axis,φ_axis,φ_rotから構成され、θ_axis、φ_axisは、球座標における回転軸についての情報を定義し、暗黙的な半径が1であり、φ_rotは前記回転軸のまわりの回転角を定義する、請求項５ないし７のうちいずれか一項記載の方法。

【請求項9】

前記空間的ベクトルの三つの成分は量子化され、エントロピー符号化され、あるエスケープ・パターンが、サイド情報（SI）を生成するために前に使われた値の再使用を指示する、請求項５ないし８のうちいずれか一項記載の方法。

【請求項10】

ノイズ削減のための多チャネル高次アンビソニックス（HOA）オーディオ信号をエンコードする装置であって、
・逆適応的離散球面調和関数変換（DSHT）を使ってそれらのチャネルを脱相関させる脱相関器であって、前記逆適応的DSHTは回転演算ユニットおよび逆DSHT（iDSHT）を含み、回転演算は前記iDSHTの空間的サンプリング格子を回転させ、前記空間的サンプリング格子は、項

【数86】

の対数が最小化されるよう回転され、ここで、|Σ_WSdl,j|は、Σ_WSdの行インデックスlおよび列インデックスjをもつ要素の絶対値であり、σ²_SdlはΣ_WSdの対角要素であり、

【数87】

であり、W_Sdはオーディオ・チャネル数かけるブロック処理サンプル数のサイズをもつ行列であり、W_Sdは前記逆適応的DSHTの結果である、脱相関器と；
・脱相関されたチャネルのそれぞれを知覚的にエンコードする知覚的エンコーダと；
・回転情報をエンコードするサイド情報エンコーダであって、前記回転情報は前記回転演算を定義する三つの成分をもつ空間的ベクトル

【数88】

を含む、サイド情報エンコーダと；
・知覚的にエンコードされたオーディオ・チャネルおよびエンコードされた回転情報を送信または記憶するインターフェースとを有する、
装置。

【請求項11】

前記空間的ベクトルの三つの成分は角度θ_axis,φ_axis,φ_rotであり、θ_axis、φ_axisは、球座標における前記回転軸についての情報を定義し、暗黙的な半径が1であり、φ_rotは前記回転軸のまわりの回転角を定義し、前記角度は量子化され、エントロピー符号化され、あるエスケープ・パターンが、サイド情報（SI）を生成するために前に使われた値の再使用を指示する、請求項１０記載の装置。

【請求項12】

削減されたノイズをもつ多チャネル高次アンビソニックス（HOA）オーディオ信号をデコードする装置であって、
・エンコードされた多チャネルHOAオーディオ信号およびチャネル回転情報を受領するインターフェース手段であって、前記チャネル回転情報は回転演算を定義する三つの成分をもつ空間的ベクトル

【数89】

を含む、インターフェース手段と；
・各チャネルを知覚的にデコードする知覚的デコーダを用いて、受領されたデータを圧縮解除する圧縮解除モジュールと；
・適応的離散球面調和関数変換（aDSHT）を使って知覚的にデコードされたチャネルを相関させる相関器であって、離散球面調和関数変換（DSHT）と、前記回転情報に基づく前記DSHTの空間的サンプリング格子の回転とが実行される、相関器と；
・相関された、知覚的にデコードされたチャネルをマトリクス処理する混合器（MX）であって、ラウドスピーカー位置にマッピングされる再生可能なオーディオ信号が得られる混合器とを有する、
装置。

【請求項13】

前記適応的DSHTは、
・該適応的DSHTのための初期のデフォルト空間的サンプリング格子を選択する手段と；
・M個の時間サンプルのブロックについて、前記回転情報に従って前記デフォルト空間的サンプリング格子を回転させる回転処理手段と；
・回転された空間的サンプリング格子に対して前記DSHTを実行する変換処理手段とを有する、
請求項１２記載の装置。

【請求項14】

前記相関器が、適応的DSHTを使って各チャネルを同時に空間的にデコードする複数の空間的デコード・ユニットを有し、当該装置がさらに、スペクトル帯域化解除を実行するためのスペクトル帯域化解除ユニットと、重複加算をもつ時間から周波数への変換の逆処理を実行するiTFT&OLAユニットとを有し、前記スペクトル帯域化解除ユニットはその出力を前記iTFT&OLAユニットに与える、請求項１２または１３記載の装置。

【請求項15】

前記空間的ベクトルの三つの成分が量子化され、エントロピー符号化され、あるエスケープ・パターンが、サイド情報（SI）を生成するために前に使われた値の再使用を指示する、請求項１２ないし１４のうちいずれか一項記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ノイズ削減のための多チャネル高次アンビソニックス・オーディオ信号をエンコードする方法および装置ならびにノイズ削減のための多チャネル高次アンビソニックス・オーディオ信号をデコードする方法および装置に関する。

【背景技術】

【0002】

高次アンビソニックス（HOA: Higher Order Ambisonics）は多チャネル音場表現であり（非特許文献４）、HOA信号は多チャネル・オーディオ信号である。ある種の多チャネル・オーディオ信号表現、特にHOA表現の特定のラウドスピーカー・セットアップでの再生は、特殊なレンダリングを要求する。かかるレンダリングは通例、マトリクス処理（matrixing）動作からなる。デコード後、アンビソニックス信号は「マトリクス処理される」、すなわち、たとえばラウドスピーカーの実際の空間位置に対応する新たなオーディオ信号にマッピングされる。通例、それら単独チャネル間には高い相互相関がある。

【0003】

問題は、マトリクス処理動作後に符号化ノイズが増大することが経験されるということである。従来技術においてはその理由は知られていないようである。この効果は、知覚的符号化器による圧縮に先立ってたとえば離散球面調和関数変換（DSHT: Discrete Spherical Harmonics Transform）によってHOA信号が空間領域に変換されるときにも現われる。

【0004】

高次アンビソニックス・オーディオ信号表現の圧縮のための通例の方法は、個々のアンビソニックス係数チャネルに独立した知覚的符号化器を適用するというものである（非特許文献７）。特に、知覚的符号化器は、個々の各単独チャネル信号内に現われる符号化ノイズ・マスキング効果を考慮するのみである。しかしながら、そのような効果は典型的には非線形である。そのような単独チャネルをマトリクス処理して新しい信号にする場合、ノイズのマスキング解除が起こる可能性が高い。この効果は、知覚的符号化器による圧縮に先立って離散球面調和関数変換によって高次アンビソニックス信号が空間領域に変換されるときにも現われる。

【0005】

そのような多チャネル・オーディオ信号表現の伝送または記憶は通例、適切な多チャネル圧縮技法を要求する。通例、I個のデコードされた信号

【0006】

【数1】

をマトリクス処理して最終的にJ個の新しい信号

【0007】

【数2】

にする前に、チャネル独立な知覚的デコードが実行される。マトリクス処理という用語は、デコードされた信号

【0008】

【数3】

を重み付けされた仕方で加算または混合することを意味する。すべての信号

【0009】

【数4】

およびすべての新しい信号

【0010】

【数5】

を

【0011】

【数6】

のようにベクトルに配置すると、用語「マトリクス処理」は、新しい信号が数学的にはもとの信号から行列〔マトリクス〕演算

【0012】

【数7】

を通じて得られるという事実に由来している。ここで、Aは混合重みから構成される混合行列を表わす。用語「混合」および「マトリクス処理」は本稿では同義に使われる。混合／マトリクス処理は、何らかの特定のラウドスピーカー・セットアップのためにオーディオ信号をレンダリングする目的のために使われる。マトリクスが依存する特定の個別的なラウドスピーカー・セットアップ、よってレンダリングの際にマトリクス処理のために使われる行列は、通例、知覚的符号化の段階では知られていない。

【先行技術文献】

【特許文献】

【0013】

【特許文献1】Peter Jax, Jan-Mark Batke, Johannes Boehm, and Sven Kordon. Perceptual coding of HOA signals in spatial domain. 欧州特許出願EP2469741A1 (PD100051)

【非特許文献】

【0014】

【非特許文献1】T.D. Abhayapala. Generalized framework for spherical microphone arrays: Spatial and frequency decomposition. In Proc. IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), (受理) Vol.X, pp. , April 2008, Las Vegas, USA

【非特許文献2】James R. Driscoll and Dennis M. Healy Jr. Computing fourier transforms and convolutions on the 2-sphere. Advances in Applied Mathematics, 15:202- 250, 1994

【非特許文献3】J¨org Fliege. Integration nodes for the sphere, http://www.personal.soton.ac.uk/jf1w07/nodes/nodes.html

【非特許文献4】J¨org Fliege and Ulrike Maier. A two-stage approach for computing cubature formulae for the sphere. Technical Report, Fachbereich Mathematik, Universit¨at Dortmund, 1999

【非特許文献5】R. H. Hardin and N. J. A. Sloane. Webpage: Spherical designs, spherical t-designs, http://www2.research.att.com/~njas/sphdesigns

【非特許文献6】R. H. Hardin and N. J. A. Sloane. Mclaren's improved snub cube and other new spherical designs in three dimensions. Discrete and Computational Geometry, 15:429-441 , 1996

【非特許文献7】Erik Hellerud, Ian Burnett, Audun Solvang, and U. Peter Svensson. Encoding higher order Ambisonics with AAC. In 124th AES Convention, Amsterdam, May 2008

【非特許文献8】Boaz Rafaely. Plane-wave decomposition of the sound field on a sphere by spherical convolution. J. Acoust. Soc. Am., 4(116):2149-2157, October 2004

【非特許文献9】Earl G. Williams. Fourier Acoustics, volume 93 of Applied Mathematical Sciences. Academic Press, 1999

【発明の概要】

【発明が解決しようとする課題】

【0015】

本発明は、ノイズ削減を得るよう多チャネル高次アンビソニックス・オーディオ信号のエンコードおよび／またはデコードへの改善を提供する。特に、本発明は、3Dオーディオ・レート圧縮について符号化ノイズのマスキング解除を抑制するすべを提供する。

【課題を解決するための手段】

【0016】

本発明は、（望まれない）ノイズ・マスキング解除効果を最小限にする適応的な離散球面調和関数変換（aDSHT: adaptive Discrete Spherical Harmonics Transform）のための技術を記述する。さらに、aDSHTが圧縮符号化器アーキテクチャ内にどのように統合できるかが記述される。記述される技術は、少なくともHOA信号について特に有利である。本発明の一つの利点は、伝送されるべきサイド情報の量が減らされるということである。原理的には、回転軸および回転角が伝送されるだけでよい。DSHTサンプリング格子は、伝送されるチャネル数によって間接的に伝達される。このサイド情報量は、相関行列の半分超が伝送される必要のあるカルーネン・レーベ変換（KLT）のような他のアプローチに比べて非常に少ない。

【0017】

本発明のある実施形態によれば、ノイズ削減のための多チャネルHOAオーディオ信号のエンコード方法は、逆適応的DSHTを使ってそれらのチャネルを脱相関させる段階であって、前記逆適応的DSHTは回転演算および逆DSHT（iDSHT）を含み、前記回転演算は前記iDSHTの空間的サンプリング格子を回転させる、段階と、脱相関されたチャネルのそれぞれを知覚的にエンコードする段階と、回転情報をエンコードする段階であって、前記回転情報は前記回転演算を定義するパラメータを含む、段階と、知覚的にエンコードされたオーディオ・チャネルおよびエンコードされた回転情報を送信または記憶する段階とを含む。逆適応的DSHTを使ってチャネルを脱相関させる段階は、原理的には、空間的エンコード段階である。

【0018】

本発明のある実施形態によれば、削減されたノイズをもつ符号化された多チャネルHOAオーディオ信号をデコードする方法は、エンコードされた多チャネルHOAオーディオ信号およびチャネル回転情報を受領する段階と、受領されたデータを圧縮解除する段階であって、知覚的デコードが使われる段階と、適応的DSHT（aDSHT）を使って各チャネルを空間的にデコードする段階と、知覚的および空間的にデコードされたチャネルを相関させる段階であって、前記回転情報に基づく前記aDSHTの空間的サンプリング格子の回転が実行される段階と、相関された、知覚的および空間的にデコードされたチャネルをマトリクス処理する段階とを含み、ラウドスピーカー位置にマッピングされる再生可能なオーディオ信号が得られる。

【0019】

多チャネルHOAオーディオ信号をエンコードする装置が請求項１１に開示される。多チャネルHOAオーディオ信号をデコードする装置が請求項１２に開示される。

【0020】

ある側面では、コンピュータ可読媒体が、コンピュータに、上記で開示した段階を含むエンコード方法を実行させるまたは上記で開示した段階を含むデコード方法を実行させる実行可能命令を有する。本発明の有利な実施形態は従属請求項、以下の記述および図面において開示される。

【図面の簡単な説明】

【0021】

本発明の例示的な実施形態が付属の図面を参照して記述される。

【図1】M個の係数のブロックをレート圧縮する既知のエンコーダおよびデコーダを示す図である。

【図2】通常のDSHT（離散的球面調和関数変換）および通常の逆DSHTを使ってHOA信号を空間領域に変換する既知のエンコーダおよびデコーダを示す図である。

【図3】適応的DSHTおよび適応的逆DSHTを使ってHOA信号を空間領域に変換するエンコーダおよびデコーダを示す図である。

【図4】試験信号を示す図である。

【図5】エンコーダおよびデコーダの構成ブロックにおいて使われるコードブックのための球面サンプリング位置の例を示す図である。

【図6】信号適応的DSHT構成ブロック（pEおよびpD）を示す図である。

【図7】本発明の第一の実施形態を示す図である。

【図8】エンコード・プロセスおよびデコード・プロセスのフローチャートである。

【図9】本発明の第二の実施形態を示す図である。

【発明を実施するための形態】

【0022】

図２は、逆DSHTを使ってHOA信号が空間領域に変換される既知のシステムを示している。信号はiDSHT ２１を使った変換、レート圧縮E1／圧縮解除D1にかけられ、DSHT ２４を使って係数領域に再変換される（S24）。それとは異なり、図３は本発明のある実施形態に基づくシステムを示している。既知の解決策のDSHT処理ブロックは、それぞれ逆適応的DSHTおよび適応的DSHTを制御する処理ブロック３１、３４によって置き換えられる。サイド情報SIがビットストリームbs内で伝送される。システムは、多チャネルHOAオーディオ信号をエンコードする装置および多チャネルHOAオーディオ信号をデコードする装置の要素を有する。

【0023】

ある実施形態では、ノイズ削減のための多チャネルHOAオーディオ信号をエンコードする装置ENCは、逆適応的DSHT（iaDSHT）を使ってチャネルBを脱相関させる脱相関器３１を含み、逆適応的DSHTは回転演算ユニット３１１および逆DSHT（iDSHT）３１０を含む。回転演算ユニットはiDSHTの空間的サンプリング格子を回転させる。脱相関器３１は脱相関された（decorrelated）チャネルW_sdと、回転情報を含むサイド情報SIとを与える。さらに、この装置は、脱相関されたチャネルW_sdのそれぞれを知覚的にエンコードする知覚的エンコーダ３２と、回転情報をエンコードするサイド情報エンコーダ３２１を含む。回転情報は、前記回転演算を定義するパラメータを含む。知覚的エンコーダ３２は、知覚的にエンコードされたオーディオ・チャネルおよびエンコードされた回転情報を与え、こうしてデータ・レートを低下させる。最後に、このエンコード装置は、知覚的にエンコードされたオーディオ・チャネルおよびエンコードされた回転情報からビットストリームbsを生成し、該ビットストリームbsを送信または記憶するインターフェース手段３２０を有する。

【0024】

削減されたノイズをもつ多チャネルHOAオーディオ信号をデコードする装置DECは、エンコードされた多チャネルHOAオーディオ信号およびチャネル回転情報を受領するインターフェース手段３３０と、受領されたデータを圧縮解除する圧縮解除モジュール３３とを含む。圧縮解除モジュール３３は各チャネルを知覚的にデコードするための知覚的デコーダを含む。圧縮解除モジュール３３は復元された知覚的にデコードされたチャネルW'_sdおよび復元されたサイド情報SI'を与える。さらに、このデコード装置は、適応的DSHT（aDSHT）を使って知覚的にデコードされたチャネルW'_sdを相関させる相関器３４であって、DSHTおよび前記回転情報に基づくDSHTの空間的サンプリング格子の回転が実行される相関器と、相関された知覚的にデコードされたチャネルをマトリクス処理する混合器MXであって、ラウドスピーカー位置にマッピングされた再生可能なオーディオ信号が得られる混合器とを含む。少なくとも前記aDSHTは相関器３４内のDSHTユニット３４０において実行されることができる。ある実施形態では、空間的サンプリング格子の回転は格子回転ユニット３４１においてなされ、これは原理的にはもとのDSHTサンプリング点を再計算する。別の実施形態では、回転はDSHTユニット３４０内で実行される。

【0025】

以下では、マスキング解除（unmasking）を定義し、記述する数学的モデルが与えられる。I個のチャネルからなる所与の離散時間多チャネル信号x_i(m), i＝1,…,Iを想定する。mは時間サンプル・インデックスを表わす。個々の信号は実数値でも複素数値でもよい。時間サンプル・インデックスm_START＋1に始まるM個のサンプルのフレームを考える。ここで、個々の信号は定常的であると想定される。対応するサンプルは、行列X∈C^I×M内に

【0026】

【数8】

に従って配置される。(・)^Tは転置を表わす。対応する経験的相関行列は
Σ_X:＝XX^H (3)
によって与えられる。(・)^Hは合同的な複素共役および転置を表わす。

【0027】

ここで、上記多チャネル信号フレームが符号化され、それにより再構成時に符号化誤差ノイズを導入するとする。こうして、＾付きのXで表わされる再構成されるフレーム・サンプルの行列は、真のサンプル行列Xおよび符号化ノイズ成分Eから

【0028】

【数9】

のように構成される。

【0029】

各チャネルは独立に符号化されていると想定されるので、符号化ノイズ信号e_i(m)はi＝1,…,Iについて互いに独立であると想定できる。この性質およびノイズ信号の平均が0であるという想定を利用すると、ノイズ信号の経験的な相関行列は

【0030】

【数10】

として対角行列によって与えられる。この右辺は、対角線上に経験的なノイズ信号パワー

【0031】

【数11】

をもつ対角行列を表わす。さらなる本質的な想定は、符号化が、各チャネルについてあらかじめ定義された信号対雑音比（SNR）が満たされるように実行されるということである。一般性を失うことなく、該あらかじめ定義されたSNRは各チャネルについて等しい、すなわち

【0032】

【数12】

と想定する。

【0033】

これから、再構成された信号をJ個の新しい信号y_j(m), j＝1,…,Jにするマトリクス処理を考える。いかなる符号化誤差の導入もなければ、マトリクス処理された信号のサンプル行列は
Y＝AX (11)
によって表現されてもよい。ここで、A∈C^J×Iは混合行列を表わし、

【0034】

【数13】

である。しかしながら、符号化ノイズのため、マトリクス処理された信号のサンプル行列は

【0035】

【数14】

によって与えられる。ここで、Nはマトリクス処理されたノイズ信号のサンプルを含む行列である。それは次のように表現できる。

【0036】

【数15】

ここで、

【0037】

【数16】

は時間サンプル・インデックスmにおけるすべてのマトリクス処理されたノイズ信号のベクトルである。

【0038】

式(11)を利用すると、マトリクス処理されたノイズのない信号の経験的相関行列は次のように定式化できる。

【0039】

【数17】

よって、Σ_Yの対角線上のj番目の要素である、j番目のマトリクス処理されたノイズのない信号の経験的パワーは次のように書ける。

【0040】

【数18】

ここで、a_jは

【0041】

【数19】

のようなA^Hのj番目の列である。

【0042】

同様に、式(15)により、マトリクス処理されたノイズ信号の経験的相関行列は次のように書ける。

【0043】

【数20】

Σ_Nの対角線上のj番目の要素である、j番目のマトリクス処理されたノイズ信号の経験的パワーは次式によって与えられる。

【0044】

【数21】

従って、

【0045】

【数22】

によって定義されるマトリクス処理された信号の経験的SNRは、式(19)および(22)を使って、次のように定式化し直すことができる。

【0046】

【数23】

Σ_Xを

【0047】

【数24】

のように対角成分と非対角成分に分解し、想定(7)および(9)から得られる性質

【0048】

【数25】

を利用することによって、すべてのチャネルにわたって一定のSNR（SNR_x）に関し、最終的に、マトリクス処理された信号の経験的SNRについての所望される表現が得られる。

【0049】

【数26】

この式から、このSNRが、あらかじめ定義されたSNRであるSNR_xから、信号相関行列Σ_Xの対角および非対角成分に依存する項の乗算によって得られることが見て取れる。特に、マトリクス処理された信号の経験的SNRは、信号x_i(m)が互いに相関しておらずΣ_X,NGが零行列になる場合には、あらかじめ定義されたSNRに等しくなる。すなわち、

【0050】

【数27】

ここで、0_I×IはI行I列の零行列を表わす。すなわち、x_i(m)が相関している場合には、マトリクス処理された信号の経験的SNRはあらかじめ定義されたSNRから逸脱することがある。最悪の場合には、SNR_yjはSNR_xよりずっと低くなることがある。この現象は、本稿では、マトリクス処理におけるノイズ・マスキング解除（noise unmasking）と呼ばれる。

【0051】

以下のセクションは、高次アンビソニックス（HOA）の簡単な紹介を与え、処理（データ・レート圧縮）されるべき信号を定義する。

【0052】

高次アンビソニックス（HOA）は、音源がないと想定されるコンパクトな関心領域内の音場の記述に基づく。その場合、時刻tおよび関心領域内の（球面座標での）位置x＝[r,θ,φ]^Tにおける音圧p(t,x)の空間時間的振る舞いは、斉次波動方程式（homogeneous wave equation）によって物理的には完全に決定される。ωが角周波数を表わすとして、時間に関する音圧のフーリエ変換、すなわち

【0053】

【数28】

は、

【0054】

【数29】

のように球面調和関数（SH）の級数に展開されうる（非特許文献９）。

【0055】

式(32)において、c_sは音速を表わし、k＝ω/c_sは角波数を表わす。さらに、j_n(・)は第一種のn次球面ベッセル関数を示し、Y_n^m(・)は次数（order）nおよび陪数（degree）mの球面調和関数（SH）を表わす。

【0056】

音場についての完全な情報は、実際には音場係数A_n^m(k)内に含まれる。

【0057】

SHは一般には複素数値の関数であることを注意しておくべきである。しかしながら、その近似的な線形結合により、実数値の関数を得て、上記展開をこれらの関数に関して実行することが可能である。

【0058】

式(32)における圧力音場（sound field）記述に関係して、源場（source field）が次のように定義できる。

【0059】

【数30】

ここで、源場または振幅密度（非特許文献８）D(kc_s,Ω)は角波数および角方向Ω＝[θ,φ]^Tに依存する。源場は遠距離場／近距離場、離散／連続源からなることができる（非特許文献１）。源場係数B_n^mは音場係数A_n^mと次式によって関係付けられる（非特許文献１）。

【0060】

【数31】

（（exp[−ikr]に関係する）はいってくる波について正の周波数および第二種の球面ハンケル関数h_n⁽²⁾を使う。）ここで、h_n⁽²⁾は第二種の球面ハンケル関数であり、r_sは原点からの源の距離である。

【0061】

HOA領域の信号は、周波数領域または時間領域において、音場または源場の逆フーリエ変換として表現できる。以下の記述では、有限数の源場係数の時間領域表現

【0062】

【数32】

の使用を想定する。(33)における無限級数はn＝Nにおいて打ち切られる。打ち切りは、空間的な帯域幅制限に対応する。係数（またはHOAチャネル）の数は
3Dについては O_3D＝(N＋1)² (36)
によって、2Dのみの記述についてはO_2D＝2N＋1によって与えられる。係数b_n^mはラウドスピーカーによるのちの再生のためにある時間サンプルmのオーディオ情報を含む。これらは記憶または送信されることができ、よってデータ・レート圧縮の対象である。

【0063】

単独の時間サンプルmの係数はO_3D個の要素をもつベクトルb(m)

【0064】

【数33】

によって表現でき、M個の時間サンプルのブロックは行列B

【0065】

【数34】

によって表現できる。

【0066】

音場の二次元表現は、円調和関数を用いた展開によって導出できる。これは、上記で呈示した一般的な記述において、固定した傾斜角θ＝π/2、係数の異なる重みおよびO_2D個の係数に縮小された集合（m＝±n）を使った特殊な場合と見ることができる。よって、以下の考察はみな2D表現にも当てはまる。その場合、球という用語は円という用語によって置き換える必要がある。

【0067】

以下では、HOA係数領域から空間的なチャネル・ベースの領域へのまたその逆の変換を記述する。式(33)は、単位球上のl離散的な空間サンプル位置Ω_l＝[θ_l,φ_l]^Tについて、時間領域HOA係数を使って書き換えることができる。

【0068】

【数35】

L_sd＝(N＋1)²個の球面サンプル位置Ω_lを想定すると、これはHOAデータ・ブロックBについてのベクトル記法で書き換えることができる。

【0069】

【数36】

ここで、

【0070】

【数37】

はL_sd多チャネル信号の単一の時間サンプルを表わし、行列

【0071】

【数38】

はベクトル

【0072】

【数39】

をもつ。球面サンプル位置が非常に規則的に選択される場合には、

【0073】

【数40】

となる行列Ψ_iが存在する。ここでIはO_3D×O_3Dの恒等行列である。すると、式(36)に対応する変換は、

【0074】

【数41】

によって定義できる。

【0075】

式(38)はL_sd個の球面信号を係数領域に変換し、前方変換
B＝DSHT{W} (39)
として書き換えられる。ここで、DSHT{ }は離散球面調和関数変換を表わす。対応する逆変換はO_3D個の係数信号を空間領域に変換してL_sd個のチャネル・ベースの信号を形成し、式(36)は
W＝iDSHT{B} (40)
となる。

【0076】

離散球面調和関数変換のこの定義は、本稿でのHOAデータのデータ・レート圧縮に関する考察のためには十分である。与えられた係数Bから出発して、B＝DSHT{iDSHT{B}}となる場合のみに関心があるからである。離散球面調和関数変換のより厳密な定義は非特許文献２で与えられている。DSHTのための好適な球面サンプル位置およびそのような位置を導出するための手続きは、非特許文献３、４、６、５において概観できる。サンプリング格子の例は図５に示されている。

【0077】

具体的には、図５は、エンコーダおよびデコーダ構成ブロックpE、pDにおいて使われるコードブックのための球面サンプリング位置の例を示している。すなわち、図５のａ）はL_sd＝4についてであり、図５のｂ）はL_sd＝9についてであり、図５のｃ）はL_sd＝16についてであり、図５のｄ）はL_sd＝25についてである。

【0078】

以下では、高次アンビソニックス係数データのレート圧縮およびノイズ・マスキング解除が記述される。まず、いくつかの性質をハイライトするために、以下で使われる試験信号が定義される。

【0079】

方向Ω_s1に位置する単一の遠距離場源は、M個の離散的な時間サンプルのベクトルg＝[g(m),…,g(M)]^Tによって表現され、式(38)と類似の行列B_gおよび方向Ω_s1＝[θ_s1,φ_s1]^Tにおいて評価される共役複素球面調和関数（実数値のSHが使われるならば共役は何の影響もない）からなるエンコード・ベクトル

【0080】

【数42】

を用いたエンコード

【0081】

【数43】

によってHOA係数のブロックによって表現できる。試験信号B_gは、HOA信号の最も単純な場合と見ることができる。より複雑な信号は、そのような信号の多数の重ね合わせからなる。

【0082】

HOAチャネルの直接的な圧縮に関し、以下では、HOA係数チャネルが圧縮されるときになぜノイズ・マスキング解除が生じるかを示す。HOAデータの実際のブロックBのO_3D個の係数チャネルの直接的な圧縮および圧縮解除は、式(4)と類似の符号化ノイズEを導入する。

【0083】

【数44】

式(9)のような一定のSNR_Bgを想定する。スピーカーでこの信号を再生するには、信号がレンダリングされる必要がある。このプロセスは

【0084】

【数45】

によって記述される。ここで

【0085】

【数46】

はデコード行列（A^H＝[a₁,…,a_L]）であり、行列

【0086】

【数47】

はL個のスピーカー信号のM個の時間サンプルを保持する。これは(14)と類似である。上記のすべての考察を適用すると、スピーカー・チャネルlのSNRは（式(29)と類似の）

【0087】

【数48】

によって記述できる。ここで、σ²_Boは

【0088】

【数49】

のo番目の対角要素であり、Σ_B,NGはその非対角要素を保持する。

【0089】

任意のスピーカー・レイアウトをデコードできるべきであるからデコード行列Aは影響されるべきではないので、行列Σ_Bは対角になってSNR_wl＝SNR_Bgとなる必要がある。式(45)および(49)を用い（B＝B_g）、一定のスカラー値c＝g^Tgを用いて、Σ_B＝yg^Hgy^H＝cyy^Hは非対角になる。SNR_Bgに比べると、スピーカー・チャネルにおける信号対雑音比SNR_wlは低下する。しかし、源信号gもスピーカー・レイアウトも通例、エンコード段では知られていないので、係数チャネルの直接的な不可逆圧縮は、特に低データ・レートについては、制御できないマスキング解除効果につながることがある。

【0090】

以下は、HOA係数がDSHTを使ったあとに空間領域において圧縮されるときになぜノイズ・マスキング解除が生じるかを記述する。

【0091】

HOA係数データBの現在ブロックは、式(36)に与えられるような球面調和関数変換を使って圧縮の前に空間領域に変換される：

【0092】

【数50】

ここで、逆変換行列Ψ_iはL_Sd≧O_3D個の空間的サンプル位置および空間的信号行列W_SH∈C^LSd×Mに関係している。これが圧縮および圧縮解除にかけられ、式(5)のような符号化ノイズ成分Eを用いて量子化ノイズが加えられる（式(4)と同様）：

【0093】

【数51】

ここでもまた、すべての空間チャネルについて一定であるSNR、SNR_Sdを想定する。信号は、Ψ_fΨ_i＝Iという性質(41)をもつ変換行列Ψ_fを使って係数領域に変換される（式(42)）。係数の新しいブロックは次のようになる：

【0094】

【数52】

これらの信号は、デコード行列A_Dを適用することによって、L個のスピーカー信号＾W∈C^L×Mにレンダリングされる：

【0095】

【数53】

これは(52)およびA＝A_DΨ_fを使って、次のように書き直せる。

【0096】

【数54】

ここで、AはA∈C^L×LSdの混合行列である。式(53)は式(14)と類似であることが見て取れるはずである。ここでもまた、上記のすべての考察を適用すると、スピーカー・チャネルlのSNRは（式(29)と類似の）

【0097】

【数55】

によって記述できる。ここで、σ²_Sdlはl番目の対角要素であり、Σ_WSd,NGは

【0098】

【数56】

の非対角要素をを保持する。

【0099】

（任意のスピーカー・レイアウトにレンダリングできるべきであるから）A_Dに影響するすべはなく、よってAに対していかなる影響をもつすべもないので、所望されるSNRを保つためにΣ_WSdは対角になる必要がある。式(45)からの簡単な試験信号を使うと（B＝B_g）、一定のc＝g^Tgを用いて、

【0100】

【数57】

となる。固定した球面調和関数変換（Ψ_i、Ψ_f固定）を使うと、Σ_WSdが対角になれるのは非常にまれな場合のみであり、さらに悪いことに、上記のように、項

【0101】

【数58】

は係数信号の空間的性質に依存する。こうして、球面領域におけるHOA係数の低レートの不可逆圧縮は、SNRの低下および制御できないマスキング解除効果につながることがある。

【0102】

本発明の基本的発想は、適応的DSHT（aDSHT）を使うことによってノイズ・マスキング解除効果を最小化するということである。適応的DSHTは、HOA入力信号の空間的性質に関係したDSHTの空間的サンプリング格子の回転およびDSHT自身からなる。

【0103】

HOA係数の数O_3Dに一致する球位置の数L_Sdをもつ信号適応的なDSHT（aDSHT）について下記で述べる。まず、通常の非適応的DSHTにおけるようなデフォルトの球状サンプル格子が選択される。M個の時間サンプルのブロックについて、球状サンプル格子は、項

【0104】

【数59】

の対数が最小化されるよう回転される。ここで、|Σ_WSdl,j|は、Σ_WSdの（行列の行インデックスlおよび列インデックスjをもつ）要素の絶対値であり、σ²_SdlはΣ_WSdの対角要素である。これは、式(54)の項

【0105】

【数60】

を最小化することに等しい。

【0106】

視覚化すると、このプロセスは、図４に示されるような、ある単一の空間的サンプル位置が最も強い源方向に一致するようにする、DSHTの球状サンプリング格子の回転に対応する。式(45)からの簡単な試験信号を使うと（B＝B_g）、式(55)の項W_Sdが、一つを除いてすべての要素が0に近い、ベクトル∈C^LSd×1となることが示せる。よって、Σ_WSdはほぼ対角になり、所望されるSNR、SNR_Sdが保てる。

【0107】

図４は、空間領域に変換された試験信号B_gを示している。図４のａ）では、デフォルトのサンプリング格子が使われており、図４のｂ）では、aDSHTの回転された格子が使われている。空間的チャネルの関係するΣ_WSd値（dB単位）は、対応するサンプル位置のまわりのボロノイ・セルの色／グレー変動によって示される。この空間的構造の各セルはサンプリング点を表わし、セルの明るさ／暗さは信号強さを表わす。図４のｂ）において見て取れるように、最も強い源方向がみつかっており、サンプリング格子は、面の一つ（すなわち、単一の空間的サンプル位置）が最も強い源方向に一致するよう回転されている。この面は白で描かれている（強い源方向に対応）。一方、他の面は暗くなっている（低い源方向に対応）。図４のａ）、すなわち回転前には、どの面も最も強い源方向に一致しておらず、いくつかの面が多少なりとも灰色になっている。これは、かなりの（だが最大でない）強度のオーディオ信号がそれぞれのサンプリング点において受領されることを意味する。

【0108】

以下は、圧縮エンコーダおよびデコーダ内で使用されるaDSHTの主要な構成ブロックを記述する。

【0109】

エンコーダおよびデコーダ処理構成ブロックpEおよびpDの詳細が図６に示されている。両方のブロックは、DSHTのための基礎である球状サンプリング点格子の同じコードブックを所有する。初期には、係数の数O_3Dは、共通のコードブックに従って、L_Sd＝O_3D個の位置をもつ、モジュールpE内の基礎格子を選択する。L_Sdは、図３において示されるのと同じ基礎サンプリング位置格子を選択する初期化のために、ブロックpDに送信される必要がある。基礎サンプリング格子は、行列

【0110】

【数61】

によって記述される。ここで、Ω_l＝[θ_l,φ_l]^Tは単位球上の位置を定義する。上記のように、図５は基礎格子の例を示す。

【0111】

回転発見ブロック（構成ブロック「最良回転を発見」）３２０への入力は係数行列Bである。構成ブロックは、式(57)の値が最小化されるよう、基礎サンプリング格子を回転させることを受け持つ。回転は、「軸‐角」表現によって表現され、この回転に関係した圧縮された軸ψ_rotおよび回転角φ_rotがこの構成ブロックにサイド情報SIとして出力される。回転軸ψ_rotは原点から単位球上のある位置への単位ベクトルによって記述できる。球座標では、これは二つの角ψ_rot＝[θ_axis,φ_axis]^Tによって明示できる。暗黙的な関係する半径1は送信される必要はない。三つの角度θ_axis,φ_axis,φ_rotは量子化され、エントロピー符号化される。特別なエスケープ・パターンが、サイド情報SIを生成するための前に使用された値の再使用を合図する。

【0112】

構成ブロック「Ψ_iを構築」３３０は回転軸および角を

【0113】

【数62】

にデコードし、この回転を基礎サンプリング格子D_DSHTに適用して回転された格子

【0114】

【数63】

を導出する。これは、iDSHT行列

【0115】

【数64】

を出力する。これはベクトル

【0116】

【数65】

から導出される。

【0117】

構成ブロック「iDSHT」３１０では、HOA係数データの実際のブロックBが、W_Sd＝Ψ_iBによって、空間領域に変換される。

【0118】

デコード処理ブロックpDの構成ブロック「Ψ_fを構築」３５０は回転軸および角を受領し、

【0119】

【数66】

にデコードし、この回転を基礎サンプリング格子D_DSHTに適用して回転された格子

【0120】

【数67】

を導出する。iDSHT行列

【0121】

【数68】

はベクトル

【0122】

【数69】

を用いて導出され、DSHT行列Ψ_f＝Ψ_i^-1がデコード側で計算される。

【0123】

デコーダ処理ブロック３４内の構成ブロック「DSHT」３４０では、空間領域データの実際のブロック

【0124】

【数70】

が再び係数領域データのブロック

【0125】

【数71】

に変換される。

【0126】

以下では、圧縮コーデックの全体的なアーキテクチャを含むさまざまな有利な実施形態が記述される。第一の実施形態は、単一のaDSHTを利用する。第二の実施形態は、諸スペクトル帯域において複数のaDSHTを利用する。

【0127】

第一の（「基本的」）実施形態は図７に示されている。O_3D個の係数チャネルの、インデックスmをもつHOA時間サンプルb(m)〔ベクトル〕はまずバッファ７１に記憶されて、M個のサンプルおよび時間インデックスμのブロックをなす。B(μ)は、上記のように、構成ブロックpE ７２において、適応的iDSHTを使って空間領域に変換される。空間信号ブロックW_Sd(μ)は、AACまたはmp3エンコーダのようなL_Sd個のオーディオ圧縮モノ・エンコーダ７３または単一のAAC多チャネル・エンコーダ（L_Sd個のチャネル）に入力される。ビットストリームS73は、複数のエンコーダ・ビットストリーム・フレームの統合されたサイド情報SIとの多重化されたフレームまたはサイド情報SIが好ましくは補助データとして統合されている単一の多チャネル・ビットストリームからなる。

【0128】

それぞれの圧縮デコーダ構成ブロックは、ある実施形態では、ビットストリームS73をL_Sd個のビットストリームおよびサイド情報SIに多重分離してそれらのビットストリームをL_Sd個のモノ・デコーダに供給し、それらのビットストリームをL_Sd個の空間的オーディオ・チャネルにデコードしてM個のサンプルでブロック

【0129】

【数72】

を形成し、該＾W_Sd(μ)およびSIをpDに供給するデマルチプレクサD1を有している。ビットストリームが多重化されない別の実施形態では、圧縮デコーダ構成ブロックはビットストリームを受領し、それをL_Sd多チャネル信号

【0130】

【数73】

にデコードし、SIをパッキング解除し、該＾W_Sd(μ)およびSIをpDに供給する受領器７４を有する。

【0131】

＾W_Sd(μ)はデコーダ処理ブロックpD ７５においてSIとともに適応的DSHTを使って係数領域に変換されて、HOA信号のブロックB(μ)を形成する。これらの信号はバッファ７６に記憶され、のちにフレーム解除されて係数の時間信号b(m)を形成する。

【0132】

上記の第一の実施形態は、ある種の条件のもとで、二つの欠点をもつことがある。第一に、空間的な信号分布の変化のため、前のブロックからの（すなわち、ブロックμからμ＋1への）ブロッキング・アーチファクトがあることがある。第二に、同時に二つ以上の強い信号があることがあり、aDSHTの脱相関効果が非常に小さくなる。

【0133】

いずれの欠点も、周波数領域で動作する第二の実施形態において対処される。aDSHTは、複数の周波数帯域データを組み合わせるスケール因子帯域データに適用される。ブロッキング・アーチファクトは、重複加算（OLA: Overlay Add）をもつ時間から周波数への変換（TFT: Time to Frequency Transform）処理の重なり合うブロックによって回避される。J個のスペクトル帯域内で本発明を使うことによって、SI_jを送信するためのデータ・レートにおけるオーバーヘッド増大を代償として、改善された信号脱相関が達成できる。

【0134】

図９に示されるようなこの第二の実施形態のいくつかのさらなる詳細について以下で述べる。信号の各係数チャネルb(m)が時間から周波数への変換（TFT）９１２にかけられる。広く使われるTFTの例は修正コサイン変換（MDCT）である。TFTフレーム化ユニット９１１では、50%重複するデータ・ブロック（ブロック・インデックスμ）が構築される。TFTブロック変換ユニット９１２はブロック変換を実行する。スペクトル帯域化（Spectral Banding）ユニット９１３では、TFT周波数帯域が組み合わされてJ個の新しいスペクトル帯域および関係した信号

【0135】

【数74】

を形成する。ここで、K_Jは帯域jにおける周波数係数の数を表わす。これらのスペクトル帯域は複数の処理ブロック９１４において処理される。これらのスペクトル帯域のそれぞれについて、信号

【0136】

【数75】

およびサイド情報SI_jを生成する一つの処理ブロックpE_jがある。これらのスペクトル帯域は、不可逆オーディオ圧縮法のスペクトル帯域（AAC/mp3スケール因子帯域のような）に一致してもよいし、あるいはより粗い粒度を有していてもよい。後者の場合、「TFTなしのチャネル独立な不可逆オーディオ圧縮」９１５が帯域化を再配置する必要がある。処理ブロック９１４は、各オーディオ・チャネルに一定のビット・レートを割り当てる、周波数領域におけるL_Sd多チャネル・オーディオ・エンコーダのように振る舞う。ビットストリームは、ビットストリーム・パッキング・ブロック９１６においてフォーマットされる。

【0137】

デコーダは、上記ビットストリーム（少なくともその一部）を受領または記憶し、それをパッキング解除し（９２１）、オーディオ・データを多チャネル・オーディオ・デコーダ９２２に「TFTなしのチャネル独立なオーディオ・デコード」のために、サイド情報SI_jを複数のデコード処理ブロックpD_j ９２３に供給する。「TFTなしのチャネル独立なオーディオ・デコード」のためのオーディオ・デコーダ９２２はオーディオ情報をデコードし、J個のスペクトル帯域信号

【0138】

【数76】

をデコード処理ブロックpD_j ９２３への入力としてフォーマットする。デコード処理ブロック９２３において、これらの信号はHOA係数領域に変換されて

【0139】

【数77】

を形成する。スペクトル帯域化解除（debanding）ブロック９２４では、J個のスペクトル帯域はTFTの帯域化に一致するよう再グループ化され、ブロックが重なり合う重複加算（OLA）処理を使うiTFT&OLAブロック９２５において時間領域に変換される。最後に、iTFT&OLAブロック９２５の出力はTFTフレーム解除ブロック９２６においてフレーム解除され、信号

【0140】

【数78】

を生成する。

【0141】

本発明は、チャネル間の相互相関からSNRの増大が帰結するという知見に基づく。知覚的符号化器は、個々の各単独チャネル信号内に生じる符号化ノイズ・マスキング効果を考えるだけである。しかしながら、そのような効果は典型的には非線形である。そこで、そのような複数の単独チャネルをマトリクス処理して新しい信号にするときに、ノイズ・マスキング解除が起こる可能性が高い。これが、マトリクス処理動作後に通常、符号化ノイズが増大する理由である。

【0142】

本発明は、望まれないノイズ・マスキング解除効果を最小にする適応的な離散球面調和関数変換によるチャネルの脱相関を提案する。aDSHTは、圧縮符号化器および復号器アーキテクチャ内に統合される。これは、DSHTの空間的サンプリング格子を、HOA入力信号の空間的性質に合わせて調整する回転動作を含むので、適応的である。aDSHTは、適応的な回転および実際の、通常のDSHTを含む。実際のDSHTは、従来技術において記載されるように構築できる行列である。適応的な回転はその行列に適用され、それがチャネル間相関の最小化に、よってマトリクス処理後のSNR増大の最小化につながる。回転軸および角は、解析的にではなく、自動化された探索動作によって見出される。デコード後、逆適応的DSHT（iaDSHT）が使われるマトリクス処理をする前に再相関を可能にするために、回転軸および角は、エンコードされ、伝送される。

【0143】

ある実施形態では、時間から周波数への変換（TFT）およびスペクトル帯域化が実行され、aDSHT／iaDSHTは各スペクトル帯域に独立して適用される。

【0144】

図８のａ）は、本発明のある実施形態における、ノイズ削減のための多チャネルHOAオーディオ信号をエンコードする方法のフローチャートを示している。図８のｂ）は、本発明のある実施形態における、ノイズ削減のための多チャネルHOAオーディオ信号をデコードする方法のフローチャートを示している。

【0145】

図８のａ）に示した実施形態では、ノイズ削減のための多チャネルHOAオーディオ信号をエンコードする方法は、逆適応的DSHTを使ってそれらのチャネルを脱相関８１させる段階であって、前記逆適応的DSHTは回転演算および逆DSHT８１２を含み、前記回転演算は前記iDSHTの空間的サンプリング格子を回転８１１させる、段階と、脱相関されたチャネルのそれぞれを知覚的にエンコード８２する段階と、回転情報を（サイド情報SIとして）エンコード８３する段階であって、前記回転情報は前記回転演算を定義するパラメータを含む、段階と、知覚的にエンコードされたオーディオ・チャネルおよびエンコードされた回転情報を送信または記憶する８４段階とを含む。

【0146】

ある実施形態では、逆適応的DSHTは、初期のデフォルト球状サンプル格子を選択する段階と、最も強い源方向を決定する段階と、M個の時間サンプルのブロックについて、ある単一の空間的サンプル位置が前記最も強い源方向に一致するよう前記球状サンプル格子を回転させる段階とを含む。

【0147】

ある実施形態では、前記球状サンプル格子は、項

【0148】

【数79】

の対数が最小化されるよう回転され、ここで、|Σ_WSdl,j|は、Σ_WSdの（行列の行インデックスlおよび列インデックスjをもつ）要素の絶対値であり、σ²_SdlはΣ_WSdの対角要素であり、

【0149】

【数80】

であり、W_Sdはオーディオ・チャネル数かけるブロック処理サンプル数の行列であり、W_Sdは前記aDSHTの結果である。

【0150】

図８のｂ）に示される実施形態では、削減されたノイズをもつ符号化された多チャネルHOAオーディオ信号をデコードする方法は、エンコードされた多チャネルHOAオーディオ信号および（サイド情報SI内の）チャネル回転情報を受領８５する段階と、受領されたデータを圧縮解除８６する段階であって、知覚的デコードが使われる段階と、適応的DSHTを使って各チャネルを空間的にデコード８７する段階であって、DSHT ８７２と、前記回転情報に基づく前記DSHTの空間的サンプリング格子の回転８７１とが実行され、知覚的デコードされたチャネルが再相関される、段階と、再相関された、知覚的デコードされたチャネルをマトリクス処理８８する段階であって、ラウドスピーカー位置にマッピングされる再生可能なオーディオ信号が得られる段階とを含む。

【0151】

ある実施形態では、適応的DSHTは、該適応的DSHTのための初期のデフォルト球状サンプル格子を選択する段階と、M個の時間サンプルのブロックについて、前記回転情報に従って前記球状サンプル格子を回転させる段階とを含む。

【0152】

ある実施形態では、前記回転情報は三つの成分をもつ空間的ベクトル

【0153】

【数81】

である。回転軸ψ_rotは単位ベクトルによって記述できることを注意しておく。

【0154】

ある実施形態では、前記回転情報は三つの角度θ_axis,φ_axis,φ_rotから構成されるベクトルである。ここで、θ_axis、φ_axisは、球座標における、暗黙的な半径を1として回転軸についての情報を定義し、φ_rotはこの軸のまわりの回転角を定義する。

【0155】

ある実施形態では、これらの角度は量子化され、エントロピー符号化され、あるエスケープ・パターン（すなわち専用のビット・パターン）が、サイド情報（SI）を生成するための前の値の再使用を合図する（すなわち、示す）。

【0156】

ある実施形態では、ノイズ削減のための多チャネルHOAオーディオ信号をエンコードする装置は、逆適応的DSHTを使ってそれらのチャネルを脱相関させる脱相関器であって、前記逆適応的DSHTは回転演算および逆DSHT（iDSHT）を含み、前記回転演算は前記iDSHTの空間的サンプリング格子を回転させる、脱相関器と；脱相関されたチャネルのそれぞれを知覚的にエンコードする知覚的エンコーダと、回転情報をエンコードするサイド情報エンコーダであって、前記回転情報は前記回転演算を定義するパラメータを含む、サイド情報エンコーダと；知覚的にエンコードされたオーディオ・チャネルおよびエンコードされた回転情報を送信または記憶するインターフェースとを有する。

【0157】

ある実施形態では、削減されたノイズをもつ多チャネルHOAオーディオ信号をデコードする装置は、エンコードされた多チャネルHOAオーディオ信号およびチャネル回転情報を受領するインターフェース手段３３０と、各チャネルを知覚的にデコードする知覚的デコーダを使うことによって、受領されたデータを圧縮解除する圧縮解除モジュール３３と、知覚的にデコードされたチャネルを再相関させる相関器３４であって、DSHTと、前記回転情報に基づく前記DSHTの空間的サンプリング格子の回転とが実行される、相関器と、相関された、知覚的デコードされたチャネルをマトリクス処理する混合器であって、ラウドスピーカー位置にマッピングされる再生可能なオーディオ信号が得られる混合器とを有する。原理的には、相関器３４は空間的デコーダとしてはたらく。

【0158】

ある実施形態では、削減されたノイズをもつ多チャネルHOAオーディオ信号をデコードする装置は、エンコードされた多チャネルHOAオーディオ信号およびチャネル回転情報を受領するインターフェース手段３３０と；各チャネルを知覚的にデコードする知覚的デコーダを用いて受領されたデータを圧縮解除する圧縮解除モジュール３３と；知覚的にデコードされたチャネルをaDSHTを使って相関させる相関器３４であって、DSHTと、前記回転情報に基づく前記DSHTの空間的サンプリング格子の回転とが実行される、相関器と；相関された、知覚的デコードされたチャネルをマトリクス処理する混合器MXであって、ラウドスピーカー位置にマッピングされる再生可能なオーディオ信号が得られる混合器とを有する。

【0159】

ある実施形態では、前記デコードする装置における前記適応的DSHTは、該適応的DSHTのための初期のデフォルト球状サンプル格子を選択する手段と；M個の時間サンプルのブロックについて、前記回転情報に従って前記デフォルトの球状サンプル格子を回転させる回転処理手段と；回転された球状サンプル格子に対して前記DSHTを実行する変換処理手段とを有する。

【0160】

ある実施形態では、前記デコードする装置における前記相関器３４は、適応的DSHTを使って各チャネルを同時に空間的にデコードする複数の空間的デコード・ユニット９２２を有し、さらに、スペクトル帯域化解除を実行するためのスペクトル帯域化解除ユニット９２４と、重複加算（OLA）をもつ時間から周波数への変換（TFT）の逆処理を実行するiTFT&OLAユニット９２５とを有する。前記スペクトル帯域化解除ユニットはその出力をiTFT&OLAユニットに与える。

【0161】

すべての実施形態において、削減されたノイズは、少なくとも、符号化ノイズ・マスキング解除の回避に関する。

【0162】

オーディオ信号の知覚的符号化は、人間の聴覚知覚に適応された符号化を意味する。オーディオ信号を知覚的符号化するとき、通例、量子化は高帯域オーディオ信号サンプルに対してではなく、人間の知覚に関係する個々の周波数帯域において実行されることを注意しておくべきである。よって、信号パワーと量子化ノイズとの比は個々の周波数帯域の間で変わりうる。よって、知覚的符号化は、通例、冗長性および／または非関連情報の削減を含み、一方、空間的符号化は通例、チャネル間の空間的な関係に関する。

【0163】

上記に記載した技術は、カルーネン・レーベ変換（KLT）を使う脱相関に対する代替と見ることができる。本発明の一つの利点は、サイド情報の量の強い削減であり、サイド情報はたった三つの角度を含む。KLTはサイド情報としてブロック相関行列の係数を、よってかなりより多くのデータを必要とする。さらに、本稿に開示した技術は、次の処理ブロックに進むときに遷移アーチファクトを軽減するために回転を微調整（またはファインチューニング）することを許容する。これは、その後の知覚的符号化の圧縮品質のために有益である。

【0164】

表１は、aDSHTとKLTとの間の直接的な比較を与える。いくつかの類似点は存在するものの、aDSHTはKLTに対して著しい利点を提供する。

【0165】

【表1】

表１：aDSHTとKLTの比較。

【0166】

本発明の根本的な新規な特徴がその好ましい実施形態に適用されるものとして示され、記述され、指摘されてきたが、本発明の精神から外れることなく、記載される装置および方法における、開示されるデバイスの形および詳細におけるおよびその動作におけるさまざまな省略および置換および変更が当業者によってなされてもよいことは理解されるであろう。実質的に同じように実質的に同じ機能を実行して同じ結果を達成する要素のあらゆる組み合わせが本発明の範囲内であることが明確に意図されている。ある記載される実施形態から別の記載される実施形態への要素の置換も完全に意図されており、考慮されている。

【0167】

本発明は純粋に例として記載されてきたのであって、本発明の範囲から外れることなく詳細の修正がなしうることは理解されるであろう。

【0168】

本記述および（該当する場合には）請求項および図面に開示される各特徴は、独立にまたは任意の適切な組み合わせにおいて提供されてもよい。適切な場合には、特徴はハードウェア、ソフトウェアまたは両者の組み合わせにおいて実装されうる。該当する場合には、接続は無線接続または有線の、必ずしも直接的または専用のものではない接続として実装されうる。

【0169】

請求項に現われる参照符号は単に例解のためであって、請求項の範囲に対して限定する効果はもたない。

【図1】

【図2】

【図3】

【図4a)】

【図4b)】

【図5a)】

【図5b)】

【図5c)】

【図5d)】

【図6】

【図7】

【図8a)】

【図8b)】

【図9】