(58)【調査した分野】(Int.Cl.,DB名)
【背景技術】
【0002】
高次Ambisonics(HOA)は、2次元及び3次元の両方で、優れた空間解像度を有する複雑なオーディオシーンの取得、操作、録音、送信及び再生を容易にする空間的サウンドフィールドの表現である。サウンドフィールドは、フーリエ・ベッセル級数により空間の基準点及びその周りにおいて近似される。
【0003】
HOA手法で取得したオーディオシーンの空間構成を操作する手法は限られた数しかない。原理的には、2つの方法がある。すなわち、
A)例えば、DirACを介して、オーディオシーンを別々のサウンドオブジェクトと関連位置情報とに分解し、位置パラメータを操作して新しいシーンを合成する。欠点は、高度で間違いやすいシーン分解が必須だということである。
B)HOAベクトルの線形変換により、HOA表現の内容を修正できる。これについては、前後方向の回転、鏡映、及び強調のみが提案されている。これらの既知の変換ベースの修正手法はすべて、シーン内の複数のオブジェクトの相対的位置を一定に保つ。
【0004】
シーンの内容を操作または修正するために、HOAの回転と鏡映を含み、特定方向の優越性を修正するスペースワーピング(space warping)が提案されている(非特許文献1−3)。
【非特許文献1】G.J. Barton, M.A. Gerzon著「Ambisonic Decoders for HDTV」(AES Convention, 1992)
【非特許文献2】J. Daniel著「Representation de champs acoustiques, application a la transmission et a la reproduction de scenes sonores complexes dans un contexte multimedia」(PhD thesis, Universite de Paris 6, 2001, Paris, France)
【非特許文献3】M. Chapman, Ph. Cotterell著「Towards a Comprehensive Account of Valid Ambisonic Transformations」(Ambisonics Symposium, 2009, Graz, Austria)
【発明を実施するための形態】
【0012】
結局、理解できるように、スペースワーピングの発明的アプリケーションを2次元の設定で説明し、HOA表現は円形ハーモニクス(circular harmonics)に依存し、表現されるサウンドフィールドは平面音波のみを含むものと仮定する。その後、説明を球面ハーモニクス(spherical harmonics)に基づいて3次元の場合に拡張する。
【0013】
記法
Ambisonics理論では、空間中のある点及びその周りにおけるサウンドフィールドは、先を切り捨てたフーリエ・ベッセル級数により記述される。一般的に、基準点は、選択した座標系の原点にあると仮定する。
【0014】
球面座標を用いる3次元アプリケーションの場合、すべての確定されたインデックスn=0,1,・・・,Nとm=−n,・・・,nの係数A
nmを有するフーリエ級数は、方位角Φ、傾きθ、原点からの距離rにおけるサウンドフィールドの圧力を
【数1】
と記述する。
ここで、kは波数であり、
<外5>
<外6>
で用いられる。特定の順序Nの場合、フーリエ・ベッセル級数の係数の数は
<外7>
円座標を用いる2次元アプリケーションの場合、カーネル関数は方位角Φのみに依存する。m≠nであるすべての係数は、値がゼロであり省略できる。それゆえ、HOA係数の数は
<外8>
のみに減少する。さらに、傾きθ=π/2は一定である。留意点として、2次元の場合、かつサウンドオブジェクトが円上に完全に一様に分布している場合、すなわち
<外9>
である場合、Ψ内のモードベクトルは、周知の離散フーリエ変換DFTのカーネル関数と同じである。
【0015】
カーネル関数の定義には異なる複数の慣例があり、Ambisonics係数A
nmの定義も異なる。しかし、細かい定義は、本願で説明するスペースワーピング手法の基本的な仕様と特徴には影響しない。
【0016】
HOA「信号」は、各時点のAmbisonics係数のベクトルAを含む。2次元、すなわち円の設定の場合、係数ベクトルの典型的な組成と順序は
【数2】
である。3次元の球面の設定の場合、係数の通常の順序は異なり
【数3】
となる。HOA表現のエンコーディングは線形に振る舞い、それゆえ複数の離れたサウンドオブジェクトのHOA係数は、結果的なサウンドフィールドのHOA係数を求めるために、合計できる。
【0017】
明白なエンコーディング
複数の方向からの複数のサウンドオブジェクトの明白なエンコーディングは、ベクトル代数で簡単に求められる。「エンコーディング」は、同じ時点lにおける、及び音波が座標系の原点に到着する方向φ
iとθ
iにおける、個々のサウンドオブジェクト(i=0・・・M−1)の圧力貢献s
i(k,l)に関する情報から、時点lと波数kにおけるHOA計数A(k,l)
【数4】
のベクトルを求めることである。
【0018】
2次元設定と式(2)で確定したHOAベクトルの成分を仮定すると、モード行列Ψは、モードベクトル
<外10>
【数5】
である。
【0019】
上で定義したように、HOA表現のエンコーディングは、入力信号(サウンドオブジェクト)が空間的に分布しているので、空間・周波数変換と解釈できる。行列Ψによるこの変換は、サウンドオブジェクトの数がHOA係数の数に等しい、すなわちM=Oの場合、及び方向φiが単位円の周りに広がっている(reasonably spread)場合にのみ、情報損失無しに逆変換できる。数学的に言うと、逆変換できる条件は、モード行列Ψが正方行列(O×O)であり、逆行列があることである。
【0020】
単純な復号
復号により、リアルまたはバーチャルラウドスピーカのドライバ信号が得られ、そのドライバ信号は入力HOA係数により記述される所望のサウンドフィールドを正確に再生するために用いられる。かかる復号は数Mとラウドスピーカの位置とに依存する。次の重要な3つの場合を区別しなければならない(注釈、これらの場合は、ラウドスピーカがジオメトリ的に合理的に設置されているという仮定の下で、「ラウドスピーカの数」により確定されるという意味で単純化される。より正確には、ターゲットのラウドスピーカの設置のモードマトリックスのランクにより確定される。下記の復号規則の例では、モードマッチング復号原理を用いるが、他の復号原理も利用でき、3つのシナリオに対する復号規則は異なることになる。
【0021】
・過剰決定の場合(overdetermined case):ラウドスピーカの数はHOA係数の数より多く、すなわちM>0である。この場合、復号問題には位置的な解法はないが、すべての潜在的解法のM次元空間のM−O次元サブ空間にあるさまざまな許容可能解が存在する。典型的には、ラウドスピーカ信号s、
【数6】
を決定するために、特定のラウドスピーカ設定のモードマトリックスΨの疑似逆行列を用いる。
【0022】
この解は、粗再生パワー
<外11>
が最小となるラウドスピーカ信号を与える(例えば、L.L.Scharf, 「Statistical Signal Processing. Detection, Estimation, and Time Series Analysis」, Addison-Wesley Publishing Company, Reading, Massachusetts, 1990を参照されたい)規則的なラウドスピーカの設定の場合(これは2次元の場合に容易に行い得る)、行列演算
<外12>
は単位行列となり、式(6)の復号規則は
<外13>
に単純化される。
【0023】
・決定された場合:ラウドスピーカの数はHOA係数の数と同じである。復号問題にはただ1つの解しかなく、それはモードマトリックスΨの逆行列Ψ
−1により
【数7】
確定される。
【0024】
・劣決定の場合:ラウドスピーカの数MはHOA係数の数Oより少ない。サウンドフィールドを復号する数学的問題は、劣決定(underdetermined)であり、一意的かつ厳密な解は無い。その替わりに、所望のサウンドフィールドに最もマッチしそうなラウドスピーカ信号を決定するには、数値的な最適化を用いなければならない。
【0025】
安定した解を求めるために、例えば式
【数8】
により、正規化を適用できる。ここで、Iは単位行列であり、スカラー係数λは正規化の量を確定する。一例として、λは
<外14>
の固有値の平均に設定できる。
【0026】
得られるビームパターンは、準最適であり得る。一般的に、このアプローチで得られるビームパターンは過剰に指向的であり、多くのサウンド情報が過小評価される。
【0027】
上記のすべてのデコーダの例では、ラウドスピーカは平面波を放射すると仮定した。現実世界のラウドスピーカの再生特性は異なり、復号規則がその特性を考慮しなければならない。
【0028】
ベーシックワーピング
本発明の空間ワーピングの原理を
図1aに示す。ワーピングは空間領域で行われる。それゆえ、
次数N
in、次元O
inの入力HOA係数A
inは、まず規則的に配置された(バーチャル)ラウドスピーカの重みまたは入力信号s
inに、ステップ/段階12で復号される。この復号ステップでは、決定デコーダ(determined decoder)、すなわち仮想ラウドスピーカの数
または次元O
warpがHOA係数O
in以上であるデコーダを用いると有利である。後者の場合(HOA係数よりラウドスピーカが多い場合)、HOA係数のベクトルA
inの次数または次元は、ステップ/段階11において、高次にゼロ係数を加えることにより、容易に拡張できる。ターゲットベクトルs
inの次元は、結局、O
warpで示される。
【0030】
<外15>
である。これにより、モードマトリックスΨ
1が復号行列Ψ
1−1を決定するのに調子がよいことが保証される。
【0031】
次に、バーチャルラウドスピーカの位置が、所望のワーピング特性により、「ワープ」処理で修正される。そのワープ処理は、ステップ/段階14において、モードマトリックスΨ
2を用いて、ターゲットベクトルs
in(またはs
out)の符号化と合成され、次元O
warpの、またはさらに下記の処理ステップが施されて、次元O
outの、ワープしたHOA係数のベクトルA
outが得られる。原理的に、ワーピング特性はソース角からターゲット角への1対1マッピングにより完全に確定できる。すなわち、各ソース角φ
in=0・・・2πとθ
in=0・・・2πに対して、ターゲット角が確定され、2次元の場合、
【数10】
であり、3次元の場合、
【数11】
【数12】
である。
【0032】
理解のため、この(仮想的な)再方向付けは、ラウドスピーカを新しい位置へ物理的に動かすことと対比できる。
【0033】
この手順により生じるひとつの問題は、ある角度にある隣接するラウドスピーカ間の距離が、ワーピング関数f(φ)の傾きにより変わることである(これはこの後2次元の場合について説明する):f(φ)の傾きが1より大きいとき、ワープしたサウンドフィールド中の同じ角度空間は、元のサウンドフィールドよりも、少ない「ラウドスピーカ」で占められ、その逆も成り立つ。言い換えると、ラウドスピーカの密度D
sは
【数13】
のように振る舞う。
【0034】
次に、これは、空間ワーピングにより、リスナの周りのサウンドバランスが変わることを意味する。ラウドスピーカの密度が高くなる、すなわち
<外16>
である領域は、より支配的になり、
<外17>
オプションとして、アプリケーションの要請に依存して、ラウドスピーカ密度の上記の変化は、重みステップ/段階13においてバーチャルラウドスピーカ出力信号s
inに利得関数g(φ)を適用することにより、対抗(counter)され、信号s
outが得られる。原理的に、任意の重み付け関数g(φ)を指定できる。ワーピング関数f(φ)の微分に比例する具体的な有利な一変形例
【数14】
が経験的に決定されている。
【0035】
この特定の重み付け関数を用いて、適当に高い内部次数(inner order)と出力次数(outer order)を仮定して(下の「HOA次数の設定のしかた」セクションを参照)、ワープされた角度f(φ)におけるパンニング関数の振幅は、元の角度φにおける元のパンニング関数と等しく保たれる。それにより、オープニング角ごとの均一なサウンドバランス(振幅)が得られる。
【0036】
上記の重み付け関数例からは離れて、例えば、オープニング角ごとにパワーを等しくするために、他の重み付け関数を用いることもできる。
【0037】
最後に、ステップ/段階14において、重み付けされたバーチャルラウドスピーカ信号はワープされ、
<外18>
を実行することにより、モードマトリックスΨ
2で再びエンコードされる。Ψ
2は、ワーピング関数f(Φ)により、Ψ1とは異なるモードベクトルを含む。結果は、ワープされたサウンドフィールドのO
warp次元HOA表現である。
【0038】
ターゲットHOA表現の次数または次元はΨ2の次元より低い(後の「HOA次数の設定のしかた」セクションを参照)場合、ワープされた係数のいくつか(すなわち、一部)はステップ/段階15で除去(取り除き)されねばならない。一般的に、この取り除き操作はウィンドウ操作により記述できる:エンコードされたベクトル
<外19>
は、除去される最高次には0である係数を含むウィンドウベクトルwとかけられる。このかけ算は、さらなる重み付けを表すと考えることができる。最も単純な場合には、正方形ウィンドウが適用できるが、文献M.A. Poletti、「A Unified Theory of Horizontal Holographic Sound Systems」(Journal of the Audio Engineering Society, 48(12), pp.1155- 1182, 2000)のセクション3に記載されているように、より高度なウィンドウを用いることもでき、または上記のJ.Danielの博士論文のセクション3.3.2に記載された「同相(in-phase)」または「max. r
E」ウィンドウを用いることもできる。
【0039】
3次元のワーピング関数
2次元の場合について、ワーピング関数f(φ)、及び関連する重み付け関数g(φ)の概念を上で説明した。以下は、高次元であり、球面ジオメトリを適用しなければならないために、より高度である3次元の場合への拡張である。2つの簡単なシナリオを導入する。両方とも、1次元のワーピング関数f(φ)またはf(θ)により所望の空間的ワーピングを指定できる。
【0040】
経度方向の空間的ワーピングでは、空間的ワーピングは、方位角φのみの関数として実行できる。この場合は、上で説明した2次元の場合とほぼ同様である。ワーピング関数は
【数15】
【数16】
により完全に確定される。
【0041】
それにより、2次元の場合のように、同様のワーピング関数を適用できる。空間的ワーピングは、赤道上においてサウンドオブジェクトに対し最大のインパクトを有し、球の極においてサウンドオブジェクトに対し最小のインパクトを有する。球面上の(ワープされた)サウンドオブジェクトの密度は、方位角のみに依存する。それゆえ、一定密度に重み付け関数は
【数17】
ワーピングを適用しその後に逆回転する前に球面を(仮想的に)回転することにより、空間におけるワーピング特性の自由な方向付けが可能である。
【0042】
緯度方向の空間的ワーピングでは、子午線に沿ってのみ空間的ワーピングができる。ワーピング関数は
【数18】
【数19】
により確定される。
【0043】
球面上のこのワーピング関数の重要な特性は、方位角が一定に保たれても、方位角方向の2点の角度距離は傾きの変化により変化することがあるということである。理由は、2本の子午線間の角度距離が赤道で最大であるが、2つの極ではゼロになるからである。この事実は重み付け関数で考慮しなければならない。
【0044】
2点AとBの角度距離cは、球面幾何学の余弦則により決定でき、
【数20】
、ここでφ
ABは2点AとBの間の角度距離である。I.N. Bronstein, K.A. Semendjajew, G. Musiol, H. Muhlig著「Taschenbuch der Mathematik」(Verlag Harri Deutsch, Thun, Frankfurt /Main, 5th edition, 2000)の式(3.188c)を参照されたい。同じ傾きθにおける2点間の角度距離に関して、この式は
【数21】
と単純化できる。
【0045】
この式は、空間中の点と、小さい方位角φ
εだけ離れた他の点との間の角距離を求めるために使うことができる。「小さい」とは、実際のアプリケーションにおいて現実的に小さいが、ゼロではないことを意味し、理論的には、極限値φ
ε→0である。ワーピング前後の各距離間の比は、サウンドオブジェクトの密度がφ方向で変化する係数
【数22】
を与える。
【0046】
最終的に、重み付け関数は、φ方向とθ方向の2つの重み付け関数の積
【数23】
である。ここで再び、前出のシナリオのように、空間におけるワーピング特性の自由な方向付けは、回転により実現可能である。
【0047】
単一ステップ処理
【数24】
と記述する。ここで、diag(・)はそのベクトル引数の値を主対角線の成分としてもつ対角行列を示し、gは重み付け関数であり、wは上記の、すなわちステップ/段階15で実行される取り除きに備えた重み付けと、係数取り除き(coefficients-stripping)そのものの2つの関数からの取り除き(stripping)を準備するウィンドウベクトルであるり、式(24)のウィンドウベクトルは、重み付けのみに作用する。
【0048】
マルチステップアプローチにおける次数の2つのアダプテーション、すなわちデコーダに先行する次数の拡張と、エンコーディング後のHOA係数の取り除きも、対応する劣及び/またはラインを除去することにより、変換行列Tに組み込める。それゆえ、サイズO
out×O
inの行列を求め、入力HOAベクトルに直接適用できる。そして、空間的ワーピング演算は
【数25】
となる。
【0049】
有利にも、O
warp×O
warpからO
out×O
inへの変換行列Tの次元の有効な低減により、
図1bによる単一ステップ処理を実行するのに必要な計算上の複雑性は、
図1aのマルチステップアプローチに必要なものようりも大幅に少なくなり、それでも単一ステップ処理で完全に同じ結果が得られる。具体的に、それにより、マルチステップ処理が中間信号の低い次数N
warpで実行された場合に生じ得る歪みを回避する(詳細は下の「HOA次数の設定のしかた」セクションを参照されたい)。
【0050】
技術水準:回転及び鏡映
サウンドフィールドの回転と鏡映は、空間的ワーピングの「単純な」サブカテゴリーと考えられる。これらの変換の特別な特性は、サウンドオブジェクト相互の相対的位置は変わらないということである。すなわち、元のサウンドシーンにおいて、例えば、他のサウンドオブジェクトの右側30°にあったサウンドオブジェクトは、回転されたサウンドシーンにおいても同じ他のオブジェクトの右側30°にある。鏡映の場合、符号は変わるが、角距離は同じである。
【0051】
サウンドフィールド情報の回転と鏡映のアルゴリズムとアプリケーションは研究され、例えば上記のBarton/Gerzon及びJ.Danielの文献、及びM. Noisternig, A. Sontacchi, Th . Musil, R. Holdrich著「A 3D Ambisonic Based Binaural Sound Reproduction System」(Proc. of the AES 24th Intl. Conf. on Multichannel Audio, Banff, Canada, 2003)及びH. Pomberger, F. Zotter著「An Ambisonics Format for Flexible Playback Layouts」(1st Ambisonics Symposium, Graz, Austria, 2009)に記載されている。
【0052】
これらのアプローチは回転行列の解析的表現に基づく。例えば、円形サウンドフィールド(2次元の場合)の任意の角度αの回転は、ワーピングマトリックスT
αとのかけ算により行い得る。T
α
【数26】
では係数のサブセットが非ゼロである。
【0053】
この例のように、回転及び/または鏡映演算のすべてのワーピングマトリックスは、同じ次数の係数のみが互いに影響するという特殊な特性を有する。それゆえ、これらのワーピングマトリックスは、非ゼロ要素が非常に少なく、出力N
outは、空間的情報を失うことなく、入力次数N
inと等しくできる。
【0054】
サウンドフィールド情報の回転や鏡映が必要である多数の興味深いアプリケーションがある。一例は、ヘッドトラッキングシステムを有するヘッドホンを介したサウンドフィールドの再生である。頭部の回転角によりHRTF(head-related transfer function)を補間するのではなく、
頭部の位置によりサウンドフィールドを予め回転して、再生には一定のHRTFを用いると都合がよい。この処理は、上記のNoisternig/Sontacchi/Musil/Holdrichの文献に記載されている。
【0055】
他の例が、サウンドフィールド情報のエンコーディングの場合について、上記のPomberger/Zotterの文献に記載されている。HOAベクトルにより記述される空間領域を、円(2次元の場合)または球の一部に制約することも可能である。制約のため、HOAベクトルの一部はゼロになる。あの文献で提唱されているアイデアは、この冗長性低減特性をサウンドフィールド情報のミクストオーダーコーディング(mixed-order coding)に利用するものである。上記の制約は空間の特定領域にのみ得られるため、伝送された部分的情報を空間の所望の領域にシフトするためには、一般的には回転演算が必要である。
【0056】
実施例
図2は、2次元(円)の場合における空間的ワーピングの一例を示す。ワーピング関数は、一実数値パラメータを有する離散時間オールパスフィルタの位相応答に似た、
【数27】
とした。M. Kappelan著「Eigenschaften von Allpass-Ketten und ihre Anwendung bei der nicht-aquidistanten spektralen Analyse und Synthese」(PhD thesis, Aachen University (RWTH) , Aachen, Germany, 1998)を参照。
【0057】
ワーピング関数を
図2aに示した。2π周期のワーピング関数を保証し、一パラメータaを有する空間的歪みの量を修正できるので、このワーピング関数f(φ)を選択した。
【0058】
図2bに示した対応する重み付け関数g(φ)は、必然的に、そのワーピング関数から得られる。
【0059】
図2cは、7×25シングルステップ変換ワーピングマトリックスTを示す。この行列の個々の係数の対数絶対値を、添付のグレースケールまたはシェーディングバーにより、グレースケールまたはシェーディングタイプにより示した。この行列例は、入力HOA次数Nε=3、出力次数N
out=12に対して設計されている。低次係数から高次係数まで変換により分散した情報のほとんどをキャプチャするためには、高い出力次数が必要である。出力次数がさらに減れば、ワーピング演算の精度が悪くなるだろう。ワーピングマトリックスの非ゼロ係数が無視されるからである(より詳細については、以下の「HOA次数の設定のしかた」セクションを参照されたい)。
【0060】
このワーピングマトリックスの非常に有用な特性は、その多くの部分がゼロであるということである。これにより、この演算を実行する時に多くの計算パワーを節約できるが、シングルステップ変換行列のある部分がゼロであることは原則ではない。
【0061】
図2dと
図2eは、いくつかの平面波により生じるビームパターンの例におけるワーピング特性を示す。両図は、φの位置0,2/7π、4/7π、6/7π、8/7π、10/7π及び12/7πにおける、すべての振幅が1である7つの同じ入力平面波のものであり、7つの角振幅分布を示し、すなわち過剰決定の規則的デコーディング演算のベクトルs
【数28】
を示す。ここで、HOAベクトルAは、元のベクトルまたは平面波のセットをワープしたもののどちらかである。円の外側の数字は角度φを表す。バーチャルラウドスピーカ数(例えば、360)は、HOAパラメータの数よりかなり多い。前方方向から来る平面波の振幅分布またはビームパターンは、φ=0である。
【0062】
図2dは、元のHOA表現の振幅分布を示す。7つのすべての分布は、似た形状であり、メインローブと同じ幅を有する。メインローブの最大は、予想通り、元の7つのサウンドオブジェクトの角度φ=(0、2/7π、・・・)にある。メインローブは、元のHOAベクトルの限定次数N
in=3に対応する幅を有する。
【0063】
図2eは、同じサウンドオブジェクトの振幅分布であるが、ワーピング演算を行った後のものを示す。一般的に、オブジェクトは0°の前方向に向けて動かされ、ビームパターンは変更されている:前方向φ=0のまわりのメインローブは、狭くなり、よりフォーカスされている。一方、180°のまわりの後ろ方向のメインローブは大幅に広くなった。サイドでは、90°と270°で最大のインパクトがあり、ビームパターンは、これらの角度に対する
図2bの重み付け関数g(φ)の大きな傾きのため、非対称になっている。ビームパターンのこれらの大きな変化(狭くなり形状が変わる変化)は、ワープされたHOAベクトルの高次Nout=12により可能になっている。理論的には、前方向のメインローブの分解能は、2.33倍だけ増加している。一方、後ろ方向の分解能は1/2.33倍だけ減少している。ローカルの次元が空間的に変わるミクストオーダー信号が生成される。ワープされたHOA係数を満足行く精度で表すには
<外20>
の最小出力次元が必要であると仮定できる。以下の「HOA次元の設定のしかた」セクションでは、本来のローカル次元をより詳細に説明する。
【0064】
特性
上記のワーピングステップは一般的であり非常に柔軟である。少なくとも次の基本演算を実現できる:任意の軸及び/または面のよる回転及び/または鏡映、連続ワーピング関数による空間的歪み、及び特定方向の重み付け(空間的ビームフォーミング)。
【0065】
以下のサブセクションでは、本発明のスペースワーピングの多くの特性を強調し、これらの詳細により何ができて何ができないかについてガイダンスを与える。さらにまた、いくつかのデザインルールを説明する。原理的に、次のパラメータは所望のワーピング特性を得るために、自由度があり調節できる:
・ワープ関数f(θ,φ);
・重み付け関数g(θ,φ);
・内部次元N
warp;
・出力次元N
out;
・ベクトルwを用いた出力係数のウィンドウイング
線形性
マルチステップ処理の基本的な変換ステップは、定義により線形である。中間で起こっている新しいロケーションへのサウンドソースの非線形マッピングは、エンコーディングマトリックスの確定にインパクトがあるが、エンコーディングマトリックス自体は線形のままである。その結果、合成されたスペースワーピング演算とTとの行列のかけ算は、線形演算であり、すなわち
【数29】
である。この特性は本質的である。この特性により、異なる複数のサウンドソースからの同時的な貢献を含む複雑なサウンドフィールド情報を処理できるからである。
【0066】
空間不変性
定義により(ワーピング関数が傾き1または−1で完全に線形でない限り)、スペースワーピング変換は空間的に不変ではない。これは、その演算が、半球上の異なる位置にあったサウンドオブジェクトに対して異なる振る舞いをすることを意味する。数学的に言えば、この特性は、少なくともいくつかの任意の角度α∈]0...2π[に対するワーピング関数f(φ)の非線形性、すなわち
【数30】
の結果である。
【0067】
可逆性
一般的には、変換行列Tは数学的反転によっては単純に逆にできない。ひとつの明らかな理由はTは通常は非正方行列であることにある。正方なスペースワーピング行列であっても可逆ではない。低次係数から高次係数に広がっている情報が失われ(HOA次元の設定のしかたセクションと実施例セクションの例とを比較されたい)、演算で情報が失われることは、その演算が逆転できないことを意味するからである。
【0068】
それゆえ、スペースワーピング演算を少なくとも近似的に逆転する他の方法を見つけなければならない。逆ワーピング変換T
revは、ワーピング関数f(・)の逆関数f
rev(・)
【数31】
を介してデザインできる。HOA次元の選択によって、この処理は逆変換を近似する。
【0069】
HOA次元の設定のしかた
スペースワーピング変換をデザインする時に考慮すべき重要な側面は、HOA次元である。入力ベクトルA
inの次数N
inは外的制約により予め決まっているが、出力ベクトルA
outの次数N
outと実際の非線形ワーピング演算の「内部」次数N
warpは、大体任意に割り当てできる。しかし、両方の次数N
inとN
warpは両方とも以下に説明するように注意して選択しなければならない。
【0070】
「内部」次元Nwarp;
「内部」次元N
warpは、上記のマルチステップスペースワーピングにおける実際のでコーディング、ワーピング、及びエンコーディングステップの精度を確定する。一般的に、次数N
warpは入力次数N
inと出力次数N
outの両方より大幅に大きくなければならない。この要件の理由は、ワーピング演算が一般的に非線形演算なので、歪みとアーティファクトが生じることにある。
【0071】
このことを説明するため、
図3は、
図2の例に用いたのと同じワーピング関数の完全なワーピングマトリックスの例を示す。
図3a、
図3c、及び
図3eは、それぞれワーピング関数f
1(φ)、f
2(φ)及びf
3(φ)を示す。
図3b、
図3d、及び
図3fは、それぞれワーピングマトリックスT
1(dB)、T
2(dB)、及びT
3(dB)を示す。例示のために、特定の入力次元N
inまたは出力次元N
outのワーピングマトリックスを決定するために、これらのワーピングマトリックスはクリッピングされていない。そのかわり、
図3b、
図3d、及び
図3f中の中央のボックスの点線は、最終結果の目標サイズN
out×N
in、すなわちクリッピングされた変換行列を示す。このように、ワーピングマトリックスへの非線形歪みのインパクトは明らかに見える。この例では、目標次元は任意的にN
in=30及びN
out=100に設定されている。
【0072】
基本的な問題が
図3bから分かる:明らかに、空間領域における非線形処理により、ワーピングマトリックス内の係数が主対角線の周りに広がり、行列の中心から遠くなればなるほどより大きく広がる。中心から非常に遠いところでは、yは縦軸として、例では|y|≧90のところでは、広がった係数は行列全体の境界に達しており、「跳ね返る」ように見える。これにより特殊な歪みが発生し、ワーピングマトリックスの大きな部分に及ぶ。実験的な評価では、歪みプロダクト(distortion products)が行列の目標エリア(図中、点線で示した)内に配置されるとすぐに、これらの歪みが変換性能を大きく損なうことが観察された。
【0073】
図3bの第1の例の場合、処理の「内部」次数がN
warp=200とされ、これは出力次数N
out=100より大幅に大きいので、うまくいっている。歪んだ領域は点線のボックスには及んでいない。
【0074】
他のシナリオを
図3dに示した。内部次数は出力次数に等しく指定されており、すなわちN
warp=N
out=100である。図は、歪みの範囲は、内部次数に対して線形にスケールすることを示している。その結果、変換の出力の高次係数は歪みプロダクト(distortion products)により汚染されている。かかるスケーリング特性の利点は、内部次数N
warpを適宜大きくすることにより、これらのタイプの非線形歪みを回避できるらしいことである。
【0075】
図3fは、係数がa=0.7と大きいよりアグレッシブなワーピング関数を有する例を示す。ワーピング関数がよりアグレッシブなので、内部次数N
warp=200の場合であっても、歪みは目標行列エリアに及んでしまう。この場合、前出のパラグラフで求めたように、過剰プロビジョニングよりも内部次数はより大きくしなければならない。このワーピング関数の実験は、内部次数を例えばN=400に増加することにより、これらの非線形歪みがなくなることを示している。
【0076】
要するに、ワーピング演算が強ければ強いほど、内部次数N
warpは大きくなければならない。最小内部次数を求める公式はまだ無い。しかし、疑わしい場合には、過剰プロビジョンの「内部」次数が役に立つ。非線形効果はワーピングマトリックスのサイズに対して線形にスケールするからである。原理的に、「内部」次数は任意で高くすることができる。具体的に、シングルステップの変換行列を求める場合、内部次数は最終的なワーピング演算の複雑性に対しては、何ら役割を果たさない。
【0077】
出力次数N
out:
ワーピング変換の出力次数N
outを記述するため、次の2つの側面を考慮すべきである:
・一般的に、異なる次数の係数に広がったすべての情報を保持するために、出力次数は入力次数N
inより大きくなければならない。実際に必要なサイズは、ワーピング関数の特性にも依存する。経験から言って、ワーピング関数f(φ)が「ブロードバンド」でなければないほど、必要な出力次数は小さくなる。いくつかの場合には、必要な出力次数N
outを制限するため、ワーピング関数をローパスフィルタにかけることができると思われる。
一例は
図3bに示されている。このワーピング関数の場合、点線のボックスで示したように、出力次数N
out=100は情報の損失を防ぐのに十分である。出力次数が大幅に、例えばN
out=50に低減されると、変換行列のいくつかの非ゼロ係数が残り、対応する情報損失が生じると考えられる。
・いくつかの場合には、限定された次数のみを処理できる処理または装置に対して、出力HOA係数を用いる。例えば、ターゲットは、限られた数のスピーカを有するラウドスピーカセットアップであり得る。かかるアプリケーションでは、出力次数は目標システムの能力により指定されるべきである。Noutが十分小さければ、ワーピング変換により空間的情報が効果的に低減される。
【0078】
内部次数N
warpの出力次数N
outへの低減は、高次係数をドロップすることにより行い得る。これは、HOA出力ベクトルへの正方形のウィンドウの適用に対応する。あるいは、上記のM.A. PolettiやJ. Danielの文献に記載されているように、.より高度な帯域幅低減手法を適用できる。それにより、正方形のウィンドウイングよりもより多くの情報が失われ易いが、よりよい方向パターンが実現できる。
【0079】
本発明は、例えば、録音、ポストプロダクション、伝送、再生などのオーディオ処理チェーンの異なる複数の部分で用いることができる。