特許第5921678号(P5921678)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ トムソン ライセンシングの特許一覧

特許5921678高次Ambisonics表現に含まれるサウンドオブジェクトの相対位置を変更する方法と装置
<>
  • 特許5921678-高次Ambisonics表現に含まれるサウンドオブジェクトの相対位置を変更する方法と装置 図000059
  • 特許5921678-高次Ambisonics表現に含まれるサウンドオブジェクトの相対位置を変更する方法と装置 図000060
  • 特許5921678-高次Ambisonics表現に含まれるサウンドオブジェクトの相対位置を変更する方法と装置 図000061
  • 特許5921678-高次Ambisonics表現に含まれるサウンドオブジェクトの相対位置を変更する方法と装置 図000062
  • 特許5921678-高次Ambisonics表現に含まれるサウンドオブジェクトの相対位置を変更する方法と装置 図000063
  • 特許5921678-高次Ambisonics表現に含まれるサウンドオブジェクトの相対位置を変更する方法と装置 図000064
  • 特許5921678-高次Ambisonics表現に含まれるサウンドオブジェクトの相対位置を変更する方法と装置 図000065
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5921678
(24)【登録日】2016年4月22日
(45)【発行日】2016年5月24日
(54)【発明の名称】高次Ambisonics表現に含まれるサウンドオブジェクトの相対位置を変更する方法と装置
(51)【国際特許分類】
   H04S 5/02 20060101AFI20160510BHJP
【FI】
   H04S5/02 P
   H04S5/02 Z
【請求項の数】14
【全頁数】22
(21)【出願番号】特願2014-517583(P2014-517583)
(86)(22)【出願日】2012年6月15日
(65)【公表番号】特表2014-523172(P2014-523172A)
(43)【公表日】2014年9月8日
(86)【国際出願番号】EP2012061477
(87)【国際公開番号】WO2013000740
(87)【国際公開日】20130103
【審査請求日】2015年6月12日
(31)【優先権主張番号】11305845.7
(32)【優先日】2011年6月30日
(33)【優先権主張国】EP
(73)【特許権者】
【識別番号】501263810
【氏名又は名称】トムソン ライセンシング
【氏名又は名称原語表記】Thomson Licensing
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100091214
【弁理士】
【氏名又は名称】大貫 進介
(72)【発明者】
【氏名】ジャックス,ピーター
(72)【発明者】
【氏名】バトケ,ヨハン−マルクス
【審査官】 千本 潤介
(56)【参考文献】
【文献】 特表2005−519502(JP,A)
【文献】 特表2013−514696(JP,A)
【文献】 特表2002−505058(JP,A)
【文献】 特開2010−252220(JP,A)
【文献】 特表昭57−500268(JP,A)
【文献】 特表2006−506918(JP,A)
【文献】 特表2013−507796(JP,A)
【文献】 特表2013−524564(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04S 5/02
(57)【特許請求の範囲】
【請求項1】
オーディオシーンの2次元または3次元の高次AmbisonicsHOA表現内に含まれる複数のサウンドオブジェクトの相対的位置を変更する方法であって、
次元Oinを有する入力ベクトルAin入力信号のフーリエ級数の係数を決定し、次元Ooutを有する出力ベクトルAoutが、対応する変更後の出力信号のフーリエ級数の係数を決定し、前記方法は、
モード行列Ψ疑似逆行列を用いて、in=Ψ(ΨΨ−1inを計算することにより、入力HOA係数の前記入力ベクトルAinを、規則的に配置されたラウドスピーカの位置に対して、空間領域の入力信号sinにデコードするステップと、
out=Ψinを計算することにより、前記入力信号sinを、適合させた出力HOA係数を有する前記出力ベクトルAoutに、空間領域でワープ及びエンコードするステップであって、規則的に配置されたラウドスピーカの位置の角度(φin,θin)が、前記出力ベクトルAout中のターゲットラウドスピーカ位置のターゲット角度(φout,θin)に、1対1マッピングされるワーピング関数f(φ)により、前記モード行列Ψのモードベクトルがモード行列Ψのモードベクトルに対して修正される、ステップとを有する方法。
【請求項2】
前記空間領域の入力信号sinは、前記ワープ及びエンコードするステップの前に、ゲイン関数g(φ)またはg(θ,φ)により重み付けされる、請求項1に記載の方法。
【請求項3】
2次元Ambisonicsの場合、前記ゲイン関数は
〈外1〉

3次元Ambisonicsの場合、前記ゲイン関数は、φ方向とθ方向において、
〈外2〉


φは方位角であり、θは傾斜角であり、φεは小さい方位角である、
請求項2に記載の方法。
【請求項4】
仮想的ラウドスピーカの数または次元OwarpがHOA係数の数または次元Oin以上である場合、前記デコードするステップの前に、より高次のゼロ係数を追加することにより、前記入力ベクトルAinの次数または次元を拡張する、請求項1または2に記載の方法。
【請求項5】
HOA係数の次数または次元が前記モード行列Ψの次数または次元より低い場合、前記出力ベクトルAoutを提供するため、前記ワープされた係数の一部を取り除くために、前記ワープされエンコードされ場合によっては重み付けされた信号Ψinを、最高次にゼロ係数を有するウィンドウベクトルwを用いて、さらに重み付けする、請求項1または2に記載の方法。
【請求項6】
前記デコード、重み付け、及びワープ/デコードするステップは、共にサイズOwarp×Owarpの変換行列
〈外3〉


を用いることにより実行され、diag(w)は前記ウィンドウベクトルwの値を主対角線の成分として有する対角行列を示し、diag(g)は前記ゲイン関数gを主対角線の成分として有する対角行列を示す、請求項2に従属した請求項5に記載の方法。
【請求項7】
前記変換行列TをサイズOout×Oinとなるような形状にするため、前記変換行列Tの対応する列及び/またはラインをスペースワーピング演算Aout=TAinを実行するように除去する、請求項6に記載の方法。
【請求項8】
オーディオシーンの2次元または3次元の高次AmbisonicsHOA表現内に含まれる複数のサウンドオブジェクトの相対的位置を変更する装置であって、
次元Oinを有する入力ベクトルAinが、入力信号のフーリエ級数の係数を決定し、次元Ooutを有する出力ベクトルAoutが、対応する変更後の出力信号のフーリエ級数の係数を決定し、前記装置は、
モード行列Ψ疑似逆行列を用いて、in=Ψ(ΨΨ−1inを計算することにより、入力HOA係数の前記入力ベクトルAinを、規則的に配置されたラウドスピーカの位置に対して、空間領域の入力信号inにデコードするように構成された手段と、
out=Ψinを計算することにより、前記入力信号sinを、適合させた出力HOA係数を有する前記出力ベクトルAoutに、空間領域でワープ及びエンコードするように構成された手段であって、規則的に配置されたラウドスピーカの位置の角度(φin,θin)が、前記出力ベクトルAout中のターゲットラウドスピーカ位置のターゲット角度(φout,θin)に、1対1マッピングされるワーピング関数f(φ)により、前記モード行列Ψのモードベクトルがモード行列Ψのモードベクトルに対して修正される、手段とを有する装置。
【請求項9】
前記ワープ及びエンコードする前に、ゲイン関数g(φ)またはg(θ,φ)により前記空間領域の入力信号sinを重み付けするように構成された手段を含む、請求項8に記載の装置。
【請求項10】
2次元Ambisonicsの場合、前記ゲイン関数は
〈外4〉


であり、
3次元Ambisonicsの場合、前記ゲイン関数は、φ方向とθ方向において、
〈外5〉



であり、
φは方位角であり、θは傾斜角であり、φεは小さい方位角である、
請求項9に記載の装置。
【請求項11】
前記デコードをする前に、仮想ラウドスピーカの数または次元がHOA係数の数または次元Oin以上である場合に、より高い次数のゼロ係数を加えることにより、前記入力ベクトルAinの次数または次元を拡張するように構成された手段を含む、請求項8または9に記載の装置。
【請求項12】
最高次にゼロ係数を有するウィンドウベクトルwを用いて、前記ワープされ、エンコードされ、場合によっては重み付けされた信号Ψinをさらに重み付けし、前記出力ベクトルAoutを提供するために、前記ワープされた係数の一部を除去するように構成された手段を含む、請求項8または9に記載の装置。
【請求項13】
サイズOwarp×Owarpの変換行列
〈外6〉
を用いることにより、共に前記デコード、重み付け、及びワープ/デコードを実行するように構成された手段を含み、diag(w)は前記ウィンドウベクトルwの値を主対角線の成分として有する対角行列を示し、diag(g)は前記ゲイン関数gを主対角線の成分として有する対角行列を示す、請求項9に従属した請求項12に記載の装置。
【請求項14】
前記変換行列TをサイズOout×Oinとなるような形状にするため、共に前記デコード、重み付け、及びワープ/デコードを実行するように構成された手段において、前記変換行列Tの対応する列及び/またはラインをスペースワーピング演算Aout=TAinを実行するように除去する、請求項13に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
オーディオシーンの2次元または3次元の高次Ambisonics表現内に含まれるサウンドオブジェクトの相対位置を変更する方法と装置に関する。
【背景技術】
【0002】
高次Ambisonics(HOA)は、2次元及び3次元の両方で、優れた空間解像度を有する複雑なオーディオシーンの取得、操作、録音、送信及び再生を容易にする空間的サウンドフィールドの表現である。サウンドフィールドは、フーリエ・ベッセル級数により空間の基準点及びその周りにおいて近似される。
【0003】
HOA手法で取得したオーディオシーンの空間構成を操作する手法は限られた数しかない。原理的には、2つの方法がある。すなわち、
A)例えば、DirACを介して、オーディオシーンを別々のサウンドオブジェクトと関連位置情報とに分解し、位置パラメータを操作して新しいシーンを合成する。欠点は、高度で間違いやすいシーン分解が必須だということである。
B)HOAベクトルの線形変換により、HOA表現の内容を修正できる。これについては、前後方向の回転、鏡映、及び強調のみが提案されている。これらの既知の変換ベースの修正手法はすべて、シーン内の複数のオブジェクトの相対的位置を一定に保つ。
【0004】
シーンの内容を操作または修正するために、HOAの回転と鏡映を含み、特定方向の優越性を修正するスペースワーピング(space warping)が提案されている(非特許文献1−3)。
【非特許文献1】G.J. Barton, M.A. Gerzon著「Ambisonic Decoders for HDTV」(AES Convention, 1992)
【非特許文献2】J. Daniel著「Representation de champs acoustiques, application a la transmission et a la reproduction de scenes sonores complexes dans un contexte multimedia」(PhD thesis, Universite de Paris 6, 2001, Paris, France)
【非特許文献3】M. Chapman, Ph. Cotterell著「Towards a Comprehensive Account of Valid Ambisonic Transformations」(Ambisonics Symposium, 2009, Graz, Austria)
【発明の開示】
【0005】
本発明により解決されるべき問題は、シーンの組成を分析する必要性無しに、HOAベースのオーディオシーン内に含まれる複数のサウンドオブジェクトの相対的位置の変更を容易にすることである。この問題は、請求項1に開示した方法により解決される。この方法を利用する装置を請求項に開示した。
【0006】
本発明は、高次Ambisonics表現として取得または生成されたサウンドフィールド情報の空間的内容及び/または再生を修正するためにスペースワーピングを用いる。HOAドメインにおけるスペーシャルワーピングは、マルチステップアプローチ、またはより計算的に効率のよいシングルステップの線形行列乗算を表す。2次元と3次元のサウンドフィールドに対するワーピング特性は異なってもよい。
【0007】
ワーピングは、シーン分析や分解を行わずに、空間領域で行われる。ある順序で入力されたHOA係数は、重みまたは規則的に配置された(仮想的)ラウドスピーカの入力信号に復号される。発明的スペースワーピング処理には複数の利点がある。すなわち、
・パラメータ化に自由度があるので、非常に柔軟である、
・非常に効率的に、すなわち比較的低い複雑性で、実装できる、
・シーン分析や分解が必要ない。
【0008】
原理的に、本発明的方法は、オーディオシーンの2次元または3次元の高次Ambisonics(HOA)表現内に含まれる複数のサウンドオブジェクトの相対位置を変更するのに適している、次元Oinの入力ベクトルAinが入力信号のフーリエ級数の係数を決定し、次元Ooutの出力ベクトルAoutが、対応する変更後の出力信号のフーリエ級数の係数を決定する。前記方法は次のステップを含む。
・前記入力HOA係数の入力ベクトルAinを、
<外1>
を計算することにより、モード行列Ψの逆行列Ψ−1を用いて、規則的に配置されたラウドスピーカの位置に対する空間領域の入力信号sinに復号するステップ、
・前記入力信号sinを、
<外2>
を計算することにより、前記適合させた出力HOA係数の出力ベクトルAoutに空間領域でワープ及びエンコードするステップであって、元のラウドスピーカ位置の角度が、前記出力ベクトルAout中のターゲットラウドスピーカ位置のターゲット角度に、1対1にマッピングされるワーピング関数f(Φ)により、モード行列のモードベクトルが修正されるステップ。
【0009】
原理的に、本発明的装置は、オーディオシーンの2次元または3次元の高次Ambisonics(HOA)表現内に含まれる複数のサウンドオブジェクトの相対位置を変更するのに適し、次元Oinの入力ベクトルAinが入力信号のフーリエ級数の係数を決定し、次元Ooutの出力ベクトルAoutが、対応する変更後の出力信号のフーリエ級数の係数を決定する。前記装置は次の手段を含む。
・前記入力HOA係数の入力ベクトルAinを、
<外3>
を計算することにより、モード行列Ψの逆行列Ψ−1を用いて、規則的に配置されたラウドスピーカの位置に対する空間領域の入力信号sinに復号するように構成された手段、
・前記入力信号sinを、
<外4>
を計算することにより、前記適合させた出力HOA係数の出力ベクトルAoutに空間領域でワープ及びエンコードするように構成された手段であって、元のラウドスピーカ位置の角度が、前記出力ベクトルAout中のターゲットラウドスピーカ位置のターゲット角度に、1対1にマッピングされるワーピング関数f(Φ)により、モード行列のモードベクトルが修正される手段。
【0010】
本発明のこれ以外の有利な実施形態は、それぞれの従属項に開示されている。
【図面の簡単な説明】
【0011】
添付した図面を参照して、本発明の実施形態を例として説明する。
図1】空間領域におけるワーピングの原理を示す図である。
図2】Nin=3、Nout=12、及びワーピング関数がf(Φ)=Φ+2 atan (a sinΦ/ (1-a cos Φ))
図3】ワーピング関数及び「内部」順序Nwarpが異なる場合の行列歪みを示す図である。
【発明を実施するための形態】
【0012】
結局、理解できるように、スペースワーピングの発明的アプリケーションを2次元の設定で説明し、HOA表現は円形ハーモニクス(circular harmonics)に依存し、表現されるサウンドフィールドは平面音波のみを含むものと仮定する。その後、説明を球面ハーモニクス(spherical harmonics)に基づいて3次元の場合に拡張する。
【0013】
記法
Ambisonics理論では、空間中のある点及びその周りにおけるサウンドフィールドは、先を切り捨てたフーリエ・ベッセル級数により記述される。一般的に、基準点は、選択した座標系の原点にあると仮定する。
【0014】
球面座標を用いる3次元アプリケーションの場合、すべての確定されたインデックスn=0,1,・・・,Nとm=−n,・・・,nの係数Aを有するフーリエ級数は、方位角Φ、傾きθ、原点からの距離rにおけるサウンドフィールドの圧力を
【数1】
と記述する。
ここで、kは波数であり、
<外5>
<外6>
で用いられる。特定の順序Nの場合、フーリエ・ベッセル級数の係数の数は
<外7>
円座標を用いる2次元アプリケーションの場合、カーネル関数は方位角Φのみに依存する。m≠nであるすべての係数は、値がゼロであり省略できる。それゆえ、HOA係数の数は
<外8>
のみに減少する。さらに、傾きθ=π/2は一定である。留意点として、2次元の場合、かつサウンドオブジェクトが円上に完全に一様に分布している場合、すなわち
<外9>
である場合、Ψ内のモードベクトルは、周知の離散フーリエ変換DFTのカーネル関数と同じである。
【0015】
カーネル関数の定義には異なる複数の慣例があり、Ambisonics係数Anmの定義も異なる。しかし、細かい定義は、本願で説明するスペースワーピング手法の基本的な仕様と特徴には影響しない。
【0016】
HOA「信号」は、各時点のAmbisonics係数のベクトルAを含む。2次元、すなわち円の設定の場合、係数ベクトルの典型的な組成と順序は
【数2】
である。3次元の球面の設定の場合、係数の通常の順序は異なり
【数3】
となる。HOA表現のエンコーディングは線形に振る舞い、それゆえ複数の離れたサウンドオブジェクトのHOA係数は、結果的なサウンドフィールドのHOA係数を求めるために、合計できる。
【0017】
明白なエンコーディング
複数の方向からの複数のサウンドオブジェクトの明白なエンコーディングは、ベクトル代数で簡単に求められる。「エンコーディング」は、同じ時点lにおける、及び音波が座標系の原点に到着する方向φとθにおける、個々のサウンドオブジェクト(i=0・・・M−1)の圧力貢献s(k,l)に関する情報から、時点lと波数kにおけるHOA計数A(k,l)
【数4】
のベクトルを求めることである。
【0018】
2次元設定と式(2)で確定したHOAベクトルの成分を仮定すると、モード行列Ψは、モードベクトル
<外10>
【数5】
である。
【0019】
上で定義したように、HOA表現のエンコーディングは、入力信号(サウンドオブジェクト)が空間的に分布しているので、空間・周波数変換と解釈できる。行列Ψによるこの変換は、サウンドオブジェクトの数がHOA係数の数に等しい、すなわちM=Oの場合、及び方向φiが単位円の周りに広がっている(reasonably spread)場合にのみ、情報損失無しに逆変換できる。数学的に言うと、逆変換できる条件は、モード行列Ψが正方行列(O×O)であり、逆行列があることである。
【0020】
単純な復号
復号により、リアルまたはバーチャルラウドスピーカのドライバ信号が得られ、そのドライバ信号は入力HOA係数により記述される所望のサウンドフィールドを正確に再生するために用いられる。かかる復号は数Mとラウドスピーカの位置とに依存する。次の重要な3つの場合を区別しなければならない(注釈、これらの場合は、ラウドスピーカがジオメトリ的に合理的に設置されているという仮定の下で、「ラウドスピーカの数」により確定されるという意味で単純化される。より正確には、ターゲットのラウドスピーカの設置のモードマトリックスのランクにより確定される。下記の復号規則の例では、モードマッチング復号原理を用いるが、他の復号原理も利用でき、3つのシナリオに対する復号規則は異なることになる。
【0021】
・過剰決定の場合(overdetermined case):ラウドスピーカの数はHOA係数の数より多く、すなわちM>0である。この場合、復号問題には位置的な解法はないが、すべての潜在的解法のM次元空間のM−O次元サブ空間にあるさまざまな許容可能解が存在する。典型的には、ラウドスピーカ信号s、
【数6】
を決定するために、特定のラウドスピーカ設定のモードマトリックスΨの疑似逆行列を用いる。
【0022】
この解は、粗再生パワー
<外11>
が最小となるラウドスピーカ信号を与える(例えば、L.L.Scharf, 「Statistical Signal Processing. Detection, Estimation, and Time Series Analysis」, Addison-Wesley Publishing Company, Reading, Massachusetts, 1990を参照されたい)規則的なラウドスピーカの設定の場合(これは2次元の場合に容易に行い得る)、行列演算
<外12>
は単位行列となり、式(6)の復号規則は
<外13>
に単純化される。
【0023】
・決定された場合:ラウドスピーカの数はHOA係数の数と同じである。復号問題にはただ1つの解しかなく、それはモードマトリックスΨの逆行列Ψ−1により
【数7】
確定される。
【0024】
・劣決定の場合:ラウドスピーカの数MはHOA係数の数Oより少ない。サウンドフィールドを復号する数学的問題は、劣決定(underdetermined)であり、一意的かつ厳密な解は無い。その替わりに、所望のサウンドフィールドに最もマッチしそうなラウドスピーカ信号を決定するには、数値的な最適化を用いなければならない。
【0025】
安定した解を求めるために、例えば式
【数8】
により、正規化を適用できる。ここで、Iは単位行列であり、スカラー係数λは正規化の量を確定する。一例として、λは
<外14>
の固有値の平均に設定できる。
【0026】
得られるビームパターンは、準最適であり得る。一般的に、このアプローチで得られるビームパターンは過剰に指向的であり、多くのサウンド情報が過小評価される。
【0027】
上記のすべてのデコーダの例では、ラウドスピーカは平面波を放射すると仮定した。現実世界のラウドスピーカの再生特性は異なり、復号規則がその特性を考慮しなければならない。
【0028】
ベーシックワーピング
本発明の空間ワーピングの原理を図1aに示す。ワーピングは空間領域で行われる。それゆえ、次数in、次元Oinの入力HOA係数Ainは、まず規則的に配置された(バーチャル)ラウドスピーカの重みまたは入力信号sinに、ステップ/段階12で復号される。この復号ステップでは、決定デコーダ(determined decoder)、すなわち仮想ラウドスピーカの数または次元warpがHOA係数Oin以上であるデコーダを用いると有利である。後者の場合(HOA係数よりラウドスピーカが多い場合)、HOA係数のベクトルAinの次数または次元は、ステップ/段階11において、高次にゼロ係数を加えることにより、容易に拡張できる。ターゲットベクトルsinの次元は、結局、Owarpで示される。
【0029】
復号規則は
【数9】
である。
【0030】
<外15>
である。これにより、モードマトリックスΨが復号行列Ψ−1を決定するのに調子がよいことが保証される。
【0031】
次に、バーチャルラウドスピーカの位置が、所望のワーピング特性により、「ワープ」処理で修正される。そのワープ処理は、ステップ/段階14において、モードマトリックスΨを用いて、ターゲットベクトルsin(またはsout)の符号化と合成され、次元Owarpの、またはさらに下記の処理ステップが施されて、次元Ooutの、ワープしたHOA係数のベクトルAoutが得られる。原理的に、ワーピング特性はソース角からターゲット角への1対1マッピングにより完全に確定できる。すなわち、各ソース角φin=0・・・2πとθin=0・・・2πに対して、ターゲット角が確定され、2次元の場合、
【数10】
であり、3次元の場合、
【数11】
【数12】
である。
【0032】
理解のため、この(仮想的な)再方向付けは、ラウドスピーカを新しい位置へ物理的に動かすことと対比できる。
【0033】
この手順により生じるひとつの問題は、ある角度にある隣接するラウドスピーカ間の距離が、ワーピング関数f(φ)の傾きにより変わることである(これはこの後2次元の場合について説明する):f(φ)の傾きが1より大きいとき、ワープしたサウンドフィールド中の同じ角度空間は、元のサウンドフィールドよりも、少ない「ラウドスピーカ」で占められ、その逆も成り立つ。言い換えると、ラウドスピーカの密度D
【数13】
のように振る舞う。
【0034】
次に、これは、空間ワーピングにより、リスナの周りのサウンドバランスが変わることを意味する。ラウドスピーカの密度が高くなる、すなわち
<外16>
である領域は、より支配的になり、
<外17>
オプションとして、アプリケーションの要請に依存して、ラウドスピーカ密度の上記の変化は、重みステップ/段階13においてバーチャルラウドスピーカ出力信号sinに利得関数g(φ)を適用することにより、対抗(counter)され、信号soutが得られる。原理的に、任意の重み付け関数g(φ)を指定できる。ワーピング関数f(φ)の微分に比例する具体的な有利な一変形例
【数14】
が経験的に決定されている。
【0035】
この特定の重み付け関数を用いて、適当に高い内部次数(inner order)と出力次数(outer order)を仮定して(下の「HOA次数の設定のしかた」セクションを参照)、ワープされた角度f(φ)におけるパンニング関数の振幅は、元の角度φにおける元のパンニング関数と等しく保たれる。それにより、オープニング角ごとの均一なサウンドバランス(振幅)が得られる。
【0036】
上記の重み付け関数例からは離れて、例えば、オープニング角ごとにパワーを等しくするために、他の重み付け関数を用いることもできる。
【0037】
最後に、ステップ/段階14において、重み付けされたバーチャルラウドスピーカ信号はワープされ、
<外18>
を実行することにより、モードマトリックスΨで再びエンコードされる。Ψは、ワーピング関数f(Φ)により、Ψ1とは異なるモードベクトルを含む。結果は、ワープされたサウンドフィールドのOwarp次元HOA表現である。
【0038】
ターゲットHOA表現の次数または次元はΨ2の次元より低い(後の「HOA次数の設定のしかた」セクションを参照)場合、ワープされた係数のいくつか(すなわち、一部)はステップ/段階15で除去(取り除き)されねばならない。一般的に、この取り除き操作はウィンドウ操作により記述できる:エンコードされたベクトル
<外19>
は、除去される最高次には0である係数を含むウィンドウベクトルwとかけられる。このかけ算は、さらなる重み付けを表すと考えることができる。最も単純な場合には、正方形ウィンドウが適用できるが、文献M.A. Poletti、「A Unified Theory of Horizontal Holographic Sound Systems」(Journal of the Audio Engineering Society, 48(12), pp.1155- 1182, 2000)のセクション3に記載されているように、より高度なウィンドウを用いることもでき、または上記のJ.Danielの博士論文のセクション3.3.2に記載された「同相(in-phase)」または「max. rE」ウィンドウを用いることもできる。
【0039】
3次元のワーピング関数
2次元の場合について、ワーピング関数f(φ)、及び関連する重み付け関数g(φ)の概念を上で説明した。以下は、高次元であり、球面ジオメトリを適用しなければならないために、より高度である3次元の場合への拡張である。2つの簡単なシナリオを導入する。両方とも、1次元のワーピング関数f(φ)またはf(θ)により所望の空間的ワーピングを指定できる。
【0040】
経度方向の空間的ワーピングでは、空間的ワーピングは、方位角φのみの関数として実行できる。この場合は、上で説明した2次元の場合とほぼ同様である。ワーピング関数は
【数15】
【数16】
により完全に確定される。
【0041】
それにより、2次元の場合のように、同様のワーピング関数を適用できる。空間的ワーピングは、赤道上においてサウンドオブジェクトに対し最大のインパクトを有し、球の極においてサウンドオブジェクトに対し最小のインパクトを有する。球面上の(ワープされた)サウンドオブジェクトの密度は、方位角のみに依存する。それゆえ、一定密度に重み付け関数は
【数17】
ワーピングを適用しその後に逆回転する前に球面を(仮想的に)回転することにより、空間におけるワーピング特性の自由な方向付けが可能である。
【0042】
緯度方向の空間的ワーピングでは、子午線に沿ってのみ空間的ワーピングができる。ワーピング関数は
【数18】
【数19】
により確定される。
【0043】
球面上のこのワーピング関数の重要な特性は、方位角が一定に保たれても、方位角方向の2点の角度距離は傾きの変化により変化することがあるということである。理由は、2本の子午線間の角度距離が赤道で最大であるが、2つの極ではゼロになるからである。この事実は重み付け関数で考慮しなければならない。
【0044】
2点AとBの角度距離cは、球面幾何学の余弦則により決定でき、
【数20】
、ここでφABは2点AとBの間の角度距離である。I.N. Bronstein, K.A. Semendjajew, G. Musiol, H. Muhlig著「Taschenbuch der Mathematik」(Verlag Harri Deutsch, Thun, Frankfurt /Main, 5th edition, 2000)の式(3.188c)を参照されたい。同じ傾きθにおける2点間の角度距離に関して、この式は
【数21】
と単純化できる。
【0045】
この式は、空間中の点と、小さい方位角φεだけ離れた他の点との間の角距離を求めるために使うことができる。「小さい」とは、実際のアプリケーションにおいて現実的に小さいが、ゼロではないことを意味し、理論的には、極限値φε→0である。ワーピング前後の各距離間の比は、サウンドオブジェクトの密度がφ方向で変化する係数
【数22】
を与える。
【0046】
最終的に、重み付け関数は、φ方向とθ方向の2つの重み付け関数の積
【数23】
である。ここで再び、前出のシナリオのように、空間におけるワーピング特性の自由な方向付けは、回転により実現可能である。
【0047】
単一ステップ処理
【数24】
と記述する。ここで、diag(・)はそのベクトル引数の値を主対角線の成分としてもつ対角行列を示し、gは重み付け関数であり、wは上記の、すなわちステップ/段階15で実行される取り除きに備えた重み付けと、係数取り除き(coefficients-stripping)そのものの2つの関数からの取り除き(stripping)を準備するウィンドウベクトルであるり、式(24)のウィンドウベクトルは、重み付けのみに作用する。
【0048】
マルチステップアプローチにおける次数の2つのアダプテーション、すなわちデコーダに先行する次数の拡張と、エンコーディング後のHOA係数の取り除きも、対応する劣及び/またはラインを除去することにより、変換行列Tに組み込める。それゆえ、サイズOout×Oinの行列を求め、入力HOAベクトルに直接適用できる。そして、空間的ワーピング演算は
【数25】
となる。
【0049】
有利にも、Owarp×OwarpからOout×Oinへの変換行列Tの次元の有効な低減により、図1bによる単一ステップ処理を実行するのに必要な計算上の複雑性は、図1aのマルチステップアプローチに必要なものようりも大幅に少なくなり、それでも単一ステップ処理で完全に同じ結果が得られる。具体的に、それにより、マルチステップ処理が中間信号の低い次数Nwarpで実行された場合に生じ得る歪みを回避する(詳細は下の「HOA次数の設定のしかた」セクションを参照されたい)。
【0050】
技術水準:回転及び鏡映
サウンドフィールドの回転と鏡映は、空間的ワーピングの「単純な」サブカテゴリーと考えられる。これらの変換の特別な特性は、サウンドオブジェクト相互の相対的位置は変わらないということである。すなわち、元のサウンドシーンにおいて、例えば、他のサウンドオブジェクトの右側30°にあったサウンドオブジェクトは、回転されたサウンドシーンにおいても同じ他のオブジェクトの右側30°にある。鏡映の場合、符号は変わるが、角距離は同じである。
【0051】
サウンドフィールド情報の回転と鏡映のアルゴリズムとアプリケーションは研究され、例えば上記のBarton/Gerzon及びJ.Danielの文献、及びM. Noisternig, A. Sontacchi, Th . Musil, R. Holdrich著「A 3D Ambisonic Based Binaural Sound Reproduction System」(Proc. of the AES 24th Intl. Conf. on Multichannel Audio, Banff, Canada, 2003)及びH. Pomberger, F. Zotter著「An Ambisonics Format for Flexible Playback Layouts」(1st Ambisonics Symposium, Graz, Austria, 2009)に記載されている。
【0052】
これらのアプローチは回転行列の解析的表現に基づく。例えば、円形サウンドフィールド(2次元の場合)の任意の角度αの回転は、ワーピングマトリックスTαとのかけ算により行い得る。Tα
【数26】
では係数のサブセットが非ゼロである。
【0053】
この例のように、回転及び/または鏡映演算のすべてのワーピングマトリックスは、同じ次数の係数のみが互いに影響するという特殊な特性を有する。それゆえ、これらのワーピングマトリックスは、非ゼロ要素が非常に少なく、出力Noutは、空間的情報を失うことなく、入力次数Ninと等しくできる。
【0054】
サウンドフィールド情報の回転や鏡映が必要である多数の興味深いアプリケーションがある。一例は、ヘッドトラッキングシステムを有するヘッドホンを介したサウンドフィールドの再生である。頭部の回転角によりHRTF(head-related transfer function)を補間するのではなく、頭部の位置によりサウンドフィールドを予め回転して、再生には一定のHRTFを用いると都合がよい。この処理は、上記のNoisternig/Sontacchi/Musil/Holdrichの文献に記載されている。
【0055】
他の例が、サウンドフィールド情報のエンコーディングの場合について、上記のPomberger/Zotterの文献に記載されている。HOAベクトルにより記述される空間領域を、円(2次元の場合)または球の一部に制約することも可能である。制約のため、HOAベクトルの一部はゼロになる。あの文献で提唱されているアイデアは、この冗長性低減特性をサウンドフィールド情報のミクストオーダーコーディング(mixed-order coding)に利用するものである。上記の制約は空間の特定領域にのみ得られるため、伝送された部分的情報を空間の所望の領域にシフトするためには、一般的には回転演算が必要である。
【0056】
実施例
図2は、2次元(円)の場合における空間的ワーピングの一例を示す。ワーピング関数は、一実数値パラメータを有する離散時間オールパスフィルタの位相応答に似た、
【数27】
とした。M. Kappelan著「Eigenschaften von Allpass-Ketten und ihre Anwendung bei der nicht-aquidistanten spektralen Analyse und Synthese」(PhD thesis, Aachen University (RWTH) , Aachen, Germany, 1998)を参照。
【0057】
ワーピング関数を図2aに示した。2π周期のワーピング関数を保証し、一パラメータaを有する空間的歪みの量を修正できるので、このワーピング関数f(φ)を選択した。
【0058】
図2bに示した対応する重み付け関数g(φ)は、必然的に、そのワーピング関数から得られる。
【0059】
図2cは、7×25シングルステップ変換ワーピングマトリックスTを示す。この行列の個々の係数の対数絶対値を、添付のグレースケールまたはシェーディングバーにより、グレースケールまたはシェーディングタイプにより示した。この行列例は、入力HOA次数Nε=3、出力次数Nout=12に対して設計されている。低次係数から高次係数まで変換により分散した情報のほとんどをキャプチャするためには、高い出力次数が必要である。出力次数がさらに減れば、ワーピング演算の精度が悪くなるだろう。ワーピングマトリックスの非ゼロ係数が無視されるからである(より詳細については、以下の「HOA次数の設定のしかた」セクションを参照されたい)。
【0060】
このワーピングマトリックスの非常に有用な特性は、その多くの部分がゼロであるということである。これにより、この演算を実行する時に多くの計算パワーを節約できるが、シングルステップ変換行列のある部分がゼロであることは原則ではない。
【0061】
図2dと図2eは、いくつかの平面波により生じるビームパターンの例におけるワーピング特性を示す。両図は、φの位置0,2/7π、4/7π、6/7π、8/7π、10/7π及び12/7πにおける、すべての振幅が1である7つの同じ入力平面波のものであり、7つの角振幅分布を示し、すなわち過剰決定の規則的デコーディング演算のベクトルs
【数28】
を示す。ここで、HOAベクトルAは、元のベクトルまたは平面波のセットをワープしたもののどちらかである。円の外側の数字は角度φを表す。バーチャルラウドスピーカ数(例えば、360)は、HOAパラメータの数よりかなり多い。前方方向から来る平面波の振幅分布またはビームパターンは、φ=0である。
【0062】
図2dは、元のHOA表現の振幅分布を示す。7つのすべての分布は、似た形状であり、メインローブと同じ幅を有する。メインローブの最大は、予想通り、元の7つのサウンドオブジェクトの角度φ=(0、2/7π、・・・)にある。メインローブは、元のHOAベクトルの限定次数Nin=3に対応する幅を有する。
【0063】
図2eは、同じサウンドオブジェクトの振幅分布であるが、ワーピング演算を行った後のものを示す。一般的に、オブジェクトは0°の前方向に向けて動かされ、ビームパターンは変更されている:前方向φ=0のまわりのメインローブは、狭くなり、よりフォーカスされている。一方、180°のまわりの後ろ方向のメインローブは大幅に広くなった。サイドでは、90°と270°で最大のインパクトがあり、ビームパターンは、これらの角度に対する図2bの重み付け関数g(φ)の大きな傾きのため、非対称になっている。ビームパターンのこれらの大きな変化(狭くなり形状が変わる変化)は、ワープされたHOAベクトルの高次Nout=12により可能になっている。理論的には、前方向のメインローブの分解能は、2.33倍だけ増加している。一方、後ろ方向の分解能は1/2.33倍だけ減少している。ローカルの次元が空間的に変わるミクストオーダー信号が生成される。ワープされたHOA係数を満足行く精度で表すには
<外20>
の最小出力次元が必要であると仮定できる。以下の「HOA次元の設定のしかた」セクションでは、本来のローカル次元をより詳細に説明する。
【0064】
特性
上記のワーピングステップは一般的であり非常に柔軟である。少なくとも次の基本演算を実現できる:任意の軸及び/または面のよる回転及び/または鏡映、連続ワーピング関数による空間的歪み、及び特定方向の重み付け(空間的ビームフォーミング)。
【0065】
以下のサブセクションでは、本発明のスペースワーピングの多くの特性を強調し、これらの詳細により何ができて何ができないかについてガイダンスを与える。さらにまた、いくつかのデザインルールを説明する。原理的に、次のパラメータは所望のワーピング特性を得るために、自由度があり調節できる:
・ワープ関数f(θ,φ);
・重み付け関数g(θ,φ);
・内部次元Nwarp
・出力次元Nout
・ベクトルwを用いた出力係数のウィンドウイング
線形性
マルチステップ処理の基本的な変換ステップは、定義により線形である。中間で起こっている新しいロケーションへのサウンドソースの非線形マッピングは、エンコーディングマトリックスの確定にインパクトがあるが、エンコーディングマトリックス自体は線形のままである。その結果、合成されたスペースワーピング演算とTとの行列のかけ算は、線形演算であり、すなわち
【数29】
である。この特性は本質的である。この特性により、異なる複数のサウンドソースからの同時的な貢献を含む複雑なサウンドフィールド情報を処理できるからである。
【0066】
空間不変性
定義により(ワーピング関数が傾き1または−1で完全に線形でない限り)、スペースワーピング変換は空間的に不変ではない。これは、その演算が、半球上の異なる位置にあったサウンドオブジェクトに対して異なる振る舞いをすることを意味する。数学的に言えば、この特性は、少なくともいくつかの任意の角度α∈]0...2π[に対するワーピング関数f(φ)の非線形性、すなわち
【数30】
の結果である。
【0067】
可逆性
一般的には、変換行列Tは数学的反転によっては単純に逆にできない。ひとつの明らかな理由はTは通常は非正方行列であることにある。正方なスペースワーピング行列であっても可逆ではない。低次係数から高次係数に広がっている情報が失われ(HOA次元の設定のしかたセクションと実施例セクションの例とを比較されたい)、演算で情報が失われることは、その演算が逆転できないことを意味するからである。
【0068】
それゆえ、スペースワーピング演算を少なくとも近似的に逆転する他の方法を見つけなければならない。逆ワーピング変換Trevは、ワーピング関数f(・)の逆関数frev(・)
【数31】
を介してデザインできる。HOA次元の選択によって、この処理は逆変換を近似する。
【0069】
HOA次元の設定のしかた
スペースワーピング変換をデザインする時に考慮すべき重要な側面は、HOA次元である。入力ベクトルAinの次数Ninは外的制約により予め決まっているが、出力ベクトルAoutの次数Noutと実際の非線形ワーピング演算の「内部」次数Nwarpは、大体任意に割り当てできる。しかし、両方の次数NinとNwarpは両方とも以下に説明するように注意して選択しなければならない。
【0070】
「内部」次元Nwarp;
「内部」次元Nwarpは、上記のマルチステップスペースワーピングにおける実際のでコーディング、ワーピング、及びエンコーディングステップの精度を確定する。一般的に、次数Nwarpは入力次数Ninと出力次数Noutの両方より大幅に大きくなければならない。この要件の理由は、ワーピング演算が一般的に非線形演算なので、歪みとアーティファクトが生じることにある。
【0071】
このことを説明するため、図3は、図2の例に用いたのと同じワーピング関数の完全なワーピングマトリックスの例を示す。図3a、図3c、及び図3eは、それぞれワーピング関数f(φ)、f(φ)及びf(φ)を示す。図3b、図3d、及び図3fは、それぞれワーピングマトリックスT(dB)、T(dB)、及びT(dB)を示す。例示のために、特定の入力次元Ninまたは出力次元Noutのワーピングマトリックスを決定するために、これらのワーピングマトリックスはクリッピングされていない。そのかわり、図3b、図3d、及び図3f中の中央のボックスの点線は、最終結果の目標サイズNout×Nin、すなわちクリッピングされた変換行列を示す。このように、ワーピングマトリックスへの非線形歪みのインパクトは明らかに見える。この例では、目標次元は任意的にNin=30及びNout=100に設定されている。
【0072】
基本的な問題が図3bから分かる:明らかに、空間領域における非線形処理により、ワーピングマトリックス内の係数が主対角線の周りに広がり、行列の中心から遠くなればなるほどより大きく広がる。中心から非常に遠いところでは、yは縦軸として、例では|y|≧90のところでは、広がった係数は行列全体の境界に達しており、「跳ね返る」ように見える。これにより特殊な歪みが発生し、ワーピングマトリックスの大きな部分に及ぶ。実験的な評価では、歪みプロダクト(distortion products)が行列の目標エリア(図中、点線で示した)内に配置されるとすぐに、これらの歪みが変換性能を大きく損なうことが観察された。
【0073】
図3bの第1の例の場合、処理の「内部」次数がNwarp=200とされ、これは出力次数Nout=100より大幅に大きいので、うまくいっている。歪んだ領域は点線のボックスには及んでいない。
【0074】
他のシナリオを図3dに示した。内部次数は出力次数に等しく指定されており、すなわちNwarp=Nout=100である。図は、歪みの範囲は、内部次数に対して線形にスケールすることを示している。その結果、変換の出力の高次係数は歪みプロダクト(distortion products)により汚染されている。かかるスケーリング特性の利点は、内部次数Nwarpを適宜大きくすることにより、これらのタイプの非線形歪みを回避できるらしいことである。
【0075】
図3fは、係数がa=0.7と大きいよりアグレッシブなワーピング関数を有する例を示す。ワーピング関数がよりアグレッシブなので、内部次数Nwarp=200の場合であっても、歪みは目標行列エリアに及んでしまう。この場合、前出のパラグラフで求めたように、過剰プロビジョニングよりも内部次数はより大きくしなければならない。このワーピング関数の実験は、内部次数を例えばN=400に増加することにより、これらの非線形歪みがなくなることを示している。
【0076】
要するに、ワーピング演算が強ければ強いほど、内部次数Nwarpは大きくなければならない。最小内部次数を求める公式はまだ無い。しかし、疑わしい場合には、過剰プロビジョンの「内部」次数が役に立つ。非線形効果はワーピングマトリックスのサイズに対して線形にスケールするからである。原理的に、「内部」次数は任意で高くすることができる。具体的に、シングルステップの変換行列を求める場合、内部次数は最終的なワーピング演算の複雑性に対しては、何ら役割を果たさない。
【0077】
出力次数Nout
ワーピング変換の出力次数Noutを記述するため、次の2つの側面を考慮すべきである:
・一般的に、異なる次数の係数に広がったすべての情報を保持するために、出力次数は入力次数Ninより大きくなければならない。実際に必要なサイズは、ワーピング関数の特性にも依存する。経験から言って、ワーピング関数f(φ)が「ブロードバンド」でなければないほど、必要な出力次数は小さくなる。いくつかの場合には、必要な出力次数Noutを制限するため、ワーピング関数をローパスフィルタにかけることができると思われる。
一例は図3bに示されている。このワーピング関数の場合、点線のボックスで示したように、出力次数Nout=100は情報の損失を防ぐのに十分である。出力次数が大幅に、例えばNout=50に低減されると、変換行列のいくつかの非ゼロ係数が残り、対応する情報損失が生じると考えられる。
・いくつかの場合には、限定された次数のみを処理できる処理または装置に対して、出力HOA係数を用いる。例えば、ターゲットは、限られた数のスピーカを有するラウドスピーカセットアップであり得る。かかるアプリケーションでは、出力次数は目標システムの能力により指定されるべきである。Noutが十分小さければ、ワーピング変換により空間的情報が効果的に低減される。
【0078】
内部次数Nwarpの出力次数Noutへの低減は、高次係数をドロップすることにより行い得る。これは、HOA出力ベクトルへの正方形のウィンドウの適用に対応する。あるいは、上記のM.A. PolettiやJ. Danielの文献に記載されているように、.より高度な帯域幅低減手法を適用できる。それにより、正方形のウィンドウイングよりもより多くの情報が失われ易いが、よりよい方向パターンが実現できる。
【0079】
本発明は、例えば、録音、ポストプロダクション、伝送、再生などのオーディオ処理チェーンの異なる複数の部分で用いることができる。
図1
図2a
図2b
図2c
図2d
図2e
図3