IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー.ファオ.の特許一覧

特表2023-506700パンニング済みオブジェクトスピーカーゲインとスプレッドオブジェクトスピーカーゲインとを使用する、オーディオオブジェクトレンダラー、スピーカーゲインを決定するための方法およびコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-02-20
(54)【発明の名称】パンニング済みオブジェクトスピーカーゲインとスプレッドオブジェクトスピーカーゲインとを使用する、オーディオオブジェクトレンダラー、スピーカーゲインを決定するための方法およびコンピュータプログラム
(51)【国際特許分類】
   H04S 7/00 20060101AFI20230213BHJP
【FI】
H04S7/00 300
【審査請求】有
【予備審査請求】有
(21)【出願番号】P 2022529355
(86)(22)【出願日】2020-11-20
(85)【翻訳文提出日】2022-07-19
(86)【国際出願番号】 EP2020082982
(87)【国際公開番号】W WO2021099617
(87)【国際公開日】2021-05-27
(31)【優先権主張番号】PCT/EP2019/081922
(32)【優先日】2019-11-20
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】500242786
【氏名又は名称】フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー.ファオ.
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】アレクサンドル・カラペチャン
(72)【発明者】
【氏名】オリヴァー・ヴュボルト
(72)【発明者】
【氏名】クリスティアン・ボルス
(72)【発明者】
【氏名】フィリップ・スタッダー
【テーマコード(参考)】
5D162
【Fターム(参考)】
5D162AA07
5D162BA19
5D162EG02
(57)【要約】
オブジェクト位置情報(210、1210、azi、ele)およびオブジェクト特徴情報またはスプレッド情報(1212)に基づき、1つまたは複数のオーディオオブジェクト信号(1260)を複数のスピーカー信号(1262a~1262c)に含めるためのゲインを記述するスピーカーゲイン(214、1214、1214a~1214c)を決定するためのオーディオオブジェクトレンダラー(200、1200)は、オーディオオブジェクトの点音源パンニング(202、1230)を使用してパンニング済みオブジェクトスピーカーゲイン(202a、1232、g)を得るように構成される。オーディオオブジェクトレンダラーは、オブジェクト位置情報(210、1210、azi、ele)およびオブジェクト特徴情報またはスプレッド情報(1212)を考慮してスプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を得るように構成される。オーディオオブジェクトレンダラーは、組み合わされたスピーカーゲイン(214、1214、1214a~1214c)を得るために、パンニング済みオブジェクトスピーカーゲインの寄与が常にあるように、パンニング済みオブジェクトスピーカーゲイン(202a、1232、g)およびスプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を組み合わせるように構成される。方法およびコンピュータプログラムも開示される。
【特許請求の範囲】
【請求項1】
オブジェクト位置情報(210、1210、azi、ele)およびオブジェクト特徴情報(1212)に基づき、1つまたは複数のオーディオオブジェクト信号(1260)を複数のスピーカー信号(1262a~1262c)に含めるためのゲインを記述するスピーカーゲイン(214、1214、1214a~1214c)を決定するためのオーディオオブジェクトレンダラー(200、1200)であって、
前記オーディオオブジェクトレンダラーは、オーディオオブジェクトの点音源パンニング(202、1230)を用いてパンニング済みオブジェクトスピーカーゲイン(202a、1232、g)を得るように構成され、
前記オーディオオブジェクトレンダラーは、前記オブジェクト特徴情報(1212)を考慮してオブジェクト特徴情報スピーカーゲイン(206a、1242、gOS)を得るように構成され、
前記オーディオオブジェクトレンダラーは、前記パンニング済みオブジェクトスピーカーゲインの寄与が常にあるように前記パンニング済みオブジェクトスピーカーゲイン(202a、1232、g)および前記オブジェクト特徴情報スピーカーゲイン(206a、1242、gOS)を組み合わせて、組み合わされたスピーカーゲイン(214、1214、1214a~1214c)を得るように構成されている、オーディオオブジェクトレンダラー(200、1200)。
【請求項2】
前記オーディオオブジェクトレンダラーは、更に前記オブジェクト位置情報(210、1210、azi、ele)を考慮してオブジェクト特徴情報スピーカーゲイン(206a、1242、gOS)を得るように構成されている、請求項1に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項3】
前記オブジェクト特徴情報は、オーディオオブジェクトスプレッド情報(212、1212)である、請求項1に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項4】
前記オブジェクト特徴情報は、オーディオオブジェクトスプレッド情報(212、1212)である、請求項2に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項5】
オブジェクト位置情報(210、1210、azi、ele)およびオブジェクト特徴情報(1212)に基づき、1つまたは複数のオーディオオブジェクト信号(1260)を複数のスピーカー信号(1262a~1262c)に含めるためのゲインを記述するスピーカーゲイン(214、1214、1214a~1214c)を決定するためのオーディオオブジェクトレンダラー(200、1200)であって、
前記オーディオオブジェクトレンダラーは、オーディオオブジェクトの点音源パンニング(202、1230)を用いてパンニング済みオブジェクトスピーカーゲイン(202a、1232、g)を得るように構成され、
前記オーディオオブジェクトレンダラーは、前記オブジェクト位置情報(210、1210、azi、ele)および前記オブジェクト特徴情報(1212)を考慮してスプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を得るように構成され、
前記オーディオオブジェクトレンダラーは、前記パンニング済みオブジェクトスピーカーゲインの寄与が常にあるように前記パンニング済みオブジェクトスピーカーゲイン(202a、1232、g)および前記スプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を組み合わせて、組み合わされたスピーカーゲイン(214、1214、1214a~1214c)を得るように構成されている、オーディオオブジェクトレンダラー(200、1200)。
【請求項6】
オブジェクト位置情報(210、1210、azi、ele)およびスプレッド情報(212、1212)に基づき、1つまたは複数のオーディオオブジェクト信号(1260)を複数のスピーカー信号(1262a~1262c)に含めるためのゲインを記述するスピーカーゲイン(214、1214、1214a~1214c)を決定するためのオーディオオブジェクトレンダラー(200、1200)であって、
前記オーディオオブジェクトレンダラーは、オーディオオブジェクトの点音源パンニング(202、1230)を用いてパンニング済みオブジェクトスピーカーゲイン(202a、1232、g)を得るように構成され、
前記オーディオオブジェクトレンダラーは、前記オブジェクト位置情報(210、1210、azi、ele)および前記スプレッド情報(212、1212)を考慮してスプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を得るように構成され、
前記オーディオオブジェクトレンダラーは、前記パンニング済みオブジェクトスピーカーゲインの寄与が常にあるように前記パンニング済みオブジェクトスピーカーゲイン(202a、1232、g)および前記スプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を組み合わせて、組み合わされたスピーカーゲイン(214、1214、1214a~1214c)を得るように構成されている、オーディオオブジェクトレンダラー(200、1200)。
【請求項7】
前記オーディオオブジェクトレンダラーは、支持点(610a、612a~612g、614b~614f、616c~616e)の位置(204a、aziSSP、eleSSP)とオブジェクト位置(210、1210、azi、ele)との間の差を1つまたは複数のスプレッドゲイン値寄与(302a、aziGain(naz)、305a、eleGain(nel))にマッピングする1つまたは複数のゲイン関数を評価し、前記1つまたは複数のスプレッドゲイン値寄与に基づきスプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を決定するように構成されている、請求項1から6のいずれか一項に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項8】
前記オーディオオブジェクトレンダラーは、第1の方向におけるスプレッド(spreadAngleAzi、spreadazi)および第2の方向におけるスプレッド(spreadAngleEle、spreadele)に応じて、パンニング済みオブジェクトスピーカーゲイン(202a、1232、g)と組み合わせてスプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)の重み(attenGain、gatten)を決定するように構成されている、請求項1から7のいずれか一項に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項9】
前記オーディオオブジェクトレンダラーは、第1の方向におけるスプレッド角度(spreadAngleAzi、spreadazi)と第2の方向におけるスプレッド角度(spreadAngleEle、spreadele)との積に応じて、パンニング済みオブジェクトスピーカーゲイン(202a、1232、g)と組み合わせてスプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)の重み(attenGain、gatten)を決定するように構成されている、請求項1から8のいずれか一項に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項10】
前記オーディオオブジェクトレンダラーは、第1の方向におけるスプレッド角度(spreadAngleAzi、spreadazi)および第2の方向におけるスプレッド角度(spreadAngleEle、spreadele)に応じて、固定された重みで重み付けされたパンニング済みオブジェクトスピーカーゲイン(202a、1232、g)と、可変重み(attenGain、gatten)で重み付けされたスプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)とを加算するように構成されている、請求項1から9のいずれか一項に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項11】
前記オーディオオブジェクトレンダラーは、前記固定された重みで重み付けされたパンニング済みオブジェクトスピーカーゲイン(202a、1232、g)と、前記可変重み(attenGain、gatten)で重み付けされたスプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)とを加算した結果を正規化するように構成されている、請求項10に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項12】
前記オーディオオブジェクトレンダラーは、
attenGain=0.89f*min(c,max(spreadazi,spreadele)/gres1)+0.11f*min(c,min(spreadazi,spreadele)/gres2
に従って、前記パンニング済みオブジェクトスピーカーゲイン(202a、1232、g)と組み合わせてスプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)の重み(attenGain)を決定するように構成され、
は所定の値であり、
は所定の値であり、
res1は所定の値であり、
res2は所定の値であり、
spreadaziは方位角方向におけるオーディオオブジェクトの広がり角度であり、
spreadeleは仰角方向におけるオーディオオブジェクトの広がり角度であり、
min(.)は最小演算子であり、
max(.)は最大演算子である、請求項1から11のいずれか一項に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項13】
前記オーディオオブジェクトレンダラーは、前記オーディオオブジェクトのスプレッド角度(spreadAngleAzi、spreadazi、 spreadAngleEle, spreadele)の増大とともに、前記パンニング済みオブジェクトスピーカーゲイン(202a、1232、g)と比較した際のスプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)の相対的寄与を増大させるように構成されている、請求項1から12のいずれか一項に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項14】
前記オーディオオブジェクトレンダラーは、前記オブジェクト位置情報(210、1210、azi、ele)およびスプレッド情報(212、1212)を考慮し、極座標における支持点位置の表現(204a、aziSSP、eleSSP)を用いてスプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を得るように構成され、
前記オーディオオブジェクトレンダラーは、前記スプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)に基づき前記スピーカーゲイン(214、1214、1214a~1214c)を与えるように構成されている、請求項1から13のいずれか一項に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項15】
前記オーディオオブジェクトレンダラーは、
前記オーディオオブジェクトの方位角位置(210、1210、azi)と1つまたは複数の支持点(204a、aziSSP)との間の1つまたは複数の角度差(diffCLKDir、diffAntiCLKDir)を評価すること、および/または
前記オーディオオブジェクトの仰角位置(210、1210、azi)と1つまたは複数の支持点の仰角位置(204a、eleSSP)との間の1つまたは複数の角度差(diffCLKDir、diffAntiCLKDir)を評価すること
によって、スプレッドスピーカーゲイン(206a、1242、gOS)を得るように構成されている、請求項1から14のいずれか一項に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項16】
支持点位置(204a、aziSSP、eleSSP)は、球面の半径の±10%または±20%の許容範囲内で球面上に配置構成される、請求項1から15のいずれか一項に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項17】
支持点位置(204a、aziSSP、eleSSP)は、一定の仰角および一定の半径を有する円に沿って一様な方位角間隔を備え、および/または
支持点位置(204a、aziSSP、eleSSP)は、一定の方位角および一定の半径を有する円に沿って一様な仰角を備える、請求項1から16のいずれか一項に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項18】
前記オーディオオブジェクトレンダラーは、オーディオオブジェクトが配置される第1の半球面内に延在しているとともに方位角位置が前記第1の半球面とは反対側にある第2の半球面内にも延在している領域にわたって前記オーディオオブジェクトが広げられるようにスプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を得るよう構成されている、請求項1から17のいずれか一項に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項19】
前記オーディオオブジェクトレンダラーは、-180度から+180度の間の拡張仰角範囲を用いるように構成されている、請求項18に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項20】
前記オーディオオブジェクトレンダラーは、所与のオブジェクト位置(210、1210、azi、ele)および所与のスプレッド(212、1212、spreadAngleAzi、spreadazi、spreadAngleEle、spreadele)について、
球面座標系の極の交差を示さない元の仰角値範囲内の仰角値に関する支持点位置または支持点方位角指標(naz)に関連している複数の方位角値に対するスプレッドゲイン(314a、g_spd)への寄与を記述する第1のセットの方位角ゲイン値(302a、aziGain)、および
球面座標系の1つの極の交差を示す拡張仰角値範囲内の仰角値に関する支持点位置または支持点方位角指標(naz)に関連している複数の方位角値に対するスプレッドゲイン(314a、g_spd)への寄与を記述する第2のセットの方位角ゲイン値(309a、aziGainExtd)、
を計算し、
前記第1のセットの方位角ゲイン値(302a、aziGain(naz))および前記第2のセットの方位角ゲイン値(309a、aziGainExtd)を用いて前記スプレッドゲイン(206a、1242、gOS)を導出するように構成されている、請求項18または19に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項21】
前記オーディオオブジェクトレンダラーは、所与のオブジェクト位置(210、1210、azi、ele)および所与のスプレッド(212、1212、spreadAngleAzi、spreadAngleEle)について、
球面座標系の極の交差を示さない元の仰角値範囲内の仰角値に関する支持点位置またはスピーカー方位角指標または支持点仰角指標(nel)に関連している複数の仰角値に対する前記スプレッドゲイン(314a、g_spd)への寄与を記述する第1のセットの仰角ゲイン値(305a、eleGain)、および
球面座標系の1つの極の交差を示す拡張仰角値範囲内の仰角値に関する支持点位置またはスピーカー仰角指標または支持点仰角指標(例えば、nel)に関連している複数の仰角値に対する前記スプレッドゲイン(314a、g_spd)への寄与を記述する第2のセットの仰角ゲイン値(311a、eleGainExtd)、
を計算し、
前記第1のセットの方位角ゲイン値(302a、aziGain(naz))、前記第2のセットの方位角ゲイン値(309a、aziGainExtd)、前記第1のセットの仰角ゲイン値(305a、eleGain(nel))、および前記第2のセットの仰角ゲイン値(311a、eleGainExtd(nel))を用いて、前記スプレッドゲイン(206a、1242、gOS)を導出するよう構成されている、請求項20に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項22】
前記オーディオオブジェクトレンダラーは、第1のセットの方位角ゲイン値および第1のセットの仰角ゲイン値の値(302a、aziGain(naz)、305a、eleGain(nel))を組み合わせ、第2のセットの方位角ゲイン値および第2のセットの仰角ゲイン値の値(309a、aziGainExtd(naz)、311a、eleGainExtd(nel))を組み合わせるように構成されている、請求項18から21のいずれか一項に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項23】
第2のセットの方位角ゲイン値(309a、aziGainExtd)は、第1のセットの方位角ゲイン値(302a、aziGaind)によって表される方位角にわたるゲイン値の漸進的変化と比較した際に180度だけシフトされる方位角にわたるゲイン値の漸進的変化を表す、請求項18から22のいずれか一項に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項24】
第1のセットの方位角ゲイン値(302a、aziGain)は、方位角オブジェクト位置(210、1210、azi)と、スピーカーの数または支持点の数によって決定される角度精度を有する方位角スプレッド角度(spreadAngleAzi、spreadazi)とを考慮して360度の範囲にわたるゲイン値の漸進的変化を表し、および/または
第2のセットの方位角ゲイン値(309a、aziGainExtd)は、180度回転された方位角オブジェクト位置(210、1210、azi)と、スピーカーの数または支持点の数によって決定される角度精度を有する方位角スプレッド角度(spreadAngleAzi、spreadazi)とを考慮して360度の範囲にわたるゲイン値の漸進的変化を表す、請求項18から23のいずれか一項に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項25】
第1のセットの仰角ゲイン値(305a、eleGain)は、仰角オブジェクト位置(210、1210、ele)と仰角スプレッド角度(spreadAngleEle、spreadele)とを考慮して-90度から+90度の間の仰角範囲にわたるゲイン値の漸進的変化を表し、および/または
第2のセットの仰角ゲイン値(311a、eleGainExtd)は、仰角オブジェクト位置(210、1210、ele)と仰角スプレッド角度(spreadAngleEle、spreadele)とを考慮して-180度から-90度の間および+90度から+180度の間の仰角範囲にわたるゲイン値の漸進的変化を表す、請求項18から24のいずれか一項に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項26】
前記オーディオオブジェクトレンダラーは、前記オブジェクト位置情報(210、1210、azi、ele)および前記オブジェクト特徴情報(1312)を考慮してスプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を得るように構成され、
前記オブジェクトレンダラーは、3次以下の次数を有する1つまたは複数の多項式関数を用いてスプレッドゲイン(314a、g_spd)を得るように構成され、
前記オブジェクトレンダラーは、スプレッドゲイン寄与(302a、aziGain、305a、eleGain、309a、aziGainExtd、311a、eleGainExtd)に基づくスプレッドゲイン(314a、g_spd)を用いて前記スプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を得るように構成されている、請求項1から25のいずれか一項に記載のオーディオオブジェクトレンダラー。
【請求項27】
前記オーディオオブジェクトレンダラーは、オブジェクト位置情報(210、1310、azi、ele)およびスプレッド情報(212、1312、spreadAngleAzi、spreadAngleEle)に基づき、1つまたは複数のオーディオオブジェクト信号(1260)を複数のスピーカー信号(1262a~1262c)に含めるためのゲインを記述するスピーカーゲイン(214、1214、1214a~1214c)を決定するように構成され、
前記オーディオオブジェクトレンダラーは、前記オブジェクト位置情報および前記スプレッド情報を考慮してスプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を得るように構成され、
前記オーディオオブジェクトレンダラーは、オブジェクト位置(210、1310、azi、ele)と支持点位置(204a、aziSSP、eleSSP)との間の角度差をスプレッドゲイン値寄与(302a、aziGain、305a、eleGain、309a、aziGainExtd、311a、eleGainExtd)にマッピングする3次以下の次数を有する1つまたは複数の多項式関数を用いてスプレッドゲイン(314a、g_spd)を得るように構成され、
前記オーディオオブジェクトレンダラーは、前記スプレッドゲイン値寄与に基づくスプレッドゲイン(314a、g_spd)を用いて前記スプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を得るよう構成されている、請求項1から25のいずれか一項に記載のオーディオオブジェクトレンダラー。
【請求項28】
前記1つまたは複数の多項式関数の幅は、スプレッド情報(212、1312、spreadAngleAzi、spreadAngleEle)によって決定される、請求項26または27に記載のオーディオオブジェクトレンダラー(200、1300)。
【請求項29】
前記オーディオオブジェクトレンダラーは、オブジェクト位置(210、1310、azi)と支持点位置(204a、aziSSP)との間の方位角差を第1のスプレッドゲイン値寄与(302a、aziGain(naz))にマッピングする第1の多項式関数、および、オブジェクト位置(210、1310、ele)と支持点位置(204a、eleSSP)との間の仰角差を第2のスプレッドゲイン値寄与(305a、eleGain(nel))にマッピングする第2の多項式関数を用いて、スプレッドゲイン値(314a、g_spd)を得るように構成されている、請求項26から28のいずれか一項に記載のオーディオオブジェクトレンダラー(200、1300)。
【請求項30】
前記オーディオオブジェクトレンダラーは、前記第1のスプレッドゲイン値寄与(302a、aziGain(naz))と前記第2のスプレッドゲイン値寄与(305a、eleGain(nel))を組み合わせて、スプレッドゲイン値(314a、g_spd)を得るよう構成されている、請求項29に記載のオーディオオブジェクトレンダラー(200、1300)。
【請求項31】
前記オーディオオブジェクトレンダラーは、所与のオブジェクト位置(210、1310、azi、ele)および所与のスプレッド(212、1312、spreadAngleAzi、spreadAngleEle)について、
支持点位置またはスピーカー方位角指標または支持点方位角指標(naz)に関する複数の方位角値に対する前記スプレッドゲイン(314a、g_spd)への寄与を記述する方位角ゲイン値(302a、aziGain)のセット、および/または
支持点位置またはスピーカー仰角指標または支持点仰角指標(nel)に関する複数の仰角値に対する前記スプレッドゲイン(314a、g_spd)への寄与を記述する仰角ゲイン値(305a、eleGain)のセット、
を計算し、
方位角ゲイン値(302a、aziGain(naz)、305a、eleGain(nel))を用いて前記スプレッドゲイン(314a、g_spd)を導出するように構成される、請求項26から30のいずれか一項に記載のオーディオオブジェクトレンダラー(200、1300)。
【請求項32】
前記オーディオオブジェクトレンダラーは、現在考慮されているスピーカーまたは現在考慮されている支持点に関する前記方位角ゲイン値のセット(302a、aziGain)の要素(aziGain(naz))を、前記現在考慮されているスピーカーまたは現在考慮されている支持点に関する前記仰角ゲイン値のセット(305a、eleGain)の要素(eleGain(nel))と組み合わせて、複数の異なるスピーカーまたは複数の異なる支持点に関するスプレッドゲイン値(spd(objNo))を得るように構成されている、請求項31に記載のオーディオオブジェクトレンダラー(200、1300)。
【請求項33】
前記オーディオオブジェクトレンダラーは、所与のオブジェクト位置(210、1310、azi、ele)および所与のスプレッド(212、1312、spreadAngleAzi、spreadAngleEle)について、
球面座標系の極の交差を示さない元の仰角値範囲内の仰角値に関する支持点位置またはスピーカー方位角指標または支持点方位角指標(naz)に関連している複数の方位角値に対する前記スプレッドゲイン(314a、g_spd)への寄与を記述する第1のセットの方位角ゲイン値(302a、aziGain)、および
球面座標系の極の交差を示す拡張仰角値範囲内の仰角値に関する支持点位置またはスピーカー方位角指標または支持点方位角指標(naz)に関連している複数の方位角値に対する前記スプレッドゲイン(314a、g_spd)への寄与を記述する第2のセットの方位角ゲイン値(309a、aziGainExtd)、
を計算し、
方位角ゲイン値(302a、aziGain(naz))および/または仰角ゲイン値(305a、eleGain(nel))を用いて前記スプレッドゲイン(314a、g_spd)を導出するように構成されている、請求項26から32のいずれか一項に記載のオーディオオブジェクトレンダラー(200、1300)。
【請求項34】
前記オーディオオブジェクトレンダラーは、所与のオブジェクト位置(210、1310、azi、ele)および所与のスプレッド(212、1312、spreadAngleAzi、spreadAngleEle)について、
前記球面座標系の極の交差を示さない元の仰角値範囲内の仰角値に関する支持点位置またはスピーカー方位角指標または支持点仰角指標(nel)に関連している複数の仰角値に対する前記スプレッドゲイン(314a、g_spd)への寄与を記述する第1のセットの仰角ゲイン値(305a、eleGain)、および
前記球面座標系の極の交差を示す拡張仰角値範囲内の仰角値に関する支持点位置またはスピーカー仰角指標または支持点仰角指標(nel)に関連している複数の仰角値に対する前記スプレッドゲイン(314a、g_spd)への寄与を記述する第2のセットの仰角ゲイン値(311a、eleGainExtd)、
を計算し、
方位角ゲイン値(302a、aziGain(naz)、309a、aziGainExtd(naz))および仰角ゲイン値(305a、eleGain(nel)、311a、eleGainExtd(nel))を用いて前記スプレッドゲイン(314a、g_spd)を導出するように構成されている、請求項33に記載のオーディオオブジェクトレンダラー(200、1300)。
【請求項35】
前記オーディオオブジェクトレンダラーは、パンニングを用いて初期化時に複数の支持点に関連付けられているオーディオ信号を複数のスピーカーにパンニングするための支持点パンニングゲイン(Spread.gainsSSP)を事前計算するように構成され、
前記オーディオオブジェクトレンダラーは、3次以下の次数を有する多項式関数を用いて複数の支持点信号へのオーディオオブジェクト信号の寄与を記述するオブジェクト対支持点スプレッドゲイン(g_spd)を得るように構成され、
前記オーディオオブジェクトレンダラーは、前記オブジェクト対支持点スプレッドゲインおよび前記支持点パンニングゲインを組み合わせて、前記スプレッドオブジェクトスピーカーゲインを得るように構成されている、請求項26から34のいずれか一項に記載のオーディオオブジェクトレンダラー(200、1300)。
【請求項36】
前記3次以下の次数を有する1つまたは複数の多項式関数は、
p=max(0,c1*anglediff+c2)
に従って戻り値pを与える放物線関数であり、
c1は前記放物線関数の幅を決定するパラメータであり、
c2は所定の値であり、
angeldiffは前記放物線関数が評価される角度差であり、
max(.,.)はオペランドの最大値を返す最大値演算子である、請求項26から35のいずれか一項に記載のオーディオオブジェクトレンダラー。
【請求項37】
オブジェクト位置情報(210、1210、azi、ele)およびオブジェクト特徴情報(1212)に基づき、1つまたは複数のオーディオオブジェクト信号(1260)を複数のスピーカー信号(1262a~1262c)に含めるためのゲインを記述するスピーカーゲイン(214、1214、1214a~1214c)を決定するための方法であって、
オーディオオブジェクトの点音源パンニング(202、1230)を用いてパンニング済みオブジェクトスピーカーゲイン(202a、1232、g)を得るステップと、
前記方法は、前記オブジェクト特徴情報(1212)を考慮してオブジェクト特徴情報スピーカーゲイン(206a、1242、gOS)を得るステップと、
前記パンニング済みオブジェクトスピーカーゲインの寄与が常にあるように前記パンニング済みオブジェクトスピーカーゲイン(202a、1232、g)および前記オブジェクト特徴情報スピーカーゲイン(206a、1242、gOS)を組み合わせて、組み合わされたスピーカーゲイン(214、1214、1214a~1214c)を得るステップと、を含む方法。
【請求項38】
オブジェクト位置情報(210、1210、azi、ele)およびオブジェクト特徴情報(1212)に基づき、1つまたは複数のオーディオオブジェクト信号(1260)を複数のスピーカー信号(1262a~1262c)に含めるためのゲインを記述するスピーカーゲイン(214、1214、1214a~1214c)を決定するための方法(1400)であって、
オーディオオブジェクトの点音源パンニングを用いてパンニング済みオブジェクトスピーカーゲイン(202a、1232、g)を得るステップ(1410)と、
前記オブジェクト位置情報(210、1210、azi、ele)および前記オブジェクト特徴情報(1212)を考慮してスプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を得るステップ(1420)と、
前記パンニング済みオブジェクトスピーカーゲインの寄与が常にあるように前記パンニング済みオブジェクトスピーカーゲイン(202a、1232、g)および前記スプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を組み合わせて、組み合わされたスピーカーゲイン(214、1214、1214a~1214c)を得るステップ(1430)と、を含む方法(1400)。
【請求項39】
オブジェクト位置情報(210、1210、azi、ele)およびスプレッド情報(212、1212、spreadAngleAzi、spreadAngleEle)に基づき、1つまたは複数のオーディオオブジェクト信号(1260)を複数のスピーカー信号(1262a~1262c)に含めるためのゲインを記述するスピーカーゲイン(214、1214、1214a~1214c)を決定するための方法(1400)であって、
オーディオオブジェクトの点音源パンニングを用いてパンニング済みオブジェクトスピーカーゲイン(202a、1232、g)を得るステップ(1410)と、
前記オブジェクト位置情報(210、1210、azi、ele)および前記スプレッド情報(212、1212、spreadAngleAzi、spreadAngleEle)を考慮してスプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を得るステップ(1420)と、
前記パンニング済みオブジェクトスピーカーゲインの寄与が常にあるように前記パンニング済みオブジェクトスピーカーゲイン(202a、1232、g)および前記スプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を組み合わせて、組み合わされたスピーカーゲイン(214、1214、1214a~1214c)を得るステップ(1430)と、を含む方法(1400)。
【請求項40】
支持点の位置とオブジェクト位置との間の差を1つまたは複数のスプレッドゲイン値寄与(aziGain(naz)、eleGain(nel))にマッピングする1つまたは複数のゲイン関数を評価するステップと、前記1つまたは複数のスプレッドゲイン値寄与に基づきスプレッドオブジェクトスピーカーゲイン(gOS)を決定するステップと、を含む請求項37から39のいずれか一項に記載の方法(1400)。
【請求項41】
前記オブジェクト位置情報(210、1210、azi、ele)およびオブジェクト特徴情報(1212)を考慮してスプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を得るステップ(1510)と、
オブジェクト位置(210、1310、azi、ele)と支持点位置(204a、aziSSP、eleSSP)との間の角度差をスプレッドゲイン値寄与(302a、aziGain、305a、eleGain、309a、aziGainExtd、311a、eleGainExtd)にマッピングする3次以下の次数を有する1つまたは複数の多項式関数を用いてスプレッドゲイン(314a、g_spd)を得るステップ(1520)と、
前記スプレッドゲイン値寄与(302a、aziGain、305a、eleGain、309a、aziGainExtd、311a、eleGainExtd)に基づくスプレッドゲイン(314a、g_spd)を用いて、または前記スプレッドゲイン(314a、g_spd)を前記スプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)として用いて、前記スプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を得るステップ(1530)と、を含む請求項37から40のいずれか一項に記載の方法。
【請求項42】
前記方法は、オブジェクト位置情報(210、1310、azi、ele)およびスプレッド情報(212、1312、spreadAngleAzi、spreadAngleEle)に基づき1つまたは複数のオーディオオブジェクト信号(1260)を複数のスピーカー信号(1262a~1262c)に含めるためのゲインを記述するスピーカーゲイン(214、1214、1214a~1214c)を決定し、
前記オブジェクト位置情報および前記スプレッド情報を考慮してスプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を得るステップ(1510)と、
オブジェクト位置(210、1310、azi、ele)と支持点位置(204a、aziSSP、eleSSP)との間の角度差をスプレッドゲイン値寄与(302a、aziGain、305a、eleGain、309a、aziGainExtd、311a、eleGainExtd、aziGain(naz)、eleGain(nel))にマッピングする3次以下の次数を有する1つまたは複数の多項式関数を用いてスプレッドゲイン(314a、g_spd)を得るステップ(1520)と、
前記スプレッドゲイン値寄与(302a、aziGain、305a、eleGain、309a、aziGainExtd、311a、eleGainExtd、aziGain(naz)、eleGain(nel))に基づくスプレッドゲイン(314a、g_spd)を用いて、または前記スプレッドゲイン(314a、g_spd)を前記スプレッドオブジェクトスピーカーゲインとして用いて、前記スプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を得るステップ(1530)と、を含む請求項37から40のいずれか一項に記載の方法。
【請求項43】
コンピュータ上で実行されると、請求項37から42のいずれか一項に記載の方法を実行するためのコンピュータプログラム。
【請求項44】
オブジェクト位置情報(210、1210、azi、ele)およびスプレッド情報(212、1212)に基づき、1つまたは複数のオーディオオブジェクト信号(1260)を複数のスピーカー信号(1262a~1262c)に含めるためのゲインを記述する、または表す、または構成するスピーカーゲイン(214、1214、1214a~1214c)を決定するためのオーディオオブジェクトレンダラー(200、1200)であって、
前記オーディオオブジェクトレンダラーは、オーディオオブジェクトの点音源パンニング(202、1230)を用いてパンニング済みオブジェクトスピーカーゲイン(202a、1232、g)を得るように構成され、前記スプレッド情報は無視され、単一音源がオーディオオブジェクトのプレイバックについて選択されるかまたはオーディオオブジェクトが前記オーディオオブジェクトに最も近い複数のスピーカーに分配され、
前記パンニング済みオブジェクトスピーカーゲインは、前記オブジェクト位置情報に基づいていて、
前記オーディオオブジェクトレンダラーは、前記オブジェクト位置情報(210、1210、azi、ele)および前記スプレッド情報(212、1212)に基づきスプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を得るように構成され、
前記オーディオオブジェクトレンダラーは、前記パンニング済みオブジェクトスピーカーゲイン(202a、1232、g)および前記スプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を組み合わせて、前記パンニング済みオブジェクトスピーカーゲインの寄与が常にあり、組み合わせにおける前記パンニング済みオブジェクトスピーカーゲインの寄与が非ゼロであるように組み合わされたスピーカーゲイン(214、1214、1214a~1214c)を得るように構成されている、オーディオオブジェクトレンダラー(200、1200)。
【発明の詳細な説明】
【技術分野】
【0001】
本発明による実施形態は、オーディオオブジェクトレンダラー(audio object renderer)に関する。
【0002】
本発明によるさらなる実施形態は、スピーカーゲインを決定するための方法に関する。
【0003】
本発明によるさらなる実施形態は、コンピュータプログラムに関する。
【0004】
本発明による実施形態は、一般に、拡張された音源サイズを有するオーディオオブジェクトのためのパンニングに関する。
【背景技術】
【0005】
以下では、本発明のある程度の背景が説明される。しかしながら、以下で言及される特徴、機能、およびアプリケーションは、任意選択で、本発明による実施形態と組み合わせて使用することもできることに留意されたい。
【0006】
サラウンドサウンド再生の分野では、通常、スピーカーは室内のいくつかの特定の位置に置かれる。一般に使用されるサラウンド再生システム「5.1」は、前方ヘミスフィア(半球面)内の3つのスピーカーおよび後方ヘミスフィア(半球面)内の2つのスピーカーを含む。信号(例えば、モノラルオーディオ信号)が2つのスピーカーの間の空間で再生されることを意図されている場合、信号はこれら2つの隣接するスピーカーに対して均等に分配される。この手順は、水平面より上および/または水平面より下にスピーカーが追加されている、3Dスピーカーのセットアップでも機能する。よく知られているパンニングアルゴリズムは、いわゆる「ベクトルベース振幅パンニング」(VBAP)である。パンニングゲインを計算した後、モノラル信号は、対応する重み付けを施して関連するスピーカーから再生される。
【0007】
ほとんどのパンニング技術は、空間内で点状サウンディング信号(point‐like sounding signal)(オブジェクト)を再生することがわかっている。頻繁なことではあるが、オブジェクトのサイズを変更する、音の拡散をより大きくする、知覚される距離を変更する、または他の心理音響効果をもたらすことが望ましいことが、さらに、わかっている。従って、オブジェクトは、点状だけでなく、より広い再生角度からも、音を鳴らすべきである(またはときには、そうしなければならない)。
【0008】
図1は、異なるオブジェクトのスプレッド(spread,広がり)構成のグラフィック表現を示している。上段では、参照記号100、101、102において、3つの異なるスプレッド値を有するオブジェクトが示されている。下段では、参照記号104および105において、オブジェクトは、再生スフィア(reproduction sphere)上で不均一に広がっている。
【0009】
言い換えると、図1は、再生スピーカーのセットアップに依存しない異なるオブジェクトスプレッド構成を示している。参照番号100において、点状サウンディングオブジェクトが描かれている。参照番号101および102において、オブジェクトは、より広い/より高い再生角度にわたって一様に広がっている。参照番号104では、オブジェクトは、垂直方向に広がり、参照番号105では水平方向に広がっている。
【発明の概要】
【発明が解決しようとする課題】
【0010】
このような状況に鑑み、聴覚的印象と計算の複雑さとの間の改善されたトレードオフの関係を提供する概念を生み出すことが必要である。
【課題を解決するための手段】
【0011】
本発明による一実施形態は、オブジェクト位置情報およびオブジェクト特徴情報に基づき、1つまたは複数のオーディオオブジェクト信号を複数のスピーカー信号に含めるためのゲインを記述するスピーカーゲインを決定するためのオーディオオブジェクトレンダラーを作成する。オーディオオブジェクトレンダラーは、オーディオオブジェクトの点音源パンニングを使用してパンニング済みオブジェクトスピーカーゲインを得るように構成される。オーディオオブジェクトレンダラーは、オブジェクト特徴情報(1212)を考慮してオブジェクト特徴情報スピーカーゲイン(例えば、検討中の1つまたは複数のオーディオオブジェクトの、例えば、拡張および/または知覚された拡張および/または知覚された角度拡張および/または拡散および/またはぼかしを考慮したスピーカーゲイン)を得るよう構成される。例えば、オブジェクト特徴情報は、発散、例えば、音源(またはオーディオオブジェクト、もしくはオーディオオブジェクトに由来する音)から、例えば音源の広がり(broadening)に対応し得る、複数の点への分配を記述し得る。例えば、オブジェクト、またはオブジェクトの知覚は、オブジェクトの特徴情報に従って拡大され得る。概ね、例えば、オブジェクト特徴情報は、オーディオオブジェクトのスプレッド(広がり)および/または範囲および/または拡散性を表してもよく、オブジェクト特徴情報スピーカーゲインは、オーディオオブジェクトのこのスプレッドおよび/または範囲および/または拡散性を考慮してもよい。代替的に、またはそれに加えて、オブジェクト特徴情報は、例えば、オーディオオブジェクトの距離を記述してもよく、この距離は、例えば、準備段階においてスプレッドに変換されてもよく、次いで、このスプレッドは、オブジェクト特徴情報スピーカーゲインの提供において考慮され得る。しかしながら、別の選択肢として、オブジェクト特徴情報スピーカーゲインは、距離から直接導出されることもあり得る。
【0012】
オーディオオブジェクトレンダラーは、組み合わされたスピーカーゲイン(214、1214、1214a~1214c)を得るために、パンニング済みオブジェクトスピーカーゲインの寄与が常にあるように、パンニング済みオブジェクトスピーカーゲイン(202a、1232、g)およびオブジェクト特徴情報スピーカーゲイン(206a、1242、gOS)を組み合わせるようにさらに構成される。
【0013】
本発明によるこの実施形態は、異なるスピーカーに関連付けられている異なるスピーカー信号におけるオーディオオブジェクトからのオブジェクト信号の強度を記述する、オブジェクト特徴情報スピーカーゲイン(スプレッドオブジェクトスピーカーゲインに対応し得る)を、パンニング済みオブジェクトスピーカーゲインおよびスプレッドオブジェクトスピーカーゲインの両方に基づき得ることによって、計算の複雑さと達成可能な聴覚印象の間の良好な構成が得られ得るという発見に基づくものである。特に、典型的には「点音源」聴覚印象を提供する、パンニング済みオブジェクトスピーカーゲインの使用によって、ユーザによるオーディオオブジェクトの定位が円滑にされ得る。例えば、パンニング済みオブジェクトスピーカーゲインの導出では、オーディオオブジェクトの点音源パンニングを使用してもよく、これは、例えば、オーディオオブジェクトのプレイバック(playback)のために単一のスピーカーを選択してもよく、または、例えば、オーディオオブジェクトに最も近い複数のスピーカーにオーディオオブジェクトを分配してもよい(その一方で、例えば、オーディオオブジェクトに最も近い、最も近いスピーカーではないスピーカーを未使用のままにする)。従って、オーディオオブジェクトの「点音源」パンニングは、典型的には、パンニング済みオブジェクトスピーカーゲインを提供し、オブジェクト位置に最も近い少数のスピーカーのスピーカーゲインのみが非ゼロである。
【0014】
それに加えて、オーディオオブジェクトレンダラーは、オブジェクト特徴情報オブジェクトスピーカーゲインも得て、オブジェクトが拡張領域、例えば、方位角の拡張範囲および/または仰角の拡張範囲にわたって広がっている。従って、オブジェクト特徴情報オブジェクトスピーカーゲインの決定では、オーディオオブジェクトの拡張を考慮し、これは、例えば、オブジェクト特徴情報から導出され得る。オブジェクト特徴情報オブジェクトスピーカーゲインの決定では、典型的には、パンニング済みオブジェクトスピーカーゲインの決定よりも多数のスピーカーにわたってオーディオオブジェクトを広げることになるが、それは、オブジェクト特徴情報オブジェクトスピーカーゲインの決定ではオーディオオブジェクトの拡張を考慮し、典型的には、比較的広い(例えば、考慮対象のオーディオオブジェクトの拡張よりもさらに広い)定常的(例えば、定常的減衰)分布特性を使用するからである。
【0015】
従って、オーディオオブジェクトの点音源パンニングに基づく、パンニングオブジェクトスピーカーゲインと、オーディオオブジェクトの拡張を考慮した、オブジェクト特徴情報オブジェクトスピーカーゲインとを組み合わせることによって、(比較的大きな拡張を有するオブジェクトに対しても)オーディオオブジェクトの良好な定位が達成され得、またオーディオオブジェクトの拡張を知覚することも可能である。これは、複数の用途がある状況、および/または、ユーザがリスニング配置構成の「スイートスポット」に配置されていない状況において、特に当てはまる。パンニング済みオブジェクトスピーカーが得る寄与を、例えばオブジェクト特徴情報に応じて常に導入することによって、オーディオオブジェクトの定位は常に確実にされ、スイートスポット配置にないリスナーに対しても可能であるということが達成され得る。
【0016】
さらに、オブジェクト特徴情報は、典型的には、オーディオオブジェクトの拡張を決定するか、または推定することを可能にすることに留意されたい。例えば、オブジェクト特徴情報は、オブジェクトのタイプを示してもよく、オブジェクトのこのタイプは、スプレッドオブジェクトスピーカーゲインの決定のためのパラメータ(例えば、スプレッドパラメータ)を意味するものとしてよい。例えば、オブジェクト特徴情報は、比較的に小さなオブジェクトと比較的に大きなオブジェクトとを区別することを可能にし得る。代替的に、またはそれに加えて、オブジェクト特徴情報は、近いオブジェクトと遠いオブジェクトとの区別を可能にし、これは、スプレッドオブジェクトスピーカーゲインの決定のための1つまたは複数のパラメータを意味し得る。オブジェクト特徴情報は、任意選択で、オーディオオブジェクトの「不鮮明」もしくは「拡散」拡張、または複数の定位位置へのオーディオオブジェクトの分配を記述し得る。
【0017】
結論として、オーディオオブジェクトレンダラーは、オブジェクト特徴情報からオブジェクト特徴情報オブジェクトスピーカーゲインの決定のための1つまたは複数のパラメータを導出し得る。従って、オブジェクト特徴情報は、スプレッドオブジェクトスピーカーゲインの導出を適切に調節することを可能にし、それにより、オブジェクトは、パンニング済みオブジェクトスピーカーゲインの提供により、定位され得、それと同時に、オブジェクト特徴情報スピーカーゲインの提供におけるオブジェクト特徴情報を考慮することで適切な拡張で知覚され得る。
【0018】
好ましい一実施形態では、オーディオオブジェクトレンダラーは、加えてオブジェクト位置情報を考慮することでオブジェクト特徴情報スピーカーゲインを得るように構成される。これは、オーディオオブジェクトの拡張と位置の両方が考慮され得る。
【0019】
好ましい一実施形態において、前記オブジェクト特徴情報は、オーディオオブジェクトスプレッド情報である。これは、この場合に「抽象的な」オブジェクト特徴情報をオブジェクトスプレッド情報上にマッピングする必要がないので、特に効率的な計算を可能にする。
【0020】
本発明による一実施形態は、例えば方位角値aziおよび仰角値eleを使用して、例えば球面座標で与えられ得る、オブジェクト位置情報(例えば、方位角(azi)、仰角(ele))と、オブジェクト特徴情報とに基づき、1つまたは複数のオーディオオブジェクト信号を複数のスピーカー信号に含めることに対するゲインを記述するスピーカーゲイン(例えば、組み合わされたスピーカーゲインまたはその結果得られるスピーカーゲイン)を決定するためのオーディオオブジェクトレンダラーを作成する。オブジェクト特徴情報は、例えば、オブジェクトが小さいか、もしくは拡張されているかを示す情報、例えば、オブジェクトサイズ値であり得るか、またはオブジェクト特徴情報は、例えば、スプレッド値(例えば、方位角方向のスプレッドを記述するスプレッド角度情報、例えば、spreadAngleAzi、および/または、仰角方向のスプレッドを記述するスプレッド角度情報、例えば、spreadAngleEle)上にマッピングされ得る、オブジェクト距離情報であってもよい。しかしながら、他のタイプのオブジェクト特徴情報も可能である。
【0021】
オーディオオブジェクトレンダラーは、オーディオオブジェクトの点音源パンニングを使用して、パンニング済みオブジェクトスピーカーゲイン(例えば、「オブジェクトスピーカーゲイン」とも指定されるか、またはベクトルgによって表される)を得るように構成される。点音源パンニングにおいて、オーディオオブジェクトは、例えば、点音源とみなされてよく、スプレッド情報は、例えば、無視され、オーディオオブジェクトの信号は、パンニング済みオブジェクトスピーカーゲインの適切な選択によってオーディオオブジェクトのオブジェクト位置の環境内の2つ以上のスピーカーに関連付けられる。
【0022】
オーディオオブジェクトレンダラーは、オブジェクト位置情報およびオブジェクト特徴情報を考慮して、スプレッドオブジェクトスピーカーゲイン(また、例えば、スプレッドスピーカーゲインと指定されるか、またはベクトルgOSとして表される)を得るように構成される。
【0023】
オーディオオブジェクトレンダラーは、組み合わされたスピーカーゲインを得るために、パンニング済みオブジェクトスピーカーゲインの寄与が常にあるように(例えば、オブジェクト特徴情報から独立して)、パンニング済みオブジェクトスピーカーゲイン(例えば、g)およびスプレッドオブジェクトスピーカーゲイン(例えば、gOS)を組み合わせるように構成される。
【0024】
本発明によるこの実施形態は、異なるスピーカーに関連付けられている異なるスピーカー信号におけるオーディオオブジェクトからのオブジェクト信号の強度を記述する、スプレッドオブジェクトスピーカーゲインを、パンニング済みオブジェクトスピーカーゲインおよびスプレッドオブジェクトスピーカーゲインの両方に基づき得ることによって、計算の複雑さと達成可能な聴覚印象の間の良好な構成が得られ得るという発見に基づく。特に、典型的には「点音源」聴覚印象を提供する、パンニング済みオブジェクトスピーカーゲインの使用によって、ユーザによるオーディオオブジェクトの定位が円滑にされ得る。例えば、パンニング済みオブジェクトスピーカーゲインの導出では、オーディオオブジェクトの点音源パンニングを使用してもよく、これは、例えば、オーディオオブジェクトのプレイバックのために単一のスピーカーを選択してもよく、または、例えば、オーディオオブジェクトに最も近い複数のスピーカーにオーディオオブジェクトを分配してもよい(その一方で、例えば、オーディオオブジェクトに最も近い、最も近いスピーカーではないスピーカーを未使用のままにする)。従って、オーディオオブジェクトの「点音源」パンニングは、典型的には、パンニング済みオブジェクトスピーカーゲインを提供し、オブジェクト位置に最も近い少数のスピーカーのスピーカーゲインのみが非ゼロである、
【0025】
それに加えて、オーディオオブジェクトレンダラーは、スプレッドオブジェクトスピーカーゲインも得て、オブジェクトが拡張領域、例えば、方位角の拡張範囲および/または仰角の拡張範囲にわたって広がっている。従って、スプレッドオブジェクトスピーカーゲインの決定では、オーディオオブジェクトの拡張を考慮し、これは、例えば、オブジェクト特徴情報から導出され得る。スプレッドオブジェクトスピーカーゲインの決定では、典型的には、パンニング済みオブジェクトスピーカーゲインの決定よりも多数のスピーカーにわたってオーディオオブジェクトを広げることになるが、それは、スプレッドオブジェクトスピーカーゲインの決定ではオーディオオブジェクトの拡張を考慮し、典型的には、比較的広い(例えば、考慮対象のオーディオオブジェクトの拡張よりもさらに広い)定常的(例えば、定常的減衰)分布特性を使用するからである。
【0026】
従って、オーディオオブジェクトの点音源パンニングに基づく、パンニングオブジェクトスピーカーゲインと、オーディオオブジェクトの拡張を考慮した、スプレッドオブジェクトスピーカーゲインとを組み合わせることによって、(比較的大きな拡張を有するオブジェクトに対しても)オーディオオブジェクトの良好な定位が達成され、またオーディオオブジェクトの拡張を知覚することも可能である。これは、複数の用途がある状況、および/または、ユーザがリスニング配置構成の「スイートスポット」に配置されていない状況において、特に当てはまる。パンニング済みオブジェクトスピーカーが得る寄与を、例えばスプレッド情報に依存して、またはオブジェクト特徴情報に依存せずに、常に導入することによって、オーディオオブジェクトの定位は常に確実にされ、スイートスポット配置にないリスナーに対しても可能であるということが達成され得る。
【0027】
さらに、オブジェクト特徴情報は、典型的には、オーディオオブジェクトの拡張を決定するか、または推定することを可能にすることに留意されたい。例えば、オブジェクト特徴情報は、オブジェクトのタイプを示してもよく、オブジェクトのこのタイプは、スプレッドオブジェクトスピーカーゲインの決定のためのパラメータ(例えば、スプレッドパラメータ)を意味するものとしてよい。例えば、オブジェクト特徴情報は、比較的に小さなオブジェクトと比較的に大きなオブジェクトとを区別することを可能にし得る。代替的に、またはそれに加えて、オブジェクト特徴情報は、近いオブジェクトと遠いオブジェクトとの区別を可能にし、これは、スプレッドオブジェクトスピーカーゲインの決定のための1つまたは複数のパラメータを意味し得る。
【0028】
結論として、オーディオオブジェクトレンダラーは、オブジェクト特徴情報からスプレッドオブジェクトスピーカーゲインの決定のための1つまたは複数のパラメータを導出し得る。従って、オブジェクト特徴情報は、スプレッドオブジェクトスピーカーゲインの導出を適切に調節することを可能にし、それにより、オブジェクトは、パンニング済みオブジェクトスピーカーゲインの提供により、定位され得、それと同時に、スプレッドオブジェクトスピーカーゲインの提供におけるオブジェクト特徴情報を考慮することで適切な拡張で知覚され得る。
【0029】
結論として、上述のオーディオオブジェクトレンダラーは、計算の複雑さを適度に小さく抑えつつ良好な聴覚印象をもたらすスピーカーゲインの決定を可能にする。
【0030】
さらに結論として、本発明は、一般的に、VBAPを使用してオブジェクトをパンニングし、次いでオブジェクトに対するオブジェクト特徴ゲインを決定し、これらをVBAPパンニング済みオブジェクトとの関係で常に組み合わせるオブジェクトレンダラーを作成する。
【0031】
本発明による別の実施形態は、例えば(例えば、方位角値aziおよび仰角値eleを使用して)球面座標で与えられ得る、オブジェクト位置情報(例えば、方位角(azi)および/または仰角(ele))と、スプレッド情報(例えば、方位角方向におけるスプレッドを記述するスプレッド角度情報、例えばspreadAngleAzi、および/または仰角方向のスプレッドを記述するスプレッド角度情報、例えばspreadAngleEle)とに基づき、1つまたは複数のオーディオオブジェクト信号を複数のスピーカー信号に含めることに対するゲインを記述するスピーカーゲイン(例えば、組み合わされたスピーカーゲインまたはその結果得られるスピーカーゲイン)を決定するためのオーディオオブジェクトレンダラーを作成する。
【0032】
オーディオオブジェクトレンダラーは、オーディオオブジェクトの点音源パンニング(例えば、オーディオオブジェクトが点音源とみなされ、例えば、スプレッド情報が無視され、例えば、オーディオオブジェクトの信号がパンニング済みオブジェクトスピーカーゲインの適切な選択によってオーディオオブジェクトのオブジェクト位置の環境内の2つ以上のスピーカーに関連付けられる)を使用してパンニング済みオブジェクトスピーカーゲイン(「オブジェクトスピーカーゲイン」とも指定されるか、またはベクトルgによって表される)を得るよう構成される。
【0033】
オーディオオブジェクトレンダラーは、オブジェクト位置情報およびスプレッド情報を考慮して、スプレッドオブジェクトスピーカーゲイン(また、例えば、スプレッドスピーカーゲインと指定されるか、または例えばベクトルgOSとして表される)を得るように構成される。
【0034】
オーディオオブジェクトレンダラーは、組み合わされたスピーカーゲインを得るために、パンニング済みオブジェクトスピーカーゲインの寄与が常にあるように(例えば、スプレッド情報から独立して)、パンニング済みオブジェクトスピーカーゲイン(例えば、g)およびスプレッドオブジェクトスピーカーゲイン(例えば、gOS)を組み合わせるように構成される。
【0035】
このオーディオオブジェクトレンダラーは、上述のオーディオオブジェクトレンダラーと同じ考察に基づく。しかしながら、オブジェクト特徴情報の代わりに、オブジェクトがどのように広げられるべきかを直接的に記述する、スプレッド情報が評価される。例えば、スプレッド情報は、方位角方向におけるスプレッドおよび/または仰角方向におけるスプレッドを記述したスプレッド角度情報であってもよい。代替的に、スプレッド情報は、また、立体角情報であり得るか、または他の形式で(例えば、絶対サイズ情報および/もしくは距離情報、または同様のものを使用して)オブジェクトのサイズを指定してもよい。従って、組み合わされたスピーカーゲインを得ることが可能であり、それにより、組み合わされたスピーカーゲインは、良好な聴覚印象を有するオブジェクト信号の表現を可能にし、リスナーはオブジェクトを定位し、適切な拡張でオブジェクトを知覚することを可能にする。例えば、これは、オブジェクトのスプレッドが十分に広い場合であっても、常にパンニングを使用することによって達成され得る。
【0036】
前述のオーディオオブジェクトレンダラーの好ましい実施形態において、オーディオオブジェクトレンダラーは、支持点(例えば、人工的に生成された支持点、例えば、SSPで指定される)の位置とオブジェクト位置との間の差を1つまたは複数のスプレッドゲイン値寄与(例えば、aziGain(naz)またはeleGain(nel))にマッピングする、1つまたは複数のゲイン関数(例えば、1つもしくは複数の多項式関数または1つもしくは複数の放物線関数、例えば、スプレッド重み付け曲線)を評価し、1つまたは複数のスプレッドゲイン値寄与に基づきスプレッドオブジェクトスピーカーゲイン(例えば、gOS)を決定するように構成される。
【0037】
支持点の位置を使用し、支持点の位置とオブジェクト位置との間の差を1つまたは複数のスプレッドゲイン値寄与にマッピングし得る、1つまたは複数のゲイン関数を評価することによって、スプレッドゲイン値を決定するための一様で計算効率の高い計算スキームを有することが可能である。ゲイン関数は、例えば、オブジェクト位置と支持点の位置との間の角度差(例えば、方位角と仰角の両方に対して)に重み付けし、それによって、スプレッドゲイン値寄与の単純であるが正確な決定を行うことを可能にし得る。さらに、ただし、スピーカー位置ではなく、むしろ支持点位置を使用することで、高度の一様性が確実にされ、これは、典型的には、アルゴリズムの複雑さを低減するのに役立つ。例えば、支持点に関連付けられている信号ゲインから実際のスピーカーに関連付けられている信号ゲインへのマッピングは、事前計算することができ、各オーディオオブジェクトについて再計算される必要はない。しかしながら、典型的に幾何学的に規則正しい支持点に関連付けられているゲイン値の決定では、比較的低い複雑さを有するアルゴリズムを使用することで可能である。従って、組み合わされたスピーカーゲインの決定が、高い程度の効率で可能である。
【0038】
前述のオーディオオブジェクトレンダラーの好ましい実施形態において、オーディオオブジェクトレンダラーは、第1の方向におけるスプレッド(例えば、spreadazi)に応じて、また第2の方向におけるスプレッド(例えば、spreadele)に応じて、パンニング済みオブジェクトスピーカーゲインと組み合わせたスプレッドオブジェクトスピーカーゲインの重みを決定するように構成される。
【0039】
従って、パンニング済みオブジェクトスピーカーゲインの決定と比較されたときにスプレッドオブジェクトスピーカーゲインの決定がどの重要性(または重み)を有するかが判定され得る。例えば、大きいスプレッド角度については、組合せにおけるスプレッドオブジェクトスピーカーゲインの相対的重要度は、スプレッドが比較的小さい状況と比較されたときに高くなり得る。さらに、スプレッドオブジェクトスピーカーゲインの重み付けを調整することによって、スプレッドが比較的広い場合について、パンニング済みオブジェクトスピーカーゲインの(相対的な)寄与は低減され、それによって、悪い聴感印象を回避することが確実にされ得る。対照的に、スプレッドが比較的小さいときには、パンニング済みオブジェクトスピーカーゲインの(相対的)寄与は高められ、それによって、オーディオオブジェクトの定位性を反映させることができる。従って、例えば、オーディオオブジェクトのスプレッドが時間の経過とともに高まる可能性があり得る場合に、滑らかな遷移を有することも可能であり、これは、例えば、考慮対象のオーディオオブジェクトが移動するオーディオオブジェクトである場合であり得る。結論として、パンニング済みオブジェクトスピーカーゲインと組み合わせたスプレッドオブジェクトスピーカーゲインの重み付けの決定は、広く広げられたオブジェクトの場合であっても良好な聴覚印象を達成することを可能にする。
【0040】
前述のオーディオオブジェクトレンダラーの好ましい一実施形態において、オーディオオブジェクトレンダラーは、第1の方向(例えばspreadazi)におけるスプレッド角度(または正規化されたスプレッド角度または正規化されたスプレッド範囲または加重スプレッド範囲)と、第2の方向(spreadele)におけるスプレッド角度(または正規化されたスプレッド角度または正規化されたスプレッド範囲または加重スプレッド範囲)との積(少なくとも所定の閾値、例えばgresより低いスプレッド角度の範囲にわたる)に応じてパンニング済みオブジェクトスピーカーゲインと組み合わせてスプレッドオブジェクトスピーカーゲインの重み付けを決定するよう構成される。
【0041】
第1の方向におけるスプレッド角度と第2の方向におけるスプレッド角度の積は、オーディオオブジェクトのスプレッド特性をよく反映することがわかっている。特に、オーディオオブジェクトがこれらの方向のうちの一方の方向において非常に小さいスプレッド角度を有する場合、積は比較的小さくなり、オブジェクトは比較的定位されているとみなされる。しかしながら、第1の方向におけるスプレッド角度と第2の方向(例えば、第1の方向に対して垂直であってもよい)におけるスプレッド角度との積は、パンニング済みオブジェクトスピーカーゲインと組み合わせてスプレッドオブジェクトスピーカーゲインの重み付けの調節にうまく働き、非常に高い計算効率で決定され得ることがわかっている。
【0042】
前述のオーディオオブジェクトレンダラーの好ましい一実施形態において、オーディオオブジェクトレンダラーは、固定された重み(例えば1)で重み付けされた、パンニング済みオブジェクトスピーカーゲイン(例えば、パンニング済みオブジェクトスピーカーゲインのベクトルg)と、可変重みで重み付けされた、スプレッドオブジェクトスピーカーゲイン(例えばベクトルgOS)(例えば、attenGainまたはgatten)とを加えるように構成され、これは第1の方向におけるスプレッド角度(例えばspreadazi)および第2の方向におけるスプレッド角度(例えばspreadele)に依存し、任意選択で、例えば、gattenに関する式に示されているような固定された重みより大きくないように制限され得る。
【0043】
そのようなアプローチを使用することで、パンニング済みオブジェクトスピーカーゲインは、スプレッド角度に関係なく組合せにおいて十分な重みを有することが達成され得るが、パンニング済みオブジェクトスピーカーゲインとスプレッドオブジェクトスピーカーゲインとの間の有効な(相対)重みを変えることはまだ可能である。しかしながら、パンニング済みオブジェクトスピーカーゲインの寄与がある最小の重みを下回らないようにすることによって、スピーカー環境内のリスナーの位置に関係なく、オブジェクトが常に適度に定位され得ることを確実にする。これは、オーディオオブジェクトの知覚される拡張を調整する可能性を維持しながら聴覚印象の強い低下を回避することを可能にする。
【0044】
前述のオーディオオブジェクトレンダラーの好ましい一実施形態において、オーディオオブジェクトレンダラーは、固定された重みで重み付けされたパンニング済みオブジェクトスピーカーゲインと、可変重みで重み付けされたスプレッドオブジェクトスピーカーゲインとの加算の結果を(例えば、加算の結果を加算の結果のノルムで割ることによって)正規化するよう構成される。
【0045】
そのような正規化を使用すると、全エネルギー、または全知覚ラウドネスが、1つまたは複数のオーディオオブジェクトのスプレッドと実質的に無関係であることが達成され得る。従って、ラウドネスの調整は、スプレッドの調整とは別に行うことができる。
【0046】
前述のオーディオオブジェクトレンダラーの好ましい一実施形態において、オーディオオブジェクトレンダラーは、パンニング済みオブジェクトスピーカーゲインと組み合わせてスプレッドオブジェクトスピーカーゲインの重み付けattenGainを
attenGain=0.89f*min(c,max(spreadazi,spreadele)/gres1)+0.11f*min(c,min(spreadazi,spreadele)/gres2)、
に従って決定するように構成され、
は所定の値(例えば、1)であり、例えば、attenGainに寄与する第1の係数を制限するものとしてよく、cは所定の値(例えば、1)であり、例えば、attenGainに寄与する第2の係数を制限するものとしてよく、gres1は所定の値(例えば、支持点位置の方位角間隔、例えば、45度、例えば、SSP格子分解能)であり、gres2は所定の値(例えば、支持点位置の仰角間隔、例えば、45度、例えば、SSP格子分解能)であり、spreadaziは方位角方向におけるオーディオオブジェクトの広がり角度であり、spreadeleは仰角方向におけるオーディオオブジェクトの広がり角度であり、min(.)は最小演算子であり、max(.)は最大演算子である。
【0047】
スプレッドスピーカーゲインの重み付けのそのような決定を、パンニング済みオブジェクトスピーカーゲインと組み合わせて使用することで、特に良好な聴感印象が達成され得る。この計算では、重み付けは、広がり角度の小さい方と広がり角度の大きい方の両方に依存し、広がり角度の大きい方は、より大きな重みを与えられる。二次元のスプレッドのそのような評価(すなわち、スプレッドオブジェクトスピーカーゲインの重み付けのそのような決定)は、良好な聴覚印象をもたらす広がりオブジェクトスピーカーゲインおよびパンニング済みオブジェクトスピーカーゲインの相対的な重み付けを結果としてもたらすことがわかった。
【0048】
しかしながら、係数0.89fおよび0.11fは変更されることもあり得ることに留意されるべきであり、min(c,max(spreadazi,spreadele)/gres1)に適用される、第1の係数は、第2の係数より(好ましくは、少なくとも50%だけ)大きいものであるべきである。
【0049】
前述のオーディオオブジェクトレンダラーの好ましい一実施形態において、オーディオオブジェクトレンダラーは、例えば方位角方向のスプレッド角度と仰角方向のスプレッド角度が所定の値に到達するところまで、オーディオオブジェクトのスプレッド角度が増大する(例えば、方位角方向のスプレッド角度と仰角方向のスプレッド角度との積が増大する)とともにパンニング済みオブジェクトスピーカーゲインと比較されたときのスプレッドオブジェクトスピーカーゲインの相対寄与を増大させるよう構成される。
【0050】
そのような概念の結果、例えば、第1の方向(例えば、方位角方向)のスプレッド角度と第2の方向(例えば仰角方向)のスプレッド角度の両方が考慮され、パンニング済みオブジェクトスピーカーゲインとスプレッドオブジェクトスピーカーゲインの上述の組合せにおけるスプレッドオブジェクトスピーカーゲインの寄与の重みに寄与するので、特に良好な聴感印象が得られることがわかっている。しかしながら、いくつかの制限(「所定の値」によって定義され得る)を適用することによって、音源を定位する可能性を低下させるスプレッドオブジェクトスピーカーゲインに対する過度の重み付けを使用することがまだ回避され得る。
【0051】
前述のオーディオオブジェクトレンダラーの好ましい一実施形態において、オーディオオブジェクトレンダラーは、オブジェクト位置情報およびスプレッド情報を考慮し、極座標による支持点位置の表現(例えば、aziSSPおよび/またはeleSSP)を使用してスプレッドオブジェクトスピーカーゲイン(またスプレッドスピーカーゲインとして指定されるか、もしくはベクトルgOSとして表現される)を得るように構成され、オーディオオブジェクトレンダラーは、スプレッドオブジェクトスピーカーゲインに基づきスピーカーゲインを提供するように構成される。
【0052】
極座標による支持点位置の表現は、典型的には、計算を強く円滑にすることがわかっているが、それは、方位角方向の広がりと仰角方向の広がりとの観点から広がりを表すことが非常に有用であるからである。さらに、極座標を使用するときに、支持点位置に対して所定の半径を仮定することが適切な場合が多いので、半径成分を考慮する必要はないことがしばしばである。従って、例えば、方位角と仰角の2つの極座標のみを使用して支点を表現することが可能である。従って、計算の複雑さが典型的に低減される。
【0053】
前述のオーディオオブジェクトレンダラーの好ましい一実施形態において、オーディオオブジェクトレンダラーは、
‐ オーディオオブジェクトの方位角位置と1つまたは複数の支持点との間の1つまたは複数の角度差(例えば、diffCLKDir、diffAntiCLKDir、および任意選択でdiffCLKDir+(n-1)*Spread.openAngleおよびdiffAntiCLKDir+(n-1)Spread.openAngle)を評価し、
‐ オーディオオブジェクトの仰角位置と1つまたは複数の支持点の仰角位置との間の1つまたは複数の角度差(例えば、diffCLKDir、diffAntiCLKDir)を評価し、
それにより、スプレッドスピーカーゲインを得るように構成される。
【0054】
そのような角度差を評価することは、ごくわずかの計算量で実行できることがわかっている。また、角度差は、中程度の計算量で、支持点に関連付けられ、例えば、オーディオオブジェクトのオーディオ信号が支持点にどのようにレンダリングされるべきかを記述する、値またはゲイン値にマッピングされ得ることがわかっている。さらに、計算効率の良い実装形態において、支持点は、例えば、評価されるべき方位角差が異なる仰角に対して同一であるように、また例えば、評価されるべき仰角差が異なる方位角に対して同一であるように、非常に規則正しく配置構成され得る。そのような概念を使用することで、方位角差は1つの仰角について評価されるだけでよく、仰角差は1つの方位角について評価されるだけでよいので、特に高い計算効率が達成され得る。従って、ここで述べた概念は、計算量を低減するのに有用であり、これは、小さな計算リソースを有するデバイスにおける概念の実装を円滑にする。
【0055】
前述のオーディオオブジェクトレンダラーの好ましい一実施形態において、支持点の位置は、スフィア(球面)の半径の±10%または±20%の許容範囲内でスフィア(球面)上に配置構成される。
【0056】
スフィア(球面)上に配置構成されている支持点を使用することによって、典型的には、半径を明示的に考慮する必要はない。また、オーディオオブジェクトの拡張が角度値(例えば、仰角値および方位角値)に関して表現される場合にそのような支持点位置が特に役立つことがわかっている。対照的に、デカルト座標を使用すると、計算量が大幅に増大することになるが、それは、3つの空間座標が考慮される必要があり、またデカルト座標と角度表現との間を遷移するために、計算コストの大きい三角関数を計算において適用することが典型的には必要になるからである。
【0057】
前述のオーディオオブジェクトレンダラーの好ましい一実施形態において、支持点位置は、一定の仰角(例えば、仰角-135度または-90度または-45度または0度または45度または90度または135度)および一定の半径(例えば、1の正規化された半径)を有する円に沿って、またはさらには異なる一定の仰角および一定の半径を有する複数の円に沿って(例えば、45度の)一様な方位角間隔を含む。
【0058】
代替的に、またはそれに加えて、支持点位置は、一定の方位角(例えば、方位角-135度または-90度または-45度または0度または45度または90度または135度)および一定の半径(例えば、1の正規化された半径)を有する円に沿って、またはさらには異なる一定の方位角および一定の半径を有する複数の円に沿って(例えば、45度の)一様な仰角間隔を含む。
【0059】
一定の仰角を有する円に沿って一様な方位角間隔を使用し、一定の方位角を有する円に沿って一様な仰角間隔を使用することによって、計算量が低減され得る。さらに、異なる一定の仰角および一定の半径を有する複数の円に沿って一様な方位角間隔がある場合、異なる仰角および一定の半径を有する複数の円に対しては、すべてが一様な方位角間隔を有する場合に計算の著しい部分が繰り返される必要がないのでスフィア(球面)の表面全体の良好な被覆をそのまま維持しながら計算量がさらに低減され得る。例えば、方位角差の計算は、円のうちの1つについて計算されるだけでよく、結果は、また、考慮対象の第1の円のような同じ一様な方位角間隔を有する他の円についても適用され得る。また、これは、異なる一定の方位角および一定の半径を有し、好ましくは同一の一様な仰角間隔を有する複数の円についても適用される。仰角差は一度計算されるだけでよく、結果は、同じ一様な仰角間隔を有する別の円上の支持点位置に対して引き継がれ得る。その結果、非常に少ない計算量で、多数の支持点に対して計算を実行することができる。
【0060】
前述のオーディオオブジェクトレンダラーの好ましい一実施形態において、オブジェクトレンダラーは、オーディオオブジェクトが配置される第1のヘミスフィア(半球面)内に延在しているとともに、方位角位置が第1のヘミスフィア(半球面)とは反対側にある、第2のヘミスフィア(半球面)内にも延在している領域にわたってオーディオオブジェクトが広げられるようにスプレッドオブジェクトスピーカーゲインを得るよう構成される。例えば、第1のヘミスフィア(半球面)は、例えば、-90度から+90度の間の方位角を有する、リスナーの位置の前にあるヘミスフィア(半球面)であってよく、0度はリスナーの視線方向であり、例えば、第2のヘミスフィア(半球面)は、例えば、-180度から-90度、もしくは90度から180度の間の方位角、またはその逆を有する、リスナーの位置の後方にあるヘミスフィア(半球面)であってよい。
【0061】
オーディオオブジェクトを、第1のヘミスフィア(半球面)内に延在し、第2のヘミスフィア(半球面)内にも延在する、領域上に広げることによって、オブジェクトは、ユーザの頭上またはユーザの下方に効果的に広げられ得る。従って、リスナーに対して、頭の前にも後ろにもあるような大きさの拡張されたオブジェクトが頭の上にある印象を与える聴覚印象が達成され得る。従って、特に現実的な聴覚印象が提供され得る。
【0062】
前述のオーディオオブジェクトレンダラーの好ましい一実施形態において、オーディオオブジェクトレンダラーは、-180度から+180度の間の拡張仰角範囲を使用するように構成される。
【0063】
拡張された仰角範囲を使用することによって、不連続性が回避され、計算が単純化され得るので、多くの場合分けおよび角度補正を減らし得る。例えば、オブジェクトが2つの反対方向の方位角、例えば0度と180度の方位角で80度の仰角に対してレンダリングされるべきであることを示すことと比較されたときに所与の方位角および80度と100度の仰角に対してオブジェクトがレンダリングされるべきであると言う(および数学的またはアルゴリズム的に表す)ことははるかに簡単である。従って、通常は-90度から+90度まで及ぶ仰角範囲を2倍にすることによって、計算が単純化され、計算結果の表現も単純化され得る。
【0064】
前述のオーディオオブジェクトレンダラーの好ましい一実施形態において、オーディオオブジェクトレンダラーは、所与のオブジェクト位置(例えば、方位角値aziおよび仰角値eleによって定義される)および所与のスプレッド(例えば、spreadAngleAziまたはspreadAngleEleによって定義される)について、
‐ 球面座標系の極の交差を示さない元の仰角値範囲(例えば、-90度から+90度まで)における仰角値に関連付けられている、(例えば、幅が方位角方向のオブジェクトスプレッド幅に適合されている、多項式関数または放物線関数を使用する)支持点位置または支持点方位角指標(例えば、naz)に関連付けられている複数の方位角値に対するスプレッドゲイン(例えばg_spd)への寄与を記述する第1のセットの方位角ゲイン値(例えばaziGain)、および
‐ 例えば、球面座標系の極のうちの1つにわたってオーディオオブジェクトの広がりに対応し得る、球面座標系の極のうちの1つの極の交差(例えば、-90度の仰角における極の交差、または+90度の仰角における極の交差)を示す拡張仰角値範囲(例えば、-180度から-90度まで、および+90度から+180度まで)における仰角値に関連付けられている、(例えば、幅が方位角方向のオブジェクトスプレッド幅に適合されている、多項式関数または放物線関数を使用する)支持点位置または支持点方位角指標(例えば、naz)に関連付けられている複数の方位角値に対するスプレッドゲインへの寄与を記述する第2のセットの方位角ゲイン値(例えばaziGainExtd)
を計算するように構成される。
【0065】
オーディオオブジェクトレンダラーは、第1のセットの方位角ゲイン値(例えばaziGain(naz))を使用して、また第2のセットの方位角ゲイン値(例えばaziGainExtd)を使用して、スプレッドゲイン(例えば、スプレッドオブジェクトスピーカーゲインgOSの決定で使用される)を導出するようにも構成される。
【0066】
方位角ゲイン値の2つのセット、すなわち、元の(または基本)仰角値範囲に対する(または関連付けられている)方位角ゲイン値と拡張仰角値範囲に対する(または関連付けられている)方位角ゲイン値とを計算することによって、リスナーの頭上の(またはリスナーより下にある)オーディオオブジェクトの広がりが、特に効率的に計算され得る。特に、方位角ゲイン値のセットは、例えば、事前定義された組合せマッピングを使用して効率的な方式でスプレッドゲインの導出に使用できることがわかっている。その一方で、拡張仰角値範囲内の仰角値は、元の仰角値範囲内の仰角値から、複数の場合分けをすることなく、また方位角値を変更することなく、加算または減算(例えば)を使用して容易に導出できるので、計算および結果の表現が円滑にされる。
【0067】
例えば、オーディオオブジェクトをユーザの頭上に広げるときに、90度より大きい仰角値を使用することによってユーザの頭上への広がりが簡単に計算され得る。従って、所与の方位角(例えば、-90度から+90度までの範囲内にある方位角)および0度から90度までの間の正の仰角を有するオブジェクトは、90度より大きい仰角を使用して方位角を変えずに(-90度から+90度までの範囲内で)ユーザの頭部の上に容易に拡張され得る。従って、拡張仰角値範囲(この例では、+90度から+180度の間)の仰角値に関連付けられている仰角ゲイン値は、中間品質として得られ得て、その後、例えば、第2のセットの方位角ゲイン値のうちの方位角ゲイン値との組合せを使用して元の仰角値範囲内の仰角のみを使用して支持点に向けて、または座標系に向けて逆マッピングされ得る。結論として、説明されている概念は、オーディオオブジェクトをユーザの頭上(またはユーザより下)に広げるときの計算効率を著しく改善する。
【0068】
前述のオーディオオブジェクトレンダラーの好ましい一実施形態において、オーディオオブジェクトレンダラーは、所与のオブジェクト位置(例えば、方位角値aziおよび仰角値eleによって定義される)および所与のスプレッド(例えば、spreadAngleAziまたはspreadAngleEleによって定義される)について、
‐ 球面座標系の極の交差を示さない元の仰角値範囲(例えば、-90度から+90度まで)における仰角値に関連付けられている、(例えば、幅が方位角方向のオブジェクトスプレッド幅に適合されている、放物線関数を使用する)支持点位置またはスピーカー方位角指標または支持点仰角指標(例えば、nel)に関連付けられている複数の仰角値に対するスプレッドゲインへの寄与を記述する第1のセットの仰角ゲイン値(例えば、eleGain)、および
‐ 例えば、球面座標系の極のうちの1つにわたってオーディオオブジェクトの広がりに対応し得る、球面座標系の極のうちの1つの極の交差(例えば、-90度の仰角における極の交差、または+90度の仰角における極の交差)を示す拡張仰角値範囲(例えば、-180度から-90度まで、および+90度から+180度まで)における仰角値に関連付けられている、(例えば、幅が方位角方向のオブジェクトスプレッド幅に適合されている放物線関数を使用する)支持点位置またはスピーカー仰角指標または支持点仰角指標(例えば、nel)に関連付けられている複数の仰角値に対するスプレッドゲインへの寄与を記述する第2のセットの仰角ゲイン値(例えば、eleGainExtd)
を計算するように構成される。
【0069】
オーディオオブジェクトレンダラーは、また、第1のセットの方位角ゲイン値(aziGain(naz))を使用して、第2のセットの方位角ゲイン値(aziGainExtd)を使用して、第1のセットの仰角ゲイン値(eleGain(nel))を使用して、および第2のセットの仰角ゲイン値(eleGainExtd(nel))を使用して、スプレッドゲインを導出するよう構成される。
【0070】
この実施形態は、方位角ゲイン値を計算する実施形態と同様の考慮事項に基づく。
【0071】
前述のオーディオオブジェクトレンダラーの好ましい一実施形態において、オーディオオブジェクトレンダラーは、第1のセットの方位角ゲイン値および第1のセットの仰角ゲイン値の値(例えば、対応する値、例えば、aziGain(naz)、eleGain(nel))を(例えば、乗法的に)組み合わせ、第2のセットの方位角ゲイン値のおよび第2のセットの仰角ゲイン値の(例えば、対応する)値(例えば、aziGainExtd(naz)、eleGainExtd(nel))を組み合わせるようにも構成される。
【0072】
そのような組合せを使用して、同じ位置に関連付けられている値が組み合わされ得る(例えば、総和される)。例えば、各支持点位置は、元の仰角値範囲内の第1の方位角値および第1の仰角値の組合せによって、また拡張仰角値範囲内の第2の方位角値および第2の仰角値の組合せによって、参照され得る。例えば、ある点(例えば、支持点位置)は、+80度の仰角における+10度の方位角で指定され、-170度の方位角および+100度の仰角によっても指定され得る。言い換えると、同じ点に関連付けられているが、方位角値および仰角値の異なる組合せによって参照される、値、例えば、方位角ゲイン値および仰角ゲイン値を組み合わせることが可能である。
【0073】
例えば、第2のセットの方位角ゲイン値は、第1のセットの方位角ゲイン値に含まれるが、反対の方向(または方位角値)に関連付けられる、同じ方位角ゲイン値を含み得る。例えば、第2のセットの方位角ゲイン値は、-170度(または、一般的にx-180度またはx+180度)の方位角において、第1のセットの方位角ゲイン値が+10度(または、一般的にx度)の方位角において示すと同じゲインを示し得る。しかしながら、+10度の方位角および+80度(または、一般的にy度)の仰角によって設計される実際の位置は、実際には、-170度の方位角および+100度(または、一般的に180度-y)の拡張仰角値範囲仰角値によって指定される位置と同じである。その結果、拡張仰角値範囲内の仰角値に関連付けられている仰角ゲイン値は、「反対」の方位角に関連付けられている方位角ゲイン値と組み合わされるべきである。従って、第2のセットの方位角ゲイン値は、実際には、「反対」の方位角値に対するスプレッドゲインへの寄与を記述する。
【0074】
結論として、第1のセットの方位角ゲイン値の値および第1のセットの仰角ゲイン値の値を組み合わせることによって、また第2のセットの方位角ゲイン値および第2のセットの仰角ゲイン値の値を組み合わせることによって、同じ位置(異なる方位角値および仰角値によって記述される)に関連付けられている値の2つの対が組み合わされ、それによって支持点に関連付けられている意味のあるゲイン値を得ることができる。
【0075】
前述のオーディオオブジェクトレンダラーの好ましい一実施形態において、第2のセットの方位角ゲイン値は、第1のセットの方位角ゲイン値によって表される方位角にわたるゲイン値の漸進的変化と比較されたときに180度だけシフトされる方位角にわたるゲイン値の漸進的変化を表す。
【0076】
方位角ゲイン値のそのような表現を使用し、方位角ゲイン値の2つのセットを使用することによって、修正済み方位角を考慮したときに、拡張仰角値範囲内の仰角値が元の仰角値範囲内の仰角値と同じ点を指定することが考えられ得る。従って、2つのシフトされた方位角範囲にわたるゲイン値の漸進的変化を表す方位角ゲイン値の2つのセットを使用することによって、拡張方位角範囲内の仰角を簡単に、計算効率よく、取り扱うことができるが、それは「第2のセットの方位角ゲイン値」が拡張方位角範囲に関連付けられる仰角ゲイン値と容易に組み合わせることができるからである。
【0077】
前述のオーディオオブジェクトレンダラーの好ましい一実施形態において、第1のセットの方位角ゲイン値は、方位角オブジェクト位置と、スピーカーの数または支持点の数によって決定される角度精度を有する方位角スプレッド角度とを考慮して、360度の範囲にわたるゲイン値の漸進的変化を表す。
【0078】
代替的に、またはそれに加えて、第2のセットの方位角ゲイン値は、180度回転された、方位角オブジェクト位置と、スピーカーの数または支持点の数によって決定される角度精度を有する方位角スプレッド角度とを考慮して360度の範囲にわたるゲイン値の漸進的変化を表す。
【0079】
360度の範囲にわたるゲイン値の漸進的変化を表す方位角ゲイン値のセットを使用することによって、リスナーの完全な環境が、効率的に考慮され、リスナーの前にあるオーディオオブジェクトとリスナーの後にあるオーディオオブジェクトの両方が考慮され得る。360度の範囲にわたるゲイン値の漸進的変化を表す方位角ゲイン値のそのようなセットを使用することによって、ユーザの頭上またはユーザより下にあるオーディオオブジェクトの広がりを取り扱うことも可能である。
【0080】
前述のオーディオオブジェクトレンダラーの好ましい一実施形態において、第1のセットの仰角ゲイン値は、仰角オブジェクト位置(-90度から+90度の間の範囲にある)、および仰角スプレッド角度を考慮して(例えば、オーディオオブジェクトが球面座標系の極上に広がっていない場合の)-90度から+90度の間の仰角範囲にわたるゲイン値の漸進的変化を表す。
【0081】
代替的に、またはそれに加えて、第2のセットの仰角ゲイン値は、仰角オブジェクト位置(-90度から+90度の間の範囲にある)、および仰角スプレッド角度を考慮して(例えば、オーディオオブジェクトが球面座標系の極上に広がっている場合の)-180度から-90度、および+90度から+180度の間の仰角範囲にわたるゲイン値の漸進的変化を表す。
【0082】
仰角ゲイン値のそのようなセットを使用することによって、第1のセットの仰角ゲイン値と第2のセットの仰角ゲイン値とによってカバーされる仰角の範囲を超えることなく角度値が単純に加算されるか、または減算され得るので、ユーザの頭上のオブジェクトの広がりは容易に取り扱われ得る。
【0083】
本発明による一実施形態は、(例えば、方位角値aziおよび仰角値eleを使用して、例えば、球面座標で与えられ得る)オブジェクト位置情報(例えば、方位角(azi)、仰角(ele))と、オブジェクト特徴情報(例えば、方位角方向におけるスプレッドを記述するスプレッド角度情報、例えばspreadAngleAzi、および/または仰角方向のスプレッドを記述するスプレッド角度情報、例えばspreadAngleEle)とに基づき、1つまたは複数のオーディオオブジェクト信号を複数のスピーカー信号に含めることに対するゲインを記述するスピーカーゲイン(例えば、組み合わされたスピーカーゲインまたはその結果得られるスピーカーゲイン)を決定するための方法を作成する。
【0084】
この方法は、オーディオオブジェクトの点音源パンニング(オーディオオブジェクトが点音源とみなされ、スプレッド情報が無視され、オーディオオブジェクトの信号がパンニング済みオブジェクトスピーカーゲインの適切な選択によってオーディオオブジェクトのオブジェクト位置の環境内の2つ以上のスピーカーに関連付けられる)を使用してパンニング済みオブジェクトスピーカーゲイン(「オブジェクトスピーカーゲイン」とも指定されるか、またはベクトルgによって表される)を得ることを含む。
【0085】
この方法は、オブジェクト位置情報およびオブジェクト特徴情報を考慮して、スプレッドオブジェクトスピーカーゲイン(また、スプレッドスピーカーゲインと指定されるか、またはベクトルgOSとして表される)を得ることも含む。
【0086】
この方法は、組み合わされたスピーカーゲインを得るために、パンニング済みオブジェクトスピーカーゲインの寄与が常にあるように(スプレッド情報から独立して)、パンニング済みオブジェクトスピーカーゲイン(例えば、g)およびスプレッドオブジェクトスピーカーゲイン(例えば、gOS)を組み合わせることを含む。
【0087】
この方法は、上述の対応する装置と同じ考察に基づく。
【0088】
さらに、この方法は、任意選択で、上述の対応する装置に関して、個別にも、組み合わせても、説明されている特徴、機能、および詳細のどれかによって補完され得る。
【0089】
本発明による一実施形態は、(例えば、方位角値aziおよび仰角値eleを使用して、例えば球面座標で与えられ得る)オブジェクト位置情報(例えば、方位角(azi)、仰角(ele))と、スプレッド情報(例えば、方位角方向におけるスプレッドを記述するスプレッド角度情報、例えばspreadAngleAzi、および/または仰角方向のスプレッドを記述するスプレッド角度情報、例えばspreadAngleEle)とに基づき、1つまたは複数のオーディオオブジェクト信号を複数のスピーカー信号に含めることに対するゲインを記述するスピーカーゲイン(例えば、組み合わされたスピーカーゲインまたはその結果得られるスピーカーゲイン)を決定するための方法を作成する。
【0090】
この方法は、オーディオオブジェクトの点音源パンニング(例えば、オーディオオブジェクトが点音源とみなされ、スプレッド情報が無視され、オーディオオブジェクトの信号がパンニング済みオブジェクトスピーカーゲインの適切な選択によってオーディオオブジェクトのオブジェクト位置の環境内の2つ以上のスピーカーに関連付けられる)を使用してパンニング済みオブジェクトスピーカーゲイン(「オブジェクトスピーカーゲイン」とも指定されるか、またはベクトルgによって表される)を得ることを含む。
【0091】
この方法は、オブジェクト位置情報およびスプレッド情報を考慮して、スプレッドオブジェクトスピーカーゲイン(また、スプレッドスピーカーゲインと指定されるか、またはベクトルgOSとして表される)を得ることを含む。
【0092】
この方法は、組み合わされたスピーカーゲインを得るために、パンニング済みオブジェクトスピーカーゲインの寄与が常にあるように(スプレッド情報から独立して)、パンニング済みオブジェクトスピーカーゲイン(例えば、g)およびスプレッドオブジェクトスピーカーゲイン(例えば、gOS)を組み合わせることを含む。
【0093】
この方法は、上述の対応する装置と同じ考察に基づく。
【0094】
さらに、この方法は、任意選択で、上述の対応する装置に関して、個別にも、組み合わせても、説明されている特徴、機能、および詳細のどれかによって補完され得る。
【0095】
前述の方法の好ましい実施形態において、方法は、支持点(例えば、人工的に生成された支持点、SSP)の位置とオブジェクト位置との間の差を1つまたは複数のスプレッドゲイン値寄与(例えば、aziGain(naz)またはeleGain(nel))にマッピングする、1つまたは複数のゲイン関数(例えば、1つもしくは複数の多項式関数または1つもしくは複数の放物線関数、例えば、スプレッド重み付け曲線)を評価することと、1つまたは複数のスプレッドゲイン値寄与に基づきスプレッドオブジェクトスピーカーゲイン(例えば、gOS)を決定することとを含む。
【0096】
本発明による一実施形態は、コンピュータプログラムがコンピュータ上で実行されたときに前述の方法を実行するためのコンピュータプログラムを作成する。
【0097】
コンピュータプログラムは、個別にも、組み合わせても、本明細書において説明されている特徴、機能、および詳細のいずれかによって補完され得る。
【0098】
次に、本出願によるさらなる実施形態が説明される。これらの実施形態は、個別に、また本明細書において開示されている他の実施形態のいずれかと組み合わせて使用することができる。言い換えると、任意選択で、次に説明される実施形態の特徴、機能、および詳細はどれも、本明細書において開示されている任意の他の実施形態に、任意選択で、個別と組合せの両方で導入され得る。
【0099】
本発明による一実施形態は、オブジェクト位置情報(210、1310、azi、ele)およびオブジェクト特徴情報(1312)に基づき、1つまたは複数のオーディオオブジェクト信号(1260)を複数のスピーカー信号(1262a~1262c)に含めるためのゲインを記述するスピーカーゲイン(214、1214、1214a~1214c)を決定するためのオーディオオブジェクトレンダラー(200、1300)を作成する。オブジェクトレンダラーは、3以下の次数を有する1つまたは複数の多項式関数を使用してオブジェクト特徴情報ゲイン(314a、g_spd)を得るように構成される。
【0100】
好ましい実施形態において、オブジェクトレンダラーは、オブジェクト特徴ゲイン寄与(302a、aziGain、305a、eleGain、309a、aziGainExtd、311a、eleGainExtd)に基づく、オブジェクト特徴ゲイン(314a、g_spd)を使用してオブジェクト特徴情報スピーカーゲイン(206a、1242、gOS)を獲得するよう構成されている。
【0101】
好ましい一実施形態において、前記オブジェクト特徴情報は、スプレッド情報(212、1312、spreadAngleAzi、spreadAngleEle)である。
【0102】
本発明による一実施形態は、(例えば方位角値aziおよび仰角値eleを使用して、例えば、球面座標で与えられ得る)オブジェクト位置情報(例えば、方位角(azi)、仰角(ele))と、オブジェクト特徴情報とに基づき、1つまたは複数のオーディオオブジェクト信号を複数のスピーカー信号に含めることに対するゲインを記述するスピーカーゲイン(例えば、組み合わされたスピーカーゲイン)を決定するためのオーディオオブジェクトレンダラーを作成する。オブジェクト特徴情報は、例えば、オブジェクトが小さいか、もしくは拡張されているかを示す情報、例えば、オブジェクトサイズ値であり得る、またはオブジェクト特徴情報は、例えば、スプレッド値(例えば、方位角方向のスプレッドを記述するスプレッド角度情報、例えば、spreadAngleAzi、および/または、仰角方向のスプレッドを記述するスプレッド角度情報、例えば、spreadAngleEle)上にマッピングされ得る、オブジェクト距離情報であってもよい。しかしながら、他のタイプのオブジェクト特徴情報も可能である。
【0103】
オブジェクトレンダラーは、オブジェクト位置情報およびオブジェクト特徴情報を考慮して、スプレッドオブジェクトスピーカーゲイン(また、スプレッドスピーカーゲインと指定されるか、またはベクトルgOSとして表される)を得るように構成される。
【0104】
オブジェクトレンダラーは、例えば、オブジェクト位置と支持点位置との間の角度差(例えば、diffCLKDir+(n-1)*Spread.openAngleまたはdiffAntiCLKDir+(n-1)*Spread.openAngle)をスプレッドゲイン値寄与(例えば、aziGain(naz)またはeleGain(nel))にマッピングする、3以下の次数を有する1つまたは複数の多項式関数、例えば、次数3の1つまたは複数の放物線関数または多項式関数(例えば、parable*((diffCLKDir+(n-1)*Spread.openAngle).^2)+1またはparable*((diffAntiCLKDir+(n-1)*Spread.openAngle).^2)+1)を使用して、複数のスピーカー信号または複数の支持点信号へのオーディオオブジェクト信号の寄与を記述する、例えば、ベクトルg_spdの要素のような、スプレッドゲイン(例えば、オブジェクト対支持点スプレッドゲイン、例えば、g_spd)を得るように構成される。
【0105】
オブジェクトレンダラーは、スプレッドゲイン寄与に基づくスプレッドゲイン(g_spd)を使用して、スプレッドオブジェクトスピーカーゲインを得るように構成される。
【0106】
この実施形態は、2以下の次数を有する多項式関数が、オブジェクト位置と支持点位置との間の角度差に基づきオブジェクトスプレッドゲインを得るのに特に適しているという知見に基づいている。3以下の次数を有する多項式関数は、適度な計算量で評価することができ、計算リソースが限られている状況にうまく使用可能であることがわかっている。しかしながら、このような多項式関数は、スプレッドオーディオオブジェクトの良好な聴覚印象を提供するオブジェクトスプレッドゲインを得るために必要な特性をそれでもよく近似していることがわかっている。特に、3以下の次数を有する多項式関数は、例えば、指数関数のような、非常に大きな計算量または大きなルックアップテーブルを必要とする他の関数よりもはるかに容易に評価され得ることがわかっている。従って、オーディオオブジェクトレンダラーは、特に少ない計算量で実装することができる。
【0107】
さらに、オブジェクト特徴情報は、スプレッドオブジェクトスピーカーゲインの決定を調整するために使用できることに留意されたい。例えば、オブジェクト特徴情報は、スプレッド幅を決定することができる。例えば、オブジェクト特徴情報は、オブジェクトが小さいか、もしくは拡張されているかを示す情報であり得、例えば、オブジェクトサイズ値を含み得る、またはオブジェクト特徴情報は、例えば、スプレッド値上、例えば、方位角方向のスプレッドを記述するスプレッド角度情報、例えば、spreadAngleAzi上、および/または、仰角方向のスプレッドを記述するスプレッド角度情報、例えば、spreadAngleEle上にマッピングされ得る、オブジェクト距離情報を含み得る。言い換えると、オブジェクト特徴情報は、典型的には、オーディオオブジェクトの拡張を決定するか、または推定することを可能にすることに留意されたい。例えば、オブジェクト特徴情報は、オブジェクトのタイプを示してもよく、オブジェクトのこのタイプは、スプレッドオブジェクトスピーカーゲインの決定のためのパラメータ(例えば、スプレッドパラメータ)を意味するものとしてよい。例えば、オブジェクト特徴情報は、比較的に小さなオブジェクトと比較的に大きなオブジェクトとを区別することを可能にし得る。代替的に、またはそれに加えて、オブジェクト特徴情報は、近いオブジェクトと遠いオブジェクトとの区別を可能にし、これは、スプレッドオブジェクトスピーカーゲインの決定のための1つまたは複数のパラメータを意味し得る。
【0108】
結論として、オーディオオブジェクトレンダラーは、オブジェクト特徴情報からスプレッドオブジェクトスピーカーゲインの決定のための1つまたは複数のパラメータを導出し得る。従って、オブジェクト特徴情報は、良好な聴感印象が達成され得るように、スプレッドオブジェクトスピーカーゲインの導出を適切に調整することを可能にする。
【0109】
結論として、3以下の次数を有する、またパラメータが例えばオブジェクト特徴情報に依存し得る、1つまたは複数の多項式関数を使用することによって、計算量を適度に小さく抑えつつ、効率的にスプレッドオブジェクトスピーカーゲインを決定することが可能である。
【0110】
しかしながら、上述のアプローチは、任意選択でより一般的な形態で適用されることが可能であることに留意されたい。特に、オブジェクトスプレッドを実行する必要はないであろう。例えば、支持点に重み付け曲線を適用することによってオブジェクト特性(またはオブジェクト特性またはオブジェクト特徴)をレンダリングするために、支持点が予めレンダリングされる場合、この重み付け曲線は、例えば、効率上の理由から次数3の多項式によって実装することが可能であろう。
【0111】
本発明による一実施形態は、(例えば、方位角値aziおよび仰角値eleを使用して、例えば球面座標で与えられ得る)オブジェクト位置情報(例えば、方位角(azi)、仰角(ele))と、スプレッド情報(例えば、方位角方向におけるスプレッドを記述するスプレッド角度情報、例えばspreadAngleAzi、および/または仰角方向のスプレッドを記述するスプレッド角度情報、例えばspreadAngleEle)とに基づき、1つまたは複数のオーディオオブジェクト信号を複数のスピーカー信号に含めることに対するゲインを記述するスピーカーゲイン(例えば、組み合わされたスピーカーゲイン)を決定するためのオーディオオブジェクトレンダラーを作成する。
【0112】
オブジェクトレンダラーは、オブジェクト位置情報およびスプレッド情報を考慮して、スプレッドオブジェクトスピーカーゲイン(また、スプレッドスピーカーゲインと指定されるか、またはベクトルgOSとして表される)を得るように構成される。
【0113】
オブジェクトレンダラーは、オブジェクト位置と支持点位置との間の角度差(例えば、diffCLKDir+(n-1)*Spread.openAngleまたはdiffAntiCLKDir+(n-1)*Spread.openAngle)をスプレッドゲイン値寄与(例えば、aziGain(naz)またはeleGain(nel))にマッピングする、3次以下の次数を有する1つまたは複数の多項式関数、例えば、次数3の放物線関数または多項式関数(例えば、parable*((diffCLKDir+(n-1)*Spread.openAngle).^2)+1またはparable*((diffAntiCLKDir+(n-1)*Spread.openAngle).^2)+1)を使用して、複数のスピーカー信号または複数の支持点信号へのオーディオオブジェクト信号の寄与を記述する、スプレッドゲイン(例えば、オブジェクト対支持点スプレッドゲイン、例えば、g_spd)、例えばスプレッドゲイン値(例えば、ベクトルg_spdの要素)を得るように構成される。
【0114】
オブジェクトレンダラーは、スプレッドゲイン寄与に基づくスプレッドゲイン[g_spd]を使用して、スプレッドオブジェクトスピーカーゲインを得るように構成される。
【0115】
一般的に言えば、使用される関数(例えば、多項式関数)は、点音源パンニング(本発明の実施例ではVBAP)の曲線形状を(少なくとも近似的に)有することが好ましい(ただし、必ずしもそうでなくてもよい)。この関数は、必ずしも放物線である必要はない。これは、スプレッド成分が支持点間で同じようにパンニングされるという考えである(オブジェクトが通常は例えばVBAPを使用して2つのスピーカー間にパンニングされるように)。
【0116】
このオーディオオブジェクトレンダラーは、上述のオーディオオブジェクトレンダラーと同じ考察に基づく。しかしながら、オブジェクト特徴情報の代わりに、オブジェクトがどのように広げられるべきかを直接的に記述する、スプレッド情報が評価される。例えば、スプレッド情報は、方位角方向におけるスプレッドおよび/または仰角方向におけるスプレッドを記述したスプレッド角度情報であってもよい。代替的に、スプレッド情報は、また、立体角情報であり得るか、または他の形式で(例えば、絶対サイズ情報および/または距離情報、または同様のものを使用して)オブジェクトのサイズを指定してもよい。従って、計算効率の良い方式でスプレッドオブジェクトスピーカーゲインを得ることが可能であり、スプレッド情報は、例えば、1つまたは複数の多項式関数のパラメータ(例えば、スプレッドゲインを得るために使用される放物線の幅)を調整するために使用されてもよい。従って、スプレッド情報によって示されるように、計算は実際のスプレッドに合わせて容易に調整することができ、計算は、効率的な方式で実行することができる。
【0117】
前述のオーディオオブジェクトレンダラーの好ましい一実施形態において、1つまたは複数の多項式関数(例えばスケーリング値aziParableまたはスケーリング値eleParableによって決定され得る、例えば放物線関数)の幅は、スプレッド情報によって、またはオブジェクト特徴情報によって決定される(オーディオオブジェクトレンダラーは、例えば1つまたは複数の多項式関数または放物線関数の幅を異なるオーディオオブジェクトに関連付けられているスプレッド幅に適合するよう構成され得る)。
【0118】
多項式関数は、容易にパラメータ化できるので、多項式関数の(例えば放物線関数の)幅は、容易に調整され得ることがわかっている。しかしながら、1つまたは複数のパラメータを備える放物線関数(例えば、多項式関数)の評価は、典型的には、過度の計算量なく可能である。さらに、放物線関数の1つまたは複数のパラメータをスプレッド情報に応じて、またはオブジェクト特徴情報に応じて調整することによって、スプレッド幅は、非常に滑らかに調整することができ、その結果、知覚的印象が非常に良いものとなり得る。
【0119】
前述のオーディオオブジェクトレンダラーの好ましい一実施形態において、オブジェクトレンダラーは、スプレッドゲイン値(例えば、ベクトルg_spdの値)を得ることを、オブジェクト位置と支持点位置との間の方位角差を第1のスプレッドゲイン値寄与(例えばaziGain(naz))にマッピングする、第1の多項式関数(例えば、3以下の次数を有する多項式関数、例えば放物線関数)を使用して、またオブジェクト位置と支持点位置との間の仰角差を第2のスプレッドゲイン値寄与(例えばeleGain(nel))にマッピングする、第2の多項式関数(例えば、3以下の次数を有する多項式関数、例えば放物線関数)を使用して、行うように構成される。
【0120】
この概念は、例えば、オーディオオブジェクト位置とスプレッド支持点位置との間の仰角差、およびオーディオオブジェクト位置とスプレッド支持点位置との間の方位角差の両方に依存し得る、2次元広がり関数は、方位角差に適用されるものおよび仰角差に適用されるものの2つの広がり関数の組合せ(例えば乗算)を使用して効率的に決定することができるという考え方に基づく。言い換えると、方位角差および仰角差に2つの別々の放物線広がり関数が適用され、その結果が乗算される場合に、良好な広がりの結果が達成され得ることがわかっている。特に、そのようなタイプの2次元の広がりの結果、計算量を小さく抑えながら、適度に良好な聴覚印象をもたらすことがわかっている。特に、2つの広がり関数の別々の評価は、良好な聴覚印象を提供しながら、結合した2次元関数の評価に比べて典型的には著しく少ない計算量で済む。
【0121】
前述のオーディオオブジェクトレンダラーの好ましい一実施形態において、オーディオオブジェクトレンダラーは、第1のスプレッドゲイン寄与(例えばaziGain(naz))と第2のスプレッドゲイン寄与(例えばeleGain(nel))を組み合わせて(例えば乗法的に組み合わせて)、スプレッドゲイン値(例えばベクトルg_spdの値)を得るよう構成される。
【0122】
例えば乗算を使用して実行され得る、スプレッドゲイン寄与を組み合わせることによって、例えば、図3に示されている広がり関数による2次元広がりをよく近似する、2次元広がりが達成され得る。言葉を変えて言えば、2つの多項式関数に基づいて得られる2つのスプレッドゲイン寄与を乗算するとその結果、適度に良好な聴覚印象をもたらす2次元広がり特性が得られることがわかった。
【0123】
前述のオーディオオブジェクトレンダラーの好ましい一実施形態において、オブジェクトレンダラーは、所与のオブジェクト位置(例えば、方位角値aziおよび仰角値eleによって定義される)および所与のスプレッド(例えば、spreadAngleAziまたはspreadAngleEleによって定義される)について、
‐ (例えば、幅が方位角方向のオブジェクトスプレッド幅に適合されている、3以下の次数を有する多項式関数、または放物線関数を使用する)支持点位置もしくはスピーカー方位角指標もしくは支持点方位角指標(例えば、naz)に関連付けられている複数の方位角値に対するスプレッドゲインへの寄与を記述する方位角ゲイン値(例えばaziGain)のセット、および/または
‐ (例えば、幅が仰角方向のオブジェクトスプレッド幅に適合されている、3以下の次数を有する多項式関数、または放物線関数を使用する)支持点位置もしくはスピーカー仰角指標もしくは支持点仰角指標(例えば、nelまたはnaz)に関連付けられている複数の仰角値に対するスプレッドゲインへの寄与を記述する仰角ゲイン値(例えばeleGain)のセット、
を計算し、方位角ゲイン値(aziGain(naz))のセットを使用して、および/または仰角ゲイン値(eleGain(nel))を使用してスプレッドゲインを導出するように構成される。
【0124】
複数の支持点位置に関連付けられている方位角ゲイン値のセットおよび/または支持点位置に関連付けられている複数の仰角ゲイン値を決定することによって、1つまたは2つの平面内の広がり特性が決定され、スプレッドゲインは、1つまたは2つの平面内のこの広がり特性から導出され得る。支持点位置に関連付けられている方位角ゲイン値のセットと支持点位置に関連付けられている仰角ゲイン値のセットの両方が決定される好ましい場合において、スプレッドゲインは、例えば、考慮対象の支持点のそれぞれの方位角およびそれぞれの仰角に関連付けられている(これらのセットの)要素の対の乗算を使用して容易に得ることができる。従って、多項式関数は、同じ方位角と異なる仰角とを有する支持点位置の1つのセット、および同じ仰角と異なる方位角とを有する支持点位置の1つのセットについて評価するだけでよく、次いで、スプレッドゲインは、(例えば、すべての支持点に対して)方位角ゲイン値のセットおよび仰角ゲイン値のセットの適切な要素の計算上簡単な乗算を使用して導出され得る。従って、高い計算効率に到達することができる。
【0125】
前述のオーディオオブジェクトレンダラーの好ましい一実施形態において、オーディオオブジェクトレンダラーは、現在考慮されているスピーカーまたは現在考慮されている支持点(例えば、objNoで指定され、関連付けられている値nazおよびnelを有する)に関連付けられている方位角ゲイン値(例えば、aziGain)のセットの要素(例えば、aziGain(naz))を、現在考慮されているスピーカーまたは現在考慮されている支持点に関連付けられている仰角ゲイン値(例えば、eleGain)のセットの要素(例えば、eleGain(nel))と組み合わせて、複数の異なるスピーカーまたは複数の異なる支持点(例えばobjNoの異なる値によって指定される)に関連付けられているスプレッドゲイン値(例えば、ベクトルg_spdによって表される、g_spd(objNo))を得るように構成される。
【0126】
従って、方位角ゲイン値のセットのそれぞれの要素および仰角ゲイン値のセットのそれぞれの要素(例えば、それぞれの支持点の方位角および仰角に関連付けられている要素)の乗算を使用して異なる支持点に関連付けられているスプレッドゲイン値を決定することによって、異なる支持点に関連付けられているスプレッド値は、計算効率の良い方式で得ることができる。特に高い効率は、複数の支持点が同じ方位角の値を含む場合、および複数の支持点が同じ仰角の値を含む場合に、達成され得る。この場合、方位角ゲイン値のセットの要素の数および仰角ゲイン値のセットの要素の数は、適度に小さく抑えることができ、方位角ゲイン値のセットの要素および仰角ゲイン値のセットの要素は、複数の支持点に関連付けられているスプレッド値の決定に再利用され得る。言い換えると、そのような概念は、支持点の(方位角および仰角に関して)一様な間隔と組み合わせて特に効率的である。
【0127】
前述のオーディオオブジェクトレンダラーの好ましい一実施形態において、オーディオオブジェクトレンダラーは、所与のオブジェクト位置(例えば、方位角値aziおよび仰角値eleによって定義される)および所与のスプレッド(例えば、spreadAngleAziまたはspreadAngleEleによって定義される)について、
‐ 球面座標系の極の交差を示さない(例えば、-90度から+90度までの)元の仰角値範囲内の仰角値に関連付けられている、(例えば、3以下の次数を有する多項式関数を使用する、または幅が方位角方向のオブジェクトスプレッド幅に適合されている放物線関数を使用する)支持点位置もしくはスピーカー方位角指標もしくは支持点方位角指標(例えば、naz)に関連付けられている複数の方位角値に対するスプレッドゲインへの寄与を記述する第1のセットの方位角ゲイン値(例えばaziGain)、および
‐ 球面座標系の極の交差を示す(例えば、-180度から-90度までおよび+90度から+180度までの)拡張仰角値範囲内の仰角値に関連付けられている、(例えば、3以下の次数を有する多項式関数を使用する、または幅が方位角方向のオブジェクトスプレッド幅に適合されている放物線関数を使用する)支持点位置もしくはスピーカー方位角指標もしくは支持点方位角指標(例えば、naz)に関連付けられている複数の方位角値に対するスプレッドゲインへの寄与を記述する第2のセットの方位角ゲイン値(例えばaziGainExtd)、
を計算し、方位角ゲイン値(aziGain(naz))のセットを使用して、および/または仰角ゲイン値(eleGain(nel))を使用して(または、第2のセットの方位角ゲイン値を使用して)スプレッドゲインを導出するように構成される。
【0128】
方位角ゲイン値の2つのセット、すなわち、元の(または基本)仰角値範囲に対する方位角ゲイン値と拡張仰角値範囲に対する方位角ゲイン値とを計算することによって、リスナーの頭上の(またはリスナーより下にある)オーディオオブジェクトの広がりに対するスプレッドゲインが、特に効率的に計算され得る。特に、方位角ゲイン値のセットは、例えば、事前定義された組合せマッピングを使用して効率的な方式でスプレッドゲインの導出に使用できることがわかっている。その一方で、拡張仰角値範囲内の仰角値は、元の仰角値範囲内の仰角値から、複数の場合分けをすることなく、また方位角値を変更することなく、加算または減算(例えば)を使用して容易に導出できるので、仰角ゲイン値の別々のセットも効率的に計算され得る。例えば、オーディオオブジェクトをユーザの頭上に広げるときに、90度より大きい仰角値を使用することによってユーザの頭上への広がりが簡単に計算され得る。従って、所与の方位角(例えば、-90度から+90度までの範囲内にある方位角)および0度から90度までの間の正の仰角を有するオブジェクトは、90度より大きい仰角を使用して方位角を(-90度から+90度までの範囲内に)維持しながらユーザの頭部の上に容易に拡張され得る。従って、拡張仰角値範囲(この例では、+90度から+180度の間)の仰角値に関連付けられている方位角ゲイン値は、中間量として得られ、その後、例えば、元の仰角値範囲内の仰角のみを使用して支持点に向けて、または座標系に向けて逆マッピングされ得る。第1のセットの方位角ゲイン値および第2の方位角ゲイン値が存在することで、の第2のセットの方位角ゲイン値が拡張仰角値範囲内の仰角ゲイン値と組み合わせるように適合されるので、スプレッド値を効率よく導出することが可能である。
【0129】
前述のオーディオオブジェクトレンダラーの好ましい一実施形態において、オーディオオブジェクトレンダラーは、所与のオブジェクト位置(例えば、方位角値aziおよび仰角値eleによって定義される)および所与のスプレッド(例えば、spreadAngleAziまたはspreadAngleEleによって定義される)について、
‐ 球面座標系の極の交差を示さない元の仰角値範囲(例えば、-90度から+90度)内の仰角値に関連付けられている、(例えば、3以下の次数を有する多項式関数使用する、または幅が方位角方向のオブジェクトスプレッド幅に適合されている、放物線関数を使用する)支持点位置またはスピーカー方位角指標または支持点仰角指標(例えば、nel)に関連付けられている複数の仰角値に対するスプレッドゲインへの寄与を記述する第1のセットの仰角ゲイン値(例えばeleGain)、および
‐ 球面座標系の極の交差を示す拡張仰角値範囲(例えば、-180度から-90度までおよび+90度から+180度まで)内の仰角値に関連付けられている、(例えば、3以下の次数を有する多項式関数を使用する、または幅が方位角方向のオブジェクトスプレッド幅に適合されている放物線関数を使用する)支持点位置またはスピーカー仰角指標または支持点仰角指標(例えば、nel)に関連付けられている複数の仰角値に対するスプレッドゲインへの寄与を記述する第2のセットの仰角ゲイン値(例えばeleGainExtd)、
を計算し、方位角ゲイン値(aziGain(naz))のセットを使用し、仰角ゲイン値(eleGain(nel))を使用して(または、第1のセットの方位角ゲイン値、第2のセットの方位角ゲイン値、第1のセットの仰角ゲイン値、および第2のセットの仰角ゲイン値のを使用して)スプレッドゲインを導出するように構成される。
【0130】
この実施形態は、方位角ゲイン値を計算する実施形態と同様の考慮事項に基づく。特に、第1のセットの仰角ゲイン値および第2のセットの仰角ゲイン値が存在することで、オブジェクトがリスナーの頭上に広がっている場合の取り扱いが単純で計算効率の高いものとなり得る。特に、方位角値の即時修正および仰角値の「変換」に比較されたときにそのような場合に拡張仰角値(例えば、+90度より大きい)を使用することはかなり容易になることがわかっている。
【0131】
一例にすぎないが、オブジェクト位置が+80度の仰角を含む場合、さらなる計算を目的として、また放物線関数の評価を目的として、支持点が例えば135度の仰角にあると仮定するのがかなり容易であるが、それはオーディオオブジェクトと支持点との間の仰角差が55度であると言えるからである。対照的に、135度の支持点が45度の仰角における支持点として参照される場合、オーディオオブジェクトの位置と支持点位置との間の正しい仰角差を計算することは容易に可能にならない。
【0132】
要約すると、そのような拡張仰角範囲の使用は、計算における多くの場合分けを回避し、多項式関数の評価を円滑にするので非常に効率的であることがわかっている。さらに、スプレッドゲインの導出は、例えば、第1のセットの方位角ゲイン値、第2のセットの方位角ゲイン値、第1のセットの仰角ゲイン値、および第2のセットの仰角ゲイン値を使用して可能であることがわかっている。この場合、例えば、第1のセットの方位角ゲイン値のエントリおよび第1のセットの仰角ゲイン値のエントリが組み合わされ、第2のセットの方位角ゲイン値のエントリおよび第2のセットの仰角ゲイン値のエントリが効率的に組み合わされ、それによってスプレッド値を導出することができる。
【0133】
前述のオーディオオブジェクトレンダラーの好ましい一実施形態において、オーディオオブジェクトレンダラーは、パンニング(例えばベクトルベース振幅パンニング)を使用して、初期化中に(支持点の位置およびスピーカーの位置について知っていることに基づき)複数の支持点に関連付けられているオーディオ信号を複数のスピーカーにパンニングするための支持点パンニングゲイン(例えば、Spread.gainsSSP)を事前計算するように構成される。
【0134】
オーディオオブジェクトレンダラーは、3以下の次数を有する多項式関数を使用して(例えば、放物線関数を使用して)複数の支持点信号に対するオーディオオブジェクト信号の寄与を記述するオブジェクト対支持点スプレッドゲイン(例えば、g_spdまたはスプレッドゲイン値、例えばベクトルg_spdの要素)を得るように構成される。
【0135】
オーディオオブジェクトレンダラーは、オブジェクト対支持点スプレッドゲインおよび支持点パンニングゲインを組み合わせて(例えば、乗算して)、スプレッドオブジェクトスピーカーゲインを得るように構成される。
【0136】
支持点パンニングゲインおよびオブジェクト対支持点スプレッドゲインを別々に計算し、次いでオブジェクト対支持点スプレッドゲインおよび支持点パンニングゲインを組み合わせることで、特に、複数のオーディオオブジェクトがある場合に、特に高い計算効率をもたらされることがわかっている。複数のオーディオオブジェクトの取り扱いに対して支持点は典型的には変更されないので、支持点パンニングゲインは一度計算されるだけでよく、これは準備段階で行うことができる。対照的に、オブジェクト対支持点スプレッドゲインは、典型的には、オブジェクト位置に依存し、従って各オーディオオブジェクトについて個別に計算される必要がある。
【0137】
従って、複数のオブジェクトに対して支持点パンニングゲインを再利用することによって、達成可能なオーディオ品質を低下させることなく、計算効率が改善され得る。さらに、支持点の利用は、実際のスピーカー位置または実際のスピーカーセットアップによって制約されることなく、計算効率を重視して、支持点の空間的配置が自由に調整され得るので、特に効率的でもある。従って、例えば、支持点は、一様に分布するように(例えば、一様な方位角間隔および一様な仰角間隔を有する)選択され得、これは、オブジェクト対支持点スプレッドゲインの決定を著しく円滑にする。従って、第1の広げステップは実際のスピーカー配置構成から独立させることができ、第2の広げステップ(スプレッド支持点からスピーカー信号へ)は複数のオーディオオブジェクトが存在する場合であっても1回計算されるだけでよいので、中間広げターゲットとしてのスプレッド支持点の使用は効率を改善するのに実際に役立つと言うことができる。従って、このプロセスは効率が良い。
【0138】
前述のオーディオオブジェクトレンダラーの好ましい一実施形態において、3以下の次数を有する1つまたは複数の多項式関数は、式
p=max(0,c1*anglediff+c2)
に従って戻り値pを提供する放物線関数であり、c1は放物線関数の幅を決定するパラメータであり、c2は所定の値であり、angeldiffは放物線関数が評価される角度差であり、max(.,.)はそのオペランドの最大値を返す最大値演算子である。
【0139】
非負値に制限される、このような多項式関数(例えば、max-operationを使用する)は、所望のスプレッド特性をよく近似し、少ない計算量で評価され得ることがわかっている。従って、そのような多項式関数は、スプレッド値を決定するのに優れていることがわかっている。
【0140】
本発明による一実施形態は、(例えば、方位角値aziおよび仰角値eleを使用して、例えば、球面座標で与えられ得る)オブジェクト位置情報(例えば、方位角(azi)、仰角(ele))と、オブジェクト特徴情報(例えば、方位角方向におけるスプレッドを記述するスプレッド角度情報、例えばspreadAngleAzi、および/または仰角方向のスプレッドを記述するスプレッド角度情報、例えばspreadAngleEle)とに基づき、1つまたは複数のオーディオオブジェクト信号を複数のスピーカー信号に含めることに対するゲインを記述するスピーカーゲイン(例えば、組み合わされたスピーカーゲイン)を決定するための方法を作成する。
【0141】
この方法は、オブジェクト位置情報およびオブジェクト特徴情報を考慮して、スプレッドオブジェクトスピーカーゲイン(また、スプレッドスピーカーゲインと指定されるか、またはベクトルgOSとして表される)を得ることを含む。
【0142】
この方法は、オブジェクト位置と支持点位置との間の角度差(例えば、diffCLKDir+(n-1)*Spread.openAngleまたはdiffAntiCLKDir+(n-1)*Spread.openAngle)をスプレッドゲイン値寄与(例えば、aziGain(naz)またはeleGain(nel))にマッピングする、3以下の次数を有する1つまたは複数の多項式関数、例えば、次数3の放物線関数または多項式関数(例えば、parable*((diffCLKDir+(n-1)*Spread.openAngle).^2)+1またはparable*((diffAntiCLKDir+(n-1)*Spread.openAngle).^2)+1)を使用して、複数のスピーカー信号または複数の支持点信号へのオーディオオブジェクト信号の寄与を記述する、スプレッドゲイン(例えば、オブジェクト対支持点スプレッドゲイン、例えば、g_spd)、例えば、スプレッドゲイン値、例えば、ベクトルg_spdの要素、を得ることを含む。
【0143】
この方法は、スプレッドゲイン寄与に基づく、スプレッドゲイン(例えば、g_spd)を使用して、またはスプレッドゲイン(例えば、g_spd)をスプレッドオブジェクトスピーカーゲインとして使用してスプレッドオブジェクトスピーカーゲインを得ることを含む。
【0144】
この方法は、上述の対応する装置と同じ考察に基づく。さらに、この方法は、任意選択で、上述の対応する装置に関して、個別にも、組み合わせても、説明されている特徴、機能、および詳細のどれかによって補完され得る。
【0145】
一実施形態は、(例えば、方位角値aziおよび仰角値eleを使用して、例えば球面座標で与えられ得る)オブジェクト位置情報(例えば、方位角(azi)、仰角(ele))と、スプレッド情報(例えば、方位角方向におけるスプレッドを記述するスプレッド角度情報、例えばspreadAngleAzi、および/または仰角方向のスプレッドを記述するスプレッド角度情報、例えばspreadAngleEle)とに基づき、1つまたは複数のオーディオオブジェクト信号を複数のスピーカー信号に含めることに対するゲインを記述するスピーカーゲイン(例えば、組み合わされたスピーカーゲイン)を決定するための方法を作成する。
【0146】
この方法は、オブジェクト位置情報およびスプレッド情報を考慮して、スプレッドオブジェクトスピーカーゲイン(また、スプレッドスピーカーゲインと指定されるか、またはベクトルgOSとして表される)を得ることを含む。
【0147】
この方法は、オブジェクト位置と支持点位置との間の角度差(例えば、diffCLKDir+(n-1)*Spread.openAngleまたはdiffAntiCLKDir+(n-1)*Spread.openAngle)をスプレッドゲイン値寄与(例えば、aziGain(naz)またはeleGain(nel))にマッピングする、3以下の次数を有する1つまたは複数の多項式関数、例えば、次数3の放物線関数または多項式関数(例えば、parable*((diffCLKDir+(n-1)*Spread.openAngle).^2)+1またはparable*((diffAntiCLKDir+(n-1)*Spread.openAngle).^2)+1)を使用して、複数のスピーカー信号または複数の支持点信号へのオーディオオブジェクト信号の寄与を記述する、スプレッドゲイン(例えば、オブジェクト対支持点スプレッドゲイン、例えば、g_spd)、例えば、スプレッドゲイン値、例えば、ベクトルg_spdの要素、を得ることを含む。
【0148】
この方法は、スプレッドゲイン寄与に基づく、スプレッドゲイン(例えば、g_spd)を使用して、またはスプレッドゲイン(例えば、g_spd)をスプレッドオブジェクトスピーカーゲインとして使用してスプレッドオブジェクトスピーカーゲインを得ることを含む。
【0149】
この方法は、上述の対応する装置と同じ考察に基づく。さらに、この方法は、任意選択で、上述の対応する装置に関して、個別にも、組み合わせても、説明されている特徴、機能、および詳細のどれかによって補完され得る。
【0150】
本発明による一実施形態は、コンピュータプログラムがコンピュータ上で実行されたときに前述の方法のうちの1つを実行するためのコンピュータプログラムを作成する。
【0151】
コンピュータプログラムは、個別にも、組み合わせても、本明細書において説明されている特徴、機能、および詳細のいずれかによって補完され得る。
【0152】
続いて、本発明による実施形態が、添付図を参照しつつ説明される。
【図面の簡単な説明】
【0153】
図1】種々のオブジェクトスプレッド構成の表現を示す図である。
図2】非対称および/または2Dスピーカーセットアップのためのオブジェクトスプレッド実現に対する信号フローチャートである。
図3-1】種々のスプレッドゲイン関数のグラフィック表現を示す図である。
図3-2】種々のスプレッドゲイン関数のグラフィック表現を示す図である。
図4】種々のスプレッド角度に対する1次元ゲイン曲線のグラフィック表現を示す図である。
図5】スプレッドゲインをレンダリングするための信号フローチャートである。
図6】45度の分解能を有するSSP格子のグラフィック表現を示す図である。
図7】VBAPパンニングコアおよび伸長され、フリップされた放物線の形状の比較を示す図である。
図8】関数spread_pannSSPのMATLAB(登録商標)コード例を示す図である。
図9-1】関数spread_calculateGainsのMATLAB(登録商標)コード例を示す図である。
図9-2】関数spread_calculateGainsのMATLAB(登録商標)コード例を示す図である。
図10】関数calculateLayerGainsのMATLAB(登録商標)コード例を示す図である。
図11】関数calculateSSPGainsのmatlab(登録商標)コード例を示す図である。
図12】本発明の一実施形態に係るオーディオオブジェクトレンダラーの概略ブロック図である。
図13】本発明の一実施形態に係るオーディオオブジェクトレンダラーの概略ブロック図である。
図14】本発明の一実施形態に係るスピーカーゲインを決定するための方法のフローチャートである。
図15】本発明の一実施形態に係るスピーカーゲインを決定するための方法のフローチャートである。
【発明を実施するための形態】
【0154】
1.一部実施形態の説明
1.A.図12に係るオーディオオブジェクトレンダラー
図12は、本発明の一実施形態による、オーディオオブジェクトレンダラー1200の概略ブロック図を示している。
【0155】
オーディオオブジェクトレンダラー1200は、オブジェクト位置情報1210およびオブジェクト特徴情報1212を受け取るように構成される。さらに、オーディオオブジェクトレンダラー1200は、1つまたは複数のオーディオオブジェクト信号を複数のスピーカー信号に含めることに対するゲインを記述するスピーカーゲイン1214(例えば、組み合わされたスピーカーゲインまたはその結果得られるスピーカーゲイン)を提供するよう構成される。
【0156】
オブジェクト位置情報1210は、例えば、オブジェクト方位角情報(例えば、azi)およびオブジェクト仰角情報(例えば、ele)を含み得る。例えば、オブジェクト位置情報は、例えば方位角値aziおよび仰角値eleを使用して、球面座標で提供され得る。さらに、オブジェクト特徴情報またはスプレッド情報1212は、例えば、オーディオオブジェクトの特性を記述し、オブジェクトがどのように広げられるべきかの指示を行うものとしてよい。オブジェクト特徴情報は、例えば、オブジェクトが小さいか、または拡張されているかを示す情報、例えば、オブジェクトサイズ値であってもよい。オブジェクト特徴情報は、例えば、オブジェクト距離情報を含むものとしてよく、これは、スプレッド値に、例えば、方位角方向のスプレッドを記述するスプレッド角度情報、例えばspreadAngleAziに、および/または、仰角方向のスプレッドを記述するスプレッド角度情報、例えばspreadAngleEleにマッピングすることができる。しかしながら、異なるタイプのオブジェクト特徴情報も可能である。代替的に、オーディオオブジェクトレンダラーは、例えば、方位角方向および/または仰角方向におけるオーディオオブジェクトのスプレッドを記述するスプレッド情報を直接受け取ってもよい。
【0157】
オーディオオブジェクトレンダラー1200は、パンニング済みオブジェクトスピーカーゲイン決定1230を含み、これはオーディオオブジェクトの点音源パンニングを使用して、パンニング済みオブジェクトスピーカーゲイン1232(例えば、「オブジェクトスピーカーゲイン」とも指定されるか、またはベクトルgによって表される)を得るように構成され得る。点音源パンニングにおいて、オーディオオブジェクトは、例えば、点音源とみなされてよく、スプレッド情報またはオブジェクト特徴情報1212は、例えば、無視され、オーディオオブジェクトの信号は、パンニング済みオブジェクトスピーカーゲイン1232の適切な選択によってオーディオオブジェクトのオブジェクト位置の環境内の2つ以上のスピーカーに関連付けられる。言い換えると、パンニング済みオブジェクトスピーカーゲイン決定1230は、例えば、オーディオオブジェクトを点音源とみなすオーディオオブジェクトの点音源パンニングを実行し、オーディオオブジェクトに最も近いスピーカー(のみ)にオーディオオブジェクト信号を分配し得る。しかしながら、点音源パンニングによって、オーディオオブジェクトからさらに遠く離れているスピーカーには、オーディオオブジェクト信号の寄与は割り当てられ得ない。しかしながら、パンニング済みオブジェクトスピーカーゲイン決定1230は、任意の点源パンニング概念を使用し得る。
【0158】
さらに、オーディオオブジェクトレンダラー1200は、オブジェクト位置情報1210およびオブジェクト特徴情報またはスプレッド情報1212を考慮してスプレッドオブジェクトスピーカーゲイン1242(例えば、スプレッドスピーカーゲインとも指定され、例えば、ベクトルgOSとして表現される)を提供するスプレッドオブジェクトスピーカーゲイン決定1240を含み得る。例えば、スプレッドオブジェクトスピーカーゲイン決定1240は、例えば、方位角方向および仰角方向へのオーディオオブジェクトの広がりを考慮しているスピーカーゲインを決定し得る。従って、考慮中のオーディオオブジェクトは、著しい拡張を有すると仮定され、また典型的には、広がりにおいて、オブジェクトの中心位置からの距離の増大に伴って生じるスプレッドオブジェクトスピーカーゲインの滑らかな定常的減衰が仮定される(および実装される)ので、スプレッドオブジェクトスピーカーゲインは広い範囲にわたって非ゼロになり得る。
【0159】
さらに、オーディオオブジェクトレンダラー1200は、組み合わされたスピーカーゲインを得るためにパンニング済みオブジェクトスピーカーゲインの寄与が常にあるように(例えば、オブジェクト特徴情報もしくはスプレッド情報1212から独立して)、パンニング済みオブジェクトスピーカーゲイン1232(例えば、g)およびスプレッドオブジェクトスピーカーゲイン(例えば、gOS)を組み合わせる組合せまたはコンバイナー1250を備える。
【0160】
従って、オーディオオブジェクトレンダラー1200は、オーディオオブジェクト信号の点音源パンニングとオーディオオブジェクト信号の広がりの両方に基づき組み合わされたスピーカーゲイン1214を提供すると言える。例えば、組み合わされたスピーカーゲイン1214には、パンニング済みオブジェクトスピーカーゲインの寄与が常にあり、これは、オーディオオブジェクトが比較的広い範囲に広がっている場合でも、オブジェクトが適度に定位され得ることを確実にする。
【0161】
さらに、ここで説明されている概念は、以下で説明されるように、特に高い計算効率で実装され得ることに留意されたい。
【0162】
さらに、図12は、組み合わされたスピーカーゲイン1214がさらなる処理においてどのように使用され得るかも示していることに留意されたい。例えば、スピーカーセットアップにおいて異なるスピーカーに関連付けられているスピーカーゲイン1214a、1214b、1214cが提供され得る。考慮中のオーディオオブジェクトに関連付けられているオーディオ信号である、オーディオオブジェクト信号1260は、第1のスピーカー信号1262aを得るように、第1のスピーカーに関連付けられているスピーカーゲイン1214aでスケーリングされてよく、オーディオオブジェクト信号1260は、第2のスピーカー信号1262bを得るように、第2のスピーカーに関連付けられているスピーカーゲイン1214bでスケーリングされてよく、オーディオオブジェクト信号1260は、第3のスピーカー信号1262cを得るように、第3のスピーカーゲイン1214cでスケーリングされてよく、というように続く。スピーカー信号1262a、1262b、1262cは、当然ながら、実際のスピーカー信号を得るように、他のオーディオオブジェクトに関連付けられているスピーカー信号と組み合わされ得る。
【0163】
従って、スピーカー信号は、組み合わされたスピーカーゲイン1214に基づき得られ得て、それによって、考慮中のオーディオオブジェクトは、点音源パンニング済み形態と、特に良好な聴覚印象を与えることがわかっているスプレッド形態との両方で表現される。
【0164】
さらに、オーディオオブジェクトレンダラー1200は、個別にも、組み合わせても、本明細書において説明されている特徴、機能、および詳細のうちのどれかによって任意選択で補完され得ることに留意されたい。
【0165】
1.B.図13に係るオーディオオブジェクトレンダラー
図13は、本発明の一実施形態による、オーディオオブジェクトレンダラー1300の概略ブロック図を示している。オーディオオブジェクトレンダラー1300は、例えば、オブジェクト位置情報1210に対応し得る、オブジェクト位置情報1310を受け取るように構成される。さらに、オーディオオブジェクトレンダラー1300は、オブジェクト特徴情報またはスプレッド情報1212に対応し得る、オブジェクト特徴情報またはスプレッド情報1312を受け取るように構成される。さらに、オーディオオブジェクトレンダラー1300は、スピーカーゲイン1214に対応し得、スピーカーゲイン1214aから1214cと同じ方式でオーディオオブジェクト信号に適用され得る、(組み合わされた)スピーカーゲイン1314を提供する。オーディオオブジェクトレンダラーは、オブジェクト位置情報1310およびオブジェクト特徴情報またはスプレッド情報1312を考慮して、スプレッドオブジェクトスピーカーゲイン(また、スプレッドスピーカーゲインと指定されるか、またはベクトルgOSとして表される)を得るように構成される。
【0166】
オーディオオブジェクトレンダラーは、例えば、オブジェクト対支持点スプレッドゲイン(例えば、g_spd)であってよい、スプレッドゲイン1332を得るように構成されている、スプレッドゲイン決定1330を含む。例えば、スプレッドゲイン決定は、複数のスピーカー信号への、または複数の支持点信号へのオーディオオブジェクト信号の寄与を記述する、ベクトルg_spdの要素を決定するように構成され得る。特に、スプレッドゲイン決定1330は、オブジェクト位置と1つまたは複数の支持点位置との間の1つまたは複数の角度差を、例えばaziGain、aziGainExtd、eleGainおよびeleGainExtdによって表され得る、1つまたは複数のスプレッドゲイン値寄与に(例えば、「レイヤゲイン」に)マッピングするために3以下の次数を有する1つまたは複数の多項式関数(例えば、1つまたは複数の放物線関数または次数3の多項式関数)を使用し得る。
【0167】
言い換えると、スプレッドゲイン値寄与1336は、3以下の次数を有する多項式関数を使用する、マッピング1334を使用して得られ、前記マッピング1334は、オブジェクト位置と1つまたは複数の支持点位置との間の1つまたは複数の角度差をスプレッドゲイン値寄与1336にマッピングする。さらに、スプレッドゲイン決定1330は、スプレッドゲイン値寄与1336に基づき、スプレッドゲイン1332(例えば、spd)を提供する、スプレッドゲイン寄与処理1338も含む。さらに、オーディオオブジェクトレンダラー1300は、スプレッドゲイン1332に基づきスプレッドオブジェクトスピーカーゲイン1340を得るスプレッドオブジェクトスピーカーゲイン決定1340を含み、後者は、スプレッドゲイン寄与1336に基づく。
【0168】
言葉を変えて言えば、スプレッドゲイン値寄与は、3以下の次数を有する多項式関数を使用して導出され、スプレッドゲイン値寄与1336は、次いで、スプレッドゲイン1332上にマッピングされ、前記スプレッドゲイン1332は、例えば、オーディオオブジェクト信号が複数の支持点にどのように分配されるべきかを記述し得る。スプレッドオブジェクトスピーカーゲイン決定1340は、スプレッドゲイン(スプレッド支持点に関係する)をスプレッドオブジェクトスピーカーゲインにマッピングするものとしてよく、これは支持点位置から実際のスピーカー(および実際のスピーカー位置)へのマッピングに対応する。
【0169】
さらに結論として、スプレッドオブジェクトスピーカーゲインの導出は、比較的高い計算量を必要とする指数関数または三角関数ではなく、むしろ中程度の計算量を使用して評価され得る、多項式関数を使用することに留意されたい。
【0170】
従って、スプレッドゲイン値寄与1336は、スプレッドゲイン1332が非常に効率的に得られることを可能にする。また、3以下の次数を有する多項式関数を使用することによって、聴覚表現に著しい損失がないことがわかっている。
【0171】
しかしながら、オーディオオブジェクトレンダラー1300は、個別にも、組み合わせても、本明細書において開示されている特徴、機能、および詳細のうちのどれかによって任意選択で補完され得ることに留意されたい。
【0172】
1.C.図2に係るスピーカーゲイン計算
図2は、非対称および/または2Dスピーカーセットアップのためのオブジェクトスプレッド実現に対する信号フローチャートである。
【0173】
図2に示されている信号フローは、例えば、図12および図13による、オーディオオブジェクトレンダラー1200、1300において実装され得る。
【0174】
さらに、図2を参照して説明されている概念は、任意選択で、個別にも、組み合わせても、図5の概念にも含まれ得る。
【0175】
図2に係るスピーカーゲイン決定200は、例えば、オブジェクト位置情報1210、1310に対応し得る、オブジェクト位置情報210を受け取る。オブジェクト位置情報は、例えば、方位角情報(例えば、azi)および仰角情報(例えば、ele)に関してオブジェクト位置を記述し得る。スピーカーゲイン決定200は、また、例えばオブジェクト特徴情報またはスプレッド情報1212、1312に対応し得る、スプレッド角度情報212も受け取る。スプレッド角度情報212は、例えば、スプレッド角度を方位角情報および/もしくは仰角情報に関して、または幅情報および/もしくは高さ情報に関して記述し得る。さらに、スピーカーゲイン決定200は、例えば、スピーカーゲイン1214、1314に対応し得る結果として得られるスピーカーゲイン214を提供するものとしてよい。
【0176】
スピーカーゲイン決定200は、スプレッド支持位置に対する格子作成204を含み、これはスプレッド支持点位置を記述する情報204aを提供する。さらに、スピーカーゲイン決定200は、スプレッド支持点のパンニング205を含み、これは、例えば、スプレッド支持点パンニングゲイン205aを提供し得る。
【0177】
支持点位置情報204aは、例えば、スフィア(球面)上に一様に分配され得る、スプレッド支持点の位置を記述し得る。例えば、情報204aによって記述されるスプレッド支持点位置は、実際のスピーカー位置から独立して選択されてもよく、例えば、一様な方位角間隔および仰角間隔によって定義される格子を形成し得る。
【0178】
情報205aによって記述されるスプレッド支持点パンニングゲインは、例えば、スプレッド支持点位置に関連付けられているオーディオオブジェクト信号が実際のスピーカーまたはスピーカー信号にどのように分配されるかを定義し得る。従って、情報205aによって記述されるスプレッド支持点パンニングゲインは、例えば、すべてのスプレッド支持点について、実際のスピーカーまたはスピーカー信号へのスプレッド支持点に関連付けられているオーディオオブジェクト信号の分配を記述し得る。
【0179】
格子作成204およびパンニング205は、例えば、1回だけ計算されてもよく、複数のオーディオオブジェクトの広がりに対してスプレッド支持点は典型的には変化しないので、複数のオーディオオブジェクトの広がりに再使用され得ることに留意されたい。
【0180】
スピーカーゲイン決定200は、スプレッド支持点位置204a、オブジェクト位置情報210、およびスプレッド角度情報212を考慮する、スプレッドゲイン計算201も含む。スプレッドゲイン計算201は、それに基づき、例えば、複数のスプレッド支援点へのオーディオオブジェクト信号の広がりを記述し得るスプレッドゲイン201aを提供する。
【0181】
スピーカーゲイン決定200は、スプレッドゲイン201aとスプレッド支持位置パンニングゲイン205aとを組み合わせ、それによりスプレッドスピーカーゲイン206a(例えば、gOS)を得る組合せ206も含む。例えば、組合せ206は、スプレッドゲイン201aとスプレッド支持点パンニングゲイン205aの乗算を使用し得る。例えば、組合せ206は、スプレッドゲイン201aによって記述される、スプレッド支持点へのオーディオオブジェクト信号のマッピングと、スプレッド支持点パンニングゲイン205aによって記述される、実際のスピーカー信号へのスプレッド支持点における(または関連付けられている)信号のマッピングとを組み合わせ、その結果、スプレッドスピーカーゲイン206aが、実際のスピーカー信号における現在考慮されているオーディオオブジェクトのオーディオオブジェクト信号の寄与を(オーディオオブジェクト信号に適用されるべき重み付け値の形で。それによって実際のスピーカー信号を導出するために)記述するように、スプレッドスピーカーゲイン206aを提供し得る。しかしながら、スプレッドゲイン計算201および組合せ206は、典型的には、広げられるべき各オーディオオブジェクトについて別々に実行されることに留意されたい(その一方で、スプレッド支持点位置204aおよびスプレッド支持点パンニングゲイン205aは、変更なく再利用され得る)。
【0182】
スピーカーゲイン決定200は、オブジェクトパンニング202も含み、これはオブジェクト位置情報210を使用してオブジェクトスピーカーゲインまたはパンニング済みオブジェクトスピーカーゲイン202aを導出する。オブジェクトパンニング202は、例えば、オーディオオブジェクトの点音源パンニングを実行し、考慮中のオーディオオブジェクトのオーディオオブジェクト信号の実際のスピーカー信号寄与がどれに引き継がれるかが決定され得る。典型的には、点音源パンニングを使用するときに、オブジェクト位置に直接隣接するスピーカーに対するオブジェクトスピーカーゲイン(またはパンニング済みオブジェクトスピーカーゲイン)のみが非ゼロとなる。
【0183】
スピーカーゲイン決定200は、スプレッドスピーカーゲイン206aおよびパンニング済みオブジェクトスピーカーゲイン202aが組み合わせされ、その結果得られるスピーカーゲイン214(例えば、gで指定され得る)を得る組合せ203も含む。この組合せは、例えば、スプレッドスピーカーゲイン206aとパンニング済みオブジェクトスピーカーゲイン202aの総和または加重組合せを含み得る。
【0184】
この概念は、パンニング済みオブジェクトスピーカーゲインおよびスプレッドスピーカーゲイン206aが両方とも含まれる、その結果得られるスピーカーゲイン214を提供することを可能にする。そのような概念は、高い計算効率で計算することができ、良好な品質のオーディオ知覚を提供することがわかっている。
【0185】
図2に関して説明されているスピーカーゲイン決定に対する概念は、任意選択で、個別にも、組み合わせても、本明細書において説明されている特徴、機能、および詳細のうちのどれかによって補完され得ることに留意されたい。
【0186】
1.D.スプレッド関数
以下では、本明細書において説明されているオーディオオブジェクトレンダラーのいずれかにおいて、および本明細書において説明されているオーディオオブジェクトレンダリング概念のいずれかにおいて使用され得る、可能なスプレッド関数に関するいくつかの詳細が提供される。
【0187】
例えば、図3は、異なるスプレッド関数のグラフィック表現を示している。スプレッド関数は、典型的には、オブジェクト位置に関して定義されることに留意されたい。従って、グラフィック表現310、320、330において、第1の軸312a、322a、332aは、現在考慮されているスプレッド支持位置とオブジェクト方位角位置との間の方位角差を記述する。第2の軸312b、322b、332bは、現在考慮されているスプレッド支持点位置とオブジェクト仰角位置との間の仰角差を記述する。
【0188】
グラフィック表現310は、水平方向スプレッド(方位角方向のスプレッドは、仰角方向のスプレッドよりも大きい)を例示している。グラフィック表現320は、方位角方向のスプレッドが仰角方向のスプレッドに等しい一様なスプレッドを例示し、グラフィック表現330は、方位角方向のスプレッドが仰角方向のスプレッドより小さい垂直方向のスプレッドを例示している。
【0189】
グラフィック表現は、スプレッド支持点位置と方位角オブジェクト位置との間の方位角差に依存し、スプレッド支持点位置とオブジェクト仰角位置との間の仰角差に応じて、オーディオオブジェクト信号がスケーリングされるべき(例えば、スプレッド支持点での信号を得るために)(相対的)ゲインを例示している。例えば、ゲインは、それぞれの方位角スプレッド関数314a、324a、334aとそれぞれの仰角スプレッド関数314b、324b、334bとの乗算によって得られ得る。図3のスプレッドゲイン関数に非常によく似ているスプレッド関数(またはスプレッドゲイン関数)を実装するための計算効率の高い概念が、詳細に説明されていることに留意されたい。さらに、図3のスプレッドゲイン関数は、例えば、本明細書において説明されているオーディオオブジェクトレンダラー1200、1300、または図2および図5のオーディオオブジェクトレンダリング概念において使用されるか、または近似され得ることに留意されたい。
【0190】
さらに、スプレッドゲイン関数に関するさらなる(任意選択の)詳細についても、本明細書において説明されることに留意されたい。
【0191】
さらに、図4は、種々のスプレッド角度に対する1次元ゲイン曲線の別のグラフィック表現を示している。スプレッド角度が小さければ小さいほど、グラフは急峻になることがわかる。図4において、横軸412は、スプレッド支持点とオブジェクトとの間の差角(例えば、差方位角または差仰角)を記述していることに留意されたい。縦軸414は、差角を考慮して(例えば、1次元の広がりを仮定して)オーディオオブジェクト信号からスプレッド支持点信号を導出するために適用されるべきゲインを記述している。差角の関数としてのゲインを表す曲線416a、416b、416c、416dは、異なるスプレッド角度に関連付けられている。例えば、曲線416aは、比較的狭いスプレッド角度に関連付けられ、曲線416dは、比較的広いスプレッド角度に関連付けられる。
【0192】
一例として、スプレッド支持点(SSP)とオブジェクトとの間の50度の差角(方位角または仰角)については、0.37のゲイン値が、かなり強いスプレッド値を表すゲイン曲線416cから決定される。
【0193】
言い換えると、図4に示されているゲイン曲線、またはその近似値は、例えば、スプレッドゲイン201aの導出において、またはスプレッドオブジェクトスピーカーゲイン1242の導出において、またはスプレッドゲイン1332の導出において使用され得る。ゲイン曲線、およびその可能な近似値に関するさらなる詳細も、本明細書において説明されている。さらに、図4によるゲイン曲線の使用も、本明細書においてより詳細に説明される。
【0194】
1.E.図5に係るスプレッドゲイン決定
図5は、本発明の一実施形態に係るスプレッドゲインをレンダリングするための信号フローチャートを示している。方位角の処理経路は、青色直線または第1のハッチングタイプと第2のハッチングタイプとを有する直線によって覆われ、仰角(より正確には、仰角の処理経路)は、オレンジ色直線または第3のハッチングタイプおよび第4のハッチングタイプを有する直線によって覆われている。
【0195】
スプレッドゲイン決定500は、方位角オブジェクト位置情報510aおよび仰角オブジェクト位置情報510bを含む、オブジェクト位置情報を入力として受け取る。方位角オブジェクト位置情報510aおよび仰角オブジェクト位置情報510bは、例えば、上で説明されているオブジェクト位置情報210に対応し得る。さらに、スプレッドゲイン決定500は、方位角スプレッド支持点位置情報513aおよび仰角スプレッド支持点位置情報513bを含む、スプレッド支持点位置情報も受け取る。方位角SSP位置情報513aおよび仰角SSP位置情報513bは、例えば、上で説明されたSSP位置情報204aに対応し得る。
【0196】
このスプレッドゲイン決定500は、方位角ゲイン決定530を含み、これは、例えば、方位角差角計算301および方位角ゲイン関数適用302を含み得る。さらに、スプレッドゲイン決定500は、仰角ゲイン決定540も含み、これは、例えば、仰角差角計算304および仰角ゲイン関数適用305を含み得る。例えば、方位角ゲイン決定530では、方位角オブジェクト位置情報510aおよび方位角SSP位置情報513aに基づき、1または複数の方位角ゲイン値(例えば、aziGain)が決定され得る。さらに、方位角ゲイン決定530において、方位角スプレッド情報512a、またはその前処理済みバージョンも考慮され得る。例えば、方位角差角計算301において、方位角オブジェクト位置と1つまたは複数の方位角SSP位置との間の差が計算され得、それにより、1つまたは複数の角度差を得て、方位角ゲイン関数適用302において、これらの1つまたは複数の角度差に対してゲイン値が決定され得る。例えば、方位角ゲイン関数適用は、1つまたは複数の角度差について、ゲイン関数(例えば、図3および図4に例示されているようなゲイン関数、または本明細書において開示されているような多項式もしくは放物線ゲイン関数)を評価し得る。従って、スプレッド支持点位置に関連付けられ、それぞれのスプレッド支持点位置(方位角位置)とそれぞれのオブジェクト位置(方位角位置)との間のそれぞれの角度差に対する方位角ゲイン関数の値によって決定される1つまたは複数の方位角ゲイン値が得られ、方位角スプレッド情報502は、方位角ゲイン関数の幅を調整するように考慮される。
【0197】
同様の演算は、仰角ゲイン決定540によって実行される。仰角ゲイン決定540は、仰角スプレッド支持点位置情報513bおよび仰角オブジェクト位置情報510bを受け取り、それに基づき、1つまたは複数の仰角ゲイン値305aを提供する。例えば、オブジェクト位置仰角と1つまたは複数のスプレッド支持点位置仰角との間の1つまたは複数の差は、差角計算304によって計算され得る。1つまたは複数の仰角ゲイン値305aを得るために、幅が仰角スプレッド情報512bまたはその前処理バージョンによって決定され得る、仰角ゲイン関数が適用され得る(例えば、差角計算304によって決定された差角のうちの1つまたは複数について評価され得る)。例えば、図3を参照しつつ、または図4を参照しつつ、説明されている仰角ゲイン関数、またはその近似値(例えば、本明細書において開示されているような多項式ゲイン関数)は、仰角ゲイン関数適用305において使用され得る。ゲイン関数は、例えば、差角計算304において決定された1つまたは複数の差角に対して評価され、1つまたは複数の仰角ゲイン値305aを得る。
【0198】
例えば、方位角ゲイン値302aは、例えば所与の仰角について、および複数のスプレッド支持点方位角について得られ得るが、例えば、所与の方位角値および複数のスプレッド支持点仰角値について得られ得る、複数の仰角ゲイン値305aと、例えば乗法的に組み合わされ得る。この組合せは、313で指定され、異なるスプレッド支持点に関連付けられている方位角ゲイン値302aおよび仰角ゲイン値305aの異なる対が乗算され、それにより異なるスプレッド支持点に関連付けられているゲイン値への寄与を得る、乗算であってよい。
【0199】
スプレッドゲイン決定500は、任意選択で、拡張仰角範囲の取り扱いも含む。例えば、スプレッドゲイン決定は、(任意選択で)仰角範囲拡張307を含んでよく、これは、例えば、拡張仰角範囲計算における使用のために方位角オブジェクト位置情報510aおよび/または方位角SSP位置情報513aおよび/または仰角SSP位置情報513bおよび/または仰角オブジェクト位置情報510bを適応(または前処理)させ得る。
【0200】
拡張仰角範囲計算は、例えば、1つまたは複数の拡張方位角ゲイン値309aの提供を含む。拡張方位角ゲイン値309aは、例えば、方位角ゲイン値302aに対応し得るが、方位角との修正された関連付けを有し得る。言い換えると、拡張方位角ゲイン値309a(または拡張方位角ゲイン値のセット)は、例えば、方位角ゲイン値302a(またはより正確には、方位角ゲイン値のセット)の角度シフトバージョンであってよい。しかしながら、拡張方位角ゲイン値309aは、例えば、方位角ゲイン値302aから導出され得るが、または方位角差角計算308および方位角ゲイン関数適用309を使用して得られ得る。
【0201】
同様に、仰角範囲拡張処理は、仰角オブジェクト位置情報510bおよび仰角SSP位置情報513bに基づき拡張仰角ゲイン値311aを提供することを含む。例えば、仰角差角計算310は、拡張仰角範囲、例えば、+90度から+180度の間、または-90度から-180度の間の、仰角オブジェクト位置と仰角スプレッド支持点位置との間の角度差を計算し得る。従って、仰角ゲイン関数適用311は、仰角差角計算310で決定された角度差にゲイン関数を適用し、例えば、拡張仰角範囲内の仰角SSP位置に関連付けられている拡張仰角ゲイン値311a(またはより正確には、拡張仰角ゲイン値のセット)を得るものとしてよい。しかしながら、拡張仰角ゲイン値311aは、任意選択で、例えば適切なマッピング(または再ソート)を使用して、仰角ゲイン値305aに基づき決定され得ることに留意されたい。
【0202】
さらに、1つまたは複数の拡張方位角ゲイン値309aは、例えば、1つまたは複数の対応する拡張仰角ゲイン値311と乗法的に組み合わされ、それによって、寄与312aを得てスプレッド支持点に関連付けられている値314aを取得し得る。例えば、同一のスプレッド支持点に関連付けられている、寄与313aおよび寄与312aは、総和314で総和され、スプレッド支持点に関連付けられている、ゲイン値314aを取得し得る。さらに、正規化315が、任意選択で、ゲイン値314に適用されて、スプレッドゲイン値514を取得し得る。スプレッドゲイン値514は、例えば、上で説明されているスプレッドゲイン1332に対応するものであってもよい。例えば、正規化315は、スプレッド幅を考慮するものとしてよく、広がりに起因する信号エネルギーの変化を回避するのに役立ち得る。
【0203】
スプレッドゲイン決定500の全体的な機能に関して、方位角ゲイン値および仰角ゲイン値は、異なる方位角値を有する複数のスプレッド支持点位置について、また異なる仰角値を有する複数のスプレッド支持点位置について、独立して決定され得ることに留意されたい。次いで、より多くのスプレッド支持点に対するゲイン値が、方位角ゲイン値および仰角ゲイン値との組合せによって得られる。標準方位角ゲイン値および拡張方位角ゲイン値は、ユーザの頭上またはユーザより下の広がりを反映するために使用され得る。同じスプレッド支持点に関連付けられている方位角ゲイン値、仰角ゲイン値、拡張方位角ゲイン値、および拡張仰角ゲイン値は、組み合わされ、それによってそれぞれのスプレッド支持点に関連付けられているゲイン値214を効率的に得る。そのような組合せは、異なるスプレッド支持点に対して(またはすべてのスプレッド支持点に対して、または極に配置されているものを除くすべてのスプレッド支持点に対して)実行される。
【0204】
従って、拡張仰角範囲処理(例えば、ブロック307、308、309、310、および311を含む)を使用することによって、頭上の広がり、またはリスナーより下の広がりは、拡張仰角範囲において、90度より大きい仰角および/または-90度より小さい仰角を許容することによって容易に実装することができる。対がスプレッド支持点に関連付けられている、拡張方位角ゲイン値および拡張仰角ゲイン値を提供することによって、計算効率が改善され得るが、それは、拡張方位角ゲイン値および拡張仰角ゲイン値の対が、スプレッドゲイン314a(またはスプレッドゲイン314aへの寄与312a)を得るために組み合わされ得る(例えば乗算され得る)からである。
【0205】
結論として、スプレッドゲイン決定500は、高効率であり、オーディオオブジェクトがリスナーの頭上またはリスナーより下に広がっている場合であっても、スプレッドゲインを決定することを可能にする。
【0206】
さらに、スプレッドゲイン決定500は、個別にも、組み合わせても、本明細書において開示されている特徴、機能、および詳細のうちのどれかを使用して任意選択で補完され得ることに留意されたい。
【0207】
1.F.図6に係るスプレッド支持点幅
図6は、45度の分解能を有する例示的なスプレッド支持点格子の表現を示している。図6を見るとわかるように、スプレッド支持点610a、612a、612a、612b、612c、612d、612e、612f、612g、614b、614c、614d、614e、614f、616c、616d、616eはスフィア(球面)上に配置されている。特に、スプレッド支持点612aから612g、614bから614f、および616cから616eは、一定の仰角を有する円上に配置構成される。スプレッド支持点610aは、球面座標系の極(例えば、+90度の仰角)にある。さらに、スプレッド支持点612b、614bは、一定の方位角を有する半円上にあることに留意されたい。同様に、スプレッド支持点612c、614c、616cは、一定の方位角度を有する半円上にある。
【0208】
一般的に言って、スプレッド支持点は、好ましくは、一定の仰角の円および一定の方位角を有する半円または円によって定義される格子上に配置構成される。従って、典型的には、同一の仰角を有する複数のスプレッド支持点があり、また、典型的には、同一の方位角を有する複数のスプレッド支持点がある。
【0209】
さらなる(任意選択の)詳細については、本明細書で提供されるスプレッド支持点の位置に関する追加の説明も参照される。
【0210】
しかしながら、45度の分解能は一例としてのみ考慮されるべきであり、異なる分解能も選択され得ることに留意されたい。例えば、方位角方向の分解能および仰角方向の分解能は当然異なり得る。
【0211】
1.G.多項式ゲイン関数
上述のように、多項式ゲイン関数の使用は有利であるが、それは、多項式ゲイン関数(例えば2または3の次数を備える)は、少ない計算量で評価され得るからである。
【0212】
図7は、VBAPパンニング曲線および伸長され、フリップされた放物線の形状の比較を示している。例えば、横軸712は、現在考慮されているスプレッド支持点とオブジェクトとの間の差角(例えば、仰角差角または方位角差角)を記述する。縦軸714は、ゲインまたは正規化されたゲインを記述する。第1の曲線720は、VBAPを使用して得られるであろうゲインを記述する。第2の曲線730は、(伸長され、フリップされた)放物線によって得られ得るゲインを記述し、その値は非負であることに限定される。見るとわかるように、放物線ベースゲイン関数は、VBAPゲイン関数の非常に良い近似である。
【0213】
従って、放物線ゲイン関数は、角度差をゲイン値にマッピングするために、本明細書において説明されている装置および方法のいずれにおいても使用できる。言い換えると、放物線ベースゲイン関数は、例えば、スプレッドゲイン計算201において、またはスプレッドオブジェクトスピーカーゲイン決定1240において、またはマッピング1334において使用され得る。例えば、放物線ベースゲイン関数は、図3に示されているスプレッドゲイン関数、および図4に示されているゲイン曲線も置き換え得る(または近似し得る)。さらに、図7に示されている放物線ベースゲイン関数は、スプレッドゲイン決定500のブロック302、309、311、305においても使用することができる。
【0214】
しかしながら、放物線は、当然、スプレッドに応じて(例えば、方位角スプレッドまたは仰角スプレッドに応じて)適合され得ることに留意されたい。さらに、放物線は、当然、適用の特定の必要性に応じてスケーリングされることも可能であり、放物線の中心値は変更されてよく、および/または放物線の幅は変更されてよい。
【0215】
1.H.図8から図11に係る実装形態
図8から図11は、1つまたは複数のオーディオオブジェクト信号を複数のスピーカー信号に含めることに対するゲインを記述するスピーカーゲインを決定するための概念および方法のMATLAB(登録商標)コード例である。
【0216】
図8から図11を参照しつつ概要を述べたような概念、またはその部分もしくは詳細は、本明細書において説明されている実施形態のどれでも任意選択で使用できることに留意されたい。
【0217】
方法は、初期化関数「spread_pannSSP」によって実行される初期化を含む。この初期化関数は、入力情報として、VBAPパラメータを含む構成構造体を使用する。初期化関数は、スピーカーの数に関する情報も受け取る。しかしながら、初期化関数は必ずしもこれらの入力パラメータを使用する必要はないことに留意されたい。
【0218】
しかしながら、初期化は、典型的には、スプレッド支持点の選択(または定義)を含む。例えば、スプレッド支持点は、球面座標系における方位角および仰角の格子によって定義され得る(例えば、すべてのスプレッド支持点は、等しい半径を有し得る)。例えば、スプレッド支持点の方位角は、配列aziSSPで定義されてもよく、スプレッド支持点の仰角は、配列eleSSPで定義されてもよい。スプレッド支持点の定義は、参照番号810で示されている。参照番号810で示されているスプレッド支持点の定義は、例えば、格子作成204に対応し得る。
【0219】
初期化は、参照番号820で示されている、スプレッド支持点のパンニングも含む。参照番号820で示されているスプレッド支持点のパンニングは、例えば、図2において参照番号205で示されているスプレッド支持点のパンニングに対応し得る。例えば、スプレッド支持点の各々について、実際のスピーカー信号へのそれぞれのスプレッド支持点の位置でレンダリングされるべきオーディオ信号のパンニングが決定される。言い換えると、各スプレッド支持点に対して、実際のスピーカー信号へのそれぞれのスプレッド支持点の位置においてレンダリングされるべき信号のパンニングを記述するスケーリング値が決定される。これらのゲイン値は、「Spread.gainsSSP」という名前のデータ構造体に収められる。
【0220】
球面座標系の極に(例えば、±90度の仰角で)配置構成されるスプレッド支持点については、特別な処置が適用され得る。これは、参照番号830で示されている。しかしながら、これらのパンニングゲイン値(スプレッド支持点位置のオーディオオブジェクトをスピーカー信号にパンニングするための)の具体的詳細は本発明に対して特定の関連性を有しないことに留意されたい。所与の例では、関数vbapが使用されているが、他の関数(例えば、他のパンニング関数)も同様に使用されることもあり得る。
【0221】
初期化800は、また、さらなる処理で使用される、いくつかの変数(または定数)の初期化を含む。この初期化は、参照番号840で示されている。
【0222】
しかしながら、初期化800の詳細は、任意選択であると考えられるべきであることに留意されたい。
【0223】
以下では、異なるオブジェクトに対して典型的には複数回実行される、関数呼び出しについて説明される。メイン関数は、「spread_calculateGains」と呼ばれる。このメイン関数は、例えば、オブジェクトパンニングによって(例えば、オブジェクトパンニング202によってまたはパンニング済みオブジェクトスピーカーゲイン決定1230によって)提供されるゲインgを受け取り、それに基づき、スプレッドゲイン(gでも指定される)を提供し、これは、「その結果得られるスピーカーゲイン」214またはスピーカーゲイン1214、1314に対応し得る。それに加えて、メイン関数は、オブジェクト方位角情報azi、オブジェクト仰角情報ele、オブジェクトスプレッド幅spdAzi(またはspreadAngleAzi)、オブジェクトスプレッド高さspdEle(またはspreadAngleEle)、および例えば上述の初期化によって提供され得るスプレッドパラメータを含むデータ構造体を受け取る。
【0224】
メイン関数900は、例えば、参照番号910で示されている、減衰ゲインの決定を含み得る。例えば、減衰ゲインattenGainは、オブジェクトスプレッド幅およびオブジェクトスプレッド高さに応じて、さらにスプレッド格子分解能に応じて決定され得る。例えば、参照番号910で示されている計算規則が使用され得る。しかしながら、一般的に言って、減衰ゲインは、最大オブジェクトスプレッドの増大とともに増大し、また最小オブジェクトスプレッドの増大とともに増大し得る。従って、オブジェクトのスプレッドが比較的大きい場合には、スプレッドオブジェクトスピーカーゲインは(パンニング済みオブジェクトスピーカーゲインとの関係において)比較的強く重み付けされ、一方、スプレッドが比較的小さい場合には、スプレッドオブジェクトスピーカーゲインは比較的弱く重み付けされることになる。
【0225】
さらなる前処理ステップ920において、最小オブジェクトスプレッド幅および/または最小オブジェクトスプレッド高さがさらなる処理において使用されることを確実にするようにオブジェクトスプレッド幅および/またはオブジェクトスプレッド高さは調整される。特に、オブジェクトスプレッド幅およびオブジェクトスプレッド高さのうち小さい方は、それが前記それぞれの最小値より小さい場合に最小値を取るように調整される。
【0226】
参照番号930で示されている、さらなる前処理ステップにおいて、ゲイン値の決定に使用される、放物線のパラメータは、例えば、それぞれのスプレッド角度に基づき計算される。
【0227】
さらに、準備ステップ940において、ループ限界値aziLoopLimおよびeleLoopLimが計算され、これは、レイヤゲインの計算において実行される計算ステップの数を決定する。レイヤゲインの計算において実行される計算ステップの(任意選択の)制限によって、いくつかの場合において計算複雑さが達成され得る。
【0228】
さらに、メイン関数900は、参照番号950で示されている、方位角レイヤゲインの決定も含む。第1のサブステップ951において、方位角レイヤゲインの配列が、関数「calculateLayerGains」を呼び出すことによって決定される。ステップ951で計算された方位角レイヤゲインは、配列aziGainに収められる。さらなるサブステップ952において、方位角レイヤゲインの角度シフトバージョンが得られ、配列aziGainExtdに収められる。言い換えると、配列aziGainのエントリは、修正された順序で、配列aziGainExtd内にコピーされる。
【0229】
ステップ951は、例えば、図3に示されているような機能301、302に対応し得ることに留意されたい。さらに、ステップ952は、図3の参照番号308、309で示されているような機能に対応し得ることに留意されたい。言い換えると、図3に示されているような機能301、302を実行する代わりに、参照番号951で示されている機能が使用され得るか、またはその逆も可能である。さらに、図3の参照番号308、309で示されているような機能を実行する代わりに、参照番号952で示されている機能が使用され得るか、またはその逆も可能である。例えば、配列aziGainおよびaziGainExtdは、互いに関して180度だけシフトされた、異なる方位角に関連付けられているレイヤゲインを表し得る。例えば、配列aziGainの第1の要素は方位角φに対応し、配列aziGainExtdの第1の要素は方位角φ+180度に対応し得る。
【0230】
メイン関数900は、参照番号960で示されている、仰角レイヤゲインの決定も含み得る。この目的のために、関数「calculateLayerGains」が(再び)使用されてもよく、これは、参照番号961で示されるように、値の中間配列を返す。この値の中間配列eleGainTMPから、参照番号962で示されるように、値の中間配列のエントリの適切な選択によって、仰角レイヤゲインの配列eleGainが決定され得る。同様に、仰角レイヤゲインの拡張配列もまた、参照番号963で示されているように、中間配列のエントリの適切な選択および順序を使用して決定され得る。
【0231】
参照番号961および962で示されているような機能は、例えば、ブロック304および305の機能に対応し、ブロック961および963で示されているような機能は、例えば、ブロック310および311で示されているような機能に対応し得る。
【0232】
言い換えると、参照番号961および962で示されているような機能は、機能ブロック304、305に取って代わってもよく、参照番号961、963で示されているような機能は、ブロック310、311で示されているような機能に取って代わってもよい。しかしながら、代替的に、ブロック304、305の機能およびブロック310、311の機能は、機能960の代わりに実行されてもよい。
【0233】
参照番号970で示されている、さらなるステップにおいて、メイン関数900は、方位角レイヤゲインに基づき、および前に計算された仰角レイヤゲインに基づき、スプレッド支持点スプレッドゲインを計算する。この目的のために、後述する関数「calculate SSPGains」が呼び出される。
【0234】
従って、配列g_spdによって指定される、スプレッド支持点スプレッドゲインが得られ、これは、どのスケーリングを使用してオーディオオブジェクトがスプレッド支持点においてレンダリングされるべきかを記述する。しかしながら、どのスケーリングを使用してオーディオオブジェクト信号がスピーカー信号においてレンダリングされるべきかを知ることが望まれるので、ステップ980において、スプレッド支持点スプレッドゲインがスピーカーゲインにマッピングされ、これは、スプレッド支持点の位置においてレンダリングされるべきオーディオ信号から実際のスピーカー信号(典型的にはスプレッド支持点とは異なる実際のスピーカー位置におけるスピーカーに関連付けられている)へのパンニングであると理解することができる。
【0235】
この目的のために、(初期化800で実行された)スプレッド支持点の以前に実行されたパンニングの結果が利用される。スプレッド支持点パンニングゲインおよびスプレッド支持点スプレッドゲインのセットの積は、例えば、すべてのスプレッド支持点にわたって総和される。言い換えると、スプレッド支持点パンニングゲイン(またはスプレッド支持点パンニングゲインのセット)は、各スプレッド支持点(実行変数objによって参照される)に関連付けられ、スプレッド支持点スプレッドゲインも各スプレッド支持点に関連付けられる。
【0236】
ステップ980は、例えば、参照番号206で示されている機能に対応し得ることに留意されたい。従って、ブロック206の機能は、参照番号980で示されている機能によって置き換えられることも可能であり、またその逆もあり得る。
【0237】
ステップ990において、得られた(スプレッドオブジェクト)スピーカーゲインgOSは、例えば、パンニング済みオブジェクトゲイン値であり得る入力ゲイン値gと組み合わされる。スプレッドゲイン値gOSのスケーリングは、例えば、上述の減衰ゲインattenGainによって決定される。さらに、ステップ990は、任意選択で、パンニング済みゲイン値とスプレッドゲイン値の前記組合せの結果の正規化を含む。
【0238】
例えば、ステップ990は、ブロック203の機能に対応し得る。
【0239】
メイン関数900の機能全体に関して、メイン関数はステップ950、960、970、および980にあることに留意されたい。ステップ950では、「レイヤ化されたゲイン値」の配列が計算され、これは、方位角方向へのオーディオオブジェクトの広がり、より正確には、スプレッド支持点の方位角値に関連付けられているゲイン値を記述する。このステップでは、方位角方向へのオブジェクトスプレッドが考慮される。また、配列aziGain内の方位角ゲイン値に関して循環的にシフトされる拡張方位角ゲイン値は、「頭上の」広がりを形成するのに役立つ。
【0240】
ステップ960において、所与の方位角値およびスプレッド支持点に関連付けられている異なる仰角値に関連付けられているスプレッド値が計算される。ここで、オーディオオブジェクトの仰角位置、および仰角方向におけるオブジェクトスプレッドが考慮される。また、オーディオオブジェクトの頭上の広がりをサポートするために、仰角レイヤゲインの拡張配列が得られる。
【0241】
ステップ970において、方位角レイヤゲインおよび仰角レイヤゲインの値が組み合わされ、すべての支持点位置に関連付けられているゲイン値を計算する。
【0242】
その結果、ステップ980において、支持点位置に関連付けられているゲイン値は、スピーカー信号に関連付けられているゲイン値に効果的にマッピングされる。
【0243】
以下では、図10および図11を参照して関数「calculateLayerGains(レイヤゲインを計算」および「calculateSSPGains(SSPゲインを計算」のいくつかの詳細について説明する。
【0244】
図10は、関数「calculateLayerGains(レイヤゲインの計算)」のMATLAB(登録商標)コードを示している。「gains」で指定されている前記関数の戻り値は配列であり、配列要素のインデックスが方位角または仰角に関連付けられていることに留意されたい。一般的に言って、前記配列のエントリは、オーディオオブジェクトの角度位置(方位角位置または仰角位置)と配列のそれぞれのエントリに関連付けられている角度(例えば、SSP方位角位置またはSSP仰角位置)との間の角度差の増大とともにほぼ放物線状に減衰することを含む。
【0245】
関数1000は、参照番号1010で示されている、符号値pluminの任意選択の決定を含む。
【0246】
さらに、関数1000は、オブジェクト位置(例えば、オブジェクト仰角またはオブジェクト方位角)に関連付けられている配列インデックス(「複数」)の決定を含む。この決定は、参照番号1020で示されている。
【0247】
関数1000は、また、参照番号1030に示されている、隣接するスプレッド支持点の位置(角度)からのオブジェクト位置の偏差の計算を含む。
【0248】
さらに、関数は、参照番号1040で示されている、ゲイン値の計算を含む。これらのゲイン値は、配列「gains」に収められ、配列インデックスは、スプレッド支持点の角度(方位角または仰角)に関連付けられる。ゲイン値それ自体は、考慮中のオーディオオブジェクトの位置とそれぞれのスプレッド支持点の位置との間のそれぞれの角度差に対する放物線の評価を使用して決定される。ゲイン値は、値が非負のままであるように、限定された、放物線の評価によって提供される。従って、配列「gains」は、考慮中のオーディオオブジェクトの位置の角度(方位角または仰角)を中心とする放物線の評価に基づく、ゲイン値を埋められる(非負値への制限が適用される)。
【0249】
従って、参照番号1000で示されている、関数「レイヤゲインを計算する」は、ゲイン値の配列、より正確には、一定の方位角または代替的に一定の仰角に関連付けられているスプレッドゲイン値を提供することを可能にする。
【0250】
次に、関数「calculateSSPGains(SSPゲインを計算)」の詳細について説明する。
【0251】
参照番号1100で示されている関数は、参照番号1110で示されている、スプレッドゲインの計算を含む。特に、1つのスプレッドゲイン値は、各スプレッド支持点SSPに対して計算され、極座標系の極におけるスプレッド支持点に対する特定の取り扱いは、参照番号1120で示されている。
【0252】
しかしながら、仰角インデックスnelおよび方位角インデックスnazによって指定される、各スプレッド支持点に対して、方位角ゲイン値aziGain(naz)は、仰角ゲイン値eleGain(nel)と乗法的に組み合わされる。この組合せは、例えば、ブロック313で示されている動作に対応し得る。それに加えて、関連付けられている拡張方位角ゲイン値aziGainExtd(naz)も、関連付けられている拡張仰角ゲイン値eleGainExtd(nel)と乗法的に組み合わされ、これはブロック312に示されている動作に対応し得る。
【0253】
さらに、乗法的組合せの結果は、次いで、加算され、これは、ブロック314で示されている動作に対応し得る。例えば、同じインデックスnazによって指定される方位角ゲイン値および拡張方位角ゲイン値は、180度だけ異なる角度に対応し得る。例えば、所与のインデックスnazによって指定される方位角ゲイン値は、+45度の方位角に関連付けられてもよいが、同じインデックスnazに関連付けられている拡張方位角ゲイン値は、-135度の方位角に関連付けられてもよい。さらに、仰角ゲイン配列および拡張仰角ゲイン配列において同じインデックスnelに関連付けられている角度は、180度まで総和され得るか、または-180度まで総和され得る。例えば、所与のインデックスnelは、+45度に関連付けられている配列eleGainsのエントリを指定してもよく、同じインデックスnelは、135度の角度に関連付けられている配列eleGainExtdのエントリを指定することになる。従って、配列eleGainおよびeleGainExtdの所与のインデックスnelに関連付けられている角度は、この例では、総和されて+180度になり得る。そのような組合せを使用したときに、適度な手間で適切なスケーリング値が得られることが確実にされ得る。また、仰角値が90度より大きいという事実は、概念の計算複雑性を過度に増大させない。
【0254】
極の(すなわち、極に関連付けられているゲイン値の)特定の取り扱い1120は、極におけるアーチファクトを回避するのに役立つ。
【0255】
関数1000はまた、参照番号1130で示され、任意選択であると考えられ得る、正規化を含む。従って、スプレッドゲインは、値の適切な範囲内に入れるために任意選択で正規化される。
【0256】
結論として、関数1100は、単一の仰角に関連付けられているゲイン値の配列に基づき、また単一の方位角に関連付けられているゲイン値の配列に基づき、スプレッド支持点に関連付けられているゲイン値を導出することを可能にする。
【0257】
関数800、900、1000、および1100の機能は、他の実施形態のうちのどれかに、任意選択で導入され、個別にも、組み合わせても導入され得ることに留意されたい。また、他の実施形態において説明されている機能はどれも、個別にも組み合わせても、機能800、900、1000、1100に任意選択で導入され得ることに留意されたい。
【0258】
1.I.図14に係る方法
図14は、オブジェクト位置情報およびオブジェクト特徴情報またはスプレッド情報に基づき、1つまたは複数のオーディオオブジェクト信号を複数のスピーカー信号に含めるためのゲインを記述するスピーカーゲインを決定するための方法1400のフローチャートを示している。
【0259】
方法は、オーディオオブジェクトの点音源パンニングを使用してパンニング済みオブジェクトスピーカーゲインを得ること1410を含む。
【0260】
方法は、また、オブジェクト位置情報およびオブジェクト特徴情報またはスプレッド情報を考慮して、スプレッドオブジェクトスピーカーゲインを得ること1420を含む。
【0261】
この方法は、組み合わされたスピーカーゲインを得るために、パンニング済みオブジェクトスピーカーゲインの寄与が常にあるようにパンニング済みオブジェクトスピーカーゲインおよびスプレッドオブジェクトスピーカーゲインを組み合わせること1430も含む。
【0262】
方法1400は、上述の装置と同じ考察に基づいており、本明細書において説明されている特徴、機能、および詳細のいずれかによって、個別にも、組み合わせても、任意選択で補完され得る。
【0263】
1.J.図15に係る方法
図15は、オブジェクト位置情報およびオブジェクト特徴情報またはスプレッド情報に基づき、1つまたは複数のオーディオオブジェクト信号を複数のスピーカー信号に含めるためのゲインを記述するスピーカーゲインを決定するための方法1500のフローチャートを示している。
【0264】
方法は、オブジェクト位置情報およびオブジェクト特徴情報を考慮して、スプレッドオブジェクトスピーカーゲインを得ること1510を含む。
【0265】
この方法は、オブジェクト位置と支持点位置との間の角度差をスプレッドゲイン値寄与にマッピングする3以下の次数を有する1つまたは複数の多項式関数を使用してスプレッドゲインを得ること1520も含む。
【0266】
方法1530は、スプレッドゲイン寄与に基づく、スプレッドゲインを使用して、またはスプレッドゲインをスプレッドオブジェクトスピーカーゲインとして使用してスプレッドオブジェクトスピーカーゲインを得ることも含む。
【0267】
方法1500は、上述の装置と同じ考察に基づいており、本明細書において説明されている特徴、機能、および詳細のいずれかによって、個別にも、組み合わせても、任意選択で補完され得る。
【0268】
2.さらなる実施形態の説明
以下では、本発明の一実施形態によるオブジェクトスプレッドレンダリングアルゴリズムを説明する。
【0269】
このオブジェクトスプレッドレンダリングアルゴリズムは、独立して使用され得るが、任意選択で、本明細書において開示されている特徴、機能、および詳細のいずれかによって、個別にも組み合わせても、補足され得ることに留意されたい。また、この項で説明されている概念の特徴、機能、および詳細のいずれかも、任意選択で、個別にも組み合わせても、本明細書において説明されている装置および方法のいずれかに導入され得る。
【0270】
一態様によれば、スプレッド効果を実現するための基本的な考え方は、オブジェクト位置から出発して単調減少する強度を有する同じオブジェクト信号をプレイバックする追加のスピーカーをアクティブ化することである。すなわち、各スピーカーについて、スプレッド効果を生み出すために、オブジェクトがプレイバックされる広がりゲインが計算されなければならない。広がりゲインは、次の方法で決定することができる。
【0271】
2.1.追加のスプレッド支持点を使用するオブジェクトスプレッド計算
非対称および/または2Dスピーカーセットアップの場合、いくつかの場合において、スピーカー位置は、SSPとして使用され得ない。その理由は、スプレッド再生が均質に分布する(例えばスフィア(球面)上の)SSPに依存するので、定位精度の潜在的低下である。従って、等距離に分布するオブジェクトの格子が作成され(例えば、図2の概念のブロック204において)、それらはSSPの役割を担う。それらのSSPの各々は、例えばブロック205(スプレッド支持点のパンニング)において、(例えばVBAPにより)パンニングされる。ブロック201(スプレッドゲイン計算)は、SSP位置を使用して、スプレッドゲインを計算し(詳細については、例えば、2.2節参照)、それによりブロック206(組合せ)においてこれらはSSPパンニングゲインと組み合わされ得る(両方のタイプのゲインを組み合わせる最も単純な方法は、乗算である。もちろん、他の手順も可能である)。小さい(例えばSSP格子分解能より小さい角度)スプレッド角度を再現するために、実際のオブジェクトは、(例えばVBAPにより)パンニングされ(例えば、ブロック202、「オブジェクトパンニング」において)、スプレッドスピーカーゲインと組み合わされる(例えば、ブロック203、「組合せ」)(詳細は2.5を参照)。
【0272】
2.2.スプレッドゲイン計算(例えば、ブロック201において)
スプレッドゲインの計算では、例えば、単調減少関数が使用される。例えば、SSPとオブジェクトとの間の球面距離に基づき、その関数から減衰ゲインが決定される。例えば、関数は、オブジェクトの位置で1のゲイン値を有し、広がらない効果が望まれるところでは0である。例えば、増幅は許されないので、減衰ゲインは0から1の間の範囲に制限され得る。
【0273】
さらなる処理ステップなしに、この手順では、例えば図1に参照番号100、101、102で示されているような一様なスプレッドパターンの作成のみを許す。非一様なスプレッドパターン(例えば、図1において参照番号104および105で示されているような)を達成するために、スプレッド角度(例えば、[方位および仰角]または[幅および高さ])は、例えば、個別に処理されるべきである。従って、以下では、重み関数は、1次元(例えば、1つのスプレッド値)だけでなく、2次元(例えば、幅と高さ)でも設計される。
【0274】
例えば、図3に描かれているように、2次元ゲイン関数は、2つの1次元ゲイン関数の組合せとしてモデル化することができる。例えば、非一様な水平スプレッドパターンをモデル化するために(例えば、図3の上側のプロット)、大きなスプレッド角度が選択され、これは広い1次元ゲイン関数(左壁への投影として例示されている)を作成する。並行して、例えば、狭い1次元ゲイン関数(右壁への投影として例示されている)を作成する狭い仰角スプレッド角度が選択される。例示的な目的として、1次元関数は、1の最大値を有するように正規化される。例えば、両方の1次元関数の組合せにより、2次元関数が得られる。例えば、2つの1次元関数を組み合わせる最も単純な方法は、乗算である。もちろん、異なる他の手順も可能である。
【0275】
2.2.1.アルゴリズム
以下では、1つのSSPおよび1つのオブジェクトに基づき、スプレッドゲイン計算の例が説明されている。しかしながら、アルゴリズムは、その後すべてのSSPに対して実行されるものとしてよく、その結果得られるスプレッドゲインは累計され得る。
【0276】
例えば、ブロック301において、SSPの方位角とオブジェクトと絶対差が計算される。ブロック303において、スプレッド値は、例えば、非一様なスプレッドの場合にSSP格子分解能角度より小さい値を取らないように制限される。さもなければ、移動するオブジェクトに対する非一様なスプレッドの「パンニング」は、いくつかの場合において、知覚可能な跳躍を引き起こし得る。例えば、ブロック301からの差角およびブロック303からのスプレッド角度に基づき、1つのスプレッドゲイン成分が計算され、スプレッド角度は、例えば、1次元ゲイン曲線の形状/幅を制御し、差角はその値を選択する。一例が、図4に示されている。
【0277】
同じ手順が、例えば、ブロック304、306、および305における仰角値で繰り返される。両方の結果は、例えば、ブロック313において乗算される。この積は、2次元ゲイン関数の表面上の1つの値をすでに表しているが、仰角は当然[-90°,90°]に制限されているので、仰角範囲内のみにある。球面座標でのスフィアの定義は、典型的には(または慣習的に)次の2つの組合せのみを許すことに留意されたい。これは、範囲[-180°,180°]を有する方位角であり、仰角[-90°,90°]を有するか、または方位角を[-90°,90°]に限定し、仰角範囲を[-180°,180°]に拡張できるかのいずれかである。そうしないと、スフィアの後部が2回定義される。しかしながら、この制限は、本発明のいくつかの実施形態において克服され得る。
【0278】
例えば、60°の垂直スプレッドを有する正面セミスフィア(半球面)における30°の方位角および80°の仰角のオブジェクトを仮定する。スプレッドは、例えば、オブジェクトに対して対称的であるので、例えば、20°のスプレッドは、後方セミスフィア(半球面)に配置され、方位角は、例えば、210°(または-150°)である。その場合、水平1次元ゲイン関数は、例えば、狭い形状を有するように選択され、垂直スプレッドが実現できるように、スプレッドゲインをほぼゼロにマスクすることになるであろう。
【0279】
このような理由から、仰角範囲は、いくつかの実施形態において、[-180°,180°]に拡張され(さらに多くの任意選択の詳細は、例えば、2.3項で説明されている)、元の範囲にマッピングされる(例えば、信号処理ブロック314および315によってカバーされる)。例えば、ブロック301、302、304、305、および313における手順と同様に、例えば、ブロック308、309、310、311、および312において、拡張仰角範囲についてスプレッドゲイン成分が計算される。最後に、例えば、ブロック312および313からの結果は、ブロック314において加算され、ブロック315において正規化される(さらに多くの任意選択の詳細については、例えば2.4項で説明される)。
【0280】
2.3.仰角範囲拡張(例えば、ブロック307において)
例えば、いくつかの実施形態において、オブジェクトが正面ヘミスフィア(半球面)上にある間に後方ヘミスフィア(半球面)上にスプレッドをレンダリングするために(およびその逆に)、すべてのSSPは、拡張仰角範囲(すなわち、[0°,90°]から[91°,180°]、および[-90°,-1°]から[-180°,-91°])にミラーリングされねばならない。手順は、次の例に基づき説明される。
【0281】
例として、(20°,40°)(方位角および仰角)にあるSSPを仮定すると、そのミラーリングされたSSPは(-160°,140°)に配置される。これは、単純に、例えば、方位角が180°シフトされ水平面に対する角距離を保ったまま、仰角が拡張仰角範囲にミラーリングされることを意味する。
【0282】
下側ヘミスフィア(半球面)に対する別の例:(120°,-70°)にあるSSPは(-60°,-110°)にミラーリングされる。
【0283】
2.4.正規化(例えば、ブロック315において)
いくつかの場合において、仰角範囲を拡張し、拡張範囲におけるゲインを計算し、元の範囲から決定されたゲインに追加のゲイン成分を追加すると、増幅される可能性がある。元の範囲内の最大ゲインは、例えば、オブジェクトの位置で常に1である。元の範囲からの最大ゲインに加えられる拡張範囲からのゲイン成分は、ミラーリングされた位置にあり、例えば、スプレッド値(例えば、組合せで方位角および仰角)に依存する。
【0284】
例えば、単調減少関数の場合、両方のゲイン成分のこの加算は、所与のスプレッド値に対して可能な最大のゲインをもたらす。従って、いくつかの場合において、オブジェクトのスプレッドゲインをこの最大値に正規化することが必要(または有利)である。正規化ゲインは、例えば
【0285】
【数1】
【0286】
であり、
SGCAは、例えば、オブジェクトとそのミラーリングされた位置との間の方位角差(オブジェクトとそのミラーリングされた位置との間の方位角差は常に180°である)に対してブロック309から決定されたスプレッドゲイン成分であり、SGCEは、例えば、オブジェクトとそのミラーリングされた位置との間の仰角差に対してブロック311から決定されたスプレッドゲイン成分である。
【0287】
2.5.スプレッドゲインとオブジェクトゲインとの組合せ(例えば、ブロック203において)
例えば、1つの組合せ方法は、オブジェクトスピーカーゲインとスプレッドスピーカーゲインとの合計である。スピーカーゲインを含む結果として得られるベクトルは、例えば、そのユークリッドノルムに正規化される必要があり得る。SSP格子分解能に応じて、例えば、組合せ前にスプレッドスピーカーゲインを減衰させる必要がある場合もある。例えば、SSP格子分解能が低い場合(例えば、低いSSP格子分解能は計算複雑性を低くし得る)、0°から上方への素早く変化するスプレッド値は、知覚可能なアーチファクトを引き起こすこともあり得る。例えば、減衰は、式
【0288】
【数2】
【0289】
から決定することができ(他の式も可能であることに留意されたい)、
resまたはgresはSSP格子分解能であり、spreadaziは方位角スプレッド角度であり、spreadeleは仰角スプレッド角度である。
【0290】
3.効率的実装形態
以下では、個別にもまた組み合わせても、本明細書において開示されている実施形態のいずれかと組み合わせて任意選択で使用され得る、効率的な実装形態の任意選択の詳細が説明される。
【0291】
SSPは、例えば、スフィア(球面)上に等距離に分布するように選択されるので、例えば、水平/垂直レイヤの各々で同じ角度距離を有することになる。
【0292】
図6は、45°の分解能を有するSSP格子の一例を示している。この結果、8個の垂直レイヤおよび5個の水平レイヤが得られ、+/-90°の仰角のSSPは一度だけ定義されるべきである。
【0293】
しかしながら、オブジェクトとSSPとの間の差方位角(例えば、ブロック301および308において)を水平レイヤ上で1回だけ、差仰角(例えば、ブロック304および310において)を垂直レイヤ上で1回だけ計算すれば十分である。
【0294】
さらに、例えば、時計回り方向で1つの差角(例えば水平レイヤ上で)を計算し、反時計回り方向で1つを計算し、SSPインデックスをカウントすることによってオブジェクトから各SSPへの差角を計算することが可能である。
【0295】
例:
水平レイヤ上でSPP(またはSSP)方位角は、[0°,45°,90°,135°,180°,-135°,-90°,-45°]である。それらのすでに準備されている(例えば、初期化時にすでに準備されている。)インデックスは、例えば、インデックスリングに収められている[1,2,3,4,5,6,7,8]とすることが可能である(インデックスリングを使用することで、例えば、インデックス1から8、および8から1へ跳躍することを可能にする。例えば、無限ループであるか、または少なくとも無限ループを近似する)。
【0296】
例えば、30°のオブジェクト方位角を仮定しよう。SSPインデックスに関して、これはインデックス1と2の間に配置される。差は時計回り方向では15°、反時計回り方向では30°である。180°の所与のスプレッド角(すなわち、オブジェクトの位置に対して対称に±90°)について、方位角[45°,90°](時計回り)および[0°,-45°](反時計回り)におけるSSPがアクティブ化される。従って、差角の計算の際に、時計回りに2つのインデックスおよび反時計回りに2つのインデックスのみが考慮されなければならない。
【0297】
この方法は、例えば2つの利点を有する。最初に、インデックスリングを使用することで、区間[-180°,180°]の外の角度の折り返しが回避される。さらに、これは計算を関連するSSPに制限することを可能にする。小さなスプレッド角度については、結果として、計算量が大幅に減らされる。
【0298】
アルゴリズムを計算効率の高いものにする別の可能性は、重み関数の設計をしかるべく選択することである。その一方で、前に導入された「ガウスベル曲線」のようなゲイン曲線は、冪級数展開として実現される指数関数を使用し、従って計算効率が低い。他方では、ゲイン関数は、理想的には、図7に示されているように、パンニングアルゴリズム(例えば、VBAP)から決定される結果として得られる関数の形状を有するべきである。これは、滑らかなオブジェクトの動きを保証するために、小さなスプレッド角度と組み合わせて非一様なスプレッドパターンを使用するときに特に望ましい(またはいくつかの場合において必要ですらある)。
【0299】
適切な妥協点は、しかるべく伸長され、フリップされた放物線が使用されるときに与えられることがわかっている。これは、指数関数/三角関数を回避し、VBAPパンニングカーブの形状をよく近似する。
【0300】
4.代替的実装形態
いくつかの態様は装置の文脈内で説明されているが、これらの態様は対応する方法の説明にもなっており、ブロックまたは装置は方法ステップまたは方法ステップの特徴に対応することは明らかである。それと同様に、方法ステップの文脈内において説明されている態様は、対応する装置の対応するブロックまたは項目または特徴の説明ともなっている。方法ステップのうちのいくつかまたはすべては、例えばマイクロプロセッサ、プログラム可能なコンピュータ、または電子回路のような、ハードウェア装置によって(またはそれを使用することで)実行され得る。いくつかの実施形態において、最も重要な方法ステップのうちの1つまたは複数は、そのような装置によって実行され得る。
【0301】
いくつかの実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装することができる。実装形態は、それぞれの方法が実行されるようなプログラム可能なコンピュータシステムと連携する(または連携することができる)、電子的に読み取り可能な制御信号が記憶される、デジタル記憶媒体、例えば、フロッピィディスク、DVD、Blu‐Ray(登録商標)、CD、ROM、PROM、EPROM、EEPROM、またはフラッシュメモリを使用して実行され得る。従って、デジタル記憶媒体は、コンピュータ可読であるものとしてよい。
【0302】
本発明によるいくつかの実施形態は、本明細書で説明されている方法のうちの1つが実行されるようなプログラム可能なコンピュータシステムと連携することができる、電子的に読み取り可能な制御信号を収めたデータキャリアを含む。
【0303】
一般に、本発明の実施形態は、プログラムコードを伴うコンピュータプログラム製品として実装することができ、プログラムコードはコンピュータプログラム製品がコンピュータ上で稼動するときに方法のうちの1つを実行するように動作可能である。プログラムコードは、例えば、機械可読キャリア上に記憶され得る。
【0304】
他の実施形態は、機械可読媒体上に記憶されている、本明細書で説明されている方法のうちの1つを実行するためのコンピュータプログラムを含む。
【0305】
従って、言い換えると、本発明の方法の一実施形態は、コンピュータプログラムがコンピュータ上で稼動しているときに、本明細書で説明されている方法のうちの1つを実行するためのプログラムコードを有するコンピュータプログラムである。
【0306】
従って、本発明の方法のさらなる実施形態は、本明細書で説明されている方法のうちの1つを実行するためのコンピュータプログラムが記録されるデータキャリア(またはデジタル記憶媒体またはコンピュータ可読媒体)である。データキャリア、デジタル記憶媒体、また記録媒体は、典型的には、有形であり、および/または非一時的なものである。
【0307】
従って、発明の方法のさらなる実施形態は、本明細書で説明されている方法のうちの1つを実行するためのコンピュータプログラムを表現するデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えば、データ通信接続、例えばインターネットを介して、転送されるように構成され得る。
【0308】
さらなる一実施形態は、本明細書で説明されている方法のうちの1つを実行するように構成されるか、または適合される処理手段、例えば、コンピュータ、またはプログラム可能な論理デバイスを含む。
【0309】
さらなる一実施形態は、本明細書で説明されている方法のうちの1つを実行するためのコンピュータプログラムがインストールされているコンピュータを含む。
【0310】
本発明によるさらなる一実施形態は、本明細書で説明されている方法のうちの1つを実行するためのコンピュータプログラムをレシーバーに(例えば、電子的にまたは光学的に)転送するように構成されている装置またはシステムを含む。レシーバーは、例えば、コンピュータ、モバイルデバイス、メモリデバイス、または同様のものであってよい。装置またはシステムは、例えば、コンピュータプログラムをレシーバーに転送するためのファイルサーバーを含み得る。
【0311】
いくつかの実施形態において、プログラム可能な論理デバイス(例えば、フィールドプログラマブルゲートアレイ)は、本明細書で説明されている方法の機能うちのいくつかまたはすべてを実行するために使用されてよい。いくつかの実施形態において、フィールドプログラマブルゲートアレイは、本明細書で説明されている方法のうちの1つを実行するためにマイクロプロセッサと連携し得る。一般的に、これらの方法は、好ましくは、任意のハードウェア装置によって実行される。
【0312】
本明細書で説明されている装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータとの組合せを使用して実装され得る。
【0313】
本明細書で説明されている装置、または本明細書で説明されている装置の任意のコンポーネントは、少なくとも部分的にハードウェアおよび/またはソフトウェアで実装され得る。
【0314】
本明細書で説明されている方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータとの組合せを使用して実行され得る。
【0315】
本明細書で説明されている方法、または本明細書で説明されている装置の任意のコンポーネントは、少なくとも部分的にハードウェアおよび/またはソフトウェアによって実行され得る。
【0316】
上で説明されている実施形態は、単に、本発明の原理について例示しているだけである。本明細書で説明されている配置構成および詳細の修正および変更は、当業者には明らかであることは理解される。従って、次に示す特許請求項の範囲によってのみ制限され、本明細書の実施形態の記述および説明を用いて提示されている具体的詳細によって制限されないことが意図されている。
【0317】
追加の備考として、「考慮する」という言い回しは、例えば、必ずしもそうではないが、「に基づく」または「応じて(依存して)」の意味を有し得ることに留意されたい。
【0318】
追加の備考として、「記述する」という言い回しは、例えば、必ずしもそうではないが、「表す」または「直接的にもしくは間接的に表す」または「の尺度である」または「構成する」という意味を有し得ることに留意されたい。例えば、別の量を「記述する」第1の量は、別の量と等しいか、または別の量に比例するか、または所定の(線形または非線形の)関係を使用して別の量に関係していてもよい。
【0319】
追加の備考として、「方位角値に関連付けられる」という言い回しは、例えば、「方位角値を有する」という意味を有していてもよいことに留意されたい。
【0320】
追加の備考として、「仰角値に関連付けられる」という言い回しは、例えば、「仰角値を有する」という意味を有していてもよいことに留意されたい。
【符号の説明】
【0321】
200、1300 オーディオオブジェクトレンダラー
201 スプレッドゲイン計算
201a スプレッドゲイン
202 オブジェクトパンニング
202a、1232、g パンニングされたオブジェクトスピーカーゲイン
203 組合せ
204 格子作成
204a 情報
205 パンニング
205a スプレッド支持点パンニングゲイン
206 組合せ
206a、1242、gOS オブジェクト特徴情報スピーカーゲイン
210、1310、azi、ele オブジェクト位置情報
212、1312、spreadAngleAzi、spreadAngleEle スプレッド情報
214、1214、1214a~1214c スピーカーゲイン
301 方位角差角計算
302 方位角ゲイン関数適用
302a、aziGain、305a、eleGain、309a、aziGainExtd、311a、eleGainExtd オブジェクト特徴ゲイン寄与
304 仰角差角計算
305 仰角ゲイン関数適用
305a 仰角ゲイン値
307 仰角範囲拡張
308 方位角差角計算
309 方位角ゲイン関数適用
309a 拡張方位角ゲイン値
310、320、330 グラフィック表現
310 仰角差角計算
311 仰角ゲイン関数適用
311a 拡張仰角ゲイン値
312a、322a、332a 第1の軸
312b、322b、332b 第2の軸
314 総和
314a、g_spd オブジェクト特徴情報ゲイン
314a、324a、334a 方位角スプレッド関数
314b、324b、334b 仰角スプレッド関数
315 正規化
412 横軸
416a、416b、416c、416d 曲線
500 スプレッドゲイン決定
502 方位角スプレッド情報
510a 方位角オブジェクト位置情報
510b 仰角オブジェクト位置情報
512a 方位角スプレッド情報
512b 仰角スプレッド情報
513a 方位角スプレッド支持点位置情報
513b 仰角スプレッド支持点位置情報
514 スプレッドゲイン値
530 方位角ゲイン決定
540 仰角ゲイン決定
610a、612a、612a、612b、612c、612d、612e、612f、612g、614b、614c、614d、614e、614f、616c、616d、616e スプレッド支持点
712 横軸
714 縦軸
720 第1の曲線
730 第2の曲線
800 初期化
900 メイン関数
960 機能
1000 関数
1100 関数
1120 特定の取り扱い
1200 オーディオオブジェクトレンダラー
1210 オブジェクト位置情報
1212 オブジェクト特徴情報
1214 スピーカーゲイン
1214a、1214b、1214c スピーカーゲイン
1230 パンニング済みオブジェクトスピーカーゲイン決定
1232 パンニング済みオブジェクトスピーカーゲイン
1240 スプレッドオブジェクトスピーカーゲイン決定
1242 スプレッドオブジェクトスピーカーゲイン
1250 組合せまたはコンバイナー
1260 オーディオオブジェクト信号
1262a~1262c スピーカー信号
1300 オーディオオブジェクトレンダラー
1310 オブジェクト位置情報
1312 オブジェクト特徴情報
1314 スピーカーゲイン
1330 スプレッドゲイン決定
1332 スプレッドゲイン
1334 マッピング
1336 スプレッドゲイン値寄与
1338 スプレッドゲイン寄与処理
1340 スプレッドオブジェクトスピーカーゲイン決定
1400 方法
1500 方法
図1
図2
図3-1】
図3-2】
図4
図5
図6
図7
図8
図9-1】
図9-2】
図10
図11
図12
図13
図14
図15
【手続補正書】
【提出日】2022-02-02
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
オブジェクト位置情報(210、1210、azi、ele)およびオブジェクト特徴情報(1212)に基づき、1つまたは複数のオーディオオブジェクト信号(1260)を複数のスピーカー信号(1262a~1262c)に含めるためのスピーカーゲイン(214、1214、1214a~1214c)を決定するためのオーディオオブジェクトレンダラー(200、1200)であって、
前記オーディオオブジェクトレンダラーは、オーディオオブジェクトの点音源パンニング(202、1230)を用いてパンニング済みオブジェクトスピーカーゲイン(202a、1232、g)を得るように構成され、前記オーディオオブジェクトは前記点音源パンニングにおいて点音源とみなされ、前記オブジェクト特徴情報は前記点音源パンニングにおいて無視され、
前記点音源パンニングでは前記オブジェクト位置情報を用い、
前記オーディオオブジェクトレンダラーは、前記オブジェクト特徴情報(1212)を考慮して、前記オーディオオブジェクトを拡張領域にわたって広げ、オブジェクト特徴情報スピーカーゲイン(206a、1242、gOS)を得るように構成され、
前記オーディオオブジェクトレンダラーは、前記パンニング済みオブジェクトスピーカーゲインの寄与が常にあるように前記パンニング済みオブジェクトスピーカーゲイン(202a、1232、g)および前記オブジェクト特徴情報スピーカーゲイン(206a、1242、gOS)を組み合わせて、組み合わされたスピーカーゲイン(214、1214、1214a~1214c)を得るように構成され、
前記オブジェクト特徴情報スピーカーゲインの決定では前記オーディオオブジェクトの拡張を考慮する、オーディオオブジェクトレンダラー(200、1200)。
【請求項2】
前記オーディオオブジェクトレンダラーは、更に前記オブジェクト位置情報(210、1210、azi、ele)を考慮してオブジェクト特徴情報スピーカーゲイン(206a、1242、gOS)を得るように構成されている、請求項1に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項3】
前記オブジェクト特徴情報は、オーディオオブジェクトスプレッド情報(212、1212)である、請求項1に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項4】
前記オブジェクト特徴情報は、オーディオオブジェクトスプレッド情報(212、1212)である、請求項2に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項5】
オブジェクト位置情報(210、1210、azi、ele)およびオブジェクト特徴情報(1212)に基づき、1つまたは複数のオーディオオブジェクト信号(1260)を複数のスピーカー信号(1262a~1262c)に含めるためのスピーカーゲイン(214、1214、1214a~1214c)を決定するためのオーディオオブジェクトレンダラー(200、1200)であって、
前記オーディオオブジェクトレンダラーは、オーディオオブジェクトの点音源パンニング(202、1230)を用いてパンニング済みオブジェクトスピーカーゲイン(202a、1232、g)を得るように構成され、前記オーディオオブジェクトは前記点音源パンニングにおいて点音源とみなされ、前記オブジェクト特徴情報は前記点音源パンニングにおいて無視され、
前記点音源パンニングでは前記オブジェクト位置情報を用い、
前記オーディオオブジェクトレンダラーは、前記オブジェクト位置情報(210、1210、azi、ele)および前記オブジェクト特徴情報(1212)を考慮して、前記オーディオオブジェクトを拡張領域にわたって広げ、スプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を得るように構成され、
前記オーディオオブジェクトレンダラーは、前記パンニング済みオブジェクトスピーカーゲインの寄与が常にあるように前記パンニング済みオブジェクトスピーカーゲイン(202a、1232、g)および前記スプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を組み合わせて、組み合わされたスピーカーゲイン(214、1214、1214a~1214c)を得るように構成され、
前記スプレッドオブジェクトスピーカーゲインの決定では前記オーディオオブジェクトの拡張を考慮する、オーディオオブジェクトレンダラー(200、1200)。
【請求項6】
オブジェクト位置情報(210、1210、azi、ele)およびスプレッド情報(212、1212)に基づき、1つまたは複数のオーディオオブジェクト信号(1260)を複数のスピーカー信号(1262a~1262c)に含めるためのスピーカーゲイン(214、1214、1214a~1214c)を決定するためのオーディオオブジェクトレンダラー(200、1200)であって、
前記オーディオオブジェクトレンダラーは、オーディオオブジェクトの点音源パンニング(202、1230)を用いてパンニング済みオブジェクトスピーカーゲイン(202a、1232、g)を得るように構成され、前記オーディオオブジェクトは前記点音源パンニングにおいて点音源とみなされ、前記スプレッド情報は前記点音源パンニングにおいて無視され、
前記点音源パンニングでは前記オブジェクト位置情報を用い、
前記オーディオオブジェクトレンダラーは、前記オブジェクト位置情報(210、1210、azi、ele)および前記スプレッド情報(212、1212)を考慮して、前記オーディオオブジェクトを拡張領域にわたって広げ、スプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を得るように構成され、
前記オーディオオブジェクトレンダラーは、前記パンニング済みオブジェクトスピーカーゲインの寄与が常にあるように、前記パンニング済みオブジェクトスピーカーゲイン(202a、1232、g)および前記スプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を組み合わせて、組み合わされたスピーカーゲイン(214、1214、1214a~1214c)を得るように構成され、
前記スプレッドオブジェクトスピーカーゲインの決定では前記オーディオオブジェクトの拡張を考慮する、オーディオオブジェクトレンダラー(200、1200)。
【請求項7】
前記オーディオオブジェクトレンダラーは、支持点(610a、612a~612g、614b~614f、616c~616e)の位置(204a、aziSSP、eleSSP)とオブジェクト位置(210、1210、azi、ele)との間の差を1つまたは複数のスプレッドゲイン値寄与(302a、aziGain(naz)、305a、eleGain(nel))にマッピングする1つまたは複数のゲイン関数を評価し、前記1つまたは複数のスプレッドゲイン値寄与に基づきスプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を決定するように構成されている、請求項1から6のいずれか一項に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項8】
前記オーディオオブジェクトレンダラーは、第1の方向におけるスプレッド(spreadAngleAzi、spreadazi)および第2の方向におけるスプレッド(spreadAngleEle、spreadele)に応じて、パンニング済みオブジェクトスピーカーゲイン(202a、1232、g)との重み付けられた組み合わせにおけるスプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)の重み(attenGain、gatten)を決定するように構成されている、請求項1から7のいずれか一項に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項9】
前記オーディオオブジェクトレンダラーは、第1の方向におけるスプレッド角度(spreadAngleAzi、spreadazi)と第2の方向におけるスプレッド角度(spreadAngleEle、spreadele)との積に応じてパンニング済みオブジェクトスピーカーゲイン(202a、1232、g)との重み付けられた組み合わせにおけるスプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)の重み(attenGain、gatten)を決定するように構成されている、請求項1から8のいずれか一項に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項10】
前記オーディオオブジェクトレンダラーは、第1の方向におけるスプレッド角度(spreadAngleAzi、spreadazi)および第2の方向におけるスプレッド角度(spreadAngleEle、spreadele)に応じて、固定された重みで重み付けされたパンニング済みオブジェクトスピーカーゲイン(202a、1232、g)と、可変重み(attenGain、gatten)で重み付けされたスプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)とを加算するように構成されている、請求項1から9のいずれか一項に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項11】
前記オーディオオブジェクトレンダラーは、前記固定された重みで重み付けされたパンニング済みオブジェクトスピーカーゲイン(202a、1232、g)と、前記可変重み(attenGain、gatten)で重み付けされたスプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)とを加算した結果を正規化するように構成されている、請求項10に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項12】
前記オーディオオブジェクトレンダラーは、
attenGain=0.89f*min(c,max(spreadazi,spreadele)/gres1)+0.11f*min(c,min(spreadazi,spreadele)/gres2
に従って、前記パンニング済みオブジェクトスピーカーゲイン(202a、1232、g)との重み付けられた組み合わせにおけるスプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)の重み(attenGain)を決定するように構成され、
は所定の値であり、
は所定の値であり、
res1は所定の値であり、
res2は所定の値であり、
spreadaziは方位角方向におけるオーディオオブジェクトの広がり角度であり、
spreadeleは仰角方向におけるオーディオオブジェクトの広がり角度であり、
min(.)は最小演算子であり、
max(.)は最大演算子である、請求項1から11のいずれか一項に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項13】
前記オーディオオブジェクトレンダラーは、前記オーディオオブジェクトのスプレッド角度(spreadAngleAzi、spreadazi、 spreadAngleEle, spreadele)の増大とともに、前記パンニング済みオブジェクトスピーカーゲイン(202a、1232、g)と比較した際のスプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)の相対的寄与を増大させるように構成されている、請求項1から12のいずれか一項に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項14】
前記オーディオオブジェクトレンダラーは、前記オブジェクト位置情報(210、1210、azi、ele)およびスプレッド情報(212、1212)を考慮し、極座標における支持点位置の表現(204a、aziSSP、eleSSP)を用いてスプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を得るように構成され、
前記オーディオオブジェクトレンダラーは、前記スプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)に基づき前記スピーカーゲイン(214、1214、1214a~1214c)を与えるように構成されている、請求項1から13のいずれか一項に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項15】
前記オーディオオブジェクトレンダラーは、
前記オーディオオブジェクトの方位角位置(210、1210、azi)と1つまたは複数の支持点(204a、aziSSP)との間の1つまたは複数の角度差(diffCLKDir、diffAntiCLKDir)を評価すること、および/または
前記オーディオオブジェクトの仰角位置(210、1210、azi)と1つまたは複数の支持点の仰角位置(204a、eleSSP)との間の1つまたは複数の角度差(diffCLKDir、diffAntiCLKDir)を評価すること
によって、スプレッドスピーカーゲイン(206a、1242、gOS)を得るように構成されている、請求項1から14のいずれか一項に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項16】
支持点位置(204a、aziSSP、eleSSP)は、球面の半径の±10%または±20%の許容範囲内で球面上に配置構成される、請求項1から15のいずれか一項に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項17】
支持点位置(204a、aziSSP、eleSSP)は、一定の仰角および一定の半径を有する円に沿って一様な方位角間隔を備え、および/または
支持点位置(204a、aziSSP、eleSSP)は、一定の方位角および一定の半径を有する円に沿って一様な仰角を備える、請求項1から16のいずれか一項に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項18】
前記オーディオオブジェクトレンダラーは、オーディオオブジェクトが配置される第1の半球面内に延在しているとともに方位角位置が前記第1の半球面とは反対側にある第2の半球面内にも延在している領域にわたって前記オーディオオブジェクトが広げられるようにスプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を得るよう構成されている、請求項1から17のいずれか一項に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項19】
前記オーディオオブジェクトレンダラーは、-180度から+180度の間の拡張仰角範囲を用いるように構成されている、請求項18に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項20】
前記オーディオオブジェクトレンダラーは、所与のオブジェクト位置(210、1210、azi、ele)および所与のスプレッド(212、1212、spreadAngleAzi、spreadazi、spreadAngleEle、spreadele)について、
球面座標系の極の交差を示さない元の仰角値範囲内の仰角値に関する支持点位置または支持点方位角指標(naz)に関連している複数の方位角値に対するスプレッドゲイン(314a、g_spd)への寄与を記述する第1のセットの方位角ゲイン値(302a、aziGain)、および
球面座標系の1つの極の交差を示す拡張仰角値範囲内の仰角値に関する支持点位置または支持点方位角指標(naz)に関連している複数の方位角値に対するスプレッドゲイン(314a、g_spd)への寄与を記述する第2のセットの方位角ゲイン値(309a、aziGainExtd)、
を計算し、
前記第1のセットの方位角ゲイン値(302a、aziGain(naz))および前記第2のセットの方位角ゲイン値(309a、aziGainExtd)を用いて前記スプレッドゲイン(206a、1242、gOS)を導出するように構成されている、請求項18または19に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項21】
前記オーディオオブジェクトレンダラーは、所与のオブジェクト位置(210、1210、azi、ele)および所与のスプレッド(212、1212、spreadAngleAzi、spreadAngleEle)について、
球面座標系の極の交差を示さない元の仰角値範囲内の仰角値に関する支持点位置またはスピーカー方位角指標または支持点仰角指標(nel)に関連している複数の仰角値に対する前記スプレッドゲイン(314a、g_spd)への寄与を記述する第1のセットの仰角ゲイン値(305a、eleGain)、および
球面座標系の1つの極の交差を示す拡張仰角値範囲内の仰角値に関する支持点位置またはスピーカー仰角指標または支持点仰角指標(例えば、nel)に関連している複数の仰角値に対する前記スプレッドゲイン(314a、g_spd)への寄与を記述する第2のセットの仰角ゲイン値(311a、eleGainExtd)、
を計算し、
前記第1のセットの方位角ゲイン値(302a、aziGain(naz))、前記第2のセットの方位角ゲイン値(309a、aziGainExtd)、前記第1のセットの仰角ゲイン値(305a、eleGain(nel))、および前記第2のセットの仰角ゲイン値(311a、eleGainExtd(nel))を用いて、前記スプレッドゲイン(206a、1242、gOS)を導出するよう構成されている、請求項20に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項22】
前記オーディオオブジェクトレンダラーは、第1のセットの方位角ゲイン値および第1のセットの仰角ゲイン値の値(302a、aziGain(naz)、305a、eleGain(nel))を組み合わせ、第2のセットの方位角ゲイン値および第2のセットの仰角ゲイン値の値(309a、aziGainExtd(naz)、311a、eleGainExtd(nel))を組み合わせるように構成されている、請求項18から21のいずれか一項に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項23】
第2のセットの方位角ゲイン値(309a、aziGainExtd)は、第1のセットの方位角ゲイン値(302a、aziGaind)によって表される方位角にわたるゲイン値の漸進的変化と比較した際に180度だけシフトされる方位角にわたるゲイン値の漸進的変化を表す、請求項18から22のいずれか一項に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項24】
第1のセットの方位角ゲイン値(302a、aziGain)は、方位角オブジェクト位置(210、1210、azi)と、スピーカーの数または支持点の数によって決定される角度精度を有する方位角スプレッド角度(spreadAngleAzi、spreadazi)とを考慮して360度の範囲にわたるゲイン値の漸進的変化を表し、および/または
第2のセットの方位角ゲイン値(309a、aziGainExtd)は、180度回転された方位角オブジェクト位置(210、1210、azi)と、スピーカーの数または支持点の数によって決定される角度精度を有する方位角スプレッド角度(spreadAngleAzi、spreadazi)とを考慮して360度の範囲にわたるゲイン値の漸進的変化を表す、請求項18から23のいずれか一項に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項25】
第1のセットの仰角ゲイン値(305a、eleGain)は、仰角オブジェクト位置(210、1210、ele)と仰角スプレッド角度(spreadAngleEle、spreadele)とを考慮して-90度から+90度の間の仰角範囲にわたるゲイン値の漸進的変化を表し、および/または
第2のセットの仰角ゲイン値(311a、eleGainExtd)は、仰角オブジェクト位置(210、1210、ele)と仰角スプレッド角度(spreadAngleEle、spreadele)とを考慮して-180度から-90度の間および+90度から+180度の間の仰角範囲にわたるゲイン値の漸進的変化を表す、請求項18から24のいずれか一項に記載のオーディオオブジェクトレンダラー(200、1200)。
【請求項26】
前記オーディオオブジェクトレンダラーは、オブジェクト位置情報(210、1310、azi、ele)およびスプレッド情報(212、1312、spreadAngleAzi、spreadAngleEle)に基づき、1つまたは複数のオーディオオブジェクト信号(1260)を複数のスピーカー信号(1262a~1262c)に含めるためのゲインを記述するスピーカーゲイン(214、1214、1214a~1214c)を決定するように構成され、
前記オーディオオブジェクトレンダラーは、前記オブジェクト位置情報および前記スプレッド情報を考慮してスプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を得るように構成され、
前記オーディオオブジェクトレンダラーは、オブジェクト位置(210、1310、azi、ele)と支持点位置(204a、aziSSP、eleSSP)との間の角度差をスプレッドゲイン値寄与(302a、aziGain、305a、eleGain、309a、aziGainExtd、311a、eleGainExtd)にマッピングする3次以下の次数を有する1つまたは複数の多項式関数を用いてスプレッドゲイン(314a、g_spd)を得るように構成され、
前記オーディオオブジェクトレンダラーは、前記スプレッドゲイン値寄与に基づくスプレッドゲイン(314a、g_spd)を用いて前記スプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を得るよう構成されている、請求項1から25のいずれか一項に記載のオーディオオブジェクトレンダラー。
【請求項27】
前記1つまたは複数の多項式関数の幅は、スプレッド情報(212、1312、spreadAngleAzi、spreadAngleEle)によって決定される、請求項26に記載のオーディオオブジェクトレンダラー(200、1300)。
【請求項28】
前記オーディオオブジェクトレンダラーは、オブジェクト位置(210、1310、azi)と支持点位置(204a、aziSSP)との間の方位角差を第1のスプレッドゲイン値寄与(302a、aziGain(naz))にマッピングする第1の多項式関数、および、オブジェクト位置(210、1310、ele)と支持点位置(204a、eleSSP)との間の仰角差を第2のスプレッドゲイン値寄与(305a、eleGain(nel))にマッピングする第2の多項式関数を用いて、スプレッドゲイン値(314a、g_spd)を得るように構成されている、請求項26または27に記載のオーディオオブジェクトレンダラー(200、1300)。
【請求項29】
前記オーディオオブジェクトレンダラーは、前記第1のスプレッドゲイン値寄与(302a、aziGain(naz))と前記第2のスプレッドゲイン値寄与(305a、eleGain(nel))を組み合わせて、スプレッドゲイン値(314a、g_spd)を得るよう構成されている、請求項28に記載のオーディオオブジェクトレンダラー(200、1300)。
【請求項30】
前記オーディオオブジェクトレンダラーは、所与のオブジェクト位置(210、1310、azi、ele)および所与のスプレッド(212、1312、spreadAngleAzi、spreadAngleEle)について、
支持点位置またはスピーカー方位角指標または支持点方位角指標(naz)に関する複数の方位角値に対する前記スプレッドゲイン(314a、g_spd)への寄与を記述する方位角ゲイン値(302a、aziGain)のセット、および/または
支持点位置またはスピーカー仰角指標または支持点仰角指標(nel)に関する複数の仰角値に対する前記スプレッドゲイン(314a、g_spd)への寄与を記述する仰角ゲイン値(305a、eleGain)のセット、
を計算し、
方位角ゲイン値(302a、aziGain(naz)、305a、eleGain(nel))を用いて前記スプレッドゲイン(314a、g_spd)を導出するように構成される、請求項26から29のいずれか一項に記載のオーディオオブジェクトレンダラー(200、1300)。
【請求項31】
前記オーディオオブジェクトレンダラーは、現在考慮されているスピーカーまたは現在考慮されている支持点に関する前記方位角ゲイン値のセット(302a、aziGain)の要素(aziGain(naz))を、前記現在考慮されているスピーカーまたは現在考慮されている支持点に関する前記仰角ゲイン値のセット(305a、eleGain)の要素(eleGain(nel))と組み合わせて、複数の異なるスピーカーまたは複数の異なる支持点に関するスプレッドゲイン値(spd(objNo))を得るように構成されている、請求項30に記載のオーディオオブジェクトレンダラー(200、1300)。
【請求項32】
前記オーディオオブジェクトレンダラーは、所与のオブジェクト位置(210、1310、azi、ele)および所与のスプレッド(212、1312、spreadAngleAzi、spreadAngleEle)について、
球面座標系の極の交差を示さない元の仰角値範囲内の仰角値に関する支持点位置またはスピーカー方位角指標または支持点方位角指標(naz)に関連している複数の方位角値に対する前記スプレッドゲイン(314a、g_spd)への寄与を記述する第1のセットの方位角ゲイン値(302a、aziGain)、および
球面座標系の極の交差を示す拡張仰角値範囲内の仰角値に関する支持点位置またはスピーカー方位角指標または支持点方位角指標(naz)に関連している複数の方位角値に対する前記スプレッドゲイン(314a、g_spd)への寄与を記述する第2のセットの方位角ゲイン値(309a、aziGainExtd)、
を計算し、
方位角ゲイン値(302a、aziGain(naz))および/または仰角ゲイン値(305a、eleGain(nel))を用いて前記スプレッドゲイン(314a、g_spd)を導出するように構成されている、請求項26から31のいずれか一項に記載のオーディオオブジェクトレンダラー(200、1300)。
【請求項33】
前記オーディオオブジェクトレンダラーは、所与のオブジェクト位置(210、1310、azi、ele)および所与のスプレッド(212、1312、spreadAngleAzi、spreadAngleEle)について、
前記球面座標系の極の交差を示さない元の仰角値範囲内の仰角値に関する支持点位置またはスピーカー方位角指標または支持点仰角指標(nel)に関連している複数の仰角値に対する前記スプレッドゲイン(314a、g_spd)への寄与を記述する第1のセットの仰角ゲイン値(305a、eleGain)、および
前記球面座標系の極の交差を示す拡張仰角値範囲内の仰角値に関する支持点位置またはスピーカー仰角指標または支持点仰角指標(nel)に関連している複数の仰角値に対する前記スプレッドゲイン(314a、g_spd)への寄与を記述する第2のセットの仰角ゲイン値(311a、eleGainExtd)、
を計算し、
方位角ゲイン値(302a、aziGain(naz)、309a、aziGainExtd(naz))および仰角ゲイン値(305a、eleGain(nel)、311a、eleGainExtd(nel))を用いて前記スプレッドゲイン(314a、g_spd)を導出するように構成されている、請求項32に記載のオーディオオブジェクトレンダラー(200、1300)。
【請求項34】
前記オーディオオブジェクトレンダラーは、パンニングを用いて初期化時に複数の支持点に関連付けられているオーディオ信号を複数のスピーカーにパンニングするための支持点パンニングゲイン(Spread.gainsSSP)を事前計算するように構成され、
前記オーディオオブジェクトレンダラーは、3次以下の次数を有する多項式関数を用いて複数の支持点信号へのオーディオオブジェクト信号の寄与を記述するオブジェクト対支持点スプレッドゲイン(g_spd)を得るように構成され、
前記オーディオオブジェクトレンダラーは、前記オブジェクト対支持点スプレッドゲインおよび前記支持点パンニングゲインを組み合わせて、前記スプレッドオブジェクトスピーカーゲインを得るように構成されている、請求項26から33のいずれか一項に記載のオーディオオブジェクトレンダラー(200、1300)。
【請求項35】
前記3次以下の次数を有する1つまたは複数の多項式関数は、
p=max(0,c1*anglediff+c2)
に従って戻り値pを与える放物線関数であり、
c1は前記放物線関数の幅を決定するパラメータであり、
c2は所定の値であり、
angeldiffは前記放物線関数が評価される角度差であり、
max(.,.)はオペランドの最大値を返す最大値演算子である、請求項26から34のいずれか一項に記載のオーディオオブジェクトレンダラー。
【請求項36】
前記オーディオオブジェクトレンダラーは、前記オーディオオブジェクトの点音源パンニングと前記オーディオオブジェクト信号の広がりとの両方に基づいて組み合わされたスピーカーゲインを与えるように構成されている、請求項1から35のいずれか一項に記載のオーディオオブジェクトレンダラー。
【請求項37】
オブジェクト特徴情報スピーカーゲインの決定では、前記パンニング済みオブジェクトスピーカーゲインの決定よりも多数のスピーカーにわたって前記オーディオオブジェクトを広げる、請求項1から36のいずれか一項に記載のオーディオオブジェクトレンダラー。
【請求項38】
オブジェクト位置情報(210、1210、azi、ele)およびオブジェクト特徴情報(1212)に基づき、1つまたは複数のオーディオオブジェクト信号(1260)を複数のスピーカー信号(1262a~1262c)に含めるためのスピーカーゲイン(214、1214、1214a~1214c)を決定するための方法であって、
オーディオオブジェクトの点音源パンニング(202、1230)を用いてパンニング済みオブジェクトスピーカーゲイン(202a、1232、g)を得るステップを含み、前記オーディオオブジェクトは前記点音源パンニングにおいて点音源とみなされ、前記オブジェクト特徴情報は前記点音源パンニングにおいて無視され、
前記点音源パンニングでは前記オブジェクト位置情報を用い、
前記オブジェクト特徴情報(1212)を考慮して、前記オーディオオブジェクトを拡張領域にわたって広げ、オブジェクト特徴情報スピーカーゲイン(206a、1242、gOS)を得るステップと、
前記パンニング済みオブジェクトスピーカーゲインの寄与が常にあるように前記パンニング済みオブジェクトスピーカーゲイン(202a、1232、g)および前記オブジェクト特徴情報スピーカーゲイン(206a、1242、gOS)を組み合わせて、組み合わされたスピーカーゲイン(214、1214、1214a~1214c)を得るステップと、を含み、
前記オブジェクト特徴情報スピーカーゲインの決定では前記オーディオオブジェクトの拡張を考慮する、方法。
【請求項39】
オブジェクト位置情報(210、1210、azi、ele)およびオブジェクト特徴情報(1212)に基づき、1つまたは複数のオーディオオブジェクト信号(1260)を複数のスピーカー信号(1262a~1262c)に含めるためのピーカーゲイン(214、1214、1214a~1214c)を決定するための方法(1400)であって、
オーディオオブジェクトの点音源パンニングを用いてパンニング済みオブジェクトスピーカーゲイン(202a、1232、g)を得るステップ(1410)を含み、前記オーディオオブジェクトは前記点音源パンニングにおいて点音源とみなされ、前記オブジェクト特徴情報は前記点音源パンニングにおいて無視され、
前記点音源パンニングでは前記オブジェクト位置情報を用い、
前記オブジェクト位置情報(210、1210、azi、ele)および前記オブジェクト特徴情報(1212)を考慮して、前記オーディオオブジェクトを拡張領域にわたって広げ、スプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を得るステップ(1420)と、
前記パンニング済みオブジェクトスピーカーゲインの寄与が常にあるように前記パンニング済みオブジェクトスピーカーゲイン(202a、1232、g)および前記スプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を組み合わせて、組み合わされたスピーカーゲイン(214、1214、1214a~1214c)を得るステップ(1430)と、を含み、
前記スプレッドオブジェクトスピーカーゲインの決定では前記オーディオオブジェクトの拡張を考慮する、方法(1400)。
【請求項40】
オブジェクト位置情報(210、1210、azi、ele)およびスプレッド情報(212、1212、spreadAngleAzi、spreadAngleEle)に基づき、1つまたは複数のオーディオオブジェクト信号(1260)を複数のスピーカー信号(1262a~1262c)に含めるためのスピーカーゲイン(214、1214、1214a~1214c)を決定するための方法(1400)であって、
オーディオオブジェクトの点音源パンニングを用いてパンニング済みオブジェクトスピーカーゲイン(202a、1232、g)を得るステップ(1410)を含み、前記オーディオオブジェクトは前記点音源パンニングにおいて点音源とみなされ、前記スプレッド情報は前記点音源パンニングにおいて無視され、
前記点音源パンニングでは前記オブジェクト位置情報を用い、
前記オブジェクト位置情報(210、1210、azi、ele)および前記スプレッド情報(212、1212、spreadAngleAzi、spreadAngleEle)を考慮して、前記オーディオオブジェクトを拡張領域にわたって広げ、スプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を得るステップ(1420)と、
前記パンニング済みオブジェクトスピーカーゲインの寄与が常にあるように前記パンニング済みオブジェクトスピーカーゲイン(202a、1232、g)および前記スプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を組み合わせて、組み合わされたスピーカーゲイン(214、1214、1214a~1214c)を得るステップ(1430)と、を含み、
前記スプレッドオブジェクトスピーカーゲインの決定では前記オーディオオブジェクトの拡張を考慮する、方法(1400)。
【請求項41】
支持点の位置とオブジェクト位置との間の差を1つまたは複数のスプレッドゲイン値寄与(aziGain(naz)、eleGain(nel))にマッピングする1つまたは複数のゲイン関数を評価するステップと、前記1つまたは複数のスプレッドゲイン値寄与に基づきスプレッドオブジェクトスピーカーゲイン(gOS)を決定するステップと、を含む請求項38から40のいずれか一項に記載の方法(1400)。
【請求項42】
前記オブジェクト位置情報(210、1210、azi、ele)およびオブジェクト特徴情報(1212)を考慮してスプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を得るステップ(1510)と、
オブジェクト位置(210、1310、azi、ele)と支持点位置(204a、aziSSP、eleSSP)との間の角度差をスプレッドゲイン値寄与(302a、aziGain、305a、eleGain、309a、aziGainExtd、311a、eleGainExtd)にマッピングする3次以下の次数を有する1つまたは複数の多項式関数を用いてスプレッドゲイン(314a、g_spd)を得るステップ(1520)と、
前記スプレッドゲイン値寄与(302a、aziGain、305a、eleGain、309a、aziGainExtd、311a、eleGainExtd)に基づくスプレッドゲイン(314a、g_spd)を用いて、または前記スプレッドゲイン(314a、g_spd)を前記スプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)として用いて、前記スプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を得るステップ(1530)と、を含む請求項38から41のいずれか一項に記載の方法。
【請求項43】
前記方法は、オブジェクト位置情報(210、1310、azi、ele)およびスプレッド情報(212、1312、spreadAngleAzi、spreadAngleEle)に基づき1つまたは複数のオーディオオブジェクト信号(1260)を複数のスピーカー信号(1262a~1262c)に含めるためのゲインを記述するスピーカーゲイン(214、1214、1214a~1214c)を決定し、
前記オブジェクト位置情報および前記スプレッド情報を考慮してスプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を得るステップ(1510)と、
オブジェクト位置(210、1310、azi、ele)と支持点位置(204a、aziSSP、eleSSP)との間の角度差をスプレッドゲイン値寄与(302a、aziGain、305a、eleGain、309a、aziGainExtd、311a、eleGainExtd、aziGain(naz)、eleGain(nel))にマッピングする3次以下の次数を有する1つまたは複数の多項式関数を用いてスプレッドゲイン(314a、g_spd)を得るステップ(1520)と、
前記スプレッドゲイン値寄与(302a、aziGain、305a、eleGain、309a、aziGainExtd、311a、eleGainExtd、aziGain(naz)、eleGain(nel))に基づくスプレッドゲイン(314a、g_spd)を用いて、または前記スプレッドゲイン(314a、g_spd)を前記スプレッドオブジェクトスピーカーゲインとして用いて、前記スプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を得るステップ(1530)と、を含む請求項38から41のいずれか一項に記載の方法。
【請求項44】
コンピュータ上で実行されると、請求項38から43のいずれか一項に記載の方法を実行するためのコンピュータプログラム。
【請求項45】
オブジェクト位置情報(210、1210、azi、ele)およびスプレッド情報(212、1212)に基づき、1つまたは複数のオーディオオブジェクト信号(1260)を複数のスピーカー信号(1262a~1262c)に含めるためのスピーカーゲイン(214、1214、1214a~1214c)を決定するためのオーディオオブジェクトレンダラー(200、1200)であって、
前記オーディオオブジェクトレンダラーは、オーディオオブジェクトの点音源パンニング(202、1230)を用いてパンニング済みオブジェクトスピーカーゲイン(202a、1232、g)を得るように構成され、前記オーディオオブジェクトは前記点音源パンニングにおいて点音源とみなされ、前記スプレッド情報は無視され、単一スピーカーがオーディオオブジェクトのプレイバックについて選択されるかまたはオーディオオブジェクトが前記オーディオオブジェクトに最も近い複数のスピーカーに分配され、
前記パンニング済みオブジェクトスピーカーゲインは、前記オブジェクト位置情報に基づいていて、
前記オーディオオブジェクトレンダラーは、前記オブジェクト位置情報(210、1210、azi、ele)および前記スプレッド情報(212、1212)に基づき、前記オーディオオブジェクトを拡張領域にわたって広げ、スプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を得るように構成され、
前記オーディオオブジェクトレンダラーは、前記パンニング済みオブジェクトスピーカーゲイン(202a、1232、g)および前記スプレッドオブジェクトスピーカーゲイン(206a、1242、gOS)を組み合わせて、前記パンニング済みオブジェクトスピーカーゲインの寄与が常にあり、組み合わせにおける前記パンニング済みオブジェクトスピーカーゲインの寄与が非ゼロであるように組み合わされたスピーカーゲイン(214、1214、1214a~1214c)を得るように構成され、
前記スプレッドオブジェクトスピーカーゲインの決定では前記オーディオオブジェクトの拡張を考慮し、
前記オーディオオブジェクトレンダラーは、前記オーディオオブジェクトの点音源パンニングと前記オーディオオブジェクト信号の広がりとの両方に基づいて組み合わされたスピーカーゲインを与えるように構成され、
前記スプレッドオブジェクトスピーカーゲインの決定では、前記パンニング済みオブジェクトスピーカーゲインの決定よりも多数のスピーカーにわたって前記オーディオオブジェクトを広げる、オーディオオブジェクトレンダラー(200、1200)。
【国際調査報告】