特表 2024-535065 オーディオ要素のレンダリング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-26

(54)【発明の名称】オーディオ要素のレンダリング

(51)【国際特許分類】

   H04S 7/00 20060101AFI20240918BHJP

【ＦＩ】

H04S7/00 320

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024517180

(86)(22)【出願日】2022-10-11

(85)【翻訳文提出日】2024-05-15

(86)【国際出願番号】 EP2022078174

(87)【国際公開番号】W WO2023061972

(87)【国際公開日】2023-04-20

(31)【優先権主張番号】63/254,318

(32)【優先日】2021-10-11

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】598036300

【氏名又は名称】テレフオンアクチーボラゲット エルエム エリクソン（パブル）

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】モラディ， アシュール チャムラン

(72)【発明者】

【氏名】ファルク， トミー

(72)【発明者】

【氏名】デ ブルーイン， ウェルナー

【テーマコード（参考）】

5D162

【Ｆターム（参考）】

5D162AA07

5D162AA11

5D162CA01

5D162CD25

5D162DA04

5D162EG04

(57)【要約】

オーディオ要素（例えば、空間的に異種のオーディオ要素）をレンダリングするための方法であって、前記オーディオ要素はある範囲を有し、中央仮想スピーカを備える仮想スピーカのセットを用いて表される、方法。この方法は、リスナーの位置に基づいて、中央仮想スピーカの位置を選択すること、および／または中央仮想スピーカの減衰係数を計算することを含む。
【選択図】 図８

【特許請求の範囲】

【請求項1】

オーディオ要素をレンダリングするための方法（８００）であって、前記オーディオ要素は、範囲（２００）を有し、中央仮想スピーカ（２０３）を含む仮想スピーカ（２０２、２０３、２０４）のセットを用いて表現され、前記方法は、
リスナーの位置に基づいて、前記中央仮想スピーカの位置を選択するステップ、および、前記中央仮想スピーカの減衰係数を計算するステップ、のうちの少なくともいずれかを含む（ｓ８０２）、方法。

【請求項2】

前記方法は、前記リスナーの前記位置に基づいて前記中央仮想スピーカの前記位置を選択するステップを有し、前記リスナーの前記位置に基づいて前記中央仮想スピーカの前記位置を選択するステップは、
前記リスナーの前記位置と、ｉ）前記オーディオ要素のまたは前記オーディオ要素の前記範囲に基づいて決定された範囲の、第１の端点、または、ｉｉ）第１の仮想スピーカ、の位置とに基づいて、第１の角度を決定するステップと、
前記リスナーの前記位置と、ｉ）前記オーディオ要素のまたは前記範囲の、第２の端点、または、ｉｉ）第２の仮想スピーカ、の位置、とに基づいて、第２の角度を決定するステップと、
前記第１の角度および前記第２の角度を用いて前記中央仮想スピーカの第１の座標Ｍｘを計算するステップであって、前記中央仮想スピーカの前記選択された位置が、前記計算された第１の座標によって少なくとも部分的に指定されるステップと、
を含む、請求項１に記載の方法。

【請求項3】

前記リスナーの前記位置に基づいて前記中央仮想スピーカの前記位置を選択するステップは、
前記リスナーの前記位置と、ｉ）前記オーディオ要素のまたは前記範囲の第３の端点の、位置、またはｉｉ）第３の仮想スピーカ、とに基づいて、第３の角度を決定するステップと、
前記リスナーの前記位置と、ｉ）前記オーディオ要素のまたは前記範囲の、第４の端点、またはｉｉ）第４の仮想スピーカ、の位置とに基づいて、第４の角度を決定するステップと、
前記第３の角度および前記第４の角度を用いて前記中央仮想スピーカの第２の座標Ｍｙを計算するステップであって、前記選択された位置は、前記計算された第１の座標および第２の座標によって少なくとも部分的に指定されるステップと、
を更に含む、請求項２に記載の方法。

【請求項4】

前記第１の角度および前記第２の角度を用いて前記中央仮想スピーカの前記第１の座標Ｍｘを計算するステップは、
前記第１の角度および前記第２の角度を用いて前記第１の係数α１を決定するステップと、
前記第１の端点と前記第２の端点との間、または前記第１の仮想スピーカと前記第２の仮想スピーカとの間、に延びる直線上の、決定されたアンカーポイントの位置を指定する際に使用される座標をＡｘ、前記直線の中点を指定する際に使用される座標をＭＰｘとするとき、Ｍｘ＝（α１＊Ａｘ）＋（（１－α１）＊ＭＰｘ）を計算するステップと、
を含む、請求項２または３に記載の方法。

【請求項5】

前記第１の角度および前記第２の角度を用いてα１を決定するステップは、
前記第１の角度および前記第２の角度を用いて第１の重みｘｍ＿ｗを計算するステップと、前記第１の角度および前記第２の角度を用いて第２の重みｚｍ＿ｗを計算するステップと、ｘｍ＿ｗおよびｚｍ＿ｗに基づいてα１を求めるステップと、を含む、請求項４に記載の方法。

【請求項6】

ｘｍ＿ｗおよびｚｍ＿ｗに基づいてα１を求めるステップは、
所定の係数をｄとするとき、ｄ＊ｘｍ＿ｗ＊ｚｍ＿ｗが１未満であるかを判定するステップと、
ｄ＊ｘｍ＿ｗ＊ｚｍ＿ｗが１未満でなければα１を１に設定し、そうでなければα１をｄ＊ｘｍ＿ｗ＊ｚｍ＿ｗに設定するステップと、
含む、請求項５に記載の方法。

【請求項7】

前記第１の角度をλ、前記第２の角度をβとするとき、
前記第１の角度および前記第２の角度を用いてｘｍ＿ｗを計算するステップは、
ｘｍ＿ｗ＝ｓｉｎ（λ）／ｓｉｎ（β）またはｘｍ＿ｗ＝ｓｉｎ（β）／ｓｉｎ（λ）
を計算するステップを含む、請求項５または６に記載の方法。

【請求項8】

前記第１の角度および前記第２の角度を用いてｚｍ＿ｗを計算するステップは、
ｚｍ＿ｗ＝ｓｉｎ（（λ＋β）／２）
を計算するステップを含む、請求項５、６または７に記載の方法。

【請求項9】

前記第３の角度および前記第４の角度を用いて前記中央仮想スピーカの前記第２の座標Ｍｙを計算するステップは、
前記第３の角度および前記第４の角度を用いて第２の係数α２を求めるステップと、
前記第３の端点と前記第４の端点との間、または前記第３の仮想スピーカと前記第４の仮想スピーカとの間、に延びる直線上の決定されたアンカーポイントの位置を指定する際に使用される座標をＡｙ、前記直線の中点を指定する際に使用される座標をＭＰｙとするとき、
Ｍｙ＝（α２＊Ａｙ）＋（（１－α２）＊ＭＰｙ）
を計算するステップと、
を含む、請求項３に記載の方法。

【請求項10】

前記方法は、前記リスナーの前記位置に基づいて前記中央仮想スピーカの前記位置を選択するステップを有し、前記リスナーの前記位置に基づいて前記中央仮想スピーカの前記位置を選択するステップは、
１）前記オーディオ要素の、または前記オーディオ要素の前記範囲に基づいて決定された範囲の、第１の点と、前記オーディオ要素の、または前記範囲の、第２の点との間、または、２）第１の仮想スピーカと第２の仮想スピーカとの間、の第１の直線上の位置点を選択するステップであって、
ｉ）前記リスナーの前記位置から前記第１の点または前記第１の仮想スピーカまで延びる第２の直線と、ｉｉ）前記リスナーの前記位置から前記第１の直線上の前記選択された位置点まで延びる第３の直線との間の角度が、ｉ）前記リスナーの前記位置から前記第２の点または前記第２の仮想スピーカまで延びる第４の直線と、ｉｉ）前記第３の直線との間の角度に等しくなるように、前記位置点を選択するステップ、
を含む、請求項１に記載の方法。

【請求項11】

前記位置点を選択するステップは、
前記第２の直線の長さをｖ、
前記第３の直線の長さをｗ、
前記第１の点または前記第１の仮想スピーカの座標をＲｅ、
前記第２の点または前記第２の仮想スピーカの座標をＬｅ、
とするとき、
Ｍ＝（ｖ＊Ｒｅ＋ｗ＊Ｌｅ）／（ｖ＋ｗ）、
を計算することによって、前記位置点の座標Ｍを計算するステップを含む、請求項１０に記載の方法。

【請求項12】

前記選択された位置点に前記中央仮想スピーカを配置するステップを更に有する、請求項１０または１１に記載の方法。

【請求項13】

前記方法は、前記リスナーの前記位置に基づいて前記中央仮想スピーカの減衰係数を計算するステップを有し、前記リスナーの前記位置に基づいて前記中央仮想スピーカの減衰係数を計算するステップは、
前記リスナーの前記位置と、ｉ）前記オーディオ要素の第１の端点の、または前記オーディオ要素の前記範囲に基づいて決定された範囲の、位置、または、ｉｉ）第１の仮想スピーカの位置とに基づいて、第１の角度を決定するステップと、
前記リスナーの前記位置と、前記オーディオ要素の、または前記範囲の第２の端点の、位置、または、ｉｉ）第２の仮想スピーカの位置とに基づいて、第２の角度を決定するステップと、
前記第１の角度をλ、前記第２の角度をβ、前記減衰係数をεとするとき、ε＝ｓｉｎ（λ）／ｓｉｎ（β）またはε＝ｓｉｎ（β）／ｓｉｎ（λ）を計算するステップと、
を含む、請求項１から１２のいずれか１項に記載の方法。

【請求項14】

前記中央仮想スピーカの信号Ｘを修正して、Ｘ’＝ε＊Ｘとなるように、修正された中央仮想スピーカ信号Ｘ’を生成するステップと、前記修正された中央仮想スピーカ信号を用いて前記オーディオ要素をレンダリングするステップを更に有する、請求項１３に記載の方法。

【請求項15】

前記仮想スピーカのセットは、
前記第１の端点に配置された第１の仮想スピーカと、前記第２の端点に配置された第２の仮想スピーカとを更に含み、前記方法は、前記仮想スピーカの前記位置を識別する情報を用いて前記オーディオ要素をレンダリングするステップを更に有する、
請求項２から１４のいずれか１項に記載の方法。

【請求項16】

前記仮想スピーカのセットは、
前記第１の端点に配置された第１の仮想スピーカと、前記第２の端点に配置された第２の仮想スピーカと、前記第３の端点に配置された第３の仮想スピーカと、前記第４の端点に配置された第４の仮想スピーカとを更に含み、前記方法は、前記仮想スピーカの前記位置を識別する情報を用いて前記オーディオ要素をレンダリングするステップを更に有する、
請求項３または９に記載の方法。

【請求項17】

前記方法は、前記リスナーの前記位置に基づいて前記中央仮想スピーカの前記位置を選択するステップを有し、前記リスナーの前記位置に基づいて前記中央仮想スピーカの前記位置を選択するステップは、
前記リスナーの前記位置から前記オーディオ要素の位置までの距離を求めるステップと、
前記求められた距離がしきい値より大きいかを判定するステップと、
前記求められた距離が前記しきい値よりも大きいと判定した結果として、前記オーディオ要素の中点または前記オーディオ要素の前記範囲に基づいて決定された範囲の中点の位置を選択するステップと、
を含む、請求項１に記載の方法。

【請求項18】

前記方法は、前記リスナーの前記位置に基づいて前記中央仮想スピーカの前記位置を選択するステップを有し、前記リスナーの前記位置に基づいて前記中央仮想スピーカの前記位置を選択するステップは、
ｉ）前記リスナーの座標を示すリスナー情報を取得するステップと、
ｉｉ）前記オーディオ要素に関連する第１の点と前記オーディオ要素に関連する第２の点との間の中点の座標を示す中点情報を取得するステップと、
ｉｉｉ）前記中点情報および前記リスナー情報に基づいて前記中央仮想スピーカの前記位置を選択するステップと、
を含む、請求項１に記載の方法。

【請求項19】

前記中点情報および前記リスナー情報に基づいて前記中央仮想スピーカの前記位置を選択するステップは、
ｉ）アンカーポイントの座標を決定するステップと、
ｉｉ）前記中点情報と、前記決定された前記アンカーポイントの座標を示すアンカー情報とに基づいて、前記中央仮想スピーカの前記位置を選択するステップと、
を含む、請求項１８に記載の方法。

【請求項20】

ｉ）前記中点情報は前記中点の前記座標を示す中点値ＭＰを含み、ｉｉ）前記アンカー情報は前記アンカーポイントの前記座標を示すアンカー値Ａを含み、ｉｉｉ）前記中点情報と前記アンカー情報とに基づいて前記中央仮想スピーカの前記位置を選択するステップは、ＭＰおよびＡを用いて前記中央スピーカの座標値Ｍを計算するステップを含む、請求項１９に記載の方法。

【請求項21】

前記アンカー値Ａは、前記リスナーの前記示された座標に依存する、請求項２０に記載の方法。

【請求項22】

前記リスナーの前記示された座標をＬとするとき、Ａ＝Ｌである、請求項２１に記載の方法。

【請求項23】

前記リスナーの前記示された座標に依存する係数をαとするとき、ＭＰおよびＡを用いてＭを計算するステップはＭ＝α＊Ａ＋（１－α）＊ＭＰを計算するステップを含む、請求項２０、２１、または２２に記載の方法。

【請求項24】

前記リスナー情報は前記リスナーの第２の座標を更に示し、前記中点情報は前記中点の第２の座標を更に示し、前記中点情報および前記リスナー情報に基づいて前記中央仮想スピーカの前記位置を選択するステップは、前記リスナーの前記第２の座標と前記中点の前記第２の座標とに基づいて前記中央仮想スピーカの第２の座標を決定するステップを更に含む、請求項１８から２３のいずれか１項に記載の方法。

【請求項25】

第１の仮想スピーカが前記第１の点に配置され、第２の仮想スピーカが前記第２の点に配置され、
前記方法は、前記仮想スピーカの前記位置を識別する情報を用いて前記オーディオ要素をレンダリングするステップを更に含む、請求項１０または１８から２４のいずれか１項に記載の方法。

【請求項26】

前記中央仮想スピーカの前記位置に基づいて、前記中央仮想スピーカの中央仮想スピーカ信号を生成するステップと、
前記中央仮想スピーカ信号を用いて前記オーディオ要素をレンダリングするステップと、
を更に含む、請求項１から２５のいずれか１項に記載の方法。

【請求項27】

オーディオレンダラ（１４００）の処理回路（１４０２）によって実行されると、前記オーディオレンダラに請求項１から２６のいずれか１項に記載の方法を実行させる命令（１４４４）を含む、コンピュータプログラム（１４４３）。

【請求項28】

請求項２７に記載のコンピュータプログラムを含むキャリアであって、前記キャリアは、電気信号、光信号、無線信号、およびコンピュータ読取り可能な記憶媒体（１４４２）のうちの１つである、キャリア。

【請求項29】

オーディオ要素をレンダリングするためのオーディオレンダリング装置（１４００）であって、前記オーディオ要素は、範囲（２００）を有し、中央仮想スピーカ（２０３）を含む仮想スピーカ（２０２、２０３、２０４）のセットを用いて表現され、
リスナーの位置に基づいて、前記中央仮想スピーカの位置を選択するステップ、および、前記中央仮想スピーカの減衰係数を計算するステップ、のうちの少なくともいずれかを行う（ｓ８０２）、ように構成されている、オーディオレンダリング装置。

【請求項30】

前記オーディオレンダリング装置は、
前記リスナーの前記位置と、ｉ）前記オーディオ要素のまたは前記オーディオ要素の前記範囲に基づいて決定された範囲の、第１の端点、または、ｉｉ）第１の仮想スピーカ、の位置とに基づいて、第１の角度を決定するステップと、
前記リスナーの前記位置と、ｉ）前記オーディオ要素のまたは前記範囲の、第２の端点、または、ｉｉ）第２の仮想スピーカ、の位置、とに基づいて、第２の角度を決定するステップ、
前記第１の角度および前記第２の角度を用いて前記中央仮想スピーカの第１の座標Ｍｘを計算するステップであって、前記中央仮想スピーカの前記選択された位置が、前記計算された第１の座標によって少なくとも部分的に指定されるステップと、
によって、前記リスナーの前記位置に基づいて前記中央仮想スピーカの前記位置を選択する、ように構成されている、請求項２９に記載のオーディオレンダリング装置。

【請求項31】

前記リスナーの前記位置に基づいて前記中央仮想スピーカの前記位置を選択するステップは、
前記リスナーの前記位置と、ｉ）前記オーディオ要素のまたは前記範囲の第３の端点の、位置、またはｉｉ）第３の仮想スピーカ、とに基づいて、第３の角度を決定するステップと、
前記リスナーの前記位置と、ｉ）前記オーディオ要素のまたは前記範囲の、第４の端点、またはｉｉ）第４の仮想スピーカ、の位置とに基づいて、第４の角度を決定するステップと、
前記第３の角度および前記第４の角度を用いて前記中央仮想スピーカの第２の座標Ｍｙを計算するステップであって、前記選択された位置は、前記計算された第１の座標および第２の座標によって少なくとも部分的に指定される、ステップと、
を更に含む、請求項３０に記載のオーディオレンダリング装置。

【請求項32】

前記第１の角度および前記第２の角度を用いて前記中央仮想スピーカの前記第１の座標Ｍｘを計算するステップは、
前記第１の角度および前記第２の角度を用いて前記第１の係数α１を決定するステップと、
前記第１の端点と前記第２の端点との間、または前記第１の仮想スピーカと前記第２の仮想スピーカとの間、に延びる直線上の、決定されたアンカーポイントの位置を指定する際に使用される座標をＡｘ、前記直線の中点を指定する際に使用される座標をＭＰｘとするとき、Ｍｘ＝（α１＊Ａｘ）＋（（１－α１）＊ＭＰｘ）を計算するステップと、
を含む、請求項３０または３１に記載のオーディオレンダリング装置。

【請求項33】

前記第１の角度および前記第２の角度を用いてα１を決定するステップは、
前記第１の角度および前記第２の角度を用いて第１の重みｘｍ＿ｗを計算するステップと、前記第１の角度および前記第２の角度を用いて第２の重みｚｍ＿ｗを計算するステップと、ｘｍ＿ｗおよびｚｍ＿ｗに基づいてα１を求めるステップと、を含む、請求項３２に記載のオーディオレンダリング装置。

【請求項34】

ｘｍ＿ｗおよびｚｍ＿ｗに基づいてα１を求めるステップは、
所定の係数をｄとするとき、ｄ＊ｘｍ＿ｗ＊ｚｍ＿ｗが１未満であるかを判定するステップと、
ｄ＊ｘｍ＿ｗ＊ｚｍ＿ｗが１未満でなければα１を１に設定し、そうでなければα１をｄ＊ｘｍ＿ｗ＊ｚｍ＿ｗに設定するステップと、
を含む、請求項３３に記載のオーディオレンダリング装置。

【請求項35】

前記第１の角度をλ、前記第２の角度をβとするとき、
前記第１の角度および前記第２の角度を用いてｘｍ＿ｗを計算するステップは、
ｘｍ＿ｗ＝ｓｉｎ（λ）／ｓｉｎ（β）またはｘｍ＿ｗ＝ｓｉｎ（β）／ｓｉｎ（λ）
を計算するステップを含む、請求項３３または３４に記載のオーディオレンダリング装置。

【請求項36】

前記第１の角度および前記第２の角度を用いてｚｍ＿ｗを計算するステップは、
ｚｍ＿ｗ＝ｓｉｎ（（λ＋β）／２）
を計算するステップを含む、請求項３３、３４または３５に記載のオーディオレンダリング装置。

【請求項37】

前記第３の角度および前記第４の角度を用いて前記中央仮想スピーカの前記第２の座標Ｍｙを計算するステップは、
前記第３の角度および前記第４の角度を用いて第２の係数α２を求めるステップと、
前記第３の端点と前記第４の端点との間、または前記第３の仮想スピーカと前記第４の仮想スピーカとの間、に延びる直線上の決定されたアンカーポイントの位置を指定する際に使用される座標をＡｙ、前記直線の中点を指定する際に使用される座標をＭＰｙとするとき、
Ｍｙ＝（α２＊Ａｙ）＋（（１－α２）＊ＭＰｙ）
を計算するステップと、
を含む、請求項３１に記載のオーディオレンダリング装置。

【請求項38】

１）前記オーディオ要素の、または前記オーディオ要素の前記範囲に基づいて決定された範囲の、第１の点と、前記オーディオ要素の、または前記範囲の、第２の点との間、または、２）第１の仮想スピーカと第２の仮想スピーカとの間、の第１の直線上の位置点を選択するステップであって、
ｉ）前記リスナーの前記位置から前記第１の点または前記第１の仮想スピーカまで延びる第２の直線と、ｉｉ）前記リスナーの前記位置から前記第１の直線上の前記選択された位置点まで延びる第３の直線との間の角度が、ｉ）前記リスナーの前記位置から前記第２の点または前記第２の仮想スピーカまで延びる第４の直線と、ｉｉ）前記第３の直線との間の角度に等しくなるように、前記位置点を選択するステップ、
を行うことにより、前記リスナーの前記位置に基づいて前記中央仮想スピーカの前記位置を選択するように構成されている、請求項２９に記載のオーディオレンダリング装置。

【請求項39】

前記位置点を選択するステップは、
前記第２の直線の長さをｖ、
前記第３の直線の長さをｗ、
前記第１の点または前記第１の仮想スピーカの座標をＲｅ、
前記第２の点または前記第２の仮想スピーカの座標をＬｅ、
とするとき、
Ｍ＝（ｖ＊Ｒｅ＋ｗ＊Ｌｅ）／（ｖ＋ｗ）、
を計算することによって、前記位置点の座標Ｍを計算するステップを含む、請求項３８に記載のオーディオレンダリング装置。

【請求項40】

前記オーディオレンダリング装置は、前記選択された位置点に前記中央仮想スピーカが位置するように更に構成されている、請求項３８または３９に記載のオーディオレンダリング装置。

【請求項41】

前記リスナーの前記位置と、ｉ）前記オーディオ要素の第１の端点の、または前記オーディオ要素の前記範囲に基づいて決定された範囲の、位置、または、ｉｉ）第１の仮想スピーカの位置とに基づいて、第１の角度を決定するステップと、
前記リスナーの前記位置と、前記オーディオ要素の、または前記範囲の第２の端点の、位置、または、ｉｉ）第２の仮想スピーカの位置とに基づいて、第２の角度を決定するステップと、
前記第１の角度をλ、前記第２の角度をβ、前記減衰係数をεとするとき、ε＝ｓｉｎ（λ）／ｓｉｎ（β）またはε＝ｓｉｎ（β）／ｓｉｎ（λ）を計算するステップと、
を行うことにより、前記リスナーの前記位置に基づいて前記中央仮想スピーカの前記減衰係数を計算する、ように構成されている、請求項２９から４０のいずれか１項に記載のオーディオレンダリング装置。

【請求項42】

前記中央仮想スピーカの信号Ｘを修正して、Ｘ’＝ε＊Ｘとなるように、修正された中央仮想スピーカ信号Ｘ’を生成し、前記修正された中央仮想スピーカ信号を用いて前記オーディオ要素をレンダリングする、ように更に構成されている、請求項４１に記載のオーディオレンダリング装置。

【請求項43】

前記仮想スピーカのセットは、
前記第１の端点に配置された第１の仮想スピーカと、前記第２の端点に配置された第２の仮想スピーカとを更に含み、前記方法は、前記仮想スピーカの前記位置を識別する情報を用いて前記オーディオ要素をレンダリングするステップを更に有する、請求項３０から４２のいずれか１項に記載のオーディオレンダリング装置。

【請求項44】

前記仮想スピーカのセットは、
前記第１の端点に配置された第１の仮想スピーカと、前記第２の端点に配置された第２の仮想スピーカと、前記第３の端点に配置された第３の仮想スピーカと、前記第４の端点に配置された第４の仮想スピーカとを更に含み、前記方法は、前記仮想スピーカの前記位置を識別する情報を用いて前記オーディオ要素をレンダリングするステップを更に有する、
請求項３１または３７に記載のオーディオレンダリング装置。

【請求項45】

前記リスナーの前記位置から前記オーディオ要素の位置までの距離を求めるステップと、
前記求められた距離がしきい値より大きいかを判定するステップと、
前記求められた距離が前記しきい値よりも大きいと判定した結果として、前記オーディオ要素の中点または前記オーディオ要素の前記範囲に基づいて決定された範囲の中点の位置を選択するステップと、
を行うことにより、前記リスナーの前記位置に基づいて前記中央仮想スピーカの前記位置を選択する、ように構成されている、請求項２９に記載のオーディオレンダリング装置。

【請求項46】

ｉ）前記リスナーの座標を示すリスナー情報を取得するステップと、
ｉｉ）前記オーディオ要素に関連する第１の点と前記オーディオ要素に関連する第２の点との間の中点の座標を示す中点情報を取得するステップと、
ｉｉｉ）前記中点情報および前記リスナー情報に基づいて前記中央仮想スピーカの前記位置を選択するステップと、
を行うことにより、前記リスナーの前記位置に基づいて前記中央仮想スピーカの前記位置を選択する、ように構成されている、請求項２９に記載のオーディオレンダリング装置。

【請求項47】

前記中点情報および前記リスナー情報に基づいて前記中央仮想スピーカの前記位置を選択するステップは、
ｉ）アンカーポイントの座標を決定するステップと、
ｉｉ）前記中点情報と、前記決定された前記アンカーポイントの座標を示すアンカー情報とに基づいて、前記中央仮想スピーカの前記位置を選択するステップと、
を含む、請求項４６に記載のオーディオレンダリング装置。

【請求項48】

ｉ）前記中点情報は前記中点の前記座標を示す中点値ＭＰを含み、ｉｉ）前記アンカー情報は前記アンカーポイントの前記座標を示すアンカー値Ａを含み、ｉｉｉ）前記中点情報と前記アンカー情報とに基づいて前記中央仮想スピーカの前記位置を選択するステップは、ＭＰおよびＡを用いて前記中央スピーカの座標値Ｍを計算するステップを含む、請求項４７に記載のオーディオレンダリング装置。

【請求項49】

前記アンカー値Ａは、前記リスナーの前記示された座標に依存する、請求項４８に記載のオーディオレンダリング装置。

【請求項50】

前記リスナーの前記示された座標をＬとするとき、Ａ＝Ｌである、請求項４９に記載のオーディオレンダリング装置。

【請求項51】

前記リスナーの前記示された座標に依存する係数をαとするとき、ＭＰおよびＡを用いてＭを計算するステップはＭ＝α＊Ａ＋（１－α）＊ＭＰを計算するステップを含む、請求項４８、４９、または５０に記載のオーディオレンダリング装置。

【請求項52】

前記リスナー情報は前記リスナーの第２の座標を更に示し、前記中点情報は前記中点の第２の座標を更に示し、前記中点情報および前記リスナー情報に基づいて前記中央仮想スピーカの前記位置を選択するステップは、前記リスナーの前記第２の座標と前記中点の前記第２の座標とに基づいて前記中央仮想スピーカの第２の座標を決定するステップを更に含む、請求項４６から５１のいずれか１項に記載のオーディオレンダリング装置。

【請求項53】

第１の仮想スピーカが前記第１の点に配置され、第２の仮想スピーカが前記第２の点に配置され、
前記方法は、前記仮想スピーカの前記位置を識別する情報を用いて前記オーディオ要素をレンダリングするステップを更に含む、請求項３８または４６から５１のいずれか１項に記載のオーディオレンダリング装置。

【請求項54】

前記中央仮想スピーカの前記位置に基づいて、前記中央仮想スピーカの中央仮想スピーカ信号を生成し、
前記中央仮想スピーカ信号を用いて前記オーディオ要素をレンダリングする、
ように更に構成されている、請求項２９から５３のいずれか１項に記載のオーディオレンダリング装置。

【発明の詳細な説明】

【技術分野】

【0001】

オーディオ要素のレンダリングに関する実施形態が開示される。

【背景技術】

【0002】

空間オーディオレンダリングは、エクステンデッドリアリティ（ＸＲ）シーン（例えば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）シーン）内にオーディオを提示するために使用されるプロセスであり、特定の位置においてシーン内の物理的な音源から音が到来し、かつ、特定のサイズおよび形状（すなわち、範囲（extent））を有するかのような印象をリスナーに与える。提示は、ヘッドフォンスピーカまたはその他のスピーカを介して行われうる。提示がヘッドフォンスピーカを介して行われる場合、使用される処理は、バイノーラルレンダリングと呼ばれ、どの方向から音が到来しているかを特定することを可能にする人間の空間的聴力の空間的手がかり（spatial cues）を使用する。手がかりは、両耳間時間遅延（ＩＴＤ）、両耳間レベル差（ＩＬＤ）、および／またはスペクトル差を伴う。

【0003】

空間オーディオレンダリングの最も一般的な形態は、各音源が１つの特定の点から音を発するものと定義される点音源の概念に基づくものである。各音源は、１つの特定の点から音を発するように定義されるので、音源はいかなるサイズや形状を有しない。範囲（サイズおよび形状）を有する音源をレンダリングするために、異なる方法が開発されている。

【0004】

１つのそのような既知の方法は、オーディオ要素の周りの位置にモノラルオーディオ要素の複数のコピーを作成することである。この構成は、特定のサイズを有する空間的に均質な物体の知覚を作り出す。この概念は例えば、ＭＰＥＧ－Ｈ ３Ｄ Ａｕｄｉｏ標準規格（参考文献［１］および［２］を参照）の「オブジェクト拡散（object spread）」および「オブジェクト発散（object divergence）」特徴、ならびにＥＢＵ Ａｕｄｉｏ Ｄｅｆｉｎｉｔｉｏｎ Ｍｏｄｅｌ（ＡＤＭ）標準規格（参考文献［４］を参照）の「オブジェクト発散」特徴において使用される。モノラルオーディオ音源を使用するこのアイデアは、参考文献［７］に記載されているようにさらなる開発がされており、そこではサウンドオブジェクトの面積体積ジオメトリがリスナーの周りの球上に投射され、球上のオブジェクトの幾何学的投射をカバーする全てのＨＲフィルタの積分として評価される一対の頭部関連（ＨＲ）フィルタを用いて、サウンドがリスナーにレンダリングされる。球状体積音源の場合、この積分は分析解を有する。しかしながら、任意の面積体積音源ジオメトリの場合、積分は、いわゆるモンテカルロ光線サンプリングを用いて、球上の投影された音源表面をサンプリングすることによって評価される。

【0005】

別のレンダリング方法は、モノラルオーディオ信号に加えて空間的に拡散する成分をレンダリングするものであり、それは、原モノラルオーディオ要素とは対照的に、別個のピンポイント位置を有さない、幾分拡散するオブジェクトの知覚を作り出す。この概念は、例えば、ＭＰＥＧ－Ｈ ３Ｄ Ａｕｄｉｏ標準規格の「オブジェクト拡散性（object diffuseness）」特徴（参考文献［３］参照）およびＥＢＵ ＡＤＭの「オブジェクト拡散性」特徴（参考文献［５］参照）において使用される。

【0006】

上記の２つの方法の組合せも知られている。例えば、ＥＢＵ ＡＤＭの「オブジェクト範囲（object extent）」特徴は、モノラルオーディオ要素の複数のコピーの作成を、拡散成分の追加と組み合わせる（参考文献［６］参照）。

【0007】

多くの場合、オーディオ要素の実際の形状は基本的な形状（例えば、球体またはボックス）で十分に説明することができる。しかし、実際の形状はより複雑であり、より詳細な形式（例えば、メッシュ構造またはパラメトリック記述形式）で記述される必要がある場合がある。

【0008】

しかしながら、これらの方法は、別個の空間的に不均一な特性を有するオーディオ要素、すなわち、その空間的範囲内にある量の空間音源変動を有するオーディオ要素のレンダリングを可能にはしない。多くの場合、これらの音源は、多数の音源（例えば、森の音または歓声を上げる群衆の音）の総和で構成される。これらの既知の解決策の大部分は、空間的に均質な（すなわち、要素内に空間的な変動がない）、または空間的に拡散した特徴を有するオブジェクトを作成することができるだけであり、空間的に拡散した特徴は、説得力のある方法で上記の例のいくつかをレンダリングするにはあまりにも限られている。

【0009】

異種オーディオ要素の場合、参照文献［８］に記載されているように、オーディオ要素はその範囲にわたる空間変動を記述するために、少なくとも２つのオーディオチャネル（すなわち、オーディオ信号）を含む。これらの異種オーディオ要素をレンダリングするための技法が存在し、オーディオ要素はマルチチャネルオーディオ記録によって表され、レンダリングはいくつかの仮想スピーカを用いて、オーディオ要素およびその中の空間的変動を表す。オーディオ要素の範囲に対応する位置に仮想スピーカを配置することによって、オーディオ要素から発せられるオーディオの錯覚を伝えることができる。

【0010】

空間的異種オーディオ要素の妥当な空間的レンダリングを達成するために必要とされる仮想スピーカの個数は、オーディオ要素の範囲に依存する。空間的異種オーディオ要素が小さいか、またはリスナーからある距離にある場合、２スピーカセットアップで十分な場合がある。しかしながら、図１に示されるように、リスナーに大きく及び／又は近いオーディオ要素については、２スピーカセットアップがあまりに疎であり、スピーカが遠く離れて配置されるので、左スピーカ（ＳＰ－Ｌ）と右スピーカ（ＳＰ－Ｒ）との間に心理音響ホール（psychoacoustical hole）を引き起こす可能性がある。３台目のセンタースピーカを追加することは、この効果を改善するのに役立つ。このため、ほとんどの標準化されたマルチチャネルスピーカセットアップではセンタースピーカが使用される。空間的異種オーディオ要素をレンダリングする最も簡単な方法はそのオーディオチャネルの各々を仮想スピーカとして表すことによるものであるが、スピーカの数はオーディオチャネルの数よりも少なくてもよいし多くてもよい。仮想スピーカの個数がオーディオチャネルの個数よりも少ない場合、各仮想スピーカの信号を導出するために、ダウンミキシングステップが必要とされる。仮想スピーカの個数がオーディオチャネルの個数よりも多い場合、各仮想スピーカの信号を導出するために、アップミキシングステップが必要とされる。１つの実装は、固定位置で２つの仮想スピーカを単に使用することである。

【発明の概要】

【発明が解決しようとする課題】

【0011】

現在、いくつかの課題が存在する。例えば、空間的異種オーディオ要素をレンダリングすることは、通常、いくつかの仮想スピーカを使用することを必要とする。多数のスピーカを使用することは範囲の均等に分散されたオーディオ表現を有するために有益でありうるが、音源信号が限られた数のチャネル（例えば、ステレオ信号）を有するとき、多数のスピーカへアップサンプリングすることは、より多くのスピーカを用いても空間品質が増加しない問題を引き起こしうる。また、多数の仮想スピーカを使用することは、望ましくない高い複雑さをもたらす。一方、あまりに少ない仮想スピーカを使用すると、オーディオ要素の空間特性が著しく損なわれ、レンダリングはもはや対応するオーディオ要素を良好に表すことができなくなる可能性がある。したがって、空間的異種オーディオ要素をレンダリングするために仮想スピーカの個数を選択することは、複雑さと品質との間のトレードオフである。

【0012】

２つのスピーカ間の心理音響ホールの前述の問題は周知であり、リスナーがスピーカのスイートスポットに正確に位置していない場合に特に問題となる。例えば、ホームシアターの使用のために設計された典型的なマルチスピーカセットアップは、リスナーがスイートスポットの周囲のどこかに位置するという前提のもとに構築される。これらのシステムでは左右のフロントスピーカの中央にセンタースピーカが配置されることが多いが、ＸＲのオーディオレンダリングの場合、リスナーが６自由度で自由に動き回ることができるとき、静的スピーカセットアップは理想的ではない。特に、リスナーが音源の範囲に近づくと、心理音響ホールの問題が強調されうる。

【0013】

したがって、限られた数のスピーカで、どのようなリスニング位置でも機能する良好な空間表現を提供する静的スピーカセットアップを設計することには問題がある。

【課題を解決するための手段】

【0014】

したがって、一態様では、オーディオ要素（たとえば、空間的異種オーディオ要素）をレンダリングするための方法が提供される。オーディオ要素は、範囲を有し、中央仮想スピーカを含む仮想スピーカのセットを用いて表現される。方法は、リスナーの位置に基づいて、中央仮想スピーカの位置を選択するステップ、および、中央仮想スピーカの減衰係数を計算するステップ、のうちの少なくともいずれかを含む。

【0015】

別の態様では、オーディオレンダラの処理回路によって実行されると、オーディオレンダラに上述の方法を実行させる命令を含むコンピュータプログラムが提供される。一実施形態では、コンピュータプログラムを含むキャリアが提供される。キャリアは、電気信号、光信号、無線信号、およびコンピュータ読取り可能な記憶媒体のうちの１つである。別の態様では、上述の方法を実行するように構成されたレンダリング装置が提供される。レンダリング装置は、メモリと、メモリに結合された処理回路とを含みうる。

【0016】

本明細書に開示される実施形態の利点はそれらが、ある範囲を有する空間的異種オーディオ要素をレンダリングするための仮想スピーカの配置のための適応方法を提供することである。実施形態は、範囲にわたる空間分布が少数の仮想スピーカを用いて保存されるように、範囲の中央を表す仮想スピーカの位置を現在のリスナー位置に適応させることを可能にする。オーディオ要素の範囲にわたってスピーカを均等に分配するより単純な方法と比較して、実施形態は、多数の仮想スピーカを使用することなく、すべての聴取位置に対して機能するより効率的な解決策を提供する。

【図面の簡単な説明】

【0017】

本明細書に組み込まれ、本明細書の一部を形成する添付の図面は、様々な実施形態を示す。

【0018】

【図1】心理音響ホールを示す図。

【0019】

【図2A】例示的な仮想スピーカセットアップを示す図。

【0020】

【図2B】心理音響ホールを生じうる例示的な仮想スピーカセットアップを示す図。

【0021】

【図3】例示的な仮想スピーカセットアップを示す図。

【0022】

【図4】中央スピーカが端部スピーカの近くに配置される例示的な仮想スピーカセットアップを示す図。

【0023】

【図5】中央スピーカの好ましい位置がどのように決定されうるかの一実施形態を示す図。

【0024】

【図6】中央スピーカの好ましい位置がどのように決定されうるかの別の実施形態を示す図。

【0025】

【図7】オーディオ要素範囲が矩形形状であるときに、中央スピーカの好ましい位置がどのように決定されうるかの一実施形態を示す図。

【0026】

【図8】いくつかの実施形態による処理を示すフローチャート。

【0027】

【図9】いくつかの実施形態による処理を示すフローチャート。

【0028】

【図10】いくつかの実施形態による処理を示すフローチャート。

【0029】

【図11A】いくつかの実施形態によるシステムを示す図。

【図11B】いくつかの実施形態によるシステムを示す図。

【0030】

【図12】いくつかの実施形態によるシステムを示す図。

【0031】

【図13】は、一実施形態による信号修正器を示す図。

【0032】

【図14】いくつかの実施形態による装置のブロック図。

【発明を実施するための形態】

【0033】

本開示はとりわけ、範囲を有するオーディオ要素（たとえば、あるサイズおよび形状を有する空間的に異種のオーディオ要素）を表すために使用される仮想ラウドスピーカ（または略して「スピーカ」）の位置を適応させるための様々な方法を提案する。いくつかの（例えば、２つ以上の）スピーカを用いてオーディオ要素の外側端部を表し、オーディオ要素の端部またはオーディオ要素を表す簡略化された形状の端部の間に適応的に配置された少なくとも１つのスピーカ（以下、「中央スピーカ（middle speaker）」）を使用することによって、少数のスピーカを用いてオーディオ要素の範囲にわたって知覚的に均等に分配されたオーディオエネルギーを用いて最適化されたレンダリングを達成することができる。さらに、余分な中央スピーカおよびサイドスピーカのうちの１つとのオーバーラップに起因する望ましくない過剰エネルギーの潜在的な問題に対処する。

【0034】

概要

【0035】

目的は、どの聴取位置に対しても、音が範囲にわたって均等に分散されたようにリスナーによって知覚されるように、範囲を有するオーディオ要素をレンダリングすることである。実施形態は、可能な限り少ないスピーカを使用して心理音響ホールの問題を回避または低減する。

【0036】

いくつかの実施形態では、オーディオ要素の端部を表すスピーカのセットと、オーディオ要素の中央を表すように適応的に配置される中央スピーカとが、オーディオ要素をレンダリングするために使用され、中央スピーカの配置および／または中央スピーカの減衰係数（例えば、利得係数）は、リスニング位置（例えば、オーディオ要素に対する仮想空間内のリスナーの位置）を考慮に入れる。

【0037】

そのようなレンダリングセットアップの一例が図２Ａに示されており、これは、オーディオ要素を表す範囲２００を示す。オーディオ要素を表す範囲２００は、オーディオ要素の範囲であってもよいし（すなわち、範囲２００はオーディオ要素の実際の範囲と同じサイズおよび形状を有する）、オーディオ要素の範囲（例えば、線または長方形）から導出される簡略化された範囲であってもよい。国際特許出願ＷＯ２０２１１８０８２０号は、そのような簡略化された範囲を生成するためのさまざまな方法を記載している。

【0038】

図２Ａは、左スピーカ２０２が範囲２００の左端点２１２に位置し、右スピーカ２０４が範囲の右端点２１４に位置し、中央スピーカ２０３が左端点と右端点との間のどこかに位置することをさらに示す。

【0039】

有利には、一実施形態では、リスナーがオーディオ要素から少なくともある距離（Ｄ）にあるとき、範囲の第１の端点と第２の端点との間の中点（ＭＰ）２２０またはその近くに中央スピーカ２０３が配置されるように、中央スピーカ２０３の位置決めが制御される。距離Ｄは、典型的には範囲２００のサイズに依存する。

【0040】

図２Ｂに示されるように、リスナーがオーディオ要素の近くに移動するとき、中央スピーカ２０３を中点２２０またはその付近に維持することは、心理音響ホール２４０に関する問題につながり得る。したがって、この状況では、中央スピーカ２０３が図３に示されるように、新しい位置に移動され、その結果、均一な空間分布が維持される。

【0041】

中央スピーカの適応配置

【0042】

本明細書のいくつかの実施形態は、リスナーの位置に基づいて、中央スピーカ２０３を適応的に位置決めする。多くの状況において、目的はオーディオ要素のための選択された「アンカーポイント」上に中央スピーカを配置することであり、このアンカーポイントは、リスナーと共に移動することができる。例えば、一実施形態では、アンカーポイントは、リスナーに最も近い範囲２００の点である。しかし、他の実施形態では、アンカーポイントは異なるように定義することができる。国際特許出願ＷＯ２０２１１８０８２０は、オーディオ要素のためのアンカーポイントを選択するための異なる方法を記載している。しかしながら、中央スピーカをアンカーポイント上に配置することは有利とは言えない状況がある。

【0043】

例えば、リスナーがオーディオ要素の端部の１つに近いとき、中央スピーカがアンカーポイント上に配置された場合、中央スピーカおよび対応するサイドスピーカは重なり合い、図４に示されるように、対応するサイドからのエネルギーの望ましくない増加をもたらす。この状況では、より均等に分散されたオーディオエネルギーを有するために、中央スピーカを、左右の端点（例えば、左右のスピーカの位置）の間の中点により近く配置することが有利である。

【0044】

別の例として、リスナーとオーディオ要素との間の距離がしきい値（このしきい値はオーディオ要素の範囲に依存し得る）よりも大きいとき、実験は、中央スピーカを中点２２０により近く配置することが知覚的により重要な出力を与えることを示す。

【0045】

要約すると、リスナーが範囲に近いが範囲の端部の１つには接近していなければ、通常は、中央スピーカをアンカーポイントに配置することが好ましい。他のリスニング位置において、好ましい中央スピーカ位置は、中点２２０またはその付近である。

【0046】

したがって、提案する実施形態は、現在の聴取位置に応じて位置を最適化する、中央スピーカの適応配置を提供する。

【0047】

より具体的には、一実施形態では、アンカー位置が端部スピーカのうちの１つに近いとき、中央スピーカをアンカーポイントに配置することが回避される。したがって、アンカーポイント（Ａ）５９０（図５参照）を考慮することに加えて、中央スピーカ２０３の位置決めは、中点（ＭＰ）２２０にも依存し得る。

【0048】

一実施形態では、線５９９上の、範囲２００の１つの端点（例えば、左端点２１２）から範囲２００の別の端点（例えば、右端点２１４）に向かう、「Ｍ」５９１で示される中央スピーカ２０３の好ましい位置では、式（１）を用いて計算される。
Ｍ＝α＊Ａ＋（１－α）＊ＭＰ （式１）
ここで、Ａは線５９９上のアンカーポイントの位置であり、ＭＰは線５９９上の中点の位置であり、α∈［０，１］は、線５９９上の中央スピーカの位置決めにおけるアンカーポイントおよび中点の重みを制御する係数である。

【0049】

αの値は、リスナーが範囲に近く、範囲の端部に近くないとき、Ｍはアンカーポイントの近くまたは上にあり（α→１）、リスナーが範囲２００の端部に近いまたは範囲から遠いとき、Ｍは中点の近くまたは上にある（α→０）ようなものである。したがって、αは、同時に、ｘ方向およびｚ方向の両方におけるリスナーの動きを考慮に入れる。点Ｍ５９１が決定されると、中央スピーカ２０３は、点Ｍに「配置」されうる。すなわち、中央スピーカ２０３の位置は点Ｍに設定される。

【0050】

一実施形態において、αは、ｘｍ＿ｗおよびｚｍ＿ｗの２つの変数の関数である。すなわち、
α＝ｆ（ｘｍ＿ｗ、ｚｍ＿ｗ） （式２）

【0051】

第１の変数ｘｍ＿ｗは、リスナーのｘ方向の動きを反映する重みであり、ｚｍ＿ｗ、リスナーのｚ方向の動きを反映する重みである。図５に示すパラメータβおよびλは、ｘｍ＿ｗおよびｚｍ＿ｗの値を設定するために使用される。

【0052】

一実施形態において、ｘｍ＿ｗは、λおよびβの関数である。すなわち、

【数1】

【0053】

式３および図５から、範囲２００のいずれかの端部に向かってリスナーが移動すると、λ→０またはβ→０となり、したがって、ｘｍ＿ｗ→０であることがわかる。同様に、リスナーが中央に向かって移動すると、λおよびβは互いに近づき、ｘｍ＿ｗは１に近づく。

【0054】

Ｚ方向の重みｚｍ＿ｗも、λおよびβの関数である。すなわち、
ｚｍ＿ｗ＝ｆ２（λ，β）＝ｓｉｎ（（λ＋β）／２） （式４）

【0055】

式（４）および図５から、リスナーが範囲に近づくほどλおよびβが大きくなり、非常に近い距離では、λ＋βが１８０度に近づき、したがってｚｍ＿ｗは１に近づき、リスナーが範囲から遠ざかるほどλおよびβが小さくなり、したがってｚｍ＿ｗが０に近づくことがわかる。

【0056】

一実施形態において、αは次式により定義される。
α＝ｆ３（ｘｍ＿ｗ，ｚｍ＿ｗ）＝ｍｉｎ（１，ｄ＊ｘｍ＿ｗ＊ｚｍ＿ｗ） （式５）

【0057】

ここで、d∈（０，＋∞）は、ファクタαを制御するチューニングファクタである。実験によれば、ｄ≒２．２が望ましい結果が得られる。上記のαの導出は、範囲に対するリスナーの相対位置を表す情報を用いる単なる１つの方法である。λおよびβを用いる他の方法（例えば、λおよびβのコサインまたはタンジェント）、または、範囲に対するリスナーの相対位置を反映することができる他のパラメータ（例えば、リスナー、中点、アンカーポイント、範囲の左右端、の座標）を使用してαを導出してもよい。

【0058】

リスナーがオーディオ要素の端にいるときの過剰なエネルギーに対処するための別のアプローチは、その位置を変更する代わりに、中央スピーカを通して再生される信号のエネルギーを減衰させることでありうる。すなわち、中央スピーカ２０３はアンカーポイントに配置されるが、中央スピーカ２０３のためのオーディオ信号はリスナーがオーディオ要素の端部に近づくときに減衰される。そうするために、図５に記載の角度は、以下のように使用されうる。

【数2】

【0059】

ここで、Ｘは中央スピーカ２０３のオリジナルの時間ドメインオーディオ信号であり、Ｘ’は中央スピーカ２０３によって再生される時間ドメイン信号である。このアプローチによれば、過剰エネルギー問題が軽減されるものの、オーディオ要素の空間的知覚は改善されない場合がある。

【0060】

等角度に基づく中央スピーカの適応配置

【0061】

別の実施形態において、中央スピーカの配置が左右の端点に対する角度によってのみ制御される。図６において、これらの角度は、それぞれφ＝λ＋θおよびΦ＝β－θである。一実施形態において、Φ＝φとなるように点Ｍ５９１が選択される。リスナーとアンカーポイントとの間の距離（ｄＡ）が既知である場合、点Ｍ５９１から点２１２までの距離（ｄＭ）は、ｄＭ＝ｄＡ＊（ｔａｎ（λ）＋ｔａｎ（θ））を計算することによって求めることができ、したがって、点Ｍのｘ座標は、左端点２１２＋ｄＭのｘ座標に等しい。

【0062】

ｄＡは未知であるが、ｖ（リスナーと左端点２１２との距離）およびｗ（リスナーと右端点２１４との間の距離）が既知である場合、点Ｍの位置は、Ｍ＝（ｖ＊Ｒｅ＋ｗ＊Ｌｅ）／（ｖ＋ｗ）を計算することによって求めることができる。ただし、Ｒｅは右端点２１４のｘ座標、Ｌｅは左端点２１２のｘ座標である。

【0063】

中央スピーカの２次元における適応配置

【0064】

上で提供された例は、１次元のオーディオ要素範囲を示すものであった。上述の技法は例えば、図７に示される範囲７００のような２次元のオーディオ要素範囲にも適用される。この例では、範囲７００が矩形形状を有し、４つの端点、すなわち、上端点７０１、右端点７０２、下端点７０３、および左端点７０４が定義される。この例では、各端点について、端点は、その端点が位置する辺の中点に位置する。したがって、左端点７０４は範囲７００の左上隅と左下隅との間のちょうど中間、右端点７０２は範囲７００の右上隅と右下隅との間のちょうど中間、上端点７０１は範囲７００の左上隅と右上隅との間のちょうど中間、下端点７０３は範囲７００の左下隅と右下隅との間のちょうど中間、の位置にある。

【0065】

一実施形態において、それぞれ定義された端点７０１～７０４について、スピーカをその点に配置することができる。したがって、一実施形態では、４つのスピーカがこの２次元平面７００の上端、下端、左端、および右端を表すために使用される。別の実施形態では、スピーカが平面７００の各隅点に配置される。

【0066】

加えて、中央スピーカを使用することもでき、既に説明したのと同じ原理を用いて中央スピーカを配置することができる。すなわち、以下を計算することにより、中央スピーカの座標（Ｍｘ，Ｍｙ）を求めることができる。
Ｍｘ＝αｘ＊Ａ１ｘ＋（１－αｘ）＊ＭＰｘ、
Ｍｙ＝αｙ＊Ａ２ｙ＋（１－αｙ）＊ＭＰｙ
ただし、αｘ＝ｆ３（ｘｍ＿ｗ，ｚｍ１＿ｗ）、αｙ＝ｆ３（ｙｍ＿ｗ，ｚｍ２＿ｗ）、Ａ１ｘはアンカーポイントＡ１のｘ座標、Ａ２ｙはアンカーポイントＡ２のｙ座標、ＭＰｘは中点のｘ座標、ＭＰｙは中点のｙ座標、ｘｍ＿ｗ＝ｆ１（λｘ，βｘ）、ｙｍ＿ｗ＝ｆ１（λｙ，βｙ）、ｚｍ１＿ｗ＝ｆ２（λｘ，βｘ）、ｚｍ２＿ｗ＝ｆ２（λｙ，βｙ）である。

【0067】

図８は、オーディオ要素（例えば、空間的に異種のオーディオ要素）をレンダリングするための、一実施形態による処理８００を示すフローチャートである。オーディオ要素は、範囲を有し、中央仮想スピーカを含む仮想スピーカのセットを用いて表される。処理８００は、ステップｓ８０２で開始される。ステップｓ８０２は、リスナーの位置に基づいて、中央仮想スピーカの位置を選択すること、および／または、中央仮想スピーカの減衰係数を計算することを含む。

【0068】

図９は、オーディオ要素（例えば、空間的に異種のオーディオ要素）をレンダリングするための、一実施形態による処理９００を示すフローチャートである。オーディオ要素は、範囲を有し、中央仮想スピーカを含む仮想スピーカのセットを用いて表される。処理９００は、ステップｓ９０２で開始される。

【0069】

ステップｓ９０２は、オーディオ要素のアンカーポイントを選択することを含む。典型的には、アンカーポイントは、オーディオ要素に関連する範囲の第１の端点（例えば、オーディオ要素の実際の範囲またはオーディオ要素の簡略化された範囲）を通過する直線上にあり、範囲の第２の端点およびアンカーポイントはリスナーの位置に依存する。オーディオ要素が複雑な範囲を有するいくつかの実施形態では、アンカーポイントを選択することはリスナー位置およびオーディオ要素の範囲に基づいてオーディオ要素の簡略化された範囲を作成するためのプロセスの一部である。

【0070】

ステップｓ９０４は、第１のスピーカ（例えば、右スピーカ）を配置するステップと、第２のスピーカ（例えば、左スピーカ）を配置するステップとを含む。すなわち、第１および第２のスピーカの位置が決定される。一実施形態において、スピーカが範囲の対向する端部に配置される。すなわち、左スピーカは範囲の左端点に位置し、右スピーカは範囲の右端点に位置する。オーディオ要素に関連付けられた範囲が長方形である実施形態では、スピーカは長方形の各隅に配置される。

【0071】

ステップｓ９０６は、２つのスピーカ間の中点を決定することを含む。

【0072】

ステップｓ９０８は、リスナーからアンカーポイントまでの直線とリスナーから左スピーカまでの直線との間の第１の角度（λ）と、リスナーからアンカーポイントまでの直線とリスナーから右スピーカまでの直線との間の第２の角度（β）とを求めることを含む（λおよびβの例を図５に示す）。

【0073】

ステップｓ９１０は、ｘ重み値（ｘｍ＿ｗ）およびｚ重み値（ｚｍ＿ｗ）を求めること（例えば、ｘｍ＿ｗ＝ｆ１（λ，β）およびｚｍ＿ｗ＝ｆ２（λ，β）を計算すること）を含む。

【0074】

ステップｓ９１２は、ｘｍ＿ｗおよびｚｍ＿ｗに基づいて係数（α）を決定することを含む。すなわち、αはｘｍ＿ｗとｚｍ＿ｗの関数である（例えば、α＝ｆ３（ｘｍ＿ｗ，ｚｍ＿ｗ））。

【0075】

ステップｓ９１４は、Ｍ＝α＊Ａ＋（１－α）＊ＭＰを計算することを含む。ここで、Ｍは中央スピーカの好ましい位置のｘ座標、Ａはアンカーポイントのｘ座標、ＭＰは左右のスピーカ間の中点のｘ座標である。

【0076】

図１０は、オーディオ要素（例えば、空間的に異種のオーディオ要素）をレンダリングするための、一実施形態による処理１０００を示すフローチャートである。オーディオ要素は、範囲を有し、中央仮想スピーカを含む仮想スピーカのセットを用いて表される。処理１０００は、ステップｓ１００２で開始される。

【0077】

ステップｓ１００２は、オーディオ要素のアンカーポイントを選択することを含む（上記のステップｓ９０２を参照）。

【0078】

ステップｓ１００４は、第１のスピーカ（例えば、右スピーカ）を配置するステップと、第２のスピーカ（例えば、左スピーカ）を配置するステップとを含む。すなわち、第１および第２のスピーカの位置が決定される（上記のステップｓ９０４を参照）。

【0079】

ステップｓ１００６は、リスナーからアンカーポイントまでの直線とリスナーから左スピーカまでの直線との間の第１の角度（λ）と、リスナーからアンカーポイントまでの直線とリスナーから右スピーカまでの直線との間の第２の角度（β）とを求めることを含む（λおよびβの例を図５に示す）。

【0080】

ステップｓ１００８は、λおよびβを用いてゲインファクタ（ｇ）を計算することを含む。例えば、ｇ＝ｆ４（λ，β）である。

【0081】

ステップｓ１０１０は、ゲインファクタ（ｇ）を用いて中央スピーカの信号（Ｘ）を処理して、修正信号Ｘ’を生成することを含む。例えば、Ｘ’＝ｇ＊Ｘである。

【0082】

使用例

【0083】

図１１Ａは、本明細書に開示される実施形態が適用されうるＸＲシステム１１００を示す。ＸＲシステム１１００は、スピーカ１１０４および１１０５（リスナーによって装着されるヘッドホンのスピーカでありうる）と、画像をユーザに表示するためのディスプレイを含み、いくつかの実施形態ではリスナーによって装着されるように構成されるＸＲデバイス１１１０とを含む。図示のＸＲシステム１１００において、ＸＲデバイス１１１０は、ディスプレイを有しユーザの頭部に装着されるように設計されたものであり、一般にヘッドマウントディスプレイ（ＨＭＤ）と呼ばれる。

【0084】

図１１Ｂに示されるように、ＸＲデバイス１１１０は、出力オーディオ信号（例えば、図示されるように、左スピーカのための左オーディオ信号１１８１および右スピーカのための右オーディオ信号１１８２）を生成するためにオーディオレンダ１１５１に（直接または間接的に）結合された、方位検知部１１０１と、位置検知部１１０２と、処理部１１０３とを備えうる。

【0085】

方位検知部１１０１は、リスナーの向きの変化を検出し、検出された変化に関する情報を処理部１１０３に提供するように構成される。いくつかの実施形態では、処理１１０３は、方位検知部１１０１によって検出された向きの検出された変化を考慮して、（いくつかの座標系に関して）絶対方位を決定する。また、例えば、ライトハウス（lighthouse）トラッカー（ライダー）を使用するシステムなど、向きおよび位置を判定するための異なるシステムが存在しうる。一実施形態では、方位検知部１１０１は、検出された向きの変化が与えられた場合、（ある座標系に関連して）絶対方位を決定することができる。この場合、処理部１１０３は、方位検知部１１０１からの絶対方位データと位置検知部１１０２からの位置データとを単に多重化することができる。いくつかの実施形態では、方位検知部１１０１は、１つ以上の加速度計および／または１つ以上のジャイロスコープを備えうる。

【0086】

オーディオレンダラ１１５１は、入力オーディオ信号１１６１と、リスナーが経験しているＸＲシーンに関するメタデータ１１６２と、リスナーの位置および向きに関する情報１１６３とに基づいて、オーディオ出力信号を生成する。ＸＲシーンのためのメタデータ１１６２は、ＸＲシーンに含まれる各オブジェクトおよびオーディオ要素のためのメタデータを含み、オブジェクトのためのメタデータは、オブジェクトの次元に関する情報を含みうる。メタデータ１１６２はまた、残響時間値、残響レベル値、吸収パラメータなどのうちの少なくともいずれかの制御情報を含みうる。オーディオレンダラ１１５１は、ＸＲデバイス１１１０の構成要素であってもよいし、ＸＲデバイス１１１０に対してリモートにあってもよい（例えば、オーディオレンダラ１１５１またはその構成要素がいわゆる「クラウド」に実装されうる）。

【0087】

図１２は、ＸＲシーンのためのサウンドを生成するためのオーディオレンダラ１１５１の例示的な実装形態を示す。オーディオレンダラ１１５１は、コントローラ１２０１と、コントローラ１２０１からの制御情報１２１０に基づいてオーディオ信号１１６１（例えば、マルチチャネルオーディオ要素のオーディオ信号）を修正するための信号修正器１２０２とを含む。コントローラ１２０１は、１つ以上のパラメータを受信し、受信されたパラメータに基づいてオーディオ信号１１６１の修正を実行する（例えば、音量レベルを増減させる）ように信号修正器１２０２をトリガするように構成されうる。受信されたパラメータは、リスナーの位置および／または方位（例えば、オーディオ要素に対する方向および距離）に関する情報１１６３と、ＸＲシーン内のオーディオ要素（例えば、範囲２００）に関するメタデータ１１６２とを含む（いくつかの実施形態では、コントローラ１２０１それ自体がメタデータ１１６２を生成する）。メタデータおよび位置／方向情報を用いて、コントローラ１２０１は本明細書で説明するように、ＸＲシーン内のオーディオ要素の１つ以上のゲインファクタ（ｇ）（減衰ファクタとしても知られる）を計算することができる。

【0088】

図１３は、一実施形態による信号修正器１２０２の例示的な実装を示す。信号修正器１２０２は、方向ミキサー１３０４と、ゲイン調整器１３０６と、スピーカ信号生成器１３０８とを含む。

【0089】

方向ミキサーは、オーディオ入力１１６１を受信し、この例では、オーディオ要素（例えば、範囲２００または７００に関連付けられたオーディオ要素）に関連付けられた一対のオーディオ信号１３０１および１３０２を含み、オーディオ入力および制御情報１３９１に基づいて、ｋ個の仮想スピーカ信号（ＶＳ１、ＶＳ２、…、ＶＳｋ）のセットを生成する。一実施形態において、各仮想スピーカの信号が例えば、オーディオ入力１１６１を含む信号の適切な混合によって導出されうる。例えば、ＶＳ１＝α×Ｌ＋β×Ｒである。ただし、Ｌは入力オーディオ信号１３０１、Ｒは入力オーディオ信号１３０２、αおよびβは例えば、オーディオ要素に対するリスナーの位置およびＶＳ１が対応する仮想スピーカの位置に依存する係数である。

【0090】

ゲイン調整器１３０６は、コントローラ１３０１によって計算された上述のゲインファクタを含みうる制御情報１３９２に基づいて、仮想スピーカ信号のうちの任意の１つ以上のゲインを調整することができる。すなわち、例えば、中央スピーカ２０３が別のスピーカ（例えば、図４に示す左スピーカ２０２）の近くに配置されるとき、コントローラ１３０１は、ゲイン調整器１３０６に上述のように計算されたゲインファクタを与えることによって、中央スピーカ２０３に対する仮想スピーカ信号のゲインを調整するようにゲイン調整器１３０６を制御しうる。

【0091】

仮想スピーカ信号ＶＳ１、ＶＳ２、…、ＶＳｋを用いて、スピーカ信号生成器１３０８は、スピーカ（例えば、ヘッドホンスピーカまたは他のスピーカ）を駆動するための出力信号（例えば、出力信号１１８１および出力信号１１８２）を生成する。スピーカがヘッドホンスピーカである一実施形態では、スピーカ信号生成器１３０８は、出力信号を生成するために従来のバイノーラルレンダリングを実行することができる。スピーカがヘッドホンスピーカではない実施形態では、スピーカ信号生成器は、出力信号を生成するために従来のスピーカパンニングを実行することができる。

【0092】

図１４は、いくつかの実施形態による、本明細書に開示される方法を実行するための、オーディオレンダリング装置１４００のブロック図である（例えば、オーディオレンダラ１１５１は、オーディオレンダリング装置１４００を用いて実装されうる）。図１４に示すように、オーディオレンダリング装置１４００は、処理回路（ＰＣ）１４０２を備える。処理回路（ＰＣ）１４０２は、１つ以上のプロセッサ（Ｐ）１４５５（例えば、汎用マイクロプロセッサおよび／または特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの１つ以上の他のプロセッサ）を含みうる。複数のプロセッサは、単一の筐体内または単一のデータセンタ内に共同配置されてもよいし、地理的に分散されてもよい（すなわち、オーディオレンダリング装置１４００は分散コンピューティング装置でありうる）。オーディオレンダリング装置１４００は、少なくとも１つのネットワークインタフェース１４４８を備える。少なくとも１つのネットワークインタフェース１４４８は、ネットワークインタフェース１４４８が（直接的または間接的に）接続されるネットワーク１１０（例えば、インターネットプロトコル（ＩＰ）ネットワーク）に接続された他のノードにデータを送受信することを可能にするための、送信機（Ｔｘ）１４４５および受信機（Ｒｘ）１４４７を備えうる。その場合、ネットワークインターフェース１４４８は、ネットワーク１１０にワイヤレスに接続されうる。ネットワークインタフェース１４４８は、アンテナ装置と、１つ以上の不揮発性記憶装置および／または１つ以上の揮発性記憶装置を含みうる記憶部（「データ記憶システム」とも呼ばれる）１４０８とに接続される。ＰＣ１４０２がプログラマブルプロセッサを含む実施形態では、コンピュータ読取り可能な記憶媒体（ＣＲＭ）１４４２が提供されうる。ＣＲＭ１４４２は、コンピュータ読取り可能な命令（ＣＲＩ）１４４４を含むコンピュータプログラム（ＣＰ）１４４３を格納する。ＣＲＭ１４４２は、磁気媒体（例えば、ハードディスク）、光媒体、メモリデバイス（例えば、ランダムアクセスメモリ、フラッシュメモリ）などの非一時的コンピュータ読取り可能な記憶媒体でありうる。いくつかの実施形態では、コンピュータプログラム１４４３のＣＲＩ１４４４がＰＣ１４０２によって実行されるとＣＲＩがオーディオレンダリング装置１４００に、本明細書で説明するステップ（例えば、フローチャートを参照して本明細書で説明するステップ）を実行させるように構成される。他の実施形態では、オーディオレンダリング装置１４００がコードを必要とせずに、本明細書で説明するステップを実行するように構成されうる。すなわち、例えば、ＰＣ１４０２は、１つ以上のＡＳＩＣのみから構成されうる。したがって、本明細書で説明される実施形態の特徴は、ハードウェアおよびソフトウェアの少なくともいずれかによって実装されうる。

【0093】

様々な実施形態の概要

【0094】

Ａ１．オーディオ要素（例えば、空間的に異種のオーディオ要素）をレンダリングするための方法であって、前記オーディオ要素は、範囲を有し、中央仮想スピーカを含む仮想スピーカのセットを用いて表現され、前記方法は、リスナーの位置に基づいて、前記中央仮想スピーカの位置を選択するステップ、および、前記中央仮想スピーカの減衰係数を計算するステップ、のうちの少なくともいずれかを含む、方法。

【0095】

Ａ２．前記方法は、前記リスナーの前記位置に基づいて前記中央仮想スピーカの前記位置を選択するステップを有し、前記リスナーの前記位置に基づいて前記中央仮想スピーカの前記位置を選択するステップは、前記リスナーの前記位置と、ｉ）前記オーディオ要素のまたは前記オーディオ要素の前記範囲に基づいて決定された範囲の、第１の端点、または、ｉｉ）第１の仮想スピーカ、の位置とに基づいて、第１の角度を決定するステップと、前記リスナーの前記位置と、ｉ）前記オーディオ要素のまたは前記範囲の、第２の端点、または、ｉｉ）第２の仮想スピーカ、の位置、とに基づいて、第２の角度を決定するステップと、前記第１の角度および前記第２の角度を用いて前記中央仮想スピーカの第１の座標Ｍｘを計算するステップであって、前記中央仮想スピーカの前記選択された位置が、前記計算された第１の座標によって少なくとも部分的に特定されるステップ、とを含む、実施形態Ａ１の方法。

【0096】

Ａ３．前記リスナーの前記位置に基づいて前記中央仮想スピーカの前記位置を選択するステップは、前記リスナーの前記位置と、ｉ）前記オーディオ要素のまたは前記範囲の第３の端点の、位置、またはｉｉ）第３の仮想スピーカ、とに基づいて、第３の角度を決定するステップと、前記リスナーの前記位置と、ｉ）前記オーディオ要素のまたは前記範囲の、第４の端点、またはｉｉ）第４の仮想スピーカ、の位置とに基づいて、第４の角度を決定するステップと、 記第３の角度および前記第４の角度を用いて、前記中央仮想スピーカの第２の座標Ｍｙを計算するするステップであって、前記選択された位置は、前記計算された第１および第２の座標によって少なくとも部分的に指定されるステップと、を更に含む、実施形態Ａ２に記載の方法。

【0097】

Ａ４．前記第１の角度および前記第２の角度を用いて前記中央仮想スピーカの前記第１の座標Ｍｘを計算するステップは、前記第１の角度および前記第２の角度を用いて前記第１の係数α１を決定するステップと、前記第１の端点と前記第２の端点との間、または前記第１の仮想スピーカと前記第２の仮想スピーカとの間、に延びる直線上の、決定されたアンカーポイントの位置を指定する際に使用される座標をＡｘ、前記直線の中点を指定する際に使用される座標をＭＰｘとするとき、Ｍｘ＝（α１＊Ａｘ）＋（（１－α１）＊ＭＰｘ）を計算するステップと、を含む、実施形態Ａ２またはＡ３に記載の方法。

【0098】

Ａ５．前記第１の角度および前記第２の角度を用いてα１を決定するステップは、前記第１の角度および前記第２の角度を用いて第１の重みｘｍ＿ｗを計算するステップと、前記第１の角度および前記第２の角度を用いて第２の重みｚｍ＿ｗを計算するステップと、ｘｍ＿ｗおよびｚｍ＿ｗに基づいてα１を求めるステップと、を含む、実施形態Ａ４に記載の方法。

【0099】

Ａ６．ｘｍ＿ｗおよびｚｍ＿ｗに基づいてα１を求めるステップは、所定の係数をｄとするとき、ｄ＊ｘｍ＿ｗ＊ｚｍ＿ｗが１未満であるかを判定するステップと、ｄ＊ｘｍ＿ｗ＊ｚｍ＿ｗが１未満でなければα１を１に設定し、そうでなければα１をｄ＊ｘｍ＿ｗ＊ｚｍ＿ｗに設定するステップと、含む、実施形態Ａ５に記載の方法。

【0100】

Ａ７．前記第１の角度をλ、前記第２の角度をβとするとき、前記第１の角度および前記第２の角度を用いてｘｍ＿ｗを計算するステップは、ｘｍ＿ｗ＝ｓｉｎ（λ）／ｓｉｎ（β）またはｘｍ＿ｗ＝ｓｉｎ（β）／ｓｉｎ（λ）を計算するステップを含む、実施形態Ａ５またはＡ６に記載の方法。

【0101】

Ａ８．前記第１の角度および前記第２の角度を用いてｚｍ＿ｗを計算するステップは、ｚｍ＿ｗ＝ｓｉｎ（（λ＋β）／２）を計算するステップを含む、実施形態Ａ５、Ａ６またはＡ７に記載の方法。

【0102】

Ａ９．前記第３の角度および前記第４の角度を用いて前記中央仮想スピーカの前記第２の座標Ｍｙを計算するステップは、前記第３の角度および前記第４の角度を用いて第２の係数α２を求めるステップと、前記第３の端点と前記第４の端点との間（または前記第３の仮想スピーカと前記第４の仮想スピーカとの間）に延びる直線上の決定されたアンカーポイントの位置を指定する際に使用される座標をＡｙ、前記直線の中点を指定する際に使用される座標をＭＰｙとするとき、Ｍｙ＝（α２＊Ａｙ）＋（（１－α２）＊ＭＰｙ）を計算するステップと、を含む、実施形態Ａ３に記載の方法。

【0103】

Ａ１０．前記方法は、前記リスナーの前記位置に基づいて前記中央仮想スピーカの前記位置を選択するステップを有し、前記リスナーの前記位置に基づいて前記中央仮想スピーカの前記位置を選択するステップは、１）前記オーディオ要素の、または前記オーディオ要素の前記範囲に基づいて決定された範囲の、第１の点（例えば、第１の端点）と、前記オーディオ要素の、または前記範囲の、第２の点（例えば、第２の端点）との間、または、２）第１の仮想スピーカと第２の仮想スピーカとの間、の第１の直線上の位置点を選択するステップであって、ｉ）前記リスナーの前記位置から前記第１の点（または前記第１の仮想スピーカ）まで延びる第２の直線と、ｉｉ）前記リスナーの前記位置から前記第１の直線上の前記選択された位置点まで延びる第３の直線との間の角度が、ｉ）前記リスナーの前記位置から前記第２の点（または前記第２の仮想スピーカ）まで延びる第４の直線と、ｉｉ）前記第３の直線との間の角度に等しくなるように、前記位置点を選択するステップ、を含む、実施形態Ａ１の方法。

【0104】

Ａ１１．前記位置点を選択するステップは、前記第２の直線の長さをｖ、前記第３の直線の長さをｗ、前記第１の点または前記第１の仮想スピーカの座標をＲｅ、前記第２の点または前記第２の仮想スピーカの座標をＬｅ、とするとき、Ｍ＝（ｖ＊Ｒｅ＋ｗ＊Ｌｅ）／（ｖ＋ｗ）、を計算することによって、前記位置点の座標Ｍを計算するステップを含む、実施形態Ａ１０に記載の方法。

【0105】

Ａ１２．前記選択された位置点に前記中央仮想スピーカを配置するステップを更に有する、実施形態Ａ１０またはＡ１１に記載の方法。

【0106】

Ａ１３．前記方法は、前記リスナーの前記位置に基づいて前記中央仮想スピーカの減衰係数を計算するステップを有し、前記リスナーの前記位置に基づいて前記中央仮想スピーカの減衰係数を計算するステップは、前記リスナーの前記位置と、ｉ）前記オーディオ要素の第１の端点の、または前記オーディオ要素の前記範囲に基づいて決定された範囲の、位置、または、ｉｉ）第１の仮想スピーカの位置とに基づいて、第１の角度を決定するステップと、前記リスナーの前記位置と、前記オーディオ要素の、または前記範囲の第２の端点、の位置、または、ｉｉ）第２の仮想スピーカの位置とに基づいて、第２の角度を決定するステップと、前記第１の角度をλ、前記第２の角度をβ、前記減衰係数をεとするとき、ε＝ｓｉｎ（λ）／ｓｉｎ（β）またはε＝ｓｉｎ（β）／ｓｉｎ（λ）を計算するステップと、を含む、実施形態Ａ１～Ａ１２のいずれか１つに記載の方法。

【0107】

Ａ１４．前記中央仮想スピーカの信号Ｘを修正して、Ｘ’＝ε＊Ｘとなるように、修正された中央仮想スピーカ信号Ｘ’を生成するステップと、前記修正された中央仮想スピーカ信号を用いて前記オーディオ要素をレンダリングする（例えば、前記中央仮想スピーカ信号を用いて出力信号を生成する）ステップを更に有する、実施形態Ａ１３に記載の方法。

【0108】

Ａ１５．前記仮想スピーカのセットは、前記第１の端点に配置された第１の仮想スピーカと、前記第２の端点に配置された第２の仮想スピーカとを更に含み、前記方法は、前記仮想スピーカの前記位置を識別する情報を用いて前記オーディオ要素をレンダリングするステップを更に有する、実施形態Ａ２～Ａ１４のいずれか１つに記載の方法。

【0109】

Ａ１６．前記仮想スピーカのセットは、前記第１の端点（例えば、第１の隅点、または隅点の第１の対の間の中点である第１の点）に配置された第１の仮想スピーカと、前記第２の端点（例えば、第２の隅点、または隅点の別の対の間の中点である第２の点）に配置された第２の仮想スピーカと、前記第３の端点（例えば、第３の隅点、または隅点の別の対の間の中点である第３の点）に配置された第３の仮想スピーカと、前記第４の端点（例えば、第４の隅点、または隅点の別の対の間の中点である第４の点）に配置された第４の仮想スピーカとを更に含み、前記方法は、前記仮想スピーカの前記位置を識別する情報を用いて前記オーディオ要素をレンダリングするステップを更に有する、実施形態Ａ３またはＡ９に記載の方法。

【0110】

Ａ１７．前記方法は、前記リスナーの前記位置に基づいて前記中央仮想スピーカの前記位置を選択するステップを有し、前記リスナーの前記位置に基づいて前記中央仮想スピーカの前記位置を選択するステップは、前記リスナーの前記位置から前記オーディオ要素の位置までの距離を求めるステップと、前記求められた距離がしきい値より大きいかを判定するステップと、前記求められた距離が前記しきい値よりも大きいと判定した結果として、前記オーディオ要素の中点または前記オーディオ要素の前記範囲に基づいて決定された範囲の中点の位置を選択するステップと、を含む、実施形態Ａ１に記載の方法。

【0111】

Ａ１８．前記方法は、前記リスナーの前記位置に基づいて前記中央仮想スピーカの前記位置を選択するステップを有し、前記リスナーの前記位置に基づいて前記中央仮想スピーカの前記位置を選択するステップは、ｉ）前記リスナーの座標（例えば、ｘ座標）を示すリスナー情報を取得するステップと、ｉｉ）前記オーディオ要素に関連する第１の点（例えば、前記オーディオ要素に関連付けられた範囲の第１の端点）と前記オーディオ要素に関連する第２の点（例えば、前記範囲の第２の端点）との間の中点の座標（例えば、ｘ座標）を示す中点情報を取得するステップと、ｉｉｉ）前記中点情報および前記リスナー情報に基づいて前記中央仮想スピーカの前記位置を選択するステップと、を含む、実施形態Ａ１の方法。

【0112】

Ａ１９．前記中点情報および前記リスナー情報に基づいて前記中央仮想スピーカの前記位置を選択するステップは、ｉ）アンカーポイントの座標を決定するステップと、ｉｉ）前記中点情報と、前記決定された前記アンカーポイントの座標を示すアンカー情報とに基づいて、前記中央仮想スピーカの前記位置を選択するステップと、を含む、実施形態Ａ１８に記載の方法。

【0113】

Ａ２０．ｉ）前記中点情報は前記中点の前記座標を示す中点値ＭＰを含み、ｉｉ）前記アンカー情報は前記アンカーポイントの前記座標を示すアンカー値Ａを含み、ｉｉｉ）前記中点情報と前記アンカー情報とに基づいて前記中央仮想スピーカの前記位置を選択するステップは、ＭＰおよびＡを用いて前記中央スピーカの座標値Ｍを計算するステップを含む、実施形態Ａ１９に記載の方法。

【0114】

Ａ２１．前記アンカー値Ａは、前記リスナーの前記示された座標に依存する、実施形態Ａ２０に記載の方法。

【0115】

Ａ２２．前記リスナーの前記示された座標（図５及び図６に示すように、座標系は前記範囲がｘ軸に沿って延びるように、前記範囲に対して定義されうる）をＬとするとき、Ａ＝Ｌである、実施形態Ａ２１の方法。

【0116】

Ａ２３．前記リスナーの前記示された座標に依存する係数をαとするとき、ＭＰおよびＡを用いてＭを計算するステップはＭ＝α＊Ａ＋（１－α）＊ＭＰを計算するステップを含む、実施形態Ａ２０、Ａ２１、またはＡ２２に記載の方法。

【0117】

Ａ２４．前記リスナー情報は前記リスナーの第２の座標（例えば、ｙ座標）を更に示し、前記中点情報は前記中点の第２の座標（例えば、ｙ座標）を更に示し、前記中点情報および前記リスナー情報に基づいて前記中央仮想スピーカの前記位置を選択するステップは、前記リスナーの前記第２の座標と前記中点の前記第２の座標とに基づいて前記中央仮想スピーカの第２の座標を決定するステップを更に含む、実施形態Ａ１８～Ａ２３のいずれか１つに記載の方法。

【0118】

Ａ２５．第１の仮想スピーカが前記第１の点に配置され、第２の仮想スピーカが前記第２の点に配置され、前記方法は、前記仮想スピーカの前記位置を識別する情報を用いて前記オーディオ要素をレンダリングするステップを更に含む、実施形態Ａ１０またはＡ１８～Ａ２４のいずれか１つに記載の方法。

【0119】

Ａ２６．前記中央仮想スピーカの前記位置に基づいて、前記中央仮想スピーカの中央仮想スピーカ信号を生成するステップと、前記中央仮想スピーカ信号を用いて前記オーディオ要素をレンダリングする（例えば、前記中央仮想スピーカ信号を用いて出力信号を生成する）ステップと、を更に含む、実施形態Ａ１～Ａ２５のいずれか１つに記載の方法。

【0120】

Ｂ１．オーディオレンダラの処理回路によって実行されると、前記オーディオレンダラに上記実施形態のいずれか１つに記載の方法を実行させる命令を含む、コンピュータプログラム。

【0121】

Ｂ２．前記コンピュータプログラムを含むキャリアであって、前記キャリアは、電気信号、光信号、無線信号、およびコンピュータ読取り可能な記憶媒体のうちの１つである、キャリア。

【0122】

Ｃ１．上記実施形態のいずれか１つの方法を実行するように構成された、オーディオレンダリング装置。

【0123】

Ｃ２．前記オーディオレンダリング装置は、メモリと、前記メモリに結合された処理回路とを備える、実施形態Ｃ１に記載のオーディオレンダリング装置。

【0124】

様々な実施形態が本明細書に記載されているがそれらは、限定ではなく単なる例として提示されていることを理解されたい。したがって、本開示の幅および範囲は、上述の例示的な実施形態のいずれによって限定されるべきではない。さらに、本明細書に別段の指示がない限り、または文脈によって明らかに矛盾しない限り、そのすべての可能な変形形態における上記の目的の任意の組合せが、本開示によって包含される。

【0125】

加えて、上で説明され、図面に示された処理は、一連の工程として示されているが、これは単に例示のために行われたものである。したがって、何らかの工程が追加されてもよいし、いくつかの工程が省略されてもよいし、工程の順序が再配置されてもよいし、いくつかの工程が並行して実行されてもよい。

【0126】

参考文献

【0127】

［１］ＭＰＥＧ－Ｈ ３Ｄ オーディオ、第８．４．４．７節：「Ｓｐｒｅａｄｉｎｇ」

【0128】

［２］ＭＰＥＧ－Ｈ ３Ｄ オーディオ、第１８．１節：「Ｅｌｅｍｅｎｔ Ｍｅｔａｄａｔａ Ｐｒｅｐｒｏｃｅｓｓｉｎｇ」

【0129】

［３］ＭＰＥＧ－Ｈ ３Ｄ オーディオ、第１８．１１節：「Ｄｉｆｆｕｓｅｎｅｓｓ Ｒｅｎｄｅｒｉｎｇ」

【0130】

［４］ＥＢＵ ＡＤＭ Ｒｅｎｄｅｒｅｒ Ｔｅｃｈ ３３８８、第７．３．６節：「Ｄｉｖｅｒｇｅｎｃｅ」

【0131】

［５］ＥＢＵ ＡＤＭ Ｒｅｎｄｅｒｅｒ Ｔｅｃｈ ３３８８、Ｃｌａｕｓｅ ７．４：「Ｄｅｃｏｒｒｅｌａｔｉｏｎ Ｆｉｌｔｅｒｓ」

【0132】

［６］ＥＢＵ ＡＤＭ Ｒｅｎｄｅｒｅｒ Ｔｅｃｈ ３３８８、Ｃｌａｕｓｅ ７．３．７：「Ｅｘｔｅｎｔ Ｐａｎｎｅｒ」

【0133】

［７］Ｅｆｆｉｃｉｅｎｔ ＨＲＴＦ－ｂａｓｅｄ Ｓｐａｔｉａｌ Ａｕｄｉｏ ｆｏｒ Ａｒｅａ ａｎｄ Ｖｏｌｕｍｅｔｒｉｃ Ｓｏｕｒｃｅｓ、 ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ２２（４）：１－１ Ｊａｎｕａｒｙ ２０１６

【0134】

［８］特許公開ＷＯ２０２０１４４０６２「Ｅｆｆｉｃｉｅｎｔ ｓｐａｔｉａｌｌｙ－ｈｅｔｅｒｏｇｅｎｅｏｕｓ ａｕｄｉｏ ｅｌｅｍｅｎｔｓ ｆｏｒ Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ」

【0135】

［９］特許公開ＷＯ２０２１１８０８２０「Ｒｅｎｄｅｒｉｎｇ ｏｆ Ａｕｄｉｏ Ｏｂｊｅｃｔｓ ｗｉｔｈ ａ Ｃｏｍｐｌｅｘ Ｓｈａｐｅ」

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図12】

【図13】

【図14】

【手続補正書】

【提出日】2024-05-15

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

オーディオ要素をレンダリングするための方法（８００）であって、前記オーディオ要素は、範囲（２００）を有し、中央仮想スピーカ（２０３）を含む仮想スピーカ（２０２、２０３、２０４）のセットを用いて表現され、前記方法は、
リスナーの位置に基づいて、前記中央仮想スピーカの位置を選択するステップ、および、前記中央仮想スピーカの減衰係数を計算するステップ、のうちの少なくともいずれかを含む（ｓ８０２）、方法。

【請求項2】

前記方法は、前記リスナーの前記位置に基づいて前記中央仮想スピーカの前記位置を選択するステップを有し、前記リスナーの前記位置に基づいて前記中央仮想スピーカの前記位置を選択するステップは、
前記リスナーの前記位置と、ｉ）前記オーディオ要素のまたは前記オーディオ要素の前記範囲に基づいて決定された範囲の、第１の端点、または、ｉｉ）第１の仮想スピーカ、の位置とに基づいて、第１の角度を決定するステップと、
前記リスナーの前記位置と、ｉ）前記オーディオ要素のまたは前記範囲の、第２の端点、または、ｉｉ）第２の仮想スピーカ、の位置、とに基づいて、第２の角度を決定するステップと、
前記第１の角度および前記第２の角度を用いて前記中央仮想スピーカの第１の座標Ｍｘを計算するステップであって、前記中央仮想スピーカの前記選択された位置が、前記計算された第１の座標によって少なくとも部分的に指定されるステップと、
を含む、請求項１に記載の方法。

【請求項3】

前記方法は、前記リスナーの前記位置に基づいて前記中央仮想スピーカの前記位置を選択するステップを有し、前記リスナーの前記位置に基づいて前記中央仮想スピーカの前記位置を選択するステップは、
１）前記オーディオ要素の、または前記オーディオ要素の前記範囲に基づいて決定された範囲の、第１の点と、前記オーディオ要素の、または前記範囲の、第２の点との間、または、２）第１の仮想スピーカと第２の仮想スピーカとの間、の第１の直線上の位置点を選択するステップであって、
ｉ）前記リスナーの前記位置から前記第１の点または前記第１の仮想スピーカまで延びる第２の直線と、ｉｉ）前記リスナーの前記位置から前記第１の直線上の前記選択された位置点まで延びる第３の直線との間の角度が、ｉ）前記リスナーの前記位置から前記第２の点または前記第２の仮想スピーカまで延びる第４の直線と、ｉｉ）前記第３の直線との間の角度に等しくなるように、前記位置点を選択するステップ、
を含む、請求項１に記載の方法。

【請求項4】

前記位置点を選択するステップは、
前記第２の直線の長さをｖ、
前記第３の直線の長さをｗ、
前記第１の点または前記第１の仮想スピーカの座標をＲｅ、
前記第２の点または前記第２の仮想スピーカの座標をＬｅ、
とするとき、
Ｍ＝（ｖ＊Ｒｅ＋ｗ＊Ｌｅ）／（ｖ＋ｗ）、
を計算することによって、前記位置点の座標Ｍを計算するステップを含む、請求項３に記載の方法。

【請求項5】

前記選択された位置点に前記中央仮想スピーカを配置するステップを更に有する、請求項３に記載の方法。

【請求項6】

前記方法は、前記リスナーの前記位置に基づいて前記中央仮想スピーカの減衰係数を計算するステップを有し、前記リスナーの前記位置に基づいて前記中央仮想スピーカの減衰係数を計算するステップは、
前記リスナーの前記位置と、ｉ）前記オーディオ要素の第１の端点の、または前記オーディオ要素の前記範囲に基づいて決定された範囲の、位置、または、ｉｉ）第１の仮想スピーカの位置とに基づいて、第１の角度を決定するステップと、
前記リスナーの前記位置と、ｉ）前記オーディオ要素の、または前記範囲の第２の端点の、位置、または、ｉｉ）第２の仮想スピーカの位置とに基づいて、第２の角度を決定するステップと、
前記第１の角度をλ、前記第２の角度をβ、前記減衰係数をεとするとき、ε＝ｓｉｎ（λ）／ｓｉｎ（β）またはε＝ｓｉｎ（β）／ｓｉｎ（λ）を計算するステップと、
を含む、請求項１に記載の方法。

【請求項7】

前記中央仮想スピーカの信号Ｘを修正して、Ｘ’＝ε＊Ｘとなるように、修正された中央仮想スピーカ信号Ｘ’を生成するステップと、前記修正された中央仮想スピーカ信号を用いて前記オーディオ要素をレンダリングするステップを更に有する、請求項６に記載の方法。

【請求項8】

前記方法は、前記リスナーの前記位置に基づいて前記中央仮想スピーカの前記位置を選択するステップを有し、前記リスナーの前記位置に基づいて前記中央仮想スピーカの前記位置を選択するステップは、
ｉ）前記リスナーの座標を示すリスナー情報を取得するステップと、
ｉｉ）前記オーディオ要素に関連する第１の点と前記オーディオ要素に関連する第２の点との間の中点の座標を示す中点情報を取得するステップと、
ｉｉｉ）前記中点情報および前記リスナー情報に基づいて前記中央仮想スピーカの前記位置を選択するステップと、
を含む、請求項１に記載の方法。

【請求項9】

前記中点情報および前記リスナー情報に基づいて前記中央仮想スピーカの前記位置を選択するステップは、
ｉ）アンカーポイントの座標を決定するステップと、
ｉｉ）前記中点情報と、前記決定された前記アンカーポイントの座標を示すアンカー情報とに基づいて、前記中央仮想スピーカの前記位置を選択するステップと、
を含む、請求項８に記載の方法。

【請求項10】

ｉ）前記中点情報は前記中点の前記座標を示す中点値ＭＰを含み、ｉｉ）前記アンカー情報は前記アンカーポイントの前記座標を示すアンカー値Ａを含み、ｉｉｉ）前記中点情報と前記アンカー情報とに基づいて前記中央仮想スピーカの前記位置を選択するステップは、ＭＰおよびＡを用いて前記中央仮想スピーカの座標値Ｍを計算するステップを含む、請求項９に記載の方法。

【請求項11】

前記中央仮想スピーカの前記位置に基づいて、前記中央仮想スピーカの中央仮想スピーカ信号を生成するステップと、
前記中央仮想スピーカ信号を用いて前記オーディオ要素をレンダリングするステップと、
を更に含む、請求項１から１０のいずれか１項に記載の方法。

【請求項12】

オーディオ要素をレンダリングするためのオーディオレンダリング装置（１４００）であって、前記オーディオ要素は、範囲（２００）を有し、中央仮想スピーカ（２０３）を含む仮想スピーカ（２０２、２０３、２０４）のセットを用いて表現され、
リスナーの位置に基づいて、前記中央仮想スピーカの位置を選択するステップ、および、前記中央仮想スピーカの減衰係数を計算するステップ、のうちの少なくともいずれかを行う（ｓ８０２）、ように構成されている、オーディオレンダリング装置。

【請求項13】

前記オーディオレンダリング装置は、
前記リスナーの前記位置と、ｉ）前記オーディオ要素のまたは前記オーディオ要素の前記範囲に基づいて決定された範囲の、第１の端点、または、ｉｉ）第１の仮想スピーカ、の位置とに基づいて、第１の角度を決定するステップと、
前記リスナーの前記位置と、ｉ）前記オーディオ要素のまたは前記範囲の、第２の端点、または、ｉｉ）第２の仮想スピーカ、の位置、とに基づいて、第２の角度を決定するステップ、
前記第１の角度および前記第２の角度を用いて前記中央仮想スピーカの第１の座標Ｍｘを計算するステップであって、前記中央仮想スピーカの前記選択された位置が、前記計算された第１の座標によって少なくとも部分的に指定されるステップと、
によって、前記リスナーの前記位置に基づいて前記中央仮想スピーカの前記位置を選択する、ように構成されている、請求項１２に記載のオーディオレンダリング装置。

【請求項14】

１）前記オーディオ要素の、または前記オーディオ要素の前記範囲に基づいて決定された範囲の、第１の点と、前記オーディオ要素の、または前記範囲の、第２の点との間、または、２）第１の仮想スピーカと第２の仮想スピーカとの間、の第１の直線上の位置点を選択するステップであって、
ｉ）前記リスナーの前記位置から前記第１の点または前記第１の仮想スピーカまで延びる第２の直線と、ｉｉ）前記リスナーの前記位置から前記第１の直線上の前記選択された位置点まで延びる第３の直線との間の角度が、ｉ）前記リスナーの前記位置から前記第２の点または前記第２の仮想スピーカまで延びる第４の直線と、ｉｉ）前記第３の直線との間の角度に等しくなるように、前記位置点を選択するステップ、
を行うことにより、前記リスナーの前記位置に基づいて前記中央仮想スピーカの前記位置を選択するように構成されている、請求項１２に記載のオーディオレンダリング装置。

【請求項15】

前記位置点を選択するステップは、
前記第２の直線の長さをｖ、
前記第３の直線の長さをｗ、
前記第１の点または前記第１の仮想スピーカの座標をＲｅ、
前記第２の点または前記第２の仮想スピーカの座標をＬｅ、
とするとき、
Ｍ＝（ｖ＊Ｒｅ＋ｗ＊Ｌｅ）／（ｖ＋ｗ）、
を計算することによって、前記位置点の座標Ｍを計算するステップを含む、請求項１４に記載のオーディオレンダリング装置。

【請求項16】

前記オーディオレンダリング装置は、前記選択された位置点に前記中央仮想スピーカが位置するように更に構成されている、請求項１４に記載のオーディオレンダリング装置。

【請求項17】

前記リスナーの前記位置と、ｉ）前記オーディオ要素の第１の端点の、または前記オーディオ要素の前記範囲に基づいて決定された範囲の、位置、または、ｉｉ）第１の仮想スピーカの位置とに基づいて、第１の角度を決定するステップと、
前記リスナーの前記位置と、前記オーディオ要素の、または前記範囲の第２の端点の、位置、または、ｉｉ）第２の仮想スピーカの位置とに基づいて、第２の角度を決定するステップと、
前記第１の角度をλ、前記第２の角度をβ、前記減衰係数をεとするとき、ε＝ｓｉｎ（λ）／ｓｉｎ（β）またはε＝ｓｉｎ（β）／ｓｉｎ（λ）を計算するステップと、
を行うことにより、前記リスナーの前記位置に基づいて前記中央仮想スピーカの前記減衰係数を計算する、ように構成されている、請求項１２に記載のオーディオレンダリング装置。

【請求項18】

前記中央仮想スピーカの信号Ｘを修正して、Ｘ’＝ε＊Ｘとなるように、修正された中央仮想スピーカ信号Ｘ’を生成し、前記修正された中央仮想スピーカ信号を用いて前記オーディオ要素をレンダリングする、ように更に構成されている、請求項１７に記載のオーディオレンダリング装置。

【請求項19】

ｉ）前記リスナーの座標を示すリスナー情報を取得するステップと、
ｉｉ）前記オーディオ要素に関連する第１の点と前記オーディオ要素に関連する第２の点との間の中点の座標を示す中点情報を取得するステップと、
ｉｉｉ）前記中点情報および前記リスナー情報に基づいて前記中央仮想スピーカの前記位置を選択するステップと、
を行うことにより、前記リスナーの前記位置に基づいて前記中央仮想スピーカの前記位置を選択する、ように構成されている、請求項１２に記載のオーディオレンダリング装置。

【請求項20】

前記中点情報および前記リスナー情報に基づいて前記中央仮想スピーカの前記位置を選択するステップは、
ｉ）アンカーポイントの座標を決定するステップと、
ｉｉ）前記中点情報と、前記決定された前記アンカーポイントの座標を示すアンカー情報とに基づいて、前記中央仮想スピーカの前記位置を選択するステップと、
を含む、請求項１９に記載のオーディオレンダリング装置。

【請求項21】

ｉ）前記中点情報は前記中点の前記座標を示す中点値ＭＰを含み、ｉｉ）前記アンカー情報は前記アンカーポイントの前記座標を示すアンカー値Ａを含み、ｉｉｉ）前記中点情報と前記アンカー情報とに基づいて前記中央仮想スピーカの前記位置を選択するステップは、ＭＰおよびＡを用いて前記中央仮想スピーカの座標値Ｍを計算するステップを含む、請求項２０に記載のオーディオレンダリング装置。

【請求項22】

前記中央仮想スピーカの前記位置に基づいて、前記中央仮想スピーカの中央仮想スピーカ信号を生成し、
前記中央仮想スピーカ信号を用いて前記オーディオ要素をレンダリングする、
ように更に構成されている、請求項１２から２０のいずれか１項に記載のオーディオレンダリング装置。

【国際調査報告】