特表 2024-514170 オクルージョンされるオーディオエレメントのレンダリング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-28

(54)【発明の名称】オクルージョンされるオーディオエレメントのレンダリング

(51)【国際特許分類】

   H04S 7/00 20060101AFI20240321BHJP

【ＦＩ】

H04S7/00 300

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023562908

(86)(22)【出願日】2022-04-12

(85)【翻訳文提出日】2023-12-12

(86)【国際出願番号】 EP2022059762

(87)【国際公開番号】W WO2022218986

(87)【国際公開日】2022-10-20

(31)【優先権主張番号】63/174,727

(32)【優先日】2021-04-14

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】598036300

【氏名又は名称】テレフオンアクチーボラゲット エルエム エリクソン（パブル）

(74)【代理人】

【識別番号】100109726

【弁理士】

【氏名又は名称】園田 吉隆

(74)【代理人】

【識別番号】100150670

【弁理士】

【氏名又は名称】小梶 晴美

(74)【代理人】

【識別番号】100199705

【弁理士】

【氏名又は名称】仙波 和之

(74)【代理人】

【識別番号】100194294

【弁理士】

【氏名又は名称】石岡 利康

(72)【発明者】

【氏名】ファルク， トミ

(72)【発明者】

【氏名】デ ブルーイン， ウェルネル

【テーマコード（参考）】

5D162

【Ｆターム（参考）】

5D162AA04

5D162CA01

5D162CC18

5D162EG02

(57)【要約】

少なくとも部分的にオクルージョンされるオーディオエレメントをレンダリングするための方法であって、ここで、オーディオエレメントは、２つまたはそれ以上の仮想ラウドスピーカー（たとえば、ＳｐＬ、ＳｐＣ、ＳｐＲ）のセットを使用して表され、セットは第１の仮想ラウドスピーカー（たとえば、ＳｐＲ）を含む。一実施形態では、本方法は、第１の仮想ラウドスピーカー（たとえば、ＳｐＲ）についての第１の仮想ラウドスピーカー信号を修正することであって、それにより、第１の修正された仮想ラウドスピーカー信号を作り出す、第１の仮想ラウドスピーカー信号を修正することを含む。本方法は、オーディオエレメントをレンダリングする（たとえば、第１の修正された仮想ラウドスピーカー信号を使用して出力信号を生成する）ために第１の修正された仮想ラウドスピーカー信号を使用することをも含む。
【選択図】図７Ａ、図７Ｂ

【特許請求の範囲】

【請求項1】

２つまたはそれ以上の仮想ラウドスピーカー（ＳｐＬ、ＳｐＣ、ＳｐＲ）のセットを使用して表される少なくとも部分的にオクルージョンされるオーディオエレメント（６０２、９０２）をレンダリングするための方法（４００）であって、前記セットが第１の仮想ラウドスピーカーを含み、前記方法が、
前記第１の仮想ラウドスピーカーについての第１の仮想ラウドスピーカー信号を修正すること（ｓ４０２）であって、それにより、第１の修正された仮想ラウドスピーカー信号を作り出す、第１の仮想ラウドスピーカー信号を修正すること（ｓ４０２）と、
前記オーディオエレメントをレンダリングするために前記第１の修正された仮想ラウドスピーカー信号を使用すること（ｓ４０４）と
を含む、方法（４００）。

【請求項2】

前記オーディオエレメントが少なくとも部分的にオクルージョンされることを示す情報を取得することをさらに含み、前記修正すること（ｓ４０２）が、前記情報を取得することの結果として実施される、請求項１に記載の方法。

【請求項3】

前記オーディオエレメントが少なくとも部分的にオクルージョンされることを検出することをさらに含み、前記修正すること（ｓ４０２）が、前記検出の結果として実施される、請求項１に記載の方法。

【請求項4】

前記第１の仮想ラウドスピーカー信号を修正することが、前記第１の仮想ラウドスピーカー信号の利得を調節することを含む、請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記第１の仮想ラウドスピーカーを初期位置から新しい位置に移動させ、次いで、前記新しい位置を示す情報を使用して前記第１の仮想ラウドスピーカー信号を生成することをさらに含む、請求項１から４のいずれか一項に記載の方法。

【請求項6】

第１のオクルージョン量Ｏ１を決定することをさらに含み、前記第１の仮想ラウドスピーカーについての前記第１の仮想ラウドスピーカー信号を前記修正するステップが、Ｏ１に基づいて前記第１の仮想ラウドスピーカー信号を修正することを含む、請求項１から５のいずれか一項に記載の方法。

【請求項7】

Ｏ１に基づいて前記第１の仮想ラウドスピーカー信号を修正することは、前記修正されたラウドスピーカー信号がｇ１＊ＶＳ１に等しくなるように前記第１の仮想ラウドスピーカー信号を修正することを含み、ここで、ｇ１が、Ｏ１を使用して計算される利得係数であり、ＶＳ１が前記第１の仮想ラウドスピーカー信号である、請求項６に記載の方法。

【請求項8】

ｇ１＝（１－０．０１＊Ｏ１）である、または
ｇ１＝ｓｑｒｔ（１－０．０１＊Ｏ１）である、
請求項７に記載の方法。

【請求項9】

前記オーディオエレメントが、オクルージョンするオブジェクト（６０４、６１４）によって少なくとも部分的にオクルージョンされ、
Ｏ１を決定することが、前記オクルージョンするオブジェクトについてのオクルージョン係数を取得することと、前記オクルージョンするオブジェクトによってカバーされた前記オーディオエレメントの投影の第１のサブエリアの割合を決定することとを含み、前記第１の仮想ラウドスピーカーが前記第１のサブエリアに関連する、
請求項６から８のいずれか一項に記載の方法。

【請求項10】

前記オクルージョン係数を取得することが、オクルージョン係数のセットからオクルージョン係数ＯＦを選択することを含み、オクルージョン係数の前記セット中に含まれる各ＯＦが、異なる周波数レンジに関連し、前記選択が、前記オーディオエレメントに関連する周波数に基づき、したがって、前記選択されたＯＦが、前記オーディオエレメントに関連する前記周波数を包含する周波数レンジに関連する、請求項９に記載の方法。

【請求項11】

Ｏ１を決定することが、Ｏ１＝Ｏｆ１＊Ｐを計算することを含み、ここで、Ｏｆ１が前記オクルージョン係数であり、Ｐが前記割合である、請求項９または１０に記載の方法。

【請求項12】

第２の仮想ラウドスピーカーについての第２の仮想ラウドスピーカー信号を修正することであって、それにより、第２の修正された仮想ラウドスピーカー信号を作り出す、第２の仮想ラウドスピーカー信号を修正することと、
前記オーディオエレメントをレンダリングするために前記第１の修正された仮想ラウドスピーカー信号と前記第２の修正された仮想ラウドスピーカー信号とを使用することと
をさらに含む、請求項１から１１のいずれか一項に記載の方法。

【請求項13】

前記第２の仮想ラウドスピーカーに関連する第２のオクルージョン量Ｏ２を決定することをさらに含み、前記第２の仮想ラウドスピーカー信号を前記修正するステップが、Ｏ２に基づいて前記第２の仮想ラウドスピーカー信号を修正することを含む、請求項１２に記載の方法。

【請求項14】

Ｏ２に基づいて前記第２の仮想ラウドスピーカー信号を修正することは、前記第２の修正されたラウドスピーカー信号がｇ２＊ＶＳ２に等しくなるように前記第２の仮想ラウドスピーカー信号を修正することを含み、ここで、ｇ２が、Ｏ２を使用して計算される利得係数であり、ＶＳ２が前記第２の仮想ラウドスピーカー信号である、請求項１３に記載の方法。

【請求項15】

Ｏ２を決定することが、オクルージョンするオブジェクトによってカバーされた前記オーディオエレメントの投影の第２のサブエリアの割合を決定することを含み、前記第２の仮想ラウドスピーカーが前記第２のサブエリアに関連する、請求項１３または１４に記載の方法。

【請求項16】

２つまたはそれ以上の仮想ラウドスピーカー（ＳｐＬ、ＳｐＣ、ＳｐＲ）のセットを使用して表される少なくとも部分的にオクルージョンされるオーディオエレメント（６０２、９０２）をレンダリングするための方法（４５０）であって、前記セットが第１の仮想ラウドスピーカーを含み、前記方法が、
前記第１の仮想ラウドスピーカーを初期位置から新しい位置に移動させること（ｓ４５２）と、
前記第１の仮想ラウドスピーカーの前記新しい位置に基づいて前記第１の仮想ラウドスピーカーについての第１の仮想ラウドスピーカー信号を生成すること（ｓ４５４）と、
前記オーディオエレメントをレンダリングするために前記第１の仮想ラウドスピーカー信号を使用すること（ｓ４５６）と
を含む、方法（４５０）。

【請求項17】

前記オーディオエレメントが少なくとも部分的にオクルージョンされることを示す情報を取得することをさらに含み、前記移動させること（ｓ４５２）が、前記情報を取得することの結果として実施される、請求項１６に記載の方法。

【請求項18】

前記オーディオエレメントが少なくとも部分的にオクルージョンされることを検出することをさらに含み、前記移動させること（ｓ４５２）が、前記検出の結果として実施される、請求項１６に記載の方法。

【請求項19】

オーディオレンダラ装置（１５００）の処理回路（１５０２）によって実行されたとき、前記オーディオレンダラ装置に、請求項１から１８のいずれか一項に記載の方法を実施させる命令（１５４４）を含む、コンピュータプログラム（１５４３）。

【請求項20】

請求項１９に記載のコンピュータプログラムを含んでいるキャリアであって、前記キャリアが、電子信号、光信号、無線信号、およびコンピュータ可読記憶媒体（１５４２）のうちの１つである、キャリア。

【請求項21】

２つまたはそれ以上の仮想ラウドスピーカー（ＳｐＬ、ＳｐＣ、ＳｐＲ）のセットを使用して表される少なくとも部分的にオクルージョンされるオーディオエレメント（６０２、９０２）をレンダリングするためのオーディオレンダリング装置（１５００）であって、前記セットが第１の仮想ラウドスピーカーを含み、前記オーディオレンダリング装置が、
前記第１の仮想ラウドスピーカーについての第１の仮想ラウドスピーカー信号を修正すること（ｓ４０２）であって、それにより、第１の修正された仮想ラウドスピーカー信号を作り出す、第１の仮想ラウドスピーカー信号を修正すること（ｓ４０２）と、
前記オーディオエレメントをレンダリングするために前記第１の修正された仮想ラウドスピーカー信号を使用すること（ｓ４０４）と
を行うように設定された、オーディオレンダリング装置（１５００）。

【請求項22】

前記オーディオエレメントが少なくとも部分的にオクルージョンされることを示す情報を取得するステップを実施するようにさらに設定され、前記修正することが、前記情報を取得することの結果として実施される、請求項２１に記載のオーディオレンダリング装置（１５００）。

【請求項23】

前記オーディオエレメントが少なくとも部分的にオクルージョンされることを検出するステップを実施するようにさらに設定され、前記修正することが、前記検出の結果として実施される、請求項２１に記載のオーディオレンダリング装置（１５００）。

【請求項24】

前記第１の仮想ラウドスピーカー信号を修正することが、前記第１の仮想ラウドスピーカー信号の利得を調節することを含む、請求項２１から２３のいずれか一項に記載のオーディオレンダリング装置（１５００）。

【請求項25】

前記第１の仮想ラウドスピーカーを初期位置から新しい位置に移動させ、次いで、前記新しい位置を示す情報を使用して前記第１の仮想ラウドスピーカー信号を生成するステップを実施するようにさらに設定された、請求項２１から２４のいずれか一項に記載のオーディオレンダリング装置（１５００）。

【請求項26】

第１のオクルージョン量Ｏ１を決定するステップを実施するようにさらに設定され、前記第１の仮想ラウドスピーカーについての前記第１の仮想ラウドスピーカー信号を前記修正するステップが、Ｏ１に基づいて前記第１の仮想ラウドスピーカー信号を修正することを含む、請求項２１から２５のいずれか一項に記載のオーディオレンダリング装置（１５００）。

【請求項27】

Ｏ１に基づいて前記第１の仮想ラウドスピーカー信号を修正することは、前記修正されたラウドスピーカー信号がｇ１＊ＶＳ１に等しくなるように前記第１の仮想ラウドスピーカー信号を修正することを含み、ここで、ｇ１が、Ｏ１を使用して計算される利得係数であり、ＶＳ１が前記第１の仮想ラウドスピーカー信号である、請求項２６に記載のオーディオレンダリング装置（１５００）。

【請求項28】

ｇ１＝（１－０．０１＊Ｏ１）である、または
ｇ１＝ｓｑｒｔ（１－０．０１＊Ｏ１）である、
請求項２７に記載のオーディオレンダリング装置（１５００）。

【請求項29】

前記オーディオエレメントが、オクルージョンするオブジェクト（６０４、６１４）によって少なくとも部分的にオクルージョンされ、
Ｏ１を決定することが、前記オクルージョンするオブジェクトについてのオクルージョン係数を取得することと、前記オクルージョンするオブジェクトによってカバーされた前記オーディオエレメントの投影の第１のサブエリアの割合を決定することとを含み、前記第１の仮想ラウドスピーカーが前記第１のサブエリアに関連する、
請求項２６から２８のいずれか一項に記載のオーディオレンダリング装置（１５００）。

【請求項30】

前記オクルージョン係数を取得することが、オクルージョン係数のセットからオクルージョン係数ＯＦを選択することを含み、オクルージョン係数の前記セット中に含まれる各ＯＦが、異なる周波数レンジに関連し、前記選択が、前記オーディオエレメントに関連する周波数に基づき、したがって、前記選択されたＯＦが、前記オーディオエレメントに関連する前記周波数を包含する周波数レンジに関連する、請求項２９に記載のオーディオレンダリング装置（１５００）。

【請求項31】

Ｏ１を決定することが、Ｏ１＝Ｏｆ１＊Ｐを計算することを含み、ここで、Ｏｆ１が前記オクルージョン係数であり、Ｐが前記割合である、請求項２９または３０に記載のオーディオレンダリング装置（１５００）。

【請求項32】

第２の仮想ラウドスピーカーについての第２の仮想ラウドスピーカー信号を修正するステップであって、それにより、第２の修正された仮想ラウドスピーカー信号を作り出す、第２の仮想ラウドスピーカー信号を修正するステップと、
前記オーディオエレメントをレンダリングするために前記第１の修正された仮想ラウドスピーカー信号と前記第２の修正された仮想ラウドスピーカー信号とを使用するステップと
を実施するようにさらに設定された、請求項２１から３１のいずれか一項に記載のオーディオレンダリング装置（１５００）。

【請求項33】

前記第２の仮想ラウドスピーカーに関連する第２のオクルージョン量Ｏ２を決定するステップを実施するようにさらに設定され、前記第２の仮想ラウドスピーカー信号を前記修正するステップが、Ｏ２に基づいて前記第２の仮想ラウドスピーカー信号を修正することを含む、請求項３２に記載のオーディオレンダリング装置（１５００）。

【請求項34】

Ｏ２に基づいて前記第２の仮想ラウドスピーカー信号を修正することは、前記第２の修正されたラウドスピーカー信号がｇ２＊ＶＳ２に等しくなるように前記第２の仮想ラウドスピーカー信号を修正することを含み、ここで、ｇ２が、Ｏ２を使用して計算される利得係数であり、ＶＳ２が前記第２の仮想ラウドスピーカー信号である、請求項３３に記載のオーディオレンダリング装置（１５００）。

【請求項35】

Ｏ２を決定することが、前記オクルージョンするオブジェクトによってカバーされた前記オーディオエレメントの投影の第２のサブエリアの割合を決定することを含み、前記第２の仮想ラウドスピーカーが前記第２のサブエリアに関連する、請求項３３または３４に記載のオーディオレンダリング装置（１５００）。

【請求項36】

２つまたはそれ以上の仮想ラウドスピーカー（ＳｐＬ、ＳｐＣ、ＳｐＲ）のセットを使用して表される少なくとも部分的にオクルージョンされるオーディオエレメント（６０２、９０２）をレンダリングするためのオーディオレンダリング装置（１５００）であって、前記セットが第１の仮想ラウドスピーカーを含み、前記オーディオレンダリング装置が、
前記第１の仮想ラウドスピーカーを初期位置から新しい位置に移動させること（ｓ４５２）と、
前記第１の仮想ラウドスピーカーの前記新しい位置に基づいて前記第１の仮想ラウドスピーカーについての第１の仮想ラウドスピーカー信号を生成すること（ｓ４５４）と、
前記オーディオエレメントをレンダリングするために前記第１の仮想ラウドスピーカー信号を使用すること（ｓ４５６）と
を行うように設定された、オーディオレンダリング装置（１５００）。

【請求項37】

前記オーディオエレメントが少なくとも部分的にオクルージョンされることを示す情報を取得するステップを実施するようにさらに設定され、前記移動させることが、前記情報を取得することの結果として実施される、請求項３６に記載のオーディオレンダリング装置（１５００）。

【請求項38】

前記オーディオエレメントが少なくとも部分的にオクルージョンされることを検出するステップを実施するようにさらに設定され、前記移動させることが、前記検出の結果として実施される、請求項３６に記載のオーディオレンダリング装置（１５００）。

【請求項39】

前記オーディオレンダリング装置が、メモリ（１５４２）と、前記メモリに結合された処理回路（１５０２）とを備える、請求項２１から３６のいずれか一項に記載のオーディオレンダリング装置。

【発明の詳細な説明】

【技術分野】

【0001】

オクルージョンされる（ｏｃｃｌｕｄｅｄ）オーディオエレメントのレンダリングに関係する実施形態が開示される。

【背景技術】

【0002】

空間オーディオレンダリングは、音が、ある位置における、ならびにあるサイズおよび形状（すなわち、範囲（ｅｘｔｅｎｔ））を有する、シーン内の物理的ソースから来るという印象をリスナーに与えるために、エクステンデッドリアリティ（ＸＲ：ｅｘｔｅｎｄｅｄ ｒｅａｌｉｔｙ）シーン（たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、または複合現実（ＭＲ）シーン）内のオーディオを提示するために使用されるプロセスである。提示は、ヘッドフォンスピーカーまたは他のスピーカーを通して行われ得る。ヘッドフォンスピーカーを介して提示が行われる場合、使用される処理は、バイノーラルレンダリングと呼ばれ、どの方向から音が来ているかを決定することを可能にする、人間空間聴覚の空間キューを使用する。キューは、両耳間時間遅延（ＩＴＤ：ｉｎｔｅｒ－ａｕｒａｌ ｔｉｍｅ ｄｅｌａｙ）、両耳間レベル差（ＩＬＤ：ｉｎｔｅｒ－ａｕｒａｌ ｌｅｖｅｌ ｄｉｆｆｅｒｅｎｃｅ）、および／またはスペクトル差を伴う。

【0003】

最も一般的な形式の空間オーディオレンダリングは、ポイントソースの概念に基づき、各音ソースが、１つの特定のポイントから音を発するように規定される。各音ソースが１つの特定のポイントから音を発するように規定されるので、音ソースは、サイズまたは形状を有しない。範囲（サイズおよび形状）を有する音ソースをレンダリングするために、異なる方法が開発されている。

【0004】

１つのそのような知られている方法は、オーディオエレメントの周りの位置においてモノオーディオエレメントの複数のコピーを作成することである。この構成は、あるサイズをもつ空間的に均一なオブジェクトの知覚をもたらす。この概念は、たとえば、ＭＰＥＧ－Ｈ ３Ｄオーディオ規格の「オブジェクトスプレッド（ｏｂｊｅｃｔ ｓｐｒｅａｄ）」および「オブジェクト発散（ｏｂｊｅｃｔ ｄｉｖｅｒｇｅｎｃｅ）」特徴（参考文献［１］および［２］参照）において、およびＥＢＵオーディオ規定モデル（ＡＤＭ）規格の「オブジェクト発散」特徴（参考文献［４］参照）において使用される。モノオーディオソースを使用するこのアイデアは、参考文献［７］において説明されるように、さらに開発され、ここで、音オブジェクトの面積－体積ジオメトリが、リスナーの周りの球に投影され、音が、球上のオブジェクトの幾何学的投影をカバーするすべての頭部関係（ＨＲ：ｈｅａｄ－ｒｅｌａｔｅｄ）フィルタの積分として評価されるＨＲフィルタのペアを使用してリスナーにレンダリングされる。球の体積ソースの場合、この積分は、解析的解法を有する。しかしながら、任意の面積－体積ソースジオメトリの場合、積分は、いわゆるモンテカルロ光線サンプリングを使用して、球上の投影されたソース表面をサンプリングすることによって評価される。

【0005】

別のレンダリング方法は、モノオーディオ信号に加えて、空間的拡散成分をレンダリングし、これは、元のモノオーディオエレメントとは対照的に、別個のピンポイントロケーションを有しない、やや拡散するオブジェクトの知覚をもたらす。この概念は、たとえば、ＭＰＥＧ－Ｈ ３Ｄオーディオ規格の「オブジェクト拡散性（ｏｂｊｅｃｔ ｄｉｆｆｕｓｅｎｅｓｓ）」特徴（参考文献［３］参照）およびＥＢＵ ＡＤＭの「オブジェクト拡散性」特徴（参考文献［５］参照）において使用される。

【0006】

上記の２つの方法の組合せも知られている。たとえば、ＥＢＵ ＡＤＭの「オブジェクト範囲（ｏｂｊｅｃｔ ｅｘｔｅｎｔ）」特徴は、モノオーディオエレメントの複数のコピーの作成を、拡散成分の追加と組み合わせる（参考文献［６］参照）。

【0007】

多くの場合、オーディオエレメントの実際の形状は、基本形状（たとえば、球またはボックス）を用いて十分に良く記述され得る。しかし、時々、実際の形状は、より複雑であり、より詳細な形式（たとえば、メッシュ構造またはパラメトリック記述フォーマット）で記述される必要がある。

【0008】

参考文献［８］において説明されるような、混成のオーディオエレメントの場合、オーディオエレメントは、そのオーディオエレメントの範囲にわたる空間変動を記述するために少なくとも２つのオーディオチャネル（すなわち、オーディオ信号）を含む。

【0009】

いくつかのＸＲシーンでは、ＸＲシーン中のオーディオエレメントの少なくとも部分を遮るオブジェクトがあり得る。そのようなシナリオでは、オーディオエレメントは、少なくとも部分的にオクルージョンされると言われる。

【0010】

すなわち、オクルージョンは、所与のリスニング位置におけるリスナーの視点から、オーディオエレメントのオクルージョンされた部分からの直接音がリスナーに達しないかまたはあまり達しないように、オーディオエレメントが何らかのオブジェクトの後ろに完全にまたは一部隠されるとき、起こる。オクルージョンするオブジェクト（ｏｃｃｌｕｄｉｎｇ ｏｂｊｅｃｔ）の材料に応じて、オクルージョン効果は、完全なオクルージョン（たとえば、オクルージョンするオブジェクトが厚い壁であるとき）、またはオーディオエレメントからのオーディオエネルギーの部分がオクルージョンするオブジェクトを通過するソフトオクルージョン（たとえば、オクルージョンするオブジェクトがカーテンなどの薄い布から作られているとき）のいずれかであり得る。

【発明の概要】

【0011】

現在、いくつかの課題が存在する。たとえば、利用可能なオクルージョンレンダリング技法は、オクルージョンの発生が、リスナー位置とポイントソースの位置との間の光線追跡を使用して容易に検出され得るポイントソースに対処するが、ある範囲をもつオーディオエレメントの場合、オクルージョンするオブジェクトが、エクステンデッドオーディオエレメントの一部分のみをオクルージョンし得るので、状況はより複雑である。したがって、より精巧なオクルージョン検出技法（たとえば、エクステンデッドオーディオエレメントのどの部分がオクルージョンされるかを決定するオクルージョン検出技法）が必要とされる。混成のエクステンデッドオーディオエレメント（すなわち、そのオーディオエレメントの範囲にわたって分散される均一でない空間オーディオ情報を有する範囲をもつオーディオエレメント（たとえば、ステレオ信号によって表されるエクステンデッドオーディオエレメント））の場合、このタイプの一部オクルージョンされたオブジェクトのレンダリングが、リスナーに達する空間オーディオ情報に関する一部オクルージョンの予想される結果が何であろうかを考慮に入れるべきであるので、状況はなお一層複雑である。混成のエクステンデッドオーディオエレメントが離散的な数の仮想ラウドスピーカーによってレンダリングされるとき、後者の問題の特殊なバージョンが現れる。旧来のオクルージョンを使用し、個々の仮想ラウドスピーカー上で動作し、および仮想ラウドスピーカーのうちの１つまたは複数がオクルージョンされる場合、これは、たとえば、２つの仮想ラウドスピーカー（たとえば、左（Ｌ）スピーカーおよび右（Ｒ）スピーカー）を使用する場合、Ｌ仮想ラウドスピーカーまたはＲ仮想ラウドスピーカーのいずれかがオクルージョンされるときはいつでも、基本的にすべての空間情報が失われることを意味するであろう。より一般的には、離散的な数の仮想ラウドスピーカーを使用してレンダリングされるエクステンデッドオブジェクト（したがって、混成でないオーディオエレメント、たとえば、均一なまたは拡散エクステンデッドオーディオエレメントをも含む）の場合、オーディオエレメント、オクルージョンするオブジェクト、および／またはリスナーが互いに対して移動しているときにステップワイズ（ｓｔｅｐ－ｗｉｓｅ）様式で変化するオクルージョンの量に関する問題がある。

【0012】

したがって、一態様では、少なくとも部分的にオクルージョンされるオーディオエレメントをレンダリングするための方法が提供され、ここで、オーディオエレメントは、２つまたはそれ以上の仮想ラウドスピーカーのセットを使用して表され、セットは第１の仮想ラウドスピーカーを含む。一実施形態では、本方法は、第１の仮想ラウドスピーカーについての第１の仮想ラウドスピーカー信号を修正することであって、それにより、第１の修正された仮想ラウドスピーカー信号を作り出す、第１の仮想ラウドスピーカー信号を修正することを含む。本方法は、オーディオエレメントをレンダリングする（たとえば、第１の修正された仮想ラウドスピーカー信号を使用して出力信号を生成する）ために第１の修正された仮想ラウドスピーカー信号を使用することをも含む。別の実施形態では、本方法は、第１の仮想ラウドスピーカーを初期位置から新しい位置に移動させることを含む。本方法は、第１の仮想ラウドスピーカーの新しい位置に基づいて第１の仮想ラウドスピーカーについての第１の仮想ラウドスピーカー信号を生成することをも含む。本方法は、オーディオエレメントをレンダリングするために第１の仮想ラウドスピーカー信号を使用することをも含む。

【0013】

別の態様では、オーディオレンダラの処理回路によって実行されたとき、オーディオレンダラに、上記で説明された方法のいずれかを実施させる命令を含むコンピュータプログラムが提供される。一実施形態では、コンピュータプログラムを含んでいるキャリアが提供され、キャリアは、電子信号、光信号、無線信号、およびコンピュータ可読記憶媒体のうちの１つである。別の態様では、上記で説明された方法のいずれかを実施するように設定されたレンダリング装置が提供される。レンダリング装置は、メモリと、メモリに結合された処理回路とを含み得る。

【0014】

本明細書で開示される実施形態の利点は、少なくとも部分的にオクルージョンされるオーディオエレメントのレンダリングが、オーディオエレメントの空間情報の品質を維持するやり方で行われることである。

【0015】

本明細書に組み込まれ、明細書の一部をなす添付の図面は、様々な実施形態を示している。

【図面の簡単な説明】

【0016】

【図1】２つのポイントソース（Ｓ１およびＳ２）とオクルージョンするオブジェクト（Ｏ）とを示す図である。

【図2】オクルージョンするオブジェクト（Ｏ）によって部分的にオクルージョンされる範囲を有するオーディオエレメントを示す図である。

【図3】多くのポイントソースを使用してオーディオエレメントを表すことを示す図である。

【図4A】一実施形態による、プロセスを示すフローチャートである。

【図4B】一実施形態による、プロセスを示すフローチャートである。

【図5】一実施形態による、プロセスを示すフローチャートである。

【図6】Ａ～Ｃは、様々な例示的な実施形態を示す図である。

【図7】Ａ～Ｃは、様々な例示的な実施形態を示す図である。

【図8】例示的な一実施形態を示す図である。

【図9】Ａ～Ｂは、様々な例示的な実施形態を示す図である。

【図10】例示的な一実施形態を示す図である。

【図11】例示的な一実施形態を示す図である。

【図12】Ａ～Ｂは、いくつかの実施形態による、システムを示す図である。

【図13】いくつかの実施形態による、システムを示す図である。

【図14】一実施形態による、信号修正器を示す図である。

【図15】いくつかの実施形態による、装置のブロック図である。

【発明を実施するための形態】

【0017】

オクルージョンの発生は、リスナー位置とオーディオエレメントの位置との間の直接経路が任意のオクルージョンするオブジェクトについて検索される、光線追跡方法を使用して検出され得る。図１は、一方が（「オクルージョンするオブジェクト」と呼ばれる）オブジェクト（Ｏ）によってオクルージョンされ、他方がオクルージョンされない、２つのポイントソースの一例（Ｓ１およびＳ２）を示す。この場合、オクルージョンされるオーディオエレメントは、オクルージョンするオブジェクトの材料の音響性質に対応するやり方でミュートされるべきである。オクルージョンするオブジェクトが厚い壁である場合、オクルージョンされるオーディオエレメントからの直接音のレンダリングはほぼ完全にミュートされるべきである。図２に示されているような、ある範囲をもつオーディオエレメント（Ｅ）の場合、オーディオエレメント（Ｅ）は、一部のみオクルージョンされ得る。これは、オーディオエレメントのレンダリングが、範囲のどの部分がオクルージョンされ、どの部分がオクルージョンされないかを反映するやり方で変更される必要があることを意味する。

【0018】

ある範囲を有するオーディオエレメント（図３のオーディオエレメント３０２参照）についてのオクルージョン問題を解決するための１つのストラテジーは、（図３に示されているように）その範囲にわたって広がる多数のポイントソースを用いてオーディオエレメント３０２を表し、ポイントソースのための知られている方法のうちの１つを使用して各ポイントソースについてオクルージョン効果を個々に計算することである。しかしながら、このストラテジーは、オクルージョン効果の十分に良好な解決を得るために使用される必要がある多数のポイントソースにより、極めて非効率的である。また、静的な場合のための解決が十分に良好であるように多くのポイントソースが使用される場合でも、動的シーンにおいて個々のポイントソースがオクルージョンされるかまたはオクルージョンされないかのいずれかであるとき、オクルージョンの効果が離散的なステップにおいて変化する、ステップワイズ（ｓｔｅｐｗｉｓｅ）挙動が依然としてあるであろう。不均一な（マルチチャネル）オーディオエレメントを表すために多くのポイントソースを使用することによる別の欠点は、（隣接するポイントソースが大いに相関されることになるという事実により）得られたリスナー信号における空間および／またはスペクトルひずみを生じることなしに、数個のオーディオチャネルから多数のポイントソースにどのようにアップミックスすべきかが自明でないことである。

【0019】

したがって、本開示は、前の段落において説明されたこれらの欠点を経験しない追加の実施形態について説明する。一態様では、一実施形態による方法は、以下のステップを含む。

【0020】

１．リスナー位置から見られるオーディオエレメントがオクルージョンするオブジェクトによってオクルージョンされる（たとえば、完全にオクルージョンされるまたは部分的にオクルージョンされる）ことを検出すること。

【0021】

２．リスナー位置から見られるオーディオエレメントの投影のサブエリア（別名、部分）のセット中のオクルージョンの量を計算することであって、投影が、たとえば、リスナーの周りの球体上へのオーディオエレメントの範囲の投影、またはオーディオエレメントとリスナーとの間の平面上へのオーディオエレメントの範囲の投影であり得る、オクルージョンの量を計算すること。国際特許出願公開第ＷＯ２０２１１８０８２０号は、複雑な形状をもつオーディオオブジェクトを投影するための技法について説明する。たとえば、この公開は、エクステンデッドリアリティシーンにおいてリスナーのリスニング位置に対してオーディオオブジェクトを表すための方法について説明しており、この方法は、オーディオオブジェクトに関連する第１の３次元（３Ｄ）形状を記述する第１のメタデータを取得することと、２次元（２Ｄ）平面または１次元（１Ｄ）線を記述する変換されたメタデータを作り出すために、取得された第１のメタデータを変換することとを含み、２Ｄ平面または１Ｄ線は、オーディオオブジェクトの少なくとも一部分（ｐｏｒｔｉｏｎ）を表し、変換されたメタデータを作り出すために取得された第１のメタデータを変換することは、アンカーポイントを含む記述ポイントのセットを決定することと、記述ポイントを使用して２Ｄ平面または１Ｄ線を決定することであって、２Ｄ平面または１Ｄ線がアンカーポイントを通過する、２Ｄ平面または１Ｄ線を決定することとを含む。アンカーポイントは、ｉ）エクステンデッドリアリティシーンにおけるリスナーのリスニング位置に最も近い３Ｄ形状の表面上のポイント、ｉｉ）３Ｄ形状上のまたは３Ｄ形状内のポイントの空間平均、またはｉｉｉ）リスナーに可視である形状の部分の重心であり得、記述ポイントのセットは、リスナーのリスニング位置に対する第１の３Ｄ形状の第１のエッジを表す第１の３Ｄ形状上の第１のポイントと、リスナーのリスニング位置に対する第１の３Ｄ形状の第２のエッジを表す第１の３Ｄ形状上の第２のポイントとをさらに含む。

【0022】

３．範囲の異なる部分におけるオクルージョンの量に基づいてオーディオエレメントをレンダリングする際に使用される各仮想ラウドスピーカーの信号についての利得係数を計算すること（たとえば、オクルージョンするオブジェクトによって影響を及ぼされないオーディオエレメントの部分のための仮想ラウドスピーカーの信号についての利得係数は、１にセットされるが、オクルージョンするオブジェクトによって影響を及ぼされる部分のための他の仮想ラウドスピーカーについての信号は、１よりも小さい値にセットされる）、および

【0023】

４．範囲のオクルージョンされない部分を表すために、仮想ラウドスピーカーのうちの０個またはそれ以上の位置を修正すること。

【0024】

Ａ．各サブエリア中のオクルージョンの量を計算すること。

【0025】

オーディオエレメント（より正確にはオーディオエレメントの投影）のどんなサブエリアが少なくとも部分的にオクルージョンされるかの知識を仮定すれば、およびオクルージョンするオブジェクトに関する知識（たとえば、オクルージョンするオブジェクトを通過するオーディオエレメントからのオーディオエネルギーの量を示すパラメータ）を仮定すれば、オクルージョンの量は、各前記サブエリアについて計算され得る。オーディオエレメントからのエネルギーがオクルージョンするオブジェクトを通過しないことをパラメータが示すシナリオでは、オクルージョンの量は、リスニング位置からオクルージョンされるサブエリアの割合として計算され得る。

【0026】

オーディオエレメントの投影のサブエリアは、多くの異なるやり方で規定され得る。一実施形態では、レンダリングのために使用される仮想ラウドスピーカーがあるのと同数のサブエリアがあり、各サブエリアが１つの仮想ラウドスピーカーに対応する。別の実施形態では、サブエリアは、レンダリングのために使用される仮想ラウドスピーカーの数および／または位置とは無関係に規定される。サブエリアは、サイズが等しくなり得る。サブエリアは、互いに直接隣接し得る。サブエリアは、一緒に、オーディオエレメントの投影された範囲の表面エリアを完全に満たし得、すなわち、投影された範囲の総サイズが、すべてのサブエリアの表面エリアの和に等しい。

【0027】

Ｂ．利得係数を計算すること：

【0028】

各サブエリアについて、そのエリアについてのオクルージョンの量に応じて、利得係数が計算され得る。たとえば、オクルージョンするオブジェクトが厚いレンガ壁などであるいくつかのシナリオでは、オクルージョンするレンガ壁によって完全にオクルージョンされる（量は１００％である）サブエリアが完全にミュートされ得、したがって、利得係数は０．０にセットされるべきである。オクルージョン量が０であるサブエリアについて、利得係数は１．０にセットされるべきである。オクルージョンの他の量について、利得係数は０．０と１．０との中間のどこかであるべきであるが、厳密な挙動はオーディオエレメントの空間性質に依存し得る。一実施形態では、利得係数は、
ｇ＝（１．０－０．０１＊Ｏ）として計算され、ここで、Ｏは、パーセントでのオクルージョン量である。

【0029】

一実施形態では、所与のサブエリアについてのＯは、周波数依存オクルージョン係数（ＯＦ）と値Ｐとの関数であり、ここで、Ｐは、オクルージョンするオブジェクトによってカバーされるサブエリアの割合（すなわち、オクルージョンするオブジェクトがリスナーとサブエリアとの間に位置するという事実により、リスナーによって見られ得ないサブエリアの割合）である。たとえば、Ｏ＝ＯＦ＊Ｐであり、ここで、ｆ１を下回る周波数について、ＯＦ＝Ｏｆ１であり、ｆ１とｆ２との間の周波数について、ＯＦ＝Ｏｆ２であり、ｆ２を上回る周波数について、ＯＦ＝Ｏｆ３である。すなわち、所与の周波数について、異なるタイプのオクルージョンするオブジェクトは、異なるオクルージョン係数を有し得る。たとえば、第１の周波数について、レンガ壁は１のオクルージョン係数を有し得るが、綿の薄いカーテンは０．２のオクルージョン係数を有し得、第２の周波数について、レンガ壁は０．８のオクルージョン係数を有し得るが、綿の薄いカーテンは、０．１のオクルージョン係数を有し得る。

【0030】

別の実施形態では、利得係数は、オーディオエレメントが大部分が空間情報における拡散であり、５０％のオクルージョン量が、そのサブエリアからのオーディオエネルギーの－３ｄＢ低減を与えるであろうという仮定を使用して計算される。利得係数は、次いで、
ｇ＝ｃｏｓ（０．０１＊Ｏ＊π／２）
として計算されるか、または、
ｇ＝ｓｑｒｔ（１－０．０１＊Ｏ）
として計算され得る。

【0031】

実施形態は、サブエリアの利得を計算するための他の利得関数が可能であるので、上記の例に限定されない。上記で説明された２つの実施形態によって例示されるように、オクルージョンの効果は、オーディオエレメントが一部オクルージョンされるとき、漸進的な効果であり得、したがって、仮想ラウドスピーカーからの信号は、必ずしも、仮想ラウドスピーカーがリスナーのためにオクルージョンされるときはいつでも、完全にミュートされるとは限らない。これは、たとえば、２つの仮想ラウドスピーカーを用いたステレオレンダリングの場合、たとえば、左仮想ラウドスピーカーがオクルージョンされるときはいつでも、オーディオエレメントの左半分から音がまったく受信されないことを防止する。さらに、これは、オクルージョンするオブジェクト、オーディオエレメントおよび／またはリスナーが互いに対して移動しているとき、望ましくない「ステップワイズ」オクルージョン効果を防止する。

【0032】

Ｃ．オーディオエレメントを表す仮想ラウドスピーカーの位置を修正すること

【0033】

オーディオエレメントの部分がオクルージョンされるとき、オーディオエレメントを表す仮想ラウドスピーカーの位置は、仮想ラウドスピーカーが、オクルージョンされない部分をより良好に表すように移動され得る。オーディオエレメントの範囲のエッジのうちの１つがオクルージョンされる場合、このエッジを表す（１つまたは複数の）仮想ラウドスピーカーは、図８および図９Ｂに示されているようにオクルージョンが起こっているエッジに移動されるべきである。

【0034】

オクルージョンするオブジェクトがオーディオエレメントの中間をカバーしている場合には、図１０に示されているように、スピーカー位置はそのままに保たれ、オクルージョンの効果は、それぞれの仮想ラウドスピーカーに進む信号の利得係数によってのみ表される。

【0035】

オーディオエレメントが、水平平面における仮想ラウドスピーカーによってのみ表される場合、下部部分または上部部分のいずれかをカバーするオクルージョンが、仮想ラウドスピーカーの垂直位置を変更することによってレンダリングされ得、したがって、仮想ラウドスピーカーの垂直位置は、範囲のオクルージョンされない部分の中間に対応する。

【0036】

別の実施形態では、各仮想ラウドスピーカーの垂直位置は、上側サブエリアと下側サブエリアとにおけるオクルージョン量の比によって制御される。この位置がどのように計算され得るかの一例が、
Ｐ_ｙ＝Ｏ_Ｕ／Ｏ_Ｌ＊Ｐ_ＹＴ＋（１－Ｏ_Ｕ／Ｏ_Ｌ）＊Ｐ_ＹＢ
によって与えられ、ここで、Ｐ_Ｙはラウドスピーカーの垂直座標であり、Ｏ_ＵおよびＯ_Ｌは、範囲の上側部分および下側部分のオクルージョン量である。Ｐ_ＹＴおよびＰ_ＹＢは、範囲の上部エッジおよび下部エッジの垂直座標である。

【0037】

図４Ａは、一実施形態による、２つまたはそれ以上の仮想ラウドスピーカーのセットを使用して表される少なくとも部分的にオクルージョンされるオーディオエレメントをレンダリングするためのプロセス４００を示すフローチャートであり、セットは第１の仮想ラウドスピーカーを含む。プロセス４００は、ステップｓ４０２において開始し得る。ステップｓ４０２は、第１の仮想ラウドスピーカーについての第１の仮想ラウドスピーカー信号を修正することであって、それにより、第１の修正された仮想ラウドスピーカー信号を作り出す、第１の仮想ラウドスピーカー信号を修正することを含む。ステップｓ４０４は、オーディオエレメントをレンダリングする（たとえば、第１の修正された仮想ラウドスピーカー信号を使用して出力信号を生成する）ために第１の修正された仮想ラウドスピーカー信号を使用することを含む。

【0038】

いくつかの実施形態では、プロセスは、オーディオエレメントが少なくとも部分的にオクルージョンされることを示す情報を取得することをさらに含み、修正することは、情報を取得することの結果として実施される。

【0039】

いくつかの実施形態では、プロセスは、オーディオエレメントが少なくとも部分的にオクルージョンされることを検出することをさらに含み、修正することは、検出の結果として実施される。

【0040】

いくつかの実施形態では、第１の仮想ラウドスピーカー信号を修正することは、第１の仮想ラウドスピーカー信号の利得を調節することを含む。

【0041】

いくつかの実施形態では、プロセスは、第１の仮想ラウドスピーカーを初期位置（たとえば、デフォルト位置）から新しい位置に移動させ、次いで、新しい位置を示す情報を使用して第１の仮想ラウドスピーカー信号を生成することをさらに含む。

【0042】

いくつかの実施形態では、プロセスは、第１の仮想ラウドスピーカーに関連するオクルージョン量（Ｏ）を決定することをさらに含み、第１の仮想ラウドスピーカーについての第１の仮想ラウドスピーカー信号を修正するステップは、Ｏに基づいて第１の仮想ラウドスピーカー信号を修正することを含む。いくつかの実施形態では、Ｏに基づいて第１の仮想ラウドスピーカー信号を修正することは、修正されたラウドスピーカー信号が（ｇ＊ＶＳ１）に等しくなるように第１の仮想ラウドスピーカー信号ＶＳ１を修正することを含み、ここで、ｇは、Ｏを使用して計算される利得係数であり、ＶＳ１は第１の仮想ラウドスピーカー信号である。一実施形態では、ｇ＝１－．０１＊Ｏであるか、またはｇ＝ｓｑｒｔ（１－．０１＊Ｏ）である。一実施形態では、Ｏを決定することは、オクルージョンするオブジェクトについての特定のオクルージョン係数（Ｏｆ）を取得することと、オクルージョンするオブジェクトによってカバーされたオーディオエレメントの投影のサブエリアの割合を決定することとを含み、第１の仮想ラウドスピーカーはサブエリアに関連する。

【0043】

図４Ｂは、一実施形態による、２つまたはそれ以上の仮想ラウドスピーカーのセットを使用して表される少なくとも部分的にオクルージョンされるオーディオエレメントをレンダリングするためのプロセス４５０を示すフローチャートであり、セットは第１の仮想ラウドスピーカーを含む。プロセス４５０は、ステップｓ４５２において開始し得る。ステップｓ４５２は、第１の仮想ラウドスピーカーを初期位置から新しい位置に移動させることを含む。ステップｓ４５４は、第１の仮想ラウドスピーカーの新しい位置に基づいて第１の仮想ラウドスピーカーについての第１の仮想ラウドスピーカー信号を生成することを含む。ステップｓ４５６は、オーディオエレメントをレンダリングするために第１の仮想ラウドスピーカー信号を使用することを含む。いくつかの実施形態では、プロセスは、オーディオエレメントが少なくとも部分的にオクルージョンされることを示す情報を取得することをさらに含み、移動させることは、情報を取得することの結果として実施される。いくつかの実施形態では、プロセスは、オーディオエレメントが少なくとも部分的にオクルージョンされることを検出することをさらに含み、移動させることは、検出の結果として実施される。

【0044】

図５は、一実施形態による、オクルージョンされるオーディオエレメントをレンダリングするためのプロセス５００を示すフローチャートである。プロセス５００は、ステップｓ５０２において開始し得る。ステップｓ５０２は、オーディオエレメントについてのメタデータと、オーディオエレメントをオクルージョンするオブジェクトについてのメタデータとを取得することを含む（オクルージョンするオブジェクトについてのメタデータは、異なる周波数におけるオブジェクトについてのオクルージョン係数を指定する情報を含み得る）。ステップｓ５０４は、オーディオエレメントの各サブエリアについて、オクルージョンの量を決定することを含む。ステップｓ５０６は、オクルージョンの量に基づいて各仮想ラウドスピーカー信号についての利得係数を計算することを含む。ステップｓ５０８は、各仮想ラウドスピーカーについて、仮想ラウドスピーカーが新しいロケーション中に配置されるべきであるかどうかを決定し、仮想ラウドスピーカーを新しいロケーション中に配置することを含む。ステップｓ５１０は、仮想スピーカーのロケーションに基づいて仮想ラウドスピーカー信号を生成することを含む。ステップｓ５１２は、利得係数に基づいて、仮想ラウドスピーカー信号のうちの１つまたは複数の利得を調節することを含む。

【0045】

図６Ａは、オーディオエレメント６０２（または、より正確には、リスナー位置から見られるオーディオエレメント６０２の投影）が論理的に６つの部分（別名、６つのサブエリア）に分割され、部分１および４がオーディオエレメント６０２の左エリアを表し、部分３および６が右エリアを表し、部分２および５が中央を表す、一例である。また、部分１、２および３は、一緒にオーディオエレメントの上側エリアを表し、部分４、５および６は、オーディオエレメントの下側エリアを表す。

【0046】

図６Ｂは、リスナーによって見られるオーディオエレメント６０２がオクルージョンするオブジェクト６０４によって部分的にオクルージョンされる、例示的なシナリオを示し、オブジェクト６０４は、この例および他の例では、１のオクルージョン係数を有する。オーディオエレメント６０２の各部分のどのくらいがオクルージョンするオブジェクト６０４によってカバーされるかを計算することによって、左部分、中央部分および右部分の相対利得平衡が計算され得る。同様に、下側エリアと比較した上側エリアの相対利得平衡が、計算され得る。図６Ｂに示されている例では、オーディオエレメントの右エリアは、その右エリアがオブジェクト６０４によって完全にカバーされるので、完全にミュートされるべきであり、中央エリアは、わずかに低い利得を有するべきであり、左エリアは影響を受けない。下側エリアと比較して上側エリアのオクルージョンの差がない。

【0047】

図６Ｃは、オーディオエレメント６０２がオクルージョンするオブジェクト６１４によって部分的にオクルージョンされる例示的なシナリオを示す。この例では、中央エリアおよび右エリアは、一部ミュートされるべきである。下側部分は、上側部分よりもミュートされるべきである。

【0048】

図７Ａは、オーディオエレメント６０２が３つの仮想ラウドスピーカーＳｐＬ、ＳｐＣ、ＳｐＲによって表される一例を示す。図７Ｂは、オブジェクト６０４によるオーディオエレメント６０２のオクルージョンを反映するために仮想ラウドスピーカーの位置がどのように修正されるかを示す。範囲の右エッジを表すスピーカーＳｐＲは、オクルージョンが起こっているエッジに移動される。スピーカーＳｐＣは、オクルージョンされない部分の中央に移動される。図７Ｃは、オブジェクト６１４によるオーディオエレメント６０２のオクルージョンを反映するために仮想ラウドスピーカーの位置がどのように修正されるかを示す。範囲の右エッジを表すスピーカーＳｐＲは、新しい位置に上方へ移動され、スピーカーＳｐＣも上方へ移動される。

【0049】

図８は、オーディオエレメント６０２の右サブエリアが一部オクルージョンされる一例を示す。この場合、右エッジを表す仮想ラウドスピーカーは、その仮想ラウドスピーカーが、オクルージョンが起こるエッジと並ぶように移動される。中央スピーカーは、オーディオエレメントのオクルージョンされない部分の中央を表す位置に移動され得る。

【0050】

図９は、６つの仮想ラウドスピーカーによって表され、オーディオエレメントの下側部分がオクルージョンされる、オーディオエレメント９０２の一例を示す。この場合、下部エッジを表す仮想ラウドスピーカーは、その仮想ラウドスピーカーが、オクルージョンが起こるエッジと並ぶように移動される。

【0051】

図１０は、オーディオエレメント６０２の中間がオクルージョンされる一例を示す。この場合、ラウドスピーカーの位置は、左エッジも右エッジもオクルージョンされず、表される必要がないので、そのままに保たれる。この場合のオクルージョンは、各スピーカーへの信号の利得に影響を及ぼしているにすぎない。この場合、中間スピーカーは完全にミュートされ（すなわち、利得係数＝０）、左スピーカーおよび右スピーカーに対する利得は、サブエリア１、４、３および６が一部オクルージョンされることをも反映するために、わずかに低下した。

【0052】

図１１は、オーディオエレメント６０２の中央エリアおよび右エリアが一部オクルージョンされる一例を示す。仮想ラウドスピーカーの位置は、これらの下側部分のオクルージョンのより大きい量が反映されるように、仰角において修正される。また、信号の利得は、中央エリアおよび右エリアが一部オクルージョンされることを反映するために、低下されるべきである。

【0053】

例示的な使用事例

【0054】

図１２Ａは、実施形態が適用され得るＸＲシステム１２００を示す。ＸＲシステム１２００は、（リスナーによって装着されるヘッドフォンのスピーカーであり得る）スピーカー１２０４および１２０５と、リスナーによって装着されるように設定されたディスプレイデバイス１２１０とを含む。図１２Ｂに示されているように、ＸＲシステム１２１０は、配向検知ユニット１２０１と、位置検知ユニット１２０２と、出力オーディオ信号（たとえば、図示のように、左スピーカーについての左オーディオ信号１２８１、および右スピーカーについての右オーディオ信号１２８２）を作り出すためのオーディオレンダー１２５１に（直接または間接的に）結合された処理ユニット１２０３とを備え得る。オーディオレンダラ１２５１は、入力オーディオ信号に基づく出力信号と、リスナーが経験しているＸＲシーンに関するメタデータと、リスナーのロケーションおよび配向に関する情報とを作り出す。ＸＲシーンについてのメタデータは、ＸＲシーン中に含まれる各オブジェクトおよびオーディオエレメントについてのメタデータを含み得、オブジェクトについてのメタデータは、オブジェクトの次元とオブジェクトについてのオクルージョン係数とに関する情報を含み得る（たとえば、メタデータは、各オクルージョン係数が異なる周波数または周波数レンジのために適用可能である、オクルージョン係数のセットを指定し得る）。オーディオレンダラ１２５１はディスプレイデバイス１２１０の構成要素であり得るか、またはオーディオレンダラ１２５１はリスナーから遠くにあり得る（たとえば、レンダラ１２５１は「クラウド」中に実装され得る）。

【0055】

配向検知ユニット１２０１は、リスナーの配向の変化を検出し、検出された変化に関する情報を処理ユニット１２０３に提供するように設定される。いくつかの実施形態では、処理ユニット１２０３は、配向検知ユニット１２０１によって検出された配向の検出された変化を前提として、（何らかの座標系に関する）絶対配向を決定する。配向および位置の決定のための異なるシステム、たとえば、ｌｉｇｈｔｈｏｕｓｅトラッカー（ライダー）を使用するシステムもあり得る。一実施形態では、配向検知ユニット１２０１は、配向の検出された変化を前提として、（何らかの座標系に関する）絶対配向を決定し得る。この場合、処理ユニット１２０３は、単に、配向検知ユニット１２０１からの絶対配向データと位置検知ユニット１２０２からの位置データとを多重化し得る。いくつかの実施形態では、配向検知ユニット１２０１は、１つまたは複数の加速度計および／または１つまたは複数のジャイロスコープを備え得る。

【0056】

図１３は、ＸＲシーンのための音を作り出すためのオーディオレンダラ１２５１の例示的な一実装形態を示す。オーディオレンダラ１２５１は、コントローラ１３０１と、コントローラ１３０１からの制御情報１３１０に基づいて（１つまたは複数の）オーディオ信号１２６１（たとえば、マルチチャネルオーディオエレメントのオーディオ信号）を修正するための信号修正器１３０２とを含む。コントローラ１３０１は、１つまたは複数のパラメータを受信し、受信されたパラメータに基づいてオーディオ信号１２６１に対する修正を実施する（たとえば、ボリュームレベルを増加または減少させる）ように修正器１３０２をトリガするように設定され得る。受信されたパラメータは、リスナーの位置および／または配向に関する情報１２６３（たとえば、オーディオエレメントへの方向および距離）と、ＸＲシーン中のオーディオエレメント（たとえば、オーディオエレメント６０２）に関するメタデータ１２６２と、オーディオエレメントをオクルージョンするオブジェクト（たとえば、オブジェクト１５４）に関するメタデータとを含む（いくつかの実施形態では、コントローラ１３０１自体がメタデータ１２６２を作り出す）。メタデータおよび位置／配向情報を使用して、コントローラ１３０１は、上記で説明されたように少なくとも部分的にオクルージョンされるＸＲシーン中のオーディオエレメントについてのもう１つの利得係数（ｇ）を計算し得る。

【0057】

図１４は、一実施形態による、信号修正器１３０２の例示的な一実装形態を示す。信号修正器１３０２は、方向性ミキサ１４０４と、利得調節器１４０６と、スピーカー信号プロデューサー１４０８とを含む。

【0058】

方向性ミキサ１４０４は、この例では、オーディオエレメント（たとえば、オーディオエレメント６０２）に関連するオーディオ信号１４０１とオーディオ信号１４０２とのペアを含む、オーディオ入力１２６１を受信し、そのオーディオ入力と制御情報１４７１とに基づいてｋ個の仮想ラウドスピーカー信号（ＶＳ１、ＶＳ２、．．．、ＶＳｋ）のセットを作り出す。一実施形態では、各仮想ラウドスピーカーについての信号は、たとえば、オーディオ入力１２６１を含む信号の適切なミキシングによって導出され得る。たとえば、ＶＳ１＝α×Ｌ＋β×Ｒであり、ここで、Ｌは入力オーディオ信号１４０１であり、Ｒは入力オーディオ信号１４０２であり、αおよびβは、たとえば、オーディオエレメントに対するリスナーの位置と、ＶＳ１が対応する仮想ラウドスピーカーの位置とに依存する、係数である。

【0059】

オーディオエレメント６０２が３つの仮想ラウドスピーカー（ＳｐＬ、ＳｐＣ、およびＳｐＲ）に関連する例では、その場合、ｋは、そのオーディオエレメントについて３に等しいことになり、ＶＳ１はＳｐＬに対応し得、ＶＳ２はＳｐＣに対応し得、ＶＳ３はＳｐＲに対応し得る。仮想ラウドスピーカー信号を作り出すために方向性ミキサによって使用される制御情報１４７１は、オーディオエレメントに対する各仮想ラウドスピーカーの位置を含み得る。いくつかの実施形態では、コントローラ１３０１は、オーディオエレメントがオクルージョンされるとき、コントローラ１３０１が、オーディオエレメントに関連する仮想ラウドスピーカーのうちの１つまたは複数の位置を調節し、方向性ミキサ１４０４に位置情報を提供し得るように、設定され、方向性ミキサ１４０４は、次いで、更新された位置情報を使用して、仮想ラウドスピーカーについての信号（すなわち、ＶＳ１、ＶＳ２、．．．、ＶＳｋ）を作り出す。

【0060】

利得調節器１４０６は、コントローラ１３０１によって計算された、上記で説明された利得係数を含み得る、制御情報１４７２に基づいて、仮想ラウドスピーカー信号のうちのいずれか１つまたは複数の利得を調節し得る。すなわち、たとえば、オーディオエレメントが少なくとも部分的にオクルージョンされるとき、コントローラ１３０１は、利得調節器１４０６に１つまたは複数の利得係数を提供することによって、仮想ラウドスピーカー信号のうちの１つまたは複数の利得を調節するように利得調節器１４０６を制御し得る。たとえば、オーディオエレメントの左部分全体がオクルージョンされた場合、コントローラ１３０１は、利得調節器１４０６に制御情報１４７２を提供し得、それにより、利得調節器１４０６に、ＶＳ１の利得を１００％だけ低減させる（すなわち、利得係数＝０であり、したがって、ＶＳ１’＝０である）。別の例として、オーディオエレメントの左部分の５０％のみがオクルージョンされ、中央部分の０％がオクルージョンされた場合、コントローラ１３０１は、利得調節器１４０６に制御情報１４７２を提供し得、それにより、利得調節器１４０６に、ＶＳ１の利得を５０％だけ低減させ（すなわち、ＶＳ１’＝５０％ ＶＳ１）、ＶＳ２の利得をまったく低減させない（すなわち、利得係数＝１であり、したがって、ＶＳ２’＝ＶＳ２である）。

【0061】

仮想ラウドスピーカー信号ＶＳ１’、ＶＳ２’、．．．、ＶＳｋ’を使用して、スピーカー信号プロデューサー１４０８はスピーカー（たとえば、ヘッドフォンスピーカーまたは他のスピーカー）を駆動するための出力信号（たとえば、出力信号１２８１および出力信号１２８２）を作り出す。スピーカーがヘッドフォンスピーカーである一実施形態では、スピーカー信号プロデューサー１４０８は、出力信号を作り出すために従来のバイノーラルレンダリングを実施し得る。スピーカーがヘッドフォンスピーカーでない実施形態では、スピーカー信号プロデューサー１４０８は、出力信号を作り出すために従来のスピーキングパンニング（ｓｐｅａｋｉｎｇ ｐａｎｎｉｎｇ）を実施し得る。

【0062】

図１５は、本明細書で開示される方法を実施するための、いくつかの実施形態による、オーディオレンダリング装置１５００のブロック図である（たとえば、オーディオレンダラ１２５１は、オーディオレンダリング装置１５００を使用して実装され得る）。図１５に示されているように、オーディオレンダリング装置１５００は、１つまたは複数のプロセッサ（Ｐ）１５５５（たとえば、汎用マイクロプロセッサ、および／または、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）など、１つまたは複数の他のプロセッサなど）を含み得る処理回路（ＰＣ）１５０２であって、そのプロセッサが、単一のハウジングにおいてまたは単一のデータセンタにおいて共同サイト式であり得るかあるいは地理的に分散され得る（すなわち、装置１５００が分散コンピューティング装置であり得る）、処理回路（ＰＣ）１５０２と、少なくとも１つのネットワークインターフェース１５４８であって、装置１５００が、ネットワークインターフェース１５４８が（直接または間接的に）接続されるネットワーク１１０（たとえば、インターネットプロトコル（ＩＰ）ネットワーク）に接続された他のノードにデータを送信し、他のノードからデータを受信することを可能にするための送信機（Ｔｘ）１５４５および受信機（Ｒｘ）１５４７を備える（たとえば、ネットワークインターフェース１５４８はネットワーク１１０に無線で接続され得、その場合、ネットワークインターフェース１５４８はアンテナ構成に接続される）、少なくとも１つのネットワークインターフェース１５４８と、１つまたは複数の不揮発性記憶デバイスおよび／または１つまたは複数の揮発性記憶デバイスを含み得る記憶ユニット（別名「データ記憶システム」）１５０８とを備え得る。ＰＣ１５０２がプログラマブルプロセッサを含む実施形態では、コンピュータプログラム製品（ＣＰＰ）１５４１が提供され得る。ＣＰＰ１５４１は、コンピュータ可読媒体（ＣＲＭ）１５４２を含み、ＣＲＭ１５４２は、コンピュータ可読命令（ＣＲＩ）１５４４を含むコンピュータプログラム（ＣＰ）１５４３を記憶する。ＣＲＭ１５４２は、磁気媒体（たとえば、ハードディスク）、光媒体、メモリデバイス（たとえば、ランダムアクセスメモリ、フラッシュメモリ）など、非一時的コンピュータ可読媒体であり得る。いくつかの実施形態では、コンピュータプログラム１５４３のＣＲＩ１５４４は、ＰＣ１５０２によって実行されたとき、ＣＲＩが、オーディオレンダリング装置１５００に、本明細書で説明されるステップ（たとえば、フローチャートを参照しながら本明細書で説明されるステップ）を実施させるように設定される。他の実施形態では、オーディオレンダリング装置１５００は、コードの必要なしに本明細書で説明されるステップを実施するように設定され得る。すなわち、たとえば、ＰＣ１５０２は、単に１つまたは複数のＡＳＩＣからなり得る。したがって、本明細書で説明される実施形態の特徴は、ハードウェアおよび／またはソフトウェアで実装され得る。

【0063】

様々な実施形態の概要

【0064】

Ａ１．２つまたはそれ以上の仮想ラウドスピーカー（たとえば、ＳｐＬおよびＳｐＲ）のセットを使用して表される少なくとも部分的にオクルージョンされるオーディオエレメント（６０２、９０２）をレンダリングするための方法であって、セットが第１の仮想ラウドスピーカー（たとえば、ＳｐＬ、ＳｐＣ、ＳｐＲのいずれか１つ）を含み、方法が、第１の仮想ラウドスピーカーについての第１の仮想ラウドスピーカー信号（たとえば、ＶＳ１、ＶＳ２、または．．．）を修正することであって、それにより、第１の修正された仮想ラウドスピーカー信号を作り出す、第１の仮想ラウドスピーカー信号を修正することと、オーディオエレメントをレンダリングする（たとえば、第１の修正された仮想ラウドスピーカー信号を使用して出力信号を生成する）ために第１の修正された仮想ラウドスピーカー信号を使用することとを含む、方法。

【0065】

Ａ２．オーディオエレメントが少なくとも部分的にオクルージョンされることを示す情報を取得することをさらに含み、修正することが、情報を取得することの結果として実施される、実施形態Ａ１に記載の方法。

【0066】

Ａ３．オーディオエレメントが少なくとも部分的にオクルージョンされることを検出することをさらに含み、修正することが、検出の結果として実施される、実施形態Ａ１またはＡ２に記載の方法。

【0067】

Ａ４．第１の仮想ラウドスピーカー信号を修正することが、第１の仮想ラウドスピーカー信号の利得を調節することを含む、実施形態Ａ１からＡ３のいずれか１つに記載の方法。

【0068】

Ａ５．第１の仮想ラウドスピーカーを初期位置（たとえば、デフォルト位置）から新しい位置に移動させ、次いで、新しい位置を示す情報を使用して第１の仮想ラウドスピーカー信号を生成することをさらに含む、実施形態Ａ１からＡ４のいずれか１つに記載の方法。

【0069】

Ａ６．第１のオクルージョン量（ＯＡ１）を決定することをさらに含み、第１の仮想ラウドスピーカーについての第１の仮想ラウドスピーカー信号を修正するステップが、ＯＡ１に基づいて第１の仮想ラウドスピーカー信号を修正することを含む、実施形態Ａ１からＡ５のいずれか１つに記載の方法。

【0070】

Ａ７．ＯＡ１に基づいて第１の仮想ラウドスピーカー信号を修正することは、修正されたラウドスピーカー信号がｇ１＊ＶＳ１に等しくなるように第１の仮想ラウドスピーカー信号を修正することを含み、ここで、ｇ１が、ＯＡ１を使用して計算される利得係数であり、ＶＳ１が第１の仮想ラウドスピーカー信号である、実施形態Ａ６に記載の方法。

【0071】

Ａ８．ｇ１がＯＡ１の関数である（たとえば、ｇ１＝（１－（０．０１＊ＯＡ１））である、またはｇ１＝ｓｑｒｔ（１－０．０１＊ＯＡ１）である）、実施形態Ａ７に記載の方法。

【0072】

Ａ９．オーディオエレメントが、オクルージョンするオブジェクトによって少なくとも部分的にオクルージョンされ、ＯＡ１を決定することが、オクルージョンするオブジェクトについてのオクルージョン係数を取得することと、オクルージョンするオブジェクトによってカバーされたオーディオエレメントの投影の第１のサブエリアの割合を決定することとを含み、第１の仮想ラウドスピーカーが第１のサブエリアに関連する、実施形態Ａ６からＡ８のいずれか１つに記載の方法。

【0073】

Ａ１０．オクルージョン係数を取得することが、オクルージョン係数のセットからオクルージョン係数を選択することを含み、選択が、オーディオエレメントに関連する周波数に基づく、実施形態Ａ９に記載の方法。たとえば、オクルージョン係数のセット中に含まれる各オクルージョン係数（ＯＦ）が、異なる周波数レンジに関連し、選択は、オーディオエレメントに関連する周波数に基づき、したがって、選択されたＯＦは、オーディオエレメントに関連する周波数を包含する周波数レンジに関連する。

【0074】

Ａ１１．ＯＡ１を決定することが、ＯＡ１＝Ｏｆ１＊Ｐを計算することを含み、ここで、Ｏｆ１がオクルージョン係数であり、Ｐが割合である、実施形態Ａ９またはＡ１０に記載の方法。

【0075】

Ａ１２．第２の仮想ラウドスピーカーについての第２の仮想ラウドスピーカー信号を修正することであって、それにより、第２の修正された仮想ラウドスピーカー信号を作り出す、第２の仮想ラウドスピーカー信号を修正することと、オーディオエレメントをレンダリングするために第１の修正された仮想ラウドスピーカー信号と第２の修正された仮想ラウドスピーカー信号とを使用することとをさらに含む、実施形態Ａ１からＡ１１のいずれか１つに記載の方法。

【0076】

Ａ１３．第２の仮想ラウドスピーカーに関連する第２のオクルージョン量（ＯＡ２）を決定することをさらに含み、第２の仮想ラウドスピーカー信号を修正するステップが、ＯＡ２に基づいて第２の仮想ラウドスピーカー信号を修正することを含む、実施形態Ａ１２に記載の方法。

【0077】

Ａ１４．ＯＡ２に基づいて第２の仮想ラウドスピーカー信号を修正することは、第２の修正されたラウドスピーカー信号がｇ２＊ＶＳ２に等しくなるように第２の仮想ラウドスピーカー信号を修正することを含み、ここで、ｇ２が、ＯＡ２を使用して計算される利得係数であり、ＶＳ２が第２の仮想ラウドスピーカー信号である、実施形態Ａ１３に記載の方法。

【0078】

Ａ１５．ＯＡ２を決定することが、オクルージョンするオブジェクトによってカバーされたオーディオエレメントの投影の第２のサブエリアの割合を決定することを含み、第２の仮想ラウドスピーカーが第２のサブエリアに関連する、実施形態Ａ１３またはＡ１４に記載の方法。

【0079】

Ｂ１．２つまたはそれ以上の仮想ラウドスピーカーのセットを使用して表される少なくとも部分的にオクルージョンされるオーディオエレメント（６０２、９０２）をレンダリングするための方法であって、セットが第１の仮想ラウドスピーカーと第２の仮想ラウドスピーカーとを含み、方法が、第１の仮想ラウドスピーカーを初期位置から新しい位置に移動させることと、第１の仮想ラウドスピーカーの新しい位置に基づいて第１の仮想ラウドスピーカーについての第１の仮想ラウドスピーカー信号を生成することと、オーディオエレメントをレンダリングするために第１の仮想ラウドスピーカー信号を使用することとを含む、方法。

【0080】

Ｂ２．オーディオエレメントが少なくとも部分的にオクルージョンされることを示す情報を取得することをさらに含み、移動させることが、情報を取得することの結果として実施される、実施形態Ｂ１に記載の方法。

【0081】

Ｂ３．オーディオエレメントが少なくとも部分的にオクルージョンされることを検出することをさらに含み、移動させることが、検出の結果として実施される、実施形態Ｂ１またはＢ２に記載の方法。

【0082】

Ｃ１．オーディオレンダラの処理回路によって実行されたとき、オーディオレンダラに、上記の実施形態のいずれか１つに記載の方法を実施させる命令を含む、コンピュータプログラム。

【0083】

Ｃ２．上記コンピュータプログラムを含んでいるキャリアであって、キャリアが、電子信号、光信号、無線信号、およびコンピュータ可読記憶媒体のうちの１つである、キャリア。

【0084】

Ｄ１．上記の実施形態のいずれか１つに記載の方法を実施するように設定されたオーディオレンダリング装置。

【0085】

Ｄ２．オーディオレンダリング装置が、メモリと、メモリに結合された処理回路とを備える、実施形態Ｄ１に記載のオーディオレンダリング装置。

【0086】

様々な実施形態が本明細書で説明されたが、それらの実施形態は、限定ではなく、例として提示されたにすぎないことを理解されたい。したがって、本開示の広さおよび範囲は、上記で説明された例示的な実施形態のいずれによっても限定されるべきでない。その上、本明細書で別段に示されていない限り、またはコンテキストによって明確に否定されていない限り、上記で説明されたオブジェクトのそれらのすべての考えられる変形形態における任意の組合せが、本開示によって包含される。

【0087】

さらに、上記で説明され、図面に示されたプロセスは、ステップのシーケンスとして示されたが、これは、説明のためにのみ行われた。したがって、いくつかのステップが追加され得、いくつかのステップが省略され得、ステップの順序が並べ替えられ得、いくつかのステップが並行して実施され得ることが企図される。

【0088】

参考文献
[1] MPEG-H 3D Audio, Clause 8.4.4.7: “Spreading”
[2] MPEG-H 3D Audio, Clause 18.1: “Element Metadata Preprocessing”
[3] MPEG-H 3D Audio, Clause 18.11: “Diffuseness Rendering”
[4] EBU ADM Renderer Tech 3388, Clause 7.3.6: “Divergence”
[5] EBU ADM Renderer Tech 3388, Clause 7.4: “Decorrelation Filters”
[6] EBU ADM Renderer Tech 3388, Clause 7.3.7: “Extent Panner”
[7] Efficient HRTF-based Spatial Audio for Area and Volumetric Sources“, IEEE Transactions on Visualization and Computer Graphics 22(4):1-1・January 2016
[8] Patent Publication WO2020144062, “Efficient spatially-heterogeneous audio elements for Virtual Reality.”

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【手続補正書】

【提出日】2023-12-28

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

２つまたはそれ以上の仮想ラウドスピーカー（ＳｐＬ、ＳｐＣ、ＳｐＲ）のセットを使用して表される少なくとも部分的にオクルージョンされるオーディオエレメント（６０２、９０２）をレンダリングするための方法（４００）であって、前記セットが第１の仮想ラウドスピーカーを含み、前記方法が、
前記第１の仮想ラウドスピーカーについての第１の仮想ラウドスピーカー信号を修正すること（ｓ４０２）であって、それにより、第１の修正された仮想ラウドスピーカー信号を作り出す、第１の仮想ラウドスピーカー信号を修正すること（ｓ４０２）と、
前記オーディオエレメントをレンダリングするために前記第１の修正された仮想ラウドスピーカー信号を使用すること（ｓ４０４）と
を含む、方法（４００）。

【請求項2】

前記オーディオエレメントが少なくとも部分的にオクルージョンされることを示す情報を取得することをさらに含み、前記修正すること（ｓ４０２）が、前記情報を取得することの結果として実行される、請求項１に記載の方法。

【請求項3】

前記オーディオエレメントが少なくとも部分的にオクルージョンされることを検出することをさらに含み、前記修正すること（ｓ４０２）が、前記検出の結果として実行される、請求項１に記載の方法。

【請求項4】

前記第１の仮想ラウドスピーカー信号を修正することが、前記第１の仮想ラウドスピーカー信号の利得を調節することを含む、請求項１に記載の方法。

【請求項5】

前記第１の仮想ラウドスピーカーを初期位置から新しい位置に移動させ、次いで、前記新しい位置を示す情報を使用して前記第１の仮想ラウドスピーカー信号を生成することをさらに含む、請求項１に記載の方法。

【請求項6】

第１のオクルージョン量Ｏ１を決定することをさらに含み、前記第１の仮想ラウドスピーカーについての前記第１の仮想ラウドスピーカー信号を前記修正するステップが、Ｏ１に基づいて前記第１の仮想ラウドスピーカー信号を修正することを含む、請求項１に記載の方法。

【請求項7】

Ｏ１に基づいて前記第１の仮想ラウドスピーカー信号を修正することは、前記修正されたラウドスピーカー信号がｇ１＊ＶＳ１に等しくなるように前記第１の仮想ラウドスピーカー信号を修正することを含み、ここで、ｇ１が、Ｏ１を使用して計算される利得係数であり、ＶＳ１が前記第１の仮想ラウドスピーカー信号である、請求項６に記載の方法。

【請求項8】

ｇ１＝（１－０．０１＊Ｏ１）である、または
ｇ１＝ｓｑｒｔ（１－０．０１＊Ｏ１）である、
請求項７に記載の方法。

【請求項9】

前記オーディオエレメントが、オクルージョンするオブジェクト（６０４、６１４）によって少なくとも部分的にオクルージョンされ、
Ｏ１を決定することが、前記オクルージョンするオブジェクトについてのオクルージョン係数を取得することと、前記オクルージョンするオブジェクトによってカバーされた前記オーディオエレメントの投影の第１のサブエリアの割合を決定することとを含み、前記第１の仮想ラウドスピーカーが前記第１のサブエリアに関連する、
請求項６に記載の方法。

【請求項10】

前記オクルージョン係数を取得することが、オクルージョン係数のセットからオクルージョン係数ＯＦを選択することを含み、オクルージョン係数の前記セット中に含まれる各ＯＦが、異なる周波数レンジに関連し、前記選択が、前記オーディオエレメントに関連する周波数に基づき、したがって、前記選択されたＯＦが、前記オーディオエレメントに関連する前記周波数を包含する周波数レンジに関連する、請求項９に記載の方法。

【請求項11】

Ｏ１を決定することが、Ｏ１＝Ｏｆ１＊Ｐを計算することを含み、ここで、Ｏｆ１が前記オクルージョン係数であり、Ｐが前記割合である、請求項９に記載の方法。

【請求項12】

第２の仮想ラウドスピーカーについての第２の仮想ラウドスピーカー信号を修正することであって、それにより、第２の修正された仮想ラウドスピーカー信号を作り出す、第２の仮想ラウドスピーカー信号を修正することと、
前記オーディオエレメントをレンダリングするために前記第１の修正された仮想ラウドスピーカー信号と前記第２の修正された仮想ラウドスピーカー信号とを使用することと
をさらに含む、請求項１に記載の方法。

【請求項13】

前記第２の仮想ラウドスピーカーに関連する第２のオクルージョン量Ｏ２を決定することをさらに含み、前記第２の仮想ラウドスピーカー信号を前記修正するステップが、Ｏ２に基づいて前記第２の仮想ラウドスピーカー信号を修正することを含む、請求項１２に記載の方法。

【請求項14】

Ｏ２に基づいて前記第２の仮想ラウドスピーカー信号を修正することは、前記第２の修正されたラウドスピーカー信号がｇ２＊ＶＳ２に等しくなるように前記第２の仮想ラウドスピーカー信号を修正することを含み、ここで、ｇ２が、Ｏ２を使用して計算される利得係数であり、ＶＳ２が前記第２の仮想ラウドスピーカー信号である、請求項１３に記載の方法。

【請求項15】

Ｏ２を決定することが、オクルージョンするオブジェクトによってカバーされた前記オーディオエレメントの投影の第２のサブエリアの割合を決定することを含み、前記第２の仮想ラウドスピーカーが前記第２のサブエリアに関連する、請求項１３に記載の方法。

【請求項16】

２つまたはそれ以上の仮想ラウドスピーカー（ＳｐＬ、ＳｐＣ、ＳｐＲ）のセットを使用して表される少なくとも部分的にオクルージョンされるオーディオエレメント（６０２、９０２）をレンダリングするための方法（４５０）であって、前記セットが第１の仮想ラウドスピーカーを含み、前記方法が、
前記第１の仮想ラウドスピーカーを初期位置から新しい位置に移動させること（ｓ４５２）と、
前記第１の仮想ラウドスピーカーの前記新しい位置に基づいて前記第１の仮想ラウドスピーカーについての第１の仮想ラウドスピーカー信号を生成すること（ｓ４５４）と、
前記オーディオエレメントをレンダリングするために前記第１の仮想ラウドスピーカー信号を使用すること（ｓ４５６）と
を含む、方法（４５０）。

【請求項17】

前記オーディオエレメントが少なくとも部分的にオクルージョンされることを示す情報を取得することをさらに含み、前記移動させること（ｓ４５２）が、前記情報を取得することの結果として実行される、請求項１６に記載の方法。

【請求項18】

前記オーディオエレメントが少なくとも部分的にオクルージョンされることを検出することをさらに含み、前記移動させること（ｓ４５２）が、前記検出の結果として実行される、請求項１６に記載の方法。

【請求項19】

２つまたはそれ以上の仮想ラウドスピーカー（ＳｐＬ、ＳｐＣ、ＳｐＲ）のセットを使用して表される少なくとも部分的にオクルージョンされるオーディオエレメント（６０２、９０２）をレンダリングするためのオーディオレンダリング装置（１５００）であって、前記セットが第１の仮想ラウドスピーカーを含み、前記オーディオレンダリング装置が、
前記第１の仮想ラウドスピーカーについての第１の仮想ラウドスピーカー信号を修正すること（ｓ４０２）であって、それにより、第１の修正された仮想ラウドスピーカー信号を作り出す、第１の仮想ラウドスピーカー信号を修正すること（ｓ４０２）と、
前記オーディオエレメントをレンダリングするために前記第１の修正された仮想ラウドスピーカー信号を使用すること（ｓ４０４）と
を行うように設定された、オーディオレンダリング装置（１５００）。

【請求項20】

請求項２から１５のいずれか一項に記載の方法を行うように設定された、請求項１９に記載のオーディオレンダリング装置（１５００）。

【請求項21】

２つまたはそれ以上の仮想ラウドスピーカー（ＳｐＬ、ＳｐＣ、ＳｐＲ）のセットを使用して表される少なくとも部分的にオクルージョンされるオーディオエレメント（６０２、９０２）をレンダリングするためのオーディオレンダリング装置（１５００）であって、前記セットが第１の仮想ラウドスピーカーを含み、前記オーディオレンダリング装置が、
前記第１の仮想ラウドスピーカーを初期位置から新しい位置に移動させること（ｓ４５２）と、
前記第１の仮想ラウドスピーカーの前記新しい位置に基づいて前記第１の仮想ラウドスピーカーについての第１の仮想ラウドスピーカー信号を生成すること（ｓ４５４）と、
前記オーディオエレメントをレンダリングするために前記第１の仮想ラウドスピーカー信号を使用すること（ｓ４５６）と
を行うように設定された、オーディオレンダリング装置（１５００）。

【請求項22】

請求項１７または１８に記載の方法を行うように設定された、請求項２１に記載のオーディオレンダリング装置（１５００）。

【国際調査報告】