知財求人 - 知財ポータルサイト「IP Force」
特表2024-521689仮想現実環境においてオーディオソースの指向性を制御するための方法およびシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-06-04
(54)【発明の名称】仮想現実環境においてオーディオソースの指向性を制御するための方法およびシステム
(51)【国際特許分類】
H04S 7/00 20060101AFI20240528BHJP
【ＦＩ】
H04S7/00 300
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023571739
(86)(22)【出願日】2022-05-10
(85)【翻訳文提出日】2024-01-16
(86)【国際出願番号】 EP2022062543
(87)【国際公開番号】W WO2022243094
(87)【国際公開日】2022-11-24
(31)【優先権主張番号】21174024.6
(32)【優先日】2021-05-17
(33)【優先権主張国・地域又は機関】EP
(31)【優先権主張番号】63/189,269
(32)【優先日】2021-05-17
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】510185767
【氏名又は名称】ドルビー・インターナショナル・アーベー
(74)【代理人】
【識別番号】100101683
【弁理士】
【氏名又は名称】奥田 誠司
(74)【代理人】
【識別番号】100155000
【弁理士】
【氏名又は名称】喜多 修市
(74)【代理人】
【識別番号】100188813
【弁理士】
【氏名又は名称】川喜田 徹
(74)【代理人】
【識別番号】100202197
【弁理士】
【氏名又は名称】村瀬 成康
(72)【発明者】
【氏名】テレンティブ，レオン
(72)【発明者】
【氏名】ファーシュ，クリストフ
(72)【発明者】
【氏名】セティアワン，パンジー
(72)【発明者】
【氏名】フィッシャー，ダニエル
【テーマコード（参考）】
5D162
【Ｆターム（参考）】
5D162AA11
5D162BA01
5D162BA14
5D162EG02
(57)【要約】
仮想現実レンダリング環境（１８０）におけるオーディオソース（２１１、２１２、２１３）のオーディオ信号をレンダリングするための方法（７００）を記載する。方法（７００）は、仮想現実レンダリング環境（１８０）内の聴取者（１８１）の聴取状況に対して、オーディオソース（２１１、２１２、２１３）の指向性パターン（２３２）が考慮されるべきであるかどうかを判断する工程（７０１）を含む。さらに、方法（７００）は、聴取者（１８１）の聴取状況に対して、オーディオソース（２１１、２１２、２１３）の指向性パターン（２３２）が考慮されるべきでないと判断された場合、オーディオソース（２１１、２１２、２１３）の指向性パターン（２３２）を考慮せずに、オーディオソース（２１１、２１２、２１３）のオーディオ信号をレンダリングする工程（７０２）を含む。他方、方法（７００）は、聴取者（１８１）の聴取状況に対して、指向性パターン（２３２）が考慮されるべきであると判断された場合、オーディオソース（２１１、２１２、２１３）の指向性パターン（２３２）に依存して、オーディオソース（２１１、２１２、２１３）のオーディオ信号をレンダリングする工程（７０３）を含む。
【選択図】図７ａ
【選択図】図７ａ
【特許請求の範囲】
【請求項1】
仮想現実レンダリング環境におけるオーディオソースのオーディオ信号をレンダリングするための方法であって、前記方法は、前記仮想現実レンダリング環境内の聴取者の聴取位置からの前記オーディオソースのソース位置の距離を決定する工程と、
前記距離に基づいて、前記仮想現実レンダリング環境内の前記聴取者の聴取状況に対して、前記オーディオソースの指向性パターンが考慮されるべきであるかどうかを判断する工程と、
前記聴取者の前記聴取状況に対して、前記オーディオソースの前記指向性パターンが考慮されるべきでないと判断された場合、前記オーディオソースの前記指向性パターンを考慮せずに、前記オーディオソースのオーディオ信号をレンダリングする工程と、
前記聴取者の前記聴取状況に対して、前記指向性パターンが考慮されるべきであると判断された場合、前記オーディオソースの前記指向性パターンに依存して、前記オーディオソースの前記オーディオ信号をレンダリングする工程と、
を包含する、方法。
【請求項2】
前記方法は、前記聴取状況を記述する１つまたは複数のパラメータを決定する工程と、
前記１つまたは複数のパラメータに基づいて、前記オーディオソースの前記指向性パターンが考慮されるべきであるかどうかを判断する工程と、
を包含する、請求項１に記載の方法。
【請求項3】
前記１つまたは複数のパラメータは、前記オーディオソースの前記ソース位置と前記聴取者の前記聴取位置との間の前記距離、
前記オーディオ信号の周波数、
前記オーディオ信号がレンダリングされるべき時刻、
前記仮想現実レンダリング環境内の前記オーディオソースに関にする、前記聴取者の向きおよび／または視線方向および／または軌跡、
前記オーディオ信号をレンダリングするためのレンダラの条件、特に計算リソースに関する条件、および／または、
前記仮想現実レンダリング環境に関する前記聴取者の動作、
を含む、請求項２に記載の方法。
【請求項4】
前記方法は、前記聴取位置からの前記オーディオソースの前記ソース位置の前記距離が近距離場閾値よりも小さいと判断する工程、および、
これに反応して、前記オーディオソースの前記指向性パターンが考慮されるべきでないと判断する工程、および／または、
前記聴取位置からの前記オーディオソースの前記ソース位置の前記距離が前記近距離場閾値よりも大きいと判断する工程、および
これに反応して、前記オーディオソースの前記指向性パターンが考慮されるべきであると判断する工程、
を包含する、請求項１から３のいずれかに記載の方法。
【請求項5】
前記方法は、前記聴取位置からの前記オーディオソースの前記ソース位置の前記距離が遠距離場閾値よりも大きいと判断する工程、および、
これに反応して、前記オーディオソースの前記指向性パターンが考慮されるべきでないと判断する工程、および／または、
前記聴取位置からの前記オーディオソースの前記ソース位置の前記距離が前記遠距離場閾値よりも小さいと判断する工程、および、
これに反応して、前記オーディオソースの前記指向性パターンが考慮されるべきであると判断する工程、
を包含する、請求項１から４のいずれかに記載の方法。
【請求項6】
前記近接場閾値および／または前記遠隔場閾値は、指向性制御関数に依存し、前記指向性制御関数は、前記距離の関数としての制御値を与え、かつ、
前記制御値は、前記指向性パターンが考慮されるべき程度を示す、請求項１から５のいずれかに記載の方法。
【請求項7】
前記方法は、指向性制御関数に基づいて、前記聴取状況に対する制御値を決定する工程であって、前記指向性制御関数は、異なる聴取状況に対して異なる制御値を与える、工程と、
前記制御値に基づいて、前記オーディオソースの前記指向性パターンが考慮されるべきであるかどうかを判断する工程と、
を包含する、請求項１から６のいずれかに記載の方法。
【請求項8】
前記方法は、前記制御値を制御閾値と比較する工程と、
前記比較に基づいて、特に前記制御値が前記制御閾値よりも大きいか、または、小さいかの何れであるかに依存して、前記オーディオソースの前記指向性パターンが考慮されるべきであるかどうかを判断する工程と、
を包含する、請求項７に記載の方法。
【請求項9】
前記指向性制御関数は、最小値と最大値との間の制御値を与えるように構成され、特に、前記最小値は、０であり、および／または、前記最大値は、１であり、
前記制御閾値は、前記最小値と前記最大値との間に存在し、かつ、
前記方法は、
前記聴取状況に対する前記制御値が前記制御閾値よりも小さい場合、前記オーディオソースの前記指向性パターンが考慮されるべきでないと判断する工程、および／または、
前記聴取状況に対する前記制御値が前記制御閾値よりも大きい場合、前記オーディオソースの前記指向性パターンが考慮されるべきであると判断する工程、
を包含する、請求項８に記載の方法。
【請求項10】
前記指向性制御関数は、前記聴取者の前記聴取位置からの前記オーディオソースの前記ソース位置の前記距離が近接場閾値よりも小さい、および／または、
前記聴取者の前記聴取位置からの前記オーディオソースの前記ソース位置の前記距離が遠隔場閾値よりも大きい、
ような聴取状況において、前記制御閾値未満の制御値を与えるように構成される、請求項９に記載の方法。
【請求項11】
前記方法は、指向性制御関数に基づいて、前記聴取状況に対する制御値を決定する工程であって、前記指向性制御関数は、異なる聴取状況に対して異なる制御値を与え、前記制御値は、前記指向性パターンが考慮されるべき程度を示す、工程と、
前記制御値に依存して、前記オーディオソースの前記指向性パターンを調節する工程と、
前記オーディオソースの調節された前記指向性パターンに依存して、前記オーディオソースの前記オーディオ信号をレンダリングする工程と、
を包含する、請求項１から１０のいずれかに記載の方法。
【請求項12】
前記オーディオソースの前記指向性パターンを調節する工程は、前記オーディオソースの前記指向性パターンの重み付け和を一様な指向性パターンを用いて決定する工程を包含し、かつ、前記重み付け和を決定するための重みは、前記制御値に依存する、請求項１１に記載の方法。
【請求項13】
前記オーディオソースの前記指向性パターンは、基準聴取状況、特に、前記オーディオソースの前記ソース位置と前記聴取者の前記聴取位置との間の基準距離に適用可能であり、かつ、前記指向性制御関数は、
前記聴取状況が前記基準聴取状況に対応する場合、前記指向性パターンが調節されず、および／または、
特に、前記指向性パターンが前記聴取状況の前記基準聴取状況からのずれが大きくなるにつれて一様な指向性パターンに漸進的に向かうように、前記指向性パターンの調節の程度が前記聴取状況の前記基準聴取状況からのずれが大きくなるにつれて大きくなる、
ような関数である、請求項１１または１２に記載の方法。
【請求項14】
前記オーディオソースの前記指向性パターンは、前記オーディオ信号の異なる方向の強度を示し、および／または、前記指向性パターンは、前記オーディオ信号をレンダリングするために前記オーディオ信号に適用されるべき方向依存性指向性ゲインを示す、請求項１から１３のいずれかに記載の方法。
【請求項15】
前記指向性パターンは、指向性ゲイン関数を示し、かつ、前記指向性ゲイン関数は、前記オーディオソースの前記ソース位置と前記聴取者の前記聴取位置との間の指向性角の関数として指向性ゲインを示す、請求項１３に記載の方法。
【請求項16】
前記オーディオソースの前記指向性パターンに依存して、前記オーディオソースの前記オーディオ信号をレンダリングする工程は、前記指向性パターンに基づいて、かつ、前記オーディオソースの前記ソース位置と前記聴取者の前記聴取位置との指向性角に基づいて、指向性ゲインを決定する工程と、
前記指向性ゲインに依存して、前記オーディオ信号をレンダリングする工程と、
を包含する、請求項１から１５のいずれかに記載の方法。
【請求項17】
前記方法は、前記オーディオソースのソース位置と前記聴取者の聴取位置との間の距離に依存して、減衰ゲインを、前記減衰ゲインを前記距離の関数として示す減衰関数を使用して決定する工程と、
前記減衰ゲインに依存して、前記オーディオ信号をレンダリングする工程と、
を包含する、請求項１から１６のいずれかに記載の方法。
【請求項18】
仮想現実レンダリング環境内の聴取者に対して、第１のオーディオソースのオーディオ信号をレンダリングするための方法であって、前記方法は、前記仮想現実レンダリング環境内の前記聴取者の聴取状況に対する制御値を、指向性制御関数に基づいて決定する工程であって、前記指向性制御関数は、異なる聴取状況に対して異なる制御値を与え、前記制御値は、前記第１のオーディオソースの位置と前記聴取者の聴取位置との間の距離の関数であり、かつ、前記制御値は、オーディオソースの指向性が考慮されるべき程度を示す、工程と、
前記制御値に依存して、前記第１のオーディオソースの指向性パターンを調節する工程と、
前記仮想現実レンダリング環境内の前記聴取者に対して、前記第１のオーディオソースの調節された前記指向性パターンに依存して、前記第１のオーディオソースの前記オーディオ信号をレンダリングする工程と、
を包含する、方法。
【請求項19】
仮想現実レンダリング環境内のオーディオソースのオーディオ信号をレンダリングするための仮想現実オーディオレンダラであって、前記オーディオレンダラは、前記仮想現実レンダリング環境内の聴取者の聴取位置からの前記オーディオソースのソース位置の距離を決定し、
前記距離に基づいて、前記仮想現実レンダリング環境内の前記聴取者の聴取状況に対して、前記オーディオソースの指向性パターンが考慮されるべきであるかどうかを判断し、
前記聴取者の前記聴取状況に対して、前記オーディオソースの前記指向性パターンが考慮されるべきでないと判断された場合、前記オーディオソースの前記指向性パターンを考慮せずに、前記オーディオソースのオーディオ信号をレンダリングし、かつ、
前記聴取者の前記聴取状況に対して、前記指向性パターンが考慮されるべきであると判断された場合、前記オーディオソースの前記指向性パターンに依存して、前記オーディオソースの前記オーディオ信号をレンダリングする、
ように構成された、仮想現実オーディオレンダラ。
【請求項20】
仮想現実レンダリング環境内の聴取者に対して、第１のオーディオソースのオーディオ信号をレンダリングするための仮想現実オーディオレンダラであって、前記オーディオレンダラは、前記仮想現実レンダリング環境内の前記聴取者の聴取状況に対する制御値を、指向性制御関数に基づいて決定し、前記指向性制御関数は、異なる聴取状況に対して異なる制御値を与え、前記制御値は、前記第１のオーディオソースの聴取位置と前記聴取者の位置との間の距離の関数であり、前記制御値は、オーディオソースの指向性が考慮されるべき程度を示し、
前記制御値に依存して、前記第１のオーディオソースの指向性パターンを調節し、かつ、
前記仮想現実レンダリング環境内の前記聴取者に対して、前記第１のオーディオソースの前記調節された指向性パターンに依存して、前記第１のオーディオソースの前記オーディオ信号をレンダリングする、
ように構成された、仮想現実オーディオレンダラ。
【請求項21】
仮想現実レンダリング環境内の少なくとも１つのオーディオソースのソース位置と、前記少なくとも１つのオーディオソースの指向性パターンと、
前記仮想現実レンダリング環境内の聴取者の聴取状況に依存して、前記少なくとも１つのオーディオソースのオーディオ信号をレンダリングするための前記指向性パターンの使用を制御するための指向性制御関数であって、前記指向性制御関数は、前記ソース位置と前記聴取者の聴取位置との距離の関数として制御値を与えるように構成された、指向性制御関数と、
を示すビットストリームを生成するように構成されたオーディオエンコーダ。
【請求項22】
仮想現実レンダリング環境内の少なくとも１つのオーディオソースのソース位置と、前記少なくとも１つのオーディオソースの指向性パターンと、
前記仮想現実レンダリング環境内の聴取者の聴取状況に依存して、前記少なくとも１つのオーディオソースのオーディオ信号をレンダリングするための前記指向性パターンの使用を制御するための指向性制御関数であって、前記指向性制御関数は、前記ソース位置と前記聴取者の聴取位置との距離の関数として制御値を与えるように構成された、指向性制御関数と、
を示す、ビットストリーム。
【請求項23】
ビットストリームを生成するための方法であって、前記方法は、少なくとも１つのオーディオソースのオーディオ信号を決定する工程と、
前記少なくとも１つのオーディオソースの仮想現実レンダリング環境内のソース位置を決定する工程と、
前記少なくとも１つのオーディオソースの指向性パターンを決定する工程と、
前記仮想現実レンダリング環境内の聴取者の聴取状況に依存して、前記少なくとも１つのオーディオソースの前記オーディオ信号をレンダリングするための前記指向性パターンの使用を制御するための指向性制御関数を決定する工程であって、前記指向性制御関数は、前記ソース位置と前記聴取者の聴取位置との距離の関数として制御値を与えるように構成された、工程と、
前記オーディオ信号、前記ソース位置、前記指向性パターンおよび前記指向性制御関数に関するデータを前記ビットストリーム内に挿入する工程と、
を包含する、方法。
【請求項24】
コンピュータによって実行されるときに、前記コンピュータに請求項１から１８および２３のいずれかに記載の方法を実施させる命令を備えた、コンピュータ読み取り可能な記憶媒体。
【請求項25】
コンピュータプログラム製品であって、前記プログラムがコンピュータによって実行されるときに、前記コンピュータに請求項１から１８および２３のいずれかに記載の方法を実施させる命令を備えた、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願への相互参照
本願は、以下の優先出願、すなわち、２０２１年５月１７日付け出願の米国仮出願第６３／１８９，２６９号（参照番号：Ｄ２１０２７ＵＳＰ１）および２０２１年５月１７日付け出願の欧州出願第２１１７４０２４．６号（参照番号：Ｄ２１０２７ＥＰ）の優先権を主張するものであり、これらを本願に援用する。
本願は、以下の優先出願、すなわち、２０２１年５月１７日付け出願の米国仮出願第６３／１８９，２６９号（参照番号：Ｄ２１０２７ＵＳＰ１）および２０２１年５月１７日付け出願の欧州出願第２１１７４０２４．６号（参照番号：Ｄ２１０２７ＥＰ）の優先権を主張するものであり、これらを本願に援用する。
【0002】
本明細書は、仮想現実（ＶＲ）レンダリング環境におけるオーディオソースの指向性の効率的かつ一貫した扱いに関する。
【背景技術】
【0003】
仮想現実（ＶＲ）、拡張現実（ＡＲ）および／または複合現実（ＭＲ）アプリケーションは、異なる視点および／または観点や異なる聴取位置（ｌｉｓｔｅｎｉｎｇ ｐｏｓｉｔｉｏｎｓ）から楽しむことができるオーディオソースおよびシーンの音響モデルがますます洗練されるなど、急速に進化している。例えば、ＶＲアプリケーションに対して、２つの異なるクラスのフレキシブルオーディオ表現、すなわち、音場表現およびオブジェクトベース表現が採用され得る。音場表現は、聴取位置での入射波面を符号化する物理ベースの手法である。例えば、Ｂフォーマットまたは高次アンビソニックス（ＨＯＡ）などの手法は、球面調和関数分解を使用して空間的な波面を表現する。オブジェクトベース手法は、複雑な聴覚シーンを、オーディオ波形またはオーディオ信号および関連のパラメータまたはメタデータ（おそらくは経時変化する）を含む個々の要素の集合として表現する。
【0004】
ＶＲ、ＡＲおよび／またはＭＲアプリケーションを楽しむことは、ユーザが異なる聴覚的な視点または観点を体験することを含み得る。例えば、室内ベースの仮想現実は、６自由度（ｄｅｇｒｅｅｓ ｏｆ ｆｒｅｅｄｏｍ：ＤｏＦ）を使用する機構に基づいて提供され得る。６ＤｏＦインタラクションは、平行移動（前／後、上／下および左／右）および回転移動（ピッチ、ヨーおよびロール）を含み得る。頭部の回転に限定された３ＤｏＦ球状映像体験と異なり、６ＤｏＦインタラクションのために生成されたコンテンツは、頭部の回転に加えて、仮想環境内でのナビゲーション（例えば、室内での物理的な歩行）も可能にする。これは、位置トラッカ（例えば、カメラベース）および向きトラッカ（例えば、ジャイロスコープおよび／または加速度計）に基づいて達成できる。６ＤｏＦトラッキング技術は、デスクトップＶＲシステム（例えば、ＰｌａｙＳｔａｔｉｏｎ（登録商標）ＶＲ、Ｏｃｕｌｕｓ Ｒｉｆｔ、ＨＴＣ Ｖｉｖｅ）および移動型ＶＲプラットフォーム（例えば、Ｇｏｏｇｌｅ Ｔａｎｇｏ）上で利用可能であり得る。サウンドまたはオーディオソースの方向性および空間的な広がりのユーザの体験が６ＤｏＦ体験のリアル感に対して重要であり、特にシーンを介するナビゲーションおよび仮想オーディオソース周辺のナビゲーションの体験に対して重要である。
【0005】
既存のオーディオレンダリングシステム（ＭＰＥＧ－Ｈ ３Ｄオーディオレンダラなど）は、典型的には、３ＤｏＦ（すなわち、聴取者（ｌｉｓｔｅｎｅｒ）の頭部の移動によって生じるオーディオシーンの回転移動）または３ＤｏＦ＋のレンダリングに限定される。３ＤｏＦ＋は、聴取者の聴取位置の小さな平行移動変化（ｔｒａｎｓｌａｔｉｏｎａｌ ｃｈａｎｇｅ）を加えるが、指向性またはオクルージョン（ｏｃｃｌｕｓｉｏｎ）などの効果を考慮しない。聴取者の聴取位置のより大きな平行移動変化や関連のＤｏＦは、典型的には、それらのレンダラによっては扱われ得ない。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本明細書は、オーディオレンダリングに関して、平行移動を扱うためのリソース効率のよい方法およびシステムを提供する技術課題に関する。特に、本明細書は、オーディオソースの指向性を６ＤｏＦオーディオレンダリング内でリソース効率的かつ一貫した方法で扱うという技術課題に対処する。
【課題を解決するための手段】
【0007】
概要
一態様によれば、仮想現実レンダリング環境におけるオーディオソースのオーディオ信号をレンダリングするための方法が記載される。方法は、仮想現実レンダリング環境内の聴取者の（現在の）聴取状況（ｌｉｓｔｅｎｉｎｇ ｓｉｔｕａｔｉｏｎ）に対して、オーディオソースの指向性パターンが考慮されるべきであるかどうかを判断する工程を含む。さらに、方法は、聴取者の聴取状況に対して、オーディオソースの指向性パターンが考慮されるべきでないと判断された場合、オーディオソースの指向性パターンを考慮せずに、オーディオソースのオーディオ信号をレンダリングする工程を含む。加えて、方法は、聴取者の聴取状況に対して、指向性パターンが考慮されるべきであると判断された場合、オーディオソースの指向性パターンに依存して、オーディオソースのオーディオ信号をレンダリングする工程を含む。
一態様によれば、仮想現実レンダリング環境におけるオーディオソースのオーディオ信号をレンダリングするための方法が記載される。方法は、仮想現実レンダリング環境内の聴取者の（現在の）聴取状況（ｌｉｓｔｅｎｉｎｇ ｓｉｔｕａｔｉｏｎ）に対して、オーディオソースの指向性パターンが考慮されるべきであるかどうかを判断する工程を含む。さらに、方法は、聴取者の聴取状況に対して、オーディオソースの指向性パターンが考慮されるべきでないと判断された場合、オーディオソースの指向性パターンを考慮せずに、オーディオソースのオーディオ信号をレンダリングする工程を含む。加えて、方法は、聴取者の聴取状況に対して、指向性パターンが考慮されるべきであると判断された場合、オーディオソースの指向性パターンに依存して、オーディオソースのオーディオ信号をレンダリングする工程を含む。
【0008】
さらなる態様によれば、仮想現実レンダリング環境内の聴取者に対して、第１のオーディオソースのオーディオ信号をレンダリングするための方法が記載される。なお、仮想現実レンダリング環境という用語は、拡張および／または複合現実レンダリング環境も含むべきである。方法は、仮想現実レンダリング環境内の聴取者の聴取状況に対する制御値を、指向性制御関数に基づいて決定する工程を含む。さらに、方法は、制御値に依存して、第１のオーディオソースの指向性パターン、特に、指向性ゲインを調節する工程を含む。加えて、方法は、仮想現実レンダリング環境内の聴取者に対して、第１のオーディオソースの調節された指向性パターンに依存して、特に、調節された指向性ゲインに依存して、第１のオーディオソースのオーディオ信号をレンダリングする工程を含む。
【0009】
さらなる態様によれば、仮想現実レンダリング環境内のオーディオソースのオーディオ信号をレンダリングするための仮想現実オーディオレンダラが記載される。オーディオレンダラは、仮想現実レンダリング環境内の聴取者の聴取状況に対して、オーディオソースの指向性パターンが考慮されるべきであるかどうかを判断するように構成される。加えて、オーディオレンダラは、聴取者の聴取状況に対して、オーディオソースの指向性パターンが考慮されるべきでないと判断された場合、オーディオソースの指向性パターンを考慮せずに、オーディオソースのオーディオ信号をレンダリングするように構成される。さらに、オーディオレンダラは、聴取者の聴取状況に対して、指向性パターンが考慮されるべきであると判断された場合、オーディオソースの指向性パターンに依存して、オーディオソースのオーディオ信号をレンダリングするように構成される。
【0010】
別の態様によると、仮想現実レンダリング環境内の聴取者に対して、第１のオーディオソースのオーディオ信号をレンダリングするための仮想現実オーディオレンダラが記載される。オーディオレンダラは、仮想現実レンダリング環境内の聴取者の聴取状況に対する制御値を、指向性制御関数（例えば、ビットストリーム内に提供される）に基づいて決定するように構成される。さらに、オーディオレンダラは、制御値に依存して、第１のオーディオソースの指向性パターン（例えば、ビットストリーム内に提供される）を調節するように構成される。さらに、オーディオレンダラは、仮想現実レンダリング環境内の聴取者に対して、第１のオーディオソースの調節された指向性パターンに依存して、第１のオーディオソースのオーディオ信号をレンダリングするように構成される。
【0011】
さらなる態様によれば、ビットストリームを生成するための方法が記載される。方法は、少なくとも１つのオーディオソースのオーディオ信号を決定する工程と、少なくとも１つのオーディオソースの仮想現実レンダリング環境内のソース位置を決定する工程と、を含む。加えて、方法は、少なくとも１つのオーディオソースの（一様でない）指向性パターンを決定する工程と、仮想現実レンダリング環境内の聴取者の聴取状況に依存して、少なくとも１つのオーディオソースのオーディオ信号をレンダリングするための指向性パターンの使用を制御するための指向性制御関数を決定する工程と、を含む。さらに、方法は、オーディオ信号、ソース位置、指向性パターンおよび指向性制御関数に関するデータをビットストリーム内に挿入する工程を含む。
【0012】
さらなる態様によれば、ビットストリームを生成するように構成されたオーディオエンコーダが記載される。ビットストリームは、少なくとも１つのオーディオソースのオーディオ信号、および／または、少なくとも１つのオーディオソースの仮想現実レンダリング環境内のソース位置を示し得る。さらに、ビットストリームは、少なくとも１つのオーディオソースの指向性パターン、および／または、仮想現実レンダリング環境内の聴取者の聴取状況に依存して、少なくとも１つのオーディオソースのオーディオ信号をレンダリングするための指向性パターンの使用を制御するための指向性制御関数を示し得る。
【0013】
別の態様によると、ビットストリームおよび／またはビットストリームのためのシンタックスが記載される。ビットストリームは、少なくとも１つのオーディオソースのオーディオ信号、および／または、少なくとも１つのオーディオソースの仮想現実レンダリング環境内のソース位置を示し得る。さらに、ビットストリームは、少なくとも１つのオーディオソースの指向性パターン、および／または、仮想現実レンダリング環境内の聴取者の聴取状況に依存して、少なくとも１つのオーディオソースのオーディオ信号をレンダリングするための指向性パターンの使用を制御するための指向性制御関数を示し得る。ビットストリームは、上記情報に関するデータを含む１つまたは複数のデータ要素を含み得る。
【0014】
さらなる態様によれば、ソフトウェアプログラムが記載される。ソフトウェアプログラムは、プロセッサ上で実行されるように構成され得、かつ、プロセッサ上で実施されるときに本明細書で概説される方法工程を行うように構成され得る。
【0015】
別の態様によれば、コンピュータ読み取り可能な記憶媒体が記載される。コンピュータ読み取り可能な記憶媒体は、プロセッサ（または、コンピュータ）上で実行されるように構成され、かつ、プロセッサ上で実施されるときに本明細書で概説される方法工程を行うように構成されたソフトウェアプログラムを備え得る。
【0016】
さらなる態様によれば、コンピュータプログラム製造物が記載される。コンピュータプログラムは、コンピュータ上で実行されるときに本明細書で概説される方法工程を行うための実行可能命令を備え得る。
【0017】
なお、本特許出願において概説される好ましい実施形態を含む方法およびシステムは、単独で使用されてもよく、または、本明細書に開示される他の方法およびシステムと組み合わせて使用されてもよい。さらに、本特許出願において概説される方法およびシステムのすべての態様は、任意に組み合わされてもよい。特に、特許請求の範囲の特徴は、任意の方法で互いに組み合わされてもよい。
【図面の簡単な説明】
【0018】
本発明は、添付の図面を参照して例示的な方法で下記に説明される。
【0019】
【発明を実施するための形態】
【0020】
詳細な説明
上記に概説したように、本明細書は、３Ｄ（３次元）オーディオ環境において６ＤｏＦを効率的かつ一貫して提供することに関する。図１ａは、例示のオーディオ処理システム１００のブロック図を図示する。スタジアムなどの音響環境１１０は、様々に異なるオーディオソース１１３を備え得る。スタジアム内の例示のオーディオソース１１３は、個々の観客、スタジアムスピーカ、フィールド上の演奏者などである。音響環境１１０は、異なるオーディオシーン１１１、１１２に細分化され得る。例として、第１のオーディオシーン１１１は、ホームチームの応援ブロックに対応し、第２のオーディオシーン１１２は、ゲストチームの応援ブロックに対応し得る。聴取者がオーディオ環境内のどの位置に存在するかに依存して、聴取者は、第１のオーディオシーン１１１からのオーディオソース１１３、または、第２のオーディオシーン１１２からのオーディオソース１１３のいずれかを知覚することになる。
上記に概説したように、本明細書は、３Ｄ（３次元）オーディオ環境において６ＤｏＦを効率的かつ一貫して提供することに関する。図１ａは、例示のオーディオ処理システム１００のブロック図を図示する。スタジアムなどの音響環境１１０は、様々に異なるオーディオソース１１３を備え得る。スタジアム内の例示のオーディオソース１１３は、個々の観客、スタジアムスピーカ、フィールド上の演奏者などである。音響環境１１０は、異なるオーディオシーン１１１、１１２に細分化され得る。例として、第１のオーディオシーン１１１は、ホームチームの応援ブロックに対応し、第２のオーディオシーン１１２は、ゲストチームの応援ブロックに対応し得る。聴取者がオーディオ環境内のどの位置に存在するかに依存して、聴取者は、第１のオーディオシーン１１１からのオーディオソース１１３、または、第２のオーディオシーン１１２からのオーディオソース１１３のいずれかを知覚することになる。
【0021】
オーディオ環境１１０の異なるオーディオソース１１３は、オーディオセンサ１２０、特に、マイクロフォンアレイを使用してキャプチャされ得る。オーディオ環境１１０の１つまたは複数のオーディオシーン１１１、１１２は、マルチチャネルオーディオ信号、１つまたは複数のオーディオオブジェクトおよび／または高次アンビソニックス（ＨＯＡ）および／または１次アンビソニックス信号を使用して記述され得る。以下では、オーディオソース１１３は、１つまたは複数のオーディオセンサ１２０によってキャプチャされたオーディオデータに関連付けられていると仮定される。ここで、オーディオデータは、オーディオ信号（オーディオソース１１３によって送信される）およびオーディオソース１１３の位置を時間の関数として（特定のサンプリングレート、例えば、２０ｍｓで）示す。
【0022】
ＭＰＥＧ－Ｈ ３Ｄオーディオレンダラなどの３Ｄオーディオレンダラは、典型的には、聴取者１８１がオーディオシーン１１１、１１２内の特定の（固定した）聴取位置１８２に位置するものと仮定する。オーディオシーン１１１、１１２の異なるオーディオソース１１３に対するオーディオデータは、典型的には、聴取者１８１がこの特定の聴取位置１８２に位置すると仮定して提供される。オーディオエンコーダ１３０は、オーディオ環境１１０の１つまたは複数のオーディオシーン１１１、１１２の１つまたは複数のオーディオソース１１３のオーディオデータを符号化するように構成された３Ｄオーディオエンコーダ１３１を備え得る。
【0023】
さらに、聴取者１８１がオーディオシーン１１１、１１２内で聴取位置１８２を変更すること、および／または、異なるオーディオシーン１１１、１１２間で移動することを可能にするＶＲ（仮想現実）メタデータが提供され得る。エンコーダ１３０は、ＶＲメタデータを符号化するように構成されたメタデータエンコーダ１３２を備え得る。オーディオソース１１３の符号化ＶＲメタデータおよび符号化オーディオデータは、合成部１３３において合成されて、オーディオデータおよびＶＲメタデータを示すビットストリーム１４０を提供し得る。ＶＲメタデータは、例えば、オーディオ環境１１０の音響性を記述する環境データを含み得る。
【0024】
ビットストリーム１４０は、デコーダ１５０を使用して復号化され、（復号化）オーディオデータおよび（復号化）ＶＲメタデータを提供し得る。６ＤｏＦを可能にするレンダリング環境１８０内のオーディオをレンダリングするためのオーディオレンダラ１６０は、前処理部１６１と、（従来の）３Ｄオーディオレンダラ１６２（ＭＰＥＧ－Ｈ ３Ｄオーディオレンダラなど）とを備え得る。前処理部１６１は、聴取者１８１の聴取環境１８０内での聴取位置１８２を決定するように構成され得る。聴取位置１８２は、聴取者１８１が位置するオーディオシーン１１１を示し得る。さらに、聴取位置１８２は、オーディオシーン１１１内での正確な位置を示し得る。前処理部１６１は、さらに、（復号化）オーディオデータに基づいて、および、おそらくは（復号化）ＶＲメタデータに基づいて、現在の聴取位置１８２に対する３Ｄオーディオ信号を決定するように構成され得る。次いで、３Ｄオーディオ信号は、３Ｄオーディオレンダラ１６２を使用してレンダリングされ得る。３Ｄオーディオ信号は、オーディオシーン１１１の１つまたは複数のオーディオソース１１３のオーディオ信号を含み得る。
【0025】
なお、本明細書に記載の概念および手法は、周波数変動的で特定されてもよく、グローバル的またはオブジェクト／媒体依存的のいずれで定義されてもよく、スペクトル領域または時間領域において直接適用されてもよく、および／または、ＶＲレンダラ１６０にハードコードされてもよく、または、対応する入力インタフェースを介して特定されてもよい。
【0026】
図１ｂは、例示的なレンダリング環境１８０を示す。聴取者１８１は、遷移元（ｏｒｉｇｉｎ）オーディオシーン１１１内に位置し得る。レンダリング目的において、オーディオソース１１３、１９４は、聴取者１８１の周辺、特に、聴取位置１８２の周辺の（単位（ｕｎｉｔｙ））球１１４上の異なるレンダリング位置に配置されると仮定され得る。異なるオーディオソース１１３、１９４のレンダリング位置は、時間とともに（所与のサンプリングレートに従って）変化し得る。異なるオーディオソース１１３、１９４の位置は、ＶＲメタデータ内で示され得る。ＶＲレンダリング環境１８０内で、異なる状況が起こり得る。聴取者１８１は、遷移元オーディオシーン１１１から遷移先（ｄｅｓｔｉｎａｔｉｏｎ）オーディオシーン１１２へのグローバル遷移１９１を行い得る。あるいは、または加えて、聴取者１８１は、同じオーディオシーン１１１内の異なる聴取位置１８２へのローカル遷移１９２を行い得る。あるいは、または加えて、オーディオシーン１１１は、音響的に関係する環境特性（ｐｒｏｐｅｒｔｉｅｓ）（例えば、壁）を示し得る。これは、環境データ１９３を使用して記述され得、聴取位置１８２に変化が生じたときに考慮されるべきである。環境データ１９３は、ＶＲメタデータとして提供され得る。あるいは、または加えて、オーディオシーン１１１は、１つまたは複数の周囲オーディオソース１９４（例えば、背景ノイズについて）を含み得る。これは、聴取位置１８２に変化が生じたときに考慮されるべきである。
【0027】
図２は、同じオーディオシーン１１１内での遷移元聴取位置Ｂ ２０１から遷移先聴取位置Ｃ ２０２への例示的なローカル遷移１９２を示している。オーディオシーン１１１は、異なるオーディオソースまたはオブジェクト２１１、２１２、２１３を含む。異なるオーディオソースまたはオブジェクト２１１、２１２、２１３は、異なる指向性プロフィール２３２（本明細書において指向性パターンとも称する）を有し得る。１つまたは複数のオーディオソースまたはオブジェクト２１１、２１２、２１３の指向性プロフィール２３２は、ＶＲメタデータとして示され得る。さらに、オーディオシーン１１１は、オーディオシーン１１１内でのオーディオの伝搬に対して影響を与える環境特性、特に、１つまたは複数の障害物を有し得る。環境特性は、環境データ１９３を使用して記述され得る。加えて、オーディオオブジェクト２１１から異なる聴取位置１８２、２０１、２０２までの相対距離２２１、２２２は、既知であり得る（例えば、ＶＲレンダラ１６０の１つまたは複数のセンサ（ジャイロスコープまたは加速度計など）に基づく）。
【0028】
図３ａおよび３ｂは、異なるオーディオソースまたはオブジェクト２１１、２１２、２１３の強度に対するローカル遷移１９２の効果を扱うための手法を例示する。上記概説のように、オーディオシーン１１１のオーディオソース２１１、２１２、２１３は、典型的には、聴取位置２０１の周辺の球１１４上に位置していると３Ｄオーディオレンダラ１６２に仮定される。よって、ローカル遷移１９２の開始時に、オーディオソース２１１、２１２、２１３は、遷移元聴取位置２０１の周辺の遷移元球１１４上に配置され得、ローカル遷移１９２の終了時に、オーディオソース２１１、２１２、２１３は、遷移先聴取位置２０２の周辺の遷移先球１１４上に配置され得る。オーディオソース２１１、２１２、２１３は、遷移元球１１４から遷移先球１１４に再マッピングされ得る。そうするために、遷移先聴取位置２０２から遷移元球１１４上のオーディオソース２１１、２１２、２１３のソース位置に向かう射線（ｒａｙ）が考慮され得る。オーディオソース２１１、２１２、２１３は、射線と遷移先球１１４との交点上に配置され得る。
【0029】
遷移先球１１４上のオーディオソース２１１、２１２、２１３の強度Ｆは、典型的には、遷移元球１１４上の強度と異なる。強度Ｆは、聴取位置１８２、２０１、２０２からのオーディオソース２１１、２１２、２１３の距離３２０の関数として距離ゲイン３１０（本明細書において、減衰ゲインとも称す）を与える強度ゲイン関数または距離関数３１５（本明細書において、減衰関数とも称す）を使用して変更され得る。距離関数３１５は、典型的にはカットオフ距離３２１を示し、カットオフ距離３２１を超えるところではゼロの距離ゲイン３１０が適用される。オーディオソース２１１から遷移元聴取位置２０１までの遷移元距離２２１は、遷移元ゲイン３１１を与える。さらに、オーディオソース２１１から遷移先聴取位置２０２までの遷移先距離２２２は、遷移先ゲイン３１２を与える。オーディオソース２１１の強度Ｆは、遷移元ゲイン３１１および遷移先ゲイン３１２を使用して再スケーリングされ、それにより遷移先球１１４上のオーディオソース２１１の強度Ｆを与え得る。特に、遷移元球１１４上のオーディオソース２１１の遷移元オーディオ信号の強度Ｆを遷移元ゲイン３１１で除算し、かつ、遷移先ゲイン３２２を乗算して、遷移先球１１４上のオーディオソース２１１の遷移先オーディオ信号の強度Ｆを与え得る。
【0030】
よって、ローカル遷移１９２後のオーディオソース２１１の位置は、Ｃｉ＝ｓｏｕｒｃｅ＿ｒｅｍａｐ＿ｆｕｎｃｔｉｏｎ（Ｂｉ，Ｃ）として決定され得る（例えば、幾何学的変換を使用して）。さらに、ローカル遷移１９２後のオーディオソース２１１の強度は、Ｆ（Ｃｉ）＝Ｆ（Ｂｉ）＊ｄｉｓｔａｎｃｅ＿ｆｕｎｃｔｉｏｎ（Ｂｉ，Ｃｉ，Ｃ）として決定され得る。したがって、距離減衰は、距離関数３１５によって与えられる対応の強度ゲイン３１５によってモデル化され得る。
【0031】
図４ａおよび４ｂは、非一様な指向性プロフィール２３２を有するオーディオソース２１２を例示する。指向性プロフィールは、異なる方向または指向性角４２０に対するゲイン値を示す指向性ゲイン４１０を使用して定義され得る。特に、オーディオソース２１２の指向性プロフィール２３２は、指向性ゲイン４１０を指向性角４２０（角４２０は、０°～３６０°の範囲であり得る）の関数として示す指向性ゲイン関数４１５を使用して定義され得る。なお、３Ｄオーディオソース２１２に対して、指向性角４２０は、典型的には、方位角および仰角を含む２次元の角である。よって、指向性ゲイン関数４１５は、典型的には、二次遷移元指向性角４２０の２次元関数である。
【0032】
オーディオソース２１２の指向性プロフィール２３２は、ローカル遷移１９２に関して、オーディオソース２１２と遷移元聴取位置２０１との間の遷移元射線の遷移元指向性角４２１（オーディオソース２１２が遷移元聴取位置２０１の周辺の遷移元球１１４上に配置されている状態）と、オーディオソース２１２と遷移先聴取位置２０２との間の遷移先射線の遷移先指向性角４２２（オーディオ源２１２が遷移先聴取位置２０２の周辺の遷移先球１１４上に配置されている状態）とを決定することによって考慮され得る。オーディオソース２１２の指向性ゲイン関数４１５を使用して、遷移元指向性ゲイン４１１および遷移先指向性ゲイン４１２は、それぞれ遷移元指向性角４２１および遷移先指向性角４２２に対する指向性ゲイン関数４１５の関数値として決定され得る（図４ｂを参照のこと）。次いで、遷移元聴取位置２０１におけるオーディオソース２１２の強度Ｆは、遷移元指向性ゲイン４１１で除算され、かつ、遷移先指向性ゲイン４１２を乗算されて、遷移先聴取位置２０２でのオーディオソース２１２の強度Ｆが決定され得る。
【0033】
よって、サウンドソース指向性は、指向性ゲイン関数４１５によって示される指向性因子またはゲイン４１０によってパラメータ化され得る。指向性ゲイン関数４１５は、規定の距離におけるオーディオソース２１２の強度を、聴取位置１８２、２０１、２０２に対する角４２０の関数として示し得る。指向性ゲイン４１０は、同じ距離にあり、すべての方向に一様に放射される全パワーが同じであるオーディオソース２１２のゲインに対する比として定義され得る。指向性プロフィール２３２は、オーディオソース２１２の中心を起点にし、かつ、オーディオソース２１２の中心まわりの単位球上に分布した点を終点とするベクトルに対応する１セットのゲイン４１０によってパラメータ化され得る。
【0034】
遷移先聴取位置２０２におけるオーディオソース２１２の上記のように得られたオーディオ強度は、Ｆ（Ｃｉ）＝Ｆ（Ｂｉ）＊Ｄｉｓｔａｎｃｅ＿ｆｕｎｃｔｉｏｎ（）＊Ｄｉｒｅｃｔｉｖｉｔｙ＿ｇａｉｎ＿ｆｕｎｃｔｉｏｎ（Ｃｉ，Ｃ，Ｄｉｒｅｃｔｉｖｉｔｙ＿ｐａｒａｍｅｔｒｉｚａｔｉｏｎ）として推定され得る。ここで、Ｄｉｒｅｃｔｉｖｉｔｙ＿ｇａｉｎ＿ｆｕｎｃｔｉｏｎは、オーディオソース２１２の指向性プロフィール２３２に依存する。Ｄｉｓｔａｎｃｅ＿ｆｕｎｃｔｉｏｎ（）は、聴取位置２０１、２０２の遷移によるオーディオソース２１２の距離３２１、３２２の変化によって変更された強度を考慮する。
【0035】
図５ａは、所与の距離３２０におけるオーディオソース２１１の指向性プロフィール２３２を測定するための例示のセットアップを示す。この目的のために、オーディオセンサ１２０、特に、マイクロフォンがオーディオソース２１１を中心とする円周上に配置され得る。ここで、当該円周は、所与の距離３２０に対応する半径を有する。オーディオ信号の強度または大きさは、当該円周上の異なる角４２０に対して測定されることにより、距離Ｄ ３２０に対する指向性パターンＰ（Ｄ） ２３２が与えられ得る。そのような指向性パターンまたはプロフィールは、複数の異なる距離値Ｄ ３２０に対して決定され得る。
【0036】
指向性パターンデータは、以下を表し得る。
・オーディオソースまたはオブジェクト２１１が音場を生成することによって生じるサウンド出射特性、
・近接の障害物によって生じ、音場に影響を与えるローカルサウンドオクルージョン（ｏｃｃｌｕｓｉｏｎ）の効果、および／または
・コンテンツ作成者の意図。
指向性パターンデータは、典型的には、図５ａに例示するように、オーディオソース２１１からの特定の距離範囲に対して測定される（および有効なだけである）。
・オーディオソースまたはオブジェクト２１１が音場を生成することによって生じるサウンド出射特性、
・近接の障害物によって生じ、音場に影響を与えるローカルサウンドオクルージョン（ｏｃｃｌｕｓｉｏｎ）の効果、および／または
・コンテンツ作成者の意図。
指向性パターンデータは、典型的には、図５ａに例示するように、オーディオソース２１１からの特定の距離範囲に対して測定される（および有効なだけである）。
【0037】
指向性パターン２３２からの指向性ゲインがレンダリングされたオーディオ信号に直接適用される場合、１つ以上の問題が生じ得る。指向性の考慮は、オーディオオブジェクト２１１から相対的に遠隔の聴取位置１８２、２０１、２０２には知覚的に関係しないことが多くあり得る。その理由は、以下であり得る。
・相対的に低い全オブジェクトサウンドエネルギー（例えば、支配的な距離減衰効果による）、
・音響心理学的マスキング効果（聴取位置２０１により近接の１つまたは複数の他のオーディオソース２１２、２１３のよって生じるか、残響性（ｒｅｖｅｒｂｅｒａｎｃｅ）によって生じるか、および／または初期反射によって生じる）、
・聴取者の注意に対するオーディオオブジェクト２１１の相対的に低い主観的な重要性、および／または、
・オーディオオブジェクト２１１の指向性に対応するオブジェクト２１１の向きを示す明確な視覚指示の欠如。
・相対的に低い全オブジェクトサウンドエネルギー（例えば、支配的な距離減衰効果による）、
・音響心理学的マスキング効果（聴取位置２０１により近接の１つまたは複数の他のオーディオソース２１２、２１３のよって生じるか、残響性（ｒｅｖｅｒｂｅｒａｎｃｅ）によって生じるか、および／または初期反射によって生じる）、
・聴取者の注意に対するオーディオオブジェクト２１１の相対的に低い主観的な重要性、および／または、
・オーディオオブジェクト２１１の指向性に対応するオブジェクト２１１の向きを示す明確な視覚指示の欠如。
【0038】
さらなる問題は、図５ｂに例示されるように、指向性を適用した結果、オーディオソース２１１の原点５００（すなわち、ソース位置）においてサウンド強度の不連続性が生じることであり得る。この音響アーチファクトは、聴取者が仮想オーディオシーン１１１内のオーディオソース２１１（特に、体積オブジェクトによって表されるオーディオソース２１１）の原点５００を通り過ぎる際に知覚され得る。ユーザは、そのような仮想オブジェクトを通り過ぎながら、オーディオソース２１１の中心点５００において、唐突なサウンドレベルの変化を知覚し得る。これを図５ｂに例示する。図５ｂは、前からオーディオソース２１１の中心点５００へ近寄る際のサウンドレベル５０１、および、オーディオソース２１１の後ろ側で中心点５００から遠ざかる際のサウンドレベル５０２を示す。図５ｂでは、中心点５００においてサウンドレベル５０１、５０２に不連続性が生じていることが分かる。
【0039】
所与のオーディオソース２１１について、１セットのＮ個の音響ソース指向性パターンＰｉ＝Ｐ（Ｄｉ）（ここで、ｉ∈｛１，…，Ｎ｝）が、サウンド出射オブジェクト２１１の中心５００からの異なる距離Ｄｉに対して利用可能であり得る（ここで、Ｎは、１以上、２以上、または３以上）。これらの指向性パターン間のすべての距離Ｄ、すなわちｍｉｎ（Ｄｉ）≦Ｄ≦ｍａｘ（Ｄｉ）、について、球面補間手法を適用して、特定の距離Ｄに対する指向性パターンを決定し得る。例として、線形補間が使用され得る。
【0040】
本明細書において、オーディオソース２１１の原点５００からの相対的に小さい距離（Ｄ＜ｍｉｎ（Ｄｉ））（すなわち、オーディオソース中心５００と指向性パターンが利用可能な最短の距離との距離３２０）に対して、外挿された（およびおそらくは最適化された）指向性ゲイン値Ｐ＝Ｐ（Ｄ）を決定するための手法が記載される。さらに、相対的に大きい距離（Ｄ＞ｍａｘ（Ｄｉ））（すなわち、指向性パターンが存在する最も大きい距離を超える）に対して、外挿された（およびおそらくは最適化された）指向性ゲイン値Ｐ＝Ｐ（Ｄ）を決定するための手法が記載される。
【0041】
本明細書において記載の手法は、原点５００、すなわち、Ｄ＝０におけるサウンドレベルの不連続性を防止し、および／または、相対的に大きい距離、すなわち、Ｄ→∞に対して、音場の知覚に関係のない変化を生じさせる指向性ゲイン計算を回避するように構成される。Ｄ→０および／またはＤ＞Ｄ＊（ここで、Ｄ＊は、規定の距離閾値）に対して、指向性を適用する効果は、無視できるほど小さいと仮定し得る。
【0042】
特定の聴取状況に対して、指向性制御値（ｄｉｒｅｃｔｉｖｉｔｙ＿ｃｏｎｔｒｏｌ＿ｇａｉｎ）が計算され得る。指向性制御値は、聴取者１８１の特定の聴取状況に対して、対応する指向性データの関連性を示し得る。指向性制御値は、指向性（例えば、ｍｉｎ（Ｄｉ）またはｍａｘ（Ｄｉ）であり得る）に対して、ユーザ－オブジェクト間距離Ｄ（距離）３２０の値に基づいて、かつ、所与の基準距離Ｄｉ（ｒｅｆｅｒｅｎｃｅ＿ｄｉｓｔａｎｃｅ）に基づいて決定され得る。基準距離Ｄｉは、指向性パターン２３２が利用可能である距離Ｄｉであり得る。指向性制御値（本明細書において、指向性制御ゲインとも称する）は、指向性制御関数（図６ａに示す）、すなわち、
ｄｉｒｅｃｔｉｖｉｔｙ＿ｃｏｎｔｒｏｌ＿ｇａｉｎ ＝ ｇｅｔ＿ｄｉｒｅｃｔｉｖｉｔｙ＿ｃｏｎｔｒｏｌ＿ｇａｉｎ（ｄｉｓｔａｎｃｅ， ｒｅｆｅｒｅｎｃｅ＿ｄｉｓｔａｎｃｅ）
を使用して決定され得る。
ｄｉｒｅｃｔｉｖｉｔｙ＿ｃｏｎｔｒｏｌ＿ｇａｉｎ ＝ ｇｅｔ＿ｄｉｒｅｃｔｉｖｉｔｙ＿ｃｏｎｔｒｏｌ＿ｇａｉｎ（ｄｉｓｔａｎｃｅ， ｒｅｆｅｒｅｎｃｅ＿ｄｉｓｔａｎｃｅ）
を使用して決定され得る。
【0043】
指向性制御値（ｄｉｒｅｃｔｉｖｉｔｙ＿ｃｏｎｔｒｏｌ＿ｇａｉｎ）の値は、所定の指向性制御値閾値Ｄ＊（ｄｉｒｅｃｔｉｖｉｔｙ＿ｃｏｎｔｒｏｌ＿ｔｈｒｅｓｈｏｌｄ）と比較され得る。指向性制御値が閾値Ｄ＊よりも大きい場合、（距離に依存しない）指向性ゲイン値（ｄｉｒｅｃｔｉｖｉｔｙ＿ｇａｉｎ＿ｔｍｐ）が指向性パターン２３２に基づいて決定され得、そして、指向性ゲイン値は、指向性制御値（ｄｉｒｅｃｔｉｖｉｔｙ＿ｃｏｎｔｒｏｌ＿ｇａｉｎ）に応じて変更され得る。指向性ゲイン値の変更は、以下の疑似コードによって示されるように行われ得る。
ｉｆ ｄｉｒｅｃｔｉｖｉｔｙ＿ｃｏｎｔｒｏｌ＿ｇａｉｎ ＞ ｄｉｒｅｃｔｉｖｉｔｙ＿ｃｏｎｔｒｏｌ＿ｔｈｒｅｓｈｏｌｄ
ｄｉｒｅｃｔｉｖｉｔｙ＿ｇａｉｎ＿ｔｍｐ ＝ ｇｅｔ＿ｄｉｒｅｃｔｉｖｉｔｙ＿ｇａｉｎ（）；
ｄｉｒｅｃｔｉｖｉｔｙ＿ｇａｉｎ ＝ ｄｉｒｅｃｔｉｖｉｔｙ＿ｃｏｎｔｒｏｌ＿ｇａｉｎ＊（ｄｉｒｅｃｔｉｖｉｔｙ＿ｇａｉｎ＿ｔｍｐ － １） ＋ １；
ｅｌｓｅ
ｄｉｒｅｃｔｉｖｉｔｙ＿ｇａｉｎ ＝ １；
ｅｎｄ
ｉｆ ｄｉｒｅｃｔｉｖｉｔｙ＿ｃｏｎｔｒｏｌ＿ｇａｉｎ ＞ ｄｉｒｅｃｔｉｖｉｔｙ＿ｃｏｎｔｒｏｌ＿ｔｈｒｅｓｈｏｌｄ
ｄｉｒｅｃｔｉｖｉｔｙ＿ｇａｉｎ＿ｔｍｐ ＝ ｇｅｔ＿ｄｉｒｅｃｔｉｖｉｔｙ＿ｇａｉｎ（）；
ｄｉｒｅｃｔｉｖｉｔｙ＿ｇａｉｎ ＝ ｄｉｒｅｃｔｉｖｉｔｙ＿ｃｏｎｔｒｏｌ＿ｇａｉｎ＊（ｄｉｒｅｃｔｉｖｉｔｙ＿ｇａｉｎ＿ｔｍｐ － １） ＋ １；
ｅｌｓｅ
ｄｉｒｅｃｔｉｖｉｔｙ＿ｇａｉｎ ＝ １；
ｅｎｄ
【0044】
上記疑似コードに示すように、指向性データの適用は、指向性制御値が閾値Ｄ＊未満の場合、省略され得る。
【0045】
上記得られた（距離に依存する）指向性ゲイン（ｄｉｒｅｃｔｉｖｉｔｙ＿ｇａｉｎ）は、以下のように、対応する距離減衰ゲインに適用され得る。
ｄｉｓｔａｎｃｅ＿ａｔｔｅｎｕａｔｉｏｎ＿ｇａｉｎ ＝ ｇｅｔ＿ａｔｔｅｎｕａｔｉｏｎ＿ｇａｉｎ（）；
ｇａｉｎ ＝ ｄｉｒｅｃｔｉｖｉｔｙ＿ｇａｉｎ＊ｄｉｓｔａｎｃｅ＿ａｔｔｅｎｕａｔｉｏｎ＿ｇａｉｎ；
ｄｉｓｔａｎｃｅ＿ａｔｔｅｎｕａｔｉｏｎ＿ｇａｉｎ ＝ ｇｅｔ＿ａｔｔｅｎｕａｔｉｏｎ＿ｇａｉｎ（）；
ｇａｉｎ ＝ ｄｉｒｅｃｔｉｖｉｔｙ＿ｇａｉｎ＊ｄｉｓｔａｎｃｅ＿ａｔｔｅｎｕａｔｉｏｎ＿ｇａｉｎ；
【0046】
図６ａは、例示の指向性制御関数６００ ｇｅｔ＿ｄｉｒｅｃｔｉｖｉｔｙ＿ｃｏｎｔｒｏｌ＿ｇａｉｎ（）を示す。指向性効果の最も重要な（すなわち、客観的関連性（ｓｕｂｊｅｃｔｉｖｅ ｒｅｌｅｖａｎｃｅ））点は、マークされた位置または基準距離６１０（ｒｅｆｅｒｅｎｃｅ＿ｄｉｓｔａｎｃｅ）の周辺の領域に位置する。基準距離６１０は、指向性パターン２３２が測定された距離３２０であり得る。指向性効果は、基準距離６１０よりも小さい値から始まり、かつ、基準距離６１０を超える相対的に大きい距離に対して消滅していく。指向性の適用に関する計算は、指向性制御値が閾値値Ｄ＊よりも大きい距離３２０に対してのみ行われる。よって、指向性は、原点５００の近傍および／または原点５００からの遠隔においては適用されない。
【0047】
図６ａは、指向性制御関数６００がどのように（「ｓ」形状の）関数６０２の組み合わせに基づいて決定され得るかを例示する。関数６０２は、相対的に小さい距離に対して０に向かって単調に低減し、基準距離６１０以上に対して１の近くにとどまる（原点５００での不連続性問題に対処するため）。別の関数６０１は、相対的に大きい距離３２０に対して０に向かって単調に低減し得、基準距離６１０において最大値を有し得る（知覚関連性の問題に対処するため）。両方の関数６０１、６０２の乗算を表す関数６００は、両方の問題を同時に考慮し、そして、指向性制御関数として使用され得る。
【0048】
図６ｂは、例示の距離減衰関数６５０ ｇｅｔ＿ａｔｔｅｎｕａｔｉｏｎ＿ｇａｉｎ（）を示す。距離減衰関数６５０は、距離ゲイン６５１を距離３２０の関数として示し、かつ、オーディオ信号２１１によって出射されたオーディオ信号の減衰を表す。距離減衰関数６５０は、図３ｂに関して記載された距離関数３１５と同一であり得る。
【0049】
指向性適用制御に対して、異なるタイプの指向性制御関数６００および／または距離減衰関数６５０が考慮、定義および適用され得る。それらの形状および値は、物理的検討、測定データおよび／またはコンテンツ作成者の意図から導かれ得る。指向性制御関数６００は、聴取者１８１に対する特定の聴取状況に依存し得る。聴取状況は、以下のパラメータのうちの１つ以上によって記述され得る、すなわち、指向性制御関数６００は、以下のパラメータのうちの１つ以上に依存し得る。
・オーディオソース２１１によって出射されるオーディオ信号の周波数、
・当該オーディオ信号がレンダリングされる時点、
・聴取者－オブジェクト向き、聴取者ビュー（ｌｉｓｔｅｎｅｒ－ｖｉｅｗ）方向および／または聴取者１８１の軌跡、
・ユーザインタラクション、他の条件および／またはシーンイベント、および／または
・システム関連条件（例えば、レンダリング作業負荷）。
・オーディオソース２１１によって出射されるオーディオ信号の周波数、
・当該オーディオ信号がレンダリングされる時点、
・聴取者－オブジェクト向き、聴取者ビュー（ｌｉｓｔｅｎｅｒ－ｖｉｅｗ）方向および／または聴取者１８１の軌跡、
・ユーザインタラクション、他の条件および／またはシーンイベント、および／または
・システム関連条件（例えば、レンダリング作業負荷）。
【0050】
本明細書に記載の手法によれば、特に、オーディオソース２１１の原点５００に近接のオーディオボリュームにおける不連続性を回避することによって、３Ｄオーディオレンダリングの品質を向上させることが可能になる。さらに、特に、知覚的に関係のないところでオブジェクト指向性の適用を回避することによって、指向性適用の複雑性が低減され得る。加えて、エンコーダ１３０の構成を介して指向性適用を制御する可能性が提供される。
【0051】
本明細書において、６ＤｏＦオーディオレンダリング品質を上げ、計算複雑性を軽減し、かつ、ビットストリーム１４０を介する（指向性データ自体を変更せず）指向性適用制御を達成するための一般的な手法が記載される。さらに、デコーダ１５０、１６０が本明細書に概説する指向性関連処理を行うことを可能にするためのデコーダインタフェースが記載される。さらに、ビットストリーム１４０が指向性制御データを搬送することを可能にするためのビットストリームシンタックスが記載される。指向性制御データ、特に、指向性制御関数６００は、パラメータ化およびサンプリングされた方法で、および／または、所定の関数として提供され得る。
【0052】
図７ａは、仮想現実レンダリング環境１８０におけるオーディオソース２１１、２１２、２１３のオーディオ信号をレンダリングするための例示の方法７００のフローチャートを示す。方法７００は、ＶＲオーディオレンダラ１６０によって実行され得る。
【0053】
方法７００は、オーディオソース２１１、２１２、２１３の指向性パターン２３２が仮想現実レンダリング環境１８０内の聴取者１８１の聴取状況に対して考慮されるべきかどうかを判断する工程７０１を含み得る。聴取状況は、聴取者１８１がオーディオソース２１１、２１２、２１３のオーディオ信号を知覚するコンテキスト（ｃｏｎｔｅｘｔ）を記述し得る。コンテキストは、オーディオソース２１１、２１２、２１３と聴取者１８１との間の距離に依存し得る。あるいは、または加えて、コンテキストは、聴取者１８１がオーディオソース２１１、２１２、２１３の方に向いているかどうか、または、聴取者１８１がオーディオソース２１１、２１２、２１３に背を向けているかどうかに依存し得る。あるいは、または加えて、コンテキストは、仮想現実レンダリング環境１８０内、特に、レンダリングされるべきオーディオシーン１１１内の聴取者１８１の聴取位置１８２、２０１、２０２に依存し得る。
【0054】
特に、聴取状況は、１つまたは複数のパラメータによって記述され得る。ここで、異なる聴取状況は、当該１つまたは複数のパラメータのうちの少なくとも１つについて異なり得る。パラメータの例は、
・仮想現実レンダリング環境１８０内、特に、オーディオシーン１１１内の聴取者１８１の聴取位置１８２、２０１、２０２、
・オーディオソース２１１、２１２、２１３のソース位置５００（特に、中心点）と、仮想現実レンダリング環境１８０内、特に、オーディオシーン１１１内の聴取者１８１の聴取位置１８２、２０１、２０２との間の距離３２０、
・オーディオ信号の周波数および／またはスペクトル構成、
・オーディオ信号がレンダリングされるべき時刻、
・仮想現実レンダリング環境１８０内（すなわち、仮想オーディオシーン１１１内）のオーディオソース２１１、２１２、２１３に対する聴取者１８１の向きおよび／または視線方向および／または移動軌跡、例として、聴取状況は、聴取者１８１がオーディオソース２１１、２１２、２１３に対して近づくか、または、遠ざかるかの何れであるかに依存して、異なり得る、
・オーディオ信号をレンダリングするためのレンダラ１６０の条件、特に、（利用可能な）計算リソースに対する条件、および／または
・聴取者１８１の仮想現実レンダリング環境１８０に対する動作
・仮想現実レンダリング環境１８０内、特に、オーディオシーン１１１内の聴取者１８１の聴取位置１８２、２０１、２０２、
・オーディオソース２１１、２１２、２１３のソース位置５００（特に、中心点）と、仮想現実レンダリング環境１８０内、特に、オーディオシーン１１１内の聴取者１８１の聴取位置１８２、２０１、２０２との間の距離３２０、
・オーディオ信号の周波数および／またはスペクトル構成、
・オーディオ信号がレンダリングされるべき時刻、
・仮想現実レンダリング環境１８０内（すなわち、仮想オーディオシーン１１１内）のオーディオソース２１１、２１２、２１３に対する聴取者１８１の向きおよび／または視線方向および／または移動軌跡、例として、聴取状況は、聴取者１８１がオーディオソース２１１、２１２、２１３に対して近づくか、または、遠ざかるかの何れであるかに依存して、異なり得る、
・オーディオ信号をレンダリングするためのレンダラ１６０の条件、特に、（利用可能な）計算リソースに対する条件、および／または
・聴取者１８１の仮想現実レンダリング環境１８０に対する動作
【0055】
方法７００は、聴取状況を記述する１つまたは複数のパラメータに基づいて、オーディオソース２１１、２１２、２１３の指向性パターン２３２が考慮されるべきかどうかを判断する工程７０１を含み得る。この目的のために、（所定の）指向性制御関数６００が使用され得る。ここで、指向性制御関数６００は、異なる聴取状況に対して（特に、１つまたは複数のパラメータの異なる組み合わせに対して）、オーディオソース２１１、２１２、２１３の指向性パターン２３２が考慮されるべきかどうかを示すように構成され得る。特に、指向性制御関数６００は、オーディオソース２１１、２１２、２１３の指向性が知覚的に関係しないか、および／または、オーディオソース２１１、２１２、２１３の指向性が知覚アーチファクトを招き得る聴取状況を特定するように構成され得る。
【0056】
さらに、方法７００は、聴取者１８１の聴取状況に対してオーディオソース２１１、２１２、２１３の指向性パターン２３２が考慮されるべきでないと判断された場合、オーディオソース２１１、２１２、２１３の指向性パターン２３２を考慮せずに、オーディオソース２１１、２１２、２１３のオーディオ信号をレンダリングする工程７０２を含む。これにより、指向性パターン２３２は、レンダラ１６０によって無視され得る。特に、レンダラ１６０は、指向性パターン２３２に基づく指向性ゲイン４１０の計算を省略し得る。さらに、レンダラ１６０は、オーディオ信号をレンダリングするために指向性ゲイン４１０をオーディオ信号に適用することを省略し得る。これにより、知覚品質に影響を与えずに、オーディオ信号のリソース効率的レンダリングが達成され得る。
【0057】
他方、方法７００は、聴取者１８１の聴取状況に対して指向性パターン２３２が考慮されるべきであると判断された場合、オーディオソース２１１、２１２、２１３の指向性パターン２３２に依存して、オーディオソース２１１、２１２、２１３のオーディオ信号をレンダリングする工程７０３を含む。この場合、レンダラ１６０は、オーディオ信号に適用されるべき指向性ゲイン４１０を決定し得る（オーディオソース２１１、２１２、２１３のソース位置５００と聴取者１８１の聴取位置１８２、２０１、２０２との間の指向性角４２０に基づいて）。指向性ゲイン４１０は、オーディオ信号をレンダリングする前にオーディオ信号に適用され得る。これにより、オーディオ信号は、高い知覚品質でレンダリングされ得る（指向性が関係する聴取状況において）。
【0058】
このように、レンダリングのためにオーディオ信号を処理する前に、（例えば、指向性制御関数６００を使用して）指向性の使用が聴取者１８１の現在の聴取状況において関係するかどうか、および／または、知覚的に有利かどうかを前もって確認する方法７００が記載される。指向性は、指向性の使用が関係し、および／または、知覚的に有利であると判断された場合に計算および適用されるのみである。これにより、オーディオ信号の高知覚品質のリソース効率的レンダリングが達成される。
【0059】
オーディオソース２１１、２１２、２１３の指向性パターン２３２は、オーディオ信号の異なる方向における強度を示し得る。あるいは、または加えて、指向性パターン２３２は、オーディオ信号をレンダリングするためにオーディオ信号に適用すべき方向依存性指向性ゲイン４１０を示し得る（図４ａおよび４ｂに関して概説）。
【0060】
特に、指向性パターン２３２は、指向性ゲイン関数４１５を示し得る。指向性ゲイン関数４１５は、指向性ゲイン４１０を、オーディオソース２１１、２１２、２１３のソース位置５００と聴取者１８１の聴取位置１８２、２０１、２０２との間の指向性角４２０の関数として示し得る。指向性角４２０は、聴取位置１８２、２０１、２０２がソース位置５００の周辺を（円周上を）移動する際に０°～３６０°で変化し得る。一様でない指向性パターン２３２の場合、指向性ゲイン４１０は、指向性角４２０の関数として変化する（例えば、図４ｂに示す）。
【0061】
オーディオソース２１１、２１２、２１３の指向性パターン２３２に依存して、オーディオソース２１１、２１２、２１３のオーディオ信号をレンダリングする工程７０３は、指向性パターン２３２に基づいて、かつ、オーディオソース２１１、２１２、２１３のソース位置５００と聴取者１８１の聴取位置１８２、２０１、２０２との間の指向性角４２０に基づいて、指向性ゲイン４１０を決定する工程（特定の聴取状況においてオーディオ信号をレンダリングするための）を含み得る（図４ａおよび４ｂに関して概説）。次いで、オーディオ信号は、指向性ゲイン４１０に依存して、レンダリングされ得る（特に、レンダリングの前に指向性ゲイン４１０をオーディオ信号に適用することによって）。これにより、仮想現実レンダリング環境１８０内で高い知覚品質が達成され得る（レンダリング環境１８０内を聴取者１８１が動き回ることによって、聴取状況が変更される場合）。
【0062】
なお、本明細書に記載の方法７００は、典型的には、１シーケンスの時間インスタンスにおいて繰り返される（例えば、２０ｍｓ毎などの何らかの繰り返しレートで周期的に）。各時刻において、現在有効な聴取状況が決定される（例えば、聴取状況を記述するための１つまたは複数のパラメータに対する現在値を決定することによって）。さらに、各時刻において、オーディオソース２１１、２１２、２１３の指向性パターン２３２が考慮されるべきかどうかが判断される。さらに、各時間インスタンスにおいて、上記決定に依存して、オーディオ信号のレンダリングが行われる。これにより、オーディオ信号の仮想現実レンダリング環境１８０内での連続したレンダリングが達成され得る。
【0063】
さらに、なお、典型的には、複数の異なるオーディオソース２１１、２１２、２１３からの複数のオーディオ信号が仮想現実レンダリング環境１８０内で同時にレンダリングされる（例えば、図３ａおよび３ｂに関して概説）。方法７００は、異なるオーディオ信号および／またはオーディオソース２１１、２１２、２１３のそれぞれに対して実行され得る。聴取状況を記述するためのさらなるパラメータは、仮想現実レンダリング環境１８０内でアクティブな異なるオーディオソース２１１、２１２、２１３（特定の時刻における）の数、位置および／または強度であり得る。
【0064】
方法７００は、オーディオソース２１１、２１２、２１３のソース位置５００と聴取者１８１の聴取位置１８２、２０１、２０２との間の距離３２０に依存して、減衰または距離ゲイン３１０、６５１を決定する工程を含み得る。減衰または距離ゲイン３１０、６５１は、減衰または距離ゲイン３１０、６５１を距離３２０の関数として示す減衰または距離関数３１５、６５０を使用して決定され得る。オーディオ信号は、減衰または距離ゲイン３１０、６５１に依存にしてレンダリングされることによって（図３ａおよび３ｂに関して記載）、知覚品質がさらに増大され得る。
【0065】
上記のように、仮想現実レンダリング環境１８０内における聴取者１８１の聴取位置１８２、２０１、２０２からのオーディオソース２１１、２１２、２１３のソース位置５００の距離３２０が決定され得る（聴取者１８１の聴取状況を決定する際に）。
【0066】
方法７００は、決定された距離３２０に基づいて、オーディオソース２１１、２１２、２１３の指向性パターン２３２が考慮されるべきかどうかを判断する工程７０１を含み得る。この目的のために、所定の指向性制御関数６００が使用され得る。指向性制御関数６００は、特にソース位置５００と聴取位置１８２、２０１、２０２との現在の距離３２０に対して、現在の聴取状況内のオーディオソース２１１、２１２、２１３の指向性を使用することの関係性および／または妥当性を示すように構成される。ソース位置５００と聴取位置１８２、２０１、２０２との間の距離３２０は、聴取状況の特に重要なパラメータであり、その結果、オーディオソース２１１、２１２、２１３のオーディオ信号をレンダリングする際に、リソース効率および／または知覚品質に特に大きな影響を与える。
【0067】
聴取位置１８２、２０１、２０２からのオーディオソース２１１、２１２、２１３のソース位置５００の距離３２０が近距離場（ｎｅａｒ ｆｉｅｌｄ ｄｉｓｔａｎｃｅ）閾値よりも小さいと判断され得る。これに基づいて、オーディオソース２１１、２１２、２１３の指向性パターン２３２が考慮されるべきでないと判断され得る。他方、聴取位置１８２、２０１、２０２からのオーディオソース２１１、２１２、２１３のソース位置５００の距離３２０が近距離場閾値よりも大きいと判断され得る。これに基づいて、オーディオソース２１１、２１２、２１３の指向性パターン２３２が考慮されるべきであると判断され得る。近距離場閾値は、例えば、０．５ｍ以下であり得る。相対的に小さい距離における指向性の使用を抑制することによって、聴取者１８１が仮想現実レンダリング環境１８０内の（仮想）オーディオソース２１１、２１２、２１３を横切る場合に、知覚アーチファクトが防止され得る。
【0068】
さらに、聴取位置１８２、２０１、２０２からのオーディオソース２１１、２１２、２１３のソース位置５００の距離３２０が遠距離場（ｆａｒ ｆｉｅｌｄ ｄｉｓｔａｎｃｅ）閾値（近距離場閾値よりも大きい）よりも大きいと判断され得る。これに基づいて、オーディオソース２１１、２１２、２１３の指向性パターン２３２が考慮されるべきでないと判断され得る。他方、聴取位置１８２、２０１、２０２からのオーディオソース２１１、２１２、２１３のソース位置５００の距離３２０が遠距離場閾値よりも小さいと判断され得る。これに基づいて、オーディオソース２１１、２１２、２１３の指向性パターン２３２が考慮されるべきであると判断され得る。遠距離場閾値は、５ｍ以上であり得る。相対的に大きい距離における指向性の使用を抑制することによって、レンダラ１６０のリソース効率は、知覚品質に影響を与えずに、向上され得る。
【0069】
近接場閾値および／または遠隔場閾値は、指向性制御関数６００に依存し得る。指向性制御関数６００は、制御値を、ソース位置５００と聴取位置１８２、２０１、２０２との間の距離３２０の関数として与えるように構成され得る。制御値は、指向性パターン２３２が考慮されるべき程度を示し得る。特に、制御値は、指向性パターン２３２が考慮されるべきであるかどうかを示し得る（例えば、制御値が制御閾値
よりも大きいか、または、小さいかに依存して）。指向性制御関数６００を使用することによって、指向性パターン２３２の適用は、効率的かつ信頼性良く制御され得る。
【0070】
方法７００は、指向性制御関数６００に基づいて、聴取状況に対する制御値を決定する工程を含み得る。指向性制御関数６００は、異なる聴取状況に対して（特に、ソース位置５００と聴取位置１８２、２０１、２０２との間の異なる距離３２０に対して）異なる制御値を提供するよう構成され得る。次いで、制御値に基づいて、オーディオソース２１１、２１２、２１３の指向性パターン２３２が考慮されるべきかどうかが信頼性良く判断され得る。
【0071】
特に、方法７００は、制御値を制御閾値
と比較する工程を含み得る。指向性制御関数６００は、最小値（例えば、０）と最大値（例えば、１）との間の制御値を与えるように構成され得る。制御閾値は、最小値と最大値との間に存在し得る（例えば、０．５）。次いで、上記比較に基づいて、特に制御値が制御閾値よりも大きいか、または、小さいかの何れであるかに依存して、オーディオソース２１１、２１２、２１３の指向性パターン２３２が考慮されるべきであるかどうかが信頼性良く判断され得る。特に、方法７００は、聴取状況に対する制御値が制御閾値よりも小さい場合、オーディオソース２１１、２１２、２１３の指向性パターン２３２が考慮されるべきでないと判断する工程を含み得る。あるいは、または加えて、方法７００は、聴取状況に対する制御値が制御閾値よりも大きい場合、オーディオソース２１１、２１２、２１３の指向性パターン２３２が考慮されるべきであると判断する工程を含み得る。
【0072】
指向性制御関数６００は、聴取者１８１の聴取位置１８２、２０１、２０２からのオーディオソース２１１、２１２、２１３のソース位置５００の距離３２０が近接場閾値よりも小さい聴取状況において制御閾値よりも低い制御値を与えるように構成され得る（それにより、ユーザが仮想現実レンダリング環境１８０内で仮想オーディオソース２１１、２１２、２１３を横切る場合の知覚アーチファクトを防止する）。あるいは、または加えて、指向性制御関数６００は、聴取者１８１の聴取位置１８２、２０１、２０２からのオーディオソース２１１、２１２、２１３のソース位置５００の距離３２０が遠隔場閾値よりも大きい聴取状況において制御閾値よりも低い制御値を与えるように構成され得る（それにより、知覚品質に影響を与えずに、レンダラ１６０のリソース効率を増大させる）。
【0073】
よって、方法７００は、指向性制御関数６００に基づいて、聴取状況に対する制御値を決定する工程を含み得る。ここで、指向性制御関数６００は、仮想現実レンダリング環境１８０内の聴取者１８１の異なる聴取状況に対して異なる制御値を与え得る。上記のように、制御値は、指向性パターン２３２が考慮されるべき程度を示し得る。
【0074】
さらに、方法７００は、オーディオソース２１１、２１２、２１３の指向性パターン２３２、特に、指向性パターン２３２の指向性ゲイン４１０を、制御値に依存して、調節する工程（特に、指向性パターン２３２が考慮されるべきであると判断した場合）を含み得る。次いで、オーディオソース２１１、２１２、２１３のオーディオ信号は、オーディオソース２１１、２１２、２１３の調節された指向性パターン２３２に依存して、特に、調節された指向性ゲイン４１０に依存して、レンダリングされ得る。よって（指向性パターン２３２を使用するかどうかの判断に加えて）、指向性制御関数６００を使用して、オーディオ信号をレンダリングする際の指向性を考慮する程度を制御し得る。当該程度は、聴取者１８１の聴取状況に依存して（特に、ソース位置５００と聴取位置１８２、２０１、２０２との間の距離３２０に依存して）、変化（連続的に）し得る。こうすることによって、仮想現実レンダリング環境１８０内でのオーディオレンダリングの知覚品質をさらに向上させ得る。
【0075】
オーディオソース２１１、２１２、２１３の指向性パターン２３２を調節する（制御値に依存して）工程は、一様な指向性パターンを用いて、オーディオソース２１１、２１２、２１３の（一様でない）指向性パターン２３２の重み付け和を決定する工程を含み得る。ここで、重み付け和を決定するための重みは、制御値に依存し得る。調節された指向性パターンは、重み付け和であり得る。特に、調節された指向性ゲインは、遷移元指向性ゲイン４１０および一様なゲイン（典型的には、１または０ｄＢ）の重み付け和として決定され得る。近接場閾値または遠隔場閾値に近づく距離３２０に対して指向性パターン２３２を調節する（平滑に）ことによって、指向性パターン２３２の適用と抑制との間の平滑な遷移が達成され得るので、知覚品質がさらに向上し得る。
【0076】
オーディオソース２１１、２１２、２１３の指向性パターン２３２は、基準聴取状況に、特に、オーディオソース２１１、２１２、２１３のソース位置５００と聴取者１８１の聴取位置との間の基準距離６１０に適用可能であり得る。特に、指向性パターン２３２は、基準聴取状況に対して、特に、基準距離６１０に対して測定および／または設計されていてもよい。
【0077】
指向性制御関数６００は、聴取状況が基準聴取状況に対応する場合（特に、距離３２０が基準距離６１０に対応する場合）に、指向性パターン２３２、特に、指向性ゲイン４１０が調節されないような関数であり得る。例として、指向性制御関数６００は、聴取状況が基準聴取状況に対応する場合に、制御値（例えば、１）に対して最大値を与え得る。
【0078】
さらに、指向性制御関数６００は、聴取状況が基準聴取状況から逸脱するほど（特に、距離３２０が基準距離６１０から逸脱するうちに）指向性パターン２３２の調節の程度が増大するような関数であり得る。特に、指向性制御関数６００は、聴取状況が基準聴取状況から逸脱するほど（特に、距離３２０が基準距離６１０から逸脱するうちに）指向性パターン２３２が漸進的に一様な指向性パターンに向かう（すなわち、指向性ゲイン４１０が漸進的に１または０ｄＢに向かう）ような関数であり得る。これにより、知覚品質は、さらに増大され得る。
【0079】
図７ｂは、仮想現実レンダリング環境１８０内の聴取者１８１に対して、第１のオーディオソース２１１のオーディオ信号をレンダリングするための例示の方法７１０のフローチャートを示す。方法７１０は、レンダラ１６０によって実行され得る。なお、本明細書に、特に方法７００に関して、記載したすべての態様は、方法７１０にも適用可能である（単独で、または、組み合わせて）。
【0080】
方法７１０は、指向性制御関数６００に基づいて、仮想現実レンダリング環境１８０内の聴取者１８１の聴取状況に対する制御値を決定する工程７１１を含む。上記のように、指向性制御関数６００は、異なる聴取状況に対して異なる制御値を与え得る。ここで、制御値は、オーディオソース２１１、２１２、２１３の指向性が考慮されるべき程度を示し得る。
【0081】
方法７１０は、制御値に依存して、第１のオーディオソース２１１、２１２、２１３の指向性パターン２３２、特に、指向性ゲイン４１０を調節する工程７１２をさらに含み得る。加えて、方法７１０は、仮想現実レンダリング環境１８０内の聴取者１８１に対して、第１のオーディオソース２１１、２１２、２１３の調節された指向性パターン２３２に依存して、特に、指向性ゲイン４１０に依存して、第１のオーディオソース２１１、２１２、２１３のオーディオ信号をレンダリングする工程７１３を含む。現在の聴取状況に依存して、指向性の適用の程度を調節することによって、仮想現実レンダリング環境１８０内のオーディオレンダリングの知覚品質が増大され得る。
【0082】
図１ａに関して概説したように、仮想現実レンダリング環境内のオーディオ信号をレンダリングするためのデータは、エンコーダ１３０によってビットストリーム１４０内に与えられ得る。図７ｃは、ビットストリーム１４０を生成するための例示の方法７２０のフローチャートを示す。方法７２０は、エンコーダ１３０によって実行され得る。なお、本明細書に記載の特徴は、方法７２０に適用され得る（単独で、および／または、組み合わせて）。
【0083】
方法７２０は、少なくとも１つのオーディオソース２１１、２１２、２１３のオーディオ信号を決定する工程７２１、当該少なくとも１つのオーディオソース２１１、２１２、２１３の仮想現実レンダリング環境１８０内のソース位置５００を決定する工程７２２、および／または、当該少なくとも１つのオーディオソース２１１、２１２、２１３の指向性パターン２３２を決定する工程７２３を含む。さらに、方法７２０は、仮想現実レンダリング環境１８０内の聴取者１８１の聴取状況に依存して、当該少なくとも１つのオーディオソース２１１、２１２、２１３のオーディオ信号をレンダリングするための指向性パターン２３２の使用を制御するための指向性制御関数６００を決定する工程７２４を含む。加えて、方法７２０は、オーディオ信号、ソース位置５００、指向性パターン２３２および／または指向性制御関数６００に関するデータをビットストリーム１４０中に挿入する工程７２５を含む。
【0084】
よって、仮想現実環境の作成者には、１つまたは複数のオーディオソース２１１、２１２、２１３の指向性を柔軟かつ正確に制御するための手段が与えられる。
【0085】
さらに、仮想現実レンダリング環境１８０におけるオーディオソース２１１、２１２、２１３のオーディオ信号をレンダリングするための仮想現実オーディオレンダラ１６０が記載される。オーディオレンダラ１６０は、方法７００および／または方法７１０の方法工程を実行するように構成され得る。
【0086】
加えて、ビットストリーム１４０を生成するように構成されたオーディオエンコーダ１３０が記載される。オーディオエンコーダ１３０は、方法７２０の方法工程を実行するように構成され得る。
【0087】
さらに、ビットストリーム１４０が記載される。ビットストリーム１４０は、少なくとも１つのオーディオソース２１１、２１２、２１３のオーディオ信号、および／または、当該少なくとも１つのオーディオソース２１１、２１２、２１３の仮想現実レンダリング環境１８０内（すなわち、オーディオシーン１１１内）のソース位置５００を示し得る。さらに、ビットストリーム１４０は、当該少なくとも１つのオーディオソース２１１、２１２、２１３の指向性パターン２３２、および／または、仮想現実レンダリング環境１８０内の聴取者１８１の聴取状況に依存して、当該少なくとも１つのオーディオソース２１１、２１２、２１３のオーディオ信号をレンダリングするための指向性パターン２３２の使用を制御するための指向性制御関数６００を示し得る。指向性制御関数６００は、パラメータ化および／またはサンプリングされた方法で示され得る。指向性パターン２３２および／または指向性制御関数６００は、ビットストリーム１４０内にＶＲメタデータとして与えられ得る（図１ａに関して概説）。
【0088】
本明細書に記載される方法およびシステムは、ソフトウェア、ファームウェアおよび／またはハードウェアとして実装され得る。ある種のコンポーネントは、例えば、デジタル信号プロセッサまたはマイクロプロセッサ上で動作するソフトウェアとして実装されてもよい。他のコンポーネントは、例えば、ハードウェアとして、および／または、特定用途向け集積回路として実装されてもよい。上述の方法およびシステムに現れる信号は、ランダムアクセスメモリまたは光記憶媒体などの媒体に格納されてもよい。それらは、無線ネットワーク、衛星ネットワーク、ワイヤレスネットワークまたは有線ネットワーク、例えば、インターネットなどのネットワークを介して転送されてもよい。本明細書に記載される方法およびシステムを利用する典型的なデバイスは、オーディオ信号を格納および／またはレンダリングするために使用される携帯型電子デバイスまたは他の民生用装置である。
【0089】
本発明の様々な態様は、以下に列挙する例示の実施形態（ｅｎｕｍｅｒａｔｅｄ ｅｘａｍｐｌｅ ｅｍｂｏｄｉｍｅｎｔｓ：ＥＥＥ）から理解され得る。
【0090】
１）仮想現実レンダリング環境（１８０）におけるオーディオソース（２１１、２１２、２１３）のオーディオ信号をレンダリングするための方法（７００）であって、前記方法（７００）は、
前記仮想現実レンダリング環境（１８０）内の聴取者（１８１）の聴取状況に対して、前記オーディオソース（２１１、２１２、２１３）の指向性パターン（２３２）が考慮されるべきであるかどうかを判断する工程（７０１）と、
前記聴取者（１８１）の前記聴取状況に対して、前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）が考慮されるべきでないと判断された場合、前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）を考慮せずに、前記オーディオソース（２１１、２１２、２１３）のオーディオ信号をレンダリングする工程（７０２）と、
前記聴取者（１８１）の前記聴取状況に対して、前記指向性パターン（２３２）が考慮されるべきであると判断された場合、前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）に依存して、前記オーディオソース（２１１、２１２、２１３）の前記オーディオ信号をレンダリングする工程（７０３）と、
を包含する、
方法（７００）。
前記仮想現実レンダリング環境（１８０）内の聴取者（１８１）の聴取状況に対して、前記オーディオソース（２１１、２１２、２１３）の指向性パターン（２３２）が考慮されるべきであるかどうかを判断する工程（７０１）と、
前記聴取者（１８１）の前記聴取状況に対して、前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）が考慮されるべきでないと判断された場合、前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）を考慮せずに、前記オーディオソース（２１１、２１２、２１３）のオーディオ信号をレンダリングする工程（７０２）と、
前記聴取者（１８１）の前記聴取状況に対して、前記指向性パターン（２３２）が考慮されるべきであると判断された場合、前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）に依存して、前記オーディオソース（２１１、２１２、２１３）の前記オーディオ信号をレンダリングする工程（７０３）と、
を包含する、
方法（７００）。
【0091】
２）前記方法（７００）は、
前記聴取状況を記述する１つまたは複数のパラメータを決定する工程と、
前記１つまたは複数のパラメータに基づいて、前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）が考慮されるべきであるかどうかを判断する工程（７０１）と、
を包含する、
ＥＥＥ１に記載の方法（７００）。
前記聴取状況を記述する１つまたは複数のパラメータを決定する工程と、
前記１つまたは複数のパラメータに基づいて、前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）が考慮されるべきであるかどうかを判断する工程（７０１）と、
を包含する、
ＥＥＥ１に記載の方法（７００）。
【0092】
３）前記１つまたは複数のパラメータは、
前記オーディオソース（２１１、２１２、２１３）のソース位置（５００）と前記聴取者（１８１）の聴取位置（１８２、２０１、２０２）との間の距離（３２０）、
前記オーディオ信号の周波数、
前記オーディオ信号がレンダリングされるべき時刻、
前記仮想現実レンダリング環境（１８０）内の前記オーディオソース（２１１、２１２、２１３）に関にする、前記聴取者（１８１）の向きおよび／または視線方向および／または軌跡、
前記オーディオ信号をレンダリングするためのレンダラ（１６０）の条件、特に計算リソースに関する条件、および／または、
前記仮想現実レンダリング環境（１８０）に関する前記聴取者（１８１）の動作、
を含む、
ＥＥＥ２に記載の方法（７００）。
前記オーディオソース（２１１、２１２、２１３）のソース位置（５００）と前記聴取者（１８１）の聴取位置（１８２、２０１、２０２）との間の距離（３２０）、
前記オーディオ信号の周波数、
前記オーディオ信号がレンダリングされるべき時刻、
前記仮想現実レンダリング環境（１８０）内の前記オーディオソース（２１１、２１２、２１３）に関にする、前記聴取者（１８１）の向きおよび／または視線方向および／または軌跡、
前記オーディオ信号をレンダリングするためのレンダラ（１６０）の条件、特に計算リソースに関する条件、および／または、
前記仮想現実レンダリング環境（１８０）に関する前記聴取者（１８１）の動作、
を含む、
ＥＥＥ２に記載の方法（７００）。
【0093】
４）前記方法（７００）は、
前記仮想現実レンダリング環境（１８０）内の前記聴取者（１８１）の聴取位置（１８２、２０１、２０２）からの前記オーディオソース（２１１、２１２、２１３）のソース位置（５００）の距離（３２０）を決定する工程と、
前記距離（３２０）に基づいて、前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）が考慮されるべきであるかどうかを判断する工程（７０１）と、
を包含する、
先行するＥＥＥのいずれかに記載の方法（７００）。
前記仮想現実レンダリング環境（１８０）内の前記聴取者（１８１）の聴取位置（１８２、２０１、２０２）からの前記オーディオソース（２１１、２１２、２１３）のソース位置（５００）の距離（３２０）を決定する工程と、
前記距離（３２０）に基づいて、前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）が考慮されるべきであるかどうかを判断する工程（７０１）と、
を包含する、
先行するＥＥＥのいずれかに記載の方法（７００）。
【0094】
５）前記方法（７００）は、
前記聴取位置（１８２、２０１、２０２）からの前記オーディオソース（２１１、２１２、２１３）の前記ソース位置（５００）の前記距離（３２０）が近距離場閾値よりも小さいと判断する工程、および、
これに反応して、前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）が考慮されるべきでないと判断する工程、および／または、
前記聴取位置（１８２、２０１、２０２）からの前記オーディオソース（２１１、２１２、２１３）の前記ソース位置（５００）の前記距離（３２０）が前記近距離場閾値よりも大きいと判断する工程、および
これに反応して、前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）が考慮されるべきであると判断する工程、
を包含する、
ＥＥＥ４に記載の方法（７００）。
前記聴取位置（１８２、２０１、２０２）からの前記オーディオソース（２１１、２１２、２１３）の前記ソース位置（５００）の前記距離（３２０）が近距離場閾値よりも小さいと判断する工程、および、
これに反応して、前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）が考慮されるべきでないと判断する工程、および／または、
前記聴取位置（１８２、２０１、２０２）からの前記オーディオソース（２１１、２１２、２１３）の前記ソース位置（５００）の前記距離（３２０）が前記近距離場閾値よりも大きいと判断する工程、および
これに反応して、前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）が考慮されるべきであると判断する工程、
を包含する、
ＥＥＥ４に記載の方法（７００）。
【0095】
６）前記方法（７００）は、
前記聴取位置（１８２、２０１、２０２）からの前記オーディオソース（２１１、２１２、２１３）の前記ソース位置（５００）の前記距離（３２０）が遠距離場閾値よりも大きいと判断する工程、および、
これに反応して、前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）が考慮されるべきでないと判断する工程、および／または、
前記聴取位置（１８２、２０１、２０２）からの前記オーディオソース（２１１、２１２、２１３）の前記ソース位置（５００）の前記距離（３２０）が前記遠距離場閾値よりも小さいと判断する工程、および、
これに反応して、前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）が考慮されるべきであると判断する工程、
を包含する、
ＥＥＥ４または５に記載の方法（７００）。
前記聴取位置（１８２、２０１、２０２）からの前記オーディオソース（２１１、２１２、２１３）の前記ソース位置（５００）の前記距離（３２０）が遠距離場閾値よりも大きいと判断する工程、および、
これに反応して、前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）が考慮されるべきでないと判断する工程、および／または、
前記聴取位置（１８２、２０１、２０２）からの前記オーディオソース（２１１、２１２、２１３）の前記ソース位置（５００）の前記距離（３２０）が前記遠距離場閾値よりも小さいと判断する工程、および、
これに反応して、前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）が考慮されるべきであると判断する工程、
を包含する、
ＥＥＥ４または５に記載の方法（７００）。
【0096】
７）前記近接場閾値および／または前記遠隔場閾値は、指向性制御関数（６００）に依存し、
前記指向性制御関数（６００）は、前記距離（３２０）の関数としての制御値を与え、かつ、
前記制御値は、前記指向性パターン（２３２）が考慮されるべき程度を示す、
ＥＥＥ５または６に記載の方法（７００）。
前記指向性制御関数（６００）は、前記距離（３２０）の関数としての制御値を与え、かつ、
前記制御値は、前記指向性パターン（２３２）が考慮されるべき程度を示す、
ＥＥＥ５または６に記載の方法（７００）。
【0097】
８）前記方法（７００）は、
指向性制御関数（６００）に基づいて、前記聴取状況に対する制御値を決定する工程であって、前記指向性制御関数（６００）は、異なる聴取状況に対して異なる制御値を与える、工程と、
前記制御値に基づいて、前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）が考慮されるべきであるかどうかを判断する工程と、
を包含する、
先行するＥＥＥのいずれかに記載の方法（７００）。
指向性制御関数（６００）に基づいて、前記聴取状況に対する制御値を決定する工程であって、前記指向性制御関数（６００）は、異なる聴取状況に対して異なる制御値を与える、工程と、
前記制御値に基づいて、前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）が考慮されるべきであるかどうかを判断する工程と、
を包含する、
先行するＥＥＥのいずれかに記載の方法（７００）。
【0098】
９）前記方法（７００）は、
前記制御値を制御閾値と比較する工程と、
前記比較に基づいて、特に前記制御値が前記制御閾値よりも大きいか、または、小さいかの何れであるかに依存して、前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）が考慮されるべきであるかどうかを判断する工程と、
を包含する、
ＥＥＥ８に記載の方法（７００）。
前記制御値を制御閾値と比較する工程と、
前記比較に基づいて、特に前記制御値が前記制御閾値よりも大きいか、または、小さいかの何れであるかに依存して、前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）が考慮されるべきであるかどうかを判断する工程と、
を包含する、
ＥＥＥ８に記載の方法（７００）。
【0099】
１０）前記指向性制御関数（６００）は、最小値と最大値との間の制御値を与えるように構成され、
特に、前記最小値は、０であり、および／または、前記最大値は、１であり、
前記制御閾値は、前記最小値と前記最大値との間に存在し、かつ、
前記方法（７００）は、
前記聴取状況に対する前記制御値が前記制御閾値よりも小さい場合、前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）が考慮されるべきでないと判断する工程、および／または、
前記聴取状況に対する前記制御値が前記制御閾値よりも大きい場合、前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）が考慮されるべきであると判断する工程、
を包含する、
ＥＥＥ９に記載の方法（７００）。
特に、前記最小値は、０であり、および／または、前記最大値は、１であり、
前記制御閾値は、前記最小値と前記最大値との間に存在し、かつ、
前記方法（７００）は、
前記聴取状況に対する前記制御値が前記制御閾値よりも小さい場合、前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）が考慮されるべきでないと判断する工程、および／または、
前記聴取状況に対する前記制御値が前記制御閾値よりも大きい場合、前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）が考慮されるべきであると判断する工程、
を包含する、
ＥＥＥ９に記載の方法（７００）。
【0100】
１１）前記指向性制御関数（６００）は、
前記聴取者（１８１）の聴取位置（１８２、２０１、２０２）からの前記オーディオソース（２１１、２１２、２１３）のソース位置（５００）の距離（３２０）が近接場閾値よりも小さい、および／または、
前記聴取者（１８１）の前記聴取位置（１８２、２０１、２０２）からの前記オーディオソース（２１１、２１２、２１３）の前記ソース位置（５００）の前記距離（３２０）が遠隔場閾値よりも大きい、
ような聴取状況において、前記制御閾値未満の制御値を与えるように構成される、
ＥＥＥ１０に記載の方法（７００）。
前記聴取者（１８１）の聴取位置（１８２、２０１、２０２）からの前記オーディオソース（２１１、２１２、２１３）のソース位置（５００）の距離（３２０）が近接場閾値よりも小さい、および／または、
前記聴取者（１８１）の前記聴取位置（１８２、２０１、２０２）からの前記オーディオソース（２１１、２１２、２１３）の前記ソース位置（５００）の前記距離（３２０）が遠隔場閾値よりも大きい、
ような聴取状況において、前記制御閾値未満の制御値を与えるように構成される、
ＥＥＥ１０に記載の方法（７００）。
【0101】
１２）前記方法（７００）は、
指向性制御関数（６００）に基づいて、前記聴取状況に対する制御値を決定する工程であって、前記指向性制御関数（６００）は、異なる聴取状況に対して異なる制御値を与え、前記制御値は、前記指向性パターン（２３２）が考慮されるべき程度を示す、工程と、
前記制御値に依存して、前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）を調節する工程と、
前記オーディオソース（２１１、２１２、２１３）の前記調節された指向性パターン（２３２）に依存して、前記オーディオソース（２１１、２１２、２１３）の前記オーディオ信号をレンダリングする工程（７０３）と、
を包含する、
先行するＥＥＥのいずれかに記載の方法（７００）。
指向性制御関数（６００）に基づいて、前記聴取状況に対する制御値を決定する工程であって、前記指向性制御関数（６００）は、異なる聴取状況に対して異なる制御値を与え、前記制御値は、前記指向性パターン（２３２）が考慮されるべき程度を示す、工程と、
前記制御値に依存して、前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）を調節する工程と、
前記オーディオソース（２１１、２１２、２１３）の前記調節された指向性パターン（２３２）に依存して、前記オーディオソース（２１１、２１２、２１３）の前記オーディオ信号をレンダリングする工程（７０３）と、
を包含する、
先行するＥＥＥのいずれかに記載の方法（７００）。
【0102】
１３）前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）を調節する工程は、前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）の重み付け和を一様な指向性パターンを用いて決定する工程を包含し、かつ、
前記重み付け和を決定するための重みは、前記制御値に依存する、
ＥＥＥ１２に記載の方法（７００）。
前記重み付け和を決定するための重みは、前記制御値に依存する、
ＥＥＥ１２に記載の方法（７００）。
【0103】
１４）前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）は、基準聴取状況、特に、前記オーディオソース（２１１、２１２、２１３）のソース位置（５００）と前記聴取者（１８１）の聴取位置との間の基準距離（６１０）に適用可能であり、かつ、
前記指向性制御関数（６００）は、
前記聴取状況が前記基準聴取状況に対応する場合、前記指向性パターン（２３２）が調節されず、および／または、
特に、前記指向性パターン（２３２）が前記聴取状況の前記基準聴取状況からのずれが大きくなるにつれて一様な指向性パターンに漸進的に向かうように、前記指向性パターン（２３２）の調節の程度が前記聴取状況の前記基準聴取状況からのずれが大きくなるにつれて大きくなる、
ような関数である、
ＥＥＥ１２または１３に記載の方法（７００）。
前記指向性制御関数（６００）は、
前記聴取状況が前記基準聴取状況に対応する場合、前記指向性パターン（２３２）が調節されず、および／または、
特に、前記指向性パターン（２３２）が前記聴取状況の前記基準聴取状況からのずれが大きくなるにつれて一様な指向性パターンに漸進的に向かうように、前記指向性パターン（２３２）の調節の程度が前記聴取状況の前記基準聴取状況からのずれが大きくなるにつれて大きくなる、
ような関数である、
ＥＥＥ１２または１３に記載の方法（７００）。
【0104】
１５）前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）は、前記オーディオ信号の異なる方向の強度を示し、および／または、
前記指向性パターン（２３２）は、前記オーディオ信号をレンダリングするために前記オーディオ信号に適用されるべき方向依存性指向性ゲイン（４１０）を示す、
先行するＥＥＥのいずれかに記載の方法（７００）。
前記指向性パターン（２３２）は、前記オーディオ信号をレンダリングするために前記オーディオ信号に適用されるべき方向依存性指向性ゲイン（４１０）を示す、
先行するＥＥＥのいずれかに記載の方法（７００）。
【0105】
１６）前記指向性パターン（２３２）は、指向性ゲイン関数（４１５）を示し、かつ、
前記指向性ゲイン関数（４１５）は、前記オーディオソース（２１１、２１２、２１３）のソース位置（５００）と前記聴取者（１８１）の聴取位置（１８２、２０１、２０２）との間の指向性角（４２０）の関数として指向性ゲイン（４１０）を示す、
ＥＥＥ１４に記載の方法（７００）。
前記指向性ゲイン関数（４１５）は、前記オーディオソース（２１１、２１２、２１３）のソース位置（５００）と前記聴取者（１８１）の聴取位置（１８２、２０１、２０２）との間の指向性角（４２０）の関数として指向性ゲイン（４１０）を示す、
ＥＥＥ１４に記載の方法（７００）。
【0106】
１７）前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）に依存して、前記オーディオソース（２１１、２１２、２１３）の前記オーディオ信号をレンダリングする工程（７０３）は、
前記指向性パターン（２３２）に基づいて、かつ、前記オーディオソース（２１１、２１２、２１３）のソース位置（５００）と前記聴取者（１８１）の聴取位置（１８２、２０１、２０２）との指向性角（４２０）に基づいて、指向性ゲイン（４１０）を決定する工程と、
前記指向性ゲイン（４１０）に依存して、前記オーディオ信号をレンダリングする工程と、
を包含する、
先行するＥＥＥのいずれかに記載の方法（７００）。
前記指向性パターン（２３２）に基づいて、かつ、前記オーディオソース（２１１、２１２、２１３）のソース位置（５００）と前記聴取者（１８１）の聴取位置（１８２、２０１、２０２）との指向性角（４２０）に基づいて、指向性ゲイン（４１０）を決定する工程と、
前記指向性ゲイン（４１０）に依存して、前記オーディオ信号をレンダリングする工程と、
を包含する、
先行するＥＥＥのいずれかに記載の方法（７００）。
【0107】
１８）前記方法（７００）は、
前記オーディオソース（２１１、２１２、２１３）のソース位置（５００）と前記聴取者（１８１）の聴取位置（１８２、２０１、２０２）との間の距離（３２０）に依存して、減衰ゲイン（６５１）を、前記減衰ゲイン（６５１）を前記距離（３２０）の関数として示す減衰関数（６５０）を使用して決定する工程と、
前記減衰ゲイン（６５１）に依存して、前記オーディオ信号をレンダリングする工程と、
を包含する、
先行するＥＥＥのいずれかに記載の方法（７００）。
前記オーディオソース（２１１、２１２、２１３）のソース位置（５００）と前記聴取者（１８１）の聴取位置（１８２、２０１、２０２）との間の距離（３２０）に依存して、減衰ゲイン（６５１）を、前記減衰ゲイン（６５１）を前記距離（３２０）の関数として示す減衰関数（６５０）を使用して決定する工程と、
前記減衰ゲイン（６５１）に依存して、前記オーディオ信号をレンダリングする工程と、
を包含する、
先行するＥＥＥのいずれかに記載の方法（７００）。
【0108】
１９）仮想現実レンダリング環境（１８０）内の聴取者（１８１）に対して、第１のオーディオソース（２１１）のオーディオ信号をレンダリングするための方法（７１０）であって、前記方法（７１０）は、
前記仮想現実レンダリング環境（１８０）内の前記聴取者（１８１）の聴取状況に対する制御値を、指向性制御関数（６００）に基づいて決定する工程（７１１）であって、前記指向性制御関数（６００）は、異なる聴取状況に対して異なる制御値を与え、前記制御値は、オーディオソース（２１１、２１２、２１３）の指向性が考慮されるべき程度を示す、工程（７１１）と、
前記制御値に依存して、前記第１のオーディオソース（２１１、２１２、２１３）の指向性パターン（２３２）を調節する工程（７１２）と、
前記仮想現実レンダリング環境（１８０）内の前記聴取者（１８１）に対して、前記第１のオーディオソース（２１１、２１２、２１３）の前記調節された指向性パターン（２３２）に依存して、前記第１のオーディオソース（２１１、２１２、２１３）の前記オーディオ信号をレンダリングする工程（７１３）と、
を包含する、
方法（７１０）。
前記仮想現実レンダリング環境（１８０）内の前記聴取者（１８１）の聴取状況に対する制御値を、指向性制御関数（６００）に基づいて決定する工程（７１１）であって、前記指向性制御関数（６００）は、異なる聴取状況に対して異なる制御値を与え、前記制御値は、オーディオソース（２１１、２１２、２１３）の指向性が考慮されるべき程度を示す、工程（７１１）と、
前記制御値に依存して、前記第１のオーディオソース（２１１、２１２、２１３）の指向性パターン（２３２）を調節する工程（７１２）と、
前記仮想現実レンダリング環境（１８０）内の前記聴取者（１８１）に対して、前記第１のオーディオソース（２１１、２１２、２１３）の前記調節された指向性パターン（２３２）に依存して、前記第１のオーディオソース（２１１、２１２、２１３）の前記オーディオ信号をレンダリングする工程（７１３）と、
を包含する、
方法（７１０）。
【0109】
２０）仮想現実レンダリング環境（１８０）内のオーディオソース（２１１、２１２、２１３）のオーディオ信号をレンダリングするための仮想現実オーディオレンダラ（１６０）であって、前記オーディオレンダラ（１６０）は、
前記仮想現実レンダリング環境（１８０）内の聴取者（１８１）の聴取状況に対して、前記オーディオソース（２１１、２１２、２１３）の指向性パターン（２３２）が考慮されるべきであるかどうかを判断し、
前記聴取者（１８１）の前記聴取状況に対して、前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）が考慮されるべきでないと判断された場合、前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）を考慮せずに、前記オーディオソース（２１１、２１２、２１３）のオーディオ信号をレンダリングし、かつ、
前記聴取者（１８１）の前記聴取状況に対して、前記指向性パターン（２３２）が考慮されるべきであると判断された場合、前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）に依存して、前記オーディオソース（２１１、２１２、２１３）の前記オーディオ信号をレンダリングする、
ように構成された、
仮想現実オーディオレンダラ（１６０）。
前記仮想現実レンダリング環境（１８０）内の聴取者（１８１）の聴取状況に対して、前記オーディオソース（２１１、２１２、２１３）の指向性パターン（２３２）が考慮されるべきであるかどうかを判断し、
前記聴取者（１８１）の前記聴取状況に対して、前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）が考慮されるべきでないと判断された場合、前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）を考慮せずに、前記オーディオソース（２１１、２１２、２１３）のオーディオ信号をレンダリングし、かつ、
前記聴取者（１８１）の前記聴取状況に対して、前記指向性パターン（２３２）が考慮されるべきであると判断された場合、前記オーディオソース（２１１、２１２、２１３）の前記指向性パターン（２３２）に依存して、前記オーディオソース（２１１、２１２、２１３）の前記オーディオ信号をレンダリングする、
ように構成された、
仮想現実オーディオレンダラ（１６０）。
【0110】
２１）仮想現実レンダリング環境（１８０）内の聴取者（１８１）に対して、第１のオーディオソース（２１１）のオーディオ信号をレンダリングするための仮想現実オーディオレンダラ（１６０）であって、前記オーディオレンダラ（１６０）は、
前記仮想現実レンダリング環境（１８０）内の前記聴取者（１８１）の聴取状況に対する制御値を、指向性制御関数（６００）に基づいて決定し、前記指向性制御関数（６００）は、異なる聴取状況に対して異なる制御値を与え、前記制御値は、オーディオソース（２１１、２１２、２１３）の指向性が考慮されるべき程度を示し、
前記制御値に依存して、前記第１のオーディオソース（２１１、２１２、２１３）の指向性パターン（２３２）を調節し、かつ、
前記仮想現実レンダリング環境（１８０）内の前記聴取者（１８１）に対して、前記第１のオーディオソース（２１１、２１２、２１３）の前記調節された指向性パターン（２３２）に依存して、前記第１のオーディオソース（２１１、２１２、２１３）の前記オーディオ信号をレンダリングする、
ように構成された、
仮想現実オーディオレンダラ（１６０）。
前記仮想現実レンダリング環境（１８０）内の前記聴取者（１８１）の聴取状況に対する制御値を、指向性制御関数（６００）に基づいて決定し、前記指向性制御関数（６００）は、異なる聴取状況に対して異なる制御値を与え、前記制御値は、オーディオソース（２１１、２１２、２１３）の指向性が考慮されるべき程度を示し、
前記制御値に依存して、前記第１のオーディオソース（２１１、２１２、２１３）の指向性パターン（２３２）を調節し、かつ、
前記仮想現実レンダリング環境（１８０）内の前記聴取者（１８１）に対して、前記第１のオーディオソース（２１１、２１２、２１３）の前記調節された指向性パターン（２３２）に依存して、前記第１のオーディオソース（２１１、２１２、２１３）の前記オーディオ信号をレンダリングする、
ように構成された、
仮想現実オーディオレンダラ（１６０）。
【0111】
２２）少なくとも１つのオーディオソース（２１１、２１２、２１３）のオーディオ信号と、
前記少なくとも１つのオーディオソース（２１１、２１２、２１３）の仮想現実レンダリング環境（１８０）内のソース位置（５００）と、
前記少なくとも１つのオーディオソース（２１１、２１２、２１３）の指向性パターン（２３２）と、
前記仮想現実レンダリング環境（１８０）内の聴取者（１８１）の聴取状況に依存して、前記少なくとも１つのオーディオソース（２１１、２１２、２１３）の前記オーディオ信号をレンダリングするための前記指向性パターン（２３２）の使用を制御するための指向性制御関数（６００）と、
を示すビットストリーム（１４０）を生成するように構成されたオーディオエンコーダ（１３０）。
前記少なくとも１つのオーディオソース（２１１、２１２、２１３）の仮想現実レンダリング環境（１８０）内のソース位置（５００）と、
前記少なくとも１つのオーディオソース（２１１、２１２、２１３）の指向性パターン（２３２）と、
前記仮想現実レンダリング環境（１８０）内の聴取者（１８１）の聴取状況に依存して、前記少なくとも１つのオーディオソース（２１１、２１２、２１３）の前記オーディオ信号をレンダリングするための前記指向性パターン（２３２）の使用を制御するための指向性制御関数（６００）と、
を示すビットストリーム（１４０）を生成するように構成されたオーディオエンコーダ（１３０）。
【0112】
２３）少なくとも１つのオーディオソース（２１１、２１２、２１３）のオーディオ信号と、
前記少なくとも１つのオーディオソース（２１１、２１２、２１３）の仮想現実レンダリング環境（１８０）内のソース位置（５００）と、
前記少なくとも１つのオーディオソース（２１１、２１２、２１３）の指向性パターン（２３２）と、
前記仮想現実レンダリング環境（１８０）内の聴取者（１８１）の聴取状況に依存して、前記少なくとも１つのオーディオソース（２１１、２１２、２１３）の前記オーディオ信号をレンダリングするための前記指向性パターン（２３２）の使用を制御するための指向性制御関数（６００）と、
を示すビットストリーム（１４０）。
前記少なくとも１つのオーディオソース（２１１、２１２、２１３）の仮想現実レンダリング環境（１８０）内のソース位置（５００）と、
前記少なくとも１つのオーディオソース（２１１、２１２、２１３）の指向性パターン（２３２）と、
前記仮想現実レンダリング環境（１８０）内の聴取者（１８１）の聴取状況に依存して、前記少なくとも１つのオーディオソース（２１１、２１２、２１３）の前記オーディオ信号をレンダリングするための前記指向性パターン（２３２）の使用を制御するための指向性制御関数（６００）と、
を示すビットストリーム（１４０）。
【0113】
２４）ビットストリーム（１４０）を生成するための方法（７２０）であって、前記方法（７２０）は、
少なくとも１つのオーディオソース（２１１、２１２、２１３）のオーディオ信号を決定する工程（７２１）と、
前記少なくとも１つのオーディオソース（２１１、２１２、２１３）の仮想現実レンダリング環境（１８０）内のソース位置（５００）を決定する工程（７２２）と、
前記少なくとも１つのオーディオソース（２１１、２１２、２１３）の指向性パターン（２３２）を決定する工程（７２３）と、
前記仮想現実レンダリング環境（１８０）内の聴取者（１８１）の聴取状況に依存して、前記少なくとも１つのオーディオソース（２１１、２１２、２１３）の前記オーディオ信号をレンダリングするための前記指向性パターン（２３２）の使用を制御するための指向性制御関数（６００）を決定する工程（７２４）と、
前記オーディオ信号、前記ソース位置（５００）、前記指向性パターン（２３２）および前記指向性制御関数（６００）に関するデータを前記ビットストリーム（１４０）内に挿入する工程（７２５）と、
を包含する、
方法（７２０）。
少なくとも１つのオーディオソース（２１１、２１２、２１３）のオーディオ信号を決定する工程（７２１）と、
前記少なくとも１つのオーディオソース（２１１、２１２、２１３）の仮想現実レンダリング環境（１８０）内のソース位置（５００）を決定する工程（７２２）と、
前記少なくとも１つのオーディオソース（２１１、２１２、２１３）の指向性パターン（２３２）を決定する工程（７２３）と、
前記仮想現実レンダリング環境（１８０）内の聴取者（１８１）の聴取状況に依存して、前記少なくとも１つのオーディオソース（２１１、２１２、２１３）の前記オーディオ信号をレンダリングするための前記指向性パターン（２３２）の使用を制御するための指向性制御関数（６００）を決定する工程（７２４）と、
前記オーディオ信号、前記ソース位置（５００）、前記指向性パターン（２３２）および前記指向性制御関数（６００）に関するデータを前記ビットストリーム（１４０）内に挿入する工程（７２５）と、
を包含する、
方法（７２０）。
【図1a】
【図1b】
【図2】
【図3a】
【図3b】
【図4a】
【図4b】
【図5a】
【図5b】
【図6a】
【図6b】
【図7a】
【図7b】
【図7c】
【国際調査報告】