特表 2024-544511 デフォルト音響環境に関する情報を使用して仮想オーディオシーンをレンダリングするための装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-03

(54)【発明の名称】デフォルト音響環境に関する情報を使用して仮想オーディオシーンをレンダリングするための装置及び方法

(51)【国際特許分類】

   H04S 7/00 20060101AFI20241126BHJP

【ＦＩ】

H04S7/00 300

H04S7/00 320

H04S7/00 350

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024527297

(86)(22)【出願日】2022-11-09

(85)【翻訳文提出日】2024-07-08

(86)【国際出願番号】 EP2022081326

(87)【国際公開番号】W WO2023083888

(87)【国際公開日】2023-05-19

(31)【優先権主張番号】21207220.1

(32)【優先日】2021-11-09

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】500341779

【氏名又は名称】フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン

(74)【代理人】

【識別番号】100134119

【弁理士】

【氏名又は名称】奥町 哲行

(72)【発明者】

【氏名】ヘレ・ユルゲン

(72)【発明者】

【氏名】マツマニャン・ヴェンザン

(72)【発明者】

【氏名】アダミ・アレクサンダー

(72)【発明者】

【氏名】ペータース・ニルス

(72)【発明者】

【氏名】シュヴェア・ジモン

(72)【発明者】

【氏名】ハッサン・カーリールポーター

(72)【発明者】

【氏名】ガイアー・マティアス

(72)【発明者】

【氏名】メイト・スジート

(72)【発明者】

【氏名】エロネン・アンティ

(72)【発明者】

【氏名】ハルユ・オット

【テーマコード（参考）】

5D162

【Ｆターム（参考）】

5D162AA04

5D162BA01

5D162BA14

5D162CC08

5D162CC19

5D162CC36

5D162CD02

5D162CD03

5D162CD04

5D162CD22

5D162DA51

(57)【要約】

一実施形態による、仮想オーディオシーンをレンダリングするための、装置（１００）が提供される。仮想オーディオシーンでは、１つ以上の音源から、音が発せられている。この装置（１００）には、オーディオ情報を受信するように構成された、入力インタフェース（１１０）が含まれ、このオーディオ情報には、仮想オーディオシーンのオーディオ情報が含まれる。更に、装置（１００）には、仮想オーディオシーンのオーディオ情報に応じて、仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成するように構成された、レンダラ（１２０）が含まれる。仮想オーディオシーンの現在の音響環境に関する情報を、レンダラ（１２０）で利用することができない場合、デフォルト音響環境に関する情報に応じて、仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成するように、レンダラ（１２０）は構成される。

【特許請求の範囲】

【請求項1】

仮想オーディオシーンをレンダリングするための装置（１００）であって、前記仮想オーディオシーンでは、１つ以上の音源から音が発せられており、
前記仮想オーディオシーンについてのオーディオ情報を含む、オーディオ情報を受信するように構成された入力インタフェース（１１０）と、
前記仮想オーディオシーンについての前記オーディオ情報に応じて、前記仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成するように構成されたレンダラ（１２０）を備え、
前記仮想オーディオシーンの現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができない場合、デフォルト音響環境に関する情報に応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、装置（１００）。

【請求項2】

前記仮想オーディオシーンの前記現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができる場合、前記仮想オーディオシーンの前記現在の音響環境に関する前記情報に応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、
請求項１に記載の装置（１００）。

【請求項3】

前記入力インタフェース（１１０）が、前記オーディオ情報を含むビットストリームを受信するように構成されており、
前記ビットストリームが、前記仮想オーディオシーンの前記現在の音響環境に関する情報を含む場合、前記仮想オーディオシーンの前記現在の音響環境を、前記レンダラ（１２０）で利用することができ、前記ビットストリームに含まれる、前記仮想オーディオシーンの前記現在の音響環境に関する前記情報に応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成され、
前記ビットストリームが、前記仮想オーディオシーンの前記現在の音響環境に関する前記情報を含まない場合、前記仮想オーディオシーンの前記現在の音響環境を、前記レンダラ（１２０）で利用することができず、前記デフォルト音響環境に関する前記情報に応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、
請求項２に記載の装置（１００）。

【請求項4】

前記ビットストリームが、前記デフォルト音響環境に関する情報を含む、
請求項３に記載の装置（１００）。

【請求項5】

前記装置（１００）が、所定の情報を格納したメモリを備え、前記所定の情報が、前記デフォルト音響環境を含む、
請求項３に記載の装置（１００）。

【請求項6】

前記デフォルト音響環境が、屋外音響環境を表すものである、
請求項１から５のいずれか一項に記載の装置（１００）。

【請求項7】

前記仮想オーディオシーンの複数の領域のうち、前記領域についての現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができる各領域について、前記聴取者が前記領域にいる場合、前記領域についての前記現在の音響環境に関する前記情報を使用して、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成され、
前記仮想オーディオシーンの前記複数の領域のうち、前記領域についての前記現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができない各領域について、前記聴取者が前記領域にいる場合、前記デフォルト音響環境に関する前記情報を、前記領域についての音響環境に関する情報として使用して、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、
請求項１から６のいずれか一項に記載の装置（１００）。

【請求項8】

前記仮想オーディオシーンの前記複数の領域のうち、少なくとも１つの領域について、前記少なくとも１つの領域についての前記現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができ、かつ、前記聴取者が前記少なくとも１つの領域の１つにいる場合、前記領域についての前記現在の音響環境に関する前記情報を使用して、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成され、かつ、
前記仮想オーディオシーンの前記複数の領域のうち、少なくとも２つの領域について、前記少なくとも２つの領域についての前記現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができず、かつ、前記聴取者が前記少なくとも２つの領域の１つにいる場合、前記領域についての前記音響環境に関する前記情報として、前記デフォルト音響環境に関する前記情報を使用して、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、
請求項７に記載の装置（１００）。

【請求項9】

前記受信インタフェースが、前記現在の音響環境が有効である、前記仮想オーディオシーンの前記複数の領域の指示データを示し、かつ／又は、前記現在の音響環境が有効でない、前記仮想オーディオシーンの前記複数の領域の指示データを示す、指示データを受信するように構成され、
前記現在の音響環境が有効である、前記仮想オーディオシーンの前記複数の領域の各領域について、前記聴取者が前記領域にいる場合、前記領域の前記現在の音響環境に関する前記情報を使用して、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成され、かつ
前記現在の音響環境が有効でない、前記仮想オーディオシーンの前記複数の領域の各領域について、前記聴取者が前記領域にいる場合、前記デフォルト音響環境に関する前記情報を、前記領域についての前記音響環境に関する前記情報として使用して、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、
請求項７又は８に記載の装置（１００）。

【請求項10】

前記デフォルト音響環境に関する前記情報が、前記デフォルト音響環境における残響の１つ以上の特性に関する情報で構成される、１つ以上の残響パラメータを含み、
前記仮想オーディオシーンの前記複数の領域のうち、ある領域についての前記現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができる場合、前記聴取者が前記領域にいるときには、前記領域についての前記現在の音響環境の、前記１つ以上の残響パラメータに応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成され、
前記領域の前記現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができない場合、前記聴取者が前記領域にいるときには、前記デフォルト音響環境に関する前記情報の、前記１つ以上の残響パラメータに応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、
請求項７から９のいずれか一項に記載の装置（１００）。

【請求項11】

前記デフォルト音響環境に関する前記情報の、前記１つ以上の残響パラメータが、プリディレイ時間、残響時間、及び残響振幅のうち、１つ以上に関する情報を含む、
請求項１０に記載の装置（１００）。

【請求項12】

前記デフォルト音響環境に関する前記情報が、前記デフォルト音響環境における初期反射の、１つ以上の特性に関する情報で構成される、１つ以上の初期反射パラメータを含み、
前記仮想オーディオシーンの前記複数の領域の、ある領域についての前記現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができる場合、前記聴取者が前記領域にいるときには、前記領域についての、前記現在の音響環境の前記１つ以上の初期反射パラメータに応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成され、
前記領域についての、前記現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができない場合、前記聴取者が前記領域にいるときには、前記デフォルト音響環境に関する前記情報の、前記１つ以上の初期反射パラメータに応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、
請求項７から１１のいずれか一項に記載の装置（１００）。

【請求項13】

前記デフォルト音響環境に関する前記情報が、前記デフォルト音響環境における背景音の、１つ以上の特性に関する情報で構成される、１つ以上の背景パラメータを含み、
前記仮想オーディオシーンの前記複数の領域のうち、ある領域についての前記現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができる場合、前記聴取者が前記領域にいるときには、前記領域についての前記現在の音響環境に関する前記情報の、前記１つ以上の背景パラメータに応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成され、
前記領域についての前記現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができない場合、前記聴取者が前記領域にいるときには、前記デフォルト音響環境に関する前記情報の、前記１つ以上の背景パラメータに応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、
請求項７から１２のいずれか一項に記載の装置（１００）。

【請求項14】

前記デフォルト音響環境に関する前記情報の、前記１つ以上の背景パラメータが、前記背景音の１つ以上のレンダリングパラメータを含み、前記レンダリングパラメータが、背景音波形、前記背景音波形の識別子、背景信号レベル、及び前記背景音波形に適用されるべき周波数応答を示すフィルタリング特性のうち、１つ以上に関する情報を含む、
請求項１３に記載の装置（１００）。

【請求項15】

前記デフォルト音響環境に関する前記情報が、前記レンダラ（１２０）によって、前記デフォルト音響環境が使用されるように誘導するための、１つ以上のデフォルト音響環境誘導パラメータを含み、
前記仮想オーディオシーンの前記複数の領域のうち、ある領域についての前記現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができる場合、前記聴取者が前記領域にいるときには、前記デフォルト音響環境誘導パラメータに応じて、前記領域についての前記現在の音響環境に関する前記情報を使用して、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成され、
前記領域の前記現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができない場合、前記聴取者が前記領域にいるときには、前記デフォルト音響環境誘導パラメータに応じて、前記デフォルト音響環境に関する前記情報を使用して、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、
請求項７から１４のいずれか一項に記載の装置（１００）。

【請求項16】

前記デフォルト音響環境が、前記デフォルト音響環境の前記パラメータ又は構成要素のうち、１つ以上、又はすべてをトリガするのに必要な、１つ以上のトリガ条件を含み、
前記仮想オーディオシーンの前記複数の領域のうち、ある領域についての前記現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができない場合、前記デフォルト音響環境に関する前記情報に応じて、前記１つ以上のトリガ条件のうち、少なくとも１つのトリガ条件を満たす、前記デフォルト音響環境の前記パラメータ又は構成要素をトリガすることによって、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、
請求項７から１５のいずれか一項に記載の装置（１００）。

【請求項17】

前記デフォルト音響環境に関する前記情報が、ゲイン、距離重み付け、時間遅延、オクルージョン重み付け、速度重み付け、空間ソース飽和重み付けのうち、少なくとも１つを変更するための、１つ以上の変更パラメータを含み、かつ、
前記１つ以上の変更パラメータに応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、
請求項７から１６のいずれか一項に記載の装置（１００）。

【請求項18】

前記仮想オーディオシーンが、実際の音響環境下での、実際のオーディオシーンの録音によって決まる、
請求項７から１７のいずれか一項に記載の装置（１００）。

【請求項19】

前記領域についての現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができる、前記仮想オーディオシーンの前記複数の領域の各領域では、前記領域についての前記現在の音響環境が、前記仮想オーディオシーンの前記領域に対応する、前記実際のオーディオシーンの実際の領域の、前記実際の音響環境を表すものであり、
前記領域についての前記現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができない、前記仮想オーディオシーンの前記複数の領域の各領域では、前記デフォルト音響環境が、前記仮想オーディオシーンの前記領域に対応する、前記実際のオーディオシーンの前記実際の領域の、前記実際の音響環境を表すものではない、
請求項１８に記載の装置（１００）。

【請求項20】

前記仮想オーディオシーンが、仮想ビジュアルシーンと関連付けられており、前記仮想ビジュアルシーンが、前記仮想オーディオシーンの前記聴取者に対して、仮想ビジュアルルームを描写する、
請求項７から１８のいずれか一項に記載の装置（１００）。

【請求項21】

前記領域についての現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができる、前記仮想オーディオシーンの前記複数の領域の各領域では、前記領域についての前記現在の音響環境が、前記仮想オーディオシーンの前記領域に対応する、前記仮想ビジュアルルームの領域の仮想音響特性によって決まるものであり、
前記領域についての前記現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができない、前記仮想オーディオシーンの前記複数の領域の各領域では、前記デフォルト音響環境が、前記仮想オーディオシーンの前記領域に対応する、前記仮想ビジュアルルームの領域の仮想音響特性によって決まるものではない、
請求項２０に記載の装置（１００）。

【請求項22】

前記仮想オーディオシーンにおける前記聴取者の位置が、前記現実世界における、前記聴取者の物理的位置によって決まる、
請求項７から２１のいずれか一項に記載の装置（１００）。

【請求項23】

前記仮想オーディオシーンが、拡張現実アプリケーションの仮想ビジュアルプレゼンテーションに関連付けられており、前記拡張現実アプリケーションの前記仮想ビジュアルプレゼンテーションが、前記仮想オーディオシーンの前記聴取者が位置する、前記現実世界の物理環境の、実際の領域によって決まる、
請求項２２に記載の装置（１００）。

【請求項24】

現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができる、前記仮想オーディオシーンの前記複数の領域の各領域では、前記領域についての前記現在の音響環境が、前記仮想オーディオシーンの前記領域に対応する、前記現実世界の前記物理環境の領域の、実際の音響特性によって決まるものであり、
前記現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができない、前記仮想オーディオシーンの前記複数の領域の各領域では、前記デフォルト音響環境が、前記仮想オーディオシーンの前記領域に対応する、前記現実世界の前記物理環境の領域の、音響特性によって決まるものではない、
請求項２３に記載の装置（１００）。

【請求項25】

前記聴取者が位置する、前記現実世界の前記実際の領域が、前記現在の音響環境に関する情報を利用することのできる、前記仮想オーディオシーンの領域に対応する場合、前記領域についての前記現在の音響環境に応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成され、
前記聴取者が位置する、前記現実世界の前記実際の領域が、前記現在の音響環境に関する情報を利用することのできない、前記仮想オーディオシーンの領域に対応する場合、前記デフォルト音響環境に応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、
請求項２４に記載の装置（１００）。

【請求項26】

前記デフォルト音響環境が、２つ以上のデフォルト音響環境のうち、第１のデフォルト音響環境であり、
前記入力インタフェース（１１０）が、前記仮想オーディオシーンの前記複数の領域のうち、少なくとも１つの領域について、前記２つ以上のデフォルト音響環境のうちの１つを、前記少なくとも１つの領域についてのデフォルト音響環境として示す、指示を受信するように構成され、
前記少なくとも１つの領域について、前記少なくとも１つの領域についての、現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができない場合、前記聴取者が前記領域にいるときには、前記領域についての、前記デフォルト音響環境に関する情報を使用して、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、
請求項７から２５のいずれか一項に記載の装置（１００）。

【請求項27】

前記ビットストリームが、前記２つ以上のデフォルト音響環境に関する情報を含み、
請求項３に更に従属する、請求項２６に記載の装置（１００）。

【請求項28】

前記装置（１００）の前記メモリに格納された前記所定の情報が、前記２つ以上のデフォルト音響環境に関する情報を含み、
請求項５に更に従属する、請求項２６に記載の装置（１００）。

【請求項29】

前記受信インタフェースが、選択情報を受信するように構成されており、かつ、
前記レンダラ（１２０）が、前記選択情報に応じて、前記２つ以上のデフォルト音響環境の前記１つを選択するように構成され、かつ、前記聴取者が前記少なくとも１つの領域にいる場合、前記少なくとも１つの領域についての、前記デフォルト音響環境に関する前記情報を使用して、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように構成される、
請求項２６から２８のいずれか一項に記載の装置（１００）。

【請求項30】

前記２つ以上のデフォルト音響環境の前記１つを、前記少なくとも１つの領域についての前記デフォルト音響環境として示す前記指示が、前記少なくとも１つの領域のそれぞれについての識別子を含み、かつ／又は、前記２つ以上のデフォルト音響環境の前記１つについての識別子を含む、
請求項２６から２９のいずれか一項に記載の装置（１００）。

【請求項31】

前記仮想オーディオシーンについての前記オーディオ情報が、前記１つ以上の音源の各音源の、１つ以上のオーディオチャネル、及び、前記１つ以上の音源の各音源の位置を含み、
前記１つ以上の音源の各音源の、前記１つ以上のオーディオチャネルに応じて、前記１つ以上の音源の各音源の、前記位置に応じて、かつ、前記仮想オーディオシーン内の聴取者の位置に応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、
請求項１から３０のいずれか一項に記載の装置（１００）。

【請求項32】

前記音源の前記位置、及び前記聴取者の前記位置が、三次元で定義され、かつ／又は、
前記音源の前記位置、及び前記聴取者の前記位置が、二次元で定義される、
請求項３１に記載の装置（１００）。

【請求項33】

前記音源の前記位置が、三次元で定義され、
前記聴取者の位置が、三次元で定義され、前記聴取者の頭部の向きが、３つの回転角度を使用して定義されるように、前記聴取者の位置及び向きが、６自由度で定義され、
前記仮想オーディオシーンにおける、前記聴取者の前記頭部の前記向きに更に応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、
請求項３１に記載の装置（１００）。

【請求項34】

前記音響シーンジェネレータが、仮想現実アプリケーションの、前記仮想オーディオシーンを再生するように構成され、又は
前記音響シーンジェネレータが、拡張現実アプリケーションの、前記仮想オーディオシーンを再生するように構成される、
請求項１から３３のいずれか一項に記載の装置（１００）。

【請求項35】

前記１つ以上の音源のうち、少なくとも１つの音源の、前記１つ以上のオーディオチャネルが、アンビソニックスドメインで表現され、
前記アンビソニックスドメインで表現されている、前記１つ以上の音源の、前記少なくとも１つの音源の、前記１つ以上のオーディオチャネルに応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、
請求項１から３４のいずれか一項に記載の装置（１００）。

【請求項36】

前記レンダラ（１２０）が、前記仮想オーディオシーンを再生するための、２つのオーディオ出力チャネルを生成するように構成された、バイノーラライザを備える、
請求項１から３５のいずれか一項に記載の装置（１００）。

【請求項37】

前記現在の音響環境の複数のパラメータのうち、すべてではないが１つ以上を、前記レンダラ（１２０）で利用することができる場合、前記ビットストリーム内の前記現在の音響環境に提供されていない、前記デフォルト音響環境に関する前記情報の複数のパラメータのパラメータに応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、
請求項１から３６のいずれか一項に記載の装置（１００）。

【請求項38】

前記仮想オーディオシーンの前記現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができる場合、音響特性をレンダリングするために前記レンダラ（１２０）のリソースを利用できるかどうかに応じて、前記仮想オーディオシーンの前記現在の音響環境に関する前記情報、又は、前記デフォルト音響環境に関する前記情報を使用して、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、
請求項１から３７のいずれか一項に記載の装置（１００）。

【請求項39】

仮想オーディオシーンに音を発する１つ以上の音源の、各音源の１つ以上のオーディオチャネルの符号化情報（２１０）と、
デフォルト音響環境に関する情報で構成される、複数のデータフィールド（２２０）を含む、
ビットストリーム（２００）。

【請求項40】

前記ビットストリーム（２００）内の、前記デフォルト音響環境に関する前記情報が、前記デフォルト音響環境における残響の、１つ以上の特性に関する情報で構成される、前記デフォルト音響環境の１つ以上の残響パラメータを含む、
請求項３９に記載のビットストリーム（２００）。

【請求項41】

前記デフォルト音響環境に関する前記情報の、前記１つ以上の残響パラメータが、プリディレイ時間、残響時間、及び残響振幅のうち、１つ以上に関する情報を含む、
請求項４０に記載のビットストリーム（２００）。

【請求項42】

前記ビットストリーム（２００）内の前記デフォルト音響環境に関する前記情報が、前記デフォルト音響環境における初期反射の、１つ以上の特性に関する情報で構成される、１つ以上の初期反射パラメータを含む、
請求項３９から４１のいずれか一項に記載のビットストリーム（２００）。

【請求項43】

前記ビットストリーム（２００）内の前記デフォルト音響環境に関する前記情報が、前記デフォルト音響環境における背景音の、１つ以上の特性に関する情報で構成される、１つ以上の背景パラメータを含む、
請求項３９から４２のいずれか一項に記載のビットストリーム（２００）。

【請求項44】

前記ビットストリーム（２００）内の前記デフォルト音響環境に関する前記情報の、前記１つ以上の背景パラメータが、前記背景音についての、１つ以上のレンダリングパラメータを含み、前記レンダリングパラメータが、背景音波形、前記背景音波形の識別子、背景信号レベル、及び前記背景音波形に適用されるべき周波数応答を示すフィルタリング特性のうち、１つ以上に関する情報を含む、
請求項４３に記載のビットストリーム（２００）。

【請求項45】

前記ビットストリーム（２００）が、前記レンダラ（１２０）によって、前記デフォルト音響環境が使用されるように誘導するための、１つ以上のデフォルト音響環境誘導パラメータを含む、
請求項３９から４４のいずれか一項に記載のビットストリーム（２００）。

【請求項46】

前記デフォルト音響環境が、前記デフォルト音響環境の前記パラメータ又は構成要素のうち、１つ以上、又はすべてをトリガするのに必要な、１つ以上のトリガ条件を含む、
請求項３９から４５のいずれか一項に記載のビットストリーム（２００）。

【請求項47】

前記ビットストリーム（２００）が、ゲイン、距離重み付け、時間遅延、オクルージョン重み付け、速度重み付け、空間ソース飽和重み付けのうち、少なくとも１つを変更するための、１つ以上の変更パラメータを含む、
請求項３９から４６のいずれか一項に記載のビットストリーム（２００）。

【請求項48】

前記デフォルト音響環境に関する前記情報が、２つ以上のデフォルト音響環境のうち第１のデフォルト音響環境に関する、第１の情報であり、
前記ビットストリーム（２００）が、前記２つ以上のデフォルト音響環境に関する情報を含む、
請求項３９から４７のいずれか一項に記載のビットストリーム（２００）。

【請求項49】

前記ビットストリーム（２００）が、前記２つ以上のデフォルト音響環境の１つを選択するための、選択情報を含む、
請求項４８に記載のビットストリーム（２００）。

【請求項50】

前記ビットストリーム（２００）が、複数の領域のうち、少なくとも１つの領域について、前記２つ以上のデフォルト音響環境の１つを、前記少なくとも１つの領域についてのデフォルト音響環境として指定する、
請求項４８又は４９に記載のビットストリーム（２００）。

【請求項51】

前記ビットストリーム（２００）が、前記少なくとも１つの領域についての前記デフォルト音響環境を指示するために、前記少なくとも１つの領域の、それぞれについての識別子を含み、かつ／又は、前記２つ以上のデフォルト音響環境のうちの前記１つについての識別子を含む、
請求項５０に記載のビットストリーム（２００）。

【請求項52】

前記ビットストリーム（２００）が、前記仮想オーディオシーンの、現在の音響環境に関する情報を更に含む、
請求項３９から５１のいずれか一項に記載のビットストリーム（２００）。

【請求項53】

前記ビットストリーム（２００）が、前記現在の音響環境が有効である複数の領域のうち、少なくとも１つを示す指示データ、及び／又は、前記現在の音響環境が有効でない前記複数の領域のうち、１つ以上を示す指示データを含む、
請求項５２に記載のビットストリーム（２００）。

【請求項54】

前記ビットストリーム（２００）が、前記仮想オーディオシーンの複数の領域のうち、少なくとも１つの領域についての、現在の音響環境に関する情報を更に含む、
請求項３９から５３のいずれか一項に記載のビットストリーム（２００）。

【請求項55】

前記受信インタフェースによって受信される前記ビットストリームが、請求項３９から５４のいずれか一項に記載のビットストリーム（２００）であり、
前記ビットストリーム（２００）が、前記仮想オーディオシーンの前記現在の音響環境に関する情報を含まない場合、前記ビットストリーム（２００）に含まれる、前記デフォルト音響環境に関する前記情報に応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成され、前記１つ以上のオーディオ出力チャネルを生成することが、
前記デフォルト音響環境における残響の、１つ以上の特性に関する情報、及び／又は、プリディレイ時間、残響時間、及び残響振幅のうち、１つ以上に関する情報を含む、前記デフォルト音響環境の１つ以上の残響パラメータと、
前記デフォルト音響環境における初期反射の、１つ以上の特性に関する情報を含む、１つ以上の初期反射パラメータと、
前記デフォルト音響環境における背景音の、１つ以上の特性、及び／又は、前記背景音の１つ以上のレンダリングパラメータの情報を含む、１つ以上の背景パラメータであって、前記レンダリングパラメータが、背景音波形、前記背景音波形の識別子、背景信号レベル、及び前記背景音波形に適用されるべき周波数応答を示すフィルタリング特性のうち、１つ以上に関する情報を含む、１つ以上の背景パラメータと、
前記レンダラ（１２０）によって、前記デフォルト音響環境が使用されるように誘導するための、１つ以上のデフォルト音響環境誘導パラメータと、
前記デフォルト音響環境の前記パラメータ又は構成要素の、１つ以上、又はすべてをトリガするのに必要な、１つ以上のトリガ条件との、１つ以上によって決まり、
請求項４に更に従属する、請求項１から３８のいずれか一項に記載の装置（１００）。

【請求項56】

ビットストリームを生成するように構成されたエンコーダ（３００）であって、
前記エンコーダ（３００）が、前記ビットストリームに、仮想オーディオシーンに音を発する、１つ以上の音源の各音源の、１つ以上のオーディオチャネルの符号化情報を含めるべく、前記ビットストリームを生成するように構成され、かつ、
前記エンコーダ（３００）が、前記ビットストリームに、デフォルト音響環境に関する情報で構成される、複数のデータフィールドを含めるべく、前記ビットストリームを生成するように構成される、
エンコーダ（３００）。

【請求項57】

前記エンコーダ（３００）が、前記ビットストリームを、請求項３９から５４のいずれか一項に記載のビットストリーム（２００）にするべく、前記ビットストリームを生成するように構成される、
請求項５６に記載のエンコーダ（３００）。

【請求項58】

仮想オーディオシーンをレンダリングするための方法であって、前記仮想オーディオシーンでは、１つ以上の音源から音が発せられており、
前記仮想オーディオシーンについてのオーディオ情報を含む、オーディオ情報を受信することと、
前記仮想オーディオシーンの前記オーディオ情報に応じて、前記仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成することを含み、
前記仮想オーディオシーンの現在の音響環境に関する情報を利用することができない場合、デフォルト音響環境に関する情報に応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルの生成を実行する、方法。

【請求項59】

ビットストリームを生成するための方法であって、
前記ビットストリームに、仮想オーディオシーンに音を発する、１つ以上の音源の各音源の、１つ以上のオーディオチャネルの符号化情報が含まれるように、前記ビットストリームの生成を実施し、
前記ビットストリームに、デフォルト音響環境に関する情報で構成される、複数のデータフィールドが含まれるように、前記ビットストリームの生成を実施する、方法。

【請求項60】

コンピュータ又はシグナルプロセッサ上で実行されたとき、請求項５８又は５９に記載の方法を実施するための、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想オーディオシーンをレンダリングするために、デフォルト音響環境を使用することに関する。更に、本発明は、デフォルト音響環境に、情報に提供することに関する。

【背景技術】

【0002】

特に、本発明は、シミュレートされた音響環境に、すべての音響特性の詳細な説明が含まれていない場合、又は、レンダリングシステムが、それらを十分にレンダリングするために必要なリソースを欠いている場合に、シミュレートされた音響環境で認識される、もっともらしさを改善することを目的とする。この概念は、バイノーラル再生システムの中で表現されるものであるが、他の形態のオーディオ再生に拡張することができる。

【0003】

仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、又は拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）といった、シミュレートされた体験の主な側面は、被験者が複雑な音響現象を知覚することのできる、物理空間及び環境を創造できることである。これは、被験者が特定の物理的特性のある室内を自由に移動することができ、したがって様々な音響的相互作用を経験する、いわゆる「６自由度」（６ＤｏＦ）シミュレーションの場合に、特に当てはまる。これらは、初期反射部分（ＥＲ：Ｅａｒｌｙ Ｒｅｆｌｅｃｔｉｏｎ）、及び、後期残響部分（ＬＲ：Ｌａｔｅ Ｒｅｖｅｒｂｅｒａｔｉｏｎ）からなる。［１］では、ＶＲ／ＡＲシーンでの、室内音響のＬＲ部分の説明が公開されており、これは、音響環境（ＡＥ：Ａｃｏｕｓｔｉｃ Ｅｎｖｉｒｏｎｍｅｎｔ）と呼ばれている。

【0004】

仮想音響空間をレンダリングする場合、後期残響を妥当にレンダリングすることが不可欠である。したがって、人工残響ジェネレータを制御して、所望の特性の後期残響を生成することができるパラメータセットとして、後期残響の特性を記述することができる。

【0005】

一例として、ＭＰＥＧ Ａｕｄｉｏ標準化団体では、近年、ＭＰＥＧ－１ Ａｕｄｉｏ ６ＤｏＦ標準化［１］において「Ｅｎｃｏｄｅｒ Ｉｎｐｕｔ Ｆｏｒｍａｔ」（ＥＩＦ）と呼ばれる、例えば、ＸＭＬ形式で表現することのできる、６ＤｏＦ（６ Ｄｅｇｒｅｅｓ ｏｆ Ｆｒｅｅｄｏｍ）での仮想音響シーンを記述する仕様が公開されている。このＥＩＦ仕様における、多くの他の関連する構成（例えば、オブジェクトソース、チャネルソース、及び高次アンビソニックスソースといった、様々な種類のオーディオソースの仕様）の中でも、特定の音響空間の後期残響特性を特徴付ける、いわゆる音響環境記述が、そこに含まれる。

【0006】

この目的のために、例えば、こうしたパラメータが適用される幾何学的領域（領域）、又はＥＩＦにおける特定のパラメータが有効であると考えられる領域、示されたパラメータが測定された空間点（位置）、その後に後期残響が開始する初期時間遅延（プリディレイ）、関連するＲＴ６０値（すなわち、後期残響が６０ｄＢ減衰するまでにかかる時間）の一連の周波数（周波数）、及び、拡散する後期残響エネルギーと直接／放出音エネルギーとの間の比、すなわち残響振幅／残響レベルを表す、拡散－直接比（ＤＤＲ）を記述するフィールド／パラメータを、そこに含めることができる。

【0007】

例えば、仮想聴覚環境において現実味のある後期残響をレンダリングするために、この情報を使用することができる。

【0008】

ＶＲ／ＡＲシーンをレンダリングする場合、通常、室内音響をレンダリングするための音響パラメータが提供される。しかしながら、例えば屋外シーン部分、又は部分的に屋外に開かれたシーン部分などについて、シーンオーサリング処理中に、音響パラメータが指定されていない場合がある。そのため、反射、残響、又は背景ノイズに関連する信号成分が欠落しており、音響パラメータなしでは、音源が実質的に無響室のようにレンダリングされるため、不十分で不自然なレンダリングがもたらされる。

【発明の概要】

【0009】

本発明の目的は、好ましくないレンダリング挙動を回避するための、改良されたコンセプトを提供することである。本発明の目的は、請求項１に記載の装置、請求項３９に記載のビットストリーム、請求項５６に記載のエンコーダ、請求項５８に記載の方法、請求項５９に記載の方法、及び請求項６０に記載のコンピュータプログラムによって解決される。

【0010】

一実施形態による、仮想オーディオシーンをレンダリングするための装置が提供される。仮想オーディオシーンでは、１つ以上の音源から、音が発せられている。この装置には、オーディオ情報を受信するように構成された、入力インタフェースが含まれ、このオーディオ情報には、仮想オーディオシーンについてのオーディオ情報が含まれる。更に、この装置には、仮想オーディオシーンのためのオーディオ情報に応じて、仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成するように構成された、レンダラが含まれる。仮想オーディオシーンの現在の音響環境に関する情報を、このレンダラで利用することができない場合、デフォルト音響環境に関する情報に応じて、仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成するように、このレンダラは構成される。

【0011】

更に、一実施形態によるビットストリームが提供される。このビットストリームには、仮想オーディオシーンに音を発する１つ以上の音源の、各音源の１つ以上のオーディオチャネルの符号化情報が含まれる。更に、このビットストリームには、デフォルト音響環境に関する情報で構成される、複数のデータフィールドが含まれる。

【0012】

更に、一実施形態によるビットストリームを生成するように構成された、エンコーダが提供される。このエンコーダは、仮想オーディオシーンに音を発する１つ以上の音源の、各音源の１つ以上のオーディオチャネルの符号化情報を含む、ビットストリームを生成するように構成される。更に、このエンコーダは、デフォルト音響環境に関する情報で構成される、複数のデータフィールドを含む、ビットストリームを生成するように構成される。

【0013】

更に、一実施形態による仮想オーディオシーンをレンダリングするための、方法が提供される。仮想オーディオシーンでは、１つ以上の音源から、音が発せられている。本方法には、以下のことが含まれる。

【0014】

・仮想オーディオシーンのためのオーディオ情報を含む、オーディオ情報を受信すること。・仮想オーディオシーンのためのオーディオ情報に応じて、仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成すること。

【0015】

仮想オーディオシーンの現在の音響環境に関する情報を、利用することができない場合、デフォルト音響環境に関する情報に応じて、仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルの生成が実施される。

【0016】

更に、一実施形態によるビットストリームを生成するための、方法が提供される。仮想オーディオシーンに音を発する１つ以上の音源の、各音源の１つ以上のオーディオチャネルの符号化情報が含まれるように、ビットストリームの生成が実施される。更に、デフォルト音響環境に関する情報で構成される複数のデータフィールドが、ビットストリームに含まれるように、ビットストリームの生成が実施される。

【0017】

更に、コンピュータ又はシグナルプロセッサ上で実行されたとき、上述した方法のうちの１つを実施するための、コンピュータプログラムが提供される。

【0018】

以下に、本発明の実施形態について、図面を参照して、より詳細な説明を行う。

【図面の簡単な説明】

【0019】

【図1】一実施形態による、仮想オーディオシーンをレンダリングするための装置を示す図である。

【図2】一実施形態による、ビットストリームを示す図である。

【図3】一実施形態による、ビットストリームを生成するように構成されたエンコーダを示す図である。

【発明を実施するための形態】

【0020】

図１は、一実施形態による仮想オーディオシーンをレンダリングするための、装置１００を示す。仮想オーディオシーンでは、１つ以上の音源から、音が発せられている。

【0021】

装置１００には、オーディオ情報を受信するように構成された、入力インタフェース１１０が含まれ、そのオーディオ情報には、仮想オーディオシーンのためのオーディオ情報が含まれる。

【0022】

更に、装置１００には、仮想オーディオシーンのためのオーディオ情報に応じて、仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成するように構成された、レンダラ１２０が含まれる。

【0023】

仮想オーディオシーンの現在の音響環境に関する情報を、レンダラ１２０で利用することができない場合、デフォルト音響環境に関する情報に応じて、仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成するように、レンダラ１２０は構成される。

【0024】

一実施形態によれば、仮想オーディオシーンの現在の音響環境に関する情報を、レンダラ１２０で利用することができる場合、例えば、仮想オーディオシーンの現在の音響環境に関する情報に応じて、仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成するように、レンダラ１２０を構成することができる。

【0025】

一実施形態では、例えば、オーディオ情報を含むビットストリームを受信するように、入力インタフェース１１０を構成することができる。このビットストリームに、仮想オーディオシーンの現在の音響環境に関する情報が含まれている場合、仮想オーディオシーンの現在の音響環境を、レンダラ１２０で利用することができ、例えば、ビットストリームに含まれる仮想オーディオシーンの現在の音響環境に関する情報に応じて、仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成するように、レンダラ１２０を構成することができる。このビットストリームに、仮想オーディオシーンの現在の音響環境に関する情報が含まれていない場合、仮想オーディオシーンの現在の音響環境を、レンダラ１２０で利用することができず、例えば、デフォルト音響環境に関する情報に応じて、仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成するように、レンダラ１２０を構成することができる。

【0026】

一実施形態によれば、このビットストリームには、デフォルト音響環境に関する情報が含まれる。

【0027】

一実施形態では、装置１００には、所定の情報を格納したメモリが含まれ、この所定の情報には、デフォルト音響環境に関する情報が含まれる。

【0028】

一実施形態によれば、デフォルト音響環境とは、屋外音響環境を表すものである。

【0029】

一実施形態では、その領域についての現在の音響環境に関する情報を、レンダラ１２０で利用することができる、仮想オーディオシーンの複数の領域の各領域について、聴取者がその領域にいる場合、例えば、その領域についての現在の音響環境に関する情報を使用して、仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成するように、レンダラ１２０を構成することができる。その領域についての現在の音響環境に関する情報を、レンダラ１２０で利用することができない、仮想オーディオシーンの複数の領域の各領域について、聴取者がその領域にいる場合、例えば、デフォルト音響環境に関する情報を、その領域についての音響環境に関する情報として使用して、仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成するように、レンダラ１２０を構成することができる。

【0030】

一実施形態によれば、仮想オーディオシーンの複数の領域のうち、少なくとも１つの領域について、その少なくとも１つの領域についての現在の音響環境に関する情報を、レンダラ１２０で利用することができ、かつ、聴取者が、その少なくとも１つの領域のうちの１つにいるときには、例えば、その領域についての現在の音響環境に関する情報を使用して、仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成するように、レンダラ１２０を構成することができる。仮想オーディオシーンの複数の領域のうち、少なくとも２つの領域について、その少なくとも２つの領域についての現在の音響環境に関する情報を、レンダラ１２０で利用することができず、かつ、聴取者がその少なくとも２つの領域のうちの１つにいるときには、例えば、その領域についての音響環境に関する情報として、デフォルト音響環境に関する情報を使用して、仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成するように、レンダラ１２０を構成することができる。

【0031】

一実施形態では、例えば、現在の音響環境が有効である仮想オーディオシーンの、複数の領域の指示データを示し、かつ／又は、現在の音響環境が有効でない仮想オーディオシーンの、複数の領域の指示データを示す指示データを受信するように、受信インタフェースを構成することができる。現在の音響環境が有効である、仮想オーディオシーンの複数の領域の各領域について、聴取者がその領域にいる場合、例えば、その領域についての現在の音響環境に関する情報を使用して、仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成するように、レンダラ１２０を構成することができる。現在の音響環境が有効ではない、仮想オーディオシーンの複数の領域の各領域について、聴取者がその領域にいる場合、例えば、その領域についての音響環境に関する情報として、デフォルト音響環境に関する情報を使用して、仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成するように、レンダラ１２０を構成することができる。

【0032】

一実施形態によれば、デフォルト音響環境に関する情報には、デフォルト音響環境における残響の、１つ以上の特性に関する情報で構成される、１つ以上の残響パラメータが含まれる。仮想オーディオシーンの複数の領域のうち、ある領域の現在の音響環境に関する情報を、レンダラ１２０で利用することができる場合、聴取者がその領域にいるときには、例えば、その領域についての現在の音響環境の、１つ以上の残響パラメータに応じて、仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成するように、レンダラ１２０を構成することができる。その領域についての現在の音響環境に関する情報を、レンダラ１２０で利用することができない場合、聴取者がその領域にいるときには、例えば、デフォルト音響環境に関する情報の、１つ以上の残響パラメータに応じて、仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成するように、レンダラ１２０を構成することができる。

【0033】

一実施形態では、デフォルト音響環境に関する情報の、１つ以上の残響パラメータには、プリディレイ時間、残響時間、及び残響振幅のうち、１つ以上に関する情報が含まれる。

【0034】

一実施形態によれば、デフォルト音響環境に関する情報には、デフォルト音響環境における初期反射の、１つ以上の特性に関する情報で構成される、１つ以上の初期反射パラメータが含まれる。仮想オーディオシーンの複数の領域のうち、ある領域についての現在の音響環境に関する情報を、レンダラ１２０で利用することができる場合、聴取者がその領域にいるときには、例えば、その領域についての現在の音響環境の、１つ以上の初期反射パラメータに応じて、仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成するように、レンダラ１２０を構成することができる。仮想オーディオシーンの複数の領域のうち、ある領域についての現在の音響環境に関する情報を、レンダラ１２０で利用することができない場合、聴取者がその領域にいるときには、例えば、その領域についての現在の音響環境の、１つ以上の初期反射パラメータに応じて、仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成するように、レンダラ１２０を構成することができる。

【0035】

一実施形態では、デフォルト音響環境に関する情報には、デフォルト音響環境における背景音の、１つ以上の特性に関する情報で構成される、１つ以上の背景パラメータが含まれる。仮想オーディオシーンの複数の領域のうち、ある領域についての現在の音響環境に関する情報を、レンダラ１２０で利用することができる場合、聴取者がその領域にいるときには、例えば、その領域についての現在の音響環境に関する情報の、１つ以上の背景パラメータに応じて、仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成するように、レンダラ１２０を構成することができる。その領域についての現在の音響環境に関する情報を、レンダラ１２０で利用することができない場合、聴取者がその領域にいるときには、デフォルト音響環境に関する情報の、例えば、１つ以上の背景パラメータに応じて、仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成するように、レンダラ１２０を構成することができる。

【0036】

一実施形態によれば、デフォルト音響環境に関する情報の、１つ以上の背景パラメータには、背景音のための１つ以上のレンダリングパラメータが含まれ、ここで、そのレンダリングパラメータには、背景音波形、背景音波形の識別子、背景信号レベル、及び背景音波形に適用される周波数応答を示すフィルタリング特性のうち、１つ以上に関する情報が含まれる。

【0037】

一実施形態では、デフォルト音響環境に関する情報には、レンダラ１２０によってデフォルト音響環境が使用されるように誘導するための、１つ以上のデフォルト音響環境誘導パラメータが含まれる。仮想オーディオシーンの複数の領域のうち、ある領域についての現在の音響環境に関する情報を、レンダラ１２０で利用することができる場合、聴取者がその領域にいるときには、例えば、デフォルト音響環境誘導パラメータに応じて、その領域についての現在の音響環境に関する情報を使用して、仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成するように、レンダラ１２０を構成することができる。その領域についての現在の音響環境に関する情報を、レンダラ１２０で利用することができない場合、聴取者がその領域にいるときには、例えば、デフォルト音響環境誘導パラメータに応じて、デフォルト音響環境に関する情報を使用して、仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成するように、レンダラ１２０を構成することができる。

【0038】

一実施形態によれば、デフォルト音響環境には、デフォルト音響環境のパラメータ又は構成要素のうち、１つ以上、又はすべてをトリガするために必要な、１つ以上のトリガ条件が含まれる。仮想オーディオシーンの複数の領域のうち、ある領域についての現在の音響環境に関する情報を、レンダラ１２０で利用することができない場合、例えば、その１つ以上のトリガ条件のうち、少なくとも１つのトリガ条件を満たす、デフォルト音響環境のパラメータ又は構成要素をトリガすることによって、デフォルト音響環境に関する情報に応じて、仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成するように、レンダラ１２０を構成することができる。

【0039】

一実施形態では、デフォルト音響環境に関する情報には、ゲイン、距離重み付け、時間遅延、オクルージョン重み付け、速度重み付け、空間ソース飽和重み付けのうち、少なくとも１つを変更するための、１つ以上の変更パラメータが含まれる。例えば、１つ以上の変更パラメータに応じて、仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成するように、レンダラ１２０を構成することができる。

【0040】

一実施形態によれば、仮想オーディオシーンは、実際の音響環境下での、実際のオーディオシーンの録音によって決まるものである。

【0041】

一実施形態では、その領域についての現在の音響環境に関する情報を、レンダラ１２０で利用することができる、仮想オーディオシーンの複数の領域の各領域では、その領域について現在の音響環境は、仮想オーディオシーンのその領域に対応する実際のオーディオシーンの、実際の領域の、実際の音響環境を表すものである。その領域についての現在の音響環境に関する情報を、レンダラ１２０で利用することができない、仮想オーディオシーンの複数の領域の各領域では、デフォルト音響環境は、仮想オーディオシーンのその領域に対応する、実際のオーディオシーンの、実際の領域の、実際の音響環境を表すものではない。

【0042】

一実施形態によれば、仮想オーディオシーンは、仮想ビジュアルシーンに関連付けられており、ここで、仮想ビジュアルシーンによって、仮想オーディオシーンの聴取者に、仮想ビジュアルルームが描写される。

【0043】

一実施形態では、その領域についての現在の音響環境に関する情報を、レンダラ１２０で利用することができる、仮想オーディオシーンの複数の領域の各領域では、その領域の現在の音響環境は、仮想オーディオシーンのその領域に対応する、仮想ビジュアルルームの領域の、仮想音響特性によって決まるものである。その領域についての現在の音響環境に関する情報を、レンダラ１２０で利用することができない、仮想オーディオシーンの複数の領域の各領域では、デフォルト音響環境は、仮想オーディオシーンのその領域に対応する、仮想ビジュアルルームの領域の、仮想音響特性によって決まるものではない。

【0044】

一実施形態によれば、仮想オーディオシーンにおける聴取者の位置は、現実世界における、聴取者の物理的位置によって決まるものである。

【0045】

一実施形態では、仮想オーディオシーンは、拡張現実アプリケーションの仮想ビジュアルプレゼンテーションに関連付けられており、ここで、拡張現実アプリケーションの仮想ビジュアルプレゼンテーションは、仮想オーディオシーンの聴取者が位置する、現実世界の物理環境の、実際の領域によって決まるものである。

【0046】

一実施形態によれば、その領域についての現在の音響環境に関する情報を、レンダラ１２０で利用することができる、仮想オーディオシーンの複数の領域の各領域では、その領域についての現在の音響環境は、仮想オーディオシーンのその領域に対応する、現実世界の物理環境の、実際の音響特性によって決まるものである。その領域についての現在の音響環境に関する情報を、レンダラ１２０で利用することができない、仮想オーディオシーンの複数の領域の各領域では、デフォルト音響環境は、仮想オーディオシーンのその領域に対応する、現実世界の物理環境の領域の、音響特性によって決まるものではない。

【0047】

一実施形態では、聴取者が位置する現実世界の実際の領域が、現在の音響環境に関する情報を利用することのできる、仮想オーディオシーンの領域に対応している場合、例えば、その領域についての現在の音響環境に応じて、仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成するように、レンダラ１２０を構成することができる。聴取者が位置する現実世界の実際の領域が、現在の音響環境に関する情報を利用することのできない、仮想オーディオシーンの領域に対応している場合、例えば、デフォルト音響環境に応じて、仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成するように、レンダラ１２０を構成することができる。

【0048】

一実施形態によれば、デフォルト音響環境は、２つ以上のデフォルト音響環境の、第１のデフォルト音響環境である。入力インタフェース１１０は、例えば、仮想オーディオシーンの複数の領域のうち、少なくとも１つの領域について、２つ以上のデフォルト音響環境のうち１つを、その少なくとも１つの領域についてのデフォルト音響環境として示す、指示を受信するように構成することができる。その少なくとも１つの領域について、その少なくとも１つの領域の現在の音響環境に関する情報を、レンダラ１２０で利用することができない場合、聴取者がその領域にいるときには、例えば、その領域についてのデフォルト音響環境に関する情報を使用して、仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成するように、レンダラ１２０を構成することができる。

【0049】

一実施形態では、ビットストリームには、２つ以上のデフォルト音響環境に関する情報が含まれる。

【0050】

一実施形態によれば、装置１００のメモリに格納されている所定の情報には、２つ以上のデフォルト音響環境に関する情報が含まれる。

【0051】

一実施形態では、例えば、選択情報を受信するように、受信インタフェースを構成することができる。例えば、選択情報に応じて、その２つ以上のデフォルト音響環境のうち１つを選択するように構成することができ、かつ、例えば、聴取者がその少なくとも１つの領域にいる場合、その少なくとも１つの領域についてのデフォルト音響環境に関する情報を使用して、仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成するように、レンダラ１２０を構成することができる。

【0052】

一実施形態によれば、その２つ以上のデフォルト音響環境のうち１つを、その少なくとも１つの領域についてのデフォルト音響環境として示す指示には、その少なくとも１つの領域についての、それぞれのための識別子、及び／又は、その２つ以上のデフォルト音響環境のうち１つのための、識別子が含まれる。

【0053】

一実施形態では、仮想オーディオシーンのオーディオ情報には、１つ以上の音源の、各音源の１つ以上のオーディオチャネル、及び、１つ以上の音源の、各音源の位置が含まれる。例えば、１つ以上の音源の、各音源の１つ以上のオーディオチャネルに応じて、１つ以上の音源の、各音源の位置に応じて、かつ、仮想オーディオシーンにおける聴取者の位置に応じて、仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成するように、レンダラ１２０を構成することができる。

【0054】

一実施形態によれば、音源の位置及び聴取者の位置は、三次元で定義される。かつ／又は、音源の位置及び聴取者の位置は、二次元で定義される。

【0055】

一実施形態では、音源の位置は三次元で定義される。聴取者の位置が三次元で定義され、かつ、聴取者の頭部の向きが３つの回転角度を使用して定義されるように、聴取者の位置及び向きは、６自由度で定義される。例えば、更に仮想オーディオシーンにおける聴取者の頭部の向きに応じて、仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成するように、レンダラ１２０を構成することができる。

【0056】

一実施形態によれば、例えば、仮想現実アプリケーションの仮想オーディオシーンを再生するように、サウンドシーンジェネレータを構成することができる。あるいは、例えば、拡張現実アプリケーションの仮想オーディオシーンを再生するように、サウンドシーンジェネレータを構成することができる。

【0057】

一実施形態では、１つ以上の音源のうち、少なくとも１つの音源の１つ以上のオーディオチャネルは、アンビソニックスドメインで表現される。例えば、アンビソニックスドメインで表現される、前述した１つ以上の音源の、少なくとも１つの音源の１つ以上のオーディオチャネルに応じて、仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成するように、レンダラ１２０を構成することができる。

【0058】

一実施形態によれば、レンダラ１２０には、仮想オーディオシーンを再生するための、２つのオーディオ出力チャネルを生成するように構成された、バイノーラライザが含まれる。

【0059】

一実施形態では、現在の音響環境の複数のパラメータのうち、すべてではないが１つ以上をレンダラ１２０で利用することができる場合、例えば、ビットストリーム内の現在の音響環境には提供されていない、デフォルト音響環境に関する情報の複数のパラメータに応じて、仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成するように、レンダラ１２０を構成することができる。

【0060】

一実施形態によれば、仮想オーディオシーンの現在の音響環境に関する情報をレンダラ１２０で利用することができる場合、例えば、音響特性をレンダリングするためのリソースを、レンダラ１２０で利用できるかどうかに応じて、仮想オーディオシーンの現在の音響環境に関する情報、又は、デフォルト音響環境に関する情報を使用して、仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成するように、レンダラ１２０を構成することができる。

【0061】

図２は、一実施形態によるビットストリーム２００を示す。
ビットストリーム２００には、仮想オーディオシーンに音を発する１つ以上の音源の、各音源の１つ以上のオーディオチャネルの、符号化情報２１０が含まれる。

【0062】

更に、ビットストリーム２００には、デフォルト音響環境に関する情報で構成される、複数のデータフィールド２２０が含まれる。

【0063】

一実施形態によれば、ビットストリーム２００内のデフォルト音響環境に関する情報には、デフォルト音響環境における、１つ以上の残響特性に関する情報で構成される、デフォルト音響環境の１つ以上の残響パラメータが含まれる。

【0064】

一実施形態では、デフォルト音響環境に関する情報の、１つ以上の残響パラメータには、プリディレイ時間、残響時間、及び残響振幅のうち、１つ以上に関する情報が含まれる。

【0065】

一実施形態によれば、ビットストリーム２００内のデフォルト音響環境に関する情報には、１つ以上の初期反射パラメータが含まれる。この初期反射パラメータは、デフォルト音響環境における、１つ以上の初期反射特性に関する情報を含むものである。

【0066】

一実施形態によれば、ビットストリーム２００内のデフォルト音響環境に関する情報には、１つ以上の背景パラメータが含まれる。この背景パラメータは、デフォルト音響環境における背景音の、１つ以上の特性に関する情報を含むものである。

【0067】

一実施形態によれば、ビットストリーム２００内のデフォルト音響環境に関する情報のうち、１つ以上の背景パラメータには、背景音のための１つ以上のレンダリングパラメータが含まれる。ここで、このレンダリングパラメータには、背景音波形、背景音波形の識別子、背景信号レベル、及び、背景音波形に適用されるべき周波数応答を示すフィルタリング特性のうち、１つ以上に関する情報が含まれる。

【0068】

一実施形態では、ビットストリーム２００には、レンダラ１２０によってデフォルト音響環境が使用されるように誘導するための、１つ以上のデフォルト音響環境誘導パラメータが含まれる。

【0069】

一実施形態によれば、デフォルト音響環境には、デフォルト音響環境のパラメータ又は構成要素のうち、１つ以上、又はすべてをトリガするために必要な、１つ以上のトリガ条件が含まれる。

【0070】

一実施形態では、ビットストリーム２００には、ゲイン、距離重み付け、時間遅延、オクルージョン重み付け、速度重み付け、空間ソース飽和重み付けのうち、少なくとも１つを変更するための、１つ以上の変更パラメータが含まれる。

【0071】

一実施形態によれば、デフォルト音響環境に関する情報は、２つ以上のデフォルト音響環境のうち、第１のデフォルト音響環境に関する、第１の情報である。ビットストリーム２００には、２つ以上のデフォルト音響環境に関する情報が含まれる。

【0072】

一実施形態では、ビットストリーム２００には、２つ以上のデフォルト音響環境のうち、１つを選択するための、選択情報が含まれる。

【0073】

一実施形態によれば、複数の領域のうち、少なくとも１つの領域について、ビットストリーム２００によって、その少なくとも１つの領域についてのデフォルト音響環境として、２つ以上のデフォルト音響環境のうち、１つが指定される。

【0074】

一実施形態では、ビットストリーム２００には、その少なくとも１つの領域のそれぞれに対する識別子が含まれ、かつ／又は、その少なくとも１つの領域についてのデフォルト音響環境を示すために、２つ以上のデフォルト音響環境のうち、その１つのための識別子が含まれる。

【0075】

一実施形態によれば、ビットストリーム２００には、更に、仮想オーディオシーンの現在の音響環境に関する情報が含まれる。

【0076】

一実施形態では、ビットストリーム２００には、現在の音響環境が有効である複数の領域のうち、少なくとも１つを示し、かつ／又は、現在の音響環境が有効でない複数の領域のうち、１つ以上を示す、指示データが含まれる。

【0077】

一実施形態によれば、ビットストリーム２００には、更に、仮想オーディオシーンの複数の領域のうち、少なくとも１つの領域についての、現在の音響環境に関する情報が含まれる。

【0078】

更なる実施形態は、図１の実施形態の、装置１００に関するものである。装置１００の受信インタフェースで受信されるビットストリーム２００は、図２の実施形態による、ビットストリーム２００である。ビットストリーム２００に、仮想オーディオシーンの現在の音響環境に関する情報が含まれていない場合、例えば、ビットストリーム２００に含まれているデフォルト音響環境に関する情報に応じて、仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成するように、レンダラ１２０を構成することができる。そのような１つ以上のオーディオ出力チャネルの生成は、以下のうちの１つ以上によって決まるものである。

【0079】

・デフォルト音響環境における残響の、１つ若しくは複数の特性に関する情報、及び／又は、プリディレイ時間、残響時間、及び残響振幅のうち、１つ以上に関する情報を含む、デフォルト音響環境の、１つ以上の残響パラメータ。

【0080】

・デフォルト音響環境における初期反射の、１つ以上の特性に関する情報を含む、１つ以上の初期反射パラメータ。

【0081】

・デフォルト音響環境における背景音の１つ以上の特性、及び／又は、背景音の１つ以上のレンダリングパラメータの情報を含む、１つ以上の背景パラメータであって、そのレンダリングパラメータには、背景音波形、前記背景音波形の識別子、背景信号レベル、及び、その背景音波形に適用されるべき周波数応答を示すフィルタリング特性のうち、１つ以上に関する情報が含まれる、１つ以上の背景パラメータ。

【0082】

・レンダラ１２０によって、デフォルト音響環境が使用されるように誘導するための、１つ以上の、デフォルト音響環境誘導パラメータ。

【0083】

・デフォルト音響環境のパラメータ又は構成要素のうち、１つ以上、あるいは、すべてをトリガするのに必要な、１つ以上のトリガ条件。

【0084】

図３は、一実施形態による、ビットストリームを生成するように構成された、エンコーダ３００を示す。

【0085】

このエンコーダ３００は、ビットストリームに、仮想オーディオシーンに音を発する１つ以上の音源の、各音源の１つ以上のオーディオチャネルの符号化情報を含めるべく、ビットストリームを生成するように構成される。

【0086】

更に、エンコーダ３００は、ビットストリームに、デフォルト音響環境に関する情報で構成される複数のデータフィールドを含めるべく、ビットストリームを生成するように構成される。

【0087】

一実施形態によれば、例えば、ビットストリームを、図２の実施形態によるビットストリーム２００とするべく、ビットストリームを生成するように、エンコーダ３００を構成することができる。

【0088】

以下に、特定の実施形態についての説明を行う。
本発明の重要な概念は、シーン記述において音響パラメータが指定されていない場合には、レンダリングシステムに「デフォルト音響環境」を提供し、特定のシーン環境に一般的な音響特性を付加するために、それをレンダラで使用することができるということである。別の実施形態では、聴取者がおよぶ範囲のオーディオシーン部分のシーン記述において、音響パラメータが指定されていない場合、レンダリングシステムに「デフォルト音響環境」が提供され、特定のシーン環境に一般的な音響特性を追加するために、レンダラで使用される。

【0089】

このようにして、不自然なレンダリング挙動を回避することができ、その結果、仮想聴覚環境の主観的品質が向上する。

【0090】

デフォルト音響環境のパラメータには、音響空間の典型的な音響挙動を特徴付ける、多数の態様を含めることができる。それらには、以下のものが含まれる（ただし、これらに限定されない）。

【0091】

・初期反射を特徴付けるためのパラメータ（例えば、「反響」の遅延及び／又は密度）。
・プリディレイ時間、残響時間ＲＴ６０、残響振幅といった、後期残響のパラメータ。
・空気吸収及び風の乱れの影響をシミュレートするために、音源の音色を変更するパラメータ（ＥＱ、ローパスフィルタ）。

【0092】

・デフォルト音響環境を使用して処理されるように、音源を配置しなければならない空間領域（音響限界）を記述するパラメータ。

【0093】

・ビットストリームでレンダラに送信し、又は、レンダリング装置で生成することができる、（音声通信で使用されるコンフォートノイズと同様の）偏在する屋外背景ノイズフロアのような、更なる微妙な音源。また、レンダリング装置には、背景ノイズ信号を記述する波形（及び、場合によっては、使用される背景ノイズ波形のＩＤ、背景信号レベルの指示、又は、背景波形に適用される周波数応答を記述するフィルタリング特性といった、デフォルトパラメータ）を、予め備えることができる。

【0094】

本発明の好ましい実施形態において、デフォルト音響環境には、例えば、屋外の音響挙動を記述することができる。
そのような「デフォルト音響環境」を利用することのできる、様々な方法がある。

【0095】

基本的なレンダラシステムでは、デフォルト音響環境のパラメータがレンダラに組み込まれており、他の音響環境データを利用することができない場合、自動的にアクティブ化することができる。

【0096】

デコーダ／レンダラに格納し、かつ／又は、ネットワークを介して送信することができる、ＶＲ／ＡＲオーディオシーンの符号化情報、及び、ビットストリームを含む、より包括的なシナリオでは、エンコーダによって、メタデータのビットストリームを介して、レンダラにデフォルト音響環境を使用することを知らせることができる。これには複数の方法がある。

【0097】

デフォルト音響環境を送信することは、別個のコードによって、又は、通常のシーン固有の音響環境の信号送信とは異なる任意の他の方法で、ビットストリームにおいて指示することができる。

【0098】

本発明の好ましい実施形態では、デフォルト音響環境データは、他の音響環境（すなわち、シーンプロバイダによって定義された音響環境）とほぼ同様に、信号送信される。具体的には、音響環境を信号送信するためのビットストリーム要素には、（前述したような）残響パラメータ、及び他のパラメータ（例えば追加の背景音）のためのフィールドに加え、音響環境が有効であり／定義される、幾何学的領域の記述が含まれる。通常、この領域は、幾何学的基本形状（例えば、球形状、又はボックス形状）、又は複数の面からなるメッシュとして、定義することができる。ただし、通常の音響環境の信号送信では、音響環境の領域の幾何学的形状を記述するための、そのようなフィールドが含まれるが、その代わりに、デフォルト音響環境は、専用の指定コードを送信することによって信号送信される。

【0099】

一実施例として、通常の音響環境の幾何学的領域を指定する代わりに、「ヌル」（ヌルポインタ）を送信することができる。

【0100】

更に、このレンダラには、（シーン作成者が利用することのできる）１つ又は複数の所定のデフォルト音響環境についての、組込みプリインストールデータを含めることができる。この場合、エンコーダによって、こうしたデフォルト音響環境設定のうち、どれを特定のビットストリームフィールドで使用するべきかを、信号送信することができる。こうしたデフォルト設定の選択可能性を、シーンのオーサリング／エンコード中に利用可能にして、選択することができる。

【0101】

以下に、いくつかの実施形態の、特定の態様についての説明を行う。
最初に、場合によってはビットストリーム要素によって制御される、特定の実施形態の、レンダラの態様についての説明を行う。

【0102】

例えば、特定の実施形態では、仮想音響環境の音の印象をレンダリングするために備えられる音響レンダラには、以下の態様が含まれる。

【0103】

・場合によって、プリディレイ時間、残響時間ＲＴ６０、残響振幅などのパラメータを含む、（後期）残響。
・場合によって、初期反射。
・場合によって、更なる微妙な音源（屋外背景ノイズフロアなど）。

【0104】

このレンダラは、例えば、他の音響環境が指定されていないシーン領域に適用される、デフォルト音響環境の設定を認識し、レンダリングできることを特徴とする。

【0105】

好ましい実施形態では、このデフォルト音響環境によって、例えば、屋外状況の音響特性を特徴付けることができる。

【0106】

更に好ましい実施形態では、デフォルト音響環境の信号送信には、例えば、音響環境が有効であり／定義されている、幾何学的領域を送信する代わりに送信される、専用のコードを含めることができる。一実施例として、通常の音響環境の幾何学的領域を指定する代わりに、「Ｎｕｌｌ」（ヌルポインタ）を、レンダラに送信することができる。

【0107】

更に、特定の実施形態では、例えば、レンダラに、１つ又は複数の所定のデフォルト音響環境についての、組込みプリインストールデータを含めることができるように、このレンダラを構成することができる。この場合、レンダラでは、こうしたデフォルト音響環境設定のうち、どれを使用すべきかの入力ビットストリームフィールドが受け入れられる。

【0108】

更に、特定の実施形態では、例えば、レンダリングデバイスに、背景ノイズ信号を記述する組込みプリインストール波形（及び、場合によっては、使用される背景ノイズ波形のＩＤ、背景信号レベルの指示、又は背景波形に適用される周波数応答を記述するフィルタリング特性といった、デフォルトパラメータ）を含めることができるように、レンダリングデバイスを構成することができる。このデフォルトパラメータは、ビットストリームで送信される値によって上書きすることができる。

【0109】

ここで、特定の実施形態の、ビットストリームの態様について説明を行う。
例えば、特定の実施形態では、例えば以下の情報を含めることのできる、ビットストリームが提供される。

【0110】

音響環境が有効であり／定義されている幾何学的領域を送信する代わりに送信される、専用のコードで信号送信される、デフォルト音響環境に関する情報。一実施例として、通常の音響環境の幾何学的領域を指定する代わりに、「Ｎｕｌｌ」（ヌルポインタ）を、レンダラに送信することができる。

【0111】

具体的には、この音響環境には、例えば、残響、初期反射、背景音に関するデータを含めることができる。

【0112】

背景音のレンダリングパラメータには、例えば、使用される背景ノイズ波形のＩＤ、背景信号レベルの指示、又は、背景波形に適用される周波数応答を記述するフィルタリング特性を、含めることができる。

【0113】

一実施形態によれば、レンダラによって解釈されることになる追加パラメータのセットには、例えば、以下のものを含めることができる。

【0114】

・デフォルト音響環境の、すべて又は一部の構成要素をトリガするために必要な、条件を定義するパラメータ。

【0115】

・別個の態様に専用の修飾子、すなわち、ゲイン、距離重み付け、時間遅延、オクルージョン重み付け、速度重み付け、空間ソース飽和重み付け。

【0116】

特定の実施形態によれば、例えば、多くのプリインストールされたレンダラのデフォルト音響環境設定のうち、どれを使用することができるかを示すビットストリームフィールドを、含めることができる。

【0117】

例えば、リアルタイム聴覚による６ＤｏＦ仮想環境の分野に、又は、例えば、リアルタイム仮想現実及びリアルタイム拡張現実の分野に、特定の実施形態を適用することができる。

【0118】

本明細書では、前述したすべての代替形態又は態様、及び、以下の特許請求の範囲における独立請求項によって定義されるすべての態様は、個別に使用することができる。すなわち、企図される代替形態、目的、又は独立請求項以外の、代替形態又は目的なしでも、使用することができることに留意されたい。しかしながら、他の実施形態では、２つ以上の代替形態、又は態様、又は独立請求項を、互いに組み合わせることができ、かつ、他の実施形態では、すべての態様、又は代替形態、及びすべての独立請求項を、互いに組み合わせることができる。

【0119】

本発明の符号化又は処理された信号は、デジタル記憶媒体又は非一時的記憶媒体に記憶することができ、あるいは、インターネットなどの無線伝送媒体又は有線伝送媒体といった、伝送媒体で伝送することができる。

【0120】

いくつかの態様を、装置の文脈で説明してきたが、これらの態様は、対応する方法の説明でもあることは明らかであり、ブロック又はデバイスは、方法ステップ又は方法ステップの特徴に対応するものである。同様に、方法ステップの文脈で説明される態様は、対応する装置の、対応するブロック、又は項目、又は特徴の説明でもある。

【0121】

特定の実装要件に応じて、本発明の実施形態を、ハードウェア又はソフトウェアに実装することができる。この実装は、電子的に読み取り可能な制御信号が格納されたデジタル記憶媒体、例えばフロッピーディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、又はフラッシュメモリを使用して行うことができる。この制御信号は、それぞれの方法を実行するように、プログラム可能なコンピュータシステムと協働するものである（又は協働することができる）。

【0122】

本発明によるいくつかの実施形態には、本明細書に記載の方法の１つを実行するように、プログラム可能なコンピュータシステムと協働することができる、電子的に読み取り可能な制御信号を有する、データキャリアが含まれる。

【0123】

一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で起動されると、方法の１つを実行するように動作するものである。このプログラムコードは、例えば、機械読み取り可能なキャリアに格納することができる。

【0124】

他の実施形態には、機械読み取り可能なキャリア、又は非一時的記憶媒体に格納された、本明細書に記載の方法の１つを実行するための、コンピュータプログラムが含まれる。

【0125】

言い換えれば、したがって、本発明の方法の一実施形態は、コンピュータプログラムがコンピュータ上で起動されると、本明細書に記載の方法の１つを実行するためのプログラムコードを有する、コンピュータプログラムである。

【0126】

したがって、本発明の方法の更なる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを記録して含む、データキャリア（又はデジタル記憶媒体、又はコンピュータ読み取り可能な媒体）である。

【0127】

したがって、本発明の方法の更なる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを表す、データストリーム又は信号シーケンスである。このデータストリーム又は信号シーケンスは、例えば、インターネットといったデータ通信接続を介して転送されるように、構成することができる。

【0128】

更なる実施形態には、本明細書に記載の方法の１つを実行するように構成又は適合された、処理手段、例えばコンピュータ、又はプログラマブル論理デバイスが含まれる。

【0129】

更なる実施形態には、本明細書に記載の方法の１つを実行するためのコンピュータプログラムがインストールされた、コンピュータが含まれる。

【0130】

いくつかの実施形態では、プログラマブルロジックデバイス（例えば、フィールドプログラマブルゲートアレイ）を使用して、本明細書に記載された方法の機能の、一部又はすべてを実行することができる。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載された方法の１つを実行するために、マイクロプロセッサと協働することができる。概して、本方法は、任意のハードウェア装置によって実行されることが好ましい。

【0131】

上述した実施形態は、本発明の原理の例示にすぎない。本明細書に記載の構成及び詳細の、修正及び変形は、当業者には明らかであると理解されよう。したがって、本発明は、本明細書の実施形態の記述及び説明として提示された、特定の詳細によってではなく、以下の特許請求の範囲によってのみ限定されることが意図される。

【0132】

文献：
[1] ISO/IEC JTC1/SC29/WG6 (MPEG Audio):N0054 - MPEG-I Immersive Audio Encoder Input Format. 30 April 2021.

【図1】

【図2】

【図3】

【手続補正書】

【提出日】2024-07-08

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

仮想オーディオシーンをレンダリングするための装置（１００）であって、前記仮想オーディオシーンでは、１つ以上の音源から音が発せられており、
前記仮想オーディオシーンについてのオーディオ情報を含む、オーディオ情報を受信するように構成された入力インタフェース（１１０）と、
前記仮想オーディオシーンについての前記オーディオ情報に応じて、前記仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成するように構成されたレンダラ（１２０）を備え、
前記仮想オーディオシーンの現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができない場合、デフォルト音響環境に関する情報に応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、装置（１００）。

【請求項2】

前記仮想オーディオシーンの前記現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができる場合、前記仮想オーディオシーンの前記現在の音響環境に関する前記情報に応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、
請求項１に記載の装置（１００）。

【請求項3】

前記入力インタフェース（１１０）が、前記オーディオ情報を含むビットストリームを受信するように構成されており、
前記ビットストリームが、前記仮想オーディオシーンの前記現在の音響環境に関する情報を含む場合、前記仮想オーディオシーンの前記現在の音響環境を、前記レンダラ（１２０）で利用することができ、前記ビットストリームに含まれる、前記仮想オーディオシーンの前記現在の音響環境に関する前記情報に応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成され、
前記ビットストリームが、前記仮想オーディオシーンの前記現在の音響環境に関する前記情報を含まない場合、前記仮想オーディオシーンの前記現在の音響環境を、前記レンダラ（１２０）で利用することができず、前記デフォルト音響環境に関する前記情報に応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、
請求項２に記載の装置（１００）。

【請求項4】

前記ビットストリームが、前記デフォルト音響環境に関する情報を含む、
請求項３に記載の装置（１００）。

【請求項5】

前記装置（１００）が、所定の情報を格納したメモリを備え、前記所定の情報が、前記デフォルト音響環境を含む、
請求項３に記載の装置（１００）。

【請求項6】

前記デフォルト音響環境が、屋外音響環境を表すものである、請求項１に記載の装置（１００）。

【請求項7】

前記仮想オーディオシーンの複数の領域のうち、前記領域についての現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することのできる各領域について、前記聴取者が前記領域にいる場合、前記領域についての前記現在の音響環境に関する前記情報を使用して、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成され、
前記仮想オーディオシーンの前記複数の領域のうち、前記領域についての前記現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができない各領域について、前記聴取者が前記領域にいる場合、前記デフォルト音響環境に関する前記情報を、前記領域についての音響環境に関する情報として使用して、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、
請求項１に記載の装置（１００）。

【請求項8】

前記仮想オーディオシーンの前記複数の領域のうち、少なくとも１つの領域について、前記少なくとも１つの領域についての前記現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができ、かつ、前記聴取者が前記少なくとも１つの領域の１つにいる場合、前記領域についての前記現在の音響環境に関する前記情報を使用して、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成され、かつ、
前記仮想オーディオシーンの前記複数の領域のうち、少なくとも２つの領域について、前記少なくとも２つの領域についての前記現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができず、かつ、前記聴取者が前記少なくとも２つの領域の１つにいる場合、前記領域についての前記音響環境に関する前記情報として、前記デフォルト音響環境に関する前記情報を使用して、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、
請求項７に記載の装置（１００）。

【請求項9】

前記受信インタフェースが、前記現在の音響環境が有効である、前記仮想オーディオシーンの前記複数の領域の指示データを示し、かつ／又は、前記現在の音響環境が有効でない、前記仮想オーディオシーンの前記複数の領域の指示データを示す、指示データを受信するように構成され、
前記現在の音響環境が有効である、前記仮想オーディオシーンの前記複数の領域の各領域について、前記聴取者が前記領域にいる場合、前記領域の前記現在の音響環境に関する前記情報を使用して、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成され、かつ
前記現在の音響環境が有効でない、前記仮想オーディオシーンの前記複数の領域の各領域について、前記聴取者が前記領域にいる場合、前記デフォルト音響環境に関する前記情報を、前記領域についての前記音響環境に関する前記情報として使用して、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、
請求項７に記載の装置（１００）。

【請求項10】

前記デフォルト音響環境に関する前記情報が、前記デフォルト音響環境における残響の１つ以上の特性に関する情報で構成される、１つ以上の残響パラメータを含み、
前記仮想オーディオシーンの前記複数の領域のうち、ある領域についての前記現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができる場合、前記聴取者が前記領域にいるときには、前記領域についての前記現在の音響環境の、前記１つ以上の残響パラメータに応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成され、
前記領域の前記現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができない場合、前記聴取者が前記領域にいるときには、前記デフォルト音響環境に関する前記情報の、前記１つ以上の残響パラメータに応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、
請求項７に記載の装置（１００）。

【請求項11】

前記デフォルト音響環境に関する前記情報の、前記１つ以上の残響パラメータが、プリディレイ時間、残響時間、及び残響振幅のうち、１つ以上に関する情報を含む、
請求項１０に記載の装置（１００）。

【請求項12】

前記デフォルト音響環境に関する前記情報が、前記デフォルト音響環境における初期反射の、１つ以上の特性に関する情報で構成される、１つ以上の初期反射パラメータを含み、
前記仮想オーディオシーンの前記複数の領域の、ある領域についての前記現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができる場合、前記聴取者が前記領域にいるときには、前記領域についての、前記現在の音響環境の前記１つ以上の初期反射パラメータに応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成され、
前記領域についての、前記現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができない場合、前記聴取者が前記領域にいるときには、前記デフォルト音響環境に関する前記情報の、前記１つ以上の初期反射パラメータに応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、請求項７に記載の装置（１００）。

【請求項13】

前記デフォルト音響環境に関する前記情報が、前記デフォルト音響環境における背景音の、１つ以上の特性に関する情報で構成される、１つ以上の背景パラメータを含み、
前記仮想オーディオシーンの前記複数の領域のうち、ある領域についての前記現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができる場合、前記聴取者が前記領域にいるときには、前記領域についての前記現在の音響環境に関する前記情報の、前記１つ以上の背景パラメータに応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成され、
前記領域についての前記現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができない場合、前記聴取者が前記領域にいるときには、前記デフォルト音響環境に関する前記情報の、前記１つ以上の背景パラメータに応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、
請求項７に記載の装置（１００）。

【請求項14】

前記デフォルト音響環境に関する前記情報の、前記１つ以上の背景パラメータが、前記背景音の１つ以上のレンダリングパラメータを含み、前記レンダリングパラメータが、背景音波形、前記背景音波形の識別子、背景信号レベル、及び前記背景音波形に適用されるべき周波数応答を示すフィルタリング特性のうち、１つ以上に関する情報を含む、
請求項１３に記載の装置（１００）。

【請求項15】

前記デフォルト音響環境に関する前記情報が、前記レンダラ（１２０）によって、前記デフォルト音響環境が使用されるように誘導するための、１つ以上のデフォルト音響環境誘導パラメータを含み、
前記仮想オーディオシーンの前記複数の領域のうち、ある領域についての前記現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができる場合、前記聴取者が前記領域にいるときには、前記デフォルト音響環境誘導パラメータに応じて、前記領域についての前記現在の音響環境に関する前記情報を使用して、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成され、
前記領域の前記現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができない場合、前記聴取者が前記領域にいるときには、前記デフォルト音響環境誘導パラメータに応じて、前記デフォルト音響環境に関する前記情報を使用して、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、
請求項７に記載の装置（１００）。

【請求項16】

前記デフォルト音響環境が、前記デフォルト音響環境の前記パラメータ又は構成要素のうち、１つ以上、又はすべてをトリガするのに必要な、１つ以上のトリガ条件を含み、
前記仮想オーディオシーンの前記複数の領域のうち、ある領域についての前記現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができない場合、前記デフォルト音響環境に関する前記情報に応じて、前記１つ以上のトリガ条件のうち、少なくとも１つのトリガ条件を満たす、前記デフォルト音響環境の前記パラメータ又は構成要素をトリガすることによって、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、請求項７に記載の装置（１００）。

【請求項17】

前記デフォルト音響環境に関する前記情報が、ゲイン、距離重み付け、時間遅延、オクルージョン重み付け、速度重み付け、空間ソース飽和重み付けのうち、少なくとも１つを変更するための、１つ以上の変更パラメータを含み、かつ、
前記１つ以上の変更パラメータに応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、
請求項７に記載の装置（１００）。

【請求項18】

前記仮想オーディオシーンが、実際の音響環境下での、実際のオーディオシーンの録音によって決まる、
請求項７に記載の装置（１００）。

【請求項19】

前記領域についての現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができる、前記仮想オーディオシーンの前記複数の領域の各領域では、前記領域についての前記現在の音響環境が、前記仮想オーディオシーンの前記領域に対応する、前記実際のオーディオシーンの実際の領域の、前記実際の音響環境を表すものであり、
前記領域についての前記現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができない、前記仮想オーディオシーンの前記複数の領域の各領域では、前記デフォルト音響環境が、前記仮想オーディオシーンの前記領域に対応する、前記実際のオーディオシーンの前記実際の領域の、前記実際の音響環境を表すものではない、
請求項１８に記載の装置（１００）。

【請求項20】

前記仮想オーディオシーンが、仮想ビジュアルシーンと関連付けられており、前記仮想ビジュアルシーンが、前記仮想オーディオシーンの前記聴取者に対して、仮想ビジュアルルームを描写する、
請求項７に記載の装置（１００）。

【請求項21】

前記領域についての現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができる、前記仮想オーディオシーンの前記複数の領域の各領域では、前記領域についての前記現在の音響環境が、前記仮想オーディオシーンの前記領域に対応する、前記仮想ビジュアルルームの領域の仮想音響特性によって決まるものであり、
前記領域についての前記現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができない、前記仮想オーディオシーンの前記複数の領域の各領域では、前記デフォルト音響環境が、前記仮想オーディオシーンの前記領域に対応する、前記仮想ビジュアルルームの領域の仮想音響特性によって決まるものではない、
請求項２０に記載の装置（１００）。

【請求項22】

前記仮想オーディオシーンにおける前記聴取者の位置が、前記現実世界における、前記聴取者の物理的位置によって決まる、
請求項７に記載の装置（１００）。

【請求項23】

前記仮想オーディオシーンが、拡張現実アプリケーションの仮想ビジュアルプレゼンテーションに関連付けられており、前記拡張現実アプリケーションの前記仮想ビジュアルプレゼンテーションが、前記仮想オーディオシーンの前記聴取者が位置する、前記現実世界の物理環境の、実際の領域によって決まる、
請求項２２に記載の装置（１００）。

【請求項24】

現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができる、前記仮想オーディオシーンの前記複数の領域の各領域では、前記領域についての前記現在の音響環境が、前記仮想オーディオシーンの前記領域に対応する、前記現実世界の前記物理環境の領域の、実際の音響特性によって決まるものであり、
前記現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができない、前記仮想オーディオシーンの前記複数の領域の各領域では、前記デフォルト音響環境が、前記仮想オーディオシーンの前記領域に対応する、前記現実世界の前記物理環境の領域の、音響特性によって決まるものではない、
請求項２３に記載の装置（１００）。

【請求項25】

前記聴取者が位置する、前記現実世界の前記実際の領域が、前記現在の音響環境に関する情報を利用することのできる、前記仮想オーディオシーンの領域に対応する場合、前記領域についての前記現在の音響環境に応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成され、
前記聴取者が位置する、前記現実世界の前記実際の領域が、前記現在の音響環境に関する情報を利用することのできない、前記仮想オーディオシーンの領域に対応する場合、前記デフォルト音響環境に応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、
請求項２４に記載の装置（１００）。

【請求項26】

前記デフォルト音響環境が、２つ以上のデフォルト音響環境のうち、第１のデフォルト音響環境であり、
前記入力インタフェース（１１０）が、前記仮想オーディオシーンの前記複数の領域のうち、少なくとも１つの領域について、前記２つ以上のデフォルト音響環境のうちの１つを、前記少なくとも１つの領域についてのデフォルト音響環境として示す、指示を受信するように構成され、
前記少なくとも１つの領域について、前記少なくとも１つの領域についての、現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができない場合、前記聴取者が前記領域にいるときには、前記領域についての、前記デフォルト音響環境に関する情報を使用して、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、
請求項７に記載の装置（１００）。

【請求項27】

前記入力インタフェース（１１０）が、前記オーディオ情報を含むビットストリームを受信するように構成されており、
前記ビットストリームが、前記仮想オーディオシーンの前記現在の音響環境に関する情報を含む場合、前記仮想オーディオシーンの前記現在の音響環境を、前記レンダラ（１２０）で利用することができ、前記ビットストリームに含まれる、前記仮想オーディオシーンの前記現在の音響環境に関する前記情報に応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成され、
前記ビットストリームが、前記仮想オーディオシーンの前記現在の音響環境に関する前記情報を含まない場合、前記仮想オーディオシーンの前記現在の音響環境を、前記レンダラ（１２０）で利用することができず、前記デフォルト音響環境に関する前記情報に応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成され、
前記ビットストリームが、前記２つ以上のデフォルト音響環境に関する情報を含む、
請求項２６に記載の装置（１００）。

【請求項28】

前記装置（１００）が、所定の情報を格納したメモリを備え、
前記装置（１００）の前記メモリに格納された、前記所定の情報が、前記２つ以上のデフォルト音響環境に関する情報を含む、
請求項２６に記載の装置（１００）。

【請求項29】

前記受信インタフェースが、選択情報を受信するように構成されており、かつ、
前記レンダラ（１２０）が、前記選択情報に応じて、前記２つ以上のデフォルト音響環境の前記１つを選択するように構成され、かつ、前記聴取者が前記少なくとも１つの領域にいる場合、前記少なくとも１つの領域についての、前記デフォルト音響環境に関する前記情報を使用して、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように構成される、
請求項２６に記載の装置（１００）。

【請求項30】

前記２つ以上のデフォルト音響環境の前記１つを、前記少なくとも１つの領域についての前記デフォルト音響環境として示す前記表示が、前記少なくとも１つの領域のそれぞれについての識別子を含み、かつ／又は、前記２つ以上のデフォルト音響環境の前記１つについての識別子を含む、
請求項２６に記載の装置（１００）。

【請求項31】

前記仮想オーディオシーンについての前記オーディオ情報が、前記１つ以上の音源の各音源の、１つ以上のオーディオチャネル、及び、前記１つ以上の音源の各音源の位置を含み、
前記１つ以上の音源の各音源の、前記１つ以上のオーディオチャネルに応じて、前記１つ以上の音源の各音源の、前記位置に応じて、かつ、前記仮想オーディオシーン内の聴取者の位置に応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、
請求項１に記載の装置（１００）。

【請求項32】

前記音源の前記位置、及び前記聴取者の前記位置が、三次元で定義され、かつ／又は、
前記音源の前記位置、及び前記聴取者の前記位置が、二次元で定義される、
請求項３１に記載の装置（１００）。

【請求項33】

前記音源の前記位置が、三次元で定義され、
前記聴取者の位置が、三次元で定義され、前記聴取者の頭部の向きが、３つの回転角度を使用して定義されるように、前記聴取者の位置及び向きが、６自由度で定義され、
前記仮想オーディオシーンにおける、前記聴取者の前記頭部の前記向きに更に応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、
請求項３１に記載の装置（１００）。

【請求項34】

前記音響シーンジェネレータが、仮想現実アプリケーションの、前記仮想オーディオシーンを再生するように構成され、又は
前記音響シーンジェネレータが、拡張現実アプリケーションの、前記仮想オーディオシーンを再生するように構成される、
請求項１に記載の装置（１００）。

【請求項35】

前記１つ以上の音源のうち、少なくとも１つの音源の前記１つ以上のオーディオチャネルが、アンビソニックスドメインで表現され、
前記アンビソニックスドメインで表現されている、前記１つ以上の音源の、前記少なくとも１つの音源の、前記１つ以上のオーディオチャネルに応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、
請求項１に記載の装置（１００）。

【請求項36】

前記レンダラ（１２０）が、前記仮想オーディオシーンを再生するための、２つのオーディオ出力チャネルを生成するように構成された、バイノーラライザを備える、
請求項１に記載の装置（１００）。

【請求項37】

前記現在の音響環境の複数のパラメータのうち、すべてではないが１つ以上を、前記レンダラ（１２０）で利用することができる場合、前記ビットストリーム内の前記現在の音響環境に提供されていない、前記デフォルト音響環境に関する前記情報の複数のパラメータのパラメータに応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、
請求項１に記載の装置（１００）。

【請求項38】

前記仮想オーディオシーンの前記現在の音響環境に関する情報を、前記レンダラ（１２０）で利用することができる場合、音響特性をレンダリングするために前記レンダラ（１２０）のリソースを利用できるかどうかに応じて、前記仮想オーディオシーンの前記現在の音響環境に関する前記情報、又は、前記デフォルト音響環境に関する前記情報を使用して、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成される、
請求項１に記載の装置（１００）。

【請求項39】

仮想オーディオシーンに音を発する１つ以上の音源の、各音源の１つ以上のオーディオチャネルの符号化情報（２１０）と、
デフォルト音響環境に関する情報で構成される、複数のデータフィールド（２２０）を含む、
ビットストリーム（２００）。

【請求項40】

前記ビットストリーム（２００）内の、前記デフォルト音響環境に関する前記情報が、前記デフォルト音響環境における残響の、１つ以上の特性に関する情報で構成される、前記デフォルト音響環境の１つ以上の残響パラメータを含む、
請求項３９に記載のビットストリーム（２００）。

【請求項41】

前記デフォルト音響環境に関する前記情報の、前記１つ以上の残響パラメータが、プリディレイ時間、残響時間、及び残響振幅のうち、１つ以上に関する情報を含む、
請求項４０に記載のビットストリーム（２００）。

【請求項42】

前記ビットストリーム（２００）内の前記デフォルト音響環境に関する前記情報が、前記デフォルト音響環境における初期反射の、１つ以上の特性に関する情報で構成される、１つ以上の初期反射パラメータを含む、
請求項３９に記載のビットストリーム（２００）。

【請求項43】

前記ビットストリーム（２００）内の前記デフォルト音響環境に関する前記情報が、前記デフォルト音響環境における背景音の、１つ以上の特性に関する情報で構成される、１つ以上の背景パラメータを含む、
請求項３９に記載のビットストリーム（２００）。

【請求項44】

前記ビットストリーム（２００）内の前記デフォルト音響環境に関する前記情報の、前記１つ以上の背景パラメータが、前記背景音についての、１つ以上のレンダリングパラメータを含み、前記レンダリングパラメータが、背景音波形、前記背景音波形の識別子、背景信号レベル、及び前記背景音波形に適用されるべき周波数応答を示すフィルタリング特性のうち、１つ以上に関する情報を含む、
請求項４３に記載のビットストリーム（２００）。

【請求項45】

前記ビットストリーム（２００）が、前記レンダラ（１２０）によって、前記デフォルト音響環境が使用されるように誘導するための、１つ以上のデフォルト音響環境誘導パラメータを含む、
請求項３９に記載のビットストリーム（２００）。

【請求項46】

前記デフォルト音響環境が、前記デフォルト音響環境の前記パラメータ又は構成要素のうち、１つ以上、又はすべてをトリガするのに必要な、１つ以上のトリガ条件を含む、
請求項３９に記載のビットストリーム（２００）。

【請求項47】

前記ビットストリーム（２００）が、ゲイン、距離重み付け、時間遅延、オクルージョン重み付け、速度重み付け、空間ソース飽和重み付けのうち、少なくとも１つを変更するための、１つ以上の変更パラメータを含む、
請求項３９に記載のビットストリーム（２００）。

【請求項48】

前記デフォルト音響環境に関する前記情報が、２つ以上のデフォルト音響環境のうち第１のデフォルト音響環境に関する、第１の情報であり、
前記ビットストリーム（２００）が、前記２つ以上のデフォルト音響環境に関する情報を含む、
請求項３９に記載のビットストリーム（２００）。

【請求項49】

前記ビットストリーム（２００）が、前記２つ以上のデフォルト音響環境の１つを選択するための、選択情報を含む、
請求項４８に記載のビットストリーム（２００）。

【請求項50】

前記ビットストリーム（２００）が、複数の領域のうち、少なくとも１つの領域について、前記２つ以上のデフォルト音響環境の１つを、前記少なくとも１つの領域についてのデフォルト音響環境として指定する、
請求項４８に記載のビットストリーム（２００）。

【請求項51】

前記ビットストリーム（２００）が、前記少なくとも１つの領域についての前記デフォルト音響環境を指示するために、前記少なくとも１つの領域の、それぞれについての識別子を含み、かつ／又は、前記２つ以上のデフォルト音響環境のうちの前記１つについての識別子を含む、
請求項５０に記載のビットストリーム（２００）。

【請求項52】

前記ビットストリーム（２００）が、前記仮想オーディオシーンの、現在の音響環境に関する情報を更に含む、
請求項３９に記載のビットストリーム（２００）。

【請求項53】

前記ビットストリーム（２００）が、前記現在の音響環境が有効である複数の領域のうち、少なくとも１つを示す指示データ、及び／又は、前記現在の音響環境が有効でない前記複数の領域のうち、１つ以上を示す指示データを含む、
請求項５２に記載のビットストリーム（２００）。

【請求項54】

前記ビットストリーム（２００）が、前記仮想オーディオシーンの複数の領域のうち、少なくとも１つの領域についての、現在の音響環境に関する情報を更に含む、
請求項３９に記載のビットストリーム（２００）。

【請求項55】

前記ビットストリームが、前記デフォルト音響環境に関する情報を含み、
前記受信インタフェースによって受信される前記ビットストリームが、請求項３９に記載のビットストリーム（２００）であり、
前記ビットストリーム（２００）が、前記仮想オーディオシーンの前記現在の音響環境に関する情報を含まない場合、前記ビットストリーム（２００）に含まれる、前記デフォルト音響環境に関する前記情報に応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルを生成するように、前記レンダラ（１２０）が構成され、前記１つ以上のオーディオ出力チャネルを生成することが、
前記デフォルト音響環境における残響の、１つ以上の特性に関する情報、及び／又は、プリディレイ時間、残響時間、及び残響振幅のうち、１つ以上に関する情報を含む、前記デフォルト音響環境の１つ以上の残響パラメータと、
前記デフォルト音響環境における初期反射の、１つ以上の特性に関する情報を含む、１つ以上の初期反射パラメータと、
前記デフォルト音響環境における背景音の、１つ以上の特性、及び／又は、前記背景音の１つ以上のレンダリングパラメータの情報を含む、１つ以上の背景パラメータであって、前記レンダリングパラメータが、背景音波形、前記背景音波形の識別子、背景信号レベル、及び前記背景音波形に適用されるべき周波数応答を示すフィルタリング特性のうち、１つ以上に関する情報を含む、１つ以上の背景パラメータと、
前記レンダラ（１２０）によって、前記デフォルト音響環境が使用されるように誘導するための、１つ以上のデフォルト音響環境誘導パラメータと、
前記デフォルト音響環境の前記パラメータ又は構成要素の、１つ以上、又はすべてをトリガするのに必要な、１つ以上のトリガ条件との、１つ以上によって決まる、
請求項１に記載の装置（１００）。

【請求項56】

ビットストリームを生成するように構成されたエンコーダ（３００）であって、
前記エンコーダ（３００）が、前記ビットストリームに、仮想オーディオシーンに音を発する、１つ以上の音源の各音源の、１つ以上のオーディオチャネルの符号化情報を含めるべく、前記ビットストリームを生成するように構成され、かつ、
前記エンコーダ（３００）が、前記ビットストリームに、デフォルト音響環境に関する情報で構成される、複数のデータフィールドを含めるべく、前記ビットストリームを生成するように構成される、
エンコーダ（３００）。

【請求項57】

前記エンコーダ（３００）が、前記ビットストリームを、請求項３９に記載のビットストリーム（２００）にするべく、前記ビットストリームを生成するように構成される、
請求項５６に記載のエンコーダ（３００）。

【請求項58】

仮想オーディオシーンをレンダリングするための方法であって、前記仮想オーディオシーンでは、１つ以上の音源から音が発せられており、
前記仮想オーディオシーンについてのオーディオ情報を含む、オーディオ情報を受信することと、
前記仮想オーディオシーンの前記オーディオ情報に応じて、前記仮想オーディオシーンを再生するための、１つ以上のオーディオ出力チャネルを生成することを含み、
前記仮想オーディオシーンの現在の音響環境に関する情報を利用することができない場合、デフォルト音響環境に関する情報に応じて、前記仮想オーディオシーンを再生するための、前記１つ以上のオーディオ出力チャネルの生成を実行する、方法。

【請求項59】

ビットストリームを生成するための方法であって、
前記ビットストリームに、仮想オーディオシーンに音を発する、１つ以上の音源の各音源の、１つ以上のオーディオチャネルの符号化情報が含まれるように、前記ビットストリームの生成を実施し、
前記ビットストリームに、デフォルト音響環境に関する情報で構成される、複数のデータフィールドが含まれるように、前記ビットストリームの生成を実施する、方法。

【請求項60】

コンピュータ又はシグナルプロセッサ上で実行されたとき、請求項５８又は５９に記載の方法を実施するための、コンピュータプログラム。

【国際調査報告】