▶ テレフオンアクチーボラゲット エル エム エリクソン（パブル）の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-09-18
(54)【発明の名称】残響プロセッサのパラメータの導出
(51)【国際特許分類】
H04S 7/00 20060101AFI20240910BHJP
G10K 15/12 20060101ALI20240910BHJP
【ＦＩ】
H04S7/00 320
G10K15/12
H04S7/00 350
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024500402
(86)(22)【出願日】2022-08-30
(85)【翻訳文提出日】2024-03-01
(86)【国際出願番号】 EP2022074057
(87)【国際公開番号】W WO2023031182
(87)【国際公開日】2023-03-09
(31)【優先権主張番号】63/239,143
(32)【優先日】2021-08-31
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/273,510
(32)【優先日】2021-10-29
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】598036300
【氏名又は名称】テレフオンアクチーボラゲット エルエム エリクソン（パブル）
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】ド ブラウン， ワーナー
【テーマコード（参考）】
5D162
5D208
【Ｆターム（参考）】
5D162AA05
5D162CC08
5D162CC15
5D162CC18
5D162CC19
5D162CC36
5D208AA20
5D208AB01
5D208AC07
5D208AD05
(57)【要約】
方法（３００）は、オーディオレンダラ（１５１）によって実行される。方法は、エクステンデッドリアリティ・シーンのメタデータを取得する工程（ｓ３０２）を含む。方法はまた、第１残響パラメータを、前記メタデータから取得する、または、前記メタデータから導出する工程（ｓ３０４）を含み、前記第１残響パラメータは、残響時間パラメータまたは残響レベルパラメータである。方法はまた、前記第１残響パラメータを用いて第２残響パラメータを導出する工程（ｓ３０６）を含む。前記第１残響パラメータが前記残響時間パラメータである場合、前記第２残響パラメータは残響レベルパラメータであり、前記第１残響パラメータが前記残響レベルパラメータである場合、前記第２残響パラメータは残響時間パラメータである。
【選択図】 図３Ａ
【選択図】 図３Ａ
【特許請求の範囲】
【請求項1】
オーディオレンダラ（１５１）によって実行される方法（３００）であって、エクステンデッドリアリティ・シーンのメタデータを取得する工程（ｓ３０２）と、
第１残響パラメータを、前記メタデータから取得する、または、前記メタデータから導出する工程（ｓ３０４）と、ここで、前記第１残響パラメータは、残響時間パラメータまたは残響レベルパラメータであり、
前記第１残響パラメータを用いて第２残響パラメータを導出する工程（ｓ３０６）と、
を有し、
前記第１残響パラメータが前記残響時間パラメータである場合、前記第２残響パラメータは残響レベルパラメータであり、
前記第１残響パラメータが前記残響レベルパラメータである場合、前記第２残響パラメータは残響時間パラメータである、
ことを特徴とする方法。
【請求項2】
前記メタデータは、音響吸収量（Ａ）を示す音響吸収パラメータを含み、前記第１残響パラメータは、前記音響吸収パラメータを用いて導出される、
ことを特徴とする請求項１に記載の方法。
【請求項3】
前記第１残響パラメータは、残響音対直接音（ＲＤＲ）エネルギ比値であり、前記ＲＤＲエネルギ比値を導出することは、１６×（π／Ａ）を計算することを含む、
ことを特徴とする請求項２に記載の方法。
【請求項4】
前記第１残響パラメータは、前記残響時間パラメータ（ＲＴ）（例えば、ＲＴ６０値）であり、前記第２残響パラメータを導出することは、Ｘを数とすると、Ｘ×ＲＴまたはＲＴ／Ｘを計算することを含む、
ことを特徴とする請求項１または２に記載の方法。
【請求項5】
前記第１残響パラメータは、前記残響時間パラメータ（ＲＴ）（例えば、ＲＴ６０値）であり、前記第１残響パラメータおよび前記第２残響パラメータは、容積を有する音響環境に関連付けられており、
前記第２残響パラメータを導出することは、
ｆ１を所定の係数、ｆ２を所定の値、Ｖを前記音響環境の前記容積を示す容積値とするとき、ｆ１ｘ（ＲＴ/Ｖ）または（ｆ１ｘ（ＲＴ/Ｖ）ｆ２）を計算することを含む、
ことを特徴とする請求項１、２、４のいずれか１項に記載の方法。
【請求項6】
前記第１残響パラメータは、前記残響レベルパラメータ（ＲＬ）であり、前記第２残響パラメータを導出することは、Ｘを数とすると、Ｘ×ＲＬまたはＲＬ／Ｘを計算することを含む、
ことを特徴とする請求項１から３のいずれか１項に記載の方法。
【請求項7】
前記第１残響パラメータは、前記残響レベルパラメータ（ＲＬ）であり、前記第１残響パラメータおよび前記第２残響パラメータは、容積を有する音響環境に関連付けられており、
前記第２残響パラメータを導出することは、
ｆ１を所定の係数、Ｖを前記音響環境の前記容積を示す容積値、ｆ２を所定の値とするとき、ＶｘＲＬ／ｆ１または（Ｖｘ（ＲＬ／ｆ１）１／ｆ２）を計算することを含む、
ことを特徴とする請求項１、２、６のいずれか１項に記載の方法。
【請求項8】
前記第１残響パラメータおよび前記第２残響パラメータは、容積を有する音響環境に関連付けられており、前記第１残響パラメータは前記残響時間パラメータ（ＲＴ）であり、
前記第２残響パラメータを導出することは、
Ｖを前記音響環境の前記容積、ｔ１を時間値とするとき、
【数22】
ことを特徴とする請求項１または２に記載の方法。
【請求項9】
前記第２残響パラメータは前記残響レベルパラメータであり、前記第２残響パラメータは、前記第１残響パラメータと所定の時間値ｔ１とを用いて導出される、
ことを特徴とする請求項１、２、４、５のいずれか１項に記載の方法。
【請求項10】
Ｃを前記第１残響パラメータと時間値ｔ１とに依存する補正係数、ｃを所定の値とするとき、ｆ１はＣ×ｃに等しい、
ことを特徴とする請求項５に記載の方法。
【請求項11】
Ｃは、【数23】
【請求項12】
ｔ１は、前記音響環境の少なくとも１つの寸法に基づいて導出される、ことを特徴とする請求項８から１１のいずれか１項に記載の方法。
【請求項13】
ｔ１は、前記音響環境の寸法に関連する音響飛行時間に比例する、ことを特徴とする請求項８から１１のいずれか１項に記載の方法。
【請求項14】
Ｌを前記音響環境の最長寸法のサイズ、ｓを音速とするとき、ｔ１＝４ｘＬ／ｓである、ことを特徴とする請求項１３に記載の方法。
【請求項15】
ｔ１は、前記音響環境に関連するプリディレイタイムを示す、ことを特徴とする請求項８から１１のいずれか１項に記載の方法。
【請求項16】
ｔ１は、前記音響環境に関連するルームインパルス応答の一部を示す時間値である、ことを特徴とする請求項８から１１のいずれか１項に記載の方法。
【請求項17】
前記残響レベルパラメータは、残響音と音源の総放射エネルギとのエネルギ比で表される、ことを特徴とする請求項１から１６のいずれか１項に記載の方法。
【請求項18】
前記第１残響パラメータと前記第２残響パラメータとを用いて残響信号を生成する工程と、前記残響信号を用いて出力オーディオ信号を生成する工程と、
を更に有することを特徴とする請求項１から１７のいずれか１項に記載の方法。
【請求項19】
オーディオレンダラ（１５１）によって実行される方法（３５０）であって、エクステンデッドリアリティ・シーンのメタデータから、少なくとも第１残響パラメータと第２残響パラメータとを含む残響パラメータのセットを取得する工程（ｓ３５２）と、
前記第１残響パラメータが前記第２残響パラメータと一致するかを判定する工程（ｓ３５４）と、
を有し、前記判定する工程は、
前記第２残響パラメータを用いて第１の値を計算する工程（ｓ３５６）と、
前記第１の値と前記第１残響パラメータとの差をしきい値と比較する工程（ｓ３５８）と、
を含む、ことを特徴とする方法。
【請求項20】
前記差が前記しきい値を超えると判定された結果、前記第１残響パラメータの代わりに前記第１の値を用いて残響信号を生成する工程を更に有することを特徴とする請求項１９に記載の方法。
【請求項21】
前記第１残響パラメータは残響レベルパラメータであり、前記第２残響パラメータは残響時間パラメータまたは吸収パラメータ（Ａ）のいずれかである、または、前記第１残響パラメータは残響時間パラメータであり、前記第２残響パラメータは前記残響レベルパラメータまたは前記吸収パラメータ（Ａ）のいずれかである、または、
前記第１残響パラメータは前記吸収パラメータであり、前記第２残響パラメータは前記残響レベルパラメータまたは前記残響時間パラメータのいずれかである、
ことを特徴とする請求項１９または２０に記載の方法。
【請求項22】
前記残響パラメータのセットは、第３残響パラメータを更に含み、前記方法は、前記第１残響パラメータが前記第２残響パラメータと一致しないと判定された結果、前記第１残響パラメータが前記第３残響パラメータと一致するかを判定する工程を更に有し、前記第１残響パラメータが前記第３残響パラメータと一致するかを判定する工程は、
前記第３残響パラメータを用いて第２の値を計算する工程と、
前記第２の値と前記第１残響パラメータとの差を前記しきい値と比較する工程と、
を含む、ことを特徴とする請求項１９に記載の方法。
【請求項23】
前記第１残響パラメータが前記第２残響パラメータまたは前記第３残響パラメータのいずれかと一致しないと判定された結果、前記第１残響パラメータの代わりに前記第１の値または前記第２の値のいずれかを用いて残響信号を生成する工程を更に有することを特徴とする請求項２２記載の方法。
【請求項24】
オーディオレンダラの処理回路によって実行されると前記オーディオレンダラに請求項１から２３のいずれか１項に記載の方法を実行させる命令を含む、ことを特徴とするコンピュータプログラム。
【請求項25】
請求項２４に記載のコンピュータプログラムを含むキャリアであって、前記キャリアは、電気信号、光信号、無線信号、コンピュータ読み取り可能な記憶媒体のうちの１つである、ことを特徴とするキャリア。
【請求項26】
オーディオレンダリング装置（４００）であって、前記オーディオレンダリング装置は、エクステンデッドリアリティ・シーンのメタデータを取得する工程（ｓ３０２）と、
第１残響パラメータを、前記メタデータから取得する、または、前記メタデータから導出する工程（ｓ３０４）と、ここで、前記第１残響パラメータは、残響時間パラメータまたは残響レベルパラメータであり、
前記第１残響パラメータを用いて第２残響パラメータを導出する工程（ｓ３０６）と、
を含む処理を実行するように構成され、
前記第１残響パラメータが前記残響時間パラメータである場合、前記第２残響パラメータは残響レベルパラメータであり、
前記第１残響パラメータが前記残響レベルパラメータである場合、前記第２残響パラメータは残響時間パラメータである、
ことを特徴とするオーディオレンダリング装置。
【請求項27】
請求項２から１８のいずれか１項に記載の方法を実行するように更に構成されている、ことを特徴とする請求項２６に記載のオーディオレンダリング装置。
【請求項28】
オーディオレンダリング装置（４００）であって、前記オーディオレンダリング装置は、エクステンデッドリアリティ・シーンのメタデータから、少なくとも第１残響パラメータと第２残響パラメータとを含む残響パラメータのセットを取得する工程（ｓ３５２）と、
前記第１残響パラメータが前記第２残響パラメータと一致するかを判定する工程（ｓ３５４）と、
を含む処理を実行するように構成され、前記判定する工程は、
前記第２残響パラメータを用いて第１の値を計算する工程（ｓ３５６）と、
前記第１の値と前記第１残響パラメータとの差をしきい値と比較する工程（ｓ３５８）と、
を含む、ことを特徴とするオーディオレンダリング装置。
【請求項29】
請求項２０から２３のいずれか１項に記載の方法を実行するように更に構成されている、ことを特徴とする請求項２６に記載のオーディオレンダリング装置。
【請求項30】
前記オーディオレンダリング装置は、メモリと、前記メモリに結合された処理回路とを備える、ことを特徴とする請求項２６から２９のいずれか１項に記載のオーディオレンダリング装置。
【発明の詳細な説明】
【技術分野】
【0001】
残響プロセッサのパラメータを導出することに関する実施形態が開示される。
【背景技術】
【0002】
エクステンデッドリアリティ（ＸＲ）（例えば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）など）システムは一般に、ＸＲシステムのユーザにオーディオをレンダリングするためのオーディオレンダラを含む。オーディオレンダラは、通常、ＸＲシステムのユーザにレンダリングされる後期残響及び／又は拡散残響を生成して、レンダリングされているＸＲシーンにあるという聴覚的感覚を提供する残響プロセッサを含む。生成された残響は、ＸＲシーンに対応する音響環境（例えば、教会、リビング、ジム、屋外環境など）にいるという聴覚感覚をユーザに提供すべきである。
【0003】
残響は、室内の最も重要な音響特性の１つである。室内で生成された音は、エネルギを徐々に失いながら、床、壁、天井、窓、テーブルなどの反射面から繰り返し跳ね返る。これらの反射が互いに混合すると、「残響」として知られる現象が生じる。したがって、残響は、音の多くの反射の集まりである。
【0004】
音響環境における残響の最も基本的な特徴のうちの２つは、１）残響時間、および、２）残響レベル、すなわち、残響が（例えば、空間内の音源の出力または直接音レベルに対して）どれだけ強いかまたは大きいか、である。これらの両方は、音響環境の特性のみであり、すなわち、それらは、個々の音源に依存しない。
【0005】
残響時間は、音源の音が停止した後に、囲まれた空間内で反射音が「フェードアウト」するのに必要な時間の尺度である。室内が音響にどのように反応するかを定義することは重要である。残響時間は、空間内の音響吸収の量に依存し、カーテン、パッド入り椅子、さらには人間などの多くの吸収性表面を有する空間内ではより低く、主に硬質な反射性表面を含む空間内ではより高い。
【0006】
従来、残響時間は、音源が突然オフにされた後に音圧レベルが６０ｄＢ減少するのに要する時間として定義されている。この時間の短縮形は「ＲＴ６０」（または、時にはＴ６０）である。
【0007】
典型的には、オーディオレンダラで使用される残響プロセッサの場合、生成される残響のこれら２つの（および他の）特性は個別にかつ独立して制御されうる。例えば、特定の所望の残響時間及び特定の所望の残響レベルで残響を生成するように残響プロセッサを構成することが典型的に可能である。
【0008】
ＸＲシステムでは、生成された残響の特性が典型的には制御情報、例えば、ＸＲシーンの音響特性を含むＸＲシーンの多くの態様を記述する、例えば、シーンクリエータによって指定されるような、ＸＲシーン記述に含まれる専用のメタデータによって制御される。オーディオレンダラは例えば、ビットストリームまたはファイルからこの制御情報を受信し、この制御情報を用いて、所望の特性を有する残響を生成するように残響プロセッサを構成する。生成された残響における所望の残響時間および残響レベルを残響プロセッサが取得する正確な方法は、残響プロセッサが残響を生成するために使用する残響アルゴリズムのタイプに応じて異なりうる。
【発明の概要】
【発明が解決しようとする課題】
【0009】
現在、いくつかの課題が存在する。例えば、上述のように、生成された残響の様々な特性（例えば、残響時間および残響レベル）を互いに個別かつ独立に制御することが典型的には可能であり、残響を生成する際に大きな柔軟性を提供する一方、潜在的な問題ももたらす。実際には、オーディオレンダラによって受信されるＸＲ制御情報が制御されうる生成された残響のすべての特性のための制御データを含まないことがある。これには多くの理由がありうる。例えば、ＸＲシーンを作成するために使用されるオーサリングソフトウェアが生成できるのは、音響環境のための限定された音響特性のセットのみである。あるいは、シーンが、限られた音響データのセットのみが利用可能な現実の位置（例えば、特定の有名な教会）にしか対応していない。ＸＲシーンがユーザのリアル物理空間に対応する場合、その空間の音響特性は、通常、ユーザのＸＲ装置において利用可能な限られた技術的手段を用いて、その場で決定される必要がある。
【0010】
上記で説明したように、生成される残響の２つの最も重要な特性は、一般にＲＴ６０に関して表される残響時間と、一般に残響音対直接音（ＲＤＲ）エネルギ比として表される残響レベルである。オーディオレンダラが提供される制御情報において残響時間または残響レベルのいずれかが指定されない場合、残響プロセッサがどのように構成されるべきかは不明である。
【0011】
ＸＲオーディオ標準規格の観点において、標準規格が原則として音響環境のための多くの残響パラメータの仕様をサポートする場合であっても、それらのうちのいくつかのみがＸＲシーンを提供することが必須でありうるが、他は任意選択である。例えば、現在開発されているISO／IEC MPEG-I Immersive Audio標準規格では、ＲＴ６０値が音響環境のための唯一の必須残響関連パラメータであり、残響レベルパラメータ（例えば、ＲＤＲエネルギ比として表される）は任意選択である。
【0012】
したがって、必要とされるものは、残響時間および／または残響レベルのいずれかが、レンダリングされる音響環境に対して指定されない場合に、音響的に妥当な特性を有する残響信号がＸＲシーンに対して生成されるように、ＸＲオーディオレンダラの残響プロセッサを構成するためのソリューションである。
【課題を解決するための手段】
【0013】
したがって、一側面において、オーディオレンダラによって実行される方法が提供される。一実施形態において、オーディオレンダラによって実行される方法は、ＸＲシーンのメタデータを取得する（例えば、受信または検索する）工程を含む。方法はまた、第１残響パラメータを、メタデータから取得する、または、メタデータから導出する工程を含み、ここで、第１残響パラメータは、残響時間パラメータまたは残響レベルパラメータである。また、この方法は、第１残響パラメータを用いて第２残響パラメータを導出する工程も含む。第１残響パラメータが残響時間パラメータである場合、第２残響パラメータは残響レベルパラメータであり、第１残響パラメータが残響レベルパラメータである場合、第２残響パラメータは残響時間パラメータである。
【0014】
一実施形態において、オーディオレンダラによって実行される方法は、エクステンデッドリアリティ・シーンのメタデータから、少なくとも第１残響パラメータと第２残響パラメータとを含む残響パラメータのセットを取得する工程を含む。方法はまた、第１残響パラメータが第２残響パラメータと一致するかを判定する工程を含む。判定する工程は、第２残響パラメータを用いて第１の値を計算する工程と、第１の値と第１残響パラメータとの差をしきい値と比較する工程とを含む。
【0015】
別の側面において、オーディオレンダラの処理回路によって実行されるとオーディオレンダラに上述の方法のいずれかを実行させる命令を含むコンピュータプログラムが提供される。一実施形態において、コンピュータプログラムを含むキャリアが提供され、キャリアは、電気信号、光信号、無線信号、コンピュータ読み取り可能な記憶媒体のうちの１つである。別の側面において、上述の方法のいずれかを実行するように構成されたレンダリング装置が提供される。レンダリング装置は、メモリと、メモリに結合された処理回路とを含みうる。
【0016】
本明細書に開示される実施形態の利点は、オーディオレンダラが残響時間値と残響レベル値との両方を残響プロセッサ（オーディオレンダラ自体の一部であってもよく、またはその外部であってもよい）に提供することを可能にし、それによって、残響プロセッサがＸＲシーンのための適切な残響信号を生成することを可能にすることである。
【図面の簡単な説明】
【0017】
本明細書に組み込まれ、本明細書の一部を形成する添付の図面は、様々な実施形態を示す。
【0018】
【図1A】いくつかの実施形態によるシステムを示す図。
【0019】
【図1B】いくつかの実施形態によるシステムを示す図。
【0020】
【図2】いくつかの実施形態によるシステムを示す図。
【0021】
【図3A】実施形態に係る処理を示すフローチャート。
【0022】
【図3B】実施形態に係る処理を示すフローチャート。
【0023】
【図4】いくつかの実施形態による装置のブロック図。
【0024】
【図5】エネルギ減衰曲線を示す図。
【0025】
【図6】エネルギ減衰曲線を示す図。
【発明を実施するための形態】
【0026】
図１Ａは、本明細書に開示される実施形態が適用されうるＸＲシステム１００を示す。ＸＲシステム１００は、スピーカ１０４および１０５（ユーザによって装着されるヘッドホンのスピーカであってもよい）と、ＸＲデバイス１１０とを含み、ＸＲデバイス１１０は、画像をユーザに表示するためのディスプレイを含み、いくつかの実施形態では、リスナーによって装着されるように構成されうる。図示のＸＲシステム１００では、ＸＲデバイス１１０はディスプレイを有し、ユーザの頭部に装着されるように設計され、一般にはこれはヘッドマウントディスプレイ（ＨＭＤ）と呼ばれる。
【0027】
図１Ｂに示されるように、ＸＲデバイス１１０は、方位検知部１０１と、位置検知部１０２と、処理部１０３とを含み、出力オーディオ信号（例えば、図示されるように、左スピーカのための左オーディオ信号１８１と右スピーカのための右オーディオ信号１８２）を生成するためのオーディオレンダラ１５１に（直接的または間接的に）結合されうる。
【0028】
方位検知部１０１は、リスナーの方位の変化を検出し、検出された変化に関する情報を処理部１０３に提供するように構成される。いくつかの実施形態では、処理部１０３は、方位検知部１０１によって検出された方位の検出された変化を考慮して、（いくつかの座標系に関して）絶対方位を判定する。また、例えば、ライトハウス（lighthouse）トラッカー（ライダー）を使用するシステムなど、方位および位置を判定するための異なるシステムも存在しうる。一実施形態では、方位検知部１０１は、検出された方位の変化が与えられた場合、（ある座標系に関連して）絶対方位を判定することができる。この場合、処理部１０３は、方位検知部１０１からの絶対方位データと位置検知部１０２からの位置データとを単に多重化することができる。いくつかの実施形態では、方位検知部１０１は、１つ以上の加速度計および／または１つ以上のジャイロスコープを備えうる。
【0029】
オーディオレンダラ１５１は、入力オーディオ信号１６１と、リスナーが経験しているＸＲシーンに関するメタデータ１６２と、リスナーの位置および方位に関する情報１６３とに基づいて、オーディオ出力信号を生成する。ＸＲシーンのためのメタデータ１６２は、ＸＲシーンに含まれる各オブジェクトおよびオーディオ要素のためのメタデータを含み、オブジェクトのためのメタデータは、オブジェクトの寸法およびオブジェクトのためのオクルージョンファクタについての情報を含みうる（例えば、メタデータは、各オクルージョンファクタが異なる周波数または周波数範囲に適用可能であるオクルージョンファクタのセットを指定しうる）。メタデータ１６２はまた、残響時間値、残響レベル値、吸収パラメータなどのうちの少なくともいずれか制御情報を含みうる。
【0030】
オーディオレンダラ１５１は、ＸＲデバイス１１０の構成要素であってもよいし、ＸＲデバイス１１０に対してリモートであってもよい（例えば、オーディオレンダラ１５１またはその構成要素がクラウドに実装されうる）。
【0031】
図２は、ＸＲシーンのためのサウンドを生成するためのオーディオレンダラ１５１の例示的な実装形態を示す。オーディオレンダラ１５１は、コントローラ２０１と、コントローラ２０１からの制御情報２１０及び入力オーディオ１６１に基づいて出力オーディオ信号（例えば、マルチチャネルオーディオ要素のオーディオ信号）を生成するためのオーディオ信号発生器２０２とを含む。この実施形態では、オーディオ信号発生器２０２は、残響信号を生成するための残響プロセッサ２０４を備える。
【0032】
いくつかの実施形態では、コントローラ２０１は、１つ以上のパラメータを受信し、受信されたパラメータに基づいてオーディオ信号１６１に修正を実行するようにオーディオ信号発生器２０２をトリガする（例えば、音量レベルを増加または減少させる）ように構成されうる。受信されたパラメータはリスナーの位置および／または方位（例えば、向きおよびオーディオ要素までの距離）に関する情報１６３と、ＸＲシーンに関するメタデータ１６２とを含む。例えば、メタデータ１６２は、ユーザが仮想的に位置するＸＲ空間に関するメタデータ（例えば、空間の寸法、空間内のオブジェクトに関する情報、および空間の音響特性に関する情報）、ならびにオーディオ要素に関するメタデータ、およびオーディオ要素を遮蔽するオブジェクトに関するメタデータを含みうる。いくつかの実施形態では、コントローラ２０１自体がメタデータ１６２の少なくとも一部を生成する。例えば、コントローラ２０１は、ＸＲシーンについてのメタデータを受信し、受信されたメタデータに基づいて追加のメタデータ（例えば、制御パラメータ）を導出しうる。例えば、コントローラ２０１は、メタデータ１６２および位置／方位情報１６３を用いて、ＸＲシーン内のオーディオ要素のための１つ以上のゲインファクタ（ｇ）を計算することができる。
【0033】
最終的な出力信号を生成するために信号発生器２０２によって使用される残響信号の生成に関して、コントローラ２０１は、残響プロセッサ２０４が残響信号を生成するように動作可能であるように、残響時間および残響レベルなどの残響パラメータを残響プロセッサ２０４に提供する。生成された残響の残響時間は、最も一般的にはＲＴ６０値として残響プロセッサ２０４に提供されるが、他の残響時間尺度も存在し、同様に使用することができる。いくつかの実施形態では、メタデータ１６２は、必要な残響パラメータ（例えば、ＲＴ６０値及び残響レベル値）の一部又は全てを含む。しかし、メタデータは、残響時間パラメータ（すなわち、ＲＴ６０値などのＲＴ値）または残響レベルパラメータ（すなわち、ＲＤＲエネルギ比などのＲＬ値）を含まない実施形態では、コントローラ２０１がこれらのパラメータを生成するように構成される。例えば、本明細書で説明するように、コントローラ２０１は、残響レベルパラメータに基づいて残響時間パラメータを生成することができ、逆もまた同様である。
【0034】
残響レベルは、様々なフォーマットで表現され、残響プロセッサ２０４に提供されうる。例えば、それは、ＸＲ環境においてレンダリングされる音源からのある距離における、直接音成分と残響音成分（ＤＲＲ）とのエネルギ比、またはその逆（すなわち、ＲＤＲエネルギ比）として表現されうる。あるいは、残響レベルは、音源の残響音と総放出エネルギとのエネルギ比で表されてもよい。さらに他の場合には、残響レベルは、残響プロセッサのレベル／ゲインとして直接表現されてもよい。
【0035】
この文脈では、「残響」という用語は、典型的には音響環境の音響ルームインパルス応答の拡散部分に対応する音場成分のみを指しうるが、いくつかの実施形態では、ルームインパルス応答の以前の部分に対応する、例えば、いくつかの後期非拡散反射、またはさらにはすべての反射音を含む音場成分も含みうる。
【0036】
メタデータ１６２に含まれうる音響環境の残響関連特性を記述する他のメタデータは、環境の表面の材料の音響特性を記述するパラメータ（例えば、材料の吸収、反射、透過、拡散特性のうちの少なくともいずれかを記述する）、または、音響環境に関連するルームインパルス応答の特定の時点、例えば、ルームインパルス応答が拡散する（時には「プリディレイ」と呼ばれる）音源放射後の時間を含む。
【0037】
上述の全ての残響に関連する特性は、典型的には周波数に依存し、したがって、それらの関連するメタデータパラメータも、典型的には、いくつかの周波数帯域に対して別々に提供され、処理される。
【0038】
バーチャルリアリティサウンドシーンをオーサリングする際、原理的には、バーチャル音響環境に対して、残響時間および残響レベルを個別にかつ独立して指定することが可能である。しかし、実際の音響環境では、残響時間と残響レベルが独立した特性ではない。２つの間には一対一の関係はないが、全ての場合において完全には正確ではないが、残響時間についての情報のみが利用可能である場合には、残響レベルについての妥当な推定値を導出することを少なくとも１つ可能にし、逆もまた同様でそれらの間の関係を導出することが可能である。
【0039】
そのような関係の１つの導出は、直接音場と残響音場の音圧レベルが等しい距離（メートル）である「臨界距離（ＣＤ）」の定義から始まる。残響音場が完全に拡散していると仮定すると、ＣＤは、次のように定量化することができる。
ただし、γは音源の指向性の度合い、Ａは等価吸音面積（ｍ2）（音響環境における吸音総量を定量化するもの）である。
【数1】
【0040】
ＲＴ６０のためのSabineの周知の統計的近似公式を使用する。
ただし、Ｖは音響環境の容積（ｍ3）であり、ＣＤはＲＴ６０として次式で表される。
【数2】
【数3】
【0041】
したがって、特定の音源指向性タイプ（例えば、γ＝１とする無指向性音源）について、臨界距離ＣＤは純粋に音響環境の特性である。
【0042】
音響環境の残響レベルは、無指向性点音源からの距離ｄにおける残響音と直接音とのエネルギの比（すなわち、ＲＤＲエネルギ比）で表すことができる。その場合、ＲＤＲエネルギ比（式中、ＲＤＲと表示される）と臨界距離（式中、ＣＤと表示される）との間には単純な関係がある。
【数4】
【0043】
無指向性点音源の直接音のエネルギが距離の二乗で変化し、ＲＤＲエネルギ比が臨界距離で１に等しくなるはずであるため、この関係が生じる。
【0044】
式（３）および（４）を組み合わせると、ＲＤＲエネルギ比とＲＴ６０との間の近似的な関係が得られる。
ここでは、無指向性音源に対してγ＝１であることを用いている。ＲＤＲが無指向性音源から１メートルの距離におけるエネルギ比であると定義される場合、式（５）は、さらに以下のように単純化される。
【数5】
【数6】
【0045】
式（６）は、ＲＤＲエネルギ比の推定値がＲＴ６０および音響環境の容積Ｖから得られること、およびＲＤＲエネルギ比とＲＴ６０との間の近似関係が非常に単純な線形であることを示している。
【0046】
同様に、式（６）はまた、ＲＤＲエネルギ比の既知の値からＲＴ６０を推定することを可能にする。
【0047】
式（１）と式（４）を組み合わせると、音響環境における音響吸収量に関するＲＤＲエネルギ比の近似式は、次式のように求められる。
【数7】
【0048】
音響環境の等価吸収面積Ａは、シーンメタデータに直接提供されてもよく、またはシーンメタデータ内に含まれる他のパラメータから、例えば、音響環境の個々の部分（例えば、個々の壁、床、天井など）について指定された材料または材料特性（例えば、吸収係数）の仕様から導出されうる。
【0049】
上記の導出された式は、音響的に妥当な特性を有する残響信号がシーンに対して生成されるように、残響時間または残響レベルのいずれかまたは両方がレンダリングされる音響環境に対して指定されない場合に、コントローラ２０１が残響プロセッサ２０４を構成することを可能にする。
【0050】
上述のように、残響プロセッサ２０４が生成された残響における所望の残響時間および残響レベルを取得する正確な方法は、残響プロセッサが残響を生成するために使用する残響アルゴリズムのタイプに応じて異なりうる。そのようなアルゴリズムの一般的な例は、フィードバック遅延ネットワーク（ＦＤＮ）（遅延線、フィルタ、およびフィードバック接続を用いて残響処理をシミュレートする）および畳み込みアルゴリズム（ドライ入力信号を測定、近似、またはシミュレートされたルームインパルス応答（ＲＩＲ）と畳み込む）を含む。
【0051】
一例として、ＦＤＮベースの残響プロセッサの場合、使用されるフィードバックの量を制御することによって所望の残響時間を得ることができる。畳み込みベースの残響プロセッサの場合、所望の残響時間はその残響時間を有する特定のＲＩＲをロードすることによって、または汎用ＲＩＲの有効長を適応させることによって（例えば、汎用ＲＩＲをフィルタリングし、時間窓処理することによって）のいずれかによって取得されうる。
【0052】
ＦＤＮベースおよび畳み込みベースの残響プロセッサの両方について、残響レベルは、残響プロセッサに入る入力信号、残響プロセッサの出力、または残響プロセッサの内部のいずれかに適切なゲインを適用する（例えば、それぞれＦＤＮ構造またはＲＩＲに全体的なゲインを適用する）ことによって制御されうる。
【0053】
無指向性点音源から１メートルでのＲＤＲエネルギ比として表される残響レベルの所望の残響レベル（例えば、所望のＲＤＲエネルギ比）を得るために、このゲインをどのように設定することができるかの例は、例えば、２０２１年６月３０日に出願された米国仮特許出願第６３／２１７，０７６号および２０２２年６月３０日に出願された国際特許出願ＰＣＴ／ＥＰ２０２２／０６８０１５に記載されている（この引用により、両者は本明細書に組み入れられる）。レンダラは、無指向性点音源のためのレンダリングされた直接音と残響成分が音源から１メートルの距離で所望のエネルギ比を有するように、残響プロセッサのゲインを調整する較正手順を実行する。
【0054】
次いで、レンダラは、生成された残響信号を、音源のための他の信号成分、例えば、直接音成分と初期反射成分（両方ともレンダラの他の部分で生成される）と合成する（例えば、足し合わせる）ことによって、ユーザに対する出力信号を生成する。
【0055】
上述のように、ＲＴ６０からＲＤＲエネルギ比を導出するために上記で使用されたＲＴ６０、ルームジオメトリ、およびＲＤＲエネルギ比またはその逆、の間の関係は、拡散残響音場を仮定する近似である。この仮定は、通常、実際の音響空間において完全には有効ではなく、実際の音場が完全に拡散した場から逸脱するほど、導出された関係はあまり正確ではなくなる。しかし、拡散場の仮定は通常完全には有効ではないが、所与の仮想音響空間についての残響を生成する際に導出された関係を使用すると、通常、その空間について知覚的に妥当な残響が得られる。
【0056】
典型的には、拡散場の仮定からの偏差がより小さい室内、および吸収量が高い室内ではより大きくなり、したがって、より小さいおよび高吸収性の室内では、上記で導出された関係が残響時間と残響レベルとの間の実際の関係をあまり正確に予測しない。仮想空間の音響をレンダリングするために、これは問題ではないかもしれない。なぜなら、上述したように、関係を使用することからの結果は典型的には依然として妥当であり、比較するための現実の参照はないからである。しかし、仮想音源がユーザと同じ物理的空間にあるように見えるようにレンダリングされる拡張現実（ＡＲ）のユースケースでは、現実の物理的空間の残響と生成された残響との間の知覚的一致を可能な限り近くにすることが望ましい。その場合（および実際の残響と生成された残響との間の最適な一致が望まれる他の場合）、室内の幾何学的形状（例えば、室内の容積、１つ以上の室内の寸法、最大寸法と最小寸法との間の比など）、ＲＴ６０、および／または音響環境の吸収特性（利用可能な場合）、および／または周波数に依存する補正係数を追加することによって、導出された関係の精度を高めることが可能である。例えば、式（６）は次式のように拡張できる。
ここで、Ｃは補正係数である。補正係数は、大容積で小吸収量の音響環境の場合には１に近く、小容積かつ／または大吸収量の室内の場合には１から外れることがある。典型的には、このような場合、それは１よりも小さい。
【数8】
【0057】
オプションで、式（６）は、ＲＤＲエネルギ比をＲＴ６０とＶとの比のべき乗として表現することによって拡張されてもよい。すなわち、次式で表される。
ここで、Ｃ2は完全に拡散した室内について１の値を有する第２の補正係数であり、補正係数Ｃについて上述した変数のいずれかに依存しうる。
【数9】
【0058】
さらなる例として、ＲＤＲエネルギ比は次式で表される。
ただし、ｆ１は第１補正パラメータ、ｆ２は第２補正パラメータである。例えば、ｆ１は、３．１ｘ１０2、または、（（３．１ｘ１０2）ｘｄ2）、または、（ｃｘ（３．１ｘ１０2））、または、（Ｃｘ（３．１ｘ１０2）ｘｄ2）に等しく、ｆ２は、Ｃ2に等しい。
【数10】
【0059】
さらなる実施形態では、式（６）は、ＲＤＲエネルギ比がＲＴ６０とＶとの比の関数であることを表現するように、次式のように一般化できる。
ここで、ｆ（）は関数を表す。
【数11】
【0060】
さらなる実施形態では、ＲＤＲエネルギ比がＲＴ６０およびＶの関数であること、すなわち、ｈ（）を関数とすると、ＲＤＲ＝ｈ（ＲＴ６０，Ｖ）（式１０ａ）、あるいは、ＲＴ６０の関数であること、すなわち、ｊ（）を関数とすると、ＲＤＲ＝ｊ（ＲＴ６０）（式１０ｂ）、であることを表すように、式（６）はさらに一般化されうる。
【0061】
残響音場が完全に拡散していない場合の様々な残響パラメータ間の関係を補正することに加えて、式８および式９における補正係数ＣおよびＣ2（ならびに式９ａにおける補正パラメータｆ１およびｆ２ならびに式（１０）、（１０ａ）および（１０ｂ）における関数関係）は、導出された関係を他の要因に対しても補正することができる。
【0062】
１つの例は、レンダラが、上記の式（１）～（７）の導出において仮定される定義とは（１つまたは複数の点で）異なるＲＤＲエネルギ比の定義（または測定のための慣例）を（暗黙的に）使用する場合である。
【0063】
具体的には、完全に拡散した残響場を仮定する、上記の式（１）～（７）の導出において、理論的な拡散場ではルームインパルス応答が開始（すなわち、直接音が音源によって放出された直後）から拡散しているため、ＲＤＲエネルギ比を計算するために使用される残響場のエネルギは、ルームインパルス応答の全長にわたって判定されると暗黙的に仮定される。
【0064】
一方、特定のレンダラは、代わりに、わずかに異なるＲＤＲエネルギ比の定義を（暗黙的に）使用し、ＲＤＲエネルギ比の残響エネルギ成分は、値ｔ１によって示される特定の瞬間から始まるルームインパルス応答の一部に含まれるエネルギのみを含む。
【0065】
この設計の選択の１つの理由は、リアルワールド空間では、音源による直接音の放出後、残響場は、ある時間量だけ実際に拡散し始めることである。この時間量は、室内の幾何学的形状、例えば、その容積、その寸法のうちの１つ以上のサイズ（例えば、最長）、またはその寸法の比、ならびに吸収量およびＲＴ６０などの音響パラメータなどの様々な要因に依存しうる。ｔ１によって識別される時間の後に残響エネルギのみを考慮するＲＤＲエネルギ比の定義が、その物理的現実を反映するために使用されうる。別の理由は、レンダラ自体の一部である（またはレンダラ自体によって使用される）残響プロセッサの出力応答が残響プロセッサに直接音信号を供給した後、しばらくして拡散し始めることである。したがって、これらの理由または他の理由のいずれかのために、レンダラは、ＲＤＲエネルギ比の残響エネルギ成分に、ある時間後のエネルギのみが含まれる、ＲＤＲエネルギ比の定義を使用することができる。
【0066】
この選択の結果として、ＲＤＲエネルギ比の結果として生じる値は、上記の式（１）～（７）から予測される値、ならびに完全なルーム応答の残響エネルギがＲＤＲエネルギ比の残響エネルギ成分に含まれる場合に得られる値（すなわち、ｔ１＝０）の両方よりも小さくなる。
【0067】
別の例は、例えば、リアルワールド空間では、上述のように、残響場が音源による放射の後、ある時間量の時間だけ拡散し始めるという事実のために、レンダラが、音源による直接音の放射の後、ある時間ｔ１だけ残響をレンダリングし始める場合である。これは、上記の例で説明したＲＤＲエネルギ比の値に同じ効果を有する。
【0068】
ＲＤＲエネルギ比の残響エネルギ成分に、値ｔ１以降で特定されるある時間からの残響エネルギのみを含める効果を含めるように式（６）を変更することができる。この一例として、完全拡散場のエネルギ減衰曲線を見て、ｔ１によって識別される時間の後に残響エネルギのみを含めることによって、「見逃される」エネルギの量を決定することができる。対数（ｄＢ）スケールでは、完全拡散場のエネルギ減衰曲線が－６０／ＲＴ６０（ｄＢ／ｓ）の傾きを有する直線（図５参照）である。これは、時間ｔ１以前の拡散応答の部分が除外される場合、これは、以下の拡散応答の全長を使用することと比較して、計算される残響エネルギの低減につながる。
ただし、式（６）に従って予測される「完全拡散」ＲＤＲエネルギ比に式（１１）の補正を適用することによって、残響エネルギの異なる開始時間を補償することができる。具体的には、式（６）に式（１１）の線形スケール版を乗じる。
式（１２）を式（８）と比較すると、この補正が補正係数Ｃ（すなわち、Ｃ＝１０-（6t1／RT60））に組み込まれうることが分かる。
【数12】
【数13】
【0069】
レンダラそれ自体が（暗黙的に）使用する開始時間ｔ１とは異なる残響エネルギ成分の特定の開始時間ｔ２を用いて（または暗黙的に仮定して）受信ＲＤＲ値が決定されるユースケースにおいて、レンダラによって受信されるＲＤＲエネルギ比値（または略して「ＲＤＲ値」）を修正するために、本質的に上記と同じ補正方法を使用することもできる。この場合、レンダラの定義によるＲＤＲ値は、受信されたＲＤＲ値を式（１１）の補正係数によって修正することによって導出される。ただし、ｔ１は、次式のように（ｔ１－ｔ２）によって置き換えられる（図６参照）。
したがって、変更されたＲＤＲ値（すなわち、レンダラ自身の定義によるＲＤＲ値）は、次のように計算されうる。
【数14】
【数15】
【0070】
受信されたＲＤＲ値の時間パラメータｔ２がレンダラ自身の時間パラメータｔ１より大きい場合、修正の結果は、受信されるＲＤＲ値が増加されることであり、ｔ２がｔ１より小さい場合には減少される。
【0071】
受信されるＲＤＲ値に対応する開始時間ｔ２は、ＸＲシーンのための追加のメタデータとしてレンダラによって受信されうるか、または、それは任意の他の方法で、例えば、受信されるＲＤＲ値がある定義に従って決定されたことが知られているという事実から暗黙的に（例えば、ＸＲシーンが特定の知られている、例えば、標準化されたフォーマットであるため）取得されうる。その一例として、MPEG-I Immersive Audio Encoder Input Format（ISO／IEC JTC１／SC29／WG6、文書番号N0083、「MPEG-I Immersive Audio CfP Supplemental Information、Recommendations and Clarifications、Version 1」、２０２１年７月）には、ｔ２が音響環境の最長寸法に関連する音響飛行時間の４倍に等しいことが規定されている。
【0072】
残響時間（例えば、ＲＴ６０）及び残響レベル（例えば、ＲＤＲ値）は、典型的には周波数に依存し、したがって、様々な周波数帯域について指定される。これは、上述の全ての式及び処理工程が異なる周波数帯域についてもそれぞれ評価及び実行される可能性があると理解されるべきであることを意味する。
【0073】
上記の式は、線形エネルギスケールで表されるＲＤＲエネルギ比について導出されたが、ＲＤＲエネルギ比は、対数（ｄＢ）スケールで等しく良好に表され、式の均等物対数バージョンが容易に導出される。
【0074】
具体的には、式（６）の対数バージョンは次式で表される
式（９）の対数バージョンは次式で表される。
最後の例として、時間ｔ１における残響エネルギの計算を開始するための補正を伴う式（１２）の対数バージョンは、次式で表される。
【数16】
【数17】
【数18】
【0075】
ＸＲシーンの音響環境について残響時間または残響レベルのいずれかまたは両方が指定されない場合に残響プロセッサを構成するための解決策を提供することに加えて、導出された式はまた、残響時間、残響レベル、および吸収情報のうちの少なくとも２つが提供される場合に、提供された値が相互に一貫しているかどうかをチェックすることを可能にする。もちろん、上述したように、導出された関係は近似的なものに過ぎず、そのため、それらを使用することから厳密な一貫性を期待することはできないが、少なくとも、提供されたデータに対して「健全性検査」を行う、すなわち、それらの値の組合せが妥当であるかどうかを検査する手段を提供する。（ここでの「妥当性」とは、リアルワールドの音響環境で発生することであるが、もちろん、仮想環境がリアルワールドに存在しない音響特性を有することができない理由はないことに留意されたい）。
【0076】
オーディオレンダラは、多くの方法でそのようなチェックを使用することができる。一実施形態において、レンダラは、導出された式を用いて、提供されたパラメータを相互の一貫性についてチェックし、一貫性がしきい値よりも悪い場合、パラメータのうちの少なくとも１つの値を拒否し、それを上で提供された式から導出された値と置き換えることができる。３つのパラメータ（残響時間、残響レベル、および吸収情報）のうちの２つが一貫しており、１つが一貫していない場合、一貫していない式から、１つが一貫していない式であり、その値を置き換えることができる式を導出することができる。２つのパラメータのみが提供される場合、または３つすべてが提供され、それらがすべて相互に矛盾する場合、階層ルールを用いて、どのパラメータを置き換えるべきかを決定することができる。例えば、残響時間が最も高い階層、２番目に残響レベル、３番目に吸収情報があり、その結果、例えば、残響時間と残響レベルが提供され、一貫性がないことが分かった場合、残響レベルの値が拒否され、置換され、一方、残響時間の値は維持される。
【0077】
図３Ａは、いくつかの実施形態による処理３００を示すフローチャートである。処理３００は、工程ｓ３０２から開始することができる。工程ｓ３０２は、エクステンデッドリアリティ・シーンのメタデータを取得することを含む。工程ｓ３０４は、メタデータから取得すること、またはメタデータから第１残響パラメータを導出することを含み、第１残響パラメータは、残響時間（ＲＴ）パラメータ（例えば、ＲＴ６０）または残響レベル（ＲＬ）パラメータ（例えば、ＲＤＲ値）である。工程ｓ３０６は、第１残響パラメータを用いて、第２残響パラメータを導出することを含む。第１残響パラメータが残響時間パラメータである場合、第２残響パラメータは残響レベルパラメータであり、第１残響パラメータが残響レベルパラメータである場合、第２残響パラメータは残響時間パラメータである。
【0078】
いくつかの実施形態では、メタデータは、音響吸収の量を示す音響吸収パラメータ（「Ａ」と示される）を含み、第１残響パラメータは、音響吸収パラメータを用いて導出される。いくつかの実施形態では、第１残響パラメータはＲＤＲ値であり、ＲＤＲ値を導出することは、Ｙを所定の定数とすると、ＲＤＲ＝Ｙ／Ａを計算することを含む。一実施形態では、Ｙ＝１６×πである。
【0079】
いくつかの実施形態では、第１残響パラメータは残響時間パラメータ（ＲＴ）（例えば、ＲＴ６０）であり、第２残響パラメータを導出することは、Ｘを数とすると、Ｘ×ＲＴまたはＲＴ／Ｘを計算することを含む。いくつかの実施形態では、第１残響パラメータおよび第２残響パラメータは、容積を有する音響環境に関連付けられ、第２残響パラメータを導出することは、ｆ１ｘ（ＲＴ／Ｖ）f2を計算することを含む。いくつかの実施形態では、第２残響パラメータを導出することは、関数ｆ（）を用いて、ｆ（ＲＴ／Ｖ）を計算することを含む。いくつかの実施形態では、第２残響パラメータを導出することは、関数ｈ（）を用いて、ｈ（ＲＴ，Ｖ）を計算することを含む。いくつかの実施形態では、第２残響パラメータを導出することは、関数ｊ（）を用いて、ｊ（ＲＴ）を計算することを含む。
【0080】
いくつかの実施形態では、第１残響パラメータは、残響レベルパラメータ（ＲＬ）（例えば、ＲＤＲ値）であり、第２残響パラメータ（すなわち、残響時間パラメータ）を導出することは、Ｘを数とするとき、Ｘ×ＲＬまたはＲＬ／Ｘを計算することを含む。いくつかの実施形態では、第１残響パラメータおよび第２残響パラメータは、容積を有する音響環境に関連付けられ、第２残響パラメータを導出することは、ｉ）Ｖ×ＲＬ／ｆ１、または、ｉｉ）Ｖ×（ＲＬ／ｆ１）1／f2を計算することを含む。いくつかの実施形態では、第２残響パラメータを導出することは、関数ｇ（）を用いてＶ×ｇ（ＲＬ）を計算することを含む。関数ｇ（）は、関数ｆ（）の逆数、すなわち、ｇ（）＝ｆ－１（）でありうる。いくつかの実施形態では、第２残響パラメータを導出することは、関数ｋ（）を用いて、ｋ（ＲＬ，Ｖ）を計算することを含む。関数ｋ（）は、関数ｈ（）の逆でありうる。いくつかの実施形態では、第２残響パラメータを導出することは。関数ｌ（）を用いて、ｌ（ＲＬ）を計算することを含む。関数ｌ（）は、関数ｊ（）の逆でありうる。
【0081】
いくつかの実施形態では、処理はまた、第１残響パラメータおよび第２残響パラメータを用いて残響信号を生成することと、残響信号を用いて出力オーディオ信号を生成することとを含む。
【0082】
図３Ｂは、いくつかの実施形態による処理３５０を示すフローチャートである。処理３５０は、工程ｓ３５２から開始することができる。工程ｓ３５２は、エクステンデッドリアリティ・シーンのメタデータから、少なくとも第１残響パラメータ及び第２残響パラメータを含む残響パラメータのセットを取得することを含む。工程ｓ３５４は、第１残響パラメータが第２残響パラメータと一致するかどうかを決定すること（ｓ３５４）を含む。決定することは、第２残響パラメータを用いて第１の値を計算すること（工程ｓ３５６）と、第１の値と第１残響パラメータとの差をしきい値と比較すること（工程ｓ３５８）とを含む。
【0083】
いくつかの実施形態では、処理はまた、差がしきい値を超えると判定された結果として、第１残響パラメータの代わりに第１の値を用いて残響信号を生成することを含む。
【0084】
いくつかの実施形態では、ｉ）第１残響パラメータは残響レベルパラメータであり、第２残響パラメータは残響時間パラメータまたは吸収パラメータＡのいずれかであり、ｉｉ）第１残響パラメータは残響時間パラメータであり、第２残響パラメータは残響レベルパラメータまたは吸収パラメータＡのいずれかであり、あるいは、ｉｉｉ）第１残響パラメータは吸収パラメータであり、第２残響パラメータは残響レベルパラメータまたは残響時間パラメータのいずれかである。
【0085】
いくつかの実施形態では、残響パラメータのセットは、第３残響パラメータをさらに含み、処理は、第１残響パラメータが第２残響パラメータと一致しないと判定された結果として、第１残響パラメータが第３残響パラメータと一致するかどうかを判定することをさらに含み、第１残響パラメータが第３残響パラメータと一致するかどうかを判定することは、ｉ）第３残響パラメータを用いて第２の値を計算することと、ｉｉ）第２の値と第１残響パラメータとの差をしきい値と比較することとを含む。いくつかの実施形態では、処理は、第１残響パラメータが第２残響パラメータまたは第３残響パラメータのいずれかと一致しないと判定された結果として、第１残響パラメータの代わりに第１の値または第２の値のいずれかを用いて残響信号を生成することを更に含む。
【0086】
図４は、本明細書に開示される方法を実行するための、いくつかの実施形態による、オーディオレンダリング装置４００のブロック図である（例えば、オーディオレンダラ１５１は、オーディオレンダリング装置４００を用いて実装されうる）。図４に示されるように、オーディオレンダリング装置４００は、処理回路（ＰＣ）４０２を備える。処理回路（ＰＣ）４０２は、１つまたは複数のプロセッサ（Ｐ）４５５（例えば、汎用マイクロプロセッサおよび／または特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの１つまたは複数の他のプロセッサ）を含みうる。複数のプロセッサ（Ｐ）４５５は、単一のハウジング内または単一のデータセンタ内に共同配置されてもよいし、地理的に分散されてもよい（すなわち、装置４００が分散コンピューティング装置でありうる）。オーディオレンダリング装置４００は、ネットワークインタフェース４４８を備える。ネットワークインタフェース４４８は、ネットワークインタフェース４４８が（直接的または間接的に）接続される（例えば、ネットワークインタフェース４４８はアンテナ装置と接続される）ネットワーク１１０（例えば、インターネットプロトコル（ＩＰ）ネットワーク）に接続される他のノードとデータを送受信することを装置４００に可能にさせるための送信機（Ｔｘ）４４５と受信機４４７とを含む。オーディオレンダリング装置４００は、１つ以上の不揮発性記憶装置および１つ以上の揮発性記憶装置の少なくともいずれかを含みうる記憶ユニット（「データ記憶システム」とも呼ばれる）４０８を備える。ＰＣ４０２がプログラマブルプロセッサを含む実施形態では、コンピュータプログラムプロダクト（ＣＰＰ）４４１が提供されうる。ＣＰＰ４４１は、コンピュータ読み取り可能な命令（ＣＲＩ）４４４を含むコンピュータプログラム（ＣＰ）４４３を記憶するコンピュータ読み取り可能な記憶媒体（ＣＲＭ）４４２を含む。ＣＲＭ４４２は、磁気媒体（例えば、ハードディスク）、光媒体、メモリデバイス（例えば、ランダムアクセスメモリ、フラッシュメモリ）などの非一時的コンピュータ読み取り可能な記憶媒体でありうる。いくつかの実施形態では、コンピュータプログラム４４３のＣＲＩ４４４は、ＰＣ４０２によって実行されるとＣＲＩがオーディオレンダリング装置４００に本明細書で説明する工程（例えば、フローチャートを参照して本明細書で説明する工程）を実行させるように構成される。他の実施形態では、オーディオレンダリング装置４００がコードを必要とせずに、本明細書で説明する工程を実行するように構成されうる。すなわち、例えば、ＰＣ４０２は、１つ以上のＡＳＩＣのみから構成されうる。したがって、本明細書で説明される実施形態の特徴は、ハードウェアおよびソフトウェアの少なくともいずれかによって実装されうる。
【0087】
様々な実施形態の概要
【0088】
Ａ１． オーディオレンダラ（１５１）によって実行される方法（３００）であって、エクステンデッドリアリティ・シーンのメタデータを取得する工程（ｓ３０２）と、第１残響パラメータを、前記メタデータから取得する、または、前記メタデータから導出する工程（ｓ３０４）と、ここで、前記第１残響パラメータは、残響時間パラメータまたは残響レベルパラメータであり、前記第１残響パラメータを用いて第２残響パラメータを導出する工程（ｓ３０６）と、を有し、前記第１残響パラメータが前記残響時間パラメータである場合、前記第２残響パラメータは残響レベルパラメータであり、前記第１残響パラメータが前記残響レベルパラメータである場合、前記第２残響パラメータは残響時間パラメータである、ことを特徴とする方法。
【0089】
Ａ２． 前記メタデータは、音響吸収量（Ａ）を示す音響吸収パラメータを含み、前記第１残響パラメータは、前記音響吸収パラメータを用いて導出される、ことを特徴とする実施形態Ａ１に記載の方法。
【0090】
Ａ３． 前記第１残響パラメータは、残響音対直接音エネルギ比（ＲＤＲ）値であり、前記ＲＤＲ値を導出することは、１６×（π／Ａ）を計算することを含む、ことを特徴とする実施形態Ａ２に記載の方法。
【0091】
Ａ４． 前記第１残響パラメータは、前記残響時間パラメータ（ＲＴ）（例えば、ＲＴ６０値）であり、前記第２残響パラメータを導出することは、Ｘを数とすると、Ｘ×ＲＴまたはＲＴ／Ｘを計算することを含む、ことを特徴とする実施形態Ａ１またはＡ２に記載の方法。
【0092】
Ａ５． 前記第１残響パラメータは、前記残響時間パラメータ（ＲＴ）（例えば、ＲＴ６０値）であり、前記第１残響パラメータおよび前記第２残響パラメータは、容積を有する音響環境に関連付けられており、前記第２残響パラメータを導出することは、ｆ１を所定の係数、ｆ２を所定の値（いくつかの実施形態ではｆ２＝１）、Ｖを前記音響環境の前記容積を示す容積値とするとき、ｆ１ｘ（ＲＴ/Ｖ）または（ｆ１ｘ（ＲＴ/Ｖ）ｆ２）を計算することを含む、ことを特徴とする実施形態Ａ１またはＡ２に記載の装置。一実施形態では、ｆ１は無指向性点音源からの距離ｄの関数である。例えば、ｃを所定の係数（例えば、ｃ＝３．１×１０２）とすると、ｆ１はｃ×ｄ２に等しい。別の実施形態では、ｆ１が３．１×１０２に等しい。別の実施形態では、ｃを所定の係数（例えば、ｃ＝３．１×１０２）、Ｃを所定の係数とすると、ｆ１＝Ｃ×ｃである。
【0093】
Ａ６． 前記第１残響パラメータは、前記残響レベルパラメータ（ＲＬ）であり、前記第２残響パラメータを導出することは、Ｘを数とすると、Ｘ×ＲＬまたはＲＬ／Ｘを計算することを含む、ことを特徴とする実施形態Ａ１～Ａ３のいずれか１つに記載の方法。
【0094】
Ａ７． 前記第１残響パラメータおよび前記第２残響パラメータは、容積を有する音響環境に関連付けられており、前記第２残響パラメータを導出することは、ｆ１を所定の係数、Ｖを前記音響環境の前記容積を示す容積値、ｆ２を所定の値とするとき、ＶｘＲＬ／ｆ１または（Ｖｘ（ＲＬ／ｆ１）１／ｆ２）を計算することを含む、ことを特徴とする実施形態Ａ６に記載の装置。
【0095】
Ａ８． 前記第１残響パラメータおよび前記第２残響パラメータは、容積を有する音響環境に関連付けられており、前記第１残響パラメータは前記残響時間パラメータ（ＲＴ）であり、前記第２残響パラメータを導出することは、Ｖを前記音響環境の前記容積、ｔ１を時間値とするとき、
を計算することを含む、ことを特徴とする実施形態１または２に記載の方法。
【数19】
【0096】
Ａ９． 前記第２残響パラメータは前記残響レベルパラメータであり、前記第２残響パラメータは、前記第１残響パラメータと所定の時間値ｔ１とを用いて導出される、ことを特徴とする実施形態Ａ１、Ａ２、Ａ４、Ａ５のいずれか１つに記載の方法。
【0097】
Ａ１０． Ｃを前記第１残響パラメータと時間値ｔ１とに依存する補正係数、ｃを所定の値とするとき、ｆ１はＣ×ｃに等しい、ことを特徴とする実施形態Ａ５に記載の方法。
【0098】
Ａ１１． Ｃは、
に等しい、ことを特徴とする実施形態Ａ１０に記載の方法。
【数20】
【0099】
Ａ１２．ｔ１は、前記音響環境の少なくとも１つの寸法に基づいて導出される、ことを特徴とする実施形態Ａ８からＡ１１のいずれか１つに記載の方法。
【0100】
Ａ１３．ｔ１は、前記音響環境の寸法に関連する音響飛行時間に比例する、ことを特徴とする実施形態Ａ８からＡ１１のいずれか１つに記載の方法。
【0101】
Ａ１４．Ｌを前記音響環境の最長寸法のサイズ、ｓを音速とするとき、ｔ１＝４ｘＬ／ｓである、ことを特徴とする実施形態Ａ１３に記載の方法。
【0102】
Ａ１５．ｔ１は、前記音響環境に関連するプリディレイタイムを示す、ことを特徴とする実施形態Ａ８からＡ１１のいずれか１つに記載の方法。
【0103】
Ａ１６．ｔ１は、前記音響環境に関連するルームインパルス応答の一部を示す時間値である、ことを特徴とする実施形態Ａ８からＡ１１のいずれか１つに記載の方法。
【0104】
Ａ１７．前記残響レベルパラメータは、残響音と音源の総放射エネルギとのエネルギ比で表される、ことを特徴とする実施形態Ａ１からＡ１６のいずれか１つに記載の方法。
【0105】
Ａ１８．前記第１残響パラメータと前記第２残響パラメータとを用いて残響信号を生成する工程と、前記残響信号を用いて出力オーディオ信号を生成する工程と、を更に有することを特徴とする実施形態Ａ１からＡ１７のいずれか１つに記載の方法。
【0106】
Ｂ１.オーディオレンダラ（１５１）によって実行される方法（３５０）であって、エクステンデッドリアリティ・シーンのメタデータから、少なくとも第１残響パラメータと第２残響パラメータとを含む残響パラメータのセットを取得する工程（ｓ３５２）と、前記第１残響パラメータが前記第２残響パラメータと一致するかを判定する工程（ｓ３５４）と、を有し、前記判定する工程は、前記第２残響パラメータを用いて第１の値を計算する工程（ｓ３５６）と、前記第１の値と前記第１残響パラメータとの差をしきい値と比較する工程（ｓ３５８）と、を含む、ことを特徴とする方法。
【0107】
Ｂ２.前記差が前記しきい値を超えると判定された結果、前記第１残響パラメータの代わりに前記第１の値を用いて残響信号を生成する工程を更に有することを特徴とする実施形態Ｂ１に記載の方法。
【0108】
Ｂ３.前記第１残響パラメータは残響レベルパラメータであり、前記第２残響パラメータは残響時間パラメータまたは吸収パラメータ（Ａ）のいずれかである、または、前記第１残響パラメータは残響時間パラメータであり、前記第２残響パラメータは前記残響レベルパラメータまたは前記吸収パラメータ（Ａ）のいずれかである、または、前記第１残響パラメータは前記吸収パラメータであり、前記第２残響パラメータは前記残響レベルパラメータまたは前記残響時間パラメータのいずれかである、ことを特徴とする実施形態Ｂ１またはＢ２に記載の方法。
【0109】
Ｂ４.前記残響パラメータのセットは、第３残響パラメータを更に含み、前記方法は、前記第１残響パラメータが前記第２残響パラメータと一致しないと判定された結果、前記第１残響パラメータが前記第３残響パラメータと一致するかを判定する工程を更に有し、前記第１残響パラメータが前記第３残響パラメータと一致するかを判定する工程は、前記第３残響パラメータを用いて第２の値を計算する工程と、を含む、ことを特徴とする実施形態Ｂ１に記載の方法
【0110】
前記第２の値と前記第１残響パラメータとの差を前記しきい値と比較すること。
【0111】
Ｂ５.前記第１残響パラメータが前記第２残響パラメータまたは前記第３残響パラメータのいずれかと一致しないと判定された結果、前記第１残響パラメータの代わりに前記第１の値または前記第２の値のいずれかを用いて残響信号を生成する工程を更に有することを特徴とする実施形態Ｂ４に記載の方法。
【0112】
Ｃ１.オーディオレンダラの処理回路によって実行されると前記オーディオレンダラに上記実施形態のいずれか１つの方法を実行させる命令を含む、ことを特徴とするコンピュータプログラム。
【0113】
Ｃ２.実施形態Ｃ１に記載のコンピュータプログラムを含むキャリアであって、前記キャリアは、電気信号、光信号、無線信号、コンピュータ読み取り可能な記憶媒体のうちの１つである、ことを特徴とするキャリア。
【0114】
Ｄ１.上記実施形態のいずれか１つの方法を実行するように構成されたオーディオレンダリング装置。
【0115】
Ｄ２.前記オーディオレンダリング装置は、メモリと、前記メモリに結合された処理回路とを備える、実施形態Ｄ１に記載のオーディオレンダリング装置。
【0116】
Ｅ１．オーディオレンダラによって実行される方法であって、エクステンデッドリアリティ・シーンのメタデータを取得する工程（ｓ３０２）と、第１残響パラメータを、前記メタデータから取得する、または、前記メタデータから導出する工程と、前記第１残響パラメータを用いて第２残響レベルパラメータを導出する工程と、を有することを特徴とする方法。
【0117】
Ｅ２． 残響時間パラメータ（ＲＴ）を取得する工程を更に含み、
ＲＤＲreceivedを、前記第１残響レベルパラメータ、
ｔ１を、前記オーディオレンダラによって使用される開始時間、
ｔ２を、前記第１残響レベルパラメータに関連する開始時間（例えば、前記メタデータに含まれる開始時間）、とすると、
前記第２残響レベルパラメータは、
に等しい、ことを特徴とする実施形態Ｅ１に記載の方法。
ＲＤＲreceivedを、前記第１残響レベルパラメータ、
ｔ１を、前記オーディオレンダラによって使用される開始時間、
ｔ２を、前記第１残響レベルパラメータに関連する開始時間（例えば、前記メタデータに含まれる開始時間）、とすると、
前記第２残響レベルパラメータは、
【数21】
【0118】
様々な実施形態が本明細書に記載されているがそれらは、限定ではなく単なる例として提示されていることを理解されたい。したがって、本開示の幅および範囲は、上述の例示的な実施形態のいずれによって限定されるべきではない。さらに、本明細書に別段の指示がない限り、または文脈によって明らかに矛盾しない限り、そのすべての可能な変形形態における上記の目的の任意の組合せが、本開示によって包含される。
【0119】
加えて、上で説明され、図面に示された処理は、一連の工程として示されているが、これは単に例示のために行われたものである。したがって、何らかの工程が追加されてもよいし、いくつかの工程が省略されてもよいし、工程の順序が再配置されてもよいし、いくつかの工程が並行して実行されてもよい。
【図1A】
【図1B】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【手続補正書】
【提出日】2024-03-01
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
オーディオレンダラ（１５１）によって実行される方法（３００）であって、エクステンデッドリアリティ・シーンのメタデータを取得する工程（ｓ３０２）と、
第１残響パラメータを、前記メタデータから取得する、または、前記メタデータから導出する工程（ｓ３０４）と、ここで、前記第１残響パラメータは、残響時間パラメータまたは残響レベルパラメータであり、
前記第１残響パラメータを用いて第２残響パラメータを導出する工程（ｓ３０６）と、
を有し、
前記第１残響パラメータが前記残響時間パラメータである場合、前記第２残響パラメータは残響レベルパラメータであり、
前記第１残響パラメータが前記残響レベルパラメータである場合、前記第２残響パラメータは残響時間パラメータである、
ことを特徴とする方法。
【請求項2】
前記メタデータは、音響吸収量（Ａ）を示す音響吸収パラメータを含み、前記第１残響パラメータは、前記音響吸収パラメータを用いて導出される、
ことを特徴とする請求項１に記載の方法。
【請求項3】
前記第１残響パラメータは、残響音対直接音（ＲＤＲ）エネルギ比値であり、前記ＲＤＲエネルギ比値を導出することは、１６×（π／Ａ）を計算することを含む、
ことを特徴とする請求項２に記載の方法。
【請求項4】
前記第１残響パラメータは、前記残響時間パラメータ（ＲＴ）（例えば、ＲＴ６０値）であり、前記第２残響パラメータを導出することは、Ｘを数とすると、Ｘ×ＲＴまたはＲＴ／Ｘを計算することを含む、
ことを特徴とする請求項１に記載の方法。
【請求項5】
前記第１残響パラメータは、前記残響時間パラメータ（ＲＴ）（例えば、ＲＴ６０値）であり、前記第１残響パラメータおよび前記第２残響パラメータは、容積を有する音響環境に関連付けられており、
前記第２残響パラメータを導出することは、
ｆ１を所定の係数、ｆ２を所定の値、Ｖを前記音響環境の前記容積を示す容積値とするとき、ｆ１ｘ（ＲＴ/Ｖ）または（ｆ１ｘ（ＲＴ/Ｖ）ｆ２）を計算することを含む、
ことを特徴とする請求項１に記載の方法。
【請求項6】
前記第１残響パラメータは、前記残響レベルパラメータ（ＲＬ）であり、前記第２残響パラメータを導出することは、Ｘを数とすると、Ｘ×ＲＬまたはＲＬ／Ｘを計算することを含む、
ことを特徴とする請求項１に記載の方法。
【請求項7】
前記第１残響パラメータは、前記残響レベルパラメータ（ＲＬ）であり、前記第１残響パラメータおよび前記第２残響パラメータは、容積を有する音響環境に関連付けられており、
前記第２残響パラメータを導出することは、
ｆ１を所定の係数、Ｖを前記音響環境の前記容積を示す容積値、ｆ２を所定の値とするとき、ＶｘＲＬ／ｆ１または（Ｖｘ（ＲＬ／ｆ１）１／ｆ２）を計算することを含む、
ことを特徴とする請求項１に記載の方法。
【請求項8】
前記第１残響パラメータおよび前記第２残響パラメータは、容積を有する音響環境に関連付けられており、前記第１残響パラメータは前記残響時間パラメータ（ＲＴ）であり、
前記第２残響パラメータを導出することは、
Ｖを前記音響環境の前記容積、ｔ１を時間値とするとき、
【数22】
ことを特徴とする請求項１に記載の方法。
【請求項9】
前記第２残響パラメータは前記残響レベルパラメータであり、前記第２残響パラメータは、前記第１残響パラメータと所定の時間値ｔ１とを用いて導出される、
ことを特徴とする請求項１に記載の方法。
【請求項10】
Ｃを前記第１残響パラメータと時間値ｔ１とに依存する補正係数、ｃを所定の値とするとき、ｆ１はＣ×ｃに等しい、
ことを特徴とする請求項５に記載の方法。
【請求項11】
Ｃは、【数23】
【請求項12】
ｔ１は、前記音響環境の少なくとも１つの寸法に基づいて導出される、ことを特徴とする請求項８に記載の方法。
【請求項13】
ｔ１は、前記音響環境の寸法に関連する音響飛行時間に比例する、ことを特徴とする請求項８に記載の方法。
【請求項14】
Ｌを前記音響環境の最長寸法のサイズ、ｓを音速とするとき、ｔ１＝４ｘＬ／ｓである、ことを特徴とする請求項１３に記載の方法。
【請求項15】
ｔ１は、前記音響環境に関連するプリディレイタイムを示す、ことを特徴とする請求項８に記載の方法。
【請求項16】
ｔ１は、前記音響環境に関連するルームインパルス応答の一部を示す時間値である、ことを特徴とする請求項８に記載の方法。
【請求項17】
前記残響レベルパラメータは、残響音と音源の総放射エネルギとのエネルギ比で表される、ことを特徴とする請求項１に記載の方法。
【請求項18】
前記第１残響パラメータと前記第２残響パラメータとを用いて残響信号を生成する工程と、前記残響信号を用いて出力オーディオ信号を生成する工程と、
を更に有することを特徴とする請求項１に記載の方法。
【請求項19】
オーディオレンダリング装置（４００）であって、前記オーディオレンダリング装置は、エクステンデッドリアリティ・シーンのメタデータを取得する工程（ｓ３０２）と、
第１残響パラメータを、前記メタデータから取得する、または、前記メタデータから導出する工程（ｓ３０４）と、ここで、前記第１残響パラメータは、残響時間パラメータまたは残響レベルパラメータであり、
前記第１残響パラメータを用いて第２残響パラメータを導出する工程（ｓ３０６）と、
を含む処理を実行するように構成され、
前記第１残響パラメータが前記残響時間パラメータである場合、前記第２残響パラメータは残響レベルパラメータであり、
前記第１残響パラメータが前記残響レベルパラメータである場合、前記第２残響パラメータは残響時間パラメータである、
ことを特徴とするオーディオレンダリング装置。
【請求項20】
請求項２から１８のいずれか１項に記載の方法を実行するように更に構成されている、ことを特徴とする請求項１９に記載のオーディオレンダリング装置。
【国際調査報告】