特表 2024-541712 初期反射パターンを使用した可聴化のための概念

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-11-11

(54)【発明の名称】初期反射パターンを使用した可聴化のための概念

(51)【国際特許分類】

   H04S 7/00 20060101AFI20241101BHJP

   G10K 15/08 20060101ALI20241101BHJP

【ＦＩ】

H04S7/00 300

G10K15/08

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024527265

(86)(22)【出願日】2022-11-08

(85)【翻訳文提出日】2024-06-28

(86)【国際出願番号】 EP2022081092

(87)【国際公開番号】W WO2023083792

(87)【国際公開日】2023-05-19

(31)【優先権主張番号】21207274.8

(32)【優先日】2021-11-09

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】594102418

【氏名又は名称】フラウンホーファー－ゲゼルシャフト ツル フェルデルング デル アンゲヴァンテン フォルシュング エー ファウ

【氏名又は名称原語表記】Ｆｒａｕｎｈｏｆｅｒ－Ｇｅｓｅｌｌｓｃｈａｆｔ ｚｕｒ Ｆｏｅｒｄｅｒｕｎｇ ｄｅｒ ａｎｇｅｗａｎｄｔｅｎ Ｆｏｒｓｃｈｕｎｇ ｅ．Ｖ．

【住所又は居所原語表記】Ｈａｎｓａｓｔｒａｓｓｅ ２７ｃ， Ｄ－８０６８６ Ｍｕｅｎｃｈｅｎ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100225543

【弁理士】

【氏名又は名称】上原 真

(72)【発明者】

【氏名】アンドレアス シルツル

(72)【発明者】

【氏名】ユルゲン ヘレ

(72)【発明者】

【氏名】デニス ローゼンバーガー

(72)【発明者】

【氏名】ヨウニ パウルス

(72)【発明者】

【氏名】クリスティアン ボース

(72)【発明者】

【氏名】アレクサンダー アダミ

【テーマコード（参考）】

5D162

5D208

【Ｆターム（参考）】

5D162AA13

5D162CA26

5D162CC18

5D162CC36

5D162CC37

5D162CD07

5D162CD17

5D162EG02

5D208AB18

(57)【要約】

本出願は、可聴化のための初期反射処理概念に関する。実施形態は、初期反射を考慮したサウンドレンダリング用の装置及び方法、並びに、初期反射パターンを決定するための装置及び方法に関する。
【選択図】図２

【特許請求の範囲】

【請求項1】

サウンドレンダリング用の初期反射パターン（１）を決定するための装置（１００）であって、
音響環境（５）の音響特性を表す少なくとも１つの室内音響パラメータ（３１０）を受信すること、及び
リスナ位置（１０）を中心とする１つ以上の螺旋関数（３、４）をパラメータ化し、且つ、前記１つ以上の螺旋関数（３、４）を使用して初期反射位置を配置することによって、初期反射位置のコンステレーションを示す初期反射パターン（１）を決定すること
を行うように構成される、装置（１００）。

【請求項2】

請求項１に記載の装置（１００）において、前記初期反射パターン（１）は、前記初期反射位置が、前記リスナ位置（１０）の周囲に、且つ、前記リスナ位置（１０）から角度方向に位置するように、前記リスナ位置（１０）に配置されるためのものであり、前記角度方向は、リスナ頭部の向きの変化に対して不変である、装置（１００）。

【請求項3】

請求項１又は請求項２に記載の装置（１００）において、前記少なくとも１つの室内音響パラメータ（３１０）は、
部屋の寸法、
部屋の容積、及び
後期残響までのプリディレイ時間
のうちの１つ以上を含む、装置（１００）。

【請求項4】

請求項１～３のいずれか一項に記載の装置（１００）において、前記少なくとも１つの室内音響パラメータ（３１０）は、
部屋の寸法、
部屋の音量、及び
後期残響までのプリディレイ時間
から選択された１つのパラメータのみを含む、装置（１００）。

【請求項5】

請求項１～３のいずれか一項に記載の装置（１００）において、前記１つ以上の螺旋関数（３、４）は、第１螺旋関数（３）及び第２螺旋関数（４）を含み、第１セットの初期反射位置のそれぞれが、第２セットの初期反射のうちの対応する初期反射位置に関連付けられ、且つ、各初期反射位置と対応する初期反射位置との間の接続ラインと垂直に交差するラインに対して互いに反対側に位置するように、前記装置（１００）は、前記第１螺旋関数（３）を使用して第１セットの初期反射位置を配置し、且つ前記第２螺旋関数（４）を使用して第２セットの初期反射位置を配置するように構成される、装置（１００）。

【請求項6】

請求項５に記載の装置（１００）において、前記第１セットの初期反射位置のそれぞれについて、前記第２セットの初期反射のうちの対応する初期反射位置は、前記第１セットの初期反射位置のうちのすべての初期反射位置について共通の角度方向に、前記接続ラインに対して角度的にオフセットされる、装置（１００）。

【請求項7】

請求項１から６のいずれか一項に記載の装置（１００）において、前記１つ以上の螺旋関数（３、４）は、第１螺旋関数（３）及び第２螺旋関数（４）を含み、第１セットの初期反射位置が極座標で（ｒ１、β１）として決定され、第２セットの初期反射位置が極座標で（ｒ２、β２）として決定されるように、前記装置（１００）は、前記第１螺旋関数（３）を使用して前記第１セットの初期反射位置を配置し、且つ、前記第２螺旋関数（４）を使用して前記第２セットの初期反射位置を配置するように構成され、ここで、

【数1】

であり、nERは初期反射位置の数であり、distfactorは定数である、装置（１００）。

【請求項8】

請求項７に記載の装置（１００）であって、前記少なくとも１つの室内音響パラメータ（３１０）に基づいて、前記distfactorを決定するように構成される、装置（１００）。

【請求項9】

請求項７に記載の装置（１００）であって、後期残響までのプリディレイ時間が大きいほど、前記distfactorが大きくなるように、前記distfactorを決定するように構成される、装置（１００）。

【請求項10】

請求項７に記載の装置（１００）であって、前記少なくとも１つの室内音響パラメータ（３１０）に基づいて、前記nERを決定するように構成される、装置（１００）。

【請求項11】

請求項１～１０のいずれか一項に記載の装置（１００）であって、前記初期反射パターン（１）を使用してレンダリングされることになるオーディオ信号の表現を含むビットストリーム（３００）から、前記少なくとも１つの室内音響パラメータ（３１０）を読み取るように構成される、装置（１００）。

【請求項12】

請求項１～１１のいずれか一項に記載の装置（１００）であって、
部屋の寸法が大きくなるほど、前記初期反射位置の数が大きくなるように、又は
部屋の容積が大きくなるほど、前記初期反射位置の数が大きくなるように、又は
後期残響までのプリディレイ時間が大きくなるほど、前記初期反射位置の数が大きくなるように、
前記初期反射位置の数を決定するように構成される、装置（１００）。

【請求項13】

請求項１～１２のいずれか一項に記載の装置（１００）であって、
前記１つ以上の螺旋関数（３、４）をパラメータ化することと、及び
前記初期反射位置の数を決定することであり、
部屋の寸法が大きいほど、又は
部屋の容積が大きいほど、又は
後期残響までのプリディレイ時間が大きいほど、
前記初期反射位置のうちの最も離れた位置からリスナまでの距離が大きく、前記距離は、前記プリディレイ時間よりも小さいものであるように、該決定することと、
を行うように構成される、装置（１００）。

【請求項14】

請求項１～１３のいずれか一項に記載の装置で（１００）であって、
前記初期反射パターン（１）の第１の決定及び前記初期反射パターン（１）の第２の決定を支援することであり、前記第１の決定は、前記第２の決定とは異なり、また前記リスナ位置（１０）を中心とする１つ以上の螺旋関数（３、４）をパラメータ化すること、及び前記１つ以上の螺旋関数（３、４）を使用して前記初期反射位置を配置することを伴う、該支援すること、並びに
前記音響環境（５）が屋内環境である場合、又はレンダリングされることになるオーディオ信号の表現を含むビットストリーム（３００）内のパターンタイプインデックスが、所定の状態を仮定する場合に、前記第１の決定を選択すること
を行うように構成される、装置（１００）。

【請求項15】

請求項１～１４のいずれか一項に記載の装置（１００）であって、前記初期反射位置が、前記リスナ位置（１０）とともに水平面内に存在するように、前記初期反射位置を決定するように構成される、装置（１００）。

【請求項16】

請求項１～１５のいずれか一項に記載の装置（１００）であって、レンダリングされることになるオーディオ信号の表現を含むビットストリーム（３００）内のパターン方位パラメータに従って前記コンステレーションの方位回転を調整することにより、前記初期反射位置を決定するように構成される、装置（１００）。

【請求項17】

サウンドレンダリング用の装置（２００）であって
リスナ位置（１０）及び音源位置に関する第１情報を受信することと、並びに
室内インパルス応答（４００）を使用して、音源のオーディオ信号をレンダリングすることであり、前記室内インパルス応答（４００）の初期反射部分（４１０）は前記初期反射パターン（１）によって決定され、前記初期反射パターン（１）は、
初期反射位置のコンステレーションを示し、また
前記初期反射位置が、前記リスナ位置（１０）の周囲に、且つ、前記リスナ位置（１０）から角度方向に位置するように、前記リスナ位置（１０）に配置され、前記角度方向は、リスナ頭部の向きの変化に対して不変のものである、
該レンダリングすることと、
を行うように構成され、
前記装置（２００）は、請求項１～１６のいずれか一項に記載の、初期反射パターン（１）を決定するための装置（１００）を備える、装置（２００）。

【請求項18】

請求項１７に記載の装置（２００）であって、さらに、前記室内インパルス応答（４００）の拡散後期残響部分を生成するように構成される、装置（２００）。

【請求項19】

請求項１７又は請求項１８に記載の装置（２００）であって、さらに、前記オーディオ信号をレンダリングする際に、前記室内インパルス応答（４００）の直接音源部分に関連する直接音寄与ラウドスピーカ信号（２２２）と、前記室内インパルス応答（４００）の初期反射部分（４１０）に関連する初期反射寄与ラウドスピーカ信号（２３２）とに対する合計を形成することによって、ラウドスピーカ信号（２５２）のセットを生成するように構成される、装置（２００）。

【請求項20】

請求項１７～１９のいずれか一項に記載の装置（２００）であって、さらに、前記初期反射位置から前記音源のオーディオ信号のレンダリングを実行することによって、前記室内インパルス応答（４００）の初期反射部分（４１０）に関連する初期反射寄与ラウドスピーカ信号（２３２）を生成するように構成される、装置（２００）。

【請求項21】

請求項２０に記載の装置（２００）であって、さらに、
前記初期反射位置から前記音源のオーディオ信号のレンダリングを実行することによって、前記室内インパルス応答（４００）の初期反射部分（４１０）に関連する初期反射寄与ラウドスピーカ信号（２３２）を生成する際に、
各初期反射位置から前記リスナ位置（１０）までの距離に応じてレベルを調整する方式で、各初期反射位置から前記音源のオーディオ信号をレンダリングするように構成される、装置（２００）。

【請求項22】

請求項２１に記載の装置（２００）であって、さらに、各初期反射位置から前記リスナ位置（１０）までの距離に応じてレベルを調整する方式で、各初期反射位置から前記音源のオーディオ信号をレンダリングする際に、
各初期反射位置から前記音源のオーディオ信号がレンダリングされるレベルを、レベルオフセットを使用してオフセットすること（２０）、又はレベル係数で前記レベルを増幅することであり、前記レベルオフセット若しくはレベル係数は、すべての初期反射位置について共通である、該オフセット又は増幅すること、並びに、
振幅補正係数に応じて前記レベルオフセット若しくはレベル係数を設定すること
を行うように構成される、装置（２００）。

【請求項23】

請求項２１又は請求項２２に記載の装置（２００）であって、さらに、各初期反射位置から前記リスナ位置（１０）までの距離に応じてレベルを調整する方式で、各初期反射位置から前記音源のオーディオ信号をレンダリングする際に、距離減衰指数に従って前記音源位置から前記オーディオ信号をレンダリングするための装置（２００）によって使用されるレベル調整に対して、各初期反射位置から前記リスナ位置までの距離に応じたレベル調整を修正するように構成される、装置（２００）。

【請求項24】

請求項２０～２３のいずれか一項に記載の装置（２００）であって、さらに、前記初期反射位置から前記音源のオーディオ信号のレンダリングを実行することによって、前記室内インパルス応答（４００）の初期反射部分（４１０）に関連する初期反射寄与ラウドスピーカ信号（２３２）を生成する際に、１つ以上の周波数応答パラメータに従ってスペクトル的に成形される方式で、各初期反射位置から前記音源のオーディオ信号をレンダリングするように構成される、装置（２００）。

【請求項25】

請求項１７～２４のいずれか一項に記載の装置（２００）であって、さらに、前記初期反射位置から前記音源のオーディオ信号のレンダリングを実行する際に、リスナ頭部の向きに特有のＨＲＴＦを使用するように構成される、装置（２００）。

【請求項26】

請求項１７～２５のいずれか一項に記載のサウンドレンダリングの対象となるビットストリーム（３００）。

【請求項27】

請求項２６に記載のサウンドレンダリングの対象となるビットストリーム（３００）を記憶するデジタル記憶媒体。

【請求項28】

サウンドレンダリング用の初期反射パターン（１）を決定する方法であって
音響環境（５）の音響特性を表す少なくとも１つの音響パラメータ（３１０）を受信するステップと、
リスナ位置（１０）を中心とする１つ以上の螺旋関数（３、４）をパラメータ化し、且つ、前記１つ以上の螺旋関数（３、４）を使用して初期反射位置を配置することによって、初期反射位置のコンステレーションを示す初期反射パターン（１）を決定するステップと、
を備える、方法。

【請求項29】

サウンドレンダリングの方法であって、
リスナ位置（１０）及び音源位置に関する第１情報を受信するステップと、
室内インパルス応答（４００）を使用して、音源のオーディオ信号をレンダリングするステップであり、前記室内インパルス応答（４００）の初期反射部分（４１０）は初期反射パターン（１）によって決定され、前記初期反射パターン（１）は、
初期反射位置のコンステレーションを示し、また
前記初期反射位置が、前記リスナ位置（１０）の周囲に、且つ、前記リスナ位置（１０）から角度方向に位置するように、前記リスナ位置（１０）に配置され、前記角度方向は、リスナ頭部の向きの変化に対して不変のものである、
該レンダリングするステップと、
を備え
前記方法は、請求項２８に記載の、初期反射パターン（１）を決定するための方法を含む、方法。

【請求項30】

コンピュータプログラムであって、前記コンピュータプログラムを実行した際に、コンピュータに、請求項２８又は請求項２９に記載の方法を実行させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、可聴化のための初期反射処理概念に関する。

【0002】

室内インパルス応答（ＲＩＲ：room impulse response）は、音響環境（部屋）内の音源と、レシーバ（すなわち、リスナ）との間の関係を記述する。室内インパルス応答は、時間領域における単位インパルスに対する部屋の応答を特定し、また周波数領域における室内伝達関数に対応する。室内インパルス応答は、直接音の経路、初期反射（ＥＲｓ：early reflections）、及び拡散的な後期残響で構成される。

【0003】

仮想及び拡張現実（ＶＲ／ＡＲ）アプリケーション用のバイノーラル（又はラウドスピーカ）レンダリングでは、特定の音源及びリスナの位置からの室内インパルス応答は、かなり変化する可能性がある。６自由度（６ＤＯＦ）ＶＲ／ＡＲアプリケーションでは、リスナは、通常、シーン全体で自由に移動でき、そのため、室内インパルス応答が絶えず変化する。その結果、壁の幾何学的形状（ジオメトリ）、遮蔽物、及び物理的に正確な反射パターンを計算するためのその他の効果を考慮に入れて、音源からリスナへの各反射を決定するのに、膨大な量の計算を費やさなければならない。

【0004】

知覚的に納得のいくレンダリングを行うために、室内の初期反射（ＥＲ）パターンの正確な音響再生が必要ではないこと、及び、このレンダリングは、部屋の正確な幾何学的形状の（ジオメトリックな）詳細から大部分を抽象化する方法で行うことが可能なことが、本発明の知見である。このようにして、多くの計算を省くことができる。反射パターンをエンコーダからレンダラに送信しなければならない場合、リスナ位置に応じて反射を効率的に計算することに関連付けられたサイド情報（side information）のかなりの部分を、通常のジオメトリベースのレンダリングにおける従来技術と比較して省略することができる。

【背景技術】

【0005】

非特許文献［１］は、正確に計算された「現実の」ＥＲを、より一般的で単純なＥＲパターンに置き換えることに関する。この着想は、大きな部屋（例えば、コンサートホール）のステージ上の小さな又は大きな音源（例えば、オーケストラ）を記述する、知覚的直交パラメータ（perceptually orthogonal parameters）を発見し、記述し、またシミュレートし（非特許文献［２］及び［３］）、それらをラウドスピーカ設定（例えば、ステレオ）で又はバイノーラルオーバーヘッドフォンで再生することであった。作曲家又はサウンドエンジニアは、これらのパラメータ（音源の存在、音源の暖かさ、音源の輝き、部屋の存在、動的残響、包み込まれた感じ（envelopment）、及び残響など）を利用して、シーンを設定することができた。ＳＰＡＴソフトウェアは、その種の製作のために長期間使用されてきた（非特許文献［４］）。この手法は、ＭＰＥＧ－４（ＩＳＯ規格）でも採用された（非特許文献［５］）。

【0006】

動的な６ＤＯＦ環境では、部屋の音響記述（寸法、ＲＴ６０、…）は、かなりの量に変化する可能性がある。音源及びレシーバの位置は完全に自由であり、また聴覚化のためにリアルタイムで計算されることになる。知覚パラメータは、これらの変化する物理的設定に大きく依存しており、定数として定義することができず、そのため、このタスクには適切ではない。

【0007】

本明細書において、本発明は、単純で基本的なＥＲパターンを選択し且つ調整するのに、環境のほんのわずかな基本的物理パラメータしか必要としない、新しいアプローチを有する。このアプローチは、パラメータを定義するために特定のサウンドエンジニアリングバックグラウンドが必要ないという利点を有する。パラメータは、物理モデルから直接得られる。使用される単純なＥＲパターンは、様々な部屋のサイズ及び様々なＲＴ６０値に適応可能である。屋外環境についてさえも、単純なＥＲパターンが定義されるが、ＳＰＡＴではそうではなかった。人間の聴覚系が、初期反射の微細構造を解析できないので（例えば、非特許文献［６］）、完全な物理的に正しいシミュレーションに対するこのアプローチによる知覚的な劣化は限定される。

【0008】

以下の新しく発明された単純ＥＲパターンでは、ＲＴ６０、プリディレイ（predelay）時間、部屋の容積若しくは部屋の寸法、及びＲＴ６０の周波数依存性のような室内音響パラメータが使用される。ＥＲパターンは、具体的には、直接音と後期残響の間の滑らかな遷移を作り出すように定義される。これは、周波数的にニュートラルであり、壁と音源開口部とレシーバとの間における近接度に基づくものとすべきである。

【0009】

部屋全体の音響パラメータに適合し、リスナに対してもっともらしくまた納得のいく知覚を生み出すことが狙いである。リスナは「現実の」物理的に正確なＥＲと直接比較することはできないため、これは、ほとんどの場合に十分である。

【0010】

特にリアルタイムの聴覚仮想環境及び拡張現実のような用途において、特に視認性の確認を伴うＥＲの正確な幾何学的計算を消費することを回避することができる。「現実の」ＥＲの正確な計算は、音源及びリスナの正確な（且つ時間的に変化する）位置に応じて、ＥＲを出現及び消失させることによってアーチファクトを生成するのに、困難かつ敏感となる場合もある。これは、ある音響環境から、異なる音響パラメータによって定義される別の環境に移動することによってシーンに入るときに一度計算された一定のＥＲパターンを使用することにより、回避することができる。

【0011】

本発明は、エンコーダ-ビットストリーム-レンダラのシナリオを利用する。あるケース（ａ）では、レンダラ単独で利用可能な室内音響パラメータを用いて、デフォルトの単純ＥＲパターンを計算することができる。これらのパラメータは、音源-リスナ間の距離及び音源-リスナ間の方位角によって、リアルタイムで調整される。ケース（ｂ）では、シーンの幾何学的形状が、エンコーダ内で、より高度な方法で事前解析される。次いで、少数のＥＲのうちの単純なＥＲパターンが、エンコーダで事前計算され、ビットストリームでレンダラに送信される。ここでは、（ａ）のケースと同様の方法で、リスナ距離及び角度（又はレンダリング時に利用可能な他の情報）によって調整される。これらの２つのケースにより、後にさらなる解析知識をエンコーダに組み込むことができる、将来見込まれる幅広いアプローチに対する完全な柔軟性が与えられる。

【0012】

（動機）
室内インパルス応答（ＲＩＲ：room impulse response）は、音響環境（部屋）内の音源とレシーバ（リスナ）との間の関係を記述し、単位インパルスに対する部屋の応答を明示する（例えば、図２１参照）。室内インパルス応答は、直接音の経路、初期反射（ＥＲ）、及び拡散的な後期音部分から構成される。図２１は、音響室内シミュレーションプログラムＲＡＶＥＮを用いて生成された、２次のＥＲを有するモノラルＲＩＲの例を示す（非特許文献［７］）。

【0013】

特に、多くの表面によって定義される複雑な物理環境／部屋では、必要な視認性確認（「この音源は、リスナに対して直接視線内にあるか？」）による幾何学的に正しいＥＲの計算は、非常に時間がかかる。一方、人間の聴覚知覚が、直接音に関するＥＲについての多くの詳細を抑制すること（第１波面の法則、先行音効果、シーン解析（非特許文献［８］及び［９］）、またしたがって、多くの場合、納得のいくレンダリング品質を達成するのに、インパルス応答におけるＥＲ部分の正確なモデリングは必要ないことが知られている（例えば、非特許文献［６］）。聴覚系は、ＥＲを利用して、いくつかの知覚的属性を決定又は精緻化する。その中には、以下のものが存在する。
・レシーバに対する音源の位置
・音源‐レシーバ間距離
・みかけの音源の幅（ＡＳＷ）
・境界のレベル及び周波数依存吸収（非特許文献［１０］）
・閉じた境界に対する近接度

【0014】

（発明の背景）
ＥＲ計算を単純化するためのいくつかのアプローチが知られている。第１のアプローチは、ＥＲの計算を完全に回避するだけ、すなわち、シミュレートされたＥＲのない音をレンダリングすること、すなわち、直接音及び後期残響のみをレンダリングすることである（図２２参照）。後期残響は、いわゆるプリディレイ時間に開始する。図２２は、直接音と、プリディレイ時間０．１３ｓに開始する後期残響と、を有するＲＩＲを示しており、ＥＲはない。

【0015】

次の可能性は、幾何学的に厳密な１次反射のみを計算することである（図２３参照）。靴箱状の部屋では、こうすることで、ＥＲの数が約２７から６に減少する。図２３は、１次反射と、後期残響（左側）と、平面図（右側）とを有するＲＩＲを示している。正方形（赤）は音源であり、円（青）はレシーバであり、円と正方形を結ぶライン（赤）は直接音であり、円から出てくるさらなるライン（青）は残響であり、長さは対数レベルに比例する。

【0016】

次の可能性は、直接音と並んだ２つのＥＲだけである（図２４参照）。ＡＳＷに対する側方反射の影響は、コンサートホール音響学により知られている（非特許文献［１１］）。これは、真の幾何学的シミュレーションと比較して、計算が非常に簡単であることに留意されたい。図２４は、直接音に並んだ２つの反射を有するＲＩＲと（左）、上面図（右）を示す。

【0017】

次のパターンでは、２つのサイド（側方）反射が、直接音の各サイドへの４つの反射と、それぞれが（±４５°及び±１３５°にある）４つの反射から構成される４つの固定音源位置独立反射配列とによって置き換えられる（図２５参照）。このパターンは、ＳＰＡＴアルゴリズムによって着想を得ているが（非特許文献［１］及び［５］）、すべての詳細、特にすべての入力パラメータの効果を実装しているわけではない。このパターン用のパラメータは、特に、ＡＳＷのような知覚レシーバの属性を生成するように定義される。ＲＴ６０の他に、室内音響特性は使用されない。図２５は、「ＳＰＡＴ」パターンを有するＲＩＲ（左）、及び上面図（右）を示す。クロス部分（緑色及び青色）はＥＲである。

【0018】

前述のアプローチは、ＥＲパターンを定義する入力パラメータが知覚パラメータとなるように設計される。知覚パラメータは、ＥＲによって引き起こされるリスナの知覚を記述する必要がある。欠点は、ルーム関連パラメータにあいまいにしか適応しないことである。音源の存在、音源の温かさ、音源の輝き、部屋の存在、動的残響、包み込まれた感じ、及び残響などの知覚的に定義されたパラメータを設定するには、音響工学の知識及び経験が必要である。このことは、リアルタイムＶＲ／ＡＲシステムの物理的特性を定義し、且つ、知覚音エンジニアリングの経験を持っていない設計者にとって、明らかな欠点である。特に、ＶＲ用途の場合、仮想物理空間の幾何学的形状は、視覚化プロセスの副産物としてよく知られていることが多い。また、ＳＰＡＴアルゴリズムで知られている屋外環境用のＥＲパターンも存在しない。

【発明の概要】

【発明が解決しようとする課題】

【0019】

本発明の目的は、ＥＲパターンを定義するための室内音響及び物理パラメータを明示的に使用することによって、最新技術の欠点を回避することである。さらに、部屋の特性に応じて異なるパターンが定義され、これらのパターンは、（幾何学的形状の正確な記述が困難な）屋外環境にも適している。パターンは、部屋のサイズ又はその他の物理パラメータに応じて、異なる数のＥＲを有する。

【0020】

新しいＥＲパターンは、
・「現実の」ＥＲに比べて知覚的にもっともらしいレンダリング
・「現実の」ＥＲ計算に比べて計算量が減少すること
・部屋の物理特性に応じたＥＲパターンの適応
・必要なパラメータを設定するのに、特定の音響工学スキル及び経験を必要としないこと
・屋内及び屋外用の別々のＥＲパターン
・（ビットストリームの送信を含むエンコーダ／ビットストリーム／レンダラシナリオの場合）レンダラ内で所定のパターンが計算される場合、追加のサイド情報が必要ないこと
・（ビットストリームの送信を含むエンコーダ／ビットストリーム／レンダラシナリオの場合）、事前定義されたパターンが、エンコーダ内でシーン形状から計算される場合、必要とされる追加の側方情報が非常に少ないこと、
を特徴とする。

【0021】

これは、部屋の正確な幾何学的形状に依存せず、パラメータ化可能であるが固定された空間ＥＲパターンを使用することによって達成される。本発明の好ましい実施形態では、パターンは、部屋内のリスナ位置にも依存しない。代わりに、１つ（又は数個）の全体特性パラメータのみが、ＥＲパターンを構成するために使用される。このようにして、極めて効率的にパターンをレンダリングすることができる。

【0022】

以下の新たに発明されたＥＲパターンでは、具体的には、ＲＴ６０、プリディレイ時間、部屋の寸法又は部屋の容積、及びパターン構成用のＲＴ６０の周波数依存性のような、室内音響パラメータが使用される。ＥＲパターンは、直接音と後期残響との間に（時間的に）滑らかな遷移を作り出すように定義される。ニュートラルな音色にする必要がある。ＥＲパターンは部屋の容積と表面に依存する。ＥＲパターンは、部屋の中の音源及び受信機の位置に依存しない。

【0023】

本発明の目的は、室内音響パラメータ全体に適合し、リスナにとってもっともらしく且つ納得のいく知覚を作り出すことである。これは、特にリスナが「現実の」物理的に正確なＥＲのレンダリングと直接比較する可能性がないので、ほとんどの使用事例で十分である。

【課題を解決するための手段】

【0024】

本発明の第１の態様によれば、本出願の発明者らは、オーディオ信号の初期反射（ＥＲ）レンダリングを利用しようとするときに遭遇する１つの問題は、初期反射が音源位置とリスナ位置との間の関係に依存する、という事実に起因することを認識した。本発明者らは、レンダリング結果が依然として非常に良好であると同時に、ＥＲレンダリングがより容易になるように、例えば床反射なしに、音源位置非依存ＥＲパターンを考慮することが可能であることを見出した。レンダリングに使用される室内インパルス応答の初期反射部分は、初期反射パターンによってのみ決定される。音源とリスナの間の空間的関係は、室内インパルス応答の初期反射部分に対しては考慮されない。さらに、初期反射パターンにおける初期反射位置は、リスナ頭部の向きの変化に関して不変である。このことは、リスナが、音源を見るか、それとも任意の他の方向を見るかにかかわらず、室内インパルス応答の初期反射部分を決定するために、同一のＥＲパターンを使用することが可能であるという発見に基づく。

【0025】

したがって、本出願の第１の態様によれば、サウンドレンダリング用の装置が、リスナ位置及び音源位置に関する情報を受信するように構成される。装置は、室内インパルス応答を使用して、音源のオーディオ信号をレンダリングするように構成され、室内インパルス応答の初期反射部分は、初期反射パターンによってのみ決定される。初期反射パターンは、初期反射位置のコンステレーション／配座群（constellation）を示し、例えば、コンステレーションは、これらの位置同士を接続するライン間の角度の観点から定義するとともに、位置のセットを示し、同義語は、「パターン」とする。初期反射パターンは、初期反射位置が、リスナ位置の周囲に、且つ、リスナ位置から角度方向に位置するように、リスナ位置に配置され、角度方向がリスナ頭部の向きの変化に対して不変である、すなわち、コンステレーションは、リスナ位置に平行移動的に配置される。

【0026】

本発明の第２の態様によれば、本出願の発明者らは、オーディオ信号の初期反射（ＥＲ）レンダリングを利用しようとする際に遭遇する１つの問題は、屋外環境用の初期反射パターンが、非常に個別的であり、シーンの物理的設定に依存する、という事実に起因することを認識した。本発明者らは、環境の中程度の解析を利用して生成されたＥＲパターンが、音響的に納得がいくが、計算的には中程度のＥＲレンダリング結果をもたらすことができることを見出した。

【0027】

したがって、本出願の第２の態様によれば、サウンドレンダリング（描出）用の初期反射パターンを決定するための装置が、音響環境の幾何解析を実行するように構成され、幾何解析は、１つ以上の解析位置のそれぞれにおいて、各解析位置からの異なる距離のそれぞれに対して、初期反射寄与を表す値を示す関数を決定すること、及び、１つ以上の最大値に関して、関数又は関数から導出されるさらなる関数を検査して、１つ以上の制御パラメータを導出すること、によって実行される。付加的に、装置は、１つ以上の制御パラメータを使用して初期反射位置を配置することによって、初期反射位置のコンステレーションを示す初期反射パターンを決定するように構成される。

【0028】

本発明の第３の態様によれば、本出願の発明者らは、オーディオ信号の初期反射（ＥＲ）レンダリングを利用しようとする際に遭遇する１つの問題が、レンダリング用のオーディオシーンの初期反射パターンの伝送が、高いシグナリングコストをもたらす可能性があるという事実に起因することを認識した。本発明者らは、ビットストリームヒントを使用することによって、ＥＲパターンを生成することができ、その結果、音響的に納得がいくが、計算的には中程度なＥＲレンダリング結果が得られることを見出した。完全なＥＲパターンを送信する必要がないので、ビットストリームにおいてヒントのみを使用することによって、シグナリングコストを低減することができる。

【0029】

したがって、本出願の第３の態様によれば、サウンドレンダリング用の装置が、リスナ位置及び音源位置に関する第１情報を受信するように構成される。装置は、音源位置に配置された音源のオーディオ信号の表現と、１つ以上の初期反射パターンパラメータと、を含むビットストリームを受信し、また例えば、ビットストリームから、オーディオ信号の表現及び初期反射パターンパラメータを読み取るように構成される。例えば、ビットストリームは、ビットストリームのヘッダ又はメタデータフィールド内に初期反射パラメータを有するオーディオビットストリーム、又は、ファイルフォーマットストリームのパケット若しくはファイルフォーマットストリームのトラック内に初期反射パラメータを有し、オーディオ信号を表すオーディオビットストリームを含むファイルフォーマットストリームである。付加的に、装置は、１つ以上の初期反射パターンパラメータに応じて、初期反射位置のコンステレーションを示す初期反射パターンを決定するように構成される。さらに、装置は、室内インパルス応答を使用して、音源のオーディオ信号をレンダリングするように構成され、室内インパルス応答の初期反射部分は、初期反射パターンによって決定される。初期反射パターンは、初期反射位置のコンステレーションを示し、例えば、コンステレーションは、これらの位置同士を接続するライン間の角度の観点から位置の相互配置を定義するとともに、位置のセットを示し、同義語は、「パターン」とする。初期反射パターンは、初期反射位置が、リスナ位置の周囲に、且つ、リスナ位置から角度方向に位置するように、リスナ位置に配置され、角度方向がリスナ頭部の向きの変化に対して不変である、すなわち、コンステレーションは、リスナ位置に平行移動的に配置される。

【0030】

本発明の第４の態様によれば、本出願の発明者らは、オーディオ信号の初期反射（ＥＲ）レンダリングを利用しようとする際に遭遇する１つの問題は、壁の幾何学的形状、遮蔽物、及び物理的に正確な反射パターンを計算するためのその他の効果を考慮に入れて、音源からリスナへの各反射を決定するのに、膨大な量の計算を費やされなければならないという事実に起因することを認識した。本発明者らは、部屋の寸法、部屋の容積又はプリディレイのような単純な室内音響パラメータを利用して、初期反射パターン内の初期反射位置の数を決定することができることを見出した。初期反射は、部屋の音響パラメータに応じて近似できるので、シーンの現実の初期反射を解析する必要はない。本発明者らは、室内音響パラメータに対するＥＲ数の依存性によるＥＲパターンの生成が、音響的に説得力があるが、計算的には中程度なＥＲレンダリング結果をもたらすことを見出した。

【0031】

したがって、本出願の第４の態様によれば、サウンドレンダリング用の初期反射パターンを決定するための装置は、音響環境の音響特性を表す少なくとも１つの室内音響パラメータを受信するように構成される。装置は、初期反射位置の数が少なくとも１つの室内音響パラメータに依存するように、初期反射位置のコンステレーションを示す初期反射パターンを決定するように構成される。

【0032】

本発明の第５の態様によれば、本出願の発明者らは、オーディオ信号の初期反射（ＥＲ）レンダリングを利用しようとする際に遭遇する１つの問題は、各音源が異なる初期反射パターンに関連付けられるという事実に起因することを認識した。本発明者らは、異なる音源の信号に対して異なるＥＲパターンを使用する必要がないことを見出した。このことは、ＥＲパターンに基づいて加重和をレンダリングするように、音源-リスナ間の関係に基づいて信号を重み付けし且つ合計することが可能である、という着想に基づいている。本発明者らは、２つ以上の音源に対するＥＲパターンの使用によるＥＲレンダリングが、音響的に説得力があるが、計算的には中程度なＥＲレンダリング結果をもたらすことを見出した。

【0033】

したがって、本出願の第５の態様によれば、サウンドレンダリング用の装置が、リスナ位置、第１音源位置及び第２音源位置に関する情報を受信するように構成される。装置は、室内インパルス応答を使用して、２つの音源のオーディオ信号をレンダリングするように構成され、室内インパルス応答の初期反射部分は、初期反射パターンによって決定される。初期反射パターンは、初期反射位置のコンステレーションを示し、例えば、コンステレーションは、これらの位置同士を接続するライン間の角度の観点から位置の相互配置を定義するとともに、位置のセットを示し、同義語は、「パターン」とする。初期反射パターンは、初期反射位置が、リスナ位置の周囲に、且つ、リスナ位置から角度方向に位置するように、リスナ位置に配置され、角度方向は、リスナ頭部の向きの変化に対して不変である、すなわち、コンステレーションは、リスナ位置に平行移動的に配置される。装置は、第１音源位置に配置された第１音源の第１オーディオ信号と、第２音源位置に配置された第２音源の第２オーディオ信号との加重和を形成することによって、２つの音源のオーディオ信号をレンダリングするように構成される。加重和は、第１音源位置とリスナ位置との間の第１距離が、第２音源位置とリスナ位置との間の第２距離よりも小さい場合、第２オーディオ信号を第２オーディオ信号よりも大きく重み付けし、第１距離が第２距離よりも大きい場合、第２オーディオ信号を第１オーディオ信号よりも大きく重み付けする。さらに、装置は、初期反射位置から加重和をレンダリングすることによって、室内インパルス応答の初期反射部分に関連する初期反射寄与ラウドスピーカ信号を生成することにより、２つの音源のオーディオ信号をレンダリングするように構成される。

【0034】

本発明の第６の態様によれば、本出願の発明者らは、オーディオ信号の初期反射（ＥＲ）レンダリングを利用しようとする際に遭遇する１つの問題は、物理的に正確な反射パターンを計算するために、壁の幾何学的形状、遮蔽物及びその他の効果を考慮に入れて、音源からリスナへの各反射を決定するのに、膨大な量の計算を費やされなければならないという事実に起因することを認識した。本発明者らは、部屋の寸法、部屋の容積又はプリディレイのような単純な室内音響パラメータを利用して、初期反射の位置を定義する関数をパラメータ化することができることを見出した。初期反射は、室内音響パラメータに応じて近似できるので、シーンの現実の初期反射を解析する必要はない。さらに、螺旋関数（spiral functions）が、初期反射位置の良好な分布を提供することが判明した。本発明者らは、１つ以上の螺旋関数を使用するＥＲパターン生成が、知覚的に説得力があるが、計算的には中程度のＥＲレンダリング結果をもたらすことを見出した。

【0035】

したがって、本出願の第６の態様によれば、サウンドレンダリング用の初期反射パターンを決定するための装置が、音響環境の音響特性を表す少なくとも１つの室内音響パラメータを受信し、また、リスナ位置を中心とする１つ以上の螺旋関数をパラメータ化することによって、初期反射位置のコンステレーションを示す初期反射パターンを決定し、且つ１つ以上の螺旋関数を使用して初期反射位置を配置するように構成される。

【0036】

図面は必ずしも縮尺通りではなく、代わりに、本発明の原理を例示することが全体的に重視される。以下の説明では、本発明の様々な実施形態が、以下の図面を参照して説明される。

【図面の簡単な説明】

【0037】

【図1】初期反射パターンの実施形態を示す。

【図2】螺旋関数を使用して決定される初期反射パターンの実施形態を示す。

【図3】図３aは、時間に対する初期反射パターンの実施形態を示す。図３ｂは、上から見た空間図に対する初期反射パターンの実施形態を示す。図３ｃは、周波数依存性に対する初期反射パターンの実施形態を示す。

【図4】リスナ、直接音源及び反射の間のレベルの関係を示す。

【図5】エンコーダ／デコーダ／レンダラにおける単純なＥＲアルゴリズムの実施形態を示す。

【図6】環境を解析することによって初期反射パターンを決定するための装置を示す。

【図7】４つの初期反射位置を有するＥＲパターンの実施形態を上から見た空間図を示す。

【図8】屋外シーンの幾何解析を示す。

【図9】解析地点のメッシュを示す。

【図10】いくつかの解析地点にわたって平均化された、距離に対する反射面の分布を示す。

【図11a】屋外ＥＲパターンの第１実施形態を示す。

【図11b】屋外ＥＲパターンの第２実施形態を示す。

【図12】distAlphaの値が異なる点音源の、距離に対する振幅の減少を示す。

【図13】距離加重法を用いて異なる音源を１つの音源信号に合計することを図示するブロック図を示す。

【図14】リスナ、２つの直接音源、及び合計された反射の間のレベル関係を示す。

【図15】全体的なレンダリング処理を例示的に示す。

【図16】サウンドレンダリング用の装置の実施形態を示す。

【図17】ＥＲパターンパラメータを使用するサウンドレンダリング用の装置の実施形態を示す。

【図18】屋内音響パラメータに応じてＥＲパターンを決定するための装置の実施形態を示す。

【図19】２つ以上の音源信号の加重和をレンダリングするための装置の実施形態を示す。

【図20】螺旋関数を使用してＥＲパターンを決定するための装置の実施形態を示す。

【図21】室内音響シミュレーションプログラムＲＡＶＥＮを用いて生成されたモノラルな２次ＲＩＲの例を示す。

【図22】直接音と、プリディレイ時間０．１３ｓに開始する後期残響とを有し、ＥＲがないＲＩＰを示す。

【図23】１次反射及び後期残響を有するＲＩＰ（左）と、ＲＩＰの上面図（右）とを示す。

【図24】直接音に並んだ２つの反射を有するＲＩＲ（左）と、ＲＩＰの上面図（右）とを示す。

【図25】「ＳＰＡＴ」パターンを有するＲＩＲ（左）と、ＲＩＰの上面図（右）とを示す。

【発明を実施するための形態】

【0038】

以下の説明では、同一若しくは同等の要素、又は同一若しくは同等の機能を有する要素は、異なる図面に存在する場合であっても、同一又は同等の参照符号によって示される。

【0039】

以下の説明では、本発明の実施形態のより完全に説明するために、複数の詳細が記載される。しかしながら、本発明の実施形態がこれらの特定の詳細がなくとも実施可能であることは、当業者には明らかであろう。他の例では、本発明の実施形態を不明瞭にすることを避けるために、周知の構造及びデバイスは、詳細にではなくブロック図の形式で示されている。さらに、本明細書で後述する異なる実施形態の特徴は、特に断りのない限り、互いに組み合わせることができる。

【0040】

以下では、初期反射処理概念を使用する際に、オーディオレンダリングの複雑性の低減を達成することに役立つ可能性のある様々な例について説明する。本明細書で説明する簡略化された初期反射処理概念は、例えば、ヒューリスティックに設計された他の初期反射処理概念に追加されてもよく、又は排他的に提供されてもよい。

【0041】

本出願の以下の実施形態の理解を容易にするために、本発明の実施形態による、初期反射パターン１の全体的な提示から説明を開始する。図１の初期反射パターン１に関して記載された特徴は、本明細書に記載されている任意の他の初期反射パターン１にも適用することができる。

【0042】

初期反射パターン１は、初期反射位置ＥＲＰ（ＥＲＰ_１及びＥＲＰ_２を参照）のコンステレーション／配座群（constellation）を示す。例えば、コンステレーションは、位置ＥＲＰのセットを示すと共に、位置ＥＲＰの相互配置を、例えばこれらの位置とパターン１の中心２とを接続するライン間の角度αの観点から定義するものとする。コンステレーションの同義語は「パターン」とする。

【0043】

初期反射位置ＥＲＰ、すなわち、初期反射の位置は、オーディオ信号の初期反射が生じ得る環境５内、例えば、屋内の部屋又は屋外の領域内における位置を示し又は特定することができる。例えば、初期反射パターン１の中心２に位置するリスナは、初期反射位置ＥＲＰから来る初期反射を知覚することができる。すなわち、初期反射位置ＥＲＰは、初期反射パターン１の中心に位置するリスナが、その位置からの初期反射を受け取る位置を示すことができる。

【0044】

初期反射パターン１は、例えば、初期反射位置ＥＲＰが、リスナ位置１０の周囲に、且つ、リスナ位置１０から角度方向に位置するように、リスナ位置１０に配置され、角度方向は、リスナ頭部の向きの変化に対して不変である、すなわち、コンステレーションがリスナ位置１０に平行移動的に配置される。例えば、初期反射位置ＥＲＰは、リスナ位置１０の周囲に、ほぼ均一に角度的に分布するように決定されてもよい。

【0045】

一実施形態によれば、初期反射パターン１、すなわち初期反射位置ＥＲＰは、各初期反射位置ＥＲＰ_１／ＥＲＰ_２とリスナ位置１０とを接続するライン（図１の７及び８を参照）が互いに重ならない、すなわち、互いに別々となるように、決定されてもよい。こうすることで、均一な分布が可能になり、環境５内で初期反射位置が積み重なることが防がれる。

【0046】

図１に示すように、初期反射パターン１の中心２は、リスナ位置１０に配置されてもよい。初期反射パターン１の中心２は、リスナ位置１０とリンクされてもよく、また初期反射パターン１は、リスナと共に平行移動してもよい。しかしながら、リスナが回転運動しても、初期反射位置ＥＲＰは変化しない、すなわち、初期反射パターン１は、リスナの回転運動に従わない。

【0047】

一実施形態によれば、初期反射位置ＥＲＰは、リスナ位置１０と共に、水平面内に存在する。

【0048】

一実施形態によれば、オーディオレンダリング用又は初期反射パターン１の生成用の装置は、レンダリングされることになるオーディオ信号の表現を含むビットストリーム内のパターン方位パラメータに従ってコンステレーションの方位回転を調整することによって、初期反射位置ＥＲＰを決定するように構成されてもよい。言い換えれば、完全な初期反射パターン１は、例えば特定の環境５における、現実の初期反射をより十分に近似するように回転されてもよい。この方位回転は、運動、例えばリスナの回転運動に反応して実行されることはない。コンステレーションの方位回転の調整は、初期反射パターン１の初期決定時に実行されてもよい。初期反射パターン１がいったん決定されたら、全ての初期反射位置ＥＲＰは、リスナ位置１０の平行移動に反応して、同一の平行移動のみを行ってもよい。パターン１の中心２に対する初期反射位置ＥＲＰの配置は、コンステレーションの方位回転の調整を利用して決定されてもよい。パターン１は、いったん決定されたら、それ以上調整されなくてもよい、すなわち、リスナ位置が移動しても、初期反射位置ＥＲＰと、パターン１の中心２との間の相対的配置は変化しない。

【0049】

一実施形態によれば、初期反射パターンの決定時に、音響環境の音響特性を表す少なくとも１つの室内音響パラメータが考慮されてもよい。少なくとも１つの室内音響パラメータは、部屋の寸法、部屋の容積、及び後期残響までのプリディレイ時間のうちの１つ以上を含む。好ましくは、少なくとも１つの室内音響パラメータは、音響環境におけるこれらの音響特性のうちの１つのみを含む。少なくとも１つの室内音響パラメータは、ビットストリーム、例えば、初期反射パターン１を使用してレンダリングされることになるオーディオ信号の表現を含むビットストリームから、受信され又は読み取られてもよい。

【0050】

一実施形態によれば、初期反射パターン１は、初期反射位置の数が少なくとも１つの室内音響パラメータに依存するように、且つ／又は、初期反射位置の相互間隔が少なくとも１つの室内音響パラメータに応じて変化／適合されるように、決定することができる。例えば、初期反射位置の相互間隔は、リスナ位置を中心とする中心拡張によって変化する。

【0051】

一実施形態によれば、パターン１の初期反射位置ＥＲＰの数は、
・部屋の寸法が大きくなるほど、初期反射位置の数が大きくなるように且つ／又はリスナ位置から最も遠い初期反射位置がより遠くに離間するように、又は
・部屋の容積が大きくなるほど、初期反射位置の数が大きくなるように且つ／又はリスナ位置から最も遠い初期反射位置がより遠くに離間するように、又は
・後期残響までのプリディレイ時間が大きくなるほど、初期反射位置の数が大きくなるように且つ／又はリスナ位置から最も遠い初期反射位置がより遠くに離間するように、
決定することができる。

【0052】

「リスナ位置から最も遠い初期反射位置」は、「初期反射位置のうちの最も離れた位置からリスナ位置までの距離」であることが理解される。一実施形態によれば、初期反射位置ＥＲＰは、パターン１の中心２の近傍に配置され、また、パターン１により多くの初期反射位置ＥＲＰが含まれるほど、中心２から最も遠い初期反射位置がより遠くに離間することになる。

【0053】

一実施形態によれば、部屋の寸法、部屋の容積、又は後期残響までのプリディレイ時間が増加するにつれて、各初期反射位置ＥＲＰから中心２までの距離を均一に増加させることにより、初期反射位置ＥＲＰの相互間隔を、少なくとも１つの室内音響パラメータに応じて変更／適合させることができる。随意的には、部屋の寸法が大きいほど、又は部屋の容積が大きいほど、又は後期残響までのプリディレイ時間が大きいほど、初期反射位置ＥＲＰのうちの最も離れた位置からリスナ位置１０までの距離が大きくなるように、且つ、その距離がプリディレイ時間よりも小さくなるように、初期反射位置ＥＲＰの相互間隔を、少なくとも１つの室内音響パラメータに応じて変更／適合することができる。こうすることで、初期反射位置ＥＲＰの均一な分布が可能になり、したがって、音響的に納得のいくＥＲレンダリング結果が可能になる。部屋の寸法、部屋の容積、又は後期残響までのプリディレイ時間の増加に伴って、初期反射位置ＥＲＰのうちの最も離れた位置からリスナ位置１０までの距離が、初期反射位置ＥＲＰのうちの最も近い位置からリスナ位置１０までの距離よりも増加する場合、これは有利となる可能性がある。

【0054】

図２は、オーディオ信号の初期反射処理に利用可能な初期反射パターン１の一実施形態を示す。初期反射パターン１は、初期反射位置ＥＲＰを含む（図２のＥＲＰ１_１～ＥＲＰ１_５（ＥＲＰ１）及びＥＲＰ２_１～ＥＲＰ２_５（ＥＲＰ２）を参照）。図２は、１０個の初期反射位置ＥＲＰを例示的に示す。しかしながら、初期反射パターン１が異なる数の初期反射位置ＥＲＰを含むことができることは明らかである。初期反射パターン１は、２つ以上の初期反射位置ＥＲＰ、例えば、初期反射位置ＥＲＰ１_１及びＥＲＰ２_１のみを含んでもよい。

【0055】

図２に示すように、リスナ位置、すなわち中心２を中心とする２つの螺旋関数３及び４は、初期反射の位置、すなわち初期反射位置ＥＲＰ、例えば環境５内の初期反射位置ＥＲＰを定義することができる。しかしながら、代替的に、ただ１つの螺旋関数３又は４によって、又は２つ以上の螺旋関数によって、初期反射の位置を定義できることは明らかである。オーディオレンダリング用又は初期反射パターン１の生成用の装置は、環境５における初期反射パターン１を決定するために、１つ以上の螺旋関数３、４を使用して初期反射位置ＥＲＰを配置するように構成されてもよい。たとえば、各装置は、第１螺旋関数３を使用して、第１セットの初期反射位置ＥＲＰ１（ＥＲＰ１_１～ＥＲＰ１_５を参照）を配置し、また第２螺旋関数４を使用して、第２セットの初期反射位置ＥＲＰ２（ＥＲＰ２_１～ＥＲＰ２_５）を配置するように構成されてもよい。

【0056】

第１セットの初期反射位置ＥＲＰ１はそれぞれ、対応する第２セットの初期反射位置ＥＲＰ２に関連付けられる。例えば、初期反射位置ＥＲＰ１_１は、対応する初期反射位置ＥＲＰ２_１に関連付けられてもよく、初期反射位置ＥＲＰ１_２は、対応する初期反射位置ＥＲＰ２_２に関連付けられてもよく、初期反射位置ＥＲＰ１_３は、対応する初期反射位置ＥＲＰ２_３に関連付けられてもよく、初期反射位置ＥＲＰ１_４は、対応する初期反射位置ＥＲＰ２_４に関連付けられてもよく、初期反射位置ＥＲＰ１_５は、対応する初期反射位置ＥＲＰ２_５に関連付けられてもよい。第１セットの初期反射位置ＥＲＰ１のそれぞれに対して、各初期反射位置ＥＲＰ１は、各初期反射位置ＥＲＰ１と、第２セットの初期反射位置ＥＲＰ２のうちの対応する初期反射位置ＥＲＰ２との間の接続ラインと垂直に交差するラインに対して互いに反対側に位置する。これにより、リスナが異なる方向からの初期反射を受信することが保証され、また１つの領域内に初期反射位置が積み重なることが防止される。螺旋関数を使用するこの配置により、環境５内で初期反射位置の均一な分布が可能になり、その結果、音響的に納得がいくが、計算的には中程度なオーディオ信号の初期反射レンダリング結果をもたらす。

【0057】

図２は、第１セットの初期反射位置ＥＲＰ１のそれぞれについて、第２セットの初期反射位置ＥＲＰ２のうちの対応する初期反射位置ＥＲＰ２が、接続ラインに対して角度的にオフセットされて、第１セットの初期反射位置ＥＲＰ１のうちのすべての初期反射位置ＥＲＰ１について共通の角度方向にオフセットされる例を示す。

【0058】

一実施形態によれば、オーディオレンダリング用又は初期反射パターン１の生成用の装置は、２つの螺旋関数３及び４を使用して、
・第１セットの初期反射位置ＥＲＰ１がそれぞれ、第２セットの初期反射ＥＲＰ２のうちの対応する初期反射位置に関連付けられ、また
・第１セットの初期反射位置ＥＲＰ１のそれぞれについて、各初期反射位置ＥＲＰ１が、パターン中心２及び第１セットの反射位置ＥＲＰ１のうちの各初期反射位置ＥＲＰ１を通過する軸線と、パターン中心２で垂直に交差する各ラインの一方側に配置され、第２セットの初期反射ＥＲＰ２のうちの対応する各初期反射位置ＥＲＰ２が、各ラインの反対側に配置され、また
・第２セットの初期反射位置ＥＲＰ２のうちの対応する各初期反射位置ＥＲＰ２が、各軸線に対して角度的にオフセット（対応する初期反射位置ＥＲＰ１_１及びＥＲＰ２_１に対するγを参照）されて、第１セットの初期反射位置ＥＲＰ１のうちのすべての初期反射位置ＥＲＰ１について共通であり、且つ／又は第２セットの初期反射位置ＥＲＰ２のうちのすべての初期反射位置ＥＲＰ２について共通である角度方向にオフセットされるように、
初期反射位置ＥＲＰ１及びＥＲＰ２を配置するように構成されてもよい。

【0059】

１つ以上の螺旋関数３、４は、初期反射位置ＥＲＰを極座標（ｒ、β）で定義することができる。第１セットの初期反射位置ＥＲＰ１のうちの初期反射位置ＥＲＰ１を定義するための（ｒ１_１～５、β１_１～５）と、第２セットの初期反射位置ＥＲＰ２のうちの初期反射位置ＥＲＰ２を定義するための（ｒ２_１～５、β２_１～５）を参照されたい。

【0060】

以下でより詳細に説明するように、特にセクション１「屋内ＥＲパラメータ計算」を参照すると、１つ以上の螺旋関数３、４は、少なくとも１つの室内音響パラメータに応じてパラメータ化することができる、すなわち、各螺旋関数３、４は、少なくとも１つの室内音響パラメータに依存する各初期反射位置ＥＲＰを定義する。少なくとも１つの室内音響パラメータは、部屋の寸法、部屋の容積、及び後期残響までのプリディレイ時間のうちの１つ以上を含む。少なくとも１つの室内音響パラメータは、音響環境５の音響特性を表すことができる。

【0061】

例えば、１つ以上の螺旋関数３、４は、
・部屋の寸法が大きくなるほど、又は部屋の容積が大きくなるほど、又は後期残響までのプリディレイ時間が大きくなるほど、初期反射位置ＥＲＰの数が大きくなるように、且つ／又は
・初期反射位置ＥＲＰのそれぞれについて、部屋の寸法が大きくなるほど、又は部屋の容積が大きくなるほど、又は後期残響までのプリディレイ時間が大きくなるほど、各初期反射位置ＥＲＰから初期反射パターン１の中心２までの距離が大きくなるように、
少なくとも１つの室内音響パラメータに応じてパラメータ化することができる

【0062】

一実施形態によれば、オーディオレンダリング用又は初期反射パターン１の生成用の装置は、部屋の寸法が大きくなるほど、又は部屋の容積が大きくなるほど、又は後期残響までのプリディレイ時間が大きくなるほど、初期反射位置のうちの最も離れた距離の位置からリスナ位置までの距離が大きくなり、その距離がプリディレイ時間よりも小さくなるように、１つ以上の螺旋関数をパラメータ化し且つ初期反射位置ＥＲＰの数を決定するように構成されてもよい。

【0063】

一実施形態によれば、オーディオレンダリング用又は初期反射パターン１の生成用の装置は、初期反射パターンの異なる決定を支援するように構成されてもよい。オーディオレンダリング用又は初期反射パターン１の生成用の装置は、環境５に応じて決定のタイプを選択するように構成されてもよい。例えば、１つ以上の螺旋関数３、４を使用して初期反射パターン１を決定すること、例えば第１の決定、及び／又は、初期反射位置の数が少なくとも１つの室内音響パラメータに依存するように初期反射パターン１を決定すること、例えば第１の決定は、部屋等の屋内環境に関連付けられてもよい（特に、セクション１「屋内ＥＲパラメータ計算」を参照）。音響環境５が屋内環境である場合、又はレンダリングされることになるオーディオ信号の表現を含むビットストリーム内のパターンタイプインデックスが所定の状態を仮定している場合に、このような決定、例えば第１の決定が選択されてもよい。別の決定、例えば、第２の決定は、セクション３「屋外ＥＲパターン」でより詳細に説明する。

【0064】

すでに上述したように、新たに発明された屋内用のＥＲパターン１の１つは、２つの螺旋から構成される（図３参照）。このパターン１は、クラスタリング（clustering）せずとも時間に対して均一な分布を提供しながら、リスナ１０の周囲の全ての方向をカバーするという利点を有する。初期反射（ＥＲ）の数は、部屋のサイズに適合させることができ、部屋のサイズは、後期残響のプリディレイからも導出することができる。また、ＲＴ６０の周波数依存性は、ＥＲの周波数依存性も定義することができる。ＲＴ６０、又は平均吸収係数は、通常の距離の影響に加えて、さらなる増幅も定義する。ＲＴ６０によって記述される全体的な吸収挙動に初期反射の周波数応答を適合させるために、ＲＴ６０の周波数依存性から、単純なシェルビング（shelving）フィルタが計算される。図３は、ａ）時間、ｂ）上から見た空間図、ｃ）周波数依存性、に対する新たなＥＲパターン１を示す。

【0065】

（１．屋内ＥＲパラメータ計算）
室内ＥＲパラメータ計算についての以下の説明は、図２及び図３を参照する。

【0066】

螺旋パターン、すなわち第１螺旋関数３及び第２螺旋関数４の可変パラメータは、主にプリディレイ時間によって設定される。例えば、使用されるのは、例えば、後期残響までのプリディレイ時間であり、プリディレイ時間は、例えば以下の通りである。

【数1】

【0067】

パラメータは、部屋のプリディレイに依存するように設定され、プリディレイは、後期残響の開始時間を定義し、以下の式（１）を用いて計算される。

【数2】

【0068】

第１螺旋関数３及び第２螺旋関数４を使用して、第１セットの初期反射位置ＥＲＰ１を極座標で（ｒ１；β１）として決定し、また第２セットの初期反射位置ＥＲＰ２を極座標で（ｒ２；β２）として決定することができる。２つの螺旋パターンを用いたＥＲ位置の方位角及び半径の計算は、以下の通りである。

【数3】

【0069】

一定のdistfactorは、上述の一定のdistFacに対応し得る。一実施形態によれば、distfactorは、少なくとも室内音響パラメータに基づいて決定することができ、例えば、後期残響までのプリディレイ時間が大きくなるほど、distfactorが大きくなるように、distfactorを決定することができる。

【0070】

図２から分かるように、極軸６が、初期反射パターン１の中心２を通っている。初期反射パターン１の原点、すなわち中心２は、極を表す。半直線が、極から基準方向に通っている、すなわち極軸６を表しており、第１セットの初期反射位置ＥＲＢ１のうちの初期反射位置ＥＲＢ１_{（１～５）}の角度座標を定義する方位角β１_{（１～５）}、及び第２セットの初期反射位置ＥＲＢ２のうちの初期反射位置ＥＲＢ２_{（１～５）}の角度座標を定義する方位角β２_{（１～５）}は、極軸６からの角度を表している。初期反射位置ＥＲＰ１の半径座標は、基準方向に向けられており、初期反射位置ＥＲＰの半径座標は、基準方向とは反対の方向に向けられている（図２及び式４及び式５参照）。

【0071】

サウンドレンダリング用の装置は、初期反射位置ＥＲＰからの１つ以上の音源のオーディオ信号のレンダリングを実行することによって、例えば、各初期反射位置からリスナ位置までの距離に応じてレベルを調整することによって（例えば、上記のamp1及びamp2の決定を参照）、室内インパルス応答の初期反射部分に関連する初期反射寄与ラウドスピーカ信号を生成するように構成されてもよい。例えば、第１セットの初期反射位置ＥＲＢ１のそれぞれについて、音源のオーディオ信号は、各初期反射位置ＥＲＢ１からレベルamp1でレンダリングされ、第２セットの初期反射位置ＥＲＢ２のそれぞれについて、音源のオーディオ信号は、各初期反射位置ＥＲＢ２からレベルamp2でレンダリングされる。

【0072】

反射の振幅は、影響を与えるいくつかの以下のパラメータ：
ａ）標準距離法（距離が倍増するにつれて係数２で低下）
ｂ）以下の式（６）による補正
に依存する。

【数4】

slDistanceは音源-リスナ間距離を表す。ampFac及びabsorptionという用語は定数を表す。

【0073】

図４から分かるように、反射と直接音源レベルとの間のレベル関係は固定されている。ここに示す５つの音源（１つの直接音源と４つの初期反射）のレベルは、ソース／リスナ間距離（sldistance）に対して上下に動く。図４は、リスナ、直接音源及び反射のレベル関係を示す。

【0074】

各初期反射位置からリスナ位置までの距離に応じて調整されたレベルで、各初期反射位置から来る音源のオーディオ信号をレンダリングすることは、
・各初期反射位置から音源のオーディオ信号がレンダリングされるレベルを、レベルオフセットを使用してオフセットすること（２０）、又はレベル係数で当該レベルを増幅することであり、レベルオフセット若しくはレベル係数は、全ての初期反射位置について共通であるものとする、該オフセット又は増幅すること、及び
・振幅補正係数（式６を参照）に従ってレベルオフセット又はレベル係数を設定すること
によって実行することができる。

【0075】

例えば、第１セットの初期反射位置ＥＲＢ１のそれぞれについて、音源のオーディオ信号が各初期反射位置ＥＲＢ１からレンダリングされるレベルamp1は、ampCorrection（式６参照）によってオフセットされ、また第２セットの初期反射位置ＥＲＢ２のそれぞれについて、音源のオーディオ信号が各初期反射位置ＥＲＢ２からレンダリングされるレベルamp2は、ampCorrection（式６参照）によってオフセットされる。振幅補正係数、すなわち、式６のampCorrectionは、オーディオ信号の表現を含むビットストリームに含まれてもよい。一実施形態によれば、振幅補正係数は、１つ以上の初期反射パターンパラメータに含まれる。

【0076】

一実施形態によれば、各初期反射位置からリスナ位置までの距離に応じてレベルを調整する方式で、各初期反射位置から音源のオーディオ信号をレンダリングすることは、距離減衰（amp1及びamp2）に従って、音源位置からオーディオ信号をレンダリングするための装置によって使用されるレベル調整に対して、各初期反射位置からリスナ位置までの距離に応じてレベル調整を修正することにより実行することができる。距離減衰は、オーディオ信号の表現を含むビットストリームに含まれてもよい。一実施形態によれば、この減衰は、１つ以上の初期反射パターンパラメータに含まれる。

【0077】

図４から分かるように、レンダリング時に、音源のオーディオ信号が各初期反射位置からレンダリングされるレベルは、オフセット２０であり、同一のオフセットが、初期反射パターン１のすべての初期反射位置ＥＲＰに適用される。付加的に、レンダリング時に、音源のオーディオ信号が各初期反射位置からレンダリングされるレベルは、各初期反射位置とリスナとの間の距離に応じて、例えば、補正距離法を使用して減衰されてもよい。

【0078】

単一の音源のオーディオ信号について上述したように、このレンダリング技術を、２つ以上の音源の２つ以上のオーディオ信号に適用することも可能であり、特殊なレンダリングは、２つ以上のオーディオ信号の加重和に適用される。加重和の計算は、セクション５でより詳細に説明する。

【0079】

（２．ＶＲシステムにおける実装形態）
図５は、エンコーダ／デコーダ環境における単純ＥＲソフトウェアアルゴリズムの構造図を示す。図５は、エンコーダ及びデコーダ／レンダラにおける単純なＥＲアルゴリズムの実装形態を示す。まず、予め定義されたＥＲパターンを使用するか否かが決定される。次の決定は、ＥＲパターンが屋内用か屋外用かを決定する。屋内パターンの場合、さらなるパラメータを送信する必要はない。ＥＲパターンは、既に存在する音響シーンパラメータから計算される。屋外パターンの場合、シーンの幾何学的形状が解析され、これらのパラメータが送信され、またＥＲ屋外パターンがデコーダ内で計算される。詳細については、セクション３を参照。ある音響環境から次の音響環境への遷移については、セクション４を参照。１つのシーン内における複数の音源の処理については、セクション５を参照。

【0080】

（３．屋外ＥＲパターン）
図６に示される実施形態は、サウンドレンダリング用の初期反射パターン１を決定するための装置１００に関し、この装置は、１つ以上の解析位置５０（５０_１～５０_５を参照）のそれぞれにおいて、各解析位置５０からの異なる距離１１４のそれぞれに対して、初期反射寄与を表す値１１６を示す関数１１２を決定することによって、音響環境５の幾何解析１１０を実行するように構成される。関数１１２又は関数１１２から導出されるさらなる関数は、１つ以上の最大値１１８に関して解析されて、１つ以上の制御パラメータ１２０を導出する。さらに、装置１００は、１つ以上の制御パラメータを使用して初期反射位置を配置することによって、初期反射位置ＥＲＰ（ＥＲＰ_１～ＥＲＰ_４を参照）のコンステレーション／配座群（constellation）を示す初期反射パターン１を決定するように構成される。装置１００の特徴は、以下でより詳細に説明される。

【0081】

具体的には、屋外シーンの場合（屋外シーンに限定されるわけではないが）、ほぼ交差するように配置される４つのＥＲを有する新しいパターン１が設計される（図７参照）。図７は、４つの初期反射位置ＥＲＰ_１～ＥＲＰ_４を有する新しいＥＲパターン１の、上から見た空間図を示す。異なる距離、すなわち、各初期反射位置と中心２との間における個別の距離は、シーン、すなわち環境５の幾何解析１１０から導出されるプリディレイ時間及び圧縮係数によって定義することができる。

【0082】

屋外環境用のＥＲパターンの使用は、非常に個別的であり、シーンの物理的設定に依存する。以下に説明する幾何解析１１０は、ＥＲの知覚に関連する屋外シーン、すなわち環境５の、知覚的に重要な特徴を捕捉する。

【0083】

図８は、屋外シーンの幾何解析を示す。a）は、解析地点の周囲のリングの上面図である。ｂ）は、解析地点の周囲の側面図であり、リングの高さが増加している。中心リスニング地点、例えば、解析地点５０から、同心円状のリングが配置される。半径及び高さによって定義されるリングの領域は、この距離における最大可能反射エネルギーを表している（図８参照）。リング間には間隔ｄ（例えば、３ｍ）が存在する。角度間隔α（例えば、６°）を有する半直線が、解析地点５０から送り出される。衝突した第１の表面は、この距離で既存の反射表面にカウントされ、リング全体にわたって合計される。このアプローチにより、各解析位置５０からの異なる距離のそれぞれについての、初期反射寄与を表す値を示す関数１１２を決定することが可能である。この関数は、解析地点５０毎に決定されてもよい。

【0084】

言い換えれば、最も近い反射面距離に関して音響環境５を径方向にサンプリングして、径方向サンプリング結果を取得する。付加的に、関数１１２を取得するために、径方向サンプリング結果にわたる径方向積分及び径方向サンプリング結果の重み付けが実行されてもよい。重み付けは、距離の増加に伴って初期反射寄与が減少するように、径方向距離に従って実行されてもよい。

【0085】

図９は、解析地点５０のメッシュを（ａ）上面図、及び（ｂ）側面図で示す。一点鎖線は、シーンのユーザ到達可能領域、すなわち環境５を示す。ユーザ到達可能領域の内部には、いくつかの（例えば、９個の）解析地点が配置されている（図９参照）。いくつかの地点は、シーンの幾何学的メッシュの内側にあり、また除外する必要があるので、メッシュは３Ｄメッシュである。

【0086】

代替的に、各解析地点について各関数１１２を解析するために、１つ以上の解析位置で決定された関数１１２を合計、例えば平均にかけて、図１０に示されるさらなる関数１１２’を得ることが、効率の観点から有利である。すべてのメッシュ点にわたるデータを平均化し、また分布を解析することができる。これは、空間及び距離にわたる屋外反射エネルギーを表している（図１０参照）。図１０は、いくつかの解析地点５０にわたって平均化された、距離に対する反射表面積の分布を示す。

【0087】

図１０から分かるように、個々の解析地点に関連付けられた関数から導出されるさらなる関数１１２’が、２つの最大値に関して検査されて、１つ以上の制御パラメータ１２０として、２つの最大値のうちの最も近い最大値１１８_１に対して、第１振幅ａ１及び第１距離ｐ１を導出し、２つの最大値のうちの最も遠い最大値１１８_２に対して、第２振幅ａ２及び第２距離ｐ２を導出する。代替的に、個々の解析地点に関連付けられた関数のそれぞれから、１つ以上の制御パラメータ１２０を導出することが可能である。

【0088】

振幅ａ１及びａ２は、それらの距離ｐ１及びｐ２と共に、例えば、屋外ＥＲパターン１を算出するための入力値である。屋外ＥＲパターン１は、４つのＥＲを含む（図１１ａ参照）。

【0089】

図１１ａに示される実施形態によれば、ＥＲパターン１は、
リスナ位置１０から、第１初期反射位置ＥＲＰ_１及び第３初期反射位置ＥＲＰ_３までの距離を、ｐ２に応じて設定すること、並びに
ａ１に依存する第１項と、ａ２に依存する第２項との間の差又は商に基づいて、リスナ位置から第１初期反射位置ＥＲＰ_１及び第３初期反射位置ＥＲＰ_３までの距離と、リスナ位置から第２初期反射位置ＥＲＰ_２及び第４初期反射位置ＥＲＰ_４までの距離との間の比（compFactorを参照）を設定すること
によって決定される。

【0090】

図１１ａは、４つの反射の屋外ＥＲパターン１を示し（リスナの周囲の円（青）及び十字（赤）を参照）。第２分布の最大値１１８_２までの距離ｐ２は、２つのより遠い反射までの距離を定義する（初期反射位置ＥＲＰ_１及びＥＲＰ_３を参照）。圧縮係数compFactorは、２つのより近い反射の距離を定義することができる（初期反射位置ＥＲＰ_２及びＥＲＰ_４を参照）。振幅間の関係によって圧縮係数を定義することができ、例えば以下の通りである。

【数5】

【0091】

４つの初期反射位置ＥＲＰ_ｉは、極座標（ｒ（ｉ）、β（ｉ））（ｉ＝１～４）に位置するように配置することができる。

【0092】

角度座標は、β(1) ≒ 5°～15°、β(2) ≒ 90°～110°、β(3) ≒ 180°～200°、β(4) ≒ 270°～290°とすることができる。一実施形態によれば、

【数6】

である。

【0093】

半径座標は、以下の式７及び式８に従って決定することができ、計算された半径の値から最大４０％の偏差が許容されてもよい。

【数7】

【0094】

図から分かるように、初期反射位置ＥＲＰ_１及びＥＲＰ_３の半径座標は、式７を用いて決定され、初期反射位置ＥＲＰ_２及びＥＲＰ_４の場合、式７は、式８になるように修正される。

【0095】

図１１ｂに示される実施形態によれば、４つの初期反射位置ＥＲＰ_１～ＥＲＰ_４は、第１初期反射位置ＥＲＰ_１及び第２初期反射位置ＥＲＰ_２が、リスナ位置１０を横切る第１ライン１０００に対して互いに反対側に配置され、第３初期反射位置ＥＲＰ_３及び第４初期反射位置ＥＲＰ_４が、第１ライン１０００に垂直であり且つリスナ位置１０を横切る第２ライン２０００に対して互いに反対側に配置されるように、配置することができる。一実施形態によれば、ＥＲパターン１は、
リスナ位置１０から第１初期反射位置ＥＲＰ_１及び第２初期反射位置ＥＲＰ_２までの距離を、ｐ２に依存するように設定すること、並びに
ａ１に依存する第１項と、ａ２に依存する第２項との間の差又は商に基づいて、第１初期反射位置ＥＲＰ１及び第３初期反射位置ＥＲＰ３までの距離と、第２初期反射位置ＥＲＰ２及び第４初期反射位置ＥＲＰ４までの距離との間の比を設定すること
によって決定される。

【0096】

自由場条件における音響点源のレベル低下は、距離が倍増する毎に係数２で振幅が低下することに対応する、１／ｒの法則に従う（［１３］）。異なる反射領域の影響が少数のＥＲに集約される場合、距離に対するこの低下は、指数関数的な係数だけ低減されるべきである。

【数8】

【0097】

distAlphaの値[0.5..1]は、面積分布から推定でき、例えば、以下の通りである。

【数9】

【0098】

計算されたdistAlpha値から約２０％の偏差が許容されてもよい。

【0099】

一実施形態によれば、distAlphaは、以下のように設定することができる。

【数10】

【0100】

図１２は、異なるdistAlphaの値に関して、点音源の距離に対する振幅の低減を示す。

【0101】

エンコーダで幾何解析が実行されるとき、レンダラに転送しなければならないのは、アルゴリズムパラメータ、すなわち、predelay、compFactor及びdistAlphaのみである。

【0102】

より詳細な幾何解析によって、上記で定義された方程式によって導出することができないＥＲパターンがもたらされる場合、所望のパターンを表すために、すべての単一の反射位置及び相対振幅を個別に送信することができる。

【0103】

ＥＲパターンを計算するための異なる屋外シナリオの幾何解析からの値の例は、以下の通りである。
[preDelay, compFac, ampFac, distAlpha]
岩に囲まれた屋外の場[144,0.47,2.2,1]
町の通り[109,0.44,1,0,65]
町内の公園[57,0.58,1,0,58]

【0104】

図２に関して既に上述したように、一実施形態によれば、オーディオレンダリング用又は初期反射パターン１の生成用の装置は、初期反射パターンの異なる決定を支援するように構成されてもよい。オーディオレンダリング用又は初期反射パターン１の生成用の装置は、環境５に応じて決定のタイプを選択するように構成されてもよい。一実施形態によれば、第１の決定は、このセクションで説明したように、１つ以上の制御パラメータ１２０を使用して初期反射位置ＥＲＰを配置することを含むように実行されてもよい。第１の決定は、音響環境が屋外環境である場合、又はレンダリングされることになるオーディオ信号の表現を含むビットストリーム内のパターンタイプインデックスが、所定の状態を仮定する場合に、選択されてもよい。随意的に、第２の決定は、上述のように、１つ以上の螺旋関数を使用して実行されてもよい。しかし、他のタイプの決定も選択に利用可能であり得ることは、明らかである。

【0105】

（４．ポータルでの動作）
ポータルは、ある音響環境から次の音響環境への境界、ある部屋から次の部屋への境界、又は部屋から自由音場環境への境界を表す。そのようなポータルを通る遷移を滑らかにするために、関連する単純なＥＲパターン間におけるクロスフェード処理が有益である。例えばd = 5mの領域内では、ある音響環境からの寄与のレベルがフェードアウトする。

【0106】

一実施形態によれば、レンダリング用の装置が、初期反射パターン１の第１の決定方式及び初期反射パターン１の第２の決定方式を支援するように構成されてもよく、第１の決定方式は第２の決定方式とは異なる（例えば、第１の決定方式についてはセクション１及び図２の説明を参照、第２の決定方式についてはセクション３を参照）。装置は、初期反射パターン１を決定する際に、パターンタイプインデックスに応じて、第１の決定方式又は第２の決定方式を使用するように構成されてもよい。このインデックスは、１つ以上の初期反射パターンパラメータに含まれてもよい。

【0107】

（５．複数の音源を１つのＥＲパターンにまとめる）
現実の環境では、すべての音源が、音源及びレシーバの位置に依存する個別のＥＲパターンを有する。単純化されたシミュレーションでは、１つの環境内のすべての音源が、リスナの周囲に配置された同一のＥＲパターンを有する。音源又はリスナが移動すると、音源－リスナ間距離が変化し、そのため直接音との重要なレベル関係が変化する。このレベル関係は維持されなければならない。

【0108】

本発明の好ましい実施形態では、図１３で説明されているように、これは、計算上効率的な方法で適応させることができる。図１３は、距離加重法を用いて、異なる音源（ＡＳ１、ＡＳ２、・・・）を合計して１つの音源信号にすることを示すブロック図を示す。まず、異なる音源ＡＳ間のレベル関係が、音源とリスナの間の距離の値に基づいて考慮される。次いで、適切な距離加重法を用いて、異なる音源ＡＳを合計して単一の音源信号にすることができる。したがって、シミュレートされた環境内のすべての音源ＡＳをカバーする１つのＥＲパターン１のみが聴覚化されなければならない。このパターン１は、リスナの横方向の移動（すなわち、ｘ、ｙ、ｚ方向の平行移動であるが、リスナの頭部の向きではない）に従う。具体的には、リスナがある方向に移動すると、ＥＲパターン１におけるＥＲの位置ＥＲＰは、リスナと共に移動する。しかしながら、ＥＲＰは、リスナの頭部の向きにかかわらず、一定の所定の空間的な向きのままである。

【0109】

一実施形態によれば、初期反射パターン１の生成用のオーディオレンダリング装置は、室内インパルス応答を使用して、２つ以上の音源の信号をレンダリングするように構成されてもよく、室内インパルス応答の初期反射部分は、第１音源位置に配置された第１音源の第１オーディオ信号と、第２音源位置に配置された第２音源の第２オーディオ信号との加重和を形成することと、並びに、初期反射位置から加重和をレンダリングすることにより、室内インパルス応答の初期反射位置に関連する初期反射寄与ラウドスピーカ信号を生成することと、によって、初期反射パターンにより決定される。加重和は、例えば、第１音源位置とリスナ位置との間の第１距離が、第２音源位置とリスナ位置との間の第２距離よりも小さい場合、第１オーディオ信号を第２オーディオ信号よりも大きく重み付けし、第１距離が第２距離よりも大きい場合、第２オーディオ信号を第１オーディオ信号よりも大きく重み付けする。

【0110】

一実施形態によれば、室内インパルス応答の初期反射部分に関する初期反射寄与ラウドスピーカ信号は、各初期反射位置からリスナ位置までの距離に応じて調整された方式レベルで、各初期反射位置から加重和をレンダリングすることによって生成されてもよい。

【0111】

図１４では、リスナ、２つの直接音源、及び２つの直接音源の反射の間のレベル関係が視覚化されている。各直接音源のレベルは、個々の音源‐リスナ間距離に依存する。これらは、個別に変化し得る。直接音源の共通レベルは、個々のレベルを合計することによって計算される。このレベルから、関連する反射は、それらのそれぞれの距離によって計算される。

【0112】

図１４は、リスナ、２つの直接音源及び合計された反射の間のレベル関係を示す。

【0113】

音源-リスナ間距離によって生じる低下は、音源毎に個別である。完全なＥＲパターンのためのさらなるampCorrectionが存在する。

【数11】

【0114】

（６．簡単な概要）
（６．１．レンダリングの態様）
仮想聴覚環境において初期反射パターンをレンダリングするように装備されたレンダラであって、初期反射パターンは、
・部屋の詳細な幾何学的記述に依存しない、例えば、部屋の寸法及び／又は部屋の容積及び／又は後期残響までのプリディレイのみを考慮してもよい。
・個々の音源及びリスナの位置（１つの環境内のすべての音源に対して同じＥＲパターンを共有）に依存せず、音源‐リスナ間距離のみに依存する。
・例えば、初期反射位置ＥＲＰにおいて、ユーザに対して（源及びリスナの位置に応じて空間内の位置ではなく）固定位置でレンダリングされる。
・（音源及びリスナの位置に依存する空間内の位置ではなく、）固定された位置、例えば、初期反射位置ＥＲＰで、ユーザに対してレンダリングされる。
・・好ましい実施形態では、パターンのＥＲの位置、すなわち初期反射位置ＥＲＰは、リスナの横方向の動き（すなわち、ｘ、ｙ、ｚ方向の平行移動であるが、リスナの頭部の向きではない）に従う。具体的には、リスナが所定の方向に移動すると、ＥＲパターンにおけるＥＲの位置が、リスナと共に移動する。しかしながら、しかしながら、ＥＲＰは、リスナの頭部の向きにかかわらず、一定の所定の空間的な向きのままである。

【0115】

図１５は、全体的なレンダリング処理を例示的に示す。図１５に関して説明される特徴のうちの１つ以上は、本明細書で説明されるサウンドレンダリング用の装置が備えてもよい。

【0116】

図１５は、サウンドレンダリング用の装置２００を示す。装置２００は、１つ以上の音源２１０_１／２１０_２の１つ以上のオーディオ信号２１２_１／２１２_２をレンダリングするように構成される。オーディオ信号２１２（２１２_１及び２１２_２を参照）は、直接音（２２０_１及び２２０_２を参照）、初期反射（２３０参照）、及び／又は後期残響（２４０参照）を考慮することによって、レンダリングすることができる。

【0117】

直接経路２２０_１／２２０_２では、１つ以上のオーディオ信号２１２_１／２１２_２をレンダリングして、１つ以上のオーディオ信号２１２_１／２１２のそれぞれについて、直接音寄与ラウドスピーカ信号２２２_１／２２２_２を取得することができる。例えば、レンダリング対象のオーディオ信号２１２_１及び２１２_２のそれぞれについて、関連する各音源２１０_１／２１０_２とリスナ位置１０との間の距離ｄ１／ｄ２、並びに、各音源２１０_１／２１０_２とリスナの向きとの間の角度α１／α２を考慮して、各直接音寄与ラウドスピーカ信号２２２_１／２２２_２を決定することができる。直接音響寄与ラウドスピーカ信号２２２_１／２２２_２は、室内インパルス応答のうちの直接音源部分に関する。

【0118】

一実施形態によれば、装置２００は、１つ以上の音源２１０_１／２１０_２の１つ以上のオーディオ信号２１２_１／２１２_２をミキシング（混合）して（２６０）、混合されたオーディオ信号２６２を取得するように構成されてもよい。ミキシング２６０において、信号２１２_１／２１２_２は、それぞれの関連する音源２１０_１／２１０_２の位置に応じてパンニングされてもよい。例えば、オーディオ信号２１２_１／２１２_２のそれぞれについて、関連する各音源２１０_１／２１０_２とリスナ位置１０との間の距離ｄ１／ｄ２が、パンニング／ミキシング２６０において考慮される。随意的に又は付加的に、ミキシングは、セクション５で説明されているように実施されてもよい。

【0119】

装置２００は、室内インパルス応答を使用して、１つ以上の音源２１０_１／２１０_２のオーディオ信号、例えば混合されたオーディオ信号２６２、例えばオーディオ信号２１２_１及び２１２_２の加重和、をレンダリングするように構成されてもよく、室内インパルス応答の初期反射部分は、室内インパルス応答の初期反射部分に関連する初期反射寄与ラウドスピーカ信号２３２を取得するように、例えばＥＲ経路２３０における初期反射パターン１によって決定される。初期反射寄与ラウドスピーカ信号２３２は、初期反射位置ＥＲＰ（ＥＲＰ_１～ＥＲＰ_６を参照）からのオーディオ信号のレンダリングを実行することによって生成されてもよい。

【0120】

随意的に、装置２００は、ＥＲパターン決定器２７０、例えば、初期反射パターン１の生成用の装置を備えてもよい。初期反射パターン１の決定は、上述の実施形態のうちの１つ（例えば、図２並びにセクション１、３及び５を参照）で説明されているように実行されてもよい。ＥＲパターン決定部２７０は、初期反射パターン１を生成するためのＥＲパターン情報３１０を取得してもよい。ＥＲパターン情報３１０は、（屋内／屋外の）ＥＲパターンタイプ、（例えば、屋外の）predelay、compfactor及び／又はdistAlpha、並びに、（例えば、屋内の）部屋の寸法、部屋の容積及び／又はプリディレイ時間のうちの１つ以上を含んでもよい。例えば、ＥＲパターン決定器２７０によって使用されることになる決定に応じて、ＥＲパターン決定器２７０は、ビットストリーム３００から、環境記述３１０、例えば１つ以上の室内音響パラメータ若しくは１つ以上の制御パラメータ、又はビットストリームヒント３２０、例えば１つ以上の初期反射パターンパラメータを受信し又は読み取る。

【0121】

ビットストリーム３００は、第１音源２１０_１に関連付けられたオーディオ信号２１２_１の表現２１４_１と、第２音源２１０_２に関連付けられたオーディオ信号２１２_２の表現２１４_２とを含んでもよい。

【0122】

一実施形態によれば、ビットストリーム３００は、本明細書で言及されるパラメータのうちの１つ以上を含み／備えてもよい。ビットストリーム３００は、音源位置に配置され、また１つ以上の初期反射パターンパラメータを含む音源２１０_１／２１０_２のオーディオ信号の表現２１４_１／２１４_２を含んでもよい。例えば、ビットストリーム３００は、ビットストリームのヘッダ若しくはメタデータフィールド内に初期反射パラメータを有するオーディオビットストリーム、又は、ファイルフォーマットストリームのパケット及びファイルフォーマットストリームのトラック内に初期反射パラメータを有し、オーディオ信号を表すオーディオビットストリームを含む、該ファイルフォーマットストリームである。１つ以上の初期反射パターンパラメータは、パターンタイプインデックス、後期残響までのプリディレイ時間、圧縮係数、振幅補正係数、距離減衰指数、パターン方位パラメータ、及び１つ以上の周波数応答パラメータのうちの１つ以上を含む。

【0123】

ＥＲ経路２３０において、すなわち、初期反射寄与ラウドスピーカ信号２３２を生成する際に、装置２００は、随意的に、１つ以上の周波数応答パラメータ（図３ｃ参照）に従ってスペクトル的に成形される方式で、各初期反射位置ＥＲＰから１つ以上の音源２１０_１／２１０_２のオーディオ信号をレンダリングするように構成される。図３ｃにおいて、円（青）は、ＲＴ６０の周波数依存性を示す。すべての初期反射に対して、同一の周波数依存性を適用することができる。別の周波数依存性は、音源又はレシーバの壁近接度（＜２ｍ）用のバスブースト（bass boost）によって適用することができる。１つ以上の周波数応答パラメータは、ビットストリームに含まれてもよく、ビットストリームは、音源２１０_１／２１０_２のオーディオ信号又は個々の信号２１２及び２１２の表現も含んでもよい。１つ以上の周波数応答パラメータは、１つ以上の初期反射パターンパラメータに含まれてもよい。

【0124】

装置２００は、初期反射位置ＥＲＰから１つ以上の音源２１０_１／２１０_２のオーディオ信号のレンダリングを実行する際に、リスナ頭部の向きに特有のＨＲＴＦを使用するように構成されてもよい。ＨＲＴＦは、頭部伝達関数を表す。

【0125】

任意の拡散経路２４０において、１つ以上のオーディオ信号２１２_１／２１２_２をレンダリングして、拡散後期残響ラウドスピーカ信号２４２を取得することができる。装置２００は、室内インパルス応答の拡散後期残響部分を生成し、例えば、この室内インパルス応答を使用して、拡散経路２４０内で１つ以上のオーディオ信号２１２_１／２１２_２をレンダリングするように構成されてもよい。拡散後期残響ラウドスピーカ信号２４２は、室内インパルス応答の拡散後期残響部分に関連する。

【0126】

装置２００は、１つ以上のオーディオ信号２１２_１／２１２_２をレンダリングする際に、室内インパルス応答の直接音源部分に関連する直接音寄与ラウドスピーカ信号２２２_１／２２２_２と、室内インパルス応答の初期反射部分に関連する初期反射寄与ラウドスピーカ信号２３２と、随意的には、室内インパルス応答の拡散後期残響部分に関連する拡散後期残響ラウドスピーカ信号２４２と、にわたる合計２５０を形成することによって、ラウドスピーカ信号２５２のセットを生成するように構成されてもよい。

【0127】

（屋内レンダリング）
ａ）直接音と後期残響の開始との間のギャップをカバーするＥＲパターン。
ｂ）水平面内に分布するＥＲパターン。
ｃ）部屋の寸法、部屋の容積、後期残響までのプリディレイ時間、ＥＲの数を設定するためのＲＴ６０、ＥＲの間隔、距離に対するＥＲの振幅挙動などの部屋の音響パラメータによって制御されるＥＲパターン。
ｄ）２～２０個のＥＲを有することができるＥＲパターン。
ｅ）位置が螺旋によって決定されるＥＲ。
ｆ）位置が２つの螺旋状アームによって決定されるＥＲ。
ｇ）位置が以下の通り、すなわち、

【数12】

によって決定されるＥＲ。
ｈ）位置が放射方位にわたりランダムに、プリディレイ時間まで拡散するＥＲ。
ｉ）ＥＲパターンは、室内の音源位置及びレシーバ位置から独立して一定に保たれる。パターンの形成は一定に保たれるが、リスナと共に移動する。また、反射の振幅は、音源‐リスナ間距離に依存する。
ｊ）部屋の反射を減らして、特定の音特性を生成する。

【0128】

（屋外レンダリング）
ｋ）例えば、２～６個の反射を有する希薄なＥＲパターン、特に屋外シーン。
ｌ）シーン全体における反射面の幾何解析を利用して、ＥＲ屋外パターンのレベル及びプリディレイを導出する。
ｍ）距離にわたって合計された分布を使用して、ＥＲパターンパラメータを導出する。
ｎ）ユーザが到達可能な領域内の可能なリスニング位置のメッシュに対して、この解析を行う。
ｏ）このような分布の最初の２つのピークを、対応する距離と共に使用する。
ｐ）この分布値からpredelay、compFactor、distAlphaを算出する。

【0129】

（全体）
ｑ）ある音響シーン及び／又は部屋から別の音響シーン及び／又は部屋に変更するときに、ＥＲパターンレベルのフェードイン及びフェードアウトを適用する。

【0130】

（６．２．伝達、ビットストリーム及びシグナリングの態様）
ａ）屋内シーンは、シーンによって与えられる室内音響パラメータを用いることで、デコーダ／レンダラ内で完全に計算することができる。
ｂ）具体的には、屋外シーンは、エンコーダにおける幾何解析から恩恵を受けることができる。パターンの制御パラメータのみを送信しなければならない。好ましい実施形態では、パラメータは、以下を含む：アルゴリズム／パターン数、後期残響までのプリディレイ、プリディレイと比較したときのパターンの圧縮係数、振幅補正係数、距離減衰指数、パターン方位パラメータ、周波数応答記述
ｃ）新しいＥＲパターンを使用すべき場合、エンコーダ内でこれらのＥＲパターンを完全に計算し、次いでデコーダに送信することができる。これらのＥＲパターンは、（通常の距離減衰に関する）反射の時間位置及び相対レベル（方位角、仰角、半径、振幅補正係数、距離減衰指数、周波数応答記述のそれぞれに対する、ＥＲの数）によって定義される。
ｄ）デコーダ／レンダラに、いくつかのＥＲパターンを予め設けることができる。この場合、ビットストリームシグナリングは、事前に設けられたどのＥＲパターンを使用すべきかを示すフィールドを含む。さらに、このパターンのパラメータは、ｂ．１で説明したようにシグナリングされる。

【0131】

（７．応用分野）
時間のかかるＥＲの正確な幾何学的計算は、特に、以下のような用途において回避することができる。
・リアルタイム聴覚仮想環境
・リアルタイム拡張現実

【0132】

（８．さらなる実施形態）
図１６は、リスナ位置１０及び音源位置pos_sに関する情報を受信するように構成される、サウンドレンダリング用の装置２００の実施形態を示す。この情報は、リスナと音源との間の距離ｄを決定するために使用することができる。随意的に、装置２００は、図１５の装置２００に関して説明したような距離を使用するように構成されてもよい。装置２００は、室内インパルス応答４００を使用して、音源のオーディオ信号２１２をレンダリングする（２０２）ように構成され、室内インパルス応答４００の初期反射部分４１０は、初期反射パターン１によって排他的に決定される。初期反射パターン１は、初期反射位置ＥＲＰ（ＥＲＰ_１～ＥＲＰ_４を参照）のコンステレーションを示し、また、初期反射位置ＥＲＰがリスナ位置１０の周囲に位置し、且つ、リスナ位置１０から角度方向に位置するように、リスナ位置１０に配置され、角度方向は、リスナ頭部の向きの変化に対して不変である。

【0133】

装置２００は、上述の特徴のいずれかを備えることができる。例えば、装置２００は、サウンドレンダリング用の初期反射パターンを決定するための図６、図１８、又は図２０の装置１００を備えることができる。代替的に、装置２００は、サウンドレンダリング用の初期反射パターンを決定するための異なる装置、たとえば、図２に関して説明し、及び／又はセクション１、３及び５で説明したような決定を実行するように構成される装置を備えることができる。

【0134】

図１７は、リスナ位置１０及び音源位置ｐｏｓ_ｓに関する第１情報を受信するように構成される、サウンドレンダリング用の装置２００の実施形態を示す。この情報は、リスナと音源との間の距離ｄを決定するために使用されてもよい。随意的に、装置２００は、図１５の装置２００に関して説明したような距離を使用するように構成されてもよい。装置２００は、例えば、音源位置ｐｏｓ_ｓに配置された音源のオーディオ信号の表現２１４と、１つ以上の初期反射パターンパラメータ３１０とを含むビットストリーム３００を受信し、また例えば、ビットストリーム３００から、オーディオ信号の表現及び初期反射パターンパラメータを読み取るように構成される。ビットストリーム３００は、例えば、ビットストリーム３００のヘッダ又はメタデータフィールド内に初期反射パラメータ３１０を有するオーディオビットストリーム、又は、ファイルフォーマットストリームのパケット及びファイルフォーマットストリームのトラック内に初期反射パラメータ３１０を有し、オーディオ信号を表すオーディオビットストリームを含む、該ファイルフォーマットストリームである。

【0135】

１つ以上の初期反射パターンパラメータ３１０は、パターンタイプインデックス、後期残響までのプリディレイ時間、圧縮係数、振幅補正係数、距離減衰指数、パターン方位パラメータ、及び１つ以上の周波数応答パラメータのうちの１つ以上を備えてもよい。

【0136】

付加的に、装置２００は、例えば図２に関して説明したように、及び／又はセクション１、３及び５において説明したように、１つ以上の初期反射パターンパラメータ３１０に応じて初期反射パターン１を決定する（２７０）ように構成される。初期反射パターン１は、初期反射位置ＥＲＰ（ＥＲＰ_１～ＥＲＰ_４を参照）のコンステレーションを示す。例えば、装置３００は、後期残響までのプリディレイ時間が大きいほど初期反射位置ＥＲＰの数が大きくなるように、初期反射パターン１の決定２７０を実行するように構成されてもよい。付加的に、又は代替的に、装置２００は、後期残響までのプリディレイ時間が大きいほど、リスナ位置１０から最も遠い初期反射位置ＥＲＰがより遠くに離間するように、初期反射パターン１の決定２７０を実行するように構成される。離間距離は、プリディレイ時間よりも小さくてもよい。

【0137】

さらに、装置２００は、室内インパルス応答４００を使用して、音源のオーディオ信号をレンダリング２０２するように構成され、室内インパルス応答４００の初期反射部分４１０は、初期反射パターン１によって決定される。初期反射パターン１は、初期反射位置ＥＲＰ（ＥＲＰ_１～ＥＲＰ_４を参照）のコンステレーションを示し、また、初期反射位置ＥＲＰがリスナ位置１０の周囲に位置し、且つ、リスナ位置１０から角度方向に位置するように、リスナ位置１０に配置され、角度方向は、リスナ頭部の向きの変化に対して不変である。

【0138】

一実施形態によれば、装置２００は、パターンタイプインデックスが、例えば、セクション１に記載されているように、エンコーダによってパラメータ化される決定方法を示す場合、ビットストリーム３００から、１つ以上の初期反射パターンパラメータ３１０の一部として、初期反射パターンにおける初期反射の数、初期反射毎の、方位角、仰角、半径、例えば、リスナ位置までの距離、初期反射毎の振幅補正係数、初期反射毎の距離減衰指数、並びに初期反射毎の周波数応答記述を読み取るように構成される。

【0139】

装置２００は、上述の特徴のいずれかを備えることができる。

【0140】

図１８は、音響環境５の音響特性を表す少なくとも１つの室内音響パラメータ３１０を受信するように構成される、サウンドレンダリング用の初期反射パターン１を決定するための装置１００の実施形態を示す。装置１００は、初期反射位置ＥＲＰ（ＥＲＰ_１～ＥＲＰ_６を参照）の数２７２が少なくとも１つの室内音響パラメータ３１０に依存するように、初期反射パターン１を決定する（２７０）ように構成される。初期反射パターン１は、初期反射位置のコンステレーションを示す。装置１００は、特に、図２並びにセクション１及び５に関して上述した特徴を備えることができる。

【0141】

図１９は、リスナ位置１０、第１音源位置pos_S1、及び第２音源位置pos_S2に関する情報を受信するように構成される、サウンドレンダリング用の装置２００の実施形態を示す。装置２００は、室内インパルス応答４００を使用して、２つの音源２１０_１及び２１０_２のオーディオ信号２１２_１及び２１２_２をレンダリングする（２０２）ように構成され、室内インパルス応答４００の初期反射部分４１０は、初期反射パターン１によって決定される。初期反射パターン１は、初期反射位置ＥＲＰのコンステレーションを示し（ＥＲＰ_１からＥＲＰ_４を参照）、また、初期反射位置ＥＲＰがリスナ位置１０の周囲に位置し、且つ、リスナ位置１０から角度方向に位置するように、リスナ位置１０に配置され、角度方向は、リスナ頭部の向きの変化に対して不変である。レンダリング（２０２）は、さらに、第１音源位置pos_S1に位置する第１音源２１０_１の第１オーディオ信号２１２_１と、第２音源位置pos_S2に位置する第２音源２１０_２の第２オーディオ信号２１２_２との加重和２０４を形成することによって実行される。加重和２０４は、第１音源位置pos_s1とリスナ位置１０との間の第１距離ｄ１が、第２音源位置pos_s2とリスナ位置１０との間の第２距離ｄ２よりも小さい場合、第１オーディオ信号２１２_１を第２オーディオ信号２１２_２の場合よりも大きなｗ１で重み付けし、第１距離ｄ１が第２距離ｄ２よりも大きい場合、第２オーディオ信号２１２_２を、第１オーディオ信号２１２_１の場合よりも大きなｗ２で重み付けする。付加的に、レンダリングは、初期反射位置ＥＲＰから加重和２０４をレンダリングすることによって、室内インパルス応答４００の初期反射部分４１０に関連する初期反射寄与ラウドスピーカ信号２３２を生成することによって実行される。装置２００は、特に、セクション５に記載されている特徴を含むことができる。しかしながら、装置２００が、上記の実施形態のいずれかで説明したようなＥＲパターン１を決定するための装置を備えることもできることは明らかである。

【0142】

図２０は、音響環境５の音響特性を表す少なくとも１つの室内音響パラメータ３１０を受信するように構成される、サウンドレンダリング用の初期反射パターン１を決定する（２７０）ための装置１００の一実施形態を示す。装置１００は、リスナ位置１０を中心とする１つ以上の螺旋関数３及び４をパラメータ化することによって、また１つ以上の螺旋関数３及び４を使用して初期反射位置ＥＲＰ（ＥＲＰ１_１～ＥＲＰ１_４及びＥＲＰ２_１～ＥＲＰ２_４を参照）を配置することによって、初期反射パターン１を決定する（２７０）ように構成される。初期反射パターン１は、初期反射位置ＥＲＰのコンステレーションを示す。装置１００は、特に、図２及びセクション１に関して説明したような特徴を備えることができるが、装置が、本明細書で説明した他の特徴を備えることもできることは明らかである。

【0143】

（９．代替実施形態）
装置の文脈でいくつかの態様を説明してきたが、これらの態様は、対応する方法の説明も表しており、ブロック又は装置は、方法ステップ又は方法ステップの特徴に対応することが明らかである。同様に、方法ステップの文脈で説明される態様は、対応する装置の対応するブロック又はアイテム又は特徴の説明も表す。

【0144】

本発明のレンダリングされたオーディオ信号又は本発明の初期反射パターン情報は、デジタル記憶媒体に記憶することができ、又はインターネット等の無線伝送媒体若しくは有線伝送媒体のような伝送媒体上で伝送することができる。

【0145】

特定の実施要件に応じて、本発明の実施形態は、ハードウェア又はソフトウェアで実施することができる。実装形態は、それぞれの方法が実施されるように、プログラマブルコンピュータシステムと協働する（又は協働することが可能な）電子可読制御信号が記憶されているデジタル記憶媒体、例えば、フロッピーディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、又はフラッシュメモリを使用して実施することができる。

【0146】

本発明によるいくつかの実施形態は、本明細書で説明されている方法のうちの１つが実施されるように、プログラム可能コンピュータシステムと協働することが可能な、電子可読制御信号を有するデータキャリアを含む。

【0147】

一般的に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で作動するときに、方法のうちの１つを実施するように作動可能である。プログラムコードは、例えば、機械可読キャリア上に記憶されてもよい。

【0148】

他の実施形態は、機械可読キャリアに記憶されている、本明細書で説明された方法のうちの１つを実施するためのコンピュータプログラムを含む。

【0149】

言い換えれば、本発明の方法の一実施形態は、したがって、コンピュータプログラムがコンピュータ上で実行されたときに、本明細書で説明されている方法のうちの１つを実施するためのプログラムコードを有するコンピュータプログラムである。

【0150】

したがって、本発明の方法のさらなる実施形態は、本明細書で説明されている方法のうちの１つを実施するためのコンピュータプログラムを記録されて含む、データキャリア（又はデジタル記憶媒体若しくはコンピュータ可読媒体）である。

【0151】

したがって、本発明の方法のさらなる実施形態は、本明細書で説明されている方法のうちの１つを実施するためのコンピュータプログラムを表すデータストリーム又は信号シーケンスである。データストリーム又は信号シーケンスは、例えば、データ通信接続を介して、例えばインターネットを介して転送されるように構成されてもよい。

【0152】

さらなる実施形態は、本明細書で説明されている方法のうちの１つを実施するように構成又は適合されている処理手段、例えばコンピュータ、又はプログラム可能論理デバイスを含む。

【0153】

さらなる実施形態は、本明細書で説明されている方法のうちの１つを実施するためのコンピュータプログラムがインストールされているコンピュータを含む。

【0154】

いくつかの実施形態では、プログラム可能論理デバイス（たとえば、フィールドプログラマブルゲートアレイ）を使用して、本明細書で説明されている方法の機能の一部又は全部を実施してもよい。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書で説明されている方法のうちの１つを実行するために、マイクロプロセッサと協働してもよい。一般的に、方法は、好ましくは任意のハードウェア装置によって実行される。

【0155】

上述の実施形態は、本発明の原理を例示するに過ぎない。本明細書で説明されている構成及び詳細の修正及び変更は、当業者には明らかであることが理解される。したがって、本発明は、間近にある特許請求の範囲によってのみ限定され、本明細書の実施形態の記述及び説明によって提示される特定の詳細によっては限定されないことが意図される。

【0156】

（１０．引用非特許文献）
［１］ Jot, J.-M., Real-time spatial processing of sounds for music, multimedia and interactive human-computer interfaces. Audio and Multimedia, 1997(ACM Multimedia Systems Journal, February 1997). (http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.54.6319&rep=rep1&type=pdfから入手可能）
［２］Jullien, J.P., E. Kahle, S. Winsberg, and O. Warusfel, Some Results on Objective Characterisation of Room Acoustical Quality in Both Laboratory and Real Environments, 1992, IRCAM, France. （https://kahle.be/articles/IRCAM_Room_Acoustical_Quality_1992.pdfから入手可能）
［３］ Jot, J.-M., O. Warusfel, E. Kahle, and M. Mein. Binaural Concert HallSimulation in Real Time. IEEE 93. 1993. Mohonk (USA).
［４］ Carpentier, T. A New Implementation of Spat in Max 15th Sound and Music Computing Conference (SMC2018)2018. Limassol, Cyprus. （https://hal.archives-ouvertes.fr/hal-02094499/document.）
［５］ Vaananen, R. and J. Huopaniemi, Advanced AudioBIFS: Virtual Acoustics Modeling in MPEG-4 Scene Description. IEEE Transactions on Multimedia, 2004. 6(5): p. 661-675.
［６］ Brinkmann, F., H. Gamper, N. Raghuvanshi, and I. Tashev. Towards Encoding Perceptually Salient Early Reflections for Parametric Spatial Audio Rendering. 148th AES Convention. 2020. Vienna, Austria.
［７］ Brinkmann, F., et al., A Round Robin on Room Acoustical Simulation and Auralization. J. Acoust. Soc. Am., 2019. 145(4): p. 2746..2760 DOI: https://doi.org/10.1121/1.5096178.
［８］ Bregman, A.S., Auditory Scene Analysis (The Perceptual Organization of Sound). 1990, MIT Press. ISBN: 9780262022972.
［９］ Blauert, J., Spatial Hearing, The Psychophysics of Human Sound Localization. 2nd ed. 1997, Cambrigde Massachusetts: MIT Press. ISBN: 0-262-02413-6.
［１０］ Angus, J.A.S., The Effects of Specular Versus Diffuse Reflections on the Frequency Response at the Listener. J. Audio Eng. Soc., 2001. 49(3): p. 125-133.
［１１］ Barron, M. and A.H. Marshall, Spatial Impression due to Early Lateral Reflections in Concert Halls: The Derivation of a Physical Measure. Journal of Sound and Vibration, 1981. 77(2): p. 211-232.
［１２］ Bech, S. Perception of Reproduced Sound: Audibility of Individual Reflections in a Complete Sound Field. 96th AES Convention. 1994. Amsterdam, The Netherlands.
［１３］ Kuttruff, H., Room Acoustics (fourth edition). 2000: Spon Press. ISBN: 0-419-24580-4.

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11(a)】

【図11(b)】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25-1】

【図25-2】

【手続補正書】

【提出日】2024-06-28

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

サウンドレンダリング用の初期反射パターン（１）を決定するための装置（１００）であって、
音響環境（５）の音響特性を表す少なくとも１つの室内音響パラメータ（３１０）を受信すること、及び
リスナ位置（１０）を中心とする１つ以上の螺旋関数（３、４）をパラメータ化し、且つ、前記１つ以上の螺旋関数（３、４）を使用して初期反射位置を配置することによって、初期反射位置のコンステレーションを示す初期反射パターン（１）を決定すること
を行うように構成される、装置（１００）。

【請求項2】

請求項１に記載の装置（１００）において、前記初期反射パターン（１）は、前記初期反射位置が、前記リスナ位置（１０）の周囲に、且つ、前記リスナ位置（１０）から角度方向に位置するように、前記リスナ位置（１０）に配置されるためのものであり、前記角度方向は、リスナ頭部の向きの変化に対して不変である、装置（１００）。

【請求項3】

請求項１に記載の装置（１００）において、前記少なくとも１つの室内音響パラメータ（３１０）は、
部屋の寸法、
部屋の容積、及び
後期残響までのプリディレイ時間
のうちの１つ以上を含む、装置（１００）。

【請求項4】

請求項１に記載の装置（１００）において、前記少なくとも１つの室内音響パラメータ（３１０）は、
部屋の寸法、
部屋の音量、及び
後期残響までのプリディレイ時間
から選択された１つのパラメータのみを含む、装置（１００）。

【請求項5】

請求項１に記載の装置（１００）において、前記１つ以上の螺旋関数（３、４）は、第１螺旋関数（３）及び第２螺旋関数（４）を含み、第１セットの初期反射位置のそれぞれが、第２セットの初期反射のうちの対応する初期反射位置に関連付けられ、且つ、各初期反射位置と対応する初期反射位置との間の接続ラインと垂直に交差するラインに対して互いに反対側に位置するように、前記装置（１００）は、前記第１螺旋関数（３）を使用して第１セットの初期反射位置を配置し、且つ前記第２螺旋関数（４）を使用して第２セットの初期反射位置を配置するように構成される、装置（１００）。

【請求項6】

請求項５に記載の装置（１００）において、前記第１セットの初期反射位置のそれぞれについて、前記第２セットの初期反射のうちの対応する初期反射位置は、前記第１セットの初期反射位置のうちのすべての初期反射位置について共通の角度方向に、前記接続ラインに対して角度的にオフセットされる、装置（１００）。

【請求項7】

請求項１に記載の装置（１００）において、前記１つ以上の螺旋関数（３、４）は、第１螺旋関数（３）及び第２螺旋関数（４）を含み、第１セットの初期反射位置が極座標で（ｒ１、β１）として決定され、第２セットの初期反射位置が極座標で（ｒ２、β２）として決定されるように、前記装置（１００）は、前記第１螺旋関数（３）を使用して前記第１セットの初期反射位置を配置し、且つ、前記第２螺旋関数（４）を使用して前記第２セットの初期反射位置を配置するように構成され、ここで、

【数1】

であり、nERは初期反射位置の数であり、distfactorは定数である、装置（１００）。

【請求項8】

請求項７に記載の装置（１００）であって、前記少なくとも１つの室内音響パラメータ（３１０）に基づいて、前記distfactorを決定するように構成される、装置（１００）。

【請求項9】

請求項７に記載の装置（１００）であって、後期残響までのプリディレイ時間が大きいほど、前記distfactorが大きくなるように、前記distfactorを決定するように構成される、装置（１００）。

【請求項10】

請求項７に記載の装置（１００）であって、前記少なくとも１つの室内音響パラメータ（３１０）に基づいて、前記nERを決定するように構成される、装置（１００）。

【請求項11】

請求項１に記載の装置（１００）であって、前記初期反射パターン（１）を使用してレンダリングされることになるオーディオ信号の表現を含むビットストリーム（３００）から、前記少なくとも１つの室内音響パラメータ（３１０）を読み取るように構成される、装置（１００）。

【請求項12】

請求項１に記載の装置（１００）であって、
部屋の寸法が大きくなるほど、前記初期反射位置の数が大きくなるように、又は
部屋の容積が大きくなるほど、前記初期反射位置の数が大きくなるように、又は
後期残響までのプリディレイ時間が大きくなるほど、前記初期反射位置の数が大きくなるように、
前記初期反射位置の数を決定するように構成される、装置（１００）。

【請求項13】

請求項１に記載の装置（１００）であって、
前記１つ以上の螺旋関数（３、４）をパラメータ化することと、及び
前記初期反射位置の数を決定することであり、
部屋の寸法が大きいほど、又は
部屋の容積が大きいほど、又は
後期残響までのプリディレイ時間が大きいほど、
前記初期反射位置のうちの最も離れた位置からリスナまでの距離が大きく、前記距離は、前記プリディレイ時間よりも小さいものであるように、該決定することと、
を行うように構成される、装置（１００）。

【請求項14】

請求項１に記載の装置で（１００）であって、
前記初期反射パターン（１）の第１の決定及び前記初期反射パターン（１）の第２の決定を支援することであり、前記第１の決定は、前記第２の決定とは異なり、また前記リスナ位置（１０）を中心とする１つ以上の螺旋関数（３、４）をパラメータ化すること、及び前記１つ以上の螺旋関数（３、４）を使用して前記初期反射位置を配置することを伴う、該支援すること、並びに
前記音響環境（５）が屋内環境である場合、又はレンダリングされることになるオーディオ信号の表現を含むビットストリーム（３００）内のパターンタイプインデックスが、所定の状態を仮定する場合に、前記第１の決定を選択すること
を行うように構成される、装置（１００）。

【請求項15】

請求項１に記載の装置（１００）であって、前記初期反射位置が、前記リスナ位置（１０）とともに水平面内に存在するように、前記初期反射位置を決定するように構成される、装置（１００）。

【請求項16】

請求項１に記載の装置（１００）であって、レンダリングされることになるオーディオ信号の表現を含むビットストリーム（３００）内のパターン方位パラメータに従って前記コンステレーションの方位回転を調整することにより、前記初期反射位置を決定するように構成される、装置（１００）。

【請求項17】

サウンドレンダリング用の装置（２００）であって
リスナ位置（１０）及び音源位置に関する第１情報を受信することと、並びに
室内インパルス応答（４００）を使用して、音源のオーディオ信号をレンダリングすることであり、前記室内インパルス応答（４００）の初期反射部分（４１０）は前記初期反射パターン（１）によって決定され、前記初期反射パターン（１）は、
初期反射位置のコンステレーションを示し、また
前記初期反射位置が、前記リスナ位置（１０）の周囲に、且つ、前記リスナ位置（１０）から角度方向に位置するように、前記リスナ位置（１０）に配置され、前記角度方向は、リスナ頭部の向きの変化に対して不変のものである、
該レンダリングすることと、
を行うように構成され、
前記装置（２００）は、請求項１に記載の、初期反射パターン（１）を決定するための装置（１００）を備える、装置（２００）。

【請求項18】

請求項１７に記載の装置（２００）であって、さらに、前記室内インパルス応答（４００）の拡散後期残響部分を生成するように構成される、装置（２００）。

【請求項19】

請求項１７に記載の装置（２００）であって、さらに、前記オーディオ信号をレンダリングする際に、前記室内インパルス応答（４００）の直接音源部分に関連する直接音寄与ラウドスピーカ信号（２２２）と、前記室内インパルス応答（４００）の初期反射部分（４１０）に関連する初期反射寄与ラウドスピーカ信号（２３２）とに対する合計を形成することによって、ラウドスピーカ信号（２５２）のセットを生成するように構成される、装置（２００）。

【請求項20】

請求項１７に記載の装置（２００）であって、さらに、前記初期反射位置から前記音源のオーディオ信号のレンダリングを実行することによって、前記室内インパルス応答（４００）の初期反射部分（４１０）に関連する初期反射寄与ラウドスピーカ信号（２３２）を生成するように構成される、装置（２００）。

【請求項21】

請求項２０に記載の装置（２００）であって、さらに、
前記初期反射位置から前記音源のオーディオ信号のレンダリングを実行することによって、前記室内インパルス応答（４００）の初期反射部分（４１０）に関連する初期反射寄与ラウドスピーカ信号（２３２）を生成する際に、
各初期反射位置から前記リスナ位置（１０）までの距離に応じてレベルを調整する方式で、各初期反射位置から前記音源のオーディオ信号をレンダリングするように構成される、装置（２００）。

【請求項22】

請求項２１に記載の装置（２００）であって、さらに、各初期反射位置から前記リスナ位置（１０）までの距離に応じてレベルを調整する方式で、各初期反射位置から前記音源のオーディオ信号をレンダリングする際に、
各初期反射位置から前記音源のオーディオ信号がレンダリングされるレベルを、レベルオフセットを使用してオフセットすること（２０）、又はレベル係数で前記レベルを増幅することであり、前記レベルオフセット若しくはレベル係数は、すべての初期反射位置について共通である、該オフセット又は増幅すること、並びに、
振幅補正係数に応じて前記レベルオフセット若しくはレベル係数を設定すること
を行うように構成される、装置（２００）。

【請求項23】

請求項２１に記載の装置（２００）であって、さらに、各初期反射位置から前記リスナ位置（１０）までの距離に応じてレベルを調整する方式で、各初期反射位置から前記音源のオーディオ信号をレンダリングする際に、距離減衰指数に従って前記音源位置から前記オーディオ信号をレンダリングするための装置（２００）によって使用されるレベル調整に対して、各初期反射位置から前記リスナ位置までの距離に応じたレベル調整を修正するように構成される、装置（２００）。

【請求項24】

請求項２０に記載の装置（２００）であって、さらに、前記初期反射位置から前記音源のオーディオ信号のレンダリングを実行することによって、前記室内インパルス応答（４００）の初期反射部分（４１０）に関連する初期反射寄与ラウドスピーカ信号（２３２）を生成する際に、１つ以上の周波数応答パラメータに従ってスペクトル的に成形される方式で、各初期反射位置から前記音源のオーディオ信号をレンダリングするように構成される、装置（２００）。

【請求項25】

請求項１７に記載の装置（２００）であって、さらに、前記初期反射位置から前記音源のオーディオ信号のレンダリングを実行する際に、リスナ頭部の向きに特有のＨＲＴＦを使用するように構成される、装置（２００）。

【請求項26】

請求項１７に記載のサウンドレンダリングの対象となるビットストリーム（３００）。

【請求項27】

請求項２６に記載のサウンドレンダリングの対象となるビットストリーム（３００）を記憶するデジタル記憶媒体。

【請求項28】

サウンドレンダリング用の初期反射パターン（１）を決定する方法であって
音響環境（５）の音響特性を表す少なくとも１つの音響パラメータ（３１０）を受信するステップと、
リスナ位置（１０）を中心とする１つ以上の螺旋関数（３、４）をパラメータ化し、且つ、前記１つ以上の螺旋関数（３、４）を使用して初期反射位置を配置することによって、初期反射位置のコンステレーションを示す初期反射パターン（１）を決定するステップと、
を備える、方法。

【請求項29】

サウンドレンダリングの方法であって、
リスナ位置（１０）及び音源位置に関する第１情報を受信するステップと、
室内インパルス応答（４００）を使用して、音源のオーディオ信号をレンダリングするステップであり、前記室内インパルス応答（４００）の初期反射部分（４１０）は初期反射パターン（１）によって決定され、前記初期反射パターン（１）は、
初期反射位置のコンステレーションを示し、また
前記初期反射位置が、前記リスナ位置（１０）の周囲に、且つ、前記リスナ位置（１０）から角度方向に位置するように、前記リスナ位置（１０）に配置され、前記角度方向は、リスナ頭部の向きの変化に対して不変のものである、
該レンダリングするステップと、
を備え
前記方法は、請求項２８に記載の、初期反射パターン（１）を決定するための方法を含む、方法。

【請求項30】

コンピュータプログラムであって、前記コンピュータプログラムを実行した際に、コンピュータに、請求項２８又は請求項２９に記載の方法を実行させるためのコンピュータプログラム。

【国際調査報告】