特表 2023-518199 離散曲面を含むサウンドシーンをレンダリングするための装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-04-28

(54)【発明の名称】離散曲面を含むサウンドシーンをレンダリングするための装置および方法

(51)【国際特許分類】

   H04S 1/00 20060101AFI20230421BHJP

【ＦＩ】

H04S1/00 200

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022555050

(86)(22)【出願日】2021-03-12

(85)【翻訳文提出日】2022-11-09

(86)【国際出願番号】 EP2021056362

(87)【国際公開番号】W WO2021180937

(87)【国際公開日】2021-09-16

(31)【優先権主張番号】20163151.2

(32)【優先日】2020-03-13

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】500341779

【氏名又は名称】フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン

(74)【代理人】

【識別番号】100134119

【弁理士】

【氏名又は名称】奥町 哲行

(72)【発明者】

【氏名】ボース・クリスチャン

(72)【発明者】

【氏名】ヴェファース・フランク

【テーマコード（参考）】

5D162

【Ｆターム（参考）】

5D162AA07

5D162BA07

5D162CA11

5D162CA22

(57)【要約】

音源位置に反射オブジェクトおよび音源を有するサウンドシーンをレンダリングするための装置は、サウンドシーンの反射オブジェクトの分析を提供して、第１の多角形（２）、および第１の多角形の第１の像源位置（６２）と第２の多角形の第２の像源位置（６３）とに関連付けられた第２の隣接する多角形（３）によって表される反射オブジェクトを決定するための幾何学的データプロバイダ（１０）であって、第１および第２の像源位置が、第１の像源位置（６２）に関連する第１の可視ゾーン（７２）、不可視ゾーン（８０）、および第２の像源位置（６３）に関連する第２の可視ゾーン（７３）を含むシーケンスをもたらす、幾何学的データプロバイダと、追加の像源位置（９０）が第１の像源位置と第２の像源位置との間に配置されるように、追加の像源位置（９０）を生成するための像源位置生成器（２０）と、音源位置において音源をレンダリングするためのサウンドレンダラ（３０）であって、さらに、聴取者位置（１３０）が第１の可視ゾーン内に位置する場合、第１の像源位置に音源をレンダリングするための、聴取者位置が不可視ゾーン（８０）内に位置する場合、追加の像源位置（９０）に音源をレンダリングするための、または聴取者位置が第２の可視ゾーン内に位置する場合、第２の像源位置に音源をレンダリングするための、サウンドレンダラと、を備える。

【特許請求の範囲】

【請求項1】

音源位置に反射オブジェクトおよび音源を有するサウンドシーンをレンダリングするための装置であって、
前記サウンドシーンの前記反射オブジェクトの分析を提供して、第１の多角形（２）、および前記第１の多角形の第１の像源位置（６２）と前記第２の多角形の第２の像源位置（６３）とに関連付けられた第２の隣接する多角形（３）によって表される反射オブジェクトを決定するための幾何学的データプロバイダ（１０）であって、前記第１および第２の像源位置が、前記第１の像源位置（６２）に関連する第１の可視ゾーン（７２）、不可視ゾーン（８０）、および前記第２の像源位置（６３）に関連する第２の可視ゾーン（７３）を含むシーケンスをもたらす、幾何学的データプロバイダと、
追加の像源位置（９０）が前記第１の像源位置と前記第２の像源位置との間に配置されるように、前記追加の像源位置（９０）を生成するための像源位置生成器（２０）と、
前記音源位置において前記音源をレンダリングするためのサウンドレンダラ（３０）であって、さらに、
聴取者位置（１３０）が前記第１の可視ゾーン内に位置する場合、前記第１の像源位置に前記音源をレンダリングするための、
前記聴取者位置が前記不可視ゾーン（８０）内に位置する場合、前記追加の像源位置（９０）に前記音源をレンダリングするための、または
前記聴取者位置が前記第２の可視ゾーン内に位置する場合、前記第２の像源位置に前記音源をレンダリングするための、サウンドレンダラと、を備える、装置。

【請求項2】

前記幾何学的データプロバイダ（１０）が、初期化段階中に記憶された前記反射オブジェクトに関する予め記憶された情報を取得するように構成され、前記像源位置生成器（２０）が、前記反射オブジェクトを示す前記予め記憶された情報に応答して前記追加の像源位置（９０）を生成するように構成される、請求項１に記載の装置。

【請求項3】

前記幾何学的データプロバイダ（１０）が、ランタイム中または初期化段階中に、コンピュータ付加設計（ＣＡＤ）アプリケーションによって送出された前記サウンドシーン上の幾何学的データを使用して、前記反射オブジェクトを検出するように構成される、請求項１または２に記載の装置。

【請求項4】

前記幾何学的データプロバイダ（１０）が、ランタイム中または初期化段階中に、前記反射オブジェクトとして、丸い幾何学的形状、湾曲した幾何学的形状、またはスプライン補間から導出された幾何学的形状を有するオブジェクトを検出するように構成される、請求項１から３のいずれか一項に記載の装置。

【請求項5】

前記幾何学的データプロバイダ（１０）が、
反射オブジェクトの２つの隣接する多角形間の角度を計算し、前記角度が閾値を下回るとき、前記２つの隣接する多角形を特定の多角形の対としてマークすることと、
前記反射オブジェクトの２つのさらなる隣接する多角形間のさらなる角度を計算し、前記さらなる角度が前記閾値を下回る場合、前記２つのさらなる隣接する多角形をさらなる特定の多角形の対としてマークすることと、
前記さらなる隣接する多角形と前記隣接する多角形とが共通のエッジを有するか、または同じコーナーに属する場合に、前記反射オブジェクトを検出することと、を行うように構成される、請求項１または２のいずれか一項に記載の装置。

【請求項6】

前記像源位置生成器（２０）が、前記聴取者位置（１３０）が前記不可視ゾーン（８０）にあるかどうかを分析し、前記聴取者位置（１３０）が前記不可視ゾーン（８０）に位置する場合にのみ前記追加の像源位置（９０）を生成するように構成される、
請求項１から５のいずれか一項に記載の装置。

【請求項7】

前記像源位置生成器（２０）が、前記第１の多角形に関連付けられた第１の幾何学的範囲もしくは前記第２の多角形に関連付けられた第２の幾何学的範囲、または前記第１の幾何学的範囲と前記第２の幾何学的範囲との間の第３の幾何学的範囲を決定するように構成され、
前記第１の幾何学的範囲が前記第１の可視ゾーンを決定し、または前記第２の幾何学的範囲が前記第２の可視ゾーンを決定し、または前記第３の幾何学的範囲が前記不可視ゾーン（８０）を決定し、
第１の幾何学的ゾーンまたは第２の幾何学的ゾーン内の位置に対して、前記源位置から前記第１の多角形または前記第２の多角形への入射角が前記第１の多角形または前記第２の多角形からの反射角に等しいという条件が満たされるように、前記第１の幾何学的範囲または前記第２の幾何学的範囲が決定され、または
前記第３の幾何学的範囲が、前記不可視ゾーン（８０）内の位置に対して前記入射角に等しい反射角の条件が満たされないように決定される、請求項６に記載の装置。

【請求項8】

前記像源位置生成器（２０）が、前記第１の多角形についての第１の錐台を計算し（２６）、前記聴取者位置が前記第１の錐台内に位置するかどうかを決定する（２７）ように構成されるか、または
前記像源位置生成器（２０）が、前記第２の多角形についての第２の錐台を計算し（２６）、前記聴取者位置（１３０）が前記第２の錐台内に位置するかどうかを決定する（２７）ように構成されるか、または
前記像源位置生成器（２０）が、不可視ゾーン錐台を計算し（２６）、前記聴取者が前記不可視ゾーン錐台内に位置するかどうかを決定する（２７）ように構成される、
請求項６または７に記載の装置。

【請求項9】

前記像源位置生成器（２０）が、前記第１の錐台、前記第２の錐台、または前記不可視ゾーン錐台の内側を指す法線ベクトルを有する４つの平面を画定するように構成され、
前記像源位置生成器（２０）が、各平面に対する前記聴取者位置（１３０）の距離が０以上であるかどうかを決定し（２７）、前記各平面に対する前記聴取者の距離が０以上である場合に、前記聴取者が前記第１の錐台、前記第２の錐台、または前記不可視ゾーン錐台のうちの錐台内に位置することを検出するように構成される、請求項８に記載の装置。

【請求項10】

前記像源位置生成器（２０）が、前記追加の像源位置（９０）を、前記第１の像源位置（６２）と前記第２の像源位置（６３）との間の位置として計算するように構成される、
請求項１から９のいずれか一項に記載の装置。

【請求項11】

前記像源位置生成器（２０）が、前記第１の像源位置（６２）と前記第２の像源位置（６３）との間の接続線（９１）上の前記追加の像源位置（９０）を計算するように構成される、請求項１０に記載の装置。

【請求項12】

前記像源位置生成器（２０）が、前記追加の像源位置（９０）を、反射点（９２）を中心とする半径ｒ１の円弧上の位置として計算するように構成され、ｒ１が、前記源位置（１００）と前記反射点（９２）との間の距離を示す、請求項１０に記載の装置。

【請求項13】

前記像源位置生成器（２０）が、前記追加の像源位置（９０）と前記第２の像源位置（６３）との間の距離が前記聴取者位置（１３０）の前記第２の可視ゾーン（７３）までの距離に比例するように、または前記追加の像源位置（９０）と前記第１の像源位置（６２）との間の距離が前記聴取者位置（１３０）の前記第１の可視ゾーン（７２）までの距離に比例するように、前記追加の像源位置（９０）を計算するように構成される、請求項１０または１１または１２に記載の装置。

【請求項14】

前記像源位置生成器（２０）が、前記第１の多角形（２）もしくは前記第２の多角形（３）、または前記第１の多角形（２）と前記第２の多角形（３）との間の前記隣接するエッジに対する、前記音源位置（１００）についての前記ベクトルの正射影および前記聴取者位置（１３０）についての前記ベクトルの正射影を使用して反射点（９２）を決定するか、または前記第１の多角形（２）と前記第２の多角形（３）とが互いに接続されている点を前記反射点（９２）として決定するように構成され、
前記像源位置生成器（２０）が、前記聴取者位置（１３０）と前記反射点（９２）とを接続する線（９３）と、前記第１の像源位置（６２）と前記第２の像源位置（６３）との間の前記接続線（９１）との交点を、前記追加の像源位置（９０）として決定するように構成される、
請求項１１または１２または１３に記載の装置。

【請求項15】

前記像源位置生成器（２０）が、前記第１の多角形によって画定される平面（２）において前記音源位置（１００）をミラーリングすることによって前記第１の像源位置（６２）を計算するように構成されるか、または
前記像源位置生成器（２０）が、前記第２の多角形によって画定される平面（３）において前記音源位置（１００）をミラーリングすることによって前記第２の像源位置（６３）を計算するように構成される、
請求項１から１４のいずれか一項に記載の装置。

【請求項16】

前記サウンドレンダラ（３０）が、対応する像音源位置から前記聴取者位置までの距離と、前記距離によって生じる遅延時間、および前記第１の多角形もしくは前記第２の多角形に関連付けられた吸収係数もしくは反射係数、または前記第１の多角形もしくは前記第２の多角形に関連付けられた周波数選択的吸収もしくは反射特性のうちの少なくとも１つによって画定されるレンダリングフィルタ（３１、３２、３３）を使用して音源信号がフィルタリングされるように、前記音源をレンダリングするように構成される、
請求項１から１５のいずれか一項に記載の装置。

【請求項17】

前記サウンドレンダラ（３０）が、直接サウンドフィルタ段（３１）を使用して、前記音源信号および前記音源位置（１００）ならびに前記聴取者位置を使用して前記音源をレンダリングし、一次反射フィルタ段における一次反射として、前記音源信号および対応する追加の音源位置ならびに前記聴取者位置（１３０）を使用して前記音源をレンダリングするように構成され、前記対応する像音源位置が、前記第１の像音源位置、または前記第２の像音源位置もしくは前記追加の像音源位置（９０）を含む、
請求項１から１６のいずれか一項に記載の装置。

【請求項18】

音源位置に反射オブジェクトおよび音源を有するサウンドシーンをレンダリングする方法であって、
前記サウンドシーンの前記反射オブジェクトの分析を提供して、第１の多角形（２）、および前記第１の多角形の第１の像源位置（６２）と前記第２の多角形の第２の像源位置（６３）とに関連付けられた第２の隣接する多角形（３）によって表される反射オブジェクトを決定することであって、前記第１および第２の像源位置が、前記第１の像源位置（６２）に関連する第１の可視ゾーン（７２）、不可視ゾーン（８０）、および前記第２の像源位置（６３）に関連する第２の可視ゾーン（７３）を含むシーケンスをもたらす、ことと、
追加の像源位置（９０）が前記第１の像源位置と前記第２の像源位置との間に配置されるように、前記追加の像源位置（９０）を生成することと、
前記音源位置において前記音源をレンダリングすることであって、さらに、
聴取者位置（１３０）が前記第１の可視ゾーン内に位置する場合、前記第１の像源位置に前記音源をレンダリングし、
前記聴取者位置が前記不可視ゾーン（８０）内に位置する場合、前記追加の像源位置（９０）に前記音源をレンダリングし、または
前記聴取者位置が前記第２の可視ゾーン内に位置する場合、前記第２の像源位置に前記音源をレンダリングすることと、を含む、方法。

【請求項19】

コンピュータまたはプロセッサ上で実行されると、請求項１８に記載の方法を実行するためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オーディオ処理に関し、特に、幾何音響学の分野における像源によってモデル化された反射を含むサウンドシーンをレンダリングするためのオーディオ信号処理に関する。

【背景技術】

【0002】

幾何音響学は、聴覚化、すなわち聴覚シーンおよび環境のリアルタイムおよびオフラインオーディオレンダリングに適用される［１、２］。これは、ＭＰＥＧ－Ｉ ６－ＤｏＦオーディオレンダラのような仮想現実（ＶＲ）および拡張現実（ＡＲ）システムを含む。６自由度（ＤｏＦ）を有する複雑なオーディオシーンをレンダリングするために、幾何音響学の分野が適用され、サウンドデータの伝播は、レイトレーシングなどの光学系から知られているモデルによってモデル化される。特に、壁における反射は、光学系から導出されたモデルに基づいてモデル化され、壁において反射される光線の入射角は、入射角に等しい反射角をもたらす。

【0003】

仮想現実（ＶＲ）または拡張現実（ＡＲ）システムのオーディオレンダラのようなリアルタイム聴覚化システムは、通常、反射環境の幾何学的データに基づいて早期の鏡面反射をレンダリングする［１、２］。次に、反射したサウンドの有効な伝播経路を見つけるために、レイトレーシング［３］または像源法［４］のような幾何音響学法が使用される。これらの方法は、反射平面が入射サウンドの波長に比べて大きい場合に有効である［１］。さらにまた、反射面の境界に対する表面上の反射点の距離もまた、入射サウンドの波長と比較して大きくなければならない。

【0004】

幾何学的データが曲面を三角形または長方形によって近似している場合、従来の幾何音響学法はもはや有効ではなく、アーチファクトが聞こえるようになる。得られた「ディスコボール効果」を図６に示す。移動する聴取者または移動する音源の場合、像源の可視性は、可視と不可視との間で交互になり、その結果、定位、音色、および音量の恒久的な切り替えをもたらす。

【0005】

古典的な像源モデルが使用される場合、通常、所与の問題に適用される軽減技術はない［５］。鏡面反射に加えて拡散反射がモデル化される場合、これは、効果をさらに減少させるが、これを解決することはできない。要約すると、この問題に対する解決策は、最先端技術には記載されていない。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明の目的は、幾何音響学におけるディスコボール効果を緩和するための概念を提供すること、または改善されたオーディオ品質を提供するサウンドシーンをレンダリングする概念を提供することである。

【課題を解決するための手段】

【0007】

この目的は、請求項１に記載のサウンドシーンをレンダリングするための装置、請求項１８に記載のサウンドシーンをレンダリングする方法、または請求項１９に記載のコンピュータプログラムによって達成される。

【0008】

本発明は、反射する幾何学的オブジェクトが可視ゾーンおよび不可視ゾーンをもたらすかどうかを決定するために、幾何音響学におけるいわゆるディスコボール効果に関連する問題が、幾何学的オブジェクトをサウンドシーンに反射させる分析を実行することによって対処されることができるという知見に基づいている。不可視ゾーンの場合、像源位置生成器は、追加の像源位置が、隣接する可視ゾーンに関連する２つの像源位置の間に配置されるように、追加の像源位置を生成する。さらにまた、サウンドレンダラは、直接経路のオーディオ印象を取得するために音源位置において音源をレンダリングし、さらに、聴取者位置が可視ゾーン内に位置するか不可視ゾーン内に位置するかに応じて、音源位置または追加の音源位置において音源をレンダリングするように構成される。この手順により、幾何音響学におけるディスコボール効果が緩和される。この手順は、聴覚シーンおよび環境をレンダリングするリアルタイムおよびオフラインオーディオなどの聴覚化に適用されることができる。

【0009】

好ましい実施形態では、本発明は、いくつかのコンポーネントを提供し、１つのコンポーネントは、「丸いエッジ」または「丸いコーナー」などの曲面を検出する幾何学的データプロバイダまたは幾何学的プリプロセッサを備える。さらにまた、好ましい実施形態は、識別された曲面、すなわち「丸いエッジ」または「丸いコーナー」に対して拡張像源モデルを適用する像源位置生成器に関する。

【0010】

特に、エッジは面の境界線であり、コーナーは２つ以上の収束線が交わる点である。丸いエッジは、三角形または多角形によって丸い連続面に近似する２つの平坦面の間の境界線である。丸いコーナーまたは丸みを帯びたコーナーは、三角形または多角形によって丸い連続面に近似するいくつかの平坦面の共通の頂点である点である。特に、例えば仮想現実シーンが広告ピラーまたは広告柱を含む場合、この広告ピラーまたは広告柱は、三角形または他の多角形の平面などの多角形の平面によって近似されることができ、多角形の平面は無限に小さくないため、可視ゾーン間に不可視ゾーンが発生する可能性がある。

【0011】

通常、意図的なエッジまたはコーナー、すなわち、音響的にそのまま表現されるべきオーディオシーン内のオブジェクトが存在し、音響処理に起因して生じる任意の効果が意図される。しかしながら、丸みを帯びたまたは丸いコーナーまたはエッジは、オーディオシーン内の幾何学的オブジェクトであり、その結果、ディスコボールのアーチファクトをもたらし、換言すれば、聴取者が固定音源に対して可視ゾーンから不可視ゾーンに移動するとき、または固定聴取者が移動音源を聴取するとき、オーディオ品質を低下させる不可視ゾーンをもたらし、その結果、ユーザは、不可視ゾーン、次いで可視ゾーン、次いで不可視ゾーンに入る。あるいは、聴取者と源の双方が移動する場合、聴取者は、ある時点では可視ゾーン内にあり、別の時点では、適用された幾何音響学モデルのみに起因する不可視ゾーン内にあるが、サウンドシーンをレンダリングするための装置または対応する方法によって可能な限り近似されるべき現実世界の音響シーンとは無関係であることが可能である。

【0012】

本発明は、球および円柱または他の曲面上に高品質のオーディオ反射を生成するため有利である。拡張像源モデルは、円柱、球、または他の曲面を近似する多角形などのプリミティブに特に有用である。とりわけ、本発明は、特に反射をモデル化するための像源ツールに依存する、一次反射を計算するための迅速に収束する反復アルゴリズムをもたらす。好ましくは、典型的には反射体の直径に依存するハイパスフィルタである周波数選択反射特性を考慮する物質等化器に加えて、特定の周波数選択性等化器が適用される。さらにまた、好ましい実施形態では、距離減衰、伝播時間、および周波数選択性壁吸収または壁反射が考慮される。好ましくは、追加の像源位置生成の本発明の適用は、暗いゾーンまたは不可視ゾーンを「照らす」。丸みを帯びたエッジおよびコーナーについての追加の反射モデルは、多角形平面に関連する古典的な像源に加えて、この追加の像源の生成に依存する。好ましくは、「暗い」または不可視ゾーンへの像源の連続的な外挿は、好ましくは一次反射を計算する目的で錐台追跡の技術を使用して実行される。他の実施形態では、この技術はまた、二次以上の反射処理に拡張されることもできる。しかしながら、一次反射の計算を適用するために本発明を実行することは、既に高いオーディオ品質をもたらし、より高次の反射計算を実行することは可能であるが、追加的に得られたオーディオ品質を考慮して追加の処理要件を必ずしも正当化しないことが見出された。本発明は、本発明の適用なしでは不可視ゾーンに悩まされるであろう問題のあるまたは特定の反射オブジェクトを有する複雑なサウンドシーンにおける反射をモデル化するための堅牢で実装が比較的容易であるが強力なツールを提供する。
本発明の好ましい実施形態は、添付の図面に関して以下に説明される。

【図面の簡単な説明】

【0013】

【図1】サウンドシーンをレンダリングするための装置の実施形態のブロック図を示している。

【図2】実施形態における像源位置生成器の実装のためのフローチャートを示している。

【図3】像源位置生成器のさらなる実装を示している。

【図4】像源位置生成器の別の好ましい実装を示している。

【図5】幾何音響学における像源の構成を示している。

【図6】可視ゾーンおよび不可視ゾーンをもたらす特定のオブジェクトを示している。

【図7】不可視ゾーンを「照らす」ために追加の像源が追加の像源位置に配置された特定の反射オブジェクトを示している。

【図8】幾何学的データプロバイダによって適用される手順を示している。

【図9】音源位置において音源をレンダリングし、さらに聴取者の位置に応じて音源位置または追加の音源位置において音源をレンダリングするためのサウンドレンダラの実装を示している。

【図10】エッジ上の反射点Ｒの構成を示している。

【図11】丸みを帯びたコーナーに関連する静穏ゾーンを示している。

【図12】例えば図１０の丸みを帯びたエッジに関連する静穏ゾーンまたは静穏錐台を示している。

【発明を実施するための形態】

【0014】

図１は、音源位置に反射オブジェクトおよび音源を有するサウンドシーンをレンダリングするための装置を示している。特に、音源は、例えばモノラルまたはステレオ信号とすることができる音源信号によって表され、サウンドシーンでは、音源信号は音源位置において放射される。さらにまた、サウンドシーンは、通常、聴取者位置に関する情報を有し、聴取者位置は、一方では、例えば３次元空間内の聴取者位置を含むか、または聴取者位置は、他方では、３次元空間内の聴取者の頭部の特定の向きを生じる。聴取者は、自分の耳に対して、３次元をもたらす３次元空間内の特定の位置に配置されることができ、聴取者はまた、頭を３つの異なる軸の周りで回転させることができ、その結果、追加の３次元をもたらし、６自由度の仮想現実または拡張現実の状況が処理されることができる。サウンドシーンをレンダリングするための装置は、好ましい実施形態において、幾何学的データプロバイダ１０と、像源位置生成器２０と、サウンドレンダラ３０とを備える。幾何学的データプロバイダは、実際のランタイムの前に特定の動作を実行するためのプリプロセッサとして実装されることができ、または幾何学的データプロバイダは、ランタイムにおいてもその動作を実行する幾何学的プロセッサとして実装されることができる。しかしながら、幾何学的データプロバイダの計算を予め、すなわち、実際の仮想現実または拡張現実レンダリングの前に実行することは、処理プラットフォームが対応する幾何学的プリプロセッサタスクから解放される。

【0015】

像源位置生成器は、源位置および聴取者位置に依存し、特に聴取者位置がランタイムで変化するという事実により、像源位置生成器はランタイムで動作する。同じことが、音源データ、聴取者位置を使用し、必要に応じて像源位置および追加の像源位置をさらに使用して、すなわち、ユーザが本発明にしたがって像源位置生成器によって決定された追加の像源によって「照らされ」なければならない不可視ゾーンに配置されている場合に、ランタイムにおいてさらに動作するサウンドレンダラ３０にも当てはまる。

【0016】

好ましくは、幾何学的データプロバイダ１０は、サウンドシーンの反射オブジェクトの分析を提供して、第１の多角形および第２の隣接する多角形によって表される特定の反射オブジェクトを決定するように構成される。第１の多角形は、第１の像源位置に関連付けられており、第２の多角形は、第２の像源位置に関連付けられており、これらの像源位置は、例えば、図５に示すように構成される。これらの像源は、特定の壁においてミラーリングされる「古典的な像源」である。しかしながら、第１および第２の像源位置は、例えば、図６または図７に示すように、第１の像源位置に関連する第１の可視ゾーン、第２の像源位置に関連する第２の可視ゾーン、および第１の可視ゾーンと第２の可視ゾーンとの間に配置された不可視ゾーンを含むシーケンスをもたらす。像源位置生成器は、追加の像源位置に位置する追加の像源が第１の像源位置と第２の像源位置との間に配置されるように、追加の像源位置を生成するように構成される。好ましくは、像源位置生成器は、古典的な方法で、すなわち、例えば特定のミラーリング壁においてミラーリングすることによって、第１の像源および第２の像源をさらに生成するか、または図６または図７の場合のように、反射壁が小さく、源の矩形投影が壁と交差する壁点を含まない場合、対応する壁は、像源構成の目的のためにのみ拡張される。

【0017】

サウンドレンダラ３０は、聴取者位置において直接サウンドを取得するために、音源位置において音源をレンダリングするように構成される。さらに、反射もレンダリングするために、聴取者位置が第１の可視ゾーン内に位置するとき、音源は、第１の像源位置にレンダリングされる。この状況では、聴取者位置は、ディスコボール効果によるいかなるアーチファクトも全く発生しないようなものであるため、像源位置生成器は、追加の像源位置を生成する必要はない。同じことが、聴取者位置が第２の像源に関連付けられた第２の可視ゾーン内に位置する場合にも当てはまる。しかしながら、聴取者が不可視ゾーン内に位置する場合、サウンドレンダラは、追加の像源位置を使用し、第１の像源位置および第２の像源位置を使用しない。第１および第２の隣接する多角形における反射をモデル化する「古典的な」像源の代わりに、サウンドレンダラは、反射レンダリングの目的のために、不可視ゾーンをサウンドによって満たすかまたは照らすために本発明にしたがって生成された追加の像源位置のみをレンダリングする。そうでなければ定位、音色および音量の永続的な切り替えをもたらすであろう任意のアーチファクトは、第１の像源位置と第２の像源位置との間の追加の像源を生成する像源位置生成器を使用する本発明の処理によって回避される。

【0018】

図６は、いわゆるディスコボール効果を示している。特に、反射面は黒色で描かれており、１、２、３、４、５、６、７、８によって示されている。各反射面または多角形１、２、３、４、５、６、７、８はまた、対応する面に対する法線方向の図６に示す法線ベクトルによって表される。さらにまた、各反射面は、可視ゾーンに関連付けられている。源位置１００における源Ｓおよび反射面または多角形１に関連する可視ゾーンは、７１で示されている。さらにまた、他の多角形または表面２、３、４、５、６、７、８の対応する可視ゾーンは、例えば、参照符号７２、７３、７４、７５、７６、７７、７８によって図６に示されている。可視ゾーンは、特定の多角形に関連付けられた可視ゾーン内でのみ、入射角が音源Ｓによって放射されたサウンドの反射角に等しいという条件が満たされるように生成される。例えば、多角形１は、多角形１の延長部が非常に小さく、反射角に等しい入射角が小さい可視ゾーン７１内の反射角に対してのみ満たされることができるため、非常に小さい可視ゾーン７１を有する。

【0019】

さらにまた、図６はまた、聴取者位置１３０に位置している聴取者Ｌを有する。聴取者Ｌが多角形番号４に関連付けられた可視ゾーン７４内に配置されているという事実により、聴取者Ｌについてのサウンドは、Ｓ／４に示される像源６４を使用してレンダリングされる。図６の６４において示されるこの像源Ｓ／４は、反射面または多角形４における反射をモデル化する役割を担い、聴取者Ｌは、特定の壁の像源に関連付けられた可視ゾーン７４内に位置するため、アーチファクトは発生しない。しかしながら、可視ゾーン７３と７４との間の静穏ゾーン内、または可視ゾーン７４と７５との間の不可視ゾーン内への聴取者の移動によって、すなわち、聴取者が上または下に移動すると、古典的なレンダラは、像源Ｓ／４を使用したレンダリングを停止し、聴取者は、像源Ｓ／３ ６３またはＳ／５６５に関連付けられた可視ゾーン７３または可視ゾーン７５に位置しないため、レンダラは、本発明なしでは反射をレンダリングしない。

【0020】

図６では、ディスコボール効果が示されており、反射面は黒色で描かれており、グレー領域は、ｎ番目の像源「Ｓｎ」が見える領域をマークし、Ｓは源位置における源をマークし、Ｌは聴取者位置１３０の聴取者をマークする。特定の反射オブジェクトである図６の反射オブジェクトは、例えば、上から見た広告ピラーまたは広告柱とすることができ、音源は、例えば、広告色に対して固定された特定の位置に位置する自動車とすることができ、聴取者は、例えば、広告ピラーの上にあるものを見るために広告ピラーの周りを歩いている人間であろう。聴取する人間は、典型的には、自動車から、すなわち位置１００から人間の位置１３０までの直接サウンドを聞くことになり、さらに、広告ピラーにおける反射を聞くことになる。

【0021】

図５は、像源の構成を示している。特に、図６に関して、図５の状況は、像源Ｓ／４の構成を示している。しかしながら、図６の壁または多角形４は、源位置１００と像源位置６４との間の直接接続まで到達しない。源１００に基づいて像源１２０を生成するための鏡面であるとして図５に示されている壁１４０は、源１００と像源１２０との間の直接接続において図６には存在しない。しかしながら、像源を構成する目的で、図６の多角形４などの特定の壁は、壁に源をミラーリングするための鏡面を有するように拡張される。さらにまた、古典的な像源処理では、無限壁に加えて、源が平面波を放射すると仮定される。しかしながら、この仮定は本発明にとって重要ではなく、壁をミラーリングする目的で、実際には基礎となる数学的モデルを説明するためにのみ無限壁が必要であるため、壁の無限大についても同じことが当てはまる。

【0022】

さらにまた、図５は、壁への入射角と壁からの反射角とが同じ条件を示している。さらにまた、源から受信機への伝播経路の経路長が維持される。源から受信機までの経路長は、像源から受信機までの経路長、すなわちｒ_１＋ｒ_２と全く同じであり、伝播時間は、総経路長と音速ｃとの商に等しい。さらにまた、１／ｒに比例する音圧ｐの距離減衰、または１／ｒ^２に比例するサウンドエネルギーの距離減衰は、通常、像源をレンダリングするレンダラによってモデル化される。

【0023】

さらにまた、壁吸収／反射挙動は、壁吸収または反射係数αによってモデル化される。好ましくは、係数αは周波数に依存し、すなわち周波数選択吸収または反射曲線Ｈ_ｗ（ｋ）を表し、典型的にはハイパス特性を有し、すなわち高周波数は低周波数よりも良好に反射される。この挙動は、好ましい実施形態において考慮される。像源アプリケーションの強度は、像源の構成および伝播時間、距離減衰および壁吸収に関する像源の記述の後、壁１４０がサウンドシーンから完全に除去され、像源１２０によってのみモデル化されることである。

【0024】

図７は、第１の像源位置Ｓ／２ ６２と関連付けられた第１の多角形２と、第２の像源位置６３またはＳ／３と関連付けられた第２の多角形３とが、間に短い角度で配置され、聴取者１３０が、第１の像源６２と関連付けられた第１の可視ゾーン７２と、第２の像源Ｓ／３ ６３と関連付けられた第２の可視ゾーン７３との間の不可視ゾーンに配置される問題のある状況を示している。図７に示す不可視ゾーン８０を「照らす」ために、第１の像源位置６２と第２の像源位置６３との間に位置する追加の像源位置９０が生成される。古典的な手順のために図５に示すように構成された像源６３または像源６２によって反射をモデル化する代わりに、ここでは、好ましくは少なくとも特定の許容範囲内で反射点まで同じ距離を有する追加の像源位置９０を使用して反射がモデル化される。

【0025】

追加の像源位置９０では、不可視ゾーン８０において一次反射をレンダリングする目的で、同じ経路長、伝播時間、距離減衰および壁吸収が使用される。好ましい実施形態では、反射点９２が決定される。反射点９２は、上方から見たときに第１の多角形と第２の多角形との間の接合部にあり、典型的には、例えば聴取者１３０の高さおよび源１００の高さによって決定される広告ピラーの例では、垂直位置にある。好ましくは、追加の像源位置９０は、聴取者１３０と反射点９２とを接続する線上に配置され、この線は９３で示される。さらにまた、好ましい実施形態における追加の音源９０の正確な位置は、不可視ゾーン８０に隣接する可視ゾーンを有する像源位置６２および６３を接続する線９３と接続線９１との交点にある。

【0026】

しかしながら、図７の実施形態は、追加の像源位置の経路が正確に計算される最も好ましい実施形態のみを示している。さらにまた、聴取者位置１３０に応じて、接続線９２上の追加の音源位置の特定の位置も正確に計算される。聴取者Ｌが可視ゾーン７３に近い場合、音源９０は、古典像源位置６３に近く、その逆も同様である。しかしながら、追加の音源位置を像音源６２と６３との間の任意の場所に配置することは、単に不可視ゾーンに悩まされている場合と比較して、可聴印象全体を既に非常に改善する。図７は、追加の音源位置の正確な位置を有する好ましい実施形態を示しているが、別の手順は、反射が不可視ゾーン８０内でレンダリングされるように、隣接する音源位置６２と６３との間の任意の場所に追加の音源を配置することである。

【0027】

さらにまた、正確な経路長に応じて伝播時間を正確に計算することが好ましいが、他の実施形態は、像源位置６３の修正された経路長、または他の隣接する像源位置６２の修正された経路長に応じた経路長の推定に依存する。さらにまた、壁吸収または壁反射モデリングに関して、追加の音源位置９０をレンダリングする目的で、隣接する多角形の一方の壁吸収が使用されることができ、またはそれらが互いに異なる場合の双方の吸収係数の平均値が使用されることができ、聴取者がどの可視ゾーンに近いかに応じて加重平均が適用されることさえできるため、ユーザがより近くに位置する可視ゾーンを有する壁の特定の壁吸収データは、聴取者位置からより遠く離れている可視ゾーンを有する他の隣接する壁の吸収／反射データと比較して、加重加算においてより高い重み値を受け取る。

【0028】

図２は、図１の像源位置生成器２０の手順の好ましい実装を示している。ステップ２１において、聴取者が図７の７２および７３などの可視ゾーンにいるか、または不可視ゾーン８０にいるかが決定される。ユーザが可視ゾーンにいると決定された場合、ユーザがゾーン７２にいるときのＳ／２ ６２、またはユーザが可視ゾーン７３にいるときの像源位置６３またはＳ／３などの像源位置が決定される。次に、ステップ２３に示すように、像源位置に関する情報が図１のレンダラ３０に送信される。

【0029】

あるいは、ステップ２１が、ユーザが不可視ゾーン８０内に配置されていると決定すると、図７の追加の像源位置９０が決定され、ステップ２４に示すようにそれが決定されるとすぐに、追加の像源位置に関するこの情報、および該当する場合には、ステップ２５に示すようにレンダラにも送信される、経路長、伝播時間、距離減衰、または壁吸収／反射情報などの他の属性が決定される。

【0030】

図３は、ステップ２１の好ましい実装、すなわち、特定の実施形態において、聴取者が可視ゾーンにあるか不可視ゾーンにあるかを決定する方法を示している。この目的のために、２つの基本的な手順が想定される。１つの基本手順では、２つの隣接する可視ゾーン７２および７３は、源位置１００および対応する多角形に基づいて錐台として計算され、次いで、聴取者がそれらの可視錐台のうちの１つにいるかどうかが決定される。ステップ２６に示されるように、聴取者が錐台のうちの一方の中に位置していないと決定されると、ユーザは、不可視ゾーンにいるという結論が下される。あるいは、図７の可視ゾーン７２および７３を記述する２つの錐台を計算する代わりに、別の手順は、不可視ゾーン８０を記述する不可視錐台を実際に決定することであり、不可視錐台が決定された場合には、聴取者が静穏錐台内に配置されたときに、聴取者が不可視ゾーン８０内にいると決定される。図３のステップ２７およびステップ２６の結果のように、聴取者が不可視ゾーンにいると決定された場合、図２のステップ２４または図３のステップ２４に示すように、追加の音源位置が計算される。

【0031】

図４は、好ましい実施形態における追加の像源位置９０を計算するための像源位置生成器の好ましい実装を示している。ステップ４１において、第１および第２の多角形の像源位置、すなわち図７の像源位置６２および６３が古典的または標準的な手順で計算される。さらにまた、ステップ４２に示すように、幾何学的データプロバイダ１０によって「丸みを帯びた」エッジまたはコーナーであると決定されたエッジまたはコーナー上の反射点が決定される。図７の反射点９２の決定は、例えば、２つの多角形２と多角形３との交線上であり、垂直方向の寸法においても正確にレンダリングする場合、ステップ４２において、反射点の垂直方向の寸法は、聴取者の高さおよび音源の高さ、ならびに反射点または線９２からの聴取者の距離および音源の距離などの他の属性に応じて決定される。さらにまた、ブロック４３に示されるように、サウンド線は、聴取者位置１３０と反射点９２とを接続し、ブロック４１において決定された像源位置が位置する領域にこの線をさらに外挿することによって決定される。このサウンド線は、図７において参照符号９３によって示されている。ステップ４４において、ブロック４１によって決定された標準像源間の接続線が計算され、次いで、ブロック４５に示すように、サウンド線９３と接続線９１との交点が追加の音源位置であると決定される。図４に示すステップの順序は必須ではないことに留意されたい。ステップ４１の結果はステップ４４の前にのみ必要とされるため、ステップ４２および４３は、ステップ４１などを計算する前に既に計算されることができる。唯一の要件は、例えば、サウンド線が確立されることができるように、例えば、ステップ４３の前にステップ４２が実行されなければならないことである。

【0032】

続いて、追加の像源位置を計算するさらなる手順を示すために、さらなる手順が与えられる。拡張像源モデルは、反射体の「暗いゾーン」、すなわち像源が見える「明るいゾーン」間の領域における像源位置を外挿する必要がある（図１を参照）。この方法の第１の実施形態では、各丸いエッジに対して錐台が作成され、聴取者がこの錐台内に位置するかどうかがチェックされる。錐台は、以下のように作成される：エッジの２つの隣接する平面、すなわち左平面および右平面について、左平面および右平面上の源をミラーリングすることによって像源Ｓ_ＬおよびＳ_Ｒを計算する。これらの点から、エッジの開始点および終了点とともに、法線ベクトル

が錐台の内側を向いているヘッセ標準形における４つの平面

を定義することができる。

． （１）
距離が以下である場合

（２）

【0033】

４つ全ての平面について０以上である場合、聴取者は、所与の丸いエッジのモデルのカバレッジエリアを定義する錐台内に位置する。不可視ゾーン錐台は、図１２に示されており、源位置１００と、それぞれの多角形１および２に属する像源６１および６２とをさらに示している。錐台は、多角形１と２との間のエッジで始まり、源位置に向かって図面平面から図面平面内に開いている。

【0034】

この場合、丸いエッジ上の反射点を以下のように決定することができる：
源位置

のエッジへの正射影を

とし、聴取者位置

のエッジへの正射影を

とする。これは、以下のように反射点

を生み出す：

（３）

（４）

（５）
反射点の構成は、聴取者位置Ｌ、源位置Ｓ、投影ＰｓおよびＰｌ、ならびに結果として生じる反射点を示す図１０に示されている。

【0035】

丸いコーナーのカバレッジエリアの計算は、非常に類似している。ここで、ｋ個の隣接する平面は、コーナーの位置とともにｋ個の平面によって境界付けられた錐台をもたらすｋ個の像源をもたらす。ここでも、これらの平面に対する聴取者の距離が全て０以上である場合、聴取者は、丸いコーナーのカバレッジエリア内に位置する。反射点

は、コーナー点自体によって与えられる。

【0036】

この状況、すなわち不可視錐台または丸いコーナーは、４つの多角形または平面１、２、３、４に属する４つの像源６１、６２、６３、６４を示す図１１に示されている。図１１では、源は、可視ゾーン内に位置し、不可視ゾーン内には位置せず、その先端はコーナーで始まり、４つの多角形から離れて開いている。

【0037】

より高次の反射の場合、この方法を、表面、丸いエッジ、または丸いコーナーに当たるたびに各錐台を副錐台に分割する錐台追跡法にしたがって拡張することができる。

【0038】

図８は、幾何学的データプロバイダのさらに好ましい実装を示している。好ましくは、幾何学的データプロバイダは、オブジェクトが一連の可視ゾーンとその間の不可視ゾーンとを有する特定の反射オブジェクトであることを示すために、ランタイム中にオブジェクト上に予め記憶されたデータを生成する真のデータプロバイダとして動作する。幾何学的データプロバイダは、聴取者または源位置に依存しないため、初期化中に１回実行される幾何学的プリプロセッサを使用して実装されることができる。これに対して、像源位置生成器によって適用される拡張像源モデルは、ランタイムで実行され、聴取者および源位置に応じてエッジ反射およびコーナー反射を決定する。

【0039】

幾何学的データプロバイダは、曲面検出を適用することができる。幾何学的プロセッサとも呼ばれる幾何学的データプロバイダは、初期化手順またはランタイムにおいて、特定の反射オブジェクト決定を予め計算する。例えば、ＣＡＤソフトウェアが使用されて幾何学的データをエクスポートする場合、できるだけ多くの曲率に関する情報が幾何学的データプロバイダによって使用されることが好ましい。例えば、表面が球または円柱のような丸い幾何学的プリミティブから、またはスプライン補間から構成される場合、幾何学的プリプロセッサ／幾何学的データプロバイダは、好ましくはＣＡＤソフトウェアのエクスポートルーチン内に実装され、ＣＡＤソフトウェアからの情報を検出して使用する。

【0040】

表面曲率に関する事前知識が利用できない場合、幾何学的プリプロセッサまたはデータプロバイダは、三角形または多角形メッシュのみを使用して丸いエッジおよび丸いコーナーの検出器を実装する必要がある。例えば、これは、図８に示すように、隣接する２つの三角形１、２または１ａ、２ａの間の角度Φを計算することによって行うことができる。特に、角度は、図８において「面角」と決定され、図８の左部は正の面角を示し、図８の右部は負の面角を示す。さらにまた、図８において、小矢印は面法線を示している。面角が特定の閾値を下回る場合、エッジを形成する双方の隣接する多角形の隣接するエッジは、曲面部分を表すと見なされ、そのようにマークされる。コーナーに接続している全てのエッジが丸いものとしてマークされている場合、コーナーも丸いものとしてマークされ、このコーナーがサウンドレンダリングに関連するようになるとすぐに、追加の像源位置を生成するための像源位置生成器の機能がアクティブ化される。しかしながら、ある反射オブジェクトが特定の反射オブジェクトではなく真っ直ぐなオブジェクトであると決定され、いかなるアーチファクトもサウンドシーン生成器によって予想されず、または意図されていない場合、像源位置生成器は、古典像源位置を決定するためにのみ使用されるが、本発明にかかる追加の像源位置の決定は、そのような反射オブジェクトに対しては非アクティブ化される。

【0041】

図９は、図１のサウンドレンダラ３０の好ましい実施形態を示している。サウンドレンダラ３０は、好ましくは、直接サウンドフィルタ段３１と、一次反射フィルタ段３２と、任意に、二次反射フィルタ段と、おそらくは１つ以上の高次反射フィルタ段とを備える。

【0042】

さらにまた、サウンドレンダラ３０によって必要とされる出力形式に応じて、すなわち、サウンドレンダラがヘッドフォンを介して出力するか、スピーカを介して出力するか、または単に記憶または特定の形式における送信のためのものであるかに応じて、左加算器３４、右加算器３５および中央加算器３６などの特定の数の出力加算器、およびおそらくは左サラウンド出力チャネル用または右サラウンド出力チャネル用の他の加算器などが設けられる。左および右加算器３４および３５は、仮想現実アプリケーションのヘッドフォン再生の目的で使用されることが好ましいが、例えば、特定の出力形式におけるスピーカ出力を目的とする他の任意の加算器も使用されることができる。例えば、ヘッドフォンを介した出力が必要な場合、直接サウンドフィルタ段３１は、音源位置１００および聴取者位置１３０に応じて頭部関連伝達関数を適用する。一次反射フィルタ段の目的のために、対応する頭部関連伝達関数が適用されるが、ここでは、一方では聴取者位置１３０に対して、他方では追加の音源位置９０に対して適用される。さらにまた、任意の特定の伝播遅延、経路減衰、または反射効果もまた、一次反射フィルタ段３２内の頭部関連伝達関数内に含まれる。より高次の反射フィルタ段の目的のために、他の追加の音源も同様に適用される。

【0043】

出力がスピーカ設定用である場合、直接サウンドフィルタ段は、例えば、ベクトルベースの振幅パンニングを実行するフィルタなど、頭部関連伝達関数とは異なる他のフィルタを適用する。いずれの場合も、直接サウンドフィルタ段３１、一次反射フィルタ段３２および二次反射フィルタ段３３のそれぞれは、図示のように加算段３４、３５、３６のそれぞれについて成分を計算した後、左加算器３４が左ヘッドフォンスピーカ用の出力信号を計算し、右加算器３５が右ヘッドフォンスピーカ用のヘッドフォン信号を計算するなどである。ヘッドフォンとは異なる出力形式の場合、左加算器３４が左スピーカ用の出力信号を送出し、右加算器３５が右スピーカ用の出力を送出してもよい。２スピーカ環境に２つのスピーカしか存在しない場合、中央加算器３２は不要である。

【0044】

本発明の方法は、離散三角形メッシュによって近似される曲面が古典的な像音源技術［３、４］を使用して聴覚化されるときに生じるディスコボール効果を回避する。新規技術は、不可視ゾーンを回避し、反射を常に可聴にする。この手順では、曲面の近似を閾値面角度によって識別する必要がある。新規技術は、曲率の表現として識別された特別な処理面を有する元のモデルの拡張である。

【0045】

古典的な像音源技術［３、４］は、所与の幾何学的形状が曲面に（部分的に）近似することができることを考慮していない。これは、暗いゾーン（静寂）を、隣接する面のエッジ点からキャスティングさせる（図１を参照）。このような面に沿って移動する聴取者は、自身が位置する場所（照らされるゾーン／不可視ゾーン）に応じてオン／オフが切り替えられる反射を観察する。これは、不快な可聴アーチファクトを引き起こし、また、リアリズム、したがって没入度を低下させる。本質的に、古典的な像源技術は、そのようなシーンを現実的にレンダリングすることができない。

【0046】

参考文献
[1] Vorlaender, M. “Auralization: fundamentals of acoustics, modelling, simulation, algorithms and acoustic virtual reality.” Springer Science & Business Media, 2007.

【0047】

[2] Savioja, L., and Svensson, U. P. “Overview of geometrical room acoustic modeling techniques.” The Journal of the Acoustical Society of America 138.2 (2015): 708-730.

【0048】

[3] Krokstad, A., Strom, S., and Sφrsdal, S. "Calculating the acoustical room response by the use of a ray tracing technique." Journal of Sound and Vibration 8.1 (1968): 118-125.

【0049】

[4] Allen, J. B., and Berkley, D. A. "Image method for efficiently simulating small room acoustics." The Journal of the Acoustical Society of America 65.4 (1979): 943-950.

【0050】

[5] Borish, J. "Extension of the image model to arbitrary polyhedra." The Journal of the Acoustical Society of America 75.6 (1984): 1827-1836.

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【国際調査報告】